[스타트업/기술] FastAPI와 클라우드 네이티브 | 클라이언트 LLM 호출의 한계와 백엔드 전환기 (Part 1)
창업을 준비하며 AI 기반의 인터랙티브 추리 게임 'Sleuth(슬루스)'를 개발하고 있다. 유저가 용의자와 직접 대화를 나누며 단서를 찾아내는 것이 핵심 코어 로직이다 보니, 자연스럽게 LLM(거대 언어 모델)과의 통신이 서비스의 척추 역할을 하게 되었다. 초기 프로토타입에서는 개발 속도를 위해 클라이언트(프론트엔드)에서 직접 API를 호출하는 방식을 택했었다. 당장의 결과물은 눈에 보였지만, 게임의 룰이 복잡해지고 출시가 다…