서비스 출시 준비 중 발견한 치명적인 문제점 지난 시간 에 이어 sleuth의 백엔드 서버(FastAPI & Cloud Run) 로직을 프로덕션 환경을 위해 고도화하는 작업에 집중하고 있다. 평소처럼 로컬 환경에서 새로운 기능을 테스트해 보니 매끄럽게 잘 동작하기에, 큰 고민 없이 main 브랜치에 코드를 직접 푸시하고 배포를 진행했다. 팀에 개발을 담당하는 인력이 많이 없기도 하고, 백엔드 서버를 지금은 혼자 구축하고 있기에 편의를…
지난 글들에서는 Sleuth의 코어 로직을 클라이언트에서 분리하여 FastAPI로 백엔드를 구축하고, 이를 GCP Cloud Run이라는 서버리스 인프라에 안착시킨 과정을 정리했다. (Cloud Run의 Scale-to-Zero와 콜드 스타트 최적화에 대한 내용은 이전 포스팅 을 참고하길 바란다.) 내부 아키텍처가 갖추어졌으니, 이제 실제 운영 환경의 쏟아지는 트래픽을 견뎌낼 수 있는지 검증할 차례다. 하지만 테스트를 시작하자마자 코드가 아닌…
앞서 다룬 FastAPI 는 LLM serving을 최우선 목표로 삼은 서비스에서 파이썬의 AI 생태계를 완전히 활용할 수 있다는 점에서 최적의 기술이었다. 코드가 준비되었으니 다음은 '이 서버를 어디에 띄울 것인가'라는 물리적인 인프라 고민으로 넘어갈 차례다. 이 챕터에서는 FastAPI 기반의 Sleuth 백엔드가 어떻게 클라우드 네이티브의 이점을 활용할 수 있었는지 정리해보고자 한다. Cloud Run과 Scale-to-Z…
창업을 준비하며 AI 기반의 인터랙티브 추리 게임 'Sleuth(슬루스)'를 개발하고 있다. 유저가 용의자와 직접 대화를 나누며 단서를 찾아내는 것이 핵심 코어 로직이다 보니, 자연스럽게 LLM(거대 언어 모델)과의 통신이 서비스의 척추 역할을 하게 되었다. 초기 프로토타입에서는 개발 속도를 위해 클라이언트(프론트엔드)에서 직접 API를 호출하는 방식을 택했었다. 당장의 결과물은 눈에 보였지만, 게임의 룰이 복잡해지고 출시가 다…
Function Calling 가이드 서론 대규모 언어 모델(LLM)이 등장한 이후, 이러한 모델들은 자연스러운 대화와 추론에서 뛰어난 성능을 보이고 있다. 그러나 LLM 단독으로는 최신 정보 검색이나 정확한 계산, 외부 시스템과의 상호작용 등 실시간 액션 수행에 한계 를 지닌다. 예를 들어, 사용자가 “파리의 내일 날씨가 어떻습니까?”라고 물으면, 모델은 학습 데이터에 없는 최신 기상 정보를 알 수 없어 정확한 답변을 할 수 없다. …
2025년 4월 openAI에서 공식적으로 프롬프트 엔지니어링에 관한 academy 를 오픈하였고, 구글에서는 프롬프트 엔지니어링에 관한 가이드라인 을 제시한 바 있다. 이번 시간에는 이와 같은 자료들을 기반으로 실전 중심의 프롬프트 엔지니어링 가이드를 총정리 해보고자 한다. 이 문서에서는 2025년 4월 14일에 공개된 작성 시점에서 최신인 GPT-4.1 모델을 활용해 독창적인 세계관을 가진 AI 캐릭터 를 만드는 예제를 다뤄보고자 한다.…
Our website uses cookies to improve your experience. Learn more
확인