문제 2026년 3월 20일, main에 직접 푸시한 코드가 Cloud Run에 자동 배포된 뒤 채팅 요청이 500을 냈다. 원인은 Gemini 호출의 400 INVALID_ARGUMENT 였고 로컬에서는 한 번도 보지 못한 에러였다. 결정 외부 의존성을 mock으로 바꾼 pytest를 만들고, PR마다 포매터·린터·테스트·Docker 빌드를 돌리는 GitHub Actions CI를 붙였다. main에는 PR로, CI가 통과한 것만 들…
지난 글들에서는 Sleuth의 코어 로직을 클라이언트에서 분리하여 FastAPI로 백엔드를 구축하고, 이를 GCP Cloud Run이라는 서버리스 인프라에 안착시킨 과정을 정리했다. (Cloud Run의 Scale-to-Zero와 콜드 스타트 최적화에 대한 내용은 이전 포스팅 을 참고하길 바란다.) 내부 아키텍처가 갖추어졌으니, 이제 실제 운영 환경의 쏟아지는 트래픽을 견뎌낼 수 있는지 검증할 차례다. 하지만 테스트를 시작하자마자 코드가 아닌…
문제 트래픽이 없어 인스턴스가 0개일 때 첫 메시지를 보내면 컨테이너 기동과 Firestore 적재가 겹쳐, 응답까지 15.3초가 걸렸다(Cloud Run 요청 로그 1건). 결정 최소 인스턴스를 두지 않고, 기동할 때 스토리 데이터를 한 번에 메모리에 올리는 Startup Cache와, 유저가 프롤로그를 읽는 동안 앱이 /health 를 미리 부르는 Client-Side Warm-up으로 버티기로 했다. 대가 예열한 인스턴스가 실…
문제 앱이 LLM API를 직접 호출하고 프롬프트까지 들고 있었다. 키가 기기 밖으로 나가고, 사용자가 프롬프트를 조작할 수 있고, 프롬프트 한 줄을 고치려 해도 스토어 심사를 거쳐야 했다. 결정 프롬프트 조립과 키를 서버로 옮기고, 서버 언어는 결제 쪽 Node가 아니라 Python(FastAPI)으로 골랐다. 서버는 대화 상태를 들지 않고, 앱이 매 요청에 최근 대화를 실어 보낸다. 대가 Node(결제)와 Python(LLM 서…
Function Calling 가이드 서론 대규모 언어 모델(LLM)이 등장한 이후, 이러한 모델들은 자연스러운 대화와 추론에서 뛰어난 성능을 보이고 있다. 그러나 LLM 단독으로는 최신 정보 검색이나 정확한 계산, 외부 시스템과의 상호작용 등 실시간 액션 수행에 한계 를 지닌다. 예를 들어, 사용자가 “파리의 내일 날씨가 어떻습니까?”라고 물으면, 모델은 학습 데이터에 없는 최신 기상 정보를 알 수 없어 정확한 답변을 할 수 없다. …
2025년 4월 openAI에서 공식적으로 프롬프트 엔지니어링에 관한 academy 를 오픈하였고, 구글에서는 프롬프트 엔지니어링에 관한 가이드라인 을 제시한 바 있다. 이번 시간에는 이와 같은 자료들을 기반으로 실전 중심의 프롬프트 엔지니어링 가이드를 총정리 해보고자 한다. 이 문서에서는 2025년 4월 14일에 공개된 작성 시점에서 최신인 GPT-4.1 모델을 활용해 독창적인 세계관을 가진 AI 캐릭터 를 만드는 예제를 다뤄보고자 한다.…
Our website uses cookies to improve your experience. Learn more
확인