반응형 LLMAPI5 LLM API 오류 처리와 재시도, 비용 추적 방법 지난 글의 예제는 API 호출이 항상 성공한다고 가정했습니다. 하지만 실제 서비스에서는 요청이 너무 많다는 오류, 서버가 일시적으로 바쁘다는 오류, 네트워크 끊김이 생각보다 자주 발생합니다. 이런 상황에서 프로그램이 그대로 멈춘다면 사용자는 오류 화면을 보게 됩니다.이번 글에서는 LLM API에서 자주 만나는 오류의 종류, 다시 시도해도 되는 오류와 아닌 오류를 구분하는 법, 재시도와 타임아웃 설정, 그리고 토큰 사용량으로 비용을 추적하는 방법을 정리해 보겠습니다. 1. 자주 만나는 오류와 대응 방법API 오류는 HTTP 상태 코드로 구분할 수 있습니다. 핵심은 다시 시도하면 해결될 수 있는 오류와 코드나 설정을 고쳐야 하는 오류를 나누는 것입니다.상태 코드의미재시도대응400요청 형식이 잘못됨X매개변수,.. 2026. 11. 2. Python으로 Claude, OpenAI API 호출하기 ChatGPT나 Claude를 웹 화면에서 쓰는 것과, 내 프로그램에서 LLM을 호출하는 것은 다릅니다. 내 프로그램에서 쓰려면 LLM 회사가 제공하는 API를 호출해야 합니다. API를 쓰면 LLM을 내 서비스, 업무 자동화 스크립트, 사내 도구에 자유롭게 연결할 수 있습니다.이번 글에서는 LLM API를 처음 호출할 때 알아야 할 API 키의 안전한 관리법, Python SDK로 첫 요청을 보내는 방법, 그리고 답변을 한 글자씩 받아 보는 스트리밍까지 정리해 보겠습니다. 예제는 Anthropic과 OpenAI의 공식 Python SDK를 기준으로 합니다. 1. API 키 발급과 안전한 관리API를 쓰려면 각 회사의 개발자 콘솔에서 API 키를 발급받아야 합니다. API 키는 "이 요청은 내 계정에서 .. 2026. 11. 1. AI 개발자를 위한 Python 타입 힌트와 async/await 정리 AI 라이브러리의 예제 코드나 공식 문서를 보면 def ask(prompt: str) -> str:처럼 변수 옆에 붙은 표시와, async def, await 같은 낯선 키워드를 자주 만나게 됩니다. 각각 타입 힌트와 비동기 프로그래밍 문법입니다.두 문법 모두 Python 입문 과정에서는 잘 다루지 않지만, LLM API를 여러 번 호출하거나 웹 서버를 만들 때는 꼭 필요합니다. 이번 글에서는 AI 개발에 필요한 만큼의 타입 힌트와 async 문법을 예제와 함께 정리해 보겠습니다. 1. 타입 힌트란?타입 힌트(type hint)는 변수, 함수의 입력값과 반환값이 어떤 자료형인지 코드에 적어 두는 표시입니다. Python은 실행할 때 타입 힌트를 검사하지 않기 때문에, 힌트가 틀려도 코드는 그대로 실행됩니.. 2026. 10. 31. [LLM] LLM 공부 6편: 생성 옵션 temperature와 top_p 이해하기 LLM에게 똑같은 질문을 두 번 하면 답이 조금씩 다르게 나옵니다. 고장이 난 것이 아니라 일부러 그렇게 설계된 것입니다. 그리고 API를 쓰면 이 '다양함'의 정도를 temperature, top_p 같은 옵션으로 직접 조절할 수 있습니다.이번 글에서는 LLM이 다음 단어를 고르는 방식과, 답변의 성격을 바꾸는 주요 생성 옵션을 언제 어떻게 조절하면 좋은지 정리해 보겠습니다. 1. LLM은 다음 토큰을 어떻게 고르나요?LLM은 다음에 올 토큰 하나를 바로 정하는 것이 아니라, 가능한 모든 토큰에 대해 확률을 계산합니다. 예를 들어 "오늘 점심은 김치" 다음에 올 토큰의 확률이 다음과 같다고 가정해 보겠습니다.후보 토큰확률 (예시)찌개55%볶음밥25%전12%말이국수6%기타 수많은 토큰2%항상 가장 높은 .. 2026. 10. 23. [LLM] LLM 공부 3편: 시스템 프롬프트와 구조화된 출력 챗봇 서비스를 만들거나 반복 업무를 LLM으로 자동화하다 보면, 매번 같은 규칙을 프롬프트에 붙여 넣는 일이 번거로워집니다. 또 LLM의 답을 프로그램이 받아서 처리해야 한다면 사람이 읽기 좋은 문장보다 정해진 형식의 데이터가 필요합니다.이번 글에서는 대화 전체에 적용되는 규칙을 정하는 시스템 프롬프트와, LLM이 JSON 같은 정해진 형식으로 답하게 만드는 출력 형식 지정 방법을 정리해 보겠습니다. 1. 시스템 프롬프트란?대부분의 LLM API는 메시지를 역할(role)별로 나눠서 주고받습니다.역할의미예시system대화 전체에 적용되는 기본 설정과 규칙너는 쇼핑몰 고객센터 상담원이야user사용자가 보낸 메시지주문한 상품이 아직 안 왔어요assistant모델이 이전에 한 답변불편을 드려 죄송합니다. 주문.. 2026. 10. 23. 이전 1 다음 반응형
