AI/LLM7 [LLM] LLM 공부 5편: 컨텍스트 윈도우와 API 비용 LLM을 업무나 서비스에 붙이려고 하면 가장 먼저 부딪히는 질문이 두 가지입니다. "이 긴 문서를 한 번에 넣을 수 있을까?"와 "한 달에 비용이 얼마나 나올까?"입니다. 두 질문 모두 지난 글에서 다룬 토큰과 연결되어 있습니다.이번 글에서는 한 번에 처리할 수 있는 길이를 뜻하는 컨텍스트 윈도우와, 토큰 기반으로 계산되는 API 비용을 실제 계산 예시와 함께 정리해 보겠습니다. 1. 컨텍스트 윈도우란?컨텍스트 윈도우(context window)는 모델이 한 번의 요청에서 볼 수 있는 토큰의 최대량입니다. 사람으로 치면 '한 번에 펼쳐 놓고 볼 수 있는 책상 크기'와 비슷합니다. 여기에는 다음이 모두 포함됩니다.시스템 프롬프트지금까지 주고받은 대화 기록 전체첨부한 문서나 검색 결과모델이 새로 만들어 낼 .. 2026. 10. 23. [LLM] LLM 공부 4편: 토큰과 토크나이저 쉽게 이해하기 LLM 서비스의 요금표나 기술 문서를 보면 '100만 토큰당 ○달러', '최대 입력 20만 토큰'처럼 토큰(token)이라는 단위가 계속 등장합니다. 토큰은 LLM이 글을 읽고 쓰는 기본 단위로, 비용과 입력 길이 제한, 심지어 답변 품질에도 영향을 줍니다.이번 글에서는 토큰이 무엇인지, 글이 토큰으로 어떻게 나뉘는지, 그리고 왜 한국어가 영어보다 토큰을 더 많이 쓰는지 정리해 보겠습니다. 1. 토큰이란 무엇인가요?컴퓨터는 글자를 그대로 이해하지 못하기 때문에, LLM은 입력된 글을 먼저 작은 조각으로 자르고 각 조각에 번호를 붙여 숫자의 나열로 바꿉니다. 이때 잘린 조각 하나하나를 토큰, 글을 토큰으로 자르는 도구를 토크나이저(tokenizer)라고 부릅니다.토큰은 단어와 같지 않습니다. 자주 쓰이는 .. 2026. 10. 23. [LLM] LLM 공부 3편: 시스템 프롬프트와 구조화된 출력 챗봇 서비스를 만들거나 반복 업무를 LLM으로 자동화하다 보면, 매번 같은 규칙을 프롬프트에 붙여 넣는 일이 번거로워집니다. 또 LLM의 답을 프로그램이 받아서 처리해야 한다면 사람이 읽기 좋은 문장보다 정해진 형식의 데이터가 필요합니다.이번 글에서는 대화 전체에 적용되는 규칙을 정하는 시스템 프롬프트와, LLM이 JSON 같은 정해진 형식으로 답하게 만드는 출력 형식 지정 방법을 정리해 보겠습니다. 1. 시스템 프롬프트란?대부분의 LLM API는 메시지를 역할(role)별로 나눠서 주고받습니다.역할의미예시system대화 전체에 적용되는 기본 설정과 규칙너는 쇼핑몰 고객센터 상담원이야user사용자가 보낸 메시지주문한 상품이 아직 안 왔어요assistant모델이 이전에 한 답변불편을 드려 죄송합니다. 주문.. 2026. 10. 23. [LLM] LLM 공부 2편: 퓨샷과 Chain-of-Thought, 프롬프트 체이닝 지난 글에서 프롬프트의 기본 원칙을 정리했습니다. 기본 원칙만 지켜도 대부분의 일상 작업은 충분하지만, 복잡한 문제를 풀거나 결과 형식을 정확히 맞춰야 할 때는 조금 더 발전된 기법이 필요합니다.이번 글에서는 연구와 실무에서 효과가 검증된 대표 기법 세 가지, 퓨샷(few-shot) 프롬프팅, 단계별 사고(Chain-of-Thought), 프롬프트 체이닝을 예시와 함께 정리해 보겠습니다. 1. 퓨샷 프롬프팅: 예시로 보여 주기원하는 결과를 말로 설명하기 어려울 때는 예시를 몇 개 보여 주는 것이 가장 빠릅니다. 예시 없이 바로 요청하는 것을 제로샷(zero-shot), 예시를 하나 주면 원샷(one-shot), 여러 개 주면 퓨샷(few-shot)이라고 부릅니다. LLM이 예시만 보고도 새 작업을 해낼 .. 2026. 10. 23. [LLM] LLM 공부 1편: 프롬프트 엔지니어링 기본 원칙 정리 같은 LLM을 쓰는데도 어떤 사람은 원하는 답을 바로 얻고, 어떤 사람은 몇 번을 다시 물어봐도 엉뚱한 답만 받습니다. 차이는 대부분 프롬프트(prompt), 즉 LLM에게 건네는 요청 문장에서 생깁니다. 원하는 결과를 얻도록 프롬프트를 설계하고 다듬는 일을 프롬프트 엔지니어링이라고 부릅니다.LLM 공부 시리즈의 첫 번째 글로, 어떤 모델을 쓰든 공통으로 통하는 프롬프트 작성의 기본 원칙을 정리해 보겠습니다. 특별한 기술 없이 오늘부터 바로 적용할 수 있는 내용들입니다. 1. 왜 프롬프트가 중요한가요?LLM은 입력된 글을 보고 그다음에 올 가장 그럴듯한 내용을 만들어 냅니다. 그래서 입력이 모호하면 모델은 '평균적인' 답, 즉 누구에게나 무난하지만 나에게는 쓸모없는 답을 내놓기 쉽습니다.예를 들어 "회의.. 2026. 10. 23. [LLM] LLM 환각을 줄이는 방법, RAG 쉽게 이해하기 ChatGPT나 Claude 같은 LLM에게 회사 내부 규정이나 어제 나온 뉴스를 물어보면 엉뚱한 답이 돌아오는 경우가 많습니다. LLM은 학습할 때 본 데이터만 알고, 모르는 내용도 그럴듯하게 지어내는 '환각' 문제가 있기 때문입니다. 이 문제를 해결하는 가장 대표적인 방법이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 이 글에서는 RAG의 개념과 동작 과정, 성능을 높이는 기법, 파인튜닝과의 차이와 도입 시 주의할 점까지 정리해 보겠습니다. RAG란 무엇인가요?RAG는 이름 그대로 검색(Retrieval)으로 생성(Generation)을 보강(Augmented)하는 방식입니다. LLM이 답변을 만들기 전에 질문과 관련된 문서를 먼저 찾아오고, 그 문서를 질.. 2026. 10. 19. 이전 1 2 다음