[LLM] 처음 배우는 LLM: 토큰, 트랜스포머, RLHF, RAG 쉽게 이해하기

요즘 챗봇, 코딩 도우미, 번역, 문서 요약까지 많은 AI 서비스의 중심에는 LLM(Large Language Model, 대규모 언어 모델)이 있습니다. 이름은 자주 들어 봤지만 정확히 어떤 원리로 동작하는지, 어디까지 믿고 써도 되는지는 헷갈리는 분들이 많습니다. 이 글에서는 LLM의 기본 개념부터 학습 과정, 대표 모델 유형, 한계와 활용 팁까지 한 번에 정리해 보겠습니다.

 

LLM이란 무엇인가요?

LLM은 아주 많은 양의 텍스트를 학습해서, 주어진 문장 다음에 올 내용을 예측하도록 만든 인공지능 모델입니다. 핵심 동작은 의외로 단순합니다. "지금까지의 글을 보고 다음에 올 가장 그럴듯한 조각을 하나 고른다"를 계속 반복하면서 문장을 만들어 냅니다.

여기서 '조각'을 토큰(token)이라고 부릅니다. 토큰은 단어 하나일 수도 있고, 단어의 일부나 글자 하나일 수도 있습니다. 영어는 대략 단어 하나가 토큰 1~2개 정도이고, 한국어는 같은 내용이라도 토큰이 더 많이 쓰이는 경우가 많습니다. 서비스 요금이나 입력 길이 제한이 보통 토큰 수 기준으로 정해지기 때문에 알아 두면 좋습니다.

'대규모'라는 말은 모델 안에 있는 파라미터(parameter) 수가 매우 많다는 뜻입니다. 파라미터는 학습 과정에서 조정되는 숫자 값으로, 모델이 언어 패턴과 지식을 저장하는 공간이라고 생각하면 됩니다. 최근 모델들은 수십억 개에서 수천억 개 이상의 파라미터를 가지고 있습니다.

 

LLM은 어떻게 만들어지나요?

현재 대부분의 LLM은 2017년 구글 연구진이 발표한 트랜스포머(Transformer) 구조를 바탕으로 합니다. 트랜스포머의 핵심은 어텐션(attention)입니다. 문장 속 각 토큰이 다른 토큰들과 얼마나 관련 있는지를 계산해서, 멀리 떨어진 단어 사이의 관계도 문맥으로 파악할 수 있게 해 줍니다.

LLM이 완성되기까지는 보통 다음 세 단계를 거칩니다.

단계	하는 일	결과
1. 사전학습 (Pre-training)	웹 문서, 책, 코드 등 방대한 텍스트에서 다음 토큰을 맞히는 연습을 반복합니다.	언어 구조와 폭넓은 지식을 갖춘 기본 모델
2. 지시 미세조정 (Instruction Tuning)	"질문 → 좋은 답변" 예시 데이터로 추가 학습합니다.	사람의 요청을 이해하고 따르는 모델
3. 선호도 학습 (RLHF 등)	여러 답변 중 사람이 더 좋다고 고른 쪽을 학습해, 더 유용하고 안전한 답을 내도록 조정합니다.	대화형 서비스에 쓰이는 어시스턴트 모델

RLHF는 Reinforcement Learning from Human Feedback, 즉 '사람의 피드백을 활용한 강화학습'의 줄임말입니다. 최근에는 사람 대신 AI가 평가를 돕거나, 정해 둔 원칙에 따라 답변을 다듬는 방식 등 다양한 변형 기법도 함께 쓰이고 있습니다.

 

대표적인 LLM과 선택 기준

LLM은 크게 API로 제공되는 상용 모델과 가중치를 공개한 오픈 웨이트 모델로 나눌 수 있습니다.

• 상용 모델: OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini 등이 대표적입니다. 웹 서비스나 API로 바로 쓸 수 있고 성능이 높은 편이지만, 사용량에 따라 비용이 들고 데이터가 외부 서버로 전송됩니다.
• 오픈 웨이트 모델: Meta의 Llama, Mistral, Qwen, Gemma 등이 있습니다. 모델 파일을 내려받아 내 PC나 서버에서 직접 실행하고 원하는 데이터로 추가 학습할 수 있습니다. 다만 모델마다 라이선스 조건(상업적 이용 범위, 사용자 수 제한 등)이 다르니 사용 전에 반드시 확인하세요.

모델 버전은 몇 달 단위로 빠르게 바뀌기 때문에, 특정 순위보다는 아래 기준으로 고르는 것을 추천합니다.

• 용도: 글쓰기·요약, 코딩, 이미지 이해 등 주로 쓸 작업에서 실제로 테스트해 보세요.
• 컨텍스트 길이: 한 번에 넣을 수 있는 입력 길이입니다. 긴 문서를 다룬다면 중요합니다.
• 비용과 속도: 같은 회사 모델도 큰 모델과 작은 모델의 가격·속도 차이가 큽니다.
• 보안: 회사 내부 자료를 다룬다면 데이터 처리 정책을 확인하거나 로컬 실행을 고려하세요.

 

LLM의 한계와 똑똑하게 쓰는 방법

LLM은 '사실을 찾아보는 검색 엔진'이 아니라 '그럴듯한 다음 말을 만드는 모델'입니다. 그래서 다음과 같은 한계를 알고 쓰는 것이 중요합니다.

• 환각(Hallucination): 존재하지 않는 논문, 틀린 수치, 없는 기능을 자신 있게 말할 수 있습니다. 중요한 정보는 반드시 원문 출처로 확인하세요.
• 지식 기준일: 학습 데이터가 수집된 시점 이후의 일은 모릅니다. 최신 정보는 검색 기능이 있는 서비스를 쓰거나 자료를 직접 넣어 주세요.
• 긴 입력의 함정: 컨텍스트 길이가 길어도, 입력 중간에 있는 정보는 상대적으로 덜 반영되는 경향이 연구로 보고되어 있습니다. 핵심 내용은 앞이나 뒤에 두는 것이 좋습니다.

이런 한계를 보완하는 대표적인 방법이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 질문과 관련된 문서를 먼저 검색해서 LLM에게 함께 넘겨주고, 그 자료를 근거로 답하게 하는 방식입니다. 사내 문서 챗봇이나 고객센터 봇에 많이 쓰입니다. 다만 RAG도 검색 단계에서 엉뚱한 문서를 가져오면 틀린 답을 낼 수 있으니, 결과를 검증하는 습관은 여전히 필요합니다.

일상에서 LLM을 더 잘 쓰는 간단한 팁도 정리해 보겠습니다.

• 원하는 결과의 형식, 분량, 대상 독자를 구체적으로 적어 주세요.
• 참고할 자료가 있다면 직접 붙여 넣고 "이 자료를 근거로 답해 줘"라고 요청하세요.
• 답변에 출처를 달아 달라고 하고, 그 출처가 실제로 있는지 확인하세요.
• 개인정보, 비밀번호, 회사 기밀은 입력하지 마세요.

 

정리

LLM은 방대한 텍스트로 '다음 토큰 예측'을 학습한 트랜스포머 기반 모델이고, 지시 미세조정과 선호도 학습을 거쳐 우리가 쓰는 대화형 AI가 됩니다. 상용 모델은 편리하고 성능이 높으며, 오픈 웨이트 모델은 직접 실행과 맞춤 학습이 가능하지만 라이선스 확인이 필요합니다. 환각과 지식 기준일 같은 한계를 이해하고, RAG나 출처 확인으로 보완하면 업무와 일상에서 훨씬 믿을 만한 도구로 활용할 수 있습니다.

 

참고자료

• Vaswani et al., "Attention Is All You Need" (2017): https://arxiv.org/abs/1706.03762
• Ouyang et al., "Training language models to follow instructions with human feedback" (2022): https://arxiv.org/abs/2203.02155
• Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" (2020): https://arxiv.org/abs/2005.11401
• Liu et al., "Lost in the Middle: How Language Models Use Long Contexts" (2023): https://arxiv.org/abs/2307.03172
• Google Machine Learning Crash Course, LLM 소개: https://developers.google.com/machine-learning/crash-course/llm/transformers?hl=ko
• 위키백과, 대형 언어 모델: https://ko.wikipedia.org/wiki/대형_언어_모델