본문 바로가기
반응형

numpy2

AI를 위한 수학 2: 내적과 코사인 유사도로 문장의 비슷함 계산하기 지난 글에서 bge-m3가 문장 하나를 1,024개의 숫자로 바꾸는 것을 봤습니다. 그런데 숫자 목록만으로 어떻게 "고양이 문장과 강아지 문장이 비슷하다"는 것을 알 수 있을까요? 답은 방향입니다. 의미가 비슷한 문장의 벡터는 비슷한 방향을 가리키도록 학습되어 있고, 두 벡터의 방향이 얼마나 비슷한지는 내적과 코사인 유사도로 계산합니다. 이번 글에서는 두 계산을 직접 구현하고, 실제 문장 임베딩에 적용해 RAG 검색이 어떻게 동작하는지까지 확인합니다. 1. 내적과 코사인 유사도내적(dot product)은 두 벡터의 같은 자리끼리 곱해서 모두 더한 값입니다.a = [1, 2], b = [2, 4]a · b = 1×2 + 2×4 = 10코사인 유사도는 내적을 두 벡터 길이의 곱으로 나눈 값입니다.cos(.. 2026. 11. 2.
AI를 위한 수학 1: 벡터, 임베딩은 숫자 목록이다 AI 공부를 하다 보면 수학 용어에서 자주 막힙니다. "임베딩은 1024차원 벡터", "코사인 유사도로 검색", "가중치 행렬과 곱한다", "경사 하강법으로 손실을 줄인다", "교차 엔트로피 손실". 공식을 펼치면 기호가 쏟아지고, 기호를 외워도 실제 AI 코드와 어떻게 이어지는지는 잘 보이지 않습니다.이 시리즈는 방향을 바꿔 봅니다. 공식 대신 Python 코드로 직접 계산하고, 가능한 한 실제 AI 모델이 만든 숫자로 확인합니다. 임베딩은 실전 프로젝트 시리즈의 RAG에서 쓴 bge-m3에서, 확률은 qwen3:8b가 실제로 계산한 다음 토큰 확률에서 가져옵니다. 첫 글은 모든 것의 바탕인 벡터입니다. 1. 이 시리즈에서 다루는 것편수학AI에서 쓰이는 곳1~3벡터, 내적, 행렬임베딩, 의미 검색, 신.. 2026. 11. 1.
반응형

티스토리툴바