LLM 프로세스 모델 기능 정리

🧠 1. LLM (Large Language Model)

🔑 주요 파라미터

• 모델 크기: 파라미터 수 (예: GPT-3는 175B)
• 레이어 수: Transformer 블록의 깊이
• Attention Head 수: 병렬 attention 처리 수
• Embedding Dimension: 입력 토큰을 벡터로 변환할 때의 차원
• Token Limit: 입력 시퀀스 길이 제한
• Temperature / Top-k / Top-p: 생성 시 다양성과 창의성 조절

⚙️ 내부 계산 원리

• Word Embedding → Positional Encoding → Transformer Block
• Transformer Block 구성:
  • Self-Attention: 각 토큰이 다른 토큰과의 관계를 계산
  • Feedforward Network: attention 결과를 해석
  • Normalization: 학습 안정화

🧪 연구자들이 집중하는 최적화

• Flash Attention: GPU 메모리 효율 향상
• Rotary Embedding / Alibi: 긴 문맥 처리 개선
• Low Precision (8-bit, 4-bit): 추론 속도 향상
• Instruction Tuning / RLHF: 사용자 지시 이해력 향상
• Scaling Laws: 모델 크기 vs 성능 관계 분석 [sam-solutions.com]

---

📦 2. 임베딩 모델

🔑 주요 파라미터

• Embedding Dimension: 벡터의 길이 (예: 384, 768, 1024)
• 모델 유형:
  • Static (Word2Vec, GloVe)
  • Contextual (BERT, RoBERTa)
  • Sentence-level (SBERT, USE)
• Pooling 방식: CLS 토큰, 평균, 최대값 등
• 학습 목적: MLM, CLM, Contrastive Learning

⚙️ 내부 계산 원리

• 입력 → 토큰화 → 임베딩 레이어 (V × D)
• Token Embedding + Positional Embedding → Transformer → 벡터 출력
• 학습 시 유사 문장 간 거리 최소화, 비유사 문장 간 거리 최대화

🧪 연구자들이 집중하는 최적화

• Dimensionality Trade-off: 고차원 vs 속도/메모리
• Fine-tuning: 도메인 특화 임베딩
• Multilingual / Cross-modal Embedding: 다양한 언어/데이터 유형 대응
• Sparse vs Dense Embedding: 효율성과 정확도 균형 [resizemyimg.com]

---

🗂️ 3. 벡터 DB (Vector Database)

🔑 주요 파라미터

• Index Type:
  • HNSW: 그래프 기반, 빠름
  • IVF: 클러스터 기반, 메모리 효율
  • PQ: 압축 기반, 대규모 처리
• Distance Metric: Cosine, Euclidean, Dot Product
• Recall vs Latency: 탐색 깊이 조절
• Sharding / Filtering / Hybrid Search: 확장성과 정밀도 조절

⚙️ 내부 계산 원리

• 벡터를 고차원 공간에 저장
• 검색 시 입력 벡터와 저장된 벡터 간 거리 계산
• ANN (Approximate Nearest Neighbor) 알고리즘으로 빠른 유사도 검색

🧪 연구자들이 집중하는 최적화

• Recall-Latency Trade-off: 정확도 vs 속도 균형
• Hybrid Search: 키워드 + 벡터 검색 병합
• Multimodal Indexing: 텍스트 + 이미지 + 오디오 통합
• Streaming Updates: 실시간 벡터 추가/삭제 처리 [machinelea...astery.com]

---

📌 요약 비교표

모델 유형주요 파라미터핵심 원리최적화 포인트

LLM	파라미터 수, Attention, Temperature	Transformer 기반 생성	Flash Attention, Instruction Tuning
임베딩	차원 수, 모델 구조, 학습 목적	의미 기반 벡터화	Fine-tuning, Pooling 전략
벡터 DB	Index, 거리 계산, 탐색 깊이	ANN 기반 유사도 검색	Recall-Latency 조절, Hybrid Search