오늘의 질문
LLM은 어떻게 다음 Token을 예측하는가?
문장을 token으로 나누고, 마지막 위치의 확률분포에서 다음 token을 선택하는 과정을 tensor shape와 함께 살펴봅니다.
Token과 vocabularyLogit과 probabilityAutoregressive decodeWeight read와 memory traffic
학습 노트 열기 ONE CONNECTED CURRICULUM
LLM만 배우지 않습니다
컴퓨터 구조와 DRAM에서 시작해 LLM, GPU, 네트워크, CXL, 차세대 메모리까지 하나의 데이터 경로로 연결합니다.
01
1-2주LLM과 메모리 시스템의 공통 언어
02
3-5주CPU에서 DRAM까지 가는 길
03
6-8주DRAM 구조와 메모리 컨트롤러
04
9-11주DDR, LPDDR, GDDR, HBM 인터페이스
05
12-14주GPU와 AI accelerator 메모리 계층
06
06개 모듈 더 보기 15-17주LLM 학습: 파라미터보다 큰 메모리
WEEKLY RHYTHM
매일 쓰되, 매일 다른 방식으로 배웁니다
MONLLM Core
개념과 용어를 정리하고 작은 숫자 예제로 이해한다.
TUEMemory Path
CPU/GPU에서 DRAM/HBM까지 데이터 이동 경로를 추적한다.
WEDMath/Code
tensor shape, byte traffic, latency/bandwidth 계산을 직접 해본다.
THUInterface
DDR, HBM, CXL, PCIe, fabric을 시스템 선택지로 비교한다.
FRITrend Radar
논문, 벤더 문서, 표준 문서를 public source 기준으로 읽는다.
SATExperiment
작은 측정이나 spreadsheet 모델을 만들고 재현 가능한 조건을 남긴다.
SUNSynthesis
한 주의 내용을 하나의 데이터 경로와 병목 이야기로 연결한다.