토큰 하나를 만들 때 메모리에서 일어나는 일: multi-head부터 batching까지
multi-head와 GQA, prefill과 decode, KV cache 크기, roofline, batching을 같은 4차원 예시와 Llama-3-70B 숫자로 끝까지 따라간다.
Tag
9개의 글이 이 태그에 연결되어 있습니다.
multi-head와 GQA, prefill과 decode, KV cache 크기, roofline, batching을 같은 4차원 예시와 Llama-3-70B 숫자로 끝까지 따라간다.
embedding: token을 숫자로 바꾸는 법
embedding: token을 숫자로 바꾸는 법
LLM 답변은 왜 틀릴 수 있는가
1주차 복습: LLM에게 질문이 들어가면
prompt와 context window
확률, logit, sampling의 역할
다음 token 예측이라는 한 문장
token은 단어와 어떻게 다른가