토큰 하나를 만들 때 메모리에서 일어나는 일: multi-head부터 batching까지
multi-head와 GQA, prefill과 decode, KV cache 크기, roofline, batching을 같은 4차원 예시와 Llama-3-70B 숫자로 끝까지 따라간다.
비밀번호를 입력하면 관리 화면이 열립니다.
Admin
게시된 글을 확인하고 수정하거나 삭제합니다.
multi-head와 GQA, prefill과 decode, KV cache 크기, roofline, batching을 같은 4차원 예시와 Llama-3-70B 숫자로 끝까지 따라간다.
작은 행렬 하나로 embedding, Q/K/V, attention, residual, FFN, 다음 토큰 선택, KV cache까지 모든 계산을 직접 따라간다.
embedding: token을 숫자로 바꾸는 법
지운 파일은 어디로 가는가: 램디스크를 직접 뜯어보기
배치, 순서, 그리고 표현: ext2에서 ext4까지
1바이트의 생애주기: 유저의 write()가 저장장치에 닿기까지
파일 시스템은 LLM을 어디서 만나는가: 모델 파일이 메모리로 올라가기까지
파일 시스템은 NAND를 얼마나 배려해야 하는가: FAT에서 출발하기
SSD는 왜 펌웨어가 필요한가: NAND의 제약에서 출발하기
검색, 규칙 기반 프로그램, LLM이 각각 잘 맞는 문제를 비교해 본다.
목록은 배포된 사이트 기준입니다. 텔레그램이나 이 화면에서 글을 올리면 다음 배포 후 목록에 반영됩니다.