attention의 직관: 임베딩만으로는 왜 부족한가
embedding: token을 숫자로 바꾸는 법
Daily technical blog
LLM, memory, and system architecture를 데이터 이동, 병목, 인터페이스 관점에서 매일 정리하는 기술 블로그입니다.
embedding: token을 숫자로 바꾸는 법
지운 파일은 어디로 가는가: 램디스크를 직접 뜯어보기
배치, 순서, 그리고 표현: ext2에서 ext4까지
1바이트의 생애주기: 유저의 write()가 저장장치에 닿기까지
파일 시스템은 LLM을 어디서 만나는가: 모델 파일이 메모리로 올라가기까지
파일 시스템은 NAND를 얼마나 배려해야 하는가: FAT에서 출발하기
SSD는 왜 펌웨어가 필요한가: NAND의 제약에서 출발하기
embedding: token을 숫자로 바꾸는 법
LLM 답변은 왜 틀릴 수 있는가
1주차 복습: LLM에게 질문이 들어가면
prompt와 context window
확률, logit, sampling의 역할
다음 token 예측이라는 한 문장
token은 단어와 어떻게 다른가
검색, 규칙 기반 프로그램, LLM이 각각 잘 맞는 문제를 비교해 본다.