LLM

Como entender LLMs por dentro: trilha de livros

Uma trilha que combina os repositórios gratuitos de Andrej Karpathy (micrograd, nanoGPT e nanochat) com três livros para entender um LLM por dentro.

Macro de uma placa de circuito azul com chips, trilhas e componentes eletrônicos
Foto: Ivan Chumak / Pexels (licença Pexels)

Atualizado em · Equipe Estante Dev

Este guia propõe uma trilha para entender como um modelo de linguagem grande funciona por dentro, do gradiente ao chat. A trilha alterna código e leitura. O código vem de três repositórios gratuitos de Andrej Karpathy no GitHub. A leitura vem de três livros do catálogo.

Cada etapa usa o que a anterior explicou.

Por que começar pelo código pequeno

Os repositórios de Karpathy têm uma característica em comum: são curtos o bastante para ler inteiros, e dá para ver cada operação acontecer sem tratar uma biblioteca grande como caixa-preta.

Os livros cobrem o que o código não explica sozinho: por que a retropropagação funciona, de onde vem a atenção, como se avalia um modelo e como ele é usado na prática.

Etapa 1: micrograd e os fundamentos

O micrograd é, segundo o README, um motor de autograd minúsculo, com uma pequena biblioteca de redes neurais por cima e API parecida com a do PyTorch. Os dois juntos somam cerca de 100 e 50 linhas. O motor implementa retropropagação (autodiferenciação em modo reverso) sobre um grafo montado durante a execução, operando só com escalares. Mesmo assim, o notebook de demonstração treina um MLP com duas camadas ocultas para classificação binária.

O par de leitura é Deep Learning, de Ian Goodfellow, Yoshua Bengio e Aaron Courville. A Parte I cobre a matemática de base, com álgebra linear, probabilidade e computação numérica (onde entra a otimização por gradiente). O capítulo 6, Deep Feedforward Networks, traz a seção sobre retropropagação e a regra da cadeia que o micrograd implementa em código. O livro tem uma versão on-line gratuita mantida pelos autores.

Uma sugestão prática é ler a seção sobre retropropagação do capítulo 6 e, em seguida, refazer à mão o cálculo de um gradiente que o micrograd devolve. Quando os dois números batem, a etapa está concluída.

Etapa 2: nanoGPT e o transformer

O nanoGPT treina e ajusta GPTs de tamanho médio. Segundo o README, o train.py tem cerca de 300 linhas de laço de treino e o model.py cerca de 300 linhas com a definição do modelo. O início rápido treina um GPT de caracteres com as obras de Shakespeare.

Diagrama simplificado de um transformer: tokens, embeddings, blocos de atenção e MLP repetidos N vezes e a previsão do próximo token
Diagrama: Estante Dev

Há um aviso no topo do repositório. Desde novembro de 2025, Karpathy considera o nanoGPT antigo e descontinuado, e indica o nanochat. O código continua no ar e segue útil para estudo, porque o modelo cabe em um arquivo. Para quem prefere ver a construção passo a passo, o repositório build-nanogpt refaz o nanoGPT do zero, com commits organizados em sequência e uma aula em vídeo que acompanha cada um.

O par de leitura é Build a Large Language Model (From Scratch), de Sebastian Raschka. O livro constrói um modelo no estilo GPT em PyTorch. Os capítulos seguem a ordem do trabalho: preparar o texto, programar os mecanismos de atenção, implementar o GPT, pré-treinar com dados sem rótulo e ajustar o modelo para classificação de texto e para seguir instruções. Um apêndice trata de ajuste fino com LoRA. Lido ao lado do nanoGPT, ele dá duas implementações do mesmo desenho para comparar.

Etapa 3: nanochat e o ciclo completo

O nanochat é descrito no README como o arcabouço experimental mais simples para treinar LLMs. Ele roda em um único nó de GPU e cobre as etapas principais: tokenização, pré-treino, ajuste fino, avaliação e inferência. O README dá um exemplo de custo. Um modelo com capacidade de GPT-2, que custou cerca de 43 mil dólares para treinar em 2019, sai por 48 dólares em cerca de duas horas num nó com 8 GPUs H100. Ao fim, é possível conversar com ele por linha de comando.

Rodar o treino inteiro não é obrigatório. Ler o código de cada etapa já mostra o caminho de um texto bruto até um assistente que responde perguntas.

O par de leitura é Hands-On Large Language Models, de Jay Alammar e Maarten Grootendorst. O livro é visual e aplicado. Começa por tokens e embeddings e por um capítulo que abre o transformer por dentro. Depois passa a usos como classificação, agrupamento de textos, engenharia de prompt, busca semântica com RAG e modelos multimodais, e termina com a criação de modelos de embedding e o ajuste fino de modelos de representação e de geração. Depois de treinar um modelo pequeno, ele ajuda a ligar o que foi visto por dentro ao que se faz com modelos prontos. O repositório oficial do livro traz os notebooks dos capítulos.

A trilha resumida

  1. micrograd com a Parte I e o capítulo 6 de Deep Learning.
  2. nanoGPT, ou build-nanogpt, com Build a Large Language Model (From Scratch).
  3. nanochat com Hands-On Large Language Models.
Diagrama da trilha em três etapas: micrograd, nanoGPT e nanochat, cada uma com o livro de apoio
Diagrama: Estante Dev

Quem já domina gradiente e redes simples pode começar na etapa 2. Quem só quer usar modelos prontos pode ir direto ao Hands-On Large Language Models, mas perde a parte que explica por que eles se comportam como se comportam.

Como associado da Amazon, eu ganho com compras qualificadas.

Fontes

Livros citados