Rode modelos de IA gigantes numa placa de vídeo de 4 GB

01Pra que serve

Rodar no seu computador modelos que normalmente pedem placas caríssimas. Um modelo de 70 bilhões roda com uns 4 GB, sem cortar nem encolher o modelo.
Testar modelos enormes em casa: DeepSeek-V3 (671 bilhões) com uns 12 GB e Qwen3-235B com uns 3 GB, segundo o repositório.
Trocar de modelo mudando só o nome dele. Funciona com quase todas as IAs abertas populares do Hugging Face (o site onde esses modelos ficam publicados): Llama, Qwen, DeepSeek, Mistral, Gemma, Phi e outras.
Fazer perguntas sem mandar nada pra servidor de ninguém: tudo roda na sua máquina.

02O que você precisa

Python com o pip (o instalador de pacotes do Python)
Placa de vídeo NVIDIA (o exemplo oficial usa a placa NVIDIA). Uns 4 GB bastam pra um modelo de 70 bilhões, e uns 1 a 2 GB pra um de 8 bilhões
Muito espaço livre no disco: o modelo é baixado e depois dividido em pedaços
No Mac: só com chip da Apple (M1, M2…), com mlx e torch instalados

03Passo a passo

Abra o terminal (no Windows, o PowerShell) e instale o AirLLM:
```
pip install airllm
```
Antes de tudo, libere espaço no disco. Na primeira vez, o modelo é baixado e depois dividido camada por camada na pasta de cache do Hugging Face (onde ficam os modelos baixados). Modelo grande ocupa muito espaço.

Crie um arquivo chamado teste.py e cole este exemplo oficial. Ele usa o modelo Qwen3-32B e faz uma pergunta em inglês:

from airllm import AutoModel

MAX_LENGTH = 128
# just pass a hugging face repo id — works with almost any popular model:
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

input_text = [
        'What is the capital of United States?',
        #'I like',
    ]

input_tokens = model.tokenizer(input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH, 
    padding=False)
           
generation_output = model.generate(
    input_tokens['input_ids'].cuda(), 
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])

print(output)

Rode o arquivo no terminal, na mesma pasta. A primeira vez demora bastante, porque ele baixa e divide o modelo. A resposta aparece no fim.
```
python teste.py
```
Pra usar outro modelo, troque só o nome dentro de from_pretrained pelo nome do modelo no Hugging Face. Exemplo do próprio repositório, o DeepSeek-V3 (uns 12 GB de placa):
```
model = AutoModel.from_pretrained("deepseek-ai/DeepSeek-V3")
```
No Mac com chip da Apple: instale o mlx e o torch antes e rode o mesmo código. O repositório tem um exemplo pronto pro Mac:
```
https://github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb
```

04Ajustes prontos pra colar no seu arquivo teste.py

Fazer a sua perguntaTroque o trecho input_text do exemplo. O max_new_tokens limita o tamanho da resposta: 20 é bem curto, aumente pra respostas maiores

input_text = [
        '[SUA PERGUNTA, EX.: Explique em 5 linhas como funciona um financiamento imobiliário]',
    ]

Trocar de modeloPegue o nome na página do modelo no Hugging Face (formato dono/nome)

model = AutoModel.from_pretrained("[NOME DO MODELO NO HUGGING FACE, EX.: Qwen/Qwen3-235B-A22B]")

Deixar até 3x mais rápidoAntes, rode no terminal: pip install -U bitsandbytes. O modelo fica compactado no disco, com perda de qualidade quase nula segundo o repositório

model = AutoModel.from_pretrained("[NOME DO MODELO]",
                     compression='4bit' # specify '8bit' for 8-bit block-wise quantization 
                    )

Pouco espaço no discoApaga o modelo original baixado e guarda só a versão dividida. Economiza mais ou menos metade do espaço

model = AutoModel.from_pretrained("[NOME DO MODELO]", delete_original=True)

05Antes de usar

Ocupa muito disco. Se aparecer o erro MetadataIncompleteBuffer, quase sempre é falta de espaço: libere espaço ou limpe o cache do Hugging Face e rode de novo.
Cabe na placa, mas não espere a velocidade de um ChatGPT. O modelo é lido do disco pedaço por pedaço, e o disco vira o gargalo. A opção compression='4bit' ajuda.
O Kimi K3 (o de 2,8 trilhões) pede mais coisa: pip install compressed-tensors flash-attn, uma versão do torch para CUDA 12 e o transformers 4.56.x. Comece por um modelo menor.
Alguns modelos (como os Llama da Meta) pedem que você aceite os termos no Hugging Face e use uma chave de acesso sua. Sem ela, aparece o erro 401.
No Mac, só funciona com chip da Apple. O repositório não fala de Windows. O exemplo oficial usa placa NVIDIA.
O código do AirLLM é gratuito (o selo do repositório indica licença Apache 2.0).

Resumindo: instala com um comando, cola o exemplo, troca o nome do modelo e a pergunta. A placa pode ser pequena. O disco precisa ser grande.

Seguir @alvim_ai Repositório oficial no GitHub

Todos os guias e prompts do Alvim