Rode IAs gigantes numa placa de vídeo de 4 GB

01Pra que serve

Rodar um modelo de 70 bilhões numa placa de vídeo de 4 GB, sem encolher nem simplificar o modelo.
Testar modelos bem maiores no seu computador: o repositório cita o Qwen3-235B com uns 3 GB de memória na placa e o DeepSeek V3, de 671 bilhões, com uns 12 GB.
Experimentar o Kimi K3, de 2,8 trilhões, que o repositório aponta como o maior modelo aberto já lançado, com menos de 4 GB. Esse exige uma preparação extra (veja os cuidados).
Usar quase todas as IAs abertas populares (Llama, Qwen, DeepSeek, Mistral, Gemma, Phi e outras): é só trocar o nome do modelo numa linha.

02O que você precisa

Python 3, o programa que roda o AirLLM
Uma placa de vídeo (os testes citados no repositório usaram placas RTX) ou um Mac com chip da Apple
Bastante espaço livre no disco: o modelo é baixado e depois dividido em camadas
Conta no Hugging Face (o site onde ficam os modelos) só para modelos com acesso restrito

03Passo a passo

Abra o terminal (a janela onde se digitam comandos) num computador com Python e instale o AirLLM:
```
pip install airllm
```
Só no Mac com chip da Apple: instale também o mlx, seguindo a página abaixo, e confira se o torch está instalado. Pode ser preciso instalar a versão do Python feita para o chip da Apple.
```
https://github.com/ml-explore/mlx?tab=readme-ov-file#installation
```
Crie um arquivo chamado teste.py e cole dentro dele o exemplo "Primeiro teste", que está mais abaixo. Troque o texto entre colchetes pela sua pergunta.
Pelo terminal, peça pro Python rodar o arquivo teste.py. Antes de responder, ele baixa o modelo e divide tudo em camadas no disco, então pode demorar bastante. A resposta aparece no próprio terminal.
Pra usar outro modelo, troque só o nome dele na linha que começa com model =. O nome é o que aparece na página do modelo no Hugging Face, como Qwen/Qwen3-32B.

Quer ver um exemplo pronto antes? Abra o caderno oficial no Google Colab, que funciona pelo navegador:

https://colab.research.google.com/github/lyogavin/airllm/blob/main/air_llm/examples/run_all_types_of_models.ipynb

04Exemplos prontos pra colar no arquivo teste.py

Primeiro testeComece por aqui. No Mac, troque o modelo por mistralai/Mistral-7B-Instruct-v0.1. Resposta cortada? Aumente o número 20 em max_new_tokens.

from airllm import AutoModel

MAX_LENGTH = 128
model = AutoModel.from_pretrained("Qwen/Qwen3-32B")

input_text = [
        '[SUA PERGUNTA]',
    ]

input_tokens = model.tokenizer(input_text,
    return_tensors="pt", 
    return_attention_mask=False, 
    truncation=True, 
    max_length=MAX_LENGTH, 
    padding=False)
           
generation_output = model.generate(
    input_tokens['input_ids'].to(model.device), 
    max_new_tokens=20,
    use_cache=True,
    return_dict_in_generate=True)

output = model.tokenizer.decode(generation_output.sequences[0])

print(output)

Subir pra um modelo giganteTroque a linha model = do primeiro teste por uma destas. Elas não rodam no Mac e pedem muito espaço no disco.

# 235 bilhões, roda com uns 3 GB de memória na placa:
model = AutoModel.from_pretrained("Qwen/Qwen3-235B-A22B")

# 671 bilhões, roda com uns 12 GB de memória na placa:
model = AutoModel.from_pretrained("deepseek-ai/DeepSeek-V3")

Pouco espaço no discodelete_original=True apaga o modelo original depois de dividir e economiza cerca de metade do espaço. layer_shards_saving_path escolhe outra pasta pra guardar as camadas.

model = AutoModel.from_pretrained("[NOME DO MODELO]",
                     delete_original=True,
                     layer_shards_saving_path="[PASTA COM ESPAÇO LIVRE]"
                    )

Deixar até 3 vezes mais rápidoOpcional: comprime o modelo, e o repositório diz que a perda de qualidade é quase imperceptível. Antes, rode no terminal: pip install -U bitsandbytes

model = AutoModel.from_pretrained("[NOME DO MODELO]",
                     compression='4bit'
                    )

05Antes de usar

Disco é o maior custo. Dividir o modelo ocupa muito espaço: só o Qwen3.8-Flash-Next pede cerca de 360 GB. Confira o tamanho do modelo antes de baixar.
Se aparecer o erro MetadataIncompleteBuffer, a causa mais provável é falta de espaço. Libere disco, limpe a pasta .cache do Hugging Face e rode de novo.
Não espere a velocidade de um chat. O repositório diz que o gargalo é carregar o modelo do disco e não informa quanto tempo cada resposta leva.
No Mac, só funciona com chip da Apple, e por enquanto só rodam modelos do tipo Llama e Mistral. Os outros dão erro antes de baixar.
O repositório não traz instruções para Windows. Ele só cita Linux e Mac, então no Windows você pode não achar solução pronta se der erro.
O Kimi K3 dá mais trabalho: precisa de pip install compressed-tensors flash-attn, do torch para CUDA 12 e do transformers 4.56.x. Siga as instruções do repositório oficial.
Erro 401 quer dizer que o modelo tem acesso restrito. Acrescente hf_token='HF_API_TOKEN' depois do nome do modelo, trocando HF_API_TOKEN pela sua chave do Hugging Face. Nunca compartilhe essa chave.
O AirLLM usa a licença Apache 2.0. O repositório não fala das regras de cada modelo, então confira na página do modelo antes de usar em trabalho.

Resumindo: instala com um comando, escolhe o modelo pelo nome e roda IA gigante com pouca memória na placa. O preço é bastante espaço no disco e paciência.

Seguir @alvim_ai Repositório oficial no GitHub

Todos os guias e prompts do Alvim