Faça o seu agente de IA melhorar sozinho, sem treinar o modelo de novo

01Pra que serve

Parar de ajustar o agente na mão: ele testa versões diferentes das instruções, ferramentas, memória e skills e fica com a que deu melhor resultado.
Mexe em 8 partes do agente: instrução principal, regras de segurança, memória, orientação de ferramentas, subagentes, skills, scripts e plugins.
Guarda as lições de cada tarefa. Assim a próxima já começa de um ponto melhor.
Nos testes dos autores, a nota subiu até 11,5 pontos num dos testes padrão de agentes (WorkBuddy-Bench), sem trocar o modelo.
Tem uma demonstração que roda de graça no seu computador, sem conta em nenhum serviço de IA.

02O que você precisa

Linux (a fonte oficial só fala em Linux, sem instruções pra Windows ou Mac)
Python 3.12
uv, um programa que instala pacotes de Python (docs.astral.sh)
Só pra usar com modelos de verdade: Node.js 20 ou mais novo, Google Cloud CLI e uma conta paga no Google Cloud
Alguns testes pedem mais: o LAB pede Pandoc e Poppler, o WorkBuddy-Bench pede Docker

03Passo a passo

Abra o repositório oficial, clique no botão verde "Code" e depois em "Download ZIP". Descompacte e abra o terminal dentro dessa pasta.
```
https://github.com/google-research/harness2
```
Crie um ambiente separado pro projeto com Python 3.12 e ative esse ambiente. Assim nada se mistura com o resto do seu computador.
```
uv venv --python 3.12 .venv
source .venv/bin/activate
```
Instale o Harness² com tudo o que a demonstração precisa:
```
uv pip install -e '.[render]'
```
Rode a demonstração grátis. Ela mostra os dois jeitos de melhorar (vários testes ao mesmo tempo e um passo depois do outro) com execuções reais, sem gastar nada. O resultado fica na pasta runs/demo.
```
harness2-demo --output runs/demo --k 2
```
Pra usar com modelos de verdade, copie o arquivo .env.example com o nome .env e coloque nele o seu projeto do Google Cloud e os modelos. Depois faça login na sua conta do Google Cloud:
```
gcloud auth application-default login
```
Prepare e confira o teste LAB antes da primeira rodada. Os outros testes têm os nomes jb (JobBench) e wb (WorkBuddy-Bench).
```
harness2-setup lab
harness2-check --bench lab
```

04Comandos prontos pra cada situação

Ver o que vai rodar sem gastar nadaSempre antes de uma rodada paga: mostra as tarefas escolhidas sem chamar nenhum modelo

harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1 --dry-run

Primeira rodada pequena, com nota e relatórioPra testar com custo baixo: uma tarefa só. Rode os 3 comandos nessa ordem e com os mesmos valores

harness2 --bench lab --k 1 --mode parallel --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

Melhorar um passo depois do outroEm vez de testar tudo ao mesmo tempo, ele refina em rodadas seguidas. Troque [NÚMERO DE RODADAS] por quantas você quer (comece com 2)

harness2 --bench lab --k [NÚMERO DE RODADAS] --mode sequential --only-domains antitrust-competition --max-tasks 1

Só uma parte do WorkBuddy-BenchPra testar o agente só em tarefas de escritório, de web ou de código. Troque [office, web ou code]. Precisa do Docker instalado

harness2-setup wb
harness2 --bench wb --subset [office, web ou code] --k 1 --mode parallel --max-tasks 1

05Antes de usar

Só a demonstração é grátis. As rodadas com modelos de verdade usam modelos pagos do Google Cloud e cobram a cada uso. A própria fonte recomenda começar com poucas tarefas.
Pede Linux. A fonte oficial não traz instruções pra Windows nem pra Mac.
O agente roda com acesso livre à internet, e o executor Codex roda sem a caixa de proteção (o modo que limita o que ele pode mexer no computador). Use num computador ou máquina separada, sem arquivos importantes.
Se você trocar de modelo ou de tarefas, use uma pasta de resultados nova (variável HARNESS2_RUNS_DIR no .env). Rodar o mesmo comando de novo continua de onde parou.
É uma ferramenta de pesquisa e não é um produto oficial do Google, então não espere suporte. A licença é Apache 2.0 (pode usar, inclusive em projeto comercial). Partes de terceiros e os testes têm licença própria.

Resumindo: baixa, instala com 2 comandos, roda a demonstração de graça e, quando quiser, liga no Google Cloud pra ele melhorar o seu agente sozinho.

Seguir @alvim_ai Repositório oficial no GitHub

Todos os guias e prompts do Alvim