Agentes de 12 fatores 12. Torne sua inteligência uma reductio ad absurdum sem estado.

Se você estava esperando por uma introdução ao humanlayer, então é isso. Se estiver praticando o Elemento 6 - Iniciar/Pausar/Retomar por meio de uma API simples e o Elemento 7 - Entrar em contato com humanos por meio de chamadas de ferramentas, então você está pronto para integrar esse elemento. Permita que o usuário inicie/pause/retome a partir de...

Em vez de criar inteligências monolíticas que tentam fazer tudo, é melhor criar inteligências pequenas e focadas que possam fazer uma coisa bem feita. As inteligências são apenas um bloco de construção em um sistema maior e amplamente determinístico. O principal insight aqui é a limitação do modelo de linguagem grande: quanto maior e mais complexa a tarefa,...

Esse é um ponto secundário, mas vale a pena mencionar. Uma das vantagens de um agente é que ele é "autocorretivo" - para tarefas curtas, um modelo de linguagem grande (LLM) pode chamar uma ferramenta com falha. Há uma boa chance de que um bom LLM seja capaz de ler uma mensagem de erro ou um rastreamento de pilha e...

Se você tiver o controle do seu próprio fluxo de controle, poderá implementar muitos recursos interessantes. Crie estruturas de controle personalizadas que se ajustem ao seu caso de uso específico. Especificamente, determinados tipos de chamadas de ferramentas podem ser um motivo para sair de um loop, aguardar a resposta de uma pessoa ou esperar por outra tarefa de longa duração (por exemplo, um pipeline de treinamento)...

Por padrão, a API Large Language Model (LLM) depende de uma escolha de token de alto risco: retornamos conteúdo de texto simples ou retornamos dados estruturados? Você está dando muito peso à primeira opção de token, que, no caso do clima em Tóquio...

As inteligências são programas e esperamos poder iniciar, consultar, retomar e interrompê-los de alguma forma. Usuários, aplicativos, pipelines e outras inteligências devem ser capazes de iniciar facilmente uma inteligência com uma API simples. Quando operações de longa duração precisam ser executadas, as inteligências e seu código determinístico de orquestração...

Mesmo fora do espaço de IA, muitos sistemas de infraestrutura tentam separar o "estado da execução" do "estado do negócio". Para aplicativos de IA, isso pode envolver abstrações complexas para manter o controle de informações como a etapa atual, a próxima etapa, o estado de espera, novas tentativas etc. Essa separação introduz complexidade. Essa separação introduz complexidade e, embora possa valer a pena,...

A ferramenta não precisa ser complexa. Em sua essência, elas são simplesmente saídas estruturadas de seu Modelo de Linguagem Grande (LLM) que são usadas para acionar o código determinístico. Por exemplo, digamos que você tenha duas ferramentas CreateIssue e SearchIssues. Pedir a um modelo de linguagem grande (LLM) para "usar uma das várias ferramentas" é, na verdade, pedir que ele produza...