"Agentes de 12 fatores" 10. inteligências pequenas e focadas.

Em vez de criar inteligências monolíticas que tentam fazer tudo, é melhor criar inteligências pequenas e focadas que possam fazer uma coisa bem feita. A Intelligentsia é apenas um bloco de construção em um sistema maior e amplamente determinístico.

O principal insight aqui está nas limitações dos modelos de linguagem grandes: quanto maior e mais complexa a tarefa, mais etapas são necessárias, o que significa janelas de contexto mais longas. À medida que o contexto aumenta, é mais provável que o modelo de linguagem grande se perca ou perca o foco. Ao permitir que as inteligências se concentrem em domínios específicos, executando um máximo de 3 a 10, talvez 20, etapas, podemos manter a janela de contexto gerenciável e manter o alto desempenho do modelo de linguagem grande.

À medida que o contexto aumenta, é mais provável que modelos de linguagem grandes se percam ou percam o foco

As vantagens de inteligências pequenas e focadas:

1. contexto controlado: janelas de contexto menores significam melhor desempenho para modelos de linguagem grandes
2. Responsabilidades clarasCada inteligência tem um escopo e uma finalidade claramente definidos
3. Maior confiabilidadeMenos probabilidade de se perder em fluxos de trabalho complexos
4. Mais fácil de testarTestes e validação de recursos específicos são mais fáceis
5. Depuração aprimoradaFacilidade para identificar e corrigir problemas quando eles ocorrem

O que acontecerá se os grandes modelos de linguagem se tornarem mais inteligentes?

Se os grandes modelos de linguagem se tornarem inteligentes o suficiente para lidar com fluxos de trabalho com mais de 100 etapas, ainda precisaremos fazer isso?

Resumindo: sim. À medida que a inteligência e os grandes modelos de linguagem avançam, eles provavelmente se expandirá naturalmente para lidar com janelas de contexto mais longas. Isso significa lidar com mais partes de um DAG maior. Essa abordagem pequena e focada garante que você obtenha resultados hoje e também o prepara para o escalonamento gradual das inteligências à medida que a janela de contexto do modelo de linguagem grande se torna mais confiável. (Se você já refatorou uma grande base de código determinístico antes, provavelmente está balançando a cabeça agora).

A chave aqui é controlar conscientemente o tamanho/escopo das inteligências e expandir apenas de forma a manter a qualidade. Como no caso de O que a equipe que criou o NotebookLM disse:

Acho que os momentos mais mágicos na criação de IA sempre acontecem quando estou muito, muito, muito perto do limite dos recursos do modelo

Seja qual for o limite, se você conseguir encontrá-lo e acertá-lo de forma consistente, poderá criar experiências incríveis. Há muitos fossos que podem ser construídos aqui, mas, como sempre, isso exige um certo rigor de engenharia.