AI Engineering Academy: 2.18Capacidades de visão do RAG Vision

O Claude Code é um dos fluxos de trabalho do AI Agent mais agradáveis até hoje. Ele não apenas torna a edição dirigida de código e o desenvolvimento de ferramentas improvisadas menos incômodos, mas a experiência de usá-lo é até descrita como um prazer em si. Ele tem autonomia suficiente para realizar tarefas interessantes sem dar aos desenvolvedores a repentina...

Ao criar aplicativos de base de conhecimento com base no Retrieval Augmented Generation (RAG), o pré-processamento e o fatiamento de documentos (Chunking) são uma etapa fundamental para determinar os resultados finais da recuperação. O mecanismo RAG de código aberto RAGFlow oferece várias estratégias de fatiamento, mas sua documentação oficial carece de explicações claras sobre os detalhes do método e casos específicos, o que gera muita confusão para os desenvolvedores...

Ao criar sistemas Retrieval Augmented Generation (RAG), os desenvolvedores geralmente se deparam com os seguintes cenários desconcertantes: os cabeçalhos das tabelas entre páginas são deixados na página anterior, fazendo com que os dados percam a relevância. Os modelos fornecem com confiança conteúdo completamente incorreto diante de varreduras ambíguas. O símbolo de soma “Σ” em uma fórmula matemática é reconhecido incorretamente como a letra “E”. Marcas d'água em documentos...

Vamos começar com uma tarefa simples: agendar uma reunião. Quando um usuário diz: “Ei, vamos ver se podemos fazer uma sincronização rápida amanhã?” Uma IA que se baseia apenas no Prompt Engineering pode responder: “Sim, amanhã está bom. A que horas você gostaria de agendar, por favor?”. Essa resposta, embora correta, é mecânica e...

Resumo O surgimento de modelos de linguagem em larga escala (LLMs) abriu um novo paradigma de mecanismos de pesquisa que usam modelos generativos para reunir e resumir informações para responder às consultas dos usuários. Unificamos essa tecnologia emergente sob a estrutura dos Generative Engines (GEs), que geram respostas precisas e personalizadas, substituindo rapidamente os mecanismos de pesquisa tradicionais, como o Google e ...

Nos primeiros dias do projeto Manus, a equipe se deparou com uma decisão crítica: eles deveriam treinar um modelo de agente de ponta a ponta com base em modelos de código aberto ou deveriam aproveitar os poderosos recursos de “aprendizado de contexto” dos modelos de ponta para criar agentes? Voltando dez anos atrás, os desenvolvedores nem sequer tinham escolha no campo do processamento de linguagem natural. Na era do BERT, qualquer modelo...

Ao criar sistemas de IA, como RAGs ou agentes de IA, a qualidade da recuperação é fundamental para determinar o limite superior do sistema. Em geral, os desenvolvedores contam com duas técnicas principais de recuperação: pesquisa por palavra-chave e pesquisa semântica. Pesquisa de palavras-chave (por exemplo, BM25): rápida e boa em correspondência exata. No entanto, quando o texto da pergunta de um usuário muda, a taxa de recuperação cai. ...

A experiência de se comunicar com um amigo que sempre esquece o conteúdo da conversa e precisa começar do início todas as vezes é, sem dúvida, ineficiente e exaustiva. Entretanto, essa é exatamente a norma para a maioria dos sistemas de IA atuais. Eles são poderosos, mas geralmente não têm um ingrediente fundamental: a memória. Para criar inteligências (agentes) de IA que possam realmente aprender, evoluir e colaborar, a memória não é...