A família de modelos SLIM foi projetada para gerar dados estruturados, como JSON, SQL etc. Por exemplo, o modelo slim-sentiment pode retornar diretamente os resultados da análise de sentimentos (por exemplo, {'sentiment': 'positive '}). Esses modelos pequenos são compatíveis com o fluxo de trabalho do agente em várias etapas. Os desenvolvedores podem encadear vários modelos SLIM para obter uma lógica comercial complexa, como analisar o sentimento do texto antes de determinar a intenção do usuário. Os modelos são carregados uniformemente por meio da classe Prompt (Prompt().load_model()
), e sua natureza leve permite que ele seja executado com eficiência em ambientes normais de CPU.
Essa resposta foi extraída do artigollmware: uma estrutura de código aberto para criar rapidamente aplicativos RAG de nível empresarialO