O Claude anunciou recentemente um novo e revolucionário recurso de API, o Long Text Cache, uma medida criada para oferecer aos usuários uma experiência de serviço mais eficiente e menos onerosa.
A principal vantagem desse recurso inovador é que ele permite que o modelo Claude "lembre-se" de longas partes da entrada do usuário, incluindo, entre outros, livros inteiros, bases de código completas ou documentos grandes. Ao armazenar essas informações em cache, o usuário não precisa repetir a entrada em interações subsequentes, reduzindo significativamente o tempo e os custos de processamento de dados.
De acordo com os dados oficiais fornecidos pela Claude, depois de ativar a função de cache de texto longo, a velocidade de processamento pode ser aumentada em até 85%, enquanto o custo pode ser reduzido em até 90%. Isso significa que, seja para diálogos aprofundados, desenvolvimento de código ou análise de documentos, o usuário poderá experimentar uma resposta rápida sem precedentes.
Essa função tem uma ampla gama de cenários de aplicação e é particularmente adequada para as seguintes áreas:
- Agente de diálogo: experiência de diálogo mais suave e menos dispendiosa com o armazenamento em cache de comandos ou documentos longos.
- Coding Assistant: base de código em cache para melhorar a eficiência do preenchimento de código e da resposta a perguntas.
- Processamento de documentos grandes: incorpore e recupere rapidamente materiais de formato longo sem se preocupar com atrasos na resposta.
Atualmente, esse recurso é compatível com os modelos Claude 3.5 Sonnet e Claude 3 Haiku, e a equipe do Claude planeja estendê-lo a mais modelos em um futuro próximo.
Os usuários que desejam experimentar esse recurso precisam seguir as etapas abaixo:
- Certifique-se de que você tenha acesso à API do Claude.
- Selecione um modelo que ofereça suporte ao recurso de cache de texto longo.
- Habilite o armazenamento em cache na solicitação de API, definindo o que será armazenado em cache.
- Envie uma solicitação e comece a usar o conteúdo armazenado em cache para simplificar as operações subsequentes.
Essa iniciativa inovadora da Claude, sem dúvida, trará uma grande mudança no campo do processamento de textos longos, ajudando os usuários a otimizar a eficiência e o custo do processamento de informações. Os desenvolvedores podem esperar que esse novo recurso revolucione seu fluxo de trabalho.
