Arquitetura de implementação e cenários de aplicativos flexíveis
O LangWatch projetou uma forma de produto em várias camadas para acomodar diferentes escalas de uso. A versão de desenvolvimento fornece uma solução completa de execução local, empacotando todos os componentes dependentes (incluindo o banco de dados PostgreSQL, o cache Redis e o mecanismo OpenSearch) por meio de contêineres do Docker, e os desenvolvedores podem iniciar rapidamente o conjunto completo de serviços com base na configuração pré-construída do Docker Compose. Opcional para usuários corporativos:
- Serviços de hospedagem na nuvemSolução SaaS gerenciada pela plataforma, eliminando a carga de O&M da infraestrutura
- Implantação privadaFornecimento de soluções auto-hospedadas com suporte comercial para atender aos requisitos de segregação de dados
- arquitetura híbridaProcessamento local de dados confidenciais trabalhando em conjunto com serviços baseados em nuvem
A plataforma é especialmente otimizada para o processamento de dados em larga escala, com suporte para programação de tarefas distribuídas e modos de processamento em lote, e é capaz de lidar com milhões de amostras de avaliação. A solução auto-hospedada inclui uma interface de exportação detalhada para o monitoramento de métricas, que pode ser integrada ao sistema de operação e manutenção existente de uma empresa.
Essa resposta foi extraída do artigoLangWatch: uma ferramenta de visualização para monitorar e otimizar os processos de LLM com base na estrutura DSPyO
