Projetado para equipes de produtos de IA e líderes de IA, apresenta como avaliar produtos baseados em LLM. Oferece um início fácil de aprendizado, sem necessidade de conhecimento de programação. O curso estará disponível em 9 de dezembro de 2024 Início.
O que você aprenderá
Os fundamentos da avaliação de LLM: desde métodos de avaliação e benchmarks até proteções de LLM e como criar ferramentas personalizadas de avaliação de LLM. Este curso foi desenvolvido para gerentes de produtos de IA e líderes de IA que desejam dominar os principais conceitos de qualidade e observabilidade de IA.
Avaliação das diferentes fases do ciclo de vida do aplicativo LLM: desde a fase experimental até a fase de monitoramento da produção.
Como projetar conjuntos de dados de avaliação e gerar diversos casos de teste usando dados sintéticos.
Possíveis problemas com os aplicativos LLM: alucinações, injeções rápidas, rachaduras fora de controle, etc.
Como criar a observabilidade do LLM em ambientes de produção: rastreabilidade, avaliação, salvaguardas.
Métodos de avaliação de LLM: ferramentas de avaliação de LLM, expressões regulares, indicadores preditivos.
Exemplos práticos: como avaliar RAGs (Retrieval Augmentation Generation Systems), sistemas de controle de qualidade e agentes inteligentes.
Aguardando o lançamento...
