O Kiln se integra profundamente ao sistema de controle de versão Git para fornecer uma solução completa de gerenciamento de ativos de dados e trabalho colaborativo para as equipes de desenvolvimento do LLM. O sistema coloca todos os dados de treinamento, configurações de modelo e resultados de ajuste fino sob controle de versão, oferecendo suporte a recursos profissionais, como gerenciamento de ramificações, comparação de diferenças e reversão de versão. Os membros da equipe podem concluir todas as operações do Git por meio de uma interface visual, sem precisar lembrar de comandos complexos.
A implementação técnica adota um projeto de arquitetura distribuída, e cada alteração de dados registra meta-informações completas (modificador, hora, finalidade etc.). A ferramenta exclusiva de comparação de conjuntos de dados exibe intuitivamente as alterações em nível de amostra e oferece suporte ao rastreamento preciso de melhorias imediatas de engenharia, ajustes de aprimoramento de dados e outras operações. O sistema gera automaticamente um mapa de evolução da versão que mostra claramente a correlação entre o desempenho do modelo e a iteração dos dados.
No caso prático da PingAn, uma empresa de tecnologia financeira, esse recurso ajuda a equipe de PNL a reduzir o ciclo de atualização do modelo de mensal para semanal, todas as alterações de dados podem ser rastreadas com precisão e a eficiência da colaboração é aumentada em 300%. O sistema também oferece suporte ao acoplamento perfeito com os repositórios GitLab/GitHub existentes da empresa para realizar o gerenciamento unificado do processo de P&D.
Essa resposta foi extraída do artigoKiln: ferramenta simples de síntese de dados e ajuste fino de modelos LLM, base de código 0 para ajustar seus próprios minimodelos!O
