Criação do sistema de recursos do desenvolvedor
A Xiaomi criou um sistema abrangente de suporte de código aberto para o Orion:
- Biblioteca de modelos pré-treinados: contém componentes principais, como pesos de modelos de linguagem 2D (Hugging Face), codificador visual (OmniDrive), etc.
- Ferramenta de pré-processamento de dados: suporta análise automática e conversão de formato de conjuntos de dados do Bench2Drive
- Suíte de análise visual: vídeos comparativos com marcadores de decisão podem ser gerados (rotulagem de nós-chave, como semáforos, interações com obstáculos, etc.)
- Sistema de indicadores de avaliação: integração de 12 indicadores especializados, como erro de L2, valor de Jerk, taxa de manutenção de pista, etc.
A arquitetura técnica é modular e as principais interfaces incluem:
- API de inferência de cenas: process_scene(image, history)
- API de geração de trajetória: generate_trajectory(instruction)
- Interface de avaliação: eval_loop(dataset, metrics)
A documentação de desenvolvimento detalha métodos de desenvolvimento secundários para cada módulo, como a implementação de algoritmos de planejamento personalizados herdando da classe BasePlanner. A versão comunitária do roteiro indica que o código da estrutura de treinamento será lançado no terceiro trimestre de 2024.
Essa resposta foi extraída do artigoOrion: estrutura de planejamento e inferência de condução autônoma de ponta a ponta de código aberto da XiaomiO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " O ecossistema de código aberto do Orion inclui uma cadeia completa de ferramentas de pesquisa e desenvolvimento
