O modelo ONNX gerado pode ser implantado e executado das seguintes maneiras:
- Exemplos em Python: Instalação
onnxruntimeDepois que a biblioteca é carregada, o arquivo de modelo é carregado e o texto é inserido para obter resultados de classificação, como resultados de análise de sentimentos['positive']. - Suporte a vários idiomasO modelo é compatível com Rust, Swift e outras linguagens, e precisa ser implementado com referência à documentação de tempo de execução do ONNX, por exemplo, usando a versão Swift do tempo de execução do ONNX para integração móvel.
- Implantação de dispositivos de bordaIncorporação de arquivos de modelo menores que 1 MB diretamente em dispositivos como o Raspberry Pi para processar entrada de texto em tempo real (por exemplo, análise de registro).
- integração contínuaAutomatize os processos de treinamento e implantação com o GitHub Actions para colaboração em equipe.
O modelo é executado totalmente off-line, sem a necessidade de uma conexão com a Internet, o que o torna particularmente adequado para cenários sensíveis à privacidade, como o processamento de dados médicos. A ferramenta também oferece um Playground on-line para validação rápida.
Essa resposta foi extraída do artigoWhiteLightning: uma ferramenta de código aberto para gerar modelos leves de classificação de texto off-line em um cliqueO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como os modelos gerados pelo WhiteLightning podem ser usados em aplicativos reais?
