Programa de Tecnologia de Expansão Modular
O LazyLLM oferece três maneiras de integrar os algoritmos existentes:
- Mecanismo de registro de funções: através de
@register
O Decorator transforma funções Python em módulos smartbody que podem ser chamados - Encapsulamento do comando BashSuporte para invocação direta de ferramentas de linha de comando, adequado para integrar algoritmos não implementados em Python
- Acesso ao serviço de APIConfiguração de pontos de extremidade de URL para serviços externos via config.yaml
Etapas operacionais específicas:
- Adição de decoradores a funções Python:
@register(name='my_alg')
def custom_algorithm(input):
return input * 2 - Chame o nome do registro no Flow:
flow = pipeline(my_alg, other_modules)
- ou referenciado por meio do arquivo de configuração da implantação
Advertências:
- As entradas e saídas precisam ser compatíveis com a serialização JSON.
- Recomenda-se que as dependências complexas sejam empacotadas com uma imagem do Docker
- Os módulos críticos de desempenho podem ser ativados
@register(parallel=True)
O método reduz o tempo de integração dos algoritmos estabelecidos de dias para 2 horas.
Essa resposta foi extraída do artigoLazyLLM: a ferramenta de desenvolvimento de código reduzido de código aberto da Shangtang para a criação de aplicativos corporais multiinteligentesO