A implantação do serviço da API Large Model Inference com KTransformers pode ser feita seguindo estas etapas:
- Estrutura de instalaçãoClonar o repositório e instalar as dependências
git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
pip install -r requirements-local_chat.txt
python setup.py install - Iniciando o serviço de APIExecute o comando para iniciar o serviço
python -m ktransformers.api - Enviar solicitaçãoTeste APIs usando cURL ou outros clientes HTTP
curl -X POST "http://localhost:8000/infer" -d '{"text": "你好，KTransformers！"}' - Extensões de configuraçãoA configuração avançada, como o suporte a várias GPUs, pode ser feita editando o arquivo config.yaml.
Os serviços de API da KTransformers seguem os padrões OpenAI e Ollama e podem ser facilmente integrados a uma variedade de aplicativos e plataformas.
Essa resposta foi extraída do artigoKTransformers: Mecanismo de desempenho de inferência de modelos grandes: aceleração extrema, capacitação flexívelO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como implantar um serviço de API de inferência de modelo grande usando KTransformers?
