如何使用LitServe部署一个简单的复合推理服务？

服务开发流程

部署复合推理服务需要继承LitAPI类并实现关键方法：

1. 创建API类

import litserve as ls
class SimpleLitAPI(ls.LitAPI):
    def setup(self, device):
        # 初始化模型
        self.model1 = lambda x: x ** 2  # 平方模型
        self.model2 = lambda x: x ** 3  # 立方模型

    def decode_request(self, request):
        # 解析请求数据
        return request["input"]

    def predict(self, x):
        # 复合推理逻辑
        squared = self.model1(x)
        cubed = self.model2(x)
        return squared + cubed

    def encode_response(self, output):
        # 格式化输出
        return {"output": output}

2. 启动服务

if __name__ == "__main__":
    server = ls.LitServer(SimpleLitAPI(), accelerator="auto")
    server.run(port=8000)

保存为server.py后执行python server.py启动服务。

3. 测试服务

使用curl测试API：

curl -X POST "http://127.0.0.1:8000/predict" -H "Content-Type: application/json" -d '{"input": 4.0}'

将返回复合计算结果：{"output": 80.0}(16+64)

本答案来源于文章《LitServe：快速部署企业级通用AI模型推理服务》