服务开发流程
部署复合推理服务需要继承LitAPI类并实现关键方法：
1. 创建API类
import litserve as ls
class SimpleLitAPI(ls.LitAPI):
def setup(self, device):
# 初始化模型
self.model1 = lambda x: x ** 2 # 平方模型
self.model2 = lambda x: x ** 3 # 立方模型
def decode_request(self, request):
# 解析请求数据
return request["input"]
def predict(self, x):
# 复合推理逻辑
squared = self.model1(x)
cubed = self.model2(x)
return squared + cubed
def encode_response(self, output):
# 格式化输出
return {"output": output}
2. 启动服务
if __name__ == "__main__":
server = ls.LitServer(SimpleLitAPI(), accelerator="auto")
server.run(port=8000)
Speichern unter (einer Datei)server.py后执行python server.pyStarten Sie den Dienst.
3. 测试服务
使用curl测试API：
curl -X POST "http://127.0.0.1:8000/predict" -H "Content-Type: application/json" -d '{"input": 4.0}'
将返回复合计算结果：{"output": 80.0}(16+64)
Diese Antwort stammt aus dem ArtikelLitServe: schnelle Bereitstellung von universellen KI-Modellinferenzdiensten auf UnternehmensebeneDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " 如何使用LitServe部署一个简单的复合推理服务？
Deutsch 
简体中文 
English 
日本語 
Português do Brasil