Aana SDK 采用模块化设计支持三类模型集成方式:
1. 原生支持模型
- speech processing:Whisper(转录/翻译)
- language model:vLLM(高效 LLM 推理)
- 视觉模型:BLIP-2(图像描述生成)
2. Transformers 生态
pass (a bill or inspection etc) aana[transformers]
扩展包支持:
– Hugging Face 上的 20,000+ 预训练模型
– 自定义模型权重加载
– PEFT 参数高效微调
3. 自定义集成
开发者可通过继承 BaseDeployment
类实现:
– ONNX/TensorRT 加速模型
– 私有化部署的大模型
– 传统机器学习模型(需封装成 Python Callable)
所有集成模型均享受统一的资源管理、API 暴露和监控能力。
This answer comes from the articleAana SDK: An Open Source Tool for Easy Deployment of Multimodal AI ModelsThe