Kiln采用多云聚合架构,目前支持的模型服务分为三类:
云端服务
- OpenAI/TogetherAI等商业API
- Fireworks/Groq等高性能推理服务
- AWS Bedrock等企业级平台
本地化方案
- Ollama本地模型管理器
- 原始HuggingFace模型文件
- 自建vLLM推理服务器
私有化部署
Kiln所有组件均支持:
- 完全离线运行(需手动下载模型权重)
- 内网API密钥托管
- 企业级数据加密管道
- Air-gapped环境部署包
通过”Bring Your Own Key”机制,用户可在完全不接触互联网的情况下,使用本地GPU集群完成从微调到部署的全流程。
本答案来源于文章《Kiln:简单的LLM模型微调和数据合成工具,0代码基础微调自己的小模型》