Chutes:用于部署和扩展开源AI模型的无服务器计算平台
Chutes是一个为开发者设计的AI模型计算平台。 它基于去中心化的开源架构,用户不需要自己管理复杂的服务器。 使用这个平台,开发者可以快速部署和运行各种开源的人工智能模型,例如大语言模型或图像生成模型。 Ch...
vLLM CLI:使用 vLLM 部署大语言模型的命令行工具
vllm-cli 是一个为 vLLM 设计的命令行界面工具,它让部署和管理大语言模型变得更加简单。这个工具同时提供了交互式菜单界面和传统的命令行模式。用户可以通过它管理本地和远程模型、使用预设或自定义的配置方案、...
LMCache:加速大语言模型推理的键值缓存优化工具
LMCache 是一个开源的键值(KV)缓存优化工具,专为提升大语言模型(LLM)推理效率设计。它通过缓存和复用模型的中间计算结果(键值缓存),显著降低推理时间和GPU资源消耗,特别适合长上下文场景。LMCache 与 vL...
FastDeploy:快速部署AI模型的开源工具
FastDeploy 是由 PaddlePaddle 团队开发的一个开源工具,专注于快速部署深度学习模型。它支持多种硬件和框架,覆盖图像、视频、文本和语音等20多种场景,包含150多个主流模型。FastDeploy 提供生产环境开箱即用的....
Web – macOS AI Browser:本地AI驱动的macOS浏览器
Web 是一个开源的 macOS 浏览器项目,由 nuance-dev 开发,托管在 GitHub 上。它基于 Apple 的 WebKit 引擎,采用 SwiftUI 和 Combine 框架,遵循 MVVM 架构。Web 的核心特色是集...
Transformers:开源机器学习模型框架,支持文本、图像和多模态任务
Transformers 是由 Hugging Face 开发的一个开源机器学习框架,专注于提供先进的模型定义,支持文本、图像、音频和多模态任务的推理与训练。它简化了模型的使用流程,兼容多种主流深度学习框架,如 PyTorch、Tens.....
Hyperspace(aiOS):分布式AI算力共享网络,aiOS生成式浏览器,深度知识智能体
Hyperspace是一个创新的生成式浏览器(aiOS),基于全球最大的对等AI网络,旨在为用户提供深度研究与分析的强大工具。通过集成多种AI模型和数据源,Hyperspace允许用户快速生成信息网,利用高质量的资源如Wikiped...
RunPod:专为AI设计的GPU云服务,快速冷启动SD且按秒付费
RunPod是一个专为AI设计的云计算平台,旨在为开发者、研究人员和企业提供一站式的AI模型开发、训练和扩展解决方案。该平台集成了按需GPU资源、无服务器推理、自动扩展等功能,为AI项目的各个阶段提供强大的支持。...
OpenBayes:使用云端计算资源快速部署丰富的大模型实例
OpenBayes是一款开箱即用的人工智能及高性能计算(AI+HPC)服务平台,面向机器学习工程师,提供多版本框架支持和丰富数据集。基于JupyterLab,支持容器化和Kubernetes资源调度。同时,开放多种API和私有化部署选...
揽睿星舟:提供云端GPU算力与AI训练推理一体化平台
揽睿星舟(Lanrui-ai)是一个提供云端AIGC(人工智能生成内容)和AI训推一体化算力的平台。该平台由翼方健数自主研发,旨在为用户提供高性价比的AI算力解决方案。揽睿星舟集成了多种AI工具链,支持多机多卡分布式...
Ollama:本地一键部署开源大语言模型
Ollama 综合介绍 ollama是一个轻量级的本地语言模型运行框架,让用户能够容易地搭建和运行大型语言模型。它提供多种快速开始和安装选项,支持Docker,包含了丰富的库供用户选择。它的使用方法简单,提供了REST AP...
回顶部