AIRI在设计之初就将用户隐私保护作为核心理念之一,其本地推理功能正是这一理念的集中体现。这个功能允许用户在完全脱离云端的情况下运行AI模型,所有数据处理都在本地设备上完成,从根本上消除了隐私泄露的风险。
从技术角度看,AIRI提供了多种本地推理方案:对于浏览器用户,可以利用WebGPU加速,这在现代浏览器中已经得到良好支持;对于桌面端用户,则可以充分利用NVIDIA CUDA或Apple Metal等专用图形加速技术,获得更强大的运算能力。特别是对于Mac用户,Metal框架的支持意味着他们也能获得接近专业GPU的计算性能。
值得注意的是,AIRI在实现本地推理的同时,还保持了出色的易用性。用户只需要在设置中选择相应选项即可激活本地模式。这种将复杂技术简化为点击操作的设计,展示了开发团队在用户体验方面的深入思考。
This answer comes from the articleAIRI: Self-hosted AI virtual companion with support for real-time voice and game interactionThe