ICONIQ发布：2025年AI构建者手册——构建、扩展与优化AI产品的全面指南

目录

1. 引言

我们认为，构建和运营AI产品是竞争的新前沿，而推动这项工作的架构师、工程师和产品领导者们的意见应当得到更多关注。虽然去年的AI报告侧重于购买旅程和企业采用动态，但2025年的报告则将重点转向了“如何做”：如何从头到尾构思、交付和扩展AI驱动的产品。

今年的报告深入探讨了构建者手册的核心维度：

1. 产品路线图与架构：在模型演进的每个阶段，平衡实验、上线速度和性能的新兴最佳实践。
2. 市场进入策略：团队如何调整定价模型和市场进入策略，以反映AI独特的价值驱动因素。
3. 人员与人才：组建合适的团队以利用AI专业知识，促进跨职能协作，并保持长期创新。
4. 成本管理与投资回报率：与构建和推出AI产品相关的支出策略和基准。
5. 内部生产力与运营：公司如何将AI嵌入日常工作流程，以及提高生产力的最大驱动因素。

2. 构建生成式AI产品

2.1 AI产品类型

• 代理工作流和应用层是AI原生公司和AI赋能公司构建的最常见的产品类型。值得注意的是，约80%的AI原生公司目前正在构建代理工作流。

2.2 模型使用情况

• 大多数构建AI应用的公司都依赖于第三方AI API；然而，高增长公司也在微调现有的基础模型并从头开始开发专有模型。

2.3 选择基础模型的主要考虑因素

• 产品开发：在选择面向客户用例的基础模型时，公司将模型准确性置于所有其他因素之上。

在去年的AI报告中，与性能、安全性、可定制性和控制等其他因素相比，成本被列为最低的关键购买考虑因素。值得注意的是，今年的数据中成本要高得多，这可能反映了随着DeepSeek等更具成本效益的模型的兴起，模型层的商品化。

2.4 顶级模型提供商

• OpenAI的GPT模型仍然是使用最广泛的模型；然而，许多公司越来越多地采用多模型方法来开发AI产品，以适应不同的用例。

注释：(1) 构建终端用户应用程序和核心AI模型/技术的公司。

公司越来越多地采用多模型方法来开发AI产品，根据用例、性能、成本和客户要求，利用不同的提供商和模型。这种灵活性使他们能够针对网络安全、销售自动化和客户服务等不同应用进行优化，同时确保跨区域合规性和卓越的用户体验。架构正在构建以支持快速模型交换，有些公司倾向于开源模型，以获得成本和推理速度的优势。

通常，大多数受访者都在使用OpenAI模型和来自其他提供商的1-2个其他模型。

我们使用不同的专有和第三方模型，因为我们的客户有不同的需求。专门的模型使我们能够更好地为客户及其用例定制体验——销售自动化、客户服务代理和内部工具。此外，我们可以为客户提供更灵活的价格点和选择，并且可以不断试验新模型和商业机会。

——某全栈AI公司产品副总裁，年收入超过10亿美元

3. 市场进入策略与合规性

3.1 AI产品路线图

• 对于AI赋能公司来说，约20-35%的产品路线图专注于AI驱动的功能，而高增长公司则将30-45%的路线图投入到AI驱动的功能中。

3.2 主要定价模型

• 许多公司采用混合定价模型，包括订阅/基于计划的定价以及基于使用量或基于结果的定价。

3.3 AI功能定价模型

• 目前，大多数AI赋能公司要么将AI功能作为高级产品的一部分，要么免费提供AI功能。

ICONIQ跨职能洞察：在我们的2025年GTM状态报告中，我们向GTM领导者提出了同样的问题，他们的回答与研发领导者高度一致——这进一步强化了这一趋势在市场上的持续一致性。

3.4 定价变化

• 40%的公司没有计划改变定价，但37%的受访者正在探索基于消费、投资回报率和使用层级的新定价模型。

考虑投资回报率：

“我们希望将支付意愿和与投资回报率结果的明确联系整合到我们的定价模型中。”

——某全栈AI公司产品副总裁，年收入1亿至1.5亿美元

“我们正在观察AI功能是否能为客户带来额外价值。一旦我们有了关键采用率和增值证明，我们可能会细分我们平台的当前层级（即创建一个包含完整AI/代理的高级层，对基本层进行限制，并创建企业层）。”

——某全栈AI公司产品副总裁，年收入1亿至1.5亿美元

基于消费和结果的定价：

“我们将用围绕消费的定价模型补充高级层模型定价。我预计我们还将尝试基于结果的定价，但目前尚不清楚我们将如何构建定价，以便客户能够准确预算这些成本。”

——某全栈AI公司产品副总裁，年收入1亿至1.5亿美元

“订阅模式对我们不起作用。重度用户倾向于大量使用，考虑到LLM API成本，这会导致负利润率，而不使用的人则有流失的风险。考虑到高可变成本，我们计划转向基于使用的模式，但将使用量捆绑为订阅，例如，每年1亿代币的套餐。”

——某全栈AI公司产品副总裁，年收入1亿至1.5亿美元

3.5 AI可解释性和透明度

• 随着AI产品的扩展，提供详细的模型透明度报告或关于AI如何影响结果的基本见解变得更加关键。

3.6 AI合规性和治理

• 大多数公司都有围绕AI伦理和治理政策的护栏，大多数受访者使用人工监督来确保AI的公平性和安全性。

4. 组织结构

4.1 专门的AI/ML领导

• 许多公司在收入达到1亿美元时就已经有了专门的AI领导，这可能是由于运营复杂性增加以及需要有一个集中负责AI战略的所有者。

4.2 AI特定角色

• 大多数公司目前都有专门的AI/ML工程师、数据科学家和AI产品经理，其中AI/ML工程师平均招聘时间最长。

4.3 招聘速度

• 在受访者中，对招聘速度的态度相对均衡，那些认为招聘速度不够快的受访者主要将缺乏合格候选人作为主要限制因素。

4.4 AI工程团队的比例

• 平均而言，公司计划将20-30%的工程团队专注于AI，高增长公司有更高比例的工程团队专注于AI。

5. AI成本

5.1 AI开发支出

• 平均而言，公司将其研发预算的10-20%分配给AI开发，大多数公司计划在2025年增加AI支出。

5.2 预算分配

• 随着AI产品的扩展，人才成本作为支出总比例往往会下降；相反，基础设施和计算成本往往会随着产品开始获得市场吸引力而增加。

5.3 基础设施成本

• 在各种基础设施成本中，受访者指出API使用费是最难控制的成本，这表明公司在与外部API消费相关的可变成本方面面临最大的不可预测性。

5.4 成本优化

• 为了降低AI基础设施成本，组织正在探索开源模型和优化推理效率的方法。

5.5 模型训练

• 大多数受访者至少每月训练或微调模型，估算的每月模型训练成本从16万美元到150万美元不等，具体取决于产品成熟度。

5.6 部署成本：推理

• 推理成本在发布后激增，高增长AI公司的支出在GA和扩展阶段比同行高出2倍。

5.7 部署成本：数据存储和处理

• 数据存储和处理成本也从GA阶段开始急剧上升，高增长AI构建者的数据存储和处理支出高于同行。

6. 内部生产力

6.1 年度内部生产力预算

• 2025年，所有收入层级的内部AI生产力预算将几乎翻一番，公司在总收入的1-8%之间进行支出。

6.2 内部生产力预算来源

• R&D预算仍然是企业公司AI内部生产力预算的最常见来源；然而，我们也开始看到将人头预算用于内部生产力支出。

6.3 AI访问和使用

• 虽然约70%的员工可以访问各种AI工具用于内部生产力，但只有约50%的员工持续使用AI工具，大型企业的采用难度更大（年收入超过10亿美元）。

Don Vu（纽约人寿首席数据与分析官）：仅仅部署工具是失望的根源，尤其是对于大型企业。要真正赋予员工权力，你需要将可用性与包括培训、突出冠军，最重要的是不懈的高层支持在内的支持结构配对。

6.4 AI工具采用的关键考虑因素

• 在选择用于内部用例的基础模型时，成本是最重要的考虑因素，其次是准确性和隐私。

而当部署外部AI产品时，准确性被列为最重要的因素，成本是选择内部AI用例模型时最重要的考虑因素。与外部相比，隐私也成为内部用例中更重要的考虑因素。

6.5 模型部署挑战：内部用例

• 组织在部署AI用于内部用例时面临的最大挑战往往是战略性的（即找到正确的用例并证明投资回报率）而非技术性的。

6.6 使用案例数量

• 公司通常会探索跨职能的多个GenAI使用案例，采用率高的公司会在7个或更多的使用案例中使用GenAI。

6.7 AI采用

• AI工具活跃使用率低于20%的员工：平均使用案例数量 = 3.1
• AI工具活跃使用率在20-50%的员工：平均使用案例数量 = 4.9
• AI工具活跃使用率超过50%的员工：平均使用案例数量 = 7.1

6.8 顶级使用案例：按受欢迎程度

• 研发和销售与营销用例在受欢迎程度上领先，而一般与行政用例仍然落后。

6.9 顶级使用案例：按影响

• 按对生产力的实际影响来看，顶级使用案例与使用趋势相呼应，编码辅助远远超过其他使用案例，在生产力方面产生了最显著的影响。

6.10 对内部AI采用的态度

• 高增长公司倾向于更积极地试验和采用新的AI工具，这表明领先的公司将AI视为战略杠杆，并更快地将其整合到内部工作流程中。

6.11 跟踪投资回报率

• 大多数公司都在衡量内部AI使用的生产力和成本节约。

7. AI构建者技术栈

7.1 最常用的工具：模型训练和微调

关键要点

框架与托管平台

核心深度学习框架仍然很受欢迎，PyTorch和TensorFlow占据了所有受访者中超过一半的使用量。但它们几乎与完全托管或API驱动的产品相匹配——AWS SageMaker和OpenAI的微调服务的普及表明，团队在“构建自己的”和“让其他人运行它”的方法之间存在分歧。

生态系统参与者获得关注

• Hugging Face生态系统 和 Databricks的Mosaic AI Training正在开辟有意义的利基市场，为原始框架提供更高级别的抽象。
• 同时，更专业或新兴的工具（AnyScale、Fast.ai、Modal、JAX、Lamini）以个位数的百分比出现，表明实验正在进行中，但广泛采用仍处于萌芽状态。

企业级需求

• 后期的公司通常拥有更大的数据团队、更复杂的管道，以及对安全性、治理和合规性的更严格的要求。
• Databricks的“湖屋”架构（它融合了数据工程、分析和ML）和AnyScale的托管Ray集群（它简化了分布式训练和超参数调整）都直接满足了这些企业需求，更多的受访者在年收入5亿美元+的收入范围内使用这些解决方案。

最广泛使用的工具

7.2 最常用的工具：LLM和AI应用开发

关键要点

编排框架占据主导地位

• 使用的顶级框架包括LangChain和Hugging Face的工具集，这表明团队显然重视简化提示链、批处理以及与公共或自托管模型接口的高级库。
• 大约70%的受访者还指出他们使用私有或自定义LLM API。

安全性和更高级别的SDK获得关注

• 大约3/10的受访者使用Guardrails来执行安全检查，近1/4的受访者利用Vercel的AI SDK（23%）进行快速部署，这表明人们对生产LLM应用程序需要护栏和简化的集成层越来越有认识。

长尾实验

• 新兴参与者如CrewAI、Modal Labs、Instructor、DSPy和DotTXT的使用较弱，这表明虽然实验广泛，但广泛的标准化尚未在主要参与者之外确定。

最广泛使用的工具

7.3 最常用的工具：监控和可观察性

关键要点

现有基础设施仍然占据主导地位

• 近一半的团队依赖于他们现有的APM/logging堆栈（Datadog、Honeycomb、New Relic等），而不是采用ML特定的工具——这突显出易集成性和组织标准化通常超过了定制AI监控的好处。

ML原生平台获得早期关注

• LangSmith和Weights & Biases都取得了突破性的进展，达到了约17%的采用率，这表明人们对开箱即用的解决方案有真正的需求，这些解决方案可以检测提示链、跟踪嵌入，并发现漂移，而无需对旧系统进行附加。

碎片化的长尾和知识差距

• 除了前两个ML原生名称之外，使用量很快就在Arize、Fiddler、Helicone、Arthur等玩家中碎片化，10%的受访者不知道他们使用什么工具；这既表明生态系统处于萌芽状态，也表明人们对生成式AI的“观察性”概念感到困惑。

最广泛使用的工具

7.4 最常用的工具：推理优化

关键要点

NVIDIA在生产中的控制力

• TensorRT 和 Triton 推理服务器共同占据了超过60%的市场份额，这突显了NVIDIA的堆栈在GPU部署中压缩延迟和吞吐量方面仍然占据主导地位。

跨平台替代品获得市场份额

• ONNX Runtime（18%）是顶级的非NVIDIA解决方案，反映了团队对跨CPU、GPU和加速器的硬件无关加速的需求。
• TorchServe（15%）同样表明，纯PyTorch服务仍然有一席之地，尤其是对于仅CPU工作负载或更简单的容器化设置。

知识差距和未开发潜力

• 有17%的受访者不知道他们使用哪种优化，14%的受访者报告“无”，这表明在推理调优方面存在明显的混淆或缺乏经验，这表明在量化、修剪和高效运行时方面存在教育（和工具）机会——尤其是对于大规模运行团队。

最广泛使用的工具

7.5 最常用的工具：模型托管

关键要点

直接来自提供商的访问是王道

• 大多数团队通过OpenAI、Anthropic等直接访问模型主机，这突显出阻力阻力仍然是通过调用供应商自己的推理API，而不是构建或通过中间层集成。

超大规模者紧随其后

• AWS Bedrock 和 Google Vertex AI 已经占据了相当大的份额，反映了市场对统一的、企业级的ML平台的需求，这些平台将托管与治理、安全和账单捆绑在一个窗格中。
• 特别是，更多后期阶段的公司（年收入5亿美元+）报告使用超大规模者解决方案。

碎片化的替代品和新玩家

• 除了三大巨头之外，使用量很快就在Fireworks、Modal、Together.ai、AnyScale、Baseten、Replicate、Deep Infra等玩家中碎片化。这种长尾表明团队仍在探索专业主机，通常是由独特的定价、性能SLA或功能集（例如，自定义运行时、场内选项）驱动的。

最广泛使用的工具

7.6 最常用的工具：模型评估

关键要点

没有明确的独立领导者

• 近1/4的团队主要使用平台（如Vertex、Weights & Biases或Galileo）的内置评估功能，而20%的受访者根本“不知道”他们使用什么工具，这表明许多组织仍然依赖于现有ML堆栈中内置的评估功能，而不是采用专门的框架。

新兴的专业框架

• LangSmith 和 Langfuse 引领着专门构建的评估工具的行列，HumanLoop 和 Braintrust 也显示出吸引力；这些平台通过提供更丰富的提示级指标、可定制的测试套件和开箱即用的漂移检测赢得了市场份额。

知识差距和DIY

• 几乎1/4的受访者不知道他们使用哪种评估工具，或者根本没有评估工具，这既表明对生成式AI的“评估”概念感到困惑，也表明了未监控的模型回归的风险。
• 同时，一些受访者也在构建自己的评估管道，这表明现成的工具还没有覆盖所有用例。

最广泛使用的工具

7.7 最常用的工具：数据处理和特征工程

关键要点

经典的大数据工具仍然占据主导地位

• Apache Spark（44%的受访者）和Kafka（42%的受访者）领先，这突显出在规模上，团队默认使用经过实战考验的分布式批处理和流框架进行ETL和实时数据摄取。

Python的强大基础

• 尽管大数据足迹沉重，但41%的受访者仍然依赖于Pandas——这表明对于较小的数据集、原型制作或边缘案例，内存中Python工具的简单性和灵活性仍然不可或缺。

特征存储在地平线上

• 只有17%的人在使用的专门的特征存储，这表明虽然“构建一次，到处使用”的特征概念正在获得知名度，但大多数组织尚未大规模地实现它。
• 随着成熟度的增长，我们可能会看到特征存储和轻量级协调器（Dask、Airflow等）排名上升——但就目前而言，Apache生态系统占据主导地位。

最广泛使用的工具

7.8 最常用的工具：向量数据库

关键要点

搜索引擎演变成向量存储

• Elastic 和 Pinecone 引领采用，这反映了团队要么改造现有的全文搜索平台用于嵌入，要么采用专门的托管向量引擎。

Redis 和“长尾”

• Redis 表明，利用您已经运行的内存数据存储具有吸引力，而 Clickhouse、AlloyDB、Milvus、PGVector 等其他解决方案则表明，许多组织正在试验不同的后端，以平衡成本、延迟和功能需求。

开源解决方案的兴起

• 专门的开放源码工具，如 Chroma、Weaviate、Faiss、Qdrant 和 Supabase 的向量插件，正在蚕食早期领导者，这表明在易用性、可扩展性和云原生集成方面存在竞争激烈的战场。

最广泛使用的工具

7.9 最常用的工具：合成数据和数据增强

关键要点

内部制作占据主导地位

• 超过一半的团队（52%）构建自己的工具，这表明现成的提供商仍然难以覆盖每个用例或与现有管道集成。

Scale AI 是明显的供应商领导者

• 采用率为21%，Scale AI 是首选的第三方合成数据平台——但即使是它也只有1/5的组织采用。

程序框架的早期吸引力

• Snorkel AI 和 Mostly AI 表明，程序标记和生成工具正在获得市场份额，但仍然远远落后于定制解决方案。

最广泛使用的工具

7.10 最常用的工具：编码辅助

关键要点

先行者的主导地位

• GitHub Copilot 被近四分之三的开发团队使用，这要归功于它与 VS Code 的紧密集成、多语言支持，以及 GitHub 庞大用户群的支持。Copilot 的网络效应和产品市场适应性使其难以被取代，但 Cursor（50% 的受访者使用）的强劲表现表明，市场对多样化的 IDE 集成有需求。

长尾产品落后

• 在前两名之后，采用率急剧下降，长尾解决方案支离破碎，这表明虽然大多数团队至少尝试过一种助手，但很少有团队对替代品进行标准化。低代码或无代码解决方案，如 Retool、Lovable、Bolt 和 Replit 也获得了荣誉提名，这表明市场对从想法到应用程序的解决方案的兴趣日益增加。

最广泛使用的工具

7.11 最常用的工具：DevOps 和 MLOps

关键要点

MLflow 领先——但没有垄断

• MLflow 被 36% 的受访者使用，是实验跟踪、模型注册表和基本管道编排的明确领跑者——这仅略高于三分之一的团队，表明替代品仍有很大的空间。
• Weights & Biases 也拥有强大的市场份额，20% 的受访者使用，反映了其作为跟踪、可视化和协作的托管 SaaS 的吸引力。
• 除了前两名之外，使用量很快就会碎片化——16% “不知道” 哪些工具支持他们的 MLOps 和其他工具的提及包括 Resolve.ai、Cleric、PlayerZero、Braintrust 等。这既表明对职责（DevOps 与 MLOps）的混淆，也表明市场仍在整理自己。

跟踪与全规模运营之间的差距

• 像 MLflow 和 W&B 这样的跟踪优先平台占据主导地位，表明许多团队尚未采用端到端的 MLOps 套件——持续交付、漂移监控或自动回滚对大多数人来说仍然是进行中的工作。

最广泛使用的工具

7.12 最常用的工具：产品与设计

关键要点

Figma 的近乎普遍的影响力

• 拥有 87% 的采用率，Figma 实际上已成为 UI/UX 和产品设计的既定标准——团队绝大多数都坚持其实时协作、组件库和插件生态系统，而不是寻求 AI 特定的设计工具。

Miro 进行更高层次的协作

• 拥有 37% 的采用率，Miro 仍然是线框图、用户旅程映射和跨职能头脑风暴的首选；其白板式界面补充了 Figma 的像素级画布，尤其是在早期构思阶段。

AI 启用的产品线框图兴起

• 设计团队还没有感受到对 AI 原生产品/设计平台的迫切需求，然而，许多人正在使用低/无代码解决方案来快速原型制作，如 Bolt、Lovable 和 Vercel V0。

最广泛使用的工具

8. 内部生产力使用案例（第一部分）

8.1 使用案例

关键趋势

有关每个类别中特定工具的更多信息，请联系 ICONIQ Insights。

销售生产力

• 许多团队直接从 Salesforce 获取他们的 AI 驱动的销售功能——这表明一个简单的路径是依靠您现有的 CRM 内置的推荐、预测和机会评分，而不是附加一个单独的服务。
• 其他受访者也在使用 Apollo、Salesloft、Gong 等销售参与平台，同时还有一些人也在转向 Clay 和 People.ai 等 AI 驱动的潜在客户开发工具。
• 随着嵌入式功能的成熟，我们可能会看到围绕少数平台或从点解决方案新秀中脱颖而出的更清晰的差异化。

营销自动化和内容生成

• 营销人员几乎完全转向 Canva 的生成式功能，用于品牌视觉和快速内容迭代，这使其成为营销堆栈中迄今为止最常见的“AI”接触点。
• 许多受访者也在使用 n8n 或内部解决方案，这表明营销用例有时需要高度的内部定制。
• 许多受访者也在使用专门的 AI 写作工具，如 Writer 和 Jasper，采用率对于后期公司（年收入超过10亿美元）更高。

客户参与

• 团队几乎完全依赖于 Zendesk 或 Salesforce 内置的 AI 功能进行客户互动，这表明，依赖于您已经使用的平台而不是采用独立的对话 AI 平台仍然更胜一筹。
• 当他们需要更深入的机器人定制、自助服务向导或紧密的内嵌支持小部件时，一大部分少数人依赖于专门的工具，如 Pylon、Forethought、Grano.la 或 Intercom——这表明，当现成的 AI 不够好时，精品工具仍然有一席之地。

文档和知识检索

• 大多数团队要么建立在现有的 wiki 和笔记工具上，要么标准化于 Notion；这表明，组织通常默认使用已经存在的知识捕获工具，然后再尝试 AI 驱动的覆盖层。
• 然而，一大部分受访者也在转向专门的 AI 工具，如 Glean 和 Writer，用于索引和语义搜索。

9. 内部生产力使用案例（第二部分）

9.1 使用案例

关键趋势

有关每个类别中特定工具的更多信息，请联系 ICONIQ Insights。

IT 和安全

• ServiceNow（33% 的受访者使用）和 Snyk（30% 的受访者使用）领先，这表明大型组织仍然默认使用他们现有的 ITSM 和安全扫描平台，而不是建立全新的 AI 工具。
• Zapier 和 Workato 也经常被提及，这突显出团队非常重视低代码编排，用于将警报、票证创建和跨不同工具的补救脚本结合起来。

法律

• 法律部门主要通过 ChatGPT 和临时脚本涉足 AI，但专门的法务助理平台开始获得关注。
• 随着法规和安全问题的增加，我们可能会看到分化：主流 LLM 用于非正式研究和以合规为中心的套件用于关键任务合同工作流。

人力资源和招聘

• 近一半的团队依赖于 LinkedIn 内置的 AI 功能——个人资料建议、候选人匹配和推广排序——这表明招聘人员依赖于他们已经每天使用的平台，而不是集成独立的解决方案。然而，像 HireVue（用于 AI 驱动的视频面试）和 Mercor（用于候选人参与）这样的利基平台也开始看到适度的采用。

FP&A 自动化

• 许多团队使用 Ramp 进行 FP&A 自动化，可能利用其支出管理和数据同步功能，在一体式平台中。
• 专门的套件，如 Pigment、Basis 和 Tabs 也开始获得关注，这表明人们对基于驱动因素的计划和多场景建模平台越来越感兴趣。
• 大约三分之一的受访者也在使用内部解决方案，反映了对自定义脚本、Excel 宏和定制管道以将 ERP、计费和 BI 系统结合在一起的投入。

10. 结论

技术很重要，战略很重要，但最重要的是人。

 

原文：https://www.iconiqcapital.com/growth/reports/2025-state-of-ai

报告下载：https://cdn.prod.website-files.com/65d0d38fc4ec8ce8a8921654/685ac42fd2ed80e09b44e889_ICONIQ%20Analytics_Insights_The_AI_Builders_Playbook_2025.pdf