专为 AI 产品团队和 AI 领导者设计，介绍如何评估基于 LLM 的产品。提供轻松入门的学习方式，无需编程知识。课程将于 2024 年 12 月 9 日 开始。
LLM 评估的基础知识：从评估方法和基准到 LLM 的防护措施，以及如何创建自定义 LLM 评估工具。本课程专为希望掌握 AI 质量与可观察性核心概念的 AI 产品经理和 AI 领导者设计。
LLM 应用程序生命周期不同阶段的评估：从实验阶段到生产监控阶段。
如何设计评估数据集，并使用合成数据生成多样化的测试用例。
LLM 应用可能出现的问题：幻觉、提示注入、越权破解等。
如何在生产环境中构建 LLM 可观察性：跟踪、评估、防护措施。
LLM 评估方法：LLM 评估工具、正则表达式、预测性指标。
实际案例：如何评估 RAGs（检索增强生成系统）、QA 系统以及智能代理。
等待发布…
随着大型语言模型技术的飞速发展和广泛应用，其潜在的安全风险日益成为业界关注的焦点。为了应对这些挑战，全球众多顶尖科技公司、标准化组织及研究机构纷纷构建并发布了各自的安全框架。本文将梳理并剖析其中九...
在大语言模型（ LLM ）的研究领域，模型的 Leap-of-Thought 能力，即创造力，其重要性不亚于以 Chain-of-Thought 为代表的逻辑推理能力。然而，目前针对 LLM 创造力的深入讨论和有效评估方法仍然相对匮乏，这在...
掌握 Claude Code：来自一线的代理式编码实战技巧 Claude Code 是一款面向代理式编码 (Agentic Coding) 的命令行工具。所谓代理式编码，指的是让 AI 具备一定的自主性，能够理解任务、规划步骤、执行操作（如...
GPT-4.1 系列模型相较于 GPT-4o，在编码、指令遵循和长上下文处理能力上有了显著进步。具体来说，它在代码生成和修复任务上表现更优，能更精确地理解并执行复杂指令，并且可以有效处理更长的输入文本。这份提示工...
1. 引言 在当今信息爆炸的时代，大量知识以表格形式存储于网页、维基百科和关系型数据库中。然而，传统的问答系统往往难以处理跨多个表格的复杂查询，这成为人工智能领域的一大挑战。为了应对这一难题，研究人员...
随着大型语言模型 (LLM) 能力的飞速发展，传统的基准测试，如 MMLU，在区分顶尖模型方面逐渐显现出局限性。仅仅依靠知识问答或标准化测试，已难以全面衡量模型在真实世界交互中至关重要的细微能力，例如情商、创...
大语言模型（LLM）的发展日新月异，其推理能力已成为衡量其智能水平的关键指标。特别是具备长推理能力的模型，例如 OpenAI 的 o1、DeepSeek-R1、QwQ-32B 和 Kimi K1.5 等，它们通过模拟人类深度思考过程来解决复...
引言 近年来，大型语言模型（LLMs）在人工智能领域取得了令人瞩目的进展，其强大的语言理解和生成能力使其在多个领域得到了广泛应用。然而，LLMs 在处理需要调用外部工具的复杂任务时，仍然面临诸多挑战。例如，...
微信扫码分享
简体中文 
English 
日本語 
Deutsch 
Português do Brasil