AI标签精度提升方案
混合模型策略
在.env
中配置多模型协同:FFUN_TAGGING_STRATEGY=hybrid
FFUN_OPENAI_MODEL=gpt-4-1106-preview
FFUN_GEMINI_MODEL=gemini-pro
系统将:
- 先用Gemini进行初级分类(成本低)
- 对置信度<80%的内容用GPT-4复核
- 最终结果存入PostgreSQL的
tags_metadata
表
反馈训练机制
- 用户右键误标标签→选择”报告错误”
- 系统记录到
tag_errors.csv
- 每周自动生成finetune数据集
本地模型替代方案
对隐私要求高的用户可:
- 部署本地LLM如Llama2
- 修改
ffun/librarian/taggers/local_llm.py
- 设置
FFUN_LOCAL_LLM_ENDPOINT=http://localhost:5000
经测试,该方案可使标签准确率从72%提升至89%。
本答案来源于文章《Feeds.Fun:自动标记和筛选新闻的RSS订阅工具》