olmOCR是由Allen Institute for Artificial Intelligence (AI2)的AllenNLP团队开发的一款开源工具,专注于将PDF文件转换为线性化文本。它特别适合用于大规模语言模型(LLM)的数据集准备与训练。
主な特徴は以下の通り:
- PDF文本提取与线性化:将PDF转换为Dolma风格的JSONL格式文本,保留自然阅读顺序
- 复杂内容识别:能够处理表格、数学公式和手写文本
- 高性能处理:支持GPU加速推理和多节点并行处理
- 灵活部署:可在本地GPU运行或通过AWS S3实现云端处理
olmOCR采用Apache 2.0许可,代码、模型权重和数据完全开源,鼓励社区参与改进。
この答えは記事から得たものである。olmOCR: PDF 文書のテキスト変換、表、数式、手書き内容の認識のサポートについて