olmOCR是由Allen Institute for Artificial Intelligence (AI2)的AllenNLP团队开发的一款开源工具,专注于将PDF文件转换为线性化文本。它特别适合用于大规模语言模型(LLM)的数据集准备与训练。
Os principais recursos incluem:
- PDF文本提取与线性化:将PDF转换为Dolma风格的JSONL格式文本,保留自然阅读顺序
- 复杂内容识别:能够处理表格、数学公式和手写文本
- 高性能处理:支持GPU加速推理和多节点并行处理
- 灵活部署:可在本地GPU运行或通过AWS S3实现云端处理
olmOCR采用Apache 2.0许可,代码、模型权重和数据完全开源,鼓励社区参与改进。
Essa resposta foi extraída do artigoolmOCR: conversão de documentos PDF em texto, suporte a tabelas, fórmulas e reconhecimento de conteúdo manuscritoO