性能问题诊断与优化方案
当 PDF 运行缓慢或崩溃时,可采取以下优化措施:
- Nível de hardware::
- 确保设备至少有 8GB 可用内存
- 使用 Chrome/Firefox 最新版而非内置 PDF 阅读器
- 关闭其他占用 GPU 资源的程序
- Seleção de modelos::
- 换用参数更小的模型(如 135M 参数的 TinyLLaMA)
- 尝试 Q4/Q5 量化版本牺牲质量换取速度
- 限制生成 token 数量(修改脚本中的 max_tokens 参数)
- Dicas e truques::
- 输入提示(prompt)尽量简短(<50 字)
- 避免复杂指令(如代码生成)
- 分阶段生成内容而非一次性长文本
若问题持续:
1. 检查浏览器控制台(F12)的 JavaScript 错误日志
2. 重新生成 PDF 并确保 Emscripten 编译过程无报错
3. 在 GitHub Issues 提交具体的设备配置和错误信息
Essa resposta foi extraída do artigollm.pdf: projeto experimental para executar um modelo de linguagem em grande escala em um arquivo PDFO