RolmOCR詳細インストールガイド
インストール・プロセスは4つのコア・ステップに分かれている:
- 環境準備Python≧3.8の環境を確認し、Anacondaを使用して仮想環境を作成することを推奨します:
conda create -n rolmocr python=3.10
- フレーム取り付けvLLM推論エンジンをpip経由でインストールした後、環境変数を設定する必要があります:
export VLLM_USE_MODELSCOPE=1
これは、国内モデルの互換性を確保するための重要なステップである。
- モデル取得ハギング・フェイスを除き、ミラーソースによる高速ダウンロードが可能です:
git clone https://www.modelscope.cn/reducto/RolmOCR.git
- サービス・アクティベーション安定性を保証するために、-token flow-limiting パラメータを追加することをお勧めします:
vllm serve --model reducto/RolmOCR --max-num-batched-tokens 4096
トラブルシューティング:起動に失敗した場合は、CUDAのバージョンが11.7以上かどうかを確認する。メモリが不足している場合は、-gpu-memory-utilization 0.8パラメータを追加する。
この答えは記事から得たものである。RolmOCR: 手書き文字と斜め文字を認識する文書OCRモデルについて