RolmOCR Detaillierte Installationsanleitung
Der Installationsprozess ist in vier Hauptschritte unterteilt:
- Vorbereitung der UmweltBestätigen Sie die Python ≥ 3.8-Umgebung. Es wird empfohlen, Anaconda zur Erstellung einer virtuellen Umgebung zu verwenden:
conda create -n rolmocr python=3.10
- Montage des RahmensNach der Installation der vLLM-Inferenzmaschine über pip müssen Umgebungsvariablen gesetzt werden:
export VLLM_USE_MODELSCOPE=1
Dies ist ein entscheidender Schritt, um die Kompatibilität der nationalen Modelle zu gewährleisten
- Erwerb von ModellenBeschleunigte Downloads über gespiegelte Quellen sind verfügbar, außer für Hugging Face:
git clone https://www.modelscope.cn/reducto/RolmOCR.git
- Service-AktivierungEs wird empfohlen, den Parameter -token flow-limiting hinzuzufügen, um die Stabilität zu gewährleisten:
vllm serve --model reducto/RolmOCR --max-num-batched-tokens 4096
Fehlerbehebung: Wenn der Start fehlschlägt, prüfen Sie, ob die CUDA-Version ≥11.7 ist; wenn der Speicher nicht ausreicht, fügen Sie den Parameter -gpu-memory-utilization 0.8 hinzu.
Diese Antwort stammt aus dem ArtikelRolmOCR: Dokument-OCR-Modell zur Erkennung von handgeschriebenen und schrägen SchriftzeichenDie
































