システム環境と依存関係の管理
PCRE2バージョン10.0+開発ライブラリ（libpcre2-dev）とPython 3.6+実行環境です。Ubuntu/Debianシステムでは、インストールプロセスは5つの標準ステップで構成されます。1) apt経由で基本依存ライブラリをインストールする、2) git cloneを使用してソースコードを取得する、3) gitサブモジュールを初期化する、4) Python開発ヘッダを設定する、5) setup.pyを実行してコンパイルとインストールを完了する。
CentOS/RHELでは、yumインストール・コマンドを調整する必要があります。Windowsプラットフォームでは、WSL2を介して実行することが推奨されます。依存関係管理のために、必須のPCRE2に加えて、性能比較テストのためにTikTokenをオプションでインストールすることができます。標準的な開発環境では、インストールに約8～12分かかりますが、PCRE2ライブラリのコンパイルに最も時間がかかります。プロジェクトのドキュメントでは、環境の準備時間を2分未満に短縮するDockerイメージの高速デプロイメント・ソリューションを提供しています。
この答えは記事から得たものである。TokenDagger: 高性能テキスト分割ツールについて
