教育ビデオの字幕生成の精度を高めるには？

2025-08-25

1.3 K

教育ビデオのキャプション生成を最適化する3つの戦略

専門用語が多く論理的な教育ビデオの性質に対応するため、Tarsierは次のような方法で成果を高めることができる：

ドメイン適応の微調整: Teacher Lecture Videoデータセットを用いたTarsier2-Recap-7bのLoRA微調整 (20-50サンプル必要)
マルチモーダル・エンハンスメントビデオと同期してPPTが入力された場合、プロンプトとしてPPTテキストが挿入される。
後処理の最適化: OpenAIのWhisperで専門用語のスペルミスを音声校正

実用的なテストによると、この方法は高等数学のビデオにおいて、用語の正確さを781 TP3Tから931 TP3Tに、式の記述の正しさを351 TP3T向上させた。