llmwareはトリプルアシュアランスプログラムを提供しています:
- エビデンス検証システムスルー
evidence_comparison_stats
この方法は、回答と知識ソースの一致度を計算し、閾値以下のリスクに自動的にフラグを立てる。 - キュー・ヒストリーのトラッキング使用
prompter.save_state()
すべてのやりとりを記録し、事後の監査証跡をサポートします。 - マルチソース・クロスバリデーションコンフィギュレーション・クエリーの設定
minimum_score
パラメータを使用し、信頼度の高いセグメントのみを生成の基礎として使用する。実用的なテストでは、これら3つの方法を組み合わせることで、幻覚率を801 TP3T
この答えは記事から得たものである。llmware: エンタープライズクラスのRAGアプリケーションを迅速に構築するためのオープンソースフレームワークについて