SynthLightは、2つのキーテクノロジーによってディテールの保持を保証します:
- 分類器ガイダンスなしの推論サンプリング拡散処理の各デノイジングステップにおいて、モデルは元画像の低周波情報を相互参照し、元の顔のディテールを破壊することなく、新しい照明条件から高レベルのガイダンスを受け取ります。
- マルチスケール特徴フュージョンネットワーク・アーキテクチャには、エンコーダーによって抽出された局所的なテクスチャーの特徴(まつげや唇のラインなど)をデコーダーに直接渡す専用のスキップ接続モジュールが含まれています。
技術論文のデータによると、この設計により、SynthLightはLPIPSの知覚類似度メトリックをベースラインモデルより231 TP3 T向上させることができる。実際にユーザーは、ほくろや傷のようなキャラクター特有の微細な特徴が、光の方向を大きく変えてもそのまま維持されていることに気づくだろう。
この答えは記事から得たものである。SynthLight:ポートレート画像の自然光レンダリング(未発表)について































