|
少数の固定カメラだけから動的対象の3次元形状を復元することは、視点が疎なため対応付けの手掛かりが弱く、広いベースラインではニューラルマルチビューステレオも不安定になりやすいため容易ではない。能動照明は有用な情報を与えるが、動く対象に対して照明を順番に切り替える方法は適していない。そこで本研究では、少数視点の観測と複数のワンショットスキャンシステムを組み合わせたニューラル4D再構成法を提案する。
提案法では、照明条件の異なる観測を積み重ねたマルチチャンネル画像を用い、カメラからの視線だけでなく、光源からのライトレイに沿った放射輝度の拘束も導入してニューラル最適化を行う。さらに、多重化照明と復調を組み合わせることで、複数の照明が重複した観測から各照明成分を取り出し、動く対象にも適用できるようにしている。この構成により、少数の固定カメラと光源でも表面復元に有効な情報を確保できる点が特徴である。
シミュレーションと実環境の両方の実験において、提案手法は疎視点条件でも最も良い再構成結果を示した。静的な対象だけでなく動的シーンの復元にも成功しており、能動照明とニューラル再構成を組み合わせることで実用的な4D計測が可能であることを示している。
Publications
|
