 |
ニューラル表現を用いたロバストな水中Structured Light |
|
構造化光は、プロジェクタから特定のパターンを投影し、その歪みをカメラで観測することで三角測量を行う手法である。しかし、光の減衰や散乱が激しい環境や、動的なシーンでのワンショット復元においては、ノイズの影響を受けやすく、復元結果が疎になったり、精度が著しく低下したりするという課題があった。 近年、自由視点画像合成の分野で発展した「ニューラル場（Neural Fields）」の表現能力を導入することで、離散的な画素単位の幾何学に縛られない、連続的かつ高精細な3次元復元を実現した。 【手法1：Neural SDFを用いた連続的形状復元（ActiveNeuS）】 従来のボクセルやメッシュによる表現に代わり、物体の形状をネットワークで近似された「符号付き距離関数（Neural SDF）」として定義した。本アルゴリズムでは、カメラから放たれるレイ $r(t) = o + t d$ 上でサンプリングした3D点をプロジェクタの座標系へ再投影し、投影パターン上の輝度値（期待色）と観測画像のフォトメトリック誤差を最小化するように形状を最適化する「ActiveNeuS」を構築している。 この手法の最大の優位性は、空間を連続した関数として学習するため、画素の解像度に依存しないサブピクセル精度での復元が可能な点にある。従来の「点」の対応付けに基づく手法ではノイズに埋もれてしまうような低解像度なデータからでも、幾何学的な整合性を保ったまま、滑らかで欠損のない表面を精密に補完・復元できる。 
ActiveNeuSのレンダリングパイプライン 
従来手法との形状復元精度の比較 【手法2：投影パターンの時間的変化を活用したActive-SfM】 テクスチャが乏しく自己位置推定（SLAM/SfM）が困難な環境に対し、投影パターンの時間的な変化を幾何的な拘束条件として組み込む「Active-SfM」を構築した。微分可能レンダラーを介して「形状（SDF）」と「カメラポーズ $\{R, t\}$」を同時に最適化するアルゴリズムであり、プロジェクタから投影された固定パターンが、カメラの移動に伴って物体表面を「滑る」様子を数理的に解析することで、高精度なポーズ推定を行う。 これにより、SIFT等の画像特徴点が一切抽出できない暗所や単調な壁面であっても、投影パターンの歪みそのものを強力な手がかりにして、ミリ単位の精度で自己位置を特定できる。従来の手法が完全に破綻するような過酷なシーンにおいて、安定して広域な3次元マッピングを継続できる点が非常に優れている。 
投影パターンを用いたポーズ最適化の概念 
従来手法との形状復元精度の比較 【手法3：投影パターンの自己教師あり学習（Unsupervised SL）】 実環境において、レンズの屈折や装置のズレにより投影パターンが未知、あるいは変質してしまう状況に対応するため、形状とパターンの放射輝度分布を同時に学習する「Unsupervised Structured Light」を提案した。マルチレゾリューション・ハッシュ符号化を用いてパターンの輝度分布をネットワーク化し、物体による遮蔽を明示的に扱うシャドウボリューム・レンダリングを統合することで、形状とパターンを相互に最適化する仕組みである。 この手法の最大の利点は、事前のパターンの情報を一切必要としない柔軟性にある。装置の衝撃や環境変化によって投影系に狂いが生じても、現場での観測データのみから適応的に正しい放射パターンと幾何形状を導き出すことができ、実用上の堅牢性を劇的に向上させている。 
Unsupervised SLのパイプライン 
Unsupervised SLによる復元の例 【実際の水中環境における評価と展望】 構築したフレームワークを実際の水中ロボット（ROV）に実装し、水槽および実海域での検証を行った。 ここでは、上記３つの手法に加え、水による光の屈折を物理的に補正する「屈折考慮型レイサンプリング」や、Segment Anything Modelによって収集した特徴領域の情報を用いてROVの初期位置姿勢を推定するモジュールをアルゴリズムに組み込むことで、さらなるロバスト化を実現した。 結果として、濁りや複雑な反射が生じる水中においても、従来の構造化光手法を凌駕する精度を実証した。 本成果は、画素単位の幾何学に依存しないニューラル表現の強みを活かし、水中施設の自動点検や資源探査など、人が立ち入ることが困難な極限環境におけるロボットの自律運用を支える極めて強力な基盤技術となる。 
実機ROVを用いた実際の水中環境における評価 Publications
Code
|
| Computer Vision and Graphics Laboratory |