 |
すりガラスの背後にある物体のボケをガウシアン・スプラティングにより除去する手法 |
すりガラスのような光拡散によりボケが発生しているシーンの鮮明な映像の復元手法に取り組む。拡散板によるボケの強さは物体から板までの距離に依存し急激に変化するため、視点位置や物体形状により観測されるボケの強さは空間的に不均一である。従来手法では全体的に鮮明な画像を復元するためには、位置依存のボケカーネルを推定する必要があり、シーンに関する事前知識が必要であった。この研究では多視点観測を利用して、事前知識を必要としない物理ボケモデルによる復元手法を提案する。
ピンホール撮像モデルにおいて、ボケの大きさは撮像センサーとピンホール、対象物体とピンホール、それぞれの距離と視線角度という幾何情報、および、ボケパラメータの大きさにより決定される。この撮像モデルを3D Gaussian Splatting (3DGS)のフレームワークに組み込み、ボケパラメータを各ガウシアンプリミティブの微分可能パラメータとして設定する。複数観測画像と既知のカメラポーズを与え、3DGSでシーン再構成することで一意のボケパラメータを推定することが可能になる。シミュレーション、実環境実験において定量的な実験結果を示し、提案手法の有効性を確認した。 
実環境における実験結果。キャプチャ画像ではボケにより不鮮明な画像だが、提案手法ではの高周波成分の復元に成功している。特に拡大図で示す文字、リンゴの下手や、マンドリルの目の部分で顕著な違いが確認できる。 
Resources
Publications
|
| Computer Vision and Graphics Laboratory |