概要
医療における腫瘍の大きさの計測は，治療方針の決定に重要です．しかし多くの場合，その計測は医師による目視推定に依存しており，個人差による誤差が生じやすいという問題があります．
内視鏡デバイスを用いて腫瘍形状を客観的に計測することは，この問題の解決に向けた大きな一歩となります．
さらに，手術ロボットや，医療用AIの学習用途など，内視鏡の３次元計測は重要性が高まっています．
私たちはアクティブステレオ法に基づく３次元内視鏡システムの開発を進めています．
内視鏡の鉗子チャネルに小型パターンプロジェクタを挿入し，
観察対象にパターン光を照射した状態で内視鏡カメラで画像を撮影します．
撮影された画像と投影パターンとの対応を画像処理によって推定し，
三角測量により３次元計測を行います．
パターン投光器：DOEを用いた広画角超小型プロジェクタ
計測対象は生体組織であるため，組織内の散乱（subsurface scattering）によって投影パターンがぼやけることがあります．
また，内視鏡環境ではノイズや外乱の影響が通常のカメラ環境よりも大きくなります．
これらに対処するため，グリッドパターンのグリッド点をグリッド辺間のギャップで変調するギャップ符号化グリッドパターンと，
DOE（回折光学素子）を用いてシャープにパターンを投影できる超小型パターンプロジェクタを開発しました．
本プロジェクタは画角約90度の広角投影が可能であり，広範囲をカバーできます．
プロジェクタを鉗子孔に挿入することで，
パターンを投影しながら内視鏡撮影を行うことができます．
深層学習による投影パターンのデコード
３次元内視鏡システムの構成
開発したパターンは，深層学習モデルで「デコード」されます．これにより，
カメラからプロジェクタへの対応を，画素単位で求めることができます．
マルチフレーム最適化
連続画像からの３次元復元では，
ニューラル陰関数曲面表現（Neural Signed Distance Field，Neural-SDF）と
構造化光（SL）投影を統合することで，
フレーム間での幾何学的整合性，精度を高める方法を提案してます．
下図に処理フローを示します．
各フレームでは，ギャップ符号化パターンをデコードしてピクセルごとの対応マップを取得し，
フレームごとにキャリブレーション（カメラ・プロジェクタ姿勢の推定）を行います．
その後，全フレームを対象として，カメラ姿勢・プロジェクタ姿勢・表面形状を同時に最適化します．
フレームごとの形状復元のみでは，デコードミスによる形状欠けや，
フレーム間でのスケール・幾何学的不整合などが生じます．
全フレーム一括最適化では，ニューラル曲面上にアクティブステレオ法によるパターン投影画像と
カメラ・プロジェクタ対応マップをレンダリングし，キャプチャ画像およびデコード結果と比較します．
これらが一致するように全体形状，カメラ位置，プロジェクタ位置が最適化され，
幾何学的に整合した奥行き画像および形状が得られます．
マルチフレーム最適化の処理例
以下に，全フレーム一括最適化により得られる，フレーム間で幾何学的に整合した奥行き画像と
形状データの例を，複数のin-vivoサンプルについて動画で示します．
| サンプル |
深度画像 |
３次元形状 |
| Sample A |
|
|
| Sample B |
|
|
| Sample C |
|
|
| Sample D |
|
|
| Sample E |
|
|
Publications
- Furukawa, R., Nagamatsu, G., Oka, S., Kotachi, T., Okamoto, Y., Tanaka, S., and Kawasaki, H.,
Simultaneous Shape and Camera-Projector Parameter Estimation for 3D Endoscopic System Using CNN-Based Grid-Oneshot Scan,
Healthcare Technology Letters, 6(6):249-254, 2019
- Furukawa, R., Oka, S., Kotachi, T., Okamoto, Y., Tanaka, S., Sagawa, R., and Kawasaki, H.,
Fully Auto-calibrated Active-Stereo-Based 3D Endoscopic System Using Correspondence Estimation with Graph Convolutional Network,
Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp.4357-4360, 2020
- Mikamo, M., Kawasaki, H., Sagawa, R., and Furukawa, R.,
GCN-Calculated Graph-Feature Embedding for 3D Endoscopic System Based on Active Stereo,
Communications in Computer and Information Science, pp.253-266, 2021
- Mikamo, M., Furukawa, R., Oka, S., Kotachi, T., Okamoto, Y., Tanaka, S., Sagawa, R., and Kawasaki, H.,
Active Stereo Method for 3D Endoscopes Using Deep-Layer GCN and Graph Representation with Proximity Information,
Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp.7551-7555, 2021
- Furukawa, R., Mikamo, M., Kawasaki, H., Sagawa, R., Oka, S., Kotachi, T., Okamoto, Y., and Tanaka, S.,
Simultaneous Estimation of Projector and Camera Poses for Multiple Oneshot Scan Using Pixel-Wise Correspondences Estimated by U-Nets and GCN,
Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization, 10(5):540-548, 2021
- Furukawa, R., Mikamo, M., Sagawa, R., and Kawasaki, H.,
Single-Shot Dense Active Stereo with Pixel-Wise Phase Estimation Based on Grid-Structure Using CNN and Correspondence Estimation Using GCN,
IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), pp.245-255, 2022
- Mikamo, M., Furukawa, R., Oka, S., Kotachi, T., Okamoto, Y., Tanaka, S., Sagawa, R., and Kawasaki, H.,
3D Endoscope System with AR Display Superimposing Dense and Wide-Angle-of-View 3D Points Obtained by Using Micro Pattern Projector,
Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp.881-885, 2022
- Furukawa, R., Mikamo, M., Sagawa, R., Okamoto, Y., Oka, S., Tanaka, S., and Kawasaki, H.,
Multi-Frame Optimisation for Active Stereo with Inverse Rendering to Obtain Consistent Shape and Projector-Camera Poses for 3D Endoscopic System,
Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization, 11(4):1178-1186, 2022
- Furukawa, R., Sagawa, R., Oka, S., Tanaka, S., and Kawasaki, H.,
Single and Multi-Frame Auto-Calibration for 3D Endoscopy with Differential Rendering,
Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), pp.1-5, 2023
- Furukawa, R., Chen, E., Sagawa, R., Oka, S., and Kawasaki, H.,
Calibration-Free Structured-Light-Based 3D Scanning System in Laparoscope for Robotic Surgery,
Healthcare Technology Letters, 11(2-3):196-205, 2024
- Furukawa, R., Sagawa, R., Oka, S., and Kawasaki, H.,
NeRF-Based Multi-Frame 3D Integration for 3D Endoscopy Using Active Stereo,
Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp.1-5, 2024
- Furukawa, R., Kawasaki, H., and Sagawa, R.,
Incremental Shape Integration with Inter-Frame Shape Consistency Using Neural SDF for a 3D Endoscopic System,
Healthcare Technology Letters, 12(1):e70001, 2025
- Furukawa, R., Sagawa, R., and Kawasaki, H.,
Sequential Endoscopic-Image 3D Reconstruction Using Structured-Light and Neural Signed Distance Field with Photometric Loss,
Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), pp.1-6, 2025
- Furukawa, R., Inui, T., Sagawa, R., and Kawasaki, H.,
Acquiring Aligned Endoscopic and Depth Image Pairs Using Structured-Light Projection, Neural Surfaces and an Electromagnetic Positional Sensor,
Healthcare Technology Letters, 12(1), 2025
|
>
