English page >>

Research

広域空間の取得・モデリング・認識・描画
	MOTSLAM: 単眼奥行き推定を用いたMOT支援型単眼式ダイナミックSLAM [2022]
	本研究では、車載した単眼カメラから、動物体（車両）の姿勢とバウンディングボックスの両方を追跡するダイナミックなVSLAMを提案する。
	Attentionによるドライブレコーダー映像における事故の弱教師有り推定 [2021]
	本研究では、ドライブレコーダーに撮影された映像から深層学習のアテンション機構を用いて事故を推定する手法を提案する。前処理のため、自動アノテーションによる車両の深層学習トラッキング手法を同時に開発した。
	ドライブレコーダーの映像データから推測した天気情報を用いた急ブレーキ発生状況の分析 [2020]
	急ブレーキ発生状況を分析するために、深層学習を使用してドライブレコーダーの映像から推定した天気を使用して、急ブレーキデータの識別を行っています。
	深層学習（GAN）を用いたドライブレコーダー映像からの冠水検出 [2018--2019]
	ドライブレコーダー映像から冠水という非日常的な事象を検出するために、深層学習（GAN）を利用してデータ拡張を行います。
	都市画像の学習による地域推定手法の提案 [2014]
	インターネット上には多くの車載映像がある。提案手法では、車載映像を学習することで、それらの車載映像の撮影地域を推定する手法を提案する。映像を用いることで、単画像を用いる従来手法よりも精度の向上が期待される。実験では、10都市を対象として、提案手法の有効性を確認した。
	自車位置推定のための複数車載カメラ映像の効率的な時空間マッチング手法 [2012--2014]
	GPSなどのデータのない車載映像から、高精度な自車位置を推定するニーズがある。提案手法では、車載データとデジタル地図との間でマッチングを取ることでこれを実現する。マッチングデータとして時空間特徴量を用いることで、精度と安定性の向上を実現する。
	広域空間の写実的レンダリング [2012--2013]
	車載カメラで撮影した映像から都市の概形をビルボードで表現し、IBRを適用することで写実的な広域空間のレンダリングを行っています。また、テクスチャにPCAによる圧縮手法を適用し、GPU上で高速に復元することで、リアルタイムでのレンダリングを実現します。
	複数の車載カメラ映像の統合による広域形状復元 [2008--2009]
	複数の車載カメラ画像を統合することで更新頻度が高く、精度の高い3次元都市空間のモデリングを行います。
	広域空間のリアルタイムレンダリング [2007--2008]
	IBR(Image Based Rendering)に基づき、全方位画像列を固有空間法で圧縮することで広域空間のリアルタイムレンダリングを行います。圧縮の復元演算をfragment-shaderで処理することで高速に復元できます。
	時空間画像解析 [2000--2007]
	取得した画像列（映像）を時間軸方向に積層することで時空間画像を生成し、解析を行う研究も行っています。例えば、上記のパノラマ画像生成では、時空間画像の解析を利用して複数台のカメラの外部校正を行います。
	広域空間の取得・モデリング [2000--2009]
	車の上にビデオカメラを設置し、現実世界の様々な方向の画像を取得します。取得した多方向の画像を統合し、パノラマ画像を生成します。
	広域空間のイメージメース・レンダリング手法 [2000--2005]
	生成されたパノラマ画像を再構築することで広域空間のレンダリングを行います。また、IBRのテクスチャを圧縮し、MBRのテクスチャに用いる研究も行っています。

3次元形状取得・解析
	Neural 4D Scene Reconstruction with Multiple One-Shot Scanning Systems [2024--2026]
	本研究では、複数のプロジェクタ・カメラシステムによる重複したワンショット構造化光パターンを DSSS で分離し、Neural SDF に基づいて全周三次元形状を復元する手法を提案する。
	ニューラル表現を用いたロバストな水中Structured Light [2023--2025]
	ニューラル符号付き距離関数（Neural SDF）と微分可能レンダリングを統合することで、従来の画像処理では困難だった暗所や未知パターン下でのStructured lightによる精密な復元を実現します。
	U-Net補間による高密度・高速ワンショット計測 [2021--2022]
	ディープラーニングの出力結果からさらに画像中の特徴量を用いて補正を行うことなどにより、三次元形状計測の高精度化を行います。
	光切断とV-SLAMによる水中マッピング [2019--2021]
	複数のクロスラインレーザーを装着したROVを用いた3Dマッピングシステム、および、複数のレーザーラインのセルフキャリブレーション手法の開発。
	水中高密度3次元復元のためのDNNによるマーカーベースのキャリブレーション手法 [2019--2020]
	DNNを用いたARマーカー検出によるレーザーベース三次元復元手法の水中応用、及び水中ROV上の実システムの実装。
	ジオメトリ設定を一般化した水中Structure-from-Motionの研究[2018--2019]
	水中SfMにおけるあらゆるジオメトリ設定を一般化されたモデルで表現し、様々なシナリオにおける3次元復元を可能にします。
	水中におけるMulti-scale CNNを用いたパターン投影ステレオ [2018--2019]
	水中における動的なシーンを正確かつ密に復元するため, パターン投影ステレオとMulti-scale CNNを用いています.
	高フレームレートの構造化光を用いた符号化による3次元形状の時間軸超解像 [2017]
	高速パターン切り替えによる、高速に移動する物体を撮影した1枚の画像から、3次元形状を時間軸方向に超解像する新しい3次元計測手法．
	符号化開口を用いたライトフィールドプロジェクタ [2012--2015]
	符号化開口をプロジェクタに設置することで、広いデプス範囲におけるアクティブ3次元計測を実現する．
	プロジェクタのキャリブレーション手法の開発 [2009--2014]
	プロジェクタをキャリブレーションする手法を研究しています。 OpenCVを利用して高精度なキャリブレーションを簡易に実現します。グレーコード版（撮影枚数が非常に多くなります）と、格子パターン版と、AR マーカー版があります。
	投影光のボケを利用した3次元形状計測 [2013]
	レンズによるボケを解析することで，撮影シーンの奥行き情報を推定します．
	高密度なワンショット手法による高速な動きのある３次元形状計測 [2009--2011]
	ハイスピードカメラとプロジェクタを用いることにより、高速な動きのある物体の３次元形状を計測することができます。
	アクティブ・ステレオ法による高速動物体の３次元形状計測 [2008]
	固定グリッドパターンを投影したシーンを1台のカメラで撮影するだけで、３次元形状を計測することができます。
	未校正ステレオシステムによる3次元形状取得 [2005--2006]
	市販のカメラ・プロジェクタ各１台で構成された３次元計測システムです。
	レーザ投光器の3次元座標自己推定による全周形状の獲得システム [2003--2004]
	レーザ投光器3次元座標を自己推定することにより、現実世界の3次元物体の全周形状をパソコンを用いて獲得することが可能となります。

医療画像処理・スポーツ解析 [プロジェクト・ページ]
	アクティブステレオ法による３次元内視鏡の開発 [2019--2025]
	既存の内視鏡と広角DOEパターン投光器を用いて、グラフニューラルネットワークおよびニューラルSDFにより、ロバストに3次元復元する3次元内視鏡を開発しています。
	頭部の３次元追跡によるカメラを用いたPPG推定の精度向上 [2020]
	動きに頑健な非接触心拍計測の実現のため，３次元情報を用いた頭部の３次元追跡を行います．
	3次元内視鏡におけるFCNを用いた投影パターン特徴抽出 [2017--2018]
	3次元再構成に必要な画像特徴抽出を，FCN(U-Net)による学習ベースの手法に改訂することで，安定に高精度に実現する手法。
	Grid-ICP: ライン計測用の形状位置合わせ手法 [2016]
	ライン計測による3次元復元結果は、スパースなラインどうしが引きつけ合うため、通常のICPによる位置合わせが困難である。これを解消する手法を提案する。
	アクティブステレオ法による３次元内視鏡の開発 [2014--2019]
	既存の内視鏡システムを利用して、光ファイバによるレーザ・パターン投光により、体内の3次元復元を実現するシステムを開発しています。
	アクティブステレオによる非接触生体信号計測 [2013--2019]
	我々の開発した3次元スキャナを用いて、非接触で、呼吸や心拍を計測することができます。
	複数台カメラと複数台プロジェクタを用いた動的な全周人体計測 [2010--2011]
	カメラとプロジェクタを人物を取り囲むように複数台設置することで、動きのある人物の全周の形状を3次元ムービーとして計測します。

テクスチャの取得・解析・合成
	すりガラスの背後にある物体のボケをガウシアン・スプラティングにより除去する手法 [2025]
	すりガラスのような光拡散によりボケが発生しているシーンの鮮明な映像の復元手法に取り組む。この研究では多視点観測を利用して、事前知識を必要としない物理ボケモデルに基づきガウシアン・スプラティングによりボケを除去する手法を提案する。
	すりガラスの背後にある鏡面物体の3次元形状の微分レンダリングによる復元手法 [2024]
	物体表面上の鏡面反射の結果生成される集光模様（コースティクス）を手掛かりにした形状復元に取り組む。この研究では照明位置を移動しながら集光模様を観測し、すべての観測の解となりえる一意の法線形状を微分レンダリングにより推定する手法を提案する。
	NASおよびDiffusion Modelによる水中画像の画質改善手法 [2022-2023]
	水中画像の品質改善に最適で軽量なネットワークを見つけるためのニューラルアーキテクチャ検索を紹介します。選択可能なトランスフォーマーモジュールは、検索スペースを拡張し、堅牢な深い特徴を抽出できます。また、拡散モデルにおけるノイズ除去ネットワークとして、Transformer ベースのアーキテクチャを提案します。さらに、拡散モデルの推論段階のための新しい不均一サンプリング戦略を提案します。
	拡散板による近接照度差ステレオ手法 [2021-2022]
	DNNにより最適化されたパターンを拡散板上に投影し，光源として利用することで，少数計測で近接照度差ステレオを実現します．
	自動セグメンテーションと色補正を利用した任意物体へのブラー付加手法 [2021]
	流し撮り効果を持つ動画を，ブレを持たない低画質の動画フレームとブレを持つ高画質の画像を用いることで合成します。
	CNNとドメイン適応による陰影画像からの高周波形状復元 [2021]
	ディープラーニングを用いて陰影画像から高周波形状を推定することによる、構造化光によるワンショット復元の高精度化。
	時空間レーザースペックルパターンの低次元埋め込みによる物体表面の微小運動の推定 [2020]
	レーザー光を粗面に照射した際に発生するスペックルパターンを利用して，微小振動の推定とその可視化を行う．
	複数デプス平面への同時文字分割投影プロジェクションマッピング [2019]
	プロジェクタを複数台用いて、異なる奥行きの物体に、異なる文字を同時にプロジェクションマッピングします。分割された文字が他の投影面では文字と認識されない効果を使用しています。
	ライトフィールドカメラによる屈折フリー画像生成 [2019]
	ライトフィールドカメラを用いて撮影した水中の画像から、屈折の含まれていない画像を生成します。
	複数デプス平面への同時プロジェクションマッピング [2016--2018]
	異なる奥行きの物体に、異なる画像を同時にプロジェクションマッピングします。プロジェクタを複数台用いて、重ね合わせを計算することで実現します。
	手ぶれビデオ映像からの超解像手法 [2010--2011]
	手持ちカメラで撮影する映像は複数の平面が存在する立体的なシーンで、ブレも発生します。このような条件に対応した超解像の手法を研究しています。
	時空間解析による反射・透過層の分離の屋外適用に関する研究 [2007]
	室内の整った環境と違い様々な問題のある屋外環境では、デプスの違いを考慮した分離や、ブロックマッチを利用した速度補正等を用いて、分離を適用させています。
	時空間解析による反射・透過層の分離 [2006--2007]
	反射物は時空間画像（EPI画像）上では色の線形和となって現れます。この性質を利用して、透過層と反射層の分離を行っています。
	アクティブ光源による反射特性、物体の見えの解析 [2006--2007]
	プロジェクタとカメラを用いた3次元計測によって、幾何モデルを取得し、同時に得られる実写画像から反射特性のパラメータの推定をすることによって物体色（アルベド）を推定します。

実世界データの表示・利用およびロボット活用
	VAEによるテキストの意味に基づくジェスチャ生成手法 [2023]
	TEDデータを用いて，各単語のAttentionを考慮した対照学習により，テキストからジェスチャーを生成する手法を提案します。
	深層学習によるタイプ識別によるコミュニケーションロボットのジェスチャ生成 [2022]
	アバターやロボットを自律的に動かすために、TED Gesture-Type Datasetの収集とテキストからジェスチャーを自動生成する手法を提案しています。
	マーカレス・モーションキャプチャと光学式モーションキャプチャ間のキャリブレーション手法 [2021]
	ICPアルゴリズムを活用したマーカレス・モーションキャプチャと光学式モーションキャプチャ間のキャリブレーション手法を提案する．
	PoseRN: OpenPoseの2D人体骨格推定バイアスを修正するDNN [2020--2021]
	OpenPoseを用いて推定された2Dポーズにおけるアノテーションバイアスや、モーションキャプチャからの偏りを予測し修正する、新しい2Dポーズ修正ネットワークを提案する．
	固有形状基底を用いた非剛体な3次元人間モデルの任意ポーズでの再現 [2018--2019]
	固有形状基底の係数を回帰により推定することで、服を着た人体の全周3Dモデルをしわなどの微細な変形を含めて再現します。
	ランドマークナビゲーションシステム [2015--2016] AR ランドマークナビゲーションシステム [2017]
	高いビルや川，電車といった，遠くからでも目立ち，目印になる地物（ランドマーク）を利用した，直感的で道に迷いにくい道案内を自動で提示します．海外などでスマートフォンが使えない場合でも，目的地に向かっていることを確認しながら進める道順を案内します．
	顔のマーカレスモーションキャプチャシステム [2013]
	3次元点群情報からマーカレスで顔の動きを追跡するための方法を提案しています。
	3Dアニメーション制作支援システム [2013]
	3次元コンテンツ制作に関する専門的な技術や環境をもっていない個人や小規模団体であっても、容易に3次元アニメーションコンテンツを制作し、インタラクティブに操作するシステムを提供します。
	景観の可視性を考慮したルート探索システム [2007]
	Web上のデータから推薦される名所（スポット）などの情報をもとに、単にそのスポットどうしをつなぐことでルートを作成するだけではなく、それらスポット間の移動中の景観も同時に考慮した、借景ルート探索システムです。
	視点に応じた3Dオブジェクトのメタ情報提示システム [2007--2008]
	3Dオブジェクトをウェブページ上に表示し、マウスやキーボードによるインタラクティブ操作を行い、 3Dオブジェクトに付加されたメタ情報やハイパーリンク等を提示するシステムの研究を行っています。本研究は京都産業大学との共同研究です。　埼玉大学では3Dオブジェクトを用いたインターフェースの研究を行っています。