Nature from Light Field - ライトフィールドからの物体の特性計測

我々の研究グループではライトフィールドにかかわる様々な性質を利用し，従来手法では形状や空間密度分布の計測が困難であった対象の特性を計測することを目指しています．

Light Field Consistency

Photo-consistentな性質を利用して物体の表面形状を計測するSpace Carving [Kutulakos2000] のように，light field-consistentな性質を利用して煙や霧の空間濃度分布のトモグラフィを試みています．

  • Kiriakos. N. Kutulakos and Steven. M. Seitz, "A Theory of Shape by Space Carving", International Journal on Computer Vision, vol.38, no.3, pp.199-218 (2000)
Light Field Consistency for Smoke Density Estimation

Rendered Results

推定した濃度分布をもとに，線香の煙をレンダリングした結果は下記のとおりです．結果は随時アップデート予定．

撮影視点1
撮影視点2
中間視点

Light Field Convergency

透明物体のboundary contour周辺にて観測されるLocal Photo Consistencyという性質を利用し，透明物体の受動的形状計測を試みます．ライトフィールドカメラにより撮影される光線空間は，超短ベースラインであるカメラアレイにより撮影された画像群と等価であるとみなせ，これらの画像群からLocal Photo Consistencyを有する点を探索し，透明物体の形状を計測します．


提案手法の特徴として，

  • パッシブ計測
  • 屈折率未知でも計測可能
  • 背景パターン未知でも計測可能

という点が挙げられ，従来手法では計測不可能な条件下で透明物体の形状を計測可能となることが期待されます．

Measurement of Transparent Object based on Light Field Convergency

Simulated Experimental Results

Bunny_input

(L to R) Stanford Bunny (クリックで多視点画像のアニメーション)，真の深度値，提案手法による推定深度

Dragon_input

(L to R) Stanford Dragon (クリックで多視点画像のアニメーション)，真の深度値，提案手法による推定深度

Publications

Journal Papers

  1. (writing)
  2. Yuta Ideguchi, Yuki Uranishi, Shunsuke Yoshimoto, Yoshihiro Kuroda, Masataka Imura and Osamu Oshiro, "Reconstruction of Smoke based on Light Field Consistency", IEEJ Transactions on Sensors and Micromachines, Vol.136, No.12, pp.522-531 (2016.12) DOI: 10.1541/ieejsmas.136.522
  3. 井手口裕太, 浦西友樹, 吉元俊輔, 黒田嘉宏, 井村誠孝, 大城理, "ライトフィールドからの煙の空間濃度分布推定", 映像情報メディア学会誌, Vol.70, No.7, pp.J146-J157 (2016.7) DOI: 10.3169/itej.70.J146

International Conference Proceedings (Reviewed)

  1. (under review)
  2. (under review)
  3. Yuta Ideguchi, Yuki Uranishi, Shunsuke Yoshimoto, Yoshihiro Kuroda and Osamu Oshiro, "Surface Estimation of Transparent Object based on Local Photo Consistency", Proceedings of International Workshop on Advanced Image Processing (IWAIT2016), 1B-5, Busan, Korea (2016.1)

Domestic Conference Proceedings (Reviewed)

  1. Yuta Ideguchi, Yuki Uranishi, Shunsuke Yoshimoto, Yoshihiro Kuroda and Osamu Oshiro, "5D Estimation of Transparent Object based on Light Field Convergency", 第19回画像の認識・理解シンポジウム (MIRU2016), OS1-02, 静岡 (2016.8)