特許 5764027 距離指標情報推定装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5764027

(24)【登録日】2015年6月19日

(45)【発行日】2015年8月12日

(54)【発明の名称】距離指標情報推定装置及びそのプログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20150723BHJP

【ＦＩ】

   G06T7/00 350A

【請求項の数】7

【全頁数】30

(21)【出願番号】特願2011-216237(P2011-216237)

(22)【出願日】2011年9月30日

(65)【公開番号】特開2013-77131(P2013-77131A)

(43)【公開日】2013年4月25日

【審査請求日】2014年1月30日

【新規性喪失の例外の表示】特許法第３０条第１項適用 （１）社団法人映像情報メディア学会から２０１１年８月１日に発行された刊行物「映像情報メディア学会２０１１年年次大会講演予稿集」において発表 （２）社団法人映像情報メディア学会が２０１１年８月２４日〜２６日に開催した「２０１１年映像情報メディア学会年次大会」において２０１１年８月２４日に文書をもって発表

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２３年度、総務省、情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託事業、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】池谷 健佑

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】片山 美和

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２０１１−１８０６７５（ＪＰ，Ａ）

【文献】 小川原光一，階層的な出力メッセージの平均化に基づく近似確率伝搬法，電子情報通信学会論文誌 （Ｊ９４−Ｄ） 第３号 情報・システム，日本，社団法人電子情報通信学会，２０１１年 ３月 １日，第J94-D巻 第3号，p.593-603

【文献】 池谷健佑 外３名，階層型信頼度伝搬法を用いた視差推定の性能評価，情報処理学会 シンポジウム 画像の認識・理解シンポジウム（ＭＩＲＵ） ２０１１ ［ｏｎｌｉｎｅ］，日本，情報処理学会，２０１１年 ７月２０日，p.1486-1493

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定すると共に、前記距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装置であって、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部と、
前記距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部と、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬させることで、前記距離指標候補及び前記画素ごとの前記エネルギーを更新するエネルギー伝搬部と、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部と、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部と、
前記エネルギーが最も高くなる最大値と前記エネルギーが最も低くなる最小値との差分を前記最大値で除算することで、前記評価値として、オクルージョンに起因する推定エラーを判定するためのオクルージョン評価値を計算するオクルージョン評価値計算部と、
を備えることを特徴とする距離指標情報推定装置。

【請求項2】

前記距離指標情報推定装置は、所定位置に配置された中央カメラと、前記中央カメラの左右に配置された左カメラ及び右カメラとの撮影画像が入力され、
前記オクルージョン評価値計算部は、
前記中央カメラ及び前記左カメラの前記撮影画像である左ステレオ画像と、前記中央カメラ及び前記右カメラの前記撮影画像である右ステレオ画像とについて、前記オクルージョン評価値をそれぞれ計算すると共に、
前記左ステレオ画像と前記右ステレオ画像との前記オクルージョン評価値を比較し、当該オクルージョン評価値が大きい側のステレオ画像から求められた距離指標を、前記中央カメラの撮影画像での各画素の前記距離指標情報として出力する
ことを特徴とする請求項１に記載の距離指標情報推定装置。

【請求項3】

前記オクルージョン評価値計算部で計算されたオクルージョン評価値が予め設定されたオクルージョン閾値以下であるか否かを判定し、当該オクルージョン評価値が当該オクルージョン閾値以下の場合、前記オクルージョンに起因する推定エラーが生じたと判定するオクルージョン推定エラー判定部、
をさらに備えることを特徴とする請求項１又は請求項２に記載の距離指標情報推定装置。

【請求項4】

前記誤差関数計算部は、前記基準画像における処理対象画素と、前記ステレオ画像の他方である参照画像で前記処理対象画素に対応する対応画素との色情報の差分絶対値を求め、当該差分絶対値を予め設定した原色数で除算して重み付ける前記誤差関数を計算することを特徴とする請求項１から請求項３の何れか一項に記載の距離指標情報推定装置。

【請求項5】

前記エネルギー分布の尖度を、テクスチャに起因する推定エラーを判定するための前記評価値であるテクスチャ評価値として計算するテクスチャ評価値計算部、
をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の距離指標情報推定装置。

【請求項6】

前記隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、前記隣接画素間で前記エネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部をさらに備え、
前記エネルギー伝搬部は、前記エネルギー集合内で前記エネルギーを伝搬できると判定された隣接画素間で前記エネルギーを更新する
ことを特徴とする請求項１から請求項５の何れか一項に記載の距離指標情報推定装置。

【請求項7】

ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、前記ステレオ画像の一方である基準画像の画素ごとの前記距離指標を示す距離指標情報を推定すると共に、前記距離指標情報の信頼度を示す評価値を計算するために、コンピュータを、
前記ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力された前記ステレオ画像の類似度である前記誤差関数を計算する誤差関数計算部、
前記距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の前記距離指標候補の差分絶対値である前記スムーズ関数を計算するスムーズ関数計算部、
前記誤差関数計算部で計算した誤差関数と前記スムーズ関数計算部で計算したスムーズ関数とを含む前記エネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によって前記エネルギーを生成して伝搬させることで、前記距離指標候補及び前記画素ごとの前記エネルギーを更新するエネルギー伝搬部、
前記エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する評価関数計算部、
前記距離指標候補のうち、前記評価関数計算部で計算された評価関数が最小となる距離指標を、前記距離指標情報として推定する距離指標推定部、
前記エネルギーが最も高くなる最大値と前記エネルギーが最も低くなる最小値との差分を前記最大値で除算することで、前記評価値として、オクルージョンに起因する推定エラーを判定するためのオクルージョン評価値を計算するオクルージョン評価値計算部、
として機能させるための距離指標情報推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定すると共に、距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装及びそのプログラムに関する。

【背景技術】

【0002】

例えば、３次元立体モデルを生成する際、ステレオ画像の各画素の視差により距離を推定する距離推定技術が広く用いられている。この距離推定技術では、例えば、ステレオ画像間で類似度を求めるブロックマッチングが用いられている。また、類似度の計算方法としては、例えば、差の二乗和を求めるＳＳＤ（Sum of Squared Difference）、差の絶対和を求めるＳＡＤ(Sum of Absolute Difference)、及び、正規化相互相関を求めるＺＮＣＣ(Zero-mean Normalized Cross-Correlation)が知られている（例えば、非特許文献１）。

【0003】

また、距離推定技術としては、マルコフランダムフィールドモデルを仮定し、ステレオ画像間のデータ項とスムーズ項とで構成されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報（距離画像）を生成する信頼度伝搬法も知られている（例えば、非特許文献２）。ここで、データ項はステレオ画像間の類似度を表し、スムーズ項は距離の不連続性を表す。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】ディジタル画像処理、ＣＧ−Ａｒｔｓ協会、２００６年、ｐ２０２−ｐ２０４

【非特許文献2】Pedro F.Felzenszwalb，Daniel P.Huttenlocher:Efficient Belief Propagation for Early Vision.CVPR(1)2004:261‐268

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来の距離推定技術では、ステレオ画像にオクルージョンが生じた領域やテクスチャが無い領域が含まれる場合、これらに起因して、距離情報の推定結果にエラーが生じることが多い。この場合、精度が高い距離情報を得るために、これら推定エラーが生じた領域に対して、これら推定エラーの抑制処理を施す必要がある。この推定エラーの抑制処理の可否を判定するために、推定された距離情報の客観的な信頼度を提示することが強く要望されている。

【0006】

そこで、本発明は、前記した問題を解決し、距離指標情報の客観的な信頼度である評価値を提示できる距離指標情報推定装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

前記した課題に鑑みて、本願第１発明に係る距離指標情報推定装置は、ステレオ画像間の誤差関数と奥行き方向への距離又は視差である距離指標の連続性を示すスムーズ関数とで規定される確率に関するエネルギーを最小化する手法により、ステレオ画像の一方である基準画像の画素ごとの距離指標を示す距離指標情報を推定すると共に、距離指標情報の信頼度を示す評価値を計算する距離指標情報推定装置であって、誤差関数計算部と、スムーズ関数計算部と、エネルギー伝搬部と、評価関数計算部と、距離指標推定部と、オクルージョン評価値計算部とを備えることを特徴とする。

【0008】

かかる構成によれば、距離指標情報推定装置は、誤差関数計算部によって、ステレオ画像が入力されると共に、予め設定された距離指標候補ごとに、予め設定された誤差関数閾値以下となるように、入力されたステレオ画像の類似度である誤差関数を計算する。つまり、誤差関数計算部は、誤差関数の値が誤差関数閾値を超えないように、トランケーションを行う。

【0009】

また、距離指標情報推定装置は、スムーズ関数計算部によって、距離指標候補ごとに、予め設定されたスムーズ関数閾値以下となるように、マルコフランダムフィールドにおける隣接画素間の距離指標候補の差分絶対値であるスムーズ関数を計算する。つまり、スムーズ関数計算部は、スムーズ関数の値がスムーズ関数閾値を超えないようにトランケーションを行う。

【0010】

また、距離指標情報推定装置は、エネルギー伝搬部によって、誤差関数計算部で計算した誤差関数とスムーズ関数計算部で計算したスムーズ関数とを含むエネルギーが集合したエネルギー集合を生成し、当該エネルギー集合内における隣接画素間で、所定の漸化式によってエネルギーを生成して伝搬させることで、距離指標候補及び画素ごとのエネルギーを更新する。

【0011】

また、距離指標情報推定装置は、評価関数計算部によって、エネルギー伝搬部で更新されたエネルギーを示す評価関数を計算する。そして、距離指標情報推定装置は、距離指標推定部によって、距離指標候補のうち、評価関数計算部で計算された評価関数が最小となる距離指標を、距離指標情報として推定する。ここで、前記したトランケーションでエネルギーに上限が設けられるため、評価関数のばらつきが一定範囲に収まって、距離指標情報の精度が向上する。

【0012】

この評価値は、エネルギーの最小値だけでなく、エネルギーの最大値も考慮したエネルギー分布の形状により計算されるため、その精度が向上し、距離指標情報の客観的な信頼度を示す情報となる。

【0013】

なお、本発明において、距離指標とは、奥行き方向への距離（奥行き）、又は、この距離の指標となる視差のことである。つまり、距離指標情報推定装置は、距離指標情報として、画素ごとの距離を示す距離情報、又は、画素ごとの視差を示す視差情報を推定する。

【0014】

また、距離指標情報推定装置は、オクルージョン評価値計算部によって、エネルギーが最も高くなる最大値とエネルギーが最も低くなる最小値との差分を最大値で除算することで、オクルージョン評価値を計算する。

【0015】

かかる構成によれば、距離指標情報推定装置は、エネルギーの最小値だけでなくエネルギーの最大値も考慮してオクルージョン評価値を計算するため、オクルージョン評価値の精度を向上させることができる。

【0016】

また、本願第２発明に係る距離指標情報推定装置は、距離指標情報推定装置が、所定位置に配置された中央カメラと、中央カメラの左右に配置された左カメラ及び右カメラとの撮影画像が入力され、オクルージョン評価値計算部が、中央カメラ及び左カメラの撮影画像である左ステレオ画像と、中央カメラ及び右カメラの撮影画像である右ステレオ画像とについて、オクルージョン評価値をそれぞれ計算すると共に、左ステレオ画像と右ステレオ画像とのオクルージョン評価値を比較し、オクルージョン評価値が大きい側のステレオ画像から求められた距離指標を、中央カメラの撮影画像での各画素の距離指標情報として出力することを特徴とする。

【0017】

かかる構成によれば、距離指標情報推定装置は、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを抑制する。

【0018】

また、本願第３発明に係る距離指標情報推定装置は、オクルージョン評価値計算部で計算されたオクルージョン評価値が予め設定されたオクルージョン閾値以下であるか否かを判定し、オクルージョン評価値がオクルージョン閾値以下の場合、オクルージョンに起因する推定エラーが生じたと判定するオクルージョン推定エラー判定部、をさらに備えることを特徴とする。

【0019】

かかる構成によれば、距離指標情報推定装置は、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定する。

【0020】

また、本願第４発明に係る距離指標情報推定装置は、誤差関数計算部が、基準画像における処理対象画素と、ステレオ画像の他方である参照画像で処理対象画素に対応する対応画素との色情報の差分絶対値を求め、差分絶対値を予め設定した原色数で除算して重み付ける誤差関数を計算することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。

【0021】

また、本願第５発明に係る距離指標情報推定装置は、エネルギー分布の尖度を、テクスチャに起因する推定エラーを判定するための評価値であるテクスチャ評価値として計算するテクスチャ評価値計算部、をさらに備えることを特徴とする。

【0022】

かかる構成によれば、距離指標情報推定装置は、エネルギー分布の尖り具合である尖度を考慮してテクスチャ評価値を計算するため、テクスチャ評価値の精度を向上させることができる。

【0023】

また、本願第６発明に係る距離指標情報推定装置は、隣接画素間の色情報の差分絶対値が予め設定された色情報閾値以下であるか否かによって、隣接画素間でエネルギーを伝搬できるか否かを判定するエネルギー伝搬判定部をさらに備え、エネルギー伝搬部が、エネルギー集合内でエネルギーを伝搬できると判定された隣接画素間でエネルギーを更新することを特徴とする。
かかる構成によれば、距離指標情報推定装置は、例えば、被写体と背景との境界のように隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限する。

【0024】

なお、本願第１発明に係る距離指標情報推定装置は、一般的なコンピュータを、誤差関数計算部、スムーズ関数計算部、エネルギー伝搬部、評価関数計算部、距離指標推定部及びオクルージョン評価値計算部として動作させる距離指標情報推定プログラムによって実現することもできる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。

【発明の効果】

【0025】

本発明は、以下のような優れた効果を奏する。
本願第１発明によれば、前記したトランケーションでエネルギーに上限が設けられるため、評価関数のばらつきが一定範囲に収まって、距離指標情報の精度を向上させることができる。さらに、本願第１発明によれば、エネルギーの最小値だけでなく、エネルギーの最大値も考慮したエネルギー分布の形状により評価値を計算するため、評価値の精度を向上させ、距離指標情報の客観的な信頼度として評価値を提示することができる。

【0026】

また、本願第１発明によれば、エネルギーの最小値だけでなくエネルギーの最大値も考慮してオクルージョン評価値を計算するため、オクルージョン評価値の精度を向上させることができる。

【0027】

本願第２発明によれば、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを正確に抑制することができる。

【0028】

本願第３発明によれば、オクルージョン評価値がオクルージョンに起因する推定エラーが生じた画素で小さくなる性質を利用して、オクルージョンに起因する推定エラーを正確に判定することができる。

【0029】

本願第４発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を推定することができる。
本願第５発明によれば、エネルギー分布の尖り具合である尖度を考慮してテクスチャ評価値を計算するため、テクスチャ評価値の精度を向上させることができる。

【0030】

本願第６発明によれば、隣接画素間で色が大きく異なる場合、エネルギーの伝搬を制限するため、被写体の輪郭の膨張を抑制できる。これによって、本願第６発明によれば、被写体の輪郭を鮮鋭化して、精度が高い距離指標情報を生成することができる。

【図面の簡単な説明】

【0031】

【図1】本発明において、信頼度伝搬法による距離推定を説明する説明図である。

【図2】本発明において、信頼度伝搬法による距離推定の手順を示すフローチャートである。

【図3】本発明の第１実施形態に係る距離情報推定装置の構成を示すブロック図である。

【図4】図３の距離情報推定装置において、距離候補ごとの誤差関数及びスムーズ関数の計算を説明する説明図である。

【図5】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。

【図6】図３の距離情報推定装置において、距離候補ごとのメッセージの伝搬を説明する説明図である。

【図7】本発明の第１実施形態において、（ａ）はオクルージョンに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はオクルージョンに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。

【図8】本発明の第１実施形態において、（ａ）はテクスチャに起因する推定エラーが生じていない画素のエネルギー分布を示すグラフであり、（ｂ）はテクスチャに起因する推定エラーが生じた画素のエネルギー分布を示すグラフである。

【図9】図３の距離情報推定装置の動作を示すフローチャートである。

【図10】本発明の第２実施形態に係る距離情報推定装置の構成を示すブロック図である。

【図11】図１０の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。

【図12】図１０の距離情報推定装置において、オクルージョンに起因する推定エラーの抑制を説明する説明図である。

【図13】図１０の距離情報推定装置の動作を示すフローチャートである。

【図14】本発明の第３実施形態に係る距離情報推定装置の構成を示すブロック図である。

【図15】本発明の第３実施形態において、（ａ）はメッセージ伝搬元の画素から処理対象の画素へのメッセージ伝搬が制限されるときの説明図であり、（ｂ）は処理対象の画素からメッセージ伝搬先の画素へのメッセージ伝搬が制限されるときの説明図である。

【図16】本発明の第３実施形態において、（ａ）及び（ｂ）はメッセージ伝搬が制限されないときの説明図である。

【図17】図１４の距離情報推定装置の動作を示すフローチャートである。

【図18】本発明の変形例１に係る距離情報推定装置の構成を示すブロック図である。

【図19】本発明の実施例において、（ａ）は左カメラが撮影した基準画像であり、（ｂ）は右カメラが撮影した参照画像である。

【図20】本発明の実施例において、（ａ）は距離画像であり、（ｂ）は（ａ）の距離画像からオクルージョン領域を出力した結果を示す画像である。

【図21】本発明の実施例において、（ａ）はオクルージョンに起因する推定エラーを抑制した後の距離画像であり、（ｂ）は（ａ）の距離画像から無テクスチャ領域を出力した結果を示す画像である。

【発明を実施するための形態】

【0032】

（本発明の概略：信頼度伝搬法による距離推定）
本発明の各実施形態では、ステレオ画像間の誤差関数と距離指標の連続性を示すスムーズ関数とで規定されるエネルギーを最小化する手法として、信頼度伝搬法を用いている。そこで、最初に、本発明の実施形態における信頼度伝搬法の概略を説明する。

【0033】

なお、以後の各実施形態では、請求項に記載の距離指標が、奥行き方向への距離（奥行き）であることとして説明する。つまり、請求項に記載の距離指標情報として、画素ごとの距離を示す距離情報を推定することになる。

【0034】

この信頼度伝搬法（ＢＰ法：Belief Propagation法）は、距離情報にマルコフランダムフィールド（ＭＲＦ：Markov Random Field）モデルを仮定し、ステレオ画像間の誤差関数とスムーズ関数とで構成（規定）されるエネルギーを最小化することにより、ノイズが少なく滑らかな距離情報を生成するものである。ここで、信頼度伝搬法は、図１に示すように、処理対象となる画素ｐの隣接画素ｓから、メッセージと呼ばれる各画素にどの距離が割り当てられるかという確率に関するエネルギーｍを受け取り、それらからメッセージを更新して隣接画素ｑに伝搬させる。そして、信頼度伝搬法は、この処理を画像内の全ての画素に対して繰り返し行うことで各画素の距離情報を求める。
なお、請求項に記載のエネルギーが、信頼度伝搬法ではメッセージとなる。

【0035】

ここで、図１では、枠（白塗四角形）が基準画像の画素に対応し、矢印ｍが画素間のメッセージ（エネルギー）の伝搬を示している。また、図１に示すように、このメッセージを伝搬する画素がノードとして縦横に配列されたグラフをエネルギー集合（メッセージ集合）と呼ぶ。さらに、文字「ｓ」が付された画素ｓは、メッセージの伝搬元となる隣接画素を示し、文字「ｐ」が付された画素ｐは、処理対象の画素を示し、文字「ｑ」が付された画素ｑは、メッセージの伝搬先となる隣接画素を示す。なお、図１では、説明を簡易にするために、一部符号のみを図示した。

【0036】

図２を参照し、信頼度伝搬法による距離推定の手順を説明する。
図２に示すように、信頼度伝搬法では、メッセージの生成に必要な画素間の誤差関数Ｄ_ｐ（ｆ_ｐ）（以後、「誤差関数Ｄ_ｐ」）を計算する（ステップＳ１）。本発明において、誤差関数に、ＳＳＤ、ＳＡＤ、ＺＮＣＣ等の類似度が利用可能であり、ここでは、ステレオ画像の対応画素間で色情報の差分絶対値により類似度を示す式（１）を利用する。この式（１）によれば、画素単位で類似度を計算するため、被写体の輪郭を鮮鋭化することができる。

【0037】

【数1】

【0038】

ここで、ｐは処理対象の画素、ｆ_ｐは画素ｐの距離候補、ｃは色情報、ｒ，ｇ，ｂはＲＧＢ値、ｄ_ｐは距離候補ｆ_ｐに対応する視差、Ｉ_ｃはステレオ画像の一方である基準画像での画素値、Ｉ_ｃ´はステレオ画像の他方である参照画像での画素値、λ_ｄａｔａは重み係数を表わす。
なお、距離候補（距離指標候補）とは、任意の範囲内で予め設定された距離の候補のことである（図４等参照）。

【0039】

すなわち、式（１）は、基準画像Ｉ_ｃにおける処理対象の画素ｐの色情報Ｉ_ｃ（ｐ）と、参照画像Ｉ_ｃ´における対応画素（ｐ＋ｄ_ｐ）の色情報Ｉ_ｃ´（ｐ＋ｄ_ｐ）との差分絶対値を予め設定された原色数（例えば、３）で除算して、重み係数λ_ｄａｔａで重み付けることを示す。この対応画素（ｐ＋ｄ_ｐ）とは、参照画像Ｉ_ｃ´において、処理対象の画素ｐに対応する画素のことである。

【0040】

また、式（１）において、視差の逆数にステレオカメラの間隔（ベースライン）を乗算して距離が計算できることを利用して、距離候補ｆ_ｐから視差ｄ_ｐを逆算できる。このベースラインは、例えば、ＯｐｅｎＣＶ等のカメラキャリブレーションで求めることができる（URL「http://opencv.jp/」）。

【0041】

続いて、信頼度伝搬法では、下記の式（２）に示すように、距離候補ｆ_ｐと、画素ｑの距離候補ｆ_ｑとの差分絶対値｜ｆ_ｐ−ｆ_ｑ｜で定義されるスムーズ関数Ｖ（ｆ_ｐ−ｆ_ｑ）（以後、「スムーズ関数Ｖ」）の計算を行う（ステップＳ２）。このスムーズ関数Ｖは、距離情報の滑らかさ（例えば、ノイズの少なさ）、言い換えるなら、距離の連続性を示す。ここで、ｑは画素ｐのメッセージ伝搬先となる隣接画素である。

【0042】

【数2】

【0043】

そして、信頼度伝搬法では、下記の式（３）で規定される生成式によって、メッセージを生成して伝搬する（ステップＳ３）。

【0044】

【数3】

【0045】

ｍはメッセージ、ｔは反復回数、Ｎ（ｐ）＼ｑは画素ｐへメッセージを渡す画素ｑ以外の４近傍の画素集合、ｓはその画素集合の要素画素、ｍｉｎは最小値を返す関数である。この式（３）は、漸化式になっており、受け取ったメッセージをもとにメッセージを更新する処理を繰り返し行うことを示す。例えば、信頼度伝搬法では、ラスタスキャンを行うように処理対象画素ｐを移動させながら、その処理対象画素ｐでメッセージを更新することで、メッセージの伝搬を全画素で行う。

【0046】

全画素についてメッセージの更新処理を、予め設定したＴ回（例えば、１０回）まで反復したとする。この場合、画素ｑの距離候補ｆ_ｑに関する評価関数ｂ_ｑ（ｆ_ｑ）（以後、「評価関数ｂ_ｑ」）は、下記の式（４）で表すことができる。そして、信頼度伝搬法では、この評価関数ｂ_ｑが最小になる距離候補ｆ_ｑを、各画素の最終的な距離として推定する（ステップＳ４）。

【0047】

【数4】

【0048】

（第１実施形態）
［距離情報推定装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0049】

図３を参照し、本発明の第１実施形態に係る距離情報推定装置（距離指標情報推定装置）１の構成について説明する。
距離情報推定装置１は、信頼度伝搬法により距離情報を推定して、この距離情報の信頼度を示す評価値を計算すると共に、この評価値によって、距離情報の推定エラーが生じたか否かを判定するものである。

【0050】

図３に示すように、距離情報推定装置１は、誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ生成・伝搬部（エネルギー伝搬部）１２と、評価関数計算部１３と、距離推定部（距離指標推定部）１４と、評価値計算部１５と、オクルージョン領域判定部（オクルージョン推定エラー判定部）１７と、無テクスチャ領域判定部（テクスチャ推定エラー判定部）１９とを備える。

【0051】

本実施形態では、距離情報推定装置１は、評価値として、オクルージョンに起因する推定エラーを判定するための評価値Ｏ_ｑ（オクルージョン評価値、以後「評価値Ｏ」）と、テクスチャに起因する推定エラーを判定するための評価値Ｋ_ｑ（テクスチャ評価値、以後「評価値Ｋ」）とを計算する。そして、距離情報推定装置１は、評価値Ｏ及び評価値Ｋを用いて、距離情報の推定エラーとして、オクルージョンに起因する推定エラーと、テクスチャに起因する推定エラーとを判定することとする。

【0052】

テクスチャに起因する推定エラーとは、例えば、ステレオ画像でのテクスチャが存在しない領域（テクスチャレス領域）において、マッチング精度が低下して、距離情報の推定エラーが生じることである。

【0053】

距離情報推定装置１は、左カメラＣ_Ｌ及び右カメラＣ_Ｒ（ステレオカメラ）から、被写体（不図示）を撮影したステレオ画像（基準画像及び参照画像）が入力される。
この左カメラＣ_Ｌ及び右カメラＣ_Ｒは、静止画や動画を撮影可能な撮影カメラであり、図３に示すように、一定間隔（ベースライン）だけ離して配置される。ここで、例えば、左カメラＣ_Ｌ及び右カメラＣ_Ｒのうち左カメラＣ_Ｌを基準カメラとし、左カメラＣ_Ｌの撮影画像を基準画像とし、右カメラＣ_Ｒの撮影画像を参照画像とする。

【0054】

誤差関数計算部１０は、ステレオ画像が入力されると共に、距離候補ごとに、予め設定された誤差関数閾値Ｔ_ｄａｔａ以下となるように、入力されたステレオ画像の類似度である誤差関数Ｄ_ｐを計算するものである。この誤差関数計算部１０は、下記の式（５）及び式（６）を用いて、図４に示すように画素ｓ，ｐ，ｑについて、距離候補ごとの誤差関数Ｄ_ｐを計算する。
ここで、ｉｆは、後段の条件式を満たす場合、前段に記述した値を出力する関数である。

【0055】

【数5】

【0056】

【数6】

【0057】

本実施形態では、距離候補ｆ_ｓ，ｆ_ｐ，ｆ_ｑがそれぞれ、図４に示すように、０，１，・・・，Ｋ，・・・，Ｎ−１の範囲内で予め設定されたこととして説明する（但し、Ｋ，Ｎは、Ｋ＜Ｎ−１を満たす整数）。
なお、図４では、文字ｓ，ｐ，ｑを付した四辺形が画素ｓ，ｐ，ｑである。

【0058】

このとき、誤差関数計算部１０は、式（６）に示すように、誤差関数Ｄ_ｐの値が誤差関数閾値Ｔ_ｄａｔａを超えないように、トランケーションを行っている。具体的には、誤差関数計算部１０は、誤差関数Ｄ_ｐの値が誤差関数閾値Ｔ_ｄａｔａを超える場合、誤差関数閾値Ｔ_ｄａｔａを誤差関数Ｄ_ｐの値としてメッセージ生成・伝搬部１２に出力する。その一方、誤差関数計算部１０は、誤差関数Ｄ_ｐの値が誤差関数閾値Ｔ_ｄａｔａ以下の場合、メッセージ生成・伝搬部１２に誤差関数Ｄ_ｐの値をそのまま出力する。

【0059】

スムーズ関数計算部１１は、距離候補ごとに、予め設定されたスムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}以下となるように、スムーズ関数Ｖを計算するものである。このスムーズ関数計算部１１は、図４に示すように、画素ｐの距離候補ｆ_ｐ（０〜Ｎ−１）と、画素ｑの距離候補ｆ_ｑ（０〜Ｎ−１）との全組み合わせについて、下記の式（７）を用いて、スムーズ関数Ｖを計算する。

【0060】

【数7】

【0061】

このとき、スムーズ関数計算部１１は、式（７）に示すように、スムーズ関数Ｖの値がスムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}を超えないように、トランケーションを行っている。具体的には、スムーズ関数計算部１１は、スムーズ関数Ｖの値がスムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}を超える場合、スムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}をスムーズ関数Ｖの値としてメッセージ生成・伝搬部１２に出力する。その一方、スムーズ関数計算部１１は、スムーズ関数Ｖの値がスムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}以下の場合、メッセージ生成・伝搬部１２にスムーズ関数Ｖの値をそのまま出力する。

【0062】

ここで、マルコフランダムフィールドおよびスムーズ関数Ｖについて補足する。このマルコフランダムフィールドは、基準画像で互いに隣接する画素の色、輝度や距離が似ていることを示すモデルである。そして、スムーズ関数Ｖは、このマルコフランダムフィールドを踏まえた距離の連続性に関する関数であり、基準画像の各画素に距離候補を割り当てた際、互いに隣接する画素の距離候補が同じであればエネルギーが小さく、異なればエネルギーが大きくなる。例えば、マルコフランダムフィールドでは、ある画素の距離候補が１で、その隣接画素の距離候補が１である場合、エネルギーは０となる。また、ある画素の距離候補が１で、その画素に隣接する画素の距離候補が２である場合、例えば、エネルギーは１となる。さらに、ある画素の距離候補が１で、その隣接画素の距離候補が１０である場合、例えば、エネルギーは９となる。つまり、信頼度伝搬法において、エネルギーが最小となる距離候補が最終的な距離となることを考慮すれば、このマルコフランダムフィールドにより、互いに隣接する画素は、同じような距離になり易くなる。

【0063】

メッセージ生成・伝搬部（エネルギー伝搬部）１２は、誤差関数計算部１０で計算された誤差関数Ｄ_ｐと、スムーズ関数計算部１１で計算されたスムーズ関数Ｖとが入力される。そして、メッセージ生成・伝搬部１２は、図１と同様に、これら誤差関数Ｄ_ｐおよびスムーズ関数Ｖを含むメッセージが集合したエネルギー集合を生成するものである。

【0064】

具体的には、メッセージ生成・伝搬部１２は、基準画像の画素位置に対応した位置に画素ごとのメッセージを配置することで、エネルギー集合をモデル化（生成）する。
次に、メッセージ生成・伝搬部１２は、前記した式（３）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬することで、画素ごとのメッセージを更新する。まず、メッセージ生成・伝搬部１２は、図５，図６に示すように、画素ｓにおいて、距離候補ｆ_ｓ（０〜Ｎ−１）のメッセージｍ_ｓ（０）〜ｍ_ｓ（Ｎ−１）を生成して、画素ｓから画素ｐに伝搬させる。次に、メッセージ生成・伝搬部１２は、画素ｐにおいて、距離候補ｆ_ｐ（０〜Ｎ−１）のメッセージｍ_ｐ→ｑ（０）〜ｍ_ｐ→ｑ（Ｎ−１）を生成して、画素ｐから画素ｑに伝搬させる。

【0065】

評価関数計算部１３は、前記した式（４）を用いて、メッセージ生成・伝搬部１２で更新されたメッセージを示す評価関数ｂ_ｑを計算するものである。そして、評価関数計算部１３は、計算した評価関数ｂ_ｑを、距離推定部１４と、評価値Ｏ計算部１６と、評価値Ｋ計算部１８とに出力する。

【0066】

距離推定部（距離指標推定部）１４は、評価関数計算部１３で計算された評価関数ｂ_ｑが入力される。そして、距離推定部１４は、距離候補ｆ_ｑのうち、この評価関数ｂ_ｑが最小となる距離候補ｆ_ｑを、距離情報として推定するものである。すなわち、距離推定部１４は、前記した式（４）の評価関数ｂ_ｑが最小となる距離候補ｆ_ｑを、基準画像の画素ｑの最終的な距離情報として推定する。

【0067】

ここでは、距離推定部１４は、距離情報として、画素の距離が手前側である程、その画素の輝度が高く、画素の距離が奥側である程、その画素の輝度が低くなる距離画像を生成して出力する。この距離画像は、例えば、被写体の３次元立体モデルの生成に利用できる。

【0068】

評価値計算部１５は、評価関数ｂ_ｑにおけるエネルギー分布の形状により、評価値を求めるものであり、評価値Ｏ計算部（オクルージョン評価値計算部）１６と、評価値Ｋ計算部（テクスチャ評価値計算部）１８とを備える。

【0069】

評価値Ｏ計算部（オクルージョン評価値計算部）１６は、評価関数計算部１３で計算された評価関数ｂ_ｑが入力される。この評価関数ｂ_ｑは、基準画像の各画素について、距離候補ｆ_ｑごとのメッセージを示す情報、つまり、距離候補ｆ_ｑとメッセージとを対応付けたエネルギー分布（メッセージ分布）と言える。

【0070】

具体的には、評価値Ｏ計算部１６は、メッセージが最も高くなる最大値とメッセージが最も低くなる最小値との差分をこの最大値で除算することで、評価値Ｏを計算するものである。具体的には、評価値Ｏ計算部１６は、下記の式（８）を用いて評価値Ｏを計算して、オクルージョン領域判定部１７に出力する。

【0071】

【数8】

【0072】

ここで、ｍａｘは、最大値を返す関数である。従って、ｍａｘ（ｂ_ｑ（ｆ_ｑ））は、画素ｑにおけるメッセージの最大値を示す。また、ｍｉｎ（ｂ_ｑ（ｆ_ｑ））は、画素ｑにおけるメッセージの最小値を示す。

【0073】

オクルージョン領域判定部（オクルージョン推定エラー判定部）１７は、評価値Ｏ計算部１６から評価値Ｏが入力される。そして、オクルージョン領域判定部１７は、この評価値Ｏが予め設定されたオクルージョン閾値Ｔ_ｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔ_ｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定するものである。

【0074】

ここで、オクルージョンに起因する推定エラーが生じていない画素では、図７（ａ）のエネルギー分布のように、メッセージの最大値ｍａｘと最小値ｍｉｎとの差分ΔＥ_Ｏが、大きくなる。一方、オクルージョンに起因する推定エラーが生じた画素では、図７（ｂ）のエネルギー分布のように、差分ΔＥ_Ｏが図７（ａ）よりも小さくなる。

【0075】

また、図７の差分ΔＥ_Ｏは、式（８）の分子であることから、評価値Ｏに比例する。つまり、オクルージョン領域判定部１７は、評価値Ｏが、オクルージョンに起因する推定エラーが生じた画素で、オクルージョンに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、オクルージョンに起因する推定エラーを判定している。そして、オクルージョン領域判定部１７は、評価値Ｏがオクルージョン閾値Ｔ_ｏ以下と判定された画素領域をオクルージョン領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、オクルージョンに起因する推定エラーが生じた領域を把握するために利用できる。
なお、オクルージョン領域判定部１７は、評価値Ｏが閾値Ｔ_ｏを超える場合、オクルージョンに起因する推定エラーが生じていないと判定することは言うまでもない。

【0076】

評価値Ｋ計算部（テクスチャ評価値計算部）１８は、評価関数計算部１３で計算された評価関数ｂ_ｑが入力される。そして、評価値Ｋ計算部１８は、基準画像の各画素について、このエネルギー分布の尖度を評価値Ｋとして計算するものである。

【0077】

具体的には、評価値Ｋ計算部１８は、下記の式（９）に示すように、距離候補ｆ_ｑの個数ｎ_ｆ（例えば、０〜Ｎ−１までの合計Ｎ個）と、メッセージと、メッセージの平均値ｂ_ｑ￣と，メッセージの標準偏差σ（ｂ_ｑ）とに基づいて、評価値Ｋを計算する。そして、評価値Ｋ計算部１８は、計算した評価値Ｋを、無テクスチャ領域判定部１９に出力する。

【0078】

【数9】

【0079】

無テクスチャ領域判定部（テクスチャ推定エラー判定部）１９は、評価値Ｋ計算部１８から、評価値Ｋが入力される。そして、無テクスチャ領域判定部１９は、この評価値Ｋが予め設定されたテクスチャ閾値Ｔ_Ｋ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値Ｔ_Ｋ以下の場合、テクスチャに起因する推定エラーが生じたと判定するものである。

【0080】

ここで、テクスチャに起因する推定エラーが生じていない画素では、図８（ａ）に示すように、エネルギー分布が尖っており、その尖度を示す評価値Ｋが大きくなる。一方、テクスチャに起因する推定エラーが生じた画素では、図８（ｂ）に示すように、エネルギー分布が尖っておらず、評価値Ｋが図８（ａ）よりも小さくなる。

【0081】

この尖度（Kurtosis)は、エネルギー分布の尖り具合を示すものであり、正規分布と比べて、以下のような特徴がある。すなわち、尖度が大きくなるほど、鋭いピークと長い尾とを有するエネルギー分布になる（図８（ａ）参照）。その一方、尖度が小さくなるほど、より丸みがかったピークと短い尾とを有するエネルギー分布になる（図８（ｂ）参照）。
なお、尾とは、図８において、トランケーションによって形成される、メッセージの上限となる平坦部である。

【0082】

つまり、無テクスチャ領域判定部１９は、評価値Ｋが、テクスチャに起因する推定エラーが生じた画素で、テクスチャに起因する推定エラーが生じていない画素よりも小さくなる性質を利用して、テクスチャに起因する推定エラーを判定している。そして、無テクスチャ領域判定部１９は、評価値Ｋがテクスチャ閾値Ｔ_Ｋ以下と判定された画素領域を無テクスチャ領域として出力する。このオクルージョン領域は、例えば、被写体の３次元立体モデルを生成する際、テクスチャに起因する推定エラーが生じた領域を把握するために利用できる。
なお、無テクスチャ領域判定部１９は、評価値Ｋがテクスチャ閾値Ｔ_Ｋを超える場合、テクスチャに起因する推定エラーが生じていないと判定することは言うまでもない。

【0083】

［距離情報推定装置の動作］
図９を参照し、距離情報推定装置１の動作について説明する（適宜図３参照）。
距離情報推定装置１は、誤差関数計算部１０によって、距離候補ごとに、誤差関数閾値Ｔ_ｄａｔａ以下となるように誤差関数Ｄ_ｐを計算する。つまり、誤差関数計算部１０は、前記した式（５）及び式（６）を用いて、誤差関数Ｄ_ｐを計算して、トランケーションを行う（ステップＳ１０）。

【0084】

距離情報推定装置１は、スムーズ関数計算部１１によって、距離候補ごとに、スムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}以下となるように、スムーズ関数Ｖを計算する。つまり、スムーズ関数計算部１１は、前記した式（７）を用いて、スムーズ関数Ｖを計算して、トランケーションを行う（ステップＳ１１）。

【0085】

距離情報推定装置１は、メッセージ生成・伝搬部１２によって、図１と同様にエネルギー集合を生成する。そして、メッセージ生成・伝搬部１２は、前記した式（３）を用いて、エネルギー集合内における隣接画素間で、メッセージを生成して伝搬する（ステップＳ１２）。

【0086】

距離情報推定装置１は、評価関数計算部１３によって、前記した式（４）を用いて、距離候補ごとに評価関数ｂ_ｑを計算する（ステップＳ１３）。そして、距離情報推定装置１は、距離推定部１４によって、距離候補のうち、この評価関数ｂ_ｑが最小となる距離を、距離情報として推定する（ステップＳ１４）。

【0087】

距離情報推定装置１は、評価値Ｏ計算部１６によって、評価値Ｏを計算する。つまり、評価値Ｏ計算部１６は、前記した式（８）を用いて、メッセージの最大値とメッセージの最小値との差分をこの最大値で除算することで、評価値Ｏを計算する（ステップＳ１５）。

【0088】

距離情報推定装置１は、オクルージョン領域判定部１７によって、評価値Ｏがオクルージョン閾値Ｔ_ｏ以下であるか否かを判定し、評価値Ｏがオクルージョン閾値Ｔ_ｏ以下の場合、オクルージョンに起因する推定エラーが生じたと判定する。（ステップＳ１６）。

【0089】

距離情報推定装置１は、評価値Ｋ計算部１８によって、エネルギー分布の尖度である評価値Ｋを計算する。つまり、評価値Ｋ計算部１８は、前記した式（９）に示すように、距離候補の個数ｎ_ｆと、メッセージと、メッセージの平均値ｂ_ｑ￣と、メッセージの標準偏差σ（ｂ_ｑ）とに基づいて、評価値Ｋを計算する（ステップＳ１７）。

【0090】

距離情報推定装置１は、無テクスチャ領域判定部１９によって、評価値Ｋがテクスチャ閾値Ｔ_Ｋ以下であるか否かを判定し、評価値Ｋがテクスチャ閾値Ｔ_Ｋ以下の場合、テクスチャに起因する推定エラーが生じたと判定する（ステップＳ１８）。

【0091】

以上のように、本発明の第１実施形態に係る距離情報推定装置１は、メッセージの最小値だけでなくメッセージの最大値も考慮して評価値Ｏを計算すると共に、エネルギー分布の尖度である評価値Ｋを計算する。そして、距離情報推定装置１は、オクルージョンやテクスチャに起因する推定エラーが生じた画素で、評価値Ｏ及び評価値Ｋが小さくなる性質を利用して、これら推定エラーを判定する。これによって、距離情報推定装置１は、オクルージョン及びテクスチャに起因する推定エラーの判定精度を向上させて、これら推定エラーが生じた領域を正確に提示することができる。

【0092】

さらに、距離情報推定装置１は、図７，図８に示すように、トランケーションによって、メッセージの上限が設けられるため、評価関数ｂ_ｑのばらつきが一定範囲に収まって、距離情報の精度を向上させることができる。

【0093】

（第２実施形態）
［距離情報推定装置の構成］
図１０を参照し、本発明の第２実施形態に係る距離情報推定装置１Ｂの構成について、第１実施形態と異なる点を説明する。この距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーを抑制する点が、第１実施形態と異なる。このため、距離情報推定装置１Ｂは、テクスチャ推定エラー抑制部２０をさらに備える。

【0094】

図１０に示すように、距離情報推定装置１Ｂは、左カメラＣ_Ｌ及び中央カメラＣ_Ｃの撮影画像である左ステレオ画像と、右カメラＣ_Ｒ及び中央カメラＣ_Ｃの撮影画像である右ステレオ画像とが入力される。

【0095】

この中央カメラＣ_Ｃは、左カメラＣ_Ｌ及び右カメラＣ_Ｒと同様、静止画や動画を撮影可能な撮影カメラである。また、左カメラＣ_Ｌ及び右カメラＣ_Ｒは、それぞれ、中央カメラＣ_Ｃから一定間隔離して左右に配置される。ここでは、中央カメラＣ_Ｃを基準カメラとし、中央カメラＣ_Ｃの撮影画像を基準画像とし、左カメラＣ_Ｌ及び右カメラＣ_Ｒの撮影画像を参照画像とする。

【0096】

誤差関数計算部１０と、スムーズ関数計算部１１と、メッセージ生成・伝搬部１２と、評価関数計算部１３と、距離推定部１４とは、左ステレオ画像及び右ステレオ画像それぞれの処理を行う以外、図３の各手段と同様であるため、詳細な説明を省略する。

【0097】

ここで、後記するオクルージョンに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の両方（以下、「両ステレオ画像」）から求めた評価関数ｂ_ｑが必要になる。このため、評価関数計算部１３は、両ステレオ画像から求めた評価関数ｂ_ｑを評価値Ｏ計算部１６Ｂに出力する。さらに、距離推定部１４は、両ステレオ画像から求めた距離情報（距離画像）を、評価値Ｏ計算部１６Ｂに出力する。

【0098】

一方、後記するテクスチャに起因する推定エラーの抑制には、左ステレオ画像及び右ステレオ画像の何れか一方から求めた評価関数ｂ_ｑがあればよい。従って、評価関数計算部１３は、左ステレオ画像から求めた評価関数ｂ_ｑを、評価値Ｋ計算部１８に出力する。

【0099】

評価値Ｏ計算部１６Ｂは、両ステレオ画像から評価値Ｏを計算して、オクルージョン領域判定部１７に出力する。また、評価値Ｏ計算部１６Ｂは、両ステレオ画像から計算した評価値Ｏと、両ステレオ画像の距離情報とを用いて、オクルージョンに起因する推定エラーを抑制する。
なお、評価値Ｏの計算は、図３の評価値Ｏ計算部１６と同様のため、説明を省略する。

【0100】

具体的には、評価値Ｏ計算部１６Ｂは、基準画像の各画素について、左ステレオ画像から計算した評価値Ｏと、右ステレオ画像から計算した評価値Ｏとを比較する。この比較結果に基づいて、評価値Ｏ計算部１６Ｂは、両ステレオ画像の距離情報のうち、評価値Ｏが大きい側の距離情報を、その画素の距離情報として、テクスチャ推定エラー抑制部２０に出力する。すなわち、評価値Ｏ計算部１６Ｂは、オクルージョンに起因する推定エラーが生じた画素で評価値Ｏが小さくなることを利用して、距離推定部１４で生成された両ステレオ画像の距離情報を、この推定エラーを抑制した１つの距離情報に統合する。

【0101】

オクルージョン領域判定部１７は、図３と同様、両ステレオ画像のオクルージョン領域を出力するため、詳細な説明を省略する。
なお、このオクルージョン領域は、オクルージョンに起因する推定エラーの抑制に必要ではなく、参考情報として提示される。

【0102】

評価値Ｋ計算部１８は、図３と同様、左ステレオ画像についての評価値Ｋを計算するため、詳細な説明を省略する。
無テクスチャ領域判定部１９は、図３と同様、左ステレオ画像についての無テクスチャ領域を生成して、テクスチャ推定エラー抑制部２０に出力する。

【0103】

テクスチャ推定エラー抑制部２０は、評価値Ｏ計算部１６Ｂから距離情報が入力され、無テクスチャ領域判定部１９から無テクスチャ領域が入力される。そして、テクスチャ推定エラー抑制部２０は、この無テクスチャ領域を用いて、この距離情報から、テクスチャに起因する推定エラーを抑制するものである。

【0104】

図１１，図１２を参照して、テクスチャに起因する推定エラーの抑制について説明する（適宜図１０参照）。
説明を簡易にするため、図１１に示すように、土俵Ａの上で二人の被写体（力士）Ｏ_１，Ｏ_２が取組を行っている例をあげて説明する。この場合、図１０の中央カメラＣ_Ｃは、土俵Ａの正面中央に位置し、取組を行っている被写体Ｏ_１，Ｏ_２の側面方向（図１１の矢印方向）から基準画像Ｐを撮影したこととする。

【0105】

なお、図１１では、基準画像Ｐに含まれない土俵Ａと被写体Ｏ_１，Ｏ_２との一部を破線で図示した。また、図１１では、基準画像Ｐのうち、土俵Ａの奥側地面となる背景Ｂの領域が無テクスチャ領域ＴＸであり、ハッチングで図示した。この例では、テクスチャ推定エラー抑制部２０は、図１１のハッチング部分に対して、テクスチャに起因する推定エラーの抑制処理を行うことになる。

【0106】

ここで、中央カメラＣ_Ｃと、土俵Ａと、被写体Ｏ_１，Ｏ_２とを上側より見ると、これらの位置関係は、図１２のようになる。図１２では、土俵Ａ及び被写体Ｏ_１，Ｏ_２を破線で図示すると共に、後記する距離Ｄを一転鎖線で図示した。また、図１１のハッチング部分（無テクスチャ領域ＴＸ）は、球表面の一部を切り取った曲面形状になる（図１２の吹き出し）。

【0107】

まず、テクスチャ推定エラー抑制部２０は、左カメラＣ_Ｌと、中央カメラＣ_Ｃと、右カメラＣ_Ｒとの光軸ＬＡが交わる光軸交点ＣＥを、カメラキャリブレーションにより計算する。ここで、テクスチャ推定エラー抑制部２０は、全てのカメラで光軸交点ＣＥを求める必要がなく、基準画像を撮影する中央カメラＣ_Ｃが含まれていればよい。つまり、テクスチャ推定エラー抑制部２０は、中央カメラＣ_Ｃと左カメラＣ_Ｌとの組、又は、中央カメラＣ_Ｃと右カメラＣ_Ｒとの一方の組から、光軸交点ＣＥを求めてもよい。

【0108】

次に、テクスチャ推定エラー抑制部２０は、予め設定された半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。ここで、テクスチャ推定エラー抑制部２０は、全ての被写体（例えば、土俵Ａ、被写体Ｏ_１，Ｏ_２）が仮想球ＶＣに含まれるように、半径ｒが予め設定されている。そして、テクスチャ推定エラー抑制部２０は、中央カメラＣ_Ｃから仮想球ＶＣの奥側表面までの距離Ｄを計算し、この距離Ｄを、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる。

【0109】

すなわち、無テクスチャ領域ＴＸ内の各画素の距離情報は、下記の計算式を用いて割り当てることができる。まず、テクスチャ推定エラー抑制部２０は、下記の（１０）及び式（１１）の連立方程式により、仮想球ＶＣと中央カメラＣ_Ｃの光軸ＬＡとの交点（Ｘ，Ｙ，Ｚ）を計算する。

【0110】

【数10】

【0111】

【数11】

【0112】

前記した式（１０）は、仮想球ＶＣを表した方程式である。ここで、ａ，ｂ，ｃが仮想球ＶＣの中心の世界座標（光軸交点ＣＥの世界座標）であり、ｒが仮想球ＶＣの半径である。
前記した式（１１）は、中央カメラＣ_Ｃの光学主点と無テクスチャ領域ＴＸ内の各画素とを通過する直線を表した方程式である。ここで、ｅ，ｇ，ｉが無テクスチャ領域ＴＸ内の各画の世界座標と光学主点の世界座標とにより計算される傾き（既知）であり、ｆ，ｈ，ｊが光学主点の世界座標（既知）である。

【0113】

そして、テクスチャ推定エラー抑制部２０は、下記の（１２）により、中央カメラＣ_Ｃから仮想球ＶＣの奥側表面までの距離Ｄを計算する。ここで、ｚは仮想球ＶＣの奥側表面までの距離Ｄであり、ｉ，ｊは基準画像の座標（既知）であり、Ａはカメラキャリブレーションにより計算される内部パラメータ（既知）であり、Ｒはカメラキャリブレーションにより計算される回転行列（既知）であり、Ｕはカメラキャリブレーションにより計算される並進行列（既知）である。

【0114】

【数12】

【0115】

［距離情報推定装置の動作］
図１３を参照し、距離情報推定装置１Ｂの動作について説明する（適宜図１０参照）。
ステップＳ２０〜Ｓ２４の処理は、図９のステップＳ１０〜Ｓ１４と同様のため、説明を省略する。

【0116】

距離情報推定装置１Ｂは、評価値Ｏ計算部１６Ｂによって、無テクスチャ領域及び距離情報を用いて、オクルージョンに起因する推定エラーを抑制する。つまり、評価値Ｏ計算部１６Ｂは、両ステレオ画像から評価値Ｏを計算し、これら評価値Ｏを比較して、評価値Ｏが大きい側のステレオ画像から生成した距離情報を、基準画像での各画素の距離情報として出力する（ステップＳ２５）。

【0117】

ステップＳ２６〜Ｓ２８の処理は、図９のステップＳ１６〜Ｓ１８と同様のため、説明を省略する。

【0118】

距離情報推定装置１Ｂは、テクスチャ推定エラー抑制部２０によって、無テクスチャ領域を用いて、距離情報から、テクスチャに起因する推定エラーを抑制する。つまり、テクスチャ推定エラー抑制部２０は、左カメラＣ_Ｌと、中央カメラＣ_Ｃと、右カメラＣ_Ｒとの光軸交点ＣＥをカメラキャリブレーションにより計算する。そして、テクスチャ推定エラー抑制部２０は、半径ｒの仮想球ＶＣを、光軸交点ＣＥを中心に生成する。さらに、テクスチャ推定エラー抑制部２０は、中央カメラＣ_Ｃから仮想球ＶＣの奥側表面までの距離Ｄを計算して、無テクスチャ領域ＴＸ内の各画素の距離情報として割り当てる（ステップＳ２９）。

【0119】

以上のように、本発明の第２実施形態に係る距離情報推定装置１Ｂは、オクルージョン及びテクスチャに起因する推定エラーを抑制して、精度が高い距離情報を生成することができる。この距離情報を用いれば、例えば、奥行き感が高い、インテグラルフォトグラフィ（ＩＰ）方式の立体映像を生成することができる。

【0120】

（第３実施形態）
［距離情報推定装置の構成］
図１４を参照し、本発明の第３実施形態に係る距離情報推定装置１Ｃの構成について、第１実施形態と異なる点を説明する。この距離情報推定装置１Ｃは、メッセージ伝搬の際、隣接画素間で色が大きく異なるときにその伝搬を制限する点が、第１実施形態と異なる。このため、距離情報推定装置１Ｃは、メッセージ伝搬制限判定部（エネルギー伝搬判定部）２１をさらに備える。

【0121】

ここで、誤差関数計算部１０と、スムーズ関数計算部１１と、評価値計算部１５と、オクルージョン領域判定部１７と、無テクスチャ領域判定部１９とは、図３の各手段と同様であるため、詳細な説明を省略する。

【0122】

メッセージ伝搬制限判定部（エネルギー伝搬判定部）２１は、基準画像における隣接画素間の色情報の差分絶対値が予め設定された色情報閾値Ｔ_ｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定するものである。

【0123】

このメッセージ伝搬制限判定部２１は、メッセージの伝搬の制限を判定するために、隣接画素間の色情報の差分絶対値に関する色情報閾値Ｔ_ｃが予め設定される。このとき、色情報閾値Ｔ_ｃの値が小さくなってメッセージ伝搬の制限が強くなると、重み係数λ_ｄａｔａの値も小さくなってスムーズ関数の影響が大きくなるように、色情報閾値Ｔ_ｃ及び重み係数λ_ｄａｔａを予め設定することが好ましい。

【0124】

また、メッセージ伝搬制限判定部２１は、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔ_ｃ以下であるか否かによって、メッセージ伝搬元の画素ｓと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、下記の式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔ_ｃとを比較することにより、メッセージ伝搬元の重み係数λ_ｓ，ｐを計算する。

【0125】

【数13】

【0126】

ここで、メッセージ伝搬制限判定部２１は、式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔ_ｃ以下の場合、画素ｓ，ｐ間でメッセージを伝搬できると判定し、重み係数λ_ｓ，ｐを１として計算する。一方、メッセージ伝搬制限判定部２１は、画素ｓ，ｐの色情報の差分絶対値が色情報閾値Ｔ_ｃを超える場合、画素ｓ，ｐ間でメッセージを伝搬できないと判定し、重み係数λ_ｓ，ｐを０として計算する。そして、メッセージ伝搬制限判定部２１は、計算した重み係数λ_ｓ，ｐをメッセージ生成・伝搬部１２Ｃに出力する。

【0127】

また、メッセージ伝搬制限判定部２１は、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの色情報の差分絶対値が色情報閾値Ｔ_ｃ以下であるか否かによって、メッセージ伝搬先の画素ｑと処理対象の画素ｐとの間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、下記の式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔ_ｃとを比較することにより、メッセージ伝搬先の重み係数λ_ｐ，ｑを計算する。

【0128】

【数14】

【0129】

ここで、メッセージ伝搬制限判定部２１は、式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔ_ｃ以下の場合、画素ｐ，ｑ間でメッセージを伝搬できると判定し、重み係数λ_ｐ，ｑを１として計算する。一方、メッセージ伝搬制限判定部２１は、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔ_ｃを超える場合、画素ｐ，ｑ間でメッセージを伝搬できないと判定し、重み係数λ_ｐ，ｑを０として計算する。そして、メッセージ伝搬制限判定部２１は、計算した重み係数λ_ｐ，ｑを評価関数計算部１３Ｃに出力する。

【0130】

メッセージ生成・伝搬部１２Ｃは、メッセージ伝搬制限判定部２１からメッセージ伝搬元の重み係数λ_ｓ，ｐが入力される。そして、メッセージ生成・伝搬部１２Ｃは、下記の式（１５）を用いて、メッセージを生成して伝搬する。

【0131】

【数15】

【0132】

このとき、メッセージ生成・伝搬部１２Ｃは、式（１５）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔ_ｃとを比較して、メッセージを伝搬するか又は制限するかを判定する。具体的には、メッセージ生成・伝搬部１２Ｃは、画素ｐ，ｑの色情報の差分絶対値が色情報閾値Ｔ_ｃ以下の場合、画素ｐから画素ｑへのメッセージを伝搬させる。一方、メッセージ生成・伝搬部１２Ｃは、色情報の差分絶対値が色情報閾値Ｔ_ｃを超える場合、画素ｐから画素ｑへメッセージを伝搬させない。

【0133】

図１５，図１６を参照して、メッセージの伝搬の制限について詳細に説明する（適宜図１４参照）。この図１５，図１６では、図１と同様のエネルギー集合において、枠（白塗四角形）が明るい色の画素であり、ハッチングされた枠が暗い色の画素である。ここでは、明るい色の画素と暗い色の画素との色情報の差分絶対値が色情報閾値Ｔ_ｃを超えることとして説明する。

【0134】

例えば、被写体と背景との境界といったように、隣接画素間で色が大きく異なる場合を考える。図１５（ａ）に示すように、画素ｓ，ｐで色が大きく異なる場合、距離情報推定装置１Ｃは、前記した式（１３）よりメッセージ伝搬元の重み係数λ_ｓ，ｐを０として、これら２画素ｓ、ｐでのメッセージ伝搬を制限する。また、図１５（ｂ）に示すように、画素ｐ，ｑで色が大きく異なる場合、距離情報推定装置１Ｃは、前記した式（１４）よりメッセージ伝搬先の重み係数λ_ｐ，ｑを０として、これら２画素ｐ、ｑでのメッセージ伝搬を制限する。

【0135】

一方、図１６（ａ）に示すように画素ｓ，ｐ，ｑの全てが明るい色、又は、図１６（ｂ）に示すように画素ｓ，ｐ，ｑの全てが暗い色の場合、距離情報推定装置１Ｃは、前記した式（１３）及び式（１４）より重み係数λ_ｓ，ｐ，λ_ｐ，ｑを１として、画素ｓ，ｐ，ｑ間でメッセージを伝搬する。

【0136】

つまり、距離情報推定装置１Ｃでは、メッセージ伝搬元の重み係数λ_ｓ，ｐの値によって、画素ｓから画素ｐへのメッセージ伝搬を制御し、メッセージ伝搬先の重み係数λ_ｐ，ｑの値によって、画素ｐから画素ｑへのメッセージ伝搬を制御する。

【0137】

評価関数計算部１３Ｃは、メッセージ伝搬制限判定部２１で計算された重み係数λ_ｐ，ｑが入力され、下記の式（１６）で定義される評価関数ｂ_ｑを計算する。そして、評価関数計算部１３Ｃは、計算した評価関数ｂ_ｑを、距離推定部１４Ｃと、評価値Ｏ計算部１６と、評価値Ｋ計算部１８とに出力する。

【0138】

【数16】

【0139】

距離推定部１４Ｃは、図３の距離推定部１４と同様、距離情報を推定する。
また、距離推定部１４Ｃは、ノイズ除去フィルタ１４ａを備える。このノイズ除去フィルタ１４ａは、距離推定部１４Ｃが推定した距離情報（距離画像）にメディアンフィルタ等のノイズ除去処理を施すものである。このようにして、ノイズの影響が少ない滑らかな距離情報を推定することができる。

【0140】

［距離情報推定装置の動作］
図１７を参照し、距離情報推定装置１Ｃの動作について説明する（適宜図１４参照）。
ステップＳ３０，Ｓ３１の処理は、図９のステップＳ１０〜Ｓ１１と同様のため、説明を省略する。

【0141】

距離情報推定装置１Ｃは、メッセージ伝搬制限判定部２１によって、隣接画素間の色情報の差分絶対値が色情報閾値Ｔ_ｃ以下であるか否かによって、隣接画素間でメッセージを伝搬できるか否かを判定する。具体的には、メッセージ伝搬制限判定部２１は、前記した式（１３）に示すように、画素ｓ，ｐの色情報の差分絶対値と色情報閾値Ｔ_ｃとを比較することにより、画素ｓ，ｐ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬元の重み係数λ_ｓ，ｐを計算する。さらに、メッセージ伝搬制限判定部２１は、前記した式（１４）に示すように、画素ｐ，ｑの色情報の差分絶対値と色情報閾値Ｔ_ｃとを比較することにより、画素ｐ，ｑ間におけるメッセージ伝搬の判定結果として、メッセージ伝搬先の重み係数λ_ｐ，ｑを計算する（ステップＳ３２）。

【0142】

距離情報推定装置１Ｃは、メッセージ生成・伝搬部１２Ｃによって、前記した式（１５）を用いて、メッセージを生成して伝搬する（ステップＳ３３）。
距離情報推定装置１Ｃは、評価関数計算部１３Ｃによって、前記した式（１６）で定義される評価関数ｂ_ｑを計算する（ステップＳ３４）。
なお、ステップＳ３５〜Ｓ３９の処理は、図９のステップＳ１４〜Ｓ２８と同様のため、説明を省略する。

【0143】

以上のように、本発明の第３実施形態に係る距離情報推定装置１Ｃは、隣接画素間の色情報の差分絶対値が大きいときにメッセージの伝搬を制限する。これによって、距離情報推定装置１Ｃは、被写体の膨張を抑制して被写体の輪郭を鮮鋭化し、精度が高い距離情報を生成することができる。

【0144】

なお、各実施形態では、誤差関数とスムーズ関数とで規定される確率に関するエネルギーを最小化する手法の一例として信頼度伝搬法を説明したが、本発明は、これに限定されない。本発明では、この手法として、例えば、ビタビアルゴリズムを用いることもできる。

【0145】

なお、各実施形態では、距離指標情報として距離情報を推定することとして説明したが、本発明は、これに限定されない。つまり、本発明は、前記した距離候補を視差候補に置き換えれば、視差情報を推定する視差情報推定装置を実現することができる。

【0146】

なお、各実施形態では、評価値として評価値Ｋ，Ｏを計算することとして説明したが、本発明は、これに限定されない。
また、各実施形態では、評価値Ｋ，Ｏの両方を計算することとして説明したが、本発明は、評価値Ｋ，Ｏの何れか一方のみを計算してもよい。この場合、本発明は、テクスチャ又はオクルージョンに起因する推定エラーの何れか一方だけを抑制してもよい。

【0147】

（変形例１）
以下、図１８を参照して、本発明の変形例１に係る距離情報推定装置１Ｄについて説明する。
図１８に示すように、距離情報推定装置１Ｄは、図１０の距離情報推定装置１Ｂに、図１４のメッセージ伝搬制限判定部２１を付加したものである。従って、距離情報推定装置１Ｄは、オクルージョン及びテクスチャに起因する推定エラーを抑制すると共に被写体の膨張を抑制し、精度が高い距離情報を生成することができる。
なお、図１８の各手段は、図１０，図１４と同様であるため、詳細な説明を省略する。

【実施例】

【0148】

以下、本発明の実施例として、推定エラーの判定精度を実験した結果について説明する。
本実施例では、図３の距離情報推定装置１を用いて実験を行った。また、この距離情報推定装置１に入力するステレオ画像として、力士（被写体）の取組を撮影した画像を準備した。左カメラＣ_Ｌが撮影した基準画像を図１９（ａ）に示し、右カメラＣ_Ｒが撮影した参照画像を図１９（ｂ）に示す。このとき、左カメラＣ_Ｌ及び右カメラＣ_Ｒは、互いに２メートルだけ離した。また、左カメラＣ_Ｌから被写体までの距離が２５メートルであり、距離候補を２センチメートルごとに設定した。さらに、λ_ｄａｔａを０．０７、誤差関数閾値Ｔ_ｄａｔａを１５、スムーズ関数閾値Ｔ_{ｓｍｏｏｔｈ}を１．７に設定した。

【0149】

図１９のステレオ画像から、距離情報推定装置１が生成した距離画像を図２０（ａ）に示す。図２０（ａ）の距離画像には、オクルージョンに起因する推定エラーを生じた領域を赤色で図示した。また、テクスチャに起因する推定エラーを生じた領域を青色で図示した。

【0150】

図２０（ａ）の距離画像から、距離情報推定装置１が、評価値Ｏを用いてオクルージョン領域を出力した結果を、図２０（ｂ）に示す。図２０（ｂ）の画像において、輝度値の低い領域がオクルージョンに起因する推定エラー領域が生じた領域（オクルージョン領域）であり、図２０（ａ）の赤色領域とほとんど一致している。このことより、距離情報推定装置１は、オクルージョンに起因する推定エラーの判定精度が高いことが分かる。

【0151】

また、図２０（ａ）の距離画像に対し、距離情報推定装置１が、オクルージョンに起因する推定エラーの抑制処理を行った。この推定エラーを抑制した後の距離画像を図２１（ａ）に示す。ここで、図２１（ａ）の距離画像にも、図２０（ａ）と同様に赤色と、青色とを図示した。

【0152】

そして、図２１（ａ）の距離画像から、距離情報推定装置１が、評価値Ｋを用いて無テクスチャ領域を出力した結果を、図２１（ｂ）に示す。図２１（ｂ）の画像において、輝度値の低い領域がテクスチャに起因する推定エラー領域が生じた領域（例えば、土俵奥の地面）であり、図２１（ａ）の青色領域とほとんど一致している。このことより、距離情報推定装置１は、テクスチャに起因する推定エラーの判定精度が高いことが分かる。

【符号の説明】

【0153】

１，１Ｂ，１Ｃ，１Ｄ 距離情報推定装置（距離指標情報推定装置）
１０ 誤差関数計算部
１１ スムーズ関数計算部
１２，１２Ｃ メッセージ生成・伝搬部（エネルギー伝搬部）
１３，１３Ｃ 評価関数計算部
１４，１４Ｃ 距離推定部（距離指標推定部）
１４ａ ノイズ除去フィルタ
１５ 評価値計算部
１６，１６Ｂ 評価値Ｏ計算部
１７ オクルージョン領域判定部（オクルージョン推定エラー判定部）
１８ 評価値Ｋ計算部
１９ 無テクスチャ領域判定部（テクスチャ推定エラー判定部）
２０ テクスチャ推定エラー抑制部
２１ メッセージ伝搬制限判定部（エネルギー伝搬判定部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】