ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】画像処理装置、及び画像処理方法
(51)【国際特許分類】
G06T 7/593 20170101AFI20240730BHJP
G06T 1/00 20060101ALI20240730BHJP
G01C 3/06 20060101ALI20240730BHJP
H04N 13/128 20180101ALI20240730BHJP
【ＦＩ】
G06T7/593
G06T1/00 315
G01C3/06 110V
G01C3/06 140
H04N13/128
【請求項の数】
8
(21)【出願番号】P 2021513545
(86)(22)【出願日】2020-03-23
(86)【国際出願番号】 JP2020012664
(87)【国際公開番号】W WO2020209040
(87)【国際公開日】2020-10-15
【審査請求日】2023-02-09
(31)【優先権主張番号】P 2019075074
(32)【優先日】2019-04-10
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】森内 優介
【審査官】宮島 潤
(56)【参考文献】
【文献】国際公開第２０１３／１４５５５４（ＷＯ，Ａ１）
【文献】特開２０１７－２７１０１（ＪＰ，Ａ）
【文献】特開２０１４－２１５８４０（ＪＰ，Ａ）
【文献】特開２００８－１６０４７４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｇ０６Ｔ １／００ － １／４０
Ｇ０６Ｔ ３／００ － ５／５０
Ｇ０６Ｔ ９／００ － ９／４０
Ｇ０１Ｃ ３／００ － ３／３２
Ｈ０４Ｎ １３／００ － １７／０６
(57)【特許請求の範囲】
【請求項1】
入力画像に含まれる複数の画素それぞれのデプス計算での対象画素の影響の大きさを示す寄与率を算出する寄与率演算部と、複数の画素それぞれのデプス計算において前記対象画素の前記寄与率が大きい画素ほど前記対象画素のデプス値の計算への寄与が大きくなるように前記対象画素のデプス値を再計算することで、前記対象画素のデプス値を補正する補正部と、
前記デプス計算により得られるデプス画像と、前記補正部のデプス値の補正により得られる補正デプス画像と、をαブレンディングするための係数を算出する演算部と、を備え、
前記対象画素は、前記デプス値の補正対象となる画素であり、
前記演算部は、エッジから離れた場所にある画素の係数ほど大きな値となるよう前記係数を算出する、
画像処理装置。
【請求項2】
前記補正部は、複数の画素それぞれのデプス計算での前記対象画素の前記寄与率を重みとした、該複数の画素のデプス値の重み付き平均を、前記対象画素の補正デプス値として算出する、請求項１に記載の画像処理装置。
【請求項3】
前記補正部は、複数の画素それぞれのデプス計算での前記対象画素の前記寄与率を重みとした、該複数の画素のデプス値の重み付きメディアンを、前記対象画素の補正デプス値として算出する、請求項１に記載の画像処理装置。
【請求項4】
入力画像に含まれる複数の領域それぞれのデプス計算での対象領域の影響の大きさを示す寄与率を算出する寄与率演算部と、
複数の領域それぞれのデプス計算において前記対象領域の前記寄与率が大きい領域ほど前記対象領域のデプス値の計算への寄与が大きくなるように前記対象領域のデプス値を再計算することで、前記対象領域のデプス値を補正する補正部と、
前記デプス計算により得られるデプス画像と、前記補正部のデプス値の補正により得られる補正デプス画像と、をαブレンディングするための係数を算出する演算部と、を備え、
前記対象領域は、前記デプス値の補正対象となる領域であり、
前記演算部は、エッジから離れた場所にある領域の係数ほど大きな値となるよう前記係数を算出する、
画像処理装置。
【請求項5】
前記補正部は、複数の領域それぞれのデプス計算での前記対象領域の前記寄与率を重みとした、該複数の領域のデプス値の重み付き平均を、前記対象領域の補正デプス値として算出する、
請求項４に記載の画像処理装置。
【請求項6】
前記補正部は、複数の領域それぞれのデプス計算での前記対象領域の前記寄与率を重みとした、該複数の領域のデプス値の重み付きメディアンを、前記対象領域の補正デプス値として算出する、
請求項４に記載の画像処理装置。
【請求項7】
入力画像に含まれる複数の画素それぞれのデプス計算での対象画素の影響の大きさを示す寄与率を算出する寄与率演算ステップと、複数の画素それぞれのデプス計算において前記対象画素の前記寄与率が大きい画素ほど前記対象画素のデプス値の計算への寄与が大きくなるように前記対象画素のデプス値を再計算することで、前記対象画素のデプス値を補正する補正ステップと、
前記デプス計算により得られるデプス画像と、前記補正ステップでのデプス値の補正により得られる補正デプス画像と、をαブレンディングするための係数を算出する演算ステップと、を有し、
前記対象画素は、前記デプス値の補正対象となる画素であり、
前記演算ステップでは、エッジから離れた場所にある画素の係数ほど大きな値となるよう前記係数を算出する、
画像処理方法。
【請求項8】
入力画像に含まれる複数の領域それぞれのデプス計算での対象領域の影響の大きさを示す寄与率を算出する寄与率演算ステップと、
複数の領域それぞれのデプス計算において前記対象領域の前記寄与率が大きい領域ほど前記対象領域のデプス値の計算への寄与が大きくなるように前記対象領域のデプス値を再計算することで、前記対象領域のデプス値を補正する補正ステップと、
前記デプス計算により得られるデプス画像と、前記補正ステップでのデプス値の補正により得られる補正デプス画像と、をαブレンディングするための係数を算出する演算ステップと、を有し、
前記対象領域は、前記デプス値の補正対象となる領域であり、
前記演算ステップでは、エッジから離れた場所にある領域の係数ほど大きな値となるよう前記係数を算出する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、及び画像処理方法に関する。
【背景技術】
【0002】
ステレオ画像や像面位相差画素からデプス値を算出する技術が知られている。デプス値は、例えば、撮像装置から被写体までの距離である。デプス値の算出にステレオ画像を使用するのであれば、画像処理装置は、例えば、ステレオ画像として入力される基準画像と参照画像との視差量を算出し、算出した視差量を基に三角測量の原理で対象までの距離を算出する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００４－１３９２１９号公報
【文献】特開２０１７－２７１０１号公報
【文献】国際公開第２０１３／１４５５５４号
【非特許文献】
【0004】
【文献】Jonathan T Barron and Ben Poole, “The fast bilateral solver”, In European Conference on Computer Vision (ECCV), pages 617-632, Springer International Publishing, 2016
【文献】E.S.L.Gastal and M.M.Oliveira, “Domain transform for edge-aware image and video processing”, ACM Transactions on Graphics, vol.30, no.4, 2011
【文献】J.Sun, N.Zheng, and H.Y.Shum, “Stereo matching using belief propagation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.25, no.7, pp.787-800, 2003
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の方法では、場合によって、精度の高いデプス値或いはデプス画像が得られない恐れがある。例えば、ステレオ画像や像面位相差画素を使ったデプス値の算出方法の場合、１画素のデプス値の算出に、デプス値の算出対象となる画素の周囲にある複数画素の値を使用する。しかしながら、この方法では、複数画素が同一距離にあるとの仮定の下でデプス値を算出しているため、複数画素の中に異なる距離の画素が混じっている場合に、精度の高いデプス値が算出されない恐れがある。
【0006】
そこで、本開示では、精度の高いデプス値或いはデプス画像を取得可能な画像処理装置、及び画像処理方法を提案する。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本開示に係る一形態の画像処理装置は、入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出する寄与率演算部と、前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する補正部と、を備える。
【図面の簡単な説明】
【0008】
【図1】ステレオ画像の一例を示す図である。
【図3】擬似デプスが発生した様子を示す図である。
【図4A】縦×横が３×３のテンプレート画像である。
【図4B】縦×横が７×７のテンプレート画像である。
【図5】１４×１４画素に１組の像面位相差画素のペアを配置した例である。
【図6】本実施形態で示す方法により補正された補正デプス画像を示す図である。
【図7】実施形態１に係る画像処理装置の構成例を示す図である。
【図8】視差演算部の構成例を示す図である。
【図9】デプス補正部の構成例を示す図である。
【図10】デプス補正部に入力される入力信号とデプス補正部から出力される補正デプス画像の例を示す図である。
【図11】実施形態１に係るデプス補正処理を示すフローチャートである。
【図12】デプス再配置を説明するための説明図である。
【図13A】寄与率を説明するための図である。
【図13B】寄与率を説明するための図である。
【図13C】寄与率を説明するための図である。
【図13D】寄与率を説明するための図である。
【図13E】寄与率を説明するための図である。
【図13F】寄与率を説明するための図である。
【図13G】寄与率を説明するための図である。
【図13H】寄与率を説明するための図である。
【図13I】寄与率を説明するための図である。
【図14】デプス画像とそのデプス画像を補正した補正デプス画像を示す図である。
【図15】デプス補正部の構成例を示す図である。
【図16】実施形態２に係るデプス補正処理を示すフローチャートである。
【図17】補正部が補正デプス画像を更新する様子を示す図である。
【図18】補正デプス画像に生じる問題を説明するための図である。
【図19】実施形態３に係るデプス補正処理を示すフローチャートである。
【図20】補正部が位相補正画像を生成する様子を示す図である。
【図21A】寄与率を説明するための図である。
【図21B】寄与率を説明するための図である。
【図21C】寄与率を説明するための図である。
【図21D】寄与率を説明するための図である。
【図21E】寄与率を説明するための図である。
【図21F】寄与率を説明するための図である。
【図21G】寄与率を説明するための図である。
【図21H】寄与率を説明するための図である。
【図21I】寄与率を説明するための図である。
【図22】デプス画像とそのデプス画像を補正した位相補正画像を示す図である。
【図23】デプス再配置画像の一部とその部分に対応する位相補正画像の一部を示す図である。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0010】
以下に示す項目順序に従って本開示を説明する。
１．はじめに
２．実施形態１
２－１．画像処理装置の構成
２－２．画像処理装置の動作
３．実施形態２（補正強度に基づく補正）
３－１．画像処理装置の構成
３－２．画像処理装置の動作
４．実施形態３（偏在度に基づく補正強度の算出）
４－１．画像処理装置の構成
４－２．画像処理装置の動作
５．変形例
６．むすび
１．はじめに
２．実施形態１
２－１．画像処理装置の構成
２－２．画像処理装置の動作
３．実施形態２（補正強度に基づく補正）
３－１．画像処理装置の構成
３－２．画像処理装置の動作
４．実施形態３（偏在度に基づく補正強度の算出）
４－１．画像処理装置の構成
４－２．画像処理装置の動作
５．変形例
６．むすび
【0011】
＜＜１．はじめに＞＞
本実施形態の画像処理装置１０は、ステレオ画像処理におけるステレオ画像、或いは像面位相差ＡＦ（Image Plane Phase Detection Autofocus）における位相差検出信号（像面位相差画素）に基づいて、デプス画像を生成（或いはデプス値を算出）する装置である。本実施形態の画像処理装置１０は、ステレオ画像或いは位相差検出信号（像面位相差画素）に基づいて生成したデプス画像或いはデプス値を、デプス値の計算（以下、デプス計算という。）での各画素の寄与率を用いて補正することで、デプス計算の際に生じた疑似デプスを補正する。これにより、デプス画像を用いた前景、背景抽出やリフォーカシング処理などのアプリケーションの高精度化を実現できる。
本実施形態の画像処理装置１０は、ステレオ画像処理におけるステレオ画像、或いは像面位相差ＡＦ（Image Plane Phase Detection Autofocus）における位相差検出信号（像面位相差画素）に基づいて、デプス画像を生成（或いはデプス値を算出）する装置である。本実施形態の画像処理装置１０は、ステレオ画像或いは位相差検出信号（像面位相差画素）に基づいて生成したデプス画像或いはデプス値を、デプス値の計算（以下、デプス計算という。）での各画素の寄与率を用いて補正することで、デプス計算の際に生じた疑似デプスを補正する。これにより、デプス画像を用いた前景、背景抽出やリフォーカシング処理などのアプリケーションの高精度化を実現できる。
【0012】
本実施形態で説明する技術（以下、本技術という。）は、テンプレートマッチングなどに代表される画像信号の比較に基づき演算した出力結果を補正する技術である。より具体的には、本技術は、出力結果の計算に使用した画像信号の出力値が均一でない場合に、装置が誤って推定した出力結果を補正する技術である。そのため、本技術には、画像信号の比較から出力を計算するコンピュータビジョン分野の様々なタスクに広く適用可能な利点がある。本技術は、デプス推定以外にも、オプティカルフロー推定や、物体検出・追跡などの様々なタスクの出力結果の補正に利用可能である。
【0013】
以下、本実施形態の画像処理装置１０の詳細な説明に入る前に、本実施形態の概要を述べる。
【0014】
ステレオ画像処理に代表される撮影画像から距離を求める手法は、撮影画像と距離推定結果であるデプス画像との位置合わせが不要なことや、カメラ以外の追加のハードウェアが不要なことから、コンピュータビジョン分野で広く用いられている。
【0015】
図１は、ステレオ画像の一例を示す図である。ステレオ画像処理の場合、画像処理装置は、ステレオ画像として入力された基準画像と参照画像との視差量を計算し、計算した視差量を基に三角測量の原理で対象までの距離を計算する。
【0016】
視差量の計算には、密に対応付けが可能な利点から、テンプレートマッチング（ブロックマッチング）が古くから用いられている。例えば、画像処理装置は、デプス値の計算対象となる画素（以下、対象画素という。）の周辺の画像をテンプレート画像（図１に示す基準画像のテンプレート画像）とし、そのテンプレート画像に対応する画像領域（図１に示す参照画像のテンプレート画像）を参照画像の中から探索する。
【0017】
しかしながら、テンプレートマッチングで対応付けの指標とする評価値計算は、テンプレート画像内の画素が同一距離であるとの仮定の下で行われるため、テンプレート画像の対象画素と対象画素以外の領域（周辺画素）とが異なる距離である場合にデプス計算が破綻する。
【0018】
図２は、図１の示す基準画像の一部範囲の拡大図である。具体的には、図２は、図１の示す基準画像の範囲Ａ１の拡大図である。例えば、図２に示すように、画像特徴量が豊富なテクスチャ領域と画像特徴量があまり豊富でない平坦領域とが奥行き方向で異なる距離にあるとする。図２の例では、熊のぬいぐるみの左手がテクスチャ領域であり、熊のぬいぐるみの背後の壁が平坦領域である。両者は奥行き方向で離間している。
【0019】
ここで、対象画素が平坦領域にあり、その周辺画素の一部がテクスチャ領域にあるとする。このような場合、評価値計算の過程で、周辺画素の画像特徴がデプス決定に影響するため、平坦領域にある対象画素位置のデプスが、テクスチャ領域のデプスと誤推定される。そうなると、本来のデプスとは異なる疑似デプスが対象画素位置のデプスとして割り当てられる現象が発生する。
【0020】
図３は、擬似デプスが発生した様子を示す図である。図３の例では、本来、熊のぬいぐるみの背後の壁に位置するはずの対象画素のデプスが、熊のぬいぐるみの左手のデプスと誤推定されていることが分かる。図３の例では、本来、その先端がラインＬ１上にあるはずの左手が、ラインＬ２にまで広がっている。
【0021】
以上、擬似デプスが発生原理について簡単に述べたが、以下、テンプレートマッチングにおける、疑似デプスの発生範囲とテンプレート画像サイズとの関係を説明する。
【0022】
図４Ａは、縦×横が３×３のテンプレート画像である。また、図４Ｂは、縦×横が７×７のテンプレート画像である。図中の１つのセルが１画素である。図４Ａに示したテンプレート画像は、例えば、ベイヤー配列されたＲ、Ｇ、Ｂの３×３の画素群で構成される。また、図４Ｂに示したテンプレート画像は、例えば、ベイヤー配列されたＲ、Ｇ、Ｂの７×７の画素群で構成される。
【0023】
テンプレートマッチングにより、テンプレート画像の各画素位置のデプスをテンプレート画像中心の対象画素でのデプスとして割り振る場合を考える。この場合、テンプレート画像の周囲画素のデプスを、対象画素に誤って割り振った場合に位相ズレが最大となる。この発生し得る位相ズレの最大値を疑似デプスの発生範囲とすると、疑似デプスの発生範囲は、床関数を用いて以下の式（１）のように記述できる。
【数1】
【0024】
【0025】
なお、擬似デプスは、ステレオ画像に基づく距離推定（デプス計算）のみならず、像面位相差画素に基づく距離推定（デプス計算）でも同様に発生する。以下、像面位相差画素に基づく距離推定で発生する疑似デプスの発生範囲について説明する。
【0026】
カメラのフォーカス合わせ等で用いられる距離推定として、近年、像面位相差画素を用いた距離推定が広く採用されている。像面位相差画素を用いた距離推定が広く採用される理由としては、ミラー構造を排除したコンパクトな設計が可能な点が一例として挙げられる。本距離推定では、例えば、イメージセンサ上の画素の左右をそれぞれ遮蔽した像面位相差画素のペアの配列から得られる信号を、ステレオマッチングの基準画像と参照画像のテンプレート画像とみなして距離を決定する。異なる距離にフォーカスした際の信号組の対応付けが、ステレオマッチングの視差探索に相当し、像面位相差画素もペア信号の配列群が最も一致した距離を被写体の距離とする。なお、像面位相差画素のペアは、左右それぞれを遮蔽した画素のペアに限定されず、例えば、左右対称位置にスリットを設けた画素のペアであってもよい。
【0027】
像面位相差画素は、イメージセンサ上に離散的に配置されため、像面位相差画素を用いた距離推定では、ステレオマッチングでの距離推定時よりも疑似デプスが拡大する特性がある。図５は、１４×１４画素に１組の像面位相差画素のペアを配置した例である。図中の１つのセルが１画素である。図５の例では、図中の１つのセルは、例えば、ベイヤー配列されたＲ、Ｇ、Ｂのいずれかの画素である。理解を容易にするため、像面位相差画素のペアの中心画素位置を信号検出位置とする。この場合、画像処理装置は、像面位相差画素を用いた距離検出では、図５の太枠の範囲内の画素のデプスを、誤って対象画素に割り振る可能性がある。つまり、Ｔ×Ｔの範囲に１組配置した像面位相差画素のペアを、Ｒ×Ｒ組用いてデプスを計算する場合、疑似デプスの発生範囲は以下の式（２）のように記述できる。
【数2】
【0028】
これを解決する手法として、例えば以下の（Ｍ１）と（Ｍ２）に示した手法が想定され得る。
【0029】
（Ｍ１）撮影画像を参照画像とした平滑化や最適化を用いたデプス補正手法
例えば、デプス画像の補正に、撮影画像の信号の類似度を利用したフィルタを用いる手法や、マルコフ確率場（Markov Random Field）を仮定した最適化手法を用いる手法が想定される。前述のフィルタを用いた手法として、例えば、ジョイントバイラテラルフィルタ（例えば、特許文献１）やそれを高速化した手法（例えば、非特許文献１）、及び、ドメイントランスフォームフィルタを用いた手法（非特許文献２）がある。また、マルコフ確率場を用いた手法に、グラフカットを用いた手法（特許文献２）や確率伝播法（Belief Propagation）を用いた手法（非特許文献３）がある。
例えば、デプス画像の補正に、撮影画像の信号の類似度を利用したフィルタを用いる手法や、マルコフ確率場（Markov Random Field）を仮定した最適化手法を用いる手法が想定される。前述のフィルタを用いた手法として、例えば、ジョイントバイラテラルフィルタ（例えば、特許文献１）やそれを高速化した手法（例えば、非特許文献１）、及び、ドメイントランスフォームフィルタを用いた手法（非特許文献２）がある。また、マルコフ確率場を用いた手法に、グラフカットを用いた手法（特許文献２）や確率伝播法（Belief Propagation）を用いた手法（非特許文献３）がある。
【0030】
しかし、いずれの手法も、参照する撮影画像の画像構造に沿ってデプスの境界が再配置される効果があるものも、誤推定したデプスをもとに平滑化、最適化されるため、正しいデプスが得られないと想定される。特に、高ノイズ環境下でのデプス推定や、位相差画素間隔の広い位相差画素情報を用いたデプス推定では、テンプレート画像のサイズを広く設定する傾向があり、誤推定領域が広域化することから、本課題が顕著になると想定される。
【0031】
（Ｍ２）デプスの信頼度を用いたデプス補正手法
例えば、前述の撮影画像の信号の類似度を利用したフィルタリングや加重平均によりデプスを補正する際に、撮影画像から計算した特徴量に加えて、出力したデプスの信頼度を重みとして利用することで、補正の高精度化を図る手法（例えば、特許文献３）が想定される。デプスを決定した際のテンプレートマッチングの評価値や撮影画像のエッジ勾配などの画像特徴量をデプスの信頼度として用いることで、信頼度が高く安定したデプスを用いた高精度な補正が実現すると想定される。しかし、信頼度に評価値を利用した場合も、テンプレート画像が平坦領域で構成されている場合よりも、補正対象とするテンプレート画像に平坦領域とテクスチャ領域が混在している誤推定領域での信頼度が高いことが想定されるため、本実施形態がターゲットとするテンプレートマッチングにより生じた誤推定デプスを補正することができないと想定される。
例えば、前述の撮影画像の信号の類似度を利用したフィルタリングや加重平均によりデプスを補正する際に、撮影画像から計算した特徴量に加えて、出力したデプスの信頼度を重みとして利用することで、補正の高精度化を図る手法（例えば、特許文献３）が想定される。デプスを決定した際のテンプレートマッチングの評価値や撮影画像のエッジ勾配などの画像特徴量をデプスの信頼度として用いることで、信頼度が高く安定したデプスを用いた高精度な補正が実現すると想定される。しかし、信頼度に評価値を利用した場合も、テンプレート画像が平坦領域で構成されている場合よりも、補正対象とするテンプレート画像に平坦領域とテクスチャ領域が混在している誤推定領域での信頼度が高いことが想定されるため、本実施形態がターゲットとするテンプレートマッチングにより生じた誤推定デプスを補正することができないと想定される。
【0032】
そこで、本実施形態の画像処理装置１０は、以下の処理を実行する。
【0033】
例えば、画像処理装置１０は、テンプレートマッチングなどに代表される画像信号の比較により計算した出力結果を対象に、テンプレート画像内に異なる出力値が期待される領域が混在する場合に発生する誤推定結果を補正する。例えば、ステレオ画像処理の場合は、画像処理装置１０は、テンプレート画像内に異なる距離にある画素が混在するケースで発生する疑似デプスを補正する。例えば、画像処理装置１０は、テンプレート画像内に、異なる距離にあるテクスチャ領域と平坦領域が存在する場合に、平坦領域で誤推定された疑似デプスを補正する。
【0034】
具体的には、画像処理装置１０は、以下の処理を実行する。
【0035】
例えば、画像処理装置１０は、テンプレートマッチングで発生した疑似デプスを補正するために、対象画素のデプスを計算した際のテンプレート画像内の各画素の影響度を示す寄与率を計算する。そして、画像処理装置１０は、計算した寄与率に基づき、対象画素のデプスをテンプレート画像内の各画素に分配する。
【0036】
これにより、テンプレート画像内の画素でデプス計算に寄与した画素にデプスが再配置され、疑似デプスが低減される。図６は、本実施形態で示す方法により補正された補正デプス画像を示す図である。上述の図３の例で、ラインＬ２にまで広がっていた熊のぬいぐるみの左手のデプスが、図６の例では、本来あるべきラインＬ１にまで後退していることが分かる。図３と図６とを比較すれば分かるように、本実施形態で示す方法を使用することにより、疑似デプスの低減が実現される。
【0037】
＜＜２．実施形態１＞＞
以上、本実施形態の概要を述べたが、以下、実施形態１に係る画像処理装置１０について詳細に説明する。
以上、本実施形態の概要を述べたが、以下、実施形態１に係る画像処理装置１０について詳細に説明する。
【0038】
なお、以下の説明では、画像処理装置１０はステレオ画像に基づいてデプス値を算出するものとするが、勿論、画像処理装置１０は、像面位相差画素に基づいてデプス値を算出してもよい。
【0039】
また、以下の説明では、理解を容易にするため、画像処理装置１０は入力画像（例えば、撮像画像）の各画素のデプス値を算出するものとする。このとき、デプス値の算出対象となる対象画素は、撮像された輝度画像の各画素であってもよいし、イメージセンサに離散的に配置された各像面位相差画素であってもよい。
【0040】
なお、画像処理装置１０は、各画素のデプス値ではなく、入力画像の所定の領域のデプス値を算出してもよい。例えば、画像処理装置１０は、像面位相差画素のペア１つが代表する領域（例えば、図５の例では、１４×１４画素の領域）をデプス値の算出対象としてもよい。この変形は、像面位相差画素に基づいてデプス値を算出する場合のみならず、ステレオ画像に基づいてデプス値を算出する場合にも適用可能である。デプス値の算出対象を画素ではなく領域とする場合、以下の説明で登場する「画素」の記載は適宜「領域」に置き換える。
【0041】
＜２－１．画像処理装置の構成＞
最初に、実施形態１の画像処理装置１０の構成を説明する。
最初に、実施形態１の画像処理装置１０の構成を説明する。
【0042】
図７は、実施形態１に係る画像処理装置１０の構成例を示す図である。画像処理装置１０は、画像の処理機能を備えた装置である。画像処理装置１０の具体例としては、例えば、携帯電話、スマートデバイス（スマートフォン、又はタブレット）、カメラ（例えば、デジタルスチルカメラ、デジタルビデオカメラ）ＰＤＡ（Personal Digital Assistant）、及びパーソナルコンピュータが挙げられる。なお、画像処理装置１０は、カーナビゲーション装置、ヘッドアップディスプレイ、ナビゲーションディスプレイ、Ｍ２Ｍ（Machine to Machine）デバイス、又はＩｏＴ（Internet of Things）デバイスであってもよい。画像処理装置１０はこれらの装置に搭載される装置（例えば、画像処理プロセッサ）であってもよい。
【0043】
また、画像処理装置１０は、移動体に搭載される装置であってもよい。このとき、画像処理装置１０は、移動体の操縦（運転）をサポートするシステム（例えば、自動ブレーキシステム（衝突回避システム、衝突被害軽減システム、又は自動停止システムともいう。）、危険検知システム、追従システム、カーナビケーションシステム等）の一部を構成する装置であってもよいし、移動体の自律走行を制御するシステム（例えば、自動運転システム）の一部を構成する装置であってもよい。勿論、画像処理装置１０は、単に、移動体の走行を制御するシステムの一部を構成する装置であってもよい。なお、画像処理装置１０は、移動体の操縦（運転）をサポートするシステムそのものであってもよいし、移動体の自律走行を制御するシステムそのものであってもよい。勿論、画像処理装置１０は、移動体の走行を制御するシステムそのものであってもよい。また、画像処理装置１０は、移動体そのものであってもよい。
【0044】
ここで、移動体は、陸上（狭義の地上）を移動する移動体（例えば、自動車、自転車、バス、トラック、自動二輪車、列車、リニアモーターカー等の車両）であってもよいし、地中（例えば、トンネル内）を移動する移動体（例えば、地下鉄）であってもよい。また、移動体は、水上を移動する移動体（例えば、旅客船、貨物船、ホバークラフト等の船舶）であってもよいし、水中を移動する移動体（例えば、潜水艇、潜水艦、無人潜水機等の潜水船）であってもよい。また、移動体は、大気圏内を移動する移動体（例えば、飛行機、飛行船、ドローン等の航空機）であってもよいし、大気圏外を移動する移動体（例えば、人工衛星、宇宙船、宇宙ステーション、探査機等の人工天体）であってもよい。
【0045】
なお、航空機という概念には、飛行機、グライダー等の重航空機のみならず、気球、飛行船等の軽航空機も含まれる。また、航空機という概念には、重航空機や軽航空機のみならず、ヘリコプターやオートジャイロ等の回転翼機も含まれる。なお、航空機局装置（又は、航空機局装置が搭載される航空機）は、ドローン等の無人航空機であってもよい。
【0046】
なお、画像処理装置１０は、移動体の走行をサポートするシステムの一部又は全部を構成する装置移動体の自律走行を制御するシステムに限らず、例えば、測量や監視を目的とするシステムの一部又は全部を構成する装置であってもよい。
【0047】
画像処理装置１０は、図７に示すように、入出力部１１と、撮像部１２と、記憶部１３と、制御部１４と、を備える。なお、図７に示した構成は機能的な構成であり、ハードウェア構成はこれとは異なっていてもよい。また、画像処理装置１０の機能は、複数の物理的に分離された装置に分散して実装されてもよい。
【0048】
入出力部１１は、ユーザと情報をやりとりするためのユーザインタフェースである。例えば、入出力部１１は、キーボード、マウス、操作キー、タッチパネル等、ユーザが各種操作を行うための操作装置である。又は、入出力部１１は、液晶ディスプレイ（Liquid Crystal Display）、有機ＥＬディスプレイ(Organic Electroluminescence Display)等の表示装置である。入出力部１１は、スピーカー、ブザー等の音響装置であってもよい。また、入出力部１１は、ＬＥＤ（Light Emitting Diode）ランプ等の点灯装置であってもよい。入出力部１１は、画像処理装置１０の入出力手段（入力手段、出力手段、操作手段又は通知手段）として機能する。
【0049】
入出力部１１は、他の装置と通信するための通信インタフェースであってもよい。このとき、入出力部１１は、ネットワークインタフェースであってもよいし、機器接続インタフェースであってもよい。例えば、入出力部１１は、ＮＩＣ（Network Interface Card）等のＬＡＮ（Local Area Network）インタフェースであってもよいし、ＵＳＢ（Universal Serial Bus）ホストコントローラ、ＵＳＢポート等により構成されるＵＳＢインタフェースであってもよい。なお、入出力部１１は、有線インタフェースであってもよいし、無線インタフェースであってもよい。入出力部１１は、画像処理装置１０の通信手段として機能する。入出力部１１は、制御部１４の制御に従って他の装置と通信する。
【0050】
撮像部１２は、物体を撮像するイメージセンサを備えたカメラである。撮像部１２は、静止画が撮像可能なカメラであってもよいし、動画が撮像可能なカメラであってもよい。撮像部１２は、例えば、ステレオカメラである。なお、撮像部１２は、単眼カメラであってもよい。撮像部１２は、像面位相差画素が離散的に埋め込まれたイメージセンサを有していてもよい。撮像部１２は、画像処理装置１０の撮像手段として機能する。
【0051】
記憶部１３は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスク等のデータ読み書き可能な記憶装置である。記憶部１３は、画像処理装置１０の記憶手段として機能する。記憶部１３には、例えば、撮像部１２で撮像された画像（例えば、輝度画像）や、後述の視差演算部１４２等で生成されたデプス画像が格納される。
【0052】
制御部１４は、画像処理装置１０の各部を制御するコントローラ（Controller）である。制御部１４は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサにより実現される。制御部１４は、制御部１４の外部にある後述のデプス補正処理を実行するイメージプロセッサを制御するよう構成されていてもよいし、自身がデプス補正処理を実行可能に構成されていてよい。制御部１４の機能は、例えば、画像処理装置１０内部の記憶装置に記憶されている各種プログラムを、プロセッサがＲＡＭ（Random Access Memory）等を作業領域として実行することにより実現される。なお、制御部１４は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。ＣＰＵ、ＭＰＵ、ＡＳＩＣ、及びＦＰＧＡは何れもコントローラとみなすことができる。
【0053】
制御部１４は、取得部１４１と、視差演算部１４２と、デプス補正部１４３と、出力制御部１４４と、を備える。制御部１４を構成する各ブロック（取得部１４１～出力制御部１４４）はそれぞれ制御部１４の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア（マイクロプログラムを含む。）で実現される１つのソフトウェアモジュールであってもよいし、半導体チップ（ダイ）上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、制御部１４は上述の機能ブロックとは異なる機能単位で構成されていてもよい。
【0054】
デプス画像の生成は、視差演算部１４２で行われ、デプス画像の補正はデプス補正部１４３で行われる。以下、視差演算部１４２及びデプス補正部１４３それぞれが有する機能を、機能ブロック図を使って説明する。なお、視差演算部１４２及びデプス補正部１４３が備える機能ブロックは、ソフトウェアで実現される１つのソフトウェアモジュールであってもよいし、半導体チップ上の１つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ１つのプロセッサ又は１つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、視差演算部１４２及びデプス補正部１４３は以下に示す機能ブロックとは異なる機能単位で構成されていてもよい。
【0055】
［視差演算部］
視差演算部１４２は、撮像画像の各画素（或いは各領域）のデプス値を計算（以下、デプス計算という。）するとともに、デプス値に基づきデプス画像を生成する。図８は、視差演算部１４２の構成例を示す図である。視差演算部１４２は、テンプレート画像決定部１４２ａと、評価値演算部１４２ｂと、視差決定部１４２ｃと、を備える。テンプレート画像決定部１４２ａは、記憶部１３から撮像画像を取得する。撮像画像は、取得部１４１が撮像部１２から取得したものであってもよいし、取得部１４１が入出力部１１を介して外部の装置から取得したものであってもよい。そして、テンプレート画像決定部１４２ａは、評価値の算出範囲を決定する。そして、評価値演算部１４２ｂは評価値を算出する。そして、視差決定部１４２ｃは、評価値に基づいてデプス画像を生成する。なお、視差演算部１４２は、従来の方法でデプス画像を生成してもよいし、従来とは異なる方法でデプス画像を生成してもよい。
視差演算部１４２は、撮像画像の各画素（或いは各領域）のデプス値を計算（以下、デプス計算という。）するとともに、デプス値に基づきデプス画像を生成する。図８は、視差演算部１４２の構成例を示す図である。視差演算部１４２は、テンプレート画像決定部１４２ａと、評価値演算部１４２ｂと、視差決定部１４２ｃと、を備える。テンプレート画像決定部１４２ａは、記憶部１３から撮像画像を取得する。撮像画像は、取得部１４１が撮像部１２から取得したものであってもよいし、取得部１４１が入出力部１１を介して外部の装置から取得したものであってもよい。そして、テンプレート画像決定部１４２ａは、評価値の算出範囲を決定する。そして、評価値演算部１４２ｂは評価値を算出する。そして、視差決定部１４２ｃは、評価値に基づいてデプス画像を生成する。なお、視差演算部１４２は、従来の方法でデプス画像を生成してもよいし、従来とは異なる方法でデプス画像を生成してもよい。
【0056】
［デプス補正部］
デプス補正部１４３は、視差演算部１４２が生成したデプス画像を補正し、補正デプス画像を生成する。このとき、デプス補正部１４３は、視差演算部１４２が算出したデプス値を補正することにより、補正デプス値を算出する。そして、デプス補正部１４３は、補正デプス値に基づいて補正デプス画像を生成する。
デプス補正部１４３は、視差演算部１４２が生成したデプス画像を補正し、補正デプス画像を生成する。このとき、デプス補正部１４３は、視差演算部１４２が算出したデプス値を補正することにより、補正デプス値を算出する。そして、デプス補正部１４３は、補正デプス値に基づいて補正デプス画像を生成する。
【0057】
図９は、デプス補正部１４３の構成例を示す図である。デプス補正部１４３は、寄与率演算部１４３ａと、補正部１４３ｂと、を備える。寄与率演算部１４３ａは、記憶部１３から撮像画像を取得するとともに、当該撮像画像に対応するデプス画像を取得する。デプス画像は視差演算部１４２が生成したものであってもよいし、取得部１４１が入出力部１１を介して外部の装置から取得したものであってもよい。そして、寄与率演算部１４３ａは、入力画像（撮像画像）に含まれる複数の画素（或いは複数の領域）それぞれのデプス計算での対象画素（或いは対象領域）の寄与率を算出する。そして、補正部１４３ｂは、寄与率演算部１４３ａが算出した寄与率に基づいて対象画素（或いは対象領域）のデプス値を補正する。そして、補正部１４３ｂは、補正デプス値に基づいて補正デプス画像を生成する。
【0058】
＜２－２．画像処理装置の動作＞
次に、実施形態１の画像処理装置１０の動作について説明する。
次に、実施形態１の画像処理装置１０の動作について説明する。
【0059】
画像処理装置１０はデプス画像を補正するデプス補正処理を実行する。デプス補正処理は画像処理装置１０のデプス補正部１４３で実行される。図１０は、デプス補正部１４３に入力される入力信号とデプス補正部１４３から出力される補正デプス画像の例を示す図である。図１０の例では、デプス補正部１４３には入力信号として撮像画像とその撮像画像に対応するデプス画像が入力されている。デプス画像は、視差演算部１４２がデプス計算により生成したものであってもよい。そして、デプス補正部１４３は、補正デプス画像としてデプス再配置画像を出力する。
【0060】
以下、実施形態１のデプス補正処理について詳しく説明する。図１１は、実施形態１に係るデプス補正処理を示すフローチャートである。上述したように、デプス補正処理はデプス補正部１４３で実行される。デプス補正部１４３は、例えば、デプス画像及び撮像画像が入力されると、デプス補正処理を開始する。なお、以下に示す処理は、一部又は全てがソフトウェア（プログラム）で実現されてもよいし、ハードウェア回路で実現されてもよい。以下では、ステレオ画像処理の場合を例に説明するが、本実施形態の適用はステレオ画像処理に限定されない。
【0061】
まず、デプス補正部１４３の寄与率演算部１４３ａは、デプス画像及び撮像画像を取得する（ステップＳ１０１）。撮影画像には、基準画像と参照画像とが含まれていてもよい。なお、視差演算部１４２ではなく、寄与率演算部１４３ａが、本ステップで、テンプレートマッチングにより対象画素ｉのデプスを決定してもよい。勿論、視差演算部１４２が対象画素ｉのデプスを決定してもよい。対象画素ｉは、デプス値の計算対象となる画素であり、例えば、基準画像に含まれる複数の画素のうちのｉ番目の画素である。寄与率演算部１４３ａは、基準画像と参照画像の少なくとも一方の画像に基づき寄与率を算出する。
【0062】
そして、寄与率演算部１４３ａは、撮像画像に含まれる複数の画素それぞれのデプス計算での対象画素の寄与率を算出する（ステップＳ１０２）。寄与率演算部は、撮像画像に含まれる複数の画素それぞれの特徴量に基づいて対象画素の寄与率を算出する。寄与率演算部１４３ａは、基準画像と参照画像の少なくとも一方の画像に基づき寄与率を算出してもよい。
【0063】
特徴量は、画像の特徴を示すものであり、図２の画像を例に説明すると、例えば、平坦領域にある画素の特徴量は小さな値となり、テクスチャ領域にある画素の特徴量は大きな値となる。勿論、特徴量の特徴はこの例に限定されない。例えば、特徴量は、画像中のエッジ部分にある画素ほど特徴量が大きくなるようなものであってもよい。寄与率演算部１４３ａは、基準画像と参照画像の少なくとも一方の画像に基づき特徴量を算出してもよい。
【0064】
特徴量は例えばエッジ強度である。このとき、寄与率演算部１４３ａは、対象画素ｉを含む所定の範囲の複数の画素（例えば、対象画素及び対象画素に隣接する８つの画素）それぞれのエッジ強度に基づいて、対象画素の寄与率を算出してもよい。例えば、寄与率演算部１４３ａは、対象画素ｉでデプス値を決定した際に使用したテンプレート画像（例えば、対象画素ｉを含む基準画像の所定の範囲）での各画素ｊのエッジの強度を計算し、エッジの強度に応じて寄与率Ｒｉ，ｊを算出する。ここで、寄与率Ｒｉ，ｊは、対象画素ｉのデプス値の決定における画素ｊの寄与率を示す。例えば、寄与率演算部１４３ａは、以下の式（３）により寄与率Ｒｉ，ｊを算出する。
【数3】
【0065】
式（３）において、Ｉｊは、画素ｊのエッジ強度である。エッジ強度は、例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ、１次微分フィルタ、ラプラシアンフィルタ、Ｃａｎｎｙ法を用いて算出された強度であってもよいし、これらをステレオのエピポーラ線に対して垂直方向に計算した強度であってもよい。エッジ強度の算出方法はこれらに限定されず、既知の様々な方法を採用可能である。勿論、寄与率演算部１４３ａは、独自のエッジ算出方法を使用してエッジ強度を算出してもよい。
【0066】
寄与率演算部１４３ａは、全ての対象画素ｉについて、対象画素ｉ自身が関与した画素（以下、画素ｊとする。）のデプス値決定における寄与率を算出する。なお、画素ｊのデプス値決定における対象画素ｉの寄与率は、式（３）に示すＲｉ，ｊのｉとｊが入れ替わってＲｊ，ｉとなるので注意を要する。なお、寄与率算出のための所定の範囲の大きさ及び形状は、縦×横が３×３の大きさ及び形状に限られない。所定の範囲の大きさ及び形状は、後述のステップＳ１０３の処理に合わせ適宜変更可能である。
【0067】
次に、補正部１４３ｂは、寄与率とデプス画像に基づいて、全ての対象画素ｉについて補正デプス値を算出する。そして、補正部１４３ｂは、補正デプス値に基づいて補正デプス画像（デプス再配置画像）を生成する（ステップＳ１０３）。
【0068】
ここで、補正部１４３ｂは、対象画素ｉのデプス値Ｙｉを補正した補正デプス値Ｙｉ′を、以下の式（４）により算出してもよい。補正デプス値Ｙｉ′により構成される画像が補正デプス画像（デプス再配置画像）となる。
【数4】
【0069】
図１２は、デプス再配置を説明するための説明図である。式（４）において、Ｎは、テンプレート画像Ｔ１中の画素のうち、対象画素ｉのデプス値の計算に関与する画素ｊ（対象画素ｉを含む。）の数を示す。また、Ｙｊは、画素ｊ（ｊ∈Ｎ）のデプス値を示す。図１２の例では、対象画素ｉを中心とした３×３の範囲（図１２に示すテンプレート画像Ｔ２）の画素により対象画素ｉのデプス値を算出する。そのため、図１２の例では、Ｎは９である。
【0070】
なお、図１２に示すテンプレート画像Ｔ２は、テンプレート画像Ｔ１中に位置するテンプレート画像Ｔ１よりも小さな範囲の画像であり、その画素数はＭである。テンプレート画像Ｔ２が上述の寄与率計算における所定の範囲となる。図１２の例では、テンプレート画像Ｔ２は３×３の大きさ及び形状の画像であるので、Ｍは９である。なお、テンプレート画像Ｔ２の大きさ及び形状は図１２に示した大きさ及び形状に限定されない。Ｍは必ずしも９でなくてもよい。テンプレート画像Ｔ２のみならず、テンプレート画像Ｔ１の大きさと形状も任意に変更可能である。Ｎも必ずしも９でなくもよい。
【0071】
なお、式（４）において、寄与率Ｒｊ，ｉは、画素ｊのデプス値Ｙｊ決定における画素ｉの寄与率を示す。理解を容易にするため、寄与率Ｒｊ，ｉについて図１３Ａ～図１３Ｉを用いて説明する。図１３Ａ～図１３Ｉは、寄与率Ｒｊ，ｉを説明するための図である。なお、ｊの値と画素ｊの位置との対応関係は、必ずしも図１３Ａ～図１３Ｉに示す関係でなくてもよい。
【0072】
図１３Ａは、ｊが１のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが１のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ１，ｉとなる。
【0073】
図１３Ｂは、ｊが２のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが２のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ２，ｉとなる。
【0074】
図１３Ｃは、ｊが３のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが３のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ３，ｉとなる。
【0075】
図１３Ｄは、ｊが４のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが４のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ４，ｉとなる。
【0076】
図１３Ｅは、ｊが５のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが５のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ５，ｉとなる。
【0077】
図１３Ｆは、ｊが６のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが６のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ６，ｉとなる。
【0078】
図１３Ｇは、ｊが７のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが７のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ７，ｉとなる。
【0079】
図１３Ｈは、ｊが８のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが８のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ８，ｉとなる。
【0080】
図１３Ｉは、ｊが９のときの寄与率Ｒｊ，ｉを説明するための図である。ｊが９のとき、画素ｊのデプス値Ｙｊは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、デプス値Ｙｊ決定における画素ｉの寄与率はＲ９，ｉとなる。
【0081】
補正部１４３ｂは、対象画素ｉの補正デプス値Ｙｉ′を寄与率Ｒｊ，ｉに基づいて算出する。より具体的には、補正部１４３ｂは、上述の式（４）に示すように、対象画素ｉの補正デプス値Ｙｉ′を、寄与率Ｒｊ，ｉを重みとしたＮ個の画素ｊ（対象画素ｉを含む。）の重み付き平均に基づき算出する。
【0082】
なお、対象画素ｉの補正デプス値Ｙｉ′の算出方法は上記の方法に限定されない。例えば、補正部１４３ｂは、以下の式（５）に示すように、対象画素ｉの補正デプス値Ｙｉ′を、寄与率Ｒｊ，ｉを重みとしたＮ個の画素ｊ（対象画素ｉを含む。）の重み付きメディアンに基づき算出してもよい。
【数5】
【0083】
全ての対象画素ｉについての補正デプス値Ｙｉ′の算出が完了したら、補正部１４３ｂは、補正デプス値Ｙｉ′に基づいて補正デプス画像（デプス再配置画像）を生成する。図１４は、デプス画像とそのデプス画像を補正した補正デプス画像を示す図である。画像処理装置１０の出力制御部１４４は、入出力部１１を制御して、補正デプス画像を出力する。補正デプス画像の出力が完了したら、補正部１４３ｂはデプス補正処理を完了する。
【0084】
本実施形態によれば、画像処理装置１０は、撮像画像に含まれる複数の画素ｊそれぞれのデプス計算での対象画素ｉの寄与率に基づいて対象画素ｉのデプス値を補正している。これにより、対象画素ｉのデプス値の計算に当たり、対象画素ｉ自身の寄与率が高かった場合（例えば、対象画素ｉがテクスチャ領域にある場合）は、対象画素ｉのデプス値が維持される。一方で、対象画素ｉのデプス値の計算に当たり、対象画素ｉの寄与率が低かった場合（例えば、対象画素ｉがテクスチャ領域の近くの平坦領域にある場合）は、デプス値の計算に当たり対象画素ｉの寄与率が高かった周辺の他の画素のデプス値を引き継ぐ方向に値が補正される。この結果、画像処理装置１０は、擬似デプスの少ない精度の高いデプス画像（補正デプス画像）を生成できる。
【0085】
＜＜３．実施形態２（補正強度に基づく補正）＞＞
次に、実施形態２の画像処理装置１０について説明する。
次に、実施形態２の画像処理装置１０について説明する。
【0086】
アプリケーションに応じて位相補正画像の平滑度を制御するために、画像構造に合わせて再配置による補正強度を領域制御する手法を提案する。提案する再配置技術は、被写体境界領域での位相補正効果に加えて、非被写体境界領域での再配置によるデノイズ効果があるが、この平滑化効果によりデプス画像がぼける弊害がある。例えば、実施形態１で示す方法を使用すれば、擬似デプスを軽減できるが、図１４を見れば分かるように、出力される補正デプス画像が全体的にぼやけた画像となる場合がある。そこで、位相回復効果が見込まれる被写体領域に処理を限定することで、前述のデプスのぼけを抑制する手法を提案する。
【0087】
例えば、実施形態２では、画像処理装置１０は、補正強度（補正強度画像）を算出し、算出した補正強度（補正強度画像）を用いて補正デプス値の補正を制御することにより出力ボケを軽減する。ここで、補正強度画像は、各画素の補正強度を画像化したものである。補正強度は、例えば、デプス画像と補正デプス画像（デプス再配置画像）を合成する際の、画素ごとの合成の重みを示す値である。デプス画像のままの方がよい箇所（画素）では補正強度が高くなり、補正デプス画像の方がよい箇所（画素）では補正強度が低くなる。実施形態２の画像処理装置１０は、補正強度を使って、デプス画像と補正デプス画像の合成を制御することにより出力ボケを軽減する。補正強度については後に詳しく述べる。
【0088】
＜３－１．画像処理装置の構成＞
最初に、実施形態２の画像処理装置１０の構成を説明する。実施形態２の画像処理装置１０の構成は、図７及び図８に示した実施形態１の画像処理装置１０と同様であるが、デプス補正部１４３の構成が、一部、実施形態１のデプス補正部１４３とは異なる。
最初に、実施形態２の画像処理装置１０の構成を説明する。実施形態２の画像処理装置１０の構成は、図７及び図８に示した実施形態１の画像処理装置１０と同様であるが、デプス補正部１４３の構成が、一部、実施形態１のデプス補正部１４３とは異なる。
【0089】
実施形態２のデプス補正部１４３は、実施形態１のデプス補正部１４３と同様に、視差演算部１４２が生成したデプス画像を補正し、補正デプス画像を生成する。このとき、デプス補正部１４３は、視差演算部１４２が算出したデプス値を補正することにより、補正デプス値を算出する。そして、デプス補正部１４３は、補正デプス値に基づいて補正デプス画像（デプス再配置画像）を生成する。さらに、デプス補正部１４３は、補正強度に基づいて補正デプス画像（デプス再配置画像）を更新することにより、更新された補正デプス画像を取得する。「更新された補正デプス画像」は補正デプス画像の一種である。
【0090】
図１５は、デプス補正部１４３の構成例を示す図である。デプス補正部１４３は、寄与率演算部１４３ａと、補正部１４３ｂと、補正強度演算部１４３ｃと、を備える。補正強度演算部１４３ｃは、記憶部１３から撮像画像を取得するとともに、当該撮像画像に対応するデプス画像を取得する。デプス画像は視差演算部１４２が生成したものであってもよいし、取得部１４１が入出力部１１を介して外部の装置から取得したものであってもよい。補正強度演算部１４３ｃは、撮像画像に基づいて補正強度を算出する。補正強度の算出方法は後に詳しく述べる。
【0091】
そして、寄与率演算部１４３ａは、入力画像（撮像画像）に含まれる複数の画素（或いは複数の領域）それぞれのデプス計算での対象画素（或いは対象領域）の寄与率を算出する。そして、補正部１４３ｂは、寄与率演算部１４３ａが算出した寄与率に基づいて対象画素（或いは対象領域）のデプス値を補正する。そして、補正部１４３ｂは、補正デプス値に基づいて補正デプス画像（デプス再配置画像）を生成する。さらに、補正部１４３ｂは、補正強度に基づいて補正デプス画像（デプス再配置画像）を更新することにより、更新された補正デプス画像を取得する。
【0092】
デプス補正部１４３以外の構成は、実施形態１の画像処理装置１０と同様である。
【0093】
＜３－２．画像処理装置の動作＞
次に、実施形態２の画像処理装置１０の動作について説明する。
次に、実施形態２の画像処理装置１０の動作について説明する。
【0094】
画像処理装置１０はデプス画像を補正するデプス補正処理を実行する。図１６は、実施形態２に係るデプス補正処理を示すフローチャートである。図１６に示すデプス補正処理は画像処理装置１０のデプス補正部１４３で実行される。
【0095】
上述したように、デプス補正部１４３は、補正強度を算出する補正強度演算部１４３ｃを備える。デプス補正部１４３の補正部１４３ｂは、補正強度演算部１４３ｃが算出した補正強度に基づいて補正デプス画像（デプス再配置画像）を更新することにより、更新された補正デプス画像を取得する。図１７は、補正部１４３ｂが補正デプス画像を更新する様子を示す図である。図１７の例では、補正部１４３ｂは、デプス画像とデプス再配置画像とを補正強度を使ってαブレンドすることにより、更新された補正デプス画像（位相補正画像）を取得する。本実施形態では、補正強度は、デプス画像とデプス再配置画像とαブレンディングするための係数となる。
【0096】
以下、図１６のフローチャートを参照しながら、実施形態２のデプス補正処理について説明する。デプス補正部１４３は、例えば、デプス画像及び撮像画像が入力されると、デプス補正処理を開始する。なお、以下に示す処理は、一部又は全てがソフトウェア（プログラム）で実現されてもよいし、ハードウェア回路で実現されてもよい。以下では、ステレオ画像処理の場合を例に説明するが、本実施形態の適用はステレオ画像処理に限定されない。
【0097】
まず、デプス補正部１４３の補正強度演算部１４３ｃは、デプス画像及び撮像画像を取得する（ステップＳ２０１）。撮影画像には、基準画像と参照画像とが含まれていてもよい。
【0098】
そして、補正強度演算部１４３ｃは、撮像画像に基づいて対象画素ｉの補正強度Ｗｉを算出する（ステップＳ２０２）。例えば、補正強度演算部１４３ｃは、対象画素ｉの特徴量に基づき補正強度Ｗｉを算出する。特徴量は例えばエッジ強度である。例えば、対象画素ｉのエッジ強度に基づき補正強度Ｗｉを算出する。例えば、補正強度演算部１４３ｃは、以下の式（６）により補正強度Ｗｉを算出する。
【数6】
【0099】
ここで、Ｉｉ′は、対象画素ｉのエッジ強度Ｉｉを０から１の間に正規化したエッジ強度である。エッジ強度Ｉｉ′の算出元となるエッジ強度Ｉｉは、例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ、１次微分フィルタ、ラプラシアンフィルタ、Ｃａｎｎｙ法を用いて算出された強度であってもよいし、これらをステレオのエピポーラ線に対して垂直方向に計算した強度であってもよい。エッジ強度Ｉｉの算出方法はこれらに限定されず、既知の様々な方法を採用可能である。勿論、補正強度演算部１４３ｃは、独自のエッジ算出方法を使用してエッジ強度Ｉｉを算出してもよい。
【0100】
式（６）に示す補正強度Ｗｉは、対象画素ｉがエッジ上にある場合は小さな値となり、対象画素ｉがエッジから離れた場所にある場合は大きな値となる。補正強度Ｗｉを使ってデプス画像と補正デプス画像（デプス再配置画像）を合成することにより、画像処理装置１０は、補正デプス画像を、よりシャープな画像とすることができる。補正強度演算部１４３ｃは、全ての対象画素ｉについて補正強度Ｗｉを算出する。このとき、算出した補正強度に基づき補正強度画像を生成してもよい。補正強度画像は、各画素の補正強度を画像化したものである。
【0101】
続いて、寄与率演算部１４３ａは、撮像画像に含まれる複数の画素それぞれのデプス計算での対象画素の寄与率を算出する（ステップＳ２０３）。そして、補正部１４３ｂは、寄与率とデプス画像に基づいて、全ての対象画素ｉについて補正デプス値を算出する。そして、補正部１４３ｂは、補正デプス値に基づいて補正デプス画像（デプス再配置画像）を生成する（ステップＳ２０４）。ステップＳ２０３とステップＳ２０４の処理は、実施形態１のステップＳ１０２とステップＳ１０３の処理と同じであってもよい。
【0102】
次に、補正部１４３ｂは、補正デプス画像を補正強度画像とデプス画像を用いて更新する（ステップＳ２０５）。例えば、補正部１４３ｂは、デプス画像と補正デプス画像を、補正強度画像を用いてαブレンディングすることにより補正デプス画像を更新する。ここで、補正デプス画像中の対象画素ｉの補正デプス値をＹｉ′とすると、この補正デプス値Ｙｉ′の更新結果である補正デプス値Ｙｉ″は、例えば、以下の式（７）により算出可能である。
【数7】
【0103】
全ての対象画素ｉについての補正デプス値Ｙｉ”の算出が完了したら、補正部１４３ｂは、補正デプス値Ｙｉ”に基づいて、補正デプス画像を更新する。画像処理装置１０の出力制御部１４４は、入出力部１１を制御して、更新された補正デプス画像を出力する。更新された補正デプス画像の出力が完了したら、補正部１４３ｂはデプス補正処理を完了する。
【0104】
なお、補正部１４３ｂは、ステップＳ２０４で生成した補正デプス画像（デプス再配置画像）を一度バッファに展開してからデプス画像とブレンドしてもよいし、補正デプス画像（デプス再配置画像）をバッファ展開することなく、ダイレクトに、デプス画像に補正デプス値Ｙｉ″を適用してもよい。
【0105】
本実施形態によれば、画像処理装置１０は補正強度に基づいて補正デプス画像（デプス再配置画像）を更新しているので、シャープな補正デプス画像を生成できる。
【0106】
＜＜４．実施形態３（偏在度に基づく補正強度の算出）＞＞
次に、実施形態３の画像処理装置１０について説明する。
次に、実施形態３の画像処理装置１０について説明する。
【0107】
実施形態１で示す方法を使用すれば、擬似デプスを軽減できる。しかしながら、図１４を見れば分かるように、実施形態１で示す方法を使用した場合、出力される補正デプス画像が全体的にぼやけた画像となる場合がある。また、前景デプスの一部が削れる現象が起きる場合もある。
【0108】
図１８は、補正デプス画像に生じる問題を説明するための図である。図１８を見れば分かるように、熊のぬいぐるみの頭の一部が削れているのが分かる。この原因は、２重エッジにて前景デプス（真）が引っ張られ、背景デプス（偽）が侵入したためと考えられる。２重エッジとは、例えば、テンプレート画像Ｔ２に異なるエッジが入りこんだ状態のことをいう。例えば、テンプレート画像Ｔ２に上下或いは左右２本のエッジが走った状態のことをいう。
【0109】
そこで、実施形態３では、画像処理装置１０は、テンプレート画像Ｔ２内の特徴量の偏り（偏在度）に基づいて補正強度Ｗｉを算出する。このとき、画像処理装置１０は、テンプレート画像Ｔ２内の特徴量が偏っている場合（例えば、テンプレート画像Ｔ２内にエッジが一本しか走っていない場合）には補正強度Ｗｉを強め、テンプレート画像Ｔ２内の特徴量が偏っていない場合（例えば、テンプレート画像Ｔ２内にエッジが複数走っている場合やエッジがない場合）には補正強度Ｗｉを弱める。実施形態３の画像処理装置１０は、このように算出された補正強度を使ってデプス画像と補正デプス画像の合成を制御することにより２重エッジでのエラーを軽減する。
【0110】
＜４－１．画像処理装置の構成＞
最初に、実施形態３の画像処理装置１０の構成を説明する。実施形態３の画像処理装置１０の構成は、実施形態２の画像処理装置１０と同様であるが、デプス補正部１４３の機能が、一部、実施形態２のデプス補正部１４３とは異なる。
最初に、実施形態３の画像処理装置１０の構成を説明する。実施形態３の画像処理装置１０の構成は、実施形態２の画像処理装置１０と同様であるが、デプス補正部１４３の機能が、一部、実施形態２のデプス補正部１４３とは異なる。
【0111】
実施形態３のデプス補正部１４３は、図１５に示した実施形態２のデプス補正部１４３と同様に、寄与率演算部１４３ａと、補正部１４３ｂと、補正強度演算部１４３ｃと、を備える。補正強度演算部１４３ｃは、記憶部１３から撮像画像を取得するとともに、当該撮像画像に対応するデプス画像を取得する。デプス画像は視差演算部１４２が生成したものであってもよいし、取得部１４１が入出力部１１を介して外部の装置から取得したものであってもよい。補正強度演算部１４３ｃは、撮像画像に基づいて補正強度を算出する。補正強度の算出方法は後に詳しく述べる。
【0112】
そして、寄与率演算部１４３ａは、入力画像（撮像画像）に含まれる複数の画素（或いは複数の領域）それぞれのデプス計算での対象画素（或いは対象領域）の寄与率を算出する。そして、補正部１４３ｂは、寄与率演算部１４３ａが算出した寄与率に基づいて対象画素（或いは対象領域）のデプス値を補正する。そして、補正部１４３ｂは、補正デプス値に基づいてデプス再配置画像（補正デプス画像）を生成する。さらに、補正部１４３ｂは、補正強度に基づいてデプス再配置画像（補正デプス画像）を更新することにより、位相補正画像（更新された補正デプス画像）を生成する。位相補正画像は、補正デプス画像の一種である。
【0113】
デプス補正部１４３以外の構成は、実施形態２の画像処理装置１０と同様である。
【0114】
＜４－２．画像処理装置の動作＞
次に、実施形態３の画像処理装置１０の動作について説明する。
次に、実施形態３の画像処理装置１０の動作について説明する。
【0115】
画像処理装置１０はデプス画像を補正するデプス補正処理を実行する。図１９は、実施形態３に係るデプス補正処理を示すフローチャートである。図１９に示すデプス補正処理は画像処理装置１０のデプス補正部１４３で実行される。
【0116】
上述したように、デプス補正部１４３は、補正強度を算出する補正強度演算部１４３ｃを備える。デプス補正部１４３の補正部１４３ｂは、補正強度演算部１４３ｃが算出した補正強度に基づいてデプス再配置画像（補正デプス画像）を更新することにより、位相補正画像（更新された補正デプス画像）を生成する。
【0117】
図２０は、補正部１４３ｂが位相補正画像を生成する様子を示す図である。図２０の例では、補正部１４３ｂは、撮像画像の勾配マップ（エッジ画像）に基づいて位相補正マップを生成する。実施形態３では、この位相補正マップが補正強度画像となる。補正部１４３ｂは、デプス画像とデプス再配置画像とを補正強度（補正強度画像）を使ってαブレンドすることにより、位相補正画像を生成する。本実施形態では、補正強度は、デプス画像とデプス再配置画像とαブレンディングするための係数となる。
【0118】
以下、図１９のフローチャートを参照しながら、実施形態３のデプス補正処理について説明する。デプス補正部１４３は、例えば、デプス画像及び撮像画像が入力されると、デプス補正処理を開始する。なお、以下に示す処理は、一部又は全てがソフトウェア（プログラム）で実現されてもよいし、ハードウェア回路で実現されてもよい。以下では、ステレオ画像処理の場合を例に説明するが、本実施形態の適用はステレオ画像処理に限定されない。
【0119】
まず、デプス補正部１４３の補正強度演算部１４３ｃは、デプス画像及び撮像画像を取得する（ステップＳ３０１）。撮影画像には、基準画像と参照画像とが含まれていてもよい。
【0120】
そして、補正強度演算部１４３ｃは、撮像画像に基づいて対象画素ｉの補正強度Ｗｉを算出する（ステップＳ３０２）。例えば、補正強度演算部１４３ｃは、「対象画素ｉの特徴量」と「対象画素ｉのデプス計算に使用したテンプレート画像Ｔ２内の特徴量の偏り（偏在度）」とに基づき補正強度Ｗｉを算出する。「対象画素ｉの特徴量」は例えば対象画素ｉのエッジ強度Ｉｉである。また、「対象画素ｉのデプス計算に使用したテンプレート画像Ｔ２内の特徴量の偏り（偏在度）」は、対象画素ｉのデプス計算に使用したテンプレート画像Ｔ２内のエッジの偏りＤｉである。エッジの偏りＤｉは、例えば、以下の式（８）により算出可能である。
【数8】
【0121】
ここで、Ｍは、実施形態１に示したＭと同様である。すなわち、Ｍは、テンプレート画像Ｔ２の画素数である。図１２の例であれば、Ｍは９である。
【0122】
また、（ｘｊ，ｙｊ）は、対象画素ｉのテンプレート画像Ｔ２内の画素ｊの、対象画素ｉを中心とした相対位置を示す。また、寄与率Ｒｉ，ｊは、画素ｉのデプス値Ｙｉ決定における画素ｊの寄与率を示す。理解を容易にするため、寄与率Ｒｉ，ｊについて図２１Ａ～図２１Ｉを用いて説明する。図２１Ａ～図２１Ｉは、寄与率Ｒｉ，ｊを説明するための図である。なお、ｊの値と画素ｊの位置との対応関係は、必ずしも図２１Ａ～図２１Ｉに示す関係でなくてもよい。
【0123】
図２１Ａは、ｊが１のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ａの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（－１，１）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，１となる。
【0124】
図２１Ｂは、ｊが２のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｂの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（０，１）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，２となる。
【0125】
図２１Ｃは、ｊが３のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｃの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（１，１）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，３となる。
【0126】
図２１Ｄは、ｊが４のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｄの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（－１，０）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，４となる。
【0127】
図２１Ｅは、ｊが５のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｅの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（０，０）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，５となる。
【0128】
図２１Ｆは、ｊが６のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｆの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（１，０）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，６となる。
【0129】
図２１Ｇは、ｊが７のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｇの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（－１，－１）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，７となる。
【0130】
図２１Ｈは、ｊが８のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｈの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（０，－１）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，８となる。
【0131】
図２１Ｉは、ｊが９のときの寄与率Ｒｉ，ｊを説明するための図である。図２１Ｉの例では、画素ｉのデプス値Ｙｉは、図中のグレーで示したテンプレート画像Ｔ２の９つの画素により決定される。この例では、画素ｊの相対位置（ｘｊ，ｙｊ）は（１，－１）であり、デプス値Ｙｉ決定における画素ｊの寄与率はＲｉ，９となる。
【0132】
補正強度演算部１４３ｃは、対象画素ｉのエッジ強度と上記エッジの偏りＤｉに基づき補正強度Ｗｉを算出する。例えば、補正強度演算部１４３ｃは、以下の式（９）により補正強度Ｗｉを算出する。
【数9】
【0133】
ここで、Ｉｉ′は、対象画素ｉのエッジ強度Ｉｉを０から１の間に正規化したエッジ強度である。エッジ強度Ｉｉ′の算出元となるエッジ強度Ｉｉは、例えば、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタ、１次微分フィルタ、ラプラシアンフィルタ、Ｃａｎｎｙ法を用いて算出された強度であってもよいし、これらをステレオのエピポーラ線に対して垂直方向に計算した強度であってもよい。エッジ強度Ｉｉの算出方法はこれらに限定されず、既知の様々な方法を採用可能である。勿論、補正強度演算部１４３ｃは、独自のエッジ算出方法を使用してエッジ強度Ｉｉを算出してもよい。
【0134】
式（９）に示す補正強度Ｗｉは、対象画素ｉのデプス値Ｙｉを決定する際のテンプレート画像Ｔ２内の特徴量が偏っていた場合に大きな値となり、テンプレート画像Ｔ２内の特徴量が偏っていない場合（例えば、２重エッジの場合やエッジがない場合）に小さな値となる。補正強度Ｗｉを使ってデプス画像と補正デプス画像（デプス再配置画像）を合成することにより、画像処理装置１０は、補正デプス画像を、エラーの少ない精度の高いものとすることができる。補正強度演算部１４３ｃは、全ての対象画素ｉについて補正強度Ｗｉを算出する。このとき、算出した補正強度に基づき補正強度画像を生成してもよい。
【0135】
続いて、寄与率演算部１４３ａは、撮像画像に含まれる複数の画素それぞれのデプス計算での対象画素の寄与率を算出する（ステップＳ３０３）。そして、補正部１４３ｂは、寄与率とデプス画像に基づいて、全ての対象画素ｉについて補正デプス値を算出する。そして、補正部１４３ｂは、補正デプス値に基づいて補正デプス画像（デプス再配置画像）を生成する（ステップＳ３０４）。ステップＳ２０３とステップＳ２０４の処理は、実施形態１のステップＳ１０２とステップＳ１０３の処理と同じであってもよい。
【0136】
次に、補正部１４３ｂは、補正デプス画像を補正強度画像とデプス画像を用いて更新する（ステップＳ３０５）。例えば、補正部１４３ｂは、デプス画像と補正デプス画像を、補正強度画像を用いてαブレンディングすることにより補正デプス画像を更新する。ここで、補正デプス画像中の対象画素ｉの補正デプス値をＹｉ′とすると、この補正デプス値Ｙｉ′の更新結果である補正デプス値Ｙｉ″は、上述の式（７）により算出可能である。
【0137】
全ての対象画素ｉについての補正デプス値Ｙｉ″の算出が完了したら、補正部１４３ｂは、補正デプス値Ｙｉ″に基づいて、補正デプス画像を更新する。図２２は、デプス画像とそのデプス画像を補正した位相補正画像を示す図である。画像処理装置１０の出力制御部１４４は、入出力部１１を制御して、位相補正画像を出力する。位相補正画像の出力が完了したら、補正部１４３ｂはデプス補正処理を完了する。
【0138】
なお、補正部１４３ｂは、ステップＳ３０４で生成した補正デプス画像（デプス再配置画像）を一度バッファに展開してからデプス画像とブレンドしてもよいし、補正デプス画像（デプス再配置画像）をバッファ展開することなく、ダイレクトに、デプス画像に補正デプス値Ｙｉ″を適用してもよい。
【0139】
本実施形態によれば、画像処理装置１０は二重エッジ等の原因によるエラーの少ない補正デプス画像を生成できる。図２３は、デプス再配置画像の一部とその部分に対応する位相補正画像の一部を示す図である。図２３を見れば分かるように、デプス再配置画像では、頭の一部が削れていたものが、位相補正画像では改善されているのが分かる。しかも、左手部分に擬似デプスは発生しておらず、擬似デプス軽減効果は維持されているのが分かる。しかも、画像がシャープになっており、出力ボケも軽減されているのが分かる。
【0140】
＜＜５．変形例＞＞
上述の各実施形態はそれぞれ一例を示したものであり、種々の変更及び応用が可能である。
上述の各実施形態はそれぞれ一例を示したものであり、種々の変更及び応用が可能である。
【0141】
例えば、上述の各実施形態では、画像処理装置１０は、静止画像を入力としてデプス画像（補正デプス画像）を生成した。しかし、画像処理装置１０は、動画像を入力としてデプス画像（補正デプス画像）を生成してもよい。
【0142】
この場合に、画像処理装置１０は、実施形態２及び３で説明した対象画素ｉの補正強度Ｗｉを、さらに、対象画像とその前後フレームの画像を用いた計算したデプスエッジマップＥを用いて計算してもよい。デプスエッジマップＥの計算には、例えば、Aleksander Holynski and Johannes Kopf, Fast depth densification for occlusion-aware augmented reality, ACM Transactions on Graphics (TOG), Vol. 37, 2018.の手法を用いることが可能である。この場合、画像処理装置１０は、対象画像と前後フレームとの間でオプティカルフローを計算し、計算したオプティカルフローの勾配強度を加算することでデプスエッジマップＥを計算することができる。デプスエッジマップＥを追加で利用することで、画像のエッジから、デプス差を有しているエッジのみを効率的に選択できるようになり、本実施形態の効果を狙った画像領域のみに適用することが可能となるため、補正精度を向上させることが可能となる。
【0143】
上述の各実施形態では、寄与率演算部１４３ａはエッジ強度等の特徴量に基づいて寄与率を算出したが、対象画素ｉを含むテンプレート画像Ｔ２の複数の画素それぞれの特徴量の総和に基づいて寄与率を算出してもよい。
【0144】
また、上述の各実施形態では、寄与率演算部１４３ａはエッジ強度に基づいて寄与率を算出したが、寄与率の算出方法はエッジ強度を使った方法に限定されない。例えば、撮像画像は、基準画像と参照画像を含むステレオ画像であるとする。このとき、寄与率演算部１４３ａは、対象画素ｉを含む基準画像のテンプレート画像（所定の範囲）とそのテンプレート画像に対応する参照画像のテンプレート画像（対応範囲）とのマッチング度合いを示すマッチング評価値を特徴量として寄与率を算出してもよい。
【0145】
本実施形態の画像処理装置１０を制御する制御装置は、専用のコンピュータシステムで実現してもよいし、汎用のコンピュータシステムで実現してもよい。
【0146】
例えば、上述の動作（例えば、デプス補正処理等）を実行するためのプログラムを、光ディスク、半導体メモリ、磁気テープ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に格納して配布する。そして、例えば、該プログラムをコンピュータにインストールし、上述の処理を実行することによって制御装置を構成する。このとき、制御装置は、画像処理装置１０の外部の装置（例えば、パーソナルコンピュータ）であってもよいし、画像処理装置１０の内部の装置（例えば、制御部１４）であってもよい。
【0147】
また、上記通信プログラムをインターネット等のネットワーク上のサーバ装置が備えるディスク装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。また、上述の機能を、ＯＳ（Operating System）とアプリケーションソフトとの協働により実現してもよい。この場合には、ＯＳ以外の部分を媒体に格納して配布してもよいし、ＯＳ以外の部分をサーバ装置に格納しておき、コンピュータにダウンロード等できるようにしてもよい。
【0148】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0149】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0150】
また、上記してきた実施形態は、処理内容を矛盾させない領域で適宜組み合わせることが可能である。また、本実施形態のフローチャートに示された各ステップは、適宜順序を変更することが可能である。
【0151】
また、本実施形態は、装置またはシステムを構成するあらゆる構成、例えば、システムＬＳＩ（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【0152】
なお、本実施形態において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【0153】
また、例えば、本実施形態は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0154】
＜＜６．むすび＞＞
以上説明したように、本開示の一実施形態によれば、テンプレートマッチングなどに代表される画像信号の比較により演算した出力結果を対象に、テンプレート画像内に異なる出力値が期待される領域が混在する場合に発生する誤推定結果を補正することができる。例えば、ステレオ画像処理の場合は、テンプレート画像内に異なる距離にある画素が混在するケースで発生する疑似デプスを補正することができる。具体的には、テンプレート画像内に、異なる距離にあるテクスチャ領域と平坦領域が存在する場合に、平坦領域で誤推定された疑似デプスを補正することができる。
以上説明したように、本開示の一実施形態によれば、テンプレートマッチングなどに代表される画像信号の比較により演算した出力結果を対象に、テンプレート画像内に異なる出力値が期待される領域が混在する場合に発生する誤推定結果を補正することができる。例えば、ステレオ画像処理の場合は、テンプレート画像内に異なる距離にある画素が混在するケースで発生する疑似デプスを補正することができる。具体的には、テンプレート画像内に、異なる距離にあるテクスチャ領域と平坦領域が存在する場合に、平坦領域で誤推定された疑似デプスを補正することができる。
【0155】
本実施形態は、デプス画像を用いた前景・背景抽出、リフォーカシング処理などのアプリケーションへの応用可能である。さらに、本実施形態は、画像信号の比較により演算した出力結果の補正に広く適用可能であり、オプティカルフロー推定や、物体検出などの出力結果を補正することができる。
【0156】
以上、本開示の各実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0157】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0158】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出する寄与率演算部と、
前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する補正部と、を備える、
画像処理装置。
（２）
前記寄与率演算部は、前記所定の画素を含む前記入力画像の所定の範囲の複数の画素それぞれの前記デプス計算での前記所定の画素の寄与率を算出し、
前記補正部は、前記所定の範囲の複数の画素それぞれの前記デプス計算での前記所定の画素の寄与率に基づいて、前記所定の画素の補正デプス値を算出する、
前記（１）に記載の画像処理装置。
（３）
前記補正部は、前記所定の範囲の複数の画素それぞれのデプス計算での前記所定の画素の前記寄与率を重みとした、該複数の画素のデプス値の重み付き平均に基づき、前記所定の画素のデプス値の補正デプス値を算出する、
前記（２）に記載の画像処理装置。
（４）
前記補正部は、前記所定の範囲の複数の画素それぞれのデプス計算での前記所定の画素の前記寄与率を重みとした、該複数の画素のデプス値の重み付きメディアンに基づき、前記所定の画素のデプス値の補正デプス値を算出する、
前記（２）に記載の画像処理装置。
（５）
前記寄与率演算部は、前記所定の領域を含む前記入力画像の所定の範囲の複数の領域それぞれの前記デプス計算での前記所定の領域の寄与率を算出し、
前記補正部は、前記所定の範囲の複数の領域それぞれの前記デプス計算での前記所定の領域の寄与率に基づいて、前記所定の領域の補正デプス値を算出する、
前記（１）に記載の画像処理装置。
（６）
前記補正部は、前記所定の範囲の複数の領域それぞれのデプス計算での前記所定の領域の前記寄与率を重みとした、該複数の領域のデプス値の重み付き平均に基づき、前記所定の領域のデプス値の補正デプス値を算出する、
前記（５）に記載の画像処理装置。
（７）
前記補正部は、前記所定の範囲の複数の領域それぞれのデプス計算での前記所定の領域の前記寄与率を重みとした、該複数の領域のデプス値の重み付きメディアンに基づき、前記所定の領域のデプス値の補正デプス値を算出する、
前記（５）に記載の画像処理装置。
（８）
前記デプス計算により得られるデプス画像、及び、前記補正部のデプス値の補正により得られる補正デプス画像、のうちの一方の画像を、他方の画像に基づき補正するための補正強度を算出する補正強度演算部、を備える、
前記（１）～（７）のいずれか１つに記載の画像処理装置。
（９）
前記補正強度は、前記デプス画像と前記補正デプス画像とをαブレンディングするための係数である、
前記（８）に記載の画像処理装置。
（１０）
前記補正強度演算部は、前記入力画像に含まれる複数の画素それぞれの特徴量に基づいて前記補正強度を算出する、
前記（８）又は（９）に記載の画像処理装置。
（１１）
前記補正強度演算部は、前記所定の画素を含む前記入力画像の所定の範囲内の前記特徴量の偏りに基づいて前記補正強度を算出する、
前記（１０）に記載の画像処理装置。
（１２）
前記補正強度演算部は、前記入力画像に含まれる複数の領域それぞれの特徴量に基づいて前記補正強度を算出する、
前記（８）又は（９）に記載の画像処理装置。
（１３）
前記補正強度演算部は、前記所定の領域を含む前記入力画像の所定の範囲内の前記特徴量の偏りに基づいて前記補正強度を算出する、
前記（１２）に記載の画像処理装置。
（１４）
前記寄与率演算部は、前記入力画像に含まれる前記複数の画素或いは前記複数の領域それぞれの特徴量に基づいて、前記所定の画素或いは前記所定の領域の前記寄与率を算出する、
前記（１）～（１３）のいずれか１つに記載の画像処理装置。
（１５）
前記特徴量はエッジ強度であり、
前記寄与率演算部は、前記所定の画素を含む前記入力画像の所定の範囲の複数の画素それぞれのエッジ強度に基づいて、前記所定の画素の前記寄与率を算出する、
前記（１４）に記載の画像処理装置。
（１６）
前記入力画像は、基準画像とされる第１の画像と参照画像とされる第２の画像とを含むステレオ画像であり、
前記寄与率演算部は、前記第１の画像と前記第２の画像の少なくとも一方の画像に基づいて前記特徴量を算出する、
前記（１４）に記載の画像処理装置。
（１７）
前記寄与率演算部は、前記所定の画素を含む前記入力画像の所定の範囲の複数の画素それぞれの前記特徴量の総和に基づいて前記寄与率を算出する、
前記（１４）に記載の画像処理装置。
（１８）
前記入力画像は、基準画像とされる第１の画像と参照画像とされる第２の画像とを含むステレオ画像であり、
前記寄与率演算部は、前記所定の画素を含む前記第１の画像の所定の範囲と前記所定の範囲に対応する前記第２の画像の対応範囲とのマッチング度合いを示すマッチング評価値を前記特徴量として前記寄与率を算出する、
前記（１４）に記載の画像処理装置。
（１９）
入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出し、
前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する、
画像処理方法。
（２０）
コンピュータを、
入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出する寄与率演算部、
前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する補正部、
として機能させるための推定プログラム。
（１）
入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出する寄与率演算部と、
前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する補正部と、を備える、
画像処理装置。
（２）
前記寄与率演算部は、前記所定の画素を含む前記入力画像の所定の範囲の複数の画素それぞれの前記デプス計算での前記所定の画素の寄与率を算出し、
前記補正部は、前記所定の範囲の複数の画素それぞれの前記デプス計算での前記所定の画素の寄与率に基づいて、前記所定の画素の補正デプス値を算出する、
前記（１）に記載の画像処理装置。
（３）
前記補正部は、前記所定の範囲の複数の画素それぞれのデプス計算での前記所定の画素の前記寄与率を重みとした、該複数の画素のデプス値の重み付き平均に基づき、前記所定の画素のデプス値の補正デプス値を算出する、
前記（２）に記載の画像処理装置。
（４）
前記補正部は、前記所定の範囲の複数の画素それぞれのデプス計算での前記所定の画素の前記寄与率を重みとした、該複数の画素のデプス値の重み付きメディアンに基づき、前記所定の画素のデプス値の補正デプス値を算出する、
前記（２）に記載の画像処理装置。
（５）
前記寄与率演算部は、前記所定の領域を含む前記入力画像の所定の範囲の複数の領域それぞれの前記デプス計算での前記所定の領域の寄与率を算出し、
前記補正部は、前記所定の範囲の複数の領域それぞれの前記デプス計算での前記所定の領域の寄与率に基づいて、前記所定の領域の補正デプス値を算出する、
前記（１）に記載の画像処理装置。
（６）
前記補正部は、前記所定の範囲の複数の領域それぞれのデプス計算での前記所定の領域の前記寄与率を重みとした、該複数の領域のデプス値の重み付き平均に基づき、前記所定の領域のデプス値の補正デプス値を算出する、
前記（５）に記載の画像処理装置。
（７）
前記補正部は、前記所定の範囲の複数の領域それぞれのデプス計算での前記所定の領域の前記寄与率を重みとした、該複数の領域のデプス値の重み付きメディアンに基づき、前記所定の領域のデプス値の補正デプス値を算出する、
前記（５）に記載の画像処理装置。
（８）
前記デプス計算により得られるデプス画像、及び、前記補正部のデプス値の補正により得られる補正デプス画像、のうちの一方の画像を、他方の画像に基づき補正するための補正強度を算出する補正強度演算部、を備える、
前記（１）～（７）のいずれか１つに記載の画像処理装置。
（９）
前記補正強度は、前記デプス画像と前記補正デプス画像とをαブレンディングするための係数である、
前記（８）に記載の画像処理装置。
（１０）
前記補正強度演算部は、前記入力画像に含まれる複数の画素それぞれの特徴量に基づいて前記補正強度を算出する、
前記（８）又は（９）に記載の画像処理装置。
（１１）
前記補正強度演算部は、前記所定の画素を含む前記入力画像の所定の範囲内の前記特徴量の偏りに基づいて前記補正強度を算出する、
前記（１０）に記載の画像処理装置。
（１２）
前記補正強度演算部は、前記入力画像に含まれる複数の領域それぞれの特徴量に基づいて前記補正強度を算出する、
前記（８）又は（９）に記載の画像処理装置。
（１３）
前記補正強度演算部は、前記所定の領域を含む前記入力画像の所定の範囲内の前記特徴量の偏りに基づいて前記補正強度を算出する、
前記（１２）に記載の画像処理装置。
（１４）
前記寄与率演算部は、前記入力画像に含まれる前記複数の画素或いは前記複数の領域それぞれの特徴量に基づいて、前記所定の画素或いは前記所定の領域の前記寄与率を算出する、
前記（１）～（１３）のいずれか１つに記載の画像処理装置。
（１５）
前記特徴量はエッジ強度であり、
前記寄与率演算部は、前記所定の画素を含む前記入力画像の所定の範囲の複数の画素それぞれのエッジ強度に基づいて、前記所定の画素の前記寄与率を算出する、
前記（１４）に記載の画像処理装置。
（１６）
前記入力画像は、基準画像とされる第１の画像と参照画像とされる第２の画像とを含むステレオ画像であり、
前記寄与率演算部は、前記第１の画像と前記第２の画像の少なくとも一方の画像に基づいて前記特徴量を算出する、
前記（１４）に記載の画像処理装置。
（１７）
前記寄与率演算部は、前記所定の画素を含む前記入力画像の所定の範囲の複数の画素それぞれの前記特徴量の総和に基づいて前記寄与率を算出する、
前記（１４）に記載の画像処理装置。
（１８）
前記入力画像は、基準画像とされる第１の画像と参照画像とされる第２の画像とを含むステレオ画像であり、
前記寄与率演算部は、前記所定の画素を含む前記第１の画像の所定の範囲と前記所定の範囲に対応する前記第２の画像の対応範囲とのマッチング度合いを示すマッチング評価値を前記特徴量として前記寄与率を算出する、
前記（１４）に記載の画像処理装置。
（１９）
入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出し、
前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する、
画像処理方法。
（２０）
コンピュータを、
入力画像に含まれる複数の画素或いは複数の領域それぞれのデプス計算での所定の画素或いは所定の領域の寄与率を算出する寄与率演算部、
前記寄与率に基づいて前記所定の画素或いは前記所定の領域のデプス値を補正する補正部、
として機能させるための推定プログラム。
【符号の説明】
【0159】
１０ 画像処理装置
１１ 入出力部
１２ 撮像部
１３ 記憶部
１４ 制御部
１４１ 取得部
１４２ 視差演算部
１４２ａ テンプレート画像決定部
１４２ｂ 評価値演算部
１４２ｃ 視差決定部
１４３ デプス補正部
１４３ａ 寄与率演算部
１４３ｂ 補正部
１４３ｃ 補正強度演算部
１４４ 出力制御部
１１ 入出力部
１２ 撮像部
１３ 記憶部
１４ 制御部
１４１ 取得部
１４２ 視差演算部
１４２ａ テンプレート画像決定部
１４２ｂ 評価値演算部
１４２ｃ 視差決定部
１４３ デプス補正部
１４３ａ 寄与率演算部
１４３ｂ 補正部
１４３ｃ 補正強度演算部
１４４ 出力制御部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図13F】
【図13G】
【図13H】
【図13I】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図21C】
【図21D】
【図21E】
【図21F】
【図21G】
【図21H】
【図21I】
【図22】
【図23】
