特許 6636963 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6636963

(24)【登録日】2019年12月27日

(45)【発行日】2020年1月29日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   G01B 11/245 20060101AFI20200120BHJP

   G06T 1/00 20060101ALI20200120BHJP

   G01C 3/06 20060101ALI20200120BHJP

【ＦＩ】

   G01B11/245 H

   G06T1/00 315

   G01C3/06 110V

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2017-4522(P2017-4522)

(22)【出願日】2017年1月13日

(65)【公開番号】特開2018-112522(P2018-112522A)

(43)【公開日】2018年7月19日

【審査請求日】2018年12月3日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317011920

【氏名又は名称】東芝デバイス＆ストレージ株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】特許業務法人イトーシン国際特許事務所

(72)【発明者】

【氏名】大木 豊

【審査官】 齋藤 卓司

(56)【参考文献】

【文献】 特開２０１３−１１３６００（ＪＰ，Ａ）

【文献】 国際公開第２０１６／２０３９８９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／２４５

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

第１および第２の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第１および前記第２の画像の平行化を行うレクティフィケーション部と、
所定サイズのウインドウを前記第２の画像内でＸ方向に移動させながら、前記第１の画像中の各画素又は各ブロックの一致度を算出することにより、前記第１および前記第２の画像のステレオマッチング処理を行って、前記Ｘ方向に直交するＹ方向におけるｙ視差を算出して出力するマッチング部と、
前記ステレオマッチング処理された前記第１および前記第２の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記ｙ視差を用いて作成するずれ量情報作成部と、
前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第１および前記第２の画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部と、
を有する画像処理装置。

【請求項2】

前記ずれ量情報に基づいて、前記レクティフィケーションの誤差を補正する補正信号を生成するパラメータ補正部を、更に有する請求項１に記載の画像処理装置。

【請求項3】

前記ずれ量情報に基づいて、前記第１および前記第２の画像の平行化を行う前記レクティフィケーション部のパラメータを補正するパラメータ補正部を、更に有する請求項１に記載の画像処理装置。

【請求項4】

第１および第２の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第１および前記第２の画像の平行化を行うレクティフィケーション部と、
所定サイズのウインドウを前記第２の画像内でＸ方向に移動させながら、前記第１の画像中の各画素又は各ブロックの一致度を算出することにより、前記第１および前記第２の画像のステレオマッチング処理を行って、前記Ｘ方向に直交するＹ方向におけるｙ視差を算出して出力するマッチング部と、
前記ステレオマッチング処理において得られた前記第１および前記第２の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記ｙ視差を用いて作成するずれ量情報作成部と、
前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第１および前記第２の画像の平行化を行うレクティフィケーションの誤差を補正するパラメータ補正部と、
を有する画像処理装置。

【請求項5】

カメラにより撮像して得られた第１および第２の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第１および前記第２の画像の平行化のためにレクティフィケーションを行い、
所定サイズのウインドウを前記第２の画像内でＸ方向に移動させながら、前記第１の画像中の各画素又は各ブロックの一致度を算出することにより、前記レクティフィケーションが行われた前記第１および前記第２の画像のステレオマッチング処理を行い、前記Ｘ方向に直交するＹ方向におけるｙ視差を算出し、
前記ステレオマッチング処理において得られた前記第１および前記第２の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記ｙ視差を用いて作成し、
前記ずれ量情報に基づいて、前記レクティフィケーションの誤差の有無を判定する、
画像処理方法。

【請求項6】

カメラにより撮像して得られた第１および第２の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第１および前記第２の画像の平行化のためにレクティフィケーションを行い、
所定サイズのウインドウを前記第２の画像内でＸ方向に移動させながら、前記第１の画像中の各画素又は各ブロックの一致度を算出することにより、前記レクティフィケーションが行われた前記第１および前記第２の画像のステレオマッチング処理を行い、前記Ｘ方向に直交するＹ方向におけるｙ視差を算出し、
前記ステレオマッチング処理において得られた前記第１および前記第２の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記ｙ視差を用いて作成し、
前記ずれ量情報に基づいて、前記レクティフィケーションの誤差を補正する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

従来、２以上のカメラにより取得された複数の画像間において対応する点（以下、対応点という）を求めて、カメラ同士の位置関係と各画像上の対応点の位置から、被写体の３次元位置を計測する技術がある。この技術は、車載用の先進ドライバーアシスタンスシステム、携帯機器、ゲーム機などの様々な分野で利用される。特に、２つのカメラを用いたステレオカメラシステム（以下、ステレオカメラともいう）は、広く利用されている。

【0003】

例えば、エピポーラ拘束条件に従って対応点を探索することにより、探索範囲を一次元に絞れて効率的な対応点の探索ができるため、多くのステレオカメラにおいては、この条件に従って探索が行われる。

【0004】

レクティフィケーション回路は、一方の画像上の点が他方の画像上にあるエピポーラライン等のサーチライン上に存在するように、２つのカメラにより得られた２つの画像を平行化する。レクティフィケーション回路には、２つの画像を平行化させるためのパラメータが与えられる。このパラメータは、例えばステレオカメラの製造時に調整装置等を用いたキャリブレーションにより決定される。

【0005】

しかし、調整装置の治具などの温度特性、振動特性、ステレオカメラの経年変化などにより、パラメータがずれて適切でなくなる場合がある。

【0006】

このようなずれを修正するために、従来は、２つの画像上の特徴点あるいは特徴領域の算出し、対応点ペアから非線形最適化処理等を行う。レクティフィケーションのためのパラメータ誤差の有無の判定に時間が掛かり、結果として、パラメータ誤差の補正処理にも時間が掛かってしまう問題がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００４−３５４２５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

そこで、実施形態は、レクティフィケーションのためのパラメータ誤差の有無の判定あるいはパラメータ誤差の補正のための処理負荷が従来に比べて小さい画像処理装置及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

実施形態の画像処理装置は、第１および第２の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第１および前記第２の画像の平行化を行うレクティフィケーション部と、所定サイズのウインドウを前記第２の画像内でＸ方向に移動させながら、前記第１の画像中の各画素又は各ブロックの一致度を算出することにより、前記第１および前記第２の画像のステレオマッチング処理を行って、前記Ｘ方向に直交するＹ方向におけるｙ視差を算出して出力するマッチング部と、前記ステレオマッチング処理された前記第１および前記第２の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記ｙ視差を用いて作成するずれ量情報作成部と、前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第１および前記第２の画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部と、を有する。

【図面の簡単な説明】

【0010】

【図1】実施形態に係わる画像処理装置のブロック図である。

【図2】実施形態に係わる、２つの画像間の視差を説明するための図である。

【図3】実施形態に係わる、ステレオマッチング処理により得られるｘ視差ｘｐとｙ視差ｙｐを説明するための図である。

【図4】実施形態に係わる誤差マップの例を示す図である。

【図5】実施形態に係わる、画像が反時計回りに回転している画像の例を示す図である。

【図6】実施形態に係わる、ブロック領域毎のずれ量を示す誤差マップの例を示す図である。

【図7】実施形態に係わる、誤差マップに基づく平行化パラメータ情報の更新処理の例を説明するための図である。

【図8】実施形態に係わる、誤差マップに基づく平行化パラメータ情報の更新処理の他の例を説明するための図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して実施形態を説明する。
（構成）
図１は、本実施形態に係わる画像処理装置のブロック図である。

【0012】

画像処理装置１は、２つのカメラ１１、１２からの画像信号を受信するレクティフィケーション部１３と、マッチング部１４と、誤差マップ作成部１５と、平行化パラメータ誤差判定部１６と、パラメータ補正部１７と、記憶部１８とを含む。画像処理装置１は、マッチング部１４等の回路を含む半導体装置である。

【0013】

なお、記憶部１８を、マッチング部１４等を含む半導体装置とは別の半導体装置（例えばＤＲＡＭ）にしてもよい。
さらになお、レクティフィケーション部１３を、マッチング部１４等を含む半導体装置とは別の半導体装置にしてもよい。

【0014】

図１において点線で示すカメラ１１、１２は、ステレオカメラシステムの一部であり、２つの画像からステレオ計測が可能なように互いに離れて配置されている。各カメラ１１，１２は、撮像素子として例えばＣＭＯＳイメージセンサ１１ａ，１２ａを有する。

【0015】

レクティフィケーション部１３は、平行化パラメータ情報ＰＰを保持し、平行化パラメータ情報ＰＰに基づいて画像Ｇ１，Ｇ２の平行化処理を行う回路である。平行化パラメータ情報ＰＰは、レクティフィケーション部１３のレジスタ１３ａに保持される。

【0016】

具体的には、平行化パラメータ情報ＰＰは、ステレオカメラの製造のキャリブレーション時に設定される。レクティフィケーション部１３は、画像Ｇ１，Ｇ２上で、２本のエピポーララインをＸ軸に平行にし、かつ対応するエピポーララインが同一のｙ座標となるように、画像Ｇ１，Ｇ２の両方あるいは一方を修正する。このようなエピポーラ拘束を利用して対応点の探索範囲をエピポーラライン上に限定することにより、処理量の削減と誤マッチングの確率を減らしている。

【0017】

すなわち、レクティフィケーション部１３は、キャリブレーション時に設定された平行化パラメータ情報ＰＰに基づいて、一方の画像上の点が他方の画像上にあるエピポーラライン上に存在するように、画像Ｇ１，Ｇ２の一方あるいは両方に対して平行化処理を行う。平行化パラメータ情報ＰＰは、画像Ｇ１，Ｇ２の一方あるいは両方を回転と平行移動の少なくとも一方を行うための、画素毎あるいはブロック領域毎の補正データからなる。

【0018】

また、レクティフィケーション部１３は、補正信号を用いて、平行化パラメータ情報ＰＰを更新する機能も有している。
レクティフィケーション部１３は、例えば、平行化パラメータ情報ＰＰに応じて、入力画素と出力画素の対応関係を示すテーブルを選択し、そのテーブルを用いて、画像Ｇ１，Ｇ２の両方あるいは一方に対して画像変換を行う。画像変換には、ホモグラフィ変換も含まれる。

【0019】

なお、画像変換は、変換式を用いて行ってもよく、その場合は、変換式中のパラメータが、キャリブレーション情報に基づいて変更される。
さらになお、画像変換処理後に、各画像データに対してフィルタリング処理を行ってもよい。

【0020】

レクティフィケーション部１３は、平行化処理が施された画像Ｇ１ｃ、Ｇ２ｃの画像信号をマッチング部１４へ出力する。
マッチング部１４は、一方の画像上の各画素が、他方の画像上のどの位置にあるかを判定するためのステレオマッチング処理を実行し、視差情報を出力する回路である。すなわち、マッチング部１４は、カメラ１１，１２により撮像して得られた２つの画像のステレオマッチング処理を行う。

【0021】

具体的には、マッチング部１４は、一方の画像上の各画素について、他方の画像上を、複数ラインを含む探索ウインドウを移動させながら、対応画素あるいは対応ブロックとの一致度を算出する。算出された一致度から、マッチング部１４は、各画素のｘ方向の視差情報（以下、ｘ視差という）ｘｐ及びｙ方向の視差情報（以下、ｙ視差という）ｙｐを出力する。ｘ視差ｘｐおよびｙ視差ｙｐは、例えばピクセル数で示される。

【0022】

なお、マッチング部１４は、画素毎の視差情報の変わりに、所定の複数の画素、例えば３行３列の９画素からなるブロック毎の視差情報を出力するようにしてもよい。

【0023】

図２を用いて、ｘ視差及びｙ視差について説明する。図２は、２つの画像間の視差を説明するための図である。
画像Ｇ１ｃは、画像Ｇ１に対して平行化処理された画像であり、画像Ｇ２ｃは、画像Ｇ２に対して平行化処理された画像である。

【0024】

マッチング部１４は、矢印Ａで示すように、所定サイズのブロック（あるいはウインドウ）Ｗを画像Ｇ２ｃ中で、Ｘ方向に移動させ、かつＸ方向の移動が終了すると、次のラインに移ってＸ方向に移動させながら、画像Ｇ１ｃ中の各画素の一致度を算出していくステレオマッチング処理を行う。マッチング部１４は、画像Ｇ１ｃ中の全ての画素に対して、画像Ｇ２ｃ中における一致度を算出する。所定サイズのブロックＷは、ｘ方向およびｙ方向に複数画素分の長さを有し、例えば、ブロックＷは、ｋ×ｍの画素からなる。ｋ、ｍは、正の整数である。よって、マッチング部１４は、他の画像中において、一方の画像中のある画素と、同一のｙ座標を通りｘ軸に平行なラインのみでなく、ブロックＷに含まれる上下の数ラインも走査し、求めた対応点のｘ視差ｘｐとｙ視差ｙｐを算出する。

【0025】

図３は、ステレオマッチング処理により得られるｘ視差ｘｐとｙ視差ｙｐを説明するための図である。
ブロックＷは、ｋ×ｍのブロックであり、ブロックＷ内で、２つの画像の一方における点（画素）の対応点が、ステレオマッチング処理により検出される。図３では、一方の画像における点Ｐ１と、他方の画像における対応点Ｐ２は、斜線で示されている。

【0026】

図３は、対応点Ｐ２が、点Ｐ１に対し、Ｙ方向に「＋１」ピクセル、Ｘ方向に「＋５」ピクセルの位置にあることを示している。図３では、ｘ視差ｘｐが「＋５」であり、ｙ視差ｙｐは「＋１」である。

【0027】

ｙ視差ｙｐは、２つの画像についてのサーチラインとしてのエピポーララインに直交する方向における２つの画像のずれ量を示す。すなわち、ずれ量は、一方の画像中の画素毎の、他方の画像中の対応する画素に対する視差の値である。
なお、ここでは、サーチラインは、Ｘ軸に平行であり、ずれ量は、エピポーララインに直交するＹ軸方向におけるずれ量であるが、サーチラインは、Ｘ軸に平行でなくてもよい。

【0028】

よって、マッチング部１４は、画像Ｇ１ｃ中と画像Ｇ２ｃ中の画素間の一致度を算出し、一致度が高い画素を決定すると共に、決定した画素についてのｘ視差ｘｐとｙ視差ｙｐを算出して出力する。その結果、マッチング部１４から、画像Ｇ１ｃの各画素について、画像Ｇ２ｃにおけるｘ視差ｘｐとｙ視差ｙｐが出力される。

【0029】

例えば、図２に示すように、画像Ｇ１ｃ中の人ＨＰの点Ｐ１は、画像Ｇ２ｃ中の人ＨＰの点Ｐ２とは、Ｘ方向においてｘ視差ｘｐだけ、Ｙ方向においてｙ視差ｙｐだけ、ずれている。

【0030】

マッチング部１４から出力されるｘ視差ｘｐの情報は、距離計測のための他の回路（図示せず）に供給される。正しくキャリブレーションが行われているとき、ｘ視差ｘｐの情報を用いて、各画素の正確な距離情報を得ることができる。

【0031】

以上のように、マッチング部１４は、ブロックＷを用いたステレオマッチング処理において、ｘ視差ｘｐだけでなく、ｙ視差ｙｐも算出するので、そのｙ視差ｙｐを用いて、誤差マップが作成される。

【0032】

ｙ視差ｙｐの情報は、誤差マップ作成部１５に供給される。
誤差マップ作成部１５は、ｙ視差ｙｐを用いて誤差マップを作成する回路である。誤差マップ作成部１５は、作成した誤差マップの情報を平行化パラメータ誤差判定部１６と、パラメータ補正部１７へ出力する。

【0033】

誤差マップＭは、Ｘ−Ｙ平面上において、ｙ視差ｙｐのデータをｘ視差ｘｐの画素位置に配置して作成される。誤差マップＭは、画像Ｇ１ｃ中のライン上の各画素に対する、画像Ｇ２ｃ中のその対応画素の位置（ｘ視差ｘｐ）の、Ｙ方向におけるずれ量、すなわちｙ視差ｙｐ、を示すマップである。

【0034】

図４は、誤差マップの例を示す図である。なお、図４は、分かり易くするために、８×１０画素の誤差マップを示している。図４の誤差マップＭは、ｙ視差ｙｐが「−２」から「＋２」の範囲の値を有している。「−２」は、画像Ｇ２ｃ中の対応点が、Ｙ方向においてマイナス２画素分だけずれた位置、言い換えれば下方向に２画素分だけ下がった位置にあることを示している。

【0035】

「＋１」は、画像Ｇ２ｃ中の対応点が、Ｙ方向においてプラス１画素分だけずれた位置、言い換えれば上方向に１画素分だけ上がった位置にあることを示している。
「０」は、画像Ｇ２ｃ中の対応点が、Ｙ方向においてずれがないことを示している。

【0036】

なお、画像Ｇ１ｃ、Ｇ２ｃの周辺部では、対応点が存在しない画素があるが、その場合は、近傍の画素のｙ視差ｙｐの値を、対応点が存在しない画素のｙ視差ｙｐの値としたり、対応点が存在しないことを示す値で埋めたりするなどの処理が行われる。

【0037】

図４の誤差マップＭでは、右側がプラスの誤差を有し、中央部は誤差を有さず、左側がマイナスの誤差を有している。つまり、画像Ｇ２ｃは、画像Ｇ１ｃに対して反時計方向にずれていることを示している。

【0038】

図５は、画像Ｇ２ｃが反時計方向にずれている画像の例を示す図である。図５では、画像のずれを説明するために、画像Ｇ２ｃ中の人ＨＰが、画像Ｇ２ｃの中心点の回りにずれていることが、誇張して示されている。

【0039】

図示しないが、画像Ｇ２ｃが画像Ｇ１ｃに対して時計方向にずれている場合は、誤差マップＥＭでは、右側がマイナスの誤差を有し、中央部は誤差を有さず、左側がプラス誤差を有する。

【0040】

なお、マッチング部１４が一致度を算出するときに、マッチングの確信度を示す情報を出力する場合は、マッチング確信度を重み係数として、ｙ視差ｙｐの値に乗算して、ｙ視差ｙｐを補正するようにしてもよい。

【0041】

図６は、ブロック領域毎のずれ量を示す誤差マップの例を示す。図６の誤差マップＥＭは、図４の誤差マップＭを、４×６のブロック領域に分けた場合を示している。

【0042】

図６の誤差マップＥＭの場合、図４の誤差マップＭを２４のブロック領域に分割し、各ブロック領域に含まれるｙ視差ｙｐの平均値を算出し、算出された平均値をそのブロック領域のｙ視差ｙｐの値としている。図６において、太字の数字が、各ブロック領域のｙ視差ｙｐを示している。すなわち、ずれ量は、各画像において、複数に分割されたブロック領域内の画素毎のずれ量の統計値（ここでは平均値）である。

【0043】

なお、ここでは、各ブロック領域のｙ視差ｙｐは、各ブロック領域に含まれる複数の画素のｙ視差ｙｐの平均値であるが、他の統計量を用いてもよい。
さらになお、各ブロック領域に重み付けをしてもよい。例えば、画像の周辺部に近いブロック領域程、重みを大きくし、画像の中央部に近いブロック領域の重みは、小さくするような重み付けを、行ってもよい。

【0044】

誤差マップＥＭは、平行化パラメータ誤差判定部１６とパラメータ補正部１７へ供給される。誤差マップＥＭは、サーチラインに直交する方向における２つの画像のずれ量の分布を示す情報である。なお、誤差マップ作成部１５は、誤差マップＥＭを作成せずに、誤差マップＭをそのまま、平行化パラメータ誤差判定部１６とパラメータ補正部１７へ出力してもよい。

【0045】

以上のように、誤差マップ作成部１５は、サーチラインに直交する方向における２つの画像のずれ量を示すずれ量情報を作成するずれ量情報作成部を構成する。

【0046】

平行化パラメータ誤差判定部１６は、誤差マップＥＭに基づいて、平行化の誤差が生じているか否かを判定する回路である。
ここでは、誤差マップＥＭが入力された場合について説明する。所定の閾値ＴＨに基づいて、平行化パラメータ誤差判定部１６は、平行化誤差が発生しているか否かを判定する。閾値ＴＨは、例えば、プラス又はマイナス方向に余分に探索するライン数である。平行化パラメータ誤差判定部１６は、全ブロック領域のｙ視差ｙｐの和を、ブロック領域数で除してｙ視差ｙｐの平均値を算出し、ｙ視差ｙｐの平均値の絶対値が閾値ＴＨ以上であるか否かを判定する。

【0047】

なお、平行化誤差が発生しているか否かの判定は、ｙ視差ｙｐが閾値ＴＨ以上のブロック領域の数が複数あるか否か、周辺部のブロック領域のみについて視差ｙｐが閾値ＴＨ以上のブロック領域の数が複数あるか否か、あるいは画像の四隅のブロック領域のみについて視差ｙｐが閾値ＴＨ以上のブロック領域の数が複数あるか否か、に基づいて、行うようにしてもよい。

【0048】

以上のように、平行化パラメータ誤差判定部１６は、誤差マップＥＭに基づいて、２つの画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部を構成する。

【0049】

平行化パラメータ誤差判定部１６は、平行化誤差が発生していると判定すると、パラメータ補正部１７に、補正指示信号ＣＳを出力する。
さらに、平行化パラメータ誤差判定部１６は、平行化誤差が発生していると判定したときは、誤差マップＥＭを、記憶部１８に書き込む。よって、記憶部１８には、平行化誤差が発生していると判定されたときの誤差マップＥＭが複数記憶される。

【0050】

なお、平行化パラメータ誤差判定部１６は、平行化誤差が発生していると判定したときは、図１において二点鎖線で示すように、画像処理装置１とは別の液晶表示器などの表示部１９に、メッセージ表示などで、ユーザに通知するようにしてもよい。

【0051】

パラメータ補正部１７は、補正指示信号ＣＳを受信すると、誤差マップＥＭを用いて、平行化パラメータ情報ＰＰを補正する補正信号を生成してレクティフィケーション部１３へ出力する。レクティフィケーション部１３は、その補正信号に基づいて、平行化パラメータ情報ＰＰを更新する。補正信号は、誤差マップＥＭに基づいて、２つの画像の少なくとも一つの画像に対する平行化を補正するための信号である。

【0052】

なお、ここでは、パラメータ補正部１７は、補正信号をレクティフィケーション部１３へ出力しているが、補正した平行化パラメータ情報ＰＰをレクティフィケーション部１３に書き込むようにしてもよい。

【0053】

また、パラメータ補正部１７は、誤差マップＥＭに加えて、記憶部１８に記憶された過去の誤差マップＥＭの情報も用いて、平行化パラメータ情報ＰＰを更新するようにしてもよい。

【0054】

過去の誤差マップＥＭも用いることにより、瞬間的なノイズのような大きな誤差により、平行化パラメータ情報ＰＰが補正されるのを防止することができる。例えば、過去の（例えば前回の）誤差マップＥＭと誤差マップ作成部１５からの誤差マップＥＭとの平均値を用いて平行化パラメータ情報ＰＰを更新する。

【0055】

さらになお、記憶部１８に記憶した複数の誤差マップＥＭの時間平均を取ることにより、過去の誤差マップＥＭの平滑化を行ってもよい。
また、記憶部１８に複数の誤差マップＥＭとそれに応じた補正情報とを予め登録して記憶しておく。そして、パラメータ補正部１７は、誤差マップ作成部１５からの誤差マップＥＭに一致あるいは類似する登録誤差マップ情報を抽出し、抽出された登録誤差マップ情報に対応する補正情報を用いて、平行化パラメータ情報ＰＰを更新するようにしてもよい。なお、登録誤差マップ情報の抽出は、誤差の数値の比較を行うことでもよいし、数値の符号のみの比較を行うことでもよい。

【0056】

さらにまた、過去の誤差マップＥＭの情報を利用して、平行化パラメータ情報ＰＰの安定度の評価を行い、平行化パラメータ情報ＰＰが不安定なときは、表示部１９にその旨のメッセージを表示し、ユーザに通知することもできる。

【0057】

ここで、平行化パラメータ情報ＰＰの更新について説明する。
平行化パラメータ情報ＰＰは、２つの画像Ｇ１，Ｇ２の一方あるいは両方を回転と並進移動の少なくとも一方を行うためのブロック領域毎の補正データであり、画像Ｇ１，Ｇ２の一方あるいは両方におけるずれ量を示すデータである。

【0058】

補正指示信号ＣＳを受信したパラメータ補正部１７は、平行化パラメータ情報ＰＰに、誤差マップ作成部１５から受信した誤差マップＥＭの情報を加算することにより、２つの画像Ｇ１，Ｇ２の少なくとも一つにおけるずれ量を更新する。

【0059】

図７は、誤差マップに基づく平行化パラメータ情報の更新処理の例を説明するための図である。なお、図７は、分かり易くするために、４×５からなる複数のブロック領域の場合の誤差マップを示している。

【0060】

図７の平行化パラメータ情報ＰＰは、画像Ｇ１，Ｇ２における一方の画像に対する他方の画像のブロック領域毎のずれ量である。平行化パラメータ情報ＰＰは、調整装置の治具などの温度特性、振動特性などや、ステレオカメラの経年変化などにより、正しい値からずれる場合がある。そこで、図７では、平行化パラメータ情報ＰＰに誤差マップＥＭがブロック領域毎に加算されて、ずれ量が正しい値に調整される。

【0061】

図８は、誤差マップに基づく平行化パラメータ情報の更新処理の他の例を説明するための図である。図８の平行化パラメータ情報ＰＰは、画像Ｇ１，Ｇ２における両方の画像のブロック領域毎のずれ量である。画像Ｇ１についての平行化パラメータ情報ＰＰ１と画像Ｇ２についての平行化パラメータ情報ＰＰ２が、ステレオカメラの製造時に決定されている。

【0062】

そこで、図８では、誤差マップＥＭ中の各ブロック領域の値を１／２にした誤差マップＥＭ１が生成される。そして、平行化パラメータ情報ＰＰ１には、誤差マップＥＭ１が加算され、画像Ｇ２についての平行化パラメータ情報ＰＰ２には、誤差マップＥＭ１が減算されて、ずれ量が正しい値に調整される。

【0063】

なお、ここでは、パラメータ補正部１７は、誤差マップＥＭを用いて、平行化パラメータ情報ＰＰを更新しているが、過去の誤差マップＥＭｐも考慮して、平行化パラメータ情報ＰＰを更新するようにしてもよい。

【0064】

例えば、過去の誤差マップＥＭｐのトレンドから、誤差マップＥＭ中の各値の変化が収束して０に近くなるように、画像Ｇ１，Ｇ２のブロック領域毎のずれ量に対する加減算の割合を、1／３と２／３、１／４と３／４等に調整するようにしてもよい。

【0065】

（効果）
実施形態によれば、レクティフィケーションのためのパラメータ誤差の有無の判定あるいはパラメータ誤差の補正のための処理負荷が従来に比べて小さい画像処理装置及び画像処理方法を提供することができる。

【0066】

実施形態の画像処理装置によれば、処理負荷が小さいので、オンラインで、すなわちステレオカメラシステムの動作中に動的にキャリブレーションを行うこともできる。また、画像処理装置の回路規模も小さくなる。

【0067】

また、ステレオマッチング処理において算出されるｙ視差ｙｐを用いて誤差マップＭを作成するので、誤差マップ作成の処理が軽い。

【0068】

さらに、平行化パラメータ誤差判定部１６は、誤差マップＥＭに基づいて、平行化の誤差が生じているか否かを判定する。平行化誤差が発生していると判定されたときだけ、パラメータ補正部１７はパラメータの補正を行い、常時パラメータ補正処理を実行しない。したがって、消費電力の削減になるだけでなく、リソースを他のアプリケーションが利用できるという効果もある。

【0069】

なお、図１の画像処理装置１の各ブロックは、ハードウエア回路であるが、中央処理装置（すなわちＣＰＵ）と、ＲＯＭ及びＲＡＭを利用してソフトウエアプログラムで、各ブロックの機能を実現するようにしてもよい。その場合、レクティフィケーション部、マッチング部、誤差マップ作成部、平行化パラメータ誤差判定部、及びパラメータ補正部の各ブロックの機能に対応するプログラムがＲＯＭに格納され、ＣＰＵが各プログラムをＲＯＭから読み出して、ＲＡＭに展開して実行することにより、各ブロックに対応する機能が実現される。

【0070】

次に、実施形態の変形例を説明する。
（変形例１）
変形例１として、画像処理装置１が平行化パラメータ誤差判定部１６を有さず、パラメータ補正部１７が、誤差マップＥＭ１に基づいて常時あるいは周期的にパラメータ補正を行うようにしてもよい。この場合、画像処理装置１は、カメラ１１，１２からのフレーム毎にレクティフィケーションパラメータの誤差補正処理を行うことができる。

【0071】

（変形例２）
変形例２として、画像処理装置１がパラメータ補正部１７を有さず、平行化パラメータ誤差判定部１６のみを有し、パラメータ異常を検知できるようにしてもよい。

【0072】

（変形例３）
変形例２として、各画像の中央部を含む所定の割合の部分におけるｙ視差ｙｐを算出するようにしてもよいし、あるいは各画像の周辺領域の部分におけるｙ視差ｙｐを算出するようにしてもよい。

【0073】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0074】

１ 画像処理装置、１１，１２ カメラ、１１ａ，１２ａ イメージセンサ、１３ レクティフィケーション部、１３ａ レジスタ、１４ マッチング部、１５ 誤差マップ作成部、１６ 平行化パラメータ誤差判定部、１７ パラメータ補正部、１８ 記憶部、１９ 表示部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】