特開 2024-179163 ステレオ画像処理装置およびステレオ画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179163

(43)【公開日】2024-12-26

(54)【発明の名称】ステレオ画像処理装置およびステレオ画像処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241219BHJP

   G03B 35/08 20210101ALI20241219BHJP

   G03B 15/00 20210101ALI20241219BHJP

【ＦＩ】

H04N23/60

G03B35/08

G03B15/00 H

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023097774

(22)【出願日】2023-06-14

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】山崎 和良

(72)【発明者】

【氏名】平塚 幸恵

(72)【発明者】

【氏名】別井 圭一

【テーマコード（参考）】

2H059

5C122

【Ｆターム（参考）】

2H059AA08

2H059AA18

5C122EA01

5C122EA33

5C122FA04

5C122FA18

5C122FB06

5C122FH04

5C122FH06

5C122FH11

5C122FH14

5C122GE23

5C122GE27

5C122HA88

5C122HB01

5C122HB10

(57)【要約】      （修正有）

【課題】経時変化などの要因による測距誤差を抑制する画像処理装置を提供する。
【解決手段】第１のカメラ５０と第２のカメラ６０により撮像された画像から視差を検出するステレオ画像処理装置１０であって、第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出部と、第１の画像中の前記所定の天体の位置と、第２の画像中の前記所定の天体の位置を比較する比較部と、第２の画像中の前記所定の天体の位置に対する、第１の画像中の前記所定の天体の位置ずれに基づいて、第２の画像中の前記所定の天体の位置に、第１の画像中の前記所定の天体の位置が近づくようにずれ情報を校正する校正部（変化量補間部）と、そのずれ情報（校正情報）を記録する変換情報記録部と、前記校正情報を用いて、第１のカメラにより撮像された画像を校正する画像変換部を備える。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理装置であって、
前記第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出部と、
前記第１の画像中の前記所定の天体の位置と、前記第２の画像中の前記所定の天体の位置を比較する比較部と、
前記第２の画像中の前記所定の天体の位置に対する、前記第１の画像中の前記所定の天体の位置ずれに基づいて、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように校正する、前記第１の画像の校正情報を生成する校正部と、
前記校正情報を記録する変換情報記録部と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像を校正する画像変換部を備える、
ステレオ画像処理装置。

【請求項2】

前記校正部は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体の歪みを校正する前記校正情報を生成する変化量補間部である、
請求項１記載のステレオ画像処理装置。

【請求項3】

前記校正部は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体を回転およびシフトさせる前記校正情報を生成する位置・回転情報算出部である、
請求項１記載のステレオ画像処理装置。

【請求項4】

前記第１のカメラにより撮像された画像にアフィン処理を施して、前記第１の画像を生成する第１のアフィン処理部と、
前記第２のカメラにより撮像された画像にアフィン処理を施して、前記第２の画像を生成する第２のアフィン処理部を備える、
請求項１記載のステレオ画像処理装置。

【請求項5】

前記第２のカメラにより撮像された画像にアフィン処理を施した画像と、前記第１のカメラにより撮像された画像にアフィン処理を施した画像を前記画像変換部で校正した画像を用いて、ステレオ視差画像を生成するステレオ視差画像生成部を備える、
請求項４記載のステレオ画像処理装置。

【請求項6】

前記校正部は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体を回転およびシフトさせる前記校正情報を生成する位置・回転情報算出部であり、
前記校正情報を用いて、前記第１のアフィン処理部でアフィン処理を施された後の、前記第１のカメラにより撮像された画像を校正する第１の画像変換部と、
前記校正情報を用いて、前記第１のアフィン処理部でアフィン処理を施される前の、前記第１のカメラにより撮像された画像を校正する第２の画像変換部を備える、
請求項４記載のステレオ画像処理装置。

【請求項7】

前記第１のカメラで撮像した第１の画像から前記所定の天体を複数のタイミングで検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数のタイミングで検出する前記天体位置検出部と、
前記第１の画像中の複数のタイミングでの前記所定の天体の位置と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置を比較する前記比較部と、
前記第２の画像中の複数のタイミングでの前記所定の天体の位置に対する、前記第１の画像中の複数のタイミングでの前記所定の天体の位置ずれに基づいて、前記第１の画像の校正情報を生成する前記校正部と、を備える、
請求項１記載のステレオ画像処理装置。

【請求項8】

前記第１のカメラと前記第２のカメラが固定される台座を備え、前記台座を所定の軸で機械的に傾ける姿勢制御機構を備え、前記第１のカメラと前記第２のカメラの光軸方向を変更可能とし、
前記第１のカメラで撮像した第１の画像から前記所定の天体を複数の光軸方向で検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数の光軸方向で検出する前記天体位置検出部と、
前記第１の画像中の複数の光軸方向での前記所定の天体の位置と、前記第２の画像中の複数の光軸方向での前記所定の天体の位置を比較する前記比較部と、
前記第２の画像中の複数の光軸方向での前記所定の天体の位置に対する、前記第１の画像中の複数の光軸方向での前記所定の天体の位置ずれに基づいて、前記第１の画像の校正情報を生成する前記校正部と、を備える、
請求項１記載のステレオ画像処理装置。

【請求項9】

第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理装置であって、
前記第１のカメラで撮像した第１の画像から所定の天体を複数のタイミングで検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数のタイミングで検出する天体位置検出部と、
前記第１の画像中の複数のタイミングでの前記所定の天体の位置と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置を比較する比較部と、
前記第２の画像中の複数のタイミングでの前記所定の天体の位置と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置ずれに基づいて、前記第２の画像中の複数のタイミングでの前記所定の天体の位置と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置が近づくように校正する、校正情報を生成する校正部と、
前記校正情報を記録する変換情報記録部と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像と前記第２のカメラにより撮像された画像が近づくように校正する画像変換部を備える、
ステレオ画像処理装置。

【請求項10】

第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理方法であって、
前記第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出処理と、
前記第１の画像中の前記所定の天体の位置と、前記第２の画像中の前記所定の天体の位置を比較する比較処理と、
前記第２の画像中の前記所定の天体の位置に対する、前記第１の画像中の前記所定の天体の位置ずれに基づいて、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように校正する、前記第１の画像の校正情報を生成する校正処理と、
前記校正情報を記録する変換情報記録処理と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像を校正する画像変換処理を行う、
ステレオ画像処理方法。

【請求項11】

前記校正処理は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体の歪みを校正する前記校正情報を生成する変化量補間処理である、
請求項１０記載のステレオ画像処理方法。

【請求項12】

前記校正処理は、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように、前記第１の画像全体を回転およびシフトさせる前記校正情報を生成する位置・回転情報算出処理である、
請求項１０記載のステレオ画像処理方法。

【請求項13】

前記第１のカメラで撮像した画像をアフィン処理して前記第１の画像を生成する第１のアフィン処理と、
前記第２のカメラで撮像した画像をアフィン処理して前記第２の画像を生成する第２のアフィン処理と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像を前記第１のアフィン処理の後に校正する第１の画像変換処理と、
前記校正情報を用いて、前記第１のカメラにより撮像された画像を前記第１のアフィン処理の前に校正する第２の画像変換処理と、を行う、
請求項１２記載のステレオ画像処理方法。

【請求項14】

前記第１のカメラで撮像した第１の画像から前記所定の天体を複数のタイミングで検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数のタイミングで検出する前記天体位置検出処理と、
前記第１の画像中の複数のタイミングでの前記所定の天体の位置と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置を比較する前記比較処理と、
前記第２の画像中の複数のタイミングでの前記所定の天体の位置に対する、前記第１の画像中の複数のタイミングでの前記所定の天体の位置ずれに基づいて、前記第１の画像の校正情報を生成する前記校正処理と、を行う、
請求項１０記載のステレオ画像処理方法。

【請求項15】

前記第１のカメラと前記第２のカメラが固定される台座を用い、前記台座を所定の軸で機械的に傾ける姿勢制御処理を行い、前記第１のカメラと前記第２のカメラの光軸方向を変更し、
前記第１のカメラで撮像した第１の画像から前記所定の天体を複数の光軸方向で検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数の光軸方向で検出する前記天体位置検出処理と、
前記第１の画像中の複数の光軸方向での前記所定の天体の位置と、前記第２の画像中の複数の光軸方向での前記所定の天体の位置を比較する前記比較処理と、
前記第２の画像中の複数の光軸方向での前記所定の天体の位置に対する、前記第１の画像中の複数の光軸方向での前記所定の天体の位置ずれに基づいて、前記第１の画像の校正情報を生成する前記校正処理と、を行う、
請求項１０記載のステレオ画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオ画像を処理する技術に関する。

【背景技術】

【0002】

３次元物体認識技術としてステレオカメラ技術がある。ステレオカメラ技術は、異なる位置に配置した２台のカメラの画像の写り方の違いを利用して、三角法に基づき視差を検出し、その視差を用いて物体の奥行きや位置を検出する技術である。ステレオカメラ技術を用いることにより、対象物の位置を正確に検出することができる。このため、車載やロボットなどで３次元の物体を検出および認識するためにステレオカメラ技術が適用されている。

【0003】

ステレオカメラの２つのカメラの画像は所定の射影（例えば、中心射影方式）に変換され、画像の差分を検出することで距離を測定する。高精度の距離検出を行う場合、２つの画像を所定の射影に高精度に合わせる必要がある。このため、経時変化などの要因でカメラ検出画像が変化するとそれに伴い測距誤差が発生する。例えば、広角視野に対応した魚眼レンズでは、広角視野での画像歪が大きいため、微小なずれでも広角視野の誤差が大きくなる。さらに、片方のカメラの姿勢がずれると検出画像がずれるため、正しい視差が検出できない。これらの要因により測距誤差が発生する。

【0004】

検出画像の歪みに対し、下記特許文献１では、『ステレオカメラによる雲の画像から広範囲の雲底高度分布を短時間で計測し、時間差画像から雲の移動速度や風速を求める方法を提案する。』を課題として、『ステレオカメラ用の２台のカメラの設置位置の標高、経度および緯度が明らかで、そのカメラの画像について、撮影時刻、天頂位置、方位角および天頂角が解読できる設定であって、（１）カメラで同時刻に撮影された共通の被写体の雲の各カメラによる各画像から該被写体の方位角および天頂角を読み出し、（２）被写体の雲の高度を仮定して、（３）撮影した画像について、各カメラの設置位置と方位角および天頂角から雲の経度および緯度を求め、（４）雲の経度および緯度が、各カメラ画像について許容範囲での一致が確認されるまで、新たに高度を仮定して上記（３）の処理を行う。ここで用いるカメラは、撮影した星の座標を基に校正した方位角および天頂角を出力する。』という技術を記載している。

【0005】

また、特許文献２は、画像のずれに対し、『複数のカメラの取り付け位置の自由度を高めることができ、距離計測のためのキャリブレーションを行う必要がない距離計測装置を提供する。』ことを課題として、『所定距離だけ離れた２台のカメラによって、距離を計測するべき対象物体の２枚の画像の画像データを取得する画像取得手段と、画像データ中の無限遠方の像が互いに重なり合うように２枚の画像データを重ね合わせる画像合成手段と、無限遠方の像が互いに重なり合った状態における対象物体像のずれ量を求め、該ずれ量に基づいて、対象物体までの距離を計測する距離算出手段とを備えた。』という技術を記載している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－６０７５４号公報

【特許文献2】特開２００９－６３３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１記載の高度計測装置では、天頂角の異なる多数の星の位置から距離を導き出し、それぞれの星の天頂角との関係をプロットし、これに関数をフィッティングすることで距離と天頂角の関係を求めることができるとしており、これにより検出画像の歪を校正するとしている。この校正方法は、距離と天頂角の関係を求めていることから天頂に対して回転対象な歪であると想定される。

【0008】

一方で、実際の経時変化は、回転対称な歪だけでなく非対称な歪が存在する。例えば、レンズの焦点距離をｆとして、レンズの射影が正射影（ｆｓｉｎθ）の場合、視差を得るために検出した画像の射影を透視射影（ｆｔａｎθ）に変換する（アフィン変換）。通常状態であれば、対応するセンサ面上の画素に応じてｆｓｉｎθからｆｔａｎθへの変換を行えば良い。このとき、画素に応じた変換値を２次元のテーブルとして処理することになる。しかしながら、例えば経時変化によりセンサがセンサ面に対して平行な方向にずれた場合、センサ上のｆｓｉｎθの画像と２次元テーブルの最適位置が一致しないため、天頂に対して非対称な画像歪が発生する。このため、特許文献１のような校正方法では、歪を補正することができない。

【0009】

さらに、特許文献１の校正方法では、それぞれのカメラの検出画像の歪を校正する。このため、実際にはそれぞれのカメラに校正残差が発生する。この場合には、２つの検出画像の校正残差が重畳されるため、これに伴い測距誤差が大きくなる課題がある。

【0010】

特許文献２では、２つの画像データの所定の校正の輝点像を利用してそのずれ量Ｄを求め、視差からずれ量Ｄの差分を演算することで正確な測距が行えるとしている。しかしながら、この校正方法では、視差演算方向に対して垂直方向の校正が課題となる。この垂直方向のずれがあると、間違った対象物の視差を検出してしまう。例えば検出画像内に斜め線があった場合、垂直方向のずれがあると立体的に検出されてしまう。さらに、実施例１における雲を検出する場合にも雲の形状が垂直方向に異なるため、間違った視差を検出し、測距誤差が発生する。

【0011】

また、カメラやセンサがレンズ光軸に対して回転ずれが発生する場合、検出される画像が回転する。この検出画像の回転ずれは、視差、垂直方向のずれとなるため測距誤差が発生する。これについては、特許文献２では校正することができない。そして、検出画像の歪も校正することができない。このため、例えば、レンズの射影が正射影（ｆｓｉｎθ）や等距離射影（ｆθ）などの場合、センサがセンサ面に対して平行な方向にずれた場合、狭角視野（θ～０度）と広角視野（θ：大）でずれ量Ｄが異なる。このため、特許文献２のような校正方法では完全には校正できない。

【0012】

本発明は、上記のような課題に鑑みてなされたものであり、経時変化などの要因によるステレオカメラの測距誤差を抑制することを目的とする。

【課題を解決するための手段】

【0013】

本発明の一側面は、第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理装置であって、前記第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出部と、前記第１の画像中の前記所定の天体の位置と、前記第２の画像中の前記所定の天体の位置を比較する比較部と、前記第２の画像中の前記所定の天体の位置に対する、前記第１の画像中の前記所定の天体の位置ずれに基づいて、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように校正する、前記第１の画像の校正情報を生成する校正部と、前記校正情報を記録する変換情報記録部と、前記校正情報を用いて、前記第１のカメラにより撮像された画像を校正する画像変換部を備える、ステレオ画像処理装置である。

【0014】

本発明の他の一側面は、第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理装置であって、前記第１のカメラで撮像した第１の画像から所定の天体を複数のタイミングで検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を複数のタイミングで検出する天体位置検出部と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置を比較する比較部と、前記第２の画像中の複数のタイミングでの前記所定の天体の位置と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置ずれに基づいて、前記第２の画像中の複数のタイミングでの前記所定の天体の位置と、前記第１の画像中の複数のタイミングでの前記所定の天体の位置が近づくように校正する、校正情報を生成する校正部と、前記校正情報を記録する変換情報記録部と、前記校正情報を用いて、前記第１のカメラにより撮像された画像と前記第２のカメラにより撮像された画像が近づくように校正する画像変換部を備える、ステレオ画像処理装置である。

【0015】

本発明の他の一側面は、第１のカメラと第２のカメラにより撮像された画像から視差を検出するステレオ画像処理方法であって、前記第１のカメラで撮像した第１の画像から所定の天体を検出するとともに、前記第２のカメラで撮像した第２の画像から前記所定の天体を検出する天体位置検出処理と、前記第１の画像中の前記所定の天体の位置と、前記第２の画像中の前記所定の天体の位置を比較する比較処理と、前記第２の画像中の前記所定の天体の位置に対する、前記第１の画像中の前記所定の天体の位置ずれに基づいて、前記第２の画像中の前記所定の天体の位置に、前記第１の画像中の前記所定の天体の位置が近づくように校正する、前記第１の画像の校正情報を生成する校正処理と、前記校正情報を記録する変換情報記録処理と、前記校正情報を用いて、前記第１のカメラにより撮像された画像を校正する画像変換処理を行う、ステレオ画像処理方法である。

【発明の効果】

【0016】

本発明に係る画像処理装置によれば、経時変化などの要因によるステレオカメラの測距誤差を抑制することができる。

【図面の簡単な説明】

【0017】

【図1A】実施例１に係るステレオ画像処理装置のブロック図である。

【図1B】実施例１に係るステレオ視差画像生成部２００のブロック図である。

【図2】実施例１に係る画像Ｐ３と画像Ｐ４の一例を説明するイメージ図である。

【図3】実施例１に係る画像変換部１２０の処理を説明するイメージ図である。

【図4】実施例２に係るステレオ画像処理装置のブロック図である。

【図5】実施例２に係る画像Ｐ３と画像Ｐ４の一例を説明するイメージ図である。

【図6】実施例２に係る画像変換部１２０の処理を説明するイメージ図である。

【図7】実施例３に係るステレオ画像処理装置のブロック図である。

【図8】実施例４に係る検出画像を説明するイメージ図である。

【図9】実施例４に係る他の検出画像を説明するイメージ図である。

【図10A】実施例５に係る検出画像を説明するイメージ図である。

【図10B】実施例５に係る検出画像を説明するイメージ図である。

【図10C】実施例５に係る検出画像を説明するイメージ図である。

【図11】実施例５に係るステレオカメラ画像処理装置１０の姿勢を説明する斜視図である。

【図12A】実施例５に係る他の検出画像を説明するイメージ図である。

【図12B】実施例５に係る他の検出画像を説明するイメージ図である。

【図12C】実施例５に係る他の検出画像を説明するイメージ図である。

【発明を実施するための形態】

【0018】

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0019】

以下に説明する実施例の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

【0020】

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0021】

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0022】

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

【0023】

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

【0024】

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

【0025】

本実施例では、一例を挙げるならば、画像１と画像２から視差を検出するステレオ画像処理装置であって、複数の天体を撮像し、画像１と画像２の複数の天体における同一天体の位置の違いから、画像２を校正する校正情報を検出し、前記校正情報を基に、画像１と画像２が略一致するように変換することを特徴とするステレオ画像処理装置とする。このように、星の画像を用いて高精度の校正を実施する画像処理装置および星の画像を用いた高精度の校正方法を提供するものである。

【実施例0026】

図１Ａを参照して、実施例１に係るステレオカメラ画像処理装置１０の構成を説明する。このステレオカメラ画像処理装置１０は、例えば、構造物の形状を検出するのに用いられる。また、雲や構造物までの距離を検出するのに用いられる。さらに自動車などの車両に搭載され、車両から車両の周囲の立体物（他の自動車、建物、歩行者など）までの距離を検出するのに用いられる。以下では、構造物の形状を検出するためにステレオカメラ画像処理装置１０を用いる場合を例として説明するが、これに限定される趣旨ではない。

【0027】

図１Ａは、実施例１に係るステレオカメラ画像処理装置１０の構成例を示すブロック図である。このステレオカメラ画像処理装置１０は、第１のカメラ（右カメラ）５０及び第２のカメラ（左カメラ）６０により得られた画像に基づき、立体物を検知することができるように構成される。第１のカメラ５０、第２のカメラ６０によりステレオカメラが構成される。このステレオカメラ画像処理装置１０は、一例として、画像処理部１００、ステレオ視差画像生成部２００、ステレオ視立体物検知部５００、とを備えて構成される。

【0028】

第１のカメラ５０、第２のカメラ６０は、図示は省略するが、レンズと、画像センサとを備えている。第１のカメラ５０及び第２のカメラ６０は、それぞれ、対象物の画像をレンズを介して画像センサで取得（撮像）する。ステレオカメラ画像処理装置１０は、第１のカメラ５０から画像Ｐ１（第１の画像）を取得するとともに、第２のカメラ６０から画像Ｐ２（第２の画像）を取得する。

【0029】

画像処理部１００は、一例として、アフィン処理部２０ａ、２０ｂ、画像変換部１２０、輝度補正部２１ａ、２１ｂ、画素補間部２２ａ、２２ｂ、及び輝度情報生成部２３ａ、２３ｂを備えて構成される。画像処理部１００は、第１のカメラ５０及び第２のカメラ６０により得られた画像Ｐ１及びＰ２に所定の画像処理を適用し、ステレオ視差画像生成部２００及びステレオ視立体物検知部５００に供給する。

【0030】

アフィン処理部２０ａは、第１のカメラ５０からの画像Ｐ１にアフィン処理を適用する。このアフィン処理を行った結果として、アフィン処理部２０ａは画像Ｐ３（第３の画像）を取得する。同様に、アフィン処理部２０ｂは、第２のカメラ６０からの画像Ｐ２にアフィン処理を適用して画像Ｐ４（第４の画像）を取得する。

【0031】

アフィン処理部２０ａ及び２０ｂは、アフィン処理以外の歪変換処理を併せて実行するものであってもよい。本実施例では、魚眼レンズの射影方式のｆｓｉｎθを、（ｆｔａｎθｘ、ｆｔａｎθｙ）の座標系へ射影変換する。ここで、ｆは魚眼レンズの焦点距離、θは魚眼レンズに入射する画角、θｘ、θｙは魚眼レンズに入射する画角の水平、垂直成分を示している。さらに本実施例では、ステレオカメラ画像処理装置１０が自動車内に設置されることを想定して、フロントガラスの影響による垂直方向の画素の変位（画素シフト）をアフィン処理部２０ａ及び２０ｂで補正する。すなわち、アフィン処理部２０ａ及び２０ｂは、画素シフトを補正する画素シフト補正処理部としても機能する。

【0032】

画像変換部１２０は、変換情報記録部３４の上下方向、左右方向の２つの変換情報を基に画像Ｐ３を変換し、画像Ｐ５を出力する。輝度補正部２１ａは、画像Ｐ３の各画素の輝度を補正する。例えば、第１のカメラ５０のゲイン、画像Ｐ５内の各画素のゲインの違い等に基づいて、画像Ｐ５の各画素の輝度の補正が行われる。同様に、輝度補正部２１ｂは、画像Ｐ４の各画素の輝度を補正する。

【0033】

画素補間部２２ａは、画像Ｐ５に対してデモザイキング処理を行う。例えば、ＲＡＷ画像からカラー画像への変換が行われる。同様に、画素補間部２２ｂは、画像Ｐ４に対してデモザイキング処理を行う。

【0034】

輝度情報生成部２３ａは、画像Ｐ５の輝度情報を生成する。例えば、カラー画像を表す情報を、視差画像を生成するための輝度情報に変換する。同様に、輝度情報生成部２３ｂは、画像Ｐ４の輝度情報を生成する。

【0035】

ステレオ視差画像生成部２００は、得られた画像Ｐ５、画像Ｐ４を利用して、ステレオ視差画像を生成する。

【0036】

図１Ｂを参照して、ステレオ視差画像生成部２００の構成を説明する。ステレオ視差画像生成部２００は、画像Ｐ１と画像Ｐ２を基にして、例えば視差の大きさを色の違いで表現する画像を生成する。視差が大きいほど対象までの距離が近くなる。ステレオ視差画像生成部２００は公知の構成を採用してよい。

【0037】

一例を示すと、ステレオ視差画像生成部２００は、露光調整部２１０、感度調整部２２０を備え、第１のカメラ５０、第２のカメラ６０の露光量、感度等についての第１のカメラ５０、第２のカメラ６０へのフィードバック制御を実行可能に構成され得る。また、ステレオ視差画像生成部２００は更に、左右の画像の幾何補正を行う幾何補正部２３０、左右の画像のマッチング処理を行うマッチング部２４０、画素シフト量を演算する画素シフト量演算部２６０、及び、必要な補正を行う補正関数を導出する補正関数導出部２７０を備える。画素シフト量演算部２６０、及び補正関数導出部２７０は、アフィン処理部２０ａ、２０ｂとともに画素シフト補正処理部を構成する。

【0038】

ステレオ視立体物検知部５００は、ステレオ視差画像生成部２００で生成されたステレオ視差画像に従い、構造物の形状を出力する。

【0039】

以上のようなステレオカメラ画像処理装置１０において、本実施例は画像変換部１２０を用いて左右の画像（画像Ｐ５と画像Ｐ４）の天体の位置が近づくように（理想的には同じとなるように）画像を変換することが特徴である。

【0040】

次に、画像変換部１２０の画像変換について説明する。まず、夜間に空を撮像し、画像Ｐ３、画像Ｐ４を得る。そして、画像Ｐ３と画像Ｐ４から天体（たとえば星や月）の位置情報を抽出する。その位置情報の違いを比較部３２で検出する。画像Ｐ３と画像Ｐ４の星の対応は公知のマッチング手法を用いて、星の明るさや色で特定することができる。星の対応付けができるだけでよく、星の実際の位置はわからなくてもよい。

【0041】

比較部３２で検出された情報は天体の位置のずれ情報しか得られないため、変化量補間部３３により、全画像の情報に変換する。このとき、星の間の補間は線形補間であってもよいし、近似曲面を用いてもよい。なお、近似曲面の次数は限定されない。そして、そのずれ情報（校正情報）は変換情報記録部３４に記録され、その情報を基に画像変換部１２０で画像Ｐ３を画像Ｐ５に変換する。このとき、画像変換部１２０では画像Ｐ５と画像Ｐ４の天体の位置ができるだけ同じになるように画像が変換される。次に、変換情報の導出について説明する。

【0042】

図２は図１の画像Ｐ３と画像Ｐ４の一例を示している。点は検出した天体を示している。また、実線は網の目状（格子状）のチャートを映したときの画像を示している。天体と同じく無限遠に直線から構成されたチャートを仮想的に置くことを想定している。図２で示すチャートの歪みは、画像の歪に相当する。なお、ここでは理解しやすいように上下方向のみ画像の歪があるとしている。また本図では大きな歪を示しているが、実際には1画素よりも小さな歪を議論している。歪みがない状態では、チャートは等間隔の直線で構成された格子状となる。

【0043】

第１のカメラ５０、第２のカメラ６０の間隔（基線長）に対して天体までの距離が非常に大きいため、画像Ｐ３と画像Ｐ４の同一天体の位置は一致するはずである。しかしながら実際のカメラは、経時変化などの要因でカメラ検出画像が変化する。たとえば、経時変化や温度変化で光学系が歪んだり、レンズとセンサ間の位置や角度がずれたりすることが考えられる。高精度のステレオカメラでは、１画素以下の視差検出精度が必要となる。例えば、センサの画素ピッチが１μｍであった場合、１μｍ以下のずれも許容できない。このため、特許文献１のように２つの誤差が重畳される歪の校正方法は高精度な視差検出精度を実現するのが難しい。そして、このような微小な検出画像の変化は、実施例１で校正している回転対称な歪だけでなく非対称な歪が存在する。そこで、本実施例では天体の位置情報を用いて片方の画像の校正を行う。

【0044】

本実施例では片方の画像を校正するが、もう片方の画像については歪が校正されない。この場合、ステレオカメラとして検出される画像が歪の分だけずれることになる。一方でずれ量は小さいため(例えば１画素)、測距や画像認識には影響しない。先に述べたチャートを例にとると、本実施例ではチャートを直線状の格子に補正するものではなく、一方のチャートの歪みにもう片方のチャートの歪みを合わせる処理を行う。

【0045】

図３は本実施例の画像変換部１２０の処理を説明する図である。本図は図１の画像Ｐ３を画像変換部１２０で変換した結果である画像Ｐ５を示している。図中の点は検出した天体を示している。また、実線は網の目状のチャートを映したときの画像を示している。そして、点線は図２の画像Ｐ３の実線を示している。

【0046】

画像変換部１２０の変換量は点線と実線の違いで示される。この違いを変化量補間部３３で上下方向、左右方向のテーブルに変換する。ここでは、図３の画像Ｐ５の点は図２の画像Ｐ４の点と同じとなるように、画像変換部１２０で変換された結果である。なお、画像変換部１２０は、天体の位置の違いを基に画像を校正するため、画像の位置・回転・歪を校正することができる。

【0047】

以上のような、画像校正方法を行うことで、経時変化などの要因による測距誤差を抑制することができる画像処理装置を実現することができる。なお、本実施例では天体の位置を求めてから、画像Ｐ３と画像Ｐ４の天体の位置を比較したが、これには限定されず、例えばステレオカメラの視差検出に用いられるブロックマッチングなどの演算方法を利用してもよい。天体１点ごとにブロックマッチングすることも考えられるが、複数の天体を用いてブロックマッチングした方が高精度の視差情報を得ることができる。これに合わせてブロックマッチングの画像サイズを最適化することが望ましい。

【0048】

上記のように変換情報記録部３４に校正情報を記録しておき、その後は当該校正情報を用いて一方の画像Ｐ３を校正することで、高精度のステレオカメラ画像を得ることができる。校正情報は、例えば画素ごとに移動量を記録したテーブルである。校正情報の記録の頻度は任意であり、要求される精度に応じて、例えば毎年あるいは毎日、校正情報を更新すればよい。

【0049】

図１の各部の構成は、入力装置、出力装置、処理装置、記憶装置を備えたコンピュータにより、記憶装置に記憶されたソフトウェアを処理装置で実行することで実現できる。あるいは、ソフトウェアで構成した機能と同等の機能は、FPGA（Field Programmable Gate Array）、ASIC（Application Specific Integrated Circuit）などのハードウエアでも実現できる。変換情報記録部３４は例えば不揮発性の半導体メモリで構成することができる。

【実施例0050】

図４は、本発明の実施例２に係るステレオカメラ画像処理装置１０のブロック図である。本実施例の実施例１との違いは、実施例１の変化量補間部３３、変化量補間部が位置・回転情報算出部３３０に変わっている点である。なお、本実施例の画像処理装置は片方のカメラのもう片方のカメラに対する相対姿勢ずれの影響、片方のカメラのもう片方のカメラに対する相対的なセンサ回転ずれの影響を校正することができる。ここでは本実施例の特徴である位置・回転情報算出部３３０について説明する。

【0051】

図５は画像Ｐ３と画像Ｐ４の一例を示している。点は検出した天体を示している。また、実線は網の目状のチャートを映したときの画像を示している。上述したように本実施例では、片方のカメラのもう片方のカメラに対する相対姿勢ずれの影響、片方のカメラのもう片方のカメラに対する相対的なセンサ回転ずれを想定しているため、画像の歪は発生していない。２つのカメラの相対位置は通常は固定されているが、経時的な変化や機械的な衝撃により位置ずれが起こる場合がある。

【0052】

図５に示す天体の位置情報を用いて画像Ｐ４に対する画像Ｐ３のずれ量を指標化する。そしてその指標を用いて、位置・回転情報算出部３３０では画像Ｐ４に対する画像Ｐ３の位置・回転ずれを校正する。ここで、画像Ｐ３、画像Ｐ４のｎ番目の天体の位置座標を（Xan,Yan）、（Xbn,Ybn）とする。さらに画像Ｐ３の回転α、左右シフトdx、上下シフトdyとしたとき、以下の式をずれ量Lnと定義する。

【0053】

【数1】

…(式１)
ここで、このLnの和Lを演算する。

【0054】

【数2】

…(式２)

【0055】

ここでは、この和Lが最小となる回転α、左右シフトdx、上下シフトdyを求める。これにより、画像Ｐ４に対する画像Ｐ３の位置・回転ずれ量を明確にすることができる。次にこの校正情報を変換情報記録部３４に記録するとともに、この校正情報を用いて画像変換部１２０で画像Ｐ３に対して校正を実施する。

【0056】

図６は、校正後の画像Ｐ５を示す図である。図中の点は検出した天体を示している。また、実線は網の目状のチャートを映したときの画像を示している。そして、点線は図５の画像Ｐ３の実線を示している。

【0057】

和Lが最小となる回転α0、左右シフトdx0、上下シフトdy0の条件を基に画像変換部１２０で校正を行うことで、画像Ｐ５と画像Ｐ４の天体の位置が一致する。これにより校正が完了する。

【0058】

以上のような、画像校正方法を行うことで、経時変化などの要因による測距誤差を抑制することができる画像処理装置を実現することができる。なお、本実施例では位置・回転ずれを同時に検出したが、検出の順番はこれには限定されない。例えば、回転を検出してから、左右シフト、上下シフトを検出してもよい。

【0059】

さらに、和Lを用いて、カメラ自体のキャリブレーションの必要性を判断してもよい。この場合には、例えば、

【0060】

【数3】

…(式３)
のような演算を行い、この値が１画素を超える場合には、校正用チャートなどの所定の機材を用いたキャリブレーションを行う判断としてもよい。