特開 2024-2479 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024002479

(43)【公開日】2024-01-11

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 17/00 20060101AFI20231228BHJP

   H04N 23/60 20230101ALI20231228BHJP

   H04N 23/45 20230101ALI20231228BHJP

   G06T 7/80 20170101ALI20231228BHJP

   G06T 7/00 20170101ALI20231228BHJP

【ＦＩ】

H04N17/00 200

H04N5/232

H04N5/225 800

G06T7/80

G06T7/00 650A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022101675

(22)【出願日】2022-06-24

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】川辺 学

(72)【発明者】

【氏名】坂野 盛彦

(72)【発明者】

【氏名】竹村 雅幸

【テーマコード（参考）】

5C061

5C122

5L096

【Ｆターム（参考）】

5C061BB11

5C122DA14

5C122EA01

5C122FA04

5C122FB06

5C122FH06

5C122FH10

5C122FH11

5C122FH15

5C122GE26

5C122HA46

5C122HA88

5C122HB01

5L096BA04

5L096CA05

5L096DA02

5L096FA03

5L096FA24

5L096FA52

5L096FA66

5L096FA69

5L096GA51

(57)【要約】

【課題】走行時などの環境が変化する場合でも、適切な画像の校正が行えるようにする。
【解決手段】カメラで撮像された画像から直線部分を検出する直線検出部１３と、直線検出部１３で第１の時刻に画像から検出された直線部分を時系列的に追跡し、第１の時刻より後の第２の時刻に撮像された画像から、複数に分割した画像領域の内、直線部分が含まれる画像領域を特定する直線追跡部１４と、第２の時刻に直線追跡部１４が追跡している直線部分の直線度を求める直線性判定部１５と、直線性判定部１５が判定した直線性に基づいて、直線部分が含まれる画像領域をカメラの校正に用いるか否かを決定する使用領域決定部１７と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

カメラで撮像された画像から直線部分を検出する直線検出部と、
前記直線検出部で第１の時刻に画像から検出された直線部分を時系列的に追跡し、前記第１の時刻より後の第２の時刻に撮像された画像から、複数に分割した画像領域の内、前記直線部分が含まれる画像領域を特定する直線追跡部と、
前記第２の時刻に前記直線追跡部が追跡している前記直線部分の直線度を求める直線性判定部と、
前記直線性判定部が判定した直線度に基づいて、前記直線部分が含まれる画像領域を前記カメラの校正に用いるか否かを決定する使用領域決定部と、を備える
画像処理装置。

【請求項2】

前記直線追跡部が、複数に分割された画像領域の内で、画像の中央付近の画像領域で検出された直線部分を時系列的に追跡して、画像の周辺部分の画像領域に検出された直線部分が移動したことを検出したとき、前記使用領域決定部は、前記周辺部分の画像領域が前記カメラの校正に使用可能か否かを、該当する画像領域での前記直線性判定部での直線度の判定から決定する
請求項１に記載の画像処理装置。

【請求項3】

前記使用領域決定部が決定した前記カメラの校正に使用可能と決定した領域のみを用いて、当該画像処理装置が搭載された車両の走行中又は走行時の一時的な停止中に、前記カメラの校正を実行する
請求項２に記載の画像処理装置。

【請求項4】

前記直線追跡部が特定する画像領域は、カメラで撮像された画像を、垂直方向に伸びた分割ラインを水平方向に所定の間隔で並べて分割した画像領域である
請求項３に記載の画像処理装置。

【請求項5】

前記カメラは、左画像を得る左カメラと、右画像を得る右カメラで構成されたステレオカメラであり、
前記直線検出部と前記直線追跡部と前記直線性判定部と前記使用領域決定部とは、前記左カメラと前記右カメラのいずれか一方の撮像画像について処理を行い、
前記使用領域決定部で決定した校正に用いる領域を、前記左カメラの撮像画像と前記右カメラの撮像画像の双方に適用する
請求項１に記載の画像処理装置。

【請求項6】

前記カメラは、左画像を得る左カメラと、右画像を得る右カメラで構成されたステレオカメラであり、
前記直線検出部と前記直線追跡部と前記直線性判定部とは、前記左カメラの撮影画像と前記右カメラの撮像画像のそれぞれについて処理を行い、
前記左カメラの撮影画像の直線度判定結果を領域別に蓄積すると共に、前記右カメラの撮影画像の直線性判定結果を領域別に蓄積し、
前記使用領域決定部は、前記左カメラの撮影画像についての領域別の蓄積情報と、前記右カメラの撮影画像についての領域別の蓄積情報とに基づいて、校正に用いる領域を決定して、前記左カメラの撮像画像と前記右カメラの撮像画像の双方に適用する
請求項１に記載の画像処理装置。

【請求項7】

車両に搭載されたカメラで撮影された画像を、前記車両に設置された画像処理装置で校正する画像処理方法であり、
前記画像処理装置は、
カメラで撮像された画像から直線部分を検出する直線検出処理と、
前記直線検出処理により第１の時刻に検出された直線部分を時系列的に追跡し、前記第１の時刻より後の第２の時刻に撮像された画像を複数に分割した画像領域の内、前記直線部分が含まれる画像領域を特定する直線追跡処理と、
前記第２の時刻に前記直線追跡処理で追跡している前記直線部分の直線性を求める直線性判定処理と、
前記直線性判定処理により判定した直線性に基づいて、前記直線部分が含まれる画像領域を前記カメラの校正に用いるか否かを決定する使用領域決定処理と、を実行する
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

車両（自動車）に搭載されたカメラ（車載カメラ）を自動運転用のセンサとして使用する場合、車載カメラの取付け位置や取付け向きには、高い精度が要求される。しかしながら、車載カメラの物理的な取り付け精度には限界があるため、車載カメラを車体に取り付けた後に位置や角度を正確に測定して、測定結果に基づいて撮影画像を補正する方法が用いられている。これを車載カメラの校正（キャリブレーション）という。車載カメラの校正は車両出荷時に行われるが、車の振動などによる経年変化により、取付け角度がずれることがある。これに対応するためには走行中に校正を行う技術が必要となる。

【0003】

特許文献１には、車載カメラの歪補正技術として、撮影画像から道路の白線に対応する直線を検出して、検出した白線を使って補正を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－１８５７５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、車載カメラは広い範囲を認識するために広角レンズが装着されたカメラを用いる場合が多く、校正時には広角歪みを補正した画像に変換したものを使用している。しかしながら、広角歪みを補正したとしても、広角レンズで撮影した画像の周辺部では歪が大きく、カメラの向きを求める校正に誤差が発生する原因になっている。

【0006】

また、広角歪みの補正時には、温度変化などの環境の変化によって歪補正誤差が変化してしまうという問題がある。このため、校正に使用可能な領域は、固定された領域とはならず、走行中に変化する可能性もある。
このような歪補正誤差が変化してしまう問題は、特許文献１に記載された従来の歪補正技術では解決できなかった。

【0007】

本発明は、走行時などの環境が変化する場合でも適切な画像の校正が行える画像処理装置および画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像処理装置として、カメラで撮像された画像から直線部分を検出する直線検出部と、直線検出部で第１の時刻に画像から検出された直線部分を時系列的に追跡し、第１の時刻より後の第２の時刻に撮像された画像から、複数に分割した画像領域の内、直線部分が含まれる画像領域を特定する直線追跡部と、第２の時刻に直線追跡部が追跡している直線部分の直線度を求める直線度判定部と、直線度判定部が判定した直線度に基づいて、直線部分が含まれる画像領域をカメラの校正に用いるか否かを決定する使用領域決定部と、を有する。

【発明の効果】

【0009】

本発明によれば、温度などの環境変化などによる画像の歪み補正誤差が発生した場合でも、歪みの少ない領域のみを用いた校正が行われ、校正による誤差の発生を防ぎ、正しい校正状態を維持することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施の形態例による車両構成と画像処理装置のハードウェア構成の例を示す図である。

【図2】本発明の第１の実施の形態例による画像処理装置の構成図である。

【図3】本発明の第１の実施の形態例による画像処理例を示すフローチャートである。

【図4】本発明の第１の実施の形態例による画像領域の分割例（例１）を示す図である。

【図5】本発明の第１の実施の形態例による直線部分の追跡例を示す図である。

【図6】本発明の第１の実施の形態例による画像領域の分割例（例２）を示す図である。

【図7】本発明の第１の実施の形態例による画像領域の分割例（例３）を示す図である。

【図8】本発明の第２の実施の形態例による画像処理装置の構成図である。

【図9】本発明の第３の実施の形態例による画像処理装置の構成図である。

【発明を実施するための形態】

【0011】

＜第１の実施の形態例＞
以下、本発明の第１の実施の形態例を、図１～図７を参照して説明する。
図１は、本実施の形態例の画像処理装置が搭載された車両１の構成を示す。
車両（自動車）１には、前方監視を行うために車載カメラ２が設置されている。図１では前方監視用の２台の車載カメラ２を示すが、車載カメラ２の台数や位置は図１の例に限定されず、１台の車載カメラ２でもよい。なお、図１に示すように２台の車載カメラ２を設置した場合には、後述する別の実施の形態例で説明するステレオカメラとしてもよい。

【0012】

車載カメラ２で撮像された画像は、情報処理装置５内の画像処理装置３に供給される。画像処理装置３では、撮像画像の画像処理が実行され、カメラ校正や歪補正などの画像補正処理が行われる。そして、画像補正処理が行われた画像から物体や人物などが認識される。なお、物体や人物などを認識する際には、車載カメラ２による撮像画像だけでなく、不図示のレーダなどの他の検出機構を併用する場合もある。

【0013】

画像処理装置３が内蔵された情報処理装置５は、図１に示すように、ＣＰＵ（中央処理ユニット）５ａとワークメモリ５ｂと記憶部５ｃとインターフェース（Ｉ／Ｆ）５ｄとを備えて、これらが相互にデータ転送可能に接続されている。
ＣＰＵ５ａは、記憶部５ｃが記憶したプログラムをワークメモリ５ｂで実行させることで、ワークメモリ５ｂに画像処理を行う各処理部を構成させる。
記憶部５ｃは、画像処理や車両制御を行うプログラムを記憶すると共に、画像や制御データなどを記憶する。
インターフェース５ｄは、車載カメラ２からの画像データや、各種センサの検出データの入力処理や、車両の制御データの出力処理を行う。

【0014】

このように構成される画像処理装置３で物体や人物を認識した結果の情報は、車両制御装置４に送られる。車両制御装置４は、物体や人物の認識結果を自動運転などに必要な情報として取得して、車両１の走行状態を制御する。例えば、車両制御装置４では、車両１の前方の物体や人物を避けるブレーキ動作や、車両１の前方の別の車両に追随した速度とする制御や、走行中の道路の車線を守った走行が行われるようなステアリング動作などが実行される。

【0015】

車載カメラ２を自動運転などの車両制御に用いる場合、車載カメラ２がどの方向を向いているかを正確に知る必要がある。このカメラ２の向きは、車載カメラ２を車両１に取り付けた時点で決定されるが、車両１あるいはカメラ２の個体差が発生すため、設計値をそのまま使用すると精度不足になる。このため、カメラ２を車両１に取り付けたあとで、車両ごとにカメラ２の向きを計測する必要がある。これを外部パラメータの校正という。外部パラメータの校正は車両１を工場から出荷するときに行うのが一般的であるが、車両１の運用中に振動などが発生し、長期間の運用を考慮すると定期的に校正を行うことが必要となる。この車両１の走行中に自動的に行う方法は、走行中校正あるいは走行中キャリブレーションと呼ばれる。

【0016】

走行中校正は、車載カメラ２に映る特徴的な物体を追跡することで行われるが、車載カメラ２は車両周辺の広い範囲を認識する必要があるため、レンズ歪みを伴う撮像レンズを有する広角カメラが用いられている。なお、レンズの特性をあらかじめ測定しておけば、歪みのない画像に変換することが可能であるため、レンズ歪みに関する特性もカメラ出荷前に測定される。
この歪み補正パラメータは、走行中の外部パラメータ校正時にレンズ歪みを除去するために用いられるが、広角カメラの特性上、画像中央部に比べて周辺部は元の歪みが大きくなるため補正誤差も生じやすい。

【0017】

また、工場内の安定した環境と比べて、実運用中の環境は、温度変化などが大きく、工場内と異なる温度などの影響により、歪みの状態が変化して補正誤差が大きくなる。このため、周辺部の画像を使用すると、外部パラメータ校正に悪影響を及ぼすほど大きな誤差が発生することがある。
ここで、本実施の形態例においては、走行中にレンズ歪みの補正誤差を測定して、歪みの少ない領域のみを走行中校正に用いるようにした。

【0018】

図２は、画像処理装置３の構成図であり、車載カメラ２が撮像した画像の校正を行う際に、画像処理装置３が校正に使用する領域を判断するための構成を示している。
画像処理装置３は、画像取得部１１、歪み除去部１２、直線検出部１３、直線追跡部１４、直線性判定部１５、領域別可否判定部１６、使用領域決定部１７、画像領域限定部１８、及び外部パラメータ推定部１９を備える。

【0019】

画像取得部１１は、車載カメラ２による撮像画像を取得する。
歪み除去部１２は、画像取得部１１が取得した画像の歪みを除去する。例えば、歪み除去部１２は、広角レンズで撮影したことによる画像の周辺部などに発生するレンズ歪みの除去を行う。この歪み除去部１２での歪除去処理は、予め決められたパラメータで実行される。

【0020】

直線検出部１３は、歪み除去部１２でレンズ歪みが除去された撮像画像から、画像で撮像された直線構造物を検出する。本例の直線検出部１３は、画像内の直線構造物を検出する。ここでの直線構造物とは、電柱、建物の端部などのほぼ垂直な方向の直線箇所が含まれる構造部である。
直線追跡部１４は、直線検出部１３で検出された直線構造物が、以後のタイミングで撮像された画像内のどこにあるかを追跡する。すなわち、車両１が走行中である限り、車載カメラ２が撮影する範囲は毎フレーム変化するので、直線追跡部１４は、同じ直線構造部が各フレームでどの位置にあるかを追跡する。

【0021】

直線性判定部１５は、直線追跡部１４で追跡中の直線構造物の画像内の直線性を判定する。
領域別可否判定部１６は、撮像画像を複数の領域に分割した上で、直線性判定部１５が直線性の判定を行った際に、どの領域で直線性の判定を行ったのかを判定して、領域ごとの直線性の可否の判定結果を得る。画像を複数の領域に分割する例については後述する（図４など）。
使用領域決定部１７は、領域別可否判定部１６における領域ごとの直線性の可否の判定結果から、校正に使用する画像の領域を決定する。

【0022】

画像領域限定部１８は、歪み除去部１２で歪みが除去された画像の中から、使用領域決定部１７で校正に使用すると判定された領域の画像情報のみを抽出する。画像領域限定部１８で抽出された領域の画像情報は、外部パラメータ推定部１９に供給される。
外部パラメータ推定部１９は、画像の校正（キャリブレーション）を行うためのパラメータを推定する。外部パラメータ推定部１９が行うパラメータ推定は、走行中校正を行うためのものである。但し、外部パラメータ推定部１９は、走行時以外にもパラメータ推定を行ってもよい。また、ここでの走行時とは、実際に車両が走行している間の他、走行時の一時的な停止中でもよい。

【0023】

外部パラメータ推定部１９が行うパラメータ推定としては、カメラの校正（キャリブレーション）として従来から知られた各種方法によるパラメータ推定が適用可能である。
例えば、外部パラメータ推定部１９は、画像から道路の白線上の特徴点を検出し、特徴点で示された複数の白線の延長上に交差する点を道路消失点として、その座標位置を求める。

【0024】

そして、外部パラメータ推定部１９は、座標位置の情報から車載カメラ２の設置高さと設置角度を算出する。また、外部パラメータ推定部１９は、算出した車載カメラ２の設置高さと設置角度が、初期設定された車載カメラ２の設置高さと設置角度からずれているとき、初期設定された設置高さと設置角度を補正する。ここで示したパラメータ推定によるカメラの校正処理は一例であり、その他の方法であってもよい。但し、パラメータ推定に使用される画像としては、使用領域決定部１７で決定した領域のみが使用される。

【0025】

図３は、本例の画像処理装置３が、図２に示す構成にて行われる走行中の外部パラメータの校正を行う際の動作の例を示すフローチャートである。
まず、映像取得部１１で車載カメラ２の撮像画像が取り込まれ、歪み除去部１２で歪みのない画像に変換される。この歪み除去部１２での変換パラメータは、車両製造工場などでの計測で得られたものが使用される。
歪み除去部１２で歪み除去が行われた画像は、直線検出部１３に送られる。直線検出部１３では、画像の中央付近の歪み補正残差が少ない領域で、直線性のある対象物を検出する直線検出処理が行われる（ステップＳ１１）。ここでの直線性のある対象物を検出する中央付近の範囲は、あらかじめ与えられた領域を基本とする。

【0026】

次に、直線追跡部１４は、ステップＳ１１で直線検出処理がなされたタイミングのフレーム画像から検出された直線状物体が、車両１の移動によって画面の外に出るまで複数フレームにわたって追跡される直線追跡処理を行う（ステップＳ１２）。
その後、直線性判定部１５は、直線追跡部１４により追跡された画像内の直線状構造物が、画像内の移動した場所で直線性が判定される直線性判定処理を行う（ステップＳ１３）。

【0027】

ステップＳ１３における判定結果は、画像を分割した複数の領域ごとに、直線性の可否の結果として領域別可否判定部１６で蓄積される。領域別可否判定部１６での直線性の可否の結果の蓄積は、少なくとも一定の時間行われる。そして、使用領域決定部１７は、領域別可否判定部１６における領域別の判定結果に基づいて、それぞれの領域が校正に使用可能か否かを判定する（ステップＳ１４）。

【0028】

ステップＳ１４における判定後、画像領域限定部１８は、使用領域決定部１７で校正に使用可能と判断された領域の撮像画像を抽出する。そして、外部パラメータ推定部１９は、画像領域限定部１８で抽出された領域の撮像画像を使って校正のための外部パラメータ推定処理を行う（ステップＳ１５）。なお、ステップＳ１４で校正に使用可能な領域がほとんどないと判断された場合（例えば中央付近しか直線性が維持されないと判断された場合）には、画像領域限定部１８では校正のための画像抽出は行われない。
ステップＳ１５による走行中の校正処理が行われた後、画像処理装置３は、次の校正処理を行うタイミングで、ステップＳ１１からの処理を実行する。

【0029】

なお、走行中の校正処理は、例えば走行開始（エンジンスタート）から一定時間ごとに行われる。あるいは、走行中の温度などの環境が一定値変化した場合に、走行中の校正処理が行われる。あるいはまた、一定時間ごとに校正を行うことを基本として、それに加えて、温度が一定値変化した場合にも校正を行うようにしてもよい。

【0030】

図４は、領域別可否判定部１６で撮像画像を複数の領域に分割する際の分割例を示す。
図４の例では、１フレームの画像を、短冊状に複数に分割している。すなわち、画像を垂直方向のラインでほぼ一定間隔で複数に分割して、１０個の領域ａ１－１，ａ１－２，ａ１－３，ａ１－４，ａ１－５，ａ１－６，ａ１－７，ａ１－８，ａ１－９，ａ１－１０を設定している。領域別可否判定部１６は、この１０個の領域ａ１－１～ａ１－１０のそれぞれで、直線性の可否の判定結果を一定時間蓄積する。

【0031】

図５は、直線性判定部１５における処理の詳細を説明するための図である。
直線性判定部１５は、最初に図５の左側の画像Ｐ１の中心部Ｐａの箇所で、直線性のある特徴物（直線状物体）Ｘ１，Ｘ２の検出を行う。ここで、特徴物Ｘ１，Ｘ２は、例えば路面Ｒの左右の脇の電柱であるとする。
この直線性のある特徴物Ｘ１，Ｘ２の検出には、例えば、画像の中から直線や円の要素を持つオブジェクトを検出する方法として知られているハフ変換を用いることができる。ハフ変換で検出した特徴物には、直線近似が行われ、直線から各点までの距離から直線性の判断が行われる。

【0032】

この直線状物体Ｘ１，Ｘ２は複数フレームに渡って追跡され、追跡された場所で再び、直線性判定部１５により特徴物Ｘ１，Ｘ２の直線性の判断が行われる。例えば、画像Ｐ１から所定時間後の撮影画像Ｐ２（図５の右側の画像）から、追跡された特徴物Ｘ１，Ｘ２の直線性の判断が行われる。
ここでの直線性の判断方法は、最初に画像Ｐ１から検出した際と同様に、近似直線を求めて、物体の各点から近似挑戦までの距離によって判断される。
そして、直線性判定部１５は、直線性があらかじめ定められた閾値以内であれば、その位置で直線と判断し、その位置を含む領域で直線性を維持していると判断する。
ここで判断する分割領域Ｐｂ（図５では左端の領域のみを示す）は、図４に示すように垂直なラインで分割した領域ａ１－１～ａ１－１０である。

【0033】

また、閾値を超えて直線性が維持されていない場合は、直線性判定部１５は、その位置では直線性が維持されていないと判断する。これを繰り返し、直線性判定部１５は、撮像された複数の物体に対して直線性の有無を判断し、一定数の判断を行った後、あるいは一定時間が経過した後に、領域別可否判定部１６は、領域ごとの直線性の可否の判定結果を集計して、領域ごとに可否を判定する。つまり、領域別可否判定部１６では、直線性が維持されている比率が高い領域が可の領域と判定され、直線性が維持されていない比率が多い領域が否の領域と判定される。

【0034】

使用領域決定部１７は、領域別可否判定部１６で可の領域と判定された領域を使用領域に設定し、その領域のみを走行中校正に使用可能な領域として決定する。したがって、実際の車両の走行中に追跡した物体の直線性の判定に基づいて、走行中の適切な校正ができるようになる。
この使用領域決定部１７で決定した領域の撮像画像を使って、外部パラメータ推定部１９で走行中の校正のための外部パラメータ推定処理が行われる。

【0035】

以上説明したように、本実施の形態例によると、本来直線として現れる物体を追跡し、画面上の各所で直線性が保たれていることを確認している。その結果、直線性が保たれていない領域を歪補正誤差の大きい領域と判断し、走行中の校正時にその領域を除外することで歪の補正誤差が少ない領域のみを用いて、精度の高い走行中の校正を行うことができる。したがって、走行時の温度変化などによって、画像の歪み補正誤差が発生した場合でも、歪みの少ない領域のみを用いることにより、校正による誤差の発生を防ぎ、正しい校正を維持することができる。

【0036】

また、使用可能な領域が少なくなった場合、校正を停止することによって誤った自動校正を防止することができる。
すなわち、図２に示す構成並びに図３のフローチャートの処理で直線を追跡して、直線性が維持されていると判断できる領域が少ない場合（ほとんどない場合）には、実質的に校正が行われず、誤った自動校正を防止することができる。例えば、カメラが設置された車両の温度が一時的に非常に高温になって歪が多いような状況のとき、その一時的な高温時の校正による誤差の発生を防ぐことができる。

【0037】

なお、図４に示す垂直なラインで分割した領域ａ１－１～ａ１－１０を設定するのは一例であり、図６または図７に示すような垂直なライン以外のその他の領域分割でもよい。
図６に示す例は、撮像範囲Ａ２を、撮像レンズの光軸中心から同心円状に分割して、領域ａ２－１，ａ２－２，ａ２－３，ａ２－４，ａ２－５，ａ２－６を設定した例である。広角レンズによる歪は光軸中心からの距離によって決まるため、レンズ歪補正誤差も光軸中心からの距離によって決まることが予想される。このため、図６に示す同心円状の領域分割にすることで、同一領域での歪補正残差が同等になることが期待できる。

【0038】

図７に示す例は、撮像範囲Ａ３を、撮像レンズの光軸中心を中心とする四角形の領域ａ３－１，ａ３－２，ａ３－３，ａ３－４，ａ３－５に分割した例である。どの領域ａ３－１～ａ３－５に直線状物体が存在しているかを判定するときに、図６のような円状の領域分割に比べて計算量が少なくなることが期待できる。
なお、領域分割は図４、図６，図７のいずれの例を適用してもよいが、例えば図４に示す垂直ラインで分割した場合には、物体の横位置（水平位置）のみで領域を判定することができるので、最も簡単な演算で領域判定を行うことができる。

【0039】

また、レンズ歪みの時間的変化は、温度変化による物理的な変形が大きな理由であるので、温度計測によって決定することも可能である。この場合は、あらかじめ温度によって使用可能な領域を決めておき、走行中に計測した温度によって使用可能な領域が決定される。また、計測温度を補助的に使用することによって、直線状の物体の検出数が少なかったり、検出できなかったりした場合にのみ温度情報に基づく領域決定を行うことも可能である。

【0040】

＜第２の実施の形態例＞
次に、本発明の第２の実施の形態例を、図８を参照して説明する。第２の実施の形態例を示す図８において、第１の実施の形態例で説明した図１～図７に対応する箇所には同一符号を付す。
本発明の第２の実施の形態例では、ステレオカメラとした２台の車載カメラ２Ｌ，２Ｒを用意し、そのステレオカメラである車載カメラ２Ｌ，２Ｒの校正を行うようにしたものである。すなわち、図８に示すように、左画像を撮像で得る車載カメラ２Ｌと、右画像を撮像で得る車載カメラ２Ｒとを、車両に搭載する。

【0041】

そして、図８に示すように、それぞれの車載カメラ２Ｌ，２Ｒの撮像画像を、画像取得部１１ａ，１１ｂで取得し、取得した各画像について、歪み除去部１２ａ，１２ｂでレンズ歪みの除去を行う。
その後、左画像の歪み除去画像のみを直線検出部１３に供給し、以後は、図２の構成と同様に、直線追跡部１４、直線性判定部１５、領域別可否判定部１６、及び使用領域決定部１７で順に処理して、追跡した直線性の判定結果に基づいて使用領域を判定する処理を行う。直線検出部１３から使用領域決定部１７までで行われる処理の詳細は、図３のフローチャートで説明した処理と同じである。

【0042】

そして、歪み除去部１２ａで得た左画像の歪み除去画像と、歪み除去部１２ｂで得た右画像の歪み除去画像とが、画像領域限定部１８に供給される。画像領域限定部１８は、使用領域決定部１７により指示された使用領域のみを、左画像と右画像から抽出し、外部パラメータ推定部１９で校正のための外部パラメータ推定処理を行う。

【0043】

この図８に示す構成にて処理を行うことで、ステレオカメラである車載カメラ２Ｌ，２Ｒの走行中の校正が可能になる。また、２台のカメラが配置されているが、直線検出部１３から使用領域決定部１７までの構成及び処理は、１つのカメラの撮像画像だけでよく、それだけ画像処理装置としての構成や処理が簡単になるという効果を有する。
なお、左画像だけについて使用領域判定を行うようにしたのは一例であり、右画像だけについて使用領域判定を行うようにしてもよい。

【0044】

＜第３の実施の形態例＞
次に、本発明の第３の実施形態例を、図９を参照して説明する。第３の実施形態例を示す図９において、第１及び第２の実施の形態例で説明した図１～図８に対応する箇所には同一符号を付す。
本発明の第３の実施の形態例では、第２の実施の形態例と同様に、ステレオカメラとした２台の車載カメラ２Ｌ，２Ｒを用意し、そのステレオカメラである車載カメラ２Ｌ，２Ｒの校正を行うようにしたものである。それぞれの車載カメラ２Ｌ，２Ｒの撮像画像を、画像取得部１１ａ，１１ｂで取得し、取得した各画像について、歪み除去部１２ａ，１２ｂでレンズ歪みの除去を行う点も図８と同様である。

【0045】

そして、本実施の形態例では、左画像の歪み除去画像が直線検出部１３ａに供給され、以後は、直線追跡部１４ａ、直線性判定部１５ａ、及び領域別可否判定部１６ａで順に左画像用の処理が行われる。さらに、右画像の歪み除去画像が直線検出部１３ｂに供給され、以後は、直線追跡部１４ｂ、直線性判定部１５ｂ、領域別可否判定部１６ｂで右画像用の判定処理が行われる。

【0046】

そして、領域別可否判定部１６ａで得られた左画像の領域別可否判定結果と、領域別可否判定部１６ｂで得られた右画像の領域別可否判定結果は、一つの使用領域決定部１７に送られる。
使用領域決定部１７は、左画像の領域別可否判定結果と右画像の領域別可否判定結果を総合的に判断して、校正用の使用領域を判定する。
使用領域決定部１７での判定結果に基づいて、画像領域限定部１８は、左画像と右画像の特定の領域を抽出して、外部パラメータ推定部１９に送り、校正のための外部パラメータ推定処理を実行させる。

【0047】

この図９に示す構成にて処理を行うことでも、ステレオカメラである車載カメラ２Ｌ，２Ｒの走行中の校正が可能になる。
ここで、本実施の形態例の場合には、領域別可否判定処理が、左画像と右画像の双方について行うようにしたため、それぞれの車載カメラ２Ｌ，２Ｒごとに最適な領域別可否判定が行われ、より正確なステレオカメラの走行中の校正が可能になる。

【0048】

＜変形例＞
なお、ここまで説明した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、上述した各実施の形態例では、走行中に撮像された画像内の直線構造物を追跡して、走行中に校正を行うようにしたが、直線性が維持されていることの検出は走行中に行い、校正そのものは、走行時の一時的な停止中などに行うようにしてもよい。また、走行中に校正を行う点は一例であり、その他のタイミングに判定や校正を行うようにしてもよい。
また、図１，図２，図８，図９に示す構成図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
また、図３に示すフローチャートの動作処理の流れについても一例であり、処理結果が同じであれば、一部の処理順序を変えたり、複数の処理を同時に実行したりしてもよい。

【0049】

また、本発明の画像処理装置内で行われる処理は、プログラム（ソフトウェア）の実行により行われるものであり、例えば既存の情報処理装置に、各実施の形態例で説明した処理を実行するプログラムを実装することで、本発明の画像処理装置として機能させてもよい。この場合のプログラムの情報は、メモリや、ハードディスク、ＳＳＤ(Solid State Drive)、ＩＣカード、ＳＤカード光ディスク等の各種記録媒体に置くことができる。
また、画像処理装置は、図１に示す構成では、ＣＰＵの制御で実行される情報処理装置（コンピュータ）で構成した例としたが、画像処理装置が行う機能の一部又は全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などの専用のハードウェアによって実現してもよい。

【符号の説明】

【0050】

１…車両、２…車載カメラ、２Ｌ，２Ｒ…車載カメラ（ステレオカメラ）、３…画像処理装置、４…車両制御装置、５…情報処理装置、５ａ…ＣＰＵ、５ｂ…ワークメモリ、５ｃ…記憶部、５ｄ…インターフェース、１１，１１ａ，１１ｂ…画像取得部、１２，１２ａ，１２ｂ…歪み除去部、１３，１３ａ，１３ｂ…直線検出部、１４，１４ａ，１４ｂ…直線追跡部、１５，１５ａ，１５ｂ…直線性判定部、１６，１６ａ，１６ｂ…領域別可否判定部、１７…使用領域決定部、１８…画像領域限定部、１９…外部パラメータ推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】