特許 6232933 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6232933

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20171113BHJP

   H04N 5/225 20060101ALI20171113BHJP

【ＦＩ】

   G06T5/00 725

   H04N5/225

【請求項の数】10

【全頁数】25

(21)【出願番号】特願2013-227142(P2013-227142)

(22)【出願日】2013年10月31日

(65)【公開番号】特開2015-88029(P2015-88029A)

(43)【公開日】2015年5月7日

【審査請求日】2016年9月2日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】高橋 勝彦

(72)【発明者】

【氏名】太田 直哉

(72)【発明者】

【氏名】鹿貫 悠多

【審査官】 石田 信行

(56)【参考文献】

【文献】 特開２０１２−１５５６５２（ＪＰ，Ａ）

【文献】 特開２００６−１９１２１０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力する画像入力手段と、
前記画像入力手段によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正手段と、
前記仮の歪み補正手段によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算手段と、
前記局所勾配方向ヒストグラム計算手段によって計算された局所勾配方向ヒストグラムに基づいて、前記仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段と、
前記偏り計算手段によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、前記仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択手段とを備えた
ことを特徴とする放射歪み補正装置。

【請求項2】

歪み補正画像選択手段は、局所勾配方向の偏りの度合いが最も大きい仮の歪み補正画像を、歪み補正画像として選択する
請求項１に記載の放射歪み補正装置。

【請求項3】

歪み補正画像選択手段による歪み補正画像の選択結果に基づいて、現時刻以降に入力される撮像画像に対して適用する歪み補正パラメータを決定する歪み補正パラメータ決定手段を備えた
請求項１または請求項２に記載の放射歪み補正装置。

【請求項4】

仮の歪み補正手段は、歪み補正パラメータに含まれる未知のパラメータを１つ選択し、選択した未知のパラメータの値を複数通り設定して、２以上の歪み補正パラメータを仮定し、
歪み補正パラメータ決定手段は、歪み補正画像選択手段の選択結果に基づいて、前記仮の歪み補正手段によって選択された未知のパラメータの値を決定する処理を、歪み補正パラメータに含まれるすべての未知のパラメータの値が決定されるまで逐次的に行う
請求項３に記載の放射歪み補正装置。

【請求項5】

仮の歪み補正手段は、多項式で表現される歪み補正モデル式中の歪み補正パラメータに含まれる未知のパラメータのうち、より低次の項に対応するパラメータから順に選択する
請求項４に記載の放射歪み補正装置。

【請求項6】

時々刻々入力される撮像画像に対して、歪み補正画像に選択された仮の歪み補正画像の生成に用いた歪み補正パラメータを、推定された歪み補正パラメータとして記憶する歪み補正パラメータ記憶手段を備え、
歪み補正パラメータ決定手段は、前記歪み補正パラメータ記憶手段に記憶されている、直近の所定数分の撮像画像に対して推定された歪み補正パラメータ群から中央値を算出し、算出された歪み補正パラメータの中央値を現時刻以降に入力される画像に対して適用する歪み補正パラメータとする
請求項３から請求項４のうちのいずれか１項に記載の放射歪み補正装置。

【請求項7】

局所勾配方向ヒストグラム計算手段は、画像内の任意の画素周辺の領域から求めた局所勾配方向に対して、勾配の大きさと、当該局所勾配方向を求めた領域における当該局所勾配方向に直交する直線と画像中心との間の距離とに応じた値を重みに用いて、局所勾配方向ヒストグラムを計算する
請求項１から請求項６のうちのいずれか１項に記載の放射歪み補正装置。

【請求項8】

車両に設置された撮像機器により撮影された撮像画像を入力する画像入力手段と、
前記画像入力手段によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像像を生成する仮の歪み補正手段と、
前記仮の歪み補正手段によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算手段と、
前記局所勾配方向ヒストグラム計算手段によって計算された局所勾配方向ヒストグラムに基づいて、前記仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段と、
前記偏り計算手段によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、前記仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択手段と、
前記歪み補正画像選択手段による歪み補正画像の選択結果に基づいて、現時刻以降に入力される撮像画像に対して適用する歪み補正パラメータを決定する歪み補正パラメータ決定手段と、
前記歪み補正パラメータ決定手段によって決定された歪み補正パラメータを、現時刻以降に入力される撮像画像に適用して、歪み補正画像を生成する歪み補正画像生成手段と、
前記歪み補正画像生成手段によって生成された歪み補正画像に対して、画像認識処理を行い、前記車両周辺の道路環境を認識する画像認識手段とを備えた
ことを特徴とする道路環境認識装置。

【請求項9】

放射歪み補正装置が、放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力し、
前記放射歪み補正装置が、入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成し、
前記放射歪み補正装置が、生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算し、
前記放射歪み補正装置が、計算された前記局所勾配方向ヒストグラムに基づいて、前記仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算し、
前記放射歪み補正装置が、計算された前記仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、前記仮の歪み補正画像の中から１の歪み補正画像を選択する
ことを特徴とする放射歪み補正方法。

【請求項10】

コンピュータに、
放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力する画像入力処理、
入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正処理、
生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算処理、
計算された前記局所勾配方向ヒストグラムに基づいて、前記仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算処理、および
計算された前記仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、前記仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択処理
を実行させるための放射歪み補正プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラの放射歪みを補正する放射歪み補正装置、放射歪み補正方法、放射歪み補正プログラムおよびそれを用いた道路環境認識装置に関する。

【背景技術】

【0002】

カメラの放射歪みを補正する方法として、例えば非特許文献１に記載された方法がある。非特許文献１に記載された方法は、チェッカーボードなどをカメラの前に設置して画像を撮影し、画像補正プログラムを用いて格子点の座標が定められた幾何学的要件を満たすような歪み補正係数を推定して、推定した歪み補正係数にしたがった画像変換を適用する。

【0003】

また、チェッカーボードのような特殊なキャリブレーションマーカーを用いない方法として、非特許文献２に記載された方法がある。非特許文献２に記載された方法は、柱や棚などの直線形状を含む物体を撮影し、撮影した画像中においてそのような直線形状を含む物体に対応する曲線をｓｎａｋｅｓと呼ばれる輪郭追跡法を用いて画像中から抽出し、それら曲線の位置情報から歪み補正係数を推定する。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Z.Zhang, "A flexible new thechnique for camera calibration", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.22(11), 2000, p.1330-1334.

【非特許文献2】S.B.Kang, "Radial Distortion Snakes", IAPR Workshop on Machine Vision Applications, 2000.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１や非特許文献２に記載された方法を車載カメラ等の放射歪みを自動的に補正するために用いようとすると、次のような問題があった。

【0006】

すなわち、非特許文献１に記載された方法を用いる場合、カメラが搭載される商品（例えば、車両）の組み立てライン上にチェッカーボードを都度設置するか、または該商品を製造ラインからはずして広いカメラ校正場に移動して歪み補正パラメータを計算するなどして設定しなければならず、いずれの場合も煩雑な作業が必要であった。また、チェッカーボードなどの特別な校正装置を必要とするために、車両走行中など、商品が人手に渡った後に歪み補正パラメータの最適値が変化することがあっても校正が容易でないという問題があった。車両の場合、校正作業を怠ると道路環境認識精度に悪影響がでるため、容易に校正を行える方法が望まれていた。

【0007】

また、非特許文献２に記載された方法を用いる場合、初期輪郭を人間が与える必要があり、校正を自動的に行うことができないという問題があった。

【0008】

そこで、本発明は、上述した点に鑑みて、チェッカーボードといった特別な校正装置を用いることなく、容易かつ自動的にカメラの放射歪みを補正することが可能な放射歪み補正装置、放射歪み補正方法、放射歪み補正プログラムを提供することを目的とする。

【0009】

また、本発明は、車両走行中に歪み補正パラメータの最適値が変化することがあっても道路環境の認識精度を保つことができる道路環境認識装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明による放射歪み補正装置は、放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力する画像入力手段と、画像入力手段によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正手段と、仮の歪み補正手段によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算手段と、局所勾配方向ヒストグラム計算手段によって計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段と、偏り計算手段によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択手段とを備えたことを特徴とする。

【0011】

本発明による道路環境認識装置は、車両に設置された撮像機器により撮影された撮像画像を入力する画像入力手段と、画像入力手段によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正手段と、仮の歪み補正手段によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算手段と、局所勾配方向ヒストグラム計算手段によって計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段と、偏り計算手段によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択手段と、歪み補正画像選択手段による歪み補正画像の選択結果に基づいて、現時刻以降に入力される撮像画像に対して適用する歪み補正パラメータを決定する歪み補正パラメータ決定手段と、歪み補正パラメータ決定手段によって決定された歪み補正パラメータを、現時刻以降に入力される撮像画像に適用して、歪み補正画像を生成する歪み補正画像生成手段と、歪み補正画像生成手段によって生成された歪み補正画像に対して、画像認識処理を行い、車両周辺の道路環境を認識する画像認識手段とを備えたことを特徴とする。

【0012】

本発明による放射歪み補正方法は、放射歪み補正装置が、放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力し、放射歪み補正装置が、入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成し、放射歪み補正装置が、生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算し、放射歪み補正装置が、計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算し、放射歪み補正装置が、計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択することを特徴とする。

【0013】

本発明による放射歪み補正プログラムは、コンピュータに、放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力する画像入力処理、入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正処理、生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算処理、計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算処理、および計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択処理を実行させることを特徴とする。

【発明の効果】

【0014】

本発明によれば、チェッカーボードといった特別な校正装置を用いることなく、容易かつ自動的にカメラの放射歪みを補正することができる。

【0015】

また、本発明によれば、車両走行中に歪み補正パラメータの最適値が変化することがあっても道路環境の認識精度を保つことができる。

【図面の簡単な説明】

【0016】

【図1】第１の実施形態の放射歪み補正装置の構成例を示すブロック図である。

【図2】撮像画像の一例を示す図である。

【図3】局所勾配方向ヒストグラムの例としてのグラフと、エントロピーの値とを示す図である。

【図4】歪み補正係数k₁とエントロピー値の関係の一例を示すグラフである。

【図5】第１の実施形態の放射歪み補正装置の動作例を示すフローチャートである。

【図6】第１の実施形態の放射歪み補正装置のハードウェア構成の一例を示す図である。

【図7】重みに用いる距離を説明するための説明図である。

【図8】第２の実施形態の放射歪み補正装置の構成例を示すブロック図である。

【図9】第２の実施形態の放射歪み補正装置の動作例を示すフローチャートである。

【図10】第３の実施形態の放射歪み補正装置の構成例を示すブロック図である。

【図11】エントロピーが明確な極小値を持たない場合の、歪み補正パラメータの値とエントロピーの値との関係の例を示す図である。

【図12】第４の実施形態の道路環境認識装置の構成例を示すブロック図である。

【図13】第４の実施形態の道路環境認識装置の動作例を示すフローチャートである。

【図14】第４の実施形態の道路環境認識装置の他の構成例を示すブロック図である。

【図15】第４の実施形態の道路環境認識装置の他の動作例を示すフローチャートである。

【図16】本発明の概要を示すブロック図である。

【発明を実施するための形態】

【0017】

実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、第１の実施形態の放射歪み補正装置の構成例を示すブロック図である。図１に示す放射歪み補正装置は、一例として、車両に設置された車載カメラの放射歪みを補正する。放射歪み補正装置は、撮像手段１０１と、仮の歪み補正手段１０２と、局所勾配方向ヒストグラム計算手段１０３と、エントロピー計算手段１０４と、歪み補正画像選択手段１０５とを備える。

【0018】

撮像手段１０１は、放射歪みの補正対象機器である車載カメラ等の撮像機器とその撮像機器によって撮影された画像を入力するインタフェース部とを含み、設置された状態で映る景色等を撮影して、得られた画像（以下、撮像画像という）を入力する。撮像手段１０１は、例えば車両に設置される場合には、道路やその脇の建物等といった時々刻々変化する周辺の景色等を撮影して得られる映像信号に基づく画像を入力してもよい。画像はカラー画像であってもよいし、モノクロ画像であってもよい。また、動画であってもよいし、静止画であってもよい。

【0019】

図２は、撮像画像の一例を示す説明図である。図２に示すように、一般にレンズを使って像を結ぶカメラ等の撮像機器では、実世界上で直線形状をなしているものが樽型に湾曲して撮像される「放射歪み」という現象が発生する。これは、レンズの歪みによって直線が歪んで投影されるために生じ、画像周辺になるほどその歪みが顕著になる。なお、図２に示す撮像画像の例は、画像内に写る物体の輪郭を強調するため二値化画像に変換されている。

【0020】

仮の歪み補正手段１０２は、入力された撮像画像に対して、仮の歪み補正パラメータに基づく歪み補正処理を行い、仮の歪み補正画像を生成する。仮の歪み補正手段１０２は、仮の歪み補正パラメータを少なくとも２以上生成する。

【0021】

撮像手段１０１から入力される撮像画像の画素位置を(x, y)とし、生成される仮の歪み補正画像の画素位置を(x', y')とすると、両者の対応関係は歪み補正パラメータ(k₁, k₂, k₃, k₄,..., k_D)を用いて以下の式により表される。

【0022】

【数1】

【0023】

実際には、D=2として近似しても精度的に問題ないことが広く知られている。すなわち、上記式（１）を以下の式（２）としても問題ない。

【0024】

【数2】

【0025】

仮の歪み補正手段１０２は、上述した式（１）や式（２）に示される歪み補正モデルに使用される歪み補正パラメータ(k₁,..., k_D)をさまざまに仮定し、仮定した各歪み補正パラメータをそれぞれ歪み補正モデルに適用することによりさまざまな仮の歪み補正画像を生成する。なお、歪み補正前の画像および補正後の画像は、それぞれカラー画像でもモノクロ画像でも構わない。

【0026】

局所勾配方向ヒストグラム計算手段１０３は、仮の歪み補正手段１０２が生成した仮の歪み補正画像の各々に対して、局所勾配方向ヒストグラムを計算する。局所勾配方向ヒストグラムは、画像内の任意の画素周辺の局所的な部分領域における輝度の変化の方向である勾配方向（以下、局所勾配方向という）を測定値とするヒストグラムである。具体的には、局所勾配方向ヒストグラムは対象画像における局所勾配方向の分布が表現されていればよい。本実施形態では、局所勾配方向ヒストグラムとして、対象画像から求めた各画素周辺の局所勾配方向を所定の階級（bin）に分けたときのその階級ごとの度数（出現数や頻度（確率））を計算する。以下に一例を紹介する。局所勾配方向ヒストグラム計算手段１０３は、例えば、各画素に対して求めた局所勾配方向θ(x, y)と、その勾配の大きさm(x, y)とを用いて、次のように局所勾配方向ヒストグラムを計算してもよい。なお、勾配の大きさm(x, y)は、階級ごとの度数を求める際に各局所勾配方向θに付与する重みに利用される。

【0027】

局所勾配方向ヒストグラム計算手段１０３は、仮の歪み補正画像がカラー画像の場合は輝度画像に変換した後、以下の処理を行う。すなわち、輝度画像I中の各画素に対し、局所勾配方向θ(x, y)および勾配の大きさm(x, y )を以下の式（３）により算出する。

【0028】

【数3】

【0029】

ここで、関数F_x (x, y)は、画素位置(x, y)におけるx軸方向（水平方向）の画素値（本例の場合、輝度値）の微分値を返す関数である。また、関数F_y(x, y)は画素位置(x, y)におけるy軸方向（垂直方向）の画素値の微分値を返す関数である。なお、デジタル化された画像の場合、画素値の変化に対する微分演算は、差分演算に置き換えることができる。したがって、関数F_x (x, y)および関数F_y (x, y)は、以下の式（４）、式（５）に示すような差分演算を行う関数であってもよい。なお、差分演算を行う場合には、PrewittフィルタやSobelフィルタ等を用いて雑音の低減およびノイズの除去を行うのが好ましい。

【0030】

例えば、局所勾配方向ヒストグラム計算手段１０３は、Prewittオペレータを用いて、
F_x(x, y) = I(x+1, y-1)+I(x+1, y)+I(x+1, y+1)-I(x-1, y-1)-I(x-1, y)-I(x-1, y+1)
F_y(x, y) = I(x-1, y+1)+I(x, y+1)+I(x+1, y+1)-I(x-1, y-1)-I(x, y-1)-I(x+1, y-1)
・・・（４）
としてもよいし、より少ない演算量で、
F_x(x, y) = I(x+1, y)-I(x-1, y)
F_y(x, y) = I(x, y+1)-I(x, y-1)
・・・（５）
としてもよい。ここで、I(x, y)は画素位置(x,y)における輝度値を表す。

【0031】

次に、局所勾配方向ヒストグラム計算手段１０３は、各画素に対して求めた局所勾配方向θ(x, y)を、以下の式（６）に示すように所定の方向区分毎に重み付け平均して、局所勾配方向ヒストグラムを算出する。

【0032】

【数4】

【0033】

ここで、Nは局所勾配方向の分割数すなわちヒストクラムにおける階級（bin）の数を表している。また、iはbinの番号すなわち局所勾配方向の方向区分の識別子を表している。したがって、h(i)はiで示されるbinのヒストグラム値（本例では、頻度（確率））を表す。またδ(i, j)はクロネッカーのデルタ記号を表している。また、Iは輝度画像全体を表している。また、m(x, y)は重みである。また、[]はガウスの記号を表している。

【0034】

エントロピー計算手段１０４は、局所勾配方向ヒストグラム計算手段１０３が計算した局所勾配方向ヒストグラムに基づいて、仮の歪み補正手段１０２が生成した仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを示す指標としてのエントロピーを計算する。エントロピー計算手段１０４は、例えば、各仮の歪み補正画像について、以下の式（７）を用いて局所勾配方向ヒストグラムのエントロピーEを計算してもよい。

【0035】

【数5】

【0036】

エントロピーEの値は、対象画像の局所勾配方向ヒストグラムにおいて、各binについて求めたヒストグラム値h(i)が特定のbin（すなわち特定の方向区分）に偏って分布するほど0に近づき、各binに均一に分布するほど大きな値となる。

【0037】

一例として、同一風景に対して放射歪みのある画像と放射歪みのない画像とから各々求めた局所勾配方向ヒストグラムの例としてのグラフとそのエントロピー値とを図３に示す。図３に示すグラフの横軸は5度毎に分割した局所勾配方向の方向区分であるbinを示し、縦軸はヒストグラム値すなわち画像内における局所勾配方向の重み付けされた頻度（確率）を示している。また、bin毎に2本記載した棒グラフのうち、左側（黒色の棒）が放射歪みのない画像から求めた局所勾配方向ヒストグラムのヒストグラム値を示し、右側（白色の棒）が放射歪みのある画像から求めた局所勾配方向ヒストグラムのヒストグラム値を示す。

【0038】

図３に示されるグラフより、放射歪みのない画像は、放射歪みのある画像と比較して、局所勾配方向0度、90度、180度付近に対応するヒストグラム値が特に高く、局所勾配方向に対する偏りが大きいことがわかる。また、図３には、各局所勾配方向ヒストグラムのエントロピー値が示されている。図３に示すように、放射歪みのない画像の局所勾配方向ヒストグラムのエントロピー値は3.803であり、放射歪みのある画像の局所勾配方向ヒストグラムのエントロピー値は3.966であり、放射歪みのない画像の方がエントロピー値が小さいことがわかる。

【0039】

図４は、同じ画像に対して歪み補正の程度をさまざまに変えた場合のエントロピー値の変化を示すグラフである。図４のグラフには、歪み補正パラメータに含まれるパラメータである歪み補正係数k₁をさまざまに変えた場合のエントロピー値の変化の様子が示されている。歪み補正係数k₁を変えたときの歪み補正画像の歪みの程度とエントロピー値とを見比べると、放射歪みのない画像に対するエントロピー値４０１が極小値を取ることがわかる。歪み補正パラメータの他の歪み補正係数をさまざまに変えた場合も同様のグラフが得られることから、エントロピー値の極小値を与える画像では放射歪みが良好に補正されることがわかる。

【0040】

歪み補正画像選択手段１０５は、仮の歪み補正手段１０２が生成した仮の歪み補正画像の各々に対して算出されたエントロピー値を基に、歪み補正画像を１つ選択する。歪み補正画像選択手段１０５は、具体的には、生成された仮の歪み補正画像のうち極小値のエントロピー値を与える仮の歪み補正画像を、最も放射歪みが補正された歪み補正画像として選択する。なお、これにより、選択された画像の生成に用いた仮の歪み補正パラメータが最も放射歪みを補正する歪み補正パラメータとの推定結果が得られる。放射歪み補正装置は、このようにして推定された歪み補正パラメータを用いて、以後に入力される撮像画像に対して放射歪みの補正を行うことも可能である。

【0041】

次に、本実施形態の放射歪み補正装置の動作を説明する。図５は、本実施形態の放射歪み補正装置の動作例を示すフローチャートである。図５に示すように、まず、撮像手段１０１が、設置された状態で映る景色等を撮像して、撮像画像を取り込む（ステップＳ１０１）。

【0042】

次に、仮の歪み補正手段１０２は、仮の歪み補正パラメータをさまざまに設定し、設定した仮の歪み補正パラメータの各々を用いて入力された撮像画像に仮の歪み補正を施し、対応する仮の補正後画像を生成する（ステップＳ１０２）。

【0043】

次に、局所勾配方向ヒストグラム計算手段１０３は、仮の歪み補正手段１０２が生成した仮の歪み補正画像の各々に対して、局所勾配方向ヒストグラムを算出する（ステップＳ１０３）。

【0044】

次に、エントロピー計算手段１０４は、局所勾配方向ヒストグラム計算手段１０３が生成した各局所勾配方向ヒストグラムのエントロピーを計算する（ステップＳ１０４）。

【0045】

最後に、歪み補正画像選択手段１０５は、エントロピー計算手段１０４が算出した各エントロピーのうち、極小のエントロピーを与える仮の歪み補正画像を、放射歪みが正しく補正された画像として選択する（ステップＳ１０５）。

【0046】

以上のように、本実施形態によれば、組み立てライン上にチェッカーボードを都度設置したり、車両を製造ラインから取り外して移動したりする手間をかけることなく、補正対象の撮像機器である撮像手段１０１が撮影した撮像画像から自動的に良好な歪み補正パラメータを推定でき、適切な歪み補正画像を得ることができる。

【0047】

これは以下の原理による。局所勾配方向ヒストグラムのエントロピーは、各画素に対して定義される局所勾配方向の画像全体での出現頻度が偏っている場合に小さな値をとる。さらに、実世界上に多く存在する直線形状は正しく歪み補正された画像上では直線状をなし、逆に歪んだ画像上では曲線をなす。直線や曲線の局所的な向きは局所勾配方向と直交する関係にあるため、局所勾配方向ヒストグラムのエントロピーの極小値を与える画像は、実世界上の直線形状が正しく直線状に変換された画像、すなわち正しく歪み補正された画像であるといえるからである。

【0048】

また、本実施形態によれば、車両上等で歪み補正パラメータの最適値が変化するようなカメラであっても、良好に歪み補正パラメータを最適化できる。なぜならば、歪み補正パラメータを組み立てライン上で１度だけ校正するのではなく、車両走行中に動的に歪み補正パラメータを推定して最適化することができるからである。したがって、本実施形態の放射歪み補正装置を車両等に設置すれば、良好に道路環境の認識を行うことが可能である。

【0049】

また、図６は、本実施形態の放射歪み補正装置のハードウェア構成の一例を示す図である。本実施形態の放射歪み補正装置は、例えば図６に示すようなハードウェア構成を有する組み込みシステム（Ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ）により実現されてもよい。図６に示す組み込みシステムは、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）６０１と、カメラ６０２とを備えている。ＥＣＵ６０１は、当該組み込みシステム全体の制御を行うものであり、例えばＣＰＵ６０３、ＲＡＭ６０４、ＲＯＭ６０５、信号処理回路６０６、電源回路６０７などから構成される。ＥＣＵ６０１のＲＯＭ６０５が、上記で説明した放射歪み補正装置の各処理手段に相当するモジュールを搭載し、ＣＰＵ６０３がそれらモジュールを読み出して実行することにより、当該組み込みシステムが放射歪み補正装置として動作する。本例において、撮像手段１０１はカメラ６０２および信号処理回路６０６により実現される。また、仮の歪み補正手段１０２、局所勾配方向ヒストグラム計算手段１０３、エントロピー計算手段１０４および歪み補正画像選択手段１０５は、プログラムに従って動作するＣＰＵ６０３により実現される。また、ＥＣＵ６０１で実行される機能をハードウェア化してマイクロコンピュータを構成することも可能である。さらには、一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。

【0050】

また、上記実施形態では、局所勾配方向ヒストグラム計算手段１０３が輝度画像を用いて局所勾配方向ヒストグラムを計算する例が示されているが、局所勾配方向ヒストグラムの計算に用いる画像は輝度画像に限定されない。例えば、カラー画像の緑成分値や赤成分値や青成分値のみを抽出した画像を用いてもよい。そのような場合、局所勾配方向ヒストグラムは、画像内の任意の画素周辺の局所領域における画素値（緑成分値、赤成分値または青成分値）の変化の方向を表す局所勾配方向θ(x, y)をヒストグラム化したものであってもよい。また、例えば赤成分値と緑成分値と青成分値とを合計した値を画素値とするような画像を用いてもよいし、近赤外線画像を用いてもよい。すなわち、局所勾配方向ヒストグラムの計算に用いる画像は、画素値に明るさの情報を含む画像であればよい。

【0051】

また、上記実施形態ではD=2、すなわち仮の歪み補正手段１０２が２つ歪み補正係数からなる歪み補正パラメータ(k₁, k₂)を用いて放射歪みを補正する例が主に示されているが、より高次の歪み補正パラメータを用いる場合も、演算量は増えるが全く同じ手順でカメラの放射歪みが好適に補正された画像を得ることができる。

【0052】

また、上記実施形態では、局所勾配方向ヒストグラム計算手段１０３が各画素に対して求めた局所勾配方向をヒストグラム化する際に、勾配の大きさm(x, y)を重みとして用いる例が示されているが、重みはこれに限定されない。例えば、勾配の大きさm(x, y)をあらじめ定めた関数gを用いて変換したg(m(x, y))を重みとしてもよい。gは例えばステップ関数であってもよいし、m(x, y)の上限をクリッピングするような関数であってもよい。また、例えば勾配の大きさm(x, y)に、局所勾配方向θ(x, y)に直交する直線と画像中心との距離d(x, y)に応じた値を乗じたものを重みとしてもよい。

【0053】

図７は、重みに用いる距離d(x, y)の例を示す説明図である。なお、図７（ａ）は撮像画像の一例を示す説明図であり、図７（ｂ）は図７（ａ）に示す撮像画像の輪郭強調画像であり、図７（ｃ）は図７（ｂ）に示す画像に説明用に付されたピンや線を切り出して示す説明図である。

【0054】

今、図７（ｂ）に示すように、画像９０１中の着目画素９０２における局所勾配方向θ(x, y)は、方向９０３のように路面上の白線に直交する方向となっている。この場合において、方向９０３に直交する直線９０４と画像中心９０５との間の距離９０６（図７（ｃ）参照）が、距離d(x, y)に相当する。

【0055】

距離d(x, y)が比較的小さい場合（例えば、全体平均以下など）、歪み補正パラメータをどのように変更しても、対応するbinの値の変化は小さい。換言すると、このような距離d(x, y)が比較的小さい画素の局所勾配方向はエントロピー値の増減にあまり寄与しない。そこで、このような画素（すなわち、画像中心付近に通る方向のエッジを有するような画素）における局所勾配方向に対する重みを相対的に小さくし、画像周辺の重要な画素（エントロピーの増減への寄与が大きい画素）から得た局所勾配の重みを相対的に大きくすることにより、歪み補正パラメータをより正確に求めることができる。

【0056】

例えば、局所勾配方向ヒストグラム計算手段１０３は、上述した式（６）に代えて以下の式（８）を用いて所定の方向区分毎に各画素の局所勾配方向θ(x,y)を重み付け平均して、局所勾配方向ヒストグラムを算出してもよい。なお、式（８）では、勾配の大きさm(x, y)に距離d(x, y)を乗じた値が、測定値（画素ごとの局所勾配方向）に対する重みとして用いられているが、距離d(x,y)をそのまま用いずに距離d(x,y)に応じた値を勾配の大きさm(x, y)に乗じた値を重みとして用いてもよい。

【0057】

【数6】

【0058】

また、距離d(x,y)の計算を省略するため、予め画像内の小領域ごとに、所定の方向区分の各々に対応した距離由来の重み値として、当該小領域における所定の方向区分ごとの距離d(x,y)または距離d(x,y)に応じた値を保持する重みテーブルを用意してもよい。局所勾配方向ヒストグラム計算手段１０３は、局所勾配方向ヒストグラムを計算する際に、この重みテーブルを参照して各測定値に対応する距離由来の重み値を得てもよい。このようにすれば平方根の計算等を行わずに、テーブルルックアップ処理のみで重みを決定できる。

【0059】

また、上記実施形態では、画像内における局所勾配方向の偏りの度合いを表す指標（以下、偏り指標という）として、エントロピーを用いる例が示されているが、偏り指標はエントロピーに限定されない。例えば、局所勾配方向ヒストグラムから求まる他の統計量（標準偏差や分散や二乗和等）であってもよい。偏り指標として標準偏差や分散や二乗和を用いる場合、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段として、エントロピー計算手段に代えて標準偏差や分散や二乗和を計算する手段を備えればよい。また、歪み補正画像選択手段１０５は、各仮の歪み補正画像について求めた統計量（標準偏差、分散または二乗和）の中から最大値を与える仮の歪み補正画像を最も放射歪みが補正された画像に選択すればよい。分散や標準偏差、二乗和の値は偏りが大きいほど大きな値をとるため、極大値をとる場合が実世界上の直線形状が正しく直線状に変換された画像、すなわち正しく歪み補正された画像であるといえるからである。

【0060】

なお、偏り計算手段は、偏り指標として、画像内における局所勾配方向の分布や頻度の偏りをスカラー値で示す指標であれば、エントロピーや標準偏差などに代えて用いることができることはいうまでもない。

【0061】

また、上記実施形態では、局所勾配方向ヒストグラムをPrewittオペレータや左右および上下の画素値の差に基づき計算する例が示されているが、局所勾配方向ヒストグラムの計算方法はこれに限定されるものではなく、対象画像内の任意の画素周辺の局所的な部分領域における勾配方向の分布を求める手法であればよい。

【0062】

実施形態２．
次に、本発明の第２の実施形態を説明する。図８は、本実施形態の放射歪み補正装置の構成例を示すブロック図である。図８に示す照射歪み補正装置は、撮像手段２０１と、仮の歪み補正手段２０２と、局所勾配方向ヒストグラム計算手段２０３と、エントロピー計算手段２０４と、パラメータ逐次決定手段２０５と、歪み補正画像生成手段２０６とを備える。

【0063】

撮像手段２０１、局所勾配方向ヒストグラム計算手段２０３およびエントロピー計算手段２０４は、図１に示される第１の実施形態の放射歪み装置における撮像手段１０１、局所勾配方向ヒストグラム計算手段１０３およびエントロピー計算手段１０４の機能と同一の機能を有する。

【0064】

本実施形態の仮の歪み補正手段２０２は、歪み補正モデルに使用される歪み補正パラメータのうちの未知のパラメータ（歪み補正係数）の１つについて複数通りの値を仮定して、対応する仮の歪み補正画像を生成する。本実施形態において、仮の歪み補正手段２０２は少なくとも未知のパラメータの数だけ呼び出される。仮の歪み補正手段２０２は、例えば、呼び出される度にrの次数が小さい項に対応するパラメータから順に１つ選択し、選択した歪み補正係数について複数通りの値を設定して、対応する仮の歪み補正画像を生成してもよい。本例の場合、歪み補正係数k₁, k₂, k₃, k₄,... k_Dの順に１つずつ選択される。

【0065】

このとき、例えば歪み補正係数k₁を選択した段階では、高次の項に対応する未知のパラメータである歪み補正係数k₂, k₃, k₄,..., k_Dには固定値、例えば0を設定してもよい。さらに、後述するパラメータ逐次決定手段２０５によって現在選択中の歪み補正係数k₁の値が決定された後に、次の呼び出しにより歪み補正係数k₂を選択した段階では、低次の項に対応するパラメータである歪み補正係数k₁についてはパラメータ逐次決定手段２０５が決定した値とし、高次の項に対応する未知のパラメータである歪み補正係数k₃, k₄,..., k_Dについては固定値、例えば0を設定する。その上で、現在選択中の未知のパラメータである歪み補正係数k₂の値をいろいろに設定し、対応する仮の歪み補正画像を生成する。

【0066】

パラメータ逐次決定手段２０５は、エントロピー計算手段２０４が算出した各仮の歪み補正画像に対するエントロピーに基づいて、極小のエントロピーを与える仮の歪み補正画像を選択し、その仮の歪み補正画像の生成に用いた仮の歪み補正パラメータに設定した値を、現在選択中の１つの未知のパラメータ（歪み補正係数）に対する推定結果として決定する。また、パラメータ逐次決定手段２０５は、まだ未知のパラメータがある場合は再び仮の歪み補正手段２０２を呼び出して、次の未知のパラメータに対応するさまざまな仮の歪み補正画像を生成させる。このようにして、逐次的に未知のパラメータの値を決定していき、最後の未知のパラメータの値を決定すると、これらの値からなる歪み補正パラメータを、最も放射歪みが補正される歪み補正パラメータの推定結果とする。なお、最後の段階すなわち最後の未知のパラメータを決定する段階で選択される仮の歪み補正パラメータは、それまでの段階で決定された値を全て有していることから、パラメータ逐次決定手段２０５は、最後の段階で選択された仮の歪み補正パラメータをそのまま、最も放射歪みが補正される歪み補正パラメータの推定結果としてもよい。

【0067】

歪み補正画像生成手段２０６は、パラメータ逐次決定手段２０５によって決定された最も放射歪みが補正される歪み補正パラメータを用いて、入力された撮像画像に対して放射歪みの補正を行って、放射歪みが正しく補正された歪み補正画像を生成する。

【0068】

次に、本実施形態の動作を説明する。図９は、本実施形態の放射歪み補正装置の動作例を示すフローチャートである。図９に示すように、まず、撮像手段２０１が、設置された状態で映る景色等を撮像して、撮像画像を取り込む（ステップＳ２０１）。

【0069】

次に、仮の歪み補正手段２０２は、歪み補正パラメータのうちの未知のパラメータの１つを選択し、選択した未知のパラメータについて値をさまざまに設定して、対応する仮の補正後画像を生成する（ステップＳ２０２）。ステップＳ２０２では、仮の歪み補正手段２０２は、未知のパラメータのうちより低次の項に対応するパラメータから順に選択する。

【0070】

次に、局所勾配方向ヒストグラム計算手段２０３は、ステップＳ２０２で生成された仮の歪み補正画像の各々に対して、局所勾配方向ヒストグラムを算出する（ステップＳ２０３）。

【0071】

次に、エントロピー計算手段２０４は、ステップＳ２０３で計算された各仮の歪み補正画像の局所勾配方向ヒストグラムから、エントロピーを計算する（ステップＳ２０４）。

【0072】

次に、パラメータ逐次決定手段２０５は、ステップＳ２０４で計算された各エントロピーのうち、極小のエントロピーを与える仮の歪み補正画像を選び、その仮の歪み補正画像を生成するのに用いた仮の歪み補正パラメータに設定した値を、ステップＳ２０２で選択された未知のパラメータの１つに対する推定結果として決定する（ステップＳ２０５）。

【0073】

次いで、まだ未知のパラメータがある場合には（ステップＳ２０６のＹｅｓ）、ステップＳ２０２に戻る。一方、未知のパラメータがなくなった場合には（ステップＳ２０６のＮｏ）、ステップＳ２０７に進む。

【0074】

ステップＳ２０７では、歪み補正画像生成手段２０６が、パラメータ逐次決定手段２０５により決定されたすべてのパラメータ値からなる歪み補正パラメータを用いて、入力された撮像画像に対して変換処理を行い、歪みが正しく補正された歪み補正画像を生成する（ステップＳ２０７）。なお、歪み補正パラメータを決定する際に用いた撮像画像に対しては、歪み補正画像が既に選択されているので、改めて歪み補正画像を生成する必要はない。歪み補正画像生成手段２０６は、歪み補正パラメータ決定後に入力される撮像画像に対して、歪み補正画像を生成すればよい。

【0075】

以上のように、本実施形態によれば、より高速に歪み補正パラメータを最適化できる。例えば、歪み補正パラメータ(k₁,..., k_D)の各パラメータに対してM通りの値を設定して最小のエントロピーを与える組合せを求める場合を考えると、第１の実施形態の構成ではM^D通りの仮の歪み補正パラメータを設定して最小値を探索する必要があるが、本実施形態の構成によれば、M×D通りの探索で済む。また、一般に低次の項ほど放射歪みへの影響が大きいため、低次の項に対応するパラメータから逐次決定する方法によって、最終的に求められたすべてのパラメータを用いて良好な歪み補正パラメータを得ることができる。

【0076】

実施形態３．
次に、本発明の第３の実施形態を説明する。図１０は、本実施形態の放射歪み補正装置の構成例を示すブロック図である。図１０に示すように、本実施形態の放射歪み補正装置は、図８に示した第２の実施形態の放射歪み補正装置におけるパラメータ逐次決定手段２０５に代えて、歪み補正パラメータ決定手段３０５が設けられている点が異なる。

【0077】

歪み補正パラメータ決定手段３０５は、上述したパラメータ逐次決定手段２０５に加えて、さらに歪み補正パラメータ記憶手段３０５１と時系列判定手段３０５２とを含む。

【0078】

歪み補正パラメータ記憶手段３０５１は、撮像手段２０１から時々刻々入力される撮像画像に対して推定された歪み補正パラメータの値、より具体的には歪み補正画像に選択された仮の歪み補正画像の生成に用いた歪み補正パラメータの値を記憶する。歪み補正パラメータ記憶手段３０５１は、例えば、第１または第２の実施形態で示した方法によって推定結果として決定された歪み補正パラメータの値、または後述する本実施形態の方法によって最終的に決定された歪み補正パラメータの値を、時間情報とともに記憶してもよい。

【0079】

時系列判定手段３０５２は、歪み補正パラメータ記憶手段３０５１に記憶されている直近の所定数分の時刻の撮像画像に対して推定された歪み補正パラメータ群から、歪み補正パラメータの中央値を算出し、算出された値からなる歪み補正パラメータを、最終的な推定結果とする。時系列判定手段３０５２は、例えば、歪み補正パラメータをD個の要素をもつベクトルまたは行列とみなして、そのようなベクトルまたは行列の値の中央値を算出してもよいし、歪み補正係数ごとに中央値を算出してもよい。なお、直近の時刻には現時刻が含まれていてもよい。

【0080】

時系列的に得られるパラメータの中央値を選択することにより、より安定的に歪み補正パラメータを求めることができる。

【0081】

時系列処理を行わない場合、推定される歪み補正パラメータは、入力された一瞬の映像の性質に大きく依存する。例えば、推定の対象とされた撮像画像が歪み補正パラメータの推定に不向きな場合には、時系列処理を行わないと安定したパラメータ値を得ることは難しくなる。歪み補正パラメータの推定に不向きな場合とは、画像中に直線的な構造を持つ物体を含まない場合である。したがって、そのような一瞬の映像の性質による影響を小さくすることにより、安定した歪み補正パラメータを得ることができる。

【0082】

また、歪み補正パラメータの推定に不向きな画像に対して推定された歪み補正パラメータを除外するための仕組みとして、歪み補正パラメータ記憶手段３０５１は、図１１に示すようにエントロピーが明確な極小値をとらなかった場合はそのときに推定された歪み補正パラメータを記憶しないようにしてもよい。図１１（ａ）〜図１１（ｃ）は、エントロピーが明確な極小値を持たない場合の、歪み補正パラメータのある歪み補正係数値とエントロピー値との関係の例を示すグラフである。図１１（ａ）に示す例は、歪み補正係数値の変化に対してエントロピーが単調増加する例である。また、図１１（ｂ）に示す例は、歪み補正係数値の変化に対してエントロピーが単調減少する例である。また、図１１（ｃ）に示す例は、歪み補正係数値の変化に対してエントロピーの極小値がはっきり表れない例である。このように、生成した仮の歪み補正画像群においてエントロピーが極小値をとらない場合や極小値がはっきりと表れない場合の推定結果を記憶対象から除外することにより、より安定的に歪み補正パラメータを推定することが可能となる。

【0083】

なお、歪み補正パラメータ記憶手段３０５１に記憶される歪み補正パラメータ群の数の最大値は事前に定められる。時系列判定手段３０５２は、例えば歪み補正パラメータ記憶手段３０５１に記憶された歪み補正パラメータ群の数が最大値に達した際に得られた中央値による歪み補正パラメータを最終的に選択して、歪み補正パラメータ推定処理を終了してもよいし、歪み補正パラメータ記憶手段３０５１をＦＩＦＯ構造にしておき、移動中央値法に基づいて時々刻々と中央値を求めて、歪み補正パラメータを更新し続けてもよい。

【0084】

また、上記実施形態では、第２の実施形態の構成に対して、歪み補正パラメータ記憶手段３０５１および時系列判定手段３０５２とを追加して、時系列処理を行う例が示されているが、第１の実施形態の構成に対して同様の追加を行うことも可能である。そのような場合には、歪み補正画像選択手段１０５を歪み補正パラメータ決定手段３０５に代え、その歪み補正パラメータ決定手段３０５が、歪み補正画像選択手段１０５と歪み補正パラメータ記憶手段３０５１と時系列判定手段３０５２とを含むようにすればよい。

【0085】

実施形態４．
次に、本発明の第４の実施形態を説明する。図１２は、本実施形態の周辺環境認識装置の構成例を示すブロック図である。図１２に示す周辺環境認識装置は、図１０に示した第３の実施形態の放射歪み補正装置の構成に加えて、画像認識手段４０１と、表示手段４０２とをさらに備える。

【0086】

画像認識手段４０１は、画像認識技術を利用して、歪み補正画像生成手段２０６から出力される画像から所定の対象物を認識する。例えば、本実施形態の周辺環境認識装置が、車載に搭載されて道路環境を認識するために用いられる道路環境認識装置である場合には、画像認識手段４０１は、指定された画像から、歩行者や障害物や車両や道路標識といった所定の対象物を認識して、障害物検知、車両検知、道路標識認識などの安全運転支援を行うものであってもよい。例えば、画像認識手段４０１は、画像内から所定の対象物を認識して、その種類を特定したり、当該車両とその対象物との距離を算出してもよい。

【0087】

本実施形態において画像認識手段４０１は、歪み補正画像生成手段２０６から出力される、放射歪みが補正された歪み補正画像に対して画像認識処理を行う。

【0088】

表示手段４０２は、画像認識手段４０１が認識した対象物の種類や距離など、得られた対象物に関する情報を出力する。表示手段４０２は、例えば、対象物が認識された画像に対して当該対象物を強調する加工を行ったり、距離を示す情報を追加するなどして得られた対象物に関する情報を画面に表示したり、音声にしてユーザに通知してもよい。

【0089】

撮像画像に放射歪みが生じていると、歩行者や障害物や車両や道路標識といった所定の対象物を認識することが難しい場合があるが、歪み補正画像生成手段２０６から出力される画像は放射歪みが補正されているので、本来の認識性能を実現することができる。

【0090】

図１３は、本実施形態の周辺環境認識装置の動作の一例を示すフローチャートである。なお、ステップＳ３０１〜Ｓ３０７の処理は上述したステップＳ２０１〜Ｓ２０７の処理と同様であるので、説明を省略する。なお、図示省略しているが、ステップＳ３０７の前に、時系列判定手段３０５２が、歪み補正パラメータ記憶手段３０５１に記憶されている歪み補正パラメータ群から中央値を求め、最終的な歪み補正パラメータを決定してもよい。

【0091】

ステップＳ３０７で歪み補正画像が生成されると、画像認識手段４０１は、歪み補正画像に対して画像認識を行い、対象物が認識されるとそれら認識された対象物の情報を画像から得る（ステップＳ３０８）。

【0092】

次に、表示手段４０２が、画像認識処理の結果、得られた情報を出力する（ステップＳ３０９）。

【0093】

上記動作を指定のタイミングでまたは撮像手段２０１が起動している間繰り返し行うことにより、常に最新の歪み補正パラメータを求めつつ、求めた補正パラメータ値により歪み補正された画像に対して画像認識を行うことができる。

【0094】

また、図１４は本実施形態の周辺環境認識装置の他の構成例を示すブロック図である。もし歪み補正パラメータが一定期間変化しないと考えられる場合は、図１４に示すように、周辺環境認識装置の駆動系を、歪み補正パラメータを推定する処理系と、推定された歪み補正パラメータによる歪み補正が施された画像に対する画像認識を行う処理系とに分離し、１つの時刻においてはどちらかの処理系のみを駆動させる構成としてもよい。図１４に示す周辺環境認識装置は、図１２に示した構成と比べて、さらに制御切替手段４０３を有している。

【0095】

すなわち、図１４に示した構成では、撮像手段２０１の後段に、歪み補正パラメータを推定するための処理系（仮の歪み補正手段２０２、局所勾配方向ヒストグラム計算手段２０３、エントロピー計算手段２０４および歪み補正パラメータ決定手段３０５を含む系。以下、第１の系という。）と、推定された歪み補正パラメータを用いて画像認識を行う処理系（歪み補正画像生成手段２０６、画像認識手段４０１および表示手段４０２を含む系。以下、第２の系という。）とが制御切替手段４０３を介して別々に接続されている。なお、本例では、時系列処理のための歪み補正パラメータ記憶手段３０５１とは別に、現時点で有効とされている歪み補正パラメータ（確定歪み補正パラメータという。）を記憶する確定歪み補正パラメータ記憶手段（不図示）を備えている。

【0096】

制御切替手段４０３は、歪み補正パラメータの確定状況に応じて、稼働させる系を切り替える。

【0097】

本実施形態において、歪み補正画像生成手段２０６は、撮像手段２０１から入力される撮像画像に対して、上述した確定歪み補正パラメータ記憶手段に記憶されている確定歪み補正パラメータを用いて、歪み補正画像を生成する。

【0098】

図１５は、図１４に示された構成の周辺環境認識装置の他の動作例を示すフローチャートである。

【0099】

図１５に示す例では、まず撮像手段２０１が、設置された状態で映る景色等を撮像して、撮像画像を取り込む（ステップＳ４０１）。

【0100】

次に、制御切替手段４０３は、歪み補正パラメータが確定済みか否かを判定し、判定結果に応じて稼働させる処理系を切り替える（ステップＳ４０２）。制御切替手段４０３は、例えば、確定歪み補正パラメータ記憶手段に有効な値もしくは有効である旨が記憶されている場合には歪み補正パラメータが確定済みとし、無効な値もしくは無効である旨が記憶されている場合には未確定と判定してもよい。

【0101】

制御切替手段４０３は、歪み補正パラメータが未確定の場合、稼働させる系を第１の系に切り替えてステップＳ４０３に処理を進める（ステップＳ４０２のＮｏ）。

【0102】

ステップＳ４０３では、仮の歪み補正手段２０２、局所勾配方向ヒストグラム計算手段２０３、エントロピー計算手段２０４および歪み補正パラメータ決定手段３０５が、ステップＳ４０１で入力された撮像画像に対して、歪み補正パラメータの推定処理を行う。具体的には、上述したステップＳ３０２〜Ｓ３０６の処理を未知のパラメータがなくなるまで繰り返し行い、現時刻の撮像画像に対して最も歪みが補正される歪み補正パラメータを推定する。

【0103】

次いで、歪み補正パラメータ決定手段３０５の時系列判定手段３０５１が、過去の歪み補正パラメータの推定結果を利用して、歪み補正パラメータの時系列推定を試みる（ステップＳ４０４）。時系列判定手段３０５１は、時系列推定に十分な数の過去の歪み補正パラメータの推定結果が揃っており、かつ妥当と推測される推定結果が得られた場合は、得られた推定結果を確定歪み補正パラメータ記憶手段に記憶し、歪み補正パラメータを確定済みとする（ステップＳ４０５のＹｅｓ、ステップＳ４０６）。それ以外の場合は、歪み補正パラメータは未確定のままとする（ステップＳ４０５のＮｏ）。そして、ステップＳ４０１に戻る。

【0104】

一方、ステップＳ４０２で歪み補正パラメータが確定済みの場合、制御切替手段４０３は、稼働させる系を第２の系に切り替えてステップＳ４０７に処理を進める（ステップＳ４０２のＹｅｓ）。

【0105】

ステップＳ４０７では、歪み補正画像生成手段２０６が、確定歪み補正パラメータを用いて、入力された撮像画像に対して変換処理を行い、歪み補正画像を生成する。

【0106】

次に、画像認識手段４０１が、生成された歪み補正画像に対して画像認識処理を行う（ステップＳ４０８）。

【0107】

次に、表示手段４０２が、認識結果の表示、通知を行う（ステップＳ４０９）。

【0108】

最後に、制御切替手段４０３が、歪み補正パラメータの更新タイミングか否かを判定し、更新タイミングであれば（ステップＳ４１０のＹｅｓ）、確定歪み補正パラメータ記憶手段に記憶されている確定歪み補正パラメータを無効にしてステップＳ４０１に戻る（ステップＳ４１１）。更新タイミングでなければそのままステップＳ４０１に戻り、次の画像が入力されるのを待つ。更新タイミングは特に限定されないが、制御切替手段４０３は、例えば画像１フレーム分の処理が完了する毎に、歪み補正パラメータを無効にしてもよい。

【0109】

以上のように、本実施の形態によれば、一旦歪み補正パラメータが確定した後は再び無効になるまで第２の系（画像認識を行う処理系）だけを実行すればよく、歪み補正パラメータの推定処理を行わない分、演算量を削減できる。

【0110】

なお、図１２および図１４には、第３の実施形態で示した放射歪み補正装置の構成を用いて、歪み補正パラメータを推定する例が示されているが、歪み補正パラメータの推定処理の具体的な方法は第３の実施形態の放射歪み補正装置による方法に限られない。すなわち、上記各実施形態で示した放射歪み補正装置による方法を利用することができる。

【0111】

次に、本発明の概要を説明する。図１６は、本発明の放射歪み補正装置の概要を示すブロック図である。図１６に示す放射歪み補正装置は、画像入力手段１１と、仮の歪み補正手段１２と、局所勾配方向ヒストグラム計算手段１３と、偏り計算手段１４と、歪み補正画像選択手段１５とを備えている。

【0112】

画像入力手段１１（例えば、撮像手段１０１のインタフェース部）は、放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力する。

【0113】

仮の歪み補正手段１２（例えば、仮の歪み補正手段１０２、仮の歪み補正手段２０２）は、画像入力手段１１によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する。

【0114】

局所勾配方向ヒストグラム計算手段１３（例えば、局所勾配方向ヒストグラム計算手段１０３、局所勾配方向ヒストグラム計算手段２０３）は、仮の歪み補正手段１２によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する。

【0115】

偏り計算手段１４（例えば、エントロピー計算手段１０４、エントロピー計算手段２０４）は、局所勾配方向ヒストグラム計算手段１３によって計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する。

【0116】

歪み補正画像選択手段１５（例えば、歪み補正画像選択手段１０５、パラメータ逐次決定手段２０５）は、偏り計算手段１４によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択する。

【0117】

このような構成によれば、チェッカーボードのように格子点が規則正しく並べられた特殊な校正装置を使わなくても、入力された撮像画像から自動的に歪み補正パラメータを最適化できるので、容易かつ自動的にカメラの放射歪みが好適に補正された画像を得ることができる。

【0118】

また、歪み補正画像選択手段１５は、局所勾配方向の偏りの度合いが最も大きい仮の歪み補正画像を、歪み補正画像として選択してもよい。

【0119】

また、放射歪み補正装置は、歪み補正画像選択手段による歪み補正画像の選択結果に基づいて、現時刻以降に入力される撮像画像に対して適用する歪み補正パラメータを決定する歪み補正パラメータ決定手段（例えば、歪み補正パラメータ決定手段３０５）を備えていてもよい。

【0120】

また、仮の歪み補正手段１２は、歪み補正パラメータに含まれる未知のパラメータを１つ選択し、選択した未知のパラメータの値を複数通り設定して、２以上の歪み補正パラメータを仮定してもよい。そのような場合に、歪み補正パラメータ決定手段は、歪み補正画像選択手段の選択結果に基づいて、仮の歪み補正手段１２によって選択された未知のパラメータの値を決定する処理を、歪み補正パラメータに含まれるすべての未知のパラメータの値が決定されるまで逐次的に行ってもよい。

【0121】

また、仮の歪み補正手段１２は、多項式で表現される歪み補正モデル式中の歪み補正パラメータに含まれる未知のパラメータのうち、より低次の項に対応するパラメータから順に選択してもよい。

【0122】

また、放射歪み補正装置は、時々刻々入力される撮像画像に対して、歪み補正画像に選択された仮の歪み補正画像の生成に用いた歪み補正パラメータを、推定された歪み補正パラメータとして記憶する歪み補正パラメータ記憶手段を備え、歪み補正パラメータ決定手段は、歪み補正パラメータ記憶手段に記憶されている、直近の所定数分の撮像画像に対して推定された歪み補正パラメータ群から中央値を算出し、算出された歪み補正パラメータの中央値を現時刻以降に入力される画像に対して適用する歪み補正パラメータとしてもよい。

【0123】

また、局所勾配方向ヒストグラム計算手段１３は、画像内の任意の画素周辺の領域から求めた局所勾配方向に対して、勾配の大きさと、当該局所勾配方向を求めた領域における当該局所勾配方向に直交する直線と画像中心との間の距離とに応じた値を重みに用いて、局所勾配方向ヒストグラムを計算してもよい。

【0124】

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0125】

また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0126】

（付記１）
放射歪みの補正対象機器である撮像機器により撮影された撮像画像を入力する画像入力手段と、画像入力手段によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正手段と、仮の歪み補正手段によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算手段と、局所勾配方向ヒストグラム計算手段によって計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段と、偏り計算手段によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択手段とを備えたことを特徴とする放射歪み補正装置。

【0127】

（付記２）
偏り計算手段は、局所勾配方向の偏りの度合いを示す指標として、仮の歪み補正画像の各々に対して局所勾配方向ヒストグラムのエントロピーを計算し、歪み補正画像選択手段は、エントロピーの最小値を与える仮の歪み補正画像を、歪み補正画像として選択する付記１に記載の放射歪み補正装置。

【0128】

（付記３）
偏り計算手段は、局所勾配方向の偏りの度合いを示す指標として、仮の歪み補正画像の各々に対して局所勾配方向ヒストグラムの分散、標準偏差または二乗和を計算し、歪み補正画像選択手段は、分散、標準偏差または二乗和の最大値を与える仮の歪み補正画像を、歪み補正画像として選択する付記１に記載の放射歪み補正装置。

【0129】

（付記４）
時々刻々入力される撮像画像に対して、歪み補正画像に選択された仮の歪み補正画像の生成に用いた仮の歪み補正パラメータを、推定結果の歪み補正パラメータとして所定数分記憶する歪み補正パラメータ記憶手段を備え、歪み補正パラメータ決定手段は、歪み補正パラメータ記憶手段に記憶されている推定結果の歪み補正パラメータに、現時刻の撮像画像に対して求めた推定結果の歪み補正パラメータを加えた直近の推定結果の歪み補正パラメータ群から中央値を算出し、算出された中央値を現時刻以降に入力される画像に対して適用する歪み補正パラメータとし、歪み補正パラメータ記憶手段は、仮の歪み補正画像群において偏りの度合いを示す指標が極値をとらなかった場合、または極値が明確でなかった場合には、歪み補正画像の選択結果とされた仮の歪み補正画像の生成に用いた歪み補正パラメータを記憶対象から除外する付記１に記載の放射歪み補正装置。

【0130】

（付記５）
車両に設置された撮像機器により撮影された撮像画像を入力する画像入力手段と、画像入力手段によって入力された撮像画像に対して、２以上の歪み補正パラメータを仮定して、仮定した各歪み補正パラメータに対応する仮の歪み補正画像を生成する仮の歪み補正手段と、仮の歪み補正手段によって生成された仮の歪み補正画像の各々に対して、画像内の局所的な領域における勾配方向である局所勾配方向の分布を表す局所勾配方向ヒストグラムを計算する局所勾配方向ヒストグラム計算手段と、局所勾配方向ヒストグラム計算手段によって計算された局所勾配方向ヒストグラムに基づいて、仮の歪み補正画像の各々における局所勾配方向の偏りの度合いを計算する偏り計算手段と、偏り計算手段によって計算された仮の歪み補正画像の各々における局所勾配方向の偏りの度合いに基づいて、仮の歪み補正画像の中から１の歪み補正画像を選択する歪み補正画像選択手段と、歪み補正画像選択手段による歪み補正画像の選択結果に基づいて、現時刻以降に入力される撮像画像に対して適用する歪み補正パラメータを決定する歪み補正パラメータ決定手段と、歪み補正パラメータ決定手段によって決定された歪み補正パラメータを、現時刻以降に入力される撮像画像に適用して、歪み補正画像を生成する歪み補正画像生成手段と、歪み補正画像生成手段によって生成された歪み補正画像に対して、画像認識処理を行い、車両周辺の道路環境を認識する画像認識手段とを備えことを特徴とする道路環境認識装置。

【0131】

（付記６）
画像認識手段は、画像認識技術を用いて、少なくとも歩行者検知、障害物検知、道路標識認識、車両検知のうちのいずれか１つ以上を実行する付記５に記載の道路環境認識装置。

【0132】

（付記７）
画像認識手段による画像認識結果を表示する表示手段を備えた付記５または付記６に記載の道路環境認識装置。

【産業上の利用可能性】

【0133】

本発明は、車載カメラの放射歪みの補正用途に限らず、放射歪みが発生しうる撮像機器により撮影された撮像画像を利用する装置、システム、方法およびプログラムであれば好適に適用可能である。

【符号の説明】

【0134】

１１ 画像入力手段
１０１、２０１ 撮像手段
１２、１０２、２０２ 仮の歪み補正手段
１３、１０３、２０３ 局所勾配方向ヒストグラム計算手段
１４ 偏り計算手段
１０４、２０４ エントロピー計算手段
１５、１０５ 歪み補正画像選択手段
２０５ パラメータ逐次決定手段
２０６ 歪み補正画像生成手段
３０５ 歪み補正パラメータ決定手段
３０５１ 歪み補正パラメータ記憶手段
３０５２ 時系列判定手段
４０１ 画像認識手段
４０２ 表示手段
４０３ 制御切替手段
６０１ ＥＣＵ
６０２ カメラ
６０３ ＣＰＵ
６０４ ＲＡＭ
６０５ ＲＯＭ
６０６ 信号処理回路
６０７ 電源回路

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】