特許 7535442 車両支援方法及び車両支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-07

(45)【発行日】2024-08-16

(54)【発明の名称】車両支援方法及び車両支援装置

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20240808BHJP

   G08G 1/09 20060101ALI20240808BHJP

   G06T 1/00 20060101ALI20240808BHJP

【ＦＩ】

G06T3/4053

G08G1/09 D

G06T1/00 330A

【請求項の数】 6

(21)【出願番号】P 2020196878

(22)【出願日】2020-11-27

(65)【公開番号】P2022085272

(43)【公開日】2022-06-08

【審査請求日】2023-08-07

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(73)【特許権者】

【識別番号】507308902

【氏名又は名称】ルノー エス．ア．エス．

【氏名又は名称原語表記】ＲＥＮＡＵＬＴ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】１２２－１２２ ｂｉｓ， ａｖｅｎｕｅ ｄｕ Ｇｅｎｅｒａｌ Ｌｅｃｌｅｒｃ， ９２１００ Ｂｏｕｌｏｇｎｅ－Ｂｉｌｌａｎｃｏｕｒｔ， Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】チョ ヒョンソン

(72)【発明者】

【氏名】佐藤 宏

【審査官】三沢 岳志

(56)【参考文献】

【文献】特表２０１６－５３８６６５（ＪＰ，Ａ）

【文献】特開２０１１－１８２０８４（ＪＰ，Ａ）

【文献】特開２０１７－０１７５８５（ＪＰ，Ａ）

【文献】特開２０１８－１６３５９２（ＪＰ，Ａ）

【文献】特開２００３－３０６１０２（ＪＰ，Ａ）

【文献】特開２０１２－２５３７４８（ＪＰ，Ａ）

【文献】特開２０１６－１７９３４８（ＪＰ，Ａ）

【文献】近藤 一晃，“見回し行動時の個人視点映像を対象とした広視野貼り合わせのための画像選択”，電子情報通信学会論文誌，電子情報通信学会，2015年，第Vol. J98-A, No. 1巻，pp.3－16

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ３／４０５３

Ｇ０８Ｇ １／０９

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

自車両の周囲を異なるタイミングで複数回撮像するカメラと、前記カメラによって異なるタイミングで撮像された複数の画像を処理するコントローラとを備える車両支援方法であって、
前記コントローラは、
前記複数の画像のそれぞれに対して所定周波数以上の空間周波数成分を有する繰り返しパターンが存在する領域である繰り返しパターン領域を抽出し、
前記複数の画像のうち、所定時刻に撮像された画像の全領域に対し、前記繰り返しパターン領域から前記画像の中で無限遠となる画像中心より上側の領域を除外した領域を参照領域として設定し、
前記複数の画像のうち、前記所定時刻以降に撮像された画像の全領域に対し、前記繰り返しパターン領域から前記画像の中で無限遠となる画像中心より上側の領域を除外した領域を比較領域として設定し、
前記参照領域と前記比較領域の重複する領域を用いて前記画像上の移動量を算出し、
前記移動量に基づいて前記複数の画像の位置合わせを行い、
前記位置合わせが行われた複数の画像を用いて超解像処理を行い、前記カメラによって撮像された画像の解像度を超える超解像画像を生成し、
前記超解像画像に基づいて道路構造物を認識する
ことを特徴とする車両支援方法。

【請求項2】

前記コントローラは、
前記複数の画像のそれぞれに対して所定の大きさを有する領域に分割し、
分割された領域に対して周波数解析を行い、
前記周波数解析を行った結果に基づいて前記分割された領域に繰り返しパターンが存在するか否かを判定する
ことを特徴とする請求項１に記載の車両支援方法。

【請求項3】

前記コントローラは、
前記超解像処理に使用する画像の枚数を設定し、
前記カメラによって撮像された画像の枚数が設定された枚数以上である場合に前記超解像処理を行う
ことを特徴とする請求項１に記載の車両支援方法。

【請求項4】

前記コントローラは、
前記超解像処理に使用する画像の枚数を設定し、
前記カメラによって撮像された画像の枚数が設定された枚数に満たない場合、かつ、所定時刻以降に撮像された画像において前記移動量を算出する探索範囲内で閾値以上の類似度を有する領域がない場合には、その時刻まで前記位置合わせが行われた画像を用いて前記超解像処理を行う
ことを特徴とする請求項１に記載の車両支援方法。

【請求項5】

前記コントローラは、
前記超解像処理に使用する画像の枚数を設定し、
前記カメラによって撮像された画像の枚数が設定された枚数に満たない場合、かつ、所定時刻以降に撮像された画像において前記移動量を算出する探索範囲内で閾値以上の類似度を持つ領域がない場合には、設定された枚数が集まるまで所定時間前記超解像処理を待つ
ことを特徴とする請求項１に記載の車両支援方法。

【請求項6】

自車両の周囲を異なるタイミングで複数回撮像するカメラと、
前記カメラによって異なるタイミングで撮像された複数の画像を処理するコントローラと、を備え、
前記コントローラは、
前記複数の画像のそれぞれに対して所定周波数以上の空間周波数成分を有する繰り返しパターンが存在する領域である繰り返しパターン領域を抽出し、
前記複数の画像のうち、所定時刻に撮像された画像の全領域に対し、前記繰り返しパターン領域から前記画像の中で無限遠となる画像中心より上側の領域を除外した領域を参照領域として設定し、
前記複数の画像のうち、前記所定時刻以降に撮像された画像の全領域に対し、前記繰り返しパターン領域から前記画像の中で無限遠となる画像中心より上側の領域を除外した領域を比較領域として設定し、
前記参照領域と前記比較領域の重複する領域を用いて前記画像上の移動量を算出し、
前記移動量に基づいて前記複数の画像の位置合わせを行い、
前記位置合わせが行われた複数の画像を用いて超解像処理を行い、前記カメラによって撮像された画像の解像度を超える超解像画像を生成し、
前記超解像画像に基づいて道路構造物を認識する
ことを特徴とする車両支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両支援方法及び車両支援装置に関する。

【背景技術】

【0002】

従来より、カメラ画像を用いた道路標識認識技術が知られている（特許文献１）。特許文献１に記載された発明はカメラ画像にテンプレートマッチングを行って道路構造物である道路標識を認識する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１９１２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、自車両から遠方の領域のように画像の解像度が低い領域において、テンプレートマッチングでは所望の結果は得られない。

【0005】

本発明は、上記問題に鑑みて成されたものであり、その目的は、画像の解像度が低い領域において道路構造物の認識精度を向上させることが可能な車両支援方法及び車両支援装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様に係る車両支援方法は、異なるタイミングで撮像された複数の画像のそれぞれに対して所定周波数以上の空間周波数成分を有する繰り返しパターンが存在する領域である繰り返しパターン領域を抽出し、複数の画像のうち、所定時刻に撮像された画像の全領域に対し、繰り返しパターン領域から画像の中で無限遠となる画像中心より上側の領域を除外した領域を参照領域として設定し、複数の画像のうち、所定時刻以降に撮像された画像の全領域に対し、繰り返しパターン領域から画像の中で無限遠となる画像中心より上側の領域を除外した領域を比較領域として設定し、参照領域と比較領域の重複する領域を用いて画像上の移動量を算出し、移動量に基づいて複数の画像の位置合わせを行い、位置合わせが行われた複数の画像を用いて超解像処理を行い、カメラによって撮像された画像の解像度を超える超解像画像を生成し、超解像画像に基づいて道路構造物を認識する。

【発明の効果】

【0007】

本発明によれば、画像の解像度が低い領域において道路構造物の認識精度を向上させることが可能となる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の第１実施形態に係る車両支援装置１の構成図である。

【図2】図２は、繰り返しパターン領域の抽出方法の一例を説明する図である。

【図3】図３は、画像の分割方法の一例を説明する図である。

【図4】図４は、周波数解析結果の一例を説明する図である。

【図5】図５は、繰り返しパターン領域の抽出方法の一例を説明する図である。

【図6】図６は、繰り返しパターン領域の抽出方法の一例を説明する図である。

【図7】図７は、超解像処理の一例を説明する図である。

【図8】図８は、車両支援装置１の一動作例を説明するフローチャートである。

【図9】図９は、車両支援装置２の一動作例を説明するフローチャートである。

【図10】図１０は、本発明の第３実施形態に係る車両支援装置３の構成図である。

【図11】図１１は、関心領域７０の一例を説明する図である。

【図12】図１２は、車両支援装置３の一動作例を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１を参照して車両支援装置１の構成例を説明する。図１に示すように、車両支援装置１は、カメラ１０と、記憶装置１１と、コントローラ２０と、ステアリングアクチュエータ１２と、アクセルペダルアクチュエータ１３と、ブレーキアクチュエータ１４を備える。

【0011】

車両支援装置１は自動運転機能を有する車両に搭載されてもよく、自動運転機能を有しない車両に搭載されてもよい。また、車両支援装置１は自動運転と手動運転とを切り替えることが可能な車両に搭載されてもよい。また、自動運転機能は操舵制御、制動力制御、駆動力制御などの車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する運転支援機能であってもよい。本実施形態では車両支援装置１は自動運転機能を有する車両に搭載されるものとして説明する。

【0012】

カメラ１０はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１０の設置場所は特に限定されないが、一例としてカメラ１０は自車両の前方、側方、後方に設置される。カメラ１０は所定の周期で自車両の周囲を連続的に撮像する。つまりカメラ１０は異なるタイミングで撮像した複数の画像を取得する。カメラ１０は自車両の周囲に存在する物体（歩行者、自転車、バイク、他車両など）、及び自車両の前方の情報（区画線、信号機、標識、横断歩道、交差点など）を検出する。カメラ１０によって撮像された画像は記憶装置１１に格納される。以下ではそれぞれ異なる時刻Ｔ１、Ｔ２、・・・、Ｔｎにて撮像された画像を画像Ｉ１、Ｉ２、・・・、Ｉｎと呼ぶ。

【0013】

記憶装置１１は主にカメラ１０によって撮像された画像を記憶する。記憶装置１１は一例として、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）から構成される。

【0014】

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、車両支援装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは車両支援装置１が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって車両支援装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路の一例として、繰り返しパターン領域抽出部２１と、画像シフト部２２と、超解像処理部２３と、道路構造物認識部２４と、車両制御部２５を備える。

【0015】

繰り返しパターン領域抽出部２１は、カメラ１０によって撮像された画像Ｉ１、Ｉ２、・・・、Ｉｎを任意の大きさの小領域に分割し、各小領域において繰り返しパターンが存在している場合にはその小領域を繰り返しパターン領域として抽出する。繰り返しパターン領域抽出部２１は画像の移動量を算出する際に画像の上下左右に最大値を設定する。最大値とは１フレーム間で動くと想定される最も大きな値である。上下左右の４方向が同様にＬ画素と仮定した場合、小領域の大きさは少なくとも（２Ｌ＋１）×（２Ｌ＋１）の大きさにする必要がある。これは移動量の誤算出を防止するためである。

【0016】

このように分割された小領域をＲ１、Ｒ２、・・・、Ｒｎとしたとき、各小領域に対し周波数解析をすることにより、繰り返しパターンが存在するか否かが判明する。小領域に対し２次元ＦＦＴ（ＦＡＳＴ ＦＯＵＲＩＥＲ ＴＲＡＮＳＦＯＲＭ）を行うと、横方向（以下ｘ方向）及び縦方向（以下ｙ方向）の周波数強度が２次元で検出される。ここで、ｘ方向もしくはｙ方向に繰り返し成分が存在するかどうか確認する。ｘ方向の場合は、ＦＦＴ結果のすべての行を各ｘ方向の周波数成分において合算する。ｙ方向の場合は、ＦＦＴ結果のすべての列を各ｙ方向の周波数成分において合算する。その結果得られた一方向の周波数成分から、所定周期（最大値Ｌ以下）において、周波数強度の極大値Ｈ２を直前の極小値Ｈ１と比較し、任意の比率以上であれば、その小領域を繰り返しパターン領域として抽出する。

【0017】

また、画像内の複数の小領域に対し周波数解析を行った後、繰り返しパターン領域が画像Ｉ１の全領域の一定比率αを超える場合には繰り返しパターン領域抽出部２１は画像Ｉ１の全部を参照画像として設定し、繰り返しパターン領域を除外した領域を参照領域として設定する。一方、繰り返しパターン領域が画像の全領域の一定比率α以下である場合には繰り返しパターン領域抽出部２１は画像Ｉ１の全部を参照画像として設定し、画像Ｉ１の全領域を参照領域として設定する。一定比率αは超解像処理を行う際の精度に影響がある最小の比率である。小領域ごとに移動量を算出し、小領域ごとに移動量の平均値を全領域の移動量として算出する場合であって、繰り返しパターン領域のみに最大の誤差である最大値Ｌが算出された場合、全体の移動量としてはαＬが得られる。

【0018】

超解像処理における所望の拡大倍率をＮとする場合、Ｎ分の１の分解能で計測ができなければならないため、丸めることを考えると１／２Ｎの精度が必要である。αＬが１／２Ｎより小さくなるためにはαを１／２ＮＬより小さくする必要がある。このため所望の拡大倍率Ｎと移動量算出の最大値Ｌに対し、１／２ＮＬ以上の領域にて超解像処理を行う場合には、超解像処理の精度が低下することが考えられる。所望の拡大倍率Ｎに対し移動量を１／Ｎ単位で算出するためには、上下方向に各画素の移動量の平均値を用いる場合少なくともＮ画素ずつ必要であるため、繰り返しパターン領域を除外した参照領域の上下方向もしくは左右方向にＮ画素以上の画素が存在しない場合には超解像処理を行わない。

【0019】

画像シフト部２２は、画像間の移動量を算出し、算出した移動量の分だけ画像を移動させて位置合わせを行う。画像の移動量とは２つの画像間の移動量である。このような移動量算出には例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）などが用いられる。具体的には画像シフト部２２は探索範囲内で上下左右方向に１画素ずつずらして類似度を算出し、もっとも類似度が高い場所へ移動した量を移動量として算出する。２つの画像を比較するためには基準となる画像が必要となる。そこで時刻Ｔ１で撮像された画像Ｉ１を基準画像として用いる。画像Ｉ１を参照画像Ｒ１と呼ぶ場合、参照画像Ｒ１は横方向にＡ画素を有し、縦方向にＢ画素を有する。参照画像Ｒ１の代表的な座標として中心の座標を（Ｘ１、Ｙ１）とする。

【0020】

次に時刻Ｔ２で撮像された画像Ｉ２において、座標（Ｘ１，Ｙ１）を基準として所定の探索範囲が設定される。例えば上下左右にＳ画素が設定されれば、探索範囲は（Ｘ１－Ｓ，Ｙ１－Ｓ）から（Ｘ１＋Ｓ，Ｙ１＋Ｓ）までの範囲となる。画像Ｉ２の中心の座標は（ａ，ｂ）とする。参照画像Ｒ１と画像Ｉ２とが比較され、画素の類似度がもっとも高い中心座標（ａＭ，ｂＭ）が、（Ｘ１，Ｙ１）の移動先となる。（Ｘ１，Ｙ１）の移動先を（Ｘ２，Ｙ２）と呼ぶ。

【0021】

同様に時刻Ｔ３で撮像された画像Ｉ３において、（Ｘ２，Ｙ２）を基準として探索範囲が設定される。参照画像Ｒ１と画像Ｉ３とが比較され、（Ｘ２，Ｙ２）の移動先である（Ｘ３，Ｙ３）が設定される。このとき、画像シフト部２２は所定のフレーム数を使用して、その時刻の画像を参照画像Ｒ１として更新してもよい。類似度算出では、参照画像Ｒ１の全画素であるＡ×Ｂ画素が使用され、参照画像Ｒ１と比較画像との同一座標の輝度値が比較される。比較画像とは画像Ｉ２、画像Ｉ３を意味する。

【0022】

ＳＡＤであれば輝度差の絶対値の総和が算出され、ＳＳＤであれば輝度差の二乗の総和が算出される。また、類似度が探索範囲内のどの中心画素においても閾値より低ければ、移動量算出は中止される。本実施形態では、自車両の周囲において繰り返しパターンを有するビル、ガードレールなどに影響されずに道路構造物の移動量を算出するため、繰り返しパターン領域は類似度算出から除外する。そのため参照画像Ｒ１において繰り返しパターン領域抽出部２１が抽出した繰り返しパターン領域を除外した領域を参照領域とし、また、各比較画像において同様に繰り返しパターン領域抽出部２１が抽出した繰り返しパターン領域を除外した領域を比較領域とし、両領域が重なる画素を類似度算出に用いる。その結果、得られる移動量は画素単位である。小数点以下の画素の移動量を算出するために、類似度算出結果を使用した近似計算が行われる。このような近似計算には例えば非特許文献１の方法が用いられる。非特許文献１「新井元基，鷲見和彦，ａｎｄ松山隆司．画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化．情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ）２００４．４０（２００４－ＣＶＩＭ－１４４）（２００４）：３３－４０．」

【0023】

非特許文献１の手法を用いることにより、小数点以下の画素の移動量が算出される。超解像処理における所望の拡大倍率をＮとする場合、画像シフト部２２は、移動量をＮ分の１画素に丸める。画像シフト部２２は各時刻Ｔ２・・・Ｔｎにおいて時刻Ｔ１の中心座標（Ｘ１，Ｙ１）からの移動量（ＭＸ２，ＭＹ２）・・・（ＭＸｎ，ＭＹｎ）を設定する。その後、画像シフト部２２は各時刻の中心座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）・・・（Ｘｎ，Ｙｎ）を中心とした、横方向にＡ画素、縦方向にＢ画素の大きさを持った画像Ｊ１、Ｊ２・・・ＪｎをＮ倍に近似拡大する。これにより画像Ｋ１、Ｋ２・・・Ｋｎが生成される。近似拡大の方法として、最近傍補間（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）、双一次補間（Ｂｉｌｉｎｅａｒ）、双三次補間（Ｂｉｃｕｂｉｃ）などが挙げられる。近似拡大した画像は１／Ｎ画素単位である移動量をＮ倍して戻される。画像シフト部２２は中心座標が一致するように参照画像Ｒ１に対して比較画像を移動させて位置合わせを行う。

【0024】

超解像処理部２３は、画像シフト部２２によって位置合わせが行われた画像を用いて超解像処理を行い、高解像度を有する画像を生成する。ここで、超解像処理を行うため必要な画像枚数をＺとする。超解像処理部２３は画像シフト部２２によってＮ倍に拡大され、中心座標が一致する画像Ｋ１、Ｋ２・・・Ｋｚに対し、加算平均で各画素の輝度値を算出する。ただし、超解像処理部２３はＺ枚が集まっていない状態で参照画像Ｒ１から追跡ができない場合、もしくは超解像処理を行う領域がすべて移動物体で満たされている場合、超解像処理を中止する。超解像処理とは、複数の画像を参照して解像度の高い画像を生成する技術である。本実施形態では参照画像Ｒ１に比較画像を重ねるように位置合わせが行われることにより、参照画像Ｒ１の解像度が高くなる。換言すればカメラ１０によって撮像された画像の解像度を超える画像が生成される。超解像処理部２３によって生成された画像は道路構造物認識部２４に出力される。

【0025】

道路構造物認識部２４は、超解像処理部２３から入力された画像を用いて道路構造物を認識する。本実施形態において道路構造物とは静止した物体と定義される。具体的には道路構造物には車線、停止線、横断歩道、矢印などの路面標示、路側帯、縁石、標識、信号機などの構造物が含まれる。道路構造物の認識方法の一例として各画素がどのような物体なのかを認識するＳｅｍｅｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎが用いられる。道路構造物認識部２４は認識結果を車両制御部２５に出力する。

【0026】

車両制御部２５は、道路構造物認識部２４によって認識された道路構造物を用いてステアリングアクチュエータ１２、アクセルペダルアクチュエータ１３、及び、ブレーキアクチュエータ１４を制御する。超解像処理によって静止物領域が鮮明となる。これにより道路構造物の認識精度が向上する。

【0027】

次に図２～７を参照して繰り返しパターン領域の抽出方法の一例を説明する。

【0028】

図２に示す画像４０は、自車両が走行しているときにカメラ１０によって撮像された画像である。説明の都合上、図２に示す画像４０の一部の画像である画像５０を用いて繰り返しパターン領域の抽出方法の一例を説明する。もちろん画像４０全体に対し以下で説明する方法で繰り返しパターン領域を抽出してもよい。画像４０は時刻Ｔ１に撮像された画像とする。

【0029】

図３に示すように、繰り返しパターン領域抽出部２１はカメラ１０によって撮像された画像５０を任意の大きさの小領域に分割する。図３において、小領域は符号５０ａ～５０ｐで示される。図３において画像５０は１６個の小領域に分割される。次に繰り返しパターン領域抽出部２１は、小領域５０ａ～５０ｐのそれぞれにおいて繰り返しパターンが存在するか否かを判定する。具体的には繰り返しパターン領域抽出部２１は小領域５０ａ～５０ｐのそれぞれに対し２次元ＦＦＴを行う。２次元ＦＦＴ結果の一例を図４に示す。図４に示す結果は任意の小領域のｘ方向についての結果である。図４の縦軸は周波数成分の大きさを示し、横軸は周波数を示す。図４に示すように一方向（ここではｘ方向）の周波数成分から、所定周期（最大値Ｌ以下）において、周波数強度を示す極大値Ｈ２を直前の極小値Ｈ１と比較し、任意の比率以上であれば、その小領域を繰り返しパターン領域として抽出する。

【0030】

繰り返しパターン領域の抽出結果の一例を図５に示す。図５において符号５１で囲まれる範囲が、所定周波数以上の空間周波数成分を有する繰り返しパターンが存在する領域である。図５において、小領域５０ｂ、５０ｃ、５０ｄ、５０ｆ、５０ｇ、５０ｈ、５０ｊ、５０ｋ、５０ｉの９つの小領域が繰り返しパターン領域として抽出されたことになる。なお、符号５１で囲まれる範囲には静止物であるビルが存在する。

【0031】

図５に示す画像５０において、繰り返しパターン領域が画像５０の全領域の一定比率αを超えるため、繰り返しパターン領域抽出部２１は画像５０の全部を参照画像として設定する。換言すれば繰り返しパターン領域抽出部２１は画像５０そのものを参照画像として設定する。

【0032】

また繰り返しパターン領域抽出部２１は繰り返しパターン領域を除外した領域を参照領域として設定する。繰り返しパターン領域を除外した領域とは、図６において符号５２で囲まれる範囲である。つまり小領域５０ａ、５０ｅ、５０ｉ、５０ｍ、５０ｎ、５０ｏ、５０ｐの７つの小領域が繰り返しパターン領域を除外した領域である。

【0033】

時刻Ｔ２以降に撮像された画像に対しても上記と同様の処理が行われる。時刻Ｔ２以降に撮像された画像は、時刻Ｔ１に撮像された画像４０との位置合わせに用いられる画像であり、上記の比較画像に該当する。この比較画像において繰り返しパターン領域を除外した領域が比較領域と定義される。時刻Ｔ２で撮像された画像の比較領域を比較領域２とし、時刻Ｔ３で撮像された画像の比較領域を比較領域３とした場合、画像シフト部２２は参照領域と比較領域２との類似度を算出し、参照領域と比較領域３との類似度を算出する。時刻Ｔ４以降に撮像された画像があれば同様に類似度が算出される。

【0034】

類似度が閾値以上である場合、画像シフト部２２は類似度に基づいて画像上の移動量を算出し、参照画像に対してそれぞれの比較画像を移動させて位置合わせを行う。そして超解像処理部２３は画像シフト部２２によって位置合わせが行われた画像を用いて超解像処理を行う。このように本実施形態では、類似度の算出には繰り返しパターン領域を除外した領域が用いられる。超解像処理では繰り返しパターン領域を含む全領域が用いられる。図７に示すようにこのような超解像処理によって画像５０が鮮明となる。鮮明となった画像は符号５３で示される。このように本実施形態によれば、画像中の繰り返しパターン領域を除外して画像間の移動量を算出できるため、高解像度の画像を生成することが可能となる。これにより自車両から遠方の路面標示、信号機、標識などの認識精度が向上する。これにより車両制御部２５はいち早く路面標示、信号機、標識に適した制御を行うことが可能となり、高精度な自動運転が実現する。

【0035】

次に、図８のフローチャートを参照して、車両支援装置１の一動作例を説明する。

【0036】

ステップＳ１０１において、自車両に搭載されたカメラ１０によって自車両の周囲が撮像される。処理はステップＳ１０３に進み、参照画像が設定されている場合（ステップＳ１０３でＹＥＳ）、処理はステップＳ１１５に進む。一方、参照画像が設定されていない場合（ステップＳ１０３でＮＯ）、処理はステップＳ１０５に進む。

【0037】

ステップＳ１０５において、繰り返しパターン領域抽出部２１はカメラ１０によって撮像された画像５０を任意の大きさの小領域に分割する（図３参照）。処理はステップＳ１０７に進み、繰り返しパターン領域抽出部２１は小領域５０ａ～５０ｐのそれぞれに対し２次元ＦＦＴを行う（図３、４参照）。繰り返しパターン領域が存在する場合（ステップＳ１０９でＹＥＳ）、繰り返しパターン領域抽出部２１は画像５０の全部を参照画像として設定する。また繰り返しパターン領域抽出部２１は繰り返しパターン領域を除外した領域を参照領域として設定する（ステップＳ１１１）。

【0038】

一方、繰り返しパターン領域が存在しない場合（ステップＳ１０９でＮＯ）、繰り返しパターン領域抽出部２１は画像５０の全部を参照画像として設定する。また繰り返しパターン領域抽出部２１は画像５０の全領域を参照領域として設定する（ステップＳ１１３）。

【0039】

ステップＳ１１５において、繰り返しパターン領域抽出部２１は時刻Ｔ２以降に撮像された画像に対して、時刻Ｔ１に撮像された画像と同様に２次元ＦＦＴを行う。処理はステップＳ１１７に進み、繰り返しパターン領域抽出部２１は時刻Ｔ２以降に撮像された画像において、繰り返しパターン領域を除外した領域を比較領域として設定する。処理はステップＳ１１９に進み、画像シフト部２２は参照領域と比較領域との類似度を算出する。上述したように画像シフト部２２は所定範囲内において参照領域と比較領域とが重複する領域の類似度を算出する。参照領域と比較領域との同一座標の輝度値が類似度として比較される。類似度が閾値以上である場合（ステップＳ１２１でＹＥＳ）、処理はステップＳ１２３に進む。一方、類似度が閾値より小さい場合（ステップＳ１２１でＮＯ）、処理は終了する。

【0040】

ステップＳ１２３において、画像シフト部２２は上述したように画像間の移動量を算出し、算出した移動量の分だけ比較画像を移動させて位置合わせを行う。ステップＳ１２５において、超解像処理部２３は画像シフト部２２によって位置合わせが行われた画像を用いて高解像度を有する画像を生成する。ステップＳ１２７において、超解像処理部２３によって生成された画像は道路構造物認識部２４に出力される。ステップＳ１２９において、道路構造物認識部２４は超解像処理部２３から入力された画像を用いて道路構造物を認識する。ステップＳ１３１において、車両制御部２５は道路構造物認識部２４によって認識された道路構造物を用いてステアリングアクチュエータ１２、アクセルペダルアクチュエータ１３、及び、ブレーキアクチュエータ１４を制御する。超解像処理によって画像が鮮明となる。これにより道路構造物の認識精度が向上する。

【0041】

（作用効果）
以上説明したように、第１実施形態に係る車両支援装置１によれば、以下の作用効果が得られる。

【0042】

車両支援装置１は自車両の周囲を異なるタイミングで複数回撮像するカメラ１０と、カメラ１０によって異なるタイミングで撮像された複数の画像を処理するコントローラ２０とを備える。コントローラ２０は、複数の画像のそれぞれに対して所定周波数以上の空間周波数成分を有する繰り返しパターンが存在する領域である繰り返しパターン領域を抽出し、複数の画像の各画像における繰り返しパターン領域を除いた領域の画像に基づいて画像上の移動量を算出する。コントローラ２０は移動量に基づいて複数の画像の位置合わせを行い、位置合わせが行われた複数の画像を用いて超解像処理を行う。コントローラ２０はカメラによって撮像された画像の解像度を超える超解像画像を生成し、超解像画像に基づいて道路構造物を認識する。このように車両支援装置１によれば、画像中の繰り返しパターン領域を除外して画像間の移動量を算出できるため、高解像度の画像を生成することが可能となる。これにより自車両から遠方の路面標示、信号機、標識などの認識精度が向上する。

【0043】

上述した従来技術において、テンプレートマッチングでは検出できない遠方の道路構造物を検出しようとして超解像処理を行うことを考える。繰り返しパターンが超解像処理を行う領域に存在する場合、移動量の算出精度が低下し、加算処理するために位置合わせする移動量がずれてしまう。これにより認識したい道路構造物に対する超解像処理ができなくなり、背景がぼけるおそれがある。第１実施形態によれば、画像中の繰り返しパターン領域を除外するため、繰り返しパターンを有するビル、ガードレールなどに影響されずに画像間の移動量を算出できる。これにより高解像度の画像を生成することが可能となる。

【0044】

また、コントローラ２０は複数の画像のそれぞれに対して所定の大きさを有する領域（小領域）に分割し、分割された領域に対して周波数解析を行う。コントローラ２０は周波数解析結果に基づいて分割された領域に繰り返しパターンが存在するか否かを判定する。これにより繰り返しパターンが存在する小領域の判定が可能となる。また最大値Ｌ以下の周期のみ処理するため、影響の少ない低周波数に対しては処理を省略できる。

【0045】

またコントローラ２０は超解像処理に使用する画像の枚数Ｚを設定する。これにより所望の拡大倍率の必要な枚数が確保される。コントローラ２０はカメラ１０によって撮像された画像の枚数が設定された枚数Ｚ以上である場合に超解像処理を行う。

【0046】

（第２実施形態）
次に本発明の第２実施形態に係る車両支援装置２（不図示）を説明する。第２実施形態が第１実施形態と異なるのは、繰り返しパターン領域抽出部２１の機能である。第１実施形態と重複する構成については符号を引用してその説明は省略する。以下、相違点を中心に説明する。

【0047】

繰り返しパターン領域抽出部２１の機能として、繰り返しパターン領域を抽出する機能は第１実施形態と同様である。繰り返しパターン領域抽出部２１は、抽出された繰り返しパターン領域内において実空間における所定の高さを有する領域を抽出する。実空間における所定の高さを有する領域とは、画像の中で無限遠となる画像中心より上側の領域である。このような領域を実空間における所定の高さを有する領域として抽出することにより、自車両から遠方にあるビルなどの影響を低減することが可能となる。また別の方法として、カメラ１０を用いた測距によって実空間における所定の高さを抽出する方法もある。

【0048】

繰り返しパターン領域抽出部２１は、繰り返しパターン領域から実空間における所定の高さを有する領域を除外した領域を参照領域として設定する。なお、画像Ｉ１の全部を参照画像として設定する点は第１実施形態と同様である。時刻Ｔ２以降に撮像された画像についても同様の処理が行われる。

【0049】

次に図９に示すフローチャートを参照して車両支援装置２の一動作例を説明する。ただし、ステップＳ２０１～Ｓ２０９、Ｓ２１３～Ｓ２３１の処理は図８に示すステップＳ１０１～Ｓ１０９、Ｓ１１３～Ｓ１３１に示す処理と同様であるため、説明を省略する。

【0050】

ステップＳ２１１において、繰り返しパターン領域抽出部２１は、繰り返しパターン領域から実空間における所定の高さを有する領域を除外した領域を参照領域として設定する。

【0051】

（作用効果）
以上説明したように、第２実施形態に係る車両支援装置２によれば、以下の作用効果が得られる。

【0052】

コントローラ２０は複数の画像のうち、所定時刻に撮像された画像の全領域に対し、繰り返しパターン領域から実空間における所定の高さを有する領域を除外した領域を参照領域として設定する。コントローラ２０は複数の画像のうち、所定時刻以降に撮像された画像の全領域に対し、繰り返しパターン領域から実空間における所定の高さを有する領域を除外した領域を比較領域として設定する。コントローラ２０は参照領域と比較領域の重複する領域を用いて画像上の移動量を算出する。これにより実空間における所定の高さを有する領域（ビル、ポール、ガードレールなどの路面以外の領域）を除外して移動量を算出できるため、移動量の算出精度が向上する。なお所定時刻とは例えば上述の時刻Ｔ１である。所定時刻以降とは例えば上述の時刻Ｔ２以降である。

【0053】

（第３実施形態）
次に図１０を参照して本発明の第３実施形態に係る車両支援装置３を説明する。第３実施形態が第１実施形態と異なるのは、コントローラ２０が、関心領域設定部２６をさらに備えることである。第１実施形態と重複する構成については符号を引用してその説明は省略する。以下、相違点を中心に説明する。

【0054】

関心領域設定部２６は関心領域を設定する。関心領域とは超解像処理が行われる領域である。

【0055】

次に図１１を参照して関心領域の一例について説明する。図１１に示す画像４０は図２に示す画像４０と同じである。図１１に示す符号７０は関心領域を示す。図１１からわかるように、関心領域７０は画像４０より小さい。第１実施形態では画像４０全体に対して超解像処理が行われるが、第３実施形態では関心領域７０に対して超解像処理が行われる。これにより第１実施形態と比較して演算負荷が軽減する。

【0056】

関心領域７０の設定方法は特に限定されないが、例えば自車両から遠方において路面標示、信号機、標識などが存在する領域が関心領域７０として設定される。図７で説明したように超解像処理によってこのような遠方の領域が鮮明となる。超解像処理によって自車両から遠方の路面標示、信号機、標識などの認識精度が向上する。これにより車両制御部２５はいち早く路面標示、信号機、標識に適した制御を行うことが可能となる。これにより高精度な自動運転が実現する。なお関心領域７０は画像４０の上側半分に設定されてもよい。画像４０の上側半分は下側半分と比較して自車両から遠方の領域を意味する。時刻Ｔ２以降に撮像された画像についても同様に関心領域７０が設定される。

【0057】

次に図１２に示すフローチャートを参照して車両支援装置３の一動作例を説明する。ただし、ステップＳ３０１～Ｓ３０３、Ｓ３０５～Ｓ３０９、Ｓ３１５～Ｓ３３１の処理は図８に示すステップＳ１０１～Ｓ１０３、Ｓ１０５～Ｓ１０９、Ｓ１１５～Ｓ１３１に示す処理と同様であるため、説明を省略する。

【0058】

ステップＳ３０４において、関心領域設定部２６は自車両から遠方において路面標示、信号機、標識などが存在する領域を関心領域７０として設定する。

【0059】

ステップＳ３１１において、繰り返しパターン領域抽出部２１は関心領域７０の全部を参照画像として設定する。また繰り返しパターン領域抽出部２１は関心領域７０から繰り返しパターン領域を除外した領域を参照領域として設定する。ステップＳ３１３において、繰り返しパターン領域抽出部２１は関心領域７０の全部を参照画像として設定する。また繰り返しパターン領域抽出部２１は画像５０の全領域を参照領域として設定する。

【0060】

（作用効果）
以上説明したように、第３実施形態に係る車両支援装置３によれば、以下の作用効果が得られる。

【0061】

コントローラ２０は複数の画像のそれぞれに対して超解像処理を行う領域を関心領域７０として設定する。コントローラ２０は複数の画像のうち、所定時刻に撮像された画像の関心領域７０に対し、繰り返しパターン領域を除いた領域を参照領域として設定し、複数の画像のうち、所定時刻以降に撮像された画像の関心領域７０に対し、繰り返しパターン領域を除いた領域を比較領域として設定する。コントローラ２０は参照領域と比較領域の重複する領域を用いて画像上の移動量を算出する。これにより画像の中で注目したい領域（例えば自車両から遠方の領域）のみを高解像度にすることが可能となる。

【0062】

所望の拡大倍率をＮ、１フレーム間の移動量の最大値をＬと定義する。関心領域７０内の繰り返しパターン領域の大きさが１／（２Ｎ×Ｌ）以上であるとき、コントローラ２０は所定時刻に撮像された画像の関心領域７０に対し、繰り返しパターン領域を除いた領域を参照領域として設定する。またコントローラ２０は所定時刻以降に撮像された画像の関心領域７０に対し、繰り返しパターン領域を除いた領域を比較領域として設定する。コントローラ２０は参照領域と比較領域の重複する領域を用いて画像上の移動量を算出する。これにより繰り返しパターン領域の大きさが１／（２Ｎ×Ｌ）未満であるとき、超解像処理が省略される。

【0063】

またコントローラ２０は関心領域７０内における繰り返しパターン領域でない画素がＮの二乗未満である場合、超解像画像の生成を中止する。これにより超解像画像の精度が担保される。

【0064】

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

【0065】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【0066】

上述のように超解像処理を行うために必要な枚数がＺと設定された場合、Ｚフレームの間、中心画素を合わせた画像が格納され、超解像処理が行われる。ただし、カメラ１０によって撮像された画像の枚数が設定された枚数Ｚに満たない場合、かつ、所定時刻以降に撮像された画像において移動量を算出する探索範囲内で閾値以上の類似度を有する領域がない場合には、超解像処理部２３はその時刻まで位置合わせが行われた画像を用いて超解像処理を行ってもよい。これにより道路構造物の認識精度が向上しうる。

【0067】

またカメラ１０によって撮像された画像の枚数が設定された枚数Ｚに満たない場合、かつ、所定時刻以降に撮像された画像において移動量を算出する探索範囲内で閾値以上の類似度を有する領域がない場合には、超解像処理部２３は設定された枚数Ｚが集まるまで所定時間超解像処理を待ってもよい。これにより移動物体が関心領域７０全体を通ったとしても途中で途切れることなく超解像処理が行われる。

【符号の説明】

【0068】

１～３ 車両支援装置
１０ カメラ
１１ 記憶装置
１２ ステアリングアクチュエータ
１３ アクセルペダルアクチュエータ
１４ ブレーキアクチュエータ
２０ コントローラ
２１ パターン領域抽出部
２２ 画像シフト部
２３ 超解像処理部
２４ 道路構造物認識部
２５ 車両制御部
２６ 関心領域設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】