知財求人 - 知財ポータルサイト「IP Force」
▶ アイシン精機株式会社の特許一覧 ▶ 学校法人梅村学園の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-13
(45)【発行日】2024-03-22
(54)【発明の名称】周辺監視装置、およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240314BHJP
【ＦＩ】
G06T7/00 650A
【請求項の数】
4
(21)【出願番号】P 2020031043
(22)【出願日】2020-02-26
(65)【公開番号】P2021135721
(43)【公開日】2021-09-13
【審査請求日】2023-01-16
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(73)【特許権者】
【識別番号】502178001
【氏名又は名称】学校法人梅村学園
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】上田 康貴
(72)【発明者】
【氏名】足立 淳
(72)【発明者】
【氏名】目加田 慶人
(72)【発明者】
【氏名】道満 恵介
(72)【発明者】
【氏名】井上 博記
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２０１９－０２３７９４（ＪＰ，Ａ）
【文献】特開２０１０－２３７７９８（ＪＰ，Ａ）
【文献】稲葉洋 外２名，降雨時の車載カメラ映像に対するフレーム間の対応付けに基づく雨滴部の修繕，信学校報（ＩＴＳ２０１０－５７，ＩＥ２０１０－１３２），2011年02月
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
車両に備えられる撮像部によって前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、前記撮像画像に含まれる汚れ画像を検出し、かつ前記汚れ画像をマスクする検出部と、
前記撮像画像のうち第１撮像画像と、当該第１撮像画像と時系列的に連続する前記撮像画像と、の間における、前記汚れ画像をマスクした欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第１撮像画像内の前記欠損領域の少なくとも一部を復元した第１復元画像を生成し、前記撮像画像のうち前記第１撮像画像より後の第２撮像画像と、当該第２撮像画像と時系列的に連続する前記撮像画像のうち前記第１撮像画像を除く前記撮像画像と、前記第１復元画像と、の間における前記欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第２撮像画像内の前記欠損領域の少なくとも一部を復元した第２復元画像を復元する復元部と、
を備える周辺監視装置。
【請求項2】
前記欠損領域の外縁近傍を、復元対象範囲に設定する設定部をさらに備え、前記復元部は、前記設定部により設定される前記復元対象範囲を復元する請求項１に記載の周辺監視装置。
【請求項3】
前記設定部は、前記車両が直進している場合、前記撮像部によって前記車両の前方を撮像して得られる前記撮像画像の前記欠損領域が、前記撮像画像の中央に近づくに従って、前記復元対象範囲を狭める請求項２に記載の周辺監視装置。
【請求項4】
コンピュータを、車両に備えられる撮像部によって前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、
前記撮像画像に含まれる汚れ画像を検出し、かつ前記汚れ画像をマスクする検出部と、
前記撮像画像のうち第１撮像画像と、当該第１撮像画像と時系列的に連続する前記撮像画像と、の間における、前記汚れ画像をマスクした欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第１撮像画像内の前記欠損領域の少なくとも一部を復元した第１復元画像を生成し、前記撮像画像のうち前記第１撮像画像より後の第２撮像画像と、当該第２撮像画像と時系列的に連続する前記撮像画像のうち前記第１撮像画像を除く前記撮像画像と、前記第１復元画像と、の間における、前記欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第２撮像画像内の前記欠損領域の少なくとも一部を復元した第２復元画像を復元する復元部と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、周辺監視装置、およびプログラムに関する。
【背景技術】
【0002】
動画を構成するフレーム（撮像画像の一例）の欠損領域をオプティカルフローおよびＧＡＮ（Generative Adversarial Network）により生成する技術が開発されている。具体的には、当該技術は、動画を構成するフレームのうち復元対象のフレームおよびその前後の数フレーム間のオプティカルフローを推定し、推定したオプティカルフローに基づいて復元対象のフレームの欠損領域を復元し、かつ、欠損領域のうちオプティカルフローに基づいて復元できない領域をＧＡＮにより生成する技術である。
【先行技術文献】
【非特許文献】
【0003】
【文献】Xu,R., Li,X., Zhou, B., and Loy,C.C. (2019). Deep flow-guided video inpainting. In Proceedings of 2019 IEEE Conference on Computer Vision and Pattern Recognition, pages 3723-3732.
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の技術では、復元対象のフレームの欠損領域の復元に際し、時系列的に連続する複数のフレーム間のオプティカルフローしか利用していないため、欠損領域が広くなると、フレームにおいて、オプティカルフローに基づく欠損領域の復元に適用可能な部分が少なくなり、複数のフレーム間のオプティカルフローに基づいて復元する画像の信頼度が低くなる可能性がある。
【0005】
そこで、実施形態の課題の一つは、複数のフレーム間のオプティカルフローに基づいて復元する復元画像の信頼度を向上させることを可能とする周辺監視装置、およびプログラムを提供する。
【課題を解決するための手段】
【0006】
実施形態の周辺監視装置は、一例として、車両に備えられる撮像部によって前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、前記撮像画像に含まれる汚れ画像を検出し、かつ前記汚れ画像をマスクする検出部と、前記撮像画像のうち第１撮像画像と、当該第１撮像画像と時系列的に連続する前記撮像画像と、の間における、前記汚れ画像をマスクした欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第１撮像画像内の前記欠損領域の少なくとも一部を復元した第１復元画像を生成し、前記撮像画像のうち前記第１撮像画像より後の第２撮像画像と、当該第２撮像画像と時系列的に連続する前記撮像画像のうち前記第１撮像画像を除く前記撮像画像と、前記第１復元画像と、の間における前記欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第２撮像画像内の前記欠損領域の少なくとも一部を復元した第２復元画像を復元する復元部と、を備える。よって、一例として、撮像画像内の欠損領域が広くなった場合でも、複数の撮像画像間の欠損領域のオプティカルフローに基づいて復元する画像の信頼度を向上させることができる。
【0007】
また、実施形態の周辺監視装置は、一例として、前記欠損領域の外縁近傍を、復元対象範囲に設定する設定部をさらに備え、前記復元部は、前記設定部により設定される前記復元対象範囲を復元する。よって、一例として、復元画像の復元精度を向上させることができる。
【0008】
また、実施形態の周辺監視装置は、一例として、前記設定部は、前記車両が直進している場合、前記撮像部によって前記車両の前方を撮像して得られる前記撮像画像の前記欠損領域が、前記撮像画像の中央に近づくに従って、前記復元対象範囲を狭める。よって、一例として、復元画像の復元精度を向上させることができる。
【0009】
実施形態のプログラムは、一例として、コンピュータを、車両に備えられる撮像部によって前記車両の周囲を撮像して得られる撮像画像を取得する取得部と、前記撮像画像に含まれる汚れ画像を検出し、かつ前記汚れ画像をマスクする検出部と、前記撮像画像のうち第１撮像画像と、当該第１撮像画像と時系列的に連続する前記撮像画像と、の間における、前記汚れ画像をマスクした欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第１撮像画像内の前記欠損領域の少なくとも一部を復元した第１復元画像を生成し、前記撮像画像のうち前記第１撮像画像より後の第２撮像画像と、当該第２撮像画像と時系列的に連続する前記撮像画像のうち前記第１撮像画像を除く前記撮像画像と、前記第１復元画像と、の間における、前記欠損領域のオプティカルフローを推定し、当該推定したオプティカルフローに基づいて、前記第２撮像画像内の前記欠損領域の少なくとも一部を復元した第２復元画像を復元する復元部と、として機能させる。よって、一例として、撮像画像内の欠損領域が広くなった場合でも、複数の撮像画像間の欠損領域のオプティカルフローに基づいて復元する画像の信頼度を向上させることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【0012】
本実施形態の周辺監視装置は、例えば、車両に搭載された撮像部のレンズに汚れが付着して、撮像画像に汚れが写り込んでいた場合、この汚れを取り除いたかのような画像、つまり汚れが存在しない状態を復元した復元画像を生成する。そして、復元画像を用いることで、周辺監視装置における周辺監視機能を向上する。
【0013】
図１は、本実施形態の周辺監視装置が搭載される車両の模式的な平面図である。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１０における車輪１２（前輪１２Ｆ、後輪１２Ｒ）の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【0014】
図１に例示されるように、車両１０には、複数の撮像部１４として、例えば四つの撮像部１４ａ～１４ｄが設けられている。撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで動画データ（撮像画像）を出力することができる。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°～２２０°の範囲を撮影することができる。また、例えば、車両１０の外周部に配置される撮像部１４（１４ａ～１４ｄ）の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１４（１４ａ～１４ｄ）は、車両１０が移動可能な路面や路面に付されたマーク（矢印や区画線、駐車スペースを示す駐車枠、車線分離線等）や物体（障害物として、例えば、歩行者、他車両等）を含む車両１０の外部の周辺環境を逐次撮影し、撮像画像として出力する。
【0015】
撮像部１４ａは、例えば、車両１０の前側、すなわち車両前後方向の前方側で車幅方向のほぼ中央の端部、例えばフロントバンパ１０ａやフロントグリル等に設けられて、車両１０の前端部（例えばフロントバンパ１０ａ）を含む前方画像を撮像可能である。また、撮像部１４ｂは、例えば、車両１０の後側、すなわち車両前後方向の後方側で車幅方向のほぼ中央の端部、例えばリヤバンパ１０ｂの上方位置に設けられて、車両１０の後端部（例えばリヤバンパ１０ｂ）を含む後方領域を撮像可能である。また、撮像部１４ｃは、例えば、車両１０の右側の端部、例えば右側のドアミラー１０ｃに設けられて、車両１０の右側方を中心とする領域（例えば右前方から右後方の領域）を含む右側方画像を撮像可能である。撮像部１４ｄは、例えば、車両１０の左側の端部、例えば左側のドアミラー１０ｄに設けられて、車両１０の左側方を中心とする領域（例えば左前方から左後方の領域）を含む左側方画像を撮像可能である。
【0016】
例えば、撮像部１４ａ～１４ｄで得られた各撮像画像データは、それぞれ演算処理や画像処理を実行することで、車両１０の周囲それぞれの方向における画像を表示したり周辺監視を実行したりすることができる。また、各撮像画像に基づいて、演算処理や画像処理を実行することで、より広い視野角の画像を生成したり、車両１０を上方や前方、側方等から見た仮想的な画像（俯瞰画像（平面画像）や側方視画像、正面視画像等）を生成して表示したり、周辺監視を実行したりすることができる。
【0017】
各撮像部１４で撮像された撮像画像データは、上述したように、車両１０の周囲の状況を運転者等の利用者に提供するために、車室内の表示装置に表示される。また、撮像画像は、各種検出や検知を行う処理装置（処理部）に提供され、車両１０を制御するために利用することができる。
【0018】
図２は、本実施形態の周辺監視装置を含む車両制御システムの構成の例示的なブロック図である。
【0019】
車両１０の車室内には、表示装置１６や、音声出力装置１８が設けられている。表示装置１６は、例えば、ＬＣＤ（Liquid Crystal Display）や、ＯＥＬＤ（Organic Electroluminescent Display）等である。音声出力装置１８は、例えば、スピーカである。また、表示装置１６は、例えば、タッチパネル等、透明な操作入力部２０で覆われている。使用者（例えば、運転者）は、操作入力部２０を介して表示装置１６の表示画面に表示される画像を視認することができる。また、利用者は、表示装置１６の表示画面に表示される画像に対応した位置で、手指等で操作入力部２０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置１６や、音声出力装置１８、操作入力部２０等は、例えば、車両１０のダッシュボードの車幅方向すなわち左右方向の例えば中央部に位置されたモニタ装置２２に設けられている。モニタ装置２２は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。モニタ装置２２は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【0020】
また、図２に例示されるように、車両制御システム１００（周辺監視装置を含む）は、撮像部１４（１４ａ～１４ｄ）やモニタ装置２２に加え、ＥＣＵ（Electronic Control Unit）２４、車輪速センサ２６、舵角センサ２８、情報取得部３０等が含まれる。車両制御システム１００において、ＥＣＵ２４やモニタ装置２２、車輪速センサ２６、舵角センサ２８、情報取得部３０等は、電気通信回線としての車内ネットワーク３２を介して電気的に接続されている。車内ネットワーク３２は、例えば、ＣＡＮ（Controller Area Network）として構成されている。ＥＣＵ２４は、車内ネットワーク３２を通じて制御信号を送ることで、各種システムの制御が実行できる。また、ＥＣＵ２４は、車内ネットワーク３２を介して、操作入力部２０や各種スイッチの操作信号等、車輪速センサ２６、舵角センサ２８等の各種センサの検出信号等、情報取得部３０が取得可能な位置情報等の情報を、受け取ることができる。なお、車内ネットワーク３２には、車両１０を走行させるための種々のシステム（操舵システム、ブレーキシステム、駆動システム等）や種々のセンサが接続されているが、図２において、本実施形態の周辺監視装置で必須ではない構成は図示を省略するとともに、その説明を省略する。
【0021】
ＥＣＵ２４は、撮像部１４から取得した撮像画像データに基づいて生成した周辺画像等や音声に関するデータをモニタ装置２２へ送信する。ＥＣＵ２４は、例えば、ＣＰＵ（Central Processing Unit）２４ａや、ＲＯＭ（Read Only Memory）２４ｂ、ＲＡＭ（Random Access Memory）２４ｃ、表示制御部２４ｄ、音声制御部２４ｅ、ＳＳＤ（Solid State Drive、フラッシュメモリ）２４ｆ等を有している。
【0022】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａが復元画像の復元処理を実行する際のワークエリアとして使用されるとともに、ＣＰＵ２４ａでの演算で用いられる各種のデータ（撮像部１４で逐次（時系列的（時間的）に連続して）撮像される撮像画像等）の一時的な格納エリアとして利用される。また、表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、表示装置１６で表示される画像データの合成等を実行する。また、音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置１８で出力される音声データの処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ２４ａや、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ２４は、ＣＰＵ２４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ２４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ２４ｆやＨＤＤは、ＥＣＵ２４とは別に設けられてもよい。
【0023】
車輪速センサ２６は、車輪１２の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２６は、各車輪１２に配置され、各車輪１２で検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２６は、例えば、ホール素子などを用いて構成されうる。ＣＰＵ２４ａは、車輪速センサ２６から取得した検出値に基づいて車両１０の車速や加速度等を演算し、各種制御を実行する。ＣＰＵ２４ａは、各車輪速センサ２６の検出値に基づいて車両１０の車速を算出する場合、四輪のうち最も小さな検出値の車輪１２の速度に基づき車両１０の車速を決定し、各種制御を実行する。なお、車輪速センサ２６は、図示を省略したブレーキシステムに設けられている場合もある。その場合、ＣＰＵ２４ａは、車輪速センサ２６の検出値をブレーキシステムを介して取得してもよい。
【0024】
舵角センサ２８は、例えば、ステアリングホイール等の操舵部の操舵量を検出するセンサである。舵角センサ２８は、例えば、ホール素子などを用いて構成される。ＣＰＵ２４ａは、運転者による操舵部の操舵量や、例えば駐車支援を実行する際の自動操舵時の前輪１２Ｆの操舵量等を、舵角センサ２８から取得して各種制御を実行する。
【0025】
情報取得部３０は、ＧＰＳ（Global Positioning System）等から送信されるＧＰＳ信号を受信することで車両１０の現在の位置を取得したり、外部の情報センタ等が送信する気象情報等を取得したりすることが可能で、取得した情報を各種制御に利用する。なお、車両１０の位置情報や外部情報等は、モニタ装置２２がナビゲーションシステムを供える場合、ナビゲーションシステム側で取得してもよい。
【0026】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、撮像部１４で撮像された撮像画像に汚れが存在する場合、その撮像画像から汚れを取り除いたかのような画像、つまり、汚れが存在しない状態を復元した「復元画像」の生成処理（復元処理）を司る。
【0027】
図３は、本実施形態の車両が有する車両制御システムの機能構成を例示的に示すブロック図である。
【0028】
ＥＣＵ２４（周辺監視装置の一例）は、撮像画像に存在する汚れを取り除いたかのような復元画像を生成する復元処理機能を実現するための各種モジュールを含む。例えば、ＥＣＵ２４は、画像取得部３４１、汚れ画像検出部３４２、オプティカルフロー推定部３４３、画像復元部３４４、復元対象範囲判定部３４５、および自車位置情報取得部３４６等を含む。これらのモジュールは、ＣＰＵ２４ａ（プロセッサの一例）がＲＯＭ２４ｂ等の記憶装置に記憶されるプログラムを実行することにより実現されても良いし、専用のハードウェアとして構成されても良い。ＥＣＵ２４には、実際に周辺監視処理として、障害物検出や白線検出等を実行するためのモジュールが含まれるが、図３においては、復元処理機能に必要なモジュール以外は、図示を省略するとともに、その説明を省略する。
【0029】
ＲＯＭ２４ｂは、ＣＰＵ２４ａで実行される各種プログラム等を記憶する。また、ＲＡＭ２４ｃは、ＥＣＵ２４で復元画像を生成する場合に利用する撮像画像として、時系列的に連続して撮像された複数の撮像画像を一時的に格納しておく、撮像画像格納部３４０を含む。また、ＳＳＤ２４ｆは、画像復元部３４４により復元される復元画像を記憶する記憶部の一例である。
【0030】
画像取得部３４１は、各撮像部１４によって、車両１０の周囲を撮像して得られる撮像画像を取得する。そして、画像取得部３４１は、取得した撮像画像を、ＲＡＭ２４ｃの撮像画像格納部３４０に保存する。
【0031】
本実施形態では、画像取得部３４１は、車両１０（ＥＣＵ２４）の電源がＯＮの場合に撮像部１４の撮像により得られる撮像画像を取得する。そして、画像取得部３４１は、各撮像部１４（１４ａ～１４ｄ）の撮像により得られる撮像画像を、撮像部１４毎に識別して取得して、撮像画像格納部３４０に保存する。
【0032】
したがって、撮像画像格納部３４０には、各撮像部１４毎に時間的（時系列的）に連続する撮像画像（フレーム）が保存される。撮像画像格納部３４０は、一定期間、例えば、３～５秒分の撮像画像が格納可能で、逐次新しい撮像画像を上書する。本実施形態では、撮像画像格納部３４０は、復元画像を生成する撮像画像（以下、対象画像と言う）を基準として、当該対象画像の前後の複数の撮像画像を記憶する。または、撮像画像格納部３４０は、車両１０が一定距離走行する間の撮像画像を記憶するようにしてもよい。
【0033】
汚れ画像検出部３４２は、撮像画像格納部３４０に記憶される撮像画像に含まれる汚れ画像を検出する。次いで、汚れ画像検出部３４２は、撮像画像のうち、当該検出した汚れ画像をマスク（例えば、除去）する。本実施形態では、汚れ画像検出部３４２が、検出部の一例として機能する。
【0034】
本実施形態では、汚れ画像検出部３４２は、Attentive Recurrent Networkに入力して、画像取得部３４１により取得される各撮像画像のAttention Mapを生成する。次いで、汚れ画像検出部３４２は、生成したAttention Mapを二値化することにより、撮像画像から汚れ画像（例えば、雨滴の画像）を検出する。そして、汚れ画像検出部３４２は、撮像画像内において、当該検出した汚れ画像の領域をマスクする。
【0035】
オプティカルフロー推定部３４３は、撮像画像格納部３４０に記憶される撮像画像のうち対象画像と、当該対象画像と時系列的に連続する撮像画像と、の間における欠損領域のオプティカルフローを推定する。ここで、欠損領域は、撮像画像のうち、汚れ画像をマスクした領域である。
【0036】
本実施形態では、オプティカルフロー推定部３４３は、深層学習を用いて、対象画像と、当該対象画像と時系列的に連続する撮像画像と、の間の欠損領域のオプティカルフローを推定する。例えば、オプティカルフロー推定部３４３は、対象画像と、その前後の予め設定された数の撮像画像と、の間の欠損領域のオプティカルフローを推定する。
【0037】
具体的には、オプティカルフロー推定部３４３は、汚れ画像を含む撮像画像と、汚れ画像を示すマスク画像と、をDeep Flow Completion Networkに入力して、撮像画像内においてマスクによって欠損した欠損領域のオプティカルフローを推定する。または、オプティカルフロー推定部３４３は、撮像画像内の欠損領域の周囲のオプティカルフローを推定し、その推定結果に基づいて、欠損領域のオプティカルフローを推定することも可能である。
【0038】
しかしながら、時系列的に連続する複数の撮像画像間の欠損領域のオプティカルフローに基づいて、対象画像内の欠損領域を復元する場合、欠損領域が広くなると、撮像画像において、オプティカルフローに基づく欠損領域の復元に適用可能な箇所が少なくなる。そのため、撮像画像内の欠損領域が広くなると、複数の撮像画像間の欠損領域のオプティカルフローに基づいて復元する画像の信頼度が低くなる可能性がある。また、撮像画像内の欠損領域が広くなると、複数の撮像画像間の欠損領域のオプティカルフローに基づく画像の復元を繰り返しても、欠損領域が広いままとなる可能性がある。
【0039】
そこで、本実施形態では、オプティカルフロー推定部３４３は、対象画像と、当該対象画像と時系列的に連続する撮像画像と、後述する画像復元部３４４により復元済みの復元画像と、の間における欠損領域のオプティカルフローを推定する。言い換えると、オプティカルフロー推定部３４３は、撮像画像格納部３４０に記憶される撮像画像のうち対象画像と、当該対象画像に時系列的に連続する撮像画像と、当該対象画像より前の撮像画像の復元画像と、の間の欠損領域のオプティカルフローを推定する。
【0040】
これにより、画像取得部３４１により取得される撮像画像における欠損領域が広くなった場合でも、復元画像において当該汚れ画像の領域が復元されていれば、欠損領域のオプティカルフローの推定に用いる画像において、欠損領域の復元に適用可能な箇所を増やすことができる。その結果、撮像画像内の欠損領域が広くなった場合でも、複数の撮像画像間の欠損領域のオプティカルフローに基づいて復元する画像の信頼度を向上させることができる。また、撮像画像内の欠損領域が広くなった場合でも、複数の撮像画像間の欠損領域のオプティカルフローに基づく画像の復元を繰り返すことにより、欠損領域が広いままとなる可能性を低減できる。
【0041】
画像復元部３４４は、オプティカルフロー推定部３４３によって推定した欠損領域のオプティカルフローに基づいて、対象画像内の欠損領域の少なくとも一部を復元した復元画像を生成する。
【0042】
本実施形態では、画像復元部３４４は、欠損領域のオプティカルフローに基づいて、Flow Guided Frame Inpaintingによって、欠損領域を復元（修復）することによって、復元画像を生成する。また、本実施形態では、画像復元部３４４は、対象画像が含む欠損領域のうち、後述する復元対象範囲判定部３４５により設定される復元対象範囲を復元する。したがって、本実施形態では、オプティカルフロー推定部３４３および画像復元部３４４が、復元部の一例として機能する。
【0043】
また、画像復元部３４４は、生成した復元画像を、ＳＳＤ２４ｆ等の記憶部に保存する。さらに、画像復元部３４４は、ＳＳＤ２４ｆ等の記憶部に記憶される復元画像を表示装置１６に表示させる。
【0044】
自車位置情報取得部３４６は、車両１０の現在の位置を示す自車位置情報を取得する。本実施形態では、自車位置情報取得部３４６は、情報取得部３０により取得される車両１０の現在の位置を示す情報を、自車位置情報として取得する。
【0045】
復元対象範囲判定部３４５は、対象画像の欠損領域のうち当該欠損領域の外縁近傍を、復元対象範囲に設定する設定部の一例として機能する。これにより、欠損領域に含まれる画素のうち、オプティカルフローの推定精度が高い画素のオプティカルフローに基づいて、欠損領域を復元することが可能となる。その結果、復元画像の復元精度を向上させることができる。
【0046】
また、復元対象範囲判定部３４５は、自車位置情報取得部３４６により取得される自車位置情報に基づいて、復元対象範囲を設定する。これにより、欠損領域のオプティカルフローの推定結果の信頼性を考慮して、復元対象範囲を設定することが可能となるので、復元画像の復元精度を向上させることができる。
【0047】
具体的には、復元対象範囲判定部３４５は、自車位置情報に基づいて、車両１０が直進しているか否かを判断する。そして、復元対象範囲判定部３４５は、車両１０が直進していると判断した場合、撮像部１４（例えば、撮像部１４ａ）によって車両１０の前方を撮像して得られる撮像画像の欠損領域が、当該撮像画像の中央に近づくに従って、復元対象範囲を狭める。言い換えると、復元対象範囲判定部３４５は、車両１０が直進していると判断した場合、撮像部１４によって車両１０の前方を撮像して得られる撮像画像の欠損領域が、当該撮像画像の中央から離れるに従って、復元対象範囲を大きくする。
【0048】
これにより、車両１０が直進している場合に、撮像画像に含まれる欠損領域のうちオプティカルフローの推定結果の信頼性が低くなる当該撮像画像の中央近傍の欠損領域については、復元対象範囲を狭めることが可能となるので、復元画像の復元精度を向上させることができる。
【0049】
図４は、本実施形態にかかる車両が有する車両制御システムにおける復元画像の生成処理の一例を説明するための図である。
【0050】
次に、図４を用いて、ＥＣＵ２４による復元画像の生成処理の一例について説明する。
【0051】
ＥＣＵ２４の電源がＯＮされると、画像取得部３４１は、撮像部１４の撮像により得られる撮像画像の取得を開始する。そして、画像取得部３４１は、取得した撮像画像を、撮像画像格納部３４０に保存する。
【0052】
次いで、汚れ画像検出部３４２は、対象画像、および当該対象画像の前後の撮像画像を含む複数の撮像画像Ｆ０（＝（ｆ－３ｋ，・・・，ｆ０，・・・ｆ３ｋ＋１））のそれぞれから汚れ画像を検出する。次いで、汚れ画像検出部３４２は、複数の撮像画像Ｆ０のそれぞれに含まれる汚れ画像をマスクする。
【0053】
次に、オプティカルフロー推定部３４３は、複数の撮像画像Ｆ０間における、汚れ画像をマスクした欠損領域のオプティカルフローを推定する。そして、画像復元部３４４は、複数の撮像画像Ｆ０間における欠損領域のオプティカルフローに基づいて、対象画像ｆ０の欠損領域を復元した復元画像ｆ´０を生成する。
【0054】
続いて、汚れ画像検出部３４２は、対象画像ｆ０よりも時系列的に後の対象画像ｆ１、当該対象画像ｆ１の前後の撮像画像、および復元画像ｆ´０を含む複数の撮像画像Ｆ１（＝（ｆ－３ｋ＋１，・・・，ｆ´０，ｆ１，・・・ｆ３ｋ＋２））のそれぞれから汚れ画像を検出する。次いで、汚れ画像検出部３４２は、複数の撮像画像Ｆ１のそれぞれに含まれる汚れ画像をマスクする。
【0055】
次に、オプティカルフロー推定部３４３は、複数の撮像画像Ｆ１間における、汚れ画像をマスクした欠損領域のオプティカルフローを推定する。そして、画像復元部３４４は、複数の撮像画像Ｆ１間における欠損領域のオプティカルフローに基づいて、対象画像ｆ１の欠損領域を復元した復元画像ｆ´１を生成する。
【0056】
続いて、汚れ画像検出部３４２は、対象画像ｆ１よりも時系列的に後の対象画像ｆ２、当該対象画像ｆ２の前後の撮像画像、および復元画像ｆ´０，ｆ´１を含む複数の撮像画像Ｆ２（＝（ｆ－３ｋ＋２，・・・，ｆ´０，ｆ´１，ｆ２，・・・ｆ３ｋ＋３））のそれぞれから汚れ画像を検出する。次いで、汚れ画像検出部３４２は、複数の撮像画像Ｆ２のそれぞれに含まれる汚れ画像をマスクする。
【0057】
次に、オプティカルフロー推定部３４３は、複数の撮像画像Ｆ２間における、汚れ画像をマスクした欠損領域のオプティカルフローを推定する。そして、画像復元部３４４は、複数の撮像画像Ｆ２間における欠損領域のオプティカルフローに基づいて、対象画像ｆ２の欠損領域を復元した復元画像ｆ´２を生成する。
【0058】
このように、復元画像の生成を繰り返す毎に、対象画像の欠損領域のオプティカルフローの推定に用いる復元画像が増え、複数の撮像画像内においてオプティカルフローの推定を適用可能な箇所を増やすことができる。その結果、複数の撮像画像間のオプティカルフローに基づいて復元できる欠損領域が大きくすることができる。
【0059】
図５は、本実施形態にかかる車両が有する車両制御システムにおける復元対象範囲の設定処理の一例を説明するための図である。
【0060】
次に、図５を用いて、ＥＣＵ２４による復元対象範囲の設定処理の一例について説明する。
【0061】
復元対象範囲判定部３４５は、図５に示すように、複数の時刻（例えば、時刻Ｔ－Ｙ、時刻Ｔ、時刻Ｔ＋Ｙ）における自車位置情報に基づいて、車両１０が直進しているか否かを判断する。そして、車両１０が直進していると判断した場合、復元対象範囲判定部３４５は、図５に示すように、対象画像Ｇ内における予め設定される画像領域毎のオプティカルフローの推定結果の信頼性を考慮して、欠損領域Ｒ１，Ｒ２に対して、復元対象範囲Ｒ１´，Ｒ２´を設定する。
【0062】
具体的には、車両１０が直進している場合、対象画像Ｇの中央と比較して、対象画像Ｇの端側のオプティカルフローが長くなり、オプティカルフローの推定結果の信頼性が高くなる。そのため、復元対象範囲判定部３４５は、対象画像Ｇの中央付近に存在する欠損領域Ｒ１に設定する復元対象範囲Ｒ１´より、対象画像Ｇの端側に存在する欠損領域Ｒ２に設定する復元対象範囲Ｒ２´を大きくする。
【0063】
これにより、車両１０が直進している場合に、対象画像Ｇに含まれる欠損領域Ｒ１，Ｒ２のうちオプティカルフローの推定結果の信頼性が低くなる当該対象画像Ｇの中央近傍の欠損領域Ｒ１については、復元対象範囲Ｒ１´を狭めることが可能となるので、復元画像の復元精度を向上させることができる。
【0064】
図６は、本実施形態にかかる車両が有する車両制御システムにおける復元対象範囲の設定処理の一例を説明するための図である。
【0065】
復元対象範囲判定部３４５は、図６に示すように、対象画像Ｇに含まれる欠損領域Ｒ（汚れ画像）の重心Ｏ（中心）と、当該欠損領域Ｒの外縁Ｓと、の間の距離に基づいて、復元対象範囲Ｒ´を設定する。
【0066】
具体的には、復元対象範囲判定部３４５は、図６に示すように、重心Ｏと、外縁Ｓの任意の点Ｐと、を結ぶ線の距離（ユークリッド距離）Ｄを、所定比率Ｈ（＝Ｘ：Ｙ）で分割する。ここで、所定比率Ｈは、予め設定される比率であり、距離Ｄのうち、外縁Ｓ側の距離Ｄ２が、重心Ｏ側の距離Ｄ１より長くなるように設定されているものとする。復元対象範囲判定部３４５は、自車両位置情報および対象画像Ｇ内における欠損領域Ｒの位置に応じて、所定比率Ｈを変更することも可能である。具体的には、復元対象範囲判定部３４５は、車両１０が直進している場合、対象画像Ｇ内における欠損領域Ｒの位置が中央に近づくに従って、外縁Ｓ側の距離Ｄ２が短くなるように所定比率Ｈを設定する。
【0067】
そして、復元対象範囲判定部３４５は、欠損領域Ｒの外縁Ｓから重心Ｏに向かって、距離Ｄ２までの範囲を、復元対象範囲Ｒ´に設定する。これにより、欠損領域Ｒに含まれる画素のうち、オプティカルフローの推定精度が高い画素のオプティカルフローに基づいて、欠損領域Ｒを復元することが可能となる。その結果、復元画像の復元精度を向上させることができる。
【0068】
図７，８は、本実施形態にかかる車両が有する車両制御システムにおける復元対象範囲の設定処理の他の例を説明するための図である。
【0069】
復元対象範囲判定部３４５は、図７に示すように、対象画像Ｇ内の欠損領域Ｒ（汚れ画像）の外縁Ｓから、当該欠損領域Ｒの重心Ｏに向かって、所定距離Ｚの範囲を、復元対象範囲Ｒ´に設定することも可能である。これにより、欠損領域Ｒに含まれる画素のうち、オプティカルフローの推定精度が高い画素のオプティカルフローに基づいて、欠損領域Ｒを復元することが可能となる。その結果、復元画像の復元精度を向上させることができる。
【0070】
例えば、復元対象範囲判定部３４５は、図８に示すように、対象画像Ｇ内の欠損領域Ｒの各画素について、当該欠損領域Ｒの外縁Ｓからの最小距離を算出する距離変換処理を実行する。そして、復元対象範囲判定部３４５は、図８に示すように、欠損領域Ｒの画素のうち、最小距離が所定距離Ｚの範囲内に存在する画素からなる領域を、復元対象範囲Ｒ´に設定する。
【0071】
ここで、所定距離Ｚは、予め設定される距離である。復元対象範囲判定部３４５は、自車両位置情報および対象画像Ｇ内における欠損領域Ｒの位置に応じて、所定距離Ｚを変更することも可能である。具体的には、復元対象範囲判定部３４５は、車両１０が直進している場合、対象画像Ｇ内における欠損領域Ｒの位置が中央に近づくに従って、所定距離Ｚを短くする。
【0072】
図９は、本実施形態にかかる車両が有する車両制御システムにおける復元画像の生成処理の流れの一例を示すフローチャートである。
【0073】
次に、図９を用いて、ＥＣＵ２４による復元画像の生成処理の流れの一例について説明する。
【0074】
ＥＣＵ２４の電源がＯＮされると、画像取得部３４１は、撮像部１４の撮像により得られる撮像画像の取得を開始する（ステップＳ９０１）。そして、画像取得部３４１は、取得した撮像画像を、撮像画像格納部３４０に保存する（ステップＳ９０２）。
【0075】
汚れ画像検出部３４２は、画像取得部３４１により取得される撮像画像に含まれる汚れ画像を検出する（ステップＳ９０３）。また、汚れ画像検出部３４２は、撮像画像のうち、当該検出した汚れ画像をマスクする（ステップＳ９０４）。
【0076】
オプティカルフロー推定部３４３は、画像取得部３４１により取得される複数の撮像画像間における、汚れ画像をマスクした欠損領域のオプティカルフローを推定する（ステップＳ９０５）。その際、オプティカルフロー推定部３４３は、画像復元部３４４により復元済みの復元画像が存在する場合、オプティカルフロー推定部３４３は、画像取得部３４１により取得される複数の撮像画像と、復元画像と、の間における欠損領域のオプティカルフローを推定する。
【0077】
画像復元部３４４は、オプティカルフロー推定部３４３により推定した欠損領域のオプティカルフローに基づいて、対象画像内の欠損領域の少なくとも一部を復元した復元画像を生成する（ステップＳ９０６）。そして、画像復元部３４４は、生成した復元画像を、ＳＳＤ３４ｆ等の記憶部に保存する（ステップＳ９０７）。
【0078】
このように、本実施形態にかかる車両１０によれば、画像取得部３４１により取得される撮像画像における欠損領域が広くなった場合でも、復元画像において当該汚れ画像の領域が復元されていれば、欠損領域のオプティカルフローの推定に用いる画像において、欠損領域の復元に適用可能な箇所を増やすことができる。その結果、撮像画像内の欠損領域が広くなった場合でも、複数の撮像画像間の欠損領域のオプティカルフローに基づいて復元する画像の信頼度を向上させることができる。また、撮像画像内の欠損領域が広くなった場合でも、複数の撮像画像間の欠損領域のオプティカルフローに基づく画像の復元を繰り返すことにより、欠損領域が広いままとなる可能性を低減できる。
【符号の説明】
【0079】
１０ 車両
１４ 撮像部
２４ ＥＣＵ
２４ａ ＣＰＵ
２４ｂ ＲＯＭ
２４ｃ ＲＡＭ
２４ｆ ＳＳＤ
３０ 情報取得部
３４０ 撮像画像格納部
３４１ 画像取得部
３４２ 汚れ画像検出部
３４３ オプティカルフロー推定部
３４４ 画像復元部
３４５ 復元対象範囲判定部
３４６ 自車位置情報取得部
１４ 撮像部
２４ ＥＣＵ
２４ａ ＣＰＵ
２４ｂ ＲＯＭ
２４ｃ ＲＡＭ
２４ｆ ＳＳＤ
３０ 情報取得部
３４０ 撮像画像格納部
３４１ 画像取得部
３４２ 汚れ画像検出部
３４３ オプティカルフロー推定部
３４４ 画像復元部
３４５ 復元対象範囲判定部
３４６ 自車位置情報取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】