特許 6115104 車両の制御装置、及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6115104

(24)【登録日】2017年3月31日

(45)【発行日】2017年4月19日

(54)【発明の名称】車両の制御装置、及び制御方法

(51)【国際特許分類】

   H04N 5/225 20060101AFI20170410BHJP

   H04N 7/18 20060101ALI20170410BHJP

   G06T 1/00 20060101ALI20170410BHJP

   B60R 1/00 20060101ALI20170410BHJP

【ＦＩ】

   H04N5/225 C

   H04N7/18 J

   G06T1/00 330Z

   B60R1/00 A

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2012-265799(P2012-265799)

(22)【出願日】2012年12月4日

(65)【公開番号】特開2014-110627(P2014-110627A)

(43)【公開日】2014年6月12日

【審査請求日】2015年11月10日

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】若林 春樹

(72)【発明者】

【氏名】山本 欣司

(72)【発明者】

【氏名】平田 誠

【審査官】 榎 一

(56)【参考文献】

【文献】 特開２０１１−０３０１４１（ＪＰ，Ａ）

【文献】 特開２００９−０１７０２０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２〜２５７

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する取得部と、
前記車両の前端部から前方向を撮像した画像情報の第１の被撮像領域及び前記車両の後端部から後方向を撮像した画像情報の第３の被撮像領域が、前記車両の側面部から側方向を撮像した画像情報の第２の被撮像領域と一部重複している場合に、前記第１の被撮像領域の重複領域の輝度に、前記第２の被撮像領域の一方の重複領域の輝度を合わせると共に、前記第３の被撮像領域の重複領域の輝度に、前記第２の被撮像領域の他方の重複領域の輝度を合わせるように、前記側方向を撮像した画像情報を補正する補正部と、
前記第１の被撮像領域の重複領域の輝度と、前記第２の被撮像領域の一方の重複領域の輝度、との差分を第１の補正値として算出し、前記第３の被撮像領域の重複領域の輝度と、前記第２の被撮像領域の他方の重複領域の輝度、との差分を第２の補正値として算出し、前記第１の補正値及び前記第２の補正値を用いて補間された補正値を、前記側方向を撮像した画像情報における、前記重複領域以外の前記第２の被撮像領域の各画素に設定する補正テーブル生成部と、を備え、
前記補正部は、さらに、前記補正テーブル生成部により前記各画素に設定された前記補正値に基づいて、前記側方向を撮像した画像情報を補正する、
車両の制御装置。

【請求項2】

前記補正部により補正された複数の画像情報に基づいて、前記車両の外部の環境を上方から俯瞰した俯瞰映像を生成する生成部を、
さらに備える請求項１に記載の車両の制御装置。

【請求項3】

前記生成部により生成された前記俯瞰映像が、前記複数の画像情報毎に区切られている、
請求項２に記載の車両の制御装置。

【請求項4】

前記補正部は、さらに、補正後の前記第２の被撮像領域の一方の重複領域の輝度が、前記第１の被撮像領域の重複領域の輝度と補正前の前記第２の被撮像領域の一方の重複領域の輝度との間になるよう補正する、
請求項３に記載の車両の制御装置。

【請求項5】

前記補正部は、さらに、補正後の前記第２の被撮像領域の他方の重複領域の輝度が、前記第３の被撮像領域の重複領域の輝度と補正前の前記第２の被撮像領域の一方の重複領域の輝度との間になるよう補正する、
請求項３に記載の車両の制御装置。

【請求項6】

前記車両に設けられた前記複数の撮像部は、同一のレンズ特性を有している、
請求項１乃至５のいずれか一つに記載の車両の制御装置。

【請求項7】

車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する取得ステップと、
前記車両の前端部から前方向を撮像した画像情報の第１の被撮像領域及び前記車両の後端部から後方向を撮像した画像情報の第３の被撮像領域が、前記車両の側面部から側方向を撮像した画像情報の第２の被撮像領域と一部重複している場合に、前記第１の被撮像領域の重複領域の輝度に、前記第２の被撮像領域の一方の重複領域の輝度を合わせると共に、前記第３の被撮像領域の重複領域の輝度に、前記第２の被撮像領域の他方の重複領域の輝度を合わせるように、前記側方向を撮像した画像情報を補正する補正ステップと、
前記第１の被撮像領域の重複領域の輝度と、前記第２の被撮像領域の一方の重複領域の輝度、との差分を第１の補正値として算出し、前記第３の被撮像領域の重複領域の輝度と、前記第２の被撮像領域の他方の重複領域の輝度、との差分を第２の補正値として算出し、前記第１の補正値及び前記第２の補正値を用いて補間された補正値を、前記側方向を撮像した画像情報における、前記重複領域以外の前記第２の被撮像領域の各画素に設定する補正テーブル生成ステップと、を有し、
前記補正ステップは、さらに、前記補正テーブル生成ステップにより前記各画素に設定された前記補正値に基づいて、前記側方向を撮像した画像情報を補正する、
を有する車両の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、車両の制御装置、及び制御方法に関する。

【背景技術】

【0002】

従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術が提案されている。

【0003】

撮像された複数の画像データ間では、カメラの取り付け位置や向き、特性のみならず、当該カメラに用いられているレンズの特性に応じて、輝度にズレが生じる。そこで、運転者に提供する際に画像データに対して輝度の補正を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−１４１０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術においては、カメラのレンズの特性が不明な場合などもあり、運転者に提供する画像データについて適切な補正を行うのが難しい場合もある。

【課題を解決するための手段】

【0006】

実施形態の車両の制御装置は、一例として、取得部と、補正部と、補正テーブル生成部と、を備える。取得部は、車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する。補正部は、車両の前端部から前方向を撮像した画像情報の第１の被撮像領域及び車両の後端部から後方向を撮像した画像情報の第３の被撮像領域が、車両の側面部から側方向を撮像した画像情報の第２の被撮像領域と一部重複している場合に、第１の被撮像領域の重複領域の輝度に、第２の被撮像領域の一方の重複領域の輝度を合わせると共に、第３の被撮像領域の重複領域の輝度に、第２の被撮像領域の他方の重複領域の輝度を合わせるように、側方向を撮像した画像情報を補正する。補正テーブル生成部は、第１の被撮像領域の重複領域の輝度と、第２の被撮像領域の一方の重複領域の輝度、との差分を第１の補正値として算出し、第３の被撮像領域の重複領域の輝度と、第２の被撮像領域の他方の重複領域の輝度、との差分を第２の補正値として算出し、第１の補正値及び第２の補正値を用いて補間された補正値を、側方向を撮像した画像情報における、重複領域以外の第２の被撮像領域の各画素に設定する。補正部は、さらに、補正テーブル生成部により各画素に設定された補正値に基づいて、側方向を撮像した画像情報を補正する。よって、一例としては、複数の撮像部のレンズ特性にかかわらず、画像情報に対して適切な補正できるという効果を奏する。

【0007】

上記車両の制御装置では、一例として、補正部により補正された複数の画像情報に基づいて、車両の外部の環境を上方から俯瞰した俯瞰映像を生成する生成部を、さらに備える。よって、一例としては、輝度が補正された複数の画像情報による俯瞰映像が生成されることで、視認性の良い俯瞰映像を運転者に提供できるという効果を奏する。

【0008】

上記車両の制御装置では、一例として、生成部により生成された俯瞰映像が、複数の画像情報毎に区切られている。よって、一例としては、撮像部の違いが認識可能な俯瞰映像を運転者に提供できるという効果を奏する。

【0009】

上記車両の制御装置では、一例として、補正部は、さらに、補正後の第２の被撮像領域の一方の重複領域の輝度が、第１の被撮像領域の重複領域の輝度と補正前の第２の被撮像領域の一方の重複領域の輝度との間になるよう補正する。よって、一例としては、複数の画像情報間の輝度の違いによる違和感を抑止できるという効果を奏する。

【0010】

上記車両の制御装置では、一例として、補正部は、さらに、補正後の第２の被撮像領域の他方の重複領域の輝度が、第３の被撮像領域の重複領域の輝度と補正前の第２の被撮像領域の一方の重複領域の輝度との間になるよう補正する。よって、一例としては、複数の画像情報間の輝度の違いによる違和感を抑止できるという効果を奏する。

【0011】

上記車両の制御装置では、一例として、車両に設けられた複数の撮像部は、同一のレンズ特性を有している。よって、一例としては、撮像部のレンズの特性に拘わらず、適切に輝度を補正できるという効果を奏する。

【0012】

実施形態の車両の制御方法では、一例として、取得ステップと、補正ステップと、補正テーブル生成ステップと、を有する。取得ステップは、車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する。補正ステップは、車両の前端部から前方向を撮像した画像情報の第１の被撮像領域及び車両の後端部から後方向を撮像した画像情報の第３の被撮像領域が、車両の側面部から側方向を撮像した画像情報の第２の被撮像領域と一部重複している場合に、第１の被撮像領域の重複領域の輝度に、第２の被撮像領域の一方の重複領域の輝度を合わせると共に、第３の被撮像領域の重複領域の輝度に、第２の被撮像領域の他方の重複領域の輝度を合わせるように、側方向を撮像した画像情報を補正する。補正テーブル生成ステップは、第１の被撮像領域の重複領域の輝度と、第２の被撮像領域の一方の重複領域の輝度、との差分を第１の補正値として算出し、第３の被撮像領域の重複領域の輝度と、第２の被撮像領域の他方の重複領域の輝度、との差分を第２の補正値として算出し、第１の補正値及び第２の補正値を用いて補間された補正値を、側方向を撮像した画像情報における、重複領域以外の第２の被撮像領域の各画素に設定する。補正ステップは、さらに、補正テーブル生成ステップにより各画素に設定された補正値に基づいて、側方向を撮像した画像情報を補正する。よって、一例としては、複数の撮像部のレンズ特性にかかわらず、画像情報に対して適切な補正できるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】図１は、第１の実施形態にかかる車両の一例を当該車両の一部を切り欠いて示す斜視図である。

【図2】図２は、第１の実施形態にかかる車両の一例を示す平面図である。

【図3】図３は、第１の実施形態にかかる車両の構成の一例を示すブロック図である。

【図4】図４は、第１の実施形態にかかる車両が備える撮像部により撮像される被撮像領域を示した図である。

【図5】図５は、第１の実施形態にかかる駐車支援ＥＣＵ内に実現される駐車支援部の構成を示すブロック図である。

【図6】図６は、第１の実施形態にかかる画像処理部により生成された俯瞰画像データの例を示した図である。

【図7】図７は、第１の実施形態にかかる車両の各撮像部で撮像された複数の画像データの重複領域の例を示した図である。

【図8】図８は、第１の実施形態にかかる補正テーブルの生成の概念を示した図である。

【図9】図９は、第１の実施形態にかかる駐車支援部における表示装置に表示するまでの処理の手順を示すフローチャートである。

【図10】図１０は、第１の実施形態にかかる駐車支援部における、補正テーブルの生成処理の手順を示すフローチャートである。

【図11】図１１は、第２の実施形態の駐車支援部が表示装置に表示する俯瞰映像の例を示した図である。

【図12】図１２は、第２の実施形態にかかる駐車支援部における、補正テーブルの生成処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0014】

（第１の実施形態）
本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

【0015】

図１に示されるように、車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

【0016】

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、駐車支援装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。

【0017】

また、図１、２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、駐車支援ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ，１３ａを動作させる。前輪操舵システム１２ならびに後輪操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。前輪操舵システム１２ならびに後輪操舵システム１３は、アクチュエータ１２ａ，１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ，１３ａは、一つの車輪３を操舵してもよいし、複数の車輪３を操舵してもよい。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。

【0018】

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として４つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１５０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

【0019】

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。駐車支援ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１（車体２）を上方から見た仮想的な俯瞰画像（平面画像）を生成したりすることができる。

【0020】

また、本実施形態では、一例として、図３に示されるように、駐車支援システム１００では、駐車支援ＥＣＵ１４や、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３、等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。駐車支援ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２や、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、駐車支援ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、舵角センサ１３ｂ（後輪３Ｒ用）、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

【0021】

駐車支援ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、駐車支援ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、駐車支援ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、駐車支援ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、駐車支援ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、駐車支援ＥＣＵ１４とは別に設けられてもよい。

【0022】

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３（車両１）に制動力を与える。

【0023】

舵角センサ１９は、操舵部４（本実施形態では、一例としてステアリングホイール）の操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ１３ｂは、後輪３Ｒの操舵量（回動角度）を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９，１３ｂから取得して各種制御を実行する。なお、トルクセンサ１２ｂは、運転者が操舵部４に与えるトルクを検出する。

【0024】

車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ＥＣＵ１４は、車輪速センサ２２から取得したデータに基づいて車両１の移動量などを演算し、各種制御を実行する。車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。車輪速センサ２２がブレーキシステム１８に設けられている場合には、駐車支援ＥＣＵ１４は、ブレーキシステム１８を介してデータを取得する。ブレーキセンサ１８ｂは、ブレーキペダルの操作量を検出するセンサであり、駐車支援ＥＣＵ１４は、ブレーキシステム１８を介して情報を取得する。駐車支援ＥＣＵ１４は、例えば、自動操舵中に制動操作部６が操作されたような場合に、自動操舵には適さない状況にあるとして自動操舵を中断したり中止したりすることができる。

【0025】

シフトセンサ２１は、一例としては、変速操作部７の可動部（レバーや、アーム、ボタン等）の位置を検出するセンサ（スイッチ）であり、変位センサなどを用いて構成される。例えば、駐車支援ＥＣＵ１４は、可動部がリバースにセットされた場合に支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。

【0026】

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定（変更）することができる。

【0027】

図４は、車両１が備える撮像部１６により撮像される被撮像領域を示した図である。図４に示すように、撮像部１６ａ〜１６ｄによる被撮像領域４０１〜４０４で、一部重複していることが確認できる。

【0028】

具体的には、前方向の被撮像領域４０１と左方向の被撮像領域４０２との間で重複領域４１１が存在する。また、左方向の被撮像領域４０２と後方向の被撮像領域４０３との間で重複領域４１２が存在する。また、後方向の被撮像領域４０３と右方向の被撮像領域４０４との間で重複領域４１３が存在する。また、右方向の被撮像領域４０４と前方向の被撮像領域４０１との間で重複領域４１４が存在する。

【0029】

本実施形態では、撮像部１６ａ〜１６ｄに利用される各レンズは、全て同じレンズ特性を有している。このため、撮像部１６ａ〜１６ｄによる画角、被撮像領域４０１〜４０４の面積等が等しくなるとともに、レンズ中心から周辺になるにつれて変化する光量も同一となる。

【0030】

ところで、撮像部１６ａが撮像した画像データの重複領域４１１の輝度と、撮像部１６ｂが撮像した画像データの重複領域４１１の輝度と、が異なる場合がある。そこで、本実施形態にかかる駐車支援ＥＣＵ１４は、撮像部１６ａ〜１６ｄの各々で撮像された画像データの輝度等を補正した後、撮像部１６ａ〜１６ｄの各々で撮像された画像データを合成して、運転者に提示するための俯瞰画像データを生成する。

【0031】

図５は、駐車支援ＥＣＵ１４内に実現される駐車支援部５００の構成を示すブロック図である。図５に示す駐車支援部５００内の各構成は、図３の駐車支援ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。

【0032】

駐車支援部５００は、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで、画像取得部５０１と、画像処理部５０２と、表示処理部５０３と、を実現する。

【0033】

そして、本実施形態にかかる駐車支援部５００は、車両１が移動して駐車を行う際に、周囲の状況を俯瞰画像として表示することで、運転者の操舵による駐車を支援する。

【0034】

画像取得部５０１は、複数の撮像部１６ａ〜１６ｄで撮影された、被撮像領域が一部重複する複数の画像データを取得する。本実施形態にかかる画像取得部５０１が取得する複数の画像データは、上述したように、車両１に設けられた複数の撮像部１６ａ〜１６ｄで、車両１の外部の環境を被撮像領域として撮像されたものとする。

【0035】

画像処理部５０２は、輝度補正テーブル生成部５１１と、輝度補正部５１２と、俯瞰画像生成部５１３と、ダイナミックレンジ補正部５１４と、を備え、画像取得部５０１が取得した画像データに対して画像処理を行う。

【0036】

図６は、画像処理部５０２により生成された俯瞰画像データ６００の例を示した図である。図６に示す俯瞰画像データ６００は、車両１を示すアイコン６１１と、車両１の外部の環境が表示されている。この俯瞰画像データ６００は、画像取得部５０１が取得した複数の画像データを、画像処理部５０２が合成したものである。

【0037】

俯瞰画像データ６００では、複数の撮像部１６ａ〜１６ｄで撮像された重複した領域が存在する。例えば、本実施形態においては、領域６０１が、撮像部１６ａ及び撮像部１６ｂで撮像された重複領域の一部とする。同様に、領域６０２が、撮像部１６ａ及び撮像部１６ｄで撮像された重複領域の一部とする。領域６０３が、撮像部１６ｂ及び撮像部１６ｃで撮像された重複領域の一部とする。領域６０４が、撮像部１６ｃ及び撮像部１６ｄで撮像された重複領域の一部とする。複数の画像データを合成して俯瞰画像データを生成する際に、これら重複領域６０１〜６０４に対応する、合成前の画像データの領域について、予め輝度を一致させておく必要がある。

【0038】

そこで、本実施形態にかかる画像処理部５０２は、合成前に、画像取得部５０１が取得した各画像データの輝度を補正することとした。

【0039】

図７は、車両１のフロントカメラである撮像部１６ａにより前方向を撮像した画像データ（以下、フロント画像データとも称す）７１１と、車両１のサイドカメラである撮像部１６ｂにより側方向を撮像した画像データ（以下、サイド画像データとも称す）７１２と、における重複領域の例を示した図である。

【0040】

図７（１）に示されるフロント画像データ７１１は、車両１の前方側の端部２ｃから外部環境を撮像した画像データとする。フロント画像データ７１１に含まれる領域７０１が、図６の重複領域６０１に対応し、領域７０２が図６の重複領域６０２に対応している。

【0041】

図７（２）に示されるサイド画像データ７１２は、車両１の左側の端部２ｄから外部環境を撮像した画像データとする。そして、サイド画像データ７１２に含まれる領域７０３が、図６の重複領域６０１に対応し、領域７０４が、図６の重複領域６０３に対応している。

【0042】

俯瞰画像データを生成するためには、フロント画像データ７１１と、サイド画像データ７１２とを合成する必要があるが、フロント画像データ７１１の領域７０１と、サイド画像データ７１２の領域７０３と、は外部の環境では同じ領域を示しているにも拘わらず、輝度が異なる場合がある。画像処理部５０２は、領域７０１と領域７０３との輝度を略等しくなるように、フロント画像データ及びサイド画像データの少なくとも１つ以上を補正する必要がある。

【0043】

ところで、本実施形態では、撮像部１６ａ〜１６ｄでは撮像するために用いるレンズは全て同一とし、同じ特性を有している。撮像部１６ａ〜１６ｄに用いられているレンズの特性が把握できている場合には、レンズの特性に応じて輝度の補正を行えばよい。しかしながら、レンズ特性は、カメラメーカが開示しない場合がある。このような場合、レンズ特性に応じた適切な補正をかけることが難しく、輝度の補正により、例えば、実際より明るく表示されるなど違和感の強い映像を表示してしまうこともある。

【0044】

より詳細な例としては、いずれかの撮像部からの被撮像領域に障害物が存在する場合や、暗い車庫内から明るい場所へ出る際など、複数の撮像部で撮像された画像データ間に極端な輝度差が生じた場合に、複数の画像データの平均輝度に基づいて輝度を補間すると、もともと視認できていた他の領域で黒つぶれや白飛びが生じ、視認性が悪くなる場合もある。

【0045】

レンズは、一般的に中心部において光量が高く、周辺になるにつれて光量が少なくなる傾向にある。つまり、フロント画像データ７１１の領域７０１とサイド画像データ７１２の領域７０３との輝度の違いは、レンズの位置の違いに基づく光量の違いに起因する可能性もある。また、レンズの特性は、中心に近いほど精度が高いと考えられる。

【0046】

そこで、本実施形態では、複数の画像データで輝度を一致させる補正を行う際に、複数の画像データのうち、重複領域がレンズ中心（換言すれば画像データの表示領域の中心）に近い方の画像データの輝度を基準に、他方の画像データを補正することとした。

【0047】

図７に示す例では、フロント画像データ７１１の中心から領域７０２までの距離７２１が、サイド画像データ７１２の中心から領域７０３までの距離７２２よりも短い。この場合、本実施形態にかかる画像処理部５０２は、フロント画像データ７１１の領域７０２の平均輝度に、領域７０３の平均輝度を略等しくなるように、サイド画像データ７１２の輝度を補正する。

【0048】

なお、車両１のリアカメラである撮像部１６ｃにより後方向を撮像した画像データ（以下、リア画像データとも称す）と、サイド画像データと、の間も、フロント画像データとサイド画像データと同様の関係が生じている。そこで、本実施形態にかかる画像処理部５０２は、リア画像データの重複領域の平均輝度に、対応する領域の平均輝度が略等しくなるように、サイド画像データの輝度を補正する。

【0049】

このようにフロント画像データ及びリア画像データの輝度に合わせるように、両サイドの画像データの輝度の補正を行うのは、一般的な車両は、車幅の方が前後方向の長さより短いため、フロント画像データ及びリア画像データの重複領域の方がサイド画像データの重複領域より中心に近づくことに基づく。

【0050】

本実施形態にかかる画像処理部５０２では、サイド画像データの輝度を補正するための補正テーブルを生成する。

【0051】

図５に戻り、輝度補正テーブル生成部５１１は、フロント画像データ及びリア画像データの輝度に基づいて、２個のサイド画像データの輝度を補正するための補正テーブルを生成する。

【0052】

図８は、補正テーブルの生成の概念を示した図である。図８に示すように、輝度補正テーブル生成部５１１は、複数の画像データ（リア画像データとサイド画像データ、またはフロント画像データとサイド画像データ）が重複している重複領域６０１〜６０４に基づいて補正テーブルを生成する。まず、輝度補正テーブル生成部５１１は、重複領域６０１に対応するフロント画像データの領域の平均輝度、及び重複領域６０２に対応するフロント画像データの領域の平均輝度を算出する。同様に、輝度補正テーブル生成部５１１は、重複領域６０３に対応するリア画像データの領域の平均輝度、及び重複領域６０４に対応するリア画像データの領域の平均輝度を算出する。

【0053】

さらには、輝度補正テーブル生成部５１１は、重複領域６０１に対応する第１の（左側の）サイド画像データの領域の平均輝度、及び重複領域６０３に対応する第１の（左側の）サイド画像データの領域の平均輝度を算出する。輝度補正テーブル生成部５１１は、重複領域６０２に対応する第２の（右側の）サイド画像データの領域の平均輝度、及び重複領域６０４に対応する第２の（右側の）サイド画像データの領域の平均輝度を算出する。

【0054】

そして、輝度補正テーブル生成部５１１は、重複領域６０１〜６０４で画像データ間における平均輝度の差分を算出する。そして、その平均輝度の差分が、サイド画像データに対する補正値となる。

【0055】

そして、輝度補正テーブル生成部５１１は、重複領域の中心を、算出した平均輝度の差分だけ補正する補正テーブルを生成する。例えば、輝度補正テーブル生成部５１１は、重複領域６０２の平均輝度の差が“１０”の場合に、重複領域６０２の中心８０１で補正値“−１０”で補正し、重複領域６０４の平均輝度の差が“−１０”の場合に、重複領域６０４の中心８０２で補正値“１０”で補正する補正テーブルを生成する。そして輝度補正テーブル生成部５１１は、補正テーブルにおける中心８０１、８０２以外の各画素について、当該中心８０１、８０２の各補正値を用いて線形補間する一次式により求められる補正値を設定する。

【0056】

輝度補正部５１２は、輝度補正テーブル生成部５１１が生成した補正テーブルに基づいて、サイド画像データの輝度を補正する。これにより、本実施形態にかかる輝度補正部５１２は、被撮像領域が重複する重複領域を有する２つの画像データのうち、フロント画像データ又はリア画像データに含まれている重複領域の位置が、サイド画像データにおける重複領域の位置と比べて、表示領域の中心に近いため、フロント画像データ又はリア画像データの重複領域の輝度に、サイド画像データの重複領域の輝度を合わせるように、サイド画像データを補正できる。

【0057】

俯瞰画像生成部５１３は、輝度補正部５１２で補正された後の複数の画像データと、（図示しない）マッピングテーブルに記録されている変換情報と、に基づいて、車両１の周囲外部の環境を上方から俯瞰した場合の俯瞰画像データを生成する。

【0058】

ダイナミックレンジ補正部５１４は、俯瞰画像データに対して、ダイナミックレンジ補正を行う。

【0059】

表示処理部５０３は、ダイナミックレンジ補正部５１４で補正した後の俯瞰画像データを、表示装置８に表示する。

【0060】

次に、本実施形態にかかる駐車支援部５００における、表示装置８に表示するまでの処理について説明する。図９は、本実施形態にかかる駐車支援部５００における上述した処理の手順を示すフローチャートである。

【0061】

まず、画像取得部５０１が、撮像部１６ａ〜１６ｄで撮像された複数の画像データを取得する（ステップＳ９０１）。

【0062】

次に、輝度補正テーブル生成部５１１が、取得した複数の画像データに基づいて、サイド画像データを補正するための補正テーブルを生成する（ステップＳ９０２）。

【0063】

そして、輝度補正部５１２が、生成された補正テーブルを利用して、２つのサイド画像データを補正する（ステップＳ９０３）。

【0064】

その後、俯瞰画像生成部５１３が、輝度補正された後のサイド画像データを含む複数の画像データに基づいて、俯瞰画像データを生成する（ステップＳ９０４）。

【0065】

その後、ダイナミックレンジ補正部５１４が、俯瞰画像データに対して、ダイナミックレンジ補正を行う（ステップＳ９０５）。

【0066】

そして、表示処理部５０３が、ダイナミックレンジ補正後の俯瞰画像データを、表示装置８に表示する（ステップＳ９０６）。

【0067】

上述した処理手順により、本実施形態にかかる駐車支援部５００は、適切な輝度補正がなされた俯瞰画像データを表示することができる。

【0068】

次に、本実施形態にかかる駐車支援部５００における、図９のステップＳ９０２の補正テーブルの生成処理について説明する。図１０は、本実施形態にかかる駐車支援部５００における上述した処理の手順を示すフローチャートである。

【0069】

まず、輝度補正テーブル生成部５１１は、画像取得部５０１が取得した複数の画像データの各々に対して、俯瞰画像データの重複領域に対応する領域を特定する（ステップＳ１００１）。

【0070】

次に、輝度補正テーブル生成部５１１は、各画像データに対して、重複領域に対応する領域毎に平均輝度を算出する（ステップＳ１００２）。

【0071】

そして、輝度補正テーブル生成部５１１は、重複領域毎に、画像データ間の輝度の差分を算出する（ステップＳ１００３）。

【0072】

次に、輝度補正テーブル生成部５１１は、算出した差分を、補正テーブルの重複領域の中心位置の補正値として線形補間した補正テーブルを生成する（ステップＳ１００４）。

【0073】

上述した処理手順により生成された補正テーブルを利用して、サイド画像データの補正が行われることになる。

【0074】

本実施形態では、重複領域以外の領域の補正値を補間する際に線形補間を行う例について説明したが、線形補間に制限するものではなく、スプライン曲線を用いた補間など他の補間手法を用いても良い。

【0075】

本実施形態にかかる車両１は、上述したように、当該車両１の前後左右に取り付けた４台の撮像部１６ａ〜１６ｄで撮影された画像データに対して、重複領域の位置に基づく輝度の補正を行うこととした。これにより、レンズの端部と中央部の輝度差を抑止できる。さらには、輝度が適切に補正された俯瞰画像データを運転者に提供できる。

【0076】

その際に、駐車支援部５００の画像処理部５０２が、隣接する撮像部１６ａ〜１６ｄで撮影された画像データで重複する領域について、平均輝度が略等しくなるように補正を行うこととしたが、略等しくなるように補正することに制限するものではない。

【0077】

（第２の実施形態）
第１の実施形態では、撮像部１６で撮像された画像データを合成して、俯瞰画像データを生成する例について説明した。しかしながら、第１の実施形態は、撮像された画像データを合成して俯瞰画像データを生成することに制限するものではなく、撮像された画像データをそれぞれ区切った上で、俯瞰した画像として運転者に提示しても良い。

【0078】

図１１は、本実施形態の駐車支援部５００が表示装置８に表示する俯瞰映像の例を示した図である。図１１に示す例では、撮像部１６ａ〜１６ｄの違いに応じて車両１の外部の環境を、４つの領域１１０１〜１１０４に分割して表示している。

【0079】

このような表示を行う場合でも、図４に示す様に、撮像部１６ａ〜１６ｄの各々の被撮像領域は一部重複しているため、第１の実施形態と同様に補正テーブルを生成し、サイド画像データの輝度の補正を行うことができる。画像データ間の輝度を近づけることで、運転者に対して違和感のない映像を提示することができる。

【0080】

さらには、画像データ毎に区切られて表示するため、第１の実施形態のようにサイド画像データの重複領域に対応する領域の輝度を、フロント画像データ又はリア画像データの重複領域に対応する領域の輝度に、略等しくなるまで補正する必要はない。そこで、第２の実施形態にかかる駐車支援部５００の輝度補正部５１２は、重複領域に対応する、サイド画像データの領域の補正後の平均輝度が、当該重複領域に対応する、フロント画像データ（又はリア画像データ）の領域の平均輝度と、補正前の輝度との間になるように補正する。

【0081】

具体的には、輝度補正テーブル生成部５１１が、第１の実施形態と同様の処理で補正値を算出した後、０．５の係数を乗算する。なお、本実施形態では、係数として０．５を乗算する例とするが、係数を制限するものではなく０．１〜０．９の間であればよい。そして、係数を乗算した後は、第１の実施形態と同様の処理で、俯瞰映像の表示まで行う。

【0082】

本実施形態ではある程度（係数０．５）輝度を合わせることで、画像データ間の違いによる違和感を低減させると共に、略等しくなるまで輝度を補正することによる、他の領域の白飛びや黒つぶれなどを抑止し、視認性の低下を抑止できる。

【0083】

次に、本実施形態にかかる駐車支援部５００における、第１の実施形態で示した図９のステップＳ９０２の補正テーブルの生成処理について説明する。図１２は、本実施形態にかかる駐車支援部５００における上述した処理の手順を示すフローチャートである。なお、他の処理は、第１の実施形態と同様として説明を省略する。

【0084】

まず、図１０のステップＳ１００１〜Ｓ１００３と同様の処理を行い、重複領域毎に、画像データ間の輝度の差分を算出する（ステップＳ１２０１〜Ｓ１２０３）。

【0085】

その後、輝度補正テーブル生成部５１１は、算出された重複領域毎の輝度の差分に対して、係数０．５を乗算する（ステップＳ１２０４）。

【0086】

そして、輝度補正テーブル生成部５１１は、係数を算出した差分を、補正テーブルの重複領域の中心位置の補正値として線形補間した補正テーブルを生成する（ステップＳ１２０５）。

【0087】

第２の実施形態では、被撮像領域が重複する画像データ間で、当該領域において平均輝度に極端な差がある場合でも、係数を乗算して補正値に制限をかけることとした。このように第１の実施形態のような略等しくさせる補正を抑止することで、当該領域以外の補間箇所の視認性の低減をある程度抑止できる。また、本実施形態では、撮像部１６ａ〜１６ｄで撮像された画像データの境界を表示することで、運転者に対して、異なる撮像部１６ａ〜１６ｄで撮像された画像データであることを認識させることができる。さらに境界で区切ることで、撮像部１６ａ〜１６ｄの違いを運転者に認識させることができるので、輝度を略等しくなる程度まで補正せずとも、輝度の違いによる違和感をある程度抑止できる。

【0088】

上述した実施形態では、撮像部１６ａ〜１６ｄで撮像された複数の画像データのうち、被撮像領域が重複した重複領域がレンズの中心に近い画像データの輝度を基準に、他の画像データの輝度を補正することとした。これにより、撮像部１６ａ〜１６ｄのレンズ特性を把握して無くとも、複数の画像データに対して適切に輝度の補正を行うことができる。

【0089】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0090】

１…車両、１６ａ〜１６ｄ…撮像部、１００…駐車支援システム、５００…駐車支援部、５０１…画像取得部、５０２…画像処理部、５０３…表示処理部、５１１…輝度補正テーブル生成部、５１２…輝度補正部、５１３…俯瞰画像生成部、５１４…ダイナミックレンジ補正部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】