特許 6156486 周辺監視装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6156486

(24)【登録日】2017年6月16日

(45)【発行日】2017年7月5日

(54)【発明の名称】周辺監視装置、及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20170626BHJP

   B60R 1/00 20060101ALI20170626BHJP

   B60R 21/00 20060101ALI20170626BHJP

【ＦＩ】

   H04N7/18 J

   B60R1/00 A

   B60R21/00 628D

   B60R21/00 626G

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2015-508107(P2015-508107)

(86)(22)【出願日】2014年1月10日

(86)【国際出願番号】JP2014050386

(87)【国際公開番号】WO2014156220

(87)【国際公開日】20141002

【審査請求日】2015年7月10日

(31)【優先権主張番号】特願2013-70481(P2013-70481)

(32)【優先日】2013年3月28日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】中所 孝之

(72)【発明者】

【氏名】渡邊 一矢

(72)【発明者】

【氏名】丸岡 哲也

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００５−００１５７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

(57)【特許請求の範囲】

【請求項1】

車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、
前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両の位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力部と、
を備え、
前記出力部は、前記記憶部に記憶された複数の前記撮像画像データのうち、任意の位置で任意の時刻に撮像された撮像画像データのみを出力する、周辺監視装置。

【請求項2】

前記出力部は、さらに、出力する前記撮像画像データに対して、現在の車両の所定部位を特定可能な識別情報を重畳する、請求項１に記載の周辺監視装置。

【請求項3】

前記出力部は、前記識別情報として、前記車両の床下の所定部位を特定する情報を重畳する、請求項２に記載の周辺監視装置。

【請求項4】

前記車両の移動量を取得する取得部を、さらに備え、
前記記憶部は、さらに、前記撮像画像データと、前記撮像画像データを前記撮像部が撮像した位置情報と、を対応づけて記憶し、
前記出力部は、前記取得部が取得した前記移動量と、前記記憶部に記憶された前記位置情報と、に基づいて、現在の前記車両の位置が撮像された領域に含まれているものとして選択された、前記撮像画像データを出力する、請求項１乃至３のいずれか一つに記載の周辺監視装置。

【請求項5】

前記出力部は、当該車両の進行方向であり、且つ前記撮像部の光軸が路面に交差する方向を撮像方向として当該撮像部により撮像された前記撮像画像データを出力する、請求項１乃至４のいずれか一つに記載の周辺監視装置。

【請求項6】

所定のボタンの押下を受け付ける受付部をさらに備え、
前記出力部は、前記撮像部が現在撮像している撮像画像データを出力し、前記受付部が前記所定のボタンの押下を受け付けた場合に、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ現在の前記車両の位置が撮像された領域に含まれている撮像画像データを、出力する、
請求項１乃至５のいずれか一つに記載の周辺監視装置。

【請求項7】

車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶部に記憶させるステップと、
前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両の位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力ステップであって、前記記憶部に記憶された複数の前記撮像画像データのうち、任意の位置で任意の時刻に撮像された撮像画像データのみを出力する出力ステップを、
コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、周辺監視装置、及びプログラムに関する。

【背景技術】

【0002】

従来、車両の駐車を支援する技術として、車両に設置されたカメラで、車両の周辺環境を撮像し、撮像結果である撮像画像データを表示することで、運転者に対して運転を支援する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−３５４４６７号公報

【特許文献2】特開２００７−１０２７９８号公報

【特許文献3】特開２００３−９１４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、車両に設置されたカメラで撮像された撮像画像データを表示する場合、当該カメラの画角により当該車両の床下付近の状況が把握しにくいという問題が生じる。

【課題を解決するための手段】

【0005】

本発明の実施形態にかかる周辺監視装置は、一例として、車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶する記憶部と、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両に対応する路面が含まれている撮像画像データを、表示装置に出力する出力部と、を備える。よって、一例としては、車両周辺で死角となっている領域を認識できるため、運転の負担を軽減できるという効果を奏する。

【0006】

また、上記周辺監視装置では、一例として、前記出力部は、さらに、出力する前記撮像画像データに対して、現在の車両の所定部位を特定可能な識別情報を重畳する。よって、一例としては、死角となっている領域に車両の所定部位が表されるため、周囲の状況と車両の部位との関係の把握が容易になるという効果を奏する。

【0007】

また、上記周辺監視装置では、一例として、前記出力部は、前記識別情報として、前記車両の床下の所定部位を特定する情報を重畳する。よって、一例としては、床下の構造体の位置、例えば、車軸やデファレンシャルギア等の位置が表されるため、周囲の状況と車両の床下部位との関係の把握が容易になるという効果を奏する。

【0008】

また、上記周辺監視装置では、一例として、前記車両の移動量を取得する取得部を、さらに備え、前記記憶部は、さらに、前記撮像画像データと、前記撮像画像データを前記撮像部が撮像した位置情報と、を対応づけて記憶し、前記出力部は、前記取得部が取得した前記移動量と、前記記憶部に記憶された前記位置情報と、に基づいて、現在の前記車両の位置が撮像された領域に含まれているものとして選択された、前記撮像画像データを出力する。よって、一例としては、過去に撮影された複数の撮像画像データから、現在の車両の位置が撮像された範囲に含まれた撮像画像データを出力できるため、車両周辺の状況の把握が容易になるという効果を奏する。

【0009】

また、上記周辺監視装置では、一例として、前記出力部は、前記記憶部に記憶された複数の前記撮像画像データのうち、一の位置で一の時刻に撮像された撮像画像データのみを出力する。よって、一例としては、複数の時刻で撮影された複数の撮像画像データを合成していないため、処理負担を軽減できるという効果を奏する。

【0010】

また、上記周辺監視装置では、一例として、前記出力部は、当該車両の進行方向であり、且つ路面に交差する方向を撮像方向として前記撮像部により撮像された前記撮像画像データを出力する。よって、一例としては、車両の進行方向の路面状況が映っている撮像画像データが出力されるため、車両周辺の状況を視覚的に認識しやすくなるという効果を奏する。

【0011】

また、上記周辺監視装置では、一例として、所定のボタンの押下を受け付ける受付部をさらに備え、前記出力部は、前記撮像部が現在撮像している撮像画像データを出力し、前記受付部が前記所定のボタンの押下を受け付けた場合に、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ現在の前記車両の位置が撮像された領域に含まれている撮像画像データを、出力する。よって、一例としては、運転者が、車両の周囲の状況を把握したいときに、現在の車両が位置する領域を含む撮像画像データを出力できるため、運転者の運転の負担を軽減できるという効果を奏する。

【0012】

また、本発明の実施形態にかかるプログラムでは、一例として、車両の進行方向の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを記憶部に記憶させるステップと、前記記憶部に記憶された撮像画像データのうち、前記撮像部により過去に撮像された撮像画像データであり、且つ、前記撮像された路面に、現在の前記車両が位置に対応する路面が含まれている撮像画像データを、表示装置に出力する出力ステップを、コンピュータに実行させる。よって、一例としては、車両周辺で死角となっている領域を認識できるため、運転の負担を軽減できるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】図１は、第１の実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、第１の実施形態にかかる車両の一例が示された平面図（俯瞰図）である。

【図3】図３は、第１の実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。

【図4】図４は、第１の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。

【図5】図５は、第１の実施形態にかかる車両の撮像部による撮像領域を示した図である。

【図6】図６は、第１の実施形態にかかるオプティカルフロー算出部により算出されるオプティカルフローの概念を示した図である。

【図7】図７は、第１の実施形態にかかるリングバッファの構造を示した図である。

【図8】図８は、第１の実施形態にかかる表示処理部により表示処理された通常の画面例を示した図である。

【図9】図９は、第１の実施形態にかかる表示処理部により表示処理される、床下表示の際の画面例を示した図である。

【図10】図１０は、第１の実施形態にかかる画像選択部が選択する撮像画像データを説明する図である。

【図11】図１１は、第１の実施形態にかかる周辺監視部における、撮像画像データの保存処理の手順を示すフローチャートである。

【図12】図１２は、第１の実施形態にかかる周辺監視部における、表示処理の手順を示すフローチャートである。

【図13】図１３は、第１の実施形態にかかる周辺監視部における、床下表示処理の手順を示すフローチャートである。

【図14】図１４は、第２の実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。

【図15】図１５は、第２の実施形態にかかる車両が後退している場合に、表示処理部により表示処理された通常の画面例を示した図である。

【図16】図１６は、第２の実施形態にかかる表示処理部により表示処理される、床下表示の際の画面例を示した図である。

【図17】図１７は、第３の実施形態にかかる床下表示の際の画面例を示した図である。

【図18】図１８は、第４の実施形態にかかる床下表示の際の画面例を示した図である。

【図19】図１９は、第５の実施形態にかかる床下表示の際の画面例を示した図である。

【図20】図２０は、第６の実施形態にかかる床下表示の際の画面例を示した図である。

【発明を実施するための形態】

【0014】

後述する実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

【0015】

（第１の実施形態）
図１に示されるように、第１の実施形態にかかる車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

【0016】

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。

【0017】

また、図１、２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、周辺監視ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ、１３ａを動作させる。前輪操舵システム１２ならびに後輪操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。前輪操舵システム１２ならびに後輪操舵システム１３は、アクチュエータ１２ａ、１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ、１３ａは、一つの車輪３を操舵しても良いし、複数の車輪３を操舵しても良い。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵され、二つの後輪３Ｒは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。

【0018】

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

【0019】

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、撮像部１６ａは車両に対してフロント方向の画像データ、撮像部１６ｂ，１６ｄは左右サイド方向の画像データ、撮像部１６ｃはリア方向の画像データを取得できるように設置されればよい。

【0020】

周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、当該画像処理がなされた画像データを表示装置８に表示できる。

【0021】

また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００では、周辺監視ＥＣＵ１４や、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２や、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、タイヤ角センサ１３ｂ（後輪３Ｒ用）、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

【0022】

本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（electronic stability control）搭載車両とする。そして、ＥＳＣ（electronic stability control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。本実施形態では、前後方向の加速度及び左右方向の加速度を導出する。

【0023】

周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

【0024】

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。

【0025】

図４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部４００の構成を示すブロック図である。図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、図４に示される、取得部４０１と、角度算出部４０２と、保存処理部４０３と、受付部４０５と、表示処理部４０６と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。周辺監視部４００は、ＲＡＭ１４ｃ上にリングバッファ４０４を実現する。

【0026】

図５は、本実施形態にかかる車両１の撮像部１６ａによる撮像領域を示した図である。図５に示されるように、撮像部１６ａは、車両１の進行方向の路面と、当該路面から上方（重力方向の反対方向）の領域であり、少なくとも地平線を含む領域を撮像している。しかしながら、車両１の前輪３Ｆ付近の路面５０１は、撮像部１６ａが現在撮像している撮像領域５０２に含まれていない。また、撮像領域を前輪３Ｆ付近の床下まで含めるのも、車両１のバンパーの配置等の影響（車両１の構造的に）で難しい。

【0027】

このため、運転者は、現在撮像されている撮像画像データを視認しても、車両１の前輪３Ｆ付近に障害物等が存在するか否かを確認するのが難しい。そこで、本実施形態にかかる周辺監視部４００は、運転者の要望に応じて、撮像部１６ａが過去に撮像した撮像画像データを表示可能とした。過去に撮像した撮像画像データとは、換言すれば、車両１の現在の位置より後方の位置で撮像した撮像画像データを意味する。

【0028】

例えば、周辺監視部４００が、車両１の後方の位置で撮像部１６ａが撮像した撮像画像データとして、撮像領域５０３を撮像した撮像画像データを、運転者に提示することが考えられる。撮像領域５０３には、路面５０１が含まれているため、運転者は前輪３Ｆ付近の路面５０１を確認することができる。これにより、運転者は路面５０１の状況を確認した上で運転できるため、運転の負担を軽減できる。次に、図４に戻り、周辺監視部４００の構成について説明する。

【0029】

取得部４０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部４０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。取得部４０１は、取得した情報を角度算出部４０２及び保存処理部４０３に出力する。

【0030】

また、取得部４０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。

【0031】

角度算出部４０２は、加速度センサ２６ａ、２６ｂが取得した加速度データに基づいて、車両１の傾斜角度（ピッチ角及びロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度とし、ロール角とは、車両１の前後軸周りの傾きを示した角度とする。

【0032】

また、角度算出部４０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。

【0033】

保存処理部４０３は、回転制御部４１１と、鳥瞰図画像生成部４１２と、オプティカルフロー算出部４１３と、位置推定部４１４と、保存部４１５と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。

【0034】

回転制御部４１１は、撮像部１６ａにより撮像された、車両１の前方（進行方向）周辺を写した撮像画像データに対して、回転補正を行う。

【0035】

本実施形態にかかる回転制御部４１１は、撮像部１６ａが撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。

【0036】

鳥瞰図画像生成部４１２は、回転制御された後の撮像画像データに基づいて、車両１の進行方向の地面であり且つ当該車両１周辺の地面を上方から俯瞰した鳥瞰図画像データを生成する。なお、撮像画像データから鳥瞰図画像データを生成する手法はどのような手法を用いても良く、例えばマッピングテーブルを用いて変換しても良い。

【0037】

鳥瞰図画像データの生成は、撮像画像データを取得する毎に行われる。換言すれば、鳥瞰図画像生成部４１２は、回転制御部４１１により回転制御された第１の撮像画像データに基づいて第１の鳥瞰図画像データを生成した後に、当該第１の撮像画像データを撮影してから車両１が移動した後に撮像部１６により撮像され且つ回転制御部４１１により回転制御された第２の撮像画像データに基づいて、第２の鳥瞰図画像データを生成する。

【0038】

オプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により算出された鳥瞰図画像データに基づいて、オプティカルフローを算出する。オプティカルフローは、鳥瞰図画像データに映っている物体の動きをベクトルで示した情報とする。オプティカルフローを算出することで、車両１の移動量を推定することができる。

【0039】

本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データと、前回更新した際に用いた鳥瞰図画像データとを比較して、オプティカルフローを算出する。

【0040】

しかしながら、鳥瞰図画像データ全体で比較を行うと処理負担が大きくなる。そこで、本実施形態にかかるオプティカルフロー算出部４１３は、鳥瞰図画像生成部４１２により生成された鳥瞰図画像データ内の予め定められたエリアについて比較を行うこととした。

【0041】

具体的には、本実施形態にかかるオプティカルフロー算出部４１３は、前回更新した際に用いた第１の鳥瞰図画像データ及び、第１の鳥瞰図画像データより後に生成された第２の鳥瞰図画像データのそれぞれから、予め定められたエリア（表示範囲）を切り出して、オプティカルフローを算出する。

【0042】

図６は、オプティカルフロー算出部４１３により算出されるオプティカルフローの概念を示した図である。図６の（Ａ）を、前回更新した際に用いた第１の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとし、図６の（Ｂ）を、今回、鳥瞰図画像生成部４１２により生成された第２の鳥瞰図画像データから予め定められた表示範囲で切り出された画像データとする。

【0043】

そして、オプティカルフロー算出部４１３は、図６の（Ａ）で示した画像データと、図６の（Ｂ）で示した画像データとの間で、表示された物体（の特徴点）の遷移をベクトルで示したオプティカルフローを算出する。図６の（Ｃ）が算出されたオプティカルフローの例を示している。図６の（Ｃ）で示す例では、図６の（Ａ）内で示された特徴点（“×”で示される）が、図６の（Ｂ）内で示された特徴点（“×”で示される）まで移動したベクトルの長さが示されている。

【0044】

そして、位置推定部４１４は、オプティカルフロー算出部４１３により算出されたオプティカルフローの平均値から、車両１の移動量を算出し、車両１の現在の位置を推定する。

【0045】

ところで、本実施形態では、オプティカルフローで車両１の現在の位置を推定している。これは、車両１の前輪３Ｆ付近などの車両１の床下の状況を把握したい場合、オフロード走行していることが多い。オフロード走行では、荒れた路面等の影響により車輪３の空転等が生じることが考えられる。この場合、車輪３の回転数に基づいて車両１の移動量を推定すると誤差が生じる可能性が大きい。そこで、本実施形態では、オプティカルフローに基づいて車両１の移動量、及び位置を推定することとした。

【0046】

保存部４１５は、前回保存してから車両１の移動量が所定の距離以上、及び車両１の移動角が所定の角度以上のいずれか１つの条件を満たした場合に、回転制御部４１１に回転制御された後の撮像画像データを、車両１の位置情報と共に、リングバッファ４０４に保存する。本実施形態は、所定の距離を制限するものではないが、例えば、０．３ｍ、０．５ｍが考えられる。所定の角度は、例えば、２ｄｅｇ等が考えられる。

【0047】

リングバッファ４０４は、撮像部１６ａから出力された現在の撮像画像データを、撮像時の情報と対応付けて保存する。図７は、リングバッファ４０４の構造を示した図である。図７に示されるように、リングバッファ４０４は、撮像画像データと、当該撮像画像データの撮像時の車両１の傾き（進行方向）、及び車両１の位置情報と、を対応付けて記憶する。

【0048】

図７に示されるように、リングバッファ４０４は、論理的にリング状に配置されたバッファとする。そして、リングバッファ４０４においては、保存部４１５の保存要求に応じて、最も古く更新された領域に対して、当該保存要求の撮像画像データ等を上書き保存していく。

【0049】

受付部４０５は、操作入力部１０等の指示信号（制御信号）を受け付ける。本実施形態にかかる受付部４０５は、これら指示信号から、現在の撮像部１６ａが撮像した撮像画像データ、及びリングバッファ４０４に記憶されている過去の撮像画像データ（換言すれば車両１の床下表示）のうち、どちらを表示装置８に表示するのか切り替え操作を受け付ける。

【0050】

表示処理部４０６は、画像選択部４２１と、出力部４２２と、を備え、受付部４０５が受け付けた操作に従って、表示装置８に対する表示処理を行う。

【0051】

図８は、表示処理部４０６により表示処理された通常の画面例を示した図である。図８に示すように、通常の画面例では、撮像部１６ａが撮像している撮像画像データ８０１の他に、撮像部１６ｄより撮像された、車両１の右側の前輪３Ｆ周辺の撮像画像データ８０２と、撮像部１６ｂより撮像された、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、が映っている。さらには、表示領域８０４には、車両１のピッチ角及びロール角が認識可能な情報として表示されている。つまり、車両１を示したアイコン８１１の傾きでロール角を示す一方、当該アイコン８１１を通る中心線と、水平線との間の距離でピッチ角を示している。本実施形態ではこのような表示態様で、ロール角及びピッチ角を認識可能に示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。

【0052】

また、撮像画像データ８０１には、舵角センサ１９から取得した操舵角に応じた前輪３Ｆの進行方向を示した軌跡８５１、８５２が表示される。これにより、運転者は、車両１の進行方向を確認した上で運転することが可能となる。

【0053】

しかしながら、図８に示す画面例では、車両１の床下付近の状況を確認するのは難しい。そこで、本実施形態にかかる周辺監視部４００では、車両１の床下付近の表示に切り替えることができる。本実施形態は、切り替え手法を制限するものではないが、例えば車両１が停止してから、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、表示処理部４０６が表示を切り替える等が考えられる。

【0054】

図９は、表示処理部４０６により表示処理される、床下表示の際の画面例を示した図である。図９に示す例では、右側の前輪３Ｆ周辺の撮像画像データ８０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、は、現在の車両１の状況を表しているため、図８と同様とする。

【0055】

撮像画像データ９０１は、車両１の撮像部１６ａにより過去に撮像された撮像画像データとする。撮像画像データ９０１を撮像してからの算出された車両１の移動量により、撮像画像データ９０１上の現在の車両１の位置を推定できる。そこで、表示処理部４０６は、車両１の現在の所定部位を特定可能な情報を表示する。図９に示す例では、車両１の所定部位を特定可能な識別情報の一例として車両１の外形を示す輪郭線９１１と、車両１の前輪３Ｆの外形を示す輪郭線９１２、９１３と、が表示されている。

【0056】

前輪３Ｆの外形を示す輪郭線９１２、９１３が、舵角センサ１９により検出された現在の操舵角に基づいた輪郭線とする。これにより、運転者は、輪郭線９１２、９１３を視認することで、車両１の現在のタイヤの向きと位置を認識できる。撮像画像データ９０１では、外形を示す輪郭線９１１と、前輪３Ｆの外形を示す輪郭線９１２、９１３と、が重畳表示されているため、運転者は、路面と、車両１の前輪３Ｆ付近を含む床下の路面状況を認識できる。これにより、周辺監視部４００は、運転者に対して、前輪３Ｆ付近の障害物を避ける等の運転を行うための環境を提供できる。このように、本実施形態は、運転負担の軽減、及び運転する際の利便性を向上させることができる。

【0057】

また撮像画像データに重畳する情報は、車両１の所定部位を特定可能な識別情報（例えば、輪郭線９１１、９１２、９１３）に制限するものではない。本実施形態にかかる表示処理部４０６は、運転者の要求に応じて、撮像画像データに対して、車両１の現在の操舵角による進行方向の軌跡等を表示しても良い。

【0058】

図４に戻り、次に表示処理部４０６の構成について説明する。画像選択部４２１は、受付部４０５により、床下表示への切り替えを受け付けた場合に、表示する撮像画像データを、リングバッファ４０４に記憶されている撮像画像データから選択する。

【0059】

本実施形態にかかる画像選択部４２１は、リングバッファ４０４から、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１に対応する路面を含む撮像画像データを選択する。つまり、撮像されている路面に、現在の車両の位置として考えられる（に対応する）路面が含まれている撮像画像データを表示すれば、車両１の床下表示を実現できる。

【0060】

図１０は、本実施形態にかかる画像選択部４２１が選択する撮像画像データを説明する図である。図１０に示す例では、車両１は、位置１００１、位置１００２、位置１００３、位置１００４の順に移動しているものとし、現在の車両１は位置１００４に存在している。そして、位置１００４で、運転者から、床下表示への切り替えを受け付けたものとする。

【0061】

この場合、本実施形態にかかる画像選択部４２１は、現在の車両１の後輪３Ｒ間の中心１０６１を基準に、リングバッファ４０４に記憶されている撮像画像データから、表示する撮像画像データを選択する。本実施形態では、画像選択部４２１は、撮影された際の撮像部１６ａの位置が、中心１０６１付近若しくは中心１０６１より後方で有り、現在の車両１の進行方向と比べて、撮影時の車両１の傾き（進行方向）が所定の角度内となる条件を満たす撮像画像データを選択する。このような条件を満たす位置として、画像選択部４２１は、位置１００２で撮像された撮像画像データを選択する。位置１００２で撮像された撮像画像データの撮像領域１０５１には、現在の車両１の前輪３Ｆ付近の路面も含まれている。このため、表示処理部４０６が、当該撮像画像データに、現在の車両１の位置を示した輪郭線を重畳表示することで、運転者は現在の車両１の前輪３Ｆ付近の路面状況を認識できる。

【0062】

なお、本実施形態は、撮像画像データの選択手法をこのような手法に制限するものではなく他の手法を用いても良い。例えば、画像選択部４２１は、車両１の傾き（進行方向）が、現在の車両１の進行方向から所定の角度内であって、リングバッファ４０４に記憶されている撮像画像データのうち、最も古い撮像画像データを選択しても良い。

【0063】

出力部４２２は、床下表示の選択を受け付けた場合に、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する。これにより、出力部４２２は、リングバッファ４０４に記憶された撮像画像データのうち、撮像部１６ａにより過去に撮像された撮像画像データであり、且つ現在の車両１が位置する領域を含む撮像画像データを、表示装置８に出力できる。さらに、出力部４２２は、右側の前輪３Ｆ周辺の撮像画像データ８０２と、車両１の左側の前輪３Ｆ周辺の撮像画像データ８０３と、ロール角及びピッチ角を認識可能に表示している表示領域８０４と、を表示装置８に出力する。

【0064】

次に、本実施形態にかかる周辺監視部４００における、撮像画像データの保存処理について説明する。図１１は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。

【0065】

まず、撮像部１６が、車両１の周辺環境を撮像する（ステップＳ１１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面と地平線とを含む領域を撮像する。

【0066】

次に、取得部４０１が、撮像部１６から撮像画像データを、加速度センサ２６から加速度データを取得する（ステップＳ１１０２）。

【0067】

そして、角度算出部４０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１１０３）。

【0068】

そして、回転制御部４１１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１１０４）。

【0069】

次に、鳥瞰図画像生成部４１２が、回転制御をした後の撮像画像データから、車両１の進行方向であり且つ当該車両１の周辺に存在する所定の領域を俯瞰的に示した鳥瞰図画像データを生成する（ステップＳ１１０５）。

【0070】

そして、オプティカルフロー算出部４１３が、生成された鳥瞰図画像データに基づいて、オプティカルフローを算出する（ステップＳ１１０６）。

【0071】

次に、位置推定部４１４が、算出されたオプティカルフローに基づいて、車両１の移動量を算出すると共に、車両１の現在位置を推定する（ステップＳ１１０７）。

【0072】

そして、保存部４１５は、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度（例えば２ｄｅｇ）のうちいずれか１つ以上変化したか否かを判定する（ステップＳ１１０８）。所定の距離及び所定の角度のいずれも変化していないと判定した場合（ステップＳ１１０８：Ｎｏ）、処理を終了する。なお、本実施形態では、所定の距離及び所定の角度のうちいずれか一つ以上変化した場合に保存を行う例について説明するが、このような保存手法に制限するものではなく、所定時間毎に保存等をおこなっても良い。

【0073】

一方、保存部４１５が、前回保存した位置から、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化したと判定した場合（ステップＳ１１０８：Ｙｅｓ）、保存部４１５が、リングバッファ４０４の最も古くに更新された領域に対して、回転処理した後の現在の撮像画像データを、上書き保存する（ステップＳ１１０９）。その際に、保存部４１５は、当該撮像画像データの撮像時の傾き（進行方向）、及び位置情報を対応付けて保存する。

【0074】

次に、保存部４１５は、リングバッファ４０４に記憶されている撮像画像データの撮像時の位置情報を、現在の位置を基準（原点）とした位置情報に更新する（ステップＳ１１１０）。当該更新により、リングバッファ４０４をオーバーフローすることなく、継続して位置情報を保持することができる。

【0075】

そして、本実施形態にかかる周辺監視部４００は、リングバッファ４０４に記憶された撮像画像データを、床下表示の際の画像データとして提供できる。

【0076】

次に、本実施形態にかかる周辺監視部４００における、表示処理について説明する。図１２は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。

【0077】

まず、受付部４０５が、床下表示の操作を受け付けたか否かを判定する（ステップＳ１２０１）。受付部４０５が、床下表示の操作を受け付けていないと判定した場合（ステップＳ１２０１：Ｎｏ）、表示処理部４０６は、通常のナビゲーション画面を表示する（ステップＳ１２０２）。

【0078】

一方、受付部４０５が、床下表示の操作を受け付けたと判定した場合（ステップＳ１２０１：Ｙｅｓ）、表示処理部４０６は、リングバッファ４０４に記憶されている撮像画像データを用いて、床下表示を行う（ステップＳ１２０３）。

【0079】

次に、図１２のステップＳ１２０３における床下表示について説明する。図１３は、本実施形態にかかる周辺監視部４００における上述した処理の手順を示すフローチャートである。

【0080】

まず、画像選択部４２１が、現在の車両１の位置に基づいて、リングバッファ４０４から、表示する撮像画像データを選択する（ステップＳ１３０１）。選択手法は、既に説明した手法を用いれば良いものとして説明を省略する。本実施形態にかかる画像選択部４２１は、現在の車両１が存在する位置を含む領域が撮像されている撮像画像データを選択する。

【0081】

次に、出力部４２２が、画像選択部４２１により選択された撮像画像データを、表示装置８に出力する（ステップＳ１３０２）。

【0082】

さらに、出力部４２２は、ステップＳ１３０２で出力した撮像画像データに、現在の車両１の位置等を示したシンボル（例えば車両１の輪郭線、及び車両１の前輪３Ｆの輪郭線）を重畳するように出力する（ステップＳ１３０３）。

【0083】

さらに、出力部４２２は、表示装置８に表示する意匠等（右側の前輪３Ｆ周辺の撮像画像データと、車両１の左側の前輪３Ｆ周辺の撮像画像データと、ロール角及びピッチ角を認識可能に表示している表示領域と、を含む）を出力する（ステップＳ１３０４）。

【0084】

上述した処理手順により、車両１が存在する位置を含む撮像画像データに、当該車両１の現在の位置を示す輪郭線が重畳された画面が表示される。

【0085】

そして、出力部４２２が出力した後、車両１が移動した場合に、出力部４２２は、車両１の移動に併せて、車両１の位置等を示したシンボル（例えば車両１の輪郭線、及び車両１の前輪３Ｆの輪郭線）を変化（アニメーション表示）させる。これにより、運転者は、現在の車両１の位置を認識できる。

【0086】

また、本実施形態では、出力部４２２が過去の撮像画像データを表示した後、所定の距離（例えば、０．３ｍや０．５ｍ）及び所定の角度のうちいずれか一つ以上変化した場合に、画像選択部４２１は、新たに、現在の車両１の位置に適した撮像画像データをリングバッファ４０４から選択し、出力部４２２が、選択された撮像画像データの表示を行う。これにより、車両１の位置に応じた撮像画像データの表示がなされるため、運転者は、現在の車両１の周辺の状況の把握が容易になる。

【0087】

また、本実施形態では、リングバッファ４０４に保存された回転処理後の撮像画像データを表示する例について説明した。しかしながら、画像処理を回転処理のみに制限するものではなく、歪み補正、視点変更、形状補正などの他の画像処理を行っても良い。

【0088】

本実施形態では、上述した撮像画像データの表示処理を行うことで、現在の車両１の位置における死角領域を、表示装置８に表示することができる。これにより、運転者は周辺の状況を把握できるため、運転負担を軽減できる。

【0089】

本実施形態では、路面と地平線とを含む領域を撮影した、いわゆる斜め視点の撮像画像データを表示することとした。この場合、鳥瞰図画像データを表示する場合と比べて、凹凸がある路面の走行、いわゆるオフロード走行の際に、路面の状況を把握できるため、運転の負担を軽減できる。

【0090】

本実施形態では、算出されたオプティカルフローに従って車両１の位置を推定することとした。これにより、オフロード等を走行している際に、車輪３が空転した場合でも、車両１の位置を精度良く推定できる。

【0091】

上述した実施形態では車両１は複数の撮像部１６ａ〜１６ｄを備えている。そこで、上述した実施形態では、任意の位置から同時刻に複数の撮像部で撮像された撮像画像データを合成し、表示しても良い。例えば、前方向の撮像部１６ａと、横方向の撮像部１６ｂ、１６ｄと、で撮影された複数の撮像画像データ（左方向の撮像画像データ、前方向の撮像画像データ、右方向の撮像画像データ）を合成したものを表示しても良い。

【0092】

また、前方向の撮像部１６ａと、横方向の撮像部１６ｂ、１６ｄと、で撮影された複数の撮像画像データ（左方向の撮像画像データ、前方向の撮像画像データ、右方向の撮像画像データ）の合成は、車両１の複数の位置ではなく、任意の（１つの）位置で撮像された撮像画像データとする。ただし、任意の位置から撮像された撮像画像であれば、同時刻に撮像された撮像画像データでなくとも良い。

【0093】

上述した実施形態では、出力部４２２が出力する、床下表示用の撮像画像データは、現在の車両１の位置に対応する路面が含まれていれば、撮像を行う車両１の位置を制限するものではなく、任意の位置で撮像されたものでよい。また、床下表示には、任意の（１つの）位置でのみ撮像された撮像画像データを用い、複数の位置で撮像された複数の画像データを合成したものを用いないようにする。これにより、処理負担を軽減できる。

【0094】

本実施形態においては、リングバッファ４０４に複数の撮像画像データを記憶し、複数の撮像画像データから表示する撮像画像データを選択する例について説明したが、前回撮像した撮像画像データを表示するだけでもよい。この場合、撮像画像データを１つのみ記憶すればよいため、記憶容量を削減できる。

【0095】

本実施形態では、表示切り替えのボタンの押下により、表示を切り替える例について説明した。しかしながら、表示を切り替えるタイミングを制限するものではない。例えば、車両の移動中に常に、過去に撮像した撮像画像データを表示しても良いし、車両１が停止したことを条件に過去に撮像した撮像画像データの表示に切り替えても良い。

【0096】

（第２の実施形態）
第１の実施形態では、オプティカルフローに基づいて車両１の位置を推定する例について説明した。しかしながら、オプティカルフローによる位置の推定に制限するものではなく、車輪３の回転数を検出し、移動量を推定するセンサを用いても良い。そこで、第２の実施形態では、車輪３の回転数から移動量を推定する例について説明する。

【0097】

さらに第１の実施形態では、前進する場合の進行方向側の撮像部１６ａにより撮像された撮像画像データを表示する例について説明した。しかしながら、前進する場合に制限するものではなく後進する場合に、撮像部１６ｃにより過去に撮像された撮像画像データを表示しても良い。

【0098】

図１４は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部１４００の構成を示すブロック図である。図１４に示されるように、周辺監視部１４００は、第１の実施形態と比べて、取得部４０１と処理が異なる取得部１４０１に変更され、保存処理部４０３と処理が異なる保存処理部１４０２に変更されている。以下の説明では、上述した第１の実施形態と同一の構成要素には同一の符号を付してその説明を省略している。

【0099】

取得部１４０１は、第１の実施形態と同様に、撮像画像データと、加速度データと、を取得する他、車輪速センサ２２から車輪３の速度、換言すれば所定時間あたりの車輪３の回転数を取得する。取得した車輪３の速度、及び回転数は、保存処理部１４０２に出力される。

【0100】

保存処理部１４０２は、回転制御部４１１と、鳥瞰図画像生成部４１２と、位置推定部１４１１と、保存部４１５と、を備え、表示装置８に表示するための撮像画像データを生成、保存する。

【0101】

位置推定部１４１１は、取得部１４０１から入力された、前回位置を推定してからの回転数、及び舵角センサ１９からの操舵角に基づいて、車両１の位置を推定する。

【0102】

その後、保存部４１５が、リングバッファ４０４に対して、撮像画像データと、現在の車両１の位置情報、及び傾き（進行方向）とを対応付けて記憶する。

【0103】

本実施形態では、回転数に基づいて車両１の位置を推定することとした。これにより、オンロード走行している際に、車両１の位置を精度良く検出できる。また、車両１が後退している場合に、本実施形態にかかる周辺監視部１４００は、過去の撮像画像データを表示しても良い。

【0104】

図１５は、車両１が後退している場合に、表示処理部４０６により表示処理された通常の画面例を示した図である。図１５に示すように、通常の画面例では、車両１が後退している場合に、車両１の周辺領域を確認するために、撮像部１６ｃにより現在撮像されている撮像画像データを、全画面表示している。これにより、運転席から確認しにくい車両１の後方領域を確認できる。しかしながら、図１５に示す例では、車両１の後方の距離間隔を把握しにくい。そこで、本実施形態にかかる周辺監視部１４００では、車両１の床下付近の表示に切り替えることができる。例えば、受付部４０５が、表示切り替えのボタンの押下を受け付けた場合に、表示処理部４０６が表示を切り替える。

【0105】

図１６は、表示処理部４０６により表示処理される、床下表示の際の画面例を示した図である。図１６に示す例では、撮像部１６ｃが過去に撮像した撮像画像データに、現在の車両１の外形を示す輪郭線１６０１と、車両１の後輪３Ｒの外形を示す輪郭線１６０２、１６０３と、が重畳表示されている。

【0106】

図１６に示す撮像画像データは、撮像部１６ｃにより撮像されて、リングバッファ４０４に記憶された複数の撮像画像データから、画像選択部４２１により選択された撮像画像データとする。画像選択部４２１による撮像画像データの選択手法は、第１の実施形態と同様に、車両１の現在の位置を含んだ撮像画像データが選択可能であれば、どのような手法を用いても良い。

【0107】

図１６に示す撮像画像データでは、過去に撮像した撮像画像データに、現在の車両１の所定部位、例えば車両１自体の位置を表す輪郭線１６０１が重畳されているため、車両１と周辺の位置関係を認識できる。さらには、車両１の後輪３Ｒの周辺に障害物等の有無を確認できる。また、車両１が後輪操舵システムを採用する場合には、後輪３Ｒのタイヤ角に合わせて、輪郭線１６０２、１６０３の表示を切り替えても良い。

【0108】

本実施形態にかかる周辺監視部１４００は、回転数に基づいて移動量を推定するセンサの検出結果に基づいて、制御を行うこととした。本実施形態ではオンロードにおいて、精度良く移動量を推定することが可能となる。

【0109】

本実施形態では車両１の移動量を車輪３の回転数に応じて算出する例について説明した。しかしながら、このような手法に制限するものではなく、例えば、ＧＰＳ等から車両１の位置及び移動量を検出しても良い。

【0110】

（第３の実施形態）
前述した第１の実施形態及び第２の実施形態では、現在の車両１の所定部位を特定可能な識別情報として、例えば車両の外形を示す輪郭線や車両の車輪の外形を示す輪郭線を表す例を示した。図１７に示す第３の実施形態では、他の識別情報を示している。また、前述した図９の表示態様とは異なる表示態様の表示例を示している。図９の表示態様の場合、前方画像の視認性を向上させるために撮像画像データ９０１の表示領域を全画面の半分以上を用いて表示していた。一方、図１７の場合、撮像画像データ１７００の表示領域（前方表示領域）に対して、撮像画像データ１７０２及び撮像画像データ１７０４の表示領域（側方表示領域）を前方方向に拡大して、側方画像と前方画像との関連の理解をさらに容易にできるようにして車両周囲の状況把握の容易性を向上させている。

【0111】

図１７の場合、過去に撮影した撮像画像データ１７００に、図９と同様に、現在の車両の位置を示すための車体の輪郭線１７０６、左前輪の輪郭線１７０８、右前輪の輪郭線１７１０を表示している。それに加え、現在の車両の所定部位を示す識別情報として、車軸の位置を示す車軸輪郭線１７１２を表示している。このように、過去に撮影した周囲の状況を示す画像に、現在車両の所定部位、例えば車軸が実際に存在する位置を重畳表示することで、周囲の状況、例えば岩等の障害物と車両の床下部位との関係の把握が容易になり、車両の運転操作をより適切に行うことができる。特に、車両の床下には車軸のように突出した部品が存在する場合、その位置を重畳表示することにより、床下の部材と路面等が接触しないように、または接触によるダメージを最小限に抑えるような運転操作を容易に行うことができるように支援することができる。また、車軸輪郭線１７１２を表示することにより輪郭線１７０８，１７１０で示される車輪の中心を運転者が把握できるため、車輪の接地位置を正しく把握できるようになる。

【0112】

図１７は、一例として車軸を示す車軸輪郭線１７１２を示したが、他の床下部位を示してもよい。例えば、デファレンシャルギア（デフ）の位置を示す輪郭線を示してもよい。この場合もデフと路面が接触しないように、または接触によるダメージを最小限に抑えるような運転操作ができるように支援することができる。なお、車体の輪郭線１７０６、車輪の輪郭線１７０８，１７１０に加えて表示する車軸やデフ等の輪郭線は、運転者が適宜選択できるようにしてもよい。例えば、車軸またはデフのいずれか一方を選択的に表示するようにしてもよいし、両方を選択して表示してもよい。なお、車軸やデフ以外の床下部材に関して、同様に選択的に重畳表示するようにしてもよい。この場合、運転者が悪路走行時に特に気になる部材と路面との関係が容易に把握できるので、より適切な運転操作が可能になる。

【0113】

表示領域１７１４には、車両の傾斜姿勢（ピッチ角やロール角）を示すアイコン１７１６が示されている。この車両の傾斜姿勢を合わせて表示して、運転操作の参考にさせることにより、車軸やデフと路面が接触しないように、または接触によるダメージを最小限に抑えるような運転操作をさらに容易にできるようにアシストすることができる。

【0114】

（第４の実施形態）
図１８には、現在の車両の所定部位を特定可能な識別情報を重畳する他の例が示されている。図１８の例の場合、車両搭乗者が車両をスムーズに降車できるようにアシストするように撮像画像データ９０１に各種輪郭線を重畳している。なお、図１８の表示画面の構成は、図９の構成と同じである場合を例示している。図１８の表示例は、駐車スペースに自車を駐車する場合の自車と周囲の状況との関係を容易に認識させることに配慮されたアシスト画像である。この場合、駐車位置の調整容易性の向上と、自車から降車する際の周囲の状況把握の容易性を向上させることができる。図１８に示すように、過去に撮影した画像に映り込んでいる他車両Ｃａ，Ｃｂに対する自車の位置を把握させ易くするために、撮像画像データ９０１上に重畳する車体の輪郭線１８２０に加え、ドアミラーの位置を示す輪郭線１８２２，１８２４を示している。運転者は、画面上で自車の位置を理解しやすいドアミラーの位置を参考にすることで、他車両Ｃａ，Ｃｂと自車の相対位置の把握が容易になる。

【0115】

また、助手席側のドアの閉位置を示す輪郭線１８２６及び運転席側のドアの閉位置を示す輪郭線１８２８を示したり、運転席の座席位置を示す輪郭線１８３０、助手席の座席位置を示す輪郭線１８３２を示すことにより、他車両Ｃａ，Ｃｂと自車の相対位置の把握がさらに容易になる。また、ドアの位置を示す輪郭線１８２６，１８２８や座席の位置を示す輪郭線１８３０，１８３２を示すことで、車両を停車させて降車する場合の降り立ち位置に水溜まりや障害物等が無いか否かの判断を事前に行うことが可能となる。その結果、停車位置の調整を容易に行うことができる。

【0116】

また、変形例として、ドアが開いた状況（点線の輪郭線１８２６，１８２８）を表示してもよい。この場合は、ドアを開放した場合の他車両Ｃａ，Ｃｂとの距離、例えば、接触するか否かやドアをどの程度まで開放できるか等を事前に搭乗者に認識させることができる。また、ドアを開放して降車する場合の降り立ち位置の確認も容易にできる。なお、図１８の場合、運転席および助手席をカバーする範囲の輪郭線を重畳表示する例を示した。別の実施例では、例えば４ドアタイプの車両で後部座席をカバーする範囲の輪郭線を重畳表示するようにしてもよい。この場合、後部座席のユーザに対してもドアの開放可能量や降り立ち位置の状況を認識させることができる。なお、図１８では、スイングドアを例に説明したが、スライドドアやバックドア等にも適用可能であり、同様の効果を得ることができる。

【0117】

なお、図１８において、撮像画像データ８０２、撮像画像データ８０３、表示領域８０４、アイコン８１１等は図９の表示例と同じである。また、オンロードの場合は、周囲の状況が比較的把握し易いので、前述した図１６のような全画面表示で、撮像画像データ９０１及びそれに重畳する各輪郭線を表示するようにしてもよい。この場合、周囲の状況と自車の位置関係の把握がさらに容易になる。

【0118】

（第５の実施形態）
図１９は、図１６の変形例である。図１６の例の場合、車体の輪郭線１６０１及び、車輪の輪郭線１６０２，１６０３を過去画像に重畳表示することにより、他車の位置と自車の位置の認識度を向上させることで、駐車スペースへの進入を支援する例である。一方、図１９の例の場合、車体の輪郭線１９００及び、車輪の輪郭線１９０２，１９０４の重畳表示に加え、駐車スペースの車輪止め１９０６までの距離を表示領域１９０８に表示している。図１９の場合、車輪止め１９０６と対応する車輪の輪郭線１９０４までの距離（接触点までの距離）を撮像画像データ上の位置関係に基づき、既知の方法によりリアルタイムで算出する。そして、表示領域１９０８に例えば、「あと、１．８Ｍ」等のように表示する。このような、車輪止め１９０６までの残余距離の表示を行うことにより、駐車時の速度調整が容易になり、よりスムーズな駐車スペースへの進入が容易にできるように支援できる。なお、残余距離の表示に加え、または表示に代えて残余距離を音声案内するようにしてもよい。

【0119】

（第６の実施形態）
図２０は、図１９の変形例である。近年、電気自動車の普及に伴い、駐車スペースに非接触型の充電設備が設置されるケースが増加している。非接触型の充電設備の場合、路面側の給電装置と車載側の受電装置とを正確に相対させることが効率的な充電を実現する条件となる。前述したように、非接触型の充電設備は各所に設けられているため、不慣れな場所で充電する場合もある。図２０の例は、このような場合の充電位置への正確な誘導を支援する例である。具体的には、駐車スペースへの進入を支援するための、過去画像に車体の輪郭線２０００及び、車輪の輪郭線２００２，２００４の重畳表示に加え、車両側の受電装置の輪郭線２００６を重畳表示している。そして、駐車スペースの車輪止め２００８より手前側に設けられた給電装置２０１０までの距離を表示領域２０１２に表示している。図２０の場合、給電装置２０１０と受電装置の輪郭線２００６までの相対距離を撮像画像データ上の位置関係に基づき既知の方法によりリアルタイムで算出し、表示領域２０１２に例えば、「あと、１．７Ｍ」等のように表示する。このような、受電位置までの残余距離の表示を行うことにより、充電操作時の位置決め調整が容易になり、よりスムーズな充電準備ができるように支援できる。

【0120】

なお、この充電支援モードは、例えば運転席近傍に設けられた充電支援モードスイッチを運転者がオンした場合や、充電が必要な場合に、路面側の給電装置２０１０が発生する電波を受信することを契機に自動的に図２０に示すような充電支援モードに切り替えて、受電装置の輪郭線２００６や表示領域２０１２の表示を行うようにしてもよい。また、給電装置２０１０が撮影画面上で認識困難な場合は、給電装置２０１０の発生する電波の強度等に基づいて給電装置２０１０の位置を検出してもよい。そして、車載カメラで撮影した過去画像上に給電装置２０１０の輪郭線を重畳表示するようにしてもよい。なお、充電支援モードでは、残余距離の表示や音声案内のみでも十分であるが、例えば、左右方向のズレを修正するための矢印表示や音声案内を合わせて行うようにしてもよい。また、残余距離や修正方向の音声案内のみを行うようにしてもよい。

【0121】

（第７の実施形態）
上述した各実施形態の場合、過去に撮影した画像に現在の自車の輪郭線を重畳表示して現在の車両の位置と周囲の状況との関係を認識し易いようにしている。ところで、特にオンロードで過去画像を利用する場合に、記憶した画像に歩行者や他車等の移動物体が映り込んでいる場合がある。このように移動物体が映り込んだ過去画像に現在の車両の輪郭線等を重畳表示すると、現在はすでに存在しない移動物体に自車が接触したり重なり合ったりするような画像合成が行われて表示上違和感が生じる。

【0122】

そこで、各実施形態において、過去画像に移動物体が含まれる場合は、そのデータをリングバッファ４０４に記憶しない、または記憶しても重畳表示処理を行う場合に使用しないようにしてもよい。この場合、過去画像が表示できない旨のメッセージを表示したり音声案内するようにすることが望ましい。このような処理を行うことにより、上述したような表示上の違和感が生じることを回避することができる。

【0123】

なお、車載カメラで撮影する画像の中に歩行者や他車等の移動物体が存在するか否かは、例えば、撮影システムに含まれる障害物の認識機能を用いて判定することができる。このように既存のシステムと連携させることにより、過去画像に移動物体が含まれる場合は、そのデータを利用しない等のシステムを低コストで実現できる。なお、取得した画像データの全領域について移動物体の検出を行い、検出された場合にデータを非使用とする処理を行うと、使用できるデータ数が過剰に減ってしまう場合がある。そのため、舵角センサ１９やタイヤ角センサ１３ｂからの情報に基づいて、自車の進行方向を推定し、自車と関連する領域のみについて移動物体の有無検出を行うようにしてもよい。この場合、非使用とするデータ数を最小限にすることが可能になり、良好な過去画像を用いた重畳処理が実現できる。

【0124】

（第８の実施形態）
一方、第７の実施形態とは逆に、過去画像に現在の自車の輪郭線を重畳表示させている場合、つまり、過去画像の表示中に移動物体（歩行者や他車等）が新たに割り込んでくる場合もある。この場合、新たに割り込んできた移動物体は、過去画像上には存在しないので、表示装置上には表示されない。このような場合、運転者は目視により割り込んできた移動物体を認識できるが、現実に存在する物体が画面上に表示されないという違和感が生じる場合がある。このような場合、現在画像を表示する現在表示モードに強制的に切り替えるようにしてもよい。このように現在画像モードに切り替えることにより、移動物体の存在をユーザに確実に認識させることが容易になる。

【0125】

なお、過去画像表示中に新たに進入してきた移動物体の検出は、既存の移動物体検出方法を用いることができる。例えば、現在車載カメラで取得している現在画像上の画像認識で行ってもよいし、ソナーやレーザレーダー、ミリ波レーダー等のセンサを用いてもよい。

【0126】

このような現在画像への切り替えは、移動物体の割り込む場合が多い、オンロード走行時に特に有効であるが、オフロード走行時でも適用できる。例えば、オフロード走行時には、繊細な運転操作が要求される場合があるため、床下の状態を詳細に認識できる表示装置に視線が集中してしまう場合がある。つまり現在の状況把握が疎かになってしまう場合がある。そのような場合、過去画像表示中に、新たな移動物体の進入が検出された場合に現在画像に切り替えることにより、現在の状況把握を迅速かつ確実に行わせることができる。

【0127】

なお、現在画像を表示中に移動物体や静止物等の障害物が検出されている場合に、利用者が過去画像の表示を要求した場合、周辺監視ＥＣＵ１４は、過去画像を表示してよいか「確認画面」を表示するようにしてもよい。また別の実施例では、システム側が一度現在画像に切り替えた場合、それ以降、所定の解除手順を実行するまで、または所定時間経過するまで、過去画像への切り替えを禁止するようにしてもよい。これにより、移動物体の割り込みを確実にユーザに認識させることができる。

【0128】

（第９の実施形態）
上述した各実施形態において、前方領域を示す表示領域（図８，９，１７，１８参照）は、いずれも、中央上段に短辺を下側にした略台形形状（台形形状、略台形表示領域、台形表示領域）としている。このように、短辺を下側にした形状で表示することで、前方表示領域を奥行き感のある起立画面のように見せる表示が可能となる。その結果、実際に利用者（運転者、乗員）が視認する周囲状況に近い表示が可能になる。また、車幅方向の左側および右側を撮影した画像を表示する側方表示領域（各実施形態では、略長方形の表示領域）と前方表示領域の形状を異ならせることにより、同じ画面に表示された側方領域を表示する領域と前方領域を表示する領域とが異なる視点（前方領域は起立画面、側方領域は見下ろし画面）であるように強調できるため、利用者の視認性の向上に寄与することができる。特に、図１７の例のように、側方表示領域が前方表示領域の横まで伸びている場合は、両者を異なる形状とすることで、その識別性をより向上させることができる。なお、各実施形態において、側方表示領域には、路面から上空の領域を含まなれないものとなっている。なお、略台形表示領域とは、各辺が直線で構成される台形表示領域でもよいし、いずれかの辺が曲線で構成されていてもよい。例えば、図８のにおける撮像画像データ８０１を表示する領域の長辺側が領域外側に向かい凸の曲線で構成されていてもよい。同様に短辺側が領域外側に向かい凸状の曲線で構成されていてもよい。また、撮像画像データ８０１を表示する領域の側辺（斜辺）が外側に凸の曲線で構成されていてもよい。逆に領域内側に向かい凸の曲線で構成されていてもよい。例えば、長辺側が領域外側に凸の曲線で、短辺側が領域内側に凸の曲線で構成される扇形形状も、本実施形態における略台形形状に含まれるものとする。また、前述したような曲線は略台形形状の一部に採用されてもよいし、複数箇所で採用されていてもよい。略台形形状を構成する辺を曲線とすることで、表示領域の形状に様々な意匠性を持たせることができる。また、側方表示領域の略長方形の表示領域との識別性をさらに向上させることができる。

【0129】

図１７には、表示処理部４０６により表示処理された画面の変形例が示されている。図１７の場合、撮像画像データ１７００の表示領域（前方表示領域）に対して、撮像画像データ１７０２及び撮像画像データ１７０４の表示領域（側方表示領域）を前方方向に拡大して、側方画像と前方画像との関連の理解を容易にできるようにして車両周囲の状況把握の容易性を向上させている。そして、前方表示領域に表示する撮像画像データ１７００の視認性を向上させるために上述したような「略台形表示領域」を用いて表示している。特に、図１７の例のように、側方表示領域が前方表示領域の横まで伸びている場合は、両者を異なる形状とすることで、その識別性をより向上させることができる。この「略台形表示領域」は、図８や図１７に示すように撮像部１６ａが撮影した現在画像を表示する場合および図９に示すように過去画像を表示する場合の両方に適用可能であり、いずれの場合も視認性を向上させることができる。

【0130】

なお、図１７に示す例では、周辺監視ＥＣＵ１４は、操舵部４（ステアリングホイール）の操作状態を舵角センサ１９の出力データに基づき取得し、前輪３Ｆの向きを推定して、車両１の進行推定方向を示す進路指標１７０６，１７０８を前方表示領域に重畳表示している。進路指標１７０６，１７０８を前方表示領域に表示することにより、車両１がこれから進もうとしている方向が明確になり、周囲の状況と車両１の関係が把握し易くなる。そして、略台形表示領域により視認性が向上した表示領域を参照しつつ、例えば、スムーズに障害物を回避する運転を容易に行えるような運転支援を提供することができる。

【0131】

上述した各実施形態においては、現在撮像した撮像画像データと合成を行うことなく、過去に撮像した撮像画像データを表示することとした。時系列の異なる撮像画像データを合成せずに、ある時点で撮影された撮像画像データのみを表示することで、現在の車両１の位置における死角となる領域を、運転者に対して違和感なく表示することができる。

【0132】

上述した実施形態では、車両１の進行方向の路面及び地平線を含んだ領域を撮像、いわゆる斜め視点から撮像された撮像画像データを表示する例について説明した。しかしながら、撮影する画角及び表示する画像データを制限するものではない。例えば、鳥瞰図（トップビュー）による画像データを表示しても良い。

【0133】

上述した実施形態にかかる各実施形態にかかる周辺監視部では、過去に撮像された撮像画像データを表示することで、運転者に違和感を与えることになく、車両１周辺で死角となっている領域（例えば車両１の前輪３Ｆ付近）の状況を提示することができる。これにより、運転者の運転の負担を軽減できる。

【0134】

上述した実施形態にかかる周辺監視部では、過去に撮像された撮像画像データに現在の車両１の位置を示す輪郭線等を表示している。これにより、周囲の状況と車両１との関係の把握が容易になる。

【0135】

上述した実施形態にかかる周辺監視部では、床下表示の選択を受け付けた場合に、過去のある車両の位置から撮像部１６により撮影された撮像画像データのみを表示している。すなわち、上述した実施形態では、例えば、現在の撮像画像データと、過去の撮像画像データのような、時系列の異なる複数の撮像画像データの合成を行わない例について説明した。このように時系列の異なる複数の画像データの合成を行わないため、処理負担を軽減することが可能となった。

【0136】

なお、上述した第１〜第９の実施形態において、過去画像に表示する各種輪郭線は、車両を上面視した場合に路面に投影される位置を、過去画像上に描画（投影）しているものである。

【0137】

第９の実施形態は、次の［１］〜［３］のうちいずれかの車両の制御装置あるいはプログラムの一例である。
［１］
車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得部と、
前記取得部が取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力部と、
を備える周辺監視装置。
［２］
前記撮像部は、前記車両の前方または後方を撮像する第１撮像部と、前記車両の側方を撮像する第２撮像部とを含み、
前記出力部は、前記第１撮像部で撮影した撮像画像データに基づく画像を前記略台形表示領域に表示させ、前記第２撮像部で撮影した撮像画像データに基づく画像を略長方形表示領域に表示させる［１］に記載の周辺監視装置。
［３］
車両の周囲の路面と、当該路面から上方の領域と、を含む領域を撮像する撮像部から出力された撮像画像データを取得する取得ステップと、
前記取得ステップで取得した前記撮像画像データを、短辺を画面下方とする略台形表示領域に表示させるように表示装置に出力する出力ステップを、
コンピュータに実行させるためのプログラム。

【0138】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0139】

１…車両、１６…撮像部、１００…周辺監視システム、４００、１４００…周辺監視部、４０１、１４０１…取得部、４０２…角度算出部、４０３、１４０２…保存処理部、４０４…リングバッファ、４０５…受付部、４０６…表示処理部、４１１…回転制御部、４１２…鳥瞰図画像生成部、４１３…オプティカルフロー算出部、４１４、１４１１…位置推定部、４１５…保存部、４２１…画像選択部、４２２…出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】