特許 6361382 車両の制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6361382

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】車両の制御装置

(51)【国際特許分類】

   B60R 21/00 20060101AFI20180712BHJP

   B60R 1/00 20060101ALI20180712BHJP

   G08G 1/16 20060101ALI20180712BHJP

【ＦＩ】

   B60R21/00 991

   B60R1/00 A

   G08G1/16 A

【請求項の数】4

【全頁数】18

(21)【出願番号】特願2014-176069(P2014-176069)

(22)【出願日】2014年8月29日

(65)【公開番号】特開2016-49868(P2016-49868A)

(43)【公開日】2016年4月11日

【審査請求日】2017年7月10日

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】アイシン精機株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】渡邊 一矢

(72)【発明者】

【氏名】丸岡 哲也

(72)【発明者】

【氏名】大橋 いつ子

【審査官】 飯島 尚郎

(56)【参考文献】

【文献】 特開平０９−０５２５５５（ＪＰ，Ａ）

【文献】 特開２００１−３４７９１１（ＪＰ，Ａ）

【文献】 特開２０１３−０６０１２８（ＪＰ，Ａ）

【文献】 特開２００２−２７４２１４（ＪＰ，Ａ）

【文献】 特開平０７−１１７５２１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０２３０１７６（ＵＳ，Ａ１）

【文献】 特開２００５−２６２９５６（ＪＰ，Ａ）

【文献】 特開２０１０−１５６６０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ６０Ｒ ２１／００

Ｂ６０Ｒ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する第１の取得部と、
前記車両に設けられた車両状態検出部から出力された車両の状態情報に基づいて車両の傾斜角度を取得する第２の取得部と、
前記撮像画像データと、前記車両の傾斜角度を表した傾斜角度表示情報と、を含む出力画像データを一つの表示装置に出力し、当該車両の傾斜角度に応じて出力画像データ内の表示態様を異ならせて出力する出力部と、
を備える車両の制御装置。

【請求項2】

前記出力部は、当該車両の傾斜角度に応じて異ならせる前記出力画像データ内の表示態様として、色を変更する、
請求項１に記載の車両の制御装置。

【請求項3】

前記出力部は、前記第２の取得部により取得された前記車両の傾斜角度データを用いて、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の傾斜角度に基づいて、回転制御された前記撮像画像データを含む出力画像データを出力する、
請求項１又は２に記載の車両の制御装置。

【請求項4】

前記出力部は、前記車両の傾斜角度が第１の角度より小さい場合に、前記撮像画像データを含む出力画像データを出力し、前記車両の傾斜角度が第１の角度以上の場合に、前記撮像画像データと、傾斜角度表示情報と、を含む出力画像データを出力し、前記車両の傾斜角度が、前記第１の角度より大きい第２の角度以上の場合に、さらに出力画像データの表示領域内の表示態様を異ならせる、
請求項１乃至３のいずれか一つに記載の車両の制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、車両の制御装置に関する。

【背景技術】

【0002】

従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術がある。また、運転者に対して、車両の傾きに応じて報知する技術も提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−２１０２２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、運転者は、車両に設置されたカメラで撮像された画像データを視認するだけでは、車両の傾きを認識できない場合がある。また、傾きに応じた報知は、所定のタイミングで行われるため、当該タイミング以外で運転者が車両の傾きを認識するのは難しい。

【課題を解決するための手段】

【0005】

実施形態の車両の制御装置は、一例として、車両に設けられ当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する第１の取得部と、前記車両に設けられた車両状態検出部から出力された車両の状態情報に基づいて車両の傾斜角度を取得する第２の取得部と、前記撮像画像データと、前記車両の傾斜角度を表した傾斜角度表示情報と、を含む出力画像データを一つの表示装置に出力し、当該車両の傾斜角度に応じて出力画像データ内の表示態様を異ならせて出力する出力部と、を備える。よって、一例としては、表示装置を参照した際に車両の周辺状況と車両の傾きとを認識できるので、車両周辺の状況把握が容易になるという効果を奏する。

【0006】

また、実施形態の車両の制御装置は、一例として、前記出力部は、当該車両の傾斜角度に応じて異ならせる前記出力画像データ内の表示態様として、色を変更する。よって、一例としては、色で車両の傾きを把握できるので、操舵負担を軽減できるという効果を奏する。

【0007】

また、実施形態の車両の制御装置は、一例として、前記出力部は、前記第２の取得部により取得された前記車両の傾斜角度データを用いて、重力方向に垂直な水平面に含まれた方向である水平方向に対する、前記車両の傾斜角度に基づいて、回転制御された前記撮像画像データを含む出力画像データを出力する。よって、一例としては、撮像画像データで車両の周辺状況が把握できるので、操舵負担を軽減できるという効果を奏する。

【0008】

また、実施形態の車両の制御装置は、一例として、前記出力部は、前記車両の傾斜角度が第１の角度より小さい場合に、前記撮像画像データを含む出力画像データを出力し、前記車両の傾斜角度が第１の角度以上の場合に、前記撮像画像データと、傾斜角度表示情報と、を含む出力画像データを出力し、前記車両の傾斜角度が、前記第１の角度より大きい第２の角度以上の場合に、さらに出力画像データの表示領域内の表示態様を異ならせる。よって、一例としては、表示装置に表示された表示態様で、傾斜角度表示情報を参照せずとも、車両の傾きを認識できるので、車両周辺の状況把握が容易になるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。

【図2】図２は、実施形態にかかる車両の一例が示された平面図（俯瞰図）である。

【図3】図３は、実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。

【図4】図４は、実施形態にかかる加速度センサの検出方向の一例を示した図である。

【図5】図５は、実施形態にかかる周辺監視ＥＣＵ内に実現される周辺監視部の構成を示すブロック図である。

【図6】図６は、実施形態にかかる撮像部により撮像された撮像画像データの一例とする。

【図7】図７は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の一例を示した図である。

【図8】図８は、実施形態にかかる回転制御部により回転補正を行った後の撮像画像データの一例を示した図である。

【図9】図９は、実施形態にかかる合成部が合成した後の出力用画像データの一例を示した図である。

【図10】図１０は、実施形態にかかる周辺監視部における、表示装置への表示処理の手順を示すフローチャートである。

【図11】図１１は、実施形態にかかる周辺監視部における、表示装置に表示するための画像データの合成処理の手順を示すフローチャートである。

【図12】図１２は、実施形態にかかる合成部が合成した後の出力用画像データの一例を示した図である。

【図13】図１３は、実施形態にかかる合成部が合成した後の出力用画像データの一例を示した図である。

【図14】図１４は、変形例１にかかる合成部が合成した後の出力用画像データの一例を示した図である。

【図15】図１５は、変形例２にかかる合成部が合成した後の出力用画像データの一例を示した図である。

【発明を実施するための形態】

【0010】

以下の実施形態には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付与される。また、重複する説明が省略される。

【0011】

以下に示す実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。

【0012】

図１に示されるように、実施形態の車体２は、乗員（図示されず）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。

【0013】

また、車室２ａ内には、表示装置８（表示出力部）や、音声出力装置９（音声出力部）が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８や、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部（図示されず）を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に音声出力装置（図示されず）を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。

【0014】

また、図１、２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆ又は後輪３Ｒを操舵する操舵システム１２を有している。なお、操舵システム１２は、前輪３Ｆ及び後輪３Ｒを同時に操舵可能としてもよい。

【0015】

また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで画像データ（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。

【0016】

なお、水平方向とは、重力方向（鉛直方向）に対して垂直な水平面に含まれている方向である。

【0017】

本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー上部の等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。なお、本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。

【0018】

周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１（車体２）を上方から見た仮想的な鳥瞰図画像（平面画像）を生成したりすることができる。

【0019】

また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００では、周辺監視ＥＣＵ１４や、モニタ装置１１、操舵システム１２等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller area network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１２、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、アクチュエータ１８ａ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、ならびに、操作入力部１０等の指示信号（制御信号、操作信号、入力信号、データ）を受け取ることができる。

【0020】

本実施形態では、車両１に２個の加速度センサ２６（２６ａ、２６ｂ）が設けられているものとする。なお、本実施形態は、車両１をＥＳＣ（Electronic Stability Control）搭載車両とする。そして、ＥＳＣ（Electronic Stability Control）搭載車両に従来から搭載されている加速度センサ２６（２６ａ、２６ｂ）を用いる。なお、本実施形態は、加速度センサを制限するものではなく、車両１の左右方向の加速度を検出可能なセンサであれば良い。

【0021】

図４は、加速度センサ２６ａ、２６ｂの検出方向の例を示した図である。検出方向４０１は、加速度センサ２６ａの検出方向であり、検出方向４０２は、加速度センサ２６ｂの検出方向とする。図４に示す検出方向４０１は、地面（車両１が移動可能な平面）に平行な平面上で、車両１の進行方向（前後方向）から４５°傾いた方向とする。また、検出方向４０２は、地面に平行な平面上であり、検出方向４０１との間の角度は９０°とする。このように地面に平行な平面上に異なる２つの検出方向を有しているため、前後方向の加速度及び左右方向の加速度を導出することができる。なお、本実施形態は、検出方向を制限するものではなく、少なくとも車両の前後方向又は左右方向の傾きを導出できれば良い。なお、前後方向の加速度及び左右方向の加速度の算出は、周辺監視ＥＣＵ１４で行われる。

【0022】

車両１の前後方向とは、車両１の進行方向及び進行方向の反対方向を示し、車両１の左右方向とは、車両１の進行方向に垂直な面に含まれている方向とする。

【0023】

図３に戻り、周辺監視ＥＣＵ１４は、一例として、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理や、車両１の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。

【0024】

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。

【0025】

図５は、本実施形態にかかる周辺監視ＥＣＵ１４内に実現される周辺監視部５００の構成を示すブロック図である。図５に示す周辺監視部５００内の各構成は、図３の周辺監視ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたソフトウェアを実行することで実現される。

【0026】

周辺監視部５００は、ＲＯＭ１４ｂ（コンピュータ読み取り可能な記録媒体）内に格納されたソフトウェアを実行することで、取得部５０１と、角度取得部５０２と、フィルタリング制御部５０３と、画像処理部５０４と、出力部５０５と、を実現する。なお、ソフトウェア（プログラム）は、コンピュータ読み取り可能な他の記録媒体を介して提供されてもよい。

【0027】

そして、本実施形態にかかる周辺監視部５００は、車両１が傾斜や凹凸のある路面を走行する際に、撮像部１６から入力された撮像画像データ、加速度センサ２６（加速度検出部）から取得した、加速度データに基づいて、車両１の周辺の状況を認識できる画像データを表示することで、運転者の運転を支援する。なお、本実施形態は、車両状態検出部の一例として加速度センサ２６を用いて、加速度データを用いた例について説明するが、車両の状態データを加速度データに制限するものではなく、他のデータでも良い。

【0028】

取得部５０１は、車両１が備える各種センサ等から、様々な情報を取得する。本実施形態にかかる取得部５０１は、車両１に設けられ当該車両１の周辺を撮像する撮像部１６ａ〜１６ｄから出力された撮像画像データと、当該車両１に設けられた加速度センサ２６ａ、２６ｂから出力された加速度データと、を取得する。さらには、取得部５０１は、操作入力部１０に設けられたスイッチで設定されているモードが、オフロードモードであるか否かを示す情報も取得する。取得部５０１は、取得した情報を角度取得部５０２及び画像処理部５０４に出力する。

【0029】

また、取得部５０１は、撮像された時刻と加速度が検出された時刻とが略一致する撮像画像データと加速度データとを対応付けておく。

【0030】

角度取得部５０２は、車両１に設けられた車両状態検出部の一例である、加速度センサ２６ａ、２６ｂから出力された車両の加速度データに基づいて、車両の傾斜角度（ピッチ角及びロール角）を取得する。本実施形態は、加速度センサ２６ａ、２６ｂから出力された加速度データに基づいて車両１の傾斜角度を算出する例について説明するが、車両１の傾斜角度を取得できればどのような手法でも良い。

【0031】

ピッチ角とは、車両１の左右軸（図４の軸４１２）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ピッチ角が０度となる。

【0032】

ロール角とは、車両１の前後軸（図４の軸４１１）周りの傾きを示した角度とする。水平な（地）面上に車両１が存在する場合に、ロール角が０度となる。そして、角度取得部５０２は、ピッチ角及びロール角を算出するために、まず車両１の前後方向の加速度ａ１と、左右方向の加速度ａ２と、を算出する。

【0033】

なお、角度取得部５０２は、前後方向の加速度ａ１を、以下の式（１）を用いて算出する。検出方向４０１の加速度をＧＬ１とし、検出方向４０２の加速度をＧＬ２とする。なお、ピッチ角は、前後方向の加速度ａ１と重力加速度から求め、ロール角は、左右方向の加速度ａ２と重力加速度から求める。

【0034】

ａ１＝ＧＬ１×ｃｏｓ４５°−ＧＬ２×ｃｏｓ４５°…（１）

【0035】

次に、角度取得部５０２は、左右方向の加速度ａ２を、以下の式（２）を用いて算出する。

【0036】

ａ２＝−（ＧＬ１×ｓｉｎ４５°＋ＧＬ２×ｓｉｎ４５°）…（２）

【0037】

さらに、角度取得部５０２は、以下の式（３）を用いて、ピッチ角ＰＡを算出する。

【0038】

ＰＡ＝ｓｉｎ^-1（ａ１／１Ｇ）…（３）

【0039】

さらに、角度取得部５０２は、以下の式（４）を用いて、ロール角ＲＡを算出する。

【0040】

ＲＡ＝ｓｉｎ^-1（ａ２／１Ｇ）…（４）

【0041】

また、角度取得部５０２は、加速度データから算出したロール角及びピッチ角を、当該加速度データと対応付けられている撮像画像データと対応付けておく。これにより撮像画像データが撮像された時の車両１のロール角及びピッチ角を認識できる。

【0042】

フィルタリング制御部５０３は、角度取得部５０２により算出されたロール角ＲＡ及びピッチ角ＰＡに対して、ローパスフィルタによるフィルタリングを行う。

【0043】

本実施形態では、ローパスフィルタをかけることで、ロール角ＲＡ及びピッチ角ＰＡが急峻に変化すること、換言すれば表示装置８に表示される画像データが急峻に切り替わることを抑止する。これにより、運転者は快適に表示装置８に表示される画像データを視聴することができる。なお、本実施形態では、周辺監視部５００内に設けられたフィルタリング制御部５０３によるデジタルフィルタを用いる例について説明するが、例えば、加速度センサ２６から出力された信号に対して行うアナログフィルタ等であっても良い。

【0044】

画像処理部５０４は、回転制御部５２１と、縮小・拡大制御部５２２と、移動制御部５２３と、合成部５２４と、を備え、表示装置８に表示するための画像データを生成する。

【0045】

回転制御部５２１は、撮像部１６ａにより撮像された、車両１の前方周辺を写した撮像画像データに対して、回転補正を行う。なお、回転補正の対象は、撮像部１６ａにより撮像された撮像画像データに制限するものではなく、例えば、撮像部１６ｃにより撮像された、車両１の後方周辺を写した撮像画像データであっても良い。

【0046】

図６は、撮像部１６ａにより撮像された撮像画像データの例とする。図６に示す撮像画像データは、傾いた車両１から撮像されている。運転者は、表示装置８に表示される映像は客観的なものとして捉える傾向が高く、表示装置８に表示された撮像画像データで、縦軸方向で同じ高さの領域であれば、実際の高さも同じ又は実際の高低差ほどないと認識する傾向になる。図６に示す例では、領域６０１と領域６０２とが同じ高さであると認識する可能性がある。

【0047】

そこで、本実施形態にかかる回転制御部５２１は、加速度センサ２６から求められるロール角に応じて、撮像画像データを回転補正する。言い換えれば、回転制御部５２１は、車両状態データから算出される、重力方向に垂直な水平面に含まれた方向である水平方向に対する、車両の左右方向の傾きに基づいて、撮像画像データを回転補正（制御）する。例えば、回転制御部５２１は、撮像画像データに写っている被写体に含まれる水平線が、出力先の表示領域に横方向の辺に略平行になるように回転補正（制御）する。

【0048】

本実施形態にかかる回転制御部５２１は、撮像部１６が撮像に用いるレンズの中心に対応する、撮像画像データの表示領域内の位置座標を原点として、当該撮像画像データと対応付けられているロール角に応じた回転補正を行う。

【0049】

図７は、レンズの中心に対応する位置座標を原点とした場合に、撮像画像データの表示領域を表した２次元の直交座標系の例を示した図である。図７に示す座標系に含まれている各位置座標について、回転制御部５２１が、以下に示す式（５）で位置座標を変換することで、撮像画像データの回転補正を実現できる。なお、dx0、dy0は、レンズ中心を原点とした座標値とする。また、θは、算出されたロール角とする。

【0050】

【数1】

【0051】

図８は、回転制御部５２１により回転補正を行った後の撮像画像データの例を示した図である。図８に示す例では、撮像画像データに写っている被写体（車両１外部の環境）に含まれている水平線が、表示装置８の表示領域の横方向の辺に略平行になるように回転補正されている。換言すれば、撮像画像データの下方向が、当該撮像画像データに写っている被写体（車両１外部の環境）の重力方向になるように回転補正されている。なお、下方向と重力方向とを完全に一致させる必要はなく、撮像画像データ内の高さ関係が認識可能な程度に一致させれば良い。

【0052】

例えば、図６では同じ高さに見えた領域６０１と領域６０２について、図８では領域６０２が領域６０１より高い位置に存在することが認識できる。このため、運転者は、車両１の周辺の環境について、客観的な高さを認識できる。これにより適切な運転が可能となり、安全性を向上させることができる。

【0053】

縮小・拡大制御部５２２は、回転制御部５２１により回転補正が行われた後の撮像画像データに対して拡大処理又は縮小処理を行う。縮小・拡大制御部５２２が、以下に示す式（６）で位置座標を変換することで、撮像画像データの拡大補正又は縮小補正を実現できる。なお、dx1、dy1は、回転補正が行われた後のレンズ中心を原点とした座標値とする。なお、magＸ、magＹは、縦、横の拡大、縮小率とする。なお、拡大・縮小率は、撮像画像データの表示サイズと、表示装置８の表示領域の画素数との関係に基づいて決定される。

【0054】

【数2】

【0055】

移動制御部５２３は、縮小・拡大制御部５２２により拡大又は縮小処理が行われた後の撮像画像データに対して、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から移動させる制御を行う。本実施形態においては、移動制御部５２３は、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から、表示領域内の上方向に移動させる制御を行う。

【0056】

つまり、車両１が傾くような状況では、運転者は、地面の状況を確認したい傾向が高い。このため、移動制御部５２３が、レンズの中心に対応する位置座標を、表示装置８の表示領域の中心から、表示領域内の上方向に移動させる処理を行うこととした。これにより、例えば、撮像画像データに写っている空など、車両１より上方の状況よりも、車両１より下方の状況を重視して表示することになる。よって、利用者は、表示装置８に表示された撮像画像データを参照することで、車両１周辺の地面の状況を認識できる。これにより、適切な操舵支援を実現できる。

【0057】

移動制御部５２３は、以下に示す式（７）で位置座標を変換することで、撮像画像データの位置座標の移動を実現できる。なお、dx2、dy2は、拡大、縮小補正を行った後のレンズ中心を原点とした座標値とする。なお、移動前のレンズの中心の位置座標の移動先を（ｃｘ、ｃｙ）とする。

【0058】

【数3】

【0059】

合成部５２４は、移動制御部５２３が移動制御を行った後の撮像画像データに対して、表示装置８の表示領域に合わせて切り出しした後、運転手の操舵を支援するための表示情報を合成する。

【0060】

図９は、合成部５２４が合成した後の出力用画像データの例を示した図である。図９に示す例では、表示領域９０１には、撮像部１６ｂにより撮像された、車両１の左側の前輪３Ｆ周辺の状況が映し出されている。また、表示領域９０２には、撮像部１６ｄより撮像された、車両１の右側の前輪３Ｆ周辺の状況が映し出されている。さらに、表示領域９０３には、車両１のピッチ角及びロール角が認識可能な表示情報（傾斜計９０６）が表示されている。つまり、車両１を示したアイコン９２１の傾きでロール角を示す一方、当該アイコン９２１を通る中心線９１２と線９１１と間の距離でピッチ角を示している。このように、本実施形態では、ロール角及びピッチ角を認識可能な情報を示しているが、このような表示態様に制限するものではなく、他の表示態様であっても良い。

【0061】

また、表示領域９０４には、合成部５２４により切り出された後の撮像画像データが映し出されている。撮像画像データ内の映像内の水平線が、表示装置８の横枠と略平行になるように補正されている。換言すれば、撮像画像データ内の映像の下方向が、重力方向になるように補正されている。これにより、運転者は周辺の状況を認識するのが容易になる。

【0062】

しかしながら、運転者が、表示装置８に表示されている撮像画像データで、車両１の周囲の状況を確認しようとした際、車両１の周囲の状況によっては、撮像画像データから当該車両１の傾きを認識するのが難しい場合がある。また、表示装置８には、車両１のピッチ角及びロール角を示す傾斜計９０６が示されているが、ピッチ角及びロール角を認識するためには、傾斜計９０６を注視する必要がある。運転者が撮像画像データに注視している場合、傾斜計９０６に表示されている内容を認識するのは難しい場合がある。

【0063】

そこで、本実施形態では、表示領域９０３及び表示領域９０８の背景色を、車両１の傾斜角度（ピッチ角又はロール角）に応じて異ならせることとした。これにより、運転者は、傾斜計９０６を注視せずとも、車両１の現在の傾斜角度をおおよそ認識することができる。これにより、運転者は、車両１の現在の傾斜角度をおおよそ認識した際に、より正確な傾斜角を知りたい場合には、傾斜計９０６を見れば良い。これにより、運転者は、車両１の周辺の状況を認識するのが容易になる。

【0064】

そして、出力部５０５は、合成部５２４により合成された出力用画像データを、表示装置８に出力する。これにより、補正処理が行われた後の撮像画像データと共に、ロール角及びピッチ角が認識可能な情報が、表示装置８に表示される。

【0065】

図８、９の例では、前輪３Ｆの予想進路線９０５が含まれている。周辺監視ＥＣＵ１４（ＣＰＵ１４ａ）は、舵角センサ１９の検出結果等に基づいて予定進路を算出することができ、出力される画像に予定進路に対応した予想進路線９０５を含める（重畳する）ことができる。予想進路線９０５は、予定された進路を示す表示要素の一例である。周辺監視ＥＣＵ１４は、上述した回転、拡大・縮小、移動補正に対応して、予想進路線９０５の表示位置や、大きさ、姿勢（傾き）等を補正する。また、周辺監視ＥＣＵ１４は、予想進路線９０５の位置が画面の中央から大きくずれるような場合には、ずれが減る方向に表示領域と予想進路線９０５の位置を補正することも可能である。

【0066】

また、図９の例では、表示領域９０３、９０４の横方向の辺（図９の上辺または下辺）に対するアイコン９２１の傾きが、車両１のロール角となる。したがって、周辺監視ＥＣＵ１４は、出力される画像に、アイコン９２１の周囲を取り囲む角度スケール９０６ａ（傾斜スケール）を、表示領域９０３に対して角度が不変となる状態に含めることにより、アイコン９２１を利用した傾斜計９０６（ロール角度表示部）を構成することができる。例えば、表示領域９０４の表示のみでは、水平方向、鉛直方向、車両１の姿勢（ロール角度やピッチ角）が分かり難い場合がある。この点、図９の例のように、ロール角度やピッチ角に応じて画面に対して回転（ロール）やピッチングされるアイコン９２１が表示されたり、傾斜計９０６が表示されたりすることで、表示領域９０４の画像の状態によらず、水平方向、鉛直方向、車両１の姿勢（ロール角度）が分かり易くなる。このように、表示領域９０４と表示領域９０３を一緒に表示する（同一画面内に表示するまたは並列して表示する）ことにより、車両周辺の状況や車両の姿勢の状況がいっそう理解し易くなる。

【0067】

また、本実施形態は、上述した回転、拡大・縮小、移動補正を常に行うものではなく、車両１がオフロードモードになった場合に行うように設定しても良い。例えば、取得部５０１が取得したオフロードモードであるか否かを示す情報を参照し、オフロードモードの場合に、画像処理部５０４が、上述した回転、拡大・縮小、移動補正を行う。

【0068】

なお、オフロードモードとは、オフロード走行において、車両１の４ＷＤの性能を引き出すためのモードとし、トランスファーギアの全体を低く設定するモードとする。つまり、本実施形態は、オフロード走行を行う際の操作に連動して、表示装置８に表示される撮像画像データが切り替わることとする。なお、本実施形態は、表示装置８に表示される映像の切替は、オフロードモードに切り替えられた場合に制限するものではなく、例えば、２−４ＷＤ切替で４ＷＤに切り替えられた場合に、回転補正が行われた映像を表示するように制御を行っても良い。

【0069】

さらに、本実施形態においては、オフロードモードにおいて、傾斜計９０６が常に表示されていることに制限するものではなく、車両１の傾斜角度が所定の角度以上になった場合に、傾斜計９０６が表示されるようにしても良い。本実施形態では、出力部５０５が、車両１の傾斜角度が１０度より小さい場合に、撮像画像データのみ配置された出力用画像データを出力し、車両１の傾斜角度が１０度以上の場合に、撮像画像データと傾斜計９０６とが組み合わさった出力用画像データを出力する。さらに、出力部５０５は、車両１の傾斜角度が３０度以上の場合に、撮像画像データと傾斜計９０６とが組み合わさった上、出力用画像データの表示態様を異ならせる。

【0070】

次に、本実施形態にかかる周辺監視部５００における、表示装置８への表示処理について説明する。図１０は、本実施形態にかかる周辺監視部５００における上述した処理の手順を示すフローチャートである。

【0071】

まず、取得部５０１が、撮像部１６から撮像画像データを取得する（ステップＳ１００１）。次に、取得部５０１が、加速度センサ２６から加速度データを取得する（ステップＳ１００２）。

【0072】

そして、角度取得部５０２が、加速度データから、車両１のロール角及びピッチ角を算出する（ステップＳ１００３）。

【0073】

次に、フィルタリング制御部５０３が、算出されたロール角及びピッチ角に対して、ローパスフィルタによるフィルタリングを行う（ステップＳ１００４）。

【0074】

そして、回転制御部５２１が、撮像画像データに対して、ロール角に応じた回転制御を行う（ステップＳ１００５）。

【0075】

次に、縮小・拡大制御部５２２及び移動制御部５２３が、回転制御が行われた後の撮像画像データに対して、拡大制御及び移動制御を行う（ステップＳ１００６）。

【0076】

そして、合成部５２４が、拡大制御及び移動制御が行われた後の撮像画像データに対して、表示装置８で表示される表示領域に応じた切り出しを行う（ステップＳ１００７）。

【0077】

次に、合成部５２４が、切り出した撮像画像データに対して、前輪周辺の状況を示した撮像画像データや、ピッチ角及びロール角を認識可能な表示情報を合成する（ステップＳ１００８）。なお、実際の合成手順については後述する。

【0078】

そして、出力部５０５が、合成部５２４により合成された後の出力用画像データを、表示装置８に出力する（ステップＳ１００９）。

【0079】

次に、本実施形態にかかる周辺監視部５００における、図１０のステップＳ１００８における、表示装置８に表示するための画像データの合成処理について説明する。図１１は、本実施形態にかかる周辺監視部５００における上述した処理の手順を示すフローチャートである。

【0080】

まず、合成部５２４が、フィルタリング制御部５０３から入力された傾斜角度（ロール角又はピッチ角）が、１０度以上か否かを判定する（ステップＳ１１０１）。合成部５２４が１０度より小さいと判定した場合（ステップＳ１１０１：Ｎｏ）、合成部５２４は、撮像部１６ａ、１６ｂ、１６ｄで撮像された撮像画像データを組み合わせて、出力用画像データを生成する（ステップＳ１１０２）。

【0081】

図１２は、ステップＳ１１０２において、合成部５２４により生成された出力用画像データを例示した図である。図１２に示されるように、撮像部１６ａで撮像された撮像画像データ１２０１と、撮像部１６ｂにより撮像された撮像画像データ１２０３と、撮像部１６ｄにより撮像された撮像画像データ１２０２と、が組み合わされている。そして、表示領域１２０４には、傾斜計等は表示されていない。図１２に示される例では、運転者は撮像画像データのみ参照すれば良いため、負担を軽減できる。

【0082】

一方、ステップＳ１１０１で合成部５２４が、フィルタリング制御部５０３から入力された傾斜角度（ロール角又はピッチ角）が、１０度以上と判定した場合（ステップＳ１１０１：Ｙｅｓ）、傾斜角度（ロール角又はピッチ角）が、３０度以上か否かを判定する（ステップＳ１１０３）。３０度より小さいと判定した場合（ステップＳ１１０３：Ｎｏ）、合成部５２４は、撮像画像データと傾斜計とを組み合わせて、出力用の画像データを生成する（ステップＳ１１０４）。

【0083】

図１３は、ステップＳ１１０４において、合成部５２４により生成された出力用画像データを例示した図である。図１３に示されるように、撮像部１６ａで撮像された撮像画像データ１３０１と、撮像部１６ｂにより撮像された撮像画像データ１３０３と、撮像部１６ｄにより撮像された撮像画像データ１３０２と、傾斜計１３０６と、が組み合わされている。また、図１３に示される出力用画像データにおいて、表示領域１３０４、１３０５は、車両１の傾斜角が１０度〜３０度用に設定された背景色が表示されている。背景色はどのような色でも良いが、例えば青色などが考えられる。

【0084】

一方、ステップＳ１１０３で合成部５２４が、フィルタリング制御部５０３から入力された傾斜角度（ロール角又はピッチ角）が、３０度以上と判定した場合（ステップＳ１１０３：Ｙｅｓ）、合成部５２４は、撮像画像データと傾斜計とを組み合わせた上で、背景色を注意喚起用の色に変更された出力用画像データを生成する（ステップＳ１１０５）。

【0085】

上述した図９は、傾斜角度（ロール角又はピッチ角）が、３０度以上の場合に生成される出力用画像データであって、上述したように撮像画像データ９０１、９０２、９０４と傾斜計９０６と、を組み合わせた上で、表示領域９０７、９０８の背景色が、注意喚起用の色に変更されている。注意喚起用の色としては、例えば、赤や黄などが考えられる。

【0086】

なお、本実施形態は、車両１の傾斜角に応じて表示装置８に表示される表示領域の色の変更としては、輝度値や、色調、色味などの変化を含めても良い。

【0087】

このように、背景色が注意喚起用の色に変更されているので、運転者は傾斜計を注視せずとも、車両１の傾斜状態を認識することができる。つまり、運転者は、表示装置８に表示されている撮像画像データに注視して周囲の状況を把握しながら、表示装置８の背景色から、車両１の傾斜状態を把握できる。つまり、表示装置８に表示されている撮像画像データのみ参照していると、車両１の現状を認識するのが難しくなるが、本実施形態では、表示装置８に撮像画像データを表示する際に、車両１の傾斜角の状況を背景色として、表示することで、運転者は表示装置８を参照しているだけで、車両１に関する様々な状況を認識できる。これにより、運転者が操舵する際の負担を軽減できる。

【0088】

上述したように、本実施形態の合成部５２４は、車両１の傾斜状況に応じて、背景色を異ならせた出力用画像データを合成している。これにより、出力部５０５は、車両１の傾斜角度に応じて、背景色を異ならせた出力用画像データを出力する。

【0089】

（変形例１）
なお、上述した実施形態では、表示態様として、背景色を異ならせた例について説明した。しかしながら、傾斜角度に応じて異ならせる表示態様を背景色に制限するものではない。そこで、変形例１では、車両１の傾斜角が３０度以上の場合に、表示態様として、警告マークを表示する場合について説明する。

【0090】

図１４は、本変形例の合成部５２４が、車両１の傾斜角が３０度以上の場合に生成する画像データを例示した図である。図１４に示される画像データでは、撮像画像データ９０１、９０２、９０４と、傾斜計９０６と、を組み合わせた上で、警告マーク１４０１が表示されている。この警告マーク１４０１は、車両１の傾斜角が３０度以上の場合に、合成部５２４が出力する画像データに付与される。

【0091】

本変形例では、運転者が、表示装置８を参照した際に、撮像画像データ９０１、９０２、９０４と傾斜計９０６とに加えて、警告マーク１４０１（アイコン）が表示されているため、運転者に対して車両１の状況を認識させることができる。

【0092】

（変形例２）
上述した実施形態及び変形例では、車両１の傾斜角が３０度以上になった場合に、撮像画像データと傾斜計とを除いた表示領域の背景色を異ならせる、又は当該表示領域に警告マークを表示する例について説明した。しかしながら、撮像画像データと傾斜計の表示態様を異ならせても良い。そこで変形例２では、撮像部１６ｂ、１６ｄで撮像された撮像画像データの表示態様を異ならせる例について説明する。

【0093】

図１５は、本変形例の合成部５２４が、車両１の傾斜角が３０度以上の場合に生成する画像データを例示した図である。図１５に示される画像データでは、撮像画像データ９０４、１５０１、１５０２と、傾斜計９０６と、を組み合わせている。さらに、撮像画像データ１５０１、１５０２に対して、傾斜角が３０°より小さい場合と比べて、表示態様を異ならせている。図１５で示す例では、撮像画像データ１５０１、１５０２の輝度値を、水平面に対する高さに応じて異ならせている。つまり、撮像画像データ１５０１、１５０２の暗い部分ほど低く、明るい部分ほど高いことが示されている。図１５に示される例では、車両１の左側が低く、右側が高いことを示している。当該表示を、車両１の傾斜角が３０度以上の場合に行うことで、ユーザに対して、車両１の傾き状況を認識させることができる。

【0094】

本変形例では、傾斜角が３０°以上の場合に、撮像部１６ｂ、１６ｄで撮像された撮像画像データの表示態様（例えば色味や、輝度値）を異ならせた画像データを、出力部５０５が出力する例について説明したが、表示態様を異ならせる撮像画像データを、撮像部１６ｂ、１６ｄで撮像された撮像画像データに制限するものではなく、撮像部１６ａにより撮像された撮像画像データの表示態様（例えば色味や、輝度値）を異ならせても良い。

【0095】

（変形例３）
上述した実施形態及び変形例では、車両１の傾斜角が３０°以上の場合に表示態様を異ならせる例について説明した。しかしながら、上述した実施形態及び変形例では、傾斜角がピッチ角であるか、ロール角であるかを特に考慮しなかった。そこで、本変形例の合成部５２４は、ロール角に応じて異ならせる出力用画像データの表示領域内の表示態様と、ピッチ角に応じて異ならせる出力用画像データの表示領域内の表示態様と、を異ならせる例とする。例えば、ロール角が３０°以上の場合に、出力用画像データの所定の表示領域の色を赤に変更し、ピッチ角が３０°以上の場合に、出力用画像データの所定の表示領域の色を黄色に変更する等が考えられる。そして、ロール角が３０°以上且つピット角が３０°以上の場合に、所定の表示領域の色をオレンジに変更する。これにより、運転者は、傾斜計を注視することなく、車両１の傾き状態を認識できる。

【0096】

上述した実施形態及び変形例においては、表示装置８に撮像画像データと傾斜計とが表示される際、車両１の傾斜角に応じて表示態様を異ならせている。これにより、運転者は、傾斜計を参照せずとも、撮像画像データを見ながら、車両１の傾き状態を認識することができる。これにより、車両周辺の状況把握が容易になる。つまり、運転者は車両１の周囲の状況の把握が容易になるので、操舵負担を軽減できる。

【0097】

以下に、上述した実施形態及び変形例に基づく技術の例を付記する。

【0098】

（付記１）
出力部は、さらに、車両の第１の傾斜角度である、ロール角に応じて異ならせる出力画像データの表示領域内の第１の表示態様と、車両の第２の傾斜角度であるピッチ角に応じて異ならせる出力画像データの表示領域内の第２の表示態様と、を異ならせる。

【0099】

（付記２）
出力部は、表示態様として、撮像画像データの色、表示領域のうち撮像画像データ及び傾斜角度表示情報を除いた領域の色、及び傾斜角度表示情報内の色のうちいずれか一つ以上を異ならせる。

【0100】

（付記３）
表示部は、表示態様として、表示領域内にアイコンを表示する。

【0101】

（付記４）
表示部は、表示態様として、撮像画像データ内の撮像された領域における、水平面に対する高さの違いに応じて色を異ならせて表示する。

【0102】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0103】

５００…周辺監視部、５０１…取得部、５０２…角度取得部、５０３…フィルタリング制御部、５０４…画像処理部、５０５…出力部、５２１…回転制御部、５２２…縮小・拡大制御部、５２３…移動制御部、５２４…合成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】