特許第6772716号(P6772716)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧

<>
  • 特許6772716-周辺監視装置 図000002
  • 特許6772716-周辺監視装置 図000003
  • 特許6772716-周辺監視装置 図000004
  • 特許6772716-周辺監視装置 図000005
  • 特許6772716-周辺監視装置 図000006
  • 特許6772716-周辺監視装置 図000007
  • 特許6772716-周辺監視装置 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6772716
(24)【登録日】2020年10月5日
(45)【発行日】2020年10月21日
(54)【発明の名称】周辺監視装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20201012BHJP
   B60R 1/00 20060101ALI20201012BHJP
   G08G 1/16 20060101ALI20201012BHJP
   G06T 19/00 20110101ALI20201012BHJP
   G06T 1/00 20060101ALI20201012BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   G08G1/16 C
   G06T19/00 600
   G06T1/00 330A
【請求項の数】6
【全頁数】14
(21)【出願番号】特願2016-184221(P2016-184221)
(22)【出願日】2016年9月21日
(65)【公開番号】特開2018-50171(P2018-50171A)
(43)【公開日】2018年3月29日
【審査請求日】2019年8月7日
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】アイシン精機株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】平槙 崇
(72)【発明者】
【氏名】大橋 いつ子
(72)【発明者】
【氏名】渡邊 一矢
(72)【発明者】
【氏名】乾 陽司
(72)【発明者】
【氏名】山本 欣司
(72)【発明者】
【氏名】久保田 尚孝
(72)【発明者】
【氏名】木村 修
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 特開2015−105070(JP,A)
【文献】 特開2010−123012(JP,A)
【文献】 特開2012−208559(JP,A)
【文献】 特開2007−116377(JP,A)
【文献】 特開2004−114840(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/00
G06T 1/00
G06T 19/00
G08G 1/16
(57)【特許請求の範囲】
【請求項1】
移動体の周辺の物体に関する物体情報を生成する生成部と、
前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記物体の画像および前記移動体の画像を含み、前記移動体の周辺の画像である周辺画像の視点を前記移動体の側方に変更した表示画像を表示させる制御部と、
を備え
前記制御部は、前記物体の画像として、予め設定された前記物体の3次元のモデル画像を前記表示画像内の前記物体の位置に重畳させて表示させる
周辺監視装置。
【請求項2】
前記制御部は、予め前記物体の形状に対応付けて記憶部に記憶された複数の前記モデル画像のうち、前記物体情報から特定した前記物体の形状に対応付けられた前記モデル画像を、前記物体情報から特定した前記物体の位置に重畳させて表示させる
請求項1に記載の周辺監視装置。
【請求項3】
前記予め定められた条件は、第一の条件と第二の条件の少なくともどちらかを有し、
前記第一の条件は、前記物体の高さが前記移動体の高さよりも低い閾値高さよりも低いであって、
前記第二の条件は、前記物体の形状が予め記憶された形状であることであって、
前記制御部は、前記第一の条件と前記第二の条件の少なくともどちらかを満たす場合、前記周辺画像の前記視点を変更して表示させる
請求項1または2に記載の周辺監視装置。
【請求項4】
前記生成部は、前記物体情報を生成するために前記移動体の周辺を撮像して撮像画像を生成する少なくとも一つの撮像部を含み、
前記制御部は、前記撮像画像から算出した前記物体までの距離が予め定められた閾値距離より小さく、かつ、前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記撮像画像から生成された前記周辺画像の視点を変更した前記表示画像を表示させる
請求項1から3のいずれか1項に記載の周辺監視装置。
【請求項5】
前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、表示中の前記表示画像の前記周辺画像の視点から変更した視点による周辺画像を含む前記表示画像を表示させる
請求項1から4のいずれか1項に記載の周辺監視装置。
【請求項6】
前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、前記移動体の床下の画像を含む表示画像を表示させる
請求項1から5のいずれか1項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、周辺監視装置に関する。
【背景技術】
【0002】
自動車等の移動体に設けられ、移動体の周辺の画像を表示する周辺監視装置が知られている。このような周辺監視装置において、移動体の周辺に存在する輪止め等の物体及び物体の周辺を他の領域と異なる表示形態で表示する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2016−21653号公報
【特許文献2】特開2007−49219号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述の周辺監視装置では、周辺に存在する物体が車体に隠れた場合、乗員が当該物体を認識できにくいといった課題がある。
【0005】
本発明は、上記に鑑みてなされたものであって、周辺の物体を乗員に容易に認識させることができる周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明の周辺監視装置は、移動体の周辺の物体に関する物体情報を生成する生成部と、前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記物体の画像を含み、前記移動体の周辺の画像である周辺画像の視点を変更した表示画像を表示させる制御部と、を備える。
【0007】
このように、周辺監視装置は、物体の高さ又は物体の形状が予め定められた条件を満たす場合、視点を変更した周辺画像を含む表示画像を表示させる。これにより、周辺監視装置は、移動体の車体等によって進行方向側の乗員等の死角となった領域に存在する周辺の物体を乗員に容易に認識させることができる。
【0008】
本発明の周辺監視装置では、前記予め定められた条件は、第一の条件と第二の条件の少なくともどちらかを有し、前記第一の条件は、前記物体の高さが前記移動体の高さよりも低い閾値高さよりも低いであって、前記第二の条件は、前記物体の形状が予め記憶された形状であることであって、前記制御部は、前記第一の条件と前記第二の条件の少なくともどちらかを満たす場合、前記周辺画像の前記視点を変更して表示させてもよい。これにより、周辺監視装置は、特に乗員の死角に入りやすい物体及び認識させたい形状の物体等を乗員に容易に認識させることができる。
【0009】
本発明の周辺監視装置では、前記制御部は、予め設定された前記物体の3次元のモデル画像を前記表示画像内の前記物体の位置に重畳させて表示させてもよい。これにより、周辺監視装置は、モデル画像によって乗員に物体をより容易に認識させることができる。
【0010】
本発明の周辺監視装置では、前記生成部は、前記物体情報を生成するために前記移動体の周辺を撮像して撮像画像を生成する少なくとも一つの撮像部を含み、前記制御部は、前記撮像画像から算出した前記物体までの距離が予め定められた閾値距離より小さく、かつ、前記物体情報から特定した前記物体の高さ又は前記物体の形状が予め定められた条件を満たす場合、前記撮像画像から生成された前記周辺画像の視点を変更した前記表示画像を表示させてもよい。これにより、周辺監視装置は、撮像部によって生成された撮像画像から物体までの距離を算出するとともに周辺画像を生成するので、構成を簡略化できる。
【0011】
本発明の周辺監視装置では、前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、表示中の前記表示画像の前記周辺画像の視点から変更した視点による周辺画像を含む前記表示画像を表示させてもよい。これにより、周辺監視装置は、表示中の表示画像の視点を変更した周辺画像を含む表示画像を表示させることにより、表示画像の切り替わりによる違和感を低減できる。
【0012】
本発明の周辺監視装置では、前記制御部は、前記物体情報から特定した前記物体の高さが予め定められた条件を満たす場合、前記移動体の床下の画像を含む表示画像を表示させてもよい。これにより、周辺監視装置は、乗員に床下の状態を知らせることができる。
【図面の簡単な説明】
【0013】
図1図1は、第1実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。
図2図2は、車両の例示的な平面図である。
図3図3は、車両の構成を説明するブロック図である。
図4図4は、ECUの機能を示すブロック図である。
図5図5は、制御部が実行する画像切替処理のフローチャートである。
図6図6は、視点変更した周辺画像を含む表示画像の一例の図である。
図7図7は、第2実施形態の表示画像の一例を示す図である。
【発明を実施するための形態】
【0014】
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
【0015】
<第1実施形態>
図1は、第1実施形態の車両1の車室2aの一部が透視された状態が示された例示的な斜視図である。車両1は、移動体の一例である。車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【0016】
図1に示すように、車両1は、車体2と、操舵部4と、加速操作部5と、制動操作部6と、変速操作部7と、モニタ装置11とを備える。
【0017】
車体2は、不図示の乗員が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4、加速操作部5、制動操作部6、変速操作部7、表示装置8、音声出力装置9、操作入力部10等が設けられている。車体2は、前端部の下部に設けられたフロントバンパー及び後端部の下部に設けられたリアバンパー等を含む。
【0018】
操舵部4は、例えば、ダッシュボードから突出したステアリングホイールである。加速操作部5は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部6は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部4、加速操作部5、制動操作部6、及び、変速操作部7は、これらには限定されない。
【0019】
モニタ装置11は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置11は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有してもよい。モニタ装置11は、表示装置8、音声出力装置9、及び、操作入力部10を有する。モニタ装置11は、スイッチ、ダイヤル、ジョイスティック、及び、押しボタン等の不図示の操作入力部を有してもよい。
【0020】
表示装置8は、画像情報に基づいて画像を表示する。表示装置8は、例えば、LCD(Liquid Crystal Display)、または、OELD(Organic Electroluminescent Display)等である。
【0021】
音声出力装置9は、音声データに基づいて音声を出力する。音声出力装置9は、例えば、スピーカである。音声出力装置9は、モニタ装置11以外の異なる車室2a内の位置に設けられていてもよい。
【0022】
操作入力部10は、乗員の入力を受け付ける。操作入力部10は、例えば、タッチパネルである。操作入力部10は、表示装置8の表示画面に設けられている。操作入力部10は、表示装置8が表示する画像を透過可能に構成されている。これにより、操作入力部10は、表示装置8の表示画面に表示される画像を乗員に視認させることができる。操作入力部10は、表示装置8の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付ける。
【0023】
図2は、車両1の例示的な平面図である。図1及び図2に示すように、車両1は、例えば、四輪自動車であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。四つの車輪3の全てまたは一部は、転舵可能である。
【0024】
車両1は、生成部の一例である複数の撮像部15を備える。撮像部15は、例えば、CCD(Charge Coupled Device)、または、CIS(CMOS Image Sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部15は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力できる。例えば、撮像部15は、車両1の周辺に存在する物体を含む車両1の周辺を撮像して撮像画像を生成し、当該撮像画像のデータを出力する。撮像画像は、動画または静止画であってよい。撮像画像は、車両1の周辺の物体に関する物体情報の一例である。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の140°〜190°の範囲を撮影することができる。撮像部15の光軸は、斜め下方に向けて設定されている。従って、撮像部15は、車両1が移動可能な路面、及び、車両1が駐車可能な領域を含む車両1の周辺の外部の環境を撮像した撮像画像データを出力する。
【0025】
本実施形態では、6個の撮像部15a、15b、15c、15d、15e、15fが車両1に設けられている。車両1は、4個以下または7個以上の撮像部15を有してもよい。撮像部15aは、例えば、車両1の前方の左側の端部2cに設置され、フロントバンパーの左側の上部に設けられている。撮像部15aは、車両1の前端の左側の一部、及び、車両1の前方の左側の周辺の環境を撮影する。撮像部15bは、例えば、車両1の前方の右側の端部2dに設置され、フロントバンパーの右側の上部に設けられている。撮像部15bは、車両1の前端の右側の一部、及び、車両1の前方の右側の周辺の環境を撮影する。撮像部15a及び撮像部15bは、前方に存在する同じ物体を撮像するステレオカメラとしても機能する。撮像部15cは、例えば、車両1の後方の左側の端部2eに設置され、リアバンパーの左側の上部に設けられている。撮像部15cは、車両1の後端の左側の一部、及び、車両1の後方の左側の周辺の環境を撮影する。撮像部15dは、例えば、車両1の後方の右側の端部2fに設置され、リアバンパーの右側の上部に設けられている。撮像部15dは、車両1の後端の右側の一部、及び、車両1の後方の右側の周辺の環境を撮影する。撮像部15c及び撮像部15dは、後方に存在する同じ物体を撮像するステレオカメラとしても機能する。撮像部15eは、車体2の左側の端部、例えば、左側のドアミラー2gに設けられている。撮像部15eは、車両1の左側の周辺の環境を撮影する。撮像部15fは、車体2の右側の端部、例えば、右側のドアミラー2hに設けられている。撮像部15fは、車両1の右側の周辺の環境を撮影する。
【0026】
車両1は、複数の測距部16を備える。測距部16は、例えば、レーザスキャナである。測距部16は、レーザ光を照射しつつ照射方向と交差する方向で走査する。測距部16は、物体に反射されたレーザ光を受光する。測距部16は、レーザ光の照射から受光までの時間及び照射方向を、物体の方向を特定するとともに物体までの距離を測距する測距情報として出力する。
【0027】
本実施形態では、車両1は、2個の測距部16a、16bを備える。測距部16aは、例えば、車両1の前端部の中央に設置されている。測距部16aは、前方の物体までの距離を測距する測距情報を出力する。測距部16bは、例えば、車両1の後端部の中央に設置されている。測距部16bは、後方の物体までの距離を測距する測距情報を出力する。
【0028】
図3は、車両1の構成を説明するブロック図である。図3に示すように、車両1は、車輪速センサ22と、ECU(Electronic Control Unit)24と、車内ネットワーク25とを更に備える。モニタ装置11、撮像部15、及び、ECU24は、周辺監視装置50として機能する。
【0029】
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ22は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ22は、例えば、ホール素子などを用いて構成されうる。
【0030】
ECU24は、例えば、コンピュータである。ECU24は、撮像部15から撮像画像データを受信する。ECU24は、出力させる画像または音声に関するデータをモニタ装置11へ送信する。ECU24は、CPU(Central Processing Unit)24aと、ROM(Read Only Memory)24bと、RAM(Random Access Memory)24cと、表示制御部24dと、音声制御部24eと、SSD(Solid State Drive)24fとを備える。CPU24a、ROM24b及びRAM24cは、同一パッケージ内に集積されていてもよい。
【0031】
CPU24aは、ROM24b等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。CPU24aは、例えば、表示装置8に表示させる周辺監視用の画像等の画像処理を実行する。
【0032】
ROM24bは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。RAM24cは、CPU24aでの演算で用いられる各種のデータを一時的に記憶する。表示制御部24dは、ECU24での演算処理のうち、主として、撮像部15で得られた画像の画像処理、表示装置8に表示させる表示用の画像のデータ変換等を実行する。音声制御部24eは、ECU24での演算処理のうち、主として、音声出力装置9に出力させる音声の処理を実行する。SSD24fは、書き換え可能な不揮発性の記憶部であって、ECU24の電源がオフされた場合にあってもデータを維持する。
【0033】
本実施形態では、ECU24は、ハードウェアとソフトウェア(制御プログラム)が協働することにより、車両1の制御全般を司る。例えば、ECU24は、車輪速センサ22から取得したセンサ値に基づいて車両1の移動量及び車速などを演算し、各種制御を実行する。ECU24は、撮像部15が撮像した周辺の画像を含む撮像画像に基づいて、周辺画像を含む表示画像を生成して、表示装置8に表示させる。ECU24は、例えば、視点を変化させた周辺画像を含む表示画像を生成する。これにより、ECU24は、周辺監視装置50としての機能を実現している。
【0034】
車内ネットワーク25は、例えば、CAN(Controller Area Network)である。車内ネットワーク25は、ECU24と、測距部16と、操作入力部10と、車輪速センサ22とを互いに制御信号及び操作信号等の情報を送受信可能に電気的に接続する。
【0035】
図4は、ECU24の機能を示すブロック図である。図4に示すように、ECU24は、制御部30と、記憶部32とを有する。制御部30は、CPU24a、表示制御部24d、及び、音声制御部24eの機能として実現される。記憶部32は、ROM24b、RAM24c、及び、SSD24fの機能として実現される。
【0036】
制御部30は、撮像部15から取得した撮像画像から特定した車両1の周辺の物体の高さが予め定められた条件を満たす場合、物体の画像を含む表示画像であって、車両1の周辺の画像である周辺画像の視点を変更した表示画像を表示装置8に表示させる。制御部30は、判定部52と、出力部54とを有する。制御部30は、例えば、記憶部32に格納された画像切替処理用のプログラムを読み込むことによって、判定部52及び出力部54として機能する。尚、判定部52及び出力部54の一部または全部は、ASIC(Application Specific Integrated Circuit)を含む回路等のハードウェアによって構成してもよい。
【0037】
判定部52は、車輪速センサ22から取得するセンサ値から車速を算出する。判定部52は、車速に基づいて、周辺画像を出力部54に表示させる。例えば、判定部52は、車速が予め定められた閾値車速未満の場合、第1切替指示を出力部54へ出力することによって、道案内用のナビゲーション画像から周辺画像に切り替えさせる。
【0038】
判定部52は、撮像部15が周辺を撮像した複数の撮像画像に基づいて、周辺の物体までの距離を算出する。例えば、判定部52は、撮像部15a、15bから取得した前方の周辺の撮像画像に基づいて、前方の物体までの距離を算出する。判定部52は、物体までの距離が予め定められた閾値距離よりも小さいか否かを判定する。
【0039】
判定部52は、物体までの距離が予め定められた閾値距離よりも小さいと判定した場合、撮像部15が周辺を撮像した撮像画像に基づいて、周辺の物体の高さを特定する。例えば、判定部52は、車両1が前方に移動している場合、撮像部15a、15bから取得した前方の周辺の撮像画像に基づいて、前方の物体の高さを特定する。また、判定部52は、車両1が後方に移動している場合、撮像部15c、15dから取得した後方の周辺の撮像画像に基づいて、後方の物体の高さを特定する。判定部52は、特定した物体の高さが予め定められた条件を満たしているか否かを判定する。予め定められた条件は、車体2等によって乗員の死角に入る可能性のある物体を検出でき、かつ、車体2と接触する可能性のある物体を検出できる条件が好ましい。予め定められた条件の一例は、物体の高さが、車両1の高さよりも低い閾値高さよりも低く(第一の条件の一例)、かつ、車体2の底部の高さよりも高いである。閾値高さは、例えば、車高(即ち、車体2の最高部の高さ)、ボンネットの天面の高さ、乗員の視点よりも低い、及び、乗員から見て車体(例えば、ボンネット)の死角に入り込む高さ等の予め定められた高さである。従って、判定部52は、物体の高さが、閾値高さよりも低く、かつ、車体2の底部より高いか否かを判定する。判定部52は、物体の高さが閾値高さよりも低くかつ車体2の底部よりも高い場合、周辺画像の視点を変更させる第2切替指示を出力部54へ出力する。換言すれば、判定部52は、物体までの距離が予め定められた閾値距離よりも小さく、かつ、物体の高さが予め定められた条件を満たす場合、周辺画像の視点を変更させて表示させるための第2切替指示を出力部54へ出力する。
【0040】
出力部54は、乗員へ情報を出力する。例えば、出力部54は、表示装置8に画像を表示させて画像を出力するとともに、音声出力装置9に音声を出力させる。具体的には、出力部54は、道案内用のナビゲーション画像を表示装置8に表示させる。また、出力部54は、第1切替指示を取得すると、撮像部15が撮像した撮像画像に基づいて、車両1の周辺の画像である周辺画像を撮像画像から生成して表示装置8に表示させる。ここで、出力部54は、複数の撮像部15が撮像した撮像画像を画像処理した後、合成して周辺画像を生成してもよい。例えば、出力部54は、画像処理によって撮像画像の歪みを補正して周辺画像を生成してもよい。
【0041】
また、出力部54は、複数の撮像画像から視点が異なる複数の周辺画像を生成する。例えば、出力部54は、記憶部32に格納されたマッピングテーブルの変換情報によって、撮像画像を変換することにより、視点を変更して複数の周辺画像を生成する。具体的には、出力部54は、車両1の前部または後部の視点から前方または後方の周辺及び車両1を見た周辺画像、及び、車両1の右方または左方の視点から周辺及び車両1を見た周辺画像を生成する。出力部54は、判定部52から第2切替指示を取得すると、物体の画像を含む表示画像であって、視点を変更した周辺画像を含む表示画像を自動で生成して表示装置8に表示させる。例えば、出力部54は、判定部52から第2切替指示を取得すると、車両1の前部または後部の視点から進行方向を見た周辺画像を含む表示画像を表示させている場合、表示中の表示画像の周辺画像の視点から変更した視点による周辺画像を含む表示画像を表示装置8に表示させる。具体的には、出力部54は、車両1が前方に移動中であって、車両1の前部の視点から前方を見た周辺画像を含む表示画像を表示している場合、当該視点を車両1の左方の視点に変更する。この場合、出力部54は、左方の視点から物体を含む車両1の周辺を見た周辺画像を含む表示画像を生成して、表示装置8に表示させる。ここで、出力部54は、判定部52から第2切替指示を取得して、視点を変更する場合、車両1の床下の画像を含む表示画像を表示させてもよい。また、出力部54は、予め設定された3次元のモデル画像を表示画像内の物体の位置に重畳させて表示させてもよい。
【0042】
記憶部32は、制御部30が実行するプログラム及びプログラムの実行に必要なパラメータ等を記憶する。例えば、記憶部32は、画像切替処理用のプログラムを記憶する。記憶部32は、画像切替処理用のプログラムの実行に必要な3次元のモデル画像、周辺画像を表示させるか否かを判定するための閾値車速、周辺画像の視点を切り替えるか否かを判定するための閾値距離、予め定められた条件の判定に用いられる閾値高さ、及び、車体2の底部の高さ等を記憶する。尚、記憶部32はネットワーク上に設けられた記憶装置(例えば、クラウド)等であってもよい。
【0043】
図5は、制御部30が実行する画像切替処理のフローチャートである。制御部30は、画像切替処理用のプログラムを読み込むことによって、判定部52及び出力部54として機能して、画像切替処理を実行する。
【0044】
図5に示すように、判定部52は、周辺画像を表示するか否かを判定する(S102)。例えば、判定部52は、車輪速センサ22から取得したセンサ値から算出した車両1の車速が閾値車速未満か否かによって周辺画像を表示するか否かを判定する。閾値車速の一例は、10km/hである。この場合、判定部52は、車速が閾値車速未満の場合、周辺画像を表示すると判定する。一方、判定部52は、車速が閾値車速以上の場合、周辺画像を表示しないと判定する。尚、判定部52は、操作入力部10を介して受け付けたユーザの操作指示等に基づいて、周辺画像を表示するか否かを判定してもよい。
【0045】
判定部52は、周辺画像を表示しないと判定した場合、待機状態となる(S102:No)。判定部52は、周辺画像を表示すると判定すると(S102:Yes)、第1切替指示を出力部54へ出力する。
【0046】
出力部54は、第1切替指示を取得すると、周辺画像を生成して、表示装置8に表示させる(S104)。例えば、出力部54は、撮像画像から歪みを削除する画像処理を実行した周辺画像のうち、進行方向(例えば、前方)を中心とする周辺画像を表示装置8に表示させる。
【0047】
判定部52は、進行方向に存在する物体までの距離が閾値距離より小さいか否かを判定する(S106)。例えば、判定部52は、測距部16aから取得した測距情報に基づいて、物体までの距離を算出する。尚、判定部52は、撮像画像から物体までの距離を算出してもよい。例えば、判定部52は、車両1が前方に進行している場合、撮像部15a、15bから撮像画像を取得する。判定部52は、撮像部15aの撮像画像に含まれる物体の画像と撮像部15bの撮像画像に含まれる物体の画像とから物体までの距離を算出する。判定部52は、算出した距離が閾値距離未満か否かを判定する。閾値距離は、物体が運転者の死角となる距離等に基づいて設定することが好ましい。例えば、閾値距離は、車体2のルーフの前端部(または後端部)と車体2の前端部(または後端部)とを結ぶ直線が地面と交差するまでの距離等である。判定部52は、当該距離が閾値距離より小さくないと判定すると(S106:No)、待機状態となる。尚、判定部52は、当該距離が閾値距離未満であっても、物体を撮像部15の撮像画像から認識して判定中(即ち、作動中)である旨を当該待機中に表示装置8に表示してもよい。
【0048】
判定部52は、算出した物体までの距離が閾値距離より小さいと判定すると(S106:Yes)、物体の高さが予め定められた条件を満たすか否かを判定する(S108)。例えば、判定部52は、車両1が前方に進行している場合、撮像部15a、15bから取得した撮像画像に含まれる物体の画像の大きさ、撮像部15a、15bの拡大・縮小率、及び、物体までの距離等に基づいて、物体の高さを算出する。判定部52は、算出した物体の高さが予め定められた条件を満たすか否かを判定する。本実施形態における予め定められた条件は、物体の高さが、閾値高さよりも低く、かつ、車体2の底部よりも高いである。当該条件を満たす物体の一例は、駐車場等に設置されている輪止め(または車輪止め)または縁石等である。
【0049】
物体の高さが、閾値高さよりも高く、または、車体2の底部よりも低い場合、判定部52は、物体の高さが当該条件を満たさないと判定して(S108:No)、表示画像の周辺画像の視点を変更することなく、表示中の表示画像の表示を継続して、画像切替処理を終了する。
【0050】
物体の高さが、閾値高さよりも低く、かつ、車体2の底部よりも高い場合、判定部52は、物体の高さが当該条件を満たすと判定して(S108:Yes)、第2切替指示を出力部54へ出力する。
【0051】
出力部54は、第2切替指示を取得すると、視点を変更した周辺画像を生成して、当該周辺画像を含む表示画像を生成する(S110)。
【0052】
図6は、視点変更した周辺画像を含む表示画像60の一例の図である。例えば、出力部54は、撮像部15eから取得した撮像画像から歪みの削除等の画像処理を実行した後、当該撮像画像の視点を側方(例えば、左方)に変換した周辺画像に変換する。尚、出力部54は、車両1の床下の画像を周辺画像に重畳させる場合、過去に撮像されてリングバッファ等の記憶部32に格納された過去画像を適用してもよい。出力部54は、図6に示すように、予め設定されて記憶部32に格納された車両1の画像である車両画像62を当該周辺画像の車両1の位置に重畳させる。この場合、出力部54は、物体と車輪3との距離感を乗員に認識させるために、車両1の車輪3を含む車両画像62を重畳させることが好ましい。更に、出力部54は、予め設定されて記憶部32に格納された物体の3次元のモデル画像64を周辺画像の物体の位置に重畳させる。物体のモデル画像は、物体の形状及び大きさ等に対応付けて記憶部32に複数格納されていることが好ましい。例えば、物体のモデル画像は、輪止め、縁石、及び、スピードブレーカ等の形状及び大きさに対応付けられていることが好ましい。この場合、出力部54は、撮像部15a、15bの撮像画像から特定した物体の形状及び大きさに関連付けられたモデル画像64を抽出して、周辺画像に重畳させる。出力部54は、モデル画像64の色を予め設定された色としてもよいが、物体の周辺の色と異なる色(例えば、補色または反対色)を選択してモデル画像64を着色してもよい。尚、出力部54は、車体2と接触するモデル画像64の領域のみ着色してもよい。また、出力部54は、色に代えてメッシュ等の模様をモデル画像64に付与してもよい。
【0053】
出力部54は、図6に示すような生成した表示画像60を表示装置8に表示させる(S112)。これにより、出力部54は、画像切替処理を終了する。
【0054】
上述したように、周辺監視装置50は、物体の高さが予め定められた条件を満たす場合、視点を変換した周辺画像を含む表示画像60を表示装置8に表示させている。これにより、周辺監視装置50は、車体2等によって進行方向側の撮像部15及び乗員の死角となった領域に存在する周辺の物体を乗員に容易に認識させることができる。また、予め定められた条件を、物体の高さが、閾値高さよりも高く、かつ、車体2の底部の高さよりも高いとすることにより、周辺監視装置50は、特に乗員の死角に入りやすい物体を乗員に容易に認識させることができる。
【0055】
周辺監視装置50は、視点を切り替えた周辺画像の物体の位置に予め設定された3次元のモデル画像64を重畳させるので、周辺画像に対して目立たせることができる。これにより、周辺監視装置50は、乗員に物体をより容易に認識させることができる。
【0056】
周辺監視装置50は、撮像部15によって物体までの距離を算出するとともに周辺画像を含む表示画像60を生成するので、構成を簡略化できる。更に、周辺監視装置50は、前方の同じ物体を撮影するステレオカメラとして機能する複数の撮像部15a、15bを有するので、超音波等を使用したソナー等によって検出できない低い物体等も検出して、当該物体の高さ及び物体までの距離を特定できる。これにより、周辺監視装置50は、物体が条件を満たすか否かをより正確に判定して、より適切な状況で周辺画像の視点を切り替えることができる。
【0057】
周辺監視装置50は、車両1の前部の視点から前方を見た周辺画像を含む表示画像を表示中に、当該視点を変更した左方の視点から見た周辺画像を含む表示画像60に切り替えるので、表示画像60の切り替わりによる違和感を低減できる。
【0058】
周辺監視装置50は、視点の変更によって、車両1の床下の画像及び周辺画像を含む表示画像60を表示させるので、乗員に床下の状態を知らせることができる。
【0059】
<第2実施形態>
上述の実施形態では、物体の高さが条件を満たした場合、出力部54は、視点を側方に変換した周辺画像を生成したが、これに限定されない。図7は、第2実施形態の表示画像70の一例を示す図である。
【0060】
第2実施形態では、判定部52が、物体の高さが予め定められた条件を満たすと判定すると、出力部54は、図7に示すように、視点を上方に変換した周辺画像を含む表示画像70を生成して表示装置8に表示させる。ここで、出力部54は、太線で囲むドット領域で示す車両1の進行方向側(例えば、前側)の車体2の車体画像72、及び、点線で示す車輪3の一部を示す車輪画像73を周辺画像に重畳させてもよい。この場合、出力部54は、車体画像72を透過させてもよい。更に、出力部54は、車両1によって物体が死角に存在する場合、車体画像72に物体のモデル画像74を重畳させてもよい。
【0061】
上述の実施形態の各構成の機能、接続関係、配置、及び、個数等は適宜変更してよい。
【0062】
上述の実施形態では、視点を変更して側方からの周辺画像を含む表示画像60、70を表示装置8の全体に表示させたが、出力部54は、当該周辺画像とともに、視点を変更していない周辺画像等の別の画像を合わせた表示画像を表示させてもよい。
【0063】
上述の実施形態では、物体が輪止めであり物体の高さが予め定められた条件を満たすか否かを判定する例を挙げたが、これに限定されない。例えば、判定部52は、物体情報(例えば、撮像画像)から特定した物体の形状が予め定められた条件を満たすか否かによって、周辺画像の視点を変更するか否かを判定するようにしてもよい。予め定められた条件は、例えば、物体の形状が予め記憶部32に記憶された形状であることである(第二の条件の一例)。この場合、物体は蓄電池に電力を非接触で給電する非接触給電システムの存在を知らせるマーカであってもよい。判定部52は、物体情報から特定した当該マーカの形状が予め定められた条件を満たす場合、周辺画像の視点を変更してよい。この場合、出力部54は、車両1の床下の画像を周辺画像の一部として表示画像を表示させてもよい。また、判定部52は、物体情報から特定した物体の高さ又は物体の形状が予め定められた条件を満たすか場合、周辺画像の視点を変更するようにしてもよい。
【0064】
上述の実施形態では、前方または後方の物体に対して視点を変更した周辺画像を表示する例を挙げたが、これに限定されない。例えば、車両1が右方または左方へと操舵されて進行している場合、進路上に存在する物体の高さが上述の条件を満たしている場合、物体の色を変更して強調したモデル画像とともに視点を変更した周辺画像(例えば、俯瞰画像)を表示してもよい。
【0065】
上述の実施形態で設定した予め定められた条件は適宜変更してよい。例えば、物体の高さが、予め定められた条件として閾値高さよりも低い場合(即ち、物体の高さが車体2の底部の高さより高くてもよい)、周辺画像の視点を変更するように構成してもよい。また、複数の条件を設定してもよい。例えば、上述の条件(以下、第1高さ条件と記載)に加えて、閾値高さよりも低く、かつ、バンパー等の車体2の底部よりも低いことを第2高さ条件としてもよい。この設定においては、物体の高さが第1高さ条件を満たす場合、出力部54は、当該第1高さ条件を満たす旨の第2切替指示を判定部52から取得して、物体が車体2(例えば、バンパー)に達する前に視点を変換した周辺画像を表示させる。この場合、出力部54は、バンパー等の車体2の端部と物体との距離に応じて、警告を音声で出力してもよい。一方、物体の高さが第2高さ条件を満たす場合、出力部54は、当該第2高さ条件を満たす旨の第3切替指示を判定部52から取得して、物体が車体2に達してかつ車輪3に達する前に視点を変換した周辺画像を表示させる。この場合、出力部54は、車輪3と物体との距離に応じて、警告を音声で出力してもよい。
【0066】
上述の実施形態では、物体が上方に突出している例を挙げたがこれに限定されない。例えば、物体が下がる段差であってもよい。この場合、判定部52は、段差の段の高さとして段差の凹み量が予め定められた条件を満たすか否かを判定して、当該条件を満たす場合、出力部54は、視点を変換した周辺画像(例えば、車両1の床下を含む俯瞰画像)とともに、段差を表示してもよい。出力部54は、段差の段の前後で色を変更してもよい。
【0067】
上述の実施形態では、周辺画像を含む表示画像から当該周辺画像の視点を変更した周辺画像を含む表示画像に切り替える例を挙げたがこれに限定されない。例えば、制御部30は、道案内用のナビゲーション画像から周辺画像の視点を撮像部15の視点から変更した図6及び図7に示すような表示画像を表示させてもよい。
【0068】
上述の実施形態では、撮像部15が生成した撮像画像を物体情報とし、当該物体情報に基づいて物体の高さを算出する例を示したがこれに限定されない。例えば、測距部16が物体までの距離を測距した測距情報及び測距した方向等を物体情報として出力し、判定部52は、当該物体情報に基づいて物体の高さを算出してもよい。この場合、測距部16は、生成部として機能する。
【0069】
上述の実施形態では、判定部52が複数の撮像部15から取得した複数の撮像画像から物体の高さを算出する例を挙げたが、これに限定されない。判定部52は1つの撮像部15から取得した1枚の撮像画像から物体の高さを算出してもよい。例えば、判定部52は撮像部15が設置されている高さ、撮像部15から取得した物体までの距離、撮像画像内における物体の大きさ、撮像部15のレンズの光軸の向き及び撮像部15のレンズの拡大率等によって、物体の高さを算出してよい。
【0070】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0071】
1…車両
2…車体
8…表示装置
15…撮像部
16…測距部
30…制御部
32…記憶部
50…周辺監視装置
60…表示画像
62…車両画像
64…モデル画像
70…表示画像
72…車体画像
73…車輪画像
74…モデル画像
図1
図2
図3
図4
図5
図6
図7