特許第6759899号(P6759899)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アイシン精機株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6759899
(24)【登録日】2020年9月7日
(45)【発行日】2020年9月23日
(54)【発明の名称】車両用画像処理装置
(51)【国際特許分類】
   H04N 7/18 20060101AFI20200910BHJP
   B60R 1/00 20060101ALI20200910BHJP
   G06T 1/00 20060101ALI20200910BHJP
【FI】
   H04N7/18 J
   B60R1/00 A
   G06T1/00 315
【請求項の数】5
【全頁数】22
(21)【出願番号】特願2016-175890(P2016-175890)
(22)【出願日】2016年9月8日
(65)【公開番号】特開2018-42148(P2018-42148A)
(43)【公開日】2018年3月15日
【審査請求日】2019年8月7日
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】アイシン精機株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】久保田 尚孝
(72)【発明者】
【氏名】丸岡 哲也
(72)【発明者】
【氏名】乾 陽司
(72)【発明者】
【氏名】平槙 崇
(72)【発明者】
【氏名】木村 修
(72)【発明者】
【氏名】大橋 いつ子
【審査官】 鈴木 隆夫
(56)【参考文献】
【文献】 国際公開第2016/075809(WO,A1)
【文献】 特開2002−166745(JP,A)
【文献】 特開2016−049868(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B60R 1/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
車両の傾きに対応する傾き情報及び前記車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に前記周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、
前記視点画像に前記傾き情報に対応する前記車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、
前記仮想投影面は、水平面に対向するように配置された底面と、前記車両の周囲の水平方向に対向するように配置された側面と、を有し、
前記底面は、前記車両の各車輪の接地面をそれぞれ含むように、あるいは、接地面と平行となるようにそれぞれ独立して傾けることが可能な複数の副底面を有する、
車両用画像処理装置。
【請求項2】
前記仮想投影面は、前記傾きがない状態の前記車両に対応づけて前記車両を取り囲むように前記車両の周囲に三次元的に配置されるように設定されており、
前記視点画像生成部は、前記傾き情報に基づいて、前記車両の傾きを相殺するように前記仮想投影面を設定する投影面設定部を備えた、
請求項1記載の車両用画像処理装置。
【請求項3】
前記投影面設定部は、前記仮想投影面が基準水平面に対して固定されているように設定する、
請求項2記載の車両用画像処理装置。
【請求項4】
車両の傾きに対応する傾き情報及び前記車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に前記周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、
前記視点画像に前記傾き情報に対応する前記車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、
前記車両全体のいずれかの方向への水平面に対する傾きが当該方向に対応する所定の傾き閾値を超えた場合にその旨を告知するための告知情報を前記出力画像に含める、
両用画像処理装置。
【請求項5】
前記告知情報は、前記自車両モデル画像の表示態様の変更、若しくは、コメントあるいはゲージ画像等の追加情報の表示としてなされる、
請求項4記載の車両用画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、車両用画像処理装置に関する。
【背景技術】
【0002】
従来、撮像画像を立体状に映した画像データを生成し、当該画像データを設定された視点から見た画像に変換して出力画像とする画像処理装置が、知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第5369465号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
この種の画像処理装置を車両に搭載し、車両周辺の風景を所定の視点から見た画像とし、当該車両のモデル画像も含めて表示する場合がある。
このような場合に、周囲画像を撮像する撮像装置は、当該車両に搭載されているため、車両が傾いているような状態においては、背景となる周囲画像が傾いて表示されるため、自車両の傾き状態が認識しづらいという不具合があった。
従って、出力画像に含まれる自車両の傾き状態が適切に反映され、より自車両の状態を認識しやすくなることが望まれる。
【課題を解決するための手段】
【0005】
実施形態の車両用画像処理装置は、車両の傾きに対応する傾き情報及び車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、視点画像に傾き情報に対応する車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、仮想投影面は、水平面に対向するように配置された底面と、車両の周囲の水平方向に対向するように配置された側面と、を有し、底面は、車両の各車輪の接地面をそれぞれ含むように、あるいは、接地面と平行となるようにそれぞれ独立して傾けることが可能な複数の副底面を有する
よって、本実施形態によれば、例えば、出力画像データに対応する出力画像において、車両の傾きを容易に把握して、確実な車両操作を行える。さらに走行している路面の状態も容易に把握できる。
【0006】
また、上記車両用画像処理装置では、仮想投影面は、傾きがない状態の車両に対応づけて車両を取り囲むように車両の周囲に三次元的に配置されるように設定されており、視点画像生成部は、傾き情報に基づいて、車両の傾きを相殺するように仮想投影面を設定する投影面設定部を備えている。
したがって、常に仮想投影面は、車両の傾きの影響を受けずに一定の向きを保持できるので、車両の傾きを容易に把握できる。
【0007】
また、上記車両用画像処理装置では、投影面設定部は、前記仮想投影面が基準水平面に対して固定されているように設定する。
したがって、常に仮想投影面は、水平面に対して一定の関係を有し、感覚的に車両の傾きを把握できる。
【0009】
また、車両の傾きに対応する傾き情報及び車両の周囲を撮像した周囲画像データに基づいて、予め配置位置が設定された仮想投影面に周囲画像データに対応する周囲画像を投影したと仮定した場合に所定の仮想視点から見た場合の視点画像を生成する視点画像生成部と、視点画像に前記傾き情報に対応する車両の傾きに応じた傾きを有する自車両モデル画像を重畳した出力画像を表示装置に表示させるための出力画像データを生成し出力する出力画像生成部と、を備え、車両全体のいずれかの方向への水平面に対する傾きが当該方向に対応する所定の傾き閾値を超えた場合にその旨を告知するための告知情報を前記出力画像に含める。
したがって、出力画像を視認するだけで、安全側への車両操作が行える。
【0010】
また、上記車両用画像処理装置では、告知情報は、自車両モデル画像の表示態様の変更、若しくは、コメントあるいはゲージ画像等の追加情報の表示としてなされる。
したがって、感覚的に確実に車両の傾きの現状を把握できる。
【図面の簡単な説明】
【0011】
図1図1は、車両に搭載された車載システムの概要構成ブロック図である。
図2図2は、撮像装置を構成する撮像部の配置例の説明図である。
図3図3は、ECUの機能ブロック図である。
図4図4は、第1実施形態のECUの動作処理フローチャートである。
図5図5は、仮想投影面の説明図である。
図6図6は、車両に対する仮想投影面の配置位置の説明図である。
図7図7は、撮像部の撮像範囲と仮想投影面との関係説明図である。
図8図8は、車両が傾いている場合の固定された仮想投影面と視点画像との関係説明図である。
図9図9は、出力画像に対応する車両の実際の状態の説明図である。
図10図10は、出力画像の一例の説明図である。
図11図11は、第2実施形態のECUの動作処理フローチャートである。
図12図12は、第3実施形態の説明図である。
図13図13は、第3実施形態の出力画像の説明図である。
図14図14は、第4実施形態の説明図である。
図15図15は、第5実施形態の第1の表示例の説明図である。
図16図16は、第5実施形態の第2の表示例の説明図である。
図17図17は、第6実施形態の説明図である。
図18図18は、第6実施形態の出力画像の説明図である。
図19図19は、第7実施形態の説明図である。
図20図20は、第7実施形態における出力画像の状態を説明する図である。
図21図21は、第8実施形態の出力画像の一例の説明図である。
図22図22は、第9実施形態の仮想投影面の平面図である。
図23図23は、仮想投影面と車両との関係説明図である。
図24図24は、第9実施形態の詳細説明図である。
【発明を実施するための形態】
【0012】
次に実施形態について図面を参照して説明する。
[1]第1実施形態
図1は、車両に搭載された車載システムの概要構成ブロック図である。
車載システム10は、大別すると、車両用画像処理装置として機能するとともに、車載システム10全体を制御するECU11と、当該車載システム10が搭載された車両周囲の画像を撮像する撮像装置12と、各種のモニタリング画面を表示するモニタ装置13と、各種操作入力を行う入力部14と、ECU11の制御下で車両の制御を行う車両制御システム30と、を備えている。
【0013】
上記構成において、ECU11は、図1に示すように、ECU11全体を制御し、各種演算を実行するMPU(Micro Processing Unit)11aと、制御プログラム及び各種データを不揮発的に記憶するROM11b(read only memory)と、処理中のデータ等を一時的に格納するRAM(Random Access Memory)11cと、各種データを更新可能に不揮発的に記憶し、ECU11の電源がオフされた場合にあってもデータを保持するフラッシュメモリ11dと、各種表示の制御を行い、入力された画像データに対する一般的な画像処理、モニタ装置13で表示するための画像データのための一般的な画像処理等を実行する表示制御部11eと、各種音声の制御を行い、モニタ装置13において出力される音声データの処理を実行する音声制御部11fと、を有している。
【0014】
撮像装置12は、図1の例の場合、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するディジタルカメラとして構成された四つの撮像部12F、12R、12L、12Bを備えている。
【0015】
図2は、撮像装置を構成する撮像部の配置例の説明図である。
撮像装置12において、図2に示すように、撮像部12Fは、車両40の前方のフロントグリル41に配置され、車両40の前方向(撮像範囲SF)を撮像し、撮像データをECU11に出力する。また、撮像部12Rは、車両の右側のサイドミラー(ドアミラー)42Rに収納され、車両40の右方向(撮像範囲SR)を撮像し、撮像データをECU11に出力する。また、撮像部12Lは、車両40の左側のサイドミラー(ドアミラー)42Lに収納され、車両40の左方向(撮像範囲SL)を撮像し、撮像データをECU11に出力する。さらに撮像部12Bは、車両40の後方のリアハッチ43などに配置され、車両の後方(撮像範囲SB)を撮像し、撮像データをECU11に出力する。
この場合において、撮像部12F、12R、12L、12Bは、それぞれ所定のフレームレートで画像データ、すなわち動画データを出力することが可能となっている。
【0016】
上記構成において、撮像部12F、12R、12L、12Bは、例えば、広角レンズまたは魚眼レンズを備えたディジタルカメラとして構成されている。撮像装置12は、車両40の周辺の撮像画像のデータを取得する。
本実施形態においては、撮像装置12は、四つの撮像部12F、12R、12L、12Bを備えているが、必要に応じて三つ以下でも良いし、五つ以上でもよい。また、複数の撮像部12F、12R、12L、12Bのそれぞれの撮像範囲SF、SR、SL、SBは同一である必要は無く、撮像装置12において必要な撮像範囲が確保されれば、異なっていてもよい。
【0017】
モニタ装置13は、LCD(Liquid Crystal Display)として構成された表示部13aと、タッチパネルとして構成された入力部13bと、アンプ(増幅回路)及びスピーカを有する音声出力装置13cと、を備える。
【0018】
本実施形態においては、表示部13aの表示画面を覆うように透明な入力部13bが配置されており、表示部13a及び入力部13b全体としてタッチパネルディスプレイを構成している。
【0019】
従って、ユーザは、表示部13aの表示画面に表示される画像に対応した位置において、手指等で入力部13bを触れたり押したり動かしたりして(タップ、フリック、スワイプなど)操作することで、入力を実行することができる。
【0020】
そして、これら表示部13aや、入力部13b、音声出力装置13c等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置13に設けられる。モニタ装置13は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を設けるようにすることも可能である。
モニタ装置13は、ナビゲーションシステムやオーディオシステムと兼用される。
【0021】
車両制御システム30は、例えば、CAN(controller area network)規格に則った車内ネットワーク25を備え、車内ネットワーク25を介してECU11に接続されている。
【0022】
さらに車両制御システム30は、ジャイロセンサ、加速度センサ、ソナーあるいはレーダとしてそれぞれ構成された複数の非接触計測部15a〜15dを備えた非接触計測装置15と、ステアリングホイールの舵角を検出する舵角センサ16と、後輪の舵角を検出する舵角センサ17aが接続され、後輪の操舵制御を行う後輪操舵システム17と、GPS衛星からの測位用電波を受信して緯度、経度、高さ等の情報を出力するGPS18と、車輪の回転量あるいは単位時間当たりの回転数を検出する車輪速センサ19と、ブレーキセンサ20aが接続されブレーキ制御を行うブレーキシステム20と、アクセルペダルの踏み込み具合(アクセルペダル操作量)を検出するアクセルセンサ21と、前輪のトルクを検出するトルクセンサ22aが接続され、前輪の操舵制御を行う前輪操舵システム22と、シフト切替状態を検出するシフトセンサ23と、方向指示ランプの制御を行う方向指示器24と、を備えている。
【0023】
非接触計測装置15は、上述したように、ジャイロセンサ、加速度センサ(例えば、3軸加速度センサ)あるいは超音波や電波を発射してその反射波を捉えるソナーやレーダ等としてそれぞれ構成された複数の非接触計測部15a〜15dを備えており、ECU11は、非接触計測装置15の検出結果により、車両40の方位、車両40の加速度、車両40の傾き、車両40の周囲に位置された障害物の有無や障害物までの距離を測定するようになっている。すなわち、非接触計測装置15は、方位検出機能、加速度検出機能、傾き検出機能、物体検出機能、測距機能等を実現している。
【0024】
舵角センサ16は、上述したように、ステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。ここで、ステアリングホイールの操舵量は、例えば、回転角度として検出される。
後輪操舵システム17は、舵角センサ17aの出力に応じて、後輪の操舵を行う。
ここで、舵角センサ17aは、上述したように、後輪の操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。ここで、後輪の操舵量は、例えば、回転角度として検出され、後輪操舵システム17に出力される。
【0025】
GPS18は、GPS衛星から受信した測位用電波に基づいて、緯度、経度、高さ等の車両40の現在位置や、進行方向、進行速度、角速度等を取得することができる。
【0026】
車輪速センサ19は、上述したように、車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ECU11は、車輪速センサ19から取得したデータに基づいて車両40の移動量などを演算することができる。なお、車輪速センサ19は、ブレーキシステム20に設けられる場合もある。
【0027】
ブレーキシステム20は、ブレーキのロックを抑制するABS(Anti-lock Brake System)、コーナリング時の車両40の横滑りを抑制する横滑り防止装置(ESC:Electronic Stability Control)、ブレーキ力を増強する電動ブレーキシステム、BBW(Brake By Wire)等として機能する。ブレーキシステム20は、図示しないアクチュエータを介して、車輪に制動力を与え、車両40を減速する。ブレーキセンサ20aは、例えば、図示しないブレーキペダルの操作量を検出するセンサである。
また、アクセルセンサ21は、例えば、図示しないアクセルキペダルの操作量を検出するセンサである。
【0028】
トルクセンサ22aは、運転者がステアリングホイールを含む操舵部に与えるトルクを検出する。
前輪操舵システム22は、トルクセンサ22aの出力及びステアリングホイールの操作量に応じて、前輪の操舵を行う。
シフトセンサ23は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。ここで、変速操作部の可動部としては、例えば、レバーや、アーム、ボタン等が挙げられる。
方向指示器24は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。
【0029】
以上の説明においては、ECU11は、MPU11a、ROM11b、RAM11c等を別に備えていたが、同一パッケージ内に集積することも可能である。
また、ECU11は、MPU11aに代えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等を用いる構成とすることも可能である。
【0030】
さらに、以上の説明では、ECU11は、フラッシュメモリ11dを備える構成として説明したが、フラッシュメモリ11dに替えてSSD(solid state drive)あるいはHDD(Hard Disk Drive)が設けられてもよい。
さらにまた、フラッシュメモリ11d、SSDあるいはHDDは、ECU11とは別に設けられてもよい。
ECU11は、出力画像が表示されるよう、表示部13aを制御する。ECU11は、画像処理装置あるいは表示制御部の一例である。
【0031】
図3は、ECUの機能ブロック図である。
ECU11は、ハードウェアとソフトウェア(プログラム)との協働によって、車両用画像処理装置として機能している。
ECU11は、大別すると、画像処理部60及び記憶部70として機能する。
【0032】
画像処理部60は、例えば、主としてMPU11aによって実現され、MPU11aは、画像処理部60の各部、すなわち、画像データ取得部61、画像合成部62、仮想投影画像データ生成部63、視点画像データ生成部64、車両傾き検出部65、出力画像データ生成部66、データ取得部67及び可変設定部68等として機能する。
【0033】
この場合において、画像処理部60で実行される画像処理の少なくとも一部を、表示制御部11eで実行するようにしてもよい。また、画像処理部60の各部は、プログラムのモジュールとして構成してもよいし、少なくとも一部はハードウェアとして構成してもよい。
【0034】
上記構成において、データ取得部67は、撮像画像以外のデータ、例えば、入力部13b,14によって入力されたデータや、センサ等の検出結果のデータを取得する。
【0035】
また、可変設定部68は、車両の状況に応じて仮想投影面Spを変更可能とし、例えば、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすいような仮想投影面Spを用いるようにすることができる。ここで、車両の状況としては、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等が挙げられる。
車両の状況に応じて上記仮想投影面を変更可能である。よって、例えば、出力画像において、車両の状況に応じたより好都合な表示形態が得られやすい。車両の状況は、例えば、車両の速度や、車両の傾き、車両と周辺の物体との距離等である。
【0036】
一方、記憶部70は、ROM11b、RAM11c及びフラッシュメモリ11dによって実現される。
【0037】
次に画像処理部60及び記憶部70として機能するECU11の動作について説明する。
図4は、第1実施形態のECUの動作処理フローチャートである。
まず、車両傾き検出部65として機能するECU11は、非接触計測装置15の計測結果に基づいて車両40の傾きを検出する(ステップS11)。
【0038】
具体的には、非接触計測装置15を構成している複数の非接触計測部15a〜15dのうち、例えば、ジャイロセンサあるいは加速度センサを用いて、方位検出機能あるいは加速度検出機能を利用して車両40の前後方向、左右方向あるいは上下方向の傾きを検出することとなる。
【0039】
次に画像データ取得部61は、複数の撮像部12F、12R、12L、12Bから撮像された複数の撮像画像に対応する複数の撮像画像データを取得する(ステップS12)。
【0040】
次に、画像合成部62として機能するECU11は、画像データ取得部61が取得した複数の撮像画像データに対応する複数の画像、すなわち、複数の撮像部12F、12R、12L、12Bで撮像された複数の撮像画像の境界部分を出来る限り破綻のないように合成することで繋ぎ、一つの撮像画像のデータである合成撮像画像データを生成する(ステップS13)。
【0041】
仮想投影画像データ生成部63として機能するECU11は、合成撮像画像データを、車両40の周囲を取り囲む後述する仮想投影面Sp(図5参照)に投影したと仮定した場合に得られる仮想投影画像データを生成する(ステップS14)。
【0042】
図5は、仮想投影面の説明図である。
図5(a)は、仮想投影面Spの平面図、図5(b)は、仮想投影面Spの側面図、図5(c)は、仮想投影面SpのA−A断端面図である。
図5の例では、仮想投影面Spは、水平面Grに平行な底面Spgと、底面Spgすなわち水平面Grから立ち上がった側面Spsと、を有している。
【0043】
第1実施形態においては、仮想投影面Spは、車両40と一体に設定されており、車両40が前後方向、左右方向及び上下方向のいずれにも傾きがない理想的な場合に、底面Spgは、水平面Grに含まれる平面となっている。換言すれば、第1実施形態においては、仮想投影面Spは、後に詳述するように車両40の傾きに伴って配置位置が変更されるものである。
【0044】
底面Spgは、略円形の平坦面であり、側面Spsは、底面Spgの周と接した曲面である。
【0045】
図6は、車両に対する仮想投影面の配置位置の説明図である。
この場合において車両40の中心GcをZ軸が通るとした場合に、Z軸を含む平面と交差する側面Spsの断面の形状は、図6に示すように、例えば、楕円の周状あるいは放物線状とされている。ここで、側面Spsは、底面Spgの周に沿って、車両40の周囲を取り囲んでいる。
【0046】
図7は、撮像部の撮像範囲と仮想投影面との関係説明図である。
図7においては、説明の簡略化のため、撮像部12Rを例として説明する。
撮像部12Rの撮像可能範囲は、例えば、図7に示すように、上下方向で方向DR1〜DR2の間であり、その間に対応する画像が仮想投影面Spに投影されるものと仮定される。
【0047】
そして、仮想投影画像データ生成部63は、撮像部12F、12R、12L、12Bがそれぞれ出力した撮像画像データIcF、IcR、IcL、IcB(図1参照)に対応する画像GIcF、GIcR、GIcL、GIcBを、仮想投影面Spに投影したと仮定した場合に得られるであろう仮想投影画像GSpに対応する仮想投影画像データIpを算出する。すなわち、撮像画像データIcF、IcR、IcL、IcBに対応する画像を構成している画素の座標変換を行って仮想投影画像データIpとする。
【0048】
この場合において、4つの撮像部12F、12R、12L、12Bにおいて得られるそれぞれの撮像画像データIcF、IcR、IcL、IcBに対応する4枚の画像GIcF、GIcR、GIcL、GIcBには、図2で示した様に重複部分が存在するので、仮想投影画像データ生成部63は、当該重複部分において出来る限り画像の歪みが少なくなるように画像合成を行って、仮想投影画像データIpを得ることとなる。
【0049】
図8は、車両が傾いている場合の固定された仮想投影面と視点画像との関係説明図である。
ところで、車両40が傾いている場合、仮想投影面Spも傾いて、図8に示す仮想投影面Sp1のような状態となる。この傾いた仮想投影面Sp1をそのままの状態で取り扱うと、仮想投影面Sp1には、車両40周囲の相対的に傾いた状態の画像が投影されることとなり車両40の状態(姿勢)を客観的に見ることはできなくなってしまう。
【0050】
そこで、本第1実施形態では、車両の傾きに基づいて仮想投影画像データの座標変換を行う(ステップS15)。
【0051】
すなわち、図8に示すように、岩等の障害物Baにより車両40が傾いた場合には、仮想投影面Spも車両と一緒に傾いて仮想投影面Sp1のような状態となっているので、座標変換を行うことで、実効的に、仮想投影面Sp1を車両40の傾きを相殺する方向に傾けて底面Spgが水平面Grと等しくなるようにする。
【0052】
より具体的には、例えば、方向DR1に対応する仮想投影面Sp1上の座標を座標変換C1により仮想投影面Sp上の座標に変換し、方向DR2に対応する仮想投影面Sp1上の座標を座標変換C2により仮想投影面Sp上の座標に変換する。
この結果、車両40が傾いていても仮想投影面Spの底面Spgが水平面Grと等しくなり、水平面Grを基準とした仮想投影画像GIpを得ることができる。
【0053】
次に視点画像データ生成部64は、仮想投影画像データIpに基づいて仮想投影面Spに投影された仮想投影画像GIpを、所定の仮想視点Epから見た視点画像GIbに対応する視点画像データIbを生成する(ステップS16)。
【0054】
このとき、視点画像データ生成部64は、ステップS11において車両傾き検出部65が取得した車両の傾きの量に基づいて、図8に示すように、仮想投影面Spに投影された仮想投影画像GIpを、所定の仮想視点Epから見た視点画像GIbに対応する視点画像データIbに変換する。この場合において、仮想視点Epは、ユーザが任意に設定可能である。
【0055】
例えば、図8の例の場合には、仮想視点Epは、車両40の左方向かつ車両40の扉の中心の高さで、車両40から適宜離間した位置に設定されている。すなわち、第3者が車両40の左側方の車外から車両40の走行状態を観察したような視点画像が得られることとなる。
【0056】
続いて出力画像データ生成部66は、視点画像データIbに基づいて、出力画像データoutを生成する(ステップS17)。
【0057】
図9は、出力画像に対応する車両の実際の状態の説明図である。
図10は、出力画像の一例の説明図である。
【0058】
図9に示したように、車両40の前輪が岩等の障害物Baに乗り上げている場合には、車両40と一体に設定されている仮想投影面Sp1は、車両40とともに水平面Grに対して回転した状態にあるが、出力画像データの生成に実際に必要な仮想投影面Spは、水平面Grに底面Spgが含まれる状態となっている。
【0059】
そして、図10に示すように、出力画像Goutには、背景画像として樹木、地面GND等を含む視点画像GIbが表示され、背景画像である視点画像GIbの手前には、車両40の状態(傾き状態)を表示するための車両モデル画像40Mが水平面Grに対して傾いた状態で表示されている。
【0060】
したがって、本第1実施形態によれば、図10に示すような出力画像Goutが得られ表示がなされるので、ユーザは、車両40の外部から傾きがない状態で見た背景上に自車両である車両40の車両モデル画像40Mが実際の傾きを反映した状態で表示されていることにより、自車両である車両40の傾きを直感的に把握することができ、その後の運転操作に容易に反映することが可能となる。
【0061】
[2]第2実施形態
上記第1実施形態においては、仮想投影面Spが車両40が傾く場合には、一体となって傾く場合のものであったが、本第2実施形態は、仮想投影面Spが車両40の傾きの影響を受けることなく(水平面に)固定とした場合の実施形態である。
図11は、第2実施形態のECUの動作処理フローチャートである。
まず、車両傾き検出部65として機能するECU11は、非接触計測装置15の計測結果に基づいて車両40の傾きを検出する(ステップS21)。
【0062】
次に画像データ取得部61として機能するECU11は、複数の撮像部12F、12R、12L、12Bから撮像された複数の撮像画像に対応する複数の撮像画像データを取得し(ステップS22)、画像合成部62として機能するECU11は、画像データ取得部31が取得した複数の撮像画像データに対応する複数の画像、すなわち、複数の撮像部12F、12R、12L、12Bで撮像された複数の撮像画像の境界部分を出来る限り破綻のないように合成することで繋ぎ、一つの撮像画像のデータである合成撮像画像データを生成する(ステップS23)。
【0063】
さらに仮想投影画像データ生成部63として機能するECU11は、合成撮像画像データを、車両40の周囲を取り囲む仮想投影面に投影したと仮定した場合に得られる仮想投影画像データを生成する(ステップS24)。このとき、仮想投影画像データ生成部63は、ステップS21において車両傾き検出部65が取得した車両40の傾きの量をキャンセルするように、合成撮像画像データを、車両40の周囲を取り囲む仮想投影面に投影したものと想定する。
【0064】
次に視点画像データ生成部64は、車両40の傾きの量がキャンセルされた状態の仮想投影画像データIpに基づいて仮想投影面Spに投影された仮想投影画像GIpを、所定の仮想視点Epから見た視点画像GIbに対応する視点画像データIbを生成する(ステップS25)。
【0065】
続いて出力画像データ生成部66は、視点画像データIbに基づいて、図10に示した場合と同様に、背景画像として視点画像GIbが表示され、背景画像である視点画像GIbの手前には、車両40の状態(傾き状態)を表示するための車両モデル画像40Mが水平面Grに対して傾いた状態で表示された出力画像Goutに対応する出力画像データoutを生成する。
【0066】
したがって、本第2実施形態によれば、仮想投影画像データの生成時に車両40の傾きをキャンセルして、水平面に固定とされた仮想投影面Spに仮想投影画像を投影したものと仮想的に取り扱え、第1実施形態と同様に、得られる出力画像Goutに基づいて、自車両である車両40の傾きを直感的に把握することができ、その後の運転操作に容易に反映することが可能となる。
【0067】
[3]第3実施形態
上記各実施形態において、撮像部12F、12R、12L、12Bは、車両40の下面に対向する路面(道路等)を撮像することはできない。すなわち、実際に車両40が走行している路面についての情報を得ることはできなかった。
【0068】
しかしながら、ほぼまっすぐに走行しているような状態であれば、現在走行している路面は、所定時間前に撮像部12Fにより撮像されているはずである。
【0069】
同様に、車両40において、右方向に曲がった場合には、現在走行している路面は、所定時間前に撮像部12Rにより撮像されており、左方向に曲がった場合には、現在走行している路面は、所定時間前に撮像部12Lにより撮像されており、バックした場合には、現在走行している路面は、所定時間前に撮像部12Bにより撮像されているはずである。
従って、現在走行している路面を撮像していた過去の撮像データに基づいて、現在走行している路面についても表示を行えることとなる。
【0070】
図12は、第3実施形態の説明図である。
図12において、車両40は、路面(道路)RD上を図12上部に示す位置を走行しており、撮像部12Fの当該位置における撮像画像は、画像GIcFとなっている。
【0071】
これに対し、直前においては、車両40は、車両40Pの位置を走行しており、撮像部12Fの当該位置における撮像画像は、路面RDpを含む画像GIcFとなっていた。
この車両40Pの位置を走行していたときに得られる画像GIcFPは、障害物Baを含む車両40が走行している路面の画像となっている。
そこで、本第3実施形態においては、仮想投影面Spの底面Spgを含む所定の領域に投影する画像として、車両40Pの位置を走行していたときに得られる画像GIcFPを用いて車両40が現在走行している場所で撮像した画像と合成することによって、現在の走行状態を表示するようにしている。
【0072】
図13は、第3実施形態の出力画像の説明図である。
出力画像Gout1は、仮想視点Epを車両40の後方に設定した場合のものであり、車両40の前方の画像については、図12に示した車両40の位置を走行していたときに得られる画像GIcFを用いた視点画像GIbを用い、車両40の下面に対向する路面(道路等)についての画像は、図12に示した車両40Pの位置を走行していたときに得られる路面RDpを含む画像GIcFPを用いた視点画像GIbPとなっている。
【0073】
以上の説明のように、本第3実施形態によれば、現在の走行路面の状態を含む出力画像を得ることができ、実際に車両40が走行している状態を確実に把握することができる。
【0074】
[4]第4実施形態
図14は、第4実施形態の説明図である。
図14(a)は、車両40が左右方向に角度θ1だけ傾いた状態で走行している場合の車両40の後方に仮想視点Epを設定した場合の出力画像Gout11を示している。
【0075】
この場合において、角度θ1は、車両の横転、横滑りなどの可能性が高くなると想定される所定の閾値角度θthよりも小さくなっており(θ1<θth)、出力画像Gout11には、車両40の後方の仮想視点Epからの視点画像GIb上に角度θ1だけ傾いた車両モデル画像40Mが表示されているだけである。
【0076】
これに対し、図14(b)は、車両40が左右方向に角度θ2(>θth)だけ傾いた状態で走行している場合の車両40の後方に仮想視点Epを設定した場合の出力画像Gout12を示している。
【0077】
出力画像Gout12には、車両40の後方の仮想視点Epからの視点画像GIb上に角度θ2だけ傾いた車両モデル画像40Mが表示されるとともに、車両40が閾値角度θthよりも傾いた場合に、ユーザに車両40の傾きが大きくなっている旨の注意喚起を促すとともに、傾き状態をより視覚的に表現するためのゲージ画像GG及び傾き状態を視覚的に強調して表示するゲージインデックスGIが表示されている。
従って、本第4実施形態によれば、車両40の傾き状態を客観的に判断する情報を提供することができる。
【0078】
図14の例においては、ゲージ画像GGには、傾きの数値目盛などは表示していないが、数値目盛を表示したり、現在の傾き角度をピッチ角度、ロール角度、ヨー角度などとして数値で表示するようにしたり構成することも可能である。
【0079】
[5]第5実施形態
上記各実施形態においては、車両モデル画像40Mは、車両40の傾きを視覚的に表示するために表示されており、その表示態様は、車両40の傾き状態に拘わらず一定であった。
したがって、必ずしも直感的に車両の傾き状態を把握できるものとはなっていなかった。
【0080】
図15は、第5実施形態の第1の表示例の説明図である。
図15は、車両が登坂中の状態において、車両40の右側方に仮想視点Epを設定した場合の車両モデル画像40Mの表示例である。
【0081】
より詳細には、図15の左部分に示すように、車両40の傾き角度θが第1の閾値角度θth1未満である場合には、車両モデル画像40Mは、例えば、傾き角度θが水平に近い状態であることを示す白色で示される。
【0082】
また、図15の中央部分に示すように、車両40の傾き角度θが第1の閾値角度θth1を超え、第2の閾値角度θth2未満である場合には、車両モデル画像40Mは、車両がやや傾いている状態であることを示すとともに、ユーザに注意を促すために橙色で示される。
【0083】
さらに、図15の右部分に示すように、車両40の傾き角度θが第2の閾値角度θth2(>θth1)を超えている場合には、車両モデル画像40Mは、車両の傾きが非常に大きくなっている状態であることを示すとともに、ユーザにさらなる注意を促すために赤色で示される。
【0084】
図16は、第5実施形態の第2の表示例の説明図である。
図16は、車両40がバンクのある路面を走行中の状態において、車両40の前方に仮想視点Epを設定した場合の車両モデル画像40Mの表示例である。
【0085】
より詳細には、図16の左部分に示すように、車両40がほぼ水平状態で走行しており、左右方向の傾き角度θが第1の閾値角度θth11未満である場合には、車両モデル画像40Mは、例えば、傾き角度θが水平に近い状態であることを示す白色で示される。
【0086】
また、図16の中央部分に示すように、車両40の一方の車輪、すなわち、左側の車輪がバンクを走行しているような状態で、左右傾き角度θ1が第1の閾値角度θth11を超え、第2の閾値角度θth12未満である場合には、車両モデル画像40Mは、車両40がやや左右方向に傾いている状態であることを示すとともに、ユーザに注意を促すために橙色で示される。
【0087】
さらに、図16の右部分に示すように、車両40が完全にバンクを走行しており、車両40の左右方向の傾き角度θ1が第2の閾値角度θth12(>θth11)を超えている場合には、車両モデル画像40Mは、車両40の傾きが非常に大きくなっている状態であることを示すとともに、ユーザにさらなる注意を促すために赤色で示される。
【0088】
これらの場合において、車両モデル画像40Mの表示色は、適宜設定可能であり、ユーザが所望の色を設定するようにすることも可能である。
また、色を変更するばかりで無く、例えば、車両の傾きが非常に大きくなっている状態においては、車両モデル画像40Mを点滅表示としたり、点滅速度を変更したりするような表示態様の変更も可能である。
【0089】
[6]第6実施形態
図17は、第6実施形態の説明図である。
本第6実施形態は、車両40の傾きの表示に加えて、あらかじめ設定した基準高度からの現在の車両40の相対高度を出力画像に表示する場合の実施形態である。
図17に示すように、車両40Rの高度にいたときに基準高度を設定した場合、現在の車両40の相対高度が図17に示すような状態であったものとする。
【0090】
図18は、第6実施形態の出力画像の説明図である。
出力画像Gout21には、背景画像として視点画像GIbが表示され、背景画像である視点画像GIbの手前には、車両40の状態(傾き状態)を表示するための車両モデル画像40Mが水平面Grに対して傾いた状態で表示されている。
【0091】
さらに出力画像Gout21の左側部には、実際の車両40の相対高度を視覚的に表示するための相対高度表示インジケータAINDが表示されており、実際の車両40の相対高度に相当する位置に車両アイコン40Iが表示されている。
従って、ユーザは、自車両40が設定した基準高度に対する現在の相対高度(例えば、登坂高度差)を視覚的に容易に把握することができる。
【0092】
[7]第7実施形態
図19は、第7実施形態の説明図である。
本第7実施形態は、ある時間前に坂SLPを上ろうとしていた車両40Pで示す位置にいた車両40が、坂SLPを登り切った頂上部SLPTに車両40の前輪TFが到達した状態でユーザにその旨を告知するための実施形態である。
【0093】
一般的に、車両40が坂SLPを上っている状態において、前輪TFが頂上部SLPTに到達した場合には、一旦車両40を停車状態とした方が、そのまま上り続けるよりも前輪TFのグリップ力を確保することが可能となり、登坂を確実に完了することができる。
そこで、本第7実施形態は、坂SLPを登り切った頂上部SLPTに車両40の前輪TFが到達した状態を告知するのである。
【0094】
図20は、第7実施形態における出力画像の状態を説明する図である。
図20(a)は、車両40が車両40Pの位置にいた場合に、車両40の後方に仮想視点Epを設定した場合の出力画像Gout31である。
【0095】
図20(a)に示すように、車両40が坂SLPを登り切っていない状態では、路面RDは、途中で途切れた状態となっている。従って、ECU11は、車両40の傾きが登坂中である可能性が高い状態において、出力画像Gout31の背景画像GIbあるいは非接触計測部15a〜15dを構成しているソナーなどの距離センサを用いて路面RDまでの距離を測定し、路面RDが途中でとぎれている場合には、登坂中であると判別する。
【0096】
そして、車両40が坂SLPを登り切った場合には、図19に示すように、撮像部12Fの撮像範囲は頂上部SLPTを含むこととなり、図20(b)に示すように、出力画像Gout32に示すように、路面RDがある程度連続した状態となるので、ECU11は、出力画像Gout32の背景画像GIbあるいは非接触計測部15a〜15dを構成しているソナーなどの距離センサを用いて検出し、前輪TFが頂上部SLPTに到達したので、一旦車両40を停車状態とすべき旨のコメントCMを表示する。
【0097】
以上の説明のように、本第7実施形態によれば、登坂時に車両40の傾きおよび路面RDとの関係に基づいて、前輪TFが頂上部SLPTに到達したので、一旦車両40を停車状態とすべき旨のコメントCMを表示して、ユーザに告知するので、前輪TFのグリップ力を確保して確実に登坂を完了させることができる。
【0098】
この場合において、ブザーなどの告知音、告知音声メッセージなどの告知音声などにより表示に代えて、あるいは、表示に加えてユーザに注意を促すように構成することも可能である。
以上の説明のように、第7実施形態によれば、前輪TFが頂上部SLPTに到達した場合に、より確実に前輪TFのグリップ力を確保して登坂を完了させることができる。
【0099】
[8]第8実施形態
本第8実施形態は、車両40の傾きを検出する加速度センサ(3軸加速度センサの一部あるいは全部)が故障した場合の実施形態である。
【0100】
図21は、第8実施形態の出力画像の一例の説明図である。
この場合には、当該故障した加速度センサの出力を0として扱うとともに、出力画像GoutにエラーコメントECを表示してユーザに告知する。
【0101】
本第8実施形態によれば、加速度センサの故障によるECU11における演算結果があり得ない状態となるのを防止できるとともに、ユーザに出力画像Goutにおける表示が正しくない旨を確実に告知することができる。
【0102】
[9]第9実施形態
上記各実施形態においては、仮想投影面Spを構成している底面Spgは単なる平面として扱っていたが、本第9実施形態は、車両40のタイヤ毎に底面を割り当ててより実際の路面状態に近い表示を行うための実施形態である。
【0103】
図22は、第9実施形態の仮想投影面の平面図である。
図22の場合、図5の場合と異なり、仮想投影面Spは、タイヤ毎に割り当てられた4つの副底面SpgRF、SpgRR、SpgLF、SpgLRを含む底面Spgと、底面Spgすなわち水平面Grから立ち上がった側面Spsと、を有している。
【0104】
図23は、仮想投影面と車両との関係説明図である。
図23に示すように、仮想投影面Spの副底面SpgRFは車両40の右前輪TRFに対応し、副底面SpgRRは車両40の右後輪TRRに対応し、副底面SpgLFは車両40の左前輪TLFに対応し、副底面SpgLRは車両40の左後輪TLRに対応している。
【0105】
図24は、第9実施形態の詳細説明図である。
本第9実施形態においては、右前輪TRF、右後輪TRR、左前輪TLF及び左後輪TLRのそれぞれには、対応するタイヤ(車輪)の圧力分布(もしくは形状変化)を検出するための左右一対のセンサSS1及びセンサSS2が配置されている。
【0106】
この場合において、各センサSS1、SS2は、ECU11と通信を行うための無線通信機能及び右前輪TRF内、右後輪TRR内、左前輪TLF内あるいは左後輪TLR内で発電を行い対応するセンサSS1、SS2に電力を供給する電源機能を有している。
【0107】
そして、ECU11は、センサSS1、SS2からの通信に基づいて右前輪TRF、右後輪TRR、左前輪TLF及び左後輪TLRのそれぞれで検出された接地面(図24では、接地面CS1及び接地面CS2)に応じて、タイヤ毎に割り当てられた仮想投影面Spの底面Spgを構成するとともに、独立して傾けることが可能な4つの副底面SpgRF、SpgRR、SpgLF、SpgLRについてそれぞれのタイヤの接地面を含むように、若しくは、タイヤの接地面と平行となるように傾けられた副底面SpgRF、SpgRR、SpgLF、SpgLRを用いた出力画像を生成するようになっている。なお、図24において、副底面SpgLF0は、傾きが無い場合の副底面SpgLFに相当している。
【0108】
したがって、第9実施形態によれば、実際に車両40が走行している路面の接地状態に応じた出力画面を構成することができ、ユーザはより正確に車両40の走行状態を把握できることとなる。
【0109】
[10]実施形態の効果
以上の説明のように、各実施形態によれば、車両40の傾きを出力画像で視覚的に容易に把握でき、ユーザは車両40の傾きに基づいて必要な操作を確実に行うことが可能となる。
【0110】
[11]実施形態の変形例
以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック(構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、色、パターン等)は、適宜に変更して実施することができる。
【0111】
また、以上の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。
【0112】
以上の説明において仮想投影面Spの形状については、様々な態様が採用可能である。
例えば、車両40の速度が第一の速度である場合にあっては、車両40の遠方に該当する箇所が急峻に立ち上がる仮想投影面Spを設定し、車両40の速度が第1の速度よりも低い第2の速度である場合にあっては、車両40の近傍から車両40の遠方にかけて緩やかに立ち上がる仮想投影面を用いたり、車両40の近傍に該当する箇所が急峻に立ち上がる仮想投影面を用いたりするように構成することも可能である。
【0113】
また、出力画像(表示画像)は、複数の表示装置で表示されてもよいし、ナビゲーション装置等とは別の表示装置で表示されてもよい。表示装置は、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。
【0114】
また、仮想投影面としては、種々の形状のものが設定される。
例えば、仮想投影面Spの側面Spsは曲面であってもよいし、仮想投影面Spの側面Spsと底面Spgとが一連の曲面であってもよい。
【符号の説明】
【0115】
10…車載システム、11…ECU、11a…MPU、11b…ROM、11d…フラッシュメモリ、11e…表示制御部、11f…音声制御部、12…撮像装置、12B、12F、12L、12R…撮像部、13…モニタ装置、13a…表示部、13b…入力部、13c…音声出力装置、14…入力部、15…非接触計測装置、15a〜15d…非接触計測部、16…舵角センサ、17…後輪操舵システム、17a…舵角センサ、18…GPS、19…車輪速センサ、20…ブレーキシステム、20a…ブレーキセンサ、21…アクセルセンサ、22…前輪操舵システム、22a…トルクセンサ、23…シフトセンサ、24…方向指示器、25…車内ネットワーク、30…車両制御システム
、31…画像データ取得部、40、40P、40R…車両、40I…車両アイコン
、40M…車両モデル画像、60…画像処理部、61…画像データ取得部、62…画像、CS1、CS2…接地面、Gout、Gout1〜Gout32…出力画像、Sp、Sp1 仮想投影面、Sps…側面、Spg…底面、SpgRF、SpgLF、SpgRR、SpgLR…副底面、SS1、SS2…センサ、合成部、63…仮想投影画像データ生成部、64…視点画像データ生成部、65…検出部、66…出力画像データ生成部、67…データ取得部、68…可変設定部、70…記憶部、AIND…相対高度表示インジケータ、Ba…障害物、CM…コメント、EC…エラーコメント、Ep…仮想視点、GG…ゲージ画像、GI…ゲージインデックス、GIb…視点画像、GIp…仮想投影画像。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24