(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、本発明を適用した視認補助装置の実施形態について説明する。
実施形態の視認補助装置は、例えば、乗用車等の自動車に設けられ、自車両前方等の画像を画像表示装置によりドライバ等の乗員に提示し、自車両周囲の状況視認を支援するものである。
図1は、実施形態の視認補助装置の構成を示すブロック図である。
実施形態の視認補助装置1は、ステレオカメラ装置10、環境認識ユニット20、乗員モニタリングユニット30、表示画像生成ユニット40、表示装置50等を有して構成されている。
【0015】
ステレオカメラ装置10、環境認識ユニット20、乗員モニタリングユニット30、表示画像生成ユニット40、表示装置50は、例えば、CAN通信システム等の車載LANシステムを介して、あるいは、直接接続され、相互にデータの送受信が可能となっている。
また、各ユニットは、例えばCPU等の情報処理手段、RAMやROM等の記憶手段、入出力インターフェイス及びこれらを接続するバス等を有して構成されている。
【0016】
ステレオカメラ装置10は、カメラLH11、カメラRH12、ステレオ画像処理ユニット13等を有する。
カメラLH11、カメラRH12は、自車両前方を広角に撮像するレンズ群等の光学系や、CMOS等の固体撮像素子、及び、その駆動装置、画像処理エンジン、入出力インターフェイス等を有する撮像装置である。
カメラLH11、カメラRH12は、左右方向に離間した状態で、光学系の光軸を車両前方に向けて取り付けられている。
カメラLH11、カメラRH12は、例えば、ルーフ130の前端部から車室内に下方に突き出した状態で固定され、フロントガラス140越しに自車両前方の画像を撮像するようになっている。
【0017】
カメラLH11、カメラRH12がそれぞれ撮像した画像に係るデータは、ステレオ画像処理ユニット13に逐次提供されるようになっている。
また、これらの画像データは、表示装置50の表示画像を生成するため、ステレオ画像処理ユニット13を介して表示画像生成ユニット40にも提供される。
例えば、本実施形態のように、自車両の斜め左前方の状況を表示する場合(
図2参照)には、カメラLH11が撮像した画像を利用して表示画像を生成することができる。
【0018】
ステレオ画像処理ユニット13は、カメラLH11、カメラRH12から逐次伝達される画像データに、公知のステレオ画像処理を施し、自車両前方に存在する被写体を認識するとともに、認識された被写体の自車両に対する相対位置を、画像上の画素位置、及び、カメラLH11とカメラRH12との視差等を用いて検出する。
また、ステレオ画像処理ユニット13は、公知の画像処理、画像認識技術により、認識された被写体の種類、属性(例えば、他車両、自転車、歩行者、建造物、車線端白線等)を判別することが可能となっている。
【0019】
環境認識ユニット20は、ステレオ画像処理ユニット13による自車両前方の物体検出結果等を利用して、自車両前方の環境を認識するものである。
環境認識ユニット20は、ステレオ画像処理ユニット13が認識した他車両、建築物等のうち、自車両に対する相対位置、相対速度などから自車両と衝突する可能性が高いリスク対象物を認識する。
環境認識ユニット20は、本発明にいうリスク対象物検出手段として機能する。
【0020】
環境認識ユニット20は、リスク対象物の自車両に対する相対位置、相対速度(接近速度)などから、リスク対象物と自車両との衝突が不可避であると判定した場合(プリクラッシュ判定が成立した場合)には、そのリスク対象物に関する情報を、表示画像生成ユニット40に伝達する。
ここで、リスク対象物に関する情報として、例えば、リスク対象物の種類、自車両に対する相対位置及び相対速度等が挙げられる。
【0021】
乗員モニタリングユニット30は、手動運転時におけるドライバとなる乗員を乗員撮影カメラ31によって撮像した画像を画像処理し、乗員の状態を検出するものである。
乗員撮影カメラ31は、例えば、車両のインストルメントパネル140等に設けられ、モニタ対象の乗員の顔面等を撮像する。
乗員撮影カメラ31は、例えば、コンビネーションメータ141(
図2参照)に設けることができる。
乗員モニタリングユニット30は、乗員撮影カメラ31が撮像した画像データに所定の画像処理を施し、視点(眼部)の位置、視線方向、覚醒状態などを検出する。
乗員の視点位置に関する情報は、表示画像生成ユニット40に伝達される。
乗員モニタリングユニット30は、乗員撮影カメラ31と協働して本発明にいう視点位置検出手段として機能する。
【0022】
表示画像生成ユニット40は、ステレオカメラ装置10から提供される画像データ、環境認識ユニット20によるリスク対象物に関する情報、及び、乗員モニタリングユニット30による乗員視点位置の検出結果を用いて、表示装置50により表示される表示画像のデータを生成するものである。
表示画像生成ユニット40は、ステレオカメラ装置10から提供される画像データのうち、表示装置50に表示される表示範囲、及び、表示位置を設定する機能を有する。
表示画像生成ユニット40は、通常時(リスク対象物が存在しない状態)においては、表示装置50に表示される表示画像が、乗員の視点から見たときの表示倍率が肉眼で直接目視可能な視野に対して小さく広角であり、かつ、画面上の一部に設定される基準位置P(
図2参照)が、肉眼により直接目視される視野における基準位置Pに相当する箇所と一致するように表示画像の表示範囲、表示位置を設定する。
表示画像生成ユニット40は、本発明にいう基準位置設定手段として機能する。
表示画像生成ユニット40の機能については、後により詳細に説明する。
【0023】
表示装置50は、例えば自車両の左斜め前方の車外状況を撮像した画像をユーザ(乗員)に対して提示する画像表示装置である。
表示装置50は、表示画像生成ユニット40が生成した表示画像を表示するディスプレイ及びその駆動装置等を有する。
表示装置50として、例えば、非表示時には実質的に透明となり乗員が透視可能な透明LCDを用いることができる。
表示装置50の配置に関しては、後に詳しく説明する。
【0024】
図3に示すように、車両は、フロントガラス110、フロントドアガラス120、サイドミラー130、インストルメントパネル140、ステアリングホイール150、Aピラー160、ルーフ170、ルームミラー180等を有する。
【0025】
フロントガラス110は、ドライバの前方側に配置されている。
フロントガラス110は、実質的に横長の矩形状に形成され、前方が凸となる方向に湾曲した2次曲面ガラスである。
フロントガラス110は、上端部が下端部に対して車両後方側となるように後傾して配置されている。
乗員の視点から見たときに、フロントガラス110における透明部分(周辺に設けられる図示しない黒セラミック部分等を除いた部分)は、乗員が肉眼により自車両前方を直接目視する際の視野となる。
【0026】
フロントドアガラス120は、乗員の乗降に用いられる左右フロントドアの上部であって、ドライバの側方に設けられている。
フロントドアガラス120は、昇降式の本体部121、及び、本体部121の前部に設けられた固定式の三角窓部122を有する。
【0027】
サイドミラー130は、ドライバが左右後方視界を確認するものである。
サイドミラー130は、左右フロントドアのアウタパネルから車幅方向外側に突出している。
ユーザ視界において、サイドミラー130は、例えば、フロントドアガラス120の本体部121の前端部近傍に見えるようになっている。
【0028】
インストルメントパネル140は、車室内においてフロントガラス110の下方に設けられた内装部材である。
インストルメントパネル140は、各種計器類、表示装置、スイッチ類、空調装置、助手席エアバッグ装置、膝部保護エアバッグ装置等が収容される筐体としても機能する。
インストルメントパネル140は、コンビネーションメータ141、マルチファンクションディスプレイ142、ナビゲーション装置ディスプレイ143等が設けられる。
【0029】
コンビネーションメータ141は、運転席の正面に設けられ、速度計、エンジン回転計、距離計などの各種計器類をユニット化したものである。
マルチファンクションディスプレイ142は、インストルメントパネル140の車幅方向中央部における上部に設けられた例えばLCD等の画像表示手段である。
ナビゲーション装置ディスプレイ143は、図示しないナビゲーション装置が地図等を表示するLCD等の画像表示手段である。
ナビゲーション装置ディスプレイ143は、インストルメントパネル140の車幅方向中央部における下部に設けられている。
【0030】
ステアリングホイール150は、ドライバが手動運転時に操舵操作を入力する環状の操作部材である。
ステアリングホイール150は、ドライバの前方に実質的に正対して設けられる。
コンビネーションメータ141は、ユーザ視界において、ステアリングホイール150の上半部における内径側から目視可能となっている。
【0031】
Aピラー160は、フロントガラス110の側端部及びフロントドアガラス120の前端部に沿って配置された柱状の車体構造部材である。
Aピラー160の車室内側の面部は、樹脂製のピラートリムによってカバーされている。
【0032】
ルーフ170は、フロントガラス110の上端部から後方に伸びて形成されている。
ルーフ170の車室内側の面部は、樹脂製のルーフトリムによってカバーされている。
ルーフ170の車幅方向中央部における前端部には、カメラLH11、カメラRH12が収容されるステレオカメラ収容部171が設けられている。
【0033】
ルームミラー180は、車室内に設けられた後方確認用のミラーである。
ルームミラー180は、図示しないステーを介してフロントガラス110の車幅方向中央部における上端部近傍に設けられている。
【0034】
表示装置50のスクリーン部分は、例えば、左右方向における反ドライバ側(
図2の場合には左側)のAピラー160近傍から、車幅方向中央側(フロントガラス110側)に張り出して設けられている。
表示装置50の一部は、乗員の視点から見たときに、フロントガラス110の手前側に重なった状態で配置されている。
【0035】
次に、実施形態の視認補助装置の動作について説明する。
図3は、実施形態の視認補助装置の動作を示すフローチャートである。
以下、ステップ毎に順を追って説明する。
【0036】
<ステップS01:前方画像データ取得>
表示画像生成ユニット40は、ステレオカメラ装置10のステレオ画像処理ユニット13から、カメラ11、カメラRH12によって撮像された自車両前方の画像データを取得する。
その後、ステップS02に進む。
【0037】
<ステップS02:乗員視点位置検出>
乗員モニタリングユニット30は、乗員撮影カメラ31が撮像した画像データに所定の画像処理を施して乗員(手動運転時におけるドライバ)の視点位置を検出する。
検出された視点位置に関する情報は、表示画像生成ユニット40に提供される。
その後、ステップS03に進む。
【0038】
<ステップS03:基準位置設定>
表示画像生成ユニット40は、表示装置50に表示される画像上に基準位置P(
図2参照)を設定する。
基準位置Pは、例えば、表示装置50の表示領域内における右端部かつ下端部近傍に設定されている。
表示画像生成ユニット40は、ステップS02において検出された乗員の視点位置から、表示装置50における基準位置Pに相当する箇所を見た際に、仮に表示装置50が透明であった場合に基準位置Pと重なって透視される車外の箇所を、肉眼により直接視認される視野における「基準位置に相当する箇所」(基準位置Pに表示されるべき被写体)として認識する。
その後、ステップS04に進む。
【0039】
<ステップS04:リスク対象物有無判断>
環境認識ユニット20は、自車両の周辺でありかつ表示装置50により画像表示され得る範囲内に、自車両と衝突する可能性が高いリスク対象物が存在するか否かを判別する。
環境認識ユニット20による判別結果(リスク対象物の有無)に関する情報は、表示画像生成ユニット40に伝達される。
リスク対象物が存在する場合には、その自車両に対する相対位置、相対速度、種類等の情報も表示画像生成ユニット40に伝達される。
リスク対象物が存在する場合はステップS06に進み、存在しない場合はステップS05に進む。
【0040】
<ステップS05:通常広角表示画像生成>
表示画像生成ユニット40は、表示装置50に表示される画像として、自車両の前方を肉眼により目視可能な視野に対して表示倍率を下げて広角に表示する通常広角表示画像を生成する。
このとき、表示画像生成ユニット40は、画像上に設定される基準位置Pを乗員の視点から見たときの視線方向が、基準位置Pに相当する箇所(画像上で基準位置Pに表示される被写体)を乗員が肉眼により直接目視する際の視線方向と実質的に一致するよう表示画像の表示範囲、表示位置を設定する。
その後、ステップS07に進む。
【0041】
<ステップS06:リスク対象物クローズアップ画像生成>
表示画像生成ユニット40は、ステレオカメラ装置10から提供される画像データから、リスク対象物が含まれる領域をトリミングすることによって、リスク対象物を拡大表示するリスク対象物クローズアップ画像を生成する。
このとき、リスク対象物クローズアップ画像がより強く乗員の注意を喚起するよう、例えば表示色を変化させたり、表示を点滅させるようにしてもよい。
また、リスク対象物が存在することを示すテキストメッセージ、絵記号を表示してもよい。さらに、このような表示と音声によるメッセージ、警告音等を併用してもよい。
その後、ステップS07に進む。
【0042】
<ステップS07:表示装置診断>
表示画像生成ユニット40は、表示装置50が備える自己診断機能を用いて、表示装置50が正常に画像表示を行うことが可能な状態であるか判別する。
表示装置50が正常に画像表示を行うことが可能な場合はステップS08に進み、何らかの故障等によって正常に画像表示を行うことができない場合はステップS09に進む。
【0043】
<ステップS08:画像表示実行>
表示画像生成ユニット40は、ステップS05又はステップS06において生成された画像を表示装置50により表示させ、その後一連の処理を終了(リターン)する。
【0044】
<ステップS09:画像表示オフ>
表示画像生成ユニット40は、表示装置50による画像表示を中止し、表示装置50を実質的に透明であり乗員が透視可能な状態とする。
その後、一連の処理を終了する。
【0045】
以下、実施形態の視認補助装置1における表示装置50の表示例について説明する。
図2は、リスク対象物が存在しない状態を示している。
リスク対象物が存在しないことから、表示装置50には、通常広角表示画像が表示されている。
図2に示す状態では、自車両が走行中の車線の左側に、自車両進行方向に沿って前方側から樹木A,B,Cが並んで立っている。
フロントガラス110越しに乗員が肉眼により目視する視野においては、樹木Aは、全体が視認可能であるが、樹木Bの下部はAピラー160により遮られて視認できず、樹木Cは略全体がAピラー160により遮らず、上端部、下端部の一部がフロントガラス110及びフロントドアガラス120の三角窓部122から視認できるに過ぎない。
【0046】
一方、表示装置50に表示される画像上においては、その表示倍率を肉眼で目視される視野に対して縮小した広角表示とすることにより、樹木A,B,Cの像である樹木像a,b,cは、いずれもその全体が表示されており、肉眼で目視される視野よりも広範囲の情報を比較的小さい視線移動により視認することが可能となっている。
このとき、基準位置Pを乗員が見たときの視線方向は、仮に表示装置50が透明であった場合に基準位置Pに相当する箇所を乗員が肉眼で直接視認する場合の視線方向と実質的に一致するようになっている。
基準位置Pは、乗員が表示画像と肉眼による視野との位置関係を把握する指標となることから、画像上にマーク等により表示されることが好ましい。
【0047】
図4は、実施形態の視認補助装置を有する車両におけるドライバ視界の他の例を示す図であって、側方から他車両が接近中の状態を示す図である。
図4に示す状態においては、自車両の左斜め前方に、自車両から見て右方向に向かって走行する他車両Vが存在する。
他車両Vは、
図4に示す時点では、未だリスク対象物として認識されておらず、表示装置50には通常広角表示画像が表示されている。
図4に示す状態では、他車両Vは、肉眼で目視する視野においてはAピラー160等に遮られて部分的にしか視認できないが、広角表示される表示装置50上においては、他車両像vがほぼ全体にわたって視認可能となっている。
【0048】
図5は、実施形態の視認補助装置を有する車両におけるドライバ視界の他の例を示す図であって、側方から接近する他車両と衝突するリスクが発生した際の状態を示す図である。
図5は、
図4に示す状態に引き続いて生じ得る状態を示している。
他車両Vは、
図5に示す時点では、衝突が発生する可能性が高くなったことによりリスク対象物として認識されており、表示装置50には、リスク対象物クローズアップ画像が表示されている。
図5に示す状態では他車両Vは、肉眼で目視する視野においてはフロントガラス110の左側端部近傍に目視可能となっているが、表示装置50においては、他車両像vを肉眼で目視される他車両Vに対して拡大して表示するとともに、画面の表示色を異ならせ、危険であることを示すテキストメッセージも表示することによって、乗員の注意を喚起し、適切な回避動作を促すようになっている。
【0049】
以上説明した実施形態によれば、以下の効果を得ることができる。
(1)通常広角表示画像において、肉眼で直接目視される視野に対して表示倍率を小さくした広角表示とすることによって、少ない視線移動によりピラー等により死角となる範囲も含む広範囲の状況を視認することができる。
また、画像上に設定される基準位置Pが、肉眼により目視される基準位置に相当する箇所と一致するように配置されることによって、広角化された画像であっても肉眼で目視される視野との関係を容易に把握することができる。
(2)乗員モニタリングユニットにより乗員の視点位置を検出することによって、画像上に基準位置Pを適切に設定し、上述した効果を確実に得ることができる。
(3)表示装置50に表示される画像の右端部かつ下端部近傍に基準位置Pを設定することにより、表示装置50が乗員の左斜め前方に配置される実施形態において、肉眼により直接視認される視野と表示画像との位置関係を容易に把握することができる。
また、Aピラー160により死角となる範囲を含む自車両の左側方を、少ない視線移動量により視認することができ、乗員の監視負担を軽減することができる。
(4)リスク対象物が存在する場合に、リスク対象物を拡大表示するとともに、表示色を異ならせ、危険が存在することを示すテキストメッセージを表示することによって、乗員の注意を喚起するとともに、リスク対象物の視認性を高めて適切な対処を促すことができる。
(5)表示装置50が故障等により正常に表示が行えない場合、表示をオフとして表示装置50を透明とすることによって、表示装置50を透視した肉眼による目視を妨げることがなく、視認性を確保することができる。
【0050】
(変形例)
本発明は、以上説明した実施形態に限定されることなく、種々の変形や変更が可能であ
って、それらも本発明の技術的範囲内である。
(1)車両及び視認補助装置の構成は、上述した実施形態に限定されることなく、適宜変更することが可能である
。
(2)実施形態では、表示装置として透明LCDを用いているが、表示装置の具体的構成はこれに限定されず適宜変更することができる。例えば、透明ではない一般的なLCDや、有機ELディスプレイを用いてもよい。
また、ヘッドアップディスプレイ装置を用いて、フロントガラスや、フロントガラスとは別個に設けられる透明板に画像を投影してもよい。
(3)実施形態では、通常広角表示画像において、表示倍率を縦方向、横方向とも一様に縮小しているが、これに限らず、縦方向、横方向の表示倍率を異ならせてもよい。また、縦方向においては表示倍率の縮小を行わず、横方向にのみ縮小を行ってもよい。
(4)実施形態では、基準位置Pの表示装置50の画面内における上下方向位置を下端部近傍に配置しているが、上端部近傍や上下方向における中間部に配置してもよい。
特に、上端部近傍に配置した場合には、表示装置上の視野が下方に拡大されることになり、縁石や小児等の比較的低位置にある物体の視認性が向上する。
(5)実施形態では、自車両前方の環境認識に用いられるステレオカメラ装置により撮像された画像を表示画像の生成に利用しているが、表示画像生成用として専用のカメラユニットを設けてもよい。