(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、本発明の実施形態を、図面に基づいて説明する。
【0010】
[第1実施形態]
第1実施形態では、フロントガラス8に、乗員Mの視線を誘導するための一対の走行基準マークを表示する例について説明する。
図1は、本発明の第1実施形態に係る自動車1の説明図である。自動車1は、車両の一例である。
図1は、自動車1を上から見た図である。
図1の自動車1は、車体2を有する。車体2は、エンジン等が配置される前室3、乗員Mが乗車する乗員室4、荷物等を入れる後室5、を有する。
乗員室4には、乗員Mが着座する複数のシート6が前後二列に配置されている。前側のシート6の前には、左右方向に延在するダッシュボード7が配置される。ダッシュボード7の上側には、フロントガラス8が配置される。フロントガラス8は、乗員室4に乗車した乗員Mが車外を視認するために透視可能な透明または半透明の部材である。
乗員Mは、乗員室4に乗車し、シート6に着座する。走行中の乗員Mは、シートベルト9によりシート6に拘束される。
フロントガラス8の上部には、車体2の後を確認するためのルームミラー10が配置される。前列のシート6の左方向および右方向には、乗員室4の外に、サイドミラー11が配置される。乗員Mは、フロントガラス8などを通じて自動車1の前方の周囲を確認するほかに、ルームミラー10やサイドミラー11を用いて自動車1の後方の周囲を確認することができる。
自動車1を運転する乗員Mのシート6の周囲には、ハンドル12、ブレーキペダル13、アクセルペダル14、シフトレバー15といった操作部材が配置される。シート6に着座した乗員Mは、操作部材を操作し、自動車1を走行させる。
【0011】
ところで、近年の自動車1では、液晶ディスプレイに案内経路を表示するナビゲーション装置を搭載したり、各種レーダにより走行環境を監視して緊急時の運転を支援する装置を搭載したりしている。
しかしながら、自動車1は、依然、乗員Mによる操作に基づいて走行している。乗員Mは、走行中に、フロントガラス8などの車窓から車外の安全等を確認し、確認した車外の状況を判断し、それに応じて自動車1を操作する。この場合、自動車1の走行安定性や安全性は、基本的に乗員Mの運転能力により決まる。乗員Mは、状況に応じて、車体2の前方、斜め前方、左右、後方、斜め後方などを適宜確認するように目線を切り替えるように動かしたり、視線を一定方向に安定的に維持したりしながら、運転する。
【0012】
このため、たとえば安全性についていえば、運転中に周囲を確認するための目線の使い方が解っていない初心者であっても、上級者と同様に、必要な車外の安全確認を適切に実施することが求められる。たとえば前方正面、前方右斜め前、前方左斜め前を目視により確認する必要がある。
また、疲れた状態で運転するバスの乗務員においても、疲れていない一般的な乗員Mと同様に、必要な安全確認を実施することが求められる。
また、乗員Mが車外を確認しようとしても、大雨などにより周囲が見え難くなり、十分な確認ができない状況も想定し得る。このよう悪天候の状況でも、乗員Mには必要な安全確認を実施することが求められる。
このように、運転中の目線の使い方が解っていない初心者であっても、夜の大雨などの悪天候の際に、必要な安全確認を適切に実施し、状況に応じた安全な運転をし続けることが求められる。
【0013】
この他もたとえば、走行安定性においては、乗員Mは、適切な目線で進路を確認しながら運転することが求められる。
たとえば、曲がった道路にそってコーナリングをする場合、まずコーナ進入時に進路の外縁のブレーキポイントへ車体2を寄せたい。そのため、本表示方法を利用して、自然に車体2をブレーキポイント外側に寄るように仕向ける。クリッピングポイントへ本表示方法で車体2を誘導させる。それと同時に、より遠くへ視線を誘導することで、車体挙動を安定させて円弧を描くことができる。このような目線で乗員Mが自動車1を運転することにより、自動車1は、コーナの後半が安定、および回避行動がとり易いアウトインインのラインをトレースできる。車体2が安定した状態でスムースにコーナを通過し得る。その結果、自動車1の走行安定性だけでなく、走行の安全性も向上し得る。
このように自動車1では、案内経路の情報を提示したり、緊急時の運転を支援したりするだけでなく、乗員Mの運転そのものを支援することが潜在的に求められている。
【0014】
図2は、
図1の自動車1に搭載される視線誘導システム20の概略構成図である。
図2の視線誘導システム20は、フロントカメラ21、リアカメラ22、車内カメラ23、走行支援装置24、ECU(EngineControlUnit)25、GPS(GlobalPositioningSystem)受信機26、ナビゲーション装置27、無線通信部28、マイクロコンピュータ29、プロジェクタ30、を有する。マイクロコンピュータ29には、表示制御部31が実現される。
【0015】
フロントカメラ21は、車体2の前方の車外を撮像するカメラである。フロントカメラ21は、たとえば複数のCMOS(ComplementaryMetalOxideSemiconductor)センサでよい。複数のCMOSセンサは、たとえばフロントガラス8の上縁に沿って車体2の左右方向に並べて前向きに固定設置される。複数のCMOSセンサは、ルームミラー10の前面に前向きで並べて固定設置されてもよい。車体2に固定設置された複数のCMOSセンサにより、車体2の前方の車外風景やたとえば他の自動車といった目標物について、左右方向で微妙にずれた複数の画像を得ることができる。画像中で撮像位置は、CMOSセンサから目標物へ向かう相対方向を示す。そして、自車(車体2)と目標物との相対方向および相対距離は、たとえば複数のCMOSセンサの設置位置を底辺の頂点とする三角法の演算により演算することができる。自車(車体2)を基準とした目標物の相対的な空間位置を得ることができる。
【0016】
リアカメラ22は、車体2の後方を撮像するカメラである。リアカメラ22は、たとえば複数のCMOSセンサでよい。複数のCMOSセンサは、たとえばリアガラスの上縁に沿って車体2の左右方向に並べて固定設置される。複数のCMOSセンサは、左右のサイドミラー11に後向きで並べて固定設置されてもよい。車体2に固定設置された複数のCMOSセンサにより、車体2の後方の車外風景やたとえば他の自動車といった目標物について、左右方向で微妙にずれた複数の画像を得ることができる。そして、自車(車体2)を基準とした目標物の相対的な空間位置を得ることができる。
【0017】
車内カメラ23は、乗員室4内を撮像するカメラである。車内カメラ23は、たとえば複数のCMOSセンサでよい。複数のCMOSセンサは、たとえばフロントガラス8の上縁部分に車体2の左右方向に並べて後向きに固定設置される。なお、複数のCMOSセンサは、この三角法の配置ではなく、1つがダッシュボード7に後向きに固定設置され、もう一つがシート6の上方の車体2のルーフに下向きに固定設置されてもよい。この場合でも、直交座標系により、各画像におけるシート6に着座する乗員Mの頭部や眼球の撮像位置から、頭部や眼球について、自車(車体2)を基準とした相対的な空間位置を演算し得る。
【0018】
走行支援装置24は、フロントカメラ21およびリアカメラ22に接続されるコンピュータ装置である。走行支援装置24は、これらのカメラで撮像された画像に基づいて、たとえば、自車(車体2)の周囲に存在する他の自動車1などの移動体の情報を生成する。移動体の情報には、相対的な方向および距離、相対的な移動方向といった情報が含まれる。相対的な移動体の移動方向は、時間を前後して撮像された複数の画像における移動体の方向および距離の変化に基づいて演算することができる。走行支援装置24は、生成した移動体の情報に基づいて衝突等の危険性を判断し、衝突の危険性がある場合には、ECU25へ制動信号やエアバッグの展開信号などを出力する。
また、走行支援装置24は、車体2の周囲のリスクを示す移動体情報とともに、フロントカメラ21やリアカメラ22の撮像画像のデータを、マイクロコンピュータ29の表示制御部31へ出力する。フロントカメラ21やリアカメラ22の撮像画像は、車内から乗員Mが視認する風景についての車窓風景の画像として用いることが可能である。
【0019】
ECU25は、乗員Mの操作や走行支援装置24などからの信号に基づいて、自動車1の走行を制御するコンピュータ装置である。ECU25は、自動車1のエンジンやブレーキ装置へ制御信号を出力する。ECU25は、車速、ハンドル12の舵角、ブレーキペダル13の操作の有無および操作量といった車体2の走行自体についての関連情報を、表示制御部31へ出力する。
【0020】
GPS受信機26は、GPS衛星からのGPS信号を受信する。GPS受信機26は、複数のGPS衛星から受信した複数のGPS信号から、自車(車体2)の空間位置(緯度、経度、標高)、移動速度、時刻といった情報を生成する。GPS受信機26は、生成した車体2の走行自体についての関連情報を、表示制御部31へ出力する。
【0021】
ナビゲーション装置27は、GPS受信機26に接続される。ナビゲーション装置27は、地図データ、道路データ、地形データなどの蓄積情報を有する。道路データには、複数の道路の交差点等に関するノードデータと、交差点間の各道路区間に関するリンクデータと、が含まれる。ノードデータには、交差点での車線数、車線規制情報といった情報が含まれる。リンクデータには、各道路での車線数、車線規制情報といった情報が含まれる。ナビゲーション装置27は、目的地が設定されることにより、蓄積情報を用いてたとえば現在地から目的地までの移動経路を示すデータを生成し、生成した移動経路を地図とともにディスプレイに表示する。
また、ナビゲーション装置27は、地図データ、道路データ、地形データ、案内経路データを、マイクロコンピュータ29の表示制御部31へ出力する。地図データ、道路データ、地形データ、案内経路データは、車内から乗員Mが視認する車窓風景についての風景情報として用いることが可能である。
【0022】
無線通信部28は、たとえば地上に設置される基地局と無線通信する。無線通信部28は、基地局を通じてたとえばインターネットに接続されたサーバ装置から情報を取得する。このような情報としては、たとえば交通情報、規制情報、がある。また、無線通信部28は、たとえば周囲に存在する携帯電話機の位置情報、移動速度、移動方向などを取得してもよい。携帯電話機の位置情報などは、人、子供、犬といった移動体の位置情報などとして用いることができる。また、無線通信部28は、自車(車体2)が走行する周囲の地図データ、道路データ、地形データを取得してもよい。そして、ナビゲーション装置27は、取得した情報を、マイクロコンピュータ29の表示制御部31へ出力する。
【0023】
なお、たとえばGPS受信機26、ナビゲーション装置27、無線通信部28といった構成要素は、車体2に対して取り外し可能に設けられてもよい。このような目的に利用できる機器としては、たとえば携帯電話機、多機能携帯通信機といった携帯情報端末がある。また、フロントカメラ21、リアカメラ22、車内カメラ23として、携帯情報端末の撮像デバイスを使用してもよい。この場合でも、たとえば携帯情報端末を所定の姿勢で車体2に取り付けることができるようにすることにより、車体2に対して所定の撮像方向へ向いて固定されたフロントカメラ21、リアカメラ22または車内カメラ23として用いることができる。
【0024】
プロジェクタ30は、たとえばフロントガラス8に映像を投影する。プロジェクタ30は、この他にも乗員Mとフロントガラス8との間に設置される透明または半透明のスクリーンや、乗員Mが装着するメガネに映像を投影してもよい。なお、フロントガラス8は、投影された映像を表示するために、たとえば透視可能なフィルムが貼着されてもよい。プロジェクタ30は、ダッシュボード7内に、フロントガラス8に向けて設置される。フロントガラス8の反射光により、乗員Mはフロントガラス8に投影された画像を視認できる。プロジェクタ30からフロントガラス8に投影する光量を調整したり、フロントガラス8に投影する映像の範囲や時間を制限したりすることにより、乗員Mはフロントガラス8を通じて車外の風景を視認しつつフロントガラス8に投影された画像を視認することができる。
【0025】
マイクロコンピュータ29は、車内カメラ23、走行支援装置24、ECU25、ナビゲーション装置27、無線通信部28、プロジェクタ30に接続される。マイクロコンピュータ29は、メモリ、CPU(CentralProcessingUnit)を有するコンピュータ装置である。CPUは、メモリに記憶されるプログラムを読み込んで実行する。これにより、マイクロコンピュータ29には、表示制御部31が実現される。
表示制御部31は、これらの接続機器からマイクロコンピュータ29へ入力される情報を用いて、乗員Mの注意を喚起するように乗員Mの視線を誘導するための映像をプロジェクタ30へ出力する。これにより、車体2に乗車した乗員Mが車外を視認するために透視可能なフロントガラス8には、乗員Mの視線を誘導するための映像が表示される。表示制御部31は、たとえば後述するように、車外の風景情報に基づいて車体2の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標および該予想進路の右縁および左縁が透視される透視座標を特定し、予想進路の右縁および左縁と重なる一対の走行基準マークをフロントガラス8に表示させる。
なお、マイクロコンピュータ29には、表示制御部31とともにたとえば走行支援装置24としての機能、ECU25としての機能、ナビゲーション装置27としての機能、無線通信部28としての機能、が実現されてもよい。この場合、フロントカメラ21、リアカメラ22、GPS受信機26といったデバイスは、マイクロコンピュータ29に直接接続されればよい。
【0026】
次に、
図2の視線誘導システム20による視線誘導のための処理の一例について説明する。視線誘導システム20は、乗員Mに見てほしい風景、たとえば進路に対して走行基準マークを重ねて表示し、乗員Mの視線を誘導する。
図3は、
図2の表示制御部31が周期的に実行する表示処理のフローチャートである。表示制御部31は、たとえば100ミリ秒毎に、
図3の処理を繰り返し実行し、フロントガラス8の表示を更新する。
図4は、フロントカメラ21によりフロントガラス8越しに撮像される車窓画像IMの一例を示す図である。
図5は、
図4の撮像された車窓画像IMに対して特定される各種の特定箇所の一例を説明する図である。
【0027】
乗員Mの視線を誘導するために、表示制御部31は、
図3の表示処理を周期的に実行する。表示制御部31は、まず、乗員Mの視線を誘導するための表示の要否を判断する(ステップST1)。
表示制御部31は、たとえば、車体2の不安定な挙動や乗員Mの緊張度合を計測して数値化し、その値が一定レベルを超える場合、視線誘導表示を要と判断する。
また、表示制御部31は、たとえば急カーブ、車体2の飛び出しといった走行環境の変化がある場合、視線誘導表示を要と判断する。
また、表示制御部31は、乗員Mの直近の過去の視線の動きを判断し、たとえば気づいていない移動体がある場合に、視線誘導表示を要と判断してもよい。
これら以外の場合、表示制御部31は、視線誘導表示を不要と判断し、
図3の表示処理を終了する。
なお、表示制御部31は、視線誘導表示の要否判断を、後述する表示処理の直前に実施してもよい。
【0028】
視線誘導表示を要と判断した場合、表示制御部31は、
図3の表示処理を継続し、視線誘導のための情報を取得する(ステップST2)。
この処理で取得される情報には、たとえば、前方の車窓画像IMとして用いることができるフロントカメラ21による車体2前方の撮像画像、乗員Mの視線を判定するために用いることができる車内カメラ23による車内の撮像画像、がある。
【0029】
視線誘導のための情報を取得した後、表示制御部31は、乗員Mの視線を誘導したい方向または地点についての空間位置を見る場合に、乗員Mの視線が通過するフロントガラス8上の透視座標P(x,y)を推定する(ステップST3)。
この透視座標P(x,y)に、乗員Mの視線を誘導するための走行基準マーク41を表示することで、乗員Mの視線を、該方向または地点に向けさせることができる。ここでは、予想進路に対して乗員Mの視線を誘導する場合を例に説明する。
図4の車窓画像IMでは、車体2の前方で、道路がまっすぐ前へ向かって延びている。この場合、
図4中に点線枠で示すように、乗員Mは、自動車1の進路となる該道路の路面の状況を目視により確認する必要がある。
【0030】
誘導地点への視線の透視座標P(x,y)の推定処理において、表示制御部31は、まず、車窓画像IMにおいて、予想進路(自車線)となる座標範囲を特定する(ステップST4)。
表示制御部31は、たとえば案内経路データや、道路データのリンクデータなどを用いて、車窓画像IM中の予想進路となる道路を撮像した撮像座標範囲を特定する。たとえば
図4の車窓画像IMの場合、
図5でハッチングを付した直線道路の撮像範囲が、予想進路となる道路の撮像座標範囲となる。
なお、道路データに基づいて対面二車線の道路であると判断される場合、片側二車線の道路であると判断される場合、自車が走行する車線の撮像範囲を、予想進路となる撮像座標範囲とすればよい。
また、車窓画像IMに対する処理により、道路を車線毎に区切る白線ライン、黄色線ラインを認識し得る場合、この情報に基づいて、自車が走行する車線の撮像範囲を特定してもよい。
【0031】
予想進路(自車線)となる撮像座標範囲を特定した後、表示制御部31は、車窓画像IM中での、該予想進路の路面を全体的に見渡すことができる視野中心座標PCを特定する(ステップST5)。
表示制御部31は、たとえば予想進路上の所定距離の中央位置を視野中心座標PCとして特定する。
図4の車窓画像IMの場合、
図5に示すように、たとえば
図4の点線枠の中心が視野中心座標PCとして特定される。
【0032】
車窓画像IMについて誘導したい視野中心座標PCを特定した後、表示制御部31は、該視野中心座標PCから、車線幅または車幅に相当する距離で離れている左右一対の視線誘導座標PL,PRを特定する(ステップST6)。具体的には、
図4の車窓画像IMの場合、表示制御部31は、
図5の視野中心座標PCから左右方向(水平方向)に位置する、車線の右縁および左縁を撮像した一対の視線誘導座標PL,PRを特定する。
なお、車幅の情報、道路幅や車線幅の情報は、ナビゲーション装置27から取得し得る。表示制御部31は、取得した情報を参照し、車幅以上となる間隔で、左右一対の視線誘導座標PL,PRを特定する。道路幅や車線幅が車幅を下回る場合、車幅以上の間隔となるように、車線の右縁および左縁からずらして、一対の視線誘導座標PL,PRを特定する。
【0033】
次に、表示制御部31は、車内カメラ23による車内の撮像画像に基づいて、乗員Mの視点(目線の起点)の空間位置を特定する(ステップST7)。
図2の場合、車内の撮像画像には、乗員Mの顔が含まれる。この場合、画像中の頭部または眼球の位置を特定することにより、車内カメラ23に対する頭部または眼球の方向を特定し得る。また、乗員Mはシート6に着座し、シートベルト9により拘束されている。よって、スライドするシート6の前後位置の情報から、車内カメラ23から頭部または眼球までの距離を推定し得る。これらの情報に基づいて、表示制御部31は、乗車している乗員Mの頭部または眼球の空間位置を特定する。
この他にもたとえば、車外の所定物と重なる基準マークを表示させた状態で、乗員Mに頭部を左右へ動かしてもらい、基準マークが車外の所定物と重なって見える状態での画像を基準画像として撮像して保持する。その後、該基準画像中の頭部または眼球の撮像位置と、処理時の車内画像中の頭部または眼球の撮像位置との差により、乗車している乗員Mの頭部または眼球の空間位置を特定してもよい。この場合でも、表示制御部31は、乗車している乗員Mの頭部または眼球のおよその空間位置を特定し得る。
【0034】
次に、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導位置を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算する(ステップST8)。
図6は、フロントガラス8上の透視座標P(x,y)を得る演算処理の一例の説明図ある。
図6は、車体2および道路を垂直面で切断した模式的な断面図である。
図6には、道路の路面、車体2に固定設置されるフロントカメラ21、フロントガラス8、乗員Mの頭部および眼球が図示されている。また、フロントカメラ21により撮像される車窓画像IMが模式的に図示されている。この場合、車窓画像IMは、車体2の前方には、フロントカメラ21の撮像範囲の下縁と路面との交点において立設されている仮想画像として取り扱うことができる。
このような空間位置関係の下では、フロントカメラ21と車窓画像IM中の視線誘導座標PL,PRとを結ぶ線分を延長することにより、道路上の視線誘導地点P1の空間位置が得られる。そして、この道路上の視線誘導地点P1の空間位置と、乗員Mの頭部または眼球の空間位置とを結ぶ線分は、フロントガラス8と交差する。このような位置関係に基づいて演算することにより、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導地点P1を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算し得る。
【0035】
フロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、該透視座標P(x,y)に一対の走行基準マーク41を横並びに表示させる処理を開始する(ステップST9)。
表示制御部31は、右側の透視座標P(x,y)に、右側の走行基準マーク41を表示させる。また、左側の透視座標P(x,y)に、左側の走行基準マーク41を表示させる。
図7は、乗員Mがフロントガラス8越しに見る車窓風景の一例の説明図である。
図7では、一対の走行基準マーク41が、自車が走行する車線の右縁および左縁と重ねて横並びに表示されている。
具体的には、右側の走行基準マーク41は、車線の右縁と重なって延びる走行基準線L1と、走行基準線L1から右外側へ向かって延びる視線基準線L2と、で構成されている。左側の走行基準マーク41は、車線の左縁と重なって延びる走行基準線L1と、走行基準線L1から左外側へ向かって延びる視線基準線L2と、で構成されている。一対の視線基準線L2は、左右で同じ高さに表示されている。
乗員Mの視線は、一対の走行基準マーク41により、特に一対の視線基準線L2の高さ位置に誘導され得る。そして、乗員Mは、一対の走行基準線L1により、車線の右縁の空間位置と左縁の空間位置とを視認できる。また、一対の走行基準マーク41が車線の右縁および左縁と重なって見えることから、乗員Mは、車線幅が車体2の車幅以上であることを認識できる。
【0036】
以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する車窓画像IMを取得し、該車窓画像IMに基づいて、自車の通過が予想される予想進路の右縁および左縁を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、一対の走行基準マーク41を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の走行基準マーク41を、車体2の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の走行基準マーク41により強調表示された予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、確認することができる。一対の走行基準マーク41の間を確認して、安全に走行し得るか否かを確認し得る。
また、一対の走行基準マーク41の表示により、乗員Mの視線は予想進路に安定し、その結果として車体2は安定的に走行し得る。
また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて一対の走行基準マーク41を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の全体を観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路の中央に1つの走行基準マーク41を表示させた場合、乗員Mの目線は、その一点に集中し易くなる。その結果、一点の走行基準マーク41により乗員Mの視線を予想進路へ誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の全体を観察し難くなる。特に、一点の走行基準マーク41から微妙に離れている、予想進路の右縁および左縁での安全確認をし難くなる。本実施形態では、このようなミスリードを生じ難い。
【0037】
また、本実施形態では、表示制御部31は、車窓画像IM中の自車(車体2)が走行している道路または車線の縁の透視座標P(x,y)を特定し、プロジェクタ30は、該透視座標P(x,y)に走行基準マーク41を表示させる。よって、乗員Mは、一対の走行基準マーク41を、自車(車体2)の予想進路の右縁および左縁と重ねて見えることが可能になる。
【0038】
また、以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する風景についての風景情報を取得し、該風景情報に基づいて、自車の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、右縁および左縁に沿った一対の走行基準線L1を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の走行基準線L1を、自車の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の走行基準線L1により強調表示された予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、たとえば予想進路の幅や進行方向について確認できる。一対の走行基準線L1の間を確認して、安全に走行し得るか否かを確認し得る。
また、本実施形態では、一対の走行基準線L1とともに、一対の走行基準線L1から外側へ向かって延びる一対の視線基準線L2を表示させる。2つの略T字のマークにより、予想進路を挟むように表示をさせる。人間は、水平方向に沿って延びるラインに対して目線を合わせようとする特性がある。一対の視線基準線L2により、目線の高さレベルが誘導される。そして、略T字のように交点を持つ表示においては、乗員Mは、その交点近くに目線を滞留させようとする傾向にある。また、水平方向に沿って離れた一対の略T字の表示は、その間を乗員Mに意識させる。一対の略T字の表示は、この特性を利用して、視線を安定化させることができる。
これら走行基準線L1と視線基準線L2と組み合わせを表示することにより、乗員Mの視線は、一対の視線基準線L2に対応する距離において予想進路に安定し、その結果として自動車1は安定的に走行し得る。また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに該距離の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。視線を向けたい部分に、一対の略T字を表示するので、乗員Mは、目線の位置において、道路幅及び走行方向を直観的に把握できる。
特に、予想進路の右縁および左縁と重ねて一対の走行基準線L1を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路上に1つの走行基準ラインを表示させた場合、乗員Mの目線は、その一点に集中し易くなる。その結果、1つの走行基準ラインにより乗員Mの視線を誘導できたとしても、その1つの線のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、1つの走行基準ラインから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本実施形態では、このようなミスリードを生じ難い。
【0039】
また、本実施形態では、一対の走行基準線L1の各々から外側へ向かって延びる視線基準線L2の長さは、走行基準線L1より長い。よって、水平方向に沿って左右に離れて表示される一対の走行基準線L1および一対の視線基準線L2の間に、一体感を持たせることができる。表示の全体を1つに関連した表示して意識させることができる。また、人の視線は、一対の視線基準線L2の間に誘導され易い。この特性を利用して、乗員Mの視線を一対の視線基準線L2の間に誘導することができる。
【0040】
また、本実施形態において、プロジェクタ30は、視線基準線L2を、乗員Mの視線を誘導したい高さに表示する。よって、一対の走行基準線L1の長さにかかわらず、乗員の視線を、一対の視線基準線L2の間に誘導することができる。
【0041】
[第2実施形態]
第2実施形態では、フロントガラス8に、一対の走行基準マーク41と注意喚起ライン42とを表示する例について説明する。
第2実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
【0042】
図8は、本発明の第2実施形態に係る表示処理のフローチャートである。
図9は、一対の走行基準マーク41と注意喚起ライン42とを切り替えて表示するフロントガラス8の表示例の説明図である。
図9(A)は、一対の走行基準マーク41を表示した状態である。
図9(B)は、一つの注意喚起ライン42を表示した状態である。
【0043】
図8に示すように、ステップST3において視線が通過するフロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、表示処理を開始する。
表示処理において、表示制御部31は、まず、
図9(A)に示すように、演算した透視座標P(x,y)に一対の走行基準マーク41を横並びに表示させる(ステップST9)。これにより、視線は、進路の路面および周囲に誘導される。
一対の走行基準マーク41を所定期間表示した後、表示制御部31は、一対の走行基準マーク41を消去し(ステップST11)、
図9(B)に示すように注意喚起ライン42を表示させる(ステップST12)。その後、注意喚起ライン42を消去させる(ステップST13)。
図9(B)の注意喚起ライン42は、案内経路の方向を示すものである。案内経路の方向を示す注意喚起ライン42は、フロントガラス8の上縁中心位置から延び、予想進路に沿って下右方向へ湾曲している。このような注意喚起ライン42が表示されることにより、視線は誘導され、乗員Mは予定進路が右に曲がっていることを認識できる。車体2の走行上の注意点を示すことができる。
また、
図9(A)と
図9(B)とを比較すれば明らかなように、注意喚起ライン42は、一対の走行基準マーク41の表示位置と重ならないように、位置をずらして表示されている。このように位置およびタイミングを重ならないようにすることで、乗員Mは、続けて表示される一対の走行基準マーク41と注意喚起ライン42とが、別々の注意点に対応した別々の視線誘導表示であることを容易に認識できる。
【0044】
以上のように、本実施形態では、プロジェクタ30は、一対の走行基準マーク41に加えて、車体2の走行上の注意点を示す注意喚起ライン42を、フロントガラス8に表示させる。よって、乗員Mの視線は、予想進路だけでなく、車体2の走行上の注意点について誘導され得る。乗員Mに対して気づいていない注意点を認識させたり、早くに注意点を認識させたりできる。
特に、本実施形態では、車体2の走行上の注意点を示す注意喚起ライン42を、一対の走行基準マーク41と重ならない位置に、一対の走行基準マーク41とタイミングをずらして表示させる。よって、乗員Mは、一対の走行基準マーク41と注意喚起ライン42とが別々の事由に関する表示であることを、表示に基づいて区別して認識できる。また、乗員Mは、それらの表示位置関係と理解とに基づいて、予想進路に対する危険度等を容易に判断することができる。
【0045】
[第3実施形態]
第3実施形態では、フロントガラス8に表示する一対の走行基準マーク41を、状況に応じて変更する例について説明する。
第3実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
【0046】
図10は、本発明の第3実施形態に係る表示処理のフローチャートである。
図10に示すように、ステップST3で視線が通過するフロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、表示処理を開始する前に、更に、透視座標P(x,y)および走行基準マーク41の変更の要否を判断する。表示制御部31は、マイクロコンピュータ29に接続される機器から取得した情報に基づいて、変更の要否を判断する。
【0047】
具体的には、表示制御部31は、まず、周辺リスクを判断する(ステップST21)。
たとえば前方の撮像画像中に予想進路の道路上または道路脇を自転車51などの移動体が映っている場合、表示制御部31は変更要と判断する。
また、道路上への飛び出し、道路上の危険物が予想される場合、表示制御部31は変更要と判断する。
また、道路が急激に曲がっている場合、路面が変化する場合、表示制御部31は変更要と判断する。
これら以外の場合、表示制御部31は変更不要と判断する。
【0048】
次に、表示制御部31は、自車の走行状態を判断する(ステップST22)。
たとえば、前方の撮像画像が暗い場合、表示制御部31は変更要と判断する。
また、車速が所定値以上である場合、表示制御部31は変更要と判断する。
これら以外の場合、表示制御部31は変更不要と判断する。
【0049】
その後、表示制御部31は、変更の要否を判断する(ステップST23)。
以上のすべての判断において変更不要と判断している場合、表示制御部31は、変更不要と判断し、当初の透視座標P(x,y)に、一対の走行基準マーク41を表示させる(ステップST24)。
【0050】
これ以外の場合、表示制御部31は、変更要と判断し、変更要と判断した事由に応じて、表示する走行基準マーク41を変更し、走行基準マーク41の表示座標を変更する。そして、変更後の走行基準マーク41を表示させる(ステップST25)。
【0051】
図11は、プロジェクタ30により、フロントガラス8に表示される一対の走行基準マーク41の各種の変更例を示す説明図である。
【0052】
図11(A)は、予想進路の道路の右端を自転車51が走行している場合の変更例である。この場合、右側の走行基準マーク41の表示座標は、自転車51より車線の中央寄りに変更される。
なお、右側の走行基準マーク41は、車線の右縁の位置から、変更後の位置へ向かって移動するように表示されてもよい。
また、変更後の一対の走行基準マーク41の間隔が車幅より小さなる場合、該間隔が車幅となるように左側の走行基準マーク41の表示座標を左側へ変更してもよい。
【0053】
図11(B)は、予想進路の道路に、自転車51が右側から侵入してくる可能性がある場合の変更例である。この場合、右側の走行基準マーク41は、通常よりも太い線に変更されている。これにより、道路の右側から侵入してくる自転車51について、強調した表示が可能になる。
【0054】
図11(C)は、トンネル内に侵入したりて外が暗くなった場合の変更例である。この場合、各走行基準マーク41において、車線の縁と重なって延びる走行基準線L1が手前側へ延長される。これにより、車外が暗くなって車線を視認し難くなっている状況でも、延長された走行基準線L1の表示により、車線を容易に認識することができる。
【0055】
図11(D)は、車速が所定の制限速度を超えた場合の変更例である。この場合、一対の走行基準マーク41は、それらの間隔が狭くなるように、車線の中央寄りにずらして表示される。これにより、乗員Mは、車線幅が狭くなったかのように感じ、速度を緩める可能性がある。
【0056】
図11(E)は、車速が所定の制限速度を超えた場合の変更例である。この場合、一対の走行基準マーク41の色は、たとえば通常の緑色から赤色へ変更される。なお、図面は白黒のため、実線が破線へ変更されるように図示している。これにより、乗員Mは、車速が制限速度を超えたことを知ることができる。
【0057】
以上のように、本実施形態では、表示制御部31が、車体2の周囲のリスクまたは車体2の走行自体についての関連情報を取得し、プロジェクタ30は、該関連情報に応じて、一対の走行基準マーク41の表示を変更する。
よって、乗員Mは、一対の走行基準マーク41から目線を動かすことなく、車体2の周囲のリスクまたは車体2の走行自体についての関連情報を認識できる。乗員Mは、たとえば表示により認識した事由について確認することができる。周囲の安全を確認するための乗員Mの負担を軽減できる。
【0058】
[第4実施形態]
第4実施形態では、フロントガラス8に、乗員Mの視線を誘導するための一対の車線ラインを表示する例について説明する。
第4実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
【0059】
次に、本発明の第4実施形態に係る視線誘導システム20による視線誘導のための処理の一例について説明する。視線誘導システム20は、乗員Mに見てほしい風景、たとえば進路に対して車線ラインを重ねて表示し、乗員Mの視線を誘導する。
図12は、本発明の第3実施形態に係る表示制御部31が周期的に実行する表示処理のフローチャートである。表示制御部31は、たとえば100ミリ秒毎に、
図12の処理を繰り返し実行し、フロントガラス8の表示を更新する。
【0060】
乗員Mの視線を誘導するために、表示制御部31は、
図12の表示処理を周期的に実行する。表示制御部31は、まず、乗員Mの視線を誘導するための表示の要否を判断する(ステップST1)。
表示制御部31は、たとえば、車体2の不安定な挙動や乗員Mの緊張度合を計測して数値化し、その値が一定レベルを超える場合、視線誘導表示を要と判断する。
また、表示制御部31は、たとえば急カーブ、車体2の飛び出しといった走行環境の変化がある場合、視線誘導表示を要と判断する。
また、表示制御部31は、乗員Mの直近の過去の視線の動きを判断し、たとえば気づいていない移動体がある場合に、視線誘導表示を要と判断してもよい。
これら以外の場合、表示制御部31は、視線誘導表示を不要と判断し、
図12の表示処理を終了する。
なお、表示制御部31は、視線誘導表示の要否判断を、後述する表示処理の直前に実施してもよい。
【0061】
視線誘導表示を要と判断した場合、表示制御部31は、
図12の表示処理を継続し、視線誘導のための情報を取得する(ステップST2)。
この処理で取得される情報には、たとえば、前方の車窓画像IMとして用いることができるフロントカメラ21による車体2前方の撮像画像、乗員Mの視線を判定するために用いることができる車内カメラ23による車内の撮像画像、がある。
【0062】
視線誘導のための情報を取得した後、表示制御部31は、制動距離の地点を見る場合に、乗員Mの視線が通過するフロントガラス8上の透視座標P(x,y)を推定する(ステップST31)。
この透視座標P(x,y)に、乗員Mの視線を誘導するための車線ライン61を表示することで、乗員Mの視線を、該方向または地点に向けさせることができる。ここでは、予想進路に対して乗員Mの視線を誘導する場合を例に説明する。
図4の車窓画像IMでは、車体2の前方で、道路がまっすぐ前へ向かって延びている。この場合、
図4中に点線枠で示すように、乗員Mは、自動車1の進路となる該道路の路面の状況を目視により確認する必要がある。
【0063】
誘導地点への視線の透視座標P(x,y)の推定処理において、表示制御部31は、まず、車窓画像IMにおいて、予想進路(自車線)となる座標範囲を特定する(ステップST32)。
表示制御部31は、たとえば案内経路データや、道路データのリンクデータなどを用いて、車窓画像IM中の予想進路となる道路を撮像した撮像座標範囲を特定する。たとえば
図4の車窓画像IMの場合、
図5でハッチングを付した直線道路の撮像範囲が、予想進路となる道路の撮像座標範囲となる。
なお、道路データに基づいて対面二車線の道路であると判断される場合、片側二車線の道路であると判断される場合、自車が走行する車線の撮像範囲を、予想進路となる撮像座標範囲とすればよい。
また、車窓画像IMに対する処理により、道路を車線毎に区切る白線ライン、黄色線ラインを認識し得る場合、この情報に基づいて、自車が走行する車線の撮像範囲を特定してもよい。
【0064】
次に、表示制御部31は、制動距離を推定する(ステップST33)。
表示制御部31は、たとえばECU25から車速情報を取得し、走行中の路面の種類、たとえば舗装路や砂利道といった種類に応じた制動距離を演算する。
表示制御部31は、天候等に応じた制動距離を演算してもよい。晴れ、雨程度の天候は、無線通信部28により取得しても、フロントカメラ21の画像の雨ノイズや明るさに基づいて判断してもよい。
そして、表示制御部31は、たとえば60km/hで走行している場合、
図5に示すように、その速度での制動距離の地点となる、たとえば
図4の点線枠の略中心の位置を視野中心座標PCとして特定する(ステップST34)。
【0065】
車窓画像IMについて誘導したい視野中心座標PCを特定した後、表示制御部31は、該視野中心座標PCから、車線幅または車幅に相当する距離で離れている左右一対の視線誘導座標PL,PRを特定する(ステップST35)。具体的には、
図4の車窓画像IMの場合、表示制御部31は、
図5の視野中心座標PCから左右方向(水平方向)に位置する、車線の右縁および左縁を撮像した一対の視線誘導座標PL,PRを特定する。
なお、車幅の情報、道路幅や車線幅の情報は、ナビゲーション装置27から取得し得る。表示制御部31は、取得した情報を参照し、車幅以上となる間隔で、左右一対の視線誘導座標PL,PRを特定する。道路幅や車線幅が車幅を下回る場合、車幅以上の間隔となるように、車線の右縁および左縁からずらして、一対の視線誘導座標PL,PRを特定する。
【0066】
次に、表示制御部31は、車内カメラ23による車内の撮像画像に基づいて、乗員Mの視点(目線の起点)の空間位置を特定する(ステップST36)。
本実施形態の場合、車内の撮像画像には、乗員Mの顔が含まれる。この場合、画像中の頭部または眼球の位置を特定することにより、車内カメラ23に対する頭部または眼球の方向を特定し得る。また、乗員Mはシート6に着座し、シートベルト9により拘束されている。よって、スライドするシート6の前後位置の情報から、車内カメラ23から頭部または眼球までの距離を推定し得る。これらの情報に基づいて、表示制御部31は、乗車している乗員Mの頭部または眼球の空間位置を特定する。
この他にもたとえば、車外の所定物と重なる基準マークを表示させた状態で、乗員Mに頭部を左右へ動かしてもらい、基準マークが車外の所定物と重なって見える状態での画像を基準画像として撮像して保持する。その後、該基準画像中の頭部または眼球の撮像位置と、処理時の車内画像中の頭部または眼球の撮像位置との差により、乗車している乗員Mの頭部または眼球の空間位置を特定してもよい。この場合でも、表示制御部31は、乗車している乗員Mの頭部または眼球のおよその空間位置を特定し得る。
【0067】
次に、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導位置を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算する(ステップST37)。
図6は、フロントガラス8上の透視座標P(x,y)を得る演算処理の一例の説明図ある。
図6は、車体2および道路を垂直面で切断した模式的な断面図である。
図6には、道路の路面、車体2に固定設置されるフロントカメラ21、フロントガラス8、乗員Mの頭部および眼球が図示されている。また、フロントカメラ21により撮像される車窓画像IMが模式的に図示されている。この場合、車窓画像IMは、車体2の前方には、フロントカメラ21の撮像範囲の下縁と路面との交点において立設されている仮想画像として取り扱うことができる。
このような空間位置関係の下では、フロントカメラ21と車窓画像IM中の視線誘導座標PL,PRとを結ぶ線分を延長することにより、制動距離の地点、すなわち道路上の視線誘導地点P1の空間位置が得られる。そして、この道路上の視線誘導地点P1の空間位置と、乗員Mの頭部または眼球の空間位置とを結ぶ線分は、フロントガラス8と交差する。このような位置関係に基づいて演算することにより、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導地点P1を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算し得る。
【0068】
フロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、該透視座標P(x,y)に一対の車線ライン61を横並びに表示させる処理を開始する(ステップST38)。
表示制御部31は、右側の透視座標P(x,y)から上へ向かって、車線の右縁に沿って延びる右側の車線ライン61を表示させる。また、左側の透視座標P(x,y)から上へ向かって、車線の左縁に沿って延びる右側の車線ライン61を表示させる。
図13は、乗員Mがフロントガラス8越しに見る車窓風景の一例の説明図である。
図13では、一対の車線ライン61が、視線を誘導したい制動距離での右縁および左縁の地点から上へ向かって、自車が走行する車線の右縁および左縁と重ねて、横並びに表示されている。具体的には、右側の車線ライン61は、制動距離の地点から上へ向かって、車線の右縁と重なって延びる。左側の車線ライン61は、制動距離の地点から上へ向かって、車線の左縁と重なって延びる。
乗員Mの視線は、一対の車線ライン61により、車線へ誘導され得る。
【0069】
以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する風景についての風景情報を取得し、該風景情報に基づいて、自車(車体2)の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)又は自車の予想進路の右縁および左縁が透視される透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、該右縁および左縁に沿った一対の車線ライン61を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の車線ライン61を、自車の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の車線ライン61により強調表示された自車の予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、確認することができる。一対の車線ライン61の間を確認して、安全に走行し得るか否かを確認し得る。また、一対の車線ライン61の表示により、乗員Mの視線は予想進路に安定し、その結果として自動車1は安定的に走行し得る。また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて延びる一対の車線ライン61を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。これに対して、仮にたとえば予想進路上に1つの走行基準ラインを表示させた場合、乗員の目線は、その一点に集中し易くなる。その結果、一点の走行基準ラインにより乗員Mの視線を誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、一点の走行基準ラインから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本実施形態では、このようなミスリードを生じ難い。
さらに、本実施形態では、表示制御部31が、自動車1の走行自体についての自車走行情報を取得し、プロジェクタ30が、一対の車線ライン61を、該自車走行情報に応じた位置を一端として表示させる。線状物についての人の視線または意識は、線状物の中央部より端部に偏り易い。よって、乗員Mは、一対の車線ライン61により誘導された視線を動かすことなく、一対の車線ライン61の端部の位置により、自車の走行自体についての自車走行情報を得ることができる。
【0070】
本実施形態では、プロジェクタ30は、表示制御部31が自車走行情報として自動車1の速度を取得した場合、該速度での予想制動距離での停止地点の透視座標P(x,y)から上に、一対の車線ライン61を表示させる。よって、乗員Mは、一対の車線ライン61により誘導された視線を動かすことなく、一対の車線ライン61の下端の位置により、自車の予想制動距離の情報を得ることができる。
【0071】
[第5実施形態]
第5実施形態では、車線ライン61の表示位置を変更した例について説明する。
図14は、本発明の第5実施形態での、一対の車線ラインの変更処理のフローチャートである。表示制御部31は、
図12の替わりに、
図14の処理を実行する。
【0072】
図14において、表示制御部31は、ステップST37においてフロントガラス8上の透視座標P(x,y)を演算した後、該透視座標P(x,y)に一対の車線ライン61を横並びに表示させる処理を開始する(ステップST41)。
表示制御部31は、右側の透視座標P(x,y)から下へ向かって、車線の右縁に沿って延びる右側の車線ライン61を表示させる。また、左側の透視座標P(x,y)から下へ向かって、車線の左縁に沿って延びる右側の車線ライン61を表示させる。
乗員Mの視線は、一対の車線ライン61により、車線へ誘導され得る。
【0073】
以上のように、本実施形態では、プロジェクタ30は、表示制御部31が自車走行情報として自動車1の速度を取得した場合、該速度での予想制動距離での停止地点の透視座標P(x,y)から下に、予想進路の左右端に沿って一対の車線ライン61を表示させる。よって、乗員Mは、一対の車線ライン61により誘導された視線を動かすことなく、一対の車線ライン61の上端の位置により、自車の予想制動距離の情報を得ることができる。特に、予想制動距離までの範囲の左右が一対の車線ライン61により区切られた状態となるので、特に注意を要する範囲を良好に識別できる。
【0074】
[第6実施形態]
第6実施形態では、フロントガラス8に、乗員Mの視線を誘導するための一対の車線ラインを表示する例について説明する。
第6実施形態での自動車1および視線誘導システム20の構成は、第1実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
【0075】
次に、第6実施形態での視線誘導システム20による視線誘導のための処理の一例について説明する。視線誘導システム20は、乗員Mに見てほしい風景、たとえば進路に対して車線ラインを重ねて表示し、乗員Mの視線を誘導する。
図15は、第6実施形態の表示制御部31が周期的に実行する表示処理のフローチャートである。表示制御部31は、たとえば100ミリ秒毎に、
図15の処理を繰り返し実行し、フロントガラス8の表示を更新する。
【0076】
乗員Mの視線を誘導するために、表示制御部31は、
図15の表示処理を周期的に実行する。表示制御部31は、まず、乗員Mの視線を誘導するための表示の要否を判断する(ステップST1)。
表示制御部31は、たとえば、車体2の不安定な挙動や乗員Mの緊張度合を計測して数値化し、その値が一定レベルを超える場合、視線誘導表示を要と判断する。
また、表示制御部31は、たとえば急カーブ、車体2の飛び出しといった走行環境の変化がある場合、視線誘導表示を要と判断する。
また、表示制御部31は、乗員Mの直近の過去の視線の動きを判断し、たとえば気づいていない移動体がある場合に、視線誘導表示を要と判断してもよい。
これら以外の場合、表示制御部31は、視線誘導表示を不要と判断し、
図15の表示処理を終了する。
なお、表示制御部31は、視線誘導表示の要否判断を、後述する表示処理の直前に実施してもよい。
【0077】
視線誘導表示を要と判断した場合、表示制御部31は、
図15の表示処理を継続し、視線誘導のための情報を取得する(ステップST2)。
この処理で取得される情報には、たとえば、前方の車窓画像IMとして用いることができるフロントカメラ21による車体2前方の撮像画像、乗員Mの視線を判定するために用いることができる車内カメラ23による車内の撮像画像、がある。
【0078】
視線誘導のための情報を取得した後、表示制御部31は、乗員Mの視線を誘導したい視線の地点を見る場合に、乗員Mの視線が通過するフロントガラス8上の透視座標P(x,y)を推定する(ステップST51)。
この透視座標P(x,y)に、乗員Mの視線を誘導するための車線ライン71を表示することで、乗員Mの視線を、該方向または地点に向けさせることができる。ここでは、予想進路に対して乗員Mの視線を誘導する場合を例に説明する。
図4の車窓画像IMでは、車体2の前方で、道路がまっすぐ前へ向かって延びている。この場合、
図4中に点線枠で示すように、乗員Mは、自動車1の進路となる該道路の路面の状況を目視により確認する必要がある。
【0079】
誘導地点への視線の透視座標P(x,y)の推定処理において、表示制御部31は、まず、車窓画像IMにおいて、予想進路(自車線)となる座標範囲を特定する(ステップST52)。
表示制御部31は、たとえば案内経路データや、道路データのリンクデータなどを用いて、車窓画像IM中の予想進路となる道路を撮像した撮像座標範囲を特定する。たとえば
図4の車窓画像IMの場合、
図5でハッチングを付した直線道路の撮像範囲が、予想進路となる道路の撮像座標範囲となる。
なお、道路データに基づいて対面二車線の道路であると判断される場合、片側二車線の道路であると判断される場合、自車が走行する車線の撮像範囲を、予想進路となる撮像座標範囲とすればよい。
また、車窓画像IMに対する処理により、道路を車線毎に区切る白線ライン、黄色線ラインを認識し得る場合、この情報に基づいて、自車が走行する車線の撮像範囲を特定してもよい。
【0080】
予想進路(自車線)となる撮像座標範囲を特定した後、表示制御部31は、車窓画像IM中での、該予想進路の路面を全体的に見渡すことができる視野中心座標PCを特定する(ステップST53)。
表示制御部31は、たとえば予想進路上の所定距離の中央位置を視野中心座標PCとして特定する。
図4の車窓画像IMの場合、
図5に示すように、たとえば
図4の点線枠の中心が視野中心座標PCとして特定される。
【0081】
車窓画像IMについて視野中心座標PCを特定した後、表示制御部31は、該視野中心座標PCから、車線幅または車幅に相当する距離で離れている左右一対の視線誘導座標PL,PRを特定する(ステップST54)。具体的には、
図4の車窓画像IMの場合、表示制御部31は、
図5の所定距離地点の座標PCから左右方向(水平方向)に位置する、車線の右縁および左縁を撮像した一対の視線誘導座標PL,PRを特定する。
なお、車幅の情報、道路幅や車線幅の情報は、ナビゲーション装置27から取得し得る。表示制御部31は、取得した情報を参照し、車幅以上となる間隔で、左右一対の視線誘導座標PL,PRを特定する。道路幅や車線幅が車幅を下回る場合、車幅以上の間隔となるように、車線の右縁および左縁からずらして、一対の視線誘導座標PL,PRを特定する。
【0082】
次に、表示制御部31は、車内カメラ23による車内の撮像画像に基づいて、乗員Mの視点(目線の起点)の空間位置を特定する(ステップST55)。
本実施形態の場合、車内の撮像画像には、乗員Mの顔が含まれる。この場合、画像中の頭部または眼球の位置を特定することにより、車内カメラ23に対する頭部または眼球の方向を特定し得る。また、乗員Mはシート6に着座し、シートベルト9により拘束されている。よって、スライドするシート6の前後位置の情報から、車内カメラ23から頭部または眼球までの距離を推定し得る。これらの情報に基づいて、表示制御部31は、乗車している乗員Mの頭部または眼球の空間位置を特定する。
この他にもたとえば、車外の所定物と重なる基準マークを表示させた状態で、乗員Mに頭部を左右へ動かしてもらい、基準マークが車外の所定物と重なって見える状態での画像を基準画像として撮像して保持する。その後、該基準画像中の頭部または眼球の撮像位置と、処理時の車内画像中の頭部または眼球の撮像位置との差により、乗車している乗員Mの頭部または眼球の空間位置を特定してもよい。この場合でも、表示制御部31は、乗車している乗員Mの頭部または眼球のおよその空間位置を特定し得る。
【0083】
次に、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導位置を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算する(ステップST56)。
図6は、フロントガラス8上の透視座標P(x,y)を得る演算処理の一例の説明図ある。
図6は、車体2および道路を垂直面で切断した模式的な断面図である。
図6には、道路の路面、車体2に固定設置されるフロントカメラ21、フロントガラス8、乗員Mの頭部および眼球が図示されている。また、フロントカメラ21により撮像される車窓画像IMが模式的に図示されている。この場合、車窓画像IMは、車体2の前方には、フロントカメラ21の撮像範囲の下縁と路面との交点において立設されている仮想画像として取り扱うことができる。
このような空間位置関係の下では、フロントカメラ21と車窓画像IM中の視線誘導座標PL,PRとを結ぶ線分を延長することにより、視野中心座標PCの地点、すなわち道路上の視線誘導地点P1の空間位置が得られる。そして、この道路上の視線誘導地点P1の空間位置と、乗員Mの頭部または眼球の空間位置とを結ぶ線分は、フロントガラス8と交差する。このような位置関係に基づいて演算することにより、表示制御部31は、乗員Mがフロントガラス8越しに視線誘導地点P1を見る場合に、視線が通過するフロントガラス8上の透視座標P(x,y)を演算し得る。
【0084】
フロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、該透視座標P(x,y)に一対の車線ライン71を横並びに表示させる処理を開始する。
表示制御部31は、右側の透視座標P(x,y)に、右側の車線ライン71を表示させる。また、左側の透視座標P(x,y)に、左側の車線ライン71を表示させる(ステップST57)。
【0085】
図16は、乗員Mがフロントガラス8越しに見る車窓風景の一例の説明図である。
図16では、表示制御部31により表示更新処理により、透視座標P(x,y)に向かって車線ライン71が成長および消失する。
図16(A)の初期表示では、一対の車線ライン71は、フロントガラス8の下部に、自車が走行する車線の右縁および左縁と重ねて横並びに表示される。
その後、一対の車線ライン71は、
図16(B)に示すように、車線の右縁および左縁に沿って上へ向かって成長し、上端が左右の透視座標P(x,y)に到達する。
その後、一対の車線ライン71は、
図16(C)に示すように、その下端が車線の右縁および左縁に沿って上へ向かって移動する。
その後、一対の車線ライン71は、
図16(D)に示すように、左右の透視座標P(x,y)において消失する。
乗員Mの視線は、一対の車線ライン71が左右の透視座標P(x,y)に向かって成長および消失することにより、左右の透視座標P(x,y)へ誘導され得る。また、乗員Mは、一対の車線ライン71により、車線の右縁の空間位置と左縁の空間位置とを視認できる。また、一対の車線ライン71が車線の右縁および左縁と重なって見えることから、乗員Mは、車線幅が車体2の車幅以上であることを認識できる。
【0086】
以上のように、本実施形態では、表示制御部31が、車内から乗員Mが視認する風景についての風景情報を取得し、該風景情報に基づいて、自車(車体2)の通過が予想される予想進路を乗員Mが視認する際に視線が通過するフロントガラス8上の透視座標P(x,y)又は自車の予想進路の右縁および左縁が透視される透視座標P(x,y)を特定する。そして、プロジェクタ30は、該透視座標P(x,y)に基づいて、フロントガラス8に、自車の車幅以上に相当する間隔にて、該右縁および左縁に沿った一対の車線ライン71を横並びに表示させる。これにより、乗員Mは、フロントガラス8に表示された一対の車線ライン71を、自車の予想進路の右縁および左縁と重ねて見ることが可能になる。乗員Mの視線は、一対の車線ライン71により強調表示された自車の予想進路に誘導され得る。乗員Mは、運転中に確認が必要とされる予想進路について、確認することができる。一対の車線ライン71の間を確認して、安全に走行し得るか否かを確認し得る。また、一対の車線ライン71の表示により、乗員Mの視線は予想進路に安定し、その結果として自動車1は安定的に走行し得る。また、乗員Mが他の方向へ視線を動かした後でも、容易に且つ速やかに所望の予想進路の方向へ視線を戻すことができる。視線を戻す際に予想進路を探す必要がない。
特に、予想進路の右縁および左縁と重ねて延びる一対の車線ライン71を表示させているので、乗員Mの目線は、一点に集中し難くなり、予想進路の方向を全体的に観察し易くなる。予想進路上のみならず、予想進路の左右についても確認し易くなる。
これに対して、仮にたとえば予想進路上に1つの車線ラインを表示させた場合、乗員Mの目線は、その一点に集中し易くなる。その結果、一点の車線ラインにより乗員の視線を誘導できたとしても、その一点のみに意識が集中してしまい、予想進路の方向を全体的に観察し難くなる。特に、一点の車線ラインから微妙に離れた周囲である予想進路の左右の安全性について確認し難くなる。本実施形態では、このようなミスリードを生じ難い。
さらに、本実施形態では、プロジェクタ30は、表示後の経過時間に応じて、一対の車線ライン71を含むフロントガラス8の表示を変化させる。よって、一対の車線ライン71により誘導された乗員Mの視線を動かすことなく、該視線の先にある一対の車線ライン71が時間の経過に応じて変化することにより、さらに乗員Mの視線または意識を細かく誘導することができる。
【0087】
また、本実施形態では、プロジェクタ30は、経過時間に応じて一対の車線ライン71を視野中心座標P(x,y)に向かって成長および消失させる。よって、乗員Mの目線は、一対の車線ライン71が成長し且つ消失する方向、または一対の車線ラインが成長または消失する座標に誘導される。視野中心座標P(x,y)に対する視線の誘導効果を高めることができる。
【0088】
[第7実施形態]
第7実施形態では、フロントガラス8に、一対の車線ライン71とともに、一対の車線ライン71上を移動する移動マークを表示する例について説明する。
第7実施形態での自動車1および視線誘導システム20の構成は、第6実施形態のものと同様であり、同一の符号を使用してその説明を省略する。以下の説明では、主に相違点について説明する。
【0089】
図17は、本発明の第7実施形態の表示制御部が周期的に実行する表示処理のフローチャートである。
図18は、移動マークが車線ラインに沿って移動する、乗員がフロントガラス越しに見る車窓風景の一例の説明図である。
図18(A)には、一対の車線ライン71が表示される。
図18(B)から
図18(E)では、複数の移動マーク72が一対の車線ライン71上を、左右の透視座標P(x,y)に向かって、移動している。
【0090】
図17に示すように、ステップST56において視線が通過するフロントガラス8上の透視座標P(x,y)を演算した後、表示制御部31は、表示処理を開始する。
表示処理において、表示制御部31は、まず、
図18(A)に示すように、演算した透視座標P(x,y)に一対の車線ライン71を横並びに表示させる(ステップST61)。
一対の車線ライン71は、予想進路の右縁および左縁と重ねて、予想進路の右縁および左縁に沿って延在するように表示される。これにより、視線は、予想進路の路面および周囲に誘導される。
【0091】
一対の車線ライン71を表示させた後、表示制御部31は、更に、一対の車線ライン71に沿って移動する移動マーク72を表示させる(ステップST62)。
図18(B)から
図18(E)では、複数の移動マーク72は、一対の車線ライン71の端部に表示された後、一対の車線ライン71上を、左右の視線誘導座標PL,PRへ向かって、移動している。その後、移動マーク72は、左右の視線誘導座標PL,PRにおいて消失する。その後、新たな移動マーク72が一対の車線ライン71の端部に再び表示され、移動する。移動マーク72は、一対の車線ライン71上を繰り返し移動する。
【0092】
以上のように、本実施形態では、プロジェクタ30は、自車の予想進路の右縁および左縁の一方側に沿って延在して視認される車線ライン71とともに、経過時間に応じて車線ライン71上で移動する移動マーク72を表示する。よって、乗員Mの目線は、車線ライン71上で移動マーク72が移動する方向へ誘導される。移動マーク72の移動方向に沿って、視線を誘導できる。左右の視線誘導座標PL,PRといった目標位置へ視線を誘導できる。
【0093】
図19は、移動マーク72が車線ライン71と切離する方向へ移動する、乗員がフロントガラス越しに見る車窓風景の変形例の説明図である。
図19(A)から
図19(C)の変形例の場合、移動マーク72は、左右の視線誘導座標PL,PRに表示された後、一対の車線ライン71の内側中央へ向かって、移動する。そして、一対の車線ライン71の内側中央において消失する。
この変形例の場合でも、プロジェクタ30は、自車の予想進路の右縁および左縁の一方側に沿って延在して視認される一対の車線ライン71とともに、経過時間に応じて車線ライン71に対して接離する方向へ移動する移動マーク72を表示する。よって、乗員Mの目線は、移動マーク72が車線ライン71から接離する方向へ誘導される。移動マーク72の移動方向に対して、視線を誘導できる。目標とする視線へ誘導できる。
【0094】
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
【0095】
たとえば上記実施形態では、プロジェクタ30は、フロントガラス8に映像を投影している。この他にもたとえば、プロジェクタ30は、フロントガラス8と乗員Mとの間に設置され、車体2に乗車した乗員Mが車外を視認するために透視可能なスクリーンに、映像を表示させてもよい。また、乗員Mが装着するメガネのガラスによるスクリーンに、映像を表示させてもよい。
【0096】
上記実施形態では、表示制御部31は、撮像された車窓風景を風景情報として用いている。この他にもたとえば、ナビゲーション装置27の情報、無線通信部28の取得情報により、風景情報を得るようにしてもよい。
【0097】
上記実施形態では、案内経路を予想進路としている。この他にもたとえば、車窓画像IMそのものに映っている道路を、予想進路としてもよい。また、無線通信部28の取得情報に基づいて、予想進路を予想してもよい。
【0098】
上記実施形態では、一対の走行基準マーク41または一対の車線ライン61,71は、車線幅に相当する間隔で表示されることを基準とし、必要に応じて車幅に相当する間隔で表示される。この他にもたとえば、一対の走行基準マーク41または一対の車線ライン61,71は、常に車幅に相当する間隔で表示されてもよい。
【0099】
上記実施形態では、注意喚起ライン42は、一対の走行基準マーク41との間で表示される位置およびタイミングをずらして表示されている。この他にもたとえば、注意喚起ライン42は、一対の走行基準マーク41との間で、位置のみをずらして表示されても、タイミングのみをずらして表示されてもよい。特に、これらを異なる色にすることで、乗員Mは、注意喚起ライン42と一対の走行基準マーク41とを区別し得る。
【0100】
上記実施形態では、注意喚起ライン42は、1つで表示されている。この他にもたとえば、注意喚起ライン42は、複数表示されてもよい。
【0101】
上記実施形態は、本発明を自動車1に適用した例である。車両には、この他にも、二輪車、軌道を走る電車などがある。本発明は、これらの車両に対して適用し得る。