(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下に説明する好ましい実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【0010】
図1は、本発明の実施形態であるヘッドアップディスプレイ装置(以下、HUD装置ともいう)4の構成の概略図を示す。HUD装置4は、表示部10と、平面ミラー21と、曲面ミラー22と、筐体30と、を備え、筐体30はケース31と透明カバー32からなる。HUD装置4は、表示部10が表示した表示画像Mを表す表示光Lを、平面ミラー21と曲面ミラー22とで反射させ、HUD装置4が搭載される車両1の透光部材からなるウインドシールド2に出射し、搭乗者3(通常、車両1の運転者)に、実風景に重畳するように虚像Vを視認させるものである。また、
図1に示されている座標軸において、z軸正方向は車両1の前方向を表し、y軸正方向は鉛直方向上側を表し、x軸正方向(図面に対して垂直上方向)は車両1の左方向を表す。
【0011】
図2は、HUD装置4のブロック図を示す。HUD装置4は、表示部10、制御部100、車両情報取得部200、自動運転情報取得部300、側後方情報取得部400、前方情報取得部500を備えている。
【0012】
表示部10は、液晶パネルモジュールからなり、制御部100が生成した表示画像Mを表示する。なお、他の実施例として、有機EL(Electro Luminescence)素子等の自発光表示パネルモジュールであってもよく、DMD(Digital Micromirror Device)、LCoS(Liquid Crystal on Silicon)(登録商標)等の反射型表示パネルモジュールであってもよく、レーザー光を走査する走査型表示装置等であってもよい。
【0013】
制御部100は、回路で構成され、前記回路は少なくとも1つのプロセッサ(例えば、中央処理装置(CPU: Central Processing Unit))、少なくとも1つの特定用途向け集積回路(ASIC: Application Specific Integrated Circuit)、および/または、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA: Field-Programmable Gate Array)などの少なくとも1つの半導体集積回路を含む。少なくとも1つのプロセッサは、少なくとも1つのコンピュータ読み取り可能で有形な記録媒体から1つまたは複数の命令を読み取ることにより、
図2に示すHUD装置4の機能の全部または一部を実行することができる。前記記録媒体は、ハードディスクのような任意のタイプの磁気媒体、CDおよびDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、および不揮発性メモリを含む。揮発性メモリはDRAM及びSRAMを含み、不揮発性メモリはROM及びNVRAMを含む。半導体メモリは、少なくとも1つのプロセッサと共に回路の一部となる半導体回路でもある。ASICは、
図2に示すHUD装置4の機能の全部または一部を実行するようにカスタマイズされた集積回路であり、FPGAは、製造後に、
図2に示すHUD装置4の機能の全部または一部を実行できるように設計された集積回路である。制御部100は、車両情報取得部200、自動運転情報取得部300、側後方情報取得部400、前方情報取得部500からの情報を基に画像処理を行い、表示画像Mを生成、及び制御する。
【0014】
車両情報取得部200は、車両1の車両情報(例えば、速度、方向指示器の点滅、走行エネルギー残量、走行距離)をCAN(Control Area Network)や車載Ethernet等の図示しない通信インターフェースを介して取得し、制御部100に出力する。また、車両情報取得部200は、車両1の前記車両情報を図示しない自動運転部にあわせて出力してもよい。
【0015】
自動運転情報取得部300は、図示しない自動運転部から、少なくとも車両1の車線変更を含む自動運転関連情報をCANや車載Ethernet等の図示しない通信インターフェースを介して取得し、制御部100に出力する。
【0016】
なお、車両の自動運転システムは、SAE(Society of Automotive Engineers) J3016、及び官民ITS構想・ロードマップ2017(高度情報通信ネットワーク社会推進戦略本部・官民データ活用推進戦略会議)において、技術的レベルに応じてレベル0からレベル5までの6段階に定義されている。上記ロードマップでは、SAE レベル3以上の自動運転システムを「高度自動運転システム」、また、SAEレベル4,5の自動運転システムを「完全自動運転システム」と呼んでいる。本明細書における「自動運転」は、上記レベル1からレベル5までの自動運転システムを含むものとする。
【0017】
側後方情報取得部400は、ステレオカメラや単眼カメラから構成され、車両1の側後方を撮影し、撮影した画像データを解析して車両1の側後方情報を取得し、制御部100に出力する。前記側後方情報は、車両1の側後方の実風景、対象物(通常、他の車両)、前記対象物に関する対象物情報(例えば、対象物の画像、対象物の位置、対象物の速度、車両1と対象物の相対速度)等を含む。なお、他の実施例として、LiDAR(Light Detection and Ranging)等のリモートセンシングや、V2X(Vehicle to X)等の車車間通信、路車間通信から車両1の側後方情報を取得し、制御部100に出力するものであってもよい。また、側後方情報取得部400は、車両1の前記側後方情報を図示しない自動運転部にあわせて出力してもよい。
【0018】
前方情報取得部500は、ステレオカメラや単眼カメラから構成され、車両1の前方を撮影し、撮影した画像データを解析して車両1の前方情報を制御部100に出力する。なお、他の実施例として、LiDAR(Light Detection and Ranging)等のリモートセンシングや、V2X(Vehicle to X)等の車車間通信、路車間通信から車両1の前方情報を検知し、制御部100に出力するものであってもよい。また、前方情報取得部500は、車両1の前記前方情報を図示しない自動運転部にあわせて出力してもよい。
【0019】
次に、
図3乃至
図8を用いて、HUD装置4の表示、及び動作を説明する。
【0020】
図3は、HUD装置4の第一の実施形態を示す。制御部100は、自動運転情報取得部300の自動運転関連情報から車両1が車線変更を行うか判定する。制御部100は、車両1が車線変更を行う場合、側後方情報取得部400の側後方情報を基に側後方画像120を生成する。制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0021】
図4は、HUD装置4の第二の実施形態を示す。制御部100は、自動運転情報取得部300の自動運転関連情報から車両1が車線変更を行うか判定する。制御部100は、車両1が車線変更を行う場合、側後方情報取得部400の側後方情報を基に側後方画像120を生成する。制御部100は、前記側後方情報を基に側後方に車両1の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在し、且つ対象物の位置が車両1に近い場合や対象物の速度が車両1より速い場合に、車両1の車線変更に影響する前記対象物が存在すると判定する。車両1の車線変更に影響する対象物122が存在する場合は、対象物122に対する注意喚起画像130を側後方画像120に生成する。注意喚起画像130は、例えば対象物122に重畳するように位置する。制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0022】
注意喚起画像130は、搭乗者3に対象物122に対する注意喚起を示す画像であり、その表現は標識等から適切なものを選択してもよいし、文字や画像を用いたものであってもよい。
【0023】
図5は、HUD装置4の第三の実施形態を示す。制御部100は、自動運転情報取得部300の自動運転関連情報から車両1が車線変更を行うか判定する。制御部100は、車両1が車線変更を行う場合、側後方情報取得部400の側後方情報を基に側後方画像120を生成する。制御部100は、前記側後方情報を基に側後方に車両1の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在し、且つ対象物の位置が車両1に近い場合や対象物の速度が車両1より速い場合に、車両1の車線変更に影響する前記対象物が存在すると判定する。車両1の車線変更に影響する対象物122が存在する場合は、車線変更後の車両1の予測位置を示す予測位置画像140を側後方画像120に生成する。予測位置画像140は、例えば側後方画像120の対象物122との相対位置(対象物122の後方)に位置する。制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0024】
予測位置画像140は、搭乗者3に車線変更後の車両1の予測位置を示す画像であり、その表現は図形によって表してもよいし、車両1の画像を基にしたものであっても良い。
【0025】
図6は、HUD装置4の第四の実施形態を示す。制御部100は、自動運転情報取得部300の自動運転関連情報から車両1が車線変更を行うか判定する。制御部100は、車両1が車線変更を行う場合、側後方情報取得部400の側後方情報を基に側後方画像120を生成する。制御部100は、前記側後方情報を基に側後方に車両1の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在しない場合、又は対象物の位置が車両1から遠い場合や対象物の速度が車両1より遅い場合に、車両1の車線変更に影響する前記対象物が存在しないと判定する。車両1の車線変更に影響する対象物が存在しない場合は、車線変更の方向を示す方向指示画像150を側後方画像120に生成する。制御部100は、車両情報取得部200から取得した方向指示器の点滅に連動して、方向指示画像150を点滅表示するように制御しても良い。制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0026】
方向指示画像150は、搭乗者3に車両1の車線変更の方向を示す画像であり、その表現は図形によって表してもよいし、車両1のインジケータを基にしたものであっても良い。
【0027】
図7は、HUD装置4の第五の実施形態を示す。制御部100は、自動運転情報取得部300の自動運転関連情報から車両1が車線変更を行うか判定する。制御部100は、車両1が車線変更を行う場合、側後方情報取得部400の側後方情報を基に側後方画像120を生成する。側後方画像120は、境界121を側後方画像120の外周に備える。制御部100は、前記側後方情報を基に側後方に車両1の車線変更に影響する対象物が存在するか判定する。例えば、側後方情報に対象物が存在しない場合、又は対象物の位置が車両1から遠い場合や対象物の速度が車両1より遅い場合に、車両1の車線変更に影響する前記対象物が存在しないと判定する。車両1の車線変更に影響する対象物が存在しない場合は、境界121を点滅表示するように制御する。制御部100は、車両情報取得部200から取得した方向指示器の点滅に連動して、境界121を点滅表示するように制御してもよい。制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0028】
HUD装置4の第六の実施形態において、制御部100は、自動運転情報取得部300の自動運転関連情報から、車両1が車線変更を開始した、及び完了したことを示す情報を取得する。制御部100は、前記自動運転関連情報から、車線変更の途中であること、車線変更に要する時間、車線変更の完了までの残り時間を示す情報をさらに取得しても良い。制御部100は、車両1の車線変更の開始から車線変更の完了までの間に側後方画像120の生成を中止するように制御する。
【0029】
図8は、HUD装置4の第一乃至第六の実施形態における主要な動作手順を示すフロー図である。
【0030】
ステップS11において、制御部100は、自動運転情報取得部300から車両1の車線変更を含む自動運転関連情報を取得する。
【0031】
ステップS12において、制御部100は、前記自動運転関連情報から車両1が車線変更を行うか判定する。ステップS12において「車両1が車線変更を行わない場合(Noの場合)」は、処理を終了し、ステップS12において「車両1が車線変更を行う場合(Yesの場合)」は、ステップS13に移行する。
【0032】
ステップS13において、制御部100は、側後方情報取得部400から側後方情報を取得する。
【0033】
ステップS14において、制御部100は、前記側後方情報を基に側後方画像120を生成する。
【0034】
ステップS15において、制御部100は、前記側後方情報から車両1の側後方に車両1の車線変更に影響する対象物が存在するか判定する。「車両1の車線変更に影響する対象物が存在する場合(Yes)」は、ステップS21に移行し、「車両1の車線変更に影響する対象物が存在しない場合(No)」は、ステップS31に移行する。
【0035】
ステップS21において、制御部100は、前記側後方情報を基に注意喚起画像130を側後方画像120に生成する。
【0036】
ステップS22において、制御部100は、前記側後方情報を基に予測位置画像140を側後方画像120に生成する。
【0037】
ステップS23において、制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0038】
ステップS24において、制御部100は、表示画像Mを表示部10に出力する。表示部10は、表示画像Mを表示する。ステップS24の後、ステップS13に移行する。
【0039】
ステップS31において、制御部100は、方向指示画像150を側後方画像120に生成し、車両情報取得部200から取得した方向指示器の点滅に連動して、方向指示画像150を点滅表示するように制御する。
【0040】
ステップS32において、制御部100は、車両情報取得部200から取得した方向指示器の点滅に連動して、側後方画像120の境界121を点滅表示するように制御する。
【0041】
ステップS33において、制御部100は、側後方画像120が表示領域110内に配置されるように表示画像Mを生成する。
【0042】
ステップS34において、制御部100は、表示画像Mを表示部10に出力する。表示部10は、表示画像Mを表示する。
【0043】
ステップS35において、制御部100は、前記自動運転関連情報から側後方画像120の生成を中止するか判定する。「側後方画像120の生成を中止しない場合(Noの場合)」は、ステップS13に移行し、ステップS35において「側後方画像120の生成を中止する場合(Yesの場合)」は、ステップS36に移行する。
【0044】
ステップS36において、制御部100は、側後方画像120の生成を中止する。
【0045】
以上に説明した本発明は、以下の効果を奏する。
【0046】
第一の実施形態において、車両1の自動運転部が車線変更を行う際に、HUD装置4の虚像Vに側後方画像120が表示される。搭乗者3は、側後方画像120を視認することで、自動運転システムが正常に稼働しているという安心感を得ることができる。
【0047】
第二の実施形態において、車両1の側後方に車線変更に影響する対象物が存在する場合に、側後方画像120内に注意喚起画像130が表示される。搭乗者3は、側後方画像120、及び注意喚起画像130を視認することで、自動運転システムが正常に稼働している、且つ車線変更に影響する対象物を認識しているという安心感を得ることができる。
【0048】
第三の実施形態において、側後方画像120内に車両1の車線変更後の位置を示す予測位置画像140が表示される。搭乗者3は、側後方画像120、及び予測位置画像140を視認することで、自動運転システムが正常に稼働している、且つ自車両の未来位置を知ることができるという安心感を得ることができる。
【0049】
第四の実施形態において、側後方画像120内に方向指示画像150が表示され、方向指示器と連動して点滅する。搭乗者3は、側後方画像120、及び方向指示画像150を視認することで、自動運転システムが正常に稼働しているという安心感を得ることができ、且つ自然な情報提示として受け取ることができる。
【0050】
第五の実施形態において、側後方画像120の境界121が方向指示器と連動して点滅する。搭乗者3は、側後方画像120、及び境界121を視認することで、自動運転システムが正常に稼働しているという安心感を得ることができ、且つ自然な情報提示として受け取ることができる。
【0051】
第六の実施形態において、制御部100は、側後方画像120の生成を車両1の車線変更の開始から完了までの間に中止する。搭乗者3は、車両1の車線変更に伴って側後方画像120が消えることで、自動運転システムが正常に稼働しているという安心感を得ることができ、且つ車両1の前方への視線復帰を早くすることができる。
【0052】
なお、第一の実施形態の変形例として、制御部100は、側後方画像120を車両1が車線変更する方向に生成しても良い。例えば、車両1がx軸正方向(左方向)に車線変更する場合は表示領域110の中心よりも左側に側後方画像120を生成し、車両1がx軸負方向(右方向)に車線変更する場合は表示領域110の中心よりも右側に側後方画像120を生成する。
【0053】
なお、第三の実施形態の変形例として、制御部100は、車両1の側後方に車線変更に影響する対象物が存在しない場合においても、予測位置画像140を生成しても良い。
【0054】
なお、第六の実施形態の変形例として、制御部100は、側後方画像120の生成を中止するタイミングを、車両1の車線変更の開始から車線変更の完了までの間で、適宜調整してよい。
【0055】
なお、上記実施形態の変形例として、
図8のフロー図において、ステップS24の後、及びステップS35の判定が「No」の場合に、ステップS11に移行しても良い。
【0056】
なお、上記実施形態において、制御部100は、車両情報取得部200の車両情報、自動運転情報取得部300の自動運転関連情報、側後方情報取得部400の側後方情報、及び前方情報取得部500の前方情報から別の情報画像(例えば、車両1の速度や目的地までのナビゲーション)を生成し、側後方画像120と合わせて表示画像Mを生成しても良い。
【0057】
なお、上記実施形態の構成としてウインドシールド型のHUD装置を用いたが、コンバイナ型のHUD装置にも適用可能である。
【0058】
本発明は、以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更(構成要素の削除も含む)を加えることが可能である。