(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025099541
(43)【公開日】2025-07-03
(54)【発明の名称】表示制御装置
(51)【国際特許分類】
B60K 35/23 20240101AFI20250626BHJP
【FI】
B60K35/23
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023216260
(22)【出願日】2023-12-21
(71)【出願人】
【識別番号】000003207
【氏名又は名称】トヨタ自動車株式会社
(71)【出願人】
【識別番号】000004695
【氏名又は名称】株式会社SOKEN
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】津田 英樹
(72)【発明者】
【氏名】松延 剛
(72)【発明者】
【氏名】石丸 和寿
【テーマコード(参考)】
3D344
【Fターム(参考)】
3D344AA19
3D344AB01
3D344AC25
(57)【要約】
【課題】先行車両が表示領域の範囲外にあることをドライバに直感的に認知させることができる表示制御装置を得る。
【解決手段】表示ECU10は、カメラ22で取得した画像から自車両に先行する追従対象車両を検出し、AR-HUD12の画面表示枠内に位置する追従対象車両を認識させるマーカー画像を、追従対象車両の近傍の表示、及び前記追従対象車両に重畳した表示のいずれかで画面表示枠内に投影すると共に、追従対象車両の全体が画面表示枠内に入っている場合、マーカー画像は最大表示である第1形状を呈し、追従対象車両が画面表示枠から逸脱した場合、マーカー画像は画面表示枠外に存在する追従対象車両の位置に応じた画面表示枠に接した状態で変形する第2形状を呈するようにAR-HUD12を制御する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両のウィンドシールドの所定範囲である画面表示枠内に情報を投影して表示する情報表示部を制御する制御部と、
撮像部が撮像した車両前方の画像を取得する取得部と、を含み、
前記制御部は、
前記取得部が取得した前記画像から前記車両に先行する追従対象車両を検出し、前記画面表示枠内に位置する前記追従対象車両を認識させるマーカー画像を、前記追従対象車両の近傍の表示、及び前記追従対象車両に重畳した表示のいずれかで前記画面表示枠内に投影すると共に、前記追従対象車両の全体が前記画面表示枠内に入っている場合、前記マーカー画像は最大表示である第1形状を呈し、前記追従対象車両が前記画面表示枠から逸脱した場合、前記マーカー画像は前記画面表示枠外に存在する前記追従対象車両の位置に応じた前記画面表示枠に接した状態で変形する第2形状を呈するように前記情報表示部を制御する表示制御装置。
【請求項2】
前記第2形状は、前記画面表示枠内に存在する端部の形状を保持したまま、前記画面表示枠に接した端部から前記追従対象車両の車幅方向に短くなるように変形される請求項1に記載の表示制御装置。
【請求項3】
前記変形の際に、前記画面表示枠に接した前記マーカー画像の端部が切削されるようなアニメーション表現がされる請求項2に記載の表示制御装置。
【請求項4】
前記画面表示枠は、前記マーカー画像が変形する際に、四隅が強調表示される請求項3に記載の表示制御装置。
【請求項5】
前記制御部は、前記追従対象車両が前記画面表示枠に入っていく際に、前記第2形状のマーカー画像を、前記追従対象車両の車幅方向に展開して前記第1形状に復帰させるように前記情報表示部を制御する請求項1~4のいずれか1項に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はAR-HUD(拡張現実ヘッドアップディスプレイ)の表示制御装置に関する。
【背景技術】
【0002】
車両のウィンドシールド上に、先行車両に合わせてマーカー画像等の情報を表示する、AR-HUDが用いられるようになってきている。しかしながら、AR-HUDは、ウィンドシールドの限られた領域にのみ情報を表示するので、先行車両が表示領域の外に出ると、マーカー画像等の情報が表示されなくなる問題があった。
【0003】
特許文献1には、先行車両の位置が表示領域の側方に外れた場合でも、先行車両に追従した制御が作動していることをドライバに容易に認識させることができる発明が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の発明は、先行車両の位置が表示領域の側方に外れた場合、表示領域の周囲部分である画面表示枠にマーカー画像の意匠を変更して表示し続けるが、マーカー画像の意匠の変更が、先行車両の位置が表示領域の側方に外れたためなのか、それ以外の要因によるものかの判別が困難になるおそれがあった。
【0006】
本発明は上記事実を考慮して成されたもので、先行車両が表示領域の範囲外にあることをドライバに直感的に認知させることができる表示制御装置を得ることが目的である。
【課題を解決するための手段】
【0007】
前記課題を解決するために、請求項1に記載の表示制御装置は、車両のウィンドシールドの所定範囲である画面表示枠内に情報を投影して表示する情報表示部を制御する制御部と、撮像部が撮像した車両前方の画像を取得する取得部と、を含み、前記制御部は、前記取得部が取得した前記画像から前記車両に先行する追従対象車両を検出し、前記画面表示枠内に位置する前記追従対象車両を認識させるマーカー画像を、前記追従対象車両の近傍の表示、及び前記追従対象車両に重畳した表示のいずれかで前記画面表示枠内に投影すると共に、前記追従対象車両の全体が前記画面表示枠内に入っている場合、前記マーカー画像は最大表示である第1形状を呈し、前記追従対象車両が前記画面表示枠から逸脱した場合、前記マーカー画像は前記画面表示枠外に存在する前記追従対象車両の位置に応じた前記画面表示枠に接した状態で変形する第2形状を呈するように前記情報表示部を制御する。
【0008】
請求項1に記載の表示制御装置によれば、先行車両である追従対象車両が画面表示枠から逸脱した場合、マーカー画像を画面表示枠外に存在する追従対象車両の位置に応じて変形することにより、先行車両が表示領域である画面表示枠の範囲外にあることをドライバに直感的に認知させることができる。
【0009】
請求項2に記載の表示制御装置は、前記第2形状は、前記画面表示枠内に存在する端部の形状を保持したまま、前記画面表示枠に接した端部から前記追従対象車両の車幅方向に短くなるように変形される。
【0010】
請求項2に記載の表示制御装置によれば、マーカー画像を、画面表示枠に接した端部から前記追従対象車両の車幅方向に短くなるように変形させることで、第1形状と第2形状とに意匠の連続性を担保するので、先行車両が表示領域内から表示領域外に逸脱したことをドライバに直感的に認知させることができる。
【0011】
請求項3に記載の表示制御装置は、前記変形の際に、前記画面表示枠に接した前記マーカー画像の端部が切削されるようなアニメーション表現がされる。
【0012】
請求項3に記載の表示制御装置によれば、アニメーション表示により、先行車両が表示領域の範囲外にあることをドライバに直感的に認知させることができる。
【0013】
請求項4に記載の表示制御装置は、前記画面表示枠は、前記マーカー画像が変形する際に、四隅が強調表示される。
【0014】
請求項4に記載の表示制御装置によれば、画面表示枠の強調表示により、先行車両が表示領域の範囲外にあることをドライバに直感的に認知させることができる。
【0015】
請求項5に記載の表示制御装置は、前記制御部は、前記追従対象車両が前記画面表示枠に入っていく際に、前記第2形状のマーカー画像を、前記追従対象車両の車幅方向に展開して前記第1形状に復帰させるように前記情報表示部を制御する。
【0016】
請求項5に記載の表示制御装置によれば、マーカー画像を第2形状から第1形状に復帰させることにより、先行車両が画面表示枠内に入ったことをドライバに認識させる。
【発明の効果】
【0017】
本発明は、先行車両が表示領域の範囲外にあることをドライバに直感的に認知させることができるという効果を有する。
【図面の簡単な説明】
【0018】
【
図1】本実施形態におけるAR-HUDの一例を示した概略図である。
【
図2】本実施形態に係る表示制御装置の構成の一例を示すブロック図である。
【
図3】本実施形態に係る表示制御装置の処理の一例を示したフローチャートである。
【
図4】(A)は、画面表示枠内に存在した追従対象車両が、画面表示枠から逸脱しようとしている状態を示した説明図であり、(B)は、追従対象車両が画面表示枠から逸脱しつつある状態の一例を示した説明図であり、(C)は、追従対象車両が画面表示枠から逸脱した際に、マーカー画像を画面表示枠に留め置く場合を示した説明図であり、(D)は、画面表示枠内に存在した追従対象車両が、画面表示枠から逸脱しようとしている状態を示した説明図であり、(E)は、追従対象車両が画面表示枠から完全に逸脱した状態の一例を示した説明図であり、(F)は、追従対象車両が画面表示枠から逸脱したことにより、マーカー画像が、画面表示枠に接触して端部が圧縮される他の態様を示した説明図であり、(G)は、追従対象車両が画面表示枠から逸脱したことにより、マーカー画像が、画面表示枠に接触して端部が圧縮される別の態様を示した説明図である。
【
図5】(A)は、追従対象車両が画面表示枠から完全に逸脱してマーカー画像が第2形状における最小サイズまで圧縮された場合の説明図であり、(B)は、画面表示枠上で圧縮された第2形状のマーカー画像が、画面表示枠外に存在する追従対象車両の位置に応じて移動する状態を示した説明図であり、(C)は、画面表示枠内に追従対象車両が入っていく場合の一例を示した説明図である。
【
図6】(A)は、平行四辺形状の図形が断続的に連なった状態を呈するマーカー画像を示した説明図であり、(B)は、追従対象車両が画面表示枠から完全に逸脱して、マーカー画像が第2形状として最小サイズまで圧縮された状態を示した説明図であり、(C)は、矢印状を呈するマーカー画像を示した説明図であり、(D)は、追従対象車両が画面表示枠から完全に逸脱して、マーカー画像が第2形状として最小サイズまで圧縮された状態を示した説明図であり、(E)は、直方体状の図形が断続的に連なった状態を呈するマーカー画像を示した説明図であり、(F)は、追従対象車両が画面表示枠から完全に逸脱して、マーカー画像が第2形状として最小サイズまで圧縮された状態を示した説明図であり、(G)は、平行四辺形状を呈するマーカー画像を示した説明図であり、(H)は、追従対象車両が画面表示枠から完全に逸脱して、マーカー画像が第2形状として最小サイズまで圧縮された状態を示した説明図である。
【発明を実施するための形態】
【0019】
以下、図面を参照して本実施形態の一例を詳細に説明する。
図1は、本実施形態におけるAR-HUD12の一例を示した概略図である。AR-HUD12は、ステアリングホイール42の近傍に設けられた計器盤40とは別に、ウィンドシールド50のドライバ視点に相当する位置に設けられる。
図1に示したように、AR-HUD12は、所定の画面表示枠14の内側の領域が、マーカー画像等の情報を表示する表示領域になっている。画面表示枠14は、原則としてドライバには不可視の状態で設けられる。
【0020】
図2は本実施形態に係る表示制御装置100の構成の一例を示すブロック図である。本実施形態に係る表示制御装置100は、各種センサが検出した情報に基づいて、先行車両を示すマーカー画像等のデータを生成する表示ECU(Electronic Control Unit)10と、表示ECU10が生成したデータに基づいたマーカー画像等の情報を車両のウィンドシールド50に投影して表示するAR-HUD12とを含む。
【0021】
各種センサは、車両前方の画像を取得するカメラ22、車両周囲に存在する障害物等を検出する障害物センサ34、車両の速度を検出する車速センサ36、及び車両の操舵角を検出する操舵角センサ38を含む。
【0022】
カメラ22は、車両前方の画像を取得する。映像解析ECU32は、カメラ22が取得した車両前方の画像を解析して先行車両を追従対象車両として検出する。一例として映像解析ECU32は、CNN(畳み込みニューラルネットワーク:Convolutional Neural Network)等の数理モデルを、車両の種別が予め特定されている画像データを教師データとする機械学習で構築した機械学習済みモデルを用いて画像における車両を検出する。
【0023】
障害物センサ34は、例えば、ミリ波レーダ、LIDAR(Light Detection and Ranging)及びソナーである。ミリ波レーダは、車両前方や前側方にミリ波を出射することで対象物から反射してきた電波を受信し、伝搬時間及びドップラー効果によって生じる周波数差等を基に障害物等までの距離及び自車と当該障害物等との相対速度等を測定する。LIDARは、一例として、車両周辺に照射したパルス状のレーザの散乱光から障害物等を検出する。ソナーは、一例として、車両周辺に照射した超音波の反射率の差を利用して、障害物等を検出する。
【0024】
映像解析ECU32及び表示ECU10の各々は、演算処理装置であるCPU(Central Processing Unit)と記憶装置とを備え、記憶装置に記憶されたプログラムに基づいて所定の演算処理を実行する。映像解析ECU32及び表示ECU10の各々は一体で構成されていてもよい。また、表示ECU10及びAR-HUD12の各々は、一体で構成されていてもよい。
【0025】
本実施形態では、車両の進行方向は操舵角センサ38の検出結果から推定するが、操舵角センサ38に加えて、ジャイロセンサを備え、ジャイロセンサによって車両の進行方向を検出してもよい。
【0026】
図3は、本実施形態に係る表示制御装置100の処理の一例を示したフローチャートである。
図3に示した処理は、車両の電源がACC(Accessory)オン又はIG(Ignition)オンの状態になった場合に開始される。
【0027】
ステップS100では、映像解析ECU32が、カメラ22で取得した画像データから画面表示枠14内でマーカー画像を付する追従対象車両である先行車両を検出する。追従対象車両の検出は、映像解析ECU32の他に、表示ECU10が、映像解析ECU32での画像処理結果と、障害物センサ34の検知結果とに基づいて実行してもよい。
【0028】
ステップS102では、表示ECU10が、マーカー画像の表示を開始する。マーカー画像は、
図4~
図6に示したように、例えば、追従対象車両の近傍へ、又は追従対象車両に重畳して表示される。
【0029】
ステップS104では、追従対象車両の位置が画面表示枠14内であるか否かを判定する。ステップS104で、追従対象車両の位置が画面表示枠14内である場合は、手順をステップS106に移行し、追従対象車両の位置が画面表示枠14内ではない場合は、手順をステップS108に移行する。
【0030】
ステップS106では、マーカー画像の表示を現状のまま継続する。そして、ステップS108では、後述するようにマーカー画像を変形して表示を調節する。
【0031】
ステップS110では、車両の電源がOFFになったか否かを判定する。ステップS110で、車両の電源がOFFになった場合は処理を終了し、車両の電源がOFFになっていない場合は手順をステップS104に移行する。
【0032】
図4は、マーカー画像の変形の一例を示した説明図である。
図4(A)は、画面表示枠14内に存在した追従対象車両60が、画面表示枠14から逸脱しようとしている状態を示している。追従対象車両60が画面表示枠14内に存在する場合、マーカー画像70Aは、追従対象車両60の例えば直下に最大サイズで帯状に表示される第1形状を呈する。追従対象車両60の位置が画面表示枠14から逸脱するように変化した場合、マーカー画像70Bは、追従対象車両60の位置の変化に追随して移動し、画面表示枠14に接触した端部から、追従対象車両60の車幅方向(以下、「車幅方向」と略記)に短く圧縮されるように変形する第2形状を呈する。第2形状は、第1形状が短縮された状態なので、第2形状は第1形状との意匠の連続性が担保されている。かかる意匠の連続性は、後述するマーカー画像の他の態様も同様である。
【0033】
図4(B)は、追従対象車両60が画面表示枠14から逸脱しつつある状態の一例を示した説明図である。第2形状であるマーカー画像70Cは、画面表示枠14から逸脱しつつある追従対象車両60に追随して表示位置を変化させると共に、画面表示枠14に接触したマーカー画像70Cが車幅方向に短く圧縮されるように変形する。しかしながら、マーカー画像70Cの画面表示枠14内にある端部は、形状が保持される。後述するように本実施形態では、マーカー画像には様々な態様が存在するが、マーカー画像の画面表示枠14内にある端部の形状が保持される点は共通する。
【0034】
図4(C)は、追従対象車両60が画面表示枠14から逸脱した際に、マーカー画像72Aを画面表示枠14に留め置く場合を示している。追従対象車両60が、マーカー画像72Bが示す位置のように画面表示枠14から逸脱した場合、マーカー画像72Bのように表示するよりも、マーカー画像72Aのように表示する方が、ドライバに追従対象車両60の存在を認知させやすい。
【0035】
図4(D)は、画面表示枠14内に存在した追従対象車両60が、画面表示枠14から逸脱しようとしている状態を示している。追従対象車両60が画面表示枠14内に存在する場合、マーカー画像74Aは、追従対象車両60の例えば直下に帯状に表示され、追従対象車両60の位置が画面表示枠14から逸脱するように変化した場合、マーカー画像74Bは、追従対象車両60の位置の変化に追随して移動し、追従対象車両60が画面表示枠14から逸脱すると、マーカー画像74Bは、画面表示枠14に端部が接触すると共に当該端部が画面表示枠14から逸脱しつつある追従対象車両60の位置に応じて車幅方向に短く圧縮されるように変形する第2形状を呈する。
【0036】
図4(E)は、追従対象車両60が画面表示枠14から完全に逸脱した状態の一例を示した説明図である。マーカー画像74Cは、画面表示枠14に接触したマーカー画像70Cが圧縮され、追従対象車両60が画面表示枠14から完全に逸脱すると、マーカー画像74Cは、第2形状における最小サイズまで圧縮されて画面表示枠14の端に表示される。
【0037】
図4(F)は、追従対象車両60が画面表示枠14から逸脱したことにより、マーカー画像76が、画面表示枠14に接触して端部が圧縮される他の態様を示した説明図である。マーカー画像76は、画面表示枠14から逸脱しつつある追従対象車両60の位置に応じて車幅方向に短く圧縮されるように変形する第2形状を呈するが、圧縮される際にマーカー画像76が破片状の画像をアニメーション表示することにより、マーカー画像76の端部が画面表示枠14に接触して切削されるような表現をする。
【0038】
図4(G)は、追従対象車両60が画面表示枠14から逸脱したことにより、マーカー画像76が、画面表示枠14に接触して端部が圧縮される別の態様を示した説明図である。
図4(G)では、マーカー画像76画面表示枠14に接触して車幅方向に短く圧縮されるように変形する第2形状を呈する際に、破片状の画像をアニメーション表示すると共に、画面表示枠14の例えば四隅を黄色等の視認性のよい色調で強調表示78する。かかる強調表示78により、追従対象車両60が画面表示枠14から逸脱しつつある、又は完全に逸脱したことをドライバに認識させる。画面表示枠14の四隅の強調表示78は、破片状の画像をアニメーション表示する場合以外の、例えば、
図4(B)~
図4(E)に示した場合、さらには後述する
図5及び
図6に示した場合にも行ってもよい。
【0039】
図5(A)は、追従対象車両60が画面表示枠14から完全に逸脱してマーカー画像80が第2形状における最小サイズまで圧縮された場合の説明図である。圧縮されたマーカー画像80は、追従対象車両60が存在する位置に最も近い画面表示枠14上の位置に表示される。
【0040】
図5(B)は、画面表示枠14上で圧縮された第2形状のマーカー画像80が、画面表示枠14外に存在する追従対象車両60の位置に応じて移動する状態を示した説明図である。圧縮されたマーカー画像80が、追従対象車両60の位置の変化に応じて移動することにより、ドライバに追従対象車両60の存在を認識させる。
【0041】
図5(C)は、画面表示枠14内に追従対象車両60が入っていく場合の一例を示した説明図である。
図5(C)に示したように、マーカー画像82は、追従対象車両60が画面表示枠14内に進入するに従って圧縮された状態から車幅方向に展開され、画面表示枠14内での追従対象車両60の位置に応じて移動する。
【0042】
図6は、マーカー画像の他の態様を示している。
図6(A)は、平行四辺形状の図形が断続的に連なった状態を呈するマーカー画像84A、84Bを示している。第1形状であるマーカー画像84Aは、追従対象車両60の位置の変化に応じて移動し、追従対象車両60の位置が画面表示枠14の外に移動する場合、第2形状であるマーカー画像84Bは画面表示枠14に接触した状態で圧縮される。
【0043】
図6(B)は、追従対象車両60が画面表示枠14から完全に逸脱して、マーカー画像84Cが第2形状として最小サイズまで圧縮された状態を示している。最小サイズまで圧縮されたマーカー画像84Cは、小さな平行四辺形状を呈する。
【0044】
図6(C)は、矢印状を呈するマーカー画像86A、86Bを示している。第1形状であるマーカー画像86Aは、追従対象車両60の位置の変化に応じて移動し、追従対象車両60の位置が画面表示枠14の外に移動する場合、第2形状であるマーカー画像86Bは画面表示枠14に接触した状態で圧縮される。
【0045】
図6(D)は、追従対象車両60が画面表示枠14から完全に逸脱して、マーカー画像86Cが第2形状として最小サイズまで圧縮された状態を示している。最小サイズまで圧縮されたマーカー画像86Cは、矢印の左右の突起が合わさった菱形状を呈する。
【0046】
図6(E)は、直方体状の図形が断続的に連なった状態を呈するマーカー画像88A、88Bを示している。第1形状であるマーカー画像88Aは、追従対象車両60の位置の変化に応じて移動し、追従対象車両60の位置が画面表示枠14の外に移動する場合、マーカー画像88Bは画面表示枠14に接触した状態で圧縮される。
【0047】
図6(F)は、追従対象車両60が画面表示枠14から完全に逸脱して、マーカー画像88Cが第2形状として最小サイズまで圧縮された状態を示している。最小サイズまで圧縮されたマーカー画像88Cは、小さな直方体状を呈する。
【0048】
図6(G)は、平行四辺形状を呈するマーカー画像90A、90Bを示している。第1形状であるマーカー画像90Aは、追従対象車両60の位置の変化に応じて移動し、追従対象車両60の位置が画面表示枠14の外に移動する場合、マーカー画像90Bは画面表示枠14に接触した状態で圧縮される。
【0049】
図6(H)は、追従対象車両60が画面表示枠14から完全に逸脱して、マーカー画像84Cが第2形状として最小サイズまで圧縮された状態を示している。最小サイズまで圧縮されたマーカー画像90Cは、小さな平行四辺形状を呈する。
【0050】
以上説明したように、本実施形態に係る表示制御装置は、画面表示枠14と先行車両である追従対象車両60の位置とに応じてマーカー画像を変形する。具体的には、先行車両が画面表示枠14から逸脱した場合、マーカー画像を画面表示枠14の外に存在する追従対象車両60の位置に応じて変形することにより、先行車両が表示領域の範囲外にあることをドライバに直感的に認知させることができる。
【0051】
なお、特許請求の範囲における情報表示部は、明細書の発明の詳細な説明のAR-HUD12に、特許請求の範囲における撮像部は、明細書の発明の詳細な説明のカメラ22に、特許請求の範囲における制御部は、明細書の発明の詳細な説明の表示ECU10に各々相当する。
【符号の説明】
【0052】
10 表示ECU
12 AR-HUD
14 画面表示枠
22 カメラ
32 映像解析ECU
50 ウィンドシールド
60 追従対象車両
70A、70B、70C、72A、72B、74A、74B、74C、76、80、82、84A、84B、84C、86A、86B、86C、88A、88B、88C、90A、90B、90C マーカー画像
78 強調表示
100 表示制御装置