IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧

特開2024-134571表示制御装置及び表示制御プログラム
<>
  • 特開-表示制御装置及び表示制御プログラム 図1
  • 特開-表示制御装置及び表示制御プログラム 図2
  • 特開-表示制御装置及び表示制御プログラム 図3
  • 特開-表示制御装置及び表示制御プログラム 図4
  • 特開-表示制御装置及び表示制御プログラム 図5
  • 特開-表示制御装置及び表示制御プログラム 図6
  • 特開-表示制御装置及び表示制御プログラム 図7
  • 特開-表示制御装置及び表示制御プログラム 図8
  • 特開-表示制御装置及び表示制御プログラム 図9
  • 特開-表示制御装置及び表示制御プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134571
(43)【公開日】2024-10-04
(54)【発明の名称】表示制御装置及び表示制御プログラム
(51)【国際特許分類】
   G01C 21/26 20060101AFI20240927BHJP
   B60K 35/00 20240101ALI20240927BHJP
【FI】
G01C21/26 C
B60K35/00 Z
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023044825
(22)【出願日】2023-03-21
(71)【出願人】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【氏名又は名称】矢作 和行
(74)【代理人】
【識別番号】100121991
【弁理士】
【氏名又は名称】野々部 泰平
(74)【代理人】
【識別番号】100145595
【弁理士】
【氏名又は名称】久保 貴則
(72)【発明者】
【氏名】作間 靖
(72)【発明者】
【氏名】津田 佳行
【テーマコード(参考)】
2F129
3D344
【Fターム(参考)】
2F129AA03
2F129BB03
2F129BB20
2F129BB22
2F129EE02
2F129EE52
2F129EE73
2F129EE81
2F129EE85
2F129GG17
2F129GG18
2F129HH12
2F129HH14
2F129HH18
2F129HH19
2F129HH20
2F129HH21
3D344AA30
3D344AB01
3D344AC25
(57)【要約】
【課題】重畳表示における表示位置のずれの発生を低減可能な表示制御装置を提供する。
【解決手段】表示制御装置20は、車両1に搭載されたHUD30により表示される、車両の外界の重畳対象TOと重畳する重畳表示を制御する。表示制御装置20は、車両1のGNSS受信装置41によるGNSS測位情報と、当該GNSS測位情報における車両1の位置と道路地図とをマッチングして生成されたマップマッチング位置情報と、を取得し、車両1の位置及び方位角を特定する自車位置特定部22,222と、位置及び方位角を用いて得られる車両1に対する重畳対象TOの相対位置関係に基づき、重畳表示をレイアウトして生成する表示処理部24と、を備える。相対位置関係の決定に、GNSS測位情報を用いるか、又はマップマッチング位置情報を用いるかが、車両1の状態に応じて切り替え可能に構成されている。
【選択図】図7
【特許請求の範囲】
【請求項1】
車両(1)に搭載された表示装置(30)により表示される、前記車両の外界の重畳対象(TO)と重畳する重畳表示を制御する表示制御装置であって、
前記車両のGNSS受信装置(41)によるGNSS測位情報と、前記GNSS測位情報における前記車両の位置と道路地図とをマッチングして生成されたマップマッチング位置情報と、を取得し、前記車両の位置及び方位角を特定する自車位置特定部(22,222)と、
前記位置及び前記方位角を用いて得られる前記車両に対する前記重畳対象の相対位置関係に基づき、前記重畳表示をレイアウトして生成する表示処理部(24)と、を備え、
前記相対位置関係の決定に、前記GNSS測位情報を用いるか、又は前記マップマッチング位置情報を用いるかを、前記車両の状態に応じて切り替え可能に構成されている表示制御装置。
【請求項2】
前記自車位置特定部は、前記GNSS測位情報と、前記マップマッチング位置情報とを、経路案内システムから取得する請求項1に記載の表示制御装置。
【請求項3】
前記車両が前記道路地図にマッチングされた道路に沿って走行していると判断される場合に、前記表示処理部は、前記マップマッチング位置情報を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする請求項1に記載の表示制御装置。
【請求項4】
前記車両が前記道路地図にマッチングされた道路に沿って走行していると判断できない場合に、前記表示処理部は、前記GNSS測位情報を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする請求項2に記載の表示制御装置。
【請求項5】
前記車両の状態は、前記車両の車両運動の状態を含む、請求項1に記載の表示制御装置。
【請求項6】
前記車両運動を示す条件として、前記車両の速度が予め設定された速度閾値以上であり、かつ、単位時間当たりの前記車両の操舵量が予め設定された操舵量閾値以下である場合に、前記表示処理部は、前記マップマッチング位置情報を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする請求項5に記載の表示制御装置。
【請求項7】
前記相対位置関係の決定に前記GNSS測位情報が用いられる場合に、前記自車位置特定部は、前記車両のヨーレートセンサ(43)からヨーレートを取得し、前記GNSS測位情報における方位角を、前記ヨーレートに基づいて補正する請求項1に記載の表示制御装置。
【請求項8】
前記自車位置特定部は、前記GNSS測位情報における方位角を、前記ヨーレートと前記方位角の誤差量との相関を示す関数であって、予め記憶されている補正関数(22a)によって得られた誤差量によって補正する請求項7に記載の表示制御装置。
【請求項9】
前記相対位置関係の決定に前記GNSS測位情報が用いられる場合に、前記自車位置特定部は、最新の前記GNSS測位情報における方位角を、最新の前記GNSS測位情報を取得した時刻からの経過時間に基づいて得られた補正量によって補正する請求項1に記載の表示制御装置。
【請求項10】
前記車両の状態は、前記車両の周辺監視センサにより、前記車両が走行する車線の両側に存在する車線区画線(WL)の認識状態を含み、
両側の前記車線区画線が認識されている場合に、前記自車位置特定部は、前記マップマッチング位置情報における方位角を、認識された前記車線区画線の認識結果を用いて補正し、
前記表示処理部は、前記マップマッチング位置情報における前記位置と、前記車線区画線の認識結果によって補正された前記方位角を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする請求項1に記載の表示制御装置。
【請求項11】
車両(1)に搭載された表示装置(30)により表示される、前記車両の外界の重畳対象(TO)と重畳する重畳表示を制御する表示制御プログラムであって、
少なくとも1つのプロセッサ(20b)に、
前記車両のGNSS受信装置(41)によるGNSS測位情報と、前記GNSS測位情報における前記車両の位置と道路地図とをマッチングして生成されたマップマッチング位置情報と、を取得し、前記車両の位置及び方位角を特定することと、
前記位置及び前記方位角を用いて得られる前記車両に対する前記重畳対象の相対位置関係に基づき、前記重畳表示をレイアウトして生成することと、を実行するように構成され、
前記相対位置関係の決定に、前記GNSS測位情報を用いるか、又は前記マップマッチング位置情報を用いるかを、前記車両の状態に応じて切り替え可能に構成されている表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この明細書による開示は、車両に適用される拡張現実(Augmented Reality)表示(以下、AR表示)等の重畳表示を制御する技術に関する。
【背景技術】
【0002】
特許文献1に開示の装置では、車両の外界の重畳対象に重畳する重畳表示において、表示位置が重畳対象に対してずれる場合に、表示の視認性を低下させる。これにより、表示位置がずれることによる乗員の違和感が低減される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第6176478号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、表示の視認性が低下すること自体が乗員に違和感や煩わしさを生じさせることがある。このため、表示位置のずれの発生自体を、低減させることが求められている。
【0005】
この明細書の開示による目的のひとつは、重畳表示における表示位置のずれの発生を低減可能な表示制御装置及び表示制御プログラムを提供することにある。
【課題を解決するための手段】
【0006】
ここに開示された態様のひとつは、車両(1)に搭載された表示装置(30)により表示される、車両の外界の重畳対象(TO)と重畳する重畳表示を制御する表示制御装置であって、
車両のGNSS受信装置(41)によるGNSS測位情報と、GNSS測位情報における車両の位置と道路地図とをマッチングして生成されたマップマッチング位置情報と、を取得し、車両の位置及び方位角を特定する自車位置特定部(22,222)と、
位置及び方位角を用いて得られる車両に対する重畳対象の相対位置関係に基づき、重畳表示をレイアウトして生成する表示処理部(24)と、を備え、
相対位置関係の決定に、GNSS測位情報を用いるか、又はマップマッチング位置情報を用いるかを、車両の状態に応じて切り替え可能に構成されている。
【0007】
また、開示された態様の他のひとつは、車両(1)に搭載された表示装置(30)により表示される、車両の外界の重畳対象(TO)と重畳する重畳表示を制御する表示制御プログラムであって、
少なくとも1つのプロセッサ(20b)に、
車両のGNSS受信装置(41)によるGNSS測位情報と、GNSS測位情報における車両の位置と道路地図とをマッチングして生成されたマップマッチング位置情報と、を取得し、車両の位置及び方位角を特定することと、
位置及び方位角を用いて得られる車両に対する重畳対象の相対位置関係に基づき、重畳表示をレイアウトして生成することと、を実行するように構成され、
相対位置関係の決定に、GNSS測位情報を用いるか、又はマップマッチング位置情報を用いるかを、車両の状態に応じて切り替え可能に構成されている。
【0008】
これらの態様によると、車両の状態に応じて、GNSS測位情報及びマップマッチング位置情報のいずれを用いて相対位置関係を決定するかが切り替えられる。すなわち、車両のシステム上、使用できる手段のうち、重畳対象に対する表示位置のずれがより小さくなる手段を選択することが可能となる。故に、重畳表示における表示位置のずれの発生は、低減可能となる。
【0009】
なお、特許請求の範囲等に含まれる括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
【図面の簡単な説明】
【0010】
図1】車両用システムの車両への搭載状態を示す図。
図2】車両用システムの全体構成を示すブロック図。
図3】経路案内システム及び表示制御装置の機能的構成を示すブロック図。
図4】車線区画線を用いた方位角の補正を説明する図。
図5】補正関数を説明するグラフ。
図6】重畳表示の表示例を示す図。
図7】表示制御装置による処理方法を説明するフローチャート。
図8】方位角の真値と取得できる方位角との違いを説明するグラフ。
図9】遅延時間及び更新周期を説明する図。
図10】表示制御装置の機能的構成を示すブロック図。
【発明を実施するための形態】
【0011】
以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。
【0012】
(第1実施形態)
図1,2に示すように、第1実施形態による表示制御装置20は、車両1に搭載された表示装置であるヘッドアップディスプレイ(Head-up Display;HUD)30の表示を制御する。表示制御装置20は、車両1に用いられる車両用システムを、HUD30、GNSS受信装置41、経路案内システム10、ヨーレートセンサ42、周辺監視センサ43及び運転支援システム44、DSM45等と共に構成している。これら車両用システムの構成要素は、車載ネットワークの通信バスにノードとして接続され、相互に通信可能となっていてよい。構成要素のうち一部は、直接有線接続されていてもよい。
【0013】
HUD30は、特に図1に示すように、車両1のインストルメントパネル2に設置されている。HUD30は、車両1のフロントウインドシールド(以下、FWS)3へ向けて表示光を投影する。これによりHUD30は、画像を、車両1の乗員(例えばドライバ)により視認可能な虚像VIとして表示する。すなわち、FWS3により反射された表示光が車両1の室内に設定された視認領域に到達することにより、視認領域にアイポイントEPを位置させた乗員は、各種情報を視認することができる。
【0014】
FWS3は、例えばガラス又は合成樹脂により透光性の板状に形成され、インストルメントパネル2よりも上方に配置されている。FWS3は、車両1の前方から後方へ向かう程、インストルメントパネル2に対して離れるように傾斜して配置されている。FWS3は、HUD30から画像の表示光が投影される反射面を、滑らかな凹面乗又は平面状に形成している。乗員は、FWS3を通じて外界を視認することができる。
【0015】
視認領域は、HUD30により表示される虚像VIが所定の規格を満たす(例えば虚像全体が所定の輝度以上となる等)ことで、乗員により視認可能となる空間領域であって、アイボックスとも称される。視認領域は、典型的には、車両1に設定されたアイリプスと重なるように設定される。アイリプスは、車両1の室内におけるドライバのアイポイントEPの空間分布を統計的に表したアイレンジに基づいて、仮想の楕円体状に設定されている。
【0016】
HUD30は、例えば表示部31及び光路変更部39を含む構成である。表示部31は、表示器32、第1ミラー33及び第2ミラー34を含む構成である。表示器32は、例えば透過型の液晶式表示器である。表示器32は、液晶パネル及びバックライトをケーシングに収容して形成されている。表示器32は、バックライトにより液晶パネルの画面を透過照明することで、画面に表示される表示コンテンツに基づく表示光を第1ミラー33へ向けて投射するようになっている。
【0017】
第1ミラー33は、例えば合成樹脂又はガラス等により矩形板状に形成されている。第1ミラー33は、その表面にアルミニウムからなる反射膜を蒸着させること等によって形成された反射面を有している。反射面は、滑らかな平面状、滑らかな凸面状等に形成される。表示器32から第1ミラー33に入射した表示光は、反射面により第2ミラー34へ向けて反射される。
【0018】
第2ミラー34は、合成樹脂又はガラス等により、矩形板状に形成されている凹面鏡である。第2ミラー34は、その表面にアルミニウムからなる反射膜を蒸着させること等によって形成された反射面を有している。反射面は、例えば滑らかな凹面状に形成される。第1ミラー33に反射されて第2ミラー34に入射した表示光は、反射面によりFWS3へ向けて反射される。
【0019】
光路変更部39は、第2ミラー34に機械的に連結されたモータを有している。車両1のスイッチパネルないしステアリングに設けられた表示調整スイッチが操作されると、光路変更部39は、モータを制御して、第2ミラー34を駆動する。これにより第2ミラー34の反射面の向きが変更され、HUD30による光学系の光路が変更される。この結果、HUD30により表示される虚像VIの表示範囲は、車両1の上下方向に移動する。
【0020】
以上のHUD30には、表示可能画角が設定される。表示可能画角は、ドライバのアイポイントEPを基準とした、HUD10により虚像VIを表示可能な角度範囲である。詳述すると、仮にHUD30の画面を全画素点灯した場合に、表示される虚像VIの結像面における垂直方向両外縁がアイポイントEPに対して張る角は、垂直画角と定義される。同様に、当該結像面における水平方向両外縁がアイポイントEPに対して張る角が水平画角と定義される。HUD30では、車両1の垂直方向に対応した垂直画角(例えば5~10°程度)よりも水平方向に対応した水平画角(例えば15~25°程度)の方が大きくされている。
【0021】
GNSS受信装置41は、例えばFWS3、インストルメントパネル2の表層等の車両1の外界からの電波の受信環境が良好な位置に設置される。GNSSは、Global Navigation Satellite Systemの略称である。GNSS受信装置41は、複数の人口衛星(測位衛星)から送信された測位信号を受信する。GNSS受信装置41は、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等の衛星測位システムのうちで、少なくとも1つの衛星測位システムの各測位衛星からGNSS測位情報を逐次受信可能である。
【0022】
GNSS測位情報は、例えば車両1の位置及び車両1の向きを含む。車両1の位置は、例えば緯度及び経度で表されている。車両1の向きは、例えば真北を基準とした方位角で表されている。
【0023】
経路案内システム10は、車両1において乗員が設定した目的地までの経路を案内するシステムである。経路案内システム10は、カーナビゲーションシステムであってよい。経路案内システム10は、例えば処理部10a、地図データベース(以下、地図DB)10b及び表示デバイス10cを含む構成である。
【0024】
処理部10aは、例えばコンピュータを主体に構成されている。処理部10aは、メモリ及びプロセッサを、少なくとも1つずつ有している。メモリは、プロセッサにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも1種類の非遷移的実体的記憶媒体であってよい。さらにメモリとして、例えばRAM(Random Access Memory)等の書き換え可能な揮発性の記憶媒体が設けられていてもよい。プロセッサは、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも1種類をコアとして含む。
【0025】
図DB10bは、経路案内システム10において利用可能な道路地図を、記憶しているデータベースである。地図DB10bは、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも1種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)を含んで構成される。地図DB10bは、車両ディーラー、車両運行事業者等によって管理され、インストールされた道路地図を記憶していてもよい。地図DB10bは、V2X通信システムを介した地図サーバとの通信により、最新の地図データを取得して記憶可能に構成されていてもよい。道路地図は、車両1が走行する道路の位置、形状、車線数、道路種別等の情報を含んでいる。道路種別は、例えば一般道、高速道路等を区別するための種別である。
【0026】
表示デバイス10cは、例えば液晶表示デバイスであり、車両1のインストルメントパネル2において、運転席と助手席との間に設置される。表示デバイス10cは、処理部10aによる制御に従って、車両1の乗員に向けて経路案内等に関する表示を行なう。
【0027】
処理部10aは、プロセッサによるプログラムの実行により、経路案内機能を実現するための複数の機能部を有する。具体的に、処理部10aは、図3に示すように、マップマッチング部11、経路策定部12及び経路表示部13を含む構成である。
【0028】
マップマッチング部11は、GNSS受信装置41が受信したGNSS測位情報を、道路地図にマッチングし、これにより得られたマップマッチング位置情報を生成する。具体的に、マップマッチング部11は、GNSS測位情報が示す車両1の位置を、当該位置の近傍に存在する道路上に位置するように補正する。この補正において、マップマッチング部11は、過去のマップマッチング位置情報を参照し、車両1の位置ないし移動方向が不連続にならないような位置に補正してもよい。この補正において、マップマッチング部11は、自律航法により推定される車両1の位置を考慮してもよい。すなわち、マップマッチング部11は、周辺監視センサ43の検出結果を取得し、当該検出結果と整合するように補正を実行してもよい。
【0029】
マップマッチング位置情報は、GNSS測位情報と同様に、例えば車両1の位置及び車両1の向きを含む。車両1の位置は、例えば緯度及び経度で表されている。車両1の向きは、例えば真北を基準とした方位角で表されている。なお、GNSS測位情報は、マップマッチング前の位置情報と称されてもよい。マップマッチング位置情報は、マップマッチング後の位置情報と称されてもよい。
【0030】
経路策定部12は、マップマッチング位置情報により推定された車両1の位置及び方位角に基づき、目的地までの経路を策定する。経路表示部13は、表示デバイス10cに表示する表示コンテンツとして、道路地図にマップマッチング位置情報及び経路策定部12が策定した経路を重畳させたコンテンツを生成する。この表示コンテンツが表示デバイス10cに表示される。
【0031】
ヨーレートセンサ42は、車両1に作用するヨーレート(角速度)を検出する。ヨーレートセンサ42は、例えばピエゾ式のセンサ、MEMS式のセンサである。ヨーレートセンサ42により検出されたヨーレートは、通常、車両1において横滑り防止制御等に用いられるが、本実施形態では、HUD30の表示制御にも流用される。
【0032】
図2に示す周辺監視センサ43は、車両1の外界、より詳細には車両1の周辺環境を監視する自律センサである。周辺監視センサ43は、カメラ、ミリ波レーダ、超音波ソナー、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等のうち、少なくとも1種類を含む。最も広く採用されている周辺監視センサ43は、車両1の前方を監視する前方カメラである。
【0033】
運転支援システム44は、例えば運転支援ECUを主体に構成され、自動化レベル2の運転支援を実現する。自動化レベルは、例えばSAE J3016に定義されたレベルであってよい。運転支援システム44は、周辺監視センサ43の検知情報を用いて、ACC(Adaptive Cruise Control)、LTC(Lane Trace Control)及びLCA(Lane Change Assist)等の運転支援機能を実現する。運転支援システム44は、運転支援機能の状態を示す情報、運転支援機能を実現するために検知した車両1の周辺に存在する障害物及び物標の情報等を、表示制御装置20へ提供する。
【0034】
さらに運転支援システム44は、運転支援の際に参照される車両1の車両運動に関する情報(以下、車両運動情報)を、表示制御装置20へ提供してよい。車両運動情報は、車両1の速度、車両1の加速度ないし減速度、車両1の操舵量の情報等を含んでいてよい。
【0035】
表示制御装置20は、HUD30によって実現される表示を制御する。特に本実施形態の表示制御装置20は、車両1の外界の重畳対象TOと重畳する重畳表示(例えばAR表示)を制御可能である。表示制御装置20は、さらに光路変更部39を制御してもよい。表示制御装置20は、例えばHCU(Human Machine Interface Control Unit)である。表示制御装置20は、HUD30の他、車両1の速度等を表示するメータディスプレイ、ドライバの状態を監視するDSM(Driver Status Monitor)45等を統合的に制御してもよい。
【0036】
ここで、DSM45は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等を含む構成である。DSM45は、運転席のヘッドレスト部に近赤外カメラを向けた姿勢にて設置されている。DSM45は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、ドライバのアイポイントEPの位置及び視線方向等の情報を撮像画像から抽出し、抽出した状態情報を、運転支援システム44、表示制御装置20等へ向けて逐次出力する。
【0037】
表示制御装置20は、図2に示すように、メモリ20a及びプロセッサ20bを、少なくとも1つずつ有している。メモリ20aは、プロセッサ20bにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体、及び光学媒体等のうち、少なくとも1種類の非遷移的実体的記憶媒体であってよい。さらにメモリ20aとして、例えばRAM(Random Access Memory)等の書き換え可能な揮発性の記憶媒体が設けられていてもよい。プロセッサ20bは、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも1種類をコアとして含む。
【0038】
表示制御装置20は、プロセッサ20bによる表示制御プログラムの実行により、表示制御機能を実現するための機能部を有する。具体的に図3に示すように、表示制御装置20は、視点位置特定部21、自車位置特定部22、外界情報把握部23、及び表示処理部24を含む構成である。
【0039】
視点位置特定部21は、DSM45から取得する状態情報に基づき、運転席に着座しているドライバのアイポイントEPの位置を特定する。視点位置特定部21は、アイポイントEPの位置を示す三次元の座標(以下、アイポイント座標)を生成し、表示処理部24へ逐次提供する。
【0040】
自車位置特定部22は、経路案内システム10から、経路案内システム10がGNSS受信装置41から取得したGNSS測位情報そのもの、及び経路案内システム10が生成したマップマッチング位置情報を、逐次取得する。自車位置特定部22は、車両1の最新の位置及び方位角を特定する。このために、自車位置特定部22は、条件に応じて、GNSS測位情報を元に位置及び方位角を決定するか、又はマップマッチング位置情報を元に位置及び方位角を決定するかを切り替える。自車位置特定部22は、特定した車両1の最新の位置及び方位角を、表示処理部24へ逐次提供する。
【0041】
外界情報把握部23は、運転支援システム44から取得した情報に基づき、車両1の外界の情報を把握する。外界の情報には、車両1の周辺に存在する他車両の情報、車両1の前方に存在する物標の情報等が含まれる。物標の情報は、例えば車両1の前方の車線区画線WLの情報を含んでいてよい。車線区画線WLは、例えば白線であってよい。外界情報把握部23は、把握した外界の情報を、表示処理部24へ逐次提供する。また、外界情報把握部23は、車線区画線WLの情報を自車位置特定部22へ提供する。
【0042】
表示処理部24は、視点位置特定部21が特定したドライバのアイポイントEP、自車位置特定部22が特定した車両1の位置及び方位角、及び外界情報把握部23が把握した外界の情報に基づき、外界の重畳対象TOに重畳する重畳表示をレイアウトして生成する。表示処理部24は、サブ機能部として、レイアウト部25及び表示生成部26を含む構成である。
【0043】
レイアウト部25は、虚像VIによる表示のレイアウトを決定するために、視点位置特定部21、自車位置特定部22、外界情報把握部23等により提供された種々の情報に基づき、仮想の三次元空間をシミュレートする。三次元空間をシミュレートするために、レイアウト部25は、さらに経路案内システム10から道路地図を取得してもよい。レイアウト部25は、車両1の位置及び方位角、並びに地図情報に基づき、車両1の周辺環境を仮想空間中に再現する。
【0044】
より詳細に、レイアウト部25は、仮想空間の基準位置に自車オブジェクトを設定する。レイアウト部25は、道路地図が示す形状の道路モデルを、車両1の位置及び方位角に基づき、自車オブジェクトに関連付けて、仮想空間にマッピングする。レイアウト部25は、他車両が存在している場合、他車両のサイズ情報に基づく大きさの他車オブジェクトを、他車両の相対位置関係に基づいて配置する。その他の障害物ないし物標が存在している場合、そのサイズ情報に基づく大きさのオブジェクトを、障害物ないし物標の相対位置関係に基づいて配置する。
【0045】
加えてレイアウト部25は、自車オブジェクトに関連付けて、仮想カメラ位置及び仮想画角を設定する。仮想カメラ位置は、ドライバのアイポイントEPに対応する仮想位置である。レイアウト部25は、視点位置特定部21にて特定される最新のアイポイント座標に基づき、自車オブジェクトに対する仮想カメラ位置を逐次補正する。仮想画角は、虚像VIの重畳表示が可能となる範囲であり、HUD30の表示可能画角に対応する仮想範囲である。
【0046】
表示生成部26は、HUD30に逐次表示させる映像データを生成し、HUD30へ出力することで、HUD30の表示を制御する。具体的に、表示生成部26は、虚像VIとして表示されるコンテンツの元画像を、映像データを構成する個々のフレーム画像に描画する。表示生成部26は、AR表示等の重畳表示を生成する場合に、レイアウト部25によるシミュレーションに基づき、アイポイントEP及び重畳対象TOの各位置に応じて、描画位置及び描画形状等のレイアウトを決定する。これにより、重畳表示は、アイポイントEPから見たときに、重畳対象TOに正しく重畳されるようになる。
【0047】
次に、重畳表示のレイアウトにおける、車両1に対する外界の重畳対象TOの相対位置関係の特定について、詳細を説明する。
【0048】
自車位置特定部22は、GNSS測位情報を元に位置及び方位角を決定するか、又はマップマッチング位置情報を元に位置及び方位角を決定するかを、車両1の状態に基づいて判断する。例えば車両1の状態は、車両運動を含む。
【0049】
自車位置特定部22は、運転支援システム44等から取得した車両運動情報を参照し、車両1が道路地図にマッチングされた道路に沿って走行しているか否かを推定する。自車位置特定部22は、車両1が道路地図にマッチングされた道路に沿って走行していると判断される場合に、マップマッチング位置情報を用いて、車両1の位置及び方位角を決定する。ここで決定された車両1の位置及び方位角に基づいて、レイアウト部25において、重畳対象TOとの相対位置関係が決定されることとなる。
【0050】
例えば、車両1の速度が予め設定された速度閾値以上であり、かつ、単位時間当たりの操舵量が予め設定された操舵量閾値以下であるという条件が成立する場合に、車両1が道路地図にマッチングされた道路に沿って走行していると推定されてよい。速度閾値は、例えば車両1が中速以上(中速又は高速)で走行しているとみなすことができる値に設定されればよい。速度閾値は、例えば30~60kmの範囲のいずれかの値に設定されればよい。操舵量閾値は、車両1が車線変更等せずに、同じ車線に沿って走行しているとみなすことができる値に設定されればよい。操舵量閾値は、車両1の速度又は道路形状に応じて変更又は変動可能とされてもよい。
【0051】
また例えば、上記条件が成立していない場合であっても、周辺監視センサ43による物標の認識結果により例えば車線区画線WLが認識され、車両1が当該車線区画線WLに沿って走行していると認識される場合には、車両1が道路地図にマッチングされた道路に沿って走行していると推定されてもよい。すなわち上述の車両1の状態には、車線区画線WLの認識状態が含まれる。
【0052】
なお、経路案内システム10によるマップマッチング位置情報では、車両1の方位角の誤差が大きな場合がある。そこで、図4に示すように、マップマッチング位置情報における方位角は、周辺監視センサ43による物標の認識結果に基づき、補正されてもよい。自車位置特定部22は、運転支援システム44等から取得した物標としての車線区画線WLの位置又は形状の情報を、道路地図の形状とマッチングする。これにより、自車位置特定部22は、道路地図の経路方向を示す角度DA1とマップマッチング位置情報における方位角DA0との誤差量Δθを算出し、当該誤差量Δθに基づいて方位角を補正する。
【0053】
一方、車両1が道路地図にマッチングされた道路に沿って走行していると推定できない場合には、自車位置特定部22は、GNSS測位情報を用いて、車両1の位置及び方位角を決定する。ここで決定された車両1の位置及び方位角に基づいて、レイアウト部25において、重畳対象TOとの相対位置関係が決定されることとなる。
【0054】
ここで、GNSS測位情報を用いる場合に、自車位置特定部22は、ヨーレートセンサ42から取得した最新のヨーレートを用いて、GNSS測位情報における方位角を補正する。例えば、自車位置特定部22は、メモリ20aに非一時的に記憶された補正関数22aを参照して、ヨーレートから方位誤差を算出する。補正関数22aは、図5に示すように、予め設定されている1次関数であって、ヨーレートと方位誤差との関係を示す1次関数である。補正関数22aは、例えば、実験的に得られたヨーレートと方位誤差との相関を、直線に近似して得られる。自車位置特定部22は、こうして得られた方位誤差に基づいて、GNSS測位情報における方位角を補正する。なお、補正関数22aは、例えばヨーレートセンサ42の特性を考慮して、2次関数、3次関数等の1次関数以外の関数で表すようにしてもよい。
【0055】
以上のように決定された重畳対象TOとの相対位置関係に基づいて表示される重畳表示の表示例が、図6に示されている。ここでの重畳表示は、交差点CSにおいて、右折を経路案内する表示である。具体的に、重畳対象TOとしての実態物の道路(交差点CS)に、右折を経路案内する矢印画像ALIが虚像VIとして重畳して表示されている。
【0056】
次に、表示制御プログラムに基づき、重畳表示を制御する表示制御方法の詳細を、図7のフローチャートに基づいて説明する。図7に示される一連の処理は、例えば車両1の走行中において、繰り返し実行される。この繰り返しは、例えばHUD30による映像データのフレームレート周期に合わせて実行されることが好ましい。
【0057】
まず、S1では、自車位置特定部22は、周辺監視センサ43により、車両1が走行する道路の車線において両側の車線区画線WLが認識されているか否かを判断する。Yesの場合、S7へ進む。Noの場合、S2へ進む。
【0058】
S2では、自車位置特定部22は、車両1が中速以上で走行し、かつ、単位時間当たりの操舵量が操舵量閾値以下であるか否かを判断する。Yesの場合、S3へ進む。Noの場合、S6へ進む。
【0059】
S3では、自車位置特定部22は、ヨーレートセンサ42から取得したヨーレートから方位誤差の推定値を算出する。S3の処理後、S4へ進む。
【0060】
S4では、自車位置特定部22は、S3で算出された推定値に基づき、GNSS測位情報における方位角を補正する。S4の処理後、S5へ進む。
【0061】
S5では、表示処理部24は、GNSS測位情報に基づく表示制御を実行する。すなわち、S4で補正されたGNSS測位情報に基づき、レイアウト部25は、車両1に対する外界の重畳対象TOの相対位置関係を決定する。そして、表示生成部26は、この相対位置関係に基づき、重畳表示を描画して生成する。S5を以って一連の処理を終了する。
【0062】
S2でYesの場合のS6では、表示処理部24は、マップマッチング位置情報に基づく表示制御を実行する。すなわち、マップマッチング位置情報に基づき、レイアウト部25は、車両1に対する外界の重畳対象TOの相対位置関係を決定する。そして、表示生成部26は、この相対位置関係に基づき、重畳表示を描画して生成する。S6を以って一連の処理を終了する。
【0063】
S1でYesの場合のS7では、自車位置特定部22は、周辺監視センサ43で認識された車線区画線WLから方位誤差の推定値を算出する。S7の処理後、S8へ進む。
【0064】
S8では、自車位置特定部22は、S7で算出された推定値に基づき、マップマッチング位置情報における方位角を補正する。S8の処理後、S9へ進む。
【0065】
S9では、表示処理部24は、マップマッチング位置情報に基づく表示制御を実行する。すなわち、S8で補正されたマップマッチング位置情報に基づき、レイアウト部25は、車両1に対する外界の重畳対象TOの相対位置関係を決定する。そして、表示生成部26は、この相対位置関係に基づき、重畳表示を描画して生成する。S9を以って一連の処理を終了する。
【0066】
以上説明した第1実施形態によると、車両1の状態に応じて、GNSS測位情報及びマップマッチング位置情報のいずれを用いて相対位置関係を決定するかが切り替えられる。すなわち、車両1のシステム上、使用できる手段のうち、重畳対象TOに対する表示位置のずれがより小さくなる手段を選択することが可能となる。故に、重畳表示における表示位置のずれの発生は、低減可能となる。
【0067】
また、第1実施形態によると、車両1が道路地図にマッチングされた道路に沿って走行していることが判断される。この場合では、車両1が旋回や車線変更していないので、マップマッチング位置情報を用いて得られた相対位置関係に基づいて重畳表示がレイアウトされることで、表示位置のずれが十分に少ない状態を実現できる。
【0068】
また、第1実施形態によると、車両1が道路地図にマッチングされた道路に沿って走行していることが判断できない。この場合では、車両1が旋回や車線変更している可能性があるので、道路地図とマッチングされていない、GNSS測位情報を用いて得られた相対位置関係に基づいて重畳表示がレイアウトされることで、表示位置のずれが十分に少ない状態を実現できる。
【0069】
また、第1実施形態によると、車両1の状態は、車両1の車両運動の状態を含む。すなわち、車両運動の状態に応じて、GNSS測位情報及びマップマッチング位置情報のいずれを用いて相対位置関係を決定するかが切り替えられる。車両運動によって、車両1が道路に沿って走行しているか推測でき、また、車両1の向きの安定性も推定できるので、それに応じてずれがより小さくなる手段を選択することが可能となる。故に、重畳表示における表示位置のずれの発生は、低減可能となる。
【0070】
また、第1実施形態によると、車両運動を示す条件は、速度が予め設定された速度閾値以上であり、かつ、単位時間当たりの操舵量が予め設定された操舵量閾値以下である。この条件を満たす場合に、車両1が道路地図にマッチングされた道路に沿って走行している可能性が高い。そこで、GNSS測位情報を用いて得られた相対位置関係に基づいて重畳表示がレイアウトされることにより、表示位置のずれが十分に少ない状態を実現できる。
【0071】
また、第1実施形態によると、相対位置関係の決定にGNSS測位情報が用いられる場合に、車両1のヨーレートセンサ42から取得したヨーレートに基づいて、GNSS測位情報における方位角が補正される。車両1に実際に検出されるヨーレートをGNSS測位情報に反映させて、重畳表示がレイアウトされるので、重畳表示における表示位置のずれの発生は、低減可能となる。
【0072】
また、第1実施形態によると、GNSS測位情報における方位角は、ヨーレートと方位角の誤差量との相関を示す関数であって、予め記憶されている補正関数22aによって得られた誤差量によって補正される。補正関数22aを適用することにより、簡潔にヨーレートの影響を重畳表示に反映させることができる。
【0073】
また、第1実施形態によると、車両1の状態は、周辺監視センサ43により、車両1が走行する車線の両側に存在する車線区画線WLの認識状態を含む。このとき、両側の車線区画線WLが認識されていれば、マップマッチング位置情報における方位角は、認識された車線区画線WLの認識結果を用いて補正される。したがって、マップマッチングの際に方位角に誤差が発生していたとしても、補正された上で得られた相対位置関係に基づいて重畳表示がレイアウトされるので、重畳表示における表示位置のずれの発生は、低減可能となる。
【0074】
(第2実施形態)
図8~10に示すように、第2実施形態は第1実施形態の変形例である。第2実施形態について、第1実施形態とは異なる点を中心に説明する。
【0075】
第2実施形態の表示制御装置220では、自車位置特定部222は、GNSS測位情報を経路案内システム10から取得して補正する場合に、第1実施形態の補正関数22aを用いることに代えて、GNSS測位情報の更新タイミングに応じた方位誤差の補正量を適用する。
【0076】
図8に示すように、車両1の方位角の真値DATは、車両1が連続的に運動するので、時間に対して連続的に変化する。一方で、GNSS測位情報の更新は、経路案内システム10と表示制御装置20との間の通信状態ないし通信周期に依存する。すなわち、表示制御装置20が経路案内システム10からの最新のGNSS測位情報を取得したタイミングで、値が更新され、次の更新周期UPまでそのGNSS測位情報が維持される。このため、自車位置特定部222が用いるGNSS測位情報の方位角DAGは、時間に対して離散的な値をとる。
【0077】
そこで図9に示すように、自車位置特定部222は、最後にGNSS測位情報が更新された時刻t0からの経過時間の増加に応じて、補正量を漸次増加させる。時刻t0は、すなわち最新のGNSS測位情報が取得された時刻である。
【0078】
より詳細に、自車位置特定部222は、最新のGNSS測位情報における方位角に、ヨーレートセンサ42から取得されたヨーレートの積分値(時間積分の値)に基づいた補正量を適用する。これにより、最新のGNSS測位情報が取得された時刻t0から時間が経過し、真値DATとの方位誤差が大きくなっていると想定される場合であっても、補正後の方位角を真値DATに近づけることができる。
【0079】
ここで、GNSS測位情報が生成されてから、当該情報が表示制御装置20に取得されるまでには、テータ通信による通信時間(遅延時間DT)がかかる。また、通常、GNSS測位情報が生成され、最新の情報に更新される更新周期UPは、通信周期よりも大きい。すなわち、1回の更新周期UPの間に、何回か通信が行われるが、通信の度にGNSS測位情報は更新されず、古い情報が維持されることとなる。
【0080】
こうした状況下、自車位置特定部222は、経過時間を考慮した補正量を算出するために、メモリ20aに非一時的に記憶された計測情報222aを参照する(図10参照)。計測情報は、予め実験等により計測された遅延時間DTと更新周期UPとを加算した、積分区間値を含む。ヨーレートの積分値を算出する場合に、ヨーレートの積分区間を、この積分区間値が示す時間とすることにより、遅延時間DTを考慮した補正を実行することができる。
【0081】
例えば、自車位置特定部222は、最新のGNSS測位情報における方位角DAGに、経過時間に応じた補正量を加算して、補正後の方位角とする。ここでの補正量は、ヨーレートをこの積分区間値が示す時間で積分した積分値に経過時間の1次関数を乗じた値とすればよい。例えば各時間tにおいて、図9の矢印で示される範囲が実質的に積分値として反映される形態となる。
【0082】
以上説明した第2実施形態によると、相対位置関係の決定にGNSS測位情報が用いられる。この場合に、最新のGNSS測位情報における方位角は、最新のGNSS測位情報を取得した時刻t0からの経過時間に基づいて得られた補正量によって補正される。したがって、通信や更新周期UPの影響により、GNSS測位情報の更新から時間が経過してしまっている場合であっても、重畳表示における表示位置のずれの発生は、低減可能となる。
【0083】
(他の実施形態)
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【0084】
他の実施形態として、自車位置特定部22は、GNSS測位情報を、経路案内システム10からでなく、GNSS受信装置41から直接的に取得するようにしてもよい。
【0085】
他の実施形態として、自車位置特定部22及び外界情報把握部23は、車両1の周辺に存在する障害物及び物標の情報を、運転支援システム44以外のシステムないし装置から取得してもよい。自車位置特定部22及び外界情報把握部23は、周辺監視センサ43の検知情報を直接的に取得し、自ら検知情報に基づいて、障害物及び物標を認識してもよい。
【0086】
他の実施形態として、重畳表示は、HUD30による虚像表示以外の、実像表示によって実現されてもよい。例えば、FWS3に画像を表示可能な透光性のOLED(organic light-emitting diode)式の表示装置を設置して、当該表示装置により重畳対象TOに重畳する重畳表示が実現されてもよい。
【0087】
他の実施形態として、表示制御装置20は、自動化レベル0の完全手動運転車、自動化レベル3以上の自動運転車等の車両に、適用されてもよい。
【0088】
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
【0089】
(技術的思想の開示)
この明細書は、以下に列挙する複数の項に記載された複数の技術的思想を開示している。いくつかの項は、後続の項において先行する項を択一的に引用する多項従属形式(a multiple dependent form)により記載されている場合がある。これらの多項従属形式で記載された項は、複数の技術的思想を定義している。
【0090】
<技術的思想1>
車両(1)に搭載された表示装置(30)により表示される、前記車両の外界の重畳対象(TO)と重畳する重畳表示を制御する表示制御装置であって、
前記車両のGNSS受信装置(41)によるGNSS測位情報と、前記GNSS測位情報における前記車両の位置と道路地図とをマッチングして生成されたマップマッチング位置情報と、を取得し、前記車両の位置及び方位角を特定する自車位置特定部(22,222)と、
前記位置及び前記方位角を用いて得られる前記車両に対する前記重畳対象の相対位置関係に基づき、前記重畳表示をレイアウトして生成する表示処理部(24)と、を備え、
前記相対位置関係の決定に、前記GNSS測位情報を用いるか、又は前記マップマッチング位置情報を用いるかを、前記車両の状態に応じて切り替え可能に構成されている表示制御装置。
【0091】
<技術的思想2>
前記自車位置特定部は、前記GNSS測位情報と、前記マップマッチング位置情報とを、経路案内システムから取得する技術的思想1に記載の表示制御装置。
【0092】
<技術的思想3>
前記車両が前記道路地図にマッチングされた道路に沿って走行していると判断される場合に、前記表示処理部は、前記マップマッチング位置情報を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする技術的思想1又は2に記載の表示制御装置。
【0093】
<技術的思想4>
前記車両が前記道路地図にマッチングされた道路に沿って走行していると判断できない場合に、前記表示処理部は、前記GNSS測位情報を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする技術的思想1から3のいずれか1項に記載の表示制御装置。
【0094】
<技術的思想5>
前記車両の状態は、前記車両の車両運動の状態を含む、技術的思想1から4のいずれか1項に記載の表示制御装置。
【0095】
<技術的思想6>
前記車両運動を示す条件として、前記車両の速度が予め設定された速度閾値以上であり、かつ、単位時間当たりの前記車両の操舵量が予め設定された操舵量閾値以下である場合に、前記表示処理部は、前記マップマッチング位置情報を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする技術的思想5に記載の表示制御装置。
【0096】
<技術的思想7>
前記相対位置関係の決定に前記GNSS測位情報が用いられる場合に、前記自車位置特定部は、前記車両のヨーレートセンサ(43)からヨーレートを取得し、前記GNSS測位情報における方位角を、前記ヨーレートに基づいて補正する技術的思想1から6のいずれか1項に記載の表示制御装置。
【0097】
<技術的思想8>
前記自車位置特定部は、前記GNSS測位情報における方位角を、前記ヨーレートと前記方位角の誤差量との相関を示す関数であって、予め記憶されている補正関数(22a)によって得られた誤差量によって補正する技術的思想7に記載の表示制御装置。
【0098】
<技術的思想9>
前記相対位置関係の決定に前記GNSS測位情報が用いられる場合に、前記自車位置特定部は、最新の前記GNSS測位情報における方位角を、最新の前記GNSS測位情報を取得した時刻からの経過時間に基づいて得られた補正量によって補正する技術的思想1から6のいずれか1項に記載の表示制御装置。
【0099】
<技術的思想10>
前記車両の状態は、前記車両の周辺監視センサにより、前記車両が走行する車線の両側に存在する車線区画線(WL)の認識状態を含み、
両側の前記車線区画線が認識されている場合に、前記自車位置特定部は、前記マップマッチング位置情報における方位角を、認識された前記車線区画線の認識結果を用いて補正し、
前記表示処理部は、前記マップマッチング位置情報における前記位置と、前記車線区画線の認識結果によって補正された前記方位角を用いて得られた前記相対位置関係に基づいて前記重畳表示をレイアウトする技術的思想1から9のいずれか1項に記載の表示制御装置。
【符号の説明】
【0100】
1:車両、20:表示制御装置、20b:プロセッサ、22,222:自車位置特定部、24:表示処理部、30:HUD(表示装置)、41:GNSS受信装置、TO:重畳対象
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10