IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-08
(45)【発行日】2024-08-19
(54)【発明の名称】表示システム
(51)【国際特許分類】
   B60K 35/233 20240101AFI20240809BHJP
   G02B 27/01 20060101ALI20240809BHJP
   G09G 5/00 20060101ALI20240809BHJP
   G09G 5/38 20060101ALI20240809BHJP
   G09G 5/37 20060101ALI20240809BHJP
   G09G 5/22 20060101ALI20240809BHJP
   G09G 5/10 20060101ALI20240809BHJP
   B60K 35/40 20240101ALI20240809BHJP
【FI】
B60K35/233
G02B27/01
G09G5/00 550C
G09G5/38 100
G09G5/37 110
G09G5/22 630D
G09G5/00 510B
G09G5/10 D
G09G5/00 550B
B60K35/40
【請求項の数】 3
(21)【出願番号】P 2021522690
(86)(22)【出願日】2020-04-14
(86)【国際出願番号】 JP2020016455
(87)【国際公開番号】W WO2020241094
(87)【国際公開日】2020-12-03
【審査請求日】2023-03-17
(31)【優先権主張番号】P 2019102925
(32)【優先日】2019-05-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106518
【弁理士】
【氏名又は名称】松谷 道子
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100183265
【弁理士】
【氏名又は名称】中谷 剣一
(72)【発明者】
【氏名】松井 智司
(72)【発明者】
【氏名】勝山 範一
【審査官】鶴江 陽介
(56)【参考文献】
【文献】国際公開第2019/092995(WO,A1)
【文献】特開2015-052656(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60K 35/00-37/06
G01C 21/00-21/36
G01C 23/00-25/00
G02B 27/00-30/60
(57)【特許請求の範囲】
【請求項1】
車両の姿勢変動量を検出する姿勢検出装置と、
前記姿勢変動量に基づいて、前記車両の姿勢状態を推定する姿勢推定部と、
前記姿勢状態に基づいて、虚像の基準位置を設定する基準位置設定装置と、
前記姿勢変動量に基づいて、前記虚像の表示位置の補正量を設定する補正処理装置と、
前記基準位置と前記補正量とに基づいて、前記基準位置を変更し、前記虚像の表示位置を制御する表示処理装置と、を備え
前記補正処理装置は、前記補正量を所定量低減する処理を開始するタイミングでタイミング指令を送信し、前記表示処理装置は、前記基準位置設定装置が前記基準位置を変更可能状態と判定したとき、かつ、前記タイミング指令が発生したときに、前記基準位置を変更する、
表示システム。
【請求項2】
前記虚像を表す光を投影する投影装置をさらに含む、
請求項1に記載の表示システム。
【請求項3】
前記虚像は、車両のフロントガラスの前方に表示される、
請求項1または2に記載の表示システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、像の表示位置を移動体の動きに応じて制御する表示システムに関する。
【背景技術】
【0002】
特許文献1は、ヘッドアップディスプレイ(HUD)装置を用いて、拡張現実(AR)表示を行う車両情報投影システムを開示している。HUD装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象(例えば、道路)に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献1の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2015-101311号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、像の位置ずれは、車両の急減速及び急加速時以外にも、例えば、停止時にも発生する場合がある。車両の乗車人数や、荷物の積載状態および燃料タンク内の燃料の量に応じて、車両の姿勢が変化するからである。
【0005】
本開示は、像の位置ずれを抑制した表示システムを提供する。
【課題を解決するための手段】
【0006】
本開示の表示システムは、移動体の姿勢変動量を検出する姿勢検出装置と、
前記姿勢変動量に基づいて、前記移動体の姿勢状態を推定する姿勢推定部と、
前記姿勢状態に基づいて、像の基準位置を設定する基準位置設定装置と、
前記姿勢変動量に基づいて、前記像の表示位置の補正量を設定する補正処理装置と、
前記基準位置と前記補正量とタイミング指令とに基づいて、前記像の表示位置を制御する表示処理装置と、を備える。
【0007】
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【0008】
本開示の表示システムによれば、像の位置ずれを抑制した表示システムを提供することができる。
【図面の簡単な説明】
【0009】
図1】ヘッドアップディスプレイ(HUD)を説明するための図
図2】第1実施形態における表示システムの内部構成を示すブロック図
図3A】車両が傾いていないときの例を示す図
図3B】フロントガラスから見える実景の例を示す図
図3C】虚像が基準位置に表示される例を示す図
図3D】拡張現実(AR)表示の一例を示す図
図4A】車両の後傾姿勢を示す図
図4B】車両が後傾姿勢のときに虚像の位置ずれが生じる例を説明するための図
図4C】補正後の虚像の表示例を示す図
図5】第1実施形態における表示処理を示すフローチャート
図6】第1実施形態における補正処理を示すフローチャート
図7】第1実施形態における基準位置算出処理を示すフローチャート
図8】基準位置算出タイミングと、基準位置更新可能フラグと、振動補正リセットタイミングと、基準位置更新タイミングとの関係を示す図
図9】補正量をゼロにリセットする一例を示す説明図
図10】第2実施形態における表示システムの内部構成を示すブロック図
図11A】第2実施形態における基準位置算出処理を示すフローチャート
図11B】第2実施形態における基準位置算出処理を示すフローチャート
図12】補正量の大きさを一定時間かけて小さくする一例を示す説明図
図13】第3実施形態における基準位置算出処理を示すフローチャート
【発明を実施するための形態】
【0010】
(本開示の基礎となった知見)
像の位置ずれの主な原因は、走路の凹凸やサスペンションによる振動や、坂道への進入および坂道からの退出であるが、これ以外にも、車両の積載状態に起因する静止状態の車両の姿勢そのものの変化もある。車両の積載状態は、例えば、乗車人数や燃料タンク内の燃料量、積載荷物の重量によって変化する。これらの状態が変化することで、静止状態における車両姿勢が変化し、像を表示する基準位置がずれてしまう。したがって、走行状態において振動を原因とする補正を行っても、位置ずれが発生してしまう。
【0011】
また、車両の静止状態における基準位置のずれを、静止状態において振動補正とは別に補正すると目立ってしまい、運転者に違和感を与えてしまう。
【0012】
本開示の表示システムは、車両の静止状態における像の基準位置のずれを、走行中の振動補正によるずれの補正時に共に補正する。これにより、像の基準位置のずれを運転者に目立つことなく補正することができる。
【0013】
(第1実施形態)
以下、第1実施形態について、図面を参照しながら説明する。第1実施形態では、移動体が自動車などの車両であり、表示システムが車両のフロントガラスの前方に像として虚像を表示するヘッドアップディスプレイ(HUD)システムである場合を例にして説明する。
【0014】
1. 表示システムの構成
図1は、HUDシステムを説明するための図である。図1において、車両200のロール軸をX軸とし、車両200のピッチ軸をY軸とし、車両200のヨー軸をZ軸としている。すなわち、X軸は、Y軸及びZ軸と直交し、虚像Ivを視認する乗員Dの視線方向に沿った軸である。Y軸は、虚像Ivを視認する乗員Dから見て左右方向に沿った軸である。Z軸は、車両200の高さ方向に沿った軸である。
【0015】
本実施形態の表示システム100は、車両200のフロントガラス210の前方の実景に虚像Ivを重畳する、所謂、拡張現実(AR)表示を行うHUDシステムである。虚像Ivは、所定の情報を示す。例えば、虚像Ivは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。表示システム100は、車両200に設置され、虚像Ivを表す表示光Lcを車両200のフロントガラス210の表示領域220内に投影する。本実施形態において、表示領域220は、フロントガラス210の一部の領域である。なお、表示領域220は、フロントガラス210の全領域であってもよい。表示光Lcは、フロントガラス210によって、車内の方向に反射される。これにより、車両200内の乗員(視認者)Dは、反射された表示光Lcを、車両200の前方にある虚像Ivとして視認する。
【0016】
表示システム100は、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、振動補正処理装置50、及び基準位置設定装置60を含む。
【0017】
投影装置10は、虚像Ivを表す表示光Lcを表示領域220内に投影する。投影装置10は、例えば、虚像Ivの画像を表示する液晶表示素子、液晶表示素子を照明するLEDなどの光源、液晶表示素子が表示する画像の表示光Lcを表示領域220に反射するミラー及びレンズなどを含む。投影装置10は、例えば、車両200のダッシュボード内に設置される。
【0018】
情報取得装置20は、車両の位置及び車外の情報を取得する。具体的には、情報取得装置20は、車両200の位置を測定して位置を示す位置情報を生成する。情報取得装置20は、さらに、対象物、及び対象物までの距離などを示す車外情報を取得する。対象物は、人、標識、道路などである。情報取得装置20は、車両200の位置情報及び車外情報のうちの少なくとも1つを含む車両関連情報を出力する。
【0019】
表示処理装置30は、情報取得装置20から得られる車両関連情報などに基づいて、虚像Ivの表示を制御し、虚像Ivの画像データを投影装置10に出力する。表示処理装置30は、虚像Ivの表示タイミング(表示時間)、又は車両関連情報と表示タイミングの組み合わせに基づいて、虚像Ivの表示を制御してもよい。表示タイミングは、例えば、10秒間の表示と1秒間の非表示とを繰り返すことである。
【0020】
姿勢検出装置40は、車両200の姿勢変動を検出する。振動補正処理装置50は、姿勢検出装置40によって検出された車両200の姿勢変動に基づいて、虚像Ivの表示位置の補正量を算出する。
【0021】
基準位置設定装置60は、姿勢検出装置40によって検出された車両200の姿勢変動に基づいて、車両姿勢を推定し、虚像Ivの表示位置の基準位置を算出する。
【0022】
図2は、表示システム100の内部構成を示すブロック図である。
【0023】
本実施形態において、情報取得装置20は、地理座標系における車両200の現在地を示す位置を検出するGPS(Global Positioning System)モジュール21を含む。具体的には、GPSモジュール21は、GPS衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。GPSモジュール21は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置20は、さらに、外景を撮像して撮像データを生成するカメラ22を含む。情報取得装置20は、例えば、画像処理により撮像データから対象物を特定し、対象物までの距離を測定する。情報取得装置20は、対象物及び対象物までの距離を示す情報を車外情報として生成する。情報取得装置20は、位置情報及び車外情報を含む車両関連情報を表示処理装置30に出力する。なお、カメラ22によって生成された撮像データが表示処理装置30に出力されてもよい。情報取得装置20は、さらに、車両200の速度を検出する車速センサ23を含む。
【0024】
表示処理装置30は、通信部31、表示制御部32、及び記憶部33を含む。
【0025】
通信部31は、所定の通信規格(例えば、LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、HDMI(登録商標)、CAN(controller area network)、SPI(Serial Peripheral Interface))に準拠して外部機器との通信を行う回路を含む。
【0026】
表示制御部32は、半導体素子などで実現可能である。表示制御部32は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。表示制御部32の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部32は、記憶部33に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。
【0027】
記憶部33は、表示処理装置30の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部33は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
【0028】
記憶部33には、虚像Ivを表す複数の画像データ33iが格納されている。表示制御部32は、情報取得装置20から得られる車両関連情報に基づいて、表示する虚像Ivを決定する。表示制御部32は、決定した虚像Ivの画像データ33iを記憶部33から読み出して、投影装置10に出力する。さらに、表示制御部32は、虚像Ivの表示位置を設定する。表示制御部32は、虚像Ivを表示するか否か又は表示中か否かを示す表示情報を振動補正処理装置50に出力する。
【0029】
姿勢検出装置40は、例えば、X、Y、Zそれぞれの3軸の角速度(ロール角速度、ピッチ角速度、ヨー角速度)を検出するジャイロセンサ41と、X、Y、Zそれぞれの3軸方向の加速度センサ42と、車両200の路面からの高さを検出する車高センサ43と、を含む。ジャイロセンサ41は検出した角速度を、加速度センサ42は検出した加速度を、車高センサ43は検出した車高を、それぞれ、車両200の姿勢変動を示す姿勢変動情報(姿勢変動量)として振動補正処理装置50及び基準位置設定装置60に出力する。また、姿勢検出装置40は、他の公知のセンサを含んでもよい。姿勢検出装置40としての機能を有するジャイロセンサ41、加速度センサ、及び車高センサ43などは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。また、ジャイロセンサ41は、ロール角度、ピッチ角度、ヨー角度を直接検出してもよいし、姿勢検出装置40が演算部を有して、ジャイロセンサ41が検出した角速度情報を演算部が積分して角度情報として出力してもよい。
【0030】
振動補正処理装置50は、通信部51、補正制御部52、及び記憶部53を含む。通信部51は、通信部31と同様の構成である。
【0031】
補正制御部52は、半導体素子などで実現可能な演算装置である。補正制御部52は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。補正制御部52は、振動補正処理装置50内の記憶部53に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。補正制御部52の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
【0032】
補正制御部52は、機能的構成として、ずれ量算出部52a、補正量算出部52b及び判定部52cを含む。
【0033】
ずれ量算出部52aは、姿勢検出装置40が出力する姿勢変動情報に基づいて、車両200の姿勢(角度のずれ量)を算出する。ずれ量とは、移動体の基準となる姿勢状態から姿勢が変化した変化量を示す。移動体の基準となる姿勢状態は、例えば、水平状態に置かれた静止状態の車両状態である。例えば、ずれ量算出部52aは、ジャイロセンサ41が検出した角速度を積分演算することによって、車両200のピッチ軸周りの角度(ピッチ角)を算出する。これにより、図1に示すY軸(ピッチ軸)を中心とした回転方向における車両200のずれ量(角度)を算出することができる。同様に、ヨー角度又はロール角度を算出し、例えば、X軸、Y軸及びZ軸周りの角度を全て算出してもよい。移動体が基準となる姿勢状態においては、ピッチ角度、ヨー角度、およびロール角度はそれぞれ0°である。このようにして、車両200の姿勢、すなわち、3軸方向に対する角度であるずれ量を算出する。なお、姿勢検出装置40がロール角度、ピッチ角度、ヨー角度を出力する場合は、これらの値をずれ量として処理する。
【0034】
補正量算出部52bは、車両200の姿勢変動(角度のずれ量)に応じて、虚像Ivの表示位置の補正量を算出する。具体的には、補正量算出部52bは、ずれ量算出部52aが算出した角度(ピッチ角)のずれ量を画素数に換算して、ずれている分の画素数(以下、「ずれ画素数」ともいう)を元に戻すような補正量を決定する。例えば、ずれ量算出部52aは、ピッチ角のずれ量を元に戻すような補正量を決定する。補正量算出部52bは、算出した補正量を表示処理装置30に出力する。
【0035】
判定部52cは、車両200の姿勢変動(角度のずれ量)および表示処理装置の表示情報に基づいて、補正量をゼロにリセットするか否かを判定する。判定部52cが補正量をゼロにリセットすると判定する場合は、例えば、補正対応外の大振幅発生時や、右左折時、カーブ走行によるヨー方向の大変動時、坂道への進入及び退出時である。判定部52cは、予め定められた閾値と姿勢検出装置40の出力又は姿勢検出装置40の出力を演算処理した結果(以後、変動量Xとする)との大小関係を比較することで、補正量をゼロにリセットするか否かを判定する。また、判定部52cは、虚像が非表示の場合にも補正量をゼロにリセットすると判定する。虚像Ivが非表示の場合、そのことを示す信号が表示制御部32から補正制御部52Aへ送られる。
【0036】
姿勢検出装置40の出力の演算処理は、姿勢検出装置40又は振動補正処理装置50のずれ量算出部52aや判定部52c、又は、他の構成で行われてもよい。
【0037】
変動量Xは、例えばジャイロセンサ41により検出される角速度を積分した角度の一定時間における変化量である。判定部52cは、例えば、判定フラグとして、例えばブーリアン型の2値化データを出力する。変動量Xが第1閾値a以下であればTRUE、変動量Xが第1閾値aより大きいときはFALSEとなる。判定部52cは、データをブーリアン型に限定せず、整数型でもよく、それ以外で出力してもよい。
【0038】
記憶部53は、補正制御部52の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を判定部52cとして機能させるために必要なプログラム及びデータも記憶部53に格納されている。記憶部53は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
【0039】
基準位置設定装置60は、通信部61、基準位置演算処理部62、及び記憶部63を含む。通信部61は、通信部31、51と同様の構成である。通信部61は、通信部51を介して通信部31と通信することができるが、直接、通信部31と通信してもよい。
【0040】
基準位置演算処理部62は、半導体素子などで実現可能な演算装置である。基準位置演算処理部62は、例えば、マイコン、CPU、MPU、GPU、DSP、FPGA、ASICで構成することができる。基準位置演算処理部62は、基準位置設定装置60内の記憶部63に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、予め定められた機能を実現する。基準位置演算処理部62の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
【0041】
基準位置演算処理部62は、機能的構成として、車両姿勢推定部62aと、基準位置算出部62bとを含む。
【0042】
車両姿勢推定部62aは、姿勢検出装置40から送られる車両200の姿勢変動情報に基づいて、静止時における基準となる車両姿勢からのずれ量を推定する。例えば、車高センサ43からの車高量に基づいて、車両200の前端のピッチ方向のずれ量を推定する。このずれ量は、例えば、基準となるレベルからの角度量として推定される。推定された車両姿勢のずれ量は基準位置算出部62bに出力される。
【0043】
基準位置算出部62bは、推定された車両姿勢のずれ量に基づいて、虚像Ivを表示する基準位置を算出する。基準位置算出部62bは、算出した虚像Ivの基準位置を、記憶部63に記憶する。なお、情報取得装置20から取得することができる車両関連情報及び地図データなどに基づいて、基準位置P0を設定してもよい。
【0044】
記憶部63は、基準位置演算処理部62の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。したがって、例えば、プロセッサ等の演算装置を基準位置演算処理部62として機能させるために必要なプログラム及びデータも記憶部63に格納されている。記憶部63は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
【0045】
図3A図3Dを参照して、AR表示について説明する。図3Aは、車両200が傾いていないときの例を示している。図3Bは、図3Aに示す車両200のフロントガラス210から見える実景の例を示している。図3Cは、表示領域220から見える虚像Ivの一例を示している。図3Dは、図3Bに示す実景に図3Cに示す虚像Ivが重なって表示される例を示している。表示システム100は、図3Bに示す実景に図3Cに示す虚像Ivを重畳させる。虚像Ivの基準位置(初期位置)P0は、虚像Ivの種類、車両200の状態(位置及び姿勢)、及び地図データなどに基づいて決定された位置であり、当該基準位置P0は、基準位置設定装置60により決定される。例えば、表示対象230が走行車線であって、虚像Ivが進行方向を示す矢印の場合、基準位置P0は走行車線の中央を矢印の先端が指し示すときの液晶上の表示位置である。基準位置P0は、例えば、図3Cにおいて、表示領域220内におけるY座標とZ座標の値に対応する液晶表示上の画素の位置で設定される。表示処理装置30は、車両関連情報に基づいて、虚像Ivの大きさを設定してもよい。
【0046】
図4Aは、車両200が後傾姿勢になった状態の例を示している。図4Bは、車両200の姿勢変動に応じて、虚像Ivの表示位置が表示対象230からずれた場合を例示している。図4Cは、補正後の虚像Ivの表示位置を示している。
【0047】
路面の凹凸、車両200の急加速又は急減速などにより、車両200が傾く場合がある。例えば、車両200が路面301の凸部303に乗り上げると、図4Aに示すように車両200は後傾姿勢になる。この場合、図4Bに示すように、フロントガラス210から見える表示対象230の位置が車両200の走路に対する傾きθ1に応じて変動する。そのため、虚像Ivを基準位置P0に表示した場合、虚像Ivが表示対象230からずれる。
【0048】
例えば、図4Bに示すように、車両200が路面301の凸部303により後傾姿勢になると、表示対象230の位置が通常走行時よりも下方に変動する。したがって、基準位置P0に表示される虚像Ivの矢印の先が車線外にずれてしまう。よって、表示システム100は、車両200の姿勢に応じてずれを戻す方向に虚像Ivの表示位置を調整する。
【0049】
具体的には、図4Cに示すように、振動補正処理装置50が、車両200の角度に起因した表示位置のずれがない位置P1となるように補正量Cを算出する。すなわち、表示処理装置30は、虚像Ivの表示位置を「基準位置P0+補正量C」に設定する。これにより、投影装置10は、虚像Ivを表示対象230に対応する位置P1に表示することができる。このように、車両200が傾いた場合であっても、虚像Ivの表示位置を補正量Cに基づいて基準位置P0から変更することで、実景内の表示対象230に対応する位置P1に虚像Ivを表示することができる。
【0050】
しかしながら、基準位置P0は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合があるので、例えば、最初に算出した基準位置(初期位置)と異なる場合がある。
【0051】
本実施形態の表示システム100は、後述するように、車両200の車両姿勢の変化を推定し、推定された車両姿勢の変化量から基準位置を算出することで、基準位置P0を更新することができる。
【0052】
2. 表示処理装置の動作
図5は、表示処理装置30の表示制御部32が行う表示処理を示している。図5に示す表示処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。
【0053】
表示制御部32は、情報取得装置20から車両関連情報を取得する(S101)。表示制御部32は、車両関連情報に基づいて、表示する虚像Ivを決定する(S102)。表示制御部32は、振動補正処理装置50から振動補正をリセットするタイミング信号Fa3を受信している場合、虚像Ivの基準位置P0を基準位置設定装置60の記憶部63から振動補正処理装置50経由で取得する(S103)。なお、基準位置設定装置60は、基準位置設定装置60の記憶部63から直接、表示処理装置30へ基準位置P0を送信してもよい。また、表示制御部32は、振動補正処理装置50から振動補正をリセットするタイミング信号Fa3を受信していない場合、前回使用した基準位置P0を用いる。表示制御部32は、振動補正処理装置50から出力される表示位置の補正量Cを取得する(S104)。
【0054】
表示制御部32は、基準位置P0と補正量Cとに基づいて、投影装置10に虚像Ivを表示させる(S105)。例えば、表示制御部32は、表示対象に対応する虚像Ivの画像データ33iを記憶部33から読み出し、虚像Ivの表示位置を「基準位置P0+補正量C」に設定して、投影装置10に出力する。
【0055】
表示制御部32は、表示処理を継続するか否かを判断する(S106)。例えば、車両200のエンジンが停止したとき、又は虚像Ivの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部32は表示処理を終了する。表示処理を継続する場合は、ステップS101に戻る。
【0056】
3. 補正処理装置の動作
図6は、振動補正処理装置50の補正制御部52が行う補正処理を示している。図6に示す補正処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。図6の補正処理は、例えば、図5の表示処理と共に開始される。なお、図6に示す補正処理は、虚像Ivの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。
【0057】
ずれ量算出部52aは、ジャイロセンサ41から出力される角速度を示す姿勢変動情報を取得する(S201)。ずれ量算出部52aは、取得した姿勢変動情報に基づいて、車両200の姿勢、すなわち、3軸方向に対する角度であるずれ量を算出する(S202)。具体的には、ずれ量算出部52aは、角速度を積分演算することによって、車両200の角度を算出する。補正量算出部52bは、3軸方向に対するずれ量に基づいて、虚像Ivの表示位置の補正量Cを算出する(S203)。具体的には、補正量算出部52bは、ピッチ角及びヨー角について車両200の角度であるずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような補正量Cを決定する。ロール角については、角度のまま、ずれ量を相殺する補正量Cを決定する。
【0058】
本実施形態では、補正量Cを「補正量C=-(現時点のずれ量)+(ゼロリセット時のずれ量)」として定義する。以下、ゼロリセット時のずれ量をオフセット値とも称する。オフセット値は、後述するステップS207において設定される。オフセット値の初期値は、例えばゼロである。ステップS203の補正量の算出において、ずれ量算出部52aが、角度単位で、「-現時点の姿勢(角度)+オフセット値(角度)」を算出して補正量算出部52bに出力し、補正量算出部52bは入力した値を画素数に換算してもよい。また、ずれ量算出部52aは、現時点の姿勢(角度)を補正量算出部52bに出力し、補正量算出部52bが、姿勢(角度)を画素数に換算した後で、「-現時点のずれ量(画素数)+オフセット値(画素数)」を算出してもよい。
【0059】
補正制御部52の判定部52cが、補正量Cをゼロにリセットするか否かを判定する(S204)。判定部52cが、補正量Cをゼロにリセットしないと判定すると(S204でNo)、補正量算出部52bは、算出した補正量Cを表示処理装置30に出力する(S205)。これにより、虚像Ivが「基準位置P0+補正量C」で示される位置に表示される。
【0060】
判定部52cが、補正量Cをゼロにリセットすると判定すると(S204でYes)、振動補正処理装置50は、振動補正をリセットするタイミング信号Fa3を基準位置設定装置60および表示処理装置30に送信し、補正制御部52は、補正量Cをゼロにリセットする(S207)。具体的には、例えば、ずれ量算出部52aが、オフセット値(角度)を「オフセット値(角度)=姿勢(角度)」に設定する。これにより、ずれ量算出部52aから補正量算出部52bに、「-姿勢(角度)+オフセット値(角度)」で示される角度、すなわち0度が出力される。又は、補正量算出部52bは、ずれ量算出部52aが算出した姿勢(角度)を画素数(ずれ画素数)に換算し、オフセット値(画素数)を「オフセット値(画素数)=ずれ画素数」に設定する。これにより、「-ずれ量(画素数)+オフセット値(画素数)」で算出される補正量Cがゼロになる。このようにして、判定部52cが補正量をリセットすると判定したときに、表示位置が基準位置P0に戻される。
【0061】
補正制御部52は、補正処理を継続するか否かを判断する(S206)。例えば、車両200のエンジンが停止したとき、又は虚像Ivの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部52は補正処理を終了する。補正処理を継続する場合は、ステップS201に戻る。ステップS201に戻った後は、次のS203の補正量の算出において、前のステップS207で設定したオフセット値が使用される。
【0062】
以上のように、本実施形態では、外乱が発生したときに、「オフセット値=ずれ量」に設定することで、補正量Cをゼロにする。換言すると、虚像Ivが大きく振動するときに、表示位置が基準位置P0にリセットされる。「補正量C=-ずれ量+オフセット値」であるため、次に虚像Ivを表示するとき(図5のステップS105)の表示位置である「基準位置P0+補正量C」は、「基準位置P0+オフセット値-ずれ量」に相当する。
【0063】
4. 基準位置設定装置の動作
図7は、基準位置設定装置60の基準位置演算処理部62が行う演算処理を示している。図7に示す演算処理は、例えば、車両200のエンジンが始動したとき、又は虚像Ivの表示開始を指示するためのボタンが操作されたときなどに開始される。図7の演算処理は、例えば、図5の表示処理及び図6の補正処理と共に開始される。
【0064】
車両姿勢推定部62aは、姿勢検出装置40から出力される姿勢変動情報を取得して、車両200の車両姿勢を推定し、静止時における基準位置からの姿勢ずれ量を推定する(S301)。基準位置算出部62bは、推定された姿勢ずれ量を基に、虚像Ivの基準位置を算出する(S302)。基準位置演算処理部62は、基準位置の算出が完了したか否かを判定し(S303)、基準位置算出部62bにより基準位置の算出が完了している場合(S303でYes)、算出された基準位置P0を更新する基準位置P0として記憶部63に保持する(S304)。さらに、基準位置演算処理部62は、基準位置の更新可能フラグFa2をONに設定する(S305)。また、基準位置算出部62bにより基準位置の算出が完了していない場合(S303でNo)、及び、更新可能フラグFa2がONされた後は、基準位置設定装置60の基準位置演算処理部62は、振動補正処理装置50の状態を取得する(S306)。例えば、基準位置演算処理部62は、補正制御部52から振動補正をリセットするタイミング信号Fa3を受信する。
【0065】
基準位置演算処理部62は、補正制御部52からタイミング信号Fa3を受信すると、補正量をリセットすることを認識し(ステップS307でYes)、さらに、基準位置演算処理部62は、更新可能フラグFa2がON状態であるか否かを判定する(S309)。基準位置演算処理部62は、更新可能フラグFa2がON状態であると判定すると(S309でYes)、記憶部63に保持されている更新用の最新の基準位置P0を、通信部61から表示処理装置30へ送信する。表示制御部32が更新用の基準位置P0を用いて虚像Ivを表示することで、基準位置を更新する(S310)。基準位置演算処理部62が、更新用の基準位置P0を表示処理装置30へ送信すると、基準位置の更新可能フラグFa2をOFFに設定する(S311)。
【0066】
基準位置演算処理部62は、基準位置の算出処理を継続するか否かを判断する(S308)。例えば、車両200のエンジンが停止したとき、又は虚像Ivの表示の終了を指示するためのボタンが操作されたときなどに、基準位置演算処理部62は基準位置の算出処理を終了する。基準位置の算出処理を継続する場合は、ステップS301に戻る。また、基準位置演算処理部62は、補正量をリセットしない(ステップS307でNo)ときや、更新可能フラグFa2がOFF状態であると判定する(S309でNo)とき、ステップS308に移行する。
【0067】
図8は、基準位置算出タイミングと、基準位置更新可能フラグと、振動補正リセットタイミング信号と、基準位置更新タイミングとの関係を示す図である。図8(a)は、基準位置算出タイミングFa1の一例を示す。図8(b)は、基準位置の更新可能フラグFa2を示す。図8(c)は、振動補正をリセットするタイミング信号Fa3を示す。図8(d)は、基準位置の更新タイミングFa4を示す図である。
【0068】
図8(a)に示すように、基準位置算出部62bは、車両200が基準位置を算出するのに適した状態であれば、随時、基準位置P0を算出する。図8(a)では、T1、T2、T4、T7の時点で基準位置P0が算出されている。基準位置を算出するのに適した車両200の状態とは、例えば、車両200が静止している状態や、加速度が予め定められた閾値以内の状態である。これらの状態は、情報取得装置20からの情報や、姿勢検出装置40からの姿勢変動情報を基に、車両姿勢推定部62aが判定する。
【0069】
基準位置算出部62bが基準位置の算出を完了すると、基準位置算出部62bは基準位置の更新可能フラグFa2をONする。この基準位置の更新可能フラグFa2がON状態のときに、振動補正処理装置50が、振動補正をリセットするタイミング信号Fa3を基準位置設定装置60および表示処理装置30に送信する。更新可能フラグFa2がON状態でタイミング信号Fa3がONにされた時点T3が、基準位置の更新タイミングFa4となる。この基準位置の更新タイミングFa4の時点で、基準位置設定装置60は更新用の基準位置P0を表示制御部32へ送信する。表示制御部32は、リセットされる補正量と、記憶部63から送信された更新用の基準位置P0と、タイミング信号Fa3とに基づいて像を表示することで、更新された基準位置P0に補正量がリセットされた虚像を表示することができる。
【0070】
図9は、補正量をゼロにリセットする一例を説明する説明図である。例えば、時刻t1で表示制御部32が補正量を即時にゼロにリセットする。このタイミングに合わせて、基準位置P0が更新されるので、運転者に対して基準位置の更新による動きを目立たなくすることができる。
【0071】
4. 効果及び補足等
【0072】
本開示の表示システム100は、車両200の姿勢変動量を検出する姿勢検出装置40と、姿勢変動量に基づいて、車両200の姿勢状態を推定する車両姿勢推定部62aと、姿勢状態に基づいて、虚像Ivの基準位置P0を設定する基準位置設定装置60と、姿勢変動量に基づいて、虚像Ivの表示位置の補正量を設定する振動補正処理装置50と、基準位置と補正量と振動補正をリセットするタイミング信号Fa3とに基づいて、虚像Ivの表示位置を制御する表示処理装置30とを備える。
【0073】
車両200の静止状態に対する虚像Ivの基準位置P0の更新を走行中の振動補正によるずれの補正量のリセットと同時に行うので、虚像Ivの基準位置のずれ補正が運転者に対して目立たなくなり、ストレスを軽減することができる。
【0074】
また、本実施形態の表示システム100は、虚像を表す光を投影する投影装置10をさらに含む。本実施形態において、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像である。
【0075】
なお、ステップS210において、補正量をゼロにリセットする方法は任意である。本実施形態では、「補正量C=-ずれ量+オフセット値」としたが、補正量Cを「補正量C=-ずれ量」としてもよい。この場合、ずれ量自体をゼロにすることで、補正量Cをゼロにリセットする。具体的には、ジャイロセンサ41の出力に基づいて車両姿勢を算出する場合に、ずれ量算出部52aにおいて算出される角速度の積分量をゼロにリセットする。
【0076】
(第2実施形態)
第1実施形態では、補正量のゼロリセットに合わせて、基準位置の更新も瞬時に行っていた。第2実施形態では、時間をかけて補正量を徐々にリセットするのに合わせて、基準位置の更新も徐々に更新位置に近づける。
【0077】
図10は、第2実施形態における表示システム100Aの内部構成を示すブロック図である。第2実施形態における表示システム100Aは、投影装置10、情報取得装置20、表示処理装置30、振動補正処理装置50A、基準位置設定装置60A、及び姿勢検出装置40を備える。第2実施形態における振動補正処理装置50Aの補正制御部52Aは、第1実施形態における振動補正処理装置50の補正制御部52に、オフセット量算出部52dを加えた構成である。また、第2実施形態における、基準位置設定装置60Aの基準位置演算処理部62Aは、第1実施形態における基準位置設定装置60の基準位置演算処理部62に、オフセット量算出部62cを加えた構成である。
【0078】
補正制御部52のオフセット量算出部52dにおいて、例えば、補正量をリセットするリセット時間Δt1は予め設定されており、サンプリング周期tsとリセット開始時の補正量C1から、1サンプリングでのオフセット量Df1を、Df1=C1×ts/Δt1として算出する。補正制御部52Aは、C1×ts/Δt1ずつ補正量C1を小さくする。例えば、サンプリング周期を1/1000[sec]とし、リセット時間Δt1を1[sec]とし、補正量C1を100ピクセルとすると、1サンプリング周期につき、0.1ピクセルずつ補正量が小さくされる。
【0079】
基準位置演算処理部62のオフセット量算出部62cにおいて、更新された基準位置P0へ基準位置を近づける更新時間Δt2は予め設定されており、補正量のリセット時間Δt1と同じでもよいし、リセット時間Δt1よりも短くてもよい。
【0080】
図11A図11Bは、第2実施形態において基準位置設定装置60Aの基準位置演算処理部62Aが行う演算処理を示している。本実施形態では、補正制御部52から送信されるタイミング信号Fa3は、振動補正量をオフセット量Df1低減する処理を開始する信号である。基準位置演算処理部62Aは、補正制御部52からタイミング信号Fa3を受信すると、補正量を所定量低減することを認識し(ステップS307でYes)、基準位置演算処理部62Aは、更新可能フラグFa2がON状態であると判定すると(S309でYes)、図11A及び図11Bの符号Aを経由して、オフセット量算出部62cが、基準位置のオフセット量B1を算出する(S311)。振動補正処理装置50Aがオフセット量Df分だけ補正量をオフセットするのに合わせて、表示制御部32は、基準位置P0を更新された基準位置P0にオフセット量B1だけ変更する(S312)。基準位置演算処理部62Aは、例えば、カウンタを用いて、更新された基準位置P0へオフセット量B1だけ変更した回数から更新する基準位置へ到達したか判定する(S313)。
【0081】
基準位置演算処理部62Aが、更新する基準位置へ到達したと判定しない場合(ステップS313でNo)、再び、振動補正処理装置50Aがオフセット量Df分だけ補正量をオフセットするのに合わせて、表示制御部32は基準位置P0を更新された基準位置P0にオフセット量B1だけ変更する。基準位置演算処理部62Aが、更新する基準位置へ到達したと判定した場合(ステップS313でYes)、基準位置演算処理部62Aが更新可能フラグFa2をOFFにする(S314)。その後、図11B及び図11Aの符号Bを経由して、算出処理を継続するか否かが判定される(S308)。
【0082】
図12に示すように、振動補正処理装置50Aにより補正量の大きさが徐々に小さくなるので、虚像Ivの位置が徐々に基準位置P0に戻る。虚像Ivの位置が急に大きく変わらないので、乗員Dが、虚像Ivの表示位置の変化に対して違和感を覚えることを抑制することができる。さらに、基準位置設定装置60Aは、振動補正処理装置50Aが補正量を徐々にリセットするのに合わせて、基準位置も更新された基準位置に徐々に近づける。これにより、虚像Ivの基準位置の更新表示が目立つのを低減することができる。
【0083】
(第3実施形態)
第1実施形態では、補正量をゼロリセットするタイミングに合わせて、基準位置の更新を行っていた。第3実施形態では、補正量をゼロリセットするタイミングの代わりに虚像を非表示にするタイミングに合わせて、基準位置の更新を行う。この点および以下に説明する点以外の構成は、本実施形態と第1実施形態と共通であるので詳細な説明を省略する。
【0084】
図13は、第3実施形態において、基準位置設定装置60の基準位置演算処理部62が行う演算処理を示している。第3実施形態のステップS301~S305、およびS308~S311は、第1実施形態と同様であるので、説明を省略する。
【0085】
第1実施形態と同様に、基準位置演算処理部62は、ステップS301~S303を実施する。基準位置算出部62bにより基準位置の算出が完了していない場合(S303でNo)、及び、更新可能フラグFa2がONされた後は、基準位置演算処理部62は、表示処理装置30の状態を取得する(S321)。例えば、基準位置演算処理部62は、表示制御部32から虚像の表示・非表示状態を切り替える表示切り替え信号を受信する。表示制御部32は、例えば、虚像を非表示に切り替える場合に、表示切り替え信号をON状態にする。
【0086】
基準位置演算処理部62は、表示制御部32からON状態の表示切り替え信号を受信すると、虚像が非表示へ切り替わることを認識し(ステップS322でNo)、さらに、基準位置演算処理部62は、更新可能フラグFa2がON状態であるか否かを判定する(S309)。基準位置演算処理部62は、更新可能フラグFa2がON状態であると判定すると(S309でYes)、記憶部63に保持されている更新用の最新の基準位置P0を、通信部61から表示処理装置30へ送信する。表示制御部32が更新用の基準位置P0を用いることで、基準位置を更新する(S310)。基準位置演算処理部62が、更新用の基準位置P0を表示処理装置30へ送信すると、基準位置演算処理部62は、基準位置の更新可能フラグFa2をOFFに設定する(S311)。
【0087】
基準位置演算処理部62は、基準位置の算出処理を継続するか否かを判断する(S308)。基準位置の算出処理を継続する場合は、ステップS301に戻る。また、表示制御部32が虚像を表示させるとき、すなわち、基準位置演算処理部62は、表示切り替え信号がOFF状態で虚像を非表示にしないと認識するとき(S322でYes)や、更新可能フラグFa2がOFF状態であると判定する(S309でNo)とき、ステップS308に移行する。
【0088】
このような構成により、表示装置30が基準位置P0を更新することができる。車両200の静止状態に対する虚像Ivの基準位置P0の更新を、振動補正の補正量のゼロリセット動作に関係なく、虚像Ivが非表示になるタイミングで行うことができる。これにより、虚像Ivの基準位置のずれ補正が運転者に対して目立たなくなり、ストレスを軽減することができる。
【0089】
(他の実施形態)
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。
【0090】
上記実施形態では、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、振動補正処理装置50及び基準位置設定装置60がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置30と振動補正処理装置50が一つの装置として一体的に形成されてもよい。情報取得装置20と表示処理装置30とが一つの装置として一体的に形成されてもよい。姿勢検出装置40と振動補正処理装置50が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置10、情報取得装置20、表示処理装置30、姿勢検出装置40、振動補正処理装置50及び基準位置設定装置60の全てが一つの装置として形成されてもよい。この場合、通信部31、51、61はなくてもよい。
【0091】
上記実施形態では、情報取得装置20がGPSモジュール21、カメラ22及び車速センサ23を含む例について説明した。しかし、情報取得装置20は、車両200から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置30に出力してもよい。情報取得装置20は、ナビゲーションシステムを含んでもよい。情報取得装置20は、GPSモジュール21、距離センサ、及びカメラ22、画像処理装置、加速度センサ、レーダー、音波センサ、及びADAS(Advanced Driver-Assistance Systems)の白線検知装置などのうち、1つ以上を含んでもよい。この場合、情報取得装置20としての機能を有するGPSモジュール21、カメラ22、車速センサ23、及び距離センサなどは、一つの装置に内蔵されてもよいし、個別に車両200に取り付けられてもよい。
【0092】
上記実施形態では、移動体が、自動車などの車両200である場合について説明した。しかし、移動体は車両200に限らない。移動体は、地上を走行する乗り物であってもよく、例えば、列車又はオートバイであってもよい。移動体は、自動運転で走行することができる無人機であってもよい。
【0093】
上記実施形態では、移動体の前方に像を表示する場合について説明した。しかし、像を表示する位置は、前方に限らない。例えば、像は、移動体の側面方向や後方に表示されてもよい。
【0094】
上記実施形態では、表示システム100がHUDシステムである例について説明した。しかし、表示システム100はHUDシステムでなくてもよい。表示システム100は、投影装置10に代えて、液晶ディスプレイ又は有機ELディスプレイを備えてもよい。表示システム100は、スクリーン及びプロジェクタを含んでもよい。
【0095】
(実施形態の概要)
【0096】
(1)本開示の表示システムは、移動体の姿勢変動量を検出する姿勢検出装置と、姿勢変動量に基づいて、移動体の姿勢状態を推定する姿勢推定部と、姿勢状態に基づいて、像の基準位置を設定する基準位置設定装置と、姿勢変動量に基づいて、像の表示位置の補正量を設定する補正処理装置と、前記基準位置と前記補正量とタイミング指令とに基づいて、前記像の表示位置を制御する表示処理装置と、を備える、表示システム。
【0097】
これにより、像を表示する基準位置を調整することができるので、像の位置ずれを精度良く補正することができる。さらに、基準位置の位置ずれ補正を振動による位置ずれの補正と同時に行うので目立たなくすることができる。この結果、像の表示品位を維持することもできる。
【0098】
(2)(1)の表示システムにおいて、タイミング指令は、補正処理装置が補正量をゼロにリセットするタイミングで補正処理装置から送信される信号でもよい。
【0099】
(3)(1)の表示システムにおいて、タイミング指令は、補正処理装置が補正量を所定量低減する処理を開始するタイミングで補正処理装置から送信される信号でもよい。
【0100】
(4)(1)の表示システムにおいて、タイミング指令は、表示処理装置が像を非表示にするタイミングで発生させる信号でもよい。
【0101】
(5)(2)から(4)の表示システムにおいて、表示処理装置は、前記タイミング指令に基づいて、前記基準位置を変更してもよい。
【0102】
(6)(1)から(5)の表示システムにおいて、像を表す光を投影する投影装置をさらに含んでもよい。
【0103】
(7)(1)から(6)の表示システムにおいて、移動体は、車両であり、像は、車両のフロントガラスの前方に表示される虚像であってもよい。
【0104】
本開示に記載の表示システムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
【産業上の利用可能性】
【0105】
本開示は、虚像をフロントガラスの前方に表示する表示システムに適用可能である。
【符号の説明】
【0106】
10 投影装置
20 情報取得装置
21 GPSモジュール
22 カメラ
23 車速センサ
30 表示処理装置
31 通信部
32 表示制御部
33 記憶部
40 姿勢検出装置
41 ジャイロセンサ
42 加速度センサ
43 車高センサ
50 振動補正処理装置
51 通信部
52 補正制御部
52a ずれ量算出部
52b 補正量算出部
52c 判定部
60 基準位置設定装置
61 通信部
62 基準位置演算処理部
62a 車両姿勢推定部
62b 基準位置算出部
63 記憶部
100 表示システム
200 車両
210 フロントガラス
220 表示領域
図1
図2
図3A
図3B
図3C
図3D
図4A
図4B
図4C
図5
図6
図7
図8
図9
図10
図11A
図11B
図12
図13