特表-20084954IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マクセル株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2020年4月30日
【発行日】2021年10月14日
(54)【発明の名称】ヘッドアップディスプレイシステム
(51)【国際特許分類】
   B60K 35/00 20060101AFI20210917BHJP
   G02B 27/01 20060101ALI20210917BHJP
   G09G 5/00 20060101ALI20210917BHJP
   G09G 5/38 20060101ALI20210917BHJP
   G09G 5/10 20060101ALI20210917BHJP
   G09G 5/36 20060101ALI20210917BHJP
【FI】
   B60K35/00 A
   G02B27/01
   G09G5/00 510A
   G09G5/00 550C
   G09G5/38 A
   G09G5/10 Z
   G09G5/00 530D
   G09G5/36 520B
【審査請求】有
【予備審査請求】未請求
【全頁数】24
【出願番号】特願2020-552964(P2020-552964)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年9月13日
(31)【優先権主張番号】特願2018-199183(P2018-199183)
(32)【優先日】2018年10月23日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】317015179
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜特許業務法人
(72)【発明者】
【氏名】藤田 裕司
(72)【発明者】
【氏名】下田 望
【テーマコード(参考)】
2H199
3D344
5C182
【Fターム(参考)】
2H199DA03
2H199DA15
2H199DA33
2H199DA46
3D344AA09
3D344AA21
3D344AA26
3D344AC25
5C182AA02
5C182AA03
5C182AA04
5C182AA05
5C182AB25
5C182AB31
5C182AC03
5C182BA01
5C182BA14
5C182BA25
5C182BA28
5C182BA29
5C182BA45
5C182BA46
5C182BA47
5C182BA56
5C182BA75
5C182CA01
5C182CB42
5C182CB47
5C182CC24
(57)【要約】
車両の振動に対し、運転者に違和感を与えず映像の表示位置を好適に補正するヘッドアップディスプレイシステムを提供する。ヘッドアップディスプレイシステム1では、車両2の振動を検出するためにジャイロセンサ43を設置する。映像データ生成部132は、ジャイロセンサ43により取得した2軸方向の角速度情報をもとに、表示するオブジェクトの表示位置のピッチング補正を行う。車両2が傾いた状態でカーブ走行する場合、映像表示範囲80内の定位置に表示する常時表示オブジェクト82については、ピッチング補正を抑制または中止する。前方センシング装置30で検出した特定の物体72に重ねて表示する実景重畳オブジェクト81については、表示の明るさを暗くし、または消去する。
【特許請求の範囲】
【請求項1】
車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、前記車両の前方の物体を検出する前方センシング装置とを備えたヘッドアップディスプレイシステムにおいて、
前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、前記映像データの映像光を出射する映像表示部を有し、
前記映像データ生成部が生成する映像データには、映像表示範囲内の定位置に表示する常時表示オブジェクトと、前記前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトがあり、
前記車両には、該車両の振動を検出するためにジャイロセンサが設置されており、
前記映像データ生成部は、前記ジャイロセンサにより取得した2軸方向の角速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置のピッチング補正を行うものであって、
前記車両が傾いた状態でカーブ走行する場合、前記常時表示オブジェクトについてはピッチング補正を抑制または中止し、前記実景重畳オブジェクトについては表示の明るさを暗くまたは消去することを特徴とするヘッドアップディスプレイシステム。
【請求項2】
請求項1に記載のヘッドアップディスプレイシステムにおいて、
前記常時表示オブジェクトに対するピッチング補正の変更、および前記実景重畳オブジェクトに対する表示の明るさの変更を行うとき、
前記ジャイロセンサにより取得したヨー方向の角速度|ωyaw|が閾値ω0より小さい場合はG=1、|ωyaw|が閾値ω0より大きい場合はG=0に漸近する減衰項Gを掛けて変更することを特徴とするヘッドアップディスプレイシステム。
【請求項3】
車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、前記車両の前方の物体を検出する前方センシング装置とを備えたヘッドアップディスプレイシステムにおいて、
前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、前記映像データの映像光を出射する映像表示部を有し、
前記映像データ生成部が生成する映像データには、映像表示範囲内の定位置に表示する常時表示オブジェクトと、前記前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトがあり、
前記車両には、該車両の振動を検出するためにジャイロセンサが設置されており、
前記映像データ生成部は、前記ジャイロセンサにより取得した3軸方向の角速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置のピッチング補正を行うものであって、
前記ジャイロセンサで取得した角速度のピッチング成分ωpitch、ヨー成分ωyaw、ロール成分ωrollに対し、ロール成分ωrollについては時間積分してロール角度θrollとしたとき、
ωc’=ωpitch−ωyaw・tanθroll
より角速度ωc’を求め、前記常時表示オブジェクトと前記実景重畳オブジェクトの表示位置のピッチング補正を行うことを特徴とするヘッドアップディスプレイシステム。
【請求項4】
車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、運転者の視点位置を検出する視点検出装置とを備えたヘッドアップディスプレイシステムにおいて、
前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、前記映像データの映像光を出射する映像表示部を有し、
前記車両には、該車両の振動成分として回転ブレとシフトブレを検出するためにジャイロセンサと加速度センサが設置されており、
前記映像データ生成部は、前記ジャイロセンサにより取得した角速度情報と、前記加速度センサにより取得した加速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置の補正を行うものであって、
前記加速度センサにおける鉛直変位が前記車両の回転ブレにより生じたとみなした場合の回転半径を求め、前記視点検出装置により検出した前記運転者の視点位置の情報から、前記運転者の位置における前記車両の回転ブレとシフトブレを算出し、オブジェクトの表示位置の補正を行うことを特徴とするヘッドアップディスプレイシステム。
【請求項5】
請求項4に記載のヘッドアップディスプレイシステムにおいて、
前記加速度センサを前記車両の前後位置に2個設置し、前記2個の加速度センサの鉛直変位から前記回転半径を求めることを特徴とするヘッドアップディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載し映像の表示位置を好適に補正するヘッドアップディスプレイシステムに関するものである。
【背景技術】
【0002】
近年、車両のフロントガラスを介して前方に映像情報を虚像として表示する車両用映像表示装置(ヘッドアップディスプレイ(以下、HUD))が実用化されている。その際、表示する映像情報として運転者向けの情報を提供することで、車両の運転操作を支援することができる。
【0003】
例えば特許文献1には、車両振動に応じた表示画像の表示位置の補正について記載される。ここでは、強調画像(実景中の特定の対象物に対して所定の位置関係を持つように表示される画像)は表示位置の補正処理を実行し、非強調画像(対象物に対して所定の位置関係を持たないで表示される画像)は補正処理を実行しない構成が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017−13590号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記特許文献1では、振動検出方法として「例えば3軸加速度センサ等で構成され」と述べているが、センサ検出値を用いて具体的にどのように補正するかについては記載されていない。すなわち、本件発明者等の検討によれば、ジャイロセンサを用いてピッチング揺れ(回転ブレ)の補正を行う場合、カーブ走行時に表示映像(オブジェクト)がピッチング揺れと関係ない方向に移動してしまうという現象を発見した。これは運転者に違和感を与えるため、回避する必要がある。また、高精度に補正処理を行う場合、ピッチング揺れだけでなく、上下方向の揺れ成分(シフトブレ)を含めて補正する必要がある。その際、類似技術として例えばカメラの手振れ補正法が知られているが、そのまま適用できず、運転者の視点位置を考慮して補正せねばならない。
【0006】
本発明の目的は、車両の振動に対し、運転者に違和感を与えず映像の表示位置を好適に補正するヘッドアップディスプレイシステムを提供することである。
【課題を解決するための手段】
【0007】
本発明のヘッドアップディスプレイシステムでは、車両の振動を検出するためにジャイロセンサを設置する。映像データ生成部は、ジャイロセンサにより取得した2軸方向の角速度情報をもとに、表示するオブジェクトの表示位置のピッチング補正を行う。車両が傾いた状態でカーブ走行する場合、映像表示範囲内の定位置に表示する常時表示オブジェクトについては、ピッチング補正を抑制または中止する。前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトについては、表示の明るさを暗くまたは消去する。
【0008】
また、本発明のヘッドアップディスプレイシステムでは、車両の振動成分として回転ブレとシフトブレを検出するためにジャイロセンサと加速度センサを設置する。映像データ生成部は、ジャイロセンサにより取得した角速度情報と、加速度センサにより取得した加速度情報をもとに、表示するオブジェクトの表示位置の補正を行う。加速度センサにおける鉛直変位が車両の回転ブレにより生じたとみなした場合の回転半径を求め、視点検出装置により検出した運転者の視点位置の情報から、運転者の位置における前記車両の回転ブレとシフトブレを算出し、オブジェクトの表示位置の補正を行う。
【発明の効果】
【0009】
本発明によれば、車両の振動に対し、運転者に違和感を与えず映像の表示位置を好適に補正するヘッドアップディスプレイシステムを提供することができる。
【図面の簡単な説明】
【0010】
図1】車両に搭載したHUDシステム1の概要を示す図。
図2A】HUDシステム1の全体構成を示すブロック図。
図2B】HUD装置10の内部構成を示すブロック図。
図2C】視点検出装置20の内部構成を示すブロック図。
図2D】前方センシング装置30の内部構成を示すブロック図。
図3】表示する映像データの種類を説明する図。
図4A】車両の振動を示す図。
図4B】車両の振動に伴う表示映像の揺れを示す図。
図5A】ピッチング揺れの測定を示す図(実施例1)。
図5B】ピッチング揺れに伴う表示位置の移動を示す図。
図5C】表示位置の補正を示す図。
図6】カーブ走行時の映像表示例を説明する図。
図7A】車両の3軸方向の回転を説明する図。
図7B】車体が傾かない状態でカーブを曲がる場合を示す図。
図7C】車体が傾いた状態でカーブを曲がる場合を示す図。
図8A】対処法1による常時表示オブジェクトの補正を説明する図。
図8B】対処法1による実景重畳オブジェクトの補正を説明する図。
図8C】対処法1で用いる補正関数(減衰項)を示す図。
図9】対処法1による補正後の表示例を示す図。
図10】実景重畳オブジェクトを消去する効果を説明する図。
図11】対処法1のフローチャートを示す図。
図12】対処法2のフローチャートを示す図。
図13A】2つの振動成分(回転ブレ)を示す図(実施例2)。
図13B】2つの振動成分(シフトブレ)を示す図(実施例2)。
図14A】補正計算(支点Sが車両の後方)を説明する図。
図14B】補正計算(支点Sが車両の前方)を説明する図。
図15】センサと運転者間の距離Lの測定法を示す図。
図16】フローチャートを示す図。
図17】変形例における補正計算を説明する図。
図18】運転者の鉛直変位hdの測定法を示す図。
【発明を実施するための形態】
【0011】
本発明によるヘッドアップディスプレイシステム(以下、HUDシステム)の実施形態について、図面を用いて説明する。
【0012】
図1は、車両に搭載したHUDシステム1の概要を示す図である。HUDシステム1は、映像表示機能の本体部であるHUD装置10と、運転者の視点位置を検出する視点検出装置20と、車両の前方の物体を検出する前方センシング装置30から構成される。
【0013】
HUD装置10は車両2のダッシュボードの下部に搭載され、映像表示装置で生成した映像をミラーを介して車両2のフロントガラス3(ウィンドシールドとも呼ぶ)に投射する。ウィンドシールド3にて反射された映像は運転者の目5’に入射し、運転者は映像を視認することができる。そのとき運転者は、ウィンドシールド3の前方に存在する虚像8を見ていることになる。HUD装置10内のミラー駆動部53は、運転者の目5’の高さ(A,B,C)に応じてミラー52を軸回転させ、虚像8の表示位置(高さ方向)を調整する。この調整により、運転者は虚像8を見やすい位置で視認することができる。
【0014】
視点検出装置20は、例えばダッシュボードの上に設置し、運転者の目5’の位置(距離と高さ)を測定する。視点検出装置20は、ドライバモニタリングシステム(DMS)に用いられる。前方センシング装置30は、例えばウィンドシールド3の上部に設置し、車両2の前方の物体(特定の対象物)を検出し、物体までの距離を測定する。HUD装置10は、視点検出装置20と前方センシング装置30の検出情報に基づいて、表示すべき映像を決定するとともに運転者の見やすい位置に表示する。なお、運転者の視認する虚像8のことを単に「映像8」とも呼ぶことにする。
【0015】
図2Aは、HUDシステム1の全体構成を示すブロック図である。HUDシステム1は、HUD装置10と視点検出装置20と前方センシング装置30で構成される。図2B図2Dは、それぞれの装置の内部構成を示している。各装置10,20,30は、情報取得部、CPU、メモリ、インターフェースを含む制御部(ECU:Electronic Control Unit)11,21,31を有している。また各装置10,20,30は、CAN(Controller Area Network)などの通信バス61を介して車両ECU60に接続されている。
【0016】
図2Bは、HUD装置10の内部構成を示すブロック図である。情報取得部12は、車両に取り付けた各種センサからの車両情報を取得する。センサとして、車両2の速度情報を取得する車速センサ41、車両2の振動や揺れの状態として、加速度情報を取得する加速度センサ42、角速度情報(ジャイロ情報)を取得するジャイロセンサ43を備える。また、車両2の位置や進行方向を示す地図情報を生成するために、GPS(Global Positioning System:全地球測位システム)信号を取得するGPS受信機44や、VICS(Vehicle Information and Communication System:道路交通情報通信システム、登録商標(以下同様))信号を受信するVICS受信機45を備える。その他、図示しないエンジン始動センサ、ハンドル操舵角センサ、温度センサ、照度センサなど、各種のセンサが取り付けられている。
【0017】
HUD装置10のCPU13は、映像データ生成部132や音声データ生成部131を有し、入力した車両情報に基づき運転者に提供する映像データや音声データを生成する。メモリ14は、CPU13が実行するプログラムや各種制御データを格納するとともに、表示する映像データを記憶する。音声データ生成部131が生成した音声データは、音声用インターフェース15を介してスピーカ54から出力される。映像データ生成部132が生成した映像データは、表示用インターフェース16を介して映像表示部50により表示される。映像表示部50は、LEDやレーザなどの光源、照明光学系、液晶素子などの表示素子により映像光を生成する映像表示装置51と、生成された映像光をウィンドシールド3に向けて出射するミラー52を有する。CPU13内のミラー調整部133は、ミラー駆動部53を介してミラー52の回転を調整する。通信部134は、通信用インターフェース17を介して通信バス61に接続され、視点検出装置20や前方センシング装置30との間で検出データや制御データの送受信を行う。
【0018】
図2Cは、視点検出装置20の内部構成を示すブロック図である。情報取得部22は、車両に取り付けた距離検出器46により運転者の視点位置までの距離情報を取得し、CPU24に転送する。距離検出器46には、例えばTOF(Time of Flight)センサなどが用いられる。また、車内カメラ47により車内の画像を撮影し、カメラ用インターフェース23を介してCPU24に転送し、映像解析部241により運転者の視点を検出する。メモリ25は、CPU24が実行するプログラムを格納するとともに、検出情報を記憶する。通信部242は、通信用インターフェース26を介して、運転者の距離情報や視点情報をHUD装置10へ送信する。
【0019】
図2Dは、前方センシング装置30の内部構成を示すブロック図である。情報取得部32は、車両に取り付けた距離検出器48により車両前方の物体(車両、標識、歩行者など)までの距離情報を取得し、CPU34に転送する。距離検出器48には、例えばTOF(Time of Flight)センサなどが用いられる。また、車外カメラ49により前方の画像を撮影し、カメラ用インターフェース33を介してCPU34に転送し、映像解析部341により物体を検出する。メモリ35は、CPU34が実行するプログラムを格納するとともに、検出情報を記憶する。通信部342は、通信用インターフェース36を介して、前方物体の距離情報や検出情報をHUD装置10へ送信する。
【0020】
図3は、表示する映像データの種類を説明する図である。図3には運転席から見た車両前方の実景70を示し、この中に前方走行する車両71が存在する。破線枠80はHUD装置10による映像表示範囲を示し、2種類のオブジェクトを表示している。
【0021】
実景重畳オブジェクト81は、実景にある特定の物体(車両、人、標識など)に重ねて表示するオブジェクトである。ここでは、前方車両に注意を喚起するためのアラート(リング)を表示している。その他の実景重畳オブジェクト81としては、経路情報、白線/路肩、店舗情報(ポップアップ)などを走行路や建物などに重ねて表示する。
【0022】
常時表示オブジェクト82は、実景に重ねず映像表示範囲80内の定位置に表示するオブジェクトである。ここでは、速度情報を映像表示範囲80の右下位置に表示している。その他の常時表示オブジェクト82としては、残燃料、気温、行先情報などをそれぞれの定位置に表示する。
【0023】
なお、表示するオブジェクトの映像データは、HUD装置10の映像データ生成部132により3D描画ライブラリを用いて生成され、またその表示位置が設定される。実景重畳オブジェクト81を表示する場合、前方センシング装置30により実景70に存在する物体(車両、人、標識など)を検知し、その位置を算出する。そして映像データ生成部132は、検知した物体に重畳させるようにオブジェクトを描画する。
【0024】
図4A図4Bは、車両の振動に伴う表示映像の揺れを説明する図である。図4Aのように路面の凹凸などにより車両2が矢印方向に振動すると、それに応じて運転者の見る映像8も揺れてしまう。揺れの方向は、車両2の上下振動を取り上げる。
【0025】
図4Bは車内から見た表示映像の揺れを示す。HUD装置10による映像表示範囲80は車両を基準に設定されるので、車両が揺れると映像表示範囲80も上下に変動し、それに伴って表示されるオブジェクト81,82の位置も上下に変動する。オブジェクトの揺れは運転者にとって不快感につながるだけでなく、実景重畳オブジェクト81は実景70内の物体(例えば車両71)からずれて表示されるので、好ましくない。なお、実景重畳オブジェクト81は、本来前方物体に重畳して表示されるものであるが、前方センシング装置30の物体検出性能が車両の揺れの速度に追従できない場合には、オブジェクトを重畳させて表示するのが困難となる。
【0026】
以下、車両の振動(揺れ)に対する表示映像の補正方法を場合分けして説明する。実施例1ではピッチング揺れ(回転成分)を対象とし、実施例2ではピッチング揺れとシフト揺れ(平行移動成分)を対象とする。
【実施例1】
【0027】
実施例1では、ピッチング揺れ(回転成分)を補正対象とし、ジャイロセンサを用いて補正処理を行う場合について説明する。
【0028】
図5A図5Cは、ジャイロセンサを用いたピッチング補正の基本動作を説明する図である。
図5Aは、ピッチング揺れの測定を示す図である。車両2に設置したジャイロセンサ43でy軸周りの回転速度、すなわちピッチング方向(ピッチ方向)の角速度ωpitchを測定する。CPU13は角速度ωpitchを積分し、角度変化量(ピッチ角度)θpitchを求める。
【0029】
図5Bは、ピッチング揺れに伴う表示位置の移動を示す図である。運転者5の見る映像表示範囲80は、ピッチ角度θpitchに応じて上方向にΔzだけ移動する(A位置→B位置)。これに伴い運転者5の見るオブジェクト81,82の表示位置も、上方向にΔzだけ移動してしまう。
【0030】
図5Cは、映像データ生成部132による表示位置の補正を示す図である。B位置においては、映像表示範囲80内のオブジェクト81,82の表示位置を、下方にΔzだけシフトさせる。これにより、運転者5の見るオブジェクトの表示位置が変わらないようにする。すなわち、ピッチ角度θpitchに応じてオブジェクトの表示位置をずらすことで、車両振動に伴うオブジェクトの揺れを抑制する。
【0031】
ここで本発明者等は、カーブ走行時に映像表示範囲がピッチング揺れと関係ない方向に移動してしまう現象を見出した。
【0032】
図6は、カーブ走行時の映像表示例を説明する図である。この例では、車両が交差点を右折する際に車体が左方向に傾いて走行する場合を示す。映像表示範囲80には、前方の歩行者72に重畳させてオブジェクト81が表示されている。しかし、路面は平坦で車両の上下揺れがないのにもかかわらず、本来表示したい位置81’から上方向にずれて表示されるため、見にくい表示となる。
【0033】
この現象について考察する。交差点やカーブで車体が左右方向に傾いた状態で曲がると、後述する理由でジャイロセンサ43は見かけ上のピッチ成分を検出する。HUD装置の制御部11はこのピッチ成分を補正しようとして、表示するオブジェクトを上下方向にずらすことに原因があると考えられる。
【0034】
図7A図7Cは、見かけ上のピッチ成分が発生する理由を説明する図である。
まず、図7Aで示すように、車両の3軸方向の回転を次のように定義する。車両2の進行方向をx軸、左右方向をy軸、上下(鉛直)方向をz軸とすると、x軸の周りの回転をロール方向、y軸の周りの回転をピッチ方向、z軸の周りの回転をヨー方向、と呼ぶ。ここで、車両2が左方向に曲がる場合を考える。
図7Bは、車体が傾かない状態でカーブを曲がる場合を示す。この場合ジャイロセンサ43では、ヨー方向の角速度ωのみ検出する。
【0035】
図7Cは、車体が傾いた状態でカーブを曲がる場合を示す。鉛直軸に対しロール方向に傾きθrollが与えられる。このときジャイロセンサ43では、車両の3軸方向を基準として角速度を検出するので、ヨー方向の角速度ωyawだけでなく、ピッチ方向の角速度ωpitchが発生する。
【0036】
ピッチ方向の角速度ωpitchは、
ωpitch=ω・sinθroll (1−1)
となりωpitchの成分が現れる。また、ヨー方向の角速度ωyawは、
ωyaw=ω・cosθroll (1−2)
となる。(1−1)、(1−2)式より、
ωpitch=ωyaw・tanθroll (1−3)
このようにジャイロセンサでは、ヨー方向の角速度ωyawだけでなく、ロール方向の傾きθrollで決まるピッチ方向の角速度ωpitchを検出する。その結果、HUD装置の制御部11はこのピッチ成分ωpitchを補正しようとして、表示するオブジェクトを上下方向にずらすことになる。
【0037】
上記したカーブ走行時の不要な表示補正を回避するために、以下に述べる[対処法1]または[対処法2]を施す。
【0038】
[対処法1]
対処法1では、補正対象を常時表示オブジェクトと実景重畳オブジェクトに分け、補正量の修正または表示明るさの変更を行うものである。
【0039】
図8A図8Cは、対処法1におけるオブジェクトの補正を説明する図である。まず、図8Aの常時表示オブジェクト82の補正から説明する。
【0040】
ジャイロセンサ43で検出されたピッチ角度がθpitchのとき、常時表示オブジェクトについては、補正で用いるピッチ角度を(2)式を用いてθcに修正する。
θc=θpitch・(1+exp(a(ωyaw+ω0)))-1・(1+exp(-a(ωyaw-ω0)))-1
=θpitch・G (2)
ここに、(2)式の減衰項Gは図8Cに示す補正関数で、ヨー方向の角速度|ωyaw|が閾値ω0より小さい場合はG=1、|ωyaw|が閾値ω0より大きい場合はG=0に漸近する関数である。ここに、減衰項G内の係数aを調整することで、G=1とG=0の間を滑らかに遷移させることができる。なお、関数Gは上記式に限らず、閾値ω0を境界としてG=1とG=0とを滑らかに遷移させるものであれば良い。
【0041】
図8Aでは、(2)式を用いた補正の例を示している。ヨー方向の角速度ωyawが小さい場合には、検出したピッチ角度θpitchをそのまま補正用のピッチ角度θcとして用いるが、ヨー方向の角速度ωyawが大きい場合には、補正用のピッチ角度θcを0に近づける。つまり、車両が急激にカーブを曲がろうとする場合には、ジャイロセンサによりピッチ角度θpitchが検出されてもオブジェクトの表示位置の補正を抑制または中止するようにする。
【0042】
次に、図8Bの実景重畳オブジェクト81の補正について説明する。実景重畳オブジェクトの表示位置は実景内の物体に重畳されるので、ジャイロセンサ43で検出されたピッチ角度θpitchとは無関係となる。その代わり、実景重畳オブジェクトの表示の明るさを、ジャイロセンサ43で検出されたヨー方向の角速度ωyawに応じて変更する。
【0043】
オブジェクトの変更前の明るさをPとしたとき、変更後の明るさPcを(3)式で修正する。
Pc=P・(1+exp(a(ωyaw+ω0)))-1・(1+exp(-a(ωyaw-ω0)))-1
=P・G (3)
ここに、(3)式の減衰項Gは前記(2)式の減衰項Gと同じ関数で、ヨー方向の角速度|ωyaw|が閾値ω0より小さい場合はG=1、|ωyaw|が閾値ω0より大きい場合はG=0に漸近する。
【0044】
図8Bでは、(3)式を用いた補正の例を示している。ヨー方向の角速度ωyawが小さい場合には、オブジェクトの表示の明るさPcは本来の明るさPとするが、ヨー方向の角速度ωyawが大きい場合には、表示の明るさPcを0に近づける。つまり、ヨー方向の角速度が大きい場合には、オブジェクト表示を暗くまたは消去するようにする。これは、車両が急激にカーブを曲がろうとする場合には、実景の重畳すべき物体が左右方向に移動する可能性が高く、よってオブジェクトの重畳表示自身を中止するのが適切と考えられるからである。
【0045】
図9は、対処法1による補正後の表示例を示す図である。ヨー方向の角速度ωyawが閾値ω0より大きい場合には、常時表示オブジェクト82(速度表示など)はピッチング揺れに応じて移動させず、固定表示とする。一方、実景重畳オブジェクト81(アラートなど)は、明るさを0に近い値に変更して、表示を中止(消去)する。
【0046】
図10は、実景重畳オブジェクトを消去することの効果を説明する図である。運転席から見た車外の風景を示す。カーブや交差点で急激に車体の向きを変えている最中には、運転者は車両の前方73ではなく、進行方向74を注視している。この最中、映像表示範囲80に動きのあるオブジェクト(アラートなど)81を表示すると、運転者が気を取られ、わき見状態となり危険である。また、前方センシング装置30の検出速度性能が低い場合、車体の急激な向きの変化に対応できず、検出遅延により対象物とは異なる箇所にアラート81を表示してしまう恐れがある。よって、急激に向きを変化させる場合は実景重畳オブジェクト81を消去することで、この問題を回避することができる。
【0047】
図11は、対処法1のフローチャートを示す図である。HUD装置の制御部11は以下の流れで補正処理を実行する。
S101:ジャイロセンサ43からヨー方向とピッチ方向の角速度(ωyaw、ωpitch)を取得する。
【0048】
S102:ピッチ方向の角速度ωpitchについてフィルタ処理を施す。具体的には、HPFでオフセット除去、LPFで高周波ノイズ除去を行う。
S103:フィルタ処理したωpitchを積分し、ピッチ角度θpitchを算出する。さらに一定の減衰係数を掛け、発散を防止する。
【0049】
S104:前記(2)式でピッチ角度θpitchを修正し、θcを算出する。すなわち、ヨー方向の角速度|ωyaw|が閾値ω0より大きい場合は、ピッチ角度θcを0に近づける。
S105:前記(3)式でオブジェクトの明るさPを修正し、Pcを算出する。すなわち、ヨー方向の角速度|ωyaw|が閾値ω0より大きい場合は、オブジェクトの明るさPcを0に近づける。
【0050】
S106:映像データ生成部132は、修正後のピッチ角度θcに応じて常時表示オブジェクトの位置を移動させる。
S107:修正後の明るさPcに応じて実景重畳オブジェクトの明るさを変更する。これらの補正を施されたオブジェクトは映像表示部50により表示される。
S108:映像の表示終了か否かを判定し、継続する場合はS101に戻り、上記処理を繰り返す。
【0051】
[対処法2]
次に、対処法1の変形例として対処法2について説明する。対処法2では、ジャイロセンサ43で3軸方向の角速度を測定し、角速度のロール成分ωrollも考慮して、実質的なピッチング角度θc’を算出する。ジャイロセンサ43で測定した角速度のピッチ成分ωpitch、ヨー成分ωyaw、ロール成分ωrollに対し、ロール成分ωrollについては時間積分してロール角度θrollとする。
【0052】
ピッチング補正に用いる角速度ωc’は、以下の式から求める。
ωc’=ωpitch−ωyaw・tanθroll (4)
(4)式で得られる角速度ωc’は、ヨー成分ωyawとロール角度θrollの影響が考慮されているので、実質的なピッチ成分となる。
【0053】
上記ωc’を時間積分し、実質的なピッチ角度θc’を求める。このθc’に応じて表示オブジェクトの位置を変えることで補正を行なう。この場合、実景重畳オブジェクトについても明るさの変更(消去)を行わず、常時表示オブジェクトと同様に処理する。
【0054】
図12は、対処法2のフローチャートを示す図である。
S111:ジャイロセンサ43からロール方向とヨー方向とピッチ方向の角速度(ωroll、ωyaw、ωpitch)を取得する。
【0055】
S112:各方向の角速度(ωroll、ωyaw、ωpitch)についてフィルタ処理を施す。具体的には、HPFでオフセット除去、LPFで高周波ノイズ除去を行う。
S113:フィルタ処理したωrollを積分し、ロール角度θrollを算出する。さらに一定の減衰係数を掛け、発散を防止する。
【0056】
S114:前記(4)式から角速度ωc’を算出する。その際、ωpitch、ωyaw、θrollの位相を調整する。
S115:角速度ωc’を時間積分し、実質的なピッチ角度θc’を算出する。さらに一定の減衰係数を掛け、発散を防止する。
【0057】
S116:映像データ生成部132は、ピッチ角度θc’に応じて常時表示オブジェクトおよび実景重畳オブジェクトの位置を移動させる。
S117:映像の表示終了か否かを判定し、継続する場合はS111に戻り、上記処理を繰り返す。
【0058】
対処法1と対処法2を比較する。対処法1ではロール方向を考慮する必要がないため、2軸ジャイロセンサで実施可能である。対処法1を実行する場合、ユーザが好みに合わせて閾値ω0と係数aを自由に変更できるものとする。対処法2では3軸ジャイロセンサが必要であるが、実質的なピッチング角度に基づいてオブジェクトを常に表示する。
【0059】
HUD装置10が3軸ジャイロセンサを実装している場合は、対処法1と対処法2をユーザが選択できる構成とする。また、実景重畳オブジェクトの種類に応じて、対処法1と対処法2を割り当ててもよい。例えば、店舗情報など文字を含むポップアップオブジェクトの場合は、ユーザが注視して危険であるため対処法1を割り当て、文字を含まないオブジェクトの場合は、対処法2を割り当てるのがよい。
【0060】
実施例1によれば、車両がカーブ走行時に表示オブジェクトがピッチング揺れと関係ない方向に移動してしまう現象を回避することができる。これにより、車両が急激な方向転換を行なう際に、運転者がわき見状態となることを回避し、安全運転の維持に寄与する効果がある。
【実施例2】
【0061】
実施例1では、車両の振動の補正対象としてピッチング揺れを扱ったが、車両の振動には、回転成分と平行移動成分が存在する。実施例2では、両者の成分を扱う。そのために車両の揺れセンサとしてジャイロセンサ43と加速度センサ42を使用する。
【0062】
図13A図13Bは、補正対象とする2つの振動成分を示す図である。図13Aは回転成分を示し、ピッチング角度θpitchで表され、「回転ブレ」と呼ぶことにする。図13Bは上下方向の平行移動成分を示し、変位hで表され、「シフトブレ」と呼ぶことにする。いずれもオブジェクトの表示位置が上下方向にずれる要因となる。
【0063】
これらを補正対象とするため、ジャイロセンサ43と加速度センサ42を使用し、カメラの手振れ補正の技術を適用する。ただし、カメラの手振れ補正では、撮像面におけるブレを求めるが、センサと撮像面の位置関係は固定であるので運転者の位置を考慮する必要がない。これに対し実施例2の場合、運転者の位置(視点)におけるブレを求める必要がある。その際運転者の位置は、身長や体勢により異なるため、視点検出装置20を用いてリアルタイムに測定するようにした。
【0064】
図14A図14Bは、実施例2における補正計算を説明する図である。ジャイロセンサ43と加速度センサ42(合わせてジャイロ・加速度センサとも呼ぶ)は、運転者5の前方に設置されている。ここでは2つの揺れ状態を示し、図14Aは回転ブレの支点Sが車両の後方にある場合、図14Bは支点Sが車両の前方にある場合である。車両の回転ブレとシフトブレの両方を扱うため、補正計算に使用するパラメータは、以下の通りである。
【0065】
ジャイロセンサ43から求めた角速度のピッチ成分ωpitchを積分し、ピッチ角度θpitchを算出する。ジャイロ・加速度センサ43,42と運転者5間の距離をLとする。ジャイロ・加速度センサ43,42位置における鉛直変位をhgとする。運転者5位置における鉛直変位をhdとする。hgが回転ブレにより生じたとみなした場合の回転半径をRとする。補正計算では、回転ブレ量に対応するピッチ角度θpitchと、シフトブレ量に対応する運転者5位置における変位hdを求める。
【0066】
各パラメータの間で、次の関係式が成り立つ。
hg=R・θpitch (ただし、θpitch<<1) (5−1)
dhg/dt(=Vz)=R・(dθpitch/dt) (5−2)
d2hg/dt2(=αz)=R・(d2θpitch/dt2) (5−3)
(5−2)もしくは(5−3)式より回転半径Rを求め、(5−1)式に代入することでhgが求まる。
【0067】
(5−2)式を使用する場合、速度dhg/dtは、加速度センサ42のz成分(αz)から、フィルタ処理(HPFなど)で重力加速度を除去し、時間積分したものである(Vzとする)。dθpitch/dtは、ジャイロセンサ43のピッチ成分(ωpitch)である。
【0068】
(5−3)式を使用する場合、加速度d2hg/dt2は、加速度センサ42のz成分(αz)からフィルタ処理で重力加速度を除去したものである。d2θpitch/dt2は、ジャイロセンサ43のピッチ成分を時間微分したもの(dωpitch/dt)である。
【0069】
図15は、ジャイロ・加速度センサ43,42と運転者5間の距離Lの測定法を示す図である。距離Lは、運転者5の身長や体勢により異なるため、視点検出装置20の測距機能(距離検出器46)を用いてリアルタイムに測定する。この図では、運転者5a,5bに対する距離La,Lbが測定される。
【0070】
以上より各パラメータhg、R、Lの値が求まると、(5−4)式により運転者5の位置における鉛直変位hdを算出する。
hd=hg・(R−L)/R (5−4)
オブジェクトの表示位置の補正では、回転ブレ量であるθpitchとシフトブレ量であるhdに応じてオブジェクト位置をずらして表示する。
【0071】
図16は、実施例2のフローチャートを示す図である。
S201:ジャイロセンサ43から3軸方向の角速度(ωroll,ωyaw,ωpitch)を取得する。
【0072】
S202:ピッチ成分ωpitchをフィルタ処理し(HPFでオフセット除去、LPFで高周波ノイズ除去)、フィルタ処理したωpitchを積分し、ピッチ角度θpitchを算出する(減衰係数を掛け、発散を防止)。
S203:フィルタ処理したωpitchを微分し、dωpitch/dtを算出する。
【0073】
S204:加速度センサ42から3軸方向の加速度(αx,αy,αz)を取得する。
S205:鉛直成分の加速度αzをフィルタ処理し(HPFで重力加速度を除去、LPFで高周波ノイズ除去)、さらに積分して鉛直方向の速度Vzを算出する(減衰係数を掛け、発散を防止)。
【0074】
S206:上記で求めたαz,Vz,ωpitch,dωpitch/dtを用いて、回転半径Rとセンサの鉛直変位hgを算出する。このとき、(5−2)または(5−3)式からRを算出し、(5−1)式からhgを算出する。
S207:視点検出装置20でジャイロ・加速度センサ43,42と運転者5間の距離Lを測定する。
【0075】
S208:上記で求めたR,hg,Lを用いて、(5−4)式から運転者5の鉛直変位hdを算出する。
S209:回転ブレ量θpitchとシフトブレ量hdに応じてオブジェクトの表示位置を変更する。
S210:表示終了か否かを判定し、継続する場合はS201に戻り、上記処理を繰り返す。
【0076】
ここで、実施例2には以下の変形例が可能である。変形例ではジャイロセンサ43と2個の加速度センサ42を設置して、回転半径を別の手法で求めるものである。
【0077】
図17は、変形例における補正計算を説明する図である。車両の前後位置に、加速度センサ42aと42bをそれぞれ取り付ける。2個の加速度センサ42a,42b間の距離をD(固定)とする。ジャイロセンサ43から求めたピッチ角度をθpitchとする。前方の加速度センサ42aの位置における鉛直変位をhga、後方の加速度センサ42bの位置における鉛直変位をhgbとする。回転ブレに対応する支点Sとするとき、変位hgaに対する回転半径をRa、変位hgbに対する回転半径をRbとする。
【0078】
各パラメータの関係は以下の式で表される。
hga=Ra・θpitch(ただし、θpitch<<1) (6−1a)
hgb=Rb・θpitch(ただし、θpitch<<1) (6−1b)
dhga/dt=Ra・(dθpitch/dt) (6−2a)
dhgb/dt=Rb・(dθpitch/dt) (6−2b)
d2hga/dt2=Ra・(d2θpitch/dt2) (6−3a)
d2hgb/dt2=Rb・(d2θpitch/dt2) (6−3b)
Ra−Rb=D ・・・(6−4)
(6−2a),(6−2b)式もしくは(6−3a),(6−3b)式より回転半径Ra、Rbを求める。
【0079】
まず、(6−2a),(6−2b)式を用いる場合は、
(dhga/dt)/Ra=(dhgb/dt)/Rb (6−5)
ここで、速度成分(dhga/dt)=Va、(dhgb/dt)=Vbとおくと、(6−4),(6−5)式より、
Ra=D・Va/(Va−Vb) (6−6a)
Rb=D・Vb/(Va−Vb) (6−6b)
となり、回転半径Ra、Rbが求まる。
【0080】
一方、(6−3a),(6−3b)式を用いる場合は、
(d2hga/dt2)/Ra=(d2hgb/dt2)/Rb (6−7)
ここで、加速度成分(d2hga/dt2)=αa、(d2hgb/dt2)=αbとおくと、(6−4),(6−7)式より
Ra=D・αa/(αa−αb) (6−8a)
Rb=D・αb/(αa−αb) (6−8b)
となり、回転半径Ra、Rbが求まる。
【0081】
なお、回転半径Ra、Rbの符号は、加速度センサ42a、42bと支点Sの位置関係で正負が決まる。(6−1a),(6−1b)式より、θpitchと変位hgx(x:a,b)の極性(方向)が同じであればRx(x:a,b)は正、異なれば負となる。図17の場合はRa,Rbとも正の値である。
【0082】
図18は、運転者の鉛直変位hdの測定法を示す図である。前方の加速度センサ42aと運転者5間の距離Lは、視点検出装置20の測距機能(距離検出器46)を用いて測定する。
【0083】
以上より各パラメータhga、Ra、Lの値が求まると、(6−9)式により運転者5の位置における鉛直変位hdを算出する。
hd=hga・(Ra−L)/Ra (6−9)
オブジェクトの補正では、回転ブレ量θpitchとシフトブレ量hdに応じてオブジェクト位置をずらして表示する。上記変形例によれば、回転半径Rを求めるにあたりジャイロセンサ43の値を使用する必要がない。
【0084】
実施例2によれば、車両の振動として回転ブレとシフトブレの両方を検出するとともに、運転者の視点位置を考慮することで、表示オブジェクトの表示位置を高精度に補正することができる。
【符号の説明】
【0085】
1:ヘッドアップディスプレイ(HUD)システム、
2:車両、
3:ウィンドシールド、
5,5’:運転者(運転者の目)、
8:虚像、
10:HUD装置、
11,21,31:制御部、
20:視点検出装置、
30:前方センシング装置、
42:加速度センサ、
43:ジャイロセンサ、
51:映像表示装置、
80:映像表示範囲、
81,82:表示オブジェクト、
132:映像データ生成部。
図1
図2A
図2B
図2C
図2D
図3
図4A
図4B
図5A
図5B
図5C
図6
図7A
図7B
図7C
図8A
図8B
図8C
図9
図10
図11
図12
図13A
図13B
図14A
図14B
図15
図16
図17
図18

【手続補正書】
【提出日】2021年4月14日
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、前記車両の前方の物体を検出する前方センシング装置とを備えたヘッドアップディスプレイシステムにおいて、
前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、前記映像データの映像光を出射する映像表示部を有し、
前記映像データ生成部が生成する映像データには、映像表示範囲内の定位置に表示する常時表示オブジェクトと、前記前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトがあり、
前記車両には、該車両の振動を検出するためにジャイロセンサが設置されており、
前記映像データ生成部は、前記ジャイロセンサにより取得した2軸方向の角速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置のピッチング補正を行うものであって、
前記車両が傾いた状態でカーブ走行する場合、前記常時表示オブジェクトについてはピッチング補正を抑制または中止し、前記実景重畳オブジェクトについては表示の明るさを暗くまたは中止することを特徴とするヘッドアップディスプレイシステム。
【請求項2】
請求項1に記載のヘッドアップディスプレイシステムにおいて、
前記常時表示オブジェクトに対するピッチング補正の変更、および前記実景重畳オブジェクトに対する表示の明るさの変更を行うとき、
前記ジャイロセンサにより取得したヨー方向の角速度|ωyaw|又は該|ωyaw|の換算値が閾値ω0より小さい場合はG=1、前記|ωyaw|又は該|ωyaw|の換算値前記閾値ω0より大きい場合はG=0に漸近する減衰項Gを掛けて変更することを特徴とするヘッドアップディスプレイシステム。
【請求項3】
請求項2に記載のヘッドアップディスプレイシステムにおいて、
前記減衰項GがG=0に漸近する場合、前記常時表示オブジェクトについてはピッチング補正を行わないことを特徴とするヘッドアップディスプレイシステム。
【請求項4】
車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、前記車両の前方の物体を検出する前方センシング装置とを備えたヘッドアップディスプレイシステムにおいて、
前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、前記映像データの映像光を出射する映像表示部を有し、
前記映像データ生成部が生成する映像データには、映像表示範囲内の定位置に表示する常時表示オブジェクトと、前記前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトがあり、
前記車両には、該車両の振動を検出するためにジャイロセンサが設置されており、
前記映像データ生成部は、前記ジャイロセンサにより取得した3軸方向の角速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置のピッチング補正を行うものであって、
前記ジャイロセンサで取得した角速度のピッチング成分ωpitch、ヨー成分ωyaw、ロール成分ωrollに対し、ロール成分ωrollについては時間積分してロール角度θrollとしたとき、
ωc’=ωpitch−ωyaw・tanθroll
より角速度ωc’を求め、前記常時表示オブジェクトと前記実景重畳オブジェクトの表示位置のピッチング補正を行うことを特徴とするヘッドアップディスプレイシステム。
【請求項5】
車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、運転者の視点位置を検出する視点検出装置とを備えたヘッドアップディスプレイシステムにおいて、
前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、前記映像データの映像光を出射する映像表示部を有し、
前記車両には、該車両の振動成分として回転ブレとシフトブレを検出するためにジャイロセンサと加速度センサが設置されており、
前記映像データ生成部は、前記ジャイロセンサにより取得した角速度情報と、前記加速度センサにより取得した加速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置の補正を行うものであって、
前記加速度センサにおける鉛直変位が前記車両の回転ブレにより生じたとみなした場合の回転半径を求め、前記視点検出装置により検出した前記運転者の視点位置の情報から、前記運転者の位置における前記車両の回転ブレとシフトブレを算出し、オブジェクトの表示位置の補正を行うことを特徴とするヘッドアップディスプレイシステム。
【請求項6】
請求項5に記載のヘッドアップディスプレイシステムにおいて、
前記加速度センサを前記車両の前後位置に2個設置し、前記2個の加速度センサの鉛直変位から前記回転半径を求めることを特徴とするヘッドアップディスプレイシステム。
【国際調査報告】