(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-11
(45)【発行日】2022-02-10
(54)【発明の名称】視点撮影装置、視点撮影方法および評価方法
(51)【国際特許分類】
B60R 11/02 20060101AFI20220203BHJP
H04N 5/225 20060101ALI20220203BHJP
G02B 27/01 20060101ALI20220203BHJP
B60R 11/04 20060101ALI20220203BHJP
B60K 35/00 20060101ALI20220203BHJP
【FI】
B60R11/02 Z
H04N5/225
G02B27/01
B60R11/04
B60K35/00 A
B60K35/00 Z
H04N5/225 400
(21)【出願番号】P 2018131720
(22)【出願日】2018-07-11
【審査請求日】2021-01-08
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100098497
【氏名又は名称】片寄 恭三
(74)【代理人】
【識別番号】100099748
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【氏名又は名称】橘 和之
(72)【発明者】
【氏名】木村 豪
【審査官】西田 侑以
(56)【参考文献】
【文献】国際公開第2005/124431(WO,A1)
【文献】特開2003-315686(JP,A)
【文献】特開2018-103883(JP,A)
【文献】特開2004-276733(JP,A)
【文献】国際公開第2017/130763(WO,A1)
【文献】米国特許出願公開第2012/0327230(US,A1)
【文献】特開2016-20945(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B60R 9/00 - 11/06
H04N 5/222 - 5/257
G02B 27/01
B60K 35/00
(57)【特許請求の範囲】
【請求項1】
運転者の視点撮影装置であって、
フロントガラスと運転席との間に配置され、フロントガラスから入射される光の一部を透過し、かつ一部を反射するミラーと、
前記ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像する撮像装置と、
を有する視点撮影装置。
【請求項2】
視点撮影装置はさらに、フロントガラスまたはコンバイナに画像を投射する投射手段を含む、請求項1に記載の視点撮影装置。
【請求項3】
前記撮像装置は、車両の天井に取り付けられ、前記撮像装置の光軸は、フロントガラスから入射された光が前記ミラーによって反射されたときの反射角の方向に概ね一致する、請求項1に記載の視点撮影装置。
【請求項4】
視点撮影装置はさらに、前記撮像装置によって撮像された映像を出力する出力手段を含む、請求項1に記載の視点撮影装置。
【請求項5】
前記出力手段は、前記撮像装置によって撮像された映像を記憶する記憶手段を含む、請求項4に記載の視点撮影装置。
【請求項6】
前記ミラーは、車両の天井に取り付けられる、請求項1に記載の視点撮影装置。
【請求項7】
視点撮影装置はさらに、前記ミラーの位置または角度を調整する調整手段を含む、請求項6に記載の視点撮影装置。
【請求項8】
視点撮影装置はさらに、前記ミラーの振動を防止する振動防止手段を含む、請求項6または7に記載の視点撮影装置。
【請求項9】
視点撮影装置はさらに、前記撮像装置の位置または向きを調整する調整手段を含む、請求項1に記載の視点撮影装置。
【請求項10】
視点撮影装置はさらに、前記撮像装置の振動を防止する振動防止手段を含む、請求項1に記載の視点撮影装置。
【請求項11】
運転者の視点を撮影する視点撮影方法であって、
投射装置により、車両の走行中に、フロントガラスまたはコンバイナに画像を投射させ、
フロントガラスと運転席との間に配置されたミラーにより、フロントガラスから入射された光の一部を透過させ、その透過光を運転者の視点に入射させ、かつ当該入射された光の一部を反射させ、その反射光を撮像装置に入射させ、
撮像装置により、走行中の運転者の視線方向の映像を撮像させる、視点撮影方法。
【請求項12】
請求項11に記載の視点撮影方法によって撮像された撮像データを用いて、運転者の視線方向の映像を評価する、評価方法。
【請求項13】
前記撮像データに基づき、フロントガラスまたはコンバイナに投射された画像と運転者の視線方向のオブジェクトとの位置関係を評価することを含む、請求項12に記載の評価方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、運転者の視点を撮影する装置に関し、特に、仮想現実(Augmented Reality:以下、ARという)を投射するヘッドアップディスプレイ(Heads Up Display:以下、HUDという)を利用するときの運転者の視点撮影に関する。
【背景技術】
【0002】
昨今、運転者への種々の情報を提示する手段としてHUDが利用されている。また、HUDを利用して、道路等の実景に存在する対象物(オブジェクト)に投射画像を重ね合わせるAR表示も実用化されている。AR表示を実現するには、HUD以外にも、オブジェクトをセンシングするオブジェクトセンシング技術や自車の姿勢角を正確に計算するソフトウェア技術等が必要である。
【0003】
AR表示では、HUDによる投射画像を実景のオブジェクトに重ね合わせる必要があり、両者の位置関係がずれていると、運転者にとっては、投射されたAR画像がオブジェクトからずれて見える場合がある。こうした不具合を解消するため、特許文献1は、ヘッドアップディスプレイ装置の調整方法を開示しており、運転者の目の位置に調整用鏡を配置し、被撮影物とヘッドアップディスプレイの表示画面を重畳させた画像をディスプレイに表示させ、ヘッドアップディスプレイ装置の調整を可能にしている。特許文献2は、測定された視点位置に基づいて真の視点位置を算出し、両者の差に基づき虚像を表示させる車両用表示装置を開示している。特許文献3は、虚像調整装置のズレを自動的に歪みのない状態に調整する方法を開示している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2009-262666号公報
【文献】国際公開第2016/157799号
【文献】特開2011-209457号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
HUDによるAR画像を実景に重畳させる場合、運転者の視点位置からAR画像がどのように見えるか、すなわち運転者の視点位置とAR画像との相対的な位置関係を事前に調整する必要がある。
図8は、従来の調整方法を説明する図である。車両1にHUD2が搭載され、HUD2により実景のオブジェクトOBに関連したAR画像3がフロントガラス4またはスクリーン上に投射され、運転者Uは、その視線方向SにAR画像3の虚像3Aを見る。また、運転者Uの視線位置近傍に撮像カメラ5が取り付けられ、撮像カメラ6により撮像された撮像データを評価することで、運転者の視点位置とAR画像の相対的な位置関係を評価し、その評価結果に基づきHUD3の調整を行っている。
図8(B)は、オブジェクト3に関連する虚像4Aが適切に表示されている状態を示している。
【0006】
しかしながら、
図8に示すような従来の調整方法は、運転者Uの視線位置近傍に撮像カメラ6を取り付けなければならず、その作業は、非常に煩雑である。それ故、ときには、運転者Uが運転席に着座することができず、車両1を停車させた状態での運転者の視線方向の映像を撮像しなければならず、実際に走行中の運転者の視線方向の映像を得ることができないという課題があった。
【0007】
本発明は、このような従来の課題を解決するものであり、簡易な方法により走行中の運転者の視線方向の映像を得ることができる、視点撮影装置、視点撮影方法および評価方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る運転者の視点撮影装置は、フロントガラスと運転席との間に配置され、フロントガラスから入射される光の一部を透過し、かつ一部を反射するミラーと、前記ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像する撮像装置とを有する。
【0009】
ある実施態様では、視点撮影装置はさらに、フロントガラスまたはコンバイナに画像を投射する投射手段を含む。ある実施態様では、前記撮像装置は、車両の天井に取り付けられ、前記撮像装置の光軸は、フロントガラスから入射された光が前記ミラーによって反射されたときの反射角の方向に概ね一致する。ある実施態様では、視点撮影装置はさらに、前記撮像装置によって撮像された映像を出力する出力手段を含む。ある実施態様では、前記出力手段は、前記撮像装置によって撮像された映像を記憶する記憶手段を含む。ある実施態様では、前記ミラーは、車両の天井に取り付けられる。ある実施態様では、視点撮影装置はさらに、前記ミラーの位置または角度を調整する調整手段を含む。ある実施態様では、視点撮影装置はさらに、前記ミラーの振動を防止する振動防止手段を含む。ある実施態様では、視点撮影装置はさらに、前記撮像装置の位置または向きを調整する調整手段を含む。ある実施態様では、視点撮影装置はさらに、前記撮像装置の振動を防止する振動防止手段を含む。
【0010】
本発明に係る運転者の視点を撮影する視点撮影方法は、投射装置により、車両の走行中に、フロントガラスまたはコンバイナに画像を投射させ、フロントガラスと運転席との間に配置されたミラーにより、フロントガラスから入射された光の一部を透過させ、その透過光を運転者の視点に入射させ、かつ当該入射された光の一部を反射させ、その反射光を撮像装置に入射させ、撮像装置により、走行中の運転者の視線方向の映像を撮像させる。
【0011】
本発明に係る評価方法は、上記構成の視点撮影方法によって撮像された撮像データを用いて、運転者の視線方向の映像を評価する。ある実施態様では、前記撮像データに基づき、フロントガラスまたはコンバイナに投射された画像と運転者の視線方向のオブジェクトとの位置関係を評価することを含む。
【発明の効果】
【0012】
本発明によれば、フロントガラスと運転席との間にミラーを配置し、ミラーによって反射された光を入射することで運転者の視線方向の映像を撮像するようにしたので、走行中の運転者の視線方向の映像を容易に取得することができる。
【図面の簡単な説明】
【0013】
【
図1】本発明の実施例に係る視点撮影装置の全体配置を説明する図である。
【
図3】本発明の実施例に係るハーフミラーの取り付け例を説明する図である。
【
図4】本発明の実施例に係る撮像カメラの電気的構成を示すブロック図である。
【
図6】本発明の実施例に係る視点撮影装置の動作を説明する図である。
【
図7】本実施例に係る評価装置の一例を説明する図である。
【
図8】従来のHUDの評価ないし調整方法を説明する図である。
【発明を実施するための形態】
【0014】
次に、本発明の実施の形態について図面を参照して詳細に説明する。本実施例に係る視点撮影装置は、フロントガラスと運転席との間に配置され、運転者の視線方向の映像を反射するハーフミラーと、ハーフミラーによって反射された光により運転者の視線方向の映像を撮像する撮像装置とを含む。1つの態様では、撮像装置およびハーフミラーは、車両の天井に取り付けられる。また、1つの態様では、撮像装置およびハーフミラーは、調整機構によってその取り付け位置および/または取り付け角度の調整が可能である。
【0015】
また、車両には、HUDが搭載される。HUDは、車両のフロントガラスまたはフロントガラス近傍のコンバイナにAR画像や、その他必要な画像を投射する。AR画像を投射する場合には、運転者は、その視線方向にAR画像の虚像を実空間のオブジェクトに重畳させて視認する。本実施例の視点撮影装置は、運転者にとって視認されるAR画像とオブジェクトとの重畳された映像を撮像する。1つの態様では、撮像された映像は、評価装置において評価され、この評価結果に基づきHUDの位置調整、あるいはAR画像とオブジェクトとの相対的な位置調整等が行われる。
【実施例】
【0016】
次に、本発明の実施例について説明する。
図1は、本発明の実施例に係る視点撮影装置の概略構成を示す図である。本実施例に係る視点撮影装置10は、走行中の運転者の視線方向の映像を撮像可能な装置であり、ハーフミラー100、撮像カメラ200、およびHUD300を含んで構成される。
【0017】
ハーフミラー100は、車両のフロントガラス410と運転席420との間に配置され、フロントガラス410から入射された光の一部を入射し、一部を反射する。言い換えれば、運転席420に着座された運転者Uの視点の前方側、すなわち視線方向に配される。ハーフミラー100は、例えば、透明な板ガラスあるいはアクリルなどの有機ガラス上に1つまたは複数の反射膜を形成して構成される。以下の説明では、便宜上、ハーフミラーと称するが、ハーフミラー100の反射率と透過率との関係は、必ずしも等しい必要はなく、透過率>反射率でもよいし、反対に反射率>透過率でもよい。また、ハーフミラー100の形状は任意であり、ここでは、矩形状に構成される。
【0018】
ここで、運転者の視点とは、運転者の両眼のほぼ中心を表し、その視線方向とは、その視点から車両の前方に向かう方向である。
図2に、運転者の上面図を模式的に示す。同図において、点Q1、Q2は、運転者Uの左右の眼の位置であり、点Qは、両眼の中心点、すなわち、運転者Uの視点である。運転者Uの視線方向Sは、視点Qから車両の前方に向かうが、この視線方向Sは、運転席420に着座したときの運転者Uがオブジェクトを視認する方向として予め規定される。視線方向Sは、例えば、運転者Uが運転席420に着座したときに自車前方の距離10mを見る方向である。
【0019】
図3に、ハーフミラー100の取り付け例を示し、
図3(A)は、ハーフミラーの正面図、
図3(B)は、ハーフミラーの動作を説明する図である。ハーフミラー100は、概略矩形状を有し、一対の棒状の支持部110、120によって車両の天井400に固定される。支持部110、120の一方の端部112、122は、例えば、ヒンジ等の部材によってハーフミラー100の両側部に回転可能に取り付けられ、他方の端部114、124は、天井400に固定される。ハーフミラー100は、
図3(B)に示すにように、支持部110、120の端部112、122を介して回転可能であり、ハーフミラー100の回転角θは、運転者Uの視線方向Sに応じて適宜設定される。
【0020】
1つの実施態様では、車両の走行中の振動がハーフミラー100に伝達されるのを防止するため、支持部110、120の一方の端部112、122とハーフミラー100との間に、振動や衝撃等を吸収する吸収部材や吸収シートが介在されるようにしてもよい。吸収部材または吸収シートは、例えば、ゴムや樹脂等の弾性部材から構成される。同様に、支持部110、120の他方の端部114、124と天井400との間に、振動や衝撃等を吸収するゴム等の吸収部材や吸収シートが介在されるようにしてもよい。
【0021】
また、ハーフミラー100は、
図3(B)に示すように、天井400とほぼ平行なXY平面において、その位置を可変できるようにしてもよい。支持部110、120の他方の端部114、124は、例えば、天井400に設置されたレール430などを介してX方向またはY方向に摺動できるようにし、これにより、ハーフミラー100の位置を調整するようにしてもよい。
【0022】
次に、撮像カメラ200について説明する。撮像カメラ200は、例えば、天井400に取り付けられ、ハーフミラー100によって反射された光を入射し、運転者Uの視線方向の映像を撮像する。具体的には、撮像カメラ200の光軸C1と運転者Uの視線方向Sとが交差する位置にハーフミラー100が配置され、フロントガラス410から入射した光の一部がハーフミラー100によって反射されて撮像カメラ200へ向けられ、一部がハーフミラー100を透過して運転者Uの視点へ向けられる。
【0023】
図4は、本実施例の撮像カメラ200の電気的な構成を示すブロック図である。撮像カメラ200は、ハーフミラー100によって映された映像を撮像する撮像素子(CMOSセンサやCCD等)を含む撮像部210と、撮像部210によって撮像された撮像データを記憶する記憶部220と、記憶部220に記憶された画像データを外部に出力する出力部230と、内部バス240を介して各部と接続される制御部250とを含んで構成される。
【0024】
撮像部210は、例えば、
図3(A)に示すように、ハーフミラー100上に映された映像の一定の撮像範囲Kを撮像するための光学レンズ260を含むことができる。撮像範囲260の大きさは任意であるが、例えば、
図2に示すように、運転者Uの視線方向Sの視野範囲S1、S2の大きさに合致するように撮像範囲260が設定される。
【0025】
制御部250は、走行中に撮像部210によって撮像された撮像データを記憶部220に書込む。記憶部220は、例えば、フラッシュメモリのような不揮発性メモリを含み、そこに撮像部210によって撮像された撮像データを格納する。また、1つの実施態様では、記憶部220は、撮像カメラ200から取り外し可能な記憶メディア(USBメモリ、メモリカード等)を含むことができる。記憶メディアに撮像データを格納した後、記憶メディアを外部の評価装置へ取り付けることで、評価装置において撮像データの評価を行うことができる。
【0026】
出力部230は、記憶部220に格納された撮像データを、無線通信などを利用して外部に出力する機能を備えている。出力部230は、例えば、無線LAN、WiFi(登録商標)、近距離無線通信等により、外部の評価装置に撮像データを伝送するようにしてもよい。
【0027】
1つの実施態様では、車両の走行中の振動が撮像カメラ200に伝達されるのを防止するため、撮像カメラ200のハウジングと天井400との間に、振動や衝撃等を吸収する吸収部材または吸収シート270を介在するようにしてもよい。さらに1つの態様では、撮像カメラ200の取り付け位置や取り付け角度を調整するための調整機構を設けるようにしてもよい。調整機構は、例えば、撮像カメラ200を天井400に固定するためのネジ機構を用いたり、あるいは天井400に設けられたレールに沿って撮像カメラ200を移動する移動機構を用いることができる。調整機構により、撮像カメラ200の光軸C1や撮像範囲Kの調整を行うことができる。
【0028】
HUD300は、
図1に示すように、自車のフロントガラス410またはスクリーン上に画像310を投射し、運転者Uは、視線方向Sに投射画像310の虚像310Aを見ることができる。
図5に、HUDの構成例を示す。HUD300は、光源320、光源322の光により光変調部324を照明する照明光学系322、画像データに従い照明光学系322の光を変調する光変調部324、光変調部324によって変調された光をフロントガラス410またはスクリーン上に投射する投射光学系326を含む。また、HUD300は、投射光学系326の投射角度(光軸)や焦点距離などを調整するためのアクチュエータ328を含むことができる。
【0029】
光変調部324は、例えば、液晶デバイス、あるいは複数の可変ミラーが2次元的に配置されたディジタルミラーデバイス(DMD)などから構成される。光変調部324は、ナビゲーション装置等の車載装置から提供される画像データを光学的に変調し、投射画像310を生成する。本例では、車両の走行中に実景のオブジェクトに重畳されるべきAR画像を光学的に変調し、AR画像をフロントガラス410またはスクリーン上に投射する。投射光学系326は、例えば、凹面ミラー等の光学部材を含み、アクチュエータ328は、例えば、凹面ミラーの光軸または投射角を調整する。凹面ミラーの投射角を調整することで、運転者Uが見る虚像の位置を調整することができる。
【0030】
次に、本実施例の視点撮影装置の動作について説明する。まず、自車の走行中、HUD300は、実景のオブジェクトに関連したAR画像310をフロントガラス410またはスクリーン上に投射し、運転者Uは、視線方向において、投射されたAR画像310の虚像310Aを見る。他方、撮像カメラ200は、運転者Uの視線方向に映し出される画像を撮像し、これを記録する。
【0031】
この様子を
図6を参照して説明する。フロントガラス410から入射される入射光L
inは、運転者Uの視線方向Sの映像である。入射光L
inは、その一部がハーフミラー100を透過し、その透過光L
Tが運転者Uの視点Qに入射される。また、入射光L
inは、その一部がハーフミラー100で反射し、その反射光L
Rが撮像カメラ200に入射される。入射角θ
inは、反射角θ
Rと等しい関係にあるため、好ましくは、撮像カメラ200の光軸C1とハーフミラー100の成す角が反射角θ
rに一致または近似するように、ハーフミラー100および/または撮像撮像カメラ200の位置が調整される。こうして、撮像カメラ200は、運転者Uが視線方向で見ている映像を撮像する。
【0032】
次に、撮像カメラによって撮像された撮像データの評価例について説明する。
図7は、本実施例に係る評価装置の一例を示す図である。評価装置500は、撮像カメラ200によって撮像された撮像データを受け取るインターフェース(I/F)510と、撮像データを格納する記憶部520と、表示部530と、制御部540を含む。I/F510は、撮像カメラ200から取り外された記憶メディアを接続するものであってもよいし、出力部230から転送された撮像データを受信するものであってもよい。
【0033】
制御部540は、撮像カメラ200によって撮像された走行中の運転者Uの視線方向の映像を評価し、AR画像が実景のオブジェクトに対して適切な位置関係にあるか否かを評価し、その評価した結果を表示部530に表示させる。例えば、AR画像とオブジェクトとの距離が一定距離以上離れている場合には、その旨を表示する。評価者は、表示部530に表示された評価結果を参照し、AR画像の投射位置、あるいはHUD300の光学的な調整を行うことができる。
【0034】
このように本実施例によれば、運転者Uの視線方向にハーフミラーを配置し、ハーフミラーによって反射された光を撮像カメラ200により撮像するようにしたので、走行中の運転者の視線方向の映像を容易に取得することができる。
【0035】
上記実施例では、ハーフミラー100を天井に取り付ける例を示したが、これは一例であり、運転者の視線方向にハーフミラーを配置させることが可能であれば、どのような形態であってもよい。例えば、運転者Uが装着する帽子などにハーフミラーを取り付けるようにしてもよいし、車両に搭載されているサンバイザーなどを利用してハーフミラーを取り付けるようにしてもよい。
【0036】
上記実施例では、撮像カメラ200を天井に取り付ける例を示したが、これは一例であり、例えば、ハーフミラー100と撮像カメラ200との間にミラー等を介在させることで、撮像カメラ200を天井以外の場所に設置するようにしてもよい。
【0037】
上記実施例では、HUD300によりAR画像を投射しているときの運転者Uの視線方向の映像を撮像する例を示したが、これは一例であり、HUD300による投射は必須ではない。例えば、走行中の運転者の視点位置を評価するために運転者の視線方向の映像を撮像するようにしてよい。
【0038】
上記実施例では、走行中の運転者の視線方向の映像を撮像カメラ200により撮像し、その後に、撮像データを評価装置500へ提供する例を示したが、これは一例であり、走行中の運転者の視線方向の映像をリアルタイムで評価装置500へ伝送するようにしてもよい。
【0039】
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【0040】
10:視点撮影装置 100:ハーフミラー
110、120:支持部 112、114、122、124:端部
200:撮像カメラ 260:光学レンズ
270:吸収部材 300:HUD
310:投射画像 310A:虚像
400:天井 410:フロントガラス
420:運転席 430:レール
Q:視点
S:視線方向