特許 7556344 画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-17

(45)【発行日】2024-09-26

(54)【発明の名称】画像表示システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240918BHJP

   G01C 21/36 20060101ALI20240918BHJP

   H04N 23/60 20230101ALI20240918BHJP

   H04N 23/63 20230101ALI20240918BHJP

   G09G 5/00 20060101ALI20240918BHJP

   G09G 5/38 20060101ALI20240918BHJP

   G09G 5/373 20060101ALI20240918BHJP

【ＦＩ】

H04N7/18 J

G01C21/36

H04N23/60 500

H04N23/63 330

G09G5/00 510A

G09G5/00 550C

G09G5/38 100

G09G5/373 300

【請求項の数】 4

(21)【出願番号】P 2021189147

(22)【出願日】2021-11-22

(65)【公開番号】P2023076012

(43)【公開日】2023-06-01

【審査請求日】2023-07-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】小林 英樹

(72)【発明者】

【氏名】青木 隆行

(72)【発明者】

【氏名】太田 龍佑

(72)【発明者】

【氏名】村木 均至

(72)【発明者】

【氏名】稲田 智洋

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０１５－２０４６１６（ＪＰ，Ａ）

【文献】特開２００３－０３０６２８（ＪＰ，Ａ）

【文献】特開２００７－０５５３６５（ＪＰ，Ａ）

【文献】特開平１０－１７６９２８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０５５２２９７１（ＣＮ，Ａ）

【文献】特開２００７－３３４５６６（ＪＰ，Ａ）

【文献】特開２０１０－２５６８７８（ＪＰ，Ａ）

【文献】国際公開第２０１８／２１６４０２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０１Ｃ ２１／３６

Ｈ０４Ｎ ２３／６０－２３／６９８

Ｇ０９Ｇ ５／００－ ５／４２

(57)【特許請求の範囲】

【請求項1】

装着者である運転者の視線に沿った画像を撮像する撮像器、ＡＲ画像を投影する投影器、及び前記ＡＲ画像が投影されるハーフミラーを備える、ＡＲグラスと、
前記撮像器による撮像画像に基づいて、前記ＡＲ画像の前記ハーフミラーへの投影位置及びサイズを定める制御部と、
車室内に設けられるマーカと、
を備える画像表示システムであって、
前記マーカは、前記車室前方の内装露出面に設けられ、所定の基準線に沿って互いに離隔配置された第１マーカ及び第２マーカを含み、
前記制御部は、
前記撮像器による撮像画像内の前記第１マーカ及び前記第２マーカの画像平面座標に基づいて、実世界における前記基準線に対する前記第１マーカの前記撮像器への入射角である第１入射角と、前記基準線に対する前記第２マーカの前記撮像器への入射角である第２入射角を求める入射角算出部と、
求められた前記第１入射角、前記第２入射角、及び実世界における前記基準線に沿った前記第１マーカと前記第２マーカとのマーカ間離隔距離に基づいて、前記撮像器から前記第１マーカまでの距離であるカメラ－マーカ間距離を求める離隔距離算出部と、
前記カメラ－マーカ間距離に基づいて、前記画像平面座標における、前記第１マーカを基準とした前記ＡＲ画像の投影位置及び前記ＡＲ画像のサイズを調整する表示調整部と、
を備え、
前記第１マーカ及び前記第２マーカは、インストルメントパネルの露出面のうち、車幅方向中央かつ車両前後方向に配列され、
前記第１マーカは、前記第２マーカよりも車両前方に配置され、
前記第１マーカの面積は、前記第２マーカの面積以下である、
画像表示システム。

【請求項2】

装着者である運転者の視線に沿った画像を撮像する撮像器、ＡＲ画像を投影する投影器、及び前記ＡＲ画像が投影されるハーフミラーを備える、ＡＲグラスと、
前記撮像器による撮像画像に基づいて、前記ＡＲ画像の表示枠である画像表示フレームの、前記ハーフミラーへの投影位置及びサイズを定める制御部と、
車室内に設けられるマーカと、
を備える画像表示システムであって、
前記マーカは、前記車室前方の内装露出面に設けられ、所定の基準線に沿って互いに離隔配置された第１マーカ及び第２マーカを含み、
前記制御部は、
前記撮像器による撮像画像内の前記第１マーカ及び前記第２マーカの画像平面座標に基づいて、実世界における前記基準線に対する前記第１マーカの前記撮像器への入射角である第１入射角と、前記基準線に対する前記第２マーカの前記撮像器への入射角である第２入射角を求める入射角算出部と、
求められた前記第１入射角、前記第２入射角、及び実世界における前記基準線に沿った前記第１マーカと前記第２マーカとのマーカ間離隔距離に基づいて、前記撮像器から前記第１マーカまでの距離であるカメラ－マーカ間距離を求める離隔距離算出部と、
前記カメラ－マーカ間距離に基づいて、前記画像平面座標における、前記第１マーカを基準とした前記画像表示フレームの投影位置及び前記画像表示フレームのサイズを調整する表示調整部と、
を備える、画像表示システム。

【請求項3】

請求項１または２に記載の画像表示システムであって、
前記第１マーカ及び前記第２マーカは発光部材である、画像表示システム。

【請求項4】

請求項１または２に記載の画像表示システムであって、
前記第１マーカ及び前記第２マーカは互いに異なる形状である、画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書では、拡張現実（ＡＲ、Augmented Reality）画像を表示する表示システムが開示される。

【0002】

従来から、拡張現実技術を用いた画像表示システムが知られている。例えば特許文献１では、ウェアラブルデバイスの一種であるスマートグラスが運転者に掛けられる。スマートグラスにはカメラ及びディスプレイが設けられる。カメラによる撮像画像に対して画像認識が行われ、画像中の車室内の各内装部品が認識される。さらに認識された内装部品のうち、運転操作に直接関係の無い、ピラーやルーフの色や模様が変更するような画像がディスプレイに表示（重畳）される。

【0003】

また特許文献２では、道案内をするためのキャラクタであるＡＲペースカーの画像が、スマートグラスのディスプレイに投影される。このＡＲペースメーカーの投影位置を定めるために、ダッシュボードの上には角柱形状のマーカが設置される。このマーカが画像認識されることで、マーカを基準に、ＡＲペースカーの投影位置を定めることが出来る。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－６４９０６号公報

【文献】特開２０１７－１２９４０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、マーカを基準にしてＡＲ画像を投影させる場合、ウェアラブル端末を装着する運転者の姿勢や位置によっては、ＡＲ画像の一部がＡピラーに重なって見える等、ＡＲ画像の投影状態に不具合が生じるおそれがある。

【0006】

そこで本明細書では、ＡＲ画像の投影位置及びサイズの設定精度を従来よりも向上可能な、画像表示システムが開示される。

【課題を解決するための手段】

【0007】

本明細書では、画像表示システムが開示される。当該システムは、ＡＲグラス、制御部、及びマーカを備える。ＡＲグラスは、装着者である運転者の視線に沿った画像を撮像する撮像器、ＡＲ画像を投影する投影器、及びＡＲ画像が投影されるハーフミラーを備える。制御部は、撮像器による撮像画像に基づいて、ＡＲ画像のハーフミラーへの投影位置及びサイズを定める。マーカは、車室内に設けられる。マーカは、車室前方の内装露出面に設けられ、所定の基準線に沿って互いに離隔配置された第１マーカ及び第２マーカを含む。制御部は、入射角算出部、離隔距離算出部、及び表示調整部を備える。入射角算出部は、撮像器による撮像画像内の第１マーカ及び第２マーカの画像平面座標に基づいて、実世界における上記基準線に対する第１マーカの撮像器への入射角である第１入射角と、基準線に対する第２マーカの撮像器への入射角である第２入射角を求める。離隔距離算出部は、求められた第１入射角、第２入射角、及び実世界における基準線に沿った第１マーカと第２マーカとのマーカ間離隔距離に基づいて、撮像器から第１マーカまでの距離であるカメラ－マーカ間距離を求める。表示調整部は、カメラ－マーカ間距離に基づいて、画像平面座標における、第１マーカを基準としたＡＲ画像の投影位置及びＡＲ画像のサイズを調整する。

【0008】

上記構成によれば、第１入射角、第２入射角、及びマーカ間距離を用いた三角測量法により、カメラ－マーカ間距離が求められる。さらにカメラ－マーカ間距離に基づいて、ＡＲ画像の投影位置及びサイズが定められる。

【0009】

また上記構成において、第１マーカ及び第２マーカは発光部材であってよい。

【0010】

上記構成によれば、マーカの識別力が確保できる。

【0011】

また上記構成において、第１マーカ及び第２マーカは互いに異なる形状であってよい。

【0012】

上記構成によれば、第１マーカと第２マーカとの識別力が確保できる。

【0013】

また上記構成において、第１マーカ及び第２マーカは、インストルメントパネルの露出面のうち、車幅方向中央かつ車両前後方向に配列されてよい。

【0014】

三角測量法を用いる場合、第１マーカ及び第２マーカがカメラの光軸上に配列されると三角形が形成されず、カメラ－マーカ間距離を求めることが困難となる。運転者の視界に入りつつ、かつその中央から外れる箇所に、第１マーカ及び第２マーカが設けられることで、三角測量法における三角形を確度良く形成可能となる。また、車幅方向中央かつ車両前後方向に第１マーカ及び第２マーカが配列されることで、当該マーカは進行方向を示すように視認され、外観上の違和感が抑制される。

【0015】

また上記構成において、第１マーカは、第２マーカよりも車両前方に配置されてよい。さらに、第１マーカの面積は、第２マーカの面積以下であってよい。

【0016】

上記構成によれば、第１マーカは第２マーカと比較して、運転者からより遠方に離隔される。したがって第１マーカに対する画像認識を行う上で、第２マーカよりも大きくなるように第１マーカのサイズを定めることが考えられる。その一方で、第１及び第２マーカはインストルメントパネルに車両前後方向に設けられるところ、前方のマーカが後方のマーカよりも大きいと、進行方向を示す効果に鑑みて運転者の違和感を惹起させるおそれがある。上記構成のように、第１マーカの面積を第２マーカの面積以下とすることで、運転者が違和感を生じることを抑制可能となる。

【発明の効果】

【0017】

本明細書で開示される画像表示システムでは、ＡＲ画像の投影位置及びサイズの設定精度が従来よりも向上可能となる。

【図面の簡単な説明】

【0018】

【図1】運転者の視界を例示する透視図（パース）である。

【図2】ＡＲグラスについて説明する図である。

【図3】本実施形態に係る画像表示システムのハードウェア構成を例示する図である。

【図4】本実施形態に係る画像表示システムの機能ブロックを例示する図であって、初期設定時の各ブロックの処理内容を例示したものである。

【図5】初期設定フローを例示する図である。

【図6】本実施形態に係る画像表示システムの機能ブロックを例示する図であって、ＡＲ画像表示フロー実行時の各ブロックの処理内容を例示したものである。

【図7】ＡＲ画像表示フローを例示する図である。

【図8】撮像器による撮像画像に画像平面座標を重畳した図である。

【図9】三角測量法によるカメラ－マーカ間距離の算出プロセスを説明する図である。

【図10】撮像画面平面座標における、画像表示フレームの配置について説明する図である。

【図11】ＡＲグラスにＡＲ画像が表示されたときの、運転者の視界を例示する透視図である。

【発明を実施するための形態】

【0019】

以下に、実施形態に係る画像表示システムが図面を用いて説明される。以下で説明する形状、材料、個数、及び数値は、説明のための例示であって、画像表示システムの仕様に応じて適宜変更することができる。また以下ではすべての図面において同等の要素には同一の符号が付される。

【0020】

図１には、車両の運転者による視界が例示される。なお、図１－図１１に例示される実施形態では、右ハンドル車による左側通行の例が示される。しかしながら、本実施形態に係る画像表示システムは、左ハンドル車及び右側通行の場合であっても適用可能である。

【0021】

図１、図３を参照して、本実施形態に係る画像表示システムは、ＡＲグラス３０、運転支援ＥＣＵ５０（制御部）、ならびに第１マーカ１０及び第２マーカ１２を含んで構成される。

【0022】

図２に例示されるように、運転者１００は眼鏡型のウェアラブル端末であるＡＲグラス３０を装着する。ＡＲグラス３０を掛け、さらに所望の運転支援サービスを有効（オン状態）にした場合に、運転者１００の視界に、図１１に例示されるような運転支援用のＡＲ画像６２が表示される。

【0023】

後述されるように、ＡＲ画像６２はＡＲグラス３０のハーフミラー３６に投影される。ハーフミラー３６への投影に当たり、第１マーカ１０（図１参照）及び第２マーカ１２を利用した三角測量法に基づき、カメラ－マーカ間距離Ｄ１（図９参照）が求められる。カメラ－マーカ間距離Ｄ１に基づいて、画像表示フレーム６０（図１０参照）の位置及びサイズが定められる。さらに画像表示フレーム６０に収まるようにして、図１１に例示されるようなＡＲ画像６２がＡＲグラス３０（図２参照）のハーフミラー３６に投影される。

【0024】

＜マーカ＞
図１を参照して、車室内にはＡＲ画像６２投影用のマーカが設けられる。このマーカは、第１マーカ１０及び第２マーカ１２を含む。第１マーカ１０及び第２マーカ１２はともに車室前方の内装露出面に設けられる。例えばインストルメントパネル２０の露出面である天面２０Ａに、所定の基準線Ｌ１に沿って第１マーカ１０及び第２マーカ１２が互いに離隔配置される。

【0025】

ここで、基準線Ｌ１は乗員に視認可能である必要は無い。例えば基準線Ｌ１として、車幅方向中央かつ車両前後方向に延設される車両中心線が用いられる。車両中心線は設計上水平面上に延設される。このことから例えば、インストルメントパネル２０の天面２０Ａのうち、水平面部分に第１マーカ１０及び第２マーカ１２が設けられる。

【0026】

第１マーカ１０及び第２マーカ１２は、平面図形であってよい。例えば第１マーカ１０及び第２マーカ１２は、天面２０Ａ上に塗布されたパターンであってよい。またこれに代えて、第１マーカ１０及び第２マーカ１２は、天面２０Ａに貼着されたシールであってもよい。

【0027】

第１マーカ１０及び第２マーカ１２は、ともに発光部材であってよい。例えば第１マーカ１０及び第２マーカ１２は、蛍光塗料を含んでもよい。第１マーカ１０及び第２マーカ１２を発光部材とすることで、昼夜を問わずこれらのマーカの識別性が確保できる。

【0028】

また第１マーカ１０及び第２マーカ１２は、互いに異なる形状であってよい。例えば第１マーカ１０は三角形であって、第２マーカ１２は四角形であってよい。このような形状差を設けることで、第１マーカ１０と第２マーカ１２との識別性が確保できる。

【0029】

また第１マーカ１０及び第２マーカ１２は、インストルメントパネル２０の天面２０Ａのうち、車幅方向中央かつ車両前後方向に配置されてよい。

【0030】

後述されるように、ＡＲ画像６２の投影制御プロセスでは、第１マーカ１０、第２マーカ１２、及びＡＲグラス３０（図２参照）の撮像器３２を用いた三角測量法により、第１マーカ１０と撮像器３２との距離であるカメラ－マーカ間距離Ｄ１（図９参照）が求められる。第１マーカ１０、第２マーカ１２が撮像器３２の光軸Ｌ０上に配列されると三角測量法における三角形が形成されなくなる。

【0031】

そこで本実施形態では、運転者１００の視界に入りつつ、かつその中央から外れる箇所に、第１マーカ１０及び第２マーカ１２が設けられる。これにより、三角測量法における三角形が確度良く形成可能となる。

【0032】

また、車幅方向中央かつ車両前後方向に第１マーカ１０及び第２マーカ１２が配列されることで、当該マーカ１０，１２は進行方向を示すように視認され、外観上の違和感が抑制される。

【0033】

さらに、第１マーカ１０は、第２マーカ１２よりも車両前方に配置されてよい。この場合において、第１マーカ１０の面積は、第２マーカ１２の面積以下であってよい。

【0034】

図１を参照して、第１マーカ１０は第２マーカ１２と比較して、運転者１００からより遠方に離隔される。したがって画像認識において第１マーカ１０を確実に認識するために、第２マーカ１２よりも第１マーカ１０のサイズを大きくすることが考えられる。

【0035】

その一方で、第１マーカ１０及び第２マーカ１２はインストルメントパネル２０の天面２０Ａに車両前後方向に設けられる。この場合、前方の第１マーカ１０が後方の第２マーカ１２よりも大きいと、進行方向を示す効果に鑑みて運転者１００の違和感を惹起させるおそれがある。

【0036】

そこで図１に例示されるように、第１マーカ１０の面積を第２マーカ１２の面積以下とすることで、運転者１００が違和感を生じることを抑制可能となる。

【0037】

＜ＡＲグラス＞
図２には、本実施形態に係る画像表示システムに含まれるＡＲグラス３０の模式図が例示される。ＡＲグラス３０は眼鏡型のウェアラブル端末であって、いわゆるヘッドアップディスプレイ（ＨＵＤ）としての機能を備える。

【0038】

後述されるように、ハーフミラー３６または装着者である運転者１００の網膜にＡＲ画像が表示される。これにより、運転者１００は前方を見ながら、つまり頭を上げたまま（ヘッドアップで）画像の閲覧が可能となる。

【0039】

ＡＲグラス３０は、図３に例示されるように、車載電子機器である運転支援ＥＣＵ５０と通信可能となっている。例えばＢｌｕｅｔｏｏｔｈ（登録商標）及びＷｉＦｉ（登録商標）等の無線通信技術が用いられる。またこれに代えて、運転支援ＥＣＵ５０とＡＲグラス３０とがケーブル等を用いて有線通信される。

【0040】

図２には、ＡＲグラス３０の模式図が例示される。眼鏡の部品であるテンプル（つる）やリム（フレーム）といった一般部品は図示が省略される。ＡＲグラス３０は、撮像器３２、投影器３４、ハーフミラー３６、及び制御器３８を含んで構成される。

【0041】

撮像器３２は、例えばＡＲグラス３０のテンプル脇に設けられる。撮像器３２は、装着者である運転者１００の視線に沿った画像を撮像可能となっている。例えば撮像器３２は、運転者１００が正面を見た正視状態において、視線と平行となるように光軸が位置決めされる。

【0042】

撮像器３２は、例えば単眼カメラから構成される。例えば撮像器３２は、撮像素子が面上に配列された画素アレイ３２Ａ（図９参照）を含む、ＣＣＤカメラまたはＣＭＯＳカメラから構成される。さらに撮像器３２は、人間の視野角に最も近いと言われる焦点距離５０ｍｍとなるようにレンズ条件が定められる。レンズ３２Ｂは例えば５０ｍｍ単焦点レンズが用いられる。

【0043】

投影器３４はＡＲ画像を投影する。例えば投影器３４はＡＲグラス３０のリム上方に配置されるマイクロプロジェクタである。投影器３４はいわゆる透過型プロジェクタであって、ハーフミラー３６に向かってＡＲ画像を投影する。またこれに代えて、投影器３４はいわゆる網膜投影型プロジェクタであって、運転者１００の網膜にＡＲ画像を投影する。図２には、投影器３４は透過型プロジェクタとして図示されている。

【0044】

ハーフミラー３６はＡＲグラス３０のレンズ部分であって、実世界からの光（像）が運転者１００まで透過される。また投影器３４からＡＲ画像がハーフミラー３６に投影される。このようにして、実世界の風景（実景）にＡＲ画像が重畳された拡張現実画像がハーフミラー３６に表示される。

【0045】

制御器３８は運転支援ＥＣＵ５０（図３参照）と通信可能であるとともに、撮像器３２及び投影器３４を制御する。制御器３８は例えばコンピュータ装置から構成され、そのハードウェア構成として、ＣＰＵ３８Ａ、入出力コントローラ３８Ｂ、ストレージ３８Ｃ、システムメモリ３８Ｄ、ジャイロセンサ３８Ｅ、加速度センサ３８Ｆ、及び地磁気センサ３８Ｇを備える。これらの構成部品は内部バスに接続される。

【0046】

入出力コントローラ３８Ｂは、撮像器３２、投影器３４、及び運転支援ＥＣＵ５０を含む外部機器との情報の入出力を管理する。システムメモリ３８Ｄは、ＣＰＵ３８Ａによって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。

【0047】

ストレージ３８Ｃは、外部記憶装置であって、例えば後述する初期設定プロセス（図５参照）や、ＡＲ画像表示プロセス（図７参照）を実行させるためのプログラムが記憶される。ストレージ３８Ｃは、例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）から構成される。

【0048】

加速度センサ３８Ｆは重力加速度を検出する。例えば加速度センサ３８Ｆは、直交する３軸成分（Ｘ，Ｙ，Ｚ）の加速度を検出する。ジャイロセンサ３８ＥはＡＲグラス３０の角速度を検出する。例えばジャイロセンサ３８Ｅは、加速度センサ３８Ｆにおける直交する３軸成分の角速度（ロール、ピッチ、ヨー）を検出する。また地磁気センサ３８Ｇは磁北方向及び当該方向における磁力の強さを検出する。

【0049】

これら３種のセンサはいずれもＡＲグラス３０に取り付けられており、装着者である運転者１００の頭の挙動に起因して、基準となる座標系（センサ座標系）がグローバル座標系に対して変位する。センサ座標系に基づく加速度センサ３８Ｆ及びジャイロセンサ３８Ｅの検出値は、グローバル座標系上の直交座標系に基づく加速度及び角速度に変換される。この変換は、地磁気センサ３８Ｇの検出値及びカルマンフィルタを基づいたセンサ・フュージョン処理によって実行可能であることが知られている。センサ・フュージョンについては既知であるためここでは説明が省略される。

【0050】

後述されるように、撮像器３２の初期状態（図９参照）からの変位量が、グローバル座標系上の直交座標系に基づく加速度及び角速度として求められ、これらの値が入射角θ１１，θ１２の算出に用いられる。

【0051】

なお、センサ座標系からグローバル座標系への変換に際して、加速度センサ３８Ｆが車両の加速度を検出することが考えられる。この場合には、上記センサ・フュージョンの前処理として、後述する入射角算出部５２Ｃ（図４参照）が、例えばカルマンフィルタの逆行列を用いて、車両の加速度センサ（グローバル座標系上の直交座標に基づく）の検出値をセンサ座標系に逆変換してもよい。さらに入射角算出部５２Ｃは、加速度センサ３８Ｆの直交する３軸の値から、逆変換後の検出値の値を差し引いてもよい。

【0052】

また、ストレージ３８Ｃに記憶された初期設定プログラム及びＡＲ画像表示プログラムをＣＰＵ３８Ａが実行することで、制御器３８には図４に例示される機能ブロックが生成される。この機能ブロックは、投影制御部３９Ａ及び撮像制御部３９Ｂを含む。これらのブロックのデータ処理内容は後述される。

【0053】

＜運転支援ＥＣＵ＞
画像表示システムの制御部である運転支援ＥＣＵ５０は、撮像器３２による撮像画像に基づいて、ＡＲ画像のハーフミラー３６への投影位置及びサイズを定める。運転支援ＥＣＵ５０は、車載の電子コントロールユニットである。運転支援ＥＣＵ５０は例えばコンピュータ装置から構成される。

【0054】

また後述されるように、運転支援ＥＣＵ５０は目的地までのナビゲーション機能を備える。さらに運転支援ＥＣＵ５０は、車線逸脱時に警報を鳴らしたり、ＡＲ画像として交通標識を表示させたりする、いわゆるＡＤＡＳ（先進運転支援システム、Advanced Driving Assistant System）機能を備える。

【0055】

図３には運転支援ＥＣＵ５０のハードウェア構成が例示される。運転支援ＥＣＵ５０は、ＣＰＵ５０Ａ、入出力コントローラ５０Ｂ、ストレージ５０Ｃ、システムメモリ５０Ｄ、ＧＰＵ５０Ｅ、フレームメモリ５０Ｆ、及びＧＮＳＳ５０Ｇを備える。なお以下では、ＡＲグラス３０の制御器３８と同一名のハードウェアについては適宜説明が省略される。

【0056】

ＧＰＵ５０Ｅ（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ５０Ｆは、撮像器３２により撮像されさらにＧＰＵ５０Ｅにより演算処理された画像を記憶する記憶装置である。

【0057】

ＧＮＳＳ５０Ｇ（全球測位衛星システム、Global Navigation Satellite System）は、人工衛星によって測位を行うシステムであって、例えばＧＰＳ（グローバル・ポジショニング・システム、Global Positioning System）が用いられる。ＧＮＳＳ５０Ｇには、人工衛星から、緯度、経度、高度を含む位置座標情報が送信される。

【0058】

ストレージ５０Ｃに記憶された初期設定プログラム及びＡＲ画像表示プログラムをＣＰＵ５０Ａが実行することで、運転支援ＥＣＵ５０には図４に例示される機能ブロックが生成される。運転支援ＥＣＵ５０は、情報処理機能を備える機能ブロックとして、画像認識部５２Ａ、ずれ量算出部５２Ｂ、入射角算出部５２Ｃ、離隔距離算出部５２Ｄ、表示調整部５２Ｅ、位置情報取得部５２Ｆ、及び案内情報作成部５２Ｇを備える。これらの機能ブロックの処理内容は後述される。

【0059】

また運転支援ＥＣＵ５０は、記憶部として、学習済みモデル記憶部５２Ｈ、初期画像記憶部５２Ｉ、撮像設定記憶部５２Ｊ、及び地図データ記憶部５２Ｋを備える。学習済みモデル記憶部５２Ｈには、第１マーカ１０及び第２マーカ１２を画像認識するための学習済みモデルが記憶される。例えばこの学習済みモデルとして、畳み込みニューラルネットワーク（ＣＮＮ）が学習済みモデル記憶部５２Ｈに実装される。例えばこのニューラルネットワークは、第１マーカ１０の画像を入力画像とし、出力ラベルを「第１マーカ」とする複数の教師データと、第２マーカ１２の画像を入力画像とし、出力ラベルを「第２マーカ」とする複数の教師データを用いて学習される。

【0060】

初期画像記憶部５２Ｉには、撮像器３２が撮像し得る初期画像データが記憶される。初期画像を説明するために、撮像器３２の基準平面Ｓ（図９参照）が用いられる。基準平面Ｓは、光軸Ｌ０を縦軸とし光軸Ｌ０に垂直な軸を横軸とする平面である。

【0061】

図９に例示されるように、基準平面Ｓが水平面と平行であってかつ光軸Ｌ０が基準線Ｌ１と平行である状態（初期状態）における、撮像器３２の撮像画像が初期画像となる。初期画像データには、第１マーカ１０及び第２マーカ１２の輪郭線の座標情報（例えば図８に例示されるｕ軸－ｖ軸上の座標点情報）が重畳される。

【0062】

図４を参照して、撮像設定記憶部５２Ｊには、撮像器３２の撮像設定情報が記憶される。撮像設定情報には、画素アレイ３２Ａにおける各画素の、光軸Ｌ０に対する入射角情報が含まれる。

【0063】

図９に例示されるように、実世界の光は、光軸Ｌ０に対して所定の入射角にて画素アレイ３２Ａ上の各画素に入射する。このことから、画素アレイ３２Ａ上の画素位置と当該画素に入射した光の入射角とは一対一の関係を持つ。例えば撮像設定記憶部５２Ｊには、撮像器３２の焦点距離と、これに応じた画素位置と入射角との対応関係情報が記憶される。

【0064】

また撮像設定記憶部５２Ｊには、第１マーカ１０を基準としたＡＲ画像の投影位置及びＡＲ画像のサイズの基準値（画像表示基準値）が記憶される。例えば図１０を参照して、画像平面において、画像表示フレーム６０が設定される。画像表示フレーム６０はＡＲ画像の表示枠を示す。この画像表示フレーム６０のサイズ、例えば上辺、下辺、右辺、左辺の角度及び長さ情報及び面積情報が撮像設定記憶部５２Ｊに記憶される。

【0065】

さらに画像表示フレーム６０の車幅方向内側下端Ｐ３の、画像平面上の座標が、第１マーカ１０の画像平面上の中心点Ｐ１１を基準に定められる。例えば中心点Ｐ１１からΔｕ，Δｖ離隔した座標（ｕ_１１＋Δｕ，ｖ_１１＋Δｖ）に幅方向内側下端Ｐ３が配置される。この、中心点Ｐ１１からの変位情報が、撮像設定記憶部５２Ｊに記憶される。

【0066】

地図データ記憶部５２Ｋには、緯度及び経度を含む地理座標系に基づく地図データが記憶される。また地図データ記憶部５２Ｋには、運転者１００等によって設定された目的地の位置情報（緯度及び経度）が記憶される。

【0067】

＜初期設定フロー＞
図５には、本実施形態に係る画像表示システムによる、初期設定フローが例示される。この初期設定フローでは、撮像器３２の基準平面Ｓが図９に例示する初期状態となるようにＡＲグラス３０を位置決めさせて、そのときのジャイロセンサ３８Ｅ、加速度センサ３８Ｆ、及び地磁気センサ３８Ｇの検出値が基準値に設定される。

【0068】

なお図５の初期設定フロー及び図７のＡＲ画像表示フローでは、各ステップの実行主体が示される。（Ｇ）はＡＲグラス３０による処理を示し、（Ｃ）は運転支援ＥＣＵ５０による処理を示す。

【0069】

なおこの初期設定フローは、車両の走行前に実行される。例えば車両を起動させて、ナビゲーション機能を起動させたときに、運転支援ＥＣＵ５０からＡＲグラス３０の使用有無が運転者１００に問いかけられる。例えば図１に例示されるインパネディスプレイ２８にＡＲグラス３０の使用有無画面が表示される。

【0070】

運転者１００がＡＲグラス３０を装着し、さらにインパネディスプレイ２８に表示された「はい」等のボタンアイコンを押下げ操作（タップ操作）すると、運転支援ＥＣＵ５０とＡＲグラス３０とが通信接続される。

【0071】

図４、図５を参照して、ＡＲグラス３０の制御器３８の撮像制御部３９Ｂは、撮像器３２に撮像指令を出力する。撮像器３２により運転者１００の視線に沿った撮像画像が得られると（Ｓ０）、その撮像画像データは、運転支援ＥＣＵ５０の画像認識部５２Ａに送信される（Ｓ１）。

【0072】

画像認識部５２Ａは、学習済みモデル記憶部５２Ｈから学習済みモデル（例えばニューラルネットワーク）を呼び出し、受信した撮像画像中の第１マーカ１０及び第２マーカ１２を認識する（Ｓ２）。画像認識部５２Ａは、画像平面座標における、第１マーカ１０及び第２マーカ１２の輪郭線の座標情報（例えば図８に例示されるｕ軸－ｖ軸上の座標点情報）が重畳された撮像画像データをずれ量算出部５２Ｂに送信する。

【0073】

ずれ量算出部５２Ｂは撮像画像データと初期画像記憶部５２Ｉに記憶された初期画像データとを比較して、両画像における第１マーカ１０及び第２マーカ１２の位置姿勢が一致しているか否かを判定する（Ｓ３）。

【0074】

第１マーカ１０及び第２マーカ１２の少なくとも一方がずれている場合、撮像器３２の基準平面Ｓ（図９参照）は同図に示す初期状態とは異なる位置、姿勢を取る。そこでずれ量算出部５２Ｂは、初期画像データと撮像画像データとの、第１マーカ１０及び第２マーカ１２のずれ量を求めて、これを解消する補正方向を求める（Ｓ４）。

【0075】

求められたずれ量は表示調整部５２Ｅに送信される。表示調整部５２Ｅは、ずれ量に基づいたガイド画像を生成する。例えば初期状態の第１マーカ１０及び第２マーカ１２を示す画像データが生成される。表示調整部５２Ｅは、生成したガイド画像データを投影制御部３９Ａに送信する（Ｓ５）。

【0076】

投影制御部３９Ａがガイド画像データを受信すると、投影器３４に当該ガイド画像を投影させる（Ｓ６）。例えば投影器３４はハーフミラー３６にガイド画像を投影する。さらにその後、ステップＳ０に戻り、撮像器３２による撮像が再度行われる。なおこの撮像時に、ガイド画像は投影が中断されてよい。

【0077】

一方、ステップＳ３にて撮像画像及び初期画像における第１マーカ１０及び第２マーカ１２の位置が一致している場合、ずれ量算出部５２Ｂは、ジャイロセンサ３８Ｅ、加速度センサ３８Ｆ、及び地磁気センサ３８Ｇの現在値、つまり基準平面Ｓが初期状態であるときの値を基準値に設定する（Ｓ７）。設定された基準値は初期画像記憶部５２Ｉに記憶される。以上のようにして撮像器３２の初期設定が完了し、図７に例示されるＡＲ画像表示フローが実行可能となる。

【0078】

＜ＡＲ画像表示フロー＞
本実施形態に係る画像表示システムに係る、ＡＲ画像表示フローでは、例えばＡＲグラス３０にＡＲ画像としてナビゲーション画像が投影される。なお、実世界に仮想画像を重畳させるＡＲ技術では、実世界の３次元座標と画像平面座標とが対応付けられる。この対応付けは２Ｄ３Ｄ対応とも呼ばれる。

【0079】

２Ｄ３Ｄ対応として、例えば実世界の３次元座標の各座標点とその写像である画像平面座標の各座標点とが対応付けられる。このような対応付けは、いわゆるＰｎＰ位置姿勢推定等の技術が用いられるが、その演算負荷は過大なものとなる。

【0080】

ここで、運転中の運転者１００は基本的に進行方向前方に視線を定めており、そこからの変位量は、例えば歩行者の視線変位量と比較して少ない。つまり、運転者１００に対するＡＲ画像の投影は、例えば映画のスクリーンにキャプションを施す形態に近いものと考えられる。そこで、以下に説明されるＡＲ画像表示フローでは、上述のＰｎＰ位置姿勢推定のような厳密な２Ｄ３Ｄを行わずに、より演算負荷の少ない形での、いわば粗い対応付けが行われる。

【0081】

図６、図７を参照して、撮像制御部３９Ｂは撮像器３２に対して撮像指令を出力する。これを受けて撮像器３２は運転者１００の視線に沿った実世界の画像を撮像する。撮像器３２による撮像画像データは画像認識部５２Ａに送信される（Ｓ１０）。

【0082】

画像認識部５２Ａは、学習済みモデル記憶部５２Ｈから学習済みモデル（例えばニューラルネットワーク）を呼び出し、撮像画像中の第１マーカ１０及び第２マーカ１２を認識する（Ｓ１２）。

【0083】

さらに画像認識部５２Ａは、画像平面における第１マーカ１０及び第２マーカ１２の中心座標を求める（Ｓ１４）。例えば図８に例示されるように、撮像画像データはｖ軸を縦軸としｕ軸を横軸とする画像平面上のデータとして処理される。例えば光軸Ｌ０（図９参照）は原点を通過して画像平面を垂直に通過する。

【0084】

図９を参照して第１マーカ１０及び第２マーカ１２の、画像平面上、言い換えると画素アレイ３２Ａ上の中心点Ｐ１１，Ｐ１２は、ｕｖ平面上の座標点として求められる。ｕ軸及びｖ軸のスケール（１目盛り）は例えばそれぞれ画素の横寸法及び縦寸法であってよい。

【0085】

入射角算出部５２Ｃには第１マーカ１０及び第２マーカ１２の画素アレイ３２Ａ上の中心点Ｐ１１，Ｐ１２の座標データが送信される。また入射角算出部５２Ｃには、ジャイロセンサ３８Ｅから撮像時点の回転角データが送信され、加速度センサ３８Ｆから撮像時点の加速度データが送信される。なお上述のように、これらのデータはセンサ座標系における３軸成分データとなっている。さらに地磁気センサ３８Ｇから撮像時点の方位データが入射角算出部５２Ｃに送信される。

【0086】

入射角算出部５２Ｃは、第１マーカ１０の画素アレイ３２Ａ上の中心点Ｐ１１のｕ軸成分に基づいて、図９のような平面視における、実世界の第１マーカ１０の中心点Ｐ１から入射した光が画素Ｐ１１に受光される際の、光軸Ｌ０に対する入射角θ１を求める（Ｓ１６）。

【0087】

上述したように、画素アレイ３２Ａ上の画素（正確には画素の位置）と光軸Ｌ０に対する入射角とが１対１に対応する。このような画素と入射角の対応関係は、例えば表形式で撮像設定記憶部５２Ｊに記憶される。入射角算出部５２Ｃは、撮像設定記憶部５２Ｊに記憶された上記対応関係を参照して、画素アレイ３２Ａ上の中心点Ｐ１１のｕ軸成分に対応する入射角θ１を求める。

【0088】

なお、図９では、撮像器３２の基準平面Ｓが初期状態である場合が示されており、この場合、光軸Ｌ０に対する入射角θ１は、第１マーカ１０の、基準線Ｌ１に対する入射角θ１１（第1入射角）と等しくなる。一方、運転者１００の位置や姿勢によっては、基準平面Ｓが初期状態から変位する場合がある。この傾きは、入射角算出部５２Ｃにより、ジャイロセンサ３８Ｅ、加速度センサ３８Ｆ、及び地磁気センサ３８Ｇのそれぞれの検出値に基づいて検知され、その検知結果に基づいて第１入射角θ１１が求められる（Ｓ１７）。

【0089】

例えば上述したように、ジャイロセンサ３８Ｅによるセンサ座標系の直交３軸成分（ロール、ピッチ、ヨー）及び加速度センサ３８Ｆによるセンサ座標系の直交３軸成分（Ｘ軸成分、Ｙ軸成分、Ｚ軸成分）が、既知のカルマンフィルタ及び地磁気センサ３８Ｇによる方位検出値を用いてグローバル座標系の各種値に変換される。

【0090】

さらに変換後のヨー角に基づいて、図９における光軸Ｌ０の、基準線Ｌ１に対する傾きΔθが求められる。例えば図９において光軸Ｌ０が反時計回りに傾いていれば、入射角θ１から傾きΔθが減じられた値が入射角θ１１となる。また光軸Ｌ０が時計回りに傾いていれば、入射角θ１から傾きΔθが加えられた値が入射角θ１１となる。

【0091】

さらに入射角算出部５２Ｃは、第２マーカ１２の画素アレイ３２Ａ上の中心点Ｐ１２のｕ軸成分に基づいて、図９のような平面視における、実世界の第２マーカ１２の中心点Ｐ２から入射した光が画素Ｐ１２に受光される際の、光軸Ｌ０に対する入射角θ２を求める（Ｓ１８）。この際、上述したように、基準平面Ｓの初期状態からの変位がある場合にはその変位分、入射角θ２が補正され、第２マーカ１２の、基準線Ｌ１に対する入射角θ１２（第２入射角）が求められる（Ｓ１９）。

【0092】

求められた第１入射角θ１１、第入射角θ１２のデータは離隔距離算出部５２Ｄに送信される。離隔距離算出部５２Ｄは、入射角θ１１，θ１２、ならびに、既知である第１マーカ１０及び第２マーカ１２の離隔距離Ｄ０（マーカ間離隔距離）に基づいて、撮像器３２（より詳細には画素アレイ３２Ａ上の中心点Ｐ１１）と実世界における第１マーカ１０の中心点Ｐ１との離隔距離Ｄ１を求める（Ｓ２０）。

【0093】

入射角θ１１，θ１２及び離隔距離Ｄ０に基づく離隔距離Ｄ１の求め方は、例えば正弦定理を用いる三角測量法に則って行われる。正弦定理及び三角測量法は既知の技術であるためここでは説明が省略される。

【0094】

求められた離隔距離Ｄ１は表示調整部５２Ｅに送信される。表示調整部５２Ｅは、撮像設定記憶部５２Ｊから、上述したように、第１マーカ１０の画像平面上の中心点Ｐ１１のｕ，ｖ座標を基準とした画像表示基準値を呼び出す（Ｓ２２）。画像表示基準値には、画像表示フレーム６０（図１０参照）のサイズ情報及び下端Ｐ３の画像平面上の位置の基準値が含まれる。なお上述したように、投影位置の基準値は、中心点Ｐ１１のｕ_１１，ｖ_１１座標を基準とした変位量Δｕ，Δｖを用いて例えば（ｕ_１１＋Δｕ，ｖ_１１＋Δｖ）のように示される。

【0095】

表示調整部５２Ｅは、離隔距離Ｄ１に基づいて、画像表示位置を修正する（Ｓ２４）。例えば離隔距離Ｄ１が相対的に長い場合に、画像表示基準値よりも中心点Ｐ１１（図１０参照）に近づくように、変位量Δｕ，Δｖが修正される。

【0096】

また表示調整部５２Ｅは、離隔距離Ｄ１に基づいて、画像表示サイズを修正する（Ｓ２６）。例えば離隔距離Ｄ１が相対的に長い場合に、画像表示基準値よりも画像表示フレーム６０（図１０参照）の面積が小さくなるように、そのサイズ情報が修正される。

【0097】

次に表示調整部５２Ｅは、修正後の画像表示位置（ｕ_１１＋Δｕ′，ｖ_１１＋Δｖ′）及び画像表示フレーム６０のサイズ情報を、ＡＲグラス３０の投影制御部３９Ａに送信する（Ｓ２８）。

【0098】

またこれと併せて、案内情報作成部５２Ｇは、ＡＲ画像として投影される画像データを生成する。例えば案内情報作成部５２Ｇは、地図データ記憶部５２Ｋに記憶された目的地及び地図データと、位置情報取得部５２Ｆから取得された自車の現在位置とに基づいて、経路案内用の画像データを生成する。生成された画像データはＡＲグラス３０の投影制御部３９Ａに送信される（Ｓ２８）。

【0099】

投影制御部３９Ａは投影器３４を制御して、図１０、図１１に例示されるように、画像表示フレーム６０の画像平面上のサイズおよび下端Ｐ３の位置に基づいて、ハーフミラー３６上にＡＲ画像６２を投影させる（Ｓ３０）。例えば投影制御部３９Ａには、画像平面座標に対応する投影角度が記憶されており、これに応じて投影器３４の投影制御を行う。これにより、図１１に例示されるように、運転中の運転者１００の視界に経路案内を示すＡＲ画像６２が表示される。さらに例えばＧＰＵ５０Ｅ（図３参照）のクロック数等に応じて、フローが再実行される。

【0100】

このように、本実施形態に係る画像表示システムによれば、運転者１００と第１マーカ１０との離隔距離に基づいて、ＡＲ画像６２の投影位置及びサイズが調整される。運転者１００の位置や姿勢に応じてＡＲ画像６２の投影位置やサイズが変更されることから、ＡＲ画像の投影位置及びサイズの設定精度を従来よりも向上可能となる。

【0101】

なお、上述の実施形態では、第１マーカ１０及び第２マーカ１２のみがインストルメントパネル２０の天面２０Ａに付されていたが、マーカをさらに増やしてもよい。このようにすることで、撮像器３２と任意の２点のマーカとの三角測量を複数パターンで行うことができ、その結果、撮像器３２と各マーカとの距離をより精度よく求めることが可能となる。

【符号の説明】

【0102】

１０ 第１マーカ、１２ 第２マーカ、２０ インストルメントパネル、２０Ａ インストルパネルの天面、３０ ＡＲグラス、３２ 撮像器、３２Ａ 画素アレイ、３２Ｂ レンズ、３４ 投影器、３６ ハーフミラー、３８ 制御器、３８Ｅ ジャイロセンサ、３８Ｆ 加速度センサ、３８Ｇ 地磁気センサ、３９Ａ 投影制御部、３９Ｂ 撮像制御部、５０ 運転支援ＥＣＵ（制御部）、５２Ａ 画像認識部、５２Ｂ ずれ量算出部、５２Ｃ 入射角算出部、５２Ｄ 離隔距離算出部、５２Ｅ 表示調整部、５２Ｆ 位置情報取得部、５２Ｇ 案内情報作成部、５２Ｈ 学習済みモデル記憶部、５２Ｉ 初期画像記憶部、５２Ｊ 撮像設定記憶部、５２Ｋ 地図データ記憶部、６０ 画像表示フレーム、６２ ＡＲ画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】