特許 7517310 画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】画像表示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240709BHJP

   G01C 21/36 20060101ALI20240709BHJP

   G09G 5/00 20060101ALI20240709BHJP

   G09G 5/38 20060101ALI20240709BHJP

【ＦＩ】

G06F3/01 570

G01C21/36

G09G5/00 510A

G09G5/00 550C

G09G5/38

G09G5/00 510V

【請求項の数】 7

(21)【出願番号】P 2021189237

(22)【出願日】2021-11-22

(65)【公開番号】P2023076069

(43)【公開日】2023-06-01

【審査請求日】2023-07-11

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】青木 隆行

(72)【発明者】

【氏名】太田 龍佑

(72)【発明者】

【氏名】稲田 智洋

(72)【発明者】

【氏名】村木 均至

【審査官】冨永 昌彦

(56)【参考文献】

【文献】特開２０１７－０７７２９６（ＪＰ，Ａ）

【文献】特開２０２１－０６０６２７（ＪＰ，Ａ）

【文献】特開２０１１－０１８２２８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２９３７９８（ＵＳ，Ａ１）

【文献】国際公開第２０１６／０１７２５４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ０４８９５

(57)【特許請求の範囲】

【請求項1】

移動体の乗員である利用者の頭部に装着されるウェアラブルデバイスであって、前記利用者の視野に画像を表示する表示器と、前記表示器の車外静止物に対する動きである絶対的動きを検出する第一センサと、前記ウェアラブルデバイスの周辺をスラム用画像として撮像するスラム用カメラと、を有するウェアラブルデバイスと、
前記移動体の絶対的動きを検出する第二センサを有するモバイル端末と、
前記ウェアラブルデバイスおよび前記モバイル端末の少なくとも一方に搭載されたコンピュータで構成される画像コントローラであって、対象画像が表わすオブジェクトが現実に存在するように前記対象画像を前記表示器に表示させる画像コントローラと、
を備え、前記画像コントローラは、
前記スラム用カメラで撮像された前記スラム用画像に基づいて、前記表示器の絶対的動きを、画像由来挙動として推定し、
前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、の差分に基づいて、前記移動体に対する前記表示器の相対的動きをセンサ由来挙動として推定し、
前記画像由来挙動を前記センサ由来挙動で補正して、前記移動体に対する前記表示器の補正後の相対的動きを推定し、
前記補正後の相対的動きに基づいて、前記移動体と関連付けられた前記対象画像の前記表示器における表示位置を決定し、
少なくとも、前記画像由来挙動に基づいて、前記移動体の外部空間に関連付けられた前記対象画像の前記表示器における表示位置を決定する、
ことを特徴とする画像表示システム。

【請求項2】

請求項１に記載の画像表示システムであって、
前記画像コントローラは、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、の差分に基づいて、前記移動体に対する前記表示器の相対的動きを推定し、少なくとも前記表示器の相対的動きに基づいて、前記移動体に関連付けられた前記対象画像の前記表示器における表示位置を決定する、ことを特徴とする画像表示システム。

【請求項3】

請求項１または２に記載の画像表示システムであって、
前記第一センサおよび前記第二センサは、いずれも、加速度センサおよびジャイロセンサの少なくとも一方を含む、ことを特徴とする画像表示システム。

【請求項4】

請求項１から３のいずれか１項に記載の画像表示システムであって、
前記第二センサは、互いに直交する三つの検出基準軸を基準として絶対的動きを検出し、
さらに、前記移動体に固定された車載ホルダであって、前記第二センサの前記検出基準軸が、前記移動体の前後方向軸、上下方向軸、および、左右方向軸に平行になる姿勢で前記モバイル端末を保持する車載ホルダを備える、
ことを特徴とする画像表示システム。

【請求項5】

請求項１から４のいずれか１項に記載の画像表示システムであって、
前記モバイル端末は、車室内のうち、車体に対して固定された剛体からなる面に固定される、ことを特徴とする画像表示システム。

【請求項6】

請求項１から５のいずれか１項に記載の画像表示システムであって、
前記画像コントローラは、前記第二センサの検出値のうち、所定の基準値以下の検出値を、前記表示位置の算出に用いない、ことを特徴とする画像表示システム。

【請求項7】

請求項４に記載の画像表示システムであって、
さらに、前記移動体の内部に設けられた非円形の凹部を備え、
前記車載ホルダは、前記非円形の凹部に隙間なく嵌まり込む形状の取付部と、前記モバイル端末を保持するホルダ部と、を有する、
ことを特徴とする画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、拡張現実（以下「ＡＲ」と略す）の技術を用いて、移動体の乗員である利用者の視野に、所定の対象オブジェクトを表す対象画像を重畳表示する画像表示システムを開示する。

【背景技術】

【0002】

乗員である利用者の視野に、現実を拡張するような画像を表示する技術が従来から提案されている。例えば、特許文献１には、車両の運転手である利用者が、眼鏡型の表示器であるスマートグラスを装着し、このスマートグラスに、利用者が乗車する車両を先導する先行車両を表した画像を表示する技術が開示されている。特許文献１において、画像で表現された先行車両は、運転手が乗車している車両を目的地に導くように動く。そのため、運転手は、先行車両に追従するように運転操作を行うことで、目的地に移動できる。

【0003】

こうしたＡＲ技術では、表示器の実空間での位置および姿勢（以下「自己位置」と呼ぶ）を推定し、得られた自己位置に基づいて、対象オブジェクトを表す対象画像の、表示器における表示位置を決定する必要がある。表示器の自己位置を推定する技術としては、ビジュアルスラム（Simultaneous Localization and Mapping）が知られている。ビジュアルスラムは、カメラで撮像されたスラム用画像から環境三次元情報とカメラの位置姿勢とを推定する技術である。かかる技術によれば、スラム用画像の変化から、表示器の挙動も推定できる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１２９４０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、利用者が、移動体に搭乗している場合、スラム用画像の変化が、利用者の頭部（ひいては表示器）の移動に起因するものか、移動体の移動に起因するものか、の判別が難しかった。そして、結果として、表示器の自己位置推定精度が不十分となり、対象画像を適切な位置に表示できない場合があった。

【0006】

そこで、移動体の動きに関する情報を移動体から提供してもらい、当該情報を表示器の自己位置推定に利用することも考えられる。しかし、この場合、移動体は、表示器を含むウェアラブルデバイスとの通信機能を有している必要があり、上述したＡＲ技術を利用できる移動体が限定されてしまう。また、移動体が当該移動体の動きに関する情報を提供する場合、移動体の演算リソースおよび通信リソースの一部が、当該情報を収集するための演算および通信に使用されるため、移動体の移動制御に関する演算および通信に悪影響がでるおそれがあった。

【0007】

そこで、本明細書では、移動体における通信等の負荷を増加させることなく、対象画像をより適切に表示できる画像表示システムを開示する。

【課題を解決するための手段】

【0008】

本明細書で開示する画像表示システムは、移動体の乗員である利用者の頭部に装着されるウェアラブルデバイスであって、前記利用者の視野に画像を表示する表示器と、前記表示器の車外静止物に対する動きである絶対的動きを検出する第一センサと、を有するウェアラブルデバイスと、前記移動体の絶対的動きを検出する第二センサを有するモバイル端末と、前記ウェアラブルデバイスおよび前記モバイル端末の少なくとも一方に搭載されたコンピュータで構成される画像コントローラであって、対象画像が表わすオブジェクトが現実に存在するように前記対象画像を前記表示器に表示させる画像コントローラと、を備え、前記画像コントローラは、少なくとも、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、に基づいて、前記対象画像の前記表示器における表示位置を決定する、ことを特徴とする。

【0009】

かかる構成とすることで、表示器の絶対的動きと、移動体の絶対的動きを、区別して取得できる、対象画像をより適切に表示できる。また、移動体の絶対的動きをモバイル端末で検出しているため、移動体における通信等の負荷の増加を防止できる。

【0010】

この場合、前記画像コントローラは、前記第一センサで検出された前記表示器の絶対的動きと、前記第二センサで検出された前記移動体の絶対的動きと、の差分に基づいて、前記移動体に対する前記表示器の相対的動きを推定し、少なくとも前記表示器の相対的動きに基づいて、前記移動体に関連付けられた前記対象画像の前記表示器における表示位置を決定してもよい。

【0011】

かかる構成とすることで、移動体に関連付けられた対象画像をより適切に表示できる。

【0012】

また、前記ウェアラブルデバイスは、さらに、前記ウェアラブルデバイスの周辺をスラム用画像として撮像するスラム用カメラを有し、前記画像コントローラは、前記スラム用画像に基づいて推定した前記表示器の動きと、前記第一センサおよび前記第二センサの検出結果と、に基づいて、前記対象画像の前記表示器における表示位置を決定してもよい。

【0013】

第一センサおよび第二センサでの検出結果に加え、スラム用画像も考慮して、表示位置を決定することで、対象画像をより適切に表示できる。

【0014】

また、前記第一センサおよび前記第二センサは、いずれも、加速度センサおよびジャイロセンサの少なくとも一方を含んでもよい。

【0015】

加速度センサおよびジャイロセンサの少なくとも一方を用いることで、表示器および移動体の絶対的動きをより正確に検出できる。

【0016】

また、前記第二センサは、互いに直交する三つの検出基準軸を基準として絶対的動きを検出し、さらに、前記移動体に固定された車載ホルダであって、前記第二センサの前記検出基準軸が、前記移動体の前後方向軸、上下方向軸、および、左右方向軸に平行になる姿勢で前記モバイル端末を保持する車載ホルダを備えてもよい。

【0017】

かかる車載ホルダを用いることで、三つの検出基準軸のうち、移動体前後方向に直交する二つの検出基準軸に入力される動き量が小さくなり、絶対的動きの演算量を小さく抑えることができる。

【0018】

また、前記モバイル端末は、車室内のうち、車体に対して固定された剛体からなる面に固定されてもよい。

【0019】

かかる構成とすることで、第二センサの移動体に対する動きを小さく抑えることができ、移動体の絶対的動きをより正確に検出できる。

【0020】

また、前記画像コントローラは、前記第二センサの検出値のうち、所定の基準値以下の検出値を、前記表示位置の算出に用いなくてもよい。

【0021】

かかる構成とすることで、モバイル端末の移動体に対する微小な振動の影響を除去でき、対象画像をより適切に表示できる。

【発明の効果】

【0022】

本明細書に開示する技術によれば、移動体における演算の負荷を増加させることなく、対象画像をより適切に表示できる。

【図面の簡単な説明】

【0023】

【図1】画像表示システムの構成を示すブロック図である。

【図2】利用者がウェアラブルデバイスを装着した状態を示す図である。

【図3】利用者である運転手の視界を模式的に示した図である。

【図4】対象画像が表示されている際の利用者の視界を模式的に示した図である。

【図5】スラム用画像の一例を示す図である。

【図6】対象画像の表示位置の算出の流れを示すフローチャートである。

【図7】車載ホルダの一例を示す図である。

【図8】車載ホルダの他の一例を示す図である。

【発明を実施するための形態】

【0024】

以下、図面を参照して、画像表示システム１０の構成について説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは一例であり、適宜、変更可能である。図１は、画像表示システム１０の構成を示すブロック図である。画像表示システム１０は、ウェアラブルデバイス１２とモバイル端末２８とを備える。

【0025】

ウェアラブルデバイス１２は、車両の乗員（例えば運転手）が、その頭部に装着するデバイスであり、例えば、眼鏡あるいはゴーグル型のデバイスである。ウェアラブルデバイス１２は、表示器１４、スラム用カメラ１６、瞳孔位置センサ１８、第一センサ１９、および、デバイスコントローラ２０を有する。

【0026】

このウェアラブルデバイス１２について図２を参照して詳説する。図２は、車両の乗員である利用者１００がウェアラブルデバイス１２を装着した状態を示す図である。ウェアラブルデバイス１２は、眼鏡の形状に形成されたデバイスであり、スマートグラスあるいはＡＲグラスと呼ばれる。ウェアラブルデバイス１２は、耳に掛けるための直線状のフレームであるテンプル２６と、目の周囲を囲むとともに鼻に掛けられる形状に形成されたフレームであるリム２４と、を備える。

【0027】

表示器１４は、ウェアラブルデバイス１２を装着している利用者１００の視野に画像を表示する。本例において、表示器１４は、リム２４の内側に配された表示エリア２２を有する有機ＥＬディスプレイまたは液晶ディスプレイであり、この表示エリア２２の一部または全部に画像を映し出す。表示エリア２２は、高い透明性を有している。そのため、表示エリア２２に画像が表示されていない場合、利用者１００（すなわち乗員）は、表示エリア２２越しに前方の風景を視認できる。また、表示エリア２２の一部にのみ画像が表示されている場合、利用者１００は、前方の視界の風景と、表示された画像と、を同時に見ることができる。この場合、画像は、不透明でもよいし、半透明でもよい。なお、以下の説明では、表示器１４に表示される画像を、その他の画像と区別するために、「対象画像」と呼ぶ。また、対象画像が仮想的に表すオブジェクトを「対象オブジェクト」と呼ぶ。

【0028】

スラム用カメラ１６は、表示器１４に対して固定されたカメラであり、表示器１４の周囲を撮像するカメラである。スラム用カメラ１６は、例えば、テンプル２６の前端近傍において、前向きに固定されており、利用者１００の視野と類似した範囲を撮像する。以下では、このスラム用カメラ１６で撮像された画像を「スラム用画像」と呼ぶ。後述する画像コントローラ３０は、スラム用画像に写り込んだ風景の中から特徴点を抽出し、表示器１４の実空間での位置および姿勢を特定するが、これについては、後述する。

【0029】

瞳孔位置センサ１８は、利用者１００の右目と左目の瞳孔の位置を検知するセンサであり、例えば、リム２４の中心付近に固定される。この瞳孔位置センサ１８は、例えば、カメラ（赤外線カメラを含む）等を利用して形成することができる。

【0030】

第一センサ１９は、表示器１４、ひいては、利用者１００の視点の、地球に対する動き（以下「絶対的動き」という）を検出するセンサである。かかる第一センサ１９は、例えば、加速度センサとジャイロセンサと、を有する。加速度センサは、互いに直交する三軸（以下「検出基準軸」という）に沿った加速度を電圧値として検出するセンサである。ジャイロセンサは、互いに直交する三つの検出基準軸回りの角速度を電圧値として検出するセンサである。第一センサ１９の検出値は、デバイスコントローラ２０を介して画像コントローラ３０に送信される。第一センサ１９は、表示器１４に対して固定されており、例えば、テンプル２６に内蔵されている。

【0031】

デバイスコントローラ２０は、画像コントローラ３０からの指示に応じて、ウェアラブルデバイス１２の作動を制御する。かかるデバイスコントローラ２０は、例えば、プロセッサとメモリとを有するコンピュータである。デバイスコントローラ２０は、スラム用カメラ１６および瞳孔位置センサ１８で取得された画像、および、第一センサ１９の検出値を随時、画像コントローラ３０に送信する。また、デバイスコントローラ２０は、画像コントローラ３０からの指示に従って表示器１４に対象画像を表示させる。

【0032】

再び図１に戻って、モバイル端末２８について説明する。モバイル端末２８は、携帯型の情報端末であり、例えば、スマートフォンや、タブレット端末、ノートパソコン、携帯型ゲーム機等である。モバイル端末２８は、利用者１００によって、車室内に持ち込まれる。

【0033】

車室内には、このモバイル端末２８を一時的に保持する車載ホルダ４４が設けられている。車室内に持ち込まれたモバイル端末２８は、図３に示すように、この車載ホルダ４４を介して、車両に対して固定される。換言すれば、モバイル端末２８は、車両と一体的に動くように、保持される。

【0034】

モバイル端末２８は、画像コントローラ３０と、ユーザインターフェース（以下「ユーザＩ／Ｆ」という）３８と、第二センサ４０と、を有する。ユーザＩ／Ｆ３８は、利用者１００からの操作指示を受け付ける入力装置と、利用者１００に情報を提供する出力装置と、を有する。入力装置は、例えば、キーボード、スイッチ、タッチパネル、および、マイクの少なくとも一つを含む。また、出力装置は、表示器、ランプ、および、スピーカの少なくとも一つを含む。

【0035】

第二センサ４０は、モバイル端末２８、ひいては、車両の地球に対する動き、すなわち、絶対的動きを検知するセンサである。かかる第二センサ４０は、例えば、検出基準軸方向の加速度を検出する加速度センサと、検出基準軸回りの角速度を検出するジャイロセンサとを有する。第二センサ４０の検出値は、画像コントローラ３０に送信される。

【0036】

画像コントローラ３０は、表示器１４に表示させる対象画像のデータを生成する。この画像コントローラ３０は、物理的には、プロセッサ３２とメモリ３４と通信Ｉ／Ｆ３５とを有したコンピュータである。この「コンピュータ」には、コンピュータシステムを一つの集積回路に組み込んだマイクロコントローラも含まれる。また、プロセッサ３２とは、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0037】

メモリ３４は、コンピュータが処理すべきデジタルデータを保持する装置を意味する。このメモリ３４は、メモリバスを介してプロセッサ３２に接続されたメインメモリ、および、入出力チャネルを介してプロセッサ３２がアクセスする二次記憶装置の少なくとも一つを含む。かかるメモリ３４は、半導体メモリ（例えばＲＡＭ、ＲＯＭ、ソリッドステートドライブ等）および磁気ディスク（例えば、ハードディスクドライブ等）の少なくとも一つを含んでもよい。本例のメモリ３４には、予め、表示器１４に、ＡＲ技術を利用して、現実を拡張する画像を表示するためのプログラムがインストールされている。

【0038】

通信Ｉ／Ｆ３５は、有線または無線により、他の電子機器、具体的には、ウェアラブルデバイス１２とデータを送受する。例えば、通信Ｉ／Ｆ３５は、ウェアラブルデバイス１２と、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、赤外線通信などの近距離無線通信でデータを送受してもよい。

【0039】

こうした画像コントローラ３０は、単一のコンピュータでなく、機械的に離間した複数のコンピュータで構成されてもよい。また、以下で説明する画像コントローラ３０の処理の一部または全ては、ウェアラブルデバイス１２に内蔵されたコンピュータで実現されてもよい。すなわち、画像コントローラ３０は、モバイル端末２８ではなく、ウェアラブルデバイス１２に設けられてもよい。

【0040】

画像コントローラ３０は、図４に示されるように、対象画像５０ａ，５０ｂ，５０ｃが表わす仮想的なオブジェクト（すなわち対象オブジェクト）が実空間に存在するかのように、対象画像５０ａ，５０ｂ，５０ｃを表示器１４に表示させる。例えば、画像コントローラ３０は、対象オブジェクトを、実空間に仮想的に配置し、この対象オブジェクトが実際に存在している場合の利用者１００からの見え方を演算し、その見え方に応じた対象画像を生成し、表示器１４の表示エリア２２に表示する。なお、このように、対象オブジェクトが現実に存在しているように見せる表示形態を以下では、「ＡＲ表示」と呼ぶ。

【0041】

本例における対象画像５０の表示の一例を見本に説明する。図４は、対象画像５０ａ，５０ｂ，５０ｃが表示されている際の利用者１００（本例の場合は運転手）の視界を模式的に示した図である。図４の例では、車外の店舗の情報（図示例では、新規オープンであるという情報）を示す対象画像５０ａと、車両の進行方向を示す対象画像５０ｂと、運転手への注意喚起メッセージを示す対象画像５０ｃと、がＡＲ表示されている。こうした対象画像５０ａ，５０ｂ，５０ｃは、当該画像が示す対象オブジェクトが現実に存在する場合と同様の位置およびサイズで、表示器１４に表示される。例えば、対象画像５０ａは、現実に存在する車外の店舗の上に、対象画像５０ａで表現されたテキストオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。そのため、車両の走行、および、利用者１００の体の動きに起因して、利用者１００の視点と店舗との相対位置関係が変化すれば、対象画像５０ａの表示エリア２２内での位置およびサイズも変化する。

【0042】

また、対象画像５０ｂは、現実に存在する車両の前方の路面に、対象画像５０ｂで表現された矢印状のオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。また、対象画像５０ｃは、現実に存在するステアリングホイール６０の右上に、対象画像５０ｃで表現されたテキストオブジェクトが現実に存在する場合と同様の位置およびサイズで表示エリア２２に表示される。したがって、利用者１００の視点が車両に対して移動すれば、これら対象画像５０ｂ，５０ｃの表示エリア２２内での表示位置およびサイズも変化する。

【0043】

このようにＡＲ表示の場合、実在の物体の配置を考慮して対象画像５０を表示できるため、対象画像５０が運転操作の邪魔になることを確実に防止できる。また、ＡＲ表示の場合、実在の物体（例えば店舗等）と相関性のある位置に対象画像５０を表示できるため、当該物体に利用者１００の注意を効果的に向けさせることができる。

【0044】

ところで、ＡＲ表示を行うためには、上述した通り、対象オブジェクトが実際に存在している場合の利用者１００からの見え方を演算する必要がある。この見え方の演算は、対象オブジェクトの仮想的な配置位置、ウェアラブルデバイス１２の実空間での位置姿勢、および、瞳孔の表示器１４に対する位置から求まる。

【0045】

このうち、対象オブジェクトの仮想的な配置位置は、利用者１００に提供したい情報内容に基づいて画像コントローラ３０が決定する。また、瞳孔の表示器１４に対する位置は、上述した通り、瞳孔位置センサ１８で検知される。

【0046】

ウェアラブルデバイス１２の実空間での位置および姿勢、すなわち、ウェアラブルデバイス１２の自己位置は、所定のサンプリングタイムで、ビジュアルスラムを繰り返し実行することで推定できる。ビジュアルスラムは、スラム用カメラ１６で撮像されたスラム用画像５２（図５参照）から、実空間の三次元情報と、表示器１４の自己位置と、を推定する技術である。なお、ウェアラブルデバイス１２の自己位置は、例えば、直交三軸の座標値（すなわちｘ，ｙ，ｚ座標値）と、直交三軸周りの回転量（すなわち、ロール、ヨー、ピッチ）と、で表すことができる。画像コントローラ３０は、スラム用画像５２に写った実際の風景から複数の特徴点を抽出し、この特徴点のスラム用画像５２内での位置や、特徴点間の距離等に基づいて、空間認識と自己位置推定を行う。

【0047】

ところで、対象画像の中には、車両に関連付けられたものがある。例えば、図４の対象画像５０ｂ，５０ｃそれぞれが表わす対象オブジェクトの配置は、車両を基準として決定されており、対象画像５０ｂ，５０ｃは、車両に関連付けられているといえる。かかる対象画像５０ｂ，５０ｃの表示位置を正確に決定するためには、表示器１４の車両に対する自己位置を正確に推定することが求められる。しかしながら、表示器１４の車両に対する自己位置は、上述したスラム用画像５２だけで、正確に求めることが難しかった。

【0048】

すなわち、表示器１４の車外静止物に対する動きは、スラム用画像５２に写る風景の変化として現れる。そのため、スラム用画像５２に写った風景の変化（特徴点の変化）を特定することで、表示器１４の車外静止物に対する動きは特定できる。しかし、利用者１００が車両に乗車している場合、こうした風景の変化が、利用者１００の頭部の動きに起因するものか、車両の動きに起因するものか、の判別が難しかった。

【0049】

例えば、あるサンプリングタイミングにおける、スラム用カメラ１６の撮像エリア５６が、図３において破線の四角で示すエリアであったとする。この場合、図５の上段に示すスラム用画像５２ａが取得できる。その後、別のサンプリングタイミングで、図５の下段に示すスラム用画像５２ｂが取得されたとする。二つのスラム用画像５２ａ，５２ｂを比較すると、風景が変化しているため、二つのサンプリングタイミングで、頭部および車両の少なくとも一方が動いていることは推測できるが、頭部および車両が、それぞれ、どのように動いているかを特定することは難しい。もちろん、二つのスラム用画像５２ａ，５２ｂには、車室の一部（図示例では、ルームミラーの一部）が写っているため、この車室の一部の特徴点を抽出することで、車室に対する頭部の動きを推定することは一応、可能である。しかし、この場合、スラム用画像５２ａ，５２ｂに写る車室の特徴点の数は多くないため、車室に対する頭部の動きを正確に推定することは難しい。また、スラム用画像５２に、車室の特徴点が多数写っている場合であっても、二次元画像であるスラム用画像５２のみに基づいて、車室に対する頭部（ひいては表示器１４）の動きを高精度に推定することは難しい場合が多かった。

【0050】

そこで、本例では、ウェアラブルデバイス１２に設けられた第一センサ１９、および、モバイル端末２８に設けられた第二センサ４０を用いることで、表示器１４の車外静止物に対する動き（すなわち絶対的動き）、および、車両の車外静止物に対する動き（すなわち絶対的動き）を、それぞれ区別して検知し、これを、表示器１４の自己位置推定および空間認識に利用している。

【0051】

具体的には、画像コントローラ３０は、第一センサ１９での検出結果に基づいて表示器１４の絶対的動きを取得し、第二センサ４０での検出結果に基づいて車両の絶対的動きを取得し、取得された二つの絶対的動きの差分から、車両に対する表示器１４の相対的動き、ひいては、車両と表示器１４の相対位置関係を算出する。より具体的には、例えば、画像コントローラ３０は、第一センサ１９および第二センサ４０それぞれで検出された加速度の差分を演算し、得られた加速度の差分を時間積分することで、車両に対する表示器１４の移動速度を求め、加速度の差分を二階積分することで、車両に対する表示器１４の変位量を求めてもよい。

【0052】

表示器１４の相対的動きが得られれば、画像コントローラ３０は、得られた表示器１４の相対的動きに基づいて、ビジュアルスラムで得られた自己位置推定の結果を補正してもよい。かかる構成とすることで、表示器１４の自己位置の推定精度をより向上でき、ひいては、対象画像５０ｂ，５０ｃを適切な位置に表示させることができる。

【0053】

図６は、対象画像５０ｂ，５０ｃの表示位置の算出の流れを示すフローチャートである。図６に示すように、画像コントローラ３０は、スラム用画像５２を取得し（Ｓ１０）、スラム用画像５２に写った景色から特徴点を抽出する（Ｓ１２）。続いて、画像コントローラ３０は、抽出された特徴点の変化から表示器１４の動きを推定する（Ｓ１４）。具体的には、画像コントローラ３０は、車外の特徴点の変化から、表示器１４の車外空間に対する動きを、車内の特徴点の変化から、表示器１４の車両に対する動きを、それぞれ、推定する。以下では、スラム用画像５２から推定された表示器１４の動きを「画像由来挙動」と呼ぶ。

【0054】

また、画像コントローラ３０は、第一センサ１９の検出値に基づいて、表示器１４の絶対的動きを推定し（Ｓ１６）、第二センサ４０の検出値に基づいて、車両の絶対的動きを推定する（Ｓ１８）。そして、画像コントローラ３０は、車両の絶対的動きと、表示器１４の絶対的動きと、の差分から、車両に対する表示器１４の相対的動きを推定する（Ｓ２０）。以下では、第一センサ１９および第二センサ４０の検出値から推定された表示器１４の相対的動きを、「センサ由来挙動」と呼ぶ。

【0055】

画像由来挙動およびセンサ由来挙動の双方が得られれば、画像コントローラ３０は、画像由来挙動を、センサ由来挙動に基づいて補正し、車両に対する表示器１４の正確な動きを推定する（Ｓ２２）。そして、得られた推定結果に基づいて、対象画像５０ｂ，５０ｃの表示位置を決定する（Ｓ２４）。以下、同様の手順を、所定のサンプリング周期で繰り返す。

【0056】

このように、画像由来挙動をセンサ由来挙動で修正することで、表示器１４の自己位置推定の精度を向上でき、対象画像５０ｂ，５０ｃをより適切に表示できる。また、本例では、車両の動きを、モバイル端末２８に内蔵された第二センサ４０で検知し、モバイル端末２８に内蔵された画像コントローラ３０で、画像処理を実行している。換言すれば、本例では、ウェアラブルデバイス１２と、車両と、の通信が不要である。その結果、車両に、ウェアラブルデバイス１２との通信機能が設けられていない場合でも、対象画像５０を適切な位置にＡＲ表示できる。また、車両がウェアラブルデバイス１２と通信できる場合であっても、車両から車両の絶対的動きをウェアラブルデバイス１２に提供する場合、車両の走行制御に関する演算で使用できる演算リソースおよび通信リソースが減少し、走行制御の品質が低下するおそれがある。本例では、ＡＲ表示のために必要な演算を、モバイル端末２８およびウェアラブルデバイス１２で行っているため、車両の走行制御に関する演算および通信に悪影響を与えることがない。

【0057】

なお、車両に、ウェアラブルデバイス１２との通信機能を設けておき、車内にモバイル端末２８が存在しない場合には、車両に搭載されたコンピュータおよびセンサが、モバイル端末２８と同様の処理を実行してもよい。かかる構成とすることで、利用者１００が、モバイル端末２８を持ち込み忘れた場合でも、利用者１００は、ＡＲ機能を利用できる。また、この場合、車両は、車内にモバイル端末２８が存在する場合には、ウェアラブルデバイス１２との通信を自動的に切る構成としてもよい。かかる構成とすることで、車両の通信負荷を軽減できる。

【0058】

また、図６の例では、画像由来挙動をセンサ由来挙動と同じ周期で算出しているが、画像由来挙動は、センサ由来挙動と異なる周期で算出してもよい。例えば、画像由来挙動を一度算出すれば、その後、一定期間は、センサ由来挙動にのみ基づいて対象画像５０ｂ，５０ｃの表示位置を算出し、一定期間経過後に、再度、画像由来挙動を算出してもよい。かかる構成とすることで、対象画像５０ｂ，５０ｃの表示位置決定のための演算量を低減できる。

【0059】

また、上記では、車両に関連付けられた対象画像５０ｂ，５０ｃの表示位置の決定についてだけ説明したが、第一センサ１９および第二センサ４０の検出結果は、車外空間に関連付けられた対象画像（例えば、図４の対象画像５０ａ等）の表示位置の決定に利用されてもよい。すなわち、図４の対象画像５０ａは、車外に存在する店舗に関連付けられているが、この対象画像５０ａの表示位置を適切に決定するためには、表示器１４と店舗との相対的位置関係を正確に把握する必要がある。しかし、得られるスラム用画像５２の内容によっては、店舗周辺の特徴点を十分に抽出できず、表示器１４と店舗との相対的位置関係を正確に把握できない場合もある。かかる場合には、第一センサ１９の検出結果に基づいて、スラム用画像５２から求めた表示器１４と店舗との相対的位置関係を補正してもよい。具体的には、画像コントローラ３０は、第一センサ１９で検出される表示器１４の絶対的動きから、店舗に対する表示器１４の相対的動きを求め、得られた相対的動きに基づいて、スラム用画像５２から求めた表示器１４と店舗との相対的位置関係を補正してもよい。

【0060】

ところで、上述した通り、本例では、モバイル端末２８に内蔵された第二センサ４０で車両の絶対的動きを検知している。この場合、車両の絶対的動きを正確に検知するためには、モバイル端末２８は、車両に対して動かないように固定されている必要がある。そこで、本例では、モバイル端末２８を保持する車載ホルダ４４を設けている。この車載ホルダ４４でのモバイル端末２８の保持について説明する。

【0061】

本例では、車載ホルダ４４は、第二センサ４０の三つの検出基準軸が、車両の前後・上下・車幅方向軸（以下「車両基準軸」と呼ぶ）に対して平行となるような姿勢でモバイル端末２８を保持する。ここで、通常、第二センサ４０は、その検出基準軸がモバイル端末２８の幅方向軸、高さ方向軸、厚み方向軸と一致するような姿勢で、モバイル端末２８に内蔵されている。したがって、車載ホルダ４４は、通常、モバイル端末２８の幅・高さ・厚み方向軸が、車両基準軸と平行になる姿勢で、モバイル端末２８を保持する。

【0062】

第二センサ４０の検出基準軸と、車両基準軸と、を平行に保つことで、車両の絶対的動きに関する演算量を低減できる。すなわち、通常、車両は、前後方向に動くことが多く、車幅方向および上下方向の動き量は小さい。そのため、第二センサ４０の検出基準軸の一つを、車両の前後方向軸と平行にすることで、検出基準軸の他の二つに入力される動きが少なくなり、車両の絶対的動き特定のための演算量を低減できる。

【0063】

車載ホルダ４４は、車室内のうち、車体に対して固定された剛体からなる面、例えば、インスツルメントパネルや、ドアトリム、コンソール等の面に取り付けられている。車載ホルダ４４は、例えば、図７，図８に示すように、車両に取り付けられる取付部６８と、モバイル端末２８を保持するホルダ部６６と、を有する。取付部６８の取り付けには、吸盤、粘着テープ、クリップ、ネジ、嵌合等を用いることができる。ホルダ部６６は、モバイル端末２８を取付部６８に対して静止した状態で保持する。かかるホルダ部６６は、例えば、モバイル端末２８の一部または全部を、動かないにように収容する容器でもよいし、ネジやバネの力でモバイル端末２８を挟持するクランプでもよい。

【0064】

かかる車載ホルダ４４は、モバイル端末２８を保持することで、当該モバイル端末２８の位置および姿勢を適切に調整できる構成でもよい。例えば、車載ホルダ４４は、図７に示すように、インスツルメントパネル６３に、粘着テープ６８ａで貼り付けられた取付部６８と、当該取付部６８に対して固定されたホルダ部６６と、を有してもよい。図７の例において、ホルダ部６６は、バネ（図示せず）の付勢力により、モバイル端末２８を上下方向に挟み込むクランプを有する。モバイル端末２８がこのクランプで挟まれて保持されることで、モバイル端末２８の取付部６８に対する位置および姿勢が固定される。取付部６８は、第二センサ４０の検出基準軸が車両基準軸と平行になるような位置および姿勢に、予め位置決めされたうえで、インスツルメントパネル６３に取り付けられる。かかる取付部６８の位置決めを、利用者１００が行うことは難しいため、この取付部６８の位置決め、および、取り付け作業は、ディーラや修理工場が行ってもよい。

【0065】

また、別の形態として、車載ホルダ４４の取付部６８は、車両の所定箇所に取り付けることで、自動的に、その位置決めができる構成としてもよい。例えば、車載ホルダ４４は、図８に示すように、車室内に設けられた非円形の凹部（図８の例ではドリンクホルダ６４）に隙間なく嵌まり込む取付部６８と、モバイル端末２８の大部分を隙間なく収容する容器状のホルダ部６６と、を有してもよい。この場合、取付部６８を非円形の凹部（ドリンクホルダ６４）に挿入するだけで、ホルダ部６６、ひいては、ホルダ部６６で保持されたモバイル端末２８の車両に対する位置および姿勢が自動的に適切な状態に保たれる。なお、図８の例では、取付部６８は、ドリンクホルダ６４に挿入する構成としているが、取付部６８は、車室内に形成された非円形の凹部に隙間なく嵌まるのであれば、他の箇所、例えば、コンソールボックスの内部空間や、ドアトリムに形成されたドアポケット等に挿入されるものでもよい。かかる構成とすることで、利用者１００が、車載ホルダ４４を容易に位置決めできる。

【0066】

ところで、車載ホルダ４４の構成を工夫したとしても、車載ホルダ４４は、車両とは別部品であるため、車載ホルダ４４およびモバイル端末２８は、車両に対して微小振動しやすい。モバイル端末２８の車両に対する微小振動の影響を除去するために、第二センサ４０の検出値のうち、所定の基準値未満の検出値（すなわち加速度）は、車両の絶対的動きの演算に含めない構成としてもよい。例えば、第二センサ４０の検出値に対して、微小振動に起因する小さな加速度変動を除去するローパスフィルタやバンドパスフィルタを適用してもよい。かかる構成とすることで、モバイル端末２８の微小振動に起因して、対象画像５０の表示位置まで振動することが効果的に防止できる。そして、結果として、より適切なＡＲ表示が可能となる。

【0067】

以上の説明で明らかな通り、本例では、ウェアラブルデバイス１２に内蔵された第一センサ１９およびモバイル端末２８に内蔵された第二センサ４０に基づいて、表示器１４の絶対的動き、および、車両の絶対的動きの双方を区別して検出できる。そして、これにより、車両に対する表示器１４の自己位置推定の精度を向上でき、より適切なＡＲ表示が可能となる。なお、これまで説明した構成は、一例であり、適宜、変更されてもよい。例えば、上述の説明では、利用者１００が搭乗する移動体として、車両を例示しているが、利用者１００が搭乗する移動体は、他の移動体、例えば、電車や、バイク、飛行機、電動キックスケータ等でもよい。

【符号の説明】

【0068】

１０ 画像表示システム、１２ ウェアラブルデバイス、１４ 表示器、１６ スラム用カメラ、１８ 瞳孔位置センサ、１９ 第一センサ、２０ デバイスコントローラ、２２ 表示エリア、２４ リム、２６ テンプル、２８ モバイル端末、３０ 画像コントローラ、３２ プロセッサ、３４ メモリ、３５ 通信Ｉ／Ｆ、３８ ユーザＩ／Ｆ、４０ 第二センサ、４４ 車載ホルダ、５０ 対象画像、５２ スラム用画像、５６ 撮像エリア、６０ ステアリングホイール、６３ インスツルメントパネル、６４ ドリンクホルダ、６６ ホルダ部、６８ 取付部、６８ａ 粘着テープ、１００ 利用者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】