特許 6659924 ヘッドマウントディスプレイの提示の調整

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6659924

(24)【登録日】2020年2月12日

(45)【発行日】2020年3月4日

(54)【発明の名称】ヘッドマウントディスプレイの提示の調整

(51)【国際特許分類】

   H04N 5/64 20060101AFI20200220BHJP

   G02B 27/02 20060101ALI20200220BHJP

【ＦＩ】

   H04N5/64 511A

   G02B27/02 Z

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2015-76818(P2015-76818)

(22)【出願日】2015年4月3日

(65)【公開番号】特開2015-204616(P2015-204616A)

(43)【公開日】2015年11月16日

【審査請求日】2018年3月14日

(31)【優先権主張番号】14164536.6

(32)【優先日】2014年4月14日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】515183562

【氏名又は名称】アイオンロード テクノロジーズ リミテッド

【氏名又は名称原語表記】ＩＯＮＲＯＡＤ ＴＥＣＨＮＯＬＯＧＩＥＳ ＬＴＤ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ダン アツモン

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開２００１−１０３３９５（ＪＰ，Ａ）

【文献】 特開２００９−２７８２３４（ＪＰ，Ａ）

【文献】 特開２０１１−０７１７４６（ＪＰ，Ａ）

【文献】 特開２００４−２１９６６４（ＪＰ，Ａ）

【文献】 欧州特許出願公開第０１９９０６７４（ＥＰ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ２７／００−２７／６４

Ｈ０４Ｎ ５／６４−５／６５５

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
運転者制御領域、およびフロントガラスの一部、ならびに前記フロントガラスの前記一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、前記車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
前記景色の車両画像を取り込むために、前記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、
前記景色の中に位置し、前記ＨＭＤ画像に表されるオブジェクトの第１の見かけの位置を検出すること、前記景色の中に位置し、前記車両画像に表される前記オブジェクトの第２の見かけの位置を検出すること、および、前記第１の見かけの位置と前記第２の見かけの位置との差を識別することを実行するために、前記ＨＭＤ画像および前記車両画像の解析を行うことと、
前記差に基づいて、前記車両に対する前記ＨＭＤの配向を計算することと、
前記配向に基づいて、前記ＨＭＤ上のデータの提示を調整することと
を含む、方法。

【請求項2】

ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
運転者制御領域、およびフロントガラスの一部、ならびに前記フロントガラスの前記一部および車両の前方を通して見える景色のＨＭＤ画像を取り込む、前記車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
前記景色の車両画像を取り込む、前記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
解析および計算モジュールであって、
前記景色の中に位置し、前記ＨＭＤ画像に表されるオブジェクトの第１の見かけの位置を検出すること、前記景色の中に位置し、前記車両画像に表される前記オブジェクトの第２の見かけの位置を検出すること、および、前記第１の見かけの位置と前記第２の見かけの位置との差を識別することを実行するために、前記ＨＭＤ画像および前記車両画像の解析を行うことと、
前記差に基づいて、前記車両に対する前記ＨＭＤの配向を計算することと、
前記配向に基づいて、前記ＨＭＤ上のデータの提示を調整することと
を実行するための解析および計算モジュールと
を備える、システム。

【請求項3】

ＨＭＤ移動データを収集するために、前記車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、
車両移動データを収集するために、前記車両に固定された少なくとも１つの車載センサを使用することと、
前記ＨＭＤ移動データと前記車両移動データとの差を識別するために、前記ＨＭＤ移動データおよび前記車両移動データの解析を行うことと
をさらに備え、
前記計算することは、前記ＨＭＤ移動データと前記車両移動データとの前記差および前記第１の見かけの位置と前記第２の見かけの位置との前記差に基づく、請求項１に記載の方法。

【請求項4】

ＨＭＤ移動データを収集する、車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤセンサと、
車両移動データを収集する、前記車両に固定された少なくとも１つのデバイスセンサと
をさらに備え、
前記行うことは、
前記ＨＭＤ移動データと前記車両移動データとの差を識別するために、前記ＨＭＤ移動データおよび前記車両移動データの解析を行うことを含み、
前記計算することは、前記ＨＭＤ移動データと前記車両移動データとの前記差に基づく、請求項２に記載のシステム。

【請求項5】

前記車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤデバイス運動検出器を使用して、現在のＨＭＤデバイス運動を測定することと、
前記車両にインストールされた少なくとも１つの車両運動検出器を使用して、現在の車両運動を測定することと、
前記現在の車両運動と前記現在のＨＭＤデバイス運動との差を識別するために、前記現在のＨＭＤデバイス運動および前記現在の車両運動の解析を行うことと
をさらに含み、
前記計算することは、前記現在の車両運動と前記現在のＨＭＤ運動との前記差および前記第１の見かけの位置と前記第２の見かけの位置との前記差に基づく、請求項１に記載の方法。

【請求項6】

既知の配設で配設される１組のサイズ既知マーカーを備える前記運転者制御領域のマーキング画像を取り込むために、車両の前記運転者によって着用される前記ＨＭＤにインストールされた前記少なくとも１つのＨＭＤ画像センサを使用することをさらに含み、
前記行うことは、前記マーキング画像の中の前記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するための、前記マーキング画像の解析を含み、
前記計算することはまた、前記見かけの位置、および、前記１組のサイズ既知マーカーの各メンバーの前記サイズにも基づく、請求項５に記載の方法。

【請求項7】

現在のＨＭＤデバイス運動を測定する、前記車両の前記運転者によって着用される前記ＨＭＤにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、
現在の車両運動を測定する、前記車両にインストールされた少なくとも１つの車両運動検出器と
をさらに備え、
前記行うことは、前記現在の車両運動と前記現在のＨＭＤデバイス運動との差を識別するために、前記現在のＨＭＤデバイス運動および前記現在の車両運動の解析を行うことを含み、
前記計算することは、前記現在の車両運動と前記現在のＨＭＤデバイス運動との前記差に基づく、請求項２に記載のシステム。

【請求項8】

前記１組のサイズ既知マーカーの各メンバーの前記見かけの位置およびサイズは、スケール不変特徴変換（ＳＩＦＴ）過程を使用して検出される、請求項６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、そのいくつかの実施形態において、ヘッドマウントディスプレイの配向に関し、より具体的には、これらに限定されないが、車両でのヘッドマウントディスプレイの配向および提示の調整に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイまたはヘルメットマウントディスプレイは、どちらもＨＭＤと略記され、頭部に装着するまたはヘルメットの一部としての表示デバイスであり、片目（単眼ＨＭＤ）または両目（双眼ＨＭＤ）の前方に小型の表示光学装置を有する。光学ヘッドマウントディスプレイ（ＯＨＭＤ）もあるが、これは、投影画像を反射させる能力、ならびにユーザがそれを通して見ることを可能にする能力を有する、着用可能なディスプレイである。

【0003】

代表的なＨＭＤは、ヘルメット、眼鏡（データ眼鏡としても知られる）、またはバイザーに埋め込まれたレンズおよび半透明の鏡を伴う、１つまたは２つの小型ディスプレイを有する。表示ユニットは、小型化されており、ＣＲＴ、ＬＣＤ、シリコン上液晶（ＬＣｏｓ）、またはＯＬＥＤが挙げられる。一部の販売業者は、総解像度および視野を高めるために、多数のマイクロディスプレイを用いている。

【0004】

拡張現実（ＡＲ）オブジェクトをＨＭＤ上に提示するとき、提示されるＡＲオブジェクトは、ユーザの頭部の移動と相関させなければならない。これは、通常、ＨＭＤ上に位置する画像センサ（複数可）および／または行動検出器（複数可）を使用して周囲に対するＨＭＤの配向を計算し、その配向に基づいて、ＨＭＤ上のＡＲオブジェクトの提示を調整することによって確立される。

【0005】

ＨＭＤは、データ、運航指示、統計、リアルタイムメッセージ、および通知によって、運転経験を高めるために使用することができるので、運転しながらＨＭＤを使用することは、多くの利点を有する。

【0006】

例えば、Ｎｉｓｓａｎ ３Ｅヘッドマウントディスプレイは、ユーザが自動車の内部構造に関する様々な細かい場所を見ることを可能にし、一方で、従来のダッシュボードの一群のメーター類は、通常通りに他のレイアウトを運転者に提供する。

【発明の概要】

【課題を解決するための手段】

【0007】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、ＨＭＤ移動データを収集するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、車両移動データを収集するために、車両に固定された少なくとも１つの車載センサを使用することと、ＨＭＤ移動データと車両移動データとの差を識別するために、ＨＭＤ移動データおよび車両移動データの解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。

【0008】

随意に、少なくとも１つの車載センサは、車両マウント上に配置されるモバイルデバイスの構成要素である。

【0009】

本発明のいくつかの実施形態によれば、本方法を行うように適合されるコンピュータ実行可能な命令を含む、コンピュータ読み出し可能な媒体が提供される。

【0010】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、ＨＭＤ移動データを収集する、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサと、車両移動データを収集する、車両に固定された少なくとも１つのデバイスセンサと、ＨＭＤ移動データと車両移動データとの差を識別するために、ＨＭＤ移動データおよび車両移動データの解析を行い、差に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。

【0011】

随意に、ＨＭＤ移動データおよび車両移動データは、無線接続によって、解析および計算モジュールに転送される。

【0012】

随意に、解析および計算モジュールは、ＨＭＤにインストールされたコンピュータプログラムである。

【0013】

随意に、解析および計算モジュールは、モバイルデバイスにインストールされたコンピュータプログラムである。

【0014】

随意に、解析および計算モジュールは、車両のコンピューティングデバイスの一部としてインストールされたコンピュータプログラムである。

【0015】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、景色の車両画像を取り込むために、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。

【0016】

随意に、撮像デバイスは、ダッシュボードカメラである。

【0017】

随意に、撮像デバイスは、フロントガラスに取り付けられる。

【0018】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込む車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、景色の車両画像を取り込む、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、解析および計算モジュールであって、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析を行い、差に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。

【0019】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器を使用して、現在のＨＭＤデバイス運動を測定することと、車両にインストールされた少なくとも１つの車両運動検出器を使用して、現在の車両運動を測定することと、現在の車両運動と現在のＨＭＤデバイス運動との差を識別するために、現在のＨＭＤデバイス運動および現在の車両運動の解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。

【0020】

随意に、本方法はさらに、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、景色の車両画像を取り込むために、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することとをさらに含み、行うことはさらに、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するための、ＨＭＤ画像および車両画像の解析を含み、計算することはまた、見かけの位置の差にも基づく。

【0021】

随意に、本方法はさらに、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することを含み、行うことは、ＨＭＤ画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するための、ＨＭＤ画像の解析を含み、計算することはまた、見かけの位置にも基づく。

【0022】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、現在のＨＭＤデバイス運動を測定する、車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、現在の車両運動を測定する、車両にインストールされた少なくとも１つの車両運動検出器と、解析および計算モジュールであって、現在の車両運動と現在のＨＭＤデバイス運動との差を識別するために、現在のＨＭＤデバイス運動および現在の車両運動の解析を行い、差に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。

【0023】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、ＨＭＤ画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析を行うことと、１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズに基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。

【0024】

随意に、１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズは、スケール不変特徴変換（ＳＩＦＴ）過程を使用して検出される。

【0025】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、運転者制御領域のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、解析および計算モジュールであって、ＨＭＤ画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析を行い、１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズに基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。

【0026】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法が提供され、該方法は、運転者の制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、および現在のＨＭＤデバイス運動を測定するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサおよび少なくとも１つのＨＭＤデバイス運動検出器を使用することと、景色の車両画像を取り込むために、および現在の車両運動を測定するために、車両に固定された撮像デバイスの少なくとも１つのデバイス画像センサおよび少なくとも１つの車両運動検出器を使用することと、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のマーキング画像を取り込むために、少なくとも１つのＨＭＤ画像センサを使用することと、解析を行うことであって、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差、現在の車両運動と現在のＨＭＤデバイス運動との差、およびマーキング画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行うことと、差および見かけの位置に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。

【0027】

いくつかの本発明の実施形態の一態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムが提供され、該システムは、既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込み、かつ、運転者制御領域のマーキング画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、現在のＨＭＤデバイス運動を測定する、ＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、景色の車両画像を取り込む、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、現在の車両運動を測定する、車両にインストールされた少なくとも１つの車両運動検出器と、解析および計算モジュールであって、解析を行うことであって、景色の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクトの見かけの位置の差、現在の車両運動と現在のＨＭＤデバイス運動との差、およびマーキング画像の中の１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行い、差および見かけの位置に基づいて、車両に対するＨＭＤデバイスの配向を計算し、そして、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールとを備える。

【0028】

いくつかの本発明の実施形態の一態様によれば、立体的画像を取り込む方法が提供され、該方法は、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）画像センサを使用することと、景色の車両画像を取り込むために、車両に固定された基部上に載置された撮像デバイスの少なくとも１つの車両画像センサを使用することと、立体的画像を作成するために、ＨＭＤ画像と車両画像を組み合わせることとを含む。

【0029】

いくつかの本発明の実施形態の一態様によれば、立体的画像を取り込むためのシステムが提供され、該システムは、運転者制御領域、およびフロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、景色の車両画像を取り込む、車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、ＨＭＤ画像と車両画像を組み合わせて立体的画像を作成するための、解析および計算モジュールとを備える。

【0030】

別途定義されない限り、本明細書で使用される全ての技術用語および／または科学用語は、本発明が属する当業者によって一般に理解される意味と同じ意味を有する。本明細書で説明される方法および材料と類似または同等の方法および材料を本発明の実施形態の実践または試験において使用することができるが、例示的な方法および／または材料は、下で説明される。矛盾する場合は、定義を含めて、本特許明細書が優先される。加えて、材料、方法、および実施例は、例示的なものに過ぎず、必ずしも限定することを意図しない。

【0031】

本発明の実施形態の方法および／またはシステムの実現形態は、選択されたタスクを、手動で、自動的に、またはそれらの組み合わせで行うこと、または完了することを含むことができる。さらに、本発明の方法および／またはシステムの実施形態の実際の機器および装置によって、いくつかの選択されたタスクを、オペレーティングシステムを使用して、ハードウェア、ソフトウェア、もしくはハードウェア、またはそれらの組み合わせによって実現することができる。

【0032】

例えば、本発明の実施形態による選択されたタスクを行うためのハードウェアは、チップまたは回路として実現することができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、任意の適切なオペレーティングシステムを使用して、コンピュータによって実行する複数のソフトウェア命令として実現することができる。本発明の例示的な実施形態において、本明細書で説明される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、複数の命令を実行するためのコンピューティングプラットフォーム等の、データプロセッサによって行われる。随意に、データプロセッサは、命令および／もしくはデータを記憶するための揮発性メモリ、ならびに／または命令および／もしくはデータを記憶するための不揮発性記憶装置、例えば、磁気ハードディスクおよび／もしくは取り外し可能媒体を含む。随意に、ネットワーク接続も提供される。ディスプレイおよび／またはキーボードまたはマウス等のユーザ入力デバイスも、随意に提供される。
例えば、本願発明は以下の項目を提供する。
（項目１）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
ＨＭＤ移動データを収集するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、
車両移動データを収集するために、上記車両に固定された少なくとも１つの車載センサを使用することと、
上記ＨＭＤ移動データと上記車両移動データとの差を識別するために、上記ＨＭＤ移動データおよび上記車両移動データの解析を行うことと、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目２）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
ＨＭＤ移動データを収集する、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサと、
車両移動データを収集する、上記車両に固定された少なくとも１つのデバイスセンサと、
解析および計算モジュールであって、
上記ＨＭＤ移動データと上記車両移動データとの差を識別するために、上記ＨＭＤ移動データおよび上記車両移動データの解析を行い、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目３）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
上記景色の車両画像を取り込むために、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、上記ＨＭＤ画像および上記車両画像の解析を行うことと、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目４）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
上記景色の車両画像を取り込む、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
解析および計算モジュールであって、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するために、上記ＨＭＤ画像および上記車両画像の解析を行い、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目５）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器を使用して、現在のＨＭＤデバイス運動を測定することと、
上記車両にインストールされた少なくとも１つの車両運動検出器を使用して、現在の車両運動を測定することと、
上記現在の車両運動と上記現在のＨＭＤデバイス運動との差を識別するために、上記現在のＨＭＤデバイス運動および上記現在の車両運動の解析を行うことと、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目６）
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
上記景色の車両画像を取り込むために、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサを使用することと、をさらに含み、
上記行うことはさらに、上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差を識別するための、上記ＨＭＤ画像および上記車両画像の解析を含み、
上記計算することはまた、上記見かけの位置の差にも基づく、上記項目のいずれか一項に記載の方法。
（項目７）
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することをさらに含み、
上記行うことは、上記ＨＭＤ画像の中の上記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するための、上記ＨＭＤ画像の解析を含み、
上記計算することはまた、上記見かけの位置にも基づく、上記項目のいずれか一項に記載の方法。
（項目８）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
現在のＨＭＤデバイス運動を測定する、車両の運転者によって着用されるＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、
現在の車両運動を測定する、上記車両にインストールされた少なくとも１つの車両運動検出器と、
解析および計算モジュールであって、
上記現在の車両運動と上記現在のＨＭＤデバイス運動との差を識別するために、上記現在のＨＭＤデバイス運動および上記現在の車両運動の解析を行い、
上記差に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目９）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサを使用することと、
上記ＨＭＤ画像の中の上記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、上記ＨＭＤ画像の解析を行うことと、
上記１組のサイズ既知マーカーの各メンバーの上記見かけの位置およびサイズに基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目１０）
上記１組のサイズ既知マーカーの各メンバーの上記見かけの位置およびサイズは、スケール不変特徴変換（ＳＩＦＴ）過程を使用して検出される、上記項目のいずれか一項に記載の方法。
（項目１１）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、
上記運転者制御領域のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
解析および計算モジュールであって、
上記ＨＭＤ画像の中の上記１組のサイズ既知マーカーの各メンバーの見かけの位置およびサイズを識別するために、上記ＨＭＤ画像の解析を行い、
上記１組のサイズ既知マーカーの各メンバーの上記見かけの位置およびサイズに基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目１２）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、
運転者の制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、および現在のＨＭＤデバイス運動を測定するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサおよび少なくとも１つのＨＭＤデバイス運動検出器を使用することと、
上記景色の車両画像を取り込むために、および現在の車両運動を測定するために、上記車両に固定された撮像デバイスの少なくとも１つのデバイス画像センサおよび少なくとも１つの車両運動検出器を使用することと、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域のマーキング画像を取り込むために、上記少なくとも１つのＨＭＤ画像センサを使用することと、
解析を行うことであって、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差、
上記現在の車両運動と上記現在のＨＭＤデバイス運動との差、および
上記マーキング画像の中の上記１組のサイズ既知のマーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行うことと、
上記差および上記見かけの位置に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算することと、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整することと、
を含む、方法。
（項目１３）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向するためのシステムであって、
既知の配設で配設される１組のサイズ既知マーカーを備える運転者制御領域と、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込み、かつ、上記運転者制御領域のマーキング画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
現在のＨＭＤデバイス運動を測定する、上記ＨＭＤデバイスにインストールされた少なくとも１つのＨＭＤデバイス運動検出器と、
上記景色の車両画像を取り込む、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
現在の車両運動を測定する、上記車両にインストールされた少なくとも１つの車両運動検出器と、
解析および計算モジュールであって、
上記景色の中に位置し、上記ＨＭＤ画像および上記車両画像の双方に表されるオブジェクトの見かけの位置の差、上記現在の車両運動と上記現在のＨＭＤデバイス運動との差、および上記マーキング画像の中の上記１組のサイズ既知のマーカーの各メンバーの見かけの位置およびサイズを識別するために、解析を行い、
上記差および上記見かけの位置に基づいて、上記車両に対する上記ＨＭＤデバイスの配向を計算し、そして、
上記配向に基づいて、上記ＨＭＤデバイスのディスプレイ上のデータの提示を調整するための、解析および計算モジュールと、
を備える、システム。
（項目１４）
立体的画像を取り込む方法であって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込むために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）画像センサを使用することと、
上記景色の車両画像を取り込むために、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つの車両画像センサを使用することと、
立体的画像を作成するために、上記ＨＭＤ画像と上記車両画像を組み合わせることと、
を含む、方法。
（項目１５）
立体的画像を取り込むためのシステムであって、
運転者制御領域、およびフロントガラスの一部、ならびに上記フロントガラスの上記一部および上記車両の前方を通して見える景色のＨＭＤ画像を取り込む、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤ画像センサと、
上記景色の車両画像を取り込む、上記車両に固定された基部上に載置された撮像デバイスの少なくとも１つのデバイス画像センサと、
上記ＨＭＤ画像と上記車両画像を組み合わせて立体的画像を作成するための、解析および計算モジュールと、
を備える、システム。
（摘要）
ヘッドマウントディスプレイ（ＨＭＤ）の提示を動的に配向する方法であって、ＨＭＤ移動データを収集するために、車両の運転者によって着用されるＨＭＤにインストールされた少なくとも１つのＨＭＤセンサを使用することと、車両移動データを収集するために、車両に固定された少なくとも１つの車載センサを使用することと、ＨＭＤ移動データと車両移動データとの差を識別するために、ＨＭＤ移動データおよび車両移動データの解析を行うことと、差に基づいて、車両に対するＨＭＤデバイスの配向を計算することと、配向に基づいて、ＨＭＤデバイスのディスプレイ上のデータの提示を調整することとを含む。

【図面の簡単な説明】

【0033】

添付図面を参照しながら、本発明のいくつかの実施形態を単なる例として本明細書で説明する。以下、詳細に図面を具体的に参照すると、示される詳細は、一例であり、本発明の実施形態の実例となる論議を目的とするものであることが強調される。これに関して、図面とともになされる説明は、本発明の実施形態がどのように実践され得るのかを当業者に明らかにする。

【0034】

【図1】本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサに基づいてＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。

【図2】本発明のいくつかの実施形態による、ＨＭＤの提示を動的に配向するためのシステムの概略図である。

【図3】本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいてＨＭＤの提示を動的に配向するためのシステムを使用したときの、車両の例示的な設定の概略図である。

【図4】本発明のいくつかの実施形態による、画像センサを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。

【図5】本発明のいくつかの実施形態による、画像センサを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。

【図6】本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。

【図7】本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的配向するためのシステムの概略図である。

【図8】本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。

【図9】本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。

【図10】本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。

【図11】本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。

【図12】本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込む方法を概略的に表す流れ図である。

【図13】本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込むためのシステムの概略図である。

【発明を実施するための形態】

【0035】

本発明は、そのいくつかの実施形態において、ヘッドマウントディスプレイの配向に関し、より具体的には、これらに限定されないが、車両でのヘッドマウントディスプレイの配向および提示の調整に関する。

【0036】

ユーザが車両を運転しているときに、拡張現実（ＡＲ）オブジェクト等のデータを、ヘッドマウントディスプレイ、ヘルメットマウントディスプレイ（ＨＭＤ）光学ヘッドマウントディスプレイ（ＯＨＭＤ）に提示するとき、提示されるＡＲオブジェクトは、ユーザの頭部の移動および自動車の移動と相関させなければならない。周囲に対するＨＭＤの配向を計算するための標準的な配向方法は、車両に対するＨＭＤの配向が考慮されないので、正確でない場合がある。

【0037】

本発明のいくつかの実施形態によれば、画像センサ（複数可）および／または運動検出器（複数可）等のセンサから収集されるデータを解析して、車両に対するＨＭＤの配向を計算し、そして、その配向に基づいて、提示を調整することによって、車両の運転者によって着用されるＨＭＤの提示をリアルタイムで動的に配向する方法およびシステムが提供される。これは、運転の全体を通して配向が変化するにつれて連続的に行われる。本発明のいくつかの実施形態によれば、配向は、ＨＭＤに位置するセンサからのデータと、ＨＭＤを着用するユーザによって運転される車両に載置されるセンサからのデータとの組み合わせに基づいて計算される。本方法は、ユーザが運転している間の提示を整列させることを可能にし、それぞれがユーザまたは車両の移動データを収集する複数の物理的に分離されたセンサからのデータを考慮することによって、振動、提示の不整列、およびアーチファクトを低減させる。組み合わせは、車両移動の影響を低減させることを可能にし、ユーザに、速度、距離、および方向の指示子等のデータ、アプリケーション情報のオーバーレイ、ラインマーカー、道路を区切るグラフィクス等の景色を高める層のより信頼性のある提示を提示する。

【0038】

本発明のいくつかの実施形態によれば、運転者制御領域、フロントガラスの一部、ならびにフロントガラスの一部および車両の前方を通して見える景色のＨＭＤ画像を取り込むために、ＨＭＤ画像センサが使用される。また、同じ景色の車両画像を取り込むために、車両に載置された撮像デバイスが使用される。次いで、景色の中に位置し、双方の画像に表されるオブジェクトの見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析が行われ、そして、その差に基づいて、配向が計算される。

【0039】

本発明のいくつかの実施形態によれば、現在のＨＭＤデバイス運動は、ＨＭＤデバイスにインストールされた運動検出器を使用して測定され、現在の車両運動は、車両にインストールされた運動検出器を使用して測定される。次いで、現在の車両運動と現在のＨＭＤデバイス運動との差に基づいて、配向が計算される。

【0040】

本発明のいくつかの実施形態によれば、既知の配設で配設された１組のサイズ既知マーカーを備える運転者制御領域のＨＭＤ画像を取り込むために、ＨＭＤ画像センサが使用される。次いで、随意にスケール不変特徴変換（ＳＩＦＴ）過程を使用することによって、ＨＭＤ画像の中の１組のマーカーの各メンバーの見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析が行われ、そして、その見かけの位置およびサイズに基づいて、配向が計算される。

【0041】

本発明のいくつかの実施形態によれば、ＡＲおよび／または他の目的に使用され得る立体的画像を作成するために組み合わせられる、景色のＨＭＤ画像および同じ景色の車両画像。

【0042】

本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その用途において、以下の説明に記載され、ならびに／または図面および／もしくは実施例で示される、構成要素および／もしくは方法の構造および配設の詳細に必ずしも限定されないことを理解されたい。本発明は、他の実施形態に対応することができ、または、様々な方法で実践または実行することができる。

【0043】

本発明は、システム、方法、および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ読み出し可能なプログラム命令をそこに有する、コンピュータ読み出し可能な記憶媒体（複数可）を含み得る。

【0044】

コンピュータ読み出し可能な記憶媒体は、命令実行デバイスによって使用するための命令を保持し、記憶することができる、有形のデバイスとすることができる。コンピュータ読み出し可能な記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の好適な組み合わせであり得るが、それらに限定されない。コンピュータ読み出し可能な記憶媒体のより具体的な例の網羅的でないリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、命令がそこに記録されたパンチカードまたは溝の中の隆起構造体等の機械的にコード化されたデバイス、および上記の任意の好適な組み合わせを含む。コンピュータ読み出し可能な記憶媒体は、本明細書で使用されるとき、電波もしくは他の自由に伝播する電磁波、導波路または他の伝送媒体通って伝播する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、またはワイヤを通って伝送される電気信号等の、それ自体が一時的信号であると解釈するべきではない。

【0045】

本明細書で説明されるコンピュータ読み出し可能なプログラム命令は、コンピュータ読み出し可能な記憶媒体から、それぞれのコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、および／もしくは無線ネットワークを介して、外部コンピュータもしくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバーを含み得る。各コンピューティング／処理デバイスにおけるネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ読み出し可能なプログラム命令を受け取り、該コンピュータ読み出し可能なプログラム命令をそれぞれのコンピューティング／処理デバイス内のコンピュータ読み出し可能な記憶媒体に記憶するために転送する。

【0046】

本発明の動作を実行するためのコンピュータ読み出し可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋもしくはＣ＋＋等のオブジェクト指向プログラミング言語および「Ｃ」プログラミング言語もしくは類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードであり得る。コンピュータ読み出し可能なプログラム命令は、ユーザのコンピュータ上で全体的に、独立型ソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、またはリモートコンピュータもしくはサーバ上で全体的に実行され得る。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通してユーザのコンピュータに接続され得るか、または外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを通して）接続が行われ得る。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む、電子回路は、本発明の態様を行うために、コンピュータ読み出し可能なプログラム命令の状態情報を利用して電気回路をパーソナライズすることによって、コンピュータ読み出し可能なプログラム命令を実行し得る。

【0047】

本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品の流れ図図および／またはブロック図を参照して本明細書で説明される。流れ図図および／またはブロック図の各ブロック、および流れ図図および／またはブロック図におけるブロックの組み合わせは、コンピュータ読み出し可能なプログラム命令によって実現することができることが理解されるであろう。

【0048】

これらのコンピュータ読み出し可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、１つの機械を生成し、よって、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令は、流れ図および／またはブロック図の１つまたは複数のブロックに指定される機能／作用を実現するための手段を形成する。コンピュータ、プログラム可能なデータ処理装置、および／または他のデバイスを特定の様式で機能するよう指示することができる、これらのコンピュータ読み出し可能なプログラム命令も、コンピュータ読み出し可能なプログラム命令に記憶され得、よって、命令がその中に記憶されたコンピュータ読み出し可能な記憶媒体は、流れ図および／またはブロック図の１つまたは複数のブロックに指定された機能／作用の態様を実現する命令を含む、製品を含む。

【0049】

コンピュータ読み出し可能なプログラム命令はまた、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で行わせて、コンピュータで実現される過程が生成され、よって、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令は、流れ図および／またはブロック図の１つまたは複数のブロックに指定された機能／作用を実現し得る。

【0050】

図中の流れ図およびブロック図は、本発明の種々の実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。これに関して、流れ図またはブロック図中の各ブロックは、指定された論理関数（複数可）を実現するための１つ以上の実行可能命令を含む、モジュール、セグメント、または命令の一部分を表し得る。いくつかの代替の実現形態では、ブロック内で言及される関数は、図中で言及される順序以外の順序で起こり得る。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され得、またはブロックは、あるときには、関係する機能に応じて、逆の順序で実行され得る。ブロック図および／または流れ図図の各ブロック、ならびにブロック図および／または流れ図図中のブロックの組み合わせは、指定された機能もしくは作用を行う、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する、専用ハードウェアに基づくシステムによって実現することができることにも留意されたい。

【0051】

以下、図面を参照すると、図１は、本発明のいくつかの実施形態による、ＨＭＤに位置するセンサからのデータと、ＨＭＤを着用するユーザによって運転される車両に載置されたセンサからのデータとの組み合わせに基づいて、ＨＭＤの提示をリアルタイムで動的に配向する方法を概略的に表す流れ図である。また、図２を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて、ＨＭＤの提示を動的に配向するためのシステムの概略図である。また、図３を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤの提示を動的に配向するためのシステムを使用したときの、車両の例示的な設定の概略図である。

【0052】

最初に、１０１で示されるように、車両２０７の運転者２１４によって着用されるＨＭＤデバイス２０１の位置および配向を示唆する情報は、画像センサおよび／または運動検出器等の、ＨＭＤ２０１にインストールされたセンサ（複数可）によって収集される。

【0053】

また、１０２で示されるように、ＨＭＤデバイス２０１を着用する運転者２１４によって運転される車両２０７の位置および配向を示唆する情報は、画像センサおよび／または運動検出器等の、車両２０７に固定されたおよび／または車両２０７に固定された基部２１３に載置された、センサ（複数可）によって収集される。センサは、例えば、車両２０７の車体、スマートフォン等の自動車マウント上に位置付けられるモバイルデバイス、車両２０７のシステムの一部、および／または車両２０７のシステムから運動情報を受信するデバイスに取り付けられ得る。センサは、車両２０７のセクション、運動制御領域２０８に取り付けられ、そこでは、車両２０７の動作の情報が運転者２１４に、例えばダッシュボードに提示される。

【0054】

次いで、１０３および１０４で示されるように、ＨＭＤ２０１にインストールされたセンサ（複数可）によって収集された情報と、車両２０７に固定されたセンサ（複数可）によって収集された情報との差を識別するために、収集された情報に対して、解析および計算モジュール２０５によって解析が行われる。

【0055】

解析および計算モジュール２０５は、コンピュータプログラムであり得る。プログラムは、例えば、ＨＭＤデバイス２０１に、車両２０７のコンピューティングデバイスの一部としてスマートフォンおよび／またはタブレットコンピュータ等のモバイルデバイスに、リモートサーバに、および／または任意の他のデバイスにインストールされ得る。収集された情報は、例えば、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（ＷｉＦｉ（商標））等の無線ローカルエリアネットワーク（ＷＬＡＮ）プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル等の無線パーソナルエリアネットワーク（ＷＰＡＮ）、および／またはセルラーネットワーク等の無線接続によって、ローカルエリアネットワーク（ＬＡＮ）等の有線接続によって、および／または任意の他の接続によって、センサから解析および計算モジュール２０５に転送され得る。

【0056】

次いで、４０４で示されるように、差に基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が解析および計算モジュール２０５によって計算される。計算は、相関および／または変換アルゴリズムを含み得る。

【0057】

最終的に、１０５で示されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。解析および計算モジュール２０５がＨＭＤデバイス２０１にインストールされていないとき、配向は、任意の種類の無線接続によってＨＭＤデバイス２０１に送信され得る。提示されるデータは、ＡＲオブジェクト、視覚情報、書き込まれた情報、および／または任意の他の要素を含み得る。配向の結果として生じる調整は、運転者の頭部の移動ならびに自動車の移動を含む。

【0058】

以下、図４を参照すると、該図は、本発明のいくつかの実施形態による、画像センサを使用したＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図５を参照すると、該図は、本発明のいくつかの実施形態による、画像センサを使用したＨＭＤの提示を動的に配向するためのシステムの概略図である。

【0059】

最初に、４０１で示されるように、運転者制御領域２０８、フロントガラス２０９の一部、ならびにフロントガラス２０９の一部および車両２０７の前方を通して見える景色２１０のＨＭＤ画像を取り込むために、ＨＭＤ２０１にインストールされた、小型カメラ等の、少なくとも１つのＨＭＤ画像センサ２０２が使用される。景色２１０は、車両２０７の前方の道路および任意の他のオブジェクトを含み得る。

【0060】

また、４０２で示されるように、景色２１０の車両画像を取り込むために、車両２０７に固定された基部２１３上に載置された撮像デバイス２０４の少なくとも１つのデバイス画像センサが使用される。撮像デバイス２０４は、例えば、ダッシュボードカメラ、フロントガラス２０９に取り付けられたカメラ、自動車マウント上に位置付けられるモバイルデバイスのカメラ、および／または任意の他のカメラもしくは画像取り込みデバイスであり得る。

【0061】

次いで、４０３で示されるように、景色２１０の中に位置し、ＨＭＤ画像および車両画像の双方に表されるオブジェクト２１２の見かけの位置の差を識別するために、ＨＭＤ画像および車両画像の解析が行われる。オブジェクト２１２は、例えば、車両２０７の前方に位置する縁石、標識、樹木、別の車両、および／または任意の他の静止もしくは移動しているオブジェクトであり得る。オブジェクト２１２の位置は、例えば、随意に特徴を分類するためのサポートベクターマシン（ＳＭＶ）アルゴリズムと組み合わせられる、スケール不変特徴変換（ＳＩＦＴ）過程および／またはＶｉｏｌａ−Ｊｏｎｅｓオブジェクト検出フレームワーク等の、画像の中の局所的な特徴を検出し、説明するように設計されたアルゴリズムを使用することによって検出され得る。

【0062】

次いで、４０４で示されるように、差に基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。これは、オブジェクトの位置に基づいてカメラの相対位置を計算するように設計された、解析および計算モジュール２０５で実現されるアルゴリズムによって行われ得る。アルゴリズムは、例えば、２つの画像の視点間のアフィン変換および／または透視変換であり得る。

【0063】

最後に、４０５で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。

【0064】

以下、図６を参照すると、該図は、本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図７を参照すると、該図は、本発明のいくつかの実施形態による、運動検出器を使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。

【0065】

最初に、６０１で示されるように、ＨＭＤデバイス２０１にインストールされた少なくとも１つのＨＭＤデバイス運動検出器２０３を使用して、現在のＨＭＤデバイス運動が測定される。運動検出器２０３は、例えば、加速度計、ジャイロ、および／またはコンパスであり得る。

【0066】

また、６０２で示されるように、車両２０７にインストールされた少なくとも１つの車両運動検出器２０６を使用して、現在の車両運動が測定される。運動検出器２０６は、例えば、車両２０７の車体に取り付けられた加速度計、自動車マウント上に位置付けられるモバイルデバイス、および／または車両に２０７のシステムから運動情報を受け取るデバイスであり得る。

【0067】

次いで、６０３で示されるように、現在の運動間の差を識別するために、現在のＨＭＤデバイス運動および現在の車両運動の解析が行われる。差は、例えば、ＨＭＤデバイス２０１と車両２０７との間の現在の相対運動を計算するように設計されたアルゴリズムを使用することによって計算され得る。アルゴリズムは、例えば、各次元における相対運動を計算するために、現在の車両運動の各次元成分から、現在のＨＭＤデバイス運動の各次元成分（ｘ，ｙ，ｚ）を減算し得る。

【0068】

次いで、６０４で示されるように、現在のＨＭＤデバイス運動と現在の車両運動との差に基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。計算は、例えば、３次元並進関数を含み得る。

【0069】

最後に、６０５で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。

【0070】

随意に、運動検出器を使用してＨＭＤの提示を動的に配向する方法は、画像センサを使用してＨＭＤの提示を動的に配向する方法に代わるものまたは追加するものである。画像センサおよび運動検出器からのデータは、計算される配向の精度を高めるために、組み合わせられ得るか、または比較され得る。

【0071】

以下、図８を参照すると、該図は、本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図９を参照すると、該図は、本発明のいくつかの実施形態による、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。

【0072】

最初に、８０１で示されるように、既知の配設で配設される１組のサイズ既知マーカー２１１を備える運転者制御領域２０８のＨＭＤ画像を取り込むために、画像センサ２０２が使用される。マーカーは、例えば、画像処理アルゴリズムによって使用可能な、Ｘ字状もしくはＯ字状等の形状、数字、および／または任意の他のマークであり得る。マーカーは、画像センサ２０４で見ることができる運転者制御領域２０８の任意の場所に位置付けられ、配設され得る。

【0073】

次いで、８０２で示されるように、ＨＭＤ画像の中の各マーカー２１１の見かけの位置およびサイズを識別するために、ＨＭＤ画像の解析が行われる。各マーカー２１１の見かけの位置およびサイズは、例えば、ＳＩＦＴ過程のような、画像の中の局所的な特徴を検出し、説明するように設計されたアルゴリズムを使用することによって検出され得る。

【0074】

次いで、８０３で示されるように、各マーカー２１１の見かけの位置およびサイズに基づいて、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。これは、例えば三角測量によって、オブジェクトの位置に基づいてカメラの相対位置を計算するように設計された、解析および計算モジュール２０５で実現されるアルゴリズムによって行われ得る。

【0075】

最後に、８０４で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。

【0076】

随意に、１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法は、運動検出器を使用してＨＭＤの提示を動的に配向する方法および／または画像センサを使用してＨＭＤの提示を動的に配向する方法と組み合わせられ得る。見かけの位置およびサイズマーカー２１１は、計算される配向の精度を高めるために、オブジェクト２１２の見かけの位置のデータおよび／またはＨＭＤデバイス２０１と車両２０７との現在の位置の差のデータとデータと組み合わせられ得るか、または比較され得る。

【0077】

以下、図１０を参照すると、該図は、本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向する方法を概略的に表す流れ図である。また、図１１を参照すると、該図は、本発明のいくつかの実施形態による、画像センサ、運動検出器、および／または１組のサイズ既知マーカーを使用してＨＭＤの提示を動的に配向するためのシステムの概略図である。

【0078】

最初に、１１１〜１１５で示されるように、ＨＭＤ画像および景色２１０の車両画像を取り込むために、および／またはマーカー２１１のマーキング画像を取り込むために、画像センサが使用され、そして、上で説明されるように、現在のＨＭＤデバイス運動および現在の車両運動を測定するために、運動検出器が使用される。画像センサ（複数可）によって取り込まれた情報は、景色２１０の画像だけ、マーカー２１１の画像だけ、または双方の画像を含み得る。

【0079】

次いで、１１６〜１１７で示され、上で説明されるように、オブジェクト２１２の見かけの位置の差、運動間の差、および／または各マーカー２１１の見かけの位置およびサイズの差を識別するために解析が行われ、そして、車両２０７に対するＨＭＤデバイス２０１の配向が計算される。

【0080】

随意に、画像センサによって取り込まれる情報（すなわち、オブジェクト２１２の見かけの位置の差、ならびに各マーカー２１１の見かけの位置および／またはサイズ）は、車両２０７に対するＨＭＤデバイス２０１のより遅い移動、よって、運動検出器によって測定される情報（すなわち、運動間の差）を示す。運動検出器で測定される情報は、高周波、例えば、１キロヘルツの振動を示す。

【0081】

随意に、画像センサによって取り込まれる情報から識別されるより遅い移動は、運動検出器によって測定される情報から識別されるより速い移動と組み合わせられる。

【0082】

随意に、より遅い移動およびより速い移動を解析するためのアルゴリズムを使用することによって、近い将来の移動が予測される。

【0083】

最後に、１１８で示され、上で説明されるように、配向に基づいて、ＨＭＤデバイス２０１のディスプレイ上のデータの提示が調整される。随意に、より遅い移動は、例えば経時的加重平均によって、より速い移動と平均される。これは、経時的に計算された配向の濃煙変化をもたらし得る。

【0084】

以下、図１２を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込む方法を概略的に表す流れ図である。また、図１３を参照すると、該図は、本発明のいくつかの実施形態による、ＨＭＤセンサおよび車両センサからのデータに基づいて立体的画像を取り込むためのシステムの概略図である。

【0085】

最初に、１２１で示され、上で説明されるように、運転者制御領域２０８、フロントガラス２０９の一部、ならびにフロントガラス２０９の一部および車両２０７の前方を通して見える景色２１０のＨＭＤ画像を取り込むために、ＨＭＤ２０１にインストールされた少なくとも１つのＨＭＤ画像センサ２０２が使用される。

【0086】

また、１２２で示され、上で説明されるように、景色２１０の車両画像を取り込むために、車両２０７に固定された基部２１３上に載置された撮像デバイス２０４の少なくとも１つのデバイス画像センサが使用される。

【0087】

次いで、１２３で示されるように、立体的画像２１５を作成するために、ＨＭＤ画像および車両画像が組み合わせられる。ＨＭＤ画像および車両画像は、同じ景色の２つの僅かに異なる視野を描写し、したがって、立体的画像を作成することに対して適合性がある。立体的画像２１５の作成は、解析および計算モジュール２０５で実現されるアルゴリズムによって行われ得る。立体的画像２１５は、ＡＲ提示、運転シミュレーション、および／または任意の他の目的に使用され得る。

【0088】

図中の流れ図およびブロック図は、本発明の種々の実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。これに関して、流れ図またはブロック図中の各ブロックは、指定された論理関数（複数可）を実現するための１つ以上の実行可能命令を含む、モジュール、セグメント、またはコードの一部分を表し得る。いくつかの代替の実現形態では、ブロック内で言及される関数は、図中で言及される順序以外の順序で起こり得ることにも留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行され得、またはブロックは、あるときには、関係する機能に応じて、逆の順序で実行され得る。ブロック図および／または流れ図図の各ブロック、ならびにブロック図および／または流れ図図中のブロックの組み合わせは、指定された機能もしくは作用を行う専用ハードウェアに基づくシステム、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実現することができることにも留意されたい。

【0089】

本発明の種々の実施形態の説明は、例示の目的で提示されたものであり、網羅的であること、または開示される実施形態に限定することを意図しない。説明される実施形態の範囲および趣旨を逸脱することなく、多くの修正例および変形例が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、実際の応用、または市場で見られる技術を超える技術的改善を最も良く説明するように、または他の当業者が本明細書で開示される実施形態を理解することを可能にするように選択されている。

【0090】

本出願から満了までの特許の存続期間中に、数多くの関連するヘッドマウントディスプレイが開発されることが予期され、ヘッドマウントディスプレイという用語の範囲は、全てのそのような新しい技術を先験的に含むことを意図する。

【0091】

「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という用語、およびそれらの同根語は、「含むがそれに限定されない」ことを意味する。この用語は、「〜から成る」および「〜から本質的に成る」という用語を包含する。

【0092】

「〜から本質的に成る」という慣用句は、組成または方法が追加的な原料および／またはステップを含み得ることを意味するが、この追加的が原料および／またはステップが特許請求の範囲に記載される組成または方法の基本的および新規な特徴を物質的に変化させない場合に限る。

【0093】

本明細書で使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、別途文脈が明確に指示しない限り、複数の指示対象を含む。例えば、「１つの化合物」または「少なくとも１つの化合物」という用語は、その混合物を含む、複数の化合物を含み得る。

【0094】

「例示的な」という用語は、本明細書において、例、事例、または例示としての役割を果たすために使用される。「例示的な」ものとして説明される任意の実施形態は、必ずしも、他の実施形態を超えて好ましいもしくは有益なものとして解釈されるものではなく、および／または他の実施形態からの特徴の組み込みを除外するものではない。

【0095】

「随意に」という用語は、「幾つかの実施形態においては提供され、別の実施形態においては提供されない」ことを意味するように本明細書で使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り、複数の「随意の」特徴を含み得る。

【0096】

本出願の全体を通して、本発明の種々の実施形態は、範囲形式で提示され得る。範囲形式での説明は、単に便宜および簡潔さのためのものであり、本発明の範囲に対する柔軟性のない限定として解釈されるべきではないことを理解されたい。故に、範囲の説明は、全ての可能な部分範囲ならびにその範囲内の個々の数値を具体的に開示したものとみなされるべきである。例えば、１〜６等の範囲の説明は、１〜３、１〜４、１〜５、２〜４、２〜６、３〜６等の部分範囲、ならびにその範囲内の個々の数字、例えば、１、２、３、４、５、および６を具体的に開示したものとみなされるべきである。これは、範囲の幅とは無関係に適用される。

【0097】

数の範囲が本明細書で示されるときはいつでも、示される範囲内の任意の列記された数（端数または整数）を含むことを意味する。第１の指示数と第２の指示数との「間の範囲」、および第１の指示数「〜」第２の指示数「の範囲」という慣用句は、本明細書で同じ意味で使用され、また、第１および第２の指示数ならびに全てのそれらの間の端数および整数を含むことを意味する。

【0098】

本発明のある特徴は、明確にするために、別々の実施形態の文脈で説明されるが、単一の実施形態の組み合わせでも提供され得ることを認識されたい。逆に、本発明の種々の特徴は、明確にするために、単一の実施形態の文脈で説明されるが、別々もしくは任意の適切な部分的組み合わせでも、または適切であれば、本発明の任意の他の説明される実施形態においても提供され得る。種々の実施形態の文脈で説明されるある特徴は、実施形態がそのような要素がなければ動作不能である場合を除いて、それらの実施形態の本質的特徴とみなすべきではない。

【0099】

本発明は、その特定の実施形態と併せて説明されているが、多くの代替物、修正物、および変形物が当業者に明らかになることは明白である。故に、添付の特許請求の範囲の趣旨および広範囲に含まれる全てのそのような代替物、修正物、および変形物を包含することを意図する。

【0100】

本明細書で言及される全ての刊行物、特許、および特許出願は、あたかも個々の刊行物、特許、または特許出願が、参照により本明細書に組み込まれているように具体的および個別に示されるごとき程度で、その全体が参照により本明細書に組み込まれる。加えて、本出願における任意の参考文献の引用または確認は、そのような参考文献が本発明に対する先行技術として利用可能であることを認めるものとして解釈するべきではない。項の見出しが使用される範囲において、そのような見出しは、必ずしも限定するものとして解釈するべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】