特表 2023-542668 位置決め追跡方法及びプラットフォーム、ヘッドマウントディスプレイシステム、及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-11

(54)【発明の名称】位置決め追跡方法及びプラットフォーム、ヘッドマウントディスプレイシステム、及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06T 7/70 20170101AFI20231003BHJP

   G06T 7/00 20170101ALI20231003BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023517394

(86)(22)【出願日】2021-08-24

(85)【翻訳文提出日】2023-05-10

(86)【国際出願番号】 CN2021114364

(87)【国際公開番号】W WO2022057579

(87)【国際公開日】2022-03-24

(31)【優先権主張番号】202010974857.9

(32)【優先日】2020-09-16

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】522013832

【氏名又は名称】青▲島▼小▲鳥▼看看科技有限公司

【氏名又は名称原語表記】Ｑｉｎｇｄａｏ Ｐｉｃｏ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】４／Ｆ， Ｂｕｉｌｄｉｎｇ ３， Ｑｉｎｇｄａｏ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｂｅｉｈａｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｎｏ． ３９３， Ｓｏｎｇｌｉｎｇ Ｒｏａｄ， Ｌａｏｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｑｉｎｇｄａｏ， Ｓｈａｎｄｏｎｇ Ｐｒｏｖｉｎｃｅ， Ｐ． Ｒ． Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ウー，タオ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096FA67

5L096FA69

5L096HA05

5L096HA11

(57)【要約】

本開示の実施例は、位置決め追跡方法、位置決め追跡プラットフォーム、ヘッドマウントディスプレイシステム、及びコンピュータ読み取り可能な記憶媒体を提供する。当該方法は、ヘッドマウントディスプレイデバイスに設置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像、予め設定された第２の露光時間で収集された、少なくとも前記ヘッドマウントディスプレイデバイスに通信接続されたハンドルに配置された複数の発光体のそれぞれに対応する光スポットを含む偶数フレーム画像を取得すること（Ｓ２０１）と、前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定すること（Ｓ２０２）と、前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定すること（Ｓ２０３）とを含む。

【特許請求の範囲】

【請求項1】

位置決め追跡の方法であって、
ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得することと、ただし、前記偶数フレーム画像は、少なくとも前記ヘッドマウントディスプレイデバイスに通信接続されたハンドルに配置された複数の発光体のそれぞれに対応する光スポットを含み、
前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定することと、
前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することとを含む、位置決め追跡の方法。

【請求項2】

前記第２の露光時間は、前記第１の露光時間より短い、請求項１に記載の方法。

【請求項3】

前記第１の露光時間は、外部環境光の強度に応じて適応的に調整される、請求項１に記載の方法。

【請求項4】

前記ヘッドマウントディスプレイデバイスに少なくとも２つの追跡カメラが配置され、各追跡カメラは露光時間の中心点が同じである、請求項１に記載の方法。

【請求項5】

ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得することは、
前記少なくとも２つの追跡カメラによって、予め設定された第１の露光時間で各追跡カメラにそれぞれ対応する複数の奇数フレーム画像を収集することと、前記少なくとも２つの追跡カメラによって、予め設定された第２の所定の露光時間で各追跡カメラにそれぞれ対応する複数の偶数フレーム画像を取得することとを含む、請求項４に記載の方法。

【請求項6】

ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第２の露光時間で偶数フレーム画像を収集する際に、前記ハンドルにおける発光体を予め設定された点灯時間で点灯させるように制御することをさらに含み、ただし、前記第２の露光時間の中間時刻が前記点灯時間の中間時刻と対応している、請求項１に記載の方法。

【請求項7】

前記点灯時間は、前記第２の露光時間以上である、請求項６に記載の方法。

【請求項8】

前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定することは、
前記奇数フレーム画像における空間構造情報に基づいて、同時位置決め及びマッピングＳＬＡＭアルゴリズムを用いて演算を行い、前記ヘッドマウントディスプレイデバイスの移動自由度を取得することと、
前記ヘッドマウントディスプレイデバイスに組み込まれた第１の慣性測定ユニットによって収集された前記ヘッドマウントディスプレイデバイスの前記姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの回転自由度を取得することと、
前記移動自由度と前記回転自由度を用いて、前記ヘッドマウントディスプレイデバイスの前記自由度情報を決定することと、を含む、請求項１に記載の方法。

【請求項9】

前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定した後に、さらに、
前記ヘッドマウントディスプレイデバイスの前記姿勢情報と結合して、前記ヘッドマウントディスプレイデバイスの前記自由度情報に対してプリインテグレーションを行い、前記ヘッドマウントディスプレイデバイスの高周波数の自由度情報を取得することを含む、請求項１または請求項８に記載の方法。

【請求項10】

前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することは、
前記偶数フレーム画像に対して光スポット検出を行い、前記偶数フレーム画像における全ての光スポットの位置情報を決定することと、
前記偶数フレーム画像における全ての光スポットの位置情報に基づいて、前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標を決定することと、
前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することとを含む、請求項１に記載の方法。

【請求項11】

前記偶数フレーム画像に対して光スポット検出を行い、前記偶数フレーム画像における全ての光スポットの位置情報を決定することは、
前記追跡カメラによって収集された各偶数フレーム画像に対して光スポット検出を行って、各偶数フレーム画像における、少なくとも４つの光スポットの位置情報を含む全ての光スポットの位置情報を決定することと、
前記偶数フレーム画像における各光スポットの分布規則に基づいて、前記偶数フレーム画像における光スポットと前記ハンドルにおける発光体との対応関係を決定することと、
ハンドルにおける発光体に対応する光スポットの２次元座標を用いて、対応しているハンドルにおける発光体の３次元座標を決定することとを含む、請求項１０に記載の方法。

【請求項12】

前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することは、
前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標に基づいてハンドルの移動自由度を決定することと、
前記ハンドルの姿勢情報に基づいて前記ハンドルの回転自由度を決定することと、
前記移動自由度及び前記回転自由度に基づいて前記ハンドルの自由度情報を決定することと、
前記ヘッドマウントディスプレイデバイスの自由度情報に基づいて、前記ハンドルの自由度情報に対して座標変換を行うこととを含む、請求項１０に記載の方法。

【請求項13】

前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定した後に、さらに、
前記ハンドルの姿勢情報と結合して、前記ハンドルの自由度情報に対してプリインテグレーションを行い、前記ハンドルの高周波数の自由度情報を取得することを含む、請求項１０または請求項１２に記載の方法。

【請求項14】

前記奇数フレーム画像は、少なくとも手を含み、
前記方法は、前記奇数フレーム画像に基づいて手の自由度情報を決定することをさらに含む、請求項１に記載の方法。

【請求項15】

前記奇数フレーム画像に基づいて手の自由度情報を決定することは、
前記奇数フレーム画像を所定の畳み込みニューラルネットワークモデルに入力し、手の複数のキーポイントの位置を取得することと、
手の複数のキーポイントの位置に基づいて手の自由度情報を決定することとを含む、請求項１４に記載の方法。

【請求項16】

所定の畳み込みニューラルネットワークモデルを訓練するステップをさらに含み、
前記所定の畳み込みニューラルネットワークモデルを訓練するステップは、
手を含む複数のシーン画像を収集することと、
前記シーン画像における手の複数のキーポイントの位置にマークを付け、マークを付けた画像を画像訓練サンプルセットとすることと、
前記画像訓練サンプルセットに基づいて前記畳み込みニューラルネットワークモデルを訓練することとを含む、請求項１５に記載の方法。

【請求項17】

位置決め追跡プラットフォームであって、
ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された、少なくとも前記ヘッドマウントディスプレイデバイスに通信接続されたハンドルに配置された複数の発光体のそれぞれに対応する光スポットを含む偶数フレーム画像とを取得するように配置された画像取得モジュールと、
前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定し、前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定するように配置された位置決め追跡モジュールと、を含み、
または、
プロセッサと、前記プロセッサによって実行されると、請求項１～８のいずれか一項に記載の方法を実行させるコンピュータコマンドが記憶されたメモリとを含む、位置決め追跡プラットフォーム。

【請求項18】

ヘッドマウントディスプレイシステムであって、
少なくとも２つの追跡カメラが配置されたヘッドマウントディスプレイデバイスと、前記ヘッドマウントディスプレイデバイスに接続された、複数の発光体が配置されたハンドルと、位置決め追跡プラットフォームとを含む、ヘッドマウントディスプレイシステム。

【請求項19】

前記ヘッドマウントディスプレイデバイスに配置された各追跡カメラの露光時間の中心点は同じである、請求項１８に記載のシステム。

【請求項20】

前記ヘッドマウントディスプレイデバイスに４つの追跡カメラが配置されており、前記４つの追跡カメラは、各追跡カメラが前記ヘッドマウントディスプレイデバイスの視野角要件を満たすことを保証するように、所定の第１の位置制約ルールに従って前記ヘッドマウントディスプレイデバイス内に配置されている、請求項１８に記載のシステム。

【請求項21】

前記ハンドルに配置された複数の発光体は所定の第２の位置制約ルールに従って配置されており、前記所定の第２の位置制約ルールは、前記ハンドルから予め設定された距離範囲内で前記追跡カメラによって収集された画像における局所的パターン情報の重なり合い又は接着が発生せず、かつ前記追跡カメラによって任意の角度で収集された画像にいずれも少なくとも４つの発光体の対応する光スポットが現れるという条件を満たす、請求項１８に記載のシステム。

【請求項22】

プロセッサによって実行されると、請求項１～１６のいずれか一項に記載の方法を実現させるコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０２０年０９月１６日に中国国家知的財産局へ提出された、出願番号が２０２０１０９７４８５７．９であり、開示名称が「位置決め追跡方法及びプラットフォーム、及びヘッドマウントディスプレイシステム」である中国特許出願の優先権を主張し、その全体の内容が引用により本出願に組み込まれる。。

【技術分野】

【0002】

本開示の実施例は、ビデオ処理技術の分野に関し、より具体的には、位置決め追跡方法、位置決め追跡プラットフォーム、ヘッドマウントディスプレイシステム、及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0003】

位置決め技術は、仮想現実、拡張現実、混合現実などの分野で広く応用され、マンマシンインタラクションの重要な構成要素である。

【0004】

現在、ハンドルの追跡を行う場合、通常、ハンドルの位置決め追跡を行うために、ハンドルに電磁センサ又は超音波センサを設ける必要がある。素手追跡を行う場合、赤外線カメラや深度カメラをヘッドマウントディスプレイデバイスに追加する必要がある。これにより、同一のカメラでヘッドマウントディスプレイデバイス、ハンドル、素手の位置決め追跡を行うことができず、使用の過程で消費電力が大きく、安定性が悪く、コストが高くなるという問題がある。

【0005】

したがって、ヘッドマウントディスプレイデバイスとハンドルとの同期追跡を可能にする位置決め追跡方式を提供することが必要である。

【発明の概要】

【0006】

本開示の実施例は、ヘッドマウントディスプレイデバイス及びハンドルを同期に追跡するための技術案を提供することを目的とする。

【0007】

本開示の実施例の第1の局面によれば、
ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得することと、ただし、前記偶数フレーム画像は、少なくとも前記ヘッドマウントディスプレイデバイスに通信接続されたハンドルに配置された複数の発光体のそれぞれに対応する光スポットを含み、
前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定することと、
前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することとを含む、位置決め追跡方法を提供する。

【0008】

少なくとも１つの例示的実施例において、前記第２の露光時間は、前記第１の露光時間より短い。

【0009】

少なくとも１つの例示的実施例において、前記第１の露光時間は、外部環境光の強度に応じて適応的に調整される。

【0010】

少なくとも１つの例示的実施例において、前記ヘッドマウントディスプレイデバイスに少なくとも２つの追跡カメラが配置され、各追跡カメラは露光時間の中心点が同じである。

【0011】

少なくとも１つの例示的実施例において、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得することは、
前記少なくとも２つの追跡カメラによって、予め設定された第１の露光時間で各追跡カメラにそれぞれ対応する複数の奇数フレーム画像を収集することと、前記少なくとも２つの追跡カメラによって、予め設定された第２の所定の露光時間で各追跡カメラにそれぞれ対応する複数の偶数フレーム画像を取得することとを含む。

【0012】

少なくとも１つの例示的実施例において、前記方法は、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第２の露光時間で偶数フレーム画像を収集する際に、前記ハンドルにおける発光体を予め設定された点灯時間で点灯させるように制御することをさらに含み、ただし、前記第２の露光時間の中間時刻が前記点灯時間の中間時刻と対応する。

【0013】

少なくとも１つの例示的実施例において、前記点灯時間は、前記第２の露光時間以上である。

【0014】

少なくとも１つの例示的実施例において、前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定することは、
前記奇数フレーム画像における空間構造情報に基づいて、同時位置決め及びマッピングＳＬＡＭアルゴリズムを用いて演算を行い、前記ヘッドマウントディスプレイデバイスの移動自由度を取得することと、
前記ヘッドマウントディスプレイデバイスに組み込まれた第１の慣性測定ユニットによって収集された前記ヘッドマウントディスプレイデバイスの前記姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの回転自由度を取得することと、
前記移動自由度と前記回転自由度を用いて、前記ヘッドマウントディスプレイデバイスの前記自由度情報を決定することと、を含む。

【0015】

前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定した後に、さらに、
前記ヘッドマウントディスプレイデバイスの前記姿勢情報と結合して、前記ヘッドマウントディスプレイデバイスの前記自由度情報に対してプリインテグレーションを行い、前記ヘッドマウントディスプレイデバイスの高周波数の自由度情報を取得することを含む。

【0016】

少なくとも１つの例示的実施例において、前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することは、
前記偶数フレーム画像に対して光スポット検出を行い、前記偶数フレーム画像における全ての光スポットの位置情報を決定することと、
前記偶数フレーム画像における全ての光スポットの位置情報に基づいて、前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標を決定することと、
前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することとを含む。

【0017】

少なくとも１つの例示的実施例において、前記偶数フレーム画像に対して光スポット検出を行い、前記偶数フレーム画像における全ての光スポットの位置情報を決定することは、
前記追跡カメラによって収集された各偶数フレーム画像に対して光スポット検出を行って、各偶数フレーム画像における、少なくとも４つの光スポットの位置情報を含む全ての光スポットの位置情報を決定することと、
前記偶数フレーム画像における各光スポットの分布規則に基づいて、前記偶数フレーム画像における光スポットと前記ハンドルにおける発光体との対応関係を決定することと、
ハンドルにおける発光体に対応する光スポットの２次元座標を用いて、対応しているハンドルにおける発光体の３次元座標を決定することとを含む。

【0018】

少なくとも１つの例示的実施例において、前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定することは、
前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標に基づいてハンドルの移動自由度を決定することと、
前記ハンドルの姿勢情報に基づいて前記ハンドルの回転自由度を決定することと、
前記移動自由度及び前記回転自由度に基づいて前記ハンドルの自由度情報を決定することと、
前記ヘッドマウントディスプレイデバイスの自由度情報に基づいて、前記ハンドルの自由度情報に対して座標変換を行うこととを含む。

【0019】

少なくとも１つの例示的実施例において、前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定した後に、さらに、
前記ハンドルの姿勢情報と結合して、前記ハンドルの自由度情報に対してプリインテグレーションを行い、前記ハンドルの高周波数の自由度情報を取得することを含む。

【0020】

少なくとも１つの例示的実施例において、前記奇数フレーム画像は、少なくとも手を含み、前記方法は、
前記奇数フレーム画像に基づいて手の自由度情報を決定することをさらに含む。

【0021】

少なくとも１つの例示的実施例において、前記奇数フレーム画像に基づいて手の自由度情報を決定することは、
前記奇数フレーム画像を所定の畳み込みニューラルネットワークモデルに入力し、手の複数のキーポイントの位置を取得することと、
手の複数のキーポイントの位置に基づいて手の自由度情報を決定することとを含む。

【0022】

少なくとも１つの例示的実施例において、前記方法は、所定の畳み込みニューラルネットワークモデルを訓練するステップをさらに含み、
前記所定の畳み込みニューラルネットワークモデルを訓練するステップは、
手を含む複数のシーン画像を収集することと、
前記シーン画像における手の複数のキーポイントの位置にマークを付け、マークを付けた画像を画像訓練サンプルセットとすることと、
前記画像訓練サンプルセットに基づいて前記畳み込みニューラルネットワークモデルを訓練することとを含む。

【0023】

本開示の実施例の第２の局面によれば、
ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された、少なくとも前記ヘッドマウントディスプレイデバイスに通信接続されたハンドルに配置された複数の発光体のそれぞれに対応する光スポットを含む偶数フレーム画像とを取得するように配置された画像取得モジュールと、
前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定し、前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定するように配置された位置決め追跡モジュールとを含み、
または、
プロセッサと、前記プロセッサによって実行されると、本開示の実施例の第１の局面のいずれか一項に記載の方法を実行させるコンピュータコマンドが記憶されたメモリとを含む、
位置決め追跡プラットフォームを提供する。

【0024】

本開示の実施例の第３の局面によれば、
少なくとも２つの追跡カメラが配置されたヘッドマウントディスプレイデバイスと、前記ヘッドマウントディスプレイデバイスに接続された、複数の発光体が配置されたハンドルと、位置決め追跡プラットフォームとを含む、ヘッドマウントディスプレイシステムを提供する。

【0025】

少なくとも１つの例示的実施例において、前記ヘッドマウントディスプレイデバイスに配置された各追跡カメラの露光時間の中心点は同じである。

【0026】

少なくとも１つの例示的実施例において、前記ヘッドマウントディスプレイデバイスに４つの追跡カメラが配置され、前記４つの追跡カメラは、各追跡カメラが前記ヘッドマウントディスプレイデバイスの視野角要件を満たすことを保証するように、所定の第１の位置制約ルールに従って前記ヘッドマウントディスプレイデバイス内に配置される。

【0027】

少なくとも１つの例示的実施例において、前記ハンドルに配置された複数の発光体は所定の第２の位置制約ルールに従って配置され、前記所定の第２の位置制約ルールは、前記ハンドルから予め設定された距離範囲内で前記追跡カメラによって収集された画像における局所的パターン情報の重なり合い又は接着が発生せず、かつ前記追跡カメラによって任意の角度で収集された画像にいずれも少なくとも４つの発光体の対応する光スポットが現れるという条件を満たす。

【0028】

本開示の実施例の第４の局面によれば、プロセッサによって実行されると、前記方法の実施例及び例示的実施例のいずれか一項に記載の方法を実現させるコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を提供する。

【0029】

本開示の実施例によれば、ヘッドマウントディスプレイデバイスに設置された追跡カメラによって予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像を取得し、奇数フレーム画像及びヘッドマウントディスプレイデバイスの姿勢情報に基づいて、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、偶数フレーム画像及びハンドルの姿勢情報に基づいて、ハンドルの６ＤｏＦ情報を決定することによって、ハードウェアを追加する必要がなく、同一のハードウェアによってヘッドマウントディスプレイ及びハンドルに対する同期追跡を実現することで、ヘッドマウントディスプレイデバイスの消費電力を低減し、ユーザ体験を良くする。

【0030】

本開示の他の特徴や利点は、添付の図面に基づく後述する本開示の例示的実施例に対する詳細な説明によってより明らかになる。

【図面の簡単な説明】

【0031】

本開示の実施例の技術案をより明瞭的に説明するために、以下、実施例で使用する必要が図面を簡単に紹介する。なお、以下の図面は、本開示のいくつかの実施例のみを示しているので、範囲の限定とみなすものではない。当業者であれば、創造的な労力を払うことなく、これらの図面基づいて他の関連する図面を得ることができる。

【図1】図１は、本開示の実施例を実現するために用いられるヘッドマウントディスプレイシステムのハードウェア構成図である。

【図2】図２は本開示の実施例の位置決め追跡方法のフローチャートである。

【図3】図３は本開示の実施例のハンドルの概略図である。

【図4】図４は本開示の実施例の位置決め追跡プラットフォームの構造ブロック図である。

【図5】図５は本開示の実施例の位置決め追跡プラットフォームの構造ブロック図である。

【発明を実施するための形態】

【0032】

以下、本開示の例示的実施例各々について、図面を参照して詳細に説明する。ただし、特に断らない限り、これらの実施例に記載される部品およびステップの相対配置、数字的な表現式、および数値は、本開示の範囲を限定しない。

【0033】

以下の、少なくとも１つの例示的実施例に対する説明は、実質的に単なる例示であり、本開示及びその適用または使用に対するいかなる制限としない。

【0034】

当業者に知られている技術、方法、および装置は、詳細に説明されない場合があるが、適切な場合に、前記技術、方法、および設備は本明細書の一部として見なされる。

【0035】

ここで図示及び説明される全ての例において、具体的な値は、いずれも単なる例示として解釈すべき、限定的なものとしない。従って、例示的実施例の他の例は、異なる値を有してもよい。

【0036】

なお、以下の図面において類似した符号および字母は類似な項目を表しているので、一旦、ある項目が１つの図面で定義されると、以降の図面でそれに対する更なる説明を要しない。

【0037】

＜ハードウェア構成＞
図１は、本開示の実施例にかかるヘッドマウントディスプレイシステム１００のハードウェア構成を示すブロック図である。

【0038】

図１に示すように、ヘッドマウントディスプレイデバイス１００は、ヘッドマウントディスプレイデバイス１０００、ハンドル２０００、及び位置決め追跡プラットフォーム３０００を有する。位置決め追跡プラットフォーム３０００は、ヘッドマウントディスプレイデバイス１０００及びハンドル２０００に対して位置決め追跡を可能にするために、ヘッドマウントディスプレイデバイス１０００及びハンドル２０００とそれぞれ通信接続されている。

【0039】

ヘッドマウントディスプレイデバイス１０００は、例えば、ＶＲ（仮想現実、Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）設備、ＡＲ（拡張現実、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）設備、ＭＲ（混合現実、Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）設備等であってもよい。

【0040】

１つの実施例において、ヘッドマウントディスプレイデバイス１０００は、図１に示すように、プロセッサ１１００、メモリ１２００、インターフェース装置１３００、通信装置１４００、ディスプレイ装置１５００、入力装置１６００、オーディオ装置１７００、慣性測定ユニット１８００、追跡カメラ１９００などを含んでもよい。

【0041】

ここで、プロセッサ１１００は、例えば、中央プロセッサＣＰＵ、マイクロプロセッサＭＣＵなどであってもよい。メモリ１２００は、例えば、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ハードディスクという不揮発性メモリなどを含む。インタフェース装置１３００は、例えば、シリアルバスインタフェース（ＵＳＢインタフェースを含む）、パラレルバスインタフェース、高解像度マルチメディアインタフェースＨＤＭＩ（登録商標）インタフェース等を含む。通信装置１４００は、例えば、有線または無線通信が可能である。ディスプレイ装置１５００は、例えば、液晶ディスプレイ、ＬＥＤディスプレイ、タッチパネルディスプレイ等である。入力装置１６００は、例えば、タッチパネル、体感入力装置等を含む。オーディオ装置１７００は音声情報を入出力するように配置されてもよい。慣性測定ユニット１８００は、ヘッドマウントディスプレイデバイス１０００の姿勢変化を測定するように配置されてもよい。追跡カメラ１９００は、画像情報を取得するように配置されてもよい。追跡カメラ１９００は少なくとも２つ配置されてもよい。

【0042】

１つの実施例において、追跡カメラ１９００としては、大画角追跡カメラを選択してもよく、例えば、追跡カメラ１９００の水平視野角（ＦＯＶ）は１００°～１６０°、垂直視野角は８０°～１２０°、深度視野角は１３０°～１６０°であり、追跡カメラのフレームレートは６０Ｈｚより大きく、追跡カメラの解像度はＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）または７２０Ｐであり、追跡カメラはＧｌｏｂａｌ Ｓｈｕｔｔｅｒ（グローバルシャッター）の露光方式を採用し、追跡カメラは可視光の波長帯域と赤外光の波長帯域を通過させることができる。例えば、追跡カメラの型番はＯＶ７２５１又はＯＶ９２８２である。

【0043】

図１にヘッドマウントディスプレイデバイス１００に関して複数の装置が示されているが、本開示は、それらの装置の一部にのみに関連してもよい。

【0044】

１つの実施例において、ハンドル２０００は、図１に示すように、プロセッサ２１００、メモリ２２００、インターフェース装置２３００、通信装置２４００、慣性測定ユニット２５００、発光体２６００などを含んでもよい。

【0045】

ここで、プロセッサ２１００は、例えば、中央プロセッサＣＰＵ、マイクロプロセッサＭＣＵなどであってもよい。メモリ２２００は、例えば、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ハードディスクという不揮発性メモリなどを含む。インターフェース装置２３００は、例えば、シリアルバスインターフェース（ＵＳＢインターフェースを含む）、パラレルバスインターフェース、高解像度マルチメディアインターフェースＨＤＭＩ（登録商標）インターフェース等を含む。通信装置２４００は、例えば、有線または無線通信が可能である。慣性測定ユニット２５００は、ヘッドマウントディスプレイデバイス１０００の姿勢変化を測定するように配置されてもよい。発光体２６００は、ハンドルを識別するために複数配置されてもよい。発光体２６００は、例えば、ＬＥＤランプ等の可視光光源又は赤外光光源であってよい。図１では、ハンドル２０００に関して複数の装置が示されているが、本開示は、それらの装置の一部のみに関連してもよい。

【0046】

位置決め追跡プラットフォーム３０００は、例えば、モバイル端末であってもよい。１つの実施例において、位置決め追跡プラットフォーム３０００は、図１に示すように、プロセッサ３１００、メモリ３２００、インターフェース装置３３００、通信装置３４００、ディスプレイ装置３５００、入力装置３６００を含む。プロセッサ３１００は性能要求を満たすデスクトッププロセッサ、移動版プロセッサなどでもよく、ここでは限定しない。メモリ３２００は、例えば、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ハードディスクという不揮発性メモリなどを含む。インターフェース機器３３００は、例えば、シリアルバスインターフェース（ＵＳＢインターフェースを含む）、パラレルバスインターフェース、高解像度マルチメディアインターフェースＨＤＭＩ（登録商標）インターフェース等の各種バスインターフェースを含む。通信装置３４００は、例えば有線または無線通信が可能である。ディスプレイ装置３５００は、例えば、液晶ディスプレイ、ＬＥＤディスプレイ、タッチパネルディスプレイ等である。入力装置３６００は、例えば、タッチパネル、キーボード等を含んでもよい。他の実施例では、位置決め追跡プラットフォーム３０００は、スピーカ、マイクロフォン等を更に含んでもよく、ここで限定しない。図１に位置決め追跡プラットフォーム３０００に関して複数の装置が示されているが、本開示は、それらの装置の一部のみに関連してもよく、例えば、位置決め追跡プラットフォーム３０００は、メモリ３２００及びプロセッサ３１００のみに関連してもよい。

【0047】

１つの実施例において、位置決め追跡プラットフォーム３０００のメモリ３２００は、対応するステップを実行するようにプロセッサ３１００を制御することにより、本実施例の位置決め追跡方法のための関連サポートを提供するコマンドを記憶するように配置される。

【0048】

なお、図１では、１つのヘッドマウントディスプレイデバイス１０００、１つのハンドル２０００及び位置決め追跡プラットフォーム３０００のみを示しているが、それぞれの数を限定することを意図せず、ヘッドマウントディスプレイシステム１００は、複数のヘッドマウントディスプレイデバイス１０００、複数のハンドル２０００、及び複数の位置決め追跡プラットフォーム３０００を含んでもよい。

【0049】

上記の説明において、当業者は、本開示によって提供される解決策に従ってコマンドを設計することができる。コマンドがどのようにプロセッサを制御して動作させるかは、当技術分野で周知であるため、ここでは詳述しない。

【0050】

図１に示されるヘッドマウントディスプレイシステムは、例示的なものに過ぎず、本開示、及びその応用又は用途を限定することを意図するものではない。

【0051】

＜方法の実施例＞
図２を参照して本開示の実施例にかかる位置決め追跡方法について説明する。本方法は、ヘッドマウントディスプレイデバイス及びハンドルにそれぞれ接続された位置決め追跡プラットフォームに適用される。当該位置決め追跡方法は、以下のステップＳ２０１～Ｓ２０３を含む。

【0052】

Ｓ２０１では、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像を取得し、ただし、偶数フレーム画像は、少なくともヘッドマウントディスプレイデバイスと通信接続されたハンドルに配置された複数の発光体にそれぞれ対応する光スポットを含む。

【0053】

本開示の実施例において、ヘッドマウントディスプレイデバイスに、画像を収集するための少なくとも２つの追跡カメラが配置される。１つの実施例において、追跡カメラは、異なる露光時間で画像を収集してもよく、例えば、予め設定された第１の露光時間で奇数フレームの画像を収集し、予め設定された第２の露光時間で偶数フレームの画像を収集してもよい。ただし、少なくとも２つの追跡カメラが同じ時刻で収集され、すなわち、各追跡カメラの露光時間の中心点が同じである。

【0054】

より具体的な例では、ヘッドマウントディスプレイデバイスに４つの追跡カメラが配置され、各追跡カメラがヘッドマウントディスプレイデバイスの視野角要件を満たすことを保証するように、４つの追跡カメラが所定の第１の位置制約ルールに従って前記ヘッドマウントディスプレイデバイス内に配置される。本開示の実施例によれば、４つの追跡カメラによって収集された画像に基づいて、ヘッドマウントディスプレイデバイス及びハンドルに対して位置決め追跡を行うことにより、ロバスト性を向上させ、位置決め追跡の精度を向上させることができる。

【0055】

図３に示すように、ハンドル２０００に複数の発光体２６００が配置され、複数の発光体は所定の第２位置制約規則に従って配置されることで、追跡カメラがハンドルに近い時に収集された画像における局所的なパターン情報の重なり合い又は接着を回避することができ、かつ追跡カメラが任意の角度で収集された画像のいずれにも少なくとも４つの発光体に対応する光スポットが現れることを保証でき、収集された画像に基づいてハンドルを位置決めすることができる。具体的な一例では、複数の発光体は同一平面に位置しない。より具体的な一例では、発光体は１７個または２４個配置される。発光体は、例えば、可視光光源又は赤外光光源、例えばＬＥＤランプであってもよい。

【0056】

以上説明したヘッドマウントディスプレイデバイス及びハンドルによれば、本開示の実施例によって提供される位置決め追跡方法は、少なくとも２つの追跡カメラによって収集された画像とヘッドマウントディスプレイデバイスの姿勢情報とに基づいてヘッドマウントディスプレイデバイスの自由度情報を決定することもでき、少なくとも２つの追跡カメラによって収集された画像とハンドルの姿勢情報とに基づいてハンドルの自由度情報を決定することもできる。

【0057】

本開示の実施例において、少なくとも２つの追跡カメラは、予め設定された第１の露光時間及び第２の所定の露光時間で交互に画像を収集し、すなわち、少なくとも２つの追跡カメラによって予め設定された第１の露光時間で各追跡カメラにそれぞれ対応する複数の奇数フレーム画像を収集し、少なくとも２つの追跡カメラによって予め設定された第２の露光時間で各追跡カメラにそれぞれ対応する複数の偶数フレーム画像を収集する。奇数フレーム画像は、ヘッドマウントディスプレイデバイスの自由度情報を決定するために用いられる。偶数フレーム画像は、ハンドルの自由度情報を決定するために用いられる。

【0058】

追跡カメラの露出時間が長いほど、画像が収集されるときに取得される外部環境光の情報は多くなる。１つの実施例では、第１の露光時間は、外部環境光に適応可能であり、すなわち、第１の露光時間は、外部環境光の強度に応じて適応的に調整される。本開示の実施例によれば、予め設定された第１の露光時間で収集された奇数フレーム画像に基づいてヘッドマウントディスプレイデバイスの自由度情報を決定することによって、より多くの外部環境特徴を取得することができ、ヘッドマウントディスプレイデバイスの追跡の正確性を向上させることができる。

【0059】

１つの実施例では、第２の露光時間は第１の露光時間より短い。偶数フレーム画像は、予め設定された第２の露光時間で収集され、少なくともハンドルに配置された複数の発光体に対応する光スポットを含む。第２の露光時間は、予め設定されてもよい。本開示の実施例によれば、より短い第２の露光時間で偶数フレーム画像を収集することによって、ハンドルに配置された複数の発光体に対応する光スポットを提示すると同時に、過剰な外部環境光の情報を取得することを回避することができ、外部環境光の干渉を減少させ、偶数フレーム画像の品質を向上させ、ハンドルの追跡の正確性を向上させることができる。

【0060】

より具体的な一例では、位置決め追跡方法は、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第２の露光時間で偶数フレーム画像を収集する際に、前記ハンドルにおける発光体を予め設定された点灯時間で点灯させるように制御することをさらに含み、ただし、第２の露光時間の中間時刻が点灯時間の中間時刻と対応している。

【0061】

第２の露光時間の中間時刻が点灯時間の中間時刻と同期しており、即ち、追跡カメラによって偶数フレーム画像を収集する露光時間帯内において、ハンドルにおける発光体を点灯させるように制御することによって、ハンドルに配置された複数の発光体に対応する光スポットが偶数フレーム画像に含まれることを保証することができる。

【0062】

また、ハンドルの発光体の点灯時間は、予め設定された第２の露光時間に応じて設定されてもよい。本開示によれば、予め設定された短い第２の露光時間に応じてハンドルの発光体の点灯時間を設定することで、ハンドルの発光体の点灯時間を短縮し、デバイスの消費電力を低減することができる。

【0063】

１つの実施例において、点灯時間は第２の露光時間と同じであってもよく、第２の露光時間の開始時刻および終時刻は、点灯時間の開始時刻および終了時刻に対応してもよい。例えば、点灯時間は１００μｓであってもよい。他の実施例では、点灯時間は第２の露光時間よりも長く、すなわち発光体の点灯時間は露光時間の前後時刻よりも一定時間長くてもよい。例えば、発光体の点灯時間は、露光時間の前後時刻よりも３０μｓ多く点灯する。本開示の実施例によれば、点灯時間が第２の露光時間よりも長くとすることで、無線通信で追跡カメラによる偶数フレーム画像の収集とハンドルの発光体の点灯とを同期制御するときに存在する精度誤差を回避することができ、追跡カメラによって偶数フレーム画像を収集するときに発光体によって生成された光スポットを捕捉できることを保証する。

【0064】

ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第１の露光時間で収集される奇数フレーム画像と、予め設定された第２の露光時間で収集される偶数フレーム画像を取得した後に、Ｓ２０２に進む。

【0065】

Ｓ２０２では、奇数フレーム画像とヘッドマウントディスプレイデバイスの姿勢情報とに基づいて、ヘッドマウントディスプレイデバイスの自由度情報を決定する。

【0066】

ヘッドマウントディスプレイデバイスには、ヘッドマウントディスプレイデバイスの姿勢情報を収集するように配置される第１の慣性測定ユニット（ＩＭＵ、Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ ）が組み込まれている。

【0067】

ヘッドマウントディスプレイデバイスの自由度情報とは、移動自由度と回転自由度とを含むヘッドマウントディスプレイデバイスの六自由度情報（以下、６ＤｏＦ情報と略称する）である。

【0068】

１つの実施例において、奇数フレーム画像における空間構造情報に基づいて、同時位置決め及びマッピング（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、ＳＬＡＭ）アルゴリズムを用いて演算を行い、ヘッドマウントディスプレイデバイスの移動自由度（すなわち、３次元座標）を取得することができ、第１の慣性測定ユニットによって収集されたヘッドマウントディスプレイデバイスの姿勢情報（例えば、クォータニオン情報）基づいて、ヘッドマウントディスプレイデバイスの回転自由度（即ち、ヨー角、ピッチ角、及びロール角）を取得することができ、移動自由度と回転自由度に基づいてヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定することができる。

【0069】

１つの実施例において、位置決め追跡方法は、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定した後、ヘッドマウントディスプレイデバイスの姿勢情報と結合して、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報に対してプリインテグレーションを行い、ヘッドマウントディスプレイデバイスの高周波数の６ＤｏＦ情報を取得することをさらに含んでもよい。

【0070】

ヘッドマウントディスプレイデバイスの６ＤｏＦ情報の出力周波数は、第１の慣性測定ユニットによってヘッドマウントディスプレイデバイスの姿勢情報を収集する周波数、及び追跡カメラによって奇数フレーム画像を収集する周波数に依存する。第１の慣性測定ユニットがヘッドマウントディスプレイデバイスの姿勢情報を収集する周波数はより大きく、一般、２００Ｈｚである。本開示の実施例によれば、第１の慣性測定ユニットによってヘッドマウントディスプレイデバイスの姿勢情報を収集することと合わせて、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報に対してプリインテグレーションすることで、ヘッドマウントディスプレイデバイスの高周波数の６ＤｏＦ情報を取得することができ、遅延を減らし、ユーザ体験を向上させることができる。

【0071】

ヘッドマウントディスプレイデバイスの自由度情報を決定した後、Ｓ２０３に進む。

【0072】

Ｓ２０３では、偶数フレーム画像と、ハンドルの姿勢情報と、ヘッドマウントディスプレイデバイスの自由度情報と基づいてハンドルの自由度情報を決定する。

【0073】

ハンドル内には、ハンドルの姿勢情報を取得するように配置された第２の慣性測定ユニットが組み込まれる。

【0074】

ハンドルの自由度情報とは、ハンドルの六自由度情報（以下、６ＤｏＦ情報と略称する）であり、移動自由度と回転自由度とを含む。

【0075】

１つの実施例において、偶数フレーム画像と、ハンドルの姿勢情報と、ヘッドマウントディスプレイデバイスの自由度情報とに基づいてハンドルの自由度情報を決定することは、Ｓ３０１～Ｓ３０３をさらに含んでもよい。

【0076】

Ｓ３０１では、偶数フレーム画像に対して光スポット検出を行い、偶数フレーム画像における全ての光スポットの位置情報を決定する。

【0077】

Ｓ３０２では、偶数フレーム画像における全ての光スポットの位置情報に基づいて、偶数フレーム画像における光スポットに対応するハンドルにおける発光体の３次元座標を決定する。

【0078】

追跡カメラによって収集された各偶数フレーム画像に対して光スポット検出を行って、各偶数フレーム画像における、少なくとも４つの光スポットの位置情報を含む全ての光スポットの位置情報（２次元座標）を決定する。偶数フレーム画像における各光スポットの分布規則に基づいて、偶数フレーム画像における光スポットとハンドルにおける発光体との対応関係を決定する。ハンドルにおける発光体に対応する光スポットの２次元座標を用いて、それに対応するハンドルにおける発光体の３次元座標を決定する。

【0079】

Ｓ３０３では、偶数フレーム画像における光スポットに対応するハンドルにおける発光体の３次元座標と、ハンドルの姿勢情報と、ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、ハンドルの自由度情報を決定する。

【0080】

偶数フレーム画像における光スポットに対応するハンドルにおける発光体の３次元座標基づいて、ハンドルの移動自由度を決定することができる。ハンドルの姿勢情報に基づいてハンドルの回転自由度を決定する。移動自由度と回転自由度に基づいてハンドルの６ＤｏＦ情報を決定することができる。その後、ヘッドマウントディスプレイデバイスの自由度情報に応じて、ハンドルの６ＤｏＦ情報に対して座標変換を行う。

【0081】

１つの実施例では、各発光体の３次元座標が決定されると、第２の慣性測定ユニットによって収集されたハンドルの姿勢情報と結合して、ＰＮＰアルゴリズム又は他の従来技術の相関アルゴリズムを用いてハンドルの６ＤｏＦ情報を決定することによって、ハンドルの位置決め追跡を可能にする。

【0082】

本開示の実施例によれば、少なくとも２つの追跡カメラを用いて複数の偶数フレーム画像を取得し、複数の偶数フレーム画像に基づいてハンドルの６ＤｏＦ情報を演算することにより、ロバスト性を向上させることができ、追跡精度を向上させることができる。

【0083】

１つの実施例において、その位置決め追跡方法は、ハンドルの６ＤｏＦ情報を決定した後、ハンドルの姿勢情報と結合して、ハンドルの６ＤｏＦ情報に対してプリインテグレーションを行うことで、ハンドルの高周波数の６ＤｏＦ情報を取得することを更に含んでもよい。

【0084】

ハンドルの６ＤｏＦ情報の出力周波数は、第２の慣性測定部によってハンドルが姿勢情報を収集する周波数及び追跡カメラによって偶数フレームの画像を収集する周波数に依存する。第２の慣性測定ユニットがハンドルの姿勢情報を収集する周波数は大きく、一般、２００Ｈｚである。本開示の実施例によれば、第２の慣性測定ユニットによってハンドルの姿勢情報を収集することと結合して、ハンドルの６ＤｏＦ情報に対してプリインテグレーションを行うことで、ハンドルの高周波数の６ＤｏＦ情報を取得することができ、遅延を低減し、ユーザ体験を向上させることができる。

【0085】

本開示の実施例によれば、ヘッドマウントディスプレイデバイスに設置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像、予め設定された第２の露光時間で収集された偶数フレーム画像を取得し、奇数フレーム画像及びヘッドマウントディスプレイデバイスの姿勢情報に基づいて、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、偶数フレーム画像及びハンドルの姿勢情報に基づいて、ハンドルの６ＤｏＦ情報を決定することによって、ハードウェアを追加する必要がなく、同一のハードウェアによってヘッドマウントディスプレイ及びハンドルに対する同期追跡を実現することで、ヘッドマウントディスプレイデバイスの消費電力を低減し、ユーザ体験を良くする。

【0086】

いくつかのシーンでは、ユーザは、例えば、メインインターフェースを介して素手で一部のメニューの選択設定を行い、及び／又はいくつかの仮想シーンにおけるオブジェクトとインタラクションを行えることを望む。これで、本開示の実施例では、素手追跡も可能とできる。以下、具体的に説明する。

【0087】

この実施例では、奇数フレーム画像には少なくとも手を含む。その位置決め追跡方法は、奇数フレーム画像に基づいて手の自由度情報を決定することをさらに含んでもよい。本開示の実施例によれば、ユーザがハンドルを使用していない場合、ユーザの手に対する追跡を実現することができる。

【0088】

１つの実施例では、奇数フレーム画像に基づいて手の自由度情報を決定するステップは、Ｓ４０１～Ｓ４０２をさらに含んでもよい。

【0089】

Ｓ４０１では、奇数フレーム画像を所定の畳み込みニューラルネットワークモデルに入力し、手の複数のキーポイントの位置を取得する。

【0090】

Ｓ４０２では、手の複数のキーポイントの位置に基づいて手の自由度情報を決定する。

【0091】

手の自由度情報とは、手の二十六自由度情報（２６ＤｏＦ情報）である。

【0092】

１つの実施例において、当該位置決め追跡方法は、所定の畳み込みニューラルネットワークモデルを訓練するステップをさらに含んでもよい。所定の畳み込みニューラルネットワークモデルを訓練するステップは、Ｓ５０１～Ｓ５０３をさらに含んでもよい。

【0093】

Ｓ５０１では、手を含む複数のシーン画像を取得する。

【0094】

例えば、異なる照明環境、異なる使用シーン環境で、２００人の人物に対して、４つの追跡カメラによって収集された手を含む異なるサイズの画像データを収集する。例えば、手を含むシーン画像を１２５万枚収集する。

【0095】

Ｓ５０２は、シーン画像における手の複数のキーポイントの位置にマークを付け、マークを付けた画像を画像訓練サンプルセットとする。

【0096】

Ｓ５０３では、画像訓練サンプルセットに基づいて畳み込みニューラルネットワークモデルを訓練する。

【0097】

例えば、複数のシーン画像における手の２４個のキーポイントの位置にマークを付け、マークを付けた画像を画像訓練サンプルのセットとする。畳み込みニューラルネットワークモデル基づいて複数のシーン画像における複数の推定キーポイントの位置を推定する。最適化残差方程式を構築し、ＰＮＰ最適化アルゴリズムと結合して、畳み込みニューラルネットワークモデルを反復的に推定することで、その畳み込みニューラルネットワークモデルに対応する画像上での推定されたキーポイントの位置と画像上でのマークを付けたキーポイントの位置との間の距離誤差を最小にして、訓練後の畳み込みニューラルネットワークモデルを取りうる。

【0098】

本開示の実施例によれば、畳み込みニューラルネットワークモデルに基づいて手の２６ＤｏＦ情報を迅速に決定することができる。

【0099】

本開示の実施例によれば、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得する。その後、ユーザがハンドルを使用する場合、奇数フレーム画像とヘッドマウントディスプレイデバイスの姿勢情報とに基づいてヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、偶数フレーム画像とハンドルの姿勢情報とに基づいてハンドルの６ＤｏＦ情報を決定する。ユーザがハンドルを使用しない場合、奇数フレーム画像とヘッドマウントディスプレイデバイスの姿勢情報に基づいてヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、奇数フレーム画像に基づいてユーザの手の２６ＤｏＦ情報を決定する。本開示の実施例によって提供される位置決め追跡方法は、同一のハードウェアによってヘッドマウントディスプレイデバイス、ハンドル、及び素手に対する同期追跡を実現することにより、ヘッドマウントディスプレイデバイスの電力消費を低減し、ユーザ体験をより良くする。

【0100】

＜装置の実施例１＞
図４を参照すると、本開示の実施例は位置決め追跡プラットフォーム４０を提供し、この位置決め追跡プラットフォーム４０は図１に示されるような位置決め追跡プラットフォーム３０００であってもよい。例えば、位置決め追跡プラットフォームはモバイル端末であってもよい。位置決め追跡プラットフォーム４０は、画像取得モジュール４１及び位置決め追跡モジュール４２を含む。

【0101】

画像取得モジュール４１は、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得するように配置される。ただし、偶数フレーム画像は、少なくともヘッドマウントディスプレイデバイスと通信接続されたハンドルに配置された複数の発光体のそれぞれに対応する光スポットを含む。

【0102】

１つの実施例では、第２の露光時間は、第１の露光時間よりも短い。

【0103】

１つの実施例では、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって予め設定された第２の露光時間で偶数フレーム画像を収集する際に、ハンドルにおける発光体を予め設定された点灯時間で点灯させるように制御し、ただし、第２の露光時間の中間時刻が点灯時間の中間時刻と対応している。

【0104】

より具体的な一例では、点灯時間は第２の露光時間以上である。

【0105】

位置決め追跡モジュール４２は、前記奇数フレーム画像及び前記ヘッドマウントディスプレイデバイスの姿勢情報に基づいて、前記ヘッドマウントディスプレイデバイスの自由度情報を決定するように配置される。

【0106】

位置決め追跡モジュール４２は、前記偶数フレーム画像と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定するように更に配置される。

【0107】

１つの実施例において、この位置決め追跡モジュール４２は、前記偶数フレーム画像に対して光スポット検出を行い、前記偶数フレーム画像における全ての光スポットの位置情報を決定するように設置される。

【0108】

この位置決め追跡モジュール４２は、前記偶数フレーム画像における全ての光スポットの位置情報に基づいて、前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標を決定するように更に配置される。

【0109】

位置決め追跡モジュール４２は、前記偶数フレーム画像における光スポットに対応する前記ハンドルにおける発光体の３次元座標と、前記ハンドルの姿勢情報と、前記ヘッドマウントディスプレイデバイスの自由度情報とに基づいて、前記ハンドルの自由度情報を決定するように更に配置される。

【0110】

１つの実施例では、前記奇数フレーム画像は、少なくとも手を含む。位置決め追跡モジュール４２は、前記奇数フレーム画像に基づいて手の自由度情報を決定するようにさらに配置される。

【0111】

より具体的な一例では、位置決め追跡モジュール４２は、前記奇数フレーム画像を所定の畳み込みニューラルネットワークモデルに入力し、手の複数のキーポイントの位置を取得するように配置される。

【0112】

当該位置決め追跡モジュール４２は、手の複数のキーポイントの位置に基づいて手の自由度情報を決定するようにも配置される。

【0113】

１つの実施例において、位置決め追跡プラットフォーム４０は、モデル訓練モジュールを更に含む。当該モデル訓練モジュールは、所定の畳み込みニューラルネットワークモデルを訓練するように設置される。

【0114】

より具体的な一例では、モデル訓練モジュールは、手を含む複数のシーン画像を収集するように配置される。

【0115】

当該モデル訓練モジュールは、前記シーン画像における手の複数のキーポイントの位置にマークを付け、マークを付けた画像を画像訓練サンプルセットとするように更に設置される。

【0116】

当該モデル訓練モジュールは、前記画像訓練サンプルセットに基づいて前記畳み込みニューラルネットワークモデルを訓練するようにさらに設置される。

【0117】

図５を参照すると、本開示の実施例は、プロセッサ５１及びメモリ５２を含む位置決め追跡プラットフォーム５０を提供する。メモリ５２は、プロセッサ５１によって実行されると、上記の実施例のうちのいずれかに開示された位置決め追跡方法を実現するコンピュータプログラムを記憶するように配置される。

【0118】

＜装置の実施例２＞
本開示の実施例は、ヘッドマウントディスプレイシステムをさらに提供する。ヘッドマウントディスプレイシステムは、ヘッドマウントディスプレイデバイスと、ヘッドマウントディスプレイデバイスに接続されたハンドル及び位置決め追跡プラットフォームとを含む。当該ヘッドマウントディスプレイシステムは、例えば、図１に示されたヘッドマウントディスプレイシステム１００であってもい。

【0119】

１つの実施例において、当該ヘッドマウントディスプレイデバイスに少なくとも２つの追跡カメラ及び第１の慣性測定ユニットが配置される。

【0120】

当該少なくとも２つの追跡カメラは、画像を収集するように配置される。具体的に、少なくとも２つの追跡カメラは、第１の所定の露光時間で奇数フレームの複数の画像を収集し、第２の所定の露光時間で偶数フレームの複数の画像を収集する。

【0121】

第１の慣性測定ユニットは、ヘッドマウントディスプレイデバイスの姿勢情報を検出するように配置される。

【0122】

より具体的な一例では、ヘッドマウントディスプレイデバイスに４つの追跡カメラが配置され、各追跡カメラがヘッドマウントディスプレイデバイスの視野角要件を満たすことを保証するように、４つの追跡カメラが所定の第１の位置制約ルールに従ってヘッドマウントディスプレイデバイス内に配置される。本開示の実施例によれば、４つの追跡カメラによって収集された画像に基づいて、ヘッドマウントディスプレイデバイス及びハンドルに対して位置決め追跡を行うことにより、ロバスト性を向上させ、位置決め追跡の精度を向上させることができる。

【0123】

より具体的な一例では、追跡カメラ１９００として、大画角追跡カメラを選択してもよく、例えば、追跡カメラ１９００の水平視野角（ｆｉｅｌｄ ａｎｇｌｅ ｏｆ ｖｉｅｗ、ＦＯＶ）は１００°～１６０°、垂直視野角は８０°～１２０°、深度画角は１３０°～１６０°、追跡カメラのフレームレートは６０Ｈｚより大きく、追跡カメラの解像度はＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）又は７２０Ｐであり、追跡カメラはＧｌｏｂａｌ Ｓｈｕｔｔｅｒ（グローバルシャッター）の露光方式を採用し、追跡カメラは可視光波長帯域及び赤外光波長帯域を通過させることができる。例えば、追跡カメラの型番はＯＶ７２５１又はＯＶ９２８２である。

【0124】

当該ハンドルには、第２の慣性測定ユニットと複数の発光体とが配置される。

【0125】

複数の発光体は、所定の第２位置制約規則に従って配置されることで、追跡カメラがハンドルに近いときに収集された画像における局所的なパターン情報の重なり合い又は接着を回避することができ、かつ、追跡カメラによって任意の角度で収集された画像のいずれにも少なくとも４つの発光体の対応する光スポットが現れることを保証でき、収集された画像に基づいてハンドルを位置決めすることができる。

【0126】

より具体的な一例では、発光体は１７個または２４個配置される。発光体は、例えば、可視光光源又は赤外光光源、例えばＬＥＤランプであってもよい。

【0127】

第２の慣性測定ユニットは、ハンドルの姿勢情報を検出するように配置される。

【0128】

位置決め追跡プラットフォームは、ヘッドマウントディスプレイ及びハンドルに接続されて、奇数フレーム画像、偶数フレーム画像、ヘッドマウントディスプレイデバイスの姿勢情報、及びハンドルの姿勢情報を取得するように配置される。

【0129】

位置決め追跡プラットフォームは、奇数フレーム画像とヘッドマウントディスプレイデバイスの姿勢情報とに基づいて、ヘッドマウントディスプレイデバイスの自由度情報を決定し、ヘッドマウントディスプレイデバイスに対する位置決め追跡を実現するように更に配置される。

【0130】

１つの実施例において、位置決め追跡プラットフォームは、ユーザがハンドルを使用する場合に、偶数フレーム画像、ハンドルの姿勢情報、及びヘッドマウントディスプレイデバイスの自由度情報に基づいて、ハンドルの自由度情報を決定し、ハンドルに対する位置決め追跡を実現するするように更に配置される。

【0131】

１つの実施例において、位置決め追跡プラットフォームは、ユーザがハンドルを使用しない場合に、奇数フレーム画像に基づいて手の自由度情報を決定し、ユーザの手に対する位置決め追跡を実現するようにさらに配置される。

【0132】

１つの実施例において、位置決め追跡プラットフォームは、図１に示す位置決め追跡プラットフォーム３０００であってよい。

【0133】

１つの実施例では、位置決め追跡プラットフォームは、例えば、モバイル端末であってもよい。

【0134】

本開示の実施例によれば、ヘッドマウントディスプレイデバイスに設置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得し、奇数フレーム画像及びヘッドマウントディスプレイデバイスの姿勢情報に基づいて、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、偶数フレーム画像及びハンドルの姿勢情報に基づいてハンドルの６ＤｏＦ情報を決定することによって、ハードウェアを追加する必要がなく、同一のハードウェアによってヘッドマウントディスプレイ及びハンドルに対する同期追跡を実現することで、ヘッドマウントディスプレイデバイスの消費電力を低減し、ユーザ体験を良くする。

【0135】

本開示の実施例によれば、ヘッドマウントディスプレイデバイスに配置された追跡カメラによって、予め設定された第１の露光時間で収集された奇数フレーム画像と、予め設定された第２の露光時間で収集された偶数フレーム画像とを取得する。その後、ユーザがハンドルを使用する時、奇数フレーム画像及びヘッドマウントディスプレイデバイスの姿勢情報に基づいてヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、偶数フレーム画像及びハンドルの姿勢情報に基づいてハンドルの６ＤｏＦ情報を決定する。ユーザがハンドルを使用していない場合、奇数フレーム画像及びヘッドマウントディスプレイデバイスの姿勢情報に基づいて、ヘッドマウントディスプレイデバイスの６ＤｏＦ情報を決定し、奇数フレーム画像に基づいてユーザの手の２６ＤｏＦ情報を決定する。本開示の実施例によって提供される位置決め追跡方法は、同一のハードウェアによってヘッドマウントディスプレイデバイス、ハンドル、及び素手に対する同期追跡を実現することにより、ヘッドマウントディスプレイデバイスの電力消費を低減し、ユーザ体験をより良くする。

【0136】

本明細書における各実施例は、累進的な方式で説明され、各実施例間で同様または類似の部分は、相互に参照すればよい。各実施例は、他の実施例との相違点を中心に説明されているが、当業者であれば、上述の実施例は、必要に応じて、単独で又は相互に組み合わせて使用され得ることを理解できる。なお、装置実施例については、方法実施例に対応するので、説明が比較的簡単であり、かかる点については方法実施例の対応部分の説明を参照すればよい。上述したシステムの実施例は、単なる例示であり、分離の構成要素として例示されたモジュールは、物理的に分離されてもよく、または分離されなくてもよい。

【0137】

本開示は、システム、方法、および／またはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本開示の各態様を実施させるためのコンピュータ読み取り可能なプログラムコマンドが記憶されたコンピュータ読み取り可能な記憶媒体を含んでもよい。

【0138】

コンピュータ読み取り可能な記憶媒体は、コマンド実行装置によって使用されるコマンドを保持および記憶できる有形装置であってよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（網羅的なリストではない）は、携帯式なコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯式なコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、コマンドが記憶されたパンチカード又は溝における隆起構造などの機械的符号化装置、及び上記の任意の適切な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、またはワイヤを通って伝送される電気信号など、一時的信号自体として解釈されない。

【0139】

ここで説明されるコンピュータ可読プログラムコマンドは、コンピュータ読み取り可能な記憶媒体から様々なコンピュータ／処理装置にダウンロードされてもよく、またはインターネット、ローカルエリアネットワーク、ワイドエリアネットワーおよび／または無線ネットワークなどのネットワークを介して、外部コンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ、及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラムコマンドを受信し、このコンピュータ可読プログラムコマンドを転送することにより、それぞれのコンピューティング／処理装置におけるコンピュータ読み取り可能な記憶媒体に記憶させる。

【0140】

本開示の動作を実行するためのコンピュータプログラムコマンドは、アセンブリーコマンド、コマンドセットアーキテクチャ（ＩＳＡ）コマンド、機械言語コマンド、機械関連コマンド、マイクロコード、ファームウェアコマンド、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「例えば」プログラミング言語もしくは類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１つもしくは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードとすることができる。コンピュータ可読プログラムコマンドは、全部がユーザのコンピュータ上で実行され、部分的にユーザのコンピュータ上で実行され、部分的に独立のソフトウェアパッケージとして実行され、部分的にユーザのコンピュータ上で、且つ部分的にリモートのコンピュータ上で実行され、または全部がリモートのコンピュータもしくはサーバ上で実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）ネットワークを含む任意の種類のネットワークを介してユーザコンピュータに接続されてもよく、または（例えば、インターネットサービスプロバイダを利用してインターネットを介して）外部コンピュータに接続されてもよい。いくつかの実施例では、プログラム可能論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム可能論理アレイ（ＰＬＡ）などの電子回路を、コンピュータ可読プログラムコマンドの状態情報を用いてパーソナライズすることによって、その電子回路はコンピュータ可読プログラムコマンドを実行して、本開示の様々な態様を実現することができる。

【0141】

本開示の態様は、本明細書において、本開示の実施例による方法、装置（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明される。なお。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ可読プログラムコマンドによって実現され得る。

【0142】

これらのコンピュータ可読プログラムコマンドは、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されることで、機械を作成し、コンピュータまたは他のプログラム可能データ処理装置のプロセッサによってこれらのコマンドが実行されたときに、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて規定された機能／動作を実現する手段を生成するようになっている。これらのコンピュータ可読プログラムコマンドは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、これらのコメントはコンピュータ、プログラム可能データ処理装置、および／または他の装置を特定の方式で機能させることにより、コマンドを記憶したコンピュータ可読媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで規定された機能／動作の各態様を実現するコマンドを含む製品を含む。

【0143】

コンピュータ可読プログラムコマンドは、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作を実現するように、コンピュータ、他のプログラム可能データ処理装置、または他の装置にロードされ、一連の動作をコンピュータ、他のプログラム可能データ処理装置、または他の装置で実行させ、コンピュータによるプロセスを生成するする。

【0144】

図面のフローチャート及びブロック図は、本開示の様々な実施例によるシステム、方法、及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能、及び動作を示す。この点に関して、フローチャート又はブロック図における各ブロックは、規定された論理機能を実現するための１つ又は複数の実行可能なコマンドを含むモジュール、セグメント、又はコマンドの一部を表すことができる。幾つかの代替的な実施態様では、ブロックに記載された機能は、図面に記載された順序とは異なる順序で生じてもよい。例えば、２つの連続するブロックは、実際には、実質的に並列に実行されてもよく、含まれる機能に応じて逆順に実行されてもよい。なお、ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図のブロックの組み合わせは、特定の機能又は動作を実行するハードウェアによる専用システムで実現されてもよく、又は専用ハードウェアとコンピュータコマンドとの組み合わせで実現されてもよい。当業者であれば、ハードウェアによる実現、ソフトウェアによる実現、及びソフトウェアとハードウェアとの組み合わせによる実現が全て等価であることが周知である。

【0145】

以上、本開示の実施例について説明したが、上記の説明は、例示であり、網羅的なものではなく、また、開示した実施例に限定されるものでもない。当業者であれば、説明された実施例の範囲及び精神から逸脱することなく、多くの修正及び変更が可能であることが自明である。本明細書で使用される用語の選択は、様々な実施例の原理、実際の用途、または市場における技術的改善を最もよく説明するか、あるいは当業者が本明細書で開示される様々な実施例を理解するための趣旨である。本開示の範囲は、添付の特許請求の範囲によって定義される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】