特許7212819 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 那家全息互動（深▲せん▼）有限公司の特許一覧

特許7212819モジュラー型ＭＲ装置のための撮像方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-18

(45)【発行日】2023-01-26

(54)【発明の名称】モジュラー型ＭＲ装置のための撮像方法

(51)【国際特許分類】

G02B 27/02 20060101AFI20230119BHJP

G03B 7/091 20210101ALI20230119BHJP

G03B 17/18 20210101ALI20230119BHJP

H04N 5/64 20060101ALI20230119BHJP

H04N 23/53 20230101ALI20230119BHJP

【ＦＩ】

G02B27/02 Z

G03B7/091

G03B17/18 Z

H04N5/64 511A

H04N5/225 450

【請求項の数】 18

(21)【出願番号】P 2019546878

(86)(22)【出願日】2018-06-01

(65)【公表番号】

(43)【公表日】2020-07-27

(86)【国際出願番号】 CN2018089434

(87)【国際公開番号】W WO2018219336

(87)【国際公開日】2018-12-06

【審査請求日】2021-05-06

(31)【優先権主張番号】201710406371.3

(32)【優先日】2017-06-02

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522469486

【氏名又は名称】那家全息互動（深▲せん▼）有限公司

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際弁理士法人

(72)【発明者】

【氏名】フーボータオ

【審査官】山本貴一

(56)【参考文献】

【文献】特開２０１６－０８５３５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０００２５０７（ＵＳ，Ａ１）

【文献】特開２０１６－０８１０２１（ＪＰ，Ａ）

【文献】登録実用新案第３１８３２２８（ＪＰ，Ｕ）

【文献】米国特許出願公開第２０１２／００５０１４４（ＵＳ，Ａ１）

【文献】特表２０１６－５０７８０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ２７／０１，２７／０２

Ｈ０４Ｎ５／６４

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

モジュラー型複合現実感（ＭＲ）装置のための撮像方法であって、前記ＭＲ装置は、
ＭＲ計算モジュール、ＭＲ光路モジュール、およびＭＲ姿勢モジュールを含み、
前記ＭＲ計算モジュールは、ディスプレイアセンブリを含み、
前記ＭＲ姿勢モジュールは、撮像アセンブリとＩＭＵアセンブリとを含み、前記撮像アセンブリは、前記ディスプレイアセンブリの予め設定された角度方向に画像を収集するように構成され、前記ＩＭＵアセンブリは前記ＭＲ装置の姿勢データを収集するように構成され、
前記ＭＲ計算モジュールは前記ＭＲ姿勢モジュールに接続され、前記ＭＲ姿勢モジュールによって取得された前記画像のデータおよび姿勢データに従って、前記ディスプレイアセンブリの表示内容を調整し、前記ＭＲ光路モジュールは仮想画像光路と混合光路とを含み、前記仮想画像光路は前記ディスプレイアセンブリに接続され、前記混合光路の入力端は前記仮想画像光路に接続され、前記混合光路の出力端は観察端であり、
半透明・半反射鏡が前記混合光路内に構成され、前記半透明・半反射鏡の一方の面は実画像導入面として構成され、前記半透明・半反射鏡のもう一方の面は仮想画像導入面として構成され、前記実画像導入面は実環境に面し、前記仮想画像導入面は前記仮想画像光路に面し、
前記ディスプレイアセンブリの表示内容は、前記仮想画像光路によって処理および伝達されて仮想画像を形成し、
仮想画像光は前記仮想画像導入面によって前記観察端上に反射され、実環境光は前記実画像導入面によって前記観察端に伝達され、前記仮想画像と混合されて複合現実感画像を形成し、
前記ＭＲ計算モジュールはメインスマートフォンであり、
前記ディスプレイアセンブリは前記メインスマートフォンのディスプレイモジュールであり、
前記ＩＭＵアセンブリは磁力計、ジャイロスコープ、および加速度計を含み、前記ＩＭＵアセンブリはメインＩＭＵアセンブリと補助ＩＭＵアセンブリとを有し、前記メインＩＭＵアセンブリは前記ディスプレイアセンブリの前記姿勢データを収集し、前記メインＩＭＵアセンブリは、前記メインスマートフォン内に配置され、前記補助ＩＭＵアセンブリは、前記メインスマートフォンに無線接続された１つ以上の制御装置に配置され、前記補助ＩＭＵアセンブリは、前記１つ以上の制御装置の前記姿勢データまたは位置データを収集し、前記姿勢データは姿勢角度、角速度または加速度データを含み、
前記撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、前記メイン撮像アセンブリは前記メインスマートフォンの後部カメラであり、前記補助撮像アセンブリは前記制御装置の位置に配置されたカメラである、モジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項2】

前記ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、
前記メインスマートフォンは、前記ＭＲヘッドマウントメカニズムに固定され、
前記メイン撮像アセンブリは前記メインスマートフォンの前記後部カメラであり、および
前記制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、前記ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、前記ユーザーの手足に結び付けられた補助電話機のいずれかである、請求項１に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項3】

前記ＭＲヘッドマウントメカニズムの前記仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、前記フィールドレンズは２つのフレネルレンズによって組み合わされ、
前記メインスマートフォンは、前記静置板上に水平に置かれ、前記ＭＲヘッドマウントメカニズムが作動しているときに前記メインスマートフォンが水平二分割画面の形式でＶＲ二分割画面モードの画像を表示し、前記ＶＲ二分割画面の画像光が前記全反射鏡によって前記２つのフレネルレンズ上に反射され、続いて前記２つのフレネルレンズが二分割画面の画像光を屈折させ、画像光が予め設定された画角を有する二つの仮想画像光路を形成し、仮想画像光は前記仮想画像導入面により観察端に反射され、実環境光は、前記実画像導入面によって前記観察端に伝達され、前記仮想画像光と混合されて複合現実感画像を形成する、請求項２に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項4】

前記メインスマートフォンの前記後部カメラの方向は、前記ＭＲヘッドマウントメカニズムの方向であり、
前記ディスプレイアセンブリの前記姿勢データは前記メインスマートフォンの前記姿勢データであり、
前記メインスマートフォンの前記ＩＭＵアセンブリは、前記メインスマートフォンの前記姿勢データを収集し、
前記ＭＲヘッドマウントメカニズムが動作しているときは、前記メインスマートフォンの前記後部カメラは、前記ＭＲヘッドマウントメカニズムの初期方向での前記の実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中、画像を姿勢画像として連続的に収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションおよび前記メインスマートフォンの前記姿勢データのバリエーションに従って前記二分割画面上の前記画像を調整する、請求項３に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項5】

水平二分割画面の前記形式で表示される前記画像は、仮想キャラクターと制御識別子とを含み、前記ＭＲ計算モジュールは、前記補助ＩＭＵアセンブリによってアップロードされた前記制御装置の前記姿勢データおよび前記位置データに従って前記制御識別子を生成し、前記制御識別子は前記制御装置の移動と共に移動し、前記仮想キャラクターは前記制御識別子と対話できる、請求項４に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項6】

前記メインスマートフォンは、外部装置とネットワークによって接続され、
水平二分割画面の前記形式で表示された前記画像に含まれる前記仮想キャラクターおよび前記制御識別子は、前記複合現実感画像の一部であり、前記仮想キャラクターは前記外部装置に対応し、前記仮想キャラクターが前記制御識別子と対話するとき、前記外部装置は対話内容に従ってそれぞれの実装を実行する、請求項５に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項7】

前記撮像方法は、
前記ユーザーが、ＭＲアプリケーションが予めインストールされている前記メインスマートフォンを前記ＭＲヘッドマウントメカニズムの前記静置板に固定し、同じく前記ＭＲアプリケーションが予めインストールされたスマートフォンである前記補助電話機を保持するステップＡ１と、
前記ユーザーが前記ＭＲヘッドマウントメカニズムを装着し、前記複合現実感画像を観察するために目を前記観察端に近づけるステップＡ２と、
前記メインスマートフォンの前記ＭＲアプリケーションを起動して、前記メインスマートフォンをディスプレイ端末として設定し、前記メインスマートフォンは横方向の二分割画面の形式で画像を表示し、二分割画面の画像光は前記全反射鏡によって前記２つのフレネルレンズ上に反射され、２つのフレネルレンズは二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像の光路を形成し、仮想画像光は前記仮想画像導入面によって前記観察端に反射され、実環境光は前記実画像導入面
によって前記観察端に伝達され、前記仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
前記メインスマートフォンの前記後部カメラが、前記ＭＲヘッドマウントメカニズムの初期方向での前記の実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中、画像を姿勢画像として連続的に収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションおよび前記メインスマートフォンの前記姿勢データのバリエーションに従って前記二分割画面上の前記画像を調整するステップＡ４と、
前記ユーザーは前記補助電話機を前記複合現実感画像の特定の点まで持ち上げ、前記補助電話機上で前記ＭＲアプリケーションを起動し、それを制御端末として設定し、前記補助電話機上の前記補助ＩＭＵアセンブリは、前記補助電話機の前記姿勢データおよび前記位置データを収集し、前記制御端末は前記補助電話機の前記姿勢データおよび位置データを前記制御端末に無線で接続されている前記ディスプレイ端末にアップロードするステップＡ５と、
前記ＭＲ計算モジュールは、前記補助電話機の前記姿勢データおよび位置データに従って前記複合現実感画像上に前記制御識別子を生成し、前記制御識別子は前記補助電話機の移動とともに移動し、前記複合現実感画像上の前制御識別子が、前記仮想キャラクターと接触しているかまたは隣接するときに、前記仮想キャラクターが前記制御識別子と対話するステップＡ６と、
前記仮想キャラクターが前記外部装置に対応し、前記仮想キャラクターが前記制御識別子と対話しているとき、前記外部装置は前記対話内容に従って対応する実装を実行するステップＡ７と、を順次含む、請求項６に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項8】

前記メインスマートフォンおよび前記補助電話機は、単眼視覚慣性走行距離計法によって統合空間位置特定データを生成、共有し、前記単眼視覚慣性走行距離計法は、
前記メインスマートフォンおよび前記補助電話機が、それぞれ姿勢画像を生成するためにカメラによって画像を収集し、前記メインスマートフォンおよび前記補助電話機が、それぞれ内蔵されたＩＭＵアセンブリによって姿勢データを収集し、前記メインスマートフォンおよび前記補助電話機が、それぞれ前記姿勢画像と前記姿勢データとを関連付け、それぞれの空間画像関連付けデータを形成し、前記メインスマートフォンおよび前記補助電話機が、ネットワーク接続を介してそれぞれの空間画像関連データを集約して、前記メインスマートフォンおよび前記補助電話機内に統合空間画像関連データベースを生成するステップＢ１と、
前記メインスマートフォンおよび前記補助電話機が移動中に姿勢画像と姿勢データを順次収集し、前記収集した姿勢画像および姿勢データをそれぞれ前記統合空間画像関連データベースに追加して関連付けるステップＢ２と、
前記移動中、前記メインスマートフォンおよび前記補助電話機が、前記収集された姿勢画像と姿勢データを前記統合空間画像関連データベースのそのデータと比較して、現在の空間における前記補助電話機の正確な位置を取得し、前記補助電話機の軌道および姿勢の変化を予測するステップＢ３と、
前記メインスマートフォンおよび前記補助電話機は前記移動中に前記統合空間画像関連データベースを読み込み、前記収集した姿勢画像を、同じ座標および同じ姿勢から収集された過去Ｎの時間フレームにおける前記姿勢画像および前記姿勢データと比較し、前記収集された姿勢画像と前記過去Ｎの時間フレーム内の前記姿勢画像および前記姿勢データとの間に差異があるときに前記統合空間画像関連データベースを更新するステップＢ４と、
ステップＢ３およびＢ４において、前記メインスマートフォンおよび前記補助電話機が、前記データを予め設定された許容範囲閾値と比較および検証して、空間位置の効率および堅牢性を向上させるステップＢ５と、を含む、請求項７に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項9】

前記ＭＲヘッドマウントメカニズムはシートで構成され、前記シートは、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃを備え、前記折り畳み部Ａは、前記半透明・半反射鏡および前記フィールドレンズで固定され、前記折り畳み部Ｂは前記全反射鏡で固定され、前記折り畳み部Ｃには静置板が設けられ、前記静置板は、前記メインスマートフォンの前記後部カメラによって外部画像を収集するための観察孔を備え、前記ＭＲヘッドマウントメカニズムを準備するための方法は、
前記フィールドレンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ａを菱形柱に折り畳み、前記菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、前記画像光の入射面は前記全反射鏡壁に面し、前記全反射鏡壁は前記全反射鏡を備え、前記観察孔は前記観察孔壁に位置し、前記観察孔に面する前記菱形柱の側壁は前記半透明・半反射鏡であり、前記半透明・半反射鏡は前記半透明・半反射鏡壁に位置するステップＢ１と、
前記折り畳み部Ａで遮光板を広げ、前記観察孔壁に前記遮光板を挿入するステップＢ２と、
前記折り畳み部Ｃを広げ、後部カメラを有する前記メインスマートフォンを前記静置板の上に置き、前記後部カメラが前記静置板の観察孔に合うようにし、次いで、前記折り畳み部Ｃを前記菱形柱の前記画像光の入射面に折り畳み、前記観察端は前記観察孔を含み、そこでは前記メインスマートフォンが横方向の二分割画面の形式で前記ＶＲ分割画面モードの画像を表示するときに、前記補助電話機の画面画像を前記外部画像と混合することによって形成される前記複合現実感画像を見ることができるステップ、Ｂ３と、を含む、請求項４に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項10】

モジュラー型複合現実感（ＭＲ）装置のための撮像方法であって、前記ＭＲ装置は、
ＭＲ計算モジュール、ＭＲ光路モジュール、およびＭＲ姿勢モジュールを含み、
前記ＭＲ計算モジュールは、ディスプレイアセンブリを含み、
前記ＭＲ姿勢モジュールは、撮像アセンブリとＩＭＵアセンブリとを含み、前記撮像アセンブリは、前記ディスプレイアセンブリの予め設定された角度方向に画像を収集するように構成され、前記ＩＭＵアセンブリは前記ＭＲ装置の姿勢データを収集するように構成され、
前記ＭＲ計算モジュールは前記ＭＲ姿勢モジュールに接続され、前記ＭＲ姿勢モジュールによって取得された画像データおよび姿勢データに従って、前記ディスプレイアセンブリの表示内容を調整し、前記ＭＲ光路モジュールは仮想画像光路と混合光路とを含み、前記仮想画像光路は前記ディスプレイアセンブリに接続され、前記混合光路の入力端は前記仮想画像光路に接続され、前記混合光路の出力端は観察端であり、
半透明・半反射鏡が前記混合光路内に構成され、前記半透明・半反射鏡の一方の面は実画像導入面として構成され、前記半透明・半反射鏡のもう一方の面は仮想画像導入面として構成され、前記実画像導入面は実環境に面し、前記仮想画像導入面は前記仮想画像光路に面し、
前記ディスプレイアセンブリの表示内容は、前記仮想画像光路によって処理および伝達されて仮想画像を形成し、
仮想画像光は前記仮想画像導入面によって前記観察端上に反射され、実環境光は前記実画像導入面によって前記観察端に伝達され、前記仮想画像と混合されて複合現実感画像を形成し、
前記ＭＲ計算モジュールはメインスマートフォンであり、前記ディスプレイアセンブリは前記メインスマートフォンのディスプレイモジュールであり、前記ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、前記ＩＭＵアセンブリはメインＩＭＵアセンブリと０個以上の補助ＩＭＵアセンブリを有し、前記メインＩＭＵアセンブリは前記ディスプレイアセンブリの前記姿勢データを収集し、前記メインＩＭＵアセンブリは前記メインスマートフォン内に配置され、前記補助ＩＭＵアセンブリは、前記メインスマートフォンに無線で接続された１つ以上の制御装置に配置され、前記補助ＩＭＵアセンブリは、前記１つ以上の制御装置の姿勢データまたは位置データを収集し、前記姿勢データは、姿勢角、角速度または加速度データを含み、前記撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、前記メイン撮像アセンブリは前記メインスマートフォンの後部カメラであり、前記補助撮像アセンブリは前記制御装置の位置にあるカメラでオプションである、モジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項11】

前記ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、前記メインスマートフォンは前記ＭＲヘッドマウントメカニズムに固定され、前記メイン撮像アセンブリは、前記メインスマートフォンの前記後部カメラであり、前記制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、前記ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、前記ユーザーの手足に結び付けられた補助電話のいずれかである、請求項１０に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項12】

前記ＭＲヘッドマウントメカニズムの前記仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、前記フィールドレンズは２つのフレネルレンズによって組み合わされ、前記メインスマートフォンは、前記静置板上に水平に置かれ、前記ＭＲヘッドマウントメカニズムが作動しているときに前記メインスマートフォンが横方向の二分割画面の形式で前記ＶＲ二分割画面モードの画像を表示し、前記二分割画面の画像光が前記全反射鏡によって前記２つのフレネルレンズ上に反射され、続いて前記２つのフレネルレンズが
二分割画面の画像光を屈折させ、画像光が予め設定された画角を有する二つの仮想画像光路を形成し、仮想画像光は前記仮想画像導入面により観察端に反射され実環境光は、実像導入面によって前記観察端に伝達され、前記仮想画像と混合されて複合現実感画像を形成する、請求項１１に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項13】

前記メインスマートフォンの前記後部カメラの方向は、前記ＭＲヘッドマウントメカニズムの方向であり、前記ディスプレイアセンブリの前記姿勢データは、前記メインスマートフォンの前記姿勢データであり、前記メインスマートフォンの前記ＩＭＵアセンブリは前記メインスマートフォンの前記姿勢データを収集し、前記ＭＲヘッドマウントメカニズムが動作している場合、前記メインスマートフォンの前記後部カメラは、前記ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中、連続的に特徴点の姿勢画像として画像を収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションと前記メインスマートフォンの前記姿勢データのバリエーションとに基づいて前記メインスマートフォンの空間位置を算出し、前記空間位置に基づいて前記二分割画面上の画像を調整する、請求項１２に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項14】

横方向の二分割画面の前記形式で表示される前記画像は、仮想キャラクターと制御識別子とを含み、前記ＭＲ計算モジュールは、前記補助ＩＭＵアセンブリまたは前記補助撮像アセンブリによってアップロードされた前記制御装置の前記姿勢データおよび位置データに従って前記制御識別子の前記空間位置を生成し、前記制御識別子は前記制御装置の移動と共に移動し、前記仮想キャラクターは前記制御識別子と対話できる、請求項１３に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項15】

前記メインスマートフォンがネットワークで外部装置に接続されており、水平二分割画面の前記形式で表示された前記画像に含まれる前記仮想キャラクターおよび前記制御識別子は、前記複合現実感画像の一部であり、前記仮想キャラクターは前記外部装置に対応し、前記仮想キャラクターが制御識別子と対話するとき、前記外部装置は対話内容に従ってそれぞれの実装を実行する、請求項１４に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項16】

前記撮像方法は、
前記ユーザーが、前記ＭＲアプリケーションが予めインストールされている前記メインスマートフォンを前記ＭＲヘッドマウントメカニズムの前記静置板に固定し、同じく前記ＭＲアプリケーションが予めインストールされたスマートフォンである前記補助電話を保持するステップＡ１と、
前記ユーザーが前記ＭＲヘッドマウントメカニズムを装着し、前記複合現実感画像を観察するために目を前記観察端に近づけるステップＡ２と、
前記メインスマートフォンの前記ＭＲアプリケーションを起動して、前記メインスマートフォンをディスプレイ端末として設定し、前記メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は前記全反射鏡によって前記２つのフレネルレンズ上に反射され、前記２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は前記仮想画像導入面によって前記観察端上に反射され、実環境光は前記実画像導入面によって前記観察端に伝達され、前記仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、
前記メインスマートフォンの前記後部カメラが、前記ＭＲヘッドマウントメカニズムの初期方向での前記の実シーンの特徴点を収集し、前記ＭＲヘッドマウントメカニズムの作動中に、画像を特徴点の姿勢画像として連続的に収集し、前記ＭＲ計算モジュールは、前記姿勢画像における前記特徴点のバリエーションおよび前記メインスマートフォンの前記
姿勢データのバリエーションに従って前記メインスマートフォンの前記空間位置を計算し、前記空間位置に基づいて、前記二分割画面上の前記画像を調整するステップＡ４と、
前記制御装置がスマートフォンである場合、前記ユーザーは前記制御装置を前記複合現実感画像の特定の点まで持ち上げ、前記補助電話機上で前記ＭＲアプリケーションを起動し、それを制御端末として設定し、前記制御装置上の前記補助ＩＭＵアセンブリは、前記補助電話の前記姿勢データおよび位置データを収集し、前記制御端末は前記制御装置の前記姿勢データおよび位置データを前記制御端末に無線で接続されている前記ディスプレイ端末にアップロードするステップＡ５と、
前記ＭＲ計算モジュールは、前記補助電話の前記姿勢データおよび位置データに従って前記複合現実感画像上に前記制御識別子を生成し、前記制御識別子は前記補助電話の移動とともに移動し、前記複合現実感画像上の前制御識別子が、前記仮想キャラクターと接触しているかまたは隣接するときに、前記仮想キャラクターが前記制御識別子と対話するステップＡ６と、
前記仮想キャラクターが前記外部装置に対応し、前記仮想キャラクターが前記制御識別子と対話しているとき、前記外部装置は前記対話内容に従って対応する実装を実行するステップＡ７と、を順次含む、請求項１５に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項17】

前記ＭＲヘッドマウントメカニズムはシートで構成され、前記シートは、前記長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃを備え、前記折り畳み部Ａは、前記半透明・半反射鏡および前記フィールドレンズで固定され、前記折り畳み部Ｂは前記全反射鏡で固定され、前記折り畳み部Ｃには静置板が設けられ、前記静置板は、前記メインスマートフォンの前記後部カメラによって外部画像を収集するための観察孔を備える、請求項１３に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【請求項18】

前記ＭＲヘッドマウントメカニズムを準備するための方法は、
前記フィールドレンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、前記菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、前記画像光の入射面は前記全反射鏡壁に面し、前記全反射鏡壁は前記全反射鏡を備え、前記観察孔は前記観察孔壁に位置し、前記観察孔に面する前記菱形柱の側壁は前記半透明・半反射鏡であり、前記半透明・半反射鏡は前記半透明・半反射鏡壁に位置するステップＢ１と、
前記折り畳み部Ａで遮光板を広げ、前記観察孔壁に前記遮光板を挿入するステップＢ２と、
前記折り畳み部Ｃを広げ、後部カメラを有する戦記メインスマートフォンを前記静置板の上に置き、前記後部カメラが前記静置板の前記観察孔に合うようにし、次いで、前記折り畳み部Ｃを前記菱形柱の前記画像光の入射面に折り畳み、前記観察端は前記観察孔を含み、そこでは前記メインスマートフォンが前記横方向の二分割画面の形式で前記ＶＲ分割画面モードの画像を表示するときに、補助電話機の画面画像を前記外部画像と混合することによって形成される前記複合現実感画像を見ることができるステップＢ３と、を含む、請求項１７に記載のモジュラー型複合現実感（ＭＲ）装置のための撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はディスプレイ装置の分野に関し、より詳細にはモジュラー型複合現実感（ＭＲ）装置のための撮像方法に関する。

【背景技術】

【0002】

本ＭＲ装置は、実環境の背景に仮想画像を重ね合わせることができるディスプレイ装置である。過去においては、そのような装置は通常高性能のコンピューティング装置と複雑な光路とから構成されており、価格が高く、使用するのに不便である。本携帯仮想現実（ＶＲ）メガネは、ディスプレイの中核として普及している携帯電話を利用しており、仮想現実画像を形成するコストを大幅に削減し、使用するのにより便利である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

ＭＲ装置のコストを大幅に削減するためにいかに携帯ＶＲメガネのディスプレイ原理をＭＲ装置に適用するかは、本発明によって解決されるべき技術的な問題である。

【課題を解決するための手段】

【0004】

本発明は、安価なＭＲ装置を製造することができ、豊富なＭＲ相互作用効果を柔軟に与えることができるモジュラー型ＭＲ装置の撮像方法を提供する。

【0005】

本発明は以下の技術的解決策を採用している。

【0006】

モジュラー型ＭＲ装置撮像方法であって、ＭＲ装置は、ＭＲ計算モジュール、ＭＲ光路モジュール、およびＭＲ姿勢モジュールを含み、ＭＲ計算モジュールは、ディスプレイアセンブリを含み、ＭＲ姿勢モジュールは、撮像アセンブリとＩＭＵアセンブリとを含み、撮像アセンブリは、ディスプレイアセンブリの予め設定された角度方向の画像データを取得するように構成され、ＩＭＵアセンブリは、ＭＲ装置の姿勢データを収集するように構成され、ＭＲ計算モジュールは、ＭＲ姿勢モジュールに接続され、ＭＲ姿勢モジュールによって取得された画像データおよび姿勢データに従ってディスプレイアセンブリの表示内容を調整し、

【0007】

ＭＲ光路モジュールは、仮想画像光路と混合光路とを含み、仮想画像光路はディスプレイアセンブリに接続され、混合光路の入力端は仮想画像光路に接続され、出力端は観察端であり半透明・半反射鏡が混合光路上に提供され、半透明・半反射鏡の一方の面は、実画像導入面であり、鏡のもう一方の面は仮想画像導入面であり、実画像導入面は実環境に面しており、仮想画像導入面は仮想画像光路に面し、ディスプレイアセンブリの表示内容は、仮想画像を形成するために仮想画像光路によって処理および伝達され、仮想画像光は仮想画像導入面により観察端上に反射され、実環境光は実画像導入面により、観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する、モジュラー型ＭＲ装置撮像方法。

【0008】

ＭＲ計算モジュールはメインスマートフォンであり、ディスプレイアセンブリはメインスマートフォンのディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと補助ＩＭＵアセンブリとからなる。メインＩＭＵアセンブリは、ディスプレイアセンブリの姿勢データを収集し、メインスマートフォン内で構成される。補助ＩＭＵアセンブリは、メインスマートフォンに無線接続された１つ以上の制御装置内で構成され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置に配置されたカメラである。

【0009】

ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォンはＭＲヘッドマウントメカニズムに固定され、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、制御装置は、ゲームコントローラ、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、もしくはユーザーの手足に結びつけられた補助電話のいずれかである。

【0010】

ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、フィールドレンズは２つのフレネルレンズからなり、メインスマートフォンは、静置板の上に水平に置かれる。ＭＲヘッドマウントメカニズムが動作している間は、メインスマートフォンはＶＲ分割画面モード画像を、水平二分割画面の形で表示し、二分割画面の画像光は、全反射鏡を介して２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光は予め設定された画角を有する２つの仮想画像光路を形成する。仮想画像光は仮想画像導入面を介して観察端上に反射され、実環境光は記実画像導入面を介して観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成する。

【0011】

メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォンの姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォンの姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、姿勢画像として画像を連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整する。

【0012】

水平二分割画面の形式で表示される画像は、仮想キャラクターと制御識別子とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。

【0013】

メインスマートフォンは、外部装置とネットワークによって接続され、水平二分割画面の形式で表示された画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれの実装を実行する。

【0014】

撮像方法は、以下のステップを順次含む。

【0015】

ユーザーが、ＭＲアプリケーションが予めインストールされているメインスマートフォンをＭＲヘッドマウントメカニズムの静置板に固定し、同じくＭＲアプリケーションが予めインストールされたスマートフォンである補助電話を保持するステップＡ１と、

【0016】

ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、

【0017】

メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端上に反射され、実環境光は実画像導入面により、観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、

【0018】

メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、画像を姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整するように構成されたステップＡ４と、

【0019】

ユーザーは補助携帯電話を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、補助電話上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集するように構成され、制御端末は補助電話の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするように構成されるステップＡ５と、

【0020】

ＭＲ計算モジュールは、補助電話の姿勢データおよび位置データに従って複合現実感画像上に制御識別子を生成するように構成され、制御識別子は補助電話の移動とともに移動し、複合現実感画像上の制御識別子が、仮想キャラクターと接触しているかまたは隣接するときに、仮想キャラクターが制御識別子と対話するステップＡ６と、

【0021】

仮想キャラクターが外部装置に対応し、仮想キャラクターが制御識別子と対話しているとき、外部装置は対話内容に従って対応する実装を実行するステップＡ７と、を順次含む。

【0022】

メインスマートフォンおよび補助電話は、単眼視覚慣性走行距離計法によって統合空間位置特定データを生成し共有し、単眼視覚慣性走行距離計法は；

【0023】

メインスマートフォンおよび補助電話が、それぞれ姿勢画像を生成するカメラによって画像を収集するように構成され、メインスマートフォンおよび補助電話は、それぞれ内蔵されたＩＭＵアセンブリによって姿勢データを収集するように構成され、メインスマートフォンおよび補助電話は、それぞれ姿勢画像と姿勢データとを関連付け、それぞれの空間画像関連付けデータを形成し、メインスマートフォンおよび補助電話は、ネットワーク接続を介してそれぞれの空間画像関連データを集約して、メインスマートフォンおよび補助電話内に統合空間画像関連データベースを生成するステップＢ１と、

【0024】

メインスマートフォンおよび補助電話が移動中に姿勢画像および姿勢データを順次収集し、収集した姿勢画像および姿勢データをそれぞれ空間画像関連データベースに追加して関連付けるステップＢ２と、

【0025】

移動中、メインスマートフォンおよび補助電話が、収集された姿勢画像および姿勢データを空間画像関連データベースのそのデータと比較して、現在の空間における電話の正確な位置を取得し、電話の軌道および姿勢の変化を予測するステップＢ３と、

【0026】

メインスマートフォンおよび補助電話が移動中に空間画像関連データベースを読み込み、収集した姿勢画像を、同じ座標および同じ姿勢から収集された過去Ｎの時間フレームにおける姿勢画像および姿勢データと比較し、収集された姿勢画像と過去Ｎの時間フレーム内の姿勢画像および姿勢データとの間に差異があるときに空間画像関連データベースを更新するステップＢ４と、

【0027】

ステップＢ３およびＢ４において、メインスマートフォンおよび補助電話が、データを予め設定された許容範囲閾値と比較および検証して、空間位置の効率および堅牢性を向上させるステップＢ５と、を含む。

【0028】

ＭＲヘッドマウントメカニズムはシートで構成され、シートに、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃを備え、折り畳み部Ａは、半透明・半反射鏡およびフィールドレンズで固定され、折り畳み部Ｂは全反射鏡で固定され、折り畳み部Ｃには静置板が設けられ、静置板は、メインスマートフォンの後部カメラによって外部画像を収集するための観察孔を備える。

【0029】

ＭＲヘッドマウントメカニズムを準備する方法は、

【0030】

レンズが菱形頂点の接続線に位置するように、折り畳み部Ａおよび折り畳み部Ｂを菱形柱に折り畳み、菱形柱の一側面は開放されて画像光の入射面であり、他の三側面は閉鎖されて観察孔壁、半透明・半反射鏡壁および全反射鏡壁をそれぞれ形成し、画像光の入射面は全反射鏡壁に面し、全反射鏡壁は全反射鏡を備え、観察孔は観察孔壁に位置し、観察孔に面する菱形柱の側壁は半透明・半反射鏡であり、半透明・半反射鏡は半透明・半反射鏡壁に位置するステップＢ１と、

【0031】

折り畳み部Ａで遮光板を広げ、観察孔壁に遮光板を挿入するステップＢ２と、

【0032】

折り畳み部Ｃを広げ、後部カメラを有するメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光画像の入射面に折り畳み、観察端は観察孔を含み、そこではメインスマートフォンが水平二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。

【0033】

静置板の底部はダンパーで構成されており、静置板は、ベルクロ（登録商標）テープまたはバックルを介してハウジングに取り外し可能に連結され、静置板はハウジングに固定的に連結されている。

【0034】

ＭＲ計算モジュールはメインスマートフォンであり、ディスプレイアセンブリはメインスマートフォンのディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと０個以上の補助ＩＭＵアセンブリとから構成され、メインＩＭＵアセンブリは、ディスプレイアセンブリの姿勢データを収集し、メインスマートフォン内で構成され、補助ＩＭＵアセンブリは、メインスマートフォンに無線で接続された１つ以上の制御装置に配置され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置の位置にあるカメラでオプションである。

【0035】

ＭＲ光路モジュールはパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォンはＭＲヘッドマウントメカニズムに固定され、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、ユーザーの手足に結び付けられた補助電話のいずれかる。

【0036】

ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、フィールドレンズは２つのフレネルレンズによって組み合わされ、メインスマートフォンは、静置板上に水平に置かれ、ＭＲヘッドマウントメカニズムが作動しているときにメインスマートフォンが横方向の二分割画面の形式でＶＲ分割画面モード画像を表示し、二分割画面の画像光が全反射鏡によって２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面により観察端に反射され、実環境光は実像導入面により観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する。

【0037】

メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォンの姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォン姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、連続的に特徴点の姿勢画像として画像を収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションとメインスマートフォンの姿勢データのバリエーションとに基づいてメインスマートフォンの空間位置を算出し、その空間位置に基づいて二分割画面上の画像を調整する。

【0038】

水平方向の二分割画面の形式で表示される画像は、仮想キャラクターと制御識別子とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリまたは補助撮像アセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子の空間位置を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。

【0039】

【0040】

撮像方法は、

【0041】

【0042】

ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、

【0043】

メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端上に反射され、実環境光は実画像導入面によって観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、

【0044】

メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、画像を特徴点の姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従ってメインスマートフォンの空間位置を計算し、空間位置に基づいて、二分割画面上の画像を調整するステップＡ４と、

【0045】

制御装置がスマートフォンである場合、ユーザーは制御装置を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、制御装置上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集し、制御端末は制御装置の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするステップＡ５と、

【0046】

ＭＲ計算モジュールは、補助電話の姿勢データおよび位置データに従って複合現実感画像上に制御識別子を生成し、制御識別子は補助電話の移動とともに移動し、複合現実感画像上の制御識別子が、仮想キャラクターと接触しているかまたは隣接するときに、仮想キャラクターが制御識別子と対話するステップＡ６と、

【0047】

【0048】

ＭＲヘッドマウントメカニズムは薄いシートで構成され、シートには、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、および折り畳み部Ｃがあり、折り畳み部Ａは、半透明・半反射鏡およびフィールドレンズで固定され、折り畳み部Ｂは全反射鏡で固定され、折り畳み部Ｃには静置板が設けられ、静止板は、メインスマートフォンの後部カメラによって外部画像を収集するための観察孔を備えて構成される。

【0049】

ＭＲヘッドマウントメカニズムを準備する方法は、

【0050】

【0051】

折り畳み部Ａで遮光板を広げ、観察孔壁に遮光板を挿入するステップＢ２と、

【0052】

【発明の効果】

【0053】

本発明はモジュラー型設計を採用しており、ＭＲ装置の光路は再生源に依存しない。装置は、再生源として機能する携帯電話のディスプレイ機能が、ＭＲヘッドマウントメカニズムの光路の対応範囲に適合していれば使用が可能である。ＭＲヘッドマウントメカニズムのハウジングは、電子機器なしで構成することができ、またはスマートフォンに適合する数個のセンサーのみを装備して、それによってＭＲメガネの製造コストを大幅に削減することができる。

【0054】

本発明では、ＭＲ装置の仮想ビデオ源は、ＭＲ装置が使用されるときにＭＲ装置の一部としてＭＲ装置の静置板内に置かれるスマートフォンであるため、ＭＲ装置の対話型機能はスマートフォンのハードウェアとソフトウェアのパフォーマンスのアップグレードにより改善し得る。さらに、ハードウェア電話をアップグレードするか、単に電話アプリケーションを内部的に更新することで、ＭＲ装置の機能をアップグレードすることができ、従来のＭＲ装置を装置の供給者と結び付ける必要性を回避し、アップグレードプロセスがより便利で経済的になる。例えば、スマートフォンが磁力計、ジャイロスコープ、および加速度センサーを搭載している場合、ＭＲディスプレイのアプリケーションを利用してスマートフォンがこれらのセンサーを介して機能することができれば、複合現実感画像の位置を表示することができる。複合現実感画像の仮想画像はＭＲ装置の方向および動きと相互作用し、ＩＭＵアセンブリの機能性および収集性能が向上するとＭＲ装置の機能性も向上する。

【0055】

本発明では、ＭＲ装置の光路部分が薄いシートの折り畳み部からなるので、ＭＲメガネの価格および強度に対する様々な市場の要求を満たすために光路基板に異なる材料を使用することができる。

【0056】

本発明では、静置板は、画像プレーヤの後方カメラが外部画像を収集することができる観察孔を有するように構成され、画像プレーヤはスマートフォンであり、スマートフォンのカメラの撮影方向はＭＲ装置の実際の観察方向と同じであるため、ＭＲ装置の実際の観察方向は観察孔の方向である。本設計は、ＭＲ装置の仮想画像と電話機のカメラによって取り込まれた外部画像との間の相互作用を可能にする。電話機のカメラで取り込まれた画像は、観察孔を通して見た実画像とほぼ同じであるため、仮想画像が実画像と相互作用するとき、スマートフォンのＭＲディスプレイアプリケーションは仮想画像がそれに対応して対話することを可能にする。例えば、スマートフォンのＭＲディスプレイアプリケーションが仮想画像としてやかんを表示し、ＭＲ装置の観察孔が火に面した場合、スマートフォンのカメラは火の画像を収集してＭＲディスプレイアプリケーションに送信し、次に、アプリケーションは自動的にやかんを仮想画像中で沸騰した湯水の入ったやかんに変換する。

【0057】

本発明では、ディスプレイ用スマートフォンと制御用スマートフォンとが無線で接続された２つの独立した機器であるため、ＭＲ装置の制御性を大幅に拡張することができる。対応するＭＲアプリケーションを制御用スマートフォンまたはゲーム機にインストールするだけで、ゲームガン、シールド、グラブ、メカニカルアーム、その他のファイル制御アイコンなど、さまざまな制御識別子の複合現実感画像上に仮想ディスプレイを表示することができる。

【0058】

本発明では、ディスプレイ用スマートフォンと制御用スマートフォンまたはゲーム機が無線で接続された独立した機器であるため、ＭＲ装置の制御性を大幅に拡張することができる。対応するＭＲアプリケーションを制御用スマートフォンまたはゲーム機にインストールするだけで、ゲームガン、シールド、グラブ、メカニカルアーム、その他のファイル制御アイコンなど、さまざまな制御識別子の複合現実感画像上に仮想ディスプレイを表示することができる。

【0059】

本ＭＲ装置の光路モジュールは薄いシートを折りたたんで構成されているので、コストは極めて低い。さらに、コンピューティングおよび制御装置がソフトウェアのインストールが可能なスマートフォンであるため、ユーザーはＭＲ装置の様々なモジュールを低コストで入手することができる。スマートフォン上のアプリケーションの設定機能を通して、ＭＲ装置はオフィスまたは家庭の設定と完全に統合するように考案することができ、従ってＭＲ装置の有用性を大いに改善する。例えば、ユーザーがＭＲヘッドマウントメカニズムを装着した後、ハンドヘルドスマートフォンを介してファイル制御アイコンを仮想的に制御し、原稿を複合現実状態でレビューし、それを印刷のために仕上げる。その後、ユーザーはファイル制御アイコンを操作して複合現実状態の仮想プリンタアイコンに直接移動させることができる。仮想プリンタアイコンは実際のプリンタに割り当てられるので、ファイル制御アイコンと仮想プリンタアイコンとの相互作用は印刷コマンドを送信することと同等であり、実際のプリンタは直接印刷コマンドを実行する。

【図面の簡単な説明】

【0060】

本発明は、添付の図面および特定の実施形態を参照して以下にさらに詳細に説明される。

【0061】

【図1】図１は本発明の概略図である。

【0062】

【図2】図２は別の方向から見た本発明の概略図である。

【0063】

【図3】図３は本発明の光路の概略図である。

【0064】

【図4】図４は本発明のレンズの概略構成図である。

【0065】

【図5】図５は本発明のハウジングの折り畳み過程を示す概略図である。

【0066】

【図6】図６は本発明の斜視図である。

【0067】

【図7】図７は本発明の別の斜視図である。

【0068】

【図8】図８は本発明による水平二分割画面の形式でＶＲ分割画面モードで画像を再生するメインスマートフォンを示す概略図である。

【符号の説明】

【0069】

図において：１-ＭＲ光路モジュール；２-全反射鏡；３-フィールドレンズ；４-半透明・半反射鏡；５-静置板；６-遮光板；６０１-観察端；７-ダンパー；ａ-ＭＲ計算モジュール；

【0070】

１０１-フレネルレンズ；１０２-観察孔；１０３-折り畳み部Ｃ；１０４-折り畳み部Ａ；１０５-折り畳み部Ｂ；１０６-メインスマートフォン；１０７-制御識別子；１０８-仮想キャラクター；１０９-ディスプレイアセンブリ。

【発明を実施するための形態】

【0071】

図１－８はモジュラー型ＭＲ装置の撮像方法を示す。ＭＲ装置は、ＭＲ計算モジュールＡ、ＭＲ光路モジュール１、およびＭＲ姿勢モジュールを含み、ＭＲ計算モジュールＡはディスプレイアセンブリ１０９を含み、ＭＲ姿勢モジュールは撮像アセンブリとＩＭＵアセンブリとを含み、撮像アセンブリはディスプレイアセンブリの予め設定された角度方向にディスプレイアセンブリ上の画像を収集するように構成され、ＩＭＵアセンブリはＭＲ装置の姿勢データを収集するように構成され、ＭＲ計算モジュールは、ＭＲ姿勢モジュールに接続され、ＭＲ姿勢モジュールによって取得された画像データおよび姿勢データに従ってディスプレイアセンブリの表示内容を調整する。

【0072】

ＭＲ光路モジュール１は、仮想画像光路と混合光路とを含み、仮想画像光路はディスプレイアセンブリに接続され、混合光路の入力端は仮想画像光路に接続され、その出力端は観察端であり、半透明・半反射鏡４が混合光路上に構成され、半透明・半反射鏡４は、一方の面に実画像導入部、他方の面に仮想画像導入部を備えて構成され、実画像導入面は実環境に面しており、仮想画像導入面は仮想画像光路に面し、ディスプレイアセンブリの表示内容は、仮想画像光路によって処理され、仮想画像を形成するために伝達され、仮想画像光は仮想画像導入面により観察端に反射され、実環境光は実画像導入面により、観察端６０１に伝達され、仮想画像と混合されて複合現実感画像を形成する。

【0073】

ＭＲ計算モジュールはメインスマートフォン１０６であり、ディスプレイアセンブリは、メインスマートフォン１０６のディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと補助ＩＭＵアセンブリとを含み、メインＩＭＵアセンブリは、ディスプレイアセンブリの姿勢データを収集し、メインスマートフォン内で構成され、補助ＩＭＵアセンブリは、メインスマートフォンに無線で接続された１つ以上の制御装置の位置で構成され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置の位置で構成されるカメラである。

【0074】

ＭＲ光路モジュール１はパッシブＭＲヘッドマウントメカニズムであり、メインスマートフォン１０６はＭＲヘッドマウントメカニズム１に固定され、メイン撮像アセンブリは、メインスマートフォンの後部カメラであり、制御装置は、ゲームコンソールハンドル、手もしくは足に装着可能なウェアラブル装置、ＭＲヘッドマウントメカニズムに固定されたセンサーおよび制御装置、またはユーザーによって保持されるか、ユーザーの手足に結び付けられた補助電話のいずれかである。

【0075】

ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板５、全反射鏡２およびフィールドレンズ３を含み、フィールドレンズ３は２つのフレネルレンズ１０からなり、メインスマートフォン１０６は、静置板５の上に水平に置かれる。ＭＲヘッドマウントメカニズムが作動している間、メインスマートフォンは、ＶＲ分割画面モード画像を水平二分割画面の形式で表示し、二分割画面の画像光が全反射鏡によって２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させ、その結果、画像光が予め設定された画角を有する二つの仮想画像光路を形成し、仮想画像光は仮想画像導入面を介して観察端に反射され、実環境光は実画像導入面を介して観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成する。

【0076】

メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォン１０６の姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォン姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、姿勢画像として画像を連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整する。

【0077】

横方向の二分割画面の形式で表示される画像は、仮想キャラクター１０８と制御識別子１０７とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。

【0078】

メインスマートフォンは、外部装置とネットワークによって接続され、横方向の二分割画面の形式で表示された画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれの実装を実行する。

【0079】

撮影方法は、

【0080】

ユーザーが、ＭＲアプリケーションが予めインストールされているメインスマートフォン１０６をＭＲヘッドマウントメカニズムの静置板に固定し、同じくＭＲアプリケーションが予めインストールされたスマートフォンである補助電話を保持するステップＡ１と、

【0081】

ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、

【0082】

メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは横方向の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズは二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端に反射され、実環境光は実画像導入面によって観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、

【0083】

メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中に、画像を姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従って二分割画面上の画像を調整するステップＡ４と、

【0084】

ユーザーは補助携帯電話を複合現実感画像の特定の点まで持ち上げ、補助電話上でＭＲアプリケーションを起動し、それを制御端末として設定し、補助電話上の補助ＩＭＵアセンブリは、補助電話の姿勢データおよび位置データを収集し、制御端末は補助電話の姿勢データおよび位置データを制御端末に無線で接続されているディスプレイ端末にアップロードするステップＡ５と、

【0085】

【0086】

【0087】

メインスマートフォンおよび補助電話は、単眼視覚慣性走行距離計法によって統合空間位置特定データを生成し共有し、単眼視覚慣性走行距離計法は、

【0088】

メインスマートフォンおよび補助電話が、それぞれ姿勢画像を生成するためにカメラによって画像を収集するように構成され、メインスマートフォンおよび補助電話は、それぞれ内蔵されたＩＭＵアセンブリによって姿勢データを収集し、メインスマートフォンおよび補助電話は、それぞれ姿勢画像と姿勢データとを関連付け、それぞれの空間画像関連付けデータを形成し、メインスマートフォンおよび補助電話機は、ネットワーク接続を介してそれぞれの空間画像関連データを集約して、メインスマートフォンおよび補助電話内に統合空間画像関連データベースを生成するステップＢ１と、

【0089】

【0090】

【0091】

【0092】

【0093】

ＭＲヘッドマウントメカニズムはシートで構成され、シートは、長さに沿って折り畳み部Ａ１０４、折り畳み部Ｂ１０５、および折り畳み部Ｃ１０６を備え、折り畳み部Ａ１０４は、半透明・半反射鏡とフィールドレンズで固定され、折り畳み部Ｂ１０５は全反射鏡で固定され、折り畳み部Ｃ１０６には静置板が設けられ、静置板５は、メインスマートフォン１０６の後部カメラによって外部画像を収集するための観察孔を備える。

【0094】

ＭＲヘッドマウントメカニズムを準備する方法は、

【0095】

【0096】

折り畳み部Ａで遮光板６を広げ、観察孔壁に遮光板６を挿入するステップＢ２と、

【0097】

折り畳み部Ｃを広げ、後部カメラのあるメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光の入射面に折り畳み、観察端は観察孔１０２を含み、そこではメインスマートフォンが横方向の二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。

【0098】

静置板５の底部はダンパー７で構成されており、静置板は、ベルクロ（登録商標）テープまたはバックルを介してハウジングに取り外し可能に連結され、静置板はハウジングに固定的に連結されている。

【0099】

本発明の別の技術的解決策では、ＭＲ計算モジュールはメインスマートフォンであり、ディスプレイアセンブリは、メインスマートフォンのディスプレイモジュールであり、ＩＭＵアセンブリは磁力計、ジャイロスコープおよび加速度計を含み、ＩＭＵアセンブリはメインＩＭＵアセンブリと０個以上の補助ＩＭＵアセンブリを備え、メインＩＭＵアセンブリはディスプレイアセンブリの姿勢データを収集し、メインＩＭＵアセンブリはメインスマートフォン内に配置され、補助ＩＭＵアセンブリは、メインスマートフォンに無線で接続された１つ以上の制御装置に配置され、補助ＩＭＵアセンブリは、１つ以上の制御装置の姿勢データまたは位置データを収集し、姿勢データは、姿勢角、角速度または加速度データを含み、撮像アセンブリは、メイン撮像アセンブリと補助撮像アセンブリとを含み、メイン撮像アセンブリはメインスマートフォンの後部カメラであり、補助撮像アセンブリは制御装置の位置にあるカメラでオプションである。

【0100】

【0101】

ＭＲヘッドマウントメカニズムの仮想画像光路は、静置板、全反射鏡およびフィールドレンズを含み、フィールドレンズは２つのフレネルレンズからなり、ここでメインスマートフォンは、静置板上に水平に置かれ、ＭＲヘッドマウントメカニズムが作動しているときにメインスマートフォンが横方向の二分割画面の形式でＶＲ二分割画面モードの画像を表示し、続いて二分割画面の画像光が全反射鏡によって２つのフレネルレンズ上に反射され、続いて２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が予め設定された視角を有する二つの仮想画像光路を形成し、仮想画像光は仮想画像導入面により観察端に反射され、実環境光は実像導入面により観察端に伝達され、仮想画像と混合されて複合現実感画像を形成する。

【0102】

メインスマートフォンの後部カメラの方向は、ＭＲヘッドマウントメカニズムの方向であり、ディスプレイアセンブリの姿勢データは、メインスマートフォンの姿勢データであり、メインスマートフォンのＩＭＵアセンブリはメインスマートフォンの姿勢データを収集し、ＭＲヘッドマウントメカニズムが動作している場合、メインスマートフォンの後部カメラは、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中、連続的に特徴点の姿勢画像として画像を収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションとメインスマートフォンの姿勢データのバリエーションとに基づいてメインスマートフォンの空間位置を算出し、その空間位置に基づいて二分割画面上の画像を調整する。

【0103】

横方向の二分割画面の形式で表示される画像は、仮想キャラクターと制御識別子とを含み、ＭＲ計算モジュールは、補助ＩＭＵアセンブリまたは補助撮像アセンブリによってアップロードされた制御装置の姿勢データおよび位置データに従って制御識別子の空間位置を生成し、制御識別子は制御装置の移動と共に移動し、仮想キャラクターは制御識別子と対話できる。

【0104】

メインスマートフォンは、外部装置とネットワークによって接続され、横方向の二分割画面の形式で表示された前画像に含まれる仮想キャラクターおよび制御識別子は、複合現実感画像の一部であり、仮想キャラクターは外部装置に対応し、仮想キャラクターが制御識別子と対話するとき、外部装置は対話内容に従ってそれぞれ実行する。

【0105】

撮影方法は、以下のステップを順次含む。

【0106】

【0107】

ユーザーがＭＲヘッドマウントメカニズムを装着し、複合現実感画像を観察するために目を観察端に近づけるステップＡ２と、

【0108】

メインスマートフォンのＭＲアプリケーションを起動して、メインスマートフォンをディスプレイ端末として設定し、メインスマートフォンは水平の二分割画面の形式で画像を表示し、二分割画面の画像光は全反射鏡によって２つのフレネルレンズ上に反射され、２つのフレネルレンズが二分割画面の画像光を屈折させて、その結果、画像光が、予め設定された画角を有する２つの仮想画像光路を形成し、仮想画像光は仮想画像導入面によって観察端に反射され、実環境光は実画像導入面によって観察端に伝達され、仮想画像光と混合されて複合現実感画像を形成するステップＡ３と、

【0109】

メインスマートフォンの後部カメラが、ＭＲヘッドマウントメカニズムの初期方向での実シーンの特徴点を収集し、ＭＲヘッドマウントメカニズムの作動中に、画像を特徴点の姿勢画像として連続的に収集し、ＭＲ計算モジュールは、姿勢画像における特徴点のバリエーションおよびメインスマートフォンの姿勢データのバリエーションに従ってメインスマートフォンの空間位置を計算し、空間位置に基づいて、二分割画面上の画像を調整するステップＡ４と、

【0110】

【0111】

【0112】

仮想キャラクターが外部装置に対応し、仮想キャラクターが制御識別子と対話しているとき、外部装置は対話内容に従って対応する実装を実行するステップＡ７、を順次含む。

【0113】

ＭＲヘッドマウントメカニズムは薄いシートで構成され、シートには、長さに沿って折り畳み部Ａ、折り畳み部Ｂ、折り畳み部Ｃがあり、折り畳み部Ａは、半透明・半反射鏡およびフィールドレンズで固定され、折り畳み部Ｂは全反射鏡で固定され、折り畳み部Ｃには静置板が設けられ、静止板は、メインスマートフォンの後部カメラによって外部画像を収集するための観察孔を備える。

【0114】

ＭＲヘッドマウントメカニズムを準備する方法は、

【0115】

【0116】

折り畳み部Ａで遮光板を広げ、観察孔壁に遮光板を挿入するステップＢ２と、

【0117】

折り畳み部Ｃを広げ、後部カメラを有するメインスマートフォンを静置板の上に置き、後部カメラが静置板の観察穴に合うようにし、次いで、折り畳み部Ｃを菱形柱の光画像の入射面に折り畳み、観察端は観察孔を含み、そこではメインスマートフォンが横方向の二分割画面の形式でＶＲ分割画面モードの画像を表示するときに、電話の画面画像を外部画像と混合することによって形成される複合現実感画像を見ることができるステップＢ３と、を含む。

【0118】

本実施例では、ユーザーがメインスマートフォンおよび補助スマートフォンによって共有される統一された空間位置データに統一された座標系の原点を設定する必要がある場合、考えられる方法の１つは、デバイスが最初に使用されるときにメインスマートフォンと補助スマートフォンとが同じターゲット上で初期姿勢を収集するようにし、初期姿勢の特徴点を座標系の原点として識別してマークできるようにすることである。

【0119】

実施例：

【0120】

ユーザーのメインスマートフォンおよび補助スマートフォンにＭＲアプリケーションをインストールし、メインスマートフォンをＭＲヘッドマウントメカニズムの静置板に固定し、補助スマートフォンを手で保持する。

【0121】

ユーザーがＭＲヘッドマウントメカニズムを装着した後、ハンドヘルド補助スマートフォンは制御ハンドルとして機能し、補助スマートフォンは仮想的に複合現実の中に表示されているファイルアイコンを操作する。

【0122】

観察孔１０２と半透明・半反射鏡４を介して、ユーザーは複合現実内で実環境の紙原稿を直接的にレビューする。紙原稿はファイル制御アイコンに関連付けられ、ファイル制御アイコンは紙原稿の対応するコンピュータファイルに関連付けられる。

【0123】

ユーザーが印刷するために、複合現実における原稿のレビューおよび仕上げを終了した後、ユーザーは次に、ハンドヘルド補助スマートフォンを使用して、ファイル制御アイコンを複合現実における仮想プリンタアイコン上まで直接的に操縦することができる。仮想プリンタのアイコンは実際のプリンタに関連付けられているため、ファイル制御アイコンと仮想プリンタのアイコンとの相互作用は、ユーザーの正式な印刷コマンドと同等であり、オフィスにある実際のプリンタは直接的に印刷ジョブを実行する。

【図1】