特許 7493494 スマートフォン支援型携帯拡張現実感（ＡＲ）デバイスおよびユーザの眼鏡に調整可能に取り付けるためのクリップオンユニット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-23

(45)【発行日】2024-05-31

(54)【発明の名称】スマートフォン支援型携帯拡張現実感（ＡＲ）デバイスおよびユーザの眼鏡に調整可能に取り付けるためのクリップオンユニット

(51)【国際特許分類】

   G02B 27/02 20060101AFI20240524BHJP

   H04N 5/64 20060101ALI20240524BHJP

   H04M 1/72412 20210101ALI20240524BHJP

   G02C 11/00 20060101ALI20240524BHJP

【ＦＩ】

G02B27/02 Z

H04N5/64 511A

H04M1/72412

G02C11/00

【請求項の数】 18

(21)【出願番号】P 2021513029

(86)(22)【出願日】2019-05-07

(65)【公表番号】

(43)【公表日】2021-09-09

(86)【国際出願番号】 IL2019050522

(87)【国際公開番号】W WO2019215739

(87)【国際公開日】2019-11-14

【審査請求日】2022-05-07

(31)【優先権主張番号】259276

(32)【優先日】2018-05-10

(33)【優先権主張国・地域又は機関】IL

【前置審査】

(73)【特許権者】

【識別番号】520439807

【氏名又は名称】ベーライド エルティディー

(74)【代理人】

【識別番号】100091465

【弁理士】

【氏名又は名称】石井 久夫

(72)【発明者】

【氏名】ラピドット，ジーブィ

(72)【発明者】

【氏名】ティロシ，ユード

(72)【発明者】

【氏名】アルノン， オデッド

(72)【発明者】

【氏名】サメット，ウリ

【審査官】堀部 修平

(56)【参考文献】

【文献】特開２０１７－０２２６６８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１６９０４９（ＵＳ，Ａ１）

【文献】国際公開第９７／０３４１８２（ＷＯ，Ａ１）

【文献】特開２０１２－２０３１１４（ＪＰ，Ａ）

【文献】特開２０１７－２２８３００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２３８８５０（ＵＳ，Ａ１）

【文献】特開２０１３－０４４８３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ２７／０１ － ２７／０２

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

着脱可能な眼鏡装着型拡張現実（オーギュメンテッド・リアリティ：AR）装置と、前記AR 装置に装着された又は取り付け可能なクリップオンユニットとを備え、 前記AR装置は、 クリップオンユニットを支持するように構成されたハウジングと、 ユーザーが情景シーンを観察するための、ハウジング内の出口窓および入口窓と、 携帯通信装置に通信結合するための通信インターフェースと、 前記通信インターフェースに通信結合された前記ハウジング内に、ユーザーの視野に表示するための画像を前記携帯通信装置から受信するためのマイクロディスプレイと、 前記入口窓、シースルー光学素子、前記出口窓、および対物レンズを含むハウジング内の光学系手段とを備え、前記対物レンズはローカルユーザーによって見られる外部の情景シーンに重ねるために画像を遠くに投影するように構成され、前記クリップオンユニットは、前記AR装置を前記ローカルユーザーが装着するメガネフレームの前に着脱可能に取り付けるためのアタッチメントを有し、前記出口窓を前記ユーザーの視線に合わせるために、前記アタッチメントを移動させずに前記AR装置を前記メガネフレームに対して横方向に変位させることが可能であり、前記クリップオンユニットは、ローカルユーザーによって着用される眼鏡の前に取り付けるために適合された第1の部材および前記AR装置の取り付けブラケットに取り付け可能である第２の部材を備え、該第２の部材は出口窓をユーザーの視線に合わせるために、取り付けられたAR装置を前記眼鏡の接眼レンズに対して横方向に移動させることができるように、前記第1の部材に対して移動可能であることを特徴とするシステム。

【請求項2】

前記クリップオンユニットは、眼鏡フレームの前面に取り付けるように構成されている、請求項１に記載のシステム。

【請求項3】

前記対物レンズは、マイクロディスプレイの平面上に位置する焦点面を有し、マイクロディスプレイの画像が無限遠で作成されるようにし、前記出口窓は、シースルー光学素子を介してマイクロディスプレイおよび入口窓の両方に光学的に結合され、情景シーンに投影された画像をユーザーの目に伝え、これにより、ユーザーは、シースルー光学系を通して、画像が前記外部の情景シーン内の特徴に重畳された実際の情景シーンを見るようになっている、請求項１に記載のシステム。

【請求項4】

前記ハウジングは、前記AR装置が他方の目の視界を妨げることなく、前記出口窓が前記ユーザーの片方の目と整列するように構成される、請求項１に記載のシステム。

【請求項5】

前記マイクロディスプレイが、リモートユーザーからそれに伝達された情報を表示するように構成される、請求項１に記載のシステム。

【請求項6】

前記マイクロディスプレイは、視線誘導ユニットとして動作するように構成されている、 請求項５に記載のシステム。

【請求項7】

前記視線誘導ユニットはレチクル（reticle）を含む、請求項６に記載のシステム。

【請求項8】

前記AR装置の動き、ひいてはユーザーの頭部の動きを追跡するために、前記通信インターフェースに結合されたIMU（慣性磁気ユニット）をさらに含む、請求項１に記載のシステム 。

【請求項9】

前記通信インターフェースは無線である、請求項１に記載のシステム。

【請求項10】

前記通信インターフェースは有線である、請求項１に記載のシステム。

【請求項11】

さらに、カメラ窓を通してユーザーによって観察されるシーンを撮像するために前記通信インターフェースに結合されたハウジング内にカメラを備え、前記情景シーンの画像を前記携帯通信装置に伝えるように構成された、請求項１に記載のシステム。

【請求項12】

さらに、携帯通信装置を含み、該携帯通信装置は、カメラ画像とデジタルマークとの重ね合わせを表示するように構成されたタッチスクリーンを有し、カメラ視野の中心のx- yオフセットを決定するためにデジタルマークに対してタッチスクリーン上の画像をドラッグするための入力手段を備えるように構成される、請求項１１に記載のシステム。

【請求項13】

請求項１２に記載のシステムの使用方法であって、ローカルユーザーによって装着された 眼鏡フレームに取り付けられた拡張現実AR装置内で、ローカルユーザーとカメラによって見られるそれぞれの視野を整列させ、カメラ及びローカルユーザーが異なる窓を介して情景シーンを見て、ローカルユーザーの視線を情景シーン内の関心のある第1の特徴に向けるように情景シーンに投影されたマーカと整列させてローカルユーザーの目が情景シーンを見るにあたり、当該方法は、出口窓をローカルユーザーの視線に整合させるために、装置のクリップユニットをメガネフレームに対して横方向に変位させるステップと、 カメラによって観察された情景シーンを第1のデジタル画像として補足するステップと、 カメラからの情景シーンの第1のデジタル画像を携帯通信装置に伝達し、そのタッチスク リーン上に表示するステップと、タッチスクリーン上で、関心のある第1の特徴と正しい空間的位置関係にあるインジケータを重畳するステップと、 必要に応じて、インジケータが第1の特徴に整列するまで第1のデジタル画像をドラッグするステップと。 これにより、ローカルユーザーとカメラによって見られるそれぞれの視野が整列されることを特徴とする方法。

【請求項14】

AR装置を装着したローカルユーザーとリモートユーザーとの間でデジタル画像をインタラクティブに伝達するための、請求項１２に記載のシステムを使用する方法であって、該方法は、 請求項１３に記載の方法を実施して、ローカルユーザーと前記ハウジング内のカメラとによって見られるそれぞれの視野を整列させるステップと、 第1のデジタル画像をリモートユーザーによって見られるディスプレイ装置に伝達し 、リモートユーザーが、 ローカルユーザーによって観察されるのと同様の空間的位置合わせで前記情景シーンと及び関心のある第1の特徴を見るようにするステップと、を含むことを特徴とする方法。

【請求項15】

さらに、前記情景シーンの前記第1のデジタル画像に重畳されるように、前記マイクロディスプレイ上に表示するためのナビゲーションエイドを、前記携帯通信装置で受信し、前記情景シーンにおける関心のある第2の特徴に前記ローカルユーザーを導く請求項１４に記載の方法。

【請求項16】

前記ナビゲーションエイドは、前記関心のある第2の特徴と整列して前記第1のデジタル画像上に重畳されるマークであることを特徴とする請求項１５に記載の方法。

【請求項17】

前記ナビゲーションエイドは、前記関心ある第2の特徴が前記第1のデジタル画像に存在しない場合、前記ローカルユーザーに前記視線を変更するように指示する、請求項１５に記載の方法。

【請求項18】

第3の画像が、前記リモートユーザーが使用するリモート通信装置から前記携帯通信装置に伝達される、請求項１４に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、光学ヘッドマウント型ディスプレイに関し、特に、ユーザの眼鏡に取り付けるためのポータブル拡張現実感(AR)デバイスに関する。

【背景技術】

【0002】

ARシステムは、ある期間、航空のためのヘルメット搭載システムとして実装されており、戦闘機パイロットが、現実にオーバーレイされたオブジェクト関連情報を指定し、表示することを可能にする。このような装置の一例は、Gentex Scorpion(商標)であり、これは、パイロットが、単に、関心のあるターゲットまたはポイントを「見る」ことによって、高度の精度でターゲットを指定することを可能にする。ARシステムは、Microsoft Hololens(商標)などのヘッドマウントシステムのようなアイウェアとしても使用されている。両方の実施は、高価であり、扱いにくい。サイズおよびコストを克服するために、Vuzix(登録商標)などの、AR機能を内蔵した専用の眼鏡も開発されている。例えば、Vuzix Blade https://www.vuzix.com/products/blade-smart-glasses を参照（非特許文献１）。

【0003】

HYPERLINK "https://www.vuzix.com/products/blade-smart-glasses"
さらなる試みには、標準的なアイウェアに組み込まれた着脱可能なモジュールの開発が含まれる。例えば、ソニー: https://techcrunch.com/2014/12/17/sony-glasses-attach/(Link) （非特許文献２）
およびArduino: https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter（非特許文献３）。これらのモジュールの両方は、側部に取り付けられ、すなわち、眼鏡フレームの側部アームに取り付けられ、AR情報をユーザの目に向けるための光学系を含む。ソニーモジュールは、シースルーではなく、したがって、AR情報を実際のシーンにオーバーレイすることはできない。Arduinoモジュールは参照スルーであるが、実際のシーンでAR情報を整列させるメカニズムは含まれていない。また、モジュールには、景観上にAR情報を投影するためのシースルーディスプレイも装備されている。これらの光学系、特にシースルーディスプレイは、ユーザの目の位置と位置合わせされる必要があり、ユーザは頭の形状、特に瞳孔距離(PD)が異なるので、モジュール設計は、目の位置に関係なく、モジュールが異なるユーザによって使用され得るように、この多様性を考慮に入れなければならない。1つの解決策は、広範囲のユーザに適合することができるように、眼球運動ボックスを増加させて光学系を設計することである。眼球運動ボックスまたは射出瞳は、ディスプレイ全体を見るために眼球を置くことができる領域である。このような解は光学設計を複雑にし、システムをより大きく重くする。別の可能な解決策は、光学系をユーザの目に対して左右に移動させるための位置合わせシステムを追加することであり得る。しかしながら、モジュールは眼鏡サイドアームに取り付けられているので、モジュールを左右に移動させるには、複雑でかさばる機構が必要となる。また、 HYPERLINK "https://techcrunch.com/2014/12/17/sony-glasses-attach/" HYPERLINK "https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter" サイドマウントモジュールの別の欠点は、ユーザの周辺視覚をブロックすることである。周辺視覚は、背景の感覚および状況認識を提供する際に、周辺の動きの識別において重要な役割を果たす。周辺視覚を遮断することは、ユーザに不便感を与え、場合によっては、ユーザの安全性に悪影響を及ぼすことがある。

【0004】

WO 2017/142480（特許文献１）は、ホスト眼鏡上またはヘルメット上に取り外し可能に取り付けられる、モジュール式ヘッドアップ拡張現実感(AR)ディスプレイシステムを開示している。このシステムは、プロセッサモジュールと、バッテリモジュールと、プロセッサとバッテリとの間に配置されたトランキングモジュールと、ディスプレイ(投影)モジュールとを含む。プロセッサおよびバッテリモジュールは、ホスト眼鏡の別個のテンプルピースに取り付け可能であり、一方、トランキングモジュールは、その前部フレーム部材に取り付け可能であり、バッテリをプロセッサに接続する役割を果たす。投影モジュールの本体は、ユーザの目に近接した透視プリズムを有する。

【先行技術文献】

【特許文献】

【0005】

【文献】WO 2017/142480

【非特許文献】

【0006】

【文献】Vuzix Blade https://www.vuzix.com/products/blade-smart-glasses

【文献】ソニー: https://techcrunch.com/2014/12/17/sony-glasses-attach/(Link)

【文献】Arduino: https://hackaday.io/project/12211-arduino-glasses-a-hmd-for-multimeter

【発明の概要】

【0007】

上記の制限の少なくともいくつかに対処するために、本発明は、眼鏡フレームの前面にクリップオンするように寸法決めされた着脱可能なARモジュールを提案する。ユーザの目に対するモジュールの左右の位置合わせは、クリップの一部であるコンパクトな機構によって行われる。その結果、シースルーディスプレイはユーザの目の前に正確に配置され、小さなサイズのアイモーションボックスで十分であり、コンパクトで低コストの光学系の設計を可能にする。これは、ユーザの周辺視野を制限することなく、また、ユーザの眼鏡のテンプルピースにディスプレイ光学系または電子機器のいずれかを取り付ける必要なしに達成され、したがって、このテンプルピースは、その接眼レンズが平坦または処方レンズを有するか、またはレンズを有さない従来の軽量眼鏡であってもよい。

【図面の簡単な説明】

【0008】

本発明を理解し、それが実際にどのように実行され得るかを見るために、添付の図面を参照して、非限定的な例としてのみ、実施形態を説明する:

【0009】

【図1】は本発明による装置を装着しているユーザの絵画的表現である;

【0010】

【図2】は本発明によるシステムの機能を示すブロック図である;

【0011】

【図3a】および

【図3b】は、それぞれ後方および前方から見たときの着脱可能な装置の絵画的表現である;

【0012】

【図3c】は後方から見たときの、取り外し可能な装置の部分的に切り取られた図であり、そこに含まれる光学系の部分的な詳細を示す;

【0013】

【図3d】は光学系の概略図である;

【0014】

【図4a】および

【図4b】は、それぞれ、装置をユーザの眼鏡の前面に取り付けるために使用されるクリップオンユニットの組み立てられた分解図を示す;

【0015】

【図5】は、マイクロディスプレイの画面上に現れ得る例示的な注釈を示す;

【0016】

【図6a】および

【図6b】は、それぞれ、無線構成および有線構成のデバイスのブロック図である;

【0017】

【図7】は、デバイスカメラの視野(FOV)を示す;

【0018】

【図8】は、デバイスカメラとスマートフォンディスプレイとの間の初期位置合わせのためにスマートフォン・アプリケーションと共に実行される手順の流れ図であり、

【0019】

【図9】は、遠隔ユーザに関心対象の位置を伝えるためにスマートフォン・アプリケーションと共に実行される手順の流れ図である。

【発明を実施するための形態】

【0020】

いくつかの実施形態の以下の説明では、2つ以上の図に現れるか、または同様の機能を共有する同一の構成要素は、同一の参照符号によって参照される。

【0021】

図1は、ローカルユーザ12を構成する観察者によって着用される眼鏡フレーム11の前部に着脱可能にクリップ装着される、本発明によるAR装置10を示す。このような手段により、装置は、ローカルユーザの目の前に直接取り付けられ、ユーザが出口窓13を通してシーンを観察することを可能にする。また、ローカルユーザは、着脱可能な装置10によって目に投影され、現実の場面に重ね合わされたグラフィック注釈（グラフィカル・アノテーション）を見ることができる。使用者の眼鏡のテンプルピース(サイドアーム)に装置またはその構成要素を取り付ける必要はない。

【0022】

図2は、典型的なシナリオにおいて装置10を使用するシステム20を概略的に示す。ローカルユーザ12は、インターネットなどの通信チャネル17を介して遠隔局16と通信するローカル局15に位置する。この目的のために、装置10は、例えば、Bluetooth^ＴＭ又はWiFiを介して、又はUSBケーブルのような有線接続を介して、ローカルのスマートフォン19に無線で通信する。遠隔局16に位置する遠隔ユーザ21は、スマートフォン22またはインターネットなどの通信インターフェースを有するPCなどの遠隔通信デバイスを使用して、ローカル局15と無線で通信する。
この構成の典型的な使用は、例えば、ローカルユーザ12が技術者修理装置であり、リモートユーザ21がより高いサポートレベルのエンジニアであるリモートサポートである。

【0023】

図3aは、装置10の背面図を示す絵画的表現である。ローカルユーザ12は、出口ウインドウ30を介して実シーンを見ると共に、このシーン上にオーバーレイされたグラフィカル・アノテーションを見る。これらの注釈は、マーク、テキスト、図形等を含むことができる。外付け装置は、ユーザのメガネの前面に装置10が刈り込まれることにより、後述の図4a及び図4bを参照しながら、クリップオン装置をサポートするための固定実装ブラケット32を備えたハウジング31を備えている。任意選択で、デバイス10をスマートフォン19に結合するために、USBコネクタ34が設けられる。

【0024】

図3bは、正面から見た、すなわちローカルユーザ12に向かって見た、取り外し可能な装置10の正面図を示す。ウインドウ36が設けられ、このウインドウを通して、装置の内部に配置され、図3cに概略的に点線で示されている内蔵カメラ37が、外部シーンを画像化する。また、入射窓30'も示されており、シーンからの光は入射窓30'を通過し、ユーザによって観察される。

【0025】

図3cは、デバイス10の内部構造をより詳細に示す。プリント回路基板(PCB)38は、着脱可能装置の電子動作のための電子回路を支持する。PCB 38には、USBコネクタ34、マイクロディスプレイ39、および内蔵カメラ37も接続されている。カメラ37は、ローカルユーザ12によって観察されるビューのカメラウィンドウ36を通して広角の静止画又はビデオ画像を取得するように構成される。その機能は、図5、図6及び図7を参照して以下に更に説明される。実用化された実施形態では、Misumi MD-B31107U-77、1/6インチカラーデジタルカメラモジュールが、内蔵USB接続と共に使用された。このカメラのその他の特徴は:
フレームサイズ:1920×1080 pixels、画素サイズ:1.4μm×1.4μm、
レンズ: f=1.83mm, F/2、視野: H:70°、V:42.7°、D:77.3°である。
マイクロディスプレイ39は、以下の主な特性を有する高輝度モノクロディスプレイである。
画素数: 304x256
Pixel size: 12 μm x12 μm
有効面積: 3.648mm x 3.972 mm

【0026】

装置10は、図3dに示す光学系40を収容しており、この光学系は、2つのダブレット41、41′及び組み合わせプリズム42を含んでいる。ダブレット41、41'は、21mmの等価焦点距離を有する複合対物レンズを生成する。マイクロディスプレイ39の発光面は、ディスプレイの画像が無限遠に生成されるように、この組み合わされた対物レンズの焦点面に配置され、それによって、ローカルユーザ12は、現実のシーン上に投影されたディスプレイ上の画像を見る。スクリーンの典型的な画像は、図5に「A」として示される十字形マーカを含み、これは、ローカルユーザが自分の視野内の物体を指定するために使用する。画像は、矢印で示されるように、最初に結合プリズム42の鏡面45によってさらに折り畳まれ、次に、ディスプレイ39からの光がローカルユーザの目に到達することを可能にする部分鏡面46によってローカルユーザ12の目に向けられ、同時に、ローカルユーザが、図3bの出口窓30を介して部分鏡面46を透過した実際の場面を見ることを可能にする。典型的には、部分鏡面46は、～50%の反射率及び～50%の透過率を有する。結合されたダブレットの焦点距離は21mmであるので、ディスプレイスクリーンは、H: 10×V: 8.3度(対角13度)の視野を捕捉する。光学設計は、ローカルユーザに4.5mm直径のアイモーションボックスを可能にする。

【0027】

図4aおよび4bは、クリップオンユニット50の組み立てられた分解図をそれぞれ示し、それによって、デバイス10は、ローカルユーザの眼鏡11に取り付けられ、それと整列される。クリップオンユニット50は、それぞれのヒンジジョイントを形成するようにそれぞれのピンを収容するそれぞれのナックル52及び53を対向する側面に有する細長い平面状支持体51を備える。ナックル52は、開口スロット54を有する一対の変位したC字形の円筒ソケットの形態であり、その間に上方に突出するアバットメント55が取り付けられている。他方のヒンジ要素は細長いピン56であり、その長さに沿って、ピン56及び基部57が一端からナックル52内に挿入されてヒンジを形成することができるように、スロット54よりも僅かに小さい厚さを有する基部57が溶接されている。ナックル52の反対側では、基部51は、一対の下方に突出するアーマチュア58を支持し、その端部は、軟らかいプラスチック又はゴムで形成された保護スリーブ59で覆われている。ピン56及び取り付けられたベース部分57をナックル52に挿入した後、上方に延びる一対の電機子60が、その両端でピン56に溶接される。各電機子60は、図3aに示すように、クリップ50を装置10の取付ブラケット32にねじ(図示せず)によって取り付けることができるように開口61を有する。

【0028】

ナックル53は、細長い直線部分および下方に依存するアームを有するクリップアーム65を支持し、その端部はそれぞれ、軟らかいプラスチックまたはゴムで形成された保護スリーブ66で覆われている。クリップアーム65は、ナックル53に取り付けられたとき、端部66が接極子58の保護された端部59に当接するような寸法にされている。クリップアーム65の細長い直線部分は、中空コア68及び側部69及び70を有するコイルばねの形態のL字形ばね要素67を支持する。直線部に固定された上方に突出するハンドル71は、側部70の支持体として機能し、他方の側部69は、基部51によって支持される。ナックル53の内側にヒンジピンを形成するクリップアーム65を取り付けるためには、成形前に挿入するか、クリップアームを位置決めした後にのみナックルを形成することができる。

【0029】

使用時には、上述したように装置10を上方に延びるアーマチュア60に取り付けた後、組立体は、下方に突出するアーマチュア58の後部とクリップアーム65の前部との間のばね67の弾性力の下で、フレーム11が把持された状態で、ローカルユーザの眼鏡にクリップオンされる。このようにしてローカルユーザの眼鏡に取り付けられると、装置10は、ナックル52内でのピン56の移動の自由のために横方向に移動することができる。ばね67の側部69は、基部57に適度な力を加え、これは、一方では、ピン56の望ましくない回転および横方向の移動を妨げ、一方では、眼鏡フレーム11に対して装置10を横方向に移動させるように、所望のときに、局所ユーザがピンを前後に移動させることを可能にする。注目すべきは、開口部61は丸いように示されているが、それらは細長くすることができ、アーマチュア60は、眼鏡フレーム11に対する装置10の少量の垂直上下移動を可能にするように、ばね付勢ボルトを用いて装置に取り付けることができる。これにより、図5を参照して以下に説明するように、装置をローカルユーザの目に対して位置合わせするように適切に調整することができる。クリップオンユニットは、装置から取り外し可能であってもよく、または装置と一体であってもよい。いずれの場合も、クリップオンユニットは、装置を眼鏡フレームの前に取り外し可能に取り付けることができ、装置の出口窓をユーザの視線と位置合わせするために眼鏡フレームに対して横方向に変位可能にする。

【0030】

図5は、マイクロディスプレイ画面の中心に位置する「A」として示される十字、別のマークB、およびスクイググルCを含む、マイクロディスプレイ39の画面上に現れ得る例示的な注釈を示す。注釈は、ローカルスマートフォン19によって実行されるソフトウェアアプリケーションの制御下で表示され、このアプリケーションは、図面の図6aおよび6bを参照して、以下に説明されるように、装置10に結合される。十字Aは、マイクロディスプレイ39がローカルユーザの視線に対して適切に中央に位置合わせされていることを示し、ローカルユーザの目がリモートオブジェクトに向けられたときに、マイクロディスプレイスクリーンの中心に位置する十字Aがリモートオブジェクトの中心に現れるようにする。

【0031】

図6aおよび図6bは、それぞれ無線および有線構成における装置10のブロック図である。
したがって、図6aを参照すると、上述したような光学系40は、そのスクリーン画像が外部シーン上にオーバーレイされたマイクロディスプレイ39をローカルユーザ12の眼に投影する。参照が既になされているカメラ37に加えて、装置10は、装置の運動を追跡し、それによってローカルユーザの頭部運動を追跡するための慣性磁気ユニット70も含む。マイクロディスプレイ39、カメラ37、およびIMU 70は、マイクロコントローラ72内に実装されたUSBハブ71に接続される。この目的のために、カメラ37は、UVC標準USBインタフェース73を有する。マイクロコントローラ72はまた、RFアンテナ75を介して低エネルギー(LE)ブルートゥース(登録商標)ユニット74との双方向通信のためにデータを処理する。Bluetooth(登録商標)ユニット74は、ローカルスマートフォン19内のBluetooth(登録商標)ユニット76と通信する。内蔵バッテリ77は、装置コンポーネントに電力を供給する。

【0032】

図6bは、USB有線通信を使用する代替実施形態を示す。マイクロコントローラ72は、ディスプレイ39およびIMU 70をそれぞれUSBハブ71に接続するSPIドライバおよびUSB対SPIコンバータ77、77'を含む。USBハブ71は、USBケーブルを介してローカルスマートフォン21に接続される。スマートフォンのバッテリーを補うために、オプションのバッテリーパック77を使用してもよい。

【0033】

動作説明
上述したように、スマートフォン19と組み合わされた着脱可能な装置10は、ローカルユーザ12、例えば、機器オペレータ又は技術者が、通常のオーディオ通信に加えて、視覚情報及びガイダンスを使用して、インストラクタ又は高級エンジニアであり得るリモートユーザ21と通信することを可能にする。
効果的に通信するために、遠隔ユーザ21は、どのポイントまたはオブジェクトがローカルユーザ12によって見られているかを正確に知っていなければならない。これは、ローカルユーザ12がカメラ37で画像(またはビデオ)を掴み、それをリモートユーザ21に送ることによって行われる。ローカルユーザ12は、出口窓30を通して直接物体を見るが、カメラ37は窓36を通して物体を見るので、ディスプレイスクリーン39の中心に位置する十字A(図5)を、図面の図8を参照して以下でより詳細に説明するように、カメラ37の視線と位置合わせすることからなる初期位置合わせが必要である。

【0034】

図7は、カメラ視野(FOV)80を描いており、上述のように、70°x42°である。スマートフォン19の画面には、実際には、カメラ視野80の縮小された領域が表示される。図中81で示した縮小領域をスマートフォンFOVと呼びます。カメラ視野80のどの領域がスマートフォンに表示されるかは、アライメント処理によって決定される。この例では、電話機に表示されるカメラ視野の部分は35°x35°です。スマートフォン画面上に表示される縮小領域の中心を十字Dで示し、カメラFOV 80内に完全に存在するが、スマートフォンFOV 81内では部分的にしか見えない物体を構成する機器コンソール82も示されている。また、ノブ83およびねじ頭部84が示されており、これらは共に装置コンソール82の一部である。

【0035】

アライメントを開始する前に、図に示すように、スマートフォンに表示されるカメラFOVの縮小領域81は、カメラFOV 80を中心としている。これは、スマートフォン・アプリケーションの制御下で行われ、スマートフォン・アプリケーションは、スマートフォン・スクリーンのピクセル解像度および中心を知り、カメラFOVのピクセル解像度および中心も知る。ローカルユーザは、マイクロディスプレイ39の中心に位置するローカルマークAを、スクリューヘッド84のような装置コンソール82の識別可能な点に向けることにより、図8に示すようにアライメント処理を開始し、スマートフォンを用いて画像をつかむ。

【0036】

ローカルユーザ12は、カメラ画像がスマートフォン画面上に現れるようにカメラ画像を見て、マークDが同じ識別可能な点を指していることを検証する。そうでない場合、ユーザは、アライメントが達成されるまで、マークDに対して画面上の画像をドラッグし、アライメントを保存する。このプロセスは、満足のいく整列が達成されるまで、それ自体を繰り返すことができる。位置合わせプロセスは、実際には、マークDによって指定されるカメラFOVの中心の、スマートフォンディスプレイの中心に対するx-yオフセットを決定し、これは、ローカルスマートフォン19がデバイス10内のカメラ37と適切に位置合わせされることを確実にするために適用される必要がある。

【0037】

典型的な動作を実証するために、ローカルユーザ12が、観察されるオブジェクト、すなわち機器コンソール82に関する命令を必要とするオペレータであると仮定する。視覚的な通信を可能にするために、遠隔ユーザ21は、ローカルユーザ12がどこを正確に見ているかを知る必要があり、その代わりに、他の場所を見るために彼に送る必要がある。これは以下のように行われる:
ローカルユーザ12は、ローカルマークAを機器コンソール82の識別可能な点、例えばノブ83に向け、画像をつかみ、ローカル・スマートフォン・アプリケーションを介してリモートユーザ21に送信する。
リモートユーザ21は、リモートスマートフォンまたはPCのいずれかで、別の点、例えば、スクリーン画像内のねじ頭部84をマークする。これは、遠隔ユーザが、遠隔スマートフォンのタッチスクリーン上の指またはスタイラスを用いて、またはローカルスマートフォン19から伝達された画像が表示されるPC上のマウスを用いて、ねじ頭84を指し示すことによって行われる。このマークは、遠隔マークと呼ばれ、その位置は、ローカルユーザ12に送り返され、それが関連する物体または特徴がマイクロディスプレイ39の視野内に現れる場合、マイクロディスプレイ39(図5のB)上に表示される。

【0038】

遠隔マークがマイクロディスプレイ39の視野(10°×8.3°)内にある場合、ローカルユーザが視線を移動させることによってローカルマークAをスクリューヘッド84に向けると、遠隔マークがローカルユーザ12によって見られるスクリューヘッド84上に現れる。
遠隔ユーザがローカルユーザの注意を向けたいカメラFOV内の位置がマイクロディスプレイ39の視野外にある場合、ローカルスマートフォン19内のソフトウェアアプリケーションは、マイクロディスプレイ39上に矢印または同等のナビゲーション補助を表示して、ユーザを正しい位置に向ける。
ローカルユーザは、ローカルマークをスクリューヘッド84に向けることによって、自分に送られた位置をさらに確認することができる。リモートユーザは、必要に応じて、確認または訂正を送信することができる。
あるいは、リモートユーザ21は、図5のマークCのような、ディスプレイ上の正しい位置に現れるより詳細なグラフィック・マークを送ることができ、したがって、例えば、リモートユーザは、ユーザの注意を向けたいフィーチャのアウトラインまたはアウトラインをマークしたり、補足情報をスケッチしたりすることができる。

【0039】

別の方法として、又は付加的に、ローカルユーザが現在、正しい関心点に位置合わせされていることを遠隔ユーザに確認する必要なフィードバックを、IMU 70センサ又は画像を用いた標準的な追跡技術を用いて達成することができる。あるいは、画像データを使用して、リモートマークを正しい位置に配置することができる。
IMUと画像の任意の組み合わせを追跡、すなわちIMUのみ、画像のみ、またはその両方に使用できることは明らかである。
両方の場合において、装置は、各時点においてマークがそれらの対応する物体上に投影されるように画像を追跡する。
あるいは、通信帯域幅が許すならば、リアルタイムのビデオ伝送が使用されてもよい。

【0040】

上記の使用、すなわち、メンテナンス目的のためのローカルユーザとリモートユーザとの間の通信は、一例に過ぎない。屋外ナビゲーション(都市または農村)、環境上に仮想オブジェクトを投影するための屋内AR、およびゲーム(ポケモンなど)など、多くの他の用途も可能である。処理は、ローカルで実行することも、外部サーバーをサポートして実行することもできる。

【0041】

ローカルユーザとリモートユーザ間の通信の厳密な性質にかかわらず、リモートユーザがローカルユーザと同じシーンを確実に見るためには、デバイスを整列させる必要があります。これは、ローカルユーザの視線が確立され、関心対象がユーザの視線と整列されることを必要とする。説明される実施形態では、これは、ローカルユーザによって観察されるシーン上に距離を置いて投影される十字線などの画像を表示するマイクロディスプレイを使用して行われる。したがって、マイクロディスプレイ39は、ユーザの視野の中心にマークを表示してユーザの視線をシーンに向けるための視線ガイドユニットを構成する。マイクロディスプレイはまた、リモートユーザによってローカルスマートフォンに伝達される画像を投影する役割も果たす。ただし、リモートユーザからマークを受信する必要がないアプリケーションがある場合があります。このような場合、マイクロディスプレイおよび視線ガイドユニットは、光学系40の焦点でエッチングまたは他の方法で形成されるレチクルのような他の形態をとり、無限遠でローカルユーザによって見えるようにする必要がない場合がある。

【0042】

本発明によるハンドヘルド通信装置は、典型的には、適切にプログラムされたスマートフォンである。しかしながら、それは、同様に、通信インターフェースと、マイクロディスプレイ画像に対してカメラ画像を移動させる能力とを有する、任意の携帯型、好ましくはハンドヘルド型のコンピュータであってもよい。この目的のために、ハンドヘルド通信デバイスは、典型的には、画像をドラッグするためのタッチスクリーンを有する。しかし、ハンドヘルド通信デバイスは、マウスまたは他のポインティングデバイスを使用して表示画像を移動させることを可能にするために、適切なソフトウェアの下で動作することができる。したがって、本発明および添付のクレームのコンテキスト内では、「コンピュータ」という用語は、CPU、ディスプレイ、GUI (グラフィカル・ユーザー・インターフェース)および通信インターフェースを有する任意の装置を包含することを意図している。

【0043】

同様に、本発明は、本発明の方法を実行するために、ハンドヘルド通信デバイス内の処理ユニットによって読み取り可能なコンピュータプログラムを企図する。本発明はさらに、本発明の方法を実行するために機械によって実行可能な命令のプログラムを有形に具現化する機械可読メモリを企図する。
本明細書において、「アーギュメンテッド・リアリティ」は、「オーギュメンテッド・リアリティ」ともいわれる。また、「ARデバイス」とは「AR装置」と同意義である。さらに、「シーン」は「情景シーン」を意味する。さらにまた、「携帯通信デバイス」、「携帯用通信装置」、「携帯通信機器」は同意義であって、「携帯通信装置」を意味する。なお、眼鏡フレームを付ける側をローカルユーザーとし、それ以外をリモートユーザーとして区別するとともに、ローカルユーザー側を「マーカ」、リモートユーザー側を「インジケータ」と区別する。また、「前記第２の関心事」とは「前記関心ある第２の特徴」を意味する。
以上

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図3d】

【図4a】

【図4b】

【図5】

【図6a】

【図6b】

【図7】

【図8】

【図9】