特許 7507522 拡張現実感のための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】拡張現実感のための装置および方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240621BHJP

   H04M 1/00 20060101ALI20240621BHJP

【ＦＩ】

G06T19/00 600

H04M1/00 U

【請求項の数】 6

【外国語出願】

(21)【出願番号】P 2023111626

(22)【出願日】2023-07-06

(62)【分割の表示】P 2019509508の分割

【原出願日】2017-08-03

(65)【公開番号】P2023174650

(43)【公開日】2023-12-08

【審査請求日】2023-08-03

(31)【優先権主張番号】247360

(32)【優先日】2016-08-18

(33)【優先権主張国・地域又は機関】IL

(73)【特許権者】

【識別番号】519050554

【氏名又は名称】ヴェーライド リミテッド

(74)【代理人】

【識別番号】110003797

【氏名又は名称】弁理士法人清原国際特許事務所

(72)【発明者】

【氏名】ラピドット、ズヴィ

(72)【発明者】

【氏名】ティロシュ、イユード

(72)【発明者】

【氏名】アーノン、オーデッド

【審査官】松永 隆志

(56)【参考文献】

【文献】登録実用新案第３２０２４２４（ＪＰ，Ｕ）

【文献】特開２００４－２０９６４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／１５２５３１（ＵＳ，Ａ１）

【文献】登録実用新案第３１９７９５０（ＪＰ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｍ １／００

(57)【特許請求の範囲】

【請求項1】

携帯装置（１００）の表示画面（２００）に搭載され、前記携帯装置（１００）から受信した情報を現実に投影することにより、前記携帯装置を携帯拡張現実装置にするためのアクセサリ（２）であって、 前記携帯装置（１００）は前記アクセサリ（２）の使用中ユーザの手によって保持され、当該アクセサリ（２）は、
ハウジング（１０２）であって、前記携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、
シースルーディスプレイ（２３）であって、ユーザが前記現実を観察できるように、部分的に透明である前記ハウジング内のシースルーディスプレイ（２３）と、
前記ハウジング内のコントローラ（２１）であって、前記現実に投影する投影情報を表す電気信号を前記携帯装置から受信し、当該電気信号を画像に変換するように構成されたコントローラ（２１）と、
前記ハウジング内の観察光学素子（３０）であって、前記携帯装置上に搭載された前記アクセサリで携帯装置を保持するユーザが、前記現実に重ね合わされた前記投影情報の画像を見る部分的に透明な前記シースルーディスプレイ（２３）を介して、前記投影情報の画像を前記現実に光学的に投影するように構成された観察光学素子（３０）と、
を備えた、アクセサリ。

【請求項2】

前記コントローラ（２１）は前記携帯装置のデータバスに接続され、前記コントローラ（２１）は前記投影情報を表すデータ信号を前記携帯装置から受信し、ビデオ信号に変換して当該ビデオ信号をマイクロディスプレイ（２７）に供給し、前記マイクロディスプレイ（２７）は前記投影情報が表す画像を表示するよう構成され、
前記観察光学素子は、結合型光学素子であり、当該結合型光学素子は、前記マイクロディスプレイに表示された前記画像を前記シースルーディスプレイ（２３）に光学的に投影するよう構成されてなる、
請求項１に記載のアクセサリ。

【請求項3】

前記マイクロディスプレイ（２７）は、液晶オンシリコンであり、前記データ信号はパルス幅変調器（２８）に供給されて、前記マイクロディスプレイの照明の輝度を制御するように構成される、請求項２に記載のアクセサリ。

【請求項4】

前記シースルーディスプレイは光導波路である、請求項１から３のいずれか一項に記載のアクセサリ。

【請求項5】

更に、前記携帯装置によって表示された特定のオブジェクトの高解像度画像を取得し、当該高解像度画像を現実に重ね合わせるように構成された、請求項１から４のいずれか１項に記載のアクセサリ。

【請求項6】

データベースから前記オブジェクトの前記高解像度画像を抽出し、前記携帯装置の位置から見たように見えるように当該画像を変換することによって、ユーザによって電子ズームインおよび電子ズームアウトの操作が可能になる、請求項５に記載のアクセサリ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートフォンを用いた拡張現実アプリケーションに関する。

【背景技術】

【0002】

拡張現実感は、現実を直接または間接的に見ることを使用し、現実は、追加の情報、通常はコンピュータ生成された情報を現実に重ね合わせることによってさらに増強される。現実を直接見ることを使用する装置は、典型的にはシースルーディスプレイ（Ｓｅｅ-Ｔｈｒｏｕｇｈ Ｄｉｓｐｌａｙ）、すなわち半透明の鏡（通常コンバイナ（Ｃｏｍｂｉｎｅｒ）と呼ばれる）を含み、当該半透明の鏡を通して現実を観察し、重ね合わせた情報と組み合わせることができる。

【0003】

これらの装置は典型的にはＧＰＳのような位置決め要素と、ジャイロ、加速度計および磁力計を更に含むＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：慣性測定装置）のような方向要素とを含む。

【0004】

そのような拡張現実感装置の例は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ヘッドマウントディスプレイ）、例えば、マイクロソフトのＨｏｌｏＬｅｎｓである。これらの装置は、典型的には、通常のアイウェアと比較してかさばり、重く、快適性が低く、審美性が低く、高価である。これらの欠点は、ＨＭＤが広く消費者に受け入れられるのを妨げる主な障害の１つである。

【0005】

これらの欠点を克服するために、拡張現実アプリケーションのために携帯スマートフォンを使用する試みがなされている。携帯スマートフォンには、カメラ、ＧＰＳ、ＩＭＵ、ディスプレイ、プロセッサ、およびワイヤレス接続が内蔵されており、消費者製品として広く使用されている。そのため、携帯スマートフォンは拡張現実感アプリケーションのプラットフォームとして適している。それにもかかわらず、携帯スマートフォンはそれらの表示画面上で現実の間接的な観察のみを可能にする。したがって、拡張現実感のためのスマートフォンアプリケーションが使用されるとき、重ね合わされた情報は、現実そのものではなく、スマートフォンカメラによって取得された現実の画像と組み合わされる。

【0006】

拡張現実のための携帯スマートフォンアプリケーションは、例えば、ＬａｙａｒおよびＭｅｔａｉｏによって開発されたアプリケーションを含む。

【0007】

現実を見ることは間接的である、すなわち現実自体とは対照的に現実の画像のみがスマートフォンの表示画面上に現れるので、上述のような携帯スマートフォンアプリケーションは、表示画像が２Ｄであるので、カメラの視野に依存する重大な欠点を有しており、このようなものは、距離感も、オブジェクトのサイズ感も与えず、方向付けを非常に困難にする。

【0008】

スマートフォン上で拡張現実を提供するための別の試みは、透明な表示スクリーンを有するスマートフォンの導入である。例えば、レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）である。このアプリケーションでは、追加情報が表示画面に表示されている間、ユーザは透明なスクリーンを通して現実を見ることができる。主な欠点は、視差のために表示された情報を風景に合わせることができない、すなわち、スマートフォンが安定していてユーザが頭を動かすと、風景上の注釈の位置が変わることである。これは、スマートフォンのディスプレイが近くにある（通常２３ｃｍから３０ｃｍ）のに対し、風景が遠い（通常は数十メートルから数百メートル）ためである。

【先行技術文献】

【非特許文献】

【0009】

【文献】レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明は、それ自体知られているように通常の携帯スマートフォンを拡張現実デバイスとして使用することによって上記の欠点を克服するが、現実の画像上というよりむしろ現実自体の上に重ね合わされる情報を組み合わせることのさらなる強化を伴う。このようにして、本発明は、以下で明らかになるように、重ね合わせを視差なしで組み合わせることを提供する。

【課題を解決するための手段】

【0011】

本発明による拡張現実システムはまた、スマートフォン位置、カメラの向き、およびオブジェクト画像を使用して、建物などのユーザによる現実のオブジェクトの指定、およびストリートビューなどのデータベースからのその位置の抽出を可能にする。

【0012】

同様に、オブジェクトの位置が分かっているとき、システムはユーザにオブジェクトを向けてそのオブジェクトを指定することができる。

【0013】

どちらの場合も、オブジェクトが指定されると、そのオブジェクトの高解像度画像をストリートビューなどのデータベースから抽出できる。

【0014】

オブジェクトの高解像度画像がデータベースから抽出されると、その画像を現実に重ね合わせることができ、ユーザによる電子ズームインおよびズームアウト操作を実行することが可能になる。

【0015】

そのようなデータベースがない場合、ディープラーニング（すなわち、ヤン・ルクン、ヨシュア・ベンギオ＆ジェフリー・ヒントン、「ディープラーニング」、ネイチャー、ｖｏｌ．５２１、ｐｐ４３６‐４４４，２０１５）のような既知のトレーニング方法を使用して、画像に基づいて既知の座標に頼ることなく、オブジェクトの画像から、オブジェクトまでの距離を決定／推定できる。そのような方法を訓練するために、訓練アルゴリズムは、各画像内の少なくとも１つの目標位置への既知の深度（カメラからの画像内の点の距離）を有する大きなデータセットの画像が与えられる。このトレーニングセットから、アルゴリズムは、新しい画像内の所望の位置への距離推定のためのパラメータのセットを自動的に決定する。

【0016】

本発明を理解し、実際にどのように実施することができるかを見るために、添付の図面を参照しながら、非限定的な例として実施形態を説明する。

【図面の簡単な説明】

【0017】

【図1】ビューワが機械的に取り付けられているスマートフォンを示す本発明の概略図である。

【図2】本発明の第１の実施形態によるビューワの機能を示すブロック図である。

【図3】本発明の第２の実施形態による、スマートフォンの表示画面に対するビューワの光学部品を概略的に示す図である。

【図4】第２の実施形態による、関心領域に対応するスマートフォンの表示画面の一部を概略的に示す図である。

【図5a】第２の実施形態による、スマートフォンに取り付けられたビューワの絵図である。

【図5b】スマートフォンの表示画面に関連してビューワの光学部品を絵で示している。

【図6】本発明の第３の実施形態を概略的に示すブロック図である。

【図7】本発明の異なる実施形態に従ってオブジェクトを指定することができる方法を簡潔化した流れ図である。

【発明を実施するための形態】

【0018】

いくつかの実施形態の以下の説明では、２つ以上の図に現れるかまたは類似の機能を共有する同一の構成要素は、同一の参照符号によって参照される。

【0019】

図１は、ビューワ２（アクセサリを構成する）が機械的に取り付けられているスマートフォン１００を示す本発明の実施形態を概略的に示す。ビューワ２は、図２に示すように、光学エンジン２２に結合されたコントローラ２１を含むハウジング１０２を含み、光学エンジン２２は、任意選択でＬｕｍｕｓ ＯＥ-３２とすることができる（ｈｔｔｐ：／／ｌｕｍｕｓ-ｏｐｔｉｃａｌ．ｃｏｍ／＃ｐｌｘ＿ｐｒｏｃｕｃｔｓ＿ｓｅｃｔｉｏｎを参照）。光学エンジン２２は、部分的に透明であるシースルーディスプレイ（コンバイナ）２３を有する。これにより、ユーザは、現実の風景をシースルーディスプレイ２３を通して見ることができる。シースルーディスプレイ２３はまた、スマートフォン１００によって生成されたオーバーレイ情報を風景の上に投影するためにも使用される。

【0020】

ビューア２の第１の実施形態は、図２にさらに詳細に示されている。コントローラ２１は、ＵＳＢレシーバ２５を有しており、ＵＳＢレシーバ２５は、スマートフォンＵＳＢポート（図示せず）に接続するように構成され、当該スマートフォンによって生成されたＵＳＢ信号を、その構成要素、すなわち、コントロール（Ｉ２Ｃ：Ｉｎｔｅｒ‐Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ。既知の技術）、パワー、ビデオに分割する。また、ＵＳＢレシーバは、ビデオ信号をパラレルの２４ビットＲＧＢ信号に変換する。この変換されたビデオ信号は、フレームレートコンバータ（ＦＲＣ：Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）２６に伝達され、フレームレートコンバータ（ＦＲＣ）２６は、変換されたビデオ信号がＦＲＣ２６によって供給されるマイクロディスプレイ２７に適合するようにビデオフレームレートを増加させる。マイクロディスプレイ２７は、有機ＬＥＤ（ＯＬＥＤ：Ｏｒｇａｎｉｃ ＬＥＤ）とすることができるが、ＬＣＯＳ（液晶オンシリコン：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）であれば、より高い照度が達成される。マイクロディスプレイ２７がＬＣＯＳ技術上に構築されている場合、Ｉ２Ｃ信号は、マイクロディスプレイに照射するＬＥＤ３２の強度を制御するパルス幅変調器（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｏｒ）２８に供給される。ＬＣＯＳマイクロディスプレイ２７は、結合型光学素子（Ｃｏｕｐｌｅｄ‐ｉｎ ｏｐｔｉｃｓ）３０を介してシースルーディスプレイ２３に画像を送り、結合型光学素子３０は、マイクロディスプレイによって生成された画像をシースルーディスプレイに光学的に投影する。Ｉ２Ｃ信号は、マイクロディスプレイ２７およびＦＲＣ２６を制御するためにも使用される。マイクロディスプレイ２７がＯＬＥＤであるというあまり好ましくないケースでは、ＰＷＭ２８およびＬＥＤ３２は省かれ、Ｉ２Ｃ信号がＯＬＥＤを直接制御する。電力はＵＳＢレシーバ２５を介して関連する構成要素に、すなわち、マイクロディスプレイ２７およびＬＥＤ３２に供給される。あるいは、外部電池（図示せず）を使用してスマートフォン機の電池の消耗を最小限に抑えることができる。

【0021】

あるいは、スマートフォンのＵＳＢインターフェースを使用する代わりに、Ｍｏｔｏ-Ｚインターフェース（ｈｔｔｐ：／／ｎｅｗａｔｌａｓ．ｃｏｍ／ｍｏｔｏ-ｚ-ｒｅｖｉｅｗ／４４４８５／）などの別のスマートフォン接続を使用することもできる。

【0022】

シースルーディスプレイ２３に表示される画像は、好ましくは無限遠で現実の風景に重ね合わされるので、風景と重ね合わされた情報との間に視差は存在しない。

【0023】

別の実施形態が図３および図４に概略的に示されている。ビューワ２のハウジング１０２は、直接またはアダプタを使用して、スマートフォン１００に機械的に取り付けられている。スマートフォンにアクセサリを取り付けるための機械的手段は当技術分野において公知である。例えば、Ｍｉｇｇｏ'ｓ Ｐｉｃｔａｒ ｉＰｈｏｎｅ（登録商標）カメラアクセサリー（ｈｔｔｐｓ：／／ｗｗｗ．ｄｐｒｅｖｉｅｗ．ｃｏｍ／ｎｅｗｓ／１２１９７６３８３５／ｍｉｇｇｏ-ｗａｎｔｓ-ｔｏ-ｄｓｌｒ-ｙｏｕｒ-ｉＰｈｏｎｅ-ｗｉｔｈ-ｔｈｅ-ｐｉｃｔａｒ-ｇｒｉｐ）またはＺｅｉｓｓのレンズアクセサリー（ｈｔｔｐｓ：／／ｐｅｔａｐｉｘｅｌ．ｃｏｍ／２０１６／０１／０６／ｚｅｉｓｓ-ｉｓ-ｊｕｍｐｉｎｇ-ｉｎｔｏ-ｔｈｅ-ｗｏｒｌｄ-ｏｆ-ｓｍａｒｔｐｈｏｎｅ-ｌｅｎｓ-ａｃｃｅｓｓｏｒｉｅｓ／）である。スマートフォンの表示画面２００に表示された情報（この例では、図４の関心領域２０１上の数字「１２３４」）は、ビューワ２によって現実の風景の上に投影される。これが行われる方法を次に説明する。

【0024】

したがって、全体的に１０８として示される光学素子に向けてミラー１０４から光を向けるために、ビューワ２は、スマートフォンの表示画面２００に向けられた反射面を有するミラー１０４を含む。光学素子１０８は、スマートフォンの表示画面上に表示された情報の画像を、好ましくは無限遠で作成し、これによって風景との視差がなくなる。光学素子１０８は、当該光学素子１０８を上下に移動させるための集光機構（図示せず）と一体化または結合することにより、表示情報が無限遠からの距離、好ましくは数メートルまでの距離で現れるようにできるので、屋内アプリケーション用のビューアとして使用することができる。半透明ミラー（コンバイナ）１０６は、この画像を観察者の眼２０３に向ける。その結果、観察者は、半透明ミラー１０６を介して観察者からも見られる現実の風景の上に重ねて、投影された情報２００'を無限遠に見る。

【0025】

この実施形態のより詳細な説明は、図５ａおよび５ｂに示される。ビューワ２はスマートフォン１００に取り付けられている。観察者２０３（図３）は、開口部１０３を通して風景と重ね合わせた情報を観察する。

【0026】

光学素子１０８のさらなる詳細は図５ｂに示されている。光学素子１０８は、２つの同一のダブレット（ｄｏｕｂｌｅｔ）１０８'、１０８”を含み、ミラー１０４を介してダブレットでの合成後焦点面の像がスマートフォンの表示画面２００と一致するように設計される。その結果、スマートフォンの表示画面の画像が無限遠に作成される。図５ｂには、視野の端部における歪みおよび収差を補正するために使用される視野レンズ１０７も示されている。

【0027】

この実施形態の典型的なパラメータは以下の通りである。
・関心領域２０１の寸法は、４０ｍｍ（水平）および２２．５ｍｍ（垂直）である。
・光学素子１０８は、典型的には７５ｍｍの焦点距離のものであるので、関心領域２０１は、３０°（水平）および１６．７°（垂直）の視野に投影される。

【0028】

別の実施形態は、マイクロディスプレイ２７の代わりに結合型光学素子３０（図２に示される）への入力としてスマートフォンの表示画面を使用する。

【0029】

異なる視野をもたらすように異なるパラメータを有する同様の設計を行うことができることは当業者には明らかである。

【0030】

図６は、結合型光学素子３０に結合されて、スマートフォン表示画面２００上の関心領域２０１からシースルーディスプレイ２３へ画像を直接投影する別の実施形態を示す。結合光学素子は、関心領域２０１の大きさに適合されている。シースルーディスプレイ２３は、Ｇｏｏｇｌｅ Ｇｌａｓｓ、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、ＯＤＧ Ｒ-７、Ｖｕｚｉｘ Ｓｍａｒｔ Ｇｌａｓｓｅｓなどのスマートメガネに使用される同様のシースルーディスプレイとすることができる。シースルーディスプレイは、上述したＬｕｍｕｓ ＯＥ-３２（Ｌｕｍｕｓにより「ＬＯＥ」または「反射型光導波路」と呼ばれる）またはＭｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓで使用されているものなどの導波路ベースのディスプレイの１つであり得る。

【0031】

オブジェクト上に（現実にもその画像上にも）関連情報を重ね合わせるためには、オブジェクトを正しく指定すること、すなわちスマートフォンの位置、オブジェクトが見られる方向および距離、ならびにオブジェクトの画像を知るべきことが重要である。これはまた、異なる場所にいる他のビューワへのオブジェクトの指定を可能にするためにも重要である。場合によっては、例えば遠くから見たときに、図１の１０１として示されるスマートフォンカメラを使用する表示画面上でも裸眼でも、オブジェクトを鮮明に観察することができない。このような場合、ユーザに高解像度の画像を提供し、それを（ディスプレイ画面上または現実に）オブジェクト上に重ね合わせることも重要である。

【0032】

画像を拡大／縮小する方法は２つある。「従来の」方法は、ズームレンズを使用することによって光学素子の焦点距離を変えるために光学ズームを使用することである。焦点距離が増加すると視野は狭くなり（「ズームイン」と呼ばれる）、焦点距離が短くなると視野は広くなる（「ズームアウト」と呼ばれる）。

【0033】

デジタルカメラで一般的なもう１つの方法は、画像の一部分だけを見て、デジタル技術を使用してそれを拡大してすべての画面領域をカバーすることによって、画像を拡大することである。これは通常「電子ズーム」と呼ばれる。

【0034】

以下のように、本発明は改善されたズーミングを提供する。オブジェクトが指定されると、そのオブジェクトの高解像度画像がデータベース（ストリートビューなど）から抽出され、現実（またはその画像）に重ね合わされる。このようにして、我々は、スマートフォンを有する観察者がオブジェクトの高解像度画像化を可能にしない距離に位置していても、オブジェクトの高解像度画像を見る能力を提供する。

【0035】

説明したように、オブジェクトを指定できる方法は、次の２つの方法のいずれかで行うことができる。

【0036】

１．図７に示すように、ユーザはビューワをオブジェクトに向ける。スマートフォンの位置および方向、ならびにスマートフォンカメラによって取得されたオブジェクトの画像は、ストリートビューなどのデータベースから、オブジェクトデータ、すなわち座標および画像を抽出するために使用される。これは次のようにして行うことができる。スマートフォンカメラの位置と方向を使用して、オブジェクトの粗い位置が計算される。スマートフォンカメラによって取得されたオブジェクトの画像は、この粗い位置でストリートビューデータベースの画像と照合され、オブジェクトはストリートビューデータベースで識別される。ストリートビューデータベースには、ストリートビューカメラの位置と共にカメラからオブジェクトまでの距離と方向が含まれている。このデータを使用して、オブジェク トの位置を特定することができる。

【0037】

２．システムは、オブジェクトの既知の位置座標を使用してユーザをそのオブジェクトに向ける。既知の座標は、ストリートビューなどのデータベースにも送信される。

【0038】

どちらの場合も、オブジェクトの高解像度画像がデータベースから抽出されると、その画像はスマートフォンの位置から見たように見え、現実に重ね合わされるように変換され、ユーザによる電子ズームインおよびズームイン操作を実行することが可能になる。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7】