(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-10
(54)【発明の名称】共有仮想空間内で電子装置を位置決め及び方向付けするためのコンピュータ実装方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240703BHJP
G06F 3/0346 20130101ALI20240703BHJP
G06F 3/04815 20220101ALI20240703BHJP
【FI】
G06F3/01 510
G06F3/0346 426
G06F3/04815
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023575402
(86)(22)【出願日】2022-06-17
(85)【翻訳文提出日】2024-01-29
(86)【国際出願番号】 CN2022099351
(87)【国際公開番号】W WO2022262834
(87)【国際公開日】2022-12-22
(32)【優先日】2021-06-18
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523456076
【氏名又は名称】アウキ ラブス アーゲー
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ピル,ニルス
(72)【発明者】
【氏名】ラウ アンディ
(72)【発明者】
【氏名】ピル,グスタフ
(72)【発明者】
【氏名】オストレム,テッド
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087AA07
5B087AD02
5B087CC02
5B087CC33
5B087DJ03
5E555AA27
5E555AA62
5E555BA01
5E555BA04
5E555BB01
5E555BB04
5E555BC04
5E555BD01
5E555BE17
5E555CA42
5E555CB45
5E555CB48
5E555CC01
5E555DA02
5E555DB56
5E555DB57
5E555DC09
5E555DD07
5E555EA07
5E555EA08
5E555EA11
5E555EA22
5E555FA00
(57)【要約】
本開示は、仮想空間内で既に位置決め及び方向付けされている第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするためのコンピュータ実装方法に関する。本方法は、第1の電子装置のディスプレイ上に表示された参照オブジェクトを第2の電子装置のカメラによって撮像すること、仮想空間内の第1の電子装置の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを第1の電子装置から得ること、第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観を得ること、仮想空間内の第1の電子装置の位置及び向きに関する情報を含む仮想空間層にアクセスすることにより、仮想空間内の第1の電子装置の現在の位置及び向きを得ること(S104)、第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観と、第2の電子装置のカメラによって撮像された参照オブジェクトの見掛けの寸法及び外観とに基づいて、第1の電子装置に対する第2の電子装置の相対的な距離及び向きを決定すること、仮想空間内の第1の電子装置の現在の位置及び向きと、第1の電子装置に対する第2の電子装置の決定された相対的な距離及び向きとに基づいて、仮想空間内の第2の電子装置の位置及び向きを決定することを含む。
【特許請求の範囲】
【請求項1】
仮想空間内で既に位置決め及び方向付けされている第1の電子装置と共有される前記仮想空間内で第2の電子装置を位置決め及び方向付けするためのコンピュータ実装方法(100)であって、
前記第1の電子装置のディスプレイ上に表示された参照オブジェクトを前記第2の電子装置のカメラによって撮像すること(S108)、
前記仮想空間内の前記第1の電子装置の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを前記第1の電子装置から得ること、
前記第1の電子装置の前記ディスプレイ上に表示された前記参照オブジェクトの知られている物理的寸法及び外観を得ること(S112)、
前記仮想空間内の前記第1の電子装置の位置及び向きに関する情報を含む前記仮想空間層にアクセスすることにより、前記仮想空間内の前記第1の電子装置の現在の位置及び向きを得ること(S104)、
前記第1の電子装置の前記ディスプレイ上に表示された前記参照オブジェクトの前記知られている物理的寸法及び外観と、前記第2の電子装置の前記カメラによって撮像された前記参照オブジェクトの見掛けの寸法及び外観とに基づいて、前記第1の電子装置に対する前記第2の電子装置の相対的な距離及び向きを決定すること(S114)、
前記仮想空間内の前記第1の電子装置の前記現在の位置及び向きと、前記第1の電子装置に対する前記第2の電子装置の前記決定された相対的な距離及び向きとに基づいて、前記仮想空間内の前記第2の電子装置の位置及び向きを決定すること(S116)
を含む、方法(100)。
【請求項2】
前記仮想空間内の前記第1の電子装置の現在の位置及び向きは、前記第1の電子装置の前記ディスプレイ上に表示された前記参照オブジェクトの撮像(S108)時点における前記仮想空間内の前記第1の電子装置の位置及び向きである、請求項1に記載の方法(100)。
【請求項3】
前記参照オブジェクトの知られている物理的寸法及び外観を得ること(S112)は、前記参照オブジェクトの前記知られている物理的寸法及び外観を含む前記仮想空間層にアクセスすることを含む、請求項1に記載の方法(100)。
【請求項4】
前記仮想空間層にアクセスする場所への前記ポインタを得ることが、
前記参照オブジェクトの画像を復号すること、及び
前記参照オブジェクトの前記画像から前記ポインタを抽出すること
を含む、請求項1に記載の方法(100)。
【請求項5】
前記ポインタに関する情報が、機械可読光学ラベルとして前記参照オブジェクトの前記画像に符号化される、請求項4に記載の方法(100)。
【請求項6】
前記第1の電子装置の前記ディスプレイ上に表示された前記参照オブジェクトの知られている物理的寸法及び外観を得る前記行為(S112)が、
前記参照オブジェクトの知られている物理的寸法及び外観に関する情報を前記第1の電子装置の前記ディスプレイ上に表示すること、及び
前記第2の電子装置の前記カメラを使用し、前記参照オブジェクトの物理的寸法及び外観に関する前記情報を前記第2の電子装置において取得すること
を含む、請求項1に記載の方法(100)。
【請求項7】
前記参照オブジェクトの知られている物理的寸法及び外観に関する前記情報を機械可読光学ラベルとして符号化することを更に含み、
前記参照オブジェクトの知られている物理的寸法及び外観に関する前記情報を表示することは、前記機械可読光学ラベルを表示することを含み、
前記参照オブジェクトの物理的寸法及び外観に関する前記情報を取得することは、前記機械可読光学ラベルを復号することを含む、
請求項6に記載の方法(100)。
【請求項8】
前記機械可読光学ラベルは前記参照オブジェクトを構成する、請求項5又は7に記載の方法(100)。
【請求項9】
処理能力を有する電子装置(300)上で実行可能なプログラムが記録されている非一時的コンピュータ可読記録媒体であって、前記プログラムは、前記電子装置上で実行されるとき、
仮想空間内で位置決め及び方向付けされた携帯型電子装置(400)の現在の位置及び向きを得るように構成される情報取得機能(306)、
前記携帯型電子装置(400)のディスプレイ(402)上に表示された参照オブジェクト(202)を前記電子装置(300)のカメラ(302)によって撮像するように構成される撮像機能(308)、
前記携帯型電子装置(400)の前記ディスプレイ(402)上に表示された前記参照オブジェクト(202)の知られている物理的寸法及び外観と、前記電子装置(300)の前記カメラ(302)によって撮像された前記参照オブジェクト(202)の見掛けの寸法及び外観とに基づいて前記携帯型電子装置(400)に対する前記電子装置(300)の相対的な距離及び向きを決定し、
前記仮想空間内の前記携帯型電子装置(400)の前記現在の位置及び向きと、前記携帯型電子装置(400)に対する前記電子装置(300)の前記決定された相対的な距離及び向きとに基づいて前記仮想空間内の前記電子装置(300)の位置及び向きを決定する
ように構成されるオリエンテーション機能(310)
を実行するように構成されるプログラムコード部分を含み、
前記情報取得機能(306)は、
前記仮想空間内の前記携帯型電子装置(400)の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを取得し、
前記携帯型電子装置(400)の前記ディスプレイ(402)上に表示された前記参照オブジェクト(202)の知られている物理的寸法及び外観を取得し、
前記仮想空間内の前記携帯型電子装置(400)の位置及び向きに関する情報を含む前記仮想空間層にアクセスすることにより、前記仮想空間内の前記携帯型電子装置(400)の現在の位置及び向きを取得する
ように更に構成される、非一時的コンピュータ可読記録媒体。
【請求項10】
処理能力を有する携帯型電子装置(400)上で実行可能なプログラムが記録されている非一時的コンピュータ可読記録媒体であって、前記プログラムは、前記携帯型電子装置上で実行されるとき、
知られている物理的寸法及び外観を有する参照オブジェクト(202)を前記携帯型電子装置(400)のディスプレイ(402)上に表示するように構成される表示機能(406)と、
前記参照オブジェクト(202)の画像に情報を符号化するように構成される符号化機能(410)と
を実行するように構成されるプログラムコード部分を含む、非一時的コンピュータ可読記録媒体。
【請求項11】
前記符号化機能(410)が、前記仮想空間内の前記携帯型電子装置(400)の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを含む情報の形で、前記参照オブジェクト(202)の前記画像に情報を符号化するように構成される、請求項10に記載の非一時的コンピュータ可読記録媒体。
【請求項12】
カメラ(302)及び回路(304)を含む電子装置(300)であって、
仮想空間内で位置決め及び方向付けされた携帯型電子装置(400)の現在の位置及び向きを得るように構成される情報取得機能(306)、
前記携帯型電子装置(400)のディスプレイ(402)上に表示された参照オブジェクト(202)を前記カメラ(302)によって撮像するように構成される撮像機能(308)、
前記携帯型電子装置(400)の前記ディスプレイ(402)上に表示された前記参照オブジェクト(202)の知られている物理的寸法及び外観と、前記カメラ(302)によって撮像された前記参照オブジェクト(202)の見掛けの寸法及び外観とに基づいて前記携帯型電子装置(400)に対する前記電子装置(300)の相対的な距離及び向きを決定し、
前記仮想空間内の前記携帯型電子装置(400)の前記現在の位置及び向きと、前記携帯型電子装置(400)に対する前記電子装置(300)の前記決定された相対的な距離及び向きとに基づいて前記仮想空間内の前記電子装置(300)の位置及び向きを決定する、
ように構成されるオリエンテーション機能(310)
を実行するように構成され、
前記情報取得機能(306)は更に
前記仮想空間内の前記携帯型電子装置(400)の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを取得し、
前記携帯型電子装置(400)の前記ディスプレイ(402)上に表示された前記参照オブジェクト(202)の知られている物理的寸法及び外観を取得し、
前記仮想空間内の前記携帯型電子装置(400)の位置及び向きに関する情報を含む前記仮想空間層にアクセスすることにより、前記仮想空間内の前記携帯型電子装置(400)の現在の位置及び向きを取得する
ように構成される、電子装置(300)。
【請求項13】
ディスプレイ(402)及び回路(404)を含む携帯型電子装置(400)であって、
知られている物理的寸法及び外観を有する参照オブジェクト(202)を前記ディスプレイ(402)上に表示するように構成される表示機能(406)と、
前記参照オブジェクト(202)の画像に情報を符号化するように構成される符号化機能(410)と
を実行するように構成される、携帯型電子装置(400)。
【請求項14】
前記符号化機能(410)が、前記仮想空間内の前記携帯型電子装置(400)の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを含む情報の形で、前記参照オブジェクト(202)の前記画像に情報を符号化するように構成される、請求項13に記載の携帯型電子装置(400)。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本発明は、拡張現実及び仮想現実の分野に関する。より詳細には、本発明は仮想空間内で既に位置決め及び方向付けされた第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするための方法に関する。
【背景技術】
【0002】
発明の背景
近年、拡張現実又は仮想現実を使用するアプリケーションがますます一般的になってきている。拡張現実アプリケーションは、ユーザが見ている現実世界の上に仮想現実世界を配置することにより、複合型の現実世界及び仮想世界をユーザが体験することを可能にする。他方で仮想現実は、ユーザを中心とした完全な仮想世界にユーザを置く。
【0003】
しかし、仮想世界又は部分的な仮想世界をユーザ間で共有することに関して現在の技術には制限がある。具体的には、既存の仮想世界内で装置を位置決め及び方向付けすることに関係する改善が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
発明の概要
上記の観点から、本発明の目的は、仮想空間内で既に位置決め及び方向付けされた第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするための方法を提供することである。
【課題を解決するための手段】
【0005】
第1の装置上に参照オブジェクトを提供することによって第1の装置に対して第2の装置を方向付け位置決めすることにより、仮想空間内の第1の装置の向き及び位置を知りながら、第2の装置を第1の装置と同じ仮想空間内で方向付け位置決めできることが実現されている。これは正確で効果的なやり方で行うことができる。
【0006】
第1の態様によれば、仮想空間内で既に位置決め及び方向付けされている第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするためのコンピュータ実装方法が提示される。本方法は、第1の電子装置のディスプレイ上に表示された参照オブジェクトを第2の電子装置のカメラによって撮像すること、仮想空間内の第1の電子装置の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを第1の電子装置から得ること、第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観を得ること、仮想空間内の第1の電子装置の位置及び向きに関する情報を含む仮想空間層にアクセスすることにより、仮想空間内の第1の電子装置の現在の位置及び向きを得ること、第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観と、第2の電子装置のカメラによって撮像された参照オブジェクトの見掛けの寸法及び外観とに基づいて、第1の電子装置に対する第2の電子装置の相対的な距離及び向きを決定すること、仮想空間内の第1の電子装置の現在の位置及び向きと、第1の電子装置に対する第2の電子装置の決定された相対的な距離及び向きとに基づいて、仮想空間内の第2の電子装置の位置及び向きを決定することを含む。
【0007】
仮想空間は、拡張現実世界等の部分的な仮想世界の一部であり得る。或いは仮想空間は、仮想現実世界等の完全な仮想世界の一部であり得る。
【0008】
本明細書では「知られている物理的寸法及び外観」にあるような「知られている」という用語は、物理的寸法及び外観が予め決定されていることを意味する。別の言い方をすれば、参照オブジェクトは、撮像される参照オブジェクトの見掛けの寸法及び外観と比較することができるように予め知られている物理的寸法及び外観を有する。
【0009】
本明細書では「見掛けの寸法及び外観」にあるような「見掛けの」という用語は、寸法及び外観がカメラによって撮像されたときに表示される寸法及び外観であることを意味する。換言すれば、参照オブジェクトの見掛けの寸法及び外観は物理的な寸法及び外観とは異なる場合がある。
【0010】
第1の電子装置に対する第2の電子装置の向きは、第2の電子装置が第1の電子装置に対してどのように回転しているのかに関する情報を含み得る。第1の電子装置に対する第2の電子装置の向きは、第2の電子装置が第1の電子装置に対してどのような方向に位置するのかに関する情報を含み得る。
【0011】
知られている物理的寸法及び外観を有するオブジェクトが装置によって撮像される場合、オブジェクトの知られている物理的寸法及び外観並びに撮像されたオブジェクトの見掛けの寸法及び外観を使用することにより、オブジェクトに対する装置の相対的な距離及び向きを決定できることが当業者に知られている。
【0012】
外観は、例えば参照オブジェクトの形状及び/又はパターンを含み得る。外観は、参照オブジェクトの向きに関する情報を含み得る。一例として、外観は参照オブジェクトがどのように回転しているのかに関する情報を含み得る。
【0013】
関連するあり得る利点は、提案する方法により、仮想現実又は拡張現実の世界を正確で信頼できるやり方で2つ以上の装置間で共有できることである。
【0014】
本方法は、知られている物理的寸法及び外観を有する参照オブジェクトを第1の電子装置のディスプレイ上に表示することを更に含み得る。
【0015】
仮想空間内の第1の電子装置の位置及び向きに関する情報を得ることにより、仮想空間内の第1の電子装置の向き及び位置に関する更新情報が第2の電子装置に提供されることが保護され得る。
【0016】
仮想空間内の第1の電子装置の現在の位置及び向きは、第1の電子装置のディスプレイ上に表示された参照オブジェクトの撮像時点における仮想空間内の第1の電子装置の位置及び向きであり得る。換言すれば、現在という用語は撮像行為が実行される時点を指し得る。従って、第1の電子装置の現在の位置及び向きは、撮像行為が行われているときの前記装置の位置及び向きである。
【0017】
参照オブジェクトの知られている物理的寸法及び外観を得ることは、参照オブジェクトの知られている物理的寸法及び外観を含む仮想空間層にアクセスすることを含み得る。参照オブジェクトの知られている物理的寸法及び外観を得ることは、参照オブジェクトの知られている物理的寸法及び外観を仮想空間層から取得することを含み得る。
【0018】
仮想空間層は、仮想空間に関する情報が記憶される場所であり得る。仮想空間層は、仮想空間内の携帯型電子装置の位置及び向きに関する情報を更に含み得る。仮想空間層は、仮想空間内で表示される仮想オブジェクトに関する情報を更に含み得る。仮想空間層はクラウドによって提供され得る。或いは、仮想空間層は携帯型電子装置上で提供され得る。
【0019】
仮想空間層にアクセスする場所へのポインタを得ることは、参照オブジェクトの画像を復号すること及び参照オブジェクトの画像からポインタを抽出することを含み得る。
【0020】
ポインタに関する情報は、機械可読光学ラベルとして参照オブジェクトの画像に符号化され得る。
【0021】
仮想空間内の第1の電子装置の現在の位置及び向きを得ることは、仮想空間内の第1の電子装置の位置及び向きに関する情報を含む仮想空間層にアクセスすることを含み得る。
【0022】
本方法は、第1の電子装置から第2の電子装置に仮想空間層へのポインタを転送することを更に含み得る。換言すれば、ポインタは第2の電子装置が仮想空間層を見つけることができる場所を指し示すことができる。別の言い方をすれば、仮想空間層へのポインタは仮想空間層にアクセスする場所の情報を含み得る。
【0023】
参照オブジェクトの知られている物理的寸法及び外観を得る行為は、参照オブジェクトの知られている物理的寸法及び外観に関する情報を第1の電子装置のディスプレイ上に表示すること、及び第2の電子装置のカメラを使用し、参照オブジェクトの知られている物理的寸法及び外観に関する情報を第2の電子装置において取得することを含み得る。
【0024】
本方法は、参照オブジェクトの知られている物理的寸法及び外観に関する情報を機械可読光学ラベルとして符号化することを更に含み得る。参照オブジェクトの知られている物理的寸法及び外観に関する情報を表示することは、機械可読光学ラベルを表示することを含み得る。参照オブジェクトの知られている物理的寸法及び外観に関する情報を取得することは、機械可読光学ラベルを復号することを含み得る。
【0025】
仮想空間内の第1の電子装置の現在の位置及び向きを得る行為は、仮想空間内の第1の電子装置の位置及び向きに関する情報を第1の電子装置のディスプレイ上に表示すること、及び第2の電子装置のカメラを使用し、仮想空間内の第1の電子装置の位置及び向きに関する情報を第2の電子装置において取得することを含み得る。
【0026】
本方法は、仮想空間内の第1の電子装置の現在の位置及び向きに関する情報を機械可読光学ラベルとして符号化することを更に含み得る。仮想空間内の第1の電子装置の現在の位置及び向きに関する情報を表示することは、機械可読光学ラベルを表示することを含み得る。仮想空間内の第1の電子装置の現在の位置及び向きに関する情報を取得することは、機械可読光学ラベルを復号することを含み得る。
【0027】
機械可読光学ラベルは参照オブジェクトを構成し得る。
【0028】
第2の態様によれば、処理能力を有する装置上で実行されるとき、第1の態様による方法を実装するための命令を記憶している第1の非一時的コンピュータ可読記憶媒体が提供される。
【0029】
第3の態様によれば、処理能力を有する電子装置上で実行可能なプログラムが記録されている第2の非一時的コンピュータ可読記録媒体が提供される。このプログラムは、電子装置上で実行されるとき、仮想空間内で位置決め及び方向付けされた携帯型電子装置(この携帯型電子装置はプログラムコード部分を実行する電子装置とは異なる電子装置である)の現在の位置及び向きを得るように構成される情報取得機能を実行し、携帯型電子装置のディスプレイ上に表示された参照オブジェクトを電子装置のカメラによって撮像するように構成される撮像機能を実行するように構成されるプログラムコード部分を含む。このプログラムは、電子装置上で実行されるとき、携帯型電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観と、電子装置のカメラによって撮像された参照オブジェクトの見掛けの寸法及び外観とに基づいて携帯型電子装置に対する電子装置の相対的な距離及び向きを決定し、仮想空間内の携帯型電子装置の現在の位置及び向きと、携帯型電子装置に対する電子装置の決定された相対的な距離及び向きとに基づいて仮想空間内の電子装置の位置及び向きを決定するように構成されるオリエンテーション機能を実行するように構成されるプログラムコード部分を更に含む。情報取得機能は、実行されるとき、仮想空間内の携帯型電子装置の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを取得し、携帯型電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観を取得し、仮想空間内の携帯型電子装置の位置及び向きに関する情報を含む仮想空間層にアクセスすることにより、仮想空間内の携帯型電子装置の現在の位置及び向きを取得するように更に構成される。
【0030】
プログラムは、アプリケーション提供サービスによって電子装置にダウンロード可能なアプリケーションであり得る。
【0031】
この第3の態様のプログラムを実行するように構成される電子装置は、スマートフォン等の携帯型電子装置であり得る。
【0032】
第4の態様によれば、処理能力を有する携帯型電子装置上で実行可能なプログラムが記録されている第3の非一時的コンピュータ可読記録媒体が提供される。このプログラムは、携帯型電子装置上で実行されるとき、知られている物理的寸法及び外観を有する参照オブジェクトを携帯型電子装置のディスプレイ上に表示するように構成される表示機能と、参照オブジェクトの画像に情報を符号化するように構成される符号化機能とを実行するように構成されるプログラムコード部分を含む。
【0033】
符号化機能は、仮想空間内の携帯型電子装置の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを含む情報の形で、参照オブジェクトの画像に情報を符号化するように構成され得る。
【0034】
プログラムは、アプリケーション提供サービスによって携帯型電子装置にダウンロード可能なアプリケーションであり得る。
【0035】
この第4の態様のプログラムを実行するように構成される携帯型電子装置はスマートフォンであり得る。
【0036】
第1の態様の上述の特徴及び利点は、適用可能な場合は第2の態様、第3の態様、及び第4の態様にも適用される。過度の繰り返しを避けるために上記を参照する。
【0037】
本発明の更に他の目的、特徴、態様、及び利点が以下の詳細な説明並びに図面から明らかになる。明示的に別段の記載がない限り、或る態様に関して説明するのと同じ特徴及び利点が他の態様にも適用可能である。
【0038】
図面の簡単な説明
次に、本発明の改変形態を示す添付図面を参照しながら、本発明の概念の上記の及び他の態様をより詳細に説明する。図面は、本発明を特定の改変形態に限定するものと考えるべきではなく、むしろ本発明の概念の説明及び理解のために使用される。
【0039】
図示のように、層及び領域のサイズは説明のために誇張されており、従って本発明の概念の改変形態の全般的な構造を示すために提供される。全体を通して同様の参照数字は同様の要素を指す。
【図面の簡単な説明】
【0040】
【
図1】仮想空間内で既に位置決め及び方向付けされた第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするためのコンピュータ実装方法のステップを示す流れ図である。
【
図2】携帯型電子装置と共有される仮想空間内で電子装置の方向付け及び位置決めするためのシステムを概略的に示す。
【
図3】仮想空間内で方向付け及び位置決めされる電子装置を例として概略的に示す。
【
図4】仮想空間内で方向付け及び位置決めされる携帯型電子装置を例として示す。
【発明を実施するための形態】
【0041】
詳細な説明
次に、本発明の概念の現在好ましい改変形態を示す添付図面を参照して本発明の概念を以下でより完全に説明する。但し、本発明の概念は多くの異なる形態で実装することができ、本明細書に記載する改変形態に限定されると解釈すべきではなく、むしろこれらの改変形態は徹底性及び完全性のために提供し、本発明の概念の範囲を当業者に十分に伝えるものである。
【0042】
次に、仮想空間内で既に位置決め及び方向付けされた第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするためのコンピュータ実装形態、並びに第1の電子装置及び第2の電子装置及びそのシステムについて
図1から
図4を参照して説明する。
【0043】
図1は、仮想空間内で既に位置決め及び方向付けされた第1の電子装置と共有される仮想空間内で第2の電子装置を位置決め及び方向付けするための方法100のステップを示す流れ図である。以下、様々なステップをより詳細に説明する。特定の順序で図示されていても、方法100のステップは任意の適切な順序で、並行して、並びに複数回実行することができる。
【0044】
仮想空間内の第1の電子装置の現在の位置及び向きを得る(S104)。
【0045】
第1の電子装置のディスプレイ上に表示された参照オブジェクトを、第2の電子装置のカメラによって撮像する(S108)。参照オブジェクトは、第2の電子装置のカメラを使用して参照オブジェクトの画像データを捕捉することによって撮像され得る(S108)。画像データは参照オブジェクトの単一画像であり得る。或いは、画像データは参照オブジェクトのビデオフィード等の複数の画像を含み得る。
【0046】
仮想空間内の第1の電子装置の現在の位置及び向きは、参照オブジェクトの撮像時点における第1の電子装置の位置及び向きであり得る。換言すれば、第1の電子装置の現在の位置及び向きを得ること(S104)は、参照オブジェクトを撮像すること(S108)と同時に実行され得る。これは、第1の電子装置及び第2の電子装置のクロックを同期することによって容易にされ得る。
【0047】
第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観を得る(S112)。
【0048】
本明細書では「知られている物理的寸法及び外観」にあるような「知られている」という用語は、物理的寸法及び外観が予め決定されていることを意味する。別の言い方をすれば、参照オブジェクトは、撮像される参照オブジェクトの見掛けの寸法及び外観と比較することができるように予め知られている物理的寸法及び外観を有する。
【0049】
外観は、例えば参照オブジェクトの形状及び/又はパターンを含み得る。外観は、参照オブジェクトの向きに関する情報を含み得る。一例として、外観は参照オブジェクトがどのように回転しているのかに関する情報を含み得る。
【0050】
第1の電子装置のディスプレイ上に表示される参照オブジェクトの知られている物理的寸法及び外観と、第2の電子装置のカメラによって撮像される参照オブジェクトの見掛けの寸法及び外観とに基づき、第1の電子装置に対する第2の電子装置の相対的な距離及び向きを決定する(S114)。別の言い方をすれば、参照オブジェクトの知られている物理的寸法及び外観と、撮像された参照オブジェクトの見掛けの寸法及び外観との間の関係を使用し、第1の装置に対する第2の装置の相対的な距離及び向きを決定することができる(S114)。換言すれば、表示された参照オブジェクトと撮像された参照オブジェクトとの間の変換を決定することにより、第1の電子装置に対する第2の電子装置の相対的な距離及び向きを決定することができる(S114)。
【0051】
仮想空間内の第1の電子装置の現在の位置及び向きと、第1の電子装置に対する第2の電子装置の決定された相対的な距離及び向きとに基づき、仮想空間内の第2の電子装置の位置及び向きを決定する(S116)。
【0052】
上記のステップの全ては、第2の電子装置において実行することができる。第2の電子装置は携帯型電子装置であり得る。或いは、第2の電子装置は固定型電子装置であり得る。第1の電子装置は、スマートフォン、タブレット、ラップトップ、スマートウォッチ、スマートグラス、拡張現実(AR)グラス、ARレンズ、又は他の任意の適切な装置等の携帯型電子装置であり得る。
【0053】
知られている物理的寸法及び外観を有する参照オブジェクトを第1の電子装置のディスプレイ上に表示することができる(S106)。
【0054】
仮想空間内の第1の電子装置の位置及び向きに関する情報を第1の電子装置から第2の電子装置に転送することができる(S102)。仮想空間内の第1の電子装置の位置及び向きに関する情報を転送する行為は、第1の電子装置の現在の位置及び向きを得る行為S104の一部であり得る。
【0055】
「~に関する」という用語は、第1の電子装置から第2の電子装置に情報を直接転送できること、又は第2の電子装置が情報を取得することができる場所へのポインタが第1の電子装置から第2の電子装置に転送されることだと解釈される。直接転送及び情報を取得する場所へのポインタによる転送についてはすぐ下でより詳細に論じる。
【0056】
参照オブジェクトの知られている物理的寸法及び外観を得る行為S112は、参照オブジェクトの知られている物理的寸法及び外観を含む仮想空間層にアクセスすることを含み得る。
【0057】
仮想空間内の第1の電子装置の現在の位置及び向きを得る行為S104は、仮想空間内の第1の電子装置の位置及び向きに関する情報を含む仮想空間層にアクセスすることを含み得る。
【0058】
仮想空間層へのポインタを第1の電子装置から第2の電子装置に転送することができる(S110)。ポインタを転送する行為は、参照オブジェクトの知られている物理的寸法及び外観を得る行為S112の一部であり得る。
【0059】
第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観を得る行為S112は、参照オブジェクトの知られている物理的寸法及び外観に関する情報を第1の電子装置のディスプレイ上に表示することを含み得る。第1の電子装置のディスプレイ上に表示された参照オブジェクトの知られている物理的寸法及び外観を得る行為S112は、第2の電子装置のカメラを使用し、参照オブジェクトの物理的寸法及び外観に関する情報を第2の電子装置において取得することを更に含み得る。これは、第1の電子装置から第2の電子装置への情報の直接転送の一例である。
【0060】
参照オブジェクトの知られている物理的寸法及び外観に関する情報は、機械可読光学ラベルとして符号化することができる。参照オブジェクトの知られている物理的寸法及び外観に関する情報を表示する行為は、機械可読光学ラベルを表示することを含み得る。参照オブジェクトの物理的寸法及び外観に関する情報を取得する行為は、機械可読光学ラベルを復号することを含み得る。これは第1の電子装置から第2の電子装置への情報の直接転送の一例である。
【0061】
機械可読ラベルは、QRコード等の2次元コードであり得る。
【0062】
仮想空間内の第1の電子装置の現在の位置及び向きを得る行為S104は、仮想空間内の第1の電子装置の位置及び向きに関する情報を第1の電子装置のディスプレイ上に表示することを含み得る。仮想空間内の第1の電子装置の現在の位置及び向きを得る行為S104は、第2の電子装置のカメラを使用し、仮想空間内の第1の電子装置の位置及び向きに関する情報を第2の電子装置において取得することを更に含むことができる。これは、第1の電子装置から第2の電子装置への情報の直接転送の一例である。
【0063】
仮想空間内の第1の電子装置の現在の位置及び向きに関する情報は、機械可読光学ラベルとして符号化することができる。仮想空間内の第1の電子装置の現在の位置及び向きに関する情報を表示する行為は、機械可読光学ラベルを表示することを含み得る。仮想空間内の第1の電子装置の現在の位置及び向きに関する情報を取得する行為は、機械可読光学ラベルを復号することを含み得る。
【0064】
機械可読光学ラベルは、参照オブジェクトを構成し得る。別の言い方をすれば、参照オブジェクトは機械可読光学ラベル内に与えられ得る。
【0065】
図2は、複数の装置間で仮想空間を共有するためのシステム200を概略的に示す。システム200は、仮想空間内で既に位置決め及び方向付けされた携帯型電子装置400と共有される仮想空間内で電子装置300を位置決め及び方向付けすることを可能にする。方法100に関連して上記で論じた方法の文言を用いると、携帯型電子装置400を第1の電子装置と見なし、電子装置300を第2の電子装置と見なす。システム200は、電子装置300及び携帯型電子装置400を含む。但し、システム200は複数の電子装置300及び/又は複数の携帯型電子装置400を含み得る。
【0066】
図4に関連して更に説明する携帯型電子装置400が、仮想空間内で位置決め及び方向付けされる。一例として、仮想空間は仮想現実世界であり得る。或いは、仮想空間は拡張現実世界の仮想部分であり得る。携帯型電子装置400は、他の装置と共有される仮想空間をホストするという意味で、ホスト機器として記載することができる。或いは携帯型電子装置400は、別の装置によってホストされる仮想空間内で位置決め及び方向付けされることもある。仮想空間をホストする別の装置は物理サーバであり得る。仮想空間をホストする別の装置は、クラウド実装されたサーバであり得る。仮想空間をホストする別の装置は、別の携帯型電子装置であり得る。非限定的な例として、携帯型電子装置400は、スマートフォン、タブレット、ラップトップ、スマートウォッチ、スマートグラス、ARグラス、ARレンズ又は他の適切な装置であり得る。
【0067】
電子装置300は、
図1に関連して上記で説明した第2の電子装置であり得る。電子装置300は、
図3に関連して更に説明する。非限定的な例として、電子装置300は、スマートフォン、タブレット、ラップトップ、スマートウォッチ、スマートグラス、ARグラス、ARレンズ、カメラ、又は任意の他の適切な装置であり得る。
【0068】
本明細書では電子装置300及び携帯型電子装置400を見た目が同様の装置として図示するが、これらは異なる種類の装置であり得る。
【0069】
電子装置300は、モバイルネットワーク(例えば3G、4G、5G等)又はWiFiネットワーク等のデジタルネットワークに接続され得る。携帯型電子装置400は、モバイルネットワーク(例えば3G、4G、5G等)又はWiFiネットワーク等のデジタルネットワークに接続され得る。電子装置300及び携帯型電子装置400は、Bluetooth接続等の無線接続によって、WiFiネットワーク又はモバイルネットワーク(例えば3G、4G、5G等)によって互いに通信可能に接続され得る。
【0070】
システム200は、1つ又は複数のリモートサーバ206及び/又は1つ又は複数のデータベース208を更に含み得る。1つ又は複数のリモートサーバ206及び/又はデータベース208は、例えば本明細書で例示するようにクラウド204内で提供され得る。電子装置300及び/又は携帯型電子装置400は、1つ又は複数のリモートサーバ206及び/又は1つ又は複数のデータベース208に通信可能に接続され得る。1つ又は複数のリモートサーバ206は、
図3及び
図4に関連して説明した電子装置300及び/又は携帯型電子装置400の機能の一部を実行することができる。1つ又は複数のデータベース208は、
図3及び
図4に関連して説明した情報の少なくとも一部を含み得る。例えば1つ又は複数のデータベース208は、携帯型電子装置400のディスプレイ402上に表示された参照オブジェクト202の物理的寸法及び外観に関する情報を含み得る。本明細書で示す参照オブジェクトの物理的寸法及び外観は、非限定的な例と見なされるべきであることを指摘しておく。
【0071】
携帯型電子装置400が既に位置決め及び方向付けされている仮想空間内で電子装置300を位置決め及び方向付けした後、それぞれの電子装置の方向付け及び位置決めを維持するために、それぞれの電子装置間でそれぞれの電子装置の位置及び向きを連続的に転送することができる。
【0072】
図3は、
図2に関連して説明した電子装置300を概略的に示す。電子装置300は、カメラ302及び回路304を含む。
【0073】
回路304は、処理ユニットを含む任意の種類の回路304であり得る。回路304は、物理的に単一の回路装置を含み得る。或いは、回路304は幾つかの回路装置にわたって分散させることができる。回路304は、トランシーバ、制御回路、及びメモリを含み得る。
【0074】
トランシーバは、回路304が他の装置と通信することを可能にするように構成され得る。
【0075】
制御回路は、回路304の機能及び動作の全体的な制御を行うように構成され得る。制御回路は、中央処理装置(CPU)、マイクロコントローラ、又はマイクロプロセッサ等のプロセッサを含み得る。プロセッサは、回路304の機能及び動作を実行するために、メモリ内に記憶されたプログラムコードを実行するように構成され得る。
【0076】
メモリは、バッファ、フラッシュメモリ、ハードドライブ、脱着可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ(RAM)、又は別の適切な装置のうちの1つ又は複数であり得る。典型的な構成では、メモリは、長期データ記憶域のための不揮発性メモリ及び制御回路のシステムメモリとして機能する揮発性メモリを含み得る。メモリは、データバス上で制御回路とデータをやり取りすることができる。メモリと制御回路との間の付随の制御線及びアドレスバスも存在し得る。
【0077】
回路304の機能及び動作は、回路304の非一時的コンピュータ可読記録媒体(例えばメモリ)上に記憶され、制御回路によって(例えばプロセッサを使用して)実行される実行可能な論理ルーチン(例えばコード行、ソフトウェアプログラム等)の形で具現化され得る。更に回路304の機能及び動作は、独立型ソフトウェアアプリケーションとすることができ、又は回路に関係する追加のタスクを実行するソフトウェアアプリケーションの一部を形成し得る。説明した機能及び動作は、対応する装置が実行するように構成される方法と見なすことができる。
図1に関連して上記で論じた方法等。更に、説明した機能及び動作はソフトウェアによって実装され得るが、それらの機能は専用のハードウェア又はファームウェア、或いはハードウェア、ファームウェア、及び/又はソフトウェアの何らかの組み合わせによって実行されてもよい。以下の機能は、非一時的コンピュータ可読記録媒体上に記憶することができる。
【0078】
回路304は、仮想空間内で位置決め及び方向付けされた携帯型電子装置400の現在の位置及び向きを得るように構成される情報取得機能306を実行するように構成される。
【0079】
回路304は、携帯型電子装置400のディスプレイ402上に表示された参照オブジェクト202をカメラ302によって撮像するように構成される撮像機能308を実行するように構成される。
【0080】
情報取得機能308は、携帯型電子装置400のディスプレイ402上に表示された参照オブジェクト202の知られている物理的寸法及び外観を得るように更に構成される。
【0081】
回路304は、オリエンテーション機能310を実行するように更に構成される。オリエンテーション機能310は、携帯型電子装置400のディスプレイ402上に表示された参照オブジェクト202の知られている物理的寸法及び外観と、電子装置300のカメラ302によって撮像された撮像参照オブジェクト210の見掛けの寸法及び外観とに基づき、携帯型電子装置400に対する電子装置300の相対的な距離及び向きを決定するように構成される。オリエンテーション機能310は、仮想空間内の携帯型電子装置400の現在の位置及び向きと、携帯型電子装置400に対する電子装置300の決定された相対的な距離及び向きとに基づいて、仮想空間内の電子装置300の位置及び向きを決定するように構成される。
【0082】
電子装置300は、カメラ302を使用し、携帯型電子装置400のディスプレイ402上に表示された情報を携帯型電子装置400から取得することができる。情報は、携帯型電子装置のディスプレイ402上に表示された情報の画像データを捕捉することによって、又はディスプレイ402上に表示された機械可読光学ラベルを走査することによって取得することができる。
【0083】
或いは又は組み合わせて、電子装置300は、電子装置300と携帯型電子装置400との間の無線接続によって携帯型電子装置400から情報を取得することができる。
【0084】
回路304は、機械可読光学ラベルを復号するように構成される復号機能312を実行するように更に構成され得る。
【0085】
図4は、
図2及び
図3に関連して説明した携帯型電子装置400を概略的に示す。携帯型電子装置400は、ディスプレイ402及び回路404を含む。
【0086】
回路404は、処理ユニットを含む任意の種類の回路404であり得る。回路404は、物理的に単一の回路装置を含み得る。或いは、回路404は幾つかの回路装置にわたって分散させることができる。回路404は、トランシーバ、制御回路、及びメモリを含み得る。
【0087】
トランシーバは、回路404が他の装置と通信することを可能にするように構成され得る。
【0088】
制御回路は、回路404の機能及び動作の全体的な制御を行うように構成され得る。制御回路は、中央処理装置(CPU)、マイクロコントローラ、又はマイクロプロセッサ等のプロセッサを含み得る。プロセッサは、回路404の機能及び動作を実行するために、メモリ内に記憶されたプログラムコードを実行するように構成され得る。
【0089】
メモリは、バッファ、フラッシュメモリ、ハードドライブ、脱着可能媒体、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ(RAM)、又は別の適切な装置のうちの1つ又は複数であり得る。典型的な構成では、メモリは、長期データ記憶域のための不揮発性メモリ及び制御回路のシステムメモリとして機能する揮発性メモリを含み得る。メモリは、データバス上で制御回路とデータをやり取りすることができる。メモリと制御回路との間の付随の制御線及びアドレスバスも存在し得る。
【0090】
回路304の機能及び動作は、回路404の非一時的コンピュータ可読記録媒体(例えばメモリ)上に記憶され、制御回路によって(例えばプロセッサを使用して)実行される実行可能な論理ルーチン(例えばコード行、ソフトウェアプログラム等)の形で具現化され得る。更に回路404の機能及び動作は、独立型ソフトウェアアプリケーションとすることができ、又は回路に関係する追加のタスクを実行するソフトウェアアプリケーションの一部を形成し得る。説明した機能及び動作は、対応する装置が実行するように構成される方法と見なすことができる。
図1に関連して上記で論じた方法等。更に、説明した機能及び動作はソフトウェアによって実装され得るが、それらの機能は専用のハードウェア又はファームウェア、或いはハードウェア、ファームウェア、及び/又はソフトウェアの何らかの組み合わせによって実行されてもよい。以下の機能は、非一時的コンピュータ可読記録媒体上に記憶することができる。
【0091】
回路404は、知られている物理的寸法及び外観を有する参照オブジェクト202をディスプレイ402上に表示するように構成される表示機能406を実行するように構成される。
【0092】
回路404は、
図2及び
図3に関連して説明した電子装置300等の別の電子装置に、仮想空間内の携帯型電子装置400の現在の位置及び向きに関する情報を転送するように構成される転送機能408を実行するように更に構成される。転送機能408は、仮想空間内の携帯型電子装置400の現在の位置及び向きに関する情報を現在時刻のタイムスタンプと共に転送することができる。
【0093】
転送機能408は、仮想空間層へのポインタを電子装置300に転送するように構成され得る。仮想空間層は、参照オブジェクト202の知られている物理的寸法及び外観を含み得る。仮想空間層は、携帯型電子装置400の位置及び向きに関する情報を更に含み得る。仮想空間層は、仮想空間内に表示される仮想オブジェクトに関する情報を更に含み得る。仮想空間層はクラウド204によって提供され得る。或いは、仮想空間層は携帯型電子装置400上で提供され得る。仮想空間層へのポインタは、仮想空間層にアクセスする場所の情報を含み得る。電子装置300は、ポインタを使用せずに仮想空間層に直接アクセスすることができる。
【0094】
表示機能406は、参照オブジェクト202の知られている物理的寸法及び外観に関する情報及び/又は仮想空間内の携帯型電子装置400の位置及び向きに関する情報を表示するように構成され得る。回路404は、参照オブジェクト202の知られている物理的寸法及び外観に関する情報及び/又は仮想空間内の携帯型電子装置400の位置及び向きに関する情報を機械可読光学ラベルとして符号化するように構成される符号化機能410を実行するように構成され得る。表示機能406は、符号化された情報を機械可読光学ラベルとして表示するように構成され得る。機械可読光学ラベルは、例えばQRコードであり得る。
【0095】
機械可読光学ラベルは、参照オブジェクト202を構成し得る。別の言い方をすれば、機械可読光学ラベルは参照オブジェクト202として機能することもできる。或いは、機械可読光学ラベルは参照オブジェクト202を含み得る。機械可読光学コードは、携帯型電子装置400の現在の位置及び向きが関連付けられているタイムスタンプを更に含み得る。機械可読光学コードは、仮想空間層へのポインタを含み得る。
【0096】
携帯型電子装置400は、両方の世界における自らの向き及び位置が知られているので、仮想空間と現実世界との間のアンカーとして機能することができる。
【0097】
上記で説明したように、仮想空間層へのポインタは、第1の電子装置から第2の電子装置に転送することができる(S1110)。換言すれば、第2の電子装置は第1の電子装置からポインタを得ることができる。ポインタは、仮想空間内の携帯型電子装置の位置及び向きに関連する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所を示し得る。ポインタは、第1の電子装置が第2の電子装置に転送することによってではなく、第2の電子装置が参照オブジェクトの画像を使用することによって得ることができる。
【0098】
第1の電子装置は、ポインタを参照オブジェクトの画像に符号化することができる。換言すれば、ポインタに関する情報は、第1の電子装置によって機械可読光学ラベルとして参照オブジェクトの画像に符号化される。画像は機械可読光学ラベルとなる。符号化のために、第1の電子装置は情報をオブジェクトの画像に符号化するように構成される符号化機能を更に含み得る。符号化機能は、参照オブジェクトの画像にポインタを符号化するように構成され得る。
【0099】
上述したように、第1の電子装置は撮像機能308を含む。情報取得機能は、仮想空間内の携帯型電子装置400の位置及び向きに関する情報が記憶されているクラウド内の場所である仮想空間層にアクセスする場所へのポインタを得るように構成される。仮想空間層は、参照オブジェクトの知られている物理的寸法及び外観に関する情報を含み得る。
【0100】
情報取得機能は、携帯型電子装置400のディスプレイ402上に表示される参照オブジェクト202の知られている物理的寸法及び外観を得るように、及び仮想空間内の第1の電子装置の位置及び向きに関する情報を含む仮想空間層にアクセスすることにより、仮想空間内の第1の電子装置300の現在の位置及び向きを得るように更に構成される。
【0101】
第2の電子装置は、第2の電子装置が撮像した参照オブジェクトの画像を使用してポインタを得ることができる。第2の電子装置は、第2の電子装置が撮像した参照オブジェクトの画像を解釈することによってポインタを得ることができる。第2の電子装置は、参照オブジェクトの画像を復号し、参照オブジェクトの画像からポインタを抽出することができる。ポインタは、ポインタ情報を参照することができる。
【0102】
加えて、図面、本開示、及び添付の特許請求の範囲を検討することにより、開示した改変形態に対する改変が特許請求の範囲に記載する本発明を実施する際に当業者によって理解され、もたらされ得る。
【国際調査報告】