知財求人 - 知財ポータルサイト「IP Force」
特開2023-113678副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023113678
(43)【公開日】2023-08-16
(54)【発明の名称】副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラム
(51)【国際特許分類】
H04W 12/08 20210101AFI20230808BHJP
H04L 67/131 20220101ALI20230808BHJP
H04L 67/52 20220101ALI20230808BHJP
H04W 64/00 20090101ALI20230808BHJP
H04W 12/63 20210101ALI20230808BHJP
H04W 4/02 20180101ALI20230808BHJP
H04W 76/10 20180101ALI20230808BHJP
【ＦＩ】
H04W12/08
H04L67/131
H04L67/52
H04W64/00
H04W12/63
H04W4/02
H04W76/10
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2023080501
(22)【出願日】2023-05-16
(62)【分割の表示】P 2021172083の分割
【原出願日】2021-10-21
(71)【出願人】
【識別番号】521209672
【氏名又は名称】有限会社池谷製作所
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】池谷 英悟
(57)【要約】
【課題】現実空間で所定条件を満たす副端末と同一のサーバへ主端末からアクセスすることができる方法、副端末、主端末及びプログラムを提供する。
【解決手段】主端末と副端末との間で電波によって通信可能なシステムのサーバアクセス方法であって、副端末は、主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップとを有する。第１のステップの所定条件について、副端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定するものであってもよいし、電波の受信強度が第２の所定閾値以上である場合に、真と判定するものであってもよい。
【選択図】図３
【解決手段】主端末と副端末との間で電波によって通信可能なシステムのサーバアクセス方法であって、副端末は、主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップとを有する。第１のステップの所定条件について、副端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定するものであってもよいし、電波の受信強度が第２の所定閾値以上である場合に、真と判定するものであってもよい。
【選択図】図３
【特許請求の範囲】
【請求項1】
主端末と副端末との間で電波によって通信可能なシステムのサーバアクセス方法であって、
副端末は、主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
副端末は、主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
【請求項2】
第１のステップの所定条件について、副端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことを特徴とする請求項１に記載のサーバアクセス方法。
ことを特徴とする請求項１に記載のサーバアクセス方法。
【請求項3】
第１のステップの所定条件について、副端末は、距離センサ又はデプスカメラを用いて主端末から反射した電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことを特徴とする請求項１に記載のサーバアクセス方法。
ことを特徴とする請求項１に記載のサーバアクセス方法。
【請求項4】
第１のステップの所定条件について、副端末は、電波の受信強度が第２の所定閾値以上である場合に、真と判定する
ことを特徴とする請求項１に記載のサーバアクセス方法。
ことを特徴とする請求項１に記載のサーバアクセス方法。
【請求項5】
第１のステップの所定条件について、副端末は、主端末の端末識別子を予め記憶しており、マルチキャスト要求の電波を配信し、その応答に電波に当該主端末の端末識別子が含まれているか否かを判定する
ことを特徴とする請求項１に記載のサーバアクセス方法。
ことを特徴とする請求項１に記載のサーバアクセス方法。
【請求項6】
主端末と副端末との間で電波によって通信可能であって、エリアトラッキングの基準アンカーが配置されたシステムのサーバアクセス方法であって、
副端末は、予め記憶した主端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
副端末は、予め記憶した主端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
【請求項7】
主端末と副端末との間で電波によって通信可能であって、アクセスポイントが配置されたシステムのサーバアクセス方法であって、
副端末は、予め記憶した主端末のアクセスポイント識別子と、当該副端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
副端末は、予め記憶した主端末のアクセスポイント識別子と、当該副端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
【請求項8】
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入しているサーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことを特徴とする請求項１から７のいずれか１項に記載のサーバアクセス方法。
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことを特徴とする請求項１から７のいずれか１項に記載のサーバアクセス方法。
【請求項9】
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、サーバへ更に送信する
ことを特徴とする請求項８に記載のサーバアクセス方法。
ことを特徴とする請求項８に記載のサーバアクセス方法。
【請求項10】
第１のステップについて、
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことを特徴とする請求項１から７のいずれか１項に記載のサーバアクセス方法。
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことを特徴とする請求項１から７のいずれか１項に記載のサーバアクセス方法。
【請求項11】
主端末と副端末との間で電波によって通信可能なシステムのサーバアクセス方法であって、
主端末は、副端末から受信した電波が所定条件を満たすか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
主端末は、副端末から受信した電波が所定条件を満たすか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
【請求項12】
第１のステップの所定条件について、主端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことを特徴とする請求項１１に記載のサーバアクセス方法。
ことを特徴とする請求項１１に記載のサーバアクセス方法。
【請求項13】
第１のステップの所定条件について、主端末は、距離センサ又はデプスカメラを用いて副端末から反射した電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことを特徴とする請求項１１に記載のサーバアクセス方法。
ことを特徴とする請求項１１に記載のサーバアクセス方法。
【請求項14】
第１のステップの所定条件について、主端末は、電波の受信強度が第２の所定閾値以上である場合に、真と判定する
ことを特徴とする請求項１１に記載のサーバアクセス方法。
ことを特徴とする請求項１１に記載のサーバアクセス方法。
【請求項15】
第１のステップの所定条件について、主端末は、副端末の端末識別子を予め記憶しており、マルチキャスト要求の電波を配信し、その応答に電波に当該副端末の端末識別子が含まれているか否かを判定する
ことを特徴とする請求項１１に記載のサーバアクセス方法。
ことを特徴とする請求項１１に記載のサーバアクセス方法。
【請求項16】
主端末と副端末との間で電波によって通信可能であって、エリアトラッキングの基準アンカーが配置されたシステムのサーバアクセス方法であって、
主端末は、予め記憶した副端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
主端末は、予め記憶した副端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
【請求項17】
主端末と副端末との間で電波によって通信可能であって、アクセスポイントが配置されたシステムのサーバアクセス方法であって、
主端末は、予め記憶した副端末のアクセスポイント識別子と、当該主端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
主端末は、予め記憶した副端末のアクセスポイント識別子と、当該主端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とするサーバアクセス方法。
【請求項18】
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入しているサーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
主端末は、当該副端末からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへログインする
ことを特徴とする請求項１１から１７のいずれか１項に記載のサーバアクセス方法。
第１のステップについて、
主端末は、当該副端末からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへログインする
ことを特徴とする請求項１１から１７のいずれか１項に記載のサーバアクセス方法。
【請求項19】
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、サーバへ更に送信する
ことを特徴とする請求項１８に記載のサーバアクセス方法。
ことを特徴とする請求項１８に記載のサーバアクセス方法。
【請求項20】
第１のステップについて、
主端末は、副端末から、サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことを特徴とする請求項１１から１７のいずれか１項に記載のサーバアクセス方法。
主端末は、副端末から、サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことを特徴とする請求項１１から１７のいずれか１項に記載のサーバアクセス方法。
【請求項21】
主端末との間で電波によって通信可能な副端末であって、
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段を有し、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする副端末。
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段を有し、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする副端末。
【請求項22】
副端末との間で電波によって通信可能な主端末であって、
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
を有することを特徴とする主端末。
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
を有することを特徴とする主端末。
【請求項23】
主端末との間で電波によって通信可能な副端末に搭載されたコンピュータを機能させるプログラムであって、
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする副端末のプログラム。
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする副端末のプログラム。
【請求項24】
副端末との間で電波によって通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
してコンピュータを機能させることを特徴とする主端末のプログラム。
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
してコンピュータを機能させることを特徴とする主端末のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、仮想現実(Virtual Reality)、拡張現実(Augmented Reality)又は複合現実(Mixed Reality)の技術に関する。
【背景技術】
【0002】
仮想現実とは、ユーザの頭部にＨＭＤ(Head Mount Display)端末を装着し、ユーザの視界に３次元の仮想空間を表示する技術をいう。ユーザは、自ら動きながら仮想空間への没入感を得ることができる。
拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。
複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。
これら技術によれば、ＨＭＤ端末やＡＲ／ＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。
拡張現実とは、ユーザの視界に映る現実空間に、ＣＧ(Computer Graphics)映像を表示する技術をいう。例えばシースルーのディスプレイ上に、又は、現実空間をカメラで撮影した映像上に、ＣＧを重畳的に表示することによって、現実空間を拡張する。
複合現実とは、ＣＧで人工的に作られた仮想空間を、現実空間と融合させる技術をいう。現実空間の物体が仮想空間と一体化しており、ユーザは、自らの動きが、現実空間且つ仮想空間として相互に影響する。
これら技術によれば、ＨＭＤ端末やＡＲ／ＭＲ端末は、姿勢センサによってユーザの動きを検知すると共に、仮想空間サーバにアクセスすることによって仮想空間情報を取得して表示する。
【0003】
従来、複数のユーザ間における体験共有システムの技術がある（例えば特許文献１参照）。この技術によれば、カメラによって撮影された映像を無線で送信する「スマートめがね」と、そのスマートめがねから映像を受信し、ユーザに仮想現実映像を表示する「ＶＲ機器」とを有する。
【0004】
また、拡張現実空間（又は仮想現実空間）を介したサービスを提供する技術もある（例えば特許文献２参照）。この技術によれば、識別コードが貼り付けられたＩｏＴ機器と、識別コードを撮影するＡＲ（又はＶＲ）機器とを有する。ＡＲ機器は、識別コードを読み取ることによって、その基準点となる拡張現実空間をユーザに表示すると共に、ＩｏＴ機器は、拡張現実空間と連携してユーザにサービスを提供する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表２０２０－５０６５６５号公報
【特許文献2】特開２０１６－７１４９６号公報
【非特許文献】
【0006】
【非特許文献1】SteamVR・lighthouse、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://www.moguravr.com/terms/index-r/lighthouse/#:~:text=Lighthouse%E3%81%A8%E3%81%AF%E3%80%81PC%E5%90%91%E3%81%91,%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E5%8F%AF%E8%83%BD%E3%81%A7%E3%81%99%E3%80%82＞
【非特許文献2】「部屋を歩き回れるVRトラッキングシステムLighthouseのライセンスを発表」、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://www.moguravr.com/lighthouse-tracking-vr/＞
【非特許文献3】回転行列、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/%E5%9B%9E%E8%BB%A2%E8%A1%8C%E5%88%97＞
【非特許文献4】ARToolkit Overview、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://im-lab.net/artoolkit-overview/＞
【非特許文献5】OpenCV Detection of ArUco Markers、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://docs.opencv.org/master/d5/dae/tutorial_aruco_detection.html＞
【非特許文献6】ＳＬＡＭ、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://ja.wikipedia.org/wiki/SLAM＞
【非特許文献7】指さし行動の理解支援に向けたＡＲ図示システムの提案、[online]、［令和３年１０月１日検索］、インターネット＜URL:http://www.res.kutc.kansai-u.ac.jp/~yone/research/pdf_graduate_thesis/201703g_UENO_Kaede.pdf＞
【非特許文献8】コリジョンの概要、[online]、［令和３年１０月１日検索］、インターネット＜URL:https://docs.unrealengine.com/ja/InteractiveExperiences/Physics/Collision/Overview/index.html＞
【発明の開示】
【発明が解決しようとする課題】
【0007】
図１は、オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。
【0008】
図１によれば、オペレータが、現実空間に存在する複数のユーザａ～ｃを視認している。複数のユーザａ～ｃはそれぞれ、ＨＭＤ端末のような副端末２を頭部に装着し、各ＨＭＤ端末は、仮想空間サーバ３にアクセスしている。これによって、副端末２はそれぞれ、ユーザ所望の仮想空間を再生することができる。
【0009】
ＨＭＤ端末によって再生中の仮想空間は、そのＨＭＤ端末を装着したユーザ主導で体験するものである。あくまで、その仮想空間に干渉できるのは、ＨＭＤ端末を装着したユーザのみであり、極めて個人的な体験になってしまっている。
【0010】
図１によれば、例えば、身体が不自由な要介護者（ユーザ）に、ＨＭＤ端末（副端末２）を装着させ、仮想空間を体験してもらうことを想定する。このとき、要介護者は、個人的に仮想空間に没頭することができるが、介護者（オペレータ）は、その要介護者がＨＭＤ端末によって視認している仮想空間を認識することができない。当然、介護者は、要介護者の仮想空間に対する操作を補助することもできない。
このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。
このような課題は、介護の場面に限らない。例えばＨＭＤ端末を装着した職業訓練者と、仮想空間における訓練を指導する指導者との関係も同様なものである。
【0011】
オペレータも例えば主端末（例えばＡＲ端末）を頭部に装着することによって、シースルーディスプレイを通して副端末２と同一の仮想空間へ参入することができる。しかしながら、仮想空間には、副端末の現実空間に存在しない不特定多数のユーザも参入することができ、判別することも難しい。
これに対し、本願の発明者は、主端末が、副端末との間で視認可能な距離に存在していることを条件として、その主端末のユーザを、副端末の仮想空間へ参入させるのがよい、のではないかと考えた。即ち、要介護者が副端末によって視認している仮想空間に、介護者（オペレータ）が主端末によって参入することができれば、介護者は、要介護者の仮想空間に対する操作を補助することができるのではないか、と考えた。
これに対し、本願の発明者は、主端末が、副端末との間で視認可能な距離に存在していることを条件として、その主端末のユーザを、副端末の仮想空間へ参入させるのがよい、のではないかと考えた。即ち、要介護者が副端末によって視認している仮想空間に、介護者（オペレータ）が主端末によって参入することができれば、介護者は、要介護者の仮想空間に対する操作を補助することができるのではないか、と考えた。
【0012】
そこで、本発明は、現実空間の副端末と同一のサーバへ主端末からアクセスする方法、副端末、主端末及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0013】
本発明によれば、主端末と副端末とを有するシステムの仮想空間参入方法であって、
主端末が、現実空間で視認可能な距離に、副端末又はその周辺機器が存在するか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
を有することを特徴とする。
主端末が、現実空間で視認可能な距離に、副端末又はその周辺機器が存在するか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
を有することを特徴とする。
【0014】
本発明の仮想空間参入方法における他の実施形態によれば、
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
主端末は、現実空間で視認可能な距離に存在する副端末又はその周辺機器からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
主端末は、現実空間で視認可能な距離に存在する副端末又はその周辺機器からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
【0015】
本発明の仮想空間参入方法における他の実施形態によれば、
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
ことも好ましい。
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
ことも好ましい。
【0016】
本発明の仮想空間参入方法における他の実施形態によれば、
第１のステップについて、
主端末は、現実空間で視認可能な距離に存在する副端末又はその周辺機器から、仮想空間サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
第１のステップについて、
主端末は、現実空間で視認可能な距離に存在する副端末又はその周辺機器から、仮想空間サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
【0017】
本発明の仮想空間参入方法における他の実施形態によれば、
主端末は、副端末からユーザ識別子又はサーバアドレスを取得するために、
副端末からの近距離通信用電波によって受信するか、又は、
副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、カメラによって撮影して読み取る
ことも好ましい。
主端末は、副端末からユーザ識別子又はサーバアドレスを取得するために、
副端末からの近距離通信用電波によって受信するか、又は、
副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、カメラによって撮影して読み取る
ことも好ましい。
【0018】
本発明の仮想空間参入方法における他の実施形態によれば、
第１のステップについて、主端末は、
カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、カメラの映像から物体認識によって当該副端末又はその周辺機器がオブジェクトとして検出された場合、
距離センサ又はデプスカメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、計測した当該副端末又はその周辺機器までの距離が、第１の所定閾値以下である場合、
近距離通信インタフェースを有し、副端末の端末識別子を予め記憶しており、当該副端末から受信した近距離通信用電波の受信強度が、第２の所定閾値以上である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末のエリア識別子を予め記憶しており、当該主端末の位置によって検知されるエリア識別子と同一である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末のアクセスポイント識別子を予め記憶しており、当該主端末が受信する電波のアクセスポイントのアクセスポイント識別子と同一である場合、又は、
アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末の端末識別子を予め記憶しており、当該主端末が受信する電波のアクセスポイント内に含まれている場合、
副端末又はその周辺機器が現実空間で視認可能な距離に存在すると判定する
ことも好ましい。
第１のステップについて、主端末は、
カメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、カメラの映像から物体認識によって当該副端末又はその周辺機器がオブジェクトとして検出された場合、
距離センサ又はデプスカメラを搭載し、副端末又はその周辺機器の物体形状又はマーカを予め記憶しており、計測した当該副端末又はその周辺機器までの距離が、第１の所定閾値以下である場合、
近距離通信インタフェースを有し、副端末の端末識別子を予め記憶しており、当該副端末から受信した近距離通信用電波の受信強度が、第２の所定閾値以上である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末のエリア識別子を予め記憶しており、当該主端末の位置によって検知されるエリア識別子と同一である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末のアクセスポイント識別子を予め記憶しており、当該主端末が受信する電波のアクセスポイントのアクセスポイント識別子と同一である場合、又は、
アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末の端末識別子を予め記憶しており、当該主端末が受信する電波のアクセスポイント内に含まれている場合、
副端末又はその周辺機器が現実空間で視認可能な距離に存在すると判定する
ことも好ましい。
【0019】
本発明の仮想空間参入方法における他の実施形態によれば、
主端末は、カメラ及び姿勢センサを更に搭載し、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢ＴH2を受信し、
所定時間毎に、カメラの映像から物体認識によって現実空間の副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出し、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2とを検出し、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付け、
カメラの映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
主端末は、カメラ及び姿勢センサを更に搭載し、
所定時間毎に、副端末それぞれから、副端末座標系Ｈの副端末姿勢ＴH2を受信し、
所定時間毎に、カメラの映像から物体認識によって現実空間の副端末それぞれについて、主端末の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出し、
所定時間毎に、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2とを検出し、
副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付け、
カメラの映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
【0020】
本発明の仮想空間参入方法における他の実施形態によれば、
副端末も、姿勢センサを搭載しており、
主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
副端末座標系Ｈの副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。
副端末も、姿勢センサを搭載しており、
主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
副端末座標系Ｈの副端末姿勢ＴH2は、当該副端末の姿勢センサによって検知されたものである
ことも好ましい。
【0021】
本発明の仮想空間参入方法における他の実施形態によれば、
主端末座標系Ａの副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
主端末座標系Ａの副端末姿勢ＴA2について、映像に映り込む副端末におけるユーザが向く前面は、副端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
【0022】
本発明の仮想空間参入方法における他の実施形態によれば、
当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢ＴH2とし、
カメラの映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2とする
ことも好ましい。
当該副端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ｈの副端末姿勢ＴH2とし、
カメラの映像から、副端末それぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2とする
ことも好ましい。
【0023】
本発明によれば、主端末と副端末とを有するシステムの仮想空間参入方法であって、
副端末が、現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
を有することを特徴とする。
副端末が、現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する第２のステップと
を有することを特徴とする。
【0024】
本発明の仮想空間参入方法における他の実施形態によれば、
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入している仮想空間サーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
【0025】
本発明の仮想空間参入方法における他の実施形態によれば、
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
ことも好ましい。
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、仮想空間サーバへ更に送信し、
仮想空間サーバに対して、現実空間の当該副端末と仮想空間の端末とを紐付ける
ことも好ましい。
【0026】
本発明の仮想空間参入方法における他の実施形態によれば、
第１のステップについて、
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
第１のステップについて、
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づく仮想空間サーバへログインする
ことも好ましい。
【0027】
本発明の仮想空間参入方法における他の実施形態によれば、
副端末は、主端末へユーザ識別子又はサーバアドレスを通知するために、
主端末へ近距離通信用電波によって送信するか、又は、
副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、主端末のカメラによって撮影させて読み取らせる
ことも好ましい。
副端末は、主端末へユーザ識別子又はサーバアドレスを通知するために、
主端末へ近距離通信用電波によって送信するか、又は、
副端末に装着された、ユーザ識別子又はサーバアドレスが記述されたマーカを、主端末のカメラによって撮影させて読み取らせる
ことも好ましい。
【0028】
本発明の仮想空間参入方法における他の実施形態によれば、
第１のステップについて、副端末は、
カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、カメラの映像に、物体認識によって当該副端末又はその周辺機器がオブジェクトとして検出された場合、
距離センサ又はデプスカメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、計測した当該主端末又はその周辺機器までの距離が、第１の所定閾値以下である場合、
近距離通信インタフェースを有し、主端末の端末識別子を予め記憶しており、当該主端末から受信した近距離通信用電波の受信強度が、第２の所定閾値以上である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、主端末のエリア識別子を予め記憶しており、当該副端末の位置によって検知されるエリア識別子と同一である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、主端末のアクセスポイント識別子を予め記憶しており、当該副端末が受信する電波のアクセスポイントのアクセスポイント識別子と同一である場合、又は、
アクセスポイントと通信可能な近距離通信インタフェースを有し、主端末の端末識別子を予め記憶しており、当該副端末が受信する電波のアクセスポイント内に含まれている場合、
主端末又はその周辺機器が現実空間で視認可能な距離に存在すると判定する
ことも好ましい。
第１のステップについて、副端末は、
カメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、カメラの映像に、物体認識によって当該副端末又はその周辺機器がオブジェクトとして検出された場合、
距離センサ又はデプスカメラを搭載し、主端末又はその周辺機器の物体形状又はマーカを予め記憶しており、計測した当該主端末又はその周辺機器までの距離が、第１の所定閾値以下である場合、
近距離通信インタフェースを有し、主端末の端末識別子を予め記憶しており、当該主端末から受信した近距離通信用電波の受信強度が、第２の所定閾値以上である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、主端末のエリア識別子を予め記憶しており、当該副端末の位置によって検知されるエリア識別子と同一である場合、
アクセスポイントと通信可能な近距離通信インタフェースを有し、主端末のアクセスポイント識別子を予め記憶しており、当該副端末が受信する電波のアクセスポイントのアクセスポイント識別子と同一である場合、又は、
アクセスポイントと通信可能な近距離通信インタフェースを有し、主端末の端末識別子を予め記憶しており、当該副端末が受信する電波のアクセスポイント内に含まれている場合、
主端末又はその周辺機器が現実空間で視認可能な距離に存在すると判定する
ことも好ましい。
【0029】
本発明の仮想空間参入方法における他の実施形態によれば、
副端末は、カメラ及び姿勢センサを更に搭載し、
所定時間毎に、端末それぞれから、主端末座標系Ｈの主端末姿勢ＴH2を受信し、
所定時間毎に、カメラの映像から物体認識によって現実空間の主端末それぞれについて、副端末の姿勢センサに基づく副端末座標系Ａの主端末姿勢ＴA2を検出し、
所定時間毎に、主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と、副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2とを検出し、
主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2の主端末を特定し、当該主端末の端末識別子を、映像から認識された主端末に対応付け、
カメラの映像に映り込む現実空間の複数の主端末の中で、１つの主端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
副端末は、カメラ及び姿勢センサを更に搭載し、
所定時間毎に、端末それぞれから、主端末座標系Ｈの主端末姿勢ＴH2を受信し、
所定時間毎に、カメラの映像から物体認識によって現実空間の主端末それぞれについて、副端末の姿勢センサに基づく副端末座標系Ａの主端末姿勢ＴA2を検出し、
所定時間毎に、主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と、副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2とを検出し、
主端末それぞれについて、主端末座標系Ｈの主端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる副端末座標系Ａの主端末姿勢ＴA2の変位ΔＴA2の主端末を特定し、当該主端末の端末識別子を、映像から認識された主端末に対応付け、
カメラの映像に映り込む現実空間の複数の主端末の中で、１つの主端末のオブジェクトをオペレータ操作によって選択させる
ことも好ましい。
【0030】
本発明の仮想空間参入方法における他の実施形態によれば、
主端末は、姿勢センサを搭載しており、
副端末座標系Ａの主端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
主端末座標系Ｈの主端末姿勢ＴH2は、当該主端末の姿勢センサによって検知されたものである
ことも好ましい。
主端末は、姿勢センサを搭載しており、
副端末座標系Ａの主端末姿勢ＴA2は、映像に映り込む副端末におけるユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものであり、
主端末座標系Ｈの主端末姿勢ＴH2は、当該主端末の姿勢センサによって検知されたものである
ことも好ましい。
【0031】
本発明の仮想空間参入方法における他の実施形態によれば、
副端末座標系Ａの主端末姿勢ＴA2について、映像に映り込む主端末におけるユーザが向く前面は、主端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
副端末座標系Ａの主端末姿勢ＴA2について、映像に映り込む主端末におけるユーザが向く前面は、主端末に配置された所定マーカの位置に基づいて特定される
ことも好ましい。
【0032】
本発明の仮想空間参入方法における他の実施形態によれば、
当該主端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ｈの主端末姿勢ＴH2とし、
カメラの映像から、主端末それぞれについて、副端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ａの主端末姿勢ＴA2とする
ことも好ましい。
当該主端末座標系Ｈに基づく位置ｖ及び傾きｒを受信し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ｈの主端末姿勢ＴH2とし、
カメラの映像から、主端末それぞれについて、副端末座標系Ａに基づく位置ｖ及び傾きｒを検出し、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、副端末座標系Ａの主端末姿勢ＴA2とする
ことも好ましい。
【0033】
本発明の仮想空間参入方法における他の実施形態によれば、
第２のステップについて、主端末は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
近距離通信を介してローカルに配置された仮想空間サーバへ、又は、
近距離通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
第２のステップについて、主端末は、
広域通信を介して外部ネットワークに配置された仮想空間サーバへ、
近距離通信を介してローカルに配置された仮想空間サーバへ、又は、
近距離通信を介して副端末に搭載された仮想空間サーバへ
アクセスすることも好ましい。
【0034】
本発明の仮想空間参入方法における他の実施形態によれば、
主端末又は副端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の端末をオペレータに視認させる
ことも好ましい。
主端末又は副端末は、ディスプレイを搭載した眼鏡型、コンタクトレンズ型、又は、ヘッドマウント型の端末であり、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の端末をオペレータに視認させる
ことも好ましい。
【0035】
本発明によれば、副端末と通信可能な主端末において、
現実空間で視認可能な距離に、副端末又はその周辺機器が存在するか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
を有することを特徴とする。
現実空間で視認可能な距離に、副端末又はその周辺機器が存在するか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
を有することを特徴とする。
【0036】
本発明によれば、主端末と、当該主端末と通信可能な副端末とを有するシステムにおいて、
副端末が、現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知し、
主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する
ことを特徴とする。
副端末が、現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知し、
主端末が、副端末から許可信号を取得した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する
ことを特徴とする。
【0037】
本発明によれば、主端末と通信可能な副端末において、
現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段
を有し、
主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
ことを特徴とする。
現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段
を有し、
主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
ことを特徴とする。
【0038】
本発明によれば、副端末と通信可能な主端末に搭載されたコンピュータを機能させるプログラムにおいて、
現実空間で視認可能な距離に、副端末又はその周辺機器が存在するか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
してコンピュータを機能させることを特徴とする。
現実空間で視認可能な距離に、副端末又はその周辺機器が存在するか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入するサーバアクセス手段と
してコンピュータを機能させることを特徴とする。
【0039】
本発明によれば、主端末と通信可能な副端末に搭載されたコンピュータを機能させるプログラムにおいて、
現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
ことを特徴とする。
現実空間で視認可能な距離に、主端末又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、主端末に、副端末と同一の仮想空間サーバへアクセスさせ、同一の仮想空間へ参入させる
ことを特徴とする。
【0040】
本発明によれば、主端末と副端末との間で電波によって通信可能なシステムのサーバアクセス方法であって、
副端末は、主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
副端末は、主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
【0041】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、副端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
第１のステップの所定条件について、副端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
【0042】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、副端末は、距離センサ又はデプスカメラを用いて主端末から反射した電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
第１のステップの所定条件について、副端末は、距離センサ又はデプスカメラを用いて主端末から反射した電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
【0043】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、副端末は、電波の受信強度が第２の所定閾値以上である場合に、真と判定する
ことも好ましい。
第１のステップの所定条件について、副端末は、電波の受信強度が第２の所定閾値以上である場合に、真と判定する
ことも好ましい。
【0044】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、副端末は、主端末の端末識別子を予め記憶しており、マルチキャスト要求の電波を配信し、その応答に電波に当該主端末の端末識別子が含まれているか否かを判定する
ことも好ましい。
第１のステップの所定条件について、副端末は、主端末の端末識別子を予め記憶しており、マルチキャスト要求の電波を配信し、その応答に電波に当該主端末の端末識別子が含まれているか否かを判定する
ことも好ましい。
【0045】
本発明によれば、主端末と副端末との間で電波によって通信可能であって、エリアトラッキングの基準アンカーが配置されたシステムのサーバアクセス方法であって、
副端末は、予め記憶した主端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
副端末は、予め記憶した主端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末は、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
【0046】
本発明によれば、主端末と副端末との間で電波によって通信可能であって、アクセスポイントが配置されたシステムのサーバアクセス方法であって、
副端末は、予め記憶した主端末のアクセスポイント識別子と、当該副端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
副端末は、予め記憶した主端末のアクセスポイント識別子と、当該副端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定し、真と判定した際に、許可信号を主端末へ通知する第１のステップと、
主端末が、副端末から許可信号を取得した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
【0047】
本発明のサーバアクセス方法における他の実施形態によれば、
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入しているサーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことも好ましい。
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入しているサーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
副端末は、許可信号としてユーザ識別子を主端末へ通知し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことも好ましい。
【0048】
本発明のサーバアクセス方法における他の実施形態によれば、
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、サーバへ更に送信する
ことも好ましい。
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、サーバへ更に送信する
ことも好ましい。
【0049】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップについて、
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことも好ましい。
第１のステップについて、
副端末は、許可信号としてサーバアドレスを主端末へ通知し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことも好ましい。
【0050】
本発明によれば、主端末と副端末との間で電波によって通信可能なシステムのサーバアクセス方法であって、
主端末は、副端末から受信した電波が所定条件を満たすか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
主端末は、副端末から受信した電波が所定条件を満たすか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
【0051】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、主端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
第１のステップの所定条件について、主端末は、ＴＯＦ(Time-of-Flight)の電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
【0052】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、主端末は、距離センサ又はデプスカメラを用いて副端末から反射した電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
第１のステップの所定条件について、主端末は、距離センサ又はデプスカメラを用いて副端末から反射した電波によって計測した距離が、第１の所定閾値以下である場合、真と判定する
ことも好ましい。
【0053】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、主端末は、電波の受信強度が第２の所定閾値以上である場合に、真と判定する
ことも好ましい。
第１のステップの所定条件について、主端末は、電波の受信強度が第２の所定閾値以上である場合に、真と判定する
ことも好ましい。
【0054】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップの所定条件について、主端末は、副端末の端末識別子を予め記憶しており、マルチキャスト要求の電波を配信し、その応答に電波に当該副端末の端末識別子が含まれているか否かを判定する
ことも好ましい。
第１のステップの所定条件について、主端末は、副端末の端末識別子を予め記憶しており、マルチキャスト要求の電波を配信し、その応答に電波に当該副端末の端末識別子が含まれているか否かを判定する
ことも好ましい。
【0055】
本発明によれば、主端末と副端末との間で電波によって通信可能であって、エリアトラッキングの基準アンカーが配置されたシステムのサーバアクセス方法であって、
主端末は、予め記憶した副端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
主端末は、予め記憶した副端末のエリア識別子と、基準アンカーから受信した電波によって測位されたエリア識別子とが同一であるか否かを判定する第１のステップと、
主端末は、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
【0056】
本発明によれば、主端末と副端末との間で電波によって通信可能であって、アクセスポイントが配置されたシステムのサーバアクセス方法であって、
主端末は、予め記憶した副端末のアクセスポイント識別子と、当該主端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
主端末は、予め記憶した副端末のアクセスポイント識別子と、当該主端末がアクセスポイントから受信した電波に含まれるアクセスポイント識別子とが同一であるか否かを判定する第１のステップと、
主端末が、真と判定した際に、副端末と同一のサーバへアクセスする第２のステップと
を有することを特徴とする。
【0057】
本発明のサーバアクセス方法における他の実施形態によれば、
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入しているサーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
主端末は、当該副端末からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへログインする
ことも好ましい。
システムは、ユーザ識別子と、当該ユーザ識別子に相当するユーザが現に参入しているサーバのサーバアドレスとを対応付けて記憶する検索サーバを更に有し、
第１のステップについて、
主端末は、当該副端末からユーザ識別子を取得し、
第２のステップについて、
主端末が、副端末から取得したユーザ識別子を、検索サーバへ送信し、
検索サーバが、当該ユーザ識別子に対応するサーバアドレスを、主端末へ応答し、
主端末が、当該サーバアドレスに基づくサーバへログインする
ことも好ましい。
【0058】
本発明のサーバアクセス方法における他の実施形態によれば、
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、サーバへ更に送信する
ことも好ましい。
第２のステップについて、主端末は、副端末から取得したユーザ識別子を、サーバへ更に送信する
ことも好ましい。
【0059】
本発明のサーバアクセス方法における他の実施形態によれば、
第１のステップについて、
主端末は、副端末から、サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことも好ましい。
第１のステップについて、
主端末は、副端末から、サーバのサーバアドレスを取得し、
第２のステップについて、
主端末が、当該サーバアドレスに基づくサーバへアクセスする
ことも好ましい。
【0060】
本発明によれば、主端末との間で電波によって通信可能な副端末であって、
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段を有し、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする。
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段を有し、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする。
【0061】
本発明によれば、副端末との間で電波によって通信可能な主端末であって、
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
を有することを特徴とする。
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
を有することを特徴とする。
【0062】
本発明によれば、主端末との間で電波によって通信可能な副端末に搭載されたコンピュータを機能させるプログラムであって、
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする。
主端末から受信した電波が所定条件を満たすか否かを判定し、真と判定した際に、許可信号を主端末へ通知する許可信号通知手段と
してコンピュータを機能させ、
主端末に、副端末と同一のサーバへアクセスさせる
ことを特徴とする。
【0063】
本発明によれば、副端末との間で電波によって通信可能な主端末に搭載されたコンピュータを機能させるプログラムであって、
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
してコンピュータを機能させることを特徴とする。
副端末から受信した電波が所定条件を満たすか否かを判定する視認距離判定手段と、
視認距離判定手段によって真と判定した際に、副端末と同一のサーバへアクセスするサーバアクセス手段と
してコンピュータを機能させることを特徴とする。
【発明の効果】
【0064】
本発明における方法、副端末、主端末及びプログラムによれば、現実空間の副端末と同一のサーバへ主端末からアクセスすることができる。
【図面の簡単な説明】
【0065】
【図1】オペレータが視認可能な現実空間に複数の副端末が存在するシステム構成図である。
【図2】本発明におけるシステム構成図である。
【図3】主端末が副端末に対する視認距離を判定する第１のシーケンス図である。
【図4】主端末が副端末からユーザＩＤ及び／又はサーバアドレスを取得する第１のシーケンス図である。
【図5】第１のシーケンスにおける主端末及び副端末の機能構成図である。
【図6】副端末が主端末に対する視認距離を判定する第２のシーケンス図である。
【図7】主端末が副端末からユーザＩＤ又はサーバアドレスを取得する第２のシーケンス図である。
【図8】第２のシーケンスにおける主端末及び副端末の機能構成図である。
【図9】主端末から副端末を視認する現実空間におけるシステム構成図である。
【図11】主端末座標系と副端末座標系との関係を表す説明図である。
【図12】現実空間と仮想空間との関係を表す説明図である。
【発明を実施するための形態】
【0066】
以下では、図面を用いて、本発明を実施するための形態について詳細に説明する。
【0067】
図２は、本発明におけるシステム構成図である。
【0068】
既存技術によれば、仮想空間サーバは、一般的に、遠隔地に滞在する複数のユーザ同士を、同じ仮想空間に存在できるようにするものである。
これに対し、本発明によれば、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、「互いに現実空間で視認可能な距離に存在する」ことを条件としている。即ち、本発明によれば、現実空間の近距離周辺で実現されることに特徴があり、そのために、副端末２を装着する要介護者を、主端末１を装着する介護者（オペレータ）が補助できるようにしたものである。
これに対し、本発明によれば、オペレータが所持する主端末１と、ユーザが所持する副端末２とは、「互いに現実空間で視認可能な距離に存在する」ことを条件としている。即ち、本発明によれば、現実空間の近距離周辺で実現されることに特徴があり、そのために、副端末２を装着する要介護者を、主端末１を装着する介護者（オペレータ）が補助できるようにしたものである。
【0069】
主端末１は、例えば眼鏡型のＡＲ(Augmented Reality)端末であり、シースルーディスプレイに仮想空間のＣＧを表示することができる。オペレータは、主端末１を装着し、シースルーディスプレイを通して複数のユーザａ～ｃを視認することができる。
一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａ～ｃは、ＨＭＤを装着し、仮想空間を体験しているとする。
一方で、副端末２は、例えばＨＭＤ(Head Mount Display)端末であり、仮想空間サーバ３へアクセスすることができる。ユーザａ～ｃは、ＨＭＤを装着し、仮想空間を体験しているとする。
【0070】
図２によれば、主端末１はＡＲ端末であるとしているが、ＭＲ(Mixed Reality)端末であってもよいし、これらに限られるものではない。主端末１は、コンタクトレンズ型であってもよいし、カメラ付きで外界の映像も再生するＨＭＤ端末であってもよい。オペレータは、シースルーによって、又は、カメラによって撮影された映像を表示するディスプレイによって、現実空間に存在する複数の副端末２を視認することができる。
一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってもよいし、これに限られるものでもない。
主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。
一方で、副端末２もＨＭＤ端末であるとしているが、勿論、ＡＲ端末又はＭＲ端末であってもよいし、これに限られるものでもない。
主端末１及び副端末２は、例えばスマートフォンのような、カメラとディスプレイとを搭載した端末であってもよいし、タブレットやパーソナルコンピュータであってもよい。
【0071】
主端末１は、近距離通信を介して副端末２と通信すると共に、仮想空間サーバ３にアクセスする。仮想空間サーバ３が配置される場所として、例えば以下の３つのパターンがある。
（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
（３）副端末に搭載された仮想空間サーバ(Listen Server)
ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信を介してインターネットに接続する。
（１）外部ネットワーク（インターネット）に配置された仮想空間サーバ(Dedicated Server)
（２）ローカルに配置された仮想空間サーバ(Dedicated Server)
（３）副端末に搭載された仮想空間サーバ(Listen Server)
ここで、仮想空間サーバ３がインターネットに配置されている場合、主端末１は、広域通信を介してインターネットに接続する。
【0072】
図３は、主端末が副端末に対する視認距離を判定する第１のシーケンス図である。
【0073】
図３によれば、主端末１は、現実空間で視認可能な距離に存在する副端末２であることを条件として、当該副端末２と同一の仮想空間へ参入することができる。
（Ｓ１）主端末１が、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在するか否かを判定する。
（Ｓ２）主端末１が、Ｓ１について真と判定した際に、副端末２と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する。
（Ｓ１）主端末１が、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在するか否かを判定する。
（Ｓ２）主端末１が、Ｓ１について真と判定した際に、副端末２と同一の仮想空間サーバへアクセスし、同一の仮想空間へ参入する。
【0074】
＜視認可能な距離の判定方法＞
主端末１は、副端末２が現実空間で視認可能な距離に存在するか否かを、例えば以下の判定１～５によって判定することができる。
主端末１は、副端末２が現実空間で視認可能な距離に存在するか否かを、例えば以下の判定１～５によって判定することができる。
【0075】
（判定１）カメラを搭載し、副端末２又はその周辺機器の物体形状又はマーカを予め記憶しており、カメラの映像から物体認識によって当該副端末２又はその周辺機器がオブジェクトとして検出された場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識は、例えば副端末２自体に又はその周辺装置に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲ(Quick Response)コード（登録商標）であってもよい。少なくとも、マーカは、副端末２について、主端末１から視認可能な位置に装着されたものであればよい。
副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識は、例えば副端末２自体に又はその周辺装置に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲ(Quick Response)コード（登録商標）であってもよい。少なくとも、マーカは、副端末２について、主端末１から視認可能な位置に装着されたものであればよい。
【0076】
（判定２）距離センサ又はデプスカメラを搭載し、副端末２又はその周辺機器の物体形状又はマーカを予め記憶しており、計測した当該副端末２又はその周辺機器までの距離が、第１の所定閾値以下である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
距離センサとは、光源（ＬＥＤやレーザダイオード）から光を照射し、副端末２のような測定対象物から反射した光を受光素子で受光する。光源からの投光から、反射によって受光するまでの時間から距離を算出する。
デプスカメラとは、奥行きの情報を取得する深度センサを内蔵したカメラである。その方式としては、ＴＯＦ(Time-of-Flight)があり、照射範囲を拡散してカメラのように画像で距離情報を得ることができる。
距離センサとは、光源（ＬＥＤやレーザダイオード）から光を照射し、副端末２のような測定対象物から反射した光を受光素子で受光する。光源からの投光から、反射によって受光するまでの時間から距離を算出する。
デプスカメラとは、奥行きの情報を取得する深度センサを内蔵したカメラである。その方式としては、ＴＯＦ(Time-of-Flight)があり、照射範囲を拡散してカメラのように画像で距離情報を得ることができる。
【0077】
（判定３）近距離通信インタフェースを有し、副端末２の端末識別子を予め記憶しており、当該副端末２から受信した近距離通信用電波の受信強度が、第２の所定閾値以上である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
「近距離通信」としては、例えばBluetooth（登録商標）やZigbee（登録商標）、ＵＷＢ(Ultra Wide Band)であってもよい。例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。低消費電力版Bluetoothとして、１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。
例えば副端末２が、タグデバイスとして、広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。主端末１は、広報パケットを受信することによって、その電波の受信強度を検知し、副端末２が現実空間で視認可能な程度に近いと想定することができる。
「近距離通信」としては、例えばBluetooth（登録商標）やZigbee（登録商標）、ＵＷＢ(Ultra Wide Band)であってもよい。例えばBluetoothの場合、特に電波の到達範囲が狭いＢＬＥ(Bluetooth Low Energy)が適する。低消費電力版Bluetoothとして、１／３程度の電力で動作するために、主端末１及び副端末２の電力消費を低く抑えることができる。
例えば副端末２が、タグデバイスとして、広報パケット(Advertising Packet)を常時発信する。広報パケットは、例えば100msの間隔で、周期的に送信される。ＢＬＥ規格によれば、副端末２を「advertiser」として機能させ、広報パケットには、端末ＩＤとして「ビーコンＩＤ」が含められる。主端末１は、広報パケットを受信することによって、その電波の受信強度を検知し、副端末２が現実空間で視認可能な程度に近いと想定することができる。
【0078】
（判定４）アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末２のエリア識別子を予め記憶しており、当該主端末の位置によって検知されるエリア識別子と同一である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
例えばLighthouse（登録商標）のようなエリアトラッキング技術を採用することができる（例えば非特許文献１，２参照）。例えばＵＷＢ(Ultra Wide Band)のような超広帯域無線通信を用いて、室内に配置された複数の基準アンカーからの電波を受信することによって測位するものであってもよい。主端末１及び副端末２の両方をトラッキングしているエリア識別子が同一であるということによって、両端末の距離が近いと判定することができる。ＵＷＢの場合、低消費電力で且つ到達距離30メートル程度であり、誤差が数十ｃｍと正確な屋内測位を可能とする。
例えばLighthouse（登録商標）のようなエリアトラッキング技術を採用することができる（例えば非特許文献１，２参照）。例えばＵＷＢ(Ultra Wide Band)のような超広帯域無線通信を用いて、室内に配置された複数の基準アンカーからの電波を受信することによって測位するものであってもよい。主端末１及び副端末２の両方をトラッキングしているエリア識別子が同一であるということによって、両端末の距離が近いと判定することができる。ＵＷＢの場合、低消費電力で且つ到達距離30メートル程度であり、誤差が数十ｃｍと正確な屋内測位を可能とする。
【0079】
（判定５）アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末２のアクセスポイント識別子を予め記憶しており、当該主端末１が受信する電波のアクセスポイントのアクセスポイント識別子と同一である場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
例えば無線ＬＡＮの場合、主端末１は、現に電波を受信している無線ルータのアクセスポイント識別子が、副端末２のアクセスポイント識別子と同一であるということによって、両端末の距離が近いと判定する。このとき、同一の無線ルータから受信する電波強度について、主端末１の電波強度と、副端末２の電波強度との差が閾値以下である場合、両端末の距離は近いと判定するものであってもよい。
例えば無線ＬＡＮの場合、主端末１は、現に電波を受信している無線ルータのアクセスポイント識別子が、副端末２のアクセスポイント識別子と同一であるということによって、両端末の距離が近いと判定する。このとき、同一の無線ルータから受信する電波強度について、主端末１の電波強度と、副端末２の電波強度との差が閾値以下である場合、両端末の距離は近いと判定するものであってもよい。
【0080】
（判定６）アクセスポイントと通信可能な近距離通信インタフェースを有し、副端末２の端末識別子を予め記憶しており、当該主端末１が受信する電波のアクセスポイント内に含まれている場合、主端末１からみて副端末２が現実空間で視認可能な距離に存在すると判定する。
例えば無線ＬＡＮである場合、主端末１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末識別子を含む応答を受信することができる。応答を得られた端末識別子によって、両端末が同一エリアにいるか否かを判定することができる。
例えば無線ＬＡＮである場合、主端末１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末識別子を含む応答を受信することができる。応答を得られた端末識別子によって、両端末が同一エリアにいるか否かを判定することができる。
【0081】
図４は、主端末が副端末からユーザＩＤ及び／又はサーバアドレスを取得する第１のシーケンス図である。
【0082】
（Ｓ１）主端末１は、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在すると判定すると共に、当該副端末２又はその周辺機器から「ユーザＩＤ（識別子、IDentifier）」を取得する。
ここで、主端末１は、副端末２から「ユーザＩＤ」を取得するために、以下の２つの実施形態がある。
（Ｓ１－１）副端末２からの近距離通信用電波によって受信する。例えばBluetoothの場合、副端末２から配信される広報パケットに、ユーザＩＤを含めることもできる。
（Ｓ１－２）副端末２に装着された、ユーザＩＤが記述されたマーカを、カメラによって撮影して読み取る。
ここで、主端末１は、副端末２から「ユーザＩＤ」を取得するために、以下の２つの実施形態がある。
（Ｓ１－１）副端末２からの近距離通信用電波によって受信する。例えばBluetoothの場合、副端末２から配信される広報パケットに、ユーザＩＤを含めることもできる。
（Ｓ１－２）副端末２に装着された、ユーザＩＤが記述されたマーカを、カメラによって撮影して読み取る。
【0083】
ここで、システムとして、検索サーバ４を更に有する。検索サーバ４は、「ユーザＩＤ」と、当該ユーザＩＤに相当するユーザが現に参入している仮想空間サーバの「サーバアドレス」とを対応付けて記憶したものである。
【0084】
（Ｓ２）主端末１は、Ｓ１によって真と判定された場合、副端末２から取得したユーザＩ
Ｄを、検索サーバ４へ送信する。これに対し、検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを検索する。検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを、主端末１へ応答する。そして、主端末１は、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
Ｄを、検索サーバ４へ送信する。これに対し、検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを検索する。検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを、主端末１へ応答する。そして、主端末１は、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
【0085】
主端末１は、副端末２から取得したユーザＩＤを、仮想空間サーバ３へ更に送信するものであってもよい。これによって、仮想空間サーバ３に対して、現実空間の当該副端末と仮想空間の端末とを紐付けることができる。
【0086】
尚、副端末２は、ユーザが所持するスマートフォンと通信可能なものであってもよい。ユーザがスマートフォンを所持しており、そのスマートフォンは副端末２と通信する。副端末２は、スマートフォンからユーザ情報を受信し、当該ユーザ情報に基づくユーザＩＤを、主端末１へ通知することができる。ユーザＩＤをマーカに表示する場合、副端末２を装着するユーザに応じて、当該マーカを可変して表示させる必要がある。
【0087】
また、他の実施形態として、ユーザＩＤに代えて、サーバアドレスであってもよい。
（Ｓ１）主端末１は、当該副端末２又はその周辺機器から「サーバアドレス」を取得するものであってもよい。サーバアドレスとは、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報を含む。尚、サーバアドレスは、仮想空間ルーム名や、例えばVRChat（登録商標）のようなソーシャルＶＲプラットフォームにおける識別子であってもよい。
（Ｓ２）主端末１は、Ｓ１によって真と判定された場合、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
（Ｓ１）主端末１は、当該副端末２又はその周辺機器から「サーバアドレス」を取得するものであってもよい。サーバアドレスとは、ＵＲＬ(Uniform Resource Locator)や、ＩＰアドレス、ポート番号、その他の仮想空間サーバにアクセスするために必要な情報を含む。尚、サーバアドレスは、仮想空間ルーム名や、例えばVRChat（登録商標）のようなソーシャルＶＲプラットフォームにおける識別子であってもよい。
（Ｓ２）主端末１は、Ｓ１によって真と判定された場合、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
【0088】
図５は、第１のシーケンスにおける主端末及び副端末の機能構成図である。
【0089】
図５によれば、ハードウェアとして、主端末１は、オペレータの視覚に映すディスプレイと、現実空間の映像として副端末２を撮影可能なカメラと、副端末２と通信可能な近距離通信インタフェースと、仮想空間サーバ３及び検索サーバ４へアクセス可能な広域通信インタフェースとを有する。また、図５によれば、ソフトウェアとして、主端末１は、視認距離判定部１１と、サーバアクセス部１２とを有する。これら機能構成部は、主端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。これら機能構成部の処理の流れは、仮想空間参入方法としても理解できる。
【0090】
［視認距離判定部１１］
視認距離判定部１１は、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在するか否かを判定する。前述したＳ１と同様の処理を実行する。
［サーバアクセス部１２］
サーバアクセス部１２は、視認距離判定部１１によって真と判定した際に、副端末２と同一の仮想空間サーバ３へアクセスし、同一の仮想空間へ参入する。前述したＳ２と同様の処理を実行する。
視認距離判定部１１は、現実空間で視認可能な距離に、副端末２又はその周辺機器が存在するか否かを判定する。前述したＳ１と同様の処理を実行する。
［サーバアクセス部１２］
サーバアクセス部１２は、視認距離判定部１１によって真と判定した際に、副端末２と同一の仮想空間サーバ３へアクセスし、同一の仮想空間へ参入する。前述したＳ２と同様の処理を実行する。
【0091】
図６は、副端末が主端末に対する視認距離を判定する第２のシーケンス図である。
【0092】
図６によれば、副端末２は、現実空間で視認可能な距離に存在する主端末１であることを条件として、当該主端末１を同一の仮想空間へ参入させることができる。
（Ｓ１）副端末２が、現実空間で視認可能な距離に、主端末１又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末１へ通知する。
（Ｓ２）主端末１が、副端末２から許可信号を取得した際に、副端末２と同一の仮想空間サーバ３へアクセスし、同一の仮想空間へ参入する。
（Ｓ１）副端末２が、現実空間で視認可能な距離に、主端末１又はその周辺機器が存在するか否かを判定し、真と判定した際に、許可信号を主端末１へ通知する。
（Ｓ２）主端末１が、副端末２から許可信号を取得した際に、副端末２と同一の仮想空間サーバ３へアクセスし、同一の仮想空間へ参入する。
【0093】
尚、副端末２からみた主端末１に対する視認可能な距離の判定方法は、前述した主端末１からみた副端末２に対する視認可能な距離の判定方法と全く同じである。即ち、主体が、主端末１か又は副端末２かの違いのみである。
【0094】
図７は、主端末が副端末からユーザＩＤ又はサーバアドレスを取得する第２のシーケンス図である。
【0095】
（Ｓ１）副端末２は、現実空間で視認可能な距離に、主端末１又はその周辺機器が存在すると判定すると共に、当該主端末１又はその周辺機器へ「ユーザＩＤ」を通知する。
ここで、副端末２は、主端末１へ「ユーザＩＤ」を通知するために、以下の２つの実施形態がある。
（Ｓ１－１）副端末２からの近距離通信用電波によって、許可信号として主端末１へ送信する。例えばBluetoothの場合、副端末２から配信される広報パケットに、許可信号として、ユーザＩＤを含めることもできる。
（Ｓ１－２）副端末２は、ユーザＩＤが記述されたマーカを表示し、主端末１のカメラによって撮影して読み取らせる。
ここで、副端末２は、主端末１へ「ユーザＩＤ」を通知するために、以下の２つの実施形態がある。
（Ｓ１－１）副端末２からの近距離通信用電波によって、許可信号として主端末１へ送信する。例えばBluetoothの場合、副端末２から配信される広報パケットに、許可信号として、ユーザＩＤを含めることもできる。
（Ｓ１－２）副端末２は、ユーザＩＤが記述されたマーカを表示し、主端末１のカメラによって撮影して読み取らせる。
【0096】
図７についても図４と同様に、システムとして、検索サーバ４を更に有する。
（Ｓ２）主端末１は、副端末２から許可信号と共に受信したユーザＩＤを、検索サーバ４へ送信する。これに対し、検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを検索する。検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを、主端末１へ応答する。そして、主端末１は、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
（Ｓ２）主端末１は、副端末２から許可信号と共に受信したユーザＩＤを、検索サーバ４へ送信する。これに対し、検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを検索する。検索サーバ４は、当該ユーザＩＤに対応するサーバアドレスを、主端末１へ応答する。そして、主端末１は、当該サーバアドレスに基づく仮想空間サーバへログインすることができる。
【0097】
勿論、主端末１は、副端末２から取得したユーザＩＤを、仮想空間サーバ３へ更に送信するものであってもよい。これによって、仮想空間サーバ３に対して、現実空間の当該副端末と仮想空間の端末とを紐付けることができる。
【0098】
また、他の実施形態として、図７についても図４と同様に、ユーザＩＤに代えて、サーバアドレスであってもよい。
（Ｓ１）副端末２は、当該主端末１へ「サーバアドレス」を通知するものであってもよい。
（Ｓ２）主端末１は、副端末２から通知されたサーバアドレスに基づく仮想空間サーバ３へログインすることができる。
（Ｓ１）副端末２は、当該主端末１へ「サーバアドレス」を通知するものであってもよい。
（Ｓ２）主端末１は、副端末２から通知されたサーバアドレスに基づく仮想空間サーバ３へログインすることができる。
【0099】
図８は、第２のシーケンスにおける主端末及び副端末の機能構成図である。
【0100】
図８によれば、図５と比較して、副端末２に、視認距離判定部２１が備えられたものである。視認距離判定部２１の機能は、図５における主端末１の視認距離判定部１１の機能と全く同じものである。副端末２は、視認距離判定部２１によって真と判定した場合、近距離通信インタフェースから、許可信号と共に、ユーザＩＤ及び／又はサーバアドレスを主端末１へ通知する。勿論、ＱＲコードのようなマーカを変化させて通知するものであってもよい。
【0101】
＜主端末から見た副端末（又は副端末から見た主端末）を選択する実施形態＞
オペレータが装着した主端末１は、ユーザが装着した複数の副端末２と通信することは可能である。しかしながら、オペレータが、現実空間で視認可能な複数の副端末２の中で、所望の副端末２を選択することは難しい。
主端末がＡＲ端末であれば、例えばオペレータの視認先となる副端末２のオブジェクトを、オペレータの指で指し示すことによって、その副端末２を選択できるかもしれない。しかしながら、オペレータのＡＲ端末のカメラから見える映像内のオブジェクトとして選択できたに過ぎない。このとき、オペレータ所望の副端末２と通信するためのアドレス（端末ＩＤ）を特定することはできない。アドレスとは、例えばＩＰアドレスやＭＡＣ(Media Access Control)アドレス、ビーコンＩＤのような端末ＩＤである。
オペレータの主端末１は、ユーザの副端末２を任意に選択し、直接的な通信をすることは難しい。
オペレータが装着した主端末１は、ユーザが装着した複数の副端末２と通信することは可能である。しかしながら、オペレータが、現実空間で視認可能な複数の副端末２の中で、所望の副端末２を選択することは難しい。
主端末がＡＲ端末であれば、例えばオペレータの視認先となる副端末２のオブジェクトを、オペレータの指で指し示すことによって、その副端末２を選択できるかもしれない。しかしながら、オペレータのＡＲ端末のカメラから見える映像内のオブジェクトとして選択できたに過ぎない。このとき、オペレータ所望の副端末２と通信するためのアドレス（端末ＩＤ）を特定することはできない。アドレスとは、例えばＩＰアドレスやＭＡＣ(Media Access Control)アドレス、ビーコンＩＤのような端末ＩＤである。
オペレータの主端末１は、ユーザの副端末２を任意に選択し、直接的な通信をすることは難しい。
【0102】
図９は、主端末から副端末を視認する現実空間におけるシステム構成図である。
【0103】
図９によれば、主端末１及び副端末２の両方とも、姿勢センサを更に有する。
［姿勢センサ］
姿勢センサは、起動中は常時、自らの姿勢(Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
図９によれば、以下のような姿勢が表されている。
ＴA1：主端末座標系Ａの主端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。
［姿勢センサ］
姿勢センサは、起動中は常時、自らの姿勢(Transform)となる「位置ｖ」及び「傾きｒ」を検知するものである。
図９によれば、以下のような姿勢が表されている。
ＴA1：主端末座標系Ａの主端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
尚、主端末座標系Ａは、機器起動時に設定される基準座標系とする。同様に、副端末座標系Ｈも、機器起動時に設定される基準座標系とする。
【0104】
姿勢センサは、「傾きｒ」を検知するために、ＩＭＵ(Inertial Measurement Unit)を搭載している。これは、一般的なスマートフォンなどに搭載されたものと同じものである。
また、姿勢センサは、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における位置ｖを追跡することができる。
又は、姿勢センサは、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献６参照）。
また、姿勢センサは、「位置ｖ」を検知するために、例えばSteamVR（登録商標）のLighthouse（登録商標）のような、ヘッドマウントディスプレイに搭載されたトラッキングデバイスを搭載する（例えば非特許文献１参照）。これは、現実空間に設置されたアンカー（ベースステーション）と通信することによって、所定範囲内における位置ｖを追跡することができる。
又は、姿勢センサは、前述したＩＭＵやカメラを搭載することによって、ＳＬＡＭ(Simultaneous Localization And Mapping)を用いて、自己位置ｖ及び傾きｒを同時に追跡することができる（例えば非特許文献６参照）。
【0105】
本発明における「姿勢」とは、現実空間（３次元空間）における「位置ｖ」（３行列）と、傾きｒ（３行列）から算出された「回転行列Ｒ」（３×３行列）とから、以下のように「姿勢Ｔ」（４×４行列）を定義する（例えば非特許文献３参照）。
これによって、位置ｖ及び傾きｒから姿勢Ｔを導出することができると共に、逆に、姿勢Ｔから位置ｖ及び傾きｒを導出することもできる。
【数1】
【0106】
【0107】
［副端末検出部１０１］
副端末検出部１０１は、副端末２それぞれから、端末ＩＤを取得する。
端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。
例えば近距離通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１０１は、その端末ＩＤを受信することができる。
例えば近距離通信が無線ＬＡＮである場合、主端末１の副端末検出部１０１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
取得された端末ＩＤは、副端末姿勢受信部１０２へ出力される。
副端末検出部１０１は、副端末２それぞれから、端末ＩＤを取得する。
端末ＩＤとしては、例えばビーコンＩＤやＩＰアドレス、ＭＡＣ(Media Access Control)アドレスであってもよい。
例えば近距離通信がＢＬＥである場合、副端末２は定期的に端末ＩＤを発信しており、主端末１の副端末検出部１０１は、その端末ＩＤを受信することができる。
例えば近距離通信が無線ＬＡＮである場合、主端末１の副端末検出部１０１は、マルチキャストで問い合わせ要求を配信することによって、副端末２から端末ＩＤを受信することができる。
取得された端末ＩＤは、副端末姿勢受信部１０２へ出力される。
【0108】
［副端末姿勢受信部１０２］
副端末姿勢受信部１０２は、所定時間毎（Δt）に、副端末検出部１０１によって既に検出された副端末２それぞれから、副端末座標系Ｈの副端末姿勢ＴH2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢ＴH2は、副端末２の姿勢センサによって検知されたものである。
ＴH2：副端末座標系Ｈの副端末姿勢
副端末２それぞれにおける所定時間毎の副端末座標系Ｈの副端末姿勢ＴH2は、姿勢変位検出部１０４へ出力される。
副端末姿勢受信部１０２は、所定時間毎（Δt）に、副端末検出部１０１によって既に検出された副端末２それぞれから、副端末座標系Ｈの副端末姿勢ＴH2（位置ｖ及び傾きｒ）を受信する。副端末座標系Ｈの副端末姿勢ＴH2は、副端末２の姿勢センサによって検知されたものである。
ＴH2：副端末座標系Ｈの副端末姿勢
副端末２それぞれにおける所定時間毎の副端末座標系Ｈの副端末姿勢ＴH2は、姿勢変位検出部１０４へ出力される。
【0109】
物体認識部１１２は、カメラによって撮影された映像から、現実空間の複数の副端末２を、オブジェクトとして認識する。
【0110】
副端末２は、現実空間では同一物体であっても、視点によって多様な形状で映像に映り込む。そのように形状が変化しても、同一物体として検出できるようにロバストな特徴抽出技術が用いられる。例えば副端末２の外観（例えばＨＭＤ端末の外観）を予め学習した物体認識エンジンを用いて、副端末２のオブジェクトを認識するものであってもよい。一般的には、例えばＳＩＦＴ(Scale-Invariant Feature Transform)や深層ニューラルネットワークのクラス分類技術がある。このような特徴抽出技術は、２Ｄ画像であっても、３Ｄ画像（又はポイントクラウド）であっても可能となる。
最も簡易には、２Ｄ画像であれば、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。
最も簡易には、２Ｄ画像であれば、物体認識部１１２は、例えば副端末２自体に貼り付けられたマーカを認識するものであってもよい。マーカは、例えば２次元的なＱＲコード（登録商標）であってもよい。
【0111】
［物体姿勢検出部１０３］
物体姿勢検出部１０３は、所定時間毎（Δt）に、副端末２（のオブジェクト）それぞれについて、主端末１の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する。
ＴA2：主端末座標系Ａの副端末姿勢
物体姿勢検出部１０３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトそれぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2として検出する。
前述した図５によれば、主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものである。ユーザが向く前面は、副端末２に配置された所定マーカの位置に基づいて特定される。
物体姿勢検出部１０３は、所定時間毎（Δt）に、副端末２（のオブジェクト）それぞれについて、主端末１の姿勢センサに基づく主端末座標系Ａの副端末姿勢ＴA2を検出する。
ＴA2：主端末座標系Ａの副端末姿勢
物体姿勢検出部１０３は、カメラによって撮影された映像から、物体認識部１１２によって認識された副端末２のオブジェクトそれぞれについて、主端末座標系Ａに基づく位置ｖ及び傾きｒを検出する。そして、傾きｒに基づく回転行列Ｒと位置ｖとからなる姿勢行列を、主端末座標系Ａの副端末姿勢ＴA2として検出する。
前述した図５によれば、主端末座標系Ａの副端末姿勢ＴA2は、映像に映り込む副端末２（ＨＭＤ端末）を装着したユーザが向く前面に対する位置ｖ及び傾きｒから導出されたものである。ユーザが向く前面は、副端末２に配置された所定マーカの位置に基づいて特定される。
【0112】
カメラによって撮影された２Ｄ画像に、物体（例えばマーカ）が映り込む場合、そのオブジェクトは、カメラの向きに応じて異なる角度から映る。映像に映り込むオブジェクトの画像の形状から、その姿勢（位置ｖ及び傾きｒ）を検出することができる（例えば非特許文献４参照）。具体的には、マーカの中心位置を示す位置ベクトルと、ｘ軸及びｙ軸がマーカの辺に平行で、z軸がそれらに垂直になるような回転軸ベクトルが検出される。
【0113】
回転軸ベクトルとは、ロドリゲスの回転公式に従って、物体を任意の傾きにするべく回転させる際の軸方向を「向き」とし、回転角度を「ノルム」として持つベクトルを意味する。具体的には、OpenCV（登録商標）のarucoというマーカ検出機能を用いることができる（例えば非特許文献５参照）。
【0114】
尚、主端末座標系Ａの副端末姿勢ＴA2は、物体検知場所（例えばマーカ設置位置）に大きな影響を受けるために、姿勢補正行列を導入することが好ましい。
ＴA2＝ＴA1Ｔ1sＴS2Ｔc
ＴA1：主端末座標系Ａにおける主端末姿勢
Ｔ1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
ＴS2：カメラ（センサ）座標系における映像認識された副端末の姿勢
Ｔc：姿勢補正行列
ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。
このように実際には、センサ座標系から主端末座標系に変換する処理が必要となる。
ＴA2＝ＴA1Ｔ1sＴS2Ｔc
ＴA1：主端末座標系Ａにおける主端末姿勢
Ｔ1s：主端末姿勢座標系におけるカメラ（センサ）座標系の姿勢
ＴS2：カメラ（センサ）座標系における映像認識された副端末の姿勢
Ｔc：姿勢補正行列
ここで、主端末姿勢座標系とは、主端末座標系Ａにおける主端末姿勢を基準とする座標系である。
このように実際には、センサ座標系から主端末座標系に変換する処理が必要となる。
【0115】
［姿勢変位検出部１０４］
姿勢変位検出部１０４は、所定時間毎（Δt）に、副端末姿勢受信部１０２から、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2を入力すると共に、物体姿勢検出部１０３から主端末座標系Ａの副端末姿勢ＴA2を入力する。
（時刻t）
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21(t)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22(t)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23(t)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2a(t)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2b(t)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2c(t)
（時刻t+Δt）
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2c(t+Δt)
姿勢変位検出部１０４は、所定時間毎（Δt）に、副端末姿勢受信部１０２から、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2を入力すると共に、物体姿勢検出部１０３から主端末座標系Ａの副端末姿勢ＴA2を入力する。
（時刻t）
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21(t)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22(t)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23(t)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2a(t)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2b(t)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2c(t)
（時刻t+Δt）
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2c(t+Δt)
【0116】
そして、姿勢変位検出部１０４は、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と、主端末座標系Ａの副端末姿勢ＴA2の変位ΔＴA2とを検出する。
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21の変位：
ΔＴH21＝（ＴH21(t)）-1ＴH21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22の変位：
ΔＴH22＝（ＴH22(t)）-1ＴH22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23の変位：
ΔＴH23＝（ＴH23(t)）-1ＴH23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2aの変位：
ΔＴA2a＝（ＴA2a(t)）-1ＴA2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2bの変位：
ΔＴA2b＝（ＴA2b(t)）-1ＴA2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2cの変位：
ΔＴA2c＝（ＴA2c(t)）-1ＴA2c(t+Δt)
副端末２１の副端末座標系Ｈの副端末姿勢ＴH21の変位：
ΔＴH21＝（ＴH21(t)）-1ＴH21(t+Δt)
副端末２２の副端末座標系Ｈの副端末姿勢ＴH22の変位：
ΔＴH22＝（ＴH22(t)）-1ＴH22(t+Δt)
副端末２３の副端末座標系Ｈの副端末姿勢ＴH23の変位：
ΔＴH23＝（ＴH23(t)）-1ＴH23(t+Δt)
映像認識されたオブジェクトａの主端末座標系Ａの副端末姿勢ＴA2aの変位：
ΔＴA2a＝（ＴA2a(t)）-1ＴA2a(t+Δt)
映像認識されたオブジェクトｂの主端末座標系Ａの副端末姿勢ＴA2bの変位：
ΔＴA2b＝（ＴA2b(t)）-1ＴA2b(t+Δt)
映像認識されたオブジェクトｃの主端末座標系Ａの副端末姿勢ＴA2cの変位：
ΔＴA2c＝（ＴA2c(t)）-1ＴA2c(t+Δt)
【0117】
【0118】
図１１によれば、１つの物体としての副端末であっても、基準とする座標系が異なれば、姿勢も異なる。また、副端末座標系Ｈも、異なる主端末座標系Ａを基準とした姿勢を持つ。
ＴA1：主端末座標系Ａの主端末姿勢
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
ＴA1：主端末座標系Ａの主端末姿勢
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2：副端末座標系Ｈの副端末姿勢
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
【0119】
主端末座標系Ａの主端末姿勢ＴA1は、主端末１に搭載された姿勢センサによって検知されたものである。
副端末座標系Ｈの副端末姿勢ＴH2も、副端末２に搭載された姿勢センサによって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈの副端末姿勢ＴH2を受信する。
主端末座標系Ａの副端末姿勢ＴA2は、主端末１のカメラによって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１４によって検出されたものである。
副端末座標系Ｈの副端末姿勢ＴH2も、副端末２に搭載された姿勢センサによって検知されたものである。主端末１は、副端末２から、その副端末座標系Ｈの副端末姿勢ＴH2を受信する。
主端末座標系Ａの副端末姿勢ＴA2は、主端末１のカメラによって撮影された映像に映り込むオブジェクトから、物体姿勢検出部１１４によって検出されたものである。
【0120】
現実空間の相対姿勢としては、主端末座標系Ａの副端末姿勢ＴA2と、副端末座標系Ｈの副端末姿勢ＴH2とから算出した、例えば主端末座標系Ａからみた副端末座標系Ｈの相対姿勢ＴAHである。これは、以下のように算出される。
ＴAH＝ＴA2ＴH2-1
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2-1：副端末座標系Ｈの副端末姿勢ＴH2の逆行列
ＴAH＝ＴA2ＴH2-1
ＴA2：主端末座標系Ａの副端末姿勢
ＴH2-1：副端末座標系Ｈの副端末姿勢ＴH2の逆行列
【0121】
図１１によれば、現実空間と仮想空間との関係を、主端末座標系Ａからみた副端末座標系Ｈの姿勢ＴAHと、副端末座標系Ｈからみた主端末座標系Ａの姿勢ＴHAとを逆行列で一致させることができる。
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
ＴAH＝ＴHA-1
ＴAH：主端末座標系Ａからみた副端末座標系Ｈの姿勢
ＴHA：副端末座標系Ｈからみた主端末座標系Ａの姿勢
ＴAH＝ＴHA-1
【0122】
［副端末特定部１０５］
副端末特定部１０５は、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける。
（副端末の端末ＩＤ） （映像認識されたオブジェクト）
副端末２１ <-> 副端末ａ
副端末２２ <-> 副端末ｃ
副端末２３ <-> 副端末ｂ
副端末特定部１０５は、副端末それぞれについて、副端末座標系Ｈの副端末姿勢ＴH2の変位ΔＴH2と最も近い変位となる主端末座標系Ａの副端末姿勢変位ΔＴA2の副端末を特定し、当該副端末の端末識別子を、映像から認識された副端末に対応付ける。
（副端末の端末ＩＤ） （映像認識されたオブジェクト）
副端末２１ <-> 副端末ａ
副端末２２ <-> 副端末ｃ
副端末２３ <-> 副端末ｂ
【0123】
副端末特定部１０５は、変位が最小となる副端末同士を対応付けるために、各ΔＴAと各ΔＴHにおける各要素の差の絶対値の和である「行列ノルム」を用いてもよい。他の方法としては、各ΔＴAから抽出した位置ｖ又は傾きｒと、各ΔＴHから抽出した位置ｖ又は傾きｒにおいて、ベクトル差を求め、その大きさである「ベクトルノルム」を用いてもよいし、各ΔＴAから抽出した傾きrと各ΔＴHから抽出した傾きrから回転軸ベクトルを算出し、そのノルムを用いてもよい。
これらのノルムが閾値以下かつ最も小さい副端末同士を対応付ける。
これらのノルムが閾値以下かつ最も小さい副端末同士を対応付ける。
【0124】
［副端末選択部１０６］
副端末選択部１０６は、オペレータ操作によって、いずれかの副端末２を選択する。選択された副端末２の端末ＩＤは、視認距離判定部１１へ出力される。
副端末選択部１０６は、オペレータ操作によって、いずれかの副端末２を選択する。選択された副端末２の端末ＩＤは、視認距離判定部１１へ出力される。
【0125】
副端末選択部１０６は、カメラによって撮影された映像に映り込む現実空間の複数の副端末の中で、１つの副端末のオブジェクトをオペレータ操作によって選択させる。このとき、ディスプレイには、オペレータから視認するカメラの映像のオブジェクトと、取得した端末ＩＤとが対応付けて表示され、オペレータにとって選択しやすくすることができる。また、各端末ＩＤに、予め設定されたユーザ識別名を対応付けてディスプレイに表示することもできる。
【0126】
前述した図７によれば、副端末選択部１０６は、カメラにオペレータの指が映り込んだ場合、その指で指し示すことによって、映像上の副端末２を選択することができる（例えば非特許文献７及び８参照）。具体的には、副端末２と認識された映像内のオブジェクトと、指と認識された映像内のオブジェクトとのコリジョンを判定する。
【0127】
尚、前述した＜主端末から見た副端末を選択する実施形態＞は、逆から見て、＜副端末から見た主端末を選択する実施形態＞として実現することができる。即ち、主体が、主端末１か又は副端末２かの違いのみである。
【0128】
以上、詳細に説明したように、本発明における方法、副端末、主端末及びプログラムによれば、現実空間の副端末と同一のサーバへ主端末からアクセスすることができる。
【0129】
前述した本発明における種々の実施形態によれば、当業者は、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略を容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0130】
１ 主端末
１０１ 副端末検出部
１０２ 副端末姿勢受信部
１０３ 物体姿勢検出部
１０４ 姿勢変位検出部
１０５ 副端末特定部
１０６ 副端末選択部
１１ 視認距離判定部
１２ サーバアクセス部
２ 副端末
２１ 視認距離判定部
３ 仮想空間サーバ
４ 検索サーバ
１０１ 副端末検出部
１０２ 副端末姿勢受信部
１０３ 物体姿勢検出部
１０４ 姿勢変位検出部
１０５ 副端末特定部
１０６ 副端末選択部
１１ 視認距離判定部
１２ サーバアクセス部
２ 副端末
２１ 視認距離判定部
３ 仮想空間サーバ
４ 検索サーバ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】