特許第6427298号(P6427298)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 楽天株式会社の特許一覧

<>
  • 特許6427298-情報処理システム 図000002
  • 特許6427298-情報処理システム 図000003
  • 特許6427298-情報処理システム 図000004
  • 特許6427298-情報処理システム 図000005
  • 特許6427298-情報処理システム 図000006
  • 特許6427298-情報処理システム 図000007
  • 特許6427298-情報処理システム 図000008
  • 特許6427298-情報処理システム 図000009
  • 特許6427298-情報処理システム 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6427298
(24)【登録日】2018年11月2日
(45)【発行日】2018年11月21日
(54)【発明の名称】情報処理システム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20181112BHJP
【FI】
   G06T19/00 300B
【請求項の数】16
【全頁数】27
(21)【出願番号】特願2018-516602(P2018-516602)
(86)(22)【出願日】2017年3月24日
(86)【国際出願番号】JP2017012151
【審査請求日】2018年3月29日
【早期審査対象出願】
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天株式会社
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】初田 和泉
(72)【発明者】
【氏名】千葉 直樹
【審査官】 村松 貴士
(56)【参考文献】
【文献】 特開2004−070608(JP,A)
【文献】 特開2006−209664(JP,A)
【文献】 特開2001−243496(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06F 3/01
G06T 3/048 − 3/0489
(57)【特許請求の範囲】
【請求項1】
第1端末と第2端末とを含む情報処理システムにおいて、
仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスを備え、
前記第1端末は、
前記仮想空間内における、所定の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第1特定手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第1画像取得手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第2端末に送信する制御を実行する第1通信制御手段と、
を備え、
前記第2端末は、
前記第1端末から送信された前記情報を受信する制御を実行する第2通信制御手段と、
前記第2通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第2画像取得手段と、
を備え、
前記第1端末の前記第1通信制御手段は、
第1条件を満たすタイミングで前記第1特定手段により特定された前記所定位置及び前記所定角度を、前記第2端末に送信する制御を実行し、
第2条件を満たすタイミングで前記第1特定手段により特定された前記所定位置及び前記所定角度と、前記第2条件を満たすタイミングより過去に前記第2端末に送信された前記所定位置及び前記所定角度との差分である相対位置及び相対角度を、前記第2端末に送信する制御を実行する、
情報処理システム。
【請求項2】
第1端末と第2端末とを含む情報処理システムにおいて、
仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスを備え、
前記第1端末は、
前記仮想空間内における、所定の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第1特定手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第1画像取得手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第2端末に送信する制御を実行する第1通信制御手段と、
を備え、
前記第2端末は、
前記第1端末から送信された前記情報を受信する制御を実行する第2通信制御手段と、
前記第2通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第2画像取得手段と、
前記仮想空間内における、前記所定の移動対象と異なる他の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第2特定手段と、
を備え、
前記第1端末は、HMDであり、
前記第1端末の前記第1通信制御手段は、さらに、前記第2端末から送信された前記情報を受信する制御を実行し、
前記第1端末の前記第1画像取得手段は、さらに、前記第1通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得し、
前記第2端末の前記第2画像取得手段は、さらに、前記第2特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得し、
前記第2端末の前記第2通信制御手段は、さらに、前記第2特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第1端末に送信する制御を実行し、
前記第2端末の前記第2通信制御手段は、前記第2特定手段により特定された前記情報のうち前記所定位置を特定可能な情報については、少なくとも1回、前記第1端末に送信することを許可し、前記第2特定手段により特定された前記情報のうち前記所定角度を特定可能な情報については、前記第1端末に送信することを禁止する制御をさらに実行する、
情報処理システム。
【請求項3】
前記第1端末の前記第1通信制御手段は、
第1条件を満たすタイミングで前記第1特定手段により特定された前記所定位置及び前記所定角度を、前記第2端末に送信する制御を実行し、
第2条件を満たすタイミングで前記第1特定手段により特定された前記所定位置及び前記所定角度と、過去に前記第2端末に送信された前記所定位置及び前記所定角度との差分を、前記第2端末に送信する制御を実行する、
請求項2に記載の情報処理システム。
【請求項4】
前記第1端末は、速度、加速度、角速度及び角加速度のうち少なくとも1つの検出量を出力する検出手段をさらに備え、
前記第1条件は、前記検出量が0ではないときという条件であり、
前記第2条件は、前記検出量が0のときという条件である、
請求項3に記載の情報処理システム。
【請求項5】
前記第1端末は、速度、加速度、角速度及び角加速度のうち少なくとも1つの検出量を出力する検出手段をさらに備え、
前記第1条件及び前記第2条件の夫々は、前記検出量が0ではないときという条件を少なくとも含む、
請求項3に記載の情報処理システム。
【請求項6】
前記第2端末は、
前記仮想空間内における、前記所定の移動対象と異なる他の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第2特定手段をさらに備え、
前記第2端末の前記第2画像取得手段は、さらに、前記第2特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得し、
前記第2端末の前記第2通信制御手段は、さらに、前記第2特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第1端末に送信する制御を実行し、
前記第1端末の前記第1通信制御手段は、さらに、前記第2端末から送信された前記情報を受信する制御を実行し、
前記第1端末の前記第1画像取得手段は、さらに、前記第1通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する、
請求項1乃至5のうち何れか1項に記載の情報処理システム。
【請求項7】
前記第1端末は、HMDであり、
前記第2端末の前記第2通信制御手段は、前記第2特定手段により特定された前記所定位置を特定可能な情報については、少なくとも1回、前記第1端末に送信することを許可し、前記第2特定手段により特定された前記所定角度を特定可能な情報については、前記第1端末に送信することを禁止する制御をさらに実行する、
請求項6に記載の情報処理システム。
【請求項8】
前記第2端末の前記第2通信制御手段は、前記第2特定手段により特定された前記所定角度を特定可能な情報については、所定条件が満たされた場合には、前記第1端末に送信することを許可し、それ以外の場合には、前記第1端末に送信することを禁止する制御をさらに実行する、
請求項7に記載の情報処理システム。
【請求項9】
前記所定条件は、前記第1端末が移動していないと判定される条件である、
請求項8に記載の情報処理システム。
【請求項10】
前記第1端末及び前記第2端末は、
前記第1画像取得手段又は前記第2画像取得手段によりデータとして取得された前記画像に対して、所定のシンボルを付加して、前記第1端末又は前記第2端末側の表示デバイスに表示させる制御を実行する表示制御手段をさらに備え、
前記第1端末の前記第1通信制御手段及び前記第2端末の前記第2通信制御手段は、さらに、前記所定のシンボルの送受信の制御を実行する、
請求項1乃至9のうち何れか1項に記載の情報処理システム。
【請求項11】
前記第1端末の前記表示制御手段は、第1データ量の画像のデータに基づいて、当該画像を前記第1端末側の表示デバイスに表示させる制御を実行し、
前記第2端末の前記表示制御手段は、前記第1データ量とは独立した第2データ量の画像のデータに基づいて、当該画像を前記第2端末側の表示デバイスに表示させる制御を実行する、
請求項10に記載の情報処理システム。
【請求項12】
前記第1端末及び前記第2端末の夫々は、さらに、前記1以上の記憶デバイスの少なくとも1つを相互に独立して夫々備える、
請求項1乃至11のうち何れか1項に記載の情報処理システム。
【請求項13】
第1端末と第2端末とを含む情報処理システムであって、仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスを備える情報処理システムにおける、前記第1端末として機能する情報処理装置において、
前記仮想空間内における、所定の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第1特定手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第1画像取得手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第2端末に送信する制御を実行する第1通信制御手段と、
を備え、
前記第2端末によって、前記情報処理装置から送信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータが、前記1以上の記憶デバイスのうち少なくとも1つから取得される場合において、
前記第1通信制御手段は、
第1条件を満たすタイミングで前記第1特定手段により特定された前記所定位置及び前記所定角度を、前記第2端末に送信する制御を実行し、
第2条件を満たすタイミングで前記第1特定手段により特定された前記所定位置及び前記所定角度と、過去に前記第2端末に送信された前記所定位置及び前記所定角度との差分を、前記第2端末に送信する制御を実行する、
情報処理装置。
【請求項14】
第1端末と第2端末とを含む情報処理システムであって、仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスを備える情報処理システムにおける、前記第1端末として機能するHMDとしての情報処理装置において、
前記仮想空間内における、所定の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第1特定手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第1画像取得手段と、
前記第1特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第2端末に送信する制御を実行する第1通信制御手段と、
を備え、
前記第2端末によって、前記情報処理装置から送信された前記情報が受信され、前記情報で特定される前記所定位置及び前記所定角度に基づいて前記第2端末側で表示させる画像のデータが前記1以上の記憶デバイスのうち少なくとも1つから取得され、前記仮想空間内における前記所定の移動対象と異なる他の移動対象についての所定位置と当該所定位置を基準とする所定角度が特定される場合において、
前記第1通信制御手段は、さらに、前記第2端末から送信された前記情報を受信する制御を実行し、
前記第1画像取得手段は、さらに、前記第1通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記情報処理装置側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得し、
その結果として、前記第2端末において、前記第2端末側で表示される画像のデータが当該第2端末にて特定された前記所定位置及び前記所定角度に基づいて前記1以上の記憶デバイスのうち少なくとも1つから取得され、前記所定位置及び前記所定角度を特定可能な情報が特定され、当該第2端末により少なくとも1回前記情報処理装置に送信され、特定された前記情報のうち前記所定位置を特定可能な情報については、少なくとも1回前記情報処理装置に送信することが許可され、特定された前記情報のうち前記所定角度を特定可能な情報については、前記情報処理装置に送信されることが禁止され、
前記第1画像取得手段は、さらにその結果として、前記第2端末において前記所定の角度を特定可能な情報の送信が禁止された場合に、前記第2端末から送信された前記所定位置を特定可能な情報に基づいて、前記情報処理装置側で表示させる画像のデータを取得する、
情報処理装置。
【請求項15】
第1端末と第2端末とを含む情報処理システムであって、仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスを備える前記情報処理システムにおける、前記第2端末として機能する情報処理装置において、
前記第1端末によって、前記仮想空間内における所定の移動対象についての所定位置と当該所定位置を基準とする所定角度が特定され、特定された前記所定位置及び前記所定角度に基づいて当該第1端末側で表示させる画像のデータが前記1以上の記憶デバイスのうち少なくとも1つから取得され、特定された前記所定位置及び前記所定角度を特定可能な情報が当該第1端末から少なくとも1回前記情報処理装置に送信される場合において、
前記情報処理装置は、
前記第1端末から送信された前記情報を受信する制御を実行する第2通信制御手段と、
前記第2通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記情報処理装置側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第2画像取得手段と、
を備え、
前記第1端末において、第1条件を満たすタイミングで特定された前記所定位置及び前記所定角度が前記情報処理装置に送信され、第2条件を満たすタイミングで特定された前記所定位置及び前記所定角度と過去に前記第2端末に送信された前記所定位置及び前記所定角度との差分が前記情報処理装置に送信され、
前記第2画像取得手段は、その結果として、前記第1端末から送信された、前記第1条件を満たすタイミングにおける前記所定位置及び前記所定角度と、過去に前記第2端末に送信された前記所定位置及び前記所定角度との前記差分に基づいて、当該情報処理装置側で表示させる画像のデータを取得する、
情報処理装置。
【請求項16】
第1端末と第2端末とを含む情報処理システムであって、仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスを備える情報処理システムにおける、前記第2端末として機能する情報処理装置において、
HMDとしての前記第1端末によって、前記仮想空間内における、所定の移動対象についての所定位置と、当該所定位置を基準とする所定角度が特定され、特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータが、前記1以上の記憶デバイスのうち少なくとも1つから取得され、特定された前記所定位置及び前記所定角度が特定可能な情報が、少なくとも1回、前記情報処理装置に送信される場合において、
前記情報処理装置は、
前記第1端末から送信された前記情報を受信する制御を実行する第2通信制御手段と、
前記第2通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記情報処理装置側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第2画像取得手段と、
前記仮想空間内における、前記所定の移動対象と異なる他の移動対象についての所定位置と、当該所定位置を基準とする所定角度を特定する第2特定手段と、
を備え、
前記第1端末によって、さらに、前記情報処理装置から送信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータが、前記1以上の記憶デバイスのうち少なくとも1つから取得され、
前記第2画像取得手段は、さらに、前記第2特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記情報処理装置側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得し、
前記第2通信制御手段は、さらに、前記第2特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第1端末に送信する制御を実行し、
前記第2通信制御手段は、前記第2特定手段により特定された前記情報のうち前記所定位置を特定可能な情報については、少なくとも1回、前記第1端末に送信することを許可し、前記第2特定手段により特定された前記情報のうち前記所定角度を特定可能な情報については、前記第1端末に送信することを禁止する制御をさらに実行する、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムに関する。
【背景技術】
【0002】
近年、情報技術の発展に伴い、例えば、テレビ会議や大規模なシンポジウム等、複数の端末において画面を共有するための画面共有技術が注目されている。
また、例えば、結婚を考えている男女がウェディングサロンで結婚式場を選択するような場合、単にパンフレットを見るのではなく、実際の結婚式場のイメージを疑似的に体験したり、それに合わせて、ウェディングサロンのスタッフから説明を受けるのは、実際の結婚式場のイメージを知るために極めて有効である。
この点、複数の端末で画面を共有するための画面共有技術が提案されている(例えば、特許文献1及び2参照)。
例えば、特許文献1に記載の技術によれば、各フレームの画像のデータを複数ブロックに分割し、画像のデータに変更があったブロックのみを他方の端末と共有する技術である。さらに、特許文献2に記載の技術によれば、画像のデータを受信する側の端末の処理能力に合わせて、送信制御装置がブロックサイズを決める技術である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−269272号公報
【特許文献2】特許2009−245254号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術又は特許文献2に記載の技術の何れの場合も、画像のデータに変更があった場合に、内容に変更があったブロックを受信する側の端末に対して送信する必要があった。
そのため、特許文献1に記載の技術又は特許文献2に記載の技術の何れの場合も、送信する側の端末から受信する側の端末へ送信するデータ量(画像のデータ)が大きくなってしまっていた。
【0005】
本発明は、このような状況に鑑みてなされたものであり、送信するデータ量を低く抑え、より高速な処理を実現する画面共有技術の提供を目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、第1端末(第1実施形態や第2実施形態では相談者のHMD。第3実施形態では女性側のHMD)と第2端末(第1実施形態や第2実施形態ではウェディングサロンのスタッフ用端末。第3実施形態では男性側のHMD)とを含む情報処理システムにおいて、
仮想空間(例えば実際の結婚式場に対応する仮想空間)内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群が記憶されている1以上の記憶デバイスを備え、
前記第1端末は、
前記仮想空間内における、所定の移動対象(ユーザ又はキャラクタ等)についての所定位置と、当該所定位置を基準とする所定角度を特定する特定手段と、
前記特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第1画像取得手段と、
前記特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第2端末に送信する制御を実行する第1通信制御手段と、
を備え、
前記第2端末は、
前記第1端末から送信された前記情報を受信する制御を実行する第2通信制御手段と、
前記第2通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第2画像取得手段と、
を備える。
【0007】
本発明の一態様の情報処理方法及びプログラムは、本発明の一態様の情報処理システムに対応する方法及びプログラムである。
【発明の効果】
【0008】
本発明によれば、送信するデータ量を低く抑え、より高速な処理を実現する画面共有技術を提供することができる。
【図面の簡単な説明】
【0009】
図1】本発明の一実施形態に係る情報処理システムの構成を示す図である。
図2図1の情報処理システムのうちHMDのハードウェア構成の一例を示すブロック図である。
図3図1の情報処理システムのうちディスプレイ端末のハードウェア構成の一例を示すブロック図である。
図4図2のHMD及び図3のディスプレイ端末の機能的構成のうち、画面共有処理を実現するための機能的構成の一例を示す機能ブロック図である。
図5図4のHMD及びディスプレイ端末において利用される仮想空間のマップの一例を示す図である。
図6図4のHMDにより実行される画面共有処理の流れを説明するフローチャートである。
図7図4のディスプレイ端末により実行される画面共有処理の流れを説明するフローチャートである。
図8図2のHMD及び図3のディスプレイ端末の機能的構成のうち、画面共有処理を実現するための機能的構成の一例であって、図4の例とは異なる例を示す機能ブロック図である。
図9】本発明の一実施形態に係る情報処理システムの構成の一例であり、図1等の例とは異なる例を示す図である。
【発明を実施するための形態】
【0010】
[第1実施形態]
以下、本発明の第1実施形態について、図面を用いて説明する。
図1は、本発明の第1実施形態に係る情報処理システムの概要を示す図である。
【0011】
まず、本発明の実施形態を説明するに先立ち、本発明の一実施形態に係る情報処理システムの適用対象となるサービス(以下、「本サービス」と呼ぶ)について簡単に説明する。
即ち、本サービスは、例えば、ウェディングサロンで相談者Uに提供されるサービスであって、その相談者Uが、選定可能な結婚式場内で移動等することを疑似体験しながら、スタッフSから適宜説明を受けることができるサービスである。
【0012】
具体的には例えば、相談者Uは、HMD(Head Mounted Display)1を頭部に装着することで、所望の結婚式場内の所定位置に立って所定方向を向いたときに見える景色、より正確には当該景色を写した写真等の画像を視認することができる。
なお、当該画像は実際に撮像された写真に限られず、CG画像やAR画像など生成した画像も含まれてよい。
また、以下において、単に「画像」と呼ぶ場合には、「動画像」と「静止画像」との両方を含むものとする。
さらに、相談者Uは、結婚式場内を移動したいとき、より正確には結婚式場に対応する仮想空間内を移動したいとき、コントローラ2に対して所定の操作(以下、「移動操作」と呼ぶ)をすることで、その立ち位置を変更することができる。
また、相談者Uは、向く方向(視線の方向)を変化させたいとき、自身の頭部を実際に動かすことで、その方向を変更することができる。
即ち、相談者Uは、コントローラ2に対して移動操作をしつつ、自身の頭部(HMD1)を実際に動かすことで、所望の立ち位置で所望の方向を向いたときに見える結婚式場内の景色を視認することができる。
【0013】
ここで、スタッフSは、相談者Uが移動等を疑似体験している結婚式場内について、当該相談者Uに対して適切な説明をするためには、相談者Uが視認している景色(その景色を写した写真)を把握する必要がある。そこで、ディスプレイ端末3には、相談者Uが視認している景色(その景色を写した写真)が表示されている。
【0014】
このように、本発明の一実施形態に係る図1の情報処理システムは、相談者Uに使用されるHMD1及びコントローラ2、並びに、スタッフSに使用されるディスプレイ端末3を有している。
HMD1、コントローラ2、及びディスプレイ端末3は、所定のネットワークNを介して相互に接続されている。なお、ネットワークNは、その形態は特に限定されず、例えば、Bluetooth(登録商標)、Wi−Fi、LAN(Local Area Network)、インターネット等を採用することができる。
【0015】
このような構成を有する図1の情報処理システムは、上述したように、相談者Uが視認している画像(相談者Uが移動等の疑似体験をしている結婚式場内の景色を写した写真)を、HMD1とディスプレイ端末3との間で共有することができる。
【0016】
ここで、画像の共有の手法としては、相談者Uが視認している画像のデータをHMD1からディスプレイ端末3に送信することで、当該画像を共有する手法を採用してもよいが、当該手法では、送信対象のデータ量が多くなり、高速処理が困難になる。このため、HMD1の採用が困難になる場合さえある。
【0017】
そこで、本実施形態では、画像の共有の手法としては、次のような手法が採用されている。
即ち、図1には図示しないが、実際の結婚式場に対応する仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群が記憶されている1以上の記憶デバイスが存在することが前提となる。
そして、HMD1とディスプレイ端末3との夫々は、これらの1以上の記憶デバイスのうち、少なくとも1つから画像のデータを取得できることが前提となる。詳細については後述するが、本実施形態の記憶デバイスとしては、図4のHMD1内の記憶部18(画像DB600)と、図4のディスプレイ端末3の記憶部49(画像DB900)とが採用されている。
このような前提の下、HMD1は、仮想空間内における相談者Uの立ち位置と角度を特定する。
ここで、角度とは、相談者Uの立ち位置を始点とする、相談者Uの視点を示すベクトルの方向を表す角度である。
本実施形態において、角度は、HMD1に内蔵された角度センサ、視点センサ等の各種センサ(例えば後述するセンサ部17)によって取得される。そのため、本実施形態において、角度センサにより特定されたユーザの頭の姿勢や、視点センサにより特定されたユーザの視線の方向(視点方向)が「角度」である。
なお、画像DB600及び画像DB900に格納されている各種画像データと「角度」の関係については、図5を用いて、詳細に説明する。
HMD1は、このようにして特定された立ち位置及び角度に基づいて、HMD1側で表示させる画像のデータを、上述の1以上の記憶デバイスのうち少なくとも1つ(後述する図4の画像DB600)から取得する。
また、HMD1は、このようにして特定された立ち位置及び角度を特定可能な情報を、ディスプレイ端末3に送信する。ディスプレイ端末3は、HMD1から送信されてきた情報に基づいて立ち位置及び角度を特定する。そして、ディスプレイ端末3は、当該立ち位置及び当該角度に基づいて、ディスプレイ端末3側で表示させる画像のデータを、上述の1以上の記憶デバイスのうち少なくとも1つ(後述する図4の画像DB900)から取得する。
【0018】
本実施形態では、画像の共有の手法としては、このような手法が採用されている。従って、共有対象のディスプレイ端末3に送信するデータ量が小さくなり、情報処理システム全体の高速処理が可能になる。これにより、HMD1の採用が容易に可能になる。
つまり、本サービスの提供者は、HMD1を採用することが容易にできるので、相談者Uに対して、よりリアリティのある結婚式場のイメージを体験させることができる。
なお、このような画像共有の手法は、このHMD1でのVR(Virtual Reality)表示やAR(Augmented Reality)表示での画像の共有において特に好適である。
【0019】
図2は、図1の情報処理システムのうちHMDのハードウェア構成の一例を示すブロック図である。
【0020】
HMD1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、表示部16と、センサ部17と、記憶部18と、通信部19と、ドライブ20とを備えている。
【0021】
CPU11は、ROM12に記録されているプログラム、又は、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要な情報等も適宜記憶される。
【0022】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、表示部16、センサ部17、記憶部18、通信部19及びドライブ20が接続されている。
【0023】
表示部16は各種液晶ディスプレイ等で構成され、結婚式場内の写真等各種画像を表示する。
センサ部17は、傾斜センサ、加速度センサ、角速度センサ等の各種センサ等で構成され、例えば、仮想空間内での角度(方向)に関する各種検出情報を取得する。
記憶部18は、実際の結婚式場に対応する仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群等、各種情報を記憶する。
通信部19は、例えば、ネットワークNを介して他の装置(例えば、図1のディスプレイ端末3)との間で通信を行う。
【0024】
入出力インターフェース15にはまた、コントローラ2も接続されている。
コントローラ2は、HMD1のCPU11による各種処理の実行に際し、ユーザ(図1の相談者U等)による指示操作(例えば移動操作)を受け付ける入力機器であり、本実施形態ではHMD1の入出力インターフェース45に接続される。これにより例えば、CPU11は、ユーザ(図1の相談者U等)により移動操作がなされた際にコントローラ2からの入力を受けて、ユーザが共有を希望する仮想空間内での立ち位置を取得することができる。
【0025】
ドライブ20は、必要に応じて設けられる。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなり、リムーバブルメディア21が適宜装着される。ドライブ20によってリムーバブルメディア21から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア21は、記憶部18に記憶されている各種情報も、記憶部18と同様に記憶することができる。
【0026】
図3は、図1の情報処理システムのうちディスプレイ端末3のハードウェア構成の一例を示すブロック図である。
【0027】
ディスプレイ端末3は、タブレット端末等で構成される。
ディスプレイ端末3は、CPU41と、ROM42と、RAM43と、バス44と、入出力インターフェース45と、タッチ操作入力部46と、表示部47と、入力部48と、記憶部49と、通信部50と、ドライブ51とを備えている。
【0028】
CPU41は、ROM42に記録されているプログラム、又は記憶部49からRAM43にロードされたプログラムに従って各種の処理を実行する。
RAM43には、CPU41が各種の処理を実行する上において必要な情報等も適宜記憶される。
【0029】
CPU41、ROM42及びRAM43は、バス44を介して相互に接続されている。このバス44にはまた、入出力インターフェース45も接続されている。入出力インターフェース45には、タッチ操作入力部46、表示部47、入力部48、記憶部49、通信部50及びドライブ51が接続されている。
【0030】
タッチ操作入力部46は、例えば表示部47に積層される静電容量式又は抵抗膜式(感圧式)の位置入力センサにより構成され、タッチ操作がなされた位置の座標を検出する。
表示部27は、各種液晶ディスプレイ等で構成され、本実施形態では、結婚式場内の写真等各種画像等、HMD1の表示部16(図2)に表示されている画像と同一の画像を表示する。
このように、本実施形態では、タッチ操作入力部46と表示部47とにより、タッチパネルが構成されている。
記憶部49は、ハードディスク等で構成され、実際の結婚式場に対応する仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群等、各種情報を記憶する。つまり、本実施形態では、HMD1の記憶部18(図2)とディスプレイ端末3の記憶部49により、実際の結婚式場に対応する仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群が共有されている。
通信部50は、ネットワークNを介して他の装置(例えば、図1のHMD1)との間で通信を行う。
【0031】
ドライブ51は、必要に応じて設けられる。ドライブ51には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなり、リムーバブルメディア52が適宜装着される。ドライブ51によってリムーバブルメディア52から読み出されたプログラムは、必要に応じて記憶部49にインストールされる。また、リムーバブルメディア52は、記憶部49に記憶されている各種情報も、記憶部49と同様に記憶することができる。
【0032】
このようなHMD1及びディスプレイ端末3の各種ハードウェアと各種ソフトウェアとの協働により、画面共有処理の実行が可能になる。
画面共有処理とは、実際の結婚式場に対応する仮想空間内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータ(例えば1枚の全天球画像のデータ又は複数の画像のデータ群)が記憶されている1以上の記憶デバイスが存在することを前提として、複数のハードウェア(例えばHMD1とディスプレイ端末3)間で、所定の移動対象についての位置情報(立ち位置)と、当該所定位置を基準とする角度情報を共有することで、特定された当該所定の移動対象の位置及び当該位置からの角度を特定し、当該ハードウェアに表示する画像を共有する一連の処理を言う。
なお、第1実施形態では、HMD1からディスプレイ端末3に位置情報及び角度情報を送信することとしているが、特にこれに限定されるものではない。
即ち、HMD1及びディスプレイ端末3は、画面共有処理を実行するにあたり、図4に示すような機能的構成を有する。
図4は、図2のHMD1及び図3のディスプレイ端末3の機能的構成のうち、画面共有処理を実現するための機能的構成の一例を示す機能ブロック図である。
【0033】
図4に示すように、HMD1のCPU11においては、マップ管理部101と、アイコン部102と、通信制御部103と、画像取得部104と、HMD表示制御部105とが機能する。
HMD1の記憶部18の一領域には、マップDB500と、画像DB600とが設けられる。
【0034】
HMD1のマップ管理部101は、図1の相談者U等のユーザに対して画像として提示される仮想空間(例えば図5の結婚式場の仮想空間)のマップを用いて、所定の移動対象(図1の相談者U等のユーザ又はキャラクタ等)の当該仮想空間内の立ち位置(マップ内の座標)等を管理する。
マップの情報(仮想空間内の各位置を特定可能な情報)はマップDB500に格納されており、マップ管理部101により使用される。マップの情報については、図5を参照して後述する。
【0035】
マップ管理部101には、位置角度特定部121が設けられる。
位置角度特定部121は、結婚式場に対応する仮想空間内における、所定の移動対象についての所定位置(立ち位置)と、当該所定位置を基準とする所定角度を特定する。
即ち、位置角度特定部121は、コントローラ2から送信される移動操作のコマンド等の情報に基づいて、仮想空間内の移動対象の立ち位置(マップ内の座標)を特定する。位置角度特定部121は、このようにして特定された、移動対象の仮想空間内の立ち位置を示す情報(以下「位置情報」と呼ぶ)を出力する。
また、位置角度特定部121は、センサ部17の各種センシング情報に基づいて、仮想空間内での移動対象が向いている方向を示す角度を特定する。位置角度特定部121は、このようにして特定された、仮想空間内の角度を示す情報(以下「角度情報」と呼ぶ)を出力する。
【0036】
アイコン部102は、マップ管理部101により管理されるマップにおける各位置から各方向をみた様子を示す画像上に重畳して表示されるアイコンを管理する。
ここで、アイコンとは、画像上に重畳して表示されるものをいう。例えば矢印等のシンボル(記号や文字等)もアイコンの一例であり、さらに例えば「右を向いてください」等のメッセージもアイコンの一例であり、(実際には存在しないが仮想空間内にのみ存在する)看板等もアイコンの一例である。
【0037】
画像取得部104は、位置角度特定部121により特定された所定位置及び所定角度に基づいて、即ち上述した位置情報及び角度情報に基づいて、HMD1側で表示させる画像のデータを、画像DB600から取得する。
HMD表示制御部105は、画像取得部104によりデータとして取得された画像を表示部16に表示させる制御を実行する。即ち、仮想空間において、ユーザ等の移動対象が、上述した位置情報により特定される立ち位置に立ち、上述した角度情報により特定される角度の方向に向いた際に見える風景を示す画像が、表示部16に表示される。
さらに、HMD表示制御部105は、アイコン部102からアイコン又は当該アイコンを特定可能な情報が提供された場合、表示対象の画像に、アイコンを重畳させて表示部16に表示させる制御を実行する。
【0038】
通信制御部103は、位置角度特定部121により特定された所定位置及び所定角度を特定可能な情報、即ち上述した位置情報及び角度情報を、少なくとも1回、通信部19を介してディスプレイ端末3に送信する制御を実行する。
詳細については後述するが、これにより、ディスプレイ端末3側でも、HMD1側で表示された画像、即ち仮想空間において、ユーザ等の移動対象が、上述した位置情報により特定される立ち位置に立ち、上述した角度情報により特定される角度の方向に向いた際に見える風景を示す画像の表示の共有が可能になる。
ここで、位置情報及び角度情報を少なくとも1回送信すればよいとしたのは、位置情報及び角度情報を毎回送信してもよいが、位置情報及び角度情報を1回送信し、それ以降は、位置情報で特定される所定位置に対する相対位置を示す情報(即ち差分情報であり、以下「相対位置情報」と呼ぶ)と、角度情報で特定される相対角度に対する相対角度を示す情報(即ち差分情報であり、以下、「相対角度情報」と呼ぶ)を送信することで、ディスプレイ端末3側で、仮想空間内の移動対象の立ち位置及び角度を特定することができるためである。このように、相対位置情報及び相対角度情報を送信することで、位置情報及び角度情報を毎回送信する場合に比較して、送信の際のデータ量を削減することができる。
ただし、相対位置及び相対角度が何回も送信されると誤差が大きくなっていくので、実際には、適当な条件を満たした際には、位置情報及び角度情報がディスプレイ端末3に送信されるようにするとよい。
ここで、適当な条件は特に限定されず、例えばHMD1のセンサ部17の検出結果に基づく条件、具体的には例えば次のような条件を採用することができる。
即ち、例えば、位置情報又は角度情報が送信される条件として、夫々、加速度又は角加速度が0ではないとき、若しくは速度又は角速度が0ではないときを採用することができる。
また例えば、速度が0のときに、位置情報及び相対位置情報をディスプレイ端末3に送信しないこととすることができる。同様に、角速度が0のときに、角度情報及び相対角度情報をディスプレイ端末3に送信しないこととすることができる。
【0039】
このようなHMD1のような機能的構成に対して、ディスプレイ端末3のCPU41においては、通信制御部201と、マップ管理部202と、アイコン部203と、画像取得部204と、ディスプレイ表示制御部205とが機能する。
ディスプレイ端末3の記憶部49の一領域には、マップDB800と、画像DB900とが設けられる。
【0040】
通信制御部201は、所定位置及び所定角度を特定可能な情報、即ち上述した位置情報及び角度情報又は相対位置情報又は相対角度情報がHMD1から送信されてきた場合、これらの情報を、通信部50を介して取得する。
また、通信制御部201は、アイコン又は当該アイコンを特定可能な情報がHMD1から送信されてきた場合、これを通信部50を介して取得する。
【0041】
マップ管理部202は、HMD1側と同一のマップ、即ち図1の相談者U等のユーザに対して画像として提示表示される仮想空間(例えば図5の結婚式場の仮想空間)のマップを用いて、所定の移動対象(図1の相談者U等のユーザ又はキャラクタ等)の当該仮想空間内の立ち位置(マップ内の座標)等を管理する。
マップの情報(仮想空間内の各位置を特定可能な情報)はマップDB800に格納されており、マップ管理部202により使用される。マップの情報については、図5を参照して後述する。
【0042】
マップ管理部202には、位置角度特定部211が設けられる。
位置角度特定部211は、結婚式場に対応する仮想空間内における、所定の移動対象についての所定位置(立ち位置)と、当該所定位置を基準とする所定角度を特定する。
即ち、位置角度特定部211は、HMD1から送信されて通信部50を介して通信制御部201に取得された情報、即ち上述した位置情報及び角度情報又は相対位置情報又は相対角度情報に基づいて、仮想空間内の移動対象の立ち位置(マップ内の座標)と、仮想空間内での移動対象が向いている方向を示す角度とを特定する。
【0043】
アイコン部203は、マップ管理部202が管理するマップにおける各位置から各方向をみた様子を示す画像上に重畳して表示すべきアイコン、又は当該アイコンを特定可能な情報が、HMD1から送信されて通信部50を介して通信制御部201に取得された場合、そのアイコン又は当該アイコンを特定可能な情報を取得して管理する。
【0044】
画像取得部204は、位置角度特定部211により特定された所定位置及び所定角度に基づいて、ディスプレイ端末3側で表示させる画像のデータ、即ちHMD1側と共有すべき画像のデータを、画像DB900から取得する。
ディスプレイ表示制御部205は、画像取得部204によりデータとして取得された画像を表示部47に表示させる制御を実行する。即ち、HMD1側で表示されている画像と同一の画像、具体的には例えば、仮想空間において、ユーザ等の移動対象が、上述した所定位置(立ち位置)に立ち、上述した所定角度の方向に向いた際に見える風景を示す画像が、表示部47に表示される。
さらに、ディスプレイ表示制御部205は、アイコン部203においてアイコン又は当該アイコンを特定可能な情報が管理されている場合、表示対象の画像に、アイコンを重畳させて表示部47に表示させる制御を実行する。
【0045】
次に、図5を参照して、HMD1及びディスプレイ端末3が共有して記憶している情報の詳細について説明する。
図5は、図4のHMD1及びディスプレイ端末3において利用される仮想空間のマップの一例を示す図である。
【0046】
図5の例では、仮想空間の一例として、結婚式場が採用されている。つまり、当該仮想空間は、結婚式場のスタッフ(例えば図1のスタッフS)が、相談者(例えば図1の相談者U)に対して紹介する結婚式場を模した仮想空間である。相談者(例えば図1の相談者U)は、HMD1を装着してコントローラ2を操作することで、当該結婚式場内で移動等することを疑似体験しながら結婚式場のスタッフから適宜説明を受けることができる。
ここで、図5のマップによれば、当該仮想空間内には、相談者等の移動対象が移動することができる位置として、「P1」、「P2」、「P3」、「P4」の4つの位置が設定されている。つまり、マップ管理部101及びマップ管理部202は、「P1」、「P2」、「P3」、「P4」の4つの各位置を夫々示すマップ上の座標を管理している。
そして、HMD1の画像DB600及びディスプレイ端末3の画像DB900には、「P1」、「P2」、「P3」、「P4」の夫々の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群が記憶されている。
【0047】
より具体的に言えば、画像DB600及び画像DB900には、相談者(例えば図1の相談者U)が結婚式場において「P1」、「P2」、「P3」、「P4」の夫々の位置で360度視点を変化させた場合の様子を示す複数の画像データ群が格納されている。
なお、これらの画像のデータ群は、上述の位置(例えば「P1」)と対応付けられて、画像DB600及び画像DB900に格納されている。そして、各位置(例えば「P1」)において、画像のデータ群のうちどのデータに対応する画像が表示される(画像取得部204に取得される)のかが、各角度毎に夫々設定されている。つまり、画像のデータ群と角度との対応付けがなされている。
【0048】
ここで、当該画像データ群と角度との対応付けについて、説明する。上述の通り、角度とは、仮想空間における移動対象(例えば図1の相談者U)の立ち位置を始点とする、当該移動対象の視点を示すベクトルの方向を表す角度である。
画像DB600及び画像DB900に格納される画像のデータ群との対応付けに利用される角度として、例えば、所定の位置(例えば「P1」)において所定の高さ(例えば170cm)に、移動対象からの視点を示すベクトル(以下、「視点ベクトル」と呼ぶ)の始点があるものとし、移動対象の基準姿勢時における視点ベクトルを基準ベクトルとして、移動対象の各姿勢時における視点ベクトルと、基準ベクトルとのなす角度が採用される。また、移動対象がみる画像のデータが、移動対象の各姿勢毎に設定される。このようにして、角度と画像のデータの対応付けがなされる。
このような、夫々の位置及び角度と対応付けされた画像のデータ群が、事前にHMD1及びディスプレイ端末3に存在する各種DB(図4の例ではHMD1の画像DB600及びディスプレイ端末3の画像DB900)に記憶されていることが前提となる。このような前提の下、HMD1とディスプレイ端末3の位置情報及び角度情報の共有のみで、HMD1とディスプレイ端末3との画像の共有が実現する。
【0049】
次に、図6を参照して、図4のHMD1により実行される画面共有処理について説明する。
即ち、図6は、図4のHMD1側の画面共有処理の流れを説明するフローチャートである。
【0050】
ステップS1において、位置角度特定部121は、結婚式場に対応する仮想空間内における、所定の移動対象(図1の相談者U等のユーザ又はキャラクタ等)についての所定位置を特定する。
即ち、位置角度特定部121は、コントローラ2から送信される移動操作のコマンド等の情報に基づいて、仮想空間内の移動対象の立ち位置(マップ内の座標)を、所定位置として特定する。また、位置角度特定部121は、このようにして特定された所定位置を示す位置情報を出力する。
【0051】
ステップS2において、位置角度特定部121は、ステップS2で特定された、結婚式場に対応する仮想空間内における、所定位置を基準とする所定角度を特定する。
即ち、位置角度特定部121は、センサ部17の各種センシング情報に基づいて、仮想空間内での移動対象が向いている方向を示す角度を、所定角度として特定する。位置角度特定部121は、このようにして特定された所定角度を示す角度情報を出力する。
【0052】
ステップS3において、画像取得部104は、ステップS1で特定された所定位置及びステップS2で特定された所定角度に対応する画像のデータを画像DB600から取得する。
【0053】
ステップS4において、HMD表示制御部105は、ステップS3でデータとして取得された画像を表示部16に表示させる。
即ち、仮想空間において、ユーザ等の移動対象が、上述した所定位置に立ち、上述した所定角度の方向に向いた際に見える風景を示す画像が、表示部16に表示される。
なお、HMD表示制御部105は、必要に応じて、表示対象の画像に、アイコンを重畳させて表示部16に表示させる。
【0054】
ステップS5において、通信制御部103は、ステップS1で特定された所定位置及びステップS2で特定された所定角度を特定可能な情報、即ち位置情報及び角度情報又は相対位置情報及び相対角度情報(以下、「位置情報及び角度情報等」と呼ぶ)を、通信部19を介してディスプレイ端末3に送信する。
なお、位置情報及び角度情報等のうち、位置情報又は相対位置情報を以下「位置情報等」と呼び、角度情報又は相対角度情報を以下「角度情報等」と呼ぶ。
【0055】
ステップS6において、HMD1のCPU11は、処理の終了指示があったか否かを判断する。
ここで、処理の終了指示は、特に限定されないが、本実施形態ではHMD1のいわゆるスリープ状態等への移行指示が採用されている。つまり、HMD1においてスリープ状態等への移行指示がなされない限り、ステップS6においてNOであると判断されて処理はステップS1に戻され、それ以降の処理が繰り返される 。
これに対して、HMD1においてスリープ状態等への移行指示がなされると、ステップS6においてYESであると判断されて、画面共有処理は終了になる。
【0056】
次に、図7を参照して、ディスプレイ端末3により実行される画面共有処理について説明する。
即ち、図7は、図4のディスプレイ端末3側の画面共有処理の流れを説明するフローチャートである。
本実施形態では、HMD1からディスプレイ端末3への片方向に情報の受け渡しを行う。図7に示す画面共有処理は、ディスプレイ端末3は、図6示す画面共有処理でHMD1から送信された、位置情報及び角度情報等を取得し、当該位置情報及び当該角度情報等に基づいて画像の共有を行う。
【0057】
ステップS21において、ディスプレイ端末3の通信制御部201は、HMD1から送信されてきた位置情報及び角度情報等を通信部50を介して取得する。
【0058】
ステップS22において、位置角度特定部211は、ステップS21で取得された位置情報等に基づいて、仮想空間内の移動対象の立ち位置(マップ内の座標)を、所定位置として特定する。
【0059】
ステップS23において、位置角度特定部211は、ステップS21で取得された角度情報等に基づいて、仮想空間内での移動対象が向いている方向を示す角度を、所定角度として特定する。
【0060】
ステップS24において、画像取得部204は、ステップS22で特定された所定位置及びステップS23で特定された所定角度に対応する画像のデータを、画像DB900から取得する。
【0061】
ステップS25において、ディスプレイ表示制御部205は、ステップS24でデータとして取得された画像を表示部47に表示させる。
即ち、HMD1を利用するユーザ等の移動対象が、上述した所定位置に立ち、上述した所定の角度の方向に向いた際に見える風景を示す画像、換言すると、HMD1側で表示されている画像が、ディスプレイ端末3の表示部47に表示される。
なお、ディスプレイ表示制御部205は、必要に応じて、表示対象の画像に、アイコンを重畳させて表示部47に表示させる。
【0062】
ステップS26において、ディスプレイ端末3のCPU41は、処理の終了指示があったか否かを判断する。ここで、処理の終了指示は、特に限定されないが、本実施形態ではディスプレイ端末3のいわゆるスリープ状態等への移行指示が採用されている。つまり、ディスプレイ端末3においてスリープ状態等への移行指示がなされない限り、ステップS26においてNOであると判断されて処理はステップS21に戻され、それ以降の処理が繰り返される 。
これに対して、ディスプレイ端末3においてスリープ状態等への移行指示がなされると、ステップS26においてYESであると判断されて、画面共有処理は終了になる。
【0063】
[第2実施形態]
上述の第1実施形態では、HMD1からディスプレイ端末3に対して、位置情報及び角度情報等を送信することで画像の共有を実現した。
しかし、画像の共有を実現するにあたり、必ずしもHMD1からディスプレイ端末3に位置情報及び角度情報等を送信する必要はない。例えば、ディスプレイ端末3からHMD1に位置情報等を送信することも可能である。即ち、HMD1とディスプレイ端末3が双方向に位置情報等を送受信する第2実施形態を採用してもよい。
この第2実施形態を採用することで、本サービスの提供者は、より幅広い画面共有サービスを提供できる。
【0064】
ここで、第2実施形態のシステム構成は、図1の第1実施形態のシステム構成と同様である。即ち、第2実施形態の情報処理システムも、HMD1、コントローラ2及びディスプレイ端末3を有する。第2実施形態におけるHMD1及びディスプレイ端末3のハードウェア構成は、図2及び図3の夫々に示す第1実施形態のものと同様である。
【0065】
図8は、図2のHMD1及び図3のディスプレイ端末3の機能的構成のうち、画面共有処理を実現するための機能的構成の一例であって、図4の例とは異なる例を示す機能ブロック図である。
【0066】
図8に示すように、HMD1のCPU11においては、マップ管理部101と、アイコン部102と、通信制御部103と、画像取得部104と、HMD表示制御部105とが機能する。
HMD1の記憶部18の一領域には、マップDB500と、画像DB600とが設けられる。
さらに、ディスプレイ端末3のCPU41においては、通信制御部201と、マップ管理部202と、アイコン部203と、画像取得部204と、ディスプレイ表示制御部205とが機能する。
ディスプレイ端末3の記憶部49の一領域には、マップDB800と、画像DB900とが設けられる。
なお、通信制御部103及び通信制御部201以外の各種機能的構成については、実施形態1と同様である。従って、ここでは、通信制御部103及び通信制御部201の説明のみをし、それ以外の機能ブロックについてはここでは説明を省略する。
【0067】
HMD1の通信制御部103は、第1実施形態と同様にディスプレイ端末3に対して位置情報及び角度情報等を送信する制御を実行する他、さらに第2実施形態では、ディスプレイ端末3側から送信されてきた位置情報等を受信する制御も実行する。
同様に、ディスプレイ端末3の通信制御部201は、第1実施形態と同様にHMD1から送信されてきた位置情報及び角度情報等を受信する制御を実行する他、さらに第2実施形態では、HMD1に対して位置情報等を送信する制御も実行する。
【0068】
ここで、ディスプレイ端末3からHMD1に対しては、位置情報及び角度情報等を送信するのではなく、位置情報等のみの送信を許可し角度情報の送信を禁止している。
これは、ディスプレイ端末3からの角度情報に基づいてHMD1側の画像の表示が制御されると、HMD1の利用者(相談者等)が、自身の頭を動かしていないのに表示画像が変化したり、自身の頭を動かす方向とは異なる方向に表示画像が変化してしまうことになり、酔ってしまうからである。
つまり、HMD1の利用者が酔う可能性がある場合にはその酔いを軽減すべく、ディスプレイ端末3からの位置情報のみがHMD1側で共有され、角度情報は共有されない。換言すると、ディスプレイ端末3とHMD1との間の双方向で位置情報は共有され、HMD1からディスプレイ端末3への片方向のみ角度情報は共有される。
【0069】
なお、HMD1の装着者が酔いにくい状態ならば、ディスプレイ端末3からHMD1側への角度情報の共有が行われてもよい。ここで、HMD1の利用者が酔いにくい状態とは、HMD1の装着者の頭が動いていないが表示画像が変化する(所定方向に動くような表示画像が順次表示されていく)状態、若しくは、ディスプレイ端末3における表示画像の角度(画面角度)が動いている状態である。
従って、HMD1のセンサ部17の検出結果に基づいて、当該HMD1の利用者の頭の角度が動いていないと判定された場合、又は、ディスプレイ端末3側での表示画像の角度が動いていないと判定された場合には、ディスプレイ端末3からHMD1に位置情報及び角度情報等を送信すること(角度情報の共有)も可能である。
【0070】
このように、第2実施形態では、HMD1とディスプレイ端末3が、相互に位置情報及び角度情報等を送受信可能な機能的構成を有している。ただし、ディスプレイ端末3からHMD1に対する通信では、HMD1の装着者の酔い防止のため、角度情報の送信は原則禁止されている。
これにより、HMD1側、ディスプレイ端末3側の何れかで表示された画像、即ち仮想空間において、ユーザ等の移動対象が、当該位置情報等により特定される立ち位置に立ち、上述した角度情報等により特定される角度の方向に向いた際に見える風景を示す画像の表示の共有が可能になる。
[第3実施形態]
上述した第1実施形態では、HMD1からディスプレイ端末3に、位置情報及び角度情報等を一方向に送信することで画像の共有を実現した。さらに、上述した第2実施形態では、HMD1とディスプレイ端末3は、双方向に位置情報及び角度情報等を送受信することで画像の共有を実現した。
しかし、このような画像の共有は、必ずしも1台のHMD1と1台のディスプレイ端末3との間でのみ行われる必要はない。
つまり、第3実施形態では、P台(Pは1以上の任意の整数値)のHMD1とQ台(QはPとは独立した1以上の任意の整数値)のディスプレイ端末3との間で画像の共有が行われる。
【0071】
例えば図9の例では、所定の相談者M(例えば新郎になるであろう男性)が利用するHMD1−Mと、その他の相談者W(例えば新婦になるであろう女性)が利用するHMD1−Wと、ディスプレイ端末3との間で画像の共有が行われる。
図9は、本発明の一実施形態に係る情報処理システムの構成の一例であり、図1等の例とは異なる例を示す図である。
【0072】
本発明の一実施形態に係る図9の情報処理システムは、相談者Mに使用されるHMD1−M及びコントローラ2−Mと、相談者Wに使用されるHMD1−W及びコントローラ2−Wと、スタッフSに使用されるディスプレイ端末3を有している。
なお、図1と同様、HMD1−M、コントローラ2−M、HMD1−W、コントローラ2−W及びディスプレイ端末3の夫々は、所定のネットワークNを介して相互に接続されている。
【0073】
このような構成を有する図9の情報処理システムは、ウェディングサロンのスタッフSが説明している画像(相談者M及びWが移動等の疑似体験をしている結婚式場内の景色を示す画像)を、HMD1−Mと、HMD1−Wと、ディスプレイ端末3との間で共有させることができる。
【0074】
ここで、HMD1−Mとディスプレイ端末3との間の画像の共有、及びHMD1−Wとディスプレイ端末3との間の画像の共有については、第2実施形態と同様なので、ここではその説明は省略する。
HMD1―MとHMD1−Wとの間で画像の共有を行う場合、位置情報及び角度情報等を一方から他方に送信することで、画像の共有をすることもできる。しかしながら、通常、HMD1は、頭に直接装着されるため、急激に表示画像が変化すると、HMD1の利用者(例えば図9の相談者M)が酔ってしまう場合がある。即ち、相談者Wが頭を動かすことで、HMD1−Wにおいて表示画像が変化した場合、当該表示画像の変化がHMD1−M側でも共有されると、相談者Mにとっては、頭を動かしていないにもかかわらず、急激に表示画像が変化してしまい、酔ってしまう場合がある。
そのため、相談者Mの酔いを防止すべく、HMD1−MとHMD1−Wとの間では、角度情報等の共有は禁止され、位置情報等のみを共有してもよい。
【0075】
以上まとめると、第1実施形態及び第2実施形態では、1台のHMD1が下記の第1端末として、1台のディスプレイ端末3が下記の第2端末として、夫々機能していた。
即ち、仮想空間(例えば実際の結婚式場に対応する仮想空間)内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す1以上の画像のデータが記憶されている1以上の記憶デバイスのうち、少なくとも1つから画像のデータを取得可能な、第1端末と第2端末とを含む情報処理システムに係る実施形態が、第1実施形態及び第2実施形態の夫々であった。
【0076】
これに対して、第3実施形態では(例えば図9の例では)、相談者WのHMD1―Wが第1端末として機能し、相談者MのHMD1−Mが第2端末として機能する。この場合、図示はしないが、第1端末及び第2端末は、図8のHMD1と同様の機能的構成を有する。
【0077】
ここで、第3実施形態では、第1端末及び第2端末での画像の共有にあたり、位置情報等の共有は必須であるが、酔い防止のため、角度情報等の共有は任意でよい。
【0078】
例えば、第1端末の通信制御部103は、位置角度特定部121により特定された所定位置を特定可能な情報、即ち位置情報等については、少なくとも1回、第2端末に送信することを許可する。一方、第1端末の通信制御部103は、位置角度特定部121により特定された所定角度を特定可能な情報、即ち角度情報等については、第2端末に送信することを禁止する制御を実行する。
これにより、第2端末の使用者(図9の例では相談者M)が、自身の頭を動かしていないのに表示画像が変化してしまい酔ってしまうということが防止される。
【0079】
或いはまた例えば、第3実施形態における第1端末の通信制御部103は、位置角度特定部121により特定された所定角度を特定可能な情報、即ち、角度情報等については、所定条件が満たされた場合には、第2端末に送信することを許可し、それ以外の場合には、第2端末に送信することを禁止する制御を実行してもよい。
即ち、第1端末と第2端末との間で、角度の共有はするが連続的に共有せず、断続的に共有することになる。この場合も、第2端末の使用者(図9の例では相談者M)が、自身の頭を動かしていないのに表示画像が変化してしまい酔ってしまうということが防止される。
【0080】
ここで、第2端末の角度が動かなければ、即ち第2端末が装着されている使用者(図9の例では相談者M)の頭が動かなければ、角度が変化したことによる表示画像が変化しても、当該使用者は酔わない。そこで、角度情報等を第2端末に送信することを許可するための上述の所定条件としては、第2端末が移動していないと判定される条件を採用してもよい。つまり、第1端末(図9の例ではHMD1−W)の情報が共有される側の第2端末(図9の例ではHMD1−M)が動いている時にのみ、角度を共有しないことになる。
【0081】
以上の酔い防止のために角度を共有しない各種技術については、第3実施形態における第1端末と第2端末とが2台ともHMD1の場合を例として説明したが、適用先はこれに限定されず、上述したように第2実施形態における第1端末がHMD1で第2端末がディスプレイ端末3の場合であって、ディスプレイ端末3からHMD1に対して位置情報等が送信される場合にも適用可能である。
【0082】
以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0083】
また例えば、上述の実施形態において、本サービスとして、ウェディングサロンの一例をあげて説明しているが、特にこれに限定されない。即ち、本発明の一実施形態に係る情報処理システムは、例えば、テレビ会議や大規模なシンポジウム等、仮想空間内を移動可能な移動対象がみる画像を共有する技術が適用可能なあらゆる場面で適用することが可能である。
【0084】
また例えば、第3実施形態においては2台のHMD(第1端末及び第2端末)では、酔い防止のため、少なくとも部分的に角度情報等の共有がなされないこととした。
この場合の2台のHMDの間の画像の共有の手法は、特に限定されず、例えば、第2端末の使用者(例えば図9の相談者M)に対して、第1端末の使用者(例えば図9の相談者W)が声をかけて、相談者Mが当該角度の方向を向くように促す手法を採用してもよい。
また例えば、第2端末側で、その使用者に向いて欲しい角度を知らせるアイコン等を表示させる手法を採用してもよい。
さらに例えば、第1端末側で表示されている画像を第2端末側で共有するために、間違った方向に向いたら第2端末を揺らしたり、第2端末の使用者に向いて欲しくない方向を暗く表示したり、第2端末の使用者が次の場所(例えば図5の例では、現在位置P1に対して位置P2が次の場所)に移動したら向いて欲しい方向を表示する等の各種誘導機能を設定する手法を採用することもできる。
また、このような各種誘導機能について、第2端末の使用者(例えば図9の例では相談者M)が、誘導機能の指示に従って、第1端末側で表示されている画像(共有すべき画像)の方向を向いているかどうかをフィードバックする機能を備えることもできる。これにより、他者(図9の例では相談者WやスタッフS)は、第2端末の使用者(図9の例では相談者M)が、しっかりと誘導機能の指示に従っているか否かを認識することが容易にできる。
【0085】
また例えば、本サービスの提供者は、第1端末と第2端末との間で画像の共有のために、位置情報及び角度情報等の双方向の送受信ができる場合、第1端末と第2端末とのうちどちらの表示画像を共有させるのかについての優先度を設定することもできる。
例えば、男性(図9の例では相談者M)と女性(図9の例では相談者W)が同時に、表示画像の変更を指示した場合、女性側の指示を優先してもよい。また例えば、複数人が同時に表示画像の変更を指示した場合、第1優先となるためのボタンをコントローラ等に備えておいてもよい。つまり、そのボタンを押下した者の指示が第1優先に採用されて、複数人で共有すべき表示画像が変化する。
【0086】
また例えば、上述の実施形態では、各種画像のデータを保存する記憶装置(例えば図2の記憶部18)は、HMD又はディスプレイ端末の夫々のハードウェアに内蔵されているものとして説明したが、特にこれに限定されない。
即ち、各種画像のデータを保存する記憶装置を、HMD又はディスプレイ端末の夫々のハードウェアとは、別途設けてもよい。
【0087】
また例えば、上述の実施形態において、各種ハードウェア間で(例えば、HMD1からディスプレイ端末3)位置情報及び角度情報等やアイコンの表示状況を送受信する間隔は、本サービスの提供者が自由に設定することができる。例えば、1秒間に30回程度、情報のやり取りを行っても良いし、また、上述のように相対情報(差分情報)を用いることも可能である。
【0088】
また例えば、上述の実施形態において、第1端末及び第2端末の間で画像が共有されることとしたが、ここでいう画像の共有とは、被写体(オブジェクト)が同一の画像を共有という意味である。即ち第1端末の使用者と第2端末の使用者が仮想空間内の同一風景を視認することができれば足りる。
即ち、例えば、第1端末で表示される画像と、第2端末で表示される画像との解像度が異なっていてもよい。
また例えば、第1端末で画像に重畳して表示されるアイコンと、第2端末で画像に重畳して表示されるアイコンとは、異なっていてもよい。一般的には、仮想空間内を移動する相談者(第1端末の使用者)が視認するものより、相談者に説明をするスタッフが視認するものの方が、情報量が多い、即ちアイコン等が多いと好適である。
以上まとめると、第1端末は、第1データ量の画像のデータに基づいて、当該画像を第1端末側の表示デバイスに表示させる制御を実行する一方、第2端末は、第1データ量とは独立した第2データ量の画像のデータに基づいて、当該画像を第2端末側の表示デバイスに表示させる制御を実行するようにしてもよい。
【0089】
また例えば、上述の実施形態において、第1端末及び第2端末の間で共有される画像に対してアイコンが重畳されて表示されたが、当該画像とともに表示されるものは、アイコンに特に限定されず、任意のシンボルを採用することができる。
さらに、アイコン等のシンボルの表示を第1端末及び第2端末で共有するために、上述の実施形態では、シンボル又はシンボルを特定可能な情報を、第1端末から第2端末へと一方向通信したが、特にこれに限定されず、第2端末から第1端末への一方向通信でもよいし、第1端末と第2端末との間の双方向通信でもよい。
【0090】
また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図4及び図8の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4及び図8の例に限定されない。また、機能ブロックの存在場所も、図4及び図8に特に限定されず、任意でよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0091】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他、スマートフォンやパーソナルコンピュータ、又は各種デバイス等であってもよい。
【0092】
また例えば、このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。
【0093】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0094】
以上を換言すると、本発明が適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
即ち、本発明が適用される情報処理システムは、
第1端末(第1実施形態や第2実施形態では相談者のHMD。第3実施形態では女性側のHMD)と第2端末(第1実施形態や第2実施形態ではウェディングサロンのスタッフ用端末。第3実施形態では男性側のHMD)とを含む情報処理システムにおいて、
仮想空間(例えば実際の結婚式場に対応する仮想空間)内の複数の位置毎に、その位置で視点を変化させた場合の夫々の当該仮想空間の様子を示す複数の画像のデータ群が記憶されている1以上の記憶デバイス(例えば図2の記憶部18や図3の記憶部49)を備え、
前記第1端末は、
前記仮想空間内における、所定の移動対象(ユーザ又はキャラクタ等)についての所定位置と、当該所定位置を基準とする所定角度を特定する特定手段(例えば図4の位置角度特定部121)と、
前記特定手段により特定された前記所定位置及び前記所定角度に基づいて、前記第1端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第1画像取得手段(例えば図4の画像取得部104)と、
前記特定手段により特定された前記所定位置及び前記所定角度を特定可能な情報を、少なくとも1回、前記第2端末に送信する制御を実行する第1通信制御手段(例えば図4の通信制御部103)と、
を備え、
前記第2端末は、
前記第1端末から送信された前記情報を受信する制御を実行する第2通信制御手段(例えば図4の通信制御部201)と、
前記第2通信制御手段の制御により受信された前記情報で特定される前記所定位置及び前記所定角度に基づいて、前記第2端末側で表示させる画像のデータを、前記1以上の記憶デバイスのうち少なくとも1つから取得する第2画像取得手段(例えば図4の画像取得部204)と、を備えれば足りる。
【0095】
これにより、送信するデータ量を低く抑え、より高速な処理を実現する画面共有技術の提供することができる。
即ち、上述の第1端末(例えば図1のHMD1)から上述の第2端末(例えば図1ディスプレイ端末3)に、画像データ自体を送信せず、仮想空間内におけるユーザ等の位置情報及び角度情報という限られたデータのみを共有して画像の共有を行うことで、処理の高速化を実現することができる。
【符号の説明】
【0096】
1・・・HMD、2・・・コントローラ、3・・・ディスプレイ端末、11・・・CPU、17・・・センサ部、41・・・CPU、101・・・マップ管理部、102・・・アイコン部、103・・・通信制御部、104・・・画像取得部、105・・・HMD表示制御部、121・・・位置・角度決定部、201・・・通信制御部、202・・・マップ管理部、203・・・アイコン部、204・・・画像取得部、205・・・ディスプレイ表示制御部、211・・・位置・角度決定部、500・・・マップDB、600・・・画像DB、800・・・マップDB、900・・・画像DB
【要約】
送信するデータ量を低く抑え、より高速な処理を実現する画面共有技術を提供すること。位置角度特定部121は、コントローラ2から送信される移動操作のコマンド等の情報に基づいて、仮想空間内の移動対象の立ち位置(マップ内の座標)を、所定位置として特定する。位置角度特定部121は、センサ部17の各種センシング情報に基づいて、仮想空間内での移動対象が向いている方向を示す角度を、所定角度として特定する。画像取得部104は、所定位置及び所定角度に対応する画像のデータを画像DB600から取得する。HMD表示制御部105は、仮想空間において、ユーザ等の移動対象が、所定位置に立ち、所定角度の方向に向いた際に見える風景を示す画像を表示部16に表示する。通信制御部103は、位置情報及び角度情報等をディスプレイ端末3に送信し、表示の画像の共有を実現する。
図1
図2
図3
図4
図5
図6
図7
図8
図9