特開 2022-174454 情報処理装置、プログラム、情報処理方法及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022174454

(43)【公開日】2022-11-24

(54)【発明の名称】情報処理装置、プログラム、情報処理方法及び情報処理システム

(51)【国際特許分類】

   G06F 3/04847 20220101AFI20221116BHJP

   G06F 3/04815 20220101ALI20221116BHJP

【ＦＩ】

G06F3/0484 170

G06F3/0481 150

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021080255

(22)【出願日】2021-05-11

(71)【出願人】

【識別番号】521023539

【氏名又は名称】Ｃｅｌｌｉｄ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】白神 賢

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA13

5E555AA27

5E555BA02

5E555BA05

5E555BA06

5E555BB02

5E555BB05

5E555BB06

5E555BC04

5E555BE16

5E555CA12

5E555CB14

5E555CB16

5E555CB45

5E555CC05

5E555DB22

5E555DB51

5E555DB53

5E555DC09

5E555DC13

5E555DC84

5E555FA00

(57)【要約】

【課題】二次元画像を表示する端末において、他の端末を使用するユーザに三次元空間における位置を伝えられるようにする。
【解決手段】情報処理装置１は、二次元画像を表示部１２に表示させる画像表示部１５２と、二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部１５３と、選択位置を示す選択位置データと奥行位置を示す奥行位置データとを関連付けて、二次元画像に対応する三次元空間を視認可能な情報端末２に送信するデータ送信部１５４と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

二次元画像を表示部に表示させる画像表示部と、
前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部と、
前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて、前記二次元画像に対応する三次元空間を視認可能な情報端末に送信するデータ送信部と、
を有する情報処理装置。

【請求項2】

前記画像表示部は、前記奥行位置を指定するための奥行設定用画像を前記表示部に表示させ、
前記操作受付部は、前記奥行設定用画像において選択された位置を、指定された前記奥行位置として受け付ける、
請求項１に記載の情報処理装置。

【請求項3】

前記画像表示部は、前記二次元画像において前記奥行方向の基準位置を示す画像と、前記基準位置に対する距離を示す情報とを、前記奥行設定用画像とともに前記表示部に表示させる、
請求項２に記載の情報処理装置。

【請求項4】

前記画像表示部は、前記二次元画像に含まれる被写体を前記奥行方向と異なる方向から見た状態を示す他視点画像を前記表示部に表示させる、
請求項１から３のいずれか一項に記載の情報処理装置。

【請求項5】

前記画像表示部は、指定された前記奥行位置に対応する位置を示す画像を前記他視点画像に重ねて表示させる、
請求項４に記載の情報処理装置。

【請求項6】

コンピュータを、
二次元画像を表示部に表示させる画像表示部と、
前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部と、
前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて、前記二次元画像に対応する三次元空間を視認可能な情報端末に送信するデータ送信部と、
として機能させるためのプログラム。

【請求項7】

コンピュータが、
二次元画像を表示部に表示させるステップと、
前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付けるステップと、
前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて、前記二次元画像に対応する三次元空間を視認可能な情報端末に送信するステップと、
を実行する情報処理方法。

【請求項8】

画像を表示する情報端末と、前記情報端末を使用するユーザが視認可能な三次元空間に対応する二次元画像を表示する情報処理装置と、を備え、
前記情報処理装置は、
前記二次元画像を表示部に表示させる画像表示部と、
前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部と、
前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて前記情報端末に送信するデータ送信部と、
を有し、
前記情報端末は、
前記選択位置データと前記奥行位置データとを受信するデータ受信部と、
前記三次元空間における、前記選択位置データと前記奥行位置データとにより特定される位置に、所定の画像を表示させる表示処理部と、
を有する情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を表示するための情報処理装置、プログラム、情報処理方法及び情報処理システムに関する。

【背景技術】

【0002】

従来、複数の端末間で共通の画像を表示することができるシステムが知られている。特許文献１には、共通に表示する画像に重ねて、第１端末のユーザの操作により移動するマウスポインタ画像を第２端末にも表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－１９８０１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術においては、ユーザが見ることのできる画像が二次元画像であることが想定されていた。ところが、画像における位置を指定する操作を行う側の第１端末に二次元画像が表示され、第１端末と通信する第２端末で三次元空間又は三次元空間に対応する三次元画像を見ることができる場合もある。

【0005】

このような場合、第１端末のユーザは、第２端末のユーザが見ている三次元空間における奥行方向の位置を指定することができなかった。したがって、第１端末のユーザが指定した位置を示す指定位置画像を第２端末に表示することで、第１端末のユーザが指定した位置を第２端末のユーザに伝えようとしても、第２端末のユーザが、第１端末のユーザが意図した三次元空間における位置を把握することができないという問題があった。

【0006】

そこで、本発明はこれらの点に鑑みてなされたものであり、二次元画像を表示する端末において、他の端末を使用するユーザに三次元空間における位置を伝えられるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の態様の情報処理装置は、二次元画像を表示部に表示させる画像表示部と、前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部と、前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて、前記二次元画像に対応する三次元空間を視認可能な情報端末に送信するデータ送信部と、を有する。

【0008】

前記画像表示部は、前記奥行位置を指定するための奥行設定用画像を前記表示部に表示させ、前記操作受付部は、前記奥行設定用画像において選択された位置を、指定された前記奥行位置として受け付けてもよい。

【0009】

前記画像表示部は、前記二次元画像において前記奥行方向の基準位置を示す画像と、前記基準位置に対する距離を示す情報とを、前記奥行設定用画像とともに前記表示部に表示させてもよい。

【0010】

前記画像表示部は、前記二次元画像に含まれる被写体を、前記奥行方向と異なる方向から見た状態を示す他視点画像を前記表示部に表示させてもよい。

【0011】

前記画像表示部は、指定された前記奥行位置に対応する位置を示す画像を前記他視点画像に重ねて表示させてもよい。

【0012】

本発明の第２の態様のプログラムは、コンピュータを、二次元画像を表示部に表示させる画像表示部と、前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部と、前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて、前記二次元画像に対応する三次元空間を視認可能な情報端末に送信するデータ送信部と、として機能させる。

【0013】

本発明の第３の態様の情報処理方法は、コンピュータが、二次元画像を表示部に表示させるステップと、前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付けるステップと、前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて、前記二次元画像に対応する三次元空間を視認可能な情報端末に送信するステップと、を実行する。

【0014】

本発明の第４の態様の情報処理システムは、画像を表示する情報端末と、前記情報端末を使用するユーザが視認可能な三次元空間に対応する二次元画像を表示する情報処理装置と、を備え、前記情報処理装置は、前記二次元画像を表示部に表示させる画像表示部と、前記二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける操作受付部と、前記選択位置を示す選択位置データと前記奥行位置を示す奥行位置データとを関連付けて前記情報端末に送信するデータ送信部と、を有し、前記情報端末は、前記選択位置データと前記奥行位置データとを受信するデータ受信部と、前記三次元空間における、前記選択位置データと前記奥行位置データとにより特定される位置に、所定の画像を表示させる表示処理部と、を有する。

【発明の効果】

【0015】

本発明によれば、二次元画像を表示する端末において、他の端末を使用するユーザに三次元空間における位置を伝えられるようになるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】情報処理システムの概要を示す図である。

【図2】情報処理装置の動作について説明するための図である。

【図3】ユーザが奥行方向の位置を指定することができるようにするための画面の例を示す図である。

【図4】情報処理装置の構成を示す図である。

【図5】基準位置を示す画像の表示例を示す図である。

【図6】他視点画像の一例を示す図である。

【図7】情報端末の構成を示す図である。

【図8】表示部に表示される画像の一例を示す図である。

【発明を実施するための形態】

【0017】

［情報処理システムＳの概要］
図１は、情報処理システムＳの概要を示す図である。情報処理システムＳは、情報処理装置１及び情報端末２を備えており、情報処理装置１と情報端末２とは、ネットワークＮを介してデータを送受信することができる。ネットワークＮは、例えばインターネット及び携帯電話通信網を含む。情報処理装置１及び情報端末２は、例えばコンピュータ、スマートフォン、タブレット又は眼鏡型端末である。本実施形態においては、情報処理装置１がコンピュータであり、情報端末２が眼鏡型端末である場合を例示する。情報端末２は、例えば無線チャネルＷを介してネットワークＮにアクセスする。

【0018】

情報処理装置１は、情報端末２を使用しているユーザＵ２が見ている三次元空間に対応する二次元画像を表示する。情報処理装置１は、例えば、情報端末２において撮影されることにより作成された撮像データに基づく二次元画像を表示する。

【0019】

情報処理装置１及び情報端末２は、例えば、情報処理装置１を使用するユーザＵ１又は情報端末２を使用するユーザＵ２の操作を受け付けて、ユーザＵ１又はユーザＵ２の操作に応じて、所定の画像を同時に表示する。同時に表示される画像は、操作位置を示すポインタ画像であってもよく、情報端末２が撮影して生成された撮像画像に重ねて表示される拡張現実画像（以下、「ＡＲ画像」という。）であってもよい。

【0020】

本実施形態に係る情報処理装置１は二次元画像を表示することができるが、三次元画像を表示することができない。一方、情報端末２は、三次元空間をユーザＵ２に視認させたり、三次元空間に対応する三次元画像を表示したりすることができる。二次元画像は、互いに直交するＸ軸とＹ軸の２つの軸により定められる複数の（Ｘ、Ｙ）座標に対応する複数の画素により構成される画像である。三次元画像は、互いに直交するＸ軸、Ｙ軸及びＺ軸の３つの軸により定められる複数の（Ｘ、Ｙ、Ｚ）座標に対応する複数の画素により構成される画像である。

【0021】

情報処理装置１は、例えば、情報端末２を使用するユーザＵ２が情報端末２で撮影した三次元空間（すなわちユーザＵ２が視認可能な三次元空間）に対応する二次元画像を表示する。情報端末２が眼鏡型端末である場合、情報処理装置１は、情報端末２が周囲の三次元空間内で被写体を撮影して生成した撮像画像データに基づく二次元画像を表示して、ユーザＵ１により位置の指定を受け付ける。情報端末２は、ユーザＵ２が情報端末２のレンズを通して見ている三次元空間、又は情報端末２が撮影した三次元空間に対応する三次元画像における、ユーザＵ１が操作した位置に対応する位置に、ユーザＵ１の操作内容に応じたＡＲ画像を表示する。

【0022】

ところで、上述のとおり、情報端末２においてユーザＵ２は三次元空間又は三次元画像を視認することができるが、情報処理装置１においてユーザＵ１は二次元画像しか見ることができない。この場合、ユーザＵ１は、ユーザＵ２が見ている三次元空間における特定の位置を指定することができない。

【0023】

そこで、情報処理装置１は、情報端末２が撮影した画像を表示した状態で、ユーザＵ１が情報処理装置１の画面に表示された二次元画像に重ねて、奥行方向の位置を指定するための奥行設定用画像を表示することを特徴としている。これにより、情報処理装置１に表示された二次元画像が撮影された三次元空間内の特定の位置（すなわちユーザＵ２が存在する三次元空間内の特定の位置）をユーザＵ１が指定することが可能になる。

【0024】

図２及び図３は、情報処理装置１の動作について説明するための図である。図２（ａ）は、情報処理装置１に二次元画像が表示された画面の一例を示している。図２（ａ）における左右方向がＸ方向であり、上下方向がＹ方向であり、奥行き方向がＺ方向である。図２（ｂ）は、図２（ａ）に表示された二次元画像が撮影された三次元空間を上方から見た図である。図２（ｂ）における左右方向がＸ方向であり、上下方向がＺ方向であり、奥行き方向がＹ方向である。

【0025】

図２（ａ）には、情報端末２を使用するユーザＵ２が図２（ｂ）に示す位置からＺ方向に向いて撮影したメイン画像である画像Ｔ１～Ｔ４と、重ねて表示されたＡＲ画像Ａ～Ｃが表示されている。ユーザＵ１がＡＲ画像Ｃを表示させるための操作をした後に手ＨをＡＲ画像Ａの位置に触れたことにより、ＡＲ画像Ｃが、ＡＲ画像Ａの近傍に表示されている。

【0026】

この状態で、ユーザＵ１がＡＲ画像ＣをＡＲ画像Ｂに向けて移動させたいと考えた場合に、ＡＲ画像Ｂに触れる操作を行うものとする。この際、情報処理装置１は、ユーザＵ１が、Ｚ方向のどの位置にＡＲ画像Ｃを移動させようとしているかを認識することができない。具体的には、二次元画像におけるＡＲ画像Ｂの位置に向かう方向として、図２（ｂ）に矢印画像Ｃ１、Ｃ２、Ｃ３が示すように複数の方向が存在するため、情報処理装置１は、ユーザＵ１が複数の方向のうちどの方向にＡＲ画像Ｃを移動させたいかを認識することができない。

【0027】

図３は、ユーザＵ１が奥行方向の位置を指定することができるようにするための画面の例を示す図である。図３に示す画面の左側には、奥行設定用画像の一例であるスライダー画像ＳＬが表示されている。スライダー画像ＳＬには、黒色で示されたカーソル画像ＣＳが含まれている。ユーザＵ１は、カーソル画像ＣＳをスライダー画像ＳＬの上方に移動させることで、Ｚ方向における奥側の位置を指定することができる。また、ユーザＵ１は、カーソル画像ＣＳをスライダー画像ＳＬの下方に移動させることで、Ｚ方向における手前側の位置を指定することができる。

【0028】

ユーザＵ１は、二次元画像における所望の位置に触れることにより、目標位置の（Ｘ、Ｙ）座標を指定し、スライダー画像ＳＬにおいてカーソル画像ＣＳを移動させて奥行方向のＺ座標を指定することにより、三次元空間における（Ｘ、Ｙ、Ｚ）座標を指定することができる。ユーザＵ１は、例えば、ＡＲ画像Ｂに触れることにより目標位置（図３において目標位置画像Ｇで示す位置）を指定した後にカーソル画像ＣＳを移動させてもよく、カーソル画像ＣＳを移動させてＺ方向の位置を指定した後にＡＲ画像Ｂに触れることにより目標位置を指定してもよい。

【0029】

ＡＲ画像Ｂの（Ｘ、Ｙ）座標が（Ｘ１、Ｙ１）であり、図３（ａ）に示すカーソル画像ＣＳの位置に対応するＺ方向の座標がＺ１である場合、ユーザＵ１が指定した位置は（Ｘ１、Ｙ１、Ｚ１）になる。この位置は、例えば図２（ｂ）における矢印画像Ｃ１の先端の位置に相当する。図３（ｂ）に示すカーソル画像ＣＳの位置に対応するＺ方向の座標がＺ２である場合、ユーザＵ１が指定した位置は（Ｘ１、Ｙ１、Ｚ２）になる。この位置は、例えば図２（ｂ）における矢印画像Ｃ２の先端の位置に相当する。図３（ｃ）に示すカーソル画像ＣＳの位置に対応するＺ方向の座標がＺ３である場合、ユーザＵ１が指定した位置は（Ｘ１、Ｙ１、Ｚ３）になる。この位置は、例えば図２（ｂ）における矢印画像Ｃ１の先端の位置に相当する。

【0030】

情報処理装置１は、このようにしてユーザＵ１が指定した位置に対応する座標を示す座標データを情報端末２に送信する。情報端末２が、受信した座標データに対応する位置にＡＲ画像を表示することで、情報端末２を介して三次元空間又は三次元空間に対応する三次元画像を見るユーザＵ２は、ユーザＵ１が指定した三次元空間上の位置にＡＲ画像を見ることが可能になる。このように動作する情報処理システムＳは、各種の用途に適用することができ、ユーザＵ１及びユーザＵ２が、同じ画面を見ながらゲームをする場合、及び工場で組み立て作業をしているユーザＵ２が装着した情報端末２が撮影した画像をユーザＵ１が遠隔で見ながら、ユーザＵ２に対して三次元空間内での位置を指示したりする場合等に好適である。
以下、情報処理装置１及び情報端末２の構成を詳細に説明する。

【0031】

［情報処理装置１の構成］
図４は、情報処理装置１の構成を示す図である。情報処理装置１は、通信部１１と、表示部１２と、操作部１３と、記憶部１４と、制御部１５と、を有する。制御部１５は、データ取得部１５１と、画像表示部１５２と、操作受付部１５３と、データ送信部１５４と、を有する。

【0032】

通信部１１は、ネットワークＮに接続するための通信インターフェースを有する。通信部１１は、ネットワークＮを介して、情報端末２との間で各種のデータを送受信する。通信部１１は、ネットワークＮを介して受信したデータをデータ取得部１５１に入力し、データ送信部１５４から入力されたデータを情報端末２に向けて送信する。

【0033】

表示部１２は、各種の情報を表示するディスプレイを有する。表示部１２は、例えば画像表示部１５２から入力された画像データに基づく画像を表示する。具体的には、表示部１２は、図３に示したようなメイン画像、サブ画像、及びスライダー画像ＳＬを表示する。

【0034】

操作部１３は、ユーザＵ１が各種の操作を行うためのデバイスであり、例えばマウス及びキーボードを含む。操作部１３は、ユーザＵ１の操作に応じた操作データを操作受付部１５３に入力する。操作データは、例えばマウスの移動量を示すデータ、マウスにおいてクリックされたことを示すデータ、及びキーボードにおいて押されたキーを示すデータである。

【0035】

記憶部１４は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の記憶媒体を有する。記憶部１４は、制御部１５が実行するプログラムを記憶する。また、記憶部１４は、表示部１２に表示される画像データを一時的に記憶する。

【0036】

制御部１５は、例えばＣＰＵ（Central Processing Unit）を有している。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、データ取得部１５１、画像表示部１５２、操作受付部１５３及びデータ送信部１５４として機能する。

【0037】

データ取得部１５１は、通信部１１を介して、情報端末２が送信した画像データを受信する。データ取得部１５１は、例えば、ユーザＵ２が情報端末２を用いて撮影した被写体を含む撮像画像データを受信する。データ取得部１５１が取得する画像データは、例えば二次元画像データであるが、データ取得部１５１は三次元画像データを取得してもよい。データ取得部１５１は、受信した画像データを画像表示部１５２に入力する。

【0038】

データ取得部１５１は、記憶部１４に記憶されている画像データを取得してもよい。データ取得部１５１が記憶部１４から取得する画像データは、アプリケーションソフトウェアを実行することにより表示部１２に表示する画面データであり、例えばゲームの画像データである。

【0039】

画像表示部１５２は、データ取得部１５１から入力された画像データに基づく二次元画像を表示部１２に表示させる。画像表示部１５２は、データ取得部１５１から入力された画像データが二次元画像データである場合、二次元画像データに含まれる複数の画素値に基づく二次元画像を表示部１２に表示させる。画像表示部１５２は、データ取得部１５１から入力された画像データが三次元画像データである場合、三次元画像データに含まれる複数の画素値のうち、特定のＺ座標に対応する（Ｘ、Ｙ）座標に対応する複数の画素値に基づく二次元画像を表示部１２に表示させる。画像表示部１５２は、例えば、情報端末２が画像データを送信した時点におけるユーザＵ２の視線の方向に対応する二次元画像（例えばＺ座標が０の画像）を表示部１２に表示させる。

【0040】

また、画像表示部１５２は、奥行位置を指定するための奥行設定用画像を表示部１２に表示させる。奥行設定用画像は、例えば図３に示したようなスライダー画像ＳＬであるが、奥行位置を指定できる限りにおいて、奥行設定用画像の態様は任意であり、図３に例示した態様のような長方形に限らず、他の形状であってもよい。また、奥行設定用画像は、奥行方向の座標に対応する数値を入力するための画像であってもよい。

【0041】

ところで、奥行設定用画像が表示部１２に表示されるだけでは、ユーザＵ１が、どの程度の位置に奥行設定するのが妥当であるかを把握しづらいという場合が想定される。そこで、画像表示部１５２は、二次元画像において奥行方向の基準位置を示す画像を表示させるとともに、基準位置に対する距離を示す情報を奥行設定用画像とともに表示部１２に表示させてもよい。

【0042】

図５は、基準位置を示す画像の表示例を示す図である。図５においては、スライダー画像ＳＬの左側に、画像Ｔ１、画像Ｔ４、ＡＲ画像Ａ、ＡＲ画像Ｂの奥行方向を示すテキスト画像が表示されている。画像表示部１５２がこのような画像を表示することで、ユーザＵ１は、自身が指定したい奥行方向の位置がどのあたりであるかを把握しやすくなる。

【0043】

画像表示部１５２は、二次元画像に含まれる被写体を、奥行方向と異なる方向から見た状態を示す他視点画像をさらに表示部１２に表示させてもよい。他視点画像データは、例えば情報端末２において視認可能な三次元画像の奥行方向に直交する方向から、三次元画像に対応する空間を見た画像に対応する画像データである。他視点画像データは、三次元画像に対応する空間を上方から見た画像に対応する画像データであってもよい。

【0044】

他視点画像データは、例えば、ユーザＵ２がいる空間を他のカメラで撮影することにより作成された他視点撮像画像データに基づく画像である。他視点撮像画像データは、情報処理装置１が情報端末２から撮像画像データを受信している間に撮影されることにより作成された画像データであってもよく、予め撮影されて作成された画像データであってもよい。

【0045】

他視点画像は、予め記憶部１４に記憶された画像データであってもよい。例えば制御部１５がゲームのアプリケーションソフトウェアを実行する場合、ゲームの制作者が予め複数の視点に対応する複数の画像データを他視点画像データとして作成し、記憶部１４がこれらの複数の他視点画像データを記憶しておいてもよい。

【0046】

図６は、他視点画像の一例を示す図である。図６は、図３に示した画面の右下に他視点画像Ｄを表示した状態を示している。図６に示す他視点画像Ｄは、図６に示す二次元画像に対応する空間を図６の右側から見た状態を示している。ユーザＵ１は、他視点画像Ｄを見ることにより、二次元画像内の各被写体の奥行方向の位置関係を把握することができるので、スライダー画像ＳＬを用いて奥行方向を指定しやすくなる。

【0047】

なお、ユーザＵ１がスライダー画像ＳＬにおいてカーソル画像ＣＳを移動させた際に、奥行方向におけるどの位置を指定しているかをユーザＵ１が把握しやすくするために、画像表示部１５２は、ユーザＵ１によって指定された奥行位置に対応する位置を示す画像を他視点画像に重ねて表示させてもよい。

【0048】

図６（ｂ）は、カーソル画像ＣＳの位置に対応する位置を示すマーカー画像Ｍが他視点画像Ｄに表示された状態を示している。画像表示部１５２は、例えば、他視点画像Ｄの左右方向におけるマーカー画像Ｍの位置が、スライダー画像ＳＬにおけるカーソル画像ＣＳの位置に対応するようにマーカー画像Ｍを表示する。マーカー画像Ｍの態様は図６（ｂ）に示した態様に限らず任意の態様でよく、画像表示部１５２は、他視点画像Ｄにおけるカーソル画像ＣＳに対応する位置を他の位置と異なる色又は異なる輝度で表示してもよい。

【0049】

操作受付部１５３は、二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付ける。図３、図５及び図６に示した例の場合、操作受付部１５３は、スライダー画像ＳＬにおいて選択された位置（すなわちカーソル画像ＣＳの位置）を、指定された奥行位置として受け付ける。操作受付部１５３は、例えば、カーソル画像ＣＳが所定の時間（例えば１秒）以上同じ位置にある場合に、当該位置を、ユーザＵ１が指定した奥行方向の位置として受け付けて、受け付けた位置に対応する奥行方向の座標を特定する。操作受付部１５３は、二次元座標空間における選択位置の座標と、奥行方向の座標とをデータ送信部１５４に通知する。

【0050】

データ送信部１５４は、操作受付部１５３から入力された選択位置の座標を示す選択位置データと、奥行方向の座標を示す奥行位置データとを作成する。データ送信部１５４は、選択位置を示す選択位置データと奥行位置を示す奥行位置データとを関連付けて、二次元画像に対応する三次元画像を表示する情報端末２に送信する。データ送信部１５４は、選択位置データ及び奥行位置データを異なるデータとして送信してもよく、選択位置データ及び奥行位置データが統合されたデータとして送信してもよい。選択位置データ及び奥行位置データが統合されたデータは、例えば（Ｘ０、Ｙ０、Ｚ０）のように、三次元空間における座標を示すデータである。

【0051】

［情報端末２の構成］
図７は、情報端末２の構成を示す図である。情報端末２は、通信部２１と、表示部２２と、操作部２３と、記憶部２４と、制御部２５と、撮像部２６と、を有する。

【0052】

通信部２１、表示部２２、操作部２３、記憶部２４及び制御部２５のそれぞれは、図４に示した通信部１１、表示部１２、操作部１３、記憶部１４及び制御部１５に対応している。通信部２１、表示部２２、操作部２３、記憶部２４及び制御部２５のそれぞれは、通信部１１、表示部１２、操作部１３、記憶部１４及び制御部１５と同等の機能を有していてもよく、他の機能を有していてもよい。

【0053】

ただし、情報端末２が眼鏡型の端末である場合、表示部２２は、表示部１２と異なり、眼鏡のレンズの領域に画像を投影する素子を有していてもよい。また、操作部２３は、操作部１３と異なり、ユーザＵ２の視線を検出する素子を有していており、ユーザＵ２の視線の位置又は動きの少なくともいずれかに基づいてユーザＵ２の操作内容を検出する。

【0054】

撮像部２６は、ユーザＵ２の操作に応じて情報端末２の周辺の被写体を撮影することにより撮像画像データを生成するデバイスであり、例えばカメラである。撮像部２６は、例えば複数の撮像素子を有するステレオカメラであり、三次元画像データを生成することができる。情報端末２が眼鏡型の端末である場合、撮像部２６が有する複数の撮像素子は、例えば２つのレンズの上部の位置に設けられている。撮像部２６は、生成した三次元画像データをデータ送信部２５４に入力する。

【0055】

データ送信部２５４は、例えば、操作受付部２５３を介して入力されたユーザＵ２の指示に応じて、撮像部２６から入力された三次元画像データを、通信部２１を介して情報処理装置１に送信する。データ送信部２５４は、ユーザＵ２から指示を受けた後に、継続して三次元画像データを送信してもよい。すなわち、データ送信部２５４は、三次元の動画像データを送信してもよい。

【0056】

データ受信部２５１は、通信部２１を介して、情報処理装置１が送信した選択位置データ及び奥行位置データを受信する。データ受信部２５１は、受信した選択位置データ及び奥行位置データを表示処理部２５２に入力する。

【0057】

表示処理部２５２は、三次元画像における、情報処理装置１から受信した選択位置データと奥行位置データとにより特定される位置に、所定の画像を表示させる。所定の画像は、例えば操作受付部１５３が受け付けたユーザＵ１の操作に基づいて複数のＡＲ画像から選択されたＡＲ画像である。データ受信部２５１が、ユーザＵ１が行った操作の内容を示す操作データを情報処理装置１から受信し、表示処理部２５２は、当該操作データに基づいて、記憶部２４に記憶されている複数のＡＲ画像から一以上のＡＲ画像を所定の画像として選択してもよい。

【0058】

図８は、表示部２２に表示される画像の一例を示す図である。図８に示す画像は、情報処理装置１を使用するユーザＵ１が、情報処理装置１において図３に示した操作を行った場合に表示部２２に表示される画像である。

【0059】

図３において、ユーザＵ１は、ＡＲ画像Ｃを表示させた状態で、ＡＲ画像Ｂの位置を指定した。その結果、図８においては、ＡＲ画像Ｂの位置にＡＲ画像Ｃが表示されている。このような機能は、ユーザＵ１とユーザＵ２が同じ画面を見ながらＡＲ画像Ｃを動かすゲームをするような場合に好適である。また、ユーザＵ２が作業をしている間に撮影された画像を見ながらユーザＵ１がユーザＵ２に伝えたい位置を示すような場合にも好適である。

【0060】

［情報処理システムＳによる効果］
以上説明したように、情報処理システムＳにおいては、情報処理装置１が、二次元画像において選択された選択位置に対応する奥行方向の位置である奥行位置を指定する操作を受け付けて、選択位置を示す選択位置データと奥行位置を示す奥行位置データとを関連付けて情報端末２に送信する。そして、情報端末２においては、ユーザＵ２が三次元空間又は三次元空間に対応する三次元画像を視認している状態で、ユーザＵ１が情報処理装置１において指定した位置に所定の画像を表示する。以上の構成により、ユーザＵ１が情報処理装置１において二次元画像しか視認できない場合であっても、ユーザＵ２が視認する三次元空間における適切な位置をユーザＵ１が指し示したり、ユーザＵ１が意図した位置に画像を表示させたりすることができる。

【0061】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0062】

１ 情報処理装置
２ 情報端末
１１ 通信部
１２ 表示部
１３ 操作部
１４ 記憶部
１５ 制御部
２１ 通信部
２２ 表示部
２３ 操作部
２４ 記憶部
２５ 制御部
２６ 撮像部
１５１ データ取得部
１５２ 画像表示部
１５３ 操作受付部
１５４ データ送信部
２５１ データ受信部
２５２ 表示処理部
２５３ 操作受付部
２５４ データ送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】