特許 6947213 情報処理装置、情報処理方法、及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6947213

(24)【登録日】2021年9月21日

(45)【発行日】2021年10月13日

(54)【発明の名称】情報処理装置、情報処理方法、及び情報処理プログラム

(51)【国際特許分類】

   H04N 7/15 20060101AFI20210930BHJP

   G06F 13/00 20060101ALI20210930BHJP

   G06F 3/0481 20130101ALI20210930BHJP

【ＦＩ】

   H04N7/15 170

   G06F13/00 650A

   G06F3/0481

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2019-528291(P2019-528291)

(86)(22)【出願日】2017年7月6日

(86)【国際出願番号】JP2017024856

(87)【国際公開番号】WO2019008732

(87)【国際公開日】20190110

【審査請求日】2019年11月8日

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】村川 賀彦

(72)【発明者】

【氏名】岡林 桂樹

(72)【発明者】

【氏名】宇山 政志

(72)【発明者】

【氏名】田中 秀樹

(72)【発明者】

【氏名】中島 健次

(72)【発明者】

【氏名】陳 彬

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２０１４−１１５７１１（ＪＰ，Ａ）

【文献】 特開２０１７−０２７３３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１４−７／１５

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

第１及び第２の装置の画面に表示させるコンテンツを共有させる情報処理装置であって、
前記第１の装置がコンテンツの一部を表示するとき、前記第１の装置に表示されているコンテンツのうち、前記コンテンツの一部が前記第２の装置を操作するユーザの位置から前記ユーザの手が届く範囲内で操作可能な位置にあるか否かを判定し、判定結果に基づいて、前記第１の装置に対し、前記ユーザが操作可能な位置に存在することを示す画像を表示させる、
処理を実行する処理部を備える情報処理装置。

【請求項2】

前記処理部は、前記第２の装置に表示されているコンテンツを基準とする座標で前記ユーザの位置を算出し、算出した前記位置を利用して、前記画像を前記第１の装置に拡大又は縮小されて表示されているコンテンツの大きさに対応しない前記第２の装置側の大きさで表示させる、
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記処理部は、前記ユーザの手が届く範囲内のコンテンツを基準とする座標で前記ユーザの位置を算出し、算出した前記位置を利用して、前記第１の装置を操作するユーザの手が届く範囲内のコンテンツの近傍に前記画像を表示させる、
ことを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記処理部は、複数の前記画像を表示させる場合、複数の前記画像の重心若しくは加重平均に基づいて複数の前記画像を集約した表示位置を決定し、又は予め設定した位置を複数の前記画像を集約した表示位置に決定する、
ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

第１及び第２の装置の画面に表示させるコンテンツを共有させる情報処理方法であって、
前記第１の装置がコンテンツの一部を表示するとき、前記第１の装置に表示されているコンテンツのうち、前記コンテンツの一部が前記第２の装置を操作するユーザの位置から前記ユーザの手が届く範囲内で操作可能な位置にあるか否かを判定し、判定結果に基づいて、前記第１の装置に対し、前記ユーザが操作可能な位置に存在することを示す画像を表示させる、
処理をコンピュータが実行する情報処理方法。

【請求項6】

第１及び第２の装置の画面に表示させるコンテンツを共有させる情報処理方法であって、
前記第１の装置がコンテンツの一部を表示するとき、前記第１の装置に表示されているコンテンツのうち、前記コンテンツの一部が前記第２の装置を操作するユーザの位置から前記ユーザの手が届く範囲内で操作可能な位置にあるか否かを判定し、判定結果に基づいて、前記第１の装置に対し、前記ユーザが操作可能な位置に存在することを示す画像を表示させる、
処理をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本件は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

【背景技術】

【0002】

カメラ付きプロジェクタを用いて、ホワイトボードに対する書き込み操作とポインティング操作の様子を遠隔地に通知する電子会議システムが知られている（例えば、特許文献１参照）。また、左側のディスプレイの表示画面と右側のディスプレイの表示画面とが並べられた全体画面に１つのコンテンツ画像（以下、単にコンテンツという）を表示させるマルチディスプレイシステムも知られている（例えば、特許文献２参照）。

【0003】

さらに、ある拠点のディスプレイの前にいるユーザの位置を計測し、別の拠点のディスプレイの画面上にそのユーザの画像をその位置で表示する技術も知られている（例えば、非特許文献１参照）。これにより、各拠点のユーザはそれぞれの拠点のディスプレイに表示された共有画面内の指示対象を相手側に的確に伝えることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−１０９５６５号公報

【特許文献2】国際公開第２０１６／１４７３７３号

【非特許文献】

【0005】

【非特許文献1】ケイタ・ヒグチ（Keita Higuchi）、外４名、「イマースボード：イマーシブ・テレプレゼンス・エクスペリエンス・ユージング・ア・デジタル・ホワイトボード（ImmerseBoard: Immersive Telepresense Experience using a Digital Whiteboard）」、プロシーディングス・オブ・ザ・エーシーエム・エスアイジーシーエイチアイ・カンファレンス・オン・ヒューマン・ファクターズ・イン・コンピューティング・システムズ（シーエイチアイ）（Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems(CHI)）、２０１５年、ｐ．２３８３−２３９２

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した技術は同じサイズの画面を共有する場合を開示しているにすぎない。例えば一方の拠点のユーザがディスプレイに表示された画面を拡大する操作を行うと、他方の拠点のユーザの画像が一方の拠点のディスプレイに表示された画面内から外れ、その画像が画面内に出現しないという問題がある。

【0007】

そこで、１つの側面では、複数の装置でコンテンツを共有する場合に、コンテンツを操作可能な位置におけるユーザの存在を判別できる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

１つの実施態様では、第１及び第２の装置の画面に表示させるコンテンツを共有させる情報処理装置であって、前記第１の装置がコンテンツの一部を表示するとき、前記第１の装置に表示されているコンテンツのうち、前記コンテンツの一部が前記第２の装置を操作するユーザの位置から前記ユーザの手が届く範囲内で操作可能な位置にあるか否かを判定し、判定結果に基づいて、前記第１の装置に対し、前記ユーザが操作可能な位置に存在することを示す画像を表示させる、処理を実行する処理部を備える情報処理装置である。

【発明の効果】

【0009】

複数の装置でコンテンツを共有する場合に、コンテンツを操作可能な位置におけるユーザの存在を判別することができる。

【図面の簡単な説明】

【0010】

【図1】図１は情報処理システムの一例である。

【図2】図２は第１のコンテンツ表示装置の構成の一例である。

【図3】図３はサーバ装置のハードウェア構成の一例である。

【図4】図４はサーバ装置のブロック図の一例である。

【図5】図５は計測側制御部の動作の一例を示すフローチャートである。

【図6】図６は計測側の座標変換を説明するための図である。

【図7】図７（ａ）及び（ｂ）は計測側と表示側の画面共有を説明するための図である。

【図8】図８は表示側制御部の動作の一例を示すフローチャートである。

【図9】図９は計測側の座標変換を説明するための図である。

【図10】図１０（ａ）及び（ｂ）はウィンドウを拡大せずにコンテンツの全部を表示した場合の影画像の表示例である。

【図11】図１１（ａ）及び（ｂ）はウィンドウを拡大してコンテンツの一部を表示した場合の影画像の表示例である。

【図12】図１２（ａ）及び（ｂ）はウィンドウを拡大してコンテンツの一部を表示した場合の影画像の表示例である。

【図13】図１３（ａ）及び（ｂ）はウィンドウを拡大してコンテンツの一部を表示した場合の影画像の表示例である。

【図14】図１４（ａ）及び（ｂ）はウィンドウを拡大してコンテンツの一部を表示した場合の影画像の表示例である。

【図15】図１５は表示側制御部の一部の動作の一例を示すフローチャートである。

【図16】図１６（ａ）及び（ｂ）は影画像の集約例を説明するための図である。

【図17】図１７（ａ）から（ｃ）は集約時に利用する種々の重み関数の一例である。

【図18】図１８（ａ）及び（ｂ）は影画像の集約例を説明するための他の図である。

【図19】図１９（ａ）及び（ｂ）は影画像の集約例を説明するための他の図である。

【発明を実施するための形態】

【0011】

以下、本件を実施するための形態について図面を参照して説明する。

【0012】

（第１実施形態）
図１は情報処理システム１０の一例である。情報処理システム１０は第１のコンテンツ表示装置１１と第２のコンテンツ表示装置１２と情報処理装置としてのサーバ装置１３とを備えている。

【0013】

第１のコンテンツ表示装置１１及び第２のコンテンツ表示装置１２はいずれもコンテンツを画面に表示させる装置である。第１のコンテンツ表示装置１１は例えば拠点Ｐに設置され、第２のコンテンツ表示装置１２は例えば拠点Ｐと異なる拠点Ｑに設置される。一方、サーバ装置１３は第１のコンテンツ表示装置１１及び第２のコンテンツ表示装置１２の動作を制御する装置である。サーバ装置１３は拠点Ｐ及び拠点Ｑと異なる拠点に設置されてもよいし、拠点Ｐと拠点Ｑのいずれか一方に設置されてもよい。第１のコンテンツ表示装置１１、第２のコンテンツ表示装置１２及びサーバ装置１３は通信ネットワークＮＷにより互いに接続されている。通信ネットワークＮＷとしてはLocal Area Network（ＬＡＮ）やインターネットなどがある。

【0014】

次に、図２を参照して、上述した第１のコンテンツ表示装置１１の詳細な構成について説明する。尚、第２のコンテンツ表示装置１２の詳細な構成については基本的に第１のコンテンツ表示装置１１と同様であるため説明を省略する。

【0015】

図２は第１のコンテンツ表示装置１１の構成の一例である。図２に示すように、第１のコンテンツ表示装置１１はプロジェクタ１００，１０１と赤外線カメラ２００，２０１とライブカメラ２１０と電子ペン３００とを備えている。プロジェクタ１００，１０１と赤外線カメラ２００，２０１とライブカメラ２１０とは有線又は無線により互いに接続されている。

【0016】

プロジェクタ１００はテーブル２０上の表示画面２１内に共有アプリを表示する表示領域（以下、ウィンドウという）２２を表示し、表示したウィンドウ２２内に操作可能な種々のコンテンツ２３を表示する。表示画面２１はプロジェクタ１００がウィンドウ２２を表示できる領域である。共有アプリとしては、例えば模造紙を実現するアプリケーションソフトウェアや作業者個人のノートを実現するアプリケーションソフトウェアなどがある。一方、プロジェクタ１０１は壁面やスクリーンなど（以下、単に壁面という）２４上の表示画面２５内にウィンドウ２６を表示し、表示したウィンドウ２６内に操作可能な種々のコンテンツ２７を表示する。表示画面２５はプロジェクタ１０１がウィンドウ２６を表示できる領域である。尚、図２に示すコンテンツ２３，２７としては、例えば付箋、写真、グラフ、アイコンなどがある。コンテンツ２３，２７は予め定められた大きさ又はユーザ３０が指定した大きさで表示される。

【0017】

電子ペン３００は先端に赤外線を発光する発光素子を備えている。電子ペン３００の電源が投入されると発光素子は発光する。例えばユーザ３０が発光した電子ペン３００を用いて表示画面２５内で矩形を描く行動をとると、赤外線カメラ２０１はその赤外線の軌跡を撮像する。例えばユーザ３０が発光した電子ペン３００を用いてウィンドウ２６を拡大させると、赤外線カメラ２０１はその赤外線の軌跡を撮像する。一方、ライブカメラ２１０は各ユーザ３０を含む撮像領域内を撮像する。ライブカメラ２１０としては例えばビデオカメラなどがある。ライブカメラ２１０は撮像領域内の画像（以下、撮像画像という）を定期的にサーバ装置１３に送信する。

【0018】

サーバ装置１３はプロジェクタ１００，１０１の動作を制御する。例えば、サーバ装置１３が上述した赤外線の軌跡を赤外線カメラ２０１から受け付けると、サーバ装置１３は受け付けた赤外線の軌跡を判定し、判定結果に応じて、プロジェクタ１０１にコンテンツ２７を表示させたり、ウィンドウ２６の大きさを拡大して表示したりする。例えば、サーバ装置１３が拠点Ｑの撮像画像を第２のコンテンツ表示装置１２が備えるライブカメラから受け付けると、サーバ装置１３は受け付けた撮像画像に基づいて拠点Ｑのユーザの位置座標を算出する。サーバ装置１３は拠点Ｑのユーザの位置座標を算出すると、算出した位置座標に対応する表示画面２５内の位置に拠点Ｑのユーザの影画像４０をプロジェクタ１０１に表示させる。これにより、拠点Ｐのユーザ３０は拠点Ｑのユーザが操作対象として指示したコンテンツ２７を確認できる。尚、影画像４０は拠点Ｑのユーザの影に相当する画像であり例えば黒色で表されるが、影画像４０の色は黒色に限定されず、赤や青などの有色であってもよい。また、影画像４０に代えて拠点Ｑのユーザを模した画像などであってもよい。

【0019】

次に、図３を参照して、サーバ装置１３のハードウェア構成について説明する。

【0020】

図３はサーバ装置１３のハードウェア構成の一例である。図３に示すように、サーバ装置１３は、少なくともプロセッサとしてのCentral Processing Unit（ＣＰＵ）１３０Ａ、Random Access Memory（ＲＡＭ）１３０Ｂ、Read Only Memory（ＲＯＭ）１３０Ｃ及びネットワークインタフェース（以下、Ｉ／Ｆと表記）１３０Ｄを含んでいる。サーバ装置１３は、必要に応じて、Hard Disk Drive（ＨＤＤ）１３０Ｅ、入力Ｉ／Ｆ１３０Ｆ、出力Ｉ／Ｆ１３０Ｇ、入出力Ｉ／Ｆ１３０Ｈ、ドライブ装置１３０Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ１３０Ａからドライブ装置１３０Ｉまでは、内部バス１３０Ｊによって互いに接続されている。少なくともＣＰＵ１３０ＡとＲＡＭ１３０Ｂとが協働することによってコンピュータが実現される。尚、ＣＰＵ１３０Ａに代えてMicro Processing Unit（ＭＰＵ）をプロセッサとして利用してもよい。

【0021】

入力Ｉ／Ｆ１３０Ｆには、入力装置７１０が接続される。入力装置７１０としては、例えばキーボードやマウスなどがある。出力Ｉ／Ｆ１３０Ｇには、表示装置７２０が接続される。表示装置７２０としては、例えば液晶ディスプレイがある。入出力Ｉ／Ｆ１３０Ｈには、半導体メモリ７３０が接続される。半導体メモリ７３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ１３０Ｈは、半導体メモリ７３０に記憶されたプログラムやデータを読み取る。入力Ｉ／Ｆ１３０Ｆ及び入出力Ｉ／Ｆ１３０Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ１３０Ｇは、例えばディスプレイポートを備えている。

【0022】

ドライブ装置１３０Ｉには、可搬型記録媒体７４０が挿入される。可搬型記録媒体７４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置１３０Ｉは、可搬型記録媒体７４０に記録されたプログラムやデータを読み込む。ネットワークＩ／Ｆ１３０Ｄは、例えばＬＡＮポートを備えている。ネットワークＩ／Ｆ１３０Ｄは上述した通信ネットワークＮＷと接続される。

【0023】

上述したＲＡＭ１３０Ｂには、ＲＯＭ１３０ＣやＨＤＤ１３０Ｅに記憶されたプログラムがＣＰＵ１３０Ａによって格納される。ＲＡＭ１３０Ｂには、可搬型記録媒体７４０に記録されたプログラムがＣＰＵ１３０Ａによって格納される。格納されたプログラムをＣＰＵ１３０Ａが実行することにより、後述する各種の機能が実現され、また、後述する各種の処理が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。

【0024】

次に、図４を参照して、サーバ装置１３の機能構成について説明する。

【0025】

図４はサーバ装置１３のブロック図の一例である。図４に示すように、サーバ装置１３は処理部としての計測側制御部１３１と表示側制御部１３２とを備えている。本実施形態では、計測側制御部１３１と表示側制御部１３２とを１台のサーバ装置１３が備えているが、計測側制御部１３１をサーバ装置１３が備え、表示側制御部１３２を別のサーバ装置（不図示）が備えていてもよい。この場合、計測側制御部１３１を備えるサーバ装置１３を拠点Ｑに配置し、表示側制御部１３２を備える別のサーバ装置を拠点Ｐに配置してもよい。

【0026】

計測側制御部１３１は送受信部１５１、位置算出部１５２、座標変換部１５３、及び画像表示部１５４を備えている。表示側制御部１３２は送受信部１６１、位置算出部１６２、座標変換部１６３、及び画像表示部１６４を備えている。尚、送受信部１５１，１６１は例えば上述したネットワークＩ／Ｆ１３０Ｄによって実現される。位置算出部１５２，１６２、座標変換部１５３，１６３、及び画像表示部１５４，１６４は例えば上述したＣＰＵ１３０Ａ及びＲＡＭ１３０Ｂによって実現される。

【0027】

まず、計測側制御部１３１について説明する。

【0028】

送受信部１５１は送受信部１６１及び第２のコンテンツ表示装置１２と位置算出部１５２、座標変換部１５３、及び画像表示部１５４との通信を制御する。具体的には、送受信部１５１は送受信部１６１や第２のコンテンツ表示装置１２から送信された各種の情報を受信する。そして、送受信部１５１は受信した情報の種別に応じて、その情報を位置算出部１５２、座標変換部１５３、又は画像表示部１５４に出力する。また、送受信部１５１は位置算出部１５２、座標変換部１５３、又は画像表示部１５４から出力された各種の情報を受け付ける。そして、送受信部１５１は受け付けた情報の種別に応じて、その情報を送受信部１６１又は第２のコンテンツ表示装置１２に送信する。

【0029】

位置算出部１５２は送受信部１５１から出力された情報を受け付けると、受け付けた情報に基づいて拠点Ｑのユーザ（以下、計測側ユーザという）の位置座標を算出する。例えば、位置算出部１５２は第２のコンテンツ表示装置１２が備えるライブカメラ（不図示）が撮像した撮像画像を受け付けると、拠点Ｑの表示画面の左上隅を原点とする平面な座標系（以下、画面座標系という）における計測側ユーザの頭部や指先、重心などの位置座標を算出する。

【0030】

座標変換部１５３は送受信部１５１から出力された情報を受け付けると、受け付けた情報に基づいて、拠点Ｑの画面座標系における計測側ユーザの位置座標を、ウィンドウの左上隅を原点とする平面な座標系（ウィンドウ座標系という）における計測側ユーザの位置座標に変換する。また、座標変換部１５３は、ウィンドウ座標系における計測側ユーザの位置座標を、コンテンツの左上隅を原点とする平面な座標系（以下、コンテンツ座標系という）における計測側ユーザの位置座標に変換する。

【0031】

画像表示部１５４は送受信部１５１から出力された情報を受け付けると、受け付けた情報に基づいて、種々の情報処理を実行する。例えば、画像表示部１５４は画面座標系における計測側ユーザの位置から計測側ユーザの手の届く範囲を表す所定距離以内にあるウィンドウを第２のコンテンツ表示装置１２に問い合わせる。例えば、画像表示部１５４は拠点Ｐのユーザ（以下、表示側ユーザという）の影画像（不図示）を拠点Ｑの壁面などに表示する。

【0032】

次に、表示側制御部１３２について説明する。

【0033】

送受信部１６１は送受信部１５１及び第１のコンテンツ表示装置１１と位置算出部１６２、座標変換部１６３、及び画像表示部１６４との通信を制御する。具体的には、送受信部１６１は送受信部１５１や第１のコンテンツ表示装置１１から送信された各種の情報を受信する。そして、送受信部１６１は受信した情報の種別に応じて、その情報を位置算出部１６２、座標変換部１６３、又は画像表示部１６４に出力する。また、送受信部１６１は位置算出部１６２、座標変換部１６３、又は画像表示部１６４から出力された各種の情報を受け付ける。そして、送受信部１６１は受け付けた情報の種別に応じて、その情報を送受信部１５１又は第１のコンテンツ表示装置１１に送信する。

【0034】

位置算出部１６２は送受信部１６１から出力された情報を受け付けると、受け付けた情報に基づいて表示側ユーザ３０の位置座標を算出する。例えば、位置算出部１６２は第１のコンテンツ表示装置１１が備えるライブカメラ２１０が撮像した撮像画像を受け付けると、拠点Ｐの画面座標系における表示側ユーザ３０の頭部や指先、重心などの位置座標を算出する。

【0035】

座標変換部１６３は送受信部１６１から出力された情報を受け付けると、受け付けた情報に基づいて、拠点Ｐの画面座標系における表示側ユーザ３０の位置座標を、拠点Ｐのウィンドウ座標系における表示側ユーザ３０の位置座標に変換する。また、座標変換部１６３は、拠点Ｐのウィンドウ座標系における表示側ユーザ３０の位置座標を、拠点Ｐのコンテンツ座標系における表示側ユーザ３０の位置座標に変換する。

【0036】

画像表示部１６４は送受信部１５１から出力された情報を受け付けると、受け付けた情報に基づいて、種々の情報処理を実行する。例えば、画像表示部１６４は画面座標系における計測側ユーザの位置から計測側ユーザの手の届く範囲を表す所定距離以内にあるウィンドウを第１のコンテンツ表示装置１１に問い合わせる。例えば、画像表示部１６４は計測側ユーザの影画像４０を拠点Ｐの壁面２４などに表示する。

【0037】

次に、情報処理システム１０の動作について説明する。

【0038】

図５は計測側制御部１３１の動作の一例を示すフローチャートである。図６は計測側の座標変換を説明するための図である。図７（ａ）及び（ｂ）は計測側と表示側の画面共有を説明するための図である。

【0039】

まず、図５に示すように、位置算出部１５２は計測側ユーザの位置座標を算出する（ステップＳ１０１）。より詳しくは、位置算出部１５２は第２のコンテンツ表示装置１２のライブカメラが撮像した撮像画像を受け付けると、撮像画像から拠点Ｑの表示画面内に含まれる計測側ユーザの画面座標系における位置座標を算出する。例えば、図６に示すように、位置算出部１５２が撮像画像を受け付けると、位置算出部１５２は左上隅を原点Ｏ^ｓ１とする表示画面５５の画面座標系ｓ１における計測側ユーザの位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）を算出する。

【0040】

ステップＳ１０１の処理が完了すると、次いで、画像表示部１５４は位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）から所定距離（例えば半径１メートル）の範囲内にあるウィンドウを第２のコンテンツ表示装置１２に問い合わせる（ステップＳ１０２）。そして、画像表示部１５４は位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）から所定距離の範囲内にウィンドウがあるか否かを判定する（ステップＳ１０３）。位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）から所定距離の範囲内にウィンドウがない場合（ステップＳ１０３：ＮＯ）、画像表示部１５４は後続の処理をスキップして、処理を終える。

【0041】

一方、位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）から所定距離の範囲内にウィンドウがある場合（ステップＳ１０３：ＹＥＳ）、画像表示部１５４は位置座標Ｄ^ｓ１から所定距離の範囲内にある全てのウィンドウにそれぞれに表示されている共有アプリにコンテンツの位置を問い合わせる（ステップＳ１０４）。例えば、図７（ａ）及び（ｂ）に示すように、拠点Ｑを表す計測側と拠点Ｐを表す表示側で表示画面５５，２５が共有されている場合、計測側のウィンドウ５６はその一部が計測側ユーザ３２の位置座標Ｄ^ｓ１から所定距離の範囲Ｒ内に含まれている。一方で、計測側のウィンドウ５６´はその所定距離の範囲Ｒ内に含まれていない。このような場合、画像表示部１５４はウィンドウ５６に表示されている共有アプリにコンテンツ５７ａ，５７ｂ，５７ｃの位置を問い合わせる。

【0042】

ステップＳ１０４の処理が完了すると、次いで、画像表示部１５４は問い合わせた結果に基づいて共有アプリから回答された全てのコンテンツの位置から位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）から所定距離の範囲内にあるコンテンツを特定する（ステップＳ１０５）。そして、画像表示部１５４はコンテンツを特定できたか否かを判定する（ステップＳ１０６）。コンテンツを特定できなかった場合（ステップＳ１０６：ＮＯ）、画像表示部１５４は後続の処理をスキップして、処理を終える。

【0043】

一方、コンテンツを特定できた場合（ステップＳ１０６：ＹＥＳ）、座標変換部１５３は計測側ユーザの位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）を変換する（ステップＳ１０７）。例えば、図７（ａ）に示すように、コンテンツ５７ａ，５７ｂが位置座標Ｄ^ｓ１から所定距離の範囲Ｒ内に含まれており、コンテンツ５７ｃが位置座標Ｄ^ｓ１から所定距離の範囲Ｒ内に含まれていない場合、画像表示部１５４はコンテンツ５７ａ，５７ｂを特定する。そして、座標変換部１５３は位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）を、画像表示部１５４が特定したコンテンツ５７ａのコンテンツ座標系ｃ１における位置座標Ｃ^ｃ１（Ｃ_ｘ^ｃ１，Ｃ_ｙ^ｃ１）と、コンテンツ５７ｂのコンテンツ座標系ｃ２における位置座標Ｃ^ｃ２（Ｃ_ｘ^ｃ２，Ｃ_ｙ^ｃ２）のに変換する。

【0044】

より詳しく説明すると、座標変換部１５３はアフィン変換を利用する以下の変換式（１）に基づいて、図６に示すように、画面座標系ｓ１における計測側ユーザの位置座標Ｄ^ｓ１（Ｄ_ｘ^ｓ１，Ｄ_ｙ^ｓ１）を、ウィンドウ座標系ｗ１における計測側ユーザの位置座標Ｗ^ｗ１（Ｗ_ｘ^ｗ１，Ｗ_ｙ^ｗ１）に変換する。尚、回転角θはウィンドウ５６の回転角度を表しており、座標（ａ_ｘ，ａ_ｙ）は画面座標系ｓ１におけるウィンドウ５６の左上隅の座標Ｏ^ｗ１を表している。
＜変換式（１）＞

【0045】

次に、座標変換部１５３は以下の変換式（２）に基づいて、ウィンドウ座標系ｗ１における計測側ユーザの位置座標Ｗ^ｗ１（Ｗ_ｘ^ｗ１，Ｗ_ｙ^ｗ１）を、コンテンツ座標系ｃ１における計測側ユーザの位置座標Ｃ^ｃ１（Ｃ_ｘ^ｃ１，Ｃ_ｙ^ｃ１）に変換する。尚、座標（ｂ_ｘ，ｂ_ｙ）はウィンドウ座標系ｗ１におけるコンテンツ５４の左上隅の座標Ｏ^ｃ１を表している。また、座標変換部１５３は同様の手法によりウィンドウ座標系ｗ１における計測側ユーザの位置座標Ｗ^ｗ１（Ｗ_ｘ^ｗ１，Ｗ_ｙ^ｗ１）を、コンテンツ座標系ｃ２における計測側ユーザの位置座標Ｃ^ｃ２（Ｃ_ｘ^ｃ２，Ｃ_ｙ^ｃ２）に変換することができる。
＜変換式（２）＞

【0046】

図５に戻り、ステップＳ１０７の処理が完了すると、送受信部１５１は位置座標Ｃ^ｃ１（Ｃ_ｘ^ｃ１，Ｃ_ｙ^ｃ１）を、共有アプリを識別するアプリＩＤ及びコンテンツを識別するコンテンツＩＤと併せて送受信部１６１に送信し（ステップＳ１０８）、処理を終える。尚、送受信部１５１は位置座標Ｃ^ｃ２（Ｃ_ｘ^ｃ２，Ｃ_ｙ^ｃ２）についても同様に送信する。

【0047】

図８は表示側制御部１３１の動作の一例を示すフローチャートである。図９は計測側の座標変換を説明するための図である。図１０（ａ）及び（ｂ）はウィンドウ２６を拡大せずにコンテンツ２７ａ，２７ｂ，２７ｃの全部を表示した場合の影画像４０の表示例である。

【0048】

まず、図８に示すように、座標変換部１６３はコンテンツ座標系における計測側ユーザの位置座標を変換する（ステップＳ２０１）。具体的には、座標変換部１６３は送受信部１５１から送信されて送受信部１６１が受信した位置座標Ｃ^ｃ１（Ｃ_ｘ^ｃ１，Ｃ_ｙ^ｃ１）を、画面座標系ｓ２における位置座標Ｄ^ｓ２（Ｄ_ｘ^ｓ２，Ｄ_ｙ^ｓ２）に変換する。

【0049】

より詳しく説明すると、座標変換部１６３は以下の変換式（３）に基づいて、図９に示すように、コンテンツ座標系ｃ１における計測側ユーザの位置座標Ｃ^ｃ１（Ｃ_ｘ^ｃ１，Ｃ_ｙ^ｃ１）を、ウィンドウ座標系ｗ２における計測側ユーザの位置座標Ｗ^ｗ２（Ｗ_ｘ^ｗ２，Ｗ_ｙ^ｗ２）に変換する。尚、座標（ｇ_ｘ，ｇ_ｙ）はウィンドウ座標系ｗ２におけるコンテンツ２７ａの左上隅の座標Ｏ^ｃ１を表している。
＜変換式（３）＞

【0050】

次に、座標変換部１６３は逆アフィン変換を利用する以下の変換式（４）に基づいて、ウィンドウ座標系ｗ２における計測側ユーザの位置座標Ｗ^ｗ２（Ｗ_ｘ^ｗ２，Ｗ_ｙ^ｗ２）を、画面座標系ｓ２における計測側ユーザの位置座標Ｄ^ｓ２（Ｄ_ｘ^ｓ２，Ｄ_ｙ^ｓ２）に変換する。尚、回転角φはウィンドウ座標系ｗ２の回転角度を表しており、座標（ｈ_ｘ，ｈ_ｙ）は画面座標系ｓ２におけるウィンドウの左上隅の原点座標Ｏ^ｗ２を表している。
＜変換式（４）＞

【0051】

尚、上述した変換式（３）については以下の変換式（３´）に変更してもよい。これにより、影画像の物理的な大きさを両拠点Ｐ，Ｑで同じにできる。
＜変換式（３´）＞

【0052】

ステップＳ２０１の処理が完了すると、次いで、位置算出部１６２は表示側ユーザの位置座標を算出する（ステップＳ２０２）。より詳しくは、位置算出部１６２は第１のコンテンツ表示装置１１のライブカメラ２１０が撮像した撮像画像を受け付けると、撮像画像から拠点Ｐの表示画面１５内に含まれる表示側ユーザ３０の画面座標系ｓ２における位置座標を算出する。例えば、図９に示すように、位置算出部１６２が撮像画像を受け付けると、位置算出部１６２は左上隅を原点Ｏ^ｓ２とする表示画面１５の画面座標系ｓ２における表示側ユーザ３０の位置座標Ｅ^ｓ２（Ｅ_ｘ^ｓ２，Ｅ_ｙ^ｓ２）を算出する。

【0053】

ステップＳ２０２の処理が完了すると、次いで、画像表示部１６４は位置座標Ｅ^ｓ２（Ｅ_ｘ^ｓ２，Ｅ_ｙ^ｓ２）から所定距離の範囲内にあるウィンドウを第１のコンテンツ表示装置１１に問い合わせる（ステップＳ２０３）。そして、画像表示部１６４は位置座標Ｅ^ｓ２（Ｅ_ｘ^ｓ２，Ｅ_ｙ^ｓ２）から所定距離の範囲内にウィンドウがあるか否かを判定する（ステップＳ２０４）。位置座標Ｅ^ｓ２（Ｅ_ｘ^ｓ２，Ｅ_ｙ^ｓ２）から所定距離の範囲内にウィンドウがない場合（ステップＳ２０４：ＮＯ）、画像表示部１６４は後続の処理をスキップして、処理を終える。

【0054】

一方、位置座標Ｅ^ｓ２（Ｅ_ｘ^ｓ２，Ｅ_ｙ^ｓ２）から所定距離の範囲内にウィンドウがある場合（ステップＳ２０４：ＹＥＳ）、画像表示部１６４は位置座標Ｅ^ｓ２から所定距離の範囲内にある全てのウィンドウにそれぞれに表示されている共有アプリにコンテンツの位置を問い合わせる（ステップＳ２０５）。例えば、図７（ｂ）に示すように、表示側のウィンドウ２６はその一部が表示側ユーザ３０の位置座標Ｅ^ｓ２から所定距離の範囲Ｒ´内に含まれている。一方で、表示側のウィンドウ２６´はその所定距離の範囲Ｒ´内に含まれていない。このような場合、画像表示部１６４はウィンドウ２６に表示されている共有アプリにコンテンツ２７ａ，２７ｂ，２７ｃの位置を問い合わせる。

【0055】

ステップＳ２０５の処理が完了すると、次いで、画像表示部１５４は問い合わせた結果に基づいて共有アプリから回答された全てのコンテンツの位置から位置座標Ｅ^ｓ２（Ｅ_ｘ^ｓ２，Ｅ_ｙ^ｓ２）から所定距離の範囲内にあるコンテンツを特定する（ステップＳ２０６）。そして、画像表示部１５４はコンテンツを特定できたか否かを判定する（ステップＳ２０７）。コンテンツを特定できなかった場合（ステップＳ２０７：ＮＯ）、画像表示部１６４は後続の処理をスキップして、処理を終える。

【0056】

一方、コンテンツを特定できた場合（ステップＳ２０７：ＹＥＳ）、画像表示部１６４は特定したコンテンツを選択し（ステップＳ２０８）、影画像を表示する（ステップＳ２０９）。これにより、図１０（ａ）及び（ｂ）に示すように、選択したコンテンツ２７ａ，２７ｂの近傍に影画像が表示される。より詳しく説明すると、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にあるコンテンツ５７ａ，５７ｂに対応するコンテンツ２７ａ，２７ｂに対して影画像４０が表示される。一方で、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にないウィンドウ５６´に対応するウィンドウ２６´やコンテンツ５６ｃに対応するコンテンツ２７ｃに対しては影画像が表示されない。このように、画像表示部１６４は影画像４０を共有アプリ単位及びコンテンツ単位で表示する。これにより、拠点Ｐの表示側ユーザ３０は拠点Ｑの計測側ユーザ３２が操作対象として指示する予定のコンテンツ５７ａ，５７ｂを影画像４０により確認することができる。

【0057】

以下、図１１（ａ）及び（ｂ）から図１４（ａ）及び（ｂ）を参照して、影画像４０の様々な表示例について説明する。

【0058】

図１１（ａ）及び（ｂ）から図１４（ａ）及び（ｂ）はウィンドウ２６を拡大してコンテンツ２７ａ，２７ｂ，２７ｃの一部を表示した場合の影画像４０の表示例である。まず、図１１（ａ）に示すように、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にコンテンツ５７ａが含まれている場合、図１１（ｂ）に示すように、画像表示部１６４はコンテンツ５７ａに対応するコンテンツ２７ａの近傍に影画像４０を表示する。特に、画像表示部１６４は、表示画面５５の表示位置と計測側ユーザ３２の位置座標Ｄ^ｓ１との位置関係やウィンドウ５６の表示位置と計測側ユーザ３２の位置座標Ｄ^ｗ１との位置関係を利用せず、コンテンツ５７ａの表示位置と計測側ユーザ３２の位置座標Ｄ^ｃ１との位置関係を利用して影画像４０をコンテンツ２７ａの近傍に表示する。このため、ウィンドウ２６が拡大されても、影画像４０が表示画面５５に出現しなくなる問題が回避される。尚、詳細は後述するが、図１１（ｂ）に示す場合、表示側ユーザ３０の手が届く所定距離の範囲Ｒ´外のコンテンツ２７ａに対し影画像４０が表示される。

【0059】

次に、図１２（ａ）に示すように、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にコンテンツ５７ａ，５７ｂ，５７ｃが含まれている場合、図１２（ｂ）に示すように、画像表示部１６４はコンテンツ５７ａに対応するコンテンツ２７ａの近傍とコンテンツ５７ｃに対応するコンテンツ２７ｃの近傍のそれぞれに影画像４０を表示する。一方、コンテンツ５７ｂに対応するコンテンツ２７ｂについてはウィンドウ２６の拡大により表示画面２５の表示対象から外れる。このような場合、画像表示部１６４はコンテンツ２７ｂに対応する影画像４０を表示しない。このように、ウィンドウ２６が拡大されてコンテンツ２７ｂが表示画面２５から外れても、コンテンツ２７ａ，２７ｃについての各影画像４０が表示画面５５に出現しなくなる問題が回避される。

【0060】

次に、図１３（ａ）に示すように、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にコンテンツ５７ａ，５７ｂ，５７ｃが含まれている場合、図１３（ｂ）に示すように、画像表示部１６４はコンテンツ５７ｃに対応する、表示側ユーザ３０の手が届く所定距離の範囲Ｒ´内にあるコンテンツ２７ｃに限定して、コンテンツ２７ｃの近傍に影画像４０を表示してもよい。すなわち、上述した図１１（ｂ）及び図１２（ｂ）の表示例では、表示側ユーザ３０の手が届かないコンテンツ２７ａについても画像表示部１６４は影画像４０を表示したが、図１３（ｂ）に示すように、表示側ユーザ３０の手が届かないコンテンツ２７ａについて画像表示部１６４は影画像４０を表示しなくてもよい。表示側ユーザ３０はコンテンツ２７ａに手が届かないため、コンテンツ２７ａを操作する意図が少ないためである。

【0061】

次に、図１４（ａ）に示すように、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にコンテンツ５７ｂ，５７ｃとウィンドウ５６´のコンテンツ５７ｄが含まれている場合、図１４（ｂ）に示すように、画像表示部１６４はコンテンツ５７ｃに対応するコンテンツ２７ｃの近傍に影画像４０を表示するだけでなく、コンテンツ５７ｄに対応するコンテンツ２７ｄの近傍にも影画像４０を表示する。すなわち、画像表示部１６４はコンテンツ単位だけでなくウィンドウ単位でも影画像４０を表示する。尚、コンテンツ５７ｂに対応するコンテンツ２７ｂはウィンドウ２６の拡大により表示画面２５内に出現しないため、画像表示部１６４はコンテンツ２７ｂに対する影画像４０を表示しない。

【0062】

（第２実施形態）
続いて、図１５から図１９を参照して、本件の第２実施形態について説明する。
図１５は表示側制御部１６２の一部の動作の一例を示すフローチャートである。図１６（ａ）及び（ｂ）は影画像４０の集約例を説明するための図である。図１７（ａ）から（ｃ）は集約時に利用する種々の重み関数の一例である。図１８（ａ）及び（ｂ）並びに図１９（ａ）及び（ｂ）は影画像４０の集約例を説明するための他の図である。

【0063】

まず、図１５に示すように、図８を参照して説明したステップＳ２０９の処理が完了すると、画像表示部１６４は影画像４０が複数表示あるか否かを判定する（ステップＳ２１０）。複数表示がない場合（ステップＳ２１０：ＮＯ）、画像表示部１６４は後続の処理をスキップして、処理を終える。一方、複数表示がある場合（ステップＳ２１０：ＹＥＳ）、画像表示部１６４は影画像を集約する（ステップＳ２１１）。

【0064】

例えば、図１２（ａ）及び（ｂ）を参照して説明したように、影画像４０が複数表示される場合、図１６（ａ）及び（ｂ）に示すように、画像表示部１６４は複数表示される影画像４０を集約する。具体的には、画像表示部１６４は複数表示される影画像４０の画面座標（ｘｉ，ｙｉ）（ｉ＝１〜ｎの自然数）からその重心

を算出し、算出した重心の位置に１つの影画像４０を表示する。

【0065】

例えば重心に代えて、画像表示部１６４は表示される影画像４０の画面座標（ｘｉ，ｙｉ）（ｉ＝１〜ｎの自然数）からその加重平均を算出してもよい。例えば、計測側ユーザ３２又は表示側ユーザ３０から距離が近い影画像４０ほど重みを大きくする。重み関数は計測側ユーザ３２又は表示側ユーザ３０からの距離

に反比例して減少するものとする。例えば、画像表示部１６４は、図１７（ａ）に示すような、ｆ（ｄ）＝ａ−ｂｄ（単調減少関数）を利用して加重平均を算出してもよい。例えば、画像表示部１６４は、図１７（ｂ）に示すような、ｆ（ｄ）＝１−１／（１＋ｅｘｐ（２ｄ））（シグモイド関数）を利用して加重平均を算出してもよい。例えば、画像表示部１６４は、図１７（ｃ）に示すような、ｆ（ｄ）＝１／ｄ（反比例関数）を利用して加重平均を算出してもよい。この際、画像表示部１６４は１つの影画像４０を（Σｆ（ｄ_ｉ）ｘ_ｉ／ｎ，Σｆ（ｄ_ｉ）ｙ_ｉ／ｎ）の位置に表示する。

【0066】

また、影画像４０が複数表示される場合、図１８（ａ）及び（ｂ）に示すように、画像表示部１６４は複数表示される影画像４０の中で、計測側ユーザ３２に最も近いコンテンツ５７ａに対応するコンテンツ２７ａに影画像４０を集約してもよい。さらに、影画像４０が複数表示される場合、図１９（ａ）及び（ｂ）に示すように、画像表示部１６４はウィンドウ単位で影画像４０を集約してもよい。例えば、計測側ユーザ３２の手が届く所定距離の範囲Ｒ内にウィンドウ５６のコンテンツ５７ｂ，５７ｃとウィンドウ５６´のコンテンツ５７ｄとが含まれている場合、ウィンドウ２６に複数表示される影画像４０については１つに集約し、ウィンドウ２６´に表示される１つの影画像４０については集約しなくてもよい。

【0067】

以上、本実施形態によれば、第１のコンテンツ表示装置１１及び第２のコンテンツ表示装置１２の各表示画面２５，５５に表示させるコンテンツ２７ａ，２７ｂ，２７ｃ，５７ａ，５７ｂ，５７ｃを共有させるサーバ装置１３は計測側制御部１３１と表示側制御部１３２とを備えている。計測側制御部１３１及び表示側制御部１３２は第１のコンテンツ表示装置１１がコンテンツ２７ａ，２７ｂ，２７ｃの一部２７ａ，２７ｃを表示するとき、第２のコンテンツ表示装置１２を操作する計測側ユーザ３２が第１のコンテンツ表示装置１１に表示されているコンテンツ２７ａ，２７ｂ，２７ｃのうち、コンテンツの一部２７ｃを操作可能な位置にいるか否かを判定し、判定結果に基づいて、第１のコンテンツ表示装置１１に対し、計測側ユーザ３２が操作可能な位置に存在することを示す影画像４０を表示させる。これにより、第１のコンテンツ表示装置１１及び第２のコンテンツ表示装置１２でコンテンツ２７ａ，２７ｂ，２７ｃ，５７ａ，５７ｂ，５７ｃを共有する場合に、コンテンツ２７ｃを操作可能な位置における計測側ユーザ３２の存在を判別することができる。

【0068】

以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述した実施形態ではプロジェクタを表示装置として利用して説明したが、プロジェクタに代えて液晶ディスプレイを表示装置として利用してもよい。また、拡大を一例として説明したが、縮小についても拡大の場合と同様である。

【符号の説明】

【0069】

１０ 情報処理システム
１１ 第１のコンテンツ表示装置
１２ 第２のコンテンツ表示装置
１３ サーバ装置
１３１ 計測側制御部
１３２ 表示側制御部
１５１，１６１ 送受信部
１５２，１６２ 位置算出部
１５３，１６３ 座標変換部
１５４，１６４ 画像表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】