特表-19187747IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-187747情報処理装置、情報処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年10月3日
【発行日】2021年4月15日
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06F 3/0484 20130101AFI20210319BHJP
   G09G 5/00 20060101ALI20210319BHJP
   G09G 5/377 20060101ALI20210319BHJP
   G09G 5/36 20060101ALI20210319BHJP
   G09G 5/38 20060101ALI20210319BHJP
【FI】
   G06F3/0484 120
   G09G5/00 510V
   G09G5/00 555D
   G09G5/00 510H
   G09G5/36 520M
   G09G5/36 520K
   G09G5/38 A
   G09G5/36 520B
   G09G5/00 530D
   G09G5/36 520P
【審査請求】未請求
【予備審査請求】未請求
【全頁数】49
【出願番号】特願2020-510390(P2020-510390)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年2月15日
(31)【優先権主張番号】特願2018-61173(P2018-61173)
(32)【優先日】2018年3月28日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】小池 龍正
(72)【発明者】
【氏名】阪井 祐介
【テーマコード(参考)】
5C182
5E555
【Fターム(参考)】
5C182AA04
5C182AA13
5C182AB02
5C182AB04
5C182AB08
5C182AB14
5C182AC03
5C182AC43
5C182BA01
5C182BA06
5C182BA14
5C182BA28
5C182BA30
5C182BA35
5C182BA65
5C182BA66
5C182BA75
5C182BB13
5C182BB28
5C182BC22
5C182BC25
5C182BC26
5C182CB13
5C182CB14
5C182CB34
5C182CB42
5C182CB44
5C182CB47
5C182CB54
5C182CC04
5C182DA62
5C182DA70
5E555AA27
5E555AA61
5E555BA13
5E555BB13
5E555BC09
5E555BC17
5E555BD07
5E555BE16
5E555CA12
5E555CA42
5E555CB12
5E555CB45
5E555CB66
5E555DA11
5E555DB53
5E555DC19
5E555DC84
5E555EA22
5E555FA00
(57)【要約】
【課題】双方向通信において、通信相手とあたかも同じ空間で作業をしているかのように感じさせる共同作業空間を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。
【解決手段】第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部と、前記第1の表示部および前記第2の表示部の表示制御を行う制御部と、を備え、前記制御部は、前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、情報処理装置。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1の表示部と、
通信相手側の空間から取得した画像を表示する第2の表示部と、
前記第1の表示部および前記第2の表示部の表示制御を行う制御部と、
を備え、
前記制御部は、
前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、情報処理装置。
【請求項2】
前記情報処理装置は通信部を備え、
前記制御部は、
ユーザによる前記共有オブジェクトに対する操作入力情報を当該共有オブジェクトの表示に反映させると共に、当該操作入力情報を前記通信部から前記通信相手側に送信する制御と、
前記通信部により前記通信相手側から受信した、前記通信相手側に表示されている前記共有オブジェクトと同一の共有オブジェクトに対する前記通信相手側における操作入力情報を、前記第1の表示部または前記第2の表示部の少なくともいずれかに表示している前記共有オブジェクトの表示に反映させる制御と、を行う、請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、
前記第1の表示部または前記第2の表示部の少なくともいずれかに表示している前記共有オブジェクトの情報を前記通信相手側と共有し、前記通信相手側と同じ共有オブジェクトを表示制御し、
前記第1の表示部または前記第2の表示部に表示する1以上の前記共有オブジェクトの配置を、前記通信相手側における前記共有オブジェクトの配置と対応させる表示制御を行う、請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、
前記第1の表示部の表示領域に、前記通信相手側による操作が可能な相手側作業領域と、前記ユーザによる操作が可能なユーザ作業領域とが重なった領域である共有領域を設定し、
前記共有領域に表示が及ぶオブジェクトを前記共有オブジェクトと認識する、請求項3に記載の情報処理装置。
【請求項5】
前記第1の表示部の表示面が略水平方向に位置し、
前記第2の表示部の表示面が前記第1の表示部の表示面に対して略直交する方向に配置された状態において、
前記制御部は、
前記第1の表示部に、前記共有オブジェクトを表示し、
前記第2の表示部に、通信相手の映像を表示する、
請求項4に記載の情報処理装置。
【請求項6】
前記制御部は、
前記第1の表示部に表示する前記共有オブジェクトの全体の配置が、前記通信相手側において前記第1の表示部に対応する第3の表示部に表示される前記共有オブジェクトと同一の共有オブジェクトの全体の配置に対して、上下左右が反転した関係となる表示制御を行う、請求項5に記載の情報処理装置。
【請求項7】
前記制御部は、
ユーザ指示に応じて、前記第1の表示部に表示する前記共有オブジェクトの全体の配置を、前記第3の表示部に表示される前記共有オブジェクトと同一の共有オブジェクトの全体の配置と同じにする表示制御を行う、請求項6に記載の情報処理装置。
【請求項8】
前記第1の表示部の表示面が略水平方向に位置し、
前記第2の表示部の表示面が前記第1の表示部の表示面に対して略直交する方向に配置された状態において、
前記制御部は、
前記第1の表示部に、前記共有オブジェクトを表示し、
前記第2の表示部に、通信相手と、前記通信相手側の作業領域の映像を表示する、
請求項4に記載の情報処理装置。
【請求項9】
前記制御部は、
前記通信相手側の作業領域を、前記第1の表示部の表示面に隣接するよう、前記第2の表示部の表示領域のうち前記第1の表示部の表示面が位置する側に表示する、請求項8に記載の情報処理装置。
【請求項10】
前記制御部は、
前記第1の表示部の表示面のうち、前記第2の表示部の表示面と隣接する側に前記共有領域を設定し、
前記共有領域の表示画面は、前記通信相手側における前記第1の表示部に対応する第3の表示部に同様に設定された共有領域の表示画面と同じ表示に表示制御する、請求項9に記載の情報処理装置。
【請求項11】
前記制御部は、
前記通信相手側の第3の表示部の表示情報に基づいて、前記第2の表示部に含まれる前記通信相手側の作業領域の表示を制御し、前記第2の表示部に含まれる前記通信相手側の作業領域で前記通信相手側の前記第3の表示部の表示画面を再現する表示制御を行う、請求項9に記載の情報処理装置。
【請求項12】
前記制御部は、
前記第1の表示部の表示領域に、前記ユーザによる操作が可能なユーザ作業領域を設定し、
前記第2の表示部の表示領域に、前記通信相手側による操作が可能な相手側作業領域と、前記ユーザによる操作が可能なユーザ作業領域とが重なった領域である共有領域を設定し、
前記共有領域に表示が及ぶオブジェクトを前記共有オブジェクトと認識する、請求項3に記載の情報処理装置。
【請求項13】
前記制御部は、
前記第2の表示部において、前記共有領域に相当する仮想的な3次元空間と、当該3次元空間よりも奥側に前記通信相手側の映像を配置して表示する、請求項12に記載の情報処理装置。
【請求項14】
前記制御部は、
前記仮想的な3次元空間に、3次元または2次元の前記共有オブジェクトを表示する、請求項13に記載の情報処理装置。
【請求項15】
前記制御部は、
前記仮想的な3次元空間を、前記第1の表示部の表示面に隣接するよう、前記第2の表示部の表示領域のうち前記第1の表示部の表示面が位置する側を含めて表示し、
さらに前記通信相手側における前記第1の表示部に対応する第3の表示部の表示を再現する作業領域を、前記3次元空間に隣接するよう配置し、
前記ユーザまたは前記通信相手側の操作入力に応じて、前記共有オブジェクトを、前記第1の表示部、前記第2の表示部に表示する3次元空間、および前記第2の表示部に表示する前記相手側作業領域との間でシームレスに移動させる、請求項13に記載の情報処理装置。
【請求項16】
前記制御部は、
前記第1の表示部の表示領域に、前記ユーザによる操作が可能なユーザ作業領域を設定し、
前記第2の表示部の表示領域に、前記通信相手側における前記第1の表示部に対応する第3の表示部の表示を再現する相手側作業領域を表示し、
前記相手側作業領域は、前記第1の表示部の表示面と隣接するよう、前記第2の表示部の表示領域のうち前記第1の表示部の表示面が位置する側に表示され、
さらに前記制御部は、
前記第1の表示部と前記第2の表示部の前記相手側作業領域とに跨って表示されるオブジェクトを前記共有オブジェクトと認識する、請求項3に記載の情報処理装置。
【請求項17】
前記制御部は、
設定された仮想距離間隔に応じて、前記第1の表示部におけるユーザ作業領域と相手側作業領域とが重なった共有領域の設定、または、前記第2の表示部における前記共有領域の設定を行う、請求項3に記載の情報処理装置。
【請求項18】
前記制御部は、
集合要請に応じてユーザ側に集合する場合、前記第2の表示部に表示する前記通信相手側の映像から通信相手の姿を非表示にする表示制御を行い、
前記集合要請に応じて前記通信相手側に集合する場合、前記第1の表示部または前記第2の表示部に表示されている前記共有オブジェクトの配置を、前記通信相手側からの視点に切り換える表示制御を行う、請求項3に記載の情報処理装置。
【請求項19】
プロセッサが、
第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部の表示制御を行うことと、
前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示することと、
を含む、情報処理方法。
【請求項20】
コンピュータを、
第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部の表示制御を行う制御部として機能させ、
前記制御部は、
前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
従来から、テレビ電話を用いた会議システムなど、遠隔地の相手とのコミュニケーションを支援する通信システムが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014−44735号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
遠隔地の相手との通信システムでは、音声と映像を用いて互いのコミュニケーションをより円滑に行うことが求められる。さらには、共通して用いる会議資料など、共有のコンテンツの参照が重要となっていた。
【0005】
しかしながら、従来の通信システムでは、遠隔地と共同で作業を行う空間の最適化については何ら考慮されていなかった。
【0006】
例えば上記特許文献1では、大画面を用いて、複数人が共通の領域や自分の占有領域を持ちながら共同で作業を行い、自分の領域ではオブジェクトが自分に対して正対するように表示される装置が開示されているが、ローカルでの複数人による作業に関するものであり、遠隔地と通信しながらの作業については考慮されていない。
【0007】
そこで、本開示では、双方向通信において、通信相手とあたかも同じ空間で作業をしているかのように感じさせる共同作業空間を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【0008】
本開示によれば、第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部と、前記第1の表示部および前記第2の表示部の表示制御を行う制御部と、を備え、前記制御部は、前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、情報処理装置を提案する。
【0009】
本開示によれば、プロセッサが、第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部の表示制御を行うことと、前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示することと、を含む、情報処理方法を提案する。
【0010】
本開示によれば、コンピュータを、第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部の表示制御を行う制御部として機能させ、前記制御部は、前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、プログラムを提案する。
【発明の効果】
【0011】
以上説明したように本開示によれば、双方向通信において、通信相手とあたかも同じ空間で作業をしているかのように感じさせる共同作業空間を提示することが可能となる。
【0012】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【0013】
図1】本開示の一実施形態による情報処理システムの概要について説明する図である。
図2】本実施形態による情報処理システムのシステム構成の一例を示す図である。
図3】本実施形態による空間Aに配置される情報処理装置と空間Bに配置される情報処理装置の一例を示す図である。
図4】本実施形態による情報処理装置の構成の一例を示すブロック図である。
図5】本実施形態による仮想距離間隔について説明する図である。
図6】本実施形態による表示制御処理の一連の流れの一例を示すフローチャートである。
図7】本実施形態の第1の表示例におけるユーザA側の表示画面例を示す図である。
図8】本実施形態の第1の表示例における各情報処理装置の表示画面例を示す図である。
図9】本実施形態の第1の表示例におけるテーブル上のオブジェクトの表示パターンの他の例を示す図である。
図10】本実施形態の第1の表示例におけるテーブル上のオブジェクトの表示パターンの他の例を示す図である。
図11】本実施形態の第2の表示例におけるユーザA側の表示画面例を示す図である。
図12】本実施形態の第2の表示例における各情報処理装置の表示画面例を示す図である。
図13】本実施形態の第3の表示例においてテーブル上に共有領域を設定した場合におけるユーザA側の表示画面例を示す図である。
図14】本実施形態の第3の表示例における各情報処理装置の表示画面例を示す図である。
図15】本実施形態の第4の表示例におけるユーザA側の表示画面例を示す図である。
図16】本実施形態の第4の表示例における各情報処理装置の表示画面例を示す図である。
図17】本実施形態の第4の表示例における中空間を利用した表示パターンについて説明する図である。
図18】本実施形態の第4の表示例における中空間を利用した表示パターンについて説明する図である。
図19】本実施形態の第4の表示例における中空間を利用した表示パターンについて説明する図である。
図20】本実施形態の第4の表示例における中空間を利用した表示パターンについて説明する図である。
図21】本実施形態の第4の表示例における中空間を利用した操作方法について説明する図である。
図22】本実施形態の第4の表示例における中空間を利用した操作方法について説明する図である。
図23】本実施形態の第4の表示例における中空間を利用した操作方法について説明する図である。
図24】本実施形態の第4の表示例における中空間を利用した操作方法について説明する図である。
図25】本実施形態の第4の表示例における中空間を利用した操作方法について説明する図である。
図26】本実施形態の第4の表示例における中空間を利用した操作方法について説明する図である。
図27】本実施形態の第4の表示例におけるオブジェクトの重なり表示について説明する図である。
図28】本実施形態のテーブル上に表示されたオブジェクトの整列表示制御について説明する図である。
図29】本実施形態の第5の表示例におけるユーザA側の表示画面例を示す図である。
図30】本実施形態の第5の表示例における各情報処理装置の表示画面例を示す図である。
図31】本実施形態の第5の表示例における集合時の画面遷移の一例を示す図である。
図32】本実施形態の第5の表示例における中空間を設けた表示例での仮想的な集合の画面遷移の一例を示す図である。
図33】本実施形態の第5の表示例における中空間を設けた表示例での集合時の表示制御処理の流れの一例を示すフローチャートである。
図34】本実施形態によるその他の構成例1のシステム構成例を示す図である。
図35】本実施形態のその他の構成例1によるテーブル装置の構成例を示すブロック図である。
図36】本実施形態のその他の構成例1によるウィンドウ装置の構成例を示すブロック図である。
図37】本実施形態のその他の構成例1における表示制御処理の流れの一例を示すフローチャートである。
図38】本実施形態のその他の構成例2について説明する図である。
図39】本実施形態のその他の構成例2に係る情報処理装置の構成例を示すブロック図である。
図40】本実施形態における3地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例を示す図である。
図41】本実施形態における4地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例を示す図である。
図42】本実施形態における3地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例(テーブルが正方形)を示す図である。
図43】本実施形態における4地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例(テーブルが正方形)を示す図である。
図44】本実施形態における4地点を結ぶ共同作業空間の提示における各テーブルの重なり方の他の例を示す図である。
【発明を実施するための形態】
【0014】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0015】
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
3.動作処理
4.表示例
4−1.第1の表示例(1つのテーブルを共有)
4−2.第2の表示例(テーブル拡張)
4−3.第3の表示例(テーブル上の一部に共有領域を設定)
4−4.第4の表示例(中空間)
4−5.第5の表示例(集合)
4−6.過去のオブジェクト表示の再生
5.その他の構成例
5−1.その他の構成例1
5−2.その他の構成例2
6.3地点以上を結ぶ共同作業空間の提示
7.まとめ
【0016】
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムは、テーブルの天板部分に設けられる表示部(テーブルディスプレイ131)と、テーブルディスプレイ131上の一端に略垂直に設けられた表示部(ウィンドウディスプレイ133)とから構成される情報処理装置10を用いる。
【0017】
テーブルディスプレイ131には、表示画像20が表示されている。表示画像20は、アプリケーションからのインタラクションを示す表示オブジェクトであって、例えば静止画、動画(映像)、メニュー画面、又はコントロール画面といった各種UI等である。また、表示画像20(オブジェクト)は、2次元画像であってもよいし、3次元画像であってもよい。表示画像20に対するユーザによる操作入力は、各種センサにより検出されるため、ユーザは、表示画像20上で操作体、例えば手を接触又は近接させて動かすことで、表示画像20に対して各種の操作入力を行うことができる。
【0018】
テーブルディスプレイ131の表示画像20に対する操作入力は、例えばテーブルディスプレイ131に設けられたタッチセンサや、周囲に設けられたデプスカメラ、サーモカメラ、RGBカメラ、又は超音波センサ等により検出され得る。例えば、情報処理装置10は、撮像画像やデプス情報を解析して、テーブルディスプレイ131の表示画面上に位置するユーザの手や指の位置や深度情報(換言すると、三次元情報)を取得し、高さ方向におけるテーブルディスプレイ131へのユーザの手の接触若しくは近接、及びテーブルディスプレイ131からの手の離脱を検出する。本明細書では、ユーザが表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。
【0019】
また、ウィンドウディスプレイ133には、通信相手の映像22が表示されている。
【0020】
本実施形態による情報処理装置10は、図1に示すような複数の表示部の配置構成により、通信相手と1つのテーブル(ウィンドウディスプレイ133)を取り囲んで作業できる状態を提供することができる。
【0021】
このような配置構成の情報処理装置10は、各空間に配置される。例えば、空間Aに居るユーザAと空間Bに居るユーザBとを繋ぐ双方向コミュニケーションシステムの場合、情報処理システム1は、図2に示すように、情報処理装置10Aおよび情報処理装置10Bとを有するシステム構成となる。情報処理装置10Aおよび情報処理装置10Bは、ネットワーク3を介して通信接続される。
【0022】
図3は、空間Aに配置される情報処理装置10Aと空間Bに配置される情報処理装置10Bの一例を示す図である。情報処理装置10Aおよび情報処理装置10Bは同様の構成により形成される。すなわち、情報処理装置10Aおよび情報処理装置10Bは、表示画像20を表示してユーザによる操作入力が行われるテーブルディスプレイ131A、131Bと、通信相手の映像が表示されるウィンドウディスプレイ133A、133Bとを、各々有する。
【0023】
ここで、ウィンドウディスプレイ133A、133Bには、それぞれ通信相手の映像22が表示されるため、各ユーザは、いずれも図1に示すように1つのテーブル(テーブルディスプレイ131A、131B)を通信相手と取り囲んで作業しているような視覚効果を得ることができる。通信相手の映像22は、各情報処理装置10に設けられたカメラ123(図1では不図示)によりリアルタイムで取得され得る。カメラ123の設置位置は特に限定しないが、例えばウィンドウディスプレイ133の周囲に設けられていてもよい。
【0024】
また、ユーザA側とユーザB側の各テーブルトップ(テーブルディスプレイ131A、131B)には、両者が操作可能なオブジェクト(表示画像20)が表示される。本明細書では、両者が操作可能なオブジェクトを「共有オブジェクト」と称す。本実施形態では、表示された共有オブジェクトに対する一方のユーザからの操作入力を、他方のテーブルトップに表示されている対応する共有オブジェクトにも(リアルタイムで)反映させることで、共同作業の利便性をさらに向上させることができる。より具体的には、例えば、テーブルディスプレイ131Aとテーブルディスプレイ131Bに同一の共有オブジェクトを同一の配置で表示している際に、ユーザAがテーブルディスプレイ131A上において、ある共有オブジェクトの表示位置を移動させた際、テーブルディスプレイ131B上の対応する共有オブジェクトも、同様に移動させる。
【0025】
なお、各テーブルトップ(テーブルディスプレイ131A、131B)では、各ユーザのみが操作できるオブジェクトも存在し得る。本明細書では、共有オブジェクトに対し、このような特定のユーザのみが操作できるオブジェクトを「私有オブジェクト」と称す。私有オブジェクトは、相手側のテーブルトップには表示しないようにしてもよいし、表示のみするが操作は出来ないようにしてもよい。また、いずれのオブジェクトが私有オブジェクトであるか、共有オブジェクトであるかは、オブジェクト毎に設定しておいてもよいし、テーブル上に設定した所定の領域(共有領域)内に位置するオブジェクト(少なくとも一部の領域が共有領域内に表示されているオブジェクトを含む)を、共有オブジェクトと随時みなすようにしてもよい。
【0026】
また、本明細書において、各テーブルトップ(テーブルディスプレイ131A、131B)上の領域を、「作業領域」と称す。各ユーザは、テーブルディスプレイ131A、131Bに表示されている各オブジェクトの操作(作業)を行うことができる。この場合、上述した「共有領域」は、各ユーザの作業領域が重なった共同作業領域と言える。
【0027】
ここで、各ユーザの作業領域は、図1に示すようなテーブル上のみに限定されず、さらに、ウィンドウディスプレイ133を用いて、仮想的に拡張させることが可能である。詳細については後述するが、例えば、テーブルディスプレイ131Aの天面がウィンドウディスプレイ133内に延長しているように見える仮想的なテーブルを描画し、当該仮想的なテーブルを共同作業領域として用いることも可能である。また、ウィンドウディスプレイ133内に3次元の共同作業領域(いわゆる仮想空間。本明細書では「中空間」と称す)を描画することも可能である。この際、相手の映像は、中空間を挟んで奥側に表示される。このような中空間を設けることで、テーブル上では描画できないような大きな3Dオブジェクトを表示して共同作業を行うことも可能となる。
【0028】
また、図1図3では、一例として2地点間のコミュニケーションについて説明しているが、本実施形態はこれに限定されず、3地点以上を繋ぐことも可能である。
【0029】
また、本実施形態では、テーブルディスプレイ131に対する操作入力のみならず、ウィンドウディスプレイ133に対する操作入力も同様に検出され得る。また、テーブルディスプレイ131A、テーブルディスプレイ131Bの形状は図1に示す矩形に限定されず、多角形、円形、楕円形など、どのような形状であってもよい。
【0030】
また、テーブルディスプレイ131とウィンドウディスプレイ133の配置構成(略水平方向の表示部と略垂直方向の表示部との組み合わせ)は、図1に示すようなテーブル上に限定されず、空間内(屋内/屋外)における床、壁、または家具等の任意の場所、若しくはノートPC等において実現してもよい。
【0031】
また、本実施形態による視覚効果を実現する表示は、ディスプレイに限定されず、プロジェクターにより行ってもよい。例えばプロジェクターによりテーブルの天面や壁等に表示画像20や通信相手の映像22等を適宜投影し、本実施形態による視覚効果を実現することが可能である。
【0032】
以上、本開示の一実施形態による情報処理システム1について説明した。続いて、本実施形態による情報処理システム1に含まれる情報処理装置10の具体的な構成について図面を参照して説明する。
【0033】
<<2.構成例>>
図4は、本実施形態による情報処理装置10の構成の一例を示すブロック図である。図4に示すように、情報処理装置10は、制御部100、通信部110、入力部120、出力部130、および記憶部140を有する。
【0034】
<2−1.制御部100>
制御部100は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置10内の動作全般を制御する。制御部100は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部100は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
【0035】
また、本実施形態による制御部100は、入力情報認識部101、仮想距離間隔設定部102、共有領域判断部103、共有オブジェクト選択部104、表示制御部105、テーブルディスプレイ表示制御部106、ウィンドウディスプレイ表示制御部107、および音声出力制御部108としても機能する。
【0036】
入力情報認識部101は、入力部120から取得した入力情報を解析し、各種認識処理を行う。例えば入力情報認識部101は、センサ部121、カメラ123、またはマイク125から取得した情報に基づいて、ユーザ入力を認識する。ユーザ入力は、例えば、ジェスチャ、音声、リモートコントローラ(例えばIRを用いたリモートコントローラ)又はゲームパッド等の外部装置を用いて行われ得る。
【0037】
例えばジェスチャ情報は、デプスカメラ、サーモカメラ、RGBカメラ、タッチセンサ、圧力センサ、近接センサ、又は超音波センサ等によりセンシングした情報を解析することにより認識し得る。ジェスチャ情報とは、例えばユーザの手の動き、腕の動き、姿勢(例えばボーン情報)、視線、タッチ操作(具体的には、タッチ、タップ、ダブルタップ、スワイプ、またはドラッグ)等の情報を含む。例えば入力情報認識部101は、テーブルディスプレイ131に対するタッチ操作や、ウィンドウディスプレイ133に対する指差し操作を、ジェスチャ情報として認識する。
【0038】
入力情報認識部101は、認識結果(ユーザ入力)を通信部110から通信先装置(例えば、情報処理装置10Aから情報処理装置10B)に送信する。これにより情報処理システム1は、ユーザ入力を相手側の表示に反映させることで、共同作業を実現する。
【0039】
また、入力情報認識部101は、カメラ123により取得したユーザの映像や、マイク(マイクロホン)125により取得したユーザの音声を、通信部110から通信先装置(例えば情報処理装置10B)に継続的に送信する。これにより情報処理システム1は、音声と映像を用いた双方向コミュニケーションを実現する。
【0040】
また、入力情報認識部101は、通信部110を介して外部装置からも入力情報を取得する。例えば入力情報認識部101は、通信部110を介して通信先装置から通信先空間の映像や音声、また、通信相手によるユーザ入力を取得する。
【0041】
仮想距離間隔設定部102は、通信者間の共同作業空間における仮想的な距離間隔(本明細書において、仮想距離間隔と称す)を設定する。仮想距離間隔とは、ユーザと通信相手との所謂間合いを示すものであり、ユーザにより任意に指定することが可能である。共同作業者である通信相手との間合いを自由に調整することで、共同作業者との心理的な距離を保ちながら共同作業を行うことが可能となる。なお、仮想距離間隔は通信相手により指定されてもよい。ここで、本実施形態による仮想距離間隔について図5を参照して具体的に説明する。
【0042】
図5は、本実施形態による仮想距離間隔について説明する図である。仮想距離間隔は、通信相手(共同作業者)との(心理的)間合い(距離感)を示すものであるが、より具体的には、例えばウィンドウディスプレイ133を介した通信相手との距離としてもよい。さらに具体的には、図5に示すように、ユーザの作業領域に相当するテーブル(テーブルディスプレイ131)の大きさ(テーブル距離Td)を基準として設定してもよい。この場合、図5の上段に示すように、テーブルディスプレイ131の大きさが最短の仮想距離間隔v0となる。仮想距離間隔v0では、ユーザAの作業領域(テーブルディスプレイ131Aの大きさに相当)とユーザBの作業領域(テーブルディスプレイ131Bの大きさに相当)が全て重なり、テーブルディスプレイ131の全面が共有領域となる。本明細書において、共有領域とは、その領域に少なくとも一部が含まれる表示画像を共有オブジェクトとしてみなすエリアである。また、共有領域は、各ユーザの作業領域が重なっているエリア(両ユーザが作業領域として利用できる領域)とも言える。共有オブジェクトとは、ユーザおよび通信相手の両者からのユーザ入力が有効となる(換言すると、操作することができる)オブジェクトである。本実施形態では、共有領域に少なくとも一部が含まれる(共有領域に表示が掛かる、すなわち、少なくとも相手の作業領域に表示が及ぶと言える)表示画像を共有オブジェクトとみなす。これに対し、一方のユーザからの入力しかできないオブジェクトは、そのユーザの私有オブジェクトと言える。
【0043】
仮想距離間隔v0に設定した場合、ウィンドウディスプレイ133の表示は、図1に示すように、通信相手の映像22(テーブルの高さに合った上半身の映像が望ましい)が表示され、1つのテーブル(テーブルディスプレイ131)を通信相手を取り囲んでいるように見える状態となる。
【0044】
なお、ここでは一例として重なっている全範囲を共有領域として説明したが、本実施形態はこれに限定されず、ウィンドウディスプレイ133の任意の一部を共有領域としてもよい。
【0045】
また、仮想距離間隔は、図5中段に示すように、テーブルディスプレイ131A、131Bを並べた距離(仮想距離間隔v1)とすることも可能である。この場合、共有領域の大きさは、テーブルディスプレイ131A、131Bが隣接する端部(ウィンドウディスプレイ133が設置されている側)を含む任意の大きさに設定することができる。通信相手側の共有領域(例えばユーザA側から見たテーブルディスプレイ131B上の共有領域)は、ウィンドウディスプレイ133の表示画面内において仮想的に表現される。仮想距離間隔v1に設定した場合の表示例は、図11図14を参照して後述する。
【0046】
また、仮想距離間隔は、図5下段に示すように、テーブルディスプレイ131A、131Bを離した距離(仮想距離間隔v2)とすることも可能である。この場合、例えばテーブルディスプレイ131A、131Bの間を共有領域として利用する。本明細書では、テーブルディスプレイ131A、131Bの間に設けた共有領域を中空間と称する。中空間の広さは、任意に設定し得る。また、中空間に加えて、図5中段のようにテーブル上の端部(ウィンドウディスプレイ133が設置されている側)を含む一部の領域をさらに共有領域にしてもよい。中空間は、ウィンドウディスプレイ133の表示画面内において仮想的に表現される。仮想距離間隔v2に設定した場合の表示例は、図15図16を参照して後述する。
【0047】
以上、仮想距離間隔の一例について具体的に説明した。なお、共有領域の形状は、図5に示す矩形に限定されず、任意の形状であってもよい。また、テーブルディスプレイ131A、テーブルディスプレイ131Bの形状に関わらず、曲線など任意の境界形状であってもよい。
【0048】
共有領域判断部103は、設定された仮想距離間隔を参照し、共有領域を判断する。例えば図5上段に示す仮想距離間隔v0の場合、共有領域判断部103は、ウィンドウディスプレイ133の全領域を共有領域と判断してもよいし、ユーザ指定により一部のエリアを共有領域としてもよい。また、例えば図5中段に示す仮想距離間隔v1の場合、共有領域判断部103は、テーブルディスプレイ131A、131Bが隣接する端部(ウィンドウディスプレイ133が設置されている側)を含む任意の大きさを(例えばデフォルト設定、若しくはユーザ指定で)共有領域と判断する。また、例えば図5中段に示す仮想距離間隔v1の場合、共有領域判断部103は、テーブルディスプレイ131A、131Bの間を共有領域(中空間)と判断する。
【0049】
共有オブジェクト選択部104は、ウィンドウディスプレイ133に表示されているオブジェクトのうち、共有領域に応じて、共有オブジェクトを選択する。共有オブジェクトとは、上述したように、ユーザおよび通信相手の両者からのユーザ入力が有効となる(換言すると、操作することができる)オブジェクトである。具体的には、共有オブジェクト選択部104は、ウィンドウディスプレイ133に表示されている各オブジェクトのうち、共有領域に少なくとも一部が含まれる表示画像を、共有オブジェクトとみなす。各オブジェクトは、ユーザのタッチ操作により表示場所が任意に変更されるため、共有オブジェクト選択部104は、オブジェクトが共有領域に掛かる位置に表示されている間はそのオブジェクトを共有オブジェクトとみなし、共有領域から外れた場合は共有オブジェクトから除外する(すなわち、当該オブジェクトが現在表示されている領域の作業権限を持つユーザしか操作できない私有オブジェクトとみなす)。
【0050】
表示制御部105は、ユーザ入力に対するアプリケーションからのインタラクションを出力する表示制御を行う。具体的には、入力情報認識部101により認識されたユーザ入力情報や、仮想距離間隔設定部102により設定された仮想距離間隔の情報、共有オブジェクト選択部104により選択された共有オブジェクトの情報、また、通信部110により通信先装置から受信した各種情報(ユーザ入力情報や通信先の映像など)等に応じて、テーブルディスプレイ131やウィンドウディスプレイ133の表示制御を行う。
【0051】
例えば、表示制御部105は、テーブルディスプレイ表示制御部106により、テーブルディスプレイ131の表示制御を行う。テーブルディスプレイ131には、例えば、ユーザの私有オブジェクトや、通信相手との共有オブジェクトが表示される。
【0052】
また、表示制御部105は、ウィンドウディスプレイ表示制御部107によりウィンドウディスプレイ133の表示制御を行う。ウィンドウディスプレイ133には、例えば、通信相手の映像や、仮想的なテーブルの画像(仮想的なテーブル上には、共有オブジェクトや、相手の私有オブジェクトが表示され得る)、また、中空間(共有オブジェクトを含む)が表示される。
【0053】
音声出力制御部108は、スピーカ135からの音声出力を制御する。例えば音声出力制御部108は、通信部110により通信先装置から受信した相手側の音声情報を出力する。
【0054】
<2−2.通信部110>
通信部110は、情報処理装置10と他の機器とを接続するための接続装置である。通信部110は、例えば有線または無線によりネットワーク3と接続し、通信先装置(情報処理装置10)とデータの送受信を行う。通信部110は、例えば有線/無線LAN(Local Area Network)、Wi−Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等によりネットワーク3と通信接続する。
【0055】
<2−3.入力部120>
入力部120は、情報処理装置10への入力情報を取得する。例えば入力部120は、センサ部121、カメラ123、マイク125を含む。センサ部121は、例えば、タッチセンサ、圧力センサ、近接センサ、赤外線受光部、超音波センサ、デプスカメラ、サーモカメラ、またはRGBカメラ等を含んでもよいし、また、ボタン、スイッチ、およびレバーなど物理的構成により形成される操作入力部を含んでもよい。カメラ123は、テーブルディスプレイ131やウィンドウディスプレイ133に対する操作入力を行っているユーザの映像を撮像する。マイク125はユーザの発話音声等、音声情報をセンシングする。
【0056】
<2−4.出力部130>
出力部130は、情報処理装置10からの出力情報をユーザに提示する。例えば出力部130は、テーブルディスプレイ131、ウィンドウディスプレイ133、スピーカ135を含む。スピーカ135は、通信先から受信した相手の発話音声等の音声情報を出力する。
【0057】
<2−5.記憶部140>
記憶部140は、制御部100の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
【0058】
また、記憶部140は、仮想距離間隔や、共有オブジェクトの情報、また、テーブルディスプレイ131やウィンドウディスプレイ133における画面の履歴などを記憶する。
【0059】
以上、本実施形態による情報処理装置10の構成について具体的に説明した。なお情報処理装置10の構成は、図4に示す例に限定されない。例えば、情報処理装置10が複数の装置により構成されていてもよい。また、情報処理装置10の制御部100の各機能の少なくとも一部が、外部装置(例えば、スマートフォン、タブレット端末、PC、サーバ等)により実現されてもよい。
【0060】
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図6を用いて具体的に説明する。図6は、本実施形態による表示制御処理の一連の流れの一例を示すフローチャートである。
【0061】
図6に示すように、まず、情報処理装置10の表示制御部105は、現状のテーブル状態を取得する(ステップS103)。現状のテーブル状態とは、仮想距離間隔の設定や、共有領域の設定であり、具体的には、例えば図5上段に示すような1つのテーブルを共有している状態か、図5中段に示すような2つのテーブルを並べて作業領域を拡張している状態か、図5下段に示すような2つのテーブルの間に中空間を設けている状態か等を取得する。
【0062】
次に、テーブルディスプレイ表示制御部106は、取得したテーブル状態に応じて、テーブルディスプレイ131の表示制御を行う(ステップS106)。例えばテーブルディスプレイ表示制御部106は、テーブルディスプレイ131上に、共有領域に掛かる共有オブジェクトを表示し、ユーザまたは通信相手による当該共有オブジェクトへの入力操作に応じて、共有オブジェクトを表示制御する。
【0063】
また、ウィンドウディスプレイ表示制御部107は、取得したテーブル状態に応じて、ウィンドウディスプレイ133の表示制御を行う(ステップS109)。例えばウィンドウディスプレイ表示制御部107は、図5上段に示すような1つのテーブルを共有している状態の場合は、通信相手の映像のみをウィンドウディスプレイ133に表示するよう制御する。また、ウィンドウディスプレイ表示制御部107は、図5中段に示すような2つのテーブルを並べて作業領域を拡張している状態の場合は、テーブルディスプレイ131において、ウィンドウディスプレイ133の表示面が延長して見えるよう仮想的なテーブル(仮想テーブルとも称す)の画像を(生成して)表示し、さらに当該仮想テーブルの向こう側に通信相手の映像を配置するよう表示制御する。仮想テーブル上には、共有オブジェクトや、相手の私有オブジェクトが表示され得る。また、仮想テーブル上の表示は、通信先における実際のテーブルディスプレイ131上の表示と同様になるよう制御する。ユーザは、ウィンドウディスプレイ133を介して通信相手側のテーブル上が見える状態となる。また、ウィンドウディスプレイ表示制御部107は、図5下段に示すような中空間が表示されている状態の場合は、テーブルディスプレイ131において、相手側の仮想テーブルとの間に中空間の表示を行う。なお仮想テーブルの映像は生成画像に限定されず、相手側における実際のテーブルディスプレイ131を撮像した撮像画像であってもよい。
【0064】
次に、制御部100は、表示情報を記憶部140に記録する(ステップS112)。表示情報の記録は継続的にまたは定期的に行うようにしてもよい(自動バックアップ)。また、ユーザが指定したタイミングで記録データにタグ付けを行ってもよい。
【0065】
続いて、共有オブジェクトに対するユーザによる操作入力や仮想距離間隔の変更指示等のユーザ入力があった場合(ステップS115/Yes)、制御部100は、取得した入力情報を通信相手先の情報処理装置10(通信先装置)に送信するよう制御する(ステップS118)。また、制御部100は、テーブル上の現在の表示情報を、継続的に通信先装置に送信するよう制御してもよい。
【0066】
次いで、制御部100は、ユーザ入力情報、または、通信先装置から受信した相手側における入力情報(ステップS121)に応じて、仮想距離間隔の変更、または/およびオブジェクトの(表示位置などの)変更を指定する(ステップS124)。仮想距離間隔はユーザまたは相手ユーザにより適宜変更可能であり、制御部100は、仮想距離間隔が変更された際は、テーブルディスプレイ131およびウィンドウディスプレイ133の表示内容を適宜変更する。また、共有オブジェクトに対するユーザまたは相手ユーザからの操作入力(表示位置の変更など)の場合、制御部100は、テーブルディスプレイ131またはウィンドウディスプレイ133に表示されている当該共有オブジェクトの表示を更新する(ステップS106〜S112)。
【0067】
そして、制御部100は、終了指示があるまで上記処理を繰り返す(ステップS127)。これにより、テーブルディスプレイ131やウィンドウディスプレイ133の表示に相手側における操作入力を反映すると共に、テーブルディスプレイ131やウィンドウディスプレイ133に対するユーザによる操作入力も相手側の表示に反映させることができ、双方向コミュニケーションが実現される。
【0068】
以上、本実施形態による動作処理の一例を説明した。なお図6に示す動作処理は一例であって、本開示は図6に示す例に限定されない。例えば、本開示は、図6に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップS106〜S112の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
【0069】
また、図6に示す全ての処理が必ずしも実行されてなくともよい。例えば、ステップS112に示す記録処理がスキップされてもよい。
【0070】
<<4.表示例>>
続いて、本実施形態による共同作業空間の提示におけるテーブルディスプレイ131およびウィンドウディスプレイ133の表示画面例について図面を用いて具体的に説明する。
【0071】
<4−1.第1の表示例(1つのテーブルを共有)>
まず、図7図10を参照し、第1の表示例として1つのテーブルを共有する場合について説明する。ここでは一例として空間Aに存在する情報処理装置10Aと、空間Bに存在する情報処理装置10Bとが通信接続し、ユーザAとユーザBが共同作業を行う場合について説明する。
【0072】
図7は、第1の表示例におけるユーザA側の表示画面例を示す図である。図7に示す例は、図5上段に示した、1つのテーブル(テーブルディスプレイ131)を共有する場合におけるテーブルディスプレイ131とウィンドウディスプレイ133の表示画面例である。この場合、図7に示すように、情報処理装置10Aは、ウィンドウディスプレイ133AにユーザBの映像22を表示し、テーブルディスプレイ131Aにオブジェクト201A(オブジェクト201a〜201e)を表示する。図7右下のトップビューに示すように、テーブル全体が共有領域としている場合、テーブルディスプレイ131Aに表示されているオブジェクト201a〜201eは全て共有オブジェクトとなる。一方、ユーザB側のテーブルディスプレイ131B上にも、同様にオブジェクトが配置されており、ユーザAがテーブルディスプレイ131Aでオブジェクト201bを操作した場合、ユーザB側で表示されている対応するオブジェクトに操作が反映される。
【0073】
次に、ユーザA側とユーザB側における実際の表示状態について図8を用いて説明する。図8は、第1の表示例における情報処理装置10Aおよび情報処理装置10Bの表示画面例を示す図である。本表示例では、1つのテーブルをユーザAとユーザBが対面から見ている状態を表現するため、例えば図8に示すように、テーブルディスプレイ131Aに表示されるオブジェクト201Aの配置と、テーブルディスプレイ131Bに表示されるオブジェクト201Bの配置が対応するよう表示制御される。具体的には、例えばユーザに正対するテーブルディスプレイ131において、ウィンドウディスプレイ133が位置する方向を上方向とした場合に、ユーザA側とユーザB側のオブジェクトの配置(画面全体)は、左右方向(x軸方向)と上下方向(y軸方向)が反転した関係となるよう表示制御される(座標変換)。また、ウィンドウディスプレイ133Aには、ユーザBの映像が表示され、ウィンドウディスプレイ133Bには、ユーザAの映像が表示される。そして、各テーブル上に表示されたオブジェクト201のうち共有オブジェクトとみなされるオブジェクト(テーブルディスプレイ131の全領域を共有領域に設定している場合は全てのオブジェクトが共有オブジェクトとなる)に対してのユーザ操作は、互いに相手側の表示にも反映される。これにより、ユーザAおよびユーザBは、あたかも同じ空間でそれぞれ1つのテーブル(テーブルディスプレイ131)を相手と取り囲んで共同作業を行っているように感じることができる。
【0074】
なお、テーブルディスプレイ131の一部に私有領域を設定してもよい。私有領域に表示するオブジェクトはユーザのみが操作可能な私有オブジェクトとみなし、相手側には表示されないようにする。
【0075】
また、共有オブジェクトの表示方法は図8に示す例に限定されない。例えば図9に示すように、オブジェクトの配置(画面全体)を左右に反転させた上で、各オブジェクトの向きがユーザ(操作者)に対して正になるよう(各テーブルで設定されている所定の正方向に)表示制御してもよい。また、例えば図10に示すように、オブジェクトの配置(画面全体)の反転は行わず、各オブジェクトの向きがユーザに対して正になるようそれぞれ上下方向を反転させてもよい。
【0076】
以上説明した図8図10の表示パターンは、ユーザ指定により適宜瞬時に切り替えられる。
【0077】
<4−2.第2の表示例(テーブル拡張)>
次に、第2の表示例として、ウィンドウディスプレイ133に仮想的なテーブルを表示することで、テーブルディスプレイ131の作業領域(テーブル)が拡張して見える共同作業空間の提示について、図11図12を参照して説明する。
【0078】
図11は、第2の表示例におけるユーザA側の表示画面例を示す図である。図11に示す例は、図11右下に示すイメージトップビューにあるように、2つのテーブル(テーブルディスプレイ131A、テーブルディスプレイ131B)を並べ、作業領域を拡張した場合におけるテーブルディスプレイ131Aとウィンドウディスプレイ133Aの表示画面例である。ここでは、両方のテーブルにまたがって表示されるオブジェクトが共有オブジェクトとみなされる。
【0079】
作業領域の拡張は、具体的には、図11に示すように、ウィンドウディスプレイ133Aに、ウィンドウディスプレイ133Bに対応する仮想テーブル133bを表示することで実現し得る。ユーザAは、仮想テーブル133bに表示されているオブジェクトを視認することが可能となる。仮想テーブル133b上の表示は、ユーザB側におけるウィンドウディスプレイ133Bの表示と同じとなる。なお、ここでは、ウィンドウディスプレイ133Bに対応するテーブルを情報処理装置10Aにより描画することを想定して「仮想テーブル」と称しているが、これに限定されず、空間Bにおいて実際に撮像したウィンドウディスプレイ133Bの撮像画像を表示してもよい。
【0080】
また、ウィンドウディスプレイ133A上がユーザAの作業領域、ウィンドウディスプレイ133B(仮想テーブル133b)上がユーザBの作業領域となるが、ウィンドウディスプレイ133Aおよび仮想テーブル133bに表示されている各オブジェクトのうち、ウィンドウディスプレイ133Aを介して表示が両テーブルにまたがっているオブジェクト(すなわち、少なくとも相手の作業領域に表示が及ぶオブジェクト)を、共有オブジェクトとみなす。したがって、図11に示す例では、オブジェクト202a、202bが共有オブジェクトとなり、両者が操作することが可能となる。ユーザB側に表示されて操作できないオブジェクトを操作したい場合は、ユーザBに頼んでテーブル上でそのオブジェクトをスワイプ操作等によりユーザA側に移動して貰えばよい。
【0081】
次に、ユーザA側とユーザB側における実際の表示状態について図12を用いて説明する。図12は、第2の表示例における情報処理装置10Aおよび情報処理装置10Bの表示画面例を示す図である。図12に示すように、テーブルディスプレイ131Aの表示とテーブルディスプレイ131Bの表示は、ウィンドウディスプレイ133(ウィンドウディスプレイ133A、133B)を介して接続された表示となる。また、ウィンドウディスプレイ133を介して両者にまたがって表示されるオブジェクト202a、202bは、上述したように、共有オブジェクトとみなされ、両方のユーザから操作することが可能となる。
【0082】
<4−3.第3の表示例(テーブル上の一部に共有領域を設定)>
続いて、第3の表示例として、テーブルを拡張しつつ、一部を共有する共同作業空間の提示について、図13図14を参照して説明する。
【0083】
図13は、第3の表示例において、テーブル上の一部に共有領域を設定した場合におけるユーザA側の表示画面例を示す図である。図13に示す例は、図13右下に示すイメージトップビューにあるように、2つのテーブル(テーブルディスプレイ131A、テーブルディスプレイ131B)の一部が重なっているテーブル状態を想定し、図5中段に示す例に対応する。この場合、テーブルが重なっている部分、すなわち両者の作業領域が重なっているエリアを、共有領域300とし、当該共有領域300に少なくとも一部の表示領域が含まれるオブジェクトを共有オブジェクトとみなす。
【0084】
図13に示すように、ウィンドウディスプレイ133Aには、ユーザB側の作業領域に相当する仮想テーブル133bが表示されている。また、情報処理装置10Aは、仮想テーブル133bを、ウィンドウディスプレイ133Aの表示領域のうちテーブルディスプレイ131Aの表示面が位置している側に表示し、仮想テーブル133bがテーブルディスプレイ131Aの表示面に隣接(表示面を延長)しているように見せる視覚効果を与える。また、仮想テーブル133b上の表示は、ユーザB側のウィンドウディスプレイ133Bの表示に対応する。すなわち、ウィンドウディスプレイ133Bの表示情報に基づいて、仮想テーブル133b上にウィンドウディスプレイ133Bの表示画面が再現される。
【0085】
また、情報処理装置10Aは、テーブルディスプレイ131Aの表示面のうち、ウィンドウディスプレイ133Aと隣接する側に共有領域300Aを設定する。情報処理装置10Aは、共有領域300Aを背景色や境界線の表示等によりユーザに明示するようにしてもよい。また、共有領域300Aは、ウィンドウディスプレイ133A内に表示されるユーザB側の作業領域(仮想テーブル133b)に含まれる共有領域300bと隣接する。ここで、共有領域300Aと共有領域300bは、図13右下のイメージトップビューに示すように、2つのテーブル(テーブルディスプレイ131A、131B)が重なっている部分と仮定するため、共有領域300Aと共有領域300bは、重複した表示(同じ表示画面)となるよう表示制御される。
【0086】
次に、ユーザA側とユーザB側における実際の表示状態について図14を用いて説明する。図14は、第3の表示例における情報処理装置10Aおよび情報処理装置10Bの表示画面例を示す図である。図14に示すように、テーブルディスプレイ131Aおよびテーブルディスプレイ131Bには、それぞれ共有領域300A、300Bが設定され、共有領域300A、300Bの表示内容は同じとなる。
【0087】
<4−4.第4の表示例(中空間)>
次に、第4の表示例として、共有領域として両テーブルの間に仮想的な空間(本明細書において「中空間」と称する)を設けることでユーザの作業領域を拡張する共同作業空間の提示について、図15図16を参照して説明する。
【0088】
図15は、第4の表示例におけるユーザA側の表示画面例を示す図である。図15に示す例は、図15右下に示すイメージトップビューにあるように、2つのテーブル(テーブルディスプレイ131A、テーブルディスプレイ131B)の間に共有領域の空間(3次元の中空間320)を設けた場合における、テーブルディスプレイ131Aとウィンドウディスプレイ133Aの表示画面例である。ここでは、中空間320に表示されているオブジェクト、および、中空間320に少なくとも一部の表示領域が含まれるオブジェクトを共有オブジェクトとみなす。
【0089】
また、本表示例では、テーブルディスプレイ131Aの表示領域は、ユーザのみ操作可能な領域(ユーザの作業領域)であって、テーブルディスプレイ131A上において中空間320に表示が掛からないオブジェクトは私有オブジェクトとみなしてもよい。また、ウィンドウディスプレイ133Aには、中空間320が表示され、中空間320よりも奥側には、仮想テーブル133bと、通信相手先の映像としてユーザBの映像が表示されている。これにより、ユーザAに対し、中空間320をユーザBと対面で見ているような視覚効果を提示することができる。仮想テーブル133bでは、ユーザB側におけるウィンドウディスプレイ133Bの表示画面が再現されている。
【0090】
ここで、本明細書においてオブジェクトは、2次元画像に限定されず、3次元画像であってもよい。中空間320では、例えば3次元オブジェクト204b、204c、204iが浮かんで表示されたり、2次元オブジェクト204a、204d、204eが中空間320の底面に表示されたりする。これらはいずれも共有領域である中空間320に表示が掛かるものであるため共有オブジェクトとみなし、ユーザAおよびユーザBの双方から操作することが可能である。また、これらのオブジェクトは、ユーザ操作により例えば表示位置がユーザAの作業領域(テーブルディスプレイ131A上)に移動され、中空間320の表示領域から外れた場合、ユーザAの私有オブジェクトとみなし、ユーザAのみが操作できるようにしてもよい。また、中空間320に表示されているオブジェクトを、ユーザBが、ユーザBの作業領域(テーブルディスプレイ131B上)に移動することも可能であり、この場合、ユーザBの私有オブジェクトとみなし、ユーザBのみが操作できるようにしてもよい。なお、ユーザBの作業領域(テーブルディスプレイ131B上)への移動は、ユーザA側から、ウィンドウディスプレイ133Aから見ることができる(具体的には、ウィンドウディスプレイ133Aの仮想テーブル133bにオブジェクトが移動して見える)。このように、各ユーザの操作に応じて、オブジェクトを、テーブルディスプレイ131Aと、ウィンドウディスプレイ133Aの中空間320と、仮想テーブル133b(相手側の作業領域)との間で、シームレスに(すなわち途切れることなく)移動させることができ、共同作業の利便性が向上する。
【0091】
中空間320の大きさは、相手との間合い、すなわち、仮想距離間隔をユーザ指定により適宜変更することで、調整することが可能である。仮想距離間隔を広げる指示を行った場合、中空間320の奥行き方向が伸長し、中空間320が広がると共に、中空間320の向こう側に表示されているユーザBの映像が小さくなり、相手との間合いが広がったと感じられる。一方、仮想距離間隔を狭くする指示を行った場合、中空間320の奥行き方向が短くなり、中空間320が狭くなると共に、中空間320の向こう側に表示されているユーザBの映像が大きくなり、相手との間合いが近くなったと感じられる。
【0092】
次いで、ユーザA側とユーザB側における実際の表示状態について図16を用いて説明する。図16は、第4の表示例における情報処理装置10Aおよび情報処理装置10Bの表示画面例を示す図である。本実施例では、テーブルディスプレイ131Aとテーブルディスプレイ131Bの間に中空間320があると想定し、中空間320を介してテーブルディスプレイ131Aとテーブルディスプレイ131Bの表示が接続されているように表示制御する。ここで、例えばオブジェクト204aおよび204eは、いずれも少なくとも表示の一部が共有領域である中空間320に掛かっているため、ユーザAおよびユーザBからの表示制御が可能な共有オブジェクトと認識される。各オブジェクトの表示位置や表示サイズは、ユーザにより適宜変更され得る。
【0093】
(中空間320を利用した表示パターン)
続いて、中空間320を利用した表示パターンについて、図17図20を参照して説明する。
【0094】
図17に示すように、中空間320を利用して片側のみにオブジェクトが見えるようにすることが可能である。具体的には、例えばウィンドウディスプレイ133Aにおいて、中空間320の手前側に2次元のオブジェクト205aを貼り付けるように表示させた場合、ユーザA側からのみ見えるようにしてもよい。すなわち、オブジェクト205aに対応する表示は、ユーザB側のウィンドウディスプレイ133Bでは非表示、若しくは、図17に示すように裏面表示205a’としてもよい。
【0095】
また、図18に示すように、ユーザA側とユーザB側の双方に同じオブジェクトを表示させてもよい。具体的には、例えばウィンドウディスプレイ133Aにおいて、中空間320の手前側に2次元のオブジェクト206aを貼り付けるように表示させた場合、ユーザB側のウィンドウディスプレイ133Bにおいても、同じのオブジェクト206a’を同じ座標で表示するようにしてもよい。
【0096】
図18に示す例では、ウィンドウディスプレイ133A、ウィンドウディスプレイ133Bにおけるオブジェクト206aの表示座標を同じにしたが、これに限定されず、図19に示すように、表示位置を反転させてもよい。すなわち、例えばウィンドウディスプレイ133Aにおいて、中空間320の手前側に2次元のオブジェクト207aを貼り付けるように表示させた場合、ユーザB側のウィンドウディスプレイ133Bでは、ウィンドウディスプレイ133Bにおいて、中空間320を介してユーザA側と対面状態で同じ位置になるようオブジェクト207a’を表示する。これにより、例えばユーザAがオブジェクト207aを指差した場合、ユーザB側からも、ウィンドウディスプレイ133B内においてユーザAが指差している位置に対応するオブジェクト207a’が表示されているため、よりスムーズに両者で作業を行うことが可能となる。
【0097】
また、図20に示すように、中空間320に3次元のオブジェクト208aを表示した場合、表示位置は、中空間320を介して対面状態となるようにしてもよい。
【0098】
以上、中空間320を用いた表示パターンについていくつか説明したが、ユーザA側とユーザB側とで表示方法は異なる設定としてもよい。
【0099】
(中空間320を利用した操作方法)
次に、中空間320を利用した操作方法について、図21図26を参照して説明する。
【0100】
図21に示すように、例えばテーブルディスプレイ131に表示されている2次元のオブジェクト209aをタッチしたままウィンドウディスプレイ133まで指を移動させて離すドラッグ&ドロップ操作により、中空間320の手前側に貼り付けるような表示を指示することができる。なお、タッチ操作に限定されず、マウスなどの外部機器を用いてオブジェクトを選択したり、表示面にタッチせずに何らかのジェスチャでオブジェクトを選択し、表示位置を移動させることも可能である。また、オブジェクトは3次元であってもよい。
【0101】
また、図22に示すように、例えばテーブルディスプレイ131に表示されている3次元のオブジェクト209bをタッチしたままウィンドウディスプレイ133まで指を移動させて離すドラッグ&ドロップ操作により、中空間320の内部に表示させるようにしてもよい。中空間320の内部への表示指示と、図21に示すような中空間320の手前側への表示指示は、タッチする指の数の違いや(例えば1本指でのドラッグ&ドロップ操作、2本指でのドラッグ&ドロップ操作、全ての指を揃えた状態でのドラッグ&ドロップ操作など)、ジェスチャの違い、マウスの操作の違い(右クリック、左クリック、ワンクリック、ダブルクリックなど)等によって区別するようにしてもよい。また、例えば中空間320の内部への表示指示と認識した場合、情報処理装置10は、図22に示すように、中空間320内部への表示移動となることを示すトップビュー400をウィンドウディスプレイ133などに表示してユーザに通知してもよい。
【0102】
また、中空間320の内部への表示は、3次元のオブジェクトに限定されず、当然、2次元のオブジェクトであってもよい。例えば図23左に示すように、テーブルディスプレイ131に表示されている2次元のオブジェクト209cを、所定の操作(例えば全ての指を揃えてタッチし、ドラッグさせる操作)によりウィンドウディスプレイ133側に移動させると、図23右に示すように、中空間320の内部にオブジェクト209cを表示させることが可能となる。
【0103】
次に、中空間320の内部に表示されているオブジェクトの操作について説明する。ウィンドウディスプレイ133の表示画面をタッチ操作してもよいが、図1に示すような配置構成の場合など、ウィンドウディスプレイ133まで手が届き難く、タッチ操作では操作し難い場合もある。そこで、例えば図24に示すように、中空間320の内部に表示されているオブジェクトを指差し等のジェスチャで選択し、表示位置の変更等を指示することが可能である。
【0104】
具体的には、例えば図24左に示すように、ユーザがウィンドウディスプレイ133において中空間320の内部に表示されているオブジェクト209dを指差すと、ポインタ322が表示される。ユーザのジェスチャは、上述したように情報処理装置10や周辺に設けられたデプスカメラ等のセンサ部121によりセンシングされ、入力情報認識部101により認識され得る。ユーザは、ポインタ322により任意のオブジェクト209dをしばらくの間(所定時間以上)ポインティングし続けることで、オブジェクト209dを選択することができる。情報処理装置10は、オブジェクト209dが選択されたことを、図24右に示すように、表示態様の変化等によりユーザにフィードバックしてもよい。ユーザは、図24右に示すように、例えばオブジェクト209dを選択した状態で指差しの向きを変えることで、オブジェクト209dの表示位置を変更することが可能となる。選択を解除する場合は、指差しをやめる。
【0105】
また、ジェスチャにより中空間320の内部に表示されているオブジェクトの表示サイズを変えることも可能である。例えば図25に示すように、ウィンドウディスプレイ133の中空間320の内部に表示されているオブジェクト209eを選択した状態で、オブジェクト209eを指している指とウィンドウディスプレイ133の表示画面との距離を調整することで、オブジェクト209eの大きさを任意に変更し得る。具体的には、例えば情報処理装置10は、図25左に示すように、指をオブジェクトに近付けるとオブジェクト209eが大きくなり、遠ざけると小さくなるよう表示制御する。ここでは一例として指差しの距離によりサイズを変更する場合について説明したが、本実施例はこれに限定されず、例えば対象のオブジェクトに対して、親指と人差し指を離すピンチアウト操作によりサイズを大きくしたり、親指と人差し指を近付けるピンチイン操作によりサイズを小さくしたりしてもよい。また、仮想距離間隔の調整も所定のジェスチャにより行ってもよい。例えば、ウィンドウディスプレイ133に対して指で円を描くように右回りまたは左回りに動かすことで、中空間320の大きさ(仮想距離間隔)を大きく(長く)または小さく(短く)することも可能である。
【0106】
また、指差しジェスチャにより、中空間320に表示が掛かる2次元のオブジェクトを選択することも可能である。具体的には、例えば図26に示すように、ウィンドウディスプレイ133において、向こう側から一部の表示領域が中空間320に掛かっているオブジェクト209fがある場合に、当該オブジェクト209fは共有オブジェクトとみなされるため、ユーザによる操作入力が受け付けられる。例えば、図26左に示すように、指差しジェスチャによりオブジェクト209fをポインティングすることで選択し、指差しの方向を動かすことで図26右に示すようにオブジェクト209fを移動させて、例えばユーザ側(テーブルディスプレイ131側)に持ってくることも可能となる。
【0107】
(オブジェクトの重なり表示)
図27は、オブジェクトの重なり表示について説明する図である。図27に示すように、各オブジェクト211は、表示位置によっては重なって表示される場合がある(例えばオブジェクト211aとオブジェクト211b、オブジェクト21cとオブジェクト211d)。表示が重なる際にいずれのオブジェクトを上に表示するかは、適宜設定することが可能である。例えば、ユーザが選択したオブジェクトを優先して上に表示してもよいし、どのユーザが操作したかに基づいて優先度を決定してもよい。また、オブジェクト毎に優先度を判断してもよい(重要フラグが設定されている場合など、重要なデータの場合は優先度を高くする、プッシュ通知などの緊急性の高いデータは優先度を高くする、といったことが想定される)。
【0108】
また、図27に示す例では、中空間320において、3次元のオブジェクト211cの上に、他の3次元のオブジェクト211dが重なっているが、通信相手側においてもウィンドウディスプレイ133の中空間320において、同様に、3次元のオブジェクト211cの上にオブジェクト211dが重なって見えるよう表示制御するようにしてもよい。
【0109】
なお、このようなオブジェクトの重なり表示制御は、図27に示すような中空間320を用いた表示例(第4の表示例)の場合に限定されず、上述した第1〜第3の表示例や、次に説明する第5の表示例の場合においても同様に適用し得る。
【0110】
(テーブル上のオブジェクトの整列表示)
図28は、テーブル上に表示されたオブジェクトの整列表示制御について説明する図である。図28上段に示すように、テーブルディスプレイ131に表示されたオブジェクト210aに対してダブルタップ等の所定の操作が行われた場合、情報処理装置10は、図28下段に示すように、当該オブジェクト210aの一辺を、テーブルディスプレイ131のユーザ側の辺に揃える(整列させる)表示制御を行い得る。この際、オブジェクト210aが、ユーザから見て正方向になる向きで揃えてもよい。かかる表示制御は、第1〜第5の表示例において適用することが可能である。
【0111】
<4−5.第5の表示例(集合)>
続いて、第5の表示例として、共同作業を行っているユーザが一方の側に仮想的に集合して作業を行っているように感じさせる共同作業空間の提示について、図29図33を参照して説明する。仮想的に集合させることで、両者が同じ方向からテーブル上のオブジェクト等を見ることができ、状況によっては共同作業がより行い易くなる。
【0112】
図29は、第5の表示例におけるユーザA側の表示画面例を示す図である。図29に示す例は、図29右下に示すイメージトップビューにあるように、2つのテーブル(テーブルディスプレイ131A、テーブルディスプレイ131B)を並べ、作業領域を拡張した場合において、ユーザBがユーザA側に仮想的に集合した際のテーブルディスプレイ131Aとウィンドウディスプレイ133Aの表示画面例である。
【0113】
図29に示すように、ユーザBがユーザA側に仮想的に集合する場合、情報処理装置10は、ユーザB側の映像を表示するウィンドウディスプレイ133Aにおいて、ユーザBの映像のみ切り出し、切り出した部分には背景画像(過去映像から取得してもよい)を表示させることで、対面にユーザBが居ない状況を表現することができる。また、ウィンドウディスプレイ133Aには、テーブルディスプレイ131Aを拡張する仮想テーブル133bが表示され、仮想テーブル133bに表示されているオブジェクトがユーザA側からも見える状態となっている。
【0114】
なお、集合した際に相手の顔を見てコミュニケーションを取りたい場合もあるため、ウィンドウディスプレイ133AにユーザBの人物のみ(背景は切り取る)を表示するようにしてもよい。
【0115】
テーブルディスプレイ131Aでは、ユーザBによるオブジェクトに対する操作を反映して手の画像等を表示してもよい。例えば図29に示すように、ユーザBがオブジェクト213aに対して操作を行っている場合は、テーブルディスプレイ131Aにおいて、オブジェクト213aを操作する手の画像330(3次元または2次元の画像)を表示する。これによりユーザAは、姿が見えなくともユーザBがどのオブジェクトを操作しているかを直感的に認識することができる。なお、ユーザBと音声のやり取りは通常通り行うことが可能である。
【0116】
次に、ユーザA側とユーザB側における実際の表示状態について図30を用いて説明する。図30は、第5の表示例における情報処理装置10Aおよび情報処理装置10Bの表示画面例を示す図である。図30上段には集合前におけるテーブルディスプレイ131Aの表示とテーブルディスプレイ131Bの表示の一例を示し、図30下段には例えばユーザBがユーザA側に集合した後におけるテーブルディスプレイ131Aの表示とテーブルディスプレイ131Bの表示の一例を示す。図30に示すように、ユーザBがユーザA側に集合した場合、ユーザB側のテーブルディスプレイ131Bの表示は、テーブルディスプレイ131Aと同じ表示画面となる。これにより、ユーザBがユーザA側からテーブルディスプレイ131Aを見ているような状況を提示することができる。この場合、ユーザA側のテーブル(テーブルディスプレイ131A)のみに表示されていたオブジェクトがテーブルディスプレイ131Bに表示されることとなり、ユーザBは、これらのオブジェクトを操作することが可能となる。なお、ユーザAの私有オブジェクトはユーザB側には表示させないようにしてもよい。
【0117】
また、ウィンドウディスプレイ133Bには、図29に示すウィンドウディスプレイ133Aと同様の映像、すなわちユーザB側の背景(ユーザBの映像は切り出し)を表示し、ユーザA側から見える状況と同じになるよう表示制御される。
【0118】
次いで、図31を参照して、集合時の画面遷移の一例について説明する。図31は、本実施例における集合時の画面遷移の一例を示す図である。図31上段には集合前における表示例、図31下段には、ユーザBがユーザA側に集合した際の画面遷移例を示す。図31に示すように、集合前は、情報処理装置10Aのウィンドウディスプレイ133AにはユーザBの映像が表示され、情報処理装置10Bのウィンドウディスプレイ133BにはユーザAの映像が表示されている。また、テーブル上のオブジェクト213(213a〜213cなど)の配置は、実際のテーブルディスプレイ131とウィンドウディスプレイ133内に表示されている仮想テーブルとが接続されて形成される1つのテーブルを、両者が対面で見ているよう表示制御される。
【0119】
そして、ユーザBがユーザA側に集合する指示が入力された場合、図31下段に示すように、ユーザA側のウィンドウディスプレイ133Aでは、例えばユーザBの映像のみを切り出してスライドアウトさせることで、ユーザBがユーザA側(こちら側)へ移動したように感じる表現を提示することができる。
【0120】
一方、ユーザB側のウィンドウディスプレイ133Bでは、図31下段に示すように、ユーザA側の映像が背景ごとスライドアウトすると共に、ユーザB側の映像(人物無し)をスライドインさせることで、ユーザB自身がユーザA側(向こう側)に移動したように感じる表現を提示することができる。さらに、ユーザB側では、テーブル上のオブジェクト213の配置を集合に併せて反転させる表示制御を行う。すなわち、ユーザBがユーザA側に集合する場合、ユーザB側(テーブルディスプレイ131B、ウィンドウディスプレイ133B)におけるテーブル上のオブジェクト213の見え方は、ユーザA側(テーブルディスプレイ131A、ウィンドウディスプレイ133A)と同様(ユーザA視点)になる。
【0121】
以上説明した仮想的な集合は、図29に示すようなテーブル拡張時(すなわち第2の表示例)に限定されず、他のいずれの表示例においても実現することが可能である。一例として、例えば中空間320を設けた表示例(第4の表示例)における仮想的な集合について図32図33を参照して説明する。
【0122】
(中空間320を設けた表示例における仮想的な集合)
図32は、本実施例による中空間を設けた表示例での仮想的な集合の画面遷移の一例を示す図である。図32上段には集合前における表示例を示し、図32下段には、ユーザBがユーザA側に集合した際の画面遷移例を示す。
【0123】
ウィンドウディスプレイ133A、ウィンドウディスプレイ133Bにおける人物や背景の表示変化は、図31を参照して説明した例と同様である。
【0124】
また、テーブル上のオブジェクト213の配置反転も、図31を参照して説明した例と同様である。
【0125】
ウィンドウディスプレイ133Bの中空間320に表示されていた3次元のオブジェクト213d、213eは、図32上段の集合前では、ユーザA側から表側が見え、ユーザB側から裏側が見える状態となっている。この場合に、ユーザBがユーザA側に集合すると、ユーザB側でもユーザA側と同様の表示が見えることになるため、図32下段に示すように、ウィンドウディスプレイ133Bにおいて、オブジェクト213d、213eは、ユーザA側からの見え方と同様に表側が表示される。
【0126】
以上、中空間を設けた表示例での仮想的な集合の画面遷移について説明した。次いで、中空間を設けた表示例での仮想的な集合時の動作処理について図33を参照して説明する。
【0127】
図33は、中空間を設けた表示例における集合時の表示制御処理の流れの一例を示すフローチャートである。図33に示すように、まず情報処理装置10は、ユーザが共同作業者(通信相手)に集合要請を呼び掛けた場合(ステップS203/Yes)、当該要請が通信相手に受け入れられたか否かを判断する(ステップS206)。通信相手に受け入れられたか否かに関する情報は、通信先装置から受信し得る。
【0128】
次に、情報処理装置10は、現状のテーブルディスプレイ131の映像は維持したまま(すなわちテーブル上のオブジェクトの配置は動かさず)、ウィンドウディスプレイ133の相手側映像から、こちら側に集合する人物(の映像のみ)を削除する(ステップS209)。
【0129】
次いで、情報処理装置10は、現状のオブジェクト表示情報を、通信先装置に送信する(ステップS212)。
【0130】
一方、ユーザが共同作業者(通信相手)から集合要請を呼び掛けられた場合(ステップS215/Yes)、当該要請をユーザが受け入れるか否かを判断する(ステップS218)。集合要請の受け入れは、例えばユーザの発話音声、ジェスチャ、リモートコントローラの操作等のユーザ入力に基づいて、入力情報認識部101により認識される。
【0131】
次に、ユーザが集合要請を受け入れた場合(ステップS218/Yes)、テーブル状態(テーブルを拡張しているか、中空間を設けているか、共有領域はどこか、など)を取得する(ステップS221)。
【0132】
次いで、情報処理装置10は、ウィンドウディスプレイ133に表示されているオブジェクトの表示を、(集合を呼び掛けた)相手側のウィンドウディスプレイ133におけるオブジェクトの表示と同じ表示に切り替える(ステップS224)。
【0133】
また、情報処理装置10は、テーブルディスプレイ131の映像を、(集合を呼び掛けた)相手側と同じ表示(すなわち、集合する側の映像(人物無し))に切り替える(ステップS227)。
【0134】
次に、情報処理装置10は、テーブルディスプレイ131に中空間が設けられている場合、中空間に表示されているオブジェクトを、(集合を呼び掛けた)相手側からの視点(例えば図32に示すように3次元オブジェクトを表側から見える表示)に切り替える(ステップS230)。
【0135】
<4−6.過去のオブジェクト表示の再生>
本実施形態による情報処理装置10は、随時、テーブル上に表示したオブジェクト情報を記憶部140に記録して過去履歴を蓄積し、ユーザ指定に応じて、過去のオブジェクト表示を呼び出す(テーブル上で再生する)ことが可能である。
【0136】
また、他のユーザ間で行われた共同作業時におけるオブジェクト情報の過去履歴を呼び出してユーザのテーブル上で再生することも可能である。
【0137】
過去のオブジェクト情報の呼び出しは、日時で指定してもよいし、予め何らかのタグを付けて保存していた場合は、タグに基づいて呼び出しを行ってもよい。
【0138】
<<5.その他の構成例>>
以上、本実施形態による情報処理システム1について具体的に説明したが、本実施形態のシステム構成は、図1図4に示す例に限定されない。本実施形態に含まれるシステム構成のバリエーションについて、図34図39を参照していくつか説明する。
【0139】
<5−1.その他の構成例1>
図34は、本実施形態によるその他の構成例1のシステム構成例を示す図である。上述した実施形態では、情報処理装置10が、各ディスプレイ(テーブル側、ウィンドウ側)とスピーカとを有しているが、これらはそれぞれ別装置であってもよい。具体的には、図34に示すように、例えばユーザA側には、テーブルディスプレイ131Aを有するテーブル装置10−1Aと、ウィンドウディスプレイ133Aを有するウィンドウ装置10−2Aと、スピーカ装置10−3Aとが配され、ユーザB側には、テーブルディスプレイ131Bを有するテーブル装置10−1Bと、ウィンドウディスプレイ133Bを有するウィンドウ装置10−2Bと、スピーカ装置10−3Bとが配されるシステム構成となっていてもよい。各装置は、ネットワーク3を介してそれぞれ互いに通信接続する。
【0140】
図35は、その他の構成例1によるテーブル装置10−1の構成例を示すブロック図である。図35に示すように、例えばテーブル装置10−1は、制御部100−1、通信部110−1、入力部120−1、テーブルディスプレイ131、および記憶部140−1を有する。
【0141】
制御部100−1は、入力情報認識部101、仮想距離間隔設定部102、共有領域判断部103、共有オブジェクト選択部104、およびテーブルディスプレイ表示制御部106として機能する。
【0142】
入力情報認識部101は、取得した入力情報や、入力情報から認識した結果を、適宜、ウィンドウ装置10−2に送信したり、ウィンドウ装置10−2から入力情報や認識結果を受信したりする。テーブルディスプレイ131に対する操作入力が、ウィンドウディスプレイ133の表示制御に影響する場合が想定されるためである(例えば、仮想距離間隔の設定変更、オブジェクトの表示移動など)。テーブル装置10−1とウィンドウ装置10−2は、有線または無線によりデータの送受信を可能とする。
【0143】
各構成の機能は、図4を参照して説明した各構成と同様であるため、ここでの詳細は省略する。
【0144】
図36は、その他の構成例1によるウィンドウ装置10−2の構成例を示すブロック図である。図36に示すように、例えばウィンドウ装置10−2は、制御部100−2、通信部110−2、入力部120−2、ウィンドウディスプレイ133、および記憶部140−2を有する。
【0145】
制御部100−2は、入力情報認識部101、仮想距離間隔設定部102、共有領域判断部103、共有オブジェクト選択部104、およびウィンドウディスプレイ表示制御部107として機能する。
【0146】
入力情報認識部101は、取得した入力情報や、入力情報から認識した結果を、適宜、テーブル装置10−1に送信したり、テーブル装置10−1から入力情報や認識結果を受信したりする。ウィンドウディスプレイ133に対する操作入力が、テーブルディスプレイ131の表示制御に影響する場合が想定されるためである(例えば、仮想距離間隔の設定変更、オブジェクトの表示移動など)。
【0147】
各構成の機能は、図4を参照して説明した各構成と同様であるため、ここでの詳細は省略する。
【0148】
(動作処理)
続いて、本構成例によるテーブル装置10−1とウィンドウ装置10−2の動作処理について図37を参照して説明する。図37は、その他の構成例1における表示制御処理の流れの一例を示すフローチャートである。
【0149】
図37に示すように、まず、テーブル装置10−1は、現状のテーブル状態(仮想距離間隔の設定など)を取得し(ステップS303)、テーブル状態に応じてテーブルディスプレイ131の表示制御を行う(ステップS306)。
【0150】
次いで、テーブル装置10−1は、表示情報を記憶部140−1に記録する(ステップS309)。
【0151】
次に、入力があった場合(ステップS312/Yes)、入力情報をウィンドウ装置10−2に送信し(ステップS315)、また、入力情報を通信相手側のテーブル装置10−1にも送信する(ステップS318)。
【0152】
一方、ウィンドウ装置10−2も、現状のテーブル状態(仮想距離間隔の設定など)を取得し(ステップS321)、テーブル状態に応じてウィンドウディスプレイ133の表示制御を行う(ステップS324)。
【0153】
次いで、ウィンドウ装置10−2は、表示情報を記憶部140−2に記録する(ステップS327)。
【0154】
次に、入力があった場合(ステップS330/Yes)、入力情報をテーブル装置10−1に送信し(ステップS333)、また、入力情報を通信相手側のウィンドウ装置にも送信する(ステップS336)。
【0155】
続いて、テーブル装置10−1は、取得した入力情報に応じて、仮想距離間隔の変更または/およびオブジェクトの変更を指定する(ステップS339)。これにより、テーブルディスプレイ131に表示されているオブジェクトに入力操作が反映される。
【0156】
また、ウィンドウ装置10−2も、取得した入力情報に応じて、仮想距離間隔の変更または/およびオブジェクトの変更を指定する(ステップS342)。これにより、ウィンドウディスプレイ133に表示されているオブジェクトに入力操作が反映される。
【0157】
<5−2.その他の構成例2>
次に、その他の構成例2について説明する。上述した実施形態では、テーブルディスプレイ131とウィンドウディスプレイ133を用いて共同作業空間を提供するシステムについて説明したが、本実施形態はこれに限定されず、例えばテーブルディスプレイ131のみ、若しくは、ウィンドウディスプレイ133のみを用いて共同作業空間を提供するシステムであってもよい。ここでは、一例として、テーブルディスプレイ131のみを用いて共同作業空間を提供するシステムについて、図38図39を参照して具体的に説明する。
【0158】
図38は、本実施形態のその他の構成例2について説明する図である。図38に示すように、本システム(情報処理システム1b)は、テーブルディスプレイ131Aを有する情報処理装置10−5Aと、テーブルディスプレイ131Bを有する情報処理装置10−5Bとを含む構成により実現される。
【0159】
テーブルディスプレイ131Aに表示されている表示画像20(オブジェクト)は、2次元画像であってもよいし、3次元画像であってもよい。テーブルディスプレイ131A上には共有領域が設定され、共有領域に少なくとも一部の表示が含まれるオブジェクトは共有オブジェクトとみなされる。例えばテーブルディスプレイ131A全面を共有領域に設定してもよい。
【0160】
この場合、テーブルディスプレイ131Aとテーブルディスプレイ131Bの表示画面は、例えば図38右下のトップビューに示すように同じ配置となる。テーブルディスプレイ131全面が共有領域の場合、テーブルディスプレイ131に表示されている全てのオブジェクトは共有オブジェクトとみなされ、ユーザAおよびユーザBはいずれのオブジェクトも操作することが可能となる。そして、一方のユーザによるオブジェクトに対する操作は、他方のテーブル上に反映され、遠隔地においてもテーブル上で共同作業を行うことが可能となる。
【0161】
本構成例では、ウィンドウディスプレイ133が設けられておらず通信相手の姿は見えないが、通信相手の操作入力はテーブル上に反映されるため(例えばオブジェクトの移動など)、共同作業が可能となる。また、情報処理装置10−5Aは、スピーカ135およびマイクロホン(入力部120−5に含まれる)を備え、通信相手と音声でのやり取りも交えながら共同作業を行うことも可能となる。
【0162】
図39は、本実施形態のその他の構成例2に係る情報処理装置10−5の構成例を示すブロック図である。
【0163】
図39に示すように、情報処理装置10−5は、制御部100−5、通信部110−5、入力部120−5、出力部130−5、および記憶部140−5を有する。
【0164】
制御部100−5は、入力情報認識部101、仮想距離間隔設定部102、共有領域判断部103、共有オブジェクト選択部104、テーブルディスプレイ表示制御部106、および音声出力制御部108として機能する。
【0165】
各構成の機能は、図4を参照して説明した各構成と同様であるため、ここでの詳細は省略する。
【0166】
<<6.3地点以上を結ぶ共同作業空間の提示>>
上述した実施形態では、空間Aと空間Bの2地点を結ぶ共同作業空間の提示について主に説明したが、本開示はこれに限定されず、3地点以上を結ぶ共同作業空間を提示することも可能である。以下、3地点以上を結んだ共同作業空間における表示画面例について、図40図43を参照して説明する。
【0167】
図40は、3地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例を示す図である。ここでは、例えばユーザAが居る空間Aと、ユーザBが居る空間Bと、ユーザCが居る空間Cとを結ぶ場合を想定する。各ユーザは、それぞれ図1に示すような情報処理装置10を用い、テーブルを共有することが可能となる。また、仮想距離間隔は各ユーザにより適宜調整することが可能である。
【0168】
共有領域の設定は、例えば図40に示すように、各ユーザのテーブルが重なった領域としてもよい。各テーブルディスプレイ131A、131B、131Cの配置(仮想空間における互いの離隔距離)は、仮想距離間隔に応じて調整され、また、共有領域の大きさも、仮想距離間隔に応じて変化する各テーブルの配置により決定されようにしてもよい。図40では、仮想距離間隔が徐々に短くなり、各テーブルが近付く様子を示している。
【0169】
図40に示すように、テーブルディスプレイ131Aとテーブルディスプレイ131Bとが重なって形成される共有領域324aは、ユーザAとユーザBとの共有領域であって、共有領域324aに少なくとも一部の表示が含まれるオブジェクトは、ユーザAとユーザBからの操作入力が可能な共有オブジェクトとみなされる。
【0170】
また、テーブルディスプレイ131Aとテーブルディスプレイ131Cとが重なって形成される共有領域324bは、ユーザAとユーザCとの共有領域であって、共有領域324bに少なくとも一部の表示が含まれるオブジェクトは、ユーザAとユーザCからの操作入力が可能な共有オブジェクトとみなされる。
【0171】
また、テーブルディスプレイ131Bとテーブルディスプレイ131Cとが重なって形成される共有領域324cは、ユーザBとユーザCとの共有領域であって、共有領域324cに少なくとも一部の表示が含まれるオブジェクトは、ユーザBとユーザCからの操作入力が可能な共有オブジェクトとみなされる。
【0172】
また、図40右に示すように、テーブルディスプレイ131Aとテーブルディスプレイ131Cとテーブルディスプレイ131Dが重なって形成される共有領域325は、ユーザAとユーザBとユーザCの共有領域であって、共有領域325に少なくとも一部の表示が含まれるオブジェクトは、ユーザAとユーザBとユーザCからの操作入力が可能な共有オブジェクトとみなされる。
【0173】
図41は、4地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例を示す図である。ここでは、例えばユーザAが居る空間Aと、ユーザBが居る空間Bと、ユーザCが居る空間Cと、ユーザDが居る空間Dとを結ぶ場合を想定する。各ユーザは、それぞれ図1に示すような情報処理装置10を用い、テーブルを共有することが可能となる。また、仮想距離間隔は各ユーザにより適宜調整することが可能である。
【0174】
共有領域の設定は、例えば図40と同様に、各ユーザのテーブルが重なった領域としてもよい。各テーブルディスプレイ131A、131B、131C、131Dの配置(仮想空間における互いの離隔距離)は、仮想距離間隔に応じて調整され、また、共有領域の大きさも、仮想距離間隔に応じて変化する各テーブルの配置により決定されようにしてもよい。図41では、仮想距離間隔が徐々に短くなり、各テーブルが近付く様子を示している。
【0175】
図41に示すように、例えばテーブルディスプレイ131Aとテーブルディスプレイ131Bとが重なって形成される共有領域327aは、ユーザAとユーザBとの共有領域であって、共有領域327aに少なくとも一部の表示が含まれるオブジェクトは、ユーザAとユーザBからの操作入力が可能な共有オブジェクトとみなされる。
【0176】
また、例えばテーブルディスプレイ131Aとテーブルディスプレイ131Dとが重なって形成される共有領域327bは、ユーザAとユーザDとの共有領域であって、共有領域327bに少なくとも一部の表示が含まれるオブジェクトは、ユーザAとユーザDからの操作入力が可能な共有オブジェクトとみなされる。
【0177】
また、例えばテーブルディスプレイ131Bとテーブルディスプレイ131Cとが重なって形成される共有領域327cは、ユーザBとユーザCとの共有領域であって、共有領域327cに少なくとも一部の表示が含まれるオブジェクトは、ユーザBとユーザCからの操作入力が可能な共有オブジェクトとみなされる。
【0178】
また、例えばテーブルディスプレイ131Cとテーブルディスプレイ131Dとが重なって形成される共有領域327dは、ユーザCとユーザDとの共有領域であって、共有領域327dに少なくとも一部の表示が含まれるオブジェクトは、ユーザCとユーザDからの操作入力が可能な共有オブジェクトとみなされる。
【0179】
以上、3地点以上を結ぶ共同作業空間を提示する際のユーザA側の表示画面例について説明した。なお、各テーブルディスプレイ131の形状は図40図41に示すような長方形に限定されず、正方形や、多角形、円形、楕円形等の任意の形状であってもよい。
【0180】
ここで、テーブルディスプレイ131が正方形の場合における、3地点以上を結ぶ共同作業空間を提示する際のユーザA側の表示画面例の一例を図42図43に示す。
【0181】
図42は、テーブルディスプレイ131が正方形の場合における、3地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例を示す図である。また、図43は、テーブルディスプレイ131が正方形の場合における、4地点を結ぶ共同作業空間を提示する際のユーザA側の表示画面例を示す図である。
【0182】
いずれの場合も、図40および図41と同様に、各テーブルディスプレイ131の配置(仮想空間における互いの離隔距離)は、仮想距離間隔に応じて調整される。共有領域の設定は、各ユーザのテーブルが重なった領域とされる。また、各共有領域328(328a〜328c)、329(329a〜329d)の大きさは、仮想距離間隔に応じて変化する各テーブルの配置により決定されようにしてもよい。
【0183】
また、4地点を結ぶ共同作業空間の提示における各テーブルディスプレイ131の重なり方は、図41図43に示す例に限定されず、例えば図44に示すように近付いて重なるようにしてもよい。
【0184】
<<7.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、双方向通信において、通信相手とあたかも同じ空間で作業をしているかのように感じさせる共同作業空間を提示することが可能となる。
【0185】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0186】
例えば、上述した情報処理装置10に内蔵されるCPU、ROM、およびRAM等のハードウェアに、情報処理装置10の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
【0187】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0188】
なお、本技術は以下のような構成も取ることができる。
(1)
第1の表示部と、
通信相手側の空間から取得した画像を表示する第2の表示部と、
前記第1の表示部および前記第2の表示部の表示制御を行う制御部と、
を備え、
前記制御部は、
前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、情報処理装置。
(2)
前記情報処理装置は通信部を備え、
前記制御部は、
ユーザによる前記共有オブジェクトに対する操作入力情報を当該共有オブジェクトの表示に反映させると共に、当該操作入力情報を前記通信部から前記通信相手側に送信する制御と、
前記通信部により前記通信相手側から受信した、前記通信相手側に表示されている前記共有オブジェクトと同一の共有オブジェクトに対する前記通信相手側における操作入力情報を、前記第1の表示部または前記第2の表示部の少なくともいずれかに表示している前記共有オブジェクトの表示に反映させる制御と、を行う、前記(1)に記載の情報処理装置。
(3)
前記制御部は、
前記第1の表示部または前記第2の表示部の少なくともいずれかに表示している前記共有オブジェクトの情報を前記通信相手側と共有し、前記通信相手側と同じ共有オブジェクトを表示制御し、
前記第1の表示部または前記第2の表示部に表示する1以上の前記共有オブジェクトの配置を、前記通信相手側における前記共有オブジェクトの配置と対応させる表示制御を行う、前記(2)に記載の情報処理装置。
(4)
前記制御部は、
前記第1の表示部の表示領域に、前記通信相手側による操作が可能な相手側作業領域と、前記ユーザによる操作が可能なユーザ作業領域とが重なった領域である共有領域を設定し、
前記共有領域に表示が及ぶオブジェクトを前記共有オブジェクトと認識する、前記(3)に記載の情報処理装置。
(5)
前記第1の表示部の表示面が略水平方向に位置し、
前記第2の表示部の表示面が前記第1の表示部の表示面に対して略直交する方向に配置された状態において、
前記制御部は、
前記第1の表示部に、前記共有オブジェクトを表示し、
前記第2の表示部に、通信相手の映像を表示する、
前記(4)に記載の情報処理装置。
(6)
前記制御部は、
前記第1の表示部に表示する前記共有オブジェクトの全体の配置が、前記通信相手側において前記第1の表示部に対応する第3の表示部に表示される前記共有オブジェクトと同一の共有オブジェクトの全体の配置に対して、上下左右が反転した関係となる表示制御を行う、前記(5)に記載の情報処理装置。
(7)
前記制御部は、
ユーザ指示に応じて、前記第1の表示部に表示する前記共有オブジェクトの全体の配置を、前記第3の表示部に表示される前記共有オブジェクトと同一の共有オブジェクトの全体の配置と同じにする表示制御を行う、前記(6)に記載の情報処理装置。
(8)
前記第1の表示部の表示面が略水平方向に位置し、
前記第2の表示部の表示面が前記第1の表示部の表示面に対して略直交する方向に配置された状態において、
前記制御部は、
前記第1の表示部に、前記共有オブジェクトを表示し、
前記第2の表示部に、通信相手と、前記通信相手側の作業領域の映像を表示する、
前記(4)に記載の情報処理装置。
(9)
前記制御部は、
前記通信相手側の作業領域を、前記第1の表示部の表示面に隣接するよう、前記第2の表示部の表示領域のうち前記第1の表示部の表示面が位置する側に表示する、前記(8)に記載の情報処理装置。
(10)
前記制御部は、
前記第1の表示部の表示面のうち、前記第2の表示部の表示面と隣接する側に前記共有領域を設定し、
前記共有領域の表示画面は、前記通信相手側における前記第1の表示部に対応する第3の表示部に同様に設定された共有領域の表示画面と同じ表示に表示制御する、前記(9)に記載の情報処理装置。
(11)
前記制御部は、
前記通信相手側の第3の表示部の表示情報に基づいて、前記第2の表示部に含まれる前記通信相手側の作業領域の表示を制御し、前記第2の表示部に含まれる前記通信相手側の作業領域で前記通信相手側の前記第3の表示部の表示画面を再現する表示制御を行う、前記(9)または(10)に記載の情報処理装置。
(12)
前記制御部は、
前記第1の表示部の表示領域に、前記ユーザによる操作が可能なユーザ作業領域を設定し、
前記第2の表示部の表示領域に、前記通信相手側による操作が可能な相手側作業領域と、前記ユーザによる操作が可能なユーザ作業領域とが重なった領域である共有領域を設定し、
前記共有領域に表示が及ぶオブジェクトを前記共有オブジェクトと認識する、前記(3)に記載の情報処理装置。
(13)
前記制御部は、
前記第2の表示部において、前記共有領域に相当する仮想的な3次元空間と、当該3次元空間よりも奥側に前記通信相手側の映像を配置して表示する、前記(12)に記載の情報処理装置。
(14)
前記制御部は、
前記仮想的な3次元空間に、3次元または2次元の前記共有オブジェクトを表示する、前記(13)に記載の情報処理装置。
(15)
前記制御部は、
前記仮想的な3次元空間を、前記第1の表示部の表示面に隣接するよう、前記第2の表示部の表示領域のうち前記第1の表示部の表示面が位置する側を含めて表示し、
さらに前記通信相手側における前記第1の表示部に対応する第3の表示部の表示を再現する作業領域を、前記3次元空間に隣接するよう配置し、
前記ユーザまたは前記通信相手側の操作入力に応じて、前記共有オブジェクトを、前記第1の表示部、前記第2の表示部に表示する3次元空間、および前記第2の表示部に表示する前記相手側作業領域との間でシームレスに移動させる、前記(13)または(14)に記載の情報処理装置。
(16)
前記制御部は、
前記第1の表示部の表示領域に、前記ユーザによる操作が可能なユーザ作業領域を設定し、
前記第2の表示部の表示領域に、前記通信相手側における前記第1の表示部に対応する第3の表示部の表示を再現する相手側作業領域を表示し、
前記相手側作業領域は、前記第1の表示部の表示面と隣接するよう、前記第2の表示部の表示領域のうち前記第1の表示部の表示面が位置する側に表示され、
さらに前記制御部は、
前記第1の表示部と前記第2の表示部の前記相手側作業領域とに跨って表示されるオブジェクトを前記共有オブジェクトと認識する、前記(3)に記載の情報処理装置。
(17)
前記制御部は、
設定された仮想距離間隔に応じて、前記第1の表示部におけるユーザ作業領域と相手側作業領域とが重なった共有領域の設定、または、前記第2の表示部における前記共有領域の設定を行う、前記(3)から16のいずれか1項に記載の情報処理装置。
(18)
前記制御部は、
集合要請に応じてユーザ側に集合する場合、前記第2の表示部に表示する前記通信相手側の映像から通信相手の姿を非表示にする表示制御を行い、
前記集合要請に応じて前記通信相手側に集合する場合、前記第1の表示部または前記第2の表示部に表示されている前記共有オブジェクトの配置を、前記通信相手側からの視点に切り換える表示制御を行う、前記(3)〜(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサが、
第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部の表示制御を行うことと、
前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示することと、
を含む、情報処理方法。
(20)
コンピュータを、
第1の表示部と、通信相手側の空間から取得した画像を表示する第2の表示部の表示制御を行う制御部として機能させ、
前記制御部は、
前記第1の表示部または前記第2の表示部の少なくともいずれかに、少なくとも前記通信相手側の作業領域に表示が及ぶ共有オブジェクトを表示する制御を行う、プログラム。
【符号の説明】
【0189】
10、10−5 情報処理装置
10−1 テーブル装置
10−2 ウィンドウ装置
10−3 スピーカ装置
100 制御部
101 入力情報認識部
102 仮想距離間隔設定部
103 共有領域判断部
104 共有オブジェクト選択部
105 表示制御部
106 テーブルディスプレイ表示制御部
107 ウィンドウディスプレイ表示制御部
108 音声出力制御部
110 通信部
120 入力部
121 センサ部
123 カメラ
125 マイク
130 出力部
131(131A〜131D) テーブルディスプレイ
133 ウィンドウディスプレイ
133b 仮想テーブル
135 スピーカ
140 記憶部
201、202、204、205、206、207、208、209、210、211、213 オブジェクト
300、324、325、327、328 共有領域
320 中空間
322 ポインタ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
【国際調査報告】