特表-19123888IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2019-123888情報処理システム、情報処理方法、および、プログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年6月27日
【発行日】2020年12月24日
(54)【発明の名称】情報処理システム、情報処理方法、および、プログラム
(51)【国際特許分類】
   G06F 3/01 20060101AFI20201127BHJP
   G06F 3/0486 20130101ALI20201127BHJP
   G06F 3/0488 20130101ALI20201127BHJP
   G09G 5/38 20060101ALI20201127BHJP
   G09G 5/36 20060101ALI20201127BHJP
【FI】
   G06F3/01 510
   G06F3/0486
   G06F3/0488
   G09G5/38 A
   G09G5/36 520E
【審査請求】未請求
【予備審査請求】未請求
【全頁数】47
【出願番号】特願2019-560863(P2019-560863)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年11月12日
(31)【優先権主張番号】特願2017-242317(P2017-242317)
(32)【優先日】2017年12月19日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】池田 哲男
(72)【発明者】
【氏名】大場 晴夫
(72)【発明者】
【氏名】新島 誠
(72)【発明者】
【氏名】福田 玲
(72)【発明者】
【氏名】マシュー ディキンソン フォレストジュニア
【テーマコード(参考)】
5C182
5E555
【Fターム(参考)】
5C182AA02
5C182AA03
5C182AA04
5C182AA13
5C182AB01
5C182AB02
5C182AB06
5C182AB08
5C182AB35
5C182AB37
5C182AC02
5C182AC03
5C182AC43
5C182BA01
5C182BA03
5C182BA06
5C182BA12
5C182BA14
5C182BA35
5C182BA54
5C182BA55
5C182BA65
5C182BA66
5C182BA75
5C182BC22
5C182BC25
5C182BC26
5C182CB12
5C182CB42
5C182CB44
5C182CC03
5C182CC13
5C182DA18
5C182DA19
5C182DA44
5E555AA12
5E555AA26
5E555BA02
5E555BA13
5E555BB02
5E555BB13
5E555BC09
5E555CA12
5E555CB08
5E555CB16
5E555CB32
5E555CC26
5E555DA05
5E555DB51
5E555DB53
5E555DC19
5E555FA00
(57)【要約】
【課題】ある表示面内のオブジェクトを転送オブジェクトに対して移動させる操作に適応的に当該表示面の表示を制御することが可能な、情報処理システム、情報処理方法、およびプログラムを提案する。
【解決手段】第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、前記第1の操作の後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、を備える、情報処理システム。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、
前記第1の操作の後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、
を備える、情報処理システム。
【請求項2】
前記処理部は、前記第2の操作の検出結果に基づいて、前記第1のオブジェクトに対応する情報を前記第2の表示面に表示させる、請求項1に記載の情報処理システム。
【請求項3】
前記第2の操作は、前記第1のオブジェクトに対する操作状態を所定の操作状態のまま維持しながら、前記第1の操作に継続して行われる操作である、請求項2に記載の情報処理システム。
【請求項4】
前記所定の表示制御は、前記第2の表示面における第1の対象領域内の一以上の表示情報を前記第1の表示面に表示させることを含む、請求項3に記載の情報処理システム。
【請求項5】
前記第1の対象領域は、前記第2の表示面内の一部の領域であり、
前記処理部は、さらに前記第2の操作の検出結果に基づいて、前記第1の対象領域を前記第2の表示面内の第1の領域から前記第2の表示面内の第2の領域へと変更し、
前記第1の対象領域が前記第1の領域から前記第2の領域へ変更された場合には、前記処理部は、前記第1の表示面に表示される表示情報を、前記第1の領域内の一以上の表示情報から、前記第2の領域内の一以上の表示情報へ切り替える、請求項4に記載の情報処理システム。
【請求項6】
前記第1の対象領域は、前記第2の表示面の略全体であり、
前記所定の表示制御は、前記第2の表示面の略全体に表示されている一以上の表示情報を示すマップ画像を前記第1の表示面に表示させることを含み、
前記マップ画像のサイズは、前記第1の表示面のサイズよりも小さい、請求項4に記載の情報処理システム。
【請求項7】
前記第2の表示面が位置する場所は、前記第1の表示面が位置する場所から遠隔しており、
前記処理部は、前記第1の表示面が位置する場所および前記第2の表示面が位置する場所のそれぞれから遠隔した場所に位置する第3の表示面に、前記第2の表示面における第2の対象領域内の一以上の表示情報を表示させ、
前記第1の対象領域内の一以上の表示情報が前記第1の表示面に表示されている間に、前記処理部は、前記第1の対象領域と前記第2の対象領域との位置関係を示す表示を前記第1の表示面にさらに表示させる、請求項4に記載の情報処理システム。
【請求項8】
前記第2の対象領域内の一以上の表示情報が前記第3の表示面に表示されている間に、前記第3の表示面において第2のユーザがポインティングしている位置を示すポインティング情報を受信する受信部をさらに備え、
前記第1の対象領域内の一以上の表示情報が前記第1の表示面に表示されている間に、前記処理部は、前記ポインティング情報が示すポインティング位置に対応する、前記第1の表示面内の位置に所定の画像をさらに表示させる、請求項7に記載の情報処理システム。
【請求項9】
前記処理部は、さらに、前記第1のオブジェクトに対応する情報の、前記第2の表示面における転送位置を前記第2の操作の検出結果に基づいて決定する、請求項4に記載の情報処理システム。
【請求項10】
前記第1の対象領域は、前記第2の表示面の略全体であり、
前記所定の表示制御は、前記第2の表示面の略全体に表示されている一以上の表示情報を示すマップ画像を前記第1の表示面に表示させることを含み、
前記マップ画像のサイズは、前記第1の表示面のサイズよりも小さく、
前記第2の操作は、前記第1のオブジェクトに対応する情報の前記第2の表示面における転送位置を、前記マップ画像において前記第1のユーザが指定することを含む、請求項9に記載の情報処理システム。
【請求項11】
前記第1のオブジェクトに対応する情報は、前記第1のオブジェクトに対応する画像であり、
前記処理部は、さらに、前記第2の表示面における前記転送位置に、前記第1のオブジェクトに対応する画像を表示させる、請求項9に記載の情報処理システム。
【請求項12】
前記処理部は、さらに、前記第1の表示面に対応する複数の表示面の中から、前記第1のオブジェクトに対応する情報の転送先の少なくとも一つの表示面を、前記一以上の所定の転送オブジェクトの状態を示す情報と前記第1の操作の検出結果とに基づいて決定し、
前記複数の表示面は、前記第2の表示面を含む、請求項3に記載の情報処理システム。
【請求項13】
前記一以上の所定の転送オブジェクトは、複数存在し、
前記複数の所定の転送オブジェクトは、それぞれ実オブジェクトであり、
前記第1の操作が検出された場合に、前記処理部は、前記複数の所定の転送オブジェクトのうちのいずれか2つの転送オブジェクトの間の距離が所定の閾値以下であるか否かと、当該いずれか2つの転送オブジェクトの並び方が所定の並び方であるか否かとに基づいて、前記複数の表示面の中から、前記第1のオブジェクトに対応する情報の転送先の少なくとも一つの表示面を決定する、請求項12に記載の情報処理システム。
【請求項14】
前記所定の転送オブジェクトは、複数の面を有する実オブジェクトであり、
前記所定の転送オブジェクトが有する前記複数の面の各々は、前記複数の表示面のうちの互いに異なる表示面と関連付けられており、
前記第1の操作は、前記所定の転送オブジェクトが有する前記複数の面のうちの一つの面上に前記第1のユーザが前記第1のオブジェクトを配置することを含み、
前記第1の操作が検出された場合には、前記処理部は、前記所定の転送オブジェクトが有する前記複数の面のうちの前記第1のオブジェクトが配置された面に関連付けられている表示面を、前記第1のオブジェクトに対応する情報の転送先の表示面として決定する、請求項12に記載の情報処理システム。
【請求項15】
前記所定の転送オブジェクトは、少なくとも一つの傾斜面を有する実オブジェクトであり、
前記第1の操作は、前記所定の転送オブジェクトが有する前記少なくとも一つの傾斜面のうちのいずれかの上に前記第1のユーザが前記第1のオブジェクトを配置することを含み、
前記第1の操作が検出された場合には、前記処理部は、前記複数の表示面の中から、前記第1のオブジェクトが向いている方向に位置する表示面を、前記第1のオブジェクトに対応する情報の転送先の表示面として決定する、請求項12に記載の情報処理システム。
【請求項16】
前記所定の転送オブジェクトは、実オブジェクトであり、
前記第1のオブジェクトに対応する画像が前記第2の表示面に表示された際に、前記処理部は、前記第1の操作中の、前記所定の転送オブジェクトに対する前記第1のオブジェクトの移動経過の検出結果と前記所定の転送オブジェクトの姿勢の検出結果とに基づいて、前記第2の表示面内の当該画像の表示位置を連続的に変化させる、請求項12に記載の情報処理システム。
【請求項17】
前記第1のオブジェクトに対応する情報は、前記第1のオブジェクトに対応する画像であり、
前記第2の表示面に関連する情報は、前記第2の表示面に関連する、文字列の変換ルール情報を含み、
前記第1のオブジェクト内に第1の文字列が含まれる場合には、前記処理部は、前記第2の表示面に関連する、文字列の変換ルール情報と前記第1の文字列とに基づいて変換された第2の文字列を含む画像を、前記第1のオブジェクトに対応する画像として前記第2の表示面に表示させる、請求項12に記載の情報処理システム。
【請求項18】
前記第1のオブジェクトに対応する情報は、前記第1のオブジェクトに対応する画像であり、
前記第2の表示面に関連する情報は、前記第2の表示面に関連する、画像のフォーマットの変換ルール情報を含み、
前記処理部は、前記第2の表示面に関連する、画像のフォーマットの変換ルール情報と前記第1のオブジェクトとに基づいて決定されたフォーマットの画像を、前記第1のオブジェクトに対応する画像として前記第2の表示面に表示させる、請求項12に記載の情報処理システム。
【請求項19】
第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行うことと、
プロセッサが、前記第1の操作の検出時以後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更することと、
を含む、情報処理方法。
【請求項20】
コンピュータを、
第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、
前記第1の操作の検出時以後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム、情報処理方法、および、プログラムに関する。
【背景技術】
【0002】
従来、AR(Augmented Reality)に関する技術が各種開発されている。ARでは、ユーザが位置する環境内のオブジェクトに関連する付加情報を当該ユーザに対して提示することができる。
【0003】
例えば、下記特許文献1には、撮像された画像を解析することによりマーカーを検出し、そして、検出されたマーカーに関連付けられている機能を呼び出す技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015−90524号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術では、ある表示面内のオブジェクトを転送オブジェクトに対して移動させる操作が検出された場合に、当該操作に適応的に当該表示面の表示を適切に制御することは考慮されていなかった。
【0006】
そこで、本開示では、ある表示面内のオブジェクトを転送オブジェクトに対して移動させる操作に適応的に当該表示面の表示を制御することが可能な、新規かつ改良された情報処理システム、情報処理方法、および、プログラムを提案する。
【課題を解決するための手段】
【0007】
本開示によれば、第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、前記第1の操作の後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、を備える、情報処理システムが提供される。
【0008】
また、本開示によれば、第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行うことと、プロセッサが、前記第1の操作の検出時以後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更することと、を含む、情報処理方法が提供される。
【0009】
また、本開示によれば、コンピュータを、第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、前記第1の操作の検出時以後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、として機能させるためのプログラムが提供される。
【発明の効果】
【0010】
以上説明したように本開示によれば、ある表示面内のオブジェクトを転送オブジェクトに対して移動させる操作に適応的に当該表示面の表示を制御することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0011】
図1】本開示の実施形態に係る情報処理システム10の構成例を示した図である。
図2】同実施形態に係る情報処理システム10の別の構成例を示した図である。
図3】同実施形態に係る情報処理システム10の別の構成例を示した図である。
図4】同実施形態に係る情報処理システム10の別の構成例を示した図である。
図5】同実施形態に係るシステムの別の構成例を示した図である。
図6】同実施形態に係る情報処理システム10の機能構成の一例を示したブロック図である。
図7】同実施形態に係る、オブジェクトに対応する情報を別の表示面に転送させるための転送操作の一例を示した図である。
図8】同実施形態に係る面属性情報DB128の構成例を示した図である。
図9A】同実施形態に係る面属性適合処理部104の機能の一例を示した図である。
図9B】同実施形態に係る面属性適合処理部104の機能の一例を示した図である。
図10A】同実施形態に係る面属性適合処理部104の機能の別の例を示した図である。
図10B】同実施形態に係る面属性適合処理部104の機能の別の例を示した図である。
図11】同実施形態に係る処理の流れの一部を示したフローチャートである。
図12】同実施形態に係る処理の流れの一部を示したフローチャートである。
図13】本実施形態の応用例1に係る、オブジェクトに対応する画像の転送例を示した図である。
図14】同応用例1に係る、オブジェクトに対応する画像の別の転送例を示した図である。
図15】本実施形態の応用例2に係る、オブジェクトに対応する画像の転送例を示した図である。
図16】同応用例2に係る、オブジェクトに対応する画像の別の転送例を示した図である。
図17】本実施形態の応用例3に係る、オブジェクトに対応する画像の転送例を示した図である。
図18】同応用例3に係る、オブジェクトに対応する画像の別の転送例を示した図である。
図19A】本実施形態の応用例4に係る、オブジェクトに対応する画像の転送操作の例を示した図である。
図19B】同応用例4に係る、オブジェクトに対応する画像の転送例を示した図である。
図20】本実施形態の応用例5に係る面属性情報DB128の構成例を示した図である。
図21A】同応用例5に係る、オブジェクトに対応する画像の転送操作の例を示した図である。
図21B】同応用例5に係る、転送対象のオブジェクトに対応する画像を、転送先の表示面に応じて変換して表示させた例を示した図である。
図22】本実施形態の応用例6に係るシステムの構成例を示した図である。
図23】同応用例6に係る面属性情報DB128の構成例を示した図である。
図24A】同応用例6に係る、スマートフォン50の表示画面に対する、オブジェクトに対応する画像の転送操作の例を示した図である。
図24B】同応用例6に係る、転送対象のオブジェクトに対応する画像を、転送先の表示面に応じて変換して表示させた例を示した図である。
図24C】同応用例6に係る、転送対象のオブジェクトに対応する画像を、転送先の表示面に応じて変換して表示させた例を示した図である。
図25】本実施形態の応用例7に係る面属性情報DB128の構成例を示した図である。
図26A】同応用例7に係る、オブジェクトに対応する画像の転送操作の例を示した図である。
図26B】同応用例7に係る、転送対象のオブジェクトに対応する画像を、転送先の表示面に応じて変換して表示させた例を示した図である。
図27A】本実施形態の応用例8に係る、オブジェクトに対応する画像の転送操作の例を示した図である。
図27B】同応用例8に係る、オブジェクトに対応する画像の転送例を示した図である。
図27C】同応用例8に係る、転送先の表示面内の対象領域内の表示情報を、転送元の表示面に表示させた例を示した図である。
図27D図27Cに示したタイミングにおける、転送先の表示面の表示例を示した図である。
図28A】本実施形態の応用例9に係る、転送先の表示面内の対象領域をスクロールさせるための、転送元の表示面内の操作の一例を示した図である。
図28B図28Aに示した操作に基づいた、対象領域の移動例を示した図である。
図29A】同応用例9に係る、転送先の表示面内の対象領域をスクロールさせるための、転送元の表示面内の別の操作の例を示した図である。
図29B図28Bに示した操作に基づいた、対象領域の移動例を示した図である。
図30A】本実施形態の応用例10に係る、転送先の表示面の表示例を示した図である。
図30B図30Aに示したタイミングにおける、転送先の表示面の略全体を示すマップ画像を転送元の表示面に表示させた例を示した図である。
図31A】本実施形態の応用例11に係る、転送先の表示面の表示例を示した図である。
図31B】同応用例11に係る、図31Aに示したタイミングにおける転送元の表示面の表示例を示した図である。
図32A】本実施形態の応用例12に係る、テーブル面20‐1およびテーブル面20‐3において、ホワイトボード20‐2に対する編集作業が同時に行われている際の、ホワイトボード20‐2の表示例を示した図である。
図32B図32Aに示したタイミングにおけるテーブル面20‐1の表示例を示した図である。
図32C図32Aに示したタイミングにおけるテーブル面20‐3の表示例を示した図である。
図33A】本実施形態の応用例13に係る、転送対象のオブジェクトを転送領域内へ移動させる操作の例を示した図である。
図33B図33Aに示したタイミングの後に、転送対象のオブジェクトをユーザがタッチし続けている様子を示した図である。
図33C図33Bに示したタイミングの後に表示される、該当のオブジェクトの転送位置を指定するためのマップ画像の表示例を示した図である。
図34】本実施形態に係る情報処理システム10のハードウェア構成の例を示した図である。
図35】同実施形態の変形例に係るシステムの構成例を示した図である。
【発明を実施するための形態】
【0012】
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0013】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成要素を、必要に応じてテーブル90aおよびテーブル90bのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、テーブル90aおよびテーブル90bを特に区別する必要が無い場合には、単にテーブル90と称する。
【0014】
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの構成
2.実施形態の詳細な説明
3.応用例
4.ハードウェア構成
5.変形例
【0015】
<<1.情報処理システムの構成>>
まず、本開示の実施形態に係る情報処理システムの構成例について、図1を参照して説明する。なお、本明細書において、システムとは、所定の処理を実行するための構成を意味し得る。システムは、1つの装置から構成されてもよいし、または、複数の装置から構成されてもよい。また、本実施形態に係る情報処理システム10も、情報処理システム10全体として所定の処理を実行可能に構成されていればよく、情報処理システム10内のどの構成を1つの装置とみなすかは任意であってよい。
【0016】
図1は、情報処理システム10の一構成例を示した図である。図1を参照すると、本実施形態に係る情報処理システム10aは、入力部120aおよび出力部124aを備える。
【0017】
<1−1.出力部124>
出力部124aは、後述する出力装置162を含んで構成され得る。出力部124aは、各種の情報をテーブル90a上に表示する。出力部124aは、投影部(プロジェクタ)であり得る。例えば、図1に示したように、出力部124aは、テーブル90aの上方に、天井から吊り下げられた状態でテーブル90aと所定の距離離隔して配置され得る。この場合、出力部124aは、テーブル90aの天面に情報を投影し得る。例えば、出力部124aは、ペンダントライトやデスクスタンドライトであってもよい。このように上方からテーブル90aの天面に情報を表示する方式を「プロジェクション型」とも呼称する。また、以下では、テーブル90の天面を表示面20と称する場合がある。表示面20は、出力部124による投影の対象となる面(スクリーン)を含む。
【0018】
例えば、出力部124aは、後述する表示処理部122の制御に従って、仮想的な表示オブジェクトを表示する。表示オブジェクトは、例えば、ウィンドウやUI(User Interface)オブジェクトなどである。UIオブジェクトは、ユーザによる各種の操作(選択や入力など)を受け付ける所定の画像(静止画像や動画像)である。例えば、UIオブジェクトは、GUI(Graphical User Interface)部品(例えば、ボタン、スライダー、チェックボックス、テキストボックス、ソフトウェアキーボード等)を含む画像である。また、UIオブジェクトは、ウィンドウ内に配置され得る。
【0019】
<1−2.入力部120>
入力部120aは、後述する入力装置160を含んで構成され得る。入力部120aは、例えば、1つのレンズでテーブル90aを撮像するカメラを含む。または、入力部120aは、2つのレンズでテーブル90aを撮像することにより、奥行き方向の情報を記録することが可能なステレオカメラを含み得る。ステレオカメラとしては、例えば可視光カメラや、赤外線等の不可視光を検出可能な不可視光カメラ等が用いられ得る。また、入力部120aは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置をさらに含み得る。
【0020】
上記のカメラが入力部120aとして用いられる場合、情報処理システム10aは、そのカメラが撮像した画像(撮像画像)を解析することにより、表示面20上に位置する物体(例えばユーザの手など)の位置を検出することができる。なお、本明細書および図面において「手」という記載は、主として手(hand)自体を意味する表現として用いられ得る。但し、かかる例に限定されず、この記載は、手指、腕、または、これらの部位のうちの2以上(例えば上肢など)を意味する表現として用いられる場合がある。
【0021】
また、入力部120aとしてステレオカメラが用いられる場合には、情報処理システム10aは、当該ステレオカメラによる撮像画像を解析することにより、表示面20上に位置する物体の位置情報に加えて、当該物体の深度情報を取得することができる。情報処理システム10aは、当該深度情報に基づいて、表示面20へのユーザの手の接触若しくは近接、及び表示面20からの手の離脱を検出することが可能である。なお、入力部120aは、ステレオカメラの代わりに、他の種類のデプスセンサ(例えばtime of flight方式のセンサや、structured light方式のセンサなど)を有してもよい。この場合、当該デプスセンサが、表示面20上に位置する物体の深度情報を取得し得る。
【0022】
本実施形態では、入力部120aにより撮像される画像に基づいて、表示面20上における操作体(例えばユーザの手や、スタイラス等の各種の操作部材など)の位置が検出され、そして、検出された操作体の位置に基づいて各種の情報が入力され得る。つまり、ユーザは、表示面20上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、ウィンドウやUIオブジェクトに対するユーザの手の接触が検出されることにより、当該ウィンドウやUIオブジェクトに対する操作入力が行われることになる。
【0023】
また、入力部120aに含まれるカメラは、テーブル90aの天面を撮影するだけでなく、テーブル90aの周囲に存在するユーザを撮影可能であり得る。この場合、情報処理システム10aは、入力部120aによる撮像画像に基づいて、テーブル90aの周囲におけるユーザの位置を検出することができる。また、情報処理システム10aは、当該撮像画像に基づいて、個々のユーザの身体的な特徴(顔や体の大きさ等)を検出することにより、ユーザの個人認識を行ってもよい。
【0024】
なお、ユーザの操作入力は、前述した例に限定されず、他の方法により実行されてもよい。例えば、入力部120aは、テーブル90aの天面(表示面20a)上にタッチパネルとして配置されてもよく、そして、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。または、入力部120aに含まれるカメラによりユーザのジェスチャ操作が撮影され、そして、当該撮影画像に基づいてユーザの操作入力が検出されてもよい。
【0025】
<1−3.変形例>
以上、本実施形態に係る情報処理システム10aの構成について説明した。なお、本実施形態に係る情報処理システム10の構成は図1に示した例に限定されない。情報処理システム10の構成は、例えば図2図4に示したような別の構成であってもよい。
【0026】
{1−3−1.変形例1}
図2は、本実施形態に係る情報処理システム10の別の構成例(情報処理システム10b)を示す図である。図2に示したように、情報処理システム10bでは、テーブル90bの下方に出力部124bが配置される。出力部124bは、例えばプロジェクタであり、当該テーブル90bの天板に向かって、テーブル90bの下側から情報を投影する。例えば、テーブル90bの天板は、ガラス板や透明プラスチック板等の透明な材質で形成される。そして、出力部124bによって投影された情報は、(当該天板を透過して)テーブル90bの天面(表示面20b)に表示される。このようにテーブル90bの下から情報を出力部124bに投影させることにより表示面20bに情報を表示する方式を「リアプロジェクション型」とも称する。
【0027】
また、図2に示した例では、表示面20bに入力部120bが設けられる。例えば、入力部120bは、タッチパネルによって構成される。この場合、表示面20bへの操作体の接触が当該タッチパネルによって検出されることにより、ユーザの操作入力が受け付けられ得る。但し、かかる例に限定されず、図2に示した情報処理システム10aと同様に、テーブル90bの下方にテーブル90bと離隔して入力部120bが配置されてもよい。この場合、入力部120bはカメラを含み、そして、テーブル90bの天板越しに、表示面20b上に位置する操作体を当該カメラは撮影し得る。そして、当該撮影画像に基づいて当該操作体の位置が検出され得る。
【0028】
{1−3−2.変形例2}
図3は、本実施形態に係る情報処理システム10のさらに別の構成例(情報処理システム10c)を示す図である。図3に示したように、情報処理システム10cでは、タッチパネル式のディスプレイが、その表示面を上方に向けた状態でテーブル90c上に配置される。情報処理システム10cでは、入力部120c及び出力部124cは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面(表示面20c)に各種の情報が表示され、そして、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザの操作入力が受け付けられ得る。
【0029】
なお、情報処理システム10cにおいても、図1に示した情報処理システム10aと同様に、出力部124cの上方にカメラ(入力部120cの一例)が配置されてもよい。この場合、当該カメラによる撮影画像に基づいて、テーブル90cの周囲に位置する個々のユーザが検出され得る。
【0030】
{1−3−3.変形例3}
図4は、本実施形態に係る情報処理システム10のさらに別の構成例(情報処理システム10d)を示す図である。図4に示したように、情報処理システム10dは、例えばHMD(Head Mounted Display)などの頭部装着型デバイス(例えば眼鏡型デバイスなど)として構成され得る。当該頭部装着型デバイスは、入力部120d(図示省略)及び出力部124d(図示省略)を含み得る。出力部124dは、透過型の表示装置として構成されてもよい。この場合、出力部124dは、頭部装着型デバイスに含まれる右目用レンズおよび左目用レンズの各々(または、ゴーグル型レンズ)の少なくとも一部の領域を投影面(表示面20d)として映像を投影し得る。
【0031】
または、出力部124dは、非透過型の表示装置として構成されてもよい。例えば、出力部124dは、LCD(Liquid Crystal Display)、または、OLED(Organic Light Emitting Diode)などを含んで構成され得る。さらに、入力部120dは、カメラを含み得る。この場合、当該カメラは、当該頭部装着型デバイスを装着するユーザの前方の映像を撮影し、そして、出力部124dは、撮影された映像を逐次表示してもよい。これにより、ユーザは、出力部124dに表示される映像を介して、ユーザの前方の風景を見ることができる。
【0032】
{1−3−4.変形例4}
次に、図5を参照して、本実施形態に係るシステムの別の構成例について説明する。図5は、当該システムの構成例を示した図である。図5に示したように、上述した情報処理システム10a〜情報処理システム10dのうちのいずれか一つと、一以上の別の表示面20とが例えば通信網22を介して接続されていてもよい。ここで、当該別の表示面20は、例えばホワイトボードであってもよいし、上記の表示面20aや表示面20bのようなテーブルの天面であってもよいし、表示面20cのような所定のディスプレイであってもよいし、または、例えば表示面20dのような、頭部装着型デバイスに含まれる所定の面であってもよい。
【0033】
通信網22は、通信網22に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網22は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網22は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
【0034】
以下では、本実施形態に係るシステムの構成例が、例えば図5に示したような構成である場合を主として説明を行う。
【0035】
以上、本実施形態に係る情報処理システム10の構成について説明した。後述するように、本実施形態によれば、ある表示面内に位置するオブジェクトに対応する情報を別の表示面へ転送する場面において、転送元の表示面内に位置する全てのオブジェクトのうち、ユーザが選択したオブジェクトに対応する情報だけを転送先の表示面に表示させることが可能である。
【0036】
なお、本明細書および図面において、異なる表示面20を区別して説明する場合、例えば表示面20‐1や表示面20‐2のように、「表示面20」という記載の後にそれぞれ異なる番号を付す場合がある。また、本明細書および図面において、表示面20上に配置されている実オブジェクト、および、表示面20に表示されている表示オブジェクトを総称して「表示面20上に位置するオブジェクト」と記載する場合がある。以下では、本実施形態の内容についてさらに詳細に説明する。
【0037】
<<2.実施形態の詳細な説明>>
<2−1.構成>
まず、本実施形態に係る情報処理システム10の機能構成について詳細に説明する。図6は、情報処理システム10の機能構成の例を示したブロック図である。図6に示したように、情報処理システム10は、処理部100、入力部120、表示処理部122、出力部124、および、記憶部126を含む。なお、以下では、上記の説明と同様の内容については説明を省略する。
【0038】
{2−1−1.表示処理部122}
表示処理部122は、一または複数の処理回路(例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unitなど)を含んで構成され得る。表示処理部122は、入力部120が取得した入力情報に基づき、出力部124により表示され得るグラフィックスに関する処理を行う。例えば、表示処理部122は、ウィンドウなどの表示オブジェクトの描画処理を行い、そして、処理結果を出力部124へ出力する。一例として、表示処理部122は、個々の表示オブジェクトに対するユーザの操作に応じて、これらの表示オブジェクトの描画処理を行う。
【0039】
また、表示処理部122は、入力部120が取得した入力情報(例えば撮像画像など)を入力部120から取得し、そして、当該入力情報を処理部100へ出力し得る。さらに、表示処理部122は、処理部100により処理された情報を処理部100から受け取り、そして、当該情報に基づいて描画処理を行うことも可能である。
【0040】
{2−1−2.処理部100}
処理部100は、一または複数の処理回路(例えば、後述するCPU150やGPUなど)を含んで構成され得る。処理部100は、入力部120が取得した入力情報に基づいて各種の処理を行う。
【0041】
また、図5に示したように、処理部100は、転送操作検出部102、面属性適合処理部104、および、表示制御部106を有する。
【0042】
{2−1−3.転送操作検出部102}
転送操作検出部102は、表示面20‐1内に位置する一つのオブジェクトを別の表示面20‐2へ転送させるための転送操作を、入力部120から取得される入力情報に基づいて検出する。例えば、表示面20‐1内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して、当該表示面20‐1上に位置する一つのオブジェクトをあるユーザが移動させる操作(例えば接近させること)が検出された場合には、転送操作検出部102は、該当の操作を当該転送操作として検出する。ここで、当該検出領域は、当該所定の転送オブジェクトと同一であってもよい。または、当該検出領域は、表示面20‐1における、当該所定の転送オブジェクトが位置するオブジェクト領域の全部または一部を含み、かつ、当該オブジェクト領域の輪郭から所定の距離内である領域であってもよい。なお、後述する「転送領域」は、当該検出領域の一例である。また、転送操作は、本開示に係る第1の操作の一例である。
【0043】
また、当該所定の転送オブジェクトは、所定の実オブジェクト(例えば、図7に示したような所定の転送台32など)であってもよいし、所定の表示オブジェクトであってもよい。例えば、所定の転送台が表示面20‐1上に配置され、かつ、表示面20‐1上に位置する一つのオブジェクトを転送台32に近づける操作が検出された場合には、転送操作検出部102は、該当の操作を当該転送操作として検出してもよい。
【0044】
または、図7に示したように、転送台32が表示面20‐1上に配置された場合には、処理部100は、転送台32の周囲に例えば円形の転送領域34を設定し、そして、転送領域34を表示面20‐1上に表示し得る。この場合、表示面20‐1上に位置する一つのオブジェクト(図7に示した例では付箋30)を、転送領域34の外から転送領域34の内部へユーザがドラッグする操作が検出された場合には、転送操作検出部102は、該当の操作を当該転送操作として検出し得る。ここで、転送領域34は、上記の検出領域の一例である。なお、本実施形態は、図7に示した例に限定されず、処理部100は、転送台32が配置されていない場所に転送領域34を設定してもよい。
【0045】
{2−1−4.面属性適合処理部104}
面属性適合処理部104は、転送操作検出部102により転送操作が検出された場合に、転送先の表示面に表示される、転送対象のオブジェクトに対応する情報の表示設定を、当該転送先の表示面に関連する情報と当該転送元の表示面に関連する情報とに基づいて決定する。例えば、面属性適合処理部104は、当該転送先の表示面に表示される、当該転送対象のオブジェクトの情報の表示設定を、図8に示したような面属性情報DB128に格納されている、当該転送先の表示面に関連する情報に基づいて決定する。ここで、当該転送対象のオブジェクトの情報の表示設定は、例えば、該当の転送先の表示面内での当該情報の例えば表示サイズ、表示方向、および、表示内容などを含み得る。なお、当該転送前の表示面は、本開示に係る第1の表示面の一例である。また、当該転送先の表示面は、本開示に係る第2の表示面の一例である。
【0046】
(2−1−4−1.面属性情報DB128)
面属性情報DB128は、個々の表示面に関連する情報(属性情報など)を格納するデータベースである。ここで、表示面に関連する情報は、例えば、該当の表示面の画面特性(例えば、物理的な大きさ、解像度、アスペクト比など)、および、該当の表示面のレイアウト特性(例えば、当該表示面に対する重力の方向など)などを含む。面属性情報DB128は、例えば、リレーショナルデータベースやルックアップテーブルのような形状で実現され得る。
【0047】
図8は、面属性情報DB128の構成例を示した図である。図8に示したように、面属性情報DB128では、例えば、No1280、面の種類1282、重力方向1284、大きさ1286、解像度1288、および、面属性適合処理1290が関連付けられている。ここで、面の種類1282には、該当の表示面の種類が格納される。また、重力方向1284には、該当の表示面に対する重力の方向が格納される。例えば、該当の表示面が垂直に配置されている平面である場合、重力方向1284には「下向き」が格納される。なお、転送元の表示面上に位置するオブジェクト(つまり、転送対象のオブジェクト)の画像が該当の表示面に表示される際は、重力方向1284に格納されている情報に基づいて当該画像の表示方向が自動的に決定され得る。また、大きさ1286には、該当の表示面の大きさ(サイズ)が格納される。解像度1288には、該当の表示面の解像度が格納される。また、面属性適合処理1290には、他の表示面から該当の表示面に対して情報が転送された際の、予め定められている、当該表示面に当該情報を適合させるための処理の内容が格納される。
【0048】
(2−1−4−2.処理例1)
ここで、図9Aおよび図9Bを参照して、前述した面属性適合処理部104の機能の具体例について説明する。図9Aは、図8に示した面属性情報DB128内のNoが「1」の表示面20‐1(テーブル面20‐1)の構成例を示した図である。また、図9Bは、図8に示した面属性情報DB128内のNoが「2」の表示面20‐2(ホワイトボード20‐2)の構成例を示した図である。図8および図9Aに示した例では、テーブル面20‐1は、横幅120cm、縦幅80cmの大きさであり、かつ、例えば、1366×768の解像度の映像が出力部124によりテーブル面20‐1に投影されている。また、図9Aに示したように、テーブル面20‐1には、200ピクセル角の大きさの付箋30が配置されている。また、図8および図9Bに示した例では、ホワイトボード20‐2は、横幅100cm、縦幅190cmの大きさであり、かつ、例えば、2160×3840の解像度の映像が、ホワイトボード20‐2に対応するプロジェクタにより投影されている。
【0049】
図9Aに示した付箋30に対応する画像がホワイトボード20‐2に転送された場合、仮に、特別の処理が行われないと(換言すれば、ホワイトボード20‐2の属性情報が考慮されない場合)、図9Bに示した付箋画像40aのように、テーブル面20‐1上の付箋30のサイズとは異なるサイズで当該画像が投影されてしまう。そこで、面属性適合処理部104は、転送元の面であるテーブル面20‐1のdpi(dots per inch)(具体的には29dpi)と、転送先の面であるホワイトボード20‐2のdpi(具体的には51dpi)との差に応じて、付箋30に対応する画像のサイズを拡大することを決定してもよい。これにより、決定されたサイズの画像40bが、後述する表示制御部106の制御によりホワイトボード20‐2に表示され得る。上記の決定例によれば、ホワイトボード20‐2でも付箋30が実物大で表示され得る。このため、テーブル面20‐1を使用中のユーザと、ホワイトボード20‐2を使用中のユーザとは、付箋30に関連するコミュニケーション(議論など)を、より円滑に行うことができる。
【0050】
(2−1−4−3.処理例2)
次に、図10Aおよび図10Bを参照して、前述した面属性適合処理部104の機能の別の具体例について説明する。図10Aおよび図10Bでは、テーブル面20‐1上の付箋30に対応する画像がホワイトボード20‐2に転送され、表示される例を示した図である。ここでは、テーブル面20‐1は、水平に配置されている平面であり、また、ホワイトボード20‐2は、垂直に配置されている平面であるとする。例えば、図8に示したように、面属性情報DB128において、テーブル面20‐1には重力方向が設定されておらず、かつ、ホワイトボード20‐2には重力方向として「下向き」が設定されているとする。
【0051】
図10Aに示したように、テーブル面20‐1を使用中のユーザは、付箋30に対応する画像をホワイトボード20‐2へ転送するために、例えば、テーブル面20‐1内に表示されている転送領域34の外部から転送領域34の内部へと付箋30をドラッグしたとする。この場合、面属性適合処理部104は、面属性情報DB128においてホワイトボード20‐2と関連付けられている「重力方向」の情報に基づいて、ホワイトボード20‐2における、付箋30に対応する画像40(付箋画像40)の表示向きを例えば「下向き」として決定する。これにより、図10Bに示したように、決定された表示向きで、付箋画像40がホワイトボード20‐2に表示され得る。
【0052】
{2−1−5.表示制御部106}
表示制御部106は、出力部124に対する各種の情報の表示を制御する。
【0053】
さらに、転送操作検出部102により転送操作が検出された場合に、表示制御部106は、転送対象のオブジェクトに対応する情報の、転送先の表示面に対する表示を制御することが可能である。例えば、転送操作が検出された場合には、表示制御部106は、該当の転送対象のオブジェクトに対応する画像を、面属性適合処理部104により決定された表示設定で転送先の表示面に表示させる。一例として、当該転送操作が検出された際には、表示制御部106は、該当の転送対象のオブジェクトに対応する画像を、面属性適合処理部104により決定された表示設定で、転送先の表示面に設定されている転送領域内に表示させる。
【0054】
{2−1−6.記憶部126}
記憶部126は、後述するストレージ装置164を含んで構成され得る。記憶部126は、例えば面属性情報DB128などの各種のデータや各種のソフトウェアを記憶する。
【0055】
<2−2.処理の流れ>
以上、本実施形態に係る構成について説明した。次に、本実施形態に係る処理の流れについて説明する。
【0056】
図11および図12は、本実施形態に係る処理の流れの一部をそれぞれ示したフローチャートである。図11に示したように、ユーザの終了操作が検出されない限り(S101:No)、処理部100は、以下で説明するS103〜S129の処理を繰り返す。なお、ユーザが終了操作を行ったことが検出された場合には(S101:Yes)、当該処理の流れは終了する。
【0057】
具体的には、まず、処理部100は、入力部120により取得された入力情報(各種のセンシング結果など)を入力部120から取得する(S103)。
【0058】
続いて、処理部100は、出力部124に対応する表示面20(以下、転送元の表示面と称する場合がある)に対する、出力部124による各種の情報の出力を、S103で取得された入力情報に基づいて制御する(S105)。例えば、処理部100は、取得された入力情報が示すユーザの手の動きに基づいて当該ユーザの操作内容(例えばドラッグ操作であるか否かなど)を判断する。当該ユーザの操作内容がドラッグ操作であると判定された場合には、処理部100は、次に、当該転送元の表示面における、当該ドラッグ操作が指示する位置(例えば座標)と、当該転送元の表示面上に位置する個々のオブジェクトの位置(例えば座標)とを比較することにより、当該転送元の表示面上のいずれかのオブジェクトを当該ドラッグ操作が指示しているか否かを判断する。そして、いずれかのオブジェクトを当該ドラッグ操作が指示していることが検出された場合には、処理部100は、該当のオブジェクトの表示位置を当該ドラッグ操作に応じて変更し得る。
【0059】
その後、転送操作検出部102は、転送元の表示面内のいずれかのオブジェクトに対する転送操作が行われたか否かを、入力部120により取得された情報に基づいて判定する(S107)。当該転送操作が検出されていない間は(S107:No)、処理部100は、再びS101以降の処理を行う。
【0060】
一方、当該転送操作が検出された場合には(S107:Yes)、面属性適合処理部104は、転送先の面の属性情報を面属性情報DB128から抽出する(S109)。そして、面属性適合処理部104は、転送先の表示面に表示される、転送対象のオブジェクトに対応する情報の表示設定を、抽出された属性情報に基づいて決定する(S111)。
【0061】
ここで、図12を参照して、S111より後の処理の流れについて説明する。図12に示したように、S111の後、当該転送先の表示面における、当該転送対象のオブジェクトの転送位置が確定している場合には(S121:Yes)、表示制御部106は、後述するS129の処理を行う。
【0062】
一方、当該転送対象のオブジェクトの転送位置が確定していない場合には(S121:No)、表示制御部106は、まず、当該転送先の表示面に現在表示されている一以上の表示情報を例えば当該転送先の表示面から取得する。そして、表示制御部106は、取得した一以上の表示情報が当該転送元の表示面に表示されるように出力部124を制御する(S123)。
【0063】
その後、入力部120は、当該転送元の表示面に対するユーザの操作入力の情報を取得する(S125)。
【0064】
続いて、表示制御部106は、当該転送先の表示面における、当該転送対象のオブジェクトの転送位置が確定したか否かを、S125で取得された入力情報に基づいて判定する(S127)。当該転送対象のオブジェクトの転送位置が確定していない場合には(S127:No)、表示制御部106は、再びS123以降の処理を行う。
【0065】
一方、当該転送対象のオブジェクトの転送位置が確定している場合には(S127:Yes)、表示制御部106は、当該転送先の表示面内の、決定された転送位置に、当該転送対象のオブジェクトに対応する情報(画像など)を表示させる(S129)。
【0066】
その後、処理部100は、再びS101以降の処理を繰り返す。
【0067】
<2−3.効果>
{2−3−1.効果1}
以上説明したように、本実施形態に係る処理部100は、転送元の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対してあるユーザが一つのオブジェクトを移動させる転送操作が検出された場合に、当該オブジェクトに対応する情報を転送先の表示面に表示させる。このため、ある表示面に位置する、あるオブジェクトに対応する情報を別の表示面へ転送する場面において、転送元の表示面内に位置する全てのオブジェクトのうち、ユーザが選択したオブジェクトに対応する情報だけを転送先の表示面に表示させることができる。
【0068】
その結果、例えば、転送元の表示面の周囲に位置する複数のユーザは、発散的な議論を行い、そして、当該議論の結果得られた良い意見に対応するオブジェクト(例えば付箋など)だけを転送先の表示面にシームレスに集約させることが可能になる。そして、議論の途中に、良い意見に対応するオブジェクトと良くない意見に対応するオブジェクトとを整理する作業が容易になる。従って、当該複数のユーザは、アイディア出しの流れを止めることなく、議論を継続することができる。
【0069】
{2−3−1.効果2}
さらに、本実施形態によれば、例えば、当該転送対象のオブジェクトを当該転送先の表示面の属性情報に応じて、当該転送先の表示面に適切に表示させることができる。その結果、当該転送元の表示面を使用中のユーザと、当該転送先の表示面を使用中のユーザとの間で、当該転送対象のオブジェクトに関連するコミュニケーション(議論など)を、より円滑に行うことができる。例えば、転送先のユーザが、転送された該当のオブジェクトをシームレスに利用可能であるなど、当該オブジェクトを当該転送先の表示面に最適化する手間が減少し得る。従って、これらのユーザ同士は、議論により集中することができる。
【0070】
<<3.応用例>>
本実施形態は、前述した例に限定されず、各種の応用例が適用可能である。次に、本実施形態の応用例について、「3−1.応用例1」〜「3−13.応用例13」において説明する。なお、各応用例に係る情報処理システム10に含まれる各構成要素は、図6に示した例と同様である。以下では、前述した実施形態と異なる機能を有する構成要素についてのみ説明することとし、同一の内容については説明を省略する。
【0071】
<3−1.応用例1>
まず、本実施形態に係る応用例1について説明する。応用例1によれば、転送元の表示面上に位置する複数の所定の転送オブジェクトの状態に適応的に、転送対象のオブジェクトの転送先の表示面を決定することができる。なお、本応用例1では、当該複数の所定の転送オブジェクトがそれぞれ実オブジェクトである例を想定する。
【0072】
{3−1−1.転送操作検出部102}
応用例1に係る転送操作検出部102は、転送元の表示面上に位置する、あるオブジェクトを、複数の所定の転送オブジェクトのうちの一つの上にユーザが載せることが検出された場合に、この操作を、該当のオブジェクトに対応する情報を別の表示面へ転送させるための転送操作として検出する。
【0073】
{3−1−2.表示制御部106}
応用例1に係る表示制御部106は、転送操作検出部102により転送操作が検出された場合に、転送元の表示面に対応する複数の表示面の中から、転送対象のオブジェクトに対応する情報の転送先となる少なくとも一つの表示面を、当該転送元の表示面上に位置する複数の所定の転送オブジェクトの状態を示す情報と当該転送操作の検出結果とに基づいて決定する。例えば、当該複数の所定の転送オブジェクトの各々は、当該複数の表示面のうちの、互いに異なる一つの表示面と関連付けられている。そして、当該転送操作が検出された場合には、表示制御部106は、当該複数の所定の転送オブジェクトのうちのいずれか2つの転送オブジェクトの間の距離が所定の閾値以下であるか否かと、当該いずれか2つの転送オブジェクトの並び方が所定の並び方であるか否かとに基づいて、該当の転送対象のオブジェクトに対応する情報の転送先となる少なくとも一つの表示面を決定する。
【0074】
ここで、図13および図14を参照して、上記の機能についてより詳細に説明する。図13および図14に示した例では、2つの転送台32のうちの転送台32aは、ホワイトボード20‐2と関連付けられており、かつ、転送台32bは、ホワイトボード20‐3と関連付けられている。例えば、ホワイトボード20‐2は、グループAに属する複数のユーザが、ディスカッションのために使用している表示面である。また、ホワイトボード20‐3は、グループBに属する複数のユーザが、ディスカッションのために使用している表示面である。なお、図13および図14に示した転送台32は、上記の所定の転送オブジェクトの一例である。
【0075】
例えば、図13に示したように、転送元の表示面20‐1(テーブル面20‐1)上で、2つの転送台32が所定の距離よりも大きい距離だけ離れて配置されているとする。そして、図13に示したように、テーブル面20‐1を使用中のユーザは、テーブル面20‐1上に位置する付箋30に対応する画像の転送操作として、付箋30を転送台32bの上に載せたとする。この場合、図13に示したように、表示制御部106は、2つのホワイトボードのうち、転送台32bに関連付けられているホワイトボード20‐3にのみ、付箋30に対応する画像40を転送させ、表示させる。
【0076】
また、図14に示したように、転送元の表示面20‐1(テーブル面20‐1)上で、2つの転送台32が隣接して並べられているとする。そして、(図13に示した例と同様に)テーブル面20‐1を使用中のユーザは、テーブル面20‐1上に位置する付箋30に対応する画像の転送操作として、付箋30を転送台32bの上に載せたとする。この場合、図14に示したように、表示制御部106は、2つのホワイトボードの両方に、付箋30に対応する画像40を転送させ、表示させる。
【0077】
<3−2.応用例2>
以上、応用例1について説明した。次に、本実施形態に係る応用例2について説明する。応用例2によれば、転送元の表示面上に位置する所定の転送オブジェクトの姿勢に適応的に、転送対象のオブジェクトの転送先の表示面を決定することができる。
【0078】
応用例2では、当該所定の転送オブジェクトが、例えば図15に示したような、複数の面を有する実オブジェクトである例を想定し得る。さらに、当該所定の転送オブジェクトが有する複数の面の各々は、転送元の表示面以外の複数の表示面のうちの互いに異なる表示面と関連付けられている例を想定する。
【0079】
{3−2−1.転送操作検出部102}
応用例1に係る転送操作検出部102は、転送元の表示面上に位置する、あるオブジェクトを、当該所定の転送オブジェクトが有する複数の面のうちのいずれかの上にユーザが配置することが検出された場合に、この操作を、該当のオブジェクトに対応する情報を別の表示面へ転送させるための転送操作として検出する。
【0080】
{3−2−2.表示制御部106}
応用例2に係る表示制御部106は、転送操作検出部102により転送操作が検出された場合には、当該所定の転送オブジェクトが有する当該複数の面のうちの、転送対象のオブジェクトが配置された面に関連付けられている一つの表示面を、当該オブジェクトに対応する情報の転送先の表示面として決定する。
【0081】
ここで、図15および図16を参照して、上記の機能についてより詳細に説明する。図15および図16に示した例では、転送台32が有する複数の面の各々は、複数の表示面(例えば、ホワイトボード20‐2およびホワイトボード20‐3など)のうちの互いに異なる表示面と関連付けられている。例えば、転送台32が有する複数の面のうち「A」と記載されている面は、ホワイトボード20‐2と関連付けられている。また、当該複数の面のうち「B」と記載されている面は、ホワイトボード20‐3と関連付けられている。なお、図15および図16に示した転送台32は、上記の所定の転送オブジェクトの一例である。
【0082】
例えば、図15に示したように、転送台32の上面が、「A」と記載されている面(つまり、ホワイトボード20‐2と関連付けられている面)になるように、転送台32がテーブル面20‐1上に配置されているとする。そして、テーブル面20‐1を使用中のユーザは、テーブル面20‐1上に位置する付箋30に対応する画像の転送操作として、付箋30を転送台32の上面の上に載せたとする。この場合、図15に示したように、表示制御部106は、2つのホワイトボードのうち(「A」と記載されている面に関連付けられている)ホワイトボード20‐2にのみ、付箋30に対応する画像40を転送させ、表示させる。
【0083】
別の例として、図16に示したように、転送台32の上面が、「B」と記載されている面(つまり、ホワイトボード20‐3と関連付けられている面)になるように、転送台32がテーブル面20‐1上に配置されているとする。そして、テーブル面20‐1を使用中のユーザは、テーブル面20‐1上に位置する付箋30に対応する画像の転送操作として、付箋30を転送台32の上面の上に載せたとする。この場合、図16に示したように、表示制御部106は、2つのホワイトボードのうち(「B」と記載されている面に関連付けられている)ホワイトボード20‐3にのみ、付箋30に対応する画像40を転送させ、表示させる。
【0084】
<3−3.応用例3>
以上、応用例2について説明した。次に、本実施形態に係る応用例3について説明する。応用例3によれば、転送元の表示面上に位置する所定の転送オブジェクトが向いている方向に適応的に、転送対象のオブジェクトの転送先の表示面を決定することができる。
【0085】
応用例3では、当該所定の転送オブジェクトが、例えば図17および図18に示したような、少なくとも一つの傾斜面を有する実オブジェクトである例を想定し得る。
【0086】
{3−3−1.転送操作検出部102}
応用例3に係る転送操作検出部102は、当該所定の転送オブジェクトが有する少なくとも一つの傾斜面のうちのいずれかの上に、あるオブジェクトをユーザが配置することが検出された場合には、この操作を、該当のオブジェクトに対応する情報を別の表示面へ転送させるための転送操作として検出する。
【0087】
{3−3−2.表示制御部106}
応用例3に係る表示制御部106は、当該少なくとも一つの傾斜面のうちのいずれかの上に、転送対象のオブジェクトを配置する操作(上記の転送操作)が検出された場合に、例えば当該転送元の表示面に対応する複数の表示面の中から、当該所定の転送オブジェクトが向いている方向に位置する表示面を、当該転送対象のオブジェクトに対応する情報の転送先の表示面として決定する。
【0088】
ここで、図17および図18を参照して、上記の機能についてより詳細に説明する。図17および図18に示した例では、転送台32は、傾斜面を一つだけ有している。また、図17および図18に示した例では、情報処理システム10は、テーブル面20‐1、ホワイトボード20‐2、および、ホワイトボード20‐3の三者の位置関係をリアルタイムに特定可能であるものとする。例えば、処理部100は、ホワイトボード20‐2およびホワイトボード20‐3のそれぞれの、テーブル面20‐1に対する相対的な方向を示す情報をリアルタイムに取得可能であるものとする。なお、図17および図18に示した転送台32は、上記の所定の転送オブジェクトの一例である。
【0089】
例えば、図17に示したように、テーブル面20‐1に対するホワイトボード20‐2の方向へ転送台32が向けられた状態で、転送台32がテーブル面20‐1上に配置されているとする。そして、テーブル面20‐1を使用中のユーザは、テーブル面20‐1上に位置する付箋30に対応する画像の転送操作として、付箋30を転送台32の傾斜面の上に載せたとする。この場合、図17に示したように、表示制御部106は、2つのホワイトボードのうち、転送台32が向いているホワイトボード20‐2にのみ、付箋30に対応する画像40を転送させ、表示させる。
【0090】
別の例として、図18に示したように、テーブル面20‐1に対するホワイトボード20‐3の方向へ転送台32が向けられた状態で、転送台32がテーブル面20‐1上に配置されているとする。そして、テーブル面20‐1を使用中のユーザは、テーブル面20‐1上に位置する付箋30に対応する画像の転送操作として、付箋30を転送台32の傾斜面の上に載せたとする。この場合、図18に示したように、表示制御部106は、2つのホワイトボードのうち、転送台32が向いているホワイトボード20‐3にのみ、付箋30に対応する画像40を転送させ、表示させる。
【0091】
<3−4.応用例4>
以上、応用例3について説明した。次に、本実施形態に係る応用例4について説明する。応用例4によれば、転送元の表示面と所定の転送オブジェクトの姿勢との関係性に適応的に、転送対象のオブジェクトに対応する画像を転送先の表示面に表示させることができる。なお、応用例4では、当該所定の転送オブジェクトが実オブジェクトである例を想定する。
【0092】
{3−4−1.転送操作検出部102}
応用例4に係る転送操作検出部102は、転送元の表示面上に配置されている当該所定の転送オブジェクトに対して、ユーザがあるオブジェクトを近づけ、かつ、接触させる(例えば配置する)操作が検出された場合には、この一連の操作を、該当のオブジェクトに対応する情報を別の表示面へ転送させるための転送操作として検出する。
【0093】
{3−4−2.表示制御部106}
応用例4に係る表示制御部106は、上記の一連の操作が転送操作として転送操作検出部102により検出された場合には、当該転送操作中の転送対象のオブジェクトの移動経過の検出結果と、当該転送操作中の当該所定の転送オブジェクトの姿勢の検出結果とに基づいて、転送先の表示面に対して、当該転送対象のオブジェクトに対応する画像の表示を制御する。例えば、この場合、当該転送対象のオブジェクトに対応する画像を当該転送先の表示面に表示した際に、表示制御部106は、当該転送操作中の当該転送対象のオブジェクトの移動経過の検出結果と、当該転送操作中の当該所定の転送オブジェクトの姿勢の検出結果とに基づいて、当該画像の表示位置を連続的に変化させる。
【0094】
ここで、図19Aおよび図19Bを参照して、上記の機能についてより詳細に説明する。図19Aおよび図19Bに示した例では、転送元の表示面20‐1(テーブル面20‐1)、および、転送先の表示面20‐2(テーブル面20‐2)のそれぞれに、同一の転送台32が配置されているものとする。なお、図19Aおよび図19Bに示した転送台32は、上記の所定の転送オブジェクトの一例である。
【0095】
例えば、図19Aに示したように、テーブル面20‐1を使用中のユーザは、(付箋30に対応する画像の転送操作として)テーブル面20‐1上の転送台32aに対して、フリック操作により付箋30を近づけ、かつ、転送台32aの上に配置したとする。この場合、図19Bに示したように、表示制御部106は、まず、付箋30に対応する画像40を、テーブル面20‐2上の転送台32bの位置に表示させる。そして、表示制御部106は、テーブル面20‐1上の転送台32aの位置および姿勢と、テーブル面20‐2上の転送台32bの位置および姿勢との関係性に基づいて、上記転送操作中の、転送台32aに対する付箋30の移動経過(例えば、移動時の速度の変化、移動時の加速度の変化、および、移動経路など)と相対的に略同一に画像40が移動するように、画像40の表示位置を連続的に変化させる。この表示例によれば、転送先の表示面20‐2において相対的な位置関係を維持しながら、転送操作中の付箋30の動きを再現することができる。
【0096】
<3−5.応用例5>
以上、応用例4について説明した。次に、本実施形態に係る応用例5について説明する。応用例5によれば、転送対象のオブジェクトに含まれる文字列を、転送先の表示面が位置する場所(または、当該転送先の表示面を使用するユーザ)に適応的に変換して表示させることができる。
【0097】
{3−5−1.表示制御部106}
応用例5に係る表示制御部106は、転送操作検出部102により転送操作が検出された場合に、転送先の表示面に関連付けて面属性情報DB128に登録されている文字列の変換ルールに基づいて、該当の転送対象のオブジェクトに対応する画像を生成し、そして、当該画像を当該転送先の表示面に表示させる。例えば、表示制御部106は、まず、当該転送先の表示面に関連付けて面属性情報DB128に登録されている文字列の変換ルールを用いて、当該転送対象のオブジェクトに含まれる文字列を変換する。そして、表示制御部106は、(当該転送対象のオブジェクトに含まれる文字列の代わりに)変換後の文字列を含むように、当該転送対象のオブジェクトに対応する画像を生成する。
【0098】
ここで、図20図21Bを参照して、上記の機能についてより詳細に説明する。図20は、応用例5に係る面属性情報DB128の構成例を示した図である。図20に示したように、例えば、表示面の種類ごとに、転送対象のオブジェクトに対応する画像の表示時の、当該オブジェクトに含まれる文字列の翻訳ルールが予め定められ得る。
【0099】
また、図21Aは、図20に示した面属性情報DB128内のNoが「1」の表示面20‐1(テーブル面20‐1)を概略的に示した図である。図21Bは、図8に示した面属性情報DB128内のNoが「2」の表示面20‐2(テーブル面20‐2)を概略的に示した図である。図21Aおよび図21Bに示した例では、アメリカに位置する表示面20‐1を使用中の一以上のユーザと、日本に位置する表示面20‐2を使用中の一以上のユーザとがブレインストーミングをしている場面を想定する。
【0100】
例えば、図21Aに示したように、表示面20‐1上に位置する付箋30aを、表示面20‐1内に表示されている転送領域34aに移動させる転送操作が検出されたとする。この場合、表示制御部106は、まず、例えばOCR(Optical Character Recognition)などを用いることにより、付箋30aに含まれる全ての文字列を特定する。次に、表示制御部106は、(付箋30aに対応する画像の転送先の表示面である)表示面20‐2と関連付けて面属性情報DB128に格納されている翻訳ルールに基づいて、付箋30aに含まれる全ての文字列を日本語に変換する。次に、表示制御部106は、変換後の文字列(つまり、日本語の文字列)を含むように、付箋30aに対応する画像40を生成する。そして、図21Bに示したように、表示制御部106は、表示面20‐2内に定められている転送領域34bに画像40を表示させる。
【0101】
<3−6.応用例6>
以上、応用例5について説明した。次に、本実施形態に係る応用例6について説明する。応用例6によれば、転送対象のオブジェクトに含まれる文字列を、転送先の表示面が位置する場所(または、当該転送先の表示面を使用するユーザ)に適応的に変換して表示させることができる。
【0102】
{3−6−1.システムの構成}
まず、本応用例6に係るシステムの構成について図22を参照して説明する。図22は、応用例6に係るシステムの構成例を示した図である。図22に示したように、当該システムは、例えば図5に示した、前述した実施形態に係るシステムの構成例と比較して、スマートフォン50をさらに有する。例えば、スマートフォン50は、無線通信により、通信網22と接続可能に構成されている。そして、スマートフォン50は、情報処理システム10や他の表示面(表示面20‐2および表示面20‐3)と通信網22を介して各種の情報を送受信することが可能である。
【0103】
{3−6−2.転送操作検出部102}
応用例6に係る転送操作検出部102は、例えば図24Aに示したように、スマートフォン50に表示中の、あるオブジェクトを、スマートフォン50に表示中の転送領域に対してユーザが移動させる操作の検出結果がスマートフォン50から受信された場合に、このユーザの操作を、当該オブジェクトをスマートフォン50から別の表示面へ転送させるための転送操作として検出する。
【0104】
{3−6−3.表示制御部106}
応用例6に係る表示制御部106は、スマートフォン50上での転送操作が転送操作検出部102により検出された場合に、転送先の表示面に関連付けて面属性情報DB128に登録されている文字列の変換ルールに基づいて、該当の転送対象のオブジェクトに対応する画像を生成し、そして、当該画像を当該転送先の表示面に表示させる。
【0105】
ここで、図23図24Cを参照して、上記の機能についてより詳細に説明する。図23は、応用例6に係る面属性情報DB128の構成例を示した図である。また、図24Aは、図23に示した面属性情報DB128内のNoが「1」の表示面(つまり、スマートフォン50の表示面)を概略的に示した図である。図24Bは、図23に示した面属性情報DB128内のNoが「2」の表示面20‐2(掲示板20‐2)を概略的に示した図である。図24Cは、図23に示した面属性情報DB128内のNoが「3」の表示面20‐2(掲示板20‐3)を概略的に示した図である。図23図24Cに示した例では、スマートフォン50は、ある家族の父親が使用しており、掲示板20‐2は、当該家族が住む家のリビングルームに配置されており、また、掲示板20‐3は、当該家の子供部屋に配置されている。
【0106】
図23に示したように、面属性情報DB128では、表示面の種類ごとに、転送対象のオブジェクトに対応する画像の表示時の、当該オブジェクトに含まれる文字列の変換ルールが予め定められている。掲示板20‐2を使用する大人のユーザ(例えば母親)は、文字列が漢字を含んでいたとしても、当該文字列を容易に理解可能であると想定される。このため、面属性情報DB128では、文字列の変換ルールとして、「転送対象のオブジェクトに含まれる文字列を変換しないこと」が掲示板20‐2と関連付けられている。一方、掲示板20‐3を使用する子どもは、文字列が漢字を含んでいる場合は当該文字列を理解することが難しいと想定される。このため、面属性情報DB128では、文字列の変換ルールとして、「転送対象のオブジェクトに含まれる文字列を平仮名に変換すること」が掲示板20‐3と関連付けられている。
【0107】
例えば、図24Aに示したように、スマートフォン50に表示されている転送領域34aに対して、表示中の付箋30を当該父親が移動させる転送操作が検出されたとする。図24Aに示したように、付箋30は、漢字を含む文字列(「もうすぐ帰ります」)を含んでいる。この場合、情報処理システム10の表示制御部106は、まず、スマートフォン50から受信された当該操作の検出結果に基づいて、付箋30に含まれる文字列を特定する。次に、表示制御部106は、掲示板20‐2と関連付けて面属性情報DB128に格納されている変換ルールを参照することにより、付箋30に含まれる文字列を変換しないことを決定する。次に、表示制御部106は、付箋30に含まれる文字列をそのまま含む、付箋30に対応する画像40aを生成する。そして、図24Bに示したように、表示制御部106は、画像40aを掲示板20‐2に表示させる。
【0108】
さらに、表示制御部106は、掲示板20‐3と関連付けて面属性情報DB128に格納されている変換ルールを参照することにより、付箋30に含まれる文字列を全て「平仮名」に変換することを決定する。次に、表示制御部106は、変換後の文字列を含むように、付箋30に対応する画像40bを生成する。そして、図24Cに示したように、表示制御部106は、画像40bを掲示板20‐3に表示させる。
【0109】
<3−7.応用例7>
以上、応用例6について説明した。次に、本実施形態に係る応用例7について説明する。応用例7によれば、転送対象のオブジェクトに対応する画像のフォーマット(またはレイアウト)を、転送先の表示面に適応的に変換して表示させることができる。
【0110】
{3−7−1.表示制御部106}
応用例7に係る表示制御部106は、転送操作検出部102により転送操作が検出された場合に、まず、転送先の表示面に関連付けて面属性情報DB128に登録されている、画像のフォーマット(またはレイアウト)の変換ルールに基づいて、転送対象のオブジェクトに対応する画像のフォーマットを決定する。そして、表示制御部106は、決定したフォーマットの画像を、当該オブジェクトに対応する画像として当該転送先の表示面に表示させる。
【0111】
ここで、図25図26Bを参照して、上記の機能についてより詳細に説明する。図25は、応用例7に係る面属性情報DB128の構成例を示した図である。図25に示したように、例えば、表示面の種類ごとに、転送対象のオブジェクトに対応する画像の表示時の、当該オブジェクトに対応する画像のフォーマット(またはレイアウト)の変換ルールが予め定められている。また、図26Aは、図25に示した面属性情報DB128内のNoが「1」の表示面20‐1(テーブル面20‐1)を概略的に示した図である。図26Bは、図25に示した面属性情報DB128内のNoが「2」の表示面20‐2(掲示板20‐2)を概略的に示した図である。
【0112】
例えば、図26Aに示したように、テーブル面20‐1上に位置する2つの付箋30を、テーブル面20‐1内に表示されている転送領域34aに一つずつ移動させる転送操作が検出されたとする。この場合、表示制御部106は、まず、(2つの付箋30に対応する画像の転送先の表示面である)掲示板20‐2と関連付けて面属性情報DB128に格納されている、フォーマットの変換ルールを参照する。次に、表示制御部106は、個々の付箋30に対応する画像の形状を「掲示物」の形状にそれぞれ変換し、かつ、個々の付箋30に含まれる個々の「スタンプ」を「勲章マーク」にそれぞれ変換することを決定する。次に、表示制御部106は、個々の付箋30に関して決定された変換ルールにより、個々の付箋30のフォーマットをそれぞれ変換することにより、個々の付箋30に対応する画像40(画像40aおよび画像40b)をそれぞれ生成する。そして、図26Bに示したように、表示制御部106は、画像40aおよび画像40bを掲示板20‐2に表示させる。
【0113】
この表示例によれば、(テーブル面20‐1において重要度の目安とされていた)「スタンプ」の数と同数の「勲章マーク」を含む「掲示物」の画像を、付箋30に対応する画像40として掲示板20‐2上に表示することができる。
【0114】
<3−8.応用例8>
以上、応用例7について説明した。次に、本実施形態に係る応用例8について説明する。応用例8によれば、転送元の表示面を使用中のユーザは、転送対象のオブジェクトに対応する画像を、転送先の表示面内の所望の位置に、かつ、直感的な操作で表示させることができる。
【0115】
{3−8−1.表示制御部106}
(3−8−1−1.転送操作の検出のフィードバック表示)
応用例8に係る表示制御部106は、転送操作検出部102により転送操作が検出された場合に、転送先の表示面に表示される表示情報を、転送元の表示面内で操作可能なように変更されたことを示す所定の表示制御を当該転送元の表示面に対して行う。例えば、表示制御部106は、当該所定の表示制御として、当該転送先の表示面における対象領域内の一以上の表示情報を当該転送元の表示面に表示させる。ここで、当該対象領域は、当該転送先の表示面内の一部の領域であり得る。
【0116】
例えば、当該転送操作に継続して所定の操作(以下、「後続の操作」と称する場合がある)が行われたことが検出された場合には、表示制御部106は、まず、当該転送先の表示面内の所定の領域から、当該後続の操作の検出結果に対応する別の領域へと当該対象領域を変更する。そして、当該対象領域が別の領域へ変更される度に、表示制御部106は、当該転送元の表示面内に表示されている当該転送先の表示面内の表示情報として、当該変更後の別の領域内の一以上の表示情報が当該転送元の表示面に逐次表示されるように表示を制御する。
【0117】
ここで、当該後続の操作は、本開示に係る第2の操作の一例である。当該後続の操作は、転送対象のオブジェクトに対する操作状態を所定の操作状態のまま維持しながら、当該転送操作に継続して行われる操作であり得る。例えば、当該転送操作は、転送元の表示面上で転送対象のオブジェクトを上記所定の転送オブジェクトに対してドラッグする操作であり得る。この場合、当該後続の操作は、当該オブジェクトをポインティングした状態(例えばタッチしている状態)を維持しながら、当該オブジェクトを継続してドラッグする操作であってもよい。
【0118】
なお、本開示に係る第2の操作は、前述した「後続の操作」に限定されず、該当のユーザが上記の転送操作の後に行う他の種類の操作であってもよい。例えば、当該第2の操作は、転送対象のオブジェクトに対応する情報の転送後に、該当のユーザが当該転送対象のオブジェクトを転送元の表示面上で移動させる操作であってもよい。一例として、当該第2の操作は、転送元の表示面上で転送対象のオブジェクトを上記所定の転送オブジェクト(例えば転送台など)に対して、該当のユーザがフリックする操作であってもよい。
【0119】
変形例として、当該所定の表示制御は、当該転送元の表示面の表示態様を変更することであってもよい。例えば、当該所定の表示制御は、当該転送元の表示面の表示色や輝度を変更したり、または、当該転送元の表示面に、所定のエフェクトを追加表示させることであってもよい。
【0120】
(3−8−1−2.転送先の表示面の表示の変更)
さらに、応用例8に係る表示制御部106は、当該転送先の表示面の表示状態を、上記の後続の操作の検出結果に基づいて変更することが可能である。例えば、表示制御部106は、当該転送対象のオブジェクトに対応する情報を、上記の後続の操作の検出結果に基づいて当該転送先の表示面に表示させる。一例として、表示制御部106は、当該転送先の表示面内の、当該転送対象のオブジェクトに対応する画像の表示位置を、当該後続の操作の検出結果に基づいて決定する。例えば、当該後続の操作は、当該転送対象のオブジェクトに対するタッチ操作(ドラッグ操作など)であり得る。この場合、当該転送対象のオブジェクトに対してタッチしている手が当該転送元の表示面から離されたことが検出されたタイミングに、表示制御部106は、当該転送元の表示面において当該タイミングの直前にタッチしていた位置に対応する、当該転送先の表示面上の位置に、当該転送対象のオブジェクトに対応する画像を表示させる。
【0121】
ここで、図27A図27Dを参照して、上記の機能についてより詳細に説明する。図27A図27Dは、応用例8に係る、転送元の表示面20‐1(テーブル面20‐1)、および、転送先の表示面20‐2(ホワイトボード20‐2)に対する表示制御の例を示した図である。
【0122】
‐ケース1
例えば、図27Aに示したように、テーブル面20‐1を使用中のユーザは、(付箋30に対応する画像の転送操作として)テーブル面20‐1上に表示されている転送領域34a外から転送領域34a内へ付箋30を手でドラッグし、その直後、付箋30から手を離したとする。この場合、付箋30から手が離されたタイミングに、図27Bに示したように、表示制御部106は、ホワイトボード20‐2上に設定されている転送領域34bに、付箋30に対応する画像40を表示させる。
【0123】
‐ケース2
一方、該当のユーザは、転送領域34a外から転送領域34a内へ付箋30を手でドラッグし、そして、付箋30から手を離さない状態を例えば所定の時間以上維持した(つまり、付箋30に対して手をキープした)とする。この場合、表示制御部106は、ホワイトボード20‐2において定められているクリッピング領域60内に位置する全ての表示情報をテーブル面20‐1に表示させる。換言すれば、ホワイトボード20‐2側の映像がテーブル面20‐1に表示されるように変更され得る。ここで、クリッピング領域60は、上記の対象領域の一例である。
【0124】
同時に、図27Dに示したように、表示制御部106は、クリッピング領域60を示す表示(例えばクリッピング領域60の輪郭線など)をホワイトボード20‐2にリアルタイムに表示させる。さらに、表示制御部106は、テーブル面20‐1内で、ドラッグ操作中の手の現在の位置(ポインティング位置)に対応する、ホワイトボード20‐2内の位置に、当該ユーザのポインティング位置を示す画像62を表示させる。例えば、当該ユーザのポインティング位置が変化する度に、表示制御部106は、ホワイトボード20‐2内の画像62の表示位置を逐次変更する。
【0125】
さらに、該当のユーザは、転送領域34a内へ付箋30をドラッグしたタイミングの後、例えば図27Cに示したように、付箋30から手を離さずに、付箋30をテーブル面20‐1においてドラッグし、その後、付箋30から手を離したとする。この場合、表示制御部106は、付箋30に対応する画像40をホワイトボード20‐2に転送させる。そして、表示制御部106は、付箋30から手が離されたタイミングにおける、テーブル面20‐1上の付箋30の位置に対応するホワイトボード20‐2の位置に、付箋画像40を表示させる。
【0126】
その後、表示制御部106は、テーブル面20‐1の表示状態を元の表示状態に戻す。つまり、表示制御部106は、クリッピング領域60内の表示情報の代わりに、例えば当該後続の操作の検出時にテーブル面20‐1に表示されていた表示情報をテーブル面20‐1に再び表示させる。
【0127】
{3−8−2.効果}
以上説明したように、応用例8によれば、転送元の表示面を使用中のユーザは、転送対象のオブジェクトに対応する画像を、転送先の表示面内の所望の位置に表示させることができる。また、当該ユーザは、当該転送先の表示面内の、当該転送対象のオブジェクトに対応する画像の転送位置(表示位置)を、例えばドラッグ操作などの直感的な操作により決定することができる。
【0128】
<3−9.応用例9>
以上、応用例8について説明した。次に、本実施形態に係る応用例9について説明する。応用例9によれば、転送先の表示面に定められている対象領域をユーザは容易にスクロールすることができる。
【0129】
{3−9−1.表示制御部106}
応用例9に係る表示制御部106は、転送対象のオブジェクトに対して該当のユーザがポインティングしている状態が維持されている間の上記後続の操作の検出結果に基いて、当該転送先の表示面内の対象領域の位置を移動させる。
【0130】
(3−9−1−1.対象領域の変更例1)
ここで、図28Aおよび図28Bを参照して、上記の機能の具体例について説明する。図28Aに示した例では、例えば図27Cに示したように、テーブル面20‐1を使用中のユーザが、転送領域34a内へ付箋30をドラッグしたタイミングの後、付箋30から手を離さずに、テーブル面20‐1内で付箋30をドラッグしていることを前提としている。
【0131】
例えば、図28Aに示したように、該当のユーザが、テーブル面20‐1において付箋30を右手4a(つまり、付箋30をドラッグしている手)でタッチしている状態を維持しながら、例えば左手4bを開いた状態で、左手4bをテーブル面20‐1上で滑らせる操作を行ったとする。この場合、例えば図28Bに示したように、表示制御部106は、左手4bの手の動き(移動距離および移動方向)の検出結果に応じて、ホワイトボード20‐2内のクリッピング領域60の位置を連続的に移動させる。つまり、表示制御部106は、左手4bの手の動きの検出結果に応じて、クリッピング領域60をスクロールさせる。
【0132】
(3−9−1−2.対象領域の変更例2)
次に、図29Aおよび図29Bを参照して、上記の機能の別の具体例について説明する。図29Aに示した例では、(図28Aに示した例と同様に)テーブル面20‐1を使用中のユーザが、転送領域34a内へ付箋30をドラッグしたタイミングの後、付箋30から手を離さずに、テーブル面20‐1内で付箋30をドラッグしていることを前提としている。
【0133】
例えば、図29Aに示したように、該当のユーザが、テーブル面20‐1のいずれかの端まで右手4aで、付箋30に対応する画像40をドラッグしたとする。この場合、例えば当該端に右手4aが継続して位置している間、表示制御部106は、例えば図29Bに示したように、テーブル面20‐1における右手4aの位置に応じて、ホワイトボード20‐2内のクリッピング領域60を連続的にスクロールさせる。例えば、当該端に右手4aが継続して位置している間、表示制御部106は、テーブル面20‐1において右手4aがドラッグしている方向に対応する、ホワイトボード20‐2の方向へクリッピング領域60を連続的にスクロールさせる。
【0134】
これらのスクロール例によれば、ユーザは、転送先の表示面内のクリッピング領域60(つまり、対象領域)を容易に変更することができるので、転送対象のオブジェクトの転送位置をより容易に決定することができる。従って、仮に転送元の表示面のサイズと転送先の表示面のサイズとが大きく異なる場合であっても、ユーザは、転送対象のオブジェクトの転送位置を容易に決定することができる。
【0135】
<3−10.応用例10>
以上、応用例9について説明した。次に、本実施形態に係る応用例10について説明する。応用例10によれば、転送先の表示面における対象領域内の一以上の表示情報とともに、当該転送先の表示面の略全体を示す画像を転送元の表示面に同時に表示させることができる。
【0136】
{3−10−1.表示制御部106}
応用例10に係る表示制御部106は、上記の後続の操作中(つまり、転送対象のオブジェクトに対して該当のユーザがポインティングしている状態が維持されている間)に、転送先の表示面の略全体に表示されている全ての表示情報を示すマップ画像を当該転送元の表示面に表示させる。例えば、表示制御部106は、当該転送元の表示面よりも小さいサイズで当該マップ画像を当該転送元の表示面内の所定の位置に表示させる。
【0137】
ここで、図30Aおよび図30Bを参照して、上記の機能についてより詳細に説明する。例えば応用例9で述べたような、クリッピング領域60のスクロール中(つまり、クリッピング領域60の位置が連続的に移動されている間)に、図30Bに示したように、表示制御部106は、転送先の表示面20‐2の略全体に表示されている全ての表示情報を示すマップ画像42を転送元の表示面20‐1内の所定の位置に表示させる。この際、図30Bに示したように、マップ画像42は、現在のクリッピング領域60を示す表示を含んでもよい。この表示例によれば、仮に、転送元の表示面のサイズと転送先の表示面のサイズとが大きく異なっており、かつ、スクロール表示中であっても、ユーザは、現在のクリッピング領域60の位置と、転送先の表示面の全体との位置関係をリアルタイム、かつ、容易に把握することができる。
【0138】
<3−11.応用例11>
以上、応用例10について説明した。次に、本実施形態に係る応用例11について説明する。
【0139】
{3−11−1.表示制御部106}
応用例11に係る表示制御部106は、上記の後続の操作中(つまり、転送対象のオブジェクトに対して該当のユーザがポインティングしている状態が維持されている間)に、転送先の表示面における対象領域内の一以上の表示情報、および、当該対象領域を移動させるための操作画像を当該転送元の表示面に表示させる。
【0140】
ここで、図31Aおよび図31Bを参照して、上記の機能についてより詳細に説明する。図31Aは、あるタイミングにおける転送先の表示面20‐2の表示例を示した図である。また、図31Bは、図31Aに示したような、転送先の表示面20‐2において設定されているクリッピング領域60に含まれる表示情報が転送元の表示面20‐1に表示されている例を示した図である。図31Bに示したように、例えば、表示制御部106は、クリッピング領域60に含まれる全ての表示情報40、および、それぞれ異なる方向にクリッピング領域60をスクロールさせるための複数のスクロールボタン44を転送元の表示面20‐1に表示させる。例えば、ユーザは、個々のスクロールボタン44をタッチすることにより、当該スクロールボタン44に対応する方向へクリッピング領域60をスクロールさせることができる。
【0141】
さらに、図31Bに示したように、表示制御部106は、転送先の表示面20‐2において定められている転送領域の方向を示す画像46を転送元の表示面20‐1にさらに表示させてもよい。この表示例によれば、例えば、ユーザがクリッピング領域60を移動させた場合であっても、ユーザは、現在のクリッピング領域60の位置と、転送先の表示面の全体との位置関係をリアルタイム、かつ、容易に把握することができる。
【0142】
<3−12.応用例12>
以上、応用例11について説明した。次に、本実施形態に係る応用例12について説明する。応用例12によれば、ある表示面が位置する場所からそれぞれ遠隔した、互いに異なる場所に位置する各ユーザが、当該表示面に表示されている一以上の表示情報に対する共同編集を容易に行うことができる。
【0143】
応用例12では、少なくとも3つの表示面が位置する場所が、互いに遠隔していること(例えば所定の距離以上離れていること)を想定する。さらに、一つの表示面20‐2内の第1の対象領域が別の表示面20‐1に表示されており、かつ、表示面20‐2内の第2の対象領域がさらに別の表示面20‐3に表示されていることを想定する。ここで、表示面20‐2は、表示面20‐1を使用中の一以上のユーザ、および、表示面20‐3を使用中の一以上のユーザの共同編集の対象の表示面であり得る。
【0144】
{3−12−1.表示制御部106}
応用例12に係る表示制御部106は、表示面20‐2内の当該第1の対象領域内の一以上の表示情報が表示面20‐1に表示されている間に、表示面20‐2内の当該第1の対象領域と表示面20‐2内の当該第2の対象領域との位置関係を示す表示を表示面20‐1に表示させ得る。同時に、表示制御部106は、表示面20‐2内の当該第2の対象領域内の一以上の表示情報が表示面20‐3に表示されている間に、当該第1の対象領域と当該第2の対象領域との位置関係を示す表示を表示面20‐3に表示させ得る。
【0145】
さらに、情報処理システム10は、表示面20‐3に表示されている当該第2の対象領域内の一以上の表示情報に対する、表示面20‐3を使用中の一以上のユーザの第2の編集操作情報を表示面20‐3から受信し得る。この場合、当該第1の対象領域内の一以上の表示情報が表示面20‐1に表示されている間に、表示制御部106は、当該第2の編集操作情報が示す操作内容を表示面20‐1に表示させ得る。
【0146】
同時に、表示制御部106は、当該第1の対象領域内の一以上の表示情報に対する、表示面20‐1を使用中の一以上のユーザの第1の編集操作情報を取得し、そして、当該第1の編集操作情報が示す操作内容を表示面20‐3に表示させ得る。
【0147】
(3−12−1−1.具体例)
ここで、図32A図32Cを参照して、上記の機能についてより詳細に説明する。図32A図32Cに示した例では、ホワイトボード20‐2、テーブル面20‐1、および、テーブル面20‐3が互いに遠隔して位置している。そして、ホワイトボード20‐2内のクリッピング領域60a内の全ての表示情報がテーブル面20‐1に表示されており、かつ、ホワイトボード20‐2内のクリッピング領域60b内の全ての表示情報がテーブル面20‐3に表示されている。
【0148】
例えば、図32Bに示したように、表示制御部106は、クリッピング領域60a内の全ての表示情報40がテーブル面20‐1に表示させる。同時に、表示制御部106は、テーブル面20‐1における、クリッピング領域60aの位置を基準としたクリッピング領域60bの相対的な位置に、クリッピング領域60bを示す画像(例えばクリッピング領域60bの輪郭線など)を表示させる。さらに、表示制御部106は、クリッピング領域60aの位置を基準とした、テーブル面20‐3を使用中のユーザのポインティング位置(指位置など)に対応する、テーブル面20‐1上の位置に、当該ポインティング位置を示す画像62bを表示させる。
【0149】
同様に、図32Cに示したように、表示制御部106は、クリッピング領域60b内の全ての表示情報40をテーブル面20‐3に表示させる。同時に、表示制御部106は、テーブル面20‐3における、クリッピング領域60bの位置を基準としたクリッピング領域60aの相対的な位置に、クリッピング領域60aの位置を示す画像(例えばクリッピング領域60aの輪郭線など)を表示させる。さらに、表示制御部106は、クリッピング領域60bの位置を基準とした、テーブル面20‐1を使用中のユーザのポインティング位置(指位置など)に対応する、テーブル面20‐3上の位置に、当該ポインティング位置を示す画像62aを表示させる。
【0150】
さらに、図31Aに示したように、表示制御部106は、クリッピング領域60aの位置を示す画像、クリッピング領域60bの位置を示す画像、テーブル面20‐1を使用中のユーザのポインティング位置を示す画像62a、および、テーブル面20‐3を使用中のユーザのポインティング位置を示す画像62bをホワイトボード20‐2に同時、かつ、リアルタイムに表示させてもよい。
【0151】
上記の表示例によれば、テーブル面20‐1を使用するユーザ、および、テーブル面20‐3を使用するユーザはそれぞれ、相手のユーザのポインティング位置と、ホワイトボード20‐2内の相手側のクリッピング領域とを同時に参照することができる。そして、相手のユーザが、ホワイトボード20‐2において編集している内容をリアルタイムに知ることができる。従って、異なる地点にいるユーザ同士が、ホワイトボード20‐2に対する共同編集作業を容易に行うことができる。
【0152】
<3−13.応用例13>
以上、応用例12について説明した。次に、本実施形態に係る応用例13について説明する。応用例13によれば、転送先の表示面の全体を俯瞰しながら、当該転送先の表示面における、転送対象のオブジェクトの転送位置をユーザは容易に指定することができる。
【0153】
{3−13−1.表示制御部106}
応用例13に係る表示制御部106は、上記の後続の操作が検出された際(つまり、転送対象のオブジェクトに対して該当のユーザがポインティングしている状態が維持されている間)に、転送先の表示面の略全体に表示されている全ての表示情報を示すマップ画像を、当該ユーザのポインティング位置に応じて当該転送元の表示面に表示させる。さらに、当該マップ画像内でユーザが位置を指定した場合には、表示制御部106は、当該指定された位置に対応する転送先の表示面内の位置を、転送対象のオブジェクトに対応する画像の転送位置として決定する。
【0154】
ここで、図33A図33Cを参照して、上記の機能についてより詳細に説明する。例えば、図33Aに示したように、表示面20‐1を使用中のユーザは、表示面20‐1上に位置する付箋30を、表示面20‐1に表示されている転送領域34aにドラッグさせたとする。その後、図33Bに示したように、当該ユーザは、該当の手を付箋30から離さずに、所定の時間以上維持したとする。
【0155】
この場合、図33Cに示したように、表示制御部106は、転送先の表示面20‐2の略全体に表示されている全ての表示情報を示すマップ画像42を、付箋30にタッチしている指の位置を基準として表示面20‐1に表示させる。その後、当該ユーザは、例えばマップ画像42において該当の指をドラッグすることにより、付箋30に対応する画像の転送位置を指定する。この場合、表示制御部106は、付箋30から当該指が離される直前の、マップ画像42中で当該指がタッチしていた位置に対応する、転送先の表示面20‐2中の位置を、付箋30に対応する画像40の転送位置として決定し得る。
【0156】
この表示例によれば、該当のユーザは、転送先の表示面20‐2の全体を俯瞰しながら、付箋30に対応する画像の転送位置を指定することができる。
【0157】
<<4.ハードウェア構成>>
以上、本実施形態に係る各応用例について説明した。次に、本実施形態に係る情報処理システム10のハードウェア構成について、図34を参照して説明する。図34に示したように、情報処理システム10は、CPU150、ROM(Read Only Memory)152、RAM(Random Access Memory)154、バス156、インターフェース158、入力装置160、出力装置162、ストレージ装置164、および、通信装置166を備える。
【0158】
CPU150は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理システム10内の動作全般を制御する。また、CPU150は、情報処理システム10において処理部100および表示処理部122の機能を実現し得る。CPU150は、マイクロプロセッサなどのプロセッサにより構成され得る。
【0159】
ROM152は、CPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。
【0160】
RAM154は、例えば、CPU150により実行されるプログラムなどを一時的に記憶する。
【0161】
バス156は、CPUバスなどから構成される。バス156は、CPU150、ROM152、および、RAM154を相互に接続する。
【0162】
インターフェース158は、入力装置160、出力装置162、ストレージ装置164、および、通信装置166をバス156と接続する。
【0163】
入力装置160は、ユーザが情報を入力するための入力手段(例えばタッチパネル、ボタン、スイッチ、ダイヤル、レバー、または、マイクロフォンなど)を含む。さらに、入力装置160は、ユーザによる入力に基づいて入力信号を生成し、かつ、当該入力信号をCPU150に出力する入力制御回路などを含む。入力装置160は、情報処理システム10において入力部120の機能を実現し得る。
【0164】
出力装置162は、例えば、プロジェクタ、液晶ディスプレイ装置、OLED(Organic Light Emitting Diode)装置、または、ランプなどの表示装置を含む。また、出力装置162は、スピーカーなどの音声出力装置を含む。出力装置162は、情報処理システム10において出力部124の機能を実現し得る。
【0165】
ストレージ装置164は、データ格納用の装置である。ストレージ装置164は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または、記憶媒体に記録されたデータを削除する削除装置などを含む。ストレージ装置164は、情報処理システム10において記憶部126の機能を実現し得る。
【0166】
通信装置166は、例えばインターネットやLAN(Local Area Network)などの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置166は、無線LAN対応通信装置、LTE(Long Term Evolution)対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。
【0167】
<<5.変形例>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0168】
<5−1.変形例1>
例えば、図6では、表示処理部122と処理部100とが別々に設けられる例を示したが、本実施形態はかかる例に限定されない。変形例として、表示処理部122と処理部100とは一体的に構成されてもよい。
【0169】
<5−2.変形例2>
本実施形態に係るシステムの構成例は、前述した例に限定されない。例えば、図35に示したように、前述した実施形態および各応用例に係る処理部100を有するサーバ80が通信網22に接続されていてもよい。この場合、サーバ80は、通信網22に接続されている個々の表示面20と通信網22を介して通信可能である。また、サーバ80は、前述した実施形態および各応用例で述べた内容と概略同様の表示制御を、当該個々の表示面20に対して行うことが可能である。例えば、個々の表示面20が位置する場所に(または、個々の表示面20自体に)、前述した入力部120、表示処理部122、および、出力部124がそれぞれ配置され得る。この場合、サーバ80は、個々の表示面20に対応する入力部120により取得された入力情報を個々の表示面20から受信し得る。さらに、サーバ80は、前述した実施形態および各応用例で述べた内容と概略同様の表示制御を、個々の表示面20から受信された入力情報に基づいて個々の表示面20に対して行ってもよい。
【0170】
<5−3.変形例3>
別の変形例として、本実施形態に係る処理部100を含む装置(情報処理装置)は、前述した、入力部120、表示処理部122、または、出力部124のうちの一以上を含む装置であってもよい。例えば、当該情報処理装置は、処理部100、表示処理部122、および、出力部124を含むプロジェクタであってもよい。
【0171】
または、当該情報処理装置は、テーブル90と一体的に構成されてもよい。または、当該情報処理装置は、入力部120、表示処理部122、および、出力部124のうちの少なくとも一つと上記の通信網を介して接続されていてもよい。例えば、当該情報処理装置は、サーバ、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、テレビジョン受信機、例えばHMD(Head Mounted Display)やスマートウォッチなどのウェアラブルデバイス、または、ロボット(例えば人型ロボットや自動運転車など)であってもよい。
【0172】
<5−4.変形例4>
前述した処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並行的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
【0173】
また、前述した各実施形態によれば、CPU150、ROM152、およびRAM154などのハードウェアを、前述した実施形態に係る情報処理システム10(特に処理部100)の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、当該コンピュータプログラムが記録された記憶媒体も提供される。
【0174】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0175】
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、
前記第1の操作の後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、
を備える、情報処理システム。
(2)
前記処理部は、前記第2の操作の検出結果に基づいて、前記第1のオブジェクトに対応する情報を前記第2の表示面に表示させる、前記(1)に記載の情報処理システム。
(3)
前記第2の操作は、前記第1のオブジェクトに対する操作状態を所定の操作状態のまま維持しながら、前記第1の操作に継続して行われる操作である、前記(2)に記載の情報処理システム。
(4)
前記所定の表示制御は、前記第2の表示面における第1の対象領域内の一以上の表示情報を前記第1の表示面に表示させることを含む、前記(3)に記載の情報処理システム。
(5)
前記第1の対象領域は、前記第2の表示面内の一部の領域であり、
前記処理部は、さらに前記第2の操作の検出結果に基づいて、前記第1の対象領域を前記第2の表示面内の第1の領域から前記第2の表示面内の第2の領域へと変更し、
前記第1の対象領域が前記第1の領域から前記第2の領域へ変更された場合には、前記処理部は、前記第1の表示面に表示される表示情報を、前記第1の領域内の一以上の表示情報から、前記第2の領域内の一以上の表示情報へ切り替える、前記(4)に記載の情報処理システム。
(6)
前記第1の対象領域は、前記第2の表示面の略全体であり、
前記所定の表示制御は、前記第2の表示面の略全体に表示されている一以上の表示情報を示すマップ画像を前記第1の表示面に表示させることを含み、
前記マップ画像のサイズは、前記第1の表示面のサイズよりも小さい、前記(4)に記載の情報処理システム。
(7)
前記第2の表示面が位置する場所は、前記第1の表示面が位置する場所から遠隔しており、
前記処理部は、前記第1の表示面が位置する場所および前記第2の表示面が位置する場所のそれぞれから遠隔した場所に位置する第3の表示面に、前記第2の表示面における第2の対象領域内の一以上の表示情報を表示させ、
前記第1の対象領域内の一以上の表示情報が前記第1の表示面に表示されている間に、前記処理部は、前記第1の対象領域と前記第2の対象領域との位置関係を示す表示を前記第1の表示面にさらに表示させる、前記(4)〜(6)のいずれか一項に記載の情報処理システム。
(8)
前記第2の対象領域内の一以上の表示情報が前記第3の表示面に表示されている間に、前記第3の表示面において第2のユーザがポインティングしている位置を示すポインティング情報を受信する受信部をさらに備え、
前記第1の対象領域内の一以上の表示情報が前記第1の表示面に表示されている間に、前記処理部は、前記ポインティング情報が示すポインティング位置に対応する、前記第1の表示面内の位置に所定の画像をさらに表示させる、前記(7)に記載の情報処理システム。
(9)
前記処理部は、さらに、前記第1のオブジェクトに対応する情報の、前記第2の表示面における転送位置を前記第2の操作の検出結果に基づいて決定する、前記(4)〜(8)のいずれか一項に記載の情報処理システム。
(10)
前記第1の対象領域は、前記第2の表示面の略全体であり、
前記所定の表示制御は、前記第2の表示面の略全体に表示されている一以上の表示情報を示すマップ画像を前記第1の表示面に表示させることを含み、
前記マップ画像のサイズは、前記第1の表示面のサイズよりも小さく、
前記第2の操作は、前記第1のオブジェクトに対応する情報の前記第2の表示面における転送位置を、前記マップ画像において前記第1のユーザが指定することを含む、前記(9)に記載の情報処理システム。
(11)
前記第1のオブジェクトに対応する情報は、前記第1のオブジェクトに対応する画像であり、
前記処理部は、さらに、前記第2の表示面における前記転送位置に、前記第1のオブジェクトに対応する画像を表示させる、前記(9)または(10)に記載の情報処理システム。
(12)
前記処理部は、さらに、前記第1の表示面に対応する複数の表示面の中から、前記第1のオブジェクトに対応する情報の転送先の少なくとも一つの表示面を、前記一以上の所定の転送オブジェクトの状態を示す情報と前記第1の操作の検出結果とに基づいて決定し、
前記複数の表示面は、前記第2の表示面を含む、前記(3)〜(11)のいずれか一項に記載の情報処理システム。
(13)
前記一以上の所定の転送オブジェクトは、複数存在し、
前記複数の所定の転送オブジェクトは、それぞれ実オブジェクトであり、
前記第1の操作が検出された場合に、前記処理部は、前記複数の所定の転送オブジェクトのうちのいずれか2つの転送オブジェクトの間の距離が所定の閾値以下であるか否かと、当該いずれか2つの転送オブジェクトの並び方が所定の並び方であるか否かとに基づいて、前記複数の表示面の中から、前記第1のオブジェクトに対応する情報の転送先の少なくとも一つの表示面を決定する、前記(12)に記載の情報処理システム。
(14)
前記所定の転送オブジェクトは、複数の面を有する実オブジェクトであり、
前記所定の転送オブジェクトが有する前記複数の面の各々は、前記複数の表示面のうちの互いに異なる表示面と関連付けられており、
前記第1の操作は、前記所定の転送オブジェクトが有する前記複数の面のうちの一つの面上に前記第1のユーザが前記第1のオブジェクトを配置することを含み、
前記第1の操作が検出された場合には、前記処理部は、前記所定の転送オブジェクトが有する前記複数の面のうちの前記第1のオブジェクトが配置された面に関連付けられている表示面を、前記第1のオブジェクトに対応する情報の転送先の表示面として決定する、前記(12)または(13)に記載の情報処理システム。
(15)
前記所定の転送オブジェクトは、少なくとも一つの傾斜面を有する実オブジェクトであり、
前記第1の操作は、前記所定の転送オブジェクトが有する前記少なくとも一つの傾斜面のうちのいずれかの上に前記第1のユーザが前記第1のオブジェクトを配置することを含み、
前記第1の操作が検出された場合には、前記処理部は、前記複数の表示面の中から、前記第1のオブジェクトが向いている方向に位置する表示面を、前記第1のオブジェクトに対応する情報の転送先の表示面として決定する、前記(12)〜(14)のいずれか一項に記載の情報処理システム。
(16)
前記所定の転送オブジェクトは、実オブジェクトであり、
前記第1のオブジェクトに対応する画像が前記第2の表示面に表示された際に、前記処理部は、前記第1の操作中の、前記所定の転送オブジェクトに対する前記第1のオブジェクトの移動経過の検出結果と前記所定の転送オブジェクトの姿勢の検出結果とに基づいて、前記第2の表示面内の当該画像の表示位置を連続的に変化させる、前記(12)〜(15)のいずれか一項に記載の情報処理システム。
(17)
前記第1のオブジェクトに対応する情報は、前記第1のオブジェクトに対応する画像であり、
前記第2の表示面に関連する情報は、前記第2の表示面に関連する、文字列の変換ルール情報を含み、
前記第1のオブジェクト内に第1の文字列が含まれる場合には、前記処理部は、前記第2の表示面に関連する、文字列の変換ルール情報と前記第1の文字列とに基づいて変換された第2の文字列を含む画像を、前記第1のオブジェクトに対応する画像として前記第2の表示面に表示させる、前記(12)〜(16)のいずれか一項に記載の情報処理システム。
(18)
前記第1のオブジェクトに対応する情報は、前記第1のオブジェクトに対応する画像であり、
前記第2の表示面に関連する情報は、前記第2の表示面に関連する、画像のフォーマットの変換ルール情報を含み、
前記処理部は、前記第2の表示面に関連する、画像のフォーマットの変換ルール情報と前記第1のオブジェクトとに基づいて決定されたフォーマットの画像を、前記第1のオブジェクトに対応する画像として前記第2の表示面に表示させる、前記(12)〜(17)のいずれか一項に記載の情報処理システム。
(19)
第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行うことと、
プロセッサが、前記第1の操作の検出時以後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更することと、
を含む、情報処理方法。
(20)
コンピュータを、
第1の表示面内に位置する一以上の所定の転送オブジェクトと所定の位置関係にある検出領域に対して第1のユーザが第1のオブジェクトを移動させる第1の操作が検出された場合に、前記第1の表示面に対応する第2の表示面内の一以上の表示情報を前記第1の表示面内で操作可能なように変更されたことを示す所定の表示制御を前記第1の表示面に対して行い、かつ、
前記第1の操作の検出時以後の前記第1のユーザの第2の操作の検出結果に基づいて、前記第2の表示面の表示状態を変更する処理部、
として機能させるためのプログラム。
【符号の説明】
【0176】
10 情報処理システム
22 通信網
32 転送台
50 スマートフォン
80 サーバ
90 テーブル
100 処理部
102 転送操作検出部
104 面属性適合処理部
106 表示制御部
120 入力部
122 表示処理部
124 出力部
126 記憶部
128 面属性情報DB
図1
図2
図3
図4
図5
図6
図7
図8
図9A
図9B
図10A
図10B
図11
図12
図13
図14
図15
図16
図17
図18
図19A
図19B
図20
図21A
図21B
図22
図23
図24A
図24B
図24C
図25
図26A
図26B
図27A
図27B
図27C
図27D
図28A
図28B
図29A
図29B
図30A
図30B
図31A
図31B
図32A
図32B
図32C
図33A
図33B
図33C
図34
図35
【国際調査報告】