(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-03
(45)【発行日】2023-07-11
(54)【発明の名称】モード制御方法、モード制御プログラムおよび情報処理装置
(51)【国際特許分類】
G06F 3/0484 20220101AFI20230704BHJP
G09G 5/00 20060101ALI20230704BHJP
【FI】
G06F3/0484
G09G5/00 550C
(21)【出願番号】P 2019162350
(22)【出願日】2019-09-05
【審査請求日】2022-05-17
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100104190
【氏名又は名称】酒井 昭徳
(72)【発明者】
【氏名】陳 彬
(72)【発明者】
【氏名】岡林 桂樹
【審査官】▲高▼瀬 健太郎
(56)【参考文献】
【文献】米国特許出願公開第2016/0026812(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0484
G09G 5/00
(57)【特許請求の範囲】
【請求項1】
表示部に表示されている第一の領域に対するオブジェクトの移動を制御するモード制御方法において、
前記第一の領域に対する前記オブジェクトの取り込みモードのONまたはOFFの設定時、前記オブジェクトの前記第一の領域外から領域内への移
動指示を検出した
場合、取り込みモードがONであれば前記オブジェクトを前記第一の領域へ取り込み、取り込みモードがOFFであれば取り込まなかったものと判断し、
再度の前記オブジェクトの移動指示に基づき、
取り込まなかった前記オブジェクトの同方向への移動指示、あるいは取り込んだ前記オブジェクトの逆方向への移動指示により前記取り込みモードを切り替える、
処理をコンピュータが実行することを特徴とするモード制御方法。
【請求項2】
前記第一の領域に対する前記オブジェクトの取り込みモードがONの状態で、前記オブジェクトを前記第一の領域外から領域内へ移動させる1回目の移動指示を検出した場合、前記オブジェクトを前記第一の領域に取り込んだものと判断し、
その後、前記オブジェクトの前記第一の領域内から領域外への2回目の移動指示を検出した場合、前記第一の領域の取り込みモードをOFFに切り替える、
ことを特徴とする請求項1に記載のモード制御方法。
【請求項3】
前記第一の領域に対する前記オブジェクトの取り込みモードがOFFの状態で、前記オブジェクトを前記第一の領域外から領域内へ移動させる1回目の移動指示を検出した場合、前記オブジェクトを前記第一の領域に取り込まなかったものと判断し、
その後、再度、前記オブジェクトの前記第一の領域外から領域内への2回目の移動指示を検出した場合、前記第一の領域の取り込みモードをONに切り替える、
ことを特徴とする請求項1または2に記載のモード制御方法。
【請求項4】
前記オブジェクトに対するフリック操作により前記1回目の移動指示を検出し、
前記オブジェクトに対するドラッグ操作により前記2回目の移動指示を検出する、
ことを特徴とする請求項2または3に記載のモード制御方法。
【請求項5】
予め前記移動指示別の取り込みモードを予測する
ためのパラメータとして、前記表示部における前記第一の領域の面積、表示位置、および表示場所に対応した確率の初期値を保持し、
実際に操作された前記移動指示の検出時に、前記移動指示別の前記オブジェクトの実際の移動による前記第一の領域に対する相対関係に基づき、前記パラメータの前記初期値を所定ルールで更新し、
前記取り込みモードの切り替えを判断する、
ことを特徴とする請求項1に記載のモード制御方法。
【請求項6】
前記取り込みモードの切り替えをユーザに通知し、確認操作を受け付けるダイアログを表示する、
ことを特徴とする請求項2~5のいずれか一つに記載のモード制御方法。
【請求項7】
前記第一の領域は、前記表示部上に表示され、複数のユーザで共有するデジタル模造紙であり、
前記オブジェクトは、前記デジタル模造紙の領域内への取り込みで共有される、ユーザ個別のデジタルカードである、
ことを特徴とする請求項1~6のいずれか一つに記載のモード制御方法。
【請求項8】
表示部に表示されている第一の領域に対するオブジェクトの移動を制御するモード制御プログラムにおいて、
前記第一の領域に対する前記オブジェクトの取り込みモードのONまたはOFFの設定時、前記オブジェクトの前記第一の領域外から領域内への移動指示を検出した場合、取り込みモードがONであれば前記オブジェクトを前記第一の領域へ取り込み、取り込みモードがOFFであれば取り込まなかったものと判断し、
再度の前記オブジェクトの移動指示に基づき、取り込まなかった前記オブジェクトの同方向への移動指示、あるいは取り込んだ前記オブジェクトの逆方向への移動指示により前記取り込みモードを切り替える、
処理をコンピュータに実行させることを特徴とするモード制御プログラム。
【請求項9】
表示部に表示されている第一の領域に対するオブジェクトの移動を制御する情報処理装置において、
前記第一の領域に対する前記オブジェクトの取り込みモードのONまたはOFFの設定時、前記オブジェクトの前記第一の領域外から領域内への移動指示を検出した場合、取り込みモードがONであれば前記オブジェクトを前記第一の領域へ取り込み、取り込みモードがOFFであれば取り込まなかったものと判断し、
再度の前記オブジェクトの移動指示に基づき、取り込まなかった前記オブジェクトの同方向への移動指示、あるいは取り込んだ前記オブジェクトの逆方向への移動指示により前記取り込みモードを切り替える制御部、
を備えたことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示領域にオブジェクトを取り込むモードを制御するモード制御方法、モード制御プログラムおよび情報処理装置に関する。
【背景技術】
【0002】
空間UI(User Interface)の技術を用いることで、部屋に設置したプロジェクタやカメラ等のデバイスを相互に連結し、部屋全体をユーザインタフェース(UI)にすることが提案されている。複数のユーザがこの空間UIの部屋のUIを利用することで、会議、ワークショップ等を行うことができる。
【0003】
空間UIを用いることで、例えば、ユーザが、テーブル上にカードを表示するカードアプリケーション(カードアプリ)を用いてアイデアをテーブル上のカードに書き込む。そして、ユーザがカードを移動操作することで他のユーザと、カードに書き込まれたオブジェクトを共有することができる。また、テーブル上にデジタル模造紙を表示する模造紙アプリを用い、デジタル模造紙の表示領域内に、あるユーザのオブジェクト(カード)を取り込んで、複数のユーザがカードの情報を共有したりデータ整理したりすることができる。また、デジタル模造紙の使用目的に応じて、あるユーザのデジタル模造紙にはデジタルカードを取り込まないときもある。このため、デジタル模造紙の表示画面上には、デジタルカードの取り込みのモードを切り替えるボタンが設けられ、ユーザが手動で取り込みのモードを切り替えるようになっている。
【0004】
表示画面上での表示データを取り込む技術として、例えば、複数の装置から入力されたデータの表示画面の投影方向を測定し、表示画面上でのデータに対する指示に基づいて、あるデータの表示領域を他のデータの表示領域に移動させる技術がある。また、取り込んだカードの画像の識別結果、あるいはカードに対する移動等の操作に基づき、カードに関する情報を生成して提示する技術がある(例えば、下記特許文献1,2参照。)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2014-102687号公報
【文献】特開2009-86952号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来技術では、表示画面上での表示データを取り込む操作が煩雑であった。例えば、上記の取り込みのモードは、ユーザが手動で切り替える必要があるため、操作が煩雑である。例えば、ユーザが取り込みのモードをON/OFFで切り替える操作を忘れている場合や、理解していない場合等に、カードを移動等させた際の挙動がユーザの意図と異なって所定領域に取り込みできない場合や、取り込まれてしまう等、使い勝手が悪くなる場合が生じた。
【0007】
一つの側面では、本発明は、ユーザの特別な操作が不要で、所定領域へのオブジェクトの取り込みの有無を判断できることを目的とする。
【課題を解決するための手段】
【0008】
本発明の一側面によれば、モード制御方法は、表示部に表示されている第一の領域に対するオブジェクトの移動を制御するモード制御方法において、前記第一の領域に対する前記オブジェクトの取り込みモードのONまたはOFFの設定時、前記オブジェクトの前記第一の領域外から領域内への移動指示を検出した場合、取り込みモードがONであれば前記オブジェクトを前記第一の領域へ取り込み、取り込みモードがOFFであれば取り込まなかったものと判断し、再度の前記オブジェクトの移動指示に基づき、取り込まなかった前記オブジェクトの同方向への移動指示、あるいは取り込んだ前記オブジェクトの逆方向への移動指示により前記取り込みモードを切り替える、処理をコンピュータが実行することを要件とする。
【発明の効果】
【0009】
本発明の一態様によれば、ユーザの特別な操作が不要で、所定領域へのオブジェクトの取り込みの有無を判断できるという効果を奏する。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施の形態にかかる情報処理装置による表示画面の取り込み処理を説明する図である。
【
図2】
図2は、実施の形態にかかる情報処理装置による取り込みモードの判断の概要を説明する図である。
【
図3A】
図3Aは、実施の形態にかかる情報処理装置が取り込みモードを自動変更する処理例を説明する図である。(その1)
【
図3B】
図3Bは、実施の形態にかかる情報処理装置が取り込みモードを自動変更する処理例を説明する図である。(その2)
【
図4】
図4は、実施の形態にかかる情報処理装置を含む空間UIのシステム構成例を示す図である。
【
図5】
図5は、実施の形態にかかる情報処理装置が扱うイベントの定義例を示す図表である。
【
図6】
図6は、実施の形態にかかる情報処理装置のハードウェア構成例を示す図である。
【
図7A】
図7Aは、実施の形態にかかる情報処理装置によるデジタルカードの取り込み処理例を示すフローチャートである。(その1)
【
図7B】
図7Bは、実施の形態にかかる情報処理装置によるデジタルカードの取り込み処理例を示すフローチャートである。(その2)
【
図8A】
図8Aは、実施の形態にかかる情報処理装置による取り込みモードの初期値推定例を説明する図である。(その1)
【
図8B】
図8Bは、実施の形態にかかる情報処理装置による取り込みモードの初期値推定例を説明する図である。(その2)
【
図8C】
図8Cは、実施の形態にかかる情報処理装置による取り込みモードの初期値推定例を説明する図である。(その3)
【
図9】
図9は、実施の形態にかかる情報処理装置による取り込みモードの確率更新に用いるパラメータ例の図表である。
【
図10】
図10は、実施の形態にかかる情報処理装置が保持する確率テーブルを示す図表である。
【
図11A】
図11Aは、実施の形態にかかる情報処理装置による取り込みモードの推定処理例を示すフローチャートである。
【
図11B】
図11Bは、実施の形態にかかる情報処理装置が保持するデジタル模造紙の確率リストの例を示す図表である。
【
図12A】
図12Aは、実施の形態にかかる情報処理装置による取り込みモードの切り替え処理例を示すフローチャートである。
【
図12B】
図12Bは、実施の形態にかかる情報処理装置が表示する取り込みモード変更のダイアログ表示例を示す図である。
【
図13】
図13は、従来技術による取り込みモード切り替えの問題点を説明する図である。
【発明を実施するための形態】
【0011】
(実施の形態)
以下に図面を参照して、開示のモード制御方法、モード制御プログラムおよび情報処理装置の実施の形態を詳細に説明する。
【0012】
図1は、実施の形態にかかる情報処理装置による表示画面の取り込み処理を説明する図である。情報処理装置100には、ディスプレイ(表示部)110と、複数のクライアント(端末)105が接続される。
【0013】
情報処理装置100は、ディスプレイ110上の表示画面111に、各種表示アプリケーションの表示画面を表示する。ディスプレイ110は、例えば、教室や会議室等の部屋のテーブル(机)TBや壁W等に設置され、複数のユーザUが会議等での業務時に共有する表示画面111を表示する。ディスプレイ110は、例えば、テーブルTB上のタッチパネルや、テーブルTB上に表示画面111を投影するプロジェクタである。
【0014】
複数のユーザUは、それぞれ端末105を所持し、ネットワークNW、例えば、無線LAN等のローカルネットワークを介して端末105の個人画面を情報処理装置100に出力可能である。端末105は、ユーザUがそれぞれ個人使用するアプリケーション(例えば、デジタルカードアプリやデジタルノートアプリ等)をプログラム実行する。そして、デジタルカード(デジタル付箋紙等を含む)130やデジタルノート131の個人画面の表示内容(オブジェクト)を情報処理装置100に出力する。
【0015】
図1に示す例では、情報処理装置100は、端末105が実行処理するユーザUそれぞれのデジタルカード130やデジタルノート131の表示内容(オブジェクト)をディスプレイ110の表示画面111上に表示している。
【0016】
また、端末105は、デジタル模造紙の表示を行う模造紙アプリケーション(模造紙アプリ)をプログラム実行し、情報処理装置100は、ディスプレイ110の表示画面111上に、複数のユーザが情報共有する領域として、デジタル模造紙120を表示させる。
【0017】
例えば、表示画面111上において、デジタル模造紙120は所定の大きさの第一の領域を有し、所定位置に固定表示される。デジタルカード(オブジェクト)130は第一の領域よりも小さな面積の第二の領域を有し、移動指示によりデジタル模造紙120部分に移動自在である。
【0018】
会議等の協働作業時、各ユーザは、テーブルTBの表示画面111上のデジタルカード130やデジタルノート131を個人的な情報整理等の用途で用い、デジタル模造紙120を複数のユーザUで画面共有する用途で用いる。なお、デジタルカード130やデジタルノート131の表示画面は対応するユーザの方向に向き、画面共有するデジタル模造紙120は、複数のユーザの方向に向けて表示させる。なお、
図1の表示形態に限らず、画面共有するデジタル模造紙120を会議室の壁Wに表示させてもよい。
【0019】
実施の形態では、各ユーザUが個人使用しているオブジェクト、例えば、デジタルカード130部分をタッチペンPで移動操作(フリック操作等)することにより、このデジタルカード130をデジタル模造紙120の領域に取り込ませることができる。タッチペンPの操作状態は、例えば、空間UIのシステムのカメラが撮影し、撮影画像に基づき、タッチペンPの操作状態を検出できる。これに限らず、例えば、ディスプレイ110にタッチパネルを用い、タッチパネル上でのユーザU指やタッチペンPの操作状態を検出することができる。
【0020】
端末105は、フリック操作の検出状態を情報処理装置100に出力する。情報処理装置100は、デジタル模造紙120の現在の取り込みモード(ON/OFF)と、デジタルカード130の移動指示(フリック操作)とに基づき、デジタルカード130をデジタル模造紙120の領域に取り込むか否かを判断する。
【0021】
デジタル模造紙120は、取り込みモードがONの期間中、デジタル模造紙120の領域外から領域内に移動指示されたデジタルカード130を移動対象として取り込む(すなわち、移動指示を許容する)。一方、取り込みモードがOFFの期間中、デジタル模造紙120の領域外から領域内に移動指示されたデジタルカード130を移動対象外として取り込まない(すなわち、移動指示を許容しない)。
【0022】
デジタル模造紙120に取り込んだデジタルカード130は、複数のユーザUにより画面共有でき、各ユーザUがデジタルカード130の表示を見ることができる状態になる。加えて、情報処理装置100は、デジタルカード130に対する各ユーザUのアクセス(情報の入出力等の各種操作)を制御処理する。
【0023】
デジタルカード130がデジタル模造紙120の領域に取り込んだ場合、複数のユーザUは、表示画面111上のデジタル模造紙120の領域に取り込んだデジタルカード130を共有し閲覧できるようになる。また、デジタルカード130に対する各種データ操作を行う等の画面共有を行えるようになる。
【0024】
実施の形態の情報処理装置100は、ディスプレイ110の表示画面111上に表示されている所定領域(例えば、デジタル模造紙120)に対するオブジェクト(例えば、デジタルカード130)のユーザUの移動指示(フリック操作)を受け付ける。そして、デジタルカード130をデジタル模造紙120の領域外から領域内への移動、あるいはデジタル模造紙120の領域内から領域外への移動指示を検出する。その後、デジタル模造紙120に対する再度のデジタルカード130の移動指示(例えば、ドラッグ操作)に基づき、デジタル模造紙120をデジタルカード130の移動対象あるいは対象外と推定(判断)し、取り込みモードを切り替える制御を行う。
【0025】
情報処理装置100がユーザUの移動指示を推定し自動的に取り込みモードを切り替えることで、ユーザUは、デジタル模造紙120に対するデジタルカード130の取り込みの特別な操作、例えば、取り込みモードの手動操作等を省くことができる。そして、ユーザUは、デジタルカード130を移動指示するだけで、デジタルカード130に対する画面共有等を簡単な操作で行えるようになる。
【0026】
情報処理装置100は、デジタル模造紙120に対するオブジェクト(デジタルカード130)の取り込み状態(モードON/OFF)の操作をユーザUが忘れている場合や、操作を理解していない状態でも、適切にオブジェクトの取り込みの有無を処理できる。そして、ユーザUの意図と異なる取り込み状態となることや、使い勝手が悪くなることを防ぐ。これによって、特別なUIを提供することなく、また、ユーザUによる取り込みモードの操作を不要とし、オブジェクトの取り込みの有無を装置が適切に判断することで、ユーザUによるオブジェクトの共有にかかる操作の利便性を向上できるようになる。
【0027】
図2は、実施の形態にかかる情報処理装置による取り込みモードの判断の概要を説明する図である。情報処理装置100は、ディスプレイ110上で複数のユーザUが共有するデジタル模造紙120の領域に対し、ユーザUが個人使用するデジタルカード130を取り込むか否かのモードをユーザUのフリック操作に基づき自動的に決定する。
【0028】
図2(a)に示すように、表示画面111上にデジタル模造紙120が表示されているとする。また、このデジタル模造紙120には、任意のユーザUのデジタルカード130(130a~130d)が取り込み状態で表示されているとする。
【0029】
ユーザUが模造紙アプリケーションを実行し、表示画面111上にデジタル模造紙120を開いた後に、取り込みモードを設定しない場合でも、情報処理装置100は、その後のフリック操作に基づいて、ユーザUがどの取り込みモードで作業するかを推定する。
【0030】
例えば、
図2(a)では、デジタル模造紙120の取り込みモードが設定されておらず、例えば、取り込みモードがOFFであったとする。ここで、あるユーザUが新たなデジタルカード130eについて、デジタル模造紙120の領域外で停止しているデジタルカード130eをデジタル模造紙120の領域内までフリック操作したとする。そして、
図2(b)に示すように、デジタル模造紙120の領域内で停止させたとする。この場合、情報処理装置100は、フリック操作されたデジタルカード130eの移動状態に基づいて、このデジタルカード130eを取り込むと判断する。
【0031】
これにより、空間UIを用いた取り込みモードの操作に慣れていないユーザUであっても取り込みを簡単に操作できる。仮に、取り込みモードを設定(ON)していない状態であっても、ユーザUの意図に適用してデジタルカード130eを取り込み、あるいは取り込まない処理を行うことができるようになる。
【0032】
図3A,
図3Bは、実施の形態にかかる情報処理装置が取り込みモードを自動変更する処理例を説明する図である。これらの図は、上述したディスプレイ110の表示画面111上のデジタル模造紙120と、デジタルカード130とを示している。
【0033】
以下の処理例では、情報処理装置100は、フリック操作とドラッグ操作と、をそれぞれユーザUによる異なる移動指示として検出する。フリック操作は、例えば、対象のオブジェクト(デジタルカード130)を選択したタッチ位置で取り込み対象のオブジェクト部分に向けて投げ入れるような操作である。このフリック操作では、タッチ位置で与えた移動方向と移動量に応じて、ユーザUがタッチ操作を離した後においてもオブジェクトが移動する。
【0034】
一方、ドラッグ操作は、フリック操作と異なり、対象のオブジェクト(デジタルカード130)をタッチした状態のまま移動部分までオブジェクトを移動させる操作である。ドラッグ操作では、ユーザUがタッチを離すとオブジェクトの移動が離した位置で停止する。一方、フリック操作では、ユーザUがタッチを離した後においても、タッチ位置で与えた移動方向と移動量に応じてオブジェクトが慣性を有して所定位置まで移動する点が異なる。
【0035】
実施の形態では、情報処理装置100は、デジタル模造紙120に対するデジタルカード130の移動指示を、1回目はユーザUのフリック操作で判断する。このフリック操作の後の2回目の移動指示として、ユーザUのドラッグ操作で判断する。再度(2回目)の移動指示にドラッグ操作を用いることで、ユーザUの移動指示の意図、すなわち、デジタル模造紙120に対するデジタルカード130の移動状態(移動位置)をより正確に検出できるためである。
【0036】
図3Aには、デジタル模造紙120の取り込みモードがON(取り込むモード)であり、情報処理装置100がデジタルカード130の移動指示により取り込みモードをOFFに変更する処理例を示す。
【0037】
なお、便宜上、デジタル模造紙120の領域の右下部分には、取り込みモードの状態(ON/OFF)を図示してあるが、実際の表示画面111上では取り込みモードの状態を表示しなくてもよい。すなわち、ユーザUは、実際の表示画面111上で取り込みモードの表示がなくても、取り込みモードを意識せずにユーザUの移動指示に応じてデジタルカード130の取り込みの有無を操作でき、また、取り込みモードを自動変更することができる。
【0038】
図3A(a)に示すデジタル模造紙120の取り込みモードがON状態において、デジタル模造紙120の領域外にデジタルカード130が位置しているとする。そして、ユーザUがタッチペンPのフリック操作でデジタル模造紙120の領域内に移動させる移動指示を行ったとする(1回目の移動指示)。この場合、
図3A(b)に示すように、取り込みモードがON状態であるため、情報処理装置100は、デジタル模造紙120の領域内にデジタルカード130を取り込み、デジタルカード130は、フリック操作に応じた移動位置で停止する。
【0039】
この後、
図3A(c)に示すように、ユーザUがタッチペンPのドラッグ操作でデジタル模造紙120の領域内に位置しているデジタルカード130をデジタル模造紙120の領域外に移動させたとする(2回目の移動指示)。例えば、同一のデジタルカード130に対する上記フリック操作後、所定時間内で上記ドラッグ操作を行ったとする。
【0040】
この場合、
図3A(d)に示すように、情報処理装置100は、取り込みモードをONからOFFに変更する。これにより、デジタル模造紙120は、デジタルカード130の取り込みを行わないモードに変更することができる。
【0041】
このように、取り込みモードがONの場合、デジタル模造紙120の領域内にデジタルカード130がフリック操作されることで、デジタルカード130を取り込む。この取り込みモードがONの状態において、ユーザUによるドラッグ操作でデジタル模造紙120の領域内からデジタルカード130を領域外へ移動指示した場合、情報処理装置100は、取り込みモードをOFFに自動変更する。
【0042】
つぎに、
図3Bには、デジタル模造紙120の取り込みモードがOFF(取り込まないモード)であり、情報処理装置100がデジタルカード130の移動指示により取り込みモードをONに変更する処理例を示す。
【0043】
図3B(e)は、例えば、
図3A(d)と同様の状態であり、デジタル模造紙120の取り込みモードがOFF状態であるとする。そして、デジタル模造紙120の領域外に位置しているデジタルカード130に対し、ユーザUがタッチペンPのフリック操作でデジタル模造紙120の領域内に移動させる移動指示を行ったとする(1回目の移動指示)。
【0044】
この場合、
図3B(f)に示すように、取り込みモードがOFF状態であるため、情報処理装置100は、デジタル模造紙120の領域内にデジタルカード130を取り込まない。このため、情報処理装置100は、フリック操作されたデジタルカード130を、デジタル模造紙120の領域外で停止させる。
【0045】
この後、
図3B(g)に示すように、ユーザUがタッチペンPをドラッグ操作し、デジタル模造紙120の領域外に位置しているデジタルカード130をデジタル模造紙120の領域内に移動させたとする(2回目の移動指示)。例えば、同一のデジタルカード130に対する上記フリック操作後、所定時間内で上記ドラッグ操作を行ったとする。
【0046】
この場合、
図3B(h)に示すように、情報処理装置100は、取り込みモードをOFFからONに変更する。これにより、デジタル模造紙120の領域内にデジタルカード130を取り込むことができる。
【0047】
このように、取り込みモードがOFFの場合、デジタル模造紙120の領域内にデジタルカード130がフリック操作された際には、デジタルカード130を取り込まない。しかし、この後、ユーザUのドラッグ操作により、情報処理装置100は、デジタル模造紙120の領域内にデジタルカード130を取り込み、かつ、取り込みモードをONに自動変更する。
【0048】
図4は、実施の形態にかかる情報処理装置を含む空間UIのシステム構成例を示す図である。
図4において、上述した情報処理装置100は、空間UIのシステムの各装置にネットワークNWを介して接続される。
【0049】
ネットワークNWには、複数のユーザのクライアント(端末)105が接続され、情報処理装置100は、端末105との間でデータを入出力する。端末105には、画面表示デバイス(上記ディスプレイ110)、および画面操作デバイス(上記タッチペンP)が接続される。
【0050】
端末105は、上記デジタル模造紙120の模造紙アプリケーション(模造紙アプリ)411、およびデジタルカードのカードアプリケーション(カードアプリ)412を有し、端末105のプロセッサ(CPU)がこれらアプリケーションをプログラム実行する。これら模造紙アプリケーション411、およびカードアプリケーション412は、例えば、WEBアプリケーションであり、WEBブラウザ413上で動作する。そして、模造紙アプリケーション411、およびカードアプリケーション412は、画面表示デバイス(上記ディスプレイ110)に対するデジタル模造紙120、デジタルカード130の表示制御を行う。また、画面操作デバイス(上記タッチペンP)から、ユーザUのタッチペンP等によるオブジェクト(デジタルカード130)の移動指示を検出する。
【0051】
情報処理装置100は、制御部400により装置全体が制御される。制御部400は、模造紙アプリケーション421、カードアプリケーション422、ウィンドウ・マネージャー423、イベント観測部424、取り込みモード推定部425、取り込みモード・コントローラー426を含む。これら制御部400の各構成部は、プロセッサ(CPU)がプログラム実行する。
【0052】
ウィンドウ・マネージャー423は、端末105側に配置した同じ模造紙アプリケーション411およびカードアプリケーション412を動作実行する。これら端末105と、情報処理装置100側に配置した模造紙アプリケーション411,421同士、およびカードアプリケーション412,422同士は、データや操作イベントを共有(データ同期)している。
【0053】
イベント観測部424は、ウィンドウ・マネージャー423からユーザUの移動指示(操作イベント)を取得し、条件を満たした場合、対応するメタデータを発火(出力)する。イベント観測部424は、オブジェクト(デジタルカード130、デジタル模造紙120)について、ユーザUが実際に移動指示(操作イベント)を観測した場合、対応するメタデータを取り込みモード推定部425に出力する。
【0054】
図5は、実施の形態にかかる情報処理装置が扱うイベントの定義例を示す図表である。各イベント別のシーケンス例と、発火時のメタデータ例を示す。イベント1.は、表示画面111上でのデジタル模造紙120の配置に関するイベントである。例えば、デジタル模造紙120上に複数のデジタルカード130をまとめたいときに、まず、所定のボタン操作などでデジタル模造紙120を作成する。その後、デジタル模造紙120の表示位置をユーザUが作業しやすい場所や位置に移動し、デジタル模造紙120のサイズを大きくする等の調整を行う。この際、イベント観測部424は、メタデータとしてデジタル模造紙120の識別子(ID)、中心位置(座標)、サイズ、向き、場所(壁やテーブル)の場所等の情報をメタデータとして出力する。
【0055】
イベント2.は、デジタル模造紙120の領域内に対するデジタルカード130の入れ直しのイベントである。例えば、デジタル模造紙120の領域外でデジタルカード130が停止した後、デジタルカード130を移動させデジタル模造紙120の領域内に停止した場合、イベント観測部424は、デジタル模造紙120の識別子(ID)をメタデータとして出力する。
【0056】
イベント3.は、デジタル模造紙120の領域外へのデジタルカード130の出し直しのイベントである。対応するデジタルカード130の移動状態は、
図3A,
図3B等である。例えば、デジタル模造紙120の領域内でデジタルカード130が停止した後、デジタルカード130を移動させデジタル模造紙120の領域外に停止した場合、イベント観測部424は、デジタル模造紙120の識別子(ID)をメタデータとして出力する。
【0057】
図4に戻り、情報処理装置100の取り込みモード推定部425では、上記のイベント1.~3.を取得して、例えば、Bayesian方式に基づいて、取り込みモードを推定する(詳細は後述する)。推定値が予め設定した閾値を超えた場合、取り込みモード変更イベントを取り込みモード・コントローラー426へ送信する。
【0058】
取り込みモード・コントローラー426は、取り込みモード変更イベントを受け、デジタル模造紙120の取り込みモードを変更する。これに限らず、取り込みモード変更イベントを受けて、ユーザU(端末105)にダイアログなどの確認メッセージを通知出力すし、この後のユーザUの確認により、デジタル模造紙120の取り込みモードを変更してもよい。
【0059】
図6は、実施の形態にかかる情報処理装置のハードウェア構成例を示す図である。情報処理装置100は、例えば、
図4に示すハードウェアからなる汎用のPCやサーバで構成することができる。
【0060】
情報処理装置100は、CPU(Central Processing Unit)601、メモリ602、ネットワークインタフェース(IF)603、記録媒体IF604、記録媒体605、等を含む。600は各部を接続するバスである。
【0061】
CPU601は、情報処理装置100の全体の制御を司る制御部として機能する演算処理装置である。メモリ602は、不揮発性メモリおよび揮発性メモリを含む。不揮発性メモリは、例えば、CPU601のプログラムを格納するROM(Read Only Memory)である。揮発性メモリは、例えば、CPU601のワークエリアとして使用されるDRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)等である。
【0062】
ネットワークIF603は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワークNWに対する通信インタフェースである。情報処理装置100は、ネットワークIF603を介してネットワークNWに通信接続し、端末105と通信する。
【0063】
記録媒体IF604は、CPU601が処理した情報を記録媒体605との間で読み書きするためのインタフェースである。記録媒体605は、メモリ602を補助する記録装置であり、HDD(Hard Disk Drive)や、SSD(Solid State Drive)、USB(Universal Serial Bus)フラッシュドライブ等を用いることができる。
【0064】
メモリ602または記録媒体605に記録されたプログラムをCPU601が実行することにより、情報処理装置100の制御部400(
図4参照)の各機能を実現することができる。また、メモリ602や記録媒体605は、情報処理装置100が扱う情報を記録保持する。
【0065】
また、上述した端末105についても、
図4に示した汎用のハードウェアで構成することができる。
【0066】
(デジタルカードの取り込み処理例)
図7A,
図7Bは、実施の形態にかかる情報処理装置によるデジタルカードの取り込み処理例を示すフローチャートである。情報処理装置100の制御部400(CPU601)が実行処理するデジタル模造紙120に対するデジタルカード130の取り込み、および取り込みモードの変更(例えば、
図3A,
図3B参照)の処理例を示す。
【0067】
はじめに、
図7Aに示すように、制御部400は、表示画面111上でのユーザUの操作イベントをlisten(検出待機)する(ステップS701)。制御部400は、ユーザUによるデジタルカード130のフリックイベント(フリック操作)の有無を判断する(ステップS702)。
【0068】
デジタルカード130のフリック操作があれば(ステップS702:Yes)、制御部400は、ステップS703の処理に移行し、フリック操作がなければ(ステップS702:No)、ステップS711の処理に移行する。
【0069】
ステップS703では、制御部400は、フリック操作開始時のデジタルカード130の位置(表示画面111上のx、y座標:x0,y0)を検出する(ステップS703)。そして、制御部400は、デジタルカード130の位置(x0,y0)がデジタル模造紙120の領域外(外側)であるか判断する(ステップS704)。
【0070】
デジタルカード130の位置(x0,y0)がデジタル模造紙120の領域外(外側)であれば(ステップS704:Yes)、制御部400は、ステップS705の処理に移行する。一方、デジタルカード130の位置(x0,y0)がデジタル模造紙120の領域内(内側)であれば(ステップS704:No)、ステップS701の処理に戻る。
【0071】
ステップS705では、制御部400は、デジタルカード130の停止位置(x1,y1)を検出する(ステップS705)。そして、制御部400は、デジタルカード130の停止位置(x1,y1)がデジタル模造紙120の領域内(内側)であるか判断する(ステップS706)。
【0072】
デジタルカード130の停止位置(x1,y1)がデジタル模造紙120の領域内(内側)であれば(ステップS706:Yes)、制御部400は、このデジタルカード130にカード識別子(ID)を付与する(ステップS707)。そして、制御部400は、このデジタルカード130(カードID)がデジタル模造紙120に取り込まれたカードとしてメモリ602に登録し(ステップS708)、ステップS701の処理に戻る。
【0073】
一方、デジタルカード130の停止位置(x1,y1)がデジタル模造紙120の領域内(内側)でなければ(ステップS706:No)、制御部400は、このデジタルカード130にカード識別子(ID)を付与する(ステップS709)。そして、このデジタルカード130(カードID)はデジタル模造紙120に取り込まれなかったカードとしてメモリ602に登録し(ステップS710)、ステップS701の処理に戻る。
【0074】
図7Bに示すように、ステップS711では、制御部400は、ユーザUによるデジタルカード130のドラッグイベント(ドラッグ操作)の有無を判断する(ステップS711)。
【0075】
デジタルカード130のドラッグ操作があれば(ステップS711:Yes)、制御部400は、ステップS712の処理に移行し、ドラッグ操作がなければ(ステップS711:No)、ステップS701の処理に戻る。
【0076】
ステップS712では、制御部400は、ドラッグ操作開始時のデジタルカード130の位置(x2,y2)を検出する(ステップS712)。この後、制御部400は、このデジタルカード130がデジタル模造紙120に取り込まれた登録済みカードであるか判断する(ステップS713)。
【0077】
ステップS713において、制御部400は、メモリ602を参照し、デジタルカード130がデジタル模造紙120に取り込まれた登録済みカードであるか否かを判断する(ステップS713)。そして、デジタルカード130がデジタル模造紙120に取り込まれた登録済みカードであれば(ステップS713:Yes)、制御部400は、ステップS714の処理に移行する。また、このデジタルカード130がデジタル模造紙120に取り込まれなかった登録済みカードと判断した場合(ステップS713:No)、ステップS718の処理に移行する。
【0078】
つぎに、制御部400は、デジタルカード130の位置(x2,y2)がデジタル模造紙120の領域内(内側)であるか判断する(ステップS714)。
【0079】
デジタルカード130の位置(x2,y2)がデジタル模造紙120の領域内(内側)であれば(ステップS714:Yes)、制御部400は、ドラッグ操作によるデジタルカード130の停止位置(x3,y3)を検出する(ステップS715)。
【0080】
そして、制御部は、デジタルカード130の停止位置(x3,y3)がデジタル模造紙120の領域外(外側)であるか判断する(ステップS716)。デジタルカード130の停止位置(x3,y3)がデジタル模造紙120の領域外(外側)であれば(ステップS716:Yes)、制御部400は、ステップS717の処理に移行する。一方、デジタルカード130の停止位置(x3,y3)がデジタル模造紙120の領域外(外側)でなければ(ステップS716:No)、ステップS701の処理に戻る。
【0081】
ステップS717では、制御部400は、デジタルカード130をデジタル模造紙120に取り込まないモード(取り込みモードOFF)に変更し(ステップS717)、ステップS701の処理に戻る。
【0082】
ステップS718では、制御部400は、メモリ602を参照し、デジタルカード130がデジタル模造紙120に取り込まれなかった登録済みカードであるか否かを判断する(ステップS718)。デジタルカード130がデジタル模造紙120に取り込まれなかった登録済みカードであったとする(ステップS718:Yes)。この場合、制御部400は、ドラッグ操作によるデジタルカード130の停止位置(x2,y2)がデジタル模造紙120の領域外(外側)であるか判断する(ステップS719)。デジタルカード130がデジタル模造紙120に取り込まれなかった登録済みカードでなければ(ステップS718:No)、制御部400は、ステップS701の処理に戻る。
【0083】
デジタルカード130の停止位置(x2,y2)がデジタル模造紙120の領域外(外側)であれば(ステップS719:Yes)、制御部400は、ステップS720の処理に移行する。一方、デジタルカード130の停止位置(x2,y2)がデジタル模造紙120の領域外(外側)でなければ(ステップS719:No)、ステップS701の処理に戻る。
【0084】
ステップS720では、制御部400は、ドラッグ操作によるデジタルカード130の停止位置(x3,y3)を検出する(ステップS720)。
【0085】
そして、制御部は、デジタルカード130の停止位置(x3,y3)がデジタル模造紙120の領域内(内側)であるか判断する(ステップS721)。デジタルカード130の停止位置(x3,y3)がデジタル模造紙120の領域内(内側側)であれば(ステップS721:Yes)、制御部400は、ステップS722の処理に移行する。一方、デジタルカード130の停止位置(x3,y3)がデジタル模造紙120の領域内(内側)でなければ(ステップS721:No)、ステップS701の処理に戻る。
【0086】
ステップS722では、制御部400は、デジタルカード130をデジタル模造紙120に取り込むモード(取り込みモードON)に変更し(ステップS722)、ステップS701の処理に戻る。
【0087】
(取り込みモードを推定した処理例)
以下の説明では、デジタルカード130をデジタル模造紙120に取り込むモードを推定し、自動変更する処理例について説明する。情報処理装置100(制御部400)は、オブジェクトの取り込みモードを、デジタル模造紙120の領域の場所、位置、サイズ、フリック操作で移動させたデジタルカード130との相対位置関係などの性質から算出する。これに加えて、ユーザUがデジタルカード130に対する移動指示をモード推定のモデルの観測データとして、予測値を移動指示が観測された度に逐次更新することで、取り込みモードの推定精度を向上させる。
【0088】
ここで、情報処理装置100は、ユーザUが作業で使いたい取り込みモードを、事前に設定しない。例えば、情報処理装置100は、ユーザUが表示画面111上でタッチペンPによるフリック操作で表示画面111上に表示する所定のアプリケーションのウィンドウの位置やサイズなどの特徴によって、取り込みモードを仮設定する。そして、情報処理装置100は、仮設定の後、ユーザUの移動指示のやり直し履歴等に基づき、取り込みモードを推定し、そして、精度を高めた推定結果で最終的に取り込みモードを設定する。
【0089】
このように、情報処理装置100は、ユーザUが希望する取り込みモードを、ユーザUの一連の移動指示の履歴から確率的に推定し、推定で得た確率によって取り込みモードを自動的に切り替える。また、情報処理装置100は、ユーザUに対し、推定した取り込みモードを通知し、ユーザUによる確認後に取り込みモードを切り替えてもよい。
【0090】
情報処理装置100は、取り込みモードの確率推定にあたり、1.確率(スコア)の初期値の設定と、2.確率の動的更新、の各処理を実行する。
1.確率の初期値の設定では、情報処理装置100は、各パラメータとして表示画面111上でのデジタル模造紙120の位置、サイズなどの状態特徴、およびユーザUの操作履歴に基づいて、ユーザUの移動指示に適合した取り込みモードを推定する。
【0091】
なお、端末105で模造紙アプリケーション411が実行されると、情報処理装置100側の模造紙アプリケーション421を実行する。情報処理装置100側の模造紙アプリケーション421は、端末105側の模造紙アプリケーション411とデータ同期しながら処理を行う。
【0092】
初期値の設定で用いる各パラメータは、デジタル模造紙120のサイズ(表示画面111の領域に対する割合が大きいか小さいか等の相対的サイズ)、デジタル模造紙120の位置(表示画面111の上方位置、下方位置、中央位置等)がある。また、デジタル模造紙120を表示する場所(例えば、デジタル模造紙120を表示した場所がテーブルTB、壁W等)がある。
【0093】
2.確率の動的更新では、情報処理装置100は、はじめにユーザUが希望する取り込みモードの確率を、デジタル模造紙120の画面のサイズ、位置、場所などの情報から予測する。すなわち、上記の1.各パラメータの初期値を利用して予測する。
【0094】
この後、情報処理装置100は、イベント観測部424がユーザのカードに対する操作イベントを観測データとして観測し、取り込みモード推定部425が予測の確率を逐次更新する。取り込みモードの推定精度をユーザUの希望に合わせて向上させていく。例えば、情報処理装置100は、上記取り込みモードの推定結果に基づいて、自動的に、あるいはユーザUの確認後に、取り込みモードを切り替え処理する。
【0095】
ここで、情報処理装置100(イベント観測部424)は、以下のユーザUの移動指示(操作イベント)を観測データとし、操作イベントと取り込みモードとの関係として、予め確率テーブルを保持しておく。
【0096】
操作イベントの例としては、フリック操作によりデジタル模造紙120の領域内に取り込んだデジタルカード130をデジタル模造紙120の領域外にドラッグさせた場合がある(
図3A相当)。また、デジタル模造紙120の領域内に取り込めなかったデジタルカード130をドラッグ操作させてデジタル模造紙120の領域内に取り込む場合(
図3B相当)等がある。
【0097】
そして、情報処理装置100(取り込みモード推定部425)は、以下の操作イベントが観測されると、ユーザの希望モードの推定確率を更新する。例えば、上記取り込みモードの予測の確率に更新値を掛け合わせることで、ユーザUが希望する取り込みモードを推定した確率を求める。そして、今回推定した取り込みモードの確率を、次回の取り込みモードに対する予測した確率とする。この後、情報処理装置100(取り込みモード推定部425)は、推定した取り込みモードの確率が大きくなった時点で、当初の設定モードと異なる取り込みモードであると判断すれば、取り込みモードを切り替える。
【0098】
図8A~
図8Cは、実施の形態にかかる情報処理装置による取り込みモードの初期値推定例を説明する図である。情報処理装置100(取り込みモード推定部425)は、表示画面111上でのデジタル模造紙120の面積、位置、表示場所に基づき取り込みモードの初期値の確率を計算する。
【0099】
図8Aには、デジタル模造紙120の面積に基づく初期値設定例を示す。面積については、例えば、デジタル模造紙120を表示画面111の領域に対し大きい割合で開いているときに、この割合に応じて取り込みモードで利用したい確率を高く設定する。
【0100】
例えば、情報処理装置100(取り込みモード推定部425)は、表示画面111の表示面積をA、デジタル模造紙120の表示面積をsとしたとき、下記の算出式(1)で大きさ(表示面積)に関する初期の確率pを算出する。
【0101】
if(s/A)<0.25,then,p(x=0,s,m)=0.6,p(x=1,s,m)=0.4(40%)
if(s/A)≧0.25,then,p(x=0,s,m)=0.4,p(x=1,s,m)=0.6(60%) …(1)
(x:取り込みモード、0:OFF、1:ON、m:前回推定時の取り込みモード)
【0102】
図8Bには、デジタル模造紙120の位置に基づく初期値設定例を示す。位置については、例えば、デジタル模造紙120を表示画面111の中央位置で開いている場合、取り込みモードで利用したい確率を高く設定する。
【0103】
例えば、情報処理装置100(取り込みモード推定部425)は、デジタル模造紙120の中心位置が表示画面111の四隅のエリアKに位置すると、取り込みモードOFFの可能性が大と推定し、下記の算出式(2)で表示位置に関する初期の確率pを算出する。bは、デジタル模造紙120の位置である。
【0104】
if b=K,then,p(x=0,b,m)=0.6,p(x=1,b,m)=0.4(40%)
if b≠K,then,p(x=0,b,m)=0.4,p(x=1,b,m)=0.6(60%) …(2)
【0105】
図8Cには、デジタル模造紙120の表示場所に基づく初期値設定例を示す。例えば、デジタル模造紙120が壁Wに設置したディスプレイ110上の表示画面111で開かれた場合にはユーザUが希望する取り込みモードがONの可能性が大きいと推定する。逆にテーブルTB上で開かれた場合には取り込みモードがONの可能性が低いと推定する。情報処理装置100(取り込みモード推定部425)は、例えば、下記の算出式(3)で表示場所に関する初期の確率pを算出する。cは、デジタル模造紙120の表示場所である。
【0106】
if c=W,then,p(x=0,c,m)=0.4,p(x=1,c,m)=0.6(60%)
if c≠TB,then,p(x=0,c,m)=0.6,p(x=1,b,m)=0.4(40%) …(3)
(W:壁、TB:テーブル)
【0107】
そして、情報処理装置100(取り込みモード推定部425)は、ユーザUの取り込みモードの初期値として、上述したデジタル模造紙120の表示面積、表示位置、表示場所の確率の積で定義する。例えば、情報処理装置100(取り込みモード推定部425)は、下記の算出式(4)で初期の確率pを算出する。算出した初期の確率は、ユーザUが表示画面111上でデジタル模造紙120を開く操作を行った際、取り込みモード(ON/OFF)の初期の確率として用いる。
【0108】
p(x=0,m)=p(x=0,s,m)p(x=0,b,m)p(x=0,c,m)
p(x=1,m)=p(x=1,s,m)p(x=1,b,m)p(x=1,c,m)
…(4)
【0109】
上述した初期値推定の後、情報処理装置100は、推定値の更新処理を行う。更新処理は、例えば、Bayesianルールにしたがい実行し、前回推定した確率を、今回観測したユーザUのやり直しイベントによって更新する。やり直しイベントを繰り返し観測した場合、確率が徐々に大きくなる。
【0110】
図9は、実施の形態にかかる情報処理装置による取り込みモードの確率更新に用いるパラメータ例の図表である。
図9(a)は、設定した取り込みモードON/OFF別の値m(=1,0)の例を示す。
図9(b)は、ユーザUが希望すると推定した取り込みモード(希望モードと称す)ON/OFF別の値x(=1,0)の例を示す。
図9(c)は、ユーザUの移動指示(操作イベント)が、何もしない(操作なし)、デジタル模造紙120に対するドラッグイン、ドラッグアウト、のそれぞれに対応する値a(=-1,0,1)の例を示す。
【0111】
情報処理装置100は、イベント観測部424がユーザUによるデジタルカード130に対する移動指示(操作イベントを観測データとして観測し、取り込みモード推定部425が予測の確率を逐次更新する。
【0112】
例えば、情報処理装置100(取り込みモード推定部425)は、下記式(5)に基づき、ユーザU操作による取り込みモードの確率pを更新する。
【0113】
【0114】
なお、atはユーザUの移動指示、xtは推定した取り込みモード、mは現在の取り込みモードである。p(xt|at,m)は、ユーザUの希望モードの推定確率である。p(at|xt,m)はユーザUの移動指示の起きる確率であり、atは操作イベント、xtは推定する取り込みモード、mは現在のモードである。p(xt|xt-1)は前回のモードから現在のモードへの遷移を示す定数である。p(xt-1,m)は前回推定したユーザUの機能モードの確率である。
【0115】
図10は、実施の形態にかかる情報処理装置が保持する確率テーブルを示す図表である。確率テーブル1000は、上記各パラメータm,x,a=-1,0,1の組み合わせ表からなり、予め手動で値を設定しておく。情報処理装置100(取り込みモード推定部425)は、この確率テーブル1000の各値を上記式(5)に代入して取り込みモードの確率pを算出する。
【0116】
例えば、設定した取り込みモードがOFFであり、ユーザUの希望モードもOFFの場合、ユーザUがデジタル模造紙120の上を通りかかったデジタルカード130をデジタル模造紙120にドラッグインする確率は0.1と推定する。また、デジタル模造紙120からデジタルカード130をドラッグアウトする確率は0と推定する。また、何もしない確率は0.9と推定する。
【0117】
以下には、取り込みモードの具体的計算例を示す。例えば、設定の取り込みモードがON(m=1)、ユーザUの希望モードがOFF(x=0)の状態で、a1=1,a2=1の移動指示(操作シーケンス)が観測されたとする。
【0118】
この場合、情報処理装置100(取り込みモード推定部425)は、初期確率として、
p(x0=0,m=1)=0.5
p(x0=1,m=1)=0.5を設定する。
【0119】
この後、情報処理装置100(取り込みモード推定部425)は、1つ目のデジタルカード130の移動指示の際の確率更新(t=1)は、下記式(6),(7)により、
p(x1=1|a1=1,m=1)
=p(a1=1|x1=1,m=0)p(x0=0,m)+p(a1=1|x1=1,m=0)p(x0=1,m)
=0.4×0.5+0.4×0.5=0.4 …(6)
上記では希望モードONの確率は40%と推定する。
【0120】
p(x1=0|a1=1,m=1)
=p(a1=1|x1=0,m=0)p(x0=0,m)+p(a1=1|x1=0,m=0)p(x0=1,m)
=0.6×0.5+0.6×0.5=0.6
上記では希望モードOFFの確率は60%と推定する。 …(7)
【0121】
この後、情報処理装置100(取り込みモード推定部425)は、2つ目のデジタルカード130の移動指示の際の確率更新(t=2)について、
p(x2=1,m=1)=0.48
p(x2=0,m=1)=0.72と推定し、取り込みモードOFFの確率が上がったとする。
【0122】
この場合、情報処理装置100(取り込みモード推定部425)は、これらt=1,2のデジタルカード130に対する移動指示に基づき、下記式(8)により取り込みモードの切り替え判定を行う。
【0123】
if log(p(x=0,m=1))-log(p(x=1,m=1)>TH,then,取り込みモードをOFFに切り替え
if log(p(x=1,m=0))-log(p(x=0,m=0)>TH,then,取り込みモードをONに切り替え …(8)
(TH:予め設定した確率の閾値)
【0124】
図11Aは、実施の形態にかかる情報処理装置による取り込みモードの推定処理例を示すフローチャートである。情報処理装置100の制御部400(取り込みモード推定部425)が上記の確率を用いて取り込みモードを推定する処理例を示す。
【0125】
はじめに、制御部400は、イベント観測部424が観測したイベントを取得する(ステップS1101)。そして、制御部400は、このイベントが上記のイベント1.~3.のいずれであるかを判断する(ステップS1102、S1105)。イベント1.は表示画面111上でのデジタル模造紙120の配置に関するイベントである。イベント2.はデジタル模造紙120の領域内に対するデジタルカード130の入れ直しのイベントである。イベント3.はデジタル模造紙120の領域外へのデジタルカード130の出し直しのイベントである。
【0126】
ステップS1102では、観測したイベントがイベント1.であれば(ステップS1102:Yes)、制御部400は、ステップS1103の処理に移行する。観測したイベントがイベント1.以外であれば(ステップS1102:No)、ステップS1105の処理に移行する。
【0127】
ステップS1103では、制御部400は、観測したイベント1.に対応するデジタル模造紙120のモード確率の初期値を計算する(ステップS1103)。そして、制御部400は、推定対象のデジタル模造紙120の確率リスト1100に計算した初期値を登録し(ステップS1104)、ステップS1101の処理に戻る(
図11B参照)。
【0128】
図11Bは、実施の形態にかかる情報処理装置が保持するデジタル模造紙の確率リストの例を示す図表である。制御部400(取り込みモード推定部425)は、複数のデジタル模造紙120別の模造紙の識別子(ID(=1,2,…,n))と、確率p(=p0,p1,…,p2)とを確率リスト1100に登録する。確率リスト1100は、例えば、メモリ602の所定領域を用いて作成される。
【0129】
ステップS1105では、観測したイベントがイベント2.または3.であれば(ステップS1105:Yes)、制御部400は、ステップS1106の処理に移行する。観測したイベントがイベント2.3.以外であれば(ステップS1105:No)、ステップS1101の処理に戻る。
【0130】
ステップS1106では、制御部400は、観測したイベント2.あるいは3.に対応するデジタル模造紙120のモード確率を更新する(ステップS1106)。ここでは、制御部400は、確率リスト1100に登録された該当のデジタル模造紙120のIDの確率pを観測したイベント2.あるいは3.に基づき、上記更新処理(式(4))にしたがって更新する。この後、制御部400は、更新した確率>TH(閾値)であるか判断する(ステップS1107)。
【0131】
確率>THであれば(ステップS1107:Yes)、制御部400は、ステップS1108の処理に移行し、確率≦THであれば(ステップS1107:No)、制御部400は、ステップS1101の処理に戻る。
【0132】
ステップS1108では、制御部400は、推定対象のデジタル模造紙120の確率リスト1100から該当するこのデジタル模造紙120のデータを削除する(ステップS1108)。この後、制御部400(取り込みモード推定部425)は、取り込みモードを切り替える切替判定イベントを取り込みモード・コントローラー426に送信し(ステップS1109)、ステップS1101の処理に戻る。
【0133】
図12Aは、実施の形態にかかる情報処理装置による取り込みモードの切り替え処理例を示すフローチャートである。情報処理装置100の制御部400(取り込みモード・コントローラー426)による取り込みモード切り替えの処理例を示す。
【0134】
はじめに、制御部400(取り込みモード・コントローラー426)は、取り込みモード推定部425が送信するモード切替判定イベントを取得し(ステップS1201)、取得したモード切替判定イベントを判定する(ステップS1202)。
【0135】
モード切替判定イベントがモードONであれば(ステップS1202:Yes)、制御部400は、取り込みモードをONにするダイアログを表示する(ステップS1203)。モード切替判定イベントがモードONでなければ(ステップS1202:No)、制御部400は、ステップS1206の処理に移行する。
【0136】
図12Bは、実施の形態にかかる情報処理装置が表示する取り込みモード変更のダイアログ表示例を示す図である。
図12Bに示す例では、制御部400は、モード変更するデジタル模造紙120の領域内(例えば下部位置)に、取り込みモードを変更する通知(この例では、取り込みモードをONにするテキスト文1201)を表示する。また、ユーザUによる確認用のボタン(YES/NO)1202からなるダイアログ1200を表示する。
【0137】
図12Aの処理に戻り、制御部400は、ステップS1203で表示したダイアログ1200に対するユーザ選択を判断する(ステップS1204)。ここで、ユーザUが確認用のボタン1202でYESを選択した場合(ステップS1204:Yes)、制御部400は、デジタル模造紙120の取り込みモードをONに設定し(ステップS1205)、ステップS1201の処理に戻る。
【0138】
一方、ユーザUが確認用のボタン1202でNOを選択した場合(ステップS1204:No)、制御部400は、ステップS1201の処理に戻る。
【0139】
また、ステップS1206では、取得したモード切替判定イベントがモードOFFであるか判断する(ステップS1206)。モードOFFであれば(ステップS1206:Yes)、制御部400は、取り込みモードをOFFにするダイアログ1200を表示する(ステップS1207)。一方、モードOFFでなければ(ステップS1206:No)、制御部400は、ステップS1201の処理に戻る。
【0140】
この後、制御部400は、ステップS1207で表示したダイアログ1200に対するユーザ選択を判断する(ステップS1208)。ここで、ユーザUが確認用のボタン1202でYESを選択した場合(ステップS1208:Yes)、制御部400は、デジタル模造紙120の取り込みモードをOFFに設定し(ステップS1209)、ステップS1201の処理に戻る。
【0141】
一方、ユーザUが確認用のボタン1202でNOを選択した場合(ステップS1208:No)、制御部400は、ステップS1201の処理に戻る。
【0142】
上記処理例では、ダイアログ1200を表示し、ユーザUにより取り込みモード切り替えの確認を行う処理としたが、制御部400はユーザUに対するモード切り替えの確認を実施せず自動的に取り込みモードを切り替えてもよい。この場合、ユーザUのダイアログ1200の確認、および確認用のボタン1202の操作にかかる作業を省くことができる。
【0143】
(既存技術の問題点)
図13は、従来技術による取り込みモード切り替えの問題点を説明する図である。従来技術において、表示画面1301上に表示したデジタル模造紙1302の領域に対するデジタルカード1303の取り込み状態を説明する。
【0144】
従来の空間UIで用いるデジタル模造紙1302の模造紙アプリケーションは、
図13(a)に示す取り込みモードOFF、および
図13(b)に示す取り込みモードONをユーザがボタン1304で操作するようになっている。これら
図13(a),(b)にはボタン1304を記載してあるが、このボタン1304は隠しボタンになっており、ユーザが取り込みモードの状態および切り替え操作を把握していないことがある。
【0145】
そして、
図13(b)の取り込みモードONの場合、ユーザUがデジタル模造紙1302上に新たにデジタルカード1303dを取り込む移動指示を行った場合には、デジタル模造紙1302は、このデジタルカード1303dを取り込む。
【0146】
しかしながら、
図13(a)の取り込みモードOFFの状態で、ユーザUがデジタル模造紙1302上に新たにデジタルカード1303dを取り込む移動指示を行っても、デジタル模造紙1302は、このデジタルカード1303dを取り込まない。ユーザが取り込みモードの切り替え操作を忘れている場合や、切り替え操作を把握していない場合、デジタルカード1303dを取り込む移動指示を行ってもデジタル模造紙1302が取り込まないことを直ぐには理解することができない。この場合、カードを移動等させた際の挙動がユーザの意図と異なって取り込みできない場合、あるいは取り込まれてしまうことが生じ、使い勝手が悪く操作が煩雑になる問題が生じた。
【0147】
これに対し、実施の形態の情報処理装置によれば、ユーザUは、取り込みモードがどのような状態であっても、ユーザのモード切り替えを推定して取り込みモードに自動的に切り替えることができるようになる。これにより、ユーザが意図した移動指示に対応してデジタル模造紙に対するデジタルカードの取り込みの処理を行うことができるようになり、特別なUIを実装せずとも、デジタル模造紙の取り込みの利便性を向上できるようになる。
【0148】
以上説明した実施の形態によれば、ディスプレイの表示画面に表示されているデジタルカードをデジタル模造紙外から領域内への移動、あるいはデジタル模造紙内から領域外への移動指示を検出する。その後、再度のデジタルカードの移動指示に基づき、デジタル模造紙をデジタルカードの移動対象あるいは対象外と判断する。これにより、デジタルカードに対するユーザの移動指示だけでデジタル模造紙に対するデジタルカードの取り込みの有無を制御できる。例えば、取り込みモードを切り替えるボタンのユーザ操作を不要にでき、簡単な操作で取り込みできるようになる。
【0149】
例えば、デジタル模造紙に対するデジタルカードの取り込みモードがONの状態で、デジタルカードをデジタル模造紙外から領域内へ移動させる1回目の移動指示を検出した場合、デジタルカードをデジタル模造紙に取り込んだものと判断する。その後、デジタルカードのデジタル模造紙内から領域外への2回目の移動指示を検出した場合、デジタル模造紙の取り込みモードをOFFに切り替える。これにより、ユーザによるモード切替の操作がなくても、ユーザの意図に沿って取り込みモードをONからOFFに自動変更できるようになる。
【0150】
また、デジタル模造紙に対するデジタルカードの取り込みモードがOFFの状態で、デジタルカードをデジタル模造紙外から領域内へ移動させる1回目の移動指示を検出した場合、デジタルカードをデジタル模造紙に取り込まなかったものと判断する。その後、再度、デジタルカードのデジタル模造紙外から領域内への2回目の移動指示を検出した場合、デジタル模造紙の取り込みモードをONに切り替える。これにより、ユーザによるモード切替の操作がなくても、ユーザの意図に沿って取り込みモードをOFFからONに自動変更できるようになる。
【0151】
また、デジタルカードに対するフリック操作により1回目の移動指示を検出し、デジタルカードに対するドラッグ操作により2回目の移動指示を検出してもよい。このように、再度の移動指示にドラッグ操作を用いることで、ユーザUの移動指示の意図、すなわち、デジタル模造紙に対するデジタルカードの移動状態をより正確に検出できるようになる。
【0152】
また、予め移動指示別の取り込みモードを予測する確率モデルを保持し、実際に操作された移動指示の検出に基づき、確率モデルを所定ルールで更新し、取り込みモードの切り替えを判断してもよい。これにより、実際に行うユーザが意図した移動指示に基づく取り込みモードの切替をより精度よく判断できるようになる。
【0153】
また、確率モデルは、ディスプレイの表示画面上におけるデジタル模造紙の面積、表示位置、および表示場所に対応した確率の初期値を保持しておく。そして、実際に操作された移動指示の検出時に、移動指示別のデジタルカードの実際の移動によるデジタル模造紙に対する相対関係に基づき、確率モデルの初期値を所定ルールで更新してもよい。これにより、デジタル模造紙の表示状態や、デジタル模造紙に対するデジタルカードの位置や移動状態等の相対関係に基づき、ユーザの意図に沿った取り込みモードを精度よく推定できるようになる。
【0154】
また、取り込みモードの切り替えをユーザに通知し、確認操作を受け付けるダイアログを表示してもよい。これにより、ユーザは取り込みモードの切り替えを把握して適切な操作を簡単に行えるようになる。
【0155】
これらのことから、実施の形態によれば、空間UIを用いて複数ユーザが共有するデジタル模造紙に対し、個人使用のデジタルカードの取り込みを簡単に行えるようになる。ユーザは、取り込みモードを意識せず、また、取り込みのボタン操作を行わずとも、デジタルカードを移動指示するだけで取り込みを行えるようになり、取り込みを簡単な操作で行えるようになる。これにより、空間UIの利便性を損なうことなく、ユーザの意図に適合して簡単な操作の空間UIを提供できるようになる。
【0156】
なお、本発明の実施の形態で説明したモード制御方法は、予め用意されたプログラムをサーバ等のプロセッサに実行させることにより実現することができる。本モード制御方法は、ハードディスク、フレキシブルディスク、CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disk)、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、インターネット等のネットワークを介して配布してもよい。
【0157】
上述した実施の形態に関し、さらに以下の付記を開示する。
【0158】
(付記1)表示部に表示されている第一の領域に対するオブジェクトの移動を制御するモード制御方法において、
前記オブジェクトの前記第一の領域外から領域内への移動、あるいは前記第一の領域内から領域外への移動指示を検出した後、
再度の前記オブジェクトの移動指示に基づき、前記第一の領域を前記オブジェクトの移動対象あるいは対象外と判断する、
処理をコンピュータが実行することを特徴とするモード制御方法。
【0159】
(付記2)前記第一の領域に対する前記オブジェクトの取り込みモードがONの状態で、前記オブジェクトを前記第一の領域外から領域内へ移動させる1回目の移動指示を検出した場合、前記オブジェクトを前記第一の領域に取り込んだものと判断し、
その後、前記オブジェクトの前記第一の領域内から領域外への2回目の移動指示を検出した場合、前記第一の領域の取り込みモードをOFFに切り替える、
ことを特徴とする付記1に記載のモード制御方法。
【0160】
(付記3)前記第一の領域に対する前記オブジェクトの取り込みモードがOFFの状態で、前記オブジェクトを前記第一の領域外から領域内へ移動させる1回目の移動指示を検出した場合、前記オブジェクトを前記第一の領域に取り込まなかったものと判断し、
その後、再度、前記オブジェクトの前記第一の領域外から領域内への2回目の移動指示を検出した場合、前記第一の領域の取り込みモードをONに切り替える、
ことを特徴とする付記1または2に記載のモード制御方法。
【0161】
(付記4)前記オブジェクトに対するフリック操作により前記1回目の移動指示を検出し、
前記オブジェクトに対するドラッグ操作により前記2回目の移動指示を検出する、
ことを特徴とする付記2または3に記載のモード制御方法。
【0162】
(付記5)予め前記移動指示別の取り込みモードを予測する確率モデルを保持し、
実際に操作された前記移動指示の検出に基づき前記確率モデルを所定ルールで更新し、
前記取り込みモードの切り替えを判断する、
ことを特徴とする付記1に記載のモード制御方法。
【0163】
(付記6)前記確率モデルは、前記表示部における前記第一の領域の面積、表示位置、および表示場所に対応した確率の初期値を保持し、
実際に操作された前記移動指示の検出時に、前記移動指示別の前記オブジェクトの実際の移動による前記第一の領域に対する相対関係に基づき、前記確率モデルの前記初期値を所定ルールで更新する、
ことを特徴とする付記5に記載のモード制御方法。
【0164】
(付記7)前記取り込みモードの切り替えをユーザに通知し、確認操作を受け付けるダイアログを表示する、
ことを特徴とする付記2~6のいずれか一つに記載のモード制御方法。
【0165】
(付記8)前記第一の領域は、前記表示部上に表示され、複数のユーザで共有するデジタル模造紙であり、
前記オブジェクトは、前記デジタル模造紙の領域内への取り込みで共有される、ユーザ個別のデジタルカードである、
ことを特徴とする付記1~7のいずれか一つに記載のモード制御方法。
【0166】
(付記9)前記1回目の移動指示の検出後、所定時間内に前記2回目の移動指示を検出した場合、前記取り込みモードの切り替えを判断する、
ことを特徴とする付記2~8のいずれか一つに記載のモード制御方法。
【0167】
(付記10)表示部に表示されている第一の領域に対するオブジェクトの移動を制御するモード制御プログラムにおいて、
前記オブジェクトの前記第一の領域外から領域内への移動、あるいは前記第一の領域内から領域外への移動指示を検出した後、
再度の前記オブジェクトの移動指示に基づき、前記第一の領域を前記オブジェクトの移動対象あるいは対象外と判断する、
処理をコンピュータに実行させることを特徴とするモード制御プログラム。
【0168】
(付記11)表示部に表示されている第一の領域に対するオブジェクトの移動を制御する情報処理装置において、
前記オブジェクトの前記第一の領域外から領域内への移動、あるいは前記第一の領域内から領域外への移動指示を検出した後、再度の前記オブジェクトの移動指示に基づき、前記第一の領域を前記オブジェクトの移動対象あるいは対象外と判断する制御部、
を備えたことを特徴とする情報処理装置。
【符号の説明】
【0169】
100 情報処理装置
105 端末
110 ディスプレイ
111 表示画面
120 デジタル模造紙
130 デジタルカード
400 制御部
411,421 模造紙アプリケーション
412,422 カードアプリケーション
413 WEBブラウザ
423 ウィンドウ・マネージャー
424 イベント観測部
425 取り込みモード推定部
426 取り込みモード・コントローラー
601 CPU
602 メモリ
603 ネットワークIF
605 記録媒体
NW ネットワーク
TB テーブル(机)
U ユーザ
W 壁