(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-15
(45)【発行日】2023-08-23
(54)【発明の名称】操作支援装置、方法及びプログラム
(51)【国際特許分類】
G06F 3/0346 20130101AFI20230816BHJP
G06F 3/01 20060101ALI20230816BHJP
G06F 3/041 20060101ALI20230816BHJP
G06F 3/0488 20220101ALI20230816BHJP
【FI】
G06F3/0346 425
G06F3/01 510
G06F3/01 570
G06F3/041 560
G06F3/041 630
G06F3/0488
(21)【出願番号】P 2018195313
(22)【出願日】2018-10-16
【審査請求日】2021-10-05
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100144048
【氏名又は名称】坂本 智弘
(72)【発明者】
【氏名】中村 文宣
【審査官】滝谷 亮一
(56)【参考文献】
【文献】米国特許出願公開第2016/0291704(US,A1)
【文献】特開2016-165099(JP,A)
【文献】特開2013-130982(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/0346
G06F 3/01
G06F 3/041
G06F 3/0488
(57)【特許請求の範囲】
【請求項1】
ユーザ端末をそれぞれ付帯した複数のユーザにより操作が可能で、前記複数のユーザのそれぞれにより、少なくとも1つの機能スイッチのうちのいずれかから、
前記ユーザを特定するための特定用スイッチまでの一連の動きを伴う2つ以上の操作が実行されるように形成される操作面に対する
前記2つ以上の操作の操作情報を受信する受信手段と、
前記ユーザ端末の動きを表す動作情報を取得する取得手段と、
前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報と、に基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザを決定する決定手段と、
を備え、
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、
操作支援装置。
【請求項2】
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザとして、複数の前記ユーザ端末のうちの前記操作情報に対応付けるユーザ端末を決定する、
請求項1に記載の操作支援装置。
【請求項3】
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のそれぞれと、前記受信手段により受信された前記操作情報との関係に基づいて、前記操作情報に対応付けるユーザを決定する、
請求項1又は2に記載の操作支援装置。
【請求項4】
前記決定手段により決定された前記ユーザに、該ユーザに対応付けられた前記操作情報に応じた情報を送信する処理手段を更に備える、
請求項1~3のうちのいずれか1項に記載の操作支援装置。
【請求項5】
前記ユーザ端末は、ユーザに装着されるウエアラブル端末である、
請求項1~4のうちのいずれか1項に記載の操作支援装置。
【請求項6】
前記操作面は、プロジェクタにより操作画面が投映される投映面、又は、タッチパネル面により形成される、
請求項1~5のうちのいずれか1項に記載の操作支援装置。
【請求項7】
複数のユーザごとに付帯されるユーザ端末の動きを表す動作情報を取得し、
前記複数のユーザのそれぞれにより、少なくとも1つの機能スイッチのうちのいずれかから、
前記ユーザを特定するための特定用スイッチまでの一連の動きを伴う2つ以上の操作が実行されるように形成される操作面に対する
前記2つ以上の操作の操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報と、に対応付けるユーザを決定することを含み、
取得した複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、
コンピュータにより実行される操作支援方法。
【請求項8】
複数のユーザごとに付帯されるユーザ端末の動きを表す動作情報を取得し、
前記複数のユーザのそれぞれにより、少なくとも1つの機能スイッチのうちのいずれかから、
前記ユーザを特定するための特定用スイッチまでの一連の動きを伴う2つ以上の操作が実行されるように形成される操作面に対する
前記2つ以上の操作の操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報と、に対応付けるユーザを決定し、
取得した複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、
処理をコンピュータに実行させる操作支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、操作支援装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、スマートフォンやタブレット端末等の電子機器において、入力装置として液晶ディスプレイ等の表示部の前面(視野側)にタッチパネルが用いられ、ユーザの指やスタイラスペン等によるタッチ操作を可能とする技術が知られている。
【0003】
また、近年では、プロジェクタ等の画像投映装置により投映される投映面に対する操作を、画像認識により検出し、指示操作や描画操作等を可能とするインタラクティブ技術も知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような従来技術では、同じ操作面に対して複数のユーザが操作可能である場合、どのユーザによる操作であったかを区別して検出することが難しいという課題があった。
【0006】
そこで、本発明は、複数のユーザにより操作が可能な操作面に対する操作情報を、複数のユーザのうちのどのユーザに対応付けるかを決定することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の1つの側面では、ユーザ端末をそれぞれ付帯した複数のユーザにより操作が可能で、前記複数のユーザのそれぞれにより、少なくとも1つの機能スイッチのうちのいずれかから、前記ユーザを特定するための特定用スイッチまでの一連の動きを伴う2つ以上の操作が実行されるように形成される操作面に対する前記2つ以上の操作の操作情報を受信する受信手段と、前記ユーザ端末の動きを表す動作情報を取得する取得手段と、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報と、に基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザを決定する決定手段と、を備え、前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、操作支援装置が提供される。
【発明の効果】
【0008】
1つの側面では、本発明によれば、複数のユーザにより操作が可能な操作面に対する操作情報を、複数のユーザのうちのどのユーザに対応付けるかを決定することが可能となる。
【図面の簡単な説明】
【0009】
【
図1】一実施例による操作支援装置が適用されるユーザインターフェース用システムの構成を概略的に示す図である。
【
図3】電子機器のハードウェア構成を示すブロック図である。
【
図4】プロジェクタによる投映画像の2つの例を示す図である。
【
図5】データ転送端末の処理装置のハードウェア構成の一例を示す図である。
【
図6】データ転送端末の処理装置の機能構成の一例を示す図である。
【
図7】マスタ動作情報記憶部内のマスタ動作情報の説明図である。
【
図8】データ転送端末により実行される処理の一例を示す概略フローチャートである。
【
図9】
図8に示す処理に関連して電子機器により実行される処理の一例を示す概略フローチャートである。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【0011】
図1は、一実施例による操作支援装置が適用されるユーザインターフェース用システム10の構成を概略的に示す図である。
ユーザインターフェース用システム10は、電子機器1と、プロジェクタ2と、データ転送端末3(操作支援装置の一例)とを含む。
【0012】
電子機器1は、プロジェクタ2及びデータ転送端末3に対してそれぞれ双方向通信が可能である。この双方向の通信の形態は、無線通信である。また、プロジェクタ2及びデータ転送端末3は、互いに双方向通信が可能である。この双方向の通信の形態は、無線通信であってもよいし、有線通信であってもよい。
【0013】
(電子機器)
図2は、一実施例による電子機器1の概略図である。
図2に示すように、本実施例の電子機器1は、ウエアラブル端末(ユーザ端末の一例)であり、腕時計型の装置(スマートウォッチ等)として構成されている。なお、変形例では、電子機器1は、ユーザに付帯可能な他の形態であってもよい。
【0014】
電子機器1は、第1表示部18及び第2表示部24(後述)を備えており、第1表示部18の上に第2表示部24が積層されている。さらに、第2表示部24の上には、後述するタッチパネル17が設けられている。このため、電子機器1においては、第1表示部18の表示に第2表示部24の表示を重ね合わせて表示することが可能であるとともに、表示内容にタッチ操作することが可能となっている。以下では、ユーザとは、電子機器1のユーザであるものとする。ユーザは、典型的には、電子機器1を腕に装着して使用する。
【0015】
図3は、電子機器1のハードウェア構成を示すブロック図である。
図3に示すように、電子機器1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、記憶部14と、RTC(Real Time Clock)部15と、ドライブ16と、タッチパネル17と、第1表示部18と、第1入力部19と、ブルートゥース(登録商標)用アンテナ20と、ブルートゥースモジュール21と、無線LAN(Local Area Network)アンテナ22と、無線LANモジュール23と、第2表示部24と、脈拍センサ25と、地磁気センサ26と、加速度センサ27と、ジャイロセンサ28と、照度センサ29と、第2入力部30と、GPS(Global Positioning System)アンテナ31と、GPSモジュール32と、を備えている。
【0016】
CPU11は、第1CPU11Aと、第2CPU11Bとによって構成される。第1CPU11Aは、各種演算処理を行い、OS(Operating System)の処理を実行することにより、電子機器1におけるスマートフォンに類する機能を制御する。本実施例において、第1CPU11Aは、ブルートゥースモジュール21あるいは無線LANモジュール23を介して受信した電子メールの着信や気象情報に関するメッセージ等を第1表示部18に表示させたり、タッチパネル17を介して入力される操作を受け付けたりする。また、第1CPU11Aは、第1入力部19を介して入力される音声を認識したり、その他、スマートフォンに類する機能として実装された各種機能に係る処理を行ったりする。
【0017】
また、本実施例において、第1CPU11Aは、RTC部15から所定タイミングで時刻信号を取得する。
【0018】
第2CPU11Bは、特定のプログラムの処理を実行することにより、第2表示部24に対する表示の指示を行ったり、各種センサの検出結果を取得したり、その他、腕時計の機能として実装された各種機能に係る処理を行ったりする。本実施例において、第2CPU11Bは、第1CPU11Aから入力された時刻信号を基準として、時刻を計算したり、時刻、曜日あるいは日付等を第2表示部24に表示させたりする。第2CPU11Bが実行する特定のプログラムの処理(時刻の計算等)は、第1CPU11Aが実行するOSの処理に比べて単純な動作であることから処理負荷が小さく、低消費電力で実行可能である。また、そのため、第2CPU11Bに要求されるハードウェアのスペックは、第1CPU11Aに比べて低いもので足りる。
【0019】
ROM12は、第1CPU11A及び第2CPU11Bそれぞれからデータの読み出しが可能であり、第1CPU11A及び第2CPU11Bが実行する種々のプログラムや初期設定データを格納する。例えば、ROM12は、第1CPU11Aが実行するOSのプログラムやOSの管理下で実行される各種プログラム、あるいは、第2CPU11Bが実行する特定のプログラム(ここでは、腕時計の機能を実現する組み込み用プログラム)のプログラムを格納する。
【0020】
RAM13は、第1CPU11A及び第2CPU11Bそれぞれからデータの読み出し及び書き込みが可能であり、第1CPU11A及び第2CPU11Bに作業用のメモリ空間を提供し、作業用の一時データを記憶する。例えば、RAM13は、第1CPU11AがOSを実行する際のシステム領域やワークエリアを提供したり、第2CPU11Bが特定のプログラムを実行する際の記憶領域を提供したりする。
【0021】
記憶部14は、第1CPU11A及び第2CPU11Bそれぞれからデータの読み出し及び書き込みが可能な不揮発性のメモリであり、例えば、フラッシュメモリやEEPROM(Electrically Erasable and Programmable Read Only Memory)である。記憶部14には、スマートフォンに類する各種機能や腕時計の機能等において生成された各種データ(各種設定内容のデータ等)が記憶される。
【0022】
RTC部15は、時刻信号を生成する。
【0023】
ドライブ16には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア41が適宜装着される。リムーバブルメディア41は、各種センサによって検出されたデータ等の各種データを記憶することができる。
【0024】
タッチパネル17は、第2表示部24の表示画面上に設けられた静電容量方式または抵抗膜式等のタッチパネルである。タッチパネル17は、操作面に対するユーザのタッチ操作位置と操作内容とを検出して当該操作に応じた信号を発生させて、入力信号として第1CPU11Aに出力する。
【0025】
第1表示部18は、有機ELディスプレイ(OLED)によって構成され、第1CPU11Aの制御に従って、各種情報を表示画面に表示する。
【0026】
第1入力部19は、音声を電気信号に変換するマイクを備え、入力された音声(操作のための音声コマンド等)を示す信号を第1CPU11Aに出力する。
【0027】
ブルートゥース用アンテナ20は、ブルートゥースの規格に基づく電磁波を送受信するアンテナであり、例えばモノポールアンテナ等によって構成される。ブルートゥース用アンテナ20は、ブルートゥースモジュール21から入力された無線通信の電気信号を電磁波として送信したり、受信した電磁波を電気信号に変換してブルートゥースモジュール21に出力したりする。
【0028】
ブルートゥースモジュール21は、第1CPU11Aの指示に従って、ブルートゥース用アンテナ20を介して他の装置に信号を送信する。また、ブルートゥースモジュール21は、他の装置から送信された信号を受信し、受信した信号が示す情報を第1CPU11Aに出力する。無線LANアンテナ22は、無線LANモジュール23によって利用される無線通信に対応した周波数の電波を受信可能なアンテナであり、例えばループアンテナやロッドアンテナによって構成される。無線LANアンテナ22は、無線LANモジュール23から入力された無線通信の電気信号を電磁波として送信したり、受信した電磁波を電気信号に変換して無線LANモジュール23に出力したりする。
【0029】
無線LANモジュール23は、第1CPU11Aの指示に従って、無線LANアンテナ22を介して他の装置に信号を送信する。また、無線LANモジュール23は、他の装置から送信された信号を受信し、受信した信号が示す情報を第1CPU11Aに出力する。
【0030】
第2表示部24は、部分的にまたは全体的に光を透過可能なPN(Polymer Network)液晶ディスプレイから構成され、第2CPU11Bの制御に従って、各種情報を表示画面に表示(ここではセグメント表示)する。
【0031】
本実施例において、第2表示部24であるPN液晶ディスプレイは、例えば、上述した第1表示部18である有機ELディスプレイの表示画面上に積層されている。このPN液晶ディスプレイは、電位が掛けられていない部位では液晶分子が不規則に並び、光を反射するようになっている。つまり、この電位が掛けられていない部位において、PN液晶ディスプレイによる表示がなされることとなる。一方、電位が掛けられた部位では、液晶分子が表示画面に対して垂直に整列するので、光を透過可能となっている。つまり、この電位が掛けられた部位では、上述の有機ELディスプレイからの光を透過可能となるので、当該PN液晶ディスプレイを介して当該有機ELディスプレイによる表示を視認することができる。すなわち、電子機器1の表示領域では、第1表示部18による表示に第2表示部24による表示を重ね合わせた状態で表示することができるようになっている。
【0032】
脈拍センサ25は、電子機器1の裏面側(ユーザの腕に面する側)に設置され、電子機器1が装着されたユーザの脈拍を検出する。脈拍センサ25は、検出した脈拍を第2CPU11Bに出力する。
【0033】
地磁気センサ26は、地磁気の方向を検出し、検出した地磁気の方向を示す情報を第2CPU11Bに出力する。
【0034】
加速度センサ27は、電子機器1における3軸方向の加速度を検出し、検出した加速度を示す情報を第2CPU11Bに出力する。
【0035】
ジャイロセンサ28は、電子機器1における3軸方向の角速度を検出し、検出した角速度を示す情報を第2CPU11Bに出力する。
【0036】
照度センサ29は、第1表示部18の裏面側の所定箇所に設置され、電子機器1の表示領域における明るさ(照度)を検出し、検出した明るさを示す情報を第2CPU11Bに出力する。
【0037】
第2入力部30は、各種ボタンで構成され、ユーザの指示操作に応じて各種情報を入力する。
【0038】
GPSアンテナ31は、GPSにおける衛星から発信される電波を受信して電気信号に変換し、変換した電気信号(以下、「GPS信号」と称する)をGPSモジュール32に出力する。
【0039】
GPSモジュール32は、GPSアンテナ31から入力されたGPS信号に基づいて、電子機器1の位置(緯度、経度、高度)及びGPSによって示される現在時刻を検出する。また、GPSモジュール32は、検出した位置及び現在時刻を示す情報を第2CPU11Bに出力する。
【0040】
なお、
図3に示す構成は、あくまで一例であり、多様な変更が可能である。例えば、電子機器1は第1表示部18と第2表示部24とを備えるものとしたが、それに限らず、電子機器1は第1表示部18のみを備えるものであってもよい。また、表示内容が表示される第1表示部18がOLEDで構成されるが、液晶ディスプレイ等の他の表示手段で構成されてもよい。また、電子機器1のCPU11は第1CPU11Aと第2CPU11Bとからなるものとしたが、それに限らず、CPU11は第1CPU11Aの機能と第2CPU11Bの機能の両方を備える1つのCPUであってもよい。また、無線LANモジュール23、ジャイロセンサ28、照度センサ29、GPSモジュール32等が省略されてもよい。
【0041】
本実施例では、以下でも詳説するが、電子機器1は、データ転送端末3からの要求に応じて、加速度センサ27からの加速度情報を、ブルートゥースモジュール21を介してデータ転送端末3に送信する。この際、電子機器1は、データ転送端末3が他の電子機器1から送られてくる加速度情報と区別できるように、加速度情報と機器ID等の識別子とを含む送信データをデータ転送端末3に送信する。
【0042】
(プロジェクタ)
プロジェクタ2は、図示しない処理部(例えばマイクロコンピュータにより形成)を有し、処理部が画像を生成し投映する。プロジェクタ2は、画像が投映された投映面を操作面として機能させる。
【0043】
プロジェクタ2は、電子機器1を装着(付帯の一例)した複数のユーザが存在する空間内の適切な対象(例えば壁面や机の表面)に操作面を形成するように、配置される。
【0044】
プロジェクタ2により形成可能な操作面は、電子機器1を装着した複数のユーザにより操作が可能な操作面(以下、「複数ユーザにより操作可能な操作面」とも称する)を含む。なお、プロジェクタ2により形成可能な操作面は、複数ユーザにより操作可能な操作面に加えて、単一のユーザにより操作可能な操作面を含んでもよい。例えば、プロジェクタ2は、複数の電子機器1のブルートゥースモジュール21との間で通信状態が確立されている場合、複数ユーザにより操作可能な操作面を出力し、単一の電子機器1のブルートゥースモジュール21との間で通信状態が確立されている場合、単一のユーザにより操作可能な操作面を出力してもよい。あるいは、プロジェクタ2は、所定の切り替えスイッチ(図示せず)の操作状態に応じて、複数ユーザにより操作可能な操作面と、単一のユーザにより操作可能な操作面とを切り替えてもよい。
【0045】
図4は、プロジェクタ2による投映画像の2つの例を示す図である。
【0046】
投映画像G40は、投映されることで操作面を形成し、当該操作面において複数のスイッチ(ボタン)SW1~SW6として機能する画像部を有する。各スイッチSW1~SW6には、それぞれに割り当てられる機能(当該スイッチを操作して実現される機能)の内容を示唆する表記等が描画される。例えば、
図4に示す例では、スイッチSW1には、「画像転送」の表記が描画されている。この場合、ユーザは、画像転送を行いたい場合は、スイッチSW1を指で押す(タップ)又は指す等の操作を行う。以下、このように、スイッチSW1~SW6のいずれか(後出の特定用スイッチSW7についても同様)に対してユーザが指を指す又は押す操作を行うことを、単に「タップ操作」とも称する。投映画像G40により形成される操作面は、複数ユーザにより操作可能な操作面の一例である。
【0047】
投映画像G41は、投映画像G40に係る操作面においてスイッチSW1~SW6のいずれかに対してタップ操作がなされると出力される。投映画像G41は、投映されることで、操作者を特定するための操作面を形成し、当該操作面において特定用スイッチSW7として機能する画像部を有する。なお、スイッチSW7には、☆マークのような特定の表記が描画されてもよい。また、投映画像G41は、操作面においてガイダンスとして機能するガイダンス表示GD1を含んでよい。ガイダンス表示GD1は、
図4に示すように、「操作者は右下のスイッチを押してください」といった趣旨のメッセージを含む。
【0048】
以下では、前提として、ユーザとは、電子機器1を装着しているユーザを指し、ユーザは、電子機器1を装着している方の手で、以下で説明するタップ操作を行うものとする。
【0049】
ここで、複数ユーザにより操作可能な操作面に対しては、複数のユーザのうちの、どのユーザがタップ操作を行ったのかを精度良く判定することが難しい。このため、本実施例では、投映画像G41による操作面を形成することで、タップ操作を行ったユーザ(操作者)に対して、特定の手の動きを発生させる。すなわち、投映画像G41により形成される操作面は、スイッチSW1~SW6のいずれかに対するタップ操作に後続して、スイッチSW7に対するタップ操作を行わせるように機能する。更に換言すると、投映画像G41により形成される操作面は、ユーザにより一連の動きを伴う2つ以上の操作(スイッチSW1~SW6のいずれかに対するタップ操作と、それに後続するスイッチSW7に対するタップ操作)が実行されるように形成される。以下では、このようなユーザにより一連の動きを伴う2つ以上の操作を、「一連のタップ操作」とも称する。
【0050】
プロジェクタ2の処理部は、タップ操作を検出すると、操作情報を生成し、データ転送端末3に送信する。操作情報は、どのスイッチが操作されたかを表す情報である。なお、操作情報は、データ転送端末3が当該操作情報に基づいてどのスイッチが操作されたかを導出できる情報であればよく、例えば操作面におけるタッチ位置情報であってもよい。
【0051】
なお、タップ操作の検出方法は、任意であり、例えば画像認識による方法(すなわち操作面を撮像する画像に捕捉される操作指の像に基づいて、操作指の指す位置やスイッチを特定する方法)や、赤外線等を利用する方法等であってよい。
【0052】
なお、プロジェクタ2の処理部による上述した機能の一部は、後述のデータ転送端末3の処理部により実現されてもよい。
【0053】
(データ転送端末3)
データ転送端末3は、任意の電子機器であり、例えばスマートフォンやタブレットのような携帯可能な端末であってもよいし、パーソナルコンピュータのような固定の端末であってもよい。また、他の実施例では、データ転送端末3は、サーバの形態であってよい。この場合、データ転送端末3と電子機器1及びプロジェクタ2とは、ネットワーク(図示せず)を介して接続される。この場合、ネットワークは、無線通信網を含み、その他、インターネット、VPN(Virtual Private Network)、WAN(Wide Area Network)、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。
【0054】
データ転送端末3は、電子機器1にデータを転送する機能を有する。例えば、データ転送端末3は、電子機器1のブルートゥースモジュール21との間で通信を介して、電子機器1にデータを転送する。転送するデータは、任意であるが、上述したプロジェクタ2からの操作情報に基づいて決定されてもよい。例えば、スイッチSW1に対するタップ操作を表す操作情報が受信されると、所定の画像データを転送する。なお、この場合、操作情報は、更に所定の画像データを指定する情報を含んでもよい。
【0055】
図5は、データ転送端末3の処理装置100のハードウェア構成の一例を示す図である。
【0056】
図5に示す例では、処理装置100は、制御部101、主記憶部102、補助記憶部103、ドライブ装置104、ネットワークI/F部106、及び入力部107を含む。
【0057】
制御部101は、主記憶部102や補助記憶部103に記憶されたプログラムを実行する演算装置であり、入力部107や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。
【0058】
主記憶部102は、ROM(Read Only Memory)やRAM(Random Access Memory)などである。主記憶部102は、制御部101が実行する基本ソフトウェアであるOS(Operating System)やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【0059】
補助記憶部103は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【0060】
ドライブ装置104は、記録媒体105、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【0061】
記録媒体105は、所定のプログラムを格納する。この記録媒体105に格納されたプログラムは、ドライブ装置104を介して処理装置100にインストールされる。インストールされた所定のプログラムは、処理装置100により実行可能となる。
【0062】
ネットワークI/F部106は、有線及び/又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と処理装置100とのインターフェースである。
【0063】
入力部107は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやタッチパッド等を有する。
【0064】
なお、
図5に示す例において、以下で説明する各種処理等は、プログラムを処理装置100に実行させることで実現することができる。また、プログラムを記録媒体105に記録し、このプログラムが記録された記録媒体105を処理装置100に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体105は、様々なタイプの記録媒体を用いることができる。例えば、記録媒体105は、CD(Compact Disc)-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。
【0065】
図6は、データ転送端末3の処理装置100の機能構成の一例を示す図である。
【0066】
データ転送端末3の処理装置100は、操作情報受信部301(受信手段の一例)と、動作情報取得部302(取得手段の一例)と、操作者特定部303(決定手段の一例)と、マスタ動作情報記憶部304を含む。操作情報受信部301、動作情報取得部302、及び操作者特定部303は、
図5の制御部101が記憶装置(例えば
図5の主記憶部102)内の1つ以上のプログラムを実行することで実現できる。マスタ動作情報記憶部304は、
図5の主記憶部102又は補助記憶部103により実現できる。
【0067】
操作情報受信部301は、プロジェクタ2から操作情報を受信する。操作情報は、上述のとおりである。なお、複数ユーザにより操作可能な操作面に対して、電子機器1をそれぞれ装着した複数のユーザが上述したタップ操作を行うことが可能な状況(以下、「複数のユーザがタップ操作可能な状況」と称する)では、操作情報受信部301は、複数の電子機器1のいずれかからも操作情報を受信しうる状況となる。
【0068】
動作情報取得部302は、電子機器1の動きを表す動作情報を取得する。本実施例では、一例として、動作情報取得部302は、動作情報として、電子機器1の加速度センサ27からの加速度情報を取得する。動作情報取得部302は、電子機器1のブルートゥースモジュール21との通信を介して加速度情報を取得してよい。
【0069】
なお、複数のユーザがタップ操作可能な状況では、動作情報取得部302は、複数の電子機器1のいずれかからでも動作情報を取得可能な状況となる。
【0070】
操作者特定部303は、複数のユーザがタップ操作可能な状況で機能する。なお、データ転送端末3において、複数のユーザがタップ操作可能な状況は、ブルートゥースモジュール21との通信が確立されている電子機器1の数に基づいて検出できる。
【0071】
操作者特定部303は、動作情報取得部302により取得された複数の電子機器1に係る動作情報と、操作情報受信部301により受信された操作情報とに基づいて、複数の電子機器1のうちの操作情報に対応付ける電子機器1、又は、複数のユーザのうちの操作情報に対応付けるユーザを、決定する。
【0072】
ここで、複数のユーザがタップ操作可能な状況では、操作情報受信部301が操作情報を受信したとしても、当該操作情報だけからは、どのユーザ(どの電子機器1を装着したユーザ)が当該操作情報を発生させたか(すなわちタップ操作を行ったか)を特定することができない。操作情報は、上述のように、プロジェクタ2から送信されてくる情報であり、どのユーザ(どの電子機器1を装着したユーザ)に係る操作情報であるかを示す情報が付加されていないためである。
【0073】
この点、本実施例では、操作者特定部303は、動作情報取得部302により取得された複数の電子機器1に係る動作情報を利用することで、どのユーザ(どの電子機器1を装着したユーザ)が当該操作情報を発生させたか(すなわちタップ操作を行ったか)を特定する。
【0074】
上述のように、ユーザは、電子機器1を装着した手でタップ操作を行うので、タップ操作を行う際に、それに応じた加速度が電子機器1には発生する。すなわち、タップ操作を行ったユーザの電子機器1からの動作情報と、タップ操作を行っていないユーザの電子機器1からの動作情報とは、時系列波形(例えば、各軸に係る加速度の時系列波形)において特徴が明確に異なる。本実施例では、この点を利用することで、どのユーザ(どの電子機器1を装着したユーザ)が当該操作情報を発生させたか(すなわちタップ操作を行ったか)を精度良く特定できる。
【0075】
具体的には、操作者特定部303は、動作情報取得部302により取得された複数の電子機器1に係る動作情報のうちに、タップ操作を行う際に現れる動きを表す動作情報があれば、当該動作情報を送信してきた電子機器1(送信データに含まれる識別子に基づき特定可能)を、当該操作情報を発生させた電子機器1(すなわちタップ操作を行ったユーザ)として特定できる。
【0076】
例えば、操作者特定部303は、タップ操作を行った際に得られるはずの動作情報であるマスタ動作情報と、動作情報取得部302により取得された複数の電子機器1に係る動作情報とを対比し、最もマスタ動作情報に整合する動作情報を特定する。この場合、操作者特定部303は、最もマスタ動作情報に整合する動作情報を送信してきた電子機器1を、当該操作情報を発生させた電子機器1(すなわちタップ操作を行ったユーザ)として特定してもよい。
【0077】
ここで、マスタ動作情報は、あらかじめ用意され、マスタ動作情報記憶部304に記憶される。なお、マスタ動作情報は、学習等を介して取得されてもよい。
【0078】
マスタ動作情報は、好ましくは、一連のタップ操作ごとに用意される。
図7は、マスタ動作情報記憶部304内のマスタ動作情報の説明図である。
図7では、
図4に示した操作面に係る一連のタップ操作に対するマスタ動作情報が示されている。この場合、一連のタップ操作として、例えば、「スイッチSW1へのタップ操作+スイッチSW7に対するタップ操作」に対してはマスタ動作情報として加速度情報A1が対応付けられ、「スイッチSW2へのタップ操作+スイッチSW7に対するタップ操作」に対してはマスタ動作情報として加速度情報A2が対応付けられ、以下同様である。なお、加速度情報A1は、電子機器1を装着した手でスイッチSW1へのタップ操作を行った後にスイッチSW7に対するタップ操作を行ったときに得られる加速度センサ27からの加速度情報に基づいて生成されてよい。加速度情報A2は、電子機器1を装着した手でスイッチSW2へのタップ操作を行った後にスイッチSW7に対するタップ操作を行ったときに得られる加速度センサ27からの加速度情報に基づいて生成されてよい。
【0079】
ここで、一連のタップ操作について、例えば「スイッチSW1へのタップ操作+スイッチSW7に対するタップ操作」と、「スイッチSW2へのタップ操作+スイッチSW7に対するタップ操作」とは、
図4に示すように、スイッチSW1及びスイッチSW2が異なる位置にあるので、加速度情報A1と加速度情報A2とは異なる特徴を有する。従って、一連のタップ操作ごとにマスタ動作情報を用意することで、操作情報を発生させた電子機器1(すなわちタップ操作を行ったユーザ)を精度良く特定できる。
【0080】
この場合、操作者特定部303は、操作情報受信部301により受信された操作情報が表す一連のタップ操作に応じたマスタ動作情報をマスタ動作情報記憶部304から抽出し、抽出したマスタ動作情報と、動作情報取得部302により取得された複数の電子機器1に係る動作情報とを対比し、最もマスタ動作情報に整合する動作情報を特定する。そして、操作者特定部303は、最もマスタ動作情報に整合する動作情報を送信してきた電子機器1を、当該操作情報を発生させた電子機器1(すなわちタップ操作を行ったユーザ)として特定してもよい。このようにして、操作者特定部303は、操作情報受信部301により受信された操作情報と、動作情報取得部302により取得された複数の電子機器1に係る動作情報との関係に基づいて、当該操作情報を発生させた電子機器1(すなわちタップ操作を行ったユーザ)として特定することができる。なお、操作情報を発生させた電子機器1(すなわちタップ操作を行ったユーザ)を特定することは、「複数の電子機器1のうちの操作情報に対応付ける電子機器1を決定すること、又は、複数のユーザのうちの操作情報に対応付けるユーザを決定すること」の一態様である。
【0081】
操作者特定部303は、操作情報を発生させた電子機器1を特定すると、当該電子機器1に対して所定処理を実行する。所定処理は、操作情報に基づいて決定されてもよい。例えば、スイッチSW1を表す操作情報の場合、所定処理は、画像転送処理となる。
【0082】
(動作例)
次に、ユーザインターフェース用システム10の動作例をついて、
図8以降の概略フローチャートを参照して説明する。以降の処理フロー図(フローチャート)においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。
【0083】
図8は、データ転送端末3により実行される処理の一例を示す概略フローチャートである。
図8に示す処理は、データ転送端末3と複数の電子機器1との間で通信(ブルートゥースモジュール21による通信)が確立された状態において実行される。ここでは、N1個の電子機器1との間で通信が確立されているものとする。
【0084】
ステップS800では、データ転送端末3は、プロジェクタ2を介してファイル転送スイッチを含む操作画面(
図4の画像G40参照)を出力する。例えば、データ転送端末3は、プロジェクタ2に対して、ファイル転送スイッチを含む操作画面(
図4の画像G40参照)を出力するように指令を送信する。
【0085】
ステップS802では、データ転送端末3は、ファイル転送スイッチに対するタップ操作を示す操作情報をプロジェクタ2から受信したか否かを判定する。判定結果が“YES”の場合、ステップS804に進み、それ以外の場合は、ファイル転送スイッチに対する操作待ち状態となる。なお、ファイル転送スイッチに対する操作待ち状態が所定時間以上継続した場合は、終了してもよい。
【0086】
ステップS804では、データ転送端末3は、プロジェクタ2を介して特定用スイッチを含む操作画面(
図4の画像G41参照)を出力する。
【0087】
ステップS806では、データ転送端末3は、特定用スイッチに対するタップ操作を示す操作情報をプロジェクタ2から受信したか否かを判定する。判定結果が“YES”の場合、ステップS808に進み、それ以外の場合は、特定用スイッチに対する操作待ち状態となる。なお、特定用スイッチに対する操作待ち状態が所定時間以上継続した場合は、終了してもよい。
【0088】
ステップS808では、データ転送端末3は、複数の電子機器1に対して動作情報を要求する。
【0089】
ステップS810では、データ転送端末3は、複数の電子機器1から動作情報を受信したか否かを判定する。判定結果が“YES”の場合、ステップS812に進み、それ以外の場合は、複数の電子機器1からの動作情報の受信待ち状態となる。
【0090】
ステップS812では、データ転送端末3は、ステップS802及びステップS806で受信した操作情報に基づいて、今回の一連のタップ操作を特定し、特定した一連のタップ操作に応じたマスタ動作情報をマスタ動作情報記憶部304内から抽出する。
【0091】
ステップS814では、データ転送端末3は、複数の電子機器1のうちから特定の1つの電子機器1を選択する。
【0092】
ステップS815では、特定の1つの電子機器1の動作情報と、ステップS812で得たマスタ動作情報記憶部304内のマスタ動作情報とに基づいて、特定の1つの電子機器1の動作情報がマスタ動作情報と整合するか否かを判定する。特定の1つの電子機器1の選択方法は、任意であり、例えば動作情報の先着順等であってよい。整合するか否かは、例えばマスタ動作情報に係る波形と特定の1つの電子機器1の動作情報に係る波形間の相関係数を導出し、相関係数が所定閾値以上となるか否かに基づいて判定されてもよい。判定結果が“YES”の場合、ステップS816に進み、それ以外の場合は、ステップS818に進む。
【0093】
ステップS816では、データ転送端末3は、今回選択した特定の1つの電子機器1(又は当該電子機器1を装着するユーザ)に対して、ステップS802及びステップS806で受信した操作情報を対応付ける。例えば、データ転送端末3は、今回選択した特定の1つの電子機器1に対して、ステップS802で受信した操作情報に係るファイル転送処理を実行する。
【0094】
ステップS818では、データ転送端末3は、他の未選択の電子機器1が存在するか否かを判定する。すなわち、データ転送端末3は、N1個の電子機器1のうち、ステップS814の判定処理を行っていない電子機器1が存在するか否かを判定する。判定結果が“YES”の場合、ステップS820に進み、それ以外の場合は、終了する。なお、判定結果が“NO”の場合、再度操作するようにユーザに促すためのメッセージ等をプロジェクタ2を介して通知してもよい。
【0095】
ステップS820では、データ転送端末3は、他の未選択の電子機器1のうちから、次の特定の1つの電子機器1を選択する。ステップS820が終了すると、新たに選択された特定の1つの電子機器1からの動作情報に基づいてステップS815の判定処理が実行される。
【0096】
図9は、
図8に示す処理に関連して電子機器1により実行される処理の一例を示す概略フローチャートである。
図9に示す処理は、N1個の電子機器1のそれぞれにおいて実行される。
【0097】
ステップS900では、電子機器1は、動作情報の要求(
図8のステップS808参照)があったか否かを判定する。判定結果が“YES”の場合、ステップS902に進み、それ以外の場合は、当該要求の受信待ち状態となる。
【0098】
ステップS902では、電子機器1は、所定時間前から現時点までの加速度センサ27からの加速度情報を、データ転送端末3に送信する。所定期間は、一連のタップ操作に要する時間に対応し、試験等により適合されてよい。なお、変形例では、
図8において、データ転送端末3は、ステップS802の判定結果が“YES”の場合に、電子機器1に、加速度情報の記録開始指示を送信してもよい。この場合、本ステップS902では、電子機器1は、当該記録開始指示の受信時から現時点までの加速度センサ27からの加速度情報を、データ転送端末3に送信する。
【0099】
ここで、N1個の電子機器1のうちの、
図8のステップS802及びステップS806でデータ転送端末3が受信した操作情報を発生させた電子機器1には、
図8のステップS816に基づいてファイルが転送されてくる。従って、N1個の電子機器1のうちの、
図8のステップS802及びステップS806でデータ転送端末3が受信した操作情報を発生させた電子機器1は、ステップS902の後に、ファイルを受信することになる。
【0100】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【0101】
換言すると、上記のような機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が電子機器1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に上記のような機能的構成に限定されない。また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0102】
本実施例における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施例に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
【0103】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0104】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図3のリムーバブルメディア41により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア41は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図3のROM12や、
図3の記憶部14に含まれる半導体メモリ等で構成される。
【0105】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理をも含むものである。
【0106】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【0107】
例えば、上述した実施例において、データ転送端末3の機能の一部の機能は、各電子機器1により実現されてもよい。例えば、各電子機器1は、データ転送端末3の機能であった操作情報受信部301、及び操作者特定部303の一部を実現してもよい。この場合、各電子機器1は、マスタ動作情報記憶部304に対応する記憶部を有し、操作者特定部303に対応する機能に基づいて、加速度センサ27からの加速度情報に基づいて、操作情報を自身の電子機器1が発生させたか否かを判定する。そして、各電子機器1は、その判定結果をデータ転送端末3に送信する。この場合、データ転送端末3は、各電子機器1からの判定結果に基づいて、複数の電子機器1のうちの、ファイル転送先となるべき電子機器1を特定できる。
【0108】
また、上述した実施例では、複数ユーザにより操作可能な操作面は、プロジェクタ2により形成されているが、これに限られない。例えば、複数ユーザにより操作可能な操作面は、タッチパネルを備える入力装置により実現されてもよい。すなわち、プロジェクタ2に代えて、タッチパネルを備える入力装置が利用されてもよい。この場合、入力装置は、
図4に示したような画像を出力することで、複数ユーザにより操作可能な操作面を形成できる。また、この場合、入力装置は、データ転送端末3と通信可能に接続され、データ転送端末3の操作情報受信部301が受信できるように、操作情報をデータ転送端末3に送信してもよい。あるいは、入力装置はデータ転送端末3の一部として実現されてもよい。例えば入力装置は、データ転送端末3のタッチパネルにより実現されてもよい。この場合、入力装置が操作情報受信部301を実現してもよい。
【0109】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
ユーザ端末をそれぞれ付帯した複数のユーザにより操作が可能な操作面に対する操作情報を受信する受信手段と、
前記ユーザ端末の動きを表す動作情報を取得する取得手段と、
前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザを、決定する決定手段とを備える、操作支援装置。
<請求項2>
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報と、前記受信手段により受信された前記操作情報とに基づいて、前記複数のユーザのうちの前記操作情報に対応付けるユーザとして、複数の前記ユーザ端末のうちの前記操作情報に対応付けるユーザ端末を決定する、請求項1に記載の操作支援装置。
<請求項3>
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のそれぞれと、前記受信手段により受信された前記操作情報との関係に基づいて、前記操作情報に対応付けるユーザを決定する、請求項1又は2に記載の操作支援装置。
<請求項4>
前記操作面は、ユーザにより一連の動きを伴う2つ以上の操作が実行されるように形成され、
前記決定手段は、前記取得手段により取得された複数の前記ユーザ端末に係る動作情報のうちの、前記一連の動きに最も整合する動作情報を特定し、複数の前記ユーザ端末のうちの、特定した前記動作情報に係るユーザ端末を、前記操作情報に対応付ける前記ユーザとして決定する、請求項3に記載の操作支援装置。
<請求項5>
前記決定手段により決定された前記ユーザに、該ユーザに対応付けられた前記操作情報に応じた情報を送信する処理手段を更に備える、請求項1~4のうちのいずれか1項に記載の操作支援装置。
<請求項6>
前記ユーザ端末は、ユーザに装着されるウエアラブル端末である、請求項1~5のうちのいずれか1項に記載の操作支援装置。
<請求項7>
前記操作面は、プロジェクタにより操作画面が投映される投映面、又は、タッチパネル面により形成される、請求項1~6のうちのいずれか1項に記載の操作支援装置。
<請求項8>
ユーザごとに付帯されるユーザ端末の動きを表す動作情報を取得し、
表示される操作面に対する操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報に対応付けるユーザを、決定することを含む、コンピュータにより実行される操作支援方法。
<請求項9>
ユーザごとに付帯されるユーザ端末の動きを表す動作情報を取得し、
表示される操作面に対する操作情報を受信し、
取得した複数の前記ユーザ端末に係る動作情報と、受信した前記操作情報とに基づいて、複数の前記ユーザのうちの前記操作情報に対応付けるユーザを、決定する
処理をコンピュータに実行させる操作支援プログラム。
【符号の説明】
【0110】
1 電子機器
2 プロジェクタ
3 データ転送端末
11A 第1CPU
11B 第2CPU
14 記憶部
15 RTC部
16 ドライブ
17 タッチパネル
18 第1表示部
19 第1入力部
20 ブルートゥース用アンテナ
21 ブルートゥースモジュール
22 無線LANアンテナ
23 無線LANモジュール
24 第2表示部
25 脈拍センサ
26 地磁気センサ
27 加速度センサ
28 ジャイロセンサ
29 照度センサ
30 第2入力部
31 GPSアンテナ
32 GPSモジュール
41 リムーバブルメディア
301 操作情報受信部
302 動作情報取得部
303 操作者特定部
304 マスタ動作情報記憶部