ホーム > 特許ランキング > 日新電機工作株式会社
特開2023-127116情報処理システム、情報処理方法、及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023127116
(43)【公開日】2023-09-13
(54)【発明の名称】情報処理システム、情報処理方法、及び情報処理プログラム
(51)【国際特許分類】
G06F 3/0346 20130101AFI20230906BHJP
G06F 3/01 20060101ALI20230906BHJP
G06F 3/038 20130101ALI20230906BHJP
【ＦＩ】
G06F3/0346 423
G06F3/01 510
G06F3/038 310A
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022030692
(22)【出願日】2022-03-01
(71)【出願人】
【識別番号】595115813
【氏名又は名称】日新電機工作株式会社
(74)【代理人】
【識別番号】100085316
【弁理士】
【氏名又は名称】福島 三雄
(74)【代理人】
【識別番号】100171572
【弁理士】
【氏名又は名称】塩田 哲也
(74)【代理人】
【識別番号】100213425
【弁理士】
【氏名又は名称】福島 正憲
(74)【代理人】
【識別番号】100221707
【弁理士】
【氏名又は名称】宮崎 洋介
(74)【代理人】
【識別番号】100221718
【弁理士】
【氏名又は名称】藤原 誠悟
(74)【代理人】
【識別番号】100224915
【弁理士】
【氏名又は名称】西村 茉友
(72)【発明者】
【氏名】立花 岳明
(72)【発明者】
【氏名】石橋 和大
(72)【発明者】
【氏名】宮内 信寛
【テーマコード（参考）】
5B087
5E555
【Ｆターム（参考）】
5B087AD02
5B087AE09
5B087DD03
5B087DE01
5B087DJ09
5E555AA12
5E555AA25
5E555AA28
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555BC04
5E555BC17
5E555CA41
5E555CA42
5E555CB34
5E555CB39
5E555CB55
5E555CB65
5E555CB69
5E555CB76
5E555DB53
5E555DB56
5E555DC06
5E555DC13
5E555DC31
5E555DC32
5E555DC35
5E555DC36
5E555DC82
5E555DD06
5E555FA00
(57)【要約】 （修正有）
【課題】注視点のズレを気にすることなくＧＵＩ要素の操作を行う情報処理システムを提供する。
【解決手段】情報処理システムは、ユーザーＵの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行い、過去に取得された基準眼球位置から基準眼球位置の取得の後に取得される入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段１４０と、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段１６０と、を含む。基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新される。
【選択図】図３
【解決手段】情報処理システムは、ユーザーＵの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行い、過去に取得された基準眼球位置から基準眼球位置の取得の後に取得される入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段１４０と、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段１６０と、を含む。基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新される。
【選択図】図３
【特許請求の範囲】
【請求項1】
コンピュータを用いて、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行う情報処理システムであって、
過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段と、
認識された方向情報の入力に基づいて、当初選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段と、を含み、
前記基準眼球位置は、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新される
ことを特徴とする情報処理システム。
過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段と、
認識された方向情報の入力に基づいて、当初選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段と、を含み、
前記基準眼球位置は、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新される
ことを特徴とする情報処理システム。
【請求項2】
前記入力認識手段は、
前記基準眼球位置から前記入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する処理を反復して繰り返す
ことを特徴とする請求項１に記載の情報処理システム。
前記基準眼球位置から前記入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する処理を反復して繰り返す
ことを特徴とする請求項１に記載の情報処理システム。
【請求項3】
さらに、反復してユーザーの眼球位置を取得する眼球位置取得手段を含み、
現在よりも所定時間前の時点での眼球位置が前記基準眼球位置となるように、前記基準眼球位置を動的に繰り返し更新する更新処理と、
前記基準眼球位置から前記入力眼球位置への眼球の移動方向を検出する検出処理と、
検出した移動方向を、方向情報の入力として認識する認識処理と、を行う
ことを特徴とする請求項１若しくは２に記載の情報処理システム。
現在よりも所定時間前の時点での眼球位置が前記基準眼球位置となるように、前記基準眼球位置を動的に繰り返し更新する更新処理と、
前記基準眼球位置から前記入力眼球位置への眼球の移動方向を検出する検出処理と、
検出した移動方向を、方向情報の入力として認識する認識処理と、を行う
ことを特徴とする請求項１若しくは２に記載の情報処理システム。
【請求項4】
前記入力認識手段は、
前記基準眼球位置から前記入力眼球位置への眼球の移動における移動量が所定の閾値以上となった場合に方向情報の入力を認識する
ことを特徴とする請求項１～３のいずれか一つに記載の情報処理システム。
前記基準眼球位置から前記入力眼球位置への眼球の移動における移動量が所定の閾値以上となった場合に方向情報の入力を認識する
ことを特徴とする請求項１～３のいずれか一つに記載の情報処理システム。
【請求項5】
前記閾値は、ユーザーの固視微動による眼球位置のばらつきの程度に基づいて設定される
ことを特徴とする請求項４に記載の情報処理システム。
ことを特徴とする請求項４に記載の情報処理システム。
【請求項6】
前記ＧＵＩ処理手段は、前記入力認識手段による方向情報の入力の認識から所定時間経過後に、前記第二のＧＵＩ要素に応じた処理を行うよう構成されており、
さらに、前記第二のＧＵＩ要素が表示されている領域に、前記第二のＧＵＩ要素に応じた処理を行うまでの時間を表示する時間表示手段を含み、
前記閾値は、ユーザーが前記第二のＧＵＩ要素を視認した際の眼球位置から前記第二のＧＵＩ要素が表示されている領域に表示された時間を視認した際の眼球位置までの眼球の移動によって、方向情報の入力が認識されないように設定されている
ことを特徴とする請求項４若しくは５に記載の情報処理システム。
さらに、前記第二のＧＵＩ要素が表示されている領域に、前記第二のＧＵＩ要素に応じた処理を行うまでの時間を表示する時間表示手段を含み、
前記閾値は、ユーザーが前記第二のＧＵＩ要素を視認した際の眼球位置から前記第二のＧＵＩ要素が表示されている領域に表示された時間を視認した際の眼球位置までの眼球の移動によって、方向情報の入力が認識されないように設定されている
ことを特徴とする請求項４若しくは５に記載の情報処理システム。
【請求項7】
前記ＧＵＩ要素に応じた処理は、前記第一のＧＵＩ要素の選択状態から前記第二のＧＵＩ要素の選択状態への遷移であり、
前記第二のＧＵＩ要素が選択状態となってから所定の時間が経過したときに、前記第二のＧＵＩ要素の選択状態から他のＧＵＩ要素の選択状態へと遷移していない場合に、前記第二のＧＵＩ要素の選択を確定する
ことを特徴とする請求項１～６のいずれか一つに記載の情報処理システム。
前記第二のＧＵＩ要素が選択状態となってから所定の時間が経過したときに、前記第二のＧＵＩ要素の選択状態から他のＧＵＩ要素の選択状態へと遷移していない場合に、前記第二のＧＵＩ要素の選択を確定する
ことを特徴とする請求項１～６のいずれか一つに記載の情報処理システム。
【請求項8】
前記ＧＵＩ要素に応じた処理は、前記第一のＧＵＩ要素の選択状態から前記第二のＧＵＩ要素の選択状態への遷移であり、
前記第二のＧＵＩ要素が選択状態となってから所定の時間方向情報の入力が認識されなかった場合に、前記第二のＧＵＩ要素の選択を確定する
ことを特徴とする請求項１～６のいずれか一つに記載の情報処理システム。
前記第二のＧＵＩ要素が選択状態となってから所定の時間方向情報の入力が認識されなかった場合に、前記第二のＧＵＩ要素の選択を確定する
ことを特徴とする請求項１～６のいずれか一つに記載の情報処理システム。
【請求項9】
前記ＧＵＩ要素は、行方向及び列方向のうち少なくとも一方に沿って、３行×３列以内で並べられている
ことを特徴とする請求項１～８のいずれか一つに記載の情報処理システム。
ことを特徴とする請求項１～８のいずれか一つに記載の情報処理システム。
【請求項10】
ユーザーの注視点及びユーザーが注視しているＧＵＩ要素の両方を認識しない
ことを特徴とする請求項１～９のいずれか一つに記載の情報処理システム。
ことを特徴とする請求項１～９のいずれか一つに記載の情報処理システム。
【請求項11】
コンピュータを用いて、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行う情報処理方法であって、
過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識ステップと、
認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理ステップと、を含み、
前記基準眼球位置は、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新される
ことを特徴とする情報処理方法。
過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識ステップと、
認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理ステップと、を含み、
前記基準眼球位置は、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新される
ことを特徴とする情報処理方法。
【請求項12】
コンピュータに、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を実行させるための情報処理プログラムであって、
過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識処理と、
認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理と、
前記基準眼球位置を、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新する更新処理と、をコンピュータに実行させる
ことを特徴とする情報処理プログラム。
過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識処理と、
認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理と、
前記基準眼球位置を、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新する更新処理と、をコンピュータに実行させる
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行う情報処理システム、情報処理方法、及び、コンピュータにこのような処理を行わせる情報処理プログラムに関する。
【背景技術】
【0002】
従来、特許文献１に記載の視線検出機能及び視線を示す印を表示する表示機能を備える画像形成装置が知られていた。特許文献１には、下記発明が開示されている。
「記録材に画像を形成可能な画像形成装置であって、前記画像形成装置に関する情報を表示可能な表示手段と、ユーザの顔を撮像する撮像部と、前記撮像部にユーザの顔を撮像させた撮像結果に基づいて当該ユーザの視線を検出する制御部と、を備え、前記制御部は、検出したユーザの視線に基づいて、ユーザの視線を示す印を前記表示手段に表示させる、ことを特徴とする画像形成装置。」
「記録材に画像を形成可能な画像形成装置であって、前記画像形成装置に関する情報を表示可能な表示手段と、ユーザの顔を撮像する撮像部と、前記撮像部にユーザの顔を撮像させた撮像結果に基づいて当該ユーザの視線を検出する制御部と、を備え、前記制御部は、検出したユーザの視線に基づいて、ユーザの視線を示す印を前記表示手段に表示させる、ことを特徴とする画像形成装置。」
【0003】
また、特許文献２には、校正に必要な処理を減らすと共に、高い精度で視線入力処理を行うことができる視線入力装置が記載されている。特許文献２の段落（００６２）では、「入力操作者Ｍが注視している点の座標（ｐ，ｑ）がディスプレイ１０７の右側の所定領域にある場合は、入力操作者Ｍが右を見ていると判定し、入力操作者Ｍが注視している点の座標（ｐ，ｑ）がディスプレイ１０７の左側の所定領域にある場合は、入力操作者Ｍが左を見ていると判定する」旨説明されている。
【0004】
しかしながら、携帯電子端末、パーソナルコンピュータ、画像形成装置、又は据え置き式のゲーム機などのコンピュータにおいて、ユーザーが実際に見ている注視点を認識し、当該注視点を示すポインターなどを表示部に表示する場合には、下記の問題が生じていた。
注視点を認識する視線認識技術は、コンピュータとユーザーとの相対位置（上下左右やコンピュータとユーザーとの距離）の変化、ユーザーの顔の向きの変化、実際にユーザーが注視している点を厳密に検出することの困難さ、などの各種の要因を受けて、正確な注視点の認識が困難であった。この点、現実のユーザーの注視点とコンピュータが検出した注視点との間にずれが存在する場合、現実のユーザーの注視点からずれた位置に注視点を示すポインターなどが表示されることとなる。この場合、ユーザーの視線によりコンピュータなどを操作する際に、ユーザーの視線からずれた位置に表示されたポインターなどが現実のユーザーの注視点の動きに追従するように動作することとなり、極めて操作が困難であるという問題が生じていた。
またこのような現実の注視点とコンピュータが検出した注視点との間のズレは、キャリブレーションされるまで継続することから、視線認識技術を用いたコンピュータなどの操作は極めて不便であった。
特に、コンピュータとユーザーとの相対位置（上下左右やコンピュータとユーザーとの距離）の変化、ユーザーの顔の向きの変化といったズレを引き起こす要因は、ユーザーの動作により生ずるものであり、完全に排除することができず、視線認識技術において特に解決が困難な課題であった。
注視点を認識する視線認識技術は、コンピュータとユーザーとの相対位置（上下左右やコンピュータとユーザーとの距離）の変化、ユーザーの顔の向きの変化、実際にユーザーが注視している点を厳密に検出することの困難さ、などの各種の要因を受けて、正確な注視点の認識が困難であった。この点、現実のユーザーの注視点とコンピュータが検出した注視点との間にずれが存在する場合、現実のユーザーの注視点からずれた位置に注視点を示すポインターなどが表示されることとなる。この場合、ユーザーの視線によりコンピュータなどを操作する際に、ユーザーの視線からずれた位置に表示されたポインターなどが現実のユーザーの注視点の動きに追従するように動作することとなり、極めて操作が困難であるという問題が生じていた。
またこのような現実の注視点とコンピュータが検出した注視点との間のズレは、キャリブレーションされるまで継続することから、視線認識技術を用いたコンピュータなどの操作は極めて不便であった。
特に、コンピュータとユーザーとの相対位置（上下左右やコンピュータとユーザーとの距離）の変化、ユーザーの顔の向きの変化といったズレを引き起こす要因は、ユーザーの動作により生ずるものであり、完全に排除することができず、視線認識技術において特に解決が困難な課題であった。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０―１１９０９３号公報
【特許文献2】特開２００９―５４１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで本発明は、注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる情報処理システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
そこで、上記課題を解決する手段として本発明に係る情報処理システムは、コンピュータを用いて、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行う情報処理システムであって、過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段と、認識された方向情報の入力に基づいて、当初選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段と、を含み、前記基準眼球位置は、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新されることを特徴とする。
【0008】
また、前記入力認識手段は、前記基準眼球位置から前記入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する処理を反復して繰り返すこととしてもよい。
【0009】
またさらに、反復してユーザーの眼球位置を取得する眼球位置取得手段を含み、現在よりも所定時間前の時点での眼球位置が前記基準眼球位置となるように、前記基準眼球位置を動的に繰り返し更新する更新処理と、前記基準眼球位置から前記入力眼球位置への眼球の移動方向を検出する検出処理と、検出した移動方向を、方向情報の入力として認識する認識処理と、を行うこととしてもよい。
【0010】
また、前記入力認識手段は、前記基準眼球位置から前記入力眼球位置への眼球の移動における移動量が所定の閾値以上となった場合に方向情報の入力を認識することとしてもよい。
【0011】
また、前記閾値は、ユーザーの固視微動による眼球位置のばらつきの程度に基づいて設定されることとしてもよい。
【0012】
また、前記ＧＵＩ処理手段は、前記入力認識手段による方向情報の入力の認識から所定時間経過後に、前記第二のＧＵＩ要素に応じた処理を行うよう構成されており、さらに、前記第二のＧＵＩ要素が表示されている領域に、前記第二のＧＵＩ要素に応じた処理を行うまでの時間を表示する時間表示手段を含み、前記閾値は、ユーザーが前記第二のＧＵＩ要素を視認した際の眼球位置から前記第二のＧＵＩ要素が表示されている領域に表示された時間を視認した際の眼球位置までの眼球の移動によって、方向情報の入力が認識されないように設定されていることとしてもよい。
【0013】
また、前記ＧＵＩ要素に応じた処理は、前記第一のＧＵＩ要素の選択状態から前記第二のＧＵＩ要素の選択状態への遷移であり、前記第二のＧＵＩ要素が選択状態となってから所定の時間が経過したときに、前記第二のＧＵＩ要素の選択状態から他のＧＵＩ要素の選択状態へと遷移していない場合に、前記第二のＧＵＩ要素の選択を確定することとしてもよい。
【0014】
また、前記ＧＵＩ要素に応じた処理は、前記第一のＧＵＩ要素の選択状態から前記第二のＧＵＩ要素の選択状態への遷移であり、前記第二のＧＵＩ要素が選択状態となってから所定の時間方向情報の入力が認識されなかった場合に、前記第二のＧＵＩ要素の選択を確定することとしてもよい。
【0015】
また、前記ＧＵＩ要素は、行方向及び列方向のうち少なくとも一方に沿って、３行×３列以内で並べられていることとしてもよい。
【0016】
また、情報処理システムは、ユーザーの注視点及びユーザーが注視しているＧＵＩ要素の両方を認識しないこととしてもよい。
【0017】
また、上記課題を解決する手段として本発明に係る情報処理方法は、コンピュータを用いて、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を行う情報処理方法であって、過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識ステップと、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理ステップと、を含み、前記基準眼球位置は、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新されることを特徴とする。
【0018】
また、上記課題を解決する手段として本発明に係る情報処理プログラムは、コンピュータに、ユーザーの眼球運動による方向情報の入力を認識し所定のＧＵＩ要素に応じた処理を実行させるための情報処理プログラムであって、過去に取得されたユーザーの眼球位置を基準となる基準眼球位置とし、該基準眼球位置の取得の後に取得されるユーザーの眼球位置を入力眼球位置として、該基準眼球位置から該入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識処理と、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理と、前記基準眼球位置を、取得されるユーザーの眼球位置に基づいて動的に繰り返し更新する更新処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【0019】
本発明によれば、注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる情報処理システム、情報処理方法、及び情報処理プログラムを提供することができる。
【図面の簡単な説明】
【0020】
【図1】実施形態において一例を示す情報処理システムの概略概念図である。（Ａ）は本実施形態に係る情報処理システムをユーザーＵが利用する場面の一例を示す図であり、（Ｂ）は本実施形態に係る情報処理システムにおける方向情報の入力の概念を示す図である。
【図2】実施形態における一例を示す情報処理システムのハードウェア構成図である。
【図3】実施形態における一例を示す情報処理システムの機能連関図である。
【図4】実施形態における一例を示す情報処理システムのフロー図である。
【図5】実施形態における一例を示す情報処理システムのフレーム処理の概要図である。
【図6】実施形態における一例を示す情報処理システムのＧＵＩ処理の画面図である。（Ａ）は行方向及び列方向に沿って表示されたＧＵＩ要素に対する処理の一例を示す図であり、（Ｂ）は列方向に沿って表示されたＧＵＩ要素に対する処理の一例を示す図であり、（Ｃ）は行方向及び列方向に沿って表示されたＧＵＩ要素としてのキーボードＫに対する処理の一例を示す図である。
【図7】その他の実施形態における一例を示す会話支援システムのフロー図である。
【図8】その他の実施形態における一例を示す会話支援システムの画面図である。
【発明を実施するための形態】
【0021】
以下、本発明に係る実施の形態を、図を参照しながら詳しく説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0022】
また、本実施形態において説明する事項は、いずれも本発明の実施形態の一例を示したものであり、本発明の技術的範囲はこれに限定されるものではない。本実施形態におけるシステムの語は、一のコンピュータを用いて実現するものに限定されるものではなく、相互に情報通信が行われる複数のコンピュータを用いて実現するものも含む。本実施形態において説明する情報処理システム、情報処理方法、情報処理プログラム、及び情報処理装置は、いずれもその分散及び集中の態様は適宜変更可能なものであり、本実施形態において説明するものに限定されるものではない。
【0023】
本実施形態においては、情報処理システムが１台の情報処理装置１によって実現される例を説明する。しかしながら、情報処理システムは、複数の情報処理装置が通信を行うことで協働して特定の情報処理を行う、いわゆるクライアント・サーバ・システムなどによって実現することとしてもよい。
【0024】
（実施形態の概要）
図１は、本実施形態において一例を示す情報処理システムの概略概念図である。
一例として、情報処理システムは、図１（Ａ）で示すように、情報処理装置１をユーザーＵが利用することで、ユーザーＵの眼球運動により方向情報の入力を認識することができる。情報処理システムは、情報処理装置１が認識した方向情報の入力により、所定のＧＵＩ要素に応じた処理を行う。
図１は、本実施形態において一例を示す情報処理システムの概略概念図である。
一例として、情報処理システムは、図１（Ａ）で示すように、情報処理装置１をユーザーＵが利用することで、ユーザーＵの眼球運動により方向情報の入力を認識することができる。情報処理システムは、情報処理装置１が認識した方向情報の入力により、所定のＧＵＩ要素に応じた処理を行う。
【0025】
なお、ＧＵＩ要素は、表示部３０に表示される表示要素であり、選択処理、実行処理、その他の情報処理に関するものである。ＧＵＩ要素は、方向情報の入力に応じて単に選択状態となるものであってもよく、方向情報の入力により所定の情報処理を行うものであってもよく、方向情報の入力により選択状態となると共に所定の情報処理を行うものであってもよい。すなわち、ＧＵＩ要素としては、方向情報の入力をトリガーとして選択処理、実行処理等の所定の処理を実行し得るものであれば種々の表示要素を採用することができる。以下、ＧＵＩ要素の一例を挙げると、方向情報の入力に応じて単に選択状態となるものとしては、例えば、複数並んだ選択可能なアイコン、カード、文字要素、イラスト等、ラジオボタン、チェックボックス、ドロップダウンリスト等のリスト、キーボード等を想定することができる。また、方向情報の入力により所定の情報処理を行うものとしては、例えば、写真等のスライドショーにおける次の写真の表示、電子書籍のページにおける次のページの表示等を行うものを想定することができる。また、方向情報の入力により選択状態となると共に所定の情報処理を行うものとしては、例えば、音楽や動画の再生リストにおけるコンテンツの選択と共に再生処理等を行うものを想定することができる。
【0026】
また、眼球位置は、ユーザーＵの眼球における瞳孔の中央部分である。また、眼球の中心と眼球位置との法線方向がユーザーＵの視線の方向となる。眼球位置αは、例えば、眼球の中心からの距離である動径座標rと、鉛直方向のz軸と動径がなす角度座標θと、z軸と垂直な平面にある別の軸であるx軸と動径の該平面への射影がなす角度座標φとにより表す眼球座標系(r,θ,φ)とにより表すことができる。ここで、動径座標rは眼球の中心から瞳孔の中央部分までの距離が常に一定であることから省略してα＝（θ,φ）としてもよい。
また、眼球位置は、カメラ等の撮像手段により取得される画像のＸＹ平面に投影された座標によって表してもよい。この場合にあっては、目Ｅの任意の一点を原点とする画像座標系（x,y）によって眼球位置を表してもよく、目Ｅの任意の一点を原点として、原点から眼球位置αまでの距離である動径座標rと、原点を通る所定の軸xと動径がなす角度座標δとにより画像座標系（r,δ）として表してもよい。すなわち、眼球位置は、ユーザーＵの視線の方向を表すこととなるユーザーＵの瞳孔の中央部分の位置を特定するものであれば、物理的な眼球自体に定義される眼球座標系で表してもよく、眼球を含む画像等に定義される画像座標系で表してもよい。
また、眼球位置は、カメラ等の撮像手段により取得される画像のＸＹ平面に投影された座標によって表してもよい。この場合にあっては、目Ｅの任意の一点を原点とする画像座標系（x,y）によって眼球位置を表してもよく、目Ｅの任意の一点を原点として、原点から眼球位置αまでの距離である動径座標rと、原点を通る所定の軸xと動径がなす角度座標δとにより画像座標系（r,δ）として表してもよい。すなわち、眼球位置は、ユーザーＵの視線の方向を表すこととなるユーザーＵの瞳孔の中央部分の位置を特定するものであれば、物理的な眼球自体に定義される眼球座標系で表してもよく、眼球を含む画像等に定義される画像座標系で表してもよい。
【0027】
図１（Ａ）に示すように、情報処理装置１を利用するユーザーＵは、ユーザーＵの眼球位置を認識することができる位置に情報処理装置１をセットする。ユーザーＵの眼球位置を認識することができる位置としては、ユーザーＵの顔面が情報処理装置１と対向する正面となる位置に情報処理装置１をセットすることが好ましい。しかしながら、ユーザーＵの顔面と情報処理装置１との位置は、情報処理装置１によってユーザーＵの眼球位置を取得することができるものであれば、ユーザーＵの顔面と情報処理装置１とが斜めの位置関係となってもよい。
【0028】
なお、図１（Ａ）においては情報処理装置１としてタブレット型の端末を示している。しかしながら、情報処理システムを実現する情報処理装置はこれに限定されるものではない。例えば、情報処理システムは、スマートフォン、フューチャーフォン、ラップトップパソコン、デスクトップパソコン、テレビ、モニター、印刷機、ゲーム機、券売機、ＡＴＭ、情報処理機能付き眼鏡等のウェアラブルデバイス、若しくは各種機器の操作パネルなど、様々なコンピュータを用いて実現することができる。
【0029】
図１（Ｂ）は、本実施形態が説明する眼球運動による方向情報の入力を説明する概念図である。縦に並んだ、左端の眼球の列は左の方向情報の入力を表し、真ん中の眼球の列は上の方向情報の入力を表し、右端の眼球の列は右の方向情報の入力を表している。
横に並んだ、一行目は基準眼球位置を表し、二行目は入力眼球位置を表し、三行目は方向入力により入力される方向情報を表している。ここで、基準眼球位置は過去に取得されたユーザーＵの眼球位置を、入力眼球位置は基準眼球位置の取得の後に取得されるユーザーＵの眼球位置をそれぞれ表している。
横に並んだ、一行目は基準眼球位置を表し、二行目は入力眼球位置を表し、三行目は方向入力により入力される方向情報を表している。ここで、基準眼球位置は過去に取得されたユーザーＵの眼球位置を、入力眼球位置は基準眼球位置の取得の後に取得されるユーザーＵの眼球位置をそれぞれ表している。
【0030】
図１（Ｂ）の左端の眼球の列に示すように、眼球運動による方向情報の入力は、基準とされた基準眼球位置から左（すなわちユーザーＵの顔面と対向する情報処理装置１を基準として、情報処理装置１から向かって右）に、眼球が移動したときに左の方向情報の入力があったものと認識する。同様に図１（Ｂ）の真ん中の眼球の列に示すように、眼球運動による方向情報の入力は、基準眼球位置から上（すなわちユーザーＵの顔面と対向する情報処理装置１を基準として情報処理装置１から向かって上）に、眼球が移動したときに上の方向情報の入力があったものと認識する。また同様に図１（Ｂ）の右端の眼球列に示すように、眼球運動による方向情報の入力は、基準眼球位置から右（すなわちユーザーＵの顔面と対向する情報処理装置１を基準として、情報処理装置１から向かって左）に眼球が移動したときに右の方向情報の入力があったものと認識する。
すなわち、本実施形態における方向情報の入力は、眼球の移動方向に起因するものである。具体的には、過去に取得されたユーザーＵの眼球位置を基準となる基準眼球位置とし、基準眼球位置の取得の後に取得されるユーザーＵの眼球位置を入力眼球位置として、基準眼球位置から入力眼球位置への眼球の移動方向に基づいて、方向情報の入力が認識される。
すなわち、本実施形態における方向情報の入力は、眼球の移動方向に起因するものである。具体的には、過去に取得されたユーザーＵの眼球位置を基準となる基準眼球位置とし、基準眼球位置の取得の後に取得されるユーザーＵの眼球位置を入力眼球位置として、基準眼球位置から入力眼球位置への眼球の移動方向に基づいて、方向情報の入力が認識される。
【0031】
また、図１（Ｂ）では、眼球位置が上段左端、下段左端、上段真ん中、下段真ん中、上段右端、下段右端と順次変化するように図示している。
そして、基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新される。例えば図１（Ｂ）において上段真ん中の基準眼球位置は、過去に取得されたユーザーＵの眼球位置である下段左端の入力眼球位置に基づいて更新された基準眼球位置である。また例えば図１（Ｂ）において上段右端の基準眼球位置は、過去に取得されたユーザーＵの眼球位置である下段真ん中の入力眼球位置に基づいて更新された基準眼球位置である。なお、基準眼球位置は、必ずしも過去に入力眼球位置として用いた眼球位置が基準眼球位置となるように眼球位置を更新しなければならないものではない。例えば、所定のフレームレートで繰り返し取得される眼球位置のうち、方向情報の入力の認識を行う時点でのフレームから所定フレーム前の眼球位置を基準眼球位置とする、方向情報の入力の認識を行う時点から所定時間前の時点における眼球位置を基準眼球位置とする、などの所定のルールに基づいて、基準眼球位置を設定することとしてもよい。
そして、基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新される。例えば図１（Ｂ）において上段真ん中の基準眼球位置は、過去に取得されたユーザーＵの眼球位置である下段左端の入力眼球位置に基づいて更新された基準眼球位置である。また例えば図１（Ｂ）において上段右端の基準眼球位置は、過去に取得されたユーザーＵの眼球位置である下段真ん中の入力眼球位置に基づいて更新された基準眼球位置である。なお、基準眼球位置は、必ずしも過去に入力眼球位置として用いた眼球位置が基準眼球位置となるように眼球位置を更新しなければならないものではない。例えば、所定のフレームレートで繰り返し取得される眼球位置のうち、方向情報の入力の認識を行う時点でのフレームから所定フレーム前の眼球位置を基準眼球位置とする、方向情報の入力の認識を行う時点から所定時間前の時点における眼球位置を基準眼球位置とする、などの所定のルールに基づいて、基準眼球位置を設定することとしてもよい。
【0032】
また、情報処理装置１は、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。このようなＧＵＩ要素及びＧＵＩ処理としては、後述する各種の態様を採用することができる。
【0033】
また、第一のＧＵＩ要素と第二のＧＵＩ要素との区別は記載の便宜のためのものである。当初選択状態となっているＧＵＩ要素を第一のＧＵＩ要素とし、これの隣であって入力を受けた方向に存在するＧＵＩ要素を第二のＧＵＩ要素としている。
なお、当初選択状態となっている第一のＧＵＩ要素は、ＧＵＩ処理手段１６０が処理の対象とする第二のＧＵＩ要素を特定するための起点となる。換言すると、第二のＧＵＩ要素を特定するための起点は、当初選択状態となっている第一のＧＵＩ要素である。このような起点となる第一のＧＵＩ要素としては、方向情報の入力を受けた際に現在選択状態となっているＧＵＩ要素を採用することとしてもよく、過去の所定の時点において選択状態となっているＧＵＩ要素を採用することとしてもよい。
すなわち、第一のＧＵＩ要素として現在選択状態となっているＧＵＩ要素を採用することとした場合には、ＧＵＩ処理を行うタイミングに応じて現在選択状態となっているＧＵＩ要素が異なる場合があり、表示部３０に複数表示されたＧＵＩ要素の中から第二のＧＵＩ要素を特定するための起点を適宜変更することが可能となる。
一方で、第一のＧＵＩ要素として過去の所定の時点において選択状態となっているＧＵＩ要素を採用することとした場合には、ＧＵＩ処理を行うタイミングに応じて第二のＧＵＩ要素を特定するための起点を変更することなく、一貫した起点から第二ＧＵＩ要素に応じた処理を行うことが可能となる。
なお、当初選択状態となっている第一のＧＵＩ要素は、ＧＵＩ処理手段１６０が処理の対象とする第二のＧＵＩ要素を特定するための起点となる。換言すると、第二のＧＵＩ要素を特定するための起点は、当初選択状態となっている第一のＧＵＩ要素である。このような起点となる第一のＧＵＩ要素としては、方向情報の入力を受けた際に現在選択状態となっているＧＵＩ要素を採用することとしてもよく、過去の所定の時点において選択状態となっているＧＵＩ要素を採用することとしてもよい。
すなわち、第一のＧＵＩ要素として現在選択状態となっているＧＵＩ要素を採用することとした場合には、ＧＵＩ処理を行うタイミングに応じて現在選択状態となっているＧＵＩ要素が異なる場合があり、表示部３０に複数表示されたＧＵＩ要素の中から第二のＧＵＩ要素を特定するための起点を適宜変更することが可能となる。
一方で、第一のＧＵＩ要素として過去の所定の時点において選択状態となっているＧＵＩ要素を採用することとした場合には、ＧＵＩ処理を行うタイミングに応じて第二のＧＵＩ要素を特定するための起点を変更することなく、一貫した起点から第二ＧＵＩ要素に応じた処理を行うことが可能となる。
【0034】
以上の技術思想に基づく本実施形態に係る情報処理システムによれば、注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる。
すなわち、ユーザーＵは情報処理装置１などの表示部３０に表示されたＧＵＩ要素を視認するために、適宜眼球を移動させる。これと並行して情報処理装置１は、ユーザーＵの眼球位置を基準眼球位置として取得し、この基準眼球位置を動的に更新する。そして、情報処理装置１は、動的に更新された基準眼球位置から、基準眼球位置の取得の後に取得される入力眼球位置への眼球位置の移動方向により、方向情報の入力を認識する。そして、情報処理装置１は、認識された方向情報に応じて、当初選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。
これによって、表示部３０に表示されたＧＵＩ要素を視認するために行われる眼球移動によって、選択状態となっている第一のＧＵＩ要素の隣に存在する第二のＧＵＩ要素に応じた処理が実行される。このため、ユーザーＵは注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる。
すなわち、ユーザーＵは情報処理装置１などの表示部３０に表示されたＧＵＩ要素を視認するために、適宜眼球を移動させる。これと並行して情報処理装置１は、ユーザーＵの眼球位置を基準眼球位置として取得し、この基準眼球位置を動的に更新する。そして、情報処理装置１は、動的に更新された基準眼球位置から、基準眼球位置の取得の後に取得される入力眼球位置への眼球位置の移動方向により、方向情報の入力を認識する。そして、情報処理装置１は、認識された方向情報に応じて、当初選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。
これによって、表示部３０に表示されたＧＵＩ要素を視認するために行われる眼球移動によって、選択状態となっている第一のＧＵＩ要素の隣に存在する第二のＧＵＩ要素に応じた処理が実行される。このため、ユーザーＵは注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる。
【0035】
本実施形態に係る情報処理システムによれば、ユーザーＵが注視する画面上の点である注視点及び注視しているＧＵＩ要素を情報処理装置１が認識する必要がない。すなわち、本実施形態に係る情報処理システムは、動的に更新される基準眼球位置からの眼球位置の移動の方向を方向情報の入力として認識するため、情報処理装置１がユーザーＵの注視点を認識する必要がない。
このため、ユーザーＵと情報処理装置１との間の相対位置の変化などにより、ユーザーＵが現実に注視している注視点と、情報処理装置１が計算によって算出する注視点がずれることで視線入力の操作性が悪くなるという従来方式による問題点を克服することができる。
以下では、本実施形態に係る情報処理システムを実現する情報処理装置１の一例について、具体的に説明することとする。
このため、ユーザーＵと情報処理装置１との間の相対位置の変化などにより、ユーザーＵが現実に注視している注視点と、情報処理装置１が計算によって算出する注視点がずれることで視線入力の操作性が悪くなるという従来方式による問題点を克服することができる。
以下では、本実施形態に係る情報処理システムを実現する情報処理装置１の一例について、具体的に説明することとする。
【0036】
（実施形態における情報処理装置１のハードウェアの構成）
図２は、実施形態における一例を示す情報処理装置１のハードウェア構成図である。
以下では、本実施形態において情報処理システムを実現する情報処理装置１の、一例としてのハードウェアの構成を説明する。
図２は、実施形態における一例を示す情報処理装置１のハードウェア構成図である。
以下では、本実施形態において情報処理システムを実現する情報処理装置１の、一例としてのハードウェアの構成を説明する。
【0037】
図２に示すように、一例として情報処理装置１は、制御部１０と、記憶部２０を構成する主記憶部２１及び補助記憶部２２と、表示部３０と、眼球位置取得部４０と、を含む。本実施形態における情報処理装置１は、制御部１０と、記憶部２０と、表示部３０と、眼球位置取得部４０とがそれぞれ協働することで、本実施形態に特有の情報処理システムを構成する。
【0038】
制御部１０は、例えば一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置若しくはこれらの組み合わせによって構成することができる。制御部１０は、補助記憶部２２に記憶されたプログラムを読み出し、記憶部２０と協働することで、様々な情報処理若しくは制御処理などの演算処理を行う。
【0039】
主記憶部２１は、例えばＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、キャッシュメモリ、フラッシュメモリ等の一時的な記憶領域若しくはこれらの組み合わせにより構成することができる。主記憶部２１は、制御部１０が様々な演算処理を行うために必要なデータを一時的に記憶する。
【0040】
補助記憶部２２は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性記憶領域若しくはこれらの組み合わせによって構成することができる。補助記憶部２２は、制御部１０が処理を実行するために必要なプログラム及びデータ、その他のプログラムやデータを記憶する。
【0041】
表示部３０は、例えば液晶、有機ＥＬ等のディスプレイ、タッチパネル、プロジェクター等の表示手段１３０若しくはこれらの組み合わせによって構成することができる。表示部３０には、制御部１０の処理によって所定の情報が表示される。特に、表示部３０にはユーザーＵによって視認されるＧＵＩ要素が表示される。
【0042】
眼球位置取得部４０は、例えば情報処理装置１に取り付けられているカメラ、赤外線カメラ、紫外線カメラ等の撮像手段その他のセンサー、ユーザーＵの眼球の近傍に取り付けられて眼球位置を取得する情報処理機能付き眼鏡等のウェアラブルデバイスが有するセンサー等、若しくは、ユーザーＵの身体に取り付けられて、ユーザーＵの眼球近傍の筋電位を測定するセンサー、又はこれらの組み合わせによって構成することができる。眼球位置取得部４０は、制御部１０が処理を行うために必要なユーザーＵの眼球位置等を取得する。なお、眼球位置取得部４０は、単独のハードウェア要素によって眼球位置を取得するセンサー等であってもよく、また、眼球が含まれる像を撮像するカメラ等と、制御部１０によって実行される眼球位置を算出するプログラムとの組み合わせによるものであってもよい。
なお、本実施形態においては、眼球位置取得部４０をカメラと眼球位置を算出するプログラムとの組み合わせにより構成することとしているが、眼球位置取得部４０は情報処理装置１と物理的に独立した、ユーザーＵの身体に対して装着されるセンサーであってもよい。
なお、本実施形態においては、眼球位置取得部４０をカメラと眼球位置を算出するプログラムとの組み合わせにより構成することとしているが、眼球位置取得部４０は情報処理装置１と物理的に独立した、ユーザーＵの身体に対して装着されるセンサーであってもよい。
【0043】
（実施形態における情報処理装置１の各機能とその連関性）
図３は、本実施形態における一例としての情報処理システムを実現する情報処理装置１の機能連関図である。手段として表されたここに示す各機能要素は、情報処理装置１のハードウェア要素がそれぞれ協働することにより実現されるものである。
具体的には、情報処理システムは、情報処理装置１の各種ハードウェア要素によって、制御手段１１０と、表示手段１３０と、記憶手段１２０と、入力認識手段１４０と、基準更新手段１５０と、ＧＵＩ処理手段１６０とが構成されている。
図３は、本実施形態における一例としての情報処理システムを実現する情報処理装置１の機能連関図である。手段として表されたここに示す各機能要素は、情報処理装置１のハードウェア要素がそれぞれ協働することにより実現されるものである。
具体的には、情報処理システムは、情報処理装置１の各種ハードウェア要素によって、制御手段１１０と、表示手段１３０と、記憶手段１２０と、入力認識手段１４０と、基準更新手段１５０と、ＧＵＩ処理手段１６０とが構成されている。
【0044】
制御手段１１０は、例えば、制御部１０と、補助記憶部２２から読み出される制御プログラムその他のプログラムにより構成される。制御手段１１０は、本実施形態に係る情報処理装置１における様々な情報処理若しくは制御処理などの演算処理を行う。
【0045】
表示手段１３０は、例えば、表示部３０と、制御部１０と、補助記憶部２２から読み出されるプログラム及び表示用データとにより構成される。本実施形態においては、表示手段１３０は複数のＧＵＩ要素を表示する。選択中のＧＵＩ要素をユーザーＵが把握できるように、現在選択状態となっているＧＵＩ要素に対して所定の判別手段を設けることが好ましい。このような判別手段としては、例えば他のＧＵＩ要素との明度若しくは色彩の差をつける、選択中であることを示す所定のマークを表示する、選択中のＧＵＩ要素を枠で囲む、等の手段を採用することができる。
【0046】
記憶手段１２０は、例えば、主記憶部２１及び補助記憶部２２と、これらを制御する制御部１０とにより構成される。本実施形態においては、記憶手段１２０は、基準眼球位置及び入力眼球位置を含む眼球位置と、閾値と、選択中ＧＵＩ要素と、表示用データとを記憶する。
【0047】
ここで、記憶手段１２０に記憶された各情報を説明する。
眼球位置は、眼球位置取得手段１４１により取得された眼球位置の情報である。眼球位置は前述のとおりカメラ座標系に基づく座標情報として記憶されている。
基準眼球位置は、所定の時点における眼球位置であり、方向情報の入力を認識する時点からみた過去に取得されたユーザーＵの眼球位置である。基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新される。
入力眼球位置は、基準眼球位置の取得の後に取得されるユーザーＵの眼球位置である。
閾値は、方向情報の入力を行うか否かを決定するために用いられ、眼球位置の移動量と比較される値である。閾値は、情報処理装置１の処理により適宜更新されてもよく、予め設定された値であってもよい。
選択中ＧＵＩ要素は、表示部３０に表示されるＧＵＩ要素のうち、現在選択中となっているＧＵＩ要素示す情報である。選択中のＧＵＩ要素が更新された場合には、選択中ＧＵＩ要素が示す情報も更新される。
表示用データは、表示部３０に表示される画面のコンテンツデータである。
眼球位置は、眼球位置取得手段１４１により取得された眼球位置の情報である。眼球位置は前述のとおりカメラ座標系に基づく座標情報として記憶されている。
基準眼球位置は、所定の時点における眼球位置であり、方向情報の入力を認識する時点からみた過去に取得されたユーザーＵの眼球位置である。基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新される。
入力眼球位置は、基準眼球位置の取得の後に取得されるユーザーＵの眼球位置である。
閾値は、方向情報の入力を行うか否かを決定するために用いられ、眼球位置の移動量と比較される値である。閾値は、情報処理装置１の処理により適宜更新されてもよく、予め設定された値であってもよい。
選択中ＧＵＩ要素は、表示部３０に表示されるＧＵＩ要素のうち、現在選択中となっているＧＵＩ要素示す情報である。選択中のＧＵＩ要素が更新された場合には、選択中ＧＵＩ要素が示す情報も更新される。
表示用データは、表示部３０に表示される画面のコンテンツデータである。
【0048】
入力認識手段１４０は、例えば、眼球位置取得手段１４１、移動方向検出手段１４２、及び移動量算出手段１４３を含むことが好ましい。入力認識手段１４０は、例えば、眼球位置取得部４０と、制御部１０と、補助記憶部２２から読み出されるプログラムとにより構成される。入力認識手段１４０は、眼球位置取得手段１４１及び移動方向検出手段１４２によって、ユーザーＵの眼球位置の取得と、眼球の移動方向の検出を行うことで、ユーザーＵによる方向情報の入力を認識し、ＧＵＩ処理手段１６０に対してＧＵＩ処理を行うための処理命令を送信する。
なお、本実施形態においては一例として移動量算出手段１４３を含むことで、ユーザーＵの眼球の移動における移動量を用いた好適な方向情報の入力の認識を可能とする。
なお、本実施形態においては一例として移動量算出手段１４３を含むことで、ユーザーＵの眼球の移動における移動量を用いた好適な方向情報の入力の認識を可能とする。
【0049】
眼球位置取得手段１４１は、例えば、眼球位置取得部４０によって構成される。眼球位置取得手段１４１は、表示部３０を視認しているユーザーＵの眼球位置を取得する。そして、眼球位置取得手段１４１は、ユーザーＵの眼球位置を取得して、取得された眼球位置を記憶手段１２０に記憶させる。
また、眼球位置取得手段１４１は、反復してユーザーＵの眼球位置を取得することが好ましい。特に眼球位置取得手段１４１は、所定のフレーム毎に繰り返して眼球位置を取得することが好ましい。
本実施形態においては、眼球位置取得手段１４１により取得される眼球位置は、眼球が投影されたＸＹ平面画像に定義された画像座標系により表す。しかしながら、例えば、眼球位置は眼球の近傍に取り付けられるセンサー等により取得されたユーザーＵの物理的な眼球自体に定義された眼球座標系によって表すこととしてもよい。
また、眼球位置取得手段１４１は、反復してユーザーＵの眼球位置を取得することが好ましい。特に眼球位置取得手段１４１は、所定のフレーム毎に繰り返して眼球位置を取得することが好ましい。
本実施形態においては、眼球位置取得手段１４１により取得される眼球位置は、眼球が投影されたＸＹ平面画像に定義された画像座標系により表す。しかしながら、例えば、眼球位置は眼球の近傍に取り付けられるセンサー等により取得されたユーザーＵの物理的な眼球自体に定義された眼球座標系によって表すこととしてもよい。
【0050】
なお、眼球位置取得手段１４１により取得された眼球位置は、記憶手段１２０によって主記憶部２１若しくは補助記憶部２２に記憶される。そして、制御部１０等が実行するプログラムによって、所定の眼球位置を基準眼球位置として設定する。その後、制御部１０等が実行するプログラムによって、基準眼球位置の取得の後に眼球位置取得手段１４１により取得されたユーザーＵの眼球位置が入力眼球位置として設定される。
【0051】
移動方向検出手段１４２は、例えば、制御部１０、及び主記憶部２１により構成される。移動方向検出手段１４２は、記憶手段１２０により記憶された基準眼球位置及び入力眼球位置を読み出して、基準眼球位置から入力眼球位置への眼球の移動方向を検出する。移動方向の検出にあたっては、例えば基準眼球位置における座標と入力眼球位置における座標とを比較することで、移動方向を検出することができる。一例として、本実施形態においては、上下左右の４方向の眼球の移動方向を検出する。
また、移動方向検出手段１４２は、新たな眼球位置の取得に応じて、当該新たな眼球位置を記憶部２０への記憶することなくそのまま入力眼球位置とし、過去に取得された基準眼球位置と比較することで、眼球の移動方向を検出することとしてもよい。
なお、移動方向としては、上下左右の４方向に限定されるものではなく、例えば、上下左右の４方向に右上、右下、左上、及び左下を加えた８方向の移動方向を検出することとしてもよく、また、これ以上の移動方向を検出することとしてもよい。同様に、上下、若しくは左右といった２方向等のより少ない移動方向を検出することとしてもよい。このような移動方向は、表示部３０に表示されるＧＵＩ要素の配置との関係で設定されることが好ましい。
また、移動方向検出手段１４２は、新たな眼球位置の取得に応じて、当該新たな眼球位置を記憶部２０への記憶することなくそのまま入力眼球位置とし、過去に取得された基準眼球位置と比較することで、眼球の移動方向を検出することとしてもよい。
なお、移動方向としては、上下左右の４方向に限定されるものではなく、例えば、上下左右の４方向に右上、右下、左上、及び左下を加えた８方向の移動方向を検出することとしてもよく、また、これ以上の移動方向を検出することとしてもよい。同様に、上下、若しくは左右といった２方向等のより少ない移動方向を検出することとしてもよい。このような移動方向は、表示部３０に表示されるＧＵＩ要素の配置との関係で設定されることが好ましい。
【0052】
移動量算出手段１４３は、例えば、制御部１０、及び主記憶部２１により構成される。移動量算出手段１４３は、基準眼球位置から入力眼球位置への眼球の移動における移動量を算出し、当該移動量が主記憶部２１に記憶された所定の閾値以上となるか否かを判定する。そして、基準眼球位置から入力眼球位置への眼球の移動における移動量が所定の閾値以上となった場合に方向情報の入力を認識して、ＧＵＩ処理手段１６０に対してＧＵＩ処理を行うための処理命令を送信する。
なお、情報処理システムにおいて、閾値及び移動量算出手段１４３を含まない構成とした場合にあっても、移動方向検出手段１４２が基準眼球位置から入力眼球位置への眼球の移動方向を検出して、これをユーザーＵの眼球運動による方向情報の入力として認識し、ＧＵＩ処理手段１６０に対してＧＵＩ処理を行うための処理命令を送信することで、本実施形態に係る情報処理システムを機能させることができる。
なお、情報処理システムにおいて、閾値及び移動量算出手段１４３を含まない構成とした場合にあっても、移動方向検出手段１４２が基準眼球位置から入力眼球位置への眼球の移動方向を検出して、これをユーザーＵの眼球運動による方向情報の入力として認識し、ＧＵＩ処理手段１６０に対してＧＵＩ処理を行うための処理命令を送信することで、本実施形態に係る情報処理システムを機能させることができる。
【0053】
基準更新手段１５０は、例えば、制御部１０、及び記憶部２０により構成される。基準更新手段１５０は、主記憶部２１若しくは補助記憶部２２に記憶された基準眼球位置を、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新する。本実施形態においては、眼球位置取得手段１４１が反復してユーザーＵの眼球位置を取得し、これに応じて基準更新手段１５０が基準眼球位置を動的に繰り返し更新する。
なお、基準更新手段１５０は、記憶部２０に基準眼球位置を記憶する領域を予め割り当て、これを動的に繰り返し更新することとしてもよく、眼球の移動方向を検出する際に過去に取得された眼球位置を読み出すことで、基準眼球位置を動的に繰り返し更新することとしてもよい。
なお、基準更新手段１５０は、記憶部２０に基準眼球位置を記憶する領域を予め割り当て、これを動的に繰り返し更新することとしてもよく、眼球の移動方向を検出する際に過去に取得された眼球位置を読み出すことで、基準眼球位置を動的に繰り返し更新することとしてもよい。
【0054】
ＧＵＩ処理手段１６０は、例えば制御部１０、及び記憶部２０により構成される。認識された方向情報が含まれるＧＵＩ処理を行うための処理命令を入力認識手段１４０から受信することで、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。
このようなＧＵＩ処理としては、例えば所定のＧＵＩ要素の選択処理、実行処理、選択と共に行われる実行処理等の各種情報処理を想定することができる。具体的な例を挙げると、方向情報の入力に基づいて、選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素を選択する処理、方向情報の入力に基づいて、選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素を実行する実行処理、方向情報の入力に基づいて、選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素を選択すると共に所定の情報処理を行うものなどを想定することができる。すなわち、ＧＵＩ処理は、情報処理として一般にコンピュータの方向キーの入力、タッチパネルのフリック、などによって行われている方向情報を必要とする各種の処理を含むものである。ＧＵＩ処理の一例を挙げると、方向情報の入力に基づいて選択処理を行うものとしては、例えば、複数並んだ選択可能なアイコン、カード、文字要素、イラスト等、ラジオボタン、チェックボックス、ドロップダウンリスト等のリスト、キーボード等の所定のＧＵＩ要素の選択を想定することができる。また、方向情報の入力に基づいて実行処理を行うものとしては、例えば、写真等のスライドショーにおける次の写真の表示処理、電子書籍のページにおける次のページの表示処理等を想定することができる。また、方向情報の入力に基づいて選択処理と共に所定の情報処理を行うものとしては、例えば、音楽や動画の再生リストにおけるコンテンツの選択処理と共に再生処理等を行うものを想定することができる。またさらに、第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素が、表示部３０に表示されていない状態において、画面をスクロール等により切り替えて第二のＧＵＩ要素を表示すると共に第二のＧＵＩ要素を選択する処理を行うこととしてもよい。
このようなＧＵＩ処理としては、例えば所定のＧＵＩ要素の選択処理、実行処理、選択と共に行われる実行処理等の各種情報処理を想定することができる。具体的な例を挙げると、方向情報の入力に基づいて、選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素を選択する処理、方向情報の入力に基づいて、選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素を実行する実行処理、方向情報の入力に基づいて、選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素を選択すると共に所定の情報処理を行うものなどを想定することができる。すなわち、ＧＵＩ処理は、情報処理として一般にコンピュータの方向キーの入力、タッチパネルのフリック、などによって行われている方向情報を必要とする各種の処理を含むものである。ＧＵＩ処理の一例を挙げると、方向情報の入力に基づいて選択処理を行うものとしては、例えば、複数並んだ選択可能なアイコン、カード、文字要素、イラスト等、ラジオボタン、チェックボックス、ドロップダウンリスト等のリスト、キーボード等の所定のＧＵＩ要素の選択を想定することができる。また、方向情報の入力に基づいて実行処理を行うものとしては、例えば、写真等のスライドショーにおける次の写真の表示処理、電子書籍のページにおける次のページの表示処理等を想定することができる。また、方向情報の入力に基づいて選択処理と共に所定の情報処理を行うものとしては、例えば、音楽や動画の再生リストにおけるコンテンツの選択処理と共に再生処理等を行うものを想定することができる。またさらに、第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素が、表示部３０に表示されていない状態において、画面をスクロール等により切り替えて第二のＧＵＩ要素を表示すると共に第二のＧＵＩ要素を選択する処理を行うこととしてもよい。
【0055】
（実施形態における情報処理装置１の処理のフロー）
次に、図４を参照しながら、本実施形態に係る情報処理システムの処理フローを説明する。図４は、実施形態における一例を示す情報処理システムのフロー図である。
次に、図４を参照しながら、本実施形態に係る情報処理システムの処理フローを説明する。図４は、実施形態における一例を示す情報処理システムのフロー図である。
【0056】
眼球位置の取得ステップＳ１は、眼球位置取得手段１４１がユーザーＵの眼球位置を取得するステップである。眼球位置の取得ステップＳ１では、情報処理装置１が備えるカメラ等の眼球位置取得部４０が眼球を含む画像を撮像し、当該画像から眼球位置の座標を取得する。眼球位置の座標は、記憶手段１２０により主記憶部２１若しくは補助記憶部２２に記憶される。
【0057】
移動方向検出の要否判断ステップＳ２は、移動方向検出の要否を判断する。移動方向検出の要否判断ステップＳ２においては、移動方向の検出が必要であると判断した場合には基準眼球位置の照会ステップＳ３に進み、移動方向の検出が必要でないと判断した場合には眼球位置の取得ステップＳ１に戻る。このような例として例えば、図５で示すように所定のフレームレートで眼球位置を取得し、所定フレーム毎に眼球の移動方向を検出する場合が存在する。
また、移動方向検出の要否判断ステップＳ２については、例えばカウンター等を用いることで構成することができる。すなわち、移動方向検出の要否判断ステップＳ２において、移動方向の検出を不要と判断した回数カウンターを加算し、カウンターが所定の数になった際に移動方向の検出を必要と判断することができる。
また、移動方向検出の要否判断ステップＳ２については、例えばカウンター等を用いることで構成することができる。すなわち、移動方向検出の要否判断ステップＳ２において、移動方向の検出を不要と判断した回数カウンターを加算し、カウンターが所定の数になった際に移動方向の検出を必要と判断することができる。
【0058】
基準眼球位置の照会ステップＳ３は、主記憶部２１若しくは補助記憶部２２に記憶されている基準眼球位置を照会する。
なお、基準眼球位置の照会に際しては、キャッシュやメモリ上に基準眼球位置を記憶する領域を確保し、一定間隔毎に基準眼球位置を更新すると共に、基準眼球位置が照会されるタイミングで、当該記憶領域から基準眼球位置を読み出すことが好ましい。
しかしながら、基準眼球位置の照会にあたっては、所定時間の間に取得された複数の眼球位置を記憶部２０に記憶しておき、基準眼球位置の照会を行うタイミングで、一定時間前の眼球位置又は所定フレーム前の眼球位置を記憶部２０から取得することで基準眼球位置を動的に繰り返し更新することとしてもよい。
なお、基準眼球位置の照会に際しては、キャッシュやメモリ上に基準眼球位置を記憶する領域を確保し、一定間隔毎に基準眼球位置を更新すると共に、基準眼球位置が照会されるタイミングで、当該記憶領域から基準眼球位置を読み出すことが好ましい。
しかしながら、基準眼球位置の照会にあたっては、所定時間の間に取得された複数の眼球位置を記憶部２０に記憶しておき、基準眼球位置の照会を行うタイミングで、一定時間前の眼球位置又は所定フレーム前の眼球位置を記憶部２０から取得することで基準眼球位置を動的に繰り返し更新することとしてもよい。
【0059】
照会される基準眼球位置としては、例えば入力眼球位置の取得の０．１秒～０．４秒前の基準眼球位置を照会することが好ましい。しかしながら、基準眼球位置の取得された時間はこれに限定されるものではない。
一例として、一秒間に６０回眼球位置を取得するフレームレート６０ｆｐｓにおいて、入力眼球位置の取得時点から０．２５秒前に相当する１５フレーム前の眼球位置を基準眼球位置として読み出す。これにより、入力眼球位置を取得し、移動方向を検出するたびに、基準眼球位置が１５フレーム前のものに更新され、好適な眼球の移動方向の検出を行うことができる。
一例として、一秒間に６０回眼球位置を取得するフレームレート６０ｆｐｓにおいて、入力眼球位置の取得時点から０．２５秒前に相当する１５フレーム前の眼球位置を基準眼球位置として読み出す。これにより、入力眼球位置を取得し、移動方向を検出するたびに、基準眼球位置が１５フレーム前のものに更新され、好適な眼球の移動方向の検出を行うことができる。
【0060】
移動方向の検出ステップＳ４は、基準眼球位置となる眼球位置の取得の後に取得されるユーザーＵの眼球位置を入力眼球位置として、基準眼球位置から入力眼球位置への眼球の移動方向を検出する。例えば、入力眼球位置は現在又は直近に取得されたユーザーＵの眼球位置であることが好ましい。
一例として、本実施形態においては、現在又は直近に取得されたユーザーＵの眼球位置を入力眼球位置とし、入力眼球位置の取得時点のフレームから所定フレーム前の眼球位置を基準眼球位置として設定する。そして、設定された基準眼球位置と設定された入力眼球位置とを比較することで、基準眼球位置から入力眼球位置への眼球の移動方向を検出する。
一例として、本実施形態においては、現在又は直近に取得されたユーザーＵの眼球位置を入力眼球位置とし、入力眼球位置の取得時点のフレームから所定フレーム前の眼球位置を基準眼球位置として設定する。そして、設定された基準眼球位置と設定された入力眼球位置とを比較することで、基準眼球位置から入力眼球位置への眼球の移動方向を検出する。
【0061】
一例として、フレーム処理の流れを図５に基づいて説明する。図５は、実施形態における一例を示す情報処理システムのフレーム処理の概要図である。
図５は、右方向に向かうにつれて時間Ｔが経過している。横方向に並んで立ち上がるパルスは、所定のフレームレートで眼球位置を取得する眼球位置取得手段１４１の処理のタイミングを表している。黒色で塗りつぶされたパルスは、眼球位置取得手段１４１により取得された眼球位置のうち入力眼球位置となるものを表している。ハッチングが付されたパルスは、基準眼球位置の照会ステップＳ３で照会されて基準眼球位置となる、入力眼球位置よりも５フレーム前の段階における眼球位置を表している。
移動方向検出ステップでは、例えば、所定の間隔で入力眼球位置を取得し、当該入力眼球位置よりも所定フレーム前の時点における眼球位置を照会することで、基準眼球位置を動的に繰り返し更新する。そして、更新された基準眼球位置から入力眼球位置への眼球の移動方向に基づいて、移動方向を検出することができる。
またさらに例えば、入力眼球位置を取得する処理を所定の間隔毎に繰り返すことで、入力眼球位置及び基準眼球位置を動的に繰り返し更新しながら、繰り返し方向情報の入力及びＧＵＩ処理を行うことが可能となる。
図５は、右方向に向かうにつれて時間Ｔが経過している。横方向に並んで立ち上がるパルスは、所定のフレームレートで眼球位置を取得する眼球位置取得手段１４１の処理のタイミングを表している。黒色で塗りつぶされたパルスは、眼球位置取得手段１４１により取得された眼球位置のうち入力眼球位置となるものを表している。ハッチングが付されたパルスは、基準眼球位置の照会ステップＳ３で照会されて基準眼球位置となる、入力眼球位置よりも５フレーム前の段階における眼球位置を表している。
移動方向検出ステップでは、例えば、所定の間隔で入力眼球位置を取得し、当該入力眼球位置よりも所定フレーム前の時点における眼球位置を照会することで、基準眼球位置を動的に繰り返し更新する。そして、更新された基準眼球位置から入力眼球位置への眼球の移動方向に基づいて、移動方向を検出することができる。
またさらに例えば、入力眼球位置を取得する処理を所定の間隔毎に繰り返すことで、入力眼球位置及び基準眼球位置を動的に繰り返し更新しながら、繰り返し方向情報の入力及びＧＵＩ処理を行うことが可能となる。
【0062】
方向情報の入力認識ステップＳ５は、移動方向の検出ステップＳ４により検出された眼球の移動方向に基づいて、ユーザーＵによる方向情報の入力を認識する。
方向情報の入力認識ステップＳ５は、基準眼球位置の座標と入力眼球位置の座標との間の差異に係る眼球の移動方向に基づいて方向情報の入力を認識することができる。
方向情報の入力認識ステップＳ５は、基準眼球位置の座標と入力眼球位置の座標との間の差異に係る眼球の移動方向に基づいて方向情報の入力を認識することができる。
【0063】
なお一例として、方向情報の入力の認識にあたっては、基準眼球位置から入力眼球位置への眼球の移動量を取得し、当該移動量が記憶部２０に記憶された所定の閾値以上となった場合に方向情報の入力を認識することが好ましい。すなわち、眼球位置の認識精度、ユーザーＵの顔面と情報処理装置１との相対的位置関係、ユーザーＵの眼球の固視微動等によって、取得される眼球位置の値はわずかに変化することがある。基準眼球位置から入力眼球位置への眼球の移動における移動量が所定の閾値以上となった場合に方向情報の入力を認識することとすれば、これらの方向情報の入力を意図していない眼球位置の変化によって方向情報の入力が認識されないようにすることができる。
また、一例として、閾値はユーザーＵの固視微動による眼球位置のばらつきの程度に基づいて設定されることが好ましい。すなわち、ユーザーＵの固視微動による眼球位置のばらつきの程度に基づいて閾値を設定した場合には、固視微動による眼球移動の移動量が閾値を下回ることため、ユーザーＵの固視微動によっては方向情報の入力を認識しない。このため、ユーザーＵの意識的な眼球移動の場合にのみ方向情報の入力を認識することができ、方向情報の入力操作がより便利なものとなる。
ここで、閾値は一定の値をあらかじめ設定しておくこととしてもよく、ユーザーＵの過去に取得された複数の眼球位置のデータに基づいて、ユーザーＵの固視微動における眼球の移動量の標準偏差を算出し、当該標準偏差に基づいて固視微動の一部によっては方向情報の入力を認識しないように閾値を設定してもよい。このような標準偏差による閾値の設定については、例えば、生産管理等における信頼区間の算出方法を利用することができ、標準偏差をσとした場合における平均値+σを閾値とした場合には約68.3%の固視微動を方向情報の入力として認識しないこととなり、平均値+2σを閾値とした場合には約95.4%の固視微動を方向情報の入力として認識しないこととなる。
また、一例として、閾値はユーザーＵの固視微動による眼球位置のばらつきの程度に基づいて設定されることが好ましい。すなわち、ユーザーＵの固視微動による眼球位置のばらつきの程度に基づいて閾値を設定した場合には、固視微動による眼球移動の移動量が閾値を下回ることため、ユーザーＵの固視微動によっては方向情報の入力を認識しない。このため、ユーザーＵの意識的な眼球移動の場合にのみ方向情報の入力を認識することができ、方向情報の入力操作がより便利なものとなる。
ここで、閾値は一定の値をあらかじめ設定しておくこととしてもよく、ユーザーＵの過去に取得された複数の眼球位置のデータに基づいて、ユーザーＵの固視微動における眼球の移動量の標準偏差を算出し、当該標準偏差に基づいて固視微動の一部によっては方向情報の入力を認識しないように閾値を設定してもよい。このような標準偏差による閾値の設定については、例えば、生産管理等における信頼区間の算出方法を利用することができ、標準偏差をσとした場合における平均値+σを閾値とした場合には約68.3%の固視微動を方向情報の入力として認識しないこととなり、平均値+2σを閾値とした場合には約95.4%の固視微動を方向情報の入力として認識しないこととなる。
【0064】
ＧＵＩ処理ステップＳ６は、方向情報の入力認識ステップＳ５により認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。
ＧＵＩ処理としてはすでに説明したとおり、例えば所定のＧＵＩ要素の選択処理、実行処理、選択と共に行われる実行処理等の各種情報処理を想定することができる。
ＧＵＩ処理としてはすでに説明したとおり、例えば所定のＧＵＩ要素の選択処理、実行処理、選択と共に行われる実行処理等の各種情報処理を想定することができる。
【0065】
【0066】
図６（Ａ）は、選択可能なＧＵＩ要素として画面上に３行×２列のカードＣが配置された図である。ハッチングを設けたカードＣが現在選択状態となっている第一のＧＵＩ要素である。ここで、左側の情報処理装置１では左上のカードＣが選択状態となっている第一のＧＵＩ要素である。そして、右方向の方向情報の入力を認識した場合、右側の情報処理装置１のとおり、ＧＵＩ処理手段１６０は、破線で表された左上のカードＣの隣であって右側に存在する右上のカードＣを第二のＧＵＩ要素として選択する。そして、右側の情報処理装置１の図においては、新たに右上のカードＣが現在選択状態となっていることから、右上のカードＣを第一のＧＵＩ要素として取り扱う。なお、このような縦横方向に設けた複数のＧＵＩ要素については、３行×３列以内で設置することが好ましい。すなわち、３行×３列以内であれば、２回以下の回数の方向情報の入力の認識により、左右のうち一方の端から他方の端へ、又は上下のうち一方の端から他方の端へと選択状態を移動することができ、ユーザーＵの操作が簡便である。また、このような方向情報の入力の認識に係る方向は、縦方向及び横方向の選択状態のＧＵＩ要素からみた４方向に限られるものではなく、例えば斜め等の方向情報の入力を認識することとしてもよい。
【0067】
図６（Ｂ）は、選択可能なＧＵＩ要素として画面上に縦に５つのラジオボタンＲが配置された図である。実線の矩形によって囲われたラジオボタンＲが現在選択状態となっている第一のＧＵＩ要素である。ここで、左側の情報処理装置１では最も上の「犬」のラジオボタンＲが選択状態となっている第一のＧＵＩ要素である。そして、下方向の方向情報の入力を認識した場合、真ん中の情報処理装置１のとおり、ＧＵＩ処理手段１６０は破線で囲われた「犬」のラジオボタンＲの隣であって下側に存在する「猫」のラジオボタンＲを第二のＧＵＩ要素として選択する。そして真ん中の情報処理装置１の図においては、新たに「猫」のラジオボタンＲが現在選択状態となっていることから、「猫」のラジオボタンＲを第一のＧＵＩ要素として取り扱う。さらに、ＧＵＩ要素がラジオボタンＲである場合には、選択状態となっているＧＵＩ要素について確定処理を行う必要がある。確定処理としては、例えば所定の時間ユーザーＵが「猫」のラジオボタンＲを注視することにより、所定の時間方向情報の入力が認識されない場合に確定処理を行い、左側の情報処理装置１のように「猫」のラジオボタンＲに中黒（・）を表示させることができる。またこの他確定処理として、第二のＧＵＩ要素であった「猫」のラジオボタンＲが選択状態となってから所定の時間が経過したときに、「猫」のラジオボタンＲの選択状態から他のＧＵＩ要素の選択状態へと遷移していない場合に、「猫」のラジオボタンＲに中黒を表示させることができる。この他にも、例えばまばたきと区別し得る意識的な閉眼を確定処理として取り扱うことができる。
【0068】
図６（Ｃ）は、選択可能なＧＵＩ要素として画面上にキーボードＫが配置された図である。情報処理装置１において黒色に塗られたキーが現在選択状態となっている第一のＧＵＩ要素である。ここで、左側の情報処理装置１では「Ｉ」のキーが選択状態となっている第一のＧＵＩ要素である。そして左方向の方向情報の入力を認識した場合、右側の情報処理装置１のとおり、ＧＵＩ処理手段１６０はハッチングが施された「Ｉ」のキーの隣であって左側に存在する「Ｕ」のキーを第二のＧＵＩ要素として選択する。そして左側の情報処理装置１の図においては、新たに「Ｕ」のキーが現在選択状態となっていることから「Ｕ」のキーを第一のＧＵＩ要素として取り扱う。また、既に説明した図６（Ｂ）のラジオボタンＲの場合と同様に、キーボードＫの場合はキーの入力を行うための確定処理を行うことが好ましい。
なお、既に述べた通りＧＵＩ処理はここで述べた代表的な選択処理に限定されるものではなく、その他の各種情報処理を含むものである。
なお、既に述べた通りＧＵＩ処理はここで述べた代表的な選択処理に限定されるものではなく、その他の各種情報処理を含むものである。
【0069】
処理終了の判断ステップＳ７は、方向情報の入力の認識及びＧＵＩ処理等の処理を終了するか否かを判断する。処理を終了すると判断する場合としては、例えば本実施形態に係る方向情報の入力及びＧＵＩ処理が完了した場合が想定され、具体的には本実施形態に係る発明を利用するアプリケーションの終了等を想定することができる。一方で、処理を終了しないと判断した場合としては、例えばさらに続けて本実施形態に係る方向情報の入力及びＧＵＩ処理を行う場合が想定され、具体的には本実施形態に係る発明を利用するアプリケーションが続けて継続的に利用される場合等を想定することができる。
【0070】
なお例えば、図４におけるフローを複数回ループして継続して処理を終了しないと判断する場合には、入力認識手段１４０が、基準眼球位置から入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する処理を繰り返すこととなる。またこの場合には、基準眼球位置及び入力眼球位置が動的に繰り返し更新されることとなる。
このため、ＧＵＩ処理が例えば選択を伴う処理である場合には、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた選択処理を行うことで第二のＧＵＩ要素が選択状態となり、次のループ処理では第二のＧＵＩ要素であったものが現在選択状態となっている第一のＧＵＩ要素として取り扱われることとなる。このため、順次選択される第二のＧＵＩ要素が次のループで第一のＧＵＩ要素として取り扱われることで、表示部３０に複数表示されたＧＵＩ要素を走査するように、選択していくことが可能となる。
一方で、ＧＵＩ処理が例えば選択処理を伴わない処理である場合には、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行い、次のループ処理では再度同一のＧＵＩ要素を第一のＧＵＩ要素として取り扱うこととなる。このため、第一のＧＵＩ要素の隣に存在する一又は複数のＧＵＩ要素について、入力された方向情報に合致するＧＵＩ処理を行うことができると共に、所望により同一の方向の情報を複数回入力することで、複数回同じＧＵＩ処理を行うことができる。
このため、ＧＵＩ処理が例えば選択を伴う処理である場合には、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた選択処理を行うことで第二のＧＵＩ要素が選択状態となり、次のループ処理では第二のＧＵＩ要素であったものが現在選択状態となっている第一のＧＵＩ要素として取り扱われることとなる。このため、順次選択される第二のＧＵＩ要素が次のループで第一のＧＵＩ要素として取り扱われることで、表示部３０に複数表示されたＧＵＩ要素を走査するように、選択していくことが可能となる。
一方で、ＧＵＩ処理が例えば選択処理を伴わない処理である場合には、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行い、次のループ処理では再度同一のＧＵＩ要素を第一のＧＵＩ要素として取り扱うこととなる。このため、第一のＧＵＩ要素の隣に存在する一又は複数のＧＵＩ要素について、入力された方向情報に合致するＧＵＩ処理を行うことができると共に、所望により同一の方向の情報を複数回入力することで、複数回同じＧＵＩ処理を行うことができる。
【0071】
（実施形態における情報処理装置１の作用及び機能）
本実施形態に係る情報処理システムは、過去に取得されたユーザーＵの眼球位置を基準となる基準眼球位置とし、基準眼球位置の取得の後に取得されるユーザーＵの眼球位置を入力眼球位置として、基準眼球位置から入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段１４０と、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段１６０と、を含んで構成されている。さらに、基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新されることとされている。
このため、ユーザーＵが表示部３０に表示されたＧＵＩ要素を視認するために適宜眼球を移動させることに伴って、ユーザーＵの眼球位置の移動による方向情報の入力を認識し、ＧＵＩ処理を行うことが可能である。より具体的には、ユーザーＵの眼球位置の移動と並行して、情報処理システムは、ユーザーＵの眼球位置を基準眼球位置として取得し、この基準眼球位置を動的に更新する。そして情報処理システムは、動的に更新された基準眼球位置から、基準眼球位置の取得の後に取得される入力眼球位置への眼球位置の移動を検出し、眼球位置の移動方向に基づく方向情報の入力を認識する。そして、情報処理装置１は、認識された方向情報に応じて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。
これによって、表示部３０に表示されたＧＵＩ要素を視認するために行われる眼球移動によって、選択状態となっている第一のＧＵＩ要素の隣に存在する第二のＧＵＩ要素に応じた処理が実行される。このため、ユーザーＵは注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる。
本実施形態に係る情報処理システムは、過去に取得されたユーザーＵの眼球位置を基準となる基準眼球位置とし、基準眼球位置の取得の後に取得されるユーザーＵの眼球位置を入力眼球位置として、基準眼球位置から入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する入力認識手段１４０と、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うＧＵＩ処理手段１６０と、を含んで構成されている。さらに、基準眼球位置は、取得されるユーザーＵの眼球位置に基づいて動的に繰り返し更新されることとされている。
このため、ユーザーＵが表示部３０に表示されたＧＵＩ要素を視認するために適宜眼球を移動させることに伴って、ユーザーＵの眼球位置の移動による方向情報の入力を認識し、ＧＵＩ処理を行うことが可能である。より具体的には、ユーザーＵの眼球位置の移動と並行して、情報処理システムは、ユーザーＵの眼球位置を基準眼球位置として取得し、この基準眼球位置を動的に更新する。そして情報処理システムは、動的に更新された基準眼球位置から、基準眼球位置の取得の後に取得される入力眼球位置への眼球位置の移動を検出し、眼球位置の移動方向に基づく方向情報の入力を認識する。そして、情報処理装置１は、認識された方向情報に応じて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行う。
これによって、表示部３０に表示されたＧＵＩ要素を視認するために行われる眼球移動によって、選択状態となっている第一のＧＵＩ要素の隣に存在する第二のＧＵＩ要素に応じた処理が実行される。このため、ユーザーＵは注視点のズレを気にすることなくＧＵＩ要素の操作を行うことができる。
【0072】
また、繰り返し更新される基準眼球位置を基礎として方向情報の入力を認識することから、注視点を常時認識して画面上にポインターを表示する従来の方式と比べ、顔面とコンピュータとの相対位置のズレやユーザーＵの顔の向きの変化等の影響を抑制し、ユーザーＵによる現実の注視点とコンピュータが認識した注視点とのキャリブレーション処理を必要とせず、入力精度の高い眼球位置の移動による方向情報の入力が可能な情報処理システムを提供することができる。
【0073】
本実施形態に係る情報処理システムの入力認識手段１４０は、基準眼球位置から入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識する処理を反復して繰り返すこととしてもよい。
この場合、ＧＵＩ処理が例えば選択を伴う処理であれば、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた選択処理を行うことで第二のＧＵＩ要素が選択状態となり、その後繰り返して方向情報の入力を認識する処理を行う際には、第二のＧＵＩ要素であったものが現在選択状態となっている第一のＧＵＩ要素として取り扱われることとなる。このため、順次選択される第二のＧＵＩ要素が次のループで第一のＧＵＩ要素として取り扱われることで、表示部３０に複数表示されたＧＵＩ要素を走査するように、選択していくことが可能となる。
一方で、ＧＵＩ処理が例えば選択処理を伴わない処理である場合には、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行い、次のループ処理では再度同一のＧＵＩ要素を第一のＧＵＩ要素として取り扱うこととなる。このため、第一のＧＵＩ要素の隣に存在する一又は複数のＧＵＩ要素について、入力された方向情報に合致するＧＵＩ処理を行うことができると共に、所望により同一の方向の情報を複数回入力することで、複数回同じＧＵＩ処理を行うことができる。
これにより、現在選択状態となっている第一のＧＵＩ要素の隣に存在する第二のＧＵＩ要素に応じた処理を実行した後に、さらに追加的な方向情報の入力及び入力された方向情報に応じたＧＵＩ処理を反復して行うことができる。このため、ユーザーＵにとってより実用性の高い情報処理システムを提供することができる。
この場合、ＧＵＩ処理が例えば選択を伴う処理であれば、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた選択処理を行うことで第二のＧＵＩ要素が選択状態となり、その後繰り返して方向情報の入力を認識する処理を行う際には、第二のＧＵＩ要素であったものが現在選択状態となっている第一のＧＵＩ要素として取り扱われることとなる。このため、順次選択される第二のＧＵＩ要素が次のループで第一のＧＵＩ要素として取り扱われることで、表示部３０に複数表示されたＧＵＩ要素を走査するように、選択していくことが可能となる。
一方で、ＧＵＩ処理が例えば選択処理を伴わない処理である場合には、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行い、次のループ処理では再度同一のＧＵＩ要素を第一のＧＵＩ要素として取り扱うこととなる。このため、第一のＧＵＩ要素の隣に存在する一又は複数のＧＵＩ要素について、入力された方向情報に合致するＧＵＩ処理を行うことができると共に、所望により同一の方向の情報を複数回入力することで、複数回同じＧＵＩ処理を行うことができる。
これにより、現在選択状態となっている第一のＧＵＩ要素の隣に存在する第二のＧＵＩ要素に応じた処理を実行した後に、さらに追加的な方向情報の入力及び入力された方向情報に応じたＧＵＩ処理を反復して行うことができる。このため、ユーザーＵにとってより実用性の高い情報処理システムを提供することができる。
【0074】
本実施形態に係る情報処理システムは、入力認識手段１４０が、基準眼球位置から入力眼球位置への眼球の移動における移動量が所定の閾値以上となった場合に方向情報の入力を認識することとしてもよい。
この場合、閾値を適宜設定することで、所望により基準眼球位置から入力眼球位置への眼球位置の移動の距離が小さい場合には、方向情報の入力を認識しないこととすることができる。
このため、例えば閾値をユーザーＵの固視微動による眼球位置のばらつきの程度に基づいて設定した場合には、ユーザーＵの固視微動により方向情報の入力を誤認識することを抑制することができる。また例えば、画面に表示されるＧＵＩ要素の大きさが大きい場合には閾値を大きくし、ＧＵＩ要素の大きさが小さい場合には閾値を小さくすることができる。この場合、ユーザーＵが所定のＧＵＩ要素を継続して視認しているにもかかわらず、注視点が僅かにズレ動くことにより、方向情報の入力があったものと誤認識して、隣接するＧＵＩ要素に応じた処理が行われることを抑制することができる。
この場合、閾値を適宜設定することで、所望により基準眼球位置から入力眼球位置への眼球位置の移動の距離が小さい場合には、方向情報の入力を認識しないこととすることができる。
このため、例えば閾値をユーザーＵの固視微動による眼球位置のばらつきの程度に基づいて設定した場合には、ユーザーＵの固視微動により方向情報の入力を誤認識することを抑制することができる。また例えば、画面に表示されるＧＵＩ要素の大きさが大きい場合には閾値を大きくし、ＧＵＩ要素の大きさが小さい場合には閾値を小さくすることができる。この場合、ユーザーＵが所定のＧＵＩ要素を継続して視認しているにもかかわらず、注視点が僅かにズレ動くことにより、方向情報の入力があったものと誤認識して、隣接するＧＵＩ要素に応じた処理が行われることを抑制することができる。
【0075】
本実施形態に係る情報処理システムは、ＧＵＩ要素に応じた処理が、第一のＧＵＩ要素の選択状態から第二のＧＵＩ要素の選択状態への遷移であり、第二のＧＵＩ要素が選択状態となってから所定の時間が経過したときに、第二のＧＵＩ要素の選択状態から他のＧＵＩ要素の選択状態へと遷移していない場合に、第二のＧＵＩ要素の選択を確定することとすることができる。
また本実施形態に係る情報処理システムは、ＧＵＩ要素に応じた処理が、第一のＧＵＩ要素の選択状態から第二のＧＵＩ要素の選択状態への遷移であり、第二のＧＵＩ要素が選択状態となってから所定の時間方向情報の入力が認識されなかった場合に、第二のＧＵＩ要素の選択を確定することとすることができる。
この場合には、第二のＧＵＩ要素を選択してから第二のＧＵＩ要素の選択を確定するまでに、所定の時間の間隔が生じることとなる。
このため誤って方向情報の入力が認識されることで所定のＧＵＩ要素が選択状態となった場合にあっても、元のＧＵＩ要素の方向に眼球位置を移動させることで、誤認識により選択状態となった所定のＧＵＩ要素を実行することなく、元のＧＵＩ要素の選択状態へと戻ることができる。
また本実施形態に係る情報処理システムは、ＧＵＩ要素に応じた処理が、第一のＧＵＩ要素の選択状態から第二のＧＵＩ要素の選択状態への遷移であり、第二のＧＵＩ要素が選択状態となってから所定の時間方向情報の入力が認識されなかった場合に、第二のＧＵＩ要素の選択を確定することとすることができる。
この場合には、第二のＧＵＩ要素を選択してから第二のＧＵＩ要素の選択を確定するまでに、所定の時間の間隔が生じることとなる。
このため誤って方向情報の入力が認識されることで所定のＧＵＩ要素が選択状態となった場合にあっても、元のＧＵＩ要素の方向に眼球位置を移動させることで、誤認識により選択状態となった所定のＧＵＩ要素を実行することなく、元のＧＵＩ要素の選択状態へと戻ることができる。
【0076】
本実施形態に係る情報処理システムは、ＧＵＩ要素が、行方向及び列方向のうち少なくとも一方に沿って、３行×３列以内で並べられていることとしてもよい。
この場合、２回以下の回数の方向情報の入力により、左右のうち一方の端から他方の端へ、又は上下のうち一方の端から他方の端へと選択状態を移動することができ、ユーザーＵの操作が簡便である。
この場合、２回以下の回数の方向情報の入力により、左右のうち一方の端から他方の端へ、又は上下のうち一方の端から他方の端へと選択状態を移動することができ、ユーザーＵの操作が簡便である。
【0077】
本実施形態に係る情報処理システムは、ユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素の両方を認識しないこととしてもよい。
すなわち、本実施形態に係る情報処理システムは、基準眼球位置から入力眼球位置への眼球位置の移動により方向情報の入力を認識することから、ユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素を認識することなくコンピュータの操作を可能とするものである。
また、ユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素の両方を認識しないこととした場合、簡易に構成することができ、且つユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素のいずれかにコンピュータによる認識結果とのズレが生じる事態を防止することができる。
すなわち、本実施形態に係る情報処理システムは、基準眼球位置から入力眼球位置への眼球位置の移動により方向情報の入力を認識することから、ユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素を認識することなくコンピュータの操作を可能とするものである。
また、ユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素の両方を認識しないこととした場合、簡易に構成することができ、且つユーザーＵの注視点及びユーザーＵが注視しているＧＵＩ要素のいずれかにコンピュータによる認識結果とのズレが生じる事態を防止することができる。
【0078】
方向情報の検出のタイミングで用いられる基準眼球位置が、入力眼球位置が取得された時点よりも一定時間前の時点での眼球位置となるように、基準眼球位置を動的に繰り返し更新することができる。
この場合、常に方向情報の検出に用いられる基準眼球位置の取得のタイミングと入力眼球位置の取得のタイミングとの間の間隔が一定となる。
これにより、ユーザーＵは基準眼球位置の取得タイミングと入力眼球位置の取得のタイミングとの間の間隔に慣れることで、より快適に眼球位置の移動による方向情報の入力を行うことが可能となる。
この場合、常に方向情報の検出に用いられる基準眼球位置の取得のタイミングと入力眼球位置の取得のタイミングとの間の間隔が一定となる。
これにより、ユーザーＵは基準眼球位置の取得タイミングと入力眼球位置の取得のタイミングとの間の間隔に慣れることで、より快適に眼球位置の移動による方向情報の入力を行うことが可能となる。
【0079】
また、基準眼球位置の取得の時点から入力眼球位置の取得の時点までの間隔は１秒以下であることが好ましく、０．１秒から０．４秒であることがより好ましい。
基準眼球位置から入力眼球位置の取得の時点までの間隔がこの程度である場合には、人間の眼球の移動が行われる速度に合致し、眼球位置の移動の開始時点における眼球位置を基準眼球位置とし、眼球位置の移動の終了時点における眼球位置を入力眼球位置として好適に眼球位置の移動を検出することがより確実となる。
基準眼球位置から入力眼球位置の取得の時点までの間隔がこの程度である場合には、人間の眼球の移動が行われる速度に合致し、眼球位置の移動の開始時点における眼球位置を基準眼球位置とし、眼球位置の移動の終了時点における眼球位置を入力眼球位置として好適に眼球位置の移動を検出することがより確実となる。
【0080】
また、情報処理システムは、瞬きの検出手段を設けることが好ましい。例えばこのような瞬きの検出手段としては、眼球位置取得部４０により撮像された画像に対して、画像認識等を行うことで瞬きを検出することとしてもよく、また、眼球位置の取得ステップＳ１で取得される眼球位置の値から瞬きを検出することとしてもよい。瞬きと同時に取得される眼球位置の値は、通常の眼球位置の移動量と比較して顕著に大きい値を示すことが多い。このため、瞬き検出用の所定の閾値を設け、当該閾値を超える眼球の移動量が算出された場合には、瞬きによる異常値であるとして、方向情報の入力の認識をしないこととすることができる。
【0081】
（他の実施形態）
次に、他の実施形態として、既に説明した情報処理システムを実現する情報処理装置１を利用した会話支援システムの一例について説明する。すでに説明した構成については同一の符号を付すことにより説明を省略する。
次に、他の実施形態として、既に説明した情報処理システムを実現する情報処理装置１を利用した会話支援システムの一例について説明する。すでに説明した構成については同一の符号を付すことにより説明を省略する。
【0082】
一例として示す他の実施形態に係る会話支援システムは、ユーザーＵが選択するＧＵＩ要素に応じて、当該ＧＵＩ要素に対応する音声を出力することで、ユーザーＵが会話を行うことを望む者に対してユーザーＵの意図を伝えるものである。
【0083】
例えば、ＡＬＳ（筋萎縮性側索硬化症）や筋ジストロフィーといった疾患では、発話が困難となった場合においても、眼球運動が可能な場合が多い。このため、一例として示す他の実施形態に係る会話支援システムを利用することで、発話が困難な場合であっても、ユーザーＵが会話を行うことを望む者に対してユーザーＵの意図を伝えることが可能となる。
【0084】
一例として情報処理装置１は、制御部１０と、記憶部２０を構成する主記憶部２１及び補助記憶部２２と、表示部３０と、眼球位置取得部４０と、音声出力部とを含む。本実施形態における情報処理装置１は、制御部１０と、記憶部２０と、表示部３０と、眼球位置取得部４０と、音声出力部とがそれぞれ協働することで、他の実施形態に特有の会話支援システムを構成する。
【0085】
音声出力部は、内蔵若しくは外付けのスピーカー、イヤホン、若しくはヘッドホン等の音声出力装置、若しくはこれらの組み合わせにより構成することができる。音声出力部としては、ユーザーＵが会話を行うことを望む者に対して音声を認識させるものであれば、種々の態様を採用することができる。例えば、情報処理装置１が音を発するものであってもよく、ユーザーＵが会話を行うことを望む者が使用しているイヤホン等に対して信号を送信することで、当該無線イヤホンが音を発するように命令する等の各種態様を採用することができる。音声出力部は、情報処理装置１を使用するユーザーＵが選択したＧＵＩ要素に応じた音声を出力することで、ユーザーＵが会話を行うことを望む者に対して当該音声を認識させる。
【0086】
一例として示す他の実施形態における会話支援システムを実現する情報処理装置１は、その機能単位として、制御手段１１０と、表示手段１３０と、記憶手段１２０と、入力認識手段１４０と、基準更新手段１５０と、ＧＵＩ処理手段１６０と、時間表示手段とを含む。
【0087】
記憶手段１２０は、基準眼球位置及び入力眼球位置を含む眼球位置、閾値、選択中ＧＵＩ要素、及び表示用データを記憶する。
【0088】
一例として示す他の実施形態における表示用データとしては、図８に示すようにカードＣを画面に表示するためのコンテンツデータが採用される。すなわち、一例として示す他の実施形態においては、表示部３０に表示されるカードＣがＧＵＩ要素として採用される。一例として示す他の実施形態において、１つのカードＣの表示領域内には、音声出力部により出力させたい内容に対応した文字、イラスト、アイコン、記号、若しくは図形等のメッセージ要素２０１が一対一で対応付けて表示されることが好ましい。なお、記憶手段１２０は、表示用データのそれぞれのメッセージ要素２０１に対応させて、音声出力部により出力させる音声データを記憶する。
【0089】
また、一例として示す他の実施形態においては、図８に示すカードＣの表示領域の大きさに応じて適宜閾値の値を設定することで、方向情報の入力の誤認識を低減することができる。すなわち、スマートフォン等の比較的画面が小さい端末を情報処理装置１として採用することで１つのカードＣの表示されている領域である表示領域が小さくなる場合には、閾値を小さく設定することとなり、タブレット端末、ラップトップパソコン、デスクトップパソコン等の比較的画面が大きい端末を情報処理装置１として採用することでカードＣの表示領域が大きくなる場合には、閾値を大きく設定することとなる。なお、このようなカードＣの表示領域の大きさは、適宜設定可能なカードＣの表示枚数によっても変化することから、カードＣの表示枚数に応じて閾値を設定することとしてもよい。
また、閾値は、ユーザーＵが第二のＧＵＩ要素である所定のカードＣを視認した際の眼球位置から当該カードＣの表示領域内に表示された時間を視認した際の眼球位置までの眼球位置の移動量によって、方向情報の入力が認識されないように設定されることが好ましい。このために閾値は、例えば、ユーザーＵが第二のＧＵＩ要素である所定のカードＣを視認した際の眼球位置から当該カードＣの表示領域内に表示された時間を視認した際の眼球位置までの眼球位置の移動量よりも高く設定される。具体的には例えば、ユーザーＵが注視することとなるカードＣの中央或いはメッセージ要素２０１の位置から時間を表すインジケータ２０２等の位置までの眼球位置の移動量によっては、方向情報の入力を認識しないこととすることが好ましい。
また、閾値は、ユーザーＵが第二のＧＵＩ要素である所定のカードＣを視認した際の眼球位置から当該カードＣの表示領域内に表示された時間を視認した際の眼球位置までの眼球位置の移動量によって、方向情報の入力が認識されないように設定されることが好ましい。このために閾値は、例えば、ユーザーＵが第二のＧＵＩ要素である所定のカードＣを視認した際の眼球位置から当該カードＣの表示領域内に表示された時間を視認した際の眼球位置までの眼球位置の移動量よりも高く設定される。具体的には例えば、ユーザーＵが注視することとなるカードＣの中央或いはメッセージ要素２０１の位置から時間を表すインジケータ２０２等の位置までの眼球位置の移動量によっては、方向情報の入力を認識しないこととすることが好ましい。
【0090】
入力認識手段１４０は、ユーザーＵが第二のＧＵＩ要素であるカードＣを視認した際の眼球位置から第二のＧＵＩ要素が表示されている領域に表示された時間を視認した際の眼球位置までの眼球の移動によって、方向情報の入力を認識しないこととすることが好ましい。
【0091】
ＧＵＩ処理手段１６０は、認識された方向情報が含まれるＧＵＩ処理を行うための処理命令を入力認識手段１４０から受信することで、認識された方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素である所定のカードＣの隣であって入力を受けた方向に存在する第二のＧＵＩ要素である他のカードＣに応じた処理を行う。
ここでは特に、カードＣの選択処理を行うと共に、選択状態となっているカードＣの表示領域内にカードＣの選択を確定するまでの時間を表示してカードＣの選択を確定するまでのタイマーを開始する。そして、タイマーが終了してカードＣの選択を確定した場合には、当該カードＣに含まれるメッセージ要素２０１に対応した音声を音声出力部から出力する。
ここでは特に、カードＣの選択処理を行うと共に、選択状態となっているカードＣの表示領域内にカードＣの選択を確定するまでの時間を表示してカードＣの選択を確定するまでのタイマーを開始する。そして、タイマーが終了してカードＣの選択を確定した場合には、当該カードＣに含まれるメッセージ要素２０１に対応した音声を音声出力部から出力する。
【0092】
時間表示手段は、例えば制御部１０と記憶部２０とを組み合わせることで構成される。時間表示手段は、方向情報の入力の認識に基づいて所定のカードＣが選択状態となった際に、当該カードＣの選択が確定するまでの時間を当該カードＣの表示領域内に表示する。カードＣの表示領域内に表示される時間としては、種々の態様による表示を行うことができる。例えば、カードＣの選択が確定されるまでの時間を、数字をカウントダウンにより表示することとしてもよく、カウントアップにより表示することとしてもよく、また、図８に示すように所定のインジケータ２０２の減少若しくは増加により時間を表示してもよい。
【0093】
次に、図７を参照しながら、一例として示す他の実施形態における処理フローを説明する。
【0094】
他の実施形態における会話支援システムの、眼球位置の取得ステップＳ１、移動方向の検出の要否判断ステップ、基準眼球位置の照会ステップＳ３、移動方向の検出ステップＳ４、及び方向情報の入力認識ステップＳ５は、既に説明した処理と同様に構成される。このため、以下では他の実施形態に特有のステップについて特に説明することとする。
【0095】
方向情報の入力の有無判断ステップＳ８は、方向情報の入力の有無を判断する。方向情報の入力の有無の判断にあたっては、基準眼球位置から入力眼球位置への眼球の移動量が所定の閾値以上となった場合に方向情報の入力が有ったものと判断する。一方で眼球の移動量が所定の閾値を下回った場合に方向情報の入力が無かったものと判断する。方向情報の入力の有無判断ステップＳ８において、方向情報の入力が有ったものと判断された場合は、次のカードの選択ステップＳ９に進み、方向情報の入力が無かったものと判断された場合には、スキップしてタイマー終了の判断ステップＳ１１に進む。
【0096】
カードの選択ステップＳ９は、方向情報の入力認識ステップＳ５で認識された方向情報に基づいて、現在選択状態となっているカードＣの隣であって入力を受けた方向に存在するカードＣを選択する。また選択状態となったカードＣなどのＧＵＩ要素をユーザーＵが容易に認識することができるように、ＧＵＩ要素に対して所定の判別手段を設けることが好ましい。このような判別手段として、一例として、図８に示すように現在選択状態となっているカードＣを周囲のカードＣと比べて大きく表示することとしてもよく、選択中のＧＵＩ要素を円形、矩形等の枠により囲うこととしてもよい。
なお、図８に示すように、現在選択状態となっているカードＣには、方向情報の入力を行うことで次に選択することができるカードＣの方向を示す方向指示要素２０３を表示することとしてもよい。この場合には、カードの選択ステップＳ９でカードＣを選択した後に、さらに異なるカードＣを選択したいと考えた場合に、眼球をどの方向に動かすべきであるかを認識し易くなる。
なお、図８に示すように、現在選択状態となっているカードＣには、方向情報の入力を行うことで次に選択することができるカードＣの方向を示す方向指示要素２０３を表示することとしてもよい。この場合には、カードの選択ステップＳ９でカードＣを選択した後に、さらに異なるカードＣを選択したいと考えた場合に、眼球をどの方向に動かすべきであるかを認識し易くなる。
【0097】
タイマーの開始ステップＳ１０は、カードの選択ステップＳ９でカードＣが選択状態となったことに応じて、現在選択状態となっているカードＣの選択を確定するまでの時間を計測するタイマーを開始する。またこれに合わせて、時間表示手段は、カードＣの選択を確定するまでの時間をユーザーＵが認識することができるように、インジケータ２０２等の時間を表す所定の表示要素を選択中のカードＣの表示領域内に表示する。
【0098】
タイマー終了の判断ステップＳ１１は、タイマーの開始ステップＳ１０で開始されたタイマーが終了したか否か、すなわちカードＣの選択を確定する状態となったか否かを判断する。タイマー終了の判断ステップＳ１１において、タイマーが終了した場合には、次の音声出力ステップＳ１２に進み、タイマーが終了していない場合には、眼球位置の取得ステップＳ１に戻る。
より具体的には、タイマーが終了した場合には、会話支援のために選択が確定されたカードＣのメッセージ要素２０１に対応する音声を出力する。一方で、タイマーが終了していない場合には、眼球位置の取得に戻り、新たに眼球位置の移動を検出し、ユーザーＵが異なるカードＣを選択するか否かの方向情報の入力の認識を繰り返す。ここでループ処理を行うことにより、ユーザーＵが誤ってカードＣを選択した場合或いはユーザーＵがさらに別のカードＣを選択したい場合には、タイマーが終了するまでに異なるカードＣを選ぶために再度方向情報の入力を行うことができる。
より具体的には、タイマーが終了した場合には、会話支援のために選択が確定されたカードＣのメッセージ要素２０１に対応する音声を出力する。一方で、タイマーが終了していない場合には、眼球位置の取得に戻り、新たに眼球位置の移動を検出し、ユーザーＵが異なるカードＣを選択するか否かの方向情報の入力の認識を繰り返す。ここでループ処理を行うことにより、ユーザーＵが誤ってカードＣを選択した場合或いはユーザーＵがさらに別のカードＣを選択したい場合には、タイマーが終了するまでに異なるカードＣを選ぶために再度方向情報の入力を行うことができる。
【0099】
音声出力ステップＳ１２は、選択が確定されたカードＣのメッセージ要素２０１に対応した音声を音声出力部が出力する。これにより、ユーザーＵが会話を行うことを望む者に対して、ユーザーＵの意図を反映したカードＣに対応した音声が伝わり、口頭での会話を行うことなくユーザーＵの意図を伝えることが可能となる。
【0100】
なお、以上で説明した実施形態に係る情報処理システム若しくは会話支援システムの構成及び処理のフローは、実施形態における一例として示したものである。本実施形態に係る情報処理システムは、動的に繰り返し更新される基準眼球位置から基準眼球位置の取得の後に取得される入力眼球位置への眼球の移動方向に基づいて方向情報の入力を認識し、当該方向情報の入力に基づいて、現在選択状態となっている第一のＧＵＩ要素の隣であって入力を受けた方向に存在する第二のＧＵＩ要素に応じた処理を行うものであれば、所望により各種のハードウェア要素及び処理のフローにより実現することができるものである。また、本実施形態に係る情報処理システムは、全ての情報入力を眼球位置の移動により行うことを要するものではない。したがって、眼球位置の移動に基づく方向情報の入力に加えて、マウス、キーボード、タッチパネル等の入力手段による処理を可能とするものであってもよい。
以上では、情報処理システムの例示的な実施形態を示したが、本発明の技術的範囲はこのような実施形態における開示に限定されるものではない。
以上では、情報処理システムの例示的な実施形態を示したが、本発明の技術的範囲はこのような実施形態における開示に限定されるものではない。
【符号の説明】
【0101】
１ 情報処理装置
１０ 制御部
２０ 記憶部
２１ 主記憶部
２２ 補助記憶部
３０ 表示部
４０ 眼球位置取得部
１１０ 制御手段
１２０ 記憶手段
１３０ 表示手段
１４０ 入力認識手段
１４１ 眼球位置取得手段
１４２ 移動方向検出手段
１４３ 移動量算出手段
１５０ 基準更新手段
１６０ ＧＵＩ処理手段
２０１ メッセージ要素
２０２ インジケータ
２０３ 方向指示要素
Ｃ カード
Ｒ ラジオボタン
Ｋ キーボード
Ｕ ユーザー
Ｅ 目
１０ 制御部
２０ 記憶部
２１ 主記憶部
２２ 補助記憶部
３０ 表示部
４０ 眼球位置取得部
１１０ 制御手段
１２０ 記憶手段
１３０ 表示手段
１４０ 入力認識手段
１４１ 眼球位置取得手段
１４２ 移動方向検出手段
１４３ 移動量算出手段
１５０ 基準更新手段
１６０ ＧＵＩ処理手段
２０１ メッセージ要素
２０２ インジケータ
２０３ 方向指示要素
Ｃ カード
Ｒ ラジオボタン
Ｋ キーボード
Ｕ ユーザー
Ｅ 目
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】