特開 2023-124290 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124290

(43)【公開日】2023-09-06

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20230830BHJP

   G06F 3/0488 20220101ALI20230830BHJP

   G06F 3/041 20060101ALI20230830BHJP

【ＦＩ】

G06F3/01 510

G06F3/0488

G06F3/041 580

G06F3/041 534

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022027966

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100140958

【弁理士】

【氏名又は名称】伊藤 学

(74)【代理人】

【識別番号】100137888

【弁理士】

【氏名又は名称】大山 夏子

(74)【代理人】

【識別番号】100190942

【弁理士】

【氏名又は名称】風間 竜司

(72)【発明者】

【氏名】田島 祐貴

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA54

5E555BA01

5E555BB01

5E555BC01

5E555BC07

5E555CA12

5E555CB65

5E555CB76

5E555DA01

5E555DC36

5E555FA00

(57)【要約】

【課題】ユーザの意図しない操作が有効に扱われることを抑制する。
【解決手段】ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得する判定結果取得部と、前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させる制御部と、を備える、情報処理装置。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得する判定結果取得部と、
前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させる制御部と、
を備える、情報処理装置。

【請求項2】

前記制御部は、前記待機モードにおいて、前記ユーザが前記操作領域を見ていることを示す判定結果が第１の時間以上に亘って取得されたことに基づき、動作モードを前記待機モードから前記操作有効モードに遷移させる、請求項１に記載の情報処理装置。

【請求項3】

前記操作領域には表示面が積層されており、
前記制御部は、前記操作有効モードにおいて前記表示面が表示する画面を、前記待機モードにおいて前記表示面が表示する画面よりも明るくさせる、請求項２に記載の情報処理装置。

【請求項4】

前記制御部は、前記操作有効モードにおいて前記ユーザが前記操作領域を見ていないことを示す判定結果が第２の時間以上に亘って取得されたことに基づき、前記操作領域への操作を一時的に有効に扱わない一時停止モードに動作モードを遷移させる、請求項３に記載の情報処理装置。

【請求項5】

前記制御部は、前記一時停止モードにおいて前記ユーザが前記操作領域を見ていることを示す判定結果が第３の時間内に取得されたことに基づき動作モードを前記操作有効モードに遷移させ、前記一時停止モードにおいて前記ユーザが前記操作領域を見ていることを示す判定結果が前記第３の時間内に取得されないことに基づいて動作モードを前記待機モードに遷移させる、請求項４に記載の情報処理装置。

【請求項6】

前記制御部は、前記一時停止モードにおいて、前記第３の時間が経過する前に前記操作領域を見ることを誘導する誘導表示を前記表示面に表示させる、請求項５に記載の情報処理装置。

【請求項7】

前記制御部は、前記操作領域への操作の検出情報を取得する検出情報取得部をさらに備え、
前記制御部は、前記操作有効モードにおいて取得された前記検出情報に応じた動作を制御する、請求項１～６のいずれか一項に記載の情報処理装置。

【請求項8】

前記制御部は、前記待機モードにおいて、前記操作領域に前記ユーザの手による操作を検出する機能を非有効化させる、請求項１～７のいずれか一項に記載の情報処理装置。

【請求項9】

前記操作領域は、操作面を分割して得られる複数の領域のうちの１つの領域である、請求項１～８のいずれか一項に記載の情報処理装置。

【請求項10】

ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得することと、
前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させることと、
を含む、コンピュータにより実行される情報処理方法。

【請求項11】

コンピュータを、
ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得する判定結果取得部と、
前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させる制御部と、
として機能させるための、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

近年、感染症の広がりに伴い、非接触型の操作パネルの需要が高まっている。不特定多数が利用する端末に非接触型の操作パネルが設けられる場合、各利用者が操作パネルに触れずに端末を操作できるので、操作パネルを介した感染のリスクが低減される。例えば特許文献１に開示されているように、視線を用いた操作により非接触を実現する方法も知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－８７８２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、非接触型の操作パネルでは、操作パネルへの操作を意図しない人の手や体の接近が操作として誤検出される恐れがある。

【0005】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの意図しない操作が有効に扱われることを抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある観点によれば、ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得する判定結果取得部と、前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させる制御部と、を備える、情報処理装置が提供される。

【0007】

前記制御部は、前記待機モードにおいて、前記ユーザが前記操作領域を見ていることを示す判定結果が第１の時間以上に亘って取得されたことに基づき、動作モードを前記待機モードから前記操作有効モードに遷移させてもよい。

【0008】

前記操作領域には表示面が積層されており、前記制御部は、前記操作有効モードにおいて前記表示面が表示する画面を、前記待機モードにおいて前記表示面が表示する画面よりも明るくさせてもよい。

【0009】

前記制御部は、前記操作有効モードにおいて前記ユーザが前記操作領域を見ていないことを示す判定結果が第２の時間以上に亘って取得されたことに基づき、前記操作領域への操作を一時的に有効に扱わない一時停止モードに動作モードを遷移させてもよい。

【0010】

前記制御部は、前記一時停止モードにおいて前記ユーザが前記操作領域を見ていることを示す判定結果が第３の時間内に取得されたことに基づき動作モードを前記操作有効モードに遷移させ、前記一時停止モードにおいて前記ユーザが前記操作領域を見ていることを示す判定結果が前記第３の時間内に取得されないことに基づいて動作モードを前記待機モードに遷移させてもよい。

【0011】

前記制御部は、前記一時停止モードにおいて、前記第３の時間が経過する前に前記操作領域を見ることを誘導する誘導表示を前記表示面に表示させてもよい。

【0012】

前記制御部は、前記操作領域への操作の検出情報を取得する検出情報取得部をさらに備え、前記制御部は、前記操作有効モードにおいて取得された前記検出情報に応じた動作を制御してもよい。

【0013】

前記制御部は、前記待機モードにおいて、前記操作領域に前記ユーザの手による操作を検出する機能を非有効化させてもよい。

【0014】

前記操作領域は、操作面を分割して得られる複数の領域のうちの１つの領域であってもよい。

【0015】

また、上記課題を解決するために、本発明の別の観点によれば、ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得することと、前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させることと、を含む、コンピュータにより実行される情報処理方法が提供される。

【0016】

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザの手により操作される操作領域を前記ユーザが見ているか否かを示す判定結果を取得する判定結果取得部と、前記ユーザが前記操作領域を見ていることを示す判定結果が取得されたことに基づき、動作モードを、前記操作領域への操作が有効に扱われない待機モードから、前記操作領域への操作が有効に扱われる操作有効モードに遷移させる制御部と、として機能させるための、プログラムが提供される。

【発明の効果】

【0017】

以上説明した本発明によれば、ユーザの意図しない操作が有効に扱われることを抑制することが可能である。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態による制御システムの構成を示す説明図である。

【図2】本発明の一実施形態による制御サーバ２０の構成を示す説明図である。

【図3】待機モードにおける非接触型操作パネル１４の表示画面を示す説明図である。

【図4】待機モードから操作有効モードへ動作モードが遷移する際の非接触型操作パネル１４の表示画面を示す説明図である。

【図5】操作有効モードにおける非接触型操作パネル１４の表示画面を示す説明図である。

【図6】一時停止モードにおける非接触型操作パネル１４の表示画面を示す説明図である。

【図7】本発明の一実施形態による制御サーバ２０の動作を示すフローチャートである。

【図8】制御サーバ２０のハードウェア構成を示したブロック図である。

【発明を実施するための形態】

【0019】

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0020】

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

【0021】

＜制御システムの構成＞
本発明の一実施形態は、ユーザによる非接触の操作を受け付ける制御システムに関する。本発明の一実施形態による制御システムは、不特定多数のユーザへの、多様なサービスの提供のために利用され得る。例えば、本発明の一実施形態による制御システムは、現金処理サービス、ルート案内サービス、座席予約サービス、またはチケット発券サービスなどに利用され得る。まず、図１を参照し、このような制御システムの構成を説明する。

【0022】

図１は、本発明の一実施形態による制御システムの構成を示す説明図である。図１に示したように、本発明の一実施形態による制御システムは、複数のユーザ操作型端末１０、通信装置１８および制御サーバ２０を備える。図１においては、１の制御サーバ２０に対して２つのユーザ操作型端末１０が接続される例を示しているが、１の制御サーバ２０に対して１つのユーザ操作型端末１０のみが接続されてもよいし、３以上のユーザ操作型端末１０が接続されてもよい。

【0023】

（ユーザ操作型端末）
ユーザ操作型端末１０は、ユーザにより操作される情報処理端末である。ユーザ操作型端末１０は、図１に示したようにタブレット型の携帯端末であってもよいし、ＡＴＭまたは券売機のような自立型の情報端末であってもよいし、サイネージ用の情報表示端末であってもよいし、プリンターであってもよいし、エレベータに設けられる表示操作端末であってもよい。

【0024】

図１に示したように、ユーザ操作型端末１０は、非接触型操作パネル１４およびカメラ１６を有する。非接触型操作パネル１４は、ユーザの手による非接触の操作を検出する操作面（操作領域）としての機能、および操作面に積層されて多様な画面を表示する表示面としての機能を有する。ユーザ操作型端末１０は、非接触型操作パネル１４への操作の検出情報を制御サーバ２０に送信し、制御サーバ２０から通信装置１８を介して表示画面を受信して非接触型操作パネル１４に当該表示画面を表示させる。

【0025】

なお、操作面としての機能は、赤外線を利用する方式で実現されてもよいし、静電容量方式で実現されてもよいし、非接触の操作を検出可能な他のいかなる方式で実現されてもよい。また、本明細書においては操作面が非接触による操作を検出可能な例を主に説明するが、操作面は、非接触による操作に加えて接触操作を検出可能であってもよいし、非接触による操作を検出せずに接触操作を検出可能であってもよい。

【0026】

カメラ１６は、被写体を撮像する撮像部の一例である。例えば、カメラ１６は、ユーザ操作型端末１０の前にいるユーザの顔を撮像すると、ユーザの顔画像を取得する。ユーザ操作型端末１０は、カメラ１６により取得されたユーザの顔画像を、通信装置１８を介して制御サーバ２０にリアルタイムで送信する。ユーザ操作型端末１０におけるカメラ１６の位置は、図１に示した例に限定されない。また、１つのユーザ操作型端末１０に複数のカメラ１６が設けられてもよい。

【0027】

（通信装置）
通信装置１８は、ユーザ操作型端末１０および制御サーバ２０と通信する。例えば、通信装置１８は、ユーザ操作型端末１０から操作の検出情報およびユーザの顔画像を受信し、これら操作の検出情報およびユーザの顔画像を制御サーバ２０に送信する。また、通信装置１８は、制御サーバ２０から表示画面および制御情報などを受信し、これら表示画面および制御情報などをユーザ操作型端末１０に送信する。

【0028】

なお、通信装置１８とユーザ操作型端末１０の通信方式、および通信装置１８と制御サーバ２０との通信方式は特に限定されない。例えば、各通信方式には、無線ＬＡＮまたはセルラー方式などの無線通信方式が用いられてもよいし、有線通信方式が用いられてもよい。

【0029】

（制御サーバ）
制御サーバ２０は、ユーザ操作型端末１０の動作を制御する情報処理装置である。特に、本発明の一実施形態による制御サーバ２０は、ユーザ操作型端末１０から受信されるユーザの顔画像に基づいてユーザが非接触型操作パネル１４を見ているか否かを判定し、判定結果に基づいて動作モードの遷移を制御する。以下、図２を参照して、このような制御サーバ２０の詳細な構成を説明する。

【0030】

＜制御サーバの詳細構成＞
図２は、本発明の一実施形態による制御サーバ２０の構成を示す説明図である。図２に示したように、本発明の一実施形態による制御サーバ２０は、通信部２２０および制御部２３０を備える。

【0031】

（通信部２２０）
通信部２２０は、通信装置１８を介して複数のユーザ操作型端末１０と通信する。例えば、通信部２２０は、ユーザ操作型端末１０から操作の検出情報を取得する検出情報取得部としての機能を有する。また、通信部２２０は、ユーザ操作型端末１０からユーザの顔画像を受信する。

【0032】

（制御部２３０）
制御部２３０は、制御サーバ２０およびユーザ操作型端末１０の動作全般を制御する。特に、本発明の一実施形態による制御部２３０は、画像処理部２３２、モード制御部２３４および表示制御部２３６の機能を有する。

【0033】

画像処理部２３２は、非接触型操作パネル１４をユーザが見ているか否かを示す判定結果を取得する判定結果取得部の一例である。画像処理部２３２は、例えば、ユーザの顔画像に基づき、ユーザの顔の向き、および目線を検出し、ユーザの目線が所定の範囲内を向いている場合にユーザが非接触型操作パネル１４を見ていると判定してもよい。

【0034】

モード制御部２３４は、ユーザ操作型端末１０または制御サーバ２０の複数の動作モードのうちで動作モードの遷移を制御する。複数の動作モードは、待機モード、操作有効モードおよび一時停止モードを含む。待機モードおよび一時停止モードは非接触型操作パネル１４への操作が有効に扱われない動作モードであり、操作有効モードは非接触型操作パネル１４への操作が有効に扱われる動作モードである。

【0035】

非接触型操作パネル１４への操作が有効に扱われないことは、非接触型操作パネル１４へ行われた操作がその後のユーザ操作型端末１０の動作に反映されないことに該当してもよい。例えば、待機モードおよび一時停止モードにおいては、非接触型操作パネル１４における操作を検出する機能が非有効化されてもよいし、ユーザ操作型端末１０が操作の検出情報の送信を停止してもよいし、制御サーバ２０が通信部２２０により受信された操作の検出情報を破棄してもよい。一方、操作有効モードにおいては、非接触型操作パネル１４における操作を検出する機能が有効化され、ユーザ操作型端末１０が操作の検出情報を送信し、制御サーバ２０が通信部２２０により受信された操作の検出情報に応答する処理を行ってもよい。

【0036】

モード制御部２３４は、このような複数の動作モードの間での動作モードの遷移を、画像処理部２３２により取得された判定結果に基づいて制御する。例えば、モード制御部２３４は、ユーザが非接触型操作パネル１４を見ていることを示す判定結果が取得されたことに基づき、動作モードを待機モードから操作有効モードに遷移させる。より限定的な条件として、モード制御部２３４は、ユーザが非接触型操作パネル１４を見ていることを示す判定結果が第１の時間以上に亘って取得されたことに基づき、動作モードを待機モードから操作有効モードに遷移させてもよい。第１の時間は、１秒以内の時間であることが望ましいが、１秒を上回る時間であってもよい。

【0037】

また、モード制御部２３４は、操作有効モードにおいてユーザが非接触型操作パネル１４を見ていないことを示す判定結果が取得されたことに基づき、非接触型操作パネル１４への操作を一時的に有効に扱わない一時停止モードに動作モードを遷移させる。より限定的な条件として、モード制御部２３４は、操作有効モードにおいてユーザが非接触型操作パネル１４を見ていないことを示す判定結果が第２の時間以上に亘って取得されたことに基づき、非接触型操作パネル１４への操作を一時的に有効に扱わない一時停止モードに動作モードを遷移させてもよい。

【0038】

さらに、モード制御部２３４は、一時停止モードにおいてユーザが非接触型操作パネル１４を見ていることを示す判定結果が第３の時間内に取得されたことに基づき動作モードを操作有効モードに遷移させ、一時停止モードにおいてユーザが非接触型操作パネル１４を見ていない時間が第３の時間に達したことに基づいて動作モードを待機モードに遷移させる。

【0039】

表示制御部２３６は、非接触型操作パネル１４における表示を制御する。表示制御部２３６は、非接触型操作パネル１４への操作の検出情報を取得する検出情報取得部としての機能を有し、当該検出情報に応じた画面を生成する。また、表示制御部２３６は、モード制御部２３４による動作モードの遷移に併せて、非接触型操作パネル１４における表示を変化させる。以下、図３～図６を参照し、非接触型操作パネル１４における表示の具体例を説明する。

【0040】

図３は、待機モードにおける非接触型操作パネル１４の表示画面を示す説明図である。図３に示した例では、待機モードにおける非接触型操作パネル１４の表示画面は、番号を入力するための番号入力領域５１、オペレータとの通話を繋げるための通話ボタン５２および操作案内を出力するためのヘルプボタン５３を含む。また、待機モードにおける非接触型操作パネル１４の表示画面は、図３に示したように全体的に薄暗くなっている。この待機モードにおいては、上述したように非接触型操作パネル１４への操作が有効に扱われなくなっているが、カメラ１６はユーザ操作型端末１０の前を撮像し続けている。なお、図３には表示画面に含まれる要素の一例を示したに過ぎず、表示画面は、他の要素を含んでもよいし、図３に示したレイアウトとは異なるレイアウトを有してもよい。また、待機モードにおいては非接触型操作パネル１４に表示画面が表示されていなくてもよい。

【0041】

図４は、待機モードから操作有効モードへ動作モードが遷移する際の非接触型操作パネル１４の表示画面を示す説明図である。モード制御部２３４は、待機モードから操作有効モードへ動作モードが遷移する際に、システムがユーザに対して反応したことを示すメッセージを非接触型操作パネル１４に表示させる。図４に示した例では、当該メッセージは「操作の受付を開始します」というメッセージ５４である。

【0042】

図５は、操作有効モードにおける非接触型操作パネル１４の表示画面を示す説明図である。図５に示したように、モード制御部２３４は、操作有効モードにおいて非接触型操作パネル１４が表示する画面を、待機モードにおいて非接触型操作パネル１４が表示する画面よりも明るくさせる。この操作有効モードにおいては、上述したように非接触型操作パネル１４への操作が有効に扱われるようになっており、カメラ１６はユーザ操作型端末１０の前を撮像し続けている。

【0043】

図６は、一時停止モードにおける非接触型操作パネル１４の表示画面を示す説明図である。モード制御部２３４は、一時停止モードにおいて、第３の時間が経過する前に非接触型操作パネル１４を見ることを誘導する誘導表示を非接触型操作パネル１４に表示させる。図６に示した例では、当該誘導表示は、「操作の受付を再開するためには画面を見て下さい 残り５秒以内」というメッセージ５６である。また、モード制御部２３４は、一時停止モードにおいて非接触型操作パネル１４が表示する画面の背景を、操作有効モードにおいて非接触型操作パネル１４が表示する画面よりも暗くさせる。この待機モードにおいては、上述したように非接触型操作パネル１４への操作が有効に扱われなくなっているが、カメラ１６はユーザ操作型端末１０の前を撮像し続けている。

【0044】

＜動作＞
以上、本発明の一実施形態による制御サーバ２０の構成を説明した。続いて、図７を参照し、本発明の一実施形態による制御サーバ２０の動作を整理する。

【0045】

図７は、本発明の一実施形態による制御サーバ２０の動作を示すフローチャートである。図７に示したように、まず、制御サーバ２０の起動完了後、制御サーバ２０は待機モードで動作する（Ｓ３０４）。そして、通信部２２０によりユーザ操作型端末１０からユーザの顔画像が受信されると（Ｓ３０８／Ｙｅｓ）、ユーザが非接触型操作パネル１４を見ているか否かを画像処理部２３２が判定する（Ｓ３１２）。そして、モード制御部２３４は、ユーザが第１の時間以上に亘って非接触型操作パネル１４を見ている場合に（Ｓ３１６／Ｙｅｓ）、動作モードを操作有効モードへ遷移させる（Ｓ３２０）。

【0046】

画像処理部２３２は、引き続きユーザが非接触型操作パネル１４を見ているか否かを判定する（Ｓ３２４）。モード制御部２３４は、ユーザが非接触型操作パネル１４を見ている間は操作有効モードを維持し（Ｓ３２８／Ｙｅｓ）、ユーザが非接触型操作パネル１４を見なくなると動作モードを一時停止モードへ遷移させる（Ｓ３２８／Ｎｏ、Ｓ３３２）。

【0047】

その後も、画像処理部２３２はユーザが非接触型操作パネル１４を見ているか否かを判定する（Ｓ３３６）。そして、ユーザが非接触型操作パネル１４を見た場合（Ｓ３４０／Ｙｅｓ）、モード制御部２３４は動作モードを操作有効モードに遷移させる（Ｓ３２０）。一方、ユーザが非接触型操作パネル１４を見ていない場合（Ｓ３４０／Ｎｏ）、ユーザが非接触型操作パネル１４を見ていない時間が第３の時間に達するまでＳ３３６からの処理が繰り返される（Ｓ３４４／Ｎｏ）。ユーザが非接触型操作パネル１４を見ていない時間が第３の時間に達すると（Ｓ３４４／Ｙｅｓ）、モード制御部２３４は動作モードを待機モードに遷移させる（Ｓ３０４）。

【0048】

＜作用効果＞
以上説明した本発明の一実施形態によれば、多様な作用効果が得られる。例えば、本発明の一実施形態によれば、モード制御部２３４は、ユーザが非接触型操作パネル１４を見ていることを示す判定結果が取得されたことに基づき、動作モードを待機モードから操作有効モードに遷移させる。ユーザが非接触型操作パネル１４を見ていない間に１４に行われた操作は、ユーザが意図しない操作である可能性があるところ、上記構成によれば、ユーザが非接触型操作パネル１４を見ていない間に非接触型操作パネル１４に行われた操作は有効に扱われない。従って、本発明の一実施形態によれば、ユーザが意図しない操作が有効に扱われることの発生を抑制することが可能である。

【0049】

より限定的な条件として、モード制御部２３４は、ユーザが非接触型操作パネル１４を見ていることを示す判定結果が第１の時間以上に亘って取得されたことに基づき、動作モードを待機モードから操作有効モードに遷移させる。かかる構成によれば、ユーザの視線が単に非接触型操作パネル１４を通過した場合にまで動作モードが操作有効モードに遷移することを防止できる。

【0050】

また、モード制御部２３４は、操作有効モードにおいて非接触型操作パネル１４が表示する画面を、待機モードにおいて非接触型操作パネル１４が表示する画面よりも明るくさせる。かかる構成によれば、操作有効モードにおいて非接触型操作パネル１４への操作が有効になっていることをユーザが直感的に把握し易い。

【0051】

また、モード制御部２３４は、操作有効モードにおいてユーザが非接触型操作パネル１４を見ていないことを示す判定結果が第２の時間以上に亘って取得されたことに基づき、非接触型操作パネル１４への操作を一時的に有効に扱わない一時停止モードに動作モードを遷移させてもよい。かかる構成によれば、ユーザがユーザ操作型端末１０の前から離れた場合、またはユーザ非接触型操作パネル１４から視線を一時的に外している場合など、ユーザが非接触型操作パネル１４を意識していない間に非接触型操作パネル１４に行われた操作を有効に扱わないことが可能である。

【0052】

さらに、モード制御部２３４は、一時停止モードにおいてユーザが非接触型操作パネル１４を見ていることを示す判定結果が第３の時間内に取得されたことに基づき動作モードを操作有効モードに遷移させ、一時停止モードにおいてユーザが非接触型操作パネル１４を見ていない時間が第３の時間に達したことに基づいて動作モードを待機モードに遷移させる。一時停止モードにおいてユーザが非接触型操作パネル１４を見ていない時間が第３の時間に達した場合、ユーザがユーザ操作型端末１０の前から離れたことが考えられるので、動作モードを待機モードに遷移することにより次のユーザがユーザ操作型端末１０の利用を開始可能となる。

【0053】

モード制御部２３４は、一時停止モードにおいて、第３の時間が経過する前に非接触型操作パネル１４を見ることを誘導する誘導表示を非接触型操作パネル１４に表示させる。かかる構成によれば、一時停止モードから待機モードへの遷移が突然に行われたという感覚をユーザに与えることを防止し得る。

【0054】

＜変形例＞
以上、本発明の一実施形態を説明した。以下では、上述した実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で上述した実施形態に適用されてもよいし、組み合わせで上述した実施形態に適用されてもよい。また、各変形例は、上述した実施形態の構成に代えて適用されてもよいし、上述した実施形態の構成に対して追加的に適用されてもよい。

【0055】

例えば、上記の実施形態では、ユーザが非接触型操作パネル１４のうちのいずれかの部分を見ていることに基づき、非接触型操作パネル１４の全体への操作が有効に扱われる操作有効モードに動作モードが遷移する例を説明した。この点に関し、非接触型操作パネル１４を分割して得られる複数の操作領域に含まれる操作領域ごとに、ユーザが当該操作領域を見ているか否かの判断、および、当該操作領域への操作が有効に扱われる操作有効モードに動作モードを遷移させるか否かの判断が行われてもよい。かかる構成によれば、ユーザがある操作領域を見ている場合に、他の操作領域についての動作モードが待機モードまたは一時停止モードとなり得る。従って、ユーザが意図する操作と意図しない操作をより確実に区別することが可能になる。

【0056】

また、制御サーバ２０は、ユーザの顔画像から特徴量を抽出し、抽出した特徴量を記憶しておいてもよい。そして、制御サーバ２０は、一時停止モードにおいてユーザが非接触型操作パネル１４を見た場合に、当該ユーザがそれまで非接触型操作パネル１４を操作していたユーザと同一であるかを記憶されている特徴量に基づいて判断し、同一性が確認されたことに基づいて動作モードを操作有効モードに遷移させてもよい。かかる構成によれば、一時停止モードを境にユーザ操作型端末１０を利用するユーザが入れ替わることを防止できる。

【0057】

また、制御サーバ２０は、ユーザの顔画像および操作の検出情報を記憶しておいてもよい。かかる構成によれば、各ユーザが行った操作が当該ユーザの意図した操作であったか否かを事後的に検証することが可能となる。

【0058】

＜ハードウェア構成＞
以上、本発明の各実施形態を説明した。上述した顔画像の分析および動作モードの制御などの情報処理は、ソフトウェアと、以下に説明する制御サーバ２０のハードウェアとの協働により実現される。

【0059】

図８は、制御サーバ２０のハードウェア構成を示したブロック図である。制御サーバ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、制御サーバ２０は、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインターフェース２１５とを備える。

【0060】

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って制御サーバ２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。これらＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３とソフトウェアとの協働により、上述した画像処理部２３２、モード制御部２３４および表示制御部２３６などの機能が実現され得る。

【0061】

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

【0062】

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサー、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。制御サーバ２０のユーザは、該入力装置２０８を操作することにより、制御サーバ２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

【0063】

表示装置２０９は、例えば、液晶ディスプレイ（ＬＣＤ）装置、プロジェクター装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。

【0064】

ストレージ装置２１１は、本実施形態にかかる制御サーバ２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

【0065】

ドライブ２１２は、記憶媒体用リーダライタであり、制御サーバ２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２４に情報を書き込むこともできる。

【0066】

ネットワークインターフェース２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インターフェースである。また、ネットワークインターフェース２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0067】

＜補足＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0068】

例えば、本明細書の制御サーバ２０の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、制御サーバ２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

【0069】

また、ユーザ操作型端末１０および制御サーバ２０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述したユーザ操作型端末１０および制御サーバ２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた非一時的な記憶媒体も提供される。

【符号の説明】

【0070】

１０ ユーザ操作型端末
１４ 非接触型操作パネル
１６ カメラ
１８ 通信装置
２０ 制御サーバ
２２０ 通信部
２３０ 制御部
２３２ 画像処理部
２３４ モード制御部
２３６ 表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】