(58)【調査した分野】(Int.Cl.,DB名)
前記操作検知手段は、自装置付近に人物が存在することが検知されてから前記第1の操作が検知されるまでの間に、予め定められた第2の操作が行われたことを検知する機能をさらに備え、
前記時間計測手段は、前記第2の操作が行われたことを検知した場合には、前記計測時間をリセットし、第2の操作が行われてからの時間を計測する機能を備えている請求項1乃至請求項3の何れか一つに記載の情報処理装置。
前記通知手段は、自装置の操作状況を撮影可能な撮像装置から出力される撮像データを操作記録として取得し、前記時間計測手段による計測時間が前記第1の時間に達した時点または前記操作検知手段により前記第1の操作が検知された時点から予め定められた第2の時間分を遡った時点までの期間に対応する前記操作記録を前記通知情報に含めて出力する請求項1乃至請求項4の何れか一つに記載の情報処理装置。
前記通知手段は、さらに、前記人物検知手段により人物が検知されなくなった時点までの前記操作記録を前記外部装置に出力する請求項5又は請求項6に記載の情報処理装置。
【発明を実施するための形態】
【0014】
以下に、本発明に係る実施形態について、図面を用いて説明する。
【0015】
<第1実施形態>
図1は、本発明に係る第1実施形態における情報処理装置の機能構成を表すブロック図である。第1実施形態の情報処理装置10は、例えば、駅の自動券売機や駐車場の自動精算機というようなセルフ端末である。この情報処理装置10は、人物検知部(人物検知手段)110と、操作検知部(操作検知手段)120と、時間計測部(時間計測手段)130と、通知部(通知手段)140とを有する。
【0016】
人物検知部110は、情報処理装置10の付近に人物が存在することを検知する機能を備えている。人物の存在を検知する手法には様々な手法が有り、ここでは、何れの手法を採用してもよい。なお、人物検知部110は、人のみを検知することに限定されず、常時固定的に存在する物以外の物体の存在を検知してもよい。
【0017】
具体例として、赤外線センサや温度センサ等のセンサ類を設け、人物検知部110は、センサ類から出力されるセンサ出力に基づいて、情報処理装置10の付近に人物が存在することを検知する。
【0018】
なお、人物を検知するセンサ類を用いる場合、人物の姿勢の変化等により、ほんの僅かな時間、人物がセンサ類の検知範囲から外れる場合がある。この場合には、情報処理装置10の付近に人物が存在しているのにも拘わらず、僅かな時間、センサ類が人物を検知しない。このような場合に備え、センサ類を用いる場合には、センサ類が人物を検知している状態から検知していない状態に遷移しても、人物検知部110は、設定時間を経過するまでは、人物が検知されている状態とみなすようにしてもよい。その設定時間は、例えば、数十ミリ秒〜数秒等の短い時間である。
【0019】
また、人物検知部110は、CCD(Charge Coupled Device)カメラ等の撮像装置から得られた画像データを利用してもよい。つまり、人物検知部110は、撮像装置の画像データを、人物の位置を検知するアルゴリズム等を用いて画像処理し、これにより、情報処理装置10の付近に人物が存在していることを検知する。
【0020】
さらに、人物検知部110は、上述したような、センサを用いる手法と画像データを用いる手法を組み合わせて、情報処理装置10の付近に人物が存在することを検知してもよい。人物検知部110は、情報処理装置10の付近に人物が存在することを検知した場合に、人物が検知されたことを知らせる通知(人物検知通知)を時間計測部130に向けて送信する。
【0021】
時間計測部130は、人物検知部110からの人物検知通知に基づいて、人物検知部110が人物の存在を検知してからの経過時間を計測する機能を備えている。具体的には、例えば、時間計測部130は、タイマーにより構成される。この時間計測部130は、人物検知部110から受け取った人物検知通知に基づいて時間計測を開始する。ここで、時間計測部130は、人物検知通知を受け取ると同時に時間計測を開始してもよいし、人物検知通知を受け取った後、所定の時間間隔をおいてから時間計測を開始してもよい。
【0022】
時間計測部130は、時間を計測する機能だけを備えていてもよいが、例えば、さらに、計測時間が予め定められた第1の時間に達したことを検知する機能を備えていてもよい。具体的には、時間計測部130が、計測時間と第1の時間とを比較することにより、計測時間が第1の時間に達したか否かを判断する。そして、時間計測部130は、計測時間が第1の時間に達したときに、そのことを知らせる通知(時間経過通知)を通知部140に向けて送信する。
【0023】
なお、時間計測部130が時間計測の機能だけを備える場合には、例えば、通知部140が、時間計測部130の計測時間が第1の時間に達したことを検知する機能を備える。ただし、以下に述べる説明では、時間計測部130が第1の時間の経過を検知する場合を例にして説明する。
【0024】
また、時間計測部130は、この第1実施形態では、タイマーを利用する形態を例示しているが、時間計測部130は、タイマーを利用せずに時間を計測(算出)してもよい。例えば、時間計測部130は、人物検知部110により人物が検知された時刻あるいは人物が検知された時刻から設定時間を経過した後の時刻を表す情報を計測開始時刻として取得する。そして、時間計測部130は、予め定められたタイミング毎に、計測開始時刻と現在時刻との差分を求め、これにより、時間計測(算出)動作を実行してもよい。
【0025】
第1の時間の情報は、例えば、情報処理装置10に備えられるハードディスク装置やメモリといった記憶部や情報処理装置10と通信可能に接続された記憶部に予め格納されている。また、記憶部に格納されている第1の時間の情報は、サービスの利用状況の統計等に応じて、設定あるいは変更できる。例えば、情報処理装置10を管理するサービス提供者等が、入力装置を利用して、第1の時間の情報を設定あるいは変更する。
【0026】
操作検知部120は、予め定められた第1の操作が実行されたことを検知する機能を備えている。また、操作検知部120は、第1の操作を検知したことを知らせる通知(第1操作検知通知)を通知部140に向けて送信する機能を備えている。なお、操作検知部120は、第1の操作の検知動作を常に実行してもよいが、ここでは、電力消費量を低減する観点から、予め設定された期間にその検知動作を実行することとする。その期間とは、例えば、人物検知部110の検知情報と時間計測部130の計測情報に基づいて定まる期間である。この期間の開始時点は、例えば、人物検知部110により人物が検知されたときである。また、当該期間の終了時点は、例えば、時間計測部130の計測時間に基づいて第1の時間の経過を検知したときである。
【0027】
ここでは、第1の操作を表す情報は、例えば、情報処理装置10に備えられるハードディスク装置やメモリといった記憶部や情報処理装置10と通信可能に接続された記憶部に予め格納されている。この第1の操作を表す情報は、例えば、情報処理装置10で提供される各種サービスの特性等に基づいて設定または変更できる。例えば、情報処理装置10を管理するサービス提供者が、入力装置を利用して、第1の操作の情報を設定または変更する。また、複数種の操作が第1の操作として記憶されていてもよい。この場合には、操作検知部120は、それら複数種の操作の中のいずれか1つの操作を検知した場合に、第1の操作が行われたと検知するようにしてもよい。
【0028】
また、操作検知部120は、関連した複数の操作による操作パターンを第1の操作として検知するようにしてもよい。この場合にも、記憶部に格納されている第1の操作としての操作パターンを表す情報は、例えば、各種サービスの特性や過去の操作履歴等の情報に基づいて、例えば入力装置を利用するサービス提供者より、設定または変更できる。
【0029】
第1の操作の具体例としては、異常操作または正常操作が挙げられる。第1の操作に正常操作を設定する手法は、ホワイトリスト方式と呼ぶことができる。また、異常操作を設定する手法は、ブラックリスト方式と呼ぶことができる。
【0030】
ホワイトリスト方式を採用する場合には、操作検知部120が検知する第1の操作は、1つの操作であってもよいし、複数の関連している操作から成る操作パターンであってもよい。
【0031】
一方、ブラックリスト方式を採用する場合、異常操作が一つの操作のみで構成されるケースは考えにくい。このことから、操作検知部120が検知する第1の操作は、複数種の操作からなる操作パターンであると考えられる。
【0032】
ブラックリスト方式を採用する場合には、操作検知部120は、第1の操作を検知したタイミングでもって第1操作検知通知を送信してもよいし、次のような場合に第1操作検知通知を送信するようにしてもよい。ここで、人物検知部110により人物が検知されてから時間計測部130の計測時間に基づいて第1の時間が経過したことが検知されるまでの期間を監視期間と記載する。操作検知部120は、その監視期間に実行された全ての操作のうち、第1の操作が占める割合や回数等が予め設定された閾値以上である場合に、第1操作検知通知を送信してもよい。
【0033】
上記のように、操作検知部120が第1の操作を検知したタイミングでもって第1操作検知通知を送信する場合には、通知部140は、情報処理装置10において問題が発生していることを素早く検知できる。また、操作検知部120が操作パターンの実行割合や回数等に基づいて第1操作検知通知を送信する場合には、通知部140は、情報処理装置10の利用に際して問題が発生しているか否かをより高い精度で判断することができる。
【0034】
なお、全ての異常操作パターンを漏れなく第1の操作として予め設定することは困難であるため、異常操作の検知漏れを防止するためには、第1の操作は、ホワイトリスト方式により設定されることが好ましい。
【0035】
通知部140は、時間計測部130および操作検知部120の動作結果に基づいて、外部装置に通知情報を出力する。具体的には、通知部140は、時間計測部130から時間経過通知を受信したか否か、および、操作検知部120からの第1操作検知通知を受信したか否かの組み合わせに応じて、外部装置に通知情報を出力するか否かを決定する。なお、時間計測部130が時間計測のみを行っている場合には、通知部140は、時間計測部130による計測時間と第1の時間とを比較し、その比較結果を時間経過通知の代わりに利用する。この場合、通知部140は、第1の時間が経過したか否か、および、操作検知部120からの第1操作検知通知を受信したか否かの組み合わせに応じて、外部装置に通知情報を出力するか否かを決定する。通知情報の出力先である外部装置は、情報処理装置10と直接あるいは他の装置を介して通信可能に接続されている。当該外部装置は、サービス提供者側のサポートデスクで利用される据え置き型端末や各サービス提供者が所有する携帯端末等である。
【0036】
ここで、第1の時間の経過の監視状況および第1の操作の検知状況は、情報処理装置10に対する異常操作の発生の有無を表す。ホワイトリスト方式が採用される場合には、通知部140は、第1の時間が経過したにも拘わらず、第1の操作が検知されなかった場合に異常操作または異常行動が行われていると判断し、通知情報を出力する。換言すれば、通知部140は、人物を検知してから第1の時間を経過する前に、第1の操作(正常操作)が検知された場合には、異常操作や異常行動がなかったと判断し、通知情報を出力しない。このように、ホワイトリスト方式が採用される場合には、第1の操作には、第1の時間が経過する前に通常であれば実行されるはずの正常操作が設定される。正常操作としては、例えば、自動券売機等において、時間以内に代金が投入されるというような操作等が考えられる。また、第1の時間は、利用者が装置に近付いてから、そのように正常操作が実行されるはずであると想定される時間までに要する時間を考慮して設定される。
【0037】
一方、ブラックリスト方式が採用される場合には、通知部140は、時間計測部130による計測時間が第1の時間に達するまでに第1の操作(異常操作)を検知した場合に、異常操作が行われたと判断し、通知情報を出力する。この場合には、通知部140は、時間計測部130による計測時間が第1の時間に達した以降に第1の操作が検知されても、異常操作がなかったと判断し、通知情報を出力しない。ブラックリスト方式が採用される場合には、第1の操作である操作パターンには、それだけで異常と推定される操作が含まれる。例えば、異常操作としては、ある処理において次の操作に進むボタンを押下した後、一つ前の操作に戻るボタンを押下する操作が繰り返される等の操作が考えられる。このような操作は、操作がよくわからない等、何らかの問題がある状態である可能性があり、異常操作として設定され得る。また、ブラックリスト方式が採用される場合には、第1の時間は、利用者が装置に近付いてから、そのように異常操作が実行されると想定される時間までに要する時間を考慮して設定される。
【0038】
また、通知部140から出力される通知情報は、例えば情報処理装置10を利用したサービス提供者に、確認を要する事態が発生したことを知らせる情報である。この通知情報は、例えば、人物検知部110で検知された人物、または当該人物による情報処理装置10の操作に関する情報を含む。例えば、その通知情報は、異常操作を検知したことを通知するメッセージ、人物検知部110で検知された人物(利用者)による情報処理装置10の操作記録、または、撮像装置で撮像された利用者の画像データ等を含む。このような通知情報は、サービス提供者側に通知されることにより、情報処理装置10の利用者ビリティの向上に用いられる。例えば、サービス提供者は、これらの通知情報を受け取ることにより、情報処理装置10において何らかの問題が発生していることを把握でき、その問題に対処するための行動を起こすことができる。
【0039】
なお、
図1に表す情報処理装置10の各機能部は、コンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされたコンピュータプログラム(プログラム)、そのプログラムを格納するハードディスクなどの記憶媒体、ネットワーク接続用インタフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。
【0040】
図2は、情報処理装置10のハードウェア構成を簡略化して表す図である。情報処理装置10は、例えば、バス15で相互に接続される、CPU11、メモリ12、入出力インタフェース(I/F)13、通信装置14等を有する。メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク装置等である。通信装置14は、他のコンピュータや機器と通信を行う機能を備えた装置である。この通信装置14には、可搬型記録媒体等も接続され得る。
【0041】
入出力I/F13は、表示装置、入力装置等の利用者インタフェース装置(図示せず)と接続可能である。表示装置は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイのような、CPU11やGPU(Graphics Processing Unit)(図示せず)等により処理された描画データに応じた画面を表示する装置である。入力装置は、キーボードやマウス等のような利用者操作の入力を受け付ける装置である。なお、情報処理装置10のハードウェア構成は
図2の構成に限定されない。例えば、情報処理装置10に入力装置として接続されるキーボードは、メカニカルキーボードであってもよいし、ソフトウェアキーボードであってもよい。
【0042】
情報処理装置10の各機能部は、例えば、メモリ12に格納されるプログラムがCPU11によって実行されることにより実現される。そのプログラムは、例えば、CD(Compact Disc)やメモリカード等のような可搬型記録媒体、あるいは他のコンピュータから、通信装置14を介してインストールされ、メモリ12に格納される。
【0043】
以下に、第1実施形態における情報処理装置10の動作例を
図3を利用して説明する。
図3は、第1実施形態における情報処理装置10の動作例を表すフローチャートである。このフローチャートは、情報処理装置10(CPU)が実行する処理手順を表している。
【0044】
まず、人物検知部110は、情報処理装置10の付近において人物が検知されたか否かを判断する(ステップS102)。これにより、情報処理装置10の付近において人物が検知されなかった場合、人物検知部110は人物の検知処理(動作)を継続する。一方、情報処理装置10の付近において人物が検知された場合、人物検知部110は人物検知通知を時間計測部130に向けて送信する。
【0045】
時間計測部130は、人物検知部110からの人物検知通知に基づいて、時間計測を開始する(ステップS104)。時間計測部130は、計測時間と、第1の時間とを比較し、計測時間が第1の時間に達したか否かを判断する。時間計測部130は、比較結果に基づいて第1の時間に達したと判断した場合、時間経過通知を通知部140に向けて送信する。
【0046】
また、操作検知部120は、人物検知部110により人物が検知された後に、情報処理装置10の操作状況を監視する(ステップS106)。つまり、操作検知部120は、第1の操作が行われた否かを監視する。そして、操作検知部120は、第1の操作が行われたことを検知した場合に、第1操作検知通知を通知部140に向けて送信する。
【0047】
そして、通知部140は、時間計測部130および操作検知部120からの通知の有無に基づいて、通知情報を出力するか否か(出力要否)を判断する(ステップS110)。具体的には、通知部140は、ホワイトリスト方式が採用されている場合には、次のように通知情報の要否を判断する。すなわち、人物検知部110の情報に基づき人物が検知されたことを検知してから時間計測部130の時間経過通知を受信するまでに、操作検知部120から第1操作検知通知を受信しなかった場合に、通知部140は通知情報を出力すると判断する。また、人物検知部110が人物を検知してから時間計測部130の時間経過通知を受信するまでに、操作検知部120から第1操作検知通知を受信した場合には、通知部140は通知情報を出力しないと判断する。
また、通知部140は、ブラックリスト方式が採用されている場合には、次のように通知情報の要否を判断する。すなわち、人物検知部110が人物を検知してから時間計測部130の時間経過通知を受信するまでに、操作検知部120から第1操作検知通知を受信した場合には、通知部140は通知情報を出力すると判断する。人物検知部110が人物を検知してから時間計測部130の時間経過通知を受信するまでに、操作検知部120から第1操作検知通知を受信しなかった場合に、通知部140は通知情報を出力しないと判断する。
そして、通知部140は、通知情報を出力すると判断した場合には、通知情報を外部装置に向けて出力する(ステップS112)。一方、通知情報を出力しないと判断した場合には、通知部140は通知情報を出力せずに処理を終了する。
【0048】
以下に、この第1実施形態の構成から得られる効果を述べる。
【0049】
この第1実施形態では、人物検知部110により人物が検知されてから時間計測手段130による計測時間が第1の時間に達するまでの期間(監視期間)における操作状況に基づいて、通知部140が通知情報を出力することを決定する。具体的には、第1の操作の設定方式として、ホワイトリスト方式が採用されている場合においては、監視期間に第1の操作が検知されない場合に、通知部140は、通知情報を出力する。つまり、通知情報が出力される状況は、情報処理装置10を操作可能な位置に利用者が存在し、かつ、通常時には実行されるはずの第1の操作が第1の時間内に実行されなかった状況である。この状況は、利用者が、装置の正常な使用とは関係のない他の操作または行動を行っている虞があり、その操作または行動は異常であると想定される。この第1実施形態の情報処理装置10は、そのような異常行動または異常操作の発生を検知し、通知情報を外部装置に対して出力できる。
【0050】
一方、第1の操作の設定方式として、ブラックリスト方式が採用されている場合には、監視期間に第1の操作が検知された場合に、通知部140は、通知情報を出力する。つまり、通知情報が出力される状況は、監視期間に異常操作(異常行動)が行われた状況である。この第1実施形態の情報処理装置10は、そのような異常行動または異常操作の発生を検知し、通知情報を外部装置に対して出力できる。なお、監視期間における第1の操作の検知頻度等を用いて異常操作の有無を判断することにより、この第1実施形態の情報処理装置10は、異常な操作をより高い精度で検知できる。
【0051】
このように異常操作を検知したことを知らせる通知情報を外部装置に出力できることによって、第1実施形態の情報処理装置10は、そのユーザビリティの向上を図ることができる。例えば、利用者は、情報処理装置10の操作に不慣れな場合には、その操作に困惑し、所望のサービスを受けるまでに手間取ることがある。このような場合に、情報処理装置10の操作に精通したサービス提供者が、そのような利用者を容易に判別でき、迅速に、この利用者をサポートできる。つまり、ほとんどの場合において、利用者からの申告がなければ、サービス提供者は、利用者が困っている状況に気付きにくい。これに対して、第1実施形態の情報処理装置10は、利用者の異常行動または異常操作を検知でき、このことをサービス提供者が利用している外部装置に出力できる。これにより、サービス提供者は、困っているサービス利用者を容易に判別でき、迅速にサポートすることが可能となる。
【0052】
また、この第1実施形態の情報処理装置10は、犯罪性のある異常操作等を検知してサービス提供者側に通知することが可能である。これにより、情報処理装置10は、高い防犯性を持つことができる。
【0053】
なお、第1実施形態における通知部140が出力する通知情報には、撮像データや操作記録が含められていてもよい。このようにすることで、サービス提供者は受信した撮像データや操作記録を確認することにより、情報処理装置10のユーザビリティの問題点をより正確に把握することができる。
【0054】
<第2実施形態>
以下に、本発明に係る第2実施形態を説明する。なお、この第2実施形態の説明において、第1実施形態と同様な構成部分には同一符号を付し、その共通部分の重複説明は省略する。
【0055】
図4は、第2実施形態における情報処理装置の機能構成を表すブロック図である。第2実施形態の情報処理装置10は、第1実施形態の構成に加えて、取得部(取得手段)150をさらに有する。
【0056】
取得部150は、人物検知部110で検知された人物により実行されているサービスを識別するサービス識別情報を取得する機能を備えている。取得部150は、例えば、情報処理装置10で提供されるサービス毎に割り当てられたサービスIDといった、各サービスを識別可能な情報をサービス識別情報として取得する。このようなサービス識別情報は、例えば、利用者が所望のサービスを開始することを指示するために押下等の操作を行ったボタンの識別情報等に基づいて取得できる。また、取得部150は、取得したサービス識別情報を操作検知部120に送信する機能を備えている。
【0057】
この第2実施形態では、第1の操作は複数のサービス毎に予め設定されている。つまり、各サービスに対応する第1の操作は、例えば、サービス毎の特性や実際の利用状況等を考慮して、適宜設定される。このように第1の操作が設定されることにより、第2実施形態では、操作検知部120は、取得部150で取得されたサービス識別情報に対応する第1の操作を特定する機能を備えている。
【0058】
ここで、操作検知部120が第1の操作を特定する動作の具体例を
図5を利用して述べる。例えば、情報処理装置10が、
図5に表されているようなサービス識別情報A〜Cに対応する3つのサービスを提供できるとする。この場合には、情報処理装置10は、各サービス識別情報A〜Cに関連付けられている第1の操作としての操作A〜Cの情報を利用可能となっている。そのような情報は、例えば、情報処理装置10に備えられているハードディスク装置やメモリといった記憶部や、情報処理装置10と通信可能に接続された記憶部に操作特定情報として記憶される。
【0059】
操作検知部120は、取得部150からサービス識別情報を受信すると、操作特定情報から、そのサービス識別情報に対応する操作を第1の操作として読み出す。つまり、操作検知部120は、受信したサービス識別情報に対応する第1の操作を特定する。より具体的に説明すると、操作検知部120は、例えば、取得部150からサービス識別情報として“サービスA”を取得した場合には、操作特定情報から第1の操作として“操作A”を特定する。なお、第1の操作(操作A〜C)は、第1実施形態でも述べたと同様に、1つの操作に限定されず、複数種の操作を含む操作パターンであってもよい。
【0060】
第2実施形態における情報処理装置10の動作例を
図6を利用して説明する。
図6は、第2実施形態における情報処理装置10の動作例を表すフローチャートである。この
図6のフローチャートは、第1実施形態で述べた
図3における操作状況を監視する動作(ステップS106)に対応する動作を表している。この第2実施形態の情報処理装置10のそれ以外の動作は、第1実施形態と同様である。
【0061】
まず、取得部150がサービス識別情報を取得すると(ステップS202)、取得部150は、その取得したサービス識別情報を操作検知部120に送信する。
【0062】
操作検知部120は、取得部150から受け取ったサービス識別情報に基づいて、当該サービス識別情報に対応する第1の操作を特定する(ステップS204)。そして、操作検知部120は、情報処理装置10の操作状況を監視し、特定した第1の操作が行われたか否かを判断する(ステップS206)。そして、操作検知部120は、第1の操作が行われたことを検知した場合には、操作検知通知を生成し、通知部140に向けて送信する(ステップS208)。一方、操作検知部120は、第1の操作が行われたことを検知していない場合には、情報処理装置10の操作状況の監視を継続する。ここで、時間計測部130による計測時間が第1の時間に達したことを検知した場合には、操作検知部120は、その監視動作を終了する。
【0063】
この第2実施形態では、第1の操作が、例えば、サービス毎の特性や実際の利用状況等を加味してサービス毎に設定されている。そして、取得部150により取得されたサービス識別情報に基づいて、操作検知部120がサービスに応じた第1の操作を検知(特定)し、通知部140がその検知結果に基づいた、外部装置への通知動作を行う。この第2実施形態では、第1の操作をサービス毎に設定可能であるので、サービスに応じた情報処理装置10の利用状況等に即して、より細やかに第1の操作を設定できる。このため、情報処理装置10は、ユーザビリティをよりよく向上できる。
【0064】
<第3実施形態>
以下に、本発明に係る第3実施形態を説明する。なお、この第3実施形態の説明において、第1実施形態と同様な構成部分には同一符号を付し、その共通部分の重複説明は省略する。
【0065】
この第3実施形態の情報処理装置10は、
図1に表される第1実施形態の構成(機能)あるいは
図4に表される第2実施形態の構成(機能)に加えて、次のような構成(機能)を備えている。
【0066】
すなわち、第3実施形態では、操作検知部120は、情報処理装置10の利用者が第1の操作を行ったことを検知するだけでなく、利用者が予め定められた第2の操作を行ったことをも検知する機能を備えている。操作検知部120が第2の操作を検知する期間は、人物検知部110が人物の存在を検知してから第1の操作を検知するまでの期間である。
【0067】
また、操作検知部120は、第2の操作が行われたことを検知した場合に、第2の操作を検知したことを報知する通知(第2操作検知通知)を時間計測部130に向けて送信する。
【0068】
第2の操作の検知は、時間計測部130による時間計測に関係する。第2の操作を表す情報は、例えば、情報処理装置10に備えられているハードディスク装置やメモリ等の記憶部、あるいは、情報処理装置10と通信可能に接続された外部の記憶部に記憶されている。また、第2の操作は、1つの操作とは限らず、複数種の操作が第2の操作として記憶部に記憶されていてもよい。この場合には、操作検知部120は、それら複数種の操作のうちの1つが検知された場合に、第2の操作が行われたと検知してもよい。
【0069】
ここで、第2の操作は、次のように決定される。例えば、第1の操作の設定にホワイトリスト方式が採用されている場合には、第2の操作が行われてから一定時間を経過しても第1の操作が実行されない正当な理由を説明する操作が第2の操作として決定される。また、第1の操作の設定にブラックリスト方式が採用されている場合は、第2の操作は、第2の操作が行われてから一定時間を経過しても第1の操作が実行される可能性が低い操作が第2の操作として決定される。具体的には、例えば、情報処理装置10が駅の自動券売機であり、切符や定期等の販売といったサービスにおいて実行される一連の操作の中から第1の操作が設定されているとする。この場合には、駅員呼出ボタンの押下や表示言語切替ボタンの押下といった操作が、第2の操作として設定される。
【0070】
第3実施形態では、時間計測部130は、第2の操作が検知された場合には、計測時間をリセットし、計測を始めからやり直す(第2の操作が検知されてからの時間を計測する)。なお、時間計測部130は、計測時間をリセットするのに代えて、計測を開始してから第2の操作が検知されるまでに計測した時間分だけ、時間計測を中断してもよい。また、時間計測部130は、計測を開始してから第2の操作が検知されるまでに計測した時間を、計測時間から差し引くことにより、第2の操作が検知されてからの時間を計測することとしてもよい。
【0071】
以下に、第3実施形態における情報処理装置10の動作例を
図7を用いて説明する。
図7は、第3実施形態における情報処理装置の動作例を表すフローチャートである。
【0072】
まず、人物検知部110が人物の存在を検知すると、操作検知部120は、操作状況の監視を開始する。そして、操作検知部120は、第1の操作が行われたか否かを判断する。また、この第3実施形態では、操作検知部120は、第2の操作が行われたか否かも判断する(ステップS302)。操作検知部120は、第2の操作を検知した場合には、第2操作検知通知を時間計測部130に向けて送信する(ステップS304)。一方、ステップS302にて、操作検知部120は、第2の操作を検知しなかった場合には、操作状況の監視を継続する。
【0073】
時間計測部130は、第2操作検知通知を受信すると、第2の操作が検知されてからの時間の計測を開始する。そして、時間計測部130は、その計測時間が第1の時間に達したか否かを判断する(計測時間を監視する)(ステップS306)。
【0074】
時間計測部130が時間計測を行っている間、操作検知部120は、ステップS302以降の動作を繰り返す。この動作中に、操作検知部120が第1の操作を検知した場合には、第2の操作を検知する動作を終了する。また、時間計測部130が、第1の時間に達したことを検知した場合は、操作検知部120は、第1の操作および第2の操作の検知動作を終了する。
【0075】
第3実施形態の効果を以下に説明する。この第3実施形態では、第2の操作が設定され、第2の操作が検知された場合には、時間計測部130は、計測時間をリセットし、第2の操作が検知されてからの時間を計測する。これにより、第1の操作の設定にホワイトリスト方式が採用されている場合には、第1の操作が実行されない正当な理由があるにも拘わらず、通知部140が通知情報を出力してしまうことを防止する。
【0076】
また、この第3実施形態では、第2の操作が行われた場合には、時間計測部130が時間計測をやり直すので、人物検知部110により人物が検知されてから時間計測部130の計測時間が第1の時間に達するまでの時間が長くなる。換言すれば、情報処理装置10による利用者をモニタしている時間が長くなる。このため、この第3実施形態の情報処理装置10は、利用者の異常操作の検知漏れを防止できる。
【0077】
<第4実施形態>
以下に、本発明に係る第4実施形態を説明する。なお、第4実施形態の説明において、第1〜第3の実施形態を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【0078】
図8は、第4実施形態における情報処理装置の機能構成を表すブロック図である。第4実施形態の情報処理装置10は、第1〜第3の実施形態の何れか一つの構成に加え、撮像部160と記録取得部170をさらに有する。
【0079】
撮像部160は、例えば、カメラにより構成され、情報処理装置10の付近を撮影した撮像データを生成する機能を備えている。この撮像部160は、情報処理装置10が駆動している間、常に撮影していてもよいし、例えば、人物検知部110の検知情報を利用することにより人物検知部110が人物の存在を検知したタイミングでもって撮影を開始してもよい。また、撮像部160が生成する撮像データには、撮影した時間を表す時間情報が関連付けられている。
【0080】
なお、撮影部160(カメラ)は、人物により実行された操作の確認が容易な撮像データが得られるように設置されることが好ましい。具体的には、例えば、撮像部160は、情報処理装置10の操作部(例えばタッチパネル)を含めた装置上部が撮影可能に設置されることが好ましい。
【0081】
第4実施形態では、撮像部160により生成された撮像データは、通知部140が通知情報を外部装置に向けて出力する際に、その通知情報に含められて出力される。あるいは、撮像部160により生成された撮像データは、通知情報の出力タイミングとは異なるタイミングで通知部140が出力してもよい。
【0082】
なお、撮像部160は、利用者の異常操作を撮影する専用装置として備えられていてもよいし、あるいは、他の機能でも利用される兼用の装置であってもよい。さらに、撮像部160で生成される撮像データは、動画であってもよいし、予め設定された時間間隔毎に断続的に撮像された静止画であってもよい。さらにまた、情報処理装置10に複数の撮像部160を備えていてもよい。この場合には、例えば、通知部140は、全てまたは一部の撮像部160で生成された撮像データを通知情報に含めて出力してもよい。
【0083】
記録取得部170は、人物検知部110で検知された人物が情報処理装置10を操作した操作履歴の全部、あるいは、予め定められた特定の操作に関わる操作履歴を抽出し操作記録として取得する。なお、特定の操作に関わる操作履歴を抽出する場合には、記録取得部170は、操作履歴を記憶している記憶部から特定の操作に関わる操作履歴を選別し当該選別した履歴を操作記録として取得する。あるいは、記録取得部170は、全ての操作履歴を取得した後に、特定の操作に関わる操作履歴を抽出し、当該抽出した履歴を操作記録として取得してもよい。また、記録取得部170が取得する操作記録には、操作した時間を表す時間情報が関連付けられている。
【0084】
第4実施形態では、通知部140が通知情報を外部装置に出力する場合には、その通知情報には、少なくとも次の期間の撮像部160による撮像データと、記録取得部170による操作履歴とが操作記録として含まれる。その期間は、人物の存在を検知してから第1の時間が経過した時点、あるいは、第1の操作が検知された時間から、予め定められた第2の時間分を遡った時点までの期間である。
【0085】
ここで、第2の時間は、人物検知部110で検知された人物の異常な操作や行動を捉えることができると想定される時間である。この第2の時間は、例えば、人物検知部110で人物が検知された時点からの時間経過と、異常な操作が実行される確率との関係等に基づいて設定される。具体的には、第2の時間は、例えば、その時点以降の異常な操作の検知確率が所定の閾値以上となる時点に遡るように設定される。また、異常な操作が行われる時点が確実に含まれるように、第2の時間は人物検知部110で人物が検知された時点に遡るように設定されてもよい。この第2の時間の情報は、例えば、情報処理装置10に備えられているハードディスク装置やメモリといった記憶部、あるいは、情報処理装置10と通信可能に接続された外部の記憶部に予め記憶されている。
【0086】
以下に、第4実施形態における情報処理装置10の動作例を
図9を利用して説明する。
図9は、第4実施形態における情報処理装置10の動作例を表すフローチャートである。なお、
図9に表されている動作は、通知部140が実行する動作である。
【0087】
ここで、第1の時間が経過した時点または第1の操作が検知された時点から第2の時間を遡った時点までの期間を検証期間と述べるとする。
【0088】
通知部140は、撮像部160による撮像データと、記録取得部170により取得された操作履歴に関連付けられた時間情報に基づいて、検証期間における撮像データと操作履歴を操作記録として含めた通知情報を生成する(ステップS402)。そして、通知部140は、その生成した通知情報を外部装置に向けて出力する(ステップS404)。
【0089】
なお、この例に代えて、通知部140は、検証期間における操作記録として、撮像部160による撮像データと、記録取得部170により取得された操作履歴とのうちの一方のみを含む通知情報を出力してもよい。
【0090】
以下に、第4実施形態から得られる効果を説明する。
【0091】
第4実施形態の情報処理装置10は、通知部140から出力される通知情報に、検証期間の操作記録を含ませることができる構成を備えている。このため、サービス提供者は、外部装置にて受信した通知情報を確認することによって、例えば、人物検知部110で検知された人物がどのような問題に直面しているかを精度よく把握できる。
【0092】
<その他の実施形態>
以上、図面を参照して本発明に係る実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採り得る。
【0093】
例えば、情報処理装置10がサポートデスク直通のインターフォン等の通信装置をさらに備えている場合がある。この場合に、利用者がその通信装置を利用している状況は、利用者がサービス提供者のサポートを受けている状況である。このことから、時間計測部130は、通信装置(インターフォンなど)が使用されていることを検知した場合には、時間計測を中断することが好ましい。このような構成を備えることによって、利用者が異常な操作または行動をしていないのにも拘わらず、通知部140から、異常な操作または行動を知らせる通知情報が外部装置に出力されてしまうという問題を防止できる。
【0094】
また、例えば、利用者が情報処理装置10を利用できない状態である場合がある。具体的には、例えば、情報処理装置10の表示装置の画面が、サービス提供者側により操作される画面(例えば、情報処理装置10の管理画面等)である場合である。また、情報処理装置10が障害やメンテナンス等でサービス休止中である場合である。このような状況を考慮して、情報処理装置10は、例えば、利用者が情報処理装置10を利用できない状態であることを知らせる通知を当該状態の間、時間計測部130に供給する構成を備えてもよい。この場合には、時間計測部130は、その通知を受け取っている期間中は、人物検知部110が人物の存在を検知しても、時間計測を開始しない構成を備えていてもよい。これにより、利用者が異常な操作または行動をしていないのにも拘わらず、通知部140から、異常な操作または行動を知らせる通知情報が外部装置に出力されてしまうという問題を防止できる。
【0095】
また、第1〜第4の各実施形態で説明している処理の動作順は、一例であって、内容に支障のない範囲で変更してもよい。さらに、第1実施形態等においては、情報処理装置がセルフ端末である一例を挙げたが、本発明は、セルフ端末だけでなく、一般的な汎用PC等の情報処理装置にも適用される。
【0096】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【0097】
この出願は、2013年12月27日に出願された日本出願特願2013−271903を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【0098】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
自装置付近に存在する人物を検知する人物検知手段と、
第1の操作を検知する操作検知手段と、
前記人物の検知に応じて、第1の時間の経過を判断するタイマー手段と、
前記第1の時間の経過の監視状況および前記第1の操作の検知状況に応じて、外部装置に通知情報を出力する情報通知手段と、
を有する情報処理装置。
(付記2)
前記人物の操作により実行されているサービスを識別するサービス識別情報を取得するサービス情報取得手段を更に有し、
前記操作検知手段は、
複数のサービス毎に予め定義された前記第1の操作のうち、前記サービス情報取得手段で取得されたサービス識別情報に対応する前記第1の操作を検知する付記1に記載の情報処理装置。
(付記3)
前記操作検知手段は、
前記第1の操作を含む複数種の操作からなる操作パターンを検知する付記1または付記2に記載の情報処理装置。
(付記4)
前記操作検知手段は、
前記第1の操作が検知されるまでの間に第2の操作が実行されたか否かを更に検知し、
前記タイマー手段は、
前記第2の操作の検知状況に応じて、前記第1の時間の経過の監視状況を制御する付記1乃至付記3の何れか一つに記載の情報処理装置。
(付記5)
前記情報通知手段は、
前記第1の時間が経過した時点または前記第1の操作が検知された時点から第2の時間遡った時点で当該情報処理装置が取得した情報を、前記通知情報に含めて出力する付記1乃至付記4の何れか一つに記載の情報処理装置。
(付記6)
前記情報通知手段は、
前記第2の時間遡った時点から前記人物検知手段で人物が検知されなくなった時点までの期間に当該情報処理装置が取得した情報を、前記通知情報に含めて出力する付記5に記載の情報処理装置。
(付記7)
前記通知情報は、撮像手段で撮像された前記人物の撮像データと、前記人物による操作記録の少なくとも一部と、のうち少なくともいずれか一方を含む付記1乃至付記6の何れか一つに記載の情報処理装置。
(付記8)
コンピュータが、
該コンピュータ付近に存在する人物を検知し、
第1の操作を検知し、
前記人物の検知に応じて、第1の時間の経過を監視し、
前記第1の時間の経過の監視状況および前記第1の操作の検知状況に応じて、外部装置に通知情報を出力することを含む情報処理方法。
(付記9)
前記コンピュータが、
人物の操作により実行されているサービスを識別するサービス識別情報を更に取得し、
複数のサービス毎に予め定義された前記第1の操作のうち、前記取得されたサービス識別情報に対応する前記第1の操作を検知する付記8に記載の情報処理方法。
(付記10)
前記コンピュータが、
前記第1の操作を含む複数種の操作からなる操作パターンを検知する付記8または付記9に記載の情報処理方法。
(付記11)
前記コンピュータが、
前記第1の操作が検知されるまでの間に第2の操作が実行されたか否かを更に検知し、
前記第2の操作の検知状況に応じて、前記第1の時間の経過の監視状況を制御する付記8乃至付記10の何れか一つに記載の情報処理方法。
(付記12)
前記コンピュータが、
前記第1の時間が経過した時点または前記第1の操作が検知された時点から第2の時間遡った時点で当該情報処理装置が取得した情報を、前記通知情報に含めて出力する付記8乃至付記11の何れか一つに記載の情報処理方法。
(付記13)
前記コンピュータが、
前記第2の時間遡った時点から前記人物検知手段で人物が検知されなくなった時点までの期間に当該情報処理装置が取得した情報を、前記通知情報に含めて出力する付記12に記載の情報処理方法。
(付記14)
前記通知情報は、撮像手段で撮像された前記人物の撮像データと、前記人物による操作記録の少なくとも一部と、のうち少なくともいずれか一方を含む付記8乃至付記13の何れか一つに記載の情報処理方法。
(付記15)
コンピュータを、
該コンピュータ付近に存在する人物を検知する人物検知手段、
第1の操作を検知する操作検知手段、
前記人物の検知に応じて、第1の時間の経過を判断するタイマー手段、
前記第1の時間の経過の監視状況および前記第1の操作の検知状況に応じて、外部装置に通知情報を出力する情報通知手段、
として機能させるためのプログラム。
(付記16)
前記コンピュータを、
前記人物の操作により実行されているサービスを識別するサービス識別情報を取得するサービス情報取得手段として更に機能させ、
前記コンピュータに、
前記操作検知手段において、
複数のサービス毎に予め定義された前記第1の操作のうち、前記サービス情報取得手段で取得されたサービス識別情報に対応する前記第1の操作を検知させる付記15に記載のプログラム。
(付記17)
前記コンピュータに、
前記操作検知手段において、
前記第1の操作を含む複数種の操作からなる操作パターンを検知させる付記15または付記16に記載のプログラム。
(付記18)
前記コンピュータに、
前記操作検知手段において、
前記第1の操作が検知されるまでの間に第2の操作が実行されたか否かを更に検知させ、
前記タイマー手段において、
前記第2の操作の検知状況に応じて、前記第1の時間の経過の監視状況を制御させる付記15乃至付記17の何れか一つに記載のプログラム。
(付記19)
前記コンピュータに、
前記情報通知手段において、
前記第1の時間が経過した時点または前記第1の操作が検知された時点から第2の時間遡った時点で当該情報処理装置が取得した情報を、前記通知情報に含めて出力させる付記15乃至付記18の何れか一つに記載のプログラム。
(付記20)
前記コンピュータに、
前記情報通知手段において、
前記第2の時間遡った時点から前記人物検知手段で人物が検知されなくなった時点までの期間に当該情報処理装置が取得した情報を、前記通知情報に含めて出力させる付記19に記載のプログラム。
(付記21)
前記通知情報は、撮像手段で撮像された前記人物の撮像データと、前記人物による操作記録の少なくとも一部と、のうち少なくともいずれか一方を含む付記15乃至付記20の何れか一つに記載のプログラム。