特開 2024-46814 情報処理装置及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046814

(43)【公開日】2024-04-05

(54)【発明の名称】情報処理装置及び情報処理プログラム

(51)【国際特許分類】

   G06F 3/0488 20220101AFI20240329BHJP

【ＦＩ】

G06F3/0488

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022152114

(22)【出願日】2022-09-26

(71)【出願人】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】南迫 祐樹

(72)【発明者】

【氏名】草野 伸美

(72)【発明者】

【氏名】坂口 勝俊

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA43

5E555BA27

5E555BB27

5E555BC01

5E555CA12

5E555CB22

5E555CB66

5E555DB03

5E555DD01

5E555FA00

(57)【要約】

【課題】装置の機能や操作についてユーザが把握できていないような状態を非接触ＵＩで検知したときに、これらの情報をガイド情報として提示する。
【解決手段】ユーザによる操作面に対する非接触の特定状態を検知し、当該特定状態が検知されると操作面に対する操作方法の説明又は操作面に表示されているオブジェクトの機能の説明を提示させる情報処理装置１０とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
ユーザによる操作面に対する非接触の特定状態を検知し、
当該特定状態が検知されると前記操作面に対する操作方法の説明又は前記操作面に表示されているオブジェクトの機能の説明を提示させる、
情報処理装置。

【請求項2】

前記特定状態は、前記操作面に対する近接の検知が一定時間継続しつつ前記操作面に表示されている前記オブジェクトに対する操作が行われていない状態である、請求項１に記載の情報処理装置。

【請求項3】

前記操作面に対して近接の検知が行われた軌跡に応じて前記説明の内容を異ならせる、請求項１に記載の情報処理装置。

【請求項4】

前記操作方法は、前記操作面に対するユーザの動きに応じたジェスチャ操作の方法の説明である、請求項１に記載の情報処理装置。

【請求項5】

前記操作方法は、前記操作面に対して非接触で行われるユーザの動きに応じたジェスチャ操作の方法の説明である、請求項４に記載の情報処理装置。

【請求項6】

前記操作面において近接の検知が行われた領域を避けて前記説明を表示させる、請求項１～５のいずれか１項に記載の情報処理装置。

【請求項7】

コンピュータに、
ユーザによる操作面に対する非接触の特定状態を検知させ、
当該特定状態が検知されると前記操作面に対する操作方法の説明又は前記操作面に表示されているオブジェクトの機能の説明を提示させる、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、指やスタイラスなどの操作体を操作面に直接触れさせずに、当該操作体によって当該操作面に対する操作を行う非接触操作が可能な情報処理装置が提案されている。

【0003】

例えば、特許文献１には、物体の近接及び接触を入力として検知する入力検知部と、検知された入力の座標に基づいて入力されたイベントの種別を判別するイベント種別判別部と、アプリケーションに対する処理モードの情報を取得するモード情報取得部と、イベントの種別と取得された処理モードを含むデータを情報処理装置へ送信する送信部と、を備えた入力処理装置が開示されている。

【0004】

また、特許文献２には、指などのタッチスクリーン上の接触面積を推定する演算を行い、指などがタッチスクリーンに接触したのか近接したのかを判定し、近接時に接触面積に適した画像の拡大処理を行う技術が開示されている。

【0005】

また、特許文献３には、タッチパネルへの物体の近接及び接触状態を検知する近接／接触判定部と、近接及び接触状態を検知した場合にタッチパネルに対する物体の相対的な近接及び接触位置座標を検出する座標検出部と、近接位置座標の時間変化に基づいて物体のタッチパネルへの近接速度を算出する近接速度算出部と、接触位置座標及び近接速度に応じて表示部の画面表示を制御するコンテンツ制御部とを備えたユーザインタフェース装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４－２４１０３３号公報

【特許文献2】特開２０１１－１３４１１１号公報

【特許文献3】特開２０１０－２０５０５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、接触式又は非接触式のユーザインタフェースを搭載した装置において、その装置でどのような処理が可能であるのか、どのような操作が可能であるか等を把握できていない場合がある。

【0008】

また、接触式又は非接触式のユーザインタフェースを用いる場合、ジェスチャ操作による入力が一般的に採用されている。ジェスチャ操作の方法をユーザが把握している場合には直感的に簡便に操作することができるというメリットがある。一方、ユーザがどのようなジェスチャ操作が可能であるか把握していない場合には提供されている機能を使いこなせないことがある。

【0009】

このように、装置の機能や操作についてユーザが把握できていないような状態を非接触ＵＩで検知したときに、ユーザにこれらの情報を適切に把握させることができなかった。

【課題を解決するための手段】

【0010】

請求項１に係る発明は、プロセッサを備え、前記プロセッサは、ユーザによる操作面に対する非接触の特定状態を検知し、当該特定状態が検知されると前記操作面に対する操作方法の説明又は前記操作面に表示されているオブジェクトの機能の説明を提示させる、情報処理装置である。

【0011】

請求項２に係る発明は、前記特定状態は、前記操作面に対する近接の検知が一定時間継続しつつ前記操作面に表示されている前記オブジェクトに対する操作が行われていない状態である、請求項１に記載の情報処理装置である。

【0012】

請求項３に係る発明は、前記操作面に対して近接の検知が行われた軌跡に応じて前記説明の内容を異ならせる、請求項１に記載の情報処理装置である。

【0013】

請求項４に係る発明は、前記操作方法は、前記操作面に対するユーザの動きに応じたジェスチャ操作の方法の説明である、請求項１に記載の情報処理装置である。

【0014】

請求項５に係る発明は、前記操作方法は、前記操作面に対して非接触で行われるユーザの動きに応じたジェスチャ操作の方法の説明である、請求項４に記載の情報処理装置である。

【0015】

請求項６に係る発明は、前記操作面において近接の検知が行われた領域を避けて前記説明を表示させる、請求項１～５のいずれか１項に記載の情報処理装置である。

【0016】

請求項７に係る発明は、コンピュータに、ユーザによる操作面に対する非接触の特定状態を検知させ、当該特定状態が検知されると前記操作面に対する操作方法の説明又は前記操作面に表示されているオブジェクトの機能の説明を提示させる、情報処理プログラムである。

【発明の効果】

【0017】

請求項１及び請求項７に係る発明によれば、装置の機能や操作についてユーザが把握できていないような状態を非接触ＵＩで検知したときに、これらの情報をガイド情報として提示することができる。

【0018】

請求項２に係る発明によれば、操作面に対する近接の検知が一定時間継続しつつ操作面に表示されているオブジェクトに対する操作が行われていない状態であるときにガイド情報を提供することができる。

【0019】

請求項３に係る発明によれば、近接の検知が行われた軌跡に応じてガイド情報の表示を異ならせてガイド情報を提供することができる。

【0020】

請求項４に係る発明によれば、操作面に対するユーザの動きに応じたジェスチャ操作の方法を提示することができる。

【0021】

請求項５に係る発明によれば、操作面に対して非接触で行われるユーザの動きに応じたジェスチャ操作の方法を提示することができる。

【0022】

請求項６に係る発明によれば、操作面において近接の検知が行われた領域を避けて説明を表示させることでガイド情報を把握し易くすることができる。

【図面の簡単な説明】

【0023】

【図1】本実施形態に係る情報処理装置の構成概略図である。

【図2】操作面に対向する空間領域及びそれに対する操作の様子を示す図である。

【図3】操作面に対向する空間領域及びそれに対する操作の様子を示す図である。

【図4】本実施形態に係る情報処理方法を示すフローチャートである。

【図5】操作面に表示されたメニュー画面の例を示す図である。

【図6】ガイド情報が表示されたメニュー画面の例を示す図である。

【図7】一部が近接検知領域に覆われたメニュー画面の例を示す図である。

【図8】近接検知領域を避けてガイド情報が表示されたメニュー画面の例を示す図である。

【図9】近接検知領域を避けてガイド情報が表示されたメニュー画面の別例を示す図である。

【図10】ヒントボタンが表示されたメニュー画面の例を示す図である。

【図11】ヒントボタンに対応するガイド情報が表示されたメニュー画面の例を示す図である。

【図12】ジェスチャ操作として有効でない非接触の特定状態の例を説明する図である。

【図13】ジェスチャ操作として有効でない非接触の特定状態に応じてガイド情報が表示されたメニュー画面の例を示す図である。

【図14】ジェスチャ操作として有効でない非接触の特定状態の別例を説明する図である。

【図15】ジェスチャ操作として有効でない非接触の特定状態に応じてガイド情報が表示されたメニュー画面の別例を示す図である。

【図16】ジェスチャ操作として有効でない非接触の特定状態の例を説明する図である。

【図17】ジェスチャ操作として有効でない非接触の特定状態に応じてガイド情報をアニメーション表示させる例を示す図である。

【図18】ジェスチャ操作として有効でない非接触の特定状態に応じてガイド情報をアニメーション表示させる別例を示す図である。

【発明を実施するための形態】

【0024】

図１は、本実施形態に係る情報処理装置１０の構成概略図である。詳しくは後述するように、情報処理装置１０は非接触操作が可能なユーザインタフェース（ＵＩ）を備えた装置である。非接触操作とは、操作体を操作面に直接触れさせずに、当該操作体によって操作面に対する操作を行うことである。なお、非接触操作は、ホバー操作とも呼ばれる。接触操作とは、操作体を操作面に直接触れて当該操作体によって操作面に対する操作を行うことである。操作体とは、操作を行うためのものであり、例えばユーザの指やスタイラスなどである。

【0025】

本実施形態では、情報処理装置１０は、プリント機能、コピー機能、スキャン機能などを有し、ユーザからの処理命令（ジョブ）に応じてプリント処理、コピー処理、又はスキャン処理などを実行する複合機であるが、情報処理装置１０はこれには限られず、非接触操作が可能である限りにおいてどのような装置であってもよい。

【0026】

図１に示す通り、情報処理装置１０は、ディスプレイ１２、物体センサ１４、メモリ１６、及びプロセッサ１８を含んで構成される。図示しないが、情報処理装置１０は、これらの他、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの通信回線を介して他の装置と通信するための通信インターフェース（例えばＮＩＣ（Network Interface Card）など）、及び、プリント処理やスキャン処理を実行する処理装置（例えばプリンタやスキャナなど）を備えていてもよい。

【0027】

ディスプレイ１２は、操作画面を表示するための表示部を構成する。ディスプレイ１２は、例えば、液晶パネルや有機ＥＬ（Electro Luminescence）パネルを含んで構成される。ディスプレイ１２には、プロセッサ１８によって種々の画面が表示される。例えば、ディスプレイ１２には、非接触操作又は接触操作の対象となるオブジェクトを含む操作画面が表示される。オブジェクトは、ユーザが操作する操作アイコンや各種ボタン等とすることができる。

【0028】

物体センサ１４は、物体の近接又は接触を検知する検知部を構成する。物体センサ１４は、ディスプレイ１２の表示面に接触又は非接触で近接する物体を検知するセンサである。詳しくは、物体センサ１４は、ディスプレイ１２に近づいてきた又は接触した物体の有無、及び、その物体の位置を検知する。物体の位置とは、ディスプレイ１２に平行な平面方向における位置、及び、ディスプレイ１２の垂線方向における位置を含む。物体センサ１４は、ディスプレイ１２に対する非接触操作及び接触操作を行うための操作体のみならず、ディスプレイ１２に近づいてきたあらゆる物体を検知する。

【0029】

本実施形態では、ディスプレイ１２の表示面が操作の対象である操作面に相当する。すなわち、ユーザが操作する操作アイコンや各種ボタン等を含む操作画面が操作面の一部又は全体に表示される。以下の説明では、操作面を単にディスプレイ１２と示す。

【0030】

物体の検知方法としては、既知の種々の方法を採用することができる。例えば、物体センサ１４は、ディスプレイ１２と物体との間の静電容量変化を検知する静電容量センサであってよい。この場合、プロセッサ１８は、物体センサ１４が検知したディスプレイ１２と物体との間の静電容量変化に応じて、物体の有無及び位置を検知することができる。あるいは、物体センサ１４は、光を検知する光センサであってもよい。この場合、不図示の光源からディスプレイ１２の表示面方向に赤外線やレーザ光を出射させ、物体センサ１４は、その反射光、特に物体からの反射光を検知する。プロセッサ１８は、物体センサ１４が検知した反射光に基づいて、物体の有無及び位置を検知することができる。このような物体センサ１４をディスプレイ１２と重ね合わせて配置することによって、ディスプレイ１２に近接又は接触する物体を検知することができる。

【0031】

物体を検知したこと及び検知した物体の位置を示す検知信号は、物体センサ１４からプロセッサ１８に送信される。

【0032】

メモリ１６は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ｅＭＭＣ（embedded Multi Media Card）、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Random Access Memory）などを含んで構成される。メモリ１６には、情報処理装置１０の各部を動作させるための情報処理プログラムが記憶される。なお、情報処理プログラムは、ＵＳＢ（Universal Serial Bus）メモリ又はＣＤ－ＲＯＭなどのコンピュータ読み取り可能な非一時的な記憶媒体に格納することもできる。情報処理装置１０は、そのような記憶媒体から情報処理プログラムを読み取って実行することができる。

【0033】

プロセッサ１８は、広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（Central Processing Unit）など）、及び、専用の処理装置（例えばＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、あるいは、プログラマブル論理デバイスなど）の少なくとも１つを含んで構成される。プロセッサ１８としては、１つの処理装置によるものではなく、物理的に離れた位置に存在する複数の処理装置の協働により構成されるものであってもよい。図１に示すように、プロセッサ１８は、メモリ１６に記憶された情報処理プログラムに従って、物体検知部２０、入力判定部２２、操作判定部２４、ガイド提示処理部２６、及び情報処理部２８としての機能を発揮する。

【0034】

物体検知部２０は、物体センサ１４からの検知信号に基づいて、ディスプレイ１２に対向する空間領域にある物体を検知する。図２及び図３を参照しつつ、物体検知部２０の処理を具体的に説明する。図２及び図３は、ディスプレイ１２に対向する空間領域３０、及び、空間領域３０に少なくとも一部が位置する操作体３２を示す。ディスプレイ１２と平行な方向（ディスプレイ１２の横方向）をＸｐ軸とし、ディスプレイ１２と平行な方向であってＸｐ軸に垂直な方向（ディスプレイ１２の縦方向）をＹｐ軸とし、ディスプレイ１２の垂線方向をＺｐ軸としている。

【0035】

ディスプレイ１２に対向する空間領域３０とは、ディスプレイ１２をＺｐ軸の正方向に平行移動させたときにディスプレイ１２が通過する領域であって、Ｚｐ軸方向におけるディスプレイ１２からの距離が所定距離以内の領域である。なお、当該所定距離、つまり空間領域３０のＺｐ軸方向の長さは、物体センサ１４の検知可能範囲に応じて決定される。すなわち、当該所定距離は、物体センサ１４による物体の検知可能距離であってもよい。

【0036】

図２に示すように、物体がディスプレイ１２に近づいてくると、物体センサ１４は操作体３２を検知する。具体的には、物体センサ１４は、情報処理装置１０を操作するための操作体３２の各部位、例えば操作体３２の人差し指の先端や親指の先端などを検知する。空間領域３０にある物体は移動し得るため、物体検知部２０は、単位時間間隔で空間領域３０内にある物体の各部位の位置を検知する。ここで、単位時間間隔とは、例えば数ミリ秒間隔あるいはそれ以下の時間間隔である。物体検知部２０は、物体の各部位の位置を示す検知信号をプロセッサ１８に送信する。

【0037】

入力判定部２２は、物体検知部２０が検知した物体の各部位の位置のうち最近接部位の位置に対応するディスプレイ１２上の位置Ａをユーザの接触又は非接触の操作による指示入力位置として判定する。入力判定部２２は、物体センサ１４からの検知信号に基づいて、空間領域３０にある各部位のＺｐ軸方向におけるディスプレイ１２からの距離Ｌｖを比較する。そして、空間領域３０にある各部位のうち、距離Ｌｖが最も小さい部位を最近接部位として判定する。接触操作の場合、最近接部位における距離Ｌｖは０となる。

【0038】

図２の例では、物体センサ１４が検知した空間領域３０にある物体の部位として、代表的に、操作体３２の人差し指の先端である部位３２ａ及び親指の先端である部位３２ｂが示されている。物体検知部２０は、部位３２ａとディスプレイ１２との間のＺｐ軸方向の距離Ｌｖａ、部位３２ｂとディスプレイ１２との間のＺｐ軸方向の距離Ｌｖｂ、その他の空間領域３０にある物体の部位とディスプレイ１２との間のＺｐ軸方向の距離Ｌｖとを比較し、距離Ｌｖａが最も小さいので、距離Ｌｖａに対応する部位３２ａを最近接部位として判定する。

【0039】

最近接部位の位置に対応するディスプレイ１２上の位置Ａとは、最近接部位とＸｐ座標及びＹｐ座標が同じディスプレイ１２上の点である。すなわち、最近接部位の位置がＸｐＹｐＺｐ空間の座標（Ｘｐ，Ｙｐ，Ｚｐ）＝（ｘ，ｙ，ｚ）で表されるならば、指示入力位置は、ディスプレイ１２上の座標（Ｘｐ，Ｙｐ）＝（ｘ，ｙ）となる。

【0040】

上記のように、空間領域３０にある物体は移動し得るため、入力判定部２２は、物体センサ１４からの検知信号に基づいて単位時間間隔で最近接部位及びそれに対応するディスプレイ１２上の位置Ａを判定する。

【0041】

操作判定部２４は、入力判定部２２による最近接部位及びそれに対応するディスプレイ１２上の位置Ａの判定結果に応じて情報処理装置１０に対する操作の内容を判定する。操作の内容とは、非接触又は接触による操作が行われたか否か、ディスプレイ１２に表示されたどの操作アイコンに対して操作が行われたか、等のあらゆる操作の内容を意味する。

【0042】

例えば、操作判定部２４は、接触操作が行われたディスプレイ１２の指示入力位置に何らかの処理が関連付けられた操作アイコンが表示されていれば、当該指示入力位置を判定することで、当該操作アイコンに対する接触操作が行われたと判定することができる。また、ジェスチャ操作が可能である場合、操作判定部２４は、指示入力位置の時間的な変化に応じてジェスチャ操作が行われたと判定することができる。

【0043】

ジェスチャ操作とは、操作面に接触した状態でユーザの動きに応じて行うことが可能な操作である。ジェスチャ操作とは、操作体３２の動き、換言すれば、指示入力位置の動き（動作パターン）に応じた操作を意味する。すなわち、指示入力位置の動作パターンと処理内容とを予め関連付けておくことにより、操作判定部２４は、指示入力位置の動作パターンを検知し、検知した動作パターンに応じて指示内容を判定することができる。プロセッサ１８は、特定されたジェスチャに関連付けられた処理を実行する。

【0044】

例えば、接触操作が行われたディスプレイ１２の指示入力位置をスライドさせるように所定の時間内に連続的に移動させる操作が行われた場合、当該スライドの方向に操作画面をスクロールさせる操作が行われたと判定することができる。操作判定部２４は、その他、複数の指示入力位置の移動に応じて操作画面を縮小させるピンチイン、複数の指示入力位置の移動に応じて操作画面を拡大させるピンチアウト等の他のジェスチャ操作を判定できるようにしてもよい。

【0045】

また、操作判定部２４は、非接触操作が行われたディスプレイ１２の指示入力位置に何らかの処理が関連付けられた操作アイコンが表示されていれば、当該指示入力位置を判定することで、当該操作アイコンに対する非接触操作が行われたと判定することができる。例えば、ディスプレイ１２上に表示された操作アイコンの領域内に操作体３２の指示入力位置が維持されつつ、ディスプレイ１２と操作体３２との距離Ｌｖが所定の速さ以上で近づいたときに当該操作アイコンに対する非接触操作が行われたと判定することができる。このように、ユーザは操作体３２をディスプレイ１２に接触させずに、操作体３２を空間領域３０で動かすことによって指示入力位置を動かしてジェスチャによる指示入力を行うことができる。

【0046】

非接触操作の場合も、指示入力位置の動作パターンと処理内容とを予め関連付けておくことにより、操作判定部２４は、指示入力位置の動作パターンを検知し、検知した動作パターンに応じて指示内容を判定することができる。プロセッサ１８は、特定されたジェスチャに関連付けられた処理を実行する。

【0047】

さらに、操作判定部２４は、操作面に対する非接触の特定状態も判定する。非接触の特定状態とは、操作面に対する非接触の物体の検出がされているが、操作面に表示されているオブジェクトに対する操作として有効でない状態又は動きが検知された状態を意味する。非接触の特定状態は、情報処理装置１０に対してユーザが操作体３２によって何らかの操作をしようと試みているが、どのように操作をしたらよいのか分からないようなときに発生する状態である。

【0048】

非接触の特定状態は、例えば、物体センサ１４によって非接触での物体の検知はなされているが、操作面に表示されているオブジェクトに対する操作として有効でない状態が所定の基準時間以上に亘って維持されている状態とすることができる。例えば、ユーザが情報処理装置１０に対して何らかの操作を行おうとして操作体３２を物体センサ１４に近接させているが、どのように操作してよいのか分からず、操作体３２を動かさずに考えている状態である。この場合、操作判定部２４は、ユーザが操作体３２を物体センサ１４に近接させた状態で所定の基準時間に亘って操作として有効でない状態を続けている状態を判定する。

【0049】

ここで、基準時間は、適宜設定すればよい。基準時間は、例えば、一定値に固定してもよいし、操作画面に表示されているオブジェクトの数、種類、機能、使用状況等に応じて変更するようにしてもよい。例えば、操作画面に表示されているオブジェクトの数が多いほど当該操作画面に対して設定する基準時間を長くしてもよい。また、例えば、操作画面に表示されているオブジェクトの種類が多いほど当該操作画面に対して設定する基準時間を長くしてもよい。また、例えば、操作画面に表示されているオブジェクトの機能の内容に応じて基準時間の設定を変更してもよい。また、例えば、操作画面に表示されているオブジェクトの使用頻度が低いほど当該操作画面に対して設定する基準時間を長くしてもよい。また、基準時間は、操作画面毎に異ならせてもよい。例えば、操作画面毎に、ユーザが操作を迷っているときに操作として有効でない状態を続ける時間の統計的な平均値や中央値としてもよい。

【0050】

また、非接触の特定状態は、例えば、物体センサ１４によって非接触での物体の検知はなされているが、情報処理装置１０に対する操作として有効でないことを示す所定の動きのパターンが検出された状態とすることができる。例えば、操作判定部２４は、ユーザが情報処理装置１０に対して何らかの操作を行おうとして操作体３２を物体センサ１４に近接させ、操作体３２を操作面全体に亘って動かしたり、１つの操作アイコン上で小刻みに動かし続けていたりするような状態を非接触の特定状態として判定する。有効でないことを示す所定の動きのパターンは、例えば、検出された物体の最近接部位の位置（ｘ，ｙ，ｚ）の三次元的な動きで判定してもよいし、ディスプレイ１２上の座標（ｘ，ｙ）の二次元的な動きで判定してもよい。

【0051】

ガイド提示処理部２６は、情報処理装置１０に関するガイド情報を提示させる処理を行う。ガイド情報は、情報処理装置１０に関する情報であれば特に限定されるものではない。ガイド情報は、操作面に対する操作方法の説明又は操作面に表示されているオブジェクトの機能の説明とすることができる。例えば、ディスプレイ１２に表示されている操作面に対する操作に関する情報、現在の操作画面から他の操作画面へ遷移するための操作に関する情報、操作面に表示されているオブジェクトの機能に関する情報とすることができる。本実施の形態では、ガイド提示処理部２６は、操作判定部２４において非接触の特定状態と判定された場合にディスプレイ１２の画面にガイド情報を表示させる。また、ガイド提示処理部２６は、所定の条件が満たされると、ディスプレイ１２に表示させたガイド情報を消去する処理も行う。

【0052】

情報処理部２８は、情報処理装置１０における通常の情報処理を行う。情報処理部２８は、操作判定部２４においてディスプレイ１２に表示された操作アイコンに対して接触操作が行われたと判定された場合、当該操作アイコンに関連付けられた情報処理を実行する。また、情報処理部２８は、操作判定部２４において接触又は非接触によるジェスチャ操作が行われたと判定された場合、当該ジェスチャ操作に関連付けられた情報処理を実行する。

【0053】

なお、情報処理部２８における処理は、特に限定されるものではなく、情報処理装置１０において提供されるあらゆる処理を含むものであってよい。例えば、情報処理装置１０が複合機である場合、情報処理部２８は、コピー処理、ファックス処理、スキャン処理、プリント処理等を行うものであってもよい。

【0054】

［非接触の特定状態におけるガイド提示処理］
図４は、本実施の形態における非接触の特定状態におけるガイド提示処理を示すフローチャートである。プロセッサ１８は、メモリ１６に記憶された情報処理プログラムを実行することによって、各ステップにおける処理を実現する。以下、図４を参照して、非接触の特定状態におけるガイド提示処理について説明する。

【0055】

ステップＳ１０では、操作面に対する非接触の操作の検知が行われる。当該ステップにおける処理によって、プロセッサ１８は物体検知部２０及び入力判定部２２として機能する。物体センサ１４からの検知信号に基づいて、操作面上の空間領域にある物体を検知する。また、物体検知部２０が検知した物体の各部位の位置及び最近接部位の位置Ａを指示入力位置として判定する。

【0056】

ステップＳ１２では、非接触の特定状態であるか否かの判定が行われる。当該ステップにおける処理によって、プロセッサ１８は操作判定部２４として機能する。非接触の特定状態が行われた場合にはステップＳ１６に処理を移行させ、その他の接触又は非接触の操作が行われた場合にはステップＳ１４に処理を移行させる。

【0057】

例えば、物体センサ１４によって非接触での物体の検知はなされているが、情報処理装置１０に対する操作として有効でない状態が所定の基準時間以上に亘って維持されている状態である場合、非接触の特定状態であると判定してステップＳ１６に処理を移行させる。また、例えば、１つの操作アイコンの表示領域上において非接触な状態でジェスチャ操作として有効でない動きが検知された場合に非接触の特定状態であると判定してステップＳ１６に処理を移行させる。また、例えば、非接触な状態で操作面の全領域に亘って二次元的に満遍なくジェスチャ操作として有効でない動きが検知された場合に非接触の特定状態であると判定してステップＳ１６に処理を移行させる。また、例えば、ディスプレイ１２の操作面上の空間領域３０において、操作体３２の最近接部位の位置（ｘ，ｙ，ｚ）が所定の基準期間に亘って三次元的に所定の範囲内に収まり、ジェスチャ操作として有効でない動きが維持された場合に非接触の特定状態と判定してステップＳ１６に処理を移行させる。

【0058】

ステップＳ１４では、ステップＳ１２で行われた接触又は非接触の操作に応じた通常の情報処理が行われる。当該ステップにおける処理によって、プロセッサ１８は情報処理部２８として機能する。例えば、操作アイコンに対して接触操作が行われた場合には当該操作アイコンに関連付けられた情報処理を実行する。また、例えば、接触又は非接触によるジェスチャ操作が行われた場合、当該ジェスチャ操作に関連付けられた処理を実行する。

【0059】

ステップＳ１６では、非接触の特定状態に応じたガイド情報を表示する処理が行われる。当該ステップにおける処理によって、プロセッサ１８はガイド提示処理部２６として機能する。プロセッサ１８は、例えば、以下に示すようにガイド情報を表示させる処理を行う。

【0060】

図５は、ディスプレイ１２の操作面にシンプルなメニュー画面４０を表示した例を示す。メニュー画面４０には、リセットボタン４２及び複数の操作アイコン４４が表示されている。リセットボタン４２は、メニュー画面４０に対する操作をリセットする処理を指示するためのアイコンである。操作アイコン４４は、それぞれ情報処理装置１０における情報処理を指示するためのアイコンである。操作アイコン４４は、例えば、コピー、ファックス、スキャナー（メール送信）、スキャナー（ＰＣ保存）、ボックス操作、及びアドレス帳等の機能に関する処理を行うためのアイコンである。

【0061】

メニュー画面４０が表示されている状態において、非接触の物体が検知されているが、操作として有効でない状態が所定の基準時間以上に亘って維持された場合、表示されているメニュー画面４０において可能な操作や機能を説明するガイド情報を表示させる。例えば、図６に示すように、ディスプレイ１２の操作面においてガイド表示領域４６を設けて、当該ガイド表示領域４６にガイド情報を表示させる。

【0062】

図５及び図６のメニュー画面４０の例では、操作面に隣接させて予めガイド表示領域４６を設けて、当該領域にガイド情報を表示させる態様としたが、これに限定されるものではない。物体検知部２０及び入力判定部２２によって近接が検知されている領域を避けてガイド情報を表示させるようにしてもよい。例えば、図７に示すように、ディスプレイ１２の操作面において近接が検知されている近接検知領域４８がある場合、図８に示すように、操作アイコン４４等を縮小表示させて、近接検知領域４８を避けるようにガイド表示領域４６を設けてガイド情報を表示させてもよい。また、図９に示すように、リセットボタン４２及び操作アイコン４４の少なくとも一部をスライドさせて表示し、近接検知領域４８を避けるようにガイド表示領域４６を設けてガイド情報を表示させてもよい。

【0063】

このように、非接触の特定状態と判定された場合にディスプレイ１２に表示されているメニュー画面４０に関するガイド情報を表示することができる。これによって、ユーザはメニュー画面４０の操作や機能について把握することができる。

【0064】

また、非接触の特定状態と判定された場合、リセットボタン４２及び操作アイコン４４において可能な操作や機能に関するヒントをガイド情報として表示させてもよい。例えば、図１０に示すように、操作や機能に関するヒントを表示させるためのヒントボタン５０をリセットボタン４２及び操作アイコン４４の各々の配置に合わせて表示させるようにしてもよい。ガイド情報の表示を必要とするリセットボタン４２及び操作アイコン４４に合わせて表示されたヒントボタン５０に対して接触のクリック操作やタッチ操作や非接触のジェスチャ操作を行うことによって操作や機能に関するガイド情報を表示させる。例えば、図１１に示すように、操作画面において吹き出し領域５２を設けて、当該吹き出し領域５２に操作や機能に関するガイド情報を表示させればよい。また、図６と同様に、操作面に隣接させて予めガイド表示領域４６を設けて、当該領域にガイド情報を表示させるようにしてもよい。また、ガイド情報を表示させるためのミニアイコンを表示させてもよい。

【0065】

このように、非接触の特定状態と判定された場合にリセットボタン４２及び操作アイコン４４の各々に対する指定に応じて、指摘されたリセットボタン４２及び操作アイコン４４に関する操作や機能について表示させることができる。これによって、ユーザはメニュー画面４０の操作や機能について必要に応じて把握することができる。

【0066】

また、図１２に矢印で示すように、１つの操作アイコン４４の表示領域上において非接触な状態でジェスチャ操作として有効でない動きを操作体３２が示している場合に非接触の特定状態が行われたと判定してステップＳ１６に処理を移行させてもよい。このとき、近接の検知が行われた軌跡に応じてガイド情報としての説明の内容を異ならせてもよい。

【0067】

例えば、所定の基準時間に亘って検知された最近接部位の二次元的な位置Ａの軌跡長の基準割合以上が１つの操作アイコン４４の表示領域上であった場合に非接触の特定状態が行われたと判定すればよい。例えば、１０秒間に亘って検知された最近接部位の二次元的な位置Ａの軌跡長の８０％以上が１つの操作アイコン４４の表示領域上であった場合に非接触の特定状態が行われたと判定すればよい。このように非接触の特定状態が行われたと判定された場合、当該操作アイコン４４に関するガイド情報を表示させる。例えば、図１３に示すように、当該操作アイコン４４に対して吹き出し領域５２を表示させて、当該吹き出し領域５２に当該操作アイコン４４に関するガイド情報を表示させてもよい。

【0068】

ただし、基準割合は、８０％に限定されるものではなく、適宜設定すればよい。基準割合は、例えば、メニュー画面４０に表示されているオブジェクトの数、種類、機能、使用状況、表示領域のサイズ等に応じて変更するようにしてもよい。例えば、メニュー画面４０に表示されているオブジェクトの数が多いほど当該基準割合を低い値にしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの種類が多いほど基準割合を低い値にしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの機能の内容に応じて基準割合の設定を変更してもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの使用頻度が低いほど基準割合を低い値にしてもよい。また、基準割合は、操作画面毎に異ならせてもよい。

【0069】

また、基準時間は、１０秒に限定されるものではなく、適宜設定すればよい。基準時間は、例えば、メニュー画面４０に表示されているオブジェクトの数、種類、機能、使用状況、表示領域のサイズ等に応じて変更するようにしてもよい。例えば、メニュー画面４０に表示されているオブジェクトの数が多いほど当該基準時間を長くしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの種類が多いほど基準時間を長くしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの機能の内容に応じて基準時間の設定を変更してもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの使用頻度が低いほど基準時間を長くしてもよい。また、基準時間は、操作画面毎に異ならせてもよい。

【0070】

これによって、ユーザが実行したいが操作に迷っているボタンやアイコン等を特定し、当該ボタンやアイコンに関する操作や機能についてガイド情報を提供することができる。したがって、ユーザは、操作に迷っているボタンやアイコン等に関するガイド情報を的確に把握することができる。

【0071】

また、図１４に矢印で示すように、メニュー画面４０上において操作体３２が非接触な状態で全領域に亘って満遍なくジェスチャ操作として有効でない動きを示している場合に非接触の特定状態が行われたと判定してステップＳ１６に処理を移行させてもよい。例えば、所定の基準時間に亘って検知された最近接部位の二次元的な位置Ａの軌跡長について各操作アイコン４４の表示領域上にある割合がいずれも基準割合未満であった場合に非接触の特定状態が行われたと判定すればよい。例えば、１０秒間に亘って検知された最近接部位の位置Ａの軌跡長の１０％未満しか各操作アイコン４４上にない場合に非接触の特定状態が行われたと判定すればよい。

【0072】

ただし、基準割合は、１０％に限定されるものではなく、適宜設定すればよい。基準割合は、例えば、メニュー画面４０に表示されているオブジェクトの数、種類、機能、使用状況、表示領域のサイズ等に応じて変更するようにしてもよい。例えば、メニュー画面４０に表示されているオブジェクトの数が多いほど当該基準割合を低い値にしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの種類が多いほど基準割合を低い値にしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの機能の内容に応じて基準割合の設定を変更してもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの使用頻度が低いほど基準割合を低い値にしてもよい。また、基準割合は、操作画面毎に異ならせてもよい。

【0073】

また、基準時間は、１０秒に限定されるものではなく、適宜設定すればよい。基準時間は、例えば、メニュー画面４０に表示されているオブジェクトの数、種類、機能、使用状況、表示領域のサイズ等に応じて変更するようにしてもよい。例えば、メニュー画面４０に表示されているオブジェクトの数が多いほど当該基準時間を長くしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの種類が多いほど基準時間を長くしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの機能の内容に応じて基準時間の設定を変更してもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの使用頻度が低いほど基準時間を長くしてもよい。また、基準時間は、操作画面毎に異ならせてもよい。

【0074】

このように非接触の特定状態が行われたと判定された場合、メニュー画面４０全体に対する操作や機能、他のメニュー画面への移行に対する操作に関するガイド情報を表示させる。例えば、図１５に示すように、吹き出し領域５４を設けて、メニュー画面４０をスクロールさせる操作に関するガイド情報やメニュー画面４０から他のメニュー画面に遷移させる操作に関するガイド情報を表示させてもよい。

【0075】

これによって、メニュー画面４０全体に対する操作や機能についてガイド情報を提供することができる。したがって、ユーザは、何か操作を行いたいがどのように操作したら良いか分からない、又は、メニュー画面４０上に見付からない状態等においてガイド情報を的確に把握することができる。

【0076】

また、非接触のジェスチャ操作が可能な場合、非接触の特定状態と判定された場合にジェスチャ操作の方法を示すガイド情報を表示させてもよい。例えば、図１６に示すように、ディスプレイ１２の操作面上の空間領域３０において、操作体３２の最近接部位の三次元的な位置（ｘ，ｙ，ｚ）が所定の基準期間に亘って所定の基準範囲（ｘ±Δｘ，ｙ±Δｙ，ｚ±Δｚ）内に収まり、ジェスチャ操作として有効でない動きが維持された場合に非接触の特定状態と判定する。

【0077】

非接触の特定状態と判定された場合、メニュー画面４０においてどのような非接触のジェスチャ操作ができるのかを示すガイド情報を表示させる。例えば、非接触のジェスチャ操作である「空中タップ」をガイド情報として表示させる場合、図１７に示すように、操作体３２の例である「手」の画像５６を時間的に拡大及び縮小を繰り返すアニメーションを表示する。また、図１８に示すように、メニュー画面４０を三次元表現に切り替えて、操作体３２の例である「手」の画像５８をディスプレイ１２の操作面に近づけるようなアニメーションを表示させてもよい。

【0078】

また、ユーザがジェスチャ操作を登録できる構成である場合、登録されているジェスチャ操作の方法を１つずつ順番に表示させてもよい。例えば、ディスプレイ１２に現在表示されているメニュー画面４０において可能なジェスチャ操作の方法を１つずつ順番に表示させてもよい。

【0079】

ただし、基準範囲（ｘ±Δｘ，ｙ±Δｙ，ｚ±Δｚ）は、適宜設定すればよい。基準範囲は、例えば、メニュー画面４０に表示されているオブジェクトの数、種類、機能、使用状況、表示領域のサイズ等に応じて変更するようにしてもよい。例えば、メニュー画面４０に表示されているオブジェクトの数が多いほど当該基準範囲を小さい範囲にしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの種類が多いほど基準範囲を小さい範囲にしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの機能の内容に応じて基準範囲の設定を変更してもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの使用頻度が低いほど基準範囲を小さい範囲にしてもよい。また、基準範囲は、操作画面毎に異ならせてもよい。

【0080】

また、基準時間は、適宜設定すればよい。基準時間は、例えば、メニュー画面４０に表示されているオブジェクトの数、種類、機能、使用状況、表示領域のサイズ等に応じて変更するようにしてもよい。例えば、メニュー画面４０に表示されているオブジェクトの数が多いほど当該基準時間を長くしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの種類が多いほど基準時間を長くしてもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの機能の内容に応じて基準時間の設定を変更してもよい。また、例えば、メニュー画面４０に表示されているオブジェクトの使用頻度が低いほど基準時間を長くしてもよい。また、基準時間は、操作画面毎に異ならせてもよい。

【0081】

なお、ガイド情報の提示態様は、上記例に限定されるものではなく、ユーザがガイド情報を把握できる態様であればよい。例えば、視覚情報として表示するのではなく、音声等の聴覚情報や振動等の触覚情報によってガイド情報を提示する態様としてもよい。

【0082】

また、所定の条件に応じてガイド情報の提示を止めてもよい。例えば、接触操作が行われた場合、又は、非接触で操作面に対して有効な操作が行われ他場合、ガイド情報の提示を止めてもよい。また、例えば、非接触の特定状態が解消された場合や物体センサ１４による物体の検知が無くなった場合にガイド情報の提示を止めてもよい。

【0083】

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

【0084】

（付記）
（（（１）））
プロセッサを備え、
前記プロセッサは、
ユーザによる操作面に対する非接触の特定状態を検知し、
当該特定状態が検知されると前記操作面に対する操作方法の説明又は前記操作面に表示されているオブジェクトの機能の説明を提示させる、
情報処理装置。
（（（２）））
前記特定状態は、前記操作面に対する近接の検知が一定時間継続しつつ前記操作面に表示されている前記オブジェクトに対する操作が行われていない状態である、（（（１）））に記載の情報処理装置。
（（（３）））
前記操作面に対して近接の検知が行われた軌跡に応じて前記説明の内容を異ならせる、（（（１）））又は（（（２）））に記載の情報処理装置。
（（（４）））
前記操作方法は、前記操作面に対するユーザの動きに応じたジェスチャ操作の方法の説明である、（（（１）））～（（（３）））のいずれか１項に記載の情報処理装置。
（（（５）））
前記操作方法は、前記操作面に対して非接触で行われるユーザの動きに応じたジェスチャ操作の方法の説明である、（（（４）））に記載の情報処理装置。
（（（６）））
前記操作面において近接の検知が行われた領域を避けて前記説明を表示させる、（（（１）））～（（（５）））のいずれか１項に記載の情報処理装置。
（（（７）））
コンピュータに、
ユーザによる操作面に対する非接触の特定状態を検知させ、
当該特定状態が検知されると前記操作面に対する操作方法の説明又は前記操作面に表示されているオブジェクトの機能の説明を提示させる、
情報処理プログラム。

【0085】

（（（１）））及び（（（７）））に係る発明によれば、装置の機能や操作についてユーザが把握できていないような状態を非接触ＵＩで検知したときに、これらの情報をガイド情報として提示することができる。
（（（２）））に係る発明によれば、操作面に対する近接の検知が一定時間継続しつつ操作面に表示されているオブジェクトに対する操作が行われていない状態であるときにガイド情報を提供することができる。
（（（３）））に係る発明によれば、近接の検知が行われた軌跡に応じてガイド情報の表示を異ならせてガイド情報を提供することができる。
（（（４）））に係る発明によれば、操作面に対するユーザの動きに応じたジェスチャ操作の方法を提示することができる。
（（（５）））に係る発明によれば、操作面に対して非接触で行われるユーザの動きに応じたジェスチャ操作の方法を提示することができる。
（（（６）））に係る発明によれば、操作面において近接の検知が行われた領域を避けて説明を表示させることでガイド情報を把握し易くすることができる。

【符号の説明】

【0086】

１０ 情報処理装置、１２ ディスプレイ、１４ 物体センサ、１６ メモリ、１８ プロセッサ、２０ 物体検知部、２２ 入力判定部、２４ 操作判定部、２６ ガイド提示処理部、２８ 情報処理部、３０ 空間領域、３２ 操作体、３２ａ，３２ｂ 部位、４０ メニュー画面、４２ リセットボタン、４４ 操作アイコン、４６ ガイド表示領域、４８ 近接検知領域、５０ ヒントボタン、５２，５４ 吹き出し領域、５６，５８ 手の画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】