(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024141006
(43)【公開日】2024-10-10
(54)【発明の名称】情報処理システム及び情報処理プログラム
(51)【国際特許分類】
G06F 3/0482 20130101AFI20241003BHJP
G06F 3/0484 20220101ALI20241003BHJP
【FI】
G06F3/0482
G06F3/0484
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023052423
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】堀口 武志
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA02
5E555BA04
5E555BA27
5E555BA31
5E555BB04
5E555BB27
5E555BB31
5E555CA11
5E555CB23
5E555CB24
5E555CB33
5E555CB42
5E555CC03
5E555DB12
5E555DB18
5E555DC31
5E555DC35
5E555DC72
5E555DC84
5E555FA00
(57)【要約】
【課題】画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、選択状態でないオブジェクトに対する操作を受け付ける場合と比較して、誤操作を抑制する。
【解決手段】情報処理システムは、プロセッサを備え、前記プロセッサは、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付ける。
【選択図】
図24
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付ける
情報処理システム。
【請求項2】
前記プロセッサは、前記第一領域において前記対象物が前記オブジェクト上で検知されると、当該オブジェクトの周囲に枠を表示させる
請求項1に記載の情報処理システム。
【請求項3】
前記プロセッサは、前記オブジェクトの周囲に枠を表示させた状態で前記対象物が前記第二領域へ移動すると、前記枠が表示された前記オブジェクトを選択状態として前記枠の色を変える
請求項2に記載の情報処理システム。
【請求項4】
前記画面内に複数の前記オブジェクトが含まれており、
前記プロセッサは、選択されなかった前記オブジェクトの色を変える
請求項1に記載の情報処理システム。
【請求項5】
前記画面内に複数の前記オブジェクトが含まれており、
前記プロセッサは、前記オブジェクトが選択された状態で前記対象物が第二領域から前記第一領域へ移動すると、前記第一領域において前記オブジェクトの選択を再度受け付ける
請求項1に記載の情報処理システム。
【請求項6】
前記画面内に複数の前記オブジェクトが含まれており、
前記プロセッサは、前記第二領域において、前記対象物が選択されなかった前記オブジェクト上で予め定められた時間検知されると、選択されなかった前記オブジェクトを選択状態に遷移して、選択状態の前記オブジェクトに対する操作を受け付ける
請求項1に記載の情報処理システム。
【請求項7】
前記プロセッサは、前記画面上で前記対象物を検知すると、前記検知した位置から前記画面までの空間を前記第一領域及び前記第二領域を含むように区切る
請求項1に記載の情報処理システム。
【請求項8】
前記プロセッサは、前記検知した位置から前記画面までの距離が予め定められた閾値よりも短い場合、前記画面に情報を表示させる
請求項7に記載の情報処理システム。
【請求項9】
前記第一領域には、前記画面を遷移させる操作が割り当てられており、
前記プロセッサは、前記第一領域において前記対象物が予め定められた時間留まっている状態が検知されると、前記画面を遷移させる操作を受け付ける
請求項1に記載の情報処理システム。
【請求項10】
前記プロセッサは、前記オブジェクトが選択された状態で前記画面を遷移させる操作が行われると、前記オブジェクトの選択状態を解除する
請求項9項に記載の情報処理システム。
【請求項11】
画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付けることを、
コンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献1には、情報を表示する表示部の表示面に近接する空間領域内において検知された、該表示面に接触していない操作体の位置に対応する、上記表示面における位置を決定する位置決定手段と、上記空間領域内で検知された上記操作体の所定の動きに基づいて、入力操作を特定する操作特定手段と、上記位置決定手段が決定した位置、および上記操作特定手段が特定した上記入力操作に基づいて、所定の処理を実行する実行手段と、を備えることを特徴とする情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、選択状態でないオブジェクトに対する操作を受け付ける場合と比較して、誤操作を抑制することを目的とする。
【課題を解決するための手段】
【0005】
第1態様に係る情報処理システムは、プロセッサを備え、前記プロセッサは、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付ける。
【0006】
第2態様に係る情報処理システムは、第1態様に係る情報処理システムにおいて、前記プロセッサは、前記第一領域において前記対象物が前記オブジェクト上で検知されると、当該オブジェクトの周囲に枠を表示させる。
【0007】
第3態様に係る情報処理システムは、第2態様に係る情報処理システムにおいて、前記プロセッサは、前記オブジェクトの周囲に枠を表示させた状態で前記対象物が前記第二領域へ移動すると、前記枠が表示された前記オブジェクトを選択状態として前記枠の色を変える。
【0008】
第4態様に係る情報処理システムは、第1態様に係る情報処理システムにおいて、前記画面内に複数の前記オブジェクトが含まれており、前記プロセッサは、選択されなかった前記オブジェクトの色を変える。
【0009】
第5態様に係る情報処理システムは、第1態様に係る情報処理システムにおいて、前記画面内に複数の前記オブジェクトが含まれており、前記プロセッサは、前記オブジェクトが選択された状態で前記対象物が第二領域から前記第一領域へ移動すると、前記第一領域において前記オブジェクトの選択を再度受け付ける。
【0010】
第6態様に係る情報処理システムは、第1態様に係る情報処理システムにおいて、前記画面内に複数の前記オブジェクトが含まれており、前記プロセッサは、前記第二領域において、前記対象物が選択されなかった前記オブジェクト上で予め定められた時間検知されると、選択されなかった前記オブジェクトを選択状態に遷移して、選択状態の前記オブジェクトに対する操作を受け付ける。
【0011】
第7態様に係る情報処理システムは、第1態様に係る情報処理システムにおいて、前記プロセッサは、前記画面上で前記対象物を検知すると、前記検知した位置から前記画面までの空間を前記第一領域及び前記第二領域を含むように区切る。
【0012】
第8態様に係る情報処理システムは、第7態様に係る情報処理システムにおいて、前記プロセッサは、前記検知した位置から前記画面までの距離が予め定められた閾値よりも短い場合、前記画面に情報を表示させる。
【0013】
第9態様に係る情報処理システムは、第1態様に係る情報処理システムにおいて、前記第一領域には、前記画面を遷移させる操作が割り当てられており、前記プロセッサは、前記第一領域において前記対象物が予め定められた時間留まっている状態が検知されると、前記画面を遷移させる操作を受け付ける。
【0014】
第10態様に係る情報処理システムは、第9態様に係る情報処理システムにおいて、前記プロセッサは、前記オブジェクトが選択された状態で前記画面を遷移させる操作が行われると、前記オブジェクトの選択状態を解除する。
【0015】
第11態様に係る情報処理プログラムは、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付けることを、コンピュータに実行させる。
【発明の効果】
【0016】
第1態様によれば、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、選択状態でないオブジェクトに対する操作を受け付ける場合と比較して、誤操作を抑制することができる、という効果を有する。
【0017】
第2態様によれば、対象物がオブジェクト上に位置しているか否かを目視で確認することができる、という効果を有する。
【0018】
第3態様によれば、選択状態のオブジェクトを目視で確認することができる、という効果を有する。
【0019】
第4態様によれば、選択されなかったオブジェクトを目視で確認することができる、という効果を有する。
【0020】
第5態様によれば、対象物を第二領域から第一領域へ移動させる簡単な操作でオブジェクトの選択を再度行うことができる、という効果を有する。
【0021】
第6態様によれば、第二領域において選択されなかったオブジェクト上に対象物を留める簡単な操作で選択されなかったオブジェクトを選択状態にさせることができる、という効果を有する。
【0022】
第7態様によれば、対象物が画面の横方向から差し込まれた場合でも、誤操作を抑制することができる、という効果を有する。
【0023】
第8態様によれば、ユーザに対象物と画面との距離が近過ぎることを知らせることができる、という効果を有する。
【0024】
第9態様によれば、画面を遷移させる操作を割り当てる専用の領域を設定する場合と比較して、非接触の操作を簡単にすることができる、という効果を有する。
【0025】
第10態様によれば、オブジェクトの選択状態を解除しないと画面を遷移させる操作が受け付けられない場合と比較して、操作回数を低減することができる、という効果を有する。
【0026】
第11態様によれば、第二領域において選択状態でないオブジェクトに対する操作を受け付ける場合と比較して、誤操作を抑制することができる、という効果を有する。
【図面の簡単な説明】
【0027】
【
図1】ユーザが非接触で操作を行う非接触ユーザインタフェースを備えた情報処理システムの構成例を示す図である。
【
図2】実施形態に係る画像処理装置の要部を示す斜視図である。
【
図3】(A)は操作パネルの断面図であり、(B)は操作パネルの表示面と対向する位置から操作パネルを眺めた場合の平面図である。
【
図4】実施形態に係る画像処理装置の機能構成例を示す図である。
【
図5】ユーザによる操作パネルの操作によって、操作パネルに表示される画面がどのように遷移するのかについて示した画面の遷移例を表す図である。
【
図6】ユーザがホーム画面においてオブジェクトの一例であるコピーボタンを選択する選択例を示す図である。
【
図7】実施形態に係る画像処理装置の電気系統の要部構成例を示すブロック図である。
【
図8】操作パネルを正面から見たときのプリント画面内のオブジェクトを示す正面図である。
【
図9】操作パネルを側面から見たときの空間上の複数の領域の一例を模式的に示す側面図である。
【
図10】非接触操作のための対象物がプリント画面上の第一領域にある状態を示す
図9に対応する側面図である。
【
図11】プリント画面内のオブジェクトを仮選択した状態を示す
図8に対応する正面図である。
【
図12】プリント画面内の他のオブジェクトを仮選択した状態を示す
図8に対応する正面図である。
【
図13】プリント画面を次ページに遷移させる動作を示す
図8に対応する正面図である。
【
図14】非接触操作のための対象物がプリント画面上の第二領域にある状態を示す
図9に対応する側面図である。
【
図15】プリント画面内のオブジェクトを選択した状態を示す
図8に対応する正面図である。
【
図16】プリント画面内の選択していないオブジェクト上に非接触操作のための対象物を移動させた状態を示す
図8に対応する正面図である。
【
図17】プリント画面内の選択していないオブジェクトの色を変えた状態を示す
図8に対応する正面図である。
【
図18】非接触操作のための対象物を第二領域から第一領域に移動させる動作を示す
図9に対応する側面図である。
【
図19】第一領域において選択状態のオブジェクトと別のオブジェクトを仮選択する動作を示す
図8に対応する正面図である。
【
図20】オブジェクトを選択した状態でプリント画面を次ページに遷移させる動作を示す
図8に対応する正面図である。
【
図21】第二領域においてオブジェクトの選択を解除して別のオブジェクトを選択状態にする動作を示す
図8に対応する正面図である。
【
図22】プリント画面の側方から非接触操作のための対象物を面方方向に沿って移動させる動作を示す
図8に対応する正面図である。
【
図23】非接触操作のための対象物がプリント画面の側方からプリント画面に近い位置に入り込んだときの第一領域及び第二領域を示す
図9に対応する側面図である。
【
図24】実施形態に係る情報処理プログラムによる非接触操作の処理の流れの一例を示すフローチャートである。
【
図25】
図24の第一領域の制御処理の流れの一例を示すフローチャートである。
【
図26】
図24の第二領域の制御処理の流れの一例を示すフローチャートである。
【
図27】操作パネルを側面から見たときの空間上の複数の領域の一例を模式的に示す側面図である。
【発明を実施するための形態】
【0028】
以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。
【0029】
図1は、ユーザが非接触で操作を行う非接触ユーザインタフェースを備えた情報処理装置を含む情報処理システム1の構成例を示す図である。
【0030】
情報処理システム1における情報処理装置は、非接触ユーザインタフェースを備えていれば、何れの分野に適用される装置であってもよい。情報処理装置の一例として、画像処理装置、ATM(Automatic Teller Machine)、自動販売機、及び発券機等が含まれる。情報処理装置は、個人専用の装置であっても、不特定多数のユーザが使用する装置であってもよい。
【0031】
図1及び
図2を参照して、情報処理装置の一例として、職場等に設置された画像処理装置10について説明を行う。
【0032】
図2は、本実施形態に係る画像処理装置10の要部を示す斜視図である。
【0033】
画像処理装置10は、後ほど説明するように、ユーザの指示に従って画像に関する機能を実行する装置である。画像処理装置10は、例えば、各々のユーザが使用する複数の端末4と通信回線2で接続されている。
【0034】
ユーザは、端末4で生成した画像データを、通信回線2を通じて画像処理装置10へ送信することで、画像処理装置10に所望の画像処理を実行させる。又は、ユーザは、USB(Universal Serial Bus)メモリ若しくはメモリカード等の可搬型記憶媒体に画像データを記憶して画像処理装置10まで移動し、可搬型記憶媒体を画像処理装置10に接続することで、画像処理装置10に所望の画像処理を実行させてもよい。更に、ユーザは、文字及び画像の少なくとも一方が記載された原稿11を持って画像処理装置10まで移動し、原稿11を画像処理装置10に読み取らせることで、画像処理装置10に所望の画像処理を実行させてもよい。
【0035】
画像処理装置10と端末4を接続する通信回線2の接続形態に制約はなく、有線、無線、又は有線と無線が混在した形態の何れであってもよい。また、画像処理装置10に接続される端末4の数にも制限はなく、例えば、端末4が画像処理装置10に一台も接続されていなくてもよい。
【0036】
なお、端末4とは、ユーザが使用する情報機器のことである。端末4は、データ記憶機能及びデータ通信機能を備えていればどのような種類の情報機器であってもよい。端末4には、例えば、持ち運んで使用することを前提としていないコンピュータの他、スマートフォン及びウェアラブル装置のように持ち運んで使用することを前提とする携帯端末が含まれる。
【0037】
図2に示すように、画像処理装置10は一例として、用紙等の記録媒体に記載された画像を画像データとして読み込むスキャン機能、画像データによって表される画像を記録媒体に形成するプリント機能、及び記録媒体に形成された画像と同一の画像を他の記録媒体に形成するコピー機能を有する。コピー機能、プリント機能、及びスキャン機能は、画像処理装置10における画像処理の一例である。
【0038】
図2に示す画像処理装置10の上部には、例えば、原稿読み取りユニット12が設けられ、原稿読み取りユニット12の下方に画像形成ユニット14が配置されている。
【0039】
原稿読み取りユニット12は、図示しない光学読み取り装置と原稿カバー16内の原稿搬送装置18を含んで構成される。原稿搬送装置18は、原稿カバー16に設けられている原稿台16A上に載せられた原稿11を順に引き込んで、図示しない搬送原稿読み取りガラス上に搬送する。原稿読み取りユニット12は、この搬送原稿読み取りガラス上に搬送された原稿11の内容を、光学読み取り装置で画像データとして読み取る。その後、原稿搬送装置18は、記載内容の読み込みが終了した原稿11を原稿カバー16に設けられている排出台16B上に排出する。
【0040】
一方、画像形成ユニット14は、記録媒体の種別やサイズ毎に分類された収容棚19に収容される記録媒体上に、画像データによって表された画像を形成する。なお、画像形成
ユニット14が記録媒体に形成する画像の色に制限はなく、カラー画像であってもモノクロ画像であってもよい。
【0041】
画像処理装置10の正面には、コピー機能、プリント機能、及びスキャン機能といった各種機能を実行するための操作をユーザから受け付ける操作表示ユニット13が設けられている。
【0042】
具体的には、操作表示ユニット13には、操作を行うユーザの情報を取得するリーダー装置17、及びユーザの操作を受け付ける操作パネル15が含まれる。
【0043】
リーダー装置17は、例えば、ユーザが所有する社員証が近づけられると、社員証に内蔵されているICチップから、ユーザを一意に識別する識別情報(「ユーザID」という)を非接触で読み取る装置である。
【0044】
操作パネル15は、タッチパネルが重畳されたディスプレイであり、操作パネル15には、ユーザが所望する機能を実行するために操作対象となるオブジェクトがアイコン画像として表示される。ユーザの操作対象となるものであればオブジェクトの種類に制約はなく、オブジェクトには、例えば、ボタン、スクロールバー、チェックボックス、及びラジオボタン等が含まれる。オブジェクトに対してユーザの操作が行われると、操作内容に対して予め対応付けた処理が画像処理装置10で実行され、操作に対する応答が操作パネル15に表示される。
【0045】
図3は、ユーザの操作位置6を非接触で検知する操作パネル15の一例を示す図である。
図3(A)は、操作パネル15の断面図であり、
図3(B)は、操作パネル15の表示面と対向する位置から操作パネル15を眺めた場合の平面図である。
【0046】
操作パネル15は、ユーザの指の位置、すなわち、操作位置6を非接触で検知する。「操作位置6を非接触で検知する」とは、ユーザが操作パネル15の表示面に指を押し当てなくても、操作パネル15の表示面の範囲内における操作パネル15の表示面上の空間内で、操作パネル15の表示面から離れた場所に指をかざすだけで、ユーザの指の位置を検知することをいう。以降では、操作パネル15の表示面の範囲内における操作パネル15の表示面上の空間のことを、「操作パネル15上」という。また、ユーザが操作パネル15上に「指をかざす」とは、操作パネル15の表示面に触れることなく、ユーザが操作パネル15上を指差すことをいう。
【0047】
操作パネル15は、ユーザが操作パネル15上に指をかざすことによって生じる静電容量の変化から操作位置6を検知する、所謂、静電容量方式のタッチパネルを備えている。こうしたタッチパネルを備える操作パネル15では、ユーザの指から最も近い位置にある箇所の静電容量の変化が、他の箇所の静電容量の変化よりも大きくなる。したがって、操作パネル15は、操作パネル15の範囲内において、静電容量の変化が最も大きい箇所をユーザの操作位置6として出力する。
【0048】
操作パネル15におけるユーザの操作位置6を特定するため、操作パネル15には、ユーザの指の位置を非接触で検知する検知領域を規定するための操作座標系が定義付けられている。操作座標系は、操作パネル15の何れかの箇所を原点Pとする3次元座標系として表される。
図3(A)及び
図3(B)に示す操作パネル15の例では、矩形状の操作パネル15の輪郭上にある頂点の1つに原点Pが設定されている。更に、
図3(A)及び
図3(B)に示す操作パネル15の例では、原点Pに対して、操作パネル15の横方向に沿ってX軸が設定され、操作パネル15の縦方向に沿ってY軸が設定され、X軸及びY軸とそれぞれ直交するようにZ軸が設定されている。Z軸方向を操作パネル15の高さ方向と
いう。
【0049】
操作パネル15におけるユーザの操作位置6は、操作パネル15の範囲内のうち、最も静電容量の変化が大きい箇所におけるX座標の座標値xと、Y座標の座標値yとの組み合わせである座標点(x,y)によって表される。
【0050】
操作パネル15にオブジェクトが表示されている場合、ユーザの操作位置6を含むように表示されているオブジェクトが、ユーザが操作を行っているオブジェクトとして認識される。
図3(B)に示す操作パネル15の例では、操作パネル15に表示されている画面30内に配置されたボタン8の領域内にユーザの操作位置6が含まれるため、ユーザはボタン8を操作していると認識される。以降では、ユーザの操作位置6を含むように表示されているオブジェクトのことを、「操作位置6に対応したオブジェクト」ということがある。また、操作位置6は、本実施形態に係る「ユーザによる操作が検知された検知位置」の一例である。
【0051】
図3(A)に示すように、操作パネル15上にかざされたユーザの指3から操作パネル15の表示面に下した垂線の長さ、すなわち、ユーザの指3から操作パネル15までの操作パネル15の高さ方向の距離を「操作距離D」とする。ユーザの指3は、ユーザが持つ対象物の一例である。この対象物は、ユーザの手、指以外の部位でもよく、あるいは、ユーザが所有するタッチペン等であってもよい。操作パネル15では、操作距離Dが短くなるにつれて、ユーザの操作位置6における静電容量の変化が大きくなる。反対に、操作パネル15では、操作距離Dが長くなるにつれて、ユーザの操作位置6における静電容量の変化が小さくなる。したがって、操作距離Dと静電容量の変化量の関係を予め対応付けておくことによって、操作パネル15における静電容量の変化量から操作距離Dが得られる。
【0052】
操作距離Dと静電容量の変化量の対応関係を用いることで、操作パネル15は、ユーザの操作位置6を、操作パネル15の表示面に沿った2次元的な操作位置6としてだけでなく、操作距離Dを考慮した3次元的な操作位置6として認識することもできる。すなわち、ユーザの操作位置6を3次元で表す場合、ユーザの操作位置6は、操作パネル15の高さ方向の操作位置6を表す座標値zを座標点(x,y)に組み合わせた座標点(x,y,z)によって表される。座標値zは、原点PからZ軸に沿って操作距離Dだけ離れた位置におけるZ軸の座標値である。
【0053】
なお、座標値z=0の場合は、ユーザが操作パネル15の表示面に指を接触して操作していることを意味する。したがって、画像処理装置10は、ユーザが操作パネル15を非接触で操作しているのか、それとも、操作パネル15に指を接触させて操作しているのかといった、ユーザの操作形態の違いについて認識することもできる。このように、操作パネル15は、ユーザが操作パネル15の表示面に指を接触して操作する接触操作、及びユーザが操作パネル15上に指をかざして操作する非接触操作の両方の操作に対応している。
【0054】
上述したように、操作パネル15では、操作距離Dが長くなるにつれて、ユーザの操作位置6における静電容量の変化が小さくなることから、操作距離Dには上限が存在する。ユーザが操作距離Dの上限を超える位置で操作パネル15上に指をかざしても、ユーザの操作位置6における静電容量は変化しなくなるため、操作パネル15はユーザの操作に反応しない。
【0055】
オブジェクトに対応する検知領域は、操作パネル15から例えば3cm程度離れた空間上の領域とされる。つまり、ユーザの指3を操作パネル15から3cm程度に近接させる
と、オブジェクト側の静電容量が変化し、非接触の入力が検知される。このとき、ユーザの指3の検知領域でのXYZ座標が操作位置6として取得される。そして、ユーザの指3を3cmより更に近接させると、その位置でのXYZ座標が取得される。
【0056】
図4は、本実施形態に係る画像処理装置10の機能構成例を示す図である。画像処理装置10は、制御部20、受付部21、表示部22、原稿読み取り部23、及び画像形成部24の各機能部を含む。
【0057】
受付部21は、操作表示ユニット13のリーダー装置17から、画像処理装置10を操作するユーザのユーザIDを受け付けると共に、操作表示ユニット13の操作パネル15から、操作パネル15におけるユーザの操作位置6を受け付ける。また、受付部21は、端末4又は画像処理装置10に接続された可搬型記憶媒体から画像データを受け付ける。受付部21は、受け付けたユーザID、ユーザの操作位置6、及び画像データを制御部20に通知する。
【0058】
制御部20は、受付部21からユーザIDが通知された場合、ユーザIDによって表されるユーザが、画像処理装置10の利用を許可されたユーザ(「登録ユーザ」という)であるか否かを判定する認証処理を行う。制御部20は、受付部21から操作パネル15におけるユーザの操作位置6が通知された場合、操作パネル15に表示される画面30内において、ユーザの操作位置6に表示されているオブジェクトが選択されたか否かを判定し、選択されたオブジェクトに予め対応付けられた処理を実行する。例えば、オブジェクトがプリント機能を開始するボタン8であれば、制御部20は、受付部21で受け付けた画像データによって表される画像を記録媒体に形成するプリント機能を開始する。
【0059】
画像処理装置10はコピー機能、プリント機能、及びスキャン機能を備えるため、制御部20には、スキャン機能を制御するスキャン制御部20A、プリント機能を制御するプリント制御部20B、及びコピー機能を制御するコピー制御部20Cがそれぞれ含まれる。ユーザによって操作されたオブジェクトと対応付けられている処理の内容に応じて、スキャン制御部20A、プリント制御部20B、及びコピー制御部20Cの何れかによる制御が行われる。なお、図示は省略するが、画像処理装置10はファクシミリ機能を備えていてもよく、この場合、制御部20にはファクシミリ機能を制御するファクシミリ制御部が含まれる。
【0060】
オブジェクトを介したユーザの操作内容がスキャン機能に関する操作の場合、スキャン制御部20Aは、原稿読み取り部23を制御することによりスキャン機能を実行する。オブジェクトを介したユーザの操作内容がプリント機能に関する操作の場合、プリント制御部20Bは、画像形成部24を制御することによりプリント機能を実行する。オブジェクトを介したユーザの操作内容がコピー機能に関する操作の場合、コピー制御部20Cは、原稿読み取り部23を制御することにより、原稿11の画像データを生成する。その後、コピー制御部20Cは、画像形成部24を制御することにより、生成した画像データによって表される画像を記録媒体に形成する。
【0061】
原稿読み取り部23は、スキャン制御部20A及びコピー制御部20Cの制御に従って原稿読み取りユニット12を駆動し、例えば、原稿台16A上に載せられた原稿11の搬送、及び搬送した原稿11の画像データの生成を行う。
【0062】
画像形成部24は、プリント制御部20B及びコピー制御部20Cの制御に従って画像形成ユニット14を駆動し、例えば、収容棚19に収容された記録媒体の搬送、及び搬送した記録媒体への画像データによって表される画像の形成を行う。
【0063】
表示部22は、制御部20の指示に従い、例えば、ユーザに対する認証処理の結果、及びオブジェクトを介したユーザの操作に対して制御部20が実行した処理の結果を、操作表示ユニット13内の操作パネル15に表示する。
【0064】
図5は、ユーザによる操作パネル15の操作によって、操作パネル15に表示される画面30がどのように遷移するのかについて示した画面30の遷移例を表す図である。
【0065】
なお、操作パネル15への画面30の表示は表示部22が行うが、表示部22は制御部20の指示に従って画面30を表示することから、制御部20が操作パネル15に画面30を表示するとも言える。また、操作パネル15に表示された画面30の表示範囲を底面とするZ軸に沿った空間のことを「画面30上」と表し、画面30内に表示されたオブジェクトの表示範囲を底面とするZ軸に沿った空間のことを「オブジェクト上」と表す。「画面30上」及び「オブジェクト上」という表記も「操作パネル15上」の表記と同じく、実空間における上下左右に基づいた上側という意味ではなく、それぞれ画面30と相対する方向の空間、及びオブジェクトと相対する方向の空間のことを指す。
【0066】
説明の便宜上、画面30の種類を区別して説明する場合、画面30の種類毎に対応付けたアルファベットの符号を「画面30」の後ろに付加する。画面30の種類を区別して説明する必要がない場合には、各々の種類の画面30を総称して「画面30」と表す。また、オブジェクトの一例であるボタン8の種類を区別して説明する場合、ボタン8の種類毎に対応付けたアルファベットの符号を「ボタン8」の後ろに付加する。ボタン8の種類を区別して説明する必要がない場合には、各々の種類のボタン8を総称して「ボタン8」と表す。
【0067】
制御部20は、認証処理によって、操作を行うユーザが登録ユーザであると判定した場合、操作パネル15にスタート画面30Aを表示する。スタート画面30Aには、例えば、「画面の上に手をかざしてください Touch Lessをはじめよう!」といったユーザへの指示が表示される。
【0068】
ユーザがスタート画面30A上に指をかざすと、スタート画面30Aにおけるユーザの操作位置6にカーソルが表示される。
図5に示すスタート画面30Aの例では、手の形をしたカーソルが表示されているが、カーソルの形状は一例であり、例えば、円形のカーソルを表示してもよい。ユーザがスタート画面30A上に指をかざすことで、ホーム画面30Bが表示される。なお、スタート画面30Aにおけるユーザへの指示は、ユーザに操作パネル15での操作方法を教える意味合いも兼ねる。
【0069】
ホーム画面30Bには、例えば、画像処理装置10が有する各種機能を選択するためのボタン8と、ユーザが操作を行う上で有益な情報を表示するナビゲーションバー9が表示される。画像処理装置10は、コピー機能、プリント機能、及びスキャン機能を有するため、ホーム画面30Bにはコピー機能を選択するコピーボタン8A、プリント機能を選択するプリントボタン8B、及びスキャン機能を選択するスキャンボタン8Cが表示される。ナビゲーションバー9には、例えば、「ユーザA」のように認証を行ったユーザの名前、「ホーム」のように操作パネル15に表示している画面名、及び「Touch Less」のように、操作パネル15が非接触での操作モードとなっていることをユーザに知らせる情報等が表示される。
【0070】
ユーザがコピーボタン8A上に指をかざすと、コピーボタン8Aが選択される。コピーボタン8Aが選択されると、操作パネル15にコピー画面30Dが表示される。コピー画面30Dには、コピー条件を設定するボタン8D~8Gと、設定されたコピー条件でコピーを開始するコピー開始ボタン8Hが表示される。
【0071】
図5に示すコピー画面30Dには、コピー条件を設定するボタン8の例として、例えば、コピーの色を選択するカラーモードボタン8D、コピー面を選択する両面/片面選択ボタン8E、記録媒体への画像の割り付け方法を選択するNアップボタン8F、及びコピーする部数を選択する部数ボタン8Gが表示されている。
【0072】
コピー条件を設定するボタン8D~8Gのうち、ユーザが何れかのボタン8上に指をかざすと、ユーザの操作位置6に対応したボタン8が選択され、選択されたボタン8に対応したコピー条件を設定する画面30が表示される。コピー画面30Dで両面/片面選択ボタン8Eが選択された場合、コピー画面30Dにコピー面を選択する両面/片面選択画面30Gが重畳された形態で操作パネル15に表示される。
【0073】
図5に示す両面/片面選択画面30Gには、例えば、原稿11の両面の内容を、記録媒体の両面に順次コピーする両面→両面選択ボタン8S、片面だけに文章等が記載されている原稿11の内容を、記録媒体の両面に順次コピーする片面→両面選択ボタン8T、及び片面だけに文章等が記載されている原稿11の内容を、記録媒体の片面に順次コピーする片面→片面選択ボタン8Uが表示される。
【0074】
両面/片面選択画面30Gにおけるボタン8S~8Uのうち、ユーザが何れかのボタン8S~8U上に指をかざすと、ユーザの操作位置6に対応したボタン8が選択され、選択されたボタン8に対応したコピー面が設定される。
図5に示す両面/片面選択画面30Gの例は、ユーザによって両面→両面選択ボタン8Sが選択された状態を示している。
【0075】
両面/片面選択画面30Gでコピー面が設定されると、コピー画面30Dが操作パネル15に表示される。コピー面設定後におけるコピー画面30Dの両面/片面選択ボタン8E内には、両面/片面選択画面30Gで選択したコピー面が表示される。
【0076】
上記では、ユーザがコピー画面30Dにおいて両面/片面選択ボタン8Eを選択した例について説明した。ユーザがコピー画面30Dにおいてカラーモードボタン8D、Nアップボタン8F、及び部数ボタン8Gの何れかを選択した場合にも、両面/片面選択画面30Gのような各ボタン8に対応したコピー条件を選択する選択画面が操作パネル15に表示される。
【0077】
コピー画面30Dにおいてユーザがコピー開始ボタン8H上に指をかざすと、コピー開始ボタン8Hが選択される。コピー開始ボタン8Hが選択されると、設定されたコピー条件に従って、原稿11の記載内容を記録媒体にコピーするコピー処理が実行される。なお、コピー条件を設定する前のコピー画面30Dにおけるボタン8D~8Gには、予め設定されたコピー条件の初期設定が表示される。
【0078】
一方、ホーム画面30Bにおいて、ユーザがプリントボタン8B上に指をかざすと、プリントボタン8Bが選択される。プリントボタン8Bが選択されると、操作パネル15にプリント画面30Eが表示される。
【0079】
プリント画面30Eには、プリント対象となる画像データの情報を表示したプリント情報ボタン8Jと、各々のプリント情報ボタン8Jに対応したすべての画像データのプリントを開始する全プリント開始ボタン8Mが表示される。
図5に示すプリント画面30Eの例は、プリント対象となる画像データを2つ受け付けた場合のプリント画面30Eを表している。すなわち、プリント画面30Eには、プリント対象としてユーザから受け付けた画像データの数だけ、各々の画像データに対応したプリント情報ボタン8Jが表示される。
【0080】
対応するプリント情報ボタン8Jを一度にプリント画面30E内に表示しきれない数の画像データが存在する場合には、ユーザがプリント情報ボタン8Jの上下方向に指を移動させるジェスチャを行うと、操作パネル15が操作位置6の移動を検知して、プリント情報ボタン8Jをスクロールさせる。これにより、プリント画面30E内に表示しきれていないプリント情報ボタン8Jもプリント画面30E内に表示される。
【0081】
各々のプリント情報ボタン8Jには、プリント対象となる画像データのファイル名と、画像データに対してユーザが予め設定したプリント条件が表示される。例えば、ユーザが端末4から画像処理装置10に画像データを送信した場合には、ユーザが端末4から設定したプリント条件がプリント情報ボタン8Jに表示される。
【0082】
ユーザが全プリント開始ボタン8M上に指をかざすと、全プリント開始ボタン8Mが選択される。全プリント開始ボタン8Mが選択されると、設定されたプリント条件に従って、画像データによって表される画像を記録媒体にプリントするプリント処理が実行される。
【0083】
また、ユーザが何れかのプリント情報ボタン8J上に指をかざすと、指をかざしたプリント情報ボタン8Jが選択される。プリント情報ボタン8Jが選択されると、操作パネル15にプリント編集画面30Hが表示される。
図5に示すプリント編集画面30Hは、ユーザが「資料B.pdf」の画像データに対応したプリント情報ボタン8Jを選択した場合の表示例を表している。
【0084】
プリント編集画面30Hには、例えば、選択されたプリント情報ボタン8Jに対応する画像データを削除する削除ボタン8V、選択されたプリント情報ボタン8Jに対応する画像データのプリント条件を変更する変更ボタン8W、及び、選択されたプリント情報ボタン8Jに対応する画像データのみをプリントする個別プリント開始ボタン8Xが表示されている。
図5に示すプリント編集画面30Hでは、変更ボタン8Wの例として、プリントする部数の変更を行う変更ボタン8Wが表示されている。なお、例えば、プリントする画像の色といった他のプリント条件を変更する変更ボタン8Wもプリント編集画面30Hに表示されるが、図示を省略している。
【0085】
一方、ホーム画面30Bにおいて、ユーザがスキャンボタン8C上に指をかざすと、スキャンボタン8Cが選択される。スキャンボタン8Cが選択されると、操作パネル15にスキャン画面30Fが表示される。
【0086】
スキャン画面30Fには、スキャン条件を設定するスキャン設定ボタン8Nと、設定されたスキャン条件で原稿11の読み取りを開始するスキャン開始ボタン8Rが表示される。
【0087】
ユーザがスキャン設定ボタン8N上に指をかざすと、ユーザの操作位置6に対応したスキャン設定ボタン8Nが選択され、選択されたスキャン設定ボタン8Nに対応したスキャン条件の選択を行う選択画面(図示省略)が表示される。すなわち、ユーザは、コピー画面30Dからコピー条件を設定する操作と同じ要領で、スキャン設定ボタン8Nと対応付けられたスキャン条件の設定を行う。ユーザがスキャン開始ボタン8R上に指をかざすと、スキャン開始ボタン8Rが選択される。スキャン開始ボタン8Rが選択されると、設定されたスキャン条件に従って、原稿11の記載内容を画像データに変換するスキャン処理が実行される。
【0088】
一方、ホーム画面30Bにおいて、ユーザがナビゲーションバー9上に指をかざすと、
ナビゲーションバー9が選択される。ナビゲーションバー9が選択されると、認証されたユーザのログアウト処理が行われ、画面30Cに示すように、ナビゲーションバー9にログアウトが完了したことを示す表示が行われる。
【0089】
ここまで、ユーザがボタン8上に指をかざすことでボタン8が選択される例について説明してきた。非接触操作の場合、指が操作パネル15に接しないため、指がふらつくことがある。したがって、領域内に操作位置6が含まれるからと言って、領域内に操作位置6が含まれるオブジェクトを単純にユーザが選択したオブジェクトとしてしまうと、指のふらつきに伴い、操作しようとしているオブジェクトの隣にある他のオブジェクトが誤って選択されることがある。また、操作しようとしているオブジェクト上まで指を移動させる過程において、指が操作対象ではない他のオブジェクト上を通過することがあるため、この場合においても他のオブジェクトが誤って選択されることがある。
【0090】
したがって、例えば、オブジェクト上で予め定めた時間(一定時間)に亘り継続して指がかざされた場合に、指がかざされたオブジェクトをユーザが意図的に選択したオブジェクトとして判定してもよい。換言すれば、操作パネル15において、ユーザの操作位置6が特定のオブジェクトの領域内に予め定めた時間(一定時間)に亘って留まり続けている場合に、ユーザが当該オブジェクトを選択したと判定されてもよい。なお、上記予め定めた時間として3秒を適用してもよい。しかし、この例に限られない。例えば、上記予め定めた時間として3秒以外の時間を適用してもよい。なお、操作位置6を検知する方法は、静電容量方式のタッチパネルである操作パネル15により検知する方法に限られない。例えば、操作位置6を検知する方法として、ToF(Time of Flight)カメラ等を用いた方法を適用してもよい。
【0091】
図6は、ユーザがホーム画面30Bにおいてオブジェクトの一例であるコピーボタン8Aを選択する選択例を示す図である。
【0092】
ユーザがコピーボタン8A上に指をかざすと、コピーボタン8Aの領域内で操作位置6が検知される。このように、オブジェクトの領域内で操作位置6が検知されていない状態から操作位置6が検知された状態に移行することを「選択開始」、「仮選択」又は「ホバー」という。オブジェクトが選択開始の状態にある期間は、オブジェクトはまだ選択されていない。
【0093】
ユーザがコピーボタン8A上に指をかざし続け、検知された操作位置6がコピーボタン8Aの領域内に予め定めた時間(一定時間)に亘って留まり続けると、
図6に示すようにコピーボタン8Aが選択され、操作パネル15にコピー画面30Dが表示される。このように、オブジェクトの選択が確定することを「選択完了」又は「ホールド」という。また、オブジェクトの選択が完了することを、オブジェクトを選択したという。
【0094】
したがって、選択開始中にコピーボタン8A上から別の場所に指が移動すると、コピーボタン8Aに対する選択開始が解除される。このように、選択開始中にオブジェクト上から別の場所に指が移動してしまうことを「選択解除」という。オブジェクトに対する選択が解除された場合、ユーザは、選択解除されたオブジェクト上に改めて予め定めた時間(一定時間)に亘り指をかざし続けると、選択解除されたオブジェクトの選択が完了する。
【0095】
なお、コピー開始ボタン8Hが選択されるとコピー処理が実行されるように、画面30内のオブジェクトの各々には、オブジェクトが選択された場合に実行される処理が予め対応付けられている。オブジェクトには、どのような処理を実行するオブジェクトであるかをユーザに知らせるため、例えば、コピー開始ボタン8Hに「コピー」というような、オブジェクトを選択することで実行される処理の内容を示唆する情報が表示される。ユーザは、オブジェクトが選択された場合に実行される処理の内容を表す情報、すなわち、オブ
ジェクトに対応付けられた項目を見ることで、オブジェクトがどのような処理を実行するオブジェクトであるかを把握する。このように、オブジェクトは、処理する内容を表す項目と対応付けられて画面30に表示される。したがって、各々のオブジェクトは、本実施形態に係る「画面に表示される項目」の一例である。
【0096】
次に、
図7を参照しながら、画像処理装置10の電気系統の要部構成について説明する。画像処理装置10は、例えば、コンピュータ40を用いて構成される。
【0097】
コンピュータ40では、CPU(Central Processing Unit)41、RAM(Random Access Memory)42、ROM(Read Only Memory)43、不揮発性メモリ44、及び入出力インタフェース(I/O)45がバス46を介して各々接続される。
【0098】
CPU41は、
図4に示した画像処理装置10の各機能部の処理を担うプロセッサの一例である。RAM42は、CPU41の一時的な作業領域として使用される記憶媒体の一例である。ROM43は、CPU41で実行される情報処理プログラムを記憶する記憶媒体の一例である。不揮発性メモリ44は、不揮発性メモリ44に供給される電力が遮断されても、記憶した情報が維持される記憶媒体の一例であり、例えば半導体メモリが用いられるがハードディスクを用いてもよい。不揮発性メモリ44は、必ずしもコンピュータ40に内蔵されている必要はなく、例えばメモリカードのようにコンピュータ40に着脱される記憶媒体であってもよい。
【0099】
I/O45には、例えば、原稿読み取りユニット12、画像形成ユニット14、入力ユニット31、表示ユニット32、及び通信ユニット33が接続される。
【0100】
原稿読み取りユニット12及び画像形成ユニット14は、既に説明した通りの動作を行う装置である。入力ユニット31は、ユーザの指示及びユーザIDを受け付けてCPU21に通知する装置であり、操作パネル15を構成するタッチパネル及びリーダー装置17は入力ユニット31の一例である。表示ユニット32は、CPU41によって処理された情報を視覚的に表示する装置であり、操作パネル15を構成するディスプレイは表示ユニット32の一例である。通信ユニット33は通信回線2に接続され、端末4と通信を行う通信プロトコルを備える。なお、I/O45に接続されるユニットは
図7に例示したユニットに限定されない。I/O45には、画像処理装置10が有する機能に応じて、機能の実現に必要となるユニットが接続される。
【0101】
ところで、非接触操作は空中での操作となるため、選択状態のオブジェクト(すなわち、選択完了したオブジェクト)とは別の選択していないオブジェクトが操作を受け付けている場合、選択していないオブジェクトをユーザが誤って操作することが考えられる。
【0102】
このため、本実施形態に係る画像処理装置は、画面内のオブジェクトに対してユーザの指による非接触の操作を行う場合に、画面からの距離に応じて区切られた複数の領域のうち、画面内のオブジェクトを選択する操作が割り当てられた第一領域よりも画面側に位置し、オブジェクトに対する操作が割り当てられた第二領域において、選択状態のオブジェクトに対する操作を受け付けるように構成されている。
【0103】
具体的に説明すると、
図8及び
図9に示されるように、本実施形態に係る画像処理装置は、CPU41が操作パネル15のプリント画面50内に1つ以上のオブジェクトを表示させる。このCPU41は、ユーザの指3が第一領域R1にあることを検知した場合、プリント画面50内のオブジェクトを仮選択する操作を受け付ける。そして、CPU41は、オブジェクトを仮選択した状態でユーザの指3が第一領域R1から第二領域R2へ移動したことを検知すると、第一領域R1で仮選択したオブジェクトの操作を受け付ける。すなわち、CPU41は、オブジェクトを仮選択した状態でユーザの指3が第一領域R1から第二領域R2へ移動したことを検知すると、第一領域R1で仮選択したオブジェクトが選択完了(「アクティブ状態」ともいう)となり、オブジェクトに割り当てられた固有の操作内容を実行(処理)することが可能になる。つまり、第一領域R1から移動して第二領域R2に達することで、オブジェクトの仮選択が選択状態(選択完了)に移行する。
【0104】
なお、
図9に示すように、本実施形態では、ユーザの指3からプリント画面50までの距離(つまり、操作距離D)が2つの領域に区切られている。2つの領域のうち、ユーザの指3側に位置する領域が第一領域R1であり、第一領域R1よりもプリント画面50側に位置する領域が第二領域R2である。第一領域R1と第二領域R2は閾値Thによって区切られる。閾値Thは、操作パネル15からユーザの指3までの距離に対する閾値であり、ユーザの指3を検知可能な距離を超えない範囲で、適切な値が設定される。また、第一領域R1及び第二領域R2の各々に対応付ける操作内容は、ユーザにより適宜設定することが可能とされる。
【0105】
次に、
図8を参照して、操作パネル15の画面の一例としてプリント画面50を表示させた場合について具体的に説明する。
【0106】
図8は、本実施形態のプリント画面50を示す平面図である。また、
図9は、本実施形態のプリント画面50を横から見たときの空間上の領域の一例を模式的に示す図である。
【0107】
図8に示すプリント画面50には、オブジェクトの一例として、文書選択リスト60、部数設定ボタン70及びプリントボタン80が表示される。
【0108】
文書選択リスト60は、プリント可能な文書データのリストである。この文書選択リスト60を選択すると、リスト内の文書データを個別に選択することが可能になる。
図8の例では、文書選択リスト60に文書1~文書5の文書データが登録されている。なお、
図8では、文書選択リスト60において、文書1~文書5を示すアイコン画像に符号61~65を付している。これらの文書データは、画像処理装置10が備える不揮発性メモリ44に保持されてもよいし、通信回線2を介して接続される端末4に保持されていてもよい。
【0109】
部数設定ボタン70は、プリント部数を入力するためのボタンである。この部数設定ボタン70を選択すると、プリント部数を設定可能になる。
【0110】
プリントボタン80は、プリント機能を実行するためのボタンである。このプリントボタン80を選択すると、プリント処理が実行される。
【0111】
次に、
図10~
図23を参照して、本実施形態に係る画像処理装置10の非接触操作の一例について説明する。
【0112】
本実施形態では、第一領域R1にオブジェクトを選択する操作が割り当てられ、第二領域R2に選択状態のオブジェクトに対する操作が割り当てられている。なお、第二領域R2に割り当てられるオブジェクトの操作は、オブジェクト固有の操作である。
【0113】
まず、
図10~
図13を参照してオブジェクトの選択操作について説明する。
図10は、非接触操作のための対象物としてのユーザの指3がプリント画面50上の第一領域R1にある状態を示す
図9に対応する側面図である。
図11は、プリント画面50内のオブジェクトとしての文書選択リスト60を仮選択した状態を示す
図8に対応する正面図である。
図12は、プリント画面50内の他のオブジェクトとしての部数設定ボタン70を仮選択した状態を示す
図8に対応する正面図である。
図13は、プリント画面50を次ページに遷移させる動作としてのページ切り替え動作を示す
図8に対応する正面図である。
【0114】
図10に示すように、CPU41は、プリント画面50上にユーザの指3が検知されると、ユーザの指3が位置する領域を判定する。CPU41は、ユーザの指3が第一領域R1にあると判定した場合、プリント画面50内のオブジェクトの選択操作を受け付ける。ここで第一領域R1における選択操作は、まず、第一領域R1内において、ユーザの指3を複数のオブジェクトのうち、使用するオブジェクト上に移動させて仮選択し、その後、指3を第一領域R1から第二領域R2へ移動させることで、仮選択が選択完了となる操作である。
【0115】
本実施形態では、CPU41は、ユーザの指3が第一領域R1にある場合、プリント画面50内に表示される文書選択リスト60、部数設定ボタン70及びプリントボタン80の仮選択を受け付ける。
【0116】
図11に示すように、CPU41は、第一領域R1において、ユーザの指3が文書選択リスト60上にあることを検知すると、文書選択リスト60を仮選択する。ここで、CPU41は、オブジェクトを仮選択した場合、仮選択したオブジェクトの周囲に枠を表示させてもよい。具体的には、CPU41は、第一領域R1にあるユーザの指3(操作位置6)を、文書選択リスト60を表示する領域上で検知した場合、文書選択リスト60を仮選択し、文書選択リスト60の周囲に枠90を表示させてもよい。
【0117】
図12に示すように、CPU41は、第一領域R1において、ユーザの指3が文書選択リスト60上から部数設定ボタン70上に移動したことを検知すると、部数設定ボタン70を仮選択する。ここで、CPU41は、第一領域R1に位置するユーザの指3を、部数設定ボタン70を表示する領域上で検知した場合、部数設定ボタン70を仮選択し、部数設定ボタン70の周囲に枠92を表示させてもよい。
【0118】
また、CPU41は、第一領域R1において、ユーザの指3が文書選択リスト60上からプリントボタン80上に移動したことを検知すると、プリントボタン80を仮選択する。ここで、CPU41は、第一領域R1に位置するユーザの指3を、プリントボタン80を表示する領域上で検知した場合、CPU41は、プリントボタン80を仮選択し、プリントボタン80の周囲に枠(図示省略)を表示させてもよい。
【0119】
また、
図13に示されるように、プリント画面50に次ページがある場合、CPU41は、第一領域R1にプリント画面50を次ページに遷移させる操作(例えばスクロール操作)を割り当ててもよい。ここでCPU41は、第一領域R1においてユーザの指3が予め定められた時間留まっている状態が検知されると、プリント画面50を次ページに遷移させる操作を受け付ける。
図13に示す例では、CPU41は、ユーザの指3が文書選択リスト60、部数設定ボタン70及びプリントボタン80等のオブジェクト上から外れた位置で検知されている場合にスクロール操作を受け付けているが、ユーザの指3が文書選択リスト60、部数設定ボタン70及びプリントボタン80等のオブジェクト上で検知されている場合でも、プリント画面50を次ページに遷移させる操作を受け付けてもよい。
【0120】
次に、CPU41は、文書選択リスト60を仮選択した状態(
図11参照)でユーザの指3が第一領域R1から第二領域R2に移動したことを検知すると(
図14参照)、文書選択リスト60をアクティブ状態とし、文書選択リスト60に対する操作を受け付ける。文書選択リスト60がアクティブ状態になると、リスト内の文書データを個別に選択することが可能になる。リスト内の文書データの選択方法としては、例えば、ユーザの指3がいずれかの文書データを示すアイコン画像の領域上に予め定めた時間(一定時間)に亘って留まり続けることで、対象の文書データを選択するように設定してもよい。
【0121】
ここで、CPU41は、文書選択リスト60の周囲に枠90を表示させた状態(すなわち、仮選択状態)でユーザの指3が第二領域R2へ移動したことを検知すると、
図15に示されるように、文書選択リスト60を選択完了した状態として枠91の色を変えてもよい。本実施形態では、枠90(破線)を例えば青色とし、枠91(実線)を例えば赤色としている。なお、枠の色に関しては、上記構成に限定されない。また、文書選択リスト60が仮選択状態から選択状態に移行した場合に、枠90が、該枠90と表示が異なる枠91に変われば、表示の変化は色の変化に限定されない。例えば、枠90と枠91とで線種を変えてもよいし、線の太さを変えてもよいし、線の形状を変化させもよい。
【0122】
また、CPU41は、
図16に示すように、ユーザの指3が第二領域R2にある場合に、選択されなかった部数設定ボタン70又はプリントボタン80上でユーザの指3が検知されても、これらのオブジェクトに対する選択操作の受け付けをしない。
【0123】
また、CPU41は、
図17に示すように、ユーザの指3が第二領域R2に位置する状態では、選択されなかった部数設定ボタン70及びプリントボタン80の色を変えてもよい。このように選択されなかったオブジェクトの色を変えることで、色が変わったオブジェクトが選択操作を受け付けていないことをユーザに認識させられる。
【0124】
また、
図18に示すように、CPU41は、文書選択リスト60を選択した状態でユーザの指3が第二領域R2から第一領域R1へ移動したことを検知すると、第一領域R1において部数設定ボタン70及びプリントボタン80の選択操作を再度受け付けてもよい。なお、本実施形態では、CPU41は、ユーザの指3が第二領域R2から第一領域R1へ移動したことを検知しても、文書選択リスト60の選択状態を解除せず、ユーザの指3が第一領域R1から第二領域R2へ戻ったことを検知すると、文書選択リスト60に対する操作を継続できるようにしてもよい。一方、CPU41は、ユーザの指3が第二領域R2から第一領域R1へ移動したことを検知し、指3が他のオブジェクト上で検知されて選択完了した場合、文書選択リスト60の選択状態を解除できるようにしてもよい。
図19では、文書選択リスト60を選択した状態でユーザの指3が第二領域R2から第一領域R1へ移動し、その後、ユーザの指3が部数設定ボタン70上に移動し、部数設定ボタン70を仮選択した状態を示している。ここで、CPU41は、ユーザの指3が部数設定ボタン70上で第一領域R1から第二領域R2へ移動したことを検知すると、部数設定ボタン70を選択完了とする。
【0125】
さらに、
図20に示すように、CPU41は、ユーザの指3を第二領域R2で検知した状態で、ユーザの指3が選択されなかった部数設定ボタン70又はプリントボタン80上で予め定められた時間検知されると、選択されなかった部数設定ボタン70又はプリントボタン80を選択した状態に遷移し、選択状態となった部数設定ボタン70又はプリントボタン80に対する操作を受け付けてもよい。
【0126】
さらに、
図20に示すように、CPU41は、ユーザの指3が第二領域R2から第一領域R1へ移動したことを検知した場合に、プリント画面50のスクロール操作を受け付けてもよい。ここで、CPU41は、プリント画面50のスクロール操作が実行された場合に、文書選択リスト60の選択状態を解除してもよい。
【0127】
また、
図21に示すように、CPU41は、ユーザの指3が第二領域R2にある状態で、ユーザの指3が選択されなかったオブジェクトであるプリントボタン80上で予め定められた時間検知されると、文書選択リスト60の選択状態を解除し、選択されなかったプリントボタン80を選択した状態に遷移させてもよい。そして、選択状態となったプリントボタン80に対する操作を受け付けるようにしてもよい。
【0128】
また、
図22に示すように、CPU41は、ユーザが指3をプリント画面50の側方からプリント画面50上に移動させた場合、ユーザの指3からプリント画面50までの距離(操作距離D)が足りていなくても、CPU401は、ユーザの指3からプリント画面50までの空間を第一領域R1及び第二領域R2に区切ってもよい。さらに、CPU41は、操作距離Dが予め定められた閾値よりも短い場合、プリント画面50に情報を表示させてもよい。プリント画面50に表示する情報としては、文字でもよいし、指3が画面に近すぎることを示す画像でもよい。
【0129】
次に、
図24を参照して、画像処理装置10の作用を説明する。
【0130】
図24は、本実施形態に係る情報処理プログラムによる処理の流れの一例を示すフローチャートである。
【0131】
まず、操作パネル15における非接触入力の実行が指示されると、CPU41により情報処理プログラムが起動され、以下の各ステップを実行する。
【0132】
図24のステップS200では、CPU41が、非接触操作を行う対象物であるユーザの指3がプリント画面上で検知されたかを判定する。ユーザの指3が検知されていない場合は、所定時間経過後ステップS200を繰り返す。また、ユーザの指3が検知されている場合は、ステップS202に移行する。
【0133】
ステップS202では、ユーザの指3の検知領域をチェックする。具体的には、ユーザの指3の操作距離Dを求めておく。
【0134】
ステップS204では、ユーザの指3の操作距離Dを基に、指3が第一領域R1にあるか否かを判定する。指3が第一領域R1にある場合は、第一領域R1の制御処理、すなわち、第一領域R1に割り当てられた操作内容に対応付けられた処理を行う。この第一領域R1の制御処理が終了すると、ステップS200に移行する。また、指3が第一領域R1にない場合は、ステップS206に移行する。
【0135】
ステップS206では、プリント画面50内のオブジェクトを選択しているか否かを判定する。オブジェクトが未選択の場合、ステップS208へ移行する。一方、オブジェクトを選択している場合、第二領域R2の制御処理、すなわち、第二領域R2に割り当てられた操作内容に対応付けられた処理を行う。この第二領域R2の制御処理が終了すると、ステップS200に移行する。
【0136】
ステップS208では、ユーザの指3の領域検知位置を調整し、第一領域R1の制御処理を行う。この第一領域R1の制御処理が終了すると、ステップS200に移行する。
【0137】
次に、
図25を参照して第一領域R1の制御処理について説明する。
第一領域R1の制御処理は、
図24の処理の途中で開始される。
【0138】
まず、ステップS300では、CPU41が非接触操作の検知処理を行い、ステップS302に移行する。
【0139】
ステップS302では、CPU41は、ユーザの指3が第一領域R1の範囲内か否かを判定する。指3が第一領域R1の範囲外の場合、第一領域R1の制御処理は終了し、
図24の処理に戻る。一方、指3が第一領域R1の範囲内の場合、ステップS304へ移行する。
【0140】
ステップS304では、CPU41が第一領域R1におけるユーザの指3の操作がポイント移動か否かを判定する。ユーザの指3の操作がポイント移動の場合、ステップS306に移行する。また、ユーザの指3の操作がポイント移動でない場合、ステップS312に移行する。ポイント移動とは、画面のオブジェクトを選択するために、第一領域R1の範囲内においてユーザの指3が移動する動作である。
【0141】
ステップS306では、CPU41は、選択可能なオブジェクトを選択しているか否かを判定する。選択可能なオブジェクトを選択している場合、ステップS308へ移行する。選択可能なオブジェクトを選択していない場合、ステップS300へ移行する。
【0142】
ステップS308では、CPU41が選択済みのオブジェクトか否かを判定する。選択済みのオブジェクトを選択している場合、ステップS310へ移行する。選択済みのオブジェクトを選択していない場合、ステップS300へ移行する。
【0143】
ステップS310では、CPU41が選択済みオブジェクトの表示切替処理を行う。具体的には、選択済みオブジェクトの周囲に枠を表示させる。その後、ステップS300へ移行する。
【0144】
ステップS312では、CPU41が第一領域R1におけるユーザの指3の操作がスライド移動か否かを判定する。ユーザの指3の操作がスライド移動の場合、ステップS314に移行する。また、ユーザの指3の操作がスライド移動でない場合、ステップS300に移行する。
【0145】
ステップS314では、CPU41は選択済みのオブジェクトの有無を判定する。選択済みのオブジェクトがない場合、ステップS318へ移行する。選択済みのオブジェクトがある場合、ステップS316へ移行する。
【0146】
ステップS316では、CPU41が選択済みのオブジェクトの選択を解除する。そして、ステップS318へ移行する。
【0147】
ステップS318では、CPU41は、ユーザの指3による操作をプリント画面50に対するスクロール操作と判定し、画面切り替え処理を行う。その後、ステップS300へ移行する。
【0148】
次に、
図26を参照して第二領域R2の制御処理について説明する。
図24の処理の途中で第二領域R2の制御処理が開始される。
【0149】
まず、ステップS350では、CPU41が非接触操作の検知処理を行い、ステップS352に移行する。
【0150】
ステップS352では、CPU41はユーザの指3が第二領域R2の範囲内か否かを判定する。指3が第二領域R2の範囲外の場合、第二領域R2の制御処理は終了し、
図24の処理に戻る。一方、指3が第二領域R2の範囲内の場合、ステップS354へ移行する。
【0151】
ステップS354では、CPU41は選択可能なオブジェクト以外が選択されているか否かを判定する。選択可能なオブジェクト以外が選択されている場合は、ステップS350へ移行する。選択可能なオブジェクト以外が選択されていない場合は、ステップS356へ移行する。
【0152】
ステップS356では、CPU41は選択状態のオブジェクトが他にないかを判定する。選択状態のオブジェクトが他にない場合はステップS358へ移行する。選択状態のオブジェクトが他にある場合はステップS362へ移行する。
【0153】
ステップS358では、CPU41が選択していないオブジェクトを選択状態に遷移させる。その後ステップS360へ移行する。
【0154】
ステップS360では、CPU41が選択状態のオブジェクトの固有処理を行う。その後ステップS350へ移行する。
【0155】
ステップS362では、CPU41はオブジェクトが選択されてから所定時間が経過したかを判定する。所定時間が経過している場合はステップS364へ移行する。所定時間が経過していない場合は、ステップS350へ移行する。
【0156】
ステップS364では、CPU41がオブジェクトの選択状態を解除する。その後ステップS358へ移行する。
【0157】
このようにして、画像処理装置10の非接触操作の制御処理が行われる。
【0158】
本実施形態では、上記のように、第二領域R2では、第一領域R1で選択したオブジェクトの操作のみCPU41が受け付けるため、例えば、第二領域R2において第一領域R1で選択していないオブジェクトの操作を受け付ける場合と比べて、オブジェクトの誤操作が抑制される。また、オブジェクトを選択完了する操作は、ユーザの指3を第一領域R1から第二領域R2へ移動させる操作であることから、画面を次ページに遷移させるスクロール操作のように第一領域R1において指3を一定の位置に留める操作と操作形態が異なるため、第一領域R1におけるオブジェクトの誤操作が防止される。また、オブジェクトの仮選択状態ではオブジェクトの周囲に枠が表示されるため、仮選択状態が目視確認しやすい。
【0159】
また、上記実施形態では、ユーザの指3とプリント画面50との間の空間を2つの領域に区切っているが、本開示はこの構成に限定されない。例えば、ユーザの指3とプリント画面50との間の空間を3つ以上の領域に区切ってもよい。
図27には、空間を3つに区切った場合を示している。このように3つに区切った場合には、第二領域R2で選択した文書選択リスト60の文書データの画像を、指3を第二領域R2から第三領域R3へ移動させる操作で操作完了させる構成としてもよい。
【0160】
なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えば、CPU:Central Processing Unit、等)や、専用のプロセッサ(例えば、GPU:Graphics Processing Unit、ASIC: Application Specific Integrate
d Circuit、FPGA:Field Programmable Gate Array、プログラマブル論理デバイス、等)を含むものである。
【0161】
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
【0162】
以上、実施形態に係る情報処理装置として画像処理装置を例示して説明した。実施形態は、情報処理装置の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。
【0163】
その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【0164】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【0165】
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコ
ンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
【0166】
以上の実施形態に関し、更に以下を開示する。
【0167】
(((1)))に係る情報処理システムは、プロセッサを備え、前記プロセッサは、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付ける。
【0168】
(((2)))に係る情報処理システムは、(((1)))に係る情報処理システムにおいて、前記プロセッサは、前記第一領域において前記対象物が前記オブジェクト上で検知されると、当該オブジェクトの周囲に枠を表示させる。
【0169】
(((3)))に係る情報処理システムは、(((2)))に係る情報処理システムにおいて、前記プロセッサは、前記オブジェクトの周囲に枠を表示させた状態で前記対象物が前記第二領域へ移動すると、前記枠が表示された前記オブジェクトを選択状態として前記枠の色を変える。
【0170】
(((4)))に係る情報処理システムは、(((1)))~(((3)))の何れか1に係る情報処理システムにおいて、前記画面内に複数の前記オブジェクトが含まれており、前記プロセッサは、選択されなかった前記オブジェクトの色を変える。
【0171】
(((5)))に係る情報処理システムは、(((1)))~(((3)))の何れか1に係る情報処理システムにおいて、前記画面内に複数の前記オブジェクトが含まれており、前記プロセッサは、前記オブジェクトが選択された状態で前記対象物が第二領域から前記第一領域へ移動すると、前記第一領域において前記オブジェクトの選択を再度受け付ける。
【0172】
(((6)))に係る情報処理システムは、(((1)))~(((3)))の何れか1に係る情報処理システムにおいて、前記画面内に複数の前記オブジェクトが含まれており、
前記プロセッサは、前記第二領域において、前記対象物が選択されなかった前記オブジェクト上で予め定められた時間検知されると、選択されなかった前記オブジェクトを選択状態に遷移して、選択状態の前記オブジェクトに対する操作を受け付ける。
【0173】
(((7)))に係る情報処理システムは、(((1)))~(((6)))の何れか1に係る情報処理システムにおいて、前記プロセッサは、前記画面上で前記対象物を検知すると、前記検知した位置から前記画面までの空間を前記第一領域及び前記第二領域を含むように区切る。
【0174】
(((8)))に係る情報処理システムは、(((7)))に係る情報処理システムにおいて、前記プロセッサは、前記検知した位置から前記画面までの距離が予め定められた閾値よりも短い場合、前記画面に情報を表示させる。
【0175】
(((9)))に係る情報処理システムは、(((1)))~(((8)))の何れか1に係る情報処理システムにおいて、前記第一領域には、前記画面を遷移させる操作が割り当てられており、前記プロセッサは、前記第一領域において前記対象物が予め定められた時間留まっている状態が検知されると、前記画面を遷移させる操作を受け付ける。
【0176】
(((10)))に係る情報処理システムは、(((9)))に係る情報処理システムにおいて、前記プロセッサは、前記オブジェクトが選択された状態で前記画面を遷移させる操作が行われると、前記オブジェクトの選択状態を解除する。
【0177】
(((11)))に係る情報処理プログラムは、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、前記画面からの距離に応じて区切られた複数の領域のうち、前記画面内の前記オブジェクトを選択する操作が割り当てられた第一領域よりも前記画面側に位置し、前記オブジェクトに対する操作が割り当てられた第二領域において、選択状態の前記オブジェクトに対する操作を受け付けることを、コンピュータに実行させる。
【0178】
(((1)))によれば、画面内のオブジェクトに対して対象物による非接触の操作を行う場合に、選択状態でないオブジェクトに対する操作を受け付ける場合と比較して、誤操作を抑制することができる、という効果を有する。
【0179】
(((2)))によれば、対象物がオブジェクト上に位置しているか否かを目視で確認することができる、という効果を有する。
【0180】
(((3)))によれば、選択状態のオブジェクトを目視で確認することができる、という効果を有する。
【0181】
(((4)))によれば、選択されなかったオブジェクトを目視で確認することができる、という効果を有する。
【0182】
(((5)))によれば、対象物を第二領域から第一領域へ移動させる簡単な操作でオブジェクトの選択を再度行うことができる、という効果を有する。
【0183】
(((6)))によれば、第二領域において選択されなかったオブジェクト上に対象物を留める簡単な操作で選択されなかったオブジェクトを選択状態にさせることができる、という効果を有する。
【0184】
(((7)))によれば、対象物が画面の横方向から差し込まれた場合でも、誤操作を抑制することができる、という効果を有する。
【0185】
(((8)))によれば、ユーザに対象物と画面との距離が近過ぎることを知らせることができる、という効果を有する。
【0186】
(((9)))によれば、画面を遷移させる操作を割り当てる専用の領域を設定する場合と比較して、非接触の操作を簡単にすることができる、という効果を有する。
【0187】
(((10)))によれば、オブジェクトの選択状態を解除しないと画面を遷移させる操作が受け付けられない場合と比較して、操作回数を低減することができる、という効果を有する。
【0188】
(((11)))によれば、第二領域において選択状態でないオブジェクトに対する操作を受け付ける場合と比較して、誤操作を抑制することができる、という効果を有する。
【符号の説明】
【0189】
1 情報処理システム
10 画像処理装置
41 CPU(プロセッサの一例)
90 枠
91 枠
92 枠
93 枠
94 枠
95 枠