IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

特許7405720画像形成装置、制御プログラムおよび制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】画像形成装置、制御プログラムおよび制御方法
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20231219BHJP
   G06F 3/01 20060101ALI20231219BHJP
   G06F 3/0346 20130101ALI20231219BHJP
   H04N 1/00 20060101ALI20231219BHJP
【FI】
G06F3/0481
G06F3/01 570
G06F3/0346 421
H04N1/00 350
【請求項の数】 9
(21)【出願番号】P 2020156890
(22)【出願日】2020-09-18
(65)【公開番号】P2022050779
(43)【公開日】2022-03-31
【審査請求日】2023-03-22
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】100168217
【弁理士】
【氏名又は名称】大村 和史
(72)【発明者】
【氏名】柏倉 大亮
【審査官】関口 英樹
(56)【参考文献】
【文献】特開2017-167685(JP,A)
【文献】特開2012-053725(JP,A)
【文献】特開2009-134761(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
3/033-3/039
3/048-3/04895
H04N1/00
(57)【特許請求の範囲】
【請求項1】
複数の赤外線センサ、
前記複数の赤外線センサの周囲に複数のLEDが配置されたディスプレイ、および
前記複数のLEDの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知部を備え、
前記複数の赤外線センサは、前記ディスプレイの上下または/および左右に配置される、画像形成装置。
【請求項2】
前記複数のLEDの一部は、前記上下または/および左右に直線状に並べて配置される前記複数の赤外線センサに沿って直線状に並べて配置される、請求項記載の画像形成装置。
【請求項3】
前記ジェスチャは、ユーザが、前記ディスプレイに対して、上下方向または/および左右方向に手を動かすことを含む、請求項または記載の画像形成装置。
【請求項4】
前記複数のLEDは、前記ジェスチャに応じた発光パターンに従って発光する、請求項記載の画像形成装置。
【請求項5】
前記発光パターンは、前記ユーザが手を動かす方向を報知するように前記複数のLEDを点灯させるパターンである、請求項記載の画像形成装置。
【請求項6】
前記発光パターンは、前記ユーザが手を動かす方向を報知するように前記複数のLEDを所定の時間間隔で所定の順番に追加的に点灯させるパターンである、請求項記載の画像形成装置。
【請求項7】
前記ジェスチャによる指示は、前記画像形成装置が備える複数の機能のうちのいずれか1つを選択するための指示、当該複数の機能の各々における動作条件を選択するための指示、および当該複数の機能を実行またはキャンセルするための指示を含む、請求項1からまでのいずれかに記載の画像形成装置。
【請求項8】
複数の赤外線センサ、および
前記複数の赤外線センサの周囲に複数のLEDが配置されたディスプレイを備え
前記複数の赤外線センサは、前記ディスプレイの上下または/および左右に配置される、画像形成装置の制御プログラムであって、
前記画像形成装置のプロセッサに、
前記複数のLEDの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知ステップを実行させる、制御プログラム。
【請求項9】
複数の赤外線センサ、および
前記複数の赤外線センサの周囲に複数のLEDが配置されたディスプレイを備え
前記複数の赤外線センサは、前記ディスプレイの上下または/および左右に配置される、画像形成装置の制御方法であって、
前記複数のLEDの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知するステップを含む、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像形成装置、制御プログラムおよび制御方法に関し、特にたとえば、ジェスチャにより動作条件の設定および動作の実行を指示する、画像形成装置、制御プログラムおよび制御方法に関する。
【背景技術】
【0002】
この種の画像形成装置の一例が、特許文献1に開示されている。この特許文献1に開示された画像形成システムでは、メガネ型端末は、操作指示とジェスチャを対応付けて記憶し、撮像されたユーザの前方視界の画像に基づいてジェスチャを認識して、操作指示を受け付ける。また、メガネ型端末は、受け付けられた操作指示がドキュメントの読取指示である場合に、画像から印刷物を検出してドキュメント画像として切り出し、切り出したドキュメント画像を画像形成装置に送信する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-67875号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
この背景技術では、ユーザのジェスチャを認識して、ドキュメント画像の印刷等が可能であるが、ジェスチャを認識するための撮像装置が必要であり、また、ジェスチャ認識処理を実行する必要があり、装置および処理にかかるコストが高い。
【0005】
また、ユーザはジェスチャで操作指示を行えるが、ユーザは操作指示に応じたジェスチャを覚えておくか、操作指示に対応するジェスチャが記載された説明書などを見ながらジェスチャを行うため、操作指示が面倒である。
【0006】
それゆえに、この発明の主たる目的は、新規な、画像形成装置、制御プログラムおよび制御方法を提供することである。
【0007】
また、この発明の他の目的は、安価で容易にジェスチャで指示することができる、画像形成装置、制御プログラムおよび制御方法を提供することである。
【課題を解決するための手段】
【0008】
第1の発明は、複数の赤外線センサ、複数の赤外線センサの周囲に複数のLEDが配置されたディスプレイ、および複数のLEDの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知部を備え、複数の赤外線センサは、ディスプレイの上下または/および左右に配置される、画像形成装置である。
【0010】
の発明は、第の発明に従属し、複数のLEDの一部は、上下または/および左右に直線状に並べて配置される複数の赤外線センサに沿って直線状に並べて配置される。
【0011】
の発明は、第または第の発明に従属し、ジェスチャは、ユーザが、ディスプレイに対して、上下方向または/および左右方向に手を動かすことを含む。
【0012】
の発明は、第の発明に従属し、複数のLEDは、ジェスチャに応じた発光パターンに従って発光する。
【0013】
の発明は、第の発明に従属し、発光パターンは、ユーザが手を動かす方向を報知するように複数のLEDを点灯させるパターンである。
【0014】
の発明は、第の発明に従属し、発光パターンは、ユーザが手を動かす方向を報知するように複数のLEDを所定の時間間隔で所定の順番に追加的に点灯させるパターンである。
【0015】
の発明は、第1から第の発明までのいずれかに従属し、ジェスチャによる指示は、画像形成装置が備える複数の機能のうちのいずれか1つを選択するための指示、当該複数の機能の各々における動作条件を選択するための指示、および当該複数の機能を実行またはキャンセルするための指示を含む。
【0016】
の発明は、複数の赤外線センサ、および複数の赤外線センサの周囲に複数のLEDが配置されたディスプレイを備え、複数の赤外線センサは、ディスプレイの上下または/および左右に配置される、画像形成装置の制御プログラムであって、画像形成装置のプロセッサに、複数のLEDの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知する報知ステップを実行させる、制御プログラムである。
【0017】
の発明は、複数の赤外線センサ、および複数の赤外線センサの周囲に複数のLEDが配置されたディスプレイを備え、複数の赤外線センサは、ディスプレイの上下または/および左右に配置される、画像形成装置の制御方法であって、複数のLEDの一部を点灯させることにより、指示可能な内容および当該指示可能な内容を指示するためのジェスチャを報知するステップを含む、制御方法である。
【発明の効果】
【0018】
この発明によれば、安価で容易にジェスチャで指示することができる。
【0019】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0020】
図1図1は、この実施例の画像形成装置の外観構成の一例を示す斜視図である。
図2図2は、この実施例の画像形成装置の電気的な構成の一例を示すブロック図である。
図3図3は、図1および図2に示すディスプレイのパネルの一例を示す図である。
図4図4は、図1および図2に示すディスプレイの電子部品の構成の一例を示す図である。
図5図5は、図1および図2に示すディスプレイに表示されるホーム画面の第1の例を示す図である。
図6図6は、図1および図2に示すディスプレイに表示されるホーム画面の第2の例を示す図である。
図7図7は、図1および図2に示すディスプレイに表示されるホーム画面の第3の例を示す図である。
図8図8は、図1および図2に示すディスプレイに表示されるホーム画面の第4の例を示す図である。
図9図9は、図1および図2に示すディスプレイにおいて右方向に手を動かすジェスチャを報知する場合のLEDの点灯の仕方を説明するための図である。
図10図10は、図1および図2に示すディスプレイにおいて下方向に手を動かすジェスチャを報知する場合のLEDの点灯の仕方を説明するための図である。
図11図11は、図2に示すジェスチャ検出部において右方向に手を動かすジェスチャを検出する方法を説明するための図である。
図12図12は、図2に示すジェスチャ検出部において下方向に手を動かすジェスチャを検出する方法を説明するための図である。
図13図13は、図1および図2に示すディスプレイに表示される確認画面の第1の例を示す図である。
図14図14は、図1および図2に示すディスプレイに表示される確認画面の第2の例を示す図である。
図15図15は、図1および図2に示すディスプレイに表示されるカラーモード選択画面の第1の例を示す図である。
図16図16は、図1および図2に示すディスプレイに表示されるカラーモード選択画面の第2の例を示す図である。
図17図17は、図1および図2に示すディスプレイに表示される部数選択画面の第1の例を示す図である。
図18図18は、図1および図2に示すディスプレイに表示される部数選択画面の第2の例を示す図である。
図19図19は、図1および図2に示すディスプレイに表示される実行画面の第1の例を示す図である。
図20図20は、図1および図2に示すディスプレイに表示される実行画面の第2の例を示す図である。
図21図21は、図2に示すRAMのメモリマップの一例を示す図である。
図22図22は、図2に示すCPUの全体処理の一例の第1の一部を示すフロー図である。
図23図23は、図2に示すCPUの全体処理の第2の一部であって、図22に後続するフロー図である。
図24図24は、図2に示すCPUの全体処理の第3の一部であって、図23に後続するフロー図である。
図25図25は、図2に示すCPUの全体処理の第4の一部であって、図23および図24に後続するフロー図である。
図26図26は、図2に示すCPUのジェスチャ判別処理の一例の第1の一部を示すフロー図である。
図27図27は、図2に示すCPUのジェスチャ判別処理の第2の一部であって、図26に後続するフロー図である。
【発明を実施するための形態】
【0021】
図1はこの発明の一実施例である画像形成装置10の外観構成を示す斜視図である。図1を参照して、この実施例では、画像形成装置10は、複写機能(つまり、コピー機能)、プリンタ機能、スキャナ機能およびファクシミリ機能などを有する複合機(MFP:Multifunction Peripheral)である。
【0022】
なお、この発明は複合機だけでなく、コピー機能、スキャナ機能およびファクシミリ機能の少なくとも1つを備える他の画像形成装置に適用可能である。
【0023】
また、この明細書では、画像形成装置10の構成についての説明において方向を用いる場合には、画像形成装置10を操作するユーザに対向する面、つまり後述する操作パネル26が設けられる側の面を前面(正面)として、画像形成装置10およびその構成部材の前後方向(奥行方向)を規定し、画像形成装置10およびその構成部材の左右方向(横方向)は、ユーザから画像形成装置10を見た状態を基準として規定する。
【0024】
画像形成装置10は、画像読取部30、画像形成部32、手差し用紙給紙部34、給紙装置38および排紙トレイ40を含む装置本体36を備える。
【0025】
画像読取部30は、透明材(たとえば、コンタクトガラスまたはプラテンガラス)によって形成される原稿載置台を備え、装置本体36に内蔵される。原稿載置台の上方には、ヒンジ等を介して原稿押えカバー30aが開閉自在に取り付けられる。
【0026】
なお、この実施例では、原稿押えカバー30aには、手差し原稿給紙部が設けられていないが、手差し原稿給紙部を設けるようにしてもよい。この場合には、原稿押えカバー30aには、手差し原稿給紙部に載置された原稿を自動的に給紙するADF(自動原稿送り装置)が設けられる。
【0027】
また、画像読取部30は、光源、複数のミラー、結像レンズおよびラインセンサ等を備える。この画像読取部30は、原稿表面を光源によって露光し、原稿表面から反射した反射光を複数のミラーによって結像レンズに導く。そして、結像レンズによって反射光をラインセンサの受光素子に結像させる。ラインセンサでは、受光素子に結像した反射光の輝度または色度が検出され、原稿表面の画像に基づく読取画像データが生成される。ラインセンサとしては、CCD(Charge Coupled Device)またはCIS(Contact Image Sensor)等が用いられる。
【0028】
画像形成部32は、装置本体36に内蔵され、画像読取部30の下方に設けられる。この画像形成部32は、感光体ドラム、帯電装置、露光装置、現像装置、転写装置および定着装置などを備える。画像形成部32は、手差し用紙給紙部(または、給紙トレイ)34または給紙装置38(または、給紙カセット38a)等から搬送される画像記録媒体(たとえば、用紙)上に電子写真方式によって画像を形成し、画像形成済みの用紙を排紙トレイ40に排出する。
【0029】
ただし、用紙上に画像を形成するための出力画像データとしては、画像読取部30で読み取った読取画像データ、または外部コンピュータから送信された画像データ等が利用される。
【0030】
なお、読取画像データから各種の設定が反映された白黒またはカラーの出力画像データを生成する処理、および、出力画像データに従う白黒またはカラーの画像形成処理は既に周知であり、本願発明の本質的な内容とは異なるため、これらの詳細な説明については省略することにする。
【0031】
また、詳細な説明は省略するが、画像形成装置10は、カラーのプリント機能を備えており、画像形成部32は、Y(イエロー)、M(マゼンタ)、C(シアン)、K(ブラック)の各色について、4つの感光体ドラムと、4つの帯電装置と、4つの現像装置と、4つの中間転写ローラと、4つのクリーニング装置などを備える。また、色毎に、感光体ドラムと、帯電装置と、現像装置と、転写ローラと、クリーニング装置を含む画像形成ステーションが構成される。画像形成装置10は、タンデム式の画像形成装置であって、画像形成部32において、色毎の画像形成ステーションが一列に並んで配置される。
【0032】
手差し用紙給紙部34は、給紙手段の一例である。詳しい図示は省略するが、手差し用紙給紙部34は、適宜のサイズの用紙がセットされる。この実施例では、1つの手差し用紙給紙部34を示すが、手差し用紙給紙部34は複数設けられていてもよい。給紙装置38は、手差し用紙給紙部34と同様に、給紙手段の一例である。詳しい図示は省略するが、給紙装置38は、1以上の給紙カセット38aを有する。それぞれの給紙カセット38aには、適宜のサイズの用紙がセット(または、収容)される。給紙装置38は、いずれかの給紙カセット38aから画像形成部32へ用紙を供給する。上述したように、画像形成部32に供給された用紙に対して、画像形成部32による画像形成処理が施される。
【0033】
ただし、手差し用紙給紙部34から画像記録媒体を供給する場合には、手差し用紙給紙部34は、装置本体36に対して開いた状態で使用され、開いた状態の手差し用紙給紙部34上に画像記録媒体がセットされる。
【0034】
なお、画像記録媒体としては、用紙に限定されず、クリアファイル、OHPフィルムなどの紙以外のシートも用いられる。
【0035】
排紙トレイ40は、画像読取部30および画像形成部32の間に設けられる。排紙トレイ40の底面は、画像形成部32によって区画される。また、排紙トレイ40の天面は、画像読取部30によって区画される。さらに、排紙トレイ40の左側面(正面から見た左側面)は、連結筐体42の右側面で規定される。つまり、排紙トレイ40の前面側、背面側および左側面側は、開口する。排紙トレイ40の底面は、連結筐体42側に向かって下り勾配となる傾斜面を有する。
【0036】
また、画像読取部30の前面側には、操作パネル26が設けられる。操作パネル26は、LCD22およびジェスチャ検出部24を備えるディスプレイ20および複数の操作ボタン26aを備える。
【0037】
ディスプレイ20は、機能の選択、動作条件の選択、および機能の実行またはキャンセルなどの指示の内容を含む各種の画面を表示する。一例として、ディスプレイ20には、画像形成装置10が実行可能な各種のまた機能から所望の機能を選択するための画面であるホーム画面300(または、メインメニュー画面)、各機能の動作条件を選択するための画面(たとえば、カラーモード選択画面400および部数選択画面450)、各機能を実行またはキャンセルするための実行画面500およびユーザの選択および設定を確認するための確認画面(350など)などが表示される(図5図8図13図20参照)。ただし、この実施例では、機能は、コピー(原稿のスキャンを含む)、スキャン、ファックスの送信およびユーザによってプリセットされた動作(以下、「ユーザプリセット」ということがある)を意味する。
【0038】
LCD22は、汎用のモノクロのLCDであり、数行程度の表示領域を有している。詳細な説明は省略するが、この実施例では、LCD22は、画像形成装置10のステータス、プリント中のデータのファイル名、エラーコードなどを表示する。
【0039】
ジェスチャ検出部24は、ユーザのジェスチャ、この実施例では、ユーザの手の動き(手の動きを止めている状態も含む)を検出するための検出部である。ジェスチャ検出部24の構成については、後述する。
【0040】
操作ボタン26aは、ハードウェアキーであって、たとえば、ホームキー、クリアキー、省電力キー、主電源キー、モード選択キーおよびテンキーなどが含まれる。ホームキーは、後述するホーム画面300をディスプレイ20に表示させるためのキーである。クリアキーは、ユーザが設定した動作条件をクリアし、デフォルトの状態に戻すためのキーである。省電力キーは、消費電力が制限される省電力状態と、消費電力が制限されない通常状態とを切り替えるためのキーである。モード選択キーは、コピー、スキャンおよびFAXなどの機能(または、動作モード)を選択するためのキーである。テンキーは、0~9までの数字キーであり、この実施例では、#および*のキーも含む。
【0041】
なお、ハードウェアキーとは、物理的な装置として設けられたキーまたは押しボタンのことを言う。
【0042】
図2図1に示す画像形成装置10の電気的な構成を示すブロック図である。図2を参照して、画像形成装置10はCPU12を含む。CPU12は、バス60を介して、RAM14、HDD16、通信回路18、画像読取部30、画像形成部32、LED駆動回路62、LCD駆動回路64、センサ駆動回路66および操作ボタン検出回路68に接続される。
【0043】
また、LED駆動回路62はディスプレイ20に接続され、LCD駆動回路64はLCD22に接続され、センサ駆動回路66はジェスチャ検出部24に接続され、操作ボタン検出回路68は操作ボタン26aに接続される。
【0044】
CPU12は、画像形成装置10の全体的な制御を司る。RAM14は、画像形成装置10の主記憶装置であって、CPU12のワーク領域およびバッファ領域として用いられる。
【0045】
HDD16は、画像形成装置10の補助記憶装置であって、CPU12が画像形成装置10の各部位の動作を制御するための制御プログラム、各種の画面についての表示データ、画像形成装置10に予め設定(すなわち、デフォルト設定)された動作条件についてのデータおよび画像形成装置10のコピー機能で印刷された原稿のデータ等を適宜記憶する。ただし、HDD16に代えて、または、HDD16とともに、SSD、フラッシュメモリ、EEPROMなどの他の不揮発性メモリが設けられてもよい。
【0046】
通信回路18は、モデムおよびNIC(Network Interface Card)を含む。モデムは、ファクシミリの送受信を行うための通信回路であり、公衆電話回線に接続される。NICは、ネットワーク(LANまたは/およびインターネット)を介してサーバなどの外部のコンピュータまたは他の電子機器と有線または無線で通信するための通信回路であり、たとえばLANに接続される。
【0047】
画像読取部30および画像形成部32は、上述したとおりであるため、重複する説明は省略する。
【0048】
LED駆動回路62は、CPU12の指示の下、ディスプレイ20を構成する複数のLEDの点灯および消灯を制御する。この実施例の複数のLEDは、カラーLEDであり、点灯する色も制御される。
【0049】
LCD駆動回路64は、CPU12の指示の下、上述したLCD22の表示を制御する。ただし、LCD22は省略することもできる。この場合、LCD駆動回路64も省略される。
【0050】
センサ駆動回路66は、ジェスチャ検出部24を構成する複数の赤外線センサ230-236を駆動するための回路である。具体的には、センサ駆動回路66は、CPU12の指示に従って、赤外線センサ230-236の各々の発光部を発光させるとともに、赤外線せんさ230-236の各々の受光部で赤外光を受光したことの検出結果をCPU12に出力する。
【0051】
この実施例では、複数の赤外線センサ230-236は、それぞれ、汎用の焦電型赤外線センサである。また、各赤外線センサ230-236の検出可能な距離は、数cmから10cm程度に設定される。これは、ユーザの手のみを検出し、ユーザの顔または胴体を検出しないようにするためである。
【0052】
ディスプレイ20、LCD22およびジェスチャ検出部24は、図3に示すパネル20aおよび図4に示す電子部品20bで構成される。図4からも分かるように、LCD22およびジェスチャ検出部24は、ディスプレイ20に内蔵される。
【0053】
図3に示すように、パネル20aは、透明のアクリル板の裏面において、記号200、文字(この実施例では、文字列)202、数字204および図形206を示す部分を除いて、赤外光を透過可能な暗色または黒色の塗料が塗布される。また、一例として、パネル20a(ディスプレイ20)は、パスポートと同じまたは同程度の大きさを有している。
【0054】
図3に示す例では、パネル20aの中央に上下方向および左右方向を示す矢印の記号200が表される。また、パネル20aの左端部には、コピー、スキャン、FAX、モノクロおよびプリセットの文字列202および-の記号200が上下に並んで表され、パネル20aの右端部には、+の記号200およびカラーの文字列202が上下に並んで表される。さらに、パネル20aの上端部には、1~9までおよび0の数字204が左右に並んで表される。さらにまた、上下方向を示す矢印の記号200の上側の矢先の右方にキャンセルの文字列202が表され、上下方向を示す矢印の記号200の下側の矢先の右方にOKの文字列202が表される。そして、上下方向の矢印の記号200の左方であり、左右方向の矢印の記号200の上方に、四角形の図形206が表される。
【0055】
上記の記号200、文字列202および数字204は、それぞれ、後述する電子部品20bに含まれる複数のLED220a-220j、222a-222g、224a-224hおよび226a-226jによって表示および非表示が制御される。また、上記の図形206の部分は、LCD22の表示パネル(または、カバー)として機能する。
【0056】
図4に示すように、電子部品20bは、電子基板2000を含み、電子基板2000には、複数のLED220a-220j、222a-222g、224a-224hおよび226a-226j、複数の赤外線センサ230-236およびLCD22がそれぞれ所定の位置に実装される。
【0057】
図3も参照して分かるように、具体的には、LED220aはコピーの文字列202に対応する位置に配置され、LED220bはスキャンの文字列202に対応する位置に配置され、LED220cはFAXの文字列202に対応する位置に配置され、LED220dは-の記号200に対応する位置に配置され、LED220eはモノクロの文字列202に対応する位置に配置され、そして、LED220fはプリセットの文字列202に対応する位置に配置される。
【0058】
ただし、「対応する位置」とは、パネル20aを電子部品20bに重ねた場合に、一致するまたは重なる位置を意味する。以下、同様である。
【0059】
また、LED222a、222b、222c、222d、222e、222fおよび222gは、上下方向の矢印の記号200に対応する位置に、上下方向(縦方向)に並んで配置される。
【0060】
さらに、LED224a、224b、224c、224d、224e、224f、224gおよび224hは、左右方向の矢印の記号200に対応する位置に、左右方向(横方向)に並んで配置される。
【0061】
ただし、上下方向の矢印の記号200は、左右方向の矢印の記号200と交わっているため、その交わっている部分に配置されるLED222dは両方の矢印の記号200を点灯および消灯するのに共通で使用される。
【0062】
また、LED226aは1の数字204に対応する位置に配置され、LED226bは2の数字204に対応する位置に配置され、LED226cは3の数字204に対応する位置に配置され、LED226dは4の数字204に対応する位置に配置され、LED226eは5の数字204に対応する位置に配置され、LED226fは6の数字204に対応する位置に配置され、LED226gは7の数字204に対応する位置に配置され、LED226hは8の数字204に対応する位置に配置され、LED226iは9の数字204に対応する位置に配置され、そして、LED226jは0の数字204に対応する位置に配置される。
【0063】
また、この実施例では、赤外線センサ230はLED222aとLED222bの間に配置され、赤外線センサ232はLED220c(220d)とLED224aの間に配置され、赤外線センサ234はLED222fとLED222gの間に配置され、そして、赤外線センサ236はLED220iとLED224hの間に配置される。
【0064】
さらに、この実施例では、LCD22が、LED222bおよび222cの左方であり、かつ、LED224a-224dの上方に配置される。
【0065】
図2に戻って、操作ボタン検出回路68は、上述した操作ボタン26aの操作に応じた操作信号ないし操作データをCPU12に出力する。
【0066】
なお、図2に示す画像形成装置10の電気的な構成は単なる一例であり、これに限定される必要はない。たとえば、SDカードまたはUSBメモリなどの各種の記憶装置を装着可能なメモリスロットなどの接続部を備えても良い。
【0067】
このような画像形成装置10では、ユーザは、自身の手でジェスチャによって指示(または、操作または入力)することができる。この実施例では、画像形成装置10は、ユーザが選択可能(または、実行可能)な機能または動作に対応づけてジェスチャが割り当てられるのみならず、ユーザがジェスチャによって指示する場面において、指示可能な内容についてのジェスチャを、LED220a-220j、222a-222g、224a-224hおよび226a-226jの発光によって事前に報知する。つまり、画像形成装置10は、ジェスチャによる指示を補助する。
【0068】
以下、この明細書において、ディスプレイ20に表示内容およびジェスチャについて、方向を用いて説明する場合には、ユーザがディスプレイ20を正面から見た場合の上下左右の方向を用いることにする。
【0069】
また、この明細書においては、ユーザがジェスチャにより指示する場合についてのみ説明するが、ユーザが操作ボタン26aにより指示する場合にも同様の処理が実行される。
【0070】
図5図8は、それぞれ、ユーザがジェスチャによる指示を行うのを待ち受けている場合のホーム画面300の例を示す。ただし、ホーム画面300は、ディスプレイ20のパネル20aに表示される内容(すなわち、画面)である。また、図5図8に示すホーム画面300では、パネル20aの外枠と表示(または、点灯)されている記号200および文字列202を黒色で示し、他を白色で示してある。以下、他の画面についても同様である。ただし、表示される数字204についても、記号200および文字列202と同じである。
【0071】
ホーム画面300は、上述したように、画像形成装置10における機能を選択するための画面であり、この実施例では、コピー、スキャン、FAXおよびユーザプリセットを選択可能である。
【0072】
図5は、コピーを選択するためのジェスチャをユーザに報知しているホーム画面300の一例である。図6は、スキャンを選択するためのジェスチャをユーザに報知しているホーム画面300の一例である。図7は、FAXを選択するためのジェスチャをユーザに報知しているホーム画面300の一例である。図8は、ユーザプリセットを選択するためのジェスチャーをユーザに報知しているホーム画面300の一例である。
【0073】
なお、ユーザプリセットは、ユーザが予め設定した動作を実行する機能であり、たとえば、原稿を所定の倍率でコピーしたり、原稿をスキャンしてPDFのような所定のフォーマットで出力したりすることが該当する。
【0074】
図5に示すホーム画面300では、コピーの文字列202が表示されるとともに、右向きの矢印の記号200が表示される。この実施例では、コピーの文字列202と右向きの矢印の記号200は、同じ色(たとえば、黄色)で表示される。つまり、コピーを選択するためには、右向きに手を動かすことが報知される。
【0075】
図6に示すホーム画面300では、スキャンの文字列202が表示されるとともに、下向きの矢印の記号200が表示される。この実施例では、スキャンの文字列202と下向きの矢印の記号200は、同じ色(たとえば、緑色)で表示される。つまり、スキャンを選択するためには、下向きに手を動かすことが報知される。
【0076】
図7に示すホーム画面300では、FAXの文字列202が表示されるとともに、左向きの矢印の記号200が表示される。この実施例では、FAXの文字列202と左向きの矢印の記号200は、同じ色(たとえば、青色)で表示される。つまり、FAXを選択するためには、左向きに手を動かすことが報知される。
【0077】
図8に示すホーム画面300では、プリセットの文字列202が表示されるとともに、上向きの矢印の記号200が表示される。この実施例では、プリセットの文字列202と上向きの矢印の記号200は、同じ色(たとえば、赤色)で表示される。つまり、ユーザプリセットを選択するためには、上向きに手を動かすことが報知される。
【0078】
上記のように、図5図8に示すホーム画面300では、右向きの矢印、下向きの矢印、左向きの矢印および上向きの矢印が表示されるが、この実施例では、各矢印は矢尻から矢先に向けて次第に伸びるように変化される。また、矢印の全体が表示されると、再度、矢尻から矢先に向けて次第に伸びるように変化される。このような変化が、各ホーム画面300において数回(たとえば、3回)繰り返される。
【0079】
また、この実施例では、各機能に異なる色が割り当てられ、機能の違いを表示する色によっても表現してある。一例として、上記のように、黄色がコピーに割り当てられ、緑色がスキャンに割り当てられ、青色がFAXに割り当てられ、赤色がユーザプリセットに割り当てられる。
【0080】
また、ユーザがいずれかの機能を選択することをジェスチャで指示するまでは、図5図8に示すホーム画面300はその順番で表示され、図8に示すホーム画面300が表示されると、再び、図5に示すホーム画面300から順番に表示される。ただし、上記のように、矢印の表示が数回繰り返された後に、次のホーム画面300に表示が変化される。
【0081】
ここで、矢印の表示方法について説明するとともに、ユーザのジェスチャの検出方法について説明する。
【0082】
図9は右向きの矢印の記号の表示方法を説明するための図であり、図10は下向きの矢印の記号の表示方法を説明するための図である。
【0083】
図9は、右向きの矢印の記号200が時間の変化に従って伸びる様子を示す。また、図9では、左右方向の矢印の記号200に対応する位置に配置されるLED224a、224b、224c、224d、222d、224e、224fおよび224hを左右方向の矢印の記号200の上方に示してある。ここでは、点灯されるLEDのみについて説明し、点灯されていないLEDについての説明は省略する。このことは、後述する下向きの矢印の記号200の表示方法を説明する場合について同じである。
【0084】
右向きの矢印の記号200が表示される場合には、時間t0から時間t7までの第1所定時間において、第1所定時間を8等分した時間毎に、LED224b、224c、224d、222d、224e、224f、224gおよび224hがその順番で追加的に点灯される。この実施例では、第1所定時間は1秒に設定される。この第1所定時間は、ユーザが右向きに手を動かす動作すなわちジェスチャを行った場合に、ジェスチャ検出部24を構成する赤外線センサ230-236でその動作すなわちジェスチャを検出可能な時間であり、実験によって決定される。第1所定時間は一例であり、使用する赤外線センサの能力などに応じて適宜変更される。
【0085】
ただし、時間t0は、ホーム画面300(他の画面も同様である)において右向きの矢印の記号200が最初に表示されるときと、右向きの矢印の記号200が矢先まで表示されて、再度右向きの矢印の記号200が矢尻側から表示されるときの時間である。
【0086】
具体的には、時間t0で、LED224bが点灯され、時間t1で、LED224bおよび224cが点灯され、時間t2で、LED224b、224cおよび224dが点灯され、時間t3で、LED224b、224c、224dおよび222dが点灯され、時間t4で、LED224b、224c、224d、222dおよび224eが点灯され、時間t5で、LED224b、224c、224d、222d、224eおよび224fが点灯され、時間t6で、LED224b、224c、224d、222d、224e、224fおよび224gが点灯され、時間t7で、LED224b、224c、224d、222d、224e、224f、224gおよび224hが点灯される。
【0087】
したがって、右向きの矢印の記号200が次第に伸びるように表示される。LED224aは、左向きの矢印の記号200の矢先を表示する場合に点灯されるため、右向きの矢印の記号200が表示される場合には、点灯されない。
【0088】
図示は省略するが、左向きの矢印の記号200を表示する場合には、右向きの矢印200を表示する場合とは逆向きに矢印が伸びるように、LED224a、224b、224c、224d、222d、224e、224fおよび224gの点灯が制御される。この場合、LED224hは点灯されない。
【0089】
また、図10は、下向きの矢印の記号200が時間の変化に従って伸びる様子を示す。また、図10では、上下方向の矢印の記号200に対応する位置に配置されるLED222a、222b、222c、222d、222e、222fおよび224gを上下方向の矢印の記号200の左方に示してある。
【0090】
下向きの矢印の記号200が表示される場合には、時間t0から時間t5までの第1所定時間において、第1所定時間を6等分した時間毎に、LED222b、222c、222d、222e、222f、222gおよび222hがその順番で追加的に点灯される。
【0091】
ただし、時間t0は、ホーム画面300(他の画面も同様である)において、下向きの矢印の記号200が最初に表示されるときと、下向きの矢印の記号200が矢先まで表示されて、再度下向きの矢印の記号200が矢尻側から表示されるときの時間である。
【0092】
具体的には、時間t0で、LED222bが点灯され、時間t1で、LED222bおよび222cが点灯され、時間t2で、LED222b、222cおよび222dが点灯され、時間t3で、LED222b、222c、222dおよび222eが点灯され、時間t4で、LED222b、222c、222d、222eおよび222fが点灯され、時間t5で、LED222b、222c、222d、222e、222fおよび222gが点灯される。
【0093】
したがって、下向きの矢印の記号200が次第に伸びるように表示される。LED222aは、上向きの矢印の記号200の矢先を表示する場合に点灯されるため、下向きの矢印の記号200が表示される場合には、点灯されない。
【0094】
図示は省略するが、上向きの矢印の記号200を表示する場合には、下向きの矢印の記号200を表示する場合とは逆向きに矢印が伸びるように、LED222a、222b、222c、222d、222e、222fおよび222gの点灯が制御される。この場合、LED222gは点灯されない。
【0095】
上述したように、図5図8に示す各ホーム画面300が順番に表示されるとともに、各々のホーム画面300では、機能を示す文字列202が所定の色で表示されるとともに、ジェスチャを報知するための矢印の記号200が所定の色で所定回数表示される。このようにホーム画面300が表示されるように、LED220a-220j、222a-222g、224a-224hおよび226a-226jの点灯および消灯するタイミングと、点灯する色の情報を含む点灯パターンについて表示データが予め用意され、HDD16に記憶されている。このことは、後述する他の画面についても同様である。
【0096】
図11はユーザが手を右向きに移動させるジェスチャ(すなわち、「右向きの動作」)の検出方法を説明するための図であり、図12はユーザが手を下向きに移動させるジェスチャ(すなわち、「下向きの動作」)の検出方法を説明するための図である。ただし、図11および図12では、ジェスチャを開始した直後のユーザの手を破線で示し、ジェスチャを終了した直後のユーザの手を実線で示してある。また、図11および図12では、赤外線センサ230-236のみを記載し、LEDLED220a-220j、222a-222g、224a-224hおよび226a-226jは省略してある。ただし、この実施例では、ディスプレイ20は、その表示面が画像形成装置10において上方を向くように設けられるため、ユーザが手を動かすのは、ディスプレイ20の上方である。
【0097】
図11に示すように、ユーザが、ディスプレイ20の上方で手を左から右向きに移動させると、最初に、赤外線センサ232で物体(すなわち、ユーザの手)が検出され、次に、赤外線センサ230または/および赤外線センサ234でユーザの手が検出され、最後に、赤外線センサ236でユーザの手が検出される。
【0098】
ユーザがジェスチャによる指示を実行可能なタイミングにおいて、赤外線センサ230-236の出力が時間の変化とともに記憶される。この実施例では、ジェスチャによる指示が、ジェスチャの開始から終了までの時間が第1所定時間以上で実行された場合に、ジェスチャの種類(この実施例では、右向きの動作、左向きの動作、下向きの動作または上向きの動作)が判別される。
【0099】
ただし、この実施例では、ジェスチャの開始は、赤外線センサ230-236のすべてが物体を検出していない状態から、赤外線センサ230-236のうちのいずれか1つ以上が物体を検出した状態に変化ときであり、ジェスチャの終了は、赤外線センサ230-236のうちのいずれか1つ以上が物体を検出している状態から、赤外線センサ230-236のすべてが物体を検出していない状態に変化したときである。
【0100】
なお、ジェスチャの開始から終了までの時間が第1所定時間未満である場合には、ジェスチャによる指示であるか、ユーザの手がたまたまディスプレイ20の上方を横切ったのかを区別できないため、ジェスチャによる指示の検出にエラーが発生した判断し、エラーをユーザに報知して、再度ジェスチャによる指示を検出するようにしてある。
【0101】
エラーを報知する方法は、ビープ音を出力したり、LED220a-220j、222a-222g、224a-224hおよび226a-226jの全部(または一部)を所定の色(たとえば、赤色)で点滅(点灯および消灯の繰り返し)させたり、それらの両方を実行することが考えられる。他の実施例では、パネル20aにエラーの文字列を表し、その文字列に対応する電子基板2000の位置にLEDをさらに設けて、エラーの文字列を表示(発光)するようにしてもよい。
【0102】
図示は省略するが、図11に示す場合と逆向きに、すなわち、実線の手の位置から破線の手の位置に向けて、ユーザが手を動かすと、ユーザが手を左向きに移動させるジェスチャ(すなわち、「左向きの動作」)が検出される。
【0103】
また、図12に示すように、ユーザが、ディスプレイ20の上方で手を上から下向きに移動させると、最初に、赤外線センサ230でユーザの手が検出され、次に、赤外線センサ232または/および赤外線センサ236でユーザの手が検出され、最後に、赤外線センサ234でユーザの手が検出される。
【0104】
図示は省略するが、図12に示す場合と逆向きに、すなわち、実線の手の位置から破線の手の位置に向けて、ユーザが手を動かすと、ユーザが手を上向きに移動させるジェスチャ(すなわち、「上向きの動作」)が検出される。
【0105】
上述したように、この実施例では、ディスプレイ20はパスポートと同程度の大きさであるため、ユーザが左向き、右向き、上向きおよび下向きに正しく手を動かす場合には、ジェスチャの開始から終了まで、赤外線センサ230-236の少なくとも1つでユーザの手が検出される。
【0106】
したがって、ユーザのジェスチャの種類は、ジェスチャの開始時に、ユーザの手を検出していた赤外線センサ(230-236のいずれか)から、ジェスチャの終了時に、ユーザの手を検出していた赤外線センサ(230-236のいずれか)に向かう方向によって判別される。
【0107】
なお、ユーザのジェスチャの種類を判別する方法は一例であり、限定される必要はない。赤外線センサの数を増やすことにより、ユーザの手の動きを細かく追跡することもできる。
【0108】
また、この実施例では、第2所定時間(たとえば、3秒)以上継続して、ユーザが手を移動させずにディスプレイ20上にかざしている場合には、つまり、手を動かさないジェスチャの場合には、特定の操作が実行されていることが判別される。一例として、赤外線センサ230-236のうちの少なくとも1つでユーザの手が検出され、その状態が第2所定時間以上継続した場合に、特定の操作が実行されていることが判断される。
【0109】
以下の説明において、矢印の記号200を表示する場合には、上記のように、LED222a-222gおよび224a-224hの点灯が制御され、ユーザのジェスチャを検出する場合には、上記のように、赤外線センサ230-236の検出結果に基づいてジェスチャの種類が判別される。このため、以下においては、重複する説明は省略することにする。
【0110】
上記のホーム画面300が表示されている場合に、ユーザが、ディスプレイ20の上方で手を左から右向きに移動させると、ジェスチャとして右向きの動作が検出され、機能としてコピーが選択される。以下では、コピーが選択され、ジェスチャにより、各種の動作条件が設定され、さらに、コピーが実行される場合について説明する。
【0111】
ただし、ユーザは、ホーム画面300が表示されている場合には、コピー、スキャン、FAXおよびユーザプリセットのうち、いずれの機能を選択するためのジェスチャが報知されているかに関係無く、所望の機能を選択するためのジェスチャを行うことにより、所望の機能を選択することができる。
【0112】
また、この実施例では、コピーについては、黄色が割り当てられるため、コピーについての動作条件が設定される場合に表示される画面(この実施例では、カラーモード選択画面400および部数選択画面450)においては、記号200および文字列202は黄色で表示される。したがって、図示は省略するが、他の機能が選択された場合には、動作条件が設定される場合においては、記号200および文字列202は当該他の機能に割り当てられた色で表示される。
【0113】
コピーが選択されると、選択した内容で良いかどうかを確認するための画面(以下、「確認画面」という)350がディスプレイ20に表示される。
【0114】
図13は、コピー選択時において、選択した機能がコピーで良い(OKする)ことを選択するためのジェスチャを報知するための確認画面350である。図14は、コピー選択時において、選択した機能(ここでは、コピー)をキャンセルすることを選択するためのジェスチャを報知するための確認画面350である。
【0115】
図13および図14に示す確認画面350では、コピーの文字列202が赤色で表示される。赤色で表示するのは、コピーが選択されたことを示すためである。後述するように、動作条件が選択された場合も同様である。また、図13に示す確認画面350では、OKすることを選択するジェスチャとして下向きの動作を報知するために、OKの文字列202と下向きの矢印の記号200が緑色で表示される。一方、図14に示す確認画面350では、キャンセルすることを選択するジェスチャとして上向きの動作を報知するために、キャンセルの文字列202と上向きの矢印の記号200が赤色で表示される。
【0116】
図13および図14に示す確認画面350は、OKまたはキャンセルが選択されるまで、すなわち、下向きの動作または上向きの動作が検出されるまで、交互にディスプレイ20に表示される。ただし、図13に示す確認画面350が表示されている間に、下向きの矢印の記号200が3回表示され、図14に示す確認画面350が表示されている間に、上向きの矢印の記号200が3回表示される。
【0117】
確認画面350がディスプレイ20に表示されている場合に、キャンセルが選択された場合には、ホーム画面300に戻って、再度機能が選択される。一方、確認画面350がディスプレイ20に表示されている場合に、OKが選択された場合には、次に、カラーモードを選択するための画面(以下、「カラーモード選択画面」という)400がディスプレイ20に表示される。
【0118】
図15は、カラーを選択するためのジェスチャを報知するカラーモード選択画面400である。図16は、モノクロを選択するためのジェスチャを報知するカラーモード選択画面400である。
【0119】
図15に示すカラーモード選択画面400では、カラーモードとしてカラーを選択するジェスチャとして右向きの動作を報知するために、カラーの文字列202と右向きの矢印の記号200が黄色で表示される。一方、図16に示すカラーモード選択画面400では、カラーモードとしてモノクロを選択するジェスチャとして左向きの動作を報知するために、モノクロの文字列202と左向きの矢印の記号200が黄色で表示される。
【0120】
図15および図16に示すカラーモード選択画面400は、カラーまたはモノクロが選択されるまで、つまり、右向きの動作または左向きの動作が検出されるまで、交互にディスプレイ20に表示される。ただし、図15に示すカラーモード選択画面400が表示されている間に、右向きの矢印の記号200が3回表示され、図16に示すカラーモード選択画面400が表示されている間に、左向きの矢印の記号200が3回表示される。
【0121】
ただし、カラーモード選択画面400が表示されている場合に、特定の操作が検出されると、デフォルト設定で、コピーが強制的に実行される。以下、実行画面500が表示されている場合に、コピーの実行が指示されるまでの間に、特定の操作が検出された場合も、同様に、デフォルト設定で、コピーが強制的に実行される。
【0122】
カラーモードが選択されると、次に、選択されたカラーモードで良いかどうかを確認するための確認画面(以下、「カラーモードの確認画面」という)が表示される。このカラーモードの確認画面は、上記の確認画面350と同様であるが、ここでは、カラーモードがOKかキャンセルかを確認するため、選択されたカラーモードすなわちカラーまたはモノクロの文字列202が赤色で表示される。OKの場合とキャンセルの場合の矢印の記号200の表示については、確認画面350と同じである。
【0123】
カラーモードがキャンセルされた場合には、カラーモード選択画面400に戻って、再度カラーモードが選択される。一方、カラーモードがOKされた場合には、コピーの部数を選択するための画面(以下、「部数選択画面」という)450がディスプレイ20に表示される。
【0124】
図17および図18に示す部数選択画面450では、部数を示す数字(ここでは、2)204が黄色で表示される。ただし、部数選択画面450が表示された当初では、部数として1の数字204が表示される。図17に示す部数選択画面450では、部数を増やすジェスチャとして右向きの動作を報知するために、右向きの矢印の記号200が黄色で表示される。一方、図18に示す部数選択画面450では、部数を減らすジェスチャとして左向きの動作を報知するために、左向きの矢印の記号200が黄色に表示される。
【0125】
図17および図18に示す部数選択画面450は、部数の選択が終了するまで、交互にディスプレイ20に表示される。この実施例では、部数を選択するジェスチャによる指示が第3所定時間(この実施例では、3秒)以上検出されない場合に、部数の選択が終了したことが判断される。
【0126】
部数の選択が終了すると、選択した部数がOKであるかキャンセルであるかを確認するための確認画面(以下、「部数の確認画面」という)がディスプレイ20に表示される。この部数の確認画面は、上記の確認画面350と同様であるが、ここでは、選択された部数がOKかキャンセルかを確認するため、選択された部数を示す数字204が赤色で表示される。OKの場合とキャンセルの場合の矢印の記号200については、確認画面350と同じである。
【0127】
部数がキャンセルされた場合には、部数選択画面450に戻って、再度部数が選択される。一方、部数がOKされた場合には、機能(ここでは、コピー)を実行するための画面(以下、実行画面」という)500がディスプレイ20に表示される。
【0128】
図19に示す実行画面500では、コピーの実行(OK)を指示するジェスチャとして下向きの動作を報知するために、下向きの矢印の記号200が緑色で表示される。一方、図20に示す実行画面500では、コピーのキャンセルを指示するジェスチャとして上向きの動作に移動させるジェスチャを示すために、上向きの矢印の記号200が表示される。
【0129】
図19および図20に示す実行画面500は、コピーの実行またはキャンセルが指示されるまで、つまり、下向きの動作または上向きの動作が検出されるまで、交互にディスプレイ20に表示される。ただし、図19に示す実行画面500が表示されている間に、下向きの矢印の記号200が3回表示され、図20に示す実行画面500が表示されている間に、上向きの矢印の記号200が3回表示される。
【0130】
コピーのキャンセルが指示された場合には、選択された機能および動作条件がリセットされ、ホーム画面300に戻る。一方、コピーの実行が指示された場合には、コピーが実行または開始される。したがって、原稿が画像読取部30によって読み取られ、画像形成部32によって、部数の数だけ原稿に対応する出力画像が用紙などの記録媒体に印刷される。
【0131】
図示は省略するが、他の機能すなわちスキャン、FAXおよびユーザプリセットが選択された場合にも、同様に、指示可能な内容についてのジェスチャがユーザに報知され、ユーザのジェスチャを検出して、検出したジェスチャに応じた処理が実行される。
【0132】
図21は、図2に示したRAM14のメモリマップ600の一例を示す。図21に示すように、RAM14は、プログラム記憶領域610およびデータ記憶領域650を有する。このうちのプログラム記憶領域610には、画像形成装置10の制御プログラムが記憶される。具体的には、制御プログラムは、表示制御プログラム612、操作検出プログラム614、ジェスチャ判別プログラム616、画像読取プログラム618、画像処理プログラム620、画像形成プログラム622、および、通信プログラム624などを含む。
【0133】
表示制御プログラム612は、ディスプレイ20に、ホーム画面300、確認画面350、カラーモード選択画面400、部数選択画面450および実行画面500などの各種の画面を表示するとともにエラーを報知するための表示データ652に従ってLED駆動回路62を制御するためのプログラムである。
【0134】
操作検出プログラム614は、操作ボタン26aの操作状態およびユーザのジェスチャすなわち赤外線センサ230-236の検出状態(オン/オフ)を検出するためのプログラムである。ジェスチャ判別プログラム616は、赤外線センサ230-236の検出状態に基づいてジェスチャを検出し、検出したジェスチャの種類を判別するためのプログラムである。
【0135】
画像読取プログラム618は、画像読取部30を制御するためのプログラムである。画像処理プログラム620は、画像読取部30によって生成された読取画像データなどの各種の画像データに適宜の画像処理を施すためのプログラムである。
【0136】
画像形成プログラム622は、画像形成部32を制御するためのプログラムである。通信プログラム624は、他のコンピュータとの間で、有線または無線で通信(データの送信または/および受信)するためのプログラムである。
【0137】
図示は省略するが、プログラム記憶領域610には、音を出力するためのお出力プログラムおよび画像処理が施された画像データをHDD16などに保存するための保存プログラムなどの他のプログラムも記憶される。
【0138】
データ記憶領域650には、各種のデータが記憶される。この各種のデータとしては、表示データ652、操作データ654、検出データ656、判別データ658、機能選択データ660、カラーモードデータ662、および、部数データ664などがある。
【0139】
表示データ652は、時系列に従って、複数のLED220a-220j、222a-222g、224a-224hおよび226a-226jの点灯および消灯のタイミングと、点灯する色を制御するための発光パターンについてのデータであり、表示する画面の種類および報知するエラーに対応して、それぞれ予め用意されており、必要に応じて、HDD16から読み込まれる。
【0140】
操作データ654は、操作ボタン26aの操作状態を表すデータである。操作ボタン26aの操作状態を表すデータは、当該操作ボタン26aに対するユーザの押下を示すデータであり、時系列に従って記憶される。操作データ654は、CPU12の処理に使用されると、消去される。
【0141】
検出データ656は、赤外線センサ230-236の検出状態を表すデータである。赤外線センサ230-236の検出状態を表すデータは、各赤外線センサ230のオン(検出)/オフ(非検出)を示すデータであり、時系列に従って記憶される。検出データ656は、ジェスチャの種類が判別されると、消去される。
【0142】
判別データ658は、赤外線センサ230-236の検出状態を表すデータに基づいて判別したジェスチャの種類を示すデータである。この実施例では、ジェスチャの種類は、左向きの動作、右向きの動作、上向きの動作、下向きの動作または特定の操作の5種類である。判別データ658は、CPU12の処理に使用されると、消去される。
【0143】
機能選択データ660は、ホーム画面300が表示されている場合に、ユーザによって選択された機能を示すデータである。この実施例では、機能選択データ660は、コピー、スキャン、FAXまたはユーザプリセットの種類を示す。ただし、ユーザが機能を選択する前においては、機能選択データ660はNullデータである。この機能選択データ660を参照して、それぞれの機能に応じた動作条件を選択するための画面および各種の確認画面の表示が制御されるとともに、ユーザのジェスチャによって指示された内容についての処理が実行される。
【0144】
カラーモードデータ662は、カラーモード選択画面400が表示されている場合に、ユーザによって選択されたカラーモードすなわちカラーまたはモノクロを示すデータである。ただし、ユーザがカラーモードを選択する前においては、カラーモードデータ662はデフォルトで設定されたカラーまたはモノクロを示すデータである。
【0145】
部数データ664は、部数選択画面450が表示されている場合に、ユーザによって選択された部数を示すデータである。ただし、ユーザが部数を選択する前においては、部数データ664はデフォルトで設定された初期値(たとえば、1)を示すデータである。
【0146】
図示は省略するが、データ記憶領域650には、制御プログラムの実行に必要な他のデータが記憶されるとともに、制御プログラムの実行に必要なカウンタ(または、タイマ)または/およびフラグも記憶される。
【0147】
図22図25図2に示すCPU12の全体的な制御処理の一例を示すフロー図である。以下、制御処理について説明するが、同じ処理内容について説明する場合には、簡単に説明することにする。
【0148】
図22に示すように、CPU12は、制御処理を開始すると、ステップS1で、図5図8に示したようなホーム画面100をディスプレイ20に表示する。この制御処理においては、ホーム画面100をディスプレイ20に表示すると記載してあるが、上述したように、図5図8に示したホーム画面100が順次表示されるとともに、図5図8に示した各ホーム画面100においては、機能を示す文字列202が当該機能に割り当てられた所定の色で表示されるとともに、機能を示す文字列202と同じ所定の色で矢印の記号200が伸びるように表示されることが数回(この実施例では、3回)繰り返される。したがって、ユーザは、ホーム画面100を見て、所望の機能を選択するためのジェスチャを知ることができる。これらのことは、表示される記号200および文字列202の色を除いて、後述する確認画面350、カラーモード選択画面400、カラーモードの確認画面、部数選択画面450、部数の確認画面および実行画面500についても同様である。なお、確認画面350、カラーモード選択画面400、カラーモードの確認画面、部数選択画面450、部数の確認画面および実行画面500において、表示される記号200および文字列202の色については、上述した通りである。
【0149】
次のステップS3では、ジェスチャが有るかどうかを判断する。ここでは、CPU12は、制御処理と並行して実行するジェスチャ判別処理(図26および図27参照)において判別したジェスチャの種類についての判別データ658がRAM14に記憶されているかどうかを判断する。以下、ジェスチャが有るかどうかを判断する場合について同じ。
【0150】
ステップS3で“NO”であれば、つまり、ジェスチャが無ければ、ステップS1に戻る。一方、ステップS3で“YES”であれば、つまり、ジェスチャが有れば、ステップS5で、ジェスチャが右向きの動作であるかどうかを判断する。
【0151】
ステップS5で“NO”であれば、つまり、ジェスチャが右向きの動作でなければ、ステップS7で、選択された他の機能すなわちスキャン、FAXまたはユーザプリセットについての処理を実行して、ステップS1に戻る。
【0152】
一方、ステップS5で“YES”であれば、つまり、ジェスチャが右向きの動作であれば、ステップS9で、コピーを選択して、すなわち、機能がコピーである機能選択データ660を記憶して、ステップS11で、図13および図14に示したような確認画面350をディスプレイ20に表示する。
【0153】
続くステップS13では、ジェスチャが有るかどうかを判断する。ステップS13で“NO”であれば、ステップS11に戻る。一方、ステップS13で“YES”であれば、ステップS15で、ジェスチャが下向きの動作であるかを判断する。
【0154】
ステップS15で“NO”であれば、つまり、ジェスチャが上向きの動作であれば、キャンセルと判断し、機能選択データ660をNullデータに更新して、ステップS1に戻る。一方、ステップS15で“YES”であれば、つまり、ジェスチャが下向きの動作であれば、OKと判断し、図23に示すステップS17で、図15および図16に示したようなカラーモード選択画面400をディスプレイ20に表示する。
【0155】
続くステップS19では、ジェスチャが有るかどうかを判断する。ステップS19で“NO”であれば、ステップS17に戻る。一方、ステップS17で“YES”であれば、ステップS21で、特定の操作であるかどうかを判断する。
【0156】
ステップS21で“YES”であれば、つまり、特定の操作であれば、ステップS23で、デフォルト設定でコピーを開始し、図25に示すステップS69に進む。一方、ステップS21で“NO”であれば、つまり、特定の操作でなければ、ステップS25で、右向きの動作であるかどうかを判断する。
【0157】
ステップS25で“YES”であれば、ステップS27で、カラーを選択して、すなわち、カラーを示すカラーモードデータ662をRAM14に記憶して、ステップS31に進む。一方、ステップS25で“NO”であれば、ステップS29で、モノクロを選択し、すなわち、モノクロを示すカラーモードデータ662をRAM14に記憶して、ステップS31に進む。
【0158】
ステップS31では、カラーモードの確認画面を表示する。次のステップS33では、ジェスチャが有るかどうかを判断する。ステップS33で“NO”であれば、ステップS31に戻る。一方、ステップS33で“YES”であれば、ステップS35で、下向きの動作であるかどうかを判断する。
【0159】
ステップS35で“NO”であれば、カラーモードデータ662をデフォルト設定に戻して、ステップS17に戻る。一方、ステップS35で“YES”であれば、図24に示すステップS37で、図17および図18に示したような部数選択画面450をディスプレイ20に表示する。
【0160】
次のステップS39では、ジェスチャが有るかどうかを判断する。ステップS39で“NO”であれば、ステップS41で、ジェスチャの無い時間が第3所定時間(この実施例では、3秒)を経過したかどうかを判断する。なお、図示は省略するが、ジェスチャの無い時間をカウントするためのタイマ(説明の都合上、「第1タイマ}という)はRAM14に設けられ、ステップS39でジェスチャが無いことが最初に判断されたときに第1タイマがスタートされ、ジェスチャの無い時間がカウントされる。
【0161】
ステップS41で“NO”であれば、つまり、ジェスチャの無い時間が第3所定時間を経過していなければ、ステップS37に戻る。一方、ステップS41で“YES”であれば、ステップS43で、部数を決定して、図25に示すステップS55に進む。
【0162】
また、ステップS39で“YES”であれば、つまり、ジェスチャの無い時間が第3所定時間を経過していれば、ステップS45で、特定の操作かどうかを判断する。ステップS45で“YES”であれば、ステップS47で、デフォルト設定でコピーを開始して、ステップS69に進む。一方、ステップS45で“NO”であれば、ステップS49で、右向きの動作であるかどうかを判断する。
【0163】
ステップS49で“YES”であれば、ステップS51で、部数を1加算して、ステップS37に戻る。一方、ステップS49で“NO”であれば、ステップS53で、部数を1減算して、ステップS37に戻る。ステップS51またはS53の処理を実行することにより、部数データ664が更新され、その後に表示される部数選択画面450の部数も変化される。ただし、部数データ664が示す部数が1である場合には、ジェスチャが左向きの動作を示したとしても、部数データ664は更新されない。
【0164】
図25に示すように、ステップS55では、部数の確認画面をディスプレイ20に表示する。次のステップS57では、ジェスチャが有るかどうかを判断する。ステップS57で“NO”であれば、ステップS55に戻る。一方、ステップS57で“YES”であれば、ステップS59で、下向きの動作であるかどうかを判断する。
【0165】
ステップS59で“NO”であれば、図24に示したステップS37に戻る。一方、ステップS59で“YES”であれば、ステップS61でえ、図19および図20に示したような実行画面500をディスプレイ20に表示する。
【0166】
次のステップS63では、ジェスチャが有るかどうかを判断する。ステップS63で“NO”であれば、ステップS61に戻る。一方、ステップS63で“YES”であれば、ステップS65で、下向きの動作であるかどうかを判断する。
【0167】
ステップS65で“NO”であれば、機能選択データ660、カラーモードデータ662および部数データ664を初期の状態に戻して、ステップS1に戻る。一方、ステップS65で“YES”であれば、ステップS67で、カラーモードデータ662が示すカラーモードでコピーを開始する。コピーは、部数データ664が示す部数だけ実行される。
【0168】
次のステップS69では、コピーの終了かどうかを判断する。ステップS69で“NO”であれば、つまり、コピーの終了でなければ、ステップS69に戻る。一方、ステップS69で“YES”であれば、つまり、コピーの終了であれば、機能選択データ660、カラーモードデータ662および部数データ664を初期の状態に戻して、ステップS1に戻る。
【0169】
図26および図27は、図2に示したCPU12のジェスチャ判別処理の一例を示すフロー図である。上述したように、このジェスチャ判別処理は、上記の制御処理と並行して実行され、具体的には、確認画面350、カラーモード選択画面400、カラーモードの確認画面、部数選択画面450、部数の確認画面および実行画面500の各画面が表示されたときに、開始される。
【0170】
図26に示すように、CPU12は、ジェスチャ判別処理を開始すると、ステップS81で、赤外線センサ230-236が物体を検出しているかどうかを判断する。ここでは、CPU12は、赤外線センサ230-236のうちのいずれか1つでも物体を検出している場合に、“YES”と判断し、赤外線センサ230-236のいずれも物体を検出していない場合に、“NO”と判断する。
【0171】
ステップS81で“NO”であれば、ステップS81に戻る。一方、ステップS81で“YES”であれば、ステップS83で、検出データ656をRAM14に記憶する。ステップS83では、物体を検出している赤外線センサ230-236の識別情報を記載した検出データ656が記憶される。
【0172】
次のステップS85では、タイマ(説明の都合上、「第2タイマ」という)をリセットおよびスタートする。図示は省略したが、第2タイマはRAM14に設けられ、同一の赤外線センサ230-236が物体を継続して検出している時間をカウントする。なお、第2タイマは第1タイマと異なるタイマである。
【0173】
続くステップS87では、物体を検出している赤外線センサ230-236が変化したかどうかを判断する。ここでは、CPU12は、赤外線センサ230-236のいずれか1つ以上において、検出状態(オン/オフ)が変化したかどうかを判断する。
【0174】
ステップS87で“YES”であれば、つまり、物体を検出している赤外線センサ230-236が変化すれば、図27に示すステップS93に進む。一方、ステップS87で“NO”であれば、つまり、物体を検出している赤外線センサ230-236が変化しなければ、ステップS89で、タイマのカウント値が第2所定時間(この実施例では、3秒)を経過したかどうかを判断する。
【0175】
ステップS89で“NO”であれば、つまり、タイマのカウント値が第2所定時間を経過していなければ、ステップS87に戻る。一方、ステップS89で“YES”であれば、つまり、タイマのカウント値が第2所定時間を経過していれば、ステップS91で、特定の操作を判別して、つまり、特定の操作を示す判別データ658をRAM14に記憶して、図27に示すステップS105に進む。
【0176】
図27に示すように、ステップS93では、検出データを更新する。ここでは、CPU12は、ステップS83で記憶した識別情報に、ステップS87で“YES”と判断したときに物体を検出している赤外線センサ230-236の識別情報を、時系列に従って追加した検出データ656をRAM14に記憶する。
【0177】
続くステップS95では、赤外線センサ230-236が物体を検出しているかどうかを判断する。この判断は、ステップS81と同じである。ステップS95で“YES”であれば、図26に示したステップS87に戻る。一方、ステップS95で“NO”であれば、ステップS97で、タイマのカウント値が第1所定時間(この実施例では、1秒)を経過したかどうかを判断する。
【0178】
ステップS97で“NO”であれば、つまり、タイマのカウント値が第1所定時間を経過していなければ、ステップS99で、エラーを報知し、ステップS101で、検出データ656を消去して、ステップS81に戻る。ステップS99では、CPU12は、エラーを報知する場合の表示データ652に基づいてLED駆動回路62を制御し、LED220a-220j、222a-222g、224a-224hおよび226a-226jの全部を、赤色で数秒間点滅させる。
【0179】
一方、ステップS97で“YES”であれば、つまり、タイマのカウント値が第1所定時間を経過していれば、ステップS103で、ジェスチャの種類を判別し、ステップS105で、検出データを消去して、ジェスチャ判別処理を終了する。ステップS103では、CPU12は、上述したように、検出データ656に含まれる識別情報のうち、最初に記載された識別情報に対応する赤外線センサ230-236から最後に記載された識別情報に対応する赤外線センサ230-236に向かう方向を算出し、算出した方向の動作を示す判別データ658をRAM14に記憶する。
【0180】
この実施例によれば、ユーザが複数のLEDを点灯および消灯させることにより、操作可能なジェスチャを報知するので、安価で容易にジェスチャによって指示することができる。
【0181】
なお、この実施例では、左向きの動作、右向きの動作、上向きの動作および下向きの動作の4つの方向についてのジェスチャで、機能の選択、動作条件の選択(上述の実施例では、カラーモードの選択および部数の選択)、および、機能の実行またはキャンセルを指示するようにしたが、機能の数が2つである場合には、左右または上下の2つの方向についてのジェスチャで指示することができる。
【0182】
また、この実施例では、左向きの動作、右向きの動作、上向きの動作および下向きの動作の4つの方向についてのジェスチャを報知するために、矢印の記号が伸びるように表示するようにしたが、これに限定される必要はない。他の例では、矢印の記号の全体を第1所定時間間隔で数回点滅させるようにしてもよい。このようにしても、矢印によって手を動かす方向を知ることができ、点滅の時間間隔によって手を動かす速さを直感的に知ることができる。
【0183】
さらに、この実施例では、カラーLEDを用いることにより、機能毎に、矢印および文字列を異なる色で表示するようにしたが、これに限定される必要はない。単色のLEDを用いて、矢印および文字列を単に表示するようにしてもよい。また、2色のLEDを用いて、2つの設定項目のうちの1つを選択したり、機能の実行またはキャンセルを指示したりする場合には、矢印および文字列を色分けして表示するようにしてもよい。
【0184】
さらにまた、この実施例では、プリンタ、コピー、FAXおよびスキャンの4つの機能を備える画像形成装置について説明したが、画像形成装置が、コピー機、FAXまたはスキャナの専用機である場合には、ホーム画面は省略される。
【0185】
また、図22図27に示したフロー図において、同じ結果を得られる場合には、適宜処理の順番を変更可能である。また、図22図27に示したフロー図に従って、CPU12が制御処理およびジェスチャ判別処理を実行する場合について説明したが、処理の一部を画像形成装置10と通信可能に接続された他のコンピュータが実行することもできる。
【0186】
また、本発明は、画像形成装置という装置の形態に限らず、当該画像形成装置の制御プログラムというプログラム(ソフトウェア)の形態、および、当該画像形成装置の制御方法という方法の形態によっても、提供することができる。
【0187】
プログラムをコンピュータ読み取り可能な記録媒体に記録して提供し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行うようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0188】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【符号の説明】
【0189】
10 …画像形成装置
12 …CPU
14 …RAM
16 …HDD
20 …ディスプレイ
22 …LCD
24 …ジェスチャ検出部
30 …画像読取部
32 …画像形成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27