特許 6245690 画像形成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245690

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像形成装置

(51)【国際特許分類】

   G03G 21/00 20060101AFI20171204BHJP

   G03G 15/00 20060101ALI20171204BHJP

   B41J 29/38 20060101ALI20171204BHJP

   B41J 21/00 20060101ALI20171204BHJP

   B42B 4/00 20060101ALI20171204BHJP

   B42C 1/00 20060101ALI20171204BHJP

   B42C 19/02 20060101ALI20171204BHJP

   G06F 3/12 20060101ALI20171204BHJP

   G06F 3/01 20060101ALI20171204BHJP

   G06F 3/038 20130101ALI20171204BHJP

   H04N 1/00 20060101ALI20171204BHJP

【ＦＩ】

   G03G21/00 386

   G03G15/00 431

   B41J29/38 Z

   B41J21/00 Z

   B42B4/00

   B42C1/00 A

   B42C19/02

   G06F3/12 356

   G06F3/12 364

   G06F3/01 570

   G06F3/038 310Y

   H04N1/00 C

【請求項の数】5

【全頁数】18

(21)【出願番号】特願2013-222206(P2013-222206)

(22)【出願日】2013年10月25日

(65)【公開番号】特開2015-84028(P2015-84028A)

(43)【公開日】2015年4月30日

【審査請求日】2016年9月23日

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100153110

【弁理士】

【氏名又は名称】岡田 宏之

(74)【代理人】

【識別番号】100131037

【弁理士】

【氏名又は名称】坪井 健児

(74)【代理人】

【識別番号】100099069

【弁理士】

【氏名又は名称】佐野 健一郎

(72)【発明者】

【氏名】大西 敬尚

【審査官】 田代 憲司

(56)【参考文献】

【文献】 特開２００９−１５２８１８（ＪＰ，Ａ）

【文献】 特開２００８−２５０８２３（ＪＰ，Ａ）

【文献】 特開２０１１−１９７０７９（ＪＰ，Ａ）

【文献】 特開平０９−０９１０７９（ＪＰ，Ａ）

【文献】 特開２００４−３３４５９０（ＪＰ，Ａ）

【文献】 特開２０００−０７５９９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０３Ｇ １５／００

Ｇ０３Ｇ ２１／００

Ｇ０３Ｇ ２１／１４

Ｂ４１Ｊ ２９／３８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３８

Ｇ０６Ｆ ３／１２

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

画像データを記録媒体に画像形成する画像形成部と、該画像形成部に画像形成させる画像データのプレビュー画像を生成するプレビュー生成部と、該プレビュー生成部が生成したプレビュー画像を表示する表示部と、前記画像形成部で画像形成された記録媒体に所定の処理を行う処理部とを備えた画像形成装置であって、
前記表示部の上方の空間領域を撮影する撮影部と、
該撮影部が撮影した画像を解析して、ジェスチャを判定するための所定の判定対象の有無を判断する画像解析部と、
該画像解析部により判断された判定対象のジェスチャが、所定のジェスチャであるか否かを判断するジェスチャ判断部と、
該ジェスチャ判断部によって所定のジェスチャであると判断されたジェスチャが、予め定められた所定の空間領域で行われたか否かを判定する領域判定部とを備え、
前記表示部に表示されたプレビュー画像について、前記処理部が記録媒体に前記所定の処理を行う領域を含むジェスチャ設定用領域が、予め定められ、
前記所定の空間領域が、所定の前記ジェスチャ設定用領域に対応して設けられており、
前記処理部は、前記所定の処理として、前記所定の空間領域で行われた所定のジェスチャに予め対応付けられた処理を実行することを特徴とする画像形成装置。

【請求項2】

請求項１に記載の画像形成装置において、
前記所定の空間領域は、前記表示部に表示されたプレビュー画像における前記ジェスチャ設定用領域の上方の空間領域であって、前記表示部から所定の高さまでの空間領域として設定されることを特徴とする画像形成装置。

【請求項3】

請求項２に記載の画像形成装置において、
前記ジェスチャ設定用領域を複数設定し、複数の前記ジェスチャ設定用領域の上方の空間領域のうちの少なくとも一部の空間領域に、他の空間領域とは異なる所定の処理を設定することを特徴とする画像形成装置。

【請求項4】

請求項２または３に記載の画像形成装置において、
１つの前記ジェスチャ設定用領域の上方の空間領域に対して異なる複数の所定の処理を設定し、該複数の所定の処理を実行するために、該複数の所定の処理に対して異なるジェスチャを対応付けて設定することを特徴とする画像形成装置。

【請求項5】

請求項１〜４のいずれか１に記載の画像形成装置において、
前記所定のジェスチャに対応付けられる処理は、記録媒体にパンチを施すパンチ処理、及び記録媒体にステープルを施すステープル処理であることを特徴とする画像形成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像形成装置に関し、より詳細には、画像データを記録媒体に記録して画像形成する機能と、画像形成した記録紙にパンチやステープルなどの処理を行う機能とを備えた画像形成装置に関する。

【背景技術】

【0002】

画像形成装置として、スキャナなどにより原稿画像データを取得し、これを記録紙などの記録媒体に画像形成（印刷）する画像形成装置が知られている。このような画像形成装置では、後処理の機能として、記録紙の所定位置にパンチを施したり、ステープルを施したりする機能が付与されている。これによりユーザは、一連の画像形成プロセスにより記録紙への画像形成とパンチやステープルの付与とを行わせることができる。

【0003】

画像形成装置でパンチやステープルなどの後処理設定を行うための先行技術として、例えば特許文献１には、画像形成前の画像データをタッチパネルにプレビュー表示し、プレビュー画像に対するタッチ操作の領域に応じて後処理設定を行うようにした画像形成装置が開示されている。

【0004】

また、特許文献２には、画像方向認識手段を備え、その画像方向認識手段の認識結果と、紙の送り方向とによりステープル位置を自動決定する画像形成システムが開示されている。

【0005】

また、特許文献３には、カメラによりユーザの手のジェスチャを撮像し、ユーザの手のジェスチャが予め記憶されている所定のジェスチャに一致すると判断したときに、その所定のジェスチャに関連付けられて記憶している画像加工を実行させる画像形成装置が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１０−４１０６３号公報

【特許文献2】特開平６−６４３６６号公報

【特許文献3】特開２００８−２５０８２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来の画像形成装置では、パンチやステープルなどの処理を任意に設定する際に、ユーザ操作によって処理設定画面を表示させ、その設定画面から任意の処理の種類や条件を設定する操作が必要であり、ユーザにとって煩雑であった。
特許文献１の場合にも、プレビュー画像に対するユーザ操作が必要である。また、特許文献２では、画像方向と紙送り方向から自動的にステープル位置を判断するが、ステープルやパンチなどの複数の処理からその処理を施す位置を簡単に設定することはできない。また、特許文献３では、カメラによって撮像したジェスチャに対応付けて画像データの加工処理を行うことができるが、種々のジャスチャの動きや位置に応じてパンチやステープルの複数の処理を選択して、その選択した処理を施す位置を設定できるようにしたものではない。

【0008】

本発明は、上述のごとき実情に鑑みてなされたもので、パンチやステープルなどの複数種類の処理のなかから、任意の処理を記録媒体の任意の位置に簡単な操作で施すことができるようにした画像形成装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の第１の技術手段は、画像データを記録媒体に画像形成する画像形成部と、該画像形成部に画像形成させる画像データのプレビュー画像を生成するプレビュー生成部と、該プレビュー生成部が生成したプレビュー画像を表示する表示部と、前記画像形成部で画像形成された記録媒体に所定の処理を行う処理部とを備えた画像形成装置であって、前記表示部の上方の空間領域を撮影する撮影部と、該撮影部が撮影した画像を解析して、ジェスチャを判定するための所定の判定対象の有無を判断する画像解析部と、該画像解析部により判断された判定対象のジェスチャが、所定のジェスチャであるか否かを判断するジェスチャ判断部と、該ジェスチャ判断部によって所定のジェスチャであると判断されたジェスチャが、予め定められた所定の空間領域で行われたか否かを判定する領域判定部とを備え、前記表示部に表示されたプレビュー画像について、前記処理部が記録媒体に前記所定の処理を行う領域を含むジェスチャ設定用領域が、予め定められ、前記所定の空間領域が、所定の前記ジェスチャ設定用領域に対応して設けられており、前記処理部は、前記所定の処理として、前記所定の空間領域で行われた所定のジェスチャに予め対応付けられた処理を実行することを特徴としたものである。

【0010】

第２の技術手段は、第１の技術手段において、前記所定の空間領域は、前記表示部に表示されたプレビュー画像における前記ジェスチャ設定用領域の上方の空間領域であって、前記表示部から所定の高さまでの空間領域として設定されることを特徴としたものである。

【0011】

第３の技術手段は、第２の技術手段において、前記ジェスチャ設定用領域を複数設定し、複数の前記ジェスチャ設定用領域の上方の空間領域のうちの少なくとも一部の空間領域に、他の空間領域とは異なる所定の処理を設定することを特徴としたものである。

【0012】

第４の技術手段は、第２または第３の技術手段において、１つの前記ジェスチャ設定用領域の上方の空間領域に対して異なる複数の所定の処理を設定し、該複数の所定の処理を実行するために、該複数の所定の処理に対して異なるジェスチャを対応付けて設定することを特徴としたものである。

【0013】

第５の技術手段は、第１〜第４のいずれか１の技術手段において、前記所定のジェスチャに対応付けられる処理は、記録媒体にパンチを施すパンチ処理、及び記録媒体にステープルを施すステープル処理であることを特徴としたものである。

【発明の効果】

【0014】

本発明によれば、パンチやステープルなどの複数種類の処理のなかから、任意の処理を記録媒体の任意の位置に簡単な操作で施すことができるようにした画像形成装置を提供することができる。

【図面の簡単な説明】

【0015】

【図1】本発明による画像形成装置の機能構成例を示すブロック図である。

【図2】本発明による画像形成装置の外観を概略的に示す図である。

【図3】プレビュー画像に設定する領域と、その領域に対応付ける処理の設定例を説明するための図である。

【図4】ユーザが行うジェスチャ操作とそのジェスチャ操作に応じた処理の一例を説明する図である。

【図5】ユーザが行うジェスチャ操作とそのジェスチャ操作に応じた処理の他の例を説明する図である。

【図6】ユーザが行うジェスチャ操作とそのジェスチャ操作に応じた処理の更に他の例を説明する図である。

【図7】本発明に係る画像形成装置によるジェスチャ操作に応じた処理の一例を説明するためのフローチャートである。

【図8】本発明に係る画像形成装置によるジェスチャ操作に応じた処理の他の例を説明するためのフローチャートである。

【図9】本発明に係る画像形成装置によるジェスチャ操作に応じた処理の更に他の例を説明するためのフローチャートである。

【発明を実施するための形態】

【0016】

図１は、本発明による画像形成装置の機能構成例を示すブロック図である。
制御部２は、ＣＰＵ（Central Processing Unit）などの制御プロセッサにより構成され、画像形成装置１０の各部を統括して制御する。制御部２は、記憶部６に記憶されたプログラムおよびデータを読み出して実行することで、画像形成装置１０の各種機能を実現する。記憶部６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などの各種の記憶手段である。

【0017】

スキャナ部１は、プラテンガラス上の原稿を光源によって照明し、その反射光をＣＣＤ（Charge Coupled Device）等に集光させて原稿画像を読取る。読取られた原稿画像の画像データは画像形成部７に出力され、記録用紙に画像形成されて排紙される。

【0018】

表示部４は、液晶パネルなどによるディスプレイであり、画像形成装置１０の操作メニュー画面や、画像形成すべき画像データのプレビュー画像などを表示させる。撮影部３は、表示部４の上方の空間領域を撮像するＣＣＤ等のカメラである。撮影画像は、ユーザの指先の存在等を判別するための解析に使用される。
操作部５は、ユーザによる操作入力を受け付ける。操作部５は、ハードキーやボタンなどの他、表示部４の表画面に上に設けたタッチパネルとして構成することができる。

【0019】

画像形成部７は、画像形成すべき画像データを記録紙等の記録媒体に画像形成（印刷）する。画像形成部７には、例えば電子写真方式により画像形成を行う構成として、現像装置、感光体ドラム、ドラムクリーニング装置、及び帯電器等が設けられる。ここでは各感光体ドラム表面に各色のトナー像を形成して中間転写ベルトに転写して重ね合わせ、これを記録紙に転写して加熱定着させ、記録紙に対する画像形成を行う。この他画像形成部７にはインクジェット方式等の他の方式により画像形成を行う構成を採用してもよい。
画像形成する画像データとしては、スキャナ部１で読み取られた画像データを用いることができるが、この他、例えば図示しない通信インタフェースを介して外部のＰＣ（Personal Computer）や可搬型のメモリ等から取得した画像データを用いるものであってもよい。

【0020】

また、画像形成部７は、パンチとステープルの処理をそれぞれ実行するパンチ／ステープル実行部７１を含んでいる。パンチ／ステープル実行部７１は、画像形成部７で画像形成された記録媒体に所定の処理を行う本発明の処理部に相当する。
ここでパンチは、画像形成を行った記録紙にパンチ穴を空ける処理であり、ステープルは、画像形成を行った記録紙にステープル留めを施す処理である。パンチ／ステープル実行部７１は、上述したような感光体ドラムに画像形成したトナー像を記録紙に転写して定着した後、搬送された記録紙に対して適宜パンチまたはステープルを施す。パンチ／ステープル実行部７１は、画像形成装置の本体筐体の内部に所謂インナーフィニッシャーとして構成されたものでもよく、あるいは本体筐体とは別の後処理装置として構成したものであってもよい。

【0021】

パンチ／ステープル実行部７１がパンチ処理を行う場合には、例えば画像形成された記録紙の搬送中に後端検知センサによってその記録紙の後端を検知し、検知した時点で記録紙の搬送を一旦停止して、パンチピンによって記録紙の後端にパンチ穴を空ける。また、ステープル処理を行う場合には、画像形成された記録紙を所定量だけ順に搬送して処理台上に積載して整合し、整合した記録紙の束に対して所定箇所にステープラによってステープル留めを行う。

【0022】

制御部２は、その機能として画像解析部２１、ジェスチャ判断部２２、領域判定部２３、及びプレビュー生成部２４を有している。
プレビュー生成部２４は、画像形成部７で画像形成すべき画像データを、画像形成処理を行う前に表示部４に表示させるプレビュー画像を生成する。ここでは、スキャナ部１等で取得した画像データを記憶部６の原稿画像記憶エリア６１に一時記憶する。そしてプレビュー生成部２４は、一時記憶した画像データからプレビュー画像を生成し、表示部４に表示させる。

【0023】

ユーザは、表示部４にプレビュー表示された画像データを確認して、印刷を実行するか否かを判断することができる。そしてこのときに、プレビュー表示された表示部４の上部空間で所定のジェスチャを行うだけで、画像形成された記録紙にパンチやステープル等の所定の処理を行わせることができる。

【0024】

画像解析部２１は、撮影部３が撮影した画像を解析し、解析対象となる３次元空間領域からユーザの手の指先を検出する。ユーザの指先は、ジェスチャを判定するための所定の判定対象として定められたものである。
解析対象とする空間領域は、表示部４の表示画面の法線であって、表示部４の矩形の表示画面の外周上の上記法線に囲まれた領域であり、表示画面からの高さ方向に一定の範囲を設けた領域をいう。

【0025】

画像解析部２１がユーザの指先を検出する手法としては、例えば解析対象となる３次元空間を異なる位置から撮影する２つの撮影装置を撮影部３に使用する。そして画像解析部２１は、２つの撮影装置で撮影された画像を比較し、人の手と判断できる画像の存在を検知する。人の手と判断できる画像の存在は、例えば撮影画像の輝度値を解析して、所定の輝度レベルをもつ領域が手と判断できる形状となっているかを判断する。例えば対象領域外から延びる腕のような形状と、その先端の手と指の形状とを所定のアルゴリズムで判断し、指とみなされる先端部分を指先として検出する。

【0026】

また画像解析部２１は、２つの撮影装置の撮像画像を解析して、指先の３次元空間上の位置を検出する。ここでは例えば１方の撮影画像で手の指先と判断された画像が、他方の撮影画像のどの位置にあるかを検出する。この場合、例えば一方の撮影画像をブロックに分割し、他方の画像の画素値との差分をとって、差分の総和や最小２乗和を演算し、一方のブロックに最も似ているブロック位置を判断する。これにより、１方の撮影画像における手の位置と、他方の画像における同じ手の位置を検出できる。そして２つの撮影装置の距離と、２つの撮影画像における手の位置のずれ量とから、撮影装置から指先までの３次元空間内での距離を演算し、手の指先の３次元空間における位置を特定することができる。

【0027】

そして画像解析部２１は、検出した指先の３次元空間内の座標情報を取得し、記憶部６の検出座標記憶エリア６２に記憶させる。座標情報は、３次元空間の位置を規定する情報であり、例えば表示部４上方の直方体空間の一つの頂点を原点として、互いに直交するＸＹＺ軸上に設定した座標の位置を示すものとする。画像解析部２１は、指先が検出された後、その指先が動いた場合にも指先の３次元空間上の座標位置の検出を継続して実行する。なお、画像解析により指先検出を行い、３次元空間上の座標位置を検出する手法は上記に限ることなく、公知の検出技術を適用することができる。

【0028】

ジェスチャ判断部２２は、画像解析部２１による解析結果に従って、ユーザの手の指先の動きを認識し、その指先の動きが予め定めた所定のジェスチャの動作に該当するか否か判断する。所定のジェスチャは予め記憶部６の処理設定記憶エリア６３に予め記憶され、ジェスチャ判断部２２は、画像解析部２１の解析結果と、処理設定記憶エリア６３に記憶した所定のジェスチャの情報とを比較して、ユーザの指先によって所定のジェスチャが行われたか否かを判断する。

【0029】

領域判定部２３は、ユーザの指先で所定のジェスチャが行われたときに、そのジェスチャが所定の空間領域で行われたか否かを判定する。所定の空間領域は、表示部４で表示するプレビュー画像について予め定めたジェスチャ設定用の領域の上方の空間領域とされる。この空間領域は、表示部４の表示画面の法線であって、プレビュー画像について予め定めた領域の外周上の上記法線に囲まれた空間で、かつ所定の高さをもつ空間をいう。つまり画像解析部２１が解析対象としている３次元空間のうち、プレビュー画像について予め定められた領域上の柱状の３次元空間が該当する。プレビュー画像には、例えば記録紙にパンチを施す位置やステープルを施す位置に領域を設定することができ、ユーザは、この上方の空間領域でジェスチャを行う。これによりユーザは、プレビュー画像を見ながら直観的にジェスチャを行うだけで、記録紙の所望の位置にパンチやステープルを施すことができる。

【0030】

処理設定記憶エリア６３には、所定の空間領域内で行われた所定ジェスチャに対応づけて、実行すべき処理内容が記憶される。領域判定部２３が、所定のジェスチャが所定の空間領域で行われたと判断した場合、制御部２は、その所定の空間領域のジェスチャに関連付けられている処理内容を処理設定記憶エリア６３から読み出して、その内容に従って各種処理を実行する。実行する処理は、例えばパンチもしくはステープル処理とされる。

【0031】

図２は、本発明による画像形成装置の外観を概略的に示す図で、図２（Ａ）は画像形成装置の斜視概略図、図２（Ｂ）は図２（Ａ）の画像形成装置の本体筐体の上面概略構成図である。
画像形成装置１０は、スキャナ部１の要素としてプラテンガラス１１を備え、プラテンガラス１１の下方から、プラテンガラス１１上に置いた原稿を照明し、その反射光をＣＣＤ等に集光させて原稿画像を読み取る。プラテンガラス１１上には、カバー１２が開閉可能に設けられる。また、カバー１２として原稿自動送り装置（ＡＤＦ（Auto Document Feeder）をヒンジ機構により開閉可能に設けたものが普及している。

【0032】

画像形成装置１０の上面前方（ユーザ操作側）には、表示部４が設けられる。また表示部４の近傍には、ユーザ操作が可能な操作ボタン１３が設けられる。操作ボタン１３としては例えば、画像形成装置１０の電源ボタン、印刷開始ボタン、印刷停止ボタン、テンキーボタンなどがある。操作ボタン１３は、図１の操作部５に含まれる。また操作部５の他の構成として表示部４の表面にタッチパネルを構成することができる。

【0033】

表示部４の近傍には、表示部４の画面上方におけるユーザの操作を撮影するための撮影部３が設けられている。撮影部３により撮影された画像を解析することで、表示部４に表示されたプレビュー画像の所定領域上の空間領域で、所定のジェスチャが行われたことを判定し、所定のジェスチャが行われた場合に、そのジェスチャに対応付けられているパンチやステープルなどの処理を実行する。

【0034】

図３は、プレビュー画像に設定する領域と、その領域に対応付ける処理の設定例を説明するための図である。上述したように、画像形成装置１０では、画像形成すべき画像データのプレビュー画像を表示部４に表示させる。
このときの表示状態を図３（Ａ）に示す。図中、４１は表示部４の全画面であり、４２は、画像形成すべき画像データのプレビュー画像である。プレビュー画像４２としては、画像形成後の仕上がり状態に相当する１ページ分の画像データが画面表示される。

【0035】

そして図３（Ｂ）に示すように、プレビュー画像に対して、ユーザのジェスチャ操作に対応付けて実施する処理とその処理に対応する領域を設定する。この例では、ジェスチャ操作に対応付けた処理として、パンチ処理、及びステープル処理を設定するものとする。この領域は、記録媒体にパンチやステープルの処理を行う領域を含むジェスチャ設定用領域として定められる。
例えば図３（Ｂ）の例では、プレビュー画像の左側辺中央分を含む領域Ａ１と、上辺中央部を含む領域Ａ３を設定し、これら領域Ａ１、Ａ３の上方の空間領域にパンチおよび２点ステープルを設定する。また、プレビュー画像４２の左上角部を含む領域Ａ２と、右上角部を含む領域Ａ４とを設定し、これら領域Ａ２、Ａ４の上方の空間領域にそれぞれ１点ステープルを設定する。

【0036】

これらジェスチャ設定用領域としての領域Ａ１、Ａ２、Ａ３、Ａ４の上方の空間領域で、ユーザによる所定のジェスチャが行われた場合には、各空間領域に対応付けられた処理を自動的に実行する。領域Ａ１、Ａ３にはパンチ処理と２点ステープ処理が設定されているが、パンチと２点ステープルには、それぞれ異なるジェスチャが設定される。そして、これらの領域Ａ１、Ａ３上の空間領域で、パンチまたはステープルに応じたジェスチャを実行することで、そのジェスチャに対応付けられたパンチまたはステープルのいずれかを実行させることができる。
なお各領域Ａ１〜Ａ４の上方空間とは、表示部４の表示画面の法線であって、表示部４のプレビュー画像に設定した各領域Ａ１〜Ａ４の外周上の上記法線に囲まれた空間で、かつ表示画面からの高さ方向に一定の範囲を設けた柱状の空間である。

【0037】

以下に上記ジェスチャ設定用領域に応じた処理の実施形態を説明する。
（実施形態１）
図４は、ユーザが行うジェスチャ操作とそのジェスチャ操作に応じた処理の一例を説明する図で、図４（Ａ）はプレビュー画像上でパンチ処理を実行するために設定される領域を説明する図、図４（Ｂ）は表示部上のジェスチャ判定対象空間領域を示す図、図４（Ｃ）はパンチ処理を設定する空間領域とジェスチャを説明する図、図４（Ｄ）はジェスチャによってパンチ処理が設定されたプレビュー画像を示す図である。

【0038】

上記のように、撮影部３が撮影した画像を画像解析部２１が解析することによりユーザの手の指先を判断し、ジェスチャ判断部２２がその指先により所定のジェスチャが行われたと判断し、さらに領域判定部２３によってそのジェスチャが所定の空間領域で行われたと判定したときに、そのジェスチャに対応付けられた処理が実行される。

【0039】

この例では、パンチを設定した領域の上方の空間領域で、パンチを実行するために予め定められたジェスチャをユーザが実行することで、その領域の記録紙にパンチを施すことができる。具体的には、図４（Ａ）に示すように、表示部の全画面４１に表示したプレビュー画像４２には、パンチ処理を設定するための領域として、領域Ａ１、Ａ３が設定されているものとする。これら領域Ａ１、Ａ３は、記録紙にパンチを施す位置をユーザが直観的に判断できる領域として設定される。

【0040】

撮影部３に撮影され、画像解析部２１による画像解析の対象となる空間領域は表示部の全画面４１の上方空間領域となるが、さらに図４（Ｂ）に示すように、検出した指先が所定のジェスチャを行っているかを判定するジェスチャ判定対象空間領域１１０が設定される。ジェスチャ判定対象空間領域１１０は、プレビュー画像４２よりも広い所定領域上の空間に設定することができる。

【0041】

そして図４（Ｃ）に示すように、ユーザは、領域Ａ１、Ａ３の上方の空間領域１１１，１１２の内部に手の指１００の指先１０１を位置させて、その空間領域内で所定のジェスチャを行う。空間領域１１１、１１２は、ジェスチャ判定対象空間領域１１０内に含まれている。
例えばこの例では、パンチを実行させるためのジェスチャは、２点の指先１０１が表示部４の表示画面に平行に配置され、平行に配置された２点の指先が表示画面に所定量だけ近づいたときに該当するものとする。所定量は、３次元の上方空間内で表示部４の表示画面の法線方向の移動量として設定される。また２点の指先が表示画面に平行か否かについては、２点の指先を結ぶ直線と、表示画面とが平行となっているか、もしくは所定の閾値角度以内で表示画面に対して指先を結ぶ直線が傾いているときに平行であると判断することができる。

【0042】

画像形成装置１０のジェスチャ判断部２２によって、上記のようなパンチを実行させるための所定のジェスチャが行われたものと判断され、かつ領域判定部２３によってそのジェスチャが空間領域１１１の内部で行われたと判定された場合、図４（Ｄ）に示すように、プレビュー生成部２４は、領域Ａ１に相当する位置に２穴のパンチ４３を施した状態を示すプレビュー画像を生成し、表示部４に表示させる。
プレビュー画像を確認したユーザは、操作部５に対して適宜印刷開始を指示する操作入力を行うことで、画像形成部７により画像形成が実行される。このときに領域Ａ１に相当する位置にパンチ処理が施される。

【0043】

空間領域１１２内で同じジェスチャが行われた場合にも、同様に領域Ａ３にパンチが施されたプレビュー画像が表示され、ユーザは、そのプレビュー画像を確認した上で領域Ａ３の位置にパンチ処理を行わせることができる。
上記のような処理により、ユーザは、実際にパンチ処理を施す領域の上方で簡単なジェスチャを行うだけで、煩雑な設定を行うことなく所望の位置にパンチ処理を実行させることができる。

【0044】

（実施形態２）
図５は、ユーザが行うジェスチャ操作とそのジェスチャ操作に応じた処理の他の例を説明する図で、図５（Ａ）はプレビュー画像上でステープル処理を実行するために設定される領域を説明する図、図５（Ｂ）は表示部上のジェスチャ判定対象空間領域を示す図、図５（Ｃ）はステープル処理を設定する空間領域とジェスチャを説明する図、図５（Ｄ）はジェスチャによってステープル処理が設定されたプレビュー画像を示す図である。

【0045】

この例では、１点のステープル（１点ステープルとする）処理を設定した領域の上方の空間領域で、１点ステープルを実行するために予め定められたジェスチャをユーザが実行することで、その領域の記録紙に１点ステープルを施すことができる。具体的には、図５（Ａ）に示すように、表示部の全画面４１に表示したプレビュー画像４２には、１点ステープル処理を設定する領域として、領域Ａ２，Ａ４が設定されているものとする。このときにジェスチャ判定の対象となる空間領域は図５（Ｂ）に示すようなジェスチャ判定対象空間領域１１０となる。

【0046】

そして図５（Ｃ）に示すように、ユーザは、領域Ａ２，Ａ４の上方の空間領域１１３，１１４の内部に手の指１００の指先１０１を位置させて、その空間領域内で所定のジェスチャを行う。
例えばこの例では、１点ステープルを実行させるためのジェスチャは、２点の指先１０１が表示部４の表示画面に垂直に配置され、垂直に配置された２点の指先が互いに所定量だけ近づいたときに該当するものとする。所定量は３次元空間内で二つの指先１０１間の距離の変化量とすることができる。また２点の指先が表示画面に垂直か否かについては、２点の指先を結ぶ直線と表示画面とが垂直となっているか、もしくは所定の閾値角度以内で表示画面に対して指先を結ぶ直線が傾いているときに垂直であると判断することができる。

【0047】

画像形成装置１０のジェスチャ判断部２２によって、上記のような１点ステープルを実行させるためのジェスチャが行われたものと判断され、かつ領域判定部２３によってそのジェスチャが空間領域１１３の内部で行われたと判定された場合、図５（Ｄ）に示すように、プレビュー生成部２４は、領域Ａ２に相当する位置に１点のステープル４４を施した状態を示すプレビュー画像を生成し、表示部４に表示させる。
プレビュー画像を確認したユーザは、操作部５に対して適宜印刷開始を指示する操作入力を行うことで、画像形成部７により画像形成が実行される。このときに領域Ａ２に相当する位置に１点ステープル処理が施される。

【0048】

空間領域１１４内で同じジェスチャが行われた場合にも、同様に領域Ａ４に１点ステープルが施されたプレビュー画像が表示され、ユーザは、そのプレビュー画像を確認した上で領域Ａ４の位置に１点ステープル処理を行わせることができる。
上記のような処理により、ユーザは簡単な操作を行うだけで、煩雑な設定を行うことなく所望の位置にステープル処理を実行させることができる。

【0049】

（実施形態３）
図６は、ユーザが行うジェスチャ操作とそのジェスチャ操作に応じた処理の更に他の例を説明する図で、図６（Ａ）はプレビュー画像上でステープル処理を実行するために設定される領域を説明する図、図６（Ｂ）は表示部上のジェスチャ判定対象空間領域を示す図、図６（Ｃ）はステープル処理を設定する空間領域とジェスチャを説明する図、図６（Ｄ）はジェスチャによってステープル処理が設定されたプレビュー画像を示す図である。

【0050】

この例では、２点のステープル（２点ステープルとする）処理を設定した領域の上方の空間領域で、２点ステープルを実行するために予め定められたジェスチャをユーザが実行することで、その領域の記録紙に２点ステープルを施すことができる。具体的は、図６（Ａ）に示すように、表示部の全画面４１に表示したプレビュー画像４２には、２点ステープル処理を設定する領域として、領域Ａ１，Ａ３が設定されているものとする。領域Ａ１、Ａ３には図４の例ではパンチ処理が設定されているが、同じ領域に２点ステープルの処理を設定することができる。この場合、パンチ処理とステープル処理には互いに異なるジェスチャが設定される。このときにジェスチャ判定の対象となる空間領域は図６（Ｂ）に示すようなジェスチャ判定対象空間領域１１０となる。

【0051】

そして図６（Ｃ）に示すように、ユーザは、領域Ａ１，Ａ３の上方の空間領域１１１，１１２の内部に手の指１００の指先１０１を位置させて、その空間領域内で所定のジェスチャを行う。
例えばこの例では、２点ステープルを実行させるためのジェスチャは、３点の指先１０１が空間領域１１１，１１２内に存在し、これら３点の指先１０１が互いに所定量だけ近づいたときに該当するものとする。所定量は、例えば３次元空間内で３つの指先１０１間を結ぶ線により囲まれる領域の面積の変化量とすることができる。あるいは例えば３つの指先１０１のうち２つの指先１０１を結ぶ各直線の合計値の変化量とすることができる。

【0052】

画像形成装置１０のジェスチャ判断部２２によって、上記のような２点ステープルを実行させるためのジェスチャが行われたものと判断され、かつ領域判定部２３によってそのジェスチャが空間領域１１１の内部で行われたと判定された場合、図６（Ｃ）に示すように、プレビュー生成部２４は、領域Ａ１に相当する位置に２点ステープル４５を施した状態を示すプレビュー画像を生成し、表示部４に表示させる。
プレビュー画像を確認したユーザは、操作部５に対して適宜印刷開始を指示する操作入力を行うことで、画像形成部７により画像形成が実行される。このときに領域Ａ１に相当する位置に２点ステープル処理が施される。

【0053】

空間領域１１２内で同じジェスチャが行われた場合にも、同様に領域Ａ３に２点ステープルが施されたプレビュー画像が表示され、ユーザは、そのプレビュー画像を確認した上で領域Ａ３の位置に２点ステープル処理を行わせることができる。
このような処理により、ユーザは簡単な操作を行うだけで、煩雑な設定を行うことなく所望の位置に２点ステープル処理を実行させることができる。

【0054】

次に上記各実施形態における処理の流れを説明する。
図７は、本発明に係る画像形成装置によるジェスチャ操作に応じた処理の一例を説明するためのフローチャートで、図４で示す例でジェスチャ操作に応じたパンチ処理の設定フローを示すものである。ここでは図１の構成を参照しながら説明する。
まず画像形成装置１０のスキャナ部１が原稿を読み取る（ステップＳ１）。そして読み取るべき全原稿の読み取りが完了すると（ステップＳ２−Ｙｅｓ）、制御部２のプレビュー生成部２４がプレビュー画像を生成して表示部４に表示させる（ステップＳ３）。

【0055】

そして撮影部３による撮影を開始し（ステップＳ４）、制御部２が撮影部３により撮像された画像を取得する（ステップＳ５）。制御部２の画像解析部２１は、取得した画像を解析し（ステップＳ６）、人の指先が検出されたか否かを判断する（ステップＳ７）。
ここで人の指先が検出されない場合には、画像解析部２１は、検出位置の座標が記憶されているか否かを判別し（ステップＳ１６）、記憶されていればその座標の記憶をクリアして（ステップＳ１７）、ステップＳ５に戻って画像の取得を継続する。また検出位置の座標が記憶されていなければ（ステップＳ１６−Ｎｏ）、そのままステップＳ５に戻る。

【0056】

ステップＳ７で人の指先が検出された場合、画像解析部２１は、所定のジェスチャ判定対象空間領域に指先があるか否かを判断する（ステップＳ８）。ジェスチャ判定対象空間領域は、プレビュー画像よりも少し広い範囲上に設定することができる。
ここでジェスチャ判定対象空間領域内に指先がある場合、画像解析部２１は、表示画面に平行に２点の指先があるかどうかを判別する（ステップＳ９）。平行か否かを判断する場合、２点を結ぶ線が表示画面に対して所定範囲の角度以内で傾いている場合にも、表示画面に平行であるとみなすことができる。

【0057】

上記ステップＳ８でジェスチャ判定領域内に指先が無い場合、及びステップＳ９で表示画面に平行に２つの指先がない場合には、ステップＳ５に戻って撮像画像の取得を継続する。
また、ステップＳ９で、表示画面に平行に２つの指先がある場合、ジェスチャ判断部２２は、検出座標が既に記憶済みであるかを判断し（ステップＳ１０）、記憶済みでなければ検出位置の座標を記憶する（ステップＳ１８）。ステップＳ１０で記憶済みの座標がある場合、またはステップＳ１８で検出位置の座標を記憶した場合、ジェスチャ判断部２２は、指先が所定長以上移動したか否かを判断する（ステップＳ１１）。所定長以上の移動とは、２点の指先が３次元空間上でそれぞれ所定長さ以上移動した場合に該当するものとする。

【0058】

指先が所定長以上移動していれば（ステップＳ１１−Ｙｅｓ）、ジェスチャ判断部２２は、その所定長以上の移動が、所定長以上表示部に接近するものであるかを判断する（ステップＳ１２）。表示部に接近するときの長さは、例えば表示部の表面の法線方向に沿った移動長さにより判断するものとする。
また、ステップＳ１１で指先が所定長以上移動しない場合、またはステップＳ１２で所定長以上表示部に接近していない場合には、ステップＳ５に戻って撮像された画像の取得を継続する。

【0059】

ステップＳ１１で指先が所定長以上表示部に接近した場合、ジェスチャ判断部２２は、指先のジェスチャが検出された領域が、そのジェスチャに対してパンチ処理の実行が設定されている例えば２つの領域のうち、第１の領域上の空間領域であるか否かを判別する（ステップＳ１３）。第１の領域は、例えば図４に示す領域Ａ１である。
第１の領域上の空間領域で所定のジェスチャが検出された場合には、記録紙の第１の領域に相当する所定位置にパンチを設定し（ステップＳ１４）。パンチ処理を行った状態のプレビュー画像を再表示させる（ステップＳ１５）。

【0060】

また、ステップＳ１３で所定のジェスチャが検出された領域が第１領域上の空間領域ではない場合、パンチ処理の実行が設定されている他方の領域である第２の領域上の空間領域であるか否かを判別する（ステップＳ１９）。第２の領域は、例えば図４に示す領域Ａ３である。第２の領域上の空間領域で所定のジェスチャが検出された場合には、記録紙の第２の領域に相当する所定位置にパンチを設定し（ステップＳ２０）、パンチ処理を行った状態のプレビュー画像を再表示させる（ステップＳ１５）。この後、ユーザは、プレビュー画像を確認した上で画像形成処理を実行させることで、画像形成され、かつプレビューされた位置にパンチ処理が施された記録紙を得ることができる。

【0061】

図８は、本発明に係る画像形成装置によるジェスチャ操作に応じた処理の他の例を説明するためのフローチャートで、図５で示す例でジェスチャ操作に応じた１点ステープル処理の設定フローを示すものである。ここでは図１の構成を参照しながら説明する。
まず画像形成装置１０のスキャナ部１が原稿を読み取る（ステップＳ２１）。そして読み取るべき全原稿の読み取りが完了すると（ステップＳ２２−Ｙｅｓ）、制御部２のプレビュー生成部２４がプレビュー画像を生成して表示部４に表示させる（ステップＳ２３）。

【0062】

そして撮影部３による撮影を開始し（ステップＳ２４）、制御部２が撮影部３により撮像された画像を取得する（ステップＳ２５）。制御部２の画像解析部２１は、取得した画像を解析し（ステップＳ２６）、人の指先が検出されたか否かを判断する（ステップＳ２７）。
ここで人の指先が検出されない場合には、画像解析部２１は、検出位置の座標が記憶されているか否かを判別し（ステップＳ３６）、記憶されていればその座標の記憶をクリアして（ステップＳ３７）、ステップＳ２５に戻って画像の取得を継続する。また検出位置の座標が記憶されていなければ（ステップＳ３６−Ｎｏ）、そのままステップＳ２５に戻る。

【0063】

ステップＳ２７で人の指先が検出された場合、画像解析部２１は、所定のジェスチャ判定対象空間領域に指先があるか否かを判断する（ステップＳ２８）。ジェスチャ判定対象空間領域は、プレビュー画像よりも少し広い範囲上に設定することができる。
ここでジェスチャ判定対象空間領域内に指先がある場合、画像解析部２１は、表示画面に垂直に２点の指先があるかどうかを判別する（ステップＳ２９）。垂直か否かを判断する場合、２点を結ぶ線が表示画面の法線に対して所定範囲の角度以内で傾いている場合にも、表示画面に垂直であるとみなすことができる。

【0064】

上記ステップＳ２８でジェスチャ判定領域内に指先が無い場合、及びステップＳ２９で表示画面に垂直に２つの指先がない場合には、ステップＳ２５に戻って撮像画像の取得を継続する。
また、ステップＳ２９で、表示画面に垂直に２つの指先がある場合、ジェスチャ判断部２２は、検出座標が既に記憶済みであるかを判断し（ステップＳ３０）、記憶済みでなければ検出位置の座標を記憶する（ステップＳ３８）。ステップＳ３０で記憶済みの座標がある場合、またはステップＳ３８で検出位置の座標を記憶した場合、ジェスチャ判断部２２は、指先が所定長以上移動したか否かを判断する（ステップＳ３１）。所定長以上の移動とは、２点の指先が３次元空間上でそれぞれ所定長さ以上移動した場合に該当するものとする。

【0065】

指先が所定長以上移動していれば（ステップＳ３１−Ｙｅｓ）、ジェスチャ判断部２２は、その所定長以上の移動が、所定長以上互いに接近するものであるかを判断する（ステップＳ３２）。この場合、２点の指先の間隔が所定長以上短くなった場合に、所定長以上接近したものと判断することができる。
また、ステップＳ３１で指先が所定長以上移動しない場合、またはステップＳ３２で所定長以上互いに接近していない場合には、ステップＳ２５に戻って撮像された画像の取得を継続する。

【0066】

ステップＳ３２で指先が所定長以上互いに接近した場合、ジェスチャ判断部２２は、指先のジェスチャが検出された領域が、そのジェスチャに対して１点ステープル処理の実行が設定されている例えば２つの領域のうち、第３の領域上の空間領域であるか否かを判別する（ステップＳ３３）。第３の領域は、例えば図５に示す領域Ａ２である。
第３の領域上の空間領域で所定のジェスチャが検出された場合には、記録紙の第３の領域に相当する所定位置に１点ステープルを設定し（ステップＳ３４）、１点ステープル処理を行った状態のプレビュー画像を再表示させる（ステップＳ３５）。

【0067】

また、ステップＳ３３で所定のジェスチャが検出された領域が第３の領域上の空間領域ではない場合、１点ステープル処理の実行が設定されている他方の領域である第４の領域上の空間領域であるか否かを判別する（ステップＳ３９）。第４の領域は、例えば図５に示す領域Ａ４である。第４の領域上の空間領域で所定のジェスチャが検出された場合には、記録紙の第４の領域に相当する所定位置に１点ステープルを設定し（ステップＳ４０）、１点ステープル処理を行った状態のプレビュー画像を再表示させる（ステップＳ３５）。この後、ユーザは、プレビュー画像を確認した上で画像形成処理を実行させることで、画像形成され、かつプレビューされた位置に１点ステープル処理が施された記録紙を得ることができる。

【0068】

図９は、本発明に係る画像形成装置によるジェスチャ操作に応じた処理の更に他の例を説明するためのフローチャートで、図６で示す例でジェスチャ操作に応じた２点ステープル処理の設定フローを示すものである。ここでは図１の構成を参照しながら説明する。
まず画像形成装置１０のスキャナ部１が原稿を読み取る（ステップＳ４１）。そして読み取るべき全原稿の読み取りが完了すると（ステップＳ４２−Ｙｅｓ）、制御部２のプレビュー生成部２４がプレビュー画像を生成して表示部４に表示させる（ステップＳ４３）。

【0069】

そして撮影部３による撮影を開始し（ステップＳ４４）、制御部２が撮影部３により撮像された画像を取得する（ステップＳ４５）。制御部２の画像解析部２１は、取得した画像を解析し（ステップＳ４６）、人の指先が検出されたか否かを判断する（ステップＳ４７）。
ここで人の指先が検出されない場合には、画像解析部２１は、検出位置の座標が記憶されているか否かを判別し（ステップＳ５６）、記憶されていればその座標の記憶をクリアして（ステップＳ５７）、ステップＳ４５に戻って画像の取得を継続する。また検出位置の座標が記憶されていなければ（ステップＳ５６−Ｎｏ）、そのままステップＳ４５に戻る。

【0070】

ステップＳ４７で人の指先が検出された場合、画像解析部２１は、所定のジェスチャ判定対象空間領域に指先があるか否かを判断する（ステップＳ４８）。ジェスチャ判定対象空間領域は、プレビュー画像よりも少し広い範囲上に設定することができる。
ここでジェスチャ判定対象空間領域内に指先がある場合、画像解析部２１は、表示画面に垂直に３点の指先があるかどうかを判別する（ステップＳ４９）。

【0071】

上記ステップＳ４８でジェスチャ判定領域内に指先が無い場合、及びステップＳ４９で３点の指先がない場合には、ステップＳ４５に戻って撮像画像の取得を継続する。
また、ステップＳ４９で、３点の指先がある場合、ジェスチャ判断部２２は、検出座標が既に記憶済みであるかを判断し（ステップＳ５０）、記憶済みでなければ検出位置の座標を記憶する（ステップＳ５８）。ステップＳ５０で記憶済みの座標がある場合、またはステップＳ５８で検出位置の座標を記憶した場合、ジェスチャ判断部２２は、指先が所定長以上移動したか否かを判断する（ステップＳ５１）。所定長以上の移動とは、３点の指先が３次元空間上でそれぞれ所定長さ以上移動した場合に該当するものとする。

【0072】

指先が所定長以上移動していれば（ステップＳ５１−Ｙｅｓ）、ジェスチャ判断部２２は、その所定長以上の移動が、所定長以上互いに接近するものであるかを判断する（ステップＳ５２）。この場合、３点の指先のそれぞれの間隔が所定長以上短くなった場合に、所定長以上接近したものと判断することができる。あるいは３点を結ぶ三角形の面積が所定以上小さくなったときに所定長接近したものとみなすことができる。
また、ステップＳ５１で指先が所定長以上移動しない場合、またはステップＳ５２で所定長以上互いに接近していない場合には、ステップＳ４５に戻って撮像された画像の取得を継続する。

【0073】

ステップＳ５２で指先が所定長以上互いに接近した場合、ジェスチャ判断部２２は、指先のジェスチャが検出された領域が、そのジェスチャに対して２点ステープル処理の実行が設定されている例えば２つの領域のうち、第１の領域上の空間領域であるか否かを判別する（ステップＳ５３）。第１の領域は、例えば図６に示す領域Ａ１である。
第１の領域上の空間領域で所定のジェスチャが検出された場合には、記録紙の第１の領域に相当する所定位置に２点ステープルを設定し（ステップＳ５４）、２点ステープル処理を行った状態のプレビュー画像を再表示させる（ステップＳ５５）。

【0074】

また、ステップＳ５３で所定のジェスチャが検出された領域が第１の領域上の空間領域ではない場合、２点ステープル処理の実行が設定されている他方の領域である第２の領域上の空間領域であるか否かを判別する（ステップＳ５９）。第２の領域は、例えば図６に示す領域Ａ３である。第２の領域上の空間領域で所定のジェスチャが検出された場合には、記録紙の第２の領域に相当する所定位置に２点ステープルを設定し（ステップＳ６０）、２点ステープル処理を行った状態のプレビュー画像を再表示させる（ステップＳ５５）。この後、ユーザは、プレビュー画像を確認した上で画像形成処理を実行させることで、画像形成され、かつプレビューされた位置に２点ステープル処理が施された記録紙を得ることができる。

【0075】

上記各実施形態の処理により、パンチやステープルなどの複数種類の処理のなかから、任意の処理を記録媒体の任意の位置に簡単な操作で施すことができるようにした画像形成装置を提供できる。
なお上記の各実施形態で記載されている技術的特徴（構成要件）は、お互いに組み合わせ可能であり、組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0076】

１…スキャナ部、２…制御部、３…撮影部、４…表示部、５…操作部、６…記憶部、７…画像形成部、１０…画像形成装置、１１…プラテンガラス、１２…カバー、１３…操作ボタン、２１…画像解析部、２２…ジェスチャ判断部、２３…領域判定部、２４…プレビュー生成部、４１…表示部の全画面、４２…プレビュー画像、４３…パンチ、４４…１点ステープル、４５…２点ステープル、６１…原稿画像記憶エリア、６２…検出座標記憶エリア、６３…処理設定記憶エリア、７１…パンチ／ステープル実行部、１００…指、１０１…指先、１１０…ジェスチャ判定対象空間領域、１１１，１１２，１１３，１１４…空間領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】