特許 6592904 電子機器、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6592904

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】電子機器、プログラム

(51)【国際特許分類】

   G06F 3/042 20060101AFI20191010BHJP

   G06F 3/01 20060101ALI20191010BHJP

   G06K 7/14 20060101ALI20191010BHJP

   G03G 21/00 20060101ALI20191010BHJP

   B41J 29/38 20060101ALI20191010BHJP

   H04N 1/00 20060101ALI20191010BHJP

【ＦＩ】

   G06F3/042 473

   G06F3/01

   G06K7/14 047

   G03G21/00 376

   B41J29/38 Z

   H04N1/00 350

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2015-10735(P2015-10735)

(22)【出願日】2015年1月22日

(65)【公開番号】特開2016-134156(P2016-134156A)

(43)【公開日】2016年7月25日

【審査請求日】2017年12月8日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100096703

【弁理士】

【氏名又は名称】横井 俊之

(72)【発明者】

【氏名】島田 和宜

【審査官】 甲斐 哲雄

(56)【参考文献】

【文献】 特開２００１−２８２４５６（ＪＰ，Ａ）

【文献】 特開２００９−０４３１５７（ＪＰ，Ａ）

【文献】 特開２０１４−０４４５０２（ＪＰ，Ａ）

【文献】 特開平１０−２１４１５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４２

Ｇ０６Ｆ ３／０１

Ｇ０６Ｋ ７／１０ − ７／１４

Ｇ０３Ｇ ２１／００

Ｂ４１Ｊ ２９／３８

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

指示体を撮像する撮像部と、
撮像結果に基づいて取得した前記指示体の３次元空間における媒体との相対位置から前記指示体が指している前記媒体のマークを検出する対象検出部と、
検出された前記マークに基づいて、ユーザーが前記指示体で指し示している指示を受け付ける指示受付部と、
受け付けた前記指示に応じた処理を行う処理部と、
を有することを特徴とする電子機器。

【請求項2】

指示体を撮像する撮像部と、
媒体のマークを検出する対象検出部と、
撮像結果に基づいて取得した前記指示体の３次元空間における媒体との相対位置と検出された前記マークに基づいて、ユーザーが前記指示体で指し示している位置に対応する指示を受け付ける指示受付部と、
受け付けた前記指示に応じた処理を行う処理部と、
を有することを特徴とする電子機器。

【請求項3】

前記撮像部が前記指示体にピントを追従させることで、前記撮像部から見た奥行き方向の前記相対位置を取得する、ことを特徴とする請求項１または請求項２のいずれかに記載の電子機器。

【請求項4】

前記指示体の位置での被写界深度内に入っている前記マークを、前記指示体から前記奥行き方向において所定の範囲内の相対位置であるとして検出する、ことを特徴とする請求項３に記載の電子機器。

【請求項5】

前記撮像部を複数備え、
複数の前記撮像部から得られた撮像結果に基づいて前記相対位置を取得する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の電子機器。

【請求項6】

前記撮像部は移動可能に取りつけられており、
前記指示受付部は、前記撮像部が指示受付位置に移動したことに応じて前記媒体を通じてユーザーの指示を受け付ける受付モードを開始し、
前記指示受付位置から他の位置に移動したことに応じて、受付モードを終了する、ことを特徴とする請求項１から請求項５のいずれか一項に記載の電子機器。

【請求項7】

電子機器に対して、
撮像部による撮像結果に基づいて取得した指示体の３次元空間における媒体との相対位置から前記指示体が指している前記媒体のマークを検出する対象検出機能と、
検出された前記マークに基づいて、ユーザーが前記指示体で指し示している指示を受け付ける指示受付機能と、
受け付けた前記指示に応じた処理を行う処理機能と、
を実現させることを特徴とするプログラム。

【請求項8】

電子機器に対して、
媒体のマークを検出する対象検出機能と、
撮像部による撮像結果に基づいて取得した指示体の３次元空間における媒体との相対位置と検出された前記マークに基づいて、ユーザーが前記指示体で指し示している位置に対応する指示を受け付ける指示受付機能と、
受け付けた前記指示に応じた処理を行う処理機能と、
を実現させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像部を備える電子機器に関する。

【背景技術】

【0002】

電子機器には、特定の機能を行わせるためのユーザインタフェースを備えている。ユーザインタフェースには、物理的なスイッチ、画面上にアイコンを表示するタッチパネル、画面上で転位するＵＩ（User Interface）画面等、様々なものが存在している。

【0003】

近年の電子機器は多くの機能を備えており、ユーザーの操作が非常に複雑になっている。ＵＩ画面上で特定の機能を設定する画面を表示する場合、この画面を表示するまでに多くの画面を経由しなければならない場合もある。１０インチ前後の大きなタッチパネルを搭載して使いやすさの向上を図る方法もあるが、製品の大きさの制約もあり、大型タッチパネルの実装は難しい場合もある。また、スマートフォンやタブレットを利用して装置を操作することも技術的には可能であるが、アプリケーションのインストール作業やプリンターとの接続作業も必要であり、ユーザーがそういった操作を敬遠することも考えられる。

【0004】

特許文献１には、ユーザーが装置の設定を簡単に行うことを目的としたユーザインタフェースとして、以下の発明を開示している。この発明では、製品の設定の組み合わせの数だけマーキングされたマークシートを用意しておく。製品は、用意されたマークシートを撮像部で撮像し、撮像画像からマークシートで指定された設定を判別する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４−０７００２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に開示された発明は以下の問題がある。ユーザーは、設定項目の数だけマークシートをマークする必要がある。設定項目が多くなると、マークする項目のみならず、マークシートも複数用意しておく必要が生じ、ユーザーの負担を増加させる結果となる。

【0007】

本発明はこのような課題を鑑みたもので、製品の機能を操作する場合に、ユーザーの作業性を向上させるユーザインタフェースを提供することを目的としている。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明の電子機器は、指示体を撮像する撮像部と、撮像結果から前記指示体の位置を特定する指示位置特定部と、特定された前記指示体の位置から前記指示体が指している媒体のマークを検出する対象検出部と、検出された前記マークに基づいて、ユーザーが前記指示体で指し示している指示を受け付ける指示受付部と、受け付けた前記指示に応じた処理を行う処理部と、を有している。

【0009】

「媒体」は、ユーザーが電子機器に対して行う指示を視覚的に判断するために用いられるものであり、その指示を表す文字や図形等どのようなものであってもよい。
「指示体」は、指、ペン等、ユーザーが媒体を指すために用いるものであればどのようなものであってもよい。
「マーク」は、バーコード、ＱＲコード（登録商標）といったように、撮像された画像内で検出が行えるものであればどのようなものを用いても良い。
「検出されたマークに基づいて、ユーザーが指示体で指している媒体に対応する指示を受け付ける」とは、マークの形状により特定される情報から媒体を特定し、この媒体に対応づけられた指示を受け付ける場合のほか、マークの位置と指している媒体の位置とを利用して、この媒体に対応づけられている指示を受け付ける場合も含まれる。

【0010】

上記のように構成された発明では、指示体で指したマークに応じて電子機器がユーザーの指示を受け付けるため、ユーザーは指示体による媒体の指示という直感的な操作により装置に対して指示を行うことができる。また、ユーザーは指示体で媒体を指示するだけで操作が終了するため、ユーザーにマークシートの準備といった負担を強いらない。

【0011】

また、本発明はその機能を備える装置に限定されず、発明にかかる機能を特定の装置に実現させるプログラムとしても捉えることができる。

【図面の簡単な説明】

【0012】

【図1】一例としての複合機１００の外観を示す外観図。

【図2】プリンターのハードウェア構成を示すブロック構成図。

【図3】複合機１００の設定に用いられる紙マニュアル２００を説明する図。

【図4】紙マニュアル２００の使用方法を説明する図。

【図5】制御部３０により実施される機能設定処理を説明するフローチャート。

【図6】指示位置特定処理を説明するフローチャート。

【図7】指示位置特定処理を説明する図。

【図8】バーコード検出処理を説明するフローチャート。

【図9】バーコード検出処理を説明する図。

【図10】指示受付処理のフローチャート。

【図11】第２の実施形態で使用される紙マニュアル２１０を説明する図。

【図12】第２の実施形態で、制御部３０により実施される設定処理を説明するフローチャート。

【図13】基準マーク検出処理（対象検出処理）を説明するフローチャート。

【図14】基準マーク検出処理を説明する図。

【図15】第２の実施形態での指示受付処理を説明するフローチャート。

【図16】第２の実施形態での指示受付処理を説明する図。

【図17】媒体としてサムネイル画像が形成されているオーダーシート２１０を説明する図。

【図18】オーダーシート２５０を用いた印刷を説明するフローチャート。

【発明を実施するための形態】

【0013】

以下、下記の順序に従って本発明の実施形態を説明する。
１．第１の実施形態：
（１）複合機の構成
（２）紙マニュアルの構成
（３）機能設定方法
（４）発明の作用・効果
２．第２の実施形態：
３．第３の実施形態：
４．その他の実施形態：

【0014】

１．第１の実施形態：
（１）複合機の構成

【0015】

以下、電子機器の一例として、複合機１００を例に説明を行う。複合機１００は、用紙に色材を記録する印刷機能、原稿を読み取るスキャナー機能、原稿を送信するＦＡＸ機能を備えている。

【0016】

図１は、一例としての複合機１００の外観を示す外観図である。複合機１００は、筐体９０により外装されている。筐体９０は、図１では図示しない、プリンターユニット、スキャナーユニット、ＦＡＸユニット等を収容している。筐体９０の前部には、撮像部として機能するカメラモジュール１０と表示部４０とが取り付けられた前部パネル９１が開閉可能に取り付けられている。前部パネル９１におけるカメラモジュール１０の下方には、後述する紙マニュアルを位置合わせするための位置合わせマーク９３が形成されている。この前部パネル９１は、色材が記録された用紙が排出される経路を覆うカバーとしても機能する。筐体９０の上部には、原稿をセットする原稿台を覆う上部カバー９２が開閉可能に取り付けられている。

【0017】

図２は、プリンターのハードウェア構成を示すブロック構成図である。複合機１００は、カメラモジュール１０、ＵＳＢＩＦ２０、外部メモリコントローラー２５、制御部３０、表示部４０、プリンターユニット５０、スキャナーユニット６０、ＦＡＸユニット７０、を備えている。また、制御部３０は、指示位置特定部３０１、対象検出部３０２、指示受付部３０３、処理部３０４、を機能的に備えている。カメラモジュール１０、ＵＳＢＩＦ２０、外部メモリコントローラー２５、表示部４０、プリンターユニット５０、スキャナーユニット６０、ＦＡＸユニット７０は、制御部３０に電気的に接続されている。

【0018】

カメラモジュール１０は、光を集めるレンズブロック１１と、レンズブロック１１により集められた光を電気信号に変換するイメージセンサー１２と、を備えている。レンズブロック１１は一つまたは複数のレンズを備え、前方からの光を集める。イメージセンサーＩＣ１２は、周知のＣＭＯＳイメージセンサーやＣＣＤイメージセンサーといった撮像素子、レジスターを備えている。イメージセンサー１２は、レンズブロック１１により集められた光を、撮像素子により電気信号に変換する。変換された電気信号は撮像画像Ｉｍとしてレジスターに記録された後、一定の周期で制御部３０に出力される。

【0019】

ＵＳＢＩＦ２０は、図示しないＰＣ等の外部装置とＵＳＢ規格に準じたプロトコルにより通信する。そのため、複合機１００は、ＵＳＢＩＦ２０を通じてＰＣから印刷用データーの供給を受けることができる。

【0020】

外部メモリコントローラー２５は、外部メモリと接続し、この外部メモリと通信することができる。外部メモリには、印刷処理により処理される印刷用データーや、スキャナー処理により読み取られた原稿データーを記録することができる。外部メモリは例えば、フラッシュメモリ、ＳＤメモリ等の不揮発性メモリである。

【0021】

制御部３０は、例えば周知のＳｏＣ（System On Chip）により構成され、ＣＰＵ３１、ＲＡＭ３２、およびＲＯＭ３３、を備えている。ＲＡＭ３２には、ＣＰＵ３１のワークエリアとして機能する。また、ＲＡＭ３２には、カメラモジュール１０から出力された撮像データーＩｍＤが一時的に記録される。ＣＰＵ３１は、ＲＯＭ３２に記録されたプログラムにより、印刷用データーを解析して、プリンターユニット５０を駆動するための情報を生成する。また、ＣＰＵ３１は、ＲＯＭに記録されたプログラムにより、スキャナーユニット６０による原稿の読み取りや、ＦＡＸユニット７０による原稿データーの送受信を制御する。

【0022】

さらに、ＲＯＭ３３は、ＣＰＵ３１に、指示位置特定部３０１、対象検出部３０２、指示受付部３０３、処理部３０４、の各機能を実現させるプログラム３３０を記録している。すなわち、このプログラム３３０により、制御部３０は、指示位置特定機能、対象検出機能、指示受付機能、処理機能の各機能を実現する。各部の詳細な説明については後述する。

【0023】

表示部４０は、ＬＣＤコントローラー４１、ＬＣＤ４２、を備えている。ＬＣＤコントローラー４１は、制御部３０から表示画像データーを受信すると、この表示画像データーをもとに、ＬＣＤ４２を駆動するための駆動データーを生成する。ＬＣＤ４２は、解像度に応じた数の液晶画素を配列しており、駆動データーをもとに各画素を駆動させて画像を表示する。また、表示部４０は、ユーザーによる画面の操作を検出する機能を実現するために、タッチスクリーンモジュール４３を備えている。

【0024】

プリンターユニット５０は、色材を用紙に対して記録していくプリンター機構５１や、制御部３０から出力される駆動用データーをもとにプリンター機構５１を駆動するための電気信号を生成するメカコントローラー５２と、を備えている。プリンターユニット５０を構成する各部は周知技術であるため、詳細な説明を省略する。

【0025】

スキャナーユニット６０は、原稿台にセットされた原稿を読み取るスキャナー機構６１と、このスキャナー機構を駆動するためのスキャナーコントローラー６２と、を備えている。スキャナーユニット６０を構成する各部は周知技術であるため、詳細な説明を省略する。

【0026】

ＦＡＸユニット７０は、スキャナーユニット６０が読み取ることで生成された原稿データーを、不図示の電話回線またはインターネット回線を通じて外部装置に送信する。

【0027】

（２）紙マニュアルの構成
図３は、複合機１００の設定に用いられる紙マニュアル２００を説明する図である。紙マニュアル２００は、ユーザーがこの紙マニュアル２００に記載された媒体を指差しすることで、複合機１００の各種設定を入力する際に用いられる。図３は、紙マニュアル２００のうち、スキャナーユニット６０とプリンターユニット５０とを用いて行う「コピーモード」の設定を入力するページを表示している。紙マニュアルは複数のページをもち、複合機１００に対して行う全ての設定についていずれかのページを用いて設定することができるようになっている。なお、同じ設定を複数のページを用いて設定できるようにしてもよい。

【0028】

紙マニュアル２００には、指差しの対象となる媒体として機能する指差し用図２０１ａ〜２０１ｎと、この第１の実施形態においてマークとして機能するバーコード２０２ａ〜２０２ｎと、紙マニュアル２００をセットする際の目印となる位置合わせマーク２０３と、が記録されている。以下では、指差し用図２０１と記載した場合は、紙マニュアル２００に記録されている全ての指差し用図の総称を示している。また、バーコード２０２と記載した場合は、紙マニュアル２００に記録されている全てのバーコードの総称を示している。

【0029】

紙マニュアル２００には、各指差し用図２０１ａ〜２０１ｍがノードにより関連付けられることで樹形図を構成しており、ユーザーの各指差し図の関係の把握を容易にしている。この樹形図は、「コピーモード」２０１ａを根として、「用紙サイズ」２０１ｂ、「倍率」２０１ｃ、「コピー面」２０１ｄ、「割付」２０１ｅのそれぞれの機能がノードにより関連づけられている。また、「用紙サイズ」２０１ｂには、「自動」２０１ｆおよび「選択」２０１ｇが、「倍率」２０１には「１００％」２０１ｈおよび「任意」２０１ｉが、「コピー面」２０１ｄには「片面」２１０ｊおよび「両面」２０１ｋが、「割付」２０１ｅには「２面」２０１ｌおよび「４面」２０１ｍがノードにより関連づけられている。さらに、紙マニュアル２００には、コピーの開始を入力するための「スタート」を示す指差し用図２０１ｎが形成されている。紙マニュアル２００の他のページも指差し用図にそのページで設定する設定内容を記載しており、各指差し用図のそばに設定ごとにユニークなバーコードを記載している。

【0030】

各指差し用図２０１ａ〜２０１ｎの上方にはバーコード２０２ａ〜２０２ｎがそれぞれ形成されている。各バーコード２０１ａ〜２０１ｎは、それぞれ対応する各指差し用図２０１ａ〜２０１ｎが示す機能の内容を情報として含んでいる。

【0031】

（３）機能設定方法
次に、複合機１００および紙マニュアル２００を用いた機能設定方法を説明する。図４は、紙マニュアル２００の使用方法を説明する図である。まず、ユーザーによる紙マニュアル２００の指差しに先立ち、複合機１００の前方に紙マニュアル２００を配置する（図４（ａ））。このとき、紙マニュアル２００の位置合わせマーク２０３を前部パネル９１に形成された位置合わせマーク９３に合わせる。次に、図４（ｂ）に示すように、前部パネル９１を上方に開き、カメラモジュール１０の撮像方向を紙マニュアル２００に向けて回転させる。カメラモジュール１０が指示受付位置に変化したことを制御部３０が検出すると、機能設定処理の開始を判断する。

【0032】

図５は、制御部３０により実施される機能設定処理を説明するフローチャートである。図５に示す機能設定処理は、制御部３０がＲＯＭ３３に記録されたプログラム３３０を実行することで実行される。

【0033】

まず、ステップＳ１では、制御部３０は、初期設定を行う。
初期設定では、例えば、撮像画像Ｉｍの傾きを修整する傾き補正や、撮像画像Ｉｍの形状のゆがみを修正する歪み補正が行われる。

【0034】

次に、ステップＳ２では、制御部３０は、ユーザーが紙マニュアル２００を指した位置を特定する指示位置特定処理を行う。指示位置特定処理では、指示位置特定部３０１が、撮像結果から指示体の位置（座標）を特定する。以下では、指示体としてユーザーの指先を用いるものとする。指示位置特定部３０１が位置を特定する指示体は指以外であってもよく、例えば、制御部３０に事前に設定しておくことで指示棒等を指示体として認識させることができる。

【0035】

次に、ステップＳ３では、制御部３０は、ステップＳ２で特定した位置をもとにバーコード検出処理（対象検出処理）を行う。バーコード検出処理では、対象検出部３０２が、特定された指先の座標からこの指先が指している紙マニュアル２００上のバーコード２０３を検出する。

【0036】

次に、ステップＳ４では、制御部３０は、検出したバーコードをもとに指示受付処理を行う。指示体受付処理では、指示受付部３０３が、検出されたマークに基づいて、ユーザーが指先で指した指示を受け付ける。

【0037】

そして、ステップＳ５では、制御部３０は、ステップＳ４で受け付けた指示を実行する指示実行処理を行う。指示実行処理では、処理部３０４は、バーコード２０２により取得された指示に応じた処理を行う。

【0038】

終了条件が成立していない場合（ステップＳ６：ＮＯ）、制御部３０は、ステップＳ２に戻る。終了条件は、例えば、ユーザーがカメラモジュール１０の向きを変化させた場合等、様々なものを想定することができる。終了条件が成立した場合（ステップＳ６：ＹＥＳ）、制御部３０は、処理を終了する。

【0039】

次に、図５のステップＳ２で行われる指示位置特定処理を説明する。図６は、指示位置特定処理を説明するフローチャートである。図７は、指示位置特定処理を説明する図である。なお、以下の図では、撮像画像Ｉｍには説明に必要な部分のみを図示して示している。実際には、撮像画像Ｉｍには、紙マニュアル２００のページに記載された全ての指差し用図２０１やバーコード２０２が含まれている。

【0040】

図６のステップＳ２１では、指示位置特定部３０１は撮像画像Ｉｍに含まれている指先に対応する画像（指先画像ＦＧ）を認識する。例えば、ユーザーが、紙マニュアル２００の上方に手を伸ばすと、図７（ａ）に示すように、指示位置特定部３０１はカメラモジュール１０の検出領域に含まれる撮像画像Ｉｍから特定の指（例えば、人差し指）を指先画像ＦＧとして認識する。指先画像ＦＧの認識は、カメラモジュール１０のピントを指先画像ＦＧに合わせることで行われる。被写界深度に入っているかどうかで第３の次元である奥行き方向の情報として紙マニュアル２００をタッチしたかどうかを判断することが可能となる。また、撮像画像Ｉｍから指先画像を特定する方法は、パターンマッチング法等周知の方法を用いることができる。

【0041】

ステップＳ２２では、指先画像ＦＧの認識により、指示位置特定部３０１は、撮像画像Ｉｍ内の位置を２次元座標（Ｘ、Ｙ）より示す、指先画像ＦＧの位置Ｐｒ（Ｘｒ、Ｘｒ）を取得する。

【0042】

ステップＳ２３では、指示位置特定部３０１は指先画像を追従する追従処理を行う。追従処理では、ステップＳ２１で認識された指先画像ＦＧが移動した場合でも、指先にピントを追従させて、移動後の指先画像ＦＧを認識し続ける。

【0043】

ステップＳ２４では、指示位置特定部３０１は、指先画像ＦＧの動きの有無を検出する動き検出処理を行う。動き検出処理では、所定期間、指先画像ＦＧの動きに変化があるか否かを検出する。図７（ｂ）では、所定期間において、指先画像ＦＧが位置Ｐｒ１から位置Ｐｒ２に変化している。

【0044】

指先が停止していない場合（ステップＳ２５：ＮＯ）、指示位置特定部３０１は、ステップＳ２２に戻り、指示位置Ｐｒを特定し、ステップＳ２３で追従処理を行う。すなわち、指示位置特定部３０１は、指先画像ＦＧの追従を継続する。

【0045】

指先が停止している場合（ステップＳ２５：ＹＥＳ）、ステップＳ２６では、指示位置特定部３０１は、現在の指先の位置を指示位置として取得する。例えば、図７（ｂ）示す指先画像ＦＧの変化の後、指先画像ＦＧが、所定期間、位置Ｐｒ２から変化しなければ、この位置Ｐｒ２を指示位置Ｐｐ（Ｘｐ、Ｙｐ）として取得する。

【0046】

次に、図５のステップＳ３で行われるバーコード検出処理（対象検出処理）を説明する。図８は、バーコード検出処理を説明するフローチャートである。図９は、バーコード検出処理を説明する図である。

【0047】

ステップＳ３１では、対象検出部３０２は、指示位置Ｐｐから探索領域ＱＡを設定する。探索領域ＱＡは、撮像画像Ｉｍに含まれるバーコードを探索する対象となる領域（画素）であり、指示位置Ｐｐを基準に設定される。図９（ａ）では一例として、指示位置Ｐｐを含む近傍の矩形の領域が探索領域ＱＡに設定されている。

【0048】

ステップＳ３２では、対象検出部３０２は、探索領域ＱＡに含まれるバーコードを探索する。例えば、対象検出部３０２は、探索領域ＱＡにおいてカメラモジュール１０の被写界深度内にバーコードに対応する画像が存在するか否かを探索する。なお、被写界深度は、指先が空中で止まった場合に、被写界深度内にバーコードが入らず、指先が紙マニュアル２００のページ上にタッチして止まった場合に、被写界深度内にバーコードが入るようにしておく。

【0049】

バーコード２０２が検出されない場合（ステップＳ３３：ＮＯ）、図５に戻り、制御部３０は、再度、指示位置Ｐｐの特定を行う。
一方、バーコード２０２が検出された場合（ステップＳ３３：ＹＥＳ）、ステップＳ３４では、対象検出部３０２は、検出音を出力させる。検出音は、バーコード２０２が検出されたことをユーザーに通知できるものであればどのようなものであってもよい。図９（ｂ）では、探索領域ＱＡにおいてバーコード２０２が検出されている。

【0050】

ステップＳ３６では、対象検出部３０２は、検出されたバーコード２０２を撮像画像Ｉｍから抽出する。抽出されたバーコード画像は、指示受付部３０３が行う処理で用いられる。

【0051】

次に、図５のステップＳ４で実行される指示受付処理を説明する。
図１０は、指示受付処理のフローチャートである。

【0052】

ステップＳ４１では、指示受付部３０３は、対象検出部３０２によって抽出されたバーコード２０２を解析する。バーコード２０２には、紙マニュアル２００に記載された指差し用図２０１を一意に特定できる情報が含まれている。例えば、ユーザーが指差ししたのが指差し用図２０１ｈであれば（「倍率」に属する「１００％」）、指示受付部３０３はバーコード２０２ｈの解析により、ユーザーの指示がコピーモードのコピー倍率を「１００％」に設定する処理であると判断する。

【0053】

ステップＳ４２では、指示受付部３０３は、ステップＳ４１での解析結果からコマンドを生成する。バーコード２０２ｈを解析した例では、指示受付部３０３は、コピーモードのコピー倍率を「１００％」に設定するコマンドを生成する。

【0054】

以下、処理部３０４は、指示受付部３０３が解析したコマンドを実行する（図５の指示実行処理：ステップＳ５）。すなわち、複合機１００において、ユーザーが紙マニュアル２００を指差しして指示した設定が実行されることとなる。これによって、ユーザーは、紙マニュアル２００の「自動」２０１ｆ、「１００％」２０１ｈ、「両面」２０１ｋ、を順番にタッチした場合には、自動の紙サイズ、１００％の倍率、両面コピーのコピー条件を順に設定し、その後ユーザーが「スタート」２０１ｎをタッチした場合に設定された条件でコピーをスタートするというように動作を行う。

【0055】

（４）発明の作用・効果
以上説明したように、第１の実施形態にかかる複合機１００は、ユーザーが指（指示体）で指示した位置に応じたバーコード（マーク）によりユーザーの指示を受け付けるため、ユーザーは紙マニュアル２００上の媒体の指示という直感的な操作により、指示を行うことが可能となる。また、紙マニュアル２００さえあれば、ユーザーは指で指示するだけで操作が終了するため、ユーザーにマークシートの準備といった負担がかからない。

【0056】

指を認識する被写界深度内にバーコード（マーク）が位置している場合に、バーコードを特定したと判断するため、バーコードの検出をより適切に行うことができる。

【0057】

バーコードは、指示の内容をユニークに特定するものであるため、複合機１００がユーザーからの指示を誤認識してしまうのを抑制することができる。

【0058】

複合機１００は、ユーザーに紙マニュアル２００をセットさせる位置を示す位置合わせ部を有することで、カメラモジュール１０が紙マニュアル２００内のバーコードを正しく検出することが可能となる。

【0059】

複合機１００は、カメラモジュール１０が指示受付位置に移動したことに応じて検出対象を通じてユーザーの指示を受け付ける受付モードを備えているため、複合機１００の誤操作を防止することができる。

【0060】

２．第２の実施形態：
図１１は、第２の実施形態で使用される紙マニュアル２１０を説明する図である。第２の実施形態においても、紙マニュアル２１０は、ユーザーがこの紙マニュアル２１０に記載された指差し用図２０１（図１１では、２０１ｂ〜２０１ｎ）を指差して操作するのに用いられる。一方、この第２の実施形態の紙マニュアル２１０には、基準点として機能する基準図２０４にのみバーコード２０２ａが形成され、それ以外の指差し用図２０１ｂ〜２０１ｎには、バーコードが形成されていない。

【0061】

図１２は、第２の実施形態で、制御部３０により実施される設定処理を説明するフローチャートである。以下に、この機能設定処理の概要を説明する。
まず、ステップＳ１１０では、第１の実施形態と同様、制御部３０は、初期設定を行う。次に、ステップＳ１２０では、制御部３０は、第１の実施形態同様、ユーザーが紙マニュアル２１０を指した位置を特定する指示位置特定処理を行う。この指示位置特定処理では、ユーザーが紙マニュアル２１０の指差し用図２０１ｂ〜２０１ｎを指差しすることで複合機１００に対する指示を行う。

【0062】

ステップＳ１３０では、制御部３０は、ステップＳ１２０で特定した指示位置から紙マニュアル２１０上のマークを検出する基準マーク検出処理（対象検出処理）を行う。すなわち、この第２の実施形態では、対象検出部３０２は紙マニュアル２１０上に記録されたバーコード２０２ａをマークとして検出する。

【0063】

次に、ステップＳ１４０では、制御部３０は、ステップＳ１２０において特定されたユーザーの指差し位置からステップＳ１３０において特定された基準マークの位置までの相対的な距離をもとに、ユーザーが指差しした指示を受け付ける指示受付処理を行う。相対的な距離の算出と、この相対的な距離をもとに指示を受け付ける具体的な手法は後述する。

【0064】

そして、ステップＳ１５０では、制御部３０は、ステップＳ４で受け付けた指示を実行する。終了条件が成立していれば（ステップＳ１６０：ＹＥＳ）処理を終了し、成立していなければ（ステップＳ１６０：ＮＯ）ステップＳ１２０に戻り処理を繰り返す。

【0065】

図１３は、基準マーク検出処理（対象検出処理）を説明するフローチャートである。
図１４は、基準マーク検出処理を説明する図である。

【0066】

図１３のステップＳ１３１では、対象検出部３０２は、基準となるマーク（バーコード２０２ａ）に対する探索領域（以下、基準マーク探索領域ＳＱＡとも記載する。）を設定する。基準マーク探索領域ＳＱＡは、撮像画像Ｉｍ内で基準となるマークとして機能するバーコード２０２ａを探索するための領域である。基準マーク探索領域ＳＱＡの位置は、例えば、紙マニュアル２１０を、その位置合わせマーク２０３が複合機１００の位置合わせマーク９３に合わせてセットした場合に、バーコード２０２ａが位置する領域を基準に、その位置（座標）が制御部３０に設定されている。図１４（ａ）では、基準マーク探索領域ＳＱＡは、紙マニュアル２１０の複合機１００に対するセットのズレを許容できるよう、少なくともバーコード２０２ａと比べて広い範囲の領域として設定されている。

【0067】

ステップＳ１３２では、対象検出部３０２は、探索領域ＱＡに含まれるバーコード２０２ａを探索する。バーコード２０２ａが検出されない場合（ステップＳ１３３：ＮＯ）、ステップＳ１３５では、対象検出部３０２は、エラー通知を行う。例えば、紙マニュアル２１０が複合機１００に対して正しくセットされていない場合、基準マーク探索領域ＳＱＡ内にバーコード２０２ａが位置していないため、エラーが通知される。ユーザーによる紙マニュアル２１０のセットの修正等の後、制御部３０は、再度、基準マーク検出処理を行う（図１２）。一方、バーコード２０２ａが検出された場合（ステップＳ１３３：ＹＥＳ）、ステップＳ１３４では、対象検出部３０２は、検出音を出力させる。

【0068】

ステップＳ１３６では、対象検出部３０２は、バーコード画像を抽出する。ステップＳ１３７では、対象検出部３０２は、検出されたバーコードを解析する。この第２の実施形態では、バーコード２０２ａには、紙マニュアル２１０内の基準となる基準位置Ｐｓ（ｘｓ、ｙｓ）と、紙マニュアル２１０のページを一意に識別する識別情報とを含んでいる。識別情報は、ユーザーが指差しするページが複合機１００のどの設定に対応しているかを情報として含んでいる。

【0069】

ステップＳ１３８では、対象検出部３０２は、ステップＳ１３７で解析された識別情報から紙マニュアル２１０のページを特定する。例えば、図１２に示す紙マニュアル２１０では、バーコード２０２ａは、ユーザーが指差しするページがコピー機能の設定であることを情報として含んでいる。

【0070】

ステップＳ１３９では、対象検出部３０２は、ステップＳ１３７で解析された基準位置Ｐｓ（Ｘｓ、Ｙｓ）を取得する。基準位置Ｐｓは、以下に実行される指示受付処理において、ユーザーの指示を判断するための基準となる情報である。図１４（ｂ）では、バーコード２０２ａの中心を基準位置Ｐｓとして設定している。なお、基準位置Ｐｓの座標（Ｘｓ、Ｙｓ）はバーコード２０２ａに含まれる情報により取得されるものであり、図１４（ｂ）は基準位置Ｐｓの概念を表したものである。

【0071】

次に、図１２のステップＳ１４０で実行される指示受付処理を説明する。図１５は、第２の実施形態での指示受付処理を説明するフローチャートである。図１６は、第２の実施形態での指示受付処理を説明する図である。

【0072】

図１５のステップＳ１４１では指示受付部３０３は、基準マーク検出処理（ステップＳ１３０）により取得された基準位置Ｐｓから指示位置特定処理（ステップＳ１２０）により取得された指示位置Ｐｐまでの相対的な距離（以下、相対距離ＲＤとも記載する。）を算出する。例えば、図１６（ａ）に示すように、指示位置特定処理（ステップＳ１２０）において、指示受付部３０３が取得した現在の指先の位置を指示位置Ｐｐとする。図１６（ｂ）に示すように、指示受付部３０３は、この指示位置Ｐｐと基準位置Ｐｓとの差分を相対距離ＲＤとして算出することになる。なお図１６（ｂ）は、相対距離ＲＤは、撮像画像Ｉｍを規定する平面（Ｘ軸、Ｙ軸）において、指示位置Ｐｐ（Ｘｐ、Ｙｐ）と基準位置Ｐｓ（Ｘｓ、Ｙｓ）との距離として算出されている。

【0073】

ステップＳ１４２では、指示受付部３０３は、ステップＳ１４２で取得した相対距離ＲＤからユーザーの指示を特定する。例えば、ＲＯＭには、相対距離ＲＤと、各指示に応じたコマンドを一意に特定するためのテーブルが記録されている。指示受付部３０３は、取得された相対距離ＲＤの値からテーブルに記録された指示を特定し、特定した指示をユーザーの指示として判断する。

【0074】

ステップＳ１４３では、指示受付部３０３は、相対距離ＲＤに対応するコマンドを生成する。そのため、処理部３０４は、指示受付部３０３が解析したコマンドを実行する（図１２のステップＳ１５０）。なお、相対距離ＲＤに対応するコマンドが取得されない場合に、指示受付部３０３はエラー通知を行うものであってもよい。

【0075】

以上説明したようにこの第２の実施形態では、複合機１００は、ユーザーが指差しした位置から基準位置までの相対的な距離をもとにユーザーの指示を判断するため、紙マニュアル２１０内に形成するマーク（バーコード）を第１の実施形態と比べて少なくすることができる。その結果、紙マニュアルの用紙サイズが小さい場合でも、本発明を適用することが可能となる。

【0076】

３．第３の実施形態：
図１７は、媒体としてサムネイル画像が形成されているオーダーシート２５０を説明する図である。このオーダーシート２５０には、指差し用図の代わりに複合機１００が印刷することができる画像を特定するためのサムネイル画像２５１ａ〜２５１ｉと、サムネイル画像２５１ａ〜２５１ｉを一意にそれぞれ特定するバーコード２５２ａ〜２５２ｉが形成されている。

【0077】

この第３の実施形態においても、複合機１００は、カメラモジュール１０の撮像結果からユーザーがオーダーシート２５０内で指差すサムネイル画像２５１を指示位置特定部３０１、対象検出部３０２の各機能により特定する。次に、指示受付部３０３は、特定されたサムネイル画像２５１に対応する元画像を特定する。そして、処理部３０４は、特定された元画像をプリンターユニット５０により印刷する。

【0078】

図１８は、オーダーシート２５０を用いた印刷を説明するフローチャートである。
ステップＳ２００では、制御部３０は、オーダーシート２５０を印刷するためのオーダーシート画像を生成する。例えば、制御部３０は、外部メモリに記録されている複数の元画像からサムネイル画像を生成し、各サムネイル画像を組み合わせてオーダーシート画像を生成する。これ以外にも、スキャナーユニット６０で読み込んだ原稿を元画像とし、この元画像からサムネイル画像を生成するものであってもよい。

【0079】

ステップＳ２１０では、制御部３０は、プリンターユニット５０にオーダーシート２５０を印刷させる。そのため、プリンターユニット５０は、色材を用いてオーダーシート画像を用紙に記録していく。このステップＳ２１０で印刷されたオーダーシート２５０を複合機１００の前方にセットして、カメラモジュール１０により読み取りを開始させることで、ステップＳ２２０以下の処理が開始される。

【0080】

ステップＳ２２０では、制御部３０は、初期設定を行う。次に、ステップＳ２３０では、制御部３０は、ユーザーがオーダーシート２５０を指した位置を特定する指示位置特定処理を行う。この実施形態では、指示位置特定部３０１は、ユーザーがオーダーシート２５０内のサムネイル画像を指差した位置を特定する。

【0081】

次に、ステップＳ２４０では、制御部３０は、ステップＳ２２０で特定した位置をもとにバーコード検出処理（対象検出処理）を行う。バーコード検出処理では、対象検出部３０２が、特定された指先の座標からこの指先が指しているオーダーシート２５０上のバーコード２５２を検出する。

【0082】

次に、ステップＳ２５０では、制御部３０は、検出したバーコード２５２をもとに印刷受付処理（指示受付処理）を行う。印刷受付処理では、指示受付部３０３が、ステップＳ２４０で検出されたバーコード２５２に基づいて、ユーザーが選択したサムネイル画像２５１に対応する元画像を印刷対象の元画像として受け付ける。

【0083】

そして、ステップＳ２６０では、制御部３０は、ステップＳ２５０で受け付けた元画像を印刷する印刷処理（指示実行処理）を行う。印刷処理では、処理部３０４は、ステップＳ２５０で指示を受けた元画像を読み出し、この元画像をプリンターユニット５０に印刷させる。

【0084】

終了条件が成立していない場合（ステップＳ２７０：ＮＯ）、制御部３０は、ステップＳ２３０に戻る。一方、終了条件が成立した場合（ステップＳ２７０：ＹＥＳ）、制御部３０は、処理を終了する。

【0085】

上記構成とした第３の実施形態により、ユーザーは、オーダーシート２５０に形成されたサムネイル画像２５１の指差しにより印刷を行いたい画像を選択することができる。そのため、ユーザーは指等によりサムネイル画像を指すだけで、意図した画像を複合機１００に印刷させることができるため、サムネイル画像の選択から複合機１００に印刷を指示するまでに要する操作を、非常に簡単なものとすることができる。

【0086】

４．その他の実施形態：
電子機器として複合機１００を例に説明したことは一例に過ぎない。電子器機器は、撮像部を備える製品であれば、プリンター、スキャナー装置、パーソナルコンピューター（ＰＣ）等どのようなものであってもよい。

【0087】

マークとしてバーコードを用いたことは一例に過ぎない。これ以外にも、ＱＲコード(登録商標)や、画像等、ユーザーが指差しする対象を一意に特定できるものであればどのようなものであってもよい。

【0088】

撮像部として複合機に取り付けられたカメラモジュールを用いたことは一例に過ぎない。例えば、複合機と電気的に接続されてはいるが、複合機は別の位置に取り付けられているビデオカメラ等の撮像部を用いるものであってもよい。
上述の実施形態では、指先の位置を２次元で取得するカメラであるので、被写界深度に入っているかどうかで第３の次元である奥行き方向の情報としてマニュアルをタッチしたかどうかを判断したが、他の方法で第３の次元の情報を取得してもよい。例えば、２つのカメラを用いたり、１つのカメラと距離センサーとを用いたり、することで第３の次元の情報を取得して、マニュアルをタッチしたかどうかを判断してもよい。

【0089】

なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。

【符号の説明】

【0090】

１０…カメラモジュール、２０…ＵＳＢＩＦ、２５…外部メモリコントローラー、３０…制御部、４０…表示部、５０…プリンターユニット、６０…スキャナーユニット、７０…ＦＡＸユニット、９０…筐体、９１…前部パネル、９２…上部カバー、９３…位置合わせマーク、１００…複合機、２００、２１０…紙マニュアル、２０１…指差し用図、２０２…バーコード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】