(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、実施の形態について詳細に説明する。
【0010】
<画像形成装置1の全体構成の説明>
図1は、本実施の形態に係る画像形成装置1の外観図である。
図2は、本実施の形態に係る画像形成装置1の内部構造を示す図である。
画像形成装置1は、原稿の画像を読み取る画像読取装置100と、記録材(以下、代表して「用紙」と記す場合もある。)上に画像を記録する画像記録装置200と、を備えている。また画像形成装置1は、ユーザからの操作入力の受付やユーザに対する各種情報の表示を行なうユーザインタフェース(UI)300を備えている。そして画像形成装置1は、ユーザの視線の位置を検知するためのカメラ400を備えている。さらに画像形成装置1は、画像形成装置1全体の動作を制御する制御装置500を備える。
【0011】
画像読取装置100は、画像形成装置1の上部に配置され、画像記録装置200は、画像読取装置100の下側に配置され、制御装置500を内蔵している。ユーザインタフェース300は、画像形成装置1の上部の手前側、つまり画像読取装置100の後述する画像読取部110の手前側に配置されている。またカメラ400は、ユーザインタフェース300の左側下端に配置されている。
【0012】
まずは、画像読取装置100について説明する。
画像読取装置100は、原稿の画像を読み取る画像読取部110と、この画像読取部110に原稿を搬送する原稿搬送部120と、を備えている。原稿搬送部120は、画像読取装置100の上部に配置され、画像読取部110は、画像読取装置100の下部に配置されている。
原稿搬送部120は、原稿を収容する原稿収容部121と、この原稿収容部121から搬送された原稿が排出される原稿排出部122とを有し、原稿収容部121から原稿排出部122へ原稿を搬送する。原稿搬送部120は、原稿自動送り装置(ADF:Auto Document Feeder)とも呼ばれる。
【0013】
画像読取部110は、プラテンガラス111と、光を原稿の被読取面(画像面)へ照射する光照射ユニット112と、光照射ユニット112から原稿の被読取面へ光Lが照射されて原稿の被読取面で反射した光Lを導く導光ユニット113と、導光ユニット113によって導かれた光Lの光学像を結像する結像レンズ114と、を備えている。また、画像読取部110は、結像レンズ114によって結像された光Lを光電変換するCCD(Charge Coupled Device)イメージセンサ等の光電変換素子で構成され、結像された光学像を検出する検出部115と、検出部115と電気的に接続されて、検出部115によって得られた画像情報としての電気信号が送られる画像処理部116と、を備えている。
画像読取部110は、原稿搬送部120によって搬送される原稿の画像、及びプラテンガラス111に載せられた原稿の画像を読み取る。
【0014】
次に、画像記録装置200について説明する。
画像記録装置200は、用紙Pに画像を形成する画像形成部20と、画像形成部20に対して用紙Pを供給する用紙供給部60と、画像形成部20にて画像が形成された用紙Pを排出する用紙排出部70と、画像形成部20にて一方の面に画像が形成された用紙Pの表裏を反転させて再度画像形成部20に向けて搬送する反転搬送部80と、を備えている。
【0015】
画像形成部20は、一定の間隔を置いて並列的に配置されるイエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)の4つの画像形成ユニット21Y、21M、21C、21Kを備えている。各画像形成ユニット21Y、21M、21C、21Kは、感光体ドラム22と、感光体ドラム22の表面を一様に帯電する帯電器23と、後述する光学系ユニット50によるレーザ照射によって形成された静電潜像を予め定められた色成分トナーで現像し可視化する現像器24とを備えている。また、画像形成部20には、画像形成ユニット21Y、21M、21C、21Kの現像器24に対して各色のトナーを供給するためのトナーカートリッジ29Y、29M、29C、29Kが設けられている。
【0016】
画像形成部20は、画像形成ユニット21Y、21M、21C、21Kの下方に、画像形成ユニット21Y、21M、21C、21Kの感光体ドラム22に対してレーザ光を照射する光学系ユニット50を備えている。光学系ユニット50は、図示しない半導体レーザ、変調器の他、半導体レーザから出射されたレーザ光を偏向走査するポリゴンミラー(不図示)と、レーザ光を通過するガラス製のウィンドウ(不図示)と、各構成部材を密閉するためのフレーム(不図示)とを備えている。
【0017】
また、画像形成部20は、画像形成ユニット21Y、21M、21C、21Kの感光体ドラム22に形成された各色のトナー像を中間転写ベルト31上に多重転写させる中間転写ユニット30と、中間転写ユニット30上に重畳されて形成されたトナー像を用紙Pに転写する二次転写ユニット40と、用紙P上に形成されたトナー像を加熱および加圧して定着する定着装置45と、を備えている。
【0018】
中間転写ユニット30は、中間転写ベルト31と、この中間転写ベルト31を駆動するドライブローラ32と、中間転写ベルト31に一定のテンションを付与するテンションローラ33と、を備えている。また、中間転写ユニット30は、各感光体ドラム22と中間転写ベルト31を挟んで対向して感光体ドラム22上に形成されたトナー像を中間転写ベルト31上に転写するための複数(本実施の形態においては4つ)の一次転写ローラ34と、中間転写ベルト31を介して後述する二次転写ローラ41と対向するバックアップローラ35とを備えている。
【0019】
中間転写ベルト31は、ドライブローラ32、テンションローラ33、複数の一次転写ローラ34、バックアップローラ35および従動ローラ36などの複数の回転部材に張りかけられている。そして、中間転写ベルト31は、駆動モータ(不図示)によって回転駆動されるドライブローラ32により、矢印方向に予め定められた速度で循環駆動される。この中間転写ベルト31は、例えば、ゴムまたは樹脂にて成形されたものが使用される。
また、中間転写ユニット30は、中間転写ベルト31上に存在する残留トナー等を除去するクリーニング装置37を備えている。クリーニング装置37は、トナー像の転写工程が終了した後の中間転写ベルト31の表面から残留トナーや紙粉等を除去する。
【0020】
二次転写ユニット40は、二次転写位置に設けられ中間転写ベルト31を介してバックアップローラ35を押圧し、用紙P上に画像を二次転写する二次転写ローラ41を備えている。二次転写ローラ41と、中間転写ベルト31を介して二次転写ローラ41と対向するバックアップローラ35とで、中間転写ベルト31に転写されたトナー画像が用紙Pに転写される二次転写位置が構成される。
定着装置45は、中間転写ユニット30によって二次転写された用紙P上の画像(トナー像)を、加熱定着ローラ46と加圧ローラ47とにより、熱および圧力を用いて用紙Pに定着させる。
【0021】
用紙供給部60は、画像が形成される用紙を収容する用紙収容部61と、用紙収容部61の各々に収容された用紙Pを送り出す送出ロール62と、送出ロール62にて送り出された用紙Pが搬送される搬送路63と、搬送路63に沿って配置され送出ロール62によって送り出された用紙Pを二次転写位置へ搬送する搬送ロール64、65、66と、を備えている。また用紙供給部60は、手差しにより用紙Pを供給することができる手差しトレイ67をさらに備えている。手差しトレイ67は、折りたたみが可能であり、使用しない状態では折りたたんでおき、使用するときには開いて用紙Pをセットすることができる。
図1および
図2では、手差しトレイ67は、折りたたんだ状態を図示している。
【0022】
用紙排出部70は、画像形成部20の上方に設けられて、画像形成部20にて画像が形成された用紙Pを積載する第1の積載トレイ71と、この第1の積載トレイ71と画像読取装置100との間に設けられて、画像形成部20にて画像が形成された用紙Pを積載する第2の積載トレイ72と、を備えている。
用紙排出部70は、定着装置45よりも搬送方向下流側に設けられて、トナー画像が定着された用紙Pを搬送する搬送ロール75と、この搬送ロール75の搬送方向下流側に設けられて、用紙Pの搬送方向を切り替える切替ゲート76と、を備えている。また、用紙排出部70は、切替ゲート76の搬送方向下流側に、切替ゲート76によって切り替えられた搬送方向の一方側(
図2における右側)に搬送される用紙Pを第1の積載トレイ71に排出する第1の排出ロール77を備えている。また、用紙排出部70は、切替ゲート76の搬送方向下流側に、切替ゲート76によって切り替えられた搬送方向の他方側(
図2における上側)に搬送される用紙Pを搬送する搬送ロール78と、搬送ロール78によって搬送される用紙Pを第2の積載トレイ72に排出する第2の排出ロール79と、を備えている。
【0023】
反転搬送部80は、定着装置45の側方に、搬送ロール78を第2の積載トレイ72に用紙Pを排出する方向とは反対の方向に回転させることで反転された用紙Pが搬送される反転搬送路81を備えている。この反転搬送路81には、反転搬送路81に沿って複数の搬送ロール82が設けられている。これらの搬送ロール82によって搬送された用紙Pは、搬送ロール82によって、再度二次転写位置へ送り込まれる。
【0024】
また、画像記録装置200は、画像形成部20、用紙供給部60、用紙排出部70、反転搬送部80および制御装置500を、直接的または間接的に支持する装置本体フレーム11と、この装置本体フレーム11に取り付けられて画像形成装置1の外面を形成する装置筐体12と、を備えている。
装置本体フレーム11は、画像形成装置1における横方向の一方の端部側で、内部に、切替ゲート76、第1の排出ロール77、搬送ロール78および第2の排出ロール79などを備えるとともに上下方向に伸びて、画像読取装置100を支持する読取装置支持部13を備えている。読取装置支持部13は、装置本体フレーム11における奥側の部位と協働して画像読取装置100を支持する。
【0025】
また、画像記録装置200は、装置筐体12の一部として、画像形成部20の手前側に設けられるとともに、装置本体フレーム11に対して開閉可能に装着されるフロントカバー15を備えている。
ユーザは、フロントカバー15を開くことで、画像形成部20の中間転写ユニット30やトナーカートリッジ29Y、29M、29C、29Kを新しい物と取り替えることが可能となっている。
【0026】
ユーザインタフェース300は、例えばタッチパネルである。ユーザインタフェース300をタッチパネルにすることで、画像形成装置1の画像形成条件などの各種情報はタッチパネルに表示される。そしてユーザは、タッチパネルをタッチすることで画像形成条件などの入力操作を行なう。即ちユーザインタフェース300は、自装置である画像形成装置1に関する情報を画像として表示する表示部として機能するとともに、表示された画像の中からユーザが目的の機能を選択する選択操作を受け付ける操作部として機能する。なおユーザインタフェース300は、タッチパネルに限られるものではなく表示部としての機能と、操作部としての機能を分けてもよい。つまりユーザインタフェース300は、液晶ディスプレイ等からなる表示部と、物理キー等からなる操作部とを別々に備える構成であってもよい。
【0027】
カメラ400は、ユーザインタフェース300を操作するユーザの目を撮影する。
カメラ400は、例えば、ユーザの目の像を収束する光学系と、光学系により収束された像を検出するイメージセンサとを備える。光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。イメージセンサは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を配列して構成される。イメージセンサは、検出した像を画素単位で光電変換し、画像信号として出力する。
【0028】
<画像形成装置1の動作の説明>
以上のように構成された画像形成装置1は、以下のように動作する。
例えば、ユーザは、画像形成装置1を使用して原稿のコピーを行なうことができる。即ち、画像読取装置100によって読み取られた原稿の画像データを基に、画像記録装置200により画像を用紙P上に形成することで原稿をコピーすることができる。またユーザは、通信回線に接続する図示しないパーソナルコンピュータ(PC)等から印刷のジョブを画像形成装置1に送信することでプリントを行なうことができる。即ち、通信回線を介して印刷のジョブを受信し、印刷のジョブに含まれる画像データを基に、画像記録装置200により画像を用紙P上に形成することでプリントすることができる。さらにユーザは、ファクシミリの送受信を行なうことができる。即ち、画像読取装置100によって読み取られた原稿の画像データを通信回線を介して送信できる。あるいはユーザは、原稿の画像データを保存することができる。即ち、原稿の画像データを画像形成装置1内部や通信回線に接続したPCに保存できる。
【0029】
ここでは、ユーザが原稿のコピーやプリントを行なう場合を例に取り、画像形成装置1の動作について詳しく説明を行なう。
画像読取装置100によって読み取られた原稿の画像や、PC等から受信した画像データは、予め定められた画像処理が施され、画像処理が施された画像データは、イエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)の4色の色材階調データに変換され、光学系ユニット50に出力される。
【0030】
光学系ユニット50は、入力された色材階調データに応じて、半導体レーザ(図示せず)から出射されたレーザ光を、f−θレンズ(不図示)を介してポリゴンミラーに出射する。ポリゴンミラーでは、入射されたレーザ光を各色の階調データに応じて変調し、偏向走査して、図示しない結像レンズおよび複数枚のミラーを介して画像形成ユニット21Y、21M、21C、21Kの感光体ドラム22に照射する。
【0031】
画像形成ユニット21Y、21M、21C、21Kの感光体ドラム22では、帯電器23で帯電された表面が走査露光され、静電潜像が形成される。形成された静電潜像は、各々の画像形成ユニット21Y、21M、21C、21Kにて、イエロー(Y)、マゼンタ(M)、シアン(C)、黒(K)の各色のトナー像として現像される。画像形成ユニット21Y、21M、21C、21Kの感光体ドラム22上に形成されたトナー像は、中間転写体である中間転写ベルト31上に多重転写される。
【0032】
一方、用紙供給部60では、画像形成のタイミングに合わせて送出ロール62が回転して用紙収容部61に収容されている用紙Pを取り上げ、搬送路63を介して搬送ロール64、65にて搬送される。その後、トナー像が形成された中間転写ベルト31の移動タイミングに合わせて搬送ロール66が回転し、用紙Pは、バックアップローラ35および二次転写ローラ41によって形成される二次転写位置に搬送される。二次転写位置にて、下方から上方に向けて搬送される用紙Pには、圧接力および予め定められた電界を用いて、4色が多重されているトナー像が副走査方向に順次、転写される。そして、各色のトナー像が転写された用紙Pは、定着装置45によって熱および圧力で定着処理を受けた後に排出され、第1の積載トレイ71あるいは第2の積載トレイ72に積載される。
【0033】
両面印刷の要求があった場合には、一方の面に画像が形成された用紙Pは、反転搬送部80にて表裏が反転するように搬送され、再度二次転写位置に送られる。そして、二次転写位置にて、用紙Pの他方の面にトナー像が転写され、定着装置45にて転写された画像が定着される。その後、両面に画像が形成された用紙Pは、排出され、第1の積載トレイ71あるいは第2の積載トレイ72に積載される。
【0034】
またユーザインタフェース300は、以下のように動作する。
図3は、ユーザインタフェース300に表示される画像の一例を示した図である。
この場合、ユーザインタフェース300には、画像形成装置1が備える機能を実行するためのアイコンの一覧が画像として表示されている。
【0035】
図示する例では、ユーザインタフェース300は、コピー、ファクス/インターネットファクス、スキャナ(メール送信)、ジョブフロー、どこでもプリント、らくらくファクス、スキャナ(PC保存)、外部アクセス、スキャナ(ボックス保存)、ボックス操作、ジョブメモリ、デジカメプリントのそれぞれの機能を表すアイコンを表示し、これを一覧としている。
また図示する例では、ユーザインタフェース300は、画面遷移のためのボタンとして「戻る」のボタンを表示している。
【0036】
そしてユーザは、目的の機能を利用するためには、何れかのアイコンまたはボタンを選択する選択操作を行なう。
選択操作は、具体的には、ユーザインタフェース300がタッチパネルであった場合は、ユーザがアイコンまたはボタンをタッチする操作である。ユーザがアイコンをタッチするとアイコンに関連付けられた機能に対応する設定画面が表示される。例えば、「コピー」のアイコンをタッチすると、原稿のコピーを行なうための設定画面として、コピーを行なう枚数、使用する用紙の選択、白黒/カラーの選択、拡大/縮小の設定を行なう画面が表示される。そして設定後、ユーザが、図示しないスタートボタン等を押下すると、実際のコピー動作が開始される。また「戻る」のボタンをタッチすると、ホーム画面等の元の画面に戻ることができる。なおこれに限られるものではなく、例えば、ユーザインタフェース300が液晶ディスプレイと物理キーとに分かれて構成される場合は、物理キーである矢印キーを押下することでユーザがアイコンを選択し、同様に物理キーである決定キーを押下する操作を選択操作とすることができる。
【0037】
また画像形成装置1は、カメラ400により撮影された画像を制御装置500で解析することによりユーザインタフェース300上におけるユーザの視線の位置を検知する。これにより例えば、検知したユーザの視線の位置により、ユーザが、ユーザインタフェース300の何れのアイコンを見ているかを判断する。そして例えば、予め定められた時間何れかのアイコンを凝視したときや、ユーザが何れかのアイコンを凝視したまま予め定められた回数の瞬きをしたときに、そのアイコンの選択操作が行なわれたとする。即ち、視線入力として使用することができる。
【0038】
図4(a)〜(d)は、カメラ400により撮影されたユーザの目の画像からユーザの視線の位置を検知する方法について示した図である。
このうち
図4(a)〜(b)は、可視光により視線の位置を検知する方法について示している。
図示する例では、まずユーザの目Mにおける目頭Gおよび虹彩Kの位置を求める。この場合、ユーザの視線の位置が変化すると、
図4(a)および
図4(b)に示すように目頭Gと虹彩Kとの位置関係が変化する。その結果、目頭Gと虹彩Kとの位置関係により視線の位置を求めることができる。
また
図4(c)〜(d)は、赤外線により視線の位置を検知する方法について示している。
図示する例では、まずユーザの目Mにおける瞳孔Dと角膜反射Hの位置を求める。この場合、ユーザの視線の位置が変化すると、
図4(c)および
図4(d)に示すように瞳孔Dと角膜反射Hとの位置関係が変化する。その結果、瞳孔Dと角膜反射Hとの位置関係により視線の位置を求めることができる。
【0039】
また視線の位置をより正確に求めるためには、キャリブレーションが必要となる。具体的には、キャリブレーションとして、
図4で示した位置関係と実際の視線の位置との関係を調整する作業が必要となる。これはユーザの特徴により、検出される視線の位置に差異が生じるためである。ユーザの特徴とは、視線の位置の検知に影響を与えるユーザの身体的特徴である。具体的には、例えば、ユーザの身長である。またその他にも例えば、ユーザの顔の角度、顔の大きさ、目の幅、瞳孔の大きさ、両目の間隔、斜視であるか否かなどが挙げられる。この中でも特にユーザの身長が視線の位置の検出に与える影響は大きい。
【0040】
図5は、ユーザの身長が視線の位置の検出に与える影響について示した図である。
図5では、ユーザがユーザインタフェース300の上端Uを見ている場合を示している。このユーザインタフェース300は、奥行きが30cmである。またユーザの目M1、M2は、水平方向では、ユーザインタフェース300から20cm離れた位置にある。またこの例では、カメラ400は、ユーザインタフェース300の下端L付近に配されている。
【0041】
そして図では、身長が140cmの背の低いユーザと、身長が190cmの背が高いユーザとで視線の方向の違いを示している。このうち背が低いユーザの目の位置を、M1で図示している。目M1は、このときユーザインタフェース300から50cm上方にあるとする。そして背が低いユーザは、鉛直方向に対し、45°の方向を見ている。これは、カメラ400から見ると23°の角度となる。
【0042】
一方、背が高いユーザの目の位置を、M2で図示している。目M2は、このときユーザインタフェース300から100cm上方にあるとする。背が高いユーザは、鉛直方向に対し、26°の方向を見ている。これは、カメラ400から見ると15°の角度となる。よって見ている箇所が同じでも、ユーザの身長によりカメラ400から見たときの状態は異なる。
【0043】
またユーザインタフェース300の上端Uから下端Lにユーザの視線の位置が移動したときは、背の低いユーザは、23°移動するが、背の高いユーザは、15°だけ移動することになる。つまり目の移動量が同じであっても、背の低いユーザほど視線の位置は小さく動き、背の高いユーザほど視線の位置は大きく動く。これは、目の動きに対し、視線の動きに対する感度は、背の高いユーザほど大きく、背の低いユーザほど小さいと言うこともできる。
【0044】
このように目の位置に対する視線の位置や目の移動量に対する視線の位置の移動量は、ユーザの身長により大きく異なる。よってキャリブレーションを行なうことにより、この差を調整する必要が生じる。
なお
図5の例では、ユーザインタフェース300の上下方向について説明したが、左右方向にも同様のことが言える。
【0045】
実際にキャリブレーションを行なうには、例えば、ユーザインタフェース300上の複数位置にマークを順次表示する。そしてユーザがそれを目で追うことで上記位置関係と視線の位置との関係を把握する。キャリブレーションを行なうと、位置関係と視線の位置との関係を調整するパラメータであるキャリブレーション値が保存される。そしてそのユーザに関しては、以後、このキャリブレーション値を使用することで精度よく視線の位置を検知することができる。このキャリブレーション値は、視線の位置の調整を行なうための調整情報の一例である。
【0046】
しかしながら画像形成装置1は、不特定多数のユーザが使用することが多い。そしてこれらのユーザの身長等の特徴は、それぞれ異なる。ただしユーザ毎にキャリブレーションを行なうと、利便性が低下する。対して固定のキャリブレーション値を使用した場合は、上述したようにユーザの身長等の影響により精度よく視線の位置を検知することは困難である。
【0047】
そこで本実施の形態では、身長等のユーザの特徴に合わせたキャリブレーション値を予め用意し、キャリブレーションを行っていないユーザに対して、そのユーザの特徴に近いキャリブレーション値を用いることでこの問題の抑制を図っている。以下、これを実現する制御装置500の構成について説明を行なう。
【0048】
<制御装置500の説明>
図6は、制御装置500の機能構成例を示したブロック図である。なお
図6では、制御装置500が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
制御装置500は、情報処理装置の一例であるとともに、ユーザインタフェース300上のユーザの視線の位置に応じて自装置(画像形成装置1)を制御する制御部の一例である。
図示するように本実施の形態の制御装置500は、ユーザ認証手段510と、キャリブレーション値取得手段520と、記憶手段530と、特徴情報取得手段540と、画像取得手段550と、視線検知手段560と、選択操作判断手段570とを備える。
【0049】
ユーザ認証手段510は、画像形成装置1を使用するユーザの認証を行なう。ユーザの認証は、例えば、ユーザがユーザインタフェース300からユーザIDとパスワードを入力するような方法でもよく、画像形成装置1に別途NFC(Near Field Communication)等を設け、NFCにユーザがIDカードをかざすような方法でもよい。図では、ユーザ認証手段510は、ユーザIDおよびパスワードによりユーザの認証を行なう場合について示している。
【0050】
キャリブレーション値取得手段520は、各ユーザに対するキャリブレーション値を取得する。キャリブレーション値取得手段520は、例えば、ユーザID(ユーザの認証情報)を基に、ユーザIDに紐付けされているキャリブレーション値を取得する。即ち、記憶手段530は、ユーザIDとキャリブレーション値とを対応させて記憶している。そしてキャリブレーション値取得手段520は、記憶手段530を参照し、ユーザIDに対応するキャリブレーション値を取得する。この場合は、このユーザが、既にキャリブレーションを行っているときであり、そのためキャリブレーション値が予め用意されている。
【0051】
またキャリブレーションを行っていないユーザの場合で、キャリブレーション値が用意されていない場合、特徴情報取得手段540がこのユーザに対応する特徴情報を取得する。
特徴情報は、視線の位置の検知に影響を及ぼすユーザの特徴の情報である。具体的には、特徴情報は、例えば、上述したユーザの身長の情報である。またその他にも例えば、ユーザの顔の角度、顔の大きさ、目の幅、瞳孔の大きさ、両目の間隔、斜視であるか否か等の情報であってもよい。
特徴情報は、例えば、ユーザがユーザインタフェース300から入力を行なうことで取得することができる。また特徴情報がユーザの身長等の画像から推定できるものであった場合は、例えば、カメラ400で撮影した画像から求めることもできる。
【0052】
画像取得手段550は、カメラ400が撮影したユーザの画像の画像信号を取得する。
【0053】
視線検知手段560は、カメラ400が撮影したユーザの画像を基に、
図4で説明したような位置関係を求める。そして視線検知手段560は、この位置関係からユーザが見る対象となる対象物における視線の位置を検知する。この場合、対象物は、ユーザインタフェース300であり、視線検知手段560は、ユーザインタフェース300上におけるユーザの視線の位置を検知する。
【0054】
このとき視線検知手段560は、取得した特徴情報に応じて、ユーザインタフェース300上でのユーザの視線の位置を検知する。
具体的には、記憶手段530に特徴情報に応じたキャリブレーション値が保存されている。即ち、記憶手段530は、特徴情報とキャリブレーション値とを対応させて記憶している。そしてキャリブレーション値取得手段520が、記憶手段530を参照しキャリブレーション値を取得する。このときキャリブレーション値取得手段520は、特徴情報取得手段540が取得した特徴情報に最も近い特徴情報を記憶手段530から見つけ、それに応じたキャリブレーション値を取得することができる。また特徴情報取得手段540が取得した特徴情報に近い特徴情報を記憶手段530から複数見つけ、それに応じたキャリブレーション値を加重平均してもよい。さらに複数の特徴量を基にしてキャリブレーション値を取得するときは、それぞれの特徴量に重み付け係数を設定する。そしてそれぞれの特徴量に対し、特徴情報取得手段540が取得した特徴情報に最も近い特徴情報を記憶手段530から見つける。さらに特徴情報取得手段540が取得した特徴情報と記憶手段530に保存された特徴情報の差を取り、重み付け係数を乗算する。その結果、乗算後の値が最も小さいものに対するキャリブレーション値を選択する。
【0055】
そして視線検知手段560が、取得したキャリブレーション値を使用して、ユーザインタフェース300上におけるユーザの視線の位置を求める。
【0056】
選択操作判断手段570は、視線検知手段560が検知した視線の位置を基に、ユーザインタフェース300上でユーザが選択操作をしたことを判断する。選択操作判断手段570は、上述したように、例えば、予め定められた時間何れかのアイコン等を凝視したときや、ユーザが何れかのアイコン等を凝視したまま予め定められた回数の瞬きをしたときに、そのアイコン等の選択操作が行なわれたと判断する。選択操作判断手段570が、ユーザが選択操作をしたと判断したときは、アイコン等が選択された旨を表す選択情報を出力する。
【0057】
このように本実施の形態の制御装置500において、視線検知手段560は、視線の位置の調整を行なうためのキャリブレーション値が存在するときはこのキャリブレーション値を使用して視線の位置を検知する。また視線検知手段560は、入力された特徴情報に対応するキャリブレーション値が存在しないときは予め用意された特徴情報とキャリブレーション値との関係からキャリブレーション値を取得し、取得したキャリブレーション値を使用して視線の位置を検知する。
【0058】
<制御装置500の動作の説明>
次に制御装置500の動作の説明を行なう。
図7は、制御装置500の動作について説明したフローチャートである。
まずユーザ認証手段510が、画像形成装置1を使用するユーザの認証を行なう(ステップ101)。
【0059】
次にキャリブレーション値取得手段520が、記憶手段530を参照し、認証を行ったユーザについてのキャリブレーション値が存在するか否かを判断する(ステップ102)。
【0060】
その結果、キャリブレーション値が存在した場合(ステップ102でYes)、キャリブレーション値取得手段520は、記憶手段530からキャリブレーション値を取得する(ステップ103)。そして以後、ステップ106に移行する。即ち、既に用意されているキャリブレーション値を使用して、視線検知手段560が、ユーザの視線の位置を検知する。
【0061】
対してキャリブレーション値が存在しなかった場合(ステップ102でNo)、特徴情報取得手段540が、認証を行ったユーザに対応する特徴情報を取得する(ステップ104)。
次にキャリブレーション値取得手段520が、記憶手段530を参照し、取得した特徴情報に応じたキャリブレーション値を取得する(ステップ105)。
【0062】
また画像取得手段550が、カメラ400が撮影したユーザの画像を取得する(ステップ106)。
【0063】
そして視線検知手段560が、カメラ400が撮影したユーザの画像を基に、
図4で説明したような位置関係を求める。さらに視線検知手段560は、キャリブレーション値取得手段520が取得したキャリブレーション値を使用してユーザインタフェース300上におけるユーザの視線の位置を検知する(ステップ107)。
【0064】
さらに選択操作判断手段570が、視線検知手段560が検知した視線の位置を基に、ユーザインタフェース300上でユーザが選択操作をしたか否かを判断する(ステップ108)。
【0065】
そして選択操作判断手段570が、ユーザが選択操作をしたと判断した場合(ステップ108でYes)、選択情報を出力する(ステップ109)。
対して選択操作判断手段570が、ユーザが選択操作をしたと判断しなかった場合(ステップ108でNo)、ステップ106に戻る。
【実施例】
【0066】
以下、本発明を実施例を用いてより詳細に説明するが、本発明は、その要旨を越えない限りこの実施例により限定されるものではない。
【0067】
(実施例1)
ユーザA(身長152cm)、ユーザB(身長164cm)、ユーザC(身長178cm)、およびユーザD(身長191cm)の4人のユーザが画像形成装置1を使用する場合を考える。このとき以下の表1に示すようにユーザAおよびユーザCは、既にキャリブレーションを行ない、記憶手段530にキャリブレーション値が保存されている。一方、ユーザBとユーザDは、キャリブレーションをまだ行なっておらず、記憶手段530には、キャリブレーション値は保存されていない。
【0068】
【表1】
【0069】
このときユーザAまたはユーザCが、画像形成装置1を使用するためにユーザ認証手段510によりユーザの認証を行なったときは、キャリブレーション値取得手段520が、記憶手段530に保存されているキャリブレーション値を取得する。そして視線検知手段560が、このキャリブレーション値を使用してユーザの視線の位置を検知する。
【0070】
一方、ユーザBまたはユーザDが、画像形成装置1を使用するためにユーザ認証手段510によりユーザの認証を行なったときは、特徴情報取得手段540が、ユーザBまたはユーザDについての特徴情報を取得する。そしてキャリブレーション値取得手段520が、記憶手段530を参照し、取得した特徴情報に応じたキャリブレーション値を取得する。
【0071】
表2は、このとき記憶手段530に保存されている特徴情報とキャリブレーション値との関係を示している。この場合、特徴情報は、ユーザの身長の情報である。身長は、140cm〜190cmの間で10cm毎に設定され、それぞれにキャリブレーション値が対応付けられている。
【0072】
【表2】
【0073】
ユーザBは、身長が164cmであるので、キャリブレーション値取得手段520は、例えば、表2の中で164cmに最も近い160cmのキャリブレーション値を取得する。またユーザDは、身長が191cmであるので、キャリブレーション値取得手段520は、例えば、表2の中で191cmに最も近い190cmのキャリブレーション値を取得する。
【0074】
以後は、ユーザA〜ユーザDの何れのユーザについても、同様の処理が行われる。つまり画像取得手段550が、カメラ400が撮影したユーザの画像を取得する。そして視線検知手段560が、カメラ400が撮影したユーザの画像を基に、取得したキャリブレーション値を使用してユーザインタフェース300上におけるユーザの視線の位置を検知する。さらに選択操作判断手段570が、検知した視線の位置を基に、ユーザインタフェース300上でユーザが選択操作をしたか否かを判断する。
【0075】
またこのときユーザBおよびユーザDについては、記憶手段530が、ユーザIDと特徴情報とを対応させて記憶することが好ましい。表3に記憶されるユーザIDと特徴情報との対応関係の一例を示す。これにより以後、特徴情報の取得の必要が不要となる。
【0076】
【表3】
【0077】
以上説明した形態によれば、画像形成装置1を使用する各ユーザに対し、ユーザ毎にキャリブレーションを行わなくても視線の位置を精度よく検知することができる。
【0078】
なお上述した例では、情報処理装置として画像形成装置1を例に取り説明を行なったがこれに限られるものではない。即ち、視線を検知する装置であれば、本実施の形態の適用が可能である。例えば、アプリケーションソフトウェアのアイコンを並べて表示する携帯電話、スマートフォン、タブレットのような機器に対しても適用できる。
また上述した例では、ユーザは、ユーザインタフェース300を見ており、ユーザインタフェース300上での視線の位置を検知していたが、他の箇所を見ている場合にも適用できることはもちろんである。
また視線の位置に及ぼすユーザの身長の影響は、ユーザの身長がより低いほど問題になるため、ユーザの身長の情報が予め定められた身長以上のときは、固定のキャリブレーション値を使用し、ユーザの身長の情報が予め定められた身長より低いときは、視線の動きに対する感度を小さくするキャリブレーション値を使用することも考えられる。
【0079】
<プログラムの説明>
なお制御装置500が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。
【0080】
よって制御装置500が行う処理は、コンピュータに、視線の位置の検知に影響を及ぼすユーザの特徴の情報である特徴情報を取得する特徴情報取得機能と、取得した特徴情報に応じて、ユーザが見る対象となる対象物における視線の位置を検知する視線検知機能と、を実現させるプログラムとして捉えることもできる。