特許 6963437 情報処理装置及びその制御方法とプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6963437

(24)【登録日】2021年10月19日

(45)【発行日】2021年11月10日

(54)【発明の名称】情報処理装置及びその制御方法とプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20211028BHJP

   B41J 29/38 20060101ALI20211028BHJP

   G03G 21/00 20060101ALI20211028BHJP

   G06T 7/00 20170101ALI20211028BHJP

【ＦＩ】

   H04N1/00 C

   B41J29/38

   G03G21/00 390

   G06T7/00 660A

   G06T7/00 510F

【請求項の数】14

【全頁数】15

(21)【出願番号】特願2017-151035(P2017-151035)

(22)【出願日】2017年8月3日

(65)【公開番号】特開2019-29969(P2019-29969A)

(43)【公開日】2019年2月21日

【審査請求日】2020年7月22日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(72)【発明者】

【氏名】富 秀療

【審査官】 野口 俊明

(56)【参考文献】

【文献】 特開２０１７−０３３３５８（ＪＰ，Ａ）

【文献】 特開２０１５−１６６１７１（ＪＰ，Ａ）

【文献】 特開２０１７−１１７１１９（ＪＰ，Ａ）

【文献】 特開２０１１−０８６００２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／００

Ｂ４１Ｊ ２９／３８

Ｇ０３Ｇ ２１／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置であって、
前記情報処理装置の周囲における移動体、及び前記移動体までの距離を検出する検出手段と、
第１の撮像範囲内の移動体を撮像可能な第１の撮像部と、
前記第１の撮像範囲よりも狭い第２の撮像範囲内の移動体を撮像可能な第２の撮像部と、
前記第１の撮像部により撮像された画像データに基づいて顔認証を行う認証手段と、
前記第１の撮像部により撮像された画像データに基づく顔認証が完了せず、且つ、前記検出手段により検出された前記距離が所定の距離より短いことを条件に、前記第２の撮像範囲内の移動体を撮像できるように前記第２の撮像部に電力を供給し、前記第２の撮像部により撮像された画像データに基づく顔認証を行うように制御する制御手段と、
を有し、
前記制御手段は、前記第１の撮像部により撮像された画像データに基づく顔認証が完了した場合、前記第２の撮像部に電力を供給しない、
ことを特徴とする情報処理装置。

【請求項2】

前記第２の撮像部は、前記情報処理装置の前側の上部に配置されていることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記検出手段は、赤外線アレイセンサを含むことを特徴とする請求項１又は２に記載の情報処理装置。

【請求項4】

前記検出手段は、前記赤外線アレイセンサの受光素子の内、最も高い温度を検出した素子の位置に基づいて、前記移動体までの距離を検出することを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記認証手段は、Ｈａａｒ−ｌｉｋｅ特徴量を用いた顔検出アルゴリズムを使用することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記第１の撮像部により撮像された画像データと、前記第２の撮像部により撮像された画像データとに対して、それぞれ異なる画像補正処理を実行する画像補正手段、を更に有し、
前記認証手段は、前記画像補正手段により補正された画像データに基づいて顔認証を行うことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第１の撮像部により撮像された画像データに含まれる認証対象者のつま先の画像データに基づいて、前記認証対象者が前記情報処理装置に向かってきているか否かを判定する判定手段、を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。

【請求項8】

省電力状態で前記検出手段が前記移動体を検出すると、少なくとも前記第１の撮像部への電源供給を開始させる電源制御手段、を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記電源制御手段は更に、前記検出手段により検出された前記距離が、前記所定の距離よりも長い第１の距離になる前に前記第１の撮像部への電源供給を開始させることを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記所定の距離は、前記認証手段が、前記第１の撮像部により撮像された画像データに基づく認証を行うことができない距離であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。

【請求項11】

前記制御手段は、前記検出手段が検出した前記距離が、前記所定の距離よりも長い第２の距離の場合に、前記認証手段が前記第１の撮像部により撮像された画像データに基づく認証を行うように制御することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記第２の距離は、前記情報処理装置を操作する意図がある人物が侵入してくる可能性が高い距離であることを特徴とする請求項１１に記載の情報処理装置。

【請求項13】

情報処理装置の周囲における移動体、及び前記移動体までの距離を検出する検出手段と、第１の撮像範囲内の移動体を撮像可能な第１の撮像部と、第２の撮像範囲内の移動体を撮像可能な第２の撮像部とを有する前記情報処理装置を制御する制御方法であって、
前記第２の撮像範囲は、前記第１の撮像範囲よりも狭く、
前記制御方法は、
前記第１の撮像部により撮像された画像データに基づいて顔認証を行う認証工程と、
前記第１の撮像部により撮像された画像データに基づく顔認証が完了せず、且つ、前記検出手段により検出された前記距離が所定の距離より短いことを条件に、前記第２の撮像範囲内の移動体を撮像できるように前記第２の撮像部に電力を供給し、前記第２の撮像部により撮像された画像データに基づく顔認証を行うように制御する制御工程と、
を有し、
前記制御工程は、前記第１の撮像部により撮像された画像データに基づく顔認証が完了した場合、前記第２の撮像部に電力を供給しない、
を有することを特徴とする制御方法。

【請求項14】

コンピュータを、請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及びその制御方法とプログラムに関する。

【背景技術】

【0002】

従来、複合機等の画像形成装置の前方に撮像部を設け、その撮像部により撮像された画像に基づいて、画像形成装置に接近してくる人物の認証を行う画像形成装置が提案されている。特許文献１は、撮像部により撮像された画像に基づいて、人物の認証に加えて画像形成装置に人物が近づいているか否かを判断し、その判断結果に基づいて、画像形成装置をスリープモードからスタンバイモードに復帰させることを記載している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−３３３５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮像部を用いて画像形成装置に近づいてくる人物の顔認証を行うためには、その撮像部が撮像できる範囲で、顔認証を行うに十分な、その人物の顔の特徴量を有する画像データを取得する必要がある。特許文献１では、画像形成装置に人物が近づいてくるか否かを撮像部で判断するために、人物のつま先の向きを検出している。このため撮像部の配置に制限が生じるため、画像形成装置の周囲の所定距離以内の人物の顔画像を撮像できない。つまり、撮像部が撮像できない範囲に接近してきた人物に対しては、その撮像部で顔認証を行うのに十分な顔の特徴量を持つ画像データを取得できない可能性がある。このため、撮像部の位置と、接近してくる人物の位置によっては、その人物の顔認証を行うことができないという課題があった。

【0005】

本発明の目的は、上記従来技術の課題を解決することにある。

【0006】

本発明の目的は、情報処理装置の撮像部の位置と、接近してくる移動体の位置に依らず、その移動体の検出と認証を行うことができる技術を提供することにある。

【課題を解決するための手段】

【0007】

上記目的を達成するために本発明の一態様に係る情報処理装置は以下のような構成を備える。即ち、
情報処理装置であって、
前記情報処理装置の周囲における移動体、及び前記移動体までの距離を検出する検出手段と、
第１の撮像範囲内の移動体を撮像可能な第１の撮像部と、
前記第１の撮像範囲よりも狭い第２の撮像範囲内の移動体を撮像可能な第２の撮像部と、
前記第１の撮像部により撮像された画像データに基づいて顔認証を行う認証手段と、
前記第１の撮像部により撮像された画像データに基づく顔認証が完了せず、且つ、前記検出手段により検出された前記距離が所定の距離より短いことを条件に、前記第２の撮像範囲内の移動体を撮像できるように前記第２の撮像部に電力を供給し、前記第２の撮像部により撮像された画像データに基づく顔認証を行うように制御する制御手段と、
を有し、
前記制御手段は、前記第１の撮像部により撮像された画像データに基づく顔認証が完了した場合、前記第２の撮像部に電力を供給しない、
ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、情報処理装置の撮像部の位置と、接近してくる移動体の位置に依らず、その移動体の検出と認証を行うことができるという効果がある。

【0009】

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。尚、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

【図面の簡単な説明】

【0010】

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。

【図1】本発明の実施形態１に係る画像形成装置の外観図。

【図2】実施形態１に係る画像形成装置において、人物の存在が検出される範囲を説明するための上面図。

【図3】実施形態１に係る画像形成装置において、人物の存在が検出される範囲を説明するための側面図。

【図4】実施形態１に係る画像形成装置のハードウェア構成を説明するブロック図。

【図5】実施形態１に係る画像形成装置の人検出・顔認証部のソフトウェア構成を説明する機能ブロック図。

【図6】実施形態１に係る画像形成装置で、赤外線アレイセンサを使った距離検出の方法を説明する図。

【図7】実施形態１に係る画像形成装置の人検出・顔認証部が人検出・顔認証を行う処理を説明するフローチャート。

【図8】実施形態２に係る画像形成装置の人検出・顔認証部が人検出・顔認証を行う処理を説明するフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。尚、以下の説明では、本発明に係る情報処理装置を、例えば複合機等の画像形成装置を例に説明するが、本発明に係る情報処理装置は、このような画像形成装置に限らず、例えばＰＣ等の情報機器、通信装置、プリンタ等であっても良い。

【0012】

［実施形態１］
図１は、本発明の実施形態１に係る画像形成装置１００の外観図である。

【0013】

画像形成装置１００は、プリント機能、スキャナ機能、コピー機能、ＦＡＸ機能などの複数の機能を有する複合機として説明する。この画像形成装置１００は、画像形成装置１００に接近する人を検出するための人検出センサ１１１、第一カメラ１１２、第二カメラ１１３を備える。実施形態１では、人検出センサ１１１及び第一カメラ１１２は、図１に示すように、画像形成装置１００の前方に取り付けられ、その検出方向及び撮影方向は画像形成装置１００の前方に向けられている。また第二カメラ１１３は、画像形成装置１００の前側の上部の、後述する操作部１０２の左側に、上方に向けて取り付けられている。

【0014】

ここで、人検出センサ１１１は、画像形成装置１００の前方における、使用者を含む移動体（人物等）の移動を検出する機能を有しており、この人検出センサ１１１は、例えば焦電型赤外線センサや超音波センサ、赤外線アレイセンサ等である。また第一カメラ１１２は、画像形成装置１００の前面に配置され、画像形成装置１００の前方を撮像する機能を有している。また第二カメラ１１３は、画像形成装置１００の上方を撮像する機能を有している。ここで第一カメラ１１２には魚眼レンズが取り付けられている。これにより、第一カメラ１１２は、一般的なレンズを用いた場合に比べ、より広角で画像の撮像を行うことができる。

【0015】

尚、以下の説明では、第一カメラ１１２が撮像した画像を第一カメラ画像と称し、第二カメラ１１３が撮像した画像を第二カメラ画像と称する。

【0016】

尚、実施形態１において、第一カメラ１１２は、第二カメラ１１３よりも撮影可能な範囲が広い（例えば、画角が大きい）ものとする。

【0017】

図２は、実施形態１に係る画像形成装置１００において、人物の存在が検出される範囲を説明するための上面図である。図２は、画像形成装置１００及びその周辺を、画像形成装置１００の高さ方向の上側から見た図で示している。

【0018】

また図３は、実施形態１に係る画像形成装置１００において、人物の存在が検出される範囲を説明するための側面図である。図３は、画像形成装置１００及びその周辺を、画像形成装置の側方から見た図で示している。尚、図３には、人物３００を併せて示している。

【0019】

ここで、図２及び図３に示すように、画像形成装置１００の第一カメラ１１２が取り付けられている部位を、画像形成装置１００の位置Ｐで示す。

【0020】

この例において、人検出センサ１１１は、検出範囲２００内に存在する人物を検出することができる。この検出範囲２００は、画像形成装置１００の前方に形成され、高さ方向上側からみたときに、その中心角が１８０度未満に設定された扇形である。

【0021】

また、この例では、第一カメラ１１２が撮像した第一カメラ画像を解析した結果を用いて、人検出範囲２０１内、人操作範囲２０２内、進入検出範囲２０３内に存在する人物を検出する。

【0022】

これらのうち、人検出範囲２０１は、画像形成装置１００の前方に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形である。この人検出範囲２０１は、検出範囲２００の大部分を含むように設定される。尚、人検出範囲２０１の中心角については、１８０度以外であってもかまわない。但し、第一カメラ１１２は、少なくとも人検出範囲２０１の全体を撮像範囲とする。一方、人操作範囲２０２は、この画像形成装置１００を操作する人物が存在する可能性が高い範囲を示し、画像形成装置１００の前方に形成され、高さ方向上側からみたときに矩形で表される。この例では、この矩形範囲における幅方向の長さは、画像形成装置１００の幅方向の長さと略同じである。また、人操作範囲２０２の全域は、人検出範囲２０１の内側に存在する。更に、この人操作範囲２０２は、人検出範囲２０１の中で、画像形成装置１００に、より近い側に配置される。

【0023】

また進入検出範囲２０３は、この画像形成装置１００を操作する意図がある人物が侵入してくる可能性が高い範囲を示し、画像形成装置１００の前方に形成され、高さ方向上側からみたときに、中心角が１８０度に設定された扇形で表される。また、この進入検出範囲２０３の全域は、人検出範囲２０１の内側に位置する。更に、この進入検出範囲２０３は、人検出範囲２０１の中で、画像形成装置１００により近い側に配置される。また、上述した人操作範囲２０２の全域は、進入検出範囲２０３の内側に位置する。更に人操作範囲２０２は、進入検出範囲２０３の中で、画像形成装置１００により近い側に配置される。

【0024】

実施形態１に係る画像形成装置１００では、後述するように、この画像形成装置１００に近づいてくる人物３００の顔を第一カメラ１１２で撮像して得た画像データを用いて、画像形成装置１００の使用を許可するかどうかの顔認証を行う。また、この画像形成装置１００では、後述するように、第一カメラ１１２が撮像した第一カメラ画像を用いて、人検出範囲２０１内に存在する人物３００のつま先を検出し、この人物３００が画像形成装置１００に向かってきているか否かを判定する。

【0025】

ここで、画像形成装置１００の高さは、通常、使いやすさを考慮して１０００〜１３００ｍｍ程度に設定されることから、第一カメラ１１２の高さは、画像形成装置１００の設置面（床面）から７００〜９００ｍｍ程度となる。また、上述したように、第一カメラ１１２を用いて人物３００のつま先を撮像する必要があるため、第一カメラ１１２の高さはある程度低い位置に制限される。このような理由により、画像形成装置１００の設置面からの第一カメラ１１２の位置Ｐまでの高さは、図３に示したように一般的な成人（人物３００）の顔の高さに比べ、より低くなる。このため、画像形成装置１００に人物が近づきすぎると、魚眼レンズを用いたとしても、第一カメラ１１２による人物３００の顔の撮像が困難となり、また、人物３００の顔が撮像できたとしても、得られた顔画像データの解析が困難となってしまう。

【0026】

そこで実施形態１では、第一カメラ１１２が撮像した第一カメラ画像を解析することで人物３００の顔画像データの解析が可能な距離の限界を、顔検出限界Ｌとして定めている。この顔検出限界Ｌは、一般的な身長を有する人物３００の顔を、第一カメラ１１２で撮像可能な距離に基づいて決められている。実施形態１では、この顔検出限界Ｌは、人操作範囲２０２の外側で、且つ進入検出範囲２０３の内側に位置している。

【0027】

いま、実施形態１に係る画像形成装置１００を使用しようとする人物３００がいた場合、この人物３００は、最初に検出範囲２００内に進入する。次に、この検出範囲２００内に進入した人物３００は、続いて人検出範囲２０１内に進入し、更に、進入検出範囲２０３から人操作範囲２０２に進入する。尚、実施形態１では、人検出範囲２０１内を移動する人物３００が、進入検出範囲２０３から人操作範囲２０２に進入する間に、顔検出限界Ｌを突破する。そして、人操作範囲２０２に進入した人物３００は、人操作範囲２０２内に滞在しつつ、操作部１０２を使用した操作等を行うことになる。

【0028】

尚、人検出範囲２０１、人操作範囲２０２及び進入検出範囲２０３の各々は、厳密に図２に示すとおりに設定される必要はなく、第一カメラ１１２が撮像した第一カメラ画像に基づいて特定しうる精度で足りる。また顔検出限界Ｌは、人操作範囲２０２と進入検出範囲２０３との間に設定される必要はなく、第一カメラ１１２の性能や取り付け位置（設置面からの位置Ｐの高さ）等によって変わることがある。

【0029】

図４は、実施形態１に係る画像形成装置１００のハードウェア構成を説明するブロック図である。

【0030】

画像形成装置１００は、画像形成装置１００の動作を統括するコントローラ４００、操作部１０２、人検出・顔認証部４２０、スキャナ部４３０及びプリンタ部４４０を備えている。

【0031】

コントローラ４００は、操作部１０２、人検出・顔認証部４２０、スキャナ部４３０及びプリンタ部４４０と通信可能である。またコントローラ４００は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、電源制御部４０４、入出力Ｉ／Ｆ（インタフェース）４０５、及びＬＡＮコントローラ４０６を備え、それらはバス４０７を介して接続されている。また、コントローラ４００は、ＨＤＤ４０８、デバイスＩ／Ｆ４０９及び画像処理部４１０を備え、それらはバス４０７に接続されている。

【0032】

ＣＰＵ４０１は、ＲＯＭ４０３に記憶されたブートプログラムを実行してＨＤＤ４０８に格納されている制御プログラム等をＲＡＭ４０２に展開し、その展開したプログラムを実行して、各種デバイスとのアクセスを統括的に制御する。更に、ＣＰＵ４０１は、コントローラ４００で実行される各種処理についても統括的に制御する。ＣＰＵ４０１と操作部１０２、人検出・顔認証部４２０は、入出力Ｉ／Ｆ４０５を介して通信を行う。またＣＰＵ４０１とスキャナ部４３０、プリンタ部４４０はデバイスＩ／Ｆ４０９を介して通信を行う。更にＣＰＵ４０１は、操作部１０２が一定時間操作されない等、画像形成装置１００が所定時間使用されない場合は、電源制御部４０４を介して画像形成装置１００の電力モードをスタンバイモードからスリープモードに移行させる。スタンバイモードは、スキャナ部４３０による読取動作や、プリンタ部４４０による印刷動作を実行することが可能な状態である。スリープモードは、スタンバイモードより消費電力の少ない省電力状態である。スリープモードでは、この省電力状態から復帰するために必要なＬＡＮコントローラ４０６、電源制御部４０４、操作部１０２のＣＰＵ４１１、人検出・顔認証部４２０のＣＰＵ４２１及び人検出センサ１１１のみに電力が供給されている。

【0033】

ＲＡＭ４０２は、ＣＰＵ４０１が動作するためのシステムワークメモリを提供しており、画像データ等を一時記憶するためのメモリでもある。ＲＯＭ４０３には、この画像形成装置１００のブートプログラムなどが格納されている。電源制御部４０４は、画像形成装置１００の電源を制御するブロックであり、ＣＰＵ４０１からの指示、ユーザによる節電ボタンの操作により電源の制御を行う。電源制御部４０４は、電源スイッチによる電源オフの操作を検出することが可能であり、検出した結果を電源オフ要求としてＣＰＵ４０１に通知する。ＣＰＵ４０１は、この電源オフ要求を受信すると、画像形成装置１００を電源オフできる状態へと移行させ、電源制御部４０４に対して電源停止の指示を行う。

【0034】

ＬＡＮコントローラ４０６は、ＬＡＮに接続される図示しないＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の外部装置と情報の送受信を行う。ＨＤＤ４０８は、ハードディスクドライブであり、システムソフトウェアや画像データを格納する。画像処理部４１０は、例えばＲＡＭ４０２に記憶された画像データを読み出し、例えばＪＰＥＧ、ＪＢＩＧなどの拡大、或いは縮小及び、色調整などの各種画像処理を行う。

【0035】

操作部１０２は、ユーザが画像形成装置１００を制御するためのＵＩを提供しており、画像形成装置１００とユーザ間での情報の入出力を行う。また操作部１０２は、操作部１０２のＣＰＵ４１１、ＬＣＤやＬＥＤ等を備える表示部４１２、及びタッチパネル、ハードウェアキー等を含む入力部４１３を備える。更に操作部１０２は、ＮＦＣリーダライタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール等の、ユーザの携帯端末とデータをやり取りするためのインターフェースを備えていてもよい。

【0036】

人検出・顔認証部４２０は、認証対象者である人物の検出と人物の顔認証を行うもので、ＣＰＵ４２１、人検出センサ１１１、第一カメラ１１２、第二カメラ１１３を備える。ＲＯＭ４２２は、ＣＰＵ４２１により実行されるプログラムなどを記憶している。ＲＡＭ４２３は、ＣＰＵ４２１のワークメモリとして使用される。スキャナ部４３０は、原稿から光学的に画像を読み取って画像データを生成する。プリンタ部４４０は。例えば電子写真方式に従って記録媒体（用紙）に画像を印刷する。

【0037】

図５は、実施形態１に係る画像形成装置１００の人検出・顔認証部４２０のソフトウェア構成を説明する機能ブロック図である。尚、このブロック図で示す機能は、人検出・顔認証部４２０のＣＰＵ４２１がＲＯＭ４２２に記憶されているプログラムを実行することにより達成される。

【0038】

人検出データ受信部５０１は、人検出センサ１１１で検知されたデータを受信し、人検出処理部５０２及び距離検出処理部５０３に送信する。

【0039】

人検出処理部５０２は、人検出データ受信部５０１から受信するデータを基に検出範囲２００内に人物が存在するか否かを判定し、その判定結果を電源制御部４０４に送信する。このとき人物の存在を判定する方法として例えば、焦電型赤外線センサが出力する赤外線の強度信号の値が閾値以上であれば、人物が存在すると判定する方法を用いてもよい。人検出処理部５０２が人物が存在すると判定した結果を受けた電源制御部４０４は、人検出・顔認証部４２０の第一カメラ１１２と第二カメラ１１３への電源供給を開始する。

【0040】

距離検出処理部５０３は、人検出データ受信部５０１のデータを基に、人物までの距離を検出し、検出結果である距離情報を画像選択部５０８に送信する。一例として、赤外線アレイセンサを使った距離検出の方法について図６を参照して説明する。

【0041】

図６は、実施形態１に係る画像形成装置１００で、赤外線アレイセンサを使った距離検出の方法を説明する図である。

【0042】

図６における赤外線アレイセンサは、赤外線を受光する赤外線受光素子がマトリクス状に配列されている。各赤外線受光素子で受光した赤外線量（受光結果）に基づく温度値を用いることによって、熱源の形状（検出領域）を温度分布として特定する特徴を持っている。図６では、一例として赤外線受光素子が１〜８の８行とａ〜ｈの８列の合計６４個で配列された赤外線アレイセンサの例で説明する。以降の説明では、人検出センサ１１１の各赤外線受光素子の位置を指定する際に、素子１ａ〜素子８ｈの表記で示す。

【0043】

図６（Ａ）は、画像形成装置１００に対して人物が、６０１で示す位置から６０２で示す位置に近づいている状態を示している。

【0044】

図６（Ｂ）は、人物が、６０１で示す位置に存在しており、その人物までの距離がＤ１であるときの赤外線アレイセンサの検出結果を示す。ここでは、最も高温となる受光素子は素子３ｄ〜５ｄであり、行番号が最も大きい素子は５ｄである。従って、最も大きい行番号は５となる。

【0045】

図６（Ｃ）は、その人物が、６０２で示す位置に存在しており、その人物までの距離がＤ２（Ｄ１＞Ｄ２）であるときの赤外線アレイセンサの検出結果を示す。ここでは、最も高温となる受光素子は、素子４ｃ〜７ｃ、３ｄ〜８ｄ、３ｅ〜８ｅ、４ｆ〜７ｆである。よって、行番号が最も大きい素子は８ｄ，８ｅであり、最も大きい行番号は８となる。

【0046】

このように、最も高温となる受光素子の行番号と、人物から画像形成装置１００までの距離には依存関係があるため、行番号と距離の対応関係が明確であれば人物から画像形成装置１００までの距離が検出可能となる。

【0047】

尚、図６で説明した方法はあくまでも一例であり、他の公知の方法により距離を検出することも可能である。例えば、超音波センサ等の物体までの距離が検出可能なセンサを使用して人物までの距離を検出しても良い。また或いは、第一カメラ１１２により撮像した第一カメラ画像に基づいて検出した、その人物の身体の部位の大きさに基づいて、その人物までの距離を検出しても良い。このとき身体の部位として、例えばつま先を用いても良い。

【0048】

第一カメラデータ受信部５０４は、第一カメラ１１２が撮像した第一カメラ画像を受信し、第一顔検出処理部５０５に送信する。第一顔検出処理部５０５は、第一カメラデータ受信部５０４から受信する第一カメラ画像の中に人物の顔が存在するか否かを判定し、存在すると判定した場合は、その第一カメラ画像に含まれる第一カメラ顔画像を画像選択部５０８に送信する。ここでの顔検出のアルゴリズムは、例えば、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを用いる。また実施形態１では、第一カメラ１１２は魚眼レンズを使用しており、第一カメラ１１２の画像データには歪みが存在するため、人物の顔を高い精度で検出するために歪み補正や拡大等の画像補正処理が必要である。これらの画像補正処理は、第一顔検出処理部５０５が行う。

【0049】

第二カメラデータ受信部５０６は、第二カメラ１１３が撮像した第二カメラ画像を受信し、第二顔検出処理部５０７に送信する。第二顔検出処理部５０７は、第二カメラデータ受信部５０６から受信する第二カメラ画像の中に人物の顔が存在するか否かを判定し、存在すると判定した場合は、その第二カメラ画像に含まれる第二カメラ顔画像を画像選択部５０８に送信する。ここでも第一顔検出処理部５０５と同様に、顔検出のアルゴリズムとして例えば、Ｈａａｒ−ｌｉｋｅ特徴量等を用いた顔検出アルゴリズムを用いる。

【0050】

画像選択部５０８は、距離検出処理部５０３が生成した距離情報に基づいて、第一カメラ顔画像と第二カメラ顔画像のいずれかを選択し、顔認証処理部５０９に送信する。実施形態１では、人物までの距離が顔検出限界Ｌより長いときは第一カメラ顔画像を選択し、人物までの距離が顔検出限界Ｌより短いときは第二カメラ顔画像を選択する。

【0051】

顔認証処理部５０９は、画像選択部５０８から受信した顔画像データから特徴量データを計算し、予め登録してある特徴量データである辞書特徴量データと照合し、その人物が画像形成装置１００の使用許可を受けているか否かを認証する。辞書特徴量データは、人検出・顔認証部４２０の図示しない記憶部に格納してもよいし、コントローラ４００のＨＤＤ４０８やＬＡＮを経由した外部サーバ等に格納してもよい。そして、その認証結果をコントローラ４００のＣＰＵ４０１に送信する。この認証結果を受け取ったＣＰＵ４０１は、その人物が画像形成装置１００の使用許可を受けている場合、その人物の設定に応じた画面を表示部４１２に表示する等の処理を行う。一方、その人物が使用許可を受けていない場合、その旨を表示部４１２に表示する等の処理を行う。

【0052】

図７は、実施形態１に係る画像形成装置１００の人検出・顔認証部４２０が人検出・顔認証を行う処理を説明するフローチャートである。尚、このフローチャートで示す手順は、ＣＰＵ４２１がＲＯＭ４２２に格納されているプログラムを実行することにより達成される。尚、図７の処理は、画像形成装置１００の電力モードがスリープモードに移行し、コントローラ４００のＣＰＵ４０１からＣＰＵ４２１に対してスリープモードへの移行指示が行われ、スリープモードへの移行が完了した時点から開始される。このスリープモードにおいて画像形成装置１００は、人検出センサ１１１による人検出を行っている。

【0053】

まずＳ７０１でＣＰＵ４２１は、人検出処理を行う。この人検出処理は、前述のように人検出処理部５０２で行う。次にＳ７０２に進みＣＰＵ４２１は、人を検出したか否かを判定し、人を検出したと判定した場合はＳ７０３に進みＣＰＵ４２１は、第一カメラ１１２の電源をオンすることで第一カメラ１１２を起動し、第一カメラ１１２による顔認証処理を行う。尚、このとき既に第一カメラ１１２の電源がオンされている場合、顔認証処理のみを行う。一方、Ｓ７０２で人が検出されていないと判定した場合はＳ７０１に処理を移行する。前述のように、第一カメラ１１２による顔認証は、第一カメラデータ受信部５０４、第一顔検出処理部５０５、顔認証処理部５０９により行う。以下、第一カメラ１１２によって撮像された撮像画像を用いて、顔認証処理部５０９が顔認証を行う処理を、便宜的に「第一カメラによる顔認証」と表記する場合がある。また同様に、第二カメラ１１３によって撮像された撮像画像を用いて、顔認証処理部５０９が顔認証を行う処理を、便宜的に「第二カメラによる顔認証」と表記する場合がある。

【0054】

次にＳ７０４に進みＣＰＵ４２１は、第一カメラ１１２による顔認証が完了しているか否かを判定し、第一カメラ１１２による顔認証処理が完了したと判定するとＳ７０５に進む。Ｓ７０５でＣＰＵ４２１は、コントローラ４００に認証結果として、その認証が完了したユーザのＩＤ（識別情報）を送信して、この処理を終了する。

【0055】

一方、Ｓ７０４でＣＰＵ４２１が、第一カメラ１１２による顔認証処理が完了していないと判定した場合はＳ７０６に進み、ＣＰＵ４２１は、その人物までの距離を検出し、その距離が顔検出限界Ｌ以下か否かを判定する。ここでの距離検出は、前述のように距離検出処理部５０３により行う。ここで、その人物までの距離が顔検出限界Ｌ以下と判定するとＳ７０７に進みＣＰＵ４２１は、第二カメラ１１３の電源をオンすることで第二カメラ１１３を起動し、第二カメラ１１３による顔認証処理を行う。尚、このとき第二カメラ１１３の起動時間を考慮して、第二カメラ１１３の起動のタイミングを、人物までの距離が顔検出限界Ｌ以下になる前にしてもよい。尚、このとき、人との距離が顔検出限界Ｌ以下になったタイミングで、既に、第二カメラ１１３の電源がオンされている場合、顔認証処理のみを行う。このようにすれば、認証のための撮影を実行するカメラを速やかに切り替えることができる。

【0056】

前述のように、第二カメラ１１３による顔認証は、第二顔検出処理部５０７、顔認証処理部５０９により行う。これにより、第一カメラ１１２において、顔認証のための撮影ができない距離に人物が接近した際に、自動的に、第二カメラ１１３による顔認証に切り替えることが可能になる。またＳ７０６で距離が顔検出限界Ｌ以上の場合はＳ７０８に進みＣＰＵ４２１は、人を検出しているか否かを判定する。この処理の内容はＳ７０２と同一である。Ｓ７０８で人が検出されたと判定するとＳ７０４に進みＣＰＵ４２１は、再度、第一カメラ１１２での顔認証を行う。一方、Ｓ７０８で人が検出されないと判定すると、再度、人検出を行うためにＳ７０１に処理を移行する。これにより、顔認証処理や距離測定処理中に人物が移動し、人検出範囲２０１の外に、その人物が出た場合等に、無駄な認証処理を行うことを抑制できる。

【0057】

次にＳ７０７の処理の後Ｓ７０９に進みＣＰＵ４２１は、第二カメラ１１３による顔認証が完了したか否かを判定する。ここで第二カメラ１１３による顔認証処理が完了したと判定したときはＳ７０５に進みＣＰＵ４２１は、コントローラ４００に、認証結果として認証が完了したユーザＩＤを送信して、この処理を終了する。一方、Ｓ７０９でＣＰＵ４２１は、第二カメラ１１３による顔認証処理が完了していないと判定しときはＳ７１０に進みＣＰＵ４２１は、その人物までの距離を検出し、その距離が顔検出限界Ｌ以下か否かを判定する。ここで、その距離が顔検出限界Ｌ以下と判定するとＳ７０９に進み、再度、第二カメラ１１３での顔認証を行う。一方、その距離が顔検出限界Ｌ以上の場合は、再度、第一カメラ１１２での顔認証を行うためにＳ７０４に処理を移行する。これにより、顔認証処理や距離測定処理中に、その人物が顔検出限界Ｌよりも遠い距離に移動したときは、その距離での顔認証が可能な第一カメラ１１２による顔認証処理を継続することができる。

【0058】

以上説明したように実施形態１によれば、人物と画像形成装置１００との距離が顔検出限界Ｌより長い場合は第一カメラ１１２で、顔検出限界Ｌより短い場合は第二カメラ１１３で人物の顔認証を行うことができる。これにより、画像形成装置１００に近づいてくる人物を検出するとともに、その人物の顔認証を行うことができる。

【0059】

［実施形態２］
上述の実施形態１では、人検出センサ１１１により人検出が完了した時点で第一カメラ１１２を起動し顔認証処理を開始する例で説明した。これに対して実施形態２では、人物までの距離を検出し、その距離が所定より短くなると第一カメラ１１２の起動及び顔認証処理を開始する例で説明する。尚、実施形態２に係る画像形成装置１００のハードウェア構成は、前述の実施形態１の図４と略同じであるため、その説明を省略する。但し、実施形態２において、画像選択部５０８は、人物までの距離が顔検出限界Ｌより長く、進入検知範囲２０３より近ければ第一カメラ顔画像を選択し、その距離が顔検出限界Ｌより短ければ第二カメラ顔画像を選択する。

【0060】

図８は、実施形態２に係る画像形成装置１００の人検出・顔認証部が人検出・顔認証を行う処理を説明するフローチャートである。尚、このフローチャートで示す手順は、ＣＰＵ４２１がＲＯＭ４２２に格納されているプログラムを実行することにより達成される。尚、図８において、前述の図７と共通する処理は同じ参照符号を付して、それらの説明を省略する。

【0061】

Ｓ７０２でＣＰＵ４２１は、人を検出したと判定するとＳ８０１に進み、その人物までの距離を検出し、その距離が進入検知範囲２０３以下か否かを判定する。ここで、その距離が進入検知範囲２０３以下と判定するとＳ７０３に進みＣＰＵ４２１は、第一カメラ１１２の電源をオンして第一カメラ１１２を起動し、第一カメラ１１２による顔認証処理を行う。一方、Ｓ８０１で、その距離が進入検知範囲２０３以上の場合は、ＣＰＵ４２１はＳ８０１に処理を移行し、再度距離を検出する。これにより、人検出範囲２０１より狭い進入検知範囲２０３に進入した人物に対してのみ顔認証を行うことが可能になり、画像形成装置１００を使用する意思のない人物に対する誤認証のリスクを軽減できる。

【0062】

次にＳ７０４でＣＰＵ４２１が、顔認証処理が完了したと判定するとＳ８０２に進みＣＰＵ４２１は、その人物までの距離を検出し、その距離が顔検出限界Ｌ以下か否かを判定する。ここで、その距離が顔検出限界Ｌ３以下と判定するとＳ８０３に進みＣＰＵ４２１は、第二カメラ１１３の電源をオンすることで起動する。一方、Ｓ８０２で、その距離が顔検出限界Ｌ以上の場合は、ＣＰＵ４２１はＳ８０２に処理を移行し、再度、その人物までの距離を検出する。

【0063】

これにより、人物が人操作範囲２０２に進入するより前に第二カメラ１１３を起動でき、第二カメラ１１３を用いた視線検出や人物追跡といった顔認証以外の機能を実行するための準備が可能になる。

【0064】

以上説明したように実施形態２によれば、人物と画像形成装置１００との距離が顔検出限界Ｌより遠く、進入検知範囲２０３より近ければ第一カメラ１１２で、その距離が顔検出限界Ｌより近ければ第二カメラ１１３で人物の顔認証を行う。

【0065】

これにより、画像形成装置１００を使用する意思のない人物に対する誤認証のリスクを軽減でき、かつ、画像形成装置１００までの距離が近い場合にも人物の顔認証が可能になる。

【0066】

その他、画像形成装置１００が人検出・顔認証処理を停止するタイミングについて説明する。

【0067】

一つの例は、ユーザが認証・ログインしている間は、人検出・顔認証処理を停止するものである。このように制御することで、複数のユーザを同時にログイン状態にすることを抑制することができる。もちろん、ユーザが認証・ログインしている間も人検出・顔認証処理を実行し、その間に認証された人物を使用予定者とし、当該人物固有の設定を予め呼び出しておく制御も考えられる。この際は、第一カメラ１１２のみを使用して顔認証処理を行う。このように制御することで、使用予定者が実際に使用する際に、素早く固有の設定が反映可能になる。

【0068】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0069】

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

【符号の説明】

【0070】

１００…画像形成装置、１０２…操作部、１１１…人検出センサ、１１２…第一カメラ、１１３…第二カメラ、４００…コントローラ、４２０…人検出・顔認証部、４２１…人検出・顔認証部のＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】