特許 6789698 画像処理装置、画像処理装置の制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6789698

(24)【登録日】2020年11月6日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像処理装置、画像処理装置の制御方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201116BHJP

【ＦＩ】

   G06T7/00 510A

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2016-132014(P2016-132014)

(22)【出願日】2016年7月1日

(65)【公開番号】特開2018-5574(P2018-5574A)

(43)【公開日】2018年1月11日

【審査請求日】2019年6月28日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】中野 俊亮

(72)【発明者】

【氏名】佐藤 博

(72)【発明者】

【氏名】金田 雄司

(72)【発明者】

【氏名】野本 敦夫

(72)【発明者】

【氏名】山本 貴久

(72)【発明者】

【氏名】伊藤 嘉則

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２００８−１０８２４３（ＪＰ，Ａ）

【文献】 特開２００９−０９３３７３（ＪＰ，Ａ）

【文献】 特開２００９−２６５７６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

誤認証を避けるべき第１の属性と未認証を避けるべき第２の属性とを含む複数の属性にグループ化された人物の登録画像を保持する保持手段と、
入力画像と前記第１の属性に含まれる前記登録画像との類似度を第１の閾値と比較してから、前記入力画像と前記第２の属性に含まれる前記登録画像との類似度を、前記第１の閾値より小さい第２の閾値と比較することで、前記入力画像中の人物を識別する識別手段と、
前記識別手段による識別結果に基づく出力を実行する出力手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記出力手段は、前記入力画像と同一人物であると識別された登録画像の人物が１人である場合、当該登録画像に対応する人物名と、当該登録画像が属するグループ名とを出力することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記出力手段は、前記入力画像と同一人物であると識別された登録画像の人物が２人以上である場合、当該登録画像が属するグループ名を出力することを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記識別手段は、前記入力画像と同一の人物であると識別された登録画像の人物が１人発見された時点で、識別処理を停止することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。

【請求項5】

前記識別手段は、前記入力画像の特徴量と前記登録画像の特徴量とをそれぞれ抽出し、前記類似度として当該特徴量同士の類似度を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

誤認証を避けるべき第１の属性と未認証を避けるべき第２の属性とを含む複数の属性にグループ化された人物の登録画像を保持する保持手段を備える画像処理装置の制御方法であって、
入力画像と前記第１の属性に含まれる前記登録画像との類似度を第１の閾値と比較してから、前記入力画像と前記第２の属性に含まれる前記登録画像との類似度を、前記第１の閾値より小さい第２の閾値と比較することで、前記入力画像中の人物を識別する識別工程と、
前記識別工程による識別結果に基づく出力を実行する出力工程と、
を有することを特徴とする画像処理装置の制御方法。

【請求項7】

コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理装置の制御方法およびプログラムに関する。

【背景技術】

【0002】

撮影された画像データ内に写るオブジェクトの画像を高度に処理して有用な情報を抽出する技術が多く提案されており、その中でも人間の顔画像を認識して、顔に関する様々な情報を判定する顔認識と呼ばれる技術がある。

【0003】

顔認識技術の用途としては、施設出入り口を通過しようとする人物を認証して通過する許可があるかどうか判定する入退室管理が代表的である。入退室管理では、出入り口を通過してよい人物が予め登録されており、出入り口を通過しようとする人物と、登録済みの人物それぞれとを照合する。通過しようとする人物が登録済み人物いずれかと合致した場合には入退室を許可し、またはどの登録済み人物とも合致しなかった場合には入退室を許可しない仕組みである。

【0004】

ところで、入退室管理が実際に用いられる場所では、例えば、オフィスの出入り口のように、様々な異なる身分（管理属性）の人物が出入りすることがある。

【0005】

特許文献１では、「入退室の権限がある人物」または「入退室権限がある人物と同伴時のみ入退室の権限がある人物」のいずれかの管理属性が登録済みの人物に対して割り当てられており、その管理属性に基づいて入退室を管理する方法が提案されている。

【0006】

特許文献２では、インターホンシステムを例に、認証したい管理属性として家族・友人と不審者に優先度を定めて、優先する管理属性に対応する登録済み人物から順に照合する方法が提案されている。

【0007】

一般に、認証しようとする人物の管理属性によらず、適切に人物を認証することが求められているところ、顔認証には２種類の誤りが生じることがある。１つは認証しようとする人物が登録済み人物であるにもかかわらず未登録と判定してしまう未認証である。もう１つは、未登録の人物を登録済みと判定してしまう、あるいは登録済み人物を別の登録済み人物と判定してしまう誤認証である。

【0008】

誤りの原因は、人物の顔が向きや照明条件によって見た目が大きく変化することにより、他人間の見た目の違いよりも本人間の見た目の違いの方が大きくなってしまうことである。顔認証では未認証と誤認証はトレードオフの関係にあり、類似度に対する判定の閾値を実際の使用条件に合わせて設定することでどちらかの抑制を優先しもう一方を許容することが一般的である。閾値を小さくすれば未認証率は小さくなるが誤認証率は大きくなる。逆に閾値を大きくすれば、未認証率は大きくなるが、誤認証率は小さくなる。

【0009】

実際の出入り口認証では様々な異なる身分（管理属性）の人物が出入りすることがあり、その際に人物の管理属性ごとに避けたい認証誤りの種類が異なる場合がある。例えば、ある管理属性の人物では認証のセキュリティを高めるために誤認証を許さないことが要求される一方、別の管理属性の人物に対しては認証の利便性を高めるために未認証を許さないことが要求されることもある。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１０−０４４６１９号公報

【特許文献2】特開２０１０−１１３６８２号公報

【非特許文献】

【0011】

【非特許文献1】Active Shape Models - Their Training and Application: T.F. Cootes, C.J. Taylor, D. Cooper, and J. Graham: 1998

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、特許文献１及び特許文献２に記載の技術では、様々な管理属性の人物が混在する状況下で出入り口認証を行うことを主眼に置いているが、人物の管理属性ごとに誤り率の要求が異なる場合には対応していない。すなわち、認証しようとする人物の管理属性によらず、適切に人物を認証することが難しいという課題がある。

【0013】

本発明は、上記の課題に鑑みてなされたものであり、認証しようとする物体の管理属性によらず、適切に物体を認証する技術を提供することを目的とする。

【課題を解決するための手段】

【0014】

上記の目的を達成する本発明に係る画像処理装置は、
誤認証を避けるべき第１の属性と未認証を避けるべき第２の属性とを含む複数の属性にグループ化された人物の登録画像を保持する保持手段と、
入力画像と前記第１の属性に含まれる前記登録画像との類似度を第１の閾値と比較してから、前記入力画像と前記第２の属性に含まれる前記登録画像との類似度を、前記第１の閾値より小さい第２の閾値と比較することで、前記入力画像中の人物を識別する識別手段と、
前記識別手段による識別結果に基づく出力を実行する出力手段と、
を備えることを特徴とする。

【発明の効果】

【0015】

本発明によれば、認証しようとする物体の属性によらず、適切に物体を認証することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図。

【図2】本発明の一実施形態に係る画像処理装置が実施する処理の手順を示すフローチャート。

【図3】本発明の本発明の一実施形態に係る画像識別部の構成例を示すブロック図。

【図4】本発明の実施形態１に係る判定処理の詳細な処理の手順を示すフローチャート。

【図5】本発明の実施形態１に係る通過人物と判定結果とに応じた誤りの許容性を示す表。

【図6】本発明の実施形態１に係る人物の認証を説明する図。

【図7】本発明の実施形態２に係る判定処理の詳細な処理の手順を示すフローチャート。

【図8】本発明の実施形態２に係る通過人物と判定結果とに応じた誤りの許容性を示す表。

【図9】本発明の実施形態２に係る人物の認証を説明する図。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0018】

（実施形態１）
顔認識の例として、顔から人物の性別を推定する性別推定、顔から人物の年齢を推定する年齢推定などがある。さらに、２つの顔画像が同じ人物であるか否かを判定する顔識別がある。顔識別では２つの顔画像を照合し、その２つの顔画像が同一人物であるか否かを表す値である類似度を求める。その類似度が予め定められた閾値以上であれば２つの顔画像が同一人物であると判定することができる。

【0019】

顔識別では、入力された顔画像と、予め登録されている複数人物の顔画像とをそれぞれ照合して、入力された顔画像が誰であるか判定することも可能であり、その場合、顔認証と呼ばれる。顔認証では、各登録済み人物と照合して得られた類似度が閾値以上であり最大の人物であると、入力された顔画像を判定する。

【0020】

実施形態１では、物体として人間の顔を扱い、入力された人物の顔が誰であるか判定する顔認証に本発明を適用する例を説明する。なお、本実施形態では、人物の顔を使って個人を特定するが、顔だけでなく全身の映像を使って個人を特定することも可能である。また、物体としては、人間（あるいは人間の顔）に限定されるものではなく、動物や自動車等に適用してもよい。本実施形態では、ある老人福祉施設の、出入り自由である出入り口にカメラが置かれ、そのカメラで出入り口を通過しようとする人物が誰であるか認証する。

【0021】

施設内には複数の入居者・施設スタッフがおり、一部の入居者に、認知症の入居者が存在するとする。認知症の入居者は施設スタッフ同伴のもとで施設から外出してよいこととするが、認知症の入居者は単独で外出すると行方不明になり施設に戻れなくなることもあるため、単独外出は危険である。本実施形態では認知症の入居者の迷子を防止する目的で、認知症の入居者が単独で出入り口を通過したことを顔認証で検知する。単独外出を検知した場合、施設スタッフに報知して出入り口への駆けつけを促すことで、行方不明を未然に防止する。

【0022】

認知症の入居者が一回でも迷子になると致命的な事態も考えられるため、認知症の入居者が未認証となることによる検知漏れは避けたい。その一方で、認知症の入居者と同伴する施設スタッフ以外の人物を施設スタッフと誤認証すると、許可された認知症の入居者の外出と判定されてしまう。そうすると単独外出の報知が行われず、単独外出の検知漏れとなり得る。そのため、施設スタッフの誤認証は避けたい。

【0023】

ところで、本実施形態では、発生したら運用上致命的な認証誤りがある一方、発生しても許容できる以下のような認証誤りもある。認知症の入居者を別の認知症の入居者と誤認証することは問題ない。なぜなら、スタッフに報知して出入り口へ確認に向かわせる目的は達成できているからである。また、その他の人物を認知症の入居者と誤認証することも致命的な誤りではない。なぜならスタッフに報知して出入り口を確認させることで、誤認証であるとして処理できるからである。さらに、スタッフが未認証となることは問題ない。認知症の入居者がスタッフ同伴で外出している場合でも報知が行われてしまうが、スタッフが出入り口を確認することで正しく誤報知として処理できるからである。

【0024】

以上のように、認知症の入居者と施設スタッフそれぞれで許容できる認証誤りの要求が異なることを前提として、以下で詳細な実施形態を述べる。以後、本実施形態では簡便のため、認知症の入居者を要注意者、施設スタッフをスタッフと呼び、それ以外の人物を未登録者と呼ぶこととする。

【0025】

＜全体構成＞
図１は、本発明の一実施形態に係る画像処理装置１０００の構成例を示すブロック図である。画像処理装置１０００は、画像取得部１１００、画像保持部１２００、画像識別部１３００、判定部１４００、及び外部出力部１５００を備えている。

【0026】

画像取得部１１００は、処理すべき画像データを取得する。画像取得部１１００は、それ自体が、識別すべき画像を撮影する撮影装置であってもよいし、撮影装置から画像データを取得するように構成してもよい。また、画像取得部１１００は、画像データが保持されており読み出し可能な半導体メモリであってもよい。本実施形態では、撮影装置は、比較的広範囲を写せる防犯カメラであり、施設の出入り口を撮影できる位置に配置されている。画像取得部１１００は、撮影装置として構成されている場合、その他の処理部とは物理的に離れた場所に配置されていてもよく、映像をネットワーク越しにその他の処理部に転送するように構成されてもよい。

【0027】

画像保持部１２００は、予め登録された認証すべき人物の顔画像データを、管理属性ごとにグループ化された登録画像として保持する。画像保持部１２００は、例えば大容量のフラッシュメモリであり、複数の顔画像データを保持することができる。本実施形態における認証すべき人物とは、要注意人物とスタッフ（管理属性）であり、これらの人物の顔画像が予め登録されているものとする。

【0028】

画像識別部１３００および判定部１４００は、取得された顔画像が誰であるかを識別して判定する。画像識別部１３００の詳細な構成に関しては、後述する。画像識別部１３００および判定部１４００は、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。あるいは単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。

【0029】

外部出力部１５００は、画像識別部１３００および判定部１４００の出力結果、つまり認証すべき顔画像が誰であるかを適切な形態で外部に出力する。外部出力部１５００はそれ自体が液晶モニタであってもよいし、外部の液晶モニタへ情報を出力して当該液晶モニタが情報を表示するようにしてもよい。液晶モニタは、画像取得部１１００から取得した画像データを表示したり、画像データに画像識別部１３００および判定部１４００の出力結果を重畳表示したりする。また、誰であるかの判定結果が特定の登録人物である場合には、スピーカを介して音を鳴らして周囲に報知してもよい。さらに、判定結果に応じて出入り口ドアの開閉を制御してもよい。なお、結果の出力方法は上に挙げた限りではなく、さらに複数の方法を同時に行使してもよい。

【0030】

＜画像処理装置の処理＞
続いて、図２のフローチャートを参照しながら、本実施形態に係る画像処理装置が実施する処理の手順を説明する。

【0031】

Ｓ１１０１において、画像取得部１１００は、処理すべき画像データを取得する（Ｓ１１０１）。Ｓ１１０２において、画像識別部１３００は、画像に写る人物の顔を検出する。処理すべき画像は出入り口全体を写す画像であり、同時に複数の人物が写っている場合があるため、それら人物の顔の各々についてＳ１１０３からＳ１１０７までの処理を行う。Ｓ１１０３において、画像識別部１３００は、複数の人物が写っている場合、検出されたそれぞれの顔の領域を切り出して、１つの顔が写る画像を入力画像として処理するものとする。Ｓ１１０４において、画像識別部１３００は、画像保持部１２００から登録画像を１つ取得する。

【0032】

Ｓ１１０５において、画像識別部１３００は、入力画像と登録画像とを照合して識別処理を実行する。識別処理の詳細は後述する。Ｓ１１０６において、画像識別部１３００は、すべての登録画像との間での識別処理を実行したか否かを判定する。すべての登録画像との間での識別処理を実行したと判定された場合（Ｓ１１０６；ＹＥＳ）、Ｓ１１０７へ進む。一方、すべての登録画像との間での識別処理を実行していないと判定された場合（Ｓ１１０６；ＮＯ）、Ｓ１１０４に戻る。

【0033】

Ｓ１１０７において、判定部１４００は、入力画像の顔が誰であるかを最終的に判定する。判定処理の詳細は後述する。Ｓ１１０８において、判定部１４００は、撮影画像中のすべての入力画像を処理したか否かを判定する。撮影画像中のすべての入力画像を処理したと判定された場合（Ｓ１１０８；ＹＥＳ）、Ｓ１１０９へ進む。一方、撮影画像中のすべての入力画像を処理していないと判定された場合（Ｓ１１０８；ＮＯ）、Ｓ１１０３に戻る。Ｓ１１０９において、外部出力部１５００は、識別結果（判定結果）に基づいた出力を実行する。以上で図２の一連の処理が終了する。

【0034】

以下、識別処理（Ｓ１１０５）、判定処理（Ｓ１１０７）、及び出力処理（Ｓ１１０９）について詳述する。

【0035】

＜識別処理：概要＞
図２における識別処理（Ｓ１１０５）についての概要を述べる。図３は、画像識別部１３００を構成する要素のブロック図を示す。画像識別部１３００は、特徴抽出部１３１０と、類似度算出部１３２０とを備えている。まず、特徴抽出部１３１０が、取得した入力画像と登録画像とのそれぞれから、個人を識別しうる顔の特徴を示す特徴量を抽出する。次に、類似度算出部１３２０が、抽出された特徴量同士を比較し、入力画像と登録画像とのそれぞれの顔画像が同一人物であるかどうかを表す値である類似度を算出する。

【0036】

＜識別処理：特徴抽出＞
続いて、特徴抽出部１３１０の処理について詳述する。ここでは顔画像から、個人の識別に必要な特徴量を抽出する。抽出方法は任意の方法を用いることができるが、本実施形態では、以下のようにして特徴量を抽出する。特徴抽出部１３１０は、まず顔画像から目・鼻・口など代表的な器官の位置を表す特徴点を検出する。特徴点を設定する方法は公知の技術を用いてよく、非特許文献１に記載の技術を用いることができる。

【0037】

続いて、画像を正規化する。例えば検出した両目の位置に基づいて、両目の幅が所定の距離になるように、両目を結ぶ線分が画像上で水平になるように画像を回転・拡大縮小する。そして顔画像に特徴量を抽出する矩形領域を設定する。矩形領域の大きさは任意であるが、個人の特徴をよく表す目や口などの器官が含まれるようにするとともに背景などは含まれないように、一辺が目幅のおおよそ１．５倍程度の正方形を顔の中央に配置するとよい。続いて、矩形領域内の画素値を左上から右下に向かって順に取り出し、一列につなげてベクトルとする。これを特徴量とする。

【0038】

なお、本実施形態では説明の簡便のため、１つの入力画像を処理する度に登録画像からも特徴抽出をしている。しかし、実際の運用においては、予め登録画像から特徴抽出した特徴量については画像保持部１２００に保存しておき、それぞれの入力画像に対して、保存しておいた特徴量を用いるようにしてもよい。

【0039】

＜識別処理：類似度算出＞
続いて、類似度算出部１３２０の処理について詳述する。ここでは、入力画像の特徴量と、登録画像の特徴量とを照合して類似度を算出する。算出方法は任意の方法を用いることができるが、類似度が大きいほど、特徴量が似ており、入力画像と登録画像とが本人同士の画像であることを表すような方法を用いる。例として、特徴量のベクトル同士が成す角度のコサインを類似度として用いる方法、または、特徴量のベクトル間のユークリッド距離の逆数を類似度として用いる方法が挙げられる。

【0040】

＜判定処理：概要＞
次に、判定部１４００が、入力画像に写る人物が誰であるか最終的に判定する判定処理（Ｓ１１０７）について詳細を述べる。この処理の直前の時点で、入力画像に対する、各登録画像との類似度がそれぞれ得られている。ここでは、類似度が予め定められた閾値以上であるか判定することにより、入力画像に写る人物が誰であるかを判定する。本実施形態では、登録人物を管理属性ごとに分けて、それぞれの管理属性で異なる識別器の設定、すなわち類似度に対する閾値を用いて人物を判定する。

【0041】

＜判定処理：詳細＞
続いて、図４のフローチャートを参照しながら、Ｓ１１０７の判定処理の詳細な処理の手順について説明する。Ｓ１２０１において、判定部１４００は、入力画像とスタッフ登録画像との間の類似度を取得する。Ｓ１２０２において、判定部１４００は、入力画像とスタッフ登録画像との間の類似度と、予め定められた閾値Ｔ１とを比較する。ここでは、スタッフの識別特性として、類似度に対する閾値Ｔ１を用いている。

【0042】

Ｓ１２０３において、判定部１４００は、すべてのスタッフ登録画像について類似度の比較処理を行ったか否かを判定する。すべてのスタッフ登録画像について類似度の比較処理を行ったと判定された場合（Ｓ１２０３；ＹＥＳ）、Ｓ１２０４へ進む。一方、すべてのスタッフ登録画像について類似度の比較処理を行っていないと判定された場合（Ｓ１２０３；ＮＯ）、Ｓ１２０１に戻り、入力画像と別のスタッフ登録画像との間の類似度を取得する。

【0043】

Ｓ１２０４において、判定部１４００は、閾値Ｔ１以上の類似度のスタッフ登録画像があるか否かを判定する。閾値Ｔ１以上の類似度のスタッフ登録画像があると判定された場合（Ｓ１２０４；ＹＥＳ）、Ｓ１２０５へ進む。一方、閾値Ｔ１以上の類似度のスタッフ登録画像がないと判定された場合（Ｓ１２０４；ＮＯ）、Ｓ１２０６へ進む。

【0044】

Ｓ１２０５において、判定部１４００は、入力画像に写る人物が、閾値Ｔ１以上の類似度のスタッフ登録画像に対応する登録人物であると判定する。なお、閾値Ｔ１以上の類似度のスタッフ登録画像が複数存在する場合には、入力画像に写る人物が、最も大きい類似度を有するスタッフ登録画像に対応する登録人物であると判定すればよい。

【0045】

続いて、Ｓ１２０６において、判定部１４００は、入力画像と要注意者の登録画像との間の類似度を取得する。Ｓ１２０７において、判定部１４００は、入力画像と要注意者の登録画像との間の類似度と、予め定められた閾値Ｔ２とを比較する。

【0046】

Ｓ１２０８において、判定部１４００は、すべての要注意者の登録画像について類似度の比較処理を行ったか否かを判定する。すべての要注意者の登録画像について類似度の比較処理を行ったと判定された場合（Ｓ１２０８；ＹＥＳ）、Ｓ１２０９へ進む。一方、すべての要注意者の登録画像について類似度の比較処理を行っていないと判定された場合（Ｓ１２０８；ＮＯ）、Ｓ１２０６に戻り、入力画像と別の要注意者の登録画像との間の類似度を取得する。

【0047】

Ｓ１２０９において、判定部１４００は、閾値Ｔ２以上の類似度の要注意者の登録画像があるか否かを判定する。ここでは、要注意者の識別特性として、類似度に対する閾値Ｔ２を用いている。閾値Ｔ２以上の類似度の要注意者の登録画像があると判定された場合（Ｓ１２０９；ＹＥＳ）、Ｓ１２１０へ進む。一方、閾値Ｔ２以上の類似度の要注意者の登録画像がないと判定された場合（Ｓ１２０９；ＮＯ）、Ｓ１２１１へ進む。

【0048】

Ｓ１２１０において、判定部１４００は、入力画像に写る人物が、閾値Ｔ２以上の類似度の要注意者の登録画像に対応する登録人物であると判定する。なお、閾値Ｔ２以上の類似度の要注意者の登録画像が複数存在する場合には、入力画像に写る人物が、最も大きい類似度を有する要注意者の登録画像に対応する登録人物であると判定すればよい。

【0049】

Ｓ１２１１において、判定部１４００は、入力画像に写る人物は、未登録者であると判定する。以上で図４の一連の処理が終了する。

【0050】

なお、閾値Ｔ１と閾値Ｔ２の各値は予め調整しておく必要がある。顔認証では未認証と誤認証はトレードオフの関係にあり、閾値を変更することで優先して低減したい認証誤りの種類を選ぶことができる。閾値が低いと同一人物と判定できる可能性が高まるが、別人物も誤って同一人物と判定する可能性、つまり誤認証する可能性も高まる。逆に閾値を高めると、別人物を誤って同一人物と判定する可能性は減るが、同一人物を正しく同一人物と判定できない、つまり未認証する可能性が高まる。

【0051】

本実施形態では、スタッフに対する閾値Ｔ１は、要注意者に対する閾値Ｔ２よりも大きい値であり、閾値Ｔ１は、誤認証の可能性がほぼない値を設定する。また閾値Ｔ２は、未認証の可能性がほぼない値を設定する。すなわち、後順の属性ほど未認証率が小さくなるように設定される。

【0052】

＜出力処理＞
続いて、外部出力部１５００による出力処理（Ｓ１１０９）について詳述する。外部出力部１５００は、識別処理（Ｓ１１０５）及び判定処理（Ｓ１１０７）の結果として、例えば撮影画像中の人物がスタッフ、要注意者又は未登録者の何れのグループであるかグループ名を出力する。

【0053】

この時、外部出力部１５００は、例えば、閾値Ｔ２を超える最大の類似度と、その次に大きい類似度との差が所定値以上である場合は、最大の類似度に対応する要注意者の名前（物体名）を明示して要注意者の単独外出の可能性がある旨を報知してもよい。なぜなら、人認証結果が信頼できる可能性が高いからであり、名前を明示することで、その人物に応じた適切なスタッフが対応できるかもしれないからである。

【0054】

その一方、外部出力部１５００は、閾値Ｔ２を超える最大の類似度と、その次に大きい類似度との差が所定値未満である場合は、要注意者の名前（物体名）を明示せず、要注意者の単独外出の可能性がある旨を報知してもよい。なぜなら、その認証結果は通過者と似た人物が複数いることを示しており、誤認証である可能性もあるからである。

【0055】

あるいは、閾値Ｔ２を超える類似度を持つ登録人物が一人である場合は、名前ありで報知してもよい。すなわち、外部出力部１５００は、入力画像と同一物体であると識別された登録画像が１つである場合、当該登録画像に対応する物体名（人物名）と、当該登録画像が属するグループ名とを出力してもよい。

【0056】

その一方で、閾値Ｔ２を超える類似度を持つ登録人物が２人以上いる場合は、名前なしで報知してもよい。すなわち、外部出力部１５００は、入力画像と同一物体であると識別された登録画像が２つ以上である場合、当該登録画像に対応する物体名（人物名）を出力せずに、当該登録画像が属するグループ名を出力してもよい。

【0057】

なお、本実施形態では、図２に示したように、入力画像と全ての登録画像との類似度を求めてから最終判定を行っている。しかし、登録画像の１つと入力画像とを照合するごとに最終判定を行ってもよい。すなわち、入力画像と同一物体であると識別された登録画像が１つ発見された時点で、識別処理を停止してもよい。これにより、同じ結果が得られるだけではなく、さらに、途中で判定が確定した場合には、以降の判定を打ち切る（停止する）ことができるため、処理の高速化が期待できる。

【0058】

以下、図５及び図６を参照しながら、本実施形態の効果について説明する。図５は、通過しようとする人物の人物属性が要注意者、スタッフ、又は未登録者である場合、それぞれの管理属性で認証された際に、判定結果が許容できる誤りなのか、あるいは、許容できない誤りなのかを示す表である。

【0059】

例えば、図５の表中の（ａ）は、要注意者（人物属性）を要注意者（判定結果）として判定した場合である。正しく人物を認証した場合であっても、要注意者を別の要注意者として誤認証した場合であっても、管理属性の判定自体は誤っていないので、本実施形態では誤りではないとする。（ｅ）、（ｉ）も同様である。

【0060】

図５の表中の（ｂ）は、要注意者（人物属性）をスタッフ（判定結果）として判定した場合である。単独外出の要注意者が誤ってスタッフとして判定された場合、報知が出ずにそのまま単独外出になってしまうため、許容できない誤りであることが示されている。（ｃ）も同様である。

【0061】

図５の表中の（ｄ）は、スタッフ（人物属性）を要注意者（判定結果）として判定した場合である。この場合、誤ったアラートが報知されてしまうが、スタッフが外出しても問題はないため、許容できる誤りであることが示されている。（ｇ）も同様である。図５の表中の（ｆ）は、スタッフ（人物属性）を未登録者（判定結果）として判定した場合である。この場合、スタッフが要注意者と同伴時に誤ったアラートが報知されてしまうが、スタッフが付いていれば問題はないため、許容できる誤りであることが示されている。

【0062】

図５の表中の（ｈ）は、未登録者（人物属性）をスタッフ（判定結果）として判定した場合である。この場合、実際には未登録者が要注意者と同伴しているにも関わらず、スタッフが要注意者と同伴していると判定されてしまうと問題となる。そのため、許容できない誤りであることを示している。

【0063】

続いて、図６は、図４のフローチャートにおいて、要注意者、スタッフ、又は未登録者の入力画像が典型的にどのように認証されるかを説明する図である。図６に示すように、まず誤認証を可能な限り抑える設定により、入力画像がスタッフであるか否かを判定する。これにより、図５の表中の（ｆ）の許容できる誤りを増大させる一方、（ｂ）及び（ｈ）の許容できない誤りを低減させることができる。

【0064】

続いて、スタッフと判定されなかった入力画像について、未認証を可能な限り抑える設定により、入力画像が要注意者であるか否かを判定する。これにより、図５の表中の（ｄ）及び（ｇ）の許容できる誤りを増大させる一方、（ｂ）及び（ｃ）の許容できない誤りを低減させることができる。

【0065】

すなわち、本実施形態によれば、ある程度許容できる単独外出の誤報知を増やしつつも、実際の許容できない単独外出を見逃さないといった効果がある。

【0066】

以上説明したように、本実施形態では、登録人物を管理属性ごとに分割して、許容できない認証誤りの種類に応じて、認証する順番と識別特性を適切に設定する。そして、予め定められた属性の順に、入力画像と当該属性のグループに含まれる登録画像とを、当該属性に応じた識別特性で照合して、入力画像の物体（人物）を識別する。

【0067】

これにより、登録人物を管理属性ごとに分割せず単一の識別の設定で認証する場合と比べて、許容できる種類の認証誤りが増えてしまう一方、許容できない種類の認証誤りを低減できる。

【0068】

（実施形態２）
実施形態１では、入力画像を、２つの管理属性（スタッフ、要注意人物）または未登録者のいずれかとして判定する例を説明した。これに対し、本実施形態では、入力画像を、３つの管理属性（施設スタッフ、重要顧客、出入り禁止者）または一般客のいずれかとして判定する例を説明する。なお、重複を避けるため、以下の説明においては、実施形態と同じ部分は省略している。本実施形態に記されていない各部の機能は実施形態１と同様である。

【0069】

実施形態２では、以下のような状況を例に実施形態を説明する。ある店舗施設の、出入り自由の出入り口にカメラが置かれ、そのカメラにより撮影された画像を用いて出入り口を通過しようとする人物が誰であるか認証する。店舗には不特定多数の客が訪問し、来客が出入り口を通過したことを検知して施設スタッフ詰め所に報知する。さらに、来客の中でも重要な顧客が一部存在しており、来店時には速やかに施設スタッフが接客することが求められるため、重要な顧客が来店した場合、そのことを施設スタッフ詰め所に報知する。

【0070】

その一方、出入り禁止になってしまっている来客も一部存在しており、来店時には速やかに施設スタッフが対応して施設外へ誘導することが求められるため、出入り禁止者が来店した場合、そのことを施設スタッフ詰め所に報知する。なお、施設スタッフが出入り口を通過した場合には報知されないことが望ましい。つまり、出入り口を通過する人物は、施設スタッフ、重要顧客、出入り禁止者、その他の一般客のいずれかである。以下では、本実施形態では簡便のため、施設スタッフを単にスタッフと呼び、出入り禁止者を出禁者、その他の一般客を一般客と呼ぶ。

【0071】

＜画像保持部の構成＞
本実施形態に係る画像保持部１２００の構成は実施形態１と同様であるが、ここに登録されている人物の顔画像が異なっている。本実施形態における認証すべき人物とは、スタッフと重要顧客と出禁者であり、これらの人物の顔画像が予め登録されているものとする。

【0072】

＜判定処理＞
本実施形態では、図２のＳ１１０７の判定処理の内容が実施形態１と異なっている。以下、図７のフローチャートを参照しながら、Ｓ１１０７の判定処理の詳細な処理の手順について説明する。

【0073】

Ｓ２１０１−Ｓ２１０５の各処理は、Ｓ１２０１−Ｓ１２０５の各処理と同様であるため、説明を省略する。続いて、Ｓ２１０６において、判定部１４００は、入力画像と出禁者の登録画像との間の類似度を取得する。Ｓ２１０７において、判定部１４００は、入力画像と出禁者の登録画像との間の類似度と、予め定められた閾値Ｔ２とを比較する。ここでは、出禁者の識別特性として、類似度に対する閾値Ｔ２を用いている。

【0074】

Ｓ２１０８において、判定部１４００は、すべての出禁者の登録画像について類似度の比較処理を行ったか否かを判定する。すべての出禁者の登録画像について類似度の比較処理を行ったと判定された場合（Ｓ２１０８；ＹＥＳ）、Ｓ２１０９へ進む。一方、すべての出禁者の登録画像について類似度の比較処理を行っていないと判定された場合（Ｓ２１０８；ＮＯ）、Ｓ２１０６に戻り、入力画像と別の出禁者の登録画像との間の類似度を取得する。

【0075】

Ｓ２１０９において、判定部１４００は、閾値Ｔ２以上の類似度の出禁者の登録画像があるか否かを判定する。閾値Ｔ２以上の類似度の出禁者の登録画像があると判定された場合（Ｓ２１０９；ＹＥＳ）、Ｓ２１１０へ進む。一方、閾値Ｔ２以上の類似度の出禁者の登録画像がないと判定された場合（Ｓ２１０９；ＮＯ）、Ｓ２１１１へ進む。

【0076】

Ｓ２１１０において、判定部１４００は、入力画像に写る人物が、閾値Ｔ２以上の類似度の出禁者の登録画像に対応する登録人物であると判定する。なお、閾値Ｔ２以上の類似度の出禁者の登録画像が複数存在する場合には、入力画像に写る人物が、最も大きい類似度を有する出禁者の登録画像に対応する登録人物であると判定すればよい。

【0077】

続いて、Ｓ２１１１において、判定部１４００は、入力画像と重要顧客の登録画像との間の類似度を取得する。Ｓ２１１２において、判定部１４００は、入力画像と重要顧客の登録画像との間の類似度と、予め定められた閾値Ｔ３とを比較する。ここでは、重要顧客の識別特性として、類似度に対する閾値Ｔ３を用いている。

【0078】

Ｓ２１１３において、判定部１４００は、すべての重要顧客の登録画像について類似度の比較処理を行ったか否かを判定する。すべての重要顧客の登録画像について類似度の比較処理を行ったと判定された場合（Ｓ２１１３；ＹＥＳ）、Ｓ２１１４へ進む。一方、すべての重要顧客の登録画像について類似度の比較処理を行っていないと判定された場合（Ｓ２１１３；ＮＯ）、Ｓ２１１１に戻り、入力画像と別の重要顧客の登録画像との間の類似度を取得する。

【0079】

Ｓ２１１４において、判定部１４００は、閾値Ｔ３以上の類似度の重要顧客の登録画像があるか否かを判定する。閾値Ｔ３以上の類似度の重要顧客の登録画像があると判定された場合（Ｓ２１１４；ＹＥＳ）、Ｓ２１１５へ進む。一方、閾値Ｔ３以上の類似度の重要顧客の登録画像がないと判定された場合（Ｓ２１１４；ＮＯ）、Ｓ２１１６へ進む。

【0080】

Ｓ２１１５において、判定部１４００は、入力画像に写る人物が重要顧客であると判定する。Ｓ２１１６において、判定部１４００は、入力画像に写る人物が一般客であると判定する。以上で図７の一連の処理が終了する。

【0081】

なお、閾値Ｔ１、閾値Ｔ２および閾値Ｔ３は、実施形態１と同様に予め調整しておく必要がある。本実施形態では、スタッフに対する閾値Ｔ１＜出禁者に対する閾値Ｔ２＜重要顧客に対する閾値Ｔ３の順に大きい値であり、閾値Ｔ１および閾値Ｔ２は、誤認証の可能性がほぼない値を設定する。また、閾値Ｔ３は、未認証の可能性がほぼない値を設定する。すなわち、後順の属性ほど未認証率が小さくなるように設定される。

【0082】

以下、図８及び図９を参照しながら、本実施形態の効果について説明する。図８は、通過しようとする人物の人物属性がスタッフ、出禁者、重要顧客又は一般客である場合、それぞれの管理属性で認証された際に、判定結果が許容できる誤りなのか、あるいは、許容できない誤りなのかを示す表である。例えば、図８の表中の（ａ）は、スタッフ（人物属性）をスタッフ（判定結果）として判定した場合である。正しく人物を認証した場合であっても、スタッフを別のスタッフとして誤認証した場合であっても、管理属性の判定自体は誤っていないので、実施形態１と同様に誤りではないとする。（ｆ）、（ｋ）、（ｐ）も同様である。

【0083】

図８の表中の（ｂ）は、スタッフ（人物属性）を出禁者（判定結果）として判定した場合である。この場合、誤ったアラートが報知されてしまうが、別のスタッフが接客に向かった際に誤りであることを認識できるため問題は生じないことから、許容できる誤りであることが示されている。（ｃ）、（ｄ）も同様である。

【0084】

図８の表中の（ｅ）は、出禁者（人物属性）をスタッフ（判定結果）として判定した場合である。この場合は報知がなされず、出禁者にも関わらず入店できてしまうことになるため、許容できない誤りであることが示されている。（ｈ）も同様である。図８の表中の（ｇ）は、出禁者（人物属性）を重要顧客（判定結果）として判定した場合である。この場合、報知がなされてスタッフが接客に伺った際に、出禁者の入店を認識して退店させることができることから、許容できる誤りであることが示されている。

【0085】

図８の表中の（ｉ）は、重要顧客（人物属性）をスタッフ（判定結果）として判定した場合である。この場合、重要顧客にも関わらず報知がなされないため、ＶＩＰ対応できないことから、許容できない誤りであることが示されている。（ｌ）も同様である。図８の表中の（ｊ）は、重要顧客（人物属性）を出禁者（判定結果）として判定した場合である。この場合、重要顧客にも関わらず出禁者扱いで排除してしまう失礼な対応となってしまうことから、許容できない誤りであることが示されている。（ｎ）も同様である。

【0086】

図８の表中の（ｍ）は、一般客（人物属性）をスタッフ（判定結果）として判定した場合である。この場合、来客報知がなされないが、許容できる誤りであることが示されている。図８の表中の（ｏ）は、一般客（人物属性）を重要顧客（判定結果）として判定した場合である。この場合、失礼な接客になるわけではないことから、許容できる誤りであることが示されている。

【0087】

続いて、図９は、図７のフローチャートにおいて、スタッフ、出禁者、重要顧客又は一般客の入力画像が典型的にどのように認証されるかを説明する図である。図９に示すように、まず誤認証を可能な限り抑える設定により、入力画像がスタッフであるか否かを判定する。これにより、図８の表中の（ｅ）、（ｉ）及び（ｍ）の誤りを低減させることができる。

【0088】

続いて、スタッフと判定されなかった入力画像について、誤認証を可能な限り抑える設定により、入力画像が出禁者であるか否かを判定する。これにより、図８の表中の（ｂ）、（ｊ）及び（ｎ）の誤りを低減させることができる。最後に、出禁者と判定されなかった入力画像について、未認証を可能な限り抑える設定により、入力画像が重要顧客であるか否かを判定する。これにより、図８の表中の（ｃ）、（ｇ）、（ｏ）の誤りを増大させる一方、（ｌ）の誤りを低減させることができる。

【0089】

また、出禁者の判定処理では、誤認証を可能な限り抑える設定により判定処理を行うため、潜在的に（ｈ）の誤りが増加する。しかし、後続の重要顧客の判定処理で意図的に重要顧客へ誤認証させることにより、（ｇ）の誤りを増やす代わりに（ｈ）の誤りを低減させている。すなわち、本実施形態でも実施形態１と同様に、ある程度許容できる誤りを増やしつつも、許容できない誤りを低減させることができるといった効果がある。

【0090】

以上説明したように、本実施形態では、登録人物を管理属性ごとに分割して、許容できない認証誤りの種類に応じて、認証する順番と識別特性を適切に設定する。そして、予め定められた属性の順に、入力画像と当該属性のグループに含まれる登録画像とを、当該属性に応じた識別特性で照合して、入力画像の物体（人物）を識別する。これにより、登録人物を管理属性ごとに分割せず単一の識別の設定で認証する場合と比べて、許容できる種類の認証誤りが増えてしまう一方、許容できない種類の認証誤りを低減できる。

【0091】

なお、上述した実施形態では、入力画像と登録画像との照合を、登録画像の属性順に行うようにしていたが、それぞれ異なる属性の登録画像との照合を並列に実行するようにしてもよい。

【0092】

以上説明した実施形態によれば、認証しようとする人物として複数の身分（管理属性）が混在する場合に、避けたい認証誤りの種類が、認証しようとする人物の管理属性によって異なる場合でも、認証しようとする人物の管理属性に応じて適切に認証することができる。

【0093】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0094】

１０００：画像処理装置、１１００：画像取得部、１２００：画像保持部、１３００：画像識別部、１４００：判定部、１５００：外部出力部、１３１０：特徴抽出部、１３２０：類似度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】