特開 2022-187566 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187566

(43)【公開日】2022-12-20

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221213BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 350C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021095609

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100090273

【弁理士】

【氏名又は名称】國分 孝悦

(72)【発明者】

【氏名】佐藤 俊介

(72)【発明者】

【氏名】矢野 光太郎

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA02

5L096HA08

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】対象物体の特徴抽出に有用な部分に注目して特徴抽出を行うことで、対象物体を含む画像の照合を精度よく行う。
【解決手段】画像処理装置であって、画像から対象物体の特徴を示す特徴マップを生成する生成手段と、前記対象物体の構成要素の位置に基づいて、前記画像上の位置に応じた注目度を前記画像から検出する検出手段と、前記注目度に基づいて、前記特徴マップを補正する補正手段と、補正された前記特徴マップを用いて、前記対象物体を含む複数の画像の照合処理を行う照合手段と、を有することを特徴とする。
【選択図】図４

【特許請求の範囲】

【請求項1】

画像から対象物体の特徴を示す特徴マップを生成する生成手段と、
前記対象物体の構成要素の位置に基づいて、前記画像上の位置に応じた注目度を前記画像から検出する検出手段と、
前記注目度に基づいて、前記特徴マップを補正する補正手段と、
補正された前記特徴マップを用いて、前記対象物体を含む複数の画像の照合処理を行う照合手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記画像上の位置に前記構成要素が存在する確からしさを表す第１のマップを算出する算出手段をさらに有し、
前記検出手段は、前記第１のマップに基づいて、前記注目度を検出することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記算出手段は、複数の前記構成要素ごとに、前記第１のマップを算出し、
前記検出手段は、前記算出手段により算出された前記第１のマップ群を結合して得られる結合マップに基づいて、前記注目度を検出することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記検出手段は、前記第１のマップ群にさらに前記特徴マップを結合して得られた結合マップに基づいて、前記注目度を検出することを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記検出手段は、前記結合マップを入力して、前記画像上の各位置における前記注目度を表す注目度マップを出力する第１のニューラルネットワークによって、前記注目度マップを算出することを特徴とする請求項３又は４に記載の画像処理装置。

【請求項6】

前記生成手段は、前記対象物体を含む画像を入力して、前記特徴マップを出力する第２のニューラルネットワークによって、前記特徴マップを生成することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記照合手段は、前記対象物体を含む複数の画像ごとに、補正された前記特徴マップを入力して前記対象物体の識別に寄与する特徴が表現された特徴量を出力する第３のニューラルネットワークによって前記特徴量を抽出して、抽出された前記特徴量を比較することで前記照合処理を行うことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記第２のニューラルネットワークからの出力を、前記第１のニューラルネットワークからの出力によって補正して得られる補正された前記特徴マップを、前記第３のニューラルネットワークに入力して出力される前記特徴量が、前記対象物体の識別に寄与する特徴を捉えるように、前記第１のニューラルネットワーク、前記第２のニューラルネットワーク、及び第３ニューラルネットワークで用いられるパラメータのうちの少なくとも何れか１つを学習する学習手段をさらに有することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記検出手段は、複数の前記構成要素の領域間の関連度を前記注目度として検出することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。

【請求項10】

前記生成手段により生成された前記特徴マップを記憶する記憶手段をさらに有し、
前記補正手段は、前記照合処理を行う際に、前記記憶手段から前記特徴マップを読み出して、読み出した前記特徴マップを補正することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。

【請求項11】

前記補正手段は、前記注目度に応じた重み付けを前記特徴マップに対して与えることによって、前記特徴マップを補正することを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。

【請求項12】

前記補正手段は、前記特徴マップの各層と、前記注目度と、についてアダマール積を取ることによって前記特徴マップを補正することを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記対象物体が、人間の顔であって、前記構成要素が、顔の器官であることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。

【請求項14】

画像から対象物体の特徴を示す特徴マップを生成する生成工程と、
前記対象物体の構成要素の位置に基づいて、前記画像上の位置に応じた注目度を前記画像から検出する検出工程と、
前記注目度に基づいて、前記特徴マップを補正する補正工程と、
補正された前記特徴マップを用いて、前記対象物体を含む複数の画像の照合処理を行う照合工程と、
を含むことを特徴とする画像処理方法。

【請求項15】

請求項１乃至１３の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の照合を行うための技術に関する。

【背景技術】

【0002】

近年、顔の画像を照合して同一人物のものであることを判定することによって認証を行う顔認証が行われている。画像処理において、画像中で特徴が強く表れることが期待される部分に注目して特徴抽出する方法が、特許文献１、特許文献２に記載されている。顔認証においても、顔の中で注目する部分を求めて特徴抽出に利用する方法が非特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１５４４７８号公報

【特許文献2】特開２０２０－１５４４７９号公報

【非特許文献】

【0004】

【非特許文献1】Q. Wang, T. Wu, H. Zheng and G. Guo, "Hierarchical Pyramid Diverse Attention Networks for Face Recognition," 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020, pp. 8323-8332, doi: 10.1109/CVPR42600.2020.00835.

【非特許文献2】Zhang, H., Goodfellow, I., Metaxas, D., & Odena, A. (2019, May). Self-attention generative adversarial networks. In International Conference on Machine Learning (pp. 7354-7363). PMLR.

【非特許文献3】Sun, Y., Wang, X., & Tang, X. (2013). Deep convolutional network cascade for facial point detection. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3476-3483).

【非特許文献4】HE, Kaiming, et al. Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. p. 770-778.

【非特許文献5】DENG, Jiankang, et al. Arcface: Additive angular margin loss for deep face recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019. p. 4690-4699.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１の方法を含め従来の方法では、注目する部分を画像全体から探し出すことも含めて学習によって獲得するため、望ましい注目部分の抽出方法を獲得できるかどうかは、学習データセットの内容に依存する。そのため、注目すべき部分が定まらずモデルの学習が安定しなかったり、適当でない部分を注目するように学習してしまって最終的なモデルの精度が上がらなかったりすることがある。このようモデルでは、顔の一部にブレや隠れがある顔画像が入力された場合、ブレや隠れのある部分が影響してしまい、誤認証されてしまう可能性がある。

【0006】

本発明は上述した問題を解決するためになされたものであり、対象物体の特徴抽出に有用な部分に注目して特徴抽出を行うことで、対象物体を含む画像の照合を精度よく行うことを目的とする。

【課題を解決するための手段】

【0007】

そこで、本発明に係る画像処理装置は、画像から対象物体の特徴を示す特徴マップを生成する生成手段と、前記対象物体の構成要素の位置に基づいて、前記画像上の位置に応じた注目度を前記画像から検出する検出手段と、前記注目度に基づいて、前記特徴マップを補正する補正手段と、補正された前記特徴マップを用いて、前記対象物体を含む複数の画像の照合処理を行う照合手段と、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、対象物体の特徴抽出に有用な部分に注目して特徴抽出を行うことで、対象物体を含む画像の照合を精度よく行うことができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係る画像処理装置のハードウェア構成を示す図である。

【図2】実施形態１に係る画像処理装置の機能構成を示す図である。

【図3】実施形態１に係るデータベースに登録されているデータを示す図である。

【図4】実施形態１に係る画像の照合方法を示すフローチャートである。

【図5】実施形態１に係る画像処理装置のデータフローを示す図である。

【図6】実施形態１に係るニューラルネットワークの構造を示す図である。

【図7】実施形態２及び４に係る画像処理装置の機能構成を示す図である。

【図8】実施形態２に係る画像処理装置のデータフローを示す図である。

【図9】実施形態３に係る画像処理装置の機能構成を示す図である。

【図10】実施形態３に係る画像処理装置のデータフローを示す図である。

【図11】実施形態３に係るデータベースに登録されているデータを示す図である。

【図12】実施形態４に係る画像処理装置のデータフローを示す図である。

【図13】実施形態４に係るニューラルネットワークの構造を示す図である。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、本発明の実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0011】

＜実施形態１＞
人間の顔の特徴は目、口、鼻などの器官に強く表れることは経験的に知られており、顔特徴の抽出においてもそのような個人の特徴が強く表れる部分に注目して行うことが有用であると予想される。本実施形態に係る画像処理装置は、人間の顔画像から、目、口、鼻などの器官の領域に基づいて注目すべき部分を検出し、当該検出結果に基づいて前記顔画像から抽出した特徴マップの重みづけを行う。これにより、顔の特徴抽出に有用な部分に注目した特徴マップを用いて顔画像の照合を行うことが可能になる。

【0012】

本実施形態では、人間の顔画像の照合を行うために、人間の顔の器官を利用する方法について説明する。人間の顔は、対象物体の一例である。顔の器官は、対象物体の特徴的な構成要素の一例である。対象物体は人間の顔に限定されず、動物の顔や自動車等でもよい。本実施形態は、人間の顔の器官の領域の代わりに、その対象物体の特徴的な構成要素の領域を検出することで、同様の構成により様々な対象物体の画像照合に適用することが可能である。

【0013】

図１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、制御装置１１、記憶装置１２、演算装置１３、入力装置１４、出力装置１５、及びＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）装置１６を有する。これら各構成装置は、バス１７を介して相互に接続されている。制御装置１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、画像処理装置１００の全体を制御する。記憶装置１２は、ハードディスク等の記録メディアで構成され、制御装置１１の動作に必要なプログラムやデータを記憶する。演算装置１３は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で構成され、制御装置１１からの制御に基づき、必要な演算処理を実行する。

【0014】

入力装置１４は、ヒューマンインターフェースデバイス等であり、ユーザの操作情報を画像処理装置１００に入力する。出力装置１５は、ディスプレイ等であり、制御装置１１の制御により、画像処理装置１００の処理結果等を表示する。Ｉ／Ｆ装置１６は、ユニバーサルシリアルバス、ローカルエリアネットワーク、光ケーブル等の有線インターフェース、Ｗｉｆｉ（登録商標）、Ｂｌｕｔｏｏｔｈ（登録商標）等の無線インターフェースである。Ｉ／Ｆ装置１６は、制御装置１１の制御により、撮影画像をカメラから入力したり、画像処理装置１００で得た処理結果を外部装置に送信したり、画像処理装置１００の動作に必要なプログラムやデータ等を外部装置から入力したりする。

【0015】

図２は、本実施形態に係る画像処理装置１００の機能構成の一例を示す図である。画像処理装置１００は、画像取得部２０１、特徴マップ生成部２０２、顔器官検出部２０３、マップ結合部２０４、注目度検出部２０５、特徴マップ補正部２０６、顔特徴抽出部２０７、顔特徴照合部２０８、出力部２０９を有する。画像処理装置１００は、制御装置１１が記憶装置１２等に記憶されたプログラムを実行することで、これら各機能部として機能する。また、画像処理装置１００の記憶装置１２には、顔特徴データベース２１０が格納されており、顔特徴データベース２１０に保持されるデータが、各機能部によって適宜読み出して使用される。

【0016】

画像取得部２０１は、人間の顔を含む入力画像を取得する。画像取得部２０１は、入力画像として、Ｉ／Ｆ装置１６に接続されたカメラから撮影画像を取得してもよく、記憶装置１２やＩ／Ｆ装置１６に接続された外部装置から画像データを取得してもよい。
特徴マップ生成部２０２は、入力画像から特徴を抽出し、抽出結果を表す特徴マップを生成する。具体的には、特徴マップ生成部２０２は、画像の各部から抽出した特徴を、画像上の位置に対応付けることで、抽出された特徴が２次元状に配列された特徴マップを生成する。
顔器官検出部２０３は、入力画像から目、鼻、口などの顔の器官の存在する領域を検出する。具体的には、顔器官検出部２０３は、複数の器官ごとに、入力画像上の位置に応じた当該器官が存在することの確からしさを表したスコアマップの算出を行う。以下、顔器官検出部２０３が算出したスコアマップを器官マップ（第１のマップ）という。
マップ結合部２０４は、顔器官検出部２０３で複数の器官ごとに算出した器官マップ群を結合する。

【0017】

注目度検出部２０５は、マップ結合部２０４の結合結果から、入力画像上の位置に応じた注目度を検出する。具体的には、注目度検出部２０５は、入力画像上の位置に応じた注目度の大きさを表したマップである注目度マップを算出する。
特徴マップ補正部２０６は、特徴マップ生成部２０２で生成した特徴マップを、注目度検出部２０５で算出した注目度マップを用いて補正する。
顔特徴抽出部２０７は、特徴マップ補正部２０６で補正された補正後の特徴マップから、個人の顔特徴を表現する特徴ベクトルを抽出する。
顔特徴照合部２０８は、顔特徴抽出部２０７で抽出された特徴ベクトルを、後述の顔特徴データベース２１０に登録された特徴ベクトルと照合する照合処理を行い、どの人物が本人であるかを探し出す。
出力部２０９は、照合の結果を出力装置１５に表示してユーザに提示する。

【0018】

顔特徴データベース２１０は、複数の人物の情報及び特徴ベクトルを保持するデータベースである。図３は、本実施形態に係る顔特徴データベース２１０の例を示す図である。図３に示す例では、顔特徴データベース２１０は、人物ＩＤ、顔画像、人物情報、画像情報、及び特徴量の各項目からなる顔特徴レコードを複数の人物ごとに保持する。人物ＩＤの項目には、顔特徴データベース２１０内の顔特徴レコードを一意に特定するための番号が登録されている。顔画像の項目には、人物の顔が映る画像データが登録されている。人物情報の項目には、人物の氏名等の人物に関する情報が登録されている。なお人物情報の項目に、住所、生年月日、役職等の情報がさらに登録されていてもよい。画像情報の項目には、顔画像の項目に登録されている画像データに付随する情報が登録されている。図３の例では、画像情報の項目に、撮影日と登録日の情報が登録されている。なお画像情報の項目に、撮影時のカメラパラメータ、画像フォーマット、顔の位置等の情報がさらに登録されていてもよい。特徴量の項目には、顔画像の項目に登録されている画像データを入力画像として、図４に示す顔画像の照合方法と同様の方法により、顔特徴抽出部２０７で抽出された特徴ベクトルが登録されている。顔特徴照合部２０８は、図４のＳ３０８において、特徴量の項目に登録されている特徴ベクトルを用いて照合を行う。

【0019】

続いて、本実施形態に係る画像処理装置１００による、顔画像の照合方法について説明する。図４は、顔画像の照合方法を示すフローチャートである。図５は、顔画像の照合を行う際に用いられるデータの流れを示す図である。以下のフローチャートの説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。フローチャートの各工程の処理は、制御装置１１が記憶装置１２等に記憶されたプログラムを実行することにより実現される。

【0020】

まず、Ｓ３０１において、画像取得部２０１は、入力画像としてクエリ顔画像４０１を取得する。クエリ顔画像４０１は、図５に示すように、人間の顔が一つのみ映っている。クエリ顔画像４０１の縦幅はＨ、横幅はＷである。チャンネル数はＲＧＢの３とする。なお、アルファチャンネルのように、色表現とは別のデータを加えてもよい。また、ＨＳＶなど他の色空間を用いてもよい。また、クエリ顔画像はチャンネル数１のグレースケール画像でもよい。

【0021】

次に、Ｓ３０２において、特徴マップ生成部２０２は、クエリ顔画像４０１から特徴を抽出し、特徴マップ４０２を生成する。特徴マップ４０２は、後段の顔特徴抽出部２０７が抽出する特徴ベクトル４０７が、個人の顔特徴を表現するための特徴を抽出するように学習されたＣＮＮにより算出される。ＣＮＮ（畳み込みニューラルネットワーク：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）としては、例えば非特許文献４に示したＲｅｓＮｅｔ（残差ネットワーク：Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）が用いられる。ここで用いられるＣＮＮは、第２のニューラルネットワークの一例である。

【0022】

特徴マップ４０２は、図５に示すように、縦幅がＨ／Ｋ、横幅がＷ／Ｋ、チャンネル数がＤ１のマップである。特徴マップ４０２の位置（ｘ，ｙ）における値（長さＤ１のベクトル値）は、クエリ顔画像４０１の範囲［｜ｘ／Ｋ｜，｜ｘ／Ｋ｜＋Ｋ）×［｜ｙ／Ｋ｜，｜ｙ／Ｋ｜＋Ｋ）における顔の特徴量を表す。ここで［・）は上への半開区間、｜・｜は床関数を表す。Ｋの値は特徴マップの生成に用いたＣＮＮの最終層のサイズによって定まる。Ｋを大きくすることで特徴マップのサイズを小さくして計算量を削減できるが、その反面クエリ顔画像に対する特徴マップの解像度は下がるため精度が低下する。そのため、適当な精度と計算量が得られるようにＫを定めてＣＮＮの学習を行う。

【0023】

次に、Ｓ３０３において、顔器官検出部２０３は、クエリ顔画像４０１から、目、鼻、口などの顔の器官の存在する領域を検出する。具体的には、顔器官検出部２０３は、クエリ顔画像４０１から、複数の器官ごとに器官マップを算出して、器官マップ群４０３を生成する。本実施形態では、非特許文献３に記載されているような器官点位置推定手法によって、右目、左目、鼻、右口端、左口端の５つの器官ごとに器官マップを算出する。なお、器官は上記の５つに限らず、耳・頬・顎など他の器官を加えてもよいし、逆に鼻を省略したり、右口端と左口端の代わりに口の中心を使うなどしたりして減らしてもよい。

【0024】

器官マップ群４０３の各器官の器官マップは、図５に示すように、それぞれ縦幅がＨ／Ｋ、横幅がＷ／Ｋ、チャンネル数１のマップであり、クエリ顔画像４０１との対応関係は前述の特徴マップ４０２と同様である。各器官マップは、それぞれの要素が正の値を取り、すべての要素の合計が１となるマップである。各要素の値は、クエリ顔画像４０１の対応する位置に器官が存在する確率を表現しており、例えば右目の器官マップでは、クエリ顔画像４０１の右目の位置に対応する領域で値が大きく、それ以外の領域で値が小さいようなマップとして出力される。この器官マップは、器官のブレや隠れ等が存在する領域では、値が小さくなる傾向がある。すなわち、器官マップには器官のブレや隠れ等の情報が含まれている。

【0025】

次にＳ３０４において、マップ結合部２０４は、顔器官検出部２０３が算出した器官マップ群４０３の各器官マップがそれぞれチャンネルを成すように結合して、結合マップ４０４を生成する。結合マップ４０４は、図５に示すように、縦幅がＨ／Ｋ、横幅がＷ／Ｋ、チャンネル数がＤ２のマップである。Ｄ２は器官マップ群４０３の器官マップの数であり、本実施形態の例では５である。
次にＳ３０５において、注目度検出部２０５は、マップ結合部２０４で生成した結合マップ４０４から、注目度マップ４０５を算出する。注目度マップ４０５は、図５に示すように、特徴マップと同じ、縦幅がＨ／Ｋ、横幅がＷ／Ｋで、チャンネル数が１のスコアマップである。注目度マップ４０５は、後段の顔特徴抽出部２０７が抽出する特徴ベクトル４０７の算出において、特徴マップのうち寄与が大きい範囲において値（スコア）が大きくなるように学習されたＣＮＮによって算出される。ここで用いられるＣＮＮは、第１のニューラルネットワークの一例である。

【0026】

注目度検出部２０５が用いるＣＮＮの構造について、図６を用いて説明する。注目度検出部２０５で用いるＣＮＮは、図６に示すように、第一畳み込み部１００１と、第二畳み込み部１００２を備える。第一畳み込み部１００１は、チャンネル数Ｄ２のマップを入力とし、１×１の畳み込みを行ってから各要素に活性化関数を適用して、チャンネル数Ｌのマップを出力するネットワークである。活性化関数には、正規化線形関数（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いる。第二畳み込み部１００２は、チャンネル数Ｌのマップを入力とし、１×１の畳み込みを行ってから各要素にＲｅＬＵを適用して、チャンネル数１のマップを出力するネットワークである。

【0027】

注目度検出部２０５は、まず、結合マップ４０４を第一畳み込み部１００１に入力する。結合マップ４０４は縦幅がＨ／Ｋ、横幅がＷ／Ｋ、チャンネル数がＤ２であるから、第一畳み込み部１００１から出力される中間マップは、縦幅Ｈ／Ｋ、横幅Ｗ／Ｋ、チャンネル数Ｌのマップである。
次に、注目度検出部２０５は、第一畳み込み部１００１から出力された中間マップを第二畳み込み部１００２に入力する。第二畳み込み部１００２から出力されるマップは、縦幅Ｈ／Ｋ、横幅Ｗ／Ｋ、チャンネル数１のマップである。これを注目度マップ４０５とする。本実施形態の例ではＬを３とする。Ｄ２は前述のとおり５であるから、注目度検出部２０５のＣＮＮによって、出力されるマップのチャンネル数は順に５、３、１となる。なお、Ｌの値は、Ｄ２の値に応じて適宜選択される。

【0028】

次にＳ３０６において、特徴マップ補正部２０６は、Ｓ３０２で特徴マップ生成部２０２が生成した特徴マップ４０２を、Ｓ３０５で注目度検出部２０５が算出した注目度マップ４０５によって補正して、補正後特徴マップ４０６を生成する。前述したとおり、結合マップ４０４には器官のブレや隠れ等の情報が含まれているから、結合マップ４０４を利用して算出した注目度マップ４０５を用いて特徴マップ４０２を補正することで、特徴マップ４０２から器官のブレや隠れ等の影響を除外できる。すなわち、適切な部分に注目するように補正された特徴マップを生成することができる。

【0029】

補正後特徴マップ４０６は、特徴マップ４０２の各層と、注目度マップ４０５のアダマール積をそれぞれ取ることで求める。すなわち、特徴マップ補正部２０６は、特徴マップ４０２の要素（ｙ、ｘ、ｄ）に対して、注目度マップ４０５の要素（ｙ、ｘ）の値を重みとして掛け合わせる。これによって、特徴マップ４０２のうち注目度マップ４０５の対応する部分の値が大きい、すなわち注目度の高い部分の値が強調されたものが補正後特徴マップ４０６として得られる。なお、特徴マップ補正部２０６は、単純にアダマール積を取って補正するのではなく、例えば注目度マップ４０５の各要素の値をシグモイド関数ｆ（ｘ）＝１／（１＋ｅｘｐ（－ａｘ））で変換してからアダマール積を取るなどしてもよい。シグモイド関数のゲインａは、例えば１と定めてもよいし、後述する学習によって定めてもよい。また、補正方法はシグモイド関数を用いる方法に限らない。

【0030】

次にＳ３０７において、顔特徴抽出部２０７は、補正後特徴マップ４０６から特徴ベクトル４０７を抽出する。具体的には、顔特徴抽出部２０７は、図５に示すように、縦幅Ｈ／Ｋ、横幅Ｗ／Ｋ、チャンネル数Ｄ１のマップから、次元Ｎのベクトル値を算出する全結合ニューラルネットワークを用いて、特徴ベクトル４０７を算出する。特徴ベクトル４０７は、個人の識別に寄与する顔特徴を表現される値が抽出するように学習されたニューラルネットワークによって算出される。ここで用いられるニューラルネットワークは、第３のニューラルネットワークの一例である。
次に、Ｓ３０８において、顔特徴照合部２０８は、Ｓ３０７で顔特徴抽出部２０７が抽出した特徴ベクトル４０７と、顔特徴データベース２１０に保持されている特徴ベクトルとを比較して、クエリ顔画像４０１に映った顔が誰のものであるかを判定する。顔特徴照合部２０８は、顔特徴データベース２１０の顔特徴レコードのうち、特徴量の項目に登録されている特徴ベクトルが、クエリ顔画像４０１から算出した特徴ベクトル４０７（Ｆとする）と、最も近しいと考えられるものを探し出すことによって照合を行う。以下に、その方法を説明する。

【0031】

まず、顔特徴照合部２０８は、図５に示すように、顔特徴データベース２１０から特徴ベクトル４０８を読み出す。特徴ベクトル４０８を含む顔特徴レコードの人物ＩＤをｉとし、人物ＩＤがｉであるレコードに含まれる特徴ベクトルをＦｉとする。次に、顔特徴照合部２０８は、ＦとＦｉのコサイン類似度を算出し、その算出結果を類似度スコアＳｉとする。顔特徴照合部２０８は、顔特徴データベース２１０に含まれるすべての特徴ベクトルについて、類似度スコアを算出する。次に、顔特徴照合部２０８は、類似度スコアが最大となる人物ＩＤとしてＩ＝ａｒｇｍａｘ｛Ｓｉ｝を求め、その類似度スコアＳＩが閾値Ｔ（例えば０．８）を超えるかを判定する。類似度スコアＳＩが閾値Ｔを超えた場合、顔特徴照合部２０８は、クエリ顔画像４０１に映った人物が、人物ＩＤがＩの顔特徴レコードの人物と同一人物であるとして照合の結果を定める。類似度スコアＳＩが閾値Ｔを超えない場合、顔特徴照合部２０８は、クエリ顔画像４０１に映った顔に該当する人物なしとする。

【0032】

最後に、Ｓ３０９において、出力部２０９は、照合の結果を出力装置１５に表示してユーザに提示する。出力部２０９は、顔特徴データベース２１０から人物ＩＤがＩの顔特徴レコードを取得し、顔画像、人物情報、画像情報の各項目に登録されている画像データ及び各種の情報を、出力装置１５に表示する。これによりユーザはクエリ顔画像４０１に映った人間の顔が、顔特徴データベース２１０に登録される人物のうちのどれに該当するかを知ることができる。以上のようにして、図４に示す顔画像の照合を行うための一連の処理が終了する。

【0033】

以上のような顔画像の照合を行うためには、顔特徴抽出部２０７で算出される特徴ベクトル４０７は、同一人物でコサイン類似度が大きく、別人同士ならば小さくなるような特性を持たなければならない。特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７で使用されるネットワークには、このような特性を持つ特徴ベクトル４０７が結果的に算出されるように、予め機械学習されたものを用いる。

【0034】

ネットワークの学習は、いわゆるｅｎｄ－ｔｏ－ｅｎｄ学習と呼ばれる方法で、特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７で使用されるネットワークを一体にして同時に行う。まず、図２の構成のうち、破線で囲んだ範囲を、先に説明した処理フロー及び入出力順序と同様になるように接続した一体的ネットワーク２５０として用意する。すなわち、一体的ネットワーク２５０は、特徴マップ生成部２０２と注目度検出部２０５の出力を、特徴マップ補正部２０６で補正して、補正後のマップを顔特徴抽出部２０７の入力とするようにネットワークを接続して構成される。一体的ネットワーク２５０の入出力は、図５に示したクエリ顔画像４０１、及び当該クエリ顔画像４０１から顔器官検出を行って得られた器官マップを結合した結合マップ４０４が入力であり、次元Ｎの特徴ベクトル４０７が出力である。

【0035】

この一体的ネットワーク２５０は、特徴ベクトル４０７が顔の照合に有効な特徴を捉える特性を持って算出されるように学習される。これにより、顔特徴抽出部２０７が特徴ベクトル４０７を適切に算出するようなネットワークパラメータが獲得される。同時に、特徴マップ生成部２０２と注目度検出部２０５が用いるネットワークパラメータも、顔特徴抽出部２０７の入力である補正後特徴マップ４０６が、有効な特性を持つ特徴ベクトル４０７を算出するために有用な情報を持って算出されるように獲得される。なお本実施形態のように、特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７で使用されるネットワークパラメータを一体にして同時に学習する方法に限られず、個々のネットワークパラメータを別々に学習する方法を用いてもよい。例えば、特徴マップ生成部２０２で用いられるネットワークパラメータを先に学習させ、当該学習させたパラメータを用いて、注目度検出部２０５及び特徴マップ補正部２０６で用いられるネットワークパラメータを学習するようにしてもよい。

【0036】

補正後特徴マップ４０６は、特徴マップ４０２の各層と注目度マップ４０５についてアダマール積を取ることによって算出されるものである。したがって、注目度マップ４０５は、特徴マップ４０２のうち、特徴ベクトル４０７の算出に有用な情報を持つ部分に大きな重みを与えるマップとして算出されることを意味する。すなわち、注目度マップ４０５は、特徴マップ４０２、ひいてはクエリ顔画像４０１のうち、注目すべき場所の値が大きくなるように算出されたマップであって、すなわち注目度の大きさを表すマップであると解釈することができる。

【0037】

一体的ネットワーク２５０の学習は以下のように行う。まず、多量の顔画像を用意し、分類ラベルを同一人物は同一のクラス、別人は異なるクラスとなるように付与して学習データセットを用意する。さらに、それぞれの顔画像から、顔器官検出部２０３とマップ結合部２０４によって結合マップを算出しておく。ここで算出した結合マップと、元の顔画像のペアを、一体的ネットワーク２５０の入力として以後の学習を行う。次に、適当な初期値を与えた一体的ネットワーク２５０を用意する。初期値は定数や乱数でもよいし、例えば別に学習済みのＲｅｓＮｅｔのパラメータを利用するなどしてもよい。そして、例えば非特許文献５に記載の方法によって、学習データセットを利用して一体的ネットワーク２５０のパラメータを更新する。この学習は、同じ分類クラスの顔画像同士で出力ベクトルのコサイン類似度が大きく、異なる分類クラスでは小さくなるように進行する。十分な量の顔画像を学習したのちに、得られた一体的ネットワーク２５０のパラメータを記憶装置１２に格納して、特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７で使用するネットワークのパラメータとして用いるようにする。なお、特徴マップ補正部２０６が先述のシグモイド関数のゲインなどのパラメータを持つ場合は、そのパラメータも同時に学習するようにしてもよい。
以上のように、本実施形態では、器官マップのスコアが、器官が隠れている領域や不鮮明な領域で小さくなる特性を利用して、顔画像から検出した器官マップを学習用データとして用いる。これにより、器官の隠れやブレ等の状態に応じて注目すべき部分を適切に定めた学習モデルを生成することが可能になる。

【0038】

以上のような、本実施形態に係る画像処理装置１００によれば、人間の顔画像において、顔の器官の領域を利用して注目すべき部分を定めることで、顔の特徴抽出に有用な部分に注目した特徴抽出を行うことが可能になる。これにより、人間の顔等の対象物体を含む画像の照合を精度よく行うことができる。

【0039】

＜実施形態２＞
実施形態１では、注目度マップを器官マップ群のみによって算出したが、補正前の特徴マップ自体の情報も加えることで、特徴量空間において注目すべき部分をより正確に抽出できるようになる可能性がある。本実施形態では、注目度マップを器官マップ群と特徴マップから算出する方法を説明する。なお、実施形態１と共通する箇所は説明を省略し、実施形態１との差分を中心に説明する。

【0040】

図７は、本実施形態に係る画像処理装置１００の機能構成の一例を示す図である。本実施形態の機能構成は、実施形態１と同様であるが、特徴マップ生成部２０２とマップ結合部２０４の間の接続が加わっている。すなわち、マップ結合部２０４は、顔器官検出部２０３で算出した器官マップ群、及び特徴マップ生成部２０２で生成した特徴マップを結合する。図８は、本実施形態で用いられるデータの流れを示す図である。本実施形態に係る画像処理装置１００で行う、顔画像の照合方法については図４と同様であるが、Ｓ３０４でマップ結合部２０４が行う処理、及びＳ３０５で注目度検出部２０５が行う処理の内容が、以下で説明するとおり実施形態１とは異なる。

【0041】

本実施形態では、Ｓ３０４において、マップ結合部２０４は、顔器官検出部２０３が算出した器官マップ群４０３の各器官マップに加えて、Ｓ３０２で生成した特徴マップ４０２も合わせて深さ方向に結合することによって、結合マップ４０４を生成する。結合マップ４０４は、図８に示すように、縦幅がＨ／Ｋ、横幅がＷ／Ｋとなる。また、チャンネル数Ｄ２は器官マップ群４０３の器官の数に、特徴マップ４０２のチャンネル数Ｄ１を加えたものとなる。
また、本実施形態では、Ｓ３０５において、注目度検出部２０５が、上記のように結合された結合マップ４０４を、注目度マップ４０５の算出に用いる。

【0042】

本実施形態においても、実施形態１と同様に、特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７が利用するネットワークのパラメータは、これらを接続した一体的ネットワークによって学習したものを用いる。図７の構成のうち、破線で囲んだ範囲が、本実施形態に係る一体的ネットワーク１２５０である。一体的ネットワーク１２５０は、本実施形態に係るマップ結合部２０４の機能を含む。すなわち、注目度検出部２０５が利用するネットワークへの入力は、器官マップと特徴マップ生成部２０２が利用するネットワークの出力とを結合した結合マップ４０４となる。一体的ネットワーク１２５０を学習する方法は、実施形態１と同様である。

【0043】

以上のような、本実施形態に係る画像処理装置１００によれば、特徴マップの情報を考慮した注目度を検出することが可能となる。特徴マップ自体にも注目すべき場所を決定するための情報が含まれている可能性があるから、このような注目度を利用して特徴マップを補正することで、人間の顔等の対象物体を含む画像の照合を精度よく行うことができる。

【0044】

＜実施形態３＞
実施形態１及び２では、注目度による特徴マップの補正を予め行っていたが、照合を行うタイミングで特徴マップの補正を行うこともできる。本実施形態では、注目度マップを用いた補正を照合時に行う方法を説明する。なお、実施形態１と共通する箇所は説明を省略し、実施形態１との差分を中心に説明する。

【0045】

図９は、本実施形態に係る画像処理装置１００の機能構成の一例を示す図である。本実施形態の機能構成は、実施形態１と同様であるが、特徴マップ補正部２０６と顔特徴データベース２１０の間の接続が加わっている。すなわち、特徴マップ補正部２０６は、顔特徴データベース２１０に記憶された特徴マップも、注目度検出部２０５で検出した注目度マップを用いて補正する。図１０は、本実施形態で用いられるデータの流れを示す図である。本実施形態では、顔特徴データベース２１０に保持されているデータの一部が、以下で説明するとおり実施形態１とは異なる。また、本実施形態に係る画像処理装置１００で行う、顔画像の照合方法については図４と同様であるが、Ｓ３０８で顔特徴照合部２０８が行う処理の内容が、以下で説明するとおり実施形態１とは異なる。

【0046】

図１１は、本実施形態に係る顔特徴データベース２１０の例を示す図である。本実施形態に係る顔特徴データベース２１０は、特徴量の項目に、顔特徴抽出部２０７で抽出された特徴ベクトルの代わりに、特徴マップ生成部２０２が実施形態１と同様の方法で生成した特徴マップ７０１が登録されている。
本実施形態では、Ｓ３０８において、まず、特徴マップ補正部２０６は、図１０に示すように、顔特徴データベース２１０から特徴マップ７０１を読み出す。特徴マップ７０１を含む顔特徴レコードの人物ＩＤをｉとし、人物ＩＤがｉであるレコードに含まれる特徴マップをＭｉとする。次に、特徴マップ補正部２０６は、実施形態１のＳ３０６と同様の方法で特徴マップＭｉを補正して補正後特徴マップ７０２を生成し、次いで実施形態１のＳ３０７と同様の方法で補正後特徴マップ７０２から特徴ベクトル４０８（Ｆｉ）を抽出する。そして、顔特徴照合部２０８は、実施形態１のＳ３０８と同様の方法で、特徴ベクトルＦとの類似度を計算して照合する。なお、本実施形態における特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７が利用するネットワークの学習方法は、実施形態１と同様である。

【0047】

以上のような、本実施形態に係る画像処理装置１００によれば、特徴マップの補正を照合時に行うことが可能になる。これによれば、注目度検出部２０５で使用するネットワークパラメータが変化した場合でも、顔特徴データベース２１０の内容を作り直す必要がなくなる。そのため、注目度検出部２０５で使用するネットワークパラメータを、利用環境などの条件に応じて入れ替えたり、追加学習などによって適宜更新する構成を加えたりすることが可能になる。

【0048】

＜実施形態４＞
実施形態１～３では、画像内の器官の局所的な領域に着目して注目度を求めたが、器官を含む領域間の関連性に着目した注目度を利用することもできる。本実施形態では、器官を含む領域間の関連性を表す注目度マップを用いて補正を行う方法を説明する。なお、本実施形態は実施形態２を元に説明することとし、実施形態２と共通する箇所は説明を省略して、実施形態２との差分を中心に説明する。

【0049】

本実施形態の機能構成は、図７に示す実施形態２と同様である。図１２は、本実施形態で用いられるデータの流れを示す図である。また、本実施形態に係る画像処理装置１００で行う、顔画像の照合方法については図４と同様であるが、Ｓ３０５で注目度検出部２０５が行う処理、及びＳ３０６で特徴マップ補正部２０６が行う処理の内容が、以下で説明するとおり実施形態２とは異なる。
なお、以下の説明では、実施形態２のように、器官マップ群と特徴マップを結合した結合マップを用いるが、実施形態１のように、器官マップ群のみを結合した結合マップを用いて、実施形態４と同様の方法で、注目度マップを算出することも可能である。

【0050】

本実施形態では、Ｓ３０５において、注目度検出部２０５が算出する注目度マップ４０５は、図１２に示すように、縦幅と横幅がともにＮ＝（（Ｈ／Ｋ）×（Ｗ／Ｋ）×Ｄ１）である。すなわち、特徴マップ４０２の要素数を縦幅と横幅に持つ。チャンネル数は１である。このような注目度マップ４０５は、例えば非特許文献２に示されているような構造のニューラルネットワークを用いることによって計算できる。

【0051】

本実施形態に係る注目度検出部２０５が用いるニューラルネットワークの構造について、図１３を用いて説明する。本実施形態に係る注目度検出部２０５が用いるニューラルネットワークは、図１３に示すように、第一畳み込み部１１０１、第二畳み込み部１１０２、第一ベクトル化部１１０３、第二ベクトル化部１１０４、及び行列計算部１１０５を備える。
第一畳み込み部１１０１及び第二畳み込み部１１０２は、それぞれマップ結合部２０４で求めたチャンネル数Ｄ２のマップを入力とし、１×１の畳み込みを行ってから各要素にＲｅＬＵを適用して、チャンネル数Ｄ１のマップを出力するネットワークである。第一畳み込み部１１０１と第二畳み込み部１１０２のネットワークには、それぞれ異なるパラメータを適用する。

【0052】

第一ベクトル化部１１０３及び第二ベクトル化部１１０４は、縦幅Ｈ／Ｋ、横幅Ｗ／Ｋ、チャンネル数Ｄ１の入力マップをベクトル化して、Ｎ＝（（Ｈ／Ｋ）×（Ｗ／Ｋ）×Ｄ１）次元の出力ベクトルに変換する。入力マップの要素（ｙ、ｘ、ｄ）は、出力ベクトルの（ｙ×（Ｗ／Ｋ×Ｄ１）＋ｘ×Ｄ１＋ｄ）番目の要素となる。第一ベクトル化部１１０３の出力ベクトルは横ベクトル、第二ベクトル化部１１０４の出力ベクトルは縦ベクトルである。
行列計算部１１０５は、Ｎ次元の横ベクトルと縦ベクトルを入力として、横ベクトルに縦ベクトルを右から掛けた行列積を取ってＮ×Ｎの行列を計算してから、例えばｓｏｆｔｍａｘ関数によって平滑化したものを出力とする。

【0053】

本実施形態では、Ｓ３０５において、注目度検出部２０５は、まず結合マップ４０４を第一畳み込み部１１０１に入力して、第一中間マップを算出する。さらに、注目度検出部２０５は、結合マップ４０４を第二畳み込み部１１０２にも入力して、第二中間マップを算出する。次に、第一中間マップを第一ベクトル化部１１０３に入力して、第一中間ベクトルを算出する。さらに、第二中間マップを第二ベクトル化部１１０４に入力して、第二中間ベクトルを算出する。そして、注目度検出部２０５は、第一中間ベクトルと第二中間ベクトルを行列計算部１１０５に入力して、出力を得る。これを本実施形態に係る注目度マップ４０５とする。本実施形態における注目度マップ４０５は、幅Ｎ、高さＮのマップとなる。

【0054】

本実施形態における注目度マップ４０５は、特徴マップの任意の２点間の関連度を表す値を注目度として持つ。すなわち、特徴マップ４０２の要素（ｙ１、ｘ１、ｄ１）に対する（ｙ２、ｘ２、ｄ２）の関係を表す注目度は、注目度マップ４０５の要素（ｙ１×（Ｗ／Ｋ×Ｄ１）＋ｘ１×Ｄ１＋ｄ１、ｙ２×（Ｗ／Ｋ×Ｄ１）＋ｘ２×Ｄ１＋ｄ２）の値に対応する。注目度マップ４０５は対称行列とは限らず、要素（ｙ２、ｘ２、ｄ２）に対する（ｙ１、ｘ１、ｄ１）の注目度は、要素（ｙ１、ｘ１、ｄ１）に対する（ｙ２、ｘ２、ｄ２）と等しいとは限らない。なお、転置行列と足し合わせるなどの工程を追加して等しくなるようにしてもよい。

【0055】

このように計算された注目度マップ４０５は、例えば右目と左目の間の関連性が高ければ、右目の領域に対する左目の領域の注目度、及び左目の領域に対する右目の領域の注目度が大きいことが期待される。すなわち、器官の領域間の関連性の高い部分の注目度が高くなっているものと考えられる。

【0056】

続いて、本実施形態におけるＳ３０５における、特徴マップ補正部２０６が行う補正の方法を説明する。まず、特徴マップ補正部２０６は、特徴マップ４０２を第一ベクトル化部１１０３と同様にベクトル化する。すなわち、特徴マップ補正部２０６は、特徴マップ４０２の要素（ｙ、ｘ、ｄ）を（ｙ×（Ｗ／Ｋ×Ｄ１）＋ｘ×Ｄ１＋ｄ）番目の要素とする、Ｎ次元のベクトルＶを生成する。次に、特徴マップ補正部２０６は、注目度マップ４０５とＶの行列積を取る。行列積の結果Ｖ’はＶと同じ次元を持つベクトルとなる。最後に、特徴マップ補正部２０６は、Ｖ’の（ｙ×（Ｗ／Ｋ×Ｄ１）＋ｘ×Ｄ１＋ｄ）番目の要素が（ｙ、ｘ、ｄ）の要素となる縦幅Ｈ／Ｋ、横幅Ｗ／Ｋ、チャンネル数Ｄ１のマップを生成する。これを補正後特徴マップ４０６とする。なお、本実施形態における特徴マップ生成部２０２、注目度検出部２０５、及び顔特徴抽出部２０７が利用するネットワークの学習方法は、先述した注目度検出部２０５が用いるネットワークの構造を除いて、実施形態１と同様である。

【0057】

以上のような、本実施形態に係る画像処理装置１００によれば、器官の領域間の関連性を注目度として検出することが可能になる。このような注目度を利用して特徴マップを補正することで、人間の顔等の対象物体を含む画像の照合を精度よく行うことができる。

【0058】

＜その他の実施形態＞
以上、各実施形態を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェース機器、撮像装置、Ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

【0059】

また、本発明の目的は、以下のようにすることによっても達成される。即ち、前述した各実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

【符号の説明】

【0060】

１００：画像処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】