特開 2024-67313 画像識別装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024067313

(43)【公開日】2024-05-17

(54)【発明の名称】画像識別装置およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240510BHJP

   G06V 10/70 20220101ALI20240510BHJP

【ＦＩ】

G06T7/00 350B

G06V10/70

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022177285

(22)【出願日】2022-11-04

(71)【出願人】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】河合 吉彦

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA01

5L096DA02

5L096HA11

5L096KA04

(57)【要約】

【課題】被覆の有無（マスク等着用画像とマスク等未着用画像）を区別しながらより適切に扱い、識別精度を向上させることのできる画像識別装置を提供する。
【解決手段】画像識別装置は、特徴抽出部と人物ラベル推定部と被覆有無推定部とを備える。特徴抽出部は、入力される画像に基づいて画像の特徴を抽出して出力する。人物ラベル推定部は、特徴抽出部が抽出した特徴に基づいて人物に対応したラベルごとのスコアを算出する。被覆有無推定部は、特徴抽出部が抽出した特徴に基づいて、画像内に、人物の顔の一部を覆い隠す被覆が含まれるか否かを表す情報を出力する。特徴抽出部と人物ラベル推定部と被覆有無推定部とは、学習用画像と、学習用画像についての正解の人物に対応したラベルの情報と、学習用画像が人物の顔の一部を覆い隠す被覆が含まれるか否かを表す正解の情報との組として与えられる学習用データに基づいて機械学習を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

入力される画像に基づいて前記画像の特徴を抽出して出力する特徴抽出部と、
前記特徴抽出部が抽出した前記特徴に基づいて人物に対応したラベルごとのスコアを算出する人物ラベル推定部と、
前記特徴抽出部が抽出した前記特徴に基づいて、前記画像内に、前記人物の顔の一部を覆い隠す被覆が含まれるか否かを表す情報を出力する被覆有無推定部と、
を備え、
前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、学習用画像と、前記学習用画像についての正解の人物に対応したラベルの情報と、前記学習用画像が人物の顔の一部を覆い隠す被覆が含まれるか否かを表す正解の情報との組として与えられる学習用データに基づいて機械学習を行うことが可能なように構成された、
画像識別装置。

【請求項2】

前記学習用画像を前記特徴抽出部に入力した際に、前記人物ラベル推定部が算出した前記ラベルごとのスコアと、前記被覆有無推定部が推定した前記被覆が含まれるか否かを表す情報と、前記正解の人物に対応したラベルの情報と、前記被覆が含まれるか否かを表す正解の情報と、に基づいて損失を算出する損失算出部、
をさらに備え、
前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、算出された前記損失に基づいてそれぞれの内部の機械学習を行うように構成される、
請求項１に記載の画像識別装置。

【請求項3】

前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部と、のそれぞれはニューラルネットワークを用いて構成され、
前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、前記損失に基づいてそれぞれのニューラルネットワークの内部の重みパラメーターを更新する、
請求項２に記載の画像識別装置。

【請求項4】

前記被覆は、前記画像内の人物の口の部分を少なくとも覆い隠すマスクである、
請求項１から３までのいずれか一項に記載の画像識別装置。

【請求項5】

入力される画像に基づいて前記画像の特徴を抽出して出力する特徴抽出部と、
前記特徴抽出部が抽出した前記特徴に基づいて人物に対応したラベルごとのスコアを算出する人物ラベル推定部と、
前記特徴抽出部が抽出した前記特徴に基づいて、前記画像内に、前記人物の顔の一部を覆い隠す被覆が含まれるか否かを表す情報を出力する被覆有無推定部と、
を備え、
前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、学習用画像と、前記学習用画像についての正解の人物に対応したラベルの情報と、前記学習用画像が人物の顔の一部を覆い隠す被覆が含まれるか否かを表す正解の情報との組として与えられる学習用データに基づいて機械学習を行うことが可能なように構成される、
画像識別装置、としてコンピューターを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像識別装置およびプログラムに関する。

【背景技術】

【0002】

機械学習の手法を用いることによって顔画像に含まれる人物を識別する技術が用いられている。従来の技術では、人物の識別情報（ＩＤ、ラベル）が付与された顔画像を学習データとして用いて機械学習を行っている。

【0003】

特許文献１には、入力データがどのクラスに属するかを、設定された２以上のクラスを包含するクラスを含む複数のクラスの何れにデータが属するかを識別する識別器に基づいて、識別するという識別手段が記載されている。また、特許文献１には、前記識別手段がニューラルネットワークを用いて識別を行い得ることが記載されている。また、特許文献１には、入力データとして人間の顔が写る画像データを取得し、その入力データが２以上の人物個人を示すクラスを包含するクラスを含む複数のクラスの何れにデータが属するかを識別する識別器が記載されている。さらに、特許文献１には、設定されたクラスに属する学習データに基づいて、識別器のパラメーターを調整する調整手段、を有する調整装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－１０２６７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

近年では、感染症対策等のためにマスクを着用している人物が増えている。また、感染症対策の目的に限らず、帽子やサングラスなど顔の一部分を覆い隠す物を着用している人物もいる。従来技術では、こういったマスク等（被覆）を着用している人物をも識別するためには、マスク等を着用している顔画像とマスク等未着用の顔画像との両方を学習データとして含めて学習を行う方法が考えられる。

【0006】

しかしながら、従来技術では、マスク等着用画像とマスク等未着用画像を区別なく扱っており、そのことが識別精度低下の一因となっている可能性があると考え得る。

【0007】

本発明は、上記の課題認識に基づいて行なわれたものであり、マスク等着用画像とマスク等未着用画像とを区別しながらより適切に扱い、識別精度を向上させることのできる画像識別装置およびプログラムを提供しようとするものである。

【課題を解決するための手段】

【0008】

［１］上記の課題を解決するため、本発明の一態様による画像識別装置は、入力される画像に基づいて前記画像の特徴を抽出して出力する特徴抽出部と、前記特徴抽出部が抽出した前記特徴に基づいて人物に対応したラベルごとのスコアを算出する人物ラベル推定部と、前記特徴抽出部が抽出した前記特徴に基づいて、前記画像内に、前記人物の顔の一部を覆い隠す被覆が含まれるか否かを表す情報を出力する被覆有無推定部と、を備え、前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、学習用画像と、前記学習用画像についての正解の人物に対応したラベルの情報と、前記学習用画像が人物の顔の一部を覆い隠す被覆が含まれるか否かを表す正解の情報との組として与えられる学習用データに基づいて機械学習を行うことが可能なように構成されたものである。

【0009】

［２］また、本発明の一態様は、上記［１］の画像識別装置において、前記学習用画像を前記特徴抽出部に入力した際に、前記人物ラベル推定部が算出した前記ラベルごとのスコアと、前記被覆有無推定部が推定した前記被覆が含まれるか否かを表す情報と、前記正解の人物に対応したラベルの情報と、前記被覆が含まれるか否かを表す正解の情報と、に基づいて損失を算出する損失算出部、をさらに備え、前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、算出された前記損失に基づいてそれぞれの内部の機械学習を行うように構成されるものである。

【0010】

［３］また、本発明の一態様は、上記［２］の画像識別装置において、前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部と、のそれぞれはニューラルネットワークを用いて構成され、前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、前記損失に基づいてそれぞれのニューラルネットワークの内部の重みパラメーターを更新するというものである。

【0011】

［４］また、本発明の一態様は、上記［１］から［３］までのいずれかの画像識別装置において、前記被覆は、前記画像内の人物の口の部分を少なくとも覆い隠すマスクである、というものである。

【0012】

［５］また、本発明の一態様は、入力される画像に基づいて前記画像の特徴を抽出して出力する特徴抽出部と、前記特徴抽出部が抽出した前記特徴に基づいて人物に対応したラベルごとのスコアを算出する人物ラベル推定部と、前記特徴抽出部が抽出した前記特徴に基づいて、前記画像内に、前記人物の顔の一部を覆い隠す被覆が含まれるか否かを表す情報を出力する被覆有無推定部と、を備え、前記特徴抽出部と、前記人物ラベル推定部と、前記被覆有無推定部とは、学習用画像と、前記学習用画像についての正解の人物に対応したラベルの情報と、前記学習用画像が人物の顔の一部を覆い隠す被覆が含まれるか否かを表す正解の情報との組として与えられる学習用データに基づいて機械学習を行うことが可能なように構成される、画像識別装置、としてコンピューターを機能させるプログラムである。

【発明の効果】

【0013】

本発明によれば、人物ラベルの正解だけではなく被覆の有無に関する正解にも基づいて、特徴抽出部等の学習を行える。これにより、人物ラベル推定の精度が向上する。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態による画像識別装置の概略機能構成を示すブロック図である。

【図2】同実施形態による画像識別装置の主要部のより具体的な構成の例を示す概略図である。

【図3】同実施形態による画像識別装置１の内部構成の例を示すブロック図である。

【発明を実施するための形態】

【0015】

次に、本発明の一実施形態について、図面を参照しながら説明する。

【0016】

本実施形態が基礎とする技術（従来手法）では、画像に含まれる人物を識別するために、ニューラルネットワークの学習を行う。ニューラルネットワークを用いた識別器の学習には、人物の識別情報（ラベルあるいはＩＤなどと呼ばれる）が付与された顔画像を学習データとして用いる。ネットワークの基本構造としては、既存のAlexNetやResNet、InceptionNet、EfficientNetなどが利用できる。識別器の全体構造としては、そういったネットワークの後段に全結合層を接続した形態となる。全結合層の次元数は、学習データに含まれる人物ラベルの種類数である。一例として合計1万人分の顔画像を学習データとして用いる場合には、全結合層からの出力１万次元のベクトルである。学習時には、この全結合層からの出力と正解ラベルとのクロスエントロピーを損失関数として、確率的勾配降下法などによって損失を最小化するように、ニューラルネットワークの内部パラメーターの値を調整する。上記のクロスエントロピーｃ（ｙ，ｔ）の算出式は、下の式（１）の通りである。

【0017】

【数1】

【0018】

ここで、ｋは全結合層の次元数である。ｔ_ｉは正解ラベル（ｋ次元のベクトル）の第ｉ番目（０≦ｉ≦ｋ－１）の要素であり、ｙ_ｉは上記の全結合層からの出力（ｋ次元のベクトル）の第ｉ番目（０≦ｉ≦ｋ－１）の要素である。

【0019】

この手法を用いて人物を識別する際には、学習済みのニューラルネットワークの出力（学習時の全結合層への入力に相当）を特徴ベクトルとして利用する。識別対象の顔画像をニューラルネットワークに入力し、その出力を当該画像の特徴ベクトル（当該画像に含まれる人の特徴ベクトル）とする。次に、あらかじめ算出しておいた人物名が既知の特徴ベクトルとの距離を計測する。距離としては、例えば、ユークリッド距離あるいは余弦距離などを使用することができる。最後に、距離が最小となった人物ラベル（そのラベルに対応する人物名）を識別結果とする。このようにすることで、学習データに含まれていなかった人物も識別することができる。なお、学習時と識別時の人物の集合が同一の場合には、全結合層の出力をそのまま利用することもできる。

【0020】

本実施形態では、上記の基礎の手法に加えて、人物ラベルを出力する全結合層とは別に、被覆の有無（例えば、マスクを着用しているか否か）を出力する2次元の全結合層をニューラルネットワークに接続する。そして、これら２つの全結合層の両方からの出力の損失を最小化するようにニューラルネットワーク等の機械学習手段の学習を行うことによって、人物の識別精度の向上を図る。

【0021】

図１は、本実施形態による画像識別装置の概略機能構成を示すブロック図である。図示するように、画像識別装置１は、画像入力部１１と、特徴抽出部１２と、人物ラベル推定部１３と、被覆有無推定部１４と、損失算出部１５とを含んで構成される。これらの各機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。

【0022】

ここで、被覆とは、人物の一部を覆い隠すものである。本実施形態では、被覆は、特に、頭部（顔を含む）の一部を覆い隠すものである。被覆は、例えば、感染症防止用等のマスク（口や鼻を覆う）や、サングラスや、帽子等であってよいが、それらに限定されるものではない。マスクやサングラスや帽子等は、それらを着用した人物の移った画像において、人物が本来持つ外見的な特徴を隠す。つまり、それらは、人物の特徴の情報の一部を消す作用を有する。

【0023】

図１に示す構成の特徴は、画像識別装置１内に被覆有無推定部１４を設けた点である。被覆有無推定部１４は、特徴抽出部１２からの出力に基づいて、被覆の有無（例えば、人物がマスクを着用しているか否か）を推定する。画像識別装置１の学習時には、人物ラベル推定部１３が推定する人物ラベルの情報と正解の人物ラベルの情報との差だけではなく、被覆有無推定部１４が推定する被覆の有無の情報と被覆の有無についての正解の情報との差を用いる。つまり、損失算出部１５は、人物のラベルのみに関する損失ではなく、人物のラベルと被覆の有無との両方に関する損失を算出する。そして、画像識別装置１は、人物ラベル推定部１３と被覆有無推定部１４との両方の学習を同時に行う。これにより、画像識別装置１は、人物識別の精度を向上させる。

【0024】

以下では、画像識別装置１を構成する各部の機能をさらに詳細に説明する。

【0025】

画像入力部１１は、処理対象の画像を取り込み、その画像を特徴抽出部１２に渡す。処理対象の画像は、例えば、所定の色空間（ＲＧＢ等）で表わされたカラーの静止画像である。画像は、縦方向および横方向に配列された多数の画素から成る。各々の画素は画素値を持つ。ここでの処理対象の画像（入力画像）は、高さｈ［画素］×幅ｗ［画素］×チャンネル数ｃの形態の画像であってよい。チャンネルは、一例として、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色に対応した３つのチャンネルであってよい。画像入力部１１によって供給される処理対象の画像は、人の顔が写された画像である。なお、顔（頭部）の一部が例えば感染症防止用のマスク等で被覆されていてもよい。

【0026】

特徴抽出部１２は、画像入力部１１から渡される画像の特徴を抽出し、その特徴を人物ラベル推定部１３および被覆有無推定部１４に渡す。特徴抽出部１２は、機械学習の手法を用いて顔画像に関する特徴を抽出するように構成されている。特徴抽出部１２は、例えばニューラルネットワークを用いて構成することができる。特徴抽出部１２で用いられるニューラルネットワークは、上記の入力画像を入力して、長さｎの（即ち、ｎ次元の（ｎは正整数））特徴ベクトルを出力するものであれば、その具体的な形態には制約はない。特徴抽出部１２は、例えば、下の参考文献１、２、および３に示すような既存技術によるAlexNet、ResNet、EfficientNet等のネットワーク構造を有するニューラルネットワークを用いることができる。

【0027】

［参考文献１］ A. Krizhevsky, el. Al.，”ImageNet classification with deep convolutional neural networks”，Comm. of ACM，2017．
［参考文献２］ K. He, el. Al.，“Deep residual learning for image recognition” ，CVPR，pp.770-778，2016．
［参考文献３］ T. Mingxing and Q. V. Le，“EfficientNet: Rethinking model scaling for convolutional neural networks”，ICML，2019

【0028】

人物ラベル推定部１３は、特徴抽出部１２から渡される特徴に基づいて、入力画像に含まれる人物が誰であるかを推定する。言い換えれば、人物ラベル推定部１３は、入力画像に含まれる人物に対応する人物ラベルを推定する。学習データにｍ人分（ｍは正整数）の顔画像を含まれている場合、人物ラベル推定部１３は、特徴抽出部１２から渡されるｎ次元の特徴ベクトルを基に、ｍ次元のベクトルを算出する。人物ラベル推定部１３が算出するｍ次元のベクトルの各要素は、各人物らしさを表すスコアの値である。つまり、人物ラベル推定部１３は、特徴抽出部１２が抽出した特徴に基づいて、人物に対応したラベルごとのスコアを算出する。人物ラベル推定部１３は、全結合層のネットワークを用いて構成され得る。

【0029】

人物ラベル推定部１３は、推定結果を出力することができる。人物ラベル推定部１３は、上記のｍ次元のベクトルを外部に出力してもよいし、そのｍ次元のベクトルを基に特定される人物ラベルそのもの（単数のラベル、あるいは複数の候補のラベル）を外部に出力してもよい。

【0030】

被覆有無推定部１４は、特徴抽出部１２から渡される特徴に基づいて、入力画像に含まれる人物に関して被覆の有無を推定する。ここで被覆とは、人間の顔の一部あるいは頭部の一部を覆い隠すものである。被覆は、例えば、感染症防止用等のマスク（口や鼻を覆う）や、サングラスや、帽子等であってよいが、ここに例示したものには限定されない。つまり、被覆は、一例として、入力される画像内の人物の口の部分を少なくとも覆い隠すマスクであってよい。

【0031】

被覆有無推定部１４は、特徴抽出部１２から渡されるｎ次元の特徴ベクトルを基に、２次元のベクトルを算出する。被覆有無推定部１４が算出する２次元のベクトルの各要素は、被覆あり（マスク等着用）および被覆なし（マスク等未着用）のそれぞれのスコアの値である。つまり、被覆有無推定部１４は、特徴抽出部１２が抽出した特徴に基づいて、識別対象の画像内に、人物の顔の一部を覆い隠す被覆が含まれるか否かを表す情報を出力する。被覆有無推定部１４は、全結合層のネットワークを用いて構成され得る。

【0032】

特徴抽出部１２と、人物ラベル推定部１３と、被覆有無推定部１４とは、それらの学習を行うために動作する場合もあるし、入力される未知の画像の移る人物のラベルを推定したり被覆の有無を推定したりするために動作する場合もある。学習を行う場合には、次に説明する損失算出部１５が算出する損失を用いる。

【0033】

損失算出部１５は、人物ラベル推定部１３および被覆有無推定部１４のそれぞれの学習を行うための損失を算出する。

【0034】

つまり、損失算出部１５は、人物ラベル推定部１３から出力されるｍ次元ベクトルと人物識別に関する正解ラベルとから、下の式（２）による損失ｃ^ｐ（ｙ^ｐ，ｔ^ｐ）を算出する。

【0035】

【数2】

【0036】

ここで、ｙ^ｐは、人物ラベル推定部１３から出力されるｍ次元ベクトルである。
ｙ^ｐ _ｉは、ｙ^ｐの第ｉ番目（０≦ｉ≦ｍ－１）の要素である。なお、０≦ｙ^ｐ _ｉ≦１となるようにｙ^ｐを適宜正規化してもよい。
また、ｔ^ｐは、人物ラベルの正解を表すｍ次元ベクトルである。
ｔ^ｐ _ｉは、ｔ^ｐの第ｉ番目（０≦ｉ≦ｍ－１）の要素である。
正解を表すベクトルｔ^ｐにおいて、正解に対応する要素の値のみが１であり、その他の要素の値を０とする。

【0037】

また、損失算出部１５は、被覆有無推定部１４から出力される２次元ベクトルと被覆の有無に関する正解ラベルとから、下の式（３）による損失ｃ^ｓ（ｙ^ｓ，ｔ^ｓ）を算出する。

【0038】

【数3】

【0039】

ここで、ｙ^ｓは、被覆有無推定部１４から出力される２次元ベクトルである。ｙ^ｓ _ｉは、ｙ^ｓの第ｉ番目（ｉ＝０，１）の要素である。なお、０≦ｙ^ｓ _ｉ≦１となるようにｙ^ｓを適宜正規化してもよい。また、ｔ^ｓは、被覆の有無に関する正解を表す２次元ベクトルである。ｔ^ｓ _ｉは、ｔ^ｓの第ｉ番目（ｉ＝０，１）の要素である。被覆有無の正解を表すベクトルｔ^ｓにおいて、正解に対応する要素の値が１であり、他方の（即ち、不正解の）要素の値を０とする。

【0040】

また、損失算出部１５は、下の式（４）によって総合損失ｌｏｓｓを算出する。

【0041】

【数4】

【0042】

ここで、αは、人物ラベル推定部１３と被覆有無推定部１４との出力をどのようなバランスで重視するかを表すパラメーターである。αを０とした場合には、被覆の有無を考慮せずに学習を行うこと（即ち、従来技術と同様）となる。画像識別装置１の学習を行う場合には、上記の総合損失ｌｏｓｓを最小化するように、例えば確率的勾配降下法などを用いてネットワーク全体（特徴抽出部１２、人物ラベル推定部１３、および被覆有無推定部１４）に含まれるノードにおける重み（パラメーター値）を調整する。ニューラルネットワークの内部のパラメーターを調整する手法自体は既存技術に属する。なお、学習の際には、予め準備した学習用データが適切に供給されるようにする。

【0043】

つまり、特徴抽出部１２と、人物ラベル推定部１３と、被覆有無推定部１４とは、学習用画像と、前記学習用画像についての正解の人物に対応したラベルの情報と、前記学習用画像が人物の顔の一部を覆い隠す被覆が含まれるか否かを表す正解の情報との組として与えられる学習用データに基づいて、機械学習を行うことが可能なように構成されている。

【0044】

図２は、上記の画像識別装置１の主要部のより具体的な構成の例を示す概略図である。図示する構成では、ニューラルネットワーク１１２からの出力は、全結合層１１３と全結合層１１４とのそれぞれに入力される。

【0045】

ニューラルネットワーク１１２は、人の顔を含んだ画像を入力し、その画像の特徴を抽出して出力する。ニューラルネットワーク１１２は、図１における特徴抽出部１２として機能する。ニューラルネットワーク１１２として使用し得るネットワークの形態については、既に説明した通りである。ニューラルネットワーク１１２を構成する各ノードにおいては、重みのパラメーターに基づく計算が行われる。ニューラルネットワーク１１２の内部のパラメーターの値は、調整（更新）可能である。ニューラルネットワーク１１２は、高さｈ［画素］×幅ｗ［画素］×チャンネル数ｃの画像を入力し、ｎ次元のベクトル（特徴）を出力する。

【0046】

全結合層１１３は、ニューラルネットワーク１１２から出力されるｎ次元のベクトル（特徴）を入力し、ｍ次元のベクトルを出力する。全結合層１１３は、図１における人物ラベル推定部１３として機能する。ｍ次元のベクトルは、ｍ個の人物ラベルそれぞれのスコアを表す。入力されるｎ次元のベクトルを結合してｍ次元のベクトルを算出する際の重みのパラメーターの値は、調整（更新）可能である。

【0047】

全結合層１１４は、ニューラルネットワーク１１２から出力されるｎ次元のベクトル（特徴）を入力し、２次元のベクトルを出力する。全結合層１１４は、図１における被覆有無推定部１４として機能する。２次元のベクトルは、被覆（マスク等）あり、あるいは被覆（マスク等）なしの、２通りの状態それぞれのスコアを表す。入力されるｎ次元のベクトルを結合して２次元のベクトルを算出する際の重みのパラメーターの値は、調整（更新）可能である。

【0048】

画像識別装置１の学習を行う際には、損失算出部１５が算出した誤差（ロス）に基づいて、誤差逆伝播法を用いることによって、全結合層１１３、全結合層１１４、およびニューラルネットワーク１１２のそれぞれが持つ内部パラメーターの値を調整する。誤差逆伝播法自体は、既存技術に属する手法である。

【0049】

つまり、図１に示した特徴抽出部１２と、人物ラベル推定部１３と、被覆有無推定部１４とのそれぞれはニューラルネットワークを用いて構成される。特徴抽出部１２と、人物ラベル推定部１３と、被覆有無推定部１４とは、損失算出部１５が算出する損失に基づいて、それぞれのニューラルネットワークの内部の重みパラメーターを更新する。

【0050】

以上説明した本実施形態の構成では、単に人物ラベルの正解だけではなく、被覆の有無に関する正解をも用いてニューラルネットワークの学習を行うこととなる。つまり、被覆の有無（例えば、マスクの着用の有無）に依存する形で、特徴抽出部１２のニューラルネットワークによる特徴抽出用の内部パラメーターの値が調整される。つまり、人物の顔全体の中で鼻の一部や口を覆うマスクを着用している画像が入力されたときには、マスクによって覆われていない顔の上部を重要視するように特徴抽出部の内部パラメーターが調整されると考え得る。即ち、このような作用によって、本実施形態の構成を用いることで識別精度が向上すると推測することができる。

【0051】

図３は、上記実施形態における画像識別装置１の内部構成の例を示すブロック図である。画像識別装置１は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0052】

なお、上述した実施形態における画像識別装置１の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0053】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0054】

［実証実験］
上記実施形態の効果を検証するために評価実験を実施したので、その結果を次に説明する。

【0055】

この実験においては、図１に示した構成を有する画像識別装置１の学習を行うために、
学習データとして、約１０万人分、合計約３００万枚の顔画像を利用した。
また、式（４）におけるパラメーターαの値を０．１に設定した。特徴を抽出するためのニューラルネットワークの構造としては、IResNet50（参考文献４）を利用した。
［参考文献４］ Ionut Cosmin Duta, el. Al.，“Improved residual networks for image and video recognition”，arXiv:2004.04989，2020．

【0056】

本実験においては、精度検証のために、ＬＦＷデータセット（http://vis-www.cs.umass.edu/lfw/）と、ｍｆｒ２データセット(参考文献５)とを利用した。これらのデータセットは、顔識別分野の性能比較において広く利用されている。ＬＦＷデータセットは、マスク未着用の顔画像のみのデータセットである。ｍｆｒ２はマスク着用の顔画像を含むデータセットである。
［参考文献５］ A. Anwar and A. Raychowdhury，“Masked face recognition for secure authentication”, CoPR, abs/2008.11104, 2020

【0057】

評価尺度として、データセット内において他人を同一人物と誤認識する割合（ＦＡＲ，false acceptance rate）が０．１％となるように閾値を設定したときに、同一人物を同一人物と正しく認識できる割合（ＶＡＬ）での評価を行う。なお、評価結果の信頼性向上のため、10-Fold交差検定によって評価した。

【0058】

実験結果は、下の表１の通りである。この表の実験結果における従来技術は、上記の総合損失ｌｏｓｓを求める数式においてパラメーターαの値を０に設定した場合の結果を示す。

【0059】

【表1】

【0060】

表に示すように、ＬＦＷデータセット（マスク未着用の顔画像のみ）においては、本実施形態の識別精度は、従来技術のそれを下回ることなくほぼ同等の精度となった。具体的には、本実施形態の識別精度は従来技術のそれを０．０３％上回った。つまり、本実施形態の構成をとることによる、マスク未着用の顔画像の識別性能への悪影響はなかったと言える。他方で、ｍｆｒ２データセット（マスク着用の顔画像を含む）においては、本実施形態の識別精度は９６．７３％であり、従来技術の識別精度の９２．８８％よりも３．８５％向上した。つまり、本実施形態によって、マスク着用画像を含む場合の識別精度が向上することが実証された。

【0061】

つまり、本実施形態によれば、被覆のある人物（マスク着用者等）の画像が含まれる場合について、人物の識別精度を向上させることができる。

【産業上の利用可能性】

【0062】

本発明は、例えば、人物の外見的特徴に基づく識別の処理等に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。

【符号の説明】

【0063】

１ 画像識別装置
１１ 画像入力部
１２ 特徴抽出部
１３ 人物ラベル推定部
１４ 被覆有無推定部
１５ 損失算出部
１１２ ニューラルネットワーク
１１３，１１４ 全結合層
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

【図1】

【図2】

【図3】