知財求人 - 知財ポータルサイト「IP Force」
▶ 日本放送協会の特許一覧 ▶ 一般財団法人ＮＨＫサービスセンターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-31
(45)【発行日】2024-11-11
(54)【発明の名称】顔認識用学習データ生成装置およびそのプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241101BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 660A
【請求項の数】
8
(21)【出願番号】P 2021029583
(22)【出願日】2021-02-26
(65)【公開番号】P2021136038
(43)【公開日】2021-09-13
【審査請求日】2024-01-05
(31)【優先権主張番号】P 2020031400
(32)【優先日】2020-02-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(73)【特許権者】
【識別番号】399060908
【氏名又は名称】一般財団法人ＮＨＫ財団
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】望月 貴裕
(72)【発明者】
【氏名】河合 吉彦
(72)【発明者】
【氏名】苗村 昌秀
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０２０－００９３００（ＪＰ，Ａ）
【文献】特開２０１０－２２５１１５（ＪＰ，Ａ）
【文献】特開２０１１－０７０４０８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
キーワードと階層化されたカテゴリとを対応付けたデータセットから、顔認識用学習データを生成する顔認識用学習データ生成装置であって、前記データセットから人物名のキーワードを抽出する人物キーワード抽出手段と、
前記データセットから人物を特定するキーワードに対応する階層化された前記カテゴリをカテゴリ情報として抽出するカテゴリ情報抽出手段と、
前記人物を特定するキーワードに関連する文書を収集する収集手段と、
前記文書に含まれる画像から顔認識により顔画像を抽出する顔画像抽出手段と、
前記顔画像から特徴量を抽出する特徴量抽出手段と、
前記特徴量を抽出した顔画像を含む前記文書に基づいて、前記特徴量と前記キーワードで特定された人物との関連度を前記特徴量に対応付けて設定する関連度設定手段と、
前記顔画像の特徴量をクラスタリングするクラスタリング手段と、
クラスタリングされた各クラスに属する特徴量に設定された前記関連度に基づいて、前記各クラスが前記特定された人物に対応するクラスか否かを判定する判定手段と、
前記人物を特定するキーワードごとに、前記特定された人物に対応すると判定されたクラスに属する特徴量と、前記カテゴリ情報とを統合して前記顔認識用学習データを生成するデータ統合手段と、
を備えることを特徴とする顔認識用学習データ生成装置。
【請求項2】
前記人物キーワード抽出手段は、人物を同定する予め定めた文字列を含むカテゴリに対応するキーワードを、前記人物名のキーワードとして抽出することを特徴とする請求項１に記載の顔認識用学習データ生成装置。
【請求項3】
前記カテゴリ情報抽出手段は、前記階層化されたカテゴリを木構造グラフで表した前記カテゴリの位置情報を前記カテゴリ情報に付加することを特徴とする請求項１または請求項２に記載の顔認識用学習データ生成装置。
【請求項4】
前記関連度設定手段は、前記文書が前記人物名を見出し語とするＷｅｂ文書である場合、前記関連度を増加させることを特徴とする請求項１から請求項３のいずれか一項に記載の顔認識用学習データ生成装置。
【請求項5】
前記関連度設定手段は、前記文書に前記人物名を示すタグが含まれている場合、前記関連度を増加させることを特徴とする請求項１から請求項４のいずれか一項に記載の顔認識用学習データ生成装置。
【請求項6】
前記データセットはキーワードに説明文が付加されており、前記関連度設定手段は、前記人物名のキーワードに対応する前記説明文と前記文書とが類似する場合、前記関連度を増加させることを特徴とする請求項１から請求項５のいずれか一項に記載の顔認識用学習データ生成装置。
【請求項7】
前記データ統合手段は、前記特徴量に代えて、当該特徴量を抽出した顔画像を前記顔認識用学習データとすることを特徴とする請求項１から請求項６のいずれか一項に記載の顔認識用学習データ生成装置。
【請求項8】
コンピュータを、請求項１から請求項７のいずれか一項に記載の顔認識用学習データ生成装置として機能させるための顔認識用学習データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認識用の学習データを生成する顔認識用学習データ生成装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、画像や映像中の人物の顔を認識して人物を特定する技術は、ＡＩ技術の進展により高精度化し、セキュリティ分野において実用化の域に達している。また、映像へのキーワード等のメタデータ付与を顔認識技術で行う取り組みが放送局を中心に広がりを見せている。
これらの顔認識技術は、学習用の顔画像を収集して、機械学習処理で人物間の違いを認識できる顔特徴量を計算し、その顔特徴量の類似度で顔認識を行う仕組みを基本としている（特許文献１参照）。
この顔認識処理の性能に大きく影響を与えるのは、学習処理に用いる学習データの量と質である。この学習データを生成する手法は、通常、多くの人手を介して顔画像を収集して生成する手法が一般的である。
これらの顔認識技術は、学習用の顔画像を収集して、機械学習処理で人物間の違いを認識できる顔特徴量を計算し、その顔特徴量の類似度で顔認識を行う仕組みを基本としている（特許文献１参照）。
この顔認識処理の性能に大きく影響を与えるのは、学習処理に用いる学習データの量と質である。この学習データを生成する手法は、通常、多くの人手を介して顔画像を収集して生成する手法が一般的である。
【0003】
一方で、顔画像を収集する手法として、収集済の２次元顔画像から３次元顔画像のＣＧモデルを生成し、ＣＧパラメータを操作することで、より多くの顔画像を生成する技術が開示されている（特許文献２参照）。しかし、この手法は、適切な顔画像のＣＧモデルを生成するために、ＣＧパラメータの精密なチューニング処理が必要となる。
また、現実的によく用いられる手法としては、Ｗｅｂスクレイピング技術によって、顔画像を収集する手法がある。
また、現実的によく用いられる手法としては、Ｗｅｂスクレイピング技術によって、顔画像を収集する手法がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－３３３７２号公報
【文献】特表２０１６－５０１３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
前記したように、顔画像を収集する手法は、その多くが人手を介するもので、手間がかかるという問題がある。たとえ、特許文献２に記載の発明のように、顔画像を生成する手法を用いても、その生成手法は、ＣＧパラメータを精密にチューニングしなければならず、手間がかかるという問題は残ったままである。
また、従来の手法は、顔画像を収集する手法であって、収集した顔画像を顔認識用の学習データとするためには、人物名等のメタデータを付与する必要がある。
また、従来の手法は、顔画像を収集する手法であって、収集した顔画像を顔認識用の学習データとするためには、人物名等のメタデータを付与する必要がある。
【0006】
しかし、従来の手法は、このようなメタデータの付与については、顔画像を収集した後、人手を介して行う必要があり、手間がかかり非効率であるという問題がある。
さらに、顔認識技術において、顔認識結果を多角的に利用するためには、顔画像にその人物が属するカテゴリ情報が関連付けられていることが望ましい。
さらに、顔認識技術において、顔認識結果を多角的に利用するためには、顔画像にその人物が属するカテゴリ情報が関連付けられていることが望ましい。
【0007】
本発明は、このような問題に鑑みてなされたもので、人の手間をかけずに、顔画像を収集して、メタデータを付与した顔認識用の学習データを生成することが可能な顔認識用学習データ生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係る顔認識用学習データ生成装置は、人物名を含むキーワードと階層化されたカテゴリとを対応付けたデータセットから、顔認識用学習データを生成する顔認識用学習データ生成装置であって、人物キーワード抽出手段と、カテゴリ情報抽出手段と、収集手段と、顔画像抽出手段と、特徴量抽出手段と、関連度設定手段と、クラスタリング手段と、判定手段と、データ統合手段と、を備える構成とした。
【0009】
かかる構成において、顔認識用学習データ生成装置は、人物キーワード抽出手段によって、データセットから人物名のキーワードを抽出する。
また、顔認識用学習データ生成装置は、カテゴリ情報抽出手段によって、データセットから人物を特定するキーワードに対応する階層化されたカテゴリをカテゴリ情報として抽出する。これによって、人物名と階層化されたカテゴリとが対応付けられることになる。
また、顔認識用学習データ生成装置は、カテゴリ情報抽出手段によって、データセットから人物を特定するキーワードに対応する階層化されたカテゴリをカテゴリ情報として抽出する。これによって、人物名と階層化されたカテゴリとが対応付けられることになる。
【0010】
そして、顔認識用学習データ生成装置は、収集手段によって、人物を特定するキーワードに関連する文書を収集する。例えば、収集手段は、キーワードに関連する文書をＷｅｂ上で検索する。この収集した文書（Ｗｅｂ文書）には、人物名に関連する画像が含まれている場合が多い。
そこで、顔認識用学習データ生成装置は、顔画像抽出手段によって、文書に含まれる画像から顔認識により顔画像を抽出する。そして、顔認識用学習データ生成装置は、特徴量抽出手段によって、顔画像から特徴量を抽出する。
そこで、顔認識用学習データ生成装置は、顔画像抽出手段によって、文書に含まれる画像から顔認識により顔画像を抽出する。そして、顔認識用学習データ生成装置は、特徴量抽出手段によって、顔画像から特徴量を抽出する。
【0011】
そして、顔認識用学習データ生成装置は、関連度設定手段によって、特徴量を抽出した顔画像を含む文書に基づいて、特徴量とキーワードで特定された人物との関連度を特徴量に対応付けて設定する。
また、顔認識用学習データ生成装置は、クラスタリング手段によって、顔画像の特徴量をクラスタリングする。
そして、顔認識用学習データ生成装置は、判定手段によって、クラスタリングされた各クラスに属する特徴量に設定された関連度に基づいて、各クラスが特定された人物に対応するクラスか否かを判定する。
また、顔認識用学習データ生成装置は、クラスタリング手段によって、顔画像の特徴量をクラスタリングする。
そして、顔認識用学習データ生成装置は、判定手段によって、クラスタリングされた各クラスに属する特徴量に設定された関連度に基づいて、各クラスが特定された人物に対応するクラスか否かを判定する。
【0012】
そして、顔認識用学習データ生成装置は、データ統合手段によって、人物を特定するキーワードごとに、特定された人物に対応すると判定されたクラスに属する特徴量と、カテゴリ情報とを統合して顔認識用学習データを生成する。
これによって、１つの人物名のキーワードに、人物の顔の特徴量と、人物が属するカテゴリ情報とが対応付けられる。
この顔認識用学習データ生成装置は、コンピュータを、前記した各手段として機能させるための顔認識用学習データ生成プログラムで動作させることができる。
これによって、１つの人物名のキーワードに、人物の顔の特徴量と、人物が属するカテゴリ情報とが対応付けられる。
この顔認識用学習データ生成装置は、コンピュータを、前記した各手段として機能させるための顔認識用学習データ生成プログラムで動作させることができる。
【発明の効果】
【0015】
本発明は、以下に示す優れた効果を奏するものである。
本発明の顔認識用学習データ生成装置によれば、人の手間をかけずに大量の顔画像を収集して、顔認識用の学習データを生成することができる。また、本発明によれば、個々の学習データに階層化したカテゴリ情報を付加することができるため、カテゴリ情報をメタデータとして、学習データをデータベース化することができる。
本発明の顔認識用学習データ生成装置によれば、人の手間をかけずに大量の顔画像を収集して、顔認識用の学習データを生成することができる。また、本発明によれば、個々の学習データに階層化したカテゴリ情報を付加することができるため、カテゴリ情報をメタデータとして、学習データをデータベース化することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る顔認識用学習データ生成装置の構成を示すブロック構成図である。
【図2】データセットのデータ構造のうち、ＩＤ（識別子）とキーワードとの対応関係の例を示すキーワードテーブルのデータ構造図である。
【図3】データセットのデータ構造のうち、ＩＤ（識別子）とカテゴリＩＤとの対応関係の例を示すカテゴリテーブルのデータ構造図である。
【図4】データセットのデータ構造のうち、ＩＤ（識別子）と上位階層ＩＤとの対応関係の例を示す階層テーブルのデータ構造図である。
【図5】カテゴリの階層構造の例を説明するための説明図である。
【図6】人物ＫＷとカテゴリ情報との関係を説明するための説明図である。
【図7】顔画像から顔特徴量を抽出するニューラルネットワークのモデルの構成例を示すネットワーク図である。
【図8】顔特徴量のクラスタリングの概念を説明するための説明図である。
【図9】顔認識用学習データの構造の例を示すデータ構造図である。
【図10】本発明の実施形態に係る顔認識用学習データ生成装置の動作を示すフローチャートである。
【図11】本発明の実施形態に係る顔認識装置の構成を示すブロック構成図である。
【図12】本発明の実施形態に係る顔認識装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態について図面を参照して説明する。
［顔認識用学習データ生成装置の構成］
最初に、図１を参照して、本発明の実施形態に係る顔認識用学習データ生成装置１の構成について説明する。
顔認識用学習データ生成装置１は、顔認識用学習データを生成するものである。
図１に示すように、顔認識用学習データ生成装置１は、データ解析手段１０と、顔画像収集手段１１と、人物ＫＷ対応判定手段１２と、データ統合手段１３と、を備える。
［顔認識用学習データ生成装置の構成］
最初に、図１を参照して、本発明の実施形態に係る顔認識用学習データ生成装置１の構成について説明する。
顔認識用学習データ生成装置１は、顔認識用学習データを生成するものである。
図１に示すように、顔認識用学習データ生成装置１は、データ解析手段１０と、顔画像収集手段１１と、人物ＫＷ対応判定手段１２と、データ統合手段１３と、を備える。
【0018】
データ解析手段１０は、データセットを解析し、人物名を含んだキーワードの中から、人物名のキーワード（以下、人物ＫＷ）と、人物が属するカテゴリ（属性）のキーワード（以下、カテゴリＫＷ）とを抽出するものである。
【0019】
データセットは、人物名を含むキーワードと階層化されたカテゴリとを対応付けた大規模データである。なお、データ構造が既知であれば、どのようなデータセットを用いてもよいが、ここでは、一例としてウィキペディアのデータを用いて説明する。
まず、図２～図４を参照して、データセットのデータ構造の例について説明する。
まず、図２～図４を参照して、データセットのデータ構造の例について説明する。
【0020】
図２は、データセットのデータ構造のうち、ＩＤ（識別子）とキーワードとの対応関係の例を示すキーワードテーブルＴｋのデータ構造図である。ＩＤは、キーワードに個別に付された数字等の識別子である。キーワードは、人物名を含む種々の見出し語の文字列であって、ウィキペディアのページ見出し語である。図２の例では、キーワード「日本の政治家」にＩＤ「ｉｄ１」、キーワード「〇〇太郎」にＩＤ「ｉｄ６」等が対応付けられている。
これによって、人物名を含む種々のキーワードは、ＩＤによって一意に特定されることになる。
これによって、人物名を含む種々のキーワードは、ＩＤによって一意に特定されることになる。
【0021】
図３は、データセットのデータ構造のうち、ＩＤ（識別子）とカテゴリＩＤとの対応関係の例を示すカテゴリテーブルＴｃのデータ構造図である。カテゴリＩＤは、キーワードが属するカテゴリのＩＤを羅列したものである。図３の例では、ＩＤ「ｉｄ６」に、カテゴリＩＤとして、ＩＤ「ｉｄ１，ｉｄ２，ｉｄ３，ｉｄ４，…，ｉｄ８，…」が対応付けられている。これは、ＩＤ「ｉｄ６」に対応するキーワード「〇〇太郎」が、ＩＤ「ｉｄ１」に対応するキーワード（カテゴリＫＷ）「日本の政治家」、ＩＤ「ｉｄ２」に対応するキーワード（カテゴリＫＷ）「各都道府県の政治家」等に属することを意味している。
これによって、キーワードが、どのカテゴリに属するかが特定されることになる。
これによって、キーワードが、どのカテゴリに属するかが特定されることになる。
【0022】
図４は、データセットのデータ構造のうち、カテゴリＫＷのＩＤ（識別子）と上位階層ＩＤとの対応関係の例を示す階層テーブルＴｕのデータ構造図である。上位階層ＩＤは、あるＩＤに対して階層構造として上位の階層のＩＤを羅列したものである。図４の例では、ＩＤ「ｉｄ４」に、上位階層ＩＤとして、ＩＤ「ｉｄ１，ｉｄ２，ｉｄ３」が対応付けられている。これは、ＩＤ「ｉｄ４」に対応するカテゴリＫＷ「東京都選出の国会議員」に対して、ＩＤ「ｉｄ１」に対応するキーワード「日本の政治家」、ＩＤ「ｉｄ２」に対応するキーワード「各都道府県の政治家」、ＩＤ「ｉｄ３」に対応するキーワード「東京都の政治家」がカテゴリとして上位階層であることを意味している。
これによって、キーワードを階層化することができる。
なお、データセットをウィキペディアのデータとした場合、ＩＤに、キーワードを説明する説明文が対応付けられたテーブル等がさらに存在するが、ここでは図示を省略する。
これによって、キーワードを階層化することができる。
なお、データセットをウィキペディアのデータとした場合、ＩＤに、キーワードを説明する説明文が対応付けられたテーブル等がさらに存在するが、ここでは図示を省略する。
【0023】
図１に戻って、顔認識用学習データ生成装置１の構成について説明を続ける。
データ解析手段１０は、カテゴリ階層化手段１００と、人物ＫＷ抽出手段１０１と、カテゴリ情報抽出手段１０２と、を備える。
データ解析手段１０は、カテゴリ階層化手段１００と、人物ＫＷ抽出手段１０１と、カテゴリ情報抽出手段１０２と、を備える。
【0024】
カテゴリ階層化手段１００は、データセットから、カテゴリＩＤと、カテゴリを階層化した位置情報とを対応付けて、カテゴリ階層情報を生成するものである。
具体的には、カテゴリ階層化手段１００は、図４の階層テーブルＴｕを参照して、ＩＤ（識別子）ごとに、順次、再帰的に上位階層ＩＤを対応付けることで、図５に示すような木構造グラフを生成する。ここでは、カテゴリＫＷ「日本の政治家」を最上位の階層とした木構造の例で説明する。
なお、ウィキペディアにおいて、カテゴリの上位下位関係は、有向非巡回型の構成となっており、再帰処理において、同じカテゴリＫＷが出現する可能性があるため、予め最大再帰回数を定めて処理を中止させることとする。
具体的には、カテゴリ階層化手段１００は、図４の階層テーブルＴｕを参照して、ＩＤ（識別子）ごとに、順次、再帰的に上位階層ＩＤを対応付けることで、図５に示すような木構造グラフを生成する。ここでは、カテゴリＫＷ「日本の政治家」を最上位の階層とした木構造の例で説明する。
なお、ウィキペディアにおいて、カテゴリの上位下位関係は、有向非巡回型の構成となっており、再帰処理において、同じカテゴリＫＷが出現する可能性があるため、予め最大再帰回数を定めて処理を中止させることとする。
【0025】
そして、カテゴリ階層化手段１００は、カテゴリＫＷのＩＤと、木構造グラフで構成された各カテゴリＫＷの位置情報とを対応付けてカテゴリ階層情報を生成する。この位置情報は、木構造グラフにおけるノード（カテゴリＫＷに対応）の位置を示す情報であって、例えば、タプル形式で表現することができる。タプル形式の位置情報は、数値列の順に各数値が、木構造グラフの階層ごとに辿るノードの位置を表している。
【0026】
例えば、あるノードの位置情報が（０，２，２５，１１，２）とする。各数値は、最上位の層から順に、親ノードにおいて左から何番目の子ノードであるかを示す。なお、位置情報の１番左の値は、最上位（第１階層）のノード（ルートノード）を示すため‘０’とする。位置情報の２番目の数値‘２’は、ルートノードの１つ下の階層（第２階層）で親ノードの左から２個目の子ノードを示す。
例えば、図５において、ｉｄ１のカテゴリＫＷ「日本の政治家」の位置情報は（０）、ｉｄ３のカテゴリＫＷ「東京都の政治家」の位置情報は（０，１，１）となる。
カテゴリ階層化手段１００は、生成したカテゴリ階層情報（ＩＤおよび位置情報）をカテゴリ情報抽出手段１０２に出力する。
例えば、図５において、ｉｄ１のカテゴリＫＷ「日本の政治家」の位置情報は（０）、ｉｄ３のカテゴリＫＷ「東京都の政治家」の位置情報は（０，１，１）となる。
カテゴリ階層化手段１００は、生成したカテゴリ階層情報（ＩＤおよび位置情報）をカテゴリ情報抽出手段１０２に出力する。
【0027】
人物ＫＷ抽出手段（人物キーワード抽出手段）１０１は、データセットから人物名のキーワード（人物ＫＷ）を抽出するものである。ここでは、人物ＫＷ抽出手段１０１は、データセットから、人物を同定する予め定めた文字列を含むカテゴリに対応するキーワードを、人物ＫＷとして抽出する。
具体的には、人物ＫＷ抽出手段１０１は、予め定めた「年生」、「年没」、「存命人物」といった人物と同定可能な語句が含まれているキーワードを探索し、そのキーワードに対応するＩＤをカテゴリＩＤとして含むキーワードを、人物ＫＷとして抽出する。
具体的には、人物ＫＷ抽出手段１０１は、予め定めた「年生」、「年没」、「存命人物」といった人物と同定可能な語句が含まれているキーワードを探索し、そのキーワードに対応するＩＤをカテゴリＩＤとして含むキーワードを、人物ＫＷとして抽出する。
【0028】
例えば、人物ＫＷ抽出手段１０１は、図２のキーワードテーブルＴｋにおいて、キーワードで語句「年生」等を含んだＩＤを探索する。そして、人物ＫＷ抽出手段１０１は、図３のカテゴリテーブルＴｃにおいて、探索したＩＤ（ここでは、ｉｄ８）をカテゴリＩＤとして含むＩＤをさらに探索する。そして、人物ＫＷ抽出手段１０１は、図２のキーワードテーブルＴｋにおいて、探索したＩＤ（ここでは、ｉｄ６）に対応する「〇〇太郎」を、人物ＫＷとして抽出する。
なお、ウィキペディアにおいて、「年生」、「年没」、「存命人物」のいずれかの語句をカテゴリに含むキーワードが人物ＫＷであると同定する処理は、実験的に１００％の精度であることが確認されている。
なお、ウィキペディアにおいて、「年生」、「年没」、「存命人物」のいずれかの語句をカテゴリに含むキーワードが人物ＫＷであると同定する処理は、実験的に１００％の精度であることが確認されている。
【0029】
もちろん、データセットの人物のキーワードとして、人物名に人物を特定する語句そのものを含んだキーワードを用いてもよい。例えば、「〇〇太郎（人物）」のように、予め定めた語句「人物」を含ませたキーワードとする。この場合、人物ＫＷ抽出手段１０１は、キーワードテーブルＴｋにおいて、語句「人物」を含んだキーワードを人物ＫＷとして抽出すればよい。
人物ＫＷ抽出手段１０１は、抽出した人物ＫＷを、カテゴリ情報抽出手段１０２と、顔画像収集手段１１とに出力する。
人物ＫＷ抽出手段１０１は、抽出した人物ＫＷを、カテゴリ情報抽出手段１０２と、顔画像収集手段１１とに出力する。
【0030】
カテゴリ情報抽出手段１０２は、カテゴリ階層化手段１００で階層化されたカテゴリ階層情報に基づいて、データセットから人物名のキーワードに対応する階層化されたカテゴリをカテゴリ情報として抽出するものである。
このカテゴリ情報抽出手段１０２は、カテゴリ階層情報から、人物ＫＷ抽出手段１０１で抽出された人物ＫＷに対応するカテゴリＩＤを基準として、木構造の上位のＩＤを遡って抽出する。そして、カテゴリ情報抽出手段１０２は、基準のカテゴリＩＤおよび上位のカテゴリＩＤに対応するキーワードを、カテゴリ情報として生成する。
このカテゴリ情報抽出手段１０２は、カテゴリ階層情報から、人物ＫＷ抽出手段１０１で抽出された人物ＫＷに対応するカテゴリＩＤを基準として、木構造の上位のＩＤを遡って抽出する。そして、カテゴリ情報抽出手段１０２は、基準のカテゴリＩＤおよび上位のカテゴリＩＤに対応するキーワードを、カテゴリ情報として生成する。
【0031】
例えば、カテゴリテーブルＴｃ（図３）において、ある人物ＫＷ「△△花子」にカテゴリＩＤとして「ｉｄ５」しか設定されていなかった場合でも、カテゴリ情報抽出手段１０２は、図６に示すように、ＩＤ「ｉｄ５」と、カテゴリ階層情報で上位に階層化されているＩＤ「ｉｄ１，ｉｄ２，ｉｄ３，ｉｄ４」とに対応するキーワードを、カテゴリ情報として生成する。
これによって、カテゴリ情報抽出手段１０２は、人物ＫＷに対して直接対応するカテゴリＫＷ以外に、階層構造の上位のカテゴリＫＷも、人物ＫＷに対応付けることができる。
カテゴリ情報抽出手段１０２は、人物ＫＷとカテゴリ情報とを対応付けて、データ統合手段１３に出力する。
これによって、カテゴリ情報抽出手段１０２は、人物ＫＷに対して直接対応するカテゴリＫＷ以外に、階層構造の上位のカテゴリＫＷも、人物ＫＷに対応付けることができる。
カテゴリ情報抽出手段１０２は、人物ＫＷとカテゴリ情報とを対応付けて、データ統合手段１３に出力する。
【0032】
なお、カテゴリ情報の各キーワードには、木構造の位置情報を付加してもよい。これによって、生成する顔認識用学習データにおいて、学習データを階層化してデータベースを構築することが可能になる。
【0033】
顔画像収集手段１１は、人物ＫＷに対応する顔画像を収集するものである。
顔画像収集手段１１は、Ｗｅｂ検索手段１１０と、顔画像抽出手段１１１と、を備える。
顔画像収集手段１１は、Ｗｅｂ検索手段１１０と、顔画像抽出手段１１１と、を備える。
【0034】
Ｗｅｂ検索手段１１０は、ネットワーク（インターネット）Ｎ上で文書を公開、閲覧するシステムであるＷｅｂ上で、人物名のキーワードに関連する文書（Ｗｅｂ文書）を検索して収集するものである。
Ｗｅｂ検索手段１１０は、ネットワークＮを介して、一般的な検索エンジンによって、ＷｅｂサーバＳから、データ解析手段１０の人物ＫＷ抽出手段１０１で抽出された人物ＫＷに関連するＷｅｂ文書を検索し、収集する。なお、検索エンジンによる人物ＫＷの検索は、一般的なＷｅｂスクレイピング（Ｗｅｂ ｓｃｒａｐｉｎｇ）の技術を用いればよい。
このＷｅｂ検索手段１１０によって収集されるＷｅｂ文書には、人物ＫＷの顔を含んだ画像、顔以外の画像、テキストデータ等が含まれている。
Ｗｅｂ検索手段１１０は、収集したＷｅｂ文書を顔画像抽出手段１１１に出力する。
Ｗｅｂ検索手段１１０は、ネットワークＮを介して、一般的な検索エンジンによって、ＷｅｂサーバＳから、データ解析手段１０の人物ＫＷ抽出手段１０１で抽出された人物ＫＷに関連するＷｅｂ文書を検索し、収集する。なお、検索エンジンによる人物ＫＷの検索は、一般的なＷｅｂスクレイピング（Ｗｅｂ ｓｃｒａｐｉｎｇ）の技術を用いればよい。
このＷｅｂ検索手段１１０によって収集されるＷｅｂ文書には、人物ＫＷの顔を含んだ画像、顔以外の画像、テキストデータ等が含まれている。
Ｗｅｂ検索手段１１０は、収集したＷｅｂ文書を顔画像抽出手段１１１に出力する。
【0035】
顔画像抽出手段１１１は、Ｗｅｂ検索手段１１０で収集されたＷｅｂ文書に含まれる画像から、顔認識により顔画像を抽出するものである。
顔画像抽出手段１１１は、一般的な顔認識処理によって、Ｗｅｂ文書に含まれる画像において顔を検出し、一人の顔が写っている画像のみを抽出する。
顔画像抽出手段１１１は、人物ＫＷとともに、抽出した顔画像と顔画像を抽出したＷｅｂ文書とを人物ＫＷ対応判定手段１２に出力する。
顔画像抽出手段１１１は、一般的な顔認識処理によって、Ｗｅｂ文書に含まれる画像において顔を検出し、一人の顔が写っている画像のみを抽出する。
顔画像抽出手段１１１は、人物ＫＷとともに、抽出した顔画像と顔画像を抽出したＷｅｂ文書とを人物ＫＷ対応判定手段１２に出力する。
【0036】
人物ＫＷ対応判定手段（人物キーワード対応判定手段）１２は、顔画像収集手段１１で収集した顔画像が、人物ＫＷの人物の顔画像であるか否かを判定するものである。
人物ＫＷ対応判定手段１２は、特徴量抽出手段１２０と、クラスタリング手段１２１と、関連度設定手段１２２と、判定手段１２３と、を備える。
人物ＫＷ対応判定手段１２は、特徴量抽出手段１２０と、クラスタリング手段１２１と、関連度設定手段１２２と、判定手段１２３と、を備える。
【0037】
特徴量抽出手段１２０は、顔画像収集手段１１で収集された顔画像から特徴量（顔特徴量）を抽出するものである。
例えば、特徴量抽出手段１２０は、図７に示すような複数の畳み込み層ＣＬ（ＣＬ１，ＣＬ２，…）を備えた、予め学習した畳み込みニューラルネットワークＮＮを用いて、顔画像Ｉに対して複数の畳み込み演算を行うことで、顔特徴量Ｆを抽出する。この顔特徴量Ｆは、例えば５００程度の次元数である。
この畳み込みニューラルネットワークＮＮは、例えば、ＶＧＧ（Visual Geometry Group）１９等の一般的な物体認識ネットワークの特徴抽出部分のネットワークを用いることができる。
特徴量抽出手段１２０は、人物ＫＷに対応する複数の顔画像から抽出した顔特徴量｛ｆ１，ｆ２，…，ｆｎ｝（ｎは顔画像の数）を、人物ＫＷごとにクラスタリング手段１２１に出力する。
例えば、特徴量抽出手段１２０は、図７に示すような複数の畳み込み層ＣＬ（ＣＬ１，ＣＬ２，…）を備えた、予め学習した畳み込みニューラルネットワークＮＮを用いて、顔画像Ｉに対して複数の畳み込み演算を行うことで、顔特徴量Ｆを抽出する。この顔特徴量Ｆは、例えば５００程度の次元数である。
この畳み込みニューラルネットワークＮＮは、例えば、ＶＧＧ（Visual Geometry Group）１９等の一般的な物体認識ネットワークの特徴抽出部分のネットワークを用いることができる。
特徴量抽出手段１２０は、人物ＫＷに対応する複数の顔画像から抽出した顔特徴量｛ｆ１，ｆ２，…，ｆｎ｝（ｎは顔画像の数）を、人物ＫＷごとにクラスタリング手段１２１に出力する。
【0038】
クラスタリング手段１２１は、特徴量抽出手段１２０で抽出された顔特徴量をクラスタリングするものである。
このクラスタリング手段１２１におけるクラスタリングの手法は、一般的な手法を用いればよい。例えば、クラスタリング手段１２１は、クラス数も同時に求めることができるＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）法を用いて、顔画像の数の顔特徴量｛ｆ１，ｆ２，…，ｆｎ｝をクラスタリングする。
このクラスタリング手段１２１におけるクラスタリングの手法は、一般的な手法を用いればよい。例えば、クラスタリング手段１２１は、クラス数も同時に求めることができるＤＢＳＣＡＮ（Density-Based Spatial Clustering of Applications with Noise）法を用いて、顔画像の数の顔特徴量｛ｆ１，ｆ２，…，ｆｎ｝をクラスタリングする。
【0039】
図８に、クラスタリング手段１２１によって、クラスタリングされた顔特徴量の概念を示す。図８は、顔特徴量｛ｆ１，ｆ２，…，ｆ９｝が、３つのクラス（Ｃ１，Ｃ２，Ｃ３）に分類され、クラスＣ１に顔特徴量｛ｆ１，ｆ４，ｆ５，ｆ９｝、クラスＣ２に顔特徴量｛ｆ６，ｆ８｝、クラスＣ３に顔特徴量｛ｆ２，ｆ３，ｆ７｝が分類された状態を示している。
これによって、クラスタリング手段１２１は、複数の顔特徴量を、人物ＫＷに対応する人物のグループやそれ以外のグループ、あるいは、同じ人物ＫＷに対応する人物であっても、正面を向いた顔、横を向いた顔等、複数のグループに分けることができる。
クラスタリング手段１２１は、クラスタリング結果を判定手段１２３に出力する。
これによって、クラスタリング手段１２１は、複数の顔特徴量を、人物ＫＷに対応する人物のグループやそれ以外のグループ、あるいは、同じ人物ＫＷに対応する人物であっても、正面を向いた顔、横を向いた顔等、複数のグループに分けることができる。
クラスタリング手段１２１は、クラスタリング結果を判定手段１２３に出力する。
【0040】
関連度設定手段１２２は、顔特徴量を抽出した顔画像を含むＷｅｂ文書に基づいて、顔特徴量と人物名との関連の度合いを示す関連度を顔特徴量に対応付けて設定するものである。
この関連度設定手段１２２は、予め定めた判定基準に基づいて、関連度を設定する。ここでは、関連度設定手段１２２は、判定基準に基づいて、予め定めた初期値（例えば、“０”）の関連度に対して、関連度を増加させる。
この関連度設定手段１２２は、予め定めた判定基準に基づいて、関連度を設定する。ここでは、関連度設定手段１２２は、判定基準に基づいて、予め定めた初期値（例えば、“０”）の関連度に対して、関連度を増加させる。
【0041】
例えば、関連度設定手段１２２は、顔画像を抽出したＷｅｂ文書が人物ＫＷを見出し語とするウィキペディア文書である場合、関連度に予め定めた数を加算する。
また、例えば、関連度設定手段１２２は、Ｗｅｂ文書内の画像を示すタグに人物ＫＷの記述がある場合、関連度に予め定めた数を加算する。
また、例えば、関連度設定手段１２２は、Ｗｅｂ文書と、データセットに含まれている人物ＫＷを説明する説明文とが類似する場合、関連度に予め定めた数を加算する。この類似は、例えば、Ｗｅｂ文書と説明文とで共通する単語の数が予め定めた数よりも多い場合、Ｗｅｂ文書および説明文の全単語数に対する共通する単語の数の割合が予め定めた割合よりも多い場合等で判定することができる。
また、Ｗｅｂ文書がウィキペディアのように予めカテゴライズされている場合、人物ＫＷのカテゴリ情報との重なり具合を求めて関連度に加算することで関連度を更新することも可能である。
以上の関連度計算では、関連度を計算する要素である文章中の単語や画像特徴量をＷＯＲＤ２ＶＥＣ、ＰＣＡ（Principal Component Analysis）等で共通の次元空間にベクトル変換してコサイン類似度等の類似度計算処理を施して求めることも可能である。
関連度設定手段１２２は、人物ＫＷに対応する複数の顔特徴量に設定した関連度Ｗ｛ｗ１，ｗ２，…，ｗｎ｝（ｎは顔画像の数）を、人物ＫＷごとに判定手段１２３に出力する。
また、例えば、関連度設定手段１２２は、Ｗｅｂ文書内の画像を示すタグに人物ＫＷの記述がある場合、関連度に予め定めた数を加算する。
また、例えば、関連度設定手段１２２は、Ｗｅｂ文書と、データセットに含まれている人物ＫＷを説明する説明文とが類似する場合、関連度に予め定めた数を加算する。この類似は、例えば、Ｗｅｂ文書と説明文とで共通する単語の数が予め定めた数よりも多い場合、Ｗｅｂ文書および説明文の全単語数に対する共通する単語の数の割合が予め定めた割合よりも多い場合等で判定することができる。
また、Ｗｅｂ文書がウィキペディアのように予めカテゴライズされている場合、人物ＫＷのカテゴリ情報との重なり具合を求めて関連度に加算することで関連度を更新することも可能である。
以上の関連度計算では、関連度を計算する要素である文章中の単語や画像特徴量をＷＯＲＤ２ＶＥＣ、ＰＣＡ（Principal Component Analysis）等で共通の次元空間にベクトル変換してコサイン類似度等の類似度計算処理を施して求めることも可能である。
関連度設定手段１２２は、人物ＫＷに対応する複数の顔特徴量に設定した関連度Ｗ｛ｗ１，ｗ２，…，ｗｎ｝（ｎは顔画像の数）を、人物ＫＷごとに判定手段１２３に出力する。
【0042】
判定手段１２３は、クラスタリング手段１２１でクラスタリングされた各クラスに属する顔特徴量に設定された関連度に基づいて、各クラスが人物名に対応するクラスか否かを判定するものである。
この判定手段１２３は、クラスタリングされたクラスごとに、当該クラスに属する顔特徴量に対して、関連度設定手段１２２で設定された関連度の総和を算出し、その総和が予め定めた基準を満たすクラスを、人物ＫＷに対応するクラスであると判定する。
この判定手段１２３は、クラスタリングされたクラスごとに、当該クラスに属する顔特徴量に対して、関連度設定手段１２２で設定された関連度の総和を算出し、その総和が予め定めた基準を満たすクラスを、人物ＫＷに対応するクラスであると判定する。
【0043】
例えば、ある人物ＫＷにおけるクラスタリング結果が、図８に示した状態であったとする。また、顔特徴量｛ｆ１，ｆ２，…，ｆ９｝に設定された人物ＫＷの関連度が｛ｗ１，ｗ２，…，ｗ９｝であったとする。この場合、判定手段１２３は、クラスＣ１の関連度の総和Ｗ１をｗ１＋ｗ４＋ｗ５＋ｗ９とし、クラスＣ２の関連度の総和Ｗ２をｗ６＋ｗ８とし、クラスＣ３の関連度の総和Ｗ３をｗ２＋ｗ３＋ｗ７として算出する。
【0044】
また、判定手段１２３は、判定基準として、例えば、クラスごとの関連度の総和が、予め定めた閾値を超えたか否か、あるいは、クラスごとの関連度の総和が他のクラスの総和よりも予め定めた閾値よりも差が大きいか否か等によって、各クラスが人物ＫＷに対応するクラスであるか否かを判定する。
判定手段１２３は、人物ＫＷと、人物ＫＷのクラスと判定された顔特徴量とを対応付けて、データ統合手段１３に出力する。
判定手段１２３は、人物ＫＷと、人物ＫＷのクラスと判定された顔特徴量とを対応付けて、データ統合手段１３に出力する。
【0045】
データ統合手段１３は、データ解析手段１０で生成された人物ＫＷに対応するカテゴリ情報と、人物ＫＷ対応判定手段１２で人物ＫＷに対応すると判定された顔特徴量とを統合して、顔認識用学習データを生成するものである。
このデータ統合手段１３は、図９に示すように、人物ＫＷごとに、顔特徴量Ｆとカテゴリ情報ＣＩとを連結することで、顔認識用学習データを生成する。なお、カテゴリ情報ＣＩの各キーワードには、木構造の位置情報を付加してもよい。
また、データ統合手段１３は、顔特徴量に代えて、あるいは、顔特徴量とともに、顔特徴量を抽出した顔画像を顔認識用学習データに付加することとしてもよい。
このデータ統合手段１３は、図９に示すように、人物ＫＷごとに、顔特徴量Ｆとカテゴリ情報ＣＩとを連結することで、顔認識用学習データを生成する。なお、カテゴリ情報ＣＩの各キーワードには、木構造の位置情報を付加してもよい。
また、データ統合手段１３は、顔特徴量に代えて、あるいは、顔特徴量とともに、顔特徴量を抽出した顔画像を顔認識用学習データに付加することとしてもよい。
【0046】
以上説明したように構成することで、顔認識用学習データ生成装置１は、人の手間をかけずに、顔画像を収集して、人物ＫＷやカテゴリ情報を付加した顔認識用の学習データを生成することができる。
また、顔認識用学習データ生成装置１は、多岐にわたるカテゴリの顔画像を収集するとともに、階層化されたカテゴリの顔画像を収集することができる。これによって、顔認識用学習データ生成装置１は、網羅的かつ組織的に体系付けられた学習データを生成することができる。
なお、顔認識用学習データ生成装置１は、コンピュータを前記した各手段として機能させるためのプログラム（顔認識用学習データ生成プログラム）で動作させることができる。
また、顔認識用学習データ生成装置１は、多岐にわたるカテゴリの顔画像を収集するとともに、階層化されたカテゴリの顔画像を収集することができる。これによって、顔認識用学習データ生成装置１は、網羅的かつ組織的に体系付けられた学習データを生成することができる。
なお、顔認識用学習データ生成装置１は、コンピュータを前記した各手段として機能させるためのプログラム（顔認識用学習データ生成プログラム）で動作させることができる。
【0047】
［顔認識用学習データ生成装置の動作］
次に、図１０を参照（構成については、適宜図１参照）して、本発明の実施形態に係る顔認識用学習データ生成装置１の動作について説明する。
ステップＳ１において、データ解析手段１０のカテゴリ階層化手段１００は、データセットを解析し、カテゴリを階層化する。ここでは、カテゴリ階層化手段１００は、階層テーブルＴｕ（図４）を参照して、ＩＤ（識別子）ごとに、順次、再帰的に上位階層ＩＤを対応付けることで、カテゴリを階層化し、ＩＤおよび位置情報を木構造グラフのノードに対応付けたカテゴリ階層情報（図５）を生成する。
次に、図１０を参照（構成については、適宜図１参照）して、本発明の実施形態に係る顔認識用学習データ生成装置１の動作について説明する。
ステップＳ１において、データ解析手段１０のカテゴリ階層化手段１００は、データセットを解析し、カテゴリを階層化する。ここでは、カテゴリ階層化手段１００は、階層テーブルＴｕ（図４）を参照して、ＩＤ（識別子）ごとに、順次、再帰的に上位階層ＩＤを対応付けることで、カテゴリを階層化し、ＩＤおよび位置情報を木構造グラフのノードに対応付けたカテゴリ階層情報（図５）を生成する。
【0048】
ステップＳ２において、データ解析手段１０の人物ＫＷ抽出手段１０１は、データセットを解析し、データセットのキーワードから、人物ＫＷを抽出する。ここでは、人物ＫＷ抽出手段１０１は、キーワードテーブルＴｋ（図２）において、「年生」、「年没」、「存命人物」のいずれかの語句を含んだＩＤがカテゴリテーブルＴｃ（図３）に含まれているキーワードを、人物ＫＷとして抽出する。
【0049】
ステップＳ３において、データ解析手段１０のカテゴリ情報抽出手段１０２は、ステップＳ１で生成されたカテゴリ階層情報に基づいて、データセットから、ステップＳ２で抽出された人物ＫＷに対応するカテゴリＫＷを抽出し、人物ＫＷのカテゴリ情報（図６）を生成する。
【0050】
ステップＳ４において、顔画像収集手段１１のＷｅｂ検索手段１１０は、ネットワークＮを介して、ＷｅｂサーバＳから、ステップＳ２で抽出された人物ＫＷに対応するＷｅｂ文書を収集する。ここでは、Ｗｅｂ検索手段１１０は、人物ＫＷによりＷｅｂスクレイピングによって、Ｗｅｂ文書を収集する。
【0051】
ステップＳ５において、顔画像収集手段１１の顔画像抽出手段１１１は、ステップＳ４で収集されたＷｅｂ文書に含まれる画像から、顔画像を抽出する。ここでは、顔画像抽出手段１１１は、顔認識によりＷｅｂ文書から顔を検出し、一人の顔が写っている画像のみを抽出する。
【0052】
ステップＳ６において、人物ＫＷ対応判定手段１２の特徴量抽出手段１２０は、ステップＳ５で抽出された顔画像から、特徴量（顔特徴量）を抽出する。ここでは、特徴量抽出手段１２０は、予め学習した畳み込みニューラルネットワークを用いて、顔画像から顔特徴量を抽出する。
ステップＳ７において、人物ＫＷ対応判定手段１２のクラスタリング手段１２１は、ステップＳ６で抽出された顔特徴量をクラスタリングする。
ステップＳ７において、人物ＫＷ対応判定手段１２のクラスタリング手段１２１は、ステップＳ６で抽出された顔特徴量をクラスタリングする。
【0053】
ステップＳ８において、人物ＫＷ対応判定手段１２の関連度設定手段１２２は、ステップＳ６で抽出された顔特徴量と、人物ＫＷとの関連度を設定する。例えば、関連度設定手段１２２は、Ｗｅｂ文書が人物ＫＷを見出し語とするウィキペディア文書である場合等、Ｗｅｂ文書と人物ＫＷとの関連が大きいほど、関連度の値を大きく設定する。
【0054】
ステップＳ９において、人物ＫＷ対応判定手段１２の判定手段１２３は、ステップＳ７でクラスタリングされたクラスごとに、ステップＳ８で設定された関連度に基づいて、当該クラスが人物ＫＷに対応するクラスか否かを判定する。ここでは、判定手段１２３は、当該クラスに含まれる顔特徴量に対する関連度の総和を算出し、その関連度の総和が予め定めた閾値よりも大きいクラスを人物ＫＷに対応するクラスと判定する。
【0055】
ステップＳ１０において、データ統合手段１３は、人物ＫＷごとに、ステップＳ３で人物ＫＷに対応して生成されたカテゴリ情報と、ステップＳ９で人物ＫＷのクラスと判定されたクラスに属する顔特徴量とを統合し、顔認識用学習データ（図９）を生成する。
以上の動作によって、顔認識用学習データ生成装置１は、人物ＫＷに対応する顔画像を自動収集して、顔認識用学習データを生成することができる。
以上の動作によって、顔認識用学習データ生成装置１は、人物ＫＷに対応する顔画像を自動収集して、顔認識用学習データを生成することができる。
【0056】
［顔認識装置の構成］
次に、図１１を参照して、本発明の実施形態に係る顔認識装置２の構成について説明する。
顔認識装置２は、映像内に映った人物の顔を認識するものである。
図１１に示すように、顔認識装置２は、顔認識用学習データ記憶手段２０と、顔検出手段２１と、特徴量抽出手段２２と、類似度算出手段２３と、人物特定手段２４と、を備える。
次に、図１１を参照して、本発明の実施形態に係る顔認識装置２の構成について説明する。
顔認識装置２は、映像内に映った人物の顔を認識するものである。
図１１に示すように、顔認識装置２は、顔認識用学習データ記憶手段２０と、顔検出手段２１と、特徴量抽出手段２２と、類似度算出手段２３と、人物特定手段２４と、を備える。
【0057】
顔認識用学習データ記憶手段２０は、顔認識用学習データを記憶するものであって、ハードディスク等の一般的な記憶媒体で構成することができる。
この顔認識用学習データ記憶手段２０には、図１で説明した顔認識用学習データ生成装置１で生成された顔認識用学習データを予め記憶しておく。
顔認識用学習データは、図９に示したように、人物ＫＷに顔特徴量Ｆとカテゴリ情報ＣＩとを対応付けたデータベースである。
この顔認識用学習データ記憶手段２０には、図１で説明した顔認識用学習データ生成装置１で生成された顔認識用学習データを予め記憶しておく。
顔認識用学習データは、図９に示したように、人物ＫＷに顔特徴量Ｆとカテゴリ情報ＣＩとを対応付けたデータベースである。
【0058】
顔検出手段２１は、入力された映像に映る顔を検出するものである。この顔検出手段２１は、一般的な顔認識処理によって、映像内の顔を認識する。
顔検出手段２１は、検出した顔の領域（顔画像）を映像からフレームごとに抽出し、特徴量抽出手段２２に出力する。
顔検出手段２１は、検出した顔の領域（顔画像）を映像からフレームごとに抽出し、特徴量抽出手段２２に出力する。
【0059】
特徴量抽出手段２２は、顔検出手段２１で検出された顔画像から顔特徴量を抽出するものである。この特徴量抽出手段２２は、図１で説明した顔認識用学習データ生成装置１の特徴量抽出手段１２０と同じ手法で顔特徴量を抽出することとする。
特徴量抽出手段２２は、抽出した１つまたは複数の顔特徴量を類似度算出手段２３に出力する。
特徴量抽出手段２２は、抽出した１つまたは複数の顔特徴量を類似度算出手段２３に出力する。
【0060】
類似度算出手段２３は、特徴量抽出手段２２で抽出された顔特徴量と、顔認識用学習データ記憶手段２０に記憶されている顔特徴量との類似の度合い（類似度）を算出するものである。
ここでは、類似度算出手段２３は、顔認識用学習データ記憶手段２０に記憶されている顔特徴量のうちで、外部から指定されたカテゴリ情報（キーワード）に該当する顔特徴量について類似度を算出する。
例えば、カテゴリ情報として、キーワード「東京都の政治家」が指定された場合、類似度算出手段２３は、顔認識用学習データ記憶手段２０に記憶されている顔認識用学習データのうちで、カテゴリ情報に「東京都の政治家」のキーワードを含む学習データの顔特徴量のみを類似度の算出対象とする。
ここでは、類似度算出手段２３は、顔認識用学習データ記憶手段２０に記憶されている顔特徴量のうちで、外部から指定されたカテゴリ情報（キーワード）に該当する顔特徴量について類似度を算出する。
例えば、カテゴリ情報として、キーワード「東京都の政治家」が指定された場合、類似度算出手段２３は、顔認識用学習データ記憶手段２０に記憶されている顔認識用学習データのうちで、カテゴリ情報に「東京都の政治家」のキーワードを含む学習データの顔特徴量のみを類似度の算出対象とする。
【0061】
なお、類似度算出手段２３における類似度の算出手法は、一般的な手法を用いればよく、例えば、特徴量抽出手段２２で抽出された顔特徴量のベクトルと、顔認識用学習データ記憶手段２０に記憶されている顔特徴量のベクトルとのコサイン類似度によって算出することができる。
類似度算出手段２３は、算出した類似度と、類似度の算出に用いた顔認識用学習データの人物ＫＷを人物特定手段２４に出力する。
類似度算出手段２３は、算出した類似度と、類似度の算出に用いた顔認識用学習データの人物ＫＷを人物特定手段２４に出力する。
【0062】
人物特定手段２４は、類似度算出手段２３で算出された類似度に基づいて、人物を特定するものである。
この人物特定手段２４は、類似度算出手段２３で算出された類似度が予め定めた閾値よりも大きいものを抽出する。そして、人物特定手段２４は、抽出した類似度をソートし、類似度が高い方から順に、類似度の算出に用いた顔認識用学習データの人物ＫＷを認識結果として出力する。もちろん、簡易的に、最も類似度の高い人物ＫＷのみを出力することとしてもよい。
この人物特定手段２４は、類似度算出手段２３で算出された類似度が予め定めた閾値よりも大きいものを抽出する。そして、人物特定手段２４は、抽出した類似度をソートし、類似度が高い方から順に、類似度の算出に用いた顔認識用学習データの人物ＫＷを認識結果として出力する。もちろん、簡易的に、最も類似度の高い人物ＫＷのみを出力することとしてもよい。
【0063】
なお、人物特定手段２４は、人物ＫＷに関連付けて、指定されたカテゴリ情報のキーワード、あるいは、顔認識用学習データ記憶手段２０に記憶されている人物ＫＷに対応付けられているすべてのカテゴリ情報のキーワードを出力することとしてもよい。
これによって、顔認識装置２で認識された人物ＫＷに対して、カテゴリ情報に基づくメタデータを付加させることが可能になる。
また、顔認識用学習データ記憶手段２０に記憶されている顔認識用学習データのカテゴリ情報に、木構造の位置情報が付加されている場合、人物特定手段２４は、カテゴリ情報に加えて、位置情報を人物ＫＷに関連付けて出力することとしてもよい。
これによって、顔認識装置２で認識された人物ＫＷに対して、カテゴリ情報に基づくメタデータを付加させることが可能になる。
また、顔認識用学習データ記憶手段２０に記憶されている顔認識用学習データのカテゴリ情報に、木構造の位置情報が付加されている場合、人物特定手段２４は、カテゴリ情報に加えて、位置情報を人物ＫＷに関連付けて出力することとしてもよい。
【0064】
以上説明したように構成することで、顔認識装置２は、カテゴリ情報を指定して顔認識を行うことができ、顔認識の精度を高めることができる。
なお、顔認識装置２は、コンピュータを前記した各手段として機能させるためのプログラム（顔認識プログラム）で動作させることができる。
なお、顔認識装置２は、コンピュータを前記した各手段として機能させるためのプログラム（顔認識プログラム）で動作させることができる。
【0065】
［顔認識装置の動作］
次に、図１２を参照（構成については、適宜図１１参照）して、本発明の実施形態に係る顔認識装置２の動作について説明する。なお、顔認識用学習データ記憶手段２０には、顔認識用学習データ生成装置１（図１）で生成された顔認識用学習データが予め記憶されているものとする。
次に、図１２を参照（構成については、適宜図１１参照）して、本発明の実施形態に係る顔認識装置２の動作について説明する。なお、顔認識用学習データ記憶手段２０には、顔認識用学習データ生成装置１（図１）で生成された顔認識用学習データが予め記憶されているものとする。
【0066】
ステップＳ２０において、顔検出手段２１は、入力された映像に映る顔を検出する。このとき、顔検出手段２１は、検出した顔の領域を顔画像として抽出する。
ステップＳ２１において、特徴量抽出手段２２は、ステップＳ２０で検出した顔の領域（顔画像）から特徴量（顔特徴量）を抽出する。
ステップＳ２１において、特徴量抽出手段２２は、ステップＳ２０で検出した顔の領域（顔画像）から特徴量（顔特徴量）を抽出する。
【0067】
ステップＳ２２において、類似度算出手段２３は、ステップＳ２１で抽出された顔特徴量と、顔認識用学習データ記憶手段２０に記憶され、外部から指定されたカテゴリ情報（キーワード）に該当する顔特徴量との類似の度合い（類似度）を算出する。
ステップＳ２３において、人物特定手段２４は、ステップＳ２２で算出された類似度に基づいて、人物を特定する。このとき、人物特定手段２４は、類似度が予め定めた閾値よりも大きいものを抽出しソートを行い、類似度が高い人物ＫＷから順に認識結果として出力する。
以上の動作によって、顔認識装置２は、カテゴリを限定して、映像から顔を認識することができる。
ステップＳ２３において、人物特定手段２４は、ステップＳ２２で算出された類似度に基づいて、人物を特定する。このとき、人物特定手段２４は、類似度が予め定めた閾値よりも大きいものを抽出しソートを行い、類似度が高い人物ＫＷから順に認識結果として出力する。
以上の動作によって、顔認識装置２は、カテゴリを限定して、映像から顔を認識することができる。
【0068】
以上、本発明の実施形態について説明したが、本発明は、この実施形態に限定されるものではない。
この実施形態では、データセットには人物名を含むキーワードがあり、人物名のキーワードを用いて対象人物を特定するものとして説明した。しかし、対象人物を特定できるものであれば、キーワードは人物名でなくてもかまわない。例えば、キーワードは人物を表す番号であってもよい。例えば、人物を特定できるマイナンバー等の指標である。また、データセットの文章自体が、個人を特定できないように人物名が別の指標に置き換えられていてもかまわない。
この実施形態では、データセットには人物名を含むキーワードがあり、人物名のキーワードを用いて対象人物を特定するものとして説明した。しかし、対象人物を特定できるものであれば、キーワードは人物名でなくてもかまわない。例えば、キーワードは人物を表す番号であってもよい。例えば、人物を特定できるマイナンバー等の指標である。また、データセットの文章自体が、個人を特定できないように人物名が別の指標に置き換えられていてもかまわない。
【0069】
また、この実施形態では、顔画像を含む文書を、Ｗｅｂ上で検索して収集するものとして説明した。しかし、顔画像を含む文書は、Ｗｅｂ上で検索して収集するものに限らず、顔画像とその顔に関連する文書データが含まれていれば何でもかまわない。例えば、顔画像を含む文書は、予め蓄積媒体に保存された文書でもかまわないし、外部から文書を読み込む形態であってもかまわない。したがって、Ｗｅｂ検索手段１１０は、Ｗｅｂ上の検索に限定されず、収集手段として構成することができる。なお、ここでの文書は、テキスト、画像、音声を含むマルチメディア文書である。
【0070】
また、この実施形態では、判定手段１２３は、クラスタリングされたクラスごとの関連度の総和を算出し、その算出された値で判定するものとして説明した。しかし、判定に用いる指標は、クラスごとの関連度の総和には限定されない。判定に用いる指標は、人物ＫＷに対応すると判定できる指標であればかまわない。例えば、その指標は、クラスの関連度の平均値、クラスに属する顔特徴量の最大値等であってもよい。
【符号の説明】
【0071】
１ 顔認識用学習データ生成装置
１０ データ解析手段
１００ カテゴリ階層化手段
１０１ 人物ＫＷ抽出手段
１０２ カテゴリ情報抽出手段
１１ 顔画像収集手段
１１０ Ｗｅｂ検索手段（収集手段）
１１１ 顔画像抽出手段
１２ 人物ＫＷ対応判定手段
１２０ 特徴量抽出手段
１２１ クラスタリング手段
１２２ 関連度設定手段
１２３ 判定手段
１３ データ統合手段
２ 顔認識装置
２０ 顔認識用学習データ記憶手段
２１ 顔検出手段
２２ 特徴量抽出手段
２３ 類似度算出手段
２４ 人物特定手段
１０ データ解析手段
１００ カテゴリ階層化手段
１０１ 人物ＫＷ抽出手段
１０２ カテゴリ情報抽出手段
１１ 顔画像収集手段
１１０ Ｗｅｂ検索手段（収集手段）
１１１ 顔画像抽出手段
１２ 人物ＫＷ対応判定手段
１２０ 特徴量抽出手段
１２１ クラスタリング手段
１２２ 関連度設定手段
１２３ 判定手段
１３ データ統合手段
２ 顔認識装置
２０ 顔認識用学習データ記憶手段
２１ 顔検出手段
２２ 特徴量抽出手段
２３ 類似度算出手段
２４ 人物特定手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】