特開 2025-1350 サーバ装置、情報処理システム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025001350

(43)【公開日】2025-01-08

(54)【発明の名称】サーバ装置、情報処理システム及び情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241225BHJP

【ＦＩ】

G06T7/00 660A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023100875

(22)【出願日】2023-06-20

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】瀬古 顕子

(72)【発明者】

【氏名】祝 克人

(72)【発明者】

【氏名】村田 時生

(72)【発明者】

【氏名】永津 正浩

(72)【発明者】

【氏名】頓所 詩織

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA21

5L096DA01

5L096DA03

5L096FA09

5L096FA64

5L096FA67

5L096GA51

5L096KA03

5L096KA11

5L096MA07

(57)【要約】

【課題】大量の顔画像の一括登録後またはシステムが自動登録した顔画像の確認作業をより効率よく行うことができるサーバ装置、情報処理システム及び情報処理方法を提供する。
【解決手段】実施形態のサーバ装置は、顔画像登録制御部と検出部と適正度算出部と表示制御部とを備える。顔画像登録制御部は、人物の顔を含む顔画像の登録を受け付ける。検出部は、前記顔画像の特徴点を検出し、前記特徴点に基づき、前記顔画像から人物の顔を示す領域を検出する。適正度算出部は、前記人物の顔を示す領域から検出される情報に基づき、顔辞書に登録される顔画像の適正度を算出する。表示制御部は、前記適正度が低い順に前記顔画像を確認する第１表示情報を、表示装置に表示する。
【選択図】図３

【特許請求の範囲】

【請求項1】

人物の顔を含む顔画像の登録を受け付ける顔画像登録制御部と、
前記顔画像の特徴点を検出し、前記特徴点に基づき、前記顔画像から人物の顔を示す領域を検出する検出部と、
前記人物の顔を示す領域から検出される情報に基づき、顔辞書に登録される顔画像の適正度を算出する適正度算出部と、
前記適正度が低い順に前記顔画像を確認する第１表示情報を、表示装置に表示する表示制御部と、
を備えるサーバ装置。

【請求項2】

前記顔画像登録制御部は、複数の顔画像を一括で受け付け、
前記表示制御部は、前記複数の顔画像を、前記適正度が低い順に前記表示装置に表示する、
請求項１に記載のサーバ装置。

【請求項3】

前記検出部は、前記顔画像が辞書登録条件を満たすか否かを判定し、
前記第１表示情報は、前記辞書登録条件を満たさない顔画像をエラー表示するエラー画像領域と、前記適正度が低い順に前記顔画像を確認する確認領域とを含み、
請求項１又は２に記載のサーバ装置。

【請求項4】

前記確認領域は、前記適正度が閾値以下の顔画像を表示する注意画像領域と、前記適正度が前記閾値より高い正常画像領域とを含み、
前記表示制御部は、前記注意画像領域の次に、前記正常画像領域を表示する、
請求項３に記載のサーバ装置。

【請求項5】

前記表示制御部は、前記エラー画像領域を、警告を促す第１表示色で表示し、前記注意画像領域を、要確認を促す第２表示色で表示し、前記正常画像領域を、正常な顔画像であることを示す第３表示色で表示する、
請求項４に記載のサーバ装置。

【請求項6】

前記顔辞書には、１名につき、少なくとも１枚の顔画像が登録され、
前記第１表示情報は、複数の顔画像が前記顔辞書に登録されている人物については、前記適正度がより低い代表顔画像を含む、
請求項１又は２に記載のサーバ装置。

【請求項7】

前記表示制御部は、前記代表顔画像が選択された場合、前記代表顔画像を含む同一人物の複数の顔画像を確認する第２表示情報を更に表示し、
前記第２表示情報は、前記同一人物の複数の顔画像を前記適正度が低い順に表示する、
請求項６に記載のサーバ装置。

【請求項8】

前記適正度算出部は、前記人物の顔を示す領域から検出される目、鼻及び口の特徴点に基づき、前記適正度を算出する、
請求項１又は２に記載のサーバ装置。

【請求項9】

前記顔辞書に登録された顔画像の特徴量と、コンテンツデータに含まれる人物の顔の特徴量とを照合し類似度を算出する類似度算出部と、
前記類似度を示す情報と、前記類似度により特定された人物を示す情報とを含む出力情報を出力する出力制御部と、
を更に備える請求項１又は２に記載のサーバ装置。

【請求項10】

前記コンテンツデータは、リアルタイムに前記サーバ装置に入力される入力映像であり、
前記類似度算出部は、前記顔辞書に登録された顔画像の特徴量と、前記入力映像に含まれる人物の顔とを照合し類似度を算出する、
請求項９に記載のサーバ装置。

【請求項11】

前記コンテンツデータに含まれる人物の顔の特徴量に基づき、前記コンテンツデータに含まれる人物の顔画像を人物ごとに集約する顔クラスタリング処理部を更に備え、
前記適正度算出部は、前記人物ごとに集約された顔画像の適正度を算出し、
前記表示制御部は、前記人物ごとに集約された顔画像のうち前記適正度がより高い顔画像を代表顔画像として表示し、前記代表顔画像の選択操作によって、選択された前記代表顔画像の前記顔辞書への登録を受け付ける第３表示情報を更に表示する、
請求項９に記載のサーバ装置。

【請求項12】

前記第１表示情報を介して、削除対象の顔画像の指定と、新たな顔画像の登録とをユーザーから受け付けると、前記削除対象の顔画像を前記顔辞書から削除し、前記削除対象の顔画像を前記新たな顔画像に置き換えることによって、前記新たな顔画像を前記顔辞書に登録する記憶制御部、
を更に備える請求項１又は２に記載のサーバ装置。

【請求項13】

前記検出部は、前記顔画像が、顔を含む画像であるか否かを確認する辞書登録条件を満たすか否か判定し、
前記適正度算出部は、前記辞書登録条件を満たす顔画像の特徴点を検出し、前記特徴点に基づき、前記辞書登録条件を満たす顔画像から、人物の顔を示す領域を検出する、
請求項１又は２に記載のサーバ装置。

【請求項14】

クライアント装置とサーバ装置とを備え、
前記サーバ装置は、
人物の顔を含む顔画像の登録を受け付ける顔画像登録制御部と、
前記顔画像の特徴点を検出し、前記特徴点に基づき、前記顔画像から人物の顔を示す領域を検出する検出部と、
前記人物の顔を示す領域から検出される情報に基づき、顔辞書に登録される顔画像の適正度を算出する適正度算出部と、
前記適正度が低い順に前記顔画像を確認する第１表示情報を、前記クライアント装置に表示する表示制御部と、を備え、
前記クライアント装置は、
前記第１表示情報を表示する表示部と、
前記第１表示情報に対する操作入力をユーザーから受け付ける入力部と、
を備える情報処理システム。

【請求項15】

サーバ装置が、人物の顔を含む顔画像の登録を受け付けるステップと、
前記サーバ装置が、前記顔画像の特徴点を検出し、前記特徴点に基づき、前記顔画像から人物の顔を示す領域を検出する検出部と、
前記サーバ装置が、前記人物の顔を示す領域から検出される情報に基づき、顔辞書に登録される顔画像の適正度を算出する適正度算出部と、
前記サーバ装置が、前記適正度が低い順に前記顔画像を確認する第１表示情報を、表示装置に表示する表示制御部と、
を含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態はサーバ装置、情報処理システム及び情報処理方法に関する。

【背景技術】

【0002】

顔認識システムでは、対象人物の顔が映った顔画像と、当該顔画像から生成された特徴量と、名前等とをセットにして、事前に辞書として登録しておく必要がある。高い顔認識を実現するためには、顔認識のエンジンの特性に合致した顔画像を登録することが望ましいため、顔画像の登録条件を設定している。しかし、特に映像コンテンツのメタ情報生成などの用途では、認識したい人物の顔画像を事前に準備することに多くの時間を要し、また、その顔画像の品質も多種多様であるため登録する辞書の条件にある程度の余裕を持たせ、顔画像を登録できるよう設計されている。

【0003】

顔画像に映る顔のサイズ、画質、及び、顔の検出ができないなどの辞書登録の条件を満たさない顔画像については、辞書登録失敗となり辞書登録ができないため顔認識の精度に影響を及ぼすことはないが、顔画像の条件に余裕を持たせたことにより、正常に登録できた顔画像の中に稀に、顔が傾いて映っていたり、画質が著しく悪い顔画像などが混在したり、顔以外の画像が登録されたりすることがある。これにより、当該人物本人の認識ができないことに加え、特に顔以外の画像が誤って登録された場合には過検出により背景を誤認識することが頻発するなど、当該辞書を利用して行った顔認識の全体としての精度に著しく影響を与えていた。このため、顔画像の登録後の確認作業は必須である。例えば、放送番組等の映像コンテンツの顔認識では、数百から数万に及ぶ顔画像を辞書登録する場合があるため、一括で辞書の登録を行うが、大量の画像の目視確認は作業者の負担が大きく時間を要するため、確認作業の負荷軽減が求められていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１５７６４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、大量の顔画像の一括登録後またはシステムが自動登録した顔画像の確認作業をより効率よく行うことができるサーバ装置、情報処理システム及び情報処理方法を提供することである。

【課題を解決するための手段】

【0006】

実施形態のサーバ装置は、顔画像登録制御部と検出部と適正度算出部と表示制御部とを備える。顔画像登録制御部は、人物の顔を含む顔画像の登録を受け付ける。検出部は、前記顔画像の特徴点を検出し、前記特徴点に基づき、前記顔画像から人物の顔を示す領域を検出する。適正度算出部は、前記人物の顔を示す領域から検出される情報に基づき、顔辞書に登録される顔画像の適正度を算出する。表示制御部は、前記適正度が低い順に前記顔画像を確認する第１表示情報を、表示装置に表示する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１実施形態の情報処理システムの装置構成の例を示す図である。

【図2】図２は、第１実施形態のクライアント装置の機能構成の例を示す図である。

【図3】図３は、第１実施形態のサーバ装置の機能構成の例を示す図である。

【図4】図４は、第１実施形態の顔辞書テーブルの例を示す図である。

【図5】図５は、第１実施形態の顔情報テーブルの例を示す図である。

【図6】図６は、第１実施形態の表示情報の例１を示す図である。

【図7】図７は、第１実施形態の表示情報の例２を示す図である。

【図8】図８は、第１実施形態の情報処理方法の例を示すシーケンス図である。

【図9】図９は、第１実施形態の情報処理方法の例を示すシーケンス図である。

【図10】図１０は、第１実施形態の効果を説明するための図である。

【図11】図１１は、第１実施形態の変形例の表示情報の例を示す図である。

【図12】図１２は、第１及び第２実施形態のサーバ装置のハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、サーバ装置、情報処理システム及び情報処理方法の実施形態を詳細に説明する。

【0009】

（第１実施形態）
はじめに、第１実施形態の情報処理システムの装置構成の例について説明する。

【0010】

［装置構成の例］
図１は、第１実施形態の情報処理システム１００の装置構成の例を示す図である。第１実施形態の情報処理システム１００は、クライアント装置１とサーバ装置２とを備える。

【0011】

クライアント装置１では、サーバ装置２のＷｅｂ ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）、及び、Ｗｅｂアプリケーション等と通信するＡＰＩクライアント及びＷｅｂクライアントが動作する。クライアント装置１とサーバ装置２との通信は、例えば、Ｗｅｂ ＡＰＩ及びソケット通信Ｉ／Ｆなどを用いて行われる。

【0012】

例えば、クライアント装置１は、業務用ＰＣ、放送用機器、ノンリニア編集システム、アーカイブシステム、素材管理システム、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）システム及び契約管理システムなどである。

【0013】

例えば、サーバ装置２は、たとえばＳＤＩやＨＤＭＩ（登録商標）などのデジタル映像インタフェース等による入力によって、入力映像（コンテンツデータの一例）を受け付ける。例えば、サーバ装置２は、放送局において、複数の中継拠点からの入力映像から、あらかじめ登録した顔辞書を用いて、当該映像に含まれる人物を即座に特定するリアルタイム解析を行う。

【0014】

また例えば、サーバ装置２は、クライアント装置１からの映像ファイルのアップロードによって、入力映像を受け付ける。

【0015】

また、サーバ装置２は、顔辞書に登録される顔画像の追加、変更または削除のための確認を支援する表示情報を、クライアント装置１に表示する。

【0016】

［機能構成の例］
図２は、第１実施形態のクライアント装置１の機能構成の例を示す図である。第１実施形態のクライアント装置１は、入力部１１、表示部１２、通信部１３及び記憶部１４を備える。

【0017】

入力部１１は、サーバ装置２から送信されたリアルタイムの表示情報に対する操作入力をユーザーから受け付ける。また、サーバ装置２に対し、サーバ装置２が提供するＡＰＩを用いて、記憶部１４に記憶されている映像コンテンツファイルの顔認識処理を要求し、サーバ装置２から送信されたオフラインの表示情報に対する操作入力をユーザから受け付ける。表示部１２は、サーバ装置２から送信された表示情報を表示する。通信部１３は、有線通信又は無線通信によってサーバ装置２と通信する。記憶部１４は、クライアント装置１で使用される情報を記憶する。

【0018】

図３は、第１実施形態のサーバ装置２の機能構成の例を示す図である。第１実施形態のサーバ装置２は、顔画像登録制御部２１、コンテンツ登録制御部２２、検出部２３、適正度算出部２４、抽出部２５、記憶制御部２６、表示制御部２７、類似度算出部２８及び出力制御部２９を備える。

【0019】

顔画像登録制御部２１は、クライアント装置１などから、情報処理システム１００において特定したい人物の情報を顔辞書ＤＢへ登録する人物登録情報を受け付ける。人物登録情報は、当該人物の顔画像、名前及びプロパティなどを含む。顔画像は、顔辞書ＤＢへ登録される人物の顔を含む画像である。名前は、顔画像に写っている人物の名前等、その人物を特定する情報である。プロパティは、例えばその人物がグループで活動している場合は、そのグループ名、顔画像ファイルを特定するパスなどの補足情報である。

【0020】

顔認識のためにあらかじめ準備する顔辞書ＤＢの登録件数は、その用途によって異なる。例えば、国政に関わるイベントの場合、顔辞書ＤＢの登録件数は、数百件から数千件に及ぶこともある。例えば、放送局等のアーカイブ映像にメタ情報を付与する場合、顔辞書ＤＢの登録件数は、数万件に及ぶこともある。これらの場合、顔情報を登録するためのアプリケーションの画面から人が１件ずつ手動で登録すると時間がかかる。そのため、コンテンツ登録制御部２２は、ｃｓｖ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）ファイルなどによるリストによって一括で複数の人物登録情報を受け付ける。

【0021】

コンテンツ登録制御部２２は、映像コンテンツ及び画像ファイルなど、顔認識を行いたいコンテンツデータを含むコンテンツ登録情報を受け付ける。コンテンツデータが映像コンテンツの場合、コンテンツ登録制御部は、映像コンテンツから連続的な静止画を生成する。連続的な静止画の生成は、たとえば5fps（0.2秒に１枚）など、あらかじめ設定した間隔での切出しでもよい。

【0022】

検出部２３は、顔画像登録制御部２１から人物登録情報の顔画像を受け付け、コンテンツ登録制御部２２からコンテンツ登録情報の映像コンテンツから切出された静止画を受け付ける。検出部２３は、人物登録情報に含まれる顔画像の特徴点を検出し、当該特徴点に基づき、顔画像から人物の顔を示す領域を検出する。同様に、検出部２３は、コンテンツ登録情報に含まれるコンテンツデータから切出された静止画に映る人物の顔の特徴点を検出し、当該特徴点に基づき、コンテンツデータから切出された静止画に映る人物の顔を示す領域を検出する。

【0023】

なお、人物の顔を示す領域の形状は任意でよく、人物の顔を示す領域は、例えば矩形領域である。また、検出される人物は切出された一つの静止画に対して１人又は複数でよく、検出する人数や検出する顔の領域の大きさをあらかじめ設定してもよい。

【0024】

適正度算出部２４は、人物登録情報の顔画像から検出された顔を示す領域を参照し、顔辞書ＤＢに登録される顔画像としての適正度を算出する。例えば、適正度は、数値が高いほど適正であることを示す０～１００の数値で表される。また例えば、適正度は、数値が高いほど適正であることを示す０．０～１．０の数値で表される。

【0025】

適正な顔画像は、当該人物本人の認識ができ、また、過検出によって背景などを誤認識させることがない顔画像である。例えば、顔が傾いて映っていない顔画像は、顔辞書ＤＢに登録される顔画像として適正である。また例えば、画質が良い顔画像は、顔辞書ＤＢに登録される顔画像として適正である。また例えば、顔以外の画像は、顔辞書ＤＢに登録される顔画像として不適正である。

【0026】

本実施対形態では、適正度の算出を、顔辞書ＤＢの登録処理に含むため、特に数百～数万件の辞書を登録する用途においては、処理時間は可能な限り短いことが望ましい。

【0027】

具体的には、適正度算出部２４は、人物の顔を示す領域から検出される目、鼻及び口の特徴点に基づき、適正度を算出する。例えば、適正度は、人物の顔を示す領域から特定された目、鼻及び口端（口角）の５点の特徴点（両目で２点、鼻で１点、口角で２点）に基づき算出される。具体的には、例えば、適正度は、特徴点の検出スコアの平均、最小値及び最大値等に基づいて算出される。また例えば、適正度は、検出された特徴点の数に基づいて算出される。

【0028】

例えば、正面に近い角度から撮像されている顔ほど、人物の特定に有用なため、正面に近い角度から撮像されている顔ほど、適正度は高く算出される。また例えば、マスクやサングラスなどにより隠れているなどの理由で、顔を特定できない領域が多く含まれているほど、適正度は低く算出される。

【0029】

抽出部２５は、顔画像から検出された顔を示す領域から、当該顔の特徴を示す顔特徴量を抽出する。同様に、抽出部２５は、コンテンツデータから検出された顔を示す領域から、当該顔の特徴を示す顔特徴量を抽出する。

【0030】

記憶制御部２６は、顔辞書ＤＢに登録される人物登録情報および抽出部２５より抽出した当該人物の顔特徴量の記憶制御と、コンテンツＤＢに登録されるコンテンツ登録情報の記憶制御とを行う。

【0031】

表示制御部２７は、クライアント装置へ表示される表示情報の表示制御を行う。例えば、表示制御部２７は、顔画像を顔辞書ＤＢに一括登録した結果を、適正度が低い人物から順に表示する表示情報をクライアント装置に表示する。

【0032】

類似度算出部２８は、顔辞書ＤＢに登録された顔画像の特徴量と、コンテンツＤＢに記憶されたコンテンツデータに含まれる人物の顔の特徴量を照合し類似度を算出する。

【0033】

出力制御部２９は、例えば、顔辞書ＤＢに含まれる情報と、コンテンツＤＢに含まれる情報と、類似度算出部２８により算出された類似度と、を含む解析結果（出力情報）の出力制御を行う。この解析結果は、例えば、放送局により放映される映像等のコンテンツデータに含まれる個人の特定に利用される。

【0034】

顔クラスタリング処理部３０は、抽出部２５で抽出した顔特徴量に基づき、コンテンツに映る人物の顔画像を人物ごとに集約する。この処理結果から、適正度算出部２４により算出された適正度により、クラスタの代表顔画像が抽出される。クラスタの代表顔画像は、例えば放送局により放映される映像等のコンテンツに出演する出演者の一覧の作成に利用される。また、顔辞書に登録されていない人物については、この代表顔画像を顔辞書登録用の画像としてもよい。

【0035】

［顔辞書のテーブル構造の例］
図４は、第１実施形態の顔辞書テーブルの例を示す図である。第１実施形態の顔辞書テーブルは、辞書ＩＤ、辞書名、登録件数及び更新日時を含む。辞書ＩＤは、辞書を識別する識別情報である。辞書名は、顔辞書の名称である。登録件数は、顔辞書に登録されている顔情報の件数である。更新日時は、辞書が更新された日時である。顔辞書ＤＢは、複数登録でき、顔認識を行う映像コンテンツ又は画像ファイルごとに切り替えて利用できてもよい。

【0036】

図５は、第１実施形態の顔情報テーブルの例を示す図である。第１実施形態の顔情報テーブルは、１以上の顔情報レコードを含む。顔辞書に登録された顔情報は、顔情報レコードにより管理される。

【0037】

顔情報レコードは、顔ＩＤ、名前及び更新日時の各項目を含む。顔ＩＤは、顔情報レコードを識別する識別情報である。名前は、顔ＩＤにより特定される人物の名前等である。更新日時は、顔ＩＤにより特定されるデータが更新された日時である。

【0038】

また、顔情報レコードの顔ＩＤには、原則１名につき１つの顔画像レコードが紐づけられるが、２以上の顔画像レコードが紐づけられてもよい。それぞれの顔画像レコードは、顔ＩＤ、画像ＩＤ、エラー、適正度、顔特徴量、ファイルパス及び更新日時の各項目を含む。顔ＩＤは、顔情報レコードの顔ＩＤと紐づけられる識別情報である。画像ＩＤは、顔画像を識別する識別情報である。

【0039】

エラーは、顔辞書ＤＢに登録した顔画像が、顔辞書ＤＢの条件を満たさないまたは、顔検出部、抽出部等において顔認識の処理中に何らかのエラーが生じた場合に、当該エラーを示す情報である。例えば、ｃｓｖエラーは、ｃｓｖファイルなどによるリストによって一括で人物登録情報が受け付けられた際に、適正度算出部２４により算出された適正度が、所定の閾値より低い顔画像（例えば、不鮮明な画像など）であることを示す。適正度は、当該顔画像の辞書登録の適正度を示す。

【0040】

顔特徴量は、抽出部２５により抽出された顔特徴量が記録される。ファイルパスは、顔画像ファイルを参照するためのパスの所在を表す情報である。更新日時は、顔画像レコードが作成又は更新された日時である。

【0041】

［表示情報の例］
図６は、第１実施形態の表示情報の例１を示す図である。図６の表示情報は、顔辞書ＤＢに登録された顔情報の顔画像の確認画面の例を示す。

【0042】

１行目及び２行目のエラー画像領域１０１に表示された顔ＩＤが００００１２及び００００１０の顔情報は、エラーが発生しているデータ（図６の例では、ｃｓｖエラー）を示す。エラー画像領域１０１は、確認画面が表示された時点で発生している全てのエラー情報を表示し、利用者によるエラーの解消のための操作を促すものである。エラーが解消されると、当該顔情報は正常画像領域１０３に表示される。エラー画像領域１０１は、エラー未発生またはすべてのエラーが解消されている場合には、表示されない。

【0043】

３行目及び４行目の注意画像領域１０２に表示された顔ＩＤが００００１３及び０００００９の顔情報は、適正度があらかじめ設定した適正度の閾値である７０より小さいため、登録した顔画像の目視での確認が必要なデータを示す。図６に示すように、注意画像領域１０２には、適正度が閾値以下の顔画像が表示される。注意画像領域１０２は、全ての顔画像の適正度が適正度の閾値を上回る画像が登録されている場合には、表示されない。また、たとえば、適正度が閾値を下回る画像であっても、目視による確認の結果顔辞書ＤＢに登録する画像として相応の場合には顔画像の再登録を行う必要はなく、目視確認の実施により、当該顔情報は正常顔画像領域１０３に表示されるようにしてもよい。

【0044】

５行目の正常画像領域１０３に表示された顔ＩＤが００００１１の顔情報は、適正度が９４．２である正常なデータを示す。図６に示すように、正常画像領域１０３には、適正度が閾値より高い顔画像が表示される。

【0045】

図６に示すように、表示制御部２７は、まず、エラーが発生しているデータを、第１表示色で最上位のエラー画像領域１０１に表示し、次に、エラー画像領域１０１の下の注意画像領域１０２に、注意が必要な要確認のデータを第１表示色とは異なる第２表示色で表示し、次に、注意画像領域１０２の下の正常画像領域１０３に、正常なデータを第３表示色で表示する。注意画像領域１０２および正常画像領域１０３は、それぞれの領域において適正度が低い順に表示される。これにより、ユーザーは、対応が必要な顔画像とその優先度を即座に把握できるため、顔画像登録後の確認作業をより効率よく行うことができる。

【0046】

図７は、第１実施形態の表示情報の例２を示す図である。図６の表示情報は、顔ＩＤに複数、登録されている顔画像の確認画面の例を示す。顔辞書には、１名につき、少なくとも１枚の顔画像が登録される。表示制御部２７は、複数の顔画像が顔辞書に登録されている人物については、適正度がより低い代表顔画像を含む第１表示情報を表示する。

【0047】

複数の顔画像のうち、１枚でもエラーが含まれていれば、エラー画像領域２０１に示されるように、当該エラーが表示される。当該エラーが発生している顔画像（代表顔画像）は、顔辞書ＤＢの登録条件を満たさないため顔画像は表示されない。

【0048】

更に、表示制御部２７は、エラー画像領域２０１に表示された顔ＩＤ０００００８の顔情報の選択操作を受け付けると、当該顔ＩＤ０００００８に登録された顔画像を確認する表示情報３０１（第２表示情報）を表示する。なお、表示情報３０１の例では、エラーのため、登録済みの画像はない。

【0049】

表示領域２０２に表示された顔ＩＤ０００００６の顔情報の画像数は、２であるので、顔ＩＤ０００００６には２枚の顔画像が登録されている。表示制御部２７は、複数の顔画像が登録されている場合、表示領域２０２に示されるように、適正度がより低い画像（代表顔画像）と、当該適正度とを表示する。更に、表示制御部２７は、表示注意画像領域２０２に表示された顔ＩＤ０００００６の顔情報の選択操作を受け付けると、当該顔ＩＤ０００００６に登録された２枚の顔画像を確認する表示情報３０２（第２表示情報）を表示する。表示情報３０２では、同一人物の複数の顔画像が、適正度が低い順に表示される。また、適正度を下回るデータについては、第２表示色で表示してもよい。

【0050】

利用者は、必要に応じて当該画像を削除し、顔辞書ＤＢの登録条件を満たす顔画像を新たに登録することで、当該顔データは注意画像領域２０２から正常画像領域に移行する。すなわち、記憶制御部２６は、表示情報３０２を介して、削除対象の顔画像の指定と、新たな顔画像の登録と、をユーザーから受け付けると、削除対象の顔画像を顔辞書ＤＢから削除し、削除対象の顔画像を新たな顔画像に置き換えることによって、新たな顔画像を顔辞書ＤＢに登録する。

【0051】

なお、削除対象の顔画像の指定と、新たな顔画像の登録とは、図７に示す表示情報３０１及び３０２（第２表示情報）によって受け付けてもよいし、図６に示す表示情報（第１表示情報）から、直接、受け付けてもよい。

【0052】

［情報処理方法の例］
図８及び図９は、第１実施形態の情報処理方法の例を示すシーケンス図である。はじめに、顔画像登録制御部２１が、上述の人物登録情報のリスト（例えば、上述のｃｓｖファイル）を登録し（ステップＳ１）、当該リストを検出部２３及び記憶制御部２６に入力する。

【0053】

次に、検出部２３が、ステップＳ１で登録された人物登録情報に含まれる顔画像のそれぞれについて、辞書登録条件を満たすか否かを判定する（ステップＳ２）。例えば、辞書登録条件は、顔を含む画像であるか否かを確認する条件を含む。具体的には、辞書登録条件は、顔の大きさ、及び、顔の鮮明さ（例えば、解像度）及び、顔の向き（例えば目の特徴点の近さ等から算出する顔の確度）などに関する条件である。辞書登録の条件は、多種多様な顔画像の品質に対応できるよう余裕を持たせることが望ましいため、辞書登録に適する最低限の条件を設定する。辞書登録用の顔画像の事前準備の手間の軽減とともに、より多くの人物の顔画像の辞書登録が可能となる。

【0054】

辞書登録の条件に余裕を持たせることによる多種多様な顔画像の品質への対応より、辞書登録後の作業の軽減を優先する場合には、辞書登録条件に適正度算出部２４で算出された適正度を利用してもよい。適正度に閾値を設定し、顔が検出されておりかつ閾値以上を辞書登録の条件としてもよい。

【0055】

顔画像が辞書登録条件を満たさない場合（ステップＳ２，Ｎｏ）、表示制御部２７が、例えば上述の図６に示すエラー画像領域１０１に表示されるエラー表示情報を生成する（ステップＳ９）。

【0056】

顔画像が辞書登録条件を満たす場合（ステップＳ２，Ｙｅｓ）、検出部２３が、顔画像の特徴点を検出し、当該特徴点に基づき、顔画像から人物の顔を示す領域を検出する（ステップＳ３）。

【0057】

次に、適正度算出部２４が、ステップＳ３で顔画像から検出された顔を示す領域を参照し、顔辞書に登録される顔画像としての適正度を算出し（ステップＳ４）、当該適正度を顔辞書に登録する（ステップＳ５）。

【0058】

次に、抽出部２５が、ステップＳ３で顔画像から検出された顔を示す領域を参照し、当該顔の特徴を示す顔特徴量を抽出（ステップＳ６）し、当該顔特徴量を顔辞書に登録する（ステップＳ７）。

【0059】

一方、記憶制御部２６は、ステップＳ１で生成された人物登録情報に含まれる顔画像以外の情報（例えば、文字数など）について、辞書登録条件を満たすか否かを判定する（ステップＳ８）。ステップＳ８の判定では、例えば、顔辞書ＤＢのレコードの各フィールドに登録される情報が、各フィールドで許容されている文字数以下であるか否か、禁止文字が含まれていないかなどの判定が行われる。

【0060】

顔画像以外の情報が、辞書登録条件を満たさない場合（ステップＳ８，Ｎｏ）、表示制御部２７が、例えば上述の図６に示すエラー画像領域１０１に表示されるエラー表示情報を生成する（ステップＳ９）。

【0061】

次に、表示制御部２７が、ステップＳ４で算出された適正度、及び、ステップＳ９で生成されたエラー表示情報に基づき、ステップＳ１で生成された人物登録情報のリストに含まれる顔画像の表示順序を並び替える（ステップＳ１０）。

【0062】

具体的には、表示制御部２７は、顔画像にエラーが発生している場合（ステップＳ１１，Ｙｅｓ）、ステップＳ９で生成されたエラー表示情報を、警告を促す第１表示色で表示情報の最前列（例えば、上述の図６に示すエラー画像領域１０１のように最上段）に表示する（ステップＳ１２）。顔画像登録制御部２１は、ステップＳ１２により表示された表示情報を参照したユーザーから、顔画像の再登録操作を受け付けた場合、当該顔画像の再登録を行い（ステップＳ１７）、処理はステップＳ２に戻る。

【0063】

次に、表示制御部２７は、適正度が閾値以下の顔画像である場合（ステップＳ１３，Ｙｅｓ）、ステップＳ１２のエラー表示の次に、例えば、上述の図６に示す注意画像領域１０２のように、要確認を促す第２表示色で適正度が低い順に表示する（ステップＳ１４）。顔画像登録制御部２１は、ステップＳ１４により表示された表示情報を参照したユーザーから、顔画像の再登録操作を受け付けた場合、当該顔画像の再登録を行い（ステップＳ１７）、処理はステップＳ２に戻る。

【0064】

次に、表示制御部２７は、適正度が閾値より高い顔画像である場合（ステップＳ１３，Ｎｏ）、ステップＳ１５の注意表示の次に、例えば、上述の図６に示す正常画像領域１０３のように、正常な顔画像であることを示す第３表示色で適正度が低い順に表示する（ステップＳ１６）。

【0065】

以上、説明したように、第１実施形態のサーバ装置２では、顔画像登録制御部２１が、人物の顔を含む顔画像の登録を受け付ける。検出部２３が、顔画像の特徴点を検出し、特徴点に基づき、顔画像から人物の顔を示す領域を検出する。適正度算出部２４が、人物の顔を示す領域から検出される情報に基づき、顔辞書に登録される顔画像の適正度を算出する。そして、表示制御部２７が、適正度が低い順に顔画像を確認する第１表示情報を、クライアント装置１（表示装置の一例）に表示する。

【0066】

これにより第１実施形態によれば、利用者はシステムが絞り込んだ登録画像をその優先度に応じて確認すればよいため、顔画像の登録後の確認作業をより効率よく行うことができる。

【0067】

図１０は、第１実施形態の効果を説明するための図である。人物の誤認識等の要因となる著しく画像品質の悪い顔画像など辞書登録に適さない画像を正確に評価できる指標が算出でき、その指標に基づき辞書登録の可否を判定できることが好ましいが、画像品質には顔の向き、画質、及び、顔の隠蔽度などの複雑な要素が関係しており、顔辞書の条件に余裕を持たせた本実施形態の用途では、現時点のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術では登録可否を自動的に判定するに至っておらず、目視での顔画像の確認が必要である。

【0068】

図１０に示すように、従来は、登録画像のどこに確認すべき画像が表示されているかがわからなかったため、目視で登録画像を全て確認する必要があったが、上述の第１実施形態によれば、適正度がより低い登録画像の確認を優先し、適正度がより高い登録画像（図１０の例では、適正度が０．８以上の正常画像領域４０１）の確認は優先度を下げるもしくは省略することができる。これにより、顔画像の登録後のユーザーによる確認作業の負荷を改善することができる。

【0069】

例えば、従来は、数万件の顔画像の登録が必要な場合に、登録後、数万件の顔画像の目視作業が必要になる場合があったが、辞書登録に適正である画像が適正度により可視化されることで、確認が必要な画像の絞り込みと優先度の設定が可能となる。

【0070】

また、この副次効果としては、顔画像の登録後のユーザーによる確認作業を支援できるので、顔辞書に登録される顔画像の品質に関する辞書登録条件をさらに緩和することができる。これにより、顔画像を準備するユーザーの負荷も軽減できる。すなわち、顔辞書に相応しい画像の入手が難しいケース（例えば、テレビ等の映像コンテンツの顔認識のケース）でも、エラーを抑えて辞書登録を許容し、制約のより少ない顔画像によって顔辞書を整備し、より広い範囲での顔認識を提供できる。

【0071】

また、不適切な画像登録を排除できるため、不適正な画像が混入することによるシステム全体としての著しい精度の低下の防止できる。また、万が一不適正な画像が混入した場合でも、上述のエラー表示（例えば、上述の図６のエラー画像領域１０１）、及び、適正度に基づくソート表示（例えば、上述の図６の注意画像領域１０２及び正常画像領域１０３を含む確認領域）によって、早期に原因の追究が図れる。

【0072】

（第１実施形態の変形例）
次に第１実施形態の変形例について説明する。変形例の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

【0073】

例えば、テレビ番組に、当該テレビ番組の出演者などを示すメタ情報を付与する目的で、人物の顔認識を利用する場合には、その人物の幼少期から現在に至る長期にわたる顔認識を行う必要がある。変形例では、このような場合に対応するため、顔辞書ＤＢが、同一人物に対して、複数の時期（年代）の本人の顔画像を記憶する。

【0074】

記憶制御部２６による顔画像の更新方法としては、例えば、登録されたどの顔画像を用いても、１つの映像を通して、認識精度が平均よりも低い場合等に顔画像を更新する方法が考えられる。この場合、表示制御部２７が、認識精度が平均よりも低い場合、その映像から認識された当該人物の画像から代表顔画像を選定し、自動で顔辞書ＤＢに登録する。この代表顔画像の選定に、適正度を利用してもよいし、又は何らかの手段で選定された代表顔画像の確認を、適正度を利用して利用者に提示してもよい。これにより、辞書の自動更新と更新後の確認作業の効率化により、ユーザーは最低限の確認作業で高い精度の顔認識を利用し続けることができる。

【0075】

例えば、変形例では、過去のテレビ番組において、そのすべての出演者が把握できていない場合、映像に映る人物の顔をクラスタリングすることで、すべての出演者を把握する手法が用いられる。

【0076】

図１１は、第１実施形態の変形例の表示情報の例を示す図である。図１１の例では、顔クラスタリング処理部３０が、コンテンツデータに含まれる人物（例えば、テレビ番組の出演者）の顔の特徴量に基づき、当該コンテンツデータに含まれる人物の顔画像を人物ごとに集約（クラスタリング）する。

【0077】

クラスタリングで得られた出演者の一覧をもとに、認識したい出演者を顔辞書ＤＢに登録するが、この代表顔画像４０１の選定に、適正度を利用してもよいし、又は何らかの手段で選定された代表顔画像４０１の確認を、適正度を利用して利用者に提示してもよい。

【0078】

例えば、代表顔画像４０１の選定に適正度が利用される場合、適正度算出部２４が、顔クラスタリング処理部３０によって人物ごとに集約された顔画像の適正度を算出する。表示制御部２７が、人物ごとに集約された顔画像のうち適正度がより高い顔画像を代表顔画像４０１として表示する表示情報（第３表示情報）を表示する。そして、表示制御部２７が、第３表示情報における代表顔画像４０１の選択操作によって、選択された代表顔画像４０１の顔辞書ＤＢへの登録を受け付ける（表示情報４０２）。なお、表示制御部２７は、人物ごとに集約された顔画像のうち適正度がより高い顔画像を代表顔画像として、例えば第３表示情報を出さず上記選択操作を経ずに、顔辞書への登録を自動的に行っても良い。これによれば、辞書登録用の顔画像の事前準備なしに、クラスタリングによりコンテンツデータに含まれる人物のうち辞書未登録の人物の代表画像を効率的に顔辞書へ登録することができる。

【0079】

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態では、入退室管理システムなどの顔認証で使用される顔画像の追加及び更新などの管理を行う場合について説明する。

【0080】

第２実施形態のサーバ装置２では、顔辞書ＤＢが、入退室管理システムなどの顔認証で使用される顔画像を記憶する。そして、表示制御部２７が、上述の第１実施形態の表示情報（図６）と同様の確認画面の表示制御をすることによって、管理者などのユーザーが顔画像を確認できるようにする。

【0081】

第２実施形態では、類似度算出部２８は、顔辞書ＤＢの顔画像と、顔認証時に撮像された人物の顔の撮像画像との類似度を算出する。

【0082】

なお、入退室管理システムなどの顔認証の場合には、人物の経年変化などが理由で、顔辞書ＤＢの顔画像と、本人の撮像画像との類似度が低下してくる場合が想定される。例えば、類似度算出部２８は、算出された類似度の履歴を、顔辞書ＤＢに更に記憶しておき、類似度の推移の傾向を把握できるようにしてもよい。

【0083】

そして、表示制御部２７は、類似度が低下傾向にあり、かつ、類似度が所定の閾値より小さくなった場合、例えば、類似度算出部２８で使用された当該人物の最新の撮像画像により、顔画像を置き換える場合、辞書登録に最も適当な代表顔画像を適正度を利用して選定してもよいし、又は何らかの手段で選定された代表顔画像の確認を適正度を利用して利用者に提示してもよい。

【0084】

最後に、第１及び第２実施形態のサーバ装置２のハードウェア構成の例について説明する。なお、クライアント装置１のハードウェア構成の例についても、サーバ装置２のハードウェア構成の例と同じである。

【0085】

［ハードウェア構成の例］
図１２は、第１及び第２実施形態のサーバ装置２のハードウェア構成の例を示す図である。サーバ装置２は、プロセッサ５０１、主記憶装置５０２、補助記憶装置５０３、表示装置５０４、入力装置５０５及び通信装置５０６を備える。プロセッサ５０１、主記憶装置５０２、補助記憶装置５０３、表示装置５０４、入力装置５０５及び通信装置５０６は、バス５１０を介して接続されている。

【0086】

なお、サーバ装置２は、上記構成の一部が備えられていなくてもよい。例えば、サーバ装置２が、外部の装置の入力機能及び表示機能を利用可能な場合、サーバ装置２に表示装置５０４及び入力装置５０５が備えられていなくてもよい。

【0087】

プロセッサ５０１は、補助記憶装置５０３から主記憶装置５０２に読み出されたプログラムを実行する。主記憶装置５０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置５０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びメモリカード等である。

【0088】

表示装置５０４は、例えば液晶ディスプレイ等である。入力装置５０５は、サーバ装置２を操作するためのインタフェースである。なお、表示装置５０４及び入力装置５０５は、表示機能と入力機能とを有するタッチパネル等により実現されていてもよい。通信装置５０６は、クライアント装置１などの他の装置と通信するためのインタフェースである。

【0089】

例えば、サーバ装置２で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルで、メモリカード、ハードディスク、ＣＤ－ＲＷ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＡＭ及びＤＶＤ－Ｒ等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

【0090】

また例えば、サーバ装置２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

【0091】

また例えば、サーバ装置２で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。具体的には、例えばＡＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ）型のクラウドサービスによって構成してもよい。

【0092】

また例えば、サーバ装置２のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0093】

サーバ装置２で実行されるプログラムは、上述の機能構成のうち、プログラムによっても実現可能な機能を含むモジュール構成となっている。当該各機能は、実際のハードウェアとしては、プロセッサ５０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置５０２上にロードされる。すなわち上記各機能ブロックは主記憶装置５０２上に生成される。

【0094】

なお上述した各機能の一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

【0095】

また複数のプロセッサ５０１を用いて各機能を実現してもよく、その場合、各プロセッサ５０１は、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

【0096】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0097】

１ クライアント装置
１１ 入力部
１２ 表示部
１３ 通信部
１４ 記憶部
２ サーバ装置
２１ 顔画像登録制御部
２２ コンテンツ登録制御部
２３ 検出部
２４ 適正度算出部
２５ 抽出部
２６ 記憶制御部
２７ 表示制御部
２８ 類似度算出部
２９ 出力制御部
１００ 情報処理システム
５０１ プロセッサ
５０２ 主記憶装置
５０３ 補助記憶装置
５０４ 表示装置
５０５ 入力装置
５０６ 通信装置
５１０ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】