特許 5936697 メモリが制限された環境における顔認識性能を改善するべく基準顔データベースを管理するための方法、装置およびコンピュータ可読記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5936697

(24)【登録日】2016年5月20日

(45)【発行日】2016年6月22日

(54)【発明の名称】メモリが制限された環境における顔認識性能を改善するべく基準顔データベースを管理するための方法、装置およびコンピュータ可読記録媒体

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160609BHJP

【ＦＩ】

   G06T7/00 510B

【請求項の数】27

【全頁数】20

(21)【出願番号】特願2014-531738(P2014-531738)

(86)(22)【出願日】2012年9月27日

(65)【公表番号】特表2014-526755(P2014-526755A)

(43)【公表日】2014年10月6日

(86)【国際出願番号】KR2012007854

(87)【国際公開番号】WO2013048162

(87)【国際公開日】20130404

【審査請求日】2014年5月2日

(31)【優先権主張番号】10-2011-0097796

(32)【優先日】2011年9月27日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】ジェ、ホンモ

(72)【発明者】

【氏名】リー、ヒュンスー

(72)【発明者】

【氏名】リュー、ウージュ

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００９−２５８９９０（ＪＰ，Ａ）

【文献】 特開２００２−２５９９８０（ＪＰ，Ａ）

【文献】 特開２００４−３４２０７３（ＪＰ，Ａ）

【文献】 特開２００６−３１３４２８（ＪＰ，Ａ）

【文献】 特開２００８−２６９５８２（ＪＰ，Ａ）

【文献】 特開平０７−２６２３７９（ＪＰ，Ａ）

【文献】 特開平１０−２７５２３６（ＪＰ，Ａ）

【文献】 特開２０１０−０２７０３５（ＪＰ，Ａ）

【文献】 特開２００８−１４６５３９（ＪＰ，Ａ）

【文献】 特開２００３−１４１５４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する方法であって、
新しい入力顔画像を取得する段階と、
顔認識に用いられる前記基準顔データベースに既に登録されている顔画像の分類条件を参照して前記入力顔画像に関連する分類条件を決定する段階と、
前記入力顔画像に関連する前記分類条件が特定の分類条件であり、且つ、前記特定の分類条件に関連する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに追加で登録可能な画像として前記入力顔画像を選択する段階と、
前記入力顔画像が前記基準顔データベースに追加で登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち１以上を選択して削除する段階と
を備え、
前記削除する段階は、
前記基準顔データベースに既に登録されている前記顔画像のうち類似性一致に利用された回数が最も少ない顔画像を選択する段階と、
選択された前記顔画像を削除する段階と
を有する方法。

【請求項2】

前記削除する段階は、
所定の時点から現時点までの間において、前記新しい入力顔画像に含まれる顔の識別情報を認識するべく前記基準顔データベースに既に登録されている前記顔画像のそれぞれが類似性一致に利用された回数をカウントする段階を有する請求項１に記載の方法。

【請求項3】

メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する方法であって、
新しい入力顔画像を取得する段階と、
顔認識に用いられる前記基準顔データベースに既に登録されている顔画像の分類条件を参照して前記入力顔画像に関連する分類条件を決定する段階と、
前記入力顔画像に関連する前記分類条件が特定の分類条件であり、且つ、前記特定の分類条件に関連する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに追加で登録可能な画像として前記入力顔画像を選択する段階と、
前記入力顔画像が前記基準顔データベースに追加で登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち１以上を選択して削除する段階と
を備え、
前記削除する段階は、
前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出する段階と、
前記バラツキが最も小さい顔画像を選択する段階と、
選択した前記顔画像を削除する段階と
を有し、
前記バラツキを算出する段階は、
前記基準顔データベースに既に登録されている前記顔画像のうち一の顔画像を選択する段階と、
選択された前記一の顔画像以外の残りの前記既に登録されている顔画像の顔認識一致値の平均を算出する段階と、
前記既に登録されている選択された一の顔画像の顔認識一致値と、前記残りの既に登録されている顔画像の顔認識一致値の平均との差分を算出する段階と
含む方法。

【請求項4】

メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する方法であって、
新しい入力顔画像を取得する段階と、
顔認識に用いられる前記基準顔データベースに既に登録されている顔画像の分類条件を参照して前記入力顔画像に関連する分類条件を決定する段階と、
前記入力顔画像に関連する前記分類条件が特定の分類条件であり、且つ、前記特定の分類条件に関連する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに追加で登録可能な画像として前記入力顔画像を選択する段階と、
前記入力顔画像が前記基準顔データベースに追加で登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち１以上を選択して削除する段階と
を備え、
前記削除する段階は、
前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出する段階と、
前記バラツキが最も小さい顔画像を選択する段階と、
選択した前記顔画像を削除する段階と
を有し、
前記バラツキを算出する段階は、
前記基準顔データベースに既に登録されている前記顔画像の顔認識一致値の平均を算出する段階と、
前記顔認識一致値の前記平均と、前記既に登録されている顔画像のそれぞれの顔認識一致値との差分を算出する段階と
を含む方法。

【請求項5】

前記基準顔データベースに既に登録されている前記顔画像の前記分類条件が、前記入力顔画像の表情、前記顔画像の撮影角度、前記顔画像に当てられている照明の方向、および、光源の種類のうち少なくとも１つを含む
請求項１〜４の何れか１項に記載の方法。

【請求項6】

前記特定の分類条件に関連している前記顔画像が前記基準顔データベース内で前記所定のしきい値より少ないか否かは、前記入力顔画像に含まれている人物の識別情報に基づいて決定される
請求項１から５の何れか１項に記載の方法。

【請求項7】

メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する方法であって、
１以上の新しい入力顔画像を取得する段階と、
特定の顔認識メトリックに基づいて前記入力顔画像をまとめることによって、前記入力顔画像を類似の顔画像のグループにグループ分けする段階と、
グループ分けされた前記入力顔画像の中から一の重心顔画像または一の平均顔画像に対応する顔画像を代表顔画像として選択する段階と、
顔認識に用いられる前記基準顔データベースに、選択された前記代表顔画像を追加で登録する段階と、
前記入力顔画像が追加で前記基準顔データベースに登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち幾つかを選択して削除する段階と
を備え、
前記削除する段階は、
前記基準顔データベースに既に登録されている前記顔画像のうち類似性一致に利用された回数が最も少ない顔画像を選択する段階と、
選択された前記顔画像を削除する段階と
を有する方法。

【請求項8】

前記削除する段階は、
所定の時点から現時点までの間において、前記新しい入力顔画像に含まれる顔の識別情報を認識するべく前記基準顔データベースに既に登録されている前記顔画像のそれぞれが類似性一致に利用された回数をカウントする段階を有する請求項７に記載の方法。

【請求項9】

メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する方法であって、
１以上の新しい入力顔画像を取得する段階と、
特定の顔認識メトリックに基づいて前記入力顔画像をまとめることによって、前記入力顔画像を類似の顔画像のグループにグループ分けする段階と、
グループ分けされた前記入力顔画像の中から一の重心顔画像または一の平均顔画像に対応する顔画像を代表顔画像として選択する段階と、
顔認識に用いられる前記基準顔データベースに、選択された前記代表顔画像を追加で登録する段階と、
前記入力顔画像が追加で前記基準顔データベースに登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち幾つかを選択して削除する段階と
を備え、
前記削除する段階は、
前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出する段階と、
前記バラツキが最も小さい顔画像を選択する段階と、
選択した前記顔画像を削除する段階と
を有し、
前記バラツキを算出する段階は、
前記基準顔データベースに既に登録されている前記顔画像のうち一の顔画像を選択する段階と、
選択された前記顔画像以外の残りの前記既に登録されている顔画像の顔認識一致値の平均を算出する段階と、
前記既に登録されている選択された一の顔画像の顔認識一致値と、前記残りの既に登録されている顔画像の顔認識一致値の平均との間の差分を算出する段階と
含む方法。

【請求項10】

メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する方法であって、
１以上の新しい入力顔画像を取得する段階と、
特定の顔認識メトリックに基づいて前記入力顔画像をまとめることによって、前記入力顔画像を類似の顔画像のグループにグループ分けする段階と、
グループ分けされた前記入力顔画像の中から一の重心顔画像または一の平均顔画像に対応する顔画像を代表顔画像として選択する段階と、
顔認識に用いられる前記基準顔データベースに、選択された前記代表顔画像を追加で登録する段階と、
前記入力顔画像が追加で前記基準顔データベースに登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち幾つかを選択して削除する段階と
を備え、
前記削除する段階は、
前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出する段階と、
前記バラツキが最も小さい顔画像を選択する段階と、
選択した前記顔画像を削除する段階と
を有し、
前記バラツキを算出する段階は、
前記基準顔データベースに既に登録されている前記顔画像の顔認識一致値の平均を算出する段階と、
前記顔認識一致値の前記平均と、前記既に登録されている顔画像のそれぞれの顔認識一致値との差分を算出する段階と
を含む方法。

【請求項11】

前記グループ分けする段階は、
前記入力顔画像のそれぞれにおいて顔認識のために一致値を算出する段階と、
算出された前記一致値に基づいて、前記入力顔画像を非常に類似した画像のグループにグループ分けする段階と
を有する請求項７から１０の何れか１項に記載の方法。

【請求項12】

前記顔画像を代表顔画像として選択する段階は、算出した前記一致値のうち重心一致値または平均一致値に最も近い一致値を持つ顔画像を、前記代表顔画像として、選択する請求項１１に記載の方法。

【請求項13】

前記基準顔データベースに前記選択された代表顔画像を追加で登録する段階は、
前記基準顔データベースに既に登録されている前記顔画像の分類条件を参照して、前記代表顔画像に関連する分類条件を決定する段階と、
前記代表顔画像に関連する前記分類条件が特定の分類条件であり、前記特定の分類条件に関する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに前記代表顔画像を追加で登録する段階と
を有する請求項７から１２の何れか１項に記載の方法。

【請求項14】

メモリが限られた環境において顔認識性能を改善する基準顔データベース管理装置であって、
顔認識に用いられる顔画像を登録する基準顔データベースと、
追加登録顔選択部と
を備え、
前記追加登録顔選択部は、
新しい入力顔画像が取得されると、前記基準顔データベースに既に登録されている顔画像の分類条件を参照して前記入力顔画像に関連する分類条件を決定し、前記入力顔画像に関連する前記分類条件が特定の分類条件であり、且つ、前記特定の分類条件に関連する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに追加で登録可能な画像として前記入力顔画像を選択し、
当該基準顔データベース管理装置は、
前記入力顔画像が前記基準顔データベースに追加で登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち幾つかを選択して削除する事前登録顔置換部をさらに備え、
前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像のうち類似性一致に利用された回数が最も少ない顔画像を選択して削除する基準顔データベース管理装置。

【請求項15】

前記事前登録顔置換部は、所定の時点から現時点までの間において、前記新しい入力顔画像に含まれる顔の識別情報を認識するべく、前記基準顔データベースに既に登録されている前記顔画像のそれぞれが類似性一致に利用された回数をカウントする請求項１４に記載の基準顔データベース管理装置。

【請求項16】

メモリが限られた環境において顔認識性能を改善する基準顔データベース管理装置であって、
顔認識に用いられる顔画像を登録する基準顔データベースと、
追加登録顔選択部と
を備え、
前記追加登録顔選択部は、
新しい入力顔画像が取得されると、前記基準顔データベースに既に登録されている顔画像の分類条件を参照して前記入力顔画像に関連する分類条件を決定し、前記入力顔画像に関連する前記分類条件が特定の分類条件であり、且つ、前記特定の分類条件に関連する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに追加で登録可能な画像として前記入力顔画像を選択し、
当該基準顔データベース管理装置は、
前記入力顔画像が前記基準顔データベースに追加で登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち幾つかを選択して削除する事前登録顔置換部をさらに備え、
前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出して、前記バラツキが最も小さい顔画像を選択して削除し、
前記バラツキを算出するときに、前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像のうち一の顔画像を選択し、選択された前記顔画像以外の残りの前記既に登録されている顔画像の顔認識一致値の平均を算出し、前記選択された一の顔画像の顔認識一致値と、前記残りの既に登録されている顔画像の顔認識一致値の平均との差分を算出する基準顔データベース管理装置。

【請求項17】

メモリが限られた環境において顔認識性能を改善する基準顔データベース管理装置であって、
顔認識に用いられる顔画像を登録する基準顔データベースと、
追加登録顔選択部と
を備え、
前記追加登録顔選択部は、
新しい入力顔画像が取得されると、前記基準顔データベースに既に登録されている顔画像の分類条件を参照して前記入力顔画像に関連する分類条件を決定し、前記入力顔画像に関連する前記分類条件が特定の分類条件であり、且つ、前記特定の分類条件に関連する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに追加で登録可能な画像として前記入力顔画像を選択し、
当該基準顔データベース管理装置は、
前記入力顔画像が前記基準顔データベースに追加で登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち幾つかを選択して削除する事前登録顔置換部をさらに備え、
前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出して、前記バラツキが最も小さい顔画像を選択して削除し、
前記バラツキを算出するときに、前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像の顔認識一致値の平均を算出し、前記顔認識一致値の前記平均と、前記既に登録されている顔画像のそれぞれの顔認識一致値との差分を算出する基準顔データベース管理装置。

【請求項18】

前記基準顔データベースは、既に登録されている前記顔画像の前記分類条件として、前記入力顔画像の表情、前記顔画像の撮影角度、前記顔画像に当てられている照明の方向、および、光源の種類のうち少なくとも１つを含む請求項１４から１７の何れか１項に記載の基準顔データベース管理装置。

【請求項19】

前記追加登録顔選択部は、前記特定の分類条件に関連している前記顔画像が前記基準顔データベース内で前記所定のしきい値より少ないか否かを、前記入力顔画像に含まれている人物の識別情報に基づいて決定する請求項１４から１８の何れか１項に記載の基準顔データベース管理装置。

【請求項20】

メモリが限られた環境において顔認識性能を改善する基準顔データベース管理装置であって、
顔認識に利用される顔画像を登録する基準顔データベースと、
追加登録顔選択部と
を備え、
前記追加登録顔選択部は、
１以上の新しい入力顔画像が取得されると、特定の顔認識メトリックに基づいて前記入力顔画像をまとめることによって、前記入力顔画像を類似の顔画像のグループにグループ分けし、
グループ分けされた前記入力顔画像の中から一の重心顔画像または一の平均顔画像に対応する顔画像を代表顔画像として選択し、前記基準顔データベースに選択された前記代表顔画像を追加で登録し、
当該基準顔データベース管理装置は、
前記入力顔画像が追加で前記基準顔データベースに登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち１以上を選択して削除する事前登録顔置換部をさらに備え、
前記事前登録顔置換部は、
前記基準顔データベースに既に登録されている前記顔画像のうち類似性一致に利用された回数が最も少ない顔画像を選択して削除する基準顔データベース管理装置。

【請求項21】

前記事前登録顔置換部は、所定の時点から現時点までの間において、前記新しい入力顔画像に含まれる顔の識別情報を認識するべく、前記基準顔データベースに既に登録されている前記顔画像のそれぞれが類似性一致に利用された回数をカウントする請求項２０に記載の基準顔データベース管理装置。

【請求項22】

メモリが限られた環境において顔認識性能を改善する基準顔データベース管理装置であって、
顔認識に利用される顔画像を登録する基準顔データベースと、
追加登録顔選択部と
を備え、
前記追加登録顔選択部は、
１以上の新しい入力顔画像が取得されると、特定の顔認識メトリックに基づいて前記入力顔画像をまとめることによって、前記入力顔画像を類似の顔画像のグループにグループ分けし、
グループ分けされた前記入力顔画像の中から一の重心顔画像または一の平均顔画像に対応する顔画像を代表顔画像として選択し、前記基準顔データベースに選択された前記代表顔画像を追加で登録し、
当該基準顔データベース管理装置は、
前記入力顔画像が追加で前記基準顔データベースに登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち１以上を選択して削除する事前登録顔置換部をさらに備え、
前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出し、前記バラツキが最も小さい顔画像を選択して削除し、
前記バラツキを算出するときに、前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像のうち一の顔画像を選択し、選択された前記顔画像以外の残りの前記既に登録されている顔画像の顔認識一致値の平均を算出し、前記選択された一の顔画像の顔認識一致値と、前記残りの既に登録されている顔画像の顔認識一致値の平均との差分を算出する基準顔データベース管理装置。

【請求項23】

メモリが限られた環境において顔認識性能を改善する基準顔データベース管理装置であって、
顔認識に利用される顔画像を登録する基準顔データベースと、
追加登録顔選択部と
を備え、
前記追加登録顔選択部は、
１以上の新しい入力顔画像が取得されると、特定の顔認識メトリックに基づいて前記入力顔画像をまとめることによって、前記入力顔画像を類似の顔画像のグループにグループ分けし、
グループ分けされた前記入力顔画像の中から一の重心顔画像または一の平均顔画像に対応する顔画像を代表顔画像として選択し、前記基準顔データベースに選択された前記代表顔画像を追加で登録し、
当該基準顔データベース管理装置は、
前記入力顔画像が追加で前記基準顔データベースに登録される場合、前記基準顔データベースに既に登録されている前記顔画像のうち１以上を選択して削除する事前登録顔置換部をさらに備え、
前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像についてクラス内のバラツキを算出し、前記バラツキが最も小さい顔画像を選択して削除し、
前記バラツキを算出するときに、前記事前登録顔置換部は、前記基準顔データベースに既に登録されている前記顔画像の顔認識一致値の平均を算出し、前記顔認識一致値の前記平均と、前記既に登録されている顔画像のそれぞれの顔認識一致値との差分を算出する基準顔データベース管理装置。

【請求項24】

前記追加登録顔選択部は、前記入力顔画像のそれぞれにおいて顔認識のために一致値を算出し、算出された前記一致値に基づいて、前記入力顔画像を非常に類似した画像のグループにグループ分けする請求項２０から２３の何れか１項に記載の基準顔データベース管理装置。

【請求項25】

前記追加登録顔選択部は、算出した前記一致値のうち重心一致値または平均一致値に最も近い一致値を持つ顔画像を、前記代表顔画像として、選択する請求項２４に記載の基準顔データベース管理装置。

【請求項26】

前記基準顔データベースに前記選択された代表顔画像を追加で登録するときに、前記追加登録顔選択部は、前記基準顔データベースに既に登録されている前記顔画像の分類条件を参照して、前記代表顔画像に関連する分類条件を決定し、前記代表顔画像に関連する前記分類条件が特定の分類条件であり、前記特定の分類条件に関する顔画像が前記基準顔データベース内で所定のしきい値より少ない場合、前記基準顔データベースに前記代表顔画像を追加で登録する請求項２０から２５の何れか１項に記載の基準顔データベース管理装置。

【請求項27】

コンピュータに、請求項１から１３のいずれか１項に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、顔認識を利用するデジタル画像ピックアップデバイス（デジタルカムコーダ、デジタルカメラ、カメラ付き電話等）で取得されたマルチメディアコンテンツ（写真または動画）に含まれている顔の認識率を改善するべく顔画像を追加で登録および削除する方法、装置およびコンピュータ可読記録媒体に関する。具体的には、追加でデータベースに登録される顔画像を選択すること、および、メモリリソースが限られているデジタル画像ピックアップデバイスを用いて写真を撮影する際に顔認識性能を改善するべく、既に格納されている顔画像と当該顔画像とを置換することに関する。

【背景技術】

【0002】

スマートフォン、デジタルカムコーダ、デジタルカメラ等の市場を含むカメラ付き電話の市場の拡大と同時に、写真または動画を撮影する技術は進化してきた。このような撮影技術のうち１つとして、自動的に顔に焦点を合わせるべく、または、人物が特定の表情を浮かべている際に自動的に人物を撮影するべく、デジタル画像ピックアップデバイスを用いて撮影された画像で人物の顔を認識する技術がある。

【0003】

しかし、通常の環境では、多様な角度から撮影された顔の画像、多岐にわたる顔の表情、および、さまざまな方向からの照明（自然光、人工光等）が原因となって、顔を認識する性能が低下する。上述した問題点を克服するべく、顔認識用の基本的な基準顔画像がデータベースに登録されている場合、可能な限り多くの多様な顔画像を予め登録しておくことで性能を改善することができる。しかし、デジタルカメラまたはカメラ付き電話等のデジタル画像ピックアップデバイスのメモリリソースは限られているので、利用可能な顔画像をすべて格納するために十分なリソースを持たないという問題が存在する。

【0004】

したがって、新しく撮影または入力された顔画像のうち、顔認識処理の性能を効果的に改善する顔画像を選択して登録し、メモリリソースが限られていることを考慮して既に格納されている顔画像のうち幾つかを削除する有効な方法を開発する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

このため、本開示の目的は上述した問題を解決することにある。

【0006】

また、本開示の別の目的として、カメラで顔画像を撮影する際に、ポーズ、顔の表情、照明角度等が変化する環境であっても、高い顔認識率が実現できる顔画像を選択して登録する方法を提供することが挙げられる。

【0007】

本開示のさらに別の目的として、デジタル画像ピックアップデバイスの限られたメモリリソースを効率的に利用するべく、既に登録されている顔画像のうち顔認識について必要度が最も低い登録された画像を削除する方法を提供することが挙げられる。

【課題を解決するための手段】

【0008】

上述した目的を実現するための本開示の代表的な構成を以下で説明する。

【0009】

本開示の一側面によると、メモリが限られている環境において顔認識性能を改善するべく、基準顔データベースを管理する方法が提供される。当該方法は、新しい入力顔画像を取得する段階と、顔認識に用いられる基準顔データベースに既に登録されている顔画像の分類条件に基づいて入力顔画像に関連する分類条件を決定する段階と、入力顔画像に関連する分類条件が特定の分類条件であり、且つ、特定の分類条件に関連する顔画像が基準顔データベース内で所定のしきい値より少ない場合、基準顔データベースに追加で登録可能な画像として入力顔画像を選択する段階とを備える。

【0010】

本開示の別の側面によると、メモリが限られた環境において顔認識性能を改善するべく基準顔データベースを管理する装置が提供される。当該装置は、顔認識に用いられる顔画像を登録する基準顔データベースと、追加登録顔選択部とを備える。追加登録顔選択部は、入力顔画像が取得される場合、基準顔データベースに既に登録されている顔画像の分類条件に基づいて新しい入力顔画像に関連する分類条件を決定し、入力顔画像に関連する分類条件が特定の分類条件であり、且つ、特定の分類条件に関連する顔画像が基準顔データベース内で所定のしきい値より少ない場合、基準顔データベースに追加で登録可能な画像として入力顔画像を選択する。

【0011】

また、本開示を実現するための他の方法および装置、ならびに、上記の方法を実行するためのコンピュータ可読記録媒体が提供される。

【0012】

本開示によると、有効性が最も高い顔画像が選択され、顔認識用の基準顔データベースに追加で登録され得るので、デジタル画像ピックアップデバイスを用いて人物を撮影する場合に、顔認識を高い認識率で実現することが可能である。さらに、新しく基準顔データベースに追加すべき顔画像のために、既に登録されている顔画像のうち有効性が最も低い画像の幾つかを削除するので、不十分なメモリリソースを効率的に利用することができる。

【図面の簡単な説明】

【0013】

【図1】本開示の実施形態に応じた、デジタル装置の構成を示す図である。

【図2】本開示の実施形態に応じた、追加で登録されるべき顔画像を選択する方法を説明するためのフローチャートである。

【図3】本開示の実施形態に応じた方法を利用するデジタル装置によって追加で登録されるべき顔画像を選択するプロセスを説明する、基準顔データベースを示す図である。

【図4】本開示の別の実施形態に応じた、追加で登録すべき顔画像を選択する方法を示すフローチャートである。

【図5】本開示の実施形態に応じた、基準顔データベースに既に登録されている顔画像のうち、顔を認識する上で有効性が低い顔画像を選択して削除する方法を説明するフローチャートである。

【図6】本開示の実施形態に応じた、基準顔データベースに既に登録されている顔画像のうち、顔を認識する上で有効性が低い顔画像を選択して削除する方法を説明するフローチャートである。

【図7】本開示の実施形態に応じた、基準顔データベースに既に登録されている顔画像のうち、顔を認識する上で有効性が低い顔画像を選択して削除する方法を説明するフローチャートである。

【図8】本開示の実施形態に応じた、基準顔データベースに既に登録されている顔画像のうち、顔を認識する上で有効性が低い顔画像を選択して削除する方法を説明するフローチャートである。

【発明を実施するための形態】

【0014】

以下に記載する本開示の詳細な説明では、一例として、本開示を実施し得る具体的な実施形態を示す添付図面を参照する。これらの実施形態は、当業者が本開示を実施することができるように十分詳細に記載されている。本開示のさまざまな実施形態は、それぞれ異なるが、必ずしも相互に排他的ではないと理解されたい。例えば、一実施形態に関連付けて本明細書に記載する特定の特徴、構造および特性は、本開示の意図および範囲から逸脱することなく、他の実施形態で実施し得るものである。また、開示した各実施形態における個々の構成要素の位置または配置は、本開示の意図および範囲から逸脱することなく、変更し得るものと理解されたい。このため、以下に記載する詳細な説明は、限定的に解釈されるべきではなく、本開示の範囲は特許請求の範囲によって定められ、特許請求の範囲の内容と均等な全範囲に基づき適切に解釈される。図面において、同様の参照番号はさまざまな方法で同一または同様の機能を意味する。

【0015】

以下では、当業者が本開示を容易に実施できるように、添付図面を参照しつつ本開示のさまざまな実施形態を詳細に説明する。

【0016】

カメラを用いて写真を撮影する場合、人物の顔または特別な表情に焦点を合わせるためには、最初に、撮影した画像に含まれている人物の顔を、検出した顔と、データベースに含まれている既に格納されている基準顔画像とを比較することで、検出して認識する必要がある。しかし、顔認識用の基準顔画像が同一の照明で１つの表情でのみ撮影された画像である場合、顔認識率は非常に低くならざるを得ない。これは、人物Ａの画像が、データベースに格納されている基準顔画像に含まれているが、人物Ａの顔がデータベースに格納されている同一人物の基準顔画像のものとは異なる表情、ポーズ、および照明方向で撮影されている場合、撮影された画像内の人物Ａは正しく認識できない可能性が非常に高いためである。顔認識率を改善するべく、対応する人物のさまざまな顔画像をデータベースに格納するとしてよい。しかし、ポータブルデバイス、つまり、デジタルカメラまたはカメラ付き電話のメモリ記憶空間は非常に小さいので全ての多岐にわたる顔画像を格納することが出来ないという問題がある。

【0017】

本開示は、（ａ）有効性が最も高い顔画像を選択し、限られたメモリ格納空間を利用しつつ顔認識率を向上させるべく、顔認識用の基準顔データベースに選択された顔画像を追加で登録する段階と、（ｂ）基準顔データベースに新しく追加された顔画像の代わりに、既に登録されている顔画像のうち有効性が最も低い画像の幾つかを削除する段階とを備える方法を提案する。本開示はさらに、上述した方法が適用される装置、および、上記の方法を記録して実施するためのコンピュータ可読記録媒体を提案する。

【0018】

図１は、本開示の実施形態に応じたデジタル装置１００の構成を示す図である。

【0019】

図１を参照すると、デジタル装置１００は、基準顔データベース１１０、追加登録顔選択部１２０と、事前登録顔置換部１３０と、通信部１４０と、制御部１５０とを備える。

【0020】

本開示の実施形態によると、基準顔データベース１１０、追加登録顔選択部１２０、事前登録顔置換部１３０、通信部１４０、制御部１５０のうち少なくとも幾つかは、デジタル装置１００に含まれているプログラムモジュールであってよく、または、デジタル装置１００と通信するプログラムモジュールであってもよい。しかし、図１は、基準顔データベース１１０、追加登録顔選択部１２０、事前登録顔置換部１３０、通信部１４０および制御部１５０が全てデジタル装置１００に含まれている例を示している。プログラムモジュールのうち少なくとも一部は、オペレーティングシステム、アプリケーションプログラムまたは他のプログラムモジュールとしてデジタル装置１００に含まれているとしてよく、さまざまな公知のメモリデバイスに物理的に格納されているとしてよい。また、プログラムモジュールのうち少なくとも一部は、デジタル装置１００と通信可能なリモートメモリデバイスに格納されているとしてよいこのようなプログラムモジュールは総合的に、特定のタスクを実行するべく、または、特定の抽象データ型を実行するべく、ルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。これらについては、後述するが、これらに限定されるわけではない。

【0021】

最初に、基準顔データベース１１０は、特定の人物の顔の各角度についてデータを記録するとしてよい。例えば、当該人物の正面から撮影した写真、顔を４５度右側に回転して撮影した写真、顔を４５度左側に回転して撮影した写真、顔を９０度右側に回転させて撮影した写真、顔を９０度左側に回転して撮影した写真等である（後述する図３を参照のこと）。ここで、上述した角度は一例としてのみ挙げており、これらに加えて、３次元方向に拡張してさまざまな変形を利用するとしてもよい。例えば、顔を３０度上向きに上げて撮影した写真、顔を６０度上向きに傾けて撮影した写真等をさらに利用するとしてもよい。

【0022】

また、基準顔データベース１１０は、特定の人物の顔に当てられた照明の各角度についてデータを登録するとしてよい。例えば、当該人物の正面から照明を当てて撮影した写真、顔の右側から照明を当てて撮影した写真、顔の左側から照明を当てて撮影した写真、顔の下方から照明を当てて撮影した写真、顔の上方から照明を当てて撮影した写真等（不図示）である。ここで、上述した照明の角度は一例としてのみ挙げられており、これらに加えて、３次元方向に拡張したさまざまな変形も可能であるとしてよい。例えば、顔の左上３０度から照明を当てて撮影した写真、顔の右下６０度から照明を当てて撮影した写真、顔の正面と右側との間の中間地点から照明を当てて撮影した写真等も可能であるとしてよい。また、人物の写真は、利用した光源の種類に応じて分類して記録するとしてもよい（室内光源および室外光源、自然光、周囲光等）。

【0023】

続いて、特定の人物の新しい入力顔画像が入力されると、追加登録顔選択部１２０が、新しい入力顔画像を基準顔データベース１１０に格納するか否かを判断する機能を実行するとしてよい。この場合、追加登録顔選択部１２０はさらに、上述したように、基準顔データベース１１０に既に格納されている特定の人物の顔画像を検証した後で、新しい入力顔画像を基準顔データベース１１０に格納するか否かも判断するとしてよい。

【0024】

図２は、本開示の実施形態に応じた、追加で登録すべき顔画像を選択する方法を説明するためのフローチャートである。

【0025】

新しい入力顔画像として推奨され登録されるべき顔画像を選択するべく、本開示の実施形態に係る追加登録顔選択部１２０は、新しい入力顔画像が顔認識用の新しい登録条件を持つか否かを認識し、新しい入力顔画像の条件が満たしていると判断される場合、基準顔データベース１１０に登録されるべき候補の顔として新しい入力顔画像を選択する手段を提供する。

【0026】

図２を参照すると、本開示の実施形態に係る追加登録顔選択部１２０は、最初に新しい顔画像を基準顔データベース１１０の外部から受信する。基準顔データベース１１０は、既に登録されている顔画像を格納する（Ｓ２０１）。外部から受信された新しい顔画像は、新しく撮影された画像であってもよいし、または、外部メモリ空間に既に格納されている画像であってもよい。また、このようなデータが新しい登録条件を満たしているか否か判断されていない場合には、基準顔データベース１１０に既に格納されているデータに対してもステップＳ２０１が実行されるとしてよい。

【0027】

続いて、新しい入力顔画像の条件が基準顔データベース１１０に既に登録されている顔画像に存在する条件であるか否かを判断する（Ｓ２０２）。

【0028】

ここで、新しい入力顔画像の条件は、入力された顔画像の特徴に基づいて新しい入力顔画像を分類するための基準であり、外部環境に関連する条件、例えば、撮影姿勢、つまり、入力顔画像において示されているポーズまたは表情、顔画像を撮影する角度、顔に当てられている照明の方向等を含むとしてよい。例えば、新しい入力顔画像が表情に応じて分類される場合、基準は、笑顔、無表情の顔、怒った顔、渋面等であってよく、顔画像はこれらの基準に基づいて分類される。また、新しい入力顔画像が顔を撮影する角度で分類される場合、基準は、顔が正面から撮影されているか否か、左側または右側のどちらかから撮影されているか否か、正面から左側または右側にわずかにずれて斜めの方向から撮影されているか否か、正面から左側または右側に大きくずれて斜めの方向から撮影されているか否か、正面のわずかに上方から撮影されているか否か、正面のわずかに下方から撮影されているか否か、正面のはるかに上方から撮影されているか否か、正面のはるかに下方から撮影されているか否か、または、正面の左上、左下、右上または右下から撮影されているか否か等であってよく、入力顔画像がこれらの基準に基づいて分類される。新しい入力顔画像が画像の照明方向に応じて分類される場合、基準は、顔の正面からの方向、顔の背面からの方向、顔の左側または右側からの方向、顔の上方または下方からの方向等であってよく、入力顔画像はこれらの基準に基づいて分類される。

【0029】

具体的には、人物Ａの顔画像が入力される場合、入力された顔画像はさまざまな特徴に応じて分類される。そして、基準顔データベース１１０が既に、入力された顔画像が持つ上述したように分類された条件と同じ条件を持つ人物Ａの顔画像を格納しているか否か（例えば、入力された顔画像のポーズ、表情および照明角度のうち少なくとも１つ）が判断される。例えば、右側および正面から撮影された顔画像のみが、基準顔データベース１１０に登録されている人物Ａの顔画像に含まれている場合、新しく入力された顔画像が人物Ａの顔の左側から撮影された画像であるとすると、左側から撮影された顔画像のデータは基準顔データベース１１０には含まれていないので（つまり、左側から人物Ａの顔を撮影するという条件は基準顔データベース１１０に含まれていない条件なので）、新しく入力された顔画像は、基準顔データベース１１０に追加で登録される画像として選択され登録されるとしてよい（Ｓ２０３）。

【0030】

また、実施形態のさまざまな側面は上述した特別な場合にのみ適用されるのではなく、以下のように一般的な場合についても適用されるとしてよい。例えば、入力された顔画像に関連する分類条件が基準顔データベース１１０に既に登録されている顔画像の分類条件に基づいて決まり、入力顔画像に関連する分類条件が特定の分類条件である場合、特定の分類条件に関連する顔画像が基準顔データベース内で所定のしきい値より少ない場合、入力された顔画像を、基準顔データベースに追加で登録する画像として選択する方法を考慮することが可能である。ここで、特定の分類条件に関連する顔画像が所定のしきい値より少ないか否かは、特定の人物についてのみ判断されるとしてよく、または、一般的な人物を考慮して判断されるとしてもよい。

【0031】

図３は、本開示の実施形態に応じた方法を用いて追加登録顔選択部１２０によって追加で登録されるべき顔画像を選択するプロセスを説明する図である。

【0032】

図３に示す顔画像を選択する方法は、顔を撮影する角度に基づき、顔画像は新しい顔画像であるか否かを判定する例を示す図である。図３を参照すると、顔認識用の基準顔データベース１１０に既に格納されている顔画像には人物Ａについて顔画像ａ−ｄが存在する（顔画像ａは正面からの写真であり、顔画像ｂは顔を４５度右側に回転させた写真であり、顔画像ｃは顔を左側に４５度回転させた写真であり、顔画像ｄは顔を右側に９０度回転させた画像である）場合、新しく入力された顔画像が、人物Ａの顔画像であり、顔画像ｅと同じである（顔画像ｅは顔を左側に９０度回転させた写真である）場合、本開示に係る追加登録顔選択部１２０は、顔画像ｅに含まれている人物Ａの顔画像の撮影角度が、基準顔データベース１１０に既に格納されている人物Ａの顔画像の撮影角度と異なるクラスであるか、または、基準顔データベース１１０に格納されている顔画像の撮影角度を含む同じクラスであるかを判断する。この場合、新しい顔画像の撮影角度が基準顔データベース１１０に格納されている顔画像の撮影角度のクラスに含まれていると判断される場合（２つの撮影角度は正確に一致している必要はなく、顔を認識するために十分な程度の範囲の類似性に含まれているのみである場合）、基準顔データベース１１０に既に格納されている種類の顔画像であると判断されるとしてよい。例えば、人物Ａの新しく入力された顔画像ｆ（不図示）が顔を５０度右側に回転させた写真である場合、新しい顔画像は基準顔データベース１１０に既に格納されている人物Ａの顔画像ｂと類似していると認められる範囲内にあるので、追加登録顔選択部１２０は、新しく入力された顔画像ｆを基準顔データベース１１０に登録しないとしてよい。

【0033】

しかし、図３に示すように、新しく入力された顔画像ｅの撮影角度は、９０度左側に回転させた人物Ａの顔の写真の撮影角度であり、基準顔データベース１１０に既に登録されている人物Ａの顔画像の撮影角度に含まれていないので、追加登録顔選択部１２０は、人物Ａの新しく入力された顔画像ｅを基準顔データベース１１０に追加するとしてよい。

【0034】

顔画像は撮影角度にのみ基づいて分類され、図３において新しい顔画像が特定され追加で登録されるが、本開示の実施形態に応じた新しく登録すべき顔画像を選択するための撮影装置は、撮影角度、表情、照明等の少なくとも幾つかを組み合わせることで、用いられるとしてよい。これは、照明方向が異なれば、デジタルカメラ等の撮影装置は同じ撮影角度の画像を異なる顔と判断する可能性があり、したがって、顔認識率が低くなり得る可能性があるためである。このように、複数の異なる照明方向が各撮影角度または各表情に適用されるさまざまな顔画像が複数の異なる条件に基づいて決定され、各条件について基準顔データベース１１０に記録されている場合、顔認識率が高くなる。

【0035】

図４は、本開示の別の実施形態に応じた追加で登録すべき顔画像を選択する方法を説明するためのフローチャートである。

【0036】

新しい顔画像として推奨され登録されるべき顔画像を選択するべく、本開示の他の実施形態に応じた追加登録顔選択部１２０は、特定の顔認識メトリックに基づいて基準顔データベース１１０の外部からの少なくとも１つの顔画像候補をまとめて、他の顔画像を容易に認識するために利用され得る一の代表顔画像を自動的に推奨する方法を提案するとしてよい。

【0037】

図２の実施形態における顔画像を選択する方法は、基準顔データベース１１０の外部から受け取った新しく入力された顔画像を、新しく入力される顔画像を個別に判定することによって、基準顔データベース１１０に登録すべき顔画像として選択するか否かを判断する段階を含むが、図４に示すように本開示の別の実施形態に応じて顔画像を選択する段階はさらに、基準顔データベース１１０の外部から複数の新しい顔画像を受信する段階、複数の新しい顔画像を代表する一の顔画像を選択する段階、および、選択された顔画像を基準顔データベース１１０に登録すべき顔画像として推奨する段階を備えるとしてよい。

【0038】

図４を参照すると、本開示の他の実施形態に係る追加登録顔選択部１２０は最初に、基準顔データベース１１０の外部から１以上の新しく入力される顔画像を受け取る（Ｓ４０１）。そして、追加登録顔選択部１２０は、新しい入力顔画像を顔認識メトリックに基づいてまとめることによって、受信した新しい入力顔画像を類似画像のグループ毎に分割する（Ｓ４０２）。「まとめる」とは、各画像について顔認識用の一致値を算出し、算出した一致値に基づいて非常に類似した画像のグループに、または、キーポイントの記述子間の距離（例えば、ユークリッド距離）が短い画像のグループに、入力された顔画像をグループ分けすることを意味する。つまり、転送された新しい入力顔画像は、互いに異なる画像であり、互いに異なる画像は類似している種類、つまり、類似している種類のポーズまたは表情、類似している種類の撮影角度、類似している種類の照明等の顔画像のグループ毎に分割する必要がある。

【0039】

この後、追加登録顔選択部１２０は、グループ分けされた顔画像のうち重心画像または平均画像に対応する顔画像を、グループの代表顔画像として、選択する（Ｓ４０３）。このプロセスは、類似の画像としてグループ化された顔画像のうち最も適切にグループを代表し得る標準的な顔画像が、当該グループの代表画像として選択される旨を意味する。例えば、まとめプロセスにおいて各画像において算出された一致値のうち、重心一致値または平均一致値に最も近い一致値を持つ顔画像は、グループの代表顔画像として選択され得る。言い換えると、正面からの顔画像としてグループ分けされた複数の顔画像は、実際には全て同じ画像ではなく、表情が異なったり、または、撮影角度がわずかに異なったりし、これは、グループ分けされた複数の顔画像のうち一の標準的な画像を代表画像として選択するプロセスであってよい。

【0040】

追加登録顔選択部１２０は、このような顔画像を、既に基準顔データベース１１０に登録されている顔画像に追加され得る画像として選択し、顔画像を基準顔データベース１１０に登録する（Ｓ４０４）。

【0041】

上述した実施形態に加えて、以下のような変形例も利用されるとしてよい。例えば、代表顔画像を基準顔データベース１１０に追加で登録する際に、代表顔画像に関連する分類条件は、基準顔データベース１１０に既に登録されている顔画像の分類条件に基づいて決定される。代表顔画像に関連する分類条件が特定の分類条件である場合、代表顔画像は、特定の分類条件に関連する顔画像が基準顔データベース１１０内で所定のしきい値より少ない場合にのみ、基準顔データベース１１０に追加で登録されるとしてよい。

【0042】

事前登録顔置換部１３０は、基準顔データベース１１０に格納されている顔画像のうち、新しい入力顔画像が追加されるのと同数だけ、または、所望の余剰格納空間を確保するために必要な数なだけ（つまり、顔認識用に、新しく登録される入力顔画像のために、既に登録されている顔画像を削除することによって、効率的な顔データで置換すると言えるとしてよい）、基準顔データベース１１０に既に格納している顔画像を選択して削除するとしてよい。

【0043】

図５は、本開示の実施形態に応じた事前登録顔置換部１３０によって、基準顔データベース１１０に既に登録されている顔画像のうち、新しい入力顔画像と置換すべき顔画像（つまり、削除した顔画像）を選択する方法を示すフローチャートである。

【0044】

本開示の実施形態に応じた事前登録顔置換部１３０は、基準顔データベース１１０に最も長期間にわたって格納されている顔画像を、既に登録されている顔画像のうち、新しい入力顔画像で置換すべき画像として選択するとしてよい。

【0045】

図５を参照すると、本開示の実施形態に応じた事前登録顔置換部１３０は最初に、基準顔データベース１１０に既に格納されている顔画像を格納された順序に並べて、置換すべき既に登録されている顔画像を選択する（Ｓ５０１）。この場合、単に、格納された順序で既に決定されている配列に関する情報を参照するケースを仮定するとしてよい。そして、最も古い既に登録されている顔画像を選択して（Ｓ５０２）削除するとしてよい。この場合、選択された既に登録されている顔画像を、新しい入力顔画像で置換するとしてもよい（Ｓ５０３）。

【0046】

図６は、本開示の別の実施形態に応じて、事前登録顔置換部１３０によって、既に登録されている顔画像のうち新しい顔画像と置換すべき顔画像を選択する方法を説明するためのフローチャートである。

【0047】

既に登録されている顔画像のうち新しい入力顔画像と置換すべき顔画像を選択することは、成功した顔認識処理において見つかった一致の数をカウントして、一致した回数が最も少ない既に登録されている顔画像を認識性能への寄与が最も少ないものとして決定することによって、顔画像を選択して置換することを含むとしてよい。

【0048】

図６を参照すると、事前登録顔置換部１３０は最初に、一部の実施形態によると、置換すべき既に登録されている画像を選択するべく、基準顔データベース１１０に既に登録されている顔画像のそれぞれが顔認識に用いられた回数をカウントする（Ｓ６０１）。例えば、２０個の顔画像が基準顔データベース１１０に格納されている場合、１番目から２０番目の顔画像のそれぞれが顔認識に用いられた回数（つまり、新しく入力された画像の顔の識別情報を認識するべく類似性一致の対象として用いられる基準顔データベース１１０にある各顔画像が類似性一致に用いられた回数）を、所定の時点から現時点まで累積方式でカウントする。

【0049】

この後、事前登録顔置換部１３０は、顔認識に用いられた回数が最も少ない既に登録されている顔画像を選択して（Ｓ６０２）、当該顔画像を削除するとしてよい。この時点において、選択された既に登録されている顔画像は、新しい入力顔画像と置換するとしてよい（Ｓ６０３）。

【0050】

つまり、例えば、基準顔データベース１１０に既に登録されている顔画像には上方から撮影した画像があるが、新しく撮影された画像には上方から撮影した画像がほとんどない。言い換えると、上方から撮影した既に登録されている画像が顔認識に利用されるのは非常にまれである場合があるとしてもよい。このような場合、事前登録顔置換部１３０は、この既に登録されている顔画像を認識性能への寄与が最も少ないものとして決定し、この既に登録されている顔画像を削除または置換の対象として選択する。

【0051】

図７は、本開示のさらに別の実施形態に応じて、事前登録顔置換部１３０によって、既に登録されている顔画像のうち新しい顔画像で置換すべき顔画像を選択する方法を説明するためのフローチャートである。

【0052】

既に登録されている顔画像のうち新しい入力顔画像と置換すべき顔画像を選択するべく、事前登録顔置換部１３０は、一部の実施形態において、顔画像を比較することで基準顔データベース１１０に格納されている顔画像同士の類似性を検査し、置換すべき画像として最も類似している顔画像のうち１つを選択するとしてよい。同一顔画像が２つ以上存在する場合、顔認識率は等しいままでも、同一顔画像が１つのみである場合に比べて、基準顔データベース１１０において占有空間が大きいことになる。このため、同一顔画像のうち１つを削除するとしてよいと判断される。

【0053】

図７を参照すると、置換すべき既に登録されている顔画像を選択する方法は最初に、基準顔データベース１１０に既に登録されている顔画像同士の類似度を判断して（Ｓ７０１）最も類似している顔画像を選択する（Ｓ７０２）ことを含む。この場合、類似性を判断するプロセスは、基準顔データベース１１０に登録されている顔画像における顔認識用の一致値の差分を利用して（例えば、人物Ａの顔画像を対象とする）、２つの対応する顔画像の類似性が、一致値の差分が小さいので、大きいと判断する方法を利用するとしてよい。そして、互いに最も類似していると判断された２つの顔画像のうち１つは最終的に、置換すべき画像として選択されるとしてよく（Ｓ７０３）、この画像は削除することができる。この場合、選択された既に登録されている顔画像はさらに、新しい入力顔画像で置換するとしてよい（Ｓ７０４）。

【0054】

図８は、本開示のさらに別の実施形態に応じた、事前登録顔置換部１３０によって、既に登録されている顔画像のうち新しい顔画像で置換すべき顔画像を選択する方法を説明するためのフローチャートである。

【0055】

既に登録されている顔画像のうち新しい入力顔画像で置換すべき顔画像を選択するべく、事前登録顔置換部１３０は、他の実施形態によると、基準顔データベース１１０に格納されている一のクラスの顔画像におけるバラツキを算出して、置換すべき画像としてバラツキ値が最も小さい顔画像を選択するとしてよい。

【0056】

この方法においても、図７の実施形態のように２以上の同一の顔画像が存在する場合、顔認識率は等しいままであっても、同一顔画像が１つのみである場合に比べると、基準顔データベース１１０における占有空間が大きくなるとしてよい。このため、同一の顔画像のうち１つを削除すると判断するとしてよい。しかし、クラス全体でバラツキを算出することによってバラツキ値が最も小さい１つの顔画像を、基準顔データベース１１０における顔画像同士の類似性を一対一で判断することなく、選択するとしてよい、

【0057】

図８を参照すると、本開示の別の実施形態に係る事前登録顔置換部１３０は最初に、一のクラス内において基準顔データベース１１０に既に登録されている顔画像同士についてバラツキを算出し（Ｓ８０１）、置換すべき既に登録されている顔画像を選択するべくバラツキ値が最も小さい顔画像を選択する（Ｓ８０２）。この時点において、クラス内においてバラツキを算出するプロセスは、公知のバラツキ値算出プロセスを利用するとしてよい。バラツキ値はさらに、既に登録されている顔画像のうち１つを選択し、選択された顔画像以外の既に登録されている顔画像の顔認識一致値の平均を算出し、一の選択された既に登録されている顔画像の顔認識一致値と、他の顔認識一致値の平均との間の差分を算出することによって、取得されるとしてよい。これに代えて、バラツキ値は、既に登録されている顔画像のうち１つを除外することなく、顔認識一致値のそれぞれと、全ての顔認識一致値の平均との間の差分を算出することによって取得されるとしてよい。

【0058】

そして、選択された画像を置換して新しい顔画像を登録し（Ｓ８０３）、選択された画像を削除するとしてよい。この時点において、選択された既に登録されている顔画像も、新しい入力顔画像で置換されるとしてよい。

【0059】

図２および図４で説明している追加で登録されるべき顔画像として新しい画像を選択する方法、および、図５から図８で説明している置換すべき画像を選択する方法は、組み合わせてさまざまな方法で利用するとしてもよい。

【0060】

上述した本開示に係る実施形態は、さまざまなコンピュータコンポーネントを用いて実行可能であり、コンピュータ可読記録媒体に記録可能なプログラムコマンドとして実現することができる。コンピュータ可読記録媒体は、プログラムコマンド、データファイル、データ構造等を、単独または組み合わせて含むとしてよい。コンピュータ可読記録媒体に記録されているプログラムコマンドは、本開示用に特別に設計および構成されたプログラムコマンド、または、コンピュータソフトウェア分野の当業者によって利用することが公知であるプログラムコマンドであってよい。コンピュータ可読記録媒体は、例えば、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープ等の磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤ等の光記録媒体、光ディスク等の光磁気媒体、および、プログラムコマンドを格納し実行するよう特別に構成されているハードウェアデバイス、例えば、ＲＯＭ、ＲＡＭ、フラッシュメモリ等を含む。プログラムコマンドは、例えば、インタプリタ等を用いてコンピュータによって実行可能な高級言語コードを含むと同時に、コンパイラによって生成される機械コードを含む。ハードウェアデバイスは、本開示に応じた処理を実行するべく１以上のソフトウェアモジュールを用いて動作するよう構成されているとしてもよいし、その逆であってもよい。

【0061】

上記の説明では、具体的なコンポーネント、さまざまな実施形態および図面等の具体的な事柄に関連付けて本開示を説明してきたが、これらは本開示を理解し易いように挙げたに過ぎず、本開示は実施形態に限定されるものではない。上記の説明の基づき当業者であればさまざまな点で上記の実施形態を変形および変更可能であることは明らかである。

【0062】

このため、本開示の意図が、上記の実施形態に限定されるべきではなく、特許請求の範囲および均一または均等に変形された点については、本開示の範囲に含まれるとみなされる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】