知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6802039
(24)【登録日】2020年11月30日
(45)【発行日】2020年12月16日
(54)【発明の名称】ユーザ認証のための登録データベースの適応的更新方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20201207BHJP
【ＦＩ】
G06T7/00 510B
【請求項の数】23
【全頁数】25
(21)【出願番号】特願2016-211851(P2016-211851)
(22)【出願日】2016年10月28日
(65)【公開番号】特開2017-91520(P2017-91520A)
(43)【公開日】2017年5月25日
【審査請求日】2019年6月18日
(31)【優先権主張番号】10-2015-0158148
(32)【優先日】2015年11月11日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2016-0027745
(32)【優先日】2016年3月8日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】韓 在 濬
(72)【発明者】
【氏名】金 亭 培
(72)【発明者】
【氏名】李 宣 ▲みん▼
【審査官】
藤原 敬利
(56)【参考文献】
【文献】
特開２０１５−０６９５７４（ＪＰ，Ａ）
【文献】
特開２０１２−１９４６０５（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００− ７／９０
(57)【特許請求の範囲】
【請求項1】
ユーザの顔を含む入力映像から第１特徴ベクトルを抽出するステップと、
前記第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて、前記入力映像を前記登録データベースに登録するか否かを判断するステップと、
前記判断の結果に基づいて前記入力映像を前記登録データベースに登録するステップと、
を含み、前記判断するステップにおいて、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離が第１閾値よりも小さく、かつ、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離が第２閾値よりも小さい場合に、前記入力映像を前記登録データベースに登録するものと判断する、登録データベースの適応的更新方法。
前記第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて、前記入力映像を前記登録データベースに登録するか否かを判断するステップと、
前記判断の結果に基づいて前記入力映像を前記登録データベースに登録するステップと、
を含み、前記判断するステップにおいて、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離が第１閾値よりも小さく、かつ、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離が第２閾値よりも小さい場合に、前記入力映像を前記登録データベースに登録するものと判断する、登録データベースの適応的更新方法。
【請求項2】
前記登録するか否かを判断するステップは、
前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップと、
前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かを判断するステップと、
のうち少なくとも１つを含み、前記アウトライアーは、認証には成功したが実際には本人ではない他人の映像を示す、請求項１に記載の登録データベースの適応的更新方法。
前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップと、
前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かを判断するステップと、
のうち少なくとも１つを含み、前記アウトライアーは、認証には成功したが実際には本人ではない他人の映像を示す、請求項１に記載の登録データベースの適応的更新方法。
【請求項3】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像が前記アウトライアーに該当するか否かを判断するステップを含み、
前記入力映像が前記アウトライアーに該当するか否かを判断するステップは、
前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、
前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、
前記最小距離及び前記代表距離に基づいて前記入力映像が前記アウトライアーであるかを判断するステップと、
を含む、請求項２に記載の登録データベースの適応的更新方法。
前記入力映像が前記アウトライアーに該当するか否かを判断するステップは、
前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、
前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、
前記最小距離及び前記代表距離に基づいて前記入力映像が前記アウトライアーであるかを判断するステップと、
を含む、請求項２に記載の登録データベースの適応的更新方法。
【請求項4】
前記アウトライアーであるかを判断するステップは、前記最小距離が第１閾値よりも小さく、かつ、前記代表距離が第２閾値よりも小さいことに基づいて前記入力映像が前記アウトライアーであるかを判断するステップを含む、請求項３に記載の登録データベースの適応的更新方法。
【請求項5】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が拡張されるか否かを判断するステップを含み、
前記登録データベースの特徴範囲が拡張されるか否かを判断するステップは、
前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離を決定するステップであって、前記累積特徴距離は前記ベクトル集合内の１つのベクトルと残りのベクトルとの間の距離に基づいて決定される、ステップと、
前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップと、
を含む、請求項２ないし４のうちの何れか一項に記載の登録データベースの適応的更新方法。
前記登録データベースの特徴範囲が拡張されるか否かを判断するステップは、
前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離を決定するステップであって、前記累積特徴距離は前記ベクトル集合内の１つのベクトルと残りのベクトルとの間の距離に基づいて決定される、ステップと、
前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップと、
を含む、請求項２ないし４のうちの何れか一項に記載の登録データベースの適応的更新方法。
【請求項6】
前記登録データベースに登録するステップは、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合に前記登録映像のうち何れか１つの登録映像を前記入力映像に交替するステップを含む、請求項５に記載の登録データベースの適応的更新方法。
【請求項7】
前記何れか１つの登録映像を前記入力映像に交替するステップは、前記累積特徴距離のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替するステップを含む、請求項６に記載の登録データベースの適応的更新方法。
【請求項8】
前記登録するか否かを判断するステップは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数とを比較するステップを含む、請求項１に記載の登録データベースの適応的更新方法。
【請求項9】
前記入力映像を前記登録データベースに登録するステップは、
前記登録映像の個数が前記最大登録個数よりも小さい場合に前記入力映像を前記登録データベースに追加するステップと、
前記登録映像の個数が前記最大登録個数と同一である場合、前記登録データベースに登録された登録映像のうち何れか１つを前記入力映像に交替するステップと、
を含む、請求項８に記載の登録データベースの適応的更新方法。
前記登録映像の個数が前記最大登録個数よりも小さい場合に前記入力映像を前記登録データベースに追加するステップと、
前記登録映像の個数が前記最大登録個数と同一である場合、前記登録データベースに登録された登録映像のうち何れか１つを前記入力映像に交替するステップと、
を含む、請求項８に記載の登録データベースの適応的更新方法。
【請求項10】
前記登録データベースに追加するステップは、前記入力映像がアウトライアーではなく、前記登録映像の個数が前記最大登録個数よりも小さければ、前記入力映像を前記登録データベースに追加するステップを含み、前記アウトライアーは、認証には成功したが実際には本人ではない他人の映像を示す、請求項９に記載の登録データベースの適応的更新方法。
【請求項11】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証するステップを含む、請求項１に記載の登録データベースの適応的更新方法。
【請求項12】
前記ユーザを認証するステップは、
前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、
前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、
前記最小距離、前記代表距離、及び少なくとも１つの距離閾値に基づいて前記ユーザを認証するステップと、
を含む、請求項１１に記載の登録データベースの適応的更新方法。
前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、
前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、
前記最小距離、前記代表距離、及び少なくとも１つの距離閾値に基づいて前記ユーザを認証するステップと、
を含む、請求項１１に記載の登録データベースの適応的更新方法。
【請求項13】
前記登録するか否かを判断するステップは、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断するステップを含む、請求項１１に記載の登録データベースの適応的更新方法。
【請求項14】
前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルに基づいて前記代表ベクトルを更新するステップをさらに含む、請求項１ないし１３のうち何れか一項に記載の登録データベースの適応的更新方法。
【請求項15】
請求項１ないし１４のうちの何れか一項に記載の方法を、適応的更新装置のコンピュータに実行させるコンピュータプログラム。
【請求項16】
登録データベース及びコンピュータ読み出し可能な命令語を格納するメモリと、
前記コンピュータ読み出し可能な命令語を行ってユーザの顔を含む入力映像から第１特徴ベクトルを抽出し、前記第１特徴ベクトル、前記登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて前記入力映像を前記登録データベースに登録するか否かを判断して登録する１つ又はそれ以上のプロセッサを含み、
前記プロセッサは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離が第１閾値よりも小さく、かつ、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離が第２閾値よりも小さい場合に、前記入力映像を前記登録データベースに登録するものと判断する、登録データベースの適応的更新装置。
前記コンピュータ読み出し可能な命令語を行ってユーザの顔を含む入力映像から第１特徴ベクトルを抽出し、前記第１特徴ベクトル、前記登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて前記入力映像を前記登録データベースに登録するか否かを判断して登録する１つ又はそれ以上のプロセッサを含み、
前記プロセッサは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離が第１閾値よりも小さく、かつ、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離が第２閾値よりも小さい場合に、前記入力映像を前記登録データベースに登録するものと判断する、登録データベースの適応的更新装置。
【請求項17】
前記１つ又はそれ以上のプロセッサは、ｉ）前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否か、又はｉｉ）前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かのうち少なくとも１つを判断し、前記アウトライアーは、認証には成功したが実際には本人ではない他人の映像を示す、請求項１６に記載の登録データベースの適応的更新装置。
【請求項18】
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離、及び前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離及び前記代表距離に基づいて前記入力映像が前記アウトライアーであるかを判断する、請求項１７に記載の登録データベースの適応的更新装置。
【請求項19】
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、対応する１つのベクトルと残りのベクトルとの間の距離に基づいてそれぞれのベクトルに対応する累積特徴距離を決定し、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かに基づいて、前記登録データベースの特徴範囲が拡張されるか否かを判断する、請求項１７に記載の登録データベースの適応的更新装置。
【請求項20】
前記１つ又はそれ以上のプロセッサは、前記判断の結果、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合、前記登録映像のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替する、請求項１９に記載の登録データベースの適応的更新装置。
【請求項21】
前記１つ又はそれ以上のプロセッサは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数に基づいて、前記入力映像を前記登録データベースに追加又は交替するか否かを決定する、請求項１６に記載の登録データベースの適応的更新装置。
【請求項22】
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証し、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断する、請求項１６に記載の登録データベースの適応的更新装置。
【請求項23】
前記１つ又はそれ以上のプロセッサは、前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルを用いて前記代表ベクトルを更新する、請求項１６ないし２２のうちの何れか一項に記載の登録データベースの適応的更新装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、ユーザ認証のための登録データベースの適応的更新方法及び装置に関する。
【背景技術】
【0002】
スマートフォンなどの様々なモバイル機器やウェアラブル機器は、指紋、紅彩、声、顔、血管などユーザの生体情報をセキュリティー認証に利用できる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４−００２５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、入力映像を登録データベースに登録するか否かを判断することにおいて、登録映像の間の特徴距離を最大確保することで本人認識率を向上させ、入力映像と登録映像との間の類似度の他にも、入力映像と登録映像の平均特徴（代表ベクトル）との類似度によってアウトライアーを排除することにより登録データベースが他人領域に発散しないようにする。
【課題を解決するための手段】
【0005】
顔認識の場合は、例えば、ユーザの化粧、ヘアースタイル、ひげ、及び体重などのように時間による多くの変化要素を有することで最初に登録された１つの登録映像と入力される顔映像とを比較して認証を行う方式に問題が発生し得る。
【0006】
一側によると、登録データベースの適応的更新方法は、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出するステップと、前記第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて、前記入力映像を前記登録データベースに登録するか否かを判断するステップと、前記判断の結果に基づいて前記入力映像を前記登録データベースに登録するステップとを含む。
【0007】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップと、前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かを判断するステップとのうち少なくとも１つを含み得る。
【0008】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否かを判断するステップを含み、前記入力映像がアウトライアーに該当するか否かを判断するステップは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、前記最小距離及び前記代表距離に基づいて前記入力映像がアウトライアーであるかを判断するステップとを含み得る。
【0009】
前記アウトライアーであるかを判断するステップは、前記最小距離が第１閾値よりも小さいか否か、及び前記代表距離が第２閾値よりも小さいか否かに基づいて前記入力映像がアウトライアーであるかを判断するステップを含み得る。
【0010】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が拡張されるか否かを判断するステップを含み、前記登録データベースの特徴範囲が拡張されるか否かを判断するステップは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離（前記累積特徴距離は前記ベクトル集合内の１つのベクトルと残りのベクトルとの間の距離に基づいて決定される）を決定するステップと、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップとを含み得る。
【0011】
前記登録データベースに登録するステップは、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合に前記登録映像のうち１つの登録映像を前記入力映像に交替するステップを含み得る。
【0012】
前記いずれか１つの登録映像を前記入力映像に交替するステップは、前記累積特徴距離のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替するステップを含み得る。
【0013】
前記登録するか否かを判断するステップは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数とを比較するステップを含み得る。
【0014】
前記入力映像を前記登録データベースに登録するステップは、前記登録映像の個数が前記最大登録個数よりも小さい場合に前記入力映像を前記登録データベースに追加するステップと、前記登録映像の個数が前記最大登録個数と同一である場合、前記登録データベースに登録された登録映像のうちいずれか１つを前記入力映像に交替するステップとを含み得る。
【0015】
前記登録データベースに追加するステップは、前記入力映像がアウトライアではなく、前記登録映像の個数が前記最大登録個数よりも小さければ、前記入力映像を前記登録データベースに追加するステップを含み得る。
【0016】
前記登録するか否かを判断するステップは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証するステップを含み得る。
【0017】
前記ユーザを認証するステップは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離を算出するステップと、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出するステップと、前記最小距離、前記代表距離、及び少なくとも１つの距離閾値に基づいて前記ユーザを認証するステップと、を含み得る。
【0018】
前記登録するか否かを判断するステップは、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断するステップを含み得る。
【0019】
前記登録データベースの適応的更新方法は、前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルに基づいて前記代表ベクトルを更新するステップをさらに含み得る。
【0020】
一実施形態によると、登録データベースの適応的更新装置は、登録データベース及びコンピュータ読み出し可能な命令語を格納するメモリと、前記コンピュータ読み出し可能な命令語を行ってユーザの顔を含む入力映像から第１特徴ベクトルを抽出し、前記第１特徴ベクトル、前記登録データベースに登録された登録映像の第２特徴ベクトル、及び前記第２特徴ベクトルを代表する代表ベクトルに基づいて前記入力映像を前記登録データベースに登録するか否かを判断して登録する１つ又はそれ以上のプロセッサを含む。
【0021】
前記１つ又はそれ以上のプロセッサは、ｉ）前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記入力映像がアウトライアーに該当するか否か、又はｉｉ）前記第１特徴ベクトル及び前記第２特徴ベクトルに基づいて前記登録データベースの特徴範囲が増加するか否かのうち少なくとも１つを判断し得る。
【0022】
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトルと前記第２特徴ベクトルとの間の最小距離、及び前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離及び前記代表距離に基づいて前記入力映像がアウトライアーであるかを判断し得る。
【0023】
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むベクトル集合で、対応する１つのベクトルと残りのベクトルとの間の距離に基づいてそれぞれのベクトルに対応する累積特徴距離を決定し、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かに基づいて、前記登録データベースの特徴範囲が拡張されるか否かを判断し得る。
【0024】
前記１つ又はそれ以上のプロセッサは、前記判断の結果、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合、前記登録映像のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を前記入力映像に交替し得る。
【0025】
前記１つ又はそれ以上のプロセッサは、前記登録データベースに登録された登録映像の個数と前記登録データベースの最大登録個数に基づいて、前記入力映像を前記登録データベースに追加又は交替するか否かを決定し得る。
【0026】
前記１つ又はそれ以上のプロセッサは、前記第１特徴ベクトル、前記第２特徴ベクトル、及び前記代表ベクトルに基づいて前記ユーザを認証し、前記ユーザの認証に基づいて前記入力映像を前記登録データベースに登録するか否かを判断し得る。
【0027】
前記１つ又はそれ以上のプロセッサは、前記入力映像が前記登録データベースに登録された場合、前記第１特徴ベクトルを用いて前記代表ベクトルを更新し得る。
【0028】
一実施形態によると、登録データベースの適応的更新方法は、入力映像を認証するステップと、前記入力映像がアウトライアーであるか否かを判断するステップと、前記入力映像によって登録データベースの特徴範囲が増加するか否かを判断するステップと、前記入力映像によって前記登録データベースの特徴範囲が増加するか否かの判断結果に基づいて、前記登録データベースの登録映像のうちいずれか１つと前記入力映像を交替するステップとを含む。
【0029】
前記入力映像がアウトライアーであるか否かを判断するステップは、前記入力映像から抽出された第１特徴ベクトルと前記登録データベースの登録映像から抽出された第２特徴ベクトルの最小距離を算出するステップと、前記第１特徴ベクトルと前記第２特徴ベクトルを代表する代表ベクトルとの間の代表距離を算出するステップと、前記最小距離に関する第１条件及び前記代表距離に関する第２条件が満足されるか否かを判断するステップとを含み得る。
【0030】
前記入力映像によって登録データベースの特徴範囲が増加するか否かを判断するステップは、前記入力映像から抽出された第１特徴ベクトル及び前記登録データベースの登録映像から抽出された第２特徴ベクトルを含むベクトル集合で、それぞれのベクトルに対応する累積特徴距離を算出するステップと、前記第１特徴ベクトルに対応する累積特徴距離が前記第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きいか否かを判断するステップとを含み得る。
【0031】
前記それぞれのベクトルに対応する累積特徴距離を算出するステップは、前記累積特徴距離に対応する前記ベクトルと前記ベクトル集合内の残りのベクトルとの間の距離を合算するステップを含み得る。
【0032】
一実施形態によると、登録データベースの適応的更新装置は、コンピュータ読み出し可能な命令語を格納するメモリと、前記コンピュータ読み出し可能な命令語を行って登録データベースに基づいて入力映像を認証し、前記登録データベースの登録映像を代表する代表ベクトルに基づいて前記入力映像がアウトライアーであるか否かを判断し、前記認証結果及び前記判断の結果に基づいて前記登録データベースを適応的に更新するプロセッサを含む。
【0033】
前記プロセッサは、前記入力映像がアウトライアーであるか否かを判断するために、前記入力映像から抽出された第１特徴ベクトルと前記登録データベースの登録映像から抽出された第２特徴ベクトルの最小距離を算出し、前記第１特徴ベクトルと前記代表ベクトルとの間の代表距離を算出し、前記最小距離に関する第１条件及び前記代表距離に関する第２条件が満足されるか否かを判断し得る。
【発明の効果】
【0034】
本発明によると、入力映像を登録データベースに登録するか否かを判断することにおいて、登録映像間の特徴距離を最大に確保することで本人認識率を向上させ、入力映像と登録映像との間の類似度の他にも、入力映像と登録映像の平均特徴（代表ベクトル）との類似度によりアウトライアーを排除することで、登録データベースが他人領域に発散されないようにすることができる。
【図面の簡単な説明】
【0035】
【図1】一実施形態に係る登録データベースの適応的更新方法を示したフローチャートである。
【図2】一実施形態に係る登録データベースの適応的更新によって本人認証率が向上する原理を説明する図である。
【図3A】一実施形態に係る入力映像がアウトライアーに該当するか否かを判断する方法を説明する図である。
【図3B】一実施形態に係る入力映像がアウトライアーに該当するか否かを判断する方法を説明する図である。
【図4】一実施形態に係る登録データベースの適応的更新アルゴリズムを示したフローチャートである。
【図5】一実施形態に係る閾値を決定する方法を説明する図である。
【図6】一実施形態に係る入力映像によって登録データベースの特徴範囲が拡張されるか否かを判断する方法を説明する図である。
【図7】一実施形態に係る登録データベースに適応的に更新された登録映像を示す図である。
【図8】登録データベースに初めて登録された登録映像の間の特徴距離及び最終的に更新された登録映像の間の特徴距離を示す図である。
【図9】一実施形態に係る登録データベースの適応的更新装置のブロック図である。
【図10】少なくとも１つの実施形態により視聴覚コンテンツを設定するシステムで登録データベースの適応的更新装置を示す図である。
【図11】少なくとも１つの実施形態に係る駐車を行うシステムにある登録データベースの適応的更新装置を示す図である。
【発明を実施するための形態】
【0036】
以下、例示的な図面を参照して実施形態を詳細に説明する。各図面の構成要素に参照符号を付すことにおいて、同一の構成要素に対してはたとえ他の図面上に表示されたとしても可能な限り同じ符号を付してあるという点に留意しなければならない。また、実施形態の説明において、関連する公知構成又は機能に対する具体的な説明が実施形態に対する理解を妨害するものと判断される場合は、その詳細な説明は省略する。
【0037】
また、実施形態における構成要素の説明において、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）等の用語を用いることができる。これらの用語は、ある構成要素を他の構成要素と区別するためのものであり、その用語によって当該の構成要素の本質や順番又は順序等が限定されることはない。いずれかの構成要素が他の構成要素に「連結」、「結合」又は「接続」されると記載されている場合、その構成要素はその他の構成要素に直接的に連結されたり接続され得るが、各構成要素の間に更なる構成要素が「連結」、「結合」又は「接続」されてもよいことを理解すべきである。
【0038】
本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0039】
異なる定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0040】
下記で説明される実施形態は、ユーザの顔を認識するために用いられる。ユーザの顔を認識する動作は、そのユーザを認証したり識別する動作を含む。ユーザを認証する動作は、例えば、そのユーザが予め登録されたユーザであるか否かを判断する動作を含む。この場合、ユーザを認証する動作の結果は、真又は偽のように出力される。ユーザを識別する動作は、例えば、そのユーザが予め登録された複数のユーザのうち、いずれかのユーザに該当するかを判断する動作を含む。この場合、ユーザを識別する動作の結果は、いずれか１つの予め登録されたユーザのＩＤから出力される。もし、そのユーザが予め登録された複数のユーザのうちいずれのユーザにも該当しない場合、そのユーザが識別されないことを通知する信号が出力され得る。
【0041】
実施形態は、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、テレビ、スマート家電機器、知能型自動車、キオスク、ウェアラブル装置などの様々な形態の製品で実現され得る。例えば、実施形態は、スマートフォン、モバイル機器、スマートホームシステムなどでユーザを認証するために適用され得る。実施形態は、ユーザ認証を通した決済サービスに適用され得る。また、実施形態は、ユーザを認証して自動に始動する知能型自動車システムなどにも適用され得る。以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【0042】
図１は、一実施形態に係る登録データベースの適応的更新方法を示したフローチャートである。適応的更新方法を行う更新装置は、例えば、ユーザ認証装置に含まれてもよく、別途の装置で構成されてもよい。更新装置は、ソフトウェア、ハードウェア、又は、ファームウェアのような組合いのハードウェアによって実現され得る。登録データベースは、登録テンプレート（ｅｎｒｏｌｌｍｅｎｔ ｔｅｍｐｌａｔｅ）に称され得る。
【0043】
図１を参照すると、更新装置はステップＳ１１０において、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出する。「第１特徴ベクトル」は入力映像から抽出される顔認識のための特徴を示すベクトルとして理解される。更新装置は、例えば、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）方式、カボル（Ｇａｂｏｒ）方式、又は、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）方式などの様々な方式を用いて入力映像から第１特徴ベクトルを抽出する。
【0044】
更新装置は、ステップＳ１２０において、入力映像を登録データベースに登録するか否かを判断する。例えば、更新装置は、入力映像の認証を行って入力映像がアウトライアーに該当するか否かを判断することで、入力映像を登録データベースに登録するか否かを判断する。
【0045】
更新装置は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルを用いる。「第２特徴ベクトル」は、登録データベースに登録された複数の登録映像から抽出される顔認識のための特徴を示すベクトルとして理解され得る。第２特徴ベクトルも、ＬＢＰ方式、Ｇａｂｏｒ方式、又は、ディープラーニング方式などによって抽出される。「代表ベクトル」は第２特徴ベクトルを代表するベクトルとして、第２特徴ベクトルの統計演算（例えば、平均、標準偏差など）によって算出される。
【0046】
第２特徴ベクトルｘｉ及び代表ベクトル（正確にはｘの真上に「〜」が付いた文字で表現されるべきであるが、便宜上「ｘ〜」と記載する場合がある）は数式（１）に記載されたように、登録映像Ｘ１、Ｘ２、．．、Ｘｎから更新装置によって決定され得る。
【0047】
【数1】
【0048】
更新装置は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルに基づいて入力映像の認証を行う。一例として、更新装置は、｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとを比較することによって入力映像の認証を行うことができる。
【0049】
更新装置は｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の最小距離を算出する。｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の距離は、例えば、特徴ベクトルの間の類似度に反比例するユークリッド距離として理解される。更新装置は数式（２）を用いて最小距離ｄｎを算出する。
【0050】
【数2】
【0051】
最小距離ｄｎが第１閾値距離よりも小さい場合、更新装置は入力映像の認証が成功したと判断する。第１閾値距離は１％の誤認識率（ｆａｌｓｅ ａｃｃｅｐｔａｎｃｅ ｒａｔｅ；ＦＡＲ）に該当する距離などに応じて予め決定及び／又は選択される。誤認識率（ＦＡＲ）は他人を本人に間違って認識する比率である。
【0052】
更新装置は、距離の代わりに類似度を用いてもよい。この場合、更新装置は、｛第２特徴ベクトル、代表ベクトル｝の集合内のベクトルと第１特徴ベクトルとの間の最大類似度を算出する。最大類似度が第１閾値類似度よりも大きい場合、更新装置は入力映像の認証に成功したと判断する。第１閾値類似度は１％の誤認識率（ＦＡＲ）に該当する類似度などにより予め決定及び／又は選択される。
【0053】
異なる例として、更新装置は、第１特徴ベクトルと第２特徴ベクトルとを比較することによって、入力映像の認証成功の有無を判断し得る。
【0054】
入力映像の認証が成功した場合にも、実際には入力映像が誤認識された場合があり得る。例えば、認証過程で入力映像が本人に該当すると判断されたが、実際に入力映像は他人に該当する映像であり得る。更新装置は、誤認識された入力映像が登録データベースに登録されることを防止するために、認証のための第１基準よりも厳しい第２基準によって、入力映像を登録データベースに登録するか否かを決定する。第２基準は、入力映像がアウトライアーに該当するか否かを判断する基準であり得る。
【0055】
ここで、「アウトライアー」は認証に成功したが、実際には本人ではない他人に該当する映像として理解される。
【0056】
更新装置は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルに基づいて入力映像がアウトライアーに該当するか否かを判断する。例えば、更新装置は２つの条件を検査する。第１に、更新装置は、第１特徴ベクトルと第２特徴ベクトルとの間の距離のうち最小距離が予め決定された／又は選択された第２閾値距離よりも小さいか否かを検査する。ここで、第２閾値距離は、入力映像の認証のための第１閾値距離よりも厳しく決定される。例えば、第２閾値距離は、０．０１％の誤認識率（ＦＡＲ）に該当する距離であり得る。第２に、更新装置は、第１特徴ベクトルと代表ベクトルとの間の距離が予め決定された／又は選択された第３閾値距離よりも小さいか否かを検査する。第３閾値距離は、第２閾値距離と同一に決定されてもよく、相違に決定されてもよい。
【0057】
更新装置は、距離の代わりに類似度を用いてもよい。この場合、更新装置は、第１特徴ベクトルと第２特徴ベクトルとの間の最大類似度が予め決定された／又は選択された第２閾値類似度よりも大きいかを検査する。第２閾値類似度は例えば、０．０１％の誤認識率（ＦＡＲ）に該当する類似度であり得る。また、更新装置は、第１特徴ベクトルと代表ベクトルとの間の類似度が予め決定された／又は第３閾値類似度よりも大きいか否かを検査する。
【0058】
更新装置は、前述した２つの条件が全て通過する場合、入力映像がアウトライアーに該当しないものと判断する。入力映像がアウトライアーに該当しない場合、更新装置は、入力映像を登録データベースに登録すると判断する。一方、入力映像がアウトライアーに該当する場合、更新装置は、入力映像を登録データベースに登録させないものと判断する。入力映像を登録データベースに登録するという判断に応じて、更新装置は、ステップＳ１３０において、入力映像を登録データベースに登録する。ここで、「登録」は、登録映像の個数が予め決定及び／又は選択された閾値よりも大きいか同一の場合、登録データベースに入力映像を追加すること、及び登録データベースにある登録映像のうちいずれか１つと入力映像を交替することを全て含む意味として理解される。
【0059】
一例として、登録データベースに含まれた登録映像の数が予め決定された／又は選択された閾値個数（例えば、１０個）よりも小さい場合、登録は入力映像を登録データベースに追加する更新装置を参照できる。閾値個数は１０よりも大きいか小さい。
【0060】
異なる例として、登録データベースに含まれた登録映像の数が閾値個数と同一である場合、更新装置は、入力映像によって登録データベースの特徴範囲が拡張されるか否かに応じて、登録映像のうちいずれか１つと入力映像を交替する。ここで、「登録データベースの特徴範囲が拡張される」ことは、登録データベースに含まれた登録映像によって認識可能なユーザの顔の変化が多様化することを意味する。ユーザの顔の変化は、化粧、ヘアースタイル、ひげ、体重などの様々な要素に基づくものである。
【0061】
更新装置は、第１特徴ベクトル及び第２特徴ベクトルに基づいて登録データベースの特徴範囲が拡張されるか否かを判断する。登録データベースの特徴範囲が拡張されるか否かを判断する方法は、図６を参照して説明する。
【0062】
実施形態に係る更新装置は、他人に該当する映像が登録データベースに間違って含まれることを防止しながら、本人に該当する様々な映像が登録データベースに含まれるように登録データベースを適応的に更新できる。適応的に更新された登録データベースによって、本人認証率が向上し得る。図２の（Ａ）〜（Ｃ）は、一実施形態に係る登録データベースの適応的更新によって本人認証率が向上する原理を説明する図である。図２の（Ａ）〜（Ｃ）を参照すると、登録データベースの登録映像が適応的に追加又は交替されることにより、登録データベースの登録映像による認証範囲が本人に該当する範囲を効率よくカバーできるよう改善される。図２において、各登録映像から放射形に示される円は当該の登録映像による認証範囲を示す。
【0063】
図２の（Ａ）を参照すると、登録データベースに一個の登録映像Ｘ１が登録された場合の登録映像Ｘ１による認証範囲が示されている。上述したように、顔は、例えば、照明、化粧、ヘアスタイル、ひげ、及び体重などのような多くの変化要素を有するため、一個の登録映像ではユーザに該当する範囲を効率よくカバーすることが難い。この場合、認識率（ｖｅｒｉｆｉｃａｔｉｏｎ ｒａｔｅ；ＶＲ）が低く、本人拒否率（ｆａｌｓｅ ｒｅｊｅｃｔｉｏｎ ｒａｔｅ；ＦＲＲ）が大きい。認識率（ＶＲ）はユーザ本人を正しく認識する比率であり、本人拒否率（ＦＲＲ）はユーザ本人を間違って拒否する比率である。図には図示していないが、登録映像Ｘ１だけでユーザに該当する範囲を全てカバーするためには、登録映像Ｘ１の認証範囲が他人を本人に誤認識する範囲まで拡張されなければならない。
【0064】
図２の（Ｂ）を参照すると、登録データベースに複数の登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５が追加された場合の認証範囲が示されている。登録データベースに複数の登録映像Ｘ２、Ｘ３、Ｘ４、Ｘ５が追加された場合、一個の登録映像Ｘ１だけ登録された場合に比べて認識率（ＶＲ）が向上される。
【0065】
一実施形態では、複数の登録映像の特徴（例えば、第２特徴ベクトル）及び登録映像の代表特徴（例えば、平均ベクトル）を共に用いて認識率（ＶＲ）を高める一方、個別登録映像の認証範囲を狭く設定することで誤認識率（ＦＡＲ）を低くすることができる。
【0066】
図２の（Ｃ）を参照すると、登録データベースが複数の登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５に交替される場合の認証範囲が示されている。交替された複数の登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５が本人に該当する範囲に広く分布された場合、多様に変化するユーザの顔に対する認識率（ＶＲ）を向上させることができる。
【0067】
一実施形態では、登録データベースに格納された登録映像の間の距離が、例えば、最大要求幅まで最大限に広く保持されるように登録映像を周期的、動的、及び／又は指示された時間に交替することによって、認識率（ＶＲ）を高めてユーザの顔変化に適応するようにできる。ここで、「登録映像の間の距離を最大限に広く保持及び／又は増加する」ことは、登録映像がユーザの様々な変化を示すように、登録映像間の類似度を低くする意味として理解される。ここで、登録映像の間に距離が保持及び／又は増加してもアウトライアーが登録映像に含まれないようにしなければならない。アウトライアーが登録映像に含まれないようにする方法については図３を参照して説明する。
【0068】
一実施形態では、図２の（Ｂ）及び図２の（Ｃ）に示すような登録映像Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｘ５、Ｘ’１、Ｘ’２、Ｘ’３、Ｘ’４、Ｘ’５の追加及び交替によって、ユーザに該当する範囲を効率よくカバーすることで入力映像に対する認識率（ＶＲ）を高める一方、誤認識率（ＦＡＲ）及び本人拒否率（ＦＲＲ）を低くすることができる。
【0070】
図３Ａは、入力映像がアウトライアーであると判断される場合を示し、図３Ｂは、入力映像がアウトライアではないと判断される場合を示す。ここで、登録データベースは、登録映像の第２特徴ベクトルｘ１、ｘ２、ｘ３、ｘ４、ｘ５及び第２特徴ベクトルを代表する代表ベクトルｘ〜を含むものとする。代表ベクトルは、登録映像の代表ベクトル（例えば、平均特徴）に当該する。
【0071】
図３Ａを参照すると、第１入力映像の第１特徴ベクトルｙ１と登録データベースに格納された第４登録映像の特徴ベクトルｘ４との間の距離は、予め決定された／又は選択された第２閾値距離よりも小さいものの、第１特徴ベクトルｙ１と登録映像の代表ベクトルｘ〜との間の距離は、予め決定された／又は選択された第３閾値距離よりも大きい。この場合、第１入力映像は第４登録映像に類似するが、登録データベースに格納された登録映像を代表する映像に類似していないと判断される。
【0072】
更新装置は、入力映像が登録データベースに格納された登録映像のうちの１つ又はそれ以上の登録映像に類似するものと判断されても、入力映像が登録映像を代表する映像に類似していないものと判断される場合、入力映像を登録データベースに登録させない。そのため、実施形態はアウトライアーが登録データベースに含まれることを防止することができる。
【0073】
図３Ｂを参照すると、第２入力映像の第１特徴ベクトルｙ２と登録データベースに格納された第４登録映像の特徴ベクトルｘ４との間の距離が第２閾値距離よりも小さく、第１特徴ベクトルｙ２と代表ベクトルｘ〜との間の距離が第３閾値距離よりも小さいこともある。これは、第２入力映像が登録映像の全てと一定のレベル以上の高い距離を有することを示す。更新装置は、第１特徴ベクトルｙ２に対応する第２入力映像を本人に該当する映像として判断し、第２入力映像を登録データベースに登録することができる。
【0074】
図４は、一実施形態に係る登録データベースの適応的更新アルゴリズムを示したフローチャートである。図４を参照すると、更新装置は、ステップＳ４１０において、入力映像Ｙを受信する。更新装置は、入力映像Ｙから第１特徴ベクトルを抽出する。更新装置は、ステップＳ４２０において、ユーザ認証に成功したか否かを判断する。例えば、更新装置は、第１特徴ベクトルと登録データベースを用いてユーザ認証を行う。ユーザ認証に失敗すると、更新装置は、入力映像Ｙを登録データベースに登録せずに動作を終了する。
【0075】
ユーザ認証に成功すると、更新装置は、ステップＳ４３０において、入力映像Ｙがアウトライアーであるか否かを判断する。更新装置は、図１を参照して前述した２つの条件を検査することによって、入力映像Ｙがアウトライアーであるか否かを判断し得る。
【0076】
入力映像がアウトライアーに該当するか否かを判断する様々な条件は、更新装置を用いて使用し得る。例えば、更新装置は、以下の数式（３）によって入力映像がアウトライアーであるかを判断する。
【0077】
【数3】
【0078】
数式（３）によると、Ｎ個の第２特徴ベクトルのうち第１特徴ベクトルとの距離が閾値Ｔ３よりも小さい第２特徴ベクトルの数が２以上であり、代表ベクトルと第１特徴ベクトルとの間の距離が閾値Ｔ３よりも小さい場合、更新装置は、第１特徴ベクトルがアウトライアではなくて登録更新候補であると判断する。他の実施形態によると、ｄ（ｘｉ、ｙ）＜Ｔ２（ここで、Ｔ２は第２閾値距離／類似度）はｄ（ｘｉ、ｙ）＜Ｔ３に交替され得る。
【0079】
入力映像Ｙがアウトライアーと判断されれば、更新装置は入力映像Ｙを登録データベースに登録することなく動作を終了する。
【0080】
更新装置によって入力映像Ｙがアウトライアではないと判断されれば、更新装置は、ステップＳ４４０において、登録データベースに登録された登録映像の個数ｎと登録データベースの最大登録個数Ｎとを比較する。最大登録個数Ｎは、予め設定された値（例えば、１０）であってもよい。
【0081】
登録映像の個数が最大登録個数よりも小さい場合、更新装置は、ステップＳ４４５において、入力映像Ｙを登録データベースに追加する。入力映像Ｙが登録データベースに追加されれば、登録データベースを代表する代表ベクトルが更新される。例えば、入力映像Ｙが登録データベースに追加される場合、代表ベクトルは下の数式（４）のように更新される。
【0082】
【数4】
【0083】
入力映像Ｙによって登録データベースの特徴範囲が拡張されると判断されれば、更新装置は、ステップＳ４５５において、入力映像Ｙを登録データベースに登録された登録映像のうちいずれか１つに交替する。一例として、更新装置は、数式（５）によって入力映像Ｙを登録データベースに登録するか否かを決定する。
【0084】
【数5】
より具体的に、更新装置は、第１特徴ベクトルｙをＮ＋１番目の第２特徴ベクトルｘＮ＋１に設定する。更新装置はＮ＋１個の第２特徴ベクトルのそれぞれに対応する累積特徴距離Ｓｉを算出できる。累積特徴距離のうち最小累積特徴距離のインデックスｉｍｉｎがＮ以下である場合、更新装置はｉｍｉｎ番目の映像を入力映像に交替する。言い換えれば、入力映像が最小累積特徴距離を有する場合、更新装置は交替を行うことなく、既存の登録映像が最小累積特徴距離を有する場合に更新装置は最小累積特徴距離を有する登録映像と入力映像を交替する。
【0085】
入力映像Ｙが登録データベースの登録映像のうちいずれか１つに交替されれば、登録データベースを代表する代表ベクトルが更新され得る。
【0086】
一実施形態では、入力映像Ｙがアウトライアではなく、入力映像Ｙが登録映像の特徴範囲（又は、認証範囲）をさらに広げることができれば、入力映像Ｙを従来の登録映像に交替して登録データベースに含まれた登録映像の多様性を確保できる。
【0087】
ステップＳ４１０は図１に示すステップＳ１１０に対応し、ステップＳ４２０及びステップＳ４３０は図１に示すステップＳ１２０に対応し、ステップＳ４４０、ステップＳ４４５、ステップＳ４５０、及びステップＳ４５５は図１に示すステップＳ１３０に対応するため、より詳細な説明は省略する。
【0088】
図５は、一実施形態に係る閾値を決定する方法を説明する図である。一実施形態に係る方法は、ユーザ認証のための閾値距離又は閾値類似度、アウトライアー判断のための閾値距離又は閾値類似度などを決定するために用いられる。閾値は様々な性能指標に基づいて決定される。例えば、閾値は、認識率（ＶＲ）、誤認識率（ＦＡＲ）、本人拒否率（ＦＲＲ）、又はこれらの様々な組合せに基づいて決定される。
【0089】
図５を参照すると、ユーザ本人の映像の間の特徴距離に関する正規分布曲線５１０と他人映像との間の特徴距離に関する正規分布曲線５３０が示されている。ここで、特徴距離は映像間の類似度に反比例する距離であると理解される。図５に示すグラフにおいて、ｘ軸は２つの映像間の特徴距離を示し、ｙ軸は当該特徴距離に対応する確率密度関数の値を示す。
【0090】
一例として、ユーザ認証のための第１閾値距離を１％の誤認識率（ＦＡＲ）に該当する距離に設定するため、更新装置は他人映像の間の特徴距離に関する正規分布曲線５３０の全体面積のうち、下位１％の面積を区分する境界線５５０の特徴距離を第１閾値距離に設定する。
【0091】
図６は、一実施形態に係る入力映像によって登録データベースの特徴範囲が拡張されるか否かを判断する方法を説明する図である。図６の（Ａ）を参照すると、入力映像が受信された場合に入力映像の第１特徴ベクトルｙ及び登録映像の第２特徴ベクトルｘ１、ｘ２、ｘ３、ｘ４、ｘ５を含むベクトル集合が示されている。
【0092】
更新装置は、図６の（Ａ）に示すベクトル集合内のいずれか１つのベクトルと残りのベクトルとの間の距離の和によって、図６の（Ｂ）に示すように、それぞれのベクトルに対応する累積特徴距離Ｓを決定する。更新装置は、例えば、第２特徴ベクトルｘ１と第１特徴ベクトルｙとの間の距離、及び第２特徴ベクトルｘ１と残りの第２特徴ベクトルｘ２、ｘ３、ｘ４、ｘ５のそれぞれとの距離を合算して第２特徴ベクトルｘ１に対応する累積特徴距離ｓ１を決定する。更新装置はこのような方式で、残りの第２特徴ベクトルｘ２、ｘ３、ｘ４、ｘ５それぞれに対応する累積特徴距離Ｓ２、Ｓ３、Ｓ４、Ｓ５と第１特徴ベクトルｙに対応する累積特徴距離ＳＹを決定する。
【0093】
更新装置は、第１特徴ベクトルに対応する累積特徴距離ＳＹが第２特徴ベクトルに対応する累積特徴距離Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５のうち少なくとも１つよりも大きいか否かを判断する。更新装置は、第１特徴ベクトルに対応する累積特徴距離が第２特徴ベクトルに対応する累積特徴距離のうち少なくとも１つよりも大きい場合、従来の登録映像を入力映像に交替する。更新装置は、累積特徴距離のうち最小累積特徴距離を有する第２特徴ベクトルに対応する登録映像を入力映像に交替する。
【0094】
例えば、各特徴ベクトルに対応する累積特徴距離の大きさがＳ４＜Ｓ５＜ＳＹ＜Ｓ３＜Ｓ１＜Ｓ２であると仮定する。ここで、第１特徴ベクトルに対応する累積特徴距離ＳＹは第２特徴ベクトルに対応する累積特徴距離Ｓ４、Ｓ５よりも大きい。更新装置は累積特徴距離Ｓ４、Ｓ５を有する第２特徴ベクトルｘ４、ｘ５に対応する登録映像のうちいずれか１つと入力映像を交替する。更新装置は、最小累積特徴距離Ｓ４を有する第２特徴ベクトルｘ４に対応する登録映像を入力映像に交替する。第２特徴ベクトルｘ４に対応する登録映像が入力映像によって交替された結果は図６の（Ｃ）に示す通りである。
【0095】
実施形態によって、更新装置は入力映像を、最小累積特徴距離（例えば、第２特徴ベクトルｘ５）を有する第２特徴ベクトルに対応する登録映像に交替し得る。
【0096】
更新装置は、入力映像と登録映像の特徴距離とを互いに比較して交替することで、登録映像間の特徴距離がさらに広くなるようにし、さらに多様に変化した入力映像に対する認証率を向上させることができる。
【0097】
図７は、一実施形態に係る登録データベースに適応的に更新された登録映像を示す図であり、図８は、図７に示す登録データベースに初めて登録された登録映像間の特徴距離及び最終的に更新された登録映像の間の特徴距離を示す図である。
【0098】
図７を参照すると、最初登録映像Ａ１７１０、追加された９個の登録映像Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８、Ａ９、Ａ１０７３０及び最終的に交替された１０個の登録映像Ａ１’’’、Ａ２、Ａ３’、Ａ４’、Ａ５’’’、Ａ６’’、Ａ７、Ａ８’’、Ａ９、Ａ１０’’’７５０が示されている。図７においてＡ１’は最初登録映像Ａ１に対応して１回交替された映像、Ａ１’’は２回交替された映像、Ａ１’’’は３回交替された映像を示す。同一の表示が９個の登録映像７３０についても適用され得る。
【0099】
図８において上側の図は登録データベースに初めて登録された登録映像間の特徴距離を示し、下側の図は登録データベースに最終的に登録された登録映像間の特徴距離を示す。図８を参照すると、初めて登録された登録映像に比べて最終的に登録された登録映像間の特徴距離がより大きい値を有することが把握できる。
【0100】
一実施形態では、登録映像の追加及び交替によって登録映像間の特徴距離を広く保持することにより、多様に変化した顔映像に対する認証性能を向上させることができる。
【0101】
図９は、一実施形態に係る登録データベースの適応的更新装置のブロック図である。図９を参照すると、一実施形態に係る更新装置９００は、プロセッサ９１０、メモリ９２０、及びイメージセンサ９３０を含む。プロセッサ９１０、メモリ９２０、及びイメージセンサ９３０はバス９４０によって通信される。
【0102】
プロセッサ９１０は、ユーザの顔を含む入力映像と予め登録された登録映像を用いて登録データベースを適応的に更新し得る。
【0103】
プロセッサ９１０は、ユーザの顔を含む入力映像から第１特徴ベクトルを抽出する。プロセッサ９１０は、第１特徴ベクトル、登録データベースに登録された登録映像の第２特徴ベクトル、及び第２特徴ベクトルを代表する代表ベクトルに基づいて、入力映像を登録データベースに登録するか否かを判断する。プロセッサ９１０は、判断の結果に基づいて入力映像を登録データベースに登録する。
【0104】
プロセッサ９１０は、第１特徴ベクトル、第２特徴ベクトル、及び代表ベクトルに基づいて入力映像がアウトライアーに該当するか否か、又は第１特徴ベクトル及び第２特徴ベクトルに基づいて登録データベースの特徴範囲が拡張されるか否かのうち少なくとも１つを判断する。入力映像がアウトライアーに当該することなく登録映像の個数が最大登録個数よりも小さい場合、プロセッサ９１０は入力映像を登録データベースに追加する。登録映像の個数が最大登録個数よりも大きいか同一の場合、プロセッサ９１０は、登録データベースの特徴範囲が拡張されるか否かをさらに判断する。特徴範囲が拡張される場合、プロセッサ９１０は入力映像を登録映像のうちの１つに交替され得る。
【0106】
プロセッサ９１０は、メモリ９２０に格納されたコンピュータ読み出し可能な命令を行うことによって図１〜図８に記述された更新装置９００の機能を行う。プロセッサ９１０は、１つ又はそれ以上のプロセッサであり得る。更新装置９００は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続し、データを交替できる。
【0107】
メモリ９２０は、予め登録映像を含む登録データベース９２５を格納する。メモリ９２０は、入力映像から抽出された第１特徴ベクトル、登録映像の第２特徴ベクトル、及び第２特徴ベクトルを代表する代表ベクトルを含む。また、メモリ９２０は、新しく登録された入力映像と新しく登録された入力映像によって更新された代表ベクトルも格納できる。メモリ９２０は、揮発性メモリ又は不揮発性メモリであり得る。イメージセンサ９３０は、ユーザの顔を含む入力映像をキャプチャーできる。
【0108】
更新装置９００はソフトウェア及びハードウェアの組合で実現され得る。この場合、ソフトウェアで具現された機能はプロセッサによって実行され、ハードウェアで具現された機能は当該のハードウェアによって実行される。プロセッサとハードウェアは入出力バスなどを介して信号のやり取りできる。
【0109】
更新装置９００は、移動電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどのモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどコンピューティング装置、又は、テレビ、スマートテレビ、ゲート制御のためのセキュリティー装置などの電子製品などの様々な電子システムを含む。
【0110】
図１０は、少なくとも１つの実施形態により視聴覚コンテンツを設定するシステムで登録データベースの適応的更新装置を説明する。図１０を参照すると、受信機１００１は視聴覚コンテンツ１００２を受信する。視聴覚コンテンツ１００２は、例えば、インターネットのようなネットワーク１００３によって受信機１００１にリンクされたサーバに格納される。
【0111】
受信機１００１は、メモリ１００５を含む。メモリ１００５は、受信された視聴覚コンテンツ１００２を格納する。視聴覚コンテンツ１００２は、例えば、ブルーレイディスク（Ｂｌｕ−ｒａｙ（登録商標）ｄｉｓｃ）のような物理的メディア１００４に格納される。受信機１００１は、メモリ１００５に格納された適切な命令語集合を受信し、命令語集合をレンダリングする前に視聴覚コンテンツ１００２をデコーディングするプロセッサ１００７を含む。
【0112】
選択的に、受信機１００１は、物理的メディア１００４に格納された視聴覚コンテンツ１００２を読み出すメディア読出機１００６を含む。メモリ１００５は予め登録された登録映像を含む登録データベース９２５を格納する。
【0113】
システムは、例えば、ディスプレイ装置１００８のように視聴覚コンテンツ１００２をレンダリングする手段を含む。ディスプレイ装置１００８はイメージセンサ１０１０を含む。イメージセンサ１０１０は、ディスプレイ装置１００８を用いてユーザのイメージを取得する。また、プロセッサ１００７、登録データベース９２５、及びイメージセンサ１０１０は適応的更新装置を構成する。プロセッサ１００７は、メモリ１００５に格納されたコンピュータ読み出し可能な命令語を行うことによって図１〜図８に記述された適応的更新装置の機能を行う。
【0114】
視聴覚コンテンツ１００２は、ウオッチングレベル（ｗａｔｃｈｉｎｇ ｌｅｖｅｌ）に関するフレームを含む。ウオッチングレベルは、暴力レベルのように視聴覚コンテンツ１００２の一部がどれ程攻撃的であるかを示す指標である。
【0115】
ウオッチングレベルは、視聴覚コンテンツ１００２の映像、聴覚部分、字幕テキストの方法、及びこれらの組合せに基づく。ウオッチングレベルは、例えば、暴力、性、恐怖などのような攻撃的な内容のカテゴリーを一側面の数個の類型に有してもよく、当該のカテゴリーに関する値を有してもよい。ここで、値は、例えば、１と１０との間の値であってもよく、この値が大きいほど選択されたカテゴリーに関する攻撃性も増大することを示す。
【0116】
視聴覚コンテンツ１００２は、ウオッチングレベルそれぞれに関する視聴覚セグメント及び／又はフレームを含む。それぞれのフレーム及びセグメントは視聴覚コンテンツ１００２の一部又は全ての攻撃性の程度を示す代表となる。ウオッチングレベルは、視聴覚コンテンツ１００２のメタデータの一部であり得る。
【0117】
視聴覚コンテンツ１００２の生成過程において、視聴覚コンテンツ１００２に注釈は予め記載されており、セグメント又はフレームは自動化された方式でウオッチングレベルに関わる。例えば、ウオッチングレベルが暴力スケールに対応すれば、視聴覚セグメント及び／又はフレームは暴力場面に関するものであり、及び／又はフレームが検出されて暴力スケールに応じて等級が決定され得る。このようなウオッチングレベルの検出を許容する方法及び技術は、例えば、Ｄｅｔｅｃｔｉｎｇ Ｖｉｏｌｅｎｔ Ｓｃｅｎｅｓ ｉｎ Ｍｏｖｉｅｓ ｂｙ Ａｕｄｉｔｏｒｙ ａｎｄ Ｖｉｓｕａｌ Ｃｕｅｓ、９ｔｈ Ｐａｃｉｆｉｃ Ｒｉｍ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ、ＮａｔｌＣｈｅｎｇ Ｋｕｎｇ Ｕｎｉｖ．Ｔａｉｎａｎ ＴＡＩＷＡＮ、Ｄｅｃ．９−１３、２００８、ｐｐ．３１７−３２６を参照する。
【0118】
受信機１００１によって視聴覚コンテンツ１００２が受信されれば、プロセッサ１００７はメモリ１００５に格納された命令語を行う。それぞれのウオッチングレベルに関する視聴覚コンテンツ１００２の少なくとも２つのフレームを分析したプロセッサ１００７は、ディスプレイ装置１００８を用いて分析結果を表示することができる。
【0120】
より具体的に、メモリ１００５は、認証されたユーザに関するウオッチングレベルを格納する。プロセッサ１００７は、選択されたフレームに関するウオッチングレベルが表示装置１００８を用いて認証されたユーザに関する要求されたウオッチングレベルを超過しないようにフレームを選択する。
【0121】
図１１は、少なくとも１つの実施形態に係る駐車を行うシステムにある登録データベースの適応的更新装置を説明する。図１１を参照すると、駐車空間施行システム１１１０は、例えば、プロセッサ１１２８、カメラ１１１６、及びメモリ１１３０を含む適応的更新装置、及び、例えば、１つ又はそれ以上の超音波センサのような近接センサ１１２０を含む。駐車空間施行システム１１１０は、予約された駐車空間、又は障害者の使用のために予約された駐車空間、又は駐車地点内における車両進入を検出したり、車両運転者又は乗客を認証する。
【0123】
アラーム１１２６は駐車空間に隣接して配置し、運転者及び／又は乗客が認証されていない場合、予め設定された期間（例えば、３０秒）の間に活性化される。アラーム１１２６は、例えば、スピーカによって生成される警告、光源によって生成される視覚的アラーム、及びこれらの組合せなどの様々な形態の知らせであり得る。
【0124】
カメラ１１１６は、運転者及び／又は乗客の写真映像を撮影するために駐車空間に隣接して位置する。カメラに適切な様々な類型が用いられ、様々な類型の視覚センサ又はイメージセンサが使用され得る。
【0125】
アラーム１１２６、カメラ１１１６、近接センサ１１２０、及びの以下で記述するラインセンサ１１２２、１１２４のそれぞれは制御部１１１８と共に電気的に通信できる。
【0126】
カメラ１１１６によって撮影された映像は、図１〜図８に記述されたように、プロセッサ１１２８及びメモリ１１３０によって乗客及び運転者を認証するために用いられる。また、ラインセンサ１１２２、１１２４は、車両が駐車空間又は駐車場の指定された範囲内に適切に駐車されているかを検出するために用いられる。
【0127】
例えば、車両がライン表示を越えて駐車している場合、言い換えれば、部分的に隣接した駐車空間に駐車している場合にアラーム１１２６が作動する。
【0128】
近接センサ１１２０及びラインセンサ１１２２、１１２４は、車両の存在を検出するための多様かつ適切な類型のセンサであり得る。
【0129】
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0130】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0131】
本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0132】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0133】
９００：更新装置９１０：プロセッサ
９２０：メモリ
９３０：イメージセンサ
９４０：バス