(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-21
(45)【発行日】2022-10-31
(54)【発明の名称】オブジェクト認識装置及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20221024BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 510F
【請求項の数】
23
(21)【出願番号】P 2018230088
(22)【出願日】2018-12-07
(65)【公開番号】P2019109885
(43)【公開日】2019-07-04
【審査請求日】2020-10-28
(31)【優先権主張番号】10-2017-0173573
(32)【優先日】2017-12-15
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】韓 承周
(72)【発明者】
【氏名】朴 成彦
(72)【発明者】
【氏名】韓 在濬
(72)【発明者】
【氏名】孫 辰雨
(72)【発明者】
【氏名】孫 昌用
(72)【発明者】
【氏名】高 民守
(72)【発明者】
【氏名】金 智慧
(72)【発明者】
【氏名】崔 昌圭
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０１７－０９１５２２（ＪＰ，Ａ）
【文献】国際公開第２０１７／００７４０１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
オブジェクト認識方法において、入力イメージのオブジェクトの認識に成功した後に前記入力イメージの検証に失敗したことに応答して、前記入力イメージのオブジェクトの認識で使用されたオブジェクトモデルの一部のレイヤによって以前に抽出された基準中間データに基づいて前記オブジェクトモデルを用いて対象イメージを検証するステップと、
前記対象イメージの検証で前記対象イメージが検証された場合に応答して、前記対象イメージに対する追加検証を行うステップと、
を含み、前記対象イメージを検証するステップの前に、
オブジェクトイメージの選択フレームである前記対象イメージ、及び前記入力イメージを有する複数のフレームから構成される前記オブジェクトイメージを取得するステップと、
前記入力イメージの前記オブジェクトの認識を行うステップと、
をさらに含み、前記入力イメージの前記検証及び前記追加検証は、ライブネスモデルを用いて行われる個別ライブネス検証動作である、オブジェクト認識方法。
【請求項2】
前記入力イメージの前記オブジェクトの認識は登録基盤認識であり、前記対象イメージの前記検証で前記対象イメージが検証されると、前記対象イメージの識別は、前記対象イメージの登録基盤認識を実行せずに行われる、請求項１に記載のオブジェクト認識方法。
【請求項3】
前記対象イメージの検証に失敗すると、前記対象イメージの登録基盤認識が行われる、請求項２に記載のオブジェクト認識方法。
【請求項4】
前記入力イメージの前記オブジェクトの認識は登録基盤認識であり、前記対象イメージの前記検証で前記対象イメージが検証されると、前記対象イメージの前記追加検証は、前記対象イメージの登録基盤認識を実行せずに行われる、請求項１又は２に記載のオブジェクト認識方法。
【請求項5】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記基準中間データを用いて、前記対象イメージが指示するオブジェクトと前記入力イメージが指示するオブジェクトとが同一であるか否かを決定するステップを含む、請求項１－４のうちの何れか一項に記載のオブジェクト認識方法。
【請求項6】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルの前記一部のレイヤと同じレイヤの中間性を有する前記対象イメージの前記検証で使用された前記オブジェクトモデルの一部のレイヤで、前記対象イメージの前記検証で使用された前記オブジェクトモデルの前記一部のレイヤによって抽出された対象中間データが前記基準中間データにマッチングするかを判断するステップを含む、請求項１に記載のオブジェクト認識方法。
【請求項7】
前記対象中間データが前記基準中間データにマッチングするかを判断するステップは、前記対象中間データ及び前記基準中間データ間のマッチングスコアを算出するステップと、
前記マッチングスコアが予め決定された閾値を超過する場合に応答して、前記対象イメージが前記入力イメージと同じオブジェクトを含むものと決定するステップと、
を含む、請求項６に記載のオブジェクト認識方法。
【請求項8】
前記追加検証を行うステップは、前記対象イメージに含まれたオブジェクトが生体であるかを指示する決定された十分なライブネス特性を、前記対象イメージが有するか否かを検証するステップを含む、請求項１－７のうちの何れか一項に記載のオブジェクト認識方法。
【請求項9】
前記決定された十分なライブネス特性を前記対象イメージが有するか否かを検証するステップは、ライブネスモデルを用いて、前記対象イメージに対するライブネススコアを算出するステップと、
前記ライブネススコアが予め決定されたライブネス閾値を超過する場合に応答して、前記対象イメージが前記十分なライブネス特性を有するものと決定するステップと、
を含む、請求項８に記載のオブジェクト認識方法。
【請求項10】
前記入力イメージの前記オブジェクトの認識の成功に応答して、前記入力イメージに対して前記検証を行うステップをさらに含む、請求項１に記載のオブジェクト認識方法。
【請求項11】
前記入力イメージの前記オブジェクトの認識を行うステップは、前記入力イメージの前記オブジェクトの認識で前記オブジェクトモデルの使用を介して、前記入力イメージから基準出力データを抽出するステップと、
前記基準出力データにマッチングする登録データが登録データベースに存在するとの決定に応答して、前記入力イメージが識別されたと決定するステップと、
を含む、請求項１に記載のオブジェクト認識方法。
【請求項12】
前記入力イメージが識別されたと決定するステップは、前記基準出力データと前記登録データとの間のマッチングスコアを算出するステップと、
前記マッチングスコアが出力閾値を超過する場合に応答して、前記入力イメージのオブジェクトが前記登録データのオブジェクトと同じものと決定するステップと、
を含む、請求項１１に記載のオブジェクト認識方法。
【請求項13】
前記入力イメージの前記オブジェクトの認識の実行の間に、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルの前記一部のレイヤによって、抽出された基準中間データを格納するステップを含む、請求項１に記載のオブジェクト認識方法。
【請求項14】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記対象イメージの前記検証の失敗に応答して、前記対象イメージの前記検証で使用された前記オブジェクトモデルをさらに使用する前記対象イメージのオブジェクトの認識の完了の結果として、前記対象イメージに対する対象出力データを算出するステップと、
前記算出された対象出力データにマッチングする登録データが登録データベースに存在するとの決定に応答して、前記対象イメージが識別されたと決定するステップと、
を含む、請求項１－４のうちの何れか一項に記載のオブジェクト認識方法。
【請求項15】
前記算出された対象出力データが前記登録データベースで登録データにマッチングしないとの決定に応答して、新しいオブジェクトイメージを取得して前記新しいオブジェクトイメージの該当の入力イメージのオブジェクトの認識を行うステップをさらに含む、請求項１４に記載のオブジェクト認識方法。
【請求項16】
前記対象イメージ及び前記入力イメージは、オブジェクトイメージの選択フレームであり、前記基準中間データを用いて、前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記入力イメージの次のフレームを前記対象イメージとして選択するステップを含む、請求項１－１５のうちの何れか一項に記載のオブジェクト認識方法。
【請求項17】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記基準中間データに対する前記対象イメージの前記検証に使用された前記オブジェクトモデルを構成する総ｎ個のレイヤのうちｍ番目のレイヤに基づいて、前記対象イメージから抽出された対象中間データと、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルの前記ｍ番目のレイヤによって前記入力イメージから抽出された基準中間データとを比較するステップを含む、請求項１－４のうちの何れか一項に記載のオブジェクト認識方法。
【請求項18】
前記入力イメージ及び前記対象イメージが取得された一連のフレームを含むオブジェクトイメージ、対象イメージ、又は、入力イメージの分析に基づいて整数ｍを選択するステップをさらに含む、請求項１７に記載のオブジェクト認識方法。
【請求項19】
前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルによって、前記入力イメージから抽出された基準出力データ及び予め決定された登録データ間のマッチングスコアが出力閾値を超過するとの決定に応答して、前記入力イメージに対する認識が成功したと決定するステップをさらに含み、前記基準中間データを用いて、前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記基準中間データ及び前記対象イメージから前記対象イメージの前記検証で使用された前記オブジェクトモデルによって抽出された対象中間データ間の更なるマッチングスコアが中間閾値を超過するか否かを判断するステップを含み、
前記中間閾値は前記出力閾値よりも大きい、請求項１に記載のオブジェクト認識方法。
【請求項20】
以前に取得されたオブジェクトイメージに含まれる複数のフレームのうち、個別フレームに対応する前記入力イメージ及び前記対象イメージに対して、前記入力イメージの前記オブジェクトの認識が失敗する場合に応答して、新しいオブジェクトイメージを取得するステップをさらに含む、請求項１に記載のオブジェクト認識方法。
【請求項21】
前記対象イメージに対する追加検証が失敗する場合に応答して、他の対象イメージの対象中間データを、前記他の対象イメージの該当検証で使用された前記オブジェクトモデルの一部のレイヤに基づいて抽出するステップであって、前記他の対象イメージは、前記対象イメージの次のフレームに対応するイメージである、ステップと、前記他の対象イメージの前記該当検証は、前記対象中間データ及び前記基準中間データに基づいて前記他の対象イメージを検証する動作を含む、請求項１に記載のオブジェクト認識方法。
【請求項22】
請求項１－２１のうち何れか一項に記載のオブジェクト認識方法をオブジェクト認識装置のコンピュータに実行させるための１つ以上の命令語を含むコンピュータプログラム。
【請求項23】
オブジェクト認識装置において、オブジェクトモデルを格納するメモリと、
入力イメージのオブジェクトの認識に成功した後に前記入力イメージの検証が失敗した場合に応答して、前記入力イメージのオブジェクトの認識で使用された前記オブジェクトモデルの一部のレイヤによって以前に抽出された基準中間データに基づいて、前記オブジェクトモデルを用いて対象イメージを検証するステップと、前記対象イメージの検証で前記対象イメージが検証された場合に応答して、前記対象イメージの追加検証を行うステップとを含む方法を実行するプロセッサと、
を含み、前記方法は、前記対象イメージを検証するステップの前に、
オブジェクトイメージの選択フレームである前記対象イメージ、及び前記入力イメージを有する複数のフレームから構成される前記オブジェクトイメージを取得するステップと、
前記入力イメージの前記オブジェクトの認識を行うステップと、
をさらに含み、前記入力イメージの前記検証及び前記追加検証は、ライブネスモデルを用いて行われる個別ライブネス検証動作である、オブジェクト認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下、オブジェクトを認識する技術が提供される。
【背景技術】
【0002】
顔認証技術は生体認証技術の１つとして、静画や動画に示された顔に基づいてユーザが正当なユーザであるか否かを決定する認証技術である。顔認証技術によって認証対象者の身元を非接触式に確認できる。最近では、顔認証技術の便利さ及び効率性のためにセキュリティーシステム、モバイル認証、及びマルチメディアデータの検索などの様々な応用分野で顔認証技術が幅広く活用されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一実施形態に係るオブジェクト認識装置の目的は、オブジェクトの認識に成功して追加検証に失敗した場合には、検証を簡素化することにある。
【課題を解決するための手段】
【0004】
一実施形態に係るオブジェクト認識方法は、入力イメージのオブジェクトの認識に成功した後に前記入力イメージの検証に失敗したことに応答して、前記入力イメージのオブジェクトの認識で使用されたオブジェクトモデルの一部のレイヤによって以前に抽出された基準中間データに基づいて前記オブジェクトモデルを用いて対象イメージを検証するステップと、前記対象イメージの検証で前記対象イメージが検証された場合に応答して、前記対象イメージに対する追加検証を行うステップとを含む。
【0005】
オブジェクト認識方法において、前記入力イメージの前記検証及び前記追加検証は、ライブネスモデルを用いて行われる個別ライブネス検証動作であり得る。
【0006】
前記入力イメージの前記オブジェクトの認識は登録基盤認識（登録内容に基づく認識）であり、前記対象イメージの前記検証で前記対象イメージが検証されるとき、前記対象イメージの識別は、前記対象イメージの登録基盤認識を実行せずに行われる。
【0007】
前記対象イメージの検証に失敗すると、前記対象イメージの登録基盤認識が行われる。
【0008】
前記入力イメージの前記オブジェクトの認識は登録基盤認識であり、前記対象イメージの前記検証で前記対象イメージが検証されるとき、前記対象イメージの前記追加検証は、前記対象イメージの登録基盤認識を実行せずに行われる。
【0009】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記基準中間データを用いて、前記対象イメージが指示するオブジェクトと前記入力イメージが指示するオブジェクトとが同一であるか否かを決定するステップを含み得る。
【0010】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルの前記一部のレイヤと同じレイヤの中間性を有する前記対象イメージの前記検証で使用された前記オブジェクトモデルの一部のレイヤで、前記対象イメージの前記検証で使用された前記オブジェクトモデルの前記一部のレイヤによって抽出された対象中間データが前記基準中間データにマッチングするかを判断するステップを含み得る。
【0011】
前記対象中間データが前記基準中間データにマッチングするかを判断するステップは、前記対象中間データ及び前記基準中間データ間のマッチングスコアを算出するステップと、前記マッチングスコアが予め決定された閾値を超過する場合に応答して、前記対象イメージが前記入力イメージと同じオブジェクトを含むものと決定するステップとを含み得る。
【0012】
前記追加検証を行うステップは、前記対象イメージに含まれたオブジェクトが生体であるかを指示する決定された十分なライブネス特性を、前記対象イメージが有するか否かを検証するステップを含み得る。
【0013】
前記決定された十分なライブネス特性を前記対象イメージが有するか否かを検証するステップは、ライブネスモデルを用いて、前記対象イメージに対するライブネススコアを算出するステップと、前記ライブネススコアが予め決定されたライブネス閾値を超過する場合に応答して、前記対象イメージが前記十分なライブネス特性を有するものと決定するステップとを含み得る。
【0014】
オブジェクト認識方法は、オブジェクトイメージの選択フレームである前記対象イメージ、及び前記入力イメージを有する複数のフレームから構成される前記オブジェクトイメージを取得するステップと、前記入力イメージの前記オブジェクトの認識を行うステップとをさらに含み得る。
【0015】
オブジェクト認識方法は、前記入力イメージの前記オブジェクトの認識の成功に応答して、前記入力イメージに対して前記検証を行うステップをさらに含み得る。
【0016】
前記入力イメージの前記オブジェクトの認識を行うステップは、前記入力イメージの前記オブジェクトの認識で前記オブジェクトモデルの使用を介して、前記入力イメージから基準出力データを抽出するステップと、前記基準出力データにマッチングする登録データが登録データベースに存在するとの決定に応答して、前記入力イメージが識別されたと決定するステップとを含み得る。
【0017】
前記入力イメージが識別されたと決定するステップは、前記基準出力データと前記登録データとの間のマッチングスコアを算出するステップと、前記マッチングスコアが出力閾値を超過する場合に応答して、前記入力イメージのオブジェクトが前記登録データのオブジェクトと同じものと決定するステップとを含み得る。
【0018】
オブジェクト認識方法は、前記入力イメージの前記オブジェクトの認識の実行の間に、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルの前記一部のレイヤによって、抽出された基準中間データを格納するステップを含み得る。
【0019】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記対象イメージの前記検証の失敗に応答して、前記対象イメージの前記検証で使用された前記オブジェクトモデルをさらに使用する前記対象イメージのオブジェクトの認識の完了の結果として、前記対象イメージに対する対象出力データを算出するステップと、前記算出された対象出力データにマッチングする登録データが登録データベースに存在するとの決定に応答して、前記対象イメージが識別されたと決定するステップとを含み得る。
【0020】
前記算出された対象出力データが前記登録データベースで登録データにマッチングしないとの決定に応答して、新しいオブジェクトイメージを取得して前記新しいオブジェクトイメージの該当の入力イメージのオブジェクトの認識を行うステップをさらに含み得る。
【0021】
前記対象イメージ及び前記入力イメージは、オブジェクトイメージの選択フレームであり、前記基準中間データを用いて、前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記入力イメージの次のフレームを前記対象イメージとして選択するステップを含み得る。
【0022】
前記基準中間データを用いて前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記基準中間データに対する前記対象イメージの前記検証に使用された前記オブジェクトモデルを構成する総ｎ個のレイヤのうちｍ番目のレイヤに基づいて、前記対象イメージから抽出された対象中間データと、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルの前記ｍ番目のレイヤによって前記入力イメージから抽出された基準中間データとを比較するステップを含み得る。
【0023】
オブジェクト認識方法は、前記入力イメージ及び前記対象イメージが取得された一連のフレームを含むオブジェクトイメージ、対象イメージ、又は、入力イメージの分析に基づいて整数ｍを選択するステップをさらに含み得る。
【0024】
オブジェクト認識方法は、前記入力イメージの前記オブジェクトの認識で使用された前記オブジェクトモデルによって、前記入力イメージから抽出された基準出力データ及び予め決定された登録データ間のマッチングスコアが出力閾値を超過するとの決定に応答して、前記入力イメージに対する認識が成功したと決定するステップをさらに含み、前記基準中間データを用いて、前記入力イメージと他のフレームに対応する対象イメージを検証するステップは、前記基準中間データ及び前記対象イメージから前記対象イメージの前記検証で使用された前記オブジェクトモデルによって抽出された対象中間データ間の更なるマッチングスコアが中間閾値を超過するか否かを判断するステップを含み、前記中間閾値は前記出力閾値よりも大きくてもよい。
【0025】
オブジェクト認識方法は、以前に取得されたオブジェクトイメージに含まれる複数のフレームのうち、個別フレームに対応する前記入力イメージ及び前記対象イメージに対して、前記入力イメージの前記オブジェクト認識が失敗する場合に応答して、新しいオブジェクトイメージを取得するステップをさらに含み得る。
【0026】
オブジェクト認識方法は、前記対象イメージに対する追加検証が失敗する場合に応答して、前記他の対象イメージの該当検証で使用された前記オブジェクトモデルの一部のレイヤに基づいて、他の対象イメージの対象中間データを抽出するステップ（前記他の対象イメージは、前記対象イメージの次のフレームに対応するイメージである）と、前記他の対象イメージの前記該当検証は、前記対象中間データ及び前記基準中間データに基づいて前記他の対象イメージを検証する動作を含み得る。
【0027】
一実施形態に係るオブジェクト認識装置は、オブジェクトモデルを格納するメモリと、入力イメージのオブジェクトの認識に成功した後に前記入力イメージの検証が失敗した場合に応答して、前記入力イメージのオブジェクトの認識で使用された前記オブジェクトモデルの一部のレイヤによって以前に抽出された基準中間データに基づいて、前記オブジェクトモデルを用いて前記対象イメージを検証し、前記対象イメージの検証で前記対象イメージが検証された場合に応答して、前記対象イメージの追加検証を行うプロセッサとを含む。
【発明の効果】
【0028】
一実施形態に係るオブジェクト認識装置は、オブジェクトの認識の成功後に追加検証が失敗した場合に簡素化した検証を行うことで、検証正確度を保持しながらも短い処理時間で検証失敗率を減少させることができる。
【図面の簡単な説明】
【0029】
【図1】一実施形態に係るモデルの例示を説明する図である。
【図2】一実施形態に係るオブジェクト認識装置の概略的な構成を示すブロック図である。
【図3】一実施形態に係るオブジェクト認識装置のトレーニングを説明する図である。
【図4】一実施形態に係るオブジェクト認識方法を示すフローチャートである。
【図5】一実施形態に係るオブジェクトの認識の過程を説明する図である。
【図6】一実施形態に係るオブジェクトの認識の過程を説明する図である。
【図7】一実施形態に係るオブジェクトの認識の過程を説明する図である。
【図8】一実施形態に係るオブジェクトを認識する過程を詳細に説明するフローチャートである。
【図9】コンピューティング装置の例示を示すブロック図である。
【発明を実施するための形態】
【0030】
以下、実施形態を添付する図面を参照しながら詳細に説明する。しかし、特許出願の範囲がこのような実施形態によって制限されたり限定されたりすることはない。各図面に提示された同じ参照符号は同じ部材を示す。
【0031】
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【0032】
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0033】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0034】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【0035】
図１は、一実施形態に係るモデルの例示を説明する図である。
【0036】
一実施形態によれば、オブジェクトモデルは、ニューラルネットワーク１００を含む。ニューラルネットワーク１００に基づいて、オブジェクトの認識を行う方法、及びその方法を行う装置（以下、オブジェクト認識装置）が提案され、該当のニューラルネットワーク１００をトレーニングさせる方法及び装置（以下、オブジェクトトレーニング装置）が提案される。本明細書において、認識は、検証及び識別を含む。検証は、入力データが真か偽りかを判断する動作を示し、識別は、複数のラベルのうち入力データが指示するラベル（ｌａｂｅｌ）を判断する動作を示す。
【0037】
まず、一実施形態に係るオブジェクトの認識を説明する前に、ニューラルネットワーク１００の概略的な構造について説明する。
【0038】
一実施形態によれば、ニューラルネットワーク１００は、複数のノードで構成される複数のレイヤを含む。また、ニューラルネットワーク１００は、複数のレイヤのそれぞれに含まれた複数のノード及び他のレイヤに含まれたノード間の加重された連結を提供する連結加重値又は連結強度を含む。ニューラルネットワーク１００は、同じレイヤ内でノードを他のノードに連結する連結加重値及び／又は、ノードを複数の自身に相違する時間で連結する連結加重値を含む。例えば、認識及び／又は検証するとき、オブジェクト認識装置は、個別ニューラルネットワーク１００をメモリに格納された内部データベースから取得し、通信部を介して外部サーバから要求、受信、又はアップデートして取得できる。ニューラルネットワーク１００は、また、オブジェクトトレーニング装置によってトレーニングされ得る。オブジェクトトレーニング装置は、以下で説明するように、実質的に連結加重値及び構造的な調整によってトレーニングされたニューラルネットワーク１００を生成する。ニューラルネットワーク１００は、内部ＤＢ又は他のメモリに格納され、外部サーバからオブジェクト認識装置に対してオブジェクトの認識のための用途として提供されてもよい。トレーニングは、ニューラルネットワーク１００又は検証（例えば、ライブネス検出）のための更なるニューラルネットワーク１００をトレーニングさせることを含む。例えば、オブジェクトトレーニング装置及びオブジェクト認識装置は、また、同じ装置であるか分離された装置であってもよい。
【0039】
例えば、ニューラルネットワーク１００は、専門化された演算構造認識及び／又はライブネスモデルとして具現されれば、一連の演算的に強力な処理をニューラルネットワーク１００のトレーニングされた目的に基づいて行う。ニューラルネットワーク１００は、例えば、オブジェクト認識装置又はオブジェクトトレーニング装置の１つ以上のプロセッサを介して具現され、ニューラルネットワーク１００のパラメータを取得した後、ニューラルネットワーク１００をハードウェア又はハードウェア及びソフトウェアの結合によって具現される。例えば、オブジェクト認識装置又はオブジェクトトレーニング装置のメモリに格納された命令によって具現されてもよい。命令は、１つ以上のプロセッサによって行われる場合、１つ以上のプロセッサが認識及び／又はライブネスモデルを具現できるように誘発し得る。
【0040】
上述したように、ニューラルネットワーク１００は、複数のレイヤを含んでもよい。例えば、ニューラルネットワーク１００は、１つ以上の入力レイヤ１１０、複数の隠れレイヤ１２０、１つ以上の出力レイヤ１３０を含む。ここで、隠れレイヤ１２０は、単一のレイヤのように示されているが、これは説明のためのもので、示された隠れレイヤ１２０は、１つ又は複数の隠れレイヤを示し得る。類似に、入力レイヤ１１０及び出力レイヤ１３０は、個別的に１つ以上のレイヤを示してもよい。例えば、複数の入力レイヤがあり、個別に異なる隠れレイヤを連結してもよい。複数の出力レイヤが単一の隠れレイヤ又は個別的に複数の隠れレイヤに連結されてもよい。したがって、入力レイヤ１１０は、トレーニング又は認識及び／又は検証を行うための入力を受信し、入力を隠れレイヤ１２０に伝達する。ここで、隠れレイヤ１２０のそれぞれは、他の目的のために構成されてもよく、隠れレイヤの個数は、様々な構造及び所望する効率に応じて選択されてもよく、各隠れレイヤ１２０は、個別出力を生成して次の隠れレイヤ１２０に入力してもよい。出力レイヤ１３０は、最終隠れレイヤ１２０から受信した信号に基づいてニューラルネットワーク１００の出力を生成する。トレーニングの間に隠れレイヤ１２０のパラメータ（例えば、連結加重値）は、入力レイヤ１１０を介して受信されたトレーニングデータのトレーニング入力に基づいて繰り返し調整され又は変化させられる。出力レイヤが十分に正確な値又はラベルを出力するまでトレーニングが繰り返され、ラベルは、予測しやすい値、又はニューラルネットワーク１００の目的のために有用な値を示す。類似に、認識／検証又は他の推論動作の間に実際世界イメージデータは入力レイヤ１１０に提供され、個別隠れレイヤはそれぞれ個別の演算動作を行う。例えば、隠れレイヤは、個別ノードの活性化関数により、出力レイヤ１３０が認識／ライブネス又は入力イメージデータに対する他の推論動作の結果を指示するために使用され得る情報を含む出力を生成するまで演算動作を行ってもよい。
【0041】
入力レイヤ１１０、隠れレイヤ１２０、及び出力レイヤ１３０は、複数のノードを含む。入力レイヤ１１０に含まれたノードは入力ノードと称され、隠れレイヤ１２０に含まれたノードは隠れノードと称され、出力レイヤ１３０に含まれたノードは出力ノードと称される。また、全て又は少なくとも１つの隠れ及び出力レイヤノードは、それぞれ個別的に予め決定された活性化関数を適用してもよく、活性化関数は、ニューラルネットワーク１００の具現に非線型を担当する。
【0042】
例えば、入力レイヤ１１０に含まれた選択された又は全ての入力ノードは、最初又は次の隠れレイヤ１２０に含まれた選択された又は各隠れノードと連結され得る。例えば、互いに異なるレイヤとエッジに連結加重値を介して連結されてもよい。ここで、入力レイヤ１１０及び最初の又は次の隠れレイヤ１２０の、このような時系列的な関連性は、ニューラルネットワーク１００の低い深度又はレイヤの動作として参照され得る。次の隠れレイヤ１２０の間でさらに発生する動作は、ニューラルネットワーク１００の中間又はさらに深い深度又はレイヤで発生する動作として参照され得る。出力レイヤ１３０の前に最後の隠れレイヤ１２０で発生する動作は、ニューラルネットワーク１００の最も高い隠れ深度又はレイヤで発生する動作として参照され得る。類似に、隠れレイヤ又は隠れレイヤのセットのうちの１つよりも低い深度又はレイヤで発生する動作は、認識／ライブネス又は他の推論動作の間にニューラルネットワークの処理シーケンスの観点で、隠れレイヤのセット又はいずれかの隠れレイヤの前に隠れレイヤ１２０の全て又は１つ以上を含んでもよい。また、上述したように、最終又は最も高い隠れレイヤ１２０に含まれた隠れノードと出力レイヤ１３０に含まれた出力ノードは、連結加重値を有する連結線を介して連結され得る。
【0043】
複数の隠れレイヤを含むニューラルネットワーク１００は、ディープニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＤＮＮ）であるか、ＤＮＮの部分であってもよい。限定されない実施形態として、ニューラルネットワーク１００は、畳み込み、プーリング、デコンボリューション、デポーリング、リカレント、バイディレクション、又は、完全連結の部分を含んでもよく、他の目的のために個別的にトレーニングされてもよい。例えば、ニューラルネットワーク１００は、低い隠れレイヤ１２０を有し、識別の目的のためにトレーニングされた特徴ベクトル又はマップを抽出できる畳み込みレイヤを含んでもよい。また、次又は高い隠れレイヤ１２０は、畳み込み及び／又は完全連結の隠れレイヤ１２０を含んでもよく、ライブネステスト目的のために抽出された特徴ベクトル又はマップに対して確率的な情報又はラベルを抽出してもよい。他の例示として、第１ニューラルネットワーク１００は、このような様々な隠れレイヤ１２０で構成され、識別の目的のためにトレーニングされた特徴ベクトル又はマップを個別的に抽出する畳み込みレイヤ及び／又は認識、又は識別の目的のために抽出された特徴ベクトル又はマップに対して、ラベル又は確率的な情報を抽出できる完全連結隠れレイヤを含む。一方、第２ニューラルネットワーク１００がこのような様々な隠れレイヤ１２０から構成され、ライブネス目的の側面のために、トレーニングされた特徴ベクトル又はマップを抽出できる畳み込みレイヤ及び／又はライブネス目的のために抽出された特徴ベクトル又はマップに対してラベル又は確率的情報を抽出する完全連結隠れレイヤを含む。また、レイヤは、ＬＳＴＭ（ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ）ノードを含んでもよい。複数の隠れレイヤを含むニューラルネットワークのトレーニングは、深化学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）と称される。隠れレイヤ１２０に第１隠れレイヤ、第２隠れレイヤ、及び第３隠れレイヤが含まれる場合を仮定すれば、第１隠れレイヤに属する隠れノードの出力は、第２隠れレイヤに属する隠れノードに連結される。第２隠れレイヤに属する隠れノードの出力は、第３隠れレイヤに属する隠れノードに連結される。
【0044】
例えば、オブジェクト認識装置は、各隠れレイヤに以前の隠れレイヤに含まれた以前の隠れノードの個別出力を連結加重値を有する連結線により入力され、以前の隠れノードの出力に連結加重値が適用された値、及び活性化関数に基づいて隠れレイヤに含まれた隠れノードの出力を生成する。活性化関数の結果が現在の隠れノードに対する最小閾値を超過しない場合、その活性化関数の結果は、高いレベルの隠れノードに送信されないことがある。ノードは、入力ベクトルによって予め決定された閾値の活性化強度に達するまで次のノードに信号を伝達できないことがあり、不活性化状態を保持する。例えば、閾値が満足されなければ、次のノードに結果を送信する代わりに、パディング値又はゼロ値が交代に反射されてもよく、又は、単に該当の連結加重値に対して該当の積演算が行われなくてもよい。
【0045】
一実施形態に係るオブジェクトトレーニング装置は、監督学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）によりニューラルネットワーク１００をトレーニング又は生成してもよい。オブジェクトトレーニング装置は、ハードウェア又はソフトウェア及びハードウェアの組合せで具現される。監督学習は、トレーニングデータのトレーニング入力、それに対応するトレーニング出力を共にニューラルネットワーク１００に入力し、トレーニングデータのトレーニング出力に対応する出力データが出力されるよう、トレーニング入力の知られたラベル又は側面に基づいて連結線の連結加重値をアップデートする方式である。例えば、トレーニングデータは、トレーニング入力及び既知の所望するトレーニング出力の対を含むデータである。図１は、ニューラルネットワーク１００の構造をノード構造と表現したが、実施形態はこのようなノード構造に限定されることはない。オブジェクトトレーニング装置及び／又はオブジェクト認識装置のメモリストレージにニューラルネットワークを格納するために様々なデータ構造を用いてもよい。様々なデータ構造は、トレーニングされたパラメータを格納することを含んでもよく、例えば、トレーニングされた連結加重値をベクトル、行列、ボリューム、又は、単一又は多重次元データの構造として格納することを含む。
【0046】
トレーニングにおいて、オブジェクトトレーニング装置は、臨時ニューラルネットワークに逆伝搬される損失及び臨時ニューラルネットワークに含まれたノードの出力値に基づいた勾配降下（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）法により、ノードのパラメータを決定する。例えば、臨時ニューラルネットワークの連結加重値の初期値が決定され、その後、初期の連結加重値を有する臨時ニューラルネットワークに対するトレーニングが行われる。例えば、トレーニングでオブジェクトトレーニング装置は、損失逆伝搬学習により多くのレイヤの様々なノード間の連結加重値を調整してアップデートし得る。損失逆伝搬学習は、与えられたトレーニングデータに対してフォワード算出により損失を推定した後、出力レイヤ１３０から始まって隠れレイヤ１２０及び入力レイヤ１１０に向かう逆方向に推定した損失を伝搬しながら、損失を減らす方向に連結加重値をアップデートする方法である。推論動作の間のニューラルネットワーク１００に同様に、臨時ニューラルネットワークの処理は、入力レイヤ１１０、隠れレイヤ１２０、及び出力レイヤ１３０の方向に進行されるが、損失逆伝搬トレーニングで連結加重値のアップデート方向は、臨時ニューラルネットワークで出力レイヤ１３０、隠れレイヤ１２０、及び入力レイヤ１１０の方向に進行されてもよい。１つ又はそれ以上のプロセッサは、臨時ニューラルネットワークを所望する方向に処理するため、レイヤ又は一連の算出データを格納するバッファメモリを用いてもよい。
【0047】
オブジェクトトレーニング装置は、現在に設定された臨時ニューラルネットワークの連結加重値がどれ程最適に近いかを測定するための目的関数を定義し、目的関数の結果に基づいて連結加重値を続けて調整又は変更し、トレーニングを繰り返し行う。例えば、目的関数は、臨時ニューラルネットワークがトレーニングデータのトレーニング入力に基づいて実際に出力した出力値と出力されるよう、所望する期待値との間の損失を算出するための損失関数である。オブジェクトトレーニング装置は、損失関数の値を減らす方向に連結加重値をアップデートし得る。ここで、図１を参照して、トレーニング動作が臨時ニューラルネットワークに対して議論されたが、オブジェクトトレーニング装置による上記のようなトレーニングは、ニューラルネットワーク１００のトレーニングの側面で議論されてもよい。例えば、ニューラルネットワーク１００の上記のようなトレーニングは、臨時ニューラルネットワークを参照し、最終臨時ニューラルネットワークが決定されるまで臨時ニューラルネットワークに対するパラメータの調整又は変更が繰り返されてもよい。高い正確度又は最小の誤差を有すれば、トレーニングは終了される。最終の臨時ニューラルネットワークがトレーニングされたニューラルネットワークとして格納される。該当のニューラルネットワーク１００のためのトレーニングデータは、イメージデータ又はその情報を含み得る。類似に、ライブネストレーニングに対してトレーニングデータはイメージデータ又は特徴データを含んでもよい。
【0048】
図２は、一実施形態に係るオブジェクト認識装置の概略的な構成を示すブロック図である。
【0049】
オブジェクト認識装置２００は、イメージ取得部２１０、プロセッサ２２０、及びメモリ２３０を含む。
【0050】
イメージ取得部２１０は、オブジェクトイメージを取得する。例えば、イメージ取得部２１０はカメラを含んでもよく、オブジェクトを撮影することによってオブジェクトイメージが生成される。また、オブジェクトイメージは、任意のオブジェクトに関する複数のフレームに対応するイメージを含む。複数のフレームに対応する一連のイメージは、オブジェクトを撮影した時間の順に応じて生成される。ただし、イメージ取得部２１０がこれに限定されることなく、イメージ取得部２１０は、カラー映像の他にも深度映像などを取得してもよい。例えば、イメージ取得部２１０は、カラー及び深度イメージをキャプチャーするよう構成される１つ以上のカメラを示す。また、イメージ取得部２１０は、１つ以上のイメージカメラ及び１つ以上の深度カメラを含んでもよい。
【0051】
本明細書において、オブジェクトイメージは、オブジェクトの少なくとも一部が撮影されたイメージを示す。例えば、オブジェクトは人であってもよく、オブジェクトイメージは、オブジェクトの少なくとも一部として、人の顔が撮影されたイメージであってもよい。ただし、これに限定されることはない。
【0052】
プロセッサ２２０は、オブジェクトイメージのうち入力イメージを選択し、入力イメージに対してオブジェクトの認識を行う。例えば、プロセッサ２２０は、入力イメージに示されるオブジェクトが登録データベースに登録されたか否かを決定するオブジェクトの認識を行う。プロセッサ２２０は、予めトレーニングされたオブジェクトモデル２３１に基づいて、オブジェクトイメージのいずれかのフレームに対応する入力イメージを認識し得る。例えば、オブジェクトモデルは、図１に示すニューラルネットワーク１００に対応する。プロセッサ２２０は、オブジェクトモデル２３１にイメージを入力して特徴データを抽出又は生成するオブジェクトモデル２３１によって特徴データを抽出し得る。プロセッサ２２０は、抽出された特徴データを用いて、抽出された特徴データを予め決定された登録情報に比較するなどによってイメージを認識し得る。プロセッサ２２０は、オブジェクトが登録されていないか、登録情報に十分にマッチングしないものと決定されれば、認識が失敗したと決定する。プロセッサ２２０は、入力イメージに対するオブジェクト認識が成功した場合（例えば、オブジェクトが登録された場合、十分に登録情報にマッチングしたと判断された場合）に応答して、入力イメージに対する追加検証を行う。
【0053】
一実施形態によれば、追加検証は、撮影されたオブジェクトが偽造、又はユーザ又は人の偽造イメージ、例えば、ノンライブ（ｎｏｎ－ｌｉｖｅ）イメージであるか否かを判断するためのライブネステスト動作を示す。例えば、追加検証は、イメージがキャプチャーされたイメージのライブネスを示す特性を有するか否かを検証する動作を含んでもよい。ライブネスは、オブジェクトが実際の生体であるか否かを示す。例えば、ライブネスは、オブジェクトイメージの各フレームごとに決定されるライブネスパラメータに基づいて決定される。ライブネスパラメータは、各フレームが実際のユーザを有効に撮影したイメージに基づいたことかを示す。例えば、ライブネスパラメータは、任意のフレームに対応するイメージが実際のユーザを撮影したものであれば真（ｔｒｕｅ）として示し、偽造されたものであれば偽（ｆａｌｓｅ）として示す。ライブネステスト動作は、ライブネスモデルによって行われ、ライブネスモデルは、図１に示す更なるニューラルネットワーク１００に対応してもよいし、認識モデルを含むニューラルネットワーク１００の後続の部分であってもよい。
【0054】
プロセッサ２２０は、追加検証が成功した場合、オブジェクト認識が最終的に成功したと決定する。例えば、オブジェクトがオブジェクト認識動作においてすでに認識されれば、プロセッサ２２０は、オブジェクトイメージが真のライブネスパラメータを有するか、ライブネステストが成功したと検証された場合、オブジェクトイメージから認識されたオブジェクトを完全又は最終的に承認する。例えば、完全オブジェクト認識は２つの決定を含んでもよく、最初の決定は、オブジェクトがオブジェクト認識動作として認識又は識別されたか、２番目の決定は、ライブネステストが追加検証動作において成功的であったか否かである。
【0055】
一実施形態によれば、プロセッサ２２０は追加検証が失敗する場合、オブジェクトの認識を繰り返すことができる。例えば、次のキャプチャーされた対象イメージ又は以前の入力イメージで他のフレームに対応する対象イメージに対して、プロセッサ２２０はオブジェクトの認識を繰り返すことができる。プロセッサ２２０は、最初の以前入力イメージに対して実行された「完全」オブジェクト認識よりも単純化されたオブジェクトの認識を行う。例えば、プロセッサ２２０は、以前の入力イメージに対するライブネス検証が失敗した場合、対象イメージの認識／識別分析のパフォーマンスを開始してもよい。この分析により、プロセッサ２２０は、オブジェクトモデル２３１の一部のレイヤで生成された特徴又は特徴情報に基づいて、入力イメージ及び対象イメージを比較する。例えば、ニューラルネットワーク１００は認識モデルとして、下位隠れレイヤ１２０のノードの結果は、次又は上位隠れレイヤ１２０のノードに連結又は提供されるよう設定された結果又は情報を生成する。この分析の脈絡として、下位隠れレイヤ１２０は、「一部のレイヤ」として参照され、全体ニューラルネットワークの一部に対応する隠れレイヤの結果を表現する。例えば、一部のレイヤのような情報は、特徴ベクトル又は特徴マップのフォーマットであってもよい。したがって、以前イメージに対する下位隠れレイヤからの結果は、所定の閾値に基づいて同じオブジェクトモデルに入力された対象イメージに対する同じ隠れレイヤの結果と類似し得る。例えば、入力イメージ及び対象イメージによって同じオブジェクトが指示されると決定又は検証に応答して、プロセッサ２２０は、対象イメージに対して残りの後続隠れレイヤ動作をスキップ又は実行できないことがある。例えば、認識／識別分析の動作を終了し、対象イメージの追加検証を直ちに行ってもよい。限定されない例示として、スキップの決定時にプロセッサ２２０は、対象イメージの認識／識別の結果を入力イメージの認識／識別結果と同一であると決定する。そして、プロセッサ２２０は、対象イメージをライブネステストモデルに入力して対象イメージの追加検証を行う。また、認識が対象イメージに対して少なくとも部分的に行われる間に、ライブネステストは、対象イメージに対して同時に行われる。例えば、スキップの決定があった場合、対象イメージのライブネステストは、ライブネステストの結果が生成されるまで続いてもよい。一方、スキップの決定がない場合、残りの認識隠れレイヤ動作は対象イメージに対して行われ、認識結果が失敗である場合、すなわち、対象イメージに対応する登録情報が発見されない場合、対象イメージのライブネステストの完了前にライブネステストは完了前に終了される。２つの例示で、対象イメージの認識及びライブネステスト動作は、実質的に完全認識及びライブネステスト動作がスキップすることなく行われる場合よりも迅速である。したがって、例示において、対象イメージの検証動作は、対象イメージが入力イメージと同じオブジェクトを含むと指示する場合、認識又は識別は直ちに承認され、プロセッサ２２０は、対象イメージの追加検証が成功したと決定される場合に対象イメージからオブジェクトを最終的に認識することができる。
【0056】
一部のレイヤは、例えば、低いレベルに対応する特徴を出力又は生成し、残りのレイヤは、一部のレイヤよりも高いレベルに対応する特徴を出力する。例えば、高いレベルに対応する特徴は、低いレベルに対応する特徴よりもさらに抽象化された特徴であってもよい。
【0057】
メモリ２３０は、上述したオブジェクトモデル２３１及びライブネステストモデルを格納する。また、メモリ２３０は、オブジェクトイメージ、入力イメージ、対象イメージ、入力イメージ及び／又は対象イメージに対する一部のレイヤの出力、オブジェクトモデル２３１の出力、及び追加検証動作及び／又はオブジェクトの認識の間に要求される情報を臨時的又は永久的に格納し得る。
【0058】
図３は、一実施形態に係るオブジェクト認識装置のトレーニングを説明する図である。
【0059】
トレーニング装置３００は、オブジェクト認識装置に用いられるオブジェクトモデル３２１をトレーニングさせる。一実施形態に係るトレーニング装置３００は、プロセッサ３１０及びメモリ３２０を含む。
【0060】
プロセッサ３１０は、トレーニングデータ３２２に基づいてオブジェクトモデル３２１をトレーニングさせる。トレーニングデータ３２２は、トレーニング入力及びトレーニング出力の対を含む。トレーニング入力は、例えば、トレーニングイメージであってもよい。トレーニング出力は、例えば、任意のトレーニングイメージに対して与えられたオブジェクトラベルであってもよい。オブジェクトラベルは、トレーニングイメージに示されるオブジェクトを指示するラベルとして、例えば、ユーザの身元（ＩＤ、ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）であってもよい。例えば、プロセッサ３１０は、図１に示すニューラルネットワーク１００のトレーニングで議論されたことに対応するオブジェクトモデルのトレーニングを行う。追加的又は代案的に、プロセッサ３１０は、図１に示すニューラルネットワーク１００のトレーニングで議論されたライブネステストモデルのトレーニングを行う。
【0061】
一実施形態によれば、プロセッサ３１０は、オブジェクトモデル３２１がトレーニング入力からトレーニング出力を出力するよう、オブジェクトモデル３２１をトレーニングさせ得る。例えば、トレーニングの間に、プロセッサ３１０は、オブジェクトモデル３２１に基づいて、トレーニング入力から算出される出力とトレーニング出力との間の損失を最小化することで、オブジェクトモデル３２１をトレーニングさせる。プロセッサ３１０は、トレーニング入力から算出された出力とトレーニング出力との間の損失が最小化されるよう、オブジェクトモデル３２１のパラメータをアップデートすることで、オブジェクトモデル３２１をトレーニングさせ得る。
【0062】
図４は、一実施形態に係るオブジェクト認識方法を示すフローチャートである。
【0063】
まず、オブジェクト認識装置は、オブジェクトモデルに基づいて入力イメージを認識し得る。上述したように、オブジェクトモデルは、図１に示すニューラルネットワーク１００及び／又は図２及び／又は図３に示す各オブジェクトモデルに対応する。また、入力イメージの認識について、図４に示す動作が適用されてもよい。オブジェクト認識装置は、オブジェクトモデルに基づいて入力イメージから基準出力データを抽出する。オブジェクト認識装置は、基準出力データにマッチングする登録データが登録データベースに存在する場合に応答して、入力イメージが識別されたと決定する。そして、オブジェクト認識装置は、入力イメージが認識された場合、入力イメージに対する追加検証を行う。オブジェクト認識装置は、入力イメージがライブネスを有するか否かを判断する。例えば、オブジェクト認識装置は、基準中間データを用いて、次の対象イメージが指示するオブジェクトが入力イメージが指示するオブジェクトと同一であるか、予め決定された閾値に基づいて十分に類似しているかを決定する。
【0064】
オブジェクト認識装置は、認識されたオブジェクトのオブジェクトモデルに入力された以前イメージに対する追加検証が失敗した場合、該当オブジェクトに対して単純化された認識動作を次の対象イメージに対して行う。例えば、ステップＳ４１０において、オブジェクト認識装置は、オブジェクトモデルに基づいた入力イメージに対するオブジェクトの認識の成功後に追加検証又はライブネステストが失敗した場合に応答して、入力イメージからオブジェクトモデルの一部のレイヤに基づいて抽出された基準中間データを用いて入力イメージと次の対象イメージを検証する。
【0065】
そして、ステップＳ４２０において、オブジェクト認識装置は、対象イメージが検証された場合に応答して、対象イメージに対する追加検証（例えば、ライブネステスト）を行う。例えば、オブジェクト認識装置は、対象イメージに含まれたオブジェクトが実際の生体であるか否かを示すライブネスを対象イメージが有するか否かを決定する。
【0066】
オブジェクト認識装置は、対象イメージに対するライブネステストに基づいて、対象イメージのライブネススコアを決定し得る。例えば、対象イメージが実際のユーザを有効に撮影したものに類似するほど、ライブネススコアは高く決定される。例えば、偽造イメージ（ｆａｋｅ ｉｍａｇｅ）内の特定フレームにライブネスがあるものと間違って決定されることを防止するために、現在フレームのライブネススコアは、少なくとも１つの以前フレームを考慮して決定され得る。例えば、対象イメージのライブネススコアは、ｋ番目のフレームに関するライブネステストに基づいて取得された第１ライブネススコア、及び以前フレームに対応する入力イメージに関して決定された第２ライブネススコアの累積に基づいて決定されてもよい。ここで、ｋは整数である。入力イメージは、ｋ－１番目のフレームに対応する。したがって、対象イメージに行われるライブネステストは、対象イメージ及び入力イメージに基づいて及び／又は入力イメージのライブネステストで生成されるライブネススコアにさらに基づいて、ライブネススコアを生成し得る。
【0067】
オブジェクト認識装置は、対象イメージに関して決定されたライブネススコアと対象イメージに関するライブネス閾値とを比較してライブネスパラメータを決定し得る。例えば、対象イメージのライブネススコアが対象イメージに関するライブネス閾値以上である場合、オブジェクト認識装置は、対象イメージのライブネスパラメータを対象イメージがライブネスを有するものと決定する。
【0068】
一実施形態によれば、オブジェクト認識装置は、ｋ番目のフレームに関するライブネス閾値を、ｋ番目のフレームの分析結果に基づいて調整し得る。例えば、ｋ番目のフレームの顔領域の大きさが適正範囲から離れた場合、オブジェクト認識装置は、ｋ番目のフレームに関するライブネス閾値を高く決定する。
【0069】
また、オブジェクト認識装置は、ライブネスモデルに基づいて、対象イメージに対するライブネススコアを算出する。ライブネスモデルは、例えば、ニューラルネットワークであってもよく、トレーニングイメージからトレーニングラベルを出力するようにトレーニングされてもよい。図１に示すニューラルネットワーク１００に対する説明はライブネスモデルに適用されてもよい。トレーニングラベルは、トレーニングイメージがライブネスを有するか、有しないことを指示する値であってもよい。オブジェクト認識装置は、ライブネススコアがライブネス閾値を超過する場合に応答して、対象イメージがライブネスを有するものと決定する。
【0070】
【0071】
図５は、一実施形態に係るオブジェクトの認識の概略的な過程を説明する。
【0072】
まず、オブジェクト認識装置は、複数のフレームから構成されるオブジェクトイメージを取得する。オブジェクト認識装置は、１次オブジェクト認識（Ｓ５１０）により入力イメージからオブジェクトを認識し、１次オブジェクト認識（Ｓ５１０）が成功した場合、追加検証（Ｓ５２０）を行う。
【0073】
例えば、オブジェクト認識装置は、オブジェクトイメージからいずれかのフレームに対応する入力イメージを選択（Ｓ５１１）する。オブジェクト認識装置は、例えば、複数のフレームのうち、特定領域にオブジェクトの少なくとも一部（例えば、顔）が適切にフィッティングされたフレームに対応するイメージを入力イメージとして選択する。
【0074】
そして、オブジェクト認識装置は、入力イメージに対してオブジェクト認識（Ｓ５１２）を行う。オブジェクト認識装置は、入力イメージに対するオブジェクト認識（Ｓ５１２）が失敗した場合、認識最終失敗（Ｓ５５０）として決定する。
【0075】
オブジェクト認識装置は、入力イメージに対してオブジェクト認識（Ｓ５１２）が成功した場合、追加検証（Ｓ５２０）を行う。例えば、追加検証（Ｓ５２０）は、ライブネスモデルに対して入力イメージを提供すること、又は１次オブジェクト認識（Ｓ５１０）で使用されたオブジェクトモデルの中間又は部分結果を提供すること含む。例えば、オブジェクト認識装置は、追加検証（Ｓ５２０）により入力イメージがライブネスを有するか否かを決定する。オブジェクト認識装置は、入力イメージがライブネスを有する場合、最終認識成功（Ｓ５６０）として決定する。
【0076】
入力イメージに対する追加検証（Ｓ５２０）が失敗した場合、オブジェクト認識装置は、２次オブジェクト認識（Ｓ５３０）により対象イメージを検証する。
【0077】
例えば、オブジェクト認識装置は、オブジェクトイメージのうち対象イメージを選択（Ｓ５３１）する。オブジェクト認識装置は、入力イメージと他のフレームに対応するイメージを対象イメージとして選択する。オブジェクト認識装置は、オブジェクトイメージのうち、入力イメージに対応するフレームの次のフレームを対象イメージとして選択する。
【0078】
そして、オブジェクト認識装置は、対象イメージに対するオブジェクト認識（Ｓ５３２）を行う。例えば、オブジェクト認識装置は、オブジェクトモデルの一部のレイヤ５３３に基づいて対象イメージから対象中間データを抽出する。オブジェクト認識装置は、対象中間データと入力イメージから抽出された基準中間データとの間の比較に基づいて対象イメージを検証し得る。オブジェクト認識装置は、対象中間データ及び基準中間データがマッチングする場合に応答して、対象イメージが検証されたと決定し得る。例えば、対象中間データ及び基準中間データがマッチングする場合、オブジェクト認識装置は、対象イメージと入力イメージとの間の連続性が存在すると決定し得る。
【0079】
本明細書において、基準中間データは、オブジェクトモデルの一部のレイヤ５３３に基づいて入力イメージから抽出された特徴データを示す。対象中間データは、オブジェクトモデルの一部のレイヤ５３３に基づいて対象イメージから抽出された特徴データを示す。特徴データは、イメージが抽象化されたデータとして、例えば、ベクトル形態のデータであってもよい。複数のイメージ間の連続性は、複数のイメージが一連のフレームに関っていることを示す。連続する複数のイメージは同じオブジェクトを含む。
【0080】
一実施形態によれば、オブジェクトモデルは、ｎ個のレイヤから構成されてもよく、一部のレイヤはｍ番目のレイヤを示し、残りのレイヤはｍ＋１番目からｎ番目までのレイヤを示す。ここで、ｎは２以上の整数であり、ｍはｎよりも小さく１よりも大きい整数である。例えば、オブジェクト認識装置は、オブジェクトモデルを構成するｎ個のレイヤのうち、ｍ番目のレイヤに基づいて対象イメージから抽出された対象中間データ、及びｍ番目のレイヤに基づいて入力イメージから抽出された基準中間データを比較する。また、設計に応じて、ｍは変更されてもよい。また、オブジェクト認識装置は、オブジェクトイメージの属性情報（例えば、ピクセル数、及び明るさの平均など）に基づいてｍを動的に変更することで、基準中間データ及び対象中間データを抽出するためのレイヤを決定し得る。
【0081】
オブジェクト認識装置は、一部のレイヤ５３３に基づいた対象イメージの検証が失敗した場合（例えば、対象中間データと基準中間データとの間の比較が２つのデータが十分に類似しないか、同一でないと指示する場合）、残りのレイヤ５３４に基づいた対象イメージの識別を行う。例えば、オブジェクト認識装置は、一部のレイヤ５３３から出力された対象中間データを残りのレイヤ５３４に伝搬することにより対象出力データを生成し得る。オブジェクト認識装置は、対象出力データにマッチングする登録データが存在する場合、対象イメージが識別されたと決定する。例えば、検証が失敗した場合、完全認識又は識別動作は、究極的に１次オブジェクト認識（Ｓ５１０）と類似する方法で行われてもよい。一方、対象イメージの検証が成功する場合、このような登録基盤認識は、対象イメージを識別するために実行されなくてもよい。
【0082】
本明細書における対象出力データは、対象イメージから最終的に算出された、オブジェクトモデルの出力データを示す。基準出力データは、入力イメージから最終的に算出されたオブジェクトモデルの出力データを示す。
【0083】
オブジェクト認識装置は、残りのレイヤ５３４に基づいた対象イメージの識別が失敗した場合、認識最終失敗（Ｓ５５０）と決定する。その後、オブジェクト認識装置は、新しいオブジェクトイメージを取得して再び認識を行う。
【0084】
一部のレイヤ５３３に基づいた対象イメージの検証又は残りのレイヤ５３４に基づいた対象イメージの識別が成功した場合、オブジェクト認識装置は、対象イメージに対する追加検証（Ｓ５４０）を行う。例えば、対象イメージは、ライブネステストモデルに提供され、２次オブジェクト認識（Ｓ５３０）で使用されたオブジェクトモデルの中間又は部分結果はライブネステストモデルに提供される。
【0085】
オブジェクト認識装置は、対象イメージに対する追加検証（Ｓ５４０）が成功した場合、最終認識成功（Ｓ５６０）と決定する。また、オブジェクト認識装置は、対象イメージに対する追加検証（Ｓ５４０）が失敗した場合、オブジェクトイメージから新しい対象イメージを選択（Ｓ５３１）する。その後、オブジェクト認識装置は、新しい対象イメージに対して再び２次オブジェクト認識（Ｓ５３０）及び追加検証（Ｓ５４０）を行う。
【0086】
入力イメージに対する追加検証（Ｓ５２０）の失敗は、入力イメージそのものが偽造イメージである可能性を示す。オブジェクト認識装置は、入力イメージに対する追加検証（Ｓ５２０）が失敗した場合、対象イメージに対する２次オブジェクト認識（Ｓ５３０）及び対象イメージに対する追加検証（Ｓ５４０）により対象イメージを識別及び検証する。オブジェクト認識装置は、対象イメージから抽出された対象中間データを入力イメージから抽出された基準中間データを比較することで、対象イメージの識別に求められる時間を節減できる。
【0087】
また、対象イメージがライブネスを有する場合、オブジェクト認識装置は、入力イメージもライブネスを有するものと決定する。対象イメージ及び入力イメージは、一連のオブジェクトイメージから選択されたものであるため、互いに関わっている。したがって、オブジェクト認識装置は、識別された対象イメージに対する追加検証を再び行うことで認識の正確度を保障できる。
【0088】
参考として、説明の便宜のために、１次オブジェクト認識（Ｓ５１０）と２次オブジェクト認識（Ｓ５３０）は分離して示したが、オブジェクト認識装置は、実際には、同じオブジェクトモデルを用いて時間の順に応じて１次オブジェクト認識（Ｓ５１０）と２次オブジェクト認識（Ｓ５３０）を行うことができる。例えば、オブジェクト認識装置は、オブジェクトモデルを用いた１次オブジェクト認識（Ｓ５１０）が終了した後、それと同じオブジェクトモデルを用いて２次オブジェクト認識（Ｓ５３０）を行ってもよい。
【0089】
ただし、これに限定されることなく、オブジェクト認識装置は、第１オブジェクトモデルに入力イメージを入力することによって１次オブジェクト認識（Ｓ５１０）を実行しながら、１次オブジェクト認識（Ｓ５１０）が行われる間に、第１オブジェクトモデルと同じ構造の機械学習モデル及び同じパラメータを有する第２オブジェクトモデルに対象イメージを入力することで、２次オブジェクト認識（Ｓ５３０）を行ってもよい。この場合、オブジェクト認識装置は、第１オブジェクトモデルの一部のレイヤに基づいて入力イメージから基準中間データが抽出された後、第２オブジェクトモデルの同じ一部のレイヤに基づいて第２オブジェクトモデルの完了前に対象イメージから対象中間データを抽出し、対象イメージ及び入力イメージがキャプチャーされたオブジェクトに対して十分に類似するか否かを決定し得る。オブジェクトモデルの動作は、第２オブジェクトモデルの完全完了前に中断されてもよく、ライブネステストが実質的に対象イメージに対して第２オブジェクトモデルの完全動作よりも迅速に具現されるようにし得る。
【0090】
図６は、１次オブジェクト認識（Ｓ５１０）を説明する図である。
【0091】
まず、ステップＳ６２０において、オブジェクト認識装置は、オブジェクトモデルに基づいて入力イメージから基準出力データを算出する。例えば、オブジェクト認識装置は、入力イメージに対応するデータを一部のレイヤ６２１から残りのレイヤ６２２に伝搬することによって基準出力データを算出する。一部のレイヤは単一又は２つ以上のレイヤとして、入力レイヤの次であってもよく、他の隠れレイヤの次であってもよい。基準中間データ及び対象中間データは、一部のレイヤからそれぞれ結果として出力され、ノード又は活性化の結果を含む。ここで、オブジェクト認識装置は、オブジェクトモデルの一部のレイヤ６２１に基づいて、入力イメージから抽出された基準中間データを格納する。例えば、基準中間データは、特徴ベクトル又は特徴マップであってもよい。
【0092】
本明細書における一部のレイヤ６２１は１つ以上のレイヤを含んでもよく、残りのレイヤ６２２も１つ以上のレイヤを含んでもよい。各レイヤは複数のノードを含んでもよく、各レイヤのノードは、他のレイヤのノードと連結加重値を有する連結線により連結されてもよい。オブジェクト認識装置は、各レイヤのノードに入力されたデータを連結線により伝搬し得る。したがって、ライブネスモデルに類似するよう、図１に示すニューラルネットワーク１００に対する説明がオブジェクトモデルに適用され得る。
【0093】
そして、ステップＳ６４０において、オブジェクト認識装置は、オブジェクトモデルに基づいて入力イメージから抽出された基準出力データが登録データとマッチングするか否かを判断する。基準出力データにマッチングする登録データが存在する場合、オブジェクト認識装置は、入力イメージが識別されたと決定する。例えば、オブジェクト認識装置は、入力イメージが登録データに対応するオブジェクトを指示するものと決定し得る。
【0094】
一実施形態によれば、オブジェクト認識装置は、基準出力データと登録データとの間のマッチングスコアを算出する。オブジェクト認識装置は、マッチングスコアが出力閾値を超過する場合に応答して、入力イメージのオブジェクトが登録データのオブジェクトと同一なものと決定する。中間閾値は、出力閾値よりも大きい値として設定されてもよい。中間レイヤに対応する出力どうしの比較は、より高い正確性を要求するためである。
【0095】
図７は、２次オブジェクト認識（Ｓ５３０）を説明する図である。
【0096】
まず、対象イメージに対するオブジェクト認識（Ｓ５３２）において、オブジェクト認識装置は、オブジェクトモデルの一部のレイヤ５３３に基づいて対象イメージから対象中間データを抽出する。例えば、上述したように、対象中間データは特徴ベクトル又は特徴マップであってもよい。
【0097】
そして、ステップＳ７３０において、オブジェクト認識装置は、対象イメージが以前フレームとマッチングするか否かを判断する。一実施形態によれば、オブジェクト認識装置は、対象イメージが入力イメージ（例えば、以前フレーム）にマッチングするか否かを決定する。例えば、オブジェクト認識装置は、対象イメージから、オブジェクトモデルの一部のレイヤに基づいて、抽出された対象中間データが基準中間データにマッチングするかを判断する。対象イメージはｋ番目のフレームであってもよく、入力イメージはｋ－１番目のフレームであってもよい。
【0098】
一実施形態によれば、オブジェクト認識装置は、対象イメージが検証された場合に応答して、対象イメージに対する追加検証（Ｓ５４０）を行う。例えば、オブジェクト認識装置は、対象イメージが入力イメージにマッチングする場合、オブジェクト認識装置は、対象イメージに対する追加検証（Ｓ５４０）を行う。
【0099】
対象イメージが入力イメージにマッチングしない場合、オブジェクト認識装置は、残りのレイヤ５３４に基づいたオブジェクトの認識を行う。例えば、オブジェクト認識装置は、一部のレイヤ５３３から出力された対象中間データを残りのレイヤ５３４に伝搬することで対象出力データを算出し得る。
【0100】
ステップＳ７４０において、オブジェクト認識装置は、対象イメージが登録データベースにマッチングするか否かを決定する。一実施形態によれば、オブジェクト認識装置は、対象イメージが登録データベースに格納された登録イメージのうち少なくとも１つにマッチングするか否かを決定する。例えば、オブジェクト認識装置は、対象出力データが登録データにマッチングするか否かを決定する。
【0101】
オブジェクト認識装置は、対象イメージが登録イメージにマッチングする場合、対象イメージに対する追加検証（Ｓ５４０）を行う。
【0102】
また、オブジェクト認識装置は、対象イメージが登録イメージにマッチングしない場合、認識最終失敗（Ｓ５５０）と決定する。その後、オブジェクト認識装置は、新しいオブジェクトイメージを取得してオブジェクトの認識を行う。
【0103】
図８は、一実施形態に係るオブジェクトを認識する過程を詳細に説明するフローチャートである。
【0104】
まず、ステップＳ８１０において、オブジェクト認識装置は、連続するフレームのオブジェクトイメージを取得する。オブジェクトイメージは、ビデオ又は一連的に順次キャプチャーされたイメージのセットであり得る。
【0105】
そして、ステップＳ８１１において、オブジェクト認識装置は、現在フレームイメージを入力イメージとして選択する。オブジェクト認識装置は、現在フレームとしてオブジェクトイメージのフレームのいずれか１つを選択する。
【0106】
次に、ステップＳ８２０において、オブジェクト認識装置は、入力イメージに対するオブジェクトの認識を行う。例えば、ステップＳ８２１において、オブジェクト認識装置は、入力イメージに対する一部のレイヤの出力を格納する。入力イメージから一部のレイヤに基づいた出力は、基準中間データと示す。ステップＳ８２２において、オブジェクト認識装置は、入力イメージに対するオブジェクトモデルの出力を算出する。入力イメージからオブジェクトモデルに基づいた出力は基準出力データと示す。ステップＳ８２３において、オブジェクト認識装置は、入力イメージからオブジェクトモデルに基づいた出力が登録内容にマッチングするか否かを決定する。
【0107】
オブジェクト認識装置は、オブジェクトモデルに基づいて入力イメージから抽出された基準出力データにマッチングする登録データが識別されない場合に応答して、オブジェクト認識が失敗したと決定する。オブジェクト認識装置は、複数のフレームから構成されるオブジェクトイメージのいずれかのフレームに対応する入力イメージに対する、オブジェクトモデルに基づいた認識が失敗する場合に応答して、新しいオブジェクトイメージを取得する。
【0108】
そして、ステップＳ８２４において、オブジェクト認識装置は、入力イメージに対するライブネスを検査する。例えば、オブジェクト認識装置は、入力イメージがライブネスを有するか否かを決定することによって、入力イメージが偽造イメージであるか否かを決定する。
【0109】
次に、ステップＳ８６０において、オブジェクト認識装置は、ライブネス検査が成功した場合、該当の入力イメージに対する認識が成功したと決定する。
【0110】
そして、ステップＳ８１２において、オブジェクト認識装置は、オブジェクト認識が成功した後にライブネス検証が失敗した場合、次のフレームイメージを選択する。オブジェクト認識装置は、入力イメージの次のフレームに対応するイメージを対象イメージとして決定する。
【0111】
次に、ステップＳ８３０において、オブジェクト認識装置は、対象イメージに対するオブジェクトの認識を行う。例えば、ステップＳ８３１において、オブジェクト認識装置は、対象イメージに対して一部のレイヤの出力を算出する。対象イメージから一部のレイヤに基づいた出力は、対象中間データと示す。
【0112】
そして、ステップＳ８４０において、オブジェクト認識装置は、入力イメージ及び対象イメージの中間出力がマッチングするか否かを決定する。一実施形態によれば、オブジェクト認識装置は、対象中間データ及び基準中間データが互いにマッチングするか否かを決定する。例えば、オブジェクト認識装置は、対象中間データと基準中間データとの間のマッチングスコアを算出する。このようなマッチングスコアは、対象中間データと基準中間データとの間の決定されたユークリッド距離に基づき、対象中間データ及び基準中間データのそれぞれは、特徴ベクトル又は特徴マップに表現される。オブジェクト認識装置は、マッチングスコアが中間閾値を超過する場合に応答して、対象イメージが入力イメージと同じオブジェクトを含むものと決定する。中間閾値の値は、設計に応じて決定されてもよい。
【0113】
次に、ステップＳ８３２において、オブジェクト認識装置は、対象イメージに対する残りのレイヤの出力を算出する。一実施形態によれば、オブジェクト認識装置は、基準中間データを用いた検証が失敗した場合に応答して、オブジェクトモデルに基づいて対象イメージから対象出力データを算出する。例えば、オブジェクト認識装置は、対象中間データを残りのレイヤに伝播することによって、対象出力データを算出し得る。
【0114】
そして、ステップＳ８３３において、オブジェクト認識装置は、対象イメージに関する出力が登録内容にマッチングするか否かを決定する。例えば、オブジェクト認識装置は、対象出力データにマッチングする登録データを検索する。オブジェクト認識装置は、算出された対象出力データにマッチングする登録データが登録データベースに存在する場合に応答して、対象イメージが識別されたと決定する。
【0115】
次に、ステップＳ８５０において、オブジェクト認識装置は、対象イメージに基づいたオブジェクト認識が成功した場合に対象イメージのライブネスを検査する。例えば、オブジェクト認識装置は、ステップＳ８４０において、対象イメージから抽出された対象中間データ及び入力イメージから抽出された基準中間データがマッチングする場合、対象イメージのライブネスを検査する。また、オブジェクト認識装置は、ステップＳ８３３において、対象イメージから抽出された対象出力データにマッチングする登録データが存在する場合、対象イメージのライブネスを検査する。
【0116】
一実施形態によれば、オブジェクト認識装置は、対象イメージに対してライブネススコアを算出し、算出されたライブネススコアがライブネス閾値を超過するか否かを決定する。オブジェクト認識装置は、対象イメージのライブネススコアがライブネス閾値を超過する場合に応答して、対象イメージがライブネスを有するものと決定する。
【0117】
ただし、オブジェクト認識装置は、ステップＳ８３３において、対象イメージが登録されていないと判断された場合、認識が最終的に失敗したと決定する。その後、オブジェクト認識装置は、ステップＳ８１０に戻って、新しいオブジェクトイメージを取得する。例えば、オブジェクト認識装置は、算出された対象出力データにマッチングする登録データが登録データベースに存在しない場合に応答して、新しいオブジェクトイメージを取得する。新しいオブジェクトイメージに対するこのような繰り返しは、更なる繰り返しが行われず認識不可と決定される前に予め決定された回数に対して行われてもよい。
【0118】
また、オブジェクト認識装置は、ステップＳ８５０において、対象イメージに対するライブネス検査が失敗した場合、更なるフレームのイメージに対してオブジェクトの認識を行う。例えば、オブジェクト認識装置は、対象イメージに対するライブネス検査が失敗した場合、現在のイメージのその次のフレームを対象イメージに変更して選択する。一実施形態によれば、オブジェクトを検証する装置は、対象イメージに対する追加検証が失敗する場合に応答して、対象イメージの次のフレームに対応するイメージから一部のレイヤに基づいた対象中間データを抽出する。オブジェクトを検証する装置は、対象中間データ及び基準中間データに基づいて次のフレームに対応するイメージを検証する。
【0119】
ステップＳ８６０において、オブジェクト認識装置は、オブジェクトイメージに対する認識及び追加検証が有効な場合に応答して、認識が成功したと最終的に決定する。例えば、オブジェクト認識装置は、入力イメージが登録データベースに登録されたものと識別され、入力イメージそのものがライブネスを有するものと決定された場合、入力イメージの認識が成功したと最終的に決定し得る。また、オブジェクト認識装置は、対象イメージが入力イメージにマッチングし、対象イメージそのものがライブネスを有するものと決定された場合、対象イメージの認識が成功したと最終的に決定し得る。
【0120】
オブジェクト認識装置は、上述したステップＳ８２０、Ｓ８２１、Ｓ８２２、Ｓ８２３、Ｓ８３０、Ｓ８３１、Ｓ８３２、Ｓ８３３に対応する動作を同じパラメータを有するよう、トレーニングされたオブジェクトモデルに基づいて行う。
【0121】
一実施形態に係るオブジェクト認識装置は、最初の識別が有効であるものの、追加検証が有効でない場合、その後には最初の識別で成功した結果に基づいて、オブジェクトモデルの一部のレイヤを用いることにより、対象イメージの識別に求められる時間を短縮できる。例えば、最初の識別の成功によって、対象に対して簡素化された認識が登録情報の比較を行う必要がなく、オブジェクトイメージを検証及び認識するために求められる時間を実質的に減少させ得る。
【0122】
例えば、オブジェクト認識装置は、一部のレイヤに基づいて抽出された対象イメージの低レベル特徴と入力イメージの低レベル特徴とを比較し、２つのイメージに示されたオブジェクトの同一性を判断する。オブジェクト認識装置は、対象イメージと入力イメージとの間の同一性が検証される場合、対象イメージのライブネスを追加検証する。したがって、オブジェクト認識装置は、対象イメージの有効なライブネスを介して入力イメージのライブネスも有効なものと決定し、入力イメージに対して予め識別されたユーザが認識されたものと最終的に決定し得る。オブジェクト認識装置は、オブジェクト認識装置をアンロックし、オブジェクト認識装置の他の動作に対する権限（例えば、決済権限など）を許容することで、オブジェクト認識装置の機能にアクセス可能に許容する。
【0123】
図９は、コンピューティング装置の例示を示すブロック図である。
【0124】
コンピューティング装置９００は、ユーザの顔などが示される入力イメージを取得することで認識プロセスを実行し、登録基盤識別及びライブネス決定を行う。コンピューティング装置９００は、図２に示すオブジェクト認識装置２００、図３に示すオブジェクト認識トレーニング装置３００に対応する。
【0125】
コンピューティング装置９００は、プロセッサ９１０、メモリ９２０、カメラ９３０、格納装置９４０、入力装置９５０、出力装置９６０、及びネットワークインターフェース９７０を含む。上述したように、プロセッサ９２０、メモリ９２０、及びカメラ９３０は、それぞれプロセッサ２２０、メモリ２３０、及びイメージセンサ２１０、又はプロセッサ３２０、及びメモリ３３０に対応する。プロセッサ９１０、メモリ９２０、カメラ９３０、格納装置９４０、入力装置９５０、出力装置９６０、及びネットワークインターフェース９７０は、通信バス９８０を介して通信する。
【0126】
プロセッサ９１０は、コンピューティング装置９００内で実行するための機能及び命令を実行する。例えば、プロセッサ９１０は、格納装置９４０に格納された命令を処理する。プロセッサ９１０は、図１ないし図８を参照して前述した１つ以上の動作を行う。また、プロセッサ９１０は、コンピューティング装置９００の機能を制御する。例えば、コンピューティング装置９００は、モバイルフォン、タブレット、ＰＣなどのようなモバイルデバイスであり得る。プロセッサ９１０は、コンピューティング装置９００の典型的な機能を制御するように実現される。例えば、プロセッサ９１０は、オブジェクトイメージの認識の究極的な成功の指示、明示的又は暗示的な指示を具現する。このような暗示的な指示は、選択的にロックアウト（ｌｏｃｋ ｏｕｔ）の動作を制御してユーザにアクセスを許容してもよいし、ユーザのキャプチャーされた顔イメージのライブネス決定及び識別の成功時に、典型的な機能を発揮してもよい。このとき、入力イメージ又は次の対象イメージに対して選択的に簡素化された認識動作が適用され得る。上述したように、コンピューティング装置９００は、例えば、様々な電子システム、例えば、モバイルフォン、スマートフォン、ＰＤＳ、タブレットコンピュータ又はラップトップコンピュータのようなモバイルデバイス、ＰＣ、ネットブックコンピュータのようなコンピューティング装置、又はＴＶ、スマートＴＶなどのような電子製品、ゲート制御のためのセキュリティー装置などを含み得る。
【0127】
メモリ９２０は、プロセッサ９１０の実行に必要な情報ないしデータを格納する。メモリ９２０は、オブジェクト及びライブネス決定のために用いられる情報を格納する。メモリ９２０は、コンピュータで読み出し可能な格納媒体又はコンピュータで読み出し可能な格納装置を含む。メモリ９２０は、プロセッサ９１０によって実行するための命令を格納し、コンピューティング装置９００によってソフトウェア又はアプリケーションが行われる間に関連情報を格納する。メモリ９２０は登録データを格納する。
【0128】
カメラ９３０は、スチールイメージ、ビデオなどをキャプチャーし得る。プロセッサ９１０は、カメラ９３０を制御してオブジェクトイメージをキャプチャーする。例えば、オブジェクトイメージは、顔領域、指紋イメージ、目イメージ、瞳孔イメージ、及び／又は血管イメージなどのようにユーザが認証するイメージを含む。成功的な識別及びライブネスの決定により、プロセッサ９２０は、カメラ９３０が自動的にイメージをキャプチャーし、自動的にユーザのライブネス決定を行って識別するようにする。例えば、ユーザの開始なしに上述した識別を行うことができる。カメラ９３０は、プロセッサ９１０によって制御されてもよく、個人カメラとして動作されてもよい。
【0129】
格納装置９４０は、コンピュータで読み出し可能な記録媒体又は装置であってもよい。格納装置９４０は、登録データベースを格納する。格納装置９４０は、メモリ９２０よりも多い量の情報を格納し、さらに長い期間の間に格納される。例えば、格納装置９４０は、例えば、マグネチックハードディスク、光学ディスク、フラッシュメモリ、フロッピーディスク、及び様々な形態のメモリを含んでもよい。格納装置９４０又はメモリ９２０は、オブジェクトモデル及び／又はライブネステストモデルを格納する。
【0130】
入力装置９５０は、触覚、ビデオ、オーディオ、又はタッチ入力によりユーザから入力を受信し得る。入力装置９５０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力をコンピューティング装置９００に伝達できる任意の他の装置を含む。
【0131】
出力装置９６０は、視覚的、聴覚的又は触覚的なチャネルを介して、ユーザにコンピューティング装置９００の出力を提供する。出力装置９６０は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置、又は認識の成功を指示する情報又は視覚的かつ聴覚的サービスを提供してもよいし、成功的な認識の結果、例えば、識別及び検証決定が結果を指示する出力を提供できる任意の他の装置を含み得る。
【0132】
ネットワークインターフェース９７０は、有線又は無線ネットワークを介して外部装置と通信する。例えば、プロセッサ９１０の制御により、ネットワークインターフェース９７０は決済権限を外部端末に送信し、例えば、近接送受信機によって送信された適切なモバイル決済命令を送信してもよい。また、プロセッサ９１０は、ネットワークインターフェース９７０を制御して通常にオブジェクト及び／又はライブネステストモデルに対するアップデートを確認してもよいし、それに対応するニューラルネットワークのアップデートを確認してもよい。例えば、ネットワークインターフェース９７０は、メモリ９２０又は格納装置９４０でパラメータ又は係数を要求かつ受信又は格納し得る。
【0133】
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0134】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0135】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0136】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0137】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【0138】
２００：オブジェクト認識装置
２１０：イメージ取得部
２２０：プロセッサ
２３０：メモリ
２１０：イメージ取得部
２２０：プロセッサ
２３０：メモリ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】