IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソフトバンクモバイル株式会社の特許一覧

<>
  • 特開-認証装置、プログラム、及び認証方法 図1
  • 特開-認証装置、プログラム、及び認証方法 図2
  • 特開-認証装置、プログラム、及び認証方法 図3
  • 特開-認証装置、プログラム、及び認証方法 図4
  • 特開-認証装置、プログラム、及び認証方法 図5
  • 特開-認証装置、プログラム、及び認証方法 図6
  • 特開-認証装置、プログラム、及び認証方法 図7
  • 特開-認証装置、プログラム、及び認証方法 図8
  • 特開-認証装置、プログラム、及び認証方法 図9
  • 特開-認証装置、プログラム、及び認証方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081778
(43)【公開日】2023-06-13
(54)【発明の名称】認証装置、プログラム、及び認証方法
(51)【国際特許分類】
   A61B 5/1171 20160101AFI20230606BHJP
   G06T 7/00 20170101ALI20230606BHJP
   G06T 7/20 20170101ALI20230606BHJP
【FI】
A61B5/1171 200
G06T7/00 510F
G06T7/20 300B
G06T7/00 350C
【審査請求】未請求
【請求項の数】21
【出願形態】OL
(21)【出願番号】P 2021195774
(22)【出願日】2021-12-01
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】石若 裕子
(72)【発明者】
【氏名】須田 和人
【テーマコード(参考)】
4C038
5B043
5L096
【Fターム(参考)】
4C038VA07
4C038VB03
4C038VC05
5B043AA09
5B043BA04
5B043DA05
5B043EA07
5B043FA07
5B043GA02
5L096CA04
5L096FA69
5L096HA05
5L096HA07
5L096HA11
5L096KA04
(57)【要約】      (修正有)
【課題】認証用に人物を撮像した認証用動画を取得する認証用動画取得部と、認証用動画を解析することによって特定した人物の顔の筋肉の動きに基づいて、人物を認証する認証部とを備える認証装置を提供する。
【解決手段】認証部は、被写体として人物を含む動画を入力とし、特徴量ベクトルを出力するニューラルネットワークを用いて、人物を認証してよい。認証部は、認証用動画を解析することによって特定した人物の顔の筋肉の動きに基づいて、当該人物の顔の運動ニューロンを推定し、推定した運動ニューロンによって、人物を認証してよい。認証用に、歩いている人物を撮像した認証用動画を取得する認証用動画取得部と、認証用動画を解析することによって特定した人物の身体の筋肉の動きに基づいて、人物を認証する認証部とを備える認証装置を提供する。
【選択図】図1
【特許請求の範囲】
【請求項1】
認証用に人物を撮像した認証用動画を取得する認証用動画取得部と、
前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて、前記人物を認証する認証部と
を備える認証装置。
【請求項2】
前記認証部は、被写体として人物を含む動画を入力とし、特徴量ベクトルを出力するニューラルネットワークを用いて、前記人物を認証する、請求項1に記載の認証装置。
【請求項3】
登録用に人物を撮像した登録用動画を取得する登録用動画取得部と、
前記登録用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて、当該人物の顔の運動ニューロンを推定する登録用推定部と、
複数の人物について、前記登録用推定部によって推定された前記運動ニューロンと前記人物を識別可能な人物識別情報とを含む登録データを記憶する登録データ記憶部と
をさらに備え、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて、当該人物の顔の運動ニューロンを推定し、推定した前記運動ニューロンと、前記登録データ記憶部に記憶されている複数の登録データの運動ニューロンとを比較することによって、前記人物を認証する、請求項1又は2に記載の認証装置。
【請求項4】
運動ニューロンに関するパラメータの入力に従って人物の顔の筋肉の動きをシミュレートすることによって人物の表情の動きを示す表情データを生成するシミュレータに対して複数のパラメータを入力することによって、前記複数のパラメータのそれぞれに対応する前記表情データを取得する表情データ取得部と、
前記表情データ取得部が取得した前記表情データと、当該表情データに対応するパラメータとを含む訓練データを記憶する訓練データ記憶部と
をさらに備え、
前記登録用推定部は、前記訓練データ記憶部に記憶されている複数の前記訓練データに基づいて、前記人物の前記顔の運動ニューロンを推定する、請求項3に記載の認証装置。
【請求項5】
前記登録用推定部は、前記複数の訓練データのうち、前記表情データが、前記登録用動画を解析することによって特定した前記人物の顔の筋肉の動きに対応する訓練データの前記パラメータを特定することによって、前記人物の前記顔の運動ニューロンを推定する、請求項4に記載の認証装置。
【請求項6】
前記認証部は、前記訓練データ記憶部に記憶されている複数の前記訓練データに基づいて、前記人物の顔の運動ニューロンを推定する、請求項4又は5に記載の認証装置。
【請求項7】
前記登録データ記憶部は、人物の顔のパーツの特徴毎にグループ分けして、前記複数の登録データを記憶し、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析して特定した前記人物の顔のパーツの特徴に対応するグループを特定し、前記登録データ記憶部に記憶されている、特定した前記グループに属する複数の登録データの運動ニューロンと、前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、前記人物を認証する、請求項3から6のいずれか一項に記載の認証装置。
【請求項8】
前記登録データ記憶部は、人物の顔の脂肪の特徴毎にグループ分けして、前記複数の登録データを記憶し、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析して特定した前記人物の顔の脂肪の付き方の特徴に対応するグループを特定し、前記登録データ記憶部に記憶されている、特定した前記グループに対応する複数の登録データの運動ニューロンと、前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、前記人物を認証する、請求項3から7のいずれか一項に記載の認証装置。
【請求項9】
前記登録データ記憶部は、人物の性別によってグループ分けして、前記複数の登録データを記憶し、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析して特定した前記人物の性別に対応するグループを特定し、前記登録データ記憶部に記憶されている、特定した前記グループに対応する複数の登録データの運動ニューロンと、前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、前記人物を認証する、請求項3から8のいずれか一項に記載の認証装置。
【請求項10】
前記登録データ記憶部は、人物の年齢によってグループ分けして、前記複数の登録データを記憶し、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析して特定した前記人物の年齢に対応するグループを特定し、前記登録データ記憶部に記憶されている、特定した前記グループに対応する複数の登録データの運動ニューロンと、前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、前記人物を認証する、請求項3から9のいずれか一項に記載の認証装置。
【請求項11】
前記人物に対して予め定められた動作を行うことを指示する指示情報を出力する指示情報出力部
をさらに備え、
前記登録用動画取得部は、前記指示情報出力部が前記指示情報を出力した後に、前記人物の顔を撮像した前記登録用動画を取得し、
前記認証用動画取得部は、前記指示情報出力部が前記指示情報を出力した後に、前記人物の顔を撮像した前記認証用動画を取得する、請求項3から10のいずれか一項に記載の認証装置。
【請求項12】
前記認証用動画取得部は、歩いている前記人物を撮像した前記認証用動画を取得し、
前記認証部は、前記認証用動画を解析することによって特定した前記人物の身体の筋肉の動きと、前記人物の顔の筋肉の動きとに基づいて、前記人物を認証する、請求項3から11のいずれか一項に記載の認証装置。
【請求項13】
前記登録用推定部は、前記登録用動画を解析することによって特定した前記人物の身体の筋肉の動きに基づいて、当該人物の身体の運動ニューロンを推定し、
前記登録データ記憶部は、前記登録用推定部によって推定された前記人物の顔の運動ニューロン及び前記人物の身体の運動ニューロンと、前記人物を識別可能な人物識別情報とを含む前記登録データを記憶し、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析することによって特定した前記人物の顔の筋肉の動き及び前記人物の身体の筋肉の動きに基づいて、当該人物の顔の運動ニューロン及び身体の運動ニューロンを推定し、推定した前記顔の運動ニューロン及び前記身体の運動ニューロンと、前記登録データ記憶部に記憶されている複数の登録データの顔の運動ニューロン及び身体の運動ニューロンとを比較することによって、前記人物を認証する、請求項12に記載の認証装置。
【請求項14】
前記認証部は、前記登録データ記憶部に記憶されている複数の登録データから、推定した前記人物の身体の運動ニューロンに対応する複数の登録データを特定し、推定した前記人物の顔の運動ニューロンと、特定した前記複数の登録データの顔の運動ニューロンとを比較することによって、前記人物を認証する、請求項13に記載の認証装置。
【請求項15】
登録用に前記人物を撮像した登録用動画を取得する登録用動画取得部と、
前記登録用動画を解析することによって、前記人物の顔の筋肉の動きを示す動きデータを生成する動きデータ生成部と、
複数の人物について、前記動きデータ生成部によって生成された前記動きデータと前記人物を識別可能な人物識別情報とを含む登録データを記憶する登録データ記憶部と
をさらに備え、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析することによって生成した前記人物の顔の筋肉の動きを示す動きデータと、前記登録データ記憶部に記憶されている複数の登録データの動きデータとを比較することによって、前記人物を認証する、請求項1に記載の認証装置。
【請求項16】
前記人物に対して予め定められた動作を行うことを指示する指示情報を出力する指示情報出力部
をさらに備え、
前記登録用動画取得部は、前記指示情報出力部が前記指示情報を出力した後に、前記人物を撮像した前記登録用動画を取得し、
前記認証用動画取得部は、前記指示情報出力部が前記指示情報を出力した後に、前記人物を撮像した前記認証用動画を取得する、請求項15に記載の認証装置。
【請求項17】
認証用に、歩いている人物を撮像した認証用動画を取得する認証用動画取得部と、
前記認証用動画を解析することによって特定した前記人物の身体の筋肉の動きに基づいて、前記人物を認証する認証部と
を備える認証装置。
【請求項18】
登録用に、歩いている人物を撮像した登録用動画を取得する登録用動画取得部と、
前記登録用動画を解析することによって特定した前記人物の身体の筋肉の動きに基づいて、当該人物の身体の運動ニューロンを推定する登録用推定部と、
複数の人物について、前記登録用推定部によって推定された前記運動ニューロンと前記人物を識別可能な人物識別情報とを含む登録データを記憶する登録データ記憶部と
をさらに備え、
前記認証部は、前記認証用動画取得部が取得した前記認証用動画を解析することによって特定した前記人物の身体の筋肉の動きに基づいて、当該人物の身体の運動ニューロンを推定し、推定した前記運動ニューロンと、前記登録データ記憶部に記憶されている複数の登録データの運動ニューロンとを比較することによって、前記人物を認証する、請求項17に記載の認証装置。
【請求項19】
コンピュータを、請求項1から18のいずれか一項に記載の認証装置として機能させるためのプログラム。
【請求項20】
コンピュータによって実行される認証方法であって、
認証用に人物を撮像した認証用動画を取得する認証用動画取得段階と、
認証用動画を解析することによって特定した人物の顔の筋肉の動きに基づいて、前記人物を認証する認証段階と
を備える認証方法。
【請求項21】
コンピュータによって実行される認証方法であって、
認証用に、歩いている人物を撮像した認証用動画を取得する認証用動画取得段階と、
前記認証用動画を解析することによって特定した前記人物の身体の筋肉の動きに基づいて、前記人物を認証する認証段階と
を備える認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認証装置、プログラム、及び認証方法に関する。
【背景技術】
【0002】
特許文献1には、ユーザの顔画像を取得し、顔画像に含まれる特徴点に関する情報を用いてユーザを認証する技術が記載されている。
[先行技術文献]
[特許文献]
[特許文献1]特開2021-170205号公報
【発明の概要】
【課題を解決するための手段】
【0003】
本発明の一実施態様によれば、認証装置が提供される。認証装置は、認証用に人物を撮像した認証用動画を取得する認証用動画取得部を備えてよい。認証装置は、認証用動画を解析することによって特定した前記人物の顔の筋肉の動きに基づいて、人物を認証する認証部を備えてよい。
【0004】
上記認証部は、機械学習を用いて、上記人物を認証してよい。上記認証部は、被写体として人物を含む動画を入力とし、特徴量ベクトルを出力するニューラルネットワークを用いて、上記人物を認証してよい。上記認証部は、深層学習を用いて、上記人物を認証してよい。上記認証部は、ディープニューラルネットワークを用いて、上記人物を認証してよい。上記認証部は、時系列を扱うディープニューラルネットワークを用いて、上記人物を認証してよい。上記認証部は、リカレントニューラルネットワークを用いて、上記人物を認証してよい。上記認証部は、長短期記憶(LSTM:Long Short-Term Memory)を用いて、上記人物を認証してよい。上記認証装置は、登録用に人物を撮像した登録用動画を取得する登録用動画取得部と、上記登録用動画を解析することによって特定した上記人物の顔の筋肉の動きに基づいて、当該人物の顔の運動ニューロンを推定する登録用推定部と、複数の人物について、上記登録用推定部によって推定された上記運動ニューロンと上記人物を識別可能な人物識別情報とを含む登録データを記憶する登録データ記憶部とをさらに備えてよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析することによって特定した上記人物の顔の筋肉の動きに基づいて、当該人物の顔の運動ニューロンを推定し、推定した上記運動ニューロンと、上記登録データ記憶部に記憶されている複数の登録データの運動ニューロンとを比較することによって、上記人物を認証してよい。上記認証装置は、運動ニューロンに関するパラメータの入力に従って人物の顔の筋肉の動きをシミュレートすることによって人物の表情の動きを示す表情データを生成するシミュレータに対して複数のパラメータを入力することによって、上記複数のパラメータのそれぞれに対応する上記表情データを取得する表情データ取得部と、上記表情データ取得部が取得した上記表情データと、当該表情データに対応するパラメータとを含む訓練データを記憶する訓練データ記憶部とをさらに備えてよく、上記登録用推定部は、上記訓練データ記憶部に記憶されている複数の上記訓練データに基づいて、上記人物の上記顔の運動ニューロンを推定してよい。上記登録用推定部は、上記複数の訓練データのうち、上記表情データが、上記登録用動画を解析することによって特定した上記人物の顔の筋肉の動きに対応する訓練データの上記パラメータを特定することによって、上記人物の上記顔の運動ニューロンを推定してよい。上記認証部は、上記訓練データ記憶部に記憶されている複数の上記訓練データに基づいて、上記人物の顔の運動ニューロンを推定してよい。
【0005】
上記登録データ記憶部は、人物の顔のパーツの特徴毎にグループ分けして、上記複数の登録データを記憶してよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析して特定した上記人物の顔のパーツの特徴に対応するグループを特定し、上記登録データ記憶部に記憶されている、特定した上記グループに属する複数の登録データの運動ニューロンと、上記認証用動画を解析することによって特定した上記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、上記人物を認証してよい。上記登録データ記憶部は、人物の顔の脂肪の特徴毎にグループ分けして、上記複数の登録データを記憶してよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析して特定した上記人物の顔の脂肪の付き方の特徴に対応するグループを特定し、上記登録データ記憶部に記憶されている、特定した上記グループに対応する複数の登録データの運動ニューロンと、上記認証用動画を解析することによって特定した上記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、上記人物を認証してよい。上記登録データ記憶部は、人物の性別によってグループ分けして、上記複数の登録データを記憶してよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析して特定した上記人物の性別に対応するグループを特定し、上記登録データ記憶部に記憶されている、特定した上記グループに対応する複数の登録データの運動ニューロンと、上記認証用動画を解析することによって特定した上記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、上記人物を認証してよい。上記登録データ記憶部は、人物の年齢によってグループ分けして、上記複数の登録データを記憶してよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析して特定した上記人物の年齢に対応するグループを特定し、上記登録データ記憶部に記憶されている、特定した上記グループに対応する複数の登録データの運動ニューロンと、上記認証用動画を解析することによって特定した上記人物の顔の筋肉の動きに基づいて推定した当該人物の顔の運動ニューロンとを比較することによって、上記人物を認証してよい。上記認証装置は、上記人物に対して予め定められた動作を行うことを指示する指示情報を出力する指示情報出力部をさらに備えてよく、上記登録用動画取得部は、上記指示情報出力部が上記指示情報を出力した後に、上記人物の顔を撮像した上記登録用動画を取得してよく、上記認証用動画取得部は、上記指示情報出力部が上記指示情報を出力した後に、上記人物の顔を撮像した上記認証用動画を取得してよい。
【0006】
上記認証用動画取得部は、歩いている上記人物を撮像した上記認証用動画を取得してよく、上記認証部は、上記認証用動画を解析することによって特定した上記人物の身体の筋肉の動きと、上記人物の顔の筋肉の動きとに基づいて、上記人物を認証してよい。上記登録用推定部は、上記登録用動画を解析することによって特定した上記人物の身体の筋肉の動きに基づいて、当該人物の身体の運動ニューロンを推定してよく、上記登録データ記憶部は、上記登録用推定部によって推定された上記人物の顔の運動ニューロン及び上記人物の身体の運動ニューロンと、上記人物を識別可能な人物識別情報とを含む上記登録データを記憶してよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析することによって特定した上記人物の顔の筋肉の動き及び上記人物の身体の筋肉の動きに基づいて、当該人物の顔の運動ニューロン及び身体の運動ニューロンを推定し、推定した上記顔の運動ニューロン及び上記身体の運動ニューロンと、上記登録データ記憶部に記憶されている複数の登録データの顔の運動ニューロン及び身体の運動ニューロンとを比較することによって、上記人物を認証してよい。上記認証部は、上記登録データ記憶部に記憶されている複数の登録データから、推定した上記人物の身体の運動ニューロンに対応する複数の登録データを特定し、推定した上記人物の顔の運動ニューロンと、特定した上記複数の登録データの顔の運動ニューロンとを比較することによって、上記人物を認証してよい。
【0007】
上記認証装置は、登録用に上記人物を撮像した登録用動画を取得する登録用動画取得部と、上記登録用動画を解析することによって、上記人物の顔の筋肉の動きを示す動きデータを生成する動きデータ生成部と、複数の人物について、上記動きデータ生成部によって生成された上記動きデータと上記人物を識別可能な人物識別情報とを含む登録データを記憶する登録データ記憶部とをさらに備えてよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析することによって生成した上記人物の顔の筋肉の動きを示す動きデータと、上記登録データ記憶部に記憶されている複数の登録データの動きデータとを比較することによって、上記人物を認証してよい。上記認証装置は、上記人物に対して予め定められた動作を行うことを指示する指示情報を出力する指示情報出力部をさらに備えてよく、上記登録用動画取得部は、上記指示情報出力部が上記指示情報を出力した後に、上記人物を撮像した上記登録用動画を取得してよく、上記認証用動画取得部は、上記指示情報出力部が上記指示情報を出力した後に、上記人物を撮像した上記認証用動画を取得してよい。
【0008】
本発明の一実施態様によれば、認証装置が提供される。認証装置は、認証用に、歩いている人物を撮像した認証用動画を取得する認証用動画取得部を備えてよい。認証装置は、認証用動画を解析することによって特定した人物の身体の筋肉の動きに基づいて、人物を認証する認証部を備えてよい。
【0009】
上記認証装置は、登録用に、歩いている人物を撮像した登録用動画を取得する登録用動画取得部と、上記登録用動画を解析することによって特定した上記人物の身体の筋肉の動きに基づいて、当該人物の身体の運動ニューロンを推定する登録用推定部と、複数の人物について、上記登録用推定部によって推定された上記運動ニューロンと上記人物を識別可能な人物識別情報とを含む登録データを記憶する登録データ記憶部とをさらに備えてよく、上記認証部は、上記認証用動画取得部が取得した上記認証用動画を解析することによって特定した上記人物の身体の筋肉の動きに基づいて、当該人物の身体の運動ニューロンを推定し、推定した上記運動ニューロンと、上記登録データ記憶部に記憶されている複数の登録データの運動ニューロンとを比較することによって、上記人物を認証してよい。
【0010】
本発明の一実施態様によれば、コンピュータを、上位機認証装置として機能させるためのプログラムが提供される。
【0011】
本発明の一実施態様によれば、コンピュータによって実行される認証方法が提供される。
認証方法は、認証用に人物を撮像した認証用動画を取得する認証用動画取得段階を備えてよい。認証方法は、認証用動画を解析することによって特定した人物の顔の筋肉の動きに基づいて、人物を認証する認証段階を備えてよい。
【0012】
本発明の一実施態様によれば、コンピュータによって実行される認証方法が提供される。認証方法は、認証用に、歩いている人物を撮像した認証用動画を取得する認証用動画取得段階を備えてよい。認証方法は、認証用動画を解析することによって特定した人物の身体の筋肉の動きに基づいて、人物を認証する認証段階を備えてよい。
【0013】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0014】
図1】システム10の一例を概略的に示す。
図2】特徴量310の一例を概略的に示す。
図3】特徴量320の一例を概略的に示す。
図4】認証ネットワーク330の一例を概略的に示す。
図5】認証装置100の機能構成の一例を概略的に示す。
図6】認証装置100による処理の流れの一例を概略的に示す。
図7】認証装置100による処理の流れの一例を概略的に示す。
図8】認証装置100による処理の流れの一例を概略的に示す。
図9】システム10の一例を概略的に示す。
図10】認証装置100として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【0015】
顔認証や生体認証によって、個人を特定することはセキュリティ上重要である。しかしながら、2D、3Dの形の特徴量をとる方法では、3Dプリンタと写真によるフェイク画像等に完全に対応することは難しい。また、生体認証であれば、特別なデバイスが必要であったり、そもそも測定に時間がかかったり、化粧を落とす(顔の静脈)、指紋(取れない人がいる、フェイク可能)等、問題の完全な解決には至っていない。本実施形態に係る認証装置100は、例えば、顔認証の際に、顔の筋肉の動きをトラッキングした特徴量を用いて、認証する。筋肉を動かすためには、運動ニューロンが必要である。運動ニューロンは、生まれた時が最も数が多く、筋肉の動かし方を覚えるにつれて、数を減らして最適化されていく。このことにより、筋肉の動かし方は、生まれた時の遺伝子情報及び環境による最適化のため、個々人で異なる。双子のように、遺伝子が共通していて、顔の特徴が近似していても、筋肉の動かし方は異なる。また、本実施形態に係る認証装置100は、人物がカメラに近づく際の歩き方を元に、特徴量を抽出し、さらに精度をあげることも可能である。歩き方も、表情と同様に、個々人で運動ニューロンの数やConnectoneが異なるため、特徴が出る。
【0016】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0017】
図1は、システム10の一例を概略的に示す。システム10は、認証装置100及びカメラ200を備える。
【0018】
認証装置100とカメラ200は、ネットワーク20を介して通信してよい。ネットワーク20は、インターネットを含んでよい。ネットワーク20は、LAN(Local Area Network)を含んでよい。
【0019】
ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、3G(3rd Generation)通信方式、LTE(Long Term Evolution)通信方式、5G(5th Generation)通信方式、及び6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。
【0020】
認証装置100は、ネットワーク20に有線接続されてよい。認証装置100は、ネットワーク20に無線接続されてよい。認証装置100は、無線基地局を介してネットワーク20に接続されてよい。認証装置100は、Wi-Fi(登録商標)アクセスポイントを介してネットワーク20に接続されてよい。
【0021】
カメラ200は、ネットワーク20に有線接続されてよい。カメラ200は、ネットワーク20に無線接続されてよい。カメラ200は、無線基地局を介してネットワーク20に接続されてよい。カメラ200は、Wi-Fiアクセスポイントを介してネットワーク20に接続されてよい。
【0022】
なお、認証装置100とカメラ200とは直接接続されてもよい。また、認証装置100が、カメラ200を内蔵してもよい。
【0023】
認証装置100は、カメラ200によって撮像された撮像画像を、カメラ200から受信する。認証装置100は、カメラ200が人物30を撮像した撮像画像を、カメラ200から受信してよい。認証装置100は、カメラ200が人物30を撮像した動画をカメラ200から受信してよい。
【0024】
カメラ200は、人物30の認証を要する任意の場所に設置される。認証装置100がカメラ200を内蔵する場合、認証装置100が、人物30の認証を要する任意の場所に設定されてよい。
【0025】
カメラ200は、深度センサを有してもよい。認証装置100は、カメラ200の深度センサによって検出された深度情報を含む撮像画像を、カメラ200から受信してもよい。
【0026】
認証装置100は、カメラ200が、登録用に人物30を撮像した登録用動画を、カメラ200から受信してよい。登録用に撮像するとは、登録用に撮像することを人物30に通知してカメラ200によって人物30を撮像することであってよい。登録用に撮像するとは、カメラ200を登録モードに設定した状態でカメラ200によって人物30を撮像することであってよい。登録用に撮像するとは、認証装置100を登録モードに設定した状態でカメラ200によって人物30を撮像することであってよい。
【0027】
認証装置100は、人物30の顔の筋肉の動きに基づいて、人物30を認証してよい。例えば、認証装置100は、人物30の登録用動画を解析して取得した人物30の顔の筋肉の動き特徴量と、人物30を識別可能な人物識別情報とを含む登録データを記憶する。認証装置100は、複数の人物30について、登録データを記憶する。
【0028】
認証装置100は、カメラ200が、認証用に人物30を撮像した認証用動画をカメラ200から受信してよい。認証用に撮像するとは、人物30を認証する場面において、カメラ200によって人物30を撮像することであってよ。認証用に撮像するとは、認証用に撮像することを人物30に通知してカメラ200によって人物30を撮像することであってよい。認証用に撮像するとは、カメラ200を認証モードに設定した状態でカメラ200によって人物30を撮像することであってよい。認証用に撮像するとは、認証装置100を認証モードに設定した状態でカメラ200によって人物30を撮像することであってよい。
【0029】
認証装置100は、認証用動画を解析することによって特定した人物30の顔の筋肉の動きの特徴量と、複数の登録データの特徴量とを比較することによって、人物30を認証してよい。
【0030】
認証装置100は、歩いている人物30の身体の筋肉の動きに基づいて、人物30を認証してもよい。例えば、認証装置100は、人物30の登録用動画を解析して取得した人物30の身体の筋肉の動き特徴量と、人物30を識別可能な人物識別情報とを含む登録データを記憶する。認証装置100は、複数の人物30について、登録データを記憶する。認証装置100は、認証用動画を解析することによって特定した人物30の身体の筋肉の動きの特徴量と、複数の登録データの特徴量とを比較することによって、人物30を認証してよい。
【0031】
図2は、特徴量310の一例を概略的に示す。認証装置100は、人物30の動画を解析して、特徴量310を取得する。認証装置100は、動画における2D映像又は深度情報を用いて、人物30の顔の特徴点を取得する。認証装置100は、例えば、人物30の顔の3Dメッシュを生成する。
【0032】
認証装置100は、3Dメッシュの頂点座標(3D又は2D)を保持し、表情を変化させることで動く頂点座標のトラッキングを、人物30の顔の筋肉の動きの特徴量としてよい。座標は、オイラー座標系でも、クォーターニオン座標系でもよいが、Local座標系とする。図2の特徴量310に例示するように、頂点座標は、Local座標系を保持してもよいし、図3の特徴量320に例示するように、時刻t=0の差分値のみを保持してもよい。
【0033】
認証装置100は、同様にして、動画における2D映像又は深度情報を用いて、人物30の身体の特徴点を取得する。認証装置100は、例えば、人物30の身体の3Dメッシュを生成する。そして、認証装置100は、3Dメッシュの頂点座標(3D又は2D)を保持し、歩いたりすることによって、身体を変化させることで動く頂点座標のトラッキングを、人物30の身体の筋肉の動きの特徴量としてよい。
【0034】
図4は、認証ネットワーク330の一例を概略的に示す。認証ネットワーク330は、被写体として人物を含む動画を入力とし、特徴量ベクトルを出力するニューラルネットワークの一例であってよい。ここでは、人物30の顔の特徴と、顔の筋肉の動きとを用いた認証を行う場合の認証ネットワーク330を例示する。
【0035】
認証装置100は、認証用動画を解析することによって、人物30の顔の特徴を抽出して、顔特徴ベクトルを生成する。認証装置100は、認証用動画を解析することによって、人物30の顔の軌跡、すなわち、人物30の顔の筋肉の動きを抽出し、顔軌跡ベクトルを生成する。そして、認証装置100は、顔特徴ベクトル及び顔軌跡ベクトルを集約して、結果を出力する。認証に成功した場合、認証装置100は、人物30の人物識別情報を出力する。
【0036】
図5は、認証装置100の機能構成の一例を概略的に示す。認証装置100は、訓練データ記憶部102、表情データ取得部104、身体データ取得部106、登録用動画取得部110、120、登録データ記憶部128、認証用動画取得部130、認証部132、及び指示情報出力部140を備える。なお、認証装置100がこれらの全てを備えることは必須とは限らない。
【0037】
訓練データ記憶部102は、顔の動きの訓練データを記憶する。顔の動きとは、表情の動きであってよい。訓練データは、動いている顔の動画を含んでよい。訓練データは、動画における顔の動きをしているときの、顔の筋肉の動きの特徴量を含んでよい。訓練データ記憶部102は、複数の訓練データを記憶する。訓練データ記憶部102は、大量の訓練データを記憶する。訓練データ記憶部102は、外部から受信したり、外部から登録されたりした訓練データを記憶してよい。
【0038】
表情データ取得部104は、人物30の表情の動きを示す表情データを取得する。表情データ取得部104は、運動ニューロンに関するパラメータの入力に従って人物の顔の筋肉の動きをシミュレートすることによって人物の表情の動きを示す表情データを生成するシミュレータに対して複数のパラメータを入力することによって、複数のパラメータのそれぞれに対応する表情データを取得してよい。運動ニューロンは、モーターニューロンと呼ばれる場合もある。訓練データ記憶部102は、表情データ取得部104が取得した表情データと、当該表情データに対応するパラメータとを含む訓練データを記憶する。
【0039】
筋肉には、運動ニューロンが接続されており、運動ニューロンの発火によって信号が送られ、収縮することで筋肉が動く。当該シミュレータは、例えば、顔の筋肉に運動ニューロンを接続し、信号の発火の計算には、Hodgkin-Huxleyモデル(A.L. Hodgkin, A. A quantitative description of membrane current and its application to conduction and excitation in nerve, from the physiological laboratory. University of Cambridge, pp. 500-544, 1952.)を用いる。また、筋肉の収縮モデルには、ヒルタイプモデルを用いる。これにより、細やかな筋肉の動きのシミュレーションが可能となり、それぞれの筋肉の動きを元に、仮想的に特徴点を抽出し、訓練データとすることができる。表情データ取得部104は、信号の強さ、運動ニューロンの数、各ニューロンのFiring Rate、synchronization、運動ニューロンのConnectone、ヒルタイプモデルのMin、Max等をパラメータとし、バリエーション豊かな訓練データを生成することができる。
【0040】
当該シミュレータは、Photo realやモーフィングの技術を用いて、顔の形も自動生成してよい。これにより、顔の動きと、顔の形との組み合わせでもバリエーションが生成されることになるので、訓練に十分なデータを自動生成することができる。
【0041】
認証装置100は、表情データを生成することが可能であれば、既存の任意のシミュレータを用いてもよい。3Dセンサや動画から抽出したデータはNoisyである。また、大量の訓練データを、個々人や多くの人から取得するのは、多大な労力を必要とする。それに対して、表情データ取得部104は、シミュレータを用いることによって、バリエーション豊かな表情データを大量に取得することができる。
【0042】
表情データ取得部104は、運動ニューロン以外のパラメータの入力に従って人物の顔の筋肉の動きをシミュレートすることによって人物の表情の動きを示す表情データを生成するシミュレータに対して複数のパラメータを入力することによって、複数のパラメータのそれぞれに対応する表情データを取得してもよい。
【0043】
身体データ取得部106は、人物30の身体の動きを示す動きデータを取得する。身体データ取得部106は、運動ニューロンに関するパラメータの入力に従って人物の身体の筋肉の動きをシミュレートすることによって人物の身体の動きを示す身体データを生成するシミュレータに対して複数のパラメータを入力することによって、複数のパラメータのそれぞれに対応する身体データを取得してよい。訓練データ記憶部102は、身体データ取得部106が取得した身体データと、当該身体データに対応するパラメータとを含む訓練データを記憶する。
【0044】
当該シミュレータは、例えば、身体の筋肉に運動ニューロンを接続し、信号の発火の計算には、Hodgkin-Huxleyモデルを用いる。また、筋肉の収縮モデルには、ヒルタイプモデルを用いる。身体データ取得部106は、信号の強さ、運動ニューロンの数、各ニューロンのFiring Rate、synchronization、運動ニューロンのConnectone、ヒルタイプモデルのMin、Max等をパラメータとし、バリエーション豊かな訓練データを生成することができる。当該シミュレータは、Photo realやモーフィングの技術を用いて、身体の形も自動生成してよい。これにより、顔の動きと、顔の形との組み合わせでもバリエーションが生成されることになるので、訓練に十分なデータを自動生成することができる。認証装置100は、動きデータを生成することが可能であれば、既存の任意のシミュレータを用いてもよい。
【0045】
登録用動画取得部110は、登録用に人物30を撮像した登録用動画を取得する。登録用動画取得部110は、カメラ200によって撮像された登録用動画を、カメラ200から受信してよい。登録用動画取得部110は、予め定められた動作を行っている人物30を撮像した登録用動画を、カメラ200から受信してもよい。予め定められた動作の例として、無表情から笑顔に変化する動作、「あ、い、う、え、お」等の予め定められた言葉を発する動作等が挙げられるが、これらに限らず、任意の動作であってよい。
【0046】
登録処理部120は、登録用動画取得部110が取得した登録用動画を用いて、登録処理を実行する。登録処理部120は、特徴データ生成部122、登録用推定部124、及び動きデータ生成部126を有する。
【0047】
特徴データ生成部122は、登録用動画を解析することによって、人物30の顔の特徴を示す特徴データを生成する。特徴データは、人物30の顔の形の特徴を含んでよい。特徴データは、人物30の目の形の特徴を含んでよい。特徴データは、人物30の鼻の形の特徴を含んでよい。特徴データは、人物30の口の形の特徴を含んでよい。特徴データは、人物30の顔のパーツ同士の関係を含んでよい。パーツ同士の関係の例として、両目の間隔、目と鼻の位置関係、目と口の位置関係、鼻と口の位置関係、及び、顔における目、鼻、口の位置等が挙げられる。特徴データは、人物30の顔の脂肪の特徴を含んでよい。脂肪の特徴の例として、脂肪の位置及び脂肪の厚み等が挙げられる。特徴データは、人物30の顔のしわの特徴を含んでよい。
【0048】
特徴データ生成部122は、登録用動画を解析することによって、人物30の性別を示す特徴データを生成してもよい。特徴データ生成部122は、登録用動画を解析することによって、人物30の年齢を示す特徴データを生成してもよい。
【0049】
登録用推定部124は、登録用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて、人物30の顔の運動ニューロンを推定する。登録用推定部124は、訓練データ記憶部102に記憶されている複数の訓練データに基づいて、人物30の顔の運動ニューロンを推定してよい。例えば、登録用推定部124は、複数の訓練データのうち、表情データが、登録用動画を解析することによって特定した人物30の顔の筋肉の動きに対応する訓練データのパラメータを特定することによって、人物30の顔の運動ニューロンを推定してよい。
【0050】
動きデータ生成部126は、登録用動画を解析することによって、人物30の顔の筋肉の動きを示す動きデータを生成する。動きデータ生成部126は、訓練データ記憶部102に記憶されている複数の訓練データに基づいて、人物30の顔の筋肉の動きを示す動きデータを生成してよい。動きデータ生成部126は、複数の訓練データのうち、表情データが、登録用動画を解析することによって特定した人物30の顔の筋肉の動きに対応する訓練データのパラメータを特定することによって、人物30の顔の筋肉の動きを示す動きデータを生成してよい。
【0051】
登録データ記憶部128は、登録用推定部124によって推定された人物30の顔の運動ニューロンと、人物30の人物識別情報とを含む登録データを記憶する。登録データ記憶部128は、登録用推定部124によって推定された人物30の顔の運動ニューロンと、特徴データ生成部122によって生成された特徴データと、人物30の人物識別情報とを含む登録データを記憶してもよい。登録データ記憶部128は、動きデータ生成部126によって生成された動きデータと、人物30の人物識別情報とを含む登録データを記憶してもよい。登録データ記憶部128は、複数の人物30について、登録データを記憶する。
【0052】
認証用動画取得部130は、認証用に人物30を撮像した認証用動画を取得する。認証用動画取得部130は、カメラ200によって撮像された認証用動画を、カメラ200から受信してよい。認証用動画取得部130は、予め定められた動作を行っている人物30を撮像した認証用動画を、カメラ200から受信してもよい。当該動作は、登録用動画取得部110が予め定められた動作を行っている人物30を撮像した場合における動作と同一であってよい。
【0053】
認証部132は、認証用動画取得部130が取得した認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて、人物30を認証する。認証部132は、機械学習を用いて、人物30を認証してよい。認証部132は、被写体として人物を含む動画を入力とし、特徴量ベクトルを出力するニューラルネットワークを用いて、人物30を認証してよい。認証部132は、深層学習を用いてよい。認証部132は、ディープニューラルネットワークを用いてよい。認証部132は、時系列を扱うディープニューラルネットワークを用いてよい。認証部132は、例えば、リカレントニューラルネットワークを用いる。認証部132は、例えば、LSTMを用いる。例えば、認証部132は、認証用動画取得部130が取得した認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて、当該人物30の顔の運動ニューロンを推定し、推定した運動ニューロンと、登録データ記憶部128に記憶されている複数の登録データの運動ニューロンとを比較することによって、人物30を認証する。
【0054】
認証部132は、訓練データ記憶部102に記憶されている複数の訓練データに基づいて、人物30の顔の運動ニューロンを推定してよい。例えば、認証部132は、複数の訓練データのうち、表情データが、認証用動画を解析することによって特定した人物30の顔の筋肉の動きに対応する訓練データのパラメータを特定することによって、人物30の顔の運動ニューロンを推定してよい。
【0055】
認証部132は、例えば、推定した運動ニューロンとの一致度が予め定められた閾値より高い運動ニューロンを含む登録データが存在する場合に、認証成功と判定し、存在しない場合、認証失敗とは判定する。認証部132は、認証成功した場合、推定した運動ニューロンに対応する運動ニューロンを含む登録データの人物識別情報を出力してよい。
【0056】
登録データ記憶部128は、人物30の顔のパーツの特徴毎にグループ分けして、複数の登録データを記憶してもよい。認証部132は、認証用動画を解析して特定した人物30の顔のパーツの特徴に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて推定した当該人物30の顔の運動ニューロンとを比較することによって、人物30を認証してもよい。認証部132は、例えば、認証の対象となる人物30が丸顔である場合、丸顔のグループに属する複数の登録データに絞り込んで、認証を行う。認証部132は、例えば、認証の対象となる人物30の鼻が比較的大きめである場合、鼻が比較的大きめのグループに属する複数の登録データに絞り込んで、認証を行う。認証部132は、例えば、認証の対象となる人物30の目が比較的細めである場合、目が比較的細めのグループに属する複数の登録データに絞り込んで、認証を行う。これにより、認証装置100の処理負荷の低減や、認証精度の向上に貢献し得る。
【0057】
登録データ記憶部128は、人物30の顔の脂肪の特徴毎にグループ分けして、複数の登録データを記憶してもよい。認証部132は、認証用動画を解析して特定した人物30の顔の脂肪の特徴に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて推定した当該人物30の顔の運動ニューロンとを比較することによって、人物30を認証してもよい。これにより、認証装置100の処理負荷の低減や、認証精度の向上に貢献し得る。
【0058】
登録データ記憶部128は、人物30の性別によってグループ分けして、複数の登録データを記憶してもよい。認証部132は、認証用動画を解析して特定した人物30の性別に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて推定した当該人物30の顔の運動ニューロンとを比較することによって、人物30を認証してもよい。これにより、認証装置100の処理負荷の低減や、認証精度の向上に貢献し得る。
【0059】
登録データ記憶部128は、人物30の年齢によってグループ分けして、複数の登録データを記憶してもよい。認証部132は、認証用動画を解析して特定した人物30の年齢に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて推定した当該人物30の顔の運動ニューロンとを比較することによって、人物30を認証してもよい。これにより、認証装置100の処理負荷の低減や、認証精度の向上に貢献し得る。
【0060】
認証部132は、認証用動画取得部130が取得した認証用動画を解析することによって生成した人物30の顔の筋肉の動きを示すデータと、登録データ記憶部128に記憶されている複数の登録データの動きデータとを比較することによって、人物30を認証してもよい。
【0061】
指示情報出力部140は、人物30に対して予め定められた動作を行うことを指示する指示情報を出力する。登録用動画取得部110は、指示情報出力部140が指示情報を出力した後に、人物30を撮像した登録用動画を取得してよい。認証用動画取得部130は、指示情報出力部140が指示情報を出力した後に、人物30を撮像した認証用動画を取得してよい。
【0062】
指示情報出力部140は、例えば、人物30の登録を行う場合に、カメラ200の近傍に配置されているディスプレイによって指示情報を表示出力したり、カメラ200の近傍に配置されているスピーカによって指示情報を音声出力したりする。指示情報出力部140は、例えば、人物30の認証を行う場合に、カメラ200の近傍に配置されているディスプレイによって、登録時と同様の指示情報を表示出力したり、カメラ200の近傍に配置されているスピーカによって、登録時と同様の指示情報を音声出力したりする。これにより、人物30に、認証時に、登録時と同じ動作をすることを促すことができ、認証精度の向上に貢献し得る。
【0063】
登録用動画取得部110は、歩いている人物30を撮像した登録用動画を取得してもよい。例えば、登録用動画取得部110は、カメラ200が、登録の際にカメラ200に向かって近づいてくる人物30を撮像した登録用動画を、カメラ200から受信する。
【0064】
特徴データ生成部122は、登録用動画を解析することによって、人物30の体型の特徴を示す特徴データを生成してもよい。特徴データは、人物30の腕の形の特徴を含んでよい。特徴データは、人物30の脚の形の特徴を含んでよい。特徴データは、人物30の身体のパーツ同士の関係を含んでよい。
【0065】
登録用推定部124は、登録用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて、人物30の身体の運動ニューロンを推定してよい。登録用推定部124は、訓練データ記憶部102に記憶されている複数の訓練データに基づいて、人物30の身体の運動ニューロンを推定してよい。例えば、登録用推定部124は、複数の訓練データのうち、身体データが、登録用動画を解析することによって特定した人物30の身体の筋肉の動きに対応する訓練データのパラメータを特定することによって、人物30の身体の運動ニューロンを推定してよい。
【0066】
動きデータ生成部126は、登録用動画を解析することによって、人物30の身体の筋肉の動きを示す動きデータを生成する。動きデータ生成部126は、訓練データ記憶部102に記憶されている複数の訓練データに基づいて、人物30の身体の筋肉の動きを示す動きデータを生成してよい。動きデータ生成部126は、複数の訓練データのうち、身体データが、登録用動画を解析することによって特定した人物30の身体の筋肉の動きに対応する訓練データのパラメータを特定することによって、人物30の身体の筋肉の動きを示す動きデータを生成してよい。
【0067】
登録データ記憶部128は、登録用推定部124によって推定された人物30の顔の運動ニューロン及び人物30の身体の運動ニューロンと、人物30の人物識別情報を含む登録データを記憶してもよい。
【0068】
認証用動画取得部130は、歩いている人物30を撮像した認証用動画を取得してもよい。例えば、認証用動画取得部130は、カメラ200が、認証の際にカメラ200に向かって近づいてくる人物30を撮像した認証用動画を、カメラ200から受信する。
【0069】
認証部132は、認証用動画を解析することによって特定した人物30の身体の筋肉の動きと、人物30の顔の筋肉の動きとに基づいて、人物30を認証してもよい。例えば、認証部132は、認証用動画を解析することによって特定した人物30の顔の筋肉の動き及び人物30の身体の筋肉の動きに基づいて、当該人物30の顔の運動ニューロン及び身体の運動ニューロンを推定し、推定した顔の運動ニューロン及び身体の運動ニューロンと、登録データ記憶部に記憶されている複数の登録データの顔の運動ニューロン及び身体の運動ニューロンとを比較することによって、人物30を認証する。認証部132は、例えば、登録データ記憶部128に記憶されている複数の登録データから、推定した人物30の身体の運動ニューロンに対応する複数の登録データを特定し、推定した人物30の顔の運動ニューロンと、特定した複数の登録データの顔の運動ニューロンとを比較することによって、人物30を認証する。これにより、例えば、人物30がカメラ200に向かって近づいてくるときに撮像した認証用動画の解析結果によって、顔の筋肉の動きによる認証を行う対象となる登録データを絞り込むことができ、認証装置100の処理負荷の低減や、認証精度の向上に貢献し得る。
【0070】
認証装置100は、人物30の顔の筋肉の動きは用いず、人物30の身体の筋肉の動きによって、人物30を認証してもよい。この場合、認証用動画取得部130は、認証用に、歩いている人物30を撮像した認証用動画を取得し、認証部132は、認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて、人物30を認証する。
【0071】
認証部132は、認証用動画取得部130が取得した認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて、人物30の身体の運動ニューロンを推定し、推定した運動ニューロンと、登録データ記憶部128に記憶されている複数の登録データの運動ニューロンとを比較することによって、人物30を認証してよい。
【0072】
認証部132は、訓練データ記憶部102に記憶されている複数の訓練データに基づいて、人物30の身体の運動ニューロンを推定してよい。例えば、認証部132は、複数の訓練データのうち、身体データが、認証用動画を解析することによって特定した人物30の身体の筋肉の動きに対応する訓練データのパラメータを特定することによって、人物30の身体の運動ニューロンを推定してよい。
【0073】
登録データ記憶部128は、人物30の身体のパーツの特徴毎にグループ分けして、複数の登録データを記憶してもよい。認証部132は、認証用動画を解析して特定した人物30の身体のパーツの特徴に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて推定した当該人物30の身体の運動ニューロンとを比較することによって、人物30を認証してもよい。
【0074】
認証部132は、認証用動画を解析して特定した人物30の性別に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて推定した当該人物30の身体の運動ニューロンとを比較することによって、人物30を認証してもよい。認証部132は、認証用動画を解析して特定した人物30の年齢に対応するグループを特定し、登録データ記憶部128に記憶されている、特定したグループに属する複数の登録データの運動ニューロンと、認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて推定した当該人物30の身体の運動ニューロンとを比較することによって、人物30を認証してもよい。
【0075】
図6は、認証装置100による処理の流れの一例を概略的に示す。ここでは、人物30の顔の筋肉の動きに基づいて、人物30の認証を行い、人物30を受け入れるか否かを判定する場合の処理の流れの一例を示す。
【0076】
ステップ(ステップをSと省略して記載する場合がある。)102では、認証用動画取得部130が、認証用に人物30を撮像した認証用動画を取得する。S104では、認証部132が、認証用動画を解析して、人物30の特徴を抽出し、人物30の特徴に適合するグループを特定する。S106では、認証部132が、登録データ記憶部128に記憶されている複数の登録データのうち、S104において特定したグループに属する複数の登録データを絞り込む。
【0077】
S108では、認証部132が、S102において認証用動画取得部130が取得した認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて、当該人物30の顔の運動ニューロンを推定する。S110では、認証部132が、S108において推定した運動ニューロンと、S106において絞り込んだ複数の登録データの運動ニューロンとを比較することによって、人物30を認証する。
【0078】
認証に成功した場合(S112でYES)、S114に進み、認証に成功しなかった場合、S116に進む。S114では、認証部132が、人物30の受け入れを可とする認証結果を出力する。S116では、認証部132が、人物30の受け入れを拒否する認証結果を出力する。そして、処理を終了する。なお、ここでは、S104及びS106において、登録データを絞り込む場合について説明したが、登録データの絞り込みは行わなくてもよい。
【0079】
図7は、認証装置100による処理の流れの一例を概略的に示す。ここでは、人物30の顔の筋肉の動き及び身体の筋肉の動きに基づいて、人物30の認証を行い、人物30を受け入れるか否かを判定する場合の処理の流れの一例を示す。
【0080】
S202では、認証用動画取得部130が、認証用に人物30を撮像した認証用動画を取得する。S204では、認証部132が、認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて、人物30の身体の運動ニューロンを推定する。S206では、認証部132が、登録データ記憶部128に記憶されている複数の登録データから、S204において推定した人物30の身体の運動ニューロンに対応する複数の登録データを特定することによって、登録データを絞り込む。
【0081】
S208では、認証部132が、S202において認証用動画取得部130が取得した認証用動画を解析することによって特定した人物30の顔の筋肉の動きに基づいて、当該人物30の顔の運動ニューロンを推定する。S210では、認証部132が、S208において推定した運動ニューロンと、S206において絞り込んだ複数の登録データの運動ニューロンとを比較することによって、人物30を認証する。
【0082】
認証に成功した場合(S212でYES)、S214に進み、認証に成功しなかった場合、S216に進む。S214では、認証部132が、人物30の受け入れを可とする認証結果を出力する。S216では、認証部132が、人物30の受け入れを拒否する認証結果を出力する。そして、処理を終了する。
【0083】
図8は、認証装置100による処理の流れの一例を概略的に示す。ここでは、人物30の身体の筋肉の動きに基づいて、人物30の認証を行い、人物30を受け入れるか否かを判定する場合の処理の流れの一例を示す。
【0084】
S302では、認証用動画取得部130が、認証用に人物30を撮像した認証用動画を取得する。S304では、認証部132が、認証用動画を解析して、人物30の特徴を抽出し、人物30の特徴に適合するグループを特定する。S306では、認証部132が、登録データ記憶部128に記憶されている複数の登録データのうち、S304において特定したグループに属する複数の登録データを絞り込む。
【0085】
S308では、認証部132が、S102において認証用動画取得部130が取得した認証用動画を解析することによって特定した人物30の身体の筋肉の動きに基づいて、当該人物30の身体の運動ニューロンを推定する。S310では、認証部132が、S308において推定した運動ニューロンと、S306において絞り込んだ複数の登録データの運動ニューロンとを比較することによって、人物30を認証する。
【0086】
認証に成功した場合(S312でYES)、S314に進み、認証に成功しなかった場合、S316に進む。S314では、認証部132が、人物30の受け入れを可とする認証結果を出力する。S316では、認証部132が、人物30の受け入れを拒否する認証結果を出力する。そして、処理を終了する。なお、ここでは、S304及びS306において、登録データを絞り込む場合について説明したが、登録データの絞り込みは行わなくてもよい。
【0087】
図9は、システム10の一例を概略的に示す。図9に示すシステム10においては、移動体通信ネットワークにおける分散認証処理が実現される。認証装置100は、MEC(Multi access Edge Computing)に分散して展開されてよい。MECに配置された認証装置100は、MECに対応するエリア内のカメラ200によって撮像された動画に対する認証を実行してよい。
【0088】
システム10は、複数のMECのそれぞれに配置された認証装置100と、ネットワーク20に接続された認証装置100とを備えてよい。図9に示す例において、MECに配置された認証装置100を分散認証装置と呼び、ネットワーク20に接続された認証装置100を管理認証装置と呼ぶ場合がある。
【0089】
管理認証装置は、登録データ等の認証に用いるデータを管理し、適宜、分散認証装置に対してデータを提供する。分散認証装置は、管理認証装置から取得したデータを用いて、認証を実行する。
【0090】
管理認証装置は、電波を検知したGC26の情報を利用してよい。システム10において、移動体通信ネットワークにおいて、電波をキャッチしたDCの一番近い場所(GC26)に、データをキャッシュする。すなわち、利用時(認証時)に、一番近い場所(GC26)にデータを一時キャッシュする。
【0091】
管理認証装置は、移動体通信ネットワークにおいて電波がキャッチされた場合に、当該電波を発したユーザ端末の所有者に対応するデータを登録データ記憶部128から抽出して、電波をキャッチしたDCに最も近いGC26に対して送信してよい。キャッシュしたデータは、利用されない場合、予め定められた時間が経過した後に、クリアされてよい。
【0092】
システム10によれば、移動体通信ネットワークにおいて管理されている位置情報を利用するので、GPS等を用いることなく、データを送信すべきエリアを特定することができる。
【0093】
管理認証装置は、検索可能暗号を適用したデータを、GC26に対して送信してよい。検索可能暗号は、暗号化したままでデータを検索可能な暗号である。分散認証装置において、データを検索する度にデータを復号化する場合、漏洩時のリスクが高いといえる。分散認証装置に、一時的であっても、復号化されたデータが存在すると、漏洩したときに、何を検索しているかが分かってしまう。特に、人物30を撮像した画像を用いるような場合、人物30の画像が漏洩する可能性も否定できない。このような不安から、登録が円滑に行われないと、認証システムの運用に支障をきたすおそれがある。それに対して、管理認証装置が、検索可能暗号を適用したデータをGC26に送信することによって、復号化しなくても認証処理は実行可能にしつつ、仮に漏洩した場合であっても、何を検索しているかわからない状態にでき、漏洩時のリスクを低減することができる。
【0094】
管理認証装置は、認証機能を有さなくてもよい。すなわち、管理認証装置は、認証用動画取得部130及び認証部132を有さなくてもよい。
【0095】
分散認証装置は、登録機能を有さなくてもよい。すなわち、分散認証装置は、訓練データ記憶部102、表情データ取得部104、身体データ取得部106、登録用動画取得部110、及び登録処理部120を有さなくてもよい。
【0096】
図10は、認証装置100として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0097】
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
【0098】
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
【0099】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
【0100】
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
【0101】
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0102】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0103】
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0104】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0105】
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0106】
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【0107】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0108】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【0109】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0110】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0111】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0112】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0113】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0114】
10 システム、20 ネットワーク、26 GC、30 人物、100 認証装置、102 訓練データ記憶部、104 表情データ取得部、106 身体データ取得部、110 登録用動画取得部、120 登録処理部、122 特徴データ生成部、124 登録用推定部、126 動きデータ生成部、128 登録データ記憶部、130 認証用動画取得部、132 認証部、140 指示情報出力部、200 カメラ、310 特徴量、320 特徴量、330 認証ネットワーク、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10