特許 7633222 認証装置、プログラム、及び認証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-10

(45)【発行日】2025-02-19

(54)【発明の名称】認証装置、プログラム、及び認証方法

(51)【国際特許分類】

   G06V 40/16 20220101AFI20250212BHJP

   G06T 7/00 20170101ALI20250212BHJP

   G06V 10/82 20220101ALI20250212BHJP

【ＦＩ】

G06V40/16 A

G06T7/00 510F

G06V10/82

【請求項の数】 10

(21)【出願番号】P 2022176208

(22)【出願日】2022-11-02

(65)【公開番号】P2024066658

(43)【公開日】2024-05-16

【審査請求日】2023-11-01

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】須田 和人

(72)【発明者】

【氏名】石若 裕子

(72)【発明者】

【氏名】小川 駿

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０２０－２０１８８０（ＪＰ，Ａ）

【文献】特開２０２０－１５４４０８（ＪＰ，Ａ）

【文献】特開２００５－３１６８８８（ＪＰ，Ａ）

【文献】特開２０２０－１８４３３１（ＪＰ，Ａ）

【文献】Taco COHEN et al.，Spherical CNNs，International Conference on Learning Representations，2018年，DOI: 10.48550/arXiv.1801.10130

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部と、
前記データ取得部が連続的に取得する前記球面データに含まれる人の位置を追跡する追跡部と、
前記追跡部による追跡結果に基づいて、認証処理を実行する対象の人を特定する特定部と、
前記特定部によって特定された人について、球面畳み込みニューラルネットワークによる顔認証を実行するか、畳み込みニューラルネットワークによる顔認証を実行するかを判定する判定部と、
前記判定部によって前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記特定部によって特定された人について、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行する認証実行部と
を備える認証装置。

【請求項2】

前記認証実行部は、前記判定部によって前記畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データから、前記特定部によって特定された人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して前記畳み込みニューラルネットワークによる顔認証を実行する、請求項１に記載の認証装置。

【請求項3】

前記畳み込みニューラルネットワークは、球面に特化していない畳み込みニューラルネットワークである、請求項２に記載の認証装置。

【請求項4】

前記畳み込みニューラルネットワークは、前記球面畳み込みニューラルネットワークではない畳み込みニューラルネットワークである、請求項３に記載の認証装置。

【請求項5】

前記判定部は、前記顔認証に要求されるセキュリティレベルが第１のレベルである場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記顔認証に要求されるセキュリティレベルが前記第１のレベルよりも高い第２のレベルである場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定する、請求項２に記載の認証装置。

【請求項6】

前記判定部は、前記認証処理を実行する対象の人の移動速度が予め定められた閾値より速い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より遅い場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定する、請求項２に記載の認証装置。

【請求項7】

前記判定部は、前記魚眼カメラの撮像範囲内の人の数に関する値が予め定められた閾値より多い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より少ない場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定する、請求項２に記載の認証装置。

【請求項8】

前記データ取得部は、第１の魚眼カメラによって撮像された映像を含む第１球面データと、前記第１の魚眼カメラよりも高い位置に配置された第２の魚眼カメラによって撮像された映像を含む第２球面データとを取得し、
前記認証実行部は、前記第１球面データ及び前記第２球面データの少なくともいずれかに対して、前記球面畳み込みニューラルネットワークによる顔認証を実行する、請求項１に記載の認証装置。

【請求項9】

コンピュータを、請求項１から８のいずれか一項に記載の認証装置として機能させるためのプログラム。

【請求項10】

コンピュータによって実行される認証方法であって、
魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階と、
前記球面データ取得段階において連続的に取得する前記球面データに含まれる人の位置を追跡する追跡段階と、
前記追跡段階における追跡結果に基づいて、認証処理を実行する対象の人を特定する特定段階と、
前記特定段階において特定した人について、球面畳み込みニューラルネットワークによる顔認証を実行するか、畳み込みニューラルネットワークによる顔認証を実行するかを判定する判定段階と、
前記判定段階において前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定した場合に、前記特定段階において特定した人について、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行する認証実行段階と
を備える認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、認証装置、プログラム、及び認証方法に関する。

【背景技術】

【0002】

特許文献１には、ユーザの顔画像を取得し、顔画像に含まれる特徴点に関する情報を用いてユーザを認証する技術が記載されている。非特許文献１には、球面上の画像データに特化した球面畳み込みニューラルネットワーク（ＳＣＮＮ：Ｓｐｈｅｒｉｃａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）について記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２１－１７０２０５号公報
［非特許文献］
［非特許文献１］Taco S. Cohen, Mario Geiger, Jonas Koehler, Max Welling, Spherical CNNs, ICLR 2018

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の一実施態様によれば、認証装置が提供される。前記認証装置は、魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部を備えてよい。前記認証装置は、前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行部を備えてよい。

【0004】

前記認証装置は、前記データ取得部が連続的に取得する前記球面データに含まれる人の位置を追跡する追跡部を備えてよい。前記認証装置は、前記追跡部による追跡結果に基づいて、認証処理を実行する対象の人を特定する特定部を備えてよい。前記認証実行部は、前記特定部によって特定された人について、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行してよい。前記認証装置は、前記特定部によって特定された人について、前記球面畳み込みニューラルネットワークによる顔認証を実行するか、畳み込みニューラルネットワークによる顔認証を実行するかを判定する判定部を備えてよい。前記認証実行部は、前記判定部によって前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データに対して前記球面畳み込みニューラルネットワークによる顔認証を実行してよい。前記認証実行部は、前記判定部によって前記畳み込みニューラルネットワークによる顔認証を実行すると判定された場合に、前記球面データから、前記特定部によって特定された人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して前記畳み込みニューラルネットワークによる顔認証を実行してよい。前記畳み込みニューラルネットワークは、球面に特化していない畳み込みニューラルネットワークであってよい。前記畳み込みニューラルネットワークは、前記球面畳み込みニューラルネットワークではない畳み込みニューラルネットワークであってよい。

【0005】

前記いずれかの認証装置において、前記判定部は、前記顔認証に要求されるセキュリティレベルが第１のレベルである場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記顔認証に要求されるセキュリティレベルが前記第１のレベルよりも高い第２のレベルである場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定してよい。

【0006】

前記いずれかの認証装置において、前記判定部は、前記認証処理を実行する対象の人の移動速度が予め定められた閾値より速い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より遅い場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定してよい。

【0007】

前記いずれかの認証装置において、前記判定部は、前記魚眼カメラの撮像範囲内の人の数に関する値が予め定められた閾値より多い場合、前記球面畳み込みニューラルネットワークによる顔認証を実行すると判定し、前記閾値より少ない場合、前記畳み込みニューラルネットワークによる顔認証を実行すると判定してよい。

【0008】

前記いずれかの認証装置において、前記データ取得部は、第１の魚眼カメラによって撮像された映像を含む第１球面データと、前記第１の魚眼カメラよりも高い位置に配置された第２の魚眼カメラによって撮像された映像を含む第２球面データとを取得してよく、前記認証実行部は、前記第１球面データ及び前記第２球面データの少なくともいずれかに対して、前記球面畳み込みニューラルネットワークによる顔認証を実行してよい。

【0009】

本発明の一実施態様によれば、認証装置が提供される。前記認証装置は、魚眼カメラによって撮像された人の映像を含む球面データを取得するデータ取得部を備えてよい。前記認証装置は、前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行部を備えてよい。

【0010】

本発明の一実施態様によれば、コンピュータを、前記認証装置として機能させるためのプログラムが提供される。

【0011】

本発明の一実施態様によれば、コンピュータによって実行される認証方法が提供される。前記認証方法は、魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階を備えてよい。前記認証方法は、前記球面データに対して球面畳み込みニューラルネットワークによる顔認証を実行する認証実行段階を備えてよい。

【0012】

本発明の一実施態様によれば、コンピュータによって実行される認証方法が提供される。前記認証方法は、魚眼カメラによって撮像された人の映像を含む球面データを取得する球面データ取得段階を備えてよい。前記認証方法は、前記球面データから、前記人の顔の部分の部分画像を抽出し、前記部分画像における前記人の顔の向きを調整し、前記部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施した後、前記部分画像に対して畳み込みニューラルネットワークによる顔認証を実行する認証実行段階を備えてよい。

【0013】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0014】

【図1】認証システム１０の一例を概略的に示す。

【図2】認証装置１００による処理の流れの一例を概略的に示す。

【図3】認証装置１００によるＣＮＮの前処理について説明するための説明図である。

【図4】認証装置１００の機能構成の一例を概略的に示す。

【図5】認証装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0015】

従来の顔認証システムでは、カメラの前で人が屈んだり背伸びをしたりするなどしてカメラの前に顔を近づける必要があった。また、そのために身長が高い人と低い人用に複数種類の装置をセットする必要があった。本実施形態に係る認証システム１０では、その問題を軽減するべく、魚眼レンズを搭載したカメラを用い広角映像を取得して行う顔認証の方法を採用する。認証システム１０では、例えば、天井と台の上に魚眼カメラと（もし必要ならば距離測定用のセンサー等）を設置する。魚眼カメラによる歪んだ映像を得る。射影則を元に球面データへ変換する（魚眼カメラから直接球面データを取れると良い）。球面上のデータから、人の顔の位置を特定し（Ｂｏｕｎｄｉｎｇ Ｂｏｘをつけるなど）追跡を行う。追跡した人がある境界線を超えたら、あるいは、距離を推定し最も近い者から、ＳＣＮＮでそのまま処理できれば、ＳＣＮＮを用いて顔認証を行う。ＳＣＮＮを用いるのに問題等があれば、Ｂｏｕｎｄｉｎｇ Ｂｏｘの範囲内を局所的にＤｅｆｉｓｈ Ｅｙｅ（中心射影則で平面に写すこと）をし、通常のＣＮＮを用いた顔認証を行う。認証システム１０では、顔認証の結果ゲートを開ける、開けない、を制御したり、警備担当や捜査機関に通報したりしてよい。

【0016】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0017】

図１は、認証システム１０の一例を概略的に示す。認証システム１０は、人の顔認証を行うシステムであってよい。

【0018】

システム１０は、認証装置１００を備える。認証システム１０は、カメラ２１０を備えてよい。認証システム１０は、カメラ２２０を備えてよい。認証システム１０は、測距センサ２３０を備えてよい。認証システム１０は、カメラ２１０、カメラ２２０、及び測距センサ２３０のうち、カメラ２１０及びカメラ２２０のみを備えてもよく、カメラ２１０及び測距センサ２３０のみを備えてもよく、カメラ２２０及び測距センサ２３０のみを備えてもよい。また、別実施形態として、認証システム１０は、カメラ２１０、カメラ２２０、及び測距センサ２３０のうち、カメラ２１０のみを備えてもよく、カメラ２２０のみを備えてもよい。

【0019】

カメラ２１０及びカメラ２２０は、魚眼レンズを有する魚眼カメラであってよい。カメラ２２０は、カメラ２１０よりも高い位置に配置されてよい。例えば、カメラ２１０が下側に配置され、カメラ２２０が上側に配置される。具体例として、図１に例示するように、カメラ２１０が、下側に設置された台の上に配置され、カメラ２２０が、天井側に配置される。カメラ２１０及びカメラ２２０は、カメラ２１０及びカメラ２２０の付近を通過する人の顔に死角が生じないように配置されてよい。カメラ２１０は、第１の魚眼カメラの一例であってよく、カメラ２２０は、第２の魚眼カメラの一例であってよい。

【0020】

測距センサ２３０は、人との距離を測定する。測距センサ２３０は、カメラ２１０又はカメラ２２０の付近に設置されてよい。また、測距センサ２３０は、ゲート４０又はゲート４０の付近に設置されてもよい。

【0021】

認証装置１００は、カメラ２１０によって撮像された人の映像を含む球面データを取得する。認証装置１００は、例えば、カメラ２１０によって生成された球面データを、カメラ２１０から受信する。認証装置１００は、例えば、カメラ２１０によって撮像された人の映像のデータをカメラ２１０から受信して、受信したデータから球面データを生成する。

【0022】

認証装置１００とカメラ２１０とは、図１に例示するように、ネットワーク２０を介して通信してよい。なお、認証装置１００は、ネットワーク２０を介さずにカメラ２１０と通信してもよい。例えば、認証装置１００は、カメラ２１０が設置されている場所の近辺に配置され、カメラ２１０と、有線又は無線で通信する。

【0023】

認証装置１００は、カメラ２２０によって撮像された人の映像を含む球面データを取得する。認証装置１００は、例えば、カメラ２２０によって生成された球面データを、カメラ２２０から受信する。認証装置１００は、例えば、カメラ２２０によって撮像された人の映像のデータをカメラ２２０から受信して、受信したデータから球面データを生成する。

【0024】

認証装置１００とカメラ２２０とは、図１に例示するように、ネットワーク２０を介して通信してよい。なお、認証装置１００は、ネットワーク２０を介さずにカメラ２２０と通信してもよい。例えば、認証装置１００は、カメラ２２０が設置されている場所の近辺に配置され、カメラ２２０と、有線又は無線で通信する。

【0025】

認証装置１００は、測距センサ２３０によって測定された人との距離を取得する。認証装置１００は、測距センサ２３０から、測距センサ２３０によって測定された人との距離を受信する。

【0026】

認証装置１００と測距センサ２３０とは、図１に例示するように、ネットワーク２０を介して通信してよい。なお、認証装置１００は、ネットワーク２０を介さずに測距センサ２３０と通信してもよい。例えば、認証装置１００は、測距センサ２３０が設置されている場所の近辺に配置され、カメラ測距センサ２３０と、有線又は無線で通信する。

【0027】

ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0028】

認証装置１００は、ネットワーク２０に有線接続されてよい。認証装置１００は、ネットワーク２０に無線接続されてよい。認証装置１００は、無線基地局を介してネットワーク２０に接続されてよい。認証装置１００は、Ｗｉ－Ｆｉ（登録商標）アクセスポイントを介してネットワーク２０に接続されてよい。

【0029】

カメラ２１０は、ネットワーク２０に有線接続されてよい。カメラ２１０は、ネットワーク２０に無線接続されてよい。カメラ２１０は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２１０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0030】

カメラ２２０は、ネットワーク２０に有線接続されてよい。カメラ２２０は、ネットワーク２０に無線接続されてよい。カメラ２２０は、無線基地局を介してネットワーク２０に接続されてよい。カメラ２２０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0031】

測距センサ２３０は、ネットワーク２０に有線接続されてよい。測距センサ２３０は、ネットワーク２０に無線接続されてよい。測距センサ２３０は、無線基地局を介してネットワーク２０に接続されてよい。測距センサ２３０は、Ｗｉ－Ｆｉアクセスポイントを介してネットワーク２０に接続されてよい。

【0032】

認証装置１００は、カメラ２１０及びカメラ２２０によって撮像された人の顔認証を行う。従来は、例えば、魚眼カメラによって撮像される球面画像ではなく、通常のカメラによって撮像された平面画像に対して、通常のＣＮＮを用いた顔認証が行われていた。球面画像に対する認証処理の需要はあり、球面画像を平面画像に変換してから通常のＣＮＮを適用するという方法が考えられるが、変換によって様々な歪が生じるので、認証精度等に問題がある。また、通常のＣＮＮにおける演算は、並進対称性を有するので縦や横への並行移動には強いが、回転対称性を有していないので、球面画像のように被写体の向きが回転してしまう画像の場合、同じ物なのに別の物であると誤判定してしまう場合がある。

【0033】

それに対して、ＳＣＮＮは、球面データに特化しており、回転に対してロバストであるという特徴がある。非特許文献１において、通常のＣＮＮとＳＣＮＮの性能比較のために回転させたＭＮＩＳＴを用いたテストが行われている。訓練データ、テストデータを回転させた場合のＣＮＮを用いた手法での正答率は１１％であり、ほぼ当てずっぽうに答えているのと全く変わらないが、ＳＣＮＮの方の正答率は９５％である。これは、ＣＮＮは並進対称性を持ち上下左右の平行移動には強いが、回転対称性が無く、回転変換には弱いのに対し、ＳＣＮＮは回転対称性を持っているということに依る。

【0034】

本実施形態に係る認証装置１００は、ＳＣＮＮによる顔認証を実行する。これにより、球面データに対しても、十分な認証精度を実現することができる。

【0035】

認証装置１００は、ＳＣＮＮによる顔認証と、ＣＮＮによる顔認証とを使い分けてもよい。

【0036】

図２は、認証装置１００による処理の流れの一例を概略的に示す。ここでは、認証装置１００が、カメラ２１０及びカメラ２２０による撮像画像によって、ゲート４０に近づく人を検出し、ゲート４０に近づく人の顔認証を行って、認証可の場合にゲート４０を開く処理を実行する場合の処理の流れを説明する。

【0037】

ステップ（ステップをＳと省略して記載する場合がある。）１０２では、認証装置１００が、カメラ２１０及びカメラ２２０によって撮像された人の映像を含む球面データを取得する。Ｓ１０４では、認証装置１００が、球面データから、人の顔の位置を特定し、追跡を行う。

【0038】

Ｓ１０６では、認証装置１００が、人の追跡状況から、人の顔認証を実行するか否かを判定する。例えば、認証装置１００は、追跡している人が、ゲート４０の前に仮想的に設定された境界線を越えた場合に、当該人の顔認証を実行すると判定する。例えば、認証装置１００は、球面データに含まれる複数の人のうち、ゲート４０又はカメラ２１０及びカメラ２２０に対して最も近い人について、顔認証を実行すると判定する。

【0039】

顔認証を実行しないと判定した場合（Ｓ１０６でＮＯ）、Ｓ１０２に戻り、顔認証を実行すると判定した場合（Ｓ１０６でＹＥＳ）、Ｓ１０８に進む。Ｓ１０８では、認証装置１００が、ＳＣＮＮによる顔認証と、ＣＮＮによる顔認証のいずれを実行するかを判定する。ＳＣＮＮによる顔認証を実行すると判定した場合、Ｓ１１０に進み、ＣＮＮによる顔認証を実行すると判定した場合、Ｓ１１２に進む。

【0040】

Ｓ１１０では、認証装置１００が、Ｓ１０２において取得した球面データに対して、ＳＣＮＮによる顔認証を実行する。

【0041】

Ｓ１１２では、認証装置１００が、Ｓ１０２において取得した球面データから、認証対象の人の顔の部分の部分画像を抽出する。Ｓ１１４では、認証装置１００が、Ｓ１１２において抽出した部分画像における人の顔の向きを調整する。認証装置１００は、例えば、人の目、鼻、及び口を検出して、顎が下側、頭頂部が上側になるように、人の顔の向きを調整する。

【0042】

Ｓ１１６では、認証装置１００が、球面データに対して、局所的にＤｅｆｉｓｈ ｅｙｅを実行する。Ｄｅｆｉｓｈ ｅｙｅとは、魚眼カメラによる歪を補正する歪補正処理であってよい。認証装置１００は、Ｓ１１４において人の顔の向きを調整した部分画像に対してＤｅｆｉｓｈ ｅｙｅを実行してよい。

【0043】

Ｓ１１８では、認証装置１００が、Ｓ１１６においてＤｅｆｉｓｈ ｅｙｅを実行した部分画像に対してＣＮＮによる顔認証を実行する。

【0044】

Ｓ１２０では、認証装置１００が、認証結果に応じた処理を実行する。認証装置１００は、認証対象の人について、認証ＯＫの場合、ゲート４０を開くようにゲート４０を制御し、認証ＮＧの場合、ゲート４０を開かない。

【0045】

Ｓ１２２では、認証装置１００が、認証処理を終了するか否かを判定する。認証装置１００は、例えば、認証システム１０の管理者等による終了指示を受領した場合に、認証処理を終了すると判定する。認証処理を終了しない場合、Ｓ１０２に戻る。

【0046】

図３は、認証装置１００によるＣＮＮの前処理について説明するための説明図である。球面データ３００には、図３に例示するように、顎が下側に位置し、頭頂部が上側に位置するという通常の顔の向きに対して回転した状態、かつ、歪んだ状態で、顔の画像が含まれる。認証装置１００は、球面データ３００から、人の顔の部分の部分画像３１０を切り取り、向きを調整し、顔が写っている範囲を中心に、射影則に従って平面画像へ変換し、通常の顔認証用のＣＮＮにデータを入力して、認証を行う。これは、例えば、世界地図を距離や角度を保ったまま平面の図で適切に表すことは難しいが、日本地図であれば、それよりも良い精度で平面上の地図でも表すことがきるということの応用である。

【0047】

具体例として、認証装置１００は、図３に例示するように、部分画像３１０の人の鼻付近における球面の接平面に顔画像を投射する（通常のカメラの中心射影方式）。認証装置１００は、Ｂｏｕｎｄｉｎｇ ｂｏｘのようなものを用い、トラッキングとその範囲内のデータをＢｏｕｎｄｉｎｇ ｂｏｘを中心とする座標系を用いて、部分画像３１０の歪を補正する。

【0048】

従来の顔認証システムでは、認証対象となる人が、カメラの前に並んで、順番にカメラに向かい、顔の向きを調整して撮像されることによって、顔認証を実行されていた。それに対して、認証装置１００によれば、魚眼カメラを用いることによって、認証対象となる人の位置の自由度を高めることによって、カメラの前に並んで順番にカメラに向かう必要を無くすことができ、ＳＣＮＮを実行するか、前処理を行った上でＣＮＮを実行することによって、魚眼カメラによる球面データに対しても、十分な精度の顔認証を実現することができる。

【0049】

図４は、認証装置１００の機能構成の一例を概略的に示す。認証装置１００は、記憶部１０２、データ取得部１０４、追跡部１０６、特定部１０８、判定部１１０、認証実行部１１２、及び認証結果処理部１１４を備える。記憶部１０２は、各種データを記憶する。

【0050】

データ取得部１０４は、各種データを取得する。データ取得部１０４は、取得したデータを記憶部１０２に記憶させる。

【0051】

データ取得部１０４は、魚眼カメラによって撮像された人の映像を含む球面データを取得する。データ取得部１０４は、例えば、カメラ２１０によって生成された球面データをカメラ２１０から受信する。データ取得部１０４は、例えば、カメラ２１０によって撮像された人の映像のデータをカメラ２１０から受信して、射影則を元に、受信したデータから球面データを生成する。データ取得部１０４は、例えば、カメラ２２０によって生成された球面データをカメラ２２０から受信する。データ取得部１０４は、例えば、カメラ２２０によって撮像された人の映像のデータをカメラ２２０から受信して、射影則を元に、受信したデータから球面データを生成する。

【0052】

データ取得部１０４は、魚眼カメラや測距センサ２３０等を基準とする、魚眼カメラの撮像範囲内にいる人との距離を取得する。データ取得部１０４は、例えば、カメラ２１０及びカメラ２２０による撮像画像によって、カメラ２１０及びカメラ２２０を基準とする、人との距離を算出する。データ取得部１０４は、カメラ２１０及びカメラ２２０をステレオカメラとして用いることによって、人との距離を算出してよい。データ取得部１０４は、例えば、測距センサ２３０によって測定された、測距センサ２３０と人との距離を、測距センサ２３０から取得する。

【0053】

追跡部１０６は、データ取得部１０４が連続的に取得する球面データに含まれる人の顔の位置を追跡する。追跡部１０６は、球面データに含まれる人の顔にＢｏｕｎｄｉｎｇ ｂｏｘをつけて追跡してよい。追跡部１０６は、球面データに対してＳＣＮＮを用いることによって、球面データに含まれる人の顔の位置を特定してよい。追跡部１０６は、例えばカプセルネットワーク等の、回転対照性を有する各種手法を用いることによって、球面データに含まれる人の顔の位置を特定してもよい。

【0054】

追跡部１０６は、球面データに含まれる人の移動速度を判定して、記憶部１０２に記憶させてもよい。追跡部１０６は、データ取得部１０４が連続的に取得する球面データを解析することによって、球面データに含まれる人の移動速度を判定してよい。

【0055】

追跡部１０６は、球面データに含まれる人の数に関する値を算出して記憶部１０２に記憶させてもよい。追跡部１０６は、例えば、球面データに含まれる人の数を示す人数データを記憶部１０２に記憶させる。追跡部１０６は、例えば、球面データに含まれる人の、人口密度を示す人口密度情報を記憶部１０２に記憶させる。

【0056】

特定部１０８は、追跡部１０６による追跡結果に基づいて、認証処理を実行する対象の人を特定する。

【0057】

特定部１０８は、例えば、カメラ２１０及びカメラ２２０の周辺に仮想的な境界線を設定する。具体例として、特定部１０８は、ゲートを通過する人を認証する場合、ゲートの手前に仮想的な境界線を設定する。そして、特定部１０８は、追跡部１０６による追跡結果に基づいて、人が当該境界線を通過した場合に、当該人を、認証処理を実行する対象として特定する。

【0058】

また、特定部１０８は、例えば、データ取得部１０４が取得する、魚眼カメラや測距センサ２３０等を基準とする魚眼カメラの撮像範囲内にいる人との距離に基づいて、認証処理を実行する対象の人を特定する。例えば、特定部１０８は、魚眼カメラの撮像範囲に含まれる人のうち、距離が最も近い人を、認証処理を実行する対象として特定する。特定部１０８は、複数の人のうち、距離が、予め設定された距離閾値より短くなった人を、認証処理を実行する対象として特定してもよい。

【0059】

判定部１１０は、特定部１０８によって特定された人について、ＳＣＮＮによる顔認証を実行するか、ＣＮＮによる顔認証を実行するかを判定する。すなわち、判定部１１０は、特定部１０８によって特定された人について、球面に特化したＣＮＮを用いた顔認証を実行するか、球面に特化していないＣＮＮを用いた顔認証を実行するかを判定してよい。球面に特化したとは、歪、回転に対応していることであってよく、球面に特化していないとは、歪、回転に対応していないことであってよい。ここでいうＣＮＮによる顔認証とは、球面に特化していないＣＮＮを用いた顔認証であってよく、例えば、ＳＣＮＮ以外のＣＮＮを用いた顔認証であってよい。

【0060】

認証実行部１１２は、データ取得部１０４が取得した球面データに対してＳＣＮＮによる顔認証を実行する。ＳＣＮＮは球面に特化しているので、データ取得部１０４が取得した球面データに含まれる人に対して、高い精度で顔認証を実行することができる。

【0061】

認証実行部１１２は、特定部１０８によって特定された人について、ＳＣＮＮによる顔認証を実行してもよい。追跡部１０６が追跡している人のうち、特定部１０８が特定した人について、当該人を含む球面データに対してＳＣＮＮを実行することにより、魚眼カメラによって撮影される、広い範囲に含まれる複数の人のうち、例えば、ゲートに近づいた人を、高い精度で認証することができる。

【0062】

認証実行部１１２は、判定部１１０によってＳＣＮＮによる顔認証を実行すると判定された場合に、球面データに対してＳＣＮＮによる顔認証を実行してよい。認証実行部１１２は、判定部１１０によって、ＣＮＮによる顔認証を実行すると判定された場合に、球面データに対して前処理を施してよい。例えば、認証実行部１１２は、球面データから、特定部１０８によって特定された人の顔の部分の部分画像を抽出し、当該部分画像における人の顔の向きを調整し、部分画像に対して魚眼カメラによる歪を補正する歪補正処理を施す。認証実行部１１２は、前処理を施した後の部分画像に対して、ＣＮＮによる顔認証を実行してよい。

【0063】

判定部１１０は、例えば、認証システム１０の顔認証に要求されるセキュリティレベルが第１のレベルである場合、ＳＣＮＮによる顔認証を実行すると判定し、認証システム１０の顔認証に要求されるセキュリティレベルが第１のレベルよりも高い第２のレベルである場合、ＣＮＮによる顔認証を実行すると判定する。ＳＣＮＮによる顔認証と、認証実行部１１２による前処理が加わったＣＮＮとでは、前者の方が後者よりも処理負荷が低い一方、後者の方が前者よりも高い認証精度を実現することができる。要求されるセキュリティレベルがより高い場合には、処理負荷が高くても高い認証精度が必要となることから、判定部１１０によれば、このような実情に見合った判定をすることができる。

【0064】

判定部１１０は、例えば、追跡部１０６によって判定された、認証処理を実行する対象の人の移動速度に基づいて、ＳＣＮＮによる顔認証を実行するか、ＣＮＮによる顔認証を実行するかを、判定してもよい。判定部１１０は、例えば、認証処理を実行する対象の人の移動速度が予め定められた閾値より速い場合、ＳＣＮＮによる顔認証を実行すると判定し、当該閾値より遅い場合、ＣＮＮによる顔認証を実行すると判定する。これにより、対象の人の移動速度が速い場合には、ＣＮＮによる顔認証よりも処理負荷が低く、より高速に結果を出力できるＳＣＮＮによる顔認証を実行することによって、対象の人の移動速度が速くて認証が間に合わずエラーになってしまうという事態が発生する可能性を低減することができ、対象の人の移動速度が遅い場合には、高い認証精度を実現することができる。

【0065】

判定部１１０は、例えば、魚眼カメラの撮像範囲内の人の数に関する値に基づいて、ＳＣＮＮによる顔認証を実行するか、ＣＮＮによる顔認証を実行するかを判定する。判定部１１０は、例えば、魚眼カメラの撮像範囲内の人の数に関する値が予め定められた閾値より多い場合、ＳＣＮＮによる顔認証を実行すると判定し、当該閾値より少ない場合、ＣＮＮによる顔認証を実行すると判定する。これにより、対象の人の数が多い場合には、ＣＮＮによる顔認証よりも処理負荷が低いＳＣＮＮによる顔認証を実行することによって、いずれかの人について認証が間に合わずにエラーになってしまうという事態が発生する可能性を低減することができ、対象の人が少ない場合には、高い認証精度を実現することができる。

【0066】

認証システム１０がカメラ２１０及びカメラ２２０を備える場合、データ取得部１０４は、カメラ２１０によって撮像された映像を含む第１球面データと、カメラ２２０によって撮像された映像を含む第２球面データとを取得する。認証実行部１１２は、ＳＣＮＮによる顔認証を実行する場合に、第１球面データ及び第２球面データの少なくともいずれかに対して、顔認証を実行する。

【0067】

例えば、認証実行部１１２は、第１球面データ及び第２球面データの両方を用いて、顔認証を実行する。具体例として、認証実行部１１２は、第１球面データに対してＳＣＮＮによる顔認証を実行するとともに、第２球面データに対してＳＣＮＮによる顔認証を実行し、結果を併合することによって、最終的な認証結果を判定する。また、具体例として、認証実行部１１２は、第１球面データに対してＳＣＮＮによる顔認証を実行するとともに、第２球面データに対してＳＣＮＮによる顔認証を実行し、結果の精度がより高い方の結果を、最終的な認証結果として採用する。

【0068】

例えば、認証実行部１１２は、第１球面データ及び第２球面データのうちの一方を選択して、選択した方を用いて顔認証を実行する。認証実行部１１２は、例えば、第１球面データ及び第２球面データのうち、認証対象となる人の顔の映り具合によって、第１球面データ又は第２球面データを選択する。具体例として、認証実行部１１２は、第１球面データ及び第２球面データのうち、認証対象となる人の顔のうち、より多くの範囲が含まれる方を、選択する。また、例えば、第１球面データ及び第２球面データのうち、認証対象となる人の目、鼻、口のパーツがより多く含まれる方を選択する。

【0069】

図５は、認証装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0070】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0071】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0072】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0073】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0074】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0075】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0076】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0077】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0078】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0079】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0080】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0081】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0082】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0083】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0084】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0085】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0086】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0087】

１０ システム、２０ ネットワーク、４０ ゲート、１００ 認証装置、１０２ 記憶部、１０４ データ取得部、１０６ 追跡部、１０８ 特定部、１１０ 判定部、１１２ 認証実行部、１１４ 認証結果処理部、２１０ カメラ、２２０ カメラ、２３０ 測距センサ、３００ 球面データ、３１０ 部分画像、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】