特開 2024-80285 処理装置、処理システム、処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080285

(43)【公開日】2024-06-13

(54)【発明の名称】処理装置、処理システム、処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240606BHJP

   G06V 40/16 20220101ALI20240606BHJP

   H04N 7/18 20060101ALI20240606BHJP

【ＦＩ】

G06T7/00 510A

G06V40/16 A

G06T7/00 660Z

H04N7/18 K

H04N7/18 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022193345

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】川上 和也

【テーマコード（参考）】

5B043

5C054

5L096

【Ｆターム（参考）】

5B043BA01

5B043BA07

5B043DA05

5B043EA06

5B043GA02

5C054CA04

5C054CA05

5C054CC02

5C054HA19

5L096AA09

5L096BA02

5L096CA02

5L096DA02

5L096DA03

5L096FA09

5L096FA69

5L096HA02

5L096JA00

5L096JA04

(57)【要約】

【課題】カメラ画像を登録することなく、画像を用いた本人認証を行う。
【解決手段】本発明は、カメラが生成した照合対象の人物の画像であるカメラ画像、又はカメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得部１１と、照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合部１２と、照合の結果に応じた処理を実行する出力部１３と、を有する処理装置１０を提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段と、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段と、
前記照合の結果に応じた処理を実行する出力手段と、
を有する処理装置。

【請求項2】

前記出力手段は、
前記照合情報と前記参考人物情報とがマッチングした場合、マッチングした前記参考人物情報が含む前記参考人物の３次元形状を示す画像を出力する請求項１に記載の処理装置。

【請求項3】

前記３次元形状を示す画像は、人物の顔の３次元形状を示す請求項２に記載の処理装置。

【請求項4】

前記３次元形状を示す画像は、人物の身体の３次元形状を示す請求項３に記載の処理装置。

【請求項5】

前記参考人物情報及び前記照合情報は、人物の歩容の特徴量、人物の体格の特徴量、人物の顔の特徴量、人物の虹彩の特徴量、人物の声紋の特徴量、及び人物の耳音響の特徴量の中の少なくとも１つをさらに含む請求項２に記載の処理装置。

【請求項6】

前記人物の歩容の特徴量は、一定距離における四肢の動かし方、関節及び頭の軌道、歩幅、及び速度の中の少なくとも１つに関する請求項５に記載の処理装置。

【請求項7】

前記参考人物情報は、カメラが生成した前記参考人物の画像を含まない請求項２から６のいずれか１項に記載の処理装置。

【請求項8】

カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段と、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段と、
前記照合情報とマッチングした前記参考人物情報を出力する出力手段と、
を有する処理装置と、
前記照合情報を前記処理装置に送信し、前記照合情報とマッチングした前記参考人物情報を前記処理装置から受信する送受信手段と、
受信した前記参考人物情報を出力する端末出力手段と、
を有する端末装置と、
を有する処理システム。

【請求項9】

１つ以上のコンピュータが、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得し、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合し、
前記照合の結果に応じた処理を実行する、
処理方法。

【請求項10】

コンピュータを、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段、
前記照合の結果に応じた処理を実行する出力手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理システム、処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１乃至５は、本発明に関連する技術を開示している。

【0003】

特許文献１に開示の技術は、顔認証が行えない場合、他の情報を用いて画像に写っている人物を特定する。他の情報は、体型、背丈、肩幅、身体パーツの比率、衣服、髪型、装飾品、所持品等である。

【0004】

特許文献２に開示の技術は、生体認証情報を用いた認証処理で、ブラックリスに登録された人物を検出する。生体認証情報は、顔、虹彩、静脈、耳介、指紋、声紋、歩容、背格好の中の少なくとも１つの特徴量を含む。

【0005】

特許文献３に開示の技術は、外観属性認証処理と歩容認証処理を用いて対象人物を検出する。当該技術は、外観属性認証処理において、顔、耳介、服装、靴、帽子、身長、持ち物等の特徴を利用する。また、当該技術は、歩容認証処理において、歩幅、歩く速度、動きの特徴等を利用する。

【0006】

特許文献４に開示の技術は、顔、虹彩、静脈、耳介、指紋、歩容、背格好等の特徴量を用いて、リストに登録されている人物を検出する。リストに登録されている人物は、指名手配者、反社会勢力関係者、前科者、ストーカ等である。

【0007】

特許文献５に開示の技術は、事件等の容疑者の外見的な特徴を表す全身画像及び顔画像を高精度に抽出して容疑者を追跡する。当該技術は、人物の全身、顔、性別、年齢、体型、服装、所持品、装飾品、歩き方等の特徴を抽出する。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２０２０／１３６７９５号公報

【特許文献2】国際公開第２０２１／２３０１２３号公報

【特許文献3】特開２０２２－６３４２５号公報

【特許文献4】国際公開第２０２１／１５２７３６号公報

【特許文献5】特開２０２０－１７８１６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

特許文献１乃至５はいずれも、プライバシーの問題に起因した本人認証の課題及び解決手段を記載も示唆もしていない。

【0010】

本発明の目的の一例は、上述した問題を鑑み、カメラ画像を登録することなく、画像を用いた本人認証を行うという課題を解決する処理装置、処理システム、処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

本発明の一態様によれば、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段と、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段と、
前記照合の結果に応じた処理を実行する出力手段と、
を有する処理装置が提供される。

【0012】

また、本発明の一態様によれば、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段と、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段と、
前記照合情報とマッチングした前記参考人物情報を出力する出力手段と、
を有する処理装置と、
前記照合情報を前記処理装置に送信し、前記照合情報とマッチングした前記参考人物情報を前記処理装置から受信する送受信手段と、
受信した前記参考人物情報を出力する端末出力手段と、
を有する端末装置と、
を有する処理システムが提供される。

【0013】

また、本発明の一態様によれば、
１つ以上のコンピュータが、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得し、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合し、
前記照合の結果に応じた処理を実行する、
処理方法が提供される。

【0014】

また、本発明の一態様によれば、
コンピュータを、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段、
前記照合の結果に応じた処理を実行する出力手段、
として機能させるプログラムが提供される。

【発明の効果】

【0015】

本発明の一態様によれば、カメラ画像を登録することなく、画像を用いた本人認証を行うという課題を解決する処理装置、処理システム、処理方法、及びプログラムが実現される。

【図面の簡単な説明】

【0016】

上述した目的及びその他の目的、特徴及び利点は、以下に述べる公的な実施の形態、及びそれに付随する以下の図面によってさらに明らかになる。

【0017】

【図1】処理装置の機能ブロック図の一例を示す図である。

【図2】処理装置のハードウエア構成の一例を示す図である。

【図3】３次元形状画像の一例を示す図である。

【図4】処理装置の処理の流れの一例を示すフローチャートである。

【図5】処理装置が処理する情報の一例を模式的に示す図である。

【図6】処理システムの機能ブロック図の一例を示す図である。

【図7】端末装置の機能ブロック図の一例を示す図である。

【図8】処理システムの処理の流れの一例を示すシーケンス図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施の形態について、図面を用いて説明する。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

【0019】

＜第１の実施形態＞
図１は、第１の実施形態に係る処理装置１０の概要を示す機能ブロック図である。処理装置１０は、取得部１１と、照合部１２と、出力部１３とを有する。

【0020】

取得部１１は、カメラが生成した照合対象の人物の画像であるカメラ画像、又は当該カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する。照合情報は、本人認証を行う時にそのタイミングで取得される情報であり、予めデータベースに登録される情報ではない。

【0021】

照合部１２は、取得部１１が取得した照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する。参考人物情報は、本人認証のために予めデータベースに登録される情報である。本実施形態では、参考人物情報として、カメラ画像でなく、カメラ画像から復元された人物の３次元形状を示す画像を用いる。

【0022】

出力部１３は、照合の結果に応じた処理を実行する。

【0023】

このように、本実施形態では、カメラ画像でなく、カメラ画像から復元された人物の３次元形状を示す画像が参考人物情報としてデータベースに登録される。そして、処理装置１０は、このような参考人物情報と、照合対象の人物に関する照合情報とを照合して、本人認証を行う。このような構成の処理装置１０においては、人物の外観（顔や全身）を示すカメラ画像をデータベースに登録する必要がない。このような本実施形態の処理装置１０によれば、カメラ画像を登録することなく、画像を用いた本人認証を行うという課題が解決される。

【0024】

＜第２の実施形態＞
「概要」
本実施形態の処理装置１０は、第１の実施形態の処理装置１０を具体化したものである。

【0025】

本実施形態の処理装置１０の特徴は、本人認証のために予めデータベースに登録しておく参考人物情報として、カメラが生成した人物のカメラ画像でなく、カメラ画像から復元された人物の３次元形状を示す画像を用いる点である。以下、カメラ画像から復元された人物の３次元形状を示す画像を「３次元形状画像」という。

【0026】

３次元形状画像は、人物の３次元形状を示す。すなわち、３次元形状画像は、カメラ画像と同様に、人物の外観の特徴を示す。このような３次元形状画像を利用することで、カメラ画像を利用する場合と同様の処理で、本人認証を行うことができる。

【0027】

また、３次元形状画像はカメラ画像から復元された「コンピュータによりデザインされた画像」であり、カメラ画像ではない。プライバシーの問題から本人の許諾なしでのカメラ画像の登録が許されない場合であっても、本人の許諾なしでの３次元形状画像の登録は許される場合がある。３次元形状画像を参考人物情報として用いることで、「本人の許諾なしでカメラ画像を登録できない」という本人認証の課題を解決することができる。

【0028】

以下、このような処理装置１０の構成を詳細に説明する。

【0029】

「ハードウエア構成」
次に、処理装置１０のハードウエア構成の一例を説明する。処理装置１０の各機能部は、ハードウエアとソフトウエアの任意の組合せによって実現される。その実現方法にはいろいろな変形例があることは、当業者には理解されるところである。ソフトウエアは、予め装置を出荷する段階から格納されているプログラムや、ＣＤ（Compact Disc）等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラム等を含む。

【0030】

図２は、処理装置１０のハードウエア構成を例示するブロック図である。図２に示すように、処理装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置１０は周辺回路４Ａを有さなくてもよい。なお、処理装置１０は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0031】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。また、入出力インターファイス３Ａはインターネット等の通信ネットワークに接続するためのインターフェイスを含むことができる。入力装置は、例えばキーボード、マウス、マイク、物理ボタン、タッチパネル等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0032】

「機能構成」
次に、本実施形態の処理装置１０の機能構成を詳細に説明する。図１に、処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、取得部１１と、照合部１２と、出力部１３とを有する。

【0033】

取得部１１は、照合対象の人物に関する照合情報を取得する。

【0034】

「照合対象の人物」は、本人認証を行う対象の人物である。本人自ら照合対象となるケースもあれば、本人が意図せず照合対象となるケースもある。

【0035】

本人自ら照合対象となるケースとしては、自分が正当権限を有することを証明する場合等が挙げられる。例えば、ユーザは、ログイン権限、入場権限等の正当権限を有することを証明するために、自ら照合対象となり、本人認証を受ける。

【0036】

本人が意図せず照合対象となるケースとしては、街中や所定エリア（例：空港等）においてブラックリストやホワイトリストに登録された人物を検出する場合などが挙げられる。この場合、街中や所定エリアに設置された防犯カメラにより生成された画像に写る人物が、照合対象となる。

【0037】

「照合情報」は、照合対象の人物のカメラ画像又は３次元形状画像である。すなわち、取得部１１は、カメラが生成した照合対象の人物の画像であるカメラ画像を取得してもよい。その他、取得部１１は、カメラ画像から復元された人物の３次元形状を示す３次元形状画像を取得してもよい。この場合、処理装置１０と異なる外部装置が、カメラ画像から３次元形状画像の復元を行う。その他、取得部１１は、カメラ画像を取得してもよい。そして取得部１１は、そのカメラ画像から３次元形状画像を復元することで、３次元形状画像を取得してもよい。

【0038】

「照合対象の人物のカメラ画像」は、カメラが生成した照合対象の人物が写っている画像である。当該カメラ画像は、静止画像であってもよいし、動画像であってもよい。当該カメラ画像は、照合対象の人物の顔や、身体の一部又は全部を示す。カメラは、可視光を検知するセンサを備えたカメラであってもよい。また、カメラは、非可視光（赤外線等）を検知するセンサを備えたカメラであってもよい。

【0039】

「照合対象の人物の３次元形状画像」は、カメラが生成した照合対象の人物が写っているカメラ画像から復元されたその人物の３次元形状を示す３次元画像である。図３に、３次元形状画像の一例を示す。図３に示すように、３次元形状画像は、人物の顔の３次元形状を示すことができる。また、図示しないが、３次元形状画像は、人物の身体（上半身、下半身等）の３次元形状を示してもよい。３次元形状画像はカメラ画像から復元された「コンピュータによりデザインされた画像」であり、カメラ画像ではない。カメラ画像から３次元形状画像を復元する手段は特段制限されず、あらゆる技術を採用できる。

【0040】

本実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータ又は情報を取りに行くこと（能動的な取得）、及び、自装置に他の装置から出力されるデータ又は情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエスト又は問合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（又は、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータ又は情報の中から選択して取得すること、又は、配信されたデータ又は情報を選択して受信することであってもよい。

【0041】

例えば、取得部１１は、処理装置１０が備える入力装置を介したユーザ操作で処理装置１０に入力された照合情報を取得してもよい。その他、処理装置１０とカメラとが通信可能に構成されていてもよい。そして、取得部１１は、このカメラから処理装置１０に送信された照合情報を取得してもよい。その他、カメラが生成したカメラ画像が所定の外部装置に蓄積されるように構成されていてもよい。そして、取得部１１は、この外部装置から照合情報を取得してもよい。その他、処理装置１０はサーバであってもよい。そして、取得部１１は、クライアント端末から処理装置１０に送信された照合情報を取得してもよい。

【0042】

照合部１２は、取得部１１が取得した照合情報と、予めデータベースに登録された参考人物情報とを照合する。

【0043】

「参考人物情報」は、複数の参考人物各々に関する情報である。参考人物情報は、カメラ画像から復元された人物の３次元形状を示す３次元形状画像を含む。３次元形状画像の定義は、上述の通りである。なお、参考人物情報は、参考人物のカメラ画像を含まない。すなわち、参考人物のカメラ画像はデータベースに登録されない。このため、参考人物のカメラ画像をデータベースに登録することによるプライバシーの問題は生じない。

【0044】

「参考人物」は、予めリストに登録された人物である。リストは、ブラックリスト、ホワイトリスト、正当権限（ログイン権限、入場権限等）を有する者のリスト等である。例えば、犯人、容疑者、事件の参考人、前科者、危険人物、要注意人物等が、ブラックリストに登録される。また、例えば、街中や所定エリア（例：空港等）において警備を行う者や警察官等がホワイトリストに登録される。また、事前登録等により正当権限（ログイン権限、入場権限等）を備えた者が、正当権限を有する者のリストに登録される。

【0045】

当該データベースは、任意の手段で予め生成される。例えば、参考人物情報の生成及びデータベースへの登録には、参考人が写るカメラ画像が必要となる。このカメラ画像を取得する手段は特段制限されない。

【0046】

一例として、犯罪者、容疑者、事件の参考人、前科者、危険人物、要注意人物等を参考人物とする場合、警察の捜査で入手したそれらの人物のカメラ画像が利用されてもよい。また、過去の逮捕時に警察等で撮影されたカメラ画像が利用されてもよい。また、その他の手段でそれらの人物のカメラ画像が取得されてもよい。任意の手段でそれらのカメラ画像が処理装置１０に入力される。

【0047】

また、警備を行う者や警察官、正当権限（ログイン権限、入場権限等）を備えた者等を参考人物とする場合、データベースにカメラ画像は登録されない旨を伝えたうえで、それらの人物のカメラ画像を各人物から取得してもよい。例えば、各人物が自分の端末装置を利用して、自身のカメラ画像を処理装置１０に送信する操作を行う。そして、処理装置１０は、端末装置から送信されてきたカメラ画像を取得する。これらの処理は、従来のあらゆる技術を利用して実現できる。端末装置は、スマートフォン、パーソナルコンピュータ、携帯電話等である。

【0048】

照合部１２による照合処理の詳細は特段制限されず、従来のあらゆる技術を採用できる。すなわち、照合部１２は、従来のカメラ画像を利用した本人認証で利用される照合処理と同様の処理で、照合処理を行うことができる。照合部１２は、従来のカメラ画像を利用した本人認証で利用される照合処理において、カメラ画像の代わりに、図３に示すような３次元形状画像を利用する。

【0049】

図３に示すように、３次元形状画像は、カメラ画像と同様に、人物の外観の特徴を示す。このため、カメラ画像と同様に、３次元形状画像から人物の外観の各種特徴量（各パーツの位置、形状、大きさ、複数のパーツの相対的な位置関係、抽出された特徴点等）を抽出することができる。このため、照合部１２は、カメラ画像を利用する場合と同様の処理で、照合処理を行うことができる。

【0050】

出力部１３は、照合部１２による照合の結果に応じた処理を実行する。照合の結果は、取得部１１が取得した照合情報とマッチングした参考人物情報があったか否かを示す。

【0051】

照合の結果に応じた処理は、照合の結果を所定の装置に送信する処理であってもよい。また、照合の結果に応じた処理は、その他の処理であってもよい。照合の結果に応じて実行するその他の処理の内容は、処理装置１０の利用場面に応じて異なる。以下、利用場面毎に分けて、照合の結果に応じて実行する処理の内容を説明する。

【0052】

－ブラックリストに登録された人物を検出する場面で処理装置１０が利用される場合－
出力部１３は、取得部１１が取得した照合情報とマッチングした参考人物情報があった場合、警告情報を出力する。警告情報は、ブラックリストに登録された参考人物が検出されたことを示す。警告情報の出力は、所定の端末装置に警告情報を送信することであってもよい。また、警告情報の出力は、所定のディスプレイに警告情報を表示することであってもよい。また、警告情報の出力は、警告ランプを点灯／点滅させること、スピーカを介して警告音を出力すること、及びバイブレーションを振動させることの中の少なくとも１つを含んでもよい。

【0053】

所定の端末装置に送信される警告情報、また所定のディスプレイに表示される警告情報は、取得部１１が取得した照合情報、及びその照合情報とマッチングした参考人物情報を含んでもよい。上述の通り、照合情報は、カメラが生成した照合対象の人物の画像であるカメラ画像、又はカメラ画像から復元された人物の３次元形状を示す３次元形状画像を含む。参考人物情報は、カメラ画像から復元された参考人物の３次元形状を示す３次元形状画像を含む。このような警告情報を受け取った人物は、照合情報と参考人物情報を見比べることで、コンピュータによる本人認証の妥当性を判断することができる。

【0054】

また、参考人物情報を含む警告情報を受け取った人物は、参考人物情報に含まれる参考人物の３次元形状を示す３次元形状画像を参照しながら、参考人物を探すことができる。

【0055】

－ホワイトリストに登録された人物を検出する場面で処理装置１０が利用される場合－
出力部１３は、取得部１１が取得した照合情報とマッチングした参考人物情報があった場合、通知情報を出力する。通知情報は、ホワイトリストに登録された参考人物が検出されたことを示す。通知情報の出力は、所定の端末装置に通知情報を送信することであってもよい。また、通知情報の出力は、所定のディスプレイに通知情報を表示することであってもよい。また、通知情報の出力は、通知ランプを点灯／点滅させること、スピーカを介して通知音を出力すること、及びバイブレーションを振動させることの中の少なくとも１つを含んでもよい。

【0056】

所定の端末装置に送信される通知情報、また所定のディスプレイに表示される通知情報は、取得部１１が取得した照合情報、及びその照合情報とマッチングした参考人物情報を含んでもよい。このような通知情報を受け取った人物は、照合情報と参考人物情報を見比べることで、コンピュータによる本人認証の妥当性を判断することができる。

【0057】

また、参考人物情報を含む通知情報を受け取った人物は、参考人物情報に含まれる参考人物の３次元形状を示す３次元形状画像を参照しながら、参考人物を探すことができる。

【0058】

－正当権限（ログイン権限、入場権限等）を有する者のリストに登録された人物を検出する場面で処理装置１０が利用される場合－
出力部１３は、取得部１１が取得した照合情報とマッチングした参考人物情報があった場合、正当権限を有する者に対して行う所定の処理を実行する。所定の処理は、正当権限の内容に応じたものとなる。正当権限がログイン権限である場合、所定の処理は、例えばログインを許可し、ログイン後の画面（マイページ等）を生成してユーザの端末装置に送信する処理であってもよい。また、正当権限が入場権限である場合、所定の処理は、例えばゲートを開く指示信号をゲートの開閉を制御する装置に入力する処理であってもよい。

【0059】

一方、取得部１１が取得した照合情報とマッチングした参考人物情報がなかった場合、出力部１３は、本人認証に失敗したことを通知するエラー情報を出力してもよい。エラー情報の出力は、例えば所定の端末装置にエラー情報を送信することである。また、エラー情報の出力は、所定のディスプレイにエラー情報を表示することであってもよい。また、エラー情報の出力は、通知ランプを点灯／点滅させること、スピーカを介してエラー音を出力すること、及びバイブレーションを振動させることの中の少なくとも１つを含んでもよい。

【0060】

次に、図４のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。

【0061】

まず、処理装置１０は、カメラが生成した照合対象の人物の画像であるカメラ画像、又はカメラ画像から復元された人物の３次元形状を示す３次元形状画像を含む照合情報を取得する（Ｓ１０）。例えば、処理装置１０は、カメラが生成した照合対象の人物の画像であるカメラ画像を取得してもよい。その他、処理装置１０は、カメラ画像から復元された人物の３次元形状を示す３次元形状画像を取得してもよい。その他、処理装置１０は、カメラ画像を取得し、そのカメラ画像から３次元形状画像を復元してもよい。

【0062】

次いで、処理装置１０は、Ｓ１０で取得した照合情報と、予めデータベースに登録された複数の参考人物各々の参考人物情報とを照合する（Ｓ１１）。参考人物情報は、カメラ画像から復元された複数の参考人物各々の３次元形状を示す３次元形状画像を含む。例えば、処理装置１０は、取得したカメラ画像（照合情報）と３次元形状画像（参考人物情報）とを用いて照合を行ってもよい。その他、処理装置１０は、取得した３次元形状画像（照合情報）と３次元形状画像（参考人物情報）とを用いて照合を行ってもよい。その他、処理装置１０は、取得したカメラ画像（照合情報）から復元した３次元形状画像と３次元形状画像（参考人物情報）とを用いて照合を行ってもよい。

【0063】

そして、処理装置１０は、Ｓ１１の照合の結果に応じた処理を実行する（Ｓ１２）。

【0064】

「作用効果」
本実施形態の処理装置１０は、第１の実施形態と同様の作用効果を実現する。

【0065】

また、処理装置１０は、照合情報と参考人物情報とがマッチングした場合、照合情報、及びその照合情報とマッチングした参考人物情報を出力することができる。この情報を受け取った人物は、照合情報と参考人物情報を見比べることで、コンピュータによる本人認証の妥当性を判断することができる。

【0066】

また、参考人物情報を受け取った人物は、参考人物情報に含まれる参考人物の３次元形状を示す３次元形状画像を参照しながら、参考人物を探すことができる。

【0067】

＜第３の実施形態＞
本実施形態では、参考人物の３次元形状画像に加えて、その他の情報を用いて本人認証を行う。その他の情報は、カメラ画像と異なる情報である。これにより、本人認証の精度が向上する。以下、詳細に説明する。

【0068】

図５に示すように、予めデータベースに登録される参考人物情報は、３次元形状画像に加えて、その他の情報を含む。また、図示しないが、取得部１１が取得する「照合対象の人物に関する照合情報」も、その他の情報を含む、

【0069】

その他の情報は、カメラ画像と異なる情報である。その他の情報は、例えば人物の歩容の特徴量、人物の体格の特徴量、人物の顔の特徴量、人物の虹彩の特徴量、人物の声紋の特徴量、及び人物の耳音響の特徴量の中の少なくとも１つを含む。

【0070】

人物の歩容の特徴量は、一定距離における四肢の動かし方、関節及び頭の軌道、歩幅、及び速度の中の少なくとも１つに関する。

【0071】

「一定距離における四肢の動かし方」は、人物が一定距離を移動する間における四肢の動かし方の特徴を示す。四肢の動かし方の特徴は、例えば四肢の特徴点の移動軌跡で示されてもよい。四肢の特徴点は、四肢の関節部分であってもよいし、四肢の先端であってもよいし、四肢のその他の箇所であってもよい。四肢の特徴点の移動軌跡は、３次元空間で示されてもよい。その他、四肢の特徴点の移動軌跡は、特徴点の高さ（地面からの高さ）の変化（上下の変化）の軌跡を示してもよい。その他、四肢の特徴点の移動軌跡は、身体の基準点を基準とした相対的な位置の時間変化であってもよい。基準点は、頭部、腰部分等であるが、これらに限定されない。

【0072】

「関節及び頭の軌道」は、３次元空間で示されてもよい。その他、関節及び頭の軌道は、関節及び頭の高さ（地面からの高さ）の変化（上下の変化）の軌道を示してもよい。その他、関節及び頭の軌道は、身体の基準点を基準とした相対的な位置の時間変化であってもよい。基準点は、頭部、腰部分等であるが、これらに限定されない。

【0073】

上述のような人物の歩容の特徴量は、カメラが生成した動画像に基づき算出することができる。例えば、ＯｐｅｎＰｏｓｅ等の技術を利用することで、画像内の人物の関節点を抽出することができる。動画像内での関節点の移動軌跡を求めることで、上述のような人物の歩容の特徴量が算出される。

【0074】

「歩幅」、「速度」、「人物の体格の特徴量」、「人物の顔の特徴量」、「人物の虹彩の特徴量」、「人物の声紋の特徴量」、及び「人物の耳音響の特徴量」は、広く知られているので、ここでの説明は省略する。これらの特徴量の算出は、従来のあらゆる技術を利用して実現できる。

【0075】

照合部１２は、３次元形状画像に基づく照合に加えて、上述したその他の情報に基づく照合を行う。その他の情報に基づく照合は、歩容の特徴量同士の照合、体格の特徴量同士の照合、顔の特徴量同士の照合、虹彩の特徴量同士の照合、声紋の特徴量同士の照合、及び耳音響の特徴量同士の照合の中の少なくとも１つを含む。そして、照合部１２は、それら複数の照合の結果を統合して、照合の結果を算出する。

【0076】

統合の仕方は様々であり、あらゆる技術を採用できる。例えば、照合部１２は、各種特徴同士の照合で類似度を算出した後、それら類似度を統合して統合類似度を算出する。そして、照合部１２は、統合類似度が基準値以上の場合、その照合情報とその参考人物情報とはマッチングすると判断することができる。

【0077】

統合類似度は、各種特徴同士の照合で算出した類似度を所定の演算式に入力することで算出されてもよい。演算式は、各種特徴同士の照合で算出した類似度を足し合わせるものであってもよい。また、演算式は、各種特徴同士の照合で算出した類似度に各種特徴に応じた重みを掛けた値を足し合わせるものであってもよい。その他、統合類似度は、各種特徴同士の照合で算出した類似度の統計値（平均値、加重平均値、最大値、最小値、中央値、最頻値等）であってもよい。

【0078】

本実施形態の処理装置１０のその他の構成は、第１及び第２の実施形態と同様である。

【0079】

本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様の作用効果が実現される。また、本実施形態の処理装置１０は、参考人物の３次元形状画像に加えて、その他の情報を用いて本人認証を行う。その他の情報は、カメラ画像と異なる情報である。その他の情報は、例えば人物の歩容の特徴量、人物の体格の特徴量、人物の顔の特徴量、人物の虹彩の特徴量、人物の声紋の特徴量、及び人物の耳音響の特徴量の中の少なくとも１つを含む。

【0080】

このようなその他の情報を用いる場合も、カメラ画像を予めデータベースに登録する必要がない。このため、カメラ画像を登録することなく、画像を用いた本人認証を行うという課題が解決される。また、３次元形状画像に加えて、上述のようなその他の情報を用いることで、本人認証の精度が向上する。

【0081】

特に、一定距離における四肢の動かし方という特徴的な人物の歩容の特徴量を用いることで、本人認証の精度が向上する。

【0082】

また、人物の声紋の特徴量や人物の耳音響の特徴量のように、カメラが生成した画像以外から得られる特徴量を用いることで、鮮明なカメラ画像が得られない場合においても、高精度に本人認証を行うことができる。鮮明なカメラ画像が得られない場合は、夜間等である。

【0083】

＜第４の実施形態＞
本実施形態の処理システム１は、図６に示すように、処理装置１０と、端末装置２０とを有する。

【0084】

処理装置１０の構成は、第１乃至第３の実施形態と同様である。

【0085】

図７に、端末装置２０の機能ブロック図の一例を示す。図示するように、端末装置２０は、送受信部２１と、端末出力部２２とを有する。

【0086】

送受信部２１は、照合情報を処理装置１０に送信する。そして、送受信部２１は、その照合情報とマッチングした参考人物情報を処理装置１０処理装置から受信する。

【0087】

端末出力部２２は、受信した参考人物情報を出力する。端末出力部２２は、ディスプレイ、投影装置、プリンター等のあらゆる出力装置を介して、当該出力を実現することができる。

【0088】

端末装置２０は、スマートフォン、タブレット端末、パーソナルコンピュータ、スマートウォッチ、携帯電話等であってもよい。この場合、例えば端末装置２０のユーザは、端末装置２０を操作して処理装置１０にログインする。そして、ユーザは、端末装置２０に対し、照合情報の送信、参考人物情報の受信、参考人物情報の出力のための操作を行う。

【0089】

その他、端末装置２０は、処理装置１０と連携して上述の処理を実行する専用の装置であってもよい。この場合、端末装置２０は、本人認証が必要な場所に設置される。このような場所は、例えば、商品購入のために本人認証が必要な店舗や、入場のために本人認証が必要な施設等である。

【0090】

次に、図８のシーケンス図を用いて、処理システム１の処理の流れの一例を説明する。

【0091】

まず、端末装置２０は、照合情報を処理装置１０に送信する（Ｓ２０）。照合情報は、カメラが生成した照合対象の人物の画像であるカメラ画像、又は当該カメラ画像から復元された人物の３次元形状を示す３次元形状画像を含む。例えば、端末装置２０が、カメラ画像から３次元形状画像を復元してもよい。

【0092】

次いで、処理装置１０は、Ｓ２０で取得した照合情報と、予めデータベースに登録された参考人物情報とを照合する（Ｓ２１）。参考人物情報は、複数の参考人物各々に関する情報である。参考人物情報は、カメラ画像から復元された人物の３次元形状を示す３次元形状画像を含む。

【0093】

なお、第３の実施形態で説明したように、照合情報及び参考人物情報は、その他の情報を含んでもよい。そして、処理装置１０は、その他の情報をさらに用いてＳ２１の照合を行ってもよい。

【0094】

その後、処理装置１０は、照合の結果を端末装置２０に送信する（Ｓ２２）。照合の結果は、取得部１１が取得した照合情報とマッチングした参考人物情報があったか否かを示す。そして、端末装置２０は、受信した照合の結果を出力する（Ｓ２３）。

【0095】

なお、Ｓ２２では、処理システム１の利用場面に応じた情報が、処理装置１０から端末装置２０に送信されてもよい。そして、Ｓ２３では、端末装置２０は、その利用場面に応じた情報に基づく所定の処理を実行してもよい。

【0096】

利用場面の一例は、「ブラックリストに登録された人物を検出する場面」である。この場合、処理装置１０は、Ｓ２０で取得した照合情報とマッチングした参考人物情報があった場合、警告情報を端末装置２０に送信することができる。そして、端末装置２０は、その警告情報を出力することができる。警告情報の詳細は、第２の実施形態で説明した通りである。

【0097】

利用場面の他の一例は、「ホワイトリストに登録された人物を検出する場面」である。この場合、処理装置１０は、Ｓ２０で取得した照合情報とマッチングした参考人物情報があった場合、通知情報を端末装置２０に送信することができる。そして、端末装置２０は、その通知情報を出力することができる。通知情報の詳細は、第２の実施形態で説明した通りである。

【0098】

利用場面の他の一例は、「正当権限（ログイン権限、入場権限等）を有する者のリストに登録された人物を検出する場面」である。この場合、処理装置１０は、Ｓ２０で取得した照合情報とマッチングした参考人物情報があった場合、ログイン後の画面（マイページ等）を生成して端末装置２０に送信してもよい。そして、端末装置２０は、その画面を出力する。また、処理装置１０は、Ｓ２０で取得した照合情報とマッチングした参考人物情報があった場合、ゲートを開く指示信号をゲートの開閉を制御する端末装置２０に送信してもよい。そして、端末装置２０は、その指示信号に基づきゲートを開く処理を行う。一方、処理装置１０は、Ｓ２０で取得した照合情報とマッチングした参考人物情報がなかった場合、本人認証に失敗したことを通知するエラー情報を端末装置２０に送信してもよい。そして、端末装置２０はそのエラー情報を出力する。

【0099】

次に、端末装置２０のハードウエア構成の一例を説明する。端末装置２０の各機能部は、ハードウエアとソフトウエアの任意の組合せによって実現される。その実現方法にはいろいろな変形例があることは、当業者には理解されるところである。ソフトウエアは、予め装置を出荷する段階から格納されているプログラムや、ＣＤ等の記録媒体やインターネット上のサーバ等からダウンロードされたプログラム等を含む。図２は、端末装置２０のハードウエア構成を例示するブロック図である。図２は、第２の実施形態で説明したので、ここでの説明は省略する。

【0100】

本実施形態の処理システム１、処理装置１０及び端末装置２０によれば、第１乃至第３の実施形態と同様の作用効果が実現される。

【0101】

＜実施例＞
「実施例１」
実施例１では、街中にいる人物とブラックリストとの照合に、処理システム１を用いる。

【0102】

まず、例えば犯人、容疑者、事件の参考人、前科者、危険人物、要注意人物等の参考人物情報が、ブラックリストに登録される。

【0103】

処理装置１０は、街中に設置された監視カメラが生成したカメラ画像や、ドライブレコーダが生成したカメラ画像や、所定の人物（例：警察官）が身に着けたカメラが生成したカメラ画像等を、照合情報として取得する。街中に設置された監視カメラは、道路に設置された監視カメラ、駅や空港等の施設に設置された監視カメラ、ビル等の建物内に設置された監視カメラ等を含む。これらカメラ画像には、街中にいる人物が写っている。

【0104】

そして、処理装置１０は、照合情報と参考人物情報とを照合する。処理装置１０は、照合情報と参考人物情報とがマッチングした場合、警告情報を出力する。警告情報の詳細は、第２の実施形態で説明した通りである。また、処理装置１０は、マッチングした照合情報の位置情報を出力してもよい。位置情報は、照合情報に含まれるカメラ画像の撮影位置である。例えば、カメラ画像のメタデータに位置情報が含まれていてもよい。その他、処理装置１０は、カメラ画像を解析し、カメラ画像内で各位置に特有のランドマークを検出することで、カメラ画像の撮影位置を特定してもよい。

【0105】

上述した情報の出力先は、警察のシステムや、警察官が保持する端末装置等が例示される。

【0106】

「実施例２」
実施例２では、店舗に来店し、所定の商品を購入しようとしている人物と、ブラックリストとの照合に、処理システム１を用いる。

【0107】

所定の商品は、ブラックリストに登録されている人物への販売が制限される商品である。例えば、銃、ナイフ等の危険物が例示される。

【0108】

当該実施例では、例えば犯人、容疑者、事件の参考人、前科者、危険人物、要注意人物等の参考人物情報が、ブラックリストに登録される。

【0109】

処理装置１０は、所定の商品を扱う店舗に設置されたカメラが生成したカメラ画像、又は当該店舗の店員が任意のカメラで撮影したカメラ画像等を、照合情報として取得する。これらカメラ画像には、所定の商品を購入しようとしている人物が写っている。

【0110】

そして、処理装置１０は、照合情報と参考人物情報とを照合する。処理装置１０は、照合情報と参考人物情報とがマッチングした場合、警告情報を出力する。警告情報の詳細は、第２の実施形態で説明した通りである。

【0111】

上述した警告情報の出力先は、照合情報を送信した端末装置２０である。また、処理装置１０は、警察等のシステムに警告情報を送信してもよい。

【0112】

「実施例３」
実施例３では、夜間に所定場所に現れた人物と、昼間に撮影したカメラ画像に基づき生成されたブラックリストと照合に、処理システム１を用いる。

【0113】

当該実施例では、例えば犯人、容疑者、事件の参考人、前科者、危険人物、要注意人物等の参考人物情報が、ブラックリストに登録される。具体的には、昼間撮影したカメラ画像に基づき、３次元形状画像や、第３の実施形態で説明したその他の情報の中の少なくとも一部が生成され、参考人物情報としてブラックリストに登録される。その他の情報は、人物の歩容の特徴量を含む。

【0114】

処理装置１０は、夜間に街中に設置された監視カメラが生成したカメラ画像や、夜間にドライブレコーダが生成したカメラ画像や、夜間に所定の人物（例：警察官）が身に着けたカメラが生成したカメラ画像等を、照合情報として取得する。街中に設置された監視カメラは、道路に設置された監視カメラ、駅や空港等の施設に設置された監視カメラ、ビル等の建物内に設置された監視カメラ等を含む。これらカメラ画像には、街中にいる人物が写っている。当該カメラ画像は、赤外線カメラで生成されたカメラ画像である。

【0115】

そして、処理装置１０は、３次元形状画像や、第３の実施形態で説明したその他の情報に基づき、照合情報と参考人物情報とを照合する。例えば、処理装置１０は、人物の歩容の特徴量を用いて照合を行ってもよい。

【0116】

処理装置１０は、照合情報と参考人物情報とがマッチングした場合、警告情報を出力する。警告情報の詳細は、第２の実施形態で説明した通りである。また、処理装置１０は、マッチングした照合情報の位置情報を出力してもよい。位置情報は、照合情報に含まれるカメラ画像の撮影位置である。例えば、カメラ画像のメタデータに位置情報が含まれていてもよい。その他、処理装置１０は、カメラ画像を解析し、カメラ画像内で各位置に特有のランドマークを検出することで、カメラ画像の撮影位置を特定してもよい。

【0117】

上述した情報の出力先は、警察のシステムや、警察官が保持する端末装置等が例示される。

【0118】

＜変形例＞
処理装置１０は、カメラ画像、及びカメラ画像から復元された人物の３次元形状を示す画像を利用せず、本人認証を行ってもよい。具体的には、処理装置１０は、人物の歩容の特徴量、人物の体格の特徴量、人物の顔の特徴量、人物の虹彩の特徴量、人物の声紋の特徴量、及び人物の耳音響の特徴量の中の少なくとも１つを用いて本人認証を行ってもよい。これらの特徴量の詳細は、第３の実施形態で説明した通りである。当該変形例においても、カメラ画像を登録することなく、本人認証を行うことができる。

【0119】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。

【0120】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されている。しかし、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。

【0121】

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
１． カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段と、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段と、
前記照合の結果に応じた処理を実行する出力手段と、
を有する処理装置。
２． 前記出力手段は、
前記照合情報と前記参考人物情報とがマッチングした場合、マッチングした前記参考人物情報が含む前記参考人物の３次元形状を示す画像を出力する１に記載の処理装置。
３． 前記３次元形状を示す画像は、人物の顔の３次元形状を示す１又は２に記載の処理装置。
４． 前記３次元形状を示す画像は、人物の身体の３次元形状を示す１から３のいずれかに記載の処理装置。
５． 前記参考人物情報及び前記照合情報は、人物の歩容の特徴量、人物の体格の特徴量、人物の顔の特徴量、人物の虹彩の特徴量、人物の声紋の特徴量、及び人物の耳音響の特徴量の中の少なくとも１つをさらに含む１から４のいずれかに記載の処理装置。
６． 前記人物の歩容の特徴量は、一定距離における四肢の動かし方、関節及び頭の軌道、歩幅、及び速度の中の少なくとも１つに関する５に記載の処理装置。
７． 前記参考人物情報は、カメラが生成した前記参考人物の画像を含まない１から６のいずれかに記載の処理装置。
８． カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段と、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段と、
前記照合情報とマッチングした前記参考人物情報を出力する出力手段と、
を有する処理装置と、
前記照合情報を前記処理装置に送信し、前記照合情報とマッチングした前記参考人物情報を前記処理装置から受信する送受信手段と、
受信した前記参考人物情報を出力する端末出力手段と、
を有する端末装置と、
を有する処理システム。
９． １つ以上のコンピュータが、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得し、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合し、
前記照合の結果に応じた処理を実行する、
処理方法。
１０． コンピュータを、
カメラが生成した照合対象の人物の画像であるカメラ画像、又は前記カメラ画像から復元された人物の３次元形状を示す画像を含む照合情報を取得する取得手段、
前記照合情報と、カメラ画像から復元された複数の参考人物各々の３次元形状を示す画像を含む参考人物情報とを照合する照合手段、
前記照合の結果に応じた処理を実行する出力手段、
として機能させるプログラム。

【符号の説明】

【0122】

１ 処理システム
１０ 処理装置
１１ 取得部
１２ 照合部
１３ 出力部
２０ 端末装置
２１ 送受信部
２２ 端末出力部
１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】