(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-18
(45)【発行日】2024-03-27
(54)【発明の名称】匿名化された人物検出のための情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240319BHJP
G06T 7/60 20170101ALI20240319BHJP
【FI】
G06T7/00 660A
G06T7/60 300
(21)【出願番号】P 2022545036
(86)(22)【出願日】2021-01-27
(86)【国際出願番号】 JP2021002782
(87)【国際公開番号】W WO2021153596
(87)【国際公開日】2021-08-05
【審査請求日】2022-07-25
(32)【優先日】2020-01-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100106909
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100134544
【氏名又は名称】森 隆一郎
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【氏名又は名称】伊藤 英輔
(72)【発明者】
【氏名】チャンドラセカラン アルーン
(72)【発明者】
【氏名】ランガナス クリス
(72)【発明者】
【氏名】ラ トゥアン
【審査官】宮島 潤
(56)【参考文献】
【文献】特開2008-236141(JP,A)
【文献】特開2009-284235(JP,A)
【文献】特開2012-10256(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/00 - 40/16
G06V 40/18 - 40/19
G06V 40/20
G06V 40/30 - 40/70
G06F 21/00
G06F 21/30 - 21/46
G06F 12/14
G06F 21/10
G06F 21/60 - 21/88
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
1つ又は複数の命令を記憶するメモリと、
前記1つ又は複数の命令を実行して、
カメラによって取り込まれた、複数の被写体が映る第1の画像を取得し、
前記第1の画像内の複数の頭部パターンを検出し、
前記複数の頭部パターンのそれぞれの頭部サイズを比較して、前記複数の頭部パターンのうち最も大きい頭部サイズを有する頭部パターンを、前記カメラに最も近い被写体の頭部パターンである第1の頭部パターンとして識別し、
前記カメラに最も近い被写体
の頭部パターンが前記カメラから特定の距離内に存在する前は、第2の画像として、前記第1の画像内の前記複数の頭部パターンが覆い隠されたまたはぼやかされた画像を取得し、
前記カメラに最も近い被写体
の頭部パターンが前記カメラから前記特定の距離内に存在する後は、前記第2の画像として、前記第1の画像内の前記第1の頭部パターン以外の前記複数の頭部パターンが覆い隠されたまたはぼやかされた画像を取得し、
前記第2の画像を表示する
プロセッサと
を備える、情報処理装置。
【請求項2】
カメラによって取り込まれた、複数の被写体が映る第1の画像を取得することと、
前記第1の画像内の複数の頭部パターンを検出することと、
前記複数の頭部パターンのそれぞれの頭部サイズを比較して、前記複数の頭部パターンのうち最も大きい頭部サイズを有する頭部パターンを、前記カメラに最も近い被写体の頭部パターンである第1の頭部パターンとして識別することと、
前記カメラに最も近い被写体
の頭部パターンが前記カメラから特定の距離内に存在する前は、第2の画像として、前記第1の画像内の前記複数の頭部パターンが覆い隠されたまたはぼやかされた画像を取得することと、
前記カメラに最も近い被写体
の頭部パターンが前記カメラから前記特定の距離内に存在する後は、前記第2の画像として、前記第1の画像内の前記第1の頭部パターン以外の前記複数の頭部パターンが覆い隠されたまたはぼやかされた画像を取得することと、
前記第2の画像を表示することと
を含む、情報処理方法。
【請求項3】
カメラによって取り込まれた、複数の被写体が映る第1の画像を取得することと、
前記第1の画像内の複数の頭部パターンを検出することと、
前記複数の頭部パターンのそれぞれの頭部サイズを比較して、前記複数の頭部パターンのうち最も大きい頭部サイズを有する頭部パターンを、前記カメラに最も近い被写体の頭部パターンである第1の頭部パターンとして識別することと、
前記カメラに最も近い被写体
の頭部パターンが前記カメラから特定の距離内に存在する前は、第2の画像として、前記第1の画像内の前記複数の頭部パターンが覆い隠されたまたはぼやかされた画像を取得することと、
前記カメラに最も近い被写体
の頭部パターンが前記カメラから前記特定の距離内に存在する後は、前記第2の画像として、前記第1の画像内の前記第1の頭部パターン以外の前記複数の頭部パターンが覆い隠されたまたはぼやかされた画像を取得することと、
前記第2の画像を表示することと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法、及びプログラムに関し、より詳細には、匿名化された人物検出を行うための情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、人物検出技法が存在する。
【発明の概要】
【0003】
本開示の1つ又は複数の例示的な実施形態は、顔認識を行うことなく匿名で人物を検出するための情報処理装置、情報処理方法、及びプログラムを提供することができる。
【0004】
本開示の一態様によれば、1つ又は複数の命令を記憶するメモリと、前記1つ又は複数の命令を実行して、カメラによって取り込まれた第1の画像を取得し、前記第1の画像内の1つ又は複数の頭部パターンを検出し、前記1つ又は複数の頭部パターンのうち、前記カメラに最も近い被写体の頭部パターンとして、第1の頭部パターンを前記第1の頭部パターンのサイズに基づいて識別し、前記識別された第1の頭部パターンに基づいて第2の画像を取得し、前記第2の画像を表示するように構成されたプロセッサとを備える、情報処理装置が提供される。
【0005】
前記プロセッサは、前記第1の頭部パターンに対応する顔の特徴を取得する承諾をユーザから得た後に、前記カメラから前記第1の頭部パターンに対応する前記顔の特徴のみを取得することによって前記第2の画像を取得するようにさらに構成され得る。
【0006】
前記プロセッサは、前記第1の画像内の前記1つ又は複数の頭部パターンのすべてを覆い隠すことによって前記第2の画像を取得するようにさらに構成され得る。
【0007】
前記プロセッサは、前記第1の画像内の前記第1の頭部パターン以外の前記1つ又は複数の頭部パターンのすべてを覆い隠すことによって前記第2の画像を取得するようにさらに構成され得る。
【0008】
前記プロセッサは、前記1つ又は複数の頭部パターンのそれぞれの頭部サイズを比較し、前記1つ又は複数の頭部パターンのうち、前記カメラに最も近い前記被写体の前記頭部パターンとして、最も大きい頭部サイズを有する頭部パターンを識別することによって、前記第1の頭部パターンを識別するようにさらに構成され得る。
【0009】
前記プロセッサは、顔の特徴を使用せずに前記1つ又は複数の頭部パターンを検出するようにさらに構成され得る。
【0010】
以下、添付の図面を参照しながら、本開示の1つ又は複数の例示的な実施形態を説明する。
【図面の簡単な説明】
【0011】
【
図1】例示的な実施形態に係る情報処理システムを示す図である。
【
図2】匿名化された人物検出を行うための情報処理システムによって行われる処理の概要を示すフローチャートである。
【
図3A】すべての頭部領域がぼかされたり覆い隠されたりしている画像を示す図である。
【
図3B】承諾した人物の頭部領域は覆い隠されたりぼかされたりせず、カメラに最も近い人物以外のすべての人物の残りの頭部領域が覆い隠されたりぼかされたりしている画像を示す図である。
【
図3C】カメラに最も近く、承諾した人物の頭部領域を除いて、フレーム全体が覆い隠されたりぼかされたりしている画像を示す図である。
【
図4】例示的な実施形態に係るコントローラのハードウェア構成を示すブロック図である。
【
図5】第1の追加図であり、匿名化された人物検出のシーケンス図である。
【
図6】第2の追加図であり、頭部検出の説明図である。
【
図7】第3の追加図であり、物体検出及び物体定位の説明図である。
【発明を実施するための形態】
【0012】
図1は、例示的な実施形態に係る情報処理システム1を示しており、情報処理システム1は、コントローラ100と、カメラ200と、ディスプレイ300とを備える。一実施形態によれば、情報処理システム1は、空港などの施設において人々をスクリーニングするためのセキュリティチェックポイントにゲート400を更に備えてもよい。この場合、情報処理システム1は、ユーザからの入力を受け付ける入力デバイスを更に備えてもよい。一実施形態によれば、入力デバイスは、例えば、ディスプレイ300に組み込まれたタッチスクリーンであってもよい。ディスプレイ300は、自動ゲート400を使用するユーザに対して各種ウィンドウを表示する表示ユニットとして機能してもよい。例えば、ディスプレイ300は、自動ゲート400の使い方を示すガイダンスウィンドウや、ユーザに対する通知ウィンドウなどを表示してもよい。
【0013】
カメラ200は、スクリーニング領域の画像を取り込むことができる。例えば、カメラ200は、自動ゲート装置300の前方領域を取り込むデジタルカメラであってもよい。画像は、連続的に取り込まれても周期的に取り込まれてもよい。
【0014】
例示的な実施形態によれば、コントローラ100は、カメラ200からの画像を取得し、画像を処理して、画像内の1つ又は複数の頭部パターンを検出し得る。ここで、コントローラ100は、人工知能(AI)及び/又は機械学習を使用して、顔の特徴を処理することなく頭部パターンを検出し得る。例えば、コントローラ100は、物体分類とそれに続く物体定位とを用いて物体検出(すなわち、頭部検出)を実行し得る。一実施形態によれば、頭部検出アルゴリズムは、カスタム訓練された深層ニューラルネットワーク(DNN)を使用し得る。DNNとしては、例えば、FAST R-CNN、You Only Look Once(YOLO)、又はSingle Shot Detector(SDD)が使用され得る。
図5~
図7も参照されたい。
図5は、匿名化された人物検出のシーケンス図を示している。シーケンスにおいて、バイオメトリクスを取り込むための承諾が行われる(ステップ1)。次に、カメラによる取り込みが開始される(ステップ1.1)。次に、フレームが取り込まれる(ステップ2)。フレームは検出のために送信される(ステップ3)。匿名の人物の頭部が検出される(ステップ3.1)。最も近い人物の頭部が発見される(ステップ3.2)。それ以外のすべての人物の頭部がぼかされる(ステップ3.3)。フレームは顔の検出/認識のために送信される(ステップ4)。
図6は、頭部検出の説明図である。
図6に示すように、物体検出は、物体分類とそれに続く物体定位とを必要とする。いくつかの実施形態では、頭部検出アルゴリズムは、カスタム訓練された深層ニューラルネットワーク(DNN)を使用する。ネットワークが深いほど、検出の精度は高くなる。その結果、検出速度は遅くなる。速度対精度の正しいバランスを達成するために、DNNの適切な調整が行われる。
図6のパート1は、画像分類プログラム(これは猫の画像か否か?)の一例を示している。
図6のパート2は、定位問題(猫はどこにいるか?)による分類の一例を示している。
図6のパート3は、物体検出問題(画像ではどの動物がどこにいるか?)の一例を示している。
図7は、物体検出及び物体定位の説明図を示している。
図7の左上には、物体検出の一例が示されている。この例では、出力はクラスの1つの数字(インデックス)である。
図7の左下には、物体定位の一例が示されている。この例では、出力は4つの数字、すなわち境界ボックスの座標である。
図7の右側には、DNNの出力の一例が示されている。出力は、物体が存在するか否かを示す「P
0」、境界ボックスの座標を示す「bx1」、「bx2」、「by1」、「cy2」、物体の変数を示す「c1」、「c2」、「c3」、...、「cn」を含む。
【0015】
別の例示的な実施形態によれば、AI及び/又は機械学習とは異なる方法を使用して、顔の特徴を処理することなく頭部パターンを検出し得る。
【0016】
例示的な実施形態によれば、頭部パターンを検出した後、コントローラ100は、頭部パターンのサイズに基づいてカメラ200に最も近い頭部パターンを識別し得る。例えば、顔認識の顔の特徴を処理するために特徴分類が実行される前に、カメラ200に最も近い頭部パターンが識別され得る。
【0017】
顔検出及び顔認識は、指紋又は虹彩認識法と比べて煩わしさの少ないバイオメトリクス技術であるが、顔画像を取り込むことができる容易さは、バイオメトリクスの取り込みの承諾をしていない個人のプライバシーを侵害することがある。例えば、空港のチェックイン機及びeゲートのようなバイオメトリクスタッチポイントで顔検出が実行される場合、取り込まれている顔が取り込みを承諾しているか否かにかかわらず、フレーム内のすべての顔が検出される。しかしながら、乗客から有効な承諾を得ることは、承諾をしていない人物のプライバシーを保護するためだけでなく、個人にそのような保護を提供するために制定されたプライバシー法を遵守するためにも必要であり得る。
【0018】
本開示の1つ又は複数の態様は、顔認識を行うためにコントローラ100によって顔の特徴が処理される前にユーザからの承諾を得るシステム、装置、及び方法を提供することによってこのことに対処し得る。例えば、承諾していない人々のプライバシーは、本開示の新規な特徴に従って維持され得る。つまり、カメラフレームから顔を検出する代わりに、ユーザからの承諾を得る前に、頭部パターンを顔の特徴に関連付けることなく、頭部パターンのみを検出する。このようにして、人間の頭部のように見える物体が、顔の特徴の処理なしにカメラフレームから検出され、検出された頭部に関連付けられた人物から得た承諾に基づいて、顔認識を実行するために顔の特徴が処理される。
【0019】
例示的な実施形態によれば、コントローラ100がカメラからの取り込まれた画像内で複数の頭部パターンを検出した場合、コントローラ100は、カメラに最も近い頭部であることが普通である最も大きいサイズを有する頭部パターンを識別し得る。カメラに最も近い頭部を識別した後、コントローラ100は、最も近い頭部パターンに関連付けられたユーザが顔認識のための承諾を提供したと判定し得る。このようにして、他者の頭部をフレーム内で安全に無視してぼかすことができ、それにより、他者のプライバシーを侵害しないことが可能である。頭部領域は顔を含んでも含まなくてもよく、カメラに最も近い頭部のみに検出を制限することによって、承諾した人々のみのバイオメトリクスが取り込まれる。
【0020】
一実施形態によれば、コントローラ100は、頭部パターンがカメラから特定の距離内にあることに基づいて、最も近い頭部パターンに関連付けられたユーザが顔認識に承諾したと判定し得る。例えば、ユーザがカメラに極めて近い場合(すなわち、約1又は2フィート(30.48又は60.96cm)未満)、ユーザがカメラの近くに存在するように積極的な行動を取ったことから、ユーザが顔認識に承諾したと判定され得る。
【0021】
別の例示的な実施形態によれば、コントローラ100は、ユーザへの承諾の問い合わせに対するユーザからの応答に基づいて、最も近い頭部パターンに関連付けられたユーザが顔認識の承諾をしたと判定し得る。例えば、頭部パターンがカメラから特定の距離内にあることなどである。
【0022】
一実施形態によれば、コントローラ100によって1つの頭部パターンしか識別されない場合であっても、コントローラ100は、上記の動作を実行して、ユーザからの承諾が得られたか否かを判定し得る。例えば、検出された頭部パターンがカメラから特定の距離内にある場合、検出された頭部パターンに関連付けられた顔の特徴が処理され得る。それ以外の場合、検出された頭部パターンに関連付けられた顔領域は、覆い隠されたりぼかされたりし得る。
【0023】
一実施形態によれば、
図3Aに示すように、取り込まれた画像内のすべての頭部領域が、ユーザからの承諾を得る前にはぼかされたり覆い隠されたりする。別の実施形態によれば、フレーム全体が、承諾を得る前にはぼかされ得る。その後、
図3Bに示すように、承諾した人の頭部領域のみが覆い隠されたりぼかされたりされず、カメラに最も近い人物以外のすべての人物の残りの頭部領域が覆い隠されたりぼかされたりする。別の実施形態によれば、
図3Cに示すように、カメラに最も近く、承諾した人物の頭部領域を除いて、フレーム全体が覆い隠されたりぼかされたりする。このため、承諾していない人物のプライバシーは侵害されない。
【0024】
一実施形態によれば、承諾した人物の頭部領域が覆い隠されたりぼかされたりしなくなった後、顔処理及び顔認識が、特徴分類(例えば、
図5~
図7を参照)などのAIおよび機械学習を使用して、覆い隠されなくなった領域において行われ得る。コントローラ100は、顔認識の結果に基づいて、ゲート400の開閉を制御し得る。例えば、検出された顔がデータベースに記憶され、認証されたとコントローラ100が判定した場合、コントローラ100は、ゲート400を開くように制御し得る。検出された顔がデータベースに記憶されていない場合、ゲート400は閉じたままにされる。
【0025】
本開示は、上記の自動ゲート装置に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更可能であり得る。
【0026】
図2は、匿名化された人物検出を行うための情報処理システムによって行われる処理の概要を示すフローチャートである。
【0027】
S210において、コントローラ100は、カメラ200によって取り込まれた第1の画像を取得し得る。例示的な実施形態によれば、第1の画像は、空港ターミナル内のセキュリティチェックポイントにあるチェックイン機を取り囲む環境の画像であり得る。
【0028】
S220において、コントローラ100は、第1の画像内の1つ又は複数の頭部パターンを検出し得る。一実施形態によれば、コントローラ100は、AI又は機械学習を使用して頭部検出を行うことによって、1つ又は複数の頭部パターンを検出し得る。一実施形態によれば、コントローラ100は、顔の特徴を使用せずに1つ又は複数の頭部パターンを検出し得る。例えば、コントローラ100は、
図5~
図7に示す頭部検出方法のうちの1つ又は複数を用い得る。
【0029】
S230において、コントローラ100は、1つ又は複数の頭部パターンのうち、カメラに最も近い被写体の頭部パターンとして、第1の頭部パターンを第1の頭部パターンの大きさに基づいて識別し得る。例えば、コントローラ100は、1つ又は複数の頭部パターンのそれぞれの頭部サイズを比較し、1つ又は複数の頭部パターンのうち、カメラに最も近い被写体の頭部パターンとして、最も大きい頭部サイズを有する頭部パターンを識別することによって、最も近い頭部パターンを識別し得る。
【0030】
S240において、コントローラ100は、識別された第1の頭部パターンに基づいて第2の画像を取得し、第2の画像をディスプレイ300に表示する。一実施形態によれば、コントローラ100は、第1の頭部パターンに対応する顔の特徴を取得する承諾をユーザから得た後に、カメラから第1の頭部パターンに対応する顔の特徴のみを取得することによって第2の画像を取得し得る。一実施形態によれば、コントローラ100は、
図3Aに示すように、第1の画像内の1つ又は複数の頭部パターンのすべてを覆い隠すことによって第2の画像を取得し得る。別の実施形態によれば、コントローラ100は、
図3Bに示すように、第1の画像内の第1の頭部パターン以外の1つ又は複数の頭部パターンのすべてを覆い隠すことによって第2の画像を取得し得る。別の実施形態によれば、
図3Cに示すように、カメラに最も近く、承諾した人物の頭部領域を除いて、フレーム全体が覆い隠される。
【0031】
(例示的なケースシナリオ)
【0032】
ケース1:2人以上の人物がカメラから遠くに立っている場合、両方の頭部パターンがぼかされたり覆い隠されたりし、両方の頭部パターンに対して顔認識が行われなくてもよい。
【0033】
ケース2:2人の人物が立っており、右側の人物が左側の人物よりもカメラに近い(そして視線をそらしている)。この場合、左側の人物の頭部領域は、頭部パターンが処理されないようにぼかされる。そして、右側の人物がカメラから特定の距離内にいる、及び/又は承諾した場合、顔認識が右側の人物に対してのみ行われ得る。別の実施形態によれば、右側の人物の頭部領域のみが見える状態にされ、フレームの残りは処理されないようにぼかされる。
【0034】
ケース3:2人の人物が立っており、右側の人物が左側の人物よりもカメラに近い(そしてカメラを見ている)。この場合、左側の人物の頭部領域は、頭部パターンが処理されないようにぼかされる。そして、右側の人物がカメラから特定の距離内にいる、及び/又は承諾した場合、顔認識が右側の人物に対してのみ行われ得る。別の実施形態によれば、右側の人物の頭部領域のみが見える状態にされ、フレームの残りは処理されないようにぼかされる。
【0035】
図4は、例示的な実施形態に係るコントローラ100のハードウェア構成のブロック図を示している。一実施形態によれば、コントローラは、CPU102と、RAM104と、記憶デバイス106と、I/O(入出力)ユニット108と、通信ユニット110とを有する。CPU102、RAM104、記憶デバイス106、I/Oユニット108、及び通信ユニット116は、バスライン118に接続される。
【0036】
CPU102は、記憶デバイス106に記憶されたプログラムを実行することにより動作し、情報処理システムの動作を制御する制御ユニットとして機能し得る。更に、CPU102は、記憶デバイス106に記憶されたアプリケーションプログラムを実行して、自動ゲート装置1としての各種処理を実行し得る。RAM104は、CPU102の動作に必要なメモリフィールドを提供し得る。
【0037】
記憶デバイス106は、不揮発性メモリやハードディスクドライブなどの記憶媒体で構成され、記憶ユニットとして機能し得る。記憶デバイス106は、CPU102によって実行されるプログラム、プログラムが実行されるときにCPU102によって参照されるデータなどを記憶し得る。
【0038】
I/Oユニット108は、ユーザインターフェースを容易にし、外部から入力を受け付けるために入力デバイス及び/又は出力デバイスに接続され得る。
【0039】
通信ユニット110は、ネットワークに接続され、ネットワークを介してデータを送信及び受信し得る。通信ユニット110は、CPU102の制御下でサーバなどと通信する。
【0040】
上記の例示的な実施形態のそれぞれでは、ゲート制御のための顔認識に用いられる情報処理装置及びシステムを例として説明してきたが、本開示はまた、ゲート制御以外の顔認識及び身体追跡の領域にも、1つ又は複数の例示的な実施形態の構成を適宜変更することにより適用可能である。
【0041】
また、1つ又は複数の例示的な実施形態の範囲は、上記の例示的な実施形態の機能を実施するように例示的な実施形態の構成を動作させるためのプログラムを記憶媒体に記憶し、記憶媒体に記憶されたプログラムをコードとして読み出し、コンピュータにおいてコードを実行する処理方法を含む。つまり、コンピュータ可読記憶媒体もまた、それぞれの例示的な実施形態の範囲に含まれる。更に、各実施形態には、上記のプログラムが記憶された記憶媒体だけでなく、プログラム自体も含まれる。更に、上記の例示的な実施形態に含まれる1つ又は複数の構成要素は、各構成要素の機能を実施するように構成された特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などの回路であり得る。
【0042】
記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、コンパクトディスク(CD)-ROM、磁気テープ、不揮発性メモリカード、又はROMが使用され得る。更に、例示的な実施形態のそれぞれの範囲は、記憶媒体に記憶された個々のプログラムによって処理を実行する例に限定されず、他のソフトウェア又はアドインボードの機能と連携してオペレーティングシステム(OS)上で動作して処理を実行する例を含む。
【0043】
上記の1つ又は複数の例示的な実施形態の機能によって実施されるサービスは、ソフトウェア・アズ・ア・サービス(SaaS)の形態でユーザに提供され得る。
【0044】
上記の例示的な実施形態は、いずれも本開示を実施する際の実施形態の例に過ぎず、本開示の技術的範囲は、これらの例示的な実施形態によって限定的に解釈されるべきではないことに留意されたい。つまり、本開示は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形態で実施され得る。
【0045】
本出願は、2020年1月27日に出願された米国仮特許出願第62/966,344号に基づくものであり、且つその優先権の利益を主張する。