IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7196932情報処理装置、情報処理方法、およびプログラム
<>
  • 特許-情報処理装置、情報処理方法、およびプログラム 図1
  • 特許-情報処理装置、情報処理方法、およびプログラム 図2
  • 特許-情報処理装置、情報処理方法、およびプログラム 図3
  • 特許-情報処理装置、情報処理方法、およびプログラム 図4
  • 特許-情報処理装置、情報処理方法、およびプログラム 図5
  • 特許-情報処理装置、情報処理方法、およびプログラム 図6
  • 特許-情報処理装置、情報処理方法、およびプログラム 図7
  • 特許-情報処理装置、情報処理方法、およびプログラム 図8
  • 特許-情報処理装置、情報処理方法、およびプログラム 図9
  • 特許-情報処理装置、情報処理方法、およびプログラム 図10
  • 特許-情報処理装置、情報処理方法、およびプログラム 図11
  • 特許-情報処理装置、情報処理方法、およびプログラム 図12
  • 特許-情報処理装置、情報処理方法、およびプログラム 図13
  • 特許-情報処理装置、情報処理方法、およびプログラム 図14
  • 特許-情報処理装置、情報処理方法、およびプログラム 図15
  • 特許-情報処理装置、情報処理方法、およびプログラム 図16
  • 特許-情報処理装置、情報処理方法、およびプログラム 図17
  • 特許-情報処理装置、情報処理方法、およびプログラム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221220BHJP
【FI】
G06T7/00 510F
【請求項の数】 10
(21)【出願番号】P 2020558776
(86)(22)【出願日】2018-12-07
(86)【国際出願番号】 JP2018045054
(87)【国際公開番号】W WO2020115890
(87)【国際公開日】2020-06-11
【審査請求日】2021-05-27
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】川瀬 伸明
【審査官】小太刀 慶明
(56)【参考文献】
【文献】特開平11-175730(JP,A)
【文献】特開2010-171550(JP,A)
【文献】特開2016-046639(JP,A)
【文献】特開2013-065119(JP,A)
【文献】米国特許出願公開第2018/181797(US,A1)
【文献】特開2009-48347(JP,A)
【文献】特開2016-127563(JP,A)
【文献】特開2010-219607(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
第1画像に含まれる人物から抽出される、前記人物の顔の特徴情報である第1の特徴情報と、記憶手段が記憶する、認証対象の人物の顔の特徴情報である第1の登録特徴情報とを照合する照合手段と、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される、前記人物の顔以外の領域を含む特徴情報である第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
前記照合手段は、第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶手段が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、情報処理装置。
【請求項2】
請求項1に記載の情報処理装置において、
前記照合手段は、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、
情報処理装置。
【請求項3】
第1画像に含まれる人物から抽出される、前記人物の顔の特徴情報である第1の特徴情報と、記憶手段が記憶する、認証対象の人物の顔の特徴情報である第1の登録特徴情報とを照合する照合手段と、
前記人物から抽出される、前記人物の顔以外の領域を含む特徴情報である第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
前記照合手段は、第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶手段が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記照合手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理装置。
【請求項4】
請求項1から3のいずれか一項に記載の情報処理装置において、
前記照合手段は、前記第2画像から前記第2の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第1の特徴情報と前記第1の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理装置。
【請求項5】
請求項1から4のいずれか一項に記載の情報処理装置において、
前記第2画像から特定された前記人物から抽出された前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第2の登録特徴情報を削除する削除手段をさらに備える情報処理装置。
【請求項6】
請求項1から5のいずれか一項に記載の情報処理装置において、
前記第2画像は前記第1画像とは異なるカメラで撮影される、情報処理装置。
【請求項7】
情報処理装置が、
第1画像に含まれる人物から抽出される、前記人物の顔の特徴情報である第1の特徴情報と、記憶装置が記憶する、認証対象の人物の顔の特徴情報である第1の登録特徴情報とを照合し、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、照合結果が不一致だった場合、当該人物から抽出される、前記人物の顔以外の領域を含む特徴情報である第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させ、
第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶装置が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、情報処理方法。
【請求項8】
情報処理装置が、
第1画像に含まれる人物から抽出される、前記人物の顔の特徴情報である第1の特徴情報と、記憶装置が記憶する、認証対象の人物の顔の特徴情報である第1の登録特徴情報とを照合し、
前記人物から抽出される、前記人物の顔以外の領域を含む特徴情報である第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させ、
第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶装置が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する、情報処理方法。
【請求項9】
コンピュータに、
第1画像に含まれる人物から抽出される、前記人物の顔の特徴情報である第1の特徴情報と、記憶装置が記憶する、認証対象の人物の顔の特徴情報である第1の登録特徴情報とを照合する手順、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合する手順における照合結果が不一致だった場合、当該人物から抽出される、前記人物の顔以外の領域を含む特徴情報である第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させる手順、
第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶装置が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する手順、を実行させるためのプログラム。
【請求項10】
コンピュータに、
第1画像に含まれる人物から抽出される、前記人物の顔の特徴情報である第1の特徴情報と、記憶装置が記憶する、認証対象の人物の顔の特徴情報である第1の登録特徴情報とを照合する手順、
前記人物から抽出される、前記人物の顔以外の領域を含む特徴情報である第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させる手順、
第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶装置が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する手順、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する手順、を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像認識処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
特許文献1には、ウォークスルー型の顔画像認証装置の一例が記載されている。特許文献1に記載の顔画像認識装置は、異なる時点で撮像された複数の顔領域画像に含まれる複数の顔(登場人物)について認証候補人物を特定し、認証候補人物と顔画像との類似度の高さを示す指標を用いて認証用の閾値を決定する。ここで用いられる指標は、(類似度が最高となったフレームの割合である1位ヒット率)である。そして、一位ヒット率が高い程、認証用閾値を低くする。そして、表情、顔の向きの変動等により一時的に他人との類似度が高くなったフレームがあったとしても1位ヒット率が低ければ認証用閾値は低くならない。
【0003】
また、特許文献2に記載された人物認識装置は、第1のカメラで撮像された第1画像と、第2のカメラで撮像された第2画像と、からそれぞれ通行者の顔を検出する。ここで、第1のカメラは通行者に認識されやすい状態で設置されており、第2のカメラは通行者に認識されにくい状態で設置されている。そして、両方の検出結果に基づいて通行者を分類し、分類結果に基づいて顔の照合処理に用いる認証用閾値を調整するとともに、認証結果に基づく出力処理内容を決定する。
【0004】
特許文献3に記載された人物判定装置および人物検索追跡装置は、離れたフレームや異なるカメラにより得られる人物画像シーケンスから、人物の歩行状態を検出し、歩行状態に基づいて、異なる画像シーケンスに含まれる人物が同一であるか否かを判定する。これにより、人物の追跡は可能になっている。また、特許文献4には、認証対象者の歩幅、身長、体重、または歩行状態(歩幅、歩調)を検出し、認証情報と照合し、個人認証を行うことが記載されている。特許文献5には、ゲートを通過する人の歩容(歩幅、姿勢、腕の振り方など)に基づいて認証処理を行い、ゲートの解錠施錠を制御するゲート管理システムが記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2013-101551号公報
【文献】特開2008-108243号公報
【文献】国際公開第2006/013765号
【文献】特開2009-104526号公報
【文献】特開2018-77552号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明者は、画像処理を用いて人物を追跡するための新たな手法を検討した。すなわち本発明が目的とするところは、画像処理を用いて人物を追跡するための新たな手法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
【0008】
第一の側面は、情報処理装置に関する。
第一の側面に係る第1の情報処理装置は、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を有し、
前記照合手段は、第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶手段が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する。
第一の側面に係る第2の情報処理装置は、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を有し、
前記照合手段は、第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶手段が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記照合手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する。
【0009】
第二の側面は、少なくとも1つのコンピュータにより実行される情報処理方法に関する。
第二の側面に係る第1の情報処理方法は、
情報処理装置が、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶装置が記憶する第1の登録特徴情報とを照合し、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させ、
第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶装置が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、ことを含む。
第二の側面に係る第2の情報処理方法は、
情報処理装置が、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶装置が記憶する第1の登録特徴情報とを照合し、
前記人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させ、
第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶装置が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する、ことを含む。
【0010】
なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも1つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その情報処理方法を実施させるコンピュータプログラムコードを含む。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【0012】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【0013】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
【0014】
さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【発明の効果】
【0015】
上記各側面によれば、画像処理を用いて注意すべき人物を検出するための新たな手法を提供できる。
【図面の簡単な説明】
【0016】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0017】
図1】本発明の第1の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。
図2図1の記憶装置の第2記憶部のデータ構造の一例を示す図である。
図3図1の情報処理装置の動作の一例を示すフローチャートである。
図4】本発明の第2の実施の形態の情報処理装置の記憶装置の第2記憶部のデータ構造の一例を示す図である。
図5】本発明の第2の実施の形態の情報処理装置の動作において図3のステップS125以降の手順の一例を示すフローチャートである。
図6】本発明の第2の実施の形態の情報処理装置の動作において図5のステップS135以降の手順の例を示すフローチャートである。
図7】本発明の第3の実施の形態に係る情報処理装置の構成を論理的に示す機能ブロック図である。
図8図7の情報処理装置の出力部の情報出力のタイミングを説明するための図である。
図9図7の記憶装置の第2記憶部のデータ構造の一例を示す図である。
図10】本発明の第4の実施の形態の情報処理装置の動作の一例を示すフローチャートである。
図11】本発明の第5の実施の形態の情報処理装置の動作の一例を示すフローチャートである。
図12】本発明の第6の実施の形態の情報処理装置の動作の一例を示すフローチャートである。
図13】各実施形態の情報処理装置を実現するコンピュータの構成の一例を示す図である。
図14】所定エリア内を撮像したカメラの映像の表示画面の例を示す図である。
図15】実施例の記憶装置の第2記憶部に登録されたデータの変化を示す図である。
図16】実施例の記憶装置の第2記憶部の他のデータ構造の例を示す図である。
図17】ある通路に沿って4台のカメラが設置されている場所の状況を模式的に示した図である。
図18】実施例の記憶装置の第2記憶部に登録されたデータの変化を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
【0019】
(第1の実施の形態)
図1は、本発明の実施の形態に係る情報処理装置100の論理的な構成を示す機能ブロック図である。情報処理装置100は、所定のエリア内で撮像画像により認証されない人物を追跡するものである。
【0020】
情報処理装置100は、照合部102と、登録部104と、を備える。本図に示す例において、情報処理装置100は、さらに記憶装置110を含む。記憶装置110は、第1記憶部111(例えば顔特徴情報データベース)および第2記憶部112を含む。記憶装置110は、複数の物理的な記憶媒体や、複数のデータベースによって実現されてもよい。また、第1記憶部111および第2記憶部112は、物理的に同一の装置に含まれてもよいし、物理的に互いに異なる装置に含まれていてもよい。また、第1記憶部111および第2記憶部112は、情報処理装置100の本体と一体であってもよいし、別体であってもよい。
【0021】
照合部102は、第1画像20に含まれる人物から抽出される第1の特徴情報と、記憶装置110が記憶する第1の登録特徴情報とを照合する。
登録部104は、人物から第1の特徴情報を抽出できなかった場合、または、照合部102による照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として記憶装置110に記憶させる。言い換えると、登録部104は、当該人物の第2の特徴情報を記憶装置110に登録する。
そして、照合部102は、第2画像22に含まれる人物から抽出された第2の特徴情報と記憶装置110が記憶する第2の登録特徴情報とを照合することで第2画像22から第2の登録特徴情報に対応する人物を特定する。以下、第1の登録特徴情報を用いた照合処理を「個人特定処理」とも呼び、第2の登録特徴情報を用いた照合処理を「人物特定処理」とも呼ぶ。
【0022】
第1の特徴情報は、人物を特定できる特徴情報であり、本実施形態では、顔の特徴情報とし、以後、顔の特徴情報とも呼ぶ。また、第1記憶部111が記憶する第1の登録特徴情報も、以後、顔の登録特徴情報とも呼ぶ。第1の特徴情報は、他の生体情報、例えば虹彩、耳介、静脈、指紋、歩容などであってもよい。また、第1記憶部111は、一人につき複数種類の生体情報を記憶していてもよい。この場合、照合部102は、複数種類の生体情報を組み合わせて、照合処理を行ってもよい。
【0023】
第2の特徴情報は、顔以外の領域を含む人物の特徴情報であり、以後、「人領域特徴情報」とも呼ぶ。また、第2記憶部112に登録される第2の登録特徴情報も、以後、登録人領域特徴情報とも呼ぶ。人領域特徴情報とは、照合部102により顔認証できなかった人物の背格好又は服装等の見た目の特徴を示す特徴情報である。人領域特徴情報は、背丈、肩幅、身体パーツの比率、衣服(形、色、素材等)、髪型(髪色も含む)、装飾品(帽子、眼鏡、アクセサリ等)、所持品(バッグ、傘、杖等)等の特徴を示す情報を含む。また、人領域特徴情報は、その特徴情報の尤度等の情報を含んでもよい。
【0024】
以下、情報処理装置100について詳細に説明する。
【0025】
まず、情報処理装置100が処理する画像について説明する。第1画像20と第2画像22は、同じ撮像手段により撮像されていてもよいし、異なる撮像手段により撮像されていてもよい。撮像手段は、レンズとCCD(Charge Coupled Device)イメージセンサといった撮像素子を備えるカメラであり、IP(Internet Protocol)カメラ等のネットワークカメラであるのが好ましい。ネットワークカメラは、たとえば、無線LAN(Local Area Network)通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置(不図示)を介して情報処理装置100に接続される。これらのカメラは、所謂、監視カメラであってもよい。そして、撮像手段は、特定の人物の動きに合わせて追従してカメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
【0026】
カメラと情報処理装置100は直接接続されてもよいし、上記したように通信ネットワークなどを介して間接的に接続されてもよい。たとえば、カメラで撮像された画像データが情報処理装置100に直接送信され、情報処理装置100がこの画像データを逐次受信してもよい。また、カメラ及び情報処理装置100の双方がアクセス可能な記憶装置(不図示)を設けてもよい。この場合カメラにより撮像された画像データが、記憶装置に格納され、情報処理装置100が記憶装置から画像データを読み出して取得してもよい。
【0027】
ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラおよび情報処理装置100の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、第1画像20及び第2画像22の少なくとも一方になる。
【0028】
また、実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと(能動的な取得)、および、自装置に他の装置から出力されるデータまたは情報を入力すること(受動的な取得)の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信(または、送信、プッシュ通知等)される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
【0029】
また、カメラから情報処理装置100への画像の送信のタイミングは、リアルタイムに例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。カメラや情報処理装置100のメモリ容量、通信容量、画像処理能力または、カメラと情報処理装置100間の通信状況等に基づいて、タイミングは適宜選択されてもよい、あるいは、状況変化に応じて変更されてもよい。
【0030】
本実施形態において、第1画像20は第1のタイミングで撮像され、第2画像22は、第1のタイミングより後に撮像される。
【0031】
「第1のタイミングの後」とは、第1のタイミングから所定時間経過後、および、第1のタイミングより後の所定時刻のいずれかである。また、この「第1のタイミングの後」で撮影された第2画像22は、異なるタイミングで撮影された複数の画像あってもよい。この場合、照合部102による個人特定処理と人物特定処理は、各画像に対して順次実行される。つまり、人物特定処理後の第2画像22を、次のタイミングで第1画像20として個人特定処理し、さらにその後のタイミングで撮影された第2画像22について人物特定処理を行うという処理を繰り返してもよい。
【0032】
上記したように、情報処理装置100の第1記憶部111には、認証対象となる個人の顔の特徴情報が記憶されている。例えば、第1記憶部111には従業員の顔の特徴情報が記憶されているとする。この場合、撮像画像から検出された顔の特徴情報と一致する顔の特徴情報が第1記憶部111に記憶されていない場合は、その顔の人は、従業員でない人物の可能性があると推定できる。なお、照合処理におけるマッチング方法は様々な手法を用いることができ、特定の方法には限定されない。
【0033】
例えば照合部102における個人特定処理は、以下のいずれかの手順で行うことができるが、これらに限定されない。
(a1)はじめに人領域を検出し、検出した人領域内の顔の領域を特定する。そして、特定した顔領域の認証を行う。
(a2)はじめに顔の領域を検出し、検出した顔領域の認証を行う。そして、顔の領域を含む人領域を特定する。この場合、認証できた場合は、人領域の特定を省略してもよい。
(a3)人領域と顔の領域を検出し、検出した顔領域の認証を行う。
【0034】
さらに、登録部104は、個人特定処理で一致した顔の特徴情報がなかった場合以外に、第1画像20に含まれる人物から顔の領域が特定できず、照合処理が行えなかった人領域に基づく人領域特徴情報を第2記憶部112に記憶させてもよい。例えば、不審者が監視カメラの位置を把握していて、カメラを避けて行動した結果、顔の特徴情報が取得できない場合であっても、その人領域特徴情報を第2記憶部112に記憶させる。
【0035】
照合部102による照合結果とは、第1の特徴情報(顔の特徴情報)または第2の特徴情報(人領域特徴情報)が記憶された特徴情報と一致したことを示す情報と、一致しなかったこと(不一致)を示す情報の少なくともいずれか1つを含む。また、顔の特徴情報との不一致を示す情報は、上記した第1画像20に含まれる人物から顔の特徴情報が抽出できなかった場合を含んでもよい。
【0036】
図2は、第2記憶部112のデータ構造の例を示す図である。
第2記憶部112は、日時情報と、人領域特徴情報とが対応付けて記憶されている。日時情報は、第1画像20の撮像時刻、第1画像20の取得時刻、第1画像20に基づく顔認証処理の実行時刻、前記顔認証処理の結果の取得時刻、および人領域特徴情報の保存時刻の少なくともいずれか1つである。
【0037】
なお、図2の第2記憶部112には人領域特徴情報に日時情報が紐付けて記憶されているが、必ずしも日時情報は必要ではなく、含まなくてもよい。本実施形態の例では、第2記憶部112に、照合部102による個人特定処理において、顔認証できなかった人物の人領域特徴情報が記憶されていて、顔認証できた人物の人領域特徴情報は記憶されない。したがって、本実施形態では、第1画像20に含まれる人物構成は、第2画像22においても変わらないことを前提としている。なお、カメラ10において検出された人物構成から変更がある場合については、他の実施形態で説明する。
【0038】
このように構成された情報処理装置100の動作について以下説明する。図3は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。
まず、カメラ10が所定のエリアを撮像した第1画像を情報処理装置100に送信する(ステップS101)。例えば、第1画像には、3人の人物A、人物B、人物Cが写っているものとする。
【0039】
情報処理装置100において、照合部102は、カメラ10から受信した第1画像20に含まれる人物から顔の特徴情報を抽出する(ステップS111)。ここでは、3人の人物(人物A、人物B、人物C)が検出され、各々の顔の特徴情報が抽出される。そして、照合部102は、抽出した各顔の特徴情報について、第1記憶部111に記憶されている顔の登録特徴情報との照合処理(個人特定処理)をそれぞれ実行する(ステップS113)。
【0040】
ここでは、人物Aについては、第1記憶部111に一致する顔の登録特徴情報が含まれていたものとする(ステップS115のYES)。そこで、人物Aについては個人特定済みとなり、ステップS117以降の処理は行わずに本処理を終了する。一方、人物Bと人物Cについては、第1記憶部111に一致する顔の特徴情報が含まれていなかったため(ステップS115のNO)、ステップS117に進み、第2記憶部112に人物Bと人物Cの人領域に対応する人領域特徴情報と日時情報をそれぞれ記憶させる。つまり、人物Bと人物Cが以降の追跡対象者となる。
【0041】
そして、第1画像20を取得した第1のタイミングより後に、カメラ10から撮像された第2画像22が情報処理装置100に送信される(ステップS103)。情報処理装置100において、照合部102は、カメラ10から第2画像22を受信し、受信した第2画像22から人領域を検出して人領域特徴情報を抽出する(ステップS119)。
【0042】
そして、照合部102は、第2画像22から抽出された人領域特徴情報と、第2記憶部112に記憶されている登録人領域特徴情報との照合処理(人物特定処理)を行う(ステップS121)。
【0043】
そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第2記憶部112に含まれていた場合(ステップS123のYES)、第2画像22において、登録人領域特徴情報に対応する人物Bと人物Cが特定される(ステップS125)。そして、本処理を終了する。
このようにして、第2画像22内において、人物Bと人物Cを追跡できる。
【0044】
一方、抽出された人領域特徴情報と一致する登録人領域特徴情報が第2記憶部112にない人物(ここでは人物A)については(ステップS123のNO)、第2画像22に写っていたとしても追跡対象とはならず、ステップS125はバイパスして本処理を終了する。
【0045】
本フローチャートの処理は、カメラ10から画像が送信される度に繰り返し実行される。ステップS117で第2記憶部112に人領域特徴情報が記憶された人物Bと人物Cについては、第2画像22を受信する毎にステップS119以降の処理が繰り返し実行されてよい。つまり、各第2画像22において、第2記憶部112に記憶された人領域特徴情報に対応する人物Bと人物Cが追跡され続ける。
【0046】
以上説明したように、本実施形態の情報処理装置100において、照合部102により第1画像20について個人の特定ができなかった人物について人領域特徴情報を未確定人物の情報として登録部104が第2記憶部112に記憶させる。そして、照合部102により、第2画像22から抽出された人領域特徴情報と第2記憶部112に記憶されている登録人領域特徴情報とが照合され、一致する人物が特定される。この構成によれば、第1画像20で未確定となった人物について、第1画像20より後のタイミングで撮像された第2画像22において人領域特徴情報に基づいて人物を特定できるので、未確定人物の追跡を続けることができる。
【0047】
このように、本実施形態によれば、所定エリア内において、第1のタイミング以降、認証されない人物(すなわち、注意すべき人物)を追跡することができ、当該人物の人領域特徴情報を未確定人物として第2記憶部112に記憶させることができる。例えば、認証できない不審者等が所定エリアに紛れ込んでいた場合等に、その人物を追跡し続けることができる。
【0048】
(第2の実施の形態)
本実施形態の情報処理装置100は、第2画像22に含まれる人物を特定した後、当該人物から抽出される顔の特徴情報を用いた照合処理を行う点以外は図1の上記実施形態の情報処理装置100と同じである。本実施形態の情報処理装置100は、図1の上記実施形態の情報処理装置100と同じ構成を有するので、以下、図1を用いて説明する。
【0049】
照合部102は、第2画像22から特定された人物から抽出される顔の特徴情報と、記憶装置110の第1記憶部111が記憶する顔の登録特徴情報とを照合する。
【0050】
つまり、第2画像22で追跡を続行している人物について、顔認証処理を行うことで未確定人物について個人の特定を行うことができる。第1のタイミングで撮像された第1画像20では顔をカメラから背けていたために顔認証がうまくいかなかったとしても、第1のタイミングより後に撮像された第2画像22では顔が写っていれば、再度顔認証に成功する可能性がある。
【0051】
図4は、本実施形態の第2記憶部112のデータ構造の一例を示す図である。
第2記憶部112は、図2の第2記憶部112の日時情報と人領域特徴情報に加え、確定フラグをさらに含む。確定フラグは、照合部102による顔認証処理により個人が特定できたこと、又は特定できなかったことを示すフラグであり、例えば、確定済みは「1」、未確定は「0」とすることができる。あるいは、確定済みは「0」、未確定は「1」としてもよい。さらに、例えば、確定済みのみフラグをセットし、未確定はNULLとしてもよい。または、確定する前、つまり未確定のみフラグをセットし、確定後はNULLとしてもよい。あるいは、第2記憶部112に、個人を特定した顔認証処理の実行日時を人領域特徴情報に対応付けて記憶されてもよい。
【0052】
本実施形態において、第2画像22において特定された人物から抽出された顔の特徴情報の照合処理で一致となった場合に、登録部104は、第2記憶部112に記憶されている当該人物に対応する登録人領域特徴情報に紐付けられている確定フラグを0から1にセットする。
【0053】
あるいは、情報処理装置100は、第2画像22から特定された人物から抽出された顔の特徴情報と第1記憶部111が記憶する顔の登録特徴情報との照合結果が一致となった場合、第2記憶部112から当該人物の登録人領域特徴情報を削除する削除部(不図示)を備えてもよい。削除部を有する構成では、第2記憶部112のデータ構造は上記実施形態の図2とする。
【0054】
図5は、本実施形態の情報処理装置100の動作の例を示すフローチャートである。
図5(a)のフローチャートは、図3のフローチャートのステップS125の後に、ステップS131~ステップS133を含む。
【0055】
照合部102は、ステップS125で第2画像22から特定された人物から顔の特徴情報を抽出し(ステップS131)、抽出された顔の特徴情報と、記憶装置110の第1記憶部111が記憶する顔の登録特徴情報との照合処理(個人特定処理)を行い(ステップS133)、本処理を終了する。
【0056】
さらに、図5(b)に示すように、照合部102は、第2画像22から第2の登録特徴情報(登録人領域特徴情報)に対応する人物を特定する処理(図3のステップS119~ステップS125)、および、特定された当該人物から抽出された第1の特徴情報(顔の特徴情報)と第1の登録特徴情報(顔の登録特徴情報)とを照合する処理(図5(a)のステップS131~ステップS133)を、照合結果が一致となるまで(図5(b)のステップS135のYES)繰り返す(図3のステップS119に戻る)。
【0057】
例えば、上記実施形態で未確定人物として追跡されていた人物Bと人物Cのうち、人物Cについては、図3のステップS113の個人特定処理では、第1画像20で顔が写っていなかったために顔認証に失敗していたとする。しかし、第1画像20より後に撮影された第2画像22では顔が写っていたとすると、図5(a)のステップS133の個人特定処理では顔認証に成功し、個人が特定できる。
【0058】
本実施形態では、所定時間内、又は所定時刻までの間、繰り返し撮像された複数の第2画像22について照合部102により照合処理を繰り返すことができる。
【0059】
また、照合部102により顔認証に成功し、個人が特定された人領域特徴情報に対する処理として、図4の第2記憶部112を用いる例(図6(a))と、情報処理装置100が削除部を有し、図2の第2記憶部112を用いる例(図6(b))と2つについて説明する。
【0060】
まず、図6(a)の例について説明する。
ステップS133で特定された人物から抽出された顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報のいずれかが一致した場合(ステップS135のYES)、登録部104は、図4の第2記憶部112において、顔認証できた人物に対応する人領域特徴情報に紐付けられている確定フラグに1をセットする(ステップS137)。そして、本処理を終了する。
【0061】
ここでは、人物Cについて個人の特定ができたものとし(ステップS135のYES)、人物Cに対応する人領域特徴情報に紐付けられている確定フラグに1がセットされる(ステップS137)。
【0062】
一方、ステップS133で特定された人物から抽出された顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報のいずれとも不一致だった場合(ステップS135のNO)、ステップS137をバイパスして、本処理を終了する。つまり、図4の第2記憶部112の人領域特徴情報に紐付けられている確定フラグは0のままとなる。この例では、人物Bについて、顔認証に失敗したものとし(ステップS135のNO)、ステップS137はバイパスして本処理は終了する。よって人物Bの人領域特徴情報に紐付けられている確定フラグは0のままとなる。
【0063】
図6(b)の例では、ステップS133で特定された人物から抽出された顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報のいずれかが一致した場合(ステップS135のYES)、削除部は、顔認証できた人物に対応する人領域特徴情報を図2の第2記憶部112から削除する。
【0064】
ここでは、人物Cについて、第1記憶部111に一致する顔の特徴情報が含まれたものとし(ステップS135のYES)、削除部は、図2の第2記憶部112から人物Cに対応する人領域特徴情報を削除する(ステップS139)。
【0065】
一方、ステップS133で特定された人物から抽出された顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報のいずれとも不一致だった場合(ステップS135のNO)、ステップS139をバイパスして、本処理を終了する。つまり、第2記憶部112に人領域特徴情報は保存されたままとなる。
【0066】
ここでは、人物Bについて、第1記憶部111に一致する顔の特徴情報が含まれていなかったものとし(ステップS135のNO)、ステップS139はバイパスして本処理を終了する。このように、図2の第2記憶部112の場合は、人物Bの人領域特徴情報のみが第2記憶部112に記憶され続けることになる。
【0067】
以上説明したように、本実施形態によれば、照合部102により、第2画像22から特定された人物から抽出される顔の特徴情報と第1記憶部111が記憶する顔の登録特徴情報との照合処理を行うことで、第1画像20では顔認証できなかった人物についても、第1画像20より後のタイミングで撮像された第2画像22では顔認証に成功し、個人を特定できる。
【0068】
そして、第2記憶部112に顔認証できたか否かを示す情報(確定フラグ)を人領域特徴情報に紐付けて記憶するか、あるいは、顔認証できた人領域特徴情報は第2記憶部112から削除するので、第2記憶部112を参照することで、所定時間内、または、所定時刻までに顔認証できなかった人物について人領域特徴情報を取得できる。
【0069】
(第3の実施の形態)
図7は、本実施形態の情報処理装置100の構成を論理的に示す機能ブロック図である。
本実施形態の情報処理装置100は、図1の上記実施形態の情報処理装置100の構成に加え、さらに、出力部120を有している点以外は、上記実施形態と同じである。
【0070】
本実施形態において、登録部104は、第2記憶部112に、時刻情報とともに人領域特徴情報を記憶させる。そして、出力部120は、所定の条件に従い、第2記憶部112に記憶されている登録人領域特徴情報に関する情報を出力する。
【0071】
第一の所定の条件の例では、出力部120は、時刻情報が示す時刻から基準時間以上経過しても、第2画像22から登録人領域特徴情報との照合により特定された人物から顔の特徴情報を抽出できなかった場合、又は、第2画像22から登録人領域特徴情報との照合により特定された人物から抽出される顔の特徴情報との照合結果が不一致だった場合に、当該登録人領域特徴情報に関する情報を出力する。
【0072】
ここで、時刻情報とは、図2または図4の第2記憶部112の日時情報に相当し、第2記憶部112に人領域特徴情報が記憶された時刻、照合対象の画像の撮像(又は記憶)の時刻、照合対象の画像を受信した時刻、照合処理の実行時刻、および照合結果が第2記憶部112に記憶された時刻の少なくともいずれか1つである。
【0073】
また、第二の所定の条件の例では、出力部120は、基準のタイミングにおいて第2記憶部112に記憶されている登録人領域特徴情報に関する情報を出力する。上記実施形態で説明した図2の第2記憶部112の場合、基準のタイミングにおいて第2記憶部112に残っている登録人領域特徴情報に対応する人物が、当該タイミングまで個人が特定できなかった未確定人物となる。そこで、出力部120は、当該登録人領域特徴情報に関する情報、例えば、当該登録人領域特徴情報に対応する人領域の画像等を表示することで、オペレータに未確定人物を認識させることができる。
基準のタイミングとは、所定時刻、あるいは、最後又は所定位置のカメラでの撮影タイミング等である。
【0074】
出力部120は、例えば、ディスプレイに撮像画像を表示するとともに、各人物に重畳して認証済みか否かを示すマークを表示する。例えば、認証済みの人物には「OK」、未認証の人物には「NG」等のマークを表示する。なお、認証済みの人物にのみ「OK」マークを表示してもよいし、未認証の人物にのみ「NG」マークを表示してもよい。また、登録人領域特徴情報を抽出した画像に、認証済みの人物と未認証の人物の人領域を識別可能にする画像(例えば、人領域を色違いの矩形の枠で囲む)を描画して重畳表示してもよい。または、未認証の人物の人領域を強調表示してもよい。
【0075】
出力部120の出力形態は、画面表示だけでなく、アラート音をスピーカから出力したり、所定の宛先または端末にメッセージを送信したり、LED(Light Emitting Diode)表示器等を点滅または点灯させたり、プリンタに情報を印字出力したりしてもよい。また、出力部120は、所定エリアの出入り口の扉の施錠装置に施錠解錠制御信号またはゲート、自動ドア、シャッター等の駆動装置に開閉制御信号を出力してもよい。すなわち、基準時間経過後、または、基準のタイミングにおいて認証されていない人物の人領域特徴情報が第2記憶部112に残っていた場合に、当該人領域特徴情報に対応する人物がエリアから出入りできないように、扉の施錠やゲートを閉じる制御信号を各装置に出力してもよい。
【0076】
さらに、出力部120は、カメラに対し、認証されてない人物の人領域を含む撮像画像の画質や解像度を上げる制御信号や、当該人領域に追従させたりズームインさせたりする制御信号を出力してもよい。
【0077】
また、登録人領域特徴情報に関する情報とは、登録人領域特徴情報に対応する人領域の画像を含んでもよい。また、その登録人領域特徴情報が、認証済みであるか、認証済みでないかを示す情報、画像の撮像時刻、顔認証を行った時刻等の情報を含んでもよい。また、監視対象エリアが複数ある場合は、エリアの識別情報を含んでもよい。また、複数のカメラ10を用いている場合、当該登録人領域特徴情報の人領域を含む画像を撮影したカメラ10の識別情報を含んでもよい。
【0078】
図8は、出力部120の情報出力のタイミングを説明するための図である。図8(c)については、後述する実施形態で説明する。
図8(a)の例では、人領域特徴情報の初回の記憶のタイミングの時刻から、基準時間以上継続して第2記憶部112に記憶され続けた人領域特徴情報について、出力部120はアラートを出力している。この例では、個々の人物について基準時間以内で顔認証できたか否かを監視することができる。
【0079】
図8(b)の例では、第2記憶部112に記憶されている人領域特徴情報について、ある基準のタイミング、例えば、所定の時刻等において、残っている人領域特徴情報について、出力部120はアラートを出力している。
【0080】
以上説明したように、本実施形態において、登録部104により、時刻情報とともに人領域特徴情報が第2記憶部112に記憶され、出力部120により、時刻情報が示す時刻から基準時間以上経過しても、顔認証されない人物の登録人領域特徴情報に関する情報が出力される。本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、あるエリア内で、所定時間以上又は所定時刻までに認証できなかった人物に関する情報を報知することができる。
【0081】
また、本実施形態において、出力部120により、基準のタイミングにおいて第2記憶部112に記憶されている登録人領域特徴情報に関する情報が出力される。本実施形態によれば、所定の時刻毎に認証できていない人物に関す情報を報知することができる。
【0082】
(第4の実施の形態)
本実施形態の情報処理装置100は、第1画像から抽出された全ての人物の人領域特徴情報を第2記憶部112に記憶させ、登録人領域特徴情報で追跡しながら、顔認証ができるまで顔認証処理を繰り返す構成を有する点以外は、上記実施形態に示した情報処理装置100と同じである。本実施形態の情報処理装置100は、図1の上記実施形態の情報処理装置100と同じ構成を有するので、以下、図1を用いて説明する。なお、本実施形態はその他の実施形態の情報処理装置100と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。
【0083】
本実施形態では、以下の点で上記実施形態と異なる。
登録部104は、第1画像20に含まれる人物から抽出される人領域特徴情報を登録人領域特徴情報として第2記憶部112に記憶させる。
照合部102は、第2画像22に含まれる人物から抽出された人領域特徴情報と第2記憶部112が記憶する登録人領域特徴情報とを照合することで、第2画像22から登録人領域特徴情報に対応する人物を特定する。照合部102は、第1画像20に含まれる人物から顔の特徴情報を抽出できなかった場合、または、第1画像20に含まれる人物から抽出される顔の特徴情報と第1の登録特徴情報(顔の登録特徴情報)との照合結果が不一致だった場合、第2画像22から特定された人物から抽出される顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報とを照合する。
【0084】
さらに、登録部104は、第1画像20に含まれる人物から抽出される顔の特徴情報と顔の登録特徴情報との照合結果を示す情報を、登録人領域特徴情報に対応付けて第2記憶部112に記憶させてもよい。あるいは、登録部104は、第1画像20に含まれる人物から顔の特徴情報を抽出できなかったことを示す情報を、登録人領域特徴情報に対応付けて第2記憶部112に記憶させてもよい。
【0085】
図9は、本実施形態の第2記憶部112のデータ構造の一例を示す図である。
第2記憶部112は、日時情報と、人領域特徴情報と、照合結果フラグとが対応付けて記憶されている。日時情報は、第1画像20の撮像時刻、第1画像20の取得時刻、第1画像20に基づく認証処理の実行時刻、前記認証処理の結果の取得時刻、および登録人領域特徴情報の保存時刻の少なくともいずれか1つである。
【0086】
照合結果フラグは、照合部102による顔の特徴情報の照合結果を示す情報である。照合結果を示す情報とは、顔の登録特徴情報と一致したことを示す情報、および顔の登録特徴情報と一致しなかったことを示す情報の少なくともいずれかを含む。
照合処理で、第1記憶部111に一致する顔の登録特徴情報があった場合、つまり、個人が特定できた場合、例えば、照合結果フラグには、「1」がセットされ、一致した顔の登録特徴情報がなかった場合、例えば、照合結果フラグには、「0」がセットされる。さらに、例えば、一致した場合のみ照合結果フラグをセットし、一致した顔の特徴情報がなかった場合はNULLとしてもよい。あるいは、照合結果フラグには、一致した場合に「0」がセットされ、不一致の場合に「1」がセットされてもよい。また、不一致の場合に照合結果フラグをセットし、一致の場合にNULLとしてもよい。
【0087】
照合部102は、照合結果を示す情報が、第1画像20に含まれる人物から抽出される顔の特徴情報との照合結果が不一致だったことを示す場合に、第2画像22から特定された人物から抽出される顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報とを照合する。
【0088】
照合部102は、登録人領域特徴情報に対応付けられている情報が、第1画像20に含まれる人物から顔の特徴情報を抽出できなかったことを示す場合に、第2画像22から特定された人物から抽出される顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報とを照合する。
【0089】
また、本実施形態の情報処理装置100は、図7の上記実施形態の情報処理装置100と同様な出力部120を備えてもよい。
【0090】
図10は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。
なお、本図において、上記実施形態と同じ処理手順については同じステップ番号を付してある。
まず、カメラ10が所定のエリアを撮像した第1画像20を情報処理装置100に送信する(ステップS101)。例えば、第1画像20には、3人の人物A、人物B、人物Cが写っているものとする。
【0091】
情報処理装置100において、照合部102は、カメラ10から受信した第1画像20に含まれる人物から顔の特徴情報を抽出する(ステップS111)。ここでは、3人の人物(人物A、人物B、人物C)が検出され、各々の顔の特徴情報が抽出される。そして、照合部102は、抽出した各顔の特徴情報について、第1記憶部111に記憶されている顔の登録特徴情報との照合処理(個人特定処理)をそれぞれ実行する(ステップS113)。
【0092】
ここでは、人物Aについては、第1記憶部111に一致する顔の特徴情報が含まれていたものとする。つまり、人物Aについては個人特定済みとなるので、登録部104は、人物Aの照合結果フラグに一致したことを示す情報として「1」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第2記憶部112に記憶させる(ステップS201)。
【0093】
一方、人物Bと人物Cについては、第1記憶部111に一致する顔の特徴情報が含まれていなかったものとする。よって、登録部104は、人物Bと人物Cの照合結果フラグに不一致を示す情報として「0」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第2記憶部112に記憶させる(ステップS201)。
【0094】
そして、第1画像20を取得した第1のタイミングより後に、カメラ10から撮像された第2画像22が情報処理装置100に送信される(ステップS103)。情報処理装置100において、照合部102は、カメラ10から第2画像22を受信し、受信した第2画像22から人領域を検出して人領域特徴情報を抽出する(ステップS119)。
【0095】
そして、照合部102は、第2画像22から抽出された人領域特徴情報と、第2記憶部112に記憶されている登録人領域特徴情報との照合処理(人物特定処理)を行う(ステップS121)。そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第2記憶部112に含まれていた場合(ステップS123のYES)、第2画像22において、登録人領域特徴情報に対応する人物が特定される(ステップS125)。この例では、第2記憶部112に記憶されている3人の人物A、人物B、人物Cが特定される。
【0096】
そして、照合部102は、第2記憶部112を参照し、各人物の顔の特徴情報による照合結果が一致であることを示す照合結果フラグが「1」でない場合(ステップS203のNO)、ステップS205に進む。照合結果が一致の場合、すなわち、照合結果フラグが「1」の場合(ステップS203のYES)、ステップS205~ステップS209はバイパスして本処理を終了する。ここでは、人物Aの照合結果フラグが1なので、人物Aについては処理を終了する。人物Bと人物Cについて照合結果フラグが0なのでステップS205に進む。
【0097】
そして、照合部102は、特定された各人物から顔の特徴情報を抽出する(ステップS205)。ここでは、2人の人物(人物B、人物C)の各々の顔の特徴情報が抽出される。そして、照合部102は、抽出した各顔の特徴情報について、第1記憶部111に記憶されている顔の登録特徴情報との照合処理(個人特定処理)をそれぞれ実行する(ステップS207)。
【0098】
ここでは、人物Cについて、第1記憶部111に一致する顔の特徴情報が含まれていたものとする。つまり、人物Cについては個人特定済みとなるので、登録部104は、人物Cの照合結果フラグに一致したことを示す情報として「1」をセットし、人物Cに対応する人領域特徴情報と日時情報とに照合結果フラグを対応付けて記憶させ(ステップS209)、本処理を終了する。
【0099】
一方、人物Bについて、第1記憶部111に一致する顔の特徴情報が含まれていなかったものとする。登録部104は、人物Bの照合結果フラグに不一致を示す情報として「0」をセットし、人物Bに対応する人領域特徴情報と日時情報と照合結果フラグを対応付けて記憶させ(ステップS209)、本処理を終了する。
【0100】
このようにして、第2画像22を用いて、各人物(人物A、人物B、人物C)の追跡を継続しながら、顔認証ができていない人物について顔認証を再試行できる。最初にカメラに対して顔が向いていなかった人物が、後でカメラの方向に顔を向けた時に撮像された画像を用いて顔認証を実行して個人を特定することができる。
【0101】
ステップS209において、第2記憶部112に記憶される人領域特徴情報と、ステップS201で第2記憶部112に既に記憶されている人領域特徴情報との両方を、関連付けて記憶してもよい。あるいは、ステップS207で特定された人領域特徴情報で第2記憶部112の人領域特徴情報を上書きしてもよいし、ステップS201で第2記憶部112に既に記憶されている人領域特徴情報を残し照合結果フラグのみを更新してもよい。
【0102】
本フローチャートの処理は、カメラ10から第2画像22が送信される度にステップS119以降の処理が繰り返し実行される。
【0103】
また、第2画像22において第1画像20には含まれていなかった新たな人物Dが検出された場合、すなわち、第2画像22から抽出された人領域特徴情報に一致する人領域特徴情報が第2記憶部112に記憶されていなかった場合(ステップS123のNO)、当該第2画像22を第1画像20として、ステップS111に戻り、当該人領域特徴情報について新たな人物Dとして処理を繰り返してもよい。
【0104】
また、本実施形態において、ステップS209の後、図5(a)のステップS131~ステップS133、さらに、図5(b)のステップS135、および、図6(a)のステップS135~ステップS137、又は図6(b)のステップS135~ステップS139を実行してもよい。
【0105】
以上説明したように、本実施形態において、登録部104により第1画像20に含まれる人物から抽出される人領域特徴情報が、照合部102による顔認証の照合結果を示す情報に紐付けられて第2記憶部112に記憶される。第1画像20より後のタイミングで撮像された第2画像22において、第2記憶部112が記憶している人領域特徴情報に対応する各人物を特定することで追跡することができる。そして、照合部102により、第2画像22において特定された人物のうち、未だ顔認証により個人が特定されていない人物について、顔認証処理が行われる。
【0106】
本実施形態によれば、上記実施形態と同様な効果を奏するとともに、画像に含まれる人物を人領域特徴情報で追跡しながら、顔認証が済んでいない人物について顔認証を実行して個人を特定していくことができる。
【0107】
さらに、本実施形態では、登録部104により各画像に含まれる全ての人物について顔認証の照合結果に対応付けて人領域特徴情報が第2記憶部112に記憶される。この構成によれば、所定のエリア内で人の出入りがあった場合でも、各人物の追跡と個人の特定処理を継続して行うことができる。さらに、所定のエリア内に存在している人物の総数をカウントして確認したり、当該エリアに進入またはエリアから退出した人物を時刻情報とともに確認したりすることも可能となる。
【0108】
(第5の実施の形態)
本実施形態の情報処理装置100は、上記実施形態とは、経路に沿って設置された複数のカメラの撮像画像を用いて所定の経路の始点から終点までの間に、認証されない人物を見つけるための構成を有する点以外は上記第1から第3のいずれかの実施形態と同じである。
本実施形態の情報処理装置100は、図1の情報処理装置100と同じ構成である場合について説明するので、図1を用いて説明する。
【0109】
情報処理装置100は、経路に沿って設置された複数のカメラ10のそれぞれが生成した画像を処理する。
【0110】
経路とは、異なる2点(例えば、始点と終点)を少なくとも含み、この2点の間を人が通る道筋である。経路とは、例えば、ある施設、建物、またはエリアの入口から入場して出口から退場するまでに通る道順であってもよいし、ある敷地の入口から入場して、建物の出入口に入場するまでの間に通るアプローチであってもよいし、あるエリアから他のエリアへ移動するための通路であってもよいし、ある駅の改札口における入場から他の駅の改札口における退場までに通る経路であってもよい。また、2点間を人が通る道筋は、人毎に異なってよい。
【0111】
経路に沿って設置された複数のカメラは、人が経路に入る始点に設置された第1のカメラと、経路から出る終点に設置された第2のカメラの少なくとも2つのカメラを含む。
本実施形態において、第1画像20は、第1のカメラにより撮像され画像である。第2画像22は、経路に沿う方向において第1のカメラより後に位置する第2のカメラにより撮像された画像である。また、第2画像22は、第1画像20が撮像される第1のタイミングより後のタイミングで撮像される。なお、経路に沿う方向は、人物毎に異なってもよい。
【0112】
具体的には、照合部102は、第1画像20に含まれる人物から抽出される顔の特徴情報と、記憶装置110の第1記憶部111が記憶する顔の登録特徴情報とを照合する。
登録部104は、人物から顔の特徴情報を抽出できなかった場合、または、照合部102による照合結果が不一致だった場合、当該人物から抽出される人領域特徴情報を登録人領域特徴情報として記憶装置110の第2記憶部112に記憶させる。
そして、照合部102は、第2画像22に含まれる人物から抽出された人領域特徴情報と第2記憶部112が記憶する登録人領域特徴情報とを照合することで第2画像22から登録人領域特徴情報に対応する人物を特定する。
【0113】
さらに、経路に沿って設置される複数のカメラのうち、第2のカメラは、始点から経路に沿って経路の終点までの間に所定の間隔、または所定の位置に複数設置される。
照合部102は、複数の第2のカメラによって撮像された第2の画像22に対して、第2記憶部112が記憶している人領域特徴情報との照合処理を行うことで人領域特徴情報に対応する人物を特定する。これにより、本実施形態の情報処理装置100では、第1のタイミングとは異なる時点又は異なる位置、または異なる複数の第2のカメラにより撮像された複数の画像間で、経路を通行している人領域(人物)をそれぞれ追跡することが可能になる。
【0114】
本実施形態の第2記憶部112は、図2または図4のいずれかのデータ構造を有してよい。
【0115】
また、本実施形態の情報処理装置100は、図7の第3実施形態と同じ出力部120を備えてもよい。本実施形態の出力部120と第3実施形態の出力部120は、出力条件が以下の点で異なる。なお、本実施形態の出力部120は、第3実施形態の出力部120と同じ条件を組み合わせて用いる構成も含んでよい。
【0116】
出力部120の出力条件は、複数の第2のカメラのうち、経路に沿う方向において最後(終点)または所定の位置に設置された第2のカメラが生成した画像を用いて照合部102が特定した人物について、照合部102による照合処理でいずれの顔の特徴情報にも一致しないことである。
【0117】
出力部120は、複数の第2のカメラのうち、経路に沿う方向において最後(終点)または所定の位置に設置された第2のカメラが生成した画像から照合部102が特定した人領域について、顔の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された人領域特徴情報に関する情報を出力する。
【0118】
また、登録部104は、人領域特徴情報を時刻情報とともに第2記憶部112に記憶させ、出力部120は、時刻情報が示す時刻から基準時間以上経過しても、第2記憶部112が記憶する顔の登録特徴情報との照合結果が一致とならない人領域特徴情報に関する情報を出力してもよい。
ここで、照合結果が一致とならないとは、第2画像22から特定された人物から顔の特徴情報を抽出できなかった場合、または、第2画像22から特定された人物から抽出される顔の特徴情報と顔の登録特徴情報との照合結果が不一致だった場合を含む。
【0119】
また、本実施形態の出力部120は、上記実施形態の出力部120の出力形態に加え、さらに、例えば、経路の両端または途中に設けられたゲートの駆動装置に開閉制御信号を出力してもよい。すなわち、経路の所定の場所に設置された第2のカメラが生成した画像を用いて照合部102が特定した人物について、照合部102により照合処理でいずれの顔の特徴情報にも一致しなかった場合、当該人物が経路を通過できないように、経路途中または出入り口に設けられたゲートを閉じる制御信号をゲート駆動装置に出力してもよい。
【0120】
図8(c)に示すように、入口から入場した人物が、出口から退場した時点で第2記憶部112に残っている人領域特徴情報に関する情報を出力部120は出力する。
【0121】
図11は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。
まず、経路の入り口に設置された第1のカメラ(第1カメラ10aとも呼ぶ)が所定のエリアを撮像した第1画像20を情報処理装置100に送信する(ステップS101)。例えば、第1画像20には、3人の人物A、人物B、人物Cが写っているものとする。
【0122】
情報処理装置100において、照合部102は、第1カメラ10aから受信した第1画像20に含まれる人物から顔の特徴情報を抽出する(ステップS111)。ここでは、3人の人物(人物A、人物B、人物C)が検出され、各々の顔の特徴情報が抽出される。そして、照合部102は、抽出した各顔の特徴情報について、第1記憶部111に記憶されている顔の登録特徴情報との照合処理(個人特定処理)をそれぞれ実行する(ステップS113)。
【0123】
ここでは、人物Aについては、第1記憶部111に一致する顔の登録特徴情報が含まれていたものとする(ステップS115のYES)。そこで、人物Aについては個人特定済みとなり、ステップS117以降の処理は行わずに本処理を終了する。一方、人物Bと人物Cについては、第1記憶部111に一致する顔の特徴情報が含まれていなかったため(ステップS115のNO)、ステップS117に進み、第2記憶部112に人物Bと人物Cの人領域特徴情報と日時情報をそれぞれ記憶させる。
【0124】
そして、第1画像20を取得した第1のタイミングより後に、経路に沿う方向において第1カメラ10aより後に位置する第2のカメラ(第2カメラ10bとも呼ぶ)から撮像された第2画像22が情報処理装置100に送信される(ステップS103)。情報処理装置100において、照合部102は、第2カメラ10bから第2画像22を受信し、受信した第2画像22から人領域を検出して人領域特徴情報を抽出する(ステップS119)。
【0125】
そして、照合部102は、第2画像22から抽出された人領域特徴情報と、第2記憶部112が記憶している登録人領域特徴情報との照合処理(人物特定処理)を行う(ステップS121)。そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第2記憶部112に含まれていた場合(ステップS123のYES)、第2画像22において、登録人領域特徴情報に対応する人物Bと人物Cが特定される(ステップS125)。そして、本処理を終了する。
このようにして、第2画像22内において、人物Bと人物Cを追跡できる。
【0126】
一方、抽出された人領域特徴情報と一致する登録人領域特徴情報が第2記憶部112にない人物(ここでは人物A)については(ステップS123のNO)、追跡対象とはならず、ステップS125はバイパスして本処理を終了する。
【0127】
本フローチャートの処理は、各カメラ10から画像が送信される度に繰り返し実行される。ステップS117で第2記憶部112に人領域特徴情報が記憶された人物Bと人物Cについては、第2画像22を受信する毎にステップS119以降の処理が繰り返し実行されてよい。つまり、各第2画像22において、第2記憶部112が記憶している人領域特徴情報に対応する人物Bと人物Cが追跡され続ける。
【0128】
以上説明したように、本実施形態の情報処理装置100において、経路に沿って設置された複数のカメラの撮像画像を用いて、第1のタイミングで第1カメラ10aにより撮像された第1画像20について顔認証処理ができなかった人領域の人領域特徴情報を未確定人物の情報として登録部104が第2記憶部112に記憶させる。そして、第1のタイミングより後に、経路に沿う方向において第1カメラ10aより後に位置する第2カメラ10bにより撮像された第2画像22について照合部102により第2記憶部112が記憶している人領域特徴情報と一致する人物が特定される。
【0129】
このように、本実施形態によれば、経路に入ってから経路から出るまでの間に、顔認証により個人が特定できない人物の人領域特徴情報を未確定人物として第2記憶部112に記憶させることができる。第1記憶部111に顔の特徴情報が記憶されていない、本来、通行を許可されていない人物等が通路を通行しようとした場合等に、その人物の人領域特徴情報を第2記憶部112に記憶させて追跡することができる。
【0130】
また、本実施形態において、登録部104により、人領域特徴情報が初回の記憶のタイミングの時刻情報とともに第2記憶部112に記憶され、出力部120により、基準時間以上継続して、第2記憶部112に記憶され続けた人領域特徴情報に関する情報が出力される。
【0131】
あるいは、本実施形態において、出力部120により、複数の第2のカメラのうち、経路に沿う方向において最後または所定の位置に設置された第2のカメラが生成した画像を用いて照合部102が特定した人物について、顔の特徴情報による照合処理で不一致となった場合、当該人物の人領域特徴情報に関する情報が出力される。
【0132】
この構成によれば、経路を通行している人物のうち、顔認証により個人を特定できない人物の情報を、当該人物が経路の出口を出るところ、又は所定の位置で報知することができる。例えば、第1記憶部111には、通行が許可されている人物の顔の登録特徴情報が記憶されており、通行に許可が必要な通路の出口で、第1記憶部111に記憶されている顔の登録特徴情報との照合結果が不一致の人物、つまり、通行を許可されていない人物の通行を報知することが可能になる。
【0133】
(第6の実施の形態)
本実施形態の情報処理装置100は、顔認証の照合結果に関わらず、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像された第1画像20に含まれる人物から抽出された人領域特徴情報を第2記憶部112に記憶させ、経路に沿う方向において第1のカメラより後に位置する第2のカメラにより撮像された第2画像22において第2記憶部112が記憶した人領域特徴情報を用いて人物を特定して追跡する。
【0134】
本実施形態の情報処理装置100は、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像された第1画像20と、経路に沿う方向において第1のカメラより後に位置する第2のカメラにより撮像された第2画像22とを用いて処理する点以外は、上記第4実施形態の情報処理装置100の構成と同じである。
【0135】
照合部102は、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像された第1画像20に含まれる人物から抽出される顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報とを照合する。登録部104は、人物から抽出される人領域特徴情報を第2記憶部112(図9)に記憶させる。照合部102は、経路に沿う方向において第1のカメラより後に位置する複数の第2のカメラのそれぞれが生成した第2画像22に含まれる人物から抽出された人領域特徴情報と第2記憶部112が記憶する登録人領域特徴情報とを照合することで第2画像22から人物を特定することで、当該人物を追跡する。
【0136】
そして、照合部102は、第1画像20に含まれる人物から顔の特徴情報を抽出できなかった場合、または、第1画像20に含まれる人物から抽出される顔の特徴情報と顔の登録特徴情報との照合結果が不一致だった場合、第2画像22から特定された人物から抽出される顔の特徴情報と、第1記憶部111が記憶する顔の登録特徴情報とを照合する。
【0137】
このように構成された本実施形態の情報処理装置100の動作について説明する。図12は、本実施形態の情報処理装置100の動作の一例を示すフローチャートである。以下の説明では、第2記憶部112は図9のデータ構造を有するものとして説明するが、必ずしも照合結果フラグは必要ではなく、第2記憶部112は少なくとも人領域特徴情報を含んでいればよい。
【0138】
まず、経路の入り口に設置された第1カメラ10aが所定のエリアを撮像した第1画像20を情報処理装置100に送信する(ステップS101)。例えば、第1画像20には、3人の人物A、人物B、人物Cが写っているものとする。
【0139】
情報処理装置100において、照合部102は、複数のカメラ10のうちの第1カメラ10aから受信した第1画像に含まれる人物から顔の特徴情報を抽出する(ステップS111)。ここでは、3人の人物(人物A、人物B、人物C)が検出され、各々の顔の特徴情報が抽出される。そして、照合部102は、抽出した各顔の特徴情報について、第1記憶部111に記憶されている顔の登録特徴情報との照合処理(個人特定処理)をそれぞれ実行する(ステップS113)。
【0140】
ここでは、人物Aについては、第1記憶部111に一致する顔の登録特徴情報が含まれていたものとする。つまり、人物Aについては個人特定済みとなるので、登録部104は、人物Aの照合結果フラグに一致したことを示す情報として「1」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第2記憶部112に記憶させる(ステップS201)。
【0141】
一方、人物Bと人物Cについては、第1記憶部111に一致する顔の特徴情報が含まれていなかったものとする。よって、登録部104は、人物Bと人物Cの照合結果フラグに不一致を示す情報として「0」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第2記憶部112に記憶させる(ステップS201)。
【0142】
そして、第1画像20を取得した第1のタイミングより後に、経路に沿う方向において第1カメラ10aより後に位置する第2カメラ10bから撮像された第2画像22が情報処理装置100に送信される(ステップS103)。情報処理装置100において、照合部102は、第2カメラ10bから第2画像22を受信し、受信した第2画像22から人領域を検出して人領域特徴情報を抽出する(ステップS119)。
【0143】
そして、照合部102は、第2画像22から抽出された人領域特徴情報と、第2記憶部112に記憶されている登録人領域特徴情報との照合処理(人物特定処理)を行う(ステップS121)。そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第2記憶部112に含まれていた場合(ステップS123のYES)、第2画像22において、登録人領域特徴情報に対応する人物Bと人物Cが特定される(ステップS125)。この例では、第2記憶部112に記憶されている3人の人物A、人物B、人物Cが特定される。
【0144】
そして、照合部102は、第2記憶部112を参照し、照合結果フラグが、各人物の顔の特徴情報による照合結果が一致であることを示す「1」でない場合(ステップS203のNO)、ステップS205に進む。照合結果が一致の場合、すなわち、照合結果フラグが「1」の場合(ステップS203のYES)、ステップS205~ステップS209はバイパスして本処理を終了する。ここでは、人物Aの照合結果フラグが1なので、人物Aについては処理を終了する。人物Bと人物Cについて照合結果フラグが0なのでステップS205に進む。
【0145】
そして、照合部102は、特定された各人物から顔の特徴情報を抽出する(ステップS205)。ここでは、2人の人物(人物B、人物C)の各々の顔の特徴情報が抽出される。そして、照合部102は、抽出した各顔の特徴情報について、第1記憶部111に記憶されている顔の登録特徴情報との照合処理(個人特定処理)をそれぞれ実行する(ステップS207)。
【0146】
ここでは、人物Cについて、第1記憶部111に一致する顔の特徴情報が含まれていたものとする。つまり、人物Cについては個人特定済みとなるので、登録部104は、人物Cの照合結果フラグに一致したことを示す情報として「1」をセットし、人物Cに対応する人領域特徴情報と日時情報とに照合結果フラグを対応付けて記憶させ(ステップS209)、本処理を終了する。
【0147】
一方、人物Bについて、第1記憶部111に一致する顔の特徴情報が含まれていなかったものとする。登録部104は、人物Bの照合結果フラグに不一致を示す情報として「0」をセットし、人物Bに対応する人領域特徴情報と日時情報と照合結果フラグを対応付けて記憶させ(ステップS209)、本処理を終了する。
【0148】
このようにして、経路において複数のカメラを用いて撮像された第2画像22を用いて、各人物(人物A、人物B、人物C)の追跡を継続しながら、顔認証ができていない人物について顔認証を再試行できる。経路を通行している間に複数のカメラで撮像された複数の画像を用いて顔認証処理を繰り返し行うことで、最初にカメラに対して顔が向いていなかった人物が、後でカメラの方向に顔を向けた時に撮像された画像を用いて顔認証を実行して個人を特定することができる。
【0149】
ステップS209において、第2記憶部112に記憶される人領域特徴情報と、ステップS201で第2記憶部112に既に記憶されている人領域特徴情報との両方を、関連付けて記憶してもよい。あるいは、ステップS207で特定された人領域特徴情報で第2記憶部112の人領域特徴情報を上書きしてもよいし、ステップS201で第2記憶部112に既に記憶されている人領域特徴情報を残し照合結果フラグのみを更新してもよい。
【0150】
本フローチャートの処理は、カメラ10から第2画像22が送信される度にステップS119以降の処理が繰り返し実行される。
【0151】
また、第2画像22において第1画像20には含まれていなかった新たな人物Dが検出された場合、すなわち、第2画像22から抽出された人領域特徴情報に一致する人領域特徴情報が第2記憶部112に記憶されていなかった場合(ステップS123のNO)、当該第2画像22を第1画像20として、ステップS111に戻り、当該人領域特徴情報について新たな人物Dとして処理を繰り返してもよい。
【0152】
また、本実施形態において、ステップS209の後、図5(a)のステップS131~ステップS133、さらに、図5(b)のステップS135、および、図6(a)のステップS135~ステップS137、又は図6(b)のステップS135~ステップS139を実行してもよい。
【0153】
この構成によれば、人物が経路内の途中で引き返した場合であっても、第1画像20が撮像された後のタイミングで撮像された第2画像22を用いて第2記憶部112に記憶された人領域特徴情報を用いて人物を特定して追跡することができる。
【0154】
また、この構成においても、図7を用いて説明した出力部120を備えてもよい。
具体的には、出力部120は、複数のカメラのうち、経路の最後または所定の位置に設置されたカメラの画像において、照合部102により特定された人物について、第1記憶部111が記憶する顔の登録特徴情報と一致しなかった場合、当該人物の人領域特徴情報に関する情報を出力する。
【0155】
図13は、上述した各実施形態の情報処理装置を実現するコンピュータ80の構成の一例を示す図である。
コンピュータ80は、CPU(Central Processing Unit)82、メモリ84、メモリ84にロードされた図1および図7の各情報処理装置の構成要素を実現するプログラム90、そのプログラム90を格納するストレージ85、I/O(Input/Output)86、およびネットワーク接続用インタフェース(通信I/F87)を備える。
【0156】
CPU82、メモリ84、ストレージ85、I/O86、通信I/F87は、バス89を介して互いに接続され、CPU82により情報処理装置全体が制御される。ただし、CPU82などを互いに接続する方法は、バス接続に限定されない。
【0157】
メモリ84は、RAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。ストレージ85は、ハードディスク、SSD(Solid State Drive)、またはメモリカードなどの記憶装置である。
【0158】
ストレージ85は、RAMやROMなどのメモリであってもよい。ストレージ85は、コンピュータ80の内部に設けられてもよいし、コンピュータ80がアクセス可能であれば、コンピュータ80の外部に設けられ、コンピュータ80と有線または無線で接続されてもよい。あるいは、コンピュータ80に着脱可能に設けられてもよい。
【0159】
CPU82が、ストレージ85に記憶されるプログラム90をメモリ84に読み出して実行することにより、各実施形態の情報処理装置の各ユニットの各機能を実現することができる。
【0160】
I/O86は、コンピュータ80と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ80に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置(不図示)と、ディスプレイ、プリンタ、およびスピーカ等の出力装置(不図示)と、これらの入出力装置とコンピュータ80のインタフェースとを含む。さらに、I/O86は、他の記録媒体の読み取りまたは書き込み装置(不図示)とのデータの入出力制御を行ってもよい。
【0161】
通信I/F87は、コンピュータ80と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信I/F87は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、情報処理装置を実現するコンピュータ80は、通信I/F87によりネットワークを介して少なくとも1台のカメラ10と接続される。
【0162】
各実施形態の情報処理装置の各構成要素は、本図のコンピュータ80のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。上述した各実施形態の情報処理装置を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
【0163】
情報処理装置は、複数のコンピュータ80により構成されてもよいし、仮想サーバにより実現されてもよい。コンピュータ80は、本システムを利用する監視対象の場所(例えば、施設内)に設置されてもよいし、クラウドコンピューティングの形態で提供されてもよい。施設内のカメラをネットワークに接続し、クラウド上のサーバを構成するコンピュータ80に撮像画像を送信してもよい。また、施設内のコンピュータ80とクラウド上のコンピュータ80を組み合わせ、情報処理装置の各ユニットの各機能を両者に分散させて実行させてもよい。
【0164】
また、状況に応じて、画像解析処理を行うコンピュータ80を、施設内のコンピュータ80とクラウド上のコンピュータ80から選択してもよい。例えば、通常は施設内のコンピュータ80で認証処理を行い、高精度な解析処理を行いたい場合には、クラウド上のコンピュータ80で認証処理を行う構成としてもよい。
【0165】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
たとえば、情報処理装置は、さらに、特定人物の特徴情報が記憶されている特定人物途中情報データベースを含み、第1記憶部111が記憶する顔の特徴情報を用いた照合処理では一致しなかった人物に対し、照合部102は、特定人物特徴情報データベースを用いて照合処理を行ってもよい。
【0166】
例えば、第1記憶部111には従業員の顔の特徴情報が記憶されていて、特定人物特徴情報データベースには、VIP(Very Important Person)、または、犯罪歴のある人物や要注意人物としてブラックリストに載っている人物等、特に見つけたい特定人物の顔の特徴情報が記憶されていてもよい。従業員を認証した後、認証されなかった人物に対して、特定人物の特徴情報との照合処理を行うことで、特定人物を検出できる可能性がある。出力部120は、特定人物が検出された場合、特定人物に関する情報を出力してもよい。
【0167】
また、照合部102は、第1の登録特徴情報(顔の登録特徴情報)又は第2の登録特徴情報(登録人領域特徴情報)との照合処理において、所定回数以上一致した場合に、照合結果を一致としてもよい。所定回数は、特徴情報別に設定できてよい。情報処理装置100は、所定回数の設定を受け付けるメニュー画面を表示してオペレータからの操作を受け付け、設定することができる。
【実施例
【0168】
(実施例1)
本実施例では、所定エリア内で、所定時間以上、又は所定時刻までに、認証されない人物を見つける例について説明する。本実施例は、第1実施形態の情報処理装置100の構成を用いた例である。
【0169】
図14は、所定エリア内を撮像したカメラ10の映像をコンピュータ80のディスプレイ(不図示)に表示した画面の例を示す図である。図15は、第2記憶部112に記憶されたデータの変化を示す図である。なお、図15では、模式的にデータ内容を示してあり、例えば、人物Cの人領域に対応する人領域特徴情報は、「人検出」の項目に「C」と示してある。
【0170】
図14(a)は、第1時刻(9時10分)の映像画面である。照合部102により3人の人物A、人物B、人物Cの人領域が検出されたものとする。そして、照合部102による第1記憶部111が記憶する顔の特徴情報との照合処理により人物Aと人物Bについては一致する顔の特徴情報が見つかり、認証済みとなったが、人物Cについては、一致する顔の特徴情報が見つからず、未認証となったとする。
【0171】
この時の第2記憶部112に記憶されている情報の例を図15(a)に示す。図15(a)の例では、第2記憶部112には、顔認証がされなかった人領域の人領域特徴情報と、人領域特徴情報を抽出した画像の撮影日時情報とが記憶されている。ここでは、顔認証されなかった人物Cの人領域特徴情報が記憶されている。
【0172】
次に、図14(b)は、第1時刻より後の第2時刻(9時20分)の映像画面である。照合部102により既に照合処理が完了し、認証済みの人物A、人物Bについて、出力部120により、画面上の人領域に対応付けて、「OK」マークが重畳表示されている。また、認証できなかった人物C、人物Dについて、出力部120により、画面上の人領域に対応付けて「NG」マークが重畳表示されている。
図15(b)の第2記憶部112には、新たに検出された人物Dの人領域の人領域特徴情報(D)がさらに記憶されている。
【0173】
さらに、図14(c)は、第2時刻の後の第3時刻(9時25分)の映像画面である。照合部102により人物Dについても顔認証できたので、人物Dについても、出力部120により画面上の人領域に対応付けて、「OK」マークが重畳表示されている。人物Cについては、顔認証ができなかったので、出力部120により、画面上の人領域に対応付けて「NG」マークが重畳表示されている。そして、人物Dについて顔認証されたので、図15(c)に示すように、削除部(不図示)により第2記憶部112から人物Dの人領域に対応する人領域特徴情報のレコードは削除されている。
【0174】
そして、所定時間が経過した第4時刻(10時)において、第2記憶部112に人物Cの人領域特徴情報のみが残っているため、図14(d)に示すように、出力部120は、未確認人物として人物Cをクローズアップした画像をディスプレイに表示する。
【0175】
図16は、第2記憶部112の他のデータ構造の例を示す図である。
図16の例は、第4の実施形態の情報処理装置100の構成を用いた例を示している。
図16の第2記憶部112には、人領域特徴情報と、人領域特徴情報を抽出した画像の撮影日時情報と、人領域特徴情報に対応する人領域において顔認証の結果(認証された場合は「済」、認証できなかった場合は「未」)と、顔認証された場合に照合処理を実行した日時情報とが記憶されている。なお、図16では、模式的に顔認証について「済」および「未」と記載しているが、実際には、フラグがセットされてよい。
【0176】
図16の例では、所定時間が経過した第4時刻(10時)において、第2記憶部112の顔認証の結果が、「未」となっている人物Cの人領域特徴情報(C)に関する情報を出力する。ここでは、図14(d)に示すように、出力部120は、未確認人物として人物Cをクローズアップした画像をディスプレイに表示する。
【0177】
(実施例2)
本実施例では、経路に沿って設置された複数のカメラを用いて、少なくとも経路の入口から入って出口から出るまでの間に認証できなかった人物を見つける例について説明する。本実施例は、第6の実施形態の情報処理装置100の構成を用いた例である。
【0178】
図17は、ある通路に沿って4台のカメラ(10-1~10-4)が設置されている場所の状況を模式的に示した図である。経路の両端にカメラ10-1とカメラ10-4が設置されていて、通路の途中にカメラ10-1よりにカメラ10-2、カメラ10-4よりにカメラ10-3が設置されている。
【0179】
複数の人物A~Fが通路を歩いている。各人物に付してある矢印は人物の進行方向を示している。また、カメラ10-1とカメラ10-4の位置には、通路への入退場を行うゲート(不図示)が設置されているものとする。
【0180】
図17(a)から順に、図17(b)、図17(c)と時間が経過した状態を示している。例えば、人物Dは、図17(a)の時点で入口から通路に入場し、図17(b)の時点でカメラ10-2の前を通過している。そして、図17(c)の時点では、カメラ10-3の前を通過している。人物Dは、通路に入場後、まもなくして顔認証が完了している。
【0181】
図中、「OK」マークが付されている人物は、顔認証済みであり、「NG」マークが付されている人物は、顔認証ができてない人物を示している。図17のように、出力部120は、各カメラで撮影された画像を合成してディスプレイに顔認証の結果を示すマークを重畳表示してもよい。あるいは、カメラ毎の映像に顔認証の結果を示すマークを重畳表示してもよい。
【0182】
図18は、第2記憶部112に記憶されたデータの変化を示す図である。本実施形態では、第2記憶部112は、複数のテーブルを含む。各カメラで撮像された画像において検出された人領域特徴情報と、検出された日時情報とが記憶されている4つのテーブルT1~T4と、各カメラで検出された人領域特徴情報の情報を統合し、人領域特徴情報の人領域別に照合部102による顔認証結果と、認証日時とが記憶されているテーブルT5とを含む。
図18(a)から順に、図18(b)、図18(c)と時間が経過した状態を示している。
【0183】
例えば、人物Bは、図18(a)の時点で、カメラ10-3の前を通過していて、カメラ10-4とカメラ10-3の画像で人領域特徴情報が検出され、テーブルT4とテーブルT3に記憶されている。そして、照合部102による顔認証ができていないことがテーブルT5に記憶されている。
【0184】
そして、人物Bは、図18(b)の時点で、カメラ10-2の前を通過していて、カメラ10-2の画像でも人領域特徴情報が検出され、テーブルT2にも記憶されている。そして、照合部102による顔認証ができてないことがテーブルT5に記憶されている。
【0185】
さらに、人物Bは、図18(c)の時点で、カメラ10-1の前を通過し、カメラ10-1の画像で人領域特徴情報が検出され、テーブルT1に記憶されている。そして、照合部102により顔認証ができていないことがテーブルT5に記憶されている。よって、出力部120は、人物Bは経路の最後のカメラで撮像された画像においても顔認証されていないので、人物Bについてアラートを出力する。
【0186】
(実施例3)
本実施例では、空港内において、監視カメラを用いて撮影した画像を用いる。登録部104は、空港内の人物の人領域特徴情報を第2記憶部112に記憶させる。
また、チェックイン時にパスポート情報の取得と顔の撮影をカメラにより行い、登録部104は、記憶装置110の第1記憶部111は、チェックイン済みの人の顔の特徴情報をパスポート情報と紐づけて記憶する。
そして、空港内の各カメラにより撮影された映像について、照合部102が登録人領域特徴情報を用いて人物を追跡しながら、顔認証処理を実行する。基準時間以上照合に成功しない人物を特定し、出力部120はアラートを上げる。ここで、基準時間以上照合に成功しない人物とは、長時間、未チェックインなのに空港内をうろうろしている要注意人物である。
【0187】
また、記憶装置110の第1記憶部111に顔の特徴情報が記憶されたチェックイン済みの人のうち、保安検査を通過した人を照合の対象から外す。具体的には、第1記憶部111から顔データを削除する。または、第1記憶部111の顔の特徴情報にフラグ付けをして照合の対象から除外する。
【0188】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
【0189】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
前記照合手段は、第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶手段が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、情報処理装置。
2. 1.に記載の情報処理装置において、
前記照合手段は、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、
情報処理装置。
3. 第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
前記照合手段は、第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶手段が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記照合手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理装置。
4. 1.から3.のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第2画像から前記第2の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第1の特徴情報と前記第1の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理装置。
5. 1.から4.のいずれか一つに記載の情報処理装置において、
前記第2画像から特定された前記人物から抽出された前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第2の登録特徴情報を削除する削除手段をさらに備える情報処理装置。
6. 1.から5.のいずれか一つに記載の情報処理装置において、
前記第2画像は前記第1画像とは異なるカメラで撮影される、情報処理装置。
7. 1.から6.のいずれか一つに記載の情報処理装置において、
前記第1画像は、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像され、前記第2画像は、前記経路に沿う方向において前記第1のカメラより後に位置する第2のカメラにより撮像される、情報処理装置。
8. 7.に記載の情報処理装置において、
複数の第2のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第2のカメラが生成した前記第2画像から前記照合手段が特定した前記人物について、前記第1の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第2の特徴情報に関する情報を出力する出力手段を備える情報処理装置。
9. 1.から8.のいずれか一つに記載の情報処理装置において、
前記第1画像は第1のタイミングで撮像され、前記第2画像は、前記第1のタイミングより後に撮像される、情報処理装置。
10. 1.から9.のいずれか一つに記載の情報処理装置において、
前記登録手段は、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との前記照合結果を示す情報を、前記第2の登録特徴情報に対応付けて前記記憶手段に記憶させ、
前記照合手段は、前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理装置。
11. 1.から10.のいずれか一つに記載の情報処理装置において、
前記登録手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す情報を、前記第2の登録特徴情報に対応付けて前記記憶手段に記憶させ、
前記照合手段は、前記情報が、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理装置。
12. 1.から11.のいずれか一つに記載の情報処理装置において、
前記登録手段は、前記記憶手段に、時刻情報とともに前記第2の特徴情報を記憶させ、
前記時刻情報が示す時刻から基準時間以上経過しても、前記第2画像から特定された前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報との前記照合結果が不一致だった場合、当該第2の特徴情報に関する情報を出力する出力手段をさらに備える情報処理装置。
13. 1.から12.のいずれか一つに記載の情報処理装置において、
前記照合手段は、前記第1の登録特徴情報又は前記第2の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理装置。
14. 1.から13.のいずれか一つに記載の情報処理装置において、
前記第1の特徴情報は顔の特徴情報であり、前記第2の特徴情報は顔以外の領域を含む特徴情報である情報処理装置。
15. 1.から14.のいずれか一つに記載の情報処理装置において、
基準のタイミングにおいて前記記憶手段に記憶されている前記第2の登録特徴情報に関する情報を出力する出力手段をさらに備える情報処理装置。
【0190】
16. 第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
前記照合手段は、第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶手段が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、情報処理システム。
17. 16.に記載の情報処理システムにおいて、
前記照合手段は、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、
情報処理システム。
18. 第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
前記照合手段は、第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶手段が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記照合手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理システム。
19. 16.から18.のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第2画像から前記第2の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第1の特徴情報と前記第1の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理システム。
20. 16.から19.のいずれか一つに記載の情報処理システムにおいて、
前記第2画像から特定された前記人物から抽出された前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第2の登録特徴情報を削除する削除手段をさらに備える情報処理システム。
21. 16.から20.のいずれか一つに記載の情報処理システムにおいて、
前記第2画像は前記第1画像とは異なるカメラで撮影される、情報処理システム。
22. 16.から21.のいずれか一つに記載の情報処理システムにおいて、
前記第1画像は、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像され、前記第2画像は、前記経路に沿う方向において前記第1のカメラより後に位置する第2のカメラにより撮像される、情報処理システム。
23. 22.に記載の情報処理システムにおいて、
複数の第2のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第2のカメラが生成した前記第2画像から前記照合手段が特定した前記人物について、前記第1の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第2の特徴情報に関する情報を出力する出力手段を備える情報処理システム。
24. 16.から23.のいずれか一つに記載の情報処理システムにおいて、
前記第1画像は第1のタイミングで撮像され、前記第2画像は、前記第1のタイミングより後に撮像される、情報処理システム。
25. 16.から24.のいずれか一つに記載の情報処理システムにおいて、
前記登録手段は、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との前記照合結果を示す情報を、前記第2の登録特徴情報に対応付けて前記記憶手段に記憶させ、
前記照合手段は、前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理システム。
26. 16.から25.のいずれか一つに記載の情報処理システムにおいて、
前記登録手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す情報を、前記第2の登録特徴情報に対応付けて前記記憶手段に記憶させ、
前記照合手段は、前記情報が、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理システム。
27. 16.から26.のいずれか一つに記載の情報処理システムにおいて、
前記登録手段は、前記記憶手段に、時刻情報とともに前記第2の特徴情報を記憶させ、
前記時刻情報が示す時刻から基準時間以上経過しても、前記第2画像から特定された前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報との前記照合結果が不一致だった場合、当該第2の特徴情報に関する情報を出力する出力手段をさらに備える情報処理システム。
28. 16.から27.のいずれか一つに記載の情報処理システムにおいて、
前記照合手段は、前記第1の登録特徴情報又は前記第2の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理システム。
29. 16.から28.のいずれか一つに記載の情報処理システムにおいて、
前記第1の特徴情報は顔の特徴情報であり、前記第2の特徴情報は顔以外の領域を含む特徴情報である情報処理システム。
30. 16.から29.のいずれか一つに記載の情報処理システムにおいて、
基準のタイミングにおいて前記記憶手段に記憶されている前記第2の登録特徴情報に関する情報を出力する出力手段をさらに備える情報処理システム。
【0191】
31. 情報処理装置が、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶装置が記憶する第1の登録特徴情報とを照合し、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させ、
第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶装置が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、情報処理方法。
32. 31.に記載の情報処理方法において、
前記情報処理装置が、
前記第2画像から特定された前記人物から抽出される前記第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する、
情報処理方法。
33. 情報処理装置が、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶装置が記憶する第1の登録特徴情報とを照合し、
前記人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させ、
第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶装置が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定し、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する、情報処理方法。
34. 31.から33.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第2画像から前記第2の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第1の特徴情報と前記第1の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理方法。
35. 31.から34.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
前記第2画像から特定された前記人物から抽出された前記第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報との照合結果が一致となった場合、前記記憶装置から当該人物の前記第2の登録特徴情報を削除する、情報処理方法。
36. 31.から35.のいずれか一つに記載の情報処理方法において、
前記第2画像は前記第1画像とは異なるカメラで撮影される、情報処理方法。
37. 31.から36.のいずれか一つに記載の情報処理方法において、
前記第1画像は、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像され、前記第2画像は、前記経路に沿う方向において前記第1のカメラより後に位置する第2のカメラにより撮像される、情報処理方法。
38. 37.に記載の情報処理方法において、
前記情報処理装置が、
複数の第2のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第2のカメラが生成した前記第2画像から特定した前記人物について、前記第1の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第2の特徴情報に関する情報を出力する、情報処理方法。
39. 31.から38.のいずれか一つに記載の情報処理方法において、
前記第1画像は第1のタイミングで撮像され、前記第2画像は、前記第1のタイミングより後に撮像される、情報処理方法。
40. 31.から39.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との前記照合結果を示す情報を、前記第2の登録特徴情報に対応付けて前記記憶装置に記憶させ、
前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する、情報処理方法。
41. 31.から40.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す情報を、前記第2の登録特徴情報に対応付けて前記記憶装置に記憶させ、
前記情報が、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する、情報処理方法。
42. 31.から41.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
前記記憶装置に、時刻情報とともに前記第2の特徴情報を記憶させ、
前記時刻情報が示す時刻から基準時間以上経過しても、前記第2画像から特定された前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報との前記照合結果が不一致だった場合、当該第2の特徴情報に関する情報を出力する、情報処理方法。
43. 31.から42.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、
前記第1の登録特徴情報又は前記第2の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理方法。
44. 31.から43.のいずれか一つに記載の情報処理方法において、
前記第1の特徴情報は顔の特徴情報であり、前記第2の特徴情報は顔以外の領域を含む特徴情報である情報処理方法。
45. 31.から44.のいずれか一つに記載の情報処理方法において、
前記情報処理装置が、さらに、
基準のタイミングにおいて前記記憶装置に記憶されている前記第2の登録特徴情報に関する情報を出力する、情報処理方法。
【0192】
46. コンピュータに、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶装置が記憶する第1の登録特徴情報とを照合する手順、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合する手順における照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させる手順、
第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶装置が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する手順、を実行させるためのプログラム。
47. 46.に記載のプログラムにおいて、
コンピュータに、
前記第2画像から特定された前記人物から抽出される前記第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する手順、を実行させるためのプログラム。
48. コンピュータに、
第1画像に含まれる人物から抽出される第1の特徴情報と、記憶装置が記憶する第1の登録特徴情報とを照合する手順、
前記人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶装置に記憶させる手順、
第2画像に含まれる人物から抽出された第2の特徴情報と前記記憶装置が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する手順、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する手順、を実行させるためのプログラム。
49. 46.から48.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
前記第2画像から前記第2の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第1の特徴情報と前記第1の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す手順、を実行させるためのプログラム。
50. 46.から49.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
前記第2画像から特定された前記人物から抽出された前記第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報との照合結果が一致となった場合、前記記憶装置から当該人物の前記第2の登録特徴情報を削除する手順、をさらに実行させるためのプログラム。
51. 46.から50.のいずれか一つに記載のプログラムにおいて、
前記第2画像は前記第1画像とは異なるカメラで撮影される、プログラム。
52. 46.から51.のいずれか一つに記載のプログラムにおいて、
前記第1画像は、経路に沿って設置された複数のカメラのうちの第1のカメラにより撮像され、前記第2画像は、前記経路に沿う方向において前記第1のカメラより後に位置する第2のカメラにより撮像される、プログラム。
53. 52.に記載のプログラムにおいて、
コンピュータに、
複数の第2のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第2のカメラが生成した前記第2画像から特定した前記人物について、前記第1の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第2の特徴情報に関する情報を出力する手順、を実行させるためのプログラム。
54. 46.から53.のいずれか一つに記載のプログラムにおいて、
前記第1画像は第1のタイミングで撮像され、前記第2画像は、前記第1のタイミングより後に撮像される、プログラム。
55. 46.から54.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
前記第1画像に含まれる人物から抽出される前記第1の特徴情報と前記第1の登録特徴情報との前記照合結果を示す情報を、前記第2の登録特徴情報に対応付けて前記記憶装置に記憶させる手順、
前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する手順、を実行させるためのプログラム。
56. 46.から55.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す情報を、前記第2の登録特徴情報に対応付けて前記記憶装置に記憶させる手順、
前記情報が、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかったことを示す場合に、前記第2画像から特定された前記人物から抽出される第1の特徴情報と、前記記憶装置が記憶する前記第1の登録特徴情報とを照合する手順、を実行させるためのプログラム。
57. 46.から56.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
前記記憶装置に、時刻情報とともに前記第2の特徴情報を記憶させる手順、
前記時刻情報が示す時刻から基準時間以上経過しても、前記第2画像から特定された前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報との前記照合結果が不一致だった場合、当該第2の特徴情報に関する情報を出力する手順、をさらに実行させるためのプログラム。
58. 46.から57.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
前記第1の登録特徴情報又は前記第2の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする手順、を実行させるためのプログラム。
59. 46.から58.のいずれか一つに記載のプログラムにおいて、
前記第1の特徴情報は顔の特徴情報であり、前記第2の特徴情報は顔以外の領域を含む特徴情報であるプログラム。
60. 46.から59.のいずれか一つに記載のプログラムにおいて、
コンピュータに、
基準のタイミングにおいて前記記憶装置に記憶されている前記第2の登録特徴情報に関する情報を出力する手順、をさらに実行させるためのプログラム。
【0193】
61. 経路に沿って設置された複数のカメラのそれぞれが生成した画像を処理する情報処理装置であって、
前記複数のカメラのうちの第1のカメラにより撮像される第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第2の特徴情報を第2の登録特徴情報として前記記憶手段に登録する登録手段と、を備え、
前記照合手段は、前記経路に沿う方向において前記第1のカメラより後に位置する第2のカメラにより撮像される第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶手段が記憶する前記第2の登録特徴情報とを照合することで前記第2画像から前記第2の登録特徴情報に対応する人物を特定する、情報処理装置。
62. 経路に沿って設置された複数のカメラのそれぞれが生成した画像を処理する情報処理装置であって、
前記複数のカメラのうちの第1のカメラにより撮像される第1画像に含まれる人物から抽出される第1の特徴情報と、記憶手段が記憶する第1の登録特徴情報とを照合する照合手段と、
前記人物から抽出される第2の特徴情報を前記記憶手段に登録する登録手段と、を備え、
前記照合手段は、前記経路に沿う方向において前記第1のカメラより後に位置する第2のカメラにより撮像される第2画像に含まれる人物から抽出された前記第2の特徴情報と前記記憶手段が記憶する第2の登録特徴情報とを照合することで前記第2画像から前記人物を特定し、
前記照合手段は、前記第1画像に含まれる前記人物から前記第1の特徴情報を抽出できなかった場合、または、前記第1画像に含まれる人物から抽出される前記第1の特徴情報との照合結果が不一致だった場合、前記第2画像から特定された前記人物から抽出される前記第1の特徴情報と、前記記憶手段が記憶する前記第1の登録特徴情報とを照合する、情報処理装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18