知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-26
(45)【発行日】2023-01-10
(54)【発明の名称】人物検知装置、方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221227BHJP
【ＦＩ】
G06T7/00 660B
【請求項の数】
20
(21)【出願番号】P 2019146355
(22)【出願日】2019-08-08
(65)【公開番号】P2021026668
(43)【公開日】2021-02-22
【審査請求日】2021-07-06
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100092772
【弁理士】
【氏名又は名称】阪本 清孝
(74)【代理人】
【識別番号】100119688
【弁理士】
【氏名又は名称】田邉 壽二
(72)【発明者】
【氏名】徐 建鋒
(72)【発明者】
【氏名】田坂 和之
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０１７－１５６８８６（ＪＰ，Ａ）
【文献】特開２０１０－２６８４４１（ＪＰ，Ａ）
【文献】国際公開第２０１４／０８３９１０（ＷＯ，Ａ１）
【文献】城殿 清澄 他２名，高解像度レーザレーダと画像の統合による歩行者認識，ＳＳＩＩ２０１２ 第１８回画像センシングシンポジウム 講演論文集 ［ＣＤ－ＲＯＭ］，日本，画像センシング技術研究会，2012年06月06日，p.IS2-07-1～IS2-07-6
【文献】岡田 亜沙美 他２名，大域的最適な複数対象追跡における進行方向制約を用いた精度向上，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2014年01月16日，Vol.113,No.403，p.89～96
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知装置において、
フレームに人物領域の全てを初期登録する手段と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手段と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手段と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手段とを具備し、
前記人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在すると、その中で前フレームの人物領域との類似度が所定の閾値以上の人物領域候補のうち当該類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする人物検知装置。
【請求項2】
前記人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在するが、その中に前フレームの人物領域との類似度が所定の閾値以上の人物領域候補が存在しないと、当該前フレームの人物領域を現フレームに人物領域として登録することを特徴とする請求項１に記載の人物検知装置。
【請求項3】
前記人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする請求項１または２に記載の人物検知装置。
【請求項4】
前記人物領域を登録する手段は、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録することを特徴とする請求項１ないし３のいずれかに記載の人物検知装置。
【請求項5】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知装置において、
フレームに人物領域の全てを初期登録する手段と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手段と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手段と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手段とを具備し、
前記人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在するが、その中に前フレームの人物領域との類似度が所定の閾値以上の人物領域候補が存在しないと、当該前フレームの人物領域を現フレームに人物領域として登録することを特徴とする人物検知装置。
【請求項6】
前記人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする請求項５に記載の人物検知装置。
【請求項7】
前記人物領域を登録する手段は、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録することを特徴とする請求項５または６に記載の人物検知装置。
【請求項8】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知装置において、
フレームに人物領域の全てを初期登録する手段と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手段と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手段と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手段とを具備し、
前記人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする人物検知装置。
【請求項9】
前記人物領域を登録する手段は、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録することを特徴とする請求項８に記載の人物検知装置。
【請求項10】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知装置において、
フレームに人物領域の全てを初期登録する手段と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手段と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手段と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手段とを具備し、
前記人物領域を登録する手段は、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録することを特徴とする人物検知装置。
【請求項11】
前記初期登録する手段は、前記フレーム上で人物領域を設定する手動操作を受け付けて当該人物領域を初期登録することを特徴とすることを特徴とする請求項１ないし１０のいずれかに記載の人物検知装置。
【請求項12】
前記初期登録する手段は、前記フレームから全ての人物領域が抽出されており、かつ各人物領域の信頼度が所定の閾値以上であると、当該抽出した人物領域を初期登録することを特徴とする請求項１ないし１０のいずれかに記載の人物検知装置。
【請求項13】
コンピュータが実行し、動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知方法において、
フレームに人物領域の全てを初期登録し、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出して、その信頼度を取得し、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出し、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録し、
前記現フレームに人物領域を登録する際に、現フレームに信頼度が所定の閾値以上の人物領域候補が存在すると、その中で前フレームの人物領域との類似度が所定の閾値以上の人物領域候補のうち当該類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする人物検知方法。
【請求項14】
コンピュータが実行し、動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知方法において、
フレームに人物領域の全てを初期登録し、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出して、その信頼度を取得し、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出し、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録し、
前記現フレームに人物領域を登録する際に、現フレームに信頼度が所定の閾値以上の人物領域候補が存在するが、その中に前フレームの人物領域との類似度が所定の閾値以上の人物領域候補が存在しないと、当該前フレームの人物領域を現フレームに人物領域として登録することを特徴とする人物検知方法。
【請求項15】
コンピュータが実行し、動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知方法において、
フレームに人物領域の全てを初期登録し、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出して、その信頼度を取得し、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出し、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録し、
前記現フレームに人物領域を登録する際に、現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする人物検知方法。
【請求項16】
コンピュータが実行し、動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知方法において、
フレームに人物領域の全てを初期登録し、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出して、その信頼度を取得し、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出し、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録し、
前記現フレームに人物領域を登録する際に、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録することを特徴とする人物検知方法。
【請求項17】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知プログラムにおいて、
フレームに人物領域の全てを初期登録する手順と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手順と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手順と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手順とをコンピュータに実行させ、
前記人物領域を登録する手順では、現フレームに信頼度が所定の閾値以上の人物領域候補が存在すると、その中で前フレームの人物領域との類似度が所定の閾値以上の人物領域候補のうち当該類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする人物検知プログラム。
【請求項18】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知プログラムにおいて、
フレームに人物領域の全てを初期登録する手順と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手順と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手順と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手順とをコンピュータに実行させ、
前記人物領域を登録する手順では、現フレームに信頼度が所定の閾値以上の人物領域候補が存在するが、その中に前フレームの人物領域との類似度が所定の閾値以上の人物領域候補が存在しないと、当該前フレームの人物領域を現フレームに人物領域として登録することを特徴とする人物検知プログラム。
【請求項19】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知プログラムにおいて、
フレームに人物領域の全てを初期登録する手順と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手順と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手順と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手順とをコンピュータに実行させ、
前記人物領域を登録する手順では、現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補を現フレームに人物領域として登録することを特徴とする人物検知プログラム。
【請求項20】
動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知プログラムにおいて、
フレームに人物領域の全てを初期登録する手順と、
人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手順と、
前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手順と、
前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手順とをコンピュータに実行させ、
前記人物領域を登録する手順では、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録することを特徴とする人物検知プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物検知装置、方法およびプログラムに係り、特に、人物を上方から撮影したカメラ画像のように、人物がその影と共に写ったカメラ画像を対象とした人物検知において、影の影響を受けずに人物を正確に検知できる人物検知装置、方法およびプログラムに関する。
【背景技術】
【0002】
警備や防犯上の要請から、屋外で人物を上方から撮影したカメラ映像に基づいて人物領域を抽出し、各人物の動向を分析する研究が行われている。従来、このような屋外カメラはビルなどの構造物の高所に固定的に設けられていたが、近年、いわゆるドローンへの小型カメラの搭載が可能となったことから、任意の場所を、任意の角度、向きで撮影することが容易となり、様々な分野への応用が期待されている。
【0003】
非特許文献１には、機械学習により物体をその画像の色の特徴などに基づいて識別する技術が開示されている。非特許文献２には、画像のみから人物の骨格を抽出する技術が開示されている。
【0004】
特許文献１には、被監視サイトにおいて、進入者を検知する検知エリアへの不正進入者の追跡を迅速かつ正確に行う技術が開示されている。特許文献２には、不特定多数の人物が集まり且つ専ら出迎えのために人物同士の接触が生じる監視領域において、不審度の高い受け渡しを行った可能性のある不審者を効率的に監視できる画像監視装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特願2017-216477号
【文献】特願2017-238178号
【非特許文献】
【0006】
【文献】SSD：Single Shot Multi Detector ( https://arxiv.org/pdf/1512.02325.pdf)
【文献】Z. Cao, T. Simon, S. Wei and Y. Sheikh, "Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 1302-1310.
【発明の概要】
【発明が解決しようとする課題】
【0007】
図８Ａは、晴天下で人物を斜め上方から撮影したカメラ画像の例を示した図であり、人物に加えて当該人物の影が地面に映し出されている。このようなカメラ映像に対して、例えば非特許文献２に開示されるような既存の人物領域抽出アルゴリズムを適用すると、図８Ｂに示したように、人物領域を定義する矩形のBoundinb Boxが本来の人物領域に設定されるのみならず、図８Ｃに示したように、その影の領域にも誤って設定されてしまうことがあった。
【0008】
本発明の目的は、上記の技術課題を解決し、人物がその影と共に写ったカメラ画像を対象とした人物検知において、影の影響を受けずに人物を正確に検知できる人物検知装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記の目的を達成するために、本発明は、動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する人物検知装置において、以下の構成を具備した点に特徴がある。
【0010】
(1) フレームに人物領域の全てを初期登録する手段と、人物領域の初期登録後に後続の各フレームから人物領域候補を抽出し、その信頼度を取得する手段と、前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度を算出する手段と、前フレームで登録した人物領域ごとに、現フレームの各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域を登録する手段とを具備した。
【0011】
(2) 人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在すると、その中で前フレームの人物領域との類似度が所定の閾値以上の人物領域候補のうち当該類似度が最大の人物領域候補を現フレームに人物領域として登録するようにした。
【0012】
(3) 人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在するが、その中に前フレームの人物領域との類似度が所定の閾値以上の人物領域候補が存在しないと、当該前フレームの人物領域を現フレームに人物領域として登録するようにした。
【0013】
(4) 人物領域を登録する手段は、現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補を現フレームに人物領域として登録するようにした。
【0014】
(5) 人物領域を登録する手段は、現フレームに人物領域候補が存在しないと、前フレームの人物領域を現フレームに人物領域として登録するようにした。
【発明の効果】
【0015】
本発明によれば、以下のような効果が達成される。
(1) フレームに人物領域を正しく初期登録した後は、前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域が登録される。したがって、初期登録が正しく行われたことを前提として、前フレームで登録済みの人物領域と現フレームから抽出した人物領域候補とに基づき、現フレームに人物領域を正確に登録できるようになる。
(1) フレームに人物領域を正しく初期登録した後は、前フレームで登録した人物領域ごとに、現フレームから抽出した各人物領域候補との類似度および信頼度に基づいて現フレームに人物領域が登録される。したがって、初期登録が正しく行われたことを前提として、前フレームで登録済みの人物領域と現フレームから抽出した人物領域候補とに基づき、現フレームに人物領域を正確に登録できるようになる。
【0016】
(2) 現フレームに信頼度が所定の閾値以上の人物領域候補が存在すると、その中で前フレームの人物領域との類似度が所定の閾値以上の人物領域候補のうち当該類似度が最大の人物領域候補が現フレームの人物領域として登録される。したがって、前フレームの人物領域が正しければ現フレームにも人物領域を正しく登録できるようになる。
【0017】
(3) 現フレームに信頼度が所定の閾値以上の人物領域候補が存在するが、その中に前フレームの人物領域との類似度が所定の閾値以上の人物領域候補が存在しないと、当該前フレームの人物領域が現フレームの人物領域として登録される。したがって、前フレームの人物領域が正しければ、現フレームから人物領域候補を正しく抽出できていなくても現フレームに人物領域を正しく登録できるようになる。
【0018】
(4) 現フレームに信頼度が所定の閾値以上の人物領域候補が存在しないと、当該人物領域候補の中で前フレームの当該人物領域との類似度が最大の人物領域候補が現フレームの人物領域として登録される。したがって、前フレームの人物領域が正しければ、現フレームから人物領域候補を正しく抽出できていなくても現フレームに人物領域を正しく登録できるようになる。
【0019】
(5) 現フレームに人物領域候補が存在しないと、前フレームの人物領域が現フレームの人物領域として登録される。したがって、前フレームの人物領域が正しければ、現フレームから人物領域候補を正しく抽出できていなくても現フレームに人物領域を正しく登録できるようになる。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る人物検知装置の構成を示した機能ブロック図である。
【図2A】現フレームにBoundinb Boxを登録する方法を示した図（その１）である。
【図2B】現フレームにBoundinb Boxを登録する方法を示した図（その２）である。
【図2C】現フレームのBoundinb Boxを登録する方法を示した図（その３）である。
【図2D】現フレームのBoundinb Boxを登録する方法を示した図（その４）である。
【図3】現フレームにBoundinb Boxを登録する手順を示したフローチャートである。
【図4】現フレームにBoundinb Boxを登録する方法を示した図（その１）である。
【図5】現フレームにBoundinb Boxを登録する方法を示した図（その２）である。
【図6】現フレームにBoundinb Boxを登録する方法を示した図（その３）である。
【図7】現フレームにBoundinb Boxを登録する方法を示した図（その４）である。
【図8A】人物を斜め情報から撮影したカメラ画像の例を示した図である。
【図8B】カメラ画像にBoundinb Boxが正しく設定される例を示した図である。
【図8C】カメラ画像にBoundinb Boxが誤って設定される例を示した図である。
【発明を実施するための形態】
【0021】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る人物検知装置１の主要部の構成を示した機能ブロック図であり、動画像のフレーム間で、前フレームで登録した人物領域と現フレームから抽出した人物領域候補とに基づいて現フレームに人物領域を登録する。本実施形態では、カメラの撮影範囲内で人物の入れ替わりがなく、人数変更が生じない環境での人物検出を例にして説明する。
【0022】
このような人物検知装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやサーバに、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。
【0023】
人物検知装置１において、フレーム画像取得部１０１は、人物が映ったカメラ映像からフレーム画像を取得する。初期登録部１０２は、フレームに人物領域の全てを正しい位置に初期登録する。本実施形態では、オペレータがフレーム上で各人物領域に外接する矩形のBoundinb Box （BB）を手動で設定する操作を受け付けて、各人物領域にBBを初期登録することができる。あるいは、既存のBoundinb Box抽出アルゴリズムを適用し、前記フレームから全ての人物領域が抽出されており、かつ各人物領域の信頼度が所定の閾値以上であることを確認できれば、当該抽出した人物領域を初期登録するようにしても良い。このように、本実施形態では初期登録部１０２が初期登録するBBは全て正しいものとして次フレーム以降の各フレームが処理される。
【0024】
人物領域候補抽出部１０３は、初期登録部１０２によるBBの初期登録後に、前記非特許文献２に開示されるような既知のアルゴリズムを用いて、後続する各フレームから人物領域候補（候補BB）を抽出し、その信頼度Tを取得する。
【0025】
類似度算出部１０４は、前フレームで登録済みのBBごとに、現フレームから抽出した各候補BBとの類似度Qを算出する。本実施形態では、類似度Qが次式(1)で求められる。なお、BBが矩形である場合、その大きさは長辺と短辺との和で代表される。各BB間の距離はBBの中心位置間の距離で代表される。
【0026】
Q=1／(Bounding boxの大きさの差分＋Bounding boxの距離) ...(1)
【0027】
人物領域登録部１０５は、前フレームで登録済みのBBと現フレームから抽出した候補BBとを突き合わせ、前記信頼度Tおよび類似度Qに基づいて、前記登録済みBBまたは候補BBのいずれかを、現フレームでの人物領域のBBとして登録する。
【0028】
図２Ａ～２Ｄは、人物領域登録部１０５によるBBの登録方法を概念的に示した図であり、図２Ａに示したように、前フレームで登録済みのBBが正しい（実線枠）場合、現フレームから抽出した候補BBも正しければ、現フレームから抽出した候補BBを現フレームのBBに決定して登録する。図２Ｂに示したように、現フレームから抽出した候補BBが正しくなければ（破線枠）、前フレームで登録済みのBBを現フレームのBBに決定して登録する。
【0029】
なお、前フレームで登録済みのBB、あるいは現フレームから抽出した候補BBが正しいか否かは、各BB／候補BBを抽出した際の信頼度に依存し、本実施形態では、信頼度が所定の閾値以上であれば正しい、所定の閾値未満であれば正しくない、と判断するものとする（以下、同様）。
【0030】
これに対して、図２Ｃに示したように、前フレームで登録済みのBBが正しくない場合、現フレームから抽出した候補BBが正しければ、当該候補BBを現フレームのBBに決定して登録する。図２Ｄに示したように、現フレームから抽出した候補BBも正しくなければ、前フレームで登録済みのBBを現フレームのBBに決定して登録する。ただし、この場合は現フレームのBBは正しくないままである。
【0031】
図１へ戻り、前記人物領域登録部１０５において、第１登録部１０５ａは、後に図３，４を参照して詳述するように、現フレームに信頼度Tが所定の閾値Tref以上の候補BBが存在し、かつその中に前フレームの登録済みBBとの類似度Qが所定の閾値Qref以上の候補BBが存在すると、その中で類似度Qが最大の候補BBを現フレームの対応するBBとして登録する。
【0032】
第２登録部１０５ｂは、後に図３，５を参照して詳述するように、現フレームに信頼度Tが所定の閾値Tref以上の候補BBが存在するものの、その内に前フレームの登録済みBBとの類似度Qが閾値Qref以上の候補BBが存在しないと、当該前フレームの登録済みBBを現フレームの対応するBBとして登録する。
【0033】
第３登録部１０５ｃは、後に図３，６を参照して詳述するように、現フレームに信頼度Tが所定の閾値Tref以上の候補BBが存在しないと、当該候補BB内で前フレームの当該登録済みBBとの類似度Qが最大の候補BBを現フレームの対応するBBとして登録する。
【0034】
第４登録部１０５ｄは、後に図３、７を参照して詳述するように、前フレームの登録済みBBに対応する候補BBが現フレームに存在しないと、当該前フレームの登録済みBBを現フレームの対応するBBとして登録する。
【0035】
図３は、前フレームで登録済みの各BBと現フレームから抽出した各候補BBとを突き合わせ、現フレームの各人物領域にBBを登録する手順を示したフローチャートである。
【0036】
現フレームから全ての候補BBの抽出が完了すると、ステップＳ１では、前フレームから未検討の登録済みBBの一つが今回の検討対象（検討BB）として選択される。ステップＳ２では、現フレームに候補BBが残っているか否かが判断される。最初は全ての候補BBが残っているのでステップＳ３へ進む。
【0037】
ステップＳ３では、現フレームに信頼度Tが基準信頼度Tref以上の候補BBが存在するか否かが判断される。このような候補BBが少なくとも一つ存在すればステップＳ４へ進み、その中に今回の検討BBとの類似度Qが基準類似度Qref以上の候補BBが存在するか否かが判断される。
【0038】
検討BBとの類似度Qが基準類似度Qref以上の候補BBが存在すればステップＳ５へ進み、その中で検討BBとの類似度Qが最も高い候補BBが現フレームのBBに決定される。ステップＳ６では、今回の検討BBが検討済みとされて以降の検討対象から除外される。
【0039】
例えば、図４に示したように、前フレームのBB1が今回の検討BBであり、現フレームの全ての候補BBの信頼度Tが基準信頼度Tref以上であって、かつ当該検討BBと候補BB1、候補BB2、候補BB3との類似度Qがいずれも基準類似度Qref以上であって、その中で候補BB1との類似度Qが最大であれば、ステップＳ５において現フレームの候補BB1が現フレームのBB（BB1）に決定されて登録される。
【0040】
このように、本実施形態によれば、現フレームに信頼度Tの高い候補BBが存在し、かつその中に前フレームのBBとの類似度Qが所定値以のBBが存在すれば、その中で類似度が最大の候補BBを現フレームのBBとして登録するので、前フレームのBBが正しければ現フレームにもBBを正しく登録できるようになる。
【0041】
ステップＳ７では、前フレームに未検討BBが残っているか否かが判断される。未検討BBが残っていればステップＳ１へ戻り、未検討BBの中から検討BBを新たに選択して上記の各処理が繰り返される。
【0042】
前記ステップＳ４において、現フレームに今回の検討BBとの類似度Qが基準類似度Qref以上の候補BBが存在しないと判断されるとステップＳ９へ進み、今回の検討BBが現フレームのBBに決定されて登録される。
【0043】
例えば、図５に示したように、前フレームのBB2が今回の検討BBであり、現フレームの候補BB3、候補BB4の信頼度Tが基準信頼度Tref以上であるものの検討BB2との類似度Qがいずれも基準類似度Qref以上でなければ、今回の検討BBが現フレームのBB2に決定されて登録される。
【0044】
このように、本実施形態によれば、現フレームに信頼度Tの高い候補BBが存在するが、その中に前フレームのBBとの類似度Qが高い候補BBが存在しないと、当該前フレームのBBを前記候補BBに代えて登録する。したがって、前フレームのBBが正しければ、現フレームから候補BBを正しく抽出できていなくても、現フレームにおける実際の人物領域と余り違わない位置に、当該領域に存在するであろう大きさのBBを前フレームのBBの位置、大きさに基づいて登録できるようになる。
【0045】
前記ステップＳ３において、現フレームに今回の検討BBとの信頼度Tが基準信頼度Tref以上の候補BBが存在しないと判断されるとステップＳ１０へ進む。ステップＳ１０では、今回の検討BBとの類似度Qが最も高い候補BBが現フレームのBBに決定されて登録される。
【0046】
例えば、図６に示したように、前フレームのBB3が今回の検討BBであり、検討BBとの信頼度Tが基準信頼度Tref以上の候補BBが現フレームに存在しないが、候補BB3との類似度が最も高ければ、候補BB3が現フレームのBB3に決定されて登録される。
【0047】
このように、本実施形態によれば、現フレームに信頼度Tの高い候補BBが存在しないと、当該候補BBの中で前フレームの当該BBとの類似度Qが最大の候補BBを現フレームのBBとして登録するので、前フレームのBBが正しければ、現フレームから候補BBを正しく抽出できていなくても現フレームにBBを正しく登録できるようになる。
【0048】
前記ステップＳ２において、前フレームに未検討のBBが残っているにもかかわらず現フレームに候補BBが残っていないとステップＳ１１へ進む。ステップＳ１１では、今回の検討BB（BB4）が現フレームのBBに決定されて登録される。
【0049】
例えば、図７に示したように、現フレームで検知された候補BBの数が本来の人物数よりも少ないために、前フレームのBB4が対象BBとなったときに候補BBが不足する場合がある。このような場合は、今回の検討BB4が現フレームのBB4に決定されて登録される。
【0050】
このように、本実施形態によれば、現フレームに候補BBが存在しないと、前フレームのBBを現フレームのBBとして登録するので、前フレームのBBが正しければ、現フレームから候補BBを正しく抽出できていなくても現フレームにBBを正しく登録することができ、かつ前フレームで登録済みのBBと同数のBBを現フレームでも登録できるようになる。
【符号の説明】
【0051】
１...人物検知装置，１０１...フレーム画像取得部，１０２...初期登録部，１０３...人物領域候補抽出部，１０４...類似度算出部，１０５...人物領域登録部，１０５ａ...第１登録部，１０５ｂ...第２登録部，１０５ｃ...第３登録部，１０５ｄ...第４登録部
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
