特許 7195782 情報処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-16

(45)【発行日】2022-12-26

(54)【発明の名称】情報処理装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221219BHJP

   G06T 7/246 20170101ALI20221219BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G06T7/246

【請求項の数】 7

(21)【出願番号】P 2018122422

(22)【出願日】2018-06-27

(65)【公開番号】P2020005111

(43)【公開日】2020-01-09

【審査請求日】2021-06-11

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】岩本 和成

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１０－１４０４２５（ＪＰ，Ａ）

【文献】特開２００９－２１１３１１（ＪＰ，Ａ）

【文献】特開２００５－２５５９３（ＪＰ，Ａ）

【文献】特開２０１１－５３９５１（ＪＰ，Ａ）

【文献】特開２０１４－１１６９１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０３０９９６６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

撮像画像を取得する取得手段と、
前記撮像画像に対して、ユーザの指定に基づき第１検出領域を設定する第１設定手段と、
前記第１設定手段により設定された第１検出領域の端を含み、新規の被写体の検出を行うための第２検出領域を設定する第２設定手段と
前記第２設定手段により設定された第２検出領域から前記撮像画像における新規の被写体を検出する検出手段と、
前記第１検出領域において、前記第２検出領域から検出された被写体を追尾する追尾手段と、
前記撮像画像に対して、前記第２検出領域から検出された被写体による通過を検知するための検知線を設定する第３設定手段と、
前記追尾手段によって得られた追尾結果と、前記検知線とに基づいて、通過カウントを実施する、通過カウント手段と、を備え、
前記第２設定手段は、前記撮像画像における前記第１検出領域を複数に分割した小領域のうち、小画像の所定の位置と前記第１検出領域の辺との距離が前記第１閾値以下かつ小画像の所定の位置と前記検知線との距離が第２閾値以上である小領域の集合を前記第２検出領域として設定することを特徴とする情報処理装置。

【請求項2】

少なくとも前記第１設定手段により設定された第１検出領域および前記第２設定手段により設定された第２検出領域の一方を前記撮像画像に重畳する表示制御手段を更に備えることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第３設定手段によって設定された検知線を前記撮像画像に重畳する表示制御手段を更に備えることを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記検出手段は、所定の形状を模したパッチ画像を、前記第２検出領域について走査しながらマッチングすることによって、前記撮像画像における新規の被写体を検出することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記追尾手段は、前記第２検出領域から検出された被写体の近傍について局所探索を行うことによって被写体を追尾することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

情報処理装置の制御方法であって、
撮像画像を取得する取得工程と、
前記撮像画像に対して、ユーザの指定に基づき第１検出領域を設定する第１設定工程と、
前記第１設定工程により設定された第１検出領域の端を含み、新規の被写体の検出を行うための第２検出領域を設定する第２設定工程と、
前記撮像画像における新規の被写体を検出する検出工程と、
前記第１検出領域において、前記第２検出領域から検出された被写体を追尾する追尾工程と、
前記撮像画像に対して、前記第２検出領域から検出された被写体による通過を検知するための検知線を設定する第３設定工程と、
前記追尾工程で得られた追尾結果と、前記検知線とに基づいて、通過カウントを実施する、通過カウント工程と、有し、
前記第２設定工程では、前記撮像画像における前記第１検出領域を複数に分割した小領域のうち、小画像の所定の位置と前記第１検出領域の辺との距離が前記第１閾値以下かつ小画像の所定の位置と前記検知線との距離が第２閾値以上である小領域の集合を前記第２検出領域として設定することを特徴とする制御方法。

【請求項7】

コンピュータを、請求項１乃至５のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を検出する情報処理装置、制御方法及びプログラムに関する。

【背景技術】

【0002】

従来、画像の解析を行い、画像内に映る被写体の検出を行う技術が知られている。また、時系列順に連続している複数の画像に対して被写体の検出処理を行う事で、被写体の追尾を行う技術が知られている。さらに、被写体の追尾結果と、画像内に設定したラインの位置から、ライン上を通過した被写体の数をカウントする通過カウント技術が知られている。（以降、このラインを通過カウントラインと呼ぶ。）

【0003】

ところで、一般に被写体の検出処理は計算コストが大きい。そのため、被写体の検出を行う領域を狭める事で計算コストを抑制し、検出処理の時間を短縮する技術が知られている。

【0004】

例えば、非特許文献１のような方法がある。非特許文献１では、まず撮像装置から画像を取得し、画像全体に対して被写体の特徴量を用いた検出処理を行う。例えば、人物形状を模したパッチ画像を、画像全体について走査（スキャン）しながらマッチングする（以降、本明細書では全体探索と呼称する。）最初の全体探索が終了時、撮像装置から後続の画像（例えば、次のフレームに対応する画像）を取得し、再度全体探索を実施する。その際、二回目の全体探索の開始と並行して、前述の後続画像に対して、最初の全体探索で検出した被写体の周辺に対して、局所的に被写体の検出を行う。（以降、本明細書では局所探索と呼称する。）例えば、前述のパッチ画像を検出した被写体の近傍だけ走査する。局所探索が終了した時に、撮像装置から後続の画像を取得し、同時に実行している全体探索の処理が終了していれば、全体探索で検出された被写体の周辺に対して更に局所探索を実施する。一方、全体探索の処理が終了していなければ、局所探索で検出された被写体の周辺に対して局所探索を実施する。

【0005】

このように非特許文献１では、計算コストが局所探索と比べて大きな全体探索と、計算コストが全体探索と比べて小さい局所探索を並列に実行し、局所探索の被写体検出結果を出力することで、画像一枚に対する被写体の検出処理時間を短縮しつつ、被写体の追尾を実現している。

【先行技術文献】

【非特許文献】

【0006】

【文献】「画像ラボ」、日本工業出版、平成２９年３月１０日、第２８巻第３号（通巻３２７号）、ｐ．５３－５７（多人数を高速にカウントする映像解析ソフトウェア）

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかし、非特許文献１の技術では、全体探索の処理時間（主にパッチ画像を走査しながらマッチングする処理時間）が長くなると、新規被写体の検出の間隔が長くなる。そのため、全体探索を終了する前に被写体が通過カウントラインを通過してしまい、被写体の通過カウントに失敗する可能性が高くなってしまう。

【課題を解決するための手段】

【0008】

撮像画像を取得する取得手段と、前記撮像画像に対して、ユーザの指定に基づき第１検出領域を設定する第１設定手段と、前記第１設定手段により設定された第１検出領域の端を含み、新規の被写体の検出を行うための第２領域を設定する第２設定手段と、前記第２設定手段により設定された第２領域から前記撮像画像における新規の被写体を検出する検出手段と、前記第１検出領域において、前記第２検出領域から検出された被写体を追尾する追尾手段と、前記撮像画像に対して、前記第２検出領域から検出された被写体による通過を検知するための検知線を設定する第３設定手段と、前記追尾手段によって得られた追尾結果と、前記検知線とに基づいて、通過カウントを実施する、通過カウント手段と、を備え、前記第２設定手段は、前記撮像画像における前記第１検出領域を複数に分割した小領域のうち、小画像の所定の位置と前記第１検出領域の辺との距離が前記第１閾値以下かつ小画像の所定の位置と前記検知線との距離が第２閾値以上である小領域の集合を前記第２検出領域として設定することを特徴とする。

【発明の効果】

【0009】

本発明によれば、全体探索の処理時間を短縮させ、全体探索のためスキャン処理を終了する前に、検出すべき被写体がラインを通過してしまうことによる通過カウントのカウント精度の低下を抑制する事ができる。

【図面の簡単な説明】

【0010】

【図1】通過カウントシステムの概略構成を示す模式図である。

【図2】各装置のハードウェア構成を示すブロック図である。

【図3】各装置の機能構成の概略を示すブロック図である。

【図4】探索処理の概略を示すフローチャートである。

【図5】撮影された画像の一例を示す模式図である。

【図6】図５に、被写体検出領域、通過カウントラインを重畳した図である。

【図7】被写体検出領域の端近傍に全体探索領域を重畳した図である。

【図8】通過カウントラインの形状を考慮しつつ、被写体検出領域の端近傍に全体探索領域を重畳した図である。

【図9】被写体検出領域、通過カウントライン、全体探索領域と局所探索領域の境界の操作ＵＩを示す図である。

【図10】通過カウントの概略処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。なお、本発明においては、非特許文献１と同様に、全体探索処理と局所探索処理を同時に実行する事で追尾処理を行い、通過カウント処理を実現する事とする。

【0012】

＜実施形態１＞
本実施形態では、システムは撮像装置から取得した画像に対し、被写体の検出領域を設定し、検出領域の端近傍から一定距離の領域を全体探索領域として設定する。その後、非特許文献１と同様、全体探索処理と局所探索処理を同時に実行する事で追尾処理を行い、通過カウント処理を実現する。以下、本実施形態において、全体探索領域を設定するまでの処理の流れを説明する。

【0013】

図１は、本実施形態のシステム構成の一例を示す図である。

【0014】

本実施形態のシステムは、撮像装置１１０、クライアント装置１２０を含む。撮像装置１１０、クライアント装置１２０は、ネットワーク１５０を介して、相互に通信可能に接続されている。クライアント装置１２０は、入力装置１３０と表示装置１４０とに接続されている。

【0015】

撮像装置１１０は、撮像を行うネットワークカメラ等の撮像装置である。クライアント装置１２０は、撮像装置１１０の駆動、撮像画像の取得、取得した画像に対しての動体の検出、マスクの重畳等を行うパーソナルコンピュータ、サーバ装置、タブレット装置等の情報処理装置である。入力装置１３０は、マウスやキーボード等から構成される入力装置である。表示装置１４０は、クライアント装置１２０が出力した画像を表示するモニタ等の表示装置である。本実施形態では、クライアント装置１２０と入力装置１３０と表示装置１４０とは、各々独立した装置とする。しかし、例えば、クライアント装置１２０と表示装置１４０とが、一体化されていてもよいし、入力装置１３０と表示装置１４０とが一体化されていてもよい。また、クライアント装置１２０と入力装置１３０と表示装置１４０とが、一体化されていてもよい。

【0016】

ネットワーク１５０は、撮像装置１１０とクライアント装置１２０とを接続するネットワークである。ネットワーク１５０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１５０は、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

【0017】

図２（ａ）は、撮像装置１１０のハードウェア構成の一例を示す図である。

【0018】

撮像装置１１０は、ＣＰＵ２１１、主記憶装置２１２、補助記憶装置２１３、駆動部２１４、撮像部２１５、ネットワークＩ／Ｆ２１６を含む。各要素は、システムバス２１７を介して、相互に通信可能に接続されている。

【0019】

ＣＰＵ２１１は、撮像装置１１０の動作を制御する中央演算装置である。主記憶装置２１２は、ＣＰＵ２１１のワークエリア、データの一時的な記憶場所として機能するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。補助記憶装置２１３は、各種プログラム、各種設定データ等を記憶するハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置である。

【0020】

駆動部２１４は、撮像装置１１０を駆動し、撮像装置１１０の姿勢等を変更させ、撮像部２１５の撮影方向及び画角を変更する駆動部である。撮像部２１５は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する撮像部である。撮像素子には、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等がある。ネットワークＩ／Ｆ２１６は、クライアント装置１２０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。

【0021】

ＣＰＵ２１１が、補助記憶装置２１３に記憶されたプログラムに基づき処理を実行することによって、図３で後述する撮像装置１１０の機能及び撮像装置１１０の処理が実現される。

【0022】

図２（ｂ）は、クライアント装置１２０のハードウェア構成の一例を示す図である。

【0023】

クライアント装置１２０は、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、入力Ｉ／Ｆ２２４、出力Ｉ／Ｆ２２５、ネットワークＩ／Ｆ２２６を含む。各要素は、システムバス２２７を介して、相互に通信可能に接続されている。

【0024】

ＣＰＵ２２１は、クライアント装置１２０の動作を制御する中央演算装置である。主記憶装置２２２は、ＣＰＵ２２１のワークエリア、データの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。補助記憶装置２２３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。

【0025】

入力Ｉ／Ｆ２２４は、入力装置１３０等からの入力を受付ける際に利用されるインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０等への情報の出力に利用されるインターフェースである。ネットワークＩ／Ｆ２１６は、撮像装置１１０等の外部の装置とのネットワーク１５０を介した通信に利用されるインターフェースである。

【0026】

ＣＰＵ２２１が、補助記憶装置２２３に記憶されたプログラムに基づき処理を実行することによって、図３で後述するクライアント装置１２０の機能及び図４で後述するフローチャートの処理等のクライアント装置１２０の処理が実現される。

【0027】

図３（ａ）は、撮像装置１１０の機能構成の一例を示す図である。

【0028】

撮像装置１１０は、撮像制御部３１１、信号処理部３１２、駆動制御部３１３、通信部３１４を含む。

【0029】

撮像制御部３１１は、撮像部２１５を介して、周囲の環境を撮影する。信号処理部３１２は、撮像制御部３１１によって撮影された画像の処理を行う。信号処理部３１２は、例えば、撮像制御部３１１によって撮影された画像の符号化を行う。静止画の場合は、信号処理部３１２は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の符号化方式を用いて、画像の符号化を行う。また、動画の場合は、信号処理部３１２は、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下では、Ｈ．２６４）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ符号化方式）等の符号化方式を用いて、画像の符号化を行う。また、信号処理部３１２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の操作部を介してユーザーにより選択された符号化方式を用いて、画像の符号化を行うようにしてもよい。

【0030】

駆動制御部３１３は、駆動部２１４を介して、撮像制御部３１１の撮影方向及び画角を変更させる制御を行う。しかし、駆動制御部３１３は、撮像制御部３１１による撮影方向と画角とのうちの何れか１つを変更することとしてもよい。また、撮像制御部３１１の撮影方向及び画角は、固定であってもよい。通信部３１４は、信号処理部３１２により処理された撮像制御部３１１により撮影された画像を、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０に送信する。また、通信部３１４は、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０から撮像装置１１０に対する制御命令を受信する。

【0031】

図３（ｂ）は、クライアント装置１２０の機能構成の一例を示す図である。

【0032】

クライアント装置１２０は、入力情報取得部３２１、通信制御部３２２、画像取得部３２３、設定部３２４、検出部３２５、描画部３２６、表示制御部３２７を含む。

【0033】

入力情報取得部３２１は、入力装置１３０を介したユーザーによる入力を受け付ける。通信制御部３２２は、撮像装置１１０から送信された画像を、ネットワーク１５０を介して受信する。また、通信制御部３２２は、撮像装置１１０への制御命令を、ネットワーク１５０を介して送信する。画像取得部３２３は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を、被写体の検出処理の対象である画像として取得する。また、画像取得部３２３は、補助記憶装置２２３に記憶されている画像を、被写体の検出処理の対象である画像として取得しても良い。設定部３２４は、画像取得部３２３により取得された画像に対して、被写体を検出する領域（第２検出領域）、通過カウントライン（検知線）、および全体探索領域（第１検出領域）を設定する。検出部３２５は、画像取得部３２３により取得された画像に対して、全体探索、および局所探索を行い被写体の追尾を行う。さらに、被写体の追尾結果と、前述のラインの位置から被写体の通過カウント処理を行う。描画部３２６は設定部３２４で設定された検出領域（第１設定手段により設定された第１検出領域）、全体探索領域（第２設定手段により設定された第２検出領域）、およびラインを撮像画像上に重畳する。また、検出部３２５で検出された被写体を撮像画像上に重畳する。表示制御部３２７は、ＣＰＵ２２１からの指示に従い、被写体の検出結果が重畳された撮像画像を表示装置１４０へ出力する。

【0034】

図１０は本実施形態のクライアント装置１２０による通過カウント処理の概略を示すフローチャートである。Ｓ１００１において、通信制御部３２２と画像取得部３２３は、撮像装置１１０から撮像画像を取得する。Ｓ１００２において、入力情報取得部３２１や設定部３２４は、ユーザーからの指示（第１検出領域の指示）に基づいて検出領域を設定する。Ｓ１００３において、検出部３２５は、新たに画像取得部３２３が取得した撮像画像について、Ｓ１００２の設定に基づいて全探索処理と局所探索処理と追尾処理および検知線の通過検出処理を実施する。

【0035】

ここでは、検出部３２５は、ユーザーから指定された領域について被写体の特徴量を用いた検出処理を行う。ここでは、人物形状を模したパッチ画像を、第２検出領域について走査（スキャン）しながらマッチングする。第２検出領域の全体探索が終了した際に、撮像装置から次のフレームの画像（次フレーム画像）を取得し、第２検出領域から検出した新規の被写体の近傍について局所探索を実施することで追跡する。検出部３２５は、追跡により検知線を越えたことにより通過を検出する。

【0036】

次にＳ１００４において、描画部３２６および表示制御部３２７は、通過検出したカウント数を表示装置１４０の画面に表示させる。Ｓ１００５において、ＣＰＵ２２１が通過カウント処理を終了するかどうかを判断し、「ＮＯ」であればＳ１００３に遷移し、「ＹＥＳ」であれば終了する。ここでは、ユーザーが通過カウント処理を終了する指示を出しているかどうかや、映像解析のモードを抜けたことを判断するようにすればよい。

【0037】

図４は、本実施形態における、全体探索領域の設定処理を示すフローチャートである。図４を用いて、クライアント装置１２０が画像を取得し、取得した画像中に全体探索領域を設定するまでの処理を説明する。

【0038】

Ｓ４００において、設定部３２４は、通信制御部３２２を介して、撮像装置１１０から、撮像装置１１０により撮影された画像を取得する。以降、Ｓ４００で取得された撮像装置１１０により撮影された画像を、撮像画像とする。

【0039】

図５は、本実施形態において、撮像装置１１０により撮影された撮像画像の一例を示す図である。画像５００は、撮像装置１１０により撮影された、撮像画像を示す。被写体５０１～５０３は、画像５００中の環境において、通過カウント対象である被写体を表す。

【0040】

Ｓ４０１において、設定部３２４は撮像画像に対して、被写体検出領域と、通過カウントラインを設定する。本実施形態では、システムは撮像画像を、表示装置１４０を介しユーザーへ表示し、ユーザーの撮像画像上へ入力に基づき、被写体検出領域、および通過カウントラインを設定する。

【0041】

図６は、本実施形態における、設定部３２４により設定された被写体検出領域、および通過カウントラインの例である。図６中の領域６００は画像５００に対して設定部３２４が設定した被写体検出領域を示す。また、実線６０１は画像５００に対して設定部３２４が設定した通過カウントラインを示す。

【0042】

Ｓ４０２において、設定部３２４は被写体検出領域を、任意の大きさの小領域へ分割する。本実施形態では、前述の小領域を画像内のピクセル一つとする。しかしながらこの限りではない。例えば、任意のサイズの矩形でも良いし、ＳＵＰＥＲ ＰＩＸＥＬなどの画像領域分割アルゴリズムを用いて小領域を作成しても良い。その後、Ｓ４０３において、設定部３２４は分割した小領域をリストで管理する。

【0043】

Ｓ４０４において、設定部３２４はリストの先頭の小領域に注目する。

【0044】

Ｓ４０５において、設定部３２４、注目している小領域を、全体探索領域にするか否かを判断する。本実施形態では、検出領域の端からの距離に基づいて、小領域が全体探索領域か否かの判断を行う。具体的な処理の流れは以下の通りである。
（１）小領域の重心から検出領域の各辺へ垂線を引き、垂線の長さを計算する。
（２）最も長さが短い垂線を選択する
（３）選択した垂線の長さが閾値以下であれば、注目している小領域は全体探索領域と判断し、Ｓ４０６へ進む。一方、閾値よりも大きければ、全体探索領域では無いと判断し、Ｓ４０７へ進む。

【0045】

本実施形態では、前述の閾値はクライアント装置１２０がユーザーからの入力を受け付けるものとして説明するが、この限りではない。例えば、被写体が映る数フレーム分の動画像を撮像装置１１０からクライアント装置１２０受信し、各動画像の検出領域に対して全体探索を行い、検出された被写体に対して通過カウント処理を実施する。その後、前述の閾値を変えながら、全体探索および局所探索を並列に実施し、通過カウント処理を実施する。この時、全体探索のみを用いて通過カウントを行った場合と通過カウント結果が等しくなる閾値のうち、最小の値を選択しても良い。

【0046】

Ｓ４０６において、設定部３２４は注目している小領域が全体探索領域である事をリストに記す。

【0047】

Ｓ４０７において、設定部３２４は注目している小領域が全体探索領域でない事をリストに記す。

【0048】

Ｓ４０８において、設定部３２４はリストの最後に注目しているか否かを判断する。リストの最後に注目しているのであれば、Ｓ４１０へ進む。リストの最後に注目していないのであれば、Ｓ４０９へ進む。

【0049】

Ｓ４０９において、設定部３２４は次の小領域へ注目し、Ｓ４０５へ進む。

【0050】

Ｓ４１０において、設定部３２４は小領域のリストに格納されている、各小領域が全体探索領域か否かの情報に基づき、撮像画像に全体探索領域を設定する。

【0051】

図７は、本実施形態における、Ｓ４１０により設定された全体探索領域の例である。
図７中の点線と一点鎖線に囲まれた領域７００は、画像５００に対してＳ４１０により設定された全体探索領域である。

【0052】

本実施形態では、領域７００（第２検出領域）に対して全体探索を実施し、領域６００（第１検出領域）に対して局所探索を実行する事で追尾処理を行い、通過カウント処理を実現する。これにより、領域６００に対して、一律的に全体探索と局所探索を並行して実施した場合よりも、計算コストを削減する事ができる。

【0053】

＜実施形態２＞
実施形態１では、検出領域の端近傍から一定距離の領域を全体探索領域として設定することで、通過カウント処理の計算コストを削減していた。しかしながら、通過をカウントする方向に偏りが存在する場合、通過カウントの精度の低下を抑制しつつ、実施形態１で設定した全体探索領域よりも、さらに全体探索領域を削減できる。例えば、撮像画像５００では、被写体が上下方向へ移動しており、通過カウントは、上下方向のみカウントしている。この場合、新規被写体は検出領域の上端、下端から現れ、左右端からは現れない。そのため、新規被写体を検出するための全体探索領域は、被写体検出領域の上下端の領域のみでよく、左右端の領域を全体探索の対象から除外する事ができる。

【0054】

本実施形態では、ユーザーが設定した通過カウントラインから、被写体の通過の方向を判断し、被写体の通過の方向に基づき、全体探索を行う領域を設定する方法について説明する。

【0055】

本実施形態のシステム構成や、撮像装置１１０、及びクライアント装置１２０のハードウェア構成及び機能構成は、実施形態１と同様であるため、説明を省略する。

【0056】

また、図４に示すフローのうち、Ｓ４００からＳ４０４、およびＳ４０６～Ｓ４１０は実施形態１と同様であるため、説明を省略する。本実施形態では、図４のＳ４０５において注目している小領域が全体探索領域か否かの判定方法が実施形態１と異なる。本実施形態では、通過カウントラインの位置と、検出領域の端からの距離に基づいて、注目している小領域が全体探索領域か否かの判断を行う。具体的な処理の流れは以下の通りである。
（１）注目している小領域の重心から検出領域の各辺へ垂線を引き、垂線の長さを計算する。
（２）最も長さが短い垂線を選択する。
（３）注目している小領域の重心から通過カウントラインへ垂線を引き、垂線の長さを計算する。
（３）検出領域の辺への垂線の長さが閾値以下かつ、通過カウントラインへの垂線の長さが閾値以上であれば、注目している小領域は全体探索領域と判断し、Ｓ４０６へ進む。一方、閾値よりも大きければ、全体探索領域では無いと判断し、Ｓ４０７へ進む。

【0057】

本実施形態では、前述の二つの閾値はユーザーからの指定を受ける事とするが、この限りではない。例えば、撮像装置から通行する被写体が映る数フレームの動画像を受信し、各動画像の検出領域に対して全体探索を行い、検出された被写体に対して通過カウント処理を実施する。その後、前述の二つの閾値を変えながら、全体探索および局所探索を並列に実施し、通過カウント処理を実施する。この時、全体探索のみを用いて通過カウントを行った場合と通過カウント結果が等しくなる閾値のうち、注目する小領域と被写体検出領域の辺までの垂線に関する閾値は最小の値を、通過カウントラインまでの垂線に関する閾値は最大の値を選択しても良い。

【0058】

図８は、本実施形態における、Ｓ４１０により設定された全体探索領域の例である。

【0059】

図８中の点線と一点鎖線に囲まれた領域８０１、および８０２は、画像５００に対してＳ４１０により設定された全体探索領域である。

【0060】

本実施形態では、領域８０１、８０２に対して全体探索を実施し、領域６００に対して局所探索を実行する事で追尾処理を行い、通過カウント処理を実現する。これにより、領域６００に対して、実施形態１を実施した場合よりも、計算コストを削減しつつ、通過カウント処理を実現する事ができる。

【0061】

また、本実施形態は上下方向に被写体が通過する環境における、計算コストの削減方法について説明を行ったが、この限りではない。左右方向、もしくは斜め方向でも適用可能である。

【0062】

＜実施形態３＞
実施形態１では、検出領域の端近傍から一定距離の領域を全体探索領域として設定していた。また、実施形態２では、通過カウントラインから一定以上の距離かつ、検出領域の端近傍から一定以下の距離の領域を全体探索領域として設定していた。しかしながらこの限りでは無く、ユーザーのマニュアル操作に基づいて全体探索領域の設定を行っても良い。本実施形態では、ユーザーのマニュアル操作に基づく被写体検出領域、通過カウントライン、全体探索領域の設定方法について説明する。

【0063】

まずシステムは、表示装置１４０を介して、撮像装置１１０により撮影されたライブ映像をユーザーへ表示する。

【0064】

図９は、被写体検出領域、通過カウントライン、全体探索領域を設定するための操作ＵＩの表す。図９中の撮像画像表示領域９００は撮像装置１１０により撮影されたライブ映像を表示する。本実施形態では、撮像画像表示領域には映像を表示するがこの限りではない。静止画でも良い。また、本実施形態では、図９に示す通り、被写体が上下左右の方向へ通過する環境における、全体探索領域の設定方法について説明する事とする。図９中の点線９０１は、被写体を検出する領域を表す。被写体検出領域の各頂点に重畳している矩形は被写体検出領域の操作子であり、ユーザーがドラッグすることで、被写体検出領域の形状を変形することが可能である。また、本実施形態では、ユーザーは被写体検出領域の辺をドラッグする事で、被写体検出領域の頂点を追加する事が可能とする。また、本実施形態では、ユーザーは被写体検出領域の頂点に対して、右クリックを行う事で、頂点の削除を行うことが可能であるとする。しかしながらこの限りではなく、ダブルクリックなどでも良い。また、例えばタブレット端末で操作を行う際、ダブルタップでも良いし、タップホールドであっても良い。

【0065】

図９中の実線９０２～９０５は、通過カウントラインを表す。各通過カウントラインの端に重畳している丸は、通過カウントラインの始点を表し、二重丸は終点を表す。本実施形態では、始点、終点を表示することにより、通過カウントラインのＩＮ／ＯＵＴの違いをユーザーへ提示する。しかしながらこの限りではない。例えば、通過カウントライン上に、通過カウントラインに直交するように矢印を表示し、矢印の矢柄から矢先へ通過する際にＩＮ、逆方向へ通過する際にＯＵＴとカウントする事をユーザーへ定時しても良い。また、前述の丸、二重丸はそれぞれ通過カウントラインの操作子でもあり、ユーザーは丸、および二重丸をドラッグすることにより、通過カウントラインの形状を変形することを可能とする。

【0066】

図９中の一点鎖線９０６は、全体探索領域と、局所探索領域の境界を表す。一点鎖線の多角形の内部が局所探索領域である。また、一点鎖線の多角形の外部であり、被写体検出領域の内部に相当する領域が全体探索領域である。多角形の各頂点に重畳されている矩形は操作子であり、ユーザーがドラッグすることで、境界の形状を変形することが可能である。また、被写体検出領域と同様、本実施形態では、頂点の追加や削除が可能である。

【0067】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0068】

例えば、上述した検出システムの機能構成の一部又は全てをハードウェアとして撮像装置１１０又はクライアント装置１２０に実装してもよい。

【0069】

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせてもよい。

【符号の説明】

【0070】

１１０ 撮像装置
１２０ クライアント装置
２２１ ＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】