特許 7589186 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241118BHJP

   H04N 7/18 20060101ALI20241118BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 G

【請求項の数】 9

(21)【出願番号】P 2022020444

(22)【出願日】2022-02-14

(65)【公開番号】P2023117725

(43)【公開日】2023-08-24

【審査請求日】2024-03-18

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】河原 智一

(72)【発明者】

【氏名】堺 浩

(72)【発明者】

【氏名】助川 寛

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０２０－１８２１００（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３７９０７９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

画像データを処理する演算部を備え、
前記演算部は、
異なる視点から撮影された複数の元映像を合成した合成映像を生成し、
前記合成映像に対して前記合成映像に含まれる追跡対象の移動を追跡する追跡処理を行い、
前記追跡処理により取得された、前記合成映像における前記追跡対象の移動に関する第１追跡情報を、各前記元映像における前記追跡対象の移動に関する第２追跡情報に変換する、
画像処理装置。

【請求項2】

前記合成映像を構成する複数の合成画像のそれぞれは、複数の前記元映像のそれぞれから抽出された複数の元画像を含み、
前記合成画像における複数の前記元画像の間には、前記追跡対象が表示されない隙間領域が形成される、
請求項１に記載の画像処理装置。

【請求項3】

前記演算部は、
前記合成画像に含まれる複数の前記元画像のそれぞれに、前記追跡処理の対象となる追跡領域を設定し、
前記追跡領域に存在する前記追跡対象に対してのみ前記追跡処理を行う、
請求項２に記載の画像処理装置。

【請求項4】

前記演算部は、
前記合成画像に含まれる複数の前記元画像のそれぞれに、前記追跡対象を認識する認識処理の対象となる認識領域を設定し、
前記認識領域に存在する前記追跡対象に対してのみ前記認識処理を施す、
請求項２に記載の画像処理装置。

【請求項5】

前記演算部は、
１つの前記合成画像に含まれる複数の前記元画像のうちの１つの前記元画像に前記追跡対象が認識された場合に、当該複数の元画像のうちの他の前記元画像を前記追跡対象が表示されない画像に加工する、
請求項２に記載の画像処理装置。

【請求項6】

前記追跡対象は、人の顔である、
請求項１～５のいずれか１項に記載の画像処理装置。

【請求項7】

前記元映像は、自動改札機を含む映像である、
請求項６に記載の画像処理装置。

【請求項8】

異なる視点から撮影された複数の元映像を合成した合成映像を生成する工程と、
前記合成映像に対して前記合成映像に含まれる追跡対象の移動を追跡する追跡処理を行う工程と、
前記追跡処理により取得された、前記合成映像における前記追跡対象の移動に関する第１追跡情報を、各前記元映像における前記追跡対象の移動に関する第２追跡情報に変換する工程と、
を含む画像処理方法。

【請求項9】

コンピュータに、
異なる視点から撮影された複数の元映像を合成した合成映像を生成する処理と、
前記合成映像に対して前記合成映像に含まれる追跡対象の移動を追跡する追跡処理を行う処理と、
前記追跡処理により取得された、前記合成映像における前記追跡対象の移動に関する第１追跡情報を、各前記元映像における前記追跡対象の移動を示す第２追跡情報に変換する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、監視対象となる場所に設置された撮像装置により撮影された映像（動画像）を解析することにより人物等の移動体を追跡する追跡システムが利用されている。このような追跡システムにおいては、映像を構成する複数のフレーム（静止画像）のそれぞれで認識される追跡対象（例えば人の顔等）を複数のフレーム間で対応付けることにより当該追跡対象の移動に関する情報を取得する追跡処理が行われる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５３５５４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数の撮像装置により取得される複数の映像を利用して追跡処理を実施しようとする場合、従来技術においては、各映像を個別に解析する必要がある。そのため、処理負荷が高くなり、大きな計算資源が必要になるという問題がある。

【0005】

そこで、本発明の実施形態は、複数の映像を利用した追跡処理を低い処理負荷で実現可能にする画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態の画像処理装置は、演算部を備える。演算部は、異なる視点から撮影された複数の元映像を合成した合成映像を生成する。演算部は、合成映像に対して合成映像に含まれる追跡対象の移動を追跡する追跡処理を行う。演算部は、追跡処理により取得された、合成映像における追跡対象の移動に関する第１追跡情報を、各元映像における追跡対象の移動に関する第２追跡情報に変換する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１実施形態の追跡システムの構成の一例を示すブロック図である。

【図2】図２は、第１実施形態の画像処理装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、第１実施形態の画像処理装置の機能構成の一例を示すブロック図である。

【図4】図４は、第１実施形態の第１元画像の一例を示す図である。

【図5】図５は、第１実施形態の第２元画像の一例を示す図である。

【図6】図６は、第１実施形態の合成画像の一例を示す図である。

【図7】図７は、第１実施形態の第１追跡情報の一例を示す図である。

【図8】図８は、第１実施形態の第２追跡情報の一例を示す図である。

【図9】図９は、第１実施形態の変換後の第１元画像の一例を示す図である。

【図10】図１０は、第１実施形態の変換後の第２元画像の一例を示す図である。

【図11】図１１は、第２実施形態の合成画像の一例を示す図である。

【図12】図１２は、第３実施形態の合成画像の一例を示す図である。

【図13】図１３は、第４実施形態の第２元画像の一例を示す図である。

【図14】図１４は、第４実施形態の合成画像の一例を示す図である。

【図15】図１５は、第４実施形態の加工後の合成画像の一例を示す図である。

【図16】図１６は、第５実施形態の合成画像の一例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら実施形態について説明する。

【0009】

（第１実施形態）
図１は、第１実施形態の追跡システム１の構成の一例を示すブロック図である。追跡システム１は、所定の監視領域を異なる視点から撮影して得られた複数の映像（動画像）を解析することにより、当該監視領域に存在する所定の追跡対象の動きを追跡するシステムである。監視領域は、特に限定されるべきものではないが、例えば、電車等の公共交通機関の自動改札機周辺の領域、企業等の出入口に設置されたセキュリティゲート周辺の領域等であり得る。追跡対象は、特に限定されるべきものではないが、例えば、人物の顔等であり得る。

【0010】

本実施形態の追跡システム１は、複数の撮像装置１１Ａ，１１Ｂ、画像処理装置１２及びネットワーク１５を含む。複数の撮像装置１１Ａ，１１Ｂのそれぞれは、監視領域を撮影して得られる映像の画像データを生成する電子機器であり、例えばレンズ、光電変換回路、マイクロプロセッサ等を利用して構成されるデジタルビデオカメラ等であり得る。画像処理装置１２は、撮像装置１１Ａ，１１Ｂにより生成された画像データに対して所定の演算処理を行う情報処理装置である。ネットワーク１５は、画像処理装置１２と他の電子機器との間での通信を可能にするコンピュータネットワークであり、例えば、適宜なＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等を利用して構成され得る。なお、ここでは画像処理装置１２と通信可能な電子機器の例として２つの撮像装置１１Ａ，１１Ｂが例示されているが、３つ以上の撮像装置、映像の画像データを格納するファイルサーバ等がネットワーク１５に接続されていてもよい。

【0011】

図２は、第１実施形態の画像処理装置１２のハードウェア構成の一例を示すブロック図である。本実施形態の画像処理装置１２は、ＣＰＵ（Central Processing Unit）２１（演算部の一例）、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、ストレージ２４、通信Ｉ／Ｆ（Interface）２５及びユーザＩ／Ｆ２６を備える。

【0012】

ＣＰＵ２１は、ＲＯＭ２３やストレージ２４に記憶されたプログラムに従いＲＡＭ２２を作業領域として使用して所定の演算処理を実行する。ストレージ２４は、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等の不揮発性メモリであり、プログラム、ＣＰＵ２１の処理に必要なデータ、ＣＰＵ２１の処理により生成されたデータ等の書き込み及び読み出しを可能にする。通信Ｉ／Ｆ２５は、ネットワーク１５を介して接続する撮像装置１１Ａ，１１Ｂ等の電子機器と所定の規格に準ずる通信を確立するためのデバイスである。ユーザＩ／Ｆ２６は、ユーザ（追跡システム１の管理者等）からの入力の受け付け、ユーザへの情報の出力等を可能にするデバイスであり、例えばキーボード、ポインティングデバイス、タッチパネル機構、ディスプレイ、スピーカ、マイク等であり得る。ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、ストレージ２４、通信Ｉ／Ｆ２５及びユーザＩ／Ｆ２６は、データバスを介して接続されている。

【0013】

なお、図２に示される構成は例示であり、画像処理装置１２のハードウェア構成は上記に限られるものではない。画像処理装置１２は、例えば、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等を利用して構成されてもよいし、複数のコンピュータが連携して動作するシステムであってもよい。

【0014】

図３は、第１実施形態の画像処理装置１２の機能構成の一例を示すブロック図である。本実施形態の画像処理装置１２は、入力部１０１、合成部１０２、追跡部１０３、変換部１０４及び出力部１０５を有する。これらの機能的構成要素１０１～１０５は、例えば、図２に示すようなハードウェア構成及びプログラムの協働により実現され得る。なお、これらの機能的構成要素１０１～１０５は、物理的に分割された複数のハードウェアにより構成されてもよい。

【0015】

入力部１０１は、複数の撮像装置１１Ａ，１１Ｂのそれぞれにより撮影された複数の元映像を入力する。本実施形態では、第１撮像装置１１Ａにより撮影された映像である第１元映像と、第２撮像装置１１Ｂにより撮影された映像である第２元映像とを入力する場合について説明する。各元映像は、複数のフレームを構成する複数の元画像（静止画）が時系列に配列されて構成される。すなわち、第１元映像は、第１撮像装置１１Ａにより取得された複数の第１元画像が時系列に配列されて構成され、第２元映像は、第２撮像装置１１Ｂにより取得された複数の第２元画像が時系列に配列されて構成される。第１元映像及び第２元映像は、撮像装置１１Ａ，１１Ｂから直接入力されてもよいし、ファイルサーバ等を介して入力されてもよい。

【0016】

合成部１０２は、入力部１０１により入力された複数の元映像（本実施形態では第１元映像及び第２元映像）を合成した合成映像を生成する。合成映像は、複数のフレームを構成する複数の合成画像が時系列に配列されて構成される。複数の合成画像のそれぞれは、複数の元映像のそれぞれから抽出された複数の元画像を含む。すなわち、本実施形態の各合成画像は、第１撮像装置１１Ａにより撮影された第１元映像から抽出された第１元画像と、第２撮像装置１１Ｂにより撮影された第２元映像から抽出された第２元画像とを含む。

【0017】

本実施形態の合成部１０２は、分解部１１１、調整部１１２及び連結部１１３を有する。分解部１１１は、元映像を複数の元画像（フレーム）に分解する。本実施形態では、第１元映像が複数の第１元画像に分解され、第２元映像が複数の第２元画像に分解される。調整部１１２は、分解部１１１により分解された複数の元画像を予め定められた指定フレームレートで連結部１１３に出力する。指定フレームレートは、全元映像に対して共通である。指定フレームレートが元映像のフレームレートより低い場合には、当該元映像の元画像は間引いて出力される。指定フレームレートが元映像のフレームレートより高い場合には、当該元映像の次の元画像が分解部１１１から出力されるまで、最後に出力された元画像を連結部１１３に出力し続ける。指定フレームレートは、適宜設定され得るものであるが、例えば、複数の元映像のフレームレートのうち、最も低いフレームレート、最も高いフレームレート、平均のフレームレート等であり得る。連結部１１３は、調整部１１２から同一タイミングで出力された複数の元画像を所定の配置で連結して１つの合成画像を生成し、順次生成される複数の合成画像を連結して合成映像を生成する。

【0018】

図４は、第１実施形態の第１元画像５１Ａの一例を示す図である。図５は、第１実施形態の第２元画像５１Ｂの一例を示す図である。第１元画像５１Ａは、第１撮像装置１１Ａにより取得された画像（第１元映像を構成する複数のフレームのうちの１つ）である。第２元画像５１Ｂは、第１撮像装置１１Ａとは異なる位置に設置された第２撮像装置１１Ｂにより取得された画像（第２元映像を構成する複数のフレームのうちの１つ）である。第１元画像５１Ａの出力タイミング（撮影時刻）と第２元画像５１Ｂの出力タイミングとは対応している。

【0019】

本例の第１元画像５１Ａは、自動改札機５５の２つの通路うちの一方を出場側から入場側に向かって撮影した画像であり、本例の第２元画像５１Ｂは、自動改札機５５の２つの通路うちの他方を出場側から入場側に向かって撮影した画像である。すなわち、第１撮像装置１１Ａは、自動改札機５５の一方の通路を出場側から入場側へ向かって撮影できる位置に設置され、第２撮像装置１１Ｂは、自動改札機５５の他方の通路を出場側から入場側へ向かって撮影できる位置に設置されている。第１元画像５１Ａには、第１人物Ｐ１が自動改札機５５の一方の通路を通過している状況が写されている。第２元画像５１Ｂには、第２人物Ｐ２が自動改札機５５の他方の通路に侵入しようとしている状況が写されている。本実施形態では、これらの人物Ｐ１，Ｐ２の顔Ｆ１，Ｆ２が追跡対象となる。

【0020】

図６は、第１実施形態の合成画像６１の一例を示す図である。合成画像６１は、第１元画像５１Ａと第２元画像５１Ｂとを合成した画像であり、第１元画像５１Ａと第２元画像５１Ｂとの間には隙間領域６３が形成されている。隙間領域６３は、追跡対象（本実施形態では人物の顔）が表示されない（含まれていない）領域である。隙間領域６３の表示態様は特に限定されるものではないが、例えば、白色、黒色等の所定の色で塗りつぶされた領域を隙間領域６３とすることができる。また、隙間領域６３の幅Ｄは、隣接する２つの元画像（本実施形態では第１元画像５１Ａ及び第２元画像５１Ｂ）の一方に表示された追跡対象（例えば第１元画像５１Ａ内の顔Ｆ１）が他方の元画像（第２元画像５１Ｂ）に表示されないように設定される。このような構成を有する複数の合成画像６１を時系列に配列することにより合成映像が生成される。

【0021】

図３に戻り、追跡部１０３は、合成部１０２により生成された合成映像に対して当該合成映像に含まれる追跡対象（本実施形態では顔Ｆ１，Ｆ２）の移動を追跡する追跡処理を行い、当該合成映像における追跡対象の移動に関する第１追跡情報を生成する。追跡処理には、合成画像６１に存在する追跡対象を認識する認識処理（本実施形態では顔Ｆ１，Ｆ２を認識する顔認識処理）が含まれる。認識処理により、各合成画像６１における検出対象の位置の特定、顔Ｆ１，Ｆ２の識別等が行われる。図６において、認識処理により認識された顔Ｆ１，Ｆ２を囲むように設定された認識矩形６５Ａ，６５Ｂが例示されている。当該認識矩形６５Ａ，６５Ｂは、認識処理の結果に基づいて合成画像６１毎に設定される。各合成画像６１における認識矩形６５Ａ，６５Ｂに基づいて、合成映像における各顔Ｆ１，Ｆ２の移動に関する第１追跡情報を取得できる。

【0022】

図７は、第１実施形態の第１追跡情報９１の一例を示す図である。第１追跡情報９１において、フレーム番号、認識矩形ＩＤ、矩形左上のＸ座標、矩形左上のＹ座標、矩形右下のＸ座標及び矩形右下のＹ座標の対応関係が規定されている。フレーム番号は、合成映像のフレーム列における位置、すなわち合成画像６１を特定する情報であり、同一の合成画像６１には同一のフレーム番号が付される。認識矩形ＩＤは、合成画像６１において認識された追跡対象（顔Ｆ１，Ｆ２）を囲むように設定された認識矩形６５Ａ，６５Ｂを特定する情報であり、同一の追跡対象には同一の認識矩形ＩＤが付される。矩形左上のＸ座標及び矩形左上のＹ座標は、合成画像６１における各認識矩形６５Ａ，６５Ｂの左上の点の位置（座標）を示す情報である。矩形右下のＸ座標及び矩形右下のＹ座標は、合成画像６１における各認識矩形６５Ａ，６５Ｂの右下の点の位置を示す情報である。例えば、点（Ｘ１，Ｙ１）は、フレーム番号Ｆ１に対応する合成画像（例えば合成画像６１）における認識矩形ＩＤ「Ｉ１」に対応する認識矩形（例えば認識矩形６５Ａ）の左上の座標を示し、点（Ｘ２，Ｙ２）は、当該合成画像における認識矩形の右下の座標を示している。矩形左上のＸ座標、矩形左上のＹ座標、矩形右下のＸ座標及び矩形右下のＹ座標に基づいて、各合成画像６１における各認識矩形６５Ａ，６５Ｂの位置及びサイズを特定できる。

【0023】

図３に戻り、変換部１０４は、追跡部１０３により生成された第１追跡情報９１を、各元映像（本実施形態では第１元映像又は第２元映像）における追跡対象の移動に関する第２追跡情報に変換する。変換部１０４は、合成画像６１における認識矩形６５Ａ，６５Ｂの位置及びサイズ（第１追跡情報９１における矩形左上のＸ座標、矩形左上のＹ座標、矩形右下のＸ座標及び矩形右下のＹ座標）を、各元画像（第１元画像５１Ａ及び第２元画像５１Ｂ）における認識矩形の位置及びサイズに変換する。

【0024】

図８は、第１実施形態の第２追跡情報９２の一例を示す図である。第２追跡情報９２において、撮像装置番号、フレーム番号、認識矩形ＩＤ、矩形左上のＸ座標、矩形左上のＹ座標、矩形右下のＸ座標及び矩形右下のＹ座標の対応関係が規定されている。撮像装置番号は、元映像を撮影した撮像装置を特定する情報である。第２追跡情報９２におけるフレーム番号及び認識矩形ＩＤは、第１追跡情報９１におけるフレーム番号及び認識矩形ＩＤと共通である。第２追跡情報９２における矩形左上のＸ座標及び矩形左上のＹ座標は、元画像（第１元画像５１Ａ及び第２元画像５１Ｂ）における認識矩形の左上の点の位置を示す情報である。第２追跡情報９２における矩形右下のＸ座標及び矩形右下のＹ座標は、元画像における認識矩形の右下の点の位置を示す情報である。例えば、点（Ｓ１，Ｔ１）は、第１撮像装置１１Ａにより撮影された複数の元画像のうちフレーム番号Ｆ１に対応する元画像（例えば第１元画像５１Ａ）における認識矩形の左上の座標を示し、点（Ｓ２，Ｔ２）は、当該元画像における認識矩形の右下の位置を示している。

【0025】

図９は、第１実施形態の変換後の第１元画像５１Ａの一例を示す図である。図１０は、第１実施形態の変換後の第２元画像５１Ｂの一例を示す図である。図９に示されるように、変換部１０４による変換後の第１元画像５１Ａには、顔Ｆ１に対応する認識矩形７１Ａが設定される。また、図１０に示されるように、変換部１０４による変換後の第２元画像５１Ｂには、顔Ｆ２に対応する認識矩形７１Ｂが設定される。認識矩形７１Ａ，７１Ｂの位置及びサイズは、上述したような第２追跡情報９２における矩形左上のＸ座標、矩形左上のＹ座標、矩形右下のＸ座標及び矩形右下のＹ座標に基づいて特定される。

【0026】

図３に戻り、出力部１０５は、変換部１０４により生成された第２追跡情報９２を出力する。第２追跡情報９２の出力方法や利用方法は特に限定されるべきものではないが、例えば、第２追跡情報９２は、所定の解析装置に出力され、不審者の検知等に利用されてもよい。また、出力部１０５は、第２追跡情報９２に基づいて生成される、図９及び図１０に示されるような第１元画像５１Ａ（第１元映像）及び第２元画像５１Ｂ（第２元映像）を所定の解析装置に出力してもよい。

【0027】

上記のように、本実施形態によれば、異なる視点から撮影された複数の元映像を合成した合成映像に対して追跡処理が行われる。そして、当該追跡処理の結果として得られる、合成映像における追跡対象の移動に関する第１追跡情報が、各元映像における追跡対象の移動に関する第２追跡情報に変換される。これにより、複数の元映像のそれぞれに対して個別に追跡処理を行う場合よりも処理負荷を軽減でき、複数の元映像を利用した高精度な追跡処理を低い処理負荷で実現できる。

【0028】

以下、他の実施形態について図面を参照して説明するが、第１実施形態と同一又は同様の箇所については同一の符号を付してその説明を省略する場合がある。

【0029】

（第２実施形態）
図１１は、第２実施形態の合成画像６１の一例を示す図である。本実施形態では、合成画像６１に追跡領域８１Ａ，８１Ｂが設定され、追跡領域８１Ａ，８１Ｂに存在する追跡対象（顔Ｆ１，Ｆ２）に対してのみ追跡処理が行われる。

【0030】

図１１に例示される合成画像６１には、第１元画像５１Ａに対応する追跡領域８１Ａと、第２元画像５１Ｂに対応する追跡領域８１Ｂとが設定されている。各追跡領域８１Ａ，８１Ｂは、所定動作に対応する追跡対象のみを追跡し、当該所定動作に対応しない追跡対象を追跡しないように設定される。本実施形態の所定動作は、自動改札機５５の通路を通過する動作である。すなわち、本実施形態においては、自動改札機５５の通路を通過する人物の顔のみを追跡し、自動改札機５５の通路以外の場所にいる人物の顔を追跡しないように設定される。また、隣接する２つの追跡領域８１Ａ，８１Ｂの間隔Ｄ１は、一方の追跡領域（例えば追跡領域８１Ａ）に表示された追跡対象（例えば顔Ｆ１）が他方の追跡領域（例えば追跡領域８１Ｂ）に表示されないように設定される。当該間隔Ｄ１の調整は、隙間領域６３の幅Ｄを調整することにより実現できる。

【0031】

本実施形態によれば、所定動作を行う追跡対象のみを効率的に追跡できる。

【0032】

（第３実施形態）
図１２は、第３実施形態の合成画像６１の一例を示す図である。本実施形態では、合成画像６１に認識領域８２Ａ，８２Ｂが設定され、認識領域８２Ａ，８２Ｂに存在する追跡対象（Ｆ１，Ｆ２）に対してのみ認識処理が行われる。

【0033】

図１２に例示される合成画像６１には、第１元画像５１Ａに対応する認識領域８２Ａと、第２元画像５１Ｂに対応する認識領域８２Ｂとが設定されている。各認識領域８２Ａ，８２Ｂは、所定動作に対応する追跡対象のみを認識し、当該所定動作に対応しない追跡対象を認識しないように設定される。本実施形態の所定動作は、第２実施形態と同様に、自動改札機５５の通路を通過する動作である。すなわち、本実施形態においては、自動改札機５５の通路を通過する人物の顔のみを認識し、自動改札機５５の通路以外の場所にいる人物の顔を認識しないように設定される。また、隣接する２つの認識領域８２Ａ，８２Ｂの間隔Ｄ２は、一方の認識領域（例えば認識領域８２Ａ）に表示された追跡対象（例えば顔Ｆ１）が他方の認識領域（例えば認識領域８２Ｂ）に表示されないように設定される。当該間隔Ｄ２の調整は、隙間領域６３の幅Ｄを調整することにより実現できる。

【0034】

本実施形態によれば、所定動作を行う追跡対象のみを効率的に認識できる。

【0035】

（第４実施形態）
本実施形態では、合成画像６１に含まれる複数の元画像のうちの１つの元画像（例えば第１元画像５１Ａ）に追跡対象（例えば顔Ｆ１）が認識された場合に、他の元画像（例えば第２元画像５１Ｂ）を追跡対象が表示されない（含まれていない）画像に加工する。

【0036】

図１３は、第４実施形態の第２元画像５１Ｂの一例を示す図である。本実施形態の第２元画像５１Ｂは、第１元画像５１Ａ（図４参照）と同一の通路を反対側（入場側）から撮影した画像である。すなわち、本実施形態の第２撮像装置１１Ｂは、第１撮像装置１１Ａが撮影する自動改札機５５の通路と同じ通路を第１撮像装置１１Ａとは反対側から撮影できるように設置されている。

【0037】

図１４は、第４実施形態の合成画像６１の一例を示す図である。図１４に例示される合成画像６１は、図４に示される第１元画像５１Ａと図１３に示される第２元画像５１Ｂとを合成した画像である。当該合成画像６１において、第１元画像５１Ａに写される人物Ｐ１と第２元画像５１Ｂに写される人物Ｐ１とは同一人物であり、第１元画像５１Ａには当該人物Ｐ１の前面が写され、第２元画像５１Ｂには当該人物Ｐ１の背面が写されている。この場合、合成画像６１の第１元画像５１Ａが表示される領域で人物Ｐ１の顔Ｆ１が認識される。

【0038】

本実施形態では、上記のように一方の元画像（第１元画像５１Ａ）で顔Ｆ１が認識されると、他方の元画像（第２元画像５１Ｂ）が、追跡対象である顔が表示されない（含まれていない）画像に加工される。

【0039】

図１５は、第４実施形態の加工後の合成画像６１の一例を示す図である。上記のように第１元画像５１Ａで顔Ｆ１が認識されると、第２元画像５１Ｂが白、黒等の所定の色で塗りつぶされた画像に加工される。なお、追跡対象が表示されない画像に加工する方法はこれに限定されるものではない。

【0040】

本実施形態によれば、同一の追跡対象が複数の元映像に含まれる可能性がない状況において、不必要な認識処理及び追跡処理の発生を回避できる。

【0041】

（第５実施形態）
図１６は、第５実施形態の合成画像６１の一例を示す図である。本実施形態の合成画像６１は、４つの元画像５１Ａ，５１Ｂ，５１Ｃ，５１Ｄが上下左右に配置されて構成されている。隙間領域６３は、左右に隣接する元画像間（元画像５１Ａ，５１Ｂ間及び元画像５１Ｃ，５１Ｄ間）だけでなく、上下に隣接する元画像間（元画像５１Ａ，５１Ｃ間及び元画像５１Ｂ，５１Ｄ間）にも形成される。

【0042】

上述した他の実施形態においては、２つの元画像５１Ａ，５１Ｂが隙間領域６３を介して左右に配置される場合について説明したが、本実施形態のように、合成画像６１は、３以上の元画像が上下左右に配列されて構成されてもよい。

【0043】

合成画像６１を上記のように構成することにより、３以上の元映像が存在する場合であっても、上述した実施形態と同様に、複数の元映像を利用した高精度な追跡処理を低い処理負荷で実現できる。

【0044】

上述したような実施形態の機能を実現するための処理を演算部（コンピュータ）に実行させるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disc）－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供することが可能なものである。また、当該プログラムは、インターネット等のネットワーク経由で提供又は配布されてもよい。

【0045】

以上、本発明の実施形態を説明したが、実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0046】

１…追跡システム、１１Ａ，１１Ｂ…撮像装置、１２…画像処理装置、１５…ネットワーク、１０１…入力部、１０２…合成部、１０３…追跡部、１０４…変換部、１０５…出力部、５１Ａ，５１Ｂ…元画像、５５…自動改札機、６１…合成画像、６３…隙間領域、６５Ａ，６５Ｂ，７１Ａ，７１Ｂ…認識矩形、８１Ａ，８１Ｂ…追跡領域、８２Ａ，８２Ｂ…認識領域、９１…第１追跡情報、９２…第２追跡情報、Ｆ１，Ｆ２…顔、Ｐ１，Ｐ２…人物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】