知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022167992
(43)【公開日】2022-11-04
(54)【発明の名称】物体追跡装置、物体追跡方法、およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20221027BHJP
G06T 7/254 20170101ALI20221027BHJP
G06T 7/70 20170101ALI20221027BHJP
【ＦＩ】
H04N7/18 G
G06T7/254 A
G06T7/70 Z
H04N7/18 U
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022135632
(22)【出願日】2022-08-29
(62)【分割の表示】P 2020551674の分割
【原出願日】2018-10-18
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】谷内田 尚司
(57)【要約】
【課題】高解像度の画像を使って物体追跡を行うときに必要なリソースを削減する。
【解決手段】物体追跡装置（１０）は、対象物特定情報取得部（１１０）、画像処理部（１２０）、および制御部（１３０）を備える。対象物特定情報取得部（１１０）は、追跡対象の物体を特定する対象物特定情報を取得する。画像処理部（１２０）は、撮像装置（２０）から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、追跡対象の物体を検出するとともに当該検出した物体を追跡する。制御部（１３０）は、処理対象領域に追跡対象の物体が含まれるように、撮像装置（２０）の撮像範囲を制御する。
【選択図】図２
【解決手段】物体追跡装置（１０）は、対象物特定情報取得部（１１０）、画像処理部（１２０）、および制御部（１３０）を備える。対象物特定情報取得部（１１０）は、追跡対象の物体を特定する対象物特定情報を取得する。画像処理部（１２０）は、撮像装置（２０）から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、追跡対象の物体を検出するとともに当該検出した物体を追跡する。制御部（１３０）は、処理対象領域に追跡対象の物体が含まれるように、撮像装置（２０）の撮像範囲を制御する。
【選択図】図２
【特許請求の範囲】
【請求項1】
少なくとも１つのコンピュータが、
画像において追跡対象を検出する領域の設定を受け付け、
前記領域内において検出された人物を前記追跡対象とし、
前記追跡対象を表示させる位置と前記追跡対象の大きさの基準とを取得し、
前記位置と前記追跡対象の大きさの基準とに基づいて、カメラを制御する、
物体追跡方法。
画像において追跡対象を検出する領域の設定を受け付け、
前記領域内において検出された人物を前記追跡対象とし、
前記追跡対象を表示させる位置と前記追跡対象の大きさの基準とを取得し、
前記位置と前記追跡対象の大きさの基準とに基づいて、カメラを制御する、
物体追跡方法。
【請求項2】
前記少なくとも１つのコンピュータが、
前記画像を表示させる表示装置において、前記画像と共に前記領域を示す情報を表示する、
ことを含む請求項１に記載の物体追跡方法。
前記画像を表示させる表示装置において、前記画像と共に前記領域を示す情報を表示する、
ことを含む請求項１に記載の物体追跡方法。
【請求項3】
前記少なくとも１つのコンピュータが、
前記カメラのズーム率を制御する、
ことを含む請求項１または２に記載の物体追跡方法。
前記カメラのズーム率を制御する、
ことを含む請求項１または２に記載の物体追跡方法。
【請求項4】
前記少なくとも１つのコンピュータが、
前記カメラの向きを制御する、
ことを含む請求項１から３のいずれか１項に記載の物体追跡方法。
前記カメラの向きを制御する、
ことを含む請求項１から３のいずれか１項に記載の物体追跡方法。
【請求項5】
前記位置は、表示装置に表示された前記画像上の位置である、
請求項１から４のいずれか１項に記載の物体追跡方法。
請求項１から４のいずれか１項に記載の物体追跡方法。
【請求項6】
前記少なくとも１つのコンピュータが、
前記画像上の位置を指定する位置指定入力を受け付け、
前記位置指定入力に基づいて前記追跡対象を設定する、
ことを含む請求項１から５のいずれか１項に記載の物体追跡方法。
前記画像上の位置を指定する位置指定入力を受け付け、
前記位置指定入力に基づいて前記追跡対象を設定する、
ことを含む請求項１から５のいずれか１項に記載の物体追跡方法。
【請求項7】
前記少なくとも１つのコンピュータが、
前記画像を表示させる表示装置において、前記画像と共に前記追跡対象を示す枠を表示する、
ことを含む請求項１から６のいずれか１項に記載の物体追跡方法。
前記画像を表示させる表示装置において、前記画像と共に前記追跡対象を示す枠を表示する、
ことを含む請求項１から６のいずれか１項に記載の物体追跡方法。
【請求項8】
前記少なくとも１つのコンピュータが、
前記追跡対象の大きさの基準を定める入力を受け付ける、
ことを含む請求項１から７のいずれか１項に記載の物体追跡方法。
前記追跡対象の大きさの基準を定める入力を受け付ける、
ことを含む請求項１から７のいずれか１項に記載の物体追跡方法。
【請求項9】
コンピュータを、
画像において追跡対象を検出する領域の設定を受け付ける対象領域設定手段、
前記領域内において検出された人物を前記追跡対象とする追跡対象検出手段、
前記追跡対象を表示させる位置と前記追跡対象の大きさの基準とを取得する情報取得手段、
前記位置と前記追跡対象の大きさの基準とに基づいて、カメラを制御するカメラ制御手段、
として機能させるためのプログラム。
画像において追跡対象を検出する領域の設定を受け付ける対象領域設定手段、
前記領域内において検出された人物を前記追跡対象とする追跡対象検出手段、
前記追跡対象を表示させる位置と前記追跡対象の大きさの基準とを取得する情報取得手段、
前記位置と前記追跡対象の大きさの基準とに基づいて、カメラを制御するカメラ制御手段、
として機能させるためのプログラム。
【請求項10】
画像において追跡対象を検出する領域の設定を受け付ける対象領域設定手段と、
前記領域内において検出された人物を前記追跡対象とする追跡対象検出手段と、
前記追跡対象を表示させる位置と前記追跡対象の大きさの基準とを取得する情報取得手段と、
前記位置と前記追跡対象の大きさの基準とに基づいて、カメラを制御するカメラ制御手段と、
を備える物体追跡装置。
前記領域内において検出された人物を前記追跡対象とする追跡対象検出手段と、
前記追跡対象を表示させる位置と前記追跡対象の大きさの基準とを取得する情報取得手段と、
前記位置と前記追跡対象の大きさの基準とに基づいて、カメラを制御するカメラ制御手段と、
を備える物体追跡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を用いて特定の物体を検出および追跡する技術に関する。
【背景技術】
【0002】
画像内の特定の物体を追跡する技術の一例が、例えば、下記特許文献１乃至３に開示されている。下記特許文献１には、追尾対象の被写体を含む一部領域を切り出して切り出し動画として加工する際に、マニュアル（ユーザ操作）あるいは自動で当該被写体を追尾する技術が開示されている。また、下記特許文献２には、ショベルに取り付けられた撮像装置の画像の全領域を処理して人物がいる可能性の高い部分領域を特定し、当該部分領域を更に処理して当該領域に人物がいるか否かを判定する技術が開示されている。また、下記特許文献３には、パン動作及びチルト動作によって撮像方向を変更可能な撮像部により生成された画像から動体を検出し、画像の中央付近に動体が位置するようにパン動作及びチルト制御を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１６／００２２２８号
【特許文献2】特開２０１７－１５１８１５号公報
【特許文献3】特開２０１６－０９２６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
高性能な撮像装置は、４Ｋまたは８Ｋといった非常に高い解像度で画像を生成することができる。高解像度の画像においては、データ容量が膨大となる。そのため、高解像度の画像を処理する場合には、画像処理を行うマシンに要求されるリソースが大きくなる。
【0005】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的の一つは、高解像度の画像を使って物体追跡を行うときに必要なリソースを削減する技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の物体追跡装置は、
追跡対象の物体を特定する対象物特定情報を取得する対象物特定情報取得手段と、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出し、前記検出した物体を追跡する画像処理手段と、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する制御手段と、
を備える。
追跡対象の物体を特定する対象物特定情報を取得する対象物特定情報取得手段と、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出し、前記検出した物体を追跡する画像処理手段と、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する制御手段と、
を備える。
【0007】
本発明の物体追跡方法は、
コンピュータが、
追跡対象の物体を特定する対象物特定情報を取得し、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出するとともに前記検出した物体を追跡し、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む。
コンピュータが、
追跡対象の物体を特定する対象物特定情報を取得し、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出するとともに前記検出した物体を追跡し、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む。
【0008】
本発明のプログラムは、コンピュータに上述の物体追跡方法を実行させる。
【発明の効果】
【0009】
本発明によれば、高解像度の画像を使って物体追跡を行うときに必要なリソースを削減することができる。
【図面の簡単な説明】
【0010】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0011】
【図1】本発明に係る物体追跡装置が実行する処理の概要を説明するための図である。
【図2】第１実施形態における物体追跡装置の機能構成例を示す図である。
【図3】処理対象領域と所定領域との関係を例示する図である。
【図4】物体追跡装置のハードウエア構成を例示するブロック図である。
【図5】第１実施形態の物体追跡装置により実行される処理の流れを例示するフローチャートである。
【図6】第１実施形態の物体追跡装置により実行される処理の流れを例示するフローチャートである。
【図7】第１実施形態の物体追跡装置により実行される処理の流れを例示するフローチャートである。
【図8】物体検出処理の結果に基づく画像処理部の出力例を示す図である。
【図9】画像上で位置指定入力が行われる様子を例示する図である。
【図10】物体検出処理の結果に基づく画像処理部の出力例を示す図である。
【図11】追跡対象の物体を見失った場合に物体追跡装置が実行する処理の流れを例示するフローチャートである。
【図12】追跡対象の物体を見失った場合に対象物位置情報を取得する流れを例示する図である。
【図13】追跡対象の物体を見失った場合に対象物位置情報を取得する流れを例示する図である。
【図14】第２実施形態における物体追跡装置の機能構成例を示す図である。
【図15】第２実施形態の物体追跡装置により実行される録画処理の流れを例示するフローチャートである。
【図16】第３実施形態における物体追跡装置の機能構成例を示すブロック図である。
【図17】第３実施形態の物体追跡装置により実行されるレポート生成処理の流れを例示するフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【0013】
［発明の概要］
図１を用いて、本発明の概要を説明する。図１は、本発明に係る物体追跡装置１０が実行する処理の概要を説明するための図である。図１の例において、物体追跡装置１０は、図示しないネットワークを介して、撮像装置２０およびユーザ端末３０と通信可能に接続されている。撮像装置２０は、例えば、街中や建物内に設置された監視カメラ等である。ユーザ端末３０は、撮像装置２０により生成された画像の確認業務を行う人物（以下、「ユーザ」とも表記）が利用する端末である。
図１を用いて、本発明の概要を説明する。図１は、本発明に係る物体追跡装置１０が実行する処理の概要を説明するための図である。図１の例において、物体追跡装置１０は、図示しないネットワークを介して、撮像装置２０およびユーザ端末３０と通信可能に接続されている。撮像装置２０は、例えば、街中や建物内に設置された監視カメラ等である。ユーザ端末３０は、撮像装置２０により生成された画像の確認業務を行う人物（以下、「ユーザ」とも表記）が利用する端末である。
【0014】
物体追跡装置１０は、追跡対象とする物体を特定する情報（以下、「対象物特定情報」とも表記）の取得に応じて、その対象物特定情報によって特定される物体を撮像装置２０から取得される画像上で追跡する画像処理を行う。物体追跡装置１０は、既知の物体追跡アルゴリズムを使って、撮像装置２０から取得される複数の画像（連続する２以上のフレーム画像）間で特定の物体を追跡する。
【0015】
ここで、物体追跡装置１０は、図１に示されるように、撮像装置２０から取得される画像の全領域ＡＥではなく、当該画像の部分領域である処理対象領域ＡＰを画像処理の対象とする。つまり、物体追跡装置１０は、撮像装置２０から取得した画像の一部である処理対象領域ＡＰを解析することによって、追跡対象の物体を検出して追跡する。そして、この画像処理の結果は、撮像装置２０から取得した画像と共に、ユーザ端末３０のディスプレイ上に出力される。
【0016】
なお、追跡対象の物体が処理対象領域ＡＰの外側に移動してしまうと、物体追跡装置１０は、その物体を追跡できなくなってしまう。そこで、物体追跡装置１０は、対象物特定情報により特定される物体が処理対象領域ＡＰに含まれるように、追跡対象の物体の位置（画像座標系での位置）を用いて撮像装置２０の撮像範囲を制御する。なお、物体追跡装置１０は、撮像装置２０のズーム率、撮像装置２０の向き、または、撮像装置２０の位置を制御する機構（図示せず）の動作を制御信号によって制御することによって、その撮像装置２０の撮像範囲を変えることができる。
【0017】
＜作用・効果＞
上述したように、本発明では、追跡対象の物体を特定する情報（対象物特定情報）が取得されると、その対象物特定情報により特定される物体を追跡する画像処理が実行される。この画像処理は、撮像装置２０から取得した画像の一部である処理対象領域ＡＰに対して実行される。画像処理の対象とする領域を画像の一部の領域に制限することによって、画像処理にかかる演算コストを削減することができる。そして、演算コストが削減されることによって、画像処理用のコンピュータの性能が低い場合であっても、高解像度の画像を少ない遅延で（或いは、遅延なく）処理することができるようになる。
上述したように、本発明では、追跡対象の物体を特定する情報（対象物特定情報）が取得されると、その対象物特定情報により特定される物体を追跡する画像処理が実行される。この画像処理は、撮像装置２０から取得した画像の一部である処理対象領域ＡＰに対して実行される。画像処理の対象とする領域を画像の一部の領域に制限することによって、画像処理にかかる演算コストを削減することができる。そして、演算コストが削減されることによって、画像処理用のコンピュータの性能が低い場合であっても、高解像度の画像を少ない遅延で（或いは、遅延なく）処理することができるようになる。
【0018】
但し、画像処理の対象とする領域を制限した場合、画像の中での物体の追跡可能範囲が小さくなるという問題が生じる。そこで、本発明では、追跡対象の物体が処理対象領域ＡＰに含まれるように、撮像装置２０のズーム率、向き、または位置などが制御される。これにより、物体の追跡可能範囲が実質的に拡張される。つまり、本発明によれば、物体の追跡可能範囲に対する影響を抑えつつ、画像処理にかかる演算コストを削減する効果が得られる。
【0019】
［第１実施形態］
＜機能構成例＞
図２は、第１実施形態における物体追跡装置１０の機能構成例を示す図である。図２に示されるように、物体追跡装置１０は、対象物特定情報取得部１１０、画像処理部１２０、および制御部１３０を備える。
＜機能構成例＞
図２は、第１実施形態における物体追跡装置１０の機能構成例を示す図である。図２に示されるように、物体追跡装置１０は、対象物特定情報取得部１１０、画像処理部１２０、および制御部１３０を備える。
【0020】
対象物特定情報取得部１１０は、対象物特定情報を取得する。「対象物特定情報」は、撮像装置２０から取得した画像に含まれている追跡対象の物体を特定するための情報（画像に含まれる追跡対象の物体を一意に識別するための情報）である。対象物特定情報は、追跡対象の物体固有の特徴（例えば、その物体固有の色や形状など）を示す特徴量といった、画像から抽出可能な情報である。また、対象物特定情報は、特徴量を抽出する画像領域を示す情報（例えば、画像上の位置や領域を指定する情報）であってもよい。
【0021】
画像処理部１２０は、処理対象領域ＡＰにおいて、対象物特定情報により特定される追跡対象の物体を検出するとともに当該検出した物体を追跡する画像処理を実行する。言い換えると、画像処理部１２０は、処理対象領域ＡＰ以外の領域に対しては、追跡対象の物体を検出および追跡するための画像処理を実行しない。従って、撮像装置２０から取得した画像の中に何らかの物体が含まれている場合であっても、その物体が処理対象領域ＡＰの外側の領域に位置しているのであれば、その物体は画像処理部１２０によって検出および追跡されない。
【0022】
＜＜処理対象領域ＡＰについて＞＞
ここで、処理対象領域ＡＰは、図１で例示したように、画像の部分領域である。処理対象領域ＡＰは、好ましくは、画像の中央部（画像の中心付近の領域）を含んでいる。なお、処理対象領域ＡＰの形状は特に限定されない。処理対象領域ＡＰは、本明細書の図面に例示されるような矩形に限らず、その他の多角形や円（楕円）といった形状を有していてもよい。
ここで、処理対象領域ＡＰは、図１で例示したように、画像の部分領域である。処理対象領域ＡＰは、好ましくは、画像の中央部（画像の中心付近の領域）を含んでいる。なお、処理対象領域ＡＰの形状は特に限定されない。処理対象領域ＡＰは、本明細書の図面に例示されるような矩形に限らず、その他の多角形や円（楕円）といった形状を有していてもよい。
【0023】
一例として、処理対象領域ＡＰの形状は、任意に設定することができる。例えば、物体追跡装置１０は、ユーザ端末３０を介して、処理の対象とする領域、または、処理の対象外とする領域の指定入力を受け付け、その入力に基づいて処理対象領域ＡＰを定義してもよい。この場合、指定入力を基に算出される処理対象領域ＡＰの位置座標が、メモリなどに記憶（設定）される。
【0024】
他の一例として、処理対象領域ＡＰの大きさは予め定められていてもよい。具体的には、処理対象領域ＡＰは、十分な処理速度を保証できる大きさ（例えば、ＶＧＡ（Video Graphics Array）相当の大きさ（約３０万画素）など）に定められていてもよい。この場合、処理対象領域ＡＰの位置座標が、メモリなどに固定値として記憶（設定）される。
【0025】
本発明において、画像処理の演算コストを削減することを１つの目的として、処理対象領域ＡＰが設定されている。そのため、画像処理を行う装置に十分なリソースが残っている場合、処理対象領域ＡＰがある程度大きくなっても、ユーザが体感する処理速度に影響は少ない。そこで、処理対象領域ＡＰの大きさは、当該処理対象領域ＡＰに対する画像処理に割り当て可能なリソースの大きさに基づいて決定されてもよい。具体的には、物体追跡装置１０は、まず、自身の余剰リソースの情報を取得し、その情報に基づいて、処理対象領域ＡＰに対する画像処理に割り当て可能なリソースの大きさを決定する。そして、物体追跡装置１０は、当該割り当て可能なリソースの大きさに基づいて、処理対象領域ＡＰの大きさ（位置座標）を決定し、その位置座標をメモリなどに記憶（設定）する。
【0026】
制御部１３０は、対象物特定情報により特定される追跡対象の物体が処理対象領域ＡＰに含まれるように、撮像装置２０の撮像範囲を制御する。制御部１３０は、複数の画像を用いて追跡対象の物体の動き（検出位置の変位）を取得し、その動きに応じて撮像装置２０の撮像範囲を制御する機構（図示せず）を操作することにより、追跡対象の物体が処理対象領域ＡＰに含まれるように、撮像装置２０の撮像範囲を制御することができる。
【0027】
＜＜撮像装置２０の撮像範囲を制御する機構の具体例＞＞
「撮像装置２０の撮像範囲を制御する機構」の具体例としては、撮像装置２０のズームを制御する機構、撮像装置２０の向きを制御する電動雲台、撮像装置２０の撮影位置を制御する電動スライダーなどが挙げられる。
「撮像装置２０の撮像範囲を制御する機構」の具体例としては、撮像装置２０のズームを制御する機構、撮像装置２０の向きを制御する電動雲台、撮像装置２０の撮影位置を制御する電動スライダーなどが挙げられる。
【0028】
＜＜制御部１３０による制御の具体例＞＞
制御部１３０は、上述したような撮像装置２０の撮像範囲を制御する機構を操作することにより、撮像装置２０の撮像範囲を制御する。一例として、制御部１３０は、画像上での追跡対象の物体の動きに応じて、撮像装置２０のズームを制御する機構を操作して、撮像装置２０の撮像範囲を変更することができる。他の一例として、撮像装置２０が図示しない電動雲台（撮像装置２０の向きを制御する機構）に搭載されている場合、制御部１３０は、画像上での追跡対象の物体の動きに応じてその電動雲台を操作して、撮像装置２０の撮像範囲を変更することができる。さらに他の一例として、撮像装置２０が図示しない電動スライダー（撮像装置２０の位置を制御する機構）に搭載されている場合、制御部１３０は、画像上での追跡対象の物体の動きに応じてその電動スライダーを操作して、撮像装置２０の撮像範囲を変更することができる。また、制御部１３０は、上記で例示した複数の機構に対する操作を組み合わせて、撮像装置２０の撮像範囲を制御してもよい。
制御部１３０は、上述したような撮像装置２０の撮像範囲を制御する機構を操作することにより、撮像装置２０の撮像範囲を制御する。一例として、制御部１３０は、画像上での追跡対象の物体の動きに応じて、撮像装置２０のズームを制御する機構を操作して、撮像装置２０の撮像範囲を変更することができる。他の一例として、撮像装置２０が図示しない電動雲台（撮像装置２０の向きを制御する機構）に搭載されている場合、制御部１３０は、画像上での追跡対象の物体の動きに応じてその電動雲台を操作して、撮像装置２０の撮像範囲を変更することができる。さらに他の一例として、撮像装置２０が図示しない電動スライダー（撮像装置２０の位置を制御する機構）に搭載されている場合、制御部１３０は、画像上での追跡対象の物体の動きに応じてその電動スライダーを操作して、撮像装置２０の撮像範囲を変更することができる。また、制御部１３０は、上記で例示した複数の機構に対する操作を組み合わせて、撮像装置２０の撮像範囲を制御してもよい。
【0029】
また、ユーザの視認性の観点から、制御部１３０は、好ましくは、ユーザの見やすいポイント（例えば、画像の中央部の近辺）に追跡対象の物体が位置するように、撮像装置２０の撮像範囲を制御するように構成される。一例として、制御部１３０は、画像の中央部（中心）を含み、かつ、処理対象領域ＡＰの一部である所定領域（例：図３）に、追跡対象の物体が含まれるように、撮像装置２０の撮像範囲を制御する。図３は、処理対象領域ＡＰと所定領域との関係を例示する図である。図３の例において、所定領域ａは、処理対象領域ＡＰの一部であり、かつ、画像の全領域ＡＥの中心Ｏを含むように設定されている。この所定領域ａの位置座標を示す情報は、処理対象領域ＡＰの設定時に、物体追跡装置１０のメモリに併せて記憶される。制御部１３０は、この所定領域ａに追跡対象の物体（本図では、車両Ｖ１）が含まれるように、撮像装置２０の撮像範囲を制御する。図３の例では、制御部１３０は、撮像装置２０の撮像範囲が右上方向に移動するように、撮像装置２０のズーム率、向き、または位置などを調整する機構の動作を制御する。
【0030】
〔ハードウエア構成例〕
物体追跡装置１０は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、物体追跡装置１０がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
物体追跡装置１０は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、物体追跡装置１０がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0031】
図４は、物体追跡装置１０のハードウエア構成を例示するブロック図である。
【0032】
物体追跡装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【0033】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【0034】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【0035】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【0036】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は物体追跡装置１０の各機能（対象物特定情報取得部１１０、画像処理部１２０、制御部１３０など）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、各プログラムモジュールに対応する各機能が実現される。
【0037】
入出力インタフェース１０５０は、物体追跡装置１０と周辺機器１５とを接続するためのインタフェースである。周辺機器１５は、例えば、キーボードやマウスなどの入力機器、ディスプレイ（タッチパネルディスプレイ）やスピーカーなどの出力機器を含む。物体追跡装置１０は、これらの周辺機器１５と、入出力インタフェース１０５０を介して接続される。
【0038】
ネットワークインタフェース１０６０は、物体追跡装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。物体追跡装置１０は、ネットワークインタフェース１０６０を介して、撮像装置２０やユーザ端末３０といった外部装置と通信可能に接続される。撮像装置２０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを搭載するカメラである。ユーザ端末３０は、撮像装置２０により生成された画像の確認業務を行う人物（ユーザ）が利用する端末である。ユーザ端末３０は、据え置き型のＰＣ（Personal Computer）や携帯端末（スマートフォンやタブレット端末など）である。ユーザ端末３０は、特に限定されない。
【0039】
なお、図４に例示されるハードウエア構成は、あくまで一例であり、物体追跡装置１０のハードウエア構成は図４の例に制限されない。例えば、物体追跡装置１０の機能処理部の一部または全部が、撮像装置２０（画像処理や周辺機器制御を行うためのＣＰＵを搭載した所謂インテリジェントカメラ）或いはユーザ端末３０に備えられていてもよい。また、物体追跡装置１０の機能処理部の全てが撮像装置２０またはユーザ端末３０に備えられる場合、撮像装置２０とユーザ端末３０との間に、物体追跡装置１０が存在していなくてもよい。
【0040】
〔処理の流れ〕
以下、本実施形態の物体追跡装置１０により実行される処理について、図を用いて説明する。図５乃至図７は、第１実施形態の物体追跡装置１０により実行される処理の流れを例示するフローチャートである。
以下、本実施形態の物体追跡装置１０により実行される処理について、図を用いて説明する。図５乃至図７は、第１実施形態の物体追跡装置１０により実行される処理の流れを例示するフローチャートである。
【0041】
まず、物体追跡装置１０は、ネットワークインタフェース１０６０を介して撮像装置２０と通信し、当該撮像装置２０により生成された画像を取得する（Ｓ１０２）。
【0042】
撮像装置２０から画像を取得した後、画像処理部１２０は、撮像装置２０により生成された画像の処理対象領域ＡＰに対して物体検出処理を行う（Ｓ１０４）。なお、「物体検出処理」とは、検出対象として予め定義された物体（例：人物、車両、自動二輪車など）を検出する画像処理のことを言う。画像処理部１２０は、メモリ１０３０やストレージデバイス１０４０などに記憶された物体検出器を使い、撮像装置２０から取得した画像の中から所定の物体を検出することができる。物体検出器は、例えば機械学習によって、特定の物体（例：人物、車両、自動二輪車など）を検出可能に構築される。また、物体検出器は、ルールベースによって、特定の物体を検出可能に構築されていてもよい。また、物体検出器は、同種の物体の中から特定の属性を有する物体を区別して検出可能に構築されていてもよい。「属性」の具体例としては、特に限定されないが、以下のようなものが挙げられる。
・人物の属性：年齢、性別、服装の特徴、所持品の特徴など
・車両／自動二輪車の属性：車体の色、車種、車体形状やサイズ、ナンバープレートに記載されているナンバー、乗車人数など
また、物体検出器は、物体の挙動に関する属性（例えば、ふらついている、不審な行動をしている、など）を判別し、その属性を有する特定の物体を検出可能に構築されていてもよい。
・人物の属性：年齢、性別、服装の特徴、所持品の特徴など
・車両／自動二輪車の属性：車体の色、車種、車体形状やサイズ、ナンバープレートに記載されているナンバー、乗車人数など
また、物体検出器は、物体の挙動に関する属性（例えば、ふらついている、不審な行動をしている、など）を判別し、その属性を有する特定の物体を検出可能に構築されていてもよい。
【0043】
物体検出処理の実行後、画像処理部１２０は、当該処理による物体の検出結果を、例えば図８に例示するように撮像装置２０から取得した画像に重畳して、ユーザ端末３０のディスプレイに出力する（Ｓ１０６）。図８は、物体検出処理の結果に基づく画像処理部１２０の出力例を示す図である。図８の例において、画像処理部１２０は、処理対象領域ＡＰにおいて検出された物体（車両Ｖ１およびＶ２）それぞれに対応する位置に、物体の検出結果（矩形の枠Ｆ１およびＦ２）を重畳して、ユーザ端末３０のディスプレイに出力している。一方で、処理対象領域ＡＰの外側（画像処理が実行されない領域）に位置する物体（車両Ｖ３）については、画像処理部１２０は、当該物体を検出できない。そのため、車両Ｖ３については、車両Ｖ１およびＶ２に対して付加されている枠Ｆ１およびＦ２のような情報は付加されない。
【0044】
そして、物体追跡装置１０は、対象物特定情報取得部１１０により対象物特定情報が取得されているか否かを判定する（Ｓ１０８）。対象物特定情報が未だ取得されていない場合（Ｓ１０８：ＮＯ）、対象物特定情報取得処理が実行される。対象物特定情報取得処理の流れは、図６に例示される。一方、対象物特定情報が既に取得されている場合（Ｓ１０８：ＹＥＳ）、物体追跡処理が実行される。物体追跡処理の流れは、図７に例示される。
【0045】
＜＜対象物特定情報取得処理＞＞
対象物特定情報取得部１１０は、追跡対象の物体の位置を指定する入力（位置指定入力）を受け付けたか否かを判定する（Ｓ１１０）。例えば、ユーザ端末３０のディスプレイに表示された画像上でユーザが追跡対象の物体の位置を選択すると、当該選択された位置（画像座標上での位置）を示す情報が、対象物特定情報取得部１１０に入力される（例：図９）。図９は、画像上で位置指定入力が行われる様子を例示する図である。ユーザは、ユーザ端末３０の入力装置（マウス、キーボード、タッチパネルなど）を用いて、画像上の任意の位置を指定することができる。例えば、ユーザは、マウスやタッチパネルを用いて、本図に例示されるポインタＰを操作し、画像上の任意の位置を選択することができる。
対象物特定情報取得部１１０は、追跡対象の物体の位置を指定する入力（位置指定入力）を受け付けたか否かを判定する（Ｓ１１０）。例えば、ユーザ端末３０のディスプレイに表示された画像上でユーザが追跡対象の物体の位置を選択すると、当該選択された位置（画像座標上での位置）を示す情報が、対象物特定情報取得部１１０に入力される（例：図９）。図９は、画像上で位置指定入力が行われる様子を例示する図である。ユーザは、ユーザ端末３０の入力装置（マウス、キーボード、タッチパネルなど）を用いて、画像上の任意の位置を指定することができる。例えば、ユーザは、マウスやタッチパネルを用いて、本図に例示されるポインタＰを操作し、画像上の任意の位置を選択することができる。
【0046】
ユーザが位置指定入力を行う際、画像処理部１２０は、処理対象領域ＡＰを示す情報を撮像装置２０から取得した画像に重畳させて、ユーザ端末３０のディスプレイに表示させてもよい。例えば、画像処理部１２０は、図９に示されるような破線（処理対象領域ＡＰを示す情報）を、実際にユーザ端末３０のディスプレイに表示させてもよい。このように、処理対象領域ＡＰを画像において可視化することにより、画像処理が実行される領域内に物体が含まれているか否かを、ユーザが容易に判別できるようになる。
【0047】
ここで、処理対象領域ＡＰの外側（画像処理が実行されない領域）に位置する物体を追跡するためには、制御部１３０が、当該物体が処理対象領域ＡＰに含まれるように、撮像装置２０の撮像範囲を制御する必要がある。そのため、対象物特定情報取得部１１０が位置指定入力を受け付けた場合（Ｓ１１０：ＹＥＳ）、制御部１３０は、その位置指定入力により指定された位置が処理対象領域ＡＰの外側か否かを更に判定する（Ｓ１１２）。
【0048】
位置指定入力により指定された位置が処理対象領域ＡＰの外側である場合（Ｓ１１２：ＹＥＳ）、制御部１３０は、撮像装置２０の撮像範囲を制御する機構の少なくとも１つについて、指定された位置を処理対象領域ＡＰに含めるために必要な制御量を算出する（Ｓ１１４）。そして、制御部１３０は、算出した制御量に基づく制御信号を、操作対象の機構に対して送信する（Ｓ１１６）。この制御信号に応じて機構が動作することにより、位置指定入力により指定された位置（その位置に存在する、追跡対象として選択された物体）が処理対象領域ＡＰに含まれることになる。そして、物体追跡装置１０は、制御信号に応じて機構が動作した後に撮像装置２０により生成された新たな画像（追跡対象として選択された物体が処理対象領域ＡＰに含まれている状態の画像）を取得する（Ｓ１１８）。そして、対象物特定情報取得部１１０は、位置指定入力により指定された位置の情報を用いて、追跡対象として選択された物体を特定するための対象物特定情報を取得する（Ｓ１２０）。対象物特定情報取得部１１０は、まず、Ｓ１０２の処理で取得された画像において指定された位置に対応する、新たな画像上での位置を特定する。例えば、対象物特定情報取得部１１０は、Ｓ１０２の処理で取得された画像上で指定された位置と、Ｓ１１４の制御量（撮像範囲の移動量）とに基づいて、上記指定された位置に対応する位置を新たな画像上で特定することができる。そして、対象物特定情報取得部１１０は、新たな画像上で特定した位置において検出された物体の特徴量を、追跡対象の物体を特定するための対象物特定情報として取得する。そして、ここで取得された対象物特定情報を用いて、図７に例示されるような、物体追跡処理が実行される。
【0049】
一方、位置指定入力により指定された位置が処理対象領域ＡＰの内側である場合（Ｓ１１２：ＮＯ）、上述したようなＳ１１４～Ｓ１１８の処理は実行されない。この場合、対象物特定情報取得部１１０は、位置指定入力により指定された位置の情報を用いて、当該位置において検出された物体の特徴量を、追跡対象の物体を特定するための対象物特定情報を取得する（Ｓ１２０）。そして、ここで取得された対象物特定情報を用いて、図７に例示されるような、物体追跡処理が実行される。
【0050】
Ｓ１１０の判定で対象物特定情報取得部１１０が位置指定入力を受け付けていない場合（Ｓ１１０：ＮＯ）、対象物特定情報取得部１１０は、Ｓ１０４の物体検出処理において所定の条件に合致する物体が検出されたか否かを更に判定する（Ｓ１２２）。ここで、所定の条件とは、追跡対象の物体と判断するための条件である。「所定の条件」の具体例としては、特に限定されないが、「リュックを背負った人物」、「赤いセダンタイプの車」、「二人乗りの自転車」などが挙げられる。また、「所定の条件」は、容疑者の容姿（髪型、服装、所持品など）に関する特徴を示すものであってもよい。このような所定の条件に関する情報は、メモリ１０３０やストレージデバイス１０４０に予め記憶されていてもよいし、ユーザがユーザ端末３０を介して物体追跡装置１０に入力してもよい。
【0051】
Ｓ１０４の物体検出処理において所定の条件に合致する物体が検出された場合（Ｓ１２２：ＹＥＳ）、対象物特定情報取得部１１０は、当該検出された物体の特徴量を、対象物特定情報として取得する（Ｓ１２４）。そして、ここで取得された対象物特定情報を用いて、図７に例示されるような、物体追跡処理が実行される。一方、Ｓ１０４の物体検出処理において所定の条件に合致する物体が検出されなかった場合（Ｓ１２２：ＮＯ）、処理はＳ１０２に戻り、撮像装置２０から新たに取得された画像について、上述の処理が繰り返される。
【0052】
＜＜物体追跡処理＞＞
画像処理部１２０は、Ｓ１０４の物体検出処理で検出された物体の中から、先の処理で取得した対象物特定情報に対応する物体を追跡対象の物体として特定し、その追跡対象の物体の位置（画像座標系での位置）を取得する（Ｓ１２６）。そして、画像処理部１２０は、例えば図１０に示すように、追跡対象の物体の位置を示す情報をユーザ端末３０のディスプレイに出力する（Ｓ１２８）。図１０は、物体検出処理の結果に基づく画像処理部１２０の出力例を示す図である。なお、図１０では、対象物特定情報によって特定される物体が車両Ｖ１である場合が例示されている。この場合、画像処理部１２０は、車両Ｖ１（追跡対象の物体）の位置を示す情報を、撮像装置２０から取得した画像に重畳表示する。例えば、画像処理部１２０は、図１０に示されるように、車両Ｖ１に対応する領域を強調表示する情報を画像に重畳させて、車両Ｖ１を追跡中であることをユーザに知らせる。なお、図１０の例に限らず、画像処理部１２０は、車両Ｖ１（追跡対象の物体）に対応する枠Ｆ１の表示色あるいは表示状態を、車両Ｖ２（他に検出された物体）に対応する枠Ｆ２と異ならせるようにしてもよい。また、画像処理部１２０は、車両Ｖ１が追跡対象であることを示すメッセージや印などを、車両Ｖ１に対応付けて表示してもよい。
画像処理部１２０は、Ｓ１０４の物体検出処理で検出された物体の中から、先の処理で取得した対象物特定情報に対応する物体を追跡対象の物体として特定し、その追跡対象の物体の位置（画像座標系での位置）を取得する（Ｓ１２６）。そして、画像処理部１２０は、例えば図１０に示すように、追跡対象の物体の位置を示す情報をユーザ端末３０のディスプレイに出力する（Ｓ１２８）。図１０は、物体検出処理の結果に基づく画像処理部１２０の出力例を示す図である。なお、図１０では、対象物特定情報によって特定される物体が車両Ｖ１である場合が例示されている。この場合、画像処理部１２０は、車両Ｖ１（追跡対象の物体）の位置を示す情報を、撮像装置２０から取得した画像に重畳表示する。例えば、画像処理部１２０は、図１０に示されるように、車両Ｖ１に対応する領域を強調表示する情報を画像に重畳させて、車両Ｖ１を追跡中であることをユーザに知らせる。なお、図１０の例に限らず、画像処理部１２０は、車両Ｖ１（追跡対象の物体）に対応する枠Ｆ１の表示色あるいは表示状態を、車両Ｖ２（他に検出された物体）に対応する枠Ｆ２と異ならせるようにしてもよい。また、画像処理部１２０は、車両Ｖ１が追跡対象であることを示すメッセージや印などを、車両Ｖ１に対応付けて表示してもよい。
【0053】
そして、制御部１３０は、Ｓ１２６の処理で取得した、追跡対象の物体の位置に基づいて、撮像装置２０の撮像範囲の制御の要否を判定する（Ｓ１３０）。具体的には、制御部１３０は、追跡対象の物体の位置と、図３に例示されるような所定領域ａ（画像の中央部を含む領域）の位置とを比較して、撮像装置２０の撮像範囲の制御の要否を判定する。
【0054】
例えば追跡対象の物体の位置が所定領域ａの外側である場合など、撮像装置２０の撮像範囲の制御が必要と判断される場合（Ｓ１３０：ＹＥＳ）、制御部１３０は、撮像装置２０の撮像範囲を制御する機構の少なくとも１つについて、追跡対象の物体の位置を処理対象領域ＡＰに含めるために必要な制御量を算出する（Ｓ１３２）。そして、制御部１３０は、算出した制御量に基づく制御信号を、操作対象の機構に対して送信する（Ｓ１３４）。この制御信号に応じて機構が動作することにより、追跡対象の物体が所定領域ａに含まれることになる。一方、撮像装置２０の撮像範囲の制御が不要と判断される場合（Ｓ１３０：ＮＯ）、制御部１３０は、上述の処理を実行しない。
【0055】
そして、制御部１３０は、物体追跡処理の終了判定を行う（Ｓ１３６）。物体追跡処理の終了条件の具体例としては、特に限定されないが、「ユーザ端末３０において処理終了指示が入力された」、「撮像装置２０の撮像範囲を制御する機構の可動限界に達した」、「物体追跡処理を所定時間あるいは所定距離以上継続した」などが挙げられる。物体追跡処理の終了条件を満たしていない場合（Ｓ１３６：ＮＯ）、処理はＳ１２６に戻り、撮像装置２０から新たに取得される画像を用いて物体追跡処理が継続される。
【0056】
＜＜追跡対象の物体を見失った場合の処理＞＞
ここで、追跡対象の物体が急激に動いた場合や、追跡対象の物体と当該物体に似通った別の物体とが近接（すれ違った）場合などには、物体追跡装置１０が、追跡対象の物体を見失ってしまうこともある。ここで「見失う」とは、どの物体が対象物特定情報に対応する物体であるかを、物体追跡装置１０が識別できなくなることを意味する。
ここで、追跡対象の物体が急激に動いた場合や、追跡対象の物体と当該物体に似通った別の物体とが近接（すれ違った）場合などには、物体追跡装置１０が、追跡対象の物体を見失ってしまうこともある。ここで「見失う」とは、どの物体が対象物特定情報に対応する物体であるかを、物体追跡装置１０が識別できなくなることを意味する。
【0057】
【0058】
画像処理部１２０が処理対象領域ＡＰにおいて追跡対象の物体の検出に失敗した（追跡対象の物体を見失った）場合（Ｓ２０２：ＹＥＳ）、対象物特定情報取得部１１０は、撮像装置２０から取得した画像における当該物体の位置を示す情報（以下、「対象物位置情報」とも表記）を取得する（Ｓ２０４）。対象物特定情報取得部１１０により対象物位置情報が取得されると、制御部１３０は、その対象物位置情報により示される位置が処理対象領域ＡＰの外側か否かを更に判定する（Ｓ２０６）。
【0059】
対象物位置情報により示される位置が処理対象領域ＡＰの外側である場合（Ｓ２０６：ＹＥＳ）、制御部１３０は、撮像装置２０の撮像範囲を制御する必要があると判定する。この場合、制御部１３０は、撮像装置２０の撮像範囲を制御する機構の少なくとも１つについて、当該対象物位置情報が示す位置を処理対象領域ＡＰに含めるために必要な制御量を算出する（Ｓ２０８）。そして、制御部１３０は、算出した制御量に基づく制御信号を、操作対象の機構に対して送信する（Ｓ２１０）。この制御信号に応じて機構が動作することで、対象物位置情報により示される位置（その位置に存在する見失った物体）が処理対象領域ＡＰに含まれることになる。そして、物体追跡装置１０は、制御信号に応じて機構が動作した後に撮像装置２０により生成された新たな画像（見失った物体が処理対象領域ＡＰに含まれている状態の画像）を取得する（Ｓ２１２）。そして、対象物特定情報取得部１１０は、対象物位置情報が示す位置を用いて、見失った物体を再度特定するための対象物特定情報を取得する（Ｓ２１４）。そして、ここで取得された対象物特定情報を用いて、図７に例示されるような、物体追跡処理が再開される。
【0060】
一方、対象物位置情報により示された位置が処理対象領域ＡＰの内側である場合（Ｓ２０６：ＮＯ）、上述したようなＳ２０６～Ｓ２１２の処理は実行されない。この場合、対象物特定情報取得部１１０は、対象物位置情報が示す位置を用いて、見失った物体を再度特定するための対象物特定情報を取得する（Ｓ２１４）。そして、ここで取得された対象物特定情報を用いて、図７に例示されるような、物体追跡処理が実行される。
【0061】
【0062】
上述の処理について、図１２および図１３を用いて具体的に説明する。図１２および図１３は、追跡対象の物体を見失った場合に対象物位置情報を取得する流れを例示する図である。例えば、追跡対象の物体（車両Ｖ１）が、撮像装置２０の撮像範囲を制御する機構の動作速度を超える速度で移動した場合、図１２に示されるように、追跡対象の物体（車両Ｖ１）が処理対象領域ＡＰの外側に出てしまうことがある。この場合、画像処理部１２０は、当該追跡対象の物体を検出することができず、その物体を見失うことになる。しかし、図１２に示されるように、画像の全領域ＡＥについて見れば、処理対象領域ＡＰの外側の領域に追跡対象の物体（車両Ｖ１）が含まれている場合もある。この場合、処理対象領域ＡＰの外側の領域において、ユーザが追跡対象の物体の位置を選択することによって、物体追跡装置１０に、見失った物体の現在位置を知らせることができる。対象物特定情報取得部１１０は、このようにユーザによって選択された位置（例えば、ポインタＰが指し示す位置）の情報を、上述の対象物位置情報として取得する。
【0063】
図１２の例において取得される対象物位置情報は、処理対象領域ＡＰの外側の位置を示している。そのため、図１３に示されるように、制御部１３０は、対象物特定情報取得部１１０が取得した対象物位置情報を基に、撮像装置２０の撮像範囲を制御する機構を動作させる制御信号を生成および送信する。この制御信号によって、ユーザによって選択された位置（例えば、ポインタＰが指し示す位置）が処理対象領域ＡＰに含まれるように、撮像装置２０のズーム率、向き、または位置などを調整する機構が動作する。図１３の例では、制御部１３０は、撮像装置２０の撮像範囲が左下方向に移動するように、撮像装置２０のズーム率、向き、または位置などを調整する機構の動作を制御する制御信号を送信する。すると、図１３に示されるように、撮像装置２０の撮像範囲が左下方向に移動する。画像処理部１２０は、制御信号によって移動された撮像範囲における処理対象領域ＡＰ'に対して画像処理を行うことにより、追跡対象の物体（車両Ｖ１）の追跡を再開することができる。
【0064】
［第２実施形態］
本実施形態の物体追跡装置１０は、以下で説明するような録画部を更に備える点で、上述の第１実施形態と異なる。
本実施形態の物体追跡装置１０は、以下で説明するような録画部を更に備える点で、上述の第１実施形態と異なる。
【0065】
＜機能構成例＞
図１４は、第２実施形態における物体追跡装置１０の機能構成例を示す図である。図１４に示されるように、本実施形態の物体追跡装置１０は、第１実施形態で説明した構成に加えて、録画部１２２を備えている。録画部１２２は、追跡対象の物体を検出した後、所定の終了条件を満たすまでの間、撮像装置２０から取得した画像を、録画データとして所定の記憶領域（例えば、ストレージデバイス１０４０など）に保存する。
図１４は、第２実施形態における物体追跡装置１０の機能構成例を示す図である。図１４に示されるように、本実施形態の物体追跡装置１０は、第１実施形態で説明した構成に加えて、録画部１２２を備えている。録画部１２２は、追跡対象の物体を検出した後、所定の終了条件を満たすまでの間、撮像装置２０から取得した画像を、録画データとして所定の記憶領域（例えば、ストレージデバイス１０４０など）に保存する。
【0066】
＜処理の流れ＞
以下、本実施形態の物体追跡装置１０により実行される処理について、図を用いて説明する。図１５は、第２実施形態の物体追跡装置１０により実行される録画処理の流れを例示するフローチャートである。
以下、本実施形態の物体追跡装置１０により実行される処理について、図を用いて説明する。図１５は、第２実施形態の物体追跡装置１０により実行される録画処理の流れを例示するフローチャートである。
【0067】
まず、録画部１２２は、物体追跡処理が開始されたか否かを判定する（Ｓ３０２）。具体的には、録画部１２２は、図６に例示したような処理において、対象物特定情報取得部１１０により対象物特定情報が取得されたか否かを判定する。ここで、物体追跡処理が開始されていない場合（Ｓ３０２：ＮＯ）、後述する処理は実行されない。
【0068】
物体追跡処理が開始された場合、すなわち、対象物特定情報取得部１１０により対象物特定情報が取得された場合（Ｓ３０２：ＹＥＳ）、録画部１２２は、撮像装置２０から取得された画像（映像データ）を、例えば、メモリ１０３０などにバッファリングする（Ｓ３０４）。その後、録画部１２２は、物体追跡処理が終了するまで、撮像装置２０から取得された画像（映像データ）をバッファリングし続ける（Ｓ３０６：ＮＯ）。そして、物体追跡処理が終了した場合（Ｓ３０６：ＹＥＳ）、録画部１２２は、メモリ１０３０などにバッファリングした映像データを、物体追跡処理の結果を示す録画データとして、ストレージデバイス１０４０などに記憶する（Ｓ３０８）。
【0069】
以上、本実施形態では、第１実施形態で説明した 物体追跡処理の開始に合わせて、撮像装置２０から取得した映像データを基に、その物体追跡処理の結果を示す録画データが生成および記憶される。この過去の物体追跡処理の結果を示す録画データは、ユーザが確認業務を行う際に有用である。例えば、ユーザは、気になる追跡対象の物体についての録画データを見返すことで、追跡対象の物体の動きを念入りに確認するといったことができる。
【0070】
ここで、物体追跡処理が行われていない（すなわち、対象物特定情報が取得されていない）状況では、録画部１２２は、例えば、撮像装置２０から取得された画像（映像データ）を使って、タイムラプス動画を生成して記憶してもよい。ユーザは、タイムラプス動画を確認することによって、ある物体の追跡処理が開始される前後の状況を大まかに把握することができる。この場合、録画部１２２は、上述の録画データとタイムラプス動画とを別々のファイルとしてストレージデバイス１０４０などに記憶してもよいし、１つのファイルとしてストレージデバイス１０４０などに記憶してもよい。
【0071】
［第３実施形態］
本実施形態の物体追跡装置１０は、以下で説明するようなレポート生成部を更に備える点で、第１実施形態と異なる。
本実施形態の物体追跡装置１０は、以下で説明するようなレポート生成部を更に備える点で、第１実施形態と異なる。
【0072】
【0073】
レポート生成部１４０は、物体追跡処理の結果を示すレポートファイルを生成する。レポート生成部１４０が生成するレポートファイルは、例えば、追跡対象の物体を示す画像、追跡処理を行った期間（日時）に関する情報、追跡処理が実行された場所に関する情報、追跡対象の物体の移動軌跡などを含む。また、物体追跡装置１０が、第２実施形態で説明した録画部１２２を備えている場合、レポートファイルは、物体追跡処理に応じて生成された録画データへのリンクアドレスを更に含んでいてもよい。追跡対象の物体を示す画像は、例えば、撮像装置２０から取得した画像の中の代表画像（例えば、上述の第２実施形態で録画データが生成されている場合、その録画データのサムネイル画像）などである。レポート生成部１４０は、画像のほかに、追跡対象の物体に関するテキスト情報をレポートファイルに更に含めてもよい。追跡対象の物体に関するテキスト情報は、例えば、その物体のカテゴリ（人物、車両など）や、その物体の属性（例：人物であれば「リュックを背負っている」、車両であれば「赤いセダンタイプ」）を示す情報などである。追跡処理が実行された場所に関する情報は、例えば、撮像装置２０が設置された地点（住所など）を示す情報、撮像装置２０毎に一意に割り振られた番号といった撮像装置２０の個体を特定する情報などである。
【0074】
＜処理の流れ＞
以下、本実施形態の物体追跡装置１０により実行される処理について、図を用いて説明する。図１７は、第３実施形態の物体追跡装置１０により実行されるレポート生成処理の流れを例示するフローチャートである。
以下、本実施形態の物体追跡装置１０により実行される処理について、図を用いて説明する。図１７は、第３実施形態の物体追跡装置１０により実行されるレポート生成処理の流れを例示するフローチャートである。
【0075】
まず、レポート生成部１４０は、物体追跡処理が開始されたか否かを判定する（Ｓ４０２）。具体的には、レポート生成部１４０は、図６に例示したような処理において、対象物特定情報取得部１１０により対象物特定情報が取得されたか否かを判定する。ここで、物体追跡処理が開始されていない場合（Ｓ４０２：ＮＯ）、後述する処理は実行されない。
【0076】
物体追跡処理が開始された場合、すなわち、対象物特定情報取得部１１０により対象物特定情報が取得された場合（Ｓ４０２：ＹＥＳ）、レポート生成部１４０は、物体追跡処理の開始から終了までの間、レポートファイルに含める情報を収集する（Ｓ４０４）。
【0077】
例えば、レポート生成部１４０は、物体追跡処理が実行されている間に撮像装置２０から取得された画像の中から、１枚の代表画像を決定する。レポート生成部１４０は、例えば、被写体である追跡対象の物体の向き、ブレの少なさ、明るさなどを基に、画像毎の物体の視認性を数値化し、その数値に基づく最適な画像を代表画像として、レポートファイルに含めることができる。また、レポート生成部１４０は、撮像装置２０の画像を物体検出器に入力した結果（例えば、「車両」または「赤いセダンタイプの車両」など）を、テキスト情報としてレポートファイルに含めることができる。また、レポート生成部１４０は、物体追跡処理の開始時刻と終了時刻とをそれぞれ取得し、物体追跡処理が行われた期間を示す情報として、レポートファイルに含めることができる。また、レポート生成部１４０は、物体追跡処理に用いた画像を生成した撮像装置２０の設置場所やその撮像装置２０固有の番号などを取得し、物体追跡処理が実行された地点を示す情報として、レポートファイルに含めることができる。また、レポート生成部１４０は、各画像における追跡対象の物体の位置を地図上の位置に変換して得られる、その物体の移動軌跡を示す情報を、レポートファイルに含めることができる。この場合、レポート生成部１４０は、例えば、撮像装置２０の姿勢（パン／チルトの角度）および撮像装置２０の位置に基づいて画像の位置を地図上の位置に変換する関数を用いればよい。このような関数は、例えば、メモリ１０３０やストレージデバイス１０４０に予め記憶されている。また、物体追跡装置１０が第２実施形態で説明した録画部１２２を更に備えている場合、レポート生成部１４０は、物体追跡処理の終了時に出力された録画データのリンクアドレスを示す情報を、レポートファイルに含めることができる。
【0078】
そして、レポート生成部１４０は、Ｓ４０４で収集した情報を基に生成されたレポートファイルを、ストレージデバイス１０４０やユーザ端末３０などに出力する（Ｓ４０６）。
【0079】
以上、本実施形態では、物体追跡処理が実行された場合に、その物体追跡処理についてのレポートファイルが生成および出力される。本実施形態の構成によれば、物体追跡処理の実績を、ユーザが簡易に管理および把握することができるようになる。
【0080】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0081】
また、上述の説明で用いた複数のシーケンス図やフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0082】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．
追跡対象の物体を特定する対象物特定情報を取得する対象物特定情報取得手段と、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出し、前記検出した物体を追跡する画像処理手段と、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する制御手段と、
を備える物体追跡装置。
２．
前記対象物特定情報取得手段は、前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
１．に記載の物体追跡装置。
３．
前記対象物特定情報取得手段は、ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
２．に記載の物体追跡装置。
４．
前記対象物特定情報取得手段は、前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
１．から３．のいずれか１つに記載の物体追跡装置。
５．
前記処理対象領域は、前記画像の中央部を含む領域である、
１．から４．のいずれか１つに記載の物体追跡装置。
６．
前記制御手段は、前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
５．に記載の物体追跡装置。
７．
前記処理対象領域の大きさは予め定められている、
１．から６．のいずれか１つに記載の物体追跡装置。
８．
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
７．に記載の物体追跡装置。
９．
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する録画手段を更に備える、
１．から８．のいずれか１つに記載の物体追跡装置。
１０．
前記画像処理手段は、前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
１．から９．のいずれか１つに記載の物体追跡装置。
１１．
前記制御手段は、前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか１つを操作することにより、前記撮像装置の撮像範囲を制御する、
１．から１０．のいずれか１つに記載の物体追跡装置。
１２．
コンピュータが、
追跡対象の物体を特定する対象物特定情報を取得し、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出するとともに前記検出した物体を追跡し、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む物体追跡方法。
１３．
前記コンピュータが、
前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
ことを含む１２．に記載の物体追跡方法。
１４．
前記コンピュータが、
ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
ことを含む１３．に記載の物体追跡方法。
１５．
前記コンピュータが、
前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
ことを含む１２．から１４．のいずれか１つに記載の物体追跡方法。
１６．
前記処理対象領域は、前記画像の中央部を含む領域である、
１２．から１５．のいずれか１つに記載の物体追跡方法。
１７．
前記コンピュータが、
前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む１６．に記載の物体追跡方法。
１８．
前記処理対象領域の大きさは予め定められている、
１２．から１７．のいずれか１つに記載の物体追跡方法。
１９．
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
１８．に記載の物体追跡方法。
２０．
前記コンピュータが、
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する、
ことを更に含む１２．から１９．のいずれか１つに記載の物体追跡方法。
２１．
前記コンピュータが、
前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
ことを含む１２．から２０．のいずれか１つに記載の物体追跡方法。
２２．
前記コンピュータが、
前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか１つを操作することにより、前記撮像装置の撮像範囲を制御する、
ことを含む１２．から２１．のいずれか１つに記載の物体追跡方法。
２３．
コンピュータに、１２．から２２．のいずれか１つに記載の物体追跡方法を実行させるプログラム。
１．
追跡対象の物体を特定する対象物特定情報を取得する対象物特定情報取得手段と、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出し、前記検出した物体を追跡する画像処理手段と、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する制御手段と、
を備える物体追跡装置。
２．
前記対象物特定情報取得手段は、前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
１．に記載の物体追跡装置。
３．
前記対象物特定情報取得手段は、ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
２．に記載の物体追跡装置。
４．
前記対象物特定情報取得手段は、前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
１．から３．のいずれか１つに記載の物体追跡装置。
５．
前記処理対象領域は、前記画像の中央部を含む領域である、
１．から４．のいずれか１つに記載の物体追跡装置。
６．
前記制御手段は、前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
５．に記載の物体追跡装置。
７．
前記処理対象領域の大きさは予め定められている、
１．から６．のいずれか１つに記載の物体追跡装置。
８．
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
７．に記載の物体追跡装置。
９．
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する録画手段を更に備える、
１．から８．のいずれか１つに記載の物体追跡装置。
１０．
前記画像処理手段は、前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
１．から９．のいずれか１つに記載の物体追跡装置。
１１．
前記制御手段は、前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか１つを操作することにより、前記撮像装置の撮像範囲を制御する、
１．から１０．のいずれか１つに記載の物体追跡装置。
１２．
コンピュータが、
追跡対象の物体を特定する対象物特定情報を取得し、
撮像装置から取得した画像の部分領域である処理対象領域について画像処理を行うことによって、前記追跡対象の物体を検出するとともに前記検出した物体を追跡し、
前記処理対象領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む物体追跡方法。
１３．
前記コンピュータが、
前記画像における前記追跡対象の位置の入力に応じて、前記対象物特定情報を取得する、
ことを含む１２．に記載の物体追跡方法。
１４．
前記コンピュータが、
ディスプレイに表示された前記画像の上での前記追跡対象の物体の位置を選択する入力に応じて、前記対象物特定情報を取得する、
ことを含む１３．に記載の物体追跡方法。
１５．
前記コンピュータが、
前記画像処理において前記追跡対象の物体の検出に失敗した場合に、前記画像における前記追跡対象の位置を示す情報を取得する処理を実行する、
ことを含む１２．から１４．のいずれか１つに記載の物体追跡方法。
１６．
前記処理対象領域は、前記画像の中央部を含む領域である、
１２．から１５．のいずれか１つに記載の物体追跡方法。
１７．
前記コンピュータが、
前記画像の中央部を含み、かつ、前記処理対象領域の一部である所定領域に前記追跡対象の物体が含まれるように、前記撮像装置の撮像範囲を制御する、
ことを含む１６．に記載の物体追跡方法。
１８．
前記処理対象領域の大きさは予め定められている、
１２．から１７．のいずれか１つに記載の物体追跡方法。
１９．
前記処理対象領域の大きさは、前記処理対象領域に対する画像処理に割り当て可能なリソースの大きさに基づいて決定される、
１８．に記載の物体追跡方法。
２０．
前記コンピュータが、
前記追跡対象の物体を検出してから所定の終了条件を満たすまでの間に前記撮像装置から取得した画像を、録画データとして保存する、
ことを更に含む１２．から１９．のいずれか１つに記載の物体追跡方法。
２１．
前記コンピュータが、
前記処理対象領域を示す情報を前記画像に重畳させてディスプレイに表示する、
ことを含む１２．から２０．のいずれか１つに記載の物体追跡方法。
２２．
前記コンピュータが、
前記撮像装置のズームを制御する機構、前記撮像装置の向きを制御する機構、および、前記撮像装置の位置を制御する機構の少なくともいずれか１つを操作することにより、前記撮像装置の撮像範囲を制御する、
ことを含む１２．から２１．のいずれか１つに記載の物体追跡方法。
２３．
コンピュータに、１２．から２２．のいずれか１つに記載の物体追跡方法を実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】