特許 7593638 追跡システム、追跡方法および追跡プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】追跡システム、追跡方法および追跡プログラム

(51)【国際特許分類】

   G06T 7/292 20170101AFI20241126BHJP

   G03B 15/00 20210101ALI20241126BHJP

   G03B 17/00 20210101ALI20241126BHJP

   G03B 19/07 20210101ALI20241126BHJP

   G06T 7/00 20170101ALI20241126BHJP

   H04N 23/45 20230101ALI20241126BHJP

   H04N 23/60 20230101ALI20241126BHJP

【ＦＩ】

G06T7/292

G03B15/00 H

G03B15/00 P

G03B17/00 Q

G03B19/07

G06T7/00 300D

H04N23/45

H04N23/60 500

【請求項の数】 6

(21)【出願番号】P 2021204825

(22)【出願日】2021-12-17

(62)【分割の表示】P 2020102772の分割

【原出願日】2015-07-28

(65)【公開番号】P2022050430

(43)【公開日】2022-03-30

【審査請求日】2021-12-17

【審判番号】

【審判請求日】2023-10-04

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】小川 拓也

【合議体】

【審判長】高橋 宣博

【審判官】樫本 剛

【審判官】坂本 聡生

(56)【参考文献】

【文献】国際公開第２０１４／１０３６７３（ＷＯ，Ａ１）

【文献】特開２００４－７２６２８（ＪＰ，Ａ）

【文献】大池洋史、呉海元、華春生、和田俊和、「高速追従型２眼能動カメラシステム」、電子情報通信学会論文誌 Ｄ、２００８年５月、Ｖｏｌ．Ｊ９１－Ｄ、Ｎｏ．５、１３９３～１４０５頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/232

H04N 5/235

H04N 7/18

G06T 7/292

G06T 7/00

(57)【特許請求の範囲】

【請求項1】

同一の対象物を複数のカメラで追跡する追跡システムであって、
少なくとも２台以上の可視光カメラから映像を入力する処理部を備え、
前記処理部は、
第１の可視光カメラで撮像された第１の映像上で対象物を検出する第１の検出処理と、
前記第１の可視光カメラと視差のある画角で撮像する第２の可視光カメラで撮像された第２の映像上で前記対象物を検出する第２の検出処理と、
前記第１の可視光カメラおよび前記第２の可視光カメラのそれぞれによって撮像された特定のフレームの画像に映る前記対象物の位置に基づいて、前記特定のフレームを撮像した時刻より後に前記第１の可視光カメラおよび前記第２の可視光カメラのうち少なくとも一台によって撮像された同一の画角の映像上で前記対象物を追跡する追跡処理を制御する制御処理とを実行する
ことを特徴とする追跡システム。

【請求項2】

さらに、前記処理部は、前記第１の検出処理および前記第２の検出処理から得られた前記対象物の位置に基づいて設定された探索範囲内から、前記対象物を追跡する追跡処理を制御する制御処理を実行する
請求項１記載の追跡システム。

【請求項3】

第１の可視光カメラで撮像された第１の映像上で対象物を検出する第１の検出処理と、
前記第１の可視光カメラと視差のある画角で撮像する第２の可視光カメラで撮像された第２の映像上で前記対象物を検出する第２の検出処理と、
前記第１の可視光カメラおよび前記第２の可視光カメラのそれぞれによって撮像された特定のフレームの画像に映る前記対象物の位置に基づいて、前記特定のフレームを撮像した時刻より後に前記第１の可視光カメラおよび前記第２の可視光カメラのうち少なくとも一台によって撮像された同一の画角の映像上で前記対象物を追跡する追跡処理を制御する制御処理とを実行する
ことを特徴とする追跡方法。

【請求項4】

さらに、前記制御処理で、前記第１の検出処理および前記第２の検出処理から得られた前記対象物の位置に基づいて設定された探索範囲内から、前記対象物を追跡する追跡処理を制御する
請求項３記載の追跡方法。

【請求項5】

コンピュータに、
第１の可視光カメラで撮像された第１の映像上で対象物を検出する第１の検出処理、
前記第１の可視光カメラと視差のある画角で撮像する第２の可視光カメラで撮像された第２の映像上で前記対象物を検出する第２の検出処理、および、
前記第１の可視光カメラおよび前記第２の可視光カメラのそれぞれによって撮像された特定のフレームの画像に映る前記対象物の位置に基づいて、前記特定のフレームを撮像した時刻より後に前記第１の可視光カメラおよび前記第２の可視光カメラのうち少なくとも一台によって撮像された同一の画角の映像上で前記対象物を追跡する追跡処理を制御する制御処理
を実行させるためのプログラム。

【請求項6】

コンピュータに、
さらに、前記制御処理で、前記第１の検出処理および前記第２の検出処理から得られた前記対象物の位置に基づいて設定された探索範囲内から、前記対象物を追跡する追跡処理を制御させる
請求項５記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同一の対象物を複数のカメラで追跡する追跡システム、追跡方法および追跡プログラムに関する。

【背景技術】

【0002】

入力された画像列または映像において、その画像中の任意の物体をユーザが指定したときに、その物体を追跡する方法が各種提案されている。

【0003】

特許文献１には動画像から運動物体を検出する運動物体検出装置が記載されている。特許文献１に記載された装置は、現時刻および過去の画像フレーム中の運動物体のオプティカルフローを用いて偽のオプティカルフローを除去する。

【0004】

また、複数のカメラを用いて対象物を追跡する方法も知られている。特許文献２には、複数のカメラを連携させて、移動体を追跡監視する監視システムが記載されている。特許文献２に記載された監視システムは、複数の監視カメラが相互間で追跡対象の特徴情報を受け渡し、その特徴情報を用いて各監視カメラが追跡対象を追跡する。

【0005】

特許文献３には、可視光画像を処理して対象エリアに進入したオブジェクトの検出や追跡等を行う画像処理装置が記載されている。特許文献３に記載された画像処理装置には、可視光カメラおよび遠赤外線カメラが接続され、両カメラは、略同じアングルで、且つ略同じ撮像倍率でオブジェクトの検出を行う対象エリアを撮像する。また、特許文献３に記載された画像処理装置は、オブジェクトの検出に適さない可視光画像の画像領域があった場合、遠赤外線背景画像を用いて、遠赤外線背景差分画像を生成し、撮像されているオブジェクトを検出する。

【0006】

なお、特許文献４には、目標物を高速で検出する目標検出装置が記載されている。特許文献４に記載された目標検出装置は、レンズを介して入力される遠赤外線像と近赤外線像とをそれぞれ検出する検知器を備えている。

【先行技術文献】

【特許文献】

【0007】

【文献】特許第３８１０６５７号公報

【文献】特開２００３－３２４７２０号公報

【文献】特開２０１４－１５７４５２号公報

【文献】特開平６－１７４８２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載された装置のように単カメラを用いて対象物を追跡する場合、カメラの特性によっては、適切に追跡できない環境も存在する。例えば、可視単カメラを用いて追跡する場合、対象物の色が追跡に有効な特徴と言える。しかし、追跡する環境が、暗闇など、色の差異が見つけにくい環境の場合、可視単カメラを用いて対象物を追跡することは困難である。また、例えば、遠赤外線単カメラを用いて追跡する場合、昼夜を問わず温度によって特徴が得られる一方、他の同温物体が存在していた場合、対象物の追跡は困難である。

【0009】

また、特許文献２に記載された監視システムは、ある監視カメラ装置が追跡目標を見失うと、抽出された特徴情報を他の監視カメラ装置に伝送し、他の監視カメラ装置が、伝送された特徴情報に一致した場合に映像の伝送を開始する。しかし、各監視カメラ装置が撮影する位置や画角は通常異なるため、他の監視カメラ装置から受信した特徴情報をその後の追跡に精度よく利用できるとは言い難い。

【0010】

一方、特許文献３に記載された画像処理装置のように、複数のカメラを用いて対象物を追跡することにより、追跡の信頼性を向上させることは可能である。しかし、複数カメラをステレオ視のように同時に用いて追跡する際には、画角の違いや、視差による見えのズレの問題が存在する。理想的には、画角が同じであれば、カメラ間で対象物の位置が変わらないため、非常に簡単に処理が可能である。しかし、カメラセンサの大きさや焦点距離、レンズ歪み等の微妙な差異によって画角は異なってしまうため、複数のカメラを用いることによる画角の違いをなくすことは困難である。

【0011】

また、同じ品番のカメラを利用するなどして、画角を略同じに合わせたとしても、複数のカメラを用いる以上、視差は原理的になくすことができない。視差による見えのズレを考慮せず、かつ画角は略同じと仮定して画像処理を行うと、仮定に無理があるため、追跡対象を正確にとらえることができず、追跡精度の低下を招いてしまうという問題がある。

【0012】

そこで、本発明は、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる追跡システム、追跡方法および追跡プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明による追跡システムは、同一の対象物を複数のカメラで追跡する追跡システムであって、少なくとも２台以上の可視光カメラから映像を入力する処理部を備え、処理部が、第１の可視光カメラで撮像された第１の映像上で対象物を検出する第１の検出処理と、第１の可視光カメラと視差のある画角で撮像する第２の可視光カメラで撮像された第２の映像上で対象物を検出する第２の検出処理と、第１の可視光カメラおよび第２の可視光カメラのそれぞれによって撮像された特定のフレームの画像に映る対象物の位置に基づいて、特定のフレームを撮像した時刻より後に第１の可視光カメラおよび第２の可視光カメラのうち少なくとも一台によって撮像された同一の画角の映像上で対象物を追跡する追跡処理を制御する制御処理とを実行することを特徴とする。

【0015】

本発明による追跡方法は、第１の可視光カメラで撮像された第１の映像上で対象物を検出する第１の検出処理と、第１の可視光カメラと視差のある画角で撮像する第２の可視光カメラで撮像された第２の映像上で対象物を検出する第２の検出処理と、第１の可視光カメラおよび第２の可視光カメラのそれぞれによって撮像された特定のフレームの画像に映る対象物の位置に基づいて、特定のフレームを撮像した時刻より後に第１の可視光カメラおよび第２の可視光カメラのうち少なくとも一台によって撮像された同一の画角の映像上で対象物を追跡する追跡処理を制御する制御処理とを実行することを特徴とする。

【0016】

本発明による追跡プログラムは、コンピュータに、第１の可視光カメラで撮像された第１の映像上で対象物を検出する第１の検出処理、第１の可視光カメラと視差のある画角で撮像する第２の可視光カメラで撮像された第２の映像上で対象物を検出する第２の検出処理、および、第１の可視光カメラおよび第２の可視光カメラのそれぞれによって撮像された特定のフレームの画像に映る対象物の位置に基づいて、特定のフレームを撮像した時刻より後に第１の可視光カメラおよび第２の可視光カメラのうち少なくとも一台によって撮像された同一の画角の映像上で対象物を追跡する追跡処理を制御する制御処理を実行させることを特徴とする。

【発明の効果】

【0017】

本発明によれば、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。

【図面の簡単な説明】

【0018】

【図1】本発明による追跡システムの一実施形態を示すブロック図である。

【図2】２つの映像を並べて表示した例を示す説明図である。

【図3】追跡結果を表示した例を示す説明図である。

【図4】追跡システムの動作例を示す説明図である。

【図5】本発明による追跡システムの変形例を示すブロック図である。

【図6】本発明による追跡システムの概要を示すブロック図である。

【図7】本発明による追跡システムの他の概要を示すブロック図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態を図面を参照して説明する。なお、本発明において対象物とは、追跡対象である任意の人物または物体を意味する。

【0020】

図１は、本発明による追跡システムの一実施形態を示すブロック図である。本実施形態の追跡システムは、同一の対象物を複数のカメラで追跡するものであり、第１のカメラ１０と、第２のカメラ２０と、処理部３０と、出力部４０と、記憶部５０とを備えている。

【0021】

以下の説明では、追跡システムが２台のカメラ（第１のカメラ１０および第２のカメラ２０）を備えている場合を例示するが、追跡システムが備えるカメラの数は２台に限定されず、３台以上であってもよい。

【0022】

本実施形態では、第１のカメラ１０と第２のカメラ２０とは、同一の対象物を追跡するために用いられる。具体的には、一方のカメラが他方のカメラと略同一の画角を範囲とする映像を撮像する。以下の説明では、第１のカメラが撮像する映像を第１の映像と記し、第２のカメラが撮像する映像を第２の映像と記す。また、第２の映像は、第１の映像と略同一の画角で撮影される。

【0023】

第１のカメラ１０と第２のカメラ２０の位置関係は、例えば、ステレオ視によって対象物体を追跡できるように設定されてもよい。ここで、位置関係とは、上述するように略同一の画角で２つの映像が撮影されるように設定されたカメラの位置や向き、倍率のことを意味する。

【0024】

なお、複数のカメラを用いて同一の対象物を追跡するという特性上、原理的に視差をなくすることはできない。そのため、一方のカメラの画角を基準として、他方の各カメラの画角（画像範囲や、ある距離での大きさなど）が、ほぼ同じになるように調節される。この設定は、カメラが３台以上になった場合でも同様である。

【0025】

各カメラは、相互の位置関係を固定する装置を用いて設定されてもよい。また、相互の位置関係が変化しなければ、第１のカメラ１０と第２のカメラ２０とは、設置場所が固定されていなくてもよい。例えば、これらのカメラが同一の移動体に取り付けられて移動し、初期の状態からの画角が変化してもよい。

【0026】

また、各カメラは、追跡開始時に画角内に対象物が存在するように設定される。ただし、追跡開始時以外、対象物が画角内に存在している必要はない。第１のカメラ１０および第２のカメラ２０は、撮影した映像を処理部３０に入力する。

【0027】

本実施形態で用いられるカメラは、対象物を撮影可能なカメラであれば、その内容は任意である。具体的には、第１のカメラ１０と、第２のカメラ２０とは、同種のセンサを備えたカメラで実現されていてもよく、異種のセンサを備えたカメラで実現されていてもよい。例えば、第１のカメラが可視光カメラで、第２のカメラが遠赤外線カメラであってもよい。なお、第１のカメラ１０および第２のカメラ２０の態様は、可視光カメラや遠赤外線カメラに限られず、例えば、近赤外線カメラなどであってもよい。

【0028】

また、第１のカメラ１０と、第２のカメラ２０のフレームレートは、同一であってもよく、異なっていてもよい。例えば、第１のカメラ１０が、第２のカメラ２０に比べて低フレームレートで高解像度の画像を撮影してもよいし、第２のカメラ２０が、第１のカメラ１０に比べて高フレームレートで低解像度の画像を撮影してもよい。

【0029】

記憶部５０は、後述する処理部３０が、各種処理に用いる情報を記憶する。記憶部５０は、例えば、磁気ディスク装置などにより実現される。

【0030】

出力部４０は、処理部３０に入力された映像を表示する。出力部４０は、例えば、同じ時刻に撮影された２つの映像を比較できるように並べて表示してもよい。出力部４０は、例えば、ディスプレイ装置やタッチパネル装置により実現される。図２は、２つの映像を並べて表示した例を示す説明図である。図２に示す例では、可視光カメラで撮影された映像が左側に表示され、遠赤外線カメラで撮影された映像が右側に表示されていることを示す。

【0031】

処理部３０は、第１のカメラ１０で撮影された映像（すなわち、第１の映像）と、第２のカメラ２０で撮影された映像（すなわち、第２の映像）を入力する。処理部３０は、入力された映像のうち、一方の映像上の対象物の指定をユーザより受け付ける。本実施形態では、処理部３０は、第１の映像上の対象物の指定を受け付けるものとする。

【0032】

対象物の指定は、第１の映像上の対象物を含む範囲選択により行われる。対象物の指定方法は任意である。例えば、出力部４０がディスプレイ装置により実現されている場合、出力部４０に表示された第１の映像に対するポインティングデバイスを用いた範囲選択操作により対象物が指定されてもよい。また、例えば、出力部４０がタッチパネルにより実現されている場合、出力部４０に表示された第１の映像に対するユーザの範囲選択操作により対象物が指定されてもよい。

【0033】

処理部３０は、第１の映像上の対象物が指定されると、その対象物を含む指定範囲を探索範囲として特定する。以下、この探索範囲を第一の探索範囲と記すこともある。併せて、処理部３０は、第２の映像上で同一の対象物が存在する範囲を探索範囲として特定する。以下、この探索範囲を第二の探索範囲と記すこともある。

【0034】

ここで、探索範囲とは、対象物の検出処理が行われる領域である。検出処理は、学習された追跡対象と見えが同じものを探索して検出する処理であるため、探索範囲は、その探索が行われる画像上の範囲と言うこともできる。なお、探索とは、画像を所定の大きさ（例えば、５ピクセル×５ピクセルずつ、１０ピクセル×１０ピクセルずつ、など）に区切った全格子を候補とし、学習された追跡対象と見えが同じものをその候補の中から探して検出結果とする処理である。

【0035】

上述するように、第１の映像と第２の映像との間には視差が存在する。そこで、処理部３０は、視差（ズレ）を考慮して第二の探索範囲を特定する。処理部３０は、例えば、第１の画像で指定された矩形の範囲を対象に、指定された時刻の１フレーム前と指定された時刻のフレームとを比較し、対象物の動きの大きさ及び向きを推定する。処理部３０は、動きの大きさ及び向きを、例えば、オプティカルフローを用いて推定してもよい。次に、処理部３０は、第１の画像で指定された矩形と同じ位置の矩形を第２の映像上で特定する。処理部３０は、特定した第２の映像上の矩形について、第１の画像と同様、指定時の１フレーム前と指定時のフレームとを比較し、対象物の動きの大きさ及び向きを推定する。そして、処理部３０は、推定した対象物の大きさ及び向きが類似する箇所を、第２の映像上で指定された対象物が存在する箇所と推定して、第二の探索範囲を特定する。

【0036】

このように、一方の映像上の対象物の動きの大きさ及び向きに基づいて他の映像上の探索範囲を特定するため、両映像間に存在するズレを考慮して対象物を特定できる。また、対象物を指定していない他方の映像上の対象物を自動的に特定することで、対象物を指定する手間を軽減できる。すなわち、本実施形態では、ユーザが対象物の指定を１つの映像上でのみ行えばよく、他の映像上の対象物は自動推定されるため、複数異種カメラを用いた追跡技術にもかかわらず、入力にかかる手間が単一カメラの場合と比べて増加しないと言える。以降、処理部３０は、各カメラで撮影された映像から対象物の探索範囲を並行して決定し、追跡処理を行う。

【0037】

処理部３０は、各探索範囲を特定すると、それぞれの映像ごとに、一定のフレーム間隔で対象物の信頼度を算出する。この信頼度は、対象物らしさを示す類似度であり、映像ごとに追跡開始からの追跡情報を基に算出される。ここで、追跡開始からの追跡情報は、追跡の際に取得された対象物を示す各画像や、その対象物の各位置を示す情報（以下、テンプレートと記す。）を含む。テンプレートは、映像ごと（撮影するカメラごと）に作成される。

【0038】

処理部３０は、テンプレートと比較したときの見た目の類似度や、移動に応じて推定される対象物の位置の近さや尤もらしさの度合いに基づいて、対象物の信頼度を算出する。このとき、処理部３０は、対象物のテンプレートを随時更新しながら、各フレームにおける対象物の信頼度を算出してもよい。また、処理部３０は、探索時に随時取得される画像や対象物の移動を示す情報に基づいて、対象物のモデル（見えモデル、移動モデル）を学習し、学習したモデルを用いて対象物の信頼度を算出してもよい。

【0039】

なお、処理部３０は、映像ごとに算出される信頼度に基づいて対象物のテンプレートを更新してもよく、各映像で算出される信頼度を比較した時の相対的な信頼度合い（相対的信頼度）に基づいて、対象物のテンプレートを更新してもよい。処理部３０は、例えば、算出した信頼度が他の映像で算出された信頼度よりも低い場合、その画像で特定された対象物の更新重みを低く（または、０に）してもよい。また、例えば、いずれの信頼度も高く、相対的信頼度が高くない場合、処理部３０は、この場合も、対象物の更新重みを低く（または、０に）してもよい。

【0040】

なお、各映像上の対象物の追跡処理で取得される情報（具体的には、追跡開始からの追跡情報）に基づいて対象物の信頼度が算出できる方法であれば、その方法は任意である。すなわち、信頼度は、追跡対象らしさを示す度合いであって、値が高いほど類似度が高いと判断可能な式によって算出されればよい。

【0041】

次に、処理部３０は、信頼度が高いと判定された一方の追跡処理における対象物の位置及び大きさを、他方の追跡処理における対象物の探索範囲の設定に反映する。具体的には、処理部３０は、各映像から算出される信頼度を比較し、同時刻において最も高い信頼度が算出された映像および対象物を特定する。そして、処理部３０は、最も高い信頼度が算出された映像以外の他の映像の探索範囲を、特定した対象物の範囲（位置および大きさ）を示す情報を用いて決定する。すなわち、処理部３０は、最も高い信頼度が算出された対象物の情報を、他の全ての映像に共有させているとも言える。以後、映像ごとに決定された探索範囲で追跡処理が引き続き行われる。

【0042】

処理部３０は、算出された信頼度や前フレームの追跡結果に応じて、探索範囲の決定方法を変化させてもよい。具体的には、処理部３０は、前フレームの追跡結果が存在するか否か、また、信頼度が高いか低いかによって、探索範囲の決定方法を変更してもよい。例えば、前フレームの追跡結果が存在しない場合、または、信頼度が低い場合、処理部３０は、画像全体を探索範囲として追跡対象を探索する。このとき、処理部３０は、各画像全体の中から、過去の最新の追跡結果で特定された対象物の大きさに近いテンプレートのみを用いて対象物を特定してもよい。

【0043】

このように、各カメラ映像の探索範囲を絞り、その範囲内で一定以上の信頼度かつ一番信頼度が高い候補を探索し採用することで、探索時間を短縮しつつ、追跡結果を調整できる。なお、処理部３０は、被共有側のカメラ映像において、一定以上の信頼度がない場合、またはマッチするテンプレートがない場合、共有された追跡情報をそのまま採用してもよい。

【0044】

また、本実施形態では、複数のカメラで相補的に対象物を追跡するため、各カメラで視差が生じる。この視差を生かし、処理部３０は、カメラから対象物までの深度を用いて探索範囲を決定してもよい。

【0045】

深度を用いて探索範囲を決定する場合、まず初めに、ユーザは、対象物までの距離について、ある深度範囲ならば、この程度のずれが発生するという知識を、実際にキャリブレーションして事前に算出し、算出結果を記憶部５０に記憶しておく。すなわち、記憶部５０は、キャリブレーションにより算出された対象までの距離および深度範囲に応じたズレ（差異）を記憶する。処理部３０は、実際の追跡時に観測したズレに基づいて対象物までの深度を算出し、前フレームの画像で算出した深度から、現フレームの画像上の対象物の移動範囲を推定して探索範囲を特定する。このように探索範囲を狭めることで、画像上の一部の範囲のみにテンプレートを適用することが可能になるため、追跡処理の速度を向上できる。

【0046】

他にも、記憶部５０は、深度範囲と探索範囲を対応付けて記憶していてもよい。この場合、処理部３０は、実際の追跡時に観測したズレに基づいて対象物の深度範囲を算出し、記憶部５０に記憶された対応関係に基づいて、算出した深度範囲から他の追跡処理に設定する探索範囲を決定してもよい。

【0047】

処理部３０は、探索範囲を決定した後、再度追跡処理（対象物の検出処理）を行うとともに、出力部４０に表示された映像上に、例えば、対象物を矩形で囲むなどして、追跡結果を随時表示してもよい。このような追跡結果を表示することにより、対象物を視覚的に追跡することが可能になる。

【0048】

このとき、処理部３０は、より信頼度の高い映像上の追跡結果を特定の態様で表示してもよい。処理部３０は、例えば、信頼度の高い映像上の対象物を濃い色の太枠の矩形で囲むように表示し、信頼度の低い映像上の対象物を薄い色の細枠の矩形で囲む（または囲まず）表示してもよい。

【0049】

図３は、追跡結果を表示した例を示す説明図である。図３に示す例では、図２に例示する映像に対して追跡処理を行った結果、第１のカメラで撮影された映像よりも第２のカメラで撮影された映像による追跡結果の信頼度が連続して高かったことを示す。このようにすることで、どの映像の対象物の追跡結果を利用して追跡処理が行われているかを視覚的に把握することが可能になる。

【0050】

なお、処理部３０は、プログラム（追跡プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶部５０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、処理部３０として動作してもよい。また、処理部３０は、専用のハードウェアで実現されていてもよい。

【0051】

次に、本実施形態の追跡システムの動作を説明する。図４は、本実施形態の追跡システムの動作例を示す説明図である。まず、予め、第１のカメラ１０で撮影された映像（すなわち、第１の映像）と、第２のカメラ２０で撮影された映像（すなわち、第２の映像）との間で映像調整が行われる（ステップＳ１１）。具体的には、第１のカメラ１０と第２のカメラ２０とが略同一の画角を範囲とする映像を撮影できるように、両カメラの調整が行われる。

【0052】

調整後、処理部３０は、ユーザによる第１の映像上の対象物に対する指定を受け付ける（ステップＳ１２）。処理部３０は、第１の映像上の対象物が指定されると、第１の映像上の探索範囲（第一の探索範囲）を特定するとともに、第２の映像上の探索範囲（第二の探索範囲）を特定する（ステップＳ１３）。

【0053】

各映像上の探索範囲が特定されると、処理部３０は、それぞれの映像上で対象物を追跡し（ステップＳ１４，Ｓ１５）、追跡した対象物の信頼度を一定のフレーム間隔で算出する（ステップＳ１６，Ｓ１７）。処理部３０は、映像ごとに算出した信頼度を比較し、最も高い信頼度が算出された映像および対象物を特定する（ステップＳ１８）。

【0054】

処理部３０は、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する（ステップＳ１９，Ｓ２０）。具体的には、処理部３０は、追跡結果を調整することにより探索範囲を決定し、次フレームの画像に対してステップＳ１４およびステップＳ１５以降の処理を繰り返す。

【0055】

以上のように、本実施形態では、第１のカメラ１０が第１の映像を撮像し、第２のカメラ２０が第１のカメラと略同一の画角で撮影される第２の映像を撮像する。そして、追跡システムに備えられた処理部３０が、第１の映像上で対象物を追跡する第１の追跡処理と、第２の映像上で対象物を追跡する第２の追跡処理を実行する。また、処理部３０は、第１の追跡処理で得られた対象物の信頼度（第１の信頼度）と、第２の追跡処理で得られた対象物の信頼度（第２の信頼度）とを算出する信頼度算出処理を実行する。そして、処理部３０は、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理を実行する。よって、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。

【0056】

また、本実施形態では、ステレオ視に代表される複数カメラを用いた場合の見えのズレ（視差）を考慮し、追跡結果を共有することにより探索範囲を微調整（補正）しているため、より頑健に対象物を追跡できる。

【0057】

また、本実施形態では、映像ごとに独立して対象物の信頼度を算出し、信頼度の高い映像から特定される対象物の追跡情報を他の映像に反映させるため、追跡に用いるカメラのセンサやフレームレートの異同を問わない。そのため、異種のカメラで相補的に対象を追跡できるため、追跡精度を向上させることが可能になる。言い換えると、本発明では、複数のカメラの中で一番信頼度の高い追跡情報を基に追跡するため、各カメラの特性的に優位な場面を自動的に選択して追跡しているといえる。

【0058】

具体的には、本実施形態では、画角を略同じにした複数の異種または同種のカメラ（例えば、遠赤外線カメラと可視光カメラ）の映像を用いて、同時並行的に対象物を追跡しつつ、高信頼度側の追跡情報を低信頼度側に共有して、追跡情報を補正する。例えば、異種センサを含むカメラを組み合わせた場合、一の種類のカメラの苦手な場面を、他の種類のカメラによって補完しながら追跡することが可能になる。

【0059】

また、本実施形態では、既成の単カメラを組み合わせて各カメラの画角を略同一に合わせればよいため、特許文献４に記載されているような、特殊なレンズ機構を必要としない。また、カメラ間の位置関係（カメラの位置・向き・倍率などの関係）を変化させなければ、追跡途中にカメラを動かしたとしても対象物を追跡できる。そのため、本実施形態の追跡システムを移動カメラシステムに適用することも可能である。

【0060】

次に、本実施形態の変形例を説明する。図１に示す例では、追跡システムが処理部３０を備え、処理部３０が第１のカメラ１０から入力される映像（第１の映像）と第２のカメラから入力される映像（第２の映像）の両方に対して追跡処理および信頼度算出処理を行っていた。

【0061】

本変形例では、各カメラで撮影した映像に対する処理が別々の手段で実現される場合の構成を説明する。図５は、本発明による追跡システムの変形例を示すブロック図である。図５に例示する追跡システムは、第１のカメラ１０と、第２のカメラ２０と、追跡部３１と、追跡部３２と、信頼度算出部３３と、信頼度算出部３４と、制御部３５と、出力部４０と、記憶部５０とを備えている。

【0062】

第１のカメラ１０、第２のカメラ２０、出力部４０および記憶部５０の内容は、上記実施形態と同様であるため、詳細な説明は省略する。また、追跡部３１、追跡部３２、信頼度算出部３３、信頼度算出部３４および制御部３５で行われる内容は、上記実施形態の処理部３０で行われる内容と同様である。

【0063】

具体的には、追跡部３１および信頼度算出部３３は、第１のカメラ１０で撮影された映像（第１の映像）に対する処理を行う。また、追跡部３２および信頼度算出部３４は、第２のカメラ２０で撮影された映像（第２の映像）に対する処理を行う。なお、追跡部３１が行う処理と追跡部３２とが行う処理、および、信頼度算出部３３が行う処理と信頼度算出部３４とが行う処理は、対象とする映像または画像が異なる以外は、それぞれ同一である。

【0064】

追跡部３１は、第１の映像上で対象物を追跡する（第１の追跡処理）。また、追跡部３２は、第２の映像上で対象物を追跡する（第２の追跡処理）。なお、対象物の追跡方法は、上述する処理部３０が行う方法と同様である。

【0065】

信頼度算出部３３は、第１の追跡処理で得られた対象物の信頼度（第１の信頼度）を算出する。また、信頼度算出部３４は、第２の追跡処理で得られた対象物の信頼度（第２の信頼度）を算出する。なお、信頼度の算出方法は、上述する処理部３０が行う方法と同様である。

【0066】

制御部３５は、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する。具体的には、制御部３５は、信頼度が高いと判定された一方の追跡処理における対象物の位置及び大きさを、他方の追跡処理における対象物の探索範囲の設定に反映する。なお、探索範囲の設定の反映方法は、上述する処理部３０が行う方法と同様である。

【0067】

追跡部３１と、追跡部３２と、信頼度算出部３３と、信頼度算出部３４と、制御部３５とは、プログラム（通信情報参照プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、また、追跡部３１と、追跡部３２と、信頼度算出部３３と、信頼度算出部３４と、制御部３５とは、それぞれが専用のハードウェアで実現されていてもよい。

【0068】

また、例えば、第１のカメラ１０と、追跡部３１と、信頼度算出部３３とが一体の追跡装置として構成され、第２のカメラ２０と、追跡部３２と、信頼度算出部３４とが一体の追跡装置として構成されていてもよい。そして、各追跡装置は、制御部３５からの指示に応じて、各処理を実施してもよい。

【0069】

このような構成によっても、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。

【0070】

次に、本発明の概要を説明する。図６は、本発明による追跡システムの概要を示すブロック図である。本発明による追跡システムは、同一の対象物（例えば、追跡対象）を複数のカメラで追跡する追跡システムであって、第１の映像を撮像する第１のカメラ１００（例えば、第１のカメラ１０）と、第１のカメラ１００と略同一の画角で撮影される第２の映像を撮像する第２のカメラ２００（例えば、第２のカメラ２０）と、処理部８０（例えば、処理部３０）とを備えている。

【0071】

処理部８０は、第１の映像上で対象物を追跡する第１の追跡処理と、第２の映像上で対象物を追跡する第２の追跡処理と、第１の追跡処理で得られた対象物の信頼度である第１の信頼度と、第２の追跡処理で得られた対象物の信頼度である第２の信頼度とを算出する信頼度算出処理と、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御処理とを実行する。

【0072】

そのような構成により、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。

【0073】

ここで、第１のカメラ１００と第２のカメラ２００とは、異種のセンサを備えたカメラで実現されてもよい。各カメラが異種のセンサを備えたカメラで実現された場合、各カメラで撮影される映像の内容は大きく異なる。しかし、本発明では、撮影された各映像の信頼度を算出し、より高い信頼度が算出された映像の追跡処理結果（例えば、探索範囲）に基づいて、他の映像の追跡処理を制御する。そのため、一の種類のカメラの苦手な場面を、他の種類のカメラによって補完しながら追跡することが可能になる。

【0074】

具体的には、第１のカメラ１００は可視光カメラであってもよく、第２のカメラ２００は遠赤外線カメラであってもよい。この場合、特に相補的に対象を追跡が可能であり、各カメラの特性をより生かした追跡が可能になる。

【0075】

また、第１のカメラ１００は、第２のカメラ２００よりも低フレームレートで高解像の映像を撮像し、第２のカメラ２００は、第１のカメラ１００よりも高フレームレートで低解像の映像を撮像してもよい。

【0076】

また、処理部８０は、信頼度が高いと判定された一方の追跡処理における対象物の位置及び大きさを、他方の追跡処理における対象物の探索範囲の設定に反映してもよい。すなわち、高信頼度の対象物の追跡結果から他の追跡処理の探索範囲が決定されるため、画角が完全に一致しない複数のカメラを用いた場合でも、探索範囲を補正しながら追跡できる。そのため、同一の対象物を精度よく追跡することが可能になる。すなわち、本発明では、複数のカメラを利用した際に生ずる画像上の見えのずれに対し、一方の追跡処理結果を反映することにより、他の画像の探索範囲を吸収可能に設定していると言える。

【0077】

また、追跡システムは、深度範囲と探索範囲を対応付けて記憶する記憶部（例えば、記憶部５０）を備えていてもよい。そして、処理部８０は、記憶部を参照し、追跡時に観測された差異に基づいて算出される対象物の深度範囲から探索範囲を特定してもよい。

【0078】

さらに、第１のカメラ１００と第２のカメラ２００とは、同一の移動体に取り付けられて同一の対象物を追跡してもよい。本発明では、両カメラが略同一の画角で撮影可能に設置されていれば、厳密な画角の一致は必要ないため、両カメラが同一の移動体に取り付けて行われる追跡処理の精度も向上できる。

【0079】

また、処理部８０は、信頼度の算出に用いられる対象物のテンプレート情報を一定のフレーム間隔で更新し、更新したテンプレート情報を用いて各フレームの信頼度を算出してもよい。

【0080】

図７は、本発明による追跡システムの他の概要を示すブロック図である。図７に例示する追跡システムは、同一の対象物を複数のカメラで追跡する追跡システムであって、第１の映像を撮像する第１のカメラ１００と、第１のカメラ１００と略同一の画角で撮影される第２の映像を撮像する第２のカメラ２００と、第１の映像上で対象物を追跡する第１の追跡部８１（例えば、追跡部３１、処理部３０）と、第２の映像上で対象物を追跡する第２の追跡部８２（例えば、追跡部３２、処理部３０）と、第１の追跡部８１により得られた対象物の信頼度である第１の信頼度を算出する第１の信頼度算出部８３（例えば、信頼度算出部３３、処理部３０）と、第２の追跡部８２により得られた対象物の信頼度である第２の信頼度を算出する第２の信頼度算出部８４（例えば、信頼度算出部３４、処理部３０）と、第１の信頼度と第２の信頼度とを比較して、信頼度がより高い追跡処理を特定し、特定された一方の追跡処理結果に基づいて、他方の追跡処理を制御する制御部８５（例えば、制御部３５、処理部３０）とを備えている。

【0081】

そのような構成によっても、複数のカメラで同一の対象物を追跡する際の追跡精度を向上させることできる。

【符号の説明】

【0082】

１０ 第１のカメラ
２０ 第２のカメラ
３０ 処理部
３１，３２ 追跡部
３３，３４ 信頼度算出部
３５ 制御部
４０ 出力部
５０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】