(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-31
(45)【発行日】2023-08-08
(54)【発明の名称】画像追跡装置、画像追跡方法、及びプログラム
(51)【国際特許分類】
G06T 7/246 20170101AFI20230801BHJP
H04N 7/18 20060101ALI20230801BHJP
【ＦＩ】
G06T7/246
H04N7/18 G
H04N7/18 D
【請求項の数】
9
(21)【出願番号】P 2022510041
(86)(22)【出願日】2021-03-18
(86)【国際出願番号】 JP2021011080
(87)【国際公開番号】W WO2021193353
(87)【国際公開日】2021-09-30
【審査請求日】2022-09-20
(31)【優先権主張番号】P 2020054679
(32)【優先日】2020-03-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】110002044
【氏名又は名称】弁理士法人ブライタス
(72)【発明者】
【氏名】石寺 永記
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１９－１７８６７（ＪＰ，Ａ）
【文献】特開２０１４－１３４３２（ＪＰ，Ａ）
【文献】特開２０１２－２０３４２２（ＪＰ，Ａ）
【文献】特開２００６－２０２１３５（ＪＰ，Ａ）
【文献】特開２００２－１４８１６（ＪＰ，Ａ）
【文献】国際公開第２０１８／１７９０９２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／２４６
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得手段と、前記画像データ毎に、物体を検出する、物体検出手段と、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算手段と、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定手段と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡手段と、
を備えている、ことを特徴とする画像追跡装置。
【請求項2】
請求項１に記載の画像追跡装置であって、前記同一性判定手段が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡装置。
【請求項3】
請求項２に記載の画像追跡装置であって、前記同一性判定手段が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡装置。
【請求項4】
カメラから時系列に沿ってフレーム単位で出力される画像データを取得し、前記画像データ毎に、物体を検出し、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求め、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定し、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、
ことを特徴とする画像追跡方法。
【請求項5】
請求項４に記載の画像追跡方法であって、前記同一性の判定において、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡方法。
【請求項6】
請求項５に記載の画像追跡方法であって、前記同一性の判定において、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡方法。
【請求項7】
コンピュータに、カメラから時系列に沿ってフレーム単位で出力される画像データを取得させ、
前記画像データ毎に、物体を検出させ、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定させ、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求めさせ、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定させ、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行わせる、
プログラム。
【請求項8】
請求項７に記載のプログラムであって、前記同一性の判定において、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出させ、更に、算出した指標の値が閾値以上であるペアを選択させ、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定させる、
ことを特徴とするプログラム。
【請求項9】
請求項８に記載のプログラムであって、前記同一性の判定において、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラからの映像上で人物等の物体を追跡する、画像追跡装置、及び画像追跡方法に関し、更には、これらを実現するためのプログラムに関する。
【背景技術】
【0002】
近年、監視システムには、監視カメラからの映像上で特定の人物を追跡する機能が付加されている。例えば、特許文献１は、このような人物追跡機能が付加された監視システムを開示している。特許文献１に開示された監視システムは、監視カメラから時系列に沿って出力されるフレーム毎に、人物と予想される領域の特徴量を抽出し、連続するフレーム間で、抽出した特徴量の同一性を判断することによって、追跡対象となっている人物を追跡する。特許文献１に開示された監視システムによれば、特定の人物の行動を監視できるため、管理者は容易に不審者を特定することができる。
【0003】
また、非特許文献１は、予め学習したニューラルネットワークを用いて、特定の人物を追跡する監視システムを開示している。非特許文献１に開示された監視システムでは、人物の画像が学習データとして用いられて、ニューラルネットワークの学習が行われる。このため、非特許文献１に開示された監視システムを用いれば、特許文献１に開示された監視システムに比べて、より追跡精度を高めることができると考えられる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００９－０９８７７４号公報
【非特許文献】
【0005】
【文献】Zhedong Zheng, Xiaodong Yang, Zhiding Yu, Liang Zheng, Yi Yang, Jan Kautz1, ” Joint Discriminative and Generative Learning for Person Re-identification”, 22 May 2019, CVPR2019
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、監視システムに用いる監視カメラでは、一般に、フレームレートを上げることが難しく、フレームレートは３fps～５fps程度に設定される。これは、フレームレートを上げると、送信する画像データのサイズが大きくなり、通信回線の許容量を超えてしまうからである。このため、監視システムは、フレームレートが低い状況下で、人物追跡を行う必要がある。
【0007】
しかしながら、このようなフレームレートが低い状況下では、フレーム間における人物の移動距離が大きくなってしまうため、特許文献１に開示された監視システムでは、追跡精度が低下するという問題が発生する。一方、非特許文献１に開示された監視システムでは、特許文献１に開示された監視システムに比べて、追跡精度の低下は抑制されると考えられるが、この監視システムには、予め大量の学習データを用いて機械学習していない人物を追跡できないという問題がある。
【0008】
本発明の目的の一例は、上記問題を解消し、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡し得る、画像追跡装置、画像追跡方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一側面における画像追跡装置は、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
前記画像データ毎に、物体を検出する、物体検出部と、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算部と、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする。
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
前記画像データ毎に、物体を検出する、物体検出部と、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算部と、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする。
【0010】
また、上記目的を達成するため、本発明の一側面における画像追跡方法は、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする。
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする。
【0011】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる、プログラム。
コンピュータに、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる、プログラム。
【発明の効果】
【0012】
以上のように本発明によれば、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
【0015】
【0016】
図１に示す実施の形態における画像追跡装置１００は、カメラからの映像上で人物等の物体を追跡する装置である。図１に示すように、画像追跡装置１００は、画像データ取得部１０１と、物体検出部１０２と、分散計算部１０３と、同一性判定部１０４と、物体追跡部１０５とを備えている。
【0017】
この構成において、画像データ取得部１０１は、カメラから時系列に沿ってフレーム単位で出力される画像データを取得する。物体検出部１０２は、画像データ毎に、物体を検出する。
【0018】
分散計算部１０３は、まず、画像データ毎に、その画像データで検出された物体それぞれについて、その物体とその画像データの直後に出力された画像データで検出された、いずれかの物体とのペアを設定する。続いて、分散計算部１０３は、画像データ毎に、各ペアについて、特徴空間における、そのペアをクラスとする第１のクラス内分散と、そのペア以外の物体をクラスとする第２のクラス内分散と、クラス間分散とを求める。
【0019】
同一性判定部１０４は、各ペアについて求められた、第１のクラス内分散、第２のクラス内分散、及びクラス間分散を用いて、各画像データにおいて検出された物体と、その画像データの直後に出力された画像データにおいて検出された物体と、の同一性を判定する。物体追跡部１０５は、同一性の判定結果に基づいて、検出された物体の追跡処理を行う。
【0020】
このように、実施の形態では、連続するフレーム間毎に、クラス内分散によって物体の同一性が判定される。このため、実施の形態によれば、フレームレートに影響されることなく、カメラからの映像上で物体を精度よく追跡できる。また、実施の形態では、物体を追跡するに際して、学習データを用いた事前の機械学習の必要性はない。
【0021】
続いて、図２及び図３を用いて、実施の形態における画像追跡装置１００の構成及び機能について具体的に説明する。図２は、本発明の実施の形態における画像追跡装置の構成を具体的に示す構成図である。図３は、実施の形態において取得された画像データの一例と実施の形態において設定されたペアの一例とを示す図である。
【0022】
図２に示すように、実施の形態では、画像追跡装置１００は、カメラ２００及び表示装置２０１に接続されており、画像監視システムとして機能している。更に、図２に示すように、画像追跡装置１００は、上述した、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、及び物体追跡部１０５に加えて、画像格納部１０６と監視部１０７とを更に備えている。
【0023】
カメラ２００は、監視カメラであり、監視エリアを撮影して得られた画像データを、時系列にそってフレーム単位で出力する。カメラ２００から出力された画像データは、画像格納部１０６に格納される。
【0024】
図３の例では、時系列にそってフレーム単位で出力された画像データ１０と画像データ２０とが示されている。各画像データは、監視エリアの画像データである。図３において矢印は時系列を示しており、各画像データは、カメラ２００から、画像データ１０、画像データ２０の順に出力されている。
【0025】
画像データ取得部１０１は、実施の形態では、画像格納部１０６から、一度に処理する設定期間分の画像データを時系列の順に取得する。図２の例では、画像データ取得部１０１は、画像格納部１０６から、画像データ１０及び画像データ２０を順に取得する。
【0026】
物体検出部１０２は、実施の形態では、カメラ２００から出力された各画像データの画像を走査して、人を示す特徴量を持った領域を特定し、特定した領域を物体（人）として検出する。具体的には、物体検出部１０２は、ＹＯＬＯ、ＳＳＤといった既存の物体検出アルゴリズムを用いて、物体である人を検出する。人を表す特徴量としては、例えば、人が映った画像を教師データとした機械学習を行うことによって得られたｄｅｅｐ ｆｅａｔｕｒｅが挙げられる。その他、具体的な特徴量としては、ＨｏＧ（Histograms of Oriented Gradients）特徴量、色ヒストグラム等も挙げられる。
【0027】
図３の例では、物体検出部１０２は、画像データ１０から、物体１１、１２、及び１３を検出し、画像データ２０から、物体２１、２２、２３、及び２４を検出している。
【0028】
分散計算部１０３は、図３の例では、例えば、画像データ１０については、物体１１、物体１２、及び物体１３それぞれ毎に、次のフレームの画像データ２０で検出された、物体２１～２４のいずれかとペアを設定する。具体的には、分散計算部１０３は、例えば、画像データ１０の物体１１については、以下のペアを設定する。このようにして設定されたペアは、同一の物体であるという仮説を示している。
（物体１１、物体２１）
（物体１１、物体２２）
（物体１１、物体２３）
（物体１１，物体２４）
（物体１１、物体２１）
（物体１１、物体２２）
（物体１１、物体２３）
（物体１１，物体２４）
【0029】
続いて、分散計算部１０３は、物体検出に用いられた特徴量の次元の数Ｎに応じて、Ｎ次元の特徴空間を設定する（Ｎ：任意の自然数）。図３の例では、上述した物体１１と、物体２１～２４のいずれかと、を組み合わせたペアのクラス、更には、ペア以外の物体のクラスが、特徴空間において示されている。
【0030】
そして、分散計算部１０３は、特徴空間において、各物体の特徴量を用いて、ペア毎に、ペアの物体を同じクラスとする第１のクラス内分散と、ペアを構成しない物体を同じクラスとする第２のクラス内分散とを求める。また、分散計算部１０３は、ペア毎に、求めた第１のクラス内分散と第２のクラス内分散とから、クラス間分散も求める。
【0031】
具体的には、クラスｗｉに属するパターン（物体の特徴量）の集合をＸｉとし、Ｘｉに含まれるパターン数をｎｉ、平均ベクトルをｍｉ、全パターン数をｎ、全パターンの平均ベクトルをｍとする。また、ペアの物体のクラスをｉ＝１、ペア以外の物体のクラスをｉ＝２とする。この場合、ある画像データの１つの物体についての、第１のクラス内分散σ２
ｗ１、第２のクラス内分散をσ２
ｗ２、クラス間分散σ２
Ｂは下記の数１～数３によって算出される。
【0032】
【数1】
【0033】
【数2】
【0034】
【数3】
【0035】
同一性判定部１０４は、実施の形態では、まず、画像データ毎に、その画像データで検出された物体それぞれについて、第１のクラス内分散、第２のクラス内分散、及びクラス間分散を用いて、その物体を含む各ペアにおける同一性を示す指標を算出する。実施の形態において、同一性を示す指標としては、フィッシャー比Ｊσが挙げられる。ある画像データの１つの物体についてのフィッシャー比Ｊσは、下記の数４によって算出される。
【0036】
【数4】
【0037】
続いて、同一性判定部１０４は、画像データ毎に、算出したフィッシャー比の値が閾値以上であるペアを選択し、そして、選択したペアを構成する、その画像データにおいて検出された物体と、その画像データの直後に出力された画像データにおいて検出された物体とを、同一であると判定する。
【0038】
物体追跡部１０５は、実施の形態では、同一性判定部１０４によって同一であると判定されたペア、具体的には、フィッシャー比の値が閾値以上となるペアにおいて、後のフレームの物体を追跡対象とし、追跡対象となった各物体にフラグを設定する。また、物体追跡部１０５は、フィッシャー比が閾値以上となるペアが複数存在する場合は、フィッシャー比が最も高いペアを追跡対象とする。
【0039】
図３の例では、物体追跡部１０５は、画像データ１０で検出された物体１１と画像データ２０で検出された物体２１とのペアを追跡対象としている。また、物体追跡部１０５は、フィッシャー比が閾値未満のペアを構成する物体については、新たにカメラ２００のフレーム内に侵入していると判定することができる。
【0040】
監視部１０７は、画像格納部１０６に格納されている画像データを時系列に沿って取り出して、表示装置２０１の表示画面に表示させる。また、物体追跡部１０５によって追跡対象となった物体については、表示画面上で、追跡されていることを示す映像表現、例えば、記号の付加、枠の表示、色の変更等を行う。また、監視部１０７は、追跡対象となった物体が、特定のエリアに侵入した場合に、警報を出力することもできる。
【0041】
［装置動作］
次に、実施の形態における画像追跡装置１００の動作について図４を用いて説明する。図４は、本発明の実施の形態における画像追跡装置の動作を示すフロー図である。以下の説明においては、適宜図１～図３を参照する。また、実施の形態では、画像追跡装置１００を動作させることによって、画像追跡方法が実施される。よって、実施の形態における画像追跡方法の説明は、以下の画像追跡装置１００の動作説明に代える。
次に、実施の形態における画像追跡装置１００の動作について図４を用いて説明する。図４は、本発明の実施の形態における画像追跡装置の動作を示すフロー図である。以下の説明においては、適宜図１～図３を参照する。また、実施の形態では、画像追跡装置１００を動作させることによって、画像追跡方法が実施される。よって、実施の形態における画像追跡方法の説明は、以下の画像追跡装置１００の動作説明に代える。
【0042】
図４に示すように、最初に、画像データ取得部１０１は、画像格納部１０６に格納されている設定期間分の画像データを取得する（ステップＡ１）。設定期間は、例えば、５秒～１０秒等に設定される。
【0043】
次に、物体検出部１０２は、ステップＡ１で取得された画像データ毎に、画像上において人を示す特徴量を持った領域を特定し、特定した領域を物体（人）として検出する（ステップＡ２）。
【0044】
次に、分散計算部１０３は、ステップＡ１で取得された画像データであって、当該ステップＡ３において未だ選択されていない画像データの中から、カメラで出力された時刻が最も古い画像データを選択する（ステップＡ３）。
【0045】
次に、分散計算部１０３は、ステップＡ３で選択した画像データにおいて、ステップＡ２で検出された物体毎に、次のフレームの画像データで検出された物体それぞれとの間でペアを設定する（ステップＡ４）。
【0046】
次に、分散計算部１０３は、ステップＡ４で設定されたペアの１つを選択する（ステップＡ５）。そして、分散計算部１０３は、各物体の特徴量を用いて、ステップＡ５で選択したペアについて、第１のクラス内分散と、第２のクラス内分散と、クラス間分散とを計算する（ステップＡ６）。
【0047】
次に、分散計算部１０３は、未だ選択していないペアが存在するかどうかを判定する（ステップＡ７）。ステップＡ７の判定の結果、未だ選択していないペアが存在する場合は、分散計算部１０３は、再度、ステップＡ５を実行する。
【0048】
一方、ステップＡ７の判定の結果、未だ選択していないペアが存在していない場合は、同一性判定部１０４が、各ペアについて、ステップＡ６で計算した、第１のクラス内分散と、第２のクラス内分散と、クラス間分散とを用いて、同一性を示す指標を算出する。そして、同一性判定部１０４は、各ペアについて、同一性を判定する（ステップＡ８）。
【0049】
次に、同一性判定部１０４は、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在しているかどうかを判定する（ステップＡ９）。
【0050】
ステップＡ９の判定の結果、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在している場合は、分散計算部１０３が、再度ステップＡ３を実行する。
【0051】
一方、ステップＡ９の判定の結果、ステップＡ１で取得された画像データのうち、未だステップＡ３にて選択されていない画像データが存在していない場合は、物体追跡部１０５は、ステップＡ８で同一性が高いと判定されたペアにおいて、後のフレームの物体を追跡対象に設定する（ステップＡ１０）。
【0052】
次に、監視部１０７は、画像格納部１０６に格納されている画像データを時系列に沿って取り出して、表示装置２０１の表示画面に表示させると共に、ステップＡ９で追跡対象となった物体に対して、追跡されていることを示す映像表現を行う（ステップＡ１１）。
【0053】
上述のステップＡ１～Ａ１１は、監視エリアの監視が行われる限り、繰り返し実行される。
【0054】
［実施の形態における効果］
以上のように実施の形態では、連続するフレーム間毎に、クラス内分散によって、物体の同一性が判定される。このため、実施の形態によれば、フレームレート低下した場合であっても、追跡精度の低下を抑制でき、更に、予め大量の学習データを用いて機械学習していない物体に対する追跡も可能となる。
以上のように実施の形態では、連続するフレーム間毎に、クラス内分散によって、物体の同一性が判定される。このため、実施の形態によれば、フレームレート低下した場合であっても、追跡精度の低下を抑制でき、更に、予め大量の学習データを用いて機械学習していない物体に対する追跡も可能となる。
【0055】
［プログラム］
実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像追跡装置１００と画像追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７として機能し、処理を行なう。
実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１～Ａ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像追跡装置１００と画像追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７として機能し、処理を行なう。
【0056】
また、実施の形態では、画像格納部１０６は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって実現されていても良いし、別のコンピュータの記憶装置によって実現されていても良い。
【0057】
また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。更に、監視カメラ等のカメラに内蔵されたコンピュータであっても良い。
【0058】
また、実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像データ取得部１０１、物体検出部１０２、分散計算部１０３、同一性判定部１０４、物体追跡部１０５、及び監視部１０７のいずれかとして機能しても良い。
【0059】
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、画像追跡装置１００を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における画像追跡装置を実現するコンピュータの一例を示すブロック図である。
ここで、実施の形態におけるプログラムを実行することによって、画像追跡装置１００を実現するコンピュータについて図５を用いて説明する。図５は、本発明の実施の形態における画像追跡装置を実現するコンピュータの一例を示すブロック図である。
【0060】
図５に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【0061】
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
【0062】
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
【0063】
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【0064】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【0065】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【0066】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【0067】
なお、本実施の形態における画像追跡装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像追跡装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0068】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記９）によって表現することができるが、以下の記載に限定されるものではない。
【0069】
（付記１）
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
前記画像データ毎に、物体を検出する、物体検出部と、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算部と、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする画像追跡装置。
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得部と、
前記画像データ毎に、物体を検出する、物体検出部と、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算部と、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定部と、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡部と、
を備えている、ことを特徴とする画像追跡装置。
【0070】
（付記２）
付記１に記載の画像追跡装置であって、
前記同一性判定部が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡装置。
付記１に記載の画像追跡装置であって、
前記同一性判定部が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡装置。
【0071】
（付記３）
付記２に記載の画像追跡装置であって、
前記同一性判定部が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡装置。
付記２に記載の画像追跡装置であって、
前記同一性判定部が、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡装置。
【0072】
（付記４）
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする画像追跡方法。
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を有する、ことを特徴とする画像追跡方法。
【0073】
（付記５）
付記４に記載の画像追跡方法であって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡方法。
付記４に記載の画像追跡方法であって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とする画像追跡方法。
【0074】
（付記６）
付記５に記載の画像追跡方法であって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡方法。
付記５に記載の画像追跡方法であって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とする画像追跡方法。
【0075】
（付記７）
コンピュータに、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる、プログラム。
コンピュータに、
カメラから時系列に沿ってフレーム単位で出力される画像データを取得する、画像データ取得ステップと、
前記画像データ毎に、物体を検出する、物体検出ステップと、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、当該物体と当該画像データの直後に出力された前記画像データで検出されたいずれかの前記物体とのペアを設定し、各ペアについて、特徴空間における、当該ペアをクラスとする第１のクラス内分散と、当該ペア以外の前記物体をクラスとする第２のクラス内分散と、クラス間分散とを求める、分散計算ステップと、
前記各ペアについて求められた、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体と、の同一性を判定する、同一性判定ステップと、
前記同一性の判定結果に基づいて、検出された前記物体の追跡処理を行う、物体追跡ステップと、
を実行させる、プログラム。
【0076】
（付記８）
付記７に記載のプログラムであって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とするプログラム。
付記７に記載のプログラムであって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す指標を算出し、更に、算出した指標の値が閾値以上であるペアを選択し、そして、選択した前記ペアを構成する、当該画像データにおいて検出された前記物体と、当該画像データの直後に出力された前記画像データにおいて検出された前記物体とを、同一であると判定する、
ことを特徴とするプログラム。
【0077】
（付記９）
付記８に記載のプログラムであって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とするプログラム。
付記８に記載のプログラムであって、
前記同一性判定ステップにおいて、
前記画像データ毎に、当該画像データで検出された前記物体それぞれについて、前記第１のクラス内分散、前記第２のクラス内分散、及び前記クラス間分散を用いて、当該物体を含む各ペアにおける同一性を示す前記指標として、フィッシャー比を算出する、
ことを特徴とするプログラム。
【0078】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0079】
この出願は、２０２０年３月２５日に出願された日本出願特願２０２０－５４６７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0080】
以上のように本発明によれば、学習データを用いた事前の機械学習を必要とせず、且つ、フレームレートに影響されることなく、カメラからの映像上で物体を追跡することができる。本発明は、監視カメラの映像に基づいて人の侵入等を監視する監視システムに有用である。
【符号の説明】
【0081】
１０ 画像データ
１１、１２、１３ 物体
２０ 画像データ
２１、２２、２３、２４ 物体
１００ 画像追跡装置
１０１ 画像データ取得部
１０２ 物体検出部
１０３ 分散計算部
１０４ 同一性判定部
１０５ 物体追跡部
１０６ 画像格納部
１０７ 監視部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ カメラ
２０１ 表示装置
１１、１２、１３ 物体
２０ 画像データ
２１、２２、２３、２４ 物体
１００ 画像追跡装置
１０１ 画像データ取得部
１０２ 物体検出部
１０３ 分散計算部
１０４ 同一性判定部
１０５ 物体追跡部
１０６ 画像格納部
１０７ 監視部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス
２００ カメラ
２０１ 表示装置
【図1】
【図2】
【図3】
【図4】
【図5】