特許 7017217 対象追跡装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-01-31

(45)【発行日】2022-02-08

(54)【発明の名称】対象追跡装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220201BHJP

   G06M 7/00 20060101ALI20220201BHJP

   G06T 7/60 20170101ALI20220201BHJP

   H04N 7/18 20060101ALI20220201BHJP

【ＦＩ】

G06T7/20 300Z

G06M7/00 301N

G06T7/60 180B

H04N7/18 G

【請求項の数】 12

(21)【出願番号】P 2021131551

(22)【出願日】2021-08-12

【審査請求日】2021-09-22

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】グエン ソン

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１５－２２２８８１（ＪＰ，Ａ）

【文献】特開２００２－０６３５７７（ＪＰ，Ａ）

【文献】特開２００９－０２７６５１（ＪＰ，Ａ）

【文献】特開２００６－１７２０２３（ＪＰ，Ａ）

【文献】特開２００６－３３１３４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｍ ７／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９４ － １３／１９６

(57)【特許請求の範囲】

【請求項1】

一連の時系列画像に映った複数の対象を追跡する追跡部と、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定する測定部と、
前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第２の対象が前記第１の対象に接近中であるか否かを判定する判定部と、
第１の時系列画像において前記接近中と判定されていた前記第２の対象を、前記第１の時系列画像に続く第２の時系列画像において前記追跡部が追跡できなくなり、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以内であった場合に、前記第２の時系列画像以降の時系列画像において、前記追跡が継続されている第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定する決定部と、
を備え、
前記第１の対象を前記第２の対象と一体化したものとして取り扱っていた時系列画像に続く第３の時系列画像において前記追跡部が第３の対象の追跡を新たに開始し、かつ、前記第３の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定部は、前記第３の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することを特徴とする対象追跡装置。

【請求項2】

前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、
前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数部は、前記第２の対象を加えて計数することを特徴とする請求項１に記載の対象追跡装置。

【請求項3】

コンピュータにインストールされるプログラムであって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、
前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第２の対象が前記第１の対象に接近中であるか否かを判定するステップと、
第１の時系列画像において前記接近中と判定されていた前記第２の対象を、前記第１の時系列画像に続く第２の時系列画像において前記追跡ができなくなり、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以内であった場合に、前記第２の時系列画像以降の時系列画像において、前記追跡が継続されている第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第１の対象を前記第２の対象と一体化したものとして取り扱っていた時系列画像に続く第３の時系列画像において第３の対象の追跡を新たに開始し、かつ、前記第３の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定するステップでは、前記第３の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することを特徴とする対象追跡プログラム。

【請求項4】

前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第２の対象を加えて計数することを特徴とする請求項３に記載の対象追跡プログラム。

【請求項5】

コンピュータで使用される方法であって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、
前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第２の対象が前記第１の対象に接近中であるか否かを判定するステップと、
第１の時系列画像において前記接近中と判定されていた前記第２の対象を、前記第１の時系列画像に続く第２の時系列画像において前記追跡ができなくなり、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以内であった場合に、前記第２の時系列画像以降の時系列画像において、前記追跡が継続されている第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第１の対象を前記第２の対象と一体化したものとして取り扱っていた時系列画像に続く第３の時系列画像において第３の対象の追跡を新たに開始し、かつ、前記第３の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定するステップでは、前記第３の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することを特徴とする対象追跡方法。

【請求項6】

前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第２の対象を加えて計数することを特徴とする請求項５に記載の対象追跡方法。

【請求項7】

一連の時系列画像に映った複数の対象を追跡する追跡部と、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定する測定部と、
前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第１の対象と前記第２の対象が接近中であるか否かを判定する判定部と、
第１の時系列画像において前記接近中と判定され、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以下であった場合に、前記第１の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定する決定部と、
を備え、
前記第１の時系列画像より後の時系列画像において前記追跡部が前記第２の対象を追跡できなかった場合にも、前記決定部は、前記追跡が継続されている第１の対象を前記第２の対象と一体化として取り扱う決定を維持し、
前記第２の対象を追跡できなかった時系列画像に続く第２の時系列画像において前記追跡部が第３の対象の追跡を新たに開始し、かつ、前記第２の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定部は、前記第２の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することを特徴とする対象追跡装置。

【請求項8】

前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、
前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数部は、前記第２の対象を加えて計数することを特徴とする請求項７に記載の対象追跡装置。

【請求項9】

コンピュータにインストールされるプログラムであって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、
前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第１の対象と前記第２の対象が接近中であるか否かを判定するステップと、
第１の時系列画像において前記接近中と判定され、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以下であった場合に、前記第１の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第１の時系列画像より後の時系列画像において前記追跡部が前記第２の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第１の対象を前記第２の対象と一体化として取り扱う決定を維持し、
前記第２の対象を追跡できなかった時系列画像に続く第２の時系列画像において第３の対象の追跡を新たに開始し、かつ、前記第２の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定するステップでは、前記第２の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することを特徴とする対象追跡プログラム。

【請求項10】

前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第２の対象を加えて計数することを特徴とする請求項９に記載の対象追跡プログラム。

【請求項11】

コンピュータで使用される方法であって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、
前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第１の対象と前記第２の対象が接近中であるか否かを判定するステップと、
第１の時系列画像において前記接近中と判定され、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以下であった場合に、前記第１の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第１の時系列画像より後の時系列画像において前記追跡部が前記第２の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第１の対象を前記第２の対象と一体化として取り扱う決定を維持し、
前記第２の対象を追跡できなかった時系列画像に続く第２の時系列画像において第３の対象の追跡を新たに開始し、かつ、前記第２の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定するステップでは、前記第２の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することを特徴とする対象追跡方法。

【請求項12】

前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第２の対象を加えて計数することを特徴とする請求項１１に記載の対象追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、時系列画像に映った対象を追跡するための対象追跡装置に関する。

【背景技術】

【0002】

従来より、行動体の複数の関節の座標及び深度の時系列画像における変位に基づき、行動体の行動を推定する行動推定装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６５２５１７９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記技術では、時系列画像において同一の行動体を特定（追跡）する必要があるが、複数の行動体が重なった場合には行動体の追跡に失敗してしまうことがある。

【0005】

そこで、本発明は、時系列画像に映った対象を高精度に追跡することが可能な対象追跡装置を提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明は、一連の時系列画像に映った複数の対象を追跡する追跡部と、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定する測定部と、前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第２の対象が前記第１の対象に接近中であるか否かを判定する判定部と、第１の時系列画像において前記接近中と判定されていた前記第２の対象を、前記第１の時系列画像に続く第２の時系列画像において前記追跡部が追跡できなくなり、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以内であった場合に、前記第２の時系列画像以降の時系列画像において、前記追跡が継続されている第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定する決定部と、を備えたことを特徴とする対象追跡装置を提供している。

【0007】

また、前記第１の対象を前記第２の対象と一体化したものとして取り扱っていた時系列画像に続く第３の時系列画像において前記追跡部が第３の対象の追跡を新たに開始し、かつ、前記第３の時系列画像における前記第１の対象と前記第３の対象との間の対象間距離が第２の所定距離以内であった場合に、前記決定部は、前記第３の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第３の対象を前記第２の対象として取り扱うことに決定することが好ましい。

【0008】

また、前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、前記第２の対象と一体化したものとして取り扱われている前記第１の対象が前記検出線を通過した場合に、前記計数部は、前記第２の対象を加えて計数することが好ましい。

【0009】

また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第２の対象が前記第１の対象に接近中であるか否かを判定するステップと、第１の時系列画像において前記接近中と判定されていた前記第２の対象を、前記第１の時系列画像に続く第２の時系列画像において前記追跡ができなくなり、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以内であった場合に、前記第２の時系列画像以降の時系列画像において、前記追跡が継続されている第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、を備えたことを特徴とする対象追跡プログラムを提供している。

【0010】

また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第２の対象が前記第１の対象に接近中であるか否かを判定するステップと、第１の時系列画像において前記接近中と判定されていた前記第２の対象を、前記第１の時系列画像に続く第２の時系列画像において前記追跡ができなくなり、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以内であった場合に、前記第２の時系列画像以降の時系列画像において、前記追跡が継続されている第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、を備えたことを特徴とする対象追跡方法を提供している。

【0011】

また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡する追跡部と、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定する測定部と、前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第１の対象と前記第２の対象が接近中であるか否かを判定する判定部と、第１の時系列画像において前記接近中と判定され、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以下であった場合に、前記第１の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定する決定部と、を備え、前記第１の時系列画像より後の時系列画像において前記追跡部が前記第２の対象を追跡できなかった場合にも、前記決定部は、前記追跡が継続されている第１の対象を前記第２の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡装置を提供している。

【0012】

また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第１の対象と前記第２の対象が接近中であるか否かを判定するステップと、第１の時系列画像において前記接近中と判定され、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以下であった場合に、前記第１の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、を備え、前記第１の時系列画像より後の時系列画像において前記追跡部が前記第２の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第１の対象を前記第２の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡プログラムを提供している。

【0013】

また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、前記測定された第１の対象と第２の対象との間の対象間距離に基づき、前記第１の対象と前記第２の対象が接近中であるか否かを判定するステップと、第１の時系列画像において前記接近中と判定され、かつ、前記第１の時系列画像における前記第１の対象と前記第２の対象との間の対象間距離が第１の所定距離以下であった場合に、前記第１の時系列画像以降の時系列画像において、前記第１の対象を前記第２の対象と一体化したものとして取り扱うことに決定するステップと、を備え、前記第１の時系列画像より後の時系列画像において前記追跡部が前記第２の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第１の対象を前記第２の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡方法を提供している。

【発明の効果】

【0014】

本発明の対象追跡装置によれば、時系列画像に映った対象を高精度に追跡することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施の形態による追跡の説明図

【図2】本発明の実施の形態による対象追跡装置のブロック図

【図3】本発明の実施の形態による対象間距離の説明図

【図4】本発明の実施の形態による対象追跡装置のフローチャート

【図5】本発明の変形例による対象間距離の説明図

【発明を実施するための形態】

【0016】

以下、本発明の実施の形態による対象追跡装置１について、図１－図４を参照して説明する。

【0017】

対象追跡装置１は、図１に示すように、一連の時系列画像Ｘに映った複数の対象（図1では、第１の対象Ａ及び第２の対象Ｂ）を追跡するためのものである。本実施の形態では、対象として、人間を例に説明を行う。

【0018】

対象追跡装置１は、図２に示すように、取得部２と、追跡部３と、測定部４と、判定部５と、決定部６と、計数部７と、を備えている。

【0019】

取得部２は、一連の時系列画像Ｘを取得する。本実施の形態では、固定された撮影手段により撮影された所定の空間の映像を構成する一連のフレームを、一連の時系列画像Ｘとして取得するものとする。

【0020】

追跡部３は、一連の時系列画像Ｘに映った複数の対象（本実施の形態では、第１の対象Ａ及び第２の対象Ｂ）を追跡する。

【0021】

追跡の方法としては様々なものが考えられるが、本実施の形態では、一の時系列画像Ｘにおいて検出された複数の関節の集合体に基づき対象を特定し、当該検出された関節の集合体に対応する集合体を次の時系列画像Ｘにおいて検出した際に、同一の対象と特定して追跡を行う。

【0022】

測定部４は、一連の時系列画像Ｘのうちの少なくとも複数の時系列画像Ｘにおける複数の対象間の対象間距離Ｙを測定する。本実施の形態では、各時系列画像Ｘにおける対象間の対象間距離Ｙを測定するものとするが、所定枚数ごとに測定しても良いし、任意の時系列画像Ｘのみで対象間距離Ｙを測定しても良い。対象間距離Ｙとしては、絶対的な距離であっても相対的な距離であっても良い。

【0023】

なお、本実施の形態では、図１に示す側方から撮影された時系列画像Ｘから、図３（ａ）に示す水平面上の対象間距離Ｙを算出する。

【0024】

この算出方法としては様々なものが考えられるが、本実施の形態では、各時系列画像Ｘに映る第１の対象Ａ及び第２の対象Ｂのサイズから第１の対象Ａ及び第２の対象Ｂの水平面上の座標をそれぞれ推定し、当該座標間の距離を対象間距離Ｙとして算出する。

【0025】

判定部５は、測定されたた第１の対象Ａと第２の対象Ｂとの間の対象間距離Ｙに基づき、第２の対象Ｂが第１の対象Ａに接近中であるか否かを判定する。

【0026】

これは、一の時系列画像Ｘにおける対象間距離Ｙが直前の時系列画像Ｘにおける対象間距離Ｙよりも短くなっていた場合に“接近中”と判定しても良いし、所定枚数前の時系列画像Ｘにおける対象間距離Ｙよりも短くなっていた場合に“接近中”と判定しても良い。

【0027】

決定部６は、図３（ｂ）（ｃ）に示すように、第１の時系列画像Ｘ１において“接近中”と判定されていた第２の対象Ｂを、第１の時系列画像Ｘ１に続く第２の時系列画像Ｘ２において追跡部３が追跡できなくなり、かつ、第１の時系列画像Ｘ１における第１の対象Ａと第２の対象Ｂとの間の対象間距離Ｙが第１の所定距離以内であった場合に、第２の時系列画像Ｘ２以降の時系列画像Ｘにおいて、追跡が継続されている第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うことに決定する。

【0028】

これは、「それまで第１の対象Ａに“接近中”であった第２の対象Ｂを追跡できなくなった」ことは、「第２の対象Ｂが第１の対象Ａと重なっているはずである」という考えに起因したものである。

【0029】

これにより、対象の重なりを検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の重なりを検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。

【0030】

なお、一体として取り扱うタイミングは、追跡部３の能力に依存する。例えば、追跡部３の能力が高ければ、第１の対象Ａと第２の対象Ｂの大部分が重なって初めて一体化したものとして取り扱うことになり、追跡部３の能力が低ければ、第１の対象Ａと第２の対象Ｂの一部が重なっただけでも一体化したものとして取り扱うことになり得る。

【0031】

また、本実施の形態では、第１の時系列画像Ｘ１における第１の対象Ａと第２の対象Ｂとの間の対象間距離Ｙが第１の所定距離以内であることを条件として、第２の時系列画像Ｘ２以降の時系列画像Ｘにおいて、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うので、これにより、第２の対象Ｂが第１の対象Ａから遠く離れているにも関わらず何らかの原因で第２の対象Ｂを追跡できなかった場合にまで、第２の対象Ｂを第１の対象Ａと一体化したものとして取り扱ってしまうことが防止される。

【0032】

なお、第１の所定距離としては、「対象間距離Ｙがどれくらいになると追跡部３が第２の対象Ｂを追跡できなくなるか」を実験等により求めた上で、適当な距離を設定すれば良い。

【0033】

更に、決定部６は、図３（ｄ）に示すように、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱っていた時系列画像Ｘに続く第３の時系列画像Ｘ３において追跡部３が第３の対象Ｃの追跡を新たに開始し、かつ、第３の時系列画像Ｘ３における第１の対象Ａと第３の対象Ｃ間の対象間距離Ｙが第２の所定距離以内であった場合に、第３の時系列画像Ｘ３以降の時系列画像Ｘにおいて、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うことを中止し、新たに追跡を開始された第３の対象Ｃを第２の対象Ｂとして取り扱うことに決定する。

【0034】

これは、「第１の対象Ａから近い位置で第３の対象Ｃの追跡を新たに開始した」ことは、「第１の対象Ａと重なっていた第２の対象Ｂが第１の対象Ａから離れたはずである」という考えに起因したものである。

【0035】

これにより、対象の分離を検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の分離を検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。

【0036】

なお、第３の対象Ｃを第２の対象Ｂとして取り扱うタイミングも、追跡部３の能力に依存する。例えば、追跡部３の能力が高ければ、第１の対象Ａと第２の対象Ｂがある程度分離しただけでも第３の対象Ｃを第２の対象Ｂとして取り扱うことになり、追跡部３の能力が低ければ、第１の対象Ａと第２の対象Ｂが完全に分離して初めて第３の対象Ｃを第２の対象Ｂとして取り扱うことになり得る。

【0037】

また、本実施の形態では、第３の時系列画像Ｘ３における第１の対象Ａと第３の対象Ｃ間の対象間距離Ｙが第２の所定距離以内であることを条件として、第３の対象Ｃを第２の対象Ｂとして取り扱うので、これにより、第１の対象Ａとは遠く離れた位置で第３の対象Ｃの追跡が開始された場合にまで、第３の対象Ｃを第２の対象Ｂとして取り扱ってしまうことが防止される。

【0038】

なお、第２の所定距離としては、「対象間距離Ｙがどれくらいになると追跡部３が第１の対象Ａと重なっていた第２の対象Ｂを個別に追跡し始めるか」を実験等により求めた上で、適当な距離を設定すれば良い。

【0039】

計数部７は、追跡している対象のうち、各時系列画像Ｘ中の同一の空間位置に仮想的に配置された検出線Ｚ（図１及び図３参照）を通過した対象を計数する。

【0040】

更に、本実施の形態では、第２の対象Ｂと一体化したものとして取り扱われている第１の対象Ａが検出線Ｚを通過した場合に、計数部７は、第２の対象Ｂを加えて計数する。

【0041】

これにより、第１の対象Ａに重なっている第２の対象Ｂを計数し損なうことが防止される。

【0042】

続いて、図４のフローチャートを用いて、対象追跡装置１の動作について説明する。以下では、対象Ａ及び対象Ｂの追跡が既に行われている状態から説明を行う。

【0043】

まず、一の時系列画像Ｘを取得し（Ｓ１）、取得した時系列画像Ｘにおいて追跡部３が第２の対象Ｂを追跡できたか否かを判断する（Ｓ２）。

【0044】

第２の対象Ｂを追跡できた場合には（Ｓ２：ＹＥＳ）、Ｓ１に戻り、次に続く時系列画像Ｘを取得する。

【0045】

一方、第２の対象Ｂを追跡できなかった場合には（Ｓ２：ＮＯ）、前の時系列画像Ｘ（第１の時系列画像Ｘ１）において“接近中”と判定され、かつ、第１の時系列画像Ｘ１における対象間距離Ｙが第１の所定距離以内であったか否かを判断する（Ｓ３）。

【0046】

“接近中”又は“第１の所定距離以内”でなかった場合には（Ｓ３：ＮＯ）、Ｓ１に戻り、次に続く時系列画像Ｘを取得する。

【0047】

一方、“接近中”かつ“第１の所定距離以内”であった場合には（Ｓ３：ＹＥＳ）、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うことに決定する（Ｓ４）。

【0048】

その後、次に続く時系列画像Ｘを取得し（Ｓ５）、追跡部３が第３の対象Ｃの追跡を新たに開始したか否かを判断する（Ｓ６）。

【0049】

第３の対象Ｃの追跡を新たに開始していない場合には（Ｓ６：ＮＯ）、Ｓ５に戻り、次に続く時系列画像Ｘを取得する。

【0050】

一方、第３の対象Ｃの追跡を新たに開始した場合には（Ｓ６：ＹＥＳ）、当該時系列画像Ｘにおける第１の対象Ａと第３の対象Ｃ間の対象間距離Ｙが第２の所定距離以内であるか否かを判断する（Ｓ７）。

【0051】

対象間距離Ｙが第２の所定距離以内でない場合には（Ｓ７：ＮＯ）、Ｓ５に戻り、次に続く時系列画像Ｘを取得する。

【0052】

一方、対象間距離Ｙが第２の所定距離以内である場合には（Ｓ７：ＹＥＳ）、第３の対象Ｃを第２の対象Ｂとして取り扱うことに決定した上で（Ｓ８）、Ｓ１に戻り、次に続く時系列画像Ｘを取得する。

【0053】

なお、いずれかのタイミング（時系列画像Ｘ）で第１の対象Ａが検出線Ｚを通過した際には第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱っているか否かに基づき対象の計数を行う。

【0054】

以上説明したように、本実施の形態では、それまで第１の対象Ａに“接近中”であった第２の対象Ｂを追跡できなくなった場合に、以降の時系列画像Ｘにおいて、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱う。

【0055】

このような構成によれば、対象の重なりを検出するための高機能及び高負荷の構成を備えることなく、容易かつ低負荷で対象の重なりを検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。また、第１の対象Ａと第２の対象Ｂ間の対象間距離Ｙが第１の所定距離以内であることを条件として、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うので、これにより、第２の対象Ｂが第１の対象Ａから遠く離れているにも関わらず何らかの原因で第２の対象Ｂを追跡できなかった場合にまで、第２の対象Ｂを第１の対象Ａと一体として取り扱ってしまうことが防止される。

【0056】

また、本実施の形態では、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱っていた状況で第３の対象Ｃの追跡が新たに開始された場合、第３の対象Ｃを第２の対象Ｂとして取り扱う。

【0057】

このような構成によれば、対象の分離を検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の分離を検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。また、第１の対象Ａと第３の対象Ｃ間の対象間距離Ｙが第２の所定距離以内であることを条件として、第３の対象Ｃを第２の対象Ｂとして取り扱うので、これにより、第１の対象Ａとは遠く離れた位置で第３の対象Ｃの追跡が開始された場合にまで、第３の対象Ｃを第２の対象Ｂとして取り扱ってしまうことが防止される。

【0058】

また、本実施の形態では、第２の対象Ｂと一体化したものとして取り扱われている第１の対象Ａが検出線Ｚを通過した場合に、第２の対象Ｂを加えて計数する。

【0059】

このような構成によれば、第１の対象Ａに重なっている第２の対象Ｂを計数し損なうことが防止される。

【0060】

尚、本発明の対象追跡装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0061】

例えば、上記実施の形態では、「それまで第１の対象Ａに“接近中”であった第２の対象Ｂを追跡できなくなった場合に、以降の時系列画像Ｘにおいて、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱った」が、第２の対象Ｂを追跡できなくなる前から第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱っても良い。

【0062】

この場合には、図５に示すように、決定部６は、「第１の時系列画像Ｘ１において“接近中”と判定され、かつ、第１の時系列画像Ｘ１における第１の対象Ａと第２の対象Ｂとの間の対象間距離Ｙが第１の所定距離以下であった場合に、第１の時系列画像Ｘ１以降の時系列画像Ｘにおいて、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うことに決定し、更に、第２の時系列画像Ｘ２より後の時系列画像Ｘにおいて追跡部３が第２の対象Ｂを追跡できなかった場合にも、追跡が継続されている第１の対象Ａを第２の対象Ｂと一体化として取り扱う決定を維持する」構成が考えられる。すなわち、本変形例では、図４におけるＳ２のステップを行わないこととなる。

【0063】

このような構成によれば、第２の対象Ｂが第１の対象Ａと重なることを予測して、早めに第１の対象Ａを第２の対象Ｂと一体化として取り扱うことができるので、安定した追跡を行うことが可能となる。また、図４のＳ２のステップを行わないのでコンピュータの負荷も低減させることが可能となる。

【0064】

なお、この場合にも、「第２の対象Ｂを追跡できなかった時系列画像Ｘに続く第２の時系列画像Ｘ２において追跡部３が第３の対象Ｃの追跡を新たに開始し、かつ、第２の時系列画像Ｘ２における第１の対象Ａと第３の対象Ｃとの間の対象間距離Ｙが第２の所定距離以内であった場合に、決定部６は、第２の時系列画像Ｘ２以降の時系列画像Ｘにおいて、第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うことを中止し、新たに追跡を開始された第３の対象Ｃを第２の対象Ｂとして取り扱うことに決定する」こと、及び、「第２の対象Ｂと一体化したものとして取り扱われている第１の対象Ａが検出線Ｚを通過した場合に、計数部７は、第２の対象Ｂを加えて計数する」ことが可能である。

【0065】

また、上記実施の形態では、第１の対象Ａ及び第２の対象Ｂの追跡を例に説明を行ったが、更に多くの対象の追跡を行っても良い。その場合には、対象の組み合わせごとに、一体として取り扱うか否かの決定等が行われることとなる。

【0066】

また、上記実施の形態では、一連の時系列画像Ｘは、固定された撮影手段により所定の空間を撮影したものであったが、移動手段に搭載された撮影手段等により任意の空間を撮影したものであっても良い。

【0067】

また、上記実施の形態では、測定部４は、理解容易のために、水平面上の対象間距離Ｙを算出したが、時系列画像Ｘ上の対象間の距離を単純に測定したものを対象間距離Ｙとして用いても良い。

【0068】

また、上記実施の形態では、対象として人間を例に説明したが、動物やロボットについて使用することも可能である。

【0069】

また、本発明は、対象追跡装置が行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0070】

１ 対象追跡装置
２ 取得部
３ 追跡部
４ 測定部
５ 判定部
６ 決定部
７ 計数部
Ｘ 時系列画像
Ｙ 対象間距離
Ｚ 検出線

【要約】

【課題】 時系列画像に映った対象を追跡するための対象追跡装置を提供する。
【解決手段】 対象追跡装置１は、一連の時系列画像Ｘに映った複数の対象を追跡する追跡部３と、一連の時系列画像Ｘにおける複数の対象間の対象間距離を測定する測定部４と、測定された第１の対象Ａと第２の対象Ｂとの間の対象間距離Ｙに基づき、第２の対象Ｂが第１の対象Ａに接近中であるか否かを判定する判定部５と、第１の時系列画像Ｘ１において接近中と判定されていた第２の対象Ｂを第２の時系列画像Ｘ２において追跡部３が追跡できなくなり、かつ、第１の時系列画像Ｘ１における第１の対象Ａと第２の対象Ｂとの間の対象間距離Ｙが第１の所定距離以内であった場合に、第２の時系列画像Ｘ２以降の時系列画像において、追跡が継続されている第１の対象Ａを第２の対象Ｂと一体化したものとして取り扱うことに決定する決定部７と、を備えている。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】