特許 6098320 画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6098320

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170313BHJP

   G06T 7/20 20170101ALI20170313BHJP

【ＦＩ】

   G06T7/00 300A

   G06T7/20 B

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2013-85283(P2013-85283)

(22)【出願日】2013年4月15日

(65)【公開番号】特開2014-206934(P2014-206934A)

(43)【公開日】2014年10月30日

【審査請求日】2015年11月6日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110000970

【氏名又は名称】特許業務法人 楓国際特許事務所

(72)【発明者】

【氏名】吉野 広太郎

(72)【発明者】

【氏名】労 世紅

(72)【発明者】

【氏名】張 海虹

(72)【発明者】

【氏名】倉田 剛

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１１−２２１９２０（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１２７８１５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出するフレーム画像抽出部と、
前記フレーム画像抽出部が抽出した複数のフレーム画像について、撮像されているオブジェクトの個数を検出するオブジェクト数検出部と、
前記フレーム画像抽出部が抽出した複数のフレーム画像について、前記オブジェクト数検出部が検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する分割処理部と、
前記分割処理部が分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡部と、
前記分割処理部が分割した複数の処理ブロックについて、前記オブジェクト追跡部がマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理部と、を備え、
前記分割処理部は、入力された動画像において、撮像されているオブジェクトの個数が予め定めた値以上である箇所を、それ以外の箇所よりもフレーム数を多くした処理ブロックに分割する、画像処理装置。

【請求項2】

入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出するフレーム画像抽出部と、
前記フレーム画像抽出部が抽出した複数のフレーム画像について、撮像されているオブジェクトの個数を検出するオブジェクト数検出部と、
前記フレーム画像抽出部が抽出した複数のフレーム画像について、前記オブジェクト数検出部が検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する分割処理部と、
前記分割処理部が分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡部と、
前記分割処理部が分割した複数の処理ブロックについて、前記オブジェクト追跡部がマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理部と、を備え、
前記オブジェクト数検出部は、前記フレーム画像抽出部が抽出した複数のフレーム画像について検出した撮像されているオブジェクトの個数に基づき、入力された動画像における撮像されているオブジェクトの個数の変動を推定し、
前記分割処理部は、前記オブジェクト数検出部が推定した、入力された動画像における撮像されているオブジェクトの個数の変動に基づき、この動画像を複数の処理ブロックに分割する、画像処理装置。

【請求項3】

前記オブジェクト数検出部は、前記フレーム画像抽出部が抽出した複数のフレーム画像について検出した撮像されているオブジェクトの個数に基づき、入力された動画像における撮像されているオブジェクトの個数の変動を推定し、
前記分割処理部は、前記オブジェクト数検出部が推定した、入力された動画像における撮像されているオブジェクトの個数の変動に基づき、この動画像を複数の処理ブロックに分割する、請求項１に記載の画像処理装置。

【請求項4】

前記分割処理部は、前記動画像入力部に入力された動画像を処理ブロックに分割するとき、時間的に連続する処理ブロックに共通するフレーム画像を存在させる、請求項１〜３のいずれかに記載の画像処理装置。

【請求項5】

コンピュータが、
入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出するフレーム画像抽出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、撮像されているオブジェクトの個数を検出するオブジェクト数検出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、前記オブジェクト数検出ステップで検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する分割処理ステップと、
前記分割処理ステップで分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡ステップと、
前記分割処理ステップで分割した複数の処理ブロックについて、前記オブジェクト追跡ステップにおいてマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理ステップと、を実行する画像処理方法であって、
前記分割処理ステップは、入力された動画像において、撮像されているオブジェクトの個数が予め定めた値以上である箇所を、それ以外の箇所よりもフレーム数を多くした処理ブロックに分割するステップである、画像処理方法。

【請求項6】

コンピュータが、
入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出するフレーム画像抽出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、撮像されているオブジェクトの個数を検出するオブジェクト数検出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、前記オブジェクト数検出ステップで検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する分割処理ステップと、
前記分割処理ステップで分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡ステップと、
前記分割処理ステップで分割した複数の処理ブロックについて、前記オブジェクト追跡ステップにおいてマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理ステップと、を実行する画像処理方法であって、
前記オブジェクト数検出ステップは、前記フレーム画像抽出ステップで抽出した複数のフレーム画像について検出した撮像されているオブジェクトの個数に基づき、入力された動画像における撮像されているオブジェクトの個数の変動を推定するステップであり、
前記分割処理ステップは、前記オブジェクト数検出ステップで推定した、入力された動画像における撮像されているオブジェクトの個数の変動に基づき、この動画像を複数の処理ブロックに分割するステップである、画像処理方法。

【請求項7】

コンピュータに、
入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出するフレーム画像抽出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、撮像されているオブジェクトの個数を検出するオブジェクト数検出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、前記オブジェクト数検出ステップで検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する分割処理ステップと、
前記分割処理ステップで分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡ステップと、
前記分割処理ステップで分割した複数の処理ブロックについて、前記オブジェクト追跡ステップにおいてマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理ステップと、を実行させる画像処理プログラムであって、
前記分割処理ステップは、入力された動画像において、撮像されているオブジェクトの個数が予め定めた値以上である箇所を、それ以外の箇所よりもフレーム数を多くした処理ブロックに分割するステップである、画像処理プログラム。

【請求項8】

コンピュータに、
入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出するフレーム画像抽出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、撮像されているオブジェクトの個数を検出するオブジェクト数検出ステップと、
前記フレーム画像抽出ステップで抽出した複数のフレーム画像について、前記オブジェクト数検出ステップで検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する分割処理ステップと、
前記分割処理ステップで分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡ステップと、
前記分割処理ステップで分割した複数の処理ブロックについて、前記オブジェクト追跡ステップにおいてマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理ステップと、を実行させる画像処理プログラムであって、
前記オブジェクト数検出ステップは、前記フレーム画像抽出ステップで抽出した複数のフレーム画像について検出した撮像されているオブジェクトの個数に基づき、入力された動画像における撮像されているオブジェクトの個数の変動を推定するステップであり、
前記分割処理ステップは、前記オブジェクト数検出ステップで推定した、入力された動画像における撮像されているオブジェクトの個数の変動に基づき、この動画像を複数の処理ブロックに分割するステップである、画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ビデオカメラ等で撮像した動画像を処理し、撮像されているオブジェクトの検出や追跡を行う画像処理にかかる技術に関する。

【背景技術】

【0002】

従来、ビデオカメラ等で撮像した動画像を処理し、撮像されているオブジェクト（人や車両等の移動体）を追跡することが行われている（例えば、特許文献１等参照）。動画像によるオブジェクトの追跡は、動画像を構成するフレーム画像毎に、そのフレーム画像に撮像されているオブジェクトを検出し、時間的に連続するフレーム画像間で撮像されているオブジェクト（検出したオブジェクト）を同定することにより行っている。

【0003】

また、オブジェクトの追跡を、動画像を構成するフレーム画像毎に、オブジェクトの検出、および検出したオブジェクトの同定を繰り返す逐次処理で行うと、その処理時間が長くなる。そこで、この処理時間を短縮するために、動画像を予め定めたフレーム数で処理ブロックに分割し、複数のコアを有するＣＰＵや複数のＰＣを結合したＰＣクラスタ等で、分割した処理ブロックをマルチスレッド方式で並行処理することが考えられている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−１３３４２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述のマルチスレッド方式では、時間的に連続する処理ブロック間で、追跡しているオブジェクトを同定する（処理結果を統合する）マージ処理が必要になる。このマージ処理は、同定するオブジェクトの個数が多くなるにつれて、その処理時間が長くなる。

【0006】

このため、マルチスレッド方式による動画像に撮像されているオブジェクトを追跡する処理において、マージ処理を効率的に行い、処理時間を短縮する技術が要望されている。

【0007】

この発明の目的は、マルチスレッド方式による動画像に撮像されているオブジェクトの追跡にかかる処理において、マージ処理が効率的に行え、処理時間を十分に短縮することができる技術を提供することにある。

【課題を解決するための手段】

【0008】

この発明の画像処理装置は、上述の目的を達するために、以下のように構成している。

【0009】

フレーム画像抽出部は、入力された動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出する。この動画像は、例えばビデオカメラで撮像した動画像である。フレーム画像抽出部におけるフレーム抽出間隔は、例えば数フレーム〜数十フレーム程度である。ただし、フレーム抽出間隔は、上記の範囲外に設定してもよいことはいうまでもない。また、フレーム抽出間隔は、動画像からサンプル的に抽出したフレーム画像に撮像されているオブジェクトの個数に応じて定める構成としてもよい。また、この場合、フレーム抽出間隔は、撮像されているオブジェクトの個数に応じて、動的に変化させてもよい。

【0010】

分割処理部は、入力された動画像を複数の処理ブロックに分割する。オブジェクト追跡部は、分割処理部が分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡する。マージ処理部は、分割処理部が分割した複数の処理ブロックについて、オブジェクト追跡部がマルチスレッドで処理したオブジェクトの追跡結果を統合する。

【0011】

また、この画像処理装置は、フレーム画像抽出部が抽出した複数のフレーム画像について、そのフレーム画像に撮像されているオブジェクトの個数を検出するオブジェクト数検出部を備えている。そして、分割処理部は、フレーム画像抽出部が抽出した複数のフレーム画像について、オブジェクト数検出部が検出したオブジェクトの個数に基づき、入力された動画像を複数の処理ブロックに分割する。

【0012】

例えば、分割処理部は、入力された動画像において、撮像されているオブジェクトの個数が予め定めた値以上である箇所を、それ以外の箇所よりもフレーム数を多くした処理ブロックに分割する。これにより、時間的に連続する処理ブロック間で処理結果を統合するマージ処理において、同定するオブジェクトの個数が比較的多いマージ処理の回数が抑えられる。これにより、マルチスレッド方式による動画像に撮像されているオブジェクトを追跡する処理において、マージ処理にかかる処理時間を短縮することができる。

【0013】

また、オブジェクト数検出部は、フレーム画像抽出部が抽出した複数のフレーム画像について検出した撮像されているオブジェクトの個数に基づき、入力された動画像における撮像されているオブジェクトの個数の変動を推定する構成としてもよい。このようにすれば、オブジェクト数検出部が撮像されているオブジェクトの個数を検出するフレーム画像を抑えることができ、動画像に撮像されているオブジェクトの追跡にかかる処理が一層効率的に行える。この場合、分割処理部は、オブジェクト数検出部が推定した、入力された動画像における撮像されているオブジェクトの個数の変動に基づき、この動画像を複数の処理ブロックに分割すればよい。

【0014】

また、分割処理部は、動画像入力部に入力された動画像を処理ブロックに分割するとき、時間的に連続する処理ブロックに共通するフレーム画像を存在させる構成としてもよい。

【0015】

このように構成すれば、時間的に連続する処理ブロック間でのマージ処理において、同じフレーム画像を用いてオブジェクトを同定することができる。したがって、オブジェクトの同定にかかる処理を簡単にすることができるとともに、オブジェクトの同定精度の低下を抑えることができるので、オブジェクトの追跡が適正に行える。

【0016】

また、この発明にかかる画像処理装置は、入力された動画像を、複数の処理ブロックに分割する分割処理部と、この分割処理部が分割した複数の処理ブロックをマルチスレッドで処理し、この動画像に撮像されているオブジェクトを追跡するオブジェクト追跡部と、このオブジェクト追跡部がマルチスレッドで処理したオブジェクトの追跡結果を統合するマージ処理部と、を備え、分割処理部が、入力された動画像を処理ブロックに分割するとき、時間的に連続する処理ブロックに共通するフレーム画像を存在させる、構成としてもよい。この構成でも、上述したように、時間的に連続する処理ブロック間でのマージ処理において、同じフレーム画像を用いてオブジェクトを同定することができる。したがって、オブジェクトの同定にかかる処理を簡単にすることができるので、マージ処理にかかる処理時間を短縮することができる。また、上述したように、オブジェクトの同定精度の低下を抑えることができるので、オブジェクトの追跡が適正に行える。

【0017】

また、この発明にかかる画像処理方法は、上述した画像処理装置が備える各部の機能をコンピュータで実行する発明である。

【0018】

また、この発明にかかる画像処理プログラムは、上述した画像処理装置が備える各部の機能をコンピュータに実行させる発明である。

【発明の効果】

【0019】

この発明によれば、マルチスレッド方式による動画像に撮像されているオブジェクトの追跡にかかる処理において、マージ処理が効率的に行え、処理時間を十分に短縮することができる。

【図面の簡単な説明】

【0020】

【図1】画像処理装置の主要部の構成を示すブロック図である。

【図2】画像処理プロセッサの機能構成を示すブロック図である。

【図3】画像処理プロセッサの動作を示すフローチャートである。

【図4】フレーム画像抽出処理を説明する図である。

【図5】処理負荷量判断処理を説明する図である。

【図6】処理負荷量変動推定処理を説明する図である。

【図7】分割処理を説明する図である。

【図8】オブジェクトマップを示す図である。

【図9】別の例にかかる画像処理プロセッサの機能構成を示すブロック図である。

【図10】別の例にかかる画像処理プロセッサの動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、この発明の実施形態である画像処理装置について説明する。

【0022】

図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この画像処理装置１は、画像入力部２と、動画像記憶部３と、画像処理プロセッサ４と、出力部５と、を備えている。この画像処理装置１は、この発明にかかる画像処理プログラムをインストールしたパーソナルコンピュータ（ＰＣ）で実現できる。この画像処理プログラムを実行するコンピュータは、この例では画像処理プロセッサ４である。また、この発明にかかる画像処理方法を実行するコンピュータも、同様に、この例では画像処理プロセッサ４である。

【0023】

この例では、画像入力部２には、ビデオカメラ１０が接続されている。ビデオカメラ１０の撮像エリアは、オブジェクトの検出、および検出したオブジェクトの移動を追跡する監視エリアである。画像入力部２には、ビデオカメラ１０が撮像した撮像エリアの動画像が入力される。ビデオカメラ１０が画像入力部２に入力する動画像は、１秒間に１０〜３０フレームである。追跡対象のオブジェクトは、人や車両等の移動体だけでなく、放置された物体（非移動体）も含む。ただし、撮像エリア内（監視エリア内）に位置する、ベンチ、柵、ごみ箱等の設置物は背景であり、追跡対象のオブジェクトではない。

【0024】

なお、画像入力部２に接続される機器は、上述のビデオカメラ１０に限らず、動画像を記録した記録メディア等であってもよい。

【0025】

動画像記憶部３は、画像入力部２に入力された動画像を記録するハードディスク等の記録媒体である。画像入力部２に入力された動画像は、公知のＭＰＥＧ２等で圧縮して動画像記憶部３に記録される。

【0026】

画像処理プロセッサ４は、動画像記憶部３に記憶している動画像、すなわち画像入力部２に入力された動画像、を処理し、撮像されているオブジェクトの検出や、追跡にかかる処理（以下、追跡処理と言う。）を行う。この画像処理プロセッサ４が、この発明で言う、フレーム画像抽出部、オブジェクト数検出部、分割処理部、オブジェクト追跡部、およびマージ処理部に相当する構成を有する。

【0027】

出力部５は、画像処理プロセッサ４におけるオブジェクトの検出や、追跡にかかる処理結果を上位装置に出力する。

【0028】

なお、この画像処理装置１は、画像入力部２、動画像記憶部３、画像処理プロセッサ４、出力部５等の各部を制御する主制御部（不図示）を備えている。

【0029】

図２は、画像処理プロセッサの機能構成を示すブロック図である。画像処理プロセッサ４は、フレーム画像抽出部４１と、オブジェクト数検出部４２と、分割処理部４３と、オブジェクト追跡部４４と、マージ処理部４５と、を備えている。

【0030】

フレーム画像抽出部４１は、画像入力部２に入力され、動画像記憶部３に記憶している処理対象の動画像にかかるフレーム画像を、予め定めたフレーム抽出間隔で抽出する。このフレーム抽出間隔は、数フレーム〜数十フレームである。ここで抽出されるフレーム画像の時間間隔は、数百ｍｓ〜１ｓ程度である。ただし、フレーム抽出間隔は、上記の範囲外に設定してもよいことはいうまでもない。また、フレーム抽出間隔は固定値であってもよいし、変動値であってもよい。また、フレーム抽出間隔は、動画像からサンプル的に抽出したフレーム画像に撮像されているオブジェクトの個数に応じて定める構成としてもよい。この場合、フレーム抽出間隔は、撮像されているオブジェクトの個数に応じて、動的に変化させてもよい。

【0031】

オブジェクト数検出部４２は、フレーム画像抽出部４１が抽出したフレーム画像に対して、そのフレーム画像に撮像されているオブジェクトの個数を検出する。また、オブジェクト数検出部４２は、抽出した複数のフレーム画像について検出したオブジェクトの個数に基づき、処理対象である動画像に撮像されているオブジェクトの個数の変動（時間経過にともなう変動）を推定する。この推定精度は、上述のフレーム抽出間隔を小さくすれば向上できるが、処理時間が長くなる。したがって、上述のフレーム抽出間隔は、この推定精度と、処理時間を考慮して決定している。ここでは、フレーム抽出間隔を４フレームとして場合を例にして説明する。

【0032】

分割処理部４３は、オブジェクト数検出部４２が推定した処理対象である動画像における処理負荷の大きさの変動に基づいて、処理対象である動画像を複数のフレーム画像からなる処理ブロックに分割する。処理ブロックのフレーム数は、一定ではない。また、処理ブロックは、時間的に連続するフレーム画像で構成される。さらに、時間的に連続する処理ブロックには、同じフレーム画像が含まれている。

【0033】

オブジェクト追跡部４４は、複数のコアを備え、分割処理部４３が分割した処理ブロックをマルチスレッド方式で並行処理する。図２では、４つのコア（コアＡ、コアＢ、コアＣ、およびコアＤ）を図示したが、オブジェクト追跡部４４が備えるコアの数は２つ以上であればいくつであってもよい。オブジェクト追跡部４４は、分割された処理ブロック単位で、各コア（コアＡ〜コアＤ）が撮像されているオブジェクトの追跡処理を行う。

【0034】

マージ処理部４５は、オブジェクト追跡部４４の各コア（コアＡ〜コアＤ）が分割された処理ブロック単位で行ったオブジェクトの追跡結果を統合するマージ処理を行う。

【0035】

以下、この例にかかる画像処理装置１の動作について詳細に説明する。画像処理装置１は、処理対象の動画像を動画像記憶部３に記憶している。

【0036】

図３は、画像処理プロセッサの動作を示すフローチャートである。画像処理プロセッサ４は、フレーム画像抽出部４１において動画像記憶部３に記憶している処理対象の動画像にかかるフレーム画像を予め定めたフレーム抽出間隔で抽出するフレーム画像抽出処理を行う（ｓ１）。図４は、ｍフレーム（Ｆ１〜Ｆｍ）で構成されている処理対象の動画像から、予め定めたフレーム抽出間隔でフレーム画像を抽出する例を示している。図４に示す例では、フレーム抽出間隔は４フレームである。

【0037】

フレーム抽出間隔が固定値である場合、予め設定しているフレーム抽出間隔をｘフレームとすると、処理対象の動画像における（ａ×ｘ）番目のフレーム画像を抽出する。ただし、ａは自然数である。このｓ１で抽出されるフレーム画像（以下、抽出フレームと言う。）のフレーム数は、この例では、ｍ／４（小数点以下切り捨て。）である。

【0038】

なお、この例ではフレーム抽出間隔を固定値（４フレーム）にしているが、変動値にしてもよい。

【0039】

画像処理プロセッサ４は、オブジェクト数検出部４２において、ｓ１で抽出した抽出フレーム毎に、そのフレーム画像に撮像されているオブジェクトの個数を検出するオブジェクト数検出処理を行う（ｓ２）。ｓ２は、公知のパターンマッチングや背景差分等で撮像されているオブジェクトを検出し、撮像されているオブジェクトの個数を得る処理である。このｓ２にかかる処理は、撮像されているオブジェクトの個数を得ることができればよいので、撮像されているオブジェクトの属性（形状等の特徴量）まで検出する必要はない。

【0040】

図５では、撮像されているオブジェクトが２であるフレーム画像（フレームＦｎ）、撮像されているオブジェクトが５であるフレーム画像（フレームＦｎ＋４）、および、撮像されているオブジェクトが３であるフレーム画像（フレームＦｎ＋８）を図示している。

【0041】

画像処理プロセッサ４は、オブジェクト数検出部４２において、ｓ２で検出した各抽出フレームに撮像されているオブジェクトの個数に基づき、処理対象の動画像に撮像されているオブジェクトの個数の変動を推定するオブジェクト数変動推定処理を行う（ｓ３）。ｓ３では、図６に示すように、処理対象の動画像全体に渡って、フレーム画像に撮像されているオブジェクトの数の変動を推定する処理である。すなわち、抽出フレームに対する撮像されているオブジェクトの個数の検出結果に基づき、抽出フレーム以外のフレーム画像について、撮像されているオブジェクトの個数を推定する処理である。

【0042】

ｓ３にかかるオブジェクト数変動推定処理の推定精度は、上述のフレーム抽出間隔を小さくすることで向上できるが、その処理時間（ｓ１〜ｓ３（特に、ｓ２）の処理にかかる時間）が長くなる。したがって、上述のフレーム抽出間隔は、ｓ１〜ｓ３にかかる処理時間と、ｓ３にかかるオブジェクト数変動推定処理の推定精度と、を考慮して定めればよい。

【0043】

画像処理プロセッサ４は、分割処理部４３において、ｓ３で推定した処理対象の動画像における処理負荷量の大きさの変動に基づいて、この動画像を処理ブロックに分割する分割処理を行う（ｓ４）。このｓ４にかかる分割処理では、まず、処理対象の動画像に対して分割点を決定する。

【0044】

この分割点を決定する手法の例を以下に示す。

【0045】

（１）分割処理部４３は、この処理対象の動画像の先頭フレームから、予め定めたＡフレーム毎に分割点を仮決定する。例えば、２フレーム毎に、分割点を仮決定する。分割処理部４３は、仮決定した分割点毎に、その直後のフレーム画像に撮像されているオブジェクトの個数（ｓ２での検出数、またはｓ３での推定値）が予め定めた個数（例えば５個）未満であれば、この分割点を本決定し、反対に、予め定めた個数（例えば５個）以上であれば、この分割点の仮決定を取り消す。これにより、撮像されているオブジェクトの個数が比較的多い（この例では、５個以上である）フレーム画像の直前に分割点が設定されることがない。

【0046】

（２）また、上記（１）の例では、隣接する分割点間に位置するフレーム画像のフレーム数の差が大きくなることがある。後述するように、ここで決定した分割点に基づいて、動画像を処理ブロックに分割するので、分割した処理ブロック間で、処理負荷の差が大きくなる。このため、仮決定した分割点について、その仮決定を取り消すことができない制限を加えるのが好ましい。例えば、仮決定した分割点について、時間的に直前の分割点が取り消されている場合、この分割点を本決定する制限を設けるのが好ましい。これにより、隣接する分割点間に位置するフレーム画像のフレーム数の差が大きくなるのを防止できる。

【0047】

なお、上述の仮決定を取り消すことができない分割点の制限は、隣接する分割点間に位置するフレーム画像のフレーム数を最大で２倍に抑える例であるが、３倍や４倍に抑える制限であってもよい。

【0048】

（３）また、ｓ３の処理結果に基づき、撮像されているオブジェクトの個数が予め定めた個数未満であるフレーム画像の直前に分割点を決定する。この場合、隣接する分割点の間に位置するフレーム画像のフレーム数の最小値（例えば、２フレーム（ただし、最小値は２フレーム以上））や、最大値（例えば、４フレーム）を設定しておき、この制限に基づいて分割点を決定するのが好ましい。

【0049】

この分割点の決定は、分割点の直後のフレーム画像に撮像されているオブジェクトの個数が予め定めた個数以上である分割点の総数が、予め定めたＡフレーム毎に分割点を決定した場合よりも少なくなる手法であれば、上記（１）〜（３）に示した方法以外であってもよい。

【0050】

図７は、上記（２）の手法で決定した分割点を例示している。この図では、Ｆｎ＋３と、Ｆｎ＋４との間に仮決定された分割点が取り消されている。

【0051】

分割処理部４３は、処理対象の動画像に対して、図７に示す分割点を決定すると、分割点毎に、その直後のフレーム（分割開始フレーム）から、次の分割点の直後のフレーム（次の分割開始フレーム）までを、１つの処理ブロックとする分割を行う。したがって、この例では処理ブロックは、３フレーム、または５フレームで構成される。また、図７に示すように、時間的に連続する２つの処理ブロックは、一方の最終フレームと、他方の先頭フレームとが同じフレーム画像である。

【0052】

図７では、時間的に連続する２つの処理ブロックに共通して含まれるフレームを、分割点直後のフレーム（分割開始フレーム）とした例を示したが、分割点直前のフレームにしてもよい。この場合、分割点毎に、その直前のフレームから、次の分割点の直前のフレームまでを、１つの処理ブロックとする分割を行えばよい。

【0053】

画像処理プロセッサ４は、オブジェクト追跡部４４において、オブジェクトの追跡処理を行う（ｓ５）。オブジェクト追跡部４４は、分割処理部４３が分割した処理ブロックをマルチスレッド方式で並行処理する。具体的には、４つのコア（コアＡ、コアＢ、コアＣ、およびコアＤ）が、分割された処理ブロック単位で、撮像されているオブジェクトの追跡処理を行う。

【0054】

この追跡処理では、各コアは、処理ブロックに含まれているフレーム画像毎に撮像されているオブジェクトを検出するとともに、検出したオブジェクト毎にフレーム画像上の位置を取得する。また、検出したオブジェクトをフレーム画像間で対応付け、オブジェクトマップを作成する。ここで作成するオブジェクトマップでは、検出したオブジェクト毎に、仮ＩＤを付与している。例えば、コアＡは、検出したオブジェクトに対して、Ａ１、Ａ２・・・等の仮ＩＤを付与する。コアＢは、検出したオブジェクトに対して、Ｂ１、Ｂ２・・・等の仮ＩＤを付与する。コアＣは、検出したオブジェクトに対して、Ｃ１、Ｃ２・・・等の仮ＩＤを付与する。コアＤは、検出したオブジェクトに対して、Ｄ１、Ｄ２・・・等の仮ＩＤを付与する。

【0055】

図８（Ａ）は、コアＡが図７に示すＦｎ〜Ｆｎ＋２までの処理ブロックに対する追跡処理で作成したオブジェクトマップを示す図である。また、図８（Ｂ）は、コアＢが図７に示すＦｎ＋２〜Ｆｎ＋６までの処理ブロックに対する追跡処理で作成したオブジェクトマップを示す図である。オブジェクトマップは、図８に示すように、検出したオブジェクトに付与した仮ＩＤ毎に、フレーム画像と、そのフレーム画像上の位置（座標）とを対応付けて登録したものである。図８に示すオブジェクトマップにおいて、その位置が示されていないオブジェクトは、当該フレーム画像に撮像されていなかったオブジェクトである。すなわち、図８において、仮ＩＤがＡ４であるオブジェクトは、フレーム番号Ｆｎのフレーム画像に撮像されていない。また、仮ＩＤがＡ５であるオブジェクトは、フレーム番号Ｆｎ、およびフレーム番号Ｆｎ＋１のフレーム画像に撮像されていない。また、仮ＩＤがＢ３であるオブジェクトは、フレーム番号Ｆｎ＋５、およびフレーム番号Ｆｎ＋６のフレーム画像に撮像されていない。また、仮ＩＤがＢ５であるオブジェクトは、フレーム番号Ｆｎ＋６のフレーム画像に撮像されていない。

【0056】

このように、オブジェクト追跡部４４は、複数のコアによるマルチスレッドで分割した処理ブロックに撮像されているオブジェクトの追跡処理を行い、図８に示したオブジェクトマップを作成する。

【0057】

画像処理プロセッサ４は、マージ処理部４５において、各コアが作成したオブジェクトマップを統合するマージ処理を行う（ｓ６）。ｓ６では、時間的に連続する処理ブロックにかかるオブジェクトマップ間において、仮ＩＤが付与されているオブジェクトを同定する処理である。具体的には、時間的に連続する処理ブロックにかかるオブジェクトマップには、共通するフレーム画像が含まれている。図８に示す例では、フレーム番号Ｆｎ＋４が共通するフレーム画像である。このフレーム画像において、検出されているオブジェクトの位置がほぼ同じであるオブジェクトを、同一のオブジェクトとして同定する。例えば図８に示す例では、仮ＩＤがＡ１であるオブジェクトと、仮ＩＤがＢ５であるオブジェクトとを、同一のオブジェクトとして同定する。仮ＩＤがＡ２であるオブジェクトと、仮ＩＤがＢ３であるオブジェクトとを、同一のオブジェクトとして同定する。仮ＩＤがＡ３であるオブジェクトと、仮ＩＤがＢ２であるオブジェクトとを、同一のオブジェクトとして同定する。仮ＩＤがＡ４であるオブジェクトと、仮ＩＤがＢ４であるオブジェクトとを、同一のオブジェクトとして同定する。仮ＩＤがＡ５であるオブジェクトと、仮ＩＤがＢ１であるオブジェクトとを、同一のオブジェクトとして同定する。

【0058】

このように、処理対象の動画像を処理ブロックに分割するときに、時間的に連続する処理ブロックに同じフレーム画像を含ませているので、ｓ６にかかるマージ処理の精度を十分に確保できる。また、このマージ処理が比較的簡単な処理（検出位置の突き合わせる処理）で行えるので、マージ処理にかかる処理時間を一層短縮できる。

【0059】

また、画像処理プロセッサ４は、このマージ処理で同定したオブジェクトに対して、本ＩＤを付与することで、処理対象の動画像全体にわたって、撮像された各オブジェクトを区別したオブジェクトマップを構築できる。すなわち、処理対象の動画像全体にわたって、撮像されているオブジェクトの追跡結果を示すオブジェクトマップを得ることができる。

【0060】

このように、この例にかかる画像処理装置１は、同定するオブジェクトの個数が比較的多いマージ処理の回数を抑えることができる。したがって、マルチスレッド方式による動画像に撮像されているオブジェクトの追跡にかかる処理において、マージ処理が効率的に行え、処理時間を十分に短縮することができる。

【0061】

また、時間的に連続する処理ブロックに同じフレーム画像を含ませているので、マージ処理におけるオブジェクトの同定精度の低下を抑えることができる。また、このマージ処理が比較的簡単な処理で行えるので、マージ処理にかかる処理時間を一層短縮できる。

【0062】

なお、上述した例における、ｓ１〜ｓ４、およびｓ６にかかる処理は、図２に示したいずれかのコアＡ〜Ｄが実行してもよいし、図示していない別のコアで実行してもよい。

【0063】

また、画像処理プロセッサ４は、図９に示すように、上述のフレーム画像抽出部４１、およびオブジェクト数検出部４２を備えていない構成であってもよい。

【0064】

この場合、画像処理プロセッサ４は、図１０に示す処理を行えばよい。画像処理プロセッサ４は、分割処理部４３において、処理対象の動画像の先頭フレームから、予め定めたＡフレーム毎に分割点を決定する（ｓ１１）。画像処理プロセッサ４は、オブジェクト追跡部４４において、オブジェクトの追跡処理を行う（ｓ１２）。画像処理プロセッサ４は、マージ処理部４５において、各コアが作成したオブジェクトマップを統合するマージ処理を行う（ｓ１３）。

【0065】

ｓ１２は、上述のｓ５と同じ処理であり、ｓ１３は上述のｓ６と同じ処理である。

【0066】

この例では、処理対象の動画像に対して分割点が均等に決定されるので、上述の例のように、同定するオブジェクトの個数が比較的多いマージ処理の回数を抑えることはできない。しかしながら、処理対象の動画像を処理ブロックに分割するときに、時間的に連続する処理ブロックに同じフレーム画像を含ませているので、上述したように、ｓ１３にかかるマージ処理の精度を十分に確保できる。また、このマージ処理が比較的簡単な処理で行えるので、マージ処理にかかる処理時間を一層短縮できる。

【0067】

なお、上記の例では、複数のコアを備える画像処理プロセッサ４で、分割処理部４３が分割した処理ブロックをマルチスレッド方式で並行処理する構成としたが、複数のＰＣを結合したＰＣクラスタで、分割処理部４３が分割した処理ブロックをマルチスレッド方式で並行処理する構成としてもよい。

【符号の説明】

【0068】

１…画像処理装置
２…画像入力部
３…動画像記憶部
４…画像処理プロセッサ
５…出力部
４１…フレーム画像抽出部
４２…オブジェクト数検出部
４３…分割処理部
４４…オブジェクト追跡部
４５…マージ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】