撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する計数装置1であって、経時的に変化する複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得部151と、取得部151が取得した位置情報を、所定の手法で複数の集合に分類する分類部152と、分類部152の分類結果に基づいて、複数の対象物を追跡する追跡処理を行う追跡部153と、複数の対象物の移動速度に基づいて、取得部151が取得した位置情報を調整する調整部155と、を備え、分類部152は、調整部155が調整した位置情報に基づいて、取得部151が取得した位置情報を複数の集合に分類する。
前記推定手段は、前記取得手段が取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、前記移動速度として推定する、
請求項2又は3に記載の追跡システム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術においては、対象物が写っている画像について個々の対象物を画像認識した上で追跡していたので、画像認識に誤りが発生した場合に対象物を追跡できなくなる可能性があった。
【0005】
本発明は、上記に鑑みてなされたものであって、対象物を確実に追跡することが可能となる追跡システム、及び追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、請求項1に記載の追跡システムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡システムであって、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、を備え、前記複数の対象物の移動速度に基づいて、前記取得手段が取得した位置情報を調整する調整手段、を更に備え、前記分類手段は、前記調整手段が調整した位置情報に基づいて、前記取得手段が取得した位置情報を複数の集合に分類する。
【0007】
請求項2に記載の追跡システムは、請求項1に記載の追跡システムにおいて、前記移動速度を推定する推定手段、を備え、前記調整手段は、前記推定手段が推定した移動速度に基づいて、前記取得手段が取得した位置情報を調整する。
【0008】
請求項3に記載の追跡システムは、請求項2に記載追跡システムにおいて、前記推定手段は、前記所定の手法で分類される集合の個数に関する所定のアルゴリズムに基づいて、前記移動速度を推定する。
【0009】
請求項4に記載の追跡システムは、請求項2又は3に記載の追跡システムにおいて、前記推定手段は、前記取得手段が取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、前記移動速度として推定する。
【0010】
請求項5に記載の追跡システムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡システムであって、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、を備え、前記追跡手段は、前記分類手段が分類した集合に属する前記取得手段が取得した位置情報の個数に基づいて、前記追跡処理を行う。
【0011】
請求項6に記載の追跡システムは、請求項1から5の何れか一項に記載の追跡システムにおいて、前記追跡手段は、前記複数の対象物を計数する処理を、前記追跡処理の少なくとも一部の処理として行う。
【0012】
請求項7に記載の追跡プログラムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡プログラムであって、コンピュータを、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、として機能させ、前記複数の対象物の移動速度に基づいて、前記取得手段が取得した位置情報を調整する調整手段、として更に機能させ、前記分類手段は、前記調整手段が調整した位置情報に基づいて、前記取得手段が取得した位置情報を複数の集合に分類する。
【0013】
請求項8に記載の追跡プログラムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡プログラムであって、コンピュータを、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、として機能させ、前記追跡手段は、前記分類手段が分類した集合に属する前記取得手段が取得した位置情報の個数に基づいて、前記追跡処理を行う。
【発明の効果】
【0014】
請求項1に記載の追跡システムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。また、複数の対象物の移動速度に基づいて、取得した位置情報を調整することにより、例えば、複数の対象物の移動速度を考慮して分類することができるので、分類精度を向上させることができ、複数の対象物を確実に追跡することが可能となる。
【0015】
請求項2に記載の追跡システムによれば、推定した移動速度に基づいて、取得手段が取得した位置情報を調整することにより、例えば、移動速度の実測等が不要となるので、複数の対象物を容易に追跡することが可能となる。
【0016】
請求項3に記載の追跡システムによれば、所定の手法で分類される集合の個数に関する所定のアルゴリズムに基づいて、移動速度を推定することにより、例えば、移動速度を適切に推定することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【0017】
請求項4に記載の追跡システムによれば、取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、移動速度として推定することにより、例えば、候補速度の個数を絞ることにより、移動速度を迅速に推定することができるので、複数の対象物を迅速に追跡することが可能となる。また、取得した位置情報に基づいて特定される1個以上の候補速度を決定することにより、例えば、複数の対象物の実際の移動速度に関連する位置情報を考慮して候補速度を決定することができるので、移動速度を適切に推定することができ、複数の対象物の追跡精度を向上させることが可能となる。
【0018】
請求項5に記載の追跡システムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。また、分類した集合に属する位置情報の個数に基づいて追跡処理を行うことにより、例えば、複数の対象物の位置情報を1つの集合に分類した場合でも、複数の対象物を、1つの対象物ではなく複数の対象物として追跡することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【0019】
請求項6に記載の追跡システムによれば、複数の対象物を計数する処理を追跡処理の少なくとも一部の処理として行うことにより、例えば、複数の対象物を確実に計数することが可能となる。
【0020】
請求項7に記載の追跡プログラムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速に追跡することが可能となる。また、複数の対象物の移動速度に基づいて、取得した位置情報を調整することにより、例えば、複数の対象物の移動速度を考慮して分類することができるので、分類精度を向上させることができ、複数の対象物を確実に追跡することが可能となる。
【0021】
請求項8に記載の追跡プログラムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。また、分類した集合に属する位置情報の個数に基づいて追跡処理を行うことにより、例えば、複数の対象物の位置情報を1つの集合に分類した場合でも、複数の対象物を、1つの対象物ではなく複数の対象物として追跡することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【発明を実施するための形態】
【0023】
以下、本発明に係る追跡システム、及び追跡プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。
【0024】
本発明に係る追跡システムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡するシステムであり、例えば、複数の対象物を追跡する専用システム、あるいは、汎用的に用いられるシステム(一例としては、汎用コンピュータ、サーバコンピュータ、あるいは、ネットワーク上に分散配置された複数のコンピュータ(つまり、いわゆるクラウドコンピュータ)等)に対して、追跡プログラムをインストールして複数の対象物を追跡する機能を実装することにより実現されるシステム等を含む概念である。また、追跡システムは、例えば、取得手段、分類手段、及び追跡手段を備え、任意で、調整手段、及び推定手段を備える。
【0025】
「撮像領域」とは、撮像する対象となる領域であり、例えば、予め定められている領域、あるいは、任意に変更可能な領域等を含む概念であり、一例としては、カメラの画角等に基づいて定められる領域である。「対象物」とは、追跡の対象であり、具体的には、1つの方向に向かって移動する対象であり、例えば、任意の力(自己で発生する力(自己に作用する重力に基づく力を含む)、他者から付与される力等)にて移動する対象、あるいは、任意の搬送手段(例えば、ベルトコンベア等)にて搬送されて移動する対象等を含む概念である。「対象物」とは、例えば、魚又は人等の生物、あるいは、荷物等の物を含む概念である。
【0026】
「取得手段」とは、経過時的に変化する複数の対象物の位置を特定する位置情報を、複数の時間分取得する手段である。「経過時的に変化する」とは、例えば、時間の経過に従って変化すること等を示す概念である。「位置情報」とは、対象物の位置を特定する情報である。
【0027】
「分類手段」とは、取得手段が取得した位置情報を、所定の手法で複数の集合に分類する手段であり、例えば、調整手段が調整した位置情報に基づいて、取得手段が取得した位置情報を複数の集合に分類する手段等を含む概念である。
【0028】
「所定の手法」とは、予め定められた手法であり、具体的には、複数の集合を分類するための公知の手法を含む任意の手法であり、例えば、任意のクラスタリングを行う手法等を含む概念であり、一例としては、密度ベースのクラスタリング手法であるDBSCAN(Density−based spatial clustering of applications with noise)に対応する手法、あるいは、閾値を用いて分類する手法等を含む概念である。
【0029】
「追跡手段」とは、分類手段の分類結果に基づいて、複数の対象物を追跡する追跡処理を行う手段であり、例えば、分類手段が分類した集合に属する取得手段が取得した位置情報の個数に基づいて、追跡処理を行う手段等を含む概念であり、また、複数の対象物を計数する処理を、追跡処理の少なくとも一部の処理として行う手段等を含む概念である。
【0030】
「追跡処理」とは、複数の対象物を追跡する処理であり、具体的には、追跡を行う処理自体、あるいは、追跡を行った上で実現される任意の処理等を含む概念である。「追跡処理」とは、例えば、複数の対象物各々を一意に識別することなく(つまり、画像認識等で各対象物を認識することなく)追跡する処理等を含む概念であり、一例としては、対象物の位置を検出して検出結果に基づいて行われる処理等を含む概念である。「追跡処理」の具体的な内容は任意であるが、例えば、対象物の位置を把握する処理、あるいは、対象物を計数する(対象物の個数を数える)処理等を含む概念である。
【0031】
「調整手段」とは、複数の対象物の移動速度に基づいて、取得手段が取得した位置情報を調整する手段であり、例えば、推定手段が推定した移動速度に基づいて、取得手段が取得した位置情報を調整する手段等を含む概念である。「移動速度」とは、例えば、複数の対象物が移動する速度であり、一例としては、予め定められている速度、あるいは、推定手段にて推定される速度等を含む概念である。
【0032】
「推定手段」とは、移動速度を推定する手段であり、例えば、所定の手法で分類される集合の個数に関する所定のアルゴリズムに基づいて、移動速度を推定する手段等を含む概念であり、また、取得手段が取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、移動速度として推定する手段等を含む概念である。
【0033】
「所定のアルゴリズム」とは、前述の所定の手法で分類される集合の個数に関するアルゴリズムであり、例えば以下の最適化アルゴリズム等を含む任意のアルゴリズム等を含む概念である。最適化アルゴリズムについて具体的には、まず、取得手段が取得した位置情報を、仮の移動速度分だけ調整し、当該調整した位置情報を、任意のクラスタリングを行う手法(例えば、DBSCANに対応する手法等)でクラスタリングした場合に、当該位置情報が属するもとして生成された集合の個数を求める(以下、集合個数算出処理)。そして、この「集合個数算出処理」を、仮の移動速度を任意に変更しつつ多数回行った上で、集合の個数が最少となった場合の仮の移動速度を、移動速度として推定するアルゴリズム等を含む概念である。
【0034】
「候補速度」とは、推定される移動速度の候補となる移動速度であり、例えば、予め定められた移動速度、あるいは、取得手段が取得した位置情報に基づいて導出される移動速度等を含む概念である。
【0035】
そして、以下に示す実施の形態では、「追跡システム」が汎用コンピュータに対して、追跡プログラムをインストールすることにより実現され、また、「対象物」が養殖用プールに移される魚である場合を例示して説明する。
【0036】
(構成)
まず、本実施の形態に係る計数装置について説明する。
図1は、本発明の実施の形態が適用される対象物を示す図であり、
図2は、計数装置を示すブロック図である。
【0037】
図1の対象物は、
図2の計数装置1にて計数される対象であり、例えば、養殖場で養殖される魚である。この
図1の対象物は、例えば、図面右側の不図示の移動元から、図面左側の不図示の移動先(例えば、移動元よりも低い位置に設けられている養殖用プール等)に、魚用移動部900の斜面に沿って水と共に自重にて滑りながら移動するものである。そして、本実施の形態では、当該対象物である魚が移動元側から移動先側に向かって(つまり、1つの所定の方向に向かって)、不図示の対象物も含めて複数尾移動することとし、当該移動する魚の尾数(個数)を計数する場合を例示して説明する。
【0038】
図2の計数装置1は、追跡システムであり、例えば、撮像部11、入力部12、出力部13、記録部14、及び制御部15を備える。
【0039】
(構成−撮像部)
撮像部11は、撮像領域を撮像する撮像手段である。
図3は、撮像領域を図示した図である。この撮像部11の具体的な種類や構成は任意であるが、例えば、
図3に示すように、魚用移動部900を含む撮像領域内の画像を撮像するカメラ等を備えて構成することができる。また、撮像部11による撮像形式も任意であり、例えば、静止画又は動画を撮像するように構成することができるが、ここでは、例えば、動画を撮像するように構成されているものとして説明する。
【0040】
(構成−入力部)
入力部12は、計数装置1に対して情報を入力する入力手段である。この入力部12の具体的な種類や構成は任意であるが、例えば、キーボード、及びマウス等の任意の入力装置を用いて構成することができる。
【0041】
(構成−出力部)
出力部13は、情報を出力する出力手段である。この出力部13の具体的な種類や構成は任意であるが、例えば、液晶ディスプレイを含む任意の表示装置、あるいは、スピーカ等を含む音声装置等を用いて構成することができる。
【0042】
(構成−記録部)
記録部14は、計数装置1の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク(図示省略)を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はDVDやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。この記録部14は、撮像情報を格納している。
【0043】
(構成−記録部−撮像情報)
「撮像情報」とは、撮像部11が撮像した画像の情報であり、例えば、撮像部11が撮像した
図3の撮像領域の動画の情報である。そして、この撮像情報の具体的な格納手法は任意であるが、例えば、入力部12を介する撮像開始操作(例えば、撮像を開始するための開始ボタンを押下する操作等)を受け付けた場合に、撮像部11が動画の撮像を開始し、当該入力部12を介する撮像終了操作(例えば、撮像を終了するための終了ボタンを押下する操作等)を受け付けた場合に、撮像部11が動画の撮像を終了することとする。そして、制御部15が、撮像部11が撮像した動画の情報を、記録部14に撮像情報として格納することとする。
【0044】
(構成−制御部)
制御部15は、計数装置1を制御する制御手段である。具体的には、CPU、当該CPU上で解釈実行される各種のプログラム(OSなどの基本制御プログラムや、OS上で起動され特定機能を実現するアプリケーションプログラムを含む)、及びプログラムや各種のデータを格納するためのRAMの如き内部メモリを備えて構成されるコンピュータである。
【0045】
制御部15は、機能概念的に、取得部151、分類部152、追跡部153、推定部154、及び調整部155を備える。取得部151は、経時的に変化する複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段である。分類部152は、取得部151が取得した位置情報を、所定の手法で複数の集合に分類する分類手段である。追跡部153は、分類部152の分類結果に基づいて、複数の対象物を追跡する追跡処理を行う追跡手段である。推定部154は、移動速度を推定する推定手段である。調整部155は、複数の対象物の移動速度に基づいて、取得部151が取得した位置情報を調整する調整手段である。なお、この制御部15の各部によって行われる処理については、後述する。
【0046】
(処理)
次に、このように構成される計数装置1によって計数処理について説明する。
図4は、計数処理のフローチャートである(以下の各処理の説明ではステップを「S」と略記する)。計数処理は、複数の対象物を計数する処理であり、概略的には、計数装置1によって実行される処理である。この計数装置1を実行するタイミングは任意であるが、例えば、記録部14に撮像情報が格納された後の任意のタイミングに、入力部12を介して行われるユーザからの所定操作を受け付けた場合に起動することとし、この計数処理が起動したところから説明する。
【0047】
図4のSA1において取得部151は、複数の対象物の位置情報を取得する。
図5は、位置情報を説明するための図であり、
図6は、各フレームの位置情報を示す図である。なお、
図6において横軸である位置情報の具体的な値は、説明の便宜上、不図示とされているが、図面左側の値が後述の座標系の原点に近い側に対応しており、図面右側が当該座標系の原点から遠い側(具体的には、
図5において基準点よりも右側)に対応している。SA1について具体的には任意であるが、例えば、記録部14の撮像情報である動画を取得し、取得した動画をフレーム毎に分けて、各フレームにおいて対象物を任意の手法(公知の物体検出の手法に対応する手法等)で検出し、検出した対象物の位置を特定し、特定した位置に対応する位置情報を取得する(つまり、経時的に変化する複数の対象物の位置を特定する位置情報を、複数の時間分取得する)。
【0048】
ここでは、例えば、記録部14の撮像情報である動画を取得し、取得した動画をフレーム毎に分けて、1つのフレーム(例えば、
図6の4フレーム(4番目のフレーム))において、
図5に示すように対象物を任意の手法(公知の物体検出の手法に対応する手法等)で5個の対象物を検出した場合、検出した対象物の外形に対応する矩形の対象領域の中央の点のX座標を各対象物の位置として特定し、特定したX座標を位置情報として特定する。なお、ここでのX座標については、
図5に示すように、対象物の移動方向に対応する魚用移動部900に沿っている軸をX軸とする座標系において、対象物の移動先側(図面左側の任意の位置)の基準点を原点とする座標系を用いる場合を例示して説明する。このようにして、記録部14の撮像情報である動画について、1フレーム(1番目のフレーム)〜11フレーム(11番目のフレーム)の各位置情報を取得する。なお、ここでのフレームレートは任意であるが、例えば、魚用移動部900を移動する1つの対象物が、少なくとも2個のフレームに写る程度のフレームレートに設定されている場合を例示して説明する。そして、このように設定されたフレームレートの動画においては、対象物の移動速度が比較的速いので、
図6に示すように、1つの対象物の位置情報が、連続するフレームにおいて比較的大きく変動することになる。
【0049】
図4のSA2において推定部154は、複数の対象物の移動速度を推定する。具体的には任意であるが、例えば、前述の最適化アルゴリズムに基づいて移動速度を推定する。詳細には、例えば、SA3で行う位置情報の調整のために用いる数式が「Xadj=(Xpre+V×(t−1))×W(なお、Xadj:調整後の位置情報、Xpre:調整前の位置情報、V:移動速度、t:フレーム数(何番目のフレームか)、W:重み(1個の所定の数値))」であり、後述するSA4でDBSCANに対応する手法でクラスタリングを行って分類することとし、以下の処理を行う。具体的には、まず、SA1で取得した各位置情報、及び仮の移動速度を前述の数式に代入した上で、調整後の各位置情報を算出し、算出した全ての位置情報について、DBSCANに対応する手法でクラスタリングを行った場合に、当該位置情報が属するもとして生成された集合の個数を求める(つまり、前述の「集合個数算出処理」を行う)。そして、この「集合個数算出処理」を、仮の移動速度を任意に変更しつつ多数回(一例としては、ユーザによって設定可能な回数であり、100回〜500回程度等)行った上で、集合の個数が最少となった場合の仮の移動速度を、移動速度として推定する。ここでは、例えば、複数の対象物の移動速度として、「Ves(Vesは、数値)」を推定することとする。
【0050】
図4のSA3において調整部155は、複数の対象物の位置情報を調整する。
図7は、調整前と調整後の位置情報を説明するための図であり、
図8は、調整後の各フレームの位置情報を示す図である。具体的には任意であるが、例えば、SA1で取得した位置情報を取得し、また、SA2で推定した移動速度を取得し、取得した位置情報及び移動速度を、前述の数式である「Xadj=(Xpre+V×(t−1))×W」の右辺に代入することにより、調整後の位置情報を算出することにより、当該調整の位置情報に調整する(つまり、算出した位置情報を、調整後の位置情報とする)。なお、前述の数式における「t」には、各フレーム数を代入し、「W」には、1個の所定の数値である「W100」を代入することとする。
【0051】
ここでは、例えば、
図6の1フレーム目の1個の位置情報が「V11」である場合、SA1で取得した位置情報として「V11」を取得し、また、SA2で推定した移動速度として「Ves」を取得し、取得した「V11」及び「Ves」を、前述の「Xadj=(Xpre+V×(t−1))×W」の右辺の「Xpre」及び「V」に代入し、また、1フレーム目に対応する「1」を右辺の「t」に代入し、「W100」を右辺の「W」に代入した上で、調整後の位置情報として「(V11+Ves×(1−1))×W100」を算出して調整する。
【0052】
また、例えば、
図6の2フレーム目の2個の位置情報各々が「V21」、「V22」である場合、同様な処理を行って、調整後の位置情報として「(V21+Ves×(2−1))×W100」、及び「(V22+Ves×(2−1))×W100)」を算出して調整する。また、例えば、
図6の3フレーム目の3個の位置情報各々が「V31」、「V32」、「V33」である場合、同様な処理を行って、調整後の位置情報として「(V31+Ves×(3−1))×W100」、「(V32+Ves×(3−1))×W100」、及び「(V33+Ves×(3−1))×W100)」を算出して調整する。このようにして、
図7に示すように、SA1で取得した位置情報(
図7の破線の丸印で示す位置情報)を、算出された調整後の位置情報(
図7の黒色で塗られた丸印で示す位置情報)に変更して調整する。なお、この
図7においては、説明の便宜上、前述の数式の「W」を考慮しない場合(つまり、「W」が「1」である場合)を図示している。そして、全てのフレームに対して、SA1で取得した位置情報を、
図8に示すように調整する。
【0053】
図4のSA4において分類部152は、SA3で調整した位置情報に基づいて、SA1で取得した位置情報を複数の集合に分類する。
図9は、
図8の位置情報が分類された集合を示す図である。具体的には任意であるが、例えば、SA3で調整した調整後の位置情報(つまり、SA3で算出した位置情報)を取得し、取得した位置情報を、DBSCANに対応する手法でクラスタリングを行うことにより、当該位置情報を複数の集合に分類する(つまり、SA1で取得した位置情報を分類する)。なお、ここでのクラスタリングで用いられるその他の公知のパラメータは、1つの予め定められた固定値を用いることとしてもよい。
【0054】
ここでは、例えば、
図8の位置情報を、DBSCANに対応する手法でクラスタリングを行うことにより、
図9に示すように、集合21〜25の5個の集合に分類する。なお、ここでは、前述のSA3において位置情報が調整された
図8に示すように整列されているので、当該DBSCANに対応する手法で実態に概略的に即したクラスタリングを行うことが可能となる。
【0055】
図4のSA5において追跡部153は、対象物を計数することにより、追跡処理を行う。具体的には任意であるが、例えば、SA4で行った分類結果を取得し、取得した分類結果に基づいて、対象物を計数する。
【0056】
詳細には、
図5に示す図面右側の3個の対象物のように、相互に一部が重なりあったり、あるいは、隣接したりすることにより、位置情報が相互に近接していることがあるが、このような場合、SA4の分類結果である
図9の集合23のように、1つのフレーム内(例えば、4フレーム目)では位置情報が複数個(例えば、3個)存在し対象物が複数個(例えば、3個)存在しているにも関わらず、1つの集合として分類されることがあるので、集合の数をそのまま対象物の数として計数した場合、計数結果に誤りが発生する可能性がある。このことを考慮して、計数結果に誤りが生じないように、以下のようにして処理する。具体的には、SA4で分類した集合に属する各フレームに存在する位置情報の個数を計数し、当該集合各々において位置情報の個数の最大値を算出し、算出した最大値を相互に加算した結果を対象物の個数として算出して計数する。
【0057】
ここでは、例えば、
図9の集合21に属する1フレーム〜4フレームについて、1フレームの位置情報の個数は1個であり、また、2フレームの位置情報の個数は1個であり、3フレームの位置情報の個数は1個であり、4フレームの位置情報の個数は1個であるので、集合21の位置情報の個数の最大値として、「1」を算出する。また、例えば、
図9の集合22に属する2フレーム〜5フレームについて、2フレーム〜5フレームの位置情報の個数は1個であるので、集合22の位置情報の個数の最大値として、「1」を算出する。また、例えば、
図9の集合23に属する3フレーム〜8フレームについて、3フレームの位置情報の個数は1個であり、また、4フレム〜6フレームの位置情報の個数は3個であり、7フレームの位置情報の個数は2個であり、8フレームの位置情報の個数は1個であるので、集合23の位置情報の個数の最大値として、「3」を算出する。また、同様にして、集合24、25の位置情報の個数の最大値として、「1」を算出する。そして、集合21の最大値である「1」、集合22の最大値である「1」、集合23の最大値である「3」、集合24の最大値である「1」、集合25の最大値である「1」を相互に加算した結果である「7」を、対象物の計数結果として算出する(つまり、「7個」を計数する)。
【0058】
図4のSA6において追跡部153は、情報を出力する。具体的には任意であるが、例えば、SA5の計数結果を取得し、取得した計数結果を、出力部13を介して表示出力又は音声出力する。ここでは、例えば、「7個」を出力する。これにて、計数処理を終了する。
【0059】
(実施の形態の効果)
このように本実施の形態によれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。
【0060】
また、複数の対象物の移動速度に基づいて、取得した位置情報を調整することにより、例えば、複数の対象物の移動速度を考慮して分類することができるので、分類精度を向上させることができ、複数の対象物を確実に追跡することが可能となる。
【0061】
また、推定した移動速度に基づいて、取得部151が取得した位置情報を調整することにより、例えば、移動速度の実測等が不要となるので、複数の対象物を容易に追跡することが可能となる。
【0062】
また、所定の手法で分類される集合の個数に関する所定のアルゴリズムに基づいて、移動速度を推定することにより、例えば、移動速度を適切に推定することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【0063】
また、分類した集合に属する位置情報の個数に基づいて追跡処理を行うことにより、例えば、複数の対象物の位置情報を1つの集合に分類した場合でも、複数の対象物を、1つの対象物ではなく複数の対象物として追跡することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【0064】
また、複数の対象物を計数する処理を追跡処理の少なくとも一部の処理として行うことにより、例えば、複数の対象物を確実に計数することが可能となる。
【0065】
〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。
【0066】
(解決しようとする課題や発明の効果について)
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏したりすることがある。
【0067】
(分散や統合について)
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。
【0068】
(形状、数値、構造、時系列について)
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。
【0069】
(移動速度について(その1))
また、上記実施の形態では、
図4のSA2において推定部154が、最適化アルゴリズムにおいて、「集合個数算出処理」を、仮の移動速度を任意に変更しつつ多数回(一例としては、ユーザによって設定可能な回数であり、100回〜500回程度等)行った上で、集合の個数が最少となった場合の仮の移動速度を、移動速度として推定する場合について説明したが、これに限らない。
【0070】
例えば、推定部154が、任意の手法で、取得部151が取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、移動速度として推定するように構成してもよい。1個以上の候補速度を決定する手法としては、例えば、以下の第1の手法、第2の手法、又は第3の手法を用いて決定してもよい。
【0071】
第1の手法は、連続する直前又は直後の2個のフレームに対応する位置情報を用いて決定する手法である。
図10は、
図6の一部の拡大図である。この第1の手法では、例えば、
図10に示すように、連続する直前又は直後の2個のフレームである2フレーム及び3フレームにおいて、各フレーム間の位置情報の相互間の距離D1〜D6を特定し、特定した距離D1〜D6を候補速度として決定する。
【0072】
第2の手法は、連続する直前又は直後以外の2個のフレーム(例えば、1フレームと3フレームのように、N個(Nは1以上)のフレームが間に設けられている2個のフレーム)に対応する位置情報を用いて決定する手法である。第2の手法では、例えば、これらの2個のフレームにおいて、各フレーム間の位置情報の相互間の距離を特定し、特定した距離を間に設けられているフレームの個数に対応する数値(例えば、1フレーム及び3フレーム間の位置情報の相互間の距離を特定した場合、間に設けられているフレームの個数が1個であるので「2」)で除算し、除算した結果を候補速度として決定する。
【0073】
第3の手法は、第1の手法及び第2の手法を組み合わせて一般化した手法である。第3の手法では、1つのフレームと当該1つのフレームのn(nは、1以上Z以下)個先のフレームにおいて、各フレーム間の位置情報の相互間の距離を特定し、特定した距離をnで除算し、除算した結果を候補速度として決定する。なお、nを、1以上Z以下に順次変更することに算出されたものを全て、候補速度として決定してもよい。また、ここでの「Z」については、値が大きすぎる場合、両フレームにおいて同一の対象物が存在しないことになる可能性があることに留意して決定してもよい。
【0074】
そして、これらの第1〜第3の手法を用いて決定した候補速度が1個のみである場合、推定部154は、当該1個の候補速度を、移動速度として推定する。また、第1〜第3の手法を用いて決定した候補速度が2個以上である場合、推定部154は、任意の手法で1個の推定速度を選択し、選択した推定速度を、移動速度として推定する。
【0075】
ここでの選択手法は任意であるが、例えば、決定した2個以上の移動速度の値が大きい順に並べて、任意の順番(例えば、最も大きいもの、あるいは、最も小さいもの等)の移動速度を選択してもよい。
【0076】
また、例えば、決定した2個以上の移動速度を、前述の最適化アルゴリムの仮の移動速度として用いて、
図4のSA2で説明した処理を行うことにより、移動速度を推定してもよい。つまり、前述の最適化アルゴリズムにおいて、当該決定した2個以上の移動速度を、仮の移動速度として用いることにより、当該決定した2個以上の移動速度の個数に対応する回数だけ「集合個数算出処理」を行った上で、集合の個数が最少となった場合の仮の移動速度を、移動速度として推定してもよい。
【0077】
このように構成した場合、取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、移動速度として推定することにより、例えば、候補速度の個数を絞ることにより、移動速度を迅速に推定することができるので、複数の対象物を迅速に追跡することが可能となる。また、取得した位置情報に基づいて特定される1個以上の候補速度を決定することにより、例えば、複数の対象物の実際の移動速度に関連する位置情報を考慮して候補速度を決定することができるので、移動速度を適切に推定することができ、複数の対象物の追跡精度を向上させることが可能となる。
【0078】
(移動速度について(その2))
また、
図4のSA2の処理を省略した上で、例えば、対象物の移動速度を計測する計測装置を用いて、対象物の移動速度を計測し、SA3において、当該計測した移動速度を用いて位置情報を調整する処理を行ってもよい。また、例えば、対象物の移動速度を、事前の実験又はシミュレーション等の結果を用いて決定した上で、SA3において、当該決定した移動速度を用いて位置情報を調整する処理を行ってもよい。
【0079】
(計数について(その1))
また、上記実施の形態では、
図4のSA5において追跡部153が、SA4で分類した集合に属する各フレームに存在する位置情報の個数を計数し、当該集合各々において位置情報の個数の最大値を算出し、算出した最大値を相互に加算した結果を対象物の個数として算出して計数する場合について説明した、これに限らない。例えば、DBSCANに対応する手法でクラスタリングのパラメータ(例えば、いわゆる距離に対応する「ε」等)を調整、あるいは、対象物の移動の態様により、計数結果に誤りが生ないことの確認がとれる場合、分類された集合の数をそのまま対象物の個数として計数してもよい。
【0080】
(計数について(その2))
また、例えば、SA4での分類によって、属する位置情報の個数が所定数以下(例えば、所定数は「1」等)の集合が発生した場合、物体検出の手法に対応する手法にて対象物である魚以外の任意の物(一例としては、漁具等)の位置情報を誤って取得した可能を考慮して、当該集合については、対象物を計数する対象から除外してもよい。つまり、
図9の集合21については、1フレームから4フレームに1個ずつ位置情報が存在しているが、例えば、集合21については、2フレームから4フレームの位置情報が存在しておらず、1フレームのみに位置情報が存在している場合、当該集合21を対象物の個数の計数から除外して、
図9全体で6個を計数してもよい。
【0081】
(撮像部について)
また、
図2の撮像部を省略してもよい。この場合、記録部14の撮像情報について、任意の手法(例えば、メモリスティック等の記録媒体を用いて入力することにより格納する手法、あるいは、他の装置との間で通信することにより格納する手法等)で格納するように構成してもよい。
【0082】
(座標系について)
また、
図5の座標系については、ユーザが情報を入力することにより決定するように構成してもよいし、あるいは、取得部151が、自動的に決定するように構成してもよい。自動的に決定する場合については、取得部151が、記録部14の撮像情報の動画を参照して、対象物の移動方向を特定し、特定結果に基づいて座標系を決定した上で、当該座標系を基準にして位置情報を取得するように構成してもよい。
【0083】
(クラスタリングについて)
また、上記実施の形態では、DBSCANに対応する手法でクラスタリングを行う場合を例示したが、例えば、他の任意の手法で行われるクラスタリングを適用してもよい。また、上記実施の形態では、位置情報1次元(x軸方向)+時間軸(フレーム)の2次元でクラスタリングを行う場合について説明したが、これに限らない。例えば、対象物の移動方向に応じて、位置情報2次元+時間軸の3次元でクラスタリングを行うように構成してもよい。
【0084】
(リアルタイム処理について)
また、上記実施の形態では、
図2の撮像情報が格納された後に、計数処理を実行する場合について説明したが、これに限らず、動画の撮影を行いながら(つまり、撮像情報を取得しながら)リアルタイムで計数処理を実行するように構成してもよい。
【0085】
(対象物について)
また、上記実施の形態では、「対象物」が養殖用プールに移される魚である場合について説明したが、これに限らない。例えば、任意の搬送手段(例えば、ベルトコンベア等)にて搬送されて移動する荷物や物等を「対象物」として、上記実施の形態の技術を適用してもよい。
【0086】
(付記)
付記1の追跡システムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡システムであって、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、を備え、前記複数の対象物の移動速度に基づいて、前記取得手段が取得した位置情報を調整する調整手段、を更に備え、前記分類手段は、前記調整手段が調整した位置情報に基づいて、前記取得手段が取得した位置情報を複数の集合に分類する。
【0087】
付記2の追跡システムは、付記1に記載の追跡システムにおいて、前記移動速度を推定する推定手段、を備え、前記調整手段は、前記推定手段が推定した移動速度に基づいて、前記取得手段が取得した位置情報を調整する。
【0088】
付記3の追跡システムは、付記2に記載追跡システムにおいて、前記推定手段は、前記所定の手法で分類される集合の個数に関する所定のアルゴリズムに基づいて、前記移動速度を推定する。
【0089】
付記4の追跡システムは、付記2又は3に記載の追跡システムにおいて、前記推定手段は、前記取得手段が取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、前記移動速度として推定する。
【0090】
付記5の追跡システムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡システムであって、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、を備え、前記追跡手段は、前記分類手段が分類した集合に属する前記取得手段が取得した位置情報の個数に基づいて、前記追跡処理を行う。
【0091】
付記6の追跡システムは、付記1から5の何れか一項に記載の追跡システムにおいて、前記追跡手段は、前記複数の対象物を計数する処理を、前記追跡処理の少なくとも一部の処理として行う。
【0092】
付記7の追跡プログラムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡プログラムであって、コンピュータを、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、として機能させ、前記複数の対象物の移動速度に基づいて、前記取得手段が取得した位置情報を調整する調整手段、として更に機能させ、前記分類手段は、前記調整手段が調整した位置情報に基づいて、前記取得手段が取得した位置情報を複数の集合に分類する。
【0093】
付記8の追跡プログラムは、撮像領域中を1つの所定の方向に移動する複数の対象物を追跡する追跡プログラムであって、コンピュータを、経時的に変化する前記複数の対象物の位置を特定する位置情報を、複数の時間分取得する取得手段と、前記取得手段が取得した位置情報を、所定の手法で複数の集合に分類する分類手段と、前記分類手段の分類結果に基づいて、前記複数の対象物を追跡する追跡処理を行う追跡手段と、として機能させ、前記追跡手段は、前記分類手段が分類した集合に属する前記取得手段が取得した位置情報の個数に基づいて、前記追跡処理を行う。
【0094】
(付記の効果)
付記1に記載の追跡システムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。また、複数の対象物の移動速度に基づいて、取得した位置情報を調整することにより、例えば、複数の対象物の移動速度を考慮して分類することができるので、分類精度を向上させることができ、複数の対象物を確実に追跡することが可能となる。
【0095】
付記2に記載の追跡システムによれば、推定した移動速度に基づいて、取得手段が取得した位置情報を調整することにより、例えば、移動速度の実測等が不要となるので、複数の対象物を容易に追跡することが可能となる。
【0096】
付記3に記載の追跡システムによれば、所定の手法で分類される集合の個数に関する所定のアルゴリズムに基づいて、移動速度を推定することにより、例えば、移動速度を適切に推定することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【0097】
付記4に記載の追跡システムによれば、取得した位置情報に基づいて特定される1個以上の候補速度を決定し、決定した当該複数の候補速度のうちの1つの候補速度を、移動速度として推定することにより、例えば、候補速度の個数を絞ることにより、移動速度を迅速に推定することができるので、複数の対象物を迅速に追跡することが可能となる。また、取得した位置情報に基づいて特定される1個以上の候補速度を決定することにより、例えば、複数の対象物の実際の移動速度に関連する位置情報を考慮して候補速度を決定することができるので、移動速度を適切に推定することができ、複数の対象物の追跡精度を向上させることが可能となる。
【0098】
付記5に記載の追跡システムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。また、分類した集合に属する位置情報の個数に基づいて追跡処理を行うことにより、例えば、複数の対象物の位置情報を1つの集合に分類した場合でも、複数の対象物を、1つの対象物ではなく複数の対象物として追跡することができるので、複数の対象物の追跡精度を向上させることが可能となる。
【0099】
付記6に記載の追跡システムによれば、複数の対象物を計数する処理を追跡処理の少なくとも一部の処理として行うことにより、例えば、複数の対象物を確実に計数することが可能となる。
【0100】
付記7に記載の追跡プログラムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速に追跡することが可能となる。また、複数の対象物の移動速度に基づいて、取得した位置情報を調整することにより、例えば、複数の対象物の移動速度を考慮して分類することができるので、分類精度を向上させることができ、複数の対象物を確実に追跡することが可能となる。
【0101】
付記8に記載の追跡プログラムによれば、位置情報を所定の手法で複数の集合に分類した分類結果に基づいて、複数の対象物を追跡する追跡処理を行うことにより、例えば、複数の対象物について画像認識等を行って相互に個々に識別することなく、当該複数の対象物を追跡することができるので、複数の対象物を確実に追跡することが可能となる。また、例えば、画像認識等を行う必要がないので、多数の複数の対象物が比較的高速で移動している場合においても、迅速且つ確実に追跡することが可能となる。また、分類した集合に属する位置情報の個数に基づいて追跡処理を行うことにより、例えば、複数の対象物の位置情報を1つの集合に分類した場合でも、複数の対象物を、1つの対象物ではなく複数の対象物として追跡することができるので、複数の対象物の追跡精度を向上させることが可能となる。