(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1に開示された装置は、専用の装置であり、設置スペースが大きいため設置できる場所が限定されてしまう。このため、例えば、養殖場の現場によっては、装置を設置できず、計数は不可能である。また、個体数の計測を船上で行ないたいニーズもあるが、このような場所にも設置できないので計数は不可能である。
【0007】
一方、近年、カメラおよびコンピュータの小型化が進んでいるため、特許文献1に開示された個体計数装置の構成部品を小型化すれば、上述の問題は解決できるとも考えられる。しかし、装置を小型化しても、画像データから個数を計数する場合は、装置を完全に固定して、個体の検出領域および個体の移動方向を設定する必要があり、養殖場の現場や船上での個体の計数は依然として困難である。
【0008】
本発明の目的の一例は、上記問題を解消し、設置スペースを小さくでき、且つ、計数のために必要な設定を容易に行なえ得る、個体計数装置、個体計数方法、および
プログラムを提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の一側面における個体計数装置は、流路を流れる個体の数を計測するための装置であって、
前記流路を撮影可能な撮像装置から画像データを取得する、画像データ取得部と、
取得された前記画像データから、間隔をおいて前記流路に配置された2つの図形を抽出し、抽出した前記2つの図形から、前記個体の流れ方向と、前記画像データにおける前記個体の検出領域とを特定する、設定情報特定部と、
前記画像データから、特定された前記検出領域において、特定された前記流れ方向に移動する個体を抽出し、抽出した個体の数を計数する、計数部と、
を備えている、ことを特徴とする。
【0010】
また、上記目的を達成するため、本発明の一側面における個体計数方法は、流路を流れる個体の数を計測するための方法であって、
(a)前記流路を撮影可能な撮像装置から画像データを取得する、ステップと、
(b)取得された前記画像データから、間隔をおいて前記流路に配置された2つの図形を抽出し、抽出した前記2つの図形から、前記個体の流れ方向と、前記画像データにおける前記個体の検出領域とを特定する、ステップと、
(c)前記画像データから、特定された前記検出領域において、特定された前記流れ方向に移動する個体を抽出し、抽出した個体の数を計数する、ステップと、
を有する、ことを特徴とする。
【0011】
更に、上記目的を達成するため、本発明の一側面における
プログラムは、コンピュータによって、流路を流れる個体の数を計測するためのプログラ
ムであって、
前記コンピュータに、
(a)前記流路を撮影可能な撮像装置から画像データを取得する、ステップと、
(b)取得された前記画像データから、間隔をおいて前記流路に配置された2つの図形を抽出し、抽出した前記2つの図形から、前記個体の流れ方向と、前記画像データにおける前記個体の検出領域とを特定する、ステップと、
(c)前記画像データから、特定された前記検出領域において、特定された前記流れ方向に移動する個体を抽出し、抽出した個体の数を計数する、ステップと、
を実行させ
ることを特徴とする。
【発明の効果】
【0012】
以上のように、本発明によれば、設置スペースを小さくでき、且つ、計数のために必要な設定を容易に行なうことができる。
【発明を実施するための形態】
【0014】
(実施の形態)
以下、本発明の実施の形態における、個体計数装置、個体計数方法、及びプログラムについて、
図1〜
図5を参照しながら説明する。
【0015】
[装置構成]
最初に、本実施の形態における個体計数装置の概略構成について
図1を用いて説明する。
図1は、本発明の実施の形態における個体計数装置の概略構成を示すブロック図である。
【0016】
図1に示す本実施の形態における個体計数装置10は、流路を流れる個体の数を計測する装置である。
図1に示すように、個体計数装置10は、画像データ取得部11と、設定情報特定部12と、計数部13とを備えている。
【0017】
画像データ取得部11は、流路を撮影可能な撮像装置から画像データを取得する。設定情報特定部12は、取得された画像データから、間隔をおいて流路に配置された2つの図形を抽出し、抽出した2つの図形から、個体の流れ方向と、画像データにおける個体の検出領域とを特定する。計数部13は、画像データから、特定された検出領域において、特定された流れ方向に移動する個体を抽出し、抽出した個体の数を計数する。
【0018】
このように、個体計数装置10によれば、装置内に流路を設ける必要が無く、装置の外部の流路を流れる個体を計数できるので、設置スペースを小さくできる。更に、個体計数装置10では、画像データから抽出できた図形から計数に必要な情報を特定できる。従って、個体計数装置10によれば、計数のために必要な設定を容易に行なうことが可能となる。
【0019】
ここで、
図2及び
図3を用いて、本実施の形態における個体計数装置の具体的構成について説明する。
図2は、本発明の実施の形態における個体計数装置の具体的構成を示すブロック図である。
図3は、本実施の形態における個体計数装置の計測対象の一例を示す図である。
【0020】
図2に示すように、本実施の形態においては、個体計数装置10は、情報端末装置100に備えられている。具体的には、個体計数装置10は、情報端末装置100に組み込まれているオペレーティングシステム(OS)上に、プログラムによって構築されている。なお、プログラムについては後述する。
【0021】
また、
図2に示すように、情報端末装置100は、撮像装置30と、記憶装置40と、表示装置50とを備えている。情報端末装置100の具体例としては、スマートフォン、タブレット型端末等が挙げられる。
【0022】
撮像装置30は、レンズ、撮像素子、及び出力回路等を備え、ユーザの操作に応じて被写体を撮影し、被写体の画像データを出力する。また、撮像装置30は、動画撮影時においては、画像データを設定間隔で連続して出力する。記憶装置40は、撮像装置30によって出力された画像データを格納する。表示装置50は、液晶表示パネル、有機EL(Electro Luminescence)パネル等である。
【0023】
従って、本実施の形態では、ユーザが、情報端末装置100を保持した状態で、撮像装置30のレンズを流路に向けることで、
図3に示す流路60の撮影が行なわれる。これにより、
図3に示すように、情報端末装置100に構築された個体計数装置10は、流路60を流れる魚80の数を計測する。
【0024】
本実施の形態では、流路60は、外部から魚80を撮影できるように、透明な管状の部材で形成されている。そして、2つの図形70及び71が、流路60の長手方向に沿って間隔を置いて配置されている。
【0025】
また、図形70及び図形71は、それぞれが2次元コードであり、一方または両方は、流体の流れ方向を特定する第1の情報と、流れ方向に垂直な方向(幅方向)における検出領域90の長さを特定する第2の情報とを含む。
【0026】
具体的には、図形70及び図形71は、QRコード(登録商標)であり、各QRコードは、それぞれ第1の情報と第2の情報とを含んでいる。また、第2の情報において、幅方向における検出領域90の長さは、画像データ上でのピクセル数で表現される。
【0027】
設定情報特定部12は、本実施の形態では、第1の情報から、流路60を流れる魚80の流れ方向を特定する。また、設定情報特定部12は、第2の情報と、2つのQRコード(図形70及び71)の位置とから検出領域90を特定する。
【0028】
具体的には、設定情報特定部12は、図形70及び71の位置から検出領域90の両端の位置を特定し、図形70と図形71との間隔から検出領域90の長手方向におけるピクセル数を特定する。また、設定情報特定部12は、第2の情報から検出領域90の幅方向におけるピクセル数を特定する。そして、設定情報特定部12は、第1の情報から、検出領域90における検出対象(魚80)の移動方向を特定する。
【0029】
また、
図2に示すように、本実施の形態では、個体計数装置10は、焦点制御部14を更に備えている。焦点制御部14は、撮像装置30の焦点の位置を2つの図形70及び71に設定する。具体的には、焦点制御部14は、画像データ取得部11で取得された画像データから、図形70及び71として予め与えられている特徴量を抽出し、特徴量が抽出された領域に焦点が設定されるように、撮像装置30に対して指示を行なっている。
【0030】
計数部13は、本実施の形態では、画像データから、検出領域90に存在し、且つ、特定した流れ方向に移動する魚80の画像を抽出する。このとき、計数部13は、既存の物体追跡技術を利用することで、魚80の画像を追跡する。そして、計数部13は、追跡対象となった魚80の画像が検出領域90の外に移動すると、個体数を1増加させ、計数結果を記憶装置40に格納する。
【0031】
また、本実施の形態において利用可能な物体追跡技術としては、追跡対象の特徴分布を利用して追跡を行なう技術、追跡対象を含むテンプレートで区切られた領域のマッチングによって追跡を行なう技術が挙げられる。
【0032】
[装置動作]
次に、本発明の実施の形態における個体計数装置10の動作について
図4を用いて説明する。
図4は、本発明の実施の形態における個体計数装置の動作を示すフロー図である。以下の説明においては、適宜
図1〜
図3を参酌する。また、本実施の形態では、個体計数装置10を動作させることによって、個体計数方法が実施される。よって、本実施の形態における個体計数方法の説明は、以下の個体計数装置10の動作説明に代える。
【0033】
まず、前提として、ユーザが、個体計数装置10を起動し、情報端末装置100を保持した状態で、撮像装置30のレンズを流路60に向ける。また、ユーザは、2つの図形70及び71が撮影領域に入るようにした状態で、撮影を開始する。この状態で、以下の各ステップが実行される。
【0034】
図4に示すように、最初に、画像データ取得部11は、記憶装置40にアクセスし、記憶装置40に格納されている画像データを1フレーム分取得する(ステップA1)。また、画像データ取得部11は、取得した画像データを設定情報特定部12に入力する。
【0035】
次に、設定情報特定部12は、ステップA1で取得された画像データから、図形70及び71を抽出し、更に、抽出した図形70及び71の位置を特定すると共に、図形70及び71に含まれる第1の情報及び第2の情報を特定する(ステップA2)。
【0036】
次に、設定情報特定部12は、ステップA2で特定した図形70及び71の位置、第1の情報、及び第2の情報に基づいて、流路60を流れる魚80の流れ方向と、検出領域90の位置と、検出領域90の大きさとを特定する(ステップA3)。
【0037】
次に、計数部13は、検出領域90において、ステップA3で特定された流れ方向に移動する魚80を抽出する(ステップA4)。具体的には、計数部13は、物体追跡技術を用いて、前回のフレームの画像データを参照しながら、検出領域90に存在して、特定した流れ方向に移動する魚80の画像を抽出する。
【0038】
次に、計数部13は、ステップA4で抽出した魚80の数を計数する(ステップA5)。具体的には、計数部13は、ステップA4で抽出された魚80が検出領域90の外に移動すると、個体数を1増加させ、記憶装置40に格納されている計数結果を更新する。
【0039】
次に、焦点制御部14は、焦点位置の調整が必要かどうかを判定する(ステップA6)。具体的には、焦点制御部14は、画像データの焦点が図形70及び71に一致しておらず、上記ステップA2〜A4のいずれかが実行できなかった場合、又は実行が不十分であった場合は、焦点位置の調整が必要であると判定する。
【0040】
ステップA6の判定の結果、焦点位置の調整が必要な場合は、焦点制御部14は、撮像装置30に対して焦点位置の調整を実行させる(ステップA7)。その後、ステップA8が実行される。一方、ステップA6の判定の結果、焦点位置の調整が必要でない場合は、ステップA7はスキップされ、ステップA8が実行される。
【0041】
ステップA8では、画像データ取得部11は、ユーザから処理の終了が指示されているかどうかを判定する。ステップA8の判定の結果、ユーザから処理の終了が指示されている場合は、個体計数装置10における処理は終了する。一方、ステップA8の判定の結果、ユーザから処理の終了が指示されていない場合は、画像データ取得部11は、再度ステップA1を実行し、新しいフレームの画像データを取得する。
【0042】
[実施の形態における効果]
以上のように本実施の形態では、情報端末装置100に内蔵された撮像装置30のレンズを流路60に向けるだけで、簡単に、流路60を流れる魚80の個数を計測することができる。また、ユーザは、撮影の際、検出領域及び検出対象を指定する必要がなく、撮影範囲に図形70及び71が入るようにするだけで良い。本実施の形態における個体計数装置10によれば、計数のために必要な設定を容易に行なうことが可能となる。
【0043】
また、流路60の背景に別の物体が存在する可能性がある。この場合、本実施の形態では、流路60は透明な部材で形成されているため、魚80の検出に悪影響が生じる可能性がある。このため、本実施の形態では、流路60は、色彩が一様な場所に設置するか、流路60の背景に白色の板状の部材が配置されているのが好ましい。
【0044】
[変形例]
上述した例では、2つの図形70及び71として、QRコードが用いられているが、本実施の形態は、この態様に限定されるものではない。本実施の形態では、図形70及び71は、個体の流れ方向と、画像データにおける個体の検出領域90とを特定できるものであれば良く、例えば、星形、円形、三角形、といった単純な図形であっても良い。例えば、一方の図形が星形又は円形であり、他方の図形が三角形である場合は、三角形の図形の頂点の向きで、流れ方向の特定が可能となる。
【0045】
また、上述の場合は、流路60を色彩が施された半透明の部材で形成し、流路60の背景として、流路60と全く異なる色彩の部材を配置すれば良い。これにより、設定情報特定部12は、一方の図形と他方の図形との間に位置する、流路の色彩が施されている領域を、検出領域として特定できるので、計数部13は、個体の計数を行なうことができる。
【0046】
また、流路60の背景の色彩と流路60の色彩との区別ができない場合であっても、2つの図形の幅方向における長さと、この長さと流路60の幅方向における長さとの比率とが、予め登録されていれば良い。この場合、設定情報特定部12は、2つの図形の幅方向のピクセル数と、上記の比率とから、検出領域90の幅方向におけるピクセル数を特定できるので、検出領域90を特定できる。なお、検出領域90の位置と、検出領域90の長手方向におけるピクセル数とは、
図2及び
図3の例と同様にして特定できる。
【0047】
また、
図3の例では、流路60を流れる個体が魚80の場合について説明しているが、本実施の形態において計数の対象となる個体は、魚80に限定されるものではない。計数の対象としては、魚(魚類)以外にも、甲殻類、貝類も挙げられる。また、計数の対象は、流体中を流れ、且つ、視認できるものであれば良く、生物以外のものであっても良い。
【0048】
[プログラム]
本実施の形態におけるプログラムは、情報端末装置100、即ち、コンピュータに、
図4に示すステップA1〜A8を実行させるプログラムであれば良い。このプログラムを情報端末装置100にインストールし、実行することによって、本実施の形態における個体計数装置10と個体計数方法とを実現することができる。この場合、情報端末装置100のCPU(Central Processing Unit)は、画像データ取得部11、設定情報特定部12、計数部13及び焦点制御部14として機能し、処理を行なう。
【0049】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像データ取得部11、設定情報特定部12、計数部13及び焦点制御部14のいずれかとして機能しても良い。
【0050】
[物理構成]
ここで、本実施の形態におけるプログラムを実行することによって、個体計数装置10を実現する情報端末装置100について
図5を用いて説明する。
図5は、本発明の実施の形態における個体計数装置を実現するコンピュータの一例を示すブロック図である。
【0051】
図5に示すように、情報端末装置100は、コンピュータであり、CPU101と、メインメモリ102と、フラッシュメモリ(記憶装置)103と、入力インターフェイス104と、表示コントローラ105と、タッチパネル106と、表示パネル(表示装置)107と、撮像装置108と、を備える。これらの各部は、バス109を介して、互いにデータ通信可能に接続される。
【0052】
CPU101は、フラッシュメモリ103に格納された、本実施の形態におけるプログラム(コード)をメインメモリ102に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ102は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。
【0053】
また、入力インターフェイス104は、CPU101と、タッチパネル106との間のデータ伝送を仲介する。表示コントローラ105は、表示パネル107と接続され、表示パネル107での表示を制御する。
【0054】
また、本実施の形態におけるプログラムは、例えば、コンピュータ読み取り可能な記録媒体に格納された状態で提供される。また、本実施の形態におけるプログラムは、インターネット上で送信されてくるものであっても良い。記録媒体の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD−ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
【0055】
なお、本実施の形態における情報端末装置100は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、情報端末装置100は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【0056】
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記9)によって表現することができるが、以下の記載に限定されるものではない。
【0057】
(付記1)
流路を流れる個体の数を計測するための装置であって、
前記流路を撮影可能な撮像装置から画像データを取得する、画像データ取得部と、
取得された前記画像データから、間隔をおいて前記流路に配置された2つの図形を抽出し、抽出した前記2つの図形から、前記個体の流れ方向と、前記画像データにおける前記個体の検出領域とを特定する、設定情報特定部と、
前記画像データから、特定された前記検出領域において、特定された前記流れ方向に移動する個体を抽出し、抽出した個体の数を計数する、計数部と、
を備えている、ことを特徴とする個体計数装置。
【0058】
(付記2)
前記撮像装置の焦点の位置を前記2つの図形に設定する、焦点制御部を、更に備えている、
付記1に記載の個体計数装置。
【0059】
(付記3)
前記2つの図形それぞれが2次元コードであり、
前記2つの2次元コードの一方または両方は、前記流体の流れ方向を特定する第1の情報と、前記流れ方向に垂直な方向における前記検出領域の長さを特定する第2の情報とを含み、
前記設定情報特定部は、前記第1の情報から前記流れ方向を特定し、前記第2の情報と前記2つの2次元コードの位置とから前記検出領域を特定する、
付記1または2に記載の個体計数装置。
【0060】
(付記4)
流路を流れる個体の数を計測するための方法であって、
(a)前記流路を撮影可能な撮像装置から画像データを取得する、ステップと、
(b)取得された前記画像データから、間隔をおいて前記流路に配置された2つの図形を抽出し、抽出した前記2つの図形から、前記個体の流れ方向と、前記画像データにおける前記個体の検出領域とを特定する、ステップと、
(c)前記画像データから、特定された前記検出領域において、特定された前記流れ方向に移動する個体を抽出し、抽出した個体の数を計数する、ステップと、
を有する、ことを特徴とする個体計数方法。
【0061】
(付記5)
(d)前記撮像装置の焦点の位置を前記2つの図形に設定する、ステップを、更に有している、
付記4に記載の個体計数方法。
【0062】
(付記6)
前記2つの図形それぞれが2次元コードであり、
前記2つの2次元コードの一方または両方は、前記流体の流れ方向を特定する第1の情報と、前記流れ方向に垂直な方向における前記検出領域の長さを特定する第2の情報とを含み、
前記(b)のステップにおいて、前記第1の情報から前記流れ方向を特定し、前記第2の情報と前記2つの2次元コードの位置とから前記検出領域を特定する、
付記4または5に記載の個体計数方法。
【0063】
(付記7)
コンピュータによって、流路を流れる個体の数を計測するためのプログラ
ムであって、
前記コンピュータに、
(a)前記流路を撮影可能な撮像装置から画像データを取得する、ステップと、
(b)取得された前記画像データから、間隔をおいて前記流路に配置された2つの図形を抽出し、抽出した前記2つの図形から、前記個体の流れ方向と、前記画像データにおける前記個体の検出領域とを特定する、ステップと、
(c)前記画像データから、特定された前記検出領域において、特定された前記流れ方向に移動する個体を抽出し、抽出した個体の数を計数する、ステップと、
を実行させ
るプログラ
ム。
【0064】
(付記8)
前記コンピュータに、
(d)前記撮像装置の焦点の位置を前記2つの図形に設定する、ステップを、更に実行させる、
付記7に記載の
プログラム。
【0065】
(付記9)
前記2つの図形それぞれが2次元コードであり、
前記2つの2次元コードの一方または両方は、前記流体の流れ方向を特定する第1の情報と、前記流れ方向に垂直な方向における前記検出領域の長さを特定する第2の情報とを含み、
前記(b)のステップにおいて、前記第1の情報から前記流れ方向を特定し、前記第2の情報と前記2つの2次元コードの位置とから前記検出領域を特定する、
付記7または8に記載の
プログラム。
【0066】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0067】
この出願は、2016年3月25日に出願された日本出願特願2016−061565を基礎とする優先権を主張し、その開示の全てをここに取り込む。