特開 2022-32975 魚体長計測装置および魚体長計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022032975

(43)【公開日】2022-02-25

(54)【発明の名称】魚体長計測装置および魚体長計測方法

(51)【国際特許分類】

   G01B 11/02 20060101AFI20220217BHJP

   G06T 7/60 20170101ALI20220217BHJP

【ＦＩ】

G01B11/02 H

G06T7/60 180B

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021114090

(22)【出願日】2021-07-09

(31)【優先権主張番号】20190637.7

(32)【優先日】2020-08-12

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100204825

【弁理士】

【氏名又は名称】渡辺 健一

(72)【発明者】

【氏名】池上 温史

(72)【発明者】

【氏名】中村 悟史

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA06

2F065AA21

2F065CC16

2F065DD06

2F065FF04

2F065FF05

2F065JJ05

2F065JJ19

2F065JJ26

2F065QQ24

2F065QQ25

2F065QQ29

2F065QQ31

2F065QQ42

2F065RR03

5L096BA03

5L096BA08

5L096CA05

5L096CA17

5L096DA02

5L096FA64

5L096FA66

5L096FA69

5L096HA05

(57)【要約】

【課題】単体魚の正確な尾叉長を計算する魚体長計測装置を提供する。
【解決手段】複数の画像を時系列に撮影するカメラシステム１０５と、複数の画像上の魚を検出する魚検出部１１０と、検出された魚の部位を複数の画像から検出する部位検出部１２０と、複数の画像上で検出された魚のうちの同一の魚を追跡する追跡部１３０と、追跡された同一の魚の体長を計算する体長計算部１６０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の画像を時系列に撮影するカメラシステムと、
前記複数の画像上の魚を検出する魚検出部と、
前記検出された魚の部位を前記複数の画像から検出する部位検出部と、
前記複数の画像上で検出された魚のうちの同一の魚を追跡する追跡部と、
前記追跡された同一の魚の体長を計算する体長計算部と、を備える、
ことを特徴とする魚体長計測装置。

【請求項2】

請求項１に記載の魚体長計測装置において、
前記複数の画像上で前記カメラシステムと前記追跡された同一の魚の部位との間のカメラ部位間距離を計算する距離計算部と、
前記追跡された同一の魚のカメラ部位間距離に基づいて、同一の魚が追跡された複数の画像の中から、前記追跡された同一の魚の画像を選択する画像選択部と、を備え、
前記体長計算部は、前記選択された画像から前記追跡された同一の魚の体長を計算する、
ことを特徴とする魚体長計測装置。

【請求項3】

請求項２に記載の魚体長計測装置において、
前記画像選択部は、
前記同一の魚を追跡した複数の画像の中から、カメラ部位間距離が最大の他の画像よりもカメラ部位間距離が小さく、カメラ部位間距離が最小の他の画像よりもカメラ部位間距離が大きい、中間距離にある中間画像を探索し、
前記中間画像を選択画像として設定する、
ことを特徴とする魚体長計測装置。

【請求項4】

請求項３に記載の魚体長計測装置において、
前記画像選択部は、複数の中間画像を発見した場合に、複数の中間画像の中から、カメラ部位間距離が中央距離にある画像を選択画像として選択する、
ことを特徴とする魚体長計測装置。

【請求項5】

請求項３に記載の魚体長計測装置において、
前記画像選択部は、複数の中間画像を発見した場合に、複数の中間画像の中から、カメラ部位間距離が平均距離に最も近い画像を選択画像として選択する、
ことを特徴とする魚体長計測装置。

【請求項6】

請求項３に記載の魚体長計測装置において、
前記画像選択部は、複数の中間画像を発見した場合に、複数の中間画像の中から、時間が平均時間に最も近い画像を選択画像として選択する、
ことを特徴とする魚体長計測装置。

【請求項7】

請求項１ないし６の何れか一項に記載の魚体長計測装置において、
前記部位検出部は、魚の口よりも尾に近い部分を部位として検出する、
ことを特徴とする魚体長計測装置。

【請求項8】

請求項１ないし７の何れか一項に記載の魚体長計測装置において、
前記部位検出部は、魚の尾の部分を部位として検出する、
ことを特徴とする魚体長計測装置。

【請求項9】

請求項１ないし８の何れか一項に記載の魚体長計測装置において、
前記カメラシステムによって撮影された複数の画像間の時間間隔が、前記魚検出部が魚を検出したときには減少し、前記魚検出部が魚を検出しないときには増加するように制御する、撮影頻度制御部を備える、
ことを特徴とする魚体長計測装置。

【請求項10】

請求項９に記載の魚体長計測装置において、
前記魚検出部が魚を検出すると、前記撮影頻度制御部は、
前記カメラ部位間距離から周波数成分を算出し、
前記周波数成分に基づいて前記時間間隔を制御する、
ことを特徴とする魚体長計測装置。

【請求項11】

請求項１０に記載の魚体長計測装置において、
前記撮影頻度制御部は、前記時間間隔に対応するサンプリング周波数が少なくとも前記周波数成分の２倍になるように前記時間間隔を制御する、
ことを特徴とする魚体長計測装置。

【請求項12】

請求項１に記載の魚体長計測装置において、
前記追跡された同一の魚の部位の複数の画像上での位置を計算し、追跡された同一の魚の部位の位置に最も適合するラインを計算する部位位置計算部と、
部位とラインとの相対位置に基づいて、同一の魚が追跡された複数の画像の中から、前記追跡された同一の魚の画像を選択する画像選択部と、を備え、
前記体長計算部は、前記選択された画像から前記追跡された同一の魚の体長を計算する、
ことを特徴とする魚体長計測装置。

【請求項13】

請求項１２に記載の魚体長計測装置において、
前記画像選択部は、部位の位置がラインから所定距離未満である複数の画像の中から、前記追跡された同一の魚の画像を選択する、
ことを特徴とする魚体長計測装置。

【請求項14】

請求項１２または１３に記載の魚体長計測装置において、
前記画像選択部は、部位の位置がラインに最も近い複数の画像の中から、追跡された同一の魚の画像を選択する、
ことを特徴とする魚体長計測装置。

【請求項15】

複数の画像を時系列に取り込み、
前記複数の画像上の魚の検出し、
前記複数の画像上で検出された魚の部位を検出し、
前記複数の画像上で検出された魚のうちの同一の魚を追跡し、
前記追跡された同一の魚の体長を計算する、
ことを特徴とする魚体長計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、魚体長を計測する技術分野に関する。特に、ステレオカメラを用いて撮影された複数の画像から体長算出用の画像を選択し、魚体長を算出する装置に関する。

【背景技術】

【0002】

背景技術の説明は、本発明を理解するのに有用な情報を含む。本明細書で提供される情報のいずれかが先行技術または権利しようとしている発明に関連していること、または、特定的にあるいは暗黙的に参照される刊行物が先行技術であることを認めるものではない。

【0003】

水産養殖業は、魚類、軟体動物、甲殻類、水生植物を含む水生生物の生産と、その生活環の全部または一部のための管理された条件下での淡水および海洋の植物および動物の生産に関係する。養殖を成功させるためには、給餌コスト、労働作業、魚の数、魚体長に関する情報をチェックする必要がある。

【0004】

したがって、魚に直接触れることなく魚体長を測定できるような技術が求められている。

【0005】

魚体長を計測することは、生簀内の魚類の成長を調節するのに役立つ。魚量は、バイオマスを測定することにより行う。バイオマスを計算するために、魚の数と重量を用いる技術が確立されている。

【0006】

ここでは魚体重が重要な要素であり、「尾叉長」 (魚体長)と「体高」 (魚の高さ)測定の正確さにかかっている。魚体重は式（１）により計算され、５％以下の誤差が必要であるといわれている。
魚体重＝α×尾叉長^３ ・・・ （１）

【0007】

「尾叉長」を計算する際の誤差は２％以下に収めるべきであることが明らかとなっている。そこで、本発明は、「尾叉長」を２％以下の誤差で測定することができる装置を提供することを目的とする。

【0008】

従来の方法では、魚の長さは、ステレオカメラシステムを用いて測定される。

【0009】

従来の手法は、以下で構成されている。
・数匹の魚の尾叉長を測定し平均値を算出
・得られた平均値を尾叉長の真の値とみなす

【発明の概要】

【発明が解決しようとする課題】

【0010】

しかしながら、従来技術にはいくつかの問題があった。図９（ａ） (従来技術) を参照すると、尾叉長の測定値９２は常に尾叉長の真値９１以下であるため、測定値の平均値は真値とはならず、尾叉長測定誤差は一般的に２％を超える。また、テールビート運動のため、尾叉長測定誤差は２％以上となる。

【0011】

従来技術の測定誤差は、式（２）で求められる。
測定誤差＝偶然誤差＋系統誤差 ・・・ （２）
図９（ｂ）（先行技術）を参照すると、従来の方法は、尾叉長測定値の平均値を計算することによって偶然誤差を算出できるが、系統誤差を算出できない。このため尾叉長の真値は正確に計算できない。

【0012】

単体魚の正確な尾叉長を計算するという課題は、本発明によって解決される。

【0013】

従来技術では、フレームレート＞テールビート周波数×２のようなフレームレートで画像を取り込むことによりオーバーサンプリングを行う。

【0014】

既知の技術において、オーバーサンプリングはシステムに重いプロセス負荷を発生させる。

【0015】

この課題は、本発明において、アンダーサンプリングまたはオーバーサンプリングのいずれかで単体魚をサンプリングするプロセス、および魚検出時にフレームレートの動作モードを変更する技術によって解決される。

【0016】

本発明は、ステレオカメラを用いて、特定の時間間隔で複数の画像を連続して撮影することを特徴とする。本発明は、魚が曲がっていない画像を抽出する技術を提案する。これは、各フレームのカメラ尾部間距離を測定し、カメラ尾部間距離が最大値と最小値との間の中間距離にあるフレームを抽出することによって達成される。

【0017】

本発明は、テールビート周波数の推定から魚を検出したときのフレームレートの動作モードに対するフレームレートの計算を提供する。このようなアプローチは、システムの負荷を軽減する。

【課題を解決するための手段】

【0018】

既存の発明の1つまたは複数の欠点に対する解決策、および追加の利点が本開示において提供される。さらなる特徴および利点は、本開示の技術的特徴によって実現される。本開示の他の実施形態および態様は、本明細書に詳細に記載され、請求項に係る開示の一部であると考えられる。

【0019】

本発明は、カメラシステムと、魚検出部と、部位検出部と、追跡部と、体長計算部とを含む魚体長計測装置に関する。カメラシステムは、複数の画像を時系列に撮影する。魚検出部は、複数の画像上の魚を検出し、部位検出部は、複数の画像上で検出された魚の部位を検出する。追跡部は、複数の画像上で検出された魚のうちの同一の魚を追跡する。体長計算部は、追跡された同一の魚の体長を計算する。

【0020】

本発明の一態様では、距離計算部は、複数の画像上で、カメラシステムと追跡された同一の魚の部位との間のカメラ部位間距離を計算する。画像選択部は、同一の魚が追跡された複数の画像の中から、追跡された同一の魚のカメラ部位間距離に基づいて、追跡された同一の魚の画像を選択する。体長計算部は、選択された画像から追跡された同一の魚の体長を計算する。

【0021】

本発明の画像選択部は、同一の魚を追跡した複数の画像のうち、カメラ部位間距離が中間距離であり、カメラ部位間距離が最大である他の画像よりも中間距離が小さく、カメラ部位間距離が最小である他の画像よりも中間距離が大きい中間画像を検索し、その中間画像を選択画像とする。

【0022】

好ましくは、画像選択部は、複数の中間画像を発見した場合に、複数の中間画像の中から、カメラ部位間距離が中央距離にある画像を選択画像として選択する。

【0023】

好ましくは、画像選択部は、複数の中間画像を発見した場合に、複数の中間画像の中から、カメラ部位間距離が平均距離に最も近い画像を選択画像として選択する。

【0024】

好ましくは、画像選択部は、複数の中間画像を発見した場合に、複数の中間画像のうち、時間が平均時間に最も近い画像を選択画像として選択する。

【0025】

本発明の一態様では、部位検出部は、部位として、魚の口よりも尾に近い部分を検出する。

【0026】

本発明の別の態様では、部位検出部は、部位として、魚の尾の部分を検出する。

【0027】

本発明の一態様では、撮影頻度制御部は、カメラシステムによって撮影された複数の画像の間の時間間隔を制御するように構成され、この時間間隔は、魚検出部が魚を検出するときに減少し、魚検出部が魚を検出しないときに増加する。

【0028】

好ましくは、魚検出部が魚を検出する場合、撮影頻度制御部は、カメラ部位間距離から周波数成分を算出し、周波数成分に基づいて時間間隔を制御する。

【0029】

本発明のさらに別の態様では、撮影頻度制御部は、時間間隔に対応するサンプリング周波数が少なくとも周波数成分の２倍になるように、時間間隔を制御する。

【0030】

本発明の一態様では、部位位置算出部は、複数の画像上における追跡対象の同一の魚の部位の位置を算出し、追跡対象の同一の魚の部位の位置に最も適合するラインを算出する。画像選択部は、同一の魚が追跡された複数の画像の中から、部位とラインとの相対位置に基づいて、追跡された同一の魚の画像を選択する。体長計算部は、選択された画像から追跡された同一の魚の体長を計算する。

【0031】

本発明の一態様において、前記画像選択部は、前記部位の位置が前記ラインから所定距離未満である複数の画像の中から、追跡された同一の魚の画像を選択する。

【0032】

本発明の一態様では、画像選択部は、部位の位置がラインに最も近い複数の画像の中から、追跡された同一の魚の画像を選択する。

【0033】

本発明の一態様では、部位検出部は、部位として、魚の口よりも尾に近い部分を検出する。

【0034】

本発明の一態様では、部位検出部は、部位として、魚の尾の部分を検出する。

【0035】

本発明の一態様では、撮影頻度制御部は、カメラシステムによって撮影された複数の画像の間の時間間隔を制御し、この時間間隔は、魚検出部が魚を検出するときに減少し、魚検出部が魚を検出しないときに増加する。

【0036】

本発明の他の態様によれば、複数の画像を時系列に取り込み、複数の画像上で魚を検出し、複数の画像上で検出された魚の部位を検出することを含む方法に関する。さらに、複数の画像上で検出された魚のうちの同一の魚を追跡することを含む。その後、追跡された同一の魚の体長を計算することを含む。

【0037】

上記の要約は、例示のみであり、いかなる点においても限定することを意図していない。上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および以下の詳細な説明を参照することによって明らかになるであろう。

【発明の効果】

【0038】

本発明は、複数枚の写真を撮影し、魚が曲がっていない写真の中から１枚を選択し、選択した写真から魚の大きさを算出することにより、ステレオカメラシステムを用いて魚の大きさを正確に算出する装置を提供する。

【図面の簡単な説明】

【0039】

図面は、本発明の典型的な実施形態のみを示しており、その範囲を限定するために考慮されるべきではないことに留意されたい。詳細な説明については、図面を参照して説明する。図において、参照番号は、参照番号が最初に現れる図を識別する。特徴やコンポーネントなどを参照するために、図面全体で同じ番号が使用されている。本発明の実施形態によるシステム、方法、または構造のいくつかの実施形態の一例として、図面を参照して説明する。

【図1】本発明の構造的特徴を示すブロック図である。

【図2】カメラ尾部間距離を計算する手順の一例を示すフローチャートである。

【図3】経時的なカメラ尾部間距離測定値のグラフ表示を示す。

【図4】出力として採用されたストロボの尾叉長計算のグラフ表示を示す。

【図5】尾叉長を測定する手順の一例を示すフローチャートである。

【図6】カメラ尾部間距離に関連するフレーム抽出のグラフ表示を示す。

【図7】２つの異なる状態におけるフレームレート制御のグラフ表示を示す図である。

【図8】フレームレートを制御する一例を示すフローチャートである。

【図9】従来技術による問題点を示す。

【図10】本発明の別の実施形態の構造的特徴を示すブロック図である。

【図11】経時的な尾部の位置がプロットされる例を示す。

【0040】

図面は、例示のみを目的として、本発明の実施形態を示す。当業者は、本明細書に記載された開示の原理から逸脱することなく、本明細書に図示された構造および方法の代替的な実施形態が使用され得ることを、以下の説明から容易に認識するであろう。

【発明を実施するための形態】

【0041】

図１、図２、図５は、魚体長を計測する装置が示されている。本実施形態では、装置は、ステレオカメラ１０５，２０５ａおよび２０５ｂ，５０５ａおよび５０５ｂと、魚検出部１１０，２１０，５１０と、部位検出部１２０，２２０ａ，５２０ａと、追跡部１３０，２３０，５３０と、距離計算部１４０，２４０，５４０と、画像選択部１５０と、体長計算部１６０，５６０とを含む。

【0042】

本発明の一実施形態では、カメラシステムとも呼ばれることがあるステレオカメラ１０５，２０５ａ，２０５ｂ，５０５ａ，５０５ｂは、一対の画像２０５ｃ，５０５ｃを時系列に撮影する。第１カメラ２０５ａ，５０５ａと第２カメラ２０５ｂ，５０５ｂは、魚に対向するステレオカメラを構成し、時刻ｔ_１ではペア１、時刻ｔ_２ ではペア２、・・・時刻ｔ_ｎではペアｎの一対の画像を直列に撮影する。例えば汎用入出力（ＧＰＩＯ）同期、バス・タイムスタンプ同期、音声信号同期、または従来行われてきた同様の方法を用いて同期を行う。

【0043】

魚検出部１１０，２１０，５１０は、複数の画像２０５ｃ，５０５ｃ上で魚を検出するタスクを実行するように構成される。魚は、各画像上で検出され、例えば、以下のいずれかの方法で表されるが、これに限定されるものではない。
・単体魚を囲む長方形の領域により検出された魚の存在を示す。
・長方形の領域の代わりに、充填された領域も従来通り使用される。
魚の検出は、従来から回路またはカメラを処理することによって行われている。従来の点検出法を使用することにより、機械学習、特徴点検出、エッジ検出技術のような魚を検出するタスクを実行する。

【0044】

部位検出部１２０，２２０ａ，５２０ａは、尾部検出部とも呼ばれ、複数のペア画像２０５ｃ上のペア魚の各魚の尾部などの部位を検出し、対画像上の各部位の２次元位置を決定する。部位（好ましくは尾部）は、ステップ２２０ａにおいて太字の点で示される。本発明においては、これに限定されるものではなく、ペア画像上で検出された魚の尾部（好ましくは口より尾に近い）に近い部位も本発明の目的上考慮することができる。機械学習機能の有無にかかわらず、特徴点検出、エッジ検出など、使用可能ないくつかの従来の点検出方法がある。

【0045】

ペアリング部２２０ｂ，５２０ｂは、各ペア画像２０５ｃ上で魚をペアリングする。ペアの画像のそれぞれに対応する尾部（つまり、部位）をペアにする。ブロックマッチングのような、機械学習機能を伴う、または伴わない使用可能ないくつかの従来のペアリング方法があることは明らかである。

【0046】

本発明では、魚検出部とペアリング部との実行順序に制限はなく、これらの実行順序を交換することができる。

【0047】

追跡部１３０，２３０，５３０は、単体魚追跡部として機能し、時系列に撮影された一対の画像の中のペアの魚を追跡する。追尾部１３０，２３０，５３０は、魚検出部１１０，２１０，５１０または部位検出部１２０，２２０ａの出力を入力し、これらによって検出された検出対象を追尾する。追尾部１３０，２３０，５３０は、時刻ｔ_ｎに撮影されたペアの魚と時刻ｔ_ｎ＋１に撮影されたペアの魚とが同一の魚であるか否かを知るために、魚を時間的に追尾することを目的とする。追尾部１３０，２３０，５３０は、魚をターゲットとみなし、長方形の一部、塗りつぶされた輪郭、または点などのさまざまな方法でターゲットを表す。

【0048】

追尾部１３０，２３０，５３０は、他のフレームで検出された魚を次のようなさまざまな方法で比較する。
ａ）次のような文献に示された従来の魚追跡アルゴリズムを適用。
・DIDSON-based Acoustic Counting Method for Juvenile Ayu Plecoglossus altivelis Migrating Upstream by Jun HAN et. al.
・Particle Filter-Based Predictive Tracking for Robust Fish Counting by Erikson Morais et. al.
ｂ）テンプレートマッチング、点特徴マッチングなどに古典的な画像マッチングアルゴリズムを適用。

【0049】

距離計算部１４０，２４０，５４０は、複数の画像上で、カメラ１０５，２０５ａおよび２０５ｂ，５０５ａおよび５０５ｂと追跡された同一の魚の部位（好ましくは尾部）との間のカメラ部位間距離の計算を実行する。

【0050】

本発明の目的は、魚が体を曲げていない時刻ｔの時点でストロボを抽出することである。ストロボは、当業者には、カメラによる画像の撮影を可能にする光のバーストとして理解されるべきである。図３、図４の３４０，４４０は、時間の経過に伴うカメラ尾部間距離を図示している。異なるストロボ、例えばストロボ１、ストロボ２、ストロボ３が描かれ、カメラと尾部との間の距離がＸ軸上の異なる時間ｔで表される。ペア画像上の尾部の２次元位置と三角測量技術を用いて尾部の３次元位置を計算し、尾部とカメラとの間の距離を計算することにより、各フレーム（各ストロボは、写真を撮影するフレームと見なされる）上のカメラ尾部間距離を測定する。

【0051】

画像選択部１５０は、カメラ尾部間距離が最大値と最小値との間の中間距離４４０ａにあるフレームを抽出する。抽出されたフレームは、魚が体を曲げていないフレーム、すなわち、図４の４６０における真の尾叉長４６０ａを計算したフレームまたは撮影されたストロボと考えられる。

【0052】

本発明の一実施形態では、カメラ尾部間距離が最大値と最小値との間の中間距離にいくつかのフレームが存在する可能性があるため、追加の抽出プロセスが必要になる場合がある。画像選択部１５０は、フレーム抽出処理を行い、追跡された同一魚のカメラ部位間距離に基づいて、同一魚が追跡された複数の画像の中から、追跡された同一魚の中間画像とみなす画像を選択する。図６では、以下のような、抽出前に考慮することができるフレームを開示しているが、これらに限定されない。
ａ）最大（最小）距離のフレームから次の最小（最大）距離のフレームまでのすべてのフレーム
ｂ）最小（最大）距離のフレームから次の最小（最大）距離のフレームまでのすべてのフレーム
ｃ）追跡された魚のすべてのフレーム
本発明は、以下のようなフレームを抽出するための3つの可能なプロセスを開示するが、これらに限定されない。
１）距離の中央にあるフレームを抽出
２）距離が平均距離に最も近いフレームを抽出
３）時間が平均時間に最も近いフレームを抽出

【0053】

上記の３つの処理１）、２）、３）の例として、上記のステップａ）、ｂ）、ｃ）のいずれかを実行した後、ｎ個のフレームが候補となる場合を考える。処理１）では、ｎ個フレームからｎ個のカメラ尾部間距離の中央値が算出され、算出された中央値に対応するフレームが抽出フレームとなる。処理２） では、ｎ個のフレームからｎ個のカメラ尾部間距離の平均値が算出され、算出された平均値に最も近いカメラ尾部間距離のフレームが抽出フレームとなる。処理３）では、ｎ個のフレームからｎ個の平均時間を算出し、算出した平均時間に最も近い時間のフレームを抽出フレームとする。

【0054】

好ましい実施形態として、図６は、上記ステップａ）に従ってフレームを考慮し（最大カメラ尾部間距離のフレーム２と、次の最小カメラ尾部間距離のフレーム６との間の３フレーム（フレーム３～５）)、上記ステップ １）に従ってフレーム抽出プロセスを実行した後の結果のグラフ表示である。６４０は、３フレームのうちカメラ尾部間距離の中央値を有するフレームを表す。

【0055】

追跡した同一魚のカメラ部位間距離に基づいて適切なフレームを選択した後、体長計算を行う。

【0056】

体長計算部１６０は、選択された画像から追跡された同一魚の体長を計算する。図５の５６０で、尾叉長が計算される。体長計算部１６０は、３次元復元および体長計算を実行する。尾叉長は、抽出されたフレーム上の魚から次のように計算される。
ａ）魚の２つの体の部位、例えば頭部と尾部の検出
ｂ）三角測量手法による２つの部位の２次元位置の３次元復元の実行
ｃ）２つの部位間の距離を計算

【0057】

本発明の別の実施形態では、フレームレート制御プロセスが開示される。本発明では、図７、図８において、魚を検出することができる。魚が検出されると、カメラはアクティブ状態７４０ｃに移行し、カメラ尾部間距離が時系列に測定される。一方、一定時間魚が検出されないと、カメラはアイドル状態７４０ｄになる。本実施形態では、撮影頻度制御部８００は、カメラシステムによって撮影された複数の画像間の時間間隔を制御する。

【0058】

撮影頻度制御部８００は、魚検出部が魚を検出するときの時間間隔を小さくし、魚検出部が魚を検出しないときの時間間隔を大きくする。

【0059】

好ましい実施形態では、魚検出部が魚を検出した場合、撮影頻度制御部８００は、カメラ部位間距離から周波数成分を算出し、周波数成分に基づいて時間間隔を制御する。別の好ましい実施形態では、撮影頻度制御部は、時間間隔に対応するサンプリング周波数が少なくとも周波数成分の２倍に設定されるように、時間間隔を制御する。

【0060】

本発明の一実施形態では、テールビート周波数からアクティブ状態のフレームレートを計算する。テールビート周波数は、以下のような様々な方法で推定できる。
ａ）遊泳速度と魚種からの推定
ｂ）カメラ尾部間距離のアンダーサンプリング値からの推定

【0061】

好ましい実施形態では、テールビート周波数は、「アクティブ状態」におけるフレームレートを決定するために使用され、従って、オーバーサンプリング処理を適宜調整する。計算したテールビート周波数を用いて、最終的にサンプリング定理に整合するようにフレームレートが調整される。

【0062】

本発明の別の実施形態では、図１０において、魚体長を計測するための装置は、ステレオカメラ１０５，２０５ａおよび２０５ｂ，５０５ａおよび５０５ｂと、魚検出部１１０，２１０，５１０と、部位検出部１２０，２２０ａ，５２０ａと、追跡部１３０，２３０，５３０と、部位位置計算部１０４０と、画像選択部１０５０と、体長計算部１６０，５６０とを含む。上記の実施形態および図１と比較して、距離計算部１４０，２４０，５４０は、部位位置計算部１０４０に置き換えられ、画像選択部１５０は、画像選択部１０５０に置き換えられ、他は、同一のままである。

【0063】

部位位置計算部１０４０は、複数の画像上の追跡された同一の魚の部位（好ましくは尾部）の位置を計算する。部位の位置は、ペア画像上の部位の２次元位置から三角測量技術によって計算される。

【0064】

図１１は、複数の画像から計算することにより追跡された同一の魚の尾の位置１１０１，１１０２，１１０３，１１０４，１１０５，１１０６がプロットされた例を示す。この例では、位置１１０６が魚の最も新しい位置であり、位置１１０１が魚の最も古い位置である。図１１において、魚の尾の位置は、Ｚ軸がステレオカメラのレンズに平行である２次元水平面Ｘ－Ｚ上に投影される。

【0065】

部位位置算出部１０４０は、さらに、複数の画像上で追跡された同一の魚の尾部の位置１１０１，１１０２，１１０３，１１０４，１１０５，１１０６に最も適合するライン１１４１を算出する。例えば、限定するものではないが、ライン１１４１は、例えば、最小二乗法を用いた回帰分析によって計算することができる。ライン１１４１は、尾部の３次元位置から３次元で計算された３次元ラインであってもよい。ライン１１４１は、尾部の３次元位置を２次元水平面Ｘ－Ｚ上に投影した後に２次元で計算された２次元ラインであってもよい。ライン１１４１は、追跡された同一の魚の軌跡を表す。

【0066】

画像選択部１０５０は、尾部とライン１１４１との相対位置に基づいて、魚が体を曲げていないフレーム（画像）を抽出する。より具体的には、一例として、画像選択部１０５０は、尾部の位置がライン１１４１ に近い、すなわち、ライン１１４１からの所定の距離未満であるフレームを選択してもよい。好ましくは、画像選択部１０５０は、尾部の位置がライン１１４１に最も近いフレーム、例えば図１１の位置１１０３を選択してもよい。

【0067】

この実施形態では、部位は、尾部または尾部の一部であることが好ましい。しかしながら、部位は、魚の別の部分であってもよい。好ましくは、部位は、魚の口より尾に近い位置であってもよい。

【0068】

本実施形態の魚体長計測装置は、カメラシステムによって撮影された複数の画像間の時間間隔を制御する前述の実施形態の撮影頻度制御部８００を含むことができる。撮影頻度制御部８００は、魚検出部が魚を検出したときの時間間隔を小さくし、魚検出部が魚を検出しないときの時間間隔を大きくする制御を行う。

【0069】

次に、本発明の実施形態の技術的効果について説明する。従来、魚の大きさの計算は、異なる時間にカメラで魚の写真を撮影し、尾叉長の計算を行っていた。しかし、テールビート運動と系統誤差は尾叉長の計算に考慮されなかった。その結果、尾叉長を計算した結果は真値よりも小さくなり、許容される２％以上の誤差となった。

【0070】

この問題を解決するために、本開示の実施形態では、魚が体を曲げていないフレームを抽出する。本発明は、尾叉長測定を行う際に、フレーム毎にカメラと部位の距離を測定し、その距離の最大値と最小値との間の中間距離にあるフレームを抽出する。また、本発明は、尾叉長測定を行う際に、各フレームの部位位置を測定し、部位位置が魚の軌跡に近いフレームを抽出する。

【0071】

その結果、より正確な尾叉長、ひいては魚体長を算出することができる。

【符号の説明】

【0072】

１０５，２０５ａ，２０５ｂ，５０５ａ，５０５ｂ ステレオカメラ
１１０，２１０，５１０ 魚検出部
１２０，２２０ａ，５２０ａ 部位検出部
１３０，２３０，５３０ 追跡部
１４０，２４０，５４０ 距離計算部
１５０，１０５０ 画像選択部
１６０，５６０ 体長計算部
２０５ｃ ５０５ｃ 画像
２２０ｂ，５２０ｂ ペアリング部
３４０，４４０ カメラ尾部間距離
４４０ａ 中間距離
３６０，４６０ 尾叉長
４６０ａ 真の尾叉長
６４０ カメラ尾部間距離の中央値
７４０ｃ アクティブ状態
７４０ｄ アイドル状態
８００ 撮影頻度制御部
９１ 尾叉長の真値
９２ 尾叉長の測定値
１０４０ 部位位置計算部
１１０１，１１０２，１１０３，１１０４，１１０５，１１０６ 魚の尾の位置
１１４１ ライン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】