ホーム > 特許ランキング > 国立大学法人愛媛大学
特許7480984個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20240501BHJP
A01K 61/95 20170101ALI20240501BHJP
G06M 7/00 20060101ALI20240501BHJP
【ＦＩ】
G06T7/60 110
A01K61/95
G06M7/00 301Q
【請求項の数】
16
(21)【出願番号】P 2020053104
(22)【出願日】2020-03-24
(65)【公開番号】P2021152782
(43)【公開日】2021-09-30
【審査請求日】2023-02-28
【新規性喪失の例外の表示】特許法第３０条第２項適用 研究集会名 ：情報処理学会第８２回全国大会 主催者 ：一般社団法人情報処理学会 開催日 ：２０２０年３月５日～７日 〔刊行物等〕 刊行物名 ：情報処理学会第８２回全国大会講演論文集 発行者 ：一般社団法人情報処理学会 発行日 ：２０２０年２月２０日
(73)【特許権者】
【識別番号】504147254
【氏名又は名称】国立大学法人愛媛大学
(74)【代理人】
【識別番号】100125117
【弁理士】
【氏名又は名称】坂田 泰弘
(74)【代理人】
【識別番号】100086933
【弁理士】
【氏名又は名称】久保 幸雄
(72)【発明者】
【氏名】小林 真也
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２００７－２６３９１３（ＪＰ，Ａ）
【文献】特開２００２－８０４０（ＪＰ，Ａ）
【文献】特開平５－１０８８２２（ＪＰ，Ａ）
【文献】国際公開第２０１９／１７２３６３（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０４５０９１（ＷＯ，Ａ１）
【文献】新地辰朗, 外2名，“魚行動モデルによる群行動パターンのフラクタル性評価”，情報処理学会論文誌，日本，社団法人情報処理学会，2001年06月15日，第42巻, 第6号，p.1592-1600
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／６０
Ａ０１Ｋ ６１／９５
Ｇ０６Ｍ ７／００
(57)【特許請求の範囲】
【請求項1】
Ｎ台（Ｎ≧３）のカメラそれぞれが特定の区域を撮影した画像を取得する取得手段と、
前記Ｎ台のカメラのうちの第ｕ（１≦ｕ≦Ｎ）のカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する画像内位置検出手段と、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せのうちの、構成要素である前記第１ないし第Ｎの直線の任意の２本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せを、前記区域に存在する個体として検出する、個体検出手段と、
を有することを特徴とする個体検出システム。
【請求項2】
前記個体は、同じ時期に孵化した同じ種類の魚であり、前記所定の長さは、前記魚の行動の特性に基づいて定められる、
請求項１に記載の個体検出システム。
【請求項3】
前記特性は、前記魚の２匹同士の距離が前記魚の体長の０．３倍未満にならないように間隔を空ける特性であり、前記所定の長さは、前記体長の０．３倍である、
請求項２に記載の個体検出システム。
【請求項4】
正三角形状に組まれたフレームと、
前記フレームの各辺の中点の位置に、当該フレームの重心が撮影方向になるように１台ずつ配置される３台のカメラそれぞれが特定の区域を撮影した画像を取得する取得手段と、
前記３台のカメラのうちの第ｕ（１≦ｕ≦３）のカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する画像内位置検出手段と、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記３台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第３の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
を有することを特徴とする個体検出システム。
【請求項5】
正四面体状に組まれたフレームと、
前記フレームの各辺の中点の位置に、当該フレームの重心が撮影方向になるように１台ずつ配置される６台のカメラそれぞれが特定の区域を撮影した画像を取得する取得手段と、
前記６台のカメラのうちの第ｕ（１≦ｕ≦６）のカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する画像内位置検出手段と、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記６台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第６の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
を有することを特徴とする個体検出システム。
【請求項6】
正四面体の各辺の中点の位置に、当該正四面体の重心が撮影方向になるように１台ずつ配置される６台のカメラそれぞれが特定の区域を撮影した画像を取得する取得手段と、
前記６台のカメラのうちの第ｕ（１≦ｕ≦６）のカメラの撮影範囲の中心と、前記撮影範囲における、当該第ｕのカメラ以外の１台の位置と、のズレに基づいて、当該第ｕのカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像を調整する調整手段と、
調整された前記第ｕの画像に写っている第ｕの被写体それぞれの、当該調整された第ｕの画像における位置である第ｕの画像内位置を検出する画像内位置検出手段と、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記６台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第６の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、個体検出手段と、
を有することを特徴とする個体検出システム。
【請求項7】
Ｎ台（Ｎ≧３）のカメラそれぞれが、飼育領域の一部分である特定の区域を同時に撮影した画像を取得する取得手段と、
前記Ｎ台のカメラによって前記区域が撮影されるごとに、当該Ｎ台のカメラのうちの第ｕのカメラそれぞれが前記区域を撮影することによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する画像内位置検出手段と、
前記Ｎ台のカメラによって前記区域が撮影されるごとに、前記第ｕの画像内位置と、前記第ｕのカメラの、当該Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、当該区域に存在する個体を検出する、個体検出手段と、
前記Ｎ台のカメラによって前記区域が撮影されるごとの、前記個体検出手段によって検出された前記個体の数と、前記飼育領域と前記区域との比と、に基づいて算出される前記飼育領域に存在すると推定される個体の総数の平均値を算出し、（Ｋ－１）回目までの前記平均値とＫ回目までの前記平均値との比が所定の値以下になったら、当該Ｋ回目までの前記平均値を推定総数に決定する、個体数推定手段と、
を有することを特徴とする個体検出システム。
【請求項8】
正四面体状に組まれたフレームと、前記フレームの各辺の中点の位置に、前記フレームの重心が撮影方向になるように取り付けられた６台のカメラと、
を有することを特徴とする撮影ユニット。
【請求項9】
特定の区域をＮ台（Ｎ≧３）のカメラそれぞれが同時に撮影した画像を取得し、前記Ｎ台のカメラのうちの第ｕ（１≦ｕ≦Ｎ）のカメラによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出し、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せのうちの、構成要素である前記第１ないし第Ｎの直線の任意の２本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せを、前記区域に存在する個体として検出する、
ことを特徴とする個体検出方法。
【請求項10】
正三角形状に組まれたフレームと、前記フレームの各辺の中点の位置に当該フレームの重心が撮影方向になるように１台ずつ配置される３台のカメラと、を用意し、
特定の区域を前記３台のカメラによって同時に撮影し、
前記３台のカメラのうちの第ｕ（１≦ｕ≦３）のカメラによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出し、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記３台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第３の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、
ことを特徴とする個体検出方法。
【請求項11】
正四面体状に組まれたフレームと、前記フレームの各辺の中点の位置に当該フレームの重心が撮影方向になるように１台ずつ配置される６台のカメラと、を用意し、
特定の区域を前記６台のカメラによって同時に撮影し、
前記６台のカメラのうちの第ｕ（１≦ｕ≦６）のカメラによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出し、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記６台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第６の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、
ことを特徴とする個体検出方法。
【請求項12】
正四面体の各辺の中点の位置に、当該正四面体の重心が撮影方向になるように１台ずつ配置される６台のカメラそれぞれが特定の区域を撮影した画像を取得し、
前記６台のカメラのうちの第ｕ（１≦ｕ≦６）のカメラの撮影範囲の中心と、前記撮影範囲における、当該第ｕのカメラ以外の１台の位置と、のズレに基づいて、当該第ｕのカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像を調整し、
調整された前記第ｕの画像に写っている第ｕの被写体それぞれの、当該調整された第ｕの画像における位置である第ｕの画像内位置を検出し、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記６台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第６の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出する、
ことを特徴とする個体検出方法。
【請求項13】
Ｎ台（Ｎ≧３）のカメラそれぞれが、飼育領域の一部分である特定の区域を同時に撮影した画像を取得し、前記Ｎ台のカメラによって前記区域が撮影されるごとに、当該Ｎ台のカメラのうちの第ｕ（１≦ｕ≦Ｎ）のカメラによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出し、
前記Ｎ台のカメラによって前記区域が撮影されるごとに、前記第ｕの画像内位置と、前記第ｕのカメラの、当該Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて、前記区域に存在する個体を検出し、
前記Ｎ台のカメラによって前記区域が撮影されるごとの、検出された前記個体の数と、前記飼育領域と前記区域との比と、に基づいて算出される当該区域を含む飼育領域に存在すると推定される個体の総数の平均値を算出し、（Ｋ－１）回目までの前記平均値とＫ回目までの前記平均値との比が所定の値以下になったら、当該Ｋ回目までの前記平均値を推定総数に決定する、
ことを特徴とする個体検出方法。
【請求項14】
特定の区域に存在する個体を検出するためのコンピュータに用いられるコンピュータプログラムであって、前記コンピュータに、
前記区域を同時に撮影するためのＮ台（Ｎ≧３）のカメラのうちの第ｕ（１≦ｕ≦Ｎ）のカメラそれぞれが前記区域を撮影することによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する処理を実行させ、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せのうちの、構成要素である前記第１ないし第Ｎの直線の任意の２本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せを、前記個体として検出する処理を実行させる、
ことを特徴とするコンピュータプログラム。
【請求項15】
特定の区域に存在する個体を検出するためのコンピュータに用いられるコンピュータプログラムであって、前記コンピュータに、
正四面体の各辺の中点の位置に、当該正四面体の重心が撮影方向になるように１台ずつ配置される６台のカメラそれぞれが前記区域を撮影した画像を取得する処理を実行させ、
前記６台のカメラのうちの第ｕ（１≦ｕ≦６）のカメラの撮影範囲の中心と、前記撮影範囲における、当該第ｕのカメラ以外の１台の位置と、のズレに基づいて、当該第ｕのカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像を調整する処理を実行させ、
調整された前記第ｕの画像に写っている第ｕの被写体それぞれの、当該調整された第ｕの画像における位置である第ｕの画像内位置を検出する処理を実行させ、
前記第ｕの画像内位置と、前記第ｕのカメラの、前記６台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第６の直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて前記個体を検出する処理を実行させる、
ことを特徴とするコンピュータプログラム。
【請求項16】
飼育領域に存在する個体の数を推定するためのコンピュータに用いられるコンピュータプログラムであって、前記コンピュータに、
Ｎ台（Ｎ≧３）のカメラそれぞれが前記飼育領域の一部分である特定の区域を同時に撮影した画像を取得する処理を実行させ、
前記Ｎ台のカメラによって前記区域が撮影されるごとに、当該Ｎ台のカメラのうちの第ｕ（１≦ｕ≦Ｎ）のカメラによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する処理を実行させ、
前記Ｎ台のカメラによって前記区域が撮影されるごとに、前記第ｕの画像内位置と、前記第ｕのカメラの、前記Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せに基づいて個体を検出する処理を実行させ、
前記Ｎ台のカメラによって前記区域が撮影されるごとの、検出された個体の数と、前記飼育領域と前記区域との比と、に基づいて算出される前記飼育領域に存在すると推定される個体の総数の平均値を算出し、（Ｋ－１）回目までの前記平均値とＫ回目までの前記平均値との比が所定の値以下になったら、当該Ｋ回目までの前記平均値を推定総数に決定する処理を実行させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生簀または水槽などで飼育されている稚魚などの個体を検出する技術に関する。
【背景技術】
【0002】
近年、世界的な魚食ブームの影響で、世界の水産物の消費量が年々増加している。消費量の増加に伴って、水産資源の減少および枯渇が危惧されている。そこで、漁船漁業と比べて天然資源への影響が小さく安定して魚を供給することのできる養殖漁業への期待が高まっている。
【0003】
養殖漁業を効率的に行うためには、給餌の量を適切に決定する必要がある。給餌の量が少なすぎると、魚が十分に成長しないことがある。魚種によっては、共食いが発生することもある。一方、給餌の量が多すぎると、食べ残しの餌によって水質が悪化しやすくなる。また、餌代の増加にも繋がる。養殖漁業で掛かる支出のうち６～７割が餌代であり、給餌の量を適切にすることで養殖漁業で掛かる支出を抑えることができる．
給餌の量をより適切にするには、生簀または水槽などの飼育領域で飼っている魚の固体数を正確に把握する必要がある。従来は、漁業者自身が飼育領域を目視し、経験および勘で判断している。よって、手間が掛かるし、誤差が生まれやすい。
給餌の量をより適切にするには、生簀または水槽などの飼育領域で飼っている魚の固体数を正確に把握する必要がある。従来は、漁業者自身が飼育領域を目視し、経験および勘で判断している。よって、手間が掛かるし、誤差が生まれやすい。
【0004】
または、次のような、魚の固体を計数する技術が提案されている。非特許文献１に記載される技術によると、稚魚の水槽への投入時または沖だし時に、パイプを流れる魚を計数する。
【先行技術文献】
【非特許文献】
【0005】
【文献】ＮＥＣソリューションイノベータ株式会社，「ＮＥＣソリューションイノベータ、水産養殖業向け「ＮＥＣフィッシュカウンター」のサービス提供を開始」，https://www.nec-solutioninnovators.co.jp/press/20150317/index.html，２０２０年３月１０日検索
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、特に、稚魚は、成魚に比べて育成が安定せず、かつ、共食いが発生しやすいので、個体数が変動しやすい。さらに、成魚よりも成長が早く、１匹当たりの餌の量の変化が大きい。そのため，生簀または水槽などの飼育領域で稚魚が飼育されている場合は、個体数をより正確にかつ頻繁に把握することが重要である。
【0007】
しかし、非特許文献１に記載される技術によると、飼育領域への稚魚の投入時または沖だし時にしか計数することができないので、給餌の量を適切に決定するための情報を十分に得ることができない。
【0008】
本発明は、このような問題点に鑑み、飼育領域から取り出すことなく稚魚などの個体の数を従来よりも正確に把握できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明の一形態に係る個体検出システムは、Ｎ台（Ｎ≧３）のカメラそれぞれが特定の区域を撮影した画像を取得する取得手段と、前記Ｎ台のカメラのうちの第ｕ（１≦ｕ≦Ｎ）のカメラそれぞれが同時に前記区域を撮影することによって得られた第ｕの画像に写っている第ｕの被写体それぞれの、前記第ｕの画像における位置である第ｕの画像内位置を検出する画像内位置検出手段と、前記第ｕの画像内位置と、前記第ｕのカメラの、前記Ｎ台のカメラの存在する三次元空間における位置である第ｕの配置位置と、に基づいて、前記第ｕの配置位置と、前記第ｕの被写体の、前記三次元空間における位置であると推定される第ｕの推定位置と、を通過する第ｕの直線を算出し、算出した第１ないし第Ｎの直線それぞれの任意の１本ずつからなる１つまたは複数の組合せのうちの、構成要素である前記第１ないし第Ｎの直線の任意の２本のペアのうち最短距離が所定の長さ未満であるものの数が所定の数以上である組合せを、前記区域に存在する個体として検出する、個体検出手段と、を有する。
【0010】
好ましくは、前記個体は、同じ時期に孵化した同じ種類の魚であり、前記所定の長さは、前記魚の行動の特性に基づいて定められる。
【0011】
または、前記特性は、前記魚の２匹同士の距離が前記魚の体長の０．３倍未満にならないように間隔を空ける特性であり、前記所定の長さは、前記体長の０．３倍である。
【発明の効果】
【0012】
本発明によると、飼育領域の特定の区域にいる稚魚などの個体の数を、飼育領域から取り出すことなく従来よりも正確に把握することができる。したがって、飼育領域にいる個体の数を、飼育領域の体積および特定の区域の体積に基づいて従来よりも正確にすることができる。
【図面の簡単な説明】
【0013】
【図1】計数システムの全体的な構成の例を示す図である。
【図2】メインコンピュータのハードウェア構成の例を示す図である。
【図3】メインコンピュータの機能的構成の例を示す図である。
【図4】水中を撮影した入力画像およびその二値画像の例を示す図である。
【図5】学習データの例を示す図である。
【図6】機械学習の例を示す図である。
【図7】水槽およびデジタルカメラの配置の例を示す斜視図である。
【図8】デジタルカメラの位置関係の例を示す平面図である。
【図9】入力画像の例を示す図である。
【図10】平面Ａ’の例を示す図である。
【図11】平面Ｂ’の例を示す図である。
【図12】２つの直線の最短距離に対応する線分の例を示す図である。
【図13】デジタルカメラから見て２匹の稚魚が重なった場合の例を示す図である。
【図14】２台のデジタルカメラを用いて稚魚の三次元位置を検出する場合の例を説明するための図である。
【図15】稚魚の配置のバリエーションの例を示す図である。
【図16】３台のデジタルカメラを用いて稚魚の三次元位置を検出する場合のメリットを説明するための図である。
【図17】キャリブレーションの例を説明するための図である。
【図18】３台のデジタルカメラと稚魚計数領域との位置関係の例を示す図である。
【図19】メインコンピュータの全体的な処理の流れの例を説明するフローチャートである。
【図20】撮影ユニットの例を示す図である。
【図21】撮影ユニットの例を示す図である。
【発明を実施するための形態】
【0014】
＜１＞ 概要
図１は、計数システム１の全体的な構成の例を示す図である。図２は、メインコンピュータ１０のハードウェア構成の例を示す図である。図３は、メインコンピュータ１０の機能的構成の例を示す図である。
図１は、計数システム１の全体的な構成の例を示す図である。図２は、メインコンピュータ１０のハードウェア構成の例を示す図である。図３は、メインコンピュータ１０の機能的構成の例を示す図である。
【0015】
計数システム１は、生簀または水槽などの飼育領域で飼育されている稚魚を計数するシステムであって、図１に示すように、メインコンピュータ１０、３台以上のデジタルカメラ１２、および通信回線１４などによって構成される。
【0016】
メインコンピュータ１０および各デジタルカメラ１２は、通信回線１４を介して通信することができる。通信回線１４として、イーサネット規格またはＵＳＢ（Universal Serial Bus）規格などの有線回線が用いられる。または、Ｗｉ－Ｆｉ規格またはＢｌｕｅｔｏｏｔｈ規格などの無線回線が用いられる。イーサネットおよびＢｌｕｅｔｏｏｔｈは、登録商標である。
【0017】
デジタルカメラ１２は、通信機能を有する水中用のデジタルカメラ（水中カメラ）であって、飼育領域の様子を撮影し画像データを生成するために用いられる。生成された画像データは、通信回線１４を介してメインコンピュータ１０へ送信される。デジタルカメラ１２の視野角は、縦横ともにθであり、デジタルカメラ１２の解像度は、ｐｘ×ｐｙである。以下、各デジタルカメラ１２を「デジタルカメラ１２Ａ」、「デジタルカメラ１２Ｂ」、「デジタルカメラ１２Ｃ」、…、と区別して記載することがある。
【0018】
メインコンピュータ１０は、デジタルカメラ１２から送信されてきた画像データに基づいて稚魚を計数する。メインコンピュータ１０として、デスクトップコンピュータまたはラップトップ型コンピュータが用いられる。以下、メインコンピュータ１０としてラップトップ型コンピュータが用いられる場合を例に説明する。
【0019】
メインコンピュータ１０は、図２に示すように、メインプロセッサ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、補助記憶装置１０ｄ、ディスプレイ１０ｅ、入出力インタフェース１０ｆ、キーボード１０ｇ、およびポインティングデバイス１０ｈなどによって構成される。
【0020】
ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、オペレーティングシステムのほか種々のプログラムがインストールされている。特に、本実施形態では、プログラムの１つとして稚魚計数プログラム１０Ｐがインストールされている。補助記憶装置１０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）などが用いられる。
【0021】
稚魚計数プログラム１０Ｐは、図３に示す学習データ記憶部１０１、機械学習部１０２、学習済モデル記憶部１０３、稚魚検出部１０４、三次元位置算出部１０５、三次元位置記憶部１０６、画像補正部１０７、および個体数推定部１０８などの機能を実現するためのプログラムである。各機能については、後に順次、説明する。
【0022】
ＲＡＭ１０ｂは、メインコンピュータ１０のメインメモリである。ＲＡＭ１０ｂには、オペレーティングシステムのほか稚魚計数プログラム１０Ｐなどのプログラムがロードされる。
【0023】
メインプロセッサ１０ａは、ＲＡＭ１０ｂにロードされたプログラムを実行する。メインプロセッサ１０ａとして、ＧＰＵ（Graphics Processing Unit）またはＣＰＵ（Central Processing Unit）などが用いられる。
【0024】
ディスプレイ１０ｅは、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイなどのフラット型ディスプレイであって、メインプロセッサ１０ａによる演算結果などを表示する。
【0025】
入出力インタフェース１０ｆは、デジタルカメラ１２との間でデータをやり取りするための通信装置である。入出力インタフェース１０ｆとして、デジタルカメラ１２との通信の規格に応じた通信装置が用いられる。例えば、デジタルカメラ１２との通信の規格がイーサネット規格であれば、入出力インタフェース１０ｆとしてＮＩＣ（Network Interface Card）が用いられる。
【0026】
キーボード１０ｇおよびポインティングデバイス１０ｈは、作業者がメインコンピュータ１０に対してコマンドまたはデータを入力するために用いられる。
【0027】
計数システム１によると、飼育領域から取り出すことなく稚魚の個体数を従来よりも正確に求めることができる。以下、この仕組みについて説明する。
【0028】
【0029】
従来、デジタルカメラで水槽内の様子を撮影した画像（入力画像）から稚魚を計数する技術として、稚魚数計数システムが提案されている（横田蓮, 藤橋卓也, 遠藤慶一, 黒田久泰, 小林真也, “養殖漁業の生産量安定化を目的とした稚魚数計数システムに関する研究”, 情報処理学会第81 回全国大会講演論文集(4), pp.711-712, (2019).）。
【0030】
稚魚数計数システムは、デジタルカメラとして１台の水中カメラを水槽内に設置し、背景差分およびラベリングを使用して稚魚を認識し計数する。背景差分の処理において、背景モデル推定アルゴリズムとして採用されている混合ガウス分布（島田敬士，有田大作，谷口倫一郎，“混合ガウス分布による動的背景モデルの分布数増減法”，http://hdl.handle.net/2324/5948）を用いて一定時間ごとに背景モデルを更新する。
【0031】
しかし、稚魚数計数システムによると、入力画像内の一部の稚魚を検出することができないことがある。検出することができないケースとして、稚魚がデジタルカメラから遠い場合、および、デジタルカメラから見て稚魚が他の稚魚と重なる場合が挙げられる。
【0032】
【0033】
しかし、デジタルカメラから遠い稚魚は、部分画像Ｅ１のように小さく表われるので、検出される動体が稚魚なのかノイズなのかを判定することが難しい。また、稚魚数計数システムではラベリングを使用しているため、部分画像Ｅ２のように、デジタルカメラから見て複数の稚魚が重なっている場合は、これらの稚魚が１匹の稚魚であると判定されてしまう。
【0034】
そこで、計数システム１は、人工知能の技術を用いて稚魚の検出を行う。稚魚の検出のために、予め学習済モデルを準備する必要がある。本実施形態において、学習済モデルは、ＣＮＮ（Convolutional Neural Network）であって、次のように生成される。
【0035】
作業者は、稚魚が飼育されている飼育領域の中にデジタルカメラ１２を設置し、複数回、デジタルカメラ１２に飼育領域の中を撮影させることによって、図５のような、複数の入力画像を入力データ（例題）として取得する。さらに、作業者は、それぞれの入力画像に写っている稚魚の位置Ｑ１、Ｑ２、…を教師データ（正解）として指定する。そして、これらの入力画像および位置Ｑ１、Ｑ２、…のデータを学習データ４０として学習データ記憶部１０１（図３参照）に記憶させる。
【0036】
機械学習部１０２は、学習データ４０に基づいて機械学習を実行することによって、つまり、図６のように、例題（入力画像）に対して畳み込み処理およびプーリングなどを行うことによって特徴マップ４１を生成し、特徴マップ４１および正解（稚魚の位置）に基づいて全結合層の処理などを繰り返し行うことによって、学習済モデル（学習済ＣＮＮモデル）４２を生成する。なお、機械学習用のサーバへ学習データ４０を送信し、このサーバに機械学習を実行させてもよい。また、例えばＧｏｏｇｌｅ社のＴｅｎｓｏｒＦｌｏｗ１．１２．０などの既存の数値計算用ライブラリを使用してＣＮＮの機械学習を実行してもよい。
【0037】
そして、学習済モデル記憶部１０３は、機械学習部１０２によって生成された学習済モデル４２を記憶する。
【0038】
【0039】
デジタルカメラ１２は、飼育領域の中に配置される。以下、図７に示すような円柱状の水槽３で飼育されている稚魚を、３台のデジタルカメラ１２Ａ、１２Ｂ、および１２Ｃを用いて計数する場合を例に説明する。
【0040】
作業者は、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれを水槽３の中の所定の位置Ｐａ、Ｐｂ、およびＰｃに、水槽３の中の所定の位置Ｐｏの方向を撮影するように配置する。これらのデジタルカメラ１２を、天井から棒で吊り下げてもよいし、水槽３の中に設けた棒に取り付けてもよい。
【0041】
位置Ｐａ、Ｐｂ、およびＰｃは、図８に示すように正三角形の頂点をなし、位置Ｐｏは、この正三角形の重心に一致する。この三角形は水平であり、重心から各頂点までの距離は、Ｌである。位置Ｐｏを原点（０，０，０）に定め、位置ＰａをＸ軸のマイナス側に配置すると、位置Ｐａ、Ｐｂ、およびＰｃそれぞれの座標は、次のように定められる。
【0042】
【数1】
【0043】
【0044】
デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃは、同時にかつ所定の時間（例えば、１０秒）ごとに撮影を行い、撮影によって得られた画像をメインコンピュータ１０へ送信する。
【0045】
以下、撮影によって得られた画像を「入力画像５」と記載する。また、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれによって得られた入力画像５を「入力画像５Ａ」、「入力画像５Ｂ」、および「入力画像５Ｃ」と区別して記載する。さらに、ｋ回目の撮影の時刻を「撮影時刻Ｔｋ」と記載し、ｋ回目の撮影によって得られた入力画像５Ａ、入力画像５Ｂ、および入力画像５Ｃをそれぞれ「入力画像５Ａｋ」、「入力画像５Ｂｋ」、および「入力画像５Ｃｋ」と記載する。なお、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれからメインコンピュータ１０へ動画像が送信され、メインコンピュータ１０において動画像から所定の時刻ごとの静止画像がキャプチャされ入力画像５として用いられるように計数システム１を構成してもよい。
【0046】
〔平面位置検出フェーズ〕
メインコンピュータ１０において、稚魚検出部１０４は、学習済モデル記憶部１０３に記憶されている学習済モデル４２に基づいて各入力画像５に対して推論処理を行うことによって、各入力画像５の中から稚魚の位置を検出する。
メインコンピュータ１０において、稚魚検出部１０４は、学習済モデル記憶部１０３に記憶されている学習済モデル４２に基づいて各入力画像５に対して推論処理を行うことによって、各入力画像５の中から稚魚の位置を検出する。
【0047】
〔三次元位置特定フェーズ〕
図１０は、平面Ａ’の例を示す図である。図１１は、平面Ｂ’の例を示す図である。図１２は、２つの直線の最短距離に対応する線分の例を示す図である。図１３は、デジタルカメラ１２Ｂから見て２匹の稚魚が重なった場合の例を示す図である。
図１０は、平面Ａ’の例を示す図である。図１１は、平面Ｂ’の例を示す図である。図１２は、２つの直線の最短距離に対応する線分の例を示す図である。図１３は、デジタルカメラ１２Ｂから見て２匹の稚魚が重なった場合の例を示す図である。
【0048】
三次元位置算出部１０５は、撮影時刻Ｔｋにおける稚魚の位置Ｐｉの座標を、入力画像５Ａｋ、５Ｂｋ、および５Ｃｋそれぞれから検出された稚魚の位置によって算出する。以下、位置Ｐｉの算出方法について説明する。
【0049】
入力画像５Ａｋは、デジタルカメラ１２Ａの撮影範囲の全体を撮影したものである。この撮影範囲には、図１０に示すように、デジタルカメラ１２Ａから位置Ｐｏ（原点）へのベクトルＰａＰｏに垂直でありかつ位置Ｐｏを含む平面Ａ’が一部分として含まれている。上述の通り、デジタルカメラ１２Ａの視野角が縦横ともにθであり、位置Ｐａと位置Ｐｏとの距離がＬであるので、平面Ａ’は、次の（２Ａ）～（２Ｃ）式によって表わすことができる。
ｘ＝０ … （２Ａ）
Ｌtan（－θ／２）≦ｙ≦Ｌtan（θ／２） … （２Ｂ）
Ｌtan（－θ／２）≦ｚ≦Ｌtan（θ／２） … （２Ｃ）
そして、デジタルカメラ１２Ａの解像度が上述の通りｐｘ×ｐｙなので、検出された稚魚の、平面Ａ’における位置の座標を（Ａｘ，Ａｙ）とすると、デジタルカメラ１２Ａから見たこの稚魚の位置（位置Ｐｉ）の方向ベクトルＰａＰｉは、次の（３）式のように表わすことができる。
ｘ＝０ … （２Ａ）
Ｌtan（－θ／２）≦ｙ≦Ｌtan（θ／２） … （２Ｂ）
Ｌtan（－θ／２）≦ｚ≦Ｌtan（θ／２） … （２Ｃ）
そして、デジタルカメラ１２Ａの解像度が上述の通りｐｘ×ｐｙなので、検出された稚魚の、平面Ａ’における位置の座標を（Ａｘ，Ａｙ）とすると、デジタルカメラ１２Ａから見たこの稚魚の位置（位置Ｐｉ）の方向ベクトルＰａＰｉは、次の（３）式のように表わすことができる。
【0050】
【数2】
【0051】
同様に、入力画像５Ｂｋは、デジタルカメラ１２Ｂの撮影範囲の全体を撮影したものである。この撮影範囲には、図１１に示すように、デジタルカメラ１２Ｂから位置Ｐｏ（原点）へのベクトルＰｂＰｏに垂直でありかつ位置Ｐｏを含む平面Ｂ’が含まれている。上述の通り、デジタルカメラ１２Ｂの視野角が縦横ともにθであり、位置Ｐｂと位置Ｐｏとの距離がＬであるので、平面Ｂ’は、次の（４Ａ）～（４Ｃ）式によって表わすことができる。
【0052】
【数3】
【0053】
そして、デジタルカメラ１２Ｂの解像度が上述の通りｐｘ×ｐｙなので、検出された稚魚の、平面Ｂ’における位置の座標を（Ｂｘ，Ｂｙ）とすると、デジタルカメラ１２Ｂから見た位置Ｐｉの方向ベクトルＰｂＰｉは、次の（５）式のように表わすことができる。
【0054】
【数4】
【0055】
デジタルカメラ１２Ｃから見た位置Ｐｉの方向ベクトルＰｃＰｉを表わす式も同様の方法で立てることができる。
【0056】
稚魚は、直線ＰａＰｉと直線ＰｂＰｉとの交点に存在すると考えられる。つまり、位置Ｐｉは、この交点に一致するはずである。したがって、この交点を（３）式および（５）式に基づいて算出すれば、位置Ｐｉが求められるはずである。
【0057】
しかし、稚魚の実際の中心と稚魚検出部１０４によって検出された位置とのズレまたはデジタルカメラ１２の設置の精度の低さなどが原因で、２つの直線が交わらないことがある。
【0058】
そこで、２つの直線が交わらない場合であっても、２つの直線同士の最短距離が所定の範囲内であれば、２つの直線が交わっているとみなす。この最短距離は、次の方法によって算出することができる。
【0059】
図１２に示す、直線ＰａＰｉ上の点ｍと直線ＰｂＰｉ上の点ｎとの距離が、２つの直線同士の最短距離である。
【0060】
点ｍおよび点ｎそれぞれの位置ベクトルは、次の（６Ａ）式および（６Ｂ）式のように変数ｓおよび変数ｔを用いて表わすことができる。
【0061】
【数5】
【0062】
また、これらの位置ベクトルからベクトルｍｎを次の（７）式のように求めることができる。
【0063】
【数6】
【0064】
線分ｍｎが直線ＰａＰｉおよび直線ＰｂＰｉの共通垂線なので、次の（８Ａ）式および８Ｂ）式が成り立つ。よって、次の（９）式で表わされる連立方程式が成り立つ。
【0065】
【数7】
【0066】
この連立方程式を解くと、変数ｓおよび変数ｔそれぞれの値が算出される。算出された各値を（６Ａ）式の変数ｓおよび（６Ｂ）式の変数ｔに代入ことによって、点ｍおよび点ｎそれぞれの位置ベクトルが求められる。そして、点ｍと点ｎとの距離が求められる。この距離が、直線ＰａＰｉと直線ＰｂＰｉとの最短距離である。以下、この最短距離を「距離Ｒａｂ」と記載する。
【0067】
同様の方法によって、直線ＰｂＰｉと直線ＰｃＰｉとの最短距離（以下、「距離Ｒｂｃ」と記載する。）、および、直線ＰｃＰｉと直線ＰａＰｉとの最短距離（以下、「距離Ｒｃａ」と記載する。）が求められる。
【0068】
以上の仕組みに従って、三次元位置算出部１０５は、距離Ｒａｂ、Ｒｂｃ、およびＲｃａを算出する。距離Ｒａｂ、Ｒｂｃ、およびＲｃａがいずれも閾値Ｒｔ以下であれば、直線ＰａＰｉと直線ＰｂＰｉとの最短距離の線分の中点、直線ＰｂＰｉと直線ＰｃＰｉとの最短距離の線分の中点、および直線ＰｃＰｉと直線ＰａＰｉとの最短距離の線分の中点を頂点とする三角形の中に稚魚がいると判定する。そして、この三角形の重心を算出する。この重心の座標が、位置Ｐｉの座標である。距離Ｒａｂ、Ｒｂｃ、およびＲｃａのいずれかが閾値Ｒｔを超える場合は、この三角形の領域には稚魚がいないと判定する。
【0069】
ところで、閾値Ｒｔが大きいほど、デジタルカメラ１２の設置の誤差などが吸収されやすくなるが、異なる複数の魚を１匹の魚であると誤認識するおそれがある。そのため、閾値Ｒｔを大きくし過ぎるのは好ましくない。一方、閾値Ｒｔを小さくし過ぎると、誤認識が減少するが、デジタルカメラ１２をより正確な位置に設置しなければならない。
【0070】
そこで、発明者は、好適な指標を探求した結果、魚の回避特性に着目することができた。魚の行動モデルであるＡｏｋｉモデル（Aoki, I.: A Simulation Study on Schooling Mechanism in Fish, Bulletin of the Japanese Society of Scientific Fisheries, 48(8), pp.1081-1088 (1982).）によると、２匹の魚は、互いの距離Ｒが所定の距離Ｒ１以下になると、衝突しないように進行方向を変えようとすることが確認されている。さらに、Ｈｕｔｈらの報告（Huth, A. and Wissel, C.: The Simulation of the Movement of Fish Schools, J. Theor. Biol, 156, pp.365-385 (1992).）によると、集団が極性化しやすい、つまり、集団の魚たちが同一の方向に進路を取りやすいのは、０．３Ｆ≦Ｒ１≦０．５Ｆ、を満たす場合である。なお、Ｆは、魚の体長である。
【0071】
これらの特性に鑑み、三次元位置算出部１０５は、閾値Ｒｔとして０．３Ｆｉを用いて、稚魚がいるか否かを判定する。Ｆｉは、水槽３の中の稚魚の標準的な体長である。つまり、水槽３の中の稚魚の体長を０．３倍した値が閾値Ｒｔとして用いられる。
【0072】
位置Ｐｉの座標は、三次元位置算出部１０５によって算出されると、撮影時刻Ｔｋまたはシーケンス番号ｋと対応付けられて三次元位置記憶部１０６に記憶される。
【0073】
ところで、入力画像５Ａｋ、入力画像５Ｂｋ、および入力画像５Ｃｋのうちのいずれかから複数の稚魚および位置が検出されることが多い。つまり、入力画像５Ａｋ、入力画像５Ｂｋ、および入力画像５ＣｋそれぞれからＮａ匹の稚魚、Ｎｂ匹の稚魚、およびＮｃ匹の稚魚および位置が検出され得る。ただし、Ｎａ、Ｎｂ、およびＮｃのうちの少なくとも１つが２以上である。
【0074】
三次元位置算出部１０５は、このような場合に、入力画像５Ａｋ、入力画像５Ｂｋ、および入力画像５Ｃｋそれぞれから稚魚検出部１０４によって検出された平面位置に基づいて、デジタルカメラ１２Ａから見たＮａ本の方向ベクトルの直線、デジタルカメラ１２Ｂから見たＮｂ本の方向ベクトルの直線、およびデジタルカメラ１２Ｃから見たＮｃ本の方向ベクトルの直線を算出する。そして、３種類の直線すべての組合せ（つまり、Ｎａ×Ｎｂ×Ｎｃの組合せ）について、距離Ｒａｂ、Ｒｂｃ、およびＲｃａを算出し、稚魚がいるか否かを閾値Ｒｔに基づいて算出する。そして、稚魚がいる場合は、その位置（位置Ｒｉ）の座標を算出する。
【0075】
例えば、図１３に示す位置に２匹の稚魚がいる場合は、稚魚検出部１０４は、入力画像５Ａｋ、入力画像５Ｂｋ、および入力画像５Ｃｋそれぞれから２匹の稚魚、１匹の稚魚、および２匹の稚魚を検出する。三次元位置算出部１０５は、入力画像５Ａｋ、入力画像５Ｂｋ、および入力画像５Ｃｋそれぞれから２本の直線、１本の直線、および２本の直線を算出し、２×１×２組つまり４組の距離Ｒａｂ、Ｒｂｃ、およびＲｃａを算出し、稚魚がいるか否かを算出する。そして、稚魚がいる位置の座標を算出する。
【0076】
図１４は、２台のデジタルカメラ１２を用いて稚魚の三次元位置を検出する場合の例を説明するための図である。図１５は、稚魚の配置のバリエーションの例を示す図である。図１６は、３台のデジタルカメラ１２を用いて稚魚の三次元位置を検出する場合のメリットを説明するための図である。
【0077】
３台のデジタルカメラ１２ではなく２台のデジタルカメラ１２によって稚魚の三次元位置を検出することも可能である。ところが、この方法によると、稚魚の三次元位置を誤って検出することがある。例えば、図１４に示すように、デジタルカメラ１２Ａの入力画像から２本の方向ベクトルが求められ、デジタルカメラ１２Ｂの入力画像から２本の方向ベクトルが求められた場合に、稚魚の三次元位置の可能性として、図１５（Ａ）～（Ｇ）に示す７通りが考えられるからである。
【0078】
しかし、上述の通り３台のデジタルカメラ１２を用いると、図１６に示すように、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれの位置Ｐａ、Ｐｂ、およびＰｃからの３本の方向ベクトルの直線が交わりまたは近接する位置に稚魚がいると判定することができる。したがって、２台のデジタルカメラ１２を用いる場合よりも確実に稚魚の三次元位置を検出することができる。
【0079】
〔キャリブレーション〕
図１７は、キャリブレーションの例を説明するための図である。
図１７は、キャリブレーションの例を説明するための図である。
【0080】
ところで、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃは、いずれも、位置Ｐｏの方向を撮影するように配置されている。したがって、理想的には、入力画像５Ａ、５Ｂ、および５Ｃそれぞれの中心がいずれも位置Ｐｏすなわち水槽３の中の特定の１つの位置に対応するはずである。
【0081】
しかし、１ドットのズレも生じさせることもなくデジタルカメラ１２Ａ、１２Ｂ、および１２Ｃを配置することは、難しい。そこで、入力画像５のキャリブレーションを行った後で、上述の平面位置検出フェーズおよび三次元位置特定フェーズを行ってもよい。以下、キャリブレーションの方法の一例について説明する。
【0082】
作業者は、マーカ６を、水槽３の中の位置Ｐｏまたはその近隣に配置する。マーカ６に棒または紐を付けて天井から吊り下げてもよいし竿などを用いてぶら下げてもよい。マーカ６として、例えば、赤色の鉄球が用いられる。
【0083】
この状態で、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃは、同時に撮影を行い、得られた画像をそれぞれキャリブレーション用画像５Ａ’、５Ｂ’、および５Ｃ’としてメインコンピュータ１０へ送信する。
【0084】
メインコンピュータ１０において、画像補正部１０７は、キャリブレーション用画像５Ａ’の中からマーカ６の位置Ｑｅを検出し、図１７（ａ）に示すように、位置Ｑｅとキャリブレーション用画像５Ａ’の中心ＱｏとのズレをベクトルＱｅＱｏとして算出する。
【0085】
【0086】
画像補正部１０７は、同様に、キャリブレーション用画像５Ｂ’および５Ｃ’それぞれについてもズレを算出し、デジタルカメラ１２Ｂおよび１２Ｃそれぞれから受信した入力画像５Ｂおよび５Ｃを、算出したズレに応じて補正する。
【0087】
入力画像５Ａ、５Ｂ、および５Ｃをこのように補正することは、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれから平面Ａ’、Ｂ’、およびＣ’それぞれの中心へ向かうベクトルの交点にマーカ６が配置され、かつ、マーカ６の位置が原点（０，０，０）つまり位置Ｐｏに設定されるように、キャリブレーションを行うことに等しい。
【0088】
このようにキャリブレーションを行うことにより、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれから稚魚へ向かうベクトルをより正確に測定することができる。
【0089】
＜４＞ 稚魚数の推定
図１８は、３台のデジタルカメラ１２と稚魚計数領域Ｓｐとの位置関係の例を示す図である。
図１８は、３台のデジタルカメラ１２と稚魚計数領域Ｓｐとの位置関係の例を示す図である。
【0090】
稚魚検出部１０４および三次元位置算出部１０５による上述の処理によって、三次元位置記憶部１０６には、各撮影時刻Ｔｋ（Ｔ１、Ｔ２、…）における稚魚の位置が記憶される。しかし、これらの位置は、すべて、３台のデジタルカメラ１２によって得られた入力画像に基づいて検出されたものなので、図１８に示す球形の稚魚計数領域Ｓｐにいる稚魚のものである。つまり、上述の処理によると、稚魚計数領域Ｓｐにいる稚魚の数しか計数することができない。
【0091】
そこで、個体数推定部１０８は、水槽３の中にいるすべての稚魚の数（個体数）を次のように推定する。
【0092】
デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれの位置Ｐａ、Ｐｂ、およびＰｃと原点つまり位置Ｐｏとの距離は、上述の通り、いずれもＬである。また、デジタルカメラ１２Ａ、１２Ｂ、および１２Ｃそれぞれの縦横の視野角は、上述の通り、いずれもθである。したがって、稚魚計数領域Ｓｐの半径ｒｐは、次の（１０）式のように表わされる。
ｒｐ＝Ｌsin（θ／２） … （１０）
よって、稚魚計数領域Ｓｐの体積Ｖｐは、球の体積の公式および（１０）式に基づいて、次の（１１）式のように表わされる。
Ｖｐ＝４πｒ３／３
＝４πｒｐ ３／３
＝４π（Ｌsin（θ／２））３／３ … （１１）
また、水槽３は、上述の通り円柱状なので、水槽３の水の体積Ｖｗは、円柱の体積の公式、水槽３の底面の半径ｒｗ、および水槽３の水深ｈｗに基づいて、次の（１２）式によって求められる。
Ｖｗ＝πｒ２×ｈ
＝πｒｗ ２×ｈｗ … （１２）
個体数推定部１０８は、稚魚の密度が水槽３全体で均一であるとみなし、次の（１３）式によって、水槽３の中にいる稚魚の総数を算出する。
Ｎｗｋ＝Ｎｐｋ×（Ｖｗ／Ｖｐ） … （１３）
ただし、Ｎｗｋは、撮影時刻Ｔｋにおける、水槽３の中の稚魚の総数Ｎｗである。Ｎｐｋは、撮影時刻Ｔｋにおける、稚魚計数領域Ｓｐの中の稚魚の総数Ｎｐである。なお、個体数推定部１０８は、Ｎｐｋを、三次元位置記憶部１０６に記憶されている、撮影時刻Ｔｋまたはシーケンス番号ｋに対応付けられて記憶されている位置の個数を計数することによって算出する。
ｒｐ＝Ｌsin（θ／２） … （１０）
よって、稚魚計数領域Ｓｐの体積Ｖｐは、球の体積の公式および（１０）式に基づいて、次の（１１）式のように表わされる。
Ｖｐ＝４πｒ３／３
＝４πｒｐ ３／３
＝４π（Ｌsin（θ／２））３／３ … （１１）
また、水槽３は、上述の通り円柱状なので、水槽３の水の体積Ｖｗは、円柱の体積の公式、水槽３の底面の半径ｒｗ、および水槽３の水深ｈｗに基づいて、次の（１２）式によって求められる。
Ｖｗ＝πｒ２×ｈ
＝πｒｗ ２×ｈｗ … （１２）
個体数推定部１０８は、稚魚の密度が水槽３全体で均一であるとみなし、次の（１３）式によって、水槽３の中にいる稚魚の総数を算出する。
Ｎｗｋ＝Ｎｐｋ×（Ｖｗ／Ｖｐ） … （１３）
ただし、Ｎｗｋは、撮影時刻Ｔｋにおける、水槽３の中の稚魚の総数Ｎｗである。Ｎｐｋは、撮影時刻Ｔｋにおける、稚魚計数領域Ｓｐの中の稚魚の総数Ｎｐである。なお、個体数推定部１０８は、Ｎｐｋを、三次元位置記憶部１０６に記憶されている、撮影時刻Ｔｋまたはシーケンス番号ｋに対応付けられて記憶されている位置の個数を計数することによって算出する。
【0093】
ところで、稚魚計数領域Ｓｐにいる稚魚の数は、稚魚が泳いでいるので短時間の間でも増減する。よって、上述の方法によると、撮影時刻Ｔｋごとの総数Ｎｗのバラツキが大きい。
【0094】
そこで、個体数推定部１０８は、一定の期間（例えば、１分間）、撮影時刻Ｔ１、Ｔ２、Ｔ３、…ごとの総数Ｎｐを計数し、これらの総数Ｎｐの平均値Ｎｐｖを次の式（１４）に代入することによって総数Ｎｗを算出してもよい。
Ｎｗ＝Ｎｐｖ×（Ｖｗ／Ｖｐ） … （１４）
式（１４）は、稚魚計数領域Ｓｐを疑似的に広げることによって水槽３の水の体積Ｖｗと稚魚計数領域Ｓｐの体積Ｖｐとの比を小さくすることを意味するので、精度の向上が期待できる．
＜５＞ まとめ
図１９は、メインコンピュータ１０の全体的な処理の流れの例を説明するフローチャートである。
Ｎｗ＝Ｎｐｖ×（Ｖｗ／Ｖｐ） … （１４）
式（１４）は、稚魚計数領域Ｓｐを疑似的に広げることによって水槽３の水の体積Ｖｗと稚魚計数領域Ｓｐの体積Ｖｐとの比を小さくすることを意味するので、精度の向上が期待できる．
＜５＞ まとめ
図１９は、メインコンピュータ１０の全体的な処理の流れの例を説明するフローチャートである。
【0095】
次に、メインコンピュータ１０が稚魚計数プログラム１０Ｐに基づいて実行する処理の流れを、図１９のフローチャートを参照しながら説明する。
【0096】
メインコンピュータ１０は、機械学習によって予め学習済モデル４２を生成し記憶しておく（＃７１、＃７２）。
【0097】
メインコンピュータ１０は、デジタルカメラ１２Ａ、１２Ｂ、１２Ｃそれぞれから入力画像５を受信する（＃７３）。すると、各撮影時刻の各入力画像５から稚魚およびその平面位置を検出する（＃７５）。そして、平面位置に基づいて稚魚の三次元位置の座標を算出し（＃７６）、撮影時刻またはシーケンス番号と対応付けて記憶する（＃７７）。
【0098】
メインコンピュータ１０は、受信したすべての撮影時刻における稚魚の三次元位置の座標の算出および記憶が終わったら（＃７８でＹｅｓ）、稚魚計数領域Ｓｐの中の稚魚の総数Ｎｐを算出し（＃８０）、水槽３の中の稚魚の総数Ｎｗを推定する（＃８１）。
【0099】
本実施形態によると、水槽３から取り出すことなく稚魚の数を従来よりも正確に把握することができる。特に、本実施形態では、機械学習によって事前に取得した学習済モデル４２を用いて入力画像５の中の稚魚を検出するので、従来の稚魚数計数システムよりも正確に稚魚を検出することができる。さらに、３台のデジタルカメラ１２のそれぞれによって取得した入力画像５によって稚魚の三次元位置を算出するので、２台のデジタルカメラ１２を用いた場合よりも稚魚の三次元位置を正確に算出することができる。
【0100】
＜６＞ 適用例
計数システム１は、例えば、次のように使用することができる。水槽３の底面の半径ｒｗは、６８ｃｍであり、水槽３の水深ｈｗは、６２ｃｍである。したがって、水槽３の体積は、約９０万ｃｍ３である。距離Ｌ（原点Ｐｏから各デジタルカメラ１２までの距離）は、約４３．３ｃｍであり、デジタルカメラ１２の補正後の視野角θは、３５度である。したがって、稚魚計数領域Ｓｐの半径ｒｐは、１３ｃｍであり、体積Ｖｐは、約９２００ｃｍ３である。デジタルカメラ１２の解像度は約３２０×３２０である。
計数システム１は、例えば、次のように使用することができる。水槽３の底面の半径ｒｗは、６８ｃｍであり、水槽３の水深ｈｗは、６２ｃｍである。したがって、水槽３の体積は、約９０万ｃｍ３である。距離Ｌ（原点Ｐｏから各デジタルカメラ１２までの距離）は、約４３．３ｃｍであり、デジタルカメラ１２の補正後の視野角θは、３５度である。したがって、稚魚計数領域Ｓｐの半径ｒｐは、１３ｃｍであり、体積Ｖｐは、約９２００ｃｍ３である。デジタルカメラ１２の解像度は約３２０×３２０である。
【0101】
このような条件の下で真鯛の稚魚、約３００匹を飼育する。これらの稚魚は、同じ時期に孵化したものなので、ほぼ同じ大きさであり、約３～５ｃｍである。閾値Ｒｔは、３ｃｍの稚魚に合わせるならば、３ｃｍ×０．３、なので、０．９ｃｍとすべきである。しかし、約３００匹の稚魚の中に３ｃｍを下回るものが含まれている可能性があることに鑑み、閾値Ｒｔを０．８５ｃｍに設定する。
【0102】
そして、各デジタルカメラ１２によって撮影を行い、上述の方法でメインコンピュータ１０によって水槽３の中の稚魚の総数Ｎｗを推定する。
【0103】
【0104】
本実施形態では、３台のデジタルカメラ１２Ａ、１２Ｂ、および１２Ｃを天井から棒で吊り下げまたは水槽３の中に設けた棒に取り付けるなどして水槽３の中の所定の位置に配置したが、他の方法で配置してもよい。例えば、図２０のような撮影ユニット２１を作成し、撮影ユニット２１を水槽３の中の所定の位置に配置してもよい。撮影ユニット２１は、正三角形状に組んだフレーム２１１の各辺の中点の位置に１台ずつデジタルカメラ１２を、フレームの重心が撮影方向になるように備え付けたものである。なお、撮影ユニット２１は、これらのデジタルカメラ１２同士の相対的な位置関係が保たれていれば、水槽３の中で動いても構わない。
【0105】
フレーム２１１は、三角形状に組まれているので、四角形などに組まれている場合よりも歪みにくい。なお、フレーム２１１の素材として、塩化ビニール管またはアルミニウム管など合成樹脂または金属が用いられる。後述するフレーム２２１（図２１参照）も同様である。
【0106】
本実施形態では、３台のデジタルカメラ１２によって水槽３の中の様子を撮影したが、４台以上のデジタルカメラ１２によって水槽３の中の様子を撮影し、これらのデジタルカメラ１２によって得られた入力画像５に基づいて稚魚の三次元位置を特定してもよい。この場合における稚魚の三次元位置の特定方法は、３台のデジタルカメラ１２を使用する場合の特定方法と基本的に同じである。
【0107】
すなわち、作業者は、共通の位置へ撮影方向が向くようにＭ台（Ｍ≧４）のデジタルカメラ１２を配置し、適宜、キャリブレーションのための処理を実行しておく。
【0108】
稚魚検出部１０４は、Ｍ台のデジタルカメラ１２それぞれによって得られた入力画像５から、その入力画像５における稚魚の位置を検出する。
【0109】
三次元位置算出部１０５は、ｕ番目（１≦ｕ≦Ｍ）のデジタルカメラ１２の入力画像５から稚魚検出部１０４によって検出された位置に基づいて、ｕ番目のデジタルカメラ１２から見たときの、稚魚の三次元位置の方向ベクトルを算出する（図１０、図１１参照）。つまり、ｕ番目のデジタルカメラ１２の三次元位置を位置Ｐｕと定義し、稚魚の三次元位置をＰｉと定義すると、ベクトルＰｕＰｉを算出する。
【0110】
さらに、三次元位置算出部１０５は、直線ＰｕＰｉおよび直線ＰｖＰｉ（ｕ≠ｖ、１≦ｖ≦Ｍ）のすべての（ＭＣ２組の）組合せについて、両直線同士の最短距離を算出する。そして、ＭＣ２すべての最短距離が閾値Ｒｔ以下であれば、最短距離の線分の中点付近に稚魚がいると判定する。
【0111】
３台のデジタルカメラ１２を用いる場合は、３つの中点からなる三角形の重心を稚魚の三次元位置として検出したが、Ｍ台のデジタルカメラ１２を用いる場合は、ＭＣ２個の中点を頂点として有する多面体の内部の任意の点（例えば、重心）を稚魚の三次元位置として検出すればよい。
【0112】
なお、ＭＣ２の最短距離のうちの所定の個数以上の最短距離が閾値Ｒｔ以下であれば、これらの最短距離の線分の中点付近に稚魚がいると判定してもよい。例えば、Ｍ＝６であれば、１５の最短距離のうちの１２以上の最短距離が閾値Ｒｔ以下であれば、稚魚がいると判定してもよい。そして、これら１２以上の最短距離の線分それぞれの中点を頂点とする多面体の重心に稚魚がいると判定してもよい。
【0113】
Ｍ台のデジタルカメラ１２を水槽３の中に独立して配置してもよいし、１つの構造体として構成してもよい。
【0114】
例えば、正四面体状に組んだフレーム２２１および６台のデジタルカメラ１２によって、図２１のような撮影ユニット２２を構成してもよい。フレーム２２１の各辺の中点にデジタルカメラ１２を１台ずつ、撮影方向が正四面体の重心になるように備え付ける。
【0115】
このように撮影ユニット２２を構成することによって、ねじれの位置にある２つの辺に備え付けられた２台のデジタルカメラ１２同士が、キャリブレーションの際のマーカとして機能し合う。つまり、デジタルカメラ１２Ａによって得られた入力画像５のちょうど真ん中には本来、デジタルカメラ１２Ｂが写っているはずである。そこで、デジタルカメラ１２Ｂの写っている位置に基づいて、デジタルカメラ１２Ａによって得られた入力画像５のキャリブレーションを行えばよい。
【0116】
同様に、デジタルカメラ１２Ａの写っている位置に基づいて、デジタルカメラ１２Ｂによって得られた入力画像５のキャリブレーションを行えばよい。他の組（デジタルカメラ１２Ｃおよび１２Ｄの組、デジタルカメラ１２Ｅおよび１２Ｆの組）についても同様である。
【0117】
撮影ユニット２２によると、作業者がマーカ６を垂らしたりすることなく、メインコンピュータ１０および各デジタルカメラ１２が自動的にキャリブレーションのための処理を行うことができる。また、フレーム２２１が四面体状すなわち三角錐状に組まれているので、三角柱または四角錐などに組まれている場合よりも歪みにくい。
【0118】
そのほか、フレーム２２１として、正二十面体状、正八面体、正十二面体、または立方体に組まれたフレームを用いてもよい。
【0119】
本実施形態では、個体数推定部１０８は、一定の期間の撮影時刻Ｔ１、Ｔ２、Ｔ３、…ごとの総数Ｎｐを計数しこれらの平均値Ｎｐｖを算出し、式（１４）に基づいて水槽３全体の稚魚の固体数（総数Ｎｗ）を算出したが、次のように総数Ｎｗを算出してもよい
個体数推定部１０８は、撮影時刻Ｔ１、Ｔ２、Ｔ３、…ごとに、それまでの総数Ｎｐの平均値Ｎｐｖを算出する。そして、平均値Ｎｐｖの変化が収束したら、収束した時点の平均値Ｎｐｖを式（１４）に代入することによって総数Ｎｗを算出する。
個体数推定部１０８は、撮影時刻Ｔ１、Ｔ２、Ｔ３、…ごとに、それまでの総数Ｎｐの平均値Ｎｐｖを算出する。そして、平均値Ｎｐｖの変化が収束したら、収束した時点の平均値Ｎｐｖを式（１４）に代入することによって総数Ｎｗを算出する。
【0120】
例えば、次の（１５）式を満たした場合に、平均値Ｎｐｖの変化が収束したと判定することができる。
ｆ（ｉ）≦ｆｔ
ｆ（ｉ）＝｜Ｎｐｖｉ－Ｎｐｖ（ｉ－１）｜／Ｎｐｖｉ … （１５）
ｆｔは閾値であり、例えば、０．０２である。Ｎｐｖｉは、撮影時刻Ｔｉにおける平均値Ｎｐｖであり、Ｎｐｖ（ｉ－１）は、撮影時刻Ｔ（ｉ－１）における平均値Ｎｐｖである。つまり、隣り合う２回の平均値Ｎｐｖの変動割合が閾値以下である状態になったら、収束したと判定すればよい。または、このような状態が１０回連続したら、収束したと判定してもよい。
ｆ（ｉ）≦ｆｔ
ｆ（ｉ）＝｜Ｎｐｖｉ－Ｎｐｖ（ｉ－１）｜／Ｎｐｖｉ … （１５）
ｆｔは閾値であり、例えば、０．０２である。Ｎｐｖｉは、撮影時刻Ｔｉにおける平均値Ｎｐｖであり、Ｎｐｖ（ｉ－１）は、撮影時刻Ｔ（ｉ－１）における平均値Ｎｐｖである。つまり、隣り合う２回の平均値Ｎｐｖの変動割合が閾値以下である状態になったら、収束したと判定すればよい。または、このような状態が１０回連続したら、収束したと判定してもよい。
【0121】
水槽３で飼育する稚魚の種類および体長の組合せごとに学習済モデル４２を用意し、稚魚検出部１０４において使い分けてもよい。例えば、スマ、タイ、モジャコ、マグロ、サケ、フグ、…それぞれについて１ｃｍ未満、１ｃｍ以上２ｃｍ未満、２ｃｍ以上３ｃｍ未満、…ごとの学習済モデル４２を用意し、使い分けてもよい。閾値Ｒｔも同様に、組合せごとに使い分けられる。
【0122】
本実施形態では、魚類の稚魚を計数する場合を例に説明したが、魚類以外の生物を計数するために計数システム１を使用してもよい。例えば、養殖のエビを計数するために使用してもよい。
【0123】
入力画像５として、夜間に撮影した画像を用いてもよい。この場合は、近赤外線のライトで水槽３の中を照らして撮影すればよい。
【0124】
本実施形態では、入力画像５は、通信回線１４を介してデジタルカメラ１２からメインコンピュータ１０へ提供されたが、フラッシュメモリなどの記録媒体を介して提供されるようにしてもよい。
【0125】
本実施形態では、計数システム１は、水槽３の中の稚魚の総数Ｎｐを計数するために用いられたが、稚魚の動きの状態を検出し、病気の発生および空腹の具合などを判別するために用いてもよい。
【0126】
その他、計数システム１、メインコンピュータ１０の全体または各部の構成、処理の順序などは、本発明の趣旨に沿って適宜変更することができる。
【符号の説明】
【0127】
１ 計数システム（個体検出システム）
１０４ 稚魚検出部（画像内位置検出手段）
１０５ 三次元位置算出部（個体検出手段）
１０７ 画像補正部（調整手段）
１０８ 個体数推定部（個体数推定手段）
１２ デジタルカメラ（カメラ）
２２ 撮影ユニット
５ 入力画像（第ｕの画像）
Ｓｐ 稚魚計数領域（特定の区域）
１０４ 稚魚検出部（画像内位置検出手段）
１０５ 三次元位置算出部（個体検出手段）
１０７ 画像補正部（調整手段）
１０８ 個体数推定部（個体数推定手段）
１２ デジタルカメラ（カメラ）
２２ 撮影ユニット
５ 入力画像（第ｕの画像）
Ｓｐ 稚魚計数領域（特定の区域）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】