知財求人 - 知財ポータルサイト「IP Force」
特表2024-512320陸上養魚場でＡＩをベースにした給餌を行うためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-19
(54)【発明の名称】陸上養魚場でＡＩをベースにした給餌を行うためのシステムおよび方法
(51)【国際特許分類】
A01K 61/85 20170101AFI20240312BHJP
A01K 61/10 20170101ALI20240312BHJP
G06T 7/00 20170101ALI20240312BHJP
G06V 10/82 20220101ALI20240312BHJP
G06T 7/62 20170101ALN20240312BHJP
【ＦＩ】
A01K61/85
A01K61/10
G06T7/00 350C
G06V10/82
G06T7/62
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023553479
(86)(22)【出願日】2022-03-07
(85)【翻訳文提出日】2023-09-26
(86)【国際出願番号】 CA2022050323
(87)【国際公開番号】W WO2022187940
(87)【国際公開日】2022-09-15
(31)【優先権主張番号】63/157,759
(32)【優先日】2021-03-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
２．ＰＹＴＨＯＮ
３．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】523333397
【氏名又は名称】リールデータ，インコーポレイテッド
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100202751
【弁理士】
【氏名又は名称】岩堀 明代
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(74)【代理人】
【識別番号】100191086
【弁理士】
【氏名又は名称】高橋 香元
(72)【発明者】
【氏名】ストーン，ウィリアム
(72)【発明者】
【氏名】アディビ，ペドラム
【テーマコード（参考）】
2B104
5L096
【Ｆターム（参考）】
2B104AA01
2B104CA01
2B104CB04
2B104CF07
2B104CF12
2B104CF17
2B104CF22
2B104CF28
5L096BA02
5L096BA18
5L096DA02
5L096DA03
5L096FA16
5L096FA52
5L096GA06
5L096GA51
5L096HA02
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
陸上養魚場における飼料監視のためのＡＩベースのシステムおよび方法に関する実施形態が説明され、システムは、放流管に取り付けられた、各画像の取得時に飼料カメラの視野を横切る物体の画像を有するビデオフィードを捕捉するための飼料カメラと、少なくとも食べ残しの飼料ペレットをカウントするために関心領域（ＲＯＩ）提案モジュール、ＲＯＩ分類モジュール、ＲＯＩ追跡モジュール、および軌跡分類モジュールを用いるペレット追跡アルゴリズムを実行する専用コンピュータとを含んでよい。少なくとも１つの実施形態において、物体エンハンサは、取得画像内の物体が定義可能な周囲を有するように背景を提供するために、飼料カメラに対向して、かつ飼料カメラの視野内で放流管に取り付けられ得る。
【選択図】図５
【選択図】図５
【特許請求の範囲】
【請求項1】
魚が入った水槽と、前記水槽に結合された放流管とを有し、食べ残しの飼料ペレットおよび非ペレット物体が前記放流管を通って出口ポートに流れる陸上養魚場における飼料監視のためのシステムであって、各画像の取得時に飼料カメラの視野を横切る、食べ残しの飼料ペレットおよび非ペレット物体を備える物体を含む、前記放流管の内部の画像を備えるビデオフィードを捕捉するように構成された飼料カメラと、
前記飼料カメラに背景を提供するために前記飼料カメラに対向し、前記飼料カメラの前記視野内にある物体エンハンサであって、前記飼料カメラと前記物体エンハンサとの間を通過し、前記ビデオフィードの少なくとも１つの取得画像に捕捉される前記物体が、前記少なくとも１つの取得画像内で定義可能な周囲を有するようにする、物体エンハンサと、
少なくとも１つのプロセッサと、実行されると前記少なくとも１つのプロセッサに、
所与の時間間隔で前記ビデオフィードからいくつかの画像を取得するステップと、
前記画像を前処理し、前記物体が飼料ペレットである可能性のある、各々が前記画像内の固有物体に対応する候補関心領域（ＲＯＩ）を取得するステップと、
前記候補ＲＯＩに分類を行い、前記候補ＲＯＩに対応する前記物体が飼料ペレットクラスに属する確率を表すペレットネススコアを取得するステップと、
保持された候補ＲＯＩが前記飼料ペレットクラスに属する可能性が高いという見込みに基づいて、前記候補ＲＯＩを保持するかを決定するステップと、
前記保持された候補ＲＯＩの各々を軌跡に割り当てるステップと、
前記軌跡をペレット軌跡または非ペレット軌跡に分類するステップと、
前記ペレット軌跡に基づいて、前記水槽内の前記魚によって消費されなかった前記食べ残しの飼料ペレットの所定の割合を表すペレットカウントをリアルタイムで生成するステップと
を行わせる命令が格納された非一時的コンピュータ可読媒体とを備えるコンピューティングデバイスと
を備えるシステム。
【請求項2】
前記少なくとも１つのプロセッサは更に、前記ペレットカウントを前記養魚場に送信するように構成され、前記ペレットカウントは、前記ペレットカウントに少なくとも部分的に基づいて前記水槽に供給する魚用飼料の新たな量を生成するために魚用給餌器によって用いられる、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つのプロセッサは更に、前記ペレットカウントに基づいて制御信号を生成し、前記水槽に供給する魚用飼料の新たな量を生成するために前記養魚場の魚用給餌機に前記制御信号を送信するように構成される、請求項１に記載のシステム。
【請求項4】
前記少なくとも１つのプロセッサは更に、前記時間間隔における前記食べ残しの飼料ペレットの勾配を決定し、前記勾配が勾配閾値よりも大きい場合に警告を生成するように構成される、請求項１～３のいずれか１項に記載のシステム。
【請求項5】
前記物体エンハンサは、前記飼料カメラと前記物体エンハンサとの間を通過する前記物体に対してコントラストをもたらす背景を提供する高密度ポリエチレン（ＨＤＰＥ）シートである、請求項１～４のいずれか１項に記載のシステム。
【請求項6】
前記少なくとも１つのプロセッサは、後続の画像フレームにおいて位置が変わる可能性が高い任意の物体を識別するために所与の画像フレームに背景減算を行い、識別された各物体に潜在的ＲＯＩである境界を画定するために前記識別された物体に輪郭検出を行い、前記候補ＲＯＩを取得するために前記潜在的ＲＯＩをフィルタすることによって、前記所与の画像フレームにおける前記候補ＲＯＩを取得するように構成される、請求項１～５のいずれか１項に記載のシステム。
【請求項7】
前記少なくとも１つのプロセッサは、各候補ＲＯＩについて、所与のサンプルが対応する候補ＲＯＩの画像データを含むサンプルを生成し、前記サンプルを前処理し、前記サンプルが異なるクラスに属する確率を有する確率分布を生成するために前処理された各サンプルにＲＯＩ分類器を適用することによって、前記候補ＲＯＩの分類を行うように構成される、請求項１～６のいずれか１項に記載のシステム。
【請求項8】
前記クラスは、ペレットクラス、非ペレットクラス、および曖昧クラスを含む、請求項７に記載のシステム。
【請求項9】
前記ペレットネススコアは、前記サンプルが前記ペレットクラスに属する確率を表す、請求項８に記載のシステム。
【請求項10】
前記少なくとも１つのプロセッサは、同じ行列サイズを有するように前記サンプルをリサイズし、平均中心正規化を行うことによって、前記サンプルを前処理するように構成される、請求項７～９のいずれか１項に記載のシステム。
【請求項11】
前記少なくとも１つのプロセッサは、（ａ）アクティブな軌跡がない場合、前記候補ＲＯＩを別の新たな軌跡に割り当て、（ｂ）アクティブな軌跡がある場合、前記候補ＲＯＩの位置と最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも小さい場合は、前記候補ＲＯＩを前記最も近いアクティブな軌跡に割り当て、または（ｃ）アクティブな軌跡がある場合、前記候補ＲＯＩの位置と前記最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも大きい場合は、前記候補ＲＯＩを新たなアクティブな軌跡に割り当てることによって、１つの画像フレーム内の前記候補ＲＯＩの各々を前記軌跡の１つに割り当てるように構成される、請求項１～１０のいずれか１項に記載のシステム。
【請求項12】
前記少なくとも１つのプロセッサは、前記所与の期間に前記画像の１つに関して更新されていない軌跡を含む終了した軌跡を識別し、前記終了した軌跡の各々について少なくとも１つの軌跡測定値を決定し、前記少なくとも１つの軌跡測定値に基づいて、どの終了した軌跡が前記ペレット軌跡クラスに属するかを決定することによって、前記軌跡をペレット軌跡または非ペレット軌跡に分類するように構成される、請求項１～１１のいずれか１項に記載のシステム。
【請求項13】
前記少なくとも１つのプロセッサは、前記少なくとも１つの軌跡測定値を閾値と比較すること、または前記少なくとも１つの軌跡測定値を軌跡分類器に提供することによって、どの終了した軌跡が前記ペレット軌跡クラスに属するかを決定するように構成される、請求項１２に記載のシステム。
【請求項14】
前記少なくとも１つの軌跡測定値は、前記終了した軌跡の長さ、前記終了した軌跡を備えるＲＯＩのペレットネススコアの分布、および／または１または複数の他のフィルタ値の統計分布の少なくとも１つの測度を含む、請求項１２または請求項１３に記載のシステム。
【請求項15】
前記飼料カメラは、前記物体エンハンサの下側に連結され、前記取得画像が前記物体エンハンサの少なくとも一部を示すように前記物体エンハンサとの間隔を有する、請求項１～１４のいずれか１項に記載のシステム。
【請求項16】
前記放流管に取り付けられたブラケットを更に備え、前記物体エンハンサは、使用中に前記物体エンハンサおよび前記飼料カメラの回転性を制限するために２つ以上の位置で前記ブラケットに取り付けられる、請求項１～１５のいずれか１項に記載のシステム。
【請求項17】
前記物体エンハンサは、前記放流管から増加した量の水流が出る時に前記物体エンハンサが前記出口ポートから移動可能であるように、前記放流管の前記出口ポートに隣接して摺動可能に取り付けられる、請求項１～１６のいずれか１項に記載のシステム。
【請求項18】
前記飼料カメラは、前記放流管に隣接したブラケットに固定され、前記物体エンハンサは、前記ブラケットの上で支柱に摺動可能に取り付けられる、請求項１～１４のいずれか１項に記載のシステム。
【請求項19】
前記飼料カメラは、前記放流管に固定され、前記物体エンハンサは、前記放流管から異なる量の水流が出る場合に上下に動くことができるように、前記放流管に隣接して摺動可能に取り付けられる、請求項１～１４のいずれか１項に記載のシステム。
【請求項20】
前記物体エンハンサは、前記放流管に隣接して摺動可能に取り付けられ、前記飼料カメラは、前記放流管から異なる量の水流が出る場合に前記物体エンハンサが上下に動くことができ、前記飼料カメラが前記物体エンハンサから一定の距離に保たれるように、前記物体エンハンサから前記一定の距離離れて前記物体エンハンサに結合される、請求項１～１４のいずれか１項に記載のシステム。
【請求項21】
陸上養魚場の水槽における飼料監視のためのコンピュータ実装方法であって、所与の時間間隔で飼料カメラから取得されたビデオフィードから画像フレームおよび関連メタデータを読み取ることであって、前記飼料カメラによって取得された前記画像フレームは、前記水槽から排出される食べ残しの飼料ペレットおよび非ペレット物体の画像であることと、
前記画像フレームを前処理し、前記物体が飼料ペレットである可能性のある、各々が前記画像内の固有物体に対応する候補関心領域（ＲＯＩ）を取得することと、
前記候補ＲＯＩに分類を行い、前記候補ＲＯＩに対応する前記物体が飼料ペレットクラスに属する確率を表すペレットネススコアを取得することと、
前記候補ＲＯＩが前記飼料ペレットクラスに属する可能性の程度に基づいて、前記候補ＲＯＩを保持するかを決定することと、
前記保持された候補ＲＯＩの各々を軌跡に割り当てることと、
前記軌跡をペレット軌跡または非ペレット軌跡に分類することと、
前記ペレット軌跡に基づいて、前記水槽内の前記魚によって消費されなかった前記食べ残しの飼料ペレットの所定の割合を表すペレットカウントをリアルタイムで生成することと
を備える方法。
【請求項22】
前記方法は更に、前記ペレットカウントを前記養魚場に送信することを備え、前記ペレットカウントは、前記ペレットカウントに少なくとも部分的に基づいて前記水槽に供給する魚用飼料の新たな量を生成するために魚用給餌器によって用いられる、請求項２１に記載の方法。
【請求項23】
前記方法は更に、前記ペレットカウントに基づいて制御信号を生成することと、前記水槽に供給する魚用飼料の新たな量を生成するために前記養魚場の魚用給餌機に前記制御信号を送信することとを備える、請求項２１に記載の方法。
【請求項24】
前記方法は更に、前記所与の時間間隔における前記食べ残しの飼料ペレットの勾配を決定することと、前記勾配の１つが勾配閾値よりも大きい場合に警告を生成することとを備える、請求項２１～２３のいずれか１項に記載の方法。
【請求項25】
所与の画像フレーム内の前記候補ＲＯＩを取得することは、後続の画像フレームにおいて位置が変わる可能性が高い任意の物体を識別するために前記所与の画像フレームに背景減算を行うことと、識別された各物体に潜在的ＲＯＩである境界を画定するために前記識別された物体に輪郭検出を行うことと、前記候補ＲＯＩを取得するために前記潜在的ＲＯＩをフィルタすることとを備える、請求項２１～２３のいずれか１項に記載の方法。
【請求項26】
前記候補ＲＯＩに分類を行うことは、各候補ＲＯＩについて、所与のサンプルが対応する候補ＲＯＩの画像データを含むサンプルを生成することと、前記サンプルを前処理することと、前記サンプルが異なるクラスに属する確率を有する確率分布を生成するために前処理された各サンプルにＲＯＩ分類器を適用することとを備える、請求項２１～２４のいずれか１項に記載の方法。
【請求項27】
前記クラスは、ペレットクラス、非ペレットクラス、および曖昧クラスを含む、請求項２６に記載の方法。
【請求項28】
前記ペレットネススコアは、前記サンプルが前記ペレットクラスに属する確率を表す、請求項２７に記載の方法。
【請求項29】
前記方法は、同じ行列サイズを有するように前記サンプルをリサイズし、平均中心正規化を行うことによって、前記サンプルを前処理することを備える、請求項２１～２７のいずれか１項に記載の方法。
【請求項30】
１つの画像フレーム内の前記候補ＲＯＩの各々を前記軌跡の１つに割り当てることは、（ａ）アクティブな軌跡がない場合、前記候補ＲＯＩを別の新たな軌跡に割り当てること、（ｂ）アクティブな軌跡がある場合、前記候補ＲＯＩの位置と最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも小さい場合は、前記候補ＲＯＩを前記最も近いアクティブな軌跡に割り当てること、または（ｃ）アクティブな軌跡がある場合、前記候補ＲＯＩの位置と前記最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも大きい場合は、前記候補ＲＯＩを新たなアクティブな軌跡に割り当てることを備える、請求項２１～２８のいずれか１項に記載の方法。
【請求項31】
前記軌跡をペレット軌跡または非ペレット軌跡に分類することは、前記所与の期間に前記画像の１つに関して更新されていない軌跡を含む終了した軌跡を識別することと、前記終了した軌跡の各々について少なくとも１つの軌跡測定値を決定することと、前記少なくとも１つの軌跡測定値に基づいて、どの終了した軌跡が前記ペレット軌跡クラスに属するかを決定することとを備える、請求項２１～２９のいずれか１項に記載の方法。
【請求項32】
どの終了した軌跡が前記ペレット軌跡クラスに属するかを決定することは、前記少なくとも１つの軌跡測定値を閾値と比較すること、または前記少なくとも１つの軌跡測定値を軌跡分類器に提供することを備える、請求項３０に記載の方法。
【請求項33】
前記少なくとも１つの軌跡測定値は、前記終了した軌跡の長さ、前記終了した軌跡を備えるＲＯＩのペレットネススコアの分布、および／または１または複数のフィルタ値の統計分布の少なくとも１つの測度を含む、請求項３０または請求項３１に記載の方法。
【請求項34】
前記方法は、前記取得画像内の前記物体が定義可能な周囲を有するように前記飼料カメラに背景を提供するために、前記飼料カメラに対向し、かつ前記飼料カメラの視野内で、前記放流管の出口に隣接して物体エンハンサを取り付けることと、前記飼料カメラによって取得された前記ビデオフィードが、前記物体エンハンサの画像であり、前記画像の取得時に前記飼料カメラの前記視野を横切る物体を含む画像フレームを備えるように、前記飼料カメラを前記物体エンハンサに固定することとを備える、請求項２１～３２のいずれか１項に記載の方法。
【請求項35】
前記方法は、前記飼料カメラと前記物体エンハンサとの間を通過する前記物体に対して増加したコントラストをもたらす背景を提供するために、前記物体エンハンサに高密度ポリエチレン（ＨＤＰＥ）シートを用いることを備える、請求項３４に記載の方法。
【請求項36】
魚が入った水槽を有する陸上養魚場における飼料監視のためのシステムであって、前記水槽に結合された放流管に取り付けられた飼料カメラであって、各画像の取得時に飼料カメラの視野を横切るペレットおよび非ペレット物体を備える物体の画像を備えるビデオフィードを捕捉するように構成された飼料カメラと、
少なくとも１つのプロセッサと、実行されると前記少なくとも１つのプロセッサに請求項２１～３５のいずれか１項に記載の方法を行わせる命令が格納された非一時的コンピュータ可読媒体とを備えるコンピューティングデバイスと
を備えるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年３月７日に出願された米国仮特許出願第６３／１５７，７５９号の利益を主張するものであり、米国仮特許出願第６３／１５７，７５９号の全内容は、参照によってその全体が本明細書に組み込まれている。
本出願は、２０２１年３月７日に出願された米国仮特許出願第６３／１５７，７５９号の利益を主張するものであり、米国仮特許出願第６３／１５７，７５９号の全内容は、参照によってその全体が本明細書に組み込まれている。
【0002】
本明細書において、一般に、人工知能（ＡＩ）を用いて養魚場で自動給餌を行うためのシステムおよび方法に関する様々な実施形態が説明される。
【背景技術】
【0003】
以下の段落は、本開示に対する背景として記載される。ただし、以下は、そこに記載されるものが先行技術または当業者の知識の一部であることを認めるものではない。
【0004】
陸上養殖は、魚を生産するための新たなアプローチである。海中の魚の自然な生息地を利用し、海中ケージ内で魚を生育するのではなく、陸上養殖は、水槽の中に魚の自然環境を再現することによって魚を陸上に持ち込む。このシステムは、常に水を循環させ、濾過し、魚の健康および成長を保証するための環境パラメータの最適なバランスを得ようと試みる。このクローズドシステムアプローチには、汚染、環境最適化、寄生虫、捕食者、および脱出に関する問題の消滅を含む多くの利点がある。また、養殖場が消費者市場の近くにあることが可能になり、輸送距離が短くなることによって排気量が低減する。
【0005】
これらの陸上システムを作り出すためには高度な知識が必要であるにもかかわらず、給餌の実施はさほど進化のないままである。各養殖場が異なる給餌に取り組んでいるが、どの陸上養殖場のオペレータも、廃棄飼料のレベルを理解しておくことに最善を尽くしている。多くは、廃棄物の定性的監視を基準として用いる（非常に不正確である）が、フィルタにかかった廃棄飼料ペレットを物理的にカウントする場合もある（不正確、離散的、および／または時間がかかる）。これらの方法によって個体群の食欲を測定した後、オペレータは、廃棄飼料の所見に基づいて機械給餌システムを調整する。上述した方法の非効率性により、廃棄が誤って判断された場合、養殖場のオペレータは、（１）魚に過剰に餌を与えることにより、大量の魚用飼料が無駄になり、コストおよび環境への悪影響が増大する、または（２）魚個体群に与える餌が少ないことによって成長が抑制され、収益が上がらないという、２つの明確な問題を抱える。最終的に、飼料廃棄物の絶え間ない動きは、環境および水質パラメータを変動させ、魚および濾過システムにストレスを与える。
【0006】
自動給餌技術の開発には数多くの課題がある。最も顕著なものは、精度が肝心であるという点である。小さな範囲の誤差が、大量廃棄や飢餓の例をもたらし得る。海中分野では、いくつかの解決策が提案されてきたが、その全てにおいて、ペレット強度の測度または空間および時間のインスタンスにおける一貫性のない断面の正確な測度を用いても、それらはどちらも廃棄物の大まかな推定値しか提供しないという現実は無視されている。また、精度を上げるために試みられた方法はいずれも、活用する計算リソースを増加させることによるものであり、産業的に実現可能な範囲を超えてコストを膨らませる。
【0007】
上述した課題および／または欠点に対処する、養魚場における自動給餌のためのシステムおよび方法が必要とされている。
【発明の概要】
【0008】
養魚場におけるＡＩベースの給餌のためのシステムおよび方法、およびそれとともに用いるコンピュータ製品の様々な実施形態が、本明細書の教示に従って提供される。
【0009】
本発明の１つの態様によると、魚が入った水槽を有する陸上養魚場における飼料監視のためのシステムが開示され、システムは、水槽に結合された放流管に固定された飼料カメラであって、食べ残しの飼料ペレットおよび非ペレット物体が放流管を通って出口ポートに流れ、各画像の取得時に飼料カメラの視野を横切るペレットおよび非ペレット物体を備える物体を含む放流管の内部の画像を備えるビデオフィードを捕捉するように構成された飼料カメラと、飼料カメラに背景を提供するために飼料カメラに対向して飼料カメラの視野内にあるように放流管に取り付けられ、飼料カメラと物体エンハンサとの間を通過しビデオフィードの取得画像の少なくとも１つに捕捉される物体が、少なくとも１つの取得画像内で定義可能な周囲を有するようにする、物体エンハンサと、少なくとも１つのプロセッサ、および実行されると前記少なくとも１つのプロセッサに、所与の時間間隔でビデオフィードからいくつかの画像を取得するステップと、画像を前処理し、物体が飼料ペレットである可能性のある、各々が画像内の固有物体に対応する候補関心領域（ＲＯＩ）を取得するステップと、候補ＲＯＩに分類を行い、候補ＲＯＩに対応する物体が飼料ペレットクラスに属する確率を表すペレットネススコアを取得するステップと、保持された候補ＲＯＩが飼料ペレットクラスに属する可能性が高いという見込みに基づいて、候補ＲＯＩを保持するかを決定するステップと、保持された候補ＲＯＩの各々を軌跡に割り当てるステップと、軌跡をペレット軌跡または非ペレット軌跡に分類するステップと、ペレット軌跡に基づいて、水槽内の前記魚によって消費されなかった食べ残しの飼料ペレットの所定の割合を表すペレットカウントをリアルタイムで生成するステップとを行わせる命令が格納された非一時的コンピュータ可読媒体を備えるコンピューティングデバイスとを備える。
【0010】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは更に、ペレットカウントを養魚場に送信するように構成され、ペレットカウントは、ペレットカウントに少なくとも部分的に基づいて水槽に供給する魚用飼料の新たな量を生成するために魚用給餌器によって用いられる。
【0011】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは更に、ペレットカウントに基づいて制御信号を生成し、水槽に供給する魚用飼料の新たな量を生成するために養魚場の魚用給餌機に制御信号を送信するように構成される。
【0012】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは更に、時間間隔における食べ残しの飼料ペレットの勾配を決定し、勾配が勾配閾値よりも大きい場合に警告を生成するように構成される。
【0013】
少なくとも１つの実施形態において、物体エンハンサは、飼料カメラと物体エンハンサとの間を通過する物体に対してコントラストをもたらす背景を提供する高密度ポリエチレン（ＨＤＰＥ）シートである。
【0014】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは、後続の画像フレームにおいて位置が変わる可能性が高い任意の物体を識別するために所与の画像フレームに背景減算を行い、識別された各物体に潜在的ＲＯＩである境界を画定するために識別された物体に輪郭検出を行い、候補ＲＯＩを取得するために潜在的ＲＯＩをフィルタすることによって、所与の画像フレームにおける候補ＲＯＩを取得するように構成される。
【0015】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは、各候補ＲＯＩについて、所与のサンプルが対応する候補ＲＯＩの画像データを含むサンプルを生成し、サンプルを前処理し、サンプルが異なるクラスに属する確率を有する確率分布を生成するために前処理された各サンプルにＲＯＩ分類器を適用することによって、候補ＲＯＩの分類を行うように構成される。
【0016】
少なくとも１つの実施形態において、クラスは、ペレットクラス、非ペレットクラス、および曖昧クラスを含む。
【0017】
少なくとも１つの実施形態において、ペレットネススコアは、サンプルがペレットクラスに属する確率を表す。
【0018】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは、同じ行列サイズを有するようにサンプルをリサイズし、平均中心正規化を行うことによって、サンプルを前処理するように構成される。
【0019】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは、（ａ）アクティブな軌跡がない場合、候補ＲＯＩを別の新たな軌跡に割り当て、（ｂ）アクティブな軌跡がある場合、候補ＲＯＩの位置と最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも小さい場合は、候補ＲＯＩを最も近いアクティブな軌跡に割り当て、または（ｃ）アクティブな軌跡がある場合、候補ＲＯＩの位置と最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも大きい場合は、候補ＲＯＩを新たなアクティブな軌跡に割り当てることによって、１つの画像フレーム内の候補ＲＯＩの各々を軌跡の１つに割り当てるように構成される。
【0020】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは、所与の期間に画像の１つに関して更新されていない軌跡を含む終了した軌跡を識別し、終了した軌跡の各々について少なくとも１つの軌跡測定値を決定し、少なくとも１つの軌跡測定値に基づいて、どの終了した軌跡がペレット軌跡クラスに属するかを決定することによって、軌跡をペレット軌跡または非ペレット軌跡に分類するように構成される。
【0021】
少なくとも１つの実施形態において、少なくとも１つのプロセッサは、少なくとも１つの軌跡測定値を閾値と比較すること、または少なくとも１つの軌跡測定値を軌跡分類器に提供することによって、どの終了した軌跡がペレット軌跡クラスに属するかを決定するように構成される。
【0022】
少なくとも１つの実施形態において、少なくとも１つの軌跡測定値は、終了した軌跡の長さ、終了した軌跡を備えるＲＯＩのペレットネススコアの分布、および／または１または複数の他のフィルタ値の統計分布の少なくとも１つの測度を含む。
【0023】
少なくとも１つの実施形態において、飼料カメラは、物体エンハンサの下側に連結され、取得画像が物体エンハンサの少なくとも一部を示すように物体エンハンサとの間隔を有する。
【0024】
少なくとも１つの実施形態において、システムは更に、放流管に取り付けられたブラケットを備え、物体エンハンサは、使用中に物体エンハンサおよび飼料カメラの回転性を制限するために２つ以上の位置でブラケットに取り付けられる。
【0025】
少なくとも１つの実施形態において、物体エンハンサは、放流管から増加した量の水流が出る時に物体エンハンサが出口ポートから移動可能であるように、放流管の出口ポートに隣接して摺動可能に取り付けられる。
【0026】
少なくとも１つの実施形態において、飼料カメラは、放流管に隣接したブラケットに固定され、物体エンハンサは、ブラケットの上で支柱に摺動可能に取り付けられる。
【0027】
少なくとも１つの実施形態において、飼料カメラは、放流管に固定され、物体エンハンサは、放流管から異なる量の水流が出る場合に上下に動くことができるように、放流管に隣接して摺動可能に取り付けられる。
【0028】
少なくとも１つの実施形態において、物体エンハンサは、放流管に隣接して摺動可能に取り付けられ、飼料カメラは、放流管から異なる量の水流が出る場合に物体エンハンサが上下に動くことができ、飼料カメラが物体エンハンサから一定の距離に保たれるように、物体エンハンサから一定の距離離れて物体エンハンサに結合される。
【0029】
本明細書の教示に係る別の広範な態様において、陸上養魚場の水槽における飼料監視のためのコンピュータ実装方法が提供され、方法は、所与の時間間隔で飼料カメラから取得されたビデオフィードから画像フレームおよび関連メタデータを読み取ることであって、飼料カメラによって取得された画像フレームは、水槽から排出される食べ残しの飼料ペレットおよび非ペレット物体の画像であることと、画像フレームを前処理し、物体が飼料ペレットである可能性のある、各々が画像内の固有物体に対応する候補関心領域（ＲＯＩ）を取得することと、候補ＲＯＩに分類を行い、候補ＲＯＩに対応する物体が飼料ペレットクラスに属する確率を表すペレットネススコアを取得することと、候補ＲＯＩが飼料ペレットクラスに属する可能性の程度に基づいて、候補ＲＯＩを保持するかを決定することと、保持された候補ＲＯＩの各々を軌跡に割り当てることと、軌跡をペレット軌跡または非ペレット軌跡に分類することと、ペレット軌跡に基づいて、水槽内の魚によって消費されなかった食べ残しの飼料ペレットの所定の割合を表すペレットカウントをリアルタイムで生成することとを備える。
【0030】
少なくとも１つの実施形態において、方法は更に、ペレットカウントを養魚場に送信することを備え、ペレットカウントは、ペレットカウントに少なくとも部分的に基づいて水槽に供給する魚用飼料の新たな量を生成するために魚用給餌器によって用いられる。
【0031】
少なくとも１つの実施形態において、方法は更に、ペレットカウントに基づいて制御信号を生成することと、水槽に供給する魚用飼料の新たな量を生成するために養魚場の魚用給餌機に制御信号を送信することとを備える。
【0032】
少なくとも１つの実施形態において、方法は更に、所与の時間間隔における食べ残しの飼料ペレットの勾配を決定することと、勾配の１つが勾配閾値よりも大きい場合に警告を生成することとを備える。
【0033】
少なくとも１つの実施形態において、所与の画像フレーム内の候補ＲＯＩを取得することは、後続の画像フレームにおいて位置が変わる可能性が高い任意の物体を識別するために所与の画像フレームに背景減算を行うことと、識別された各物体に潜在的ＲＯＩである境界を画定するために識別された物体に輪郭検出を行うことと、候補ＲＯＩを取得するために潜在的ＲＯＩをフィルタすることとを備える。
【0034】
少なくとも１つの実施形態において、候補ＲＯＩに分類を行うことは、各候補ＲＯＩについて、所与のサンプルが対応する候補ＲＯＩの画像データを含むサンプルを生成することと、サンプルを前処理することと、サンプルが異なるクラスに属する確率を有する確率分布を生成するために前処理された各サンプルにＲＯＩ分類器を適用することとを備える。
【0035】
少なくとも１つの実施形態において、クラスは、ペレットクラス、非ペレットクラス、および曖昧クラスを含む。
【0036】
少なくとも１つの実施形態において、ペレットネススコアは、サンプルがペレットクラスに属する確率を表す。
【0037】
少なくとも１つの実施形態において、方法は、同じ行列サイズを有するようにサンプルをリサイズし、平均中心正規化を行うことによって、サンプルを前処理することを備える。
【0038】
少なくとも１つの実施形態において、１つの画像フレーム内の候補ＲＯＩの各々を軌跡の１つに割り当てることは、（ａ）アクティブな軌跡がない場合、候補ＲＯＩを別の新たな軌跡に割り当てること、（ｂ）アクティブな軌跡がある場合、候補ＲＯＩの位置と最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも小さい場合は、候補ＲＯＩを前記最も近いアクティブな軌跡に割り当てること、または（ｃ）アクティブな軌跡がある場合、候補ＲＯＩの位置と最も近いアクティブな軌跡内の最後のＲＯＩの位置との間の距離が距離閾値よりも大きい場合は、候補ＲＯＩを新たなアクティブな軌跡に割り当てることを備える。
【0039】
少なくとも１つの実施形態において、軌跡をペレット軌跡または非ペレット軌跡に分類することは、所与の期間に画像の１つに関して更新されていない軌跡を含む終了した軌跡を識別することと、終了した軌跡の各々について少なくとも１つの軌跡測定値を決定することと、少なくとも１つの軌跡測定値に基づいて、どの終了した軌跡がペレット軌跡クラスに属するかを決定することとを備える。
【0040】
少なくとも１つの実施形態において、どの終了した軌跡がペレット軌跡クラスに属するかを決定することは、少なくとも１つの軌跡測定値を閾値と比較すること、または少なくとも１つの軌跡測定値を軌跡分類器に提供することを備える。
【0041】
少なくとも１つの実施形態において、少なくとも１つの軌跡測定値は、終了した軌跡の長さ、終了した軌跡を備えるＲＯＩのペレットネススコアの分布、および／または１または複数のフィルタ値の統計分布の少なくとも１つの測度を含む。
【0042】
少なくとも１つの実施形態において、方法は、取得画像内の物体が定義可能な周囲を有するように飼料カメラに背景を提供するために、飼料カメラに対向し、かつ飼料カメラの視野内で、放流管の出口に隣接して物体エンハンサを取り付けることと、飼料カメラによって取得されたビデオフィードが、物体エンハンサの画像であり、画像の取得時に飼料カメラの前記視野を横切る物体を含む画像フレームを備えるように、飼料カメラを物体エンハンサに固定することとを備える。
【0043】
少なくとも１つの実施形態において、方法は、飼料カメラと物体エンハンサとの間を通過する物体に対して増加したコントラストをもたらす背景を提供するために、物体エンハンサに高密度ポリエチレン（ＨＤＰＥ）シートを用いることを備える。
【0044】
本明細書の教示に係る別の広範な態様において、魚が入った水槽を有する陸上養魚場における飼料監視のためのシステムが提供され、システムは、水槽に結合された放流管に取り付けられた飼料カメラであって、各画像の取得時に飼料カメラの視野を横切るペレットおよび非ペレット物体を備える物体の画像を備えるビデオフィードを捕捉するように構成された飼料カメラと、少なくとも１つのプロセッサと、実行されると少なくとも１つのプロセッサに、本明細書の教示に従って説明された方法のいずれかを行わせる命令が格納された非一時的コンピュータ可読媒体とを備えるコンピューティングデバイスとを備える。
【0045】
本願の他の特徴および利点は、添付図面とともに示される以下の詳細な説明から明らかになる。ただし、理解すべき点として、この詳細な説明から本願の主旨および範囲における様々な変更および修正が当業者には明らかであるため、詳細な説明および特定の例は、本願の好適な実施形態を示すものであるが、単に例示として記載される。
【0046】
本明細書で説明される様々な実施形態をより良く理解するため、また、これらの様々な実施形態がどのように実施され得るかを明確に示すために、例として、少なくとも１つの例示的な実施形態を示し、次に説明される添付図面が参照される。図面は、本明細書で説明される教示の範囲を限定することを意図されていない。
【図面の簡単な説明】
【0047】
【図1】養魚場におけるＡＩベースの給餌のためのシステムの例示的な実施形態の概略図を示す。
【図2A】物体エンハンサの例示的な実施形態の概略図を示す。
【発明を実施するための形態】
【0048】
本明細書で説明される例示的な実施形態の更なる態様および特徴は、添付図面とともに示される以下の説明から明らかになる。
【0049】
本明細書の教示に係る様々な実施形態は、特許請求の範囲に記載の主題事項の少なくとも１つの実施形態の例を提供するために以下で説明される。本明細書で説明される実施形態はいずれも、特許請求の範囲に記載の主題事項を限定するものではない。特許請求の範囲に記載の主題事項は、以下で説明されるデバイス、システム、または方法のいずれか１つの特徴の全て、あるいは本明細書で説明されるデバイス、システム、または方法の複数または全てに共通の特徴を有するデバイス、システム、または方法に限定されない。特許請求の範囲に記載の主題事項の実施形態ではないデバイス、システム、または方法が本明細書で説明され得る場合がある。本明細書で説明されるが本文書において特許請求の範囲に記載されない任意の主題事項は、たとえば継続特許出願などの別の保護文書の主題事項であってよく、出願人、発明者、または所有者は、本文書の開示によって任意のそのような主題事項を放棄、否認、または公衆に供することを意図していない。
【0050】
図示の簡潔性および明確性のために、適宜、対応する要素や類似の要素を示すために参照番号が図面間で繰り返され得ることが理解される。また、本明細書で説明される実施形態の完全な理解を提供するために、多数の具体的詳細が記載される。しかしながら、本明細書で説明される実施形態は、これらの具体的詳細なしでも実施され得ることが当業者には理解される。他の例では、周知の方法、手順、および構成要素は、本明細書で説明される実施形態を不明瞭にしないように詳細には説明されない。また、この説明は、本明細書で説明される実施形態の範囲を限定するものと見なされるべきではない。
【0051】
また、留意すべき点として、本明細書で使用される「結合された」または「結合する」という用語は、これらの用語が使用される文脈に依存していくつかの異なる意味を有し得る。たとえば、結合されたまたは結合するという用語は、機械的意味または電気的意味を有し得る。たとえば、本明細書で使用される場合、結合されたまたは結合するという用語は、２つの要素またはデバイスが互いに直接連結され得ること、または特定の文脈に依存して１または複数の中間要素またはデバイスや電気信号、電気接続、または機械要素を介して互いに連結されることを示してよい。
【0052】
また、留意すべき点として、本明細書で使用される場合、「および／または」という言葉は、包括的なｏｒを表すことが意図される。すなわち、「Ｘおよび／またはＹ」は、たとえばＸまたはＹまたは両方を意味することが意図される。更なる例として、「Ｘ、Ｙ、および／またはＺ」は、ＸまたはＹまたはＺまたはそれらの任意の組み合わせを意味することが意図される。
【0053】
留意すべき点として、本明細書で使用される、たとえば「実質的に」、「約」、および「概ね」などの程度を示す用語は、最終結果が著しく変化しないように、修飾された用語の妥当な逸脱量を意味する。これらの程度を示す用語は、たとえばこの逸脱が、この用語が修飾する用語の意味を否定しない場合、たとえば１％、２％、５％、または１０％などの修飾された用語の逸脱を含むものとして解釈されてもよい。
【0054】
また、本明細書における終了点による数値範囲の記載は、その範囲内に包含される全ての数値および端数を含む（たとえば１～５は、１、１．５、２、２．７５、３、３．９０、４、および５を含む）。また、理解すべき点として、全ての数値およびその端数は、たとえば１％、２％、５％、または１０％など、最終結果が著しく変化しない場合、参照される数値の一定量までの変動を意味する「約」という用語で修飾されることが仮定される。
【0055】
留意すべき点として、本明細書で説明される任意のシステムまたは方法の動作の説明に関連して「ウィンドウ」という用語を使用することは、初期化、較正、または他のユーザ操作を実行するための、たとえばグラフィカルユーザインタフェース（ＧＵＩ）などのユーザインタフェースを説明するものとして理解されることが意図される。
【0056】
本明細書の教示に従って説明されるデバイス、システム、または方法の例示的な実施形態は、一般に、ハードウェアとソフトウェアとの組み合わせとして実装される。たとえば、本明細書で説明される実施形態は、少なくとも部分的に、少なくとも１つの処理要素および少なくとも１つの記憶要素（すなわち、少なくとも１つの揮発性メモリ要素および少なくとも１つの不揮発性メモリ要素）を備える１または複数のプログラマブルデバイス上で実行する１または複数のコンピュータプログラムを用いて実施され得る。ハードウェアは、タッチスクリーン、キーボード、マウス、ボタン、キー、スライダなどの少なくとも１つを含む入力デバイスと、ハードウェアの実装に依存して、ディスプレイ、プリンタ、１または複数のセンサなどの１または複数とを備えてよい。
【0057】
また、留意すべき点として、本明細書で説明される実施形態の少なくとも一部を実装するために用いられるいくつかの要素は、たとえばオブジェクト指向プログラミングなどの高レベルの手続き型言語で書かれたソフトウェアを介して実装され得る。プログラムコードは、Ｃ＋＋、Ｃ＃、ＪａｖａＳｃｒｉｐｔ、Ｐｙｔｈｏｎ、または他の任意の適切なプログラミング言語で書かれてよく、オブジェクト指向プログラミングの当業者には知られているように、モジュールまたはクラスを備えてよい。あるいは、それらの代替または追加として、ソフトウェアを介して実装されるこれらの要素のいくつかは、必要に応じてアセンブリ言語、機械言語、またはファームウェアで書かれてもよい。いずれの場合も、言語はコンパイル型言語またはインタプリタ型言語であってよい。
【0058】
これらのソフトウェアプログラムの少なくともいくつかは、プロセッサ、オペレーティングシステム、および本明細書で説明される実施形態の少なくとも１つの機能を実施するために必要な関連ハードウェアおよびソフトウェアを有するデバイスによって読取り可能な、たとえばＲＯＭ、磁気ディスク、光ディスク、ＵＳＢキーなどであるがこれらに限定されないコンピュータ可読媒体に格納され得る。ソフトウェアプログラムコードは、デバイスによって読み取られると、本明細書で説明される方法の少なくとも１つを実行するために（たとえば特定用途向けコンピュータとして）新たな特定の予め定義された方法で動作するようにデバイスを構成する。
【0059】
本明細書で説明される実施形態のデバイス、システム、および方法に関連するプログラムの少なくともいくつかは、１または複数の処理ユニットのための、たとえばプログラムコードなどのコンピュータ使用可能命令を担持するコンピュータ可読媒体を備えるコンピュータプログラム製品に分散されることが可能であってよい。媒体は、たとえば１または複数のディスケット、コンパクトディスク、テープ、チップ、および磁気ストレージおよび電子ストレージなどであるがこれらに限定されない、非一時的形式を含む様々な形式で提供され得る。代替実施形態において、媒体は、本質的に一時的であってよく、たとえばワイヤライン送信、衛星送信、インターネット送信（たとえばダウンロード）、メディア、デジタル、およびアナログ信号などであるがこれらに限定されない。コンピュータ使用可能命令は、コンパイル型および非コンパイル型コードを含む様々なフォーマットであってもよい。
【0060】
本明細書の教示によると、養魚場におけるＡＩベースの給餌のためのシステムおよび方法、およびそれとともに用いるコンピュータ製品に関する様々な実施形態が提供される。
【0061】
最初に図１を参照すると、養魚場におけるＡＩベースの給餌のための飼料カウントシステム１００の例示的な実施形態の概略図が示される。飼料カウントシステム１００は、水槽１１０、放流管１１２、放流管１１２に固定された飼料カメラ１１４、物体エンハンサ１１６、イーサネットケーブル１１８、イーサネットスイッチ１２０、およびコンピュータ１４０を含む。放流管１１２は、出口管とも称され得る。物体エンハンサ１１６は、プロファイルエンハンサまたは背景エンハンサとも称され得る。留意すべき点として、代替実施形態において、いくつかの要素は、たとえば他のネットワーキング要素を用いて実装され得るイーサネットケーブル１１８およびイーサネットスイッチ１２０などの他の要素を用いて実装され得る。
【0062】
（単一のＩＰカメラであってよい）飼料カメラ１１４および物体エンハンサ１１６は、互いに概ね対向して放流管１１２内に設置される。カメラ技術は年々発展を続けているため、飼料カメラ１１４の技術仕様は経時的に進化し得る。ただし、考慮され得る飼料カメラ１１４の特定の仕様は、解像度および露出である。たとえば、５７６×７０４の解像度および１／２５０の露出がシステム１００での使用に適し得る。これにより、飼料カメラ１１４と物体エンハンサ１１６との間を通過し、飼料カメラ１１４によって取得される画像に捕捉される物体が、ビデオフィード内の取得画像の少なくとも１つにおいて定義可能な境界を有するように、物体エンハンサ１１６が飼料カメラ１１４の視野に背景を提供するので、高品質データの収集が可能である。
【0063】
物体エンハンサ１１６の形状は、放流管１１２内で（たとえば図２Ａに示すように）定位置に固定するための固定具を受容する溝を有する略円形であってよい。飼料カウントシステム１００は、（たとえば図２Ｂに示すように）ペレット２１０、糞２２０、および他の要素を区別することによって水槽１１０から放流管１１２を通って流出する廃棄飼料の量をリアルタイムで追跡するペレットカウントアルゴリズム（または「ペレットトラッカ」）を利用する。飼料カウントシステム１００は、ペレットトラッカによって決定された食べ残し飼料（たとえば食べ残しの飼料ペレットの数）に基づいて、水槽１１０内の魚の食欲に従って（たとえば図３に示すように）飼料カウントシステム１００によって用いられる魚用給餌機３２０によって投与される飼料の量を自動的に更新するために、既存の給餌システムのＡＰＩ３１０に直接結び付けることができる。魚用給餌機３２０は、当業者に知られているように、特定の時間間隔で魚に魚用飼料（すなわちペレット）を供給するために養魚場で利用されるシステムである。
【0064】
コンピューティングデバイスと称され得るコンピュータ１４０は、単一のコンピューティングデバイス（たとえばデスクトップ、ラップトップ、またはノートパッド）として実装されてよく、（１または複数のプロセッサを有するものとして称され、または容易な例示のために単にプロセッサと称され得る）プロセッサユニット１４４、ディスプレイ１４６、インタフェースユニット１４８、入力／出力（Ｉ／Ｏ）ハードウェア１５０、通信ユニット１５２、電源ユニット１５４、および（「データストア」とも称される）メモリユニット１５６を含む。メモリユニット１５６は、プロセッサユニット１４４によって用いるためのコンピュータ命令が格納されるように設計され得る非一時的コンピュータ可読媒体であってよい。他の実施形態において、コンピュータ１４０は、より多いまたは少ない数の構成要素を有し得るが、一般に同様に機能してよい。たとえば、コンピュータ１４０は、複数のコンピューティングデバイスおよび／またはプロセッサユニット１４４を用いて実装され得る。たとえば、コンピュータ１４０は、サーバまたはサーバクラスタとして機能するように実装され得る。
【0065】
プロセッサユニット１４４は、システム１００の動作を制御し、システム１００の構成および動作要件に依存して十分な処理能力を提供することが可能な１つのプロセッサを含んでよい。たとえば、プロセッサユニット１４４は、場合によっては高性能プロセッサまたはＧＰＵを含んでよい。あるいは、プロセッサユニット１４４によって用いられる複数のプロセッサが存在してよく、これらのプロセッサは、並列して機能し、特定の機能を行ってよい。
【0066】
ディスプレイ１４６は、たとえばタブレットデバイスまたはデスクトップコンピュータ用のコンピュータモニタまたはＬＣＤディスプレイであってよいが、これらに限定されない。
【0067】
インタフェースユニット１４８は、プロセッサユニット１４４がシステム１００内の他のデバイスと通信することを可能にする任意のインタフェースであってよい。いくつかの実施形態において、インタフェースユニット１４８は、シリアルバスまたはパラレルバスの少なくとも１つと、たとえばパラレルポート、シリアルポート、ＵＳＢポート、および／またはネットワークポートなどの対応するポートとを含んでよい。たとえば、ネットワークポートは、プロセッサユニット１４４が、インターネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、またはピアツーピアネットワークを介して、直接、あるいはモデム、ルータ、スイッチ、ハブ、または他のルーティングデバイスや変換デバイスを介して通信することができるように用いられ得る。
【0068】
Ｉ／Ｏハードウェア１５０は、たとえばマイクロフォン、スピーカ、キーボード、マウス、タッチパッド、ディスプレイデバイス、およびプリンタを含んでよいが、これらに限定されない。
【0069】
電源ユニット１５４は、当業者には周知であるように、システム１００の様々な構成要素に電力を供給するために接続された１または複数の電源（不図示）を含んでよい。
【0070】
通信ユニット１５２は、プロセッサユニット１４４が他のデバイスと通信することを可能にするための様々な通信ハードウェアを含む。たとえば、通信ユニット１５２は、たとえばイーサネットまたは８０２．１１ｘアダプタなどのネットワークアダプタ、ブルートゥース無線または他の短距離通信デバイス、またはたとえばＩＥＥＥ８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、または８０２．１１ｎなどの規格を用いるＣＤＭＡ、ＧＳＭ、またはＧＰＲＳプロトコルに準拠した無線通信のための無線トランシーバの少なくとも１つを含む。
【0071】
メモリユニット１５６は、オペレーティングシステム１５８、ペレットトラッカ１５９、関心領域（ＲＯＩ）提案モジュール１６０、ＲＯＩ分類モジュール１６２、ＲＯＩ追跡モジュール１６４、軌跡分類モジュール１６６、およびデータファイル１６８のためのプログラム命令を格納する。ペレットトラッカ１５９またはモジュール１６０～１６６のいずれかに関するプログラム命令のいずれかが、プロセッサユニット１４４または別のコンピューティングデバイスのプロセッサの少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサは、本教示の教示に係る特定の機能を行うために構成される。留意すべき点として、代替実施形態において、ペレットトラッカ１５９およびモジュール１６０～１６６は、同じ機能が提供される限り、異なるソフトウェアプログラミング構造を用いて他の方法で編成され得る。オペレーティングシステム１５８は、特定のモジュールおよび他のプログラムを実行するためにどの物理プロセッサが用いられるかを選択することが可能である。たとえば、オペレーティングシステム１５８は、たとえばプロセッサ内の異なるコアを用いて、またはマルチプロセッササーバ上の異なるプロセッサを用いて、使用される物理ハードウェアの異なる部分で実行するようにプロセスを切り換えることができる。
【0072】
ペレットトラッカ１５９は、ペレットカウントをリアルタイムで行うためのプログラム命令を含み、たとえば食べ残しの飼料ペレットの量および／または食べ残しの飼料ペレットの急上昇に関する任意の勾配魚用飼料データなどの飼料データを生成し、これは、水槽１１０内の魚に供給される魚用飼料の量を調整するために魚用給餌機３２０への制御信号を生成するためにＡＰＩ３１０に提供される。ペレットトラッカ１５９は、ペレット追跡中に特定の動作を行うために、ＲＯＩ提案モジュール１６０、ＲＯＩ分類モジュール１６２、ＲＯＩ追跡モジュール１６４、および軌跡分類モジュール１６６を呼び出す。ペレットトラッカ１５９の動作は、図６Ａに関して一般に説明される。
【0073】
あるいは、少なくとも１つの実施形態において、様々なモジュールは、メッセージパッシングを介して通信する、たとえばイベントベース形式で通信するスタンドアロンプログラムとして機能してよい。たとえば、ＲＯＩ提案モジュール１６０は、ビデオフィードに通信可能に結合されてよく、新たな画像フレームが取得されると、ＲＯＩ提案モジュール１６０はその処理を行う。画像フレームに関するＲＯＩが更なる処理のために準備されると、ＲＯＩ分類モジュール１６２は、それらを受け入れるために待機する。同様に、ＲＯＩ分類モジュール１６２は、ＲＯＩトラッカモジュール１６４のためのイベントを生成し、処理すべきデータがあることをＲＯＩトラッカモジュール１６４に通知する。これにより、ソフトウェアアーキテクチャがスケーラブルになり、安全かつスケーラブルな方法で多数のプロセッサおよび／またはコンピューティングデバイスに分散されることが可能である。
【0074】
データファイル１６８は、たとえばペレットトラッカ１５９およびモジュール１６０～１６６によって用いられる、たとえば特定の分類器および他の変数などの動作パラメータを格納するために用いられ得る。データファイル１６８は、飼料トラッカによって決定される食べ残しの飼料ペレットの履歴、ならびに、品質管理および／またはモジュール１６０～１６６によって用いられるアルゴリズムの更なる訓練に用いられ得る、たとえば識別された物体および軌跡などの他のデータを格納するためにも用いられ得る。
高次の概観
高次の概観
【0075】
高次では、ペレットカウントアルゴリズム機能は、関心領域（ＲＯＩ）提案、ＲＯＩ分類、ＲＯＩ追跡、および軌跡分類という４つの異なるステップに分解され得る。
【0076】
ＲＯＩ提案モジュール１６０は、ビデオフレームを読み込み、離散物体を大まかに表す各フレームのセグメントを発見する。ＲＯＩ提案モジュール１６０は、提案されたＲＯＩのセットを生成するために、明らかにペレットではないＲＯＩを除外するフィルタリングの初期ラウンドにおいて、コンピュータビジョン技術を用いる。ＲＯＩ提案モジュール１６０の出力は、提案されたＲＯＩとともに、ＲＯＩ分類モジュール１６２に提供され得る任意の必要なメタデータを含む。ＲＯＩ提案モジュール１６０の動作は、図６Ｂに関して一般に説明される。
【0077】
ＲＯＩ分類モジュール１６２は、ＲＯＩ提案モジュール１６０によって決定された各ＲＯＩに、ＲＯＩが実際に飼料ペレットである物体を表す確率を表す「ペレットネス」の確率スコアを割り当てる役割を担う。各ＲＯＩにペレットネススコアを割り当てるために、ＲＯＩ分類モジュール１６２は、たとえばＲＯＩの生画素上で動作する畳み込みニューラルネットワーク（ＣＮＮ）などであるがこれに限定されない深層学習（ＤＬ）ベースの技術、またはたとえばＲＯＩ提案モジュール１６０において抽出された特定の特徴（たとえば画素色分布、キャニーまたはソボルエッジ検出を用いて発見されたエッジなど）を用いて動作する、より「古典的な」機械学習技術（たとえば極端勾配ブーストツリー（ＸＧＢ）、サポートベクトルマシン（ＳＶＭ）などのツリーベースの方法など）を用いてよい。ＲＯＩ分類モジュール１６２は、より一般的に「分類器」とも称され得る。ＲＯＩ分類モジュール１６２の出力は、各ＲＯＩのペレットネススコアとともに、ＲＯＩ追跡モジュールに提供され得る任意の必要なメタデータを含む。ＲＯＩ分類モジュール１６２の動作は、図６Ｃに関して一般に説明される。
【0078】
ＲＯＩ追跡モジュール１６４は、カスタム設計された追跡アルゴリズムを用いて、関連するペレットネススコアを有するＲＯＩが（１）新たな軌跡に追加され得るか、（２）既存の軌跡に追加され得るか、または（３）無視され得るかを決定することによってペレットの軌跡を決定および更新する。各軌跡は、軌跡を備える各ＲＯＩのデカルト座標および対応するペレットネススコアを含む。ＲＯＩ追跡モジュール１６４は、所与のフレームに出現した各ＲＯＩに対し何を行うかを決定した後、１または複数の終了した軌跡に追加される新たなＲＯＩで更新されていない任意の軌跡を終了させる。ＲＯＩ追跡モジュール１６４の出力は、終了した軌跡を含み、これは軌跡分類モジュール１６６に送信され得る。ＲＯＩ追跡モジュール１６４の動作は、図６Ｄ～６Ｅに関して一般に説明される。
【0079】
軌跡分類モジュール１６６は、終了した軌跡がペレットとしてカウントされるか非ペレット物体としてカウントされるかの最終決定を行う。そのために、軌跡分類モジュール１６６は、たとえば軌跡の長さ、軌跡を構成する物体のペレットネススコアの分布、およびＲＯＩ提案モジュール１６０によって決定された他のＲＯＩメタデータの分布などのデータを用いてよい。軌跡分類モジュール１６６は、確率的機械学習モデルを用いて、または単に慎重に選択された閾値および条件付き規則を用いて上述したデータを処理し、終了した軌跡が飼料ペレットに対応するか他の物体に対応するかを決定し得る。軌跡分類モジュール１６６の動作は、図６Ｆに関して一般に説明される。
データ収集のための物理的セットアップ
データ収集のための物理的セットアップ
【0080】
ペレットカウントアルゴリズムが効果的に機能するために、後述する特定のハードウェアセットアップにより、改善された効率および精度が実現される。
【0081】
物体エンハンサ１１６は、飼料カメラ１１４の背景を作成する任意の材料で作られ得る。たとえば、物体エンハンサ１１６は、高密度ポリエチレンシート（ＨＤＰＥ）または他の材料を用いて作られた高耐久性かつ半透明のプラスチックであってよいが、これらに限定されない。この物体エンハンサ１１６は、高コントラストの背景を作成することにより、飼料カメラ１１４と物体エンハンサ１１６との間を通過する任意の物体が、ビデオフィードからの画像フレームに適用されるアルゴリズムによってより容易に識別可能であるようにする。好適には、物体エンハンサは、一貫した色を有し、半透明である。たとえば、色は（たとえば高コントラストの背景を提供するために）白色または淡色であってよいが、これらに限定されない。
【0082】
図４Ａは、放流管１１２において用いられるハードウェアセットアップ４００の例示的な実施形態の斜視図を示す。図４Ｂは、図４Ａに示す例示的な実施形態の断面図を示す。飼料カメラ１１４は、飼料カメラ１１４の視野が物体エンハンサ１１６の全体または大部分を捕捉し得るように、かつ飼料カメラ１１４と物体エンハンサ１１６の下面との間に一定の距離があるように、物体エンハンサ１１６の下側に連結され得る。たとえば、ブラケット４０８は、物体エンハンサ１１６の下面に取り付けられた上端部と、脚部を介して上端部に連結された中間部とを有してよく、飼料カメラ１１４は、中間部に取り付けられ、その視野が物体エンハンサ１１６に向けられ得る。支柱４１０ｐを有するたとえばＵ字形ブラケットなどの第２のブラケットは、物体エンハンサ１１６および飼料カメラ１１４が回転する能力を制限するが、放流管１１２内の水圧の変化により水流４６０が放流管１１２から出る際に物体エンハンサ１１６および飼料カメラ１１４が上下することを可能にするような方法で、放流管１１２に取り付けられ得る。ブラケット４０８および／または第２のブラケット４１０は、ブラケット４０８および／または第２のブラケット４１０が放流管１１２に隣接し、飼料カメラ１１４および物体エンハンサ１１６が一定の距離を保つ、または所定の範囲内で距離を変化させることを可能にするために、放流管１１２に対する位置を維持するような他の方法で放流管１１２に結合されてもよい。代替または追加として、飼料カメラ１１４は、ブラケット４０８または第２のブラケット４１０に連結され得る。代替または追加として、飼料カメラ１１４は、放流管１１２に連結され得る。飼料カメラ１１４は、ネットワーク接続（たとえばイーサネットケーブル１１８）に接続するためのワイヤ４２０を有してよい。あるいは、飼料カメラ１１４は、イーサネットスイッチ１２０への無線接続を有してよい。
【0083】
たとえば、ブラケット４１０は、物体エンハンサ１１６が放流管１１２の出口ポートより上に位置し、放流管１１２内で水圧が上昇した場合に水流４６０が放流管１１２から出ることを可能にするために、上方に移動することによって物体エンハンサ１１６の下面と出口ポートの上面との間に隙間を提供し得るように、放流管１１２の出口ポートまたは開口部に取り付けられ得る。これを実現するために、ブラケット４１０は、物体エンハンサ１１６のエッジの２つの部分に存在する溝１１６ｇによって摺動可能に係合された支柱４１０ｐの形式の摺動機構を含む。水圧が低下すると、物体エンハンサ１１６は下方に移動し得る。水圧が上昇すると、物体エンハンサ１１６は上方に移動し得る。その結果、飼料カメラ１１４が放流管１１２に固定され、物体エンハンサ１１６が放流管１１２に隣接して摺動可能に取り付けられることにより、異なる量の水流が放流管１１２から出る場合に物体エンハンサ１１６が上下に移動し得る構成が生じ得る。
【0084】
図示されていないが、保持要素は、物体エンハンサ１１６がブラケット４１０の支柱４１０ｐから外れ、放流管１１２の出口ポートから浮き上がるのを防ぐために用いられ得る。たとえば、支柱４１０ｐの端部は、水流４６０が物体エンハンサ１１６を支柱４１０ｐの上端まで持ち上げるほど強い場合に物体エンハンサ１１６の上面に係合し、物体エンハンサ１１６が放流管１１２の出口ポートで取付け台（たとえばブラケット４１０の支柱４１０ｐ）から外れることを防ぐように、球状の端部を有してよく、または外側に開いた形状であってよい。
【0085】
任意選択的に、少なくとも１つの実施形態において、物体エンハンサ１１６に向けられた光を生成するために光源４５０が取り付けられ得る。そのような場合、光源４５０は、ブラケット４１０に固定され得る。
【0086】
ブラケット４０８、ブラケット４１０、および支柱４１０ｐは、まとめてブラケット構成または取付けアセンブリと称され得る。
【0087】
留意すべき点として、少なくとも１つの実施形態において、ブラケット４１０は下側水平部材４１０ｍ１および４１０ｍ２を含み、それらは互いに隣接し、互いに対し可動であることにより、ブラケット構成が異なる径を有する放流管１１２に適合し得るようにブラケット構成の幅を摺動可能に拡大または縮小することを可能にする。したがって、下側水平部材４１０ｍ１および４１０ｍ２は、支柱４１０ｐが配置されたブラケット４１０の上側横方向タブが放流管１１２の側壁の上縁部に重なるように位置するように２つの水平部材４１０ｍ１および４１０ｍ２が位置する場合にそれらを互いに固定するための固定具を受容し得る、互いに位置合わせされたチャネルを含む。
【0088】
図５は、動作環境におけるシステム１００の例示的な実施形態の概略図を示す。水槽１１０は、ペレット２１０を食す魚５１０をその中に有する。また魚５１０は糞２２０を排泄する。食べ残しの飼料ペレット２１０および糞２２０は、放流管１１２を通って水槽１１０から出される。これらの離散物体（食べ残しの飼料ペレット２１０および糞２２０）は、水圧および水流４６０によって物体エンハンサ１１６の方向に移動する。物体エンハンサ１１６は水面に浮遊し、水流４６０を遮断しないように管ブラケット４１０の支柱４１０ｐに移動可能に係合する。飼料カメラ１１４は、半透明または透明である物体エンハンサ１１６に向けられ、光源４５０が物体エンハンサ１１６を照明する。少なくとも１つの実装において、光源４５０は、動作環境における周囲光が、飼料カメラ１１４によって取得されたビデオフィード５３０の画像フレーム内に物体（たとえば食べ残しの飼料ペレット２１０、糞２２０、および他の要素）が捕捉されることを可能にするために不十分である場合のみ、物体エンハンサ１１６を照明する。飼料カメラ１１４は、たとえばイーサネットケーブル１１８などの通信リンクを介して、または飼料カメラ１１４がトランシーバ（不図示）を含む少なくとも１つの実施形態において無線で、ビデオフィード５３０をコンピュータ１４０に提供する。コンピュータ１４０は、食べ残しの飼料ペレットをカウントするペレットトラッカ１５９を動作させ、たとえばペレット数などのデータ出力を魚用給餌機３２０に提供する。少なくとも１つの実施形態において、コンピュータ１４０は、ペレット数および任意選択的に食べ残しの飼料ペレットにおける任意の過剰な勾配を今後の使用または追跡のために養魚場のオペレータに提供してよい。コンピュータ１４０は、この出力を後述する様々なモジュールを用いて作成してよい。
【0089】
図６Ａは、システム１００によって用いるためにペレットトラッカ１５９によって実装され得るペレットカウントアルゴリズム６００の例示的な実施形態のフローチャートを示す。
【0090】
６１０において、コンピュータ１４０は、飼料カメラ１１４によって取得されるビデオフィード５３０から結果として生じる画像フレームを得る。たとえば、コンピュータ１４０は、たとえば予め定められたフレームレートで飼料カメラ１１４によって取得された順序で画像フレームを取得する。少なくとも１つの実装において、飼料カメラ１１４は、毎秒２５フレームのフレームレートを用い、フレームレートが低すぎる場合、フレーム間で物体が移動する距離が大きくなりすぎ、正確な物体追跡ができない場合がある。画像フレームは、データストア１５６に格納され得る。理解すべき点として、各画像フレームは、フレームが取得された時に飼料カメラ１１４の視野内にあったものを表すデータを含む。
【0091】
６２０において、コンピュータ１４０は、ＲＯＩ提案モジュール１６０を用いて画像フレームを前処理し、提案されたＲＯＩおよび任意の関連メタデータ（たとえばそれらが由来する飼料カメラ１１４の一意の識別子など）を取得する。提案されたＲＯＩおよびメタデータは、たとえばＲｅｄｉｓまたはＡｐａｃｈｅ Ｋａｆｋａなどであるがこれらに限定されないメッセージングツールを介してＲＯＩ分類モジュール１６２に提供される。用いられるメッセージングツールは、たとえば、各モジュールがクラスタ内の異なるプロセッサまたは異なるコンピューティングデバイスで実行された場合に異なるモジュール間でのデータ転送を容易にし得る。ＲＯＩ提案モジュール１６０の動作は、図６Ｂに関してより詳細に説明される。
【0092】
６３０において、コンピュータ１４０は、ＲＯＩ分類モジュール１６２を用いてＲＯＩ分類を行い、任意の関連メタデータとともに各ＲＯＩのペレットネススコアを取得する。メタデータは、たとえば、ＲＯＩがどのカメラに由来するかを下流のモジュールの１または複数に通知する一意のＩＤ、および各フレームを一意に識別するタイムスタンプであってよい。ペレットネススコアおよびメタデータは、再度メッセージングツールを介して追跡モジュール１６４に提供される。ＲＯＩ分類モジュール１６２の動作は、図６Ｃに関してより詳細に説明される。
【0093】
６４０において、コンピュータ１４０は、ＲＯＩ追跡モジュール１６４を用いて、ＲＯＩ、関連するペレットネススコア、および任意の適用可能なメタデータにＲＯＩ追跡を行う。ＲＯＩ追跡モジュール１６４は、新たな軌跡を生成し、軌跡を更新し、および／または終了した軌跡（更新が不可能な軌跡）を決定する。ＲＯＩ軌跡モジュール１６４の出力は、終了した軌跡である。ＲＯＩ追跡モジュール１６４の動作は、図６Ｄおよび図６Ｅに関してより詳細に説明される。
【0094】
６５０において、コンピュータ１４０は、軌跡分類モジュール１６６を用いて終了した軌跡に軌跡分類を行う。軌跡分類モジュール１６６の出力は、終了した軌跡がペレットとしてカウントされるか非ペレット物体としてカウントされるかである。軌跡分類モジュール１６６の動作は、図６Ｆに関してより詳細に説明される。
【0095】
６６０において、軌跡分類の結果は、養魚場に提供され、それについて養魚場で決定が下され得るデータを決定するために処理される。たとえば、軌跡分類の結果は、たとえば１分、５分、１０分、１５分、またはそれ以上などの特定の時間間隔にわたる食べ残しの飼料ペレットの量または食べ残しの飼料ペレットに大きな勾配が存在するかが、給餌機３２０によって水槽１１０内の魚に供給される魚用飼料の量を制御するために作用するＡＰＩ３１０または給餌機３２０に直接提供されるように、６６０において処理され得る。少なくとも１つの実装において、時間間隔は、予めプログラムされ得る。あるいは、少なくとも１つの実装において、時間間隔は、たとえばＡＰＩ３１０を介してエンドユーザによって提供された入力に基づいて使用中に修正され得る。
【0096】
少なくとも１つの実施形態において、ペレットカウントアルゴリズム６００は、放流管１１２を通って出る廃棄ペレットの総数の所定の割合（たとえば１０％、１５％、２０％、または別の割合）として、飼料カメラ１１４の視野を通過する廃棄ペレットの数を決定する。この所定の割合は、たとえば、放流管１１２を通って出される物体の総数と比較した飼料カメラ１１４の視野を通過する物体の既知の比率をもたらす物体エンハンサ１１６の視野および／またはサイズを選択することなどによって、様々な方法で確立されてよく、カウントされた物体および物体の総数が食べ残しの飼料ペレットである。代替または追加として、この所定の割合は、たとえば、飼料カメラ１１４の視野を通過する物体を測定／計数し、網／容器を用いて放流管１１２を通って出る全ての物体を収集し、網／容器内の物体をカウントすることなどによって、測定によって検証され得る。この所定の割合は、その後、放流管１１２を通って出る廃棄ペレットの総数を外挿するために用いられ得るスケール係数（たとえば所定の割合が１０％である場合は１０、または所定の割合が２０％である場合は５、あるいは飼料カメラ、物体エンハンサ、および放流管の実際の物理的セットアップに依存した他のスケール係数）を提供する。
【0097】
あるいは、少なくとも１つの実装において、コンピュータ１４０は、軌跡分類の結果を、データベースを管理し、エンドユーザに結果を表示し、エンドユーザによって更新され得る規則のフレームワークを用いてＡＰＩ３１０と統合するシステム１００の一部であってよいバックエンドサービスに提供する。たとえば、そのような更新規則は、「最後の１０分間にカウントされたペレットの数が特定の数未満であった場合、供給率を５％増加させ、特定の数を超えた場合、５％減少させる」ことであってよい。いくつかの実装において、カウントされたペレットの数が廃棄ペレットの理想的な数（すなわち設定値）からどの程度離れているかに依存して、供給率の増減率は可変であってよい。
ＲＯＩ提案モジュールの詳細
ＲＯＩ提案モジュールの詳細
【0098】
図６Ｂは、ＲＯＩ提案モジュール１６０によって行われる前処理６２０を実行するための方法の例示的な実施形態のフローチャートを示す。ＲＯＩ提案モジュール１６０は、物体エンハンサ１１６によって、２つの連続した画像フレーム間で大幅に変化する画素のみが廃棄飼料ペレットまたは他の移動物体を潜在的に表す環境において動作する。この環境特性は、更なる検討の根拠を与える各画像フレームの領域（たとえば関心領域ＲＯＩ）を識別するために用いられる。
【0099】
６２２において、コンピュータ１４０は、背景減算を実行する。背景減算を実行するために用いられる技術は、後続フレーム間で移動し得る物体を識別することが可能なものである。たとえば、新たな画像フレームを読み込むと、ＲＯＩ提案モジュール１６０は、たとえばＫ最近傍（ＫＮＮ）ベースのアルゴリズムなどであるがこれに限定されない背景減算アルゴリズムを用いて、新たな画像フレームのための二値画素マスクを生成してよい。このマスクにおいて、値０を有する画素は、移動しない背景の一部であると見なされ、値１を有する画素は、移動する前景の一部であり、そのような画素は移動物体に関連し得る。
【0100】
６２４において、コンピュータ１４０は、潜在的なＲＯＩを決定するために、輪郭検出を実行する。たとえば、ＲＯＩ提案モジュール１６０は、輪郭検出アルゴリズムを用いて、二値画素マスクにおける前景画素の各「島」の境界を抽出する。輪郭検出アルゴリズムは、たとえば、画素追従、頂点追従、またはランデータベースの追従技術を含むがこれらに限定されない様々な適切な技術を用いて実装され得る。使用され得る画素追従輪郭検出アルゴリズムの例は、ＯｐｅｎＣＶライブラリによって提供されるｆｉｎｄＣｏｎｔｏｕｒｓ法である。ｘ方向およびｙ方向の両方における各輪郭の最小点および最大点を発見することによって、ＲＯＩ提案モジュール１６０は、各前景物体の周囲に境界ボックスを画定し得る。元画像におけるこれらの境界ボックスの中身がＲＯＩと称される。
【0101】
実際には、所与の画像において、飼料ペレットに対応しない変化する画素のパッチが多数存在する。そのような画素パッチは、排泄物、気泡、または移動装置などの他の物体を表し得るが、多くの場合、水／空気界面の揺らぎなどの視覚アーチファクトに由来し得る。計算リソースの浪費を防ぐために、ＲＯＩ提案モジュール１６０は、６２６においてフィルタリングを実行することによって、追加の処理のためにそれらを送信する前にペレット以外のＲＯＩを除去するように構成され得る。
【0102】
６２６において、コンピュータ１４０は、飼料ペレットに対応しない任意のＲＯＩを識別および除去するためにＲＯＩフィルタリング６２６を行う。たとえば、（１）各ＲＯＩから特徴を抽出するために１または複数のコンピュータビジョンベースのフィルタが用いられてよく、（２）その後、これらの特徴は、経験的に決定された閾値と比較され、上述した特徴に基づいてどのＲＯＩが省略され得るかを決定することができる。使用され得るフィルタの例は、飼料ペレットとするには小さすぎる物体およびアーチファクトに対応するＲＯＩをフィルタするための最小輪郭サイズ要件を含むが、これに限定されない。あるいは、別の種類のフィルタは、たとえば円形度またはアスペクト比などの形状要件に基づいてよい。
【0103】
あるいは、より複雑な特別に設計されたフィルタのセットは、たとえば気泡および水の揺らぎのアーチファクトといった特定の種類の不所望の物体を除去するために効果的である。１つのアプローチとして、ＲＯＩの輪郭内の画素と輪郭外の画素との強度を比較することがある。飼料ペレットを画定する輪郭内の画素は、周囲の画素よりも暗いことが予想される。対照的に、水のアーチファクトおよび気泡を画定する輪郭は、一般にこの仮定を満たさない。
【0104】
使用され得るまた別のＲＯＩフィルタリング方法は、輪郭と、その対となる「強調輪郭」との比較測定に基づく。前景マスク（たとえば背景減算の出力）から生成されたＲＯＩ輪郭とは対照的に、少なくとも１つの実施形態において、ＲＯＩ提案モジュール１６０は、物体の境界が存在する場所に関する第２の推定を得るために元画像に閾値処理を行うことによって「強調輪郭」を生成してよい。この閾値処理は、たとえば、暗い色であるという物体の特性および明るい色であるという物体エンハンサ１１６の特性を用いて、物体の境界を発見してよい。第１および第２の推定において得られた２つの異なる種類の輪郭の形状は、飼料ペレットについては同様であるが、気泡、水のアーチファクト、および不規則なエッジおよび押出しを有する他の物体（たとえば排泄物など）については著しく異なっている。したがって、第１および第２の推定から互いに対応する（たとえば同じ潜在的物体を表す）物体の輪郭に関して形状測定値を取得することができ、形状測定値の差が形状測定値閾値レベル未満である場合、それらのＲＯＩは同じ物体（たとえば飼料ペレット）に関する可能性が高く、保持され得るが、形状測定値閾値より大きい形状測定値の差を有する他のＲＯＩは、除去され得る。
【0105】
これらのフィルタリング方法は、高精度でペレットＲＯＩを識別するためには不十分な場合があり、「ペレットネス」確率を提供するものではないが、非飼料ペレットＲＯＩの大部分を除去するために役立つ。この段階でこれらの非飼料ペレットＲＯＩを除去することにより、ペレットカウントアルゴリズムの下流の計算効率が全体として大幅に改善される。
【0106】
少なくとも１つの実施形態において、複数のフィルタが、非飼料ペレットＲＯＩを除去するために直列方式で用いられ得る。たとえば、第１のフィルタステージは、候補ＲＯＩから測定される第１の特徴に基づいてよく、フィルタされなかった各ＲＯＩは、第２の測度または強調輪郭フィルタリングに基づく第２のフィルタステージに提供され、場合によっては追加のフィルタステージについても以下同様である。
【0107】
また、少なくとも１つの実施形態において、ＲＯＩフィルタは、放流管における物理的セットアップ（たとえば図４Ａおよび図４Ｂのハードウェアセットアップ）に何か異常がある場合にそれを識別し、たとえば、気泡を識別可能なフィルタの使用に基づいて異常な量の気泡が存在する場合、エンドユーザに通知するために用いられ得る。
【0108】
６２８において、コンピュータ１４０は、所与の画像フレームにおいて、６２６でフィルタされなかったＲＯＩに基づいて、処理される候補ＲＯＩのセットを決定する。またコンピュータ１４０は、たとえば飼料カメラ１１４の一意の識別子、および飼料カメラ１１４によって取得される画像フレームの各々を一意に識別するタイムスタンプなどのメタデータも生成する。
ＲＯＩ分類モジュールの詳細
ＲＯＩ分類モジュールの詳細
【0109】
図６Ｃは、ＲＯＩ分類モジュール１６２によって実行され得るＲＯＩ分類方法６３０の例示的な実施形態のフローチャートを示す。ＲＯＩ分類モジュール１６２の主な目的は、各ＲＯＩに、そのＲＯＩがペレットである確率（「ペレットネス」スコア）を割り当てることである。方法６３０が実施され得る方法はいくつか存在するが、畳み込みニューラルネットワーク（ＣＮＮ）を用いてペレットネススコアを取得することが好適である。
【0110】
ＣＮＮモデルに基づく多数の分類器は、複雑なデータセットに対して優れた結果を達成している。ただし、ペレットか非ペレットかの二値分類タスクの性質により、オーバーフィッティングや不必要に大きな計算フットプリントを防ぐために、比較的複雑性の低いＣＮＮモデルを用いることが好ましい。ＲＯＩ分類器の可能な実装の１つとして、特徴抽出ネットワークとして０．２５に設定されたアルファパラメータを有するＭｏｂｉｌｅＮｅｔ ｖ２モデルを使用し、その後、ＲｅＬＵ活性化関数を有する６４個の隠れユニットを有する高密度結合層、および３つの出力ノードとソフトマックス活性化関数とを有する最終的な高密度結合層を使用することがある。ただし、留意すべき点として、別の実装では他の分類器が用いられ得る。
【0111】
訓練または推論のためにＲＯＩ分類器にサンプル（たとえば、各サンプルは、処理中の現在の画像フレームからの所与のＲＯＩに対応し、その画像フレームからのＲＯＩ内の画像データを含む）を入力する前に、ＲＯＩが６４×６４画素のサイズに再形成され、平均中心正規化も受けるように、ＲＯＩに前処理が行われる。これらの６４×６４のＲＧＢ画像入力データセットは、ＲＯＩ分類器への唯一の入力である。訓練中、回転および水平／垂直フリップの形式でのランダムな増強が用いられる。ニューラルネットワークは完全なペレットを認識することだけが意図されるため、ペレット全体が示されることを妨げる可能性のある補強（たとえばランダムなクロッピングや剪断）は用いられない。事前訓練された重みも用いられない（すなわち転移学習はない）。
【0112】
ニューラルネットワークに伴う共通の問題は、較正が不十分なことであり、これは、確信的な予測のみを行う傾向を意味する。これは、所与のＣＮＮモデルが誤った決定をする場合、それが高い信頼度を伴うという点で、望ましくない品質である。ＲＯＩ分類器による処理のためにデータセットが取得される生産環境における画像の分布において、人間のラベラでもサンプルがペレットであるか非ペレット物体であるかの決定に確信を持てない多数の物体が存在する。そのような場合、ペレット分類モデルは、この不確実性を反映する確率（すなわち０または１よりも０．５に近い確率）を生成することが望ましい。
【0113】
不十分なモデル較正の問題を緩和するために、ペレット、非ペレット、および曖昧という３つのクラスにあるオブジェクトで訓練データセットを構築することが役立つ。人間のラベラは、ＲＯＩ提案モジュール１６０によって提供されたＲＯＩを、これら３つのクラスの１つとしてラベル付けし、ペレット／非ペレットの予測に完全な確信がない場合は常に曖昧クラスを用いるように指示された。
【0114】
人間のラベラとＣＮＮとがＲＯＩデータを見る方法の重要な違いの１つは、人間は、周囲の（たとえば前後の）画像フレームからの文脈情報を利用できる点である。ＲＯＩがペレットとしてラベル付けされ得るか否かに関して不確実である場合、人間は、前後両方のフレームを見て判断の助けとすることができる。そのような場合、周囲のフレームからの情報（たとえば前のフレームにおける見え方、またはフレーム間での動き方など）によってＲＯＩが明らかにペレットであるが、個々のフレームから物体を見るだけではペレットが何であるかが明らかではない場合、ラベラは、文脈情報を忘れ、曖昧ラベルを用いるように指示された。
【0115】
曖昧クラスの追加により、各サンプルについてＲＯＩ分類器が出力した確率分布の有意義性が高められた。ここで、サンプルはただ１つの物体であり、確率分布は、この物体が（ａ）ペレット、（ｂ）非ペレット、および（ｃ）曖昧である確率として定義され、これら３つの確率の合計は１に等しい（すなわち、これはソフトマックス分布である）。いくつかのシナリオでは、本物のペレットの軌跡は、非ペレット物体（たとえば気泡または排泄物の一部）とわずかに重なる１つのＲＯＩを中間部に有してよく、これによりそのＲＯＩに０．０のペレットネススコアが割り当てられ、そのＲＯＩはトラッカによって省略される。この方法を採用することにより、分類モデルは、そのＲＯＩに低いスコアを付与し得るが、トラッカによって無視されるほど低いスコアではない。この技術の採用により、軌跡分類モジュール１６６がペレット軌跡と非ペレット物体軌跡とを効果的に分離する能力も改善される。
【0116】
十分な性能を実現するために、ＲＯＩ分類モデルを訓練するために各クラスに少なくとも５０００個のサンプルが用いられ得る。これらのサンプルは、可能な限り多くのシナリオ（たとえば異なる照明条件または放流管流量）から得られ得る。新たな環境に移動する場合、分類モデルの微調整が必要になり得る。
【0117】
６３２において、コンピュータ１４０は、処理中である現在の画像フレームおよびＲＯＩの座標を取得する。各ＲＯＩの画像データを表すサンプルが取得される。６３４において、サンプルは前処理され、これは、各々が同じサイズを有する行列によって表されるように再形成および平均中心正規化を実行することによって上述したように行われ得る。
【0118】
６３６において、前処理された各サンプルは、各サンプルの確率分布を生成するＲＯＩ分類器に適用される。ＲＯＩ分類器は、上述したようなＣＮＮベースの分類器であってよい。これは、たとえばソフトマックス分布などの離散確率分布であってよい。たとえば、各サンプルについて、確率分布は、合計すると１になり、潜在的物体がＲＯＩ分類器によって用いられるクラスの１つに属する見込みを表す確率スコアを含む。所与のサンプルの確率分布は、サンプルに対応する物体がペレットである第１の確率、この物体が非ペレットである第２の確率、および物体が曖昧である第３の確率を含む。たとえば、ＣＮＮ分類器は、所与のサンプルについて、ペレットクラスに０．８、曖昧クラスに０．１５、および非ペレットクラスに０．０５として確率分布を提供してよい。
【0119】
６３８において、各サンプルの最も高い確率が、サンプルに対応する物体のＲＯＩをペレット、非ペレット、または曖昧のいずれかとしてラベル付けするために用いられる。データファイル１６８は、ＲＯＩ分類モジュール１６４によって処理される各ＲＯＩの分類を追跡し続けるために更新され得る。
ＲＯＩ追跡モジュールの詳細
ＲＯＩ追跡モジュールの詳細
【0120】
図６Ｄは、ペレットであると分類されたＲＯＩに基づいてＲＯＩ追跡モジュール１６４によって実行され得るＲＯＩ追跡方法６４０の例示的な実施形態のフローチャートを示す。目的はペレットのカウントであり、ビデオフィードの複数の画像フレーム内にペレットが存在するため、ペレットトラッカ１５９は、連続した画像フレームにわたりペレットを複数回カウントすることを避けるために、識別される各ペレットを追跡してよい。
【0121】
ＯｐｅｎＣＶのような追跡アルゴリズムのオープンソース実装の多くは、不十分または非効果的である。通常、これらのアルゴリズムは、画像パッチ（たとえばＲＯＩ）で初期化され、次の画像（たとえばビデオ内の次のフレーム）内で同様の画像パッチを探索することによって動作する。これらの方法は、画像パッチに対して動作するので、現代の陸上養魚場の規模では計算上の処理が不可能である。また、これらは、既存の軌跡にＲＯＩを追加するか否かを決定する場合にペレットネススコアを用いる機会をもたらさない。
【0122】
しかし、本明細書の教示によると、ペレットカウントアルゴリズムは、画像パッチを用いるのではなく、ペレットネススコアおよび各ＲＯＩの重心の座標を用いて動作する。一般に、ペレットネススコアは、ＲＯＩが追跡に値するかを決定し、そうである場合、（１）処理中である現在のＲＯＩを有する新たな軌跡を開始するか、または（２）ＲＯＩを既存の軌跡に追加するかを決定するために用いられる。
【0123】
６４２において、ＲＯＩ追跡モジュール１６４は、ペレットとして分類された所与のＲＯＩ（すなわち「ペレットＲＯＩ」）に関する単一の画像フレームからＲＯＩデータを受信する。このＲＯＩデータは、ＲＯＩの位置（たとえばＲＯＩの座標）と、ＲＯＩ分類モジュール１６２によって決定されたＲＯＩがペレットに対応する確率である「ペレットネスＲＯＩスコア」とを含み得る。このＲＯＩデータは、たとえば飼料カメラ１１４の識別子、および現在処理中である画像フレームが取得された時間を表すタイムスタンプなどのメタデータも含んでよい。
【0124】
６４４において、コンピュータ１４０は、ＲＯＩスコアが閾値スコアを満たすかを決定し、これは、ＲＯＩ分類器によって行われた分類の後、ＲＯＩが別のクラスに属するよりもペレットである可能性が高いという別の試験である。この比較が真である（すなわちイエス、ＲＯＩスコアが閾値スコアを満たしている）場合、ＲＯＩは候補ＲＯＩと称することができ、方法６４０は６４５に進む。
【0125】
６４４での比較が偽である（すなわちノー、ＲＯＩスコアが閾値スコアを満たさない）場合、方法６４０は６４６に進み、この時点で物体は破棄され、それ以上追跡されない。閾値スコアは、経験的に決定され得る。
【0126】
６４５において、コンピュータ１４０は、どの軌跡が候補ＲＯＩを含むかを決定し、これは、ＲＯＩペレットに対応する物体の位置と、現在追跡中である軌跡とを比較することを含んでよい。たとえば、評価中である候補ＲＯＩと、評価中である候補ＲＯＩに最も近い既存の軌跡の「末尾」（たとえば最後のＲＯＩ）との間の距離が、（たとえばユークリッド距離の観点から）所定の距離閾値よりも大きい場合、現在のＲＯＩを有する新たな軌跡が、評価中である現在のＲＯＩを開始点として用いて開始され得る。あるいは、上述の距離が距離閾値未満である場合、ＲＯＩ追跡モジュール１６４は、評価中である現在のＲＯＩを、その既存の最も近い軌跡に追加する。６４６での評価は、たとえば図６Ｅの方法７００を用いて行われ得る。
【0127】
６４７において、現在の画像フレームについて評価すべき他のＲＯＩが存在するかが決定される。評価すべきＲＯＩが更に存在する場合、方法６００は６４２に戻る。
【0128】
現在の画像について全てのＲＯＩが処理された場合、方法６４０は６４８に進み、ＲＯＩ追跡モジュール１６４は、処理中である現在の画像フレームより前に存在した任意の軌跡が、現在の画像フレーム内のＲＯＩのいずれかで更新されていないかを決定する。これらの軌跡の各々は、「終了した軌跡」と称される。ＲＯＩ追跡モジュール１６４は、任意の終了した軌跡を識別し、これらはその後、軌跡分類モジュール１６６に提供され得る。
【0129】
図６Ｅは、ＲＯＩを既存の軌跡または新たな軌跡に割り当てるための方法６５０の例示的な実施形態のフローチャートを示す。方法６５０は、コンピュータ１４０によって実行されるとＲＯＩ追跡モジュール１６４によって行われ得る。この例示的な実施形態において、方法６５０は、現在の画像フレームにおいて図６Ｄに関して上述したようなＲＯＩペレットネススコアに基づいて破棄されなかった全てのＲＯＩに対して動作するとともに、いくつかの画像フレームを連続的に処理することができるバッチ処理法として実施される。少なくとも１つの実装において、方法６５０は、画像フレームごとにコンピュータ１４０によって実行され、コンピュータ１４０は、特定の画像フレーム内で発見された全てのＲＯＩを入力として受信する。
【0130】
６５２において、コンピュータ１４０は、現在の画像フレームに関する候補ＲＯＩおよびペレットネススコアを取得する。６５４において、候補ＲＯＩが存在しないかが決定される。この決定が真である場合、方法６５０は６５６に進み、次の画像フレームがロードされてよく、その後、方法６５０は６５２に戻り、次の画像フレームの候補ＲＯＩに関するデータが取得される。あるいは、６５４での決定が偽である場合、方法６５０は６５８に進む。
【0131】
６５８において、候補ＲＯＩが存在せず、アクティブな軌跡が存在するかが決定される。この決定が真である場合は、アクティブな軌跡に追加すべきＲＯＩが存在しないことを意味し、その場合、方法６５０は６６０に進む。６５８での決定が偽である場合、方法６５０は６６２に進む。
【0132】
６６０において、アクティブな軌跡は終了され、その後、終了した軌跡として識別され得る。アクティブな軌跡は、前の画像フレームにおいてＲＯＩが追加されたものである。この時点で、方法６５０は６５６に進み、次の画像フレームの候補ＲＯＩを処理してよく、または方法６５０は終了してよい（不図示）。
【0133】
６６２において、候補ＲＯＩが存在し、アクティブな軌跡が存在しないかが決定される。この決定が真である場合は、候補ＲＯＩを追加するアクティブな軌跡が存在せず、候補ＲＯＩが新たな軌跡に追加され得ることを意味し、この場合、方法６５０は６６４に進む。６６２での決定が偽である場合、方法６５０は６６６に進む。
【0134】
６６４において、各候補ＲＯＩのために新たなアクティブな軌跡が作成され、候補ＲＯＩは、新たな軌跡のための開始ノードまたはオブジェクトである。この時点で、方法６５０は６６６に進み、次の画像フレームの候補ＲＯＩを処理してよく、または方法６５０は終了してよい（不図示）。
【0135】
６６６において、最初はいくつかの（すなわち少なくとも１つの）候補ＲＯＩおよび少なくとも１つのアクティブな軌跡が存在する状況である。方法６５０は、６６６、６６８、６７０、および６７２を繰り返し、６６６が実行される度、評価の必要がある候補ＲＯＩが存在するかが決定される。この決定が真である場合、方法６５０は６６８に進む。この決定が偽である場合、方法６５０は６６０に進む。
【0136】
６６８において、方法６５０は、候補ＲＯＩがアクティブな軌跡に属するか、または１または複数の新たなアクティブな軌跡が作成されるべきかを決定することを含む。これは、候補ＲＯＩからアクティブな軌跡までの距離と距離閾値との比較に基づいて、アクティブな軌跡に一致または対応する候補ＲＯＩの位置を特定することによって決定され得る。これは、現在の候補ＲＯＩの位置（たとえば重心）およびアクティブな軌跡の末尾位置（たとえば直近で追加されたＲＯＩの位置）からの（たとえばユークリッド）距離に関するペア距離を決定し、最小ペア距離を決定することによって行われ得る。
【0137】
方法６５０は６７０に進み、各候補ＲＯＩと対応する最も近いアクティブな軌跡との最小ペア距離が距離閾値と比較される。ペア距離が距離閾値よりも小さい場合、方法６５０は６７２に進む。
【0138】
６７２において、候補ＲＯＩは、最も近いアクティブな軌跡に追加される。その後、候補ＲＯＩおよびその最も近いアクティブな軌跡は検討から外され、方法６５０は６６６に進み、評価が必要な他の候補ＲＯＩが存在するかが決定される。
【0139】
６７０での決定が偽である場合、方法６５０は６６４に進み、この時点で、現在の候補ＲＯＩについて新たな軌跡が作成される。その後、方法６５０は６６６に進み、評価すべき候補ＲＯＩが更に存在するかが決定される。方法６５０が６６６に進む前に、コンピュータ１４０は、最後に作成された軌跡およびＲＯＩを次のループ反復における検討から除外する。評価すべき他の候補ＲＯＩが存在しない場合、方法６５０は６６０に進む。
軌跡分類モジュールの詳細
軌跡分類モジュールの詳細
【0140】
図６Ｆは、コンピュータ１４０によって実行されると軌跡分類モジュール１６６によって行われ得る軌跡分類方法６８０の例示的な実施形態のフローチャートを示す。少なくとも１つの実施形態において、方法６８０は、軌跡が「アクティブ」状態から「終了した」状態に移行する度に行われる。代替実装において、方法６８０は、処理要件を低減するために可能な軌跡のサブセットにわたり行われる。
【0141】
この時点で十分に高いペレットネススコアを有する全てのＲＯＩが軌跡の一部であるが、これらの軌跡の全てが必ずしもペレットではない。個々の物体は異なる画像フレームで著しく異なって見え得るので、物体は、１または複数の画像フレームにおいてペレットのように見え、１または複数の他の画像フレームでは非ペレット物体のように見える場合がある。たとえば軌跡の長さ、軌跡内で追跡中である物体のＲＯＩに関するペレットネススコアの分布、および１または複数の他のフィルタ値の統計分布の少なくとも１つの測度（たとえば平均値、標準偏差、特定のパーセンタイルなど）であるがこれらに限定されない軌跡全体の特性を考慮することによって、軌跡分類モジュール１６６は、各軌跡が、ペレットまたは非ペレット物体に関連する可能性が最も高い軌跡であるという最終分類を行うことができる。
【0142】
６８１において、方法は、現在の軌跡内のＲＯＩに関するデータを取得することを含む。６８２において、現在の軌跡内のＲＯＩに基づいて、軌跡の長さ、軌跡内のＲＯＩに関するペレットネススコアの分布、および／または１または複数の他のフィルタ値の統計分布の少なくとも１つの尺度を含む軌跡測定値が生成される。少なくとも１つの実施形態において、ペレットネススコアの平均値のみが用いられる。あるいは、少なくとも１つの実施形態において、平均値ならびに２５／５０／７５パーセンタイルが用いられ、その結果、ペレット分類モデルによって見られる画像が大幅に明確になり得る。
【0143】
６８３において、軌跡測定値は、それらが取得された軌跡がペレット軌跡として分類され得るかを決定するために評価される。少なくとも１つの実施形態において、この評価は、軌跡測定値を、軌跡がペレット軌跡クラスまたは非ペレット軌跡クラスに属する確率を提供する軌跡分類器に提供することによって行われ得る。これは、たとえばロジスティック回帰や、たとえばランダムフォレストなどの線形モデル、またはランダムフォレストやＸＧＢｏｏｓｔなどのツリーベースのモデルを用いて行われ得る。あるいは、少なくとも１つの実施形態において、この評価は、少なくとも１つの軌跡測定値と、経験的データを用いて決定された対応する軌跡測定値閾値とを比較することによって行われ得る。そのような実施形態において、軌跡測定値閾値を通過する軌跡測定値が多い場合、現在の軌跡は、食べ残しの飼料ペレットの軌跡である可能性が高いことが示され、方法は６８５に進み、軌跡はペレット軌跡と分類される。その後、方法６８０は６８６に進む。
【0144】
６８３での決定が偽である場合、方法６８０は６８４に進み、対応する物体の軌跡および対応するＲＯＩは破棄される。その後、方法６８０は６８６に進む。
【0145】
６８６において、分類すべき軌跡が他にあるかが決定される。この決定が真である場合、方法６８０は６８１に戻る。この決定が真でない場合、方法６８０は６８７に進み、終了する。
【0146】
少なくとも１つの実施形態において、方法６００またはそのサブセットは、取得画像内の物体が定義可能な周囲を有するように飼料カメラ１１４に背景を提供するために、飼料カメラ１１４に対向する放流管１１２の出口に隣接して、かつ飼料カメラ１１４の視野内に物体エンハンサ１１６を取り付けることと、飼料カメラ１１４によって取得されたビデオフィードが、物体エンハンサ１１６の画像である画像フレームを備え、画像の取得時に飼料カメラ１１４の視野を横切る物体を含むように、飼料カメラ１１４を物体エンハンサ１１６に固定することとを更に備える。
【0147】
少なくとも１つの実施形態において、魚が入った水槽１１０を有する陸上養魚場における飼料監視のためのシステム１００は、水槽１１０に結合された放流管１１２に取り付けられた飼料カメラ１１４であって、各画像の取得時に飼料カメラ１１４の視野を横切る、ペレットおよび非ペレット物体を備える物体の画像を備えるビデオフィードを捕捉するように構成された飼料カメラ１１４と、プロセッサユニット１４４および実行されるとプロセッサユニット１４４に方法６００または方法６００のサブセットを行わせる命令が格納されたメモリユニット１５６を備えるコンピュータ１４０とを備える。
【0148】
図７Ａは、放流管１１２において用いられるハードウェアセットアップ７００の例示的な実施形態の斜視図を示す。図７Ｂは、図７Ａに示す例示的な実施形態の断面図を示す。飼料カメラ１１４は、飼料カメラ１１４の視野が物体エンハンサ１１６の全体または大部分を捕捉し、かつ飼料カメラ１１４と物体エンハンサ１１６の下面との間に一定の距離があるように、２つの部材７０８ｍ１および７０８ｍ２から形成されたブラケット７０８に連結され得る。ブラケット７０８の部材７０８ｍ１および７０８ｍ２は、外側に延び、物体エンハンサ１１６の下面が可動に結合された支柱７１０ｐを有する第２のブラケット７１０に連結された横方向タブである上端を有してよい。部材７０８ｍ１および７０８ｍ２の下部は、部材７０８ｍ１および７０８ｍ２が互いに対して摺動可能であるようなチャネル７０８ｃ（そのうちの１つだけが可視）を有し、対応する横方向タブは伸縮可能であり、様々な径を有する放流管１１２にブラケット７０８が適合することを可能にする。横方向に延びるタブが放流管１１２のエッジに重なるように部材７０８ｍ１および７０８ｍ２が正確に配置されると、部材７０８ｍ１および７０８ｍ２を互いに固定するためにチャネル７０８ｃに固定具が適用され得る。飼料カメラ１１４は、飼料カメラ１１４の視野が物体エンハンサ１１６に向けられるように、部材７０８ｍ１および７０８ｍ２の下側水平部に取付けられ得る。ハードウェアセットアップ７００の少なくとも１つの実装において、物体エンハンサ１１６は、放流管１１２に隣接して摺動可能に取り付けられ、飼料カメラ１１４は、放流管１１２から異なる量の水流が出る場合に物体エンハンサ１１６が上下に動くことができ、飼料カメラ１１４が物体エンハンサ１１６から一定の距離に保たれるように、物体エンハンサ１１６から一定の距離を置いて物体エンハンサ１１６に結合される。少なくとも１つの実施形態において、チャネル７０８ｃは、飼料カメラ１１４をブラケット７０８に固定するために、たとえばねじなどの固定具によって係合されてもよい。
【0149】
第２のブラケット７１０は、Ｕ字形のブラケットであってよく、各々が横方向に延び支柱７１０ｐに結合されたタブを有する２つの垂直部材７１０ｖ１および７１０ｖ２を有する。部材７１０ｖ１および７１０ｖ２の上側横方向タブは、固定具を介してブラケット７０８の上側タブに固定される。ブラケット７１０は、垂直部材７１０ｖ１および７１０ｖ２の下側端部に結合された下側部材７１０ｍ１および７１０ｍ２も含む。部材７１０ｍ１および７１０ｍ２は、互いに対して可動であり、図４Ａ～４Ｂのブラケット構成に関して説明したのと同様の方法で互いに係合される。
【0150】
第２のブラケット７１０の上側横方向タブは、物体エンハンサ１１６および飼料カメラ１１４が回転する能力を制限するが、放流管１１２内の水圧が変化することにより放流管１１２から水流が出る際に物体エンハンサ１１６が上下することを可能にするような方法で、放流管１１２に固定され、定位置に保持され得る。ブラケット７０８、ブラケット７１０、および支柱７１０は、まとめてブラケット構成７４０または取付けアセンブリと称されてよく、図７Ｃに分離して示される。図７Ｄは、物体エンハンサ１１６が配置されたブラケット構成７４０を示す。飼料カメラ１１４は、ネットワーク接続（たとえばイーサネットケーブル）に接続するためのワイヤを有してよい。あるいは、飼料カメラ１１４は、イーサネットスイッチ１２０への無線接続を有してよい。
【0151】
たとえば、ブラケット７１０は、物体エンハンサ１１６が放流管１１２の出口ポートより上に位置し、上方に動くことによって物体エンハンサ１１６の下面と出口ポートの上面との間に隙間を設け、放流管１１２内で水圧が上昇した場合に放流管１１２から水流が出ることを可能にし得るように、放流管１１２の出口ポートまたは開口部に取り付けられ得る。これを実現するために、ブラケット７１０は、物体エンハンサ１１６のエッジの２つの部分に存在する溝１１６ｇによって摺動可能に係合された支柱７１０ｐの形式の摺動機構を含む。水圧が低下すると、物体エンハンサ１１６は下方に動き得る。水圧が上昇すると、物体エンハンサ１１６は上方に動き得る。
【0152】
図示されていないが、保持要素は、物体エンハンサ１１６がブラケット７１０の支柱７１０ｐから外れ、放流管１１２の出口ポートから浮き上がることを防ぐために用いられ得る。たとえば、支柱７１０ｐの端部は、水流が物体エンハンサ１１６を支柱７１０ｐの上端まで持ち上げるほど強い場合に物体エンハンサ１１６の上面を係合し、物体エンハンサ１１６が放流管１１２の出口ポートで取付け台（たとえばブラケット７１０の支柱７１０ｐ）から外れることを防ぐように、球状の端部を有し、または外側に開いた形状であってよい。
【0153】
任意選択的に、少なくとも１つの実施形態において、物体エンハンサ１１６に向けられる光を生成するように光源が取り付けられ得る。そのような場合、光源は、ブラケット７１０に固定され得る。
【0154】
本明細書で説明される実施形態の少なくとも１つにおいて実現される技術的利点の１つは、ペレットカウントアルゴリズムが、個々の廃棄（すなわち食べ残しの）ペレットをカウントおよび追跡することである。これは、他のアプローチが、（１）ペレットの活動の強度を測定する（たとえば、相対的な廃棄レベルを表すために所与の画像フレーム内のペレットの数を検出し、廃棄されるペレットの数を実際に測定しようと試みるわけではない）か、または（２）ペレットの小さな断面のみを追跡する（その結果、場合によっては不正確な推定値を提供する）ためである。対照的に、本明細書の教示に係るペレットカウントアルゴリズムは、特定の時間間隔にわたり飼料カメラの視野を通過する個々の廃棄ペレットをリアルタイムで正確にカウントし、推定値ではなく正確な測度を提供する。放流管内の流体力学に依存して、飼料カメラを通過する際に放流管の側面に付着することにより飼料カメラの視野外にある少数の（場合によっては無視できる数の）ペレットが存在する可能性がある。そのような場合、ペレット数は、上述したようなスケーリングの後、放流管の出口を通過するペレットの１００％にはならないが、たとえば９５％または９９％など、わずかに低くなり得るだけである。飼料カメラの視野を通過する廃棄ペレット（たとえば食べ残しのペレット）の数は、放流管から出る廃棄ペレットの総数の所定の割合（たとえば１０％または２０％）であってよく、これはその後、放流管を通って水槽から出る廃棄ペレットの総数を外挿するためにスケール係数（たとえば、所定の割合が１０％の場合は１０、所定の割合が２０％の場合は５）によってスケールアップすることができ、所定の割合は、上述したような検証によって決定される。
【0155】
本明細書で説明される実施形態の少なくとも１つにおいて実現される別の技術的利点は、ＡＩベースの魚用給餌システムが、陸上再循環養殖システムのインフラストラクチャを活用し、最小の計算要件で廃棄ペレットの大幅に正確な数をもたらすことである。これは、従来のシステムに適用される他のアプローチはいずれも、全体的な水中環境における廃棄ペレットの数の（正確な数ではなく）推定値を作成しようと試みるためである。より小さな物理的領域内で魚用飼料を監視するために環境を利用／操作（具体的には陸上システムの出口管を使用）することに加えてペレットカウントアルゴリズムを用いることは、本明細書の教示に固有であり、計算要件を抑えながら（たとえば、大きなデータセットを処理するＣＮＮに通常必要な高い計算能力を有する１または複数のＧＰＵを必要とせず）全ての廃棄飼料ペレットをカウントすることができるという点で有用である。
【0156】
本明細書で説明される実施形態の少なくとも１つにおいて実現される別の技術的利点は、ペレットカウントアルゴリズムが廃棄飼料の連続測定を可能にする一方で、他の方法が離散測度を作成することである。これは、ペレットカウントアルゴリズムが、結果的に今後の飼料要件を決定するために用いられ得る現在の飼料要件をリアルタイムで理解するために他のリアルタイムデータソースとの統合を可能にするためである。
【0157】
留意すべき点として、少なくとも１つの実施形態において、コンピュータが、たとえばＧＰＵのように十分に高い処理能力を有するプロセッサを用いる場合、物体エンハンサは用いられなくてよい。そのような実施形態において、ＲＯＩ提案モジュールおよびＲＯＩ分類モジュールは、たとえばＹＯＬＯなどのシングルショット検出器（ＳＳＤ）や、Ｆａｓｔｅｒ－ＲＣＮＮなどのマルチステージモデルといった、エンドツーエンドの様々な物体検出ニューラルネットワークに置き換えられ得る。
【0158】
留意すべき点として、少なくとも１つの実施形態において、ペレットカウンタアルゴリズムは更に、ペレット数に基づいて制御信号を生成し、水槽に供給する魚用飼料の新たな量を生成するために養魚場の魚用給餌機に制御信号を送信するように構成され得る。制御信号は、ペレットのカウントに用いられる間隔に比例した間隔で更新されてよく、あるいは制御信号は、養魚場の水槽に最近発生した問題が存在し得ることを示すために設定された閾値を超過する変化が食べ残しの魚用飼料（すなわち食べ残しの飼料ペレット）の勾配に生じると、瞬時に更新され得る。
【0159】
本明細書で説明される出願人の教示は、例示の目的で様々な実施形態に関連するが、本明細書で説明される実施形態は例示であることが意図されるため、出願人の教示はそのような実施形態に限定されないことが意図されている。逆に、本明細書で説明および図示される出願人の教示は、本明細書で説明される実施形態から逸脱することなく様々な代替例、修正例、および等価物を包含しており、その一般範囲は、添付の特許請求の範囲において定義される。
【図1】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図7A】
【図7B】
【図7C】
【図7D】
【国際調査報告】