IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 新日鉄住金エンジニアリング株式会社の特許一覧

<>
  • 特許-給餌システムおよび学習モデル生成方法 図1
  • 特許-給餌システムおよび学習モデル生成方法 図2
  • 特許-給餌システムおよび学習モデル生成方法 図3
  • 特許-給餌システムおよび学習モデル生成方法 図4
  • 特許-給餌システムおよび学習モデル生成方法 図5
  • 特許-給餌システムおよび学習モデル生成方法 図6
  • 特許-給餌システムおよび学習モデル生成方法 図7
  • 特許-給餌システムおよび学習モデル生成方法 図8
  • 特許-給餌システムおよび学習モデル生成方法 図9
  • 特許-給餌システムおよび学習モデル生成方法 図10
  • 特許-給餌システムおよび学習モデル生成方法 図11
  • 特許-給餌システムおよび学習モデル生成方法 図12
  • 特許-給餌システムおよび学習モデル生成方法 図13
  • 特許-給餌システムおよび学習モデル生成方法 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-14
(45)【発行日】2024-08-22
(54)【発明の名称】給餌システムおよび学習モデル生成方法
(51)【国際特許分類】
   A01K 61/80 20170101AFI20240815BHJP
【FI】
A01K61/80
【請求項の数】 12
(21)【出願番号】P 2023211446
(22)【出願日】2023-12-14
【審査請求日】2023-12-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】306022513
【氏名又は名称】日鉄エンジニアリング株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100134359
【弁理士】
【氏名又は名称】勝俣 智夫
(74)【代理人】
【識別番号】100188592
【弁理士】
【氏名又は名称】山口 洋
(74)【代理人】
【識別番号】100217249
【弁理士】
【氏名又は名称】堀田 耕一郎
(74)【代理人】
【識別番号】100221279
【弁理士】
【氏名又は名称】山口 健吾
(74)【代理人】
【識別番号】100207686
【弁理士】
【氏名又は名称】飯田 恭宏
(74)【代理人】
【識別番号】100224812
【弁理士】
【氏名又は名称】井口 翔太
(72)【発明者】
【氏名】藤原 明弘
(72)【発明者】
【氏名】富岡 修一
(72)【発明者】
【氏名】五十嵐 康文
(72)【発明者】
【氏名】佐藤 知広
【審査官】小林 謙仁
(56)【参考文献】
【文献】特開2020-078278(JP,A)
【文献】国際公開第2023/170771(WO,A1)
【文献】特開平10-313730(JP,A)
【文献】特開平09-262040(JP,A)
【文献】国際公開第2022/123732(WO,A1)
【文献】米国特許出願公開第2023/0064718(US,A1)
【文献】米国特許出願公開第2023/0017422(US,A1)
【文献】米国特許出願公開第2022/0279765(US,A1)
【文献】中国特許出願公開第104123721(CN,A)
【文献】中国特許出願公開第112136741(CN,A)
【文献】中国特許出願公開第111240200(CN,A)
【文献】中国特許出願公開第112400773(CN,A)
【文献】中国特許出願公開第113841650(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01K 61/00-61/95
(57)【特許請求の範囲】
【請求項1】
水棲生物に給餌する給餌手段と、
前記水棲生物を撮像して画像データを生成する撮像手段と、
前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、
前記撮像手段が生成する前記第1画像データの特徴量と、前記撮像手段が生成する前記第2画像データの特徴量と、の違いを算出する比較手段と、
前記比較手段の処理結果に基づき、前記給餌手段の給餌量を制御する給餌制御手段と、
を備え
前記第1画像データの特徴量および前記第2画像データの特徴量はそれぞれ、残餌量および摂餌活性のうちの少なくとも一方と相関関係がある量である給餌システム。
【請求項2】
水棲生物に給餌する給餌手段と、
前記水棲生物を撮像して画像データを生成する撮像手段と、
前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、
前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較する比較手段と、
前記比較手段の処理結果に基づき、前記給餌手段の給餌量を制御する給餌制御手段と、
を備え
前記比較手段による比較は、
前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、の差分である画像差分を取得することであり、
前記給餌制御手段は、前記画像差分に基づき、前記給餌手段の給餌量を制御する給餌システム。
【請求項3】
前記第2量は、前記第1量より、多い、
ことを特徴とする請求項2に記載の給餌システム。
【請求項4】
水棲生物に給餌する給餌手段と、
前記水棲生物を撮像して画像データを生成する撮像手段と、
前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、
前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較する比較手段と、
前記比較手段の処理結果に基づき、前記給餌手段の給餌量を制御する給餌制御手段と、
を備え
前記第1画像データおよび前記第2画像データは、給餌開始から給餌完了までに取得された画像データであり、
前記比較手段による比較は、前記第1画像データと他のデータとを比較し、その比較結果に基づいて前記第2画像データを調整することであり、
前記給餌制御手段は、前記比較手段により調整された前記第2画像データに基づき、前記給餌手段の給餌量を制御する給餌システム。
【請求項5】
前記比較手段は、
前記撮像手段が生成する第1画像データの輝度と所定輝度との差分である輝度差分を取得する輝度差分取得部と、
前記撮像手段が生成する前記第2画像データの輝度を、前記輝度差分取得部により取得される前記輝度差分に基づき、調整する輝度調整部と、
を含む、
ことを特徴とする請求項に記載の給餌システム。
【請求項6】
前記輝度調整部によって調整される前記第2画像データを記憶部に記憶させる第1記憶制御手段、
を更に備えることを特徴とする請求項に記載の給餌システム。
【請求項7】
水棲生物に給餌する給餌手段と、
前記水棲生物を撮像して画像データを生成する撮像手段と、
前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、
前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較する比較手段と、
前記比較手段の処理結果に基づき、前記給餌手段の給餌量を制御する給餌制御手段と、
を備え
前記第1画像データおよび前記第2画像データは、給餌開始から給餌完了までに取得された画像データであり、
前記比較手段による比較は、前記第1画像データの処理結果に応じて、前記第2画像データに基づく判断基準を変更することであり、
前記給餌制御手段は、前記比較手段により変更された前記判断基準と、前記第2画像データと、に基づき、前記給餌手段の給餌量を制御する給餌システム。
【請求項8】
前記給餌制御手段は、前記撮像手段が生成する第2画像データに基づく残餌量、が所定閾値を上回ったら、前記給餌手段による給餌速度を低下させ、または、給餌を停止させ、
前記比較手段は、
前記撮像手段が生成する第1画像データの濁りの程度を取得する濁り程度取得部、を含み、
前記所定閾値は、前記濁り程度取得部によって取得される濁りの程度が大きくなるに連れ、下がる、
ことを特徴とする請求項に記載の給餌システム。
【請求項9】
前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を対応付けて記憶部に記憶させる第2記憶制御手段、
を更に備えることを特徴とする請求項1乃至のいずれか1項に記載の給餌システム。
【請求項10】
水棲生物に給餌する給餌手段と、
前記水棲生物を撮像して画像データを生成する撮像手段と、
前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、
前記水棲生物の種類を判定する判定手段と、
前記判定手段によって前記種類がブリであると判定される場合に、前記撮像手段が生成する前記第1画像データの特徴量と、前記撮像手段が生成する前記第2画像データの特徴量と、の違いを算出する比較手段と、
前記比較手段の処理結果に基づき、前記給餌手段の給餌量を制御する給餌制御手段と、
を備え
前記第1画像データの特徴量および前記第2画像データの特徴量はそれぞれ、残餌量および摂餌活性のうちの少なくとも一方と相関関係がある量である給餌システム。
【請求項11】
水棲生物に給餌する給餌手段と、
前記水棲生物を撮像して画像データを生成する撮像手段と、
前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、
前記撮像手段が前記第1画像データを生成してから所定期間が経過したか否かを判別する判別手段と、
比較手段と、
前記比較手段の処理結果に基づき、前記給餌手段の給餌量を制御する給餌制御手段と、
を備える給餌システムであって、
前記撮像制御手段は、前記判別手段によって前記所定期間が経過したと判別される場合に、前記水棲生物を新たに撮像させて第3画像データを生成するように前記撮像手段を制御し、
前記比較手段は、前記判別手段によって前記所定期間が経過したと判別されない場合に、前記撮像手段が生成する前記第1画像データの特徴量と、前記撮像手段が生成する前記第2画像データの特徴量と、の違いを算出し、前記判別手段によって前記所定期間が経過したと判別される場合に、前記撮像手段が生成する前記第2画像データの特徴量と、前記撮像手段が生成する前記第3画像データの特徴量と、の違いを算出し
前記第1画像データの特徴量、前記第2画像データの特徴量および前記第3画像データの特徴量はそれぞれ、残餌量および摂餌活性のうちの少なくとも一方と相関関係がある量である
ことを特徴とする給餌システム。
【請求項12】
水棲生物に給餌する給餌ステップと、
前記給餌ステップにおいて前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するよう、前記水棲生物を撮像して画像データを生成する撮像手段を制御し、前記給餌ステップにおいて前記水棲生物に給餌する量が、前記第1量と異なる第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するよう、前記撮像手段を制御する撮像制御ステップと、
前記撮像制御ステップにて前記撮像手段が生成する前記第1画像データと他のデータを比較しその比較結果に基づいて、前記撮像制御ステップにて前記撮像手段が生成する前記第2画像データを調整する比較ステップと、
前記比較ステップにて調整される前記第2画像データに基づき、前記水棲生物の残餌量および摂餌活性のうちの少なくとも一方を算出する算出ステップと、
前記比較ステップにて調整される前記第2画像データを学習データとし、前記算出ステップにて算出される前記少なくとも一方を教師データとする機械学習により、学習モデルを生成する生成ステップと、
を備え
前記第1画像データおよび前記第2画像データは、前記給餌ステップにおいて給餌開始から給餌完了までに取得された画像データである
ことを特徴とする学習モデル生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、給餌システムおよび学習モデル生成方法に関する。
【背景技術】
【0002】
従来から、養殖魚に給餌する給餌システムが用いられている。
特許文献1は、給餌前、給餌中又は給餌後の所定のタイミングにおいて、生簀を撮像する撮像部を開示する。また、特許文献1は、給餌中の撮像画像に対して既知の画像認識処理を行うことによって、生物が餌を食べる速度と、生物が餌を食べ残した量との少なくとも一方を検出することを開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2021-136965号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の発明において、給餌の効率を向上させることに改善の余地がある。
【0005】
本開示は、給餌の効率を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る給餌システムは、水棲生物に給餌する給餌手段と、前記水棲生物を撮像して画像データを生成する撮像手段と、前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較する比較手段と、前記比較手段の処理結果に基づき、前記給餌手段を制御する給餌制御手段と、を備える。
【発明の効果】
【0007】
本開示によれば、給餌の効率を向上させることができる。
【図面の簡単な説明】
【0008】
図1】本開示の一実施形態に係る給餌システムのブロック図である。
図2図1に示す給餌システムを構成する給餌手段および撮像手段を示す正面図である。
図3図1に示す給餌システムを構成する制御装置のハードウェア構成を示すブロック図である。
図4図3に示す制御装置の制御部を示すブロック図である。
図5図1に示す給餌システムによる給餌方法の一例である第1給餌フローのフローチャートである。
図6図5に示す第1給餌フロー中の計画検討フローのフローチャートである。
図7図6に示す計画検討フロー中の特徴量比較フローのフローチャートである。
図8図7に示す特徴量比較フローにおける計画立案の第1例を説明するグラフである。
図9図7に示す特徴量比較フローにおける計画立案の第2例を説明するグラフである。
図10図6に示す計画検討フロー中の画像比較フローのフローチャートである。
図11図6に示す計画検討フロー中の輝度調整フローのフローチャートである。
図12図6に示す計画検討フロー中の濁り取得フローのフローチャートである。
図13図1に示す給餌システムによる給餌方法の一例である第2給餌フローのフローチャートである。
図14図1に示す給餌システムによる給餌方法の一例である第3給餌フローのフローチャートである。
【発明を実施するための形態】
【0009】
以下、図1から図14を参照し、本開示の一実施形態に係る給餌システム1について説明する。
なお、以下の説明において「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
【0010】
給餌システム1は、水棲生物Lの給餌に関するシステムである。水棲生物Lとしては、例えば、魚、エビ、カニなどが挙げられる。水棲生物Lは、例えば養殖魚など、養殖する水棲生物Lであってもよい。水棲生物Lは、生簀20に養殖されていてもよい。
【0011】
図1および図2に示すように、給餌システム1は、給餌手段2と、撮像手段3と、制御装置4と、学習装置5と、を備えている。給餌手段2は、水棲生物Lに給餌する。撮像手段3は、水棲生物Lを撮像する。撮像手段3は、画像データを生成する。制御装置4は、給餌手段2および撮像手段3を制御する。学習装置5は、制御装置4から情報を取得する。学習装置5は、取得した情報から学習モデル6を生成する。
【0012】
図2に示すように、給餌手段2は、生簀20内の水上に浮遊する。給餌手段2は、浮体21上に配置される。浮体21は、例えば、筏(いかだ)である。給餌手段2には、給餌孔(不図示)が設けられている。給餌手段2は、給餌孔から餌を放出する。給餌孔は、給餌手段2の下方に設けられている。給餌手段2は、浮体21を通して給餌孔から下方(水中)に向けて餌を放出する。給餌手段2は、水棲生物Lに給餌する量(以下、給餌量ともいう)を調整可能である。給餌量は、給餌手段2から放出される餌の量である。給餌量は、単位時間当たりに給餌される餌の量であってもよい。
【0013】
なお給餌手段2には、基準が設けられていてもよい。基準は、例えば、後述するように、制御装置4が濁りの程度を取得するために用いられる基準である。基準は、給餌手段2の下面に設けられた印であってもよい。基準は、給餌手段2に代えて浮体21に設けられていてもよい。基準は、給餌手段2や浮体21とは別体に設けられていてもよい。
【0014】
撮像手段3は、水中に配置されている。撮像手段3は、給餌手段2の下方に位置している。図示の例では、撮像手段3は、筐体22に収容されている。筐体22は、浮体21に吊り下げられている。筐体22は、索23(例えば、ロープ)を介して浮体21に接続されている。筐体22には、錘24が設けられているが、錘24は無くてもよい。
給餌手段2と撮像手段3との相対的な位置関係は、実質的に固定されている。言い換えると、給餌手段2と撮像手段3との相対的な位置関係は、例えば潮流などにより変化するが、この変化は、撮像手段3が生成する画像データにおいて、後述する各種処理をするためには実質的に影響がない。撮像手段3は、給餌手段2を、給餌孔を含む所定の画角で撮像することにより、水棲生物Lを撮像する。
【0015】
撮像手段3は、撮像手段3の上方を撮像する。撮像手段3は、生簀20内の空間であって、給餌孔を含む空間を撮像する。なお、撮像手段3による撮像は、前記空間を下方から撮像する場合に限られず、前記空間を側方(横)から撮像してもよく、前記空間を上方(海上)から撮像してもよい。また、撮像手段3による撮像の方向に合わせて、給餌手段2による給餌の方向又は位置を変更してもよい。例えば、給餌手段2よる給餌を海上から行ってもよく、海中から行ってもよい。ここで、給餌手段2による給餌の方向又は位置は、撮像手段3による撮像の方向とは独立して(撮像手段3による撮像の方向に合わせることなく)変更してもよい。
撮像手段3は、動画を撮像可能であってもよく、静止画を撮像可能であってもよく、動画および静止画の両方を撮像可能であってもよい。
【0016】
図1に示すように、制御装置4は、給餌手段2、撮像手段3および学習装置5のそれぞれと、ネットワークNWを介して通信する。ネットワークNWは、例えば、インターネット、LAN(Local Area Network)、無線基地局、プロバイダ装置などを含む。なお図2に示す例では、撮像手段3は、情報通信線25を介して給餌手段2に有線接続されていて、制御装置4は、給餌手段2を介して撮像手段3に接続されている。しかしながら、制御装置4は、撮像手段3に給餌手段2を介さずに接続されていてもよい。
【0017】
図3に示すように、制御装置4は、バスで接続されたCPU(Central Processing Unit)等のプロセッサ91とメモリ92とを備える制御部11を備え、給餌プログラムを実行する。給餌プログラムは制御装置4が備える各機能部の動作を制御するプログラムである。制御装置4は、給餌プログラムの実行によってユーザインターフェース10、制御部11及び記憶部12を備える装置として機能する。
【0018】
より具体的には、制御装置4は、プロセッサ91が記憶部12に記憶されている給餌プログラムを読み出し、読み出した給餌プログラムをメモリ92に記憶させる。プロセッサ91が、メモリ92に記憶させた給餌プログラムを実行することによって、制御装置4は、ユーザインターフェース10、制御部11及び記憶部12を備える装置として機能する。
【0019】
ユーザインターフェース10は、表示部101と入力部102とを備える。表示部101は、各種情報を表示する。表示部101は、例えばCRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等の出力装置を含んで構成される。表示部101は、これらの出力装置を制御装置4に接続するインタフェースとして構成されてもよい。
【0020】
入力部102は、マウスやキーボード、タッチパネル等の入力端末を含んで構成される。入力部102は、これらの入力端末を制御装置4に接続するインタフェースとして構成されてもよい。入力部102は、制御装置4に対する各種情報の入力を受け付ける。入力部102は、例えば、後述する指定輝度をオペレーターに指定させる指定手段として機能する。
なお、表示部101と入力部102とは一体のタッチパネルとして構成されてもよい。
【0021】
制御部11は、制御装置4が備える各機能部の動作を制御する。制御部11は、例えば表示部101の動作を制御する。
【0022】
記憶部12は、磁気ハードディスク装置や半導体記憶装置などの非一時的コンピュータ読み出し可能な記憶媒体装置を用いて構成される。記憶部12は制御装置4に関する各種情報を記憶する。記憶部12は、例えば給餌プログラムを予め記憶する。記憶部12は、例えば、給餌計画を予め記憶する。記憶部12は、例えば、後述する学習モデル6を記憶していてもよい。
【0023】
図4に示すように、制御部11は、撮像制御手段41と、判別手段42と、判定手段43と、比較手段44と、算出手段45と、給餌制御手段46と、記憶制御手段47と、を備えている。
【0024】
撮像制御手段41は、撮像手段3を制御する。撮像制御手段41は、異なるタイミングで複数の画像データを生成するように、撮像手段3を制御する。撮像制御手段41は、例えば、第1画像データおよび第2画像データを生成するように、撮像手段3を制御する。第1画像データは、給餌量が第1量である場合における画像データである。第2画像データは、給餌量が第2量である場合における画像データである。本実施形態は、第2画像データは、第1画像データよりも後の時刻における画像データである。
【0025】
撮像制御手段41は、給餌量が第1量である場合に、水棲生物Lを撮像させて第1画像データを生成するように撮像手段3を制御する。撮像制御手段41は、給餌量が第2量である場合に、水棲生物Lを撮像させて第2画像データを生成するように撮像手段3を制御する。
【0026】
撮像手段3が動画を撮像可能である場合、第1画像データおよび第2画像データは、同一の動画における異なるフレームの静止画であってもよい。撮像手段3が静止画を撮像可能である場合、第1画像データおよび第2画像データは、異なるタイミングで撮像された静止画であってもよい。これらの動画や静止画は、予め決められた所定のタイミングで撮像されていて、記憶部12に記憶されていてもよい。この場合、制御部11は、事後的に記憶部12から動画や静止画を読み込むことで、過去の時点における画像データを取得可能である。
【0027】
なお第1量および第2量は、例えば、記憶部12に記憶されていてもよい。第1量および第2量は、例えば、当該時刻における単位時間当たりの給餌量であってもよい。第1量および第2量は、実際に給餌されている餌の量でなく、後述する給餌制御手段46が給餌手段2に指示している餌についての量であってもよい。第1量および第2量は、給餌計画上の給餌量であってもよい。第2量は、第1量より多くてもよく、少なくてもよい。
【0028】
なお撮像制御手段41は、後述する判別手段42によって所定期間が経過したと判別される場合に、水棲生物Lを新たに撮像させて第3画像データを生成するように撮像手段3を制御してもよい。
撮像手段3が動画を撮像可能である場合、第1画像データ、第2画像データおよび第3画像データは、同一の動画における異なるフレームの静止画であってもよい。撮像手段3が静止画を撮像可能である場合、第1画像データ、第2画像データおよび第3画像データは、異なるタイミングで撮像された静止画であってもよい。
【0029】
判別手段42は、時間の経過を判別する。判別手段42は、撮像手段3が第1画像データを生成してから所定期間が経過したか否かを判別する。判別手段42の処理結果は、第1画像データの古さ(新しさ)の程度を示す。所定期間は、例えば、記憶部12に予め記憶されていてもよい。所定期間は、例えば、オペレーターから入力部102を通して入力されてもよい。
【0030】
判定手段43は、水棲生物Lの種類(例えば、魚種)を判定する。判定手段43は、画像データを取得し、画像データに含まれる水棲生物Lの種類を判定する。判定手段43は、例えば、公知の画像処理方法や学習モデル等により、画像データに含まれる水棲生物Lの種類を判定してもよい。判定手段43は、第1画像データおよび第2画像データのうちの少なくとも一方から、水棲生物Lの種類を判定してもよい。判定手段43を備えることに代えて、例えば、水棲生物Lの種類が予め記憶部12に記憶されていてもよく、オペレーターから入力部102を通して入力されてもよい。
【0031】
比較手段44は、撮像手段3が生成する第1画像データと、撮像手段3が生成する第2画像データと、を比較する。ここで、比較手段44による比較には、(1)第1画像データと第2画像データとを直接的に比較することだけでなく、(2)第1画像データと他のデータとを比較し、その比較結果に基づいて第2画像データを変更(調整)することや、(3)第1画像データの処理結果に応じて、第2画像データに基づく判断基準を変更すること、も含む。
【0032】
比較手段44は、処理結果として、以下の<1>~<4>のうちの少なくとも1つを出力する。
<1>「2つの画像データそれぞれにおける特徴量の比較」
<2>「2つの画像データ間の画像差分」
<3>「輝度調整された画像データ」
<4>「画像データにおける濁り程度」
【0033】
なお比較手段44は、画像差分取得部51と、輝度差分取得部52と、輝度調整部53と、濁り程度取得部54と、を備えている。画像差分取得部51は、上記<2>に関する。輝度差分取得部52および輝度調整部53は、上記<3>に関する。濁り程度取得部54は、上記<4>に関する。
【0034】
<1>「2つの画像データそれぞれにおける特徴量の比較」
比較手段44は、第1画像データおよび第2画像データそれぞれから、特徴量を取得する。特徴量は、例えば、残餌量および摂餌活性のうちの少なくとも一方(以下、「摂餌活性等」ともいう)と相関関係がある量である。特徴量は、例えば、画像データにおける餌の量であってもよい。餌の量が多いほど、残餌量が多いと推定することができる。特徴量は、例えば、画像データにおける水しぶきの量であってもよい。水しぶきの量が多いほど、摂餌活性が高いと推定することができる。特徴量は、例えば、画像データにおける水棲生物Lの大きさであってもよい。水棲生物Lが小さいほど、水棲生物Lが海面付近に位置し餌に群がっており、摂餌活性が高いと推定することができる。特徴量は、例えば、画像データにおける水棲生物Lが餌に群がる度合いであってもよい。餌に群がる度合いが高いほど、摂餌活性が高いと推定することができる。ここで、餌に群がる度合いは、公知の画像処理によって算出可能である。餌に群がる度合いは、例えば、波しぶきの量、餌を基準とした所定範囲内に位置する水棲生物Lの数、個々の水棲生物Lの大きさ、水棲生物Lが集まることによって形成される水棲生物L群の大きさ、などによって算出される。
【0035】
比較手段44は、第1画像データの特徴量と、第2画像データの特徴量と、を比較する。比較手段44は、例えば、第1画像データの特徴量と第2画像データの特徴量との比を算出してもよく、第1画像データの特徴量と第2画像データの特徴量との差分を算出してもよい。
【0036】
<2>「2つの画像データ間の画像差分」
画像差分取得部51は、画像差分を取得する。画像差分は、撮像手段3が生成する第1画像データと、撮像手段3が生成する第2画像データと、の差分である。画像差分取得部51による画像差分の取得は、例えば、公知の方法により実現される。
【0037】
<3>「輝度調整された画像データ」
輝度差分取得部52は、撮像手段3が生成する第1画像データの輝度と所定輝度との差分である輝度差分を取得する。輝度差分取得部52による輝度の取得は、例えば、公知の方法により実現される。各画像データの輝度は、例えば、天気などによって異なる。例えば、晴れた日の画像データの輝度は、曇った日の画像データの輝度に比べて高い。なお、各画像データの輝度は、各画像データ全体の輝度である。
所定輝度は、例えば、晴れた日の画像データの輝度である。所定輝度は、例えば、記憶部12に予め記憶されていてもよい。所定輝度は、例えば、オペレーターから入力部102を通して入力されてもよい。なお、オペレーターが入力部102(指定手段)を利用して所定輝度を指定する場合、所定輝度が確実に設定される。
【0038】
輝度調整部53は、画像データの輝度を調整する。輝度調整部53は、画像データを、輝度差分に基づき、調整する。輝度調整部53は、撮像手段3が生成する第2画像データの輝度を、輝度差分取得部52により取得される輝度差分(第1画像データに基づく輝度差分)に基づき、調整する。輝度調整部53による輝度の調整は、例えば、公知の方法により実現される。
【0039】
<4>「画像データにおける濁り程度」
濁り程度取得部54は、画像データの濁りの程度を取得する。濁り程度取得部54は、例えば、撮像手段3が生成する第1画像データの濁りの程度を取得する。なお、濁り程度取得部54は、例えば、第1画像データに含まれる基準の見え方によって、濁りの程度を取得してもよい。前記基準は、画像データが撮像されるタイミングによらず固定された位置に撮像されてもよい。また、濁り程度取得部54は、例えば、第1画像データの輝度に基づいて、濁りの程度を取得してもよい。
【0040】
なお比較手段44は、判定手段43の判定結果によって、比較する画像データを変更してもよい。例えば、比較手段44は、判定手段43によって、水棲生物Lの種類がブリであると判定される場合に、前述のように、撮像手段3が生成する第1画像データと、撮像手段3が生成する第2画像データと、を比較してもよい。
【0041】
また比較手段44は、判別手段42の判別結果によって、比較する画像データを変更してもよい。例えば、比較手段44は、判別手段42によって所定期間が経過したと判別されない場合に、撮像手段3が生成する第1画像データと、撮像手段3が生成する第2画像データと、を比較してもよい。比較手段44は、判別手段42によって所定期間が経過したと判別される場合に、撮像手段3が生成する第2画像データと、撮像手段3が生成する第3画像データと、を比較してもよい。
【0042】
算出手段45は、摂餌活性等を算出する。例えば、算出手段45は、比較手段44の比較結果に基づいて、摂餌活性等を算出する。
算出手段45は、例えば、画像差分取得部51が取得した画像差分に基づいて摂餌活性等を算出する。算出手段45は、画像差分に基づいて、例えば、公知の方法により、摂餌活性等を算出可能である。
算出手段45は、例えば、画像データに基づいて、摂餌活性等を算出する。算出手段45は、画像データに基づいて、例えば、公知の方法により、摂餌活性等を算出可能である。算出手段45は、例えば、輝度調整部53によって調整される第2画像データに基づいて、摂餌活性等を算出する。
なお算出手段45は、比較手段44の比較結果に基づいて、残餌量等を算出してもよい。例えば、算出手段45は、比較手段44の比較結果に基づいて、残餌量および摂餌活性のうちの少なくとも残餌量を算出してもよい。例えば、算出手段45は、比較手段44の比較結果に基づいて、残餌量および摂餌活性のうちの少なくとも摂餌活性を算出してもよい。
【0043】
記憶制御手段47(第1記憶制御手段、第2記憶制御手段)は、記憶部12への記憶を制御する。
【0044】
例えば、記憶制御手段47は、輝度調整部53によって調整される第2画像データを記憶部12に記憶させる。このとき、記憶制御手段47は、輝度調整部53によって調整される第2画像データと、算出手段45によって算出される摂餌活性等と、を対応付けて記憶部12に記憶させてもよい。以下、これらの第2画像データと摂餌活性等とを対応付けた情報を、第1データセットともいう。
【0045】
例えば、記憶制御手段47は、撮像手段3が生成する第1画像データと、撮像手段3が生成する第2画像データと、を対応付けて記憶部12に記憶させる。記憶制御手段47は、第1画像データと第2画像データとを対応付けるのに加えて、第1画像データと第2画像データと、これらの画像データから算出された摂餌活性等と、を対応付けてもよい。これらの第1画像データと第2画像データと摂餌活性等とを対応付けた情報を、第2データセットともいう。
【0046】
第1データセットおよび第2データセットのいずれも、機械学習に用いられてもよい。
【0047】
給餌制御手段46は、給餌手段2を制御する。これにより、給餌手段2による給餌量が調整される。給餌制御手段46は、例えば、オペレーターからの入力に基づいて、給餌手段2を制御してもよい。給餌制御手段46は、例えば、予め設定された給餌計画に基づいて、給餌手段2を制御してもよい。給餌制御手段46は、例えば、比較手段44の処理結果に基づいて、給餌手段2を制御してもよい。給餌手段2は、例えば、後述する学習モデル6の処理結果に基づいて、給餌手段2を制御してもよい。
【0048】
学習装置5は、学習モデル6を生成する。学習装置5は、制御装置4の記憶部12に記憶されているデータセット(第1データセット、第2データセット)に基づいて、学習モデル6を生成する。学習装置5のハードウェア構成は、制御装置4のハードウェア構成と同様であってもよい。
【0049】
(給餌方法)
以下、給餌システム1による給餌方法の一例を説明する。ただし給餌方法は、この例に限られない。
【0050】
(第1給餌フロー)
給餌方法は、例えば、図5に示すような第1給餌フローを実施する(S10)。
この第1給餌フローでは、まず、給餌システム1は、給餌計画の実施をする(S11)。このとき、まず、給餌制御手段46が、記憶部12から給餌計画を読み出す。給餌制御手段46は、給餌計画に基づいて、給餌手段2を制御する。
【0051】
次に、給餌制御手段46が、計画が終了したか否かを判断する(S12)。計画が終了したと判断された場合(S12:Yes)、給餌フローが終了する。計画が終了されていないと判断された場合(S12:No)、給餌制御手段46は、給餌量に変化があるか否かを判断する(S13)。ここで、給餌量に変化があるということは、例えば、現時刻の給餌量が、現時刻から所定時間前の過去時刻の給餌量に対して異なっていることであってもよい。所定時刻は、例えば、記憶部12に予め記憶されていてもよく、オペレーターが入力部102を通して入力してもよい。
【0052】
給餌量に変化がない場合(S13:No)、引き続き給餌計画を実施する(S11)。給餌量に変化がある場合(S13:Yes)、制御装置4は、2つの画像データを取得する(S14)。このとき、撮像制御手段41が撮像手段3を制御し、撮像手段3が第1画像データおよび第2画像データを取得する。
その後、取得した画像データに基づいて、制御装置4は、今後の給餌計画を検討する(S15)。制御装置4は、検討した給餌計画を反映した上で(S16)、引き続き給餌計画を実施する(S11)。
【0053】
(給餌計画の検討)
給餌計画の検討(S15)では、例えば、図6に示すような計画検討フローを実施する。
この計画検討フローでは、まず、比較手段44は、第1画像データおよび第2画像データを比較する(S20)。比較手段44が画像データを比較することにより、今後の計画立案に必要となる諸元値が算出される。そこで、制御装置4は、この比較の後、諸元値に基づいて、今後の給餌計画を立案する(S30)。
【0054】
ここで本実施形態に係る給餌システム1は、画像データの比較(S20)として4つの方法を実施可能に構成されている。4つの方法としては、<1>特徴量比較(S21)、<2>画像比較(S22)、<3>輝度調整(S23)、<4>濁り取得(S24)、が挙げられる。例えば、オペレーターはこれらの4つの比較方法のうちの1つを、給餌システム1が実施する方法として設定しておくことができる。以下、それぞれの比較方法、および、その比較方法によって得られた諸元値に基づく計画の立案方法について、順に説明する。
【0055】
<1>特徴量比較
特徴量比較では、例えば、図7に示すような特徴量比較フローを実施する(S21)。
この特徴量比較フローでは、比較手段44が、各画像データの特徴量を取得する(S21a)。その後、比較手段44は、各画像データの特徴量を比較する(S21b)。
図6に戻り、制御装置4は、特徴量の比較結果に基づいて、今後の給餌計画を立案する(S31)。
【0056】
この比較および計画の立案方法の具体例を、図8および図9を用いて説明する。
図8および図9はそれぞれ、給餌計画と、各画像データの特徴量と、の関係を示す図である。図8および図9はそれぞれ、異なる例を示している。図8および図9のいずれの例でも、上下に2つのグラフ((a)、(b))を並べている。上側のグラフ(a)は、時間(横軸)と給餌量(縦軸)との関係を示すグラフである。下側のグラフ(b)は、時間(横軸)と特徴量(縦軸)との関係を示すグラフである。なおこれらの各グラフにおいて、縦軸のスケールは一例であり、スケールは適宜変更可能である。特徴量は、例えば、各時刻における画像データから取得される特徴量である。図示の例では、特徴量は、摂餌活性を示す特徴量であり、特徴量が大きいほど、水棲生物Lの食欲が高いこと(すなわち、より給餌が求められていること)を示している。図8および図9のいずれの例でも、まず、給餌量が10であり、所定時間経過後、給餌量が5となる給餌計画を前提としている。そして、給餌量が5になった後、時刻tとなったときに、給餌計画の検討を実施する。このとき、例えば、給餌量の第1量は10であり、給餌量の第2量は5である。そして、第1画像データは、給餌量が10の場合の画像データであり、第2画像データは、給餌量が5の場合の画像データである。
【0057】
図8に示す第1例では、第1画像データから取得される特徴量が100であるのに対して、第2画像データから取得される特徴量が60である。比較手段44は、例えばこれらの比や差分と、予め設定された基準値と、を比較する。この場合において、例えば、その比較結果として、第2画像データから取得される特徴量(60)が十分大きいと判断したとする。すると、制御装置4は、給餌量5を所定時間継続させ、その後、給餌量を3に下げるという計画を立案する。
【0058】
一方、図9に示す第2例では、第1画像データから取得される特徴量が100であるのに対して、第2画像データから取得される特徴量が40である。この場合において、比較手段44は、例えばこれらの比や差分と、予め設定された基準値と、を比較した結果、第2画像データから取得される特徴量(40)が小さくなっていると判断したとする。すると、制御装置4は、給餌量を5から3に即座に下げるという計画を立案する。
【0059】
なおこの具体例では、第1量が第2量に比べて多い。ただし、第2量が第1量に比べて多くてもよい。すなわち、第2量が第1量より多く、第2画像データが撮像されるタイミングにおける給餌量が、第1画像データが撮像されるタイミングにおける給餌量よりも多くてもよい。この場合、例えば、給餌手段2によって給餌量を第1量から第2量に増加させ、比較手段44によって第1画像データと第2画像データとを比較することで、例えば、水棲生物Lが餌に群がる度合いを算出することができる。これにより、例えば、水棲生物Lの摂餌活性をより一層精度良く算出することができる。
なお例えば、第1量が0であり、第2量が0よりも大きい場合としては、給餌量が0である給餌前や給餌間(給餌後)の画像データが第1画像データとなり、給餌量が0より上回る給餌中の画像データが第2画像データとなる場合が挙げられる。
また例えば、第1量が0であり、第2量が0よりも大きい場合としては、給餌中にわざと給餌を停止し、一定時間をおいた後、給餌を再開する(例えば、摂餌活性の算出のために、摂餌活性算出の専用モードを実施する)ことで、給餌量が0である給餌停止中の画像データが第1画像データとなり、給餌再開後の画像データが第2画像データとなる場合が挙げられる。
さらに例えば、第1量および第2量がいずれも0よりも大きい場合としては、第2量で給餌中に意図的に給餌量を第1量に減らし、一定時間をおいた後、給餌量を第2量に戻す(例えば、摂餌活性の算出のために、摂餌活性算出の専用モードを実施する)ことで、給餌量が第1量である給餌量を減少させたときの画像データが第1画像データとなり、給餌量を元に戻したときの画像データが第2画像データとなる場合が挙げられる。
【0060】
<2>画像比較
画像比較では、例えば、図10に示すような画像比較フローを実施する(S22)。
この画像比較フローでは、比較手段44が、第1画像データと第2画像データの画像差分を取得する(S22a)。その後、比較手段44は、画像差分に基づいて摂餌活性等を算出する(S22b)。
図6に戻り、制御装置4は、摂餌活性等に基づいて、今後の給餌計画を立案する(S32)。例えば、残餌量が多い場合、給餌量を減らすような計画を制御装置4は立案し、残餌量が少ない場合、給餌量を増やすような計画を制御装置4は立案する。例えば、摂餌活性が高い場合、給餌量や給餌期間を増やすような計画を制御装置4は立案し、残餌量が少ない場合、給餌量や給餌期間を減らすような計画を制御装置4は立案する。
【0061】
この場合、画像差分取得部51が、画像差分を取得する。この画像差分を利用することで、例えば、第1画像データと第2画像データとにおいて、残餌量を表す特徴量(例えば餌)の差分や、摂餌活性を表す特徴量(例えば水しぶき)の差分などを取得することができる。これにより、例えば、残餌量や摂餌活性などを一層精度良く算出することができる。
【0062】
<3>輝度調整
輝度調整では、例えば、図11に示すような輝度調整フローを実施する(S23)。
この輝度調整フローでは、比較手段44が、第1画像データの輝度と所定輝度とを比較する(S23a)。その後、比較手段44は、比較結果に基づいて第2画像データの輝度を調整する(S23b)。その後、比較手段44は、調整された第2画像データに基づいて摂餌活性等を算出する(S23c)。
図6に戻り、制御装置4は、画像比較の場合と同様に、摂餌活性等に基づいて、今後の給餌計画を立案する(S32)。
【0063】
この場合、輝度調整部53が、輝度差分に基づいて第2画像データの輝度を調整する。輝度差分は、第1画像データの輝度と所定輝度との差分である。よって、例えば、所定輝度として、晴れた日の画像データの輝度を設定することで、天気によらず、第2画像データを適度な輝度に調整すること等ができる。これにより、残餌量や摂餌活性などを一層精度良く算出することができる。
【0064】
<4>濁り取得
濁り取得では、例えば、図12に示すような濁り取得フローを実施する(S24)。
この濁り取得フローでは、濁り程度取得部54が、第1画像データから濁り程度を取得する(S24a)。その後、比較手段44は、第2画像データに基づいて残餌量を算出する(S24b)。なおこのとき、輝度調整フローと同様に、輝度調整がされた第2画像データに基づいて残餌量を算出してもよい。
図6に戻り、制御装置4は、濁りの程度および残餌量に基づいて、今後の給餌計画を立案する(S33)。
【0065】
ここで、濁り取得を前提とした場合における計画の立案方法の具体例を説明する。
例えば、記憶部12は、残餌量に関する所定閾値を予め記憶しておく。この所定閾値は、給餌速度を低下させたり給餌を停止したりする判断に用いられる。残餌量が所定閾値を上回ったら、餌が十分供給されていると判断することが可能であり、この場合、給餌制御手段46は、給餌手段2による給餌速度を低下させたり給餌を停止させたりする。このように所定閾値を用いる場合、所定閾値が高いほど、残餌量(例えば、餌の個数)が多いと算出されている状態ではじめて給餌速度が低下され、または、給餌が停止される。そのためこの場合、給餌速度が低下されたり給餌が停止されたりする可能性が低くなる。逆に、所定閾値が下がると、給餌速度が低下されたり給餌が停止されたりする可能性が高まる。
【0066】
その上で、給餌制御手段46は、濁り程度取得部54によって取得される濁りの程度に応じて所定閾値を変動させる。例えば、濁り程度取得部54によって取得される濁りの程度が大きくなるに連れ、所定閾値を下げてもよい。
ここで、濁りの程度が大きくなると、残餌量の算出の精度が低下しやすい。
そこで、濁り程度取得部54によって取得される濁りの程度が大きくなるに連れ、所定閾値が下がる。よって、仮に、濁りの程度が大きくなり残餌量の算出の精度が低下したとしても、過剰な給餌を抑制することができる。これにより、濁りの程度に応じて給餌量を適切に調整することができる。
なお後述するように、画像処理や機械学習を前提とする場合であって、画像中に含まれる対象が餌である確率が所定閾値以上である場合に対象が餌であると判定する場合、濁りの程度が高まるに連れて、この所定閾値もあわせて下げてもよい。
【0067】
(第2給餌フロー)
給餌方法は、例えば、図5に示すような第1給餌フローに代えて、図13に示すような第2給餌フローを実施してもよい(S10A)。
この第2給餌フローでは、第1給餌制御フローに対して、2つの画像データを取得する方法が異なっている(S14A)。2つの画像データを取得するとき、まず、判別手段42が、所定期間が経過したか否かを判断する(S17)。判別手段42によって所定期間が経過したと判別されない場合(S17:No)、第1画像データは所定期間以内に生成された比較的新しいデータである。よって、この場合、比較手段44が、第1画像データと、第2画像データと、を比較する(S18)。一方、判別手段42によって所定期間が経過したと判別される場合(S17:Yes)、比較手段44は、第1画像データに代えて第3画像データを採用し、第2画像データと、第3画像データと、を比較する(S19)。
これにより、給餌が長期間にわたっても、比較手段44が、比較的近い間隔で撮影された2つの画像データを比較することができる。比較手段44が、第1画像データおよび第2画像データを比較する。このように、比較手段44が異なるタイミングで撮像された複数の画像データを比較することで、例えば、画像に含まれる餌に関する残餌量や、画像に含まれる水棲生物Lに関する摂餌活性などを、精度良く算出することができる。
そして、このような比較手段44の処理結果に基づき、給餌制御手段46が給餌手段2を制御する。したがって、水棲生物Lへの給餌の効率を向上させることができる。
なお、例えば、サケは給餌開始から給餌完了までの時間が長いことから、このような給餌システム1による作用効果が顕著に奏功される。
【0068】
(第3給餌フロー)
給餌方法は、例えば、図14に示すような第3給餌フローを実施してもよい(S40)。
この第3給餌フローでは、判定手段43が、水棲生物Lの種類がブリであるか否かを判定する(S41)。魚種がブリであると判定された場合(S41:Yes)、第1給餌フローを実施する(S10)。一方、魚種がブリであると判定されない場合(S41:No)、第2給餌フローを実施する(S10A)。
【0069】
ブリは給餌開始から給餌完了までの時間が短い(例えば、10分程度である)。よって、例えば、給餌開始前後であっても環境変化が少なく、給餌開始前の画像データと、給餌中の画像データと、の比較が、給餌量の変化が大きい観点からも有効である。そのため、例えば、給餌開始前で給餌量(=0)を第1量としてこの場合の画像データを第1画像データとし、給餌中の給餌量を第2量としてこの場合の画像データを第2画像データとする。その上で、比較手段44が、第1画像データおよび第2画像データを比較する。このように、比較手段44が異なるタイミングで撮像された複数の画像データを比較することで、例えば、画像に含まれる餌に関する残餌量や、画像に含まれる水棲生物Lに関する摂餌活性などを、精度良く算出することができる。
そして、このような比較手段44の処理結果に基づき、給餌制御手段46が給餌手段2を制御する。したがって、水棲生物Lへの給餌の効率を向上させることができる。
【0070】
(比較結果を用いた学習モデル6の生成方法)
ここで、上記した第1給餌フローや第2給餌フローでは、計画検討(S15)に際し、例えば、画像比較(S22)や輝度調整(S23)によって摂餌活性等を算出した。摂餌活性等を算出するに際し、学習モデル6を活用することも可能である。この場合、学習モデル6が記憶部12に記憶されていてもよく、学習モデル6が学習装置5に記憶されていて、制御装置4がネットワークを介して学習モデル6を読み出してもよい。
上記学習モデル6は、例えば、以下の学習モデル6の生成方法(第1の生成方法、第2の生成方法)により生成することが可能である。
【0071】
(第1の生成方法)
第1の生成方法は、給餌ステップと、撮像制御ステップと、比較ステップと、調整ステップと、算出ステップと、を備えている。
【0072】
給餌ステップでは、水棲生物Lに給餌する。
撮像制御ステップでは、給餌手段2が水棲生物Lに給餌する量が第1量である場合に、水棲生物Lを撮像させて第1画像データを生成するよう撮像手段3を制御する。また、給餌手段2が水棲生物Lに給餌する量が第2量である場合に、水棲生物Lを撮像させて第2画像データを生成するよう、撮像手段3を制御する。
比較ステップでは、撮像制御ステップにて撮像手段3が生成する第1画像データと、撮像制御ステップにて撮像手段3が生成する第2画像データと、を比較する。
調整ステップでは、比較ステップの処理結果に基づき、第2画像データを調整する。
算出ステップでは、調整ステップにて調整される第2画像データに基づき、摂餌活性等を算出する。
【0073】
上記した給餌ステップから算出ステップまでは、例えば、第1給餌フロー(S10)を実施することにより実現される。
例えば、給餌計画が実施される(S11)ことで、給餌ステップが実施される。画像取得が実施される(S14)ことで、撮像制御ステップが実施される。画像データの比較(S20)のうちの輝度調整(S23)が実施されることで、比較ステップ、調整ステップおよび算出ステップが実施される。なおこの場合、第2画像データの輝度が調整されるが、第1の生成方法において、第2画像データにおける輝度以外の要素が調整されてもよい。
【0074】
ここで、前記輝度調整(S23)において、記憶制御手段47(第1記憶制御手段47)が、例えば、前記第1データセットを記憶させる。第1データセットは、輝度調整部53によって調整される第2画像データと、算出手段45によって算出される摂餌活性等と、を対応付けた情報である。
【0075】
記憶制御手段47が、第2画像データを記憶部12に記憶させる。ここで、第2画像データは、輝度調整部53によって輝度が調整される。よって、記憶部12に、輝度が調整された画像データを記憶させることができる。その結果、例えば、記憶部12に記憶された画像データに基づいて機械学習をする場合などに、生成される学習モデル6の精度を高めることができる。
なお記憶制御手段47が、第2画像データと、第2画像データに基づいて算出された摂餌活性等と、を対応付けて記憶させる場合には、学習モデル6を容易に生成することができる。
【0076】
そして、第1の生成方法は、更に生成ステップを備えている。
生成ステップでは、調整ステップにて調整される第2画像データを学習データとし、算出ステップにて算出される摂餌活性等を教師データとする機械学習により、学習モデル6を生成する。本実施形態では、学習装置5が、第1データセットを用いて学習モデル6に機械学習をさせる。
【0077】
比較ステップにおいて、第1画像データと第2画像データとを比較する。その上で、調整ステップにおいて、比較ステップの処理結果に基づいて、第2画像データを調整する。このように調整された第2画像データに基づいて、摂餌活性等を算出する。よって、調整されていない単なる画像データに基づいて摂餌活性等を算出する場合に比べて、算出精度を高めることができる。
よって、生成ステップにおいて、このように精度が高い摂餌活性等を教師データとして学習モデル6を生成することで、精度が高い学習モデル6を生成することができる。
【0078】
(第2の生成方法)
第2の生成方法は、給餌ステップと、撮像制御ステップと、比較ステップと、算出ステップと、を備えているものの、調整ステップを備えていない。
これらの給餌ステップから算出ステップまでは、例えば、第1給餌フロー(S10)を実施することにより実現される。
例えば、給餌計画が実施される(S11)ことで、給餌ステップが実施される。画像取得が実施される(S14)ことで、撮像制御ステップが実施される。画像データの比較(S20)のうちの画像比較(S22)が実施されることで、比較ステップおよび算出ステップが実施される。なおこの場合、摂餌活性等が画像差分に基づいて算出されるが、第2の生成方法において、画像差分以外の要素を用いて摂餌活性等が算出されてもよい。
【0079】
この生成方法では、前記画像比較(S22)において、記憶制御手段47(第2記憶制御手段47)が、例えば、前記第2データセットを記憶させる。第2データセットは、第1画像データと第2画像データと、これらの画像データから算出された摂餌活性等と、を対応付けた情報である。
【0080】
そして、第2の生成方法は、更に生成ステップを備えている。
生成ステップでは、第1画像データおよび第2画像データを学習データとし、算出ステップにて算出される摂餌活性等を教師データとする機械学習により、学習モデル6を生成する。本実施形態では、学習装置5が、第2データセットを用いて学習モデル6に機械学習をさせる。
【0081】
記憶制御手段47が、第1画像データと第2画像データとを対応付けて記憶部12に記憶させる。その結果、例えば、記憶部12に記憶された画像データに基づいて機械学習をする場合などに、生成される学習モデル6の精度を高めることができる。
例えばこの場合、第1画像データおよび第2画像データを対応させた状態で機械学習することで、学習モデル6として、第1画像データおよび第2画像データを入力データとし、これら入力データに基づいて、残餌量や摂餌活性を出力する学習モデル6を生成することができる。さらにこの場合、記憶制御手段47が、第1画像データと第2画像データとを対応付けるのに加えて、第1画像データと第2画像データと、これらの画像データから算出された摂餌活性等と、を対応付けてもよい。これにより、例えば、第1画像データおよび第2画像データの対が学習データであり、この対に対応する摂餌活性等が教師データである、機械学習用のデータセットを生成することができる。
また機械学習として、対応する第1画像データと第2画像データとを用いたアンサンブル学習を採用することもできる。
【0082】
以上説明したように、本実施形態に係る給餌システム1によれば、比較手段44が、第1画像データおよび第2画像データを比較する。このように、比較手段44が異なるタイミングで撮像された複数の画像データを比較することで、例えば、画像に含まれる餌に関する残餌量や、画像に含まれる水棲生物Lに関する摂餌活性などを、精度良く算出することができる。
そして、このような比較手段44の処理結果に基づき、給餌制御手段46が給餌手段2を制御する。したがって、水棲生物Lへの給餌の効率を向上させることができる。
【0083】
なお、本発明の技術的範囲は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【0084】
画像差分取得部51、輝度差分取得部52、輝度調整部53、記憶制御手段47、濁り程度取得部54、判定手段43、判別手段42のうちの少なくとも1つがなくてもよい。
学習装置5がなくてもよい。
【0085】
給餌システム1の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0086】
その他、本発明の趣旨に逸脱しない範囲で、前記実施形態における構成要素を周知の構成要素に置き換えることは適宜可能であり、また、前記した変形例を適宜組み合わせてもよい。
【0087】
(付記)
<1>本発明の一態様に係る給餌システムは、水棲生物に給餌する給餌手段と、前記水棲生物を撮像して画像データを生成する撮像手段と、前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較する比較手段と、前記比較手段の処理結果に基づき、前記給餌手段を制御する給餌制御手段と、を備える。
【0088】
比較手段が、第1画像データおよび第2画像データを比較する。このように、比較手段が異なるタイミングで撮像された複数の画像データを比較することで、例えば、画像に含まれる餌に関する残餌量や、画像に含まれる水棲生物に関する摂餌活性などを、精度良く算出することができる。
そして、このような比較手段の処理結果に基づき、給餌制御手段が給餌手段を制御する。したがって、水棲生物への給餌の効率を向上させることができる。
なお、比較手段による比較には、(1)第1画像データと第2画像データとを直接的に比較することだけでなく、(2)第1画像データと他のデータとを比較し、その比較結果に基づいて第2画像データを変更(調整)することや、(3)第1画像データの処理結果に応じて、第2画像データに基づく判断基準を変更すること、も含む。
【0089】
<2>上記<1>に係る給餌システムでは、前記比較手段は、前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、の差分である画像差分を取得する画像差分取得部、を含む、ことを特徴とする構成を採用してもよい。
【0090】
画像差分取得部が、画像差分を取得する。この画像差分を利用することで、例えば、第1画像データと第2画像データとにおいて、残餌量を表す特徴量(例えば餌)の差分や、摂餌活性を表す特徴量(例えば水しぶき)の差分などを取得することができる。これにより、例えば、残餌量や摂餌活性などを一層精度良く算出することができる。
【0091】
<3>上記<2>に係る給餌システムでは、前記第2量は、前記第1量より、多い、ことを特徴とする構成を採用してもよい。
【0092】
第2量が第1量より多く、第2画像データが撮像されるタイミングにおける給餌量が、第1画像データが撮像されるタイミングにおける給餌量よりも多い。したがって、例えば、給餌手段によって給餌量を第1量から第2量に増加させ、比較手段によって第1画像データと第2画像データとを比較することで、例えば、水棲生物が餌に群がる度合いを算出することができる。これにより、例えば、水棲生物の摂餌活性をより一層精度良く算出することができる。
ここで、餌に群がる度合いは、公知の画像処理によって算出可能である。餌に群がる度合いは、例えば、波しぶきの量、餌を基準とした所定範囲内に位置する水棲生物の数、個々の水棲生物の大きさ、水棲生物が集まることによって形成される水棲生物群の大きさ、などによって算出される。
なお例えば、第1量が0であり、第2量が0よりも大きい場合としては、給餌量が0である給餌前や給餌間(給餌後)の画像データが第1画像データとなり、給餌量が0より上回る給餌中の画像データが第2画像データとなる場合が挙げられる。
また例えば、第1量が0であり、第2量が0よりも大きい場合としては、給餌中にわざと給餌を停止し、一定時間をおいた後、給餌を再開する(例えば、摂餌活性の算出のために、摂餌活性算出の専用モードを実施する)ことで、給餌量が0である給餌停止中の画像データが第1画像データとなり、給餌再開後の画像データが第2画像データとなる場合が挙げられる。
さらに例えば、第1量および第2量がいずれも0よりも大きい場合としては、第2量で給餌中に意図的に給餌量を第1量に減らし、一定時間をおいた後、給餌量を第2量に戻す(例えば、摂餌活性の算出のために、摂餌活性算出の専用モードを実施する)ことで、給餌量が第1量である給餌量を減少させたときの画像データが第1画像データとなり、給餌量を元に戻したときの画像データが第2画像データとなる場合が挙げられる。
【0093】
<4>上記<1>に係る給餌システムでは、前記比較手段は、前記撮像手段が生成する第1画像データの輝度と所定輝度との差分である輝度差分を取得する輝度差分取得部と、前記撮像手段が生成する前記第2画像データの輝度を、前記輝度差分取得部により取得される前記輝度差分に基づき、調整する輝度調整部と、を含む、ことを特徴とする構成を採用してもよい。
【0094】
各画像データの輝度は、例えば、天気などによって異なる。例えば、晴れた日の画像データの輝度は、曇った日の画像データの輝度に比べて高い。なお、各画像データの輝度は、各画像データ全体の輝度である。
ここで輝度調整部が、輝度差分に基づいて第2画像データの輝度を調整する。輝度差分は、第1画像データの輝度と所定輝度との差分である。よって、例えば、所定輝度として、晴れた日の画像データの輝度を設定することで、天気によらず、第2画像データを適度な輝度に調整すること等ができる。これにより、残餌量や摂餌活性などを一層精度良く算出することができる。
なお、オペレーターが指定手段を利用して所定輝度を指定する場合、所定輝度が確実に設定される。
【0095】
<5>上記<4>に係る給餌システムでは、前記輝度調整部によって調整される前記第2画像データを記憶部に記憶させる第1記憶制御手段、を更に備えることを特徴とする構成を採用してもよい。
【0096】
第1記憶制御手段が、第2画像データを記憶部に記憶させる。ここで、第2画像データは、輝度調整部によって輝度が調整される。よって、記憶部に、輝度が調整された画像データを記憶させることができる。その結果、例えば、記憶部に記憶された画像データに基づいて機械学習をする場合などに、生成される学習モデルの精度を高めることができる。
なお第1記憶制御手段が、第2画像データと、第2画像データに基づいて算出された残餌量または摂餌活性と、を対応付けて記憶させる場合には、学習モデルを容易に生成することができる。
【0097】
<6>上記<1>乃至<5>のいずれか1態様に係る給餌システムでは、前記給餌制御手段は、前記撮像手段が生成する第2画像データに基づく残餌量、が所定閾値を上回ったら、前記給餌手段による給餌速度を低下させ、または、給餌を停止させ、前記比較手段は、前記撮像手段が生成する第1画像データの濁りの程度を取得する濁り程度取得部、を含み、前記所定閾値は、前記濁り程度取得部によって取得される濁りの程度が大きくなるに連れ、下がる、ことを特徴とする構成を採用してもよい。
【0098】
撮像手段が生成する第2画像データに基づく残餌量、が所定閾値を上回ったら、給餌制御手段が、給餌手段による給餌速度を低下させ、または、給餌を停止させる。よって、所定閾値が高いほど、残餌量(例えば、餌の個数)が多いと算出されている状態ではじめて給餌速度が低下され、または、給餌が停止される。そのためこの場合、給餌速度が低下したり給餌が停止されたりする可能性が低くなる。逆に、所定閾値が下がると、給餌速度が低下したり給餌が停止されたりする可能性が高まる。
ここで、濁りの程度が大きくなると、残餌量の算出の精度が低下しやすい。
そこで、濁り程度取得部によって取得される濁りの程度が大きくなるに連れ、所定閾値が下がる。よって、仮に、濁りの程度が大きくなり残餌量の算出の精度が低下したとしても、過剰な給餌を抑制することができる。これにより、濁りの程度に応じて給餌量を適切に調整することができる。
なお、濁り程度取得部は、例えば、第1画像データに含まれる基準の見え方によって、濁りの程度を取得してもよい。前記基準は、画像データが撮像されるタイミングによらず固定された位置に撮像されてもよい。また、濁り程度取得部は、例えば、第1画像データの輝度に基づいて、濁りの程度を取得してもよい。
また、画像処理や機械学習を前提とする場合であって、画像中に含まれる対象が餌である確率が所定閾値以上である場合に対象が餌であると判定する場合、濁りの程度が高まるに連れて、この所定閾値もあわせて下げてもよい。
【0099】
<7>上記<1>乃至<6>のいずれか1態様に係る給餌システムでは、前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を対応付けて記憶部に記憶させる第2記憶制御手段、を更に備えることを特徴とする構成を採用してもよい。
【0100】
第2記憶制御手段が、第1画像データと第2画像データとを対応付けて記憶部に記憶させる。その結果、例えば、記憶部に記憶された画像データに基づいて機械学習をする場合などに、生成される学習モデルの精度を高めることができる。
例えばこの場合、第1画像データおよび第2画像データを対応させた状態で機械学習することで、学習モデルとして、第1画像データおよび第2画像データを入力データとし、これら入力データに基づいて、残餌量や摂餌活性を出力する学習モデルを生成することができる。さらにこの場合、第2記憶制御手段が、第1画像データと第2画像データとを対応付けるのに加えて、第1画像データと第2画像データと、これらの画像データから算出された残餌量および摂餌活性のうちの少なくとも一方と、を対応付けてもよい。これにより、例えば、第1画像データおよび第2画像データの対が学習データであり、この対に対応する残餌量および摂餌活性のうちの少なくとも一方が教師データである、機械学習用のデータセットを生成することができる。
また機械学習として、対応する第1画像データと第2画像データとを用いたアンサンブル学習を採用することもできる。
【0101】
<8>本発明の一態様に係る給餌システムは、水棲生物に給餌する給餌手段と、前記水棲生物を撮像して画像データを生成する撮像手段と、前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、前記水棲生物の種類を判定する判定手段と、前記判定手段によって前記種類がブリであると判定される場合に、前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較する比較手段と、前記比較手段の比較結果に基づき、前記給餌手段を制御する給餌制御手段と、を備える。
【0102】
ブリは給餌開始から給餌完了までの時間が短い(例えば、10分程度である)。よって、例えば、給餌開始前後であっても環境変化が少なく、給餌開始前の画像データと、給餌中の画像データと、の比較が、給餌量の変化が大きい観点からも有効である。そのため、例えば、給餌開始前で給餌量(=0)を第1量としてこの場合の画像データを第1画像データとし、給餌中の給餌量を第2量としてこの場合の画像データを第2画像データとする。その上で、比較手段が、第1画像データおよび第2画像データを比較する。このように、比較手段が異なるタイミングで撮像された複数の画像データを比較することで、例えば、画像に含まれる餌に関する残餌量や、画像に含まれる水棲生物に関する摂餌活性などを、精度良く算出することができる。
そして、このような比較手段の処理結果に基づき、給餌制御手段が給餌手段を制御する。したがって、水棲生物への給餌の効率を向上させることができる。
【0103】
<9>本発明の一態様に係る給餌システムは、水棲生物に給餌する給餌手段と、前記水棲生物を撮像して画像データを生成する撮像手段と、前記給餌手段が前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するように前記撮像手段を制御し、前記給餌手段が前記水棲生物に給餌する量が第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するように前記撮像手段を制御する撮像制御手段と、前記撮像手段が前記第1画像データを生成してから所定期間が経過したか否かを判別する判別手段と、比較手段と、前記比較手段の比較結果に基づき、前記給餌手段を制御する給餌制御手段と、を備える給餌システムであって、前記撮像制御手段は、前記判別手段によって前記所定期間が経過したと判別される場合に、前記水棲生物を新たに撮像させて第3画像データを生成するように前記撮像手段を制御し、前記比較手段は、前記判別手段によって前記所定期間が経過したと判別されない場合に、前記撮像手段が生成する前記第1画像データと、前記撮像手段が生成する前記第2画像データと、を比較し、前記判別手段によって前記所定期間が経過したと判別される場合に、前記撮像手段が生成する前記第2画像データと、前記撮像手段が生成する前記第3画像データと、を比較する、ことを特徴とする。
【0104】
判別手段によって所定期間が経過したと判別されない場合、第1画像データは所定期間以内に生成された比較的新しいデータである。よって、この場合、比較手段が、第1画像データと、第2画像データと、を比較する。一方、判別手段によって所定期間が経過したと判別される場合に、比較手段は、第1画像データに代えて第3画像データを採用し、第2画像データと、第3画像データと、を比較する。
これにより、給餌が長期間にわたっても、比較手段が、比較的近い間隔で撮影された2つの画像データを比較することができる。比較手段が、第1画像データおよび第2画像データを比較する。このように、比較手段が異なるタイミングで撮像された複数の画像データを比較することで、例えば、画像に含まれる餌に関する残餌量や、画像に含まれる水棲生物に関する摂餌活性などを、精度良く算出することができる。
そして、このような比較手段の処理結果に基づき、給餌制御手段が給餌手段を制御する。したがって、水棲生物への給餌の効率を向上させることができる。
なお、例えば、サケは給餌開始から給餌完了までの時間が長いことから、このような給餌システムによる作用効果が顕著に奏功される。
【0105】
<10>本発明の一態様に係る学習モデル生成方法は、水棲生物に給餌する給餌ステップと、前記給餌ステップにおいて前記水棲生物に給餌する量が第1量である場合に、前記水棲生物を撮像させて第1画像データを生成するよう、前記水棲生物を撮像して画像データを生成する撮像手段を制御し、前記給餌ステップにおいて前記水棲生物に給餌する量が第2量である場合に、前記水棲生物を撮像させて第2画像データを生成するよう、前記撮像手段を制御する撮像制御ステップと、前記撮像制御ステップにて前記撮像手段が生成する前記第1画像データと、前記撮像制御ステップにて前記撮像手段が生成する前記第2画像データと、を比較する比較ステップと、前記比較ステップの処理結果に基づき、前記第2画像データを調整する調整ステップと、前記調整ステップにて調整される前記第2画像データに基づき、前記水棲生物の残餌量および摂餌活性のうちの少なくとも一方を算出する算出ステップと、前記調整ステップにて調整される前記第2画像データを学習データとし、前記算出ステップにて算出される前記少なくとも一方を教師データとする機械学習により、学習モデルを生成する生成ステップと、を備えることを特徴とする。
【0106】
比較ステップにおいて、第1画像データと第2画像データとを比較する。その上で、調整ステップにおいて、比較ステップの処理結果に基づいて、第2画像データを調整する。このように調整された第2画像データに基づいて、水棲生物の残餌量および摂餌活性のうちの少なくとも一方を算出する。よって、調整されていない単なる画像データに基づいて水棲生物の残餌量および摂餌活性のうちの少なくとも一方を算出する場合に比べて、算出精度を高めることができる。
よって、生成ステップにおいて、このように精度が高い、水棲生物の残餌量および摂餌活性のうちの少なくとも一方を教師データとして学習モデルを生成することで、精度が高い学習モデルを生成することができる。
【符号の説明】
【0107】
1 給餌システム
2 給餌手段
3 撮像手段
6 学習モデル
12 記憶部
41 撮像制御手段
42 判別手段
43 判定手段
44 比較手段
46 給餌制御手段
47 記憶制御手段
47 第1記憶制御手段
47 第2記憶制御手段
51 画像差分取得部
52 輝度差分取得部
53 輝度調整部
54 程度取得部
L 水棲生物
【要約】
【課題】給餌の効率を向上させる。
【解決手段】水棲生物Lに給餌する給餌手段2と、水棲生物Lを撮像して画像データを生成する撮像手段3と、給餌手段2が水棲生物Lに給餌する量が第1量である場合に、水棲生物Lを撮像させて第1画像データを生成するように撮像手段3を制御し、給餌手段2が水棲生物Lに給餌する量が第2量である場合に、水棲生物Lを撮像させて第2画像データを生成するように撮像手段3を制御する撮像制御手段と、撮像手段3が生成する第1画像データと、撮像手段3が生成する第2画像データと、を比較する比較手段と、比較手段の処理結果に基づき、給餌手段2を制御する給餌制御手段と、を備える給餌システム。
【選択図】図2
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14