IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 古野電気株式会社の特許一覧

特開2024-13658魚種判別システム、サーバ、魚種判別方法およびプログラム
<>
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図1
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図2
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図3
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図4
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図5
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図6
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図7
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図8
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図9
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図10
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図11
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図12
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図13
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図14
  • 特開-魚種判別システム、サーバ、魚種判別方法およびプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013658
(43)【公開日】2024-02-01
(54)【発明の名称】魚種判別システム、サーバ、魚種判別方法およびプログラム
(51)【国際特許分類】
   G01S 15/96 20060101AFI20240125BHJP
【FI】
G01S15/96
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022115917
(22)【出願日】2022-07-20
(71)【出願人】
【識別番号】000166247
【氏名又は名称】古野電気株式会社
(74)【代理人】
【識別番号】100111383
【弁理士】
【氏名又は名称】芝野 正雅
(74)【代理人】
【識別番号】100170922
【弁理士】
【氏名又は名称】大橋 誠
(72)【発明者】
【氏名】笠井 昭範
(72)【発明者】
【氏名】平林 祐太
(72)【発明者】
【氏名】村垣 政志
【テーマコード(参考)】
5J083
【Fターム(参考)】
5J083AA02
5J083AB03
5J083AC29
5J083AD01
5J083AD06
5J083AE04
5J083AF16
5J083CA01
5J083EA37
(57)【要約】
【課題】機械学習モデルを用いた魚種判別結果の精度を高めることが可能な魚種判別システム、サーバ、魚種判別方法およびプログラムを提供する。
【解決手段】魚種判別システム1は、水中のエコーデータを取得するエコーデータ取得部110と、記憶部202と、制御部201と、を備える。記憶部202は、エコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、ユーザにより設定された魚群に関する魚種ごとのノウハウ情報と、魚種ごとの予測確率をノウハウ情報に基づき修正するノウハウモデルと、を記憶する。制御部201は、機械学習モデルにより取得した魚種ごとの予測確率をノウハウモデルで修正した修正結果に基づいて、魚群の魚種を判別する。
【選択図】図2
【特許請求の範囲】
【請求項1】
水中のエコーデータを取得するエコーデータ取得部と、
記憶部と、
制御部と、を備え、
前記記憶部は、
前記エコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、
ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、
前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶し、
前記制御部は、
前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する、
ことを特徴とする魚種判別システム。
【請求項2】
請求項1に記載の魚種判別システムにおいて、
前記ノウハウ情報は、前記魚種の魚の水中における特性に関する情報を含む、
ことを特徴とする魚種判別システム。
【請求項3】
請求項1に記載の魚種判別システムにおいて、
前記ノウハウ情報は、前記魚種の魚に適する海況に関する情報を含む、
ことを特徴とする魚種判別システム。
【請求項4】
請求項1に魚種判別システムにおいて、
前記ノウハウ情報は、前記魚種の魚の捕獲時期および捕獲場所の少なくとも一方に関する情報を含む、
ことを特徴とする魚種判別システム。
【請求項5】
請求項1に記載の魚種判別システムにおいて、
前記制御部は、前記判別結果に対するユーザの修正内容を示すフィードバック情報に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更する、
ことを特徴とする魚種判別システム。
【請求項6】
請求項1に記載の魚種判別システムにおいて、
前記制御部は、前記機械学習の学習進度に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更する、
ことを特徴とする魚種判別システム。
【請求項7】
請求項1に記載の魚種判別システムにおいて、
水中の魚群を探知する水中探知装置と、
前記水中探知装置と通信可能なサーバと、を備え、
前記エコーデータ取得部は前記水中探知装置に配置され、
前記記憶部および前記制御部は、前記サーバに配置される、
ことを特徴とする魚種判別システム。
【請求項8】
請求項7に記載の魚種判別システムにおいて、
前記水中探知装置は、
表示部と、
入力部と、
前記表示部に前記判別結果を表示させるとともに、前記入力部を介して当該判別結果の修正を受け付け、前記修正をフィートバック情報として前記サーバに送信する制御部と、を備える。
ことを特徴とする魚種判別システム。
【請求項9】
水中の魚群を探知する水中探知装置と通信可能なサーバであって、
記憶部と、
制御部と、を備え、
前記記憶部は、
前記水中探知装置から受信するエコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、
ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、
前記機械学習モデルによる前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶し、
前記制御部は、
前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する、
ことを特徴とするサーバ。
【請求項10】
水中のエコーデータを取得し、
前記エコーデータに基づき魚種ごとに予測確率を機械学習モデルにより算出し、
魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶し、
前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正し、
前記ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する、
ことを特徴とする魚種判別方法。
【請求項11】
水中から取得したエコーデータに基づき魚種ごとの予測確率を機械学習モデルにより算出する機能と、
魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶する機能と、
前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正する機能と、
ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する機能とを、コンピュータに実行させるプログラム。
ことを特徴とする魚種判別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習モデル(機械学習アルゴリズム)を用いて魚種判別を行う魚種判別システム、サーバおよび魚種判別方法、並びに、機械学習モデルを用いて魚種判別を行う機能をコンピュータに実行させるプログラムに関する。
【背景技術】
【0002】
従来、水中の魚群を探知する魚群探知装置が知られている。この種の魚群探知装置では、水中に超音波が送波され、その反射波が受波される。受波された反射波の強度に応じたエコーデータが生成され、生成されたエコーデータに基づいてエコー画像が表示される。ユーザは、エコー画像から魚群を確認でき、魚群の捕獲を円滑に進めることができる。
【0003】
この場合、エコー画像上の魚群について、さらに魚種が判別できると好ましい。これにより、ユーザは、自身が望む魚種の魚を効率よく捕獲できる。
【0004】
魚種の判別には、たとえば、機械学習モデルを用いることができる。この場合、魚群探知機から出力されるエコーデータを入力データとし、エコーデータ上の魚群の魚種を教師データとして、機械学習モデルに対する学習が行われ、学習済みモデルが生成される。エコーデータ上の魚群の魚種(教師データ)は、たとえば、実際の漁獲に基づきユーザにより入力される。以下の特許文献1には、この種の魚種推定システムが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2019-200175号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述の方法では、ユーザごとに固有の機械学習モデルが生成され得る。しかし、上述の方法では、実際の漁獲に基づき教師データがユーザにより入力されるため、教師データのデータ数に限りがある。このため、機械学習モデルによる魚種の判別結果を高精度化することが困難である。
【0007】
この問題の解決方法として、たとえば、専門家が機械学習のために生成した標準データを集約し、集約した標準データを教師データとして機械学習モデルの学習に用いる方法が考えられる。
【0008】
しかし、各魚種の魚の遊泳深度、遊泳速度、群れ方等、魚の水中における特性は、地域に応じて異なる場合がある。また、水温、塩分濃度、潮流の速度等、各魚種の魚に適する海況も、地域に応じて異なる場合があり、さらには、各魚種の魚を捕獲できる捕獲時期や捕獲場所も、地域に応じて異なる場合がある。このため、上記のように標準データに基づく機械学習モデルにより魚群の魚種が判別されると、各地域において、高精度の判別結果が得られないことが起こり得る。
【0009】
かかる課題に鑑み、本発明は、機械学習モデルを用いた魚種判別結果の精度を高めることが可能な魚種判別システム、サーバ、魚種判別方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第1の態様は、魚種判別システムに関する。この態様に係る魚種判別システムは、水中のエコーデータを取得するエコーデータ取得部と、記憶部と、制御部と、を備える。前記記憶部は、前記エコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶する。前記制御部は、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する。
【0011】
本態様に係る魚種判別システムによれば、ユーザからのノウハウ情報を用いたノウハウモデルに基づき、機械学習モデルによる各魚種の予測確率が修正されるため、修正後の各魚種の予測確率は、ユーザが属する地域や漁獲海域に、より適合しやすくなる。よって、魚種判別結果の精度を高めることができる。
【0012】
本態様に係る魚種判別システムにおいて、前記ノウハウ情報は、前記魚種の魚の水中における特性に関する情報を含み得る。
【0013】
各魚種の魚の水中における特性、たとえば、遊泳深度、遊泳速度および群れ方等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の水中における特性を含むことで、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。
【0014】
本態様に係る魚種判別システムにおいて、前記ノウハウ情報は、前記魚種の魚に適する海況に関する情報を含み得る。
【0015】
各魚種の魚に適する海況、たとえば、水温、塩分濃度、潮流の速度等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚に適する海況を含むことで、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。
【0016】
本態様に係る魚種判別システムにおいて、前記ノウハウ情報は、前記魚種の魚の捕獲時期および捕獲場所の少なくとも一方に関する情報を含み得る。
【0017】
各魚種の魚を捕獲できる捕獲時期および捕獲場所は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の捕獲時期および捕獲場所の少なくとも一方を含むことで、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。
【0018】
本態様に係る魚種判別システムにおいて、前記制御部は、前記判別結果に対するユーザの修正内容を示すフィードバック情報に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更するよう構成され得る。
【0019】
この構成によれば、判別結果に対するユーザの修正内容により、ノウハウモデルにおける予測確率の修正度合いが随時変更されるため、たとえば、ユーザが誤って不適切なノウハウ情報を設定したような場合も、修正後の予測確率を、実際の魚種に応じた予測確率に近づけることができる。
【0020】
本態様に係る魚種判別システムにおいて、前記制御部は、前記機械学習の学習進度に基づいて、前記ノウハウモデルにおける前記予測確率の修正度合いを変更するよう構成され得る。
【0021】
この構成によれば、たとえば、機械学習モデルの学習進度が低く各魚種の予測確率の精度が低い場合は、ノウハウモデルにおける予測確率の修正度合いが高められ、その後、機械学習モデルの学習進度が高まり各魚種の予測確率の精度が高まるに応じて、ノウハウモデルにおける予測確率の修正度合いが低減される。このように、機械学習モデルとノウハウモデルとが相補的に作用することにより、修正後の予測確率の精度を効率的に高めることができ、魚種判別結果の精度を高めることができる。
【0022】
本態様に係る魚種判別システムは、水中の魚群を探知する水中探知装置と、前記水中探知装置と通信可能なサーバと、を備え得る。ここで、前記エコーデータ取得部は前記水中探知装置に配置され、前記記憶部および前記制御部は、前記サーバに配置され得る。
【0023】
この構成によれば、主として、サーバにおいて、魚種判別に必要な機械学習モデルおよびノウハウモデルの構築と、これらを用いた魚種判別の処理が実行される。よって、船等に設置される水中探知装置における負担を軽減しつつ、効率的に、魚種判別処理を実行できる。
【0024】
本発明の第2の態様は、水中の魚群を探知する水中探知装置と通信可能なサーバに関する。この態様に係るサーバは、記憶部と、制御部と、を備える。前記記憶部は、前記水中探知装置から受信するエコーデータに基づき魚種ごとに予測確率を出力する機械学習モデルと、ユーザにより設定された魚群に関する前記魚種ごとのノウハウ情報と、前記機械学習モデルによる前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルと、を記憶する。前記制御部は、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を前記ノウハウモデルで修正した修正結果に基づいて、前記魚群の魚種を判別する。
【0025】
本発明の第3の態様は、魚種判別方法に関する。この態様に係る魚種判別方法は、水中のエコーデータを取得し、前記エコーデータに基づき魚種ごとに予測確率を機械学習モデルにより算出し、魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶し、前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正し、前記ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する。
【0026】
本発明の第4の態様は、コンピュータに所定の機能を実行させるプログラムに関する。本態様に係るプログラムは、水中から取得したエコーデータに基づき魚種ごとの予測確率を機械学習モデルにより算出する機能と、魚群に関するユーザからのノウハウ情報を前記魚種ごとに記憶する機能と、前記魚種ごとの前記予測確率を前記ノウハウ情報に基づき修正するノウハウモデルにより、前記機械学習モデルにより取得した前記魚種ごとの前記予測確率を修正する機能と、ノウハウモデルにより修正した前記魚種ごとの前記予測確率に基づいて前記魚群の魚種を判別する機能とを、含む。
【0027】
上記第2ないし第3の態様によれば、上記第1の態様と同様の効果が奏される。
【発明の効果】
【0028】
以上のとおり、本発明によれば、本発明は、機械学習モデルを用いた魚種判別結果の精度を高めることが可能な魚種判別システム、サーバ、魚種判別方法およびプログラムを提供することができる。
【0029】
本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。
【図面の簡単な説明】
【0030】
図1図1は、実施形態に係る、魚種判別システムの構成を示す図である。
図2図2は、実施形態に係る、魚種判別システムの構成を示すブロック図である。
図3図3は、実施形態に係る、サーバの記憶部における各種情報の管理状態を示す図である。
図4図4(a)~図4(c)は、それぞれ、実施形態に係る、個別データの構成を示す図である。
図5図5は、実施形態に係る、ニューラルネットワークによる魚種判別処理を模式的に示す図である。
図6図6は、実施形態に係る、ノウハウ情報の入力画面を示す図である。
図7図7は、実施形態に係る、機械学習モデルによる各魚種の予測確率をノウハウモデルで修正する処理の一例を説明する図である。
図8図8は、実施形態に係る、魚種判別処理を示すフローチャートである。
図9図9は、実施形態に係る、魚種判別結果を含むエコー画像の表示例を模式的に示す図である。
図10図10(a)は、実施形態に係る、水中探知装置の制御部により実行されるフィードバック情報の送信処理を示すフローチャートである。図10(b)は、実施形態に係る、サーバの制御部により実行されるフィードバック情報の受信処理を示すフローチャートである。
図11図11は、実施形態に係る、ユーザから魚種の修正を受け付けるための画面を模式的に示す図である。
図12図12(a)は、実施形態に係る、サーバの制御部により実行されるノウハウモデルの修正処理を示すフローチャートである。図12(b)は、実施形態に係る、図12(a)のステップS312における処理の一例を示すフローチャートである。
図13図13(a)および図13(b)は、実施形態に係る、ノウハウモデルの修正例を示す図である。
図14図14(a)は、変更例1に係る、機械学習の学習進度に基づいてノウハウモデルにおける予測確率の修正度合いを変更する処理を示すフローチャートである。図14(b)は、変更例1に係る、図14(a)の処理に用いるテーブルの構成を示す図である。
図15図15は、変更例2に係る、ノウハウ情報の修正例を示す図である。
【発明を実施するための形態】
【0031】
図1は、魚種判別システム1の構成を示す図である。
【0032】
魚種判別システム1は、水中探知装置10と、サーバ20とを備える。水中探知装置10は、船2に設置される魚群探知機である。水中探知装置10は、外部通信網30(たとえば、インターネット)および基地局40を介して、サーバ20と通信可能である。水中探知装置10およびサーバ20は、それぞれ、相互に通信を行うためのアドレス情報を保持している。それぞれのアドレス情報は、初期設定時に、水中探知装置10およびサーバ20に設定される。
【0033】
水中探知装置10は、送受波器11と、制御ユニット12とを備える。送受波器11は、船2の船底に設置され、制御ユニット12は、船の操舵室等に設置される。送受波器11と制御ユニット12は、信号ケーブル(図示せず)で接続されている。送受波器11は、送受波用の超音波振動子を備える。送受波器11は、制御ユニット12からの制御に応じて、超音波振動子により、海底4に向かって超音波3(送信波)を送波し、その反射波を受波する。送受波器11は、受波した反射波に基づく受信信号を制御ユニット12に送信する。
【0034】
制御ユニット12は、受信信号を処理して、各深度のエコー強度を示すエコーデータを生成する。制御ユニット12は、エコーデータに基づく各深度のエコー強度を時系列に並べて、1画面分のエコー画面を生成する。制御ユニット12は、生成したエコー画面を表示部に表示させる。制御ユニット12は、超音波の送受波ごとにエコー画面を更新する。ユーザは、エコー画面を参照することで、魚群5の存在および位置を把握できる。
【0035】
さらに、制御ユニット12は、生成したエコーデータを、随時、サーバ20に送信する。サーバ20は、受信したエコーデータを記憶するとともに、制御ユニット12と同様のエコー画像を生成する。サーバ20は、機械学習モデルにより、エコー画像に含まれる魚群に対し、魚種ごとに予測確率(その魚種である確率)を算出する。さらに、サーバ20は、算出した魚種ごとの予測確率を、ユーザにより設定されたノウハウ情報に基づくノウハウモデルにより修正する。
【0036】
ここで、ノウハウ情報は、魚群に関する魚種ごとの情報であって、各魚種の魚の水中における特性(遊泳深度、遊泳速度、群れ方、等)、各魚種の魚に適する海況に関する情報(水温、塩分濃度、潮流の速度、等)、または、各魚種の魚の捕獲時期および捕獲場所を含み得る。
【0037】
サーバ20は、機械学習モデルにより算出した魚種ごとの予測確率を、ユーザにより設定されたノウハウ情報に基づくノウハウモデルにより修正して、修正後の予測確率を魚種ごとに算出し、修正後の各魚種の予測確率に基づき、当該魚群に対する魚種の判別結果を取得する。サーバ20は、こうして取得した当該魚種の判別結果を、判別対象の魚群の範囲(深度、時間)とともに、エコーデータの受信先の水中探知装置10に送信する。
【0038】
水中探知装置10は、受信した判別結果および魚群の範囲(深度、時間)に基づき、エコー画像上の対応する範囲に魚種の判別結果を重ねて表示する。これにより、ユーザは、エコー画像上の各魚群の魚種を確認でき、所望の魚の漁獲を円滑に進めることができる。
【0039】
ユーザは、サーバ20から提供された魚種の判別結果と、実際に漁獲した魚の魚種とが相違する場合、魚種を修正するためのフィードバック情報をサーバ20に送信する。たとえば、ユーザは、1日の漁獲を終了した後、水中探知装置10の入力部を介して、その日の所定の時間帯のエコーデータをサーバ20から取得する操作を行う。これにより、サーバ20は、指定された日および時間帯のエコーデータを魚種の判別結果(判別対象の魚群の範囲を含む)とともに水中探知装置10に送信する。水中探知装置10は、受信したエコーデータおよび判別結果に基づき、判別結果を含むエコー画像を表示部に表示させる。
【0040】
ユーザは、入力部を介して、エコー画像上に表示された魚種の判別結果を自身が捕獲した魚の魚種に修正する操作を行う。これにより、水中探知装置10は、判別結果に対するユーザの修正と、当該判別結果に対応する魚群の範囲(深度、時間)とを含むフィードバック情報を、サーバ20に送信する。サーバ20は、受信したフィードバック情報に基づいて、上述のノウハウモデルにおける予測確率の修正度合いを変更する。これにより、ノウハウモデルがユーザの実際の漁獲結果を反映するように適正化される。
【0041】
なお、図1には、水中探知装置10が1つだけ図示されているが、実際は、多数の水中探知装置10が外部通信網30および最寄りの基地局を介して、サーバ20と通信可能である。また、サーバ20と通信を行う水中探知装置10は、図1に示すように船2に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。
【0042】
図2は、魚種判別システム1の構成を示すブロック図である。
【0043】
水中探知装置10は、制御部101と、表示部102と、入力部103と、送受波部104と、信号処理部105と、通信部106と、位置検出部107とを備える。送受波部104および信号処理部105によって、水中のエコーデータを取得するエコーデータ取得部110が構成される。
【0044】
制御部101は、マイクロコンピュータおよびメモリ等により構成される。制御部101は、メモリに記憶されたプログラムに従って、水中探知装置10の各部を制御する。このプログラムには、後述の魚種判別結果の受信および表示に関する機能や、フィードバック情報およびノウハウ情報の受付および送信に関する機能が含まれる。
【0045】
表示部102は、モニタを備え、制御部101からの制御により、所定の画像を表示させる。入力部103は、表示部102に表示された画像上でカーソルを移動させるトラックボールや、操作キー等を備え、ユーザからの操作に応じた信号を制御部101に出力する。表示部102および入力部103が、液晶タッチパネル等により一体的に構成されてもよい。
【0046】
送受波部104は、図1に示した送受波器11と、送受波器11に送信信号を供給するための送信回路と、送受波器11から出力される受信信号を処理して信号処理部105に出力する受信回路とを備える。送信回路および受信回路は、図1の制御ユニット12に含まれる。
【0047】
送受波部104は、制御部101からの制御に従って送信波(超音波)を送波する。ここでは、1シーケンスにおいて、周波数が異なる2種類の送信波が送波される。送受波部104は、送波した各周波数の送信波の反射波を受波して受信信号を出力する。受信回路は、各送信波の周波数の受信信号を抽出して信号処理部105に出力する。
【0048】
なお、このように2種類の周波数で送受波が行われるのは、後述の魚種判別をより高精度に行うためである。たとえば、鰾の有無によって、各周波数のエコー強度に差が生じる。このため、魚群からのエコーの強度の差を参照することによって、当該魚群の魚種を精度良く判別できる。
【0049】
信号処理部105は、送受波部104から入力される各周波数の受信信号から、深度に応じた反射波の強度を示すエコーデータを生成し、生成した2種類のエコーデータを制御部101に出力する。各周波数の送信波を送波したタイミングからの経過時間が深度に対応する。ここで、反射波の強度は、深度が大きくなるほど減衰する。したがって、信号処理部105は、深度の差異に拘わらずエコーデータを定量的に扱えるようにするために、経過時間に応じて減衰する反射波の強度を補正し、強度を補正したエコーデータを制御部101に出力する。
【0050】
制御部101は、受信したエコーデータに基づきエコー画像を生成し、表示部102に表示させる。制御部101は、何れか一方の周波数に対応するエコーデータを用いて、エコーデータを生成する。何れの周波数のエコーデータをエコー画像の生成に用いるかを、ユーザが適宜切り替え可能であってもよい。制御部101は、各深度におけるエコー強度を色スケールにより階調表現した深度方向の1列の画像を、エコーデータから生成する。制御部101は、現時点から所定時間前までの各列の画像を時間方向に統合して、1画面分のエコー画像を生成する。
【0051】
なお、以下の説明において、エコーデータ(フィードバック情報に含まれるエコーデータを含む)と言うときは、特に明記しない限り、2種類の周波数のエコーデータを意味する。
【0052】
通信部106は、基地局40と無線通信可能な通信モジュールである。位置検出部107は、GPSを備え、水中探知装置10の位置を検出する。位置検出部107は、検出した位置情報を制御部101に出力する。
【0053】
図1を参照して説明したとおり、制御部101は、随時、通信部106を介して、エコーデータ、フィードバック情報およびノウハウ情報をサーバ20に送信する。また、制御部101は、通信部106を介して、サーバ20から魚種の判別結果を受信する。制御部101は、さらに、位置検出部107により検出された位置情報をサーバ20に送信する。
【0054】
図2に示すように、水中探知装置10の他にも、多数の水中探知装置10a、10b、…が外部通信網30および最寄りの基地局40a、40b、…を介して、サーバ20と通信可能である。上記のように、サーバ20と通信を行う水中探知装置10は、図1に示すように船2に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。他の水中探知装置の基本的な構成は、図2の水中探知装置10と同様である。
【0055】
但し、定置網に設置される水中探知装置は、ユーザが定置網内の魚の状態を遠隔で監視するために、定置網に設置される洋上ユニットと、外部通信網を介してこの洋上ユニットと通信可能な端末とにより構成され得る。洋上ユニットで取得されたエコーデータは、外部通信網を介して端末に送信される。これにより、端末にエコー画像が表示される。端末は、パーソナルコンピュータの他、携帯電話機やタブレット等、ユーザが所持する携帯端末であってもよい。
【0056】
この場合、サーバ20に対するエコーデータの送信は、端末が行ってよく、あるいは、洋上ユニットが端末へのエコーデータの送信に並行してサーバ20にもエコーデータを送信してもよい。また、フィードバック情報およびノウハウ情報は、端末を介して入力されてよく、端末からサーバ20に送信されてよい。魚種の判別結果は、洋上ユニットを経由せずに、サーバ20から端末に直接送信されてよい。また、端末に対するエコーデータの送信は、サーバ20から行われてもよい。すなわち、サーバ20は、洋上ユニットからエコーデータを受信し、受信したエコーデータを端末に送信してよい。
【0057】
サーバ20は、制御部201と、記憶部202と、通信部203とを備える。制御部201は、CPU等により構成される。記憶部202は、ROM、RAM、ハードディスク等により構成される。記憶部202には、魚種判別のためのプログラムが記憶されている。制御部201は、記憶部202に記憶されたプログラムにより、各部を制御する。通信部203は、制御部201からの制御により、外部通信網30および基地局40を介して、水中探知装置10と通信を行う。
【0058】
制御部201は、上記プログラムにより、各々の水中探知装置10に適用されるノウハウモデルを生成する。また、制御部201は、各々の水中探知装置10から受信したエコーデータ、フィードバック情報およびノウハウ情報を、各々の水中探知装置10に対応付けて記憶部202に記憶させる。制御部201は、各々の水中探知装置10から受信したノウハウ情報を用いて、当該水中探知装置10に適用されるノウハウモデルを生成し、さらに、各々の水中探知装置10から受信したフィードバック情報を用いて、当該水中探知装置10に適用されるノウハウモデルを更新する。
【0059】
なお、各々の水中探知装置10からサーバ20に送信されるエコーデータは、通信トラフィックやサーバ20の容量負荷の軽減から、所定の粒度まで間引いて送信されてよい。この場合、サーバ20は、補間処理により間引きを補正したエコーデータを用いて、魚種判別や機械学習を行う。あるいは、間引かれた状態のエコーデータを用いて魚種判別や機械学習が行われてもよい。但し、より精度良く魚種判別や機械学習を行うためには、補間処理により間引きを補正したエコーデータを魚種判別や機械学習に用いることが好ましい。
【0060】
また、サーバ20は、各々の水中探知装置10から受信したエコーデータを定量的に扱うために、各々の水中探知装置10から受信したエコーデータに対し、水中音響理論に基づき、水中探知装置10および送受波器11の特性(たとえば、感度、増幅率、等)を考慮した補正を行って、魚種判別や機械学習を行ってよい。これにより、機械学習モデルによる魚種判別および機械学習モデルに対する機械学習を、より精度良く行うことができる。
【0061】
図3は、サーバ20の記憶部202における各種情報の管理状態を示す図である。
【0062】
記憶部202には、標準データ301と、機械学習モデル302と、海況データ303と、個別データ311、321と、ノウハウモデル312、322とが記憶されている。
【0063】
標準データ301は、機械学習のための標準的な教師データである。標準データ301は、魚群の範囲(深度、時間)のエコーデータと、その魚群の魚種とを組み合わせたデータである。標準データ301は、専門家により逐次生成され、管理者により登録される。これにより、標準データのデータ数は、徐々に増加していく。
【0064】
機械学習モデル302は、標準データ301を用いた機械学習により生成された機械学習モデルである。標準データ301の更新に応じて、機械学習モデル302に対する機械学習が実行され、機械学習モデル302が更新される。こうして、機械学習モデル302の学習進度が高まっていく。
【0065】
本実施形態では、機械学習として、ニューラルネットワークを用いた機械学習が適用される。たとえば、ニューロンを多段に組み合わせたディープラーニングによるニューラルネットワークが適用される。但し、適用される機械学習はこれに限られるものではなく、サポートベクターマシーンや決定木等の他の機械学習が適用されてもよい。
【0066】
海況データ303は、水温、塩分濃度および潮流の速度等の海況に関するデータである。海況データ303は、海上の浮標等に設置された検出器によって検出され、各検出器から無線通信によりサーバ20に周期的に送信される。検出器は、GPSを備え、GPSで検出した位置情報を海況データとともにサーバ20に送信する。サーバ20は、浮標(検出器)の位置ごとに、海況データを記憶部202に記憶させる。水中探知装置10が海況データを取得するための検出器を備える場合、水中探知装置10からサーバ20に海況データが位置情報とともに送信されてもよい。
【0067】
個別データ311、321は、各ユーザの水中探知装置10から取得したデータである。ノウハウモデル312、322は、上述のように、機械学習モデル302により算出された魚種ごとの予測確率を、ユーザごとのノウハウ情報に基づき修正するためのモデルである。
【0068】
図3において、個別データ311およびノウハウモデル312はユーザU1に対するものであり、個別データ321およびノウハウモデル322はユーザU2に対するものである。ユーザU1、U2以外も同様に、ユーザごとに個別データ、ノウハウ情報およびノウハウモデルが管理されている。
【0069】
図4(a)~(c)は、個別データの構成を示す図である。
【0070】
図4(a)~(c)に示すとおり、各種の個別データが、ユーザIDに対応付けて管理される。ユーザIDは、ユーザ(水中探知装置10)を識別するための情報である。たとえば、水中探知装置10の製品コードがユーザIDとして用いられてよく、あるいは、ランダムに付与されたコードがユーザIDとして用いられてもよい。ユーザIDは、水中探知装置10とサーバ20との間で情報の送受信が行われる際に、随時、送受信される。
【0071】
図4(a)は、エコーデータに関する個別データである。水中探知装置10は、1シーケンスの送受波により得られたエコーデータをその取得日時とともに、サーバ20に順次送信する。サーバ20の記憶部202には、エコーデータの取得開始日時および取得終了日時と、その間に取得された一群のエコーデータおよびその取得日時とが、ユーザIDに対応付けて記憶される。
【0072】
さらに、開始日時から終了日時までの一群のエコーデータから機械学習モデルにより得られた魚種判別結果が各群のエコーデータにさらに対応付けられる。複数の魚種判別結果が得られた場合は、複数の魚種判別結果が一群のエコーデータに対応付けられる。各々の魚種判別結果は、魚群の範囲(深度、時間)と判別結果(魚種)とからなっている。
【0073】
図4(b)は、フィードバック情報に関する個別データである。ここでは、当該ユーザIDに対応する水中探知装置10から取得されたフィードバック情報が、時系列で記憶される。図4(c)は、ノウハウ情報に関する個別データである。ここでは、当該ユーザIDに対応する水中探知装置10から取得されたノウハウ情報が、時系列で記憶される。
【0074】
図5は、ニューラルネットワークによる魚種判別処理を模式的に示す図である。
【0075】
サーバ20の制御部201は、処理対象の1画面分のエコーデータから魚群の範囲(深度、時間)を抽出する。魚群の範囲は、エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある範囲として抽出される。魚群の範囲の抽出方法については、出願人が先に出願した国際公開第2019/003759号の記載が、参照により取り込まれ得る。
【0076】
制御部201は、抽出した魚群の範囲のエコーデータを、図5の機械学習モデル(ニューラルネットワークによる機械学習アルゴリズム)302の入力302aに適用する。
【0077】
機械学習モデル302の出力302bには、イワシ、アジ、サバなどの魚種の項目が割り当てられている。機械学習モデル302の入力302aに魚群の範囲のエコーデータが適用されると、機械学習モデル302の出力302bの各項目から、当該魚群の魚種が各項目の魚種である確率(予測確率)が出力される。図5の例では、サバの項目から85%の予測確率が出力され、イワシの項目から70%の予測確率が出力され、マグロの項目から10%の予測確率が出力されている。
【0078】
各項目の予測確率は、ノウハウモデル312によって修正される。上述のように、ノウハウモデル312は、当該ユーザのノウハウ情報に基づき各魚種(項目)の予測確率を修正するモデル(アルゴリズム)である。図5の例では、サバの項目の予測確率が85%から25%に修正され、イワシの項目の予測確率が70%から94%に修正され、マグロの項目の予測確率が10%から1%に修正されている。
【0079】
修正後の各項目の予測確率は、出力条件401と照合される。出力条件401には、たとえば、修正後の予測確率が所定の下限値以上で且つ一番順位(最高)である項目の魚種を判別結果402として出力する条件が適用される。下限値は、確度が低い魚種が判別結果として出力されることを防ぐために設定される。図5の例では、修正後の予測確率が94%であるイワシが、魚種の判別結果402として出力される。
【0080】
機械学習モデル302に対する機械学習は、一連の教師データを機械学習モデル302の入力302aおよび出力302bに順番に適用することにより行われる。すなわち、機械学習モデル302の入力302aに、1つの教師データに含まれる魚群のエコーデータが入力され、機械学習モデル302の出力302bには、この教師データに含まれる魚種に対応する項目に100%が設定され、その他の項目には0%が設定されて、機械学習が行われる。
【0081】
図3の機械学習モデル302は、標準データ301(魚群の範囲のエコーデータ、魚種)を、順次、機械学習モデル302の入力302aおよび出力302bに設定して機械学習を行うことにより生成される。
【0082】
また、機械学習モデル302の入力302aには、魚群のエコーデータの他に、当該エコーデータが得られた位置や、その位置の海況データ等の、魚種判別に用い得る他の情報が入力されてもよい。この場合、標準データも、これらの他の情報をさらに含めばよい。
【0083】
図6は、ノウハウ情報の入力画面500の構成例を示す図である。
【0084】
入力画面500は、魚種設定項目501と、ノウハウ入力領域502と、信頼度入力領域503と、確定キー504とを含んでいる。入力画面500は、図2の表示部102に表示され、入力部103を介してユーザからの入力を受け付ける。
【0085】
魚種設定項目501は、ノウハウ情報の設定対象とされる魚種をユーザが設定するための項目である。魚種設定項目501が選択されると、魚種設定項目501の直下に、選択候補の魚種がプルダウンリストにより表示される。ユーザは、表示された魚種候補から、自身がノウハウ情報を入力しようとする魚種を選択する。これにより、魚種設定項目501に、選択された魚種が表示される。図6の例では、サバが選択された状態が示されている。
【0086】
ノウハウ入力領域502は、ユーザが、自身のノウハウ情報を入力するための項目である。ノウハウ入力領域502は、ノウハウ情報の種類を示す標記502aと、これらの種類のノウハウ情報をユーザが入力するための入力項目502bとを含んでいる。ここでは、ノウハウの種類として、遊泳深度、遊泳速度、群れ方、適正水温、漁獲時期および漁獲場所が、入力可能なノウハウ情報として例示されている。但し、ノウハウ情報の種類はこれらに限定されるものではない。
【0087】
遊泳深度は、当該魚種の魚(ここでは、サバ)が遊泳する深度の範囲であり、遊泳速度は、該魚種の魚が遊泳する平均的な速度である。群れ方は、当該魚種の魚の群れ方(どのように魚群を形成するか)である。適正水温は、当該魚種の魚に適する水温であり、漁獲時期および漁獲場所は、当該魚種の魚が漁獲される時期および場所である。ユーザは、自身の漁場にて当該魚種の魚を漁獲する場合の各種類のノウハウ情報を、入力項目502bに適宜入力する。群れ方の入力項目502bが選択されると、この入力項目502bの直下に選択候補がプリダウンリストにより表示される。漁獲場所は、経度および緯度の範囲で設定される。
【0088】
信頼度入力領域503は、各々のノウハウ情報の信頼度(自信度)を入力するための領域である。信頼度入力領域503には、ノウハウ入力領域502に含まれるノウハウ情報ごとに、そのノウハウ情報の信頼度が高いか普通程度であるかを選択するための項目が含まれている。
【0089】
ユーザは、魚種設定項目501に魚種を設定した後、ノウハウ入力領域502に表示された各種類のノウハウ情報の項目うち、自身が設定しようとする項目に対して、入力項目502bに入力する。さらに、ユーザは、入力した各々のノウハウ情報に対する信頼度(自信度)を、信頼度入力領域503の高い/普通の何れか一方の選択項目を選択することにより入力する。
【0090】
こうして、魚種設定項目501、ノウハウ入力領域502および信頼度入力領域503に対する入力が完了すると、ユーザは、確定キー504を操作する。これにより、水中探知装置10の制御部101は、ノウハウ入力領域502および信頼度入力領域503にそれぞれ入力されたノウハウ情報および信頼度を、魚種設定項目501に設定された魚種とともに、サーバ20に送信する。サーバ20は、受信したこれらの情報を、図4(c)に示したように、図3における当該ユーザの個別データとして記憶部202に記憶させる。
【0091】
図7は、機械学習モデルによる各魚種の予測確率をノウハウモデルで修正する処理の一例を説明する図である。
【0092】
この例では、図6の入力画面500において、ユーザが信頼度を高いに設定したノウハウ情報に基づきノウハウモデルが生成される。当該ユーザは、サバおよびイワシの遊泳深度およびマグロの捕獲時期に対して高信頼度を設定しているため、これらのノウハウ情報を用いてノウハウモデルが生成される。具体的には、ノウハウモデルの生成に用いるノウハウ情報は、以下のとおりである。
【0093】
・サバの遊泳深度 … 40~120m
・イワシの遊泳深度 … 0~30m(30mより浅い)
・マグロの捕獲時期 … 3~7月
【0094】
これらのノウハウ情報の信頼度は、ユーザによる初期設定時には100%であったが、その後のフィードバック情報による調整により、以下のように変更されている。
【0095】
・サバの遊泳深度 … 70%
・イワシの遊泳深度 … 80%
・マグロの捕獲時期 … 90%
【0096】
ノウハウモデルは、たとえば、以下の算出式により、機械学習モデルによる各魚種の予測確率を修正する。
【0097】
<判別対象の魚群がノウハウ情報の条件を満たす場合>
修正後の予測確率=100%×{1-(1-Rp)×(1-Rn)} …(1)
【0098】
<判別対象の魚群がノウハウ情報の条件を満たさない場合>
修正後の予測確率=予測確率×(1-Rn) …(2)
【0099】
上記式(1)および式(2)において、Rpは、対象魚種に対する予測確率を小数で表現した値であり、Rnは、対象魚種に対するノウハウ情報の信頼度を小数で表現した値である。たとえば、図7の例において、対象魚種がサバの場合、Rpは0.85であり、Rnは0.7である。また、対象魚種がイワシの場合、Rpは0.7であり、Rnは0.8である。
【0100】
図7の例では、魚種判別対象の魚群の深度範囲は10~20mであった。これに対し、ノウハウ情報におけるサバの遊泳深度は40~120mであるため、当該魚群の遊泳深度は、ノウハウ情報におけるサバの遊泳深度の条件を満たさない。このため、機械学習モデルによるサバの予測確率(85%)は、上記式(2)によって修正される。これにより、修正後のサバの予測確率は、25.5%と算出され、この値の小数点第1位を四捨五入して26%となる。
【0101】
他方、ノウハウ情報におけるイワシの遊泳深度は0~30mであるため、魚種判別対象の魚群の遊泳深度は、ノウハウ情報におけるイワシの遊泳深度の条件を満たす。このため、機械学習モデルによるイワシの予測確率(70%)は、上記式(1)によって修正される。これにより、修正後のイワシの予測確率は、94%となる。
【0102】
また、ノウハウ情報におけるマグロの捕獲時期は3~7月であるため、魚種判別対象の魚群の捕獲時期(10月2日)は、ノウハウ情報におけるマグロの捕獲時期の条件を満たさない。このため、機械学習モデルによるマグロの予測確率(10%)は、上記式(1)によって修正される。これにより、修正後のマグロの予測確率は、1%なる。
【0103】
こうして、修正後の予測確率では、イワシの予測確率が第1位となる。このため、図5の判別結果402として、イワシが取得される。
【0104】
なお、図7の例では、各魚種のノウハウ情報が1種類しかなったが、各魚種のノウハウ情報が複数種類あった場合は、たとえば、以下の式により、修正後の予測確率が算出される。
【0105】
修正後の予測確率=Σ(上記式1または式2による算出結果)/ノウハウ情報の種類数 …(3)
【0106】
すなわち、対象魚種について、ノウハウ情報の種類ごとに上記式(1)または式(2)により修正後の予測確率が算出され、算出された全ての予測確率の平均値が、当該対象魚種に対する修正後の予測確率として取得される。
【0107】
なお、ノウハウモデルにおける予測確率の修正方法は、上記式(1)~(3)に示した方法に限られるものではなく、修正結果にユーザのノウハウ情報が反映される限りにおいて、他の修正方法であってもよい。
【0108】
また、上記の方法では、図6の入力画面500において高信頼度に設定されたノウハウ情報のみがノウハウモデルの生成に用いられたが、入力画面500において普通の信頼度に設定されたノウハウ情報がさらにノウハウモデルの生成に用いられてもよい。この場合、たとえば、設定時における普通の信頼度は50%に設定され、その後のフィードバック情報により変更される。そして、高信頼度および普通の信頼度の全てのノウハウ情報から、たとえば、上記式(1)、(2)および式(3)により、魚種ごとに、修正後の予測確率が算出される。
【0109】
また、図6の入力画面500において、信頼度入力領域503は省略されてもよい。この場合、ノウハウ入力領域502に入力されたノウハウ情報は、たとえば、全てが信頼度100%に設定され、その後のフィードバック情報により変更される。そして、ユーザが設定した全てのノウハウ情報から、たとえば、上記式(3)により、魚種ごとに、修正後の予測確率が算出される。
【0110】
図8は、魚種判別処理を示すフローチャートである。
【0111】
サーバ20の制御部201は、水中探知装置10からエコーデータの受信を開始すると(S101:YES)、受信したエコーデータを図3の個別データとして記憶部202に記憶させる(S102)。また、制御部201は、受信したエコーデータからエコー画像を順次構成し、エコー画像上の魚群の範囲(深度、時間)を特定する。そして、制御部201は、特定した魚群の範囲のエコーデータを機械学習モデルに適用して魚種ごとに予測確率を算出する(S103)。さらに、制御部201は、算出した予測確率を、上記のように、当該水中探知装置10(ユーザID)のノウハウモデルにより修正して、修正後の予測確率を取得する(S104)。そして、制御部201は、修正後の予測確率を図5の出力条件401に適用して、当該魚群の魚種の判別結果を決定する(S105)。
【0112】
制御部201は、取得した魚種の判別結果を、当該判別結果を取得した魚群の範囲(深度、時間)とともに、当該水中探知装置10に送信し、さらに、これらの情報を記憶部202に記憶させる(S106)。
【0113】
その後、制御部201は、当該水中探知装置10からのエコーデータの受信が終了するまで(S107:NO)、ステップS102~S106の処理を繰り返し実行する。これにより、エコー画像から新たに魚群の範囲(深度、時間)が特定されるごとに、機械学習モデルおよび当該ユーザのノウハウモデルにより、当該魚群の魚種が判別される。新たに得られた魚群の判別結果およびその魚群の範囲(深度、時間)は、随時、当該水中探知装置10に送信されるとともに、サーバ20の記憶部202に記憶される。
【0114】
こうして、当該水中探知装置10からのエコーデータの受信が終了すると(S107:YES)、制御部201は、図8の処理を終了する。これにより、図4(a)の1行分の個別データが記憶部202に記憶される。上記のように、図4(a)のエコーデータの欄には、図8の処理において水中探知装置10から受信した全てのエコーデータが保持される。また、図4(a)の魚種判別結果の欄には、図8の処理によって得られた全ての魚種の判別結果がその魚群の範囲(深度、時間)とともに保持される。
【0115】
図9は、魚種判別結果を含むエコー画像P1の表示例を模式的に示す図である。便宜上、図9には、エコー強度が高い部分のみに深度方向の線が付されている。
【0116】
水中探知装置10の制御部201は、サーバ20から判別結果および魚群の範囲(深度、時間)を受信すると、受信した魚群の範囲に対応する深度幅および時間幅に対応するエコー画像P1上の領域に、魚群の範囲を示す枠状のマーカーM0を表示する。さらに、制御部201は、受信した魚種の判定結果を示すラベルL0を、このマーカーM0の周囲にさらに表示する。図9の例では、サーバ20から受信した判別結果および魚群の範囲(深度、時間)に基づき、魚群F1~F8に対してマーカーM0が表示され、さらに、これらのマーカーM0の周囲に、魚種の判別結果を示すラベルL0が表示されている。エコー画像P1の左上の角付近には、現在の日時が表示されている。
【0117】
ここで、図9の例では、魚群F9については、図5の機械学習モデル302、ノウハウモデル312および出力条件401により魚種の判別結果が出力されなかったため、魚群F9には、マーカーおよびラベルの表示がなされていない。これは、たとえば、機械学習モデル302およびノウハウモデル312による魚群F9の修正後の予測確率が出力条件401を満たさなかった場合に起こり得る。たとえば、出力条件が所定の下限値以上かつ第1順位(最高)の予測確率の魚種を出力するとの条件である場合、機械学習モデル302およびノウハウモデル312による各魚種の修正後の予測確率のうち第1順位の修正後の予測確率がこの下限値未満であると、この魚群に対する判別結果は出力されない。このような場合、この魚群については判別結果がサーバ20から水中探知装置10に送信されないため、図9の魚群F9のように、魚種の判別結果が表示されないことになる。
【0118】
図10(a)は、水中探知装置10の制御部101により実行されるフィードバック情報の送信処理を示すフローチャートである。図10(b)は、サーバ20の制御部201により実行されるフィードバック情報の受信処理を示すフローチャートである。
【0119】
ユーザは、たとえば、エコー画像P1に表示された所定の魚群の魚種判別結果と、自身が実際に捕獲したその魚群の魚種とが異なる場合や、エコー画像P1において魚種の判別結果が表示されていない魚群を実際に捕獲してその魚群の魚種を把握した場合に、これら魚群の魚種を修正するためのフィードバック情報をサーバ20に送信するための操作(フィードバック操作)を、図2の入力部103を介して水中探知装置10に行う。この場合、ユーザは、修正対象の魚群を含むエコー画像の日時の範囲を、入力部103を介して入力し、さらに、その範囲の魚種判別結果およびエコーデータ(以下、「履歴情報」という)をサーバ20から取得するための操作を行う。
【0120】
図10(a)を参照して、水中探知装置10の制御部101は、入力部103を介してユーザからフィードバック操作が入力されると(S201:YES)、ユーザにより入力された日時の範囲を含む履歴情報の送信要求をサーバ20に送信し、サーバ20から履歴情報を取得する(S202)。図10(b)を参照して、サーバ20の制御部201は、図10(a)のステップS202において送信された履歴情報の送信要求を受信すると(S301:YES)、当該送信要求の送信元の水中探知装置10の個別データから、送信要求に含まれる日時の範囲の履歴情報(エコーデータおよび魚種判別結果)を抽出し、抽出した履歴情報を送信元の水中探知装置10に送信する(S302)。
【0121】
図10(a)を参照して、水中探知装置10の制御部101は、サーバ20から履歴情報を受信すると(S202)、受信した履歴情報に基づくエコー画面を表示部102に表示させ、ユーザから魚種の修正を受け付ける(S203)。
【0122】
図11は、図10(a)のステップS203において、ユーザから魚種の修正を受け付けるための画面を模式的に示す図である。
【0123】
水中探知装置10の制御部101は、履歴情報の送信要求の際にユーザが指定した時間範囲のうち先頭の時間帯のエコー画像および判別結果を表示部102に表示させる。ユーザは、入力部103を介してスクロールバーB0を操作して、エコー画像を時間方向に遷移させ、所望の時間帯のエコー画像および判別結果を含む画面を表示させる。これにより、図11における時間帯の画面が表示される。
【0124】
ユーザは、この画面において、自身が修正しようとする魚群のマーカーM0を、入力部103を介して指定する。図11の画面では、サバの判別結果が付された魚群F5のマーカーM0が、ユーザにより指定されている。これにより、魚群F5のマーカーM0が強調表示され、このマーカーM0の周囲に、魚種の選択候補C0がスクロールバーとともに表示される。ユーザは、選択候補C0のスクロールバーを操作して所望の魚種を表示させ、その後、自身が変更しようとする魚種を選択する。図9の例では、魚群F5の魚種としてタイが選択されている。
【0125】
また、ユーザは、この画面において、判別結果が付されていない魚群に対し魚種を入力する場合、入力部103を介して、当該魚群の範囲を指定する。図7に示すように、魚群F9には魚種の判別結果が得られていない。ユーザは、この魚群F9の魚種を入力する場合、入力部103を介して、魚群F9の範囲を指定する。これにより、図11に示すように、指定された魚群F9の範囲に新たにマーカーM1が表示され、このマーカーM1の周囲に、魚種の選択候補C0がスクロールバーとともに表示される。ユーザは、選択候補C0のスクロールバーを操作して所望の魚種を表示させ、その後、自身が入力しようとする魚種を選択する。図9の例では、魚群F9の魚種としてマグロが選択されている。
【0126】
こうして、魚種を変更または設定するための操作を行った後、ユーザは、入力部103を介して、これらの操作を確定するための操作を入力する。
【0127】
図10(a)を参照して、ユーザから確定操作が入力されると(S204:YES)、制御部101は、ステップS203においてユーザから指定された魚群の範囲と、当該魚群に対してユーザから入力された魚種とを含むフィードバック情報を、サーバ20に送信する(S205)。これにより、制御部101は、図10(a)の処理を終了する。
【0128】
図10(b)を参照して、サーバ20の制御部201は、水中探知装置10の制御部101からフィードバック情報を受信すると(S303:YES)、受信したフィードバック情報を、当該水中探知装置10の個別データとして記憶部202に記憶させる(S304)。これにより、図4(b)の1行分のフィードバック情報が、記憶部202に記憶される。これにより、制御部201は、図10(b)の処理を終了する。
【0129】
図12(a)は、サーバ20の制御部201により実行されるノウハウモデルの修正処理を示すフローチャートである。
【0130】
制御部201は、水中探知装置10からフィードバック情報を受信すると(S401:YES)、受信したノウハウ情報に基づいて、当該水中探知装置10に対応するノウハウモデルを修正する(S402)。
【0131】
図12(b)は、図12(a)のステップS402における処理の一例を示すフローチャートである。
【0132】
制御部201は、フィードバック情報に含まれる魚群に関する情報と、当該ユーザの各魚種のノウハウ情報の条件とを比較し、当該魚群に関する情報を当該条件に含むノウハウ情報を当該ユーザの個別データから抽出する(S411)。魚群に関する情報は、当該魚群の深度範囲、日および時間幅、位置(経度、緯度)、その位置の海況データを含む。また、比較対象とされるノウハウ情報は、ノウハウモデルの生成に用いられるノウハウ情報、たとえば、図6の例では、高信頼度が設定されたノウハウ情報である。
【0133】
次に、制御部201は、抽出したそれぞれのノウハウ情報の魚種と、当該魚群に対してユーザが修正した修正後の魚種とを比較する(S412)。そして、制御部201は、抽出したそれぞれのノウハウ情報のうち、修正後の魚種と魚種が一致するノウハウ情報の信頼度を増加させ(S413)、修正後の魚種と魚種が一致しないノウハウ情報の信頼度を減少させる(S414)。
【0134】
ステップS413、S414における信頼度の増加および減少は、たとえば、所定の値(たとえば5%)だけ信頼度を変化させることにより行われる。但し、信頼度を増加および減少させる方法はこれに限られるものではなく、たとえば、所定の割合だけ信頼度を変化させる方法であってもよい。また、信頼度の増加幅および減少幅は同じでなくてもよく、たとえば、増加幅の方が減少幅より大きくてもよい。信頼度の上限は、100%である。信頼度の下限は、デフォルトで所定の値(たとえば50%)に設定されていてもよく、あるいは、ユーザが設定可能であってもよい。
【0135】
図13(a)、(b)は、図12(b)の処理によるノウハウモデルの修正例を示す図である。
【0136】
この例では、図12(b)のステップS411において、サバとタイのノウハウ情報のうち、遊泳深度が抽出されている。すなわち、ユーザが魚種を修正した魚群の深度が、当該ユーザのノウハウ情報の1つであるサバおよびタイの遊泳深度の条件である40~120mおよび60~150mに含まれていたため、これらのノウハウ情報が、図12(b)のステップS411において抽出されている。
【0137】
この例では、たとえば、図11の魚群F5に対する修正により、魚種がサバからタイに修正されている。このため、図13(a)に示すように、抽出されたサバの遊泳深度に関するノウハウ情報の信頼度が、図12(b)のステップS414において、5%だけ減少されている。また、図13(b)に示すように、抽出されたタイの遊泳深度に関するノウハウ情報の信頼度の方は、図12(b)のステップS413において、5%だけ増加されている。
【0138】
こうして修正された各ノウハウ情報の信頼度が修正されることにより、当該ユーザのノウハウモデルが修正される。次回の魚種判別処理は、修正後のノウハウモデルを用いて、機械学習モデルによる各魚種の予測確率が修正され、修正後の予測確率により、魚種の判別結果が取得される。
【0139】
<実施形態の効果>
実施形態によれば、以下の効果が奏され得る。
【0140】
図5および図7を参照して説明したとおり、ユーザからのノウハウ情報を用いたノウハウモデルに基づき、機械学習モデルによる各魚種の予測確率が修正されるため、修正後の各魚種の予測確率は、ユーザが属する地域や漁獲海域に、より適合しやすくなる。よって、魚種判別結果の精度を高めることができる。
【0141】
図6に示したように、ノウハウ情報は、各魚種の魚の水中における特性に関する情報(ここでは、遊泳深度、遊泳速度および群れ方)を含んでいる。各魚種の魚の水中における特性、たとえば、遊泳深度、遊泳速度および群れ方等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の水中における特性を含むことにより、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。
【0142】
図6に示したように、ノウハウ情報は、各魚種の魚に適する海況に関する情報(適正水温)を含んでいる。各魚種の魚に適する海況、たとえば、水温、塩分濃度、潮流の速度等は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚に適する海況を含むことにより、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。
【0143】
図6に示したように、ノウハウ情報は、各魚種の魚の捕獲時期および捕獲場所に関する情報を含んでいる。各魚種の魚を捕獲できる捕獲時期および捕獲場所は、地域に応じて相違し得る。よって、このように、ノウハウ情報が、各魚種の魚の捕獲時期および捕獲場所の少なくとも一方を含むことにより、機械学習モデルによる各魚種の予測確率をノウハウモデルにより修正した修正結果を、各魚種の魚の地域性に応じた予測確率に近づけることができる。よって、魚種判別結果の精度を高めることができる。
【0144】
図12(a)、(b)に示したように、制御部201は、判別結果に対するユーザの修正内容を示すフィードバック情報に基づいて、ノウハウモデルにおける予測確率の修正度合い(ノウハウ情報の信頼度)を変更する。これにより、判別結果に対するユーザの修正内容によって、ノウハウモデルにおける予測確率の修正度合い(ノウハウ情報の信頼度)が随時変更されるため、たとえば、ユーザが誤って不適切なノウハウ情報を設定したような場合も、修正後の予測確率を、実際の魚種に応じた予測確率に近づけることができる。
【0145】
なお、図12(b)の処理では、各ノウハウ情報の信頼度を変更することによって、ノウハウモデルにおける予測確率の修正度合いが変更されたが、ノウハウモデルにおける予測確率の修正度合いの変更方法は、これに限られるものではない。たとえば、上記式(1)、(2)に代えて、以下の式(4)、(5)により、予測確率が修正される場合、調整率Raがフィードバック情報により修正されてもよい。
【0146】
<判別対象の魚群がノウハウ情報の条件を満たす場合>
修正後の予測確率=予測確率×(1+Ra) …(4)
【0147】
<判別対象の魚群がノウハウ情報の条件を満たさない場合>
修正後の予測確率=予測確率×(1-Ra) …(5)
【0148】
ここで、調整率Raの初期値は、たとえば0.5に設定され、その後のフィードバック情報により、調整率Raが0.1~1の範囲で変更される。この場合、たとえば、図12(b)のステップS413において、処理対象のノウハウ情報に適用される調整率Raが0.05だけ増加され、ステップS414では、処理対象のノウハウ情報に適用される調整率Raが0.05だけ減少される。
【0149】
図2に示したように、魚種判別システム1は、水中の魚群を探知する水中探知装置10と、水中探知装置10と通信可能なサーバ20と、を備える。ここで、エコーデータ取得部110は水中探知装置10に配置され、機械学習モデル、ノウハウ情報およびノウハウモデルを記憶する記憶部202と、これらを用いて魚群の魚種を判別する制御部201は、サーバ20に配置される。この構成によれば、主として、サーバ20において、魚種判別に必要な機械学習モデルおよびノウハウモデルの構築と、これらを用いた魚種判別の処理が実行される。よって、船等に設置される水中探知装置10における負担を軽減しつつ、効率的に、魚種判別処理を実行できる。
【0150】
<変更例1>
本発明は、上記実施形態に制限されるものではなく、また、本発明の実施形態は、上記構成の他に種々の変更が可能である。
【0151】
たとえば、機械学習の学習進度に基づいて、ノウハウモデルにおける予測確率の修正度合いが変更されてもよい。
【0152】
図14(a)は、機械学習の学習進度に基づいてノウハウモデルにおける予測確率の修正度合いを変更する処理を示すフローチャートである。
【0153】
制御部201は、新たな教師データにより機械学習モデルを更新するごとに(S501:YES)、機械学習の学習深度に応じた修正率を設定する(S502)。この場合、上記式(1)、(2)は、たとえば、以下のように修正される。
【0154】
<判別対象の魚群がノウハウ情報の条件を満たす場合>
修正後の予測確率=100%×{1-(1-Rp)×(1-Rn×Rm)} …(6)
【0155】
<判別対象の魚群がノウハウ情報の条件を満たさない場合>
修正後の予測確率=予測確率×(1-Rn×Rm) …(7)
【0156】
上記式(6)、(7)におけるRmが、図14(a)のステップS502における修正率である。修正率Rmの初期値は1であり、機械学習モデルの学習進度が高まるにつれて1から低減される。したがって、機械学習モデルの学習進度が高まるほど、式(6)、(7)における信頼度Rn(少数表現)の影響が弱められ、ノウハウモデルにおける予測確率の修正度合いが低減される。
【0157】
制御部201は、たとえば、図14(b)のテーブルによって、修正率Rmを設定する。学習進度は、たとえば、機械学習モデルの学習に用いた教師データの総数によって規定される。学習進度がP1に到達すると、修正率Rmが1からR1(R1<1)に設定され、その後、学習進度がP2に到達すると、修正率RmがR1からR2(R2<R1)に設定される。以下同様に、次の学習進度に到達するごとに、修正率Rmが低減される。学習進度間の修正率Rmの差分は、必ずしも、一定でなくてもよい。
【0158】
また、上記式(4)、(5)が用いられる場合は、以下のように修正されればよい。
【0159】
<判別対象の魚群がノウハウ情報の条件を満たす場合>
修正後の予測確率=予測確率×(1+Ra×Rm) …(8)
【0160】
<判別対象の魚群がノウハウ情報の条件を満たさない場合>
修正後の予測確率=予測確率×(1-Ra×Rm) …(9)
【0161】
式(6)、(7)または式(8)、(9)が用いられる場合も、適宜、式(3)が用いられる。
【0162】
図14(a)の処理によれば、たとえば、機械学習モデルの学習進度が低く各魚種の予測確率の精度が低い場合は、ノウハウモデルにおける予測確率の修正度合いが高められ、その後、機械学習モデルの学習進度が高まり各魚種の予測確率の精度が高まるに応じて、ノウハウモデルにおける予測確率の修正度合いが低減される。このように、機械学習モデルとノウハウモデルとが相補的に作用することにより、修正後の予測確率の精度を効率的に高めることができ、魚種判別結果の精度を高めることができる。
【0163】
なお、図14(a)により設定される修正率Rmは、必ずしも、全ての魚種に対して適用されなくてもよく、たとえば、機械学習モデルの学習進度が高まっても、判別精度が低い魚種、すなわち、ユーザによる判別結果の修正頻度が高い魚種については、修正率Rmを1に設定し、機械学習モデルによる予測確率が、上記式(1)、(2)と同様の方法により、ノウハウモデルにより修正されてもよい。
【0164】
<変更例2>
上記実施形態では、ユーザにより設定された各魚種のノウハウ情報が、そのまま、ノウハウモデルの生成に用いられたが、たとえば、ユーザにより設定されたノウハウ情報が魚種間で重複する場合に、制御部201が、魚種間における重複が生じないようにノウハウ情報を修正してもよい。
【0165】
図15は、ノウハウ情報の修正例を示す図である。
【0166】
この例では、左側の各魚種のノウハウ情報(ここでは遊泳深度)が互いに重複している。この場合、制御部201は、魚種間で重複が生じないように、各魚種のノウハウ情報を修正する。図15の右側には、修正後のノウハウ情報が示されている。この場合、制御部201は、修正後のノウハウ情報を用いて、上記実施形態と同様の魚種判別処理を実行する。
【0167】
なお、ノウハウ情報の修正方法は、図15に示した方法に限られるものではない。たとえば、サバの遊泳深度が55m~120mに修正され、イワシの遊泳深度が20~55mに修正されてもよい。また、図15の例では、重複が完全に解消されるように、各魚種のノウハウ情報が修正されたが、重複の範囲が小さくなるように、各魚種のノウハウ情報が修正されてもよい。たとえば、サバの遊泳深度が60m~120mに修正され、イワシの遊泳深度が20~80mに修正されてもよい。
【0168】
また、上記のように魚種間で重複するノウハウ情報の範囲を修正する処理に代えて、あるいは、この処理とともに、魚種間で重複するノウハウ情報の信頼度の初期値が修正されてもよい。たとえば、図15の例において、サバおよびイワシの遊泳深度は、その範囲が広いため、これら魚種間のみならずマグロやその他の多くの魚種の遊泳深度とも重複することが想定され得る。このように、所定数以上の多くの魚種と重複するノウハウ情報の信頼度は、その初期値が、100%より小さい値(たとえば60%)に設定されてもよい。
【0169】
以上のように、互いに重複するノウハウ情報の範囲を修正し、あるいは、これらノウハウ情報の信頼度を修正することにより、ノウハウモデルがより適正化され、より適切な魚種判別結果を取得できることが想定され得る。
【0170】
<その他の変更例>
上記実施形態では、フィードバック情報によりノウハウモデルを自動で修正する処理が行われたが、この処理が省略されてもよい。たとえば、ユーザにより魚種が修正される要因となったノウハウ情報について、その修正の頻度または回数が所定の閾値を超えた場合に、このノウハウ情報の再設定をユーザに促す処理が行われてもよい。この場合、サーバ20の制御部201は、このノウハウ情報の再設定を行うための通知を水中探知装置10に送信し、水中探知装置10の制御部201は、この通知の受信に基づき、このノウハウ情報を再設定するための画面を表示部102に表示させる。この場合、制御部201は、再設定が必要な理由、たとえば、このノウハウ情報に基づく魚群判別結果がユーザにより度々修正されていることを、表示部102にさらに表示させてもよい。
【0171】
また、上記実施形態では、ユーザにより設定されるノウハウ情報の種類の一例が、図6の入力画面500のノウハウ入力領域502に示されたが、ユーザにより設定されるノウハウ情報の種類はこれに限られるものではない。たとえば、塩分濃度や潮流の速度等の他の種類のノウハウ情報が、ユーザにより設定可能なノウハウ情報に含まれてもよい。
【0172】
また、図6の入力画面500では、ノウハウ情報ごとにその信頼度をユーザが設定可能であったが、各ノウハウ情報の信頼度が設定可能でなくてもよい。この場合、たとえば、入力画面500のノウハウ入力領域502に対してユーザが入力したノウハウ情報は、全てが、高信頼度に設定される。このため、入力画面500には、自信があるものだけ入力を行わせるためのメッセージが、さらに表示されてもよい。
【0173】
また、上記実施形態では、図5に示すように、機械学習モデル302とノウハウモデル312とが個別に構成されたが、ノウハウモデル312が機械学習モデル302に組み込まれてもよい。
【0174】
また、上記実施形態では、機械学習モデル、ノウハウ情報およびノウハウモデルの記憶およびこれらを用いた魚種の判別処理がサーバ20側で行われたが、これらの記憶および判別処理が水中探知装置10側で行われてもよい。
【0175】
この場合、サーバ20は、最新の機械学習モデルを水中探知装置10に随時送信し、水中探知装置10の制御部101は、サーバ20から受信した最新の機械学習モデルをメモリに記憶させる。また、水中探知装置10の制御部101は、ユーザにより設定された各魚種のノウハウ情報をメモリに記憶させ、さらに、このノウハウ情報を用いて生成したノウハウモデルをメモリに記憶させる。そして、制御部101は、エコーデータ取得部110で取得したエコーデータに基づいて、上記サーバ20の制御部201と同様、機械学習モデルおよびノウハウモデルを用いた魚種判別を実行する。また、制御部101は、図4(a)と同様の情報を、メモリに記憶させ、図11のエコー画像P1を介して入力されたフィードバック情報に基づき、上記と同様、ノウハウモデルの修正を行う。
【0176】
なお、機械学習モデル、ノウハウ情報およびノウハウモデルの記憶およびこれらを用いた魚種の判別処理が、水中探知装置10とサーバ20とにより分担して行われてもよい。
【0177】
また、上記実施形態では、図11の画面によって、ユーザからのフィードバック情報の入力がなされたが、フィードバック情報の入力方法は、これに限られるものではない。
【0178】
また、上記実施形態では、機械学習モデルが、専門家が作成した教師データを用いた機械学習により生成されたが、機械学習モデルの機械学習に用いる教師データは、これに限られるものではない。たとえば、各ユーザが、自身の漁獲結果からエコー画像上の魚群とその魚種を入力し、この魚群のエコーデータと当該魚群の魚種が、機械学習モデルの教師データとして用いられてもよい。この場合、サーバ20は、各ユーザが入力した魚群およびそのエコーデータと当該魚群の魚種とを教師データとして記憶する。サーバ20は、たとえば、地域ごとこの教師データを集約し、地域ごとに機械学習モデルを生成してもよい。この場合、サーバ20の制御部201は、地域ごとに集約した教師データにより地域ごとの機械学習モデルに対する機械学習を行えばよい。
【0179】
また、上記実施形態では、水中探知装置10が魚群探知機であったが、水中探知装置10がソナー等、魚群探知機以外の装置であってもよい。
【0180】
この他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜種々の変更可能である。
【符号の説明】
【0181】
1 魚種判別システム
10 水中探知装置
20 サーバ
201 制御部
202 記憶部
302 機械学習モデル
312、322 ノウハウモデル
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15