特開 2024-5623 サーバ、魚種判別システム、魚種判別方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024005623

(43)【公開日】2024-01-17

(54)【発明の名称】サーバ、魚種判別システム、魚種判別方法およびプログラム

(51)【国際特許分類】

   G01S 15/96 20060101AFI20240110BHJP

【ＦＩ】

G01S15/96

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022105888

(22)【出願日】2022-06-30

(71)【出願人】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100111383

【弁理士】

【氏名又は名称】芝野 正雅

(74)【代理人】

【識別番号】100170922

【弁理士】

【氏名又は名称】大橋 誠

(72)【発明者】

【氏名】笠井 昭範

(72)【発明者】

【氏名】平林 祐太

(72)【発明者】

【氏名】村垣 政志

【テーマコード（参考）】

5J083

【Ｆターム（参考）】

5J083AA02

5J083AB03

5J083AC29

5J083AD06

5J083AE04

5J083AF16

5J083BB12

5J083EA41

(57)【要約】

【課題】機械学習モデルによる魚種判別結果を高精度化することが可能なサーバ、魚種判別システム、魚種判別方法およびプログラムを提供する。
【解決手段】複数の水中探知装置１０と通信可能なサーバ２０は、エコーデータと魚種とを対応付けたフィードバック情報を各々の水中探知装置１０から取得し、取得したフィードバック情報を、少なくとも水中探知装置１０が用いられる漁法を含む属性に紐づけて記憶し、属性が同一の複数のフィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、属性ごとに生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の水中探知装置と通信可能なサーバであって、
エコーデータと魚種とを対応付けたフィードバック情報を各々の前記水中探知装置から取得し、
取得したフィードバック情報を、少なくとも前記水中探知装置が用いられる漁法を含む属性に紐づけて記憶し、
前記属性が同一の複数の前記フィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、前記属性ごとに生成する、
ことを特徴とするサーバ。

【請求項2】

請求項１に記載のサーバにおいて、
前記属性は、さらに、前記水中探知装置を用いるユーザが所属する地域を含む、
ことを特徴とするサーバ。

【請求項3】

請求項１に記載のサーバにおいて、
標準データを用いた機械学習により、魚種判別のための標準モデルを、前記個別モデルの生成に先立って生成し、
前記標準モデルによる前記魚種の判別結果に対するユーザの修正を示す情報を前記フィードバック情報として前記水中探知装置から取得して、前記個別モデルを生成する、
ことを特徴とするサーバ。

【請求項4】

請求項１に記載のサーバにおいて、
前記個別モデルによる前記魚種の判別結果に対するユーザの修正を示す情報を前記フィードバック情報として取得して、前記個別モデルを更新する、
ことを特徴とするサーバ。

【請求項5】

請求項１に記載のサーバにおいて、
各々の前記水中探知装置のユーザにより入力された前記個別モデルの出力条件の変更を含むカスタマイズ情報を受信し、
受信したカスタマイズ情報に基づいて、当該水中探知装置に対する前記個別モデルの出力条件を変更する、
ことを特徴とするサーバ。

【請求項6】

請求項５に記載のサーバにおいて、
前記出力条件の変更は、ユーザにより指定された特定魚種に対する前記個別モデルの予測確率が他の魚種より低くても、前記特定魚種の予測確率が所定の閾値以上であれば、前記特定魚種を優先的に判別結果として出力することを含む、
ことを特徴とするサーバ。

【請求項7】

請求項５に記載のサーバにおいて、
前記出力条件の変更は、ユーザにより指定された特定魚種について、判別結果を出力するための予測確率の下限値を変更することを含む、
ことを特徴とするサーバ。

【請求項8】

請求項５に記載のサーバにおいて、
前記出力条件の変更は、ユーザにより指定された特定魚種の判別結果は出力しないことを含む、
ことを特徴とするサーバ。

【請求項9】

請求項１ないし８の何れか一項に記載のサーバと、
前記水中探知装置と、を備える、
ことを特徴とする魚種判別システム。

【請求項10】

請求項９に記載の魚種判別システムにおいて、
前記水中探知装置は、
表示部と、
入力部と、
前記表示部に前記個別モデルによる魚種の判別結果を表示させるとともに、前記入力部を介して当該判別結果の修正を受け付け、前記修正をフィートバック情報として前記サーバに送信する制御部と、を備える。
ことを特徴とする魚種判別システム。

【請求項11】

請求項１０に記載の魚種判別システムにおいて、
前記制御部は、前記入力部を介して、前記個別モデルの出力条件の変更を含むカスタマイズ情報の入力を受け付け、入力された前記カスタマイズ情報を前記サーバに送信し、
前記サーバは、受信したカスタマイズ情報に基づいて、当該水中探知装置に対する前記個別モデルの出力条件を変更する、
ことを特徴とする魚種判別システム。

【請求項12】

エコーデータと魚種とを対応付けたフィードバック情報を複数の水中探知装置から取得し、
取得したフィードバック情報を、少なくとも前記水中探知装置が用いられる漁法を含む属性に紐づけて記憶し、
前記属性が同一の複数の前記フィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、前記属性ごとに生成し、
生成した個別モデルを用いて、前記属性に対応する前記水中探知装置からのエコーデータによる魚種の判別を行う、
ことを特徴とする魚種判別方法。

【請求項13】

エコーデータと魚種とを対応付けたフィードバック情報を複数の水中探知装置から取得する機能と、
取得したフィードバック情報を、少なくとも前記水中探知装置が用いられる漁法を含む属性に紐づけて記憶部に記憶させる機能と、
前記属性が同一の複数の前記フィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、前記属性ごとに生成する機能とを、コンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、魚種判別のための機械学習モデルを生成するサーバ、当該サーバを備えた魚種判別システム、前記機械学習モデルを用いて魚種を判別する魚種判別方法、および、魚種判別のための機械学習モデルを生成する機能をコンピュータに実行させるプログラムに関する。

【背景技術】

【0002】

従来、水中の魚群を探知する魚群探知装置が知られている。この種の魚群探知装置では、水中に超音波が送波され、その反射波が受波される。受波された反射波の強度に応じたエコーデータが生成され、生成されたエコーデータに基づいてエコー画像が表示される。ユーザは、エコー画像から魚群を確認でき、魚群の捕獲を円滑に進めることができる。

【0003】

この場合、エコー画像上の魚群について、さらに魚種が判別できると好ましい。これにより、ユーザは、自身が望む魚種の魚を効率よく捕獲できる。

【0004】

魚種の判別には、たとえば、機械学習アルゴリズムを用いることができる。この場合、魚群探知機から出力されるエコーデータを入力データとし、エコーデータ上の魚群の魚種を教師データとして、機械学習アルゴリズムに対する学習が行われ、学習済みモデルが生成される。エコーデータ上の魚群の魚種（教師データ）は、たとえば、実際の漁獲に基づきユーザにより入力される。以下の特許文献１には、この種の魚種推定システムが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－２００１７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の方法では、ユーザごとに固有の機械学習モデルが生成され得る。しかし、上述の方法では、実際の漁獲に基づき教師データがユーザにより入力されるため、教師データのデータ数に限りがある。このため、機械学習モデルによる魚種の判別結果を高精度化することが困難である。

【0007】

この問題の解決方法として、たとえば、専門家が機械学習のために生成した標準データを集約し、集約した標準データを教師データとして機械学習アルゴリズムの学習に用いる方法が考えられる。

【0008】

しかし、魚群探知機が用いられる漁法が異なると、魚群探知機により取得されるエコーデータの特性が相違する。すなわち、魚群探知機が定置網に設置されている場合と漁船に設置されている場合とでは、魚が泳ぐ速度や深度等が相違し、魚群探知機により取得されるエコーデータの特性が相違する。このため、標準データを、機械学習アルゴリズムの学習にそのまま用いたとしても、魚種の判別結果を高精度化するのは困難である。

【0009】

かかる課題に鑑み、本発明は、機械学習モデルによる魚種判別結果を高精度化することが可能なサーバ、魚種判別システム、魚種判別方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の第１の態様は、複数の水中探知装置と通信可能なサーバに関する。この態様に係るサーバは、エコーデータと魚種とを対応付けたフィードバック情報を各々の前記水中探知装置から取得し、取得したフィードバック情報を、少なくとも前記水中探知装置が用いられる漁法を含む属性に紐づけて記憶し、前記属性が同一の複数の前記フィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、前記属性ごとに生成する。

【0011】

本態様に係るサーバによれば、複数の水中探知装置からフィードバック情報が取得され集約されるため、機械学習に用い得るフィードバック情報の数を増やすことができる。また、集約されたフィードバック情報のうち、漁法を含む属性が同一のフィードバック情報が機械学習に用いられるため、異なる特性のエコーデータが個別モデルの機械学習に用いられることを抑制できる。よって、個別モデルによる魚種判別結果を高精度化することができる。

【0012】

本態様に係るサーバにおいて、前記属性は、さらに、前記水中探知装置を用いるユーザが所属する地域を含み得る。

【0013】

漁法が同じでも地域が異なると、魚の特性が相違し、エコーデータの特性が相違し得る。したがって、個別モデルの学習に用いるフィードバック情報をさらに地域で制限することにより、個別モデルによる魚種判別結果をさらに高精度化することができる。

【0014】

本態様に係るサーバは、標準データを用いた機械学習により、魚種判別のための標準モデルを、前記個別モデルの生成に先立って生成し、前記標準モデルによる前記魚種の判別結果に対するユーザの修正を示す情報を前記フィードバック情報として前記水中探知装置から取得して、前記個別モデルを生成するよう構成され得る。

【0015】

この構成によれば、標準モデルによる魚種判別結果をユーザに提供しつつ、この魚種判別結果に対するユーザの修正をフィードバック情報として水中探知装置から円滑に取得できる。よって、ユーザの利便性を維持しつつ、個別モデルを適切かつ効率的に生成できる。

【0016】

本態様に係るサーバは、前記個別モデルによる前記魚種の判別結果に対するユーザの修正を示す情報を前記フィードバック情報として取得して、前記個別モデルを更新するよう構成され得る。

【0017】

この構成によれば、個別モデルを徐々にユーザの属性に適応するよう更新できる。よって、ユーザの利便性を高めることができる。

【0018】

本態様に係るサーバは、各々の前記水中探知装置のユーザにより入力された前記個別モデルの出力条件の変更を含むカスタマイズ情報を受信し、受信したカスタマイズ情報に基づいて、当該水中探知装置に対する前記個別モデルの出力条件を変更するよう構成され得る。

【0019】

この構成によれば、ユーザが使用しやすいように、個別モデルをカスタマイズできる。

【0020】

この場合、前記出力条件の変更は、ユーザにより指定された特定魚種に対する前記個別モデルの予測確率が他の魚種より低くても、前記特定魚種の予測確率が所定の閾値以上であれば、前記特定魚種を優先的に判別結果として出力することを含み得る。

【0021】

これにより、特定魚種の予測確率が他の魚種より低い場合も、特定魚種の判別結果が出力され、特定魚種の判別結果の出力頻度を高めることができる。よって、ユーザは、自身が望む特定魚種の捕獲を取りこぼしにくくなり、特定魚種の漁獲量を高めることができる。

【0022】

また、前記出力条件の変更は、ユーザにより指定された特定魚種について、判別結果を出力するための予測確率の下限値を変更することを含んでもよい。

【0023】

これにより、ユーザは、たとえば、特定魚種に対する下限値を低下させることにより、当該特定魚種の予測確率が低くても、当該特定魚種の判別結果を出力させることができ、自身が捕獲したい魚をより確実に捕獲できる。あるいは、ユーザは、特定魚種に対する下限値を高めることにより、当該特定魚種の判別結果が出力される頻度を少なくでき、自身が捕獲したい魚をより効率的に確認できる。

【0024】

また、前記出力条件の変更は、ユーザにより指定された特定魚種の判別結果は出力しないことを含んでもよい。

【0025】

これにより、ユーザは、自身が興味のない魚種の判別結果が出力されることを抑制でき、自身が興味のある魚種の魚群を円滑かつ効率的に把握できる。

【0026】

本発明の第２の態様は、魚種判別システムに関する。この態様に係る魚種判別システムは、第１の態様に係るサーバと、前記水中探知装置と、を備える。

【0027】

本態様に係る魚種判別システムによれば、上記第１の態様と同様の効果が奏される。

【0028】

本態様に係る魚種判別システムにおいて、前記水中探知装置は、表示部と、入力部と、前記表示部に前記個別モデルによる魚種の判別結果を表示させるとともに、前記入力部を介して当該判別結果の修正を受け付け、前記修正をフィートバック情報として前記サーバに送信する制御部と、を備えるよう構成され得る。

【0029】

この構成によれば、個別モデルによる魚種の判別結果の修正を、随時、サーバ側に提供できる。よって、個別モデルを徐々にユーザの属性に適応するよう更新でき、ユーザの利便性を高めることができる。

【0030】

この構成において、前記制御部は、前記入力部を介して、前記個別モデルの出力条件の変更を含むカスタマイズ情報の入力を受け付け、入力された前記カスタマイズ情報を前記サーバに送信し、前記サーバは、受信したカスタマイズ情報に基づいて、当該水中探知装置に対する前記個別モデルの出力条件を変更するよう構成され得る。

【0031】

この構成によれば、ユーザが使用しやすいように、個別モデルをカスタマイズできる。

【0032】

本発明の第３の態様は、魚種判別方法に関する。この態様に係る魚種判別方法は、エコーデータと魚種とを対応付けたフィードバック情報を複数の水中探知装置から取得し、取得したフィードバック情報を、少なくとも前記水中探知装置が用いられる漁法を含む属性に紐づけて記憶し、前記属性が同一の複数の前記フィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、前記属性ごとに生成し、生成した個別モデルを用いて、前記属性に対応する前記水中探知装置からのエコーデータによる魚種の判別を行う。

【0033】

本態様に係る魚種判別システムによれば、上記第１の態様と同様の効果が奏される。

【0034】

本発明の第４の態様は、コンピュータに所定の機能を実行させるプログラムに関する。本態様に係るプログラムは、エコーデータと魚種とを対応付けたフィードバック情報を複数の水中探知装置から取得する機能と、取得したフィードバック情報を、少なくとも前記水中探知装置が用いられる漁法を含む属性に紐づけて記憶部に記憶させる機能と、前記属性が同一の複数の前記フィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、前記属性ごとに生成する機能とを含む。

【0035】

本態様に係るプログラムによれば、上記第１の態様と同様の効果が奏される。

【発明の効果】

【0036】

以上のとおり、本発明によれば、機械学習モデルによる魚種判別結果を高精度化することが可能なサーバ、魚種判別システム、魚種判別方法およびプログラムを提供することができる。

【0037】

本発明の効果ないし意義は、以下に示す実施形態の説明により更に明らかとなろう。ただし、以下に示す実施形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施形態に記載されたものに何ら制限されるものではない。

【図面の簡単な説明】

【0038】

【図1】図１は、実施形態に係る、魚種判別システムの構成を示す図である。

【図2】図２は、実施形態に係る、魚種判別システムの構成を示すブロック図である。

【図3】図３は、実施形態に係る、サーバの記憶部における各種情報の管理状態を示す図である。

【図4】図４（ａ）は、実施形態に係る、ユーザ管理情報の構成を示す図である。図４（ｂ）～図４（ｄ）は、それぞれ、実施形態に係る、個別データの構成を示す図である。

【図5】図５は、実施形態に係る、ニューラルネットワークによる魚種判別処理を模式的に示す図である。

【図6】図６（ａ）は、実施形態に係る、機械学習モデルの適用処理を示すフローチャートである。図６（ｂ）は、実施形態に係る、魚種判別処理を示すフローチャートである。

【図7】図７は、実施形態に係る、魚種判別結果を含むエコー画像の表示例を模式的に示す図である。

【図8】図８（ａ）は、実施形態に係る、水中探知装置の制御部により実行されるフィードバック情報の送信処理を示すフローチャートである。図８（ｂ）は、実施形態に係る、サーバの制御部により実行されるフィードバック情報の受信処理を示すフローチャートである。

【図9】図９は、実施形態に係る、ユーザから魚種の修正を受け付けるための画面を模式的に示す図である。

【図10】図１０（ａ）は、実施形態に係る、水中探知装置の制御部により実行されるカスタマイズ情報の送信処理を示すフローチャートである。図１０（ｂ）は、実施形態に係る、サーバの制御部により実行されるカスタマイズ情報の受信処理を示すフローチャートである。

【図11】図１１は、実施形態に係る、カスタマイズ情報に基づき個別モデルの出力条件が変更された場合の魚種判別結果の表示例を模式的に示す図である。

【発明を実施するための形態】

【0039】

図１は、魚種判別システム１の構成を示す図である。

【0040】

魚種判別システム１は、水中探知装置１０と、サーバ２０とを備える。水中探知装置１０は、船２に設置される魚群探知機である。水中探知装置１０は、外部通信網３０（たとえば、インターネット）および基地局４０を介して、サーバ２０と通信可能である。水中探知装置１０およびサーバ２０は、それぞれ、相互に通信を行うためのアドレス情報を保持している。それぞれのアドレス情報は、初期設定時に、水中探知装置１０およびサーバ２０に設定される。

【0041】

水中探知装置１０は、送受波器１１と、制御ユニット１２とを備える。送受波器１１は、船２の船底に設置され、制御ユニット１２は、船の操舵室等に設置される。送受波器１１と制御ユニット１２は、信号ケーブル（図示せず）で接続されている。送受波器１１は、送受波用の超音波振動子を備える。送受波器１１は、制御ユニット１２からの制御に応じて、超音波振動子により、海底４に向かって超音波３（送信波）を送波し、その反射波を受波する。送受波器１１は、受波した反射波に基づく受信信号を制御ユニット１２に送信する。

【0042】

制御ユニット１２は、受信信号を処理して、各深度のエコー強度を示すエコーデータを生成する。制御ユニット１２は、エコーデータに基づく各深度のエコー強度を時系列に並べて、１画面分のエコー画面を生成する。制御ユニット１２は、生成したエコー画面を表示部に表示させる。制御ユニット１２は、超音波の送受波ごとにエコー画面を更新する。ユーザは、エコー画面を参照することで、魚群５の存在および位置を把握できる。

【0043】

さらに、制御ユニット１２は、生成したエコーデータを、随時、サーバ２０に送信する。サーバ２０は、受信したエコーデータを記憶するとともに、制御ユニット１２と同様のエコー画像を生成する。サーバ２０は、受信先の水中探知装置１０に適用される機械学習モデルにより、エコー画像に含まれる魚群の魚種を判別する。サーバ２０は、当該魚種の判別結果を、判別対象の魚群の範囲（深度、時間）とともに、エコーデータの受信先の水中探知装置１０に送信する。

【0044】

水中探知装置１０は、受信した判別結果および魚群の範囲（深度、時間）に基づき、エコー画像上の対応する範囲に魚種の判別結果を重ねて表示する。これにより、ユーザは、エコー画像上の各魚群の魚種を確認でき、所望の魚の漁獲を円滑に進めることができる。

【0045】

ユーザは、サーバ２０から提供された魚種の判別結果と、実際に漁獲した魚の魚種とが相違する場合、魚種を修正するためのフィードバック情報をサーバ２０に送信する。たとえば、ユーザは、１日の漁獲を終了した後、水中探知装置１０の入力部を介して、その日の所定の時間帯のエコーデータをサーバ２０から取得する操作を行う。これにより、サーバ２０は、指定された日および時間帯のエコーデータを魚種の判別結果（判別対象の魚群の範囲を含む）とともに水中探知装置１０に送信する。水中探知装置１０は、受信したエコーデータおよび判別結果に基づき、判別結果を含むエコー画像を表示部に表示させる。

【0046】

ユーザは、入力部を介して、エコー画像上に表示された魚種の判別結果を自身が捕獲した魚の魚種に修正する操作を行う。これにより、水中探知装置１０は、判別結果に対するユーザの修正と、当該判別結果に対応する魚群の範囲（深度、時間）とを含むフィードバック情報を、サーバ２０に送信する。サーバ２０は、受信したフィードバック情報を教師データとして、当該水中探知装置１０に適用される機械学習モデルの機械学習を行う。これにより、当該機械学習モデルがユーザの漁獲結果を反映するように適正化される。

【0047】

なお、この機械学習は、後述のように、当該水中探知装置１０からのフィードバック情報の他、さらに、当該水中探知装置１０と同じ属性（少なくとも漁法を含む）の他の水中探知装置からサーバ２０に送信されたフィードバック情報をも用いて行われる。これにより、当該水中探知装置１０に適用される機械学習モデルの魚種判別精度が高められる。

【0048】

さらに、ユーザは、適宜、水中探知装置１０の入力部を介して、当該水中探知装置１０の機械学習モデルの出力条件の変更を含むカスタマイズ情報を入力する。水中探知装置１０は、入力されたカスタマイズ情報をサーバ２０に送信する。サーバ２０は、受信したカスタマイズ情報に基づいて、当該水中探知装置１０に対する機械学習モデルの出力条件を変更する。これにより、ユーザは、自身の好みに応じた魚種の判別結果をエコー画像に表示させることができる。

【0049】

なお、図１には、水中探知装置１０が１つだけ図示されているが、実際は、多数の水中探知装置１０が外部通信網３０および最寄りの基地局を介して、サーバ２０と通信可能である。また、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。

【0050】

図２は、魚種判別システム１の構成を示すブロック図である。

【0051】

水中探知装置１０は、制御部１０１と、表示部１０２と、入力部１０３と、送受波部１０４と、信号処理部１０５と、通信部１０６と、位置検出部１０７とを備える。

【0052】

制御部１０１は、マイクロコンピュータおよびメモリ等により構成される。制御部１０１は、メモリに記憶されたプログラムに従って、水中探知装置１０の各部を制御する。このプログラムには、後述の魚種判別結果の受信および表示に関する機能や、フィードバック情報およびカスタマイズ情報の受付および送信に関する機能が含まれる。

【0053】

表示部１０２は、モニタを備え、制御部１０１からの制御により、所定の画像を表示させる。入力部１０３は、表示部１０２に表示された画像上でカーソルを移動させるトラックボールや、操作キー等を備え、ユーザからの操作に応じた信号を制御部１０１に出力する。表示部１０２および入力部１０３が、液晶タッチパネル等により一体的に構成されてもよい。

【0054】

送受波部１０４は、図１に示した送受波器１１と、送受波器１１に送信信号を供給するための送信回路と、送受波器１１から出力される受信信号を処理して信号処理部１０５に出力する受信回路とを備える。送信回路および受信回路は、図１の制御ユニット１２に含まれる。

【0055】

送受波部１０４は、制御部１０１からの制御に従って送信波（超音波）を送波する。ここでは、１シーケンスにおいて、周波数が異なる２種類の送信波が時分割で順番に送波される。送受波部１０４は、送波した各周波数の送信波の反射波を受波して受信信号を出力する。受信回路は、各送信波の周波数の受信信号を抽出して信号処理部１０５に出力する。

【0056】

なお、このように２種類の周波数で送受波が行われるのは、後述の魚種判別をより高精度に行うためである。たとえば、鰾の有無によって、各周波数のエコー強度に差が生じる。このため、魚群からのエコーの強度の差を参照することによって、当該魚群の魚種を精度良く判別できる。

【0057】

信号処理部１０５は、送受波部１０４から入力される各周波数の受信信号から、深度に応じた反射波の強度を示すエコーデータを生成し、生成した２種類のエコーデータを制御部１０１に出力する。各周波数の送信波を送波したタイミングからの経過時間が深度に対応する。ここで、反射波の強度は、深度が大きくなるほど減衰する。したがって、信号処理部１０５は、深度の差異に拘わらずエコーデータを定量的に扱えるようにするために、経過時間に応じて減衰する反射波の強度を補正し、強度を補正したエコーデータを制御部１０１に出力する。

【0058】

制御部１０１は、受信したエコーデータに基づきエコー画像を生成し、表示部１０２に表示させる。制御部１０１は、何れか一方の周波数に対応するエコーデータを用いて、エコーデータを生成する。何れの周波数のエコーデータをエコー画像の生成に用いるかを、ユーザが適宜切り替え可能であってもよい。制御部１０１は、各深度におけるエコー強度を色スケールにより階調表現した深度方向の１列の画像を、エコーデータから生成する。制御部１０１は、現時点から所定時間前までの各列の画像を時間方向に統合して、１画面分のエコー画像を生成する。

【0059】

なお、以下の説明において、エコーデータ（フィードバック情報に含まれるエコーデータを含む）と言うときは、特に明記しない限り、２種類の周波数のエコーデータを意味する。

【0060】

通信部１０６は、基地局４０と無線通信可能な通信モジュールである。位置検出部１０７は、ＧＰＳを備え、水中探知装置１０の位置を検出する。位置検出部１０７は、検出した位置情報を制御部１０１に出力する。

【0061】

図１を参照して説明したとおり、制御部１０１は、随時、通信部１０６を介して、エコーデータ、フィードバック情報およびカスタマイズ情報をサーバ２０に送信し、また、通信部１０６を介して、サーバ２０から魚種の判別結果を受信する。制御部１０１は、さらに、位置検出部１０７により検出された位置情報をサーバ２０に送信してもよい。

【0062】

図２に示すように、水中探知装置１０の他にも、多数の水中探知装置１０ａ、１０ｂ、…が外部通信網３０および最寄りの基地局４０ａ、４０ｂ、…を介して、サーバ２０と通信可能である。上記のように、サーバ２０と通信を行う水中探知装置１０は、図１に示すように船２に設置されるものの他、定置網に設置される水中探知装置等、漁法が異なる数種の水中探知装置が含まれる。他の水中探知装置の基本的な構成は、図２の水中探知装置１０と同様である。

【0063】

但し、定置網に設置される水中探知装置は、ユーザが定置網内の魚の状態を遠隔で監視するために、定置網に設置される洋上ユニットと、外部通信網を介してこの洋上ユニットと通信可能な端末とにより構成され得る。洋上ユニットで取得されたエコーデータは、外部通信網を介して端末に送信される。これにより、端末にエコー画像が表示される。端末は、パーソナルコンピュータの他、携帯電話機やタブレット等、ユーザが所持する携帯端末であってもよい。

【0064】

この場合、サーバ２０に対するエコーデータの送信は、端末が行ってよく、あるいは、洋上ユニットが端末へのエコーデータの送信に並行してサーバ２０にもエコーデータを送信してもよい。また、フィードバック情報およびカスタマイズ情報は、端末を介して入力されてよく、端末からサーバ２０に送信されてよい。魚種の判別結果は、洋上ユニットを経由せずに、サーバ２０から端末に直接送信されてよい。また、端末に対するエコーデータの送信は、サーバ２０から行われてもよい。すなわち、サーバ２０は、洋上ユニットからエコーデータを受信し、受信したエコーデータを端末に送信してよい。

【0065】

サーバ２０は、制御部２０１と、記憶部２０２と、通信部２０３とを備える。制御部２０１は、ＣＰＵ等により構成される。記憶部２０２は、ＲＯＭ、ＲＡＭ、ハードディスク等により構成される。記憶部２０２には、魚種判別のためのプログラムが記憶されている。制御部２０１は、記憶部２０２に記憶されたプログラムにより、各部を制御する。通信部２０３は、制御部２０１からの制御により、外部通信網３０および基地局４０を介して、水中探知装置１０と通信を行う。

【0066】

制御部２０１は、上記プログラムにより、各々の水中探知装置１０に適用される機械学習モデルを生成する。また、制御部２０１は、各々の水中探知装置１０から受信したエコーデータ、フィードバック情報およびカスタマイズ情報を、各々の水中探知装置１０に対応付けて記憶部２０２に記憶させる。制御部２０１は、各々の水中探知装置１０から受信したフィードバック情報およびカスタマイズ情報を用いて、当該水中探知装置１０に適用される機械学習モデルを更新する。

【0067】

なお、各々の水中探知装置１０からサーバ２０に送信されるエコーデータは、通信トラフィックやサーバ２０の容量負荷の軽減から、所定の粒度まで間引いて送信されてよい。この場合、サーバ２０は、補間処理により間引きを補正したエコーデータを用いて、魚種判別や機械学習を行う。あるいは、間引かれた状態のエコーデータを用いて魚種判別や機械学習が行われてもよい。但し、より精度良く魚種判別や機械学習を行うためには、補間処理により間引きを補正したエコーデータを魚種判別や機械学習に用いることが好ましい。

【0068】

また、サーバ２０は、各々の水中探知装置１０から受信したエコーデータを定量的に扱うために、各々の水中探知装置１０から受信したエコーデータに対し、水中音響理論に基づき、水中探知装置１０および送受波器１１の特性（たとえば、感度、増幅率、等）を考慮した補正を行って、魚種判別や機械学習を行ってよい。これにより、機械学習モデルによる魚種判別および機械学習モデルに対する機械学習を、より精度良く行うことができる。

【0069】

図３は、サーバ２０の記憶部２０２における各種情報の管理状態を示す図である。

【0070】

記憶部２０２には、標準データ３０１と、標準モデル３０２と、ユーザ管理情報３０３と、個別データ３１１、３２１と、個別モデル３１２、３２２とが記憶されている。

【0071】

標準データ３０１は、機械学習のための標準的な教師データである。標準データ３０１は、魚群の範囲（深度、時間）のエコーデータと、その魚群の魚種とを組み合わせたデータである。標準データ３０１は、専門官により逐次生成され、管理者により登録される。これにより、標準データのデータ数は、徐々に増加していく。

【0072】

標準モデル３０２は、標準データ３０１を用いた機械学習により生成された機械学習モデルである。標準データ３０１の更新に応じて、標準モデル３０２に対する機械学習が実行され、標準モデル３０２が更新される。

【0073】

本実施形態では、機械学習として、ニューラルネットワークを用いた機械学習が適用される。たとえば、ニューロンを多段に組み合わせたディープラーニングによるニューラルネットワークが適用される。但し、適用される機械学習はこれに限られるものではなく、サポートベクターマシーンや決定木等の他の機械学習が適用されてもよい。

【0074】

ユーザ管理情報３０３は、水中探知装置１０のユーザを管理するための情報である。

【0075】

図４（ａ）は、ユーザ管理情報３０３の構成を示す図である。

【0076】

ユーザ管理情報３０３は、ユーザＩＤ、ユーザ名、地域、漁法、装置種別、および適用モデルを互いに対応付けて構成される。

【0077】

ユーザＩＤは、ユーザ（水中探知装置１０）を識別するための情報である。たとえば、水中探知装置１０の製品コードがユーザＩＤとして用いられてよく、あるいは、ランダムに付与されたコードがユーザＩＤとして用いられてもよい。ユーザ名は、ユーザの名称（氏名、等）である。地域は、ユーザが所属する地域である。地域は、たとえば、都道府県である。地域が、近畿等の地方名や、市町村等であってもよい。

【0078】

漁法は、当該水中探知装置１０が使用される漁法を特定するための情報である。たとえば、漁法は、巻き網漁や定置網漁等の漁法の種別により特定される。装置種別は、装置の種類を示す情報である。装置種別は、たとえば、機種コードとされ得る。水中探知装置１０が何れかの漁法に特化したものである場合、水中探知装置１０の種別は漁法の特定に用いられてもよい。

【0079】

適用モデルは、魚種判別に用いられる機械学習モデルが標準モデルおよび個別モデルの何れであるかを示す情報である。標準モデルは、上述のように、標準データを用いた機械学習により生成された標準的な機械学習モデルである。個別モデルは、後述のように、個別データ（フィードバック情報）を用いた機械学習により、ユーザごと（水中探知装置１０ごと）に生成された機械学習モデルである。

【0080】

図４（ａ）のユーザ管理情報のうち、適用モデル以外の情報は、水中探知装置１０を魚種判別システム１に設定する際に、サービスマンがサーバ２０に登録する。この際、サービスマンは、登録したユーザ管理情報に含まれるユーザＩＤを当該水中探知装置１０に設定する。水中探知装置１０は、サーバ２０に対する通信の際に、自身のユーザＩＤを通信ヘッダに含めて通信を行う。

【0081】

図３に戻って、個別データ３１１、３２１は、各ユーザの水中探知装置１０から取得したデータである。個別モデル３１２、３２２は、各ユーザの水中探知装置１０に適用される機械学習モデルである。図３において、個別データ３１１および個別モデル３１２はユーザＵ１に対するものであり、個別データ３２１および個別モデル３２２はユーザＵ２に対するものである。ユーザＵ１、Ｕ２以外も同様に、ユーザごとに個別データおよび個別モデルが管理されている。

【0082】

図４（ｂ）～（ｄ）は、個別データの構成を示す図である。

【0083】

図４（ｂ）～（ｄ）に示すとおり、各種の個別データが、ユーザＩＤに対応付けて管理される。図４（ｂ）は、エコーデータに関する個別データである。水中探知装置１０は、１シーケンスの送受波により得られたエコーデータをその取得日時とともに、サーバ２０に順次送信する。サーバ２０の記憶部２０２には、エコーデータの取得開始日時および取得終了日時と、その間に取得された一群のエコーデータおよびその取得日時とが、ユーザＩＤに対応付けて記憶される。

【0084】

さらに、開始日時から終了日時までの一群のエコーデータから機械学習モデルにより得られた魚種判別結果が各群のエコーデータにさらに対応付けられる。複数の魚種判別結果が得られた場合は、複数の魚種判別結果が一群のエコーデータに対応付けられる。各々の魚種判別結果は、魚群の範囲（深度、時間）と判別結果（魚種）とからなっている。

【0085】

図４（ｃ）は、フィードバック情報に関する個別データである。ここでは、当該ユーザＩＤに対応する水中探知装置１０から取得されたフィードバック情報が、時系列で記憶される。図４（ｄ）は、カスタマイズ情報に関する個別データである。ここでは、当該ユーザＩＤに対応する水中探知装置１０から取得されたカスタマイズ情報が、時系列で記憶される。

【0086】

図５は、ニューラルネットワークによる魚種判別処理を模式的に示す図である。

【0087】

サーバ２０の制御部２０１は、処理対象の１画面分のエコーデータから魚群の範囲（深度、時間）を抽出する。魚群の範囲は、エコー画像上において、エコー強度が所定の閾値以上であり、且つ、エコー強度に繋がりがある範囲として抽出される。魚群の範囲の抽出方法については、出願人が先に出願した国際公開第２０１９／００３７５９号の記載が、参照により取り込まれ得る。

【0088】

制御部２０１は、抽出した魚群の範囲のエコーデータを、図５の機械学習アルゴリズム（ニューラルネットワーク）４０１の入力４０１ａに適用する。機械学習アルゴリズム４０１の出力４０１ｂには、イワシ、アジ、サバなどの魚種の項目が割り当てられている。機械学習アルゴリズム４０１の入力４０１ａに魚群の範囲のエコーデータが適用されると、機械学習アルゴリズム４０１の出力４０１ｂの各項目から、当該魚群の魚種が各項目の魚種である確率（予測確率）が出力される。図５の例では、イワシの項目から８０％の予測確率が出力され、アジの項目から８％の予測確率が出力されている。

【0089】

各項目の予測確率は、出力条件４０２と照合される。出力条件４０２には、たとえば、予測確率が所定の下限値以上で且つ一番順位（最高）である項目の魚種を判別結果４０３として出力する条件が適用される。下限値は、確度が低い魚種が判別結果として出力されることを防ぐために設定される。図５の例では、予測確率が８０％であるイワシが、魚種の判別結果４０３として出力される。

【0090】

機械学習アルゴリズム４０１に対する機械学習は、一連の教師データを機械学習アルゴリズム４０１の入力４０１ａおよび出力４０１ｂに順番に適用することにより行われる。すなわち、機械学習アルゴリズム４０１の入力４０１ａに、１つの教師データに含まれる魚群のエコーデータが入力され、機械学習アルゴリズム４０１の出力４０１ｂには、この教師データに含まれる魚種に対応する項目に１００％が設定され、その他の項目には０％が設定されて、機械学習が行われる。

【0091】

図３の標準モデルは、標準データ（魚群の範囲のエコーデータ、魚種）を、順次、機械学習アルゴリズム４０１の入力４０１ａおよび出力４０１ｂに設定して機械学習を行うことにより生成される。図３の個別モデルは、個別データに含まれるフィードバック情報（魚群の範囲のエコーデータ、魚種）を、順次、機械学習アルゴリズム４０１の入力４０１ａおよび出力４０１ｂに設定して機械学習を行うことにより生成される。機械学習に用い得るフィードバック情報の数が少ない場合、個別モデルの学習に標準データがさらに用いられてもよい。

【0092】

また、機械学習アルゴリズム４０１の入力４０１ａには、魚群のエコーデータの他に、当該エコーデータが得られた位置や、その位置の水温、塩分濃度および流速等の、魚種判別に用い得る他の情報が入力されてもよい。この場合、水中探知装置１０は、これら他の情報をさらに取得する構成を備え、エコーデータとともに、これらの他の情報をさらにサーバ２０に送信する。サーバ２０の制御部２０１は、受信したこれらの他の情報を、図３の個別データとして記憶部２０２に記憶させる。この場合、標準データも、これらの他の情報をさらに含めばよい。

【0093】

図６（ａ）は、機械学習モデルの適用処理を示すフローチャートである。

【0094】

サーバ２０の制御部２０１は、新たにユーザがユーザ管理情報３０３（図３参照）に登録されると、標準モデルを当該ユーザ（ユーザＩＤ）に対する適用モデルに設定する（Ｓ１０１）。この場合、図４（ａ）における当該ユーザ（ユーザＩＤ）の適用モデルは、標準モデルに設定される。その後、当該ユーザの水中探知装置１０からフィードバック情報を受信するまでの間（Ｓ１０２：ＮＯ）、当該ユーザ（ユーザＩＤ）に対する適用モデルは、標準モデルに維持される（Ｓ１０１）。

【0095】

当該ユーザの水中探知装置１０からフィードバック情報を受信すると（Ｓ１０２：ＹＥＳ）、制御部２０１は、当該ユーザと同じ属性の他のユーザから取得したフィードバック情報を、記憶部２０２から抽出する（Ｓ１０３）。ステップＳ１０３において、制御部２０１は、図４（ａ）の個別データにおいて、少なくとも漁法が同じである他のユーザ（ユーザＩＤ）に対応付けられているフィードバック情報を、同じ属性のフィードバック情報として、記憶部２０２から抽出する。

【0096】

制御部２０１は、抽出した他のユーザのフィードバック情報と、ステップＳ１０２で受信した当該ユーザのフィードバック情報とを教師データとして、図５の機械学習アルゴリズムに対する学習を行って、当該ユーザに対する個別モデルを生成する（Ｓ１０４）。ここで、ステップＳ１０３で抽出したフィードバック情報の数が未だ十分でない場合、機械学習アルゴリズムの学習の際の教師データとして、さらに、標準データが用いられてもよい。

【0097】

こうして、当該ユーザに対する個別モデルが生成されると、制御部２０１は、生成した個別モデルを、当該ユーザ（ユーザＩＤ）の適用モデルに設定する（Ｓ１０５）。これにより、図４（ａ）における当該ユーザの適用モデルは、標準モデルから個別モデルに変更される。生成された個別モデルは、図３に示すように、当該ユーザに対応づけられて記憶部２０２に記憶される。たとえば、図５の機械学習アルゴリズム４０１のパラメータ値および出力条件４０２が個別モデルとして記憶されてよい。

【0098】

なお、ステップＳ１０３における属性の同一性は、必ずしも、漁法が同一であることのみに限られるものではなく、異なる特性のフィードバック情報（エコーデータ）を適切に排除し得る限りにおいて、他の要素がさらに含まれてもよい。たとえば、漁法が同じでもユーザの所属する地域（漁場）が異なると、魚の特性が相違し、エコーデータの特性が相違し得る。したがって、個別モデルの機械学習に用いられる他のフィードバック情報が、図４（ａ）の地域でさらに制限されてもよい。これにより、さらに精度の高い個別モデルを生成できる。

【0099】

また、個別モデルの機械学習に用いられる他のフィードバック情報が、図４（ａ）の装置種別でさらに制限されてもよい。これにより、同じ装置種別の水中探知装置１０から得られた同様の特性のフィードバック情報を用いて個別モデルが生成される。このため、さらに精度の高い個別モデルを生成できる。

【0100】

こうして、個別モデルを適用モデルに設定すると（Ｓ１０５）、制御部２０１は、処理をステップＳ１０２に戻す。これにより、当該ユーザ（水中探知装置１０）から新たにフィードバック情報を受信するごとに（Ｓ１０２：ＹＥＳ）、制御部２０１は、受信したフィードバック情報と、同一属性の他の水中探知装置１０から新たに受信したフィードバック情報とを教師データとして用いて、当該ユーザの個別モデルを更新する（Ｓ１０３～Ｓ１０５）。

【0101】

なお、個別モデルの更新が繰り返されることにより、個別モデルの精度が高まった（たとえば、フィーバック情報による魚種の判定結果の修正頻度が所定の閾値より少なくなった）後は、ステップＳ１０３が省略され、ステップＳ１０４では、ステップＳ１０２で受信したフィードバック情報のみから個別モデルの更新が行われてもよい。これにより、当該ユーザの個別モデルを、当該ユーザの漁場等に、より適するように更新できる。

【0102】

また、図６（ａ）のフローチャートでは、当該ユーザの水中探知装置１０からフィードバック情報を受信したことをトリガとして、個別モデルの生成および更新が行われたが、個別モデルの生成および更新のタイミングはこれに限られるものではない。たとえば、一定期間ごとに、当該ユーザの水中探知装置１０から受信したフィードバック情報と、当該ユーザの水中探知装置１０と同一の属性を有する他のユーザの水中探知装置１０から受信したフィードバック情報とを教師データとして、個別モデルが更新されてもよい。

【0103】

また、当該ユーザがサーバに登録される時点で、既に、当該ユーザと同一の属性の他のユーザから十分な数のフィードバック情報がサーバ２０に集約されている場合は、当該ユーザ（ユーザＩＤ）に標準モデルが適用されることなく、同一属性の他のユーザ（ユーザＩＤ）からのフィードバック情報を教師データとして用いて個別モデルが生成され、生成された個別モデルが当該ユーザ（ユーザＩＤ）に適用されてもよい。

【0104】

図６（ｂ）は、魚種判別処理を示すフローチャートである。

【0105】

サーバ２０の制御部２０１は、水中探知装置１０からエコーデータの受信を開始すると（Ｓ２０１：ＹＥＳ）、受信したエコーデータを図３の個別データとして記憶部２０２に記憶させる（Ｓ２０２）。また、制御部２０１は、受信したエコーデータからエコー画像を順次構成し、エコー画像上の魚群の範囲（深度、時間）を特定する。そして、制御部２０１は、特定した魚群の範囲のエコーデータを当該水中探知装置１０（ユーザＩＤ）の適用モデル（標準モデル／個別モデル）に適用して、当該魚群の魚種を判別する（Ｓ２０３）。制御部２０１は、魚種の判別結果を、当該判別結果を取得した魚群の範囲（深度、時間）とともに、当該水中探知装置１０に送信し、さらに、これらの情報を記憶部２０２に記憶させる（Ｓ２０４）。

【0106】

その後、制御部２０１は、当該水中探知装置１０からのエコーデータの受信が終了するまで（Ｓ２０５：ＮＯ）、ステップＳ２０２～Ｓ２０４の処理を繰り返し実行する。これにより、エコー画像から新たに魚群の範囲（深度、時間）が特定されるごとに、適用モデルにより、当該魚群の魚種が判別される。新たに得られた魚群の判別結果およびその魚群の範囲（深度、時間）は、随時、当該水中探知装置１０に送信されるとともに、記憶部２０２に記憶される。

【0107】

こうして、当該水中探知装置１０からのエコーデータの受信が終了すると（Ｓ２０５：ＹＥＳ）、制御部２０１は、図６（ｂ）の処理を終了する。これにより、図４（ｂ）の１行分の個別データが記憶部２０２に記憶される。上記のように、図４（ｂ）のエコーデータの欄には、図６（ｂ）の処理において水中探知装置１０から受信した全てのエコーデータが保持される。また、図４（ｂ）の魚種判別結果の欄には、図６（ｂ）の処理によって得られた全ての魚種の判別結果がその魚群の範囲（深度、時間）とともに保持される。

【0108】

図７は、魚種判別結果を含むエコー画像Ｐ１の表示例を模式的に示す図である。便宜上、図７には、エコー強度が高い部分のみに深度方向の線が付されている。

【0109】

水中探知装置１０の制御部２０１は、サーバ２０から判別結果および魚群の範囲（深度、時間）を受信すると、受信した魚群の範囲に対応する深度幅および時間幅に対応するエコー画像Ｐ１上の領域に、魚群の範囲を示す枠状のマーカーＭ０を表示する。さらに、制御部２０１は、受信した魚種の判定結果を示すラベルＬ０を、このマーカーＭ０の周囲にさらに表示する。図７の例では、サーバ２０から受信した判別結果および魚群の範囲（深度、時間）に基づき、魚群Ｆ１～Ｆ８に対してマーカーＭ０が表示され、さらに、これらのマーカーＭ０の周囲に、魚種の判別結果を示すラベルＬ０が表示されている。エコー画像Ｐ１の左上の角付近には、現在の日時が表示されている。

【0110】

ここで、図７の例では、魚群Ｆ９については、適用モデルにより魚種の判別結果が出力されなかったため、魚群Ｆ９には、マーカーおよびラベルの表示がなされていない。これは、たとえば、適用モデルによる魚群Ｆ９の魚種判別結果が図５の出力条件を満たさなかった場合に起こり得る。たとえば、出力条件が所定の下限値以上かつ第１順位（最高）の予測確率の魚種を出力するとの条件である場合、機械学習アルゴリズムの各魚種の出力項目に生じる予測確率のうち第１順位の予測確率がこの下限値未満であると、この魚群に対する判別結果が出力されない。このような場合、この魚群については判別結果がサーバ２０から水中探知装置１０に送信されないため、図７の魚群Ｆ９のように、魚種の判別結果が表示されないことになる。

【0111】

図８（ａ）は、水中探知装置１０の制御部１０１により実行されるフィードバック情報の送信処理を示すフローチャートである。図８（ｂ）は、サーバ２０の制御部２０１により実行されるフィードバック情報の受信処理を示すフローチャートである。

【0112】

ユーザは、たとえば、エコー画像Ｐ１に表示された所定の魚群の魚種判別結果と、自身が実際に捕獲したその魚群の魚種とが異なる場合や、エコー画像Ｐ１において魚種の判別結果が表示されていない魚群を実際に捕獲してその魚群の魚種を把握した場合に、これら魚群の魚種を修正するためのフィードバック情報をサーバ２０に送信するための操作（フィードバック操作）を、図２の入力部１０３を介して水中探知装置１０に行う。この場合、ユーザは、修正対象の魚群を含むエコー画像の日時の範囲を、入力部１０３を介して入力し、さらに、その範囲の魚種判別結果およびエコーデータ（以下、「履歴情報」という）をサーバ２０から取得するための操作を行う。

【0113】

図８（ａ）を参照して、水中探知装置１０の制御部１０１は、入力部１０３を介してユーザからフィードバック操作が入力されると（Ｓ３０１：ＹＥＳ）、ユーザにより入力された日時の範囲を含む履歴情報の送信要求をサーバ２０に送信し、サーバ２０から履歴情報を取得する（Ｓ３０２）。図８（ｂ）を参照して、サーバ２０の制御部２０１は、図８（ａ）のステップＳ３０２において送信された履歴情報の送信要求を受信すると（Ｓ４０１：ＹＥＳ）、当該送信要求の送信元の水中探知装置１０の個別データから、送信要求に含まれる日時の範囲の履歴情報（エコーデータおよび魚種判別結果）を抽出し、抽出した履歴情報を送信元の水中探知装置１０に送信する（Ｓ４０２）。

【0114】

図８（ａ）を参照して、水中探知装置１０の制御部１０１は、サーバ２０から履歴情報を受信すると（Ｓ３０２）、受信した履歴情報に基づくエコー画面を表示部１０２に表示させ、ユーザから魚種の修正を受け付ける（Ｓ３０３）。

【0115】

図９は、図８（ａ）のステップＳ３０３において、ユーザから魚種の修正を受け付けるための画面を模式的に示す図である。

【0116】

水中探知装置１０の制御部１０１は、履歴情報の送信要求の際にユーザが指定した時間範囲のうち先頭の時間帯のエコー画像および判別結果を表示部１０２に表示させる。ユーザは、入力部１０３を介してスクロールバーＢ０を操作して、エコー画像を時間方向に遷移させ、所望の時間帯のエコー画像および判別結果を含む画面を表示させる。これにより、図９における時間帯の画面が表示される。

【0117】

ユーザは、この画面において、自身が修正しようとする魚群のマーカーＭ０を、入力部１０３を介して指定する。図９の画面では、サバの判別結果が付された魚群Ｆ５のマーカーＭ０が、ユーザにより指定されている。これにより、魚群Ｆ５のマーカーＭ０が強調表示され、このマーカーＭ０の周囲に、魚種の選択候補Ｃ０がスクロールバーとともに表示される。ユーザは、選択候補Ｃ０のスクロールバーを操作して所望の魚種を表示させ、その後、自身が変更しようとする魚種を選択する。図９の例では、魚群Ｆ５の魚種としてタイが選択されている。

【0118】

また、ユーザは、この画面において、判別結果が付されていない魚群に対し魚種を入力する場合、入力部１０３を介して、当該魚群の範囲を指定する。図７に示すように、魚群Ｆ９には魚種の判別結果が得られていない。ユーザは、この魚群Ｆ９の魚種を入力する場合、入力部１０３を介して、魚群Ｆ９の範囲を指定する。これにより、図９に示すように、指定された魚群Ｆ９の範囲に新たにマーカーＭ１が表示され、このマーカーＭ１の周囲に、魚種の選択候補Ｃ０がスクロールバーとともに表示される。ユーザは、選択候補Ｃ０のスクロールバーを操作して所望の魚種を表示させ、その後、自身が入力しようとする魚種を選択する。図９の例では、魚群Ｆ９の魚種としてサワラが選択されている。

【0119】

こうして、魚種を変更または設定するための操作を行った後、ユーザは、入力部１０３を介して、これらの操作を確定するための操作を入力する。

【0120】

図８（ａ）を参照して、ユーザから確定操作が入力されると（Ｓ３０４：ＹＥＳ）、制御部１０１は、ステップＳ３０３においてユーザから指定された魚群の範囲と、当該魚群に対してユーザから入力された魚種とを含むフィードバック情報を、サーバ２０に送信する（Ｓ３０５）。これにより、制御部１０１は、図８（ａ）の処理を終了する。

【0121】

図８（ｂ）を参照して、サーバ２０の制御部２０１は、水中探知装置１０の制御部１０１からフィードバック情報を受信すると（Ｓ４０３：ＹＥＳ）、受信したフィードバック情報を、当該水中探知装置１０の個別データとして記憶部２０２に記憶させる（Ｓ４０４）。これにより、図４（ｃ）の１行分のフィードバック情報が、記憶部２０２に記憶される。こうして、制御部２０１は、図８（ｂ）の処理を終了する。

【0122】

なお、図８（ｂ）のステップＳ４０３においてフィードバック情報が受信されると、図６（ａ）のステップＳ１０２の判定がＹＥＳとなる。これにより、図６（ａ）のステップＳ１０３以降の処理が、上記のように実行される。

【0123】

図１０（ａ）は、水中探知装置１０の制御部１０１により実行されるカスタマイズ情報の送信処理を示すフローチャートである。図１０（ｂ）は、サーバ２０の制御部２０１により実行されるカスタマイズ情報の受信処理を示すフローチャートである。

【0124】

ユーザは、任意のタイミングで、カスタマイズ情報の入力および送信を行える。カスタマイズ情報は、魚種の判別結果を水中探知装置１０のユーザの好みに調整するための情報であって、図５の個別モデルの出力条件４０２の変更を含む。

【0125】

図１０（ａ）を参照して、水中探知装置１０の制御部１０１は、入力部１０３を介してユーザからカスタマイズ操作が入力されると（Ｓ５０１：ＹＥＳ）、所定の入力画面を表示部１０２に表示させ、ユーザからカスタマイズ情報の入力を受け付ける（Ｓ５０２）。ユーザからカスタマイズ情報の入力が行われた後、確定操作が入力されると（Ｓ５０３：ＹＥＳ）、制御部１０１は、入力されたカスタマイズ情報を、サーバ２０に送信する。これにより、制御部１０１は、図１０（ａ）の処理を終了する。

【0126】

上記のように、カスタマイズ情報は、個別モデルの出力条件の変更を含んでいる。ここで、出力条件の変更は、ユーザにより指定された特定魚種に対する個別モデルの予測確率が他の魚種より低くても、特定魚種の予測確率が所定の閾値（ゼロより大きい値）以上であれば、この特定魚種を優先的に判別結果として出力することを含んでよい。あるいは、出力条件の変更は、特定魚種について、判別結果を出力するための予測確率の下限値を変更することを含んでよい。また、出力条件の変更は、ユーザにより指定された特定魚種の判別結果は出力しないことを含んでよい。

【0127】

図１０（ｂ）を参照して、サーバ２０の制御部２０１は、水中探知装置１０の制御部１０１からカスタマイズ情報を受信すると（Ｓ６０１：ＹＥＳ）、受信したカスタマイズ情報を、当該水中探知装置１０の個別データとして記憶部２０２に記憶させる（Ｓ６０２）。これにより、図４（ｄ）の１行分のフィードバック情報が、記憶部２０２に記憶される。さらに、制御部２０１は、受信したカスタマイズ情報に基づいて、当該水中探知装置１０の個別モデルの出力条件を変更する（Ｓ６０３）。これにより、制御部２０１は、図１０（ｂ）の処理を終了する。

【0128】

図１１は、カスタマイズ情報に基づき個別モデルの出力条件が変更された場合の魚種判別結果の表示例を模式的に示す図である。

【0129】

ここでは、ユーザにより指定された特定魚種に対する個別モデルの予測確率が他の魚種より低くても、特定魚種の予測確率が所定の閾値（ゼロより大きい値）以上であれば、この特定魚種を優先的に判別結果として出力するよう、判別結果の出力条件が変更されている。ここでは、優先的に出力される特定魚種がタイに指定されている。このため、図７の画面では、魚群Ｆ５の魚種判別結果がサバであったところ、図１１の画面では、魚群Ｆ５の魚種判別結果がタイとなっている。

【0130】

すなわち、図５の機械学習アルゴリズム４０１による魚群Ｆ５の魚種判別では、サバの予測確率が最高であったが、タイの予測確率が閾値以上であったため、変更後の出力条件４０２により、判別結果４０３として、タイが出力されている。ここで、閾値は、カスタマイズ情報として、ユーザにより指定可能であってよい。これにより、ユーザは、タイの予測確率が自身の望む閾値以上であれば、タイの判別結果を優先的に出力させることができ、タイの可能性のある魚群Ｆ５を図１１の画面により確認できる。

【0131】

この場合、タイの予測確率が他の何れかの魚種よりも低い（第１順位でない）ことが、この魚群Ｆ５に対してさらに表示されてもよい。たとえば、図１１に示すように、ラベルＬ０にタイの表示とともに記号“？”の表示が含まれて、魚群Ｆ５に対するタイの予測確率が第１順位でないことが示されてもよい。あるいは、記号“？”に代えて、タイの予測確率の順位が数字で示されてもよい。これにより、ユーザは、魚群Ｆ５に対する漁獲を行うか否かを適切に判断できる。

【0132】

また、図１１の表示例では、ユーザが指定した特定魚種については、判別結果を出力するための予測確率の下限値が他の魚種より低めになるように、出力条件が変更されている。ここでは、下限値が低く変更される特定魚種がサワラに指定されている。このため、図７の画面では、魚群Ｆ９に対する第１順位のサワラの予測確率が基準の下限値より低かったために、魚群Ｆ９に対する魚種判別結果が表示されなかったところ、図１１の画面では、魚群Ｆ９に対する第１順位のサワラの予測確率がユーザにより指定された低めの下限値以上であったため、魚群Ｆ９の魚種判別結果がサワラと表示されている。これにより、ユーザは、自身が捕獲対象に想定しているサワラの判別結果がエコー画像Ｐ１に表示される頻度を高めることができ、効率的に、サワラの漁獲を進めることができる。

【0133】

なお、ここでは、特定魚種について、判定結果を出力するための下限値が、他の魚種に適用される基準の下限値より低く設定されたが、特定魚種について、判定結果を出力するための下限値が基準の下限値より高く設定されてもよい。これにより、ユーザは、捕獲対象として想定していない特定魚種の魚種判別結果がエコー画像Ｐ１に表示される頻度を低下させることができる。

【0134】

また、図１１の表示例では、ユーザにより指定された特定魚種の判別結果は出力しないよう、出力条件が変更されている。ここでは、判別結果を出力しない特定魚種がイワシに指定されている。このため、図７の画面では、魚群Ｆ１、Ｆ２に対してマーカーＭ０とイワシのラベルＬ０が表示されているところ、図１１の画面では、魚群Ｆ１、Ｆ２に対してこれらの表示が省略されている。これにより、ユーザは、捕獲対象として想定していない特定魚種（ここではイワシ）の判別結果がエコー画像Ｐ１に表示されることを抑制でき、エコー画像Ｐ１において自身が望む魚種の範囲を円滑に確認できる。

【0135】

＜実施形態の効果＞
実施形態によれば、以下の効果が奏され得る。

【0136】

図１～図６（ａ）に示したように、サーバ２０は、エコーデータと魚種とを対応付けたフィードバック情報を各々の水中探知装置１０から取得し、取得したフィードバック情報を、少なくとも水中探知装置１０が用いられる漁法を含む属性に紐づけて記憶し、属性が同一の複数のフィードバック情報を用いた機械学習により、魚種判別のための個別モデルを、属性ごとに生成する。

【0137】

この構成によれば、サーバ２０に、複数の水中探知装置１０からフィードバック情報が取得され集約されるため、機械学習に用い得るフィードバック情報の数を増やすことができる。また、集約されたフィードバック情報のうち、漁法（図４（ａ）参照）を含む属性が同一のフィードバック情報が機械学習に用いられるため、異なる特性のエコーデータが個別モデルの機械学習に用いられることを抑制できる。よって、個別モデルによる魚種判別結果を高精度化することができる。

【0138】

ここで、属性は、さらに、水中探知装置１０を用いるユーザが所属する地域（図４（ａ）参照）を含み得る。漁法が同じでも地域が異なると、魚の特性が相違し、エコーデータの特性が相違し得る。したがって、個別モデルの学習に用いるフィードバック情報をさらに地域で制限することにより、個別モデルによる魚種判別結果をさらに高精度化することができる。

【0139】

図３および図６（ａ）に示したように、サーバ２０は、標準データ３０１（図３参照）を用いた機械学習により、魚種判別のための標準モデル３０２を、個別モデル３１２、３２２の生成に先立って生成してユーザ（水中探知装置１０）に適用し、標準モデル３０２による魚種の判別結果に対するユーザの修正を示す情報をフィードバック情報として水中探知装置１０から取得して（図６（ａ）：ステップＳ１０２）、個別モデル３１２、３２２を生成する（ステップＳ１０３～Ｓ１０５）。これにより、標準モデル３０２による魚種判別結果をユーザに提供しつつ、この魚種判別結果に対するユーザの修正をフィードバック情報として水中探知装置１０から円滑に取得できる。よって、ユーザの利便性を維持しつつ、個別モデル３１２、３２２を適切かつ効率的に生成できる。

【0140】

図６（ａ）に示したように、サーバ２０は、個別モデル３１２、３２２（図３参照）
による魚種の判別結果に対するユーザの修正を示す情報をフィードバック情報として取得して（Ｓ１０２）、個別モデル３１２、３２２を更新する。これにより、個別モデル３１２、３２２を徐々にユーザの属性に適応するよう更新できる。よって、ユーザの利便性を高めることができる。

【0141】

図１０（ｂ）に示したように、サーバ２０は、各々の水中探知装置１０のユーザにより入力された個別モデル３１２、３２２（図３参照）の出力条件４０２（図５参照）の変更を含むカスタマイズ情報を受信し（Ｓ６０１）、受信したカスタマイズ情報に基づいて、当該水中探知装置１０に対する個別モデル３１２、３２２の出力条件４０２を変更する。これにより、ユーザが使用しやすいように、個別モデル３１２、３２２をカスタマイズできる。

【0142】

この場合、出力条件４０２の変更は、ユーザにより指定された特定魚種に対する個別モデル３１２、３２２の予測確率が他の魚種より低くても、当該特定魚種の予測確率が所定の閾値以上であれば、当該特定魚種を優先的に判別結果として出力することを含み得る。これにより、図１１に示したように、特定魚種（ここでは、タイ）の予測確率が他の魚種より低い場合も、当該特定魚種の判別結果（魚群Ｆ５のラベルＬ０）が出力され、当該特定魚種の判別結果の出力頻度を高めることができる。よって、ユーザは、自身が望む特定魚種の捕獲を取りこぼしにくくなり、特定魚種の漁獲量を高めることができる。

【0143】

あるいは、出力条件４０２の変更は、判別結果を出力するための予測確率の下限値を変更することを含み得る。これにより、ユーザは、たとえば、特定魚種に対する下限値を低下させることにより、図１１に示すように、当該特定魚種（ここでは、サワラ）の予測確率が低くても、当該特定魚種の判別結果（魚群Ｆ９のラベルＬ０）を出力させることができ、自身が捕獲したい魚をより確実に捕獲できる。あるいは、ユーザは、特定魚種に対する下限値を高めることにより、当該特定魚種の判別結果が出力される頻度を少なくでき、自身が捕獲したい魚をより効率的に確認できる。

【0144】

あるいは、出力条件４０２の変更は、ユーザにより指定された特定魚種の判別結果は出力しないことを含み得る。これにより、図１１に示したように、ユーザは、自身が興味のない魚種（ここでは、イワシ）の判別結果（ここでは、魚群Ｆ１、Ｆ２に対する判別結果）が出力されることを抑制でき、自身が興味のある魚種の魚群を円滑かつ効率的に把握できる。

【0145】

図２に示したように、水中探知装置１０は、表示部１０２と、入力部１０３と、制御部１０１と、を備える。ここで、制御部１０１は、図８（ａ）の処理により、表示部１０２に個別モデルによる魚種の判別結果を表示させるとともに、入力部１０３を介して当該判別結果の修正を受け付け（Ｓ３０１～Ｓ３０３）、当該修正をフィートバック情報としてサーバ２０に送信する（Ｓ３０５）。これにより、ユーザは、個別モデルによる魚種の判別結果の修正を、随時、サーバ２０側に提供できる。よって、個別モデルを徐々にユーザの属性に適応するよう更新でき、ユーザの利便性を高めることができる。

【0146】

ここで、図１０（ａ）の処理により、制御部１０１は、さらに、入力部１０３を介して、個別モデルの出力条件４０２（図５参照）の変更を含むカスタマイズ情報の入力を受け付け（Ｓ５０１、Ｓ５０２）、入力されたカスタマイズ情報をサーバ２０に送信し（Ｓ５０４）、図１０（ｂ）の処理により、サーバ２０は、受信したカスタマイズ情報に基づいて（Ｓ６０１：ＹＥＳ）、当該水中探知装置１０に対する個別モデルの出力条件４０２を変更する。これにより、ユーザが使用しやすいように、個別モデルをカスタマイズできる。

【0147】

＜変更例＞
本発明は、上記実施形態に制限されるものではなく、また、本発明の実施形態は、上記構成の他に種々の変更が可能である。

【0148】

たとえば、上記実施形態では、１シーケンスに２種類の周波数の超音波が送受波されたが、１シーケンスに送受波される周波数の種類は２つに限られない。たとえば、１シーケンスに１つの周波数の超音波のみが送受波されてもよく、あるいは、１シーケンスに３つ以上の周波数の超音波のみが送受波されてもよい。

【0149】

また、上記実施形態では、標準モデルまたは個別モデルを用いた魚種の判別処理がサーバ２０側で行われたが、この判別処理が水中探知装置１０側で行われてもよい。この場合、サーバ２０は、標準モデルまたは各々の水中探知装置１０用に生成した個別モデルを各々の水中探知装置１０に送信し、各々の水中探知装置１０は、サーバ２０から受信した標準モデルまたは個別モデルを用いた魚種判別を行う。この場合も、サーバ２０は、上記実施形態と同様、各々の水中探知装置１０から個別データ（フィードバック情報およびカスタマイズ情報を含む）を集約し、集約した個別データに基づいて、上記実施形態と同様の処理により、個別モデルの更新およびカスタマイズを行う。サーバ２０は、更新およびカスタマイズを行った個別モデルを、随時、各々の水中探知装置１０に送信し、各々の水中探知装置１０は、更新およびカスタマイズが行われた個別モデルを用いて、魚種判別処理を行う。

【0150】

また、上記実施形態では、機械学習に用いるフィードバック情報を制限するための属性として、漁法、地域および装置種別（図４（ａ）参照）が示されたが、他のパラメータが属性として含まれてもよい。

【0151】

たとえば、機械学習に用いるフィードバック情報を制限するための属性として、エコーデータが得られた海域が含まれてもよい。この場合、サーバ２０は、水中探知装置１０の位置検出部１０７により検出された位置情報をエコーデータとともに水中探知装置１０から受信し、個別モデルの機械学習に用いるフィードバック情報（エコーデータ）を、ユーザが指定した海域に位置情報が含まれるフィードバック情報にさらに制限する。これにより、個別モデルを、ユーザが指定した海域（ユーザの漁場）に適応するものに更新できる。

【0152】

また、上記実施形態では、図９の画面によって、ユーザからのフィードバック情報の入力がなされたが、フィードバック情報の入力方法は、これに限られるものではない。また、フィードバック情報は、必ずしも、標準モデルまたは個別モデルによる判別結果を修正するものではなくてもよく、ユーザがエコー画像上の任意の領域（魚群の領域）を独自に指定して、その領域の魚種を入力したものであってもよい。

【0153】

また、カスタマイズ情報は、上記に示した出力条件４０２の変更に係る情報でなくてもよく、上記以外の出力条件４０２の変更に係る情報であってもよい。たとえば、カスタマイズ情報は、魚種に関係なく、単に、出力条件の下限値を変更するための情報であってもよい。

【0154】

また、カスタマイズ情報による個別モデルのカスタママイズは、出力条件４０２の変更以外の個別モデルの変更を含んでもよく、たとえば、個別モデルの機械学習に用いるフィードバック情報をユーザが指定することを含んでいてもよい。また、ユーザは、同一属性のフィードバック情報とともに標準データを、自身の個別モデルの機械学習に用いることをカスタマイズ情報により指定できてもよく、さらに、この場合に、機械学習に用いるフィードバック情報および標準データの比率や、機械学習に用いるフィードバック情報および標準データの数を指定できてもよい。

【0155】

また、上記実施形態では、ユーザからのカスタマイズ情報によって当該ユーザの個別モデルがカスタマイズされたが、ユーザが標準モデルを使用している段階において、標準モデルがユーザからのカスタマイズ情報によってカスタマイズされてもよい。

【0156】

また、上記実施形態では、水中探知装置１０が魚群探知機であったが、水中探知装置１０がソナー等、魚群探知機以外の装置であってもよい。

【0157】

この他、本発明の実施形態は、特許請求の範囲に記載の範囲で適宜種々の変更可能である。

【符号の説明】

【0158】

１ 魚種判別システム
１０ 水中探知装置
２０ サーバ
１０１ 制御部
１０２ 表示部
１０３ 入力部
３０１ 標準データ
３０２ 標準モデル
３１２、３２２ 個別モデル
４０２ 出力条件
４０３ 判別結果

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】