特許 7398764 魚体長計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-12-07

(45)【発行日】2023-12-15

(54)【発明の名称】魚体長計測方法

(51)【国際特許分類】

   G01B 11/02 20060101AFI20231208BHJP

   A01K 61/95 20170101ALI20231208BHJP

【ＦＩ】

G01B11/02 H

A01K61/95

【請求項の数】 1

(21)【出願番号】P 2023020495

(22)【出願日】2023-02-14

(62)【分割の表示】P 2022121405の分割

【原出願日】2022-07-29

【審査請求日】2023-02-14

(73)【特許権者】

【識別番号】521489643

【氏名又は名称】株式会社ＭｉｚＬｉｎｘ

(73)【特許権者】

【識別番号】318013477

【氏名又は名称】株式会社ブルーオーシャン研究所

(74)【代理人】

【識別番号】110003236

【氏名又は名称】弁理士法人杉浦特許事務所

(74)【代理人】

【識別番号】100123973

【弁理士】

【氏名又は名称】杉浦 拓真

(74)【代理人】

【識別番号】100082762

【弁理士】

【氏名又は名称】杉浦 正知

(72)【発明者】

【氏名】桑本 淳二

(72)【発明者】

【氏名】野城 菜帆

(72)【発明者】

【氏名】伊藤 喜代志

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】中国特許出願公開第１１１１２７３９６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１６４０１５２（ＣＮ，Ａ）

【文献】中国特許出願公開第１１２４６５７７８（ＣＮ，Ａ）

【文献】国際公開第２０２０／０２２３０９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００

Ａ０１Ｋ ６１／９０

(57)【特許請求の範囲】

【請求項1】

対象魚の魚種の判別が可能な情報及び該対象魚の魚眼が含まれている画像を取得する画像取得ステップと、
取得された前記画像を解析して前記対象魚の魚種及び魚眼サイズを求める画像解析ステップと、
魚種別に魚眼サイズと魚体長の関係を表す情報が格納されたデータベースに対して、前記画像解析ステップによって求められた前記魚種及び前記魚眼サイズを入力して前記対象魚の魚体長を推定する魚体長推定ステップと
を有する魚体長測定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、魚の撮像画像に基づいて魚の体長を測定するようにした魚体長測定方法に関する。

【背景技術】

【0002】

マグロやカツオ等の魚種別体長データは、水産資源の維持管理には必須であり、特に資源量の激減に伴う不漁続きの近年においては、極めて重要な情報である。しかし、その計測には手間や解析処理等の様々な困難が伴うため、有益な情報が集まらないのが実情である。

【0003】

魚に接触することなく、魚の撮像画像に基づいて水槽の中の魚の体長を測定することが例えば特許文献１に記載されている。この装置は、２つのカメラによって得られた回遊中の魚のステレオ映像から機械学習モデルを利用して回遊中の魚の魚体形状を認識し、魚体形状に基づいて処理を行うことによって回遊中の魚の実サイズを算出している。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６６９４０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の魚体長計測では魚体全体（口から尻尾の先まで）を撮影しなければならず、また、魚の遊泳姿勢や撮影方向によっては写る長さが変化するため、複数のカメラ（ステレオカメラ）を使う必要があった。また、魚群の魚同士が重なり合うと全長写真が取れないために体長の測定ができない問題があった。

【0006】

したがって、本発明の目的は、魚体全体の画像を必要としないで一つのカメラの撮像画像を処理することによって魚体長を測定することができる魚体長測定方法を提供することにある。

【課題を解決するための手段】

【0007】

本発明は、対象魚の魚種の判別が可能な情報及び該対象魚の魚眼が含まれている画像を取得する画像取得ステップと、
取得された前記画像を解析して前記対象魚の魚種及び魚眼サイズを求める画像解析ステップと、
魚種別に魚眼サイズと魚体長の関係を表す情報が格納されたデータベースに対して、前記画像解析ステップによって求められた前記魚種及び前記魚眼サイズを入力して前記対象魚の魚体長を推定する魚体長推定ステップと
を有する魚体長測定方法である。

【発明の効果】

【0008】

本発明によれば、画像の解析処理とデータベースを参照する処理によって、対象魚の魚体長を測定できる。また、魚全体の画像が得られない場合でも魚体長を測定できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であっても良い。なお、ここに記載された効果は必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果又はそれらと異質な効果であっても良い。

【図面の簡単な説明】

【0009】

【図1】図１は、魚種別の魚眼サイズと魚体長の関係の一例を示すグラフである。

【図2】図２は、本発明の一実施形態の構成を示すブロック図である。

【図3】図３は、本発明の一実施形態に使用できる撮像装置の一例の略線図である。

【図4】図４は、本発明の一実施形態に使用できる撮像装置の他の例の略線図である。

【図5】図５は、本発明の一実施形態の説明に使用するフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について説明する。なお、以下に説明する実施の形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。

【0011】

本発明は、１台のカメラで且つ魚体の一部である魚眼を撮影し、その大きさを計測することによって体長を測定できる装置である。すなわち、図１のグラフに示すように、多くの魚は成長するに従い魚眼の大きさも大きくなり、魚種毎に魚眼サイズと魚体長に相関が見られることから、魚眼サイズの計測から魚体長を測定できることを利用したものである。

【0012】

図１は、横軸を魚眼サイズＥＬ（ｍｍ）とし、縦軸を魚体長ＢＬ（ｍｍ）とした実測結果のグラフである。魚体長は、例えば口先から尾びれの中心位置までの長さと定義している。カサゴについては、１ａで示す魚眼サイズＥＬ－魚体長ＢＬの関係が得られ、オコゼについては、１ｂで示す魚眼サイズＥＬ－魚体長ＢＬの関係が得られ、キジハタについては、１ｃで示す魚眼サイズＥＬ－魚体長ＢＬの関係が得られ、マハタについては、１ｄで示す魚眼サイズＥＬ－魚体長ＢＬの関係が得られ、マダイについては、１ｅで示す魚眼サイズＥＬ－魚体長ＢＬの関係が得られ、ヒラマサについては、１ｆで示す魚眼サイズＥＬ－魚体長ＢＬの関係が得られた。

【0013】

このように、多くの魚は成長するに従い魚眼サイズも大きくなり、魚種ごとに魚眼サイズＥＬと魚体長ＢＬの相関が存在している。各魚種についてより多くの個体に関して魚眼サイズＥＬ－魚体長ＢＬの関係を調べることによって、魚種ごとの魚眼サイズＥＬ－魚体長ＢＬの関係の情報のデータベースが作成される。データベースは、記憶装置に記憶される。すなわち、測定対象の魚の魚種と魚眼サイズＥＬが判れば、データベースを参照することによって、その魚の魚体長ＢＬが判る。

【0014】

図２を参照して本発明の一実施形態の概略を説明する。最初に、撮像装置１１により対象とする魚を撮像して撮影画像が取得される。単一の対象魚に限らず複数の魚が含まれる撮影画像であってもよい。また、多数の魚種が混ざり合った撮影画像でもよい。さらに、静止画像に限らず、動画像であってもよい。魚眼の映像が存在していれば、魚の全体が撮影されていなくてもよい。必要なことは、撮像画素中に対象魚の魚種の判別が可能な形状、色彩、模様等の情報が含まれており、且つ対象魚の魚眼が含まれていることである。また、撮像装置１１は、魚眼までの距離を測定する機能を有し、画像データと共に測距データを出力するようになされている。撮像装置１１で取得したデータが画像解析部１２に対して伝送するための伝送装置が設けられている。

【0015】

画像解析部１２は、取得された撮影画像に対して画像解析を行って魚種を判別する魚種判定部１３と、撮影画像から魚眼を抽出する魚眼抽出処理１４と、抽出された魚眼のサイズを計測する魚眼サイズ計測部１５を有する。魚種判定部１３においては、魚種データベースが参照されて測定対象の魚の魚種が判定される。画像解析部１２の魚眼サイズ計測部１５の処理において測距データが使用される。例えば魚眼までの距離とカメラ画像の解像度から、魚眼サイズＥＬが計算される。また、距離と１画素当たりの被写体（魚）のサイズの関係のテーブルを予め作成しておいて、このテーブルを参照して複数の画素で表される魚眼サイズを求めることもできる。さらに、撮影画像中の被写体の実際のサイズを求める従来から知られている方法を適宜使用できる。

【0016】

画像解析部１２によって求められた魚種および魚眼サイズＥＬが魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１６に与えられる。魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１６は、魚種別の魚眼サイズと魚体長の関係（例えば比率）のデータベースである。魚体長推定部１７は、魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１６を参照することによって、計測された魚眼サイズから魚体長が推定される。なお、魚体長と魚体重の関係を予め求めておき、魚体長推定部１７において、推定された魚体長から魚体重を推定するようにしてもよい。

【0017】

魚種別魚体長組成グラフ作成部１８は、複数のサンプル画像から抽出した魚体長データＢＬを基に解析結果例えば魚種ごとに体長別のヒストグラムを作成し、ヒストグラムをテキストやグラフまたは表として出力する。

【0018】

情報送信部１９は、得られた解析結果をインターネットその他のネットワークを通じてパソコンやスマホに配信する。

【0019】

図３は、撮像装置１１の一例を示す。例えば漁港の水揚げ場ではテーブル状の台２１の上に測定対象として水揚げされた魚が載せられている。台２１に限らず、ベルトコンベアに魚が載せられている場合もある。台２１に対して設定距離Ｌにデジタルカメラ２２が設置されている。

【0020】

デジタルカメラ２２は、図示しない雲台等で撮影方向が調整可能とされている。デジタルカメラ２２の撮影方向が台２１と垂直の場合のデジタルカメラ２２と台２１の距離が設定距離Ｌとされている。デジタルカメラ２２の撮影方向の角度φが図示しない角度センサーによって検出される。角度センサーの検出出力を利用して撮影中の魚までの距離（撮影距離と適宜称する）が求められる。なお、魚を斜めから撮影した場合、撮影画像中の魚眼の形状が楕円となるが、魚眼は、円形であるので、楕円の長径が魚眼サイズとして測定される。

【0021】

デジタルカメラ２２に限らず、スマートフォン２３のデジタルカメラの機能を利用して魚を撮影してもよい。スマートフォン２３と被写体の魚の間の撮影距離Ｌ’が予め設定した値となるように、撮影位置が決定される。さらに、撮影距離を測定するための距離計を設けるようにしてもよい。レーザ、赤外線などを使用する距離計を使用できる。

【0022】

撮像装置１１により得られた撮影画像の解像度と撮影距離と魚眼の直径に対応する画素数から魚眼サイズが求められる。なお、必要に応じて画像の歪補正を行うようにしてもよい。さらに、撮影画像中に魚の全体の画像が存在していることは必要ではない。魚種の判定を可能とするのに必要な情報（輪郭、色彩、模様など）と魚眼の画像が含まれていればよい。したがって、複数の魚の画像が重なり合っている画像、頭部のみの部分画像などから魚眼サイズを測定することができる。

【0023】

撮像装置１１の他の構成例を図４に示す。図３に示す構成は、静止した魚を対象とする場合であるのに対して、図４に示す構成は、水中３１で泳ぐ魚を対象とする例である。例えば水槽、養殖の生簀などで泳いでいる魚を撮影する水中カメラ３２が設けられる。水中カメラ３２と被写体までの距離を測定する距離センサー３３が設けられる。距離センサー３３は、例えば超音波を使用したものである。水中カメラ３２の撮影画像を解析することによって魚眼サイズを測定できる。

【0024】

撮像装置１１によって撮影された画像は、画像解析部１２に対して伝送される。画像解析部１２、魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１６、魚体長推定部１７、魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１８、情報送信部１９は、撮像装置１１の設置場所と異なる場所例えばクラウド上に構成されている。但し、これらの構成の全体又は一部を撮像装置１１の設置場所の付近に設置してもよい。

【0025】

図５のフローチャートを参照して、画像解析部１２、魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１６、魚体長推定部１７、魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース１８の一例について説明する。

【0026】

処理に際して、教師用画像データベース４１、魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース４３が参照される。また、撮像装置１１からの入力画像４２が魚種判定処理Ｓ１及び魚眼抽出処理Ｓ２によって処理される。

【0027】

教師用画像データベース４１は、魚眼を含む多種の魚が写った画像（入力画像）と、判定のお手本となるその画像内の魚体（全体または一部）及び魚眼を縁取りして、塗り潰し表示した画像（出力画像）をペアとする複数（数千から数万個）の画像ペアから成る。そして、塗り潰した各魚体及び魚眼には識別番号（ラベル）が付加され、データベース管理される。なお、動画やステレオカメラは複数の静止画像の集合体であり、１枚１枚の静止画像を入力画像として取り扱うことができる。

【0028】

魚種判定処理Ｓ１は、送られてきた魚眼を含む画像から、ニューラルネットワークを活用して対象魚の魚種を判定する処理である。魚種判定処理Ｓ１には、ニューラルネットワークを活用した魚種判定学習モデルの構築処理Ｓ１１、パラメータ調整処理Ｓ１２、最適化された魚種判定学習モデルの構築処理Ｓ１３及び入力画像内の個々の魚体の魚種別ラベリング処理Ｓ１４が含まれる。

【0029】

魚種判定学習モデルの構築処理Ｓ１１は、教師用画像データベース４１を使用して魚種判定学習モデルを構築する処理である。学習モデルの判定精度は、教師用画像データベースの質及び量に依存する。そのため、学習モデルでは教師用データベースが追加更新される度に、パラメータ調整処理Ｓ１２によって魚種判定学習モデルが最適化される。最適化された魚種判定学習モデルの構築処理Ｓ１３がなされ、この魚種判定学習モデルに入力画像４２が入力されて個々の魚体の魚種別ラベリング処理Ｓ１４がなされる。

【0030】

魚眼抽出処理Ｓ２は、ニューラルネットワークを活用した画像解析により、魚眼だけを画像から抽出する処理である。魚眼判定処理Ｓ２には、ニューラルネットワークを活用した魚眼抽出学習モデルの構築処理Ｓ２１、パラメータ調整処理Ｓ２２、最適化された魚眼抽出学習モデルの構築処理Ｓ２３及び抽出された魚眼と対応魚体ラベルのマッチング処理Ｓ２４が含まれる。

【0031】

魚眼抽出学習モデルの構築処理Ｓ２１は、教師用画像データベース４１を使用して魚眼抽出学習モデルを構築する処理である。モデル構築に当たっては教師用画像データベースの追加更新に伴い、パラメータ調整処理Ｓ２２によって魚眼抽出学習モデルが最適化される。最適化された魚眼抽出学習モデルの構築処理Ｓ２３がなされ、この魚眼抽出学習モデルに入力画像４２が入力されて魚眼が抽出される。抽出された魚眼と対応魚体ラベルのマッチング処理Ｓ２４がなされる。

【0032】

魚眼サイズＥＬ計測処理Ｓ３は、魚眼サイズＥＬを計測する処理であり、魚眼サイズＥＬ計測処理Ｓ３には、画素空間解像度の算出処理Ｓ３１、抽出した魚眼のサイズ計算処理Ｓ３２及び魚種に対する魚眼サイズの妥当性判定処理Ｓ３３が含まれる。そして、妥当性判定処理Ｓ３３が魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース４３を基に、魚種に対する魚眼サイズの妥当性を判定する。画素空間解像度の算出処理Ｓ３１は、撮像距離Ｌと撮像装置の画素数から画素空間解像度を計算する。

【0033】

簡易的に空間解像度を求める式は、以下のものとなる。
空間解像度（mm）＝カメラと被写体の距離（mm）ｘtan（画角／２）ｘ（２／画素数）
一例として、画像サイズが１９２０ｘ１０８０で、横画角が６２．２度の撮像装置では、１ｍ離した距離における空間解像度は、約０．６（mm）となる。

【0034】

魚眼のサイズ計算処理Ｓ３２は、画素数×空間解像度によって魚眼サイズ（mm）を計算する。魚眼のサイズ計算処理Ｓ３２がなされた結果、魚種及び魚眼サイズが求められる。魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース４３を参照して魚体長が推定される。予め魚種別に魚体長と魚体重の関係を調べておき、求められ魚体長から魚体重を推定してもよい。

【0035】

一般に魚眼は円形であるため、撮影距離が一定ならばどの角度から撮影しても魚眼の長径は変わらない。従って、上述した本発明の一実施形態によれば、魚までの距離が明らかであれば、１台のカメラでどの位置から撮影しても魚体全体が写っていなくても、さらには多数の魚種が混ざり合った画像でも、魚眼さえ撮影できれば魚体長を計測することができる。これにより、魚体長計測装置が簡単な構成で安価になる。さらに、魚体長と体重間にも相関がある場合が多く、平均値からのズレを利用して魚の肥満度も推定することができる。

【0036】

以上、本発明の実施の形態について具体的に説明したが、本発明は、上述の実施の形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。上述の実施形態において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよい。

【符号の説明】

【0037】

１１・・・撮像装置、１２・・・画像解析部、１３・・・魚種判定部、１４・・・魚種抽出部、１５・・・魚眼サイズ計測部、１６・・・魚種別魚眼サイズＥＬ／魚体長ＢＬデータベース

【要約】

【課題】簡単な構成で、魚体長を測定できる魚体長測定方法を提供する。
【解決手段】対象魚の魚種の判別が可能な情報及び該対象魚の魚眼が含まれている画像を取得する画像取得ステップと、取得された画像を解析して対象魚の魚種及び魚眼サイズを求める画像解析ステップと、魚種別に魚眼サイズと魚体長の関係を表す情報が格納されたデータベースに対して、画像解析ステップによって求められた魚種及び魚眼サイズを入力して対象魚の魚体長を推定する魚体長推定ステップとを有する魚体長測定方法である。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】