特許 7641921 魚の外部構造の描写と計数のためのシステムと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-27

(45)【発行日】2025-03-07

(54)【発明の名称】魚の外部構造の描写と計数のためのシステムと方法

(51)【国際特許分類】

   A01K 61/13 20170101AFI20250228BHJP

【ＦＩ】

A01K61/13

【請求項の数】 11

(21)【出願番号】P 2021576256

(86)(22)【出願日】2020-06-18

(65)【公表番号】

(43)【公表日】2022-08-31

(86)【国際出願番号】 NO2020050168

(87)【国際公開番号】W WO2020256566

(87)【国際公開日】2020-12-24

【審査請求日】2023-05-16

(31)【優先権主張番号】20190760

(32)【優先日】2019-06-19

(33)【優先権主張国・地域又は機関】NO

(73)【特許権者】

【識別番号】521555270

【氏名又は名称】サブシースリーディー アーエス

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】プライズ フランク ロバート ウィーク

(72)【発明者】

【氏名】グロッティング ビヨルン

【審査官】伊藤 裕美

(56)【参考文献】

【文献】国際公開第２０１４／０９８６１４（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１８／０３０３０７３（ＵＳ，Ａ１）

【文献】国際公開第２０１８／２１２６６５（ＷＯ，Ａ１）

【文献】特開２０１８－０７８８１４（ＪＰ，Ａ）

【文献】国際公開第２０１３／０５３５９７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｋ ６１／００－６１／９５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

魚ケージ（９）の中の魚の魚健康状態をその場で監視及び記録するためのシステム（１）であって、少なくとも１つのカメラハウジング（３）を備えており、前記カメラハウジング（３）が近接デジタル写真測量のための同期写真を撮るように構成された少なくとも２台のカメラ（２１）を含むカメラグループ（２）を具備し、前記システム（１）が中央データ処理ユニット（７）を含み、前記中央データ処理ユニット（７）が前記少なくとも２台のカメラ（２１）によって同期して撮影された物体（５）の３次元モデル（６、６０、６９）を計算するように構成されており、かつ前記データ処理ユニット（７）が前記３次元モデル（６、６０）において前記物体（５）の滑らかな表面から逸脱している構造（５３、６１～６３）の数を報告するように構成されることを特徴とする、システム（１）。

【請求項2】

前記カメラグループ（２）はビデオ監視カメラ（２３）を含む、請求項１に記載のシステム（１）。

【請求項3】

前記カメラハウジング（３）は２つのカメラグループ（２）を含む、請求項１～２のうちのいずれか一項に記載のシステム（１）。

【請求項4】

前記カメラハウジング（３）は、水中ビークル（８）に取り付けられる、請求項１～３のうちのいずれか一項に記載のシステム（１）。

【請求項5】

前記水中ビークル（８）は自律型水中ビークル（８）である、請求項４に記載のシステム（１）。

【請求項6】

水中ビークル（８）に取り付けられた少なくとも２つのカメラハウジング（３）を含む、請求項１～５のうちのいずれか一項に記載のシステム（１）。

【請求項7】

前記少なくとも２台のカメラ（２１）から前記中央データ処理ユニット（７）への取得データの無線送信のための通信手段を含む、請求項１～６のうちのいずれか一項に記載のシステム（１）。

【請求項8】

請求項１～７のうちのいずれか一項に記載のシステム（１）が設けられた魚ケージ（９）であって、水中ビークル（８）用の充電ステーション（８１）が設けられた、魚ケージ（９）。

【請求項9】

請求項１～８のうちのいずれか一項に記載のシステム（１）に設けられた魚ケージ（９）であって、２台の水中ビークル（８）が設けられ、各水中ビークル（８）には少なくとも１つのカメラハウジング（３）が設けられる、魚ケージ（９）。

【請求項10】

魚ケージ（９）の中の魚の魚健康状態をその場で監視及び記録するための方法であって、
請求項１～９のうちのいずれか一項に記載のシステム（１）を供給するステップ、
前記カメラグループ（２）の前記カメラ（２１）を用いて、前記魚ケージ（９）の中の物体（５）を同期的に撮影するステップ、
前記中央データ処理ユニット（７）で前記システム（１）から取得した前記データを処理するステップ、
前記撮影された物体（５）の３次元モデル（６、６０、６９）を計算するステップ、
前記物体（５）の前記滑らかな表面から逸脱している構造（５３、６１～６３）の前記３次元モデル（６、６０）を分析し、そのような構造（５３、６１～６３）の数をカウントするステップ、及び、
そのような構造（５３、６１～６３）の前記数を報告するステップ、を含むことを特徴とする、方法。

【請求項11】

前記構造（５３、６１～６３）のサイズを計算して報告することを更に含む、請求項１０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水中の構造を描写するためのシステムに関する。より詳細には、本発明は、近接デジタル写真測量用に構成されたカメラと、カメラによって撮影された物体の３次元モデルを計算するデータ処理ユニットとを含むシステムに関する。更により詳細には、本発明は、物体の滑らかな表面から逸脱している構造を記録し、計数するように構成されているデータ処理ユニットに関する。物体は、生きた魚であり得て、それは自由に泳いでカメラを通過しており、チャネル又はその他の誘導デバイスにいることはない。またより詳細には、記録された構造は、サケジラミなどの外部甲殻類寄生虫であり得る。あるいは、記録された構造は、魚の皮への損傷からなる場合がある。カメラ及びデータ処理ユニットは、構造又は構造の一部の寸法を報告するように構成され得る。このシステムは、魚ケージの中の外部甲殻類寄生虫の数の継続的な監視及び記録を提供する。

【背景技術】

【0002】

魚の養殖は、水面に浮かぶ設備内で行われ得る。設備は複数の囲いを含み得て、各囲いは、魚が囲いの外へ泳いだり、囲いから飛び出したりできないという意味で閉じられている。囲いは、ネットからなる開口壁と、ネットからなる開口底とを含み得る。そのような囲いはオープン魚ケージと呼ばれる。代替的に、囲いは、密な(tight)壁、及び密な底を含んでもよい。そのような囲いは、クローズド魚ケージと呼ばれる。以下では、魚ケージという用語は、オープン魚ケージ又はクローズド魚ケージのいずれかであることが文脈から明らかでない場合、オープン魚ケージとクローズド魚ケージの両方に使用される。

【0003】

鮭（Salmo salar）とニジマス（Oncorhynchus mykiss）は、斑点のある皮表面と斑点のある鱗を、特に背側に有する。外部の魚の寄生虫、例えばサケジラミ（Lepeophtheirus salmonis）は、平坦である。サケジラミの固着したカリムスＩ及びカリムスＩＩの段階は、約１ｍｍ～約２．３ｍｍの長さである。これらの段階は、魚の皮の上に着いている場合、画像認識によって認識及び識別するのが困難である。移動性の成虫前Ｉ期では、サケジラミの長さは約３．６ｍｍである。これらもまた、画像認識による認識及び識別が困難である。成虫前ＩＩ期の長さは約４．３～５．２ｍｍである。成虫期は、成虫のオスが約５～６ｍｍの長さであり、成虫のメスが約８～１２ｍｍの長さであるため、画像認識によって認識及び識別が容易である。オスとメスは非常に大きく、鮭とニジマスの斑点パターンより目立つ。加えて、成虫のサケジラミは魚の皮とは色が異なる。

【0004】

外部の魚の寄生虫は、ケージでの養殖において問題である。

【0005】

特許文献１は、魚がそこを通って泳ぐチャネルを開示する。魚の健康スキャナは、カメラの形態の２つの撮像デバイスを含む。魚の健康と魚のウェルビーイングは、チャネルを通過して泳ぐ魚に対して記録される。カメラから取得されたデータは、画像分析を受け、魚の特徴を識別し、健康状態を特徴付ける。

【0006】

特許文献２は、画像認識システムに接続されたカメラを含むシステムを開示する。制御システムは、レーザパルスを、コントラストの差が示される魚の領域に向け、それは魚の表面上の寄生虫を典型的に示す（that is typical of parasites）。カメラは、パイプの中を泳いでいる魚を撮影し得る。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０１８０１１７４５号パンフレット

【文献】欧州特許第２５３１０２２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、先行技術の欠点の少なくとも１つを改善又は低減すること、あるいは少なくとも先行技術の有用な代替物を提供することを目的とする。

【課題を解決するための手段】

【0009】

この目的は、以下の説明及びそれに続く特許請求の範囲で指定されている特徴を通じて達成される。

【0010】

本発明は、近接デジタル写真測量の使用に関する。より詳細には、本発明は、複数のカメラを含むシステムの使用に関する。システムはまた、１つ以上の光源を含み得る。カメラと光源は、水中での使用に適合する。システムは更に、水中ビークルに接続され得て、水中ビークルは魚ケージの包囲された容積全体を自律的に動き回ることができる。システムは更に、魚ケージに沈められた充電ステーションを含み得る。充電ステーションは、魚ケージの外側のエネルギー源から電気エネルギーの供給を受ける。水中ビークルは、電気エネルギーが伝送される充電ステーションを探す。水中ビークルは、それが魚ケージ内を動き回っていないときも、充電ステーションに留まる。充電ステーションは、システムから中央データ処理ユニットにデータを送信するように構成され得る。

【0011】

システムは、１つのカメラグループを含み得る。各カメラグループは、少なくとも２台のカメラを含む。カメラグループの各カメラは、魚ケージの中の物体の同期写真を撮る。カメラグループの少なくとも２台のカメラは、同じ光学系と解像度を有する。同一のカメラからの同期画像は中央データ処理ユニットによって処理され、データ処理ユニットは撮影された物体の３次元モデルを作成する。カメラはビデオカメラであってもよい。ビデオカメラの録画のフレームは、中央データ処理ユニットによって処理され、データ処理ユニットは撮影された物体の３次元モデルを作成する。データ処理ユニットは、２台のビデオカメラの同期フレームからのデータを処理し得る。

【0012】

システムは、複数のカメラグループを含み得る。各カメラグループは、別のカメラグループに対して異なる方向を指してもよい。

【0013】

各カメラグループのカメラのうちの１台は、ビデオ監視カメラであり得る。ビデオ監視カメラは、カメラグループの別のカメラよりも広い視野角で撮影し得る。ビデオ監視カメラからのデータは、物体の３次元モデルの計算には使用されない。

【0014】

光源は、水中の物体を撮像するのに適した光スペクトルを与えるように適合される。光強度は調整可能であり得る。光はフラッシュライトであってもよい。

【0015】

システムは、方位センサ、例えば、傾角計、コンパス、及びジャイロコンパスを含み得る。システムは、水及び周囲の物理的特性を測定するための別のセンサ、例えば酸素センサ、温度センサ、深度センサ、フォトセンサ、塩分計を更に含んでもよい。

【0016】

システムは、水中ビークルが魚ケージの中を動き回っているときの無線通信用の手段を含み得る。ビデオ監視カメラからのビデオ信号は、無線でリアルタイムに送信され得る。ビデオ監視カメラから送信された画像は、飼料ペレットの供給を監視する場合がある。ビデオ監視カメラから送信された画像を使用して、魚ケージの網壁を検査し得る。

【0017】

本発明はまた、それぞれが１つ以上のカメラグループを備える複数の水中ビークルを、同じ魚ケージの中に配置することに関する。水中ビークルは、互いに通信するように構成され得る。１つの魚ケージに複数の充電ステーションがあってもよい。

【0018】

システムは、魚ケージ内の水中ビークルを、魚が魚ケージ内で留まっている場所に対して配置し、魚ケージの中のほとんどの魚の遊泳方向を記録するように構成され得る。

【0019】

水中ビークルは、ケーブルに接続されるように構成されてもよい。これは、システムが魚ケージの網壁を検査するためと、アンカライン及び魚ケージの固定の別の要素を検査するために使用される場合に有利であり得る。

【0020】

水中ビークルは、水面まで浮く手段を備えていてもよい。これは、障害が発生した場合、又は水中ビークルが充電ステーションへの道を見つけられない場合に有利であり得る。

【0021】

本発明は、独立請求項によって定義される。従属請求項は、本発明の有利な実施形態を定義する。

【0022】

第１の態様では、本発明は、より詳細には、魚ケージの中の魚の魚健康状態をその場で監視及び記録するためのシステムに関し、このシステムは、少なくとも１つのカメラハウジングを含んでいる。カメラハウジングは、近接デジタル写真測量のために同期写真を撮るように構成された少なくとも２台のカメラを含むカメラグループを備え、システムは、中央データ処理ユニットを含み、中央データ処理ユニットは、少なくとも２台のカメラによって同期して撮影された物体の３次元モデルを計算するように構成されており、データ処理ユニットは、３次元モデルにおいて物体の滑らかな表面から逸脱している構造の数を報告するように構成される。

【0023】

カメラは、ビデオカメラであり得る。

【0024】

カメラグループは、ビデオ監視カメラを含み得る。カメラハウジングは、２つのカメラグループを含み得る。カメラハウジングは、水中ビークルに取り付けられてもよい。水中ビークルは、自律型水中ビークルであり得る。システムは、水中ビークルに取り付けられた少なくとも２つのカメラハウジングを含んでもよい。

【0025】

システムは、少なくとも２台のカメラから中央データ処理ユニットへの取得データの無線送信のための通信手段を含み得る。

【0026】

魚ケージは、前述のようなシステムを備えていてもよい。魚ケージは、水中ビークル用の充電ステーションを設けてもよい。魚ケージは、２台の水中ビークルを備えることができ、各水中ビークルには少なくとも１つのカメラハウジングを備え得る。

【0027】

第２の態様では、本発明は、より詳細には、魚ケージの中の魚の魚健康状態をその場で監視及び記録するための方法に関する。この方法は、
前述のようなシステムを供給するステップ、
カメラグループのカメラを用いて、魚ケージの中の物体を同期的に撮影するステップ、
中央データ処理ユニットでシステムから取得したデータを処理するステップ、
魚ケージの中の撮影された物体の３次元モデルを計算するステップ、
物体の滑らかな表面から逸脱している構造の３次元モデルを分析し、そのような構造の数をカウントするステップ、及び、
そのような構造の数を報告するステップを含む。

【0028】

方法は、構造のサイズを計算して報告することを更に含み得る。

【図面の簡単な説明】

【0029】

以下に、好ましい実施形態の一例が記載され、これは添付の図面で視覚化されており、以下の通りである。

【図1】カメラグループを概略的に示し、カメラグループを正面から見た図である。

【図2】図１と同じ縮尺で、後方から見たカメラグループを示す図である。

【図3】図１よりもわずかに小さい縮尺で、異なる方向を指している２つのカメラグループを示す図である。

【図4】鮭の写真を示し、様々なサイズのマーカが鮭の表面に配置されることを示す図である。

【図5】近接デジタル写真測量に基づいた、図４に示す鮭の３次元表現を示す図である。

【図6】図４と同じ鮭の写真を示し、シミュレートされた損傷が魚の皮に作られていることを示す図である。

【図7】近接デジタル写真測量に基づいた、図６に示す鮭の３次元表現を示す図である。

【図8】魚の頭に向かって見た、図６に示した損傷の処理された３次元表現を示す図である。

【図9】本発明によるシステムを概略的に示す図である。

【図10】代替の実施形態における図９と同じものを示す図である。

【発明を実施するための形態】

【0030】

図中、参照番号１は、本発明によるシステムを示す。システム１は、カメラハウジング３内に配置されるカメラグループ２を含む。カメラグループ２は、近接デジタル写真測量に基づいて物体５を撮像するように適合された少なくとも２台の同一のカメラ２１を含む。カメラ２１は、ビデオカメラであり得る。カメラグループ２は、ビデオ監視カメラ２３とともに示される。図では、４台の同一のカメラ２１がカメラグループ２に示される。カメラグループ２は、３台の同一のカメラ２１を含み得る。カメラグループ２は、５台の同一のカメラ２１を含み得る。システム１は、複数のカメラハウジング３を含んでもよく、各カメラハウジング３は、１つのカメラグループ２を備える。

【0031】

カメラハウジング３は防水である。カメラハウジング３には窓３１が設けられ、カメラ２１及びビデオカメラ２３用の光を採り入れる。カメラハウジング３は、カメラグループ２内のカメラ２１、２３の数に適合した外形を有し得る。

【0032】

ビデオ監視カメラ２３は、カメラグループ２の中央に配置されて示される。ビデオ監視カメラ２３は、他の同一のカメラ２１と比較して、図に示されている位置とは異なる位置を有し得る。

【0033】

図３は、１つのカメラハウジング３内の２つのカメラグループ２を概略的に示す。カメラグループ２は、異なる方向を指している。

【0034】

システム１は、中央データ処理ユニット７を更に含む。カメラ２１からのデータは、中央データ処理ユニット７に送信される。中央データ処理ユニット７は、カメラグループ２のカメラ２１によって同期的に撮影された物体５の３次元モデル６を形成するように構成される。代替の実施形態では、中央データ処理ユニット７は、カメラグループ２のカメラ２１によって、ビデオカメラからの同期フレームを使用することにより撮影された物体５の３次元モデル６を形成するように構成されてもよい。

【0035】

システム１はまた、水中ビークル８を含み得て、水中ビークル８は魚を養殖するための魚ケージ９（図示せず）の内側に配置される。魚ケージ９は、図９と図１０に示すように、水面９９に浮遊している。水中ビークル８は、自律型水中ビークル８であり得る。魚ケージ９には、充電ステーション８１が設けられてもよく、充電ステーション８１には魚ケージ９の外側のエネルギー源（図示せず）から電気エネルギーが供給される。充電ステーション８１は、カメラグループ２のカメラ２１から中央データ処理ユニット７にデータを送信するように構成され得る。

【0036】

代替の実施形態では、水中ビークル８は、カメラグループ２のカメラ２１から中央データ処理ユニット７にデータを無線で送信するように構成される。更なる代替の実施形態では、図１０に示されるように、複数の水中ビークル８は同じ魚ケージ９内に配置されてもよい。魚ケージ９は、複数の充電ステーション８１を配設され得る。更なる代替の実施形態では、各水中ビークル８は、図１０に示すように、複数のカメラハウジング３を備えてもよい。複数のカメラハウジング３を備えた１つの水中ビークル８が、１つの魚ケージ９内にあってもよい。

【0037】

３つの異なるマーカ４、すなわち４１～４３が、物体５に配置された。物体５は死んだ鮭（Ｓ．ｓａｌａｒ）５１であり、図４を参照されたい。第１のマーカ４１は、直径が１２．０ｍｍ、及び高さ５．７ｍｍの円形であった。第２のマーカ４２は、直径７．０ｍｍ、及び高さ３．１ｍｍの円形であった。第３のマーカ４３は、直径５．１ｍｍ、及び高さ２．２ｍｍの円形であった。１つの第１のマーカ４１、５つの第２のマーカ４２、及び２つの第３のマーカ４３が使用された。マーカ４を備えた物体５は、物体５とカメラグループ２との間に６０ｃｍの距離を備えて示された。

【0038】

近接デジタル写真測量に基づく結果は、図５に３次元モデル６として示す。マーカ４１～４３は、隆起した構造６１～６３として魚の皮５５の上に明瞭に現れる。図５は、近接デジタル写真測量に基づく３次元モデリングが、外部の魚の寄生虫を観察し、計数するのに適することを示す。方法は更に、画像認識と組み合わせてもよい。そのような組み合わせにより、更に小さな物体を検出して識別することが可能になる。高解像度カメラ２１は、そのような隆起した構造をより遠い距離で観察することを可能にする。

【0039】

シミュレートされた損傷５３は、死んだ鮭５１に、魚の皮５５において２つの直交する切り込みを入れることで加えられ、図６を参照されたい。各切り込みは、長さ約２ｃｍ、深さ３～４ｍｍであった。近接デジタル写真測量に基づく結果は、図７に３次元モデル６０として示される。シミュレートされた損傷５３は、３次元モデル６０において構造として明瞭に現れる。基本データを使用して、図８に示すように、別の視野角から見た３次元モデル６９を形成することもできる。カメラ２１間の距離が既知であるため、損傷５３のサイズは、示されるように３次元モデル６９に示され得る。

【0040】

中央データ処理ユニットは、計算された３次元モデル６、６０を、物体５の写真画像表現とともに、同時に、観察者に提示するように構成され得る。計算された３次元モデル６、６０は、滑らかな表面から逸脱している構造６１～６３のマーキングとともに提示され得る。観察者は、３次元モデル６、６０を写真と比較して、データ処理ユニットが正しくマーク付けしているかどうかを判断し得る。方法は、機械学習にも使用され得る。

【0041】

上記のすべての実施形態は本発明を例示するが、それを限定するものではなく、当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替の実施形態を構築できることに留意されたい。特許請求の範囲において、括弧内の参照番号は限定的であると見なされるべきではない。

【0042】

「構成する」という動詞及びその異なる形態の使用は、特許請求の範囲に言及されていない要素又はステップの存在を排除するものではない。要素の前の不定冠詞「ａ」又は「ａｎ」は、そのようないくつかの要素の存在を排除するものではない。

【0043】

一部の機能が相互に異なる従属請求項に示されているという事実は、これらの機能の組み合わせを有利に使用できないことを示すものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】