IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東杜シーテック株式会社の特許一覧 ▶ 国立大学法人東北大学の特許一覧

特許7535731魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法
<>
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図1
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図2
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図3
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図4
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図5
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図6
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図7
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図8
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図9
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図10
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図11
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図12
  • 特許-魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-08
(45)【発行日】2024-08-19
(54)【発明の名称】魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法
(51)【国際特許分類】
   G01N 21/17 20060101AFI20240809BHJP
   G01B 11/24 20060101ALI20240809BHJP
【FI】
G01N21/17 A
G01B11/24 K
【請求項の数】 7
(21)【出願番号】P 2020152161
(22)【出願日】2020-09-10
(65)【公開番号】P2022046226
(43)【公開日】2022-03-23
【審査請求日】2023-06-14
(73)【特許権者】
【識別番号】511312469
【氏名又は名称】東杜シーテック株式会社
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】100131428
【弁理士】
【氏名又は名称】若山 剛
(72)【発明者】
【氏名】大町 真一郎
(72)【発明者】
【氏名】佐野 修弥
(72)【発明者】
【氏名】宮崎 智
(72)【発明者】
【氏名】菅谷 至寛
(72)【発明者】
【氏名】関口 尚大
(72)【発明者】
【氏名】山下 龍麿
(72)【発明者】
【氏名】横山 桂一郎
(72)【発明者】
【氏名】本田 光正
【審査官】比嘉 翔一
(56)【参考文献】
【文献】特開平04-291679(JP,A)
【文献】特開2008-032427(JP,A)
【文献】特開2020-016501(JP,A)
【文献】特開2010-197151(JP,A)
【文献】特開2019-135624(JP,A)
【文献】米国特許出願公開第2020/0267947(US,A1)
【文献】今村 颯介 Sosuke Imamura,3Dカメラを用いた牛のBCS予測システムの構築 Cow's Body-Condition-Score predicting system using 3D camera,電気学会研究会資料 The Papers of Joint Technical Meeting on "Perception Information" and "Innovative Industrial System",日本,一般社団法人電気学会 The Institute of Electrical Engineers of Japan(IEEJ),2017年03月27日
(58)【調査した分野】(Int.Cl.,DB名)
G01B、G01C、G01D、G01F、G01G、G01H、G01J、G01K、G01L、G01M、G01N、G01P、G01Q、G01R、G01S、G01T、G01V、G01W
JSTPlus/JMEDPlus/JST7580(JDream3)
(57)【特許請求の範囲】
【請求項1】
魚の脂肪量を推定する魚脂肪量推定システムであって、
前記魚の体が延在している状態において、複数の画素のそれぞれに対して、基準面と前記魚との間の距離を表す画像である距離画像を取得するとともに、前記複数の画素のそれぞれに対して、前記魚により反射された可視光の強度を表す画像である可視光画像を取得する画像取得部と、
前記取得された距離画像と、前記取得された可視光画像と、に基づいて前記魚の脂肪量を推定する推定部と、
を備える、魚脂肪量推定システム。
【請求項2】
請求項1に記載の魚脂肪量推定システムであって、
前記推定部は、畳み込みニューラルネットワークを含む学習済みモデルを用いて、前記魚の脂肪量を推定する、魚脂肪量推定システム。
【請求項3】
請求項1又は請求項2に記載の魚脂肪量推定システムであって、
基準方向に沿って前記魚の体が延在するように前記魚の体の方向を制御し、
前記画像取得部は、前記基準方向に沿って前記魚の体が延在している状態において、前記距離画像及び前記可視光画像を取得する、魚脂肪量推定システム。
【請求項4】
請求項1乃至請求項3のいずれか一項に記載の魚脂肪量推定システムであって、
前記画像取得部は、可視光よりも長い波長を有する電磁波を用いて前記距離画像を取得し、
前記魚及び前記画像取得部を収容する内部空間を形成するように前記魚及び前記画像取得部を遮蔽する遮蔽部と、
前記内部空間にて光を発生するとともに、可視光の波長における前記光の強度が、可視光よりも長い波長における前記光の強度よりも高い光源部と、
を備える、魚脂肪量推定システム。
【請求項5】
請求項4に記載の魚脂肪量推定システムであって、
前記魚が載置される載置面を有する載置部を備え、
前記画像取得部は、前記魚の鉛直上方に位置し、
前記光源部は、前記載置面の鉛直上方であり且つ鉛直方向において前記画像取得部よりも下方である領域のうちの、前記魚の鉛直上方以外の領域に位置する、魚脂肪量推定システム。
【請求項6】
魚の脂肪量を推定する魚脂肪量推定装置であって、
前記魚の体が延在している状態において、複数の画素のそれぞれに対して、基準面と前記魚との間の距離を表す画像である距離画像が入力されるとともに、前記複数の画素のそれぞれに対して、前記魚により反射された可視光の強度を表す画像である可視光画像が入力される画像入力部と、
前記入力された距離画像と、前記入力された可視光画像と、に基づいて前記魚の脂肪量を推定する推定部と、
を備える、魚脂肪量推定装置。
【請求項7】
魚の脂肪量を推定する魚脂肪量推定方法であって、
前記魚の体が延在している状態において、複数の画素のそれぞれに対して、基準面と前記魚との間の距離を表す画像である距離画像が入力されるとともに、前記複数の画素のそれぞれに対して、前記魚により反射された可視光の強度を表す画像である可視光画像が入力され
前記入力された距離画像と、前記入力された可視光画像と、に基づいて前記魚の脂肪量を推定する、
ことを含む、魚脂肪量推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法に関する。
【背景技術】
【0002】
魚を撮影することにより取得される可視光画像に基づいて魚の脂肪量を推定する魚脂肪量推定システムが知られている。この種の魚脂肪量推定システムの一つとして、特許文献1に記載の魚脂肪量推定システムは、複数の画素のそれぞれに対して、魚の切断面により反射された可視光の強度を表す画像である可視光画像を取得し、取得された可視光画像に基づいて魚の脂肪量を推定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平4-291679号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、本願の発明者らは、鋭意検討の結果、魚の立体形状と、魚の脂肪量と、の間に強い相関が存在することを見出した。しかしながら、上記魚脂肪量推定システムにおいて、可視光画像は、魚の立体形状を高い精度にて反映できない。このため、上記魚脂肪量推定システムにおいては、魚の脂肪量の推定に対する精度が過度に低くなる虞があった。
【0005】
本発明の目的の一つは、魚の脂肪量の推定に対する精度を高めることである。
【課題を解決するための手段】
【0006】
一つの側面では、魚脂肪量推定システムは、魚の脂肪量を推定する。魚脂肪量推定システムは、複数の画素のそれぞれに対して、基準面と魚との間の距離を表す画像である距離画像を取得する画像取得部と、取得された距離画像に基づいて魚の脂肪量を推定する推定部と、を備える。
【0007】
他の一つの側面では、魚脂肪量推定装置は、魚の脂肪量を推定する。魚脂肪量推定装置は、複数の画素のそれぞれに対して、基準面と魚との間の距離を表す画像である距離画像が入力される画像入力部と、入力された距離画像に基づいて魚の脂肪量を推定する推定部と、を備える。
【0008】
他の一つの側面では、魚脂肪量推定方法は、魚の脂肪量を推定する。魚脂肪量推定方法は、複数の画素のそれぞれに対して、基準面と魚との間の距離を表す画像である距離画像が入力され、入力された距離画像に基づいて魚の脂肪量を推定する、ことを含む。
【発明の効果】
【0009】
魚の脂肪量の推定に対する精度を高めることができる。
【図面の簡単な説明】
【0010】
図1】第1実施形態の魚選別装置の斜視図である。
図2】第1実施形態の魚選別装置の、遮蔽体、第1遮蔽幕、及び、第2遮蔽幕が除かれた状態における斜視図である。
図3】第1実施形態の魚選別装置の、遮蔽体、第1遮蔽幕、及び、第2遮蔽幕が除かれた状態における側面図である。
図4】第1実施形態の魚選別装置の、遮蔽体、第1遮蔽幕、及び、第2遮蔽幕が除かれた状態における平面図である。
図5】第1実施形態の魚選別装置の平面図である。
図6】第1実施形態の魚選別装置の断面図である。
図7】第1実施形態の制御部の構成を表すブロック図である。
図8】第1実施形態の魚選別装置の平面図である。
図9】第1実施形態の魚選別装置で用いられる光及び電磁波の強度の波長に対する変化を表すグラフである。
図10】第1実施形態の制御部の機能を表すブロック図である。
図11】第1実施形態の魚選別装置の動作を表すフローチャートである。
図12】第1実施形態の魚選別装置による推定値と、測定値と、の相関を表すグラフである。
図13】比較例、第1実施例、及び、第2実施例のそれぞれに対する相関係数及び平均誤差を表す表である。
【発明を実施するための形態】
【0011】
以下、本発明の、魚脂肪量推定システム、魚脂肪量推定装置、及び、魚脂肪量推定方法に関する各実施形態について図1乃至図13を参照しながら説明する。
【0012】
<第1実施形態>
(概要)
第1実施形態の魚脂肪量推定システムは、魚の脂肪量を推定する。魚脂肪量推定システムは、複数の画素のそれぞれに対して、基準面と魚との間の距離を表す画像である距離画像を取得する画像取得部と、取得された距離画像に基づいて魚の脂肪量を推定する推定部と、を備える。
【0013】
これによれば、魚の立体形状が距離画像に高い精度にて反映される。これにより、魚の脂肪量を高い精度にて推定できる。
次に、第1実施形態の魚脂肪量推定システムについて、図1乃至図13を参照しながら詳細に説明する。
【0014】
(構成)
図1に表されるように、第1実施形態の魚脂肪量推定システムが適用された魚選別装置1は、魚FSを搬送し、搬送されている魚FSを脂肪量に応じて選別する。本例では、脂肪量は、脂肪率である。脂肪率は、魚FSの重量に対する、魚FSに含まれる脂肪の重量の割合である。なお、脂肪量は、魚FSに含まれる脂肪の重量であってもよい。
【0015】
以下、図1乃至図6、及び、図8に表されるように、x軸、y軸、及び、z軸を有する右手系の直交座標系を用いて、魚選別装置1を説明する。本例では、y軸方向は、魚選別装置1が魚FSを搬送する方向である。
【0016】
本例では、x軸方向、y軸方向、及び、z軸方向は、魚選別装置1の左右方向、魚選別装置1の前後方向、及び、魚選別装置1の上下方向とそれぞれ表されてもよい。また、本例では、x軸の正方向、x軸の負方向、y軸の正方向、y軸の負方向、z軸の正方向、及び、z軸の負方向は、魚選別装置1の右方向、魚選別装置1の左方向、魚選別装置1の前方向、魚選別装置1の後方向、魚選別装置1の上方向、及び、魚選別装置1の下方向とそれぞれ表されてもよい。
本例では、z軸の正方向、及び、z軸の負方向は、鉛直上方向、及び、鉛直下方向にそれぞれ一致する。
【0017】
図1は、魚選別装置1の右方であり、魚選別装置1の後方であり、且つ、魚選別装置1の上方である位置から、魚選別装置1を見た図(換言すると、右後上方斜視図)である。図2は、後述の遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2が除かれた状態において、魚選別装置1の右方であり、魚選別装置1の前方であり、且つ、魚選別装置1の上方である位置から、魚選別装置1を見た図(換言すると、右前上方斜視図)である。
【0018】
図3は、後述の遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2が除かれた状態において、魚選別装置1の右方から魚選別装置1を見た図(換言すると、右側面図)である。図4は、後述の遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2が除かれた状態において、魚選別装置1の上方から魚選別装置1を見た図(換言すると、平面図)である。
【0019】
図5は、魚選別装置1の平面図である。図6は、図5のVI-VI線により表される平面により切断された魚選別装置1の断面をy軸の負方向にて見た図である。図8は、魚選別装置1の平面図である。
【0020】
図1乃至図6に表されるように、魚選別装置1は、制御部10と、搬送部21と、方向制御用案内部22と、第1収容部23-1と、第2収容部23-2と、第3収容部23-3と、第1傾斜部24-1と、第2傾斜部24-2と、第1選別用案内部25-1と、第2選別用案内部25-2と、4対の光源部31-1~31-4と、検出部32と、第1撮影部33と、第2撮影部34と、遮蔽体41と、第1遮蔽幕42-1と、第2遮蔽幕42-2と、を備える。なお、魚選別装置1が備える光源部の数は、3対以下であってもよく、5対以上であってもよい。また、魚選別装置1は、4対の光源部31-1~31-4を備えなくてもよい。また、魚選別装置1は、遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2を備えなくてもよい。
【0021】
本例では、魚選別装置1を構成する各部は、図示されない支持部により支持される。本例では、制御部10と、第1撮影部33と、第2撮影部34と、4対の光源部31-1~31-4と、遮蔽体41と、第1遮蔽幕42-1と、第2遮蔽幕42-2と、は、魚脂肪量推定システムに対応する。本例では、制御部10は、魚脂肪量推定装置に対応する。
【0022】
図7に表されるように、制御部10は、処理装置11と、記憶装置12と、を備える。本例では、制御部10の少なくとも一部は、LSI(Large Scale Integration)回路により構成される。なお、制御部10の少なくとも一部は、プログラム可能な論理回路(例えば、PLD(Programmable Logic Device)、又は、FPGA(Field-Programmable Gate Array))により構成されてもよい。また、制御部10は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、又は、スマートフォン等を含んでいてもよい。
【0023】
制御部10は、記憶装置12に記憶されているプログラムを処理装置11が実行することにより、魚選別装置1の各部を制御する。本例では、制御部10による制御は、制御部10が魚選別装置1の各部との間で信号を送受することにより行われる。本例では、制御部10には、検出部32、第1撮影部33、第2撮影部34、第1選別用案内部25-1、及び、第2選別用案内部25-2が、信号を送受するための信号線により接続されている。
これにより、制御部10は、後述する機能を実現する。
【0024】
処理装置11は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)、又は、DSP(Digital Signal Processor)を含んでもよい。また、記憶装置12は、RAM(Random Access Memory)、半導体メモリ、有機メモリ、HDD(Hard Disk Drive)、又は、SSD(Solid State Drive)を含んでもよい。
【0025】
搬送部21は、搬送面を有する。搬送面は、搬送部21のうちの、z軸の正方向における端面である。本例では、搬送面は、水平面と平行である。なお、搬送面は、水平面に対して傾斜していてもよい。
搬送部21は、搬送面を所定の搬送方向(本例では、y軸の正方向)にて移動させる。これにより、搬送部21は、搬送面に載置された物体(本例では、魚FS)を搬送方向にて移動させる。本例では、搬送面は、魚FSが載置される載置面に対応する。従って、本例では、搬送部21は、載置面を有する載置部に対応する。
【0026】
本例では、搬送部21は、ベルト式のコンベヤを含む。なお、搬送部21は、ベルト式以外のコンベヤ(例えば、チェーン式又はローラ式のコンベヤ)を含んでいてもよい。
本例では、y軸の負方向、及び、y軸の正方向は、上流方向、及び、下流方向とそれぞれ表されてもよい。
なお、魚選別装置1は、魚FSが載置される載置面が移動しないように構成されていてもよい。
【0027】
図1及び図2に表されるように、方向制御用案内部22は、搬送面に対して立設する、一対の板状体を有する。方向制御用案内部22の一対の板状体は、x軸方向にて対向するとともに、下流方向へ向かうにつれて板状体間の距離が短くなる先細部と、先細部のうちの下流方向における端に連接するとともに、搬送方向に沿って互いに平行に延びる平行部と、を有する。本例では、平行部における板状体間の距離は、魚FSの幅よりも僅かに長い。本例では、魚FSの幅は、魚FSの背側の縁と、魚FSの腹側の縁と、の間の距離の最大値(換言すると、体高)である。
【0028】
図3に表されるように、方向制御用案内部22は、搬送部21の搬送面から鉛直上方にて所定の間隔だけ隔てられた位置を有する。本例では、方向制御用案内部22は、搬送部21のうちの上流方向における端部に位置する。
【0029】
このような構成により、方向制御用案内部22は、魚FSの搬送方向への移動に伴って、基準方向(本例では、y軸方向、又は、搬送方向)に沿って魚FSの体が延在するように魚FSの体の方向を制御する。
【0030】
図1及び図2に表されるように、第1収容部23-1、第2収容部23-2、及び、第3収容部23-3のそれぞれは、鉛直上方向における端面にて開口する有底の容器である。第1収容部23-1、第2収容部23-2、及び、第3収容部23-3のそれぞれは、搬送部21のうちの下流方向における端部の近傍にて、搬送部21の搬送面よりも鉛直下方向の位置を有する。
【0031】
本例では、第1収容部23-1の開口の少なくとも一部は、搬送部21よりもx軸の正方向の位置を有し、第2収容部23-2の開口の少なくとも一部は、搬送部21よりもx軸の負方向の位置を有し、且つ、第3収容部23-3の開口の少なくとも一部は、搬送部21よりもy軸の正方向の位置を有する。
【0032】
図1図2、及び、図4に表されるように、第1傾斜部24-1、及び、第2傾斜部24-2のそれぞれは、水平面に対して傾斜する傾斜面を有する。
本例では、第1傾斜部24-1の傾斜面は、搬送部21のうちの、下流方向における端部において、搬送面と第1収容部23-1の開口の外縁とを接続する。換言すると、第1傾斜部24-1の傾斜面は、搬送部21の搬送面と第1収容部23-1の開口とを接続する通路を構成する。第1傾斜部24-1の傾斜面が構成する通路の幅(本例では、当該通路のy軸方向における長さ)は、搬送面の幅(本例では、搬送面のx軸方向における長さ)よりも広い。
【0033】
同様に、本例では、第2傾斜部24-2の傾斜面は、搬送部21のうちの、下流方向における端部において、搬送面と第2収容部23-2の開口の外縁とを接続する。換言すると、第2傾斜部24-2の傾斜面は、搬送部21の搬送面と第2収容部23-2の開口とを接続する通路を構成する。第2傾斜部24-2の傾斜面が構成する通路の幅(本例では、当該通路のy軸方向における長さ)は、搬送面の幅よりも広い。
【0034】
第1選別用案内部25-1、及び、第2選別用案内部25-2のそれぞれは、搬送面に対して立設する板状体を有する。第1選別用案内部25-1の板状体は、第1傾斜部24-1の傾斜面が構成する通路の幅と略同じ長さを有する。第2選別用案内部25-2の板状体は、第2傾斜部24-2の傾斜面が構成する通路の幅と略同じ長さを有する。
【0035】
図1乃至図3に表されるように、第1選別用案内部25-1、及び、第2選別用案内部25-2のそれぞれは、搬送部21の搬送面から鉛直上方向にて所定の間隔だけ隔てられた位置を有する。
本例では、第1選別用案内部25-1、及び、第2選別用案内部25-2のそれぞれは、搬送部21のうちの下流方向における端部に位置する。
【0036】
第1選別用案内部25-1、及び、第2選別用案内部25-2のそれぞれは、閉位置と、開位置と、の間で位置を変更可能である。
【0037】
第1選別用案内部25-1の閉位置は、搬送面が構成する通路における魚FSの通過を許容し、且つ、第1傾斜部24-1が構成する通路における魚FSの通過を禁止する位置である。第1選別用案内部25-1の開位置は、搬送面にて搬送される魚FSを、第1傾斜部24-1が構成する通路に案内(換言すると、導入)する位置である。
【0038】
同様に、第2選別用案内部25-2の閉位置は、搬送面が構成する通路における魚FSの通過を許容し、且つ、第2傾斜部24-2が構成する通路における魚FSの通過を禁止する位置である。第2選別用案内部25-2の開位置は、搬送面にて搬送される魚FSを、第2傾斜部24-2が構成する通路に案内する位置である。
【0039】
本例では、第1選別用案内部25-1、及び、第2選別用案内部25-2のそれぞれは、揺動の中心軸が鉛直方向にて延びるように、下流方向における端部が揺動可能に支持される。
【0040】
図4に表されるように、第1選別用案内部25-1は、閉位置に位置する場合、第1傾斜部24-1が構成する通路を横断するように、搬送面が構成する通路の外にて搬送方向に沿って延びる。同様に、第2選別用案内部25-2は、閉位置に位置する場合、第2傾斜部24-2が構成する通路を横断するように、搬送面が構成する通路の外にて搬送方向に沿って延びる。
【0041】
図8に表されるように、第2選別用案内部25-2は、開位置に位置する場合、搬送面が構成する通路を斜めに横断するように、搬送方向に対して傾斜する方向に沿って延びる。本例では、第2選別用案内部25-2は、開位置に位置する場合、第2選別用案内部25-2のうちの上流方向における端が搬送面のうちのx軸の正方向における端辺の近傍に位置し、且つ、第2選別用案内部25-2のうちの下流方向における端が搬送面のうちのx軸の負方向における端辺の近傍に位置する。
【0042】
同様に、第1選別用案内部25-1は、開位置に位置する場合、搬送面が構成する通路を斜めに横断するように、搬送方向に対して傾斜する方向に沿って延びる。本例では、第1選別用案内部25-1は、開位置に位置する場合、第1選別用案内部25-1のうちの上流方向における端が搬送面のうちのx軸の負方向における端辺の近傍に位置し、且つ、第1選別用案内部25-1のうちの下流方向における端が搬送面のうちのx軸の正方向における端辺の近傍に位置する。
【0043】
このような構成により、制御部10が、第1選別用案内部25-1の位置、及び、第2選別用案内部25-2の位置を制御することにより、搬送される魚FSは、第1収容部23-1、第2収容部23-2、及び、第3収容部23-3のうちの、1つの収容部に収容される。これにより、魚FSが選別される。
【0044】
本例では、図4に表されるように、第1選別用案内部25-1の位置が閉位置であり、且つ、第2選別用案内部25-2の位置が閉位置である場合、魚FSは、第3収容部23-3に収容される。また、本例では、図8に表されるように、第1選別用案内部25-1の位置が閉位置であり、且つ、第2選別用案内部25-2の位置が開位置である場合、魚FSは、第2収容部23-2に収容される。また、本例では、第1選別用案内部25-1の位置が開位置であり、且つ、第2選別用案内部25-2の位置が閉位置である場合、魚FSは、第1収容部23-1に収容される。
本例では、第1選別用案内部25-1、及び、第2選別用案内部25-2は、選別部に対応する。
【0045】
図1乃至図6に表されるように、4対の光源部31-1~31-4は、遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2により形成される内部空間にて光を発生する。本例では、4対の光源部31-1~31-4のそれぞれは、直線状の配列を有する、複数のLED(Light Emitting Diode)と、魚FSを均一に照明するように光を拡散させる拡散板と、を含む。
【0046】
本例では、図9の実線C1に表されるように、4対の光源部31-1~31-4のそれぞれが発生する光の強度は、波長に対して変化する。例えば、可視光の波長は、360nm乃至830nmである。従って、本例では、4対の光源部31-1~31-4は、可視光の波長における光の強度が、可視光よりも長い波長における光の強度よりも高い。
【0047】
4対の光源部31-1~31-4は、搬送部21の搬送面の鉛直上方であり、且つ、鉛直方向において第1撮影部33及び第2撮影部34よりも下方である領域のうちの、搬送面の幅方向(本例では、x軸方向)における中央部以外の領域(換言すると、搬送面にて搬送される魚FSの鉛直上方以外の領域)に位置する。
【0048】
4対の光源部31-1~31-4のそれぞれは、搬送方向にて延在する円柱状である。図6に表されるように、各対の光源部31-1~31-4は、x軸に直交するとともに、搬送部21の搬送面の幅方向(本例では、x軸方向)における中央を通る平面(換言すると、中央面)に対して互いに面対称である。
【0049】
本例では、中央面よりもx軸の正方向に位置する4個の光源部31-1~31-4は、水平面をy軸に対して回転させた傾斜面上に位置する。なお、中央面よりもx軸の正方向に位置する4個の光源部31-1~31-4は、曲面(例えば、湾曲面)上に位置していてもよい。
【0050】
本例では、4対の光源部31-1~31-4は、この順に従って、鉛直上方から鉛直下方へ並ぶ。本例では、4対の光源部31-1~31-4は、鉛直下方へ向かうにつれて、対を構成する光源部間の距離が長くなる。
このような構成により、4対の光源部31-1~31-4は、搬送面にて搬送される魚FSを照明する。
【0051】
検出部32は、搬送面にて搬送される物体(本例では、魚FS)を検出する。本例では、検出部32は、搬送面から鉛直上方にて所定の間隔だけ隔てられた位置にて搬送面を横断する光(本例では、赤外線)を出射する出射部と、出射部により出射された光を受光する受光部と、を有する。検出部32は、出射部と受光部とが、搬送方向に直交する方向(本例では、x軸方向)にて、搬送面を挟むように対向する位置を有する。検出部32は、受光部により受光される光の強度に基づいて、搬送面にて搬送される物体(本例では、魚FS)を検出する。
【0052】
第1撮影部33は、魚FSを撮影し、撮影された魚FSを表す可視光画像を取得する。可視光画像は、複数の画素のそれぞれに対して、魚FSにより反射された可視光の強度を表す画像である。
【0053】
本例では、可視光画像に含まれる複数の画素は、格子状の配列を有する。例えば、可視光画像は、列方向における画素の数が640個であり、且つ、列方向に直交する行方向における画素の数が480個である。なお、可視光画像において、列方向における画素の数は、640個と異なる数であってもよく、行方向における画素の数は、480個と異なる数であってもよい。
【0054】
本例では、第1撮影部33は、カラーカメラ、又は、RGB(Red Green Blue)カメラを含む。なお、第1撮影部33は、白黒カメラであってもよい。第1撮影部33は、搬送部21の搬送面の幅方向(本例では、x軸方向)における中央部であり、且つ、当該搬送面の鉛直上方に位置する。換言すると、第1撮影部33は、搬送面にて搬送される魚FSの鉛直上方に位置する。なお、第1撮影部33は、搬送部21の搬送面の幅方向における中央部以外の位置(例えば、搬送面の幅方向における端部等)であり、且つ、当該搬送面の鉛直上方に位置していてもよい。
本例では、第1撮影部33は、静止画像を取得する。本例では、第1撮影部33が撮影する方向は、鉛直方向に略一致する。なお、第1撮影部33は、静止画像に代えて、又は、静止画像に加えて、動画像を取得してもよい。
【0055】
第2撮影部34は、魚FSを撮影し、撮影された魚FSを表す距離画像を取得する。距離画像は、複数の画素のそれぞれに対して、基準面と魚FSとの間の距離を表す画像である。本例では、基準面は、水平面を形成する。換言すると、本例では、基準面は、鉛直方向に直交する平面である。なお、基準面は、水平面に対して傾斜していてもよい。
【0056】
本例では、距離画像に含まれる複数の画素は、格子状の配列を有する。例えば、距離画像は、列方向における画素の数が640個であり、且つ、列方向に直交する行方向における画素の数が480個である。なお、距離画像において、列方向における画素の数は、640個と異なる数であってもよく、行方向における画素の数は、480個と異なる数であってもよい。
【0057】
本例では、第2撮影部34は、TOF(Time Of Flight)カメラを含む。なお、第2撮影部34は、TOFカメラに代えて、ステレオカメラを用いることにより距離画像を取得してもよい。また、第2撮影部34は、直線状の配列を有する複数の画素のそれぞれに対して、基準面と魚FSとの間の距離を測定する測距センサを備え、魚FSが所定の距離だけ移動する毎に測定された距離に基づいて距離画像を取得してもよい。
【0058】
第2撮影部34は、搬送部21の搬送面の幅方向(本例では、x軸方向)における中央部であり、且つ、当該搬送面の鉛直上方に位置する。換言すると、第2撮影部34は、搬送面にて搬送される魚FSの鉛直上方に位置する。なお、第2撮影部34は、搬送部21の搬送面の幅方向における中央部以外の位置(例えば、搬送面の幅方向における端部等)であり、且つ、当該搬送面の鉛直上方に位置していてもよい。
【0059】
第2撮影部34は、可視光よりも長い波長を有する電磁波を用いて距離画像を取得する。本例では、図9の点線C2に表されるように、第2撮影部34が用いる電磁波の強度は、波長に対して変化する。本例では、第2撮影部34が用いる電磁波は、可視光よりも長い波長を有する。例えば、第2撮影部34が用いる電磁波は、840nm乃至950nmの波長にて強度が最大であってよい。
【0060】
本例では、第2撮影部34は、静止画像を取得する。本例では、第2撮影部34が撮影する方向は、鉛直方向に略一致する。なお、第1撮影部34は、静止画像に代えて、又は、静止画像に加えて、動画像を取得してもよい。
【0061】
なお、第1撮影部33、及び、第2撮影部34は、位置が互いに入れ替えられていてもよい。また、第1撮影部33、及び、第2撮影部34は、一体に構成されていてもよい。
本例では、第1撮影部33、及び、第2撮影部34は、画像取得部に対応する。
【0062】
遮蔽体41は、搬送部21の搬送面の鉛直上方において、当該搬送面の幅方向にて当該搬送面の全体を覆うとともに、当該搬送面の搬送方向にて当該搬送面の一部を覆う。遮蔽体41は、光を遮断する外壁を有する。例えば、外壁の少なくとも一部は、光を遮断する板又は布により構成されていてもよい。本例では、遮蔽体41は、搬送方向にて延在する四角柱状である。
【0063】
遮蔽体41は、搬送部21の搬送面とともに内部空間を形成する。遮蔽体41は、内部空間と遮蔽体41の外部とを連通する入口部及び出口部を有する。入口部は、遮蔽体41のうちの上流方向における端面の中で、鉛直下方向における端部にて開口する。出口部は、遮蔽体41のうちの下流方向における端面の中で、鉛直下方向における端部にて開口する。入口部及び出口部のそれぞれは、x軸方向において、搬送部21の搬送面と略同じ長さ(換言すると、幅)を有する。
【0064】
第1遮蔽幕42-1は、遮蔽体41の入口部を塞ぐように鉛直下方へ垂れ下げられた複数のシート状体である。第1遮蔽幕42-1は、魚FSによって搬送方向にて押圧されることにより、鉛直上方へ捲れ上がる。このようにして、第1遮蔽幕42-1は、魚FSの通過に伴って、開閉可能に遮蔽体41の入口部を遮蔽する。
【0065】
第2遮蔽幕42-2は、遮蔽体41の出口部を塞ぐように鉛直下方へ垂れ下げられた複数のシート状体である。第2遮蔽幕42-2は、魚FSによって搬送方向にて押圧されることにより、鉛直上方へ捲れ上がる。このようにして、第2遮蔽幕42-2は、魚FSの通過に伴って、開閉可能に遮蔽体41の出口部を遮蔽する。
【0066】
このような構成により、遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2は、内部空間を形成する。遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2により形成される内部空間は、搬送面にて搬送される魚FS、第1撮影部33、及び、第2撮影部34を収容する。
【0067】
換言すると、遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2は、搬送面にて搬送される魚FS、第1撮影部33、及び、第2撮影部34を収容する内部空間を形成するように、魚FS、第1撮影部33、及び、第2撮影部34を遮蔽する。従って、本例では、遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2は、遮蔽部に対応する。
【0068】
次に、制御部10の機能を図10を参照しながら説明する。
図10に表されるように、制御部10の機能は、第1撮影制御部111と、第2撮影制御部112と、画像入力部121と、魚脂肪量推定部122と、選別制御部130と、を含む。本例では、魚脂肪量推定部122は、推定部に対応する。
【0069】
第1撮影制御部111は、検出部32により、搬送面にて搬送される魚FSが検出された場合、魚FSが検出された時点から所定の第1待機時間が経過した時点にて、魚FSを撮影するように第1撮影部33を制御する。第1撮影制御部111は、撮影された魚FSを表す可視光画像を第1撮影部33から取得する。
【0070】
第2撮影制御部112は、検出部32により、搬送面にて搬送される魚FSが検出された場合、魚FSが検出された時点から所定の第2待機時間が経過した時点にて、魚FSを撮影するように第2撮影部34を制御する。第2撮影制御部112は、撮影された魚FSを表す距離画像を第2撮影部34から取得する。
【0071】
画像入力部121は、第1撮影制御部111により取得された可視光画像が入力されるとともに、第2撮影制御部112により取得された距離画像が入力される。
【0072】
魚脂肪量推定部122は、画像入力部121に入力された距離画像及び可視光画像に基づいて、魚FSの脂肪量を推定する。本例では、魚脂肪量推定部122は、学習済みモデルを用いて、魚FSの脂肪量の推定を行う。
【0073】
学習済みモデルは、距離画像及び可視光画像の特徴を表す特徴情報を取得し、当該取得された特徴情報に基づいて魚FSの脂肪量を推定するモデルである。学習済みモデルは、ニューラルネットワークを含む。本例では、学習済みモデルは、畳み込みニューラルネットワークを含む。例えば、畳み込みニューラルネットワークは、畳み込み層(Convolution Layer)と、プーリング層(Pooling Layer)と、全結合層(Fully Connected Layer)と、を含む。
【0074】
なお、魚脂肪量推定部122は、畳み込みニューラルネットワーク以外のニューラルネットワークを用いて、魚FSの脂肪量の推定を行ってもよい。また、魚脂肪量推定部122は、ニューラルネットワーク以外の機械学習を用いて、魚FSの脂肪量の推定を行ってもよい。
【0075】
本例では、学習済みモデルは、魚FSを表す距離画像及び可視光画像と、当該魚FSの脂肪量の測定値と、を学習することにより、ニューラルネットワークの重み付け係数が予め決定される。例えば、学習済みモデルは、VGG16、VGG19、ResNet、MobileNet、又は、DenseNetと呼ばれる学習済みモデルを含んでいてもよい。
【0076】
選別制御部130は、魚脂肪量推定部122により推定された、魚FSの脂肪量に基づいて、第1選別用案内部25-1、及び、第2選別用案内部25-2を制御する。
【0077】
本例では、選別制御部130は、魚FSの脂肪量が第1閾値よりも高いと魚脂肪量推定部122により推定された場合、第1選別用案内部25-1の位置を開位置に制御し、且つ、第2選別用案内部25-2の位置を閉位置に制御する。本例では、選別制御部130は、魚FSの脂肪量が第1閾値以下であり且つ第2閾値よりも高いと魚脂肪量推定部122により推定された場合、第1選別用案内部25-1の位置を閉位置に制御し、且つ、第2選別用案内部25-2の位置を開位置に制御する。本例では、選別制御部130は、魚FSの脂肪量が第2閾値以下であると魚脂肪量推定部122により推定された場合、第1選別用案内部25-1、及び、第2選別用案内部25-2の両方の位置を閉位置に制御する。
【0078】
(動作)
次に、第1実施形態の魚選別装置1の動作について図11を参照しながら説明する。
制御部10は、検出部32により魚FSが検出されるまで待機する(図11のステップS101の「No」ルート)。
そして、魚FSが、搬送部21のうちの上流方向における端部にて搬送面に載置される。搬送部21は、魚FSを搬送方向にて搬送する。次いで、方向制御用案内部22は、基準方向(本例では、y軸方向、又は、搬送方向)に沿って魚FSの体が延在するように魚FSの体の方向を制御する。
【0079】
次いで、検出部32は、搬送面にて搬送される魚FSを検出する。これにより、制御部10は、ステップS101にて「Yes」と判定し、魚FSが検出された時点から所定の第1待機時間が経過した時点にて、魚FSを撮影するように第1撮影部33を制御する。これにより、制御部10は、撮影された魚FSを表す可視光画像を第1撮影部33から取得する(図11のステップS102)。
【0080】
次いで、制御部10は、魚FSが検出された時点から所定の第2待機時間が経過した時点にて、魚FSを撮影するように第2撮影部34を制御する。これにより、制御部10は、撮影された魚FSを表す距離画像を第2撮影部34から取得する(図11のステップS103)。
【0081】
次いで、制御部10は、取得された距離画像と、取得された可視光画像と、学習済みモデルと、に基づいて、魚FSの脂肪量を推定する(図11のステップS104)。次いで、制御部10は、推定された、魚FSの脂肪量に基づいて、第1選別用案内部25-1、及び、第2選別用案内部25-2を制御する(図11のステップS105)。これにより、魚FSが選別される。
【0082】
その後、制御部10は、図11のステップS101へ戻り、ステップS101~ステップS105の処理を繰り返し実行する。
【0083】
以上、説明したように、第1実施形態の魚選別装置1は、複数の画素のそれぞれに対して、基準面と魚FSとの間の距離を表す画像である距離画像を取得する第2撮影部34と、取得された距離画像に基づいて魚FSの脂肪量を推定する魚脂肪量推定部122と、を備える。
【0084】
これによれば、魚FSの立体形状が距離画像に高い精度にて反映される。これにより、魚FSの脂肪量を高い精度にて推定できる。
【0085】
更に、第1実施形態の魚選別装置1は、複数の画素のそれぞれに対して、魚FSにより反射された可視光の強度を表す画像である可視光画像を取得する第1撮影部33を備える。魚脂肪量推定部122は、取得された距離画像と、取得された可視光画像と、に基づいて魚FSの脂肪量を推定する。
【0086】
ところで、本願の発明者らは、鋭意検討の結果、魚FSの立体形状と、魚FSの外観と、魚FSの脂肪量と、の間に強い相関が存在することを見出した。そこで、魚選別装置1のように、距離画像と可視光画像とに基づいて魚FSの脂肪量を推定することにより、魚FSの外観(例えば、色、又は、光沢等)が可視光画像に高い精度にて反映されるので、魚FSの脂肪量の推定に、魚FSの外観を高い精度にて反映できる。この結果、魚FSの脂肪量を高い精度にて推定できる。
【0087】
更に、第1実施形態の魚選別装置1において、第2撮影部34は、可視光よりも長い波長を有する電磁波を用いて距離画像を取得する。
【0088】
これによれば、距離画像と可視光画像とを略同時に取得しても、距離画像を取得するために用いられる電磁波と、可視光画像を取得するために用いられる可視光と、が互いに干渉することを抑制できる。これにより、距離画像及び可視光画像のノイズを抑制できる。この結果、魚FSの脂肪量を高い精度にて推定できる。
【0089】
更に、第1実施形態の魚選別装置1は、魚FS、及び、画像取得部(本例では、第1撮影部33、及び、第2撮影部34)を収容する内部空間を形成するように、魚FS、及び、画像取得部を遮蔽する遮蔽部(本例では、遮蔽体41、第1遮蔽幕42-1、及び、第2遮蔽幕42-2)を備える。更に、魚選別装置1は、遮蔽部の内部空間にて光を発生するとともに、可視光の波長における光の強度が、可視光よりも長い波長における光の強度よりも高い4対の光源部31-1~31-4を備える。
【0090】
ところで、可視光画像は、魚選別装置1の外部に存在する光(換言すると、環境光)の影響を受けやすい。このため、環境光の強度に応じて、魚FSの脂肪量が可視光画像に反映される程度が変化する。従って、可視光画像が魚FSの脂肪量を高い精度にて反映できない虞がある。
【0091】
これに対し、魚選別装置1によれば、遮蔽部によって環境光が可視光画像に及ぼす影響を抑制できる。これにより、可視光画像が魚FSの脂肪量を高い精度にて反映できるので、魚FSの脂肪量を高い精度にて推定できる。
【0092】
更に、4対の光源部31-1~31-4が発生する光は、可視光の波長における強度が、可視光よりも長い波長における強度よりも高い。従って、距離画像と可視光画像とを略同時に取得しても、距離画像を取得するために用いられる電磁波と、可視光画像を取得するために用いられる可視光と、が互いに干渉することを抑制できる。これにより、距離画像及び可視光画像のノイズを抑制できる。この結果、魚FSの脂肪量を高い精度にて推定できる。
【0093】
更に、第1実施形態の魚選別装置1は、魚FSが載置される載置面(本例では、搬送面)を有する載置部(本例では、搬送部21)を備える。第1撮影部33、及び、第2撮影部34は、魚FSの鉛直上方に位置する。4対の光源部31-1~31-4は、載置面の鉛直上方であり且つ鉛直方向において、第1撮影部33、及び、第2撮影部34よりも下方である領域のうちの、魚FSの鉛直上方以外の領域に位置する。
【0094】
これによれば、4対の光源部31-1~31-4が発生する光が魚FSによって反射された光(換言すると、直接反射光)が、第1撮影部33、及び、第2撮影部34へ直接に入射することを抑制できる。これにより、距離画像及び可視光画像のノイズを抑制できる。この結果、魚FSの脂肪量を高い精度にて推定できる。
【0095】
図12は、第1実施形態の魚選別装置1に適用された魚脂肪量推定システムにより推定された魚FSの脂肪量(本例では、脂肪率)(図12における推定値)と、大和製衡株式会社製の魚脂肪量測定装置(型番:DFA110)により測定された魚FSの脂肪量(図12における測定値)と、の関係を表す。図12に表されるように、第1実施形態の魚選別装置1により推定された魚FSの脂肪量は、測定された魚FSの脂肪量と強い相関を有する。
【0096】
図13は、比較例、第1実施例、及び、第2実施例のそれぞれに対する相関係数及び平均誤差を表す。
比較例の魚脂肪量推定システムは、可視光画像のみに基づいて魚の脂肪量を推定する点を除いて、第1実施形態の魚脂肪量推定システムと同様に構成される。
第1実施例の魚脂肪量推定システムは、第1実施形態の魚脂肪量推定システムと同様に、距離画像と可視光画像とに基づいて魚の脂肪量を推定する。
第2実施例の魚脂肪量推定システムは、距離画像のみに基づいて魚の脂肪量を推定する点を除いて、第1実施形態の魚脂肪量推定システムと同様に構成される。
【0097】
相関係数は、魚脂肪量推定システムにより推定された魚FSの脂肪量(本例では、脂肪率)と、上記魚脂肪量測定装置により測定された魚FSの脂肪量と、の相関の強さを表す。平均誤差は、当該相関関係の平均絶対誤差を表す。
図13に表されるように、第1実施例、及び、第2実施例の魚脂肪量推定システムは、比較例の魚脂肪量推定システムと比較して、魚FSの脂肪量を高い精度にて推定できる。
【0098】
なお、魚選別装置1は、魚の脂肪量の推定に加えて、魚の種類の推定、卵の有無の推定、及び、生物学又は魚類学における同一の魚の、雄及び雌の推定、の少なくとも1つを実行するとともに、当該推定の結果にも基づいて魚を選別してもよい。
【0099】
また、魚選別装置1は、可視光画像に代えて、又は、可視光画像に加えて、赤外線画像を用いることにより、魚FSの脂肪量を推定してもよい。赤外線画像は、複数の画素のそれぞれに対して、魚FSにより反射された赤外線の強度を表す画像である。
また、魚選別装置1は、可視光画像を用いることなく、距離画像に基づいて魚FSの脂肪量を推定してもよい。
【0100】
なお、本発明は、上述した実施形態に限定されない。例えば、上述した実施形態に、本発明の趣旨を逸脱しない範囲内において当業者が理解し得る様々な変更が加えられてよい。
【符号の説明】
【0101】
1 魚選別装置
10 制御部
11 処理装置
12 記憶装置
111 第1撮影制御部
112 第2撮影制御部
121 画像入力部
122 魚脂肪量推定部
130 選別制御部
21 搬送部
22 方向制御用案内部
23-1 第1収容部
23-2 第2収容部
23-3 第3収容部
24-1 第1傾斜部
24-2 第2傾斜部
25-1 第1選別用案内部
25-2 第2選別用案内部
31-1~31-4 光源部
32 検出部
33 第1撮影部
34 第2撮影部
41 遮蔽体
42-1 第1遮蔽幕
42-2 第2遮蔽幕
FS 魚

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13