特開 2024-17979 選魚装置、選魚方法、及び選魚プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017979

(43)【公開日】2024-02-08

(54)【発明の名称】選魚装置、選魚方法、及び選魚プログラム

(51)【国際特許分類】

   B07C 5/342 20060101AFI20240201BHJP

   G06Q 50/02 20240101ALI20240201BHJP

   G06T 7/00 20170101ALI20240201BHJP

   G06V 10/764 20220101ALI20240201BHJP

【ＦＩ】

B07C5/342

G06Q50/02

G06T7/00 350B

G06V10/764

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022120992

(22)【出願日】2022-07-28

(71)【出願人】

【識別番号】399003167

【氏名又は名称】日本遠洋旋網漁業協同組合

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】加藤 久雄

(72)【発明者】

【氏名】嘉村 正彦

(72)【発明者】

【氏名】松本 裕喜

【テーマコード（参考）】

3F079

5L049

5L096

【Ｆターム（参考）】

3F079AC02

3F079CA18

3F079CA20

3F079CA23

3F079CA26

3F079CB25

3F079CB30

3F079CC00

3F079DA12

3F079DA13

3F079EA01

3F079EA09

5L049CC01

5L096BA03

5L096CA05

5L096DA02

5L096FA02

5L096FA59

5L096FA60

5L096FA67

5L096HA11

5L096JA11

5L096JA22

5L096KA15

(57)【要約】

【課題】水揚げされた漁獲物の魚種の識別、及び仕分けを自働化することができる選魚装置等を提供する。
【解決手段】選魚装置は、魚の重なりを解消してコンベア上に載置して搬送する魚分離部と、搬送される魚を撮像する撮像部と、魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、撮像部により撮像された画像に基づいて移送ロボットの移送動作を制御する制御部と、を備え、制御部は、魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得部と、魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得部と、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、搬送される魚ごとに付与して記憶する固有情報付与部と、魚固有情報に基づいて魚を移送するための制御情報を生成するロボット制御部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

水揚げされた魚を受け入れる魚受け入れ部と、
前記魚受け入れ部に受け入れられた前記魚を１尾の魚ごとに分離し魚の重なりを解消してコンベア上に載置して搬送する魚分離部と、
前記魚分離部により分離され前記コンベア上に載置されて搬送される魚を撮像する撮像部と、
前記撮像部の下流側に備えられ、前記撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、
前記撮像部により撮像された画像に基づいて前記移送ロボットの移送動作を制御する制御部と、
を備え、
前記制御部は、
前記撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得部と、
前記魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得部と、
前記個別魚情報と前記魚種情報とを組み合わせて固有の魚固有情報とし、前記コンベア上に載置されて搬送される魚ごとに付与して記憶する固有情報付与部と、
前記魚固有情報に基づいて前記複数の容器のいずれかに該当する魚を移送するための制御情報を生成するロボット制御部と、
を備えることを特徴とする選魚装置。

【請求項2】

前記魚種情報取得部は、所定の魚種と当該魚種の特徴的部分との対応関係を予め機械学習した魚種学習モデルを用いて、前記魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得することを特徴とする請求項１に記載の選魚装置。

【請求項3】

前記魚分離部は、搬送方向が順方向となるように連結された２以上のコンベアを備え、隣接する２つの前記コンベアのうち下流側の前記コンベアの搬送速度は上流側の前記コンベアの搬送速度より速いことを特徴とする請求項１又は２に記載の選魚装置。

【請求項4】

前記ロボット制御部は、前記魚ごとの前記魚固有情報に基づき導出する前記魚の重心位置の前記コンベア上における位置情報を含めて前記制御情報を生成することを特徴とする請求項１に記載の選魚装置。

【請求項5】

前記ロボット制御部は、前記魚のうち少数となる魚種を優先して選別し該当する前記容器に移送するための前記制御情報を生成することを特徴とする請求項１に記載の選魚装置。

【請求項6】

前記魚の向きは、前記魚の目と尾を結ぶ線と前記コンベアの搬送方向とのなす角であることを特徴とする請求項１に記載の選魚装置。

【請求項7】

前記移送ロボットは、パラレルリンクロボットであることを特徴とする請求項１に記載の選魚装置。

【請求項8】

前記画像は、動画であることを特徴とする請求項１に記載の選魚装置。

【請求項9】

前記魚種は、鰺および鯖であることを特徴とする請求項１に記載の選魚装置。

【請求項10】

水揚げされた魚を受け入れる魚受け入れ部と、
前記魚受け入れ部に受け入れられた前記魚を１尾の魚ごとに分離し魚の重なりを解消して１尾の魚ごと搬送する魚分離部と、
前記魚分離部により分離され１尾の魚ごと搬送される魚を撮像する撮像部と、
前記撮像部の下流側に備えられ、前記撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、
前記撮像部により撮像された画像に基づいて前記移送ロボットの移送動作を制御する制御部と、
を備えた選魚装置に用いる選魚方法であって、
前記制御部は、
前記撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得ステップと、
前記魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得ステップと、
前記個別魚情報と前記魚種情報とを組み合わせて固有の魚固有情報とし、搬送される魚ごとに付与して記憶する固有情報付与ステップと、
前記魚固有情報に基づいて前記複数の容器のいずれか一の容器に該当する魚を移送するための制御情報を生成するロボット制御ステップと、
を実行することを特徴とする選魚方法。

【請求項11】

水揚げされた魚を受け入れる魚受け入れ部と、
前記魚受け入れ部に受け入れられた前記魚を１尾の魚ごとに分離し魚の重なりを解消して１尾の魚ごと搬送する魚分離部と、
前記魚分離部により分離され１尾の魚ごと搬送される魚を撮像する撮像部と、
前記撮像部の下流側に備えられ、前記撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、
前記撮像部により撮像された画像に基づいて前記移送ロボットの移送動作を制御する制御部と、
を備えた選魚装置に用いる選魚プログラムであって、
前記制御部は、
前記撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得機能と、
前記魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得機能と、
前記個別魚情報と前記魚種情報とを組み合わせて固有の魚固有情報とし、搬送される魚ごとに付与して記憶する固有情報付与機能と、
前記魚固有情報に基づいて前記複数の容器のいずれかに該当する魚を移送するための制御情報を生成するロボット制御機能と、
を実現することを特徴とする選魚プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、選魚装置、選魚方法、及び選魚プログラムに関し、特に魚種を判別し仕分けることに適した選魚装置、選魚方法、及び選魚プログラムに関する。

【背景技術】

【0002】

沖合漁業、遠洋漁業などでは、中型若しくは大型の旋網漁船を用いて漁業が行われている。漁場で魚群を発見すると漁網で巻き捕獲し、運搬船などに積上げて漁獲する。漁獲物を積んだ運搬船などは漁場から水揚げ漁港に帰港し、漁獲物を水揚げする。

【0003】

水揚げされた漁獲物は、魚の大きさ、魚種などにより判別され仕分けられてから、単一の魚種ごとに箱詰めされて出荷される。これらの作業は、多くの場合、人手によって行われている。現在でも行われている人手による仕分けは、各魚種の小、中、大魚の仕分け及び箱詰めにそれぞれ１５人から２０人の人手を必要とする場合もあった。

【0004】

魚の仕分け及び箱詰めの工程において、現在では人手不足及び高齢化が進行していることから自働化への移行が始まっている。単一の魚種に仕分けするためには、魚種を判別しなければならず、魚種の判別の自働化には高度な画像認識技術が必要とされる。

【0005】

特許文献１に開示の技術によれば、機械学習されたニューラルネットワークを用いた学習モデルによって魚種を識別できるとしている。さらに、特許文献１によれば、漁獲物ごとに判別された魚種などの固有の情報が割当てられた識別番号を漁獲物ごとに紐付けるとしている。

【0006】

しかし、特許文献１に開示の技術においては、魚種を判別された漁獲物を単一の魚種ごとに自働で仕分けることまでは考慮されていない。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－１３５９８６号

【発明の概要】

【発明が解決しようとする課題】

【0008】

そこで、本開示は、水揚げされた漁獲物の魚種の識別、及び仕分けを自働化することができる選魚装置、選魚方法、及び選魚プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

すなわち、第１の態様に係る選魚装置は、水揚げされた魚を受け入れる魚受け入れ部と、魚受け入れ部に受け入れられた魚を１尾の魚ごとに分離し魚の重なりを解消してコンベア上に載置して搬送する魚分離部と、魚分離部により分離されコンベア上に載置されて搬送される魚を撮像する撮像部と、撮像部の下流側に備えられ、撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、撮像部により撮像された画像に基づいて移送ロボットの移送動作を制御する制御部と、を備え、制御部は、撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得部と、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得部と、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、コンベア上に載置されて搬送される魚ごとに付与して記憶する固有情報付与部と、魚固有情報に基づいて複数の容器のいずれかに該当する魚を移送するための制御情報を生成するロボット制御部と、を備える。

【0010】

第２の態様は、第１の態様に係る選魚装置において、魚種情報取得部は、所定の魚種と当該魚種の特徴的部分との対応関係を予め機械学習した魚種学習モデルを用いて、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得することとしてもよい。

【0011】

第３の態様は、第１又は２の態様に係る選魚装置において、魚分離部は、搬送方向が順方向となるように連結された２以上のコンベアを備え、隣接する２つのコンベアのうち下流側のコンベアの搬送速度は上流側のコンベアの搬送速度より速いこととしてもよい。

【0012】

第４の態様は、第１の態様に係る選魚装置において、ロボット制御部は、魚ごとの魚固有情報に基づき導出する魚の重心位置のコンベア上における位置情報を含めて制御情報を生成することとしてもよい。

【0013】

第５の態様は、第１の態様に係る選魚装置において、ロボット制御部は、魚のうち少数となる魚種を優先して選別し該当する容器に移送するための制御情報を生成することとしてもよい。

【0014】

第６の態様は、第１の態様に係る選魚装置において、魚の向きは、魚の目と尾を結ぶ線とコンベアの搬送方向とのなす角であることとしてもよい。

【0015】

第７の態様は、第１の態様に係る選魚装置において、移送ロボットは、パラレルリンクロボットであることとしてもよい。
第８の態様は、第１の態様に係る選魚装置において、画像は、動画であることとしてもよい。
第９の態様は、第１の態様に係る選魚装置において、魚種は、鰺および鯖であることとしてもよい。

【0016】

第１０態様に係る選魚方法は、水揚げされた魚を受け入れる魚受け入れ部と、魚受け入れ部に受け入れられた魚を１尾の魚ごとに分離し魚の重なりを解消して１尾の魚ごと搬送する魚分離部と、魚分離部により分離され１尾の魚ごと搬送される魚を撮像する撮像部と、撮像部の下流側に備えられ、撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、撮像部により撮像された画像に基づいて移送ロボットの移送動作を制御する制御部と、を備えた選魚装置に用いる選魚方法であって、制御部は、撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得ステップと、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得ステップと、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、搬送される魚ごとに付与して記憶する固有情報付与ステップと、魚固有情報に基づいて複数の容器のいずれか一の容器に該当する魚を移送するための制御情報を生成するロボット制御ステップと、を実行する。

【0017】

第１１の態様に係る選魚プログラムは、水揚げされた魚を受け入れる魚受け入れ部と、魚受け入れ部に受け入れられた魚を１尾の魚ごとに分離し魚の重なりを解消して１尾の魚ごと搬送する魚分離部と、魚分離部により分離され１尾の魚ごと搬送される魚を撮像する撮像部と、撮像部の下流側に備えられ、撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、撮像部により撮像された画像に基づいて移送ロボットの移送動作を制御する制御部と、を備えた選魚装置に用いる選魚プログラムであって、制御部は、撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得機能と、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得機能と、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、搬送される魚ごとに付与して記憶する固有情報付与機能と、魚固有情報に基づいて複数の容器のいずれかに該当する魚を移送するための制御情報を生成するロボット制御機能と、を実現する。

【発明の効果】

【0018】

本開示に係る選魚装置等は、水揚げされた魚を受け入れる魚受け入れ部と、魚受け入れ部に受け入れられた魚を１尾の魚ごとに分離し魚の重なりを解消してコンベア上に載置して搬送する魚分離部と、魚分離部により分離されコンベア上に載置されて搬送される魚を撮像する撮像部と、撮像部の下流側に備えられ、撮像部により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する移送ロボット部と、撮像部により撮像された画像に基づいて移送ロボットの移送動作を制御する制御部と、を備え、制御部は、撮像部により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する個別魚情報取得部と、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する魚種情報取得部と、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、コンベア上に載置されて搬送される魚ごとに付与して記憶する固有情報付与部と、魚固有情報に基づいて複数の容器のいずれかに該当する魚を移送するための制御情報を生成するロボット制御部と、を備えるので、水揚げされた漁獲物の魚種の識別、及び仕分けを自働化することができる。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係る選魚装置の全体的構成の概要を説明するための図である。

【図2】本実施形態に係る選魚装置における撮像部及び移送ロボット部の外観斜視図である。

【図3】本実施形態に係る選魚装置における撮像部の外観斜視図である。

【図4】本実施形態に係る選魚装置の撮像エリアにおける撮像カメラの配置について説明するための図である。

【図5】本実施形態に係る撮像部が撮像した画像の一例を説明するための図である。

【図6】本実施形態に係る選魚装置における移送ロボット部に係るロボットの動作を説明するため図である。

【図7】本実施形態に係る選魚装置における制御部の機能ブロック図である。

【図8】本実施形態に係る魚の向きについて説明するため図である。

【図9】本実施形態に係る鰺の特徴量について説明するための図である。

【図10】本実施形態に係る鯖の特徴量について説明するための図である。

【図11】本実施形態に係る選魚装置に用いる選魚プログラムのフローチャートである。

【発明を実施するための形態】

【0020】

図１乃至図１０を参照して本実施形態に係る選魚装置１０について説明する。
（本実施形態に係る選魚装置１０の全体的構成の概要）
図１を参照して、本実施形態に係る選魚装置１０の全体的構成の概要について説明する。

【0021】

帰港した旋網船、運搬船などの漁船から陸揚げされた漁獲物となる魚（漁獲）は、先ず魚の体幅の大きさに基づいて、例えば、極小魚、小魚、中魚、大魚に選別される。魚の体幅の大きさに基づいて選別された各魚は、魚の体幅の大きさの各々に合わせて設けられた経路に振り分けられる。選魚装置１０はこの経路の一つであり、選別された魚の体幅の大きさ毎に選魚装置１０が設けられている。

【0022】

選魚装置１０は、ワークとなる魚１０ａの搬送方向の上流から順に、魚受け入れ部１１、魚整列部１２、魚分離部１３、撮像部１４、及び、移送ロボット部１５を備える。

【0023】

魚受け入れ部１１は、水揚げされた魚（漁獲）を受け入れる。
魚受け入れ部１１は、選魚装置１０の最上流側に設けられ、魚の体幅の大きさに基づいて振り分けられた魚であって、複数の魚種が混在している魚を受け入れる。

【0024】

魚受け入れ部１１は、乗り入れコンベア１１ａを備える。乗り入れコンベア１１ａの先端部に水揚げされた魚が投入される。乗り入れコンベア１１ａはワークとなる魚１０ａを一方向に搬送するベルトコンベアであり、受け入れた魚を魚整列部１２へ搬送する。乗り入れコンベア１１ａは、その後端部が魚整列部１２の魚整列用コンベア１２ａに接続される。乗り入れコンベア１１ａは、インバータ方式による速度調整が可能である。

【0025】

魚整列部１２は、魚受け入れ部１１から搬送されてきた魚１０ａの向きを整える。
魚整列部１２は、ワークとなる魚１０ａを一方向に搬送する魚整列用コンベア１２ａを備える。魚整列用コンベア１２ａは、搬送する魚１０ａの長手方向を搬送方向に一致するように揃えて魚１０ａを整列する。魚整列部１２は魚受け入れ部１１より排出された魚１０ａを魚整列用コンベア１２ａの始端側で受け入れる。搬送方向に伸びる複数の仕切り壁（ガイド）若しくは溝により形成された複数の搬送用凹部が魚整列用コンベア１２ａの搬送面に形成されている。魚１０ａは、魚整列用コンベア１２ａの搬送面に形成された搬送用凹部に沿うようにして長尺方向を搬送方向に合わせ横並びに整列されて魚整列用コンベア１２ａの搬送面に載置される。

【0026】

なお、魚整列用コンベア１２ａには、ベルトコンベア、ローラコンベアなどが用いられる。
本実施形態で用いる魚整列用コンベア１２ａは、選別される魚種、魚体に合わせて選択され、食品用平ベルトコンベアが用いられる。魚整列用コンベア１２ａのサイズは、選別される魚のサイズに合わせて選択され、本実施形態では幅８００ｍｍ、長さ１０００ｍｍのサイズの食品用平ベルトコンベアが用いられる。魚整列用コンベア１２ａのベルトの色は、選択する魚種に合わせて選択され、本実施形態では白色のベルトを用いた。なお、魚整列用コンベア１２ａはこれに限定されるものではなく、選魚装置１０に選別される魚種、魚体、サイズ、色に合わせて適宜変更可能である。

【0027】

魚整列用コンベア１２ａは、搬送される魚を整列するためのガイドとして、固定式整列ガイド、揺動式整列ガイド、及び、櫛状に並べられたパイプの回転による整列ガイドなどを適宜備えており、更にベルトの交換を容易にする跳ね上げ式架台を備える。
ベルトコンベアの場合、コンベアの搬送面に対して相対的に静止させた状態でワークとなる魚１０ａを載置するので搬送中に魚１０ａの表面に傷が付きにくいとのメリットがある。

【0028】

魚整列用コンベア１２ａはインバータ方式による速度調整が可能である。
魚整列用コンベア１２ａの搬送速度は、乗り入れコンベア１１ａの搬送速度と等しいか若しくは速くなるように設定される。

【0029】

魚分離部１３は、魚受け入れ部１１に受け入れられた複数の魚を１尾の魚ごとに分離し魚の重なりを解消してコンベア上に載置して搬送する。
魚分離部１３は、搬送方向が順方向となるように連結された２以上のコンベアを備え、この２以上のコンベアの搬送速度は同じ速度である。本実施形態に係る魚分離部１３は、２台のコンベア、第１コンベア１３ａ及び第２コンベア１３ｂを備え、第１コンベア１３ａ及び第２コンベア１３ｂの搬送速度は同じ速度である。

【0030】

魚分離部１３は、上流側から順に第１コンベア１３ａと第２コンベア１３ｂとを備える（図１参照）。第１コンベア１３ａの始端側は、魚整列用コンベア１２ａの終端側に接続される。第１コンベア１３ａの終端側は、第２コンベア１３ｂの始端側に接続される。

【0031】

第１コンベア１３ａの搬送速度は、魚整列用コンベア１２ａの搬送速度より速くなるように設定されている。第２コンベア１３ｂの搬送速度は、第１コンベア１３ａの搬送速度と等しくなるように設定されている。

【0032】

魚整列用コンベア１２ａの搬送面において他の魚１０ａと接近した状態若しくは重なった状態で搬送されてきた魚１０ａは、魚整列用コンベア１２ａより搬送速度の速い第１コンベア１３ａに乗り継ぐことにより、魚１０ａの他の魚１０ａとの接近状態が離隔され、魚１０ａの他の魚１０ａと重なった状態が解消若しくは緩和される。

【0033】

第１コンベア１３ａによって搬送される魚１０aが他の魚１０ａと接近し重なった状態が解消されていない又は不十分な場合は、魚整列用コンベア１２ａの搬送速度を乗り入れコンベア１１ａの搬送速度に対してより速くなるように設定する。このようにすることで、乗り入れコンベア１１ａから魚整列用コンベア１２ａに魚１０ａが乗り継ぐことにより他の魚１０ａと接近した状態若しくは重なった状態が緩和され、魚整列用コンベア１２ａから第１コンベア１３ａに魚１０ａが乗り継ぐことにより他の魚１０ａと接近した状態若しくは重なった状態が充分に解消することとなる。
また、魚整列用コンベア１２ａは、搬送する魚１０ａの搬送方向に魚１０ａの長手方向が一致するように魚１０ａの向きを揃えることで、魚１２ａの短手方向の分離が行われ魚１２ａ同士の重なり及び接近を解消するものである。

【0034】

このように、選魚装置１０の魚分離部１３において、魚受け入れ部１１に受け入れられた魚は、乗り入れコンベア１１ａから魚整列用コンベア１２ａに魚１０ａが乗り継ぐことにより、更に魚整列用コンベア１２ａから第１コンベア１３ａに乗り継ぐことにより、魚１０ａと他の魚１０ａとの接近及び重なりを解消することができる。

【0035】

本実施形態の第１コンベア１３ａ及び第２コンベア１３ｂは、選別される魚種、魚体に合わせて選択され、食品用平ベルトコンベアが用いられる。第１コンベア１３ａ及び第２コンベア１３ｂのサイズは、選別される魚のサイズに合わせて選択され、例えば、第１コンベア１３ａは幅８００ｍｍ、長さ１０００ｍｍ、第２コンベア１３ｂは幅８００ｍｍ、長さ６００ｍｍのサイズの食品用平ベルトコンベアが用いられる。第１コンベア１３ａ及び第２コンベア１３ｂのベルトの色は、選択する魚種に合わせて選択され、白色のベルトを用いた。なお、第１コンベア１３ａ及び第２コンベア１３ｂはこれに限定されるものではなく、選魚装置１０に選別される魚種、魚体、サイズ、色に合わせて適宜変更可能である。

【0036】

第２コンベア１３ｂは、ベルトの移動とともに回転する図示しないロータリーエンコーダが取り付けられており、ベルトの移動距離とロータリーエンコーダの回転角度とが関連付けられている。ロータリーエンコーダの出力信号により、その回転角度に関連付けられたベルトの移動距離を検出することができる。

【0037】

ここで、本実施形態で用いられるベルトコンベアの搬送速度について説明する。
本実施形態で用いられるベルトコンベアは、乗り入れコンベア１１ａ、魚整列用コンベア１２ａ、第１コンベア１３ａ、及び第２コンベア１３ｂ（撮像コンベア１４ｄ、取り出しコンベア１５ｇ）の４台のベルトコンベアである（図１参照）。

【0038】

選魚装置１０の移送ロボットの単位時間当たりの魚１０ａの取得数が多いことが予測される場合は、上記の４台のベルトコンベアを含む全体的な搬送速度は遅く設定される。一方で、選魚装置１０の移送ロボットの単位時間当たりの魚１０ａの取得数が少ないことが予測される場合は、上記の４台のベルトコンベアを含む全体的な搬送速度は速く設定される。

【0039】

具体的には、選魚装置１０の移送ロボットが魚１０ａを取得した回数を計数し、単位時間当たりの取得数を求め、この取得数に応じた適正なベルトコンベアの搬送速度に変更する。

【0040】

本実施形態に係る選魚装置１０の移送ロボットは、６０匹／分を最大取得数とし、これを超える場合はベルトコンベアの搬送速度を遅くする。また、選魚装置１０の移送ロボットの単位時間当たりの取得数が４０匹／分を下回る場合はベルトコンベアの搬送速度を速くする。

【0041】

第２コンベア１３ｂは、撮像部１４と移送ロボット部１５とにわたり備えられ、撮像部１４内に位置する撮像コンベア１４ｄと移送ロボット部１５内に位置する取り出しコンベア１５ｇとから構成される。撮像コンベア１４ｄと取り出しコンベア１５ｇとは、連続した１つのコンベア（第２コンベア１３ｂ）を構成する。撮像コンベア１４ｄの搬送面に撮像エリア１４ｂが設けられている。

【0042】

撮像部１４は、魚分離部１３により分離されコンベア上に載置されて搬送される魚を撮像する。
撮像部１４は、２台の撮像カメラ１４ａ、カメラ用照明（図示せず）及びカメラボックス１４ｃを備える（図２、図３、図４参照）。

【0043】

撮像部１４が撮像する画像は、静止画でもよく動画でもよく、２台の撮像カメラ１４ａはそれぞれ静止画用と動画用である。撮像カメラ１４ａはカメラボックス１４ｃに収納されている。

【0044】

カメラボックス１４ｃは、撮像カメラ１４ａを塩害及び結露などから保護し、例えば、アルマイト処理されたアルミニウム合金からなる。カメラボックス１４ｃは、塩害用ＨＥＰＡフィルターを備えた外気循環方式による吸気システム、及びエリアヒータを備えており、温度センサ、湿度センサ、及びパーティカルセンサによるフィードバック制御運転がなされている。なお、温度センサ及び湿度センサはカメラボックス１４ｃ内部の温度及び湿度を計測し、内部の精密機器の使用環境条件を計測値が超えた場合に警報が発令される。パーティカルセンサは、当該吸気システムのフィードバック制御運転の動作トリガーとして用いられる。
図示しない制御ボックスは、制御部１６を収納する。制御ボックスは、完全密閉型であり、高度処理フィルターを経由する内気循環方式が採用される。このため、制御ボックスの設置時には、制御ボックス内部の空気及び水蒸気、その他残留する不純物を排気するために冷媒ガスによるエアパージが施される。また、制御ボックスは、温度センサ、湿度センサ、及びパーティカルセンサによるフィードバック制御機能を持つ空調設備を備える。制御ボックスはパーティカルセンサ、湿度センサ、及び温度センサを備える。パーティカルセンサは制御ボックス内部の清浄度を計測し、湿度センサは制御ボックス内の湿度を計測し、温度センサは制御ボックス内の温度を計測する。いずれのセンサも計測値が規定値を超えた場合に警報が発令される。

【0045】

図４に示す様に、撮像エリア１４ｂは、その全体の領域を２台の撮像カメラ１４ａにより撮像される。２台の撮像カメラ１４ａにより撮像エリア１４ｂの上にある魚１０ａを撮像する。２台の撮像カメラ１４ａが撮像した画像データは、１枚の画像データとして移送ロボット部１５へ送られる。

【0046】

図５を参照して、２台の撮像カメラ１４ａが撮像し、その画像データを１枚にした画像について説明する。図５は本実施形態に係る撮像部１４が撮像した画像の一例を説明するための図である。図５に示す様に、２台の撮像カメラ１４ａは、撮像エリア１４ｂに複数の魚１０ａが存在する場合は、撮像エリア１４ｂに存在する複数の魚１０ａを１枚の静止画として撮像することができ、当該静止画を移送ロボット部１５へと送る。

【0047】

移送ロボット部１５は、撮像部１４の下流側に備えられ、撮像部１４により撮像された魚を１尾ごとに魚種及び大きさに基づいて選別して所定の複数の容器のいずれかに移送する。

【0048】

本実施形態における移送ロボットは、パラレルリンクロボット１５ｈを用いるが、これに限定されるものではなく、垂直多関節ロボット、水平多関節ロボット(スカラロボット)、及び直交ロボットを含む各種産業用ロボットを用いてもよい。

【0049】

移送ロボット部１５の始端側は、撮像部１４の終端側に接続される。即ち、移送ロボット部１５の始端側は、撮像コンベア１４ｄの終端側に位置する。移送ロボット部１５内に位置する取り出しコンベア１５ｇの搬送方向に向かって左右両側には容器１５ａ～１５ｆが設置されている。本実施形態における選魚装置１０の容器は６個あり、魚種及びサイズに応じて６個の容器１５ａ～１５ｆ（図２参照）がそれぞれ割当てられる。

【0050】

移送ロボット部１５の移送ロボットは、ロボット台１５ｇに固定されて、移送ロボット部１５における取り出しコンベア１５ｇの上部に設置される。移送ロボットは、移送ロボット部１５における取り出しコンベア１５ｇの搬送面に載置された魚１０ａを取り上げて、必要に応じて魚１０ａを所望の向きに合わせ、容器１５ａ～１５ｆに収容する、いわゆるピックアンドプレイスを行う。なお、ロボット台１５ｇは、塩害対策として耐重塩害塗装が施されている。

【0051】

本実施形態に係るパラレルリンクロボット１５ｈとは、並列リンク機構を用いたロボットのことをいう。並行リンク機構とは、固定部となるベース１５ｉと可動部となるチャック１５ｍとの間にリンクとジョイントから構成される連結連鎖が複数個並列に配置された機構のことをいう。

【0052】

パラレルリンクロボット１５ｈは３組の連結連鎖を備えている。各連結連鎖は第１リンク１５ｊと第２リンク１５ｋとを備え、さらに第１リンク１５ｊと第２リンク１５ｋとを連結される回転ジョイント１５ｌを備える。回転ジョイント１５ｌを構成するアクチュエータの回動角度を制御することによって第１リンク１５ｊと第２リンク１５ｋとのなす角を制御して可動部となるチャック１５ｍの位置を制御する。

【0053】

チャック１５ｍは非接触型チャックであり、非接触によりワークを保持・搬送することができる。非接触型チャックにはベルヌーイ方式チャックとサイクロン方式チャックとがあり、サイクロン方式チャックの方がベルヌーイ方式チャックより保持力が強い。

【0054】

ベルヌーイ方式チャックは、その供給ポートから供給される圧縮空気を吸着面側のノズルから放射状に噴出することで中心部に負圧を生じさせて吸引力を発生させる。サイクロン方式チャックは、その供給ポートから供給される圧縮空気を吸着面側のノズルから噴出することで旋回流を生じさせ真空を生じさせて吸引力を発生させる。
なお、チャック１５ｍは、ベルヌーイ方式チャック及びサイクロン方式チャックに限定されるものではなく、チャックの吸着面側（ワークを保持する側の面）に負圧を生じさせてワークを保持・搬送できるものであればよい。さらに、例えば、ロボットハンドなどに利用されるメカニカルチャックをチャック１５ｍに用いることもできる。メカニカルチャックは接触式チャックであり、ワークを挟持することで保持・搬送する。

【0055】

図６を参照してパラレルリンクロボット１５ｈの動作について説明する。図６は本実施形態に係る選魚装置における移送ロボット部に係るロボットの動作を説明するための図である。
パラレルリンクロボット１５ｈは、対象のワークとなる魚１０ａの上にチャック１５ｍを移動させ、回転ジョイント１５ｌの回動角度を拡大することでチャック１５ｍを魚１０ａに接近させチャック１５ｍの吸引力により魚１０ａを保持する（図６（ｉ））。

【0056】

パラレルリンクロボット１５ｈは、チャック１５ｍにより魚１０ａを保持した状態で回転ジョイント１５ｌの回動角度を縮小することでチャック１５ｍとともに魚１０ａを持ち上げる（図６（ｉｉ））。

【0057】

パラレルリンクロボット１５ｈは、チャック１５ｍにより魚１０ａを保持した状態でチャック１５ｍを持ち上げて、６個の容器１５ａ～１５ｆのうち当該魚１０ａに対応付けられた何れか１つの容器の上に移動し、回転ジョイント１５ｌの回動角度を拡大することでチャック１５ｍを該当する容器の開口部に接近させてからチャック１５ｍから魚１０ａを解放して魚１０ａを容器１５ａ～１５ｆに収容する（図６（ｉｉｉ））。
パラレルリンクロボット１５ｈは、魚１０ａを容器に収納する際に後述の魚の向き（θ）を所定の角度、例えば、θ＝０にしてした後に魚１０ａを容器１５ａ～１５ｆに収納する。

【0058】

制御部１６は、撮像部１４により撮像された画像に基づいて移送ロボット１５ｈの移送動作を制御する。
制御部１６は、図７に示す様に、個別魚情報取得部１６ａ、魚種情報取得部１６ｂ、固有情報付与部１６ｃ、位置情報付与部１６ｄ、及びロボット制御部１６ｅを備える。図７は本実施形態に係る選魚装置における制御部の機能ブロック図である。

【0059】

個別魚情報取得部１６ａは、撮像部１４により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する。
図８を参照して、本実施形態における魚の向き１９について説明する。魚の向き１９は、魚１０ａ（１８、２２）の目１８ｂ、２２ｂと尾１８ｅ、２２ｅを結ぶ線とコンベアの搬送方向２０とのなす角(θ)２１である。なお、図８に示す符号１８ｆは鯖の重心位置を示し、符号２２ｆは鯵の重心位置を示す。

【0060】

個別魚情報取得部１６ａは、コンピュータを用いて行われる画像解析による物体検知に利用されるアルゴリズムの一つであるＹＯＬＯ（You Only Look Once）を用いて撮像部１４により撮像された動画若しくは静止画に対して画像認識を行うことで、各魚の重心位置、魚の外形寸法、及び魚の向きを個別情報として取得する。なお、物体検知に利用されるアルゴリズムはこれに限定されるものではなく、人工知能、若しくは機械学習に基づく各種アルゴリズムを利用することができる。

【0061】

魚種情報取得部１６ｂは、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する。
魚種情報取得部１６ｂは、所定の魚種と当該魚種の特徴的部分との対応関係を予め機械学習した魚種学習モデルを用いて、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する。

【0062】

魚種は、鰺および鯖であることとしてもよい。
本実施形態における魚種学習モデルは、魚種について鰺、鯖、及びその他の魚の三種類に判別するように予め機械学習されている。なお、魚種学習モデルは、これに限定されるものではなく、他の種類の魚について判別するように機械学習され得る。また、例えば鯖の中でもマサバ、ゴマサバ、タイセイヨウサバなどの鯖の種類、又は雄雌、体長、体幅などのサイズに基づいて判別するように予め機械学習されることもできる。さらに、３種類の判別に限定されるものでは無く、２種類、若しくは４種類以上の判別を行う魚種学習モデルを生成することもできる。

【0063】

図９、図１０を参照して魚種学習モデルの機械学習に用いる教師データについて説明する。図９は本実施形態に係る鰺の特徴量について説明するための図であり、図１０は本実施形態に係る鯖の特徴量について説明するための図である。

【0064】

鰺を判別するための特徴的部分（特徴量）は、鰺全身２２ａ、鰺目２２ｂ、鰺のヒレとエラ２２ｃ、鰺ゼイゴ２２ｄ、及び鰺尾２２ｅの形状、色、及び模様である（図９参照）。

【0065】

鯖を判別するための特徴的部分（特徴量）は、鯖全身１８ａ、鯖目１８ｂ、鯖のヒレとエラ１８ｃ、鯖ゼイゴ１８ｄ、及び鯖尾１８ｅの形状、色、及び模様である（図１０参照）。

【0066】

魚種が鰺、鯖、その他の魚の何れかであることが予め判明している大量の魚の写真を教師データとして魚種学習モデルとなるコンピュータシステムに入力する。当該コンピュータシステムは、当該教師データを学習することで上記した鰺、鯖の特徴量と魚種である鰺、鯖とを関連づけるパターンを導き出すことで学習済みモデルとなり魚種学習モデルを形成する。

【0067】

魚種学習モデルは、魚種が特定されていない魚が映る画像を入力することで、当該画像に映る魚の魚種を推定する。魚種学習モデルは、画像の中の魚種が特定されていない魚の特徴量を解析し、魚種が特定されていない魚の特徴量が、鰺の特徴量又は鯖の特徴量の何れに該当するかの多数決により魚種を推定する。即ち、魚種が特定されていない魚の特徴量が、鰺の特徴量より鯖の特徴量に該当するものが多い場合は、魚種学習モデルは入力された画像に映る魚の魚種を鯖と推定する。
また、魚種が特定されていない魚の特徴量が、鰺の特徴量、及び鯖の特徴量の何れにも所定数以上の該当が無い場合は、鰺、鯖以外のその他の魚であると判別する。

【0068】

固有情報付与部１６ｃは、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、コンベア１３ｂ上に載置されて搬送される魚ごとに付与して記憶する。

【0069】

ロボット制御部１６ｅは、魚固有情報に基づいて複数の容器のいずれかに該当する魚を移送するための制御情報を生成する。
ロボット制御部１６ｅは、魚ごとの魚固有情報に基づき導出する魚の重心位置の第２コンベア１３ｂ上における位置情報を含めて制御情報を生成する。

【0070】

ロボット制御部１６ｅは位置情報付与部１６ｄを備え、制御情報の生成に先立って、位置情報付与部１６ｄにより、固有情報付与部１６ｃにより搬送される魚ごとに付与して記憶された魚固有情報と第２コンベア１３ｂに取り付けられたロータリーエンコーダが検出した回転角度とを関連付けることで第２コンベア１３ｄ上における位置情報を魚ごとの重心位置に付与する。

【0071】

個別魚情報取得部１６ａが取得する魚の重心位置は、取り出しコンベア１５ｇの搬送面の所定点を原点とし、ｘ軸、ｙ軸を基準軸とする２次元直交座標系（ｘ，ｙ）により表される。
個別魚情報は、各魚１０ａの重心位置（ｘ，ｙ）及び魚の向き（θ）を含むものとし、ロボット制御部１６ｅが生成する制御情報には、各魚１０ａの魚種、重心位置（ｘ，ｙ）及び魚の向き（θ）を少なくとも含むものとし、この他に魚の外形寸法などを含めることができる。パラレルリンクロボット１５ｈはロボット制御部１６ｅが生成する制御情報に基づいて動作をする。

【0072】

ロボット制御部１６ｅは、魚のうち少数となる魚種を優先して選別し該当する容器１５ａ～１５ｄに移送するための制御情報を生成する。

【0073】

（選魚方法及び選魚プログラム）
次に図１１を参照して、本実施形態の選魚方法について、選魚プログラムとともに説明する。図１１は本実施形態の選魚プログラムのフローチャートである。

【0074】

図１１に示す様に、選魚プログラムは、個別魚情報取得ステップＳ１６ａ、魚種情報取得ステップＳ１６ｂ、固有情報付与ステップＳ１６ｃ、位置情報付与ステップ１６ｄ、及びロボット制御ステップＳ１６ｅなどを含む。
選魚装置１０は、制御部１６により当該選魚プログラムを実行する。

【0075】

画像選魚プログラムは、選魚装置１０の制御部１６に対して、個別魚情報取得機能、魚種情報取得機能、固有情報付与機能、位置情報付与機能、及びロボット制御機能を実現させる。

【0076】

これらの機能は図１１に示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えて選魚プログラムを実行しても良い。なお、上記した各機能は、前述の選魚装置１０の個別魚情報取得部１６ａ、魚種情報取得部１６ｂ、固有情報付与部１６ｃ、位置情報付与部１６ｄ、及びロボット制御部１６ｅの説明と重複するため、その詳細な説明は省略する。

【0077】

個別魚情報取得機能は、撮像部１４により撮像された魚の画像に含まれる魚の重心位置、魚の外形寸法、及び魚の向きを魚ごとの個別魚情報として取得する（Ｓ１６ａ：個別魚情報取得ステップ）。

【0078】

魚種情報取得機能は、魚の画像に含まれる魚の魚種を魚ごとに推定し魚種情報として取得する（Ｓ１６ｂ：魚種情報取得ステップ）。

【0079】

固有情報付与機能は、個別魚情報と魚種情報とを組み合わせて固有の魚固有情報とし、コンベア１３ｂ上に載置されて搬送される魚ごとに付与して記憶する（Ｓ１６ｃ：固有情報付与ステップ）。

【0080】

位置情報付与機能は、固有情報付与機能により搬送される魚ごとに付与して記憶された魚固有情報と第２コンベア１３ｂに取り付けられたロータリーエンコーダが検出した回転角度とを関連付けることで第２コンベア１３ｄ上における位置情報を魚ごとの重心位置に付与する（Ｓ１６ｄ：位置情報付与ステップ）。

【0081】

ロボット制御機能は、魚ごとの魚固有情報に基づき導出する魚の重心位置のコンベア１３ｂ上における位置情報を含めて制御情報を生成する（Ｓ１６ｅ：ロボット制御ステップ）。

【0082】

上記した実施形態に係る選魚装置１０によれば、魚受け入れ部１１に受け入れられた魚は、魚分離部１３において、魚整列用コンベア１２ａから第１コンベア１３ａに乗り継ぐ際に、魚１０ａと他の魚１０ａとの接近及び重なりを解消することができる。更に、魚整列用コンベア１２ａから第１コンベア１３ａに乗り継ぐ際の魚１０ａと他の魚１０ａとの分離が不十分な場合には、乗り入れコンベア１１ａから魚整列用コンベア１２ａに乗り継ぐ際に魚１０ａと他の魚１０ａとの分離を行うので、撮像エリア１４ｂにおいては魚１０ａと他の魚１０ａとの分離が充分に成されている。

【0083】

さらに、上記した実施形態に係る選魚装置１０によれば、乗り入れコンベア１１ａ、魚整列用コンベア１２ａ、第１コンベア１３ａ、及び第２コンベア１３ｂ(撮像コンベア１４ｄ、取り出しコンベア１５ｇ)は、インバータ方式によりそれぞれの搬送速度の調整が可能であるため、漁獲物の量に応じて搬送速度を調整することができる。

【0084】

さらに、上記した実施形態に係る選魚装置１０によれば、魚分離部１３によりコンベアの搬送面に載置された魚１０ａの接近及び重なりを解消することができるので、パラレルリンクロボット１５ｈによるピックアンドプレイスを行う際に魚１０ａを傷つけることを抑制することができる。

【0085】

さらに、上記した実施形態に係る選魚装置１０によれば、取り出しコンベア１５ｇにおいて、搬送方向と魚１０ａの長手方向とを同じにするので、パラレルリンクロボット１５ｈによる魚１０ａの取得がし易くなる。

【0086】

さらに、上記した実施形態に係る選魚装置１０によれば、撮像カメラ１４ａは、撮像エリア１４ｂにおいて複数の魚１０ａを１枚の静止画に収めて撮像することができるので、撮像エリア１４ｂの搬送方向の長さを短縮することができ、延いては魚１０ａの全体的な搬送経路を短くすることができる。

【0087】

さらに、上記した実施形態に係る選魚装置１０によれば、搬送ロボットにパラレルリンクロボット１５ｈを用いるので、シリアルリンクロボットと比較して、アーム（リンク１５ｊ、１５ｋ）の重量が軽いため、モーターにかかる負荷が小さく、加速度及び移動速度が速く、減速・停止に係る負荷も小さくなり高速、高精度の位置決めが可能となるメリットがある。

【0088】

本開示は上記した実施形態に係る選魚装置１０、選魚方法、及び選魚プログラムに限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

【符号の説明】

【0089】

１０ 選魚装置
１０ａ 魚
１１ 魚受け入れ部
１１ａ 乗り入れコンベア
１２ 魚整列部
１２ａ 魚整列用コンベア
１３ 魚分離部
１３ａ 第１コンベア
１３ｂ 第２コンベア
１４ 撮像部
１４ａ 撮像カメラ
１４ｂ 撮像エリア
１４ｃ カメラボックス
１４ｄ 撮像コンベア
１５ 移送ロボット部
１５ａ 容器
１５ｂ 容器
１５ｃ 容器
１５ｄ 容器
１５ｅ 容器
１５ｆ 容器
１５ｇ 取り出しコンベア
１５ｇ ロボット台
１５ｈ パラレルリンクロボット
１５ｉ ベース
１５ｊ 第１リンク
１５ｋ 第２リンク
１５ｌ 回転ジョイント
１５ｍ チャック
１６ 制御部
１６ａ 個別魚情報取得部
１６ｂ 魚種情報取得部
１６ｃ 固有情報付与部
１６ｄ 位置情報付与部
１６ｅ ロボット制御部
１７ 入力画像
１８ 鯖
１８ａ 鯖全身
１８ｂ 鯖目
１８ｃ 鯖ヒレ
１８ｄ 鯖模様
１８ｅ 鯖尾
１８ｆ 重心位置
１９ 魚の向き
２０ コンベアの搬送方向
２１ 魚の目と尾を結ぶ線とコンベアの搬送方向とのなす角
２２ 鰺
２２ａ 鰺全身
２２ｂ 鰺目
２２ｃ 鰺のヒレとエラ
２２ｄ 鰺ゼイゴ
２２ｅ 鰺尾
２２ｆ 重心位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】