知財求人 - 知財ポータルサイト「IP Force」
特開2024-2432等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024002432
(43)【公開日】2024-01-11
(54)【発明の名称】等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20231228BHJP
G06Q 50/02 20240101ALI20231228BHJP
G06T 7/00 20170101ALI20231228BHJP
G06V 10/764 20220101ALI20231228BHJP
G06V 20/68 20220101ALI20231228BHJP
G01N 33/12 20060101ALI20231228BHJP
【ＦＩ】
G01N21/27 A
G06Q50/02
G06T7/00 350B
G06V10/764
G06V20/68
G01N33/12
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022101593
(22)【出願日】2022-06-24
(71)【出願人】
【識別番号】518059912
【氏名又は名称】株式会社ｉｍａ
(74)【代理人】
【識別番号】100158850
【弁理士】
【氏名又は名称】明坂 正博
(72)【発明者】
【氏名】三浦 亜美
(72)【発明者】
【氏名】内田 康隆
【テーマコード（参考）】
2G059
5L049
5L096
【Ｆターム（参考）】
2G059AA05
2G059BB08
2G059BB11
2G059BB12
2G059EE02
2G059EE13
2G059FF01
2G059GG02
2G059HH02
2G059KK04
2G059MM05
2G059MM10
2G059PP06
5L049CC01
5L096CA02
5L096DA02
5L096FA02
5L096FA69
5L096GA02
5L096GA03
5L096GA38
5L096JA22
5L096KA04
(57)【要約】
【課題】水産物の等級を客観的に評価できる等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法を提供すること。
【解決手段】本発明の等級判定システムは、内部に水産物が載置された容器を載置可能な筐体と、筐体内に設けられ、水産物を照らすための発光装置と、筐体内に設けられ、水産物を撮像可能な撮像装置と、を備える撮像ボックスと、撮像ボックスから出力された画像データを受信する受信部と、水産物を含む学習用の画像データと、学習用の画像データにかかる水産物の等級と、を教師データとして機械学習させた識別器を用いて、受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備える等級判定サーバと、を具備する。
【選択図】図１
【解決手段】本発明の等級判定システムは、内部に水産物が載置された容器を載置可能な筐体と、筐体内に設けられ、水産物を照らすための発光装置と、筐体内に設けられ、水産物を撮像可能な撮像装置と、を備える撮像ボックスと、撮像ボックスから出力された画像データを受信する受信部と、水産物を含む学習用の画像データと、学習用の画像データにかかる水産物の等級と、を教師データとして機械学習させた識別器を用いて、受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備える等級判定サーバと、を具備する。
【選択図】図１
【特許請求の範囲】
【請求項1】
内部に水産物が載置された容器を載置可能な筐体と、
前記筐体内に設けられ、前記水産物を照らすための発光装置と、
前記筐体内に設けられ、前記水産物を撮像可能な撮像装置と、
を備える撮像ボックスと、
前記撮像ボックスから出力された画像データを受信する受信部と、
水産物を含む学習用の画像データと前記学習用の画像データにかかる前記水産物の等級とを教師データとして機械学習させた識別器を用いて、前記受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備える等級判定サーバと、
を具備することを特徴とする等級判定システム。
前記筐体内に設けられ、前記水産物を照らすための発光装置と、
前記筐体内に設けられ、前記水産物を撮像可能な撮像装置と、
を備える撮像ボックスと、
前記撮像ボックスから出力された画像データを受信する受信部と、
水産物を含む学習用の画像データと前記学習用の画像データにかかる前記水産物の等級とを教師データとして機械学習させた識別器を用いて、前記受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備える等級判定サーバと、
を具備することを特徴とする等級判定システム。
【請求項2】
前記撮像ボックスの撮像装置は、
前記筐体内の天井面に設けられている、
ことを特徴とする請求項１に記載の等級判定システム。
前記筐体内の天井面に設けられている、
ことを特徴とする請求項１に記載の等級判定システム。
【請求項3】
前記撮像ボックスの前記発光装置は、
前記筐体の内面に配列された複数の光源を有する、
ことを特徴とする請求項１に記載の等級判定システム。
前記筐体の内面に配列された複数の光源を有する、
ことを特徴とする請求項１に記載の等級判定システム。
【請求項4】
前記等級判定サーバの前記判定部は、
時期に応じて、前記受信部が受信した画像データにかかる水産物の等級を判定する基準を変更する、
ことを特徴とする請求項１に記載の等級判定システム。
時期に応じて、前記受信部が受信した画像データにかかる水産物の等級を判定する基準を変更する、
ことを特徴とする請求項１に記載の等級判定システム。
【請求項5】
前記等級判定サーバの前記識別器は、
前記水産物の形状、サイズ、目の色、透明度又は色、水温及び気温の少なくとも１以上を特徴量として前記水産物の等級を学習する、
ことを特徴とする請求項１に記載の等級判定システム。
前記水産物の形状、サイズ、目の色、透明度又は色、水温及び気温の少なくとも１以上を特徴量として前記水産物の等級を学習する、
ことを特徴とする請求項１に記載の等級判定システム。
【請求項6】
等級判定システムは、
前記等級判定サーバの前記判定部による等級判定結果及び前記等級判定結果に対応付けされた識別子を提示する提示装置を備える、
ことを特徴とする請求項１に記載の等級判定システム。
前記等級判定サーバの前記判定部による等級判定結果及び前記等級判定結果に対応付けされた識別子を提示する提示装置を備える、
ことを特徴とする請求項１に記載の等級判定システム。
【請求項7】
前記撮像ボックスの筐体は、
一側面に前記水産物が載置された容器を出し入れ可能な開口と、前記開口を開閉可能に閉塞する扉とを備え、
前記扉により前記開口を閉塞することで前記筐体内が暗室となる、
ことを特徴とする請求項１に記載の等級判定システム。
一側面に前記水産物が載置された容器を出し入れ可能な開口と、前記開口を開閉可能に閉塞する扉とを備え、
前記扉により前記開口を閉塞することで前記筐体内が暗室となる、
ことを特徴とする請求項１に記載の等級判定システム。
【請求項8】
内部に水産物が載置された容器を載置可能な筐体と、
前記筐体内に設けられ、前記水産物を照らすための発光装置と、
前記筐体内に設けられ、前記水産物を撮像可能な撮像装置と、
を備えることを特徴とする撮像ボックス。
前記筐体内に設けられ、前記水産物を照らすための発光装置と、
前記筐体内に設けられ、前記水産物を撮像可能な撮像装置と、
を備えることを特徴とする撮像ボックス。
【請求項9】
内部に水産物が載置された容器を載置可能な筐体と、
前記筐体内に設けられ、前記水産物を照らすための発光装置と、
前記筐体内に設けられ、前記水産物を撮像可能な撮像装置と、
水産物を含む学習用の画像データと、前記学習用の画像データにかかる前記水産物の等級と、を教師データとして機械学習させた識別器を用いて、前記撮像装置が撮像した画像データにかかる水産物の等級を判定する判定部と、
を備えることを特徴とする撮像ボックス。
前記筐体内に設けられ、前記水産物を照らすための発光装置と、
前記筐体内に設けられ、前記水産物を撮像可能な撮像装置と、
水産物を含む学習用の画像データと、前記学習用の画像データにかかる前記水産物の等級と、を教師データとして機械学習させた識別器を用いて、前記撮像装置が撮像した画像データにかかる水産物の等級を判定する判定部と、
を備えることを特徴とする撮像ボックス。
【請求項10】
前記撮像ボックスの撮像装置は、
前記筐体内の天井面に設けられている、
ことを特徴とする請求項８又は請求項９に記載の撮像ボックス。
前記筐体内の天井面に設けられている、
ことを特徴とする請求項８又は請求項９に記載の撮像ボックス。
【請求項11】
前記撮像ボックスの前記発光装置は、
前記筐体の内面に配列された複数の光源を有する、
ことを特徴とする請求項８又は請求項９に記載の撮像ボックス。
前記筐体の内面に配列された複数の光源を有する、
ことを特徴とする請求項８又は請求項９に記載の撮像ボックス。
【請求項12】
前記撮像ボックスの筐体は、
一側面に前記水産物が載置された容器を出し入れ可能な開口と、前記開口を開閉可能に閉塞する扉とを備え、
前記扉により前記開口を閉塞することで前記筐体内が暗室となる、
ことを特徴とする請求項８又は請求項９に記載の撮像ボックス。
一側面に前記水産物が載置された容器を出し入れ可能な開口と、前記開口を開閉可能に閉塞する扉とを備え、
前記扉により前記開口を閉塞することで前記筐体内が暗室となる、
ことを特徴とする請求項８又は請求項９に記載の撮像ボックス。
【請求項13】
前記判定部は、
時期に応じて、前記画像データにかかる水産物の等級を判定する基準を変更する、
ことを特徴とする請求項９に記載の撮像ボックス。
時期に応じて、前記画像データにかかる水産物の等級を判定する基準を変更する、
ことを特徴とする請求項９に記載の撮像ボックス。
【請求項14】
前記識別器は、
前記水産物の形状、サイズ、目の色、透明度又は色、水温及び気温の少なくとも１以上を特徴量として前記水産物の等級を学習する、
ことを特徴とする請求項９又は請求項１３に記載の撮像ボックス。
前記水産物の形状、サイズ、目の色、透明度又は色、水温及び気温の少なくとも１以上を特徴量として前記水産物の等級を学習する、
ことを特徴とする請求項９又は請求項１３に記載の撮像ボックス。
【請求項15】
前記撮像ボックスは、
前記等級判定結果及び前記等級判定結果に対応付けされた識別子を提示する提示装置を備える、
ことを特徴とする請求項９に記載の撮像ボックス。
前記等級判定結果及び前記等級判定結果に対応付けされた識別子を提示する提示装置を備える、
ことを特徴とする請求項９に記載の撮像ボックス。
【請求項16】
水産物を含む画像データを受信する受信部と、
水産物を含む学習用の画像データと、前記学習用の画像データにかかる前記水産物の等級と、を教師データとして機械学習させた識別器を用いて、前記受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備え、
前記識別器は、
前記水産物の形状、サイズ、目の色、透明度又は色、水温及び気温の少なくとも１以上を特徴量として前記水産物の等級を学習する、
ことを特徴とする等級判定サーバ。
水産物を含む学習用の画像データと、前記学習用の画像データにかかる前記水産物の等級と、を教師データとして機械学習させた識別器を用いて、前記受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備え、
前記識別器は、
前記水産物の形状、サイズ、目の色、透明度又は色、水温及び気温の少なくとも１以上を特徴量として前記水産物の等級を学習する、
ことを特徴とする等級判定サーバ。
【請求項17】
前記判定部は、
時期に応じて、前記受信部が受信した画像データにかかる水産物の等級を判定する基準を変更する、
ことを特徴とする請求項１６に記載の等級判定サーバ。
時期に応じて、前記受信部が受信した画像データにかかる水産物の等級を判定する基準を変更する、
ことを特徴とする請求項１６に記載の等級判定サーバ。
【請求項18】
発光装置が、筐体内の水産物を照らす工程と、
撮像装置が、前記筐体内の水産物を撮像する工程と、
判定部が、水産物を含む学習用の画像データと、前記学習用の画像データにかかる前記水産物の等級と、を教師データとして機械学習させた識別器を用いて、前記撮像装置が撮像した画像データにかかる水産物の等級を判定する工程と、
を有することを特徴とする等級判定方法。
撮像装置が、前記筐体内の水産物を撮像する工程と、
判定部が、水産物を含む学習用の画像データと、前記学習用の画像データにかかる前記水産物の等級と、を教師データとして機械学習させた識別器を用いて、前記撮像装置が撮像した画像データにかかる水産物の等級を判定する工程と、
を有することを特徴とする等級判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、水産物の等級を判定できる等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法に関する。
【背景技術】
【0002】
水産物の鮮度を評価する場合、熟練者の五感により判断する評価が従来から行われている。しかしながら、このような熟練者の五感による評価では、各熟練者のそれぞれの経験から主観的に水産物の鮮度の評価が行われるため、定量化した客観的な評価結果が得られないという問題がある。また、熟練者がいない場合に水産物の鮮度を評価することができないという問題がある。
このため、魚眼を紫外光にて撮影し、撮影した魚眼画像の輝度を用いて決定した魚の品質情報を提示することが提案されている。
このため、魚眼を紫外光にて撮影し、撮影した魚眼画像の輝度を用いて決定した魚の品質情報を提示することが提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－０８３３７８号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の方法では、魚眼を利用して品質を判定するため小さな魚には利用することができないなど未だ向上の余地がある。
本発明は、上記課題の解決のためになされたものであり、水産物の等級を客観的に評価できる等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法を提供することを目的とする。
本発明は、上記課題の解決のためになされたものであり、水産物の等級を客観的に評価できる等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記の課題を解決すべく、本発明の等級判定システムは、内部に水産物が載置された容器を載置可能な筐体と、筐体内に設けられ、水産物を照らすための発光装置と、筐体内に設けられ、水産物を撮像可能な撮像装置と、を備える撮像ボックスと、撮像ボックスから出力された画像データを受信する受信部と、水産物を含む学習用の画像データと、学習用の画像データにかかる水産物の等級と、を教師データとして機械学習させた識別器を用いて、受信部が受信した画像データにかかる水産物の等級を判定する判定部と、を備える等級判定サーバと、を具備する。
【発明の効果】
【0006】
本発明によれば、水産物の等級を客観的に評価できる等級判定システム、撮像ボックス、等級判定サーバ及び等級判定方法を提供することができる。
【図面の簡単な説明】
【0007】
【図1】本実施形態に係る等級判定システムの構成図である。
【図2】本実施形態に係る撮像ボックスの構成を示す模式斜視図である。
【図3】本実施形態に係る撮像ボックスの構成を示す模式断面図である。
【図4】本実施形態に係る撮像ボックスの機能を示す模式構成図である。
【図5】本実施形態に係る等級判定サーバの機能を示す模式構成図である。
【図6】本実施形態に係る等級判定システムの利用方法を示すフローチャートである。
【図7】本実施形態に係る撮像ボックスでの処理を示すフローチャートである。
【図8】本実施形態に係る等級判定サーバでの処理を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照して本発明の実施形態を説明する。なお、以下では、水産物として死後、時間の経過とともに色が透明もしくは半透明から白色へ変化する水産物、換言すると鮮度の低下とともに透明度が低下する水産物、例えば、白魚（シラウオ）を例に実施形態について説明するが、白魚以外の水産物（例えば、素魚（シロウオ）、シラスなど鮮度の低下とともに透明度が低下する水産物）を除外するものではない。
【0009】
（実施形態）
図１は、本実施形態に係る等級判定システムの構成図である。本実施形態に係る等級判定システムは、撮像ボックス１と、等級判定サーバ２とを備える。撮像ボックス１と、等級判定サーバ２とは、ネットワーク３により互いに通信可能に構成されている。なお、ネットワーク３には他のサーバや機器、装置などが撮像ボックス１及び等級判定サーバ２の少なくとも一方と通信可能に接続されていてもよい。また、等級判定システムが備える撮像ボックス１及び等級判定サーバ２の数は任意であり、例えば、複数の撮像ボックス１が１の等級判定サーバにネットワーク３により互いに通信可能に接続されていてもよいし、複数の撮像ボックス１が複数の等級判定サーバにネットワーク３により互いに通信可能に接続されていてもよい。
図１は、本実施形態に係る等級判定システムの構成図である。本実施形態に係る等級判定システムは、撮像ボックス１と、等級判定サーバ２とを備える。撮像ボックス１と、等級判定サーバ２とは、ネットワーク３により互いに通信可能に構成されている。なお、ネットワーク３には他のサーバや機器、装置などが撮像ボックス１及び等級判定サーバ２の少なくとも一方と通信可能に接続されていてもよい。また、等級判定システムが備える撮像ボックス１及び等級判定サーバ２の数は任意であり、例えば、複数の撮像ボックス１が１の等級判定サーバにネットワーク３により互いに通信可能に接続されていてもよいし、複数の撮像ボックス１が複数の等級判定サーバにネットワーク３により互いに通信可能に接続されていてもよい。
【0010】
【0011】
撮像ボックス１は、内部に水産物が載置された容器を載置可能な筐体１１を備え、筐体１１は、一側面である前面に水産物（本実施形態では、白魚）が載置されたトレイ（容器）を出し入れ可能な開口１１ａと、開口１１ａを開閉可能に閉塞する扉１３とを備える。扉１３には取手１３ａが設けられている。撮像ボックス１は、扉１３により開口１１ａを閉塞することで筐体１１内が暗室となるように構成されている。
なお、本実施形態では、水産物の等級判定の特徴量（説明変数）として透明度を測定するため撮像ボックス１の筐体１１の筐体内は可視光（波長がおおよそ３６０ｎｍから４００ｎｍ）に対して黒色であることが好ましい。
また、水産物を載置するトレイについても例えば可視光領域で透明である材料（例えば、アクリル樹脂など）で構成されているか、可視光領域で黒色であることが好ましい。
また、撮像ボックス１の筐体１１の前面には、スイッチ１２が設けられている。スイッチ１２が押されると後述する発光装置１０５の光源１０５ａが発光するとともに、撮像装置１０４による撮像が行われる。
また、撮像ボックス１の筐体１１内の底面には、トレイの位置決め用のマークがされており、トレイの角を筐体１１内の底面のマークに合わせることで、トレイを位置決め可能に構成されている。なお、マークの代わりに位置決めピンなどを利用してもよい。
なお、本実施形態では、水産物の等級判定の特徴量（説明変数）として透明度を測定するため撮像ボックス１の筐体１１の筐体内は可視光（波長がおおよそ３６０ｎｍから４００ｎｍ）に対して黒色であることが好ましい。
また、水産物を載置するトレイについても例えば可視光領域で透明である材料（例えば、アクリル樹脂など）で構成されているか、可視光領域で黒色であることが好ましい。
また、撮像ボックス１の筐体１１の前面には、スイッチ１２が設けられている。スイッチ１２が押されると後述する発光装置１０５の光源１０５ａが発光するとともに、撮像装置１０４による撮像が行われる。
また、撮像ボックス１の筐体１１内の底面には、トレイの位置決め用のマークがされており、トレイの角を筐体１１内の底面のマークに合わせることで、トレイを位置決め可能に構成されている。なお、マークの代わりに位置決めピンなどを利用してもよい。
【0012】
また、撮像ボックス１は、受信部１０１、送信部１０２（出力部）、記憶装置１０３、撮像装置１０４、発光装置１０５、印刷装置１０６、制御部１０７などを備える。
【0013】
受信部１０１は、例えば、等級判定サーバ２から送信されるロット番号（識別子として利用される）、等級判定結果及び判定日時を受信する。なお、本実施形態では、ロット番号は、等級判定サーバ２が自動で付与する構成になっているが、ユーザ又は撮像ボックス１が付与するようにしてもよい。
【0014】
送信部１０２は、例えば、撮像装置１０４が撮像した画像データを等級判定サーバ２へ送信（出力）する。
【0015】
記憶装置１０３は、例えば、Hard Disk DriveやSolid State Driveなどであり、撮像ボックス１の識別番号、撮像した画像データ、該画像データのロット番号、等級判定結果及び判定日時などを関連付けて記憶する。これにより、水産物の出荷後にロット番号によるトレース（追跡）が可能となる。
【0016】
撮像装置１０４は、筐体１１内の天井面１１ｂに設けられ、筐体１１の前面に設けられたスイッチ１２が押されることで、筐体１１の底面に載置されたトレイに入った水産物を撮影する。
【0017】
発光装置１０５は、筐体１１内に設けられ、筐体内に載置されたトレイ内の水産物を照らす。発光装置１０５は、例えば、筐体１１の内面に水平方向に配列された複数の光源１０５ａ（例えば、 Light-Emitting Diodeなど）を有し、筐体１１の前面に設けられたスイッチ１２が押されることで複数の光源１０５ａが発光する。なお、発光装置１０５は、水産物が載置されるトレイの長手方向の２／３以上の長さ（距離）にわたって複数の光源１０５ａが筐体１１の一内面に設けられていることが好ましい。光源１０５ａが設けられる長さが、水産物が載置されるトレイの長手方向の２／３未満である場合、トレイに載置された水産物全体に光を当てることが難しい恐れがある。また、光源１０５ａが発する光は、可視光（波長がおおよそ３６０ｎｍから４００ｎｍ）を含むことが好ましい。これは、後述するように、学習用の画像データにかかる水産物の等級（目的変数）を経験者が回答する（答えを与える）ためである。
【0018】
印刷装置１０６は、等級判定サーバ２から送信される等級判定の結果を提示する提示装置であり、等級判定サーバ２から送信される等級判定の結果を印刷する。なお、等級判定サーバ２から送信される等級判定の結果を表示する表示装置（例えば、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、有機ＥＬディスプレイなど）を提示装置として備えるようにしてもよい。また、提示装置として印刷装置１０６と表示装置の両方を備えるようにしてもよい。
【0019】
制御部１０７は、例えば、 Central Processing UnitやMicro-processing unitなどであり、撮像ボックス１を制御する。
【0020】
(等級判定サーバ２)
図５は、等級判定サーバ２の機能を示す模式構成図である。等級判定サーバ２は、受信部２０１、送信部２０２、識別器２０３、判定部２０４、制御部２０５などを備える。
図５は、等級判定サーバ２の機能を示す模式構成図である。等級判定サーバ２は、受信部２０１、送信部２０２、識別器２０３、判定部２０４、制御部２０５などを備える。
【0021】
受信部２０１は、撮像ボックス１から送信（出力）された画像データを受信する。
【0022】
送信部２０２は、ロット番号、等級判定結果及び判定日時を撮像ボックス１へ送信する。
【0023】
識別器２０３は、水産物を含む学習用の画像データと学習用の画像データにかかる水産物の等級（目的変数）とを教師データとして機械学習させたものである。なお、本実施形態では、学習用の画像データにかかる水産物の等級は経験者が回答する（答えを与える）。また、学習用の画像データにかかる水産物の等級は、水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）の少なくとも１以上に応じて付与されている。換言すると、識別器２０３は、画像データにかかる水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）の少なくとも１以上を特徴量（説明変数）として水産物の等級を学習する。以下、各特徴量について説明する。
【0024】
（形状）
画像データから水産物の形状を検出する場合、例えば、次の手法により検出することができる。なお、本実施形態では、画像データから水産物の形状を検出することができればよく、画像データから水産物の形状を検出する手法は、次に示す手法に限られない。
画像データを１次微分し、輝度値が極大又は極小となる領域、又は画像データを２次微分し、輝度値のゼロクロッシング点（マイナスからプラス、又はプラスからマイナスに変わる位置）となる領域を境界、すなわち白魚の形状として検出する。なお、白魚の形状を認識するために、予め白魚の形状を学習させた識別器を利用してもよい。
画像データから水産物の形状を検出する場合、例えば、次の手法により検出することができる。なお、本実施形態では、画像データから水産物の形状を検出することができればよく、画像データから水産物の形状を検出する手法は、次に示す手法に限られない。
画像データを１次微分し、輝度値が極大又は極小となる領域、又は画像データを２次微分し、輝度値のゼロクロッシング点（マイナスからプラス、又はプラスからマイナスに変わる位置）となる領域を境界、すなわち白魚の形状として検出する。なお、白魚の形状を認識するために、予め白魚の形状を学習させた識別器を利用してもよい。
【0025】
（目の色（黒目））
画像データから水産物の目の色を検出する場合、例えば、次の手法により検出することができる。なお、本実施形態では、画像データから水産物の目の色を検出することができればよく、画像データから水産物の目の色を検出する手法は、次に示す手法に限られない。
上記検出した白魚の形状から目の位置を検出する。例えば、検出した白魚の形状から黒色部分を検出し、該検出した黒色の輝度（輝度が小さいほど黒い）を検出する。なお、白魚の目を認識するために、予め白魚の形状と該形状に対する目の位置とを学習させた識別器を利用してもよい。
画像データから水産物の目の色を検出する場合、例えば、次の手法により検出することができる。なお、本実施形態では、画像データから水産物の目の色を検出することができればよく、画像データから水産物の目の色を検出する手法は、次に示す手法に限られない。
上記検出した白魚の形状から目の位置を検出する。例えば、検出した白魚の形状から黒色部分を検出し、該検出した黒色の輝度（輝度が小さいほど黒い）を検出する。なお、白魚の目を認識するために、予め白魚の形状と該形状に対する目の位置とを学習させた識別器を利用してもよい。
【0026】
（サイズ）
画像データから水産物のサイズを検出する場合、例えば、次の手法により検出することができる。なお、本実施形態では、画像データから水産物のサイズを検出することができればよく、画像データから水産物のサイズを検出する手法は、次に示す手法に限られない。
形状と同様に画像データを１次微分し、輝度値が極大又は極小となる領域、又は画像データを２次微分し、輝度値のゼロクロッシング点（マイナスからプラス、又はプラスからマイナスに変わる位置）となる領域を境界として検出する。次いで、検出した境界のうち白魚の形状をしているものを抽出し、抽出した境界により囲繞される画素の数を白魚のサイズとする。
画像データから水産物のサイズを検出する場合、例えば、次の手法により検出することができる。なお、本実施形態では、画像データから水産物のサイズを検出することができればよく、画像データから水産物のサイズを検出する手法は、次に示す手法に限られない。
形状と同様に画像データを１次微分し、輝度値が極大又は極小となる領域、又は画像データを２次微分し、輝度値のゼロクロッシング点（マイナスからプラス、又はプラスからマイナスに変わる位置）となる領域を境界として検出する。次いで、検出した境界のうち白魚の形状をしているものを抽出し、抽出した境界により囲繞される画素の数を白魚のサイズとする。
【0027】
（透明度）
本実施形態では、画像データから水産物の透明度を検出するため撮像ボックス１の筐体１１内は黒色であり、水産物を載置するトレイは、可視光領域で透明である材料で構成されている（なお、トレイは黒色であってもよい）。
白魚は、鮮度の低下とともに透明度が低下し、色が透明から白へと変化するが（透明度が高いほど鮮度がよい）、白魚の透明度が高いと白魚が載置された容器からの反射光は弱くなり、白魚の透明度が低い（白い）と白魚が載置された容器からの反射光は強くなる。つまり、本実施形態では、反射光の強度（輝度）を水産物の透明度を示すパラメータとして検出している。なお、ここで、撮像ボックス１の筐体１１内を黒色、水産物を載置するトレイを透明材料で構成又は黒色としているので、筐体１１内（内表面）からの反射光の影響を受けにくく、トレイに載置された白魚の透明度をより精度よく測定することができる。
本実施形態では、画像データから水産物の透明度を検出するため撮像ボックス１の筐体１１内は黒色であり、水産物を載置するトレイは、可視光領域で透明である材料で構成されている（なお、トレイは黒色であってもよい）。
白魚は、鮮度の低下とともに透明度が低下し、色が透明から白へと変化するが（透明度が高いほど鮮度がよい）、白魚の透明度が高いと白魚が載置された容器からの反射光は弱くなり、白魚の透明度が低い（白い）と白魚が載置された容器からの反射光は強くなる。つまり、本実施形態では、反射光の強度（輝度）を水産物の透明度を示すパラメータとして検出している。なお、ここで、撮像ボックス１の筐体１１内を黒色、水産物を載置するトレイを透明材料で構成又は黒色としているので、筐体１１内（内表面）からの反射光の影響を受けにくく、トレイに載置された白魚の透明度をより精度よく測定することができる。
【0028】
なお、透明度に代えて、色（例えば、白色）を特徴量（説明変数）としてもよい。この場合、透明度を特徴量（説明変数）とする場合とは異なり、白色度が高いほど鮮度が低くなる。また、反射光の強度（輝度）を特徴量（説明変数）としてもよいのはもちろんである。
【0029】
判定部２０４は、識別器２０３を用いて、受信部２０１が受信した画像データにかかる水産物の等級を判定する。なお、上述したように学習用の画像データにかかる水産物の等級は、水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）に応じて付与されているため、判定部２０４は、受信部２０１が受信した画像データにかかる水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）に応じて水産物の等級を判定する。また、白魚のサイズは時期に応じて異なるため、判定部２０４は、時期（例えば、春（４月乃至６月）夏（７月乃至９月）秋（１０月乃至１２月）冬（１月乃至３月）など）に応じて、受信部２０１が受信した画像データにかかる水産物の等級を判定する基準をサイズの特徴量について変更する。なお、時期は画像データのタイムスタンプ（日時）に基づいて判定される。また、時期（例えば、春夏秋冬など）は、ユーザが設定により変更可能であることが好ましい。
【0030】
制御部２０５は、例えば、 Central Processing UnitやMicro-processing unitなどであり、等級判定サーバ２を制御する。
【0031】
【0032】
（ステップＳ１０２）
トレイ上の白魚の厚みが均一となるように均す。
トレイ上の白魚の厚みが均一となるように均す。
【0033】
（ステップＳ１０３）
撮像ボックス１の扉１３を開ける。
撮像ボックス１の扉１３を開ける。
【0034】
（ステップＳ１０４）
撮像ボックス１内に白魚を入れたトレイを入れる。この際、トレイの角を筐体１１内の底面のマークに合わせてトレイを位置決めする。
撮像ボックス１内に白魚を入れたトレイを入れる。この際、トレイの角を筐体１１内の底面のマークに合わせてトレイを位置決めする。
【0035】
（ステップＳ１０５）
撮像ボックス１の扉１３を閉める。
撮像ボックス１の扉１３を閉める。
【0036】
（ステップＳ１０６）
撮像ボックス１の筐体１１の前面に設けられたスイッチ１２を押して、トレイ上の白魚を撮像装置１０４で撮像する。
撮像ボックス１の筐体１１の前面に設けられたスイッチ１２を押して、トレイ上の白魚を撮像装置１０４で撮像する。
【0037】
（ステップＳ１０７）
撮像ボックス１の扉１３を開ける。
撮像ボックス１の扉１３を開ける。
【0038】
（ステップＳ１０８）
撮像ボックス１内から白魚を入れたトレイを取り出す。
撮像ボックス１内から白魚を入れたトレイを取り出す。
【0039】
（ステップＳ１０９）
ロット番号、等級判定結果、判定日時などの情報（文字の他、バーコードやＱＲコード（登録商標）などの形式でもよい）が印字されたシールを、等級を測定した白魚の出荷用容器に張り付ける。なお、ロット番号、等級判定結果、判定日時などの情報へアクセスするための情報（例えば、ＵＲＬ（バーコードやＱＲコード（登録商標）などの形式でもよい））などが印字されたシールを、等級を測定した白魚の出荷用容器に張り付けるようにしてもよい。
ロット番号、等級判定結果、判定日時などの情報（文字の他、バーコードやＱＲコード（登録商標）などの形式でもよい）が印字されたシールを、等級を測定した白魚の出荷用容器に張り付ける。なお、ロット番号、等級判定結果、判定日時などの情報へアクセスするための情報（例えば、ＵＲＬ（バーコードやＱＲコード（登録商標）などの形式でもよい））などが印字されたシールを、等級を測定した白魚の出荷用容器に張り付けるようにしてもよい。
【0040】
（等級判定システムの動作）
図７及び図８は、等級判定システムの処理を示すフローチャートである。以下、図７及び図８を参照して等級判定システムの処理について説明するが、図１～図６を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。
図７及び図８は、等級判定システムの処理を示すフローチャートである。以下、図７及び図８を参照して等級判定システムの処理について説明するが、図１～図６を参照して説明した構成と同一の構成には同一の符号を付して重複する説明を省略する。
【0041】
（撮像ボックス１での処理）
図７は、撮像ボックス１での処理を示すフローチャートである。
図７は、撮像ボックス１での処理を示すフローチャートである。
【0042】
（ステップＳ２０１）
撮像ボックス１の制御部１０７は、スイッチ１２が押されたか否かを判定する。スイッチ１２が押されている場合（ＹＥＳ）、制御部１０７は、ステップＳ２０２の処理を実行する。スイッチ１２が押されていない場合（ＮＯ）、制御部１０７は、処理を終了する。
撮像ボックス１の制御部１０７は、スイッチ１２が押されたか否かを判定する。スイッチ１２が押されている場合（ＹＥＳ）、制御部１０７は、ステップＳ２０２の処理を実行する。スイッチ１２が押されていない場合（ＮＯ）、制御部１０７は、処理を終了する。
【0043】
（ステップＳ２０２）
撮像ボックス１の発光装置１０５は、光源１０５ａを発光させ、撮像装置１０４は、白魚を撮像する。
撮像ボックス１の発光装置１０５は、光源１０５ａを発光させ、撮像装置１０４は、白魚を撮像する。
【0044】
（ステップＳ２０３）
撮像ボックス１の送信部１０２は、撮像装置１０４が撮像した画像データを等級判定サーバ２へ送信する。
撮像ボックス１の送信部１０２は、撮像装置１０４が撮像した画像データを等級判定サーバ２へ送信する。
【0045】
（ステップＳ２０４）
撮像ボックス１の制御部１０７は、受信部２０１が等級判定サーバ２からロット番号、等級判定結果及び判定日時を受信したか否かを判定する。ロット番号、等級判定結果及び判定日時を受信している場合（ＹＥＳ）、制御部１０７は、ステップＳ２０５の処理を実行する。ロット番号、等級判定結果及び判定日時を受信していない場合（ＮＯ）、制御部１０７は、処理を終了する。
撮像ボックス１の制御部１０７は、受信部２０１が等級判定サーバ２からロット番号、等級判定結果及び判定日時を受信したか否かを判定する。ロット番号、等級判定結果及び判定日時を受信している場合（ＹＥＳ）、制御部１０７は、ステップＳ２０５の処理を実行する。ロット番号、等級判定結果及び判定日時を受信していない場合（ＮＯ）、制御部１０７は、処理を終了する。
【0046】
（ステップＳ２０４）
撮像ボックス１の制御部１０７は、印刷装置１０６にロット番号、等級判定結果及び判定日時などの情報を印刷させる。
撮像ボックス１の制御部１０７は、印刷装置１０６にロット番号、等級判定結果及び判定日時などの情報を印刷させる。
【0047】
（等級判定サーバ２での処理）
図８は、等級判定サーバ２での処理を示すフローチャートである。
図８は、等級判定サーバ２での処理を示すフローチャートである。
【0048】
（ステップＳ３０１）
等級判定サーバ２の制御部２０５は、撮像ボックス１から画像データを受信したか否かを判定する。画像データを受信している場合（ＹＥＳ）、制御部２０５は、ステップＳ３０２の処理を実行する。画像データを受信していない場合（ＮＯ）、制御部２０５は、処理を終了する。
等級判定サーバ２の制御部２０５は、撮像ボックス１から画像データを受信したか否かを判定する。画像データを受信している場合（ＹＥＳ）、制御部２０５は、ステップＳ３０２の処理を実行する。画像データを受信していない場合（ＮＯ）、制御部２０５は、処理を終了する。
【0049】
（ステップＳ３０２）
等級判定サーバ２の判定部２０４は、識別器２０３を用いて、受信部２０１が受信した画像データにかかる水産物の等級を判定する。ここで、判定部２０４は、時期に応じて、受信部２０１が受信した画像データにかかる水産物の等級を判定する基準をサイズの特徴量について変更する。
等級判定サーバ２の判定部２０４は、識別器２０３を用いて、受信部２０１が受信した画像データにかかる水産物の等級を判定する。ここで、判定部２０４は、時期に応じて、受信部２０１が受信した画像データにかかる水産物の等級を判定する基準をサイズの特徴量について変更する。
【0050】
（ステップＳ３０３）
等級判定サーバ２の送信部２０２は、ロット番号、等級判定結果及び判定日時を撮像ボックス１へ送信する。
等級判定サーバ２の送信部２０２は、ロット番号、等級判定結果及び判定日時を撮像ボックス１へ送信する。
【0051】
以上のように、本実施形態に係る等級判定システムは、内部に水産物が載置された容器を載置可能な筐体１１と、筐体１１内に設けられ、水産物を照らすための発光装置１０５と、筐体１１内に設けられ、水産物を撮像可能な撮像装置１０４と、を備える撮像ボックス１と、撮像ボックス１から出力された画像データを受信する受信部２０１と、水産物を含む学習用の画像データと、学習用の画像データにかかる水産物の等級と、を教師データとして機械学習させた識別器２０３を用いて、受信部２０１が受信した画像データにかかる水産物の等級を判定する判定部２０４とを備える等級判定サーバ２と、を具備する。このように、水産物を含む学習用の画像データと、学習用の画像データにかかる水産物の等級とを教師データとして機械学習させた識別器２０３を用いて画像データにかかる水産物の等級を判定することができる。このため、ベテランの目利きなどを必要とせずに水産物の等級を客観的に評価することができ利便性が高い。
【0052】
また、本実施形態に係る等級判定システムの撮像ボックス１の撮像装置１０４は、筐体１１内の天井面１１ｂに設けられている。このため、撮像装置１０４を筐体１１内の内側面に設けた場合より水産物の透明度（反射光の強度（輝度））を精度よく認識できることが期待できる。
【0053】
また、本実施形態に係る等級判定システムの撮像ボックス１の発光装置１０５は、筐体１１の内面１１ｃに水平方向に配列された複数の光源１０５ａを有する。このため、トレイ（容器）に載置された水産物全体に光を当てることができ光源が一つの場合より水産物の透明度（反射光の強度（輝度））を精度よく認識できることが期待できる。
【0054】
また、本実施形態に係る等級判定システムの等級判定サーバ２の判定部２０４は、時期に応じて、受信部２０１が受信した画像データにかかる水産物の等級を判定する基準を変更する。このように、例えば漁の時期に応じて等級を判定する基準を変更するなど水産物の販売の実情にあった等級判定をすることができる。
【0055】
また、本実施形態に係る等級判定システムの等級判定サーバ２の識別器２０３は、水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）の少なくとも１以上を特徴量として水産物の等級を学習する。このように種々の特徴量に基づいて等級を学習するので等級判定の精度の向上が期待できる。また、透明度は、水産物の鮮度に直結するため、透明度を特徴量として学習することでより精度の高い等級判定ができることが期待できる。
【0056】
また、本実施形態に係る等級判定システムは、ロット番号、等級判定サーバ２の判定部２０４による等級判定及び判定日時の結果を提示する提示装置を備える。このため、ロット番号から等級の判定結果及び判定日時をトレース（追跡）することができる。また、提示装置を印刷装置とした場合、例えば、ロット番号、等級判定結果及び判定日時をシール等に印字することで、等級を判定した水産物の出荷容器に貼り付けるだけで出荷後もトレース（追跡）することができるので利便性が高い。
【0057】
また、本実施形態に係る等級判定システムの撮像ボックス１の筐体１１は、一側面に水産物が載置された容器を出し入れ可能な開口１１ａと、開口１１ａを開閉可能に閉塞する扉１３とを備え、扉１３により開口１１ａを閉塞することで筐体１１内が暗室となる。このように、筐体１１内が暗室となることで外光の影響を排することができ、より精度よく等級判定を行うことが期待できる。
【0058】
（その他の実施形態）
なお、上記実施形態では、特徴量（説明変数）として水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）を利用しているが、水産物を水揚げした際の水温、気温などを特徴量（説明変数）としてさらに利用してもよい。水温や気温は、他のサーバ（例えば、気象庁などのサーバ）から取得してもよいし、ユーザが測定した水温や気温を入力して利用するようにしてもよい。
なお、上記実施形態では、特徴量（説明変数）として水産物の形状、目の色（黒目）、サイズ及び透明度（又は色）を利用しているが、水産物を水揚げした際の水温、気温などを特徴量（説明変数）としてさらに利用してもよい。水温や気温は、他のサーバ（例えば、気象庁などのサーバ）から取得してもよいし、ユーザが測定した水温や気温を入力して利用するようにしてもよい。
【0059】
また、上記実施形態では、撮像ボックス１が水産物を撮像した画像データを等級判定サーバ２へ送信し、等級判定サーバ２が画像データにかかる水産物の等級を判定し、ロット番号、等級判定結果及び判定日時を撮像ボックス１へ送信しているが、撮像ボックス１に等級判定サーバ２の機能、例えば、識別器２０３及び判定部２０４を備え、撮像ボックス１が画像データにかかる水産物の等級を判定するように構成してもよい。また、この場合、画像データ、等級判定結果及び判定日時を等級判定サーバ２に送信して等級判定サーバ２に画像データ、等級判定結果及び判定日時を記憶させてもよいし、撮像ボックス１側で記憶してもよい。また、撮像ボックス１側及び等級判定サーバ２側の両方で記憶させてもよい。
また、判定日時に代えて、水産物の撮像日時、画像データの送信日時、等級判定結果の受信日時などを利用するようにしてもよい。
また、判定日時に代えて、水産物の撮像日時、画像データの送信日時、等級判定結果の受信日時などを利用するようにしてもよい。
【0060】
また、上記実施形態では、撮像ボックス１が提示装置としての印刷装置１０６や表示装置を備える構成であるが、必ずしも撮像ボックス１が提示装置を備えている必要はなく、撮像ボックス１とは別に印刷装置１０６や表示装置などの提示装置を備えていてもよい。この場合、等級判定サーバ２は、撮像ボックス１を介さずにロット番号、等級判定結果及び判定日時を提示装置に送信するようにしても良いし、撮像ボックス１を介してロット番号、等級判定結果及び判定日時を提示装置に送信するようにしても良い。
【0061】
また、上記実施形態の撮像ボックス１に表示装置（例えば、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、有機ＥＬディスプレイなど）及び入力装置（例えば、キーボード、マウス、タッチパネルの他、音声入力装置など）を備えた操作端末（例えば、タブレット端末など）を具備し、この操作端末の入力装置から発光装置１０５の光源１０５ａが発光するとともに撮像装置１０４による撮像が行われるように構成してもよい（スイッチ１２としての機能）。また、操作端末の表示装置に撮像装置１０４が撮像した画像及び判定部２０４が判定した結果が表示されるように構成してもよい。
【符号の説明】
【0062】
１ ：撮像ボックス
２ ：等級判定サーバ
３ ：ネットワーク
１１ ：筐体
１１ａ ：開口
１１ｂ ：天井面
１１ｃ ：内面
１２ ：スイッチ
１３ ：扉
１３ａ ：取手
１０１ ：受信部
１０２ ：送信部
１０３ ：記憶装置
１０４ ：撮像装置
１０５ ：発光装置
１０５ａ ：光源
１０６ ：印刷装置
１０７ ：制御部
２０１ ：受信部
２０２ ：送信部
２０３ ：識別器
２０４ ：判定部
２０５ ：制御部
２ ：等級判定サーバ
３ ：ネットワーク
１１ ：筐体
１１ａ ：開口
１１ｂ ：天井面
１１ｃ ：内面
１２ ：スイッチ
１３ ：扉
１３ａ ：取手
１０１ ：受信部
１０２ ：送信部
１０３ ：記憶装置
１０４ ：撮像装置
１０５ ：発光装置
１０５ａ ：光源
１０６ ：印刷装置
１０７ ：制御部
２０１ ：受信部
２０２ ：送信部
２０３ ：識別器
２０４ ：判定部
２０５ ：制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】