特開 2023-93283 卵表面の欠陥検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023093283

(43)【公開日】2023-07-04

(54)【発明の名称】卵表面の欠陥検出システム

(51)【国際特許分類】

   G01N 21/85 20060101AFI20230627BHJP

   G06T 7/00 20170101ALI20230627BHJP

【ＦＩ】

G01N21/85 Z

G06T7/00 610B

G06T7/00 350B

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022025147

(22)【出願日】2022-02-21

(31)【優先権主張番号】P 2021208292

(32)【優先日】2021-12-22

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】597017812

【氏名又は名称】株式会社ナベル

(72)【発明者】

【氏名】孟 林

(72)【発明者】

【氏名】南部 隆彦

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA01

2G051AB01

2G051AB07

2G051CA04

2G051CA07

2G051EB05

2G051EC01

5L096BA03

5L096CA02

5L096DA02

5L096HA11

5L096JA22

5L096KA04

(57)【要約】

【課題】エッジ付近の汚れも検出可能なシステムを提供する。
【解決手段】本発明のシステムは、撮像部３と、推定部４２と、特定部４４とを備える。撮像部３は、搬送部２で搬送される複数の卵Ｅを一度に撮影する。推定部４２は、撮像部３が撮影した画像データを、卵Ｅの表面の欠陥を教師データとする深層学習を用いて生成した物体検出モデルにより推定する。特定部４４は、推定部４２における推定結果に基づいて、搬送部２上の複数の卵Ｅの中から表面に欠陥のある卵Ｅを特定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

搬送部で搬送される複数の卵を一度に撮影する撮像部と、
前記撮像部が撮影した画像データを、卵の表面の欠陥を教師データとする深層学習を用いて生成した物体検出モデルにより推定する推定部と、
前記推定部における推定結果に基づいて、搬送部上の複数の卵の中から表面に欠陥のある卵を特定する特定部とを備えるシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、卵の表面の欠陥を検出するシステムに関するものである。

【背景技術】

【0002】

表面の欠陥を有する卵は、製品から取り除かれる。表面の欠陥の一例として、卵の表面の汚れが挙げられる。例えば、特許文献１に記載のシステムは、複数の卵を搬送する搬送部と、搬送部上の複数の卵を撮影する撮像部と、撮像部が撮影した画像データの各卵が汚卵であるか否かを検査する検査部を備える。

【0003】

このシステムは、まず、画像に対して各画素の輝度値の差をとり、エッジ検出処理を行うことで、検査対象卵画像を抽出している。その後、抽出された検査対象卵画像に所定の加工を施して、汚れ箇所を抽出し、その面積または範囲に基づいて、汚卵か否かを判定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２０３８４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のものは、エッジ検出処理を行うために、エッジ付近の汚れを見逃しやすいという問題点があった。

【0006】

本発明は、エッジ付近の汚れも検出可能なシステムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のシステムは、搬送部で搬送される複数の卵を一度に撮影する撮像部と、撮像部が撮影した画像データを、卵の表面の欠陥を教師データとする深層学習を用いて生成した物体検出モデルにより推定する推定部と、前記推定部における推定結果に基づいて、搬送部上の複数の卵の中から表面に欠陥のある卵を特定する特定部とを備える。

【0008】

ここで、「卵の表面の欠陥」とは、例えば、黒い汚れ、白い汚れ、黄色い汚れ、しみ、割れである。

【発明の効果】

【0009】

本発明によれば、エッジ付近の汚れも検出可能なシステムを提供できる。

【0010】

この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0011】

【図1】本発明の一実施形態にかかるシステムが適用される選別装置を示す平面図である。

【図2】同実施形態にかかるシステムを示す側面図である。

【図3】同実施形態にかかるシステムを示す平面図である。

【図4】図３に対応する拡大図である。

【図5】同実施形態にかかるシステムの構成図である。

【図6】同実施形態にかかる推定部での処理により検出・識別される欠陥のデータが記録されるテーブルの一例である。

【図7】同実施形態にかかるシステムの処理を示すフローチャートである。

【図8】同実施形態の撮像部で撮影された画像の一例に対して複数の信頼度で比べた推定結果の表示の一例である。

【図9】同実施形態の撮像部で撮影された画像の他の一例に対する推定結果の表示の一例である。

【図10】ピンク色の卵の検出結果の表示の一例である。

【図11】赤色の卵の検出結果の表示の一例である。

【図12】白色の卵の検出結果の表示の一例である。

【発明を実施するための形態】

【0012】

以下、一実施形態について図面を用いて説明する。

【0013】

本実施形態のシステムは、図１に示すような卵の選別装置１０に用いられる。卵の選別装置１０は、第一搬送部１１と、第一検査部１２と、計量部１３と、第二搬送部１４と、第二検査部１５と、分配部１６と、第三搬送部１７とを備える。なお、卵の選別装置１０上の卵Ｅの移動距離を検知する方法は、この分野で知られた種々の方法（例えば、クロック信号を用いるもの等）を適用できる。

【0014】

第一搬送部１１は、例えば、卵Ｅを６列で搬送する。第一搬送部１１は、卵Ｅを横向きに搬送する。第一検査部１２は、第一搬送部１１上で、画像等を用いて卵Ｅの検査を行う。第一検査部１２は、例えば、卵Ｅにひび、割れ、汚れがあるか否かを検査する。

【0015】

第二搬送部１４は、例えば、卵Ｅを１列で搬送する。第二搬送部１４は、卵Ｅを縦向きに搬送する。第二検査部１５は、第二搬送部１４上で、画像等を用いて卵Ｅの検査を行う。第二検査部１５は、例えば、卵Ｅにひび、割れ、汚れ、内部異常があるか否かを検査する。

【0016】

分配部１６は、計量部１３で測定された卵重に基づいて、卵Ｅを各ゲートに振り分ける。分配部１６は、第一の検査部４または第二の検査部４での検査結果に基づいて、卵Ｅを所定のゲートに振り分ける。図１の選別装置では、例えば、上流側のゲート１８で割れがある卵Ｅを集め、下流側のゲート１９で汚れがある卵Ｅを集める。

【0017】

第三搬送部１７は、トレイまたは容器を搬送する。第三搬送部１７は、分配部１６から卵Ｅを受け取る。第三搬送部１７は、分配部１６で振り分けられた卵Ｅが、トレイまたは容器に所定個数ずつ収容される。

【0018】

本実施形態のシステムは、搬送部２と、撮像部３と、検査部４と、排除部５とを備える。

【0019】

搬送部２は、複数の卵Ｅを搬送する。本実施形態では、搬送部２は、複数列に並んだローラ（第一搬送部１１の一例）である。搬送部２は、隣り合う卵Ｅの間を一定距離の間隔を保って搬送する。卵Ｅは、搬送部２上で整然と並べられている。搬送部２は、卵Ｅを回転させて運ぶ。搬送部２は、搬送速度が変更可能なものである。なお、搬送部２は、カップ状のキャリア（第二搬送部１４の一例）であってもよい。

【0020】

撮像部３は、搬送部２上の複数の卵Ｅを撮影する。本実施形態では、撮像部３は、例えば、カラーカメラである。撮像部３は、第一搬送部１１の上方に設けられている。撮像部３は、図１の第一検査部１２に設けられている。撮像部３は、複数列×複数行の卵Ｅを一度に撮影する。撮像部３は、一つの卵Ｅに対して、複数回撮影する。撮像部３は、一つの卵Ｅに対して、複数の角度から撮影する。撮像部３は、卵Ｅを撮影するタイミングが、搬送部２の搬送速度に基づいて決められている。より具体的に説明すれば、撮像部３は、前述したクロック信号に基づいて、撮影タイミングが制御されている。

【0021】

検査部４は、コンピュータを用いて構成される。検査部４は、画像取得部４１と、推定部４２と、記憶部４３と、特定部４４と、出力部４５とを備える。

【0022】

画像取得部４１は、撮像部３が撮影した画像データを取得する。画像取得部４１は、推定部４２に接続されている。

【0023】

推定部４２は、撮像部３が撮影した画像データを物体検出モデルにより推定する。物体検出モデルは、卵Ｅの表面の欠陥を教師データとする深層学習を用いて生成する。物体検出モデルは、学習モデル記憶部４３に予め記憶されている。本実施形態では、物体検出モデルは、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）等の、物体検出型のニューラルネットワーク等を想定している。なお、物体検出モデルは、ＹＯＬＯとは異なる技術によって欠陥検出を行ってもよい。

【0024】

例えば、ＹＯＬＯの処理は、概ね以下のようになる。まず、入力画像がＳ*Ｓの領域に
分割される。次に、それぞれの領域内における物体のクラス確率が導出される。そして、Ｂ個（ハイパーパラメータ）のバウンディングボックスのパラメータと信頼度とが算出される。バウンディングボックスは、物体領域を囲む四角形である。信頼度とは、予測と正解のバウンディングボックスの一致度である。物体検出には、物体のクラス確率と、各バウンディングボックスの信頼度との積が用いられる。ＹＯＬＯにおいて、画像データは、ＣＮＮ（Ｃｏｎｖｅｎｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）層に入力され、複数団の全結合層を経て結果が出力される。出力は、信頼度を含むバウンディングボックスのパラメータである。

【0025】

図６は、推定部４２が作成するデータの一例である。データは、画像ＩＤと、欠陥ＩＤと、バウンディングボックスの座標と、種別と、信頼度を含む。

【0026】

記憶部４３は、学習モデルを記憶している。学習モデルは、教師データを用いて予め学習がなされている。欠陥が判明している複数個の卵Ｅについて、画像データが取得され、教師データが作成される。教師データには、各卵Ｅの欠陥を表す情報と、欠陥箇所をバウンディングボックスで抽出した画像データとが含まれる。

【0027】

卵Ｅは自然物であり、卵Ｅの欠陥の種類や大きさも様々である。卵Ｅの欠陥を表す情報は、例えば、赤い卵における黒い汚れ、白い汚れ、黄色い汚れ、しみ、または、割れなどであり、白い卵における黒い汚れ、黄色い汚れ、しみ、または、割れなどである。なお、照明の反射、水濡れ、そばかす模様、突起、印字は、卵Ｅの欠陥ではない。これらが卵Ｅの欠陥ではないことを学習させてもよい。印字は、例えば、農場やＧＰセンターなどの場所で、インクを用いて卵殻表面に付される賞味期限などの数字や文字である。

【0028】

教師データに含まれる画像データが入力層の各ノードに入力され、教師データに含まれる情報が示す卵Ｅの欠陥に合致したスコアを出力層の各ノードに出力されるように、各ノードの演算のパラメータが調整される学習がなされている。

【0029】

特定部４４は、推定部４２における推定結果に基づいて、搬送部２上の複数の卵Ｅの中から表面に欠陥のある卵Ｅを特定する。特定部４４は、上述したクロック信号（移動距離検知部の一例）から得られる卵Ｅの位置情報を用いる。特定部４４は、卵Ｅの位置情報と、推定部４２から得られる欠陥の位置情報とを用いて、表面に欠陥のある卵Ｅを特定する。

【0030】

出力部４５は、特定部４４で特定された卵Ｅの情報を排除部５へ出力する。具体的には、出力部４５は、欠陥を有する卵Ｅの搬送部２上での位置情報と、欠陥の種別を出力する。欠陥の種別は、例えば、「汚れ」と「割れ」の２種類に分ける。「汚れ」には、赤い卵についての黒い汚れ、白い汚れ、黄色い汚れ、しみなど、または、白い卵における黒い汚れ、黄色い汚れ、しみなどが含まれる。「割れ」には、卵殻のひび、卵殻の一部がなくなって穴が空いたものなどが含まれる。出力部４５は、欠陥の種別に応じて、特定された卵Ｅの分類先を決定してもよい。なお、分類先は２種類には限られず、汚れや割れの程度や種類別に細分化してもよい。

【0031】

排除部５は、出力部４５から出力された情報に基づいて、卵Ｅを排除する。例えば、排除部５は、上流側のゲート１８で割れがある卵Ｅを排除する。排除部５は、下流側のゲート１９で汚れがある卵Ｅを排除する。特定部４４で特定されなかった卵Ｅ、すなわち、汚れも割れも有していない卵Ｅは、分配部１６が通常のゲートに放出し、第三搬送部１７上のトレイまたは容器に収容される。卵Ｅの欠陥ではないもの、すなわち、照明の反射、水濡れ、そばかす模様、突起のいずれかを有するもの、印字された正常卵は、分配部１６が通常のゲートに放出し、第三搬送部１７上のトレイまたは容器に収容される。

【0032】

次に、図７のフローチャートを説明する。

【0033】

まず、画像取得部４１が、卵Ｅの画像を取得すると（ステップＳ１）、推定部４２は欠陥を推定する（ステップＳ２）。例えば、図６にあるように、欠陥ＩＤが「１」の欠陥は、バウンディングボックスの左下座標、及び右上座標が算出され、種別が「黒い汚れ」、信頼度が「０．７４」であると推定される。

【0034】

信頼度が閾値を超えると（ステップＳ３）、特定部４４は、当該欠陥を有する卵Ｅを特定する（ステップＳ４）。具体的には、特定部４４は、推定部４２から得られるバウンディングボックスの座標情報と、移動距離検知部の一例であるクロック信号から得られる卵Ｅの位置情報に基づいて、卵Ｅを特定する。

【0035】

その後、出力部４５は、特定された卵Ｅを制御する信号を出力する（ステップＳ５）。具体的には、出力部４５は、「黒い汚れ」が付着していると特定された卵Ｅを、第一搬送部１１及び第二搬送部１４で搬送した後、下流側のゲート１９に設定された排除部５が排除する。

【0036】

（実施例）
次に、本実施形態を用いたシステムの一実施例を説明する。

【0037】

本実施例では、ＹＯＬＯｖ４に卵Ｅの検出を学習させたモデルを深層学習プロセッサに展開する。言い換えれば、ターゲット検出手段であるＹＯＬＯｖ４を利用して欠陥のある卵Ｅを識別し、深層学習プロセッサを用いて欠陥のある卵Ｅを選別する。

【0038】

ＹＯＬＯｖ４は、予測バウンディングボックスを生成せずに直接オブジェクトを検出し、検出速度と精度をうまくバランスさせた能力を有する。また、ＹＯＬＯｖ４の検出速度は非常に速いため、卵Ｅの汚れを検出するのにも適している。

【0039】

深層学習プロセッサは、エッジデバイスとして採用される。深層学習プロセッサは、小型でパワフルな、組み込み可能なコンピュータである。しかし、ＹＯＬＯｖ４のサイズが大きいため、一部の深層学習プロセッサでは速度が落ちてしまう。そのため、リアルタイム検出の高速性を確保するために、ニューラルネットワークを用いた演算を行うためのツールを使ってアプリケーションに合わせてネットワークを最適化することが好ましい。

【0040】

＜実験１＞
ここでは、データセットとして２２０枚の画像を用意した。その中には、赤い卵の画像が１１０枚、白い卵の画像が１１０枚含まれる。データセットは、汚れた箇所に手動でラベルを付ける。

【0041】

赤い卵は、「黒い汚れ」、「白い汚れ」、「黄色い汚れ」、「しみ」、「割れ」についてラベルが付けられる。なお、汚れではない「そばかす模様」や「照明の反射」や「水濡れ」が検出精度に影響を与える場合がある。

【0042】

白い卵は、「黒い汚れ」、「黄色い汚れ」、「しみ」、「割れ」についてラベルが付けられる。なお、汚れではない「照明の反射」が「突起」が検出精度に影響を与える場合がある。

【0043】

限られたデータセットを使って、あらゆる状況を識別できるモデルを学習するために、小さな汚れた点にはできるだけラベルを付けている。なお、本実施例では、欠陥の種類を分けてラベル付けしていない。すなわち、赤い卵が、黒い汚れ、白い汚れ、黄色い汚れ、しみ、割れのいずれかを有していれば「欠陥あり」のラベルを付け、白い卵が、黒い汚れ、黄色い汚れ、しみ、割れのいずれかを有していれば「欠陥あり」のラベルを付ける。したがって、予測結果も、欠陥の有無の予測である。

【0044】

モデルを学習した後、学習した重みを用いてモデルをテストする。テストデータセットでは、結果が３つのカテゴリに分けられる。３つのカテゴリは、Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ（ＴＰ）と、Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ（ＦＰ）と、Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ（ＦＮ）である。

【0045】

ＴＰは、「陽性のクラスである」という予測が、「真」であることを示す。言い換えれば、汚れを「有する」クラスに対して、汚れを「有する」と推定する「正解」である。

【0046】

ＦＰは、「陽性のクラスである」という予測が、「偽」であることを示す。言い換えれば、汚れを「有しない」クラスに対して、汚れを「有する」と推定する「誤判定」である。

【0047】

ＦＮは、「陰性のクラスである」という予測が、「偽」であることを示す。言い換えれば、汚れを「有する」クラスに対して、汚れを「有しない」と推定する「見逃し」である。

【0048】

モデルの性能を検証するために、Ｐｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ、Ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ（ｍＡＰ）などの重要な評価基準を用いる。これらのうち、Ｐｒｅｃｉｓｉｏｎはモデルの予測精度を評価し、Ｒｅｃａｌｌはモデルが完全にターゲットを探索できたかどうかを示す。また、全カテゴリのＡＰ（Ａｃｃｕｒａｃｙ Ｒａｔｅ）とは、曲線と座標軸で囲まれた領域のことである。全カテゴリのＡＰを算出し、その精勤値を各カテゴリのｍＡＰとした。

【0049】

Ｐｒｅｃｉｓｉｏｎ，Ｒｅｃａｌｌ、Ｆ１－ｓｃｏｒｅ、ＡＰ、ｍＡＰの定義を以下に示す。

【0050】

Ｐｒｅｃｉｓｉｏｎは、全検出数（「正解」ＴＰと「誤判定」ＦＰ）に対する「正解」ＴＰの割合である。

【数1】

【0051】

Ｒｅｃａｌｌは、関連するオブジェクトの数（「正解」ＴＰと「見逃し」ＦＮ）に対する「正解」ＴＰの比率である。

【数2】

【0052】

Ｆ１－ｓｃｏｒｅは、ＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌの調和平均である。

【数3】

【数4】

【数5】

ここで、ｐ（ｒ）は、異なるＰｒｅｃｉｓｉｏｎの割合ｒの下での対応するＲｅｃａｌｌの割合ｐである。ＡＰｉは、ｉ番目のカテゴリの検出精度の割合である。Ｎは、カテゴリの数である。

【0053】

一般的な物体検出とは異なり、画像内の卵Ｅにある汚れた箇所は非常に小さく、識別するのは困難である。汚れた卵Ｅの検出に最適な閾値とＩＯＵの値を得るために、具体的には、テストセットにおいて、信頼度スコアをそれぞれ０．４、０．６、０．８に設定し、ＩＯＵをそれぞれ０．２、０．３５、０．５、０．６５に固定した。比較結果を表１、表２、表３に示す。

【表1】

【表2】

【表3】

【0054】

ＩＯＵ値が大きくなるにつれて、評価基準が大きく変化している。つまり、３つの閾値に関して、各モデルの評価基準はいずれも下降傾向にある。また、ＴＰの値が減少し、ＦＰやＦＮの値が増加している。これらの値の変化は評価基準にも影響を与えており、Ｐｒｅｃｉｓｉｏｎの低下などが見られる。表から、ＩＯＵが０．２と０．３５の場合、評価基準が比較的高くなっていることがわかる。しかし、予測ボックスと実施調査ボックスのＩＯＵが小さすぎたため、検出速度が低下してしまった。そのため、汚卵の予測には説得力がなかった。また一方で、ＩＯＵを０．６５に設定した場合、検出性能が約１５％低下している。つまり、検出性能が非常に悪く、多くの汚れた箇所を検出することができなかった。そこで、バランスを保つためにＩＯＵを０．５とし、ＩＯＵと検出性能が良好になるようにした。

【0055】

また、図８は、閾値を０．４、０．６、０．８と変えて学習したモデルのテスト結果である。閾値の増加に伴い、予測されるバウンディングボックスの数が徐々に少なくなっている。これは、精度の低い予測ボックスがフィルタリングされて、画像に表示されないためである。閾値を０．４に設定すると、他の状況に比べてより正確な予測ボックスが得られることがわかる。赤い卵の場合は、閾値を上げるたびに予測ボックスが１つ減る。一方、白い卵の場合は、閾値が０．４のときに生成される予測ボックスは閾値が０．８のときよりも４つ多くなる。より良い性能を得るために、ＩＯＵを０．５に、信頼度スコアをそれぞれ０．４、０．６、０．８に設定した。汚れた箇所の数の検出が目的ではなく、その卵に汚れがあるか否かの検出が目的である。１つの卵の卵殻に複数の汚れた箇所を含む場合もあり、この場合は汚れた卵が１つとしてカウントする。この基準にしたがって、ＴＰ、ＦＰ、ＦＮ、Ｐｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ、Ｆ１－ｓｃｏｒｅを手動で算出した結果が、表４である。

【表4】

【0056】

その結果、信頼度スコアが高くなるにつれて、Ｒｅｃａｌｌ、Ｆ１―ｓｃｏｒｅ、ＴＰ、ＦＰが減少し、ＦＮが増加した。これらの比較により、信頼度スコアが０．８に設定されている場合、Ｐｒｅｃｉｓｉｏｎが最大値となることがわかる。また、信頼度スコアが０．４に設定されている場合、ＲｅｃａｌｌとＦ１―ｓｃｏｒｅが最大値となることがわかる。したがって、より良い性能を得ることができる信頼度スコア０．４を選択した。

【0057】

数１～数５の式から、ＦＮの値が評価基準に影響を与えることが推測される。そこで、信頼度スコアを０．００００１に設定して、ＦＮが大量に発生する原因を探った。その結果を図９に示す。

【0058】

検知の過程で、信頼度スコアが０．００００１よりも大きい予測バウンディングボックスが生成される。これらの予測バウンディングボックスは、予測画像には表示されない。しかし、テスト前にＩＯＵと閾値を手動で調整することで、良好な検出性能を得ることができる。記事ではＩＯＵを０．５とし、信頼度スコアを０．４に設定した。その結果、信頼度スコアが０．４よりも低い予測バウンディングボックスはフィルタリングされる。しかし、これらのボックスは役に立たないわけではないが、その影響は、結果を大きく左右することになり、テストに要する時間も長くなる。

【0059】

図８の観察結果と上記の分析結果から、過剰なＦＮは小さすぎるラベルが原因であると結論づけた。できるだけ多くの汚れ箇所に複数の小さなラベルを付けることを選択した。小さな汚れ箇所に関しては、ラベルもできるだけ小さくする。これにより、学習されたモデルは、汚卵を検出する際には役立たない予測バウンディングボックスを大量に生成することになり、結果的に評価基準が低くなり、速度も遅くなる。同様に、大きな汚れ箇所の認識率も低くなる。大きな汚れ箇所に関しては、モデルは多くの小さな汚れ箇所を検出することになる。他の検出結果によると、ラベルが小さいことで、卵Ｅの殻の突出した部分や、色が変化した部分を汚れと認識することができる。

【0060】

次に、深層学習プロセッサでのアクセラレーションについては、ニューラルネットワークを用いた演算を行うためのツールを採用して、モデルの推論と定量化を高速化し、実行することに成功した。定量化処理の後、モデルは深層学習プロセッサ上で２．３ｆｐｓの速度に達した。

【0061】

実験の結果、ＩＯＵを０．５に設定し、信頼度スコアを０．５に設定した場合に、最もすぐれた検出性能が得られることがわかった。さらに、ラベルの大きさが評価基準に与える影響についても考えられる。ラベルが小さすぎると、モデルが多くの正解データを認識してしまい、結果的にＦＮの数が増えてしまう。その結果、精度が落ちるだけでなく、リアルタイムの検出速度が遅くなってしまう可能性がある。ラベル付けの際には、特に小さい物体の場合、ターゲットのコア部分だけをラベル付けするのではなく、ターゲット周辺の情報も含めたスペースを残すことで、モデルのロバスト性や評価基準、特にｍＡＰやＰｒｅｃｉｓｉｏｎを向上させることができる。

【0062】

＜実験２：データセットを拡張した実験＞
モデルの汎用性を高めるために、卵のデータの再収集を行った。市販売されている卵の種類を考慮し、ピンク色の卵のデータの収集を追加した。本実験ではＫ－ｍｅａｎｓの手法を利用するとアンカーボックスを生成し、ＹＯＬＯｖ４で訓練した。また、新しいデータセットを用いてＹＯＬＯｖ３とＹＯＬＯｖ４を訓練し、実験結果と新しいアンカーボックスを用いてＹＯＬＯｖ４と比較、モデルの汎用性と精度の検証を行った。

【0063】

再収集データセットとして、訓練セット１６４９枚、検証セット４１１枚、テストデータ１８枚、全部で２０７８枚の画像を用意した。

【0064】

＜実験条件＞
重要なのは汚れた点の数ではなく、卵が汚れているかどうかである。１つの卵の殻に複数の汚れた点があったとしても、それは１つの汚れた卵にしか関与していないのである。この基準に従って、検証セットのデータを手動で計算し、前の実験基準と同様に、汚れた箇所が１つ以上ある卵を汚れたと判断した。三つのモデルでテストした実験結果を比較し、ＴＰ、ＦＰ、ＦＮ、Ｐｒｅｃｉｓｉｏｎ、ＲｅｃａｌｌとＦ１－ｓｃｏｒｅ評価指標を算出した。

【0065】

＜学習条件＞
学習回数：５００，５００回；
学習率：０．００１３；
バッチサイズ：１；
Ｍｏｍｅｎｔｕｍ ｐａｒａｍｅｔｅｒ：０．９４９；
Ｄｅｃａｙ ｃｏｅｆｆｉｃｉｅｎｔ：０．００５；

【0066】

＜実験結果＞
ＩｏＵを０．５、信頼度スコアを０．４、０．６、０．８にそれぞれ設定した。ＹＯＬＯｖ３の実験結果は表５に示している。

【表5】

【0067】

ＩｏＵを０．５、信頼度スコアを０．４、０．６、０．８にそれぞれ設定した。ＹＯＬＯｖ４の実験結果は表６に示している。

【表6】

【0068】

ＩｏＵを０．５、信頼度スコアを０．４、０．６、０．８にそれぞれ設定した。新しいアンカーボックスを用いたＹＯＬＯｖ４の実験結果は表７に示している。

【表7】

【0069】

表８には、実験１のＹＯＬＯｖ４モデル（ＹＯＬＯｖ４＿ｖｅｒ１）と実験２のアンカーボックスを用いたＹＯＬＯｖ４モデル（ＹＯＬＯｖ４＿ａｃ）それぞれに対して、実験２で得たテストデータを評価した結果を示す。

【表8】

【0070】

表５と表６を比較すると、ＩｏＵが０．５、信頼度スコアが０．４のときに最もＰｒｅｃｉｓｉｏｎが高く、信頼度スコアが高くになるにつれて、Ｐｒｅｃｉｓｉｏｎが低下しており、実験１の結果と一致している。しかし、表７では、信頼度スコアが０．４，０．６までは同様の傾向がみられるものの、０．８のときにＰｒｅｃｉｓｉｏｎが最大となった。

【0071】

Ｐｒｅｃｉｓｉｏｎだけでなく、Ｒｅｃａｌｌの指標も重要である。表５，６，７を比較すると、新しいアンカーボックスを用いたＹＯＬＯｖ４モデルで、信頼度スコアが０．４のときに最もよいＲｅｃａｌｌが得られる（表７）。これらのことから、汚れた卵を検出するために最適なパラメータ設定を、ＩｏＵが０．５、信頼度スコアが０．４とする。

【0072】

表８を見ると、モデル（ＹＯＬＯｖ４＿ｖｅｒ１）より、モデル（ＹＯＬＯｖ４＿ａｃ）のＰｒｅｃｉｓｉｏｎが約５％向上し、Ｒｅｃａｌｌ，Ｆ１－ｓｃｏｒｅについても大幅に改善された。この理由として、実験２ではデータセットが充実していたこと、アンカーボックスを利用したことが挙げられる。

【0073】

図１０、図１１、図１２はモデルＹＯＬＯｖ４＿ｖｅｒ１の評価結果である。それぞれ、図１０はピンク色の卵の検出結果で、図１１は赤色の卵の検出結果で、図１２は白色の卵の検出結果である。以上によると、アンカーボックスを用いたＹＯＬＯｖ４モデルは最もよいパフォーマンスを持つ。

【0074】

なお、本発明は上述した実施形態に限られない。

【0075】

システムは、図示した選別装置以外の卵Ｅの生産設備に適用してもよい。撮像部３は、トレイまたはパックなどの容器に入った状態の卵Ｅを撮影するものであってもよい。

【0076】

推定部４２は、汚れの種類まで分類しないものであってもよく、汚れの有無のみを推定するものであってもよい。

【0077】

今回開示された実施の形態は例示であってこれに制限されるものではない。本発明は上記で説明した範囲ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲でのすべての変更が含まれることが意図される。

【産業上の利用可能性】

【0078】

本発明は、卵の表面の欠陥を検出するシステムに利用することができる。

【符号の説明】

【0079】

１０…卵の選別装置
１１…第一搬送部
１２…第一検査部
１３…計量部
１４…第二搬送部
１５…第二検査部
１６…分配部
１７…第三搬送部
１８…上流側のゲート
１９…下流側のゲート
２…搬送部
３…撮像部
４…検査部
４１…画像取得部
４２…推定部
４３…記憶部
４４…特定部
４５…出力部
５…排除部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】