特開 2024-105954 品質管理方法、品質管理システム、及び品質管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024105954

(43)【公開日】2024-08-07

(54)【発明の名称】品質管理方法、品質管理システム、及び品質管理プログラム

(51)【国際特許分類】

   G01N 21/17 20060101AFI20240731BHJP

【ＦＩ】

G01N21/17 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023009969

(22)【出願日】2023-01-26

(71)【出願人】

【識別番号】720001060

【氏名又は名称】ヤンマーホールディングス株式会社

(74)【代理人】

【識別番号】100205350

【弁理士】

【氏名又は名称】狩野 芳正

(74)【代理人】

【識別番号】100117617

【弁理士】

【氏名又は名称】中尾 圭策

(72)【発明者】

【氏名】田中 徹士

【テーマコード（参考）】

2G059

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059BB11

2G059CC12

2G059EE01

2G059EE02

2G059EE13

2G059FF01

2G059KK04

2G059MM01

2G059MM05

(57)【要約】

【課題】搬送されている農産物を撮像した撮像画像から、搬送されている農産物の個数を検出する。
【解決手段】品質管理方法は、複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することを含む。また、品質管理方法は、撮像画像において、複数の農産物を表す農産物領域５６０の面積に基づき、搬送部において搬送された複数の農産物の個数を検出することを含む。複数の農産物の個数を検出することは、撮像画像において、撮像された農産物の領域の面積と、撮像された農産物の個数との関係を表す検量線４１５と、撮像画像における農産物領域５６０の面積とに基づき、複数の農産物の個数を検出することを含んでもよい。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することと、
前記撮像画像において、前記複数の農産物を表す農産物領域の面積に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出することと、
を含む品質管理方法。

【請求項2】

前記複数の農産物の個数を検出することは、
前記撮像画像において、撮像された農産物の領域の面積と、撮像された農産物の個数との関係を表す検量線と、前記撮像画像における前記農産物領域の面積とに基づき、前記複数の農産物の個数を検出すること
を含む請求項１に記載の品質管理方法。

【請求項3】

前記撮像画像を取得することは、
前記撮像画像を、前記農産物領域と、その他の領域とを区別した画像に修正すること
を含む請求項１に記載の品質管理方法。

【請求項4】

撮像された時間が異なる複数の前記撮像画像を、前記複数の農産物に含まれる各農産物が重複しないように合成した合成画像を生成すること
を含み、
前記複数の農産物の個数を検出することは、
前記合成画像に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出すること
を含む請求項１から３のいずれか１項に記載の品質管理方法。

【請求項5】

前記合成画像を生成することは、
前記複数の撮像画像のうち、撮像された時間が互いに隣接し、先に撮像された第１撮像画像と、後に撮像された第２撮像画像とを抽出することと、
前記第２撮像画像において、前記第１撮像画像に最も類似する類似範囲を決定することと、
前記第１撮像画像の前記複数の農産物が搬送される搬送方向の反対方向に、前記第２撮像画像から前記類似範囲より前記搬送方向の領域を除いた画像をつなげた前記合成画像を生成することと、
を含む請求項４に記載の品質管理方法。

【請求項6】

前記複数の農産物の個数を検出することは、
前記複数の農産物のうち、前記撮像画像に撮像された農産物の個別個数を検出することと、
検出された前記個別個数に、複数の前記撮像画像が撮像される間隔に農産物が搬送される搬送距離と、農産物が搬送される搬送方向において前記撮像画像に表される範囲の画像距離とに応じた係数を乗算して、前記複数の農産物の個数を検出することと、
を含む請求項１から３のいずれか１項に記載の品質管理方法。

【請求項7】

前記複数の農産物の個数を検出することは、
前記搬送部が農産物を搬送する搬送速度に基づき前記係数を決定すること
を含む請求項６に記載の品質管理方法。

【請求項8】

複数の農産物が搬送されている搬送部を撮像した撮像画像を取得する画像取得部と、
前記撮像画像において、前記複数の農産物を表す農産物領域の面積に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出する個数検出部と、
を備える品質管理システム。

【請求項9】

複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することと、
前記撮像画像において、前記複数の農産物を表す農産物領域の面積に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出することと、
を演算装置に実行させる品質管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、品質管理方法、品質管理システム、及び品質管理プログラムに関するものである。

【背景技術】

【0002】

圃場で収穫された農産物の品質の測定に、情報処理技術を用いる研究がなされている。

【0003】

例えば、特許文献１には、農産物が分散された搬送コンベア上を搬送されるときの画像に基づき、個々の農産物の品質を測定する評価方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３１１３３０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１の評価方法では、個々の農産物の品質を測定するために農産物を分散して配置する必要がある。このため、搬送コンベアに大量の農産物が搬送されると、互いの農産物が密着したり、重なったりすることで、特許文献１の評価方法では農産物の品質だけでなく個数を測定することが困難になる。また、特許文献１の評価方法は、搬送される農産物の各々を識別するため、処理負荷が大きい。

【0006】

上記の状況に鑑み、本開示は、搬送されている農産物を撮像した撮像画像から、搬送されている農産物の個数を検出することを目的の１つとする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。

【課題を解決するための手段】

【0007】

以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。

【0008】

上記目的を達成するための一実施の形態による品質管理方法は、複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することを含む。また、品質管理方法は、撮像画像において、複数の農産物を表す農産物領域（５６０）の面積に基づき、搬送部において搬送された複数の農産物の個数を検出することを含む。

【0009】

上記目的を達成するための一実施の形態による品質管理システム（１０００）は、画像取得部（２５０）と、個数検出部（２７０）とを備える。画像取得部（２５０）は、複数の農産物が搬送されている搬送部を撮像した撮像画像を取得する。個数検出部（２７０）は、撮像画像において、複数の農産物を表す農産物領域（５６０）の面積に基づき、搬送部において搬送された複数の農産物の個数を検出する。

【0010】

上記目的を達成するための一実施の形態による品質管理プログラム（４２０）は、複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することを演算装置（２２０）に実行させる。また、品質管理プログラム（４２０）は、撮像画像において、複数の農産物を表す農産物領域（５６０）の面積に基づき、搬送部において搬送された複数の農産物の個数を検出することを演算装置（２２０）に実行させる。

【発明の効果】

【0011】

上記の形態によれば、搬送されている農産物の個数を検出することができる。

【図面の簡単な説明】

【0012】

【図1】一実施の形態における品質管理システムの概略図である。

【図2】一実施の形態における品質管理装置の構成を説明するための図である。

【図3】一実施の形態における検量データを説明するための図である。

【図4】一実施の形態における品質管理システムが実行する機能ブロックを表す図である。

【図5】一実施の形態における品質管理システムにより、農産物の個数を検出するための処理を表すフローチャートである。

【図6A】一実施の形態において、先に撮像された第１撮像画像を表す図である。

【図6B】一実施の形態において、後に撮像された第２撮像画像を表す図である。

【図7】一実施の形態における品質管理システムにより、合成画像を生成するための処理を表すフローチャートである。

【図8】一実施の形態における合成画像を表す図である。

【図9】一実施の形態において、農産物の個数を検出する方法を説明するための図である。

【図10】一実施の形態における品質管理システムが実行する機能ブロックを表す図である。

【図11】一実施の形態における品質管理システムにより、農産物の個数を検出するための処理を表すフローチャートである。

【発明を実施するための形態】

【0013】

（実施の形態１）
本発明の本実施の形態による品質管理システム１０００を、図面を参照して説明する。本実施の形態において、図１に示すように、品質管理システム１０００は、撮像装置１００と、品質管理装置２００とを備える。

【0014】

収穫機３０は、圃場を移動しながら農産物、例えば野菜を収穫する。収穫機３０は、例えばトマト、ジャガイモ、キャベツなどを収穫する。収穫機３０は、例えば、拾い上げ揺動バー３１と、刈刃３２と、搬送コンベア３３と、揺動装置３４と、選別コンベア３５と、シュート３６とを備える。拾い上げ揺動バー３１は、圃場に栽培されている農産物と、その茎とを拾い上げる。拾い上げられた農産物と茎とは、刈刃３２により根と茎とを切断分離され、搬送コンベア３３により、揺動装置３４に搬送される。揺動装置３４は、農産物と茎とを分離し、農産物を選別コンベア３５に送り、茎を後方に排出する。選別コンベア３５は、収穫された農産物をシュート３６に搬送する。作業者は、選別コンベア３５により搬送される農産物を選別する。シュート３６に搬送された農産物は、伴走する車両に積載されたコンテナに送られる。

【0015】

撮像装置１００は、例えば、収穫機３０により収穫された農産物を撮像する。品質管理装置２００は、撮像装置１００が撮像した画像に基づき、農産物の個数を検出する。このように、品質管理システム１０００は、農産物を分散させずに農産物の個数を検出することができる。このため、品質管理システム１０００は、農産物を収穫する圃場において容易に農産物の個数を検出することができる。

【0016】

（品質管理システムの構成）
撮像装置１００は、収穫機３０に設置され、複数の農産物が搬送されている搬送部、例えば選別コンベア３５を撮像する。撮像装置１００は、有線通信または無線通信により、撮像された撮像情報、例えば静止画、動画などを品質管理装置２００に送信する。例えば、撮像装置１００は、選別コンベア３５が農産物を搬送する搬送面に直交する方向から選別コンベア３５を撮像する。撮像装置１００は、搬送面の直交方向に対して傾斜した方向から選別コンベア３５を撮像してもよい。撮像装置１００は、選別コンベア３５を撮像することで、選別コンベア３５上を搬送される複数の農産物を撮像する。

【0017】

品質管理装置２００は、図２に示すように、入出力装置２１０と、演算装置２２０と、通信装置２３０と、記憶装置２４０とを備える。品質管理装置２００は、例えば、コンピュータ、サーバ、タブレット、携帯電話などを含む。入出力装置２１０には、演算装置２２０が処理を実行するための情報が入力される。また、入出力装置２１０は、演算装置２２０が処理を実行した結果を出力する。入出力装置２１０は、様々な入力装置と出力装置とを含み、例えば、キーボード、マウス、マイク、ディスプレイ、スピーカー、タッチパネルなどを含む。

【0018】

通信装置２３０は、撮像装置１００に電気的に接続され、撮像装置１００との通信を行う。通信装置２３０は、撮像装置１００から取得する撮像情報を演算装置２２０に転送する。通信装置２３０は、例えば、無線ＬＡＮ（Local Area Network）やセルラーネットワークなどの無線通信に用いられる送受信機、ＮＩＣ（Network Interface Card）、ＵＳＢ（Universal Serial Bus）などの種々のインタフェースを含む。

【0019】

記憶装置２４０は、撮像装置１００により取得された撮像情報から農産物の個数を検出するための様々なデータ、例えば検量データ４１０と、品質管理プログラム４２０とを格納する。記憶装置２４０は、品質管理プログラム４２０を記憶する非一時的記憶媒体（non-transitory tangible storage medium）として用いられる。品質管理プログラム４２０は、コンピュータ読み取り可能な記憶媒体１に記録されたコンピュータプログラム製品(computer program product)として提供されてもよく、または、サーバからダウンロード可能なコンピュータプログラム製品として提供されてもよい。

【0020】

検量データ４１０は、農産物が撮像された撮像画像における農産物の領域を表す農産物領域の面積と、撮像された農産物の個数との関係を表す。例えば、検量データ４１０は、図３に示すように、実際に撮像された撮像画像において、農産物領域の面積、例えばピクセル数と、農産物の個数とを表す実測値４１１を格納する。また、検量データ４１０は、実測値４１１から決定される検量線４１５を表す情報を格納してもよい。検量データ４１０は、実測値４１１を含まず、検量線４１５を表す情報を格納してもよい。検量線４１５は、例えば、農産物領域の面積から農産物の個数を決定する関数で表されてもよく、農産物領域の面積から農産物の個数を決定する対応表で表されてもよい。

【0021】

図２に示す演算装置２２０は、品質管理プログラム４２０を記憶装置２４０から読み出し実行して、撮像情報から農産物の個数を検出するための様々なデータ処理を行う。例えば、演算装置２２０は、中央演算処理装置（ＣＰＵ；Central Processing Unit）などを含む。

【0022】

演算装置２２０は、品質管理プログラム４２０を読み出し実行することで、図４に示すように、画像取得部２５０と、画像合成部２６０と、個数検出部２７０と、出力部２８０とを実現する。画像取得部２５０は、撮像装置１００により取得された撮像情報から撮像画像を取得する。画像合成部２６０は、撮像画像を、各農産物が重複しないように合成して、１つの合成画像を生成する。個数検出部２７０は、合成画像に基づき、選別コンベア３５により搬送される複数の農産物の個数を検出する。出力部２８０は、検出した農産物の個数を表す個数情報を出力する。例えば、出力部２８０は、入出力装置２１０に農産物の個数を表示する。

【0023】

（品質管理システムの動作）
品質管理システム１０００が収穫機３０により収穫された農産物の個数を検出する方法を説明する。図１に示すように、収穫機３０により収穫された農産物は、選別コンベア３５上を搬送され、伴走する車両のコンテナに送られる。品質管理システム１０００の撮像装置１００は、農産物が選別コンベア３５上を搬送されるとき、品質管理方法の一部である図５に示す処理を開始する。なお、品質管理装置２００の演算装置２２０は、収穫機３０による収穫が開始されるとき、品質管理プログラム４２０を読み出し実行する。

【0024】

ステップＳ１１０において、撮像装置１００は、農産物が搬送される搬送部、例えば選別コンベア３５を撮像する。撮像装置１００は、搬送部を撮像した情報を表す撮像情報を品質管理装置２００に送信する。例えば、撮像装置１００は、所定の時間間隔、例えば１０秒間隔で、搬送部を静止画として撮像する。また、撮像装置１００は、搬送部を動画として撮像する。撮像装置１００は、撮像情報、例えば複数の静止画、動画などを表す情報を品質管理装置２００に送信する。ここで、撮像装置１００は、選別コンベア３５に限定されず、農産物を搬送する任意の部分を撮像してもよい。また、撮像装置１００は、収穫機３０に含まれない搬送部を撮像してもよい。

【0025】

ステップＳ１２０において、品質管理装置２００の画像取得部２５０は、撮像情報に基づき、搬送される農産物が撮像された撮像画像を取得する。例えば、撮像情報が異なる時刻に撮像された複数の静止画を表すとき、画像取得部２５０は、複数の静止画を複数の撮像画像として取得する。また、撮像情報が搬送部を撮像した動画を表すとき、画像取得部２５０は、動画から複数の静止画を取得する。例えば、画像取得部２５０は、動画の開始時刻から所定の時間経過したときに表される画像を複数の撮像画像として取得する。例えば、画像取得部２５０は、５秒間隔で表される画像、例えば動画の開始から５秒経過したときに表される画像、１０秒経過したときに表される画像などを撮像画像として取得する。

【0026】

画像取得部２５０は、取得された各撮像画像において、農産物が撮像されている領域を表す農産物領域を抽出し、農産物領域と、その他の領域とを区別した画像、例えば２値化した画像に修正する。例えば、画像取得部２５０は、撮像画像において、農産物の色情報を表す領域を農産物領域として抽出する。例えば、画像取得部２５０は、撮像画像の各位置、例えば画素の色情報に基づき、農産物領域を抽出する。例えば、画像取得部２５０は、所定の色を表す画素を、農産物領域に含まれる画素として抽出する。例えば、画像取得部２５０は、画素に表される色の色相と、明度と、彩度とが所定の範囲に含まれる領域、例えば色相が赤色を表す領域を農産物、例えばトマトが撮像されている農産物領域として抽出する。例えば、画像取得部２５０は、図６Ａに示すように、撮像画像を、農産物領域５６０に含まれる画素と、その他の領域に含まれる画素とを異なる値に設定した２値化された画像に修正する。

【0027】

ステップＳ１３０において、画像合成部２６０は、複数の撮像画像から、撮像された農産物が重複しないように合成された１つの合成画像を生成する。例えば、画像合成部２６０は、図７に示す処理を実行して、合成画像を生成する。

【0028】

ステップＳ１３１において、画像合成部２６０は、取得された複数の撮像画像から、撮像された時間を表す撮像時間が隣接する２つの撮像画像を抽出する。例えば、画像合成部２６０は、最初に撮像された撮像画像と、２番目に撮像された撮像画像とを２つの撮像画像として抽出する。

【0029】

ステップＳ１３２において、画像合成部２６０は、抽出された２つの撮像画像のうち、後に撮像された撮像画像において、先に撮像された撮像画像と類似する類似範囲を決定する。例えば、図６Ａに示すように、第１撮像画像５１０が先に撮像され、図６Ｂに示すように、第２撮像画像５２０が第１撮像画像５１０の次に撮像されたとする。この場合、画像合成部２６０は、第２撮像画像５２０において、第１撮像画像５１０に類似する類似範囲５３０を決定する。例えば、画像合成部２６０は、２値化された第１撮像画像５１０に含まれる第１画素の値と、２値化された類似範囲５３０において第１画素に対応する位置の第２画素の値とを比較する。画像合成部２６０は、第２撮像画像５２０において類似範囲５３０を移動して、第１画素の値と等しい値を有する第２画素の数量が最も大きい類似範囲５３０を決定する。画像合成部２６０は、決定された類似範囲５３０を、第２撮像画像５２０において第１撮像画像５１０に最も類似する範囲として決定する。ここで、類似範囲５３０の大きさは、第１撮像画像５１０と同じ大きさを表す。

【0030】

図７に示すステップＳ１３３において、画像合成部２６０は、後に撮像された撮像画像、例えば第２撮像画像５２０において、類似範囲５３０より搬送方向の領域を除外した切抜画像を決定する。例えば、図６Ｂに示すように、第２撮像画像５２０において、農産物が搬送される方向を表す搬送方向が上方向だとする。この場合、例えば、画像合成部２６０は、類似範囲５３０のうち搬送方向の反対方向の辺を通る直線を表す切抜線５３５を決定する。画像合成部２６０は、第２撮像画像５２０において、切抜線５３５より搬送方向の領域を除外して、切抜画像５４０を決定する。

【0031】

図７に示すステップＳ１３４において、画像合成部２６０は、切抜画像５４０を用いて合成画像を生成する。例えば、この処理において合成画像を生成していないとき、図８に示すように、画像合成部２６０は、先に撮像された撮像画像、例えば第１撮像画像５１０の搬送方向の反対方向に、切抜画像５４０をつなげて、合成画像５５０を生成する。また、この処理において合成画像５５０を生成しているとき、画像合成部２６０は、生成された合成画像５５０の搬送方向の反対方向に、切抜画像５４０をつなげて、合成画像５５０を生成する。

【0032】

図７に示すステップＳ１３５において、画像合成部２６０は、すべての撮像画像を抽出して合成画像５５０を生成したか否かを判定する。複数の撮像画像のうち、抽出していない撮像画像が残っているとき、画像合成部２６０は、ステップＳ１３１の処理に戻り、１回前の処理において抽出された後に撮像された撮像画像、例えば第２撮像画像５２０を、先に撮像された撮像画像、例えば第１撮像画像５１０として処理を繰り返す。このように、画像合成部２６０は、各農産物が重複しないように合成した１つの合成画像５５０を生成する。すべての撮像画像が抽出されているとき、合成画像５５０を生成する処理が終了され、図５に示すステップＳ１４０の処理が実行される。

【0033】

ステップＳ１４０において、個数検出部２７０は、検量データ４１０と合成画像５５０とに基づき、農産物の個数を検出する。例えば、個数検出部２７０は、検量データ４１０に基づき、合成画像５５０に撮像された農産物の個数を検出する。例えば、最初に、個数検出部２７０は、合成画像５５０に撮像された農産物の領域を表す農産物領域５６０の面積を決定する。例えば、個数検出部２７０は、図８に示すように、合成画像５５０において、農産物領域５６０の面積を決定する。例えば、個数検出部２７０は、合成画像５５０において、農産物領域５６０に含まれる画素の画素数を決定する。

【0034】

次に、個数検出部２７０は、検量データ４１０に基づき、農産物領域５６０の面積から、合成画像５５０に撮像された農産物の個数を決定する。例えば、個数検出部２７０は、検量データ４１０に基づき、農産物領域５６０の面積に対応する農産物の個数を、合成画像５５０に撮像された農産物の個数として決定する。例えば、個数検出部２７０は、図３に示すように、検量データ４１０に表される検量線４１５を用いて、農産物領域５６０に対応する農産物の個数を決定する。

【0035】

図５に示すステップＳ１５０において、出力部２８０は、決定された農産物の個数を表す個数情報を出力する。例えば、出力部２８０は、品質管理装置２００の入出力装置２１０に、決定された農産物の個数を表示する。作業者は、入出力装置２１０に表示された農産物の個数を閲覧することで、収穫機３０により収穫された農産物の個数を確認することができる。このため、作業者は、農産物を収穫する圃場において、収穫された農産物の個数を確認することができる。

【0036】

（実施の形態２）
品質管理システム１０００の撮像装置１００は、複数の撮像画像に撮像された農産物が他の撮像画像に撮像された農作物と重複しないように、搬送部を撮像してもよい。例えば、図９に示すように、撮像装置１００は、第１撮像画像５１０を撮像した後に、搬送部が農産物を搬送距離６００だけ移動したときに第２撮像画像５２０を撮像してもよい。例えば、撮像装置１００が撮像する範囲において、搬送方向における距離を表す画像距離６１０は、撮像装置１００により撮像される時間の間隔において農産物が搬送される搬送距離６００より短くてもよい。この場合、撮像装置１００は、画像距離６１０より長い搬送距離６００だけ農産物が搬送される時間の間隔で、搬送部を撮像する。このため、撮像装置１００は、第２撮像画像５２０により撮像される範囲は第１撮像画像５１０により撮像される範囲から画像間隔６２０だけ離れている。このため、撮像装置１００により撮像されない農産物が含み得る。この場合、品質管理システム１０００は、撮像画像に撮像された農産物の個数に基づき、収穫された農産物の個数を決定する。

【0037】

（品質管理システムの構成）
品質管理システム１０００は、実施の形態１と同様に、撮像装置１００と、品質管理装置２００とを備える。撮像装置１００の構成は、実施の形態１と同様のため、詳細な説明を省略する。

【0038】

品質管理装置２００は、実施の形態１と同様に、入出力装置２１０と、演算装置２２０と、通信装置２３０と、記憶装置２４０とを備える。入出力装置２１０と、通信装置２３０と、記憶装置２４０とは、実施の形態１と同様のため、詳細な説明を省略する。

【0039】

演算装置２２０は、実施の形態１と同様に、品質管理プログラム４２０を記憶装置２４０から読み出し実行して、撮像情報から農産物の個数を検出するための様々なデータ処理を行う。演算装置２２０は、品質管理プログラム４２０を読み出し実行することで、図１０に示すように、画像取得部２５０と、個数検出部２７０と、出力部２８０と、全体個数検出部２９０とを実現する。画像取得部２５０は、実施の形態１と同様に、撮像装置１００により取得された撮像情報から撮像画像を取得する。個数検出部２７０は、撮像画像に基づき、各撮像画像に撮像された農産物の個数を検出する。全体個数検出部２９０は、検出された各撮像画像に撮像された農産物の個数に基づき、選別コンベア３５により搬送される農産物の個数を検出する。出力部２８０は、実施の形態１と同様に、検出した農産物の個数を表す個数情報を出力する。

【0040】

（品質管理システムの動作）
品質管理システム１０００が収穫機３０により収穫された農産物の個数を検出する方法を説明する。実施の形態１と同様に、品質管理システム１０００の撮像装置１００は、農産物が選別コンベア３５上を搬送されるとき、品質管理方法の一部である図１１に示す処理を開始する。ステップＳ１１０の処理と、ステップＳ１２０の処理とは、実施の形態１と同様のため、詳細な説明を省略する。

【0041】

ステップＳ１４０Ｂにおいて、個数検出部２７０は、検量データ４１０に基づき、各撮像画像に撮像された農産物の個数を個別個数として検出する。例えば、個数検出部２７０は、検量データ４１０に基づき、各撮像画像に撮像された農産物の個数を検出する。例えば、最初に、個数検出部２７０は、各撮像画像に撮像された農産物の領域を表す農産物領域５６０の面積、例えば農産物領域５６０に含まれる画素の画素数を決定する。

【0042】

次に、個数検出部２７０は、検量データ４１０に基づき、農産物領域５６０の面積から、各撮像画像に撮像された農産物の個数を決定する。例えば、個数検出部２７０は、検量データ４１０に基づき、農産物領域５６０の面積に対応する農産物の個数を、各撮像画像に撮像された農産物の個数として決定する。例えば、個数検出部２７０は、図３に示すように、検量データ４１０に表される検量線４１５を用いて、農産物領域５６０に対応する農産物の個数を決定する。

【0043】

ステップＳ１４５において、全体個数検出部２９０は、各撮像画像に撮像された農産物の個数に基づき、搬送部を搬送される農産物全体の個数、例えば収穫された農産物の個数を検出する。例えば、全体個数検出部２９０は、各撮像画像に撮像された農産物の個数の合計を決定し、決定された合計に予め決められた係数を乗算することで、収穫された農産物の個数を検出する。また、全体個数検出部２９０は、各撮像画像に撮像された農産物の個数に係数を乗算して、各撮像画像に対応する搬送距離６００における個数を決定し、決定された搬送距離６００における個数の合計を収穫された農産物の個数として検出してもよい。ここで、係数は、図９に示す搬送距離６００と、画像距離６１０とに応じた値を表す。例えば、係数は、搬送距離６００を画像距離６１０で除算した値でもよい。

【0044】

図１１に示すステップＳ１５０において、出力部２８０は、決定された農産物の個数を表す個数情報を出力する。ステップＳ１５０の処理は、実施の形態１と同様のため、詳細な説明を省略する。

【0045】

このように、撮像装置１００は、複数の撮像画像に撮像された農産物が他の撮像画像に撮像された農産物と重複しないように、搬送部を撮像してもよい。また、撮像装置１００が複数の撮像画像に撮像された農産物が他の撮像画像に撮像された農産物と重複するように搬送部を撮像しても、品質管理システム１０００は、図１１に示す処理を実行して、農産物の個数を決定してもよい。この場合、係数は、「１」より小さい値を表す。

【0046】

（変形例）
実施の形態において説明した構成は一例であり、機能を阻害しない範囲で構成を変更することができる。例えば、図５に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０は、任意の方法で、各撮像画像において、農産物領域５６０を抽出してもよい。例えば、画像取得部２５０は、各撮像画像の画素に表される階調値、例えば赤色の階調値と、緑色の階調値と、青色の階調値とが、農産物、例えばトマトの色彩を表すとき、対応する画素が農産物領域５６０に含まれると判定してもよい。ここで、農産物の色彩を表す画素に表される階調値の範囲は、予め決められている。

【0047】

例えば、図５に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０が、撮像画像を、農産物領域５６０とその他の領域とを区別した画像、例えば２値化した画像に修正する例を示したが、これに限定されない。例えば、農産物領域５６０とその他の領域とを区別した画像は、ステップＳ１３０において合成画像５５０を生成した後、かつ、ステップＳ１４０の前に生成されてもよい。

【0048】

この場合、図７に示すステップＳ１３２において、画像合成部２６０は、２値化前の２つの撮像画像、例えばカラー画像のうち、後に撮像された撮像画像において、先に撮像された撮像画像と類似する類似範囲５３０を決定する。例えば、画像合成部２６０は、第１撮像画像５１０と、第２撮像画像５２０の類似範囲５３０との類似度を決定する。画像合成部２６０は、決定された類似度が最も大きくなる類似範囲５３０を、第１撮像画像５１０に最も類似する範囲として決定する。ここで、類似度は、例えば、第１撮像画像５１０に含まれる第１画素の値と、第２撮像画像５２０の類似範囲５３０において第１画素に対応する位置の第２画素の値との差に基づき決定されてもよい。その他の処理は、実施の形態１と同様に実行される。

【0049】

また、画像合成部２６０が２値化前の撮像画像に基づき合成画像５５０を生成するとき、品質管理装置２００は、合成画像５５０を２値化することなく、農産物の個数を検出してもよい。例えば、図５に示すステップＳ１４０において、個数検出部２７０は、合成画像５５０の各位置、例えば画素の色情報に基づき、農産物領域５６０を抽出し、抽出した農産物領域５６０の面積を決定する。個数検出部２７０は、決定された農産物領域５６０の面積と、検量データ４１０とに基づき、農産物の個数を決定する。

【0050】

同様に、図１１に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０は、撮像画像を、農産物領域５６０とその他の領域とを区別した画像に修正しなくてもよい。この場合、ステップＳ１４０Ｂにおいて、個数検出部２７０は、各撮像画像の各位置、例えば画素の色情報に基づき、農産物領域５６０を抽出し、抽出した農産物領域５６０の面積を決定する。個数検出部２７０は、決定された各撮画像における農産物領域５６０の面積と、検量データ４１０とに基づき、各撮像画像における農産物の個数を決定する。

【0051】

品質管理システム１０００が個数を検出する農産物は、圃場で栽培される任意の農産物を表してもよい。例えば、農産物がジャガイモであるとき、図５または図１１に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０は、各撮像画像において、ジャガイモの色情報を表す画素を、農産物領域５６０に含まれる画素として抽出する。また、農産物がキャベツであるとき、図５または図１１に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０は、各撮像画像において、キャベツの色情報を表す画素を、農産物領域５６０に含まれる画素として抽出する。このように、品質管理システム１０００は、任意の農産物について、収穫された農産物の個数を検出することができる。

【0052】

また、品質管理システム１０００は、ユーザにより指定した農産物について、収穫された個数を検出してもよい。例えば、ユーザは、図２に示す品質管理装置２００の入出力装置２１０に、収穫する農産物を指定する操作を入力する。図５または図１１に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０は、入力された農産物に対応する色情報を表す領域を農産物領域５６０として抽出してもよい。

【0053】

また、撮像装置１００により１つの撮像画像が撮像されたとき、品質管理システム１０００は、１つの撮像画像に撮像された農産物の個数を検出してもよい。この場合、図５に示すステップＳ１２０において、品質管理装置２００の画像取得部２５０は、１つの撮像画像を取得する。ステップＳ１３０は省略され、ステップＳ１４０において、個数検出部２７０は、取得された撮像画像と、検量データ４１０とに基づき、農産物の個数を検出する。また、この場合、検量データ４１０は、撮像画像における農産物領域５６０の比率と、農産物の個数との関係を表してもよい。

【0054】

また、図５に示すステップＳ１４０または図１１に示すステップＳ１４０Ｂにおいて、品質管理装置２００の個数検出部２７０は、任意の方法で、撮像画像に撮像された農産物の個数を検出してもよい。例えば、個数検出部２７０は、１つの農産物の領域を検出するように学習された学習モデルを用いて、農産物の個数を検出してもよい。例えば、学習モデルは、撮像画像に撮像された１つの産物の領域を検出する。個数検出部２７０は、学習モデルより検出された領域の個数を、撮像画像に撮像された農産物の個数として検出する。

【0055】

また、図１１に示すステップＳ１４５において、品質管理装置２００の全体個数検出部２９０は、搬送部、例えば選別コンベア３５が農産物を搬送する速度を表す搬送速度に基づき、決定されてもよい。例えば品質管理装置２００は、搬送速度を、収穫機３０から無線通信または有線通信により取得してもよい。また、搬送速度は、ユーザにより入出力装置２１０に入力されてもよい。

【0056】

以上において説明した実施の形態および変形例は一例であり、各実施の形態および変形例で説明した構成は、機能を阻害しない範囲で、任意に変更してもよく、または／および、任意に組み合わせてもよい。さらに、必要となる機能を実現できれば、実施の形態および変形例で説明した一部の機能を省略してもよい。例えば、撮像装置１００は、品質管理装置２００に組み込まれてもよい。品質管理システム１０００は、撮像装置１００を含まず、搬送部を撮する外部の撮像装置から、農産物を撮像した撮像情報を取得してもよい。

【0057】

また、品質管理システム１０００は、品質管理装置２００と通信可能なサーバを備え、品質管理装置２００の処理の一部またはすべてをサーバにおいて実行されてもよい。例えば、サーバは、品質管理装置２００とネットワーク、例えばインターネットを介して通信を行う。品質管理装置２００は、撮像装置１００により撮像された撮像情報をサーバに転送する。サーバは、図５または図１１に示す処理を実行して、個数情報を品質管理装置２００に出力する。品質管理装置２００は、入出力装置２１０に個数情報を表示する。

【0058】

（付記）
各実施の形態で記載した品質管理方法と、品質管理システムと、品質管理プログラムとは以下のように言うことができる。

【0059】

第１の態様に係る品質管理方法は、
複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することと、
前記撮像画像において、前記複数の農産物を表す農産物領域の面積に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出することと、
を含む。

【0060】

第２の態様に係る品質管理方法は、第１の態様に係る品質管理方法であって、
前記複数の農産物の個数を検出することは、
前記搬送部を撮像した画像において、撮像された農産物の領域の面積と、撮像された農産物の個数との関係を表す検量線と、前記撮像画像における前記農産物領域の面積とに基づき、前記複数の農産物の個数を検出すること
を含む。

【0061】

第３の態様に係る品質管理方法は、第１または第２の態様に係る品質管理方法であって、
前記撮像画像を取得することは、
前記撮像画像を、前記農産物領域と、その他の領域とを区別した画像に修正すること
を含む。

【0062】

第４の態様に係る品質管理方法は、第１から第３の態様のいずれか１つに係る品質管理方法であって、
撮像された時間が異なる複数の前記撮像画像を、前記複数の農産物に含まれる各農産物が重複しないように合成した合成画像を生成すること
を含み、
前記複数の農産物の個数を検出することは、
前記合成画像に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出すること
を含む。

【0063】

第５の態様に係る品質管理方法は、第４の態様に係る品質管理方法であって、
前記合成画像を生成することは、
前記複数の撮像画像のうち、撮像された時間が互いに隣接し、先に撮像された第１撮像画像と、後に撮像された第２撮像画像とを抽出することと、
前記第２撮像画像において、前記第１撮像画像に最も類似する類似範囲を決定することと、
前記第１撮像画像の前記複数の農産物が搬送される搬送方向の反対方向に、前記第２撮像画像から前記類似範囲より前記搬送方向の領域を除いた画像をつなげた前記合成画像を生成することと、
を含む。

【0064】

第６の態様に係る品質管理方法は、第１から第３の態様のいずれか１つに係る品質管理方法であって、
前記複数の農産物の個数を検出することは、
前記複数の農産物のうち、前記撮像画像に撮像された農産物の個別個数を検出することと、
検出された前記個別個数に、複数の前記撮像画像が撮像される間隔に農産物が搬送される搬送距離と、農産物が搬送される搬送方向において前記撮像画像に表される範囲の画像距離とに応じた係数を乗算して、前記複数の農産物の個数を検出することと、
を含む。

【0065】

第７の態様に係る品質管理方法は、第６の態様に係る品質管理方法であって、
前記複数の農産物の個数を検出することは、
前記搬送部が農産物を搬送する搬送速度に基づき前記係数を決定すること
を含む。

【0066】

第８の態様に係る品質管理システムは、
複数の農産物が搬送されている搬送部を撮像した撮像画像を取得する画像取得部と、
前記撮像画像において、前記複数の農産物を表す農産物領域の面積に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出する個数検出部と、
を備える。

【0067】

第９の態様に係る品質管理プログラムは、
複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することと、
前記撮像画像において、前記複数の農産物を表す農産物領域の面積に基づき、前記搬送部において搬送された前記複数の農産物の個数を検出することと、
を演算装置に実行させる。

【0068】

第１０の態様に係る品質管理方法は、
複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することと、
前記複数の農産物のうち、前記撮像画像に撮像された農産物の個別個数を検出することと、
検出された個別個数に、複数の前記撮像画像が撮像される間隔に農産物が搬送される搬送距離と、農産物が搬送される搬送方向において前記撮像画像に表される範囲の画像距離とに応じた係数を乗算して、前記搬送部において搬送された前記複数の農産物の個数を検出することと、
を含む。

【0069】

第１１の態様に係る品質管理システムは、
複数の農産物が搬送されている搬送部を撮像した撮像画像を取得する画像取得部と、
前記複数の農産物のうち、前記撮像画像に撮像された農産物の個別個数を検出する個数検出部と、
検出された前記個別個数に、複数の前記撮像画像が撮像される間隔に農産物が搬送される搬送距離と、農産物が搬送される搬送方向において前記撮像画像に表される範囲の画像距離とに応じた係数を乗算して、前記搬送部において搬送された前記複数の農産物の個数を検出する全体個数検出部と、
を備える。

【0070】

第１２の態様に係る品質管理プログラムは、
複数の農産物が搬送されている搬送部を撮像した撮像画像を取得することと、
前記複数の農産物のうち、前記撮像画像に撮像された農産物の個別個数を検出することと、
検出された前記個別個数に、複数の前記撮像画像が撮像される間隔に農産物が搬送される搬送距離と、農産物が搬送される搬送方向において前記撮像画像に表される範囲の画像距離とに応じた係数を乗算して、前記搬送部において搬送された前記複数の農産物の個数を検出することと、
を演算装置に実行させる。

【符号の説明】

【0071】

１ ：記憶媒体
３０ ：収穫機
３１ ：拾い上げ揺動バー
３２ ：刈刃
３３ ：搬送コンベア
３４ ：揺動装置
３５ ：選別コンベア（搬送部）
３６ ：シュート
１００ ：撮像装置
２００ ：品質管理装置
２１０ ：入出力装置
２２０ ：演算装置
２３０ ：通信装置
２４０ ：記憶装置
２５０ ：画像取得部
２６０ ：画像合成部
２７０ ：個数検出部
２８０ ：出力部
２９０ ：全体個数検出部
４１０ ：検量データ
４１１ ：実測値
４１５ ：検量線
４２０ ：品質管理プログラム
５１０ ：第１撮像画像
５２０ ：第２撮像画像
５３０ ：類似範囲
５３５ ：切抜線
５４０ ：切抜画像
５５０ ：合成画像
５６０ ：農産物領域
６００ ：搬送距離
６１０ ：画像距離
６２０ ：画像間隔
１０００ ：品質管理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】