(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明はこのような事情に鑑みてなされたものであり、集合状態の多数の構成部分を有する農作物の外観を的確に認識し農作物を選定する農作物選定装置及び農作物選定方法の提供を目的とするものである。
【課題を解決するための手段】
【0007】
上記課題を解決するためになされた本発明の農作物選定装置は、集合状態の多数の構成部分を有する農作物を撮像する撮像部と、農作物の選定の基準となる選定基準データを記憶する記憶部と、上記撮像部により撮像された画像から農作物の外観データを抽出する外観抽出手段、及びこの外観抽出手段により抽出された外観データと上記選定基準データとを比較することで農作物を選定する選定手段を有する処理部とを備え、上記外観抽出手段が、上記画像から上記構成部分を認識し、上記選定手段が、認識した構成部分のデータと上記選定基準データとを比較することで農作物を選定する。
【0008】
当該農作物選定装置にあっては、撮像部が、集合状態が多数の構成部分を有する農作物を撮像し、処理部が、撮像部により撮像された画像から農作物の構成部分を認識することで、農産物の外観を構成部分ごとに把握することができる。これにより、この構成部分のデータと記憶部に記憶され農作物の選定の基準となる選定基準データとを比較することにより、農産物を的確に選定することができる。
【0009】
また、上記外観抽出手段が、農作物をワイヤーフレーム技法により表現し、上記選定手段が、表現された農作物のワイヤーフレームと上記選定基準データとを比較することで農作物を選定することが好ましい。農作物をワイヤーフレーム技法により表現することにより、農作物の構成部分の連なり状態を把握できるため、農作物の構成部分の密度、バラツキ度合等を認識することができ、農産物を選定する際の選定基準にこれらの情報を利用することができる。
【0010】
さらに、上記選定手段が、上記ワイヤーフレームの本数と上記選定基準データとを比較することで農作物を選定することが好ましい。ワイヤーフレームの本数から農作物の連なり状態にある構成部分の数を認識することができるため、農作物の構成部分の密度を認識することができる。
【0011】
また、上記選定手段が、領域ごとに区分けしたワイヤーフレームの本数と上記選定基準データとを比較することで農作物を選定することが好ましい。ワイヤーフレームの本数を農産物の領域ごとに区分けし、その数を算出することで、農作物の領域ごとに連なり状態にある構成部分の数を認識することができるため、領域ごとに構成部分の密度を認識することができる。
【0012】
上記選定手段が、上記ワイヤーフレームの端部の個数と上記選定基準データとを比較することで農作物を選定することが好ましい。ワイヤーフレームの端部の個数から農作物の構成部分の連なり状態が途切れている箇所の数を把握することができるため、農作物の構成部分のバラツキ度合を認識することができる。
【0013】
また、上記選定手段が、上記ワイヤーフレームのフレーム長さと上記選定基準データとを比較することで農作物を選定することが好ましい。ワイヤーフレームのフレーム長さから連なり状態にある農作物の構成部分同士間の距離を把握することができるため、農作物の構成部分の密度を認識することができる。
【0014】
また、当該農作物選定装置にあっては、上記処理部が、上記選定手段により選定された農作物の外観データを学習し上記選定基準データを更新する学習手段をさらに有することが好ましい。かかる構成により、農作物を選定した過去の選定結果を参考にして農作物を選定することができ、農作物選定の精度を高めることができる。
【0015】
また、上記選定手段が、上記構成部分の色情報と上記選定基準データとを比較することで農作物を選定することが好ましい。農作物の構成部分の色情報と選定基準データとを比較することにより、構成部分ごとの色情報に基づいて農作物の選定を的確にすることができる。
【0016】
さらに、上記選定手段が、上記構成部分の画像の面積情報と上記選定基準データとを比較することで農作物を選定することが好ましい。農作物の構成部分の面積情報と選定基準データとを比較することに、構成部分ごとの面積のバラツキ状態を認識することができ、農作物を選定することができる。
【0017】
また、当該農作物選定装置においては、上記選定手段が、上記農作物全体の画像の面積情報を農作物選定の参考情報として用いることが好ましい。農作物全体の画像の面積情報を農作物選定の参考情報として用いることにより、農作物全体の面積からも農作物の選定をすることができる。
【0018】
また、本発明に係る農作物を選定する農作物選定方法は、集合状態の多数の構成部分を有する農作物を撮像するステップと、撮像された画像から農作物の外観データを農作物選定装置の処理部が抽出するステップと、農作物選定装置の記憶部に記憶された選定基準データと上記抽出された農作物の外観データとを比較することで農作物を上記処理部が選定するステップとを有し、
上記外観データ抽出ステップで、撮像された画像から上記構成部分を認識し、
上記選定ステップで、認識した構成部分のデータと上記選定基準データとを比較することで農作物を選定する。
【0019】
当該農作物選定方法にあっては、集合状態の多数の構成部分を有する農作物を撮像し、撮像された農作物の画像から農作物の構成部分を農作物選定装置の処理部が認識することで、農産物の外観を構成部分ごとに把握することができる。これにより、この構成部分のデータと農作物選定装置の記憶部に記憶された選定基準データとを比較することにより、農作物を的確に選定することができる。
【0020】
なお、「ワイヤーフレームの端部」とは、ワイヤーフレーム技法により表現された直線が他の直線と交わらず途切れている部分を意味する。「ワイヤーフレームのフレーム長さ」とは、ワイヤーフレーム技法により表現されたそれぞれの直線の長さを意味する。
【発明の効果】
【0021】
以上説明したように、本発明の農作物を選定する農作物選定装置及び農作物選定方法は、集合状態の多数の構成部を有する農作物の外観を的確に認識し農作物を選定する。
【発明を実施するための形態】
【0023】
以下、図面を参酌しつつ本発明の実施の形態を説明する。
【0024】
図1に示すように、当該農作物選定装置1は、撮像部2、情報処理装置3及び載置台4を有する。この載置台4に、選定対象物である農作物5が載置される。
【0025】
<撮像部2>
撮像部2は、選定対象物の農作物5を撮像する。撮像部2は、CCDカメラ等の公知の装置を採用することができ、撮像部2で撮像された画像は、情報処理装置3に送られる。また、撮像部2は、選定対象物の農作物5を的確に撮像するため、農作物5を照射する光源を備えることができる。
【0026】
<情報処理装置3>
情報処理装置3は、処理部31及び記憶部32を有する。情報処理装置3は、具体的にはコンピューターであり、撮像部2により撮像された画像から農作物5の特徴を抽出し、農作物5を選定する。また、情報処理装置3は、抽出した農作物5の特徴及び選定した結果を学習し、学習した情報を農作物5の選定に利用する。
【0027】
情報処理装置3は、外観抽出手段31a、選定手段31b及び学習手段31cを備えている。なお、処理部31は、後述する記憶部32に記憶されたプログラムに基づいて、外観抽出手段31a、選定手段31b及び学習手段31cの各種手段として機能する。
【0028】
外観抽出手段31aは、撮像部2により撮像された画像から農作物5の外観の特徴の情報を有する外観データを抽出する。
【0029】
選定手段31bは、外観抽出手段31aにより抽出された農作物5の外観データから農作物5を選定する。農作物5を選定するに際しては、外観抽出手段31aにより抽出され農作物5の外観の特徴の情報を有する外観データと記憶部32に記憶される選定基準データとを比較することにより、農作物5を選定する。
【0030】
また、農作物5を選定した結果は、情報処理装置5から出力され、農作物5が仕分けられる。農作物の仕分け方法は、特に限定されないが、載置台4に出力情報が送信され載置台4が自動で農作物5を振り分けてもよく、また、検査担当者が、情報処理装置3からの出力情報を確認して農作物5を振り分けてもよい。なお、選定結果としては、二種類(例えば良品/不良品)とすることもでき、または三種類以上(例えば農作物の等級等)とすることも適宜設計変更可能である。
【0031】
学習手段31cは、外観抽出手段31aにより抽出された外観データ及び選定手段31bにより選定された選定結果を学習し、選定基準データを更新する。
【0032】
記憶部32は、外観データ及び選定基準データを記憶する。外観データは、上述のように外観抽出手段31aにより抽出されたものが記憶される。また、選定基準データは、検査担当者により作成及び更新され、また学習手段31cにより更新される。
【0033】
また、記憶部32は、外観抽出手段31a、選定手段31b及び学習手段31cにおいて使用される各種プログラム等が記憶される。各種プログラムは、後述する検査方法において説明する処理を実現するためのプログラムであり、情報処理装置5に適合するプログラムが用いられる。
【0034】
<載置台4>
載置台4は、検査対象物である農作物5が載置される台である。載置台4に載置された農作物5は、撮像部2により撮像される。載置台4は、特に限定されないが、静止した状態の台でもよく、例えばベルトコンベアのように農作物5を移動させる搬送台でもよい。
【0035】
また、載置台4が搬送台である場合は、処理部31からの農作物5が選定情報に基づいて農作物5を振り分けるレーンを有する構成を採用することができる。
【0036】
<農作物5>
当該農作物選定装置1においては、集合状態の多数の構成部分を有する農作物5が好適な選定対象物である。この農作物選定に好適な農作物としては、例えば、シメジのように複数の構成部分である傘と柄が一体的に多数密集しているものや、ブドウのように複数の構成部分である粒が一体的に多数密集しているものが挙げられる。
【0037】
<選定方法>
次に、当該農作物選定装置1における農作物5の選定方法について説明する。
【0038】
当該農作物選定装置1は、
図2に示すように、(I)撮像、(II)外観抽出、(III)選定、及び(IV)学習の選定プロセスを有する。
【0039】
(I)撮像
載置台4に載置された農作物5は、撮像部2により撮像される。撮像された画像は、情報処理装置3に送信される。また、載置台4が、例えばベルトコンベアのように農作物を移動させる構成のものである場合は、農作物5が所定の位置に来た際に撮像部2により農作物5が撮像される。
【0040】
撮像部2により撮像される画像は、静止画像でも動画像でもよい。ただし、撮像部2により撮像される画像が動画像の場合は、情報処理装置3に動画像が送られた後、この動画像から農作物5が撮像されている画像が抜き出され静止画像にされる。
【0041】
また、撮像部2により撮像される画像は、デジタル画像でもアナログ画像でもよい。ただし、アナログ画像で撮像される場合は、情報処理装置3に画像が送信された後、デジタル画像に変換される。デジタル画像への変換は、公知の方法を採用することができ、例えばアナログ画像を標本化し量子化する方法が挙げられる。
【0042】
(II)外観抽出
撮像部2により撮像された画像は、情報処理装置3に送られ記憶部32に記憶される。なお、上述のように、撮像部2により撮像された画像が、動画像の場合は動画像から静止画が抜き出され、アナログ画像の場合はデジタル画像に変換される。
【0043】
記憶部32に記憶された画像は、処理部31により読み込まれる。そして、処理部31は、
図3に示すように、(1)農作物全体の抽出、(2)構成部分の抽出、(3)色情報の取得、(4)面積情報の取得、(5)ワイヤーフレームによる表現、(6)ワイヤーフレームの本数の取得、及び(7)ワイヤーフレームの端部の数の取得の各ステップにより読み込まれた画像から農作物の外観の特徴を抽出する。
【0044】
処理部31は、農作物全体の抽出ステップにおいて、まず農作物5全体を強調するために、処理部31により読み込まれた画像に対して強調処理を行い強調画像を生成する。強調処理の方法は、公知の方法を採用することができ、例えばヒストグラム均等化法、アンシャープ処理法等を採用することができる。
【0045】
次に、処理部31は、強調処理が行われた強調画像を用いて、二値化処理を行い、農作物5全体の領域の候補となる領域を抽出する。二値化処理を行う際の閾値の設定方法は、公知の方法を採用することができ、P−タイル法、モード法、判別分析法等を採用することができる。
【0046】
そして、処理部31は、農作物5全体の領域の候補となる領域から特徴抽出を行い、農作物5全体の領域を抽出する。特徴抽出の方法は、公知の方法を採用するこができ、例えばエッジ抽出、領域分割抽出、テクスチャ抽出等を採用することができる。これにより、農作物5全体の領域を抽出することができる。
【0047】
さらに、処理部31は、
図4のイメージ図に示すように、抽出された農作物5全体の領域が全て含まれ且つ最小となる全体円41を設定する。そして、この設定した全体円41の内部の領域を農作物5全体とする。
【0048】
処理部31は、特徴抽出により抽出された農作物5全体の領域に対して、平滑化処理を行う。この平滑化方法は、公知の方法を採用することができ、移動平均法、メディアンフィルタ等を採用することができる。この平滑化処理により、農作物5全体の領域部分のノイズを除去することができ、これにより農作物全体の抽出ステップが完了する。
【0049】
そして、構成部分の抽出ステップにおいて、処理部31は、上記のようにノイズを除去した農作物5全体の領域部分から、領域分割する。領域分割の方法は公知の方法を採用することができ、ヒストグラムの閾値処理や、クラスタリングによる方法等を採用することができる。これにより、農作物5全体の画像を同じ特徴を持つ複数の領域に分割することができる。
【0050】
処理部31は、領域分割した画像から特徴抽出を行い、農作物5の構成部分の領域を抽出する。この特徴抽出の方法は、公知の方法を採用するこができ、例えばエッジ抽出、テクスチャ抽出等を採用することができる。これにより、農作物5の構成部分の領域を抽出することができる。
【0051】
さらに、処理部31は、
図4のイメージ図に示すように、農作物5の構成部分の領域内にあてはまる最大円となる構成部分円42を設定する。そして、設定した構成部分円42の内部の領域を農作物5の構成部分とする。
【0052】
処理部31は、色情報の取得ステップにおいて、記憶部32から読み込んだ農作物5の画像から構成部分の抽出ステップで設定した構成部分円42にあたる領域のRGBデータを取得する。この取得したRGBデータを農作物5の構成部分の色情報とすることができる。なお、このRGBデータは、特に限定されないが、例えば0から255の値でRGB成分を表現することができる。
【0053】
また、このRGBデータは、外観データの一部である農作物の構成部分のデータとして記憶部32に記憶されるが、記憶部32に記憶される具体的なデータは、後述する(III)選定による選定基準に合わせたデータが記憶されればよい。本実施形態では、農作物5の構成部分の中から最大値のRGBデータを外観データの一部として記憶部32に記憶される。なお、(III)選定による選定基準によっては、農作物5の構成部分の中から最小値、平均値、中間値等が外観データの一部として記憶されてもよい。
【0054】
処理部31は、面積情報の取得ステップにおいて、記憶部32から読み込んだ農作物5の画像から農作物全体の抽出ステップで設定した全体円41の直径部分の画素数を取得する。この取得した画素数を農作物全体の面積情報とすることができる。この画素数は、外観データの一部として記憶部32に記憶される。なお、(III)選定による選定基準によっては、全体円41の領域の画素数を取得して農作物5全体の面積情報とすることもできる。
【0055】
さらに、処理部31は、記憶部32から読み込んだ農作物5の画像から構成部分の抽出ステップで設定した構成部分円42の直径部分の画素数を取得する。この取得した画素数を農作物5の構成部分の面積情報とすることができる。なお、構成部分円42の領域の画素数を取得して、構成部分の面積情報としてもよい。
【0056】
また、この画素数は、外観データの一部である農作物の構成部分のデータとして記憶部32に記憶されるが、記憶部32に記憶される具体的なデータは、後述する(III)選定による選定基準に合わせて記憶されればよい。本実施形態では、農作物5全体の中央部分にあたる構成部分の最大面積と最小面積の差を外観データの一部として記憶部に記憶する。具体的には、農作物全体の抽出ステップで設定した全体円41の直径が半分の領域に存在する構成部分円42の最小画素数と最大画素数を取得し、その差分を記憶部32に記憶する。これにより、農作物5全体の中央部分の構成部分の大きさにバラツキがあるか否かを把握することができる。
【0057】
処理部31は、ワイヤーフレームによる表現ステップにおいて、構成部分の抽出ステップで設定した構成部分円42が重なりあっている構成部分円42を取得し、重なりあっている構成部分円42のそれぞれの中心51を直線52で結びつける。この処理を、
図5に示すように、すべての構成部分円42に対して行うことにより、ワイヤーフレーム技法により農作物を表現することができる。
【0058】
処理部31は、ワイヤーフレームの本数の取得ステップにおいて、上述のようにワイヤーフレームにより表現された情報から、農作物5の構成部分円42の中心51同士が結ばれている直線52の数を取得する。この取得した本数を農作物5のワイヤーフレームの本数とし、この本数を外観データの一部である農作物の構成部分のデータとして記憶部32に記憶する。
【0059】
また、処理部31は、記憶部32から読み込んだ農作物5の画像を四分割に区分けし、この区分けした領域ごとに上述のワイヤーフレームの本数を取得する。この取得した本数を外観データの一部である農作物の構成部分のデータとして記憶部32に記憶する。
【0060】
処理部31は、ワイヤーフレームの端部の数の取得ステップにおいて、ワイヤーフレームにより表現された情報から、農作物5の構成部分円42の中心51同士が結ばれている直線52が他の直線と交わらずに途切れている部分である端部53の数を取得する。この取得した端部の数を農作物のワイヤーフレームの端部53の数とし、この端部53の数を外観データの一部である農作物の構成部分のデータとして記憶部32に記憶することができる。
【0061】
(III)選定
処理部31は、外観データと選定基準データとを比較することにより、農作物5の選定を行う。
【0062】
外観データは、上述のように(II)外観抽出により抽出される。一方、選定基準データは、農作物5の選定の教師データとして、最初は検査担当者により情報処理装置3に入力され記憶部32に記憶される。
【0063】
選定基準データは、
図6に示すように、農作物5の外観の特徴データとその農作物5の選定情報(
図6においては、「選定」項目)とを有する。選定基準データの農作物5の外観の特徴データは、(II)外観抽出により抽出される外観データの項目に合わせられる。
【0064】
本実施形態における農作物5の外観の特徴データとしては、上述のとおり、農作物5の構成部分の色(最大値のRGBデータ)、農作物5の中央部分の構成部分の最小面積と最大面積の差、農作物5全体の面積(直径部分の画素数)、農作物5のワイヤーフレームの本数、領域ごとのワイヤーフレームの数、及びワイヤーフレームの端部の数を採用する。
【0065】
選定基準データは、複数のこれらの農作物5の外観の特徴データとその農作物5の選定結果が登録される。
【0066】
処理部31は、(II)外観抽出により抽出された外観データと選定基準データとを比較し、外観データに類似した選定基準データを探索する。探索方法としては、公知の方法を採用することができ、例えば、SVM法、PA法等を採用することができる。
【0067】
そして、処理部31が、最も類似している選定基準データを特定し、特定した選定基準データの選定結果を検査対象物である農作物選定の選定結果とする。これにより、農作物を選定することができる。
【0068】
(IV)学習
処理部31は、農作物5を選定した後、(II)外観抽出により抽出した外観データとこの外観データの(III)選定での選定結果を選定基準データに追加する。これにより、検査した農作物5の外観の特徴とこの農作物5の選定結果とが選定基準データに追加され、次に検査される農作物5の(III)選定により利用されることができる。
【0069】
<利点>
当該農作物選定装置1にあっては、処理部31が、撮像部2より撮像された農作物5の画像から農作物5の構成部分を認識することにより、農作物5の外観を構成部分ごとに把握することできる。これにより、農作物5の構成成分を考慮して農作物5を的確に選定することができる。また、処理部31は、農作物5の構成部分の色情報及び面積情報を取得するため、農作物の構成部分ごとの色の不良や構成部分の大きさのバラツキ具合から農作物を選定することができる。
【0070】
さらに、農作物5の構成部分をワイヤーフレームにより表現することにより、農作物5の構成部分の連なり状態を把握できるため、ワイヤーフレームの本数から構成部分の密度、ワイヤーフレームの端部から構成部分のバラツキ具合を把握することができ、農作物5の外観を的確に認識し、農作物を選定することができる。
【0071】
また、当該農作物選定装置1においては、領域ごとに区分けしたワイヤーフレームの本数により農作物の選定を行うため、農作物の領域ごとの構成部分のバラツキを把握することができ、農作物5の外観を領域ごとに認識し農作物を選定することができる。
【0072】
また、外観データは農作物5全体の面積情報を有するため、農作物5の構成部分の特徴に加えて農産物5全体の面積情報も選定する際の基準とすることができる。
【0073】
さらに、当該農作物選定装置1は、選定された農作物の外観データを学習するため、農作物5の外観を検査するにしたがい、農作物5の選定精度が向上する。
【0074】
<その他の実施形態>
また、本発明は、上記実施形態の構成に限定されるものではなく、以下の実施形態も有する。
【0075】
当該農作物選定装置は、農作物の選定においては、選定基準項目として上述のように農作物5の構成部分の色(最大値のRGBデータ)、農作物5の中央部分の構成部分の最小面積と最大面積の差、農作物5全体の面積(直径部分の画素数)、農作物5のワイヤーフレームの本数、領域ごとのワイヤーフレームの数、及びワイヤーフレームの端部の数を採用しているが、これらの項目の組み合わせに限定されず、選定対象物である農作物の種類によって決定されてよく、一項目だけでもよく、任意の複数の項目の組み合わせでもよい。
【0076】
具体例としては、農作物の全体円の形状の扁平率を選定基準項目に追加することができる。これにより農作物全体の形状を把握し、農作物の選定をすることができる。また、農作物の構成部分の面積(直径部分の画素数)や、農作物全体における構成部分の最小面積と最大面積の差等、他の項目が追加されてもよい。
【0077】
さらに、選定基準項目として、ワイヤーフレームのフレーム長さを追加することもできる。農作物のワイヤーフレームにより表現された情報から、農作物の構成部分円の中心同士が結ばれている直線の長さを取得し選定基準に用いることで、連なり状態にある農作物の構成部分同士間の距離から農作物の構成部分の密度を認識することができるため、農作物を選定することができる。
【0078】
また、上記実施形態では、処理部31は、記憶部32から読み込んだ農作物5の画像を四分割に区分けし、この区分けした領域ごとに上述のワイヤーフレームの本数を取得しているが、特に区分けする領域は、四分割に限定されず、選定対象物である農作部の種類によって決定されてよく、適宜設計変更可能な事項である。
【0079】
また、当該農作物選定装置においては、処理部が学習手段を有していない構成でもよい。これにより、選定基準データのデータ量を制限でき処理部の演算スピードを向上させることができる。