特開 2022-155743 柑橘類の外観検査装置および柑橘類の外観検査用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022155743

(43)【公開日】2022-10-14

(54)【発明の名称】柑橘類の外観検査装置および柑橘類の外観検査用コンピュータプログラム

(51)【国際特許分類】

   G01N 21/85 20060101AFI20221006BHJP

【ＦＩ】

G01N21/85 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021059118

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】521135795

【氏名又は名称】株式会社ＳＨＩＲＡＹＡＮＡＧＩ

(74)【代理人】

【識別番号】100136674

【弁理士】

【氏名又は名称】居藤 洋之

(72)【発明者】

【氏名】中村 敏樹

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA05

2G051AB02

2G051AB20

2G051CA04

2G051CA07

2G051CB01

2G051DA06

2G051EA16

2G051ED08

2G051ED21

(57)【要約】

【課題】簡易な構成でミカンなどの柑橘果実の腐敗度の外観検査を行うことができる柑橘類の外観検査装置および柑橘類の外観検査用コンピュータプログラムを提供する。
【解決手段】外観検査装置１００は、上流側搬送コンベア１０１および下流側搬送コンベア１０２上で搬送される柑橘果実ＷＫの外観を撮像して外観画像データを生成する撮像装置１０３ａ～１０３ｆおよびこの外観画像データに対して画像処理を行う制御装置１１０を備えている。制御装置１１０は、外観画像データに対して無油胞領域抽出処理を実行する。無油胞領域抽出処理は、外観画像データに対して油胞画像強調処理、油胞輪郭画像強調処理、二値化処理、平滑化処理および面積計算処理をそれぞれ実行する。そして、制御装置１１０は、無油胞領域抽出処理によって抽出された無油胞領域Ｍの大きさによって柑橘果実ＷＫの腐敗を検出する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

外皮に油胞を有する柑橘果実の前記油胞を含む外表面を撮像した外観画像データを取得する画像データ取得部と、
前記外観画像データに対して前記油胞が存在しない部分である無油胞領域を抽出する無油胞領域抽出部と、
前記無油胞領域を表示する表示装置とを備える柑橘類の外観検査装置。

【請求項2】

請求項１に記載した柑橘類の外観検査装置において、
外皮に油胞を有する柑橘果実の前記油胞を含む外表面を撮像した外観画像データを取得する画像データ取得部と、
前記外観画像データに対して前記油胞が存在しない部分である無油胞領域を抽出する無油胞領域抽出部と、
前記無油胞領域の状態に応じて前記柑橘果実の良否を判定する良否判定部とを備える柑橘類の外観検査装置。

【請求項3】

請求項２に記載した柑橘類の外観検査装置において、
前記良否判定部は、
前記無油胞領域の大きさに基づいて前記柑橘果実の良否を判定することを特徴とする柑橘類の外観検査装置。

【請求項4】

請求項１ないし請求項３のうちのいずれか１つに記載した柑橘類の外観検査装置において、さらに、
前記外観画像データ内における前記油胞を表す画像を強調する油胞画像強調部を有することを特徴とする柑橘類の外観検査装置。

【請求項5】

請求項１ないし請求項４のうちのいずれか１つに記載した柑橘類の外観検査装置において、
前記無油胞領域抽出部は、
前記外観画像データのうちの一部の領域からのみ前記無油胞領域を抽出することを特徴とする柑橘類の外観検査装置。

【請求項6】

外皮に油胞を有する柑橘果実の外観検査をコンピュータ装置に実行させる柑橘類の外観検査用コンピュータプログラムであって、
前記コンピュータ装置に、
前記柑橘果実の前記油胞を含む外表面を撮像した外観画像データを取得する画像データ取得ステップと、
前記外観画像データに対して前記油胞が存在しない部分である無油胞領域を抽出する無油胞領域抽出ステップと、
前記無油胞領域の状態に応じて前記柑橘果実の良否を判定する良否判定ステップとを実行させることを特徴とする柑橘類の外観検査用コンピュータプログラム。

【請求項7】

請求項６に記載した柑橘類の外観検査用コンピュータプログラムにおいて、
前記良否判定ステップは、
前記無油胞領域の大きさに基づいて前記柑橘果実の良否を判定することを特徴とする柑橘類の外観検査用コンピュータプログラム。

【請求項8】

請求項６または請求項７に記載した柑橘類の外観検査用コンピュータプログラムにおいて、さらに、
前記外観画像データ内における前記油胞を表す画像を強調する油胞画像強調ステップを有することを特徴とする柑橘類の外観検査用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ミカンなどの柑橘果実の外観検査を行う柑橘類の外観検査装置および柑橘類の外観検査用コンピュータプログラムに関する。

【背景技術】

【0002】

従来から、ミカンなどの柑橘果実の外表面に現れる腐敗を検出する外観検査装置がある。例えば、下記特許文献１には、ミカンの外表面における腐敗した部分および健全な部分にそれぞれ光を照射した際の各吸光スペクトルを予め取得しておき、検査対象となるミカンの外表面の吸光スペクトルと比較することでミカンの腐敗度を判定する判定装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－２０１６３６号公報

【0004】

しかしながら、上記特許文献１に記載された判定装置においては、事前に腐敗部サンプルおよび健全部サンプルをそれぞれ取得して検量式を作成しておかなければならず、事前準備及び装置構成が煩雑であるという問題がある。

【0005】

本発明は上記問題に対処するためなされたもので、その目的は、簡易な構成でミカンなどの柑橘果実の腐敗度の外観検査を行うことができる柑橘類の外観検査装置および柑橘類の外観検査用コンピュータプログラムを提供することにある。

【発明の概要】

【0006】

上記目的を達成するため、本発明の特徴は、外皮に油胞を有する柑橘果実の油胞を含む外表面を撮像した外観画像データを取得する画像データ取得部と、外観画像データに対して油胞が存在しない部分である無油胞領域を抽出する無油胞領域抽出部と、無油胞領域を表示する表示装置とを備えることにある。

【0007】

このように構成した本発明の特徴によれば、柑橘類の外観検査装置は、柑橘果実の外皮における油胞のない部分である無油胞領域を表示するため、柑橘果実の外観の検査者は無油胞領域を視認することで容易に柑橘果実の腐敗度を判定することができる。

【0008】

上記目的を達成するため、本発明の特徴は、外皮に油胞を有する柑橘果実の油胞を含む外表面を撮像した外観画像データを取得する画像データ取得部と、外観画像データに対して油胞が存在しない部分である無油胞領域を抽出する無油胞領域抽出部と、無油胞領域の状態に応じて柑橘果実の良否を判定する良否判定部とを備えることにある。

【0009】

このように構成した本発明の特徴によれば、柑橘類の外観検査装置は、柑橘果実の外皮における油胞のない部分である無油胞領域の状態に応じて柑橘果実の良否を判定するため、容易に柑橘果実の腐敗度を判定することができる。

【0010】

なお、ここで、柑橘果実の外皮に形成される油胞とは、リモネンを主成分とする精油成分が直径数ｍｍ程の大きさで外皮内に無数に溜まった部分である。この油胞は、肉眼で透けて見ることができるが、柑橘果実の劣化とともに消失していくものである。本願発明は、この油胞に着目して画像処理することで柑橘果実の腐敗の早期発見を実現しようとするものである。

【0011】

また、本発明の他の特徴は、前記柑橘類の外観検査装置において、良否判定部は、無油胞領域の大きさに基づいて柑橘果実の良否を判定することにある。

【0012】

このように構成した本発明の他の特徴によれば、柑橘類の外観検査装置は、良否判定部が無油胞領域の大きさに基づいて柑橘果実の良否を判定しているため、柑橘果実の良否を容易に判定できるとともに良否判定の閾値も容易に調整および変更することができる。なお、良否判定部は、無油胞領域の大きさに代えてまたは加えて無油胞領域の数または密度によっても柑橘果実の良否を判定することができる。

【0013】

また、本発明の他の特徴は、前記柑橘類の外観検査装置において、さらに、外観画像データ内における油胞を表す画像を強調する油胞画像強調部を有することにある。

【0014】

このように構成した本発明の他の特徴によれば、柑橘類の外観検査装置は、外観画像データ内における油胞を表す画像を強調する油胞画像強調部を有しているため、無油胞領域の抽出精度を向上させることができ、結果として柑橘果実の腐敗度の判定精度を向上させることができる。

【0015】

また、本発明の他の特徴は、柑橘類の外観検査装置において、無油胞領域抽出部は、外観画像データのうちの一部の領域からのみ無油胞領域を抽出することにある。

【0016】

このように構成した本発明の他の特徴によれば、柑橘類の外観検査装置は、無油胞領域抽出部が外観画像データのうちの一部の領域からのみ無油胞領域を抽出しているため、外観画像データのうちの画像精度が低い柑橘果実の縁部について無油胞領域の抽出処理を回避することで抽出処理速度および抽出精度を向上させることができる。

【0017】

ここで、無油胞領域を抽出する一部の領域とは、柑橘果実における油胞が形成されない部分または油胞の撮像精度が相対的に低くなる部分を除いた領域である。具体的には、柑橘果実の上面または下面を含む外観画像データにおいては、柑橘果実のヘタまたはヘソ（ヘタの反対側にある窪みまたは突起）を除いたヘタまたはヘソの周辺領域である。また、柑橘果実の上面、下面または側面を含む外観画像データにおいては、柑橘果実の外縁部（輪郭）を除いた外縁部より内側の領域である。

【0018】

また、本発明は、柑橘類の外観検査装置の発明として実施できるばかりでなく、柑橘類の外観検査用コンピュータプログラムの発明としても実施できるものである。

【0019】

具体的には、柑橘類の外観検査用コンピュータプログラムは、外皮に油胞を有する柑橘果実の外観検査をコンピュータ装置に実行させる柑橘類の外観検査用コンピュータプログラムであって、コンピュータ装置に、柑橘果実の油胞を含む外表面を撮像した外観画像データを取得する画像データ取得ステップと、外観画像データに対して油胞が存在しない部分である無油胞領域を抽出する無油胞領域抽出ステップと、無油胞領域の状態に応じて柑橘果実の良否を判定する良否判定ステップとを実行させるとよい。

【0020】

この場合、柑橘類の外観検査用コンピュータプログラムにおいて、良否判定ステップは、無油胞領域の大きさに基づいて柑橘果実の良否を判定するとよい。

【0021】

また、これらの場合、柑橘類の外観検査用コンピュータプログラムにおいて、さらに、外観画像データ内における油胞を表す画像を強調する油胞画像強調ステップを有するとよい。これらによれば、柑橘類の外観検査用コンピュータプログラムは、柑橘類の外観検査装置の発明と同様の作用効果を期待することができる。

【図面の簡単な説明】

【0022】

【図1】本発明に係る柑橘類の外観検査装置の主要部の構成を模式的に示す平面図である。

【図2】図１に示す外観検査装置の主要部の構成を柑橘果実を下方から撮像する状態で模式的に示す側面図である。

【図3】図１に示す外観検査装置のシステム構成の概略を模式的に示すブロック図である。

【図4】図３に示す制御装置１１０が実行する外観検査プログラムの処理の流れを示すフローチャートである。

【図5】図１～図３にそれぞれ示す撮像装置が柑橘果実の側面を撮像して生成した外観画像データの一例を示す撮像画像である。

【図6】図５に示す外観画像データに対して油胞画像強調処理を実行した外観画像データの一例を示す撮像画像である。

【図7】図６に示す外観画像データに対して油胞輪郭画像強調処理を実行した外観画像データの一例を示す撮像画像である。

【図8】図７に示す外観画像データに対して二値化処理を実行した外観画像データの一例を示す撮像画像である。

【図9】図８に示す外観画像データに対して平滑化処理を実行した外観画像データの一例を示す撮像画像である。

【図10】図９に示す外観画像データに対して面積計算処理を実行した外観画像データの例を示す撮像画像である。

【図11】本発明の変形例に係る外観検査装置が取得した外観画像データにおいて柑橘果実のヘタ部分またはヘソ部分に対応する部分以外の領域を検査領域とする状態を模式的に示した平面図である。

【図12】本発明の他の変形例に係る外観検査装置が取得した外観画像データにおいて柑橘果実の外縁部（輪郭）に対応する部分以外の領域を検査領域とする状態を模式的に示した側面図である。

【発明を実施するための形態】

【0023】

以下、本発明に係る柑橘類の外観検査装置および柑橘類の外観検査用コンピュータプログラムの一実施形態について図面を参照しながら説明する。図１は、本発明に係る柑橘類の外観検査装置１００（以下、単に「外観検査装置１００」という）の主要部の構成を模式的に示す平面図である。また、図２は、図１に示す外観検査装置１００の主要部の構成を模式的に示す側面図である。また、図３は、図１に示す外観検査装置１００のシステム構成の概略を模式的に示すブロック図である。この外観検査装置１００は、収穫された多数のミカンからなる柑橘果実ＷＫの腐敗（所謂、傷み）を検出して選別する選果装置の一部に組み込まれる機械装置である。

【0024】

（外観検査装置１００の構成）
外観検査装置１００は、上流側搬送コンベア１０１および下流側搬送コンベア１０２をそれぞれ備えている。上流側搬送コンベア１０１および下流側搬送コンベア１０２は、柑橘果実ＷＫを撮像装置１０３ａ～１０３ｆの撮像視野内に搬入または搬出して柑橘果実ＷＫを仕分けるＰＫコンベア（図示せず）に搬送するための機械装置である。具体的には、上流側搬送コンベア１０１および下流側搬送コンベア１０２は、それぞれ２つずつの回転ローラ間に環状の無端ベルトが架設されてそれぞれ構成されている。

【0025】

これらの上流側搬送コンベア１０１および下流側搬送コンベア１０２は、各回転ローラがそれぞれ電動機（図示せず）によって回転駆動される（図において破線矢印参照）。この場合、本実施形態においては、各電動機には、ロータリーエンコーダ（図示せず）が設けられており、上流側搬送コンベア１０１および下流側搬送コンベア１０２の各搬送速度を検出して後述する制御装置１１０にそれぞれ出力する。

【0026】

これらの上流側搬送コンベア１０１および下流側搬送コンベア１０２は、柑橘果実ＷＫの搬送方向において相対的に上流側に上流側搬送コンベア１０１が配置されるとともに下流側に下流側搬送コンベア１０２が直列的に配置される。この場合、上流側搬送コンベア１０１および下流側搬送コンベア１０２は、上流側搬送コンベア１０１の下流端と下流側搬送コンベア１０２の上流端との間に柑橘果実ＷＫが落下することなく上流側搬送コンベア１０１上から下流側搬送コンベア１０２上に移動させることができる隙間Ｓを介して配置されている。上流側搬送コンベア１０１および下流側搬送コンベア１０２の周囲には、撮像装置１０３ａ～１０３ｆおよびワーク検出器１０５がそれぞれ設けられている。

【0027】

撮像装置１０３ａ～１０３ｆは、上流側搬送コンベア１０１上および下流側搬送コンベア１０２上を搬送される柑橘果実ＷＫの外表面を互い異なる６つの視点から撮像することで６つの外観画像データを生成する光学機器である。本実施形態においては、撮像装置１０３ａ～１０３ｆは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えてモノクロ画像を生成する。この場合、モノクロ画像は、２５６階調のグレースケール画像である。なお、撮像装置１０３ａ～１０３ｆは、光エネルギーを電気エネルギーに変換（光電変換）する撮像素子であればよく、他の撮像素子、例えばＣＣＤ（Charge Coupled Device）イメージセンサを用いることもできることは当然である。

【0028】

これらの撮像装置１０３ａ～１０３ｄは、柑橘果実ＷＫの側面を水平面上で互いに直交する２軸上で互いに対向配置されて柑橘果実ＷＫを四方から撮像する。この場合、撮像装置１０３ａ～１０３ｄは、上流側搬送コンベア１０１上の柑橘果実ＷＫの側面の全周を四方から同時に撮像できるように上流側搬送コンベア１０１の両側方にそれぞれ配置されている。すなわち、撮像装置１０３ａと撮像装置１０３ｃとが互いに対向配置されるとともに、これらに直交する方向に撮像装置１０３ｂと撮像装置１０３ｄとが互いに対向配置されている。これら４つの撮像装置１０３ａ～１０３ｄが柑橘果実ＷＫの側面を同時に撮像する領域を撮像領域Ｅ１とする。なお、図２においては、撮像装置１０３ａ～１０３ｄの図示がそれぞれ省略されている。

【0029】

撮像装置１０３ｅは、柑橘果実ＷＫの上方に配置されて柑橘果実ＷＫの上面（ヘタＨ１側）または下面（ヘソＨ２側）を撮像する。この場合、撮像装置１０３ｅは、上流側搬送コンベア１０１上の柑橘果実ＷＫの上方から撮像できるように上流側搬送コンベア１０１の上方に配置されている。本実施形態においては、撮像装置１０３ｅは、４つの撮像装置１０３ａ～１０３ｄが配置された中心位置、すなわち、４つの撮像装置１０３ａ～１０３ｄによって同時に撮像が行われる撮像領域Ｅ１に撮像領域が重なるようにこの撮像領域Ｅ１の上方に配置されている。なお、図１においては、撮像装置１０３ｅの図示が省略されている。

【0030】

撮像装置１０３ｆは、柑橘果実ＷＫの下方に配置されて柑橘果実ＷＫの下面または上面を撮像する。この場合、撮像装置１０３ｆは、柑橘果実ＷＫを下方から撮像できるように上流側搬送コンベア１０１と下流側搬送コンベア１０２との間の隙間Ｓの下方に配置されている。この撮像装置１０３ｆが柑橘果実ＷＫの底面（または上面）を撮像する隙間Ｓを介した領域を撮像領域Ｅ２とする。なお、図１においては、撮像装置１０３ｆと重なるため撮像領域Ｅ２を示していない。

【0031】

これらの撮像装置１０３ａ～１０３ｆは、制御装置１１０に接続されており、制御装置１１０によってそれぞれ作動が制御されるともに、生成した各外観画像データを制御装置１１０に出力する。また、撮像装置１０３ａ～１０３ｆは、外表面におけるレンズの周囲に照明部１０４を備えている。

【0032】

照明部１０４は、柑橘果実ＷＫを精度良く撮像するために柑橘果実ＷＫを照らすための照明装置である。本実施形態においては、照明部１０４は、可視光線を照射するＬＥＤをレンズの周囲に環状に配置して構成されている。この照明部１０４は、制御装置１１０によって作動が制御される。なお、照明部１０４は、撮像装置１０３ａ～１０３ｆごとに一体的または別体で設けてもよいが、撮像装置１０３ａ～１０３ｆの全体に対して１つだけ設けてもよい。

【0033】

なお、照明部１０４は、撮像装置１０３ａ～１０３ｆの受光感度を有する波長の光を照射するように構成されていればよい。したがって、照明部１０４は、撮像装置１０３ａ～１０３ｆが赤外線または紫外線に受光感度を有する場合には赤外線または紫外線を照射するように構成される。また、照明部１０４は、撮像装置１０３ａ～１０３ｆと一体的に構成されている必要はなく、撮像装置１０３ａ～１０３ｆと物理的に離れて設けられていてもよい。

【0034】

ワーク検出器１０５は、上流側搬送コンベア１０１によって撮像領域Ｅ１，Ｅ２に搬送される柑橘果実ＷＫを検出して同検出状態を表す電気信号からなるワーク検出信号を出力するセンサであり、制御装置１１０によって作動が制御される。このワーク検出器１０５は、本実施形態においては、上流側搬送コンベア１０１の下流端よりも上流側に設けられている。また、ワーク検出器１０５は、本実施形態においては、上流側搬送コンベア１０１の無端ベルトを挟んで互いに対向配置される一対の投光器と受光器からなる光電センサによって構成されている。

【0035】

制御装置１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスクなどからなるマイクロコンピュータによって構成されており、キーボードおよびマウスからなる入力装置１１１からの指示に従って、図４に示す外観検査プログラムを実行することにより撮像装置１０３ａ～１０３ｆの作動を制御して柑橘果実ＷＫの外観検査を実行する。また、制御装置１１０は、液晶ディスプレイからなる表示装置１１２を備えており、制御装置１１０の作動状態、前記外観検査プログラムの実行状態、実行結果および撮像装置１０３ａ～１０３ｆによる撮像画像などを適宜表示させる。すなわち、本実施形態において制御装置１１０は、個人向けパーソナルコンピュータ（所謂パソコン）を想定している。

【0036】

（外観検査装置１００の作動）
上記のように構成した外観検査装置１００の作動について説明する。まず、作業者は、制御装置１１０の入力装置１１１を操作することにより、制御装置１１０に柑橘果実ＷＫの外観検査処理を実行させる。この指示に応答して、制御装置１１０は、図４に示す外観検査プログラムの実行をステップＳ１００にて開始して、ステップＳ１０２にて、検査準備処理を実行する。具体的には、制御装置１１０は、撮像装置１０３ａ～１０３ｆおよび照明部１０４の各作動をそれぞれ開始させて撮像および照明の点灯を直ちに行なえる待機状態に制御する。また、制御装置１１０は、ワーク検出器１０５が出力するワーク検出信号を入力して柑橘果実ＷＫの到来を待つ。

【0037】

次に、作業者は、上流側搬送コンベア１０１および下流側搬送コンベア１０２を含む選果装置全体の作動を開始させる。これにより、上流側搬送コンベア１０１および下流側搬送コンベア１０２は、それぞれ駆動を開始するとともに上流側搬送コンベア１０１上に柑橘果実ＷＫの供給が開始される。この場合、選果装置は、上流側搬送コンベア１０１の上流端に柑橘果実ＷＫを１つずつ略等間隔に直列的に供給する。また、上流側搬送コンベア１０１上に供給される柑橘果実ＷＫは、上面側（ヘタＨ１側）または下面側（ヘソＨ２側）が上方を向くように上流側搬送コンベア１０１上に載置される。

【0038】

次に、制御装置１１０は、ワーク検出器１０５が出力するワーク検出信号によって柑橘果実ＷＫの先端部がワーク検出器１０５の検出位置に達したことを検出したときは、ステップＳ１０４にて、柑橘果実ＷＫの側面および上方側の面（柑橘果実ＷＫの上面または下面）の撮像処理を実行する。具体的には、制御装置１１０は、上流側搬送コンベア１０１から搬送速度に関する情報を入力しているため、柑橘果実ＷＫの中心部が撮像領域Ｅ１の中心部に位置するタイミングで撮像装置１０３ａ～１０３ｅに撮像処理を実行させる。

【0039】

これにより、制御装置１１０は、柑橘果実ＷＫの側面について撮像領域Ｅ１の中心を中心として９０°ごとの４つの撮像位置でそれぞれ撮像した４つの外観画像データと、この撮像領域Ｅ１の上方から撮像した１つの外観画像データとをそれぞれ取得して記憶する。図５は、撮像装置１０３ａ～１０３ｄによって柑橘果実ＷＫの側面を撮像した外観画像データの一例を示している。図５においては、柑橘果実ＷＫの左側部が大きく欠けているとともに上部、下部および右側部が僅かに欠けているが、外観画像データの切り抜き作業を失敗しただけであって本発明に直接関わるものではない（図６～図１０も同様）。

【0040】

次に、制御装置１１０は、ステップＳ１０６にて、柑橘果実ＷＫの下方側の面（柑橘果実ＷＫの下面または上面）の撮像処理を実行する。具体的には、制御装置１１０は、上流側搬送コンベア１０１から搬送速度に関する情報を用いて柑橘果実ＷＫにおける搬送方向の先端部が撮像領域Ｅ２に達して搬送方向の後端部が撮像領域Ｅ２を脱するまでの間において撮像装置１０３ｆに撮像処理を実行させる。この場合、制御装置１１０は、柑橘果実ＷＫが撮像領域Ｅ２を通過する間において断続的に複数回の撮像（所謂、連写）を行うように撮像装置１０３ｆの作動を制御する。

【0041】

なお、この場合、制御装置１１０は、数回の撮像を行うように撮像装置１０３ｆの作動を制御するが、数十回以上撮像するようにしてもよいことは当然である。これにより、制御装置１１０は、柑橘果実ＷＫを撮像領域Ｅ２の下方から撮像した複数枚の外観画像データをそれぞれ取得する。そして、制御装置１１０は、断続的な撮像によって得た複数枚の外観画像データを繋ぎ合わせて撮像領域Ｅ２の下方から撮像した１つの外観画像データとして記憶する。

【0042】

これらのステップＳ１０４およびステップＳ１０６による撮像処理によって６つの外観画像データ、具体的には、正面外観画像データ、背面外観画像データ、左側面外観画像データ、右側面外観画像データ、上面外観画像データおよび下面外観画像データを取得する処理が本発明に係る画像データ取得ステップに相当するとともに、この処理を実行する制御装置１１０が本発明に係る画像データ取得部に相当する。

【0043】

次に、制御装置１１０は、ステップＳ１０８にて、無油胞領域取得処理を実行する。この無油胞領域取得処理は、制御装置１１０が以下のサブステップ１～５を実行することによって行われる。

【0044】

サブステップ１：まず、制御装置１１０は、油胞画像強調処理を実行する。この油胞画像強調処理は、撮像装置１０３ａ～１０３ｆからそれぞれ取得した６つの外観画像データにおいて柑橘果実ＷＫの表面に形成された油胞Ｙを表す画像を強調して油胞Ｙが存在しない部分を抽出し易くするための処理である。具体的には、制御装置１１０は、６つの外観画像データに対してそれぞれ二次微分処理を実行する。

【0045】

これにより、各外観画像データは、油胞Ｙを表す画像が濃い斑点状に変換される。この場合、各外観画像データにおいては、油胞Ｙがかつて存在していたが鮮度の低下によって消失しつつある部分または消失した部分は互いに繋がって痣または島のような斑紋状の無油胞領域Ｍが現れる。また、各外観画像データにおいては、柑橘果実ＷＫにおける外縁部（輪郭部分）が輝度変化が著しく大きいために白色に変換される。

【0046】

なお、図６は、図５に示す外観画像データに対して油胞画像強調処理を実行した外観画像データの一例を示している。また、図１，図２においては無油胞領域Ｍとして検出されるべき箇所を二点鎖線で示すとともに、図５，図６，図８～図１０においては無油胞領域Ｍとして検出されるべき箇所を破線で示している。図７においては、無油胞領域Ｍとして検出されるべき箇所の図示を省略している。この油胞画像強調処理を実行する処理が本発明に係る油胞画像強調ステップに相当するとともに、この処理を実行する制御装置１１０が本発明に係る油胞画像強調部に相当する。

【0047】

サブステップ２：次に、制御装置１１０は、油胞輪郭画像強調処理を実行する。この油胞輪郭画像強調処理は、撮像装置１０３ａ～１０３ｆからそれぞれ取得した６つの外観画像データにおいて油胞Ｙを表す画像の輪郭を強調して結果として無油胞領域Ｍを抽出し易くするための処理である。具体的には、制御装置１１０は、６つの外観画像データに対してそれぞれＳｏｂｅｌフィルタ処理、Ｐｒｅｗｉｔｔフィルタ処理などの輪郭抽出処理を実行する。

【0048】

これにより、各外観画像データは、油胞Ｙを表す画像の外縁部がリング状に現れるが、劣化しつつある油胞Ｙの外縁部が薄く表れることで無油胞領域Ｍがより顕著に現れる。図７は、図６に示す外観画像データに対して油胞輪郭画像強調処理を実行した外観画像データの一例を示している。

【0049】

サブステップ３：次に、制御装置１１０は、二値化処理を実行する。具体的には、制御装置１１０は、６つの外観画像データに対して輝度（明度ともいう）に応じて二値化、すなわち、各ピクセルごとの撮像画像情報の輝度が所定値以上の部分を白色とするとともに同所定値未満の部分を黒色としたモノクロ画像に変換する。図８は、図７に示す外観画像データに対して二値化処理を実行した外観画像データの一例を示している。なお、図８においては、無油胞領域Ｍを分かり易くするため、図７に対して黒白を反転させて示している。

【0050】

サブステップ４：次に、制御装置１１０は、平滑化処理を実行する。この平滑化処理は、二値化された各外観画像データにおいてノイズ、具体的には、微小な黒色部分および白色部分を除去するために行うものである。これにより、各外観画像データは、微小な黒色部分および白色部分が除去されて残った黒色部分および白色部分の各面積が大きくまとめられるため、油胞Ｙを表す画像および互いに隣接し合う油胞Ｙ間の隙間の画像がまとめられるとともに無油胞領域Ｍ内および無油胞領域Ｍの周囲に存在する微小な白色部分が無油胞領域Ｍに吸収される。図９は、図８に示す外観画像データに対して平滑化処理を実行した外観画像データの一例を示している。なお、このサブステップ４におけるノイズ低減処理は、最大値フィルタおよび最大値フィルタを用いたフィルタリング処理によっても平滑化処理と同様にノイズを低減することができる。

【0051】

サブステップ５：次に、制御装置１１０は、無油胞領域Ｍの面積計算処理を実行する。この面積計算処理は、外観画像データにおいて、無油胞領域Ｍの面積を計算するものである。具体的には、制御装置１１０は、各外観画像データにおいて、連続的なひとまとまりの無油胞領域Ｍ（図においては白色部分）ごとにそれぞれ面積を計算して記憶する。

【0052】

これにより、無油胞領域取得処理の実行が終了する。この無油胞領域取得処理を実行する処理が本発明に係る無油胞領域取得ステップに相当するとともに、この処理を実行する制御装置１１０が本発明に係る無油胞領域取得処理部に相当する。図１０は、図９に示す外観画像データに対して面積計算処理を実行した外観画像データの一例を示している。図１０においては、２つの無油胞領域Ｍについて大きさを表す「４３」，「２７」という数字が表示されている。なお、制御装置１１０は、これらの図５～図１０にそれぞれ示した無油胞領域取得処理の各工程の画像処理結果を表示装置１１２に表示させながら実行してもよいが、表示させることなく実行してもよい。また、図１０においては、画像中の「４３」，「２７」が見難いため、画像中の「４３」，「２７」をそれぞれ破線円で囲んで引き出し線を介して画像の右側にそれぞれ示している。

【0053】

次に、制御装置１１０は、ステップＳ１１０において、良否判定処理を実行する。この良否判定処理は、撮像装置１０３ａ～１０３ｆで撮像された柑橘果実ＷＫの品質の良否判定を行うものである。具体的には、制御装置１１０は、６つの外観画像データごとに算出した単数または複数の無油胞領域Ｍの各面積が所定の大きさ以上か否かを判定する。この場合、無油胞領域Ｍの面積の大きさを判定するための所定の大きさ（閾値）は、作業者によって予め制御装置１１０に設定しておく。

【0054】

制御装置１１０は、各外観画像データにおいて所定の大きさ以上の無油胞領域Ｍが存在しなかった場合には「Ｎｏ」と判定、すなわち、腐敗部分は存在しない良品と判定して、ステップＳ１０２に戻る。一方、制御装置１１０は、各外観画像データにおいて所定の大きさ以上の無油胞領域Ｍが存在した場合には「Ｙｅｓ」と判定、すなわち、所定の基準以上の腐敗部分が存在する不良品と判定してステップＳ１１２に進む。この良否判定処理を実行する処理が本発明に係る良否判定ステップに相当するとともに、この処理を実行する制御装置１１０が本発明に係る良否判定処理部に相当する。

【0055】

次に、制御装置１１０は、ステップＳ１１２にて、不良処理を実行する。具体的には、制御装置１１０は、下流側搬送コンベア１０２を介して柑橘果実ＷＫが搬送されるＰＫコンベア（図示せず）に対して不良品と判定された柑橘果実ＷＫを搬送ライン上から外すとともに表示装置１１２に対して不良品を発見した旨を表示するようにそれぞれ指示する。これにより、不良品と判定された柑橘果実ＷＫは、搬送ライン上から外されるとともに表示装置１１２を介して作業者が不良品の発生を把握することができ、不良品が市場に出荷されることを防止することができる。

【0056】

そして、制御装置１１０は、ステップＳ１１２の実行後、ステップＳ１０２に戻る。この外観検査処理プログラムは、作業者による中断の指示がなされるまで、または検査すべき柑橘果実ＷＫがなくなるまで実行される。

【0057】

本発明者による実験によれば、油胞Ｙに着目して画像処理する本発明は、従来の腐敗の検出方法、具体的には、柑橘果実ＷＫの腐敗部分を勢外線を用いて検出する方法に比べて精度よく腐敗部分を検出できることを確認した。これは、従来の検出方法では腐敗部分が外皮に明確に現れるまで検出することが難しいことに比べて、本発明は腐敗の前兆となる油胞Ｙの消失に着目しているためと考えらえる。

【0058】

上記作動からも理解できるように、上記実施形態によれば、外観検査装置１００は、柑橘果実ＷＫの外皮における油胞Ｙのない部分である無油胞領域Ｍの状態に応じて柑橘果実ＷＫの良否を判定するため、容易に柑橘果実ＷＫの腐敗度を判定することができる。

【0059】

さらに、本発明の実施にあたっては、上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。なお、下記に示す各変形例においては、上記各実施形態と同様の構成部分には対応する符号を付して、その説明は省略する。

【0060】

例えば、上記実施形態においては、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理において、サブステップ１における油胞画像強調処理の後、サブステップ２における油胞輪郭画像強調処理を実行した。しかし、制御装置１１０は、サブステップ１における油胞画像強調処理を行った外観画像データに対してサブステップ４と同様の平滑化処理を実行することで、この後のサブステップ２における油胞輪郭画像強調処理の精度を向上させることができる。

【0061】

また、上記実施形態においては、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理において、サブステップ４にて平滑化処理を行った。しかし、制御装置１１０は、精度は低下するがサブステップ４による平滑化処理を省略してサブステップ３による二値化処理を行った外観画像データに対してサブステップ５による面積計算処理を実行することもできる。

【0062】

また、上記実施形態においては、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理を外観画像データによって表された柑橘果実ＷＫの全体に対して行った。しかし、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理を外観画像データによって表された柑橘果実ＷＫのうちの無油胞領域Ｍを抽出する一部の領域の画像データに対してのみ行うこともできる。

【0063】

この場合、無油胞領域Ｍを抽出する一部の領域とは、柑橘果実ＷＫにおける油胞Ｙが形成されない部分または油胞Ｙの撮像精度が相対的に低くなる部分を除いた領域である。具体的には、柑橘果実ＷＫの上面または下面を含む外観画像データにおいては、図１１に示すように、柑橘果実ＷＫのヘタＨ１（またはヘソＨ２）除いたヘタＨ１の周辺より外側の領域ＴＥ１である。この場合、制御装置１１０は、柑橘果実ＷＫの上面または下面を含む外観画像データにおけるヘタＨ１（またはヘソＨ２）に対応する部分をマスクして、または画像処理範囲から外して無油胞領域抽出処理を実行する。なお、図１１においては、領域ＴＥ１をグレーに着色して示している。

【0064】

また、柑橘果実ＷＫの上面、下面または側面を含む外観画像データにおいては、柑橘果実ＷＫの外縁部（輪郭）を除いた外縁部より内側の領域ＴＥ２である。この場合、制御装置１１０は、柑橘果実ＷＫの上面、下面または側面を含む外観画像データにおける外縁部（輪郭）に対応する部分をマスクして、または画像処理範囲から外して無油胞領域抽出処理を実行する。これらによれば、制御装置１１０は、外観画像データのうちの画像精度が低い柑橘果実ＷＫの縁部について無油胞領域Ｍの抽出処理を回避することで抽出処理速度および抽出精度を向上させることができる。なお、図１２においては、領域ＴＥ２をグレーに着色して示している。

【0065】

また、上記実施形態においては、撮像装置１０３ａ～１０３ｆは、各撮像装置１０３ａ～１０３ｆごとに柑橘果実ＷＫがそれぞれ面する面の全体を撮像するように構成した。しかし、撮像装置１０３ａ～１０３ｆは、各撮像装置１０３ａ～１０３ｆごとに柑橘果実ＷＫがそれぞれ面する面の全体のうちの一部、すなわち、無油胞領域Ｍを抽出する一部の領域のみを撮像するようにしてもよい。

【0066】

また、上記実施形態においては、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理において、サブステップ１における油胞画像強調処理を二次微分処理で行った。しかし、制御装置１１０は、サブステップ１における油胞画像強調処理について精度は低下するが一次微分処理でも可能である。また、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理において、精度は低下するが、柑橘果実ＷＫを撮像した最初の外観画像データを直ちに二値化して無油胞領域Ｍの面積計算処理を実行することもできる。

【0067】

また、上記実施形態においては、制御装置１１０は、ステップＳ１１０にて無油胞領域Ｍの面積を用いて良否判定処理を実行するように構成した。しかし、制御装置１１０は、無油胞領域Ｍの大きさに代えてまたは加えて無油胞領域Ｍの数または密度によっても柑橘果実ＷＫの良否を判定することができる。

【0068】

また、上記実施形態においては、制御装置１１０は、ステップＳ１１０にて良否判定処理を実行するように構成した。しかし、制御装置１１０は、ステップＳ１０８における無油胞領域抽出処理の実行結果、具体的には、無油胞領域Ｍの面積を表示装置１１２に表示させて良否判定処理の実行を省略することもできる。

【0069】

また、上記実施形態においては、外観検査装置１００は、６つの撮像装置１０３ａ～１０３ｆを備えて構成した。しかし、外観検査装置１００は、少なくとも１つの撮像装置１０３ａ～１０３ｆを備えて構成することができる。この場合、外観検査装置１００は、例えば、撮像装置を１つ備えて構成した場合には、柑橘果実ＷＫについて１回の撮像によって１つの外観画像データを取得してもよいし、１つの撮像装置に対して柑橘果実ＷＫの向きを変えて複数回撮像して複数の外観画像データを取得するようにしてもよい。

【0070】

また、上記実施形態においては、柑橘果実ＷＫとしてミカンを採用した例を説明した。しかし、本発明は、外皮に油胞Ｙを有する柑橘果実ＷＫに広く採用することができる。すなわち、本発明は、ミカン以外の柑橘果実ＷＫ、例えば、甘夏、ハッサク、ネーブルまたはグレープフルーツなどの各種柑橘果実に適用することができる。

【符号の説明】

【0071】

ＷＫ…柑橘果実、Ｅ１，Ｅ２…撮像領域、Ｈ１…ヘタ、Ｈ２…ヘソ、Ｙ…油胞、Ｍ…無油胞領域、ＴＥ１，ＴＥ２…無油胞領域抽出処理を実行する領域、
１００…外観検査装置、
１０１…上流側搬送コンベア、１０２…下流側搬送コンベア、１０３ａ～１０３ｆ…撮像装置、１０４…照明部、１０５…ワーク検出器、
１１０…制御装置、１１１…入力装置、１１２…表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】