(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175897
(43)【公開日】2023-12-12
(54)【発明の名称】検査装置、評価装置およびプログラム
(51)【国際特許分類】
G01N 21/85 20060101AFI20231205BHJP
G06V 10/143 20220101ALI20231205BHJP
G06V 10/141 20220101ALI20231205BHJP
G06T 7/00 20170101ALI20231205BHJP
G06T 7/90 20170101ALI20231205BHJP
G06V 10/56 20220101ALI20231205BHJP
G01N 21/88 20060101ALI20231205BHJP
【FI】
G01N21/85 A
G06V10/143
G06V10/141
G06T7/00 600
G06T7/90 A
G06V10/56
G01N21/88 J
【審査請求】有
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023171527
(22)【出願日】2023-10-02
(62)【分割の表示】P 2019053662の分割
【原出願日】2019-03-20
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】彦坂 健太郎
(72)【発明者】
【氏名】芝崎 清茂
(72)【発明者】
【氏名】萩原 潤弥
(72)【発明者】
【氏名】榊原 洋志
(72)【発明者】
【氏名】矢幅 拓真
(57)【要約】
【課題】対象物の内部の状態を光により検査する場合、対象物によっては内部の状態を正確に検出することが困難な場合がある。
【解決手段】互いに異なる複数の波長帯域の光束のそれぞれを選択的に照射する光源装置と、光束が照射された物体からの光束による像を撮像して画像信号を出力する撮像部と、画像信号による画像のうちの第1領域の画像信号による第1評価値と、画像のうちの第1領域と異なる第2領域の画像信号による第2評価値とにより、物体の状態を評価する評価装置とを備える検査装置を提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
互いに異なる複数の波長帯域の光束のそれぞれを選択的に照射する光源装置と、
前記光束が照射された物体からの光束による像を撮像して画像信号を出力する撮像部と、
前記物体の第3領域の前記画像信号による第3評価値が第1基準値から第2基準値の範囲内である場合、前記画像信号による前記物体の画像を、第1領域、及び前記第1領域と異なる第2領域を含む複数の領域に分割し、前記第1領域の前記画像信号による第1評価値と、前記第2領域の前記画像信号による第2評価値とにより、前記物体の状態を評価し、評価された前記物体の状態に基づいて前記第3評価値を補正し、前記第3評価値に基づいて前記物体を評価する評価装置と
を備え、
前記第3領域は、前記第1及び第2領域を含む
検査装置。
【請求項2】
請求項1に記載の検査装置であって、
前記第3領域は、前記物体の画像を分割する全ての領域を含む
検査装置。
【請求項3】
請求項1または2に記載の検査装置であって、
前記評価装置は、前記第3評価値が第1基準値から第2基準値の範囲内でない場合、前記第3評価値に基づいて前記物体を評価する検査装置。
【請求項4】
請求項1から3のいずれか一項に記載の検査装置であって、
前記評価装置は、
前記第3評価値が第1基準値よりも小さい場合、前記物体を不良であると評価し、
前記第3評価値が第2基準値よりも大きい場合、前記物体を良品であると評価する
検査装置。
【請求項5】
請求項1から4のいずれか一項に記載の検査装置であって、
前記第1領域は、前記物体を横切る長さが最大となる第1直線が通過する領域の一つであり、
前記第2領域は、前記複数の領域のうち、前記第1領域を除くいずれかの領域である
検査装置。
【請求項6】
請求項1から4のいずれか一項に記載の検査装置であって、
前記第1領域は、前記物体の中心軸が通過する領域の一つであり、
前記第2領域は、前記複数の領域のうち、前記第1領域を除くいずれかの領域である
検査装置。
【請求項7】
請求項1に記載の検査装置であって、
前記評価装置は、前記第1評価値と前記第2評価値とにより、前記第3評価値の補正量を異ならせる検査装置。
【請求項8】
請求項1から7のいずれか一項に記載の検査装置であって、
前記評価装置は、
前記第1評価値が、前記第2評価値より低く、
且つ前記第1評価値が、第4領域の前記画像信号による第4評価値よりも低い場合、前記物体の状態を軸腐れであると評価し、
前記第2領域及び前記第4領域は、前記第1直線が通過する領域ではない
検査装置。
【請求項9】
請求項1から7のいずれか一項に記載の検査装置であって、
前記評価装置は、
前記第2評価値が、前記第1評価値より低く、
前記第2評価値が、第4領域の前記画像信号による第4評価値より低く、
且つ前記第2評価値が、第5領域の前記画像信号による第5評価値より低い場合、前記物体の状態を外皮劣化であると評価し、
前記第2領域及び前記第4領域は、前記第1直線が通過する領域ではなく、
前記第5領域は、前記第1直線が通過する領域のひとつである
検査装置。
【請求項10】
請求項1から7のいずれか一項に記載の検査装置であって、
前記評価装置は、
前記第1評価値が、前記第2評価値より低く、
且つ前記第1評価値が、第4領域の前記画像信号による第4評価値よりも低い場合、前記物体の状態を鮮度劣化であると評価し、
前記第1領域は、前記物体の中心を通過し前記第1直線に直交する第2直線が通過する領域の一つであり、
前記第2領域及び前記第4領域は、前記第1直線が通過し、且つ前記第2直線が通過しない領域である
検査装置。
【請求項11】
請求項1から7のいずれか一項に記載の検査装置であって、
前記評価装置は、前記画像のうちの複数の部分領域の前記画像信号による複数の評価値に基づいて、前記第1領域と前記第2領域を選択する検査装置。
【請求項12】
請求項1から10のいずれか一項に記載の検査装置であって、
前記評価装置は、前記画像のうち前記物体の周縁部を除いた領域を前記第3領域として前記第3評価値を算出する検査装置。
【請求項13】
請求項1から12のいずれか一項に記載の検査装置であって、
前記光束は近赤外域の波長帯域である検査装置。
【請求項14】
請求項1から13のいずれか一項に記載の検査装置であって、
前記評価装置は、前記画像信号の第1波長成分に対する第2波長成分の比と、前記第1波長成分に対する第3波長成分の比とに基づいて前記第1評価値および前記第2評価値を算出する検査装置。
【請求項15】
物体の第3領域からの光束による像を撮像した画像信号による第3評価値が第1基準値から第2基準値の範囲内である場合、前記物体の画像を、第1領域、及び前記第1領域と異なる第2領域を含む複数の領域に分割し、前記第1領域の前記画像信号による第1評価値と、前記第2領域の前記画像信号による第2評価値とにより、前記物体の状態を評価し、評価された前記物体の状態に基づいて前記第3評価値を補正し、前記第3評価値に基づいて前記物体を評価し、
前記第3領域は、前記第1及び第2領域を含む
評価装置。
【請求項16】
コンピュータを、請求項15に記載の評価装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査装置、評価装置およびプログラムに関する。
【背景技術】
【0002】
従来、対象物の内部の状態を光により検査する検査装置が知られている(例えば、特許文献1参照)。
特許文献1 特許第6403872号
【発明の概要】
【発明が解決しようとする課題】
【0003】
対象物の内部の状態を光により検査する場合、対象物によっては内部の状態を正確に検査することが困難な場合がある。
【課題を解決するための手段】
【0004】
上記課題を解決するために、本発明の第1の態様においては、互いに異なる複数の波長帯域の光束のそれぞれを選択的に照射する光源装置と、光束が照射された物体からの光束による像を撮像して画像信号を出力する撮像部と、画像信号による画像のうちの第1領域の画像信号による第1評価値と、画像のうちの第1領域と異なる第2領域の画像信号による第2評価値とにより、物体の状態を評価する評価装置とを備える検査装置を提供する。
【0005】
本発明の第2の態様においては、物体からの光束による像を撮像した画像信号による画像のうちの第1領域の画像信号による第1評価値と、画像のうちの第1領域と異なる第2領域の画像信号による第2評価値とにより、物体の状態を評価する評価装置を提供する。
【0006】
本発明の第3の態様においては、コンピュータを評価装置として機能させるためのプログラムを提供する。
【0007】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0008】
【
図1】本発明の一つの実施形態に係る検査装置100の一例を示す図である。
【
図3】物体40の状態を評価するための第3領域を設定するアルゴリズムの一例を示す図である。
【
図4】物体40の各画素についての画素評価値の分布の一例を示す図である。
【
図5】複数の物体40についての評価値1と評価値2の分布を示す図である。
【
図6】評価装置30における処理例を示すフローチャートである。
【
図7】状態判別段階S706における補正処理の一例を説明する図である。
【
図8】状態判別段階S706における補正処理の他の一例を説明する図である。
【
図9】状態判別段階S706における補正処理の他の一例を説明する図である。
【
図10】評価装置30として機能するコンピュータ1200の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0010】
図1は、本発明の一つの実施形態に係る検査装置100の一例を示す図である。検査装置100は、光が照射された物体40を撮像した画像に基づいて、物体40の状態を検査する。物体40の状態とは、物体40の内部または表面の状態であってよい。また、物体40の状態とは、例えば経時変化による物体40の劣化状態である。
【0011】
物体40は、一例として果物等の農作物であるが、これに限定されない。物体40は、内部構造の形状等が個体によって異なる植物または動物を含んでよく、植物または動物の少なくとも一部を加工したものを含んでよい。さらに、物体40は、樹脂成型品等の工業生産物を含んでもよい。なお物体40には、人体は含まれない。
【0012】
検査装置100は、光源装置10、撮像部20および評価装置30を備える。評価装置30は、一例としてCPU、メモリおよびインターフェース等を備えるコンピュータである。
【0013】
光源装置10は、光束を照射する。光源装置10は、互いに異なる波長帯域における各光束を選択的に、あるいは順番に照射してよい。各波長帯域は、近赤外帯域であってよく、可視帯域であってもよい。近赤外帯域とは、波長が700nm以上2500nm以下の光を指す。可視帯域とは、波長が400nm以上700nm以下の光を指す。本例においては、光源装置10は、照射する光束の波長帯域が互いに異なる複数の発光部11を有する。
【0014】
検査装置100は、物体40を所定の搬送方向に搬送する搬送部70を有してよい。搬送部70は、例えばベルトコンベアである。複数の発光部11は、搬送部70における搬送方向に沿って順番に配置されていてよい。それぞれの発光部11は、物体40がそれぞれの発光部11の正面を通過するタイミングで、順番に発光してよい。
【0015】
撮像部20は、当該光束が照射された物体40からの光束による像を撮像して画像信号を出力する。撮像部20は、物体40を挟んで発光部11とは逆側に配置されてよい。撮像部20は、物体40の一方の面から入射した光が、物体40の内部を通過して物体40の逆側の面から射出した光を受光してよい。ただし撮像部20の配置はこれに限定されない。撮像部20は、物体40の一方の面から入射した光が、物体40の内部において散乱して物体40の当該面から射出した光を受光してよい。
【0016】
撮像部20は、受光素子22を有する。受光素子22は、2次元に配列された複数の画素を有する。受光素子22は、物体40の2次元画像を撮像する。本明細書では、2次元画像を単に画像と称する場合がある。受光素子22は、CCDまたはCMOS等のイメージセンサであってよい。受光素子22は、光源装置10が照射する光の波長帯域に感度を有する。受光素子22は、少なくとも物体40の内部で散乱した内部散乱光を受光する。
【0017】
撮像部20は、各発光部11が光束を照射するタイミングに同期して、物体40を撮像する。つまり撮像部20は、波長帯域の異なる各光束に対応する画像を撮像する。撮像部20は、複数の発光部11に対して共通の受光素子22を有してよい。この場合、各画像を撮像するタイミングにおいて、受光素子22に対する物体40の相対位置が異なるので、各画像間には視差が生じる。検査装置100は、画像間の当該視差を考慮して、物体40を検査することが好ましい。他の例においては、撮像部20は、発光部11毎に受光素子22を有していてもよい。
【0018】
評価装置30は、撮像部20により出力された画像信号を取得して、当該画像信号により物体40の状態を評価する。評価装置30は、当該画像信号による画像のうちの第1領域の画像信号による第1評価値と、当該画像のうち第1領域と異なる第2領域の画像信号による第2評価値とにより、物体40の状態を判別する。例えば、第1評価値と第2評価値とにより、物体40の劣化状態をいくつかの種類に分類する。第1評価値および第2評価値は、発光部11から照射された光束がそれぞれ第1領域および第2領域を透過した透過スペクトルにおける所定の波長成分の強度から算出されてよい。
【0019】
図2は、物体40の画像の一例を示す図である。本例の評価装置30は、物体40の画像を複数の部分領域D1~D9に分割する。本例において、第1領域は部分領域D1~D9の少なくとも一つの領域であり、第2領域は部分領域D1~D9のうち第1領域を除く少なくとも一つの領域である。
【0020】
評価装置30は、部分領域D1~D9それぞれの評価値の部分領域D1~D9にわたる分布の状態から、物体40の状態を判別する。物体40の状態とは、例えば物体40の内部で発生している劣化の種類である。この場合、部分領域D1~D9のいずれかの領域が第1領域であり、当該第1領域における評価値が第1評価値である。また、部分領域D1~D9のうち当該第1領域を除くいずれかの領域が第2領域であり、当該第2領域における評価値が第2評価値である。
【0021】
画像における物体40の中心を通り、且つ、画像において物体40を横切る長さが最大となる直線を第1中心線C1とする。画像における物体40の中心を通り、且つ、第1中心線C1と直交する直線を第2中心線C2とする。評価装置30は、物体40の画像を、第1中心線C1および第2中心線C2に沿って2次元的に分割してよい。
図2は、物体40(本例においてはレモン)の画像を第1中心線C1および第2中心線C2のそれぞれの方向に沿って3分割した、9つの部分領域D1~D9に分けた場合の一例である。
【0022】
物体40に局所的に品質劣化が生じると、対応する領域の透過スペクトルが変化する。評価装置30は、部分領域D1~D9のそれぞれについて、透過スペクトルにおける所定の波長成分の強度から評価値を算出してよい。評価装置30は、当該評価値の部分領域D1~D9にわたる分布から、物体40の内部で発生している劣化の種類を判別できる。
【0023】
例えば物体40が柑橘系果物の場合、物体40の第1中心線C1に沿った領域が腐る場合がある(軸腐れと称する)。第1中心線C1は、例えば、物体40のへた部分と、物体40の中心を通過する直線である。物体40に軸腐れが生じると、画像において、第1中心線C1に沿った部分領域D2、D5、D8の色が変化する。一方、他の部分領域の色はそれほど変化しない。この場合、本例の評価装置30は、第1領域(部分領域D2、D5、D8)の画像信号による第1評価値と、第2領域(D1、D3、D4、D6、D7、D9)の画像信号による第2評価値とを用いることで、物体40の内部状態を判別する。各評価値は、画像信号から算出される、各領域の透過スペクトルに関する値であってよい。透過スペクトルは物体40の各領域を透過した光束のスペクトルである。
【0024】
また、評価装置30は、第1領域および第2領域を含む第3領域に関する第3評価値を、第1評価値および第2評価値に基づいて判別された物体40の内部状態により補正してもよい。一例として、第3領域は物体40を分割する全ての部分領域D1~D9を含む全体領域である。つまり、第3評価値は、物体40の全体的な評価を示す値であり、第1評価値および第2評価値は、物体40の局所的な評価を示す値である。第3領域は、物体40の一部の領域(例えば物体40の周縁部を除いた部分の領域)であってもよい。評価装置30は、第3領域全体における画像信号から、第3評価値を算出してよい。第3評価値は、第3領域全体の透過スペクトルにおける所定の波長成分の強度から算出してよい。
【0025】
評価装置30は、各物体40の透過スペクトルにおいて、所定の基準波長(第1波長)における透過信号値に対する、所定の比較波長(第2波長)の透過信号値の比から部分領域ごとに評価値を算出し、複数の部分領域にわたる当該評価値の分布に基づいて物体40の状態を判別してよい。比較波長は、基準波長と異なる。評価装置30は、複数の比較波長を用いて部分領域ごとに評価値を算出し、当該評価値の分布に基づいて物体40の状態を判別してもよい。即ち、評価装置30は、所定の基準波長における透過信号値に対する第1比較波長の透過信号値の比と、当該基準波長における透過信号値に対する第2比較波長の透過信号値の比とを用いて評価値を算出し、当該評価値の分布に基づいて物体40の状態を判別してもよい。基準波長および比較波長は、物体40の種類ごとに異なっていてもよい。
【0026】
評価装置30は、物体40の第1領域(部分領域)および第2領域(部分領域)、並びに第3領域(全体領域)について、所定の基準波長の透過信号値に対する所定の比較波長の透過信号値の比から、それぞれ第1評価値および第2評価値、並びに第3評価値を算出してよい。評価装置30は、当該第1評価値および当該第2評価値に基づいて判別された物体40の内部状態により、当該第3評価値を補正してもよい。
【0027】
図3は、物体40(レモン)の状態を評価するための第3領域を設定するアルゴリズムの一例を示す図である。評価装置30は、
図3において説明するアルゴリズムに基づいて、第3領域を設定してよい。ステップS100は、撮像部20により物体40を撮像するステップである。撮像部20は、ステップS100において、画像12、画像13、画像14を撮像する。本例において画像12は、光源装置10が第1波長(例えば900nmの帯域)の光を主成分とする光束を照射したときの画像であり、画像13は、光源装置10が第2波長(例えば700nmの帯域)の光を主成分とする光束を照射したときの画像であり、画像14は、光源装置10が第3波長(例えば800nmの帯域)の光を主成分とする光束を照射したときの画像である。主成分とは、光束に含まれる各波長成分のうち、強度が最大の波長成分である。各光束には、主成分以外の波長成分は含まれていなくてもよい。
【0028】
ステップS110は、評価装置30が、画像間の視差を画素ごとに補正するステップである。評価装置30は、基準となる画像に対する、他の2つの画像の視差を補正する。評価装置30は、それぞれの画像に含まれる特徴点の位置ずれ量に基づいて、各画素の視差量を算出してよい。特徴点は、例えばレモンの外皮表面にあらわれる油胞である。評価装置30は、画像間において対応する油胞を抽出し、対応する油胞の位置ずれ量に基づいて画像の各位置における視差量を算出してよい。
【0029】
評価装置30は、当該視差量に基づいて画像間の視差を画素ごとに補正した補正画像16を生成してもよい。補正画像16の各画素の画像信号には、少なくとも、第1波長、第2波長および第3波長の各波長における受光強度を算出可能な情報が含まれている。
【0030】
なお、評価装置30は、ステップS100で撮像された3つの画像12、13、14を合成した合成画像を生成した後、画像12、13、14に生じた視差を補正してもよい。評価装置30は、当該合成画像を生成した後、画像12、13、14に生じた視差を補正した補正画像16を生成してもよい。
【0031】
ステップS120は、評価装置30が、ステップS110で視差が補正された補正画像16から第3領域64を設定するステップである。評価装置30は、補正画像16における物体40の境界を特定してよい。物体40の境界とは、画像における物体40と、背景および他の被写体との境界である。例えば評価装置30は、モルフォロジー処理またはラベリング処理等により、補正画像16を2値の画像に変換する。評価装置30は、2値の画像に基づいて物体40の境界を特定してよい。
【0032】
評価装置30は、物体40の境界から所定の距離内にある周縁部50を特定してよい。本例の周縁部50は、物体40の境界に沿った環状の領域である。当該距離は、物体40の種類毎に予め設定されていてよい。本例においては、評価装置30は、物体40の領域から周縁部50を除いた領域を第3領域64とする。物体40がレモンの場合、レモンの外皮の部分が周縁部50であり、レモンの外果皮の部分を除いた果肉の領域が第3領域64である。
【0033】
第3領域64は、
図2の説明において述べた第1領域および第2領域を含む。第3領域64を複数の領域に分割して、
図2に示した部分領域としてよい。つまり、第1領域または第2領域として選択され得る部分領域には、周縁部50が含まれなくてよい。
【0034】
図4は、物体40(本例においてはレモン)の各画素についての画素値の比の分布の一例を示す図である。本例では、評価装置30は、第3領域64に含まれる各画素の画素値の比を算出する。画素値の比は、撮像部20により出力された画像信号の各画素の第1波長成分、第2波長成分および第3波長成分から求められてよい。本例の画素値の比は、第1波長成分に対する第2波長成分の比Aと、第1波長成分に対する第3波長成分の比Bとを含む。評価装置30は、
図4に示すように、比Aの分布17と、比Bの分布18を算出してよい。
【0035】
本例の評価装置30は、画素値の比Aおよび比Bから、物体40に対して一つの第3評価値(すなわち、物体の状態を評価するための第3評価値)を算出する。本例の評価装置30は、画素毎の比Aの最頻値V1と画素毎の比Bの最頻値V2とに基づいて第3評価値を算出する。評価装置30は、画素毎の比Aの中央値と画素毎の比Bの中央値とに基づいて第3評価値を算出してもよい。
【0036】
第3評価値は、最頻値V1と最頻値V2との積であってもよい。
図4においては第3領域64における第3評価値の算出方法を説明したが、第1領域における第1評価値および第2領域における第2評価値も同様に算出できる。評価装置30は、第1領域に含まれる各画素の画素値(画素信号)から第1評価値を算出してよい。評価装置30は、第2領域に含まれる各画素の画素値(画素信号)から第2評価値を算出してよい。
【0037】
図5は、複数の物体40についての最頻値V1と最頻値V2の分布を示す図である。
図5は、第3評価値における最頻値V1および最頻値V2の分布例を示している。物体40がレモンの場合、レモンの品質は最頻値V1が大きいほど新鮮である蓋然性が高く、最頻値V1が小さいほど劣化している蓋然性が高い。また、レモンの品質は、最頻値V2が大きいほど新鮮である蓋然性が高く、最頻値V2が小さいほど劣化している蓋然性が高い。評価装置30は、第3評価値(最頻値V1と最頻値V2の積)が予め定められた閾値以上となる場合にレモンの品質が正常であると判定し、閾値未満となる場合にレモンに品質劣化が発生していると判定してよい。評価装置30は、最頻値V1および最頻値V2の積以外の方法で物体40を評価してもよい。評価装置30は、最頻値V1および最頻値V2のそれぞれが、予め定められた許容範囲に含まれているか否かに基づいて、物体40を評価してもよい。品質劣化が発生していると判定されたレモンは、例えば出荷対象から外される。
図5において、閾値曲線を実線にて示している。
【0038】
評価装置30は、第1評価値および第2評価値に基づいて、物体40の評価を補正する。評価装置30は、第1評価値および第2評価値に基づいて第3評価値を補正してよい。評価装置30は、第1評価値および第2評価値に基づいて、物体40の評価に用いる閾値を補正してよく、許容範囲を補正してもよい。
【0039】
図6は、評価装置30における処理例を示すフローチャートである。まず第3評価値算出段階S702において、評価装置30は、物体40の第3評価値を算出する。次に、評価段階S704において、評価装置30は、第3評価値が予め定められた範囲内であるか否かを判定する。本例においては、評価装置30は、第3評価値が第1基準値R1以上、第2基準値R2以下の範囲内であるか否かを判定する。本例の第3評価値は、数値が大きいほど物体40が高品質であることを示している。第3評価値が第1基準値R1より小さい場合、第1評価値および第2評価値を用いた第3評価値の補正をするまでもなく、物体40が不良であると判定できる。また、第3評価値が第2基準値R2より大きい場合、第1評価値および第2評価値を用いた第3評価値の補正をするまでもなく、物体40が良品であると判定できる。このため、本例の評価装置30は、第3評価値が第1基準値R1から第2基準値R2までの範囲に入っていない場合(NO)、S706の状態判別段階を経ずに、評価決定段階S708において第3評価値を決定する。
【0040】
第3評価値が、第1基準値R1から第2基準値R2までの範囲に入っている場合、状態判別段階S706において、評価装置30は各部分領域の評価値の分布から物体40の状態を判別する。評価装置30は、部分領域(例えば
図2の部分領域D1~D9)ごとの評価値を算出する。評価装置30は、部分領域ごとの評価値の複数の部分領域にわたる分布から物体40の状態を判別し、当該判別結果に基づいて第3評価値を補正する。
【0041】
続くステップS708において、評価装置30は状態判別段階S706における第3評価値の補正結果を第3評価値とする。このように、本例においては、評価装置30は部分領域ごとの評価値の分布から第3評価値を補正することで、物体40の状態をより正確に評価できる。
【0042】
評価装置30は、状態判別段階S706における第3評価値の補正を機械学習により行ってもよい。例えば、評価装置30は、部分領域の分布状態と補正後の第3評価値との関係を機械学習済みの評価値推論モデルに部分領域の分布状態を入力し、当該評価値推論モデルが出力する値を第3評価値としてもよい。
【0043】
ステップS710において、評価装置30は第3評価値に基づいて物体40の状態を評価する。評価装置30は、第3評価値と閾値とを比較することで物体40を評価してよい。評価装置30は、物体40を良否の2段階に評価してよく、より多くの段階に評価してもよい。
【0044】
図7は、状態判別段階S706における補正処理の一例を説明する図である。
図7において、評価値V
D1~V
D9は、それぞれ部分領域D1~D9の評価値である。本例は、物体40に軸腐れが生じているか否かを判別し、判別結果に応じて第3評価値を補正する場合である。
【0045】
評価装置30は、物体40の中心軸を抽出してよい。物体40が柑橘系作物の場合、評価装置30は、画像における物体40の先端部44とへた部42を抽出してよい。評価装置30は、物体40の種類毎に予め記憶したテンプレート画像と物体40の画像とを比較して、パターンマッチング等により物体40の先端部44とへた部42とを抽出してよい。評価装置30は、物体40の先端部44とへた部42とを結ぶ軸を、物体40の中心軸としてよい。他の例では、評価装置30は、
図2に示した第1中心線C1および第2中心線C2のいずれかを物体40の中心軸として選択してもよい。評価装置30は、物体40の種類に基づいて、第1中心線C1および第2中心線C2のいずれかを中心軸として選択してよい。評価装置30は、物体40の種類に関する情報を外部から取得してよく、物体40の画像から判別してもよい。なお本明細書では、物体40の中心軸と平行な軸をY軸とし、中心軸と直交する軸をX軸とする。
【0046】
物体40(レモン)のX軸方向における中央の部分領域の評価値が、X軸方向における両端の部分領域の評価値よりも低い場合、評価装置30は、物体40に軸腐れが発生していると判定してよい。例えば、部分領域D8の評価値VD8が、部分領域D7の評価値VD7より低く、且つ、部分領域D9の評価値VD9よりも低い場合、評価装置30は、物体40(レモン)に軸腐れが発生していると判定してよい。このように、評価装置30は各部分領域の評価値の分布から、物体40の状態を判定する。本例においては、評価装置30は第1領域60(部分領域D8)の画像信号による第1評価値VD8と、第2領域62(部分領域D7およびD9)の画像信号による第2評価値VD7およびVD9とを用いることにより、物体40に軸腐れが発生していると判定している。
【0047】
物体40に軸腐れが生じていても、物体40の全体的な評価を示す第3評価値Vwは、第3評価値の閾値Vthより大きい場合がある。一方で、物体40に軸腐れが生じている場合には、物体40は低く評価されることが好ましい。この場合、評価装置30は、第3評価値Vwの値を小さくする負の補正を行う。これにより、軸腐れが生じた物体40の評価を下げて、物体40を評価できる。
【0048】
評価装置30は、第1評価値と第2評価値とにより、第3評価値の補正量を異ならせてもよい。評価装置30は、第1評価値と第2評価値とによって第3評価値の補正量を異ならせることにより、軸腐れの程度に応じて物体40の評価を調整できる。評価装置30は、物体40に軸腐れが生じている場合には物体40を不良と判定してもよい。
【0049】
図7は、部分領域D8の評価値V
D8が、部分領域D7の評価値V
D7より低く、且つ、部分領域D9の評価値V
D9よりも低い場合の例を示している。部分領域D8は、物体40の中心軸が通過する複数の部分領域のうち、Y軸方向における一端の部分領域である。他の例では、評価装置30は、部分領域D2の評価値V
D2が部分領域D1の評価値V
D1および部分領域D3の評価値V
D3より低い場合も、物体40に軸腐れが発生していると判定してよい。本例においては、第1領域60は部分領域D2であり、第2領域62は部分領域D1および部分領域D3である。一例として、部分領域D8は物体40の先端部44を含む領域であり、部分領域D2はへた部42を含む領域である。物体40がレモン等の柑橘系果物の場合、軸腐れはへた部42および先端部44のいずれか一方または両方から進行する。このため、部分領域D1~D3の評価値V
D1~V
D3から、物体40における軸腐れを精度よく判定できる。
【0050】
上記した例のほか、評価装置30は、部分領域D5の評価値VD5が部分領域D4の評価値VD4および部分領域D6の評価値VD6より低い場合も、物体40に軸腐れが発生していると判定してよい。本例においては、第1領域60は部分領域D5であり第2領域62は部分領域D4および部分領域D6である。部分領域D5は、物体40の中心軸が通過する部分領域のうち、Y軸方向における中央に配置された領域である。
【0051】
評価装置30は、撮像部20により出力された画像信号のうち、複数の部分領域の画像信号による複数の評価値に基づいて、物体40の状態を判別してもよい。即ち、部分領域D2、D5およびD8の3つの領域をまとめた領域の評価値が、部分領域D1、D4およびD7の3つの領域をまとめた領域の評価値よりも低く、且つ、部分領域D3、D6およびD9の3つの領域をまとめた領域の評価値よりも低い場合、物体40の軸腐れが発生していると判定してよい。
【0052】
図8は、状態判別段階S706における補正処理の他の一例を説明する図である。本例は、物体40に局所的な外皮劣化が生じているか否かを判別し、判別結果に応じて第3評価値を補正する場合である。
【0053】
物体40(レモン)のX軸方向またはY軸方向における両端の部分領域(外皮を含む部分領域)の評価値が、その部分領域に接する他の部分領域の評価値よりも低い場合、評価装置30は物体40に外皮劣化が生じていると判定してよい。例えば、部分領域D9の評価値VD9が、部分領域D9に接する部分領域D5の評価値VD5、部分領域D6の評価値VD6および部分領域D8の評価値VD8のいずれよりも低い場合、評価装置30は、物体40(レモン)に外皮劣化が生じていると判定してよい。本例においては、評価装置30は第1領域60(部分領域D9)の画像信号による第1評価値VD9と、第2領域62(部分領域D5、D6およびD8)の画像信号による第2評価値VD5、VD6およびVD8とを用いることにより、物体40に外皮劣化が発生していると判定している。
【0054】
物体40が青果物の場合、外皮が劣化すると、当該外皮を含む第1領域60の第1評価値は非常に小さくなる。一方で、外皮は果肉よりも光束の拡散性が低く、外皮劣化によって透過スペクトルが変化した光束は、他の領域まで拡散しにくい。このため、第1領域60に隣接する領域であっても、外皮劣化が生じていない第2領域62の第2評価値は、それほど小さくならない。このため、第2評価値が第1評価値と比較して局所的に低い場合に、外皮劣化が生じていると判定できる。
【0055】
外皮劣化が生じると、当該領域の評価値は非常に小さくなる。このため、全体的な評価である第3評価値Vwも低下する。しかし、外皮劣化が生じていても、物体40の内部品質は劣化していない場合もある。評価装置30は、物体40に外皮劣化が生じていると判定した場合に、第3評価値Vwの値を大きくする正の補正を行う。これにより、外皮劣化が生じた物体40の評価を上げて、物体40を評価できる。
【0056】
図8の例は、部分領域D9の評価値V
D9が、部分領域D9に接する部分領域D5の評価値V
D5、部分領域D6の評価値V
D6および部分領域D8の評価値V
D8のいずれよりも低い場合であるが、部分領域D1の評価値V
D1が、部分領域D2の評価値V
D2、部分領域D4の評価値V
D4および部分領域D5の評価値V
D5のいずれよりも低い場合も、評価装置30は物体40に外皮劣化が発生していると判定してよい。また、部分領域D3の評価値V
D3が、部分領域D2の評価値V
D2、部分領域D5の評価値V
D5および部分領域D6の評価値V
D6のいずれよりも低い場合も、評価装置30は物体40に外皮劣化が発生していると判定してよい。また、部分領域D7の評価値V
D7が、部分領域D4の評価値V
D4、部分領域D5の評価値V
D5および部分領域D8の評価値V
D8のいずれよりも低い場合も、評価装置30は物体40に外皮劣化が発生していると判定してよい。
【0057】
図9は、状態判別段階S706における補正処理の他の一例を説明する図である。本例は、物体40に経時的な鮮度劣化が生じているか否かを判別し、判別結果に応じて第3評価値を補正する場合である。
【0058】
物体40(レモン)の中心軸を通り、且つ、Y軸方向における中央の部分領域の評価値が、Y軸方向においてその部分領域を挟む2つの部分領域の評価値よりも低い場合、評価装置30は、物体40(レモン)に継時的な鮮度劣化が生じていると判定してよい。例えば、部分領域D5の評価値VD5が、Y軸方向において部分領域D5を挟む部分領域D2の評価値VD2よりも低く、且つ、部分領域D8の評価値VD8よりも低い場合、評価装置30は、物体40(レモン)に継時的な鮮度劣化が生じていると判定してよい。本例においては、評価装置30は、第1領域60(部分領域D5)の画像信号による第1評価値VD5と、第2領域62(部分領域D2およびD8)の画像信号による第2評価値VD2およびVD8とを用いることにより、物体40に経時的な鮮度劣化が発生していると判定している。
【0059】
評価装置30は、第1領域60の第1評価値が、いずれの第2領域62の第2評価値よりも低い場合に、物体40に鮮度劣化が生じていると判定してよい。物体40が青果物の場合、軸腐れ等の劣化ではなく通常の鮮度劣化が生じると、へた部42および先端部44から離れた部分から劣化が進みやすい。このため、Y軸方向における中央に配置された第1領域60と、端部に配置された第2領域62の評価値を比較することで、物体40に鮮度劣化が生じているかを判定できる。
【0060】
鮮度劣化が生じると、全体的な第3評価値Vwは低下する。しかし、鮮度劣化が生じても、内部品質はそれほど劣化していない場合もある。また、季節によっては、ある程度の鮮度劣化が生じていても、消費者等により許容される場合もある。評価装置30は、物体40に鮮度劣化が生じていると判定した場合に、第3評価値Vwを大きくする正の補正を行ってよい。これにより、鮮度劣化が生じた物体40の評価を上げて、物体40を評価できる。評価装置30は、第1評価値および第2評価値により、第3評価値の補正量を変化させてもよい。また、評価装置30は、第3評価値Vwの補正量を、季節に応じて変動させてもよい。例えば物体40の旬ではない季節においては、第3評価値Vwの補正量を大きくする。第3評価値Vwの時期毎の補正量は、評価装置30に予め設定されていてよい。
【0061】
図9の例は、部分領域D5の評価値V
D5が部分領域D2の評価値V
D2よりも低く、且つ、部分領域D8の評価値V
D8よりも低い場合であるが、部分領域D4の評価値V
D4が部分領域D1の評価値V
D1よりも低く、且つ、部分領域D7の評価値V
D7よりも低い場合も、評価装置30は物体40に経時的な鮮度劣化が生じていると判定してよい。また、部分領域D6の評価値V
D6が部分領域D3の評価値V
D3よりも低く、且つ、部分領域D9の評価値V
D9よりも低い場合も、評価装置30は物体40に経時的な鮮度劣化が生じていると判定してよい。
【0062】
以上説明した通り、本例の検査装置100によれば、第1領域60における第1評価値と第2領域62における第2評価値により、物体40の状態を評価する。このため、本例の検査装置100は、物体40の状態(物体内部の劣化の状態)に応じた評価が可能となる。特に、物体40が青果物の場合等、物体40の内部における光束の散乱特性が高い場合、物体40の各領域を通過した光束が平均化される。物体40の全体的な評価である第3評価値は、物体40の内部において品質劣化が発生した部分による光束と、新鮮な部分による光束とが平均化された光束に基づいて、物体40を評価してしまう。このため、物体40の最適な評価が困難な場合がある。本例の検査装置100によれば、第1評価値および第2評価値により、物体40の最適な評価が可能となる。
【0063】
図10は、評価装置30として機能するコンピュータ1200の一例を示す図である。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させ、または当該オペレーションまたは当該1または複数の「部」を実行させることができ、および/またはコンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。このようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。当該機能は、FPGAで実装してもよい。一例としてプログラムは、コンピュータ1200を、評価装置30として機能させる。
【0064】
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、グラフィックコントローラ1216、およびディスプレイデバイス1218を含み、これらはホストコントローラ1210によって相互に接続される。コンピュータ1200はまた、通信インターフェース1222、ハードディスクドライブ1224、DVD-ROMドライブ1226、およびICカードドライブのような入出力ユニットを含み、これらは入出力コントローラ1220を介してホストコントローラ1210に接続される。コンピュータはまた、ROM1230およびキーボード1242のようなレガシの入出力ユニットを含み、これらは入出力チップ1240を介して入出力コントローラ1220に接続される。
【0065】
CPU1212は、ROM1230およびRAM1214内に格納されたプログラムに従い動作し、これにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等または当該グラフィックコントローラ1216自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示させる。
【0066】
通信インターフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ1224は、コンピュータ1200内のCPU1212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ1226は、プログラムまたはデータをDVD-ROM1201から読み取り、ハードディスクドライブ1224にRAM1214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
【0067】
ROM1230は、内部に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、および/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
【0068】
プログラムが、DVD-ROM1201またはICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ1224、RAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【0069】
例えば、通信がコンピュータ1200および外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェース1222に対し、通信処理を命令してよい。通信インターフェース1222は、CPU1212の制御の下、RAM1214、ハードディスクドライブ1224、DVD-ROM1201、またはICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0070】
また、CPU1212は、ハードディスクドライブ1224、DVD-ROMドライブ1226(DVD-ROM1201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0071】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような、様々なタイプの情報が、情報処理されるべく、記録媒体に格納されてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、これにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0072】
以上の説明によるプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、これにより、プログラムをコンピュータ1200にネットワークを介して提供する。
【0073】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0074】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
[項目1]
互いに異なる複数の波長帯域の光束のそれぞれを選択的に照射する光源装置と、
前記光束が照射された物体からの光束による像を撮像して画像信号を出力する撮像部と、
前記画像信号による画像のうちの第1領域の前記画像信号による第1評価値と、前記画像のうちの前記第1領域と異なる第2領域の前記画像信号による第2評価値とにより、前記物体の状態を評価する評価装置とを備える検査装置。
[項目2]
項目1に記載の検査装置であって、
前記評価装置は、前記画像のうちの前記第1領域と前記第2領域とを含む第3領域の前記画像信号による第3評価値を、前記物体の状態により補正する検査装置。
[項目3]
項目2に記載の検査装置であって、
前記評価装置は、前記第3評価値が予め定められた範囲内であると、前記第1評価値と前記第2評価値とによる前記物体の状態により前記第3評価値を補正する検査装置。
[項目4]
項目2に記載の検査装置であって、
前記評価装置は、前記第1評価値と前記第2評価値とにより、前記第3評価値の補正量を異ならせる検査装置。
[項目5]
項目1から4のいずれか一項に記載の検査装置であって、
前記評価装置は、前記画像のうちの複数の部分領域の前記画像信号による複数の評価値に基づいて、前記第1領域と前記第2領域を選択する検査装置。
[項目6]
項目2から4のいずれか一項に記載の検査装置であって、
前記評価装置は、前記画像のうち前記物体の周縁部を除いた領域を前記第3領域として前記第3評価値を算出する検査装置。
[項目7]
項目1から6のいずれか一項に記載の検査装置であって、
前記光束は近赤外域の波長帯域である検査装置。
[項目8]
項目1から7のいずれか一項に記載の検査装置であって、
前記評価装置は、前記画像信号の第1波長成分に対する第2波長成分の比と、前記第1波長成分に対する第3波長成分の比とに基づいて前記第1評価値および前記第2評価値を算出する検査装置。
[項目9]
物体からの光束による像を撮像した画像信号による画像のうちの第1領域の前記画像信号による第1評価値と、前記画像のうちの前記第1領域と異なる第2領域の前記画像信号による第2評価値とにより、前記物体の状態を評価する評価装置。
[項目10]
コンピュータを、項目9に記載の評価装置として機能させるためのプログラム。
【符号の説明】
【0075】
10・・・光源装置、11・・・発光部、12・・・画像、13・・・画像、14・・・画像、16・・・補正画像、17・・・比Aの分布、18・・・比Bの分布、20・・・撮像部、30・・・評価装置、40・・・物体、42・・・へた部、44・・・先端部、50・・・周縁部、60・・・第1領域、62・・・第2領域、64・・・第3領域、70・・・搬送部、100・・・検査装置、1200・・・コンピュータ、1201・・・DVD-ROM、1210・・・ホストコントローラ、1212・・・CPU、1214・・・RAM、1216・・・グラフィックコントローラ、1218・・・ディスプレイデバイス、1220・・・入出力コントローラ、1222・・・通信インターフェース、1224・・・ハードディスクドライブ、1226・・・DVD-ROMドライブ、1230・・・ROM、1240・・・入出力チップ、1242・・・キーボード