(58)【調査した分野】(Int.Cl.,DB名)
前記判定処理部は、画像を比較する際に用いる画像の特徴量である平均コントラスト、最大コントラスト、及び画像中の物品の大きさの少なくとも何れかについて予め定められた閾値の条件に基づいて、算出した前記各近似度に基づく物品の有無および適否の少なくとも何れかの判定を行なう、
請求項1に記載の検査装置。
前記判定処理部は、前記トレイ中の部位毎に予め定められた前記閾値の条件に基づいて、算出した前記各近似度に基づく物品の有無および適否の少なくとも何れかの判定を行なう、
請求項2に記載の検査装置。
【発明を実施するための形態】
【0011】
以下、検査装置、検査方法および検査プログラムの実施形態について説明する。以下に示す実施形態は、検査装置、検査方法および検査プログラムの一態様を例示するものであり、検査装置、検査方法および検査プログラムの技術的範囲を以下の態様に限定するものではない。
【0012】
実施形態に係る検査装置を備えた荷姿変換機の構成を
図1に示す。検査装置10は、
図1に示すように、荷姿変換機20に備わっており、CPU(Central Processing Unit)
11(本願でいう「判定処理部」の一例である)やメモリ12、入出力インターフェース13を有している。検査装置10は、メモリ12に記憶されているコンピュータプログラムをCPU11が実行することにより、トレイ1に載置された物品3の検査を行う。CPU11が実行するコンピュータプログラムは、メモリ12に予め記憶されていてもよいし、その他の不揮発性記憶媒体から読み出したものであってもよい。
【0013】
検査装置10は、物品3を多数載せたトレイ1を撮像したカメラ21の画像データを解析し、トレイ1に載置された物品3の適否を検査する。このため、カメラ21やトレイ1を収容するスペースは、周囲の光の影響を受けないように光を遮る部材で覆われており、照度の安定した内部照明で照らされている。照度の安定した照明としては、例えば、LED(Light Emitting Diode)照明)を挙げることができる。LED照明であれば、1年以上の長期に渡って使用し続けても、検査装置10による検査の支障が出ない範囲内で照度を保つことができる。カメラ21によって撮像されたトレイ1上の物品3は、アーム22やハンド23を制御する荷姿変換機20のハンドリング装置24によって他のトレイ2へ移し替えられる。なお、荷姿変換機20には、各種の警告を行う警告灯25や各種の情報を表示するディスプレイ26が備わっている。
【0014】
図2は、特定のトレイ1に載った物品を他のトレイ2へ移し替える荷姿変換機20を示したものである。荷姿変換機20は、
図2に示すように、特定のトレイ1に載った物品を他のトレイ2へ移し替えるものである。しかしながら、検査装置10は、このような荷姿変換機20のみならず、例えば、出荷する製品を載せたトレイの出荷前検査や、その他、物品を多数載せたトレイを検査対象とするあらゆる場面に適用することができる。検査装置10は、例えば、
図1に示したように、カメラ21の画像に基づいてアーム22やハンド23を制御するハンドリング装置24を備える荷姿変換機20に適用する場合であれば
、荷姿変換機20のカメラ21で取得した画像データを利用することにより、トレイ1に載置された物品3の適否を検査することが可能である。この場合、検査装置10は、荷姿変換機20に既設されている制御装置のコンピュータ等で代用してもよい。
【0015】
検査装置10は、メモリ12にロードされたコンピュータプログラムを実行すると、トレイ1を検査する際の基準となる2つの画像データをメモリ12に展開する。ここで、メモリ12に展開する2つの画像データのうち何れか一の画像データは、物品3を載せたトレイ1全体を撮像した画像データであり、以下、物品有りマスタ画像データ(本願でいう「第一の画像のデータ」の一例である)という。また、2つの画像データのうち何れか他方の画像データは、物品3を載せていないトレイ1全体を撮像した画像データであり、以下、物品無しマスタ画像データ(本願でいう「第二の画像のデータ」の一例である)という。物品有りマスタ画像データおよび物品無しマスタ画像データは、検査する物品を載せるトレイ1および物品3の形状や色、大きさに応じてそれぞれ予め用意したものである。すなわち、物品有りマスタ画像データは、正規の物品3を正規の位置に全て正しく載せたトレイ1全体をカメラ21で撮像した画像データである。また、物品無しマスタ画像データは、何も載せていないトレイ1全体をカメラ21で撮像した画像データである。
【0016】
以下、メモリ12にロードされたコンピュータプログラムをCPU11が実行すると開始される処理フローを、
図3の処理フロー図に沿って説明する。CPU11は、コンピュータプログラムを実行すると、トレイ1の画像データ(以下、検査画像データという。本願でいう「検査画像のデータ」の一例である)がカメラ21にあるか否かを判定する(S101)。CPU11は、例えば、カメラ21から送られる撮像完了の旨の信号の有無を検知することで、画像データの有無を判定する。CPU11は、検査画像データがカメラ21から送られていることを検知すると、カメラ21の画像データを取得し、メモリ12に格納する(S102)。
【0017】
CPU11は、メモリ12に格納されている検査画像データを、メモリ12に格納されている物品有りマスタ画像データと物品無しマスタ画像データのそれぞれと比較する(S103)。検査画像データの比較処理の一例を
図4に示す。
【0018】
すなわち、CPU11は、物品3を載せる各部位7の検査画像データを、物品有りマスタ画像データおよび物品無しマスタ画像データのそれぞれと対比する。より詳細には、CPU11は、検査画像データ中に多数ある各部位7の画像データのうち特定の部位7の画像データについて、物品有りマスタ画像データ中に多数ある各部位7のうち対応する部位7の画像データに対する近似度と、物品無しマスタ画像データ中に多数ある各部位7のうち対応する部位7の画像データに対する近似度とをそれぞれ算出する。例えば、
図4に示す例であれば、CPU11は、検査画像データ中に多数ある各部位7A〜7Dの画像データのうち、例えば部位7Aの画像データについては物品有りマスタ画像データの部位7Aの画像データに対する近似度と、物品無しマスタ画像データの部位7Aの画像データに対する近似度とをそれぞれ算出する。部位7B〜7Dについても部位7Aと同様である。
【0019】
なお、近似度を算出する際の要素は、物品を映した画像データの近似度を定量的に比較し得るものであれば如何なるものであっても良く、例えば、平均コントラスト、最大コントラスト、画像中の物品3の大きさ、色合い、輪郭の位置、或いはこれらの組合せなどを例示できる。平均コントラスト、最大コントラスト、画像中の物品3の大きさの3つの要素を用いる場合は、例えば、各要素が既定の閾値の範囲内に入っているか否かを判定し、何れの要素についても既定の閾値の範囲内に入っていれば両画像データは近似していると判定してもよいし、或いは、平均コントラストと最大コントラストの何れかが既定の閾値の範囲内に入っており、更に物品3の大きさが既定の閾値の範囲内に入っていれば量が増データは近似していると判定するようにしてもよい。検査画像データの対比は、トレイ1
の各部位7についてそれぞれ行なうため、例えば、トレイ1が物品3を100個(10行×10列)搭載するものであれば、一つのトレイ1について各部位7で1回ずつ、合計100回行なわれることになる。
【0020】
なお、物品有りマスタ画像データおよび物品無しマスタ画像データのそれぞれと対比する際の検査画像データは、例えば、トレイ1に隣接して設けたマーカーが映っている位置を特定し、このマーカーに対する相対的な位置関係に基づいて、検査画像データからトレイ1の特定の部位7の画像データを切り出すようにしてもよい。この場合、マーカーは、トレイ1上でカメラ21から撮像可能な位置で、且つ、物品3を搭載する部位7以外の位置であれば、何れの箇所に設けてもよい。例えば、マーカーは、トレイ1の外縁近傍に設けることで、カメラ21とトレイ1との相対的な位置関係を画像データから特定する際に用いることができる。
【0021】
CPU11は、算出した各部位7の検査画像データの近似度が、予め定められている閾値の範囲内であるか否かの判定を行う。すなわち、CPU11は、各部位7の検査画像データについて、物品有り検査画像データに対する近似度が既定の閾値の範囲内であれば「物品有り」と判定し、範囲外であれば「物品無し」と判定する。また、物品無し検査画像データに対する近似度が既定の閾値の範囲内であれば「物品無し」と判定し、範囲外であれば「物品有り」と判定する。閾値は、多数の画像データをそれぞれ解析することにより人為的に決定したものであってもよいし、検査結果の妥当性をオペレータが定期的に評価することで検査装置10が自動的に学習し、自律的に決定したものであってもよい。
【0022】
CPU11が実行する判定処理を、物品有りマスタ画像データおよび物品無しマスタ画像データが
図4のように示されている場合を例に挙げて説明する。すなわち、検査画像データに示される画像に映るトレイ1の部位7Dには物品有りマスタ画像データに示される物品3と同じ物品3が載っているものの、トレイ1の部位7Aには物品3と異なる物品4が載っているものとする。また、部位7Bには何も載っておらず、部位7Cには物品3と異なる物品5が載っているものとする。なお、物品4は、物品3の形態とは異なっているものの、物品5に比べて物品3により近似した形態を有しているものとする。
【0023】
各部位7A〜Dの近似度を示した第一のグラフを
図5に示す。
図5のグラフは、各画像データの近似度を視覚的に説明するため、例示的に横軸を画像データ比較の際の要素とし、縦軸を各要素の大きさとして示し、各画像データの近似度を同一横軸上に視覚的に表現したものである。しかし、各画像データの近似度を表す際は、このような概念に限定されるものではない。すなわち、各画像データの近似度は、例えば、画像データの特徴量を現したベクトルの方向や大きさ、その他、画像解析に用いられるあらゆる概念で表現してもよい。
【0024】
図4に示した例の場合、部位7Bには何も載っていないので、部位7Bの検査画像データは物品無しマスタ画像データと似ており、部位7Bの検査画像データの特徴は、物品無しマスタ画像データの特徴に概ね一致することになる。また、部位7Dには正規の物品3が載っているため、部位7Dの検査画像データは物品有りマスタ画像データと似ており、部位7Dの検査画像データの特徴は、物品有りマスタ画像データの特徴に概ね一致することになる。
【0025】
また、部位7Aには正規の物品3と異なる形態を有する非正規の物品4が載っているので、部位7Aの検査画像データは物品有りマスタ画像データに似ている点が多く、部位7Aの検査画像データの特徴は、物品有りマスタ画像データの特徴に近いものとなる。部位7Cについても部位7Aと同様であるが、部位7Cに載っている非正規の物品5は形態が物品4よりも物品3に近似していないため、部位7Cの検査画像データの特徴は、部位7
Aの検査画像データの特徴に比べて、物品無しマスタ画像データの特徴に近いものとなる。
【0026】
各部位7A〜Dの近似度を示した第二のグラフを
図6に示す。例えば、物品3が載る部位7と照明とカメラ21との相対的な位置関係や、物品3の形態、物品3やトレイ1で反射する照明の反射光の強さなどに起因し、物品有りと判定される範囲の一部と物品無しと判定される範囲の一部とが、
図6に示すように互いに重複している場合が考えられる。物品有りあるいは物品無しと判定される範囲の閾値がこのように設定されている場合、物品5を物品3と誤認することは無いものの、物品4を物品3と誤認することになる。
【0027】
そこで、CPU11は、次に示すような判定条件に従い、各部位7の適否を判定する。
図7は、CPU11が用いる判定条件を示した表である。
図7に示す判定条件は、以下のような思想に基づいて規定されている。
【0028】
すなわち、正しい物品を映した検査画像データは、物品有りマスタ画像データに一致あるいは近似するものの、物品無しマスタ画像データに近似することは無い。また、物品を載せていないトレイを映した検査画像データは、物品無しマスタ画像データに一致あるいは近似するものの、物品有りマスタ画像データに近似することは無い。
【0029】
一方、誤った物品を映した検査画像データは、基本的に物品有りマスタ画像データに近似すると考えられるものの、例えば、物品が正規のものより小さい場合や、物品の色がトレイ1の色に近似しているような場合、算出される近似度は、物品無しマスタ画像データに近い結果を示すことになると考えられる。
【0030】
そこで、CPU11は、このような正規の物品と判定され得る非正規品の誤認を減らすため、検査画像データの近似度が物品有りと判定される範囲内にあっても、物品無しと判定される範囲内にもある場合には、当該検査画像データに映る物品は正規品でない蓋然性が高いので非正規品とみなすことにしている。
【0031】
CPU11は、このような思想に基づいて規定された
図7の表に示す判定条件に従い、トレイ1の各部位7を判定する(S104)。例えば、
図4で示した部位7Dであれば、正規の物品3が載っているので、物品有りマスタ画像データを基にした物品有り判定の結果は「有り」で、物品無しマスタ画像データを基にした物品無し判定の結果は「無し」であり、部位7Dの判定結果は「物品有り」となる。また、部位7Bであれば、何も載っていないので、物品有りマスタ画像データを基にした物品有り判定の結果は「無し」で、物品無しマスタ画像データを基にした物品無し判定の結果は「無し」であり、部位7Bの判定結果は「物品無し」となる。
【0032】
また、部位7Cであれば、物品3と形態が異なる物品5が載っているので、物品有りマスタ画像データを基にした物品有り判定の結果は「無し」で、物品無しマスタ画像データを基にした物品無し判定の結果は「有り」であり、部位7Cの判定結果は「違う物品有り」となる。また、部位7Aであれば、形態が物品5よりも物品3に近似している物品4が載っているので、物品有りマスタ画像データを基にした物品有り判定の結果は「有り」で、物品無しマスタ画像データを基にした物品無し判定の結果は「有り」であり、部位7Aの判定結果は「違う物品有り」となる。
【0033】
CPU11は、特定のトレイ1にある全ての部位7の何れにおいても、判定結果が「物品有り」であるか否かを確認する(S105)。CPU11は、全ての部位7において判定結果が「物品有り」であれば、当該トレイ1には物品3が適正に載っていることをディスプレイ26に表示する(S106)。また、CPU11は、特定のトレイ1にある全て
の部位7のうち少なくとも何れかの部位7における判定結果が「違う物品有り」あるいは「物品無し」であった場合、警告灯25を点灯し、或いはディスプレイ26に警告表示するなどしてオペレータに異常を報知する(S107)。
【0034】
CPU11は、上記一連の処理(S101〜S107)を、全てのトレイ1について処理を終えるまで、あるいはオペレータによる停止操作が行われるまで繰り返す。以上のように構成される検査装置10であれば、カメラ21で映したトレイ全体の画像データを使って検査を実行しているので、各部位7にセンサを設ける場合に比べて様々な形のトレイに対応可能であるにも関わらず、検査対象の物品を映した画像を比較しただけでは正規の物品と誤認し得るような非正規の物品を、検査対象の物品が映っていない画像を用いることで検出し得るので、トレイに載っている物品の適否の検出精度が高まる。
【0035】
なお、上記実施形態に係る検査装置10では、CPU11が、メモリ12に展開した物品有りマスタ画像データおよび物品無しマスタ画像データを検査画像データと比較していた。しかし、CPU11が検査画像データと比較するデータは、正規の物品が載っている状態の画像の特徴量および物品が載っていない状態の画像の特徴量を示したデータであれば如何なるものであってもよい。すなわち、上記物品有りマスタ画像データおよび物品無しマスタ画像データは、例えば、各部位7の平均コントラスト、最大コントラスト、あるいは物品の面積といった画像の特徴量のみを示すデータであってもよい。なお、ここでいう特徴量とは、画像に映っている物品が規定の物品であるか否かを画像解析で判別するに際に有用な画像データの特徴的なパラメータであり、画像に映った物品の解析にあたって有用なもの、例えば、平均コントラストや最大コントラスト、物品の面積、輝度、色調等が挙げられる。
【0036】
また、上記実施形態に係る検査装置10では、CPU11が、各画像データの比較に際して、平均コントラストや最大コントラスト、物品の面積を用いていた。しかし、CPU11が比較に際して用いる画像データの特徴量は、検査装置10に要求される検査精度に応じて取捨選択してもよい。また、上記実施形態に係る検査装置10が比較する画像データは、白黒の画像データであってもよいし、或いはカラーの画像データであってもよい。
【0037】
また、上記実施形態に係る検査装置10は、物品の有無および適否について検査しているが、例えば、物品の有無と物品の適否の何れかのみを検査するものであってもよい。また、上記実施形態に係る検査装置10は、複数の部位7(例えば、トレイ1の全ての部位7)について検査してもよいし、特定の部位7(例えば、複数ある部位7の何れか一または複数の部位7)について検査してもよいし、部位7が一つしか設けられていないトレイについて検査してもよい。
【0038】
なお、上記実施形態に係る検査装置10は、物品の適否の判定にあたり、物品有りマスタ画像データに対する検査画像データの近似度と、物品無しマスタ画像データに対する検査画像データの近似度との相関関係に基づき、不適と判定した物品の特徴を以下のように特定してもよい。
【0039】
図8は各近似度の関係を同一軸上に示した第一の図であり、
図9は各近似度の関係を同一軸上に示した第二の図である。
図8および
図9では、物品有りマスタ画像データに対する検査画像データの近似度を符号Aと表示し、物品無しマスタ画像データに対する検査画像データの近似度を符号Bと表示している。
【0040】
例えば、物品有りマスタ画像に映っている物品が正規の物品よりも小さいことにより、物品有りマスタ画像にトレイが多く映り込んでおり、検査画像データの特徴が物品無しマスタ画像データの特徴に近いような場合、検査画像データの特徴点は、例えば、
図8に示
すように、物品有りマスタ画像データの特徴点よりもやや物品無しマスタ画像データの特徴点の側へ近い位置になる。
【0041】
一方、例えば、物品有りマスタ画像に映っている物品が正規の物品よりも大きいことにより、物品有りマスタ画像に僅かに映り込んでいたトレイが、検査画像データではまったく映り込んでいないような場合、検査画像データの特徴点は、例えば、
図9に示すように、物品有りマスタ画像データの特徴点よりも更に物品無しマスタ画像データの特徴点から離れた位置になる。
【0042】
ここで、
図8に示す符号A,Bの矢印と、
図9に示す符号A,Bの矢印とを比較すると明らかなように、
図8の例の場合と
図9の例の場合とでは符号A,Bで示す矢印の位置関係が置き換わることが判る。そこで、上記実施形態に係る検査装置10は、例えば、物品有りマスタ画像データに対する検査画像データの近似度の正負を示す符号と、物品無しマスタ画像データに対する検査画像データの近似度の正負を示す符号とを比較することにより、非正規物品と判定された画像データの物品が如何なる特徴を有するものであるのかについて判別するようにしてもよい。
【0043】
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0044】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD−ROM、CD−R/W、DVD、ブルーレイディスク(ブルーレイは登録商標)、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやROM(リードオンリーメモリ)等がある。