(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024016679
(43)【公開日】2024-02-07
(54)【発明の名称】外観検査方法、プログラムおよび記録媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20240131BHJP
G06V 10/82 20220101ALI20240131BHJP
G01N 21/85 20060101ALI20240131BHJP
【FI】
G06T7/00 610Z
G06T7/00 350C
G06V10/82
G01N21/85 A
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022118975
(22)【出願日】2022-07-26
(71)【出願人】
【識別番号】000207551
【氏名又は名称】株式会社SCREENホールディングス
(74)【代理人】
【識別番号】100135013
【弁理士】
【氏名又は名称】西田 隆美
(72)【発明者】
【氏名】久保 友輔
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA02
2G051AA03
2G051AB02
2G051CA04
2G051CC11
2G051EB05
2G051ED21
5L096BA03
5L096BA18
5L096CA02
5L096FA32
5L096FA33
5L096FA66
5L096GA51
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】エッジの抽出処理または概形抽出処理の精度に依存せずに、検査対象の外観検査を適切に行うことができる技術を提供する。
【解決手段】特徴量抽出部42は、検査対象の錠剤9を複数の方向から撮影した第1画像51~第4画像54について、複数次元のベクトルで表される特徴量x
iをそれぞれ抽出する。異常度算出部44は、第1画像51~第4画像54の特徴量x
iと、基準となる良品の特徴量x
iの分布を示す良品特徴量分布情報63とに基づいて、第1画像51~第4画像54の異常度α
iをそれぞれ算出する。評価部46は、第1画像51~第4画像54の各異常度α
iに基づいて、検査対象の錠剤9を評価する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
外観検査方法であって、
a) 検査対象物を複数の方向から撮影した各画像について、複数次元のベクトルで表される特徴量をそれぞれ抽出する工程と、
b) 前記各画像の各前記特徴量と、基準となる良品の前記特徴量の分布を示す良品特徴量分布情報とに基づいて、前記各画像の異常度をそれぞれ算出する工程と、
c) 前記各画像の各前記異常度に基づいて、前記検査対象物を評価する工程と、
を含む、外観検査方法。
【請求項2】
請求項1に記載の外観検査方法であって、
前記工程a)は、前記各画像について、次元削減を行うニューラルネットワークを用いて前記各特徴量を抽出する工程を含む、外観検査方法。
【請求項3】
請求項2に記載の外観検査方法であって、
前記ニューラルネットワークは、前記検査対象物とは異なる対象物の画像を用いた機械学習により得られる、外観検査方法。
【請求項4】
請求項3に記載の外観検査方法であって、
前記ニューラルネットワークは、ImageNetの学習用データを用いた機械学習により得られるニューラルネットワークである、外観検査方法。
【請求項5】
請求項1から請求項4のいずれか1項に記載の外観検査方法であって、
前記良品特徴量分布情報は、前記複数次元のベクトルについての平均ベクトルと、共分散行列とを含む、外観検査方法。
【請求項6】
請求項5に記載の外観検査方法であって、
前記共分散行列は、前記良品の前記特徴量の分布が正規分布に従うと仮定した場合に推定される共分散行列である、外観検査方法。
【請求項7】
請求項5に記載の外観検査方法であって、
前記異常度は、マハラノビス距離である、外観検査方法。
【請求項8】
請求項1から請求項4のいずれか1項に記載の外観検査方法であって、
前記工程c)は、前記異常度が所定の閾値を超えるか否かを判定する工程を含む、外観検査方法。
【請求項9】
請求項8に記載の外観検査方法であって、
前記工程c)は、前記各画像の各前記異常度のうちの最大値が前記閾値を超えるか否かを判定する工程を含む、外観検査方法。
【請求項10】
請求項1から請求項4のいずれか1項に記載の外観検査方法であって、
d) 前記良品特徴量分布情報を取得する工程、
をさらに含み、
前記工程d)は、
d1) 複数の良品を複数の方向から撮影した各画像について、前記特徴量を抽出する工程と、
d2) 前記工程d1)によって抽出された前記特徴量の分布を推定する工程と、
を含む、外観検査方法。
【請求項11】
コンピュータが実行可能なプログラムであって、
前記コンピュータに請求項1から請求項4のいずれか1項に記載の外観検査方法を実行させる、プログラム。
【請求項12】
コンピュータが読み取り可能な記録媒体であって、
請求項11に記載のプログラムが記録されている、記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書で開示される主題は、外観検査方法、プログラムおよび記録媒体に関する。
【背景技術】
【0002】
従来、錠剤を撮影して得られる画像に基づいて、錠剤の外観を検査する錠剤検査手法が知られている。例えば、特許文献1では、隣接した画素間のエッジ強度を用いて、画像が上面、側面、背景の3領域に分割され、分割された領域に基づいて、錠剤が2つの楕円で近似される。そして、近似された楕円と実際の領域の輪郭線との乖離が計測され、乖離が閾値を超える点が一定以上連続する場合、「欠け」として抽出される。また、概形が抽出された後に検査領域が設定され、当該検査領域内で黒点の有無などの検査が行われる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術は、外観検査の精度が、エッジの抽出処理または概形抽出処理の精度に大きく依存する。このため、これらの処理を正確に行えない場合には、欠陥を見逃してしまうおそれがあった。
【0005】
本発明の目的は、エッジの抽出処理または概形抽出処理の精度に依存せずに、検査対象の外観検査を適切に行うことができる技術を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するため、第1態様は、外観検査方法であって、a)検査対象物を複数の方向から撮影した各画像について、複数次元のベクトルで表される特徴量をそれぞれ抽出する工程と、b)前記各画像の各前記特徴量と、基準となる良品の前記特徴量の分布を示す良品特徴量分布情報とに基づいて、前記各画像の異常度をそれぞれ算出する工程と、c)前記各画像の各前記異常度に基づいて、前記検査対象物を評価する工程とを含む。
【0007】
第2態様は、第1態様の外観検査方法であって、前記工程a)は、前記各画像について、次元削減を行うニューラルネットワークを用いて前記各特徴量を抽出する工程を含む。
【0008】
第3態様は、第2態様の外観検査方法であって、前記ニューラルネットワークは、前記検査対象物とは異なる対象物の画像を用いた機械学習により得られる。
【0009】
第4態様は、第3態様の外観検査方法であって、前記ニューラルネットワークは、ImageNetの学習用データを用いた機械学習により得られるニューラルネットワークである。
【0010】
第5態様は、第1態様から第4態様のいずれか1つの外観検査方法であって、前記良品特徴量分布情報は、前記複数次元のベクトルについての平均ベクトルと、共分散行列とを含む。
【0011】
第6態様は、第5態様の外観検査方法であって、前記共分散行列は、前記良品の前記特徴量の分布が正規分布に従うと仮定した場合に推定される共分散行列である。
【0012】
第7態様は、第5態様または第6態様の外観検査方法であって、前記異常度は、マハラノビス距離である。
【0013】
第8態様は、第1態様から第7態様のいずれか1つの外観検査方法であって、前記工程c)は、前記異常度が所定の閾値を超えるか否かを判定する工程を含む。
【0014】
第9態様は、第8態様の外観検査方法であって、前記工程c)は、前記各画像の各前記異常度のうちの最大値が前記閾値を超えるか否かを判定する工程を含む。
【0015】
第10態様は、第1態様から第9態様のいずれか1つの外観検査方法であって、d)前記良品特徴量分布情報を取得する工程、をさらに含み、前記工程d)は、d1)複数の良品を複数の方向から撮影した各画像について、前記特徴量を抽出する工程と、d2)前記工程d1)によって抽出された前記特徴量の分布を推定する工程とを含む。
【0016】
第11態様は、コンピュータが実行可能なプログラムであって、前記コンピュータに第1態様から第10態様のいずれか1つの外観検査方法を実行させる。
【0017】
第12態様は、コンピュータが読み取り可能な記録媒体であって、第11態様のプログラムが記録されている。
【発明の効果】
【0018】
第1態様から第10態様の外観検査方法によると、学習済みモデルを用いて画像自体を入力として特徴量抽出を行い、事前に求めた良品画像の特徴量の分布に従って異常度を計算する。そのため、エッジ点群の抽出や、概形抽出などの画像処理の精度に依存することなく、検査対象物の外観検査を行うことができる。
【0019】
第3態様の外観検査方法によれば、ニューラルネットワークに学習させるために検査対象物の画像を収集する手間を省くことができる。
【0020】
第7態様の外観検査方法によると、異常度αiとしてマハラノビス距離を用いることにより、次元毎のバラつきの違いを考慮しつつ、良品の特徴量の平均からの距離を測ることができる。
【0021】
第8態様の外観検査方法によると、閾値に基づいて検査対象物の良否を判定できる。
【0022】
第9態様の外観検査方法によると、各画像の異常度のうち最大値が閾値を超えるか否かを判定することによって、欠陥検出の感度を高くすることができる。
【図面の簡単な説明】
【0023】
【
図2】情報処理装置のハードウェア構成例を示す図である。
【
図3】情報処理装置の機能的な構成例を示すブロック図である。
【
図4】外観検査装置が実行する外観検査処理の流れを示す図である。
【
図5】良品特徴量分布情報を取得する流れを示す図である。
【
図6】良品特徴量分布情報の取得を概念的に示す図である。
【発明を実施するための形態】
【0024】
以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張又は簡略化して図示されている場合がある。
【0025】
図1は、実施形態の外観検査装置1を示す図である。外観検査装置1は、検査対象物の外観を検査する装置である。以下の説明では、検査対象物が錠剤9である場合について説明する。なお、錠剤9は、素錠(裸錠)であってもよく、あるいは、糖衣錠、フィルムコーティング錠(FC錠)等のコーティング錠であってもよい。また、錠剤9は、硬カプセル剤および軟カプセル剤を含むカプセル剤であってもよい。また、錠剤9は、医薬品に限らず、健康食品としての錠剤や、ラムネ等の錠菓であってもよい。また、検査対象物は、錠剤9に限定されるものではなく、その他の物品(例えば、各種部品など)であってもよい。
【0026】
図1に示されるように、外観検査装置1は、カメラ10と、四角錐ミラー12と、4つの外側ミラー14と、搬送機構16と、情報処理装置20とを備える。
【0027】
カメラ10は、錠剤9を撮影するためのイメージセンサを有する。カメラ10は、情報処理装置20と通信可能に接続されている。カメラ10は、イメージセンサに入射した光の強度に応じた画像信号を情報処理装置20へ出力する。
【0028】
四角錐ミラー12は、カメラ10の視野角内に配置されている。4つの外側ミラー14は、四角錐ミラー12の周囲に配置されている。カメラ10は、各外側ミラー14および四角錐ミラー12の錐面に映る錠剤9の像を撮影する。すなわち、カメラ10は、錠剤9を互いに異なる4方向から、同時に撮影することが可能である。
【0029】
なお、外観検査装置1は、複数のカメラ10で錠剤9を撮影することによって、4方向から撮影した画像を取得できるようにしてもよい。また、撮影する方向は、4方向に限定されるものではなく、少なくとも2方向以上であればよい。
【0030】
搬送機構16は、錠剤9を保持しつつ一定方向に所定速度で搬送する。搬送機構16は、例えば、ベルトコンベアなどで構成される。カメラ10は、搬送機構16によって搬送されている錠剤9を撮影する。なお、外観検査装置1は、搬送機構16の代わりに、錠剤9を一定位置に保持するステージを備えていてもよい。そして、カメラ10は、一定位置に固定された錠剤9を撮影するようにしてもよい。
【0031】
図2は、情報処理装置20のハードウェア構成例を示す図である。情報処理装置20は、コンピュータの構成を備える。具体的には、情報処理装置20は、プロセッサ21、RAM23、記憶部25、通信インターフェース27、機器インターフェース28およびバス29を備える。プロセッサ21、RAM23、記憶部25、通信インターフェース27および機器インターフェース28は、バス29を介して、互いに電気的に接続される。
【0032】
プロセッサ21は、例えば、CPUまたはGPUなどの処理回路を含む。RAM23および記憶部25は、情報の読み出しおよび書き込みが可能な記憶媒体である。RAM23は、例えば、DRAM、SRAM、またはSDRAMを含む。記憶部25は、例えば、ハードディスクドライブまたはソリッドステートドライブなどの固定ドライブを含む。なお、記憶部25は、可搬性を有するリムーバブルメディア(光ディスク、磁気ディスク、または、半導体メモリなどの記録媒体)と、リムーバブルメディアに対して読み書きを行うメディアドライブとを含んでもよい。記憶部25は、プログラムPを記憶する。プロセッサ21は、RAM23を作業領域としてプログラムPを実行することにより、各種機能を実現する。
【0033】
通信インターフェース27は、情報処理装置20をインターネットなどのネットワークに接続するためのインターフェースである。プログラムPは、ネットワークを通じて、情報処理装置20に提供または配布されてもよい。
【0034】
機器インターフェース28は、カメラ10、入力部31および表示部33を情報処理装置20と電気的に接続するためのインターフェースである。入力部31は、キーボードまたはマウスなどの入力デバイスを含む。表示部33は、文字や図形などの表示情報を表示する。表示部33は、例えば液晶ディスプレイを含む。表示部33をタッチパネルで構成することによって、表示部33を入力部31として機能させてもよい。
【0035】
図3は、情報処理装置20の機能的な構成例を示すブロック図である。
図3に示されるように、情報処理装置20は、画像抽出部41、特徴量抽出部42、学習部43、異常度算出部44、分布推定部45および評価部46を備える。画像抽出部41、特徴量抽出部42、学習部43、異常度算出部44、分布推定部45および評価部46は、プロセッサ21がプログラムPを実行することによってソフトウェア的に実現される機能である。
【0036】
画像抽出部41は、カメラ10が錠剤9を撮影することによって得られた撮影画像50から、錠剤9を4方向から撮影した各画像(第1画像51、第2画像52、第3画像53、第4画像54)を抽出する。
【0037】
特徴量抽出部42は、第1画像51~第4画像54から、多次元(例えば、1280次元)のベクトルで表される特徴量x1,x2,x3,およびx4をそれぞれ抽出する。なお、以下の説明では、特徴量x1~x4を、「特徴量xi(iは、1~4のいずれかの整数)」と表記する場合がある。特徴量抽出部42は、抽出した特徴量xiを、記憶部25に記憶させる。
【0038】
特徴量抽出部42は、次元削減を行うニューラルネットワーク61を用いて、特徴量xiを抽出してもよい。ニューラルネットワーク61のネットワーク構造としては、例えば、「EfficentNet」または「EfficentNetV2」を採用し得る。
【0039】
学習部43は、ニューラルネットワーク61を事前に学習させる。学習部43は、検査対象物である錠剤9とは異なる画像を、学習用データとして用いてもよい。好ましくは、文献「J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei. ImageNet: A Large-Scale Hierarchical Image Database. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2009」に記載された、「ImageNet」の学習用データを用いて事前学習を行ってもよい。このように、検査対象物(錠剤9)以外の画像を用いて学習を行うことによって、学習に用いる画像を収集する手間を省くことができる。
【0040】
なお、ニューラルネットワーク61として、学習済である既存のニューラルネットワークを利用することも可能である。この場合、学習部43を省略することが可能である。また、既存の学習済のニューラルネットワーク61を利用することによって、ニューラルネットワーク61に学習させる学習時間を削減できる。
【0041】
異常度算出部44は、特徴量xiと、良品特徴量分布情報63とに基づいて、第1画像51~第4画像54の各画像の異常度α1,α2,α3,α4(以下、「異常度αi」と表記する場合がある。)をそれぞれ算出する。良品特徴量分布情報63は、基準となる良品の画像から抽出される良品の特徴量xiの分布を示す情報である。異常度αiは、良品の特徴量の分布からの相違を示す値である。異常度αiの具体的な算出方法については、後述する。
【0042】
評価部46は、異常度算出部44が算出した異常度αiに基づいて、検査対象の錠剤9を評価する。具体的には、異常度αiと閾値Thとを比較することによって、検査対象の錠剤9の良否を判定する。評価部46は、評価結果を、記憶部25に記憶させる。また、評価部46は、評価結果を、表示部33に表示させてもよい。
【0043】
図4は、外観検査装置1が実行する外観検査処理の流れを示す図である。まず、カメラ10が検査対象の錠剤9を撮影することによって、撮影画像50が取得される(ステップS11)。そして、画像抽出部41は、撮影画像50から、第1画像51~第4画像54を抽出する(ステップS12)。
【0044】
特徴量抽出部42は、ステップS12によって取得された第1画像51~第4画像54から、特徴量xiを抽出する(ステップS13)。異常度算出部44は、ステップS13によって抽出された特徴量xiと、良品特徴量分布情報63とに基づいて、異常度αiを算出する(ステップS14)。そして、評価部46は、ステップS14によって算出された異常度αiおよび閾値Thに基づいて、検査対象の錠剤9の評価(良否判定)を行う(ステップS15)。
【0045】
図5は、良品特徴量分布情報63を取得する流れを示す図である。
図6は、良品特徴量分布情報63の取得を概念的に示す図である。
図5に示されるように、まず、良品とされる複数の錠剤9(良品サンプル)をカメラ10で撮像することによって、複数の良品の撮影画像がそれぞれ取得される(
図5:ステップS21)。良品の錠剤9の撮影条件(撮影方向等)は、検査対象の錠剤9を撮影する条件と同じとされる。つまり、良品の撮影画像は、良品の錠剤9を4方向から撮影した4つの良品第1画像71、良品第2画像72、良品第3画像73および良品第4画像74を含む(
図6参照)。画像抽出部41は、各良品の撮影画像から、良品第1画像71~良品第4画像74を抽出する(
図5:ステップS22)。これにより、
図6に示されるように、良品第1画像71~良品第4画像74のそれぞれについて、複数の良品の画像群71g,72g,73gおよび74gが取得される。
【0046】
特徴量抽出部42は、良品の画像群71g~74gから、良品の特徴量x
i(x
1,x
2、x
3およびx
4)をそれぞれ抽出する(
図5:ステップS23)。これにより、画像群71g~74g毎に、複数の良品の特徴量x
iが取得される。分布推定部45(
図3参照)は、抽出された良品の特徴量x
iについて、分布を推定する。すなわち、分布推定部45は、各画像群71g~74gから抽出される特徴量x
iについて、平均ベクトルμ
1,μ
2,μ
3,μ
4(以下、「μ
i」と表記する。)の算出、および、共分散行列Σ
1,Σ
2,Σ
3,Σ
4(以下、「Σ
i」と表記する。)を推定する(ステップS24)。
【0047】
平均ベクトルμiは、集計された良品の特徴量xiを平均したベクトルである。また、共分散行列Σiは、ベクトルの要素間の共分散の行列であって、良品の特徴量xiの分布が特定の分布モデルに従うと仮定するものとして推定される共分散の行列である。共分散行列Σiの推定には、文献「Rippel, O., Mertens, P., & Merhof, D. (2021, January). Modeling the distribution of normal data in pre-trained deep features for anomaly detection. In 2020 25th International」に倣い、Ledoit Wolf法を適用してもよい。また、分布モデルとしては正規分布モデルを適用してもよい。正規分布モデルを適用した場合、各画像群71g~74gの良品の特徴量の分布として、N(μ1,Σ1)、N(μ2,Σ2)、N(μ3,Σ3)およびN(μ4,Σ4)が得られる。ステップS24によって取得された平均ベクトルμiおよび共分散行列Σiは、良品特徴量分布情報63として、記憶部25に適宜保存される。
【0048】
図4に示されるステップS14において、異常度算出部44は、異常度α
iとして、マハラノビス距離を算出する。マハラノビス距離は、次式(1)によって定義される。
【0049】
【0050】
異常度αiとしてマハラノビス距離を用いることにより、次元毎のバラつきの違いを考慮しつつ、良品の特徴量の平均からの距離を測ることができる。
【0051】
図4に示されるステップS15においては、評価部46は、算出された異常度αi(α1,α2,α3およびα4)の最大値が、閾値Thを超えるか否かを判定する。異常度α
iの最大値が、閾値Thを超える場合、評価部46は、欠陥があるものとして、否定的評価(すなわち、不良品)を評価結果として付与する。また、異常度α
iの最大値が閾値Thを超えない場合、評価部46は、肯定的評価(すなわち、良品)を評価結果として付与する。この場合、4つの異常度α
iのうち1つでも閾値Thを超えているときに、検査対象の錠剤9が不良と評価される。したがって、欠陥検出の感度を高めることができる。
【0052】
なお、評価部46は、4つの異常度αiのうち最小値が、閾値Thを超えているか否かを判定し、閾値Thを超えている場合には、検査対象の錠剤9を不良と判定するようにしてもよい。この場合、4つの異常度αiの全てが閾値Thを超えたときに不良品と評価される。このため、欠陥検出の感度を下げることができる。
【0053】
また、評価部46は、4つの異常度αiのうち2個または3個の異常度が閾値Thを超える場合に、検査対象の錠剤9を不良品と評価するようにしてもよい。
【0054】
以上のように、本実施形態の外観検査装置1によれば、検査対象の特徴量の、良品の特徴量の分布との相違を示す異常度に基づいて検査対象を評価するため、エッジの抽出処理または概形抽出処理の精度に依存せずに、検査対象の外観検査を適切に行うことができる。また、複数の方向から撮影した各画像について異常度を算出することによって、1方向からの画像で評価する場合よりも、外観検査の精度を向上することができる。
【0055】
この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。
【符号の説明】
【0056】
1 外観検査装置
9 錠剤
10 カメラ
20 情報処理装置
41 画像抽出部
42 特徴量抽出部
44 異常度算出部
45 分布推定部
46 評価部
51 第1画像
52 第2画像
53 第3画像
54 第4画像
61 ニューラルネットワーク
63 良品特徴量分布情報
71 良品第1画像
72 良品第2画像
73 良品第3画像
74 良品第4画像
P プログラム