特開 2024-77202 情報処理方法、装置、プログラム、及び検査システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077202

(43)【公開日】2024-06-07

(54)【発明の名称】情報処理方法、装置、プログラム、及び検査システム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240531BHJP

   G06T 7/00 20170101ALI20240531BHJP

【ＦＩ】

G01N21/88 H

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022189131

(22)【出願日】2022-11-28

(71)【出願人】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】山下 聖悟

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA11

2G051AA90

2G051AB01

2G051AB02

2G051BA11

2G051BA20

2G051BB03

2G051CA03

2G051CA04

2G051CB02

2G051EA17

2G051EB05

5L096BA03

5L096CA02

5L096FA15

5L096HA11

5L096JA11

(57)【要約】

【課題】本発明は、対象物に含まれる異物又は対象物の異常を精度よく判定することを目的とする。
【解決手段】情報処理装置は、２つの偏光板の間に配置された対象物を撮影した撮影画像を取得する取得部と、取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出する異常検出部と、異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する異常判定部と、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

情報処理装置が、
２つの偏光板の間に配置された対象物を撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出し、
異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する
情報処理方法。

【請求項2】

前記対象物に含まれる異物又は前記対象物の異常を判定する際に、前記異常部分画像の画素毎に、前記画素の色情報を厚さ情報に変換し、前記画素毎の変換結果が表す形状に基づいて、前記対象物に含まれる異物又は前記対象物の異常を判定する請求項１記載の情報処理方法。

【請求項3】

前記情報処理装置が、前記２つの偏光板の間に配置された対象物にバックライトを照射して撮影した撮影画像を取得する、
請求項１記載の情報処理方法。

【請求項4】

前記情報処理装置が、
撮影画像の入力を受け付けて、当該撮影画像に写された対象物に含まれる異物又は前記対象物の異常の有無に関する情報を出力するよう機械学習がなされた学習モデルへ、取得した撮影画像を入力し、
前記学習モデルが出力する情報を取得し、
取得した前記情報に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出
する、
請求項１記載の情報処理方法。

【請求項5】

前記情報処理装置が、
更に、取得した撮影画像に基づいて、前記撮影画像の部分画像毎に、前記部分画像が表す前記対象物の位置を判定し、
前記学習モデルは、前記対象物の位置毎に機械学習がなされた学習モデルであり、
前記撮影画像の部分画像毎に、前記部分画像が表す前記対象物の位置の判定結果に対応する前記学習モデルに、前記撮影画像の部分画像を入力し、
前記学習モデルが出力する情報を取得する請求項４記載の情報処理方法。

【請求項6】

前記情報処理装置が、
取得した撮影画像において前記対象物が写された画像領域を特定し、
特定した前記画像領域に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出する、
請求項１記載の情報処理方法。

【請求項7】

前記対象物が、透明部材で形成された包装部材である
請求項１～請求項６の何れか１項に記載の情報処理方法。

【請求項8】

２つの偏光板の間に配置された対象物を撮影した撮影画像を取得する取得部と、
取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出する異常検出部と、
異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する異常判定部と、
を含む情報処理装置。

【請求項9】

２つの偏光板の間に配置された対象物を撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出し、
異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する
ことをコンピュータに実行させるための情報処理プログラム。

【請求項10】

２つの偏光板と、
前記２つの偏光板の間に配置された対象物を撮影するカメラと、
前記カメラにより撮影した撮影画像を取得する取得部、取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出する異常検出部、及び異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する異常判定部を有する情報処理装置と
を備える、検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、装置、プログラム、及び検査システムに関する。

【背景技術】

【0002】

例えば薬品等が収容された瓶等の容器の中に異物が混入されているか否かを、従来は人間が目視で確認して判断していた。このため、容器の中の異物の有無を精度よく判定することが難しかった。

【0003】

特許文献１においては、それぞれがλ／４波長板として機能し、遅相軸が互いにほぼ直交するストライプ状の第１及び第２位相差領域が交互に複数並べて配列されたパターン化位相差フィルムの欠陥を検出するパターン化位相差フィルムの欠陥検出装置が提案されている。この欠陥検出装置は、前記パターン化位相差フィルムを挟むようにクロスニコル配置される第１及び第２偏光板と、前記第１偏光板を介して前記パターン化位相差フィルムに検査光を照射する光源部と、前記第２偏光板を介して前記パターン化位相差フィルムを撮影して輝度画像を得る撮影装置と、前記輝度画像から欠陥を検出する欠陥検出部とを備え、前記第１及び第２偏光板は、いずれか一方の偏光透過軸が前記第１及び第２位相差領域のいずれか一方の光学軸とほぼ平行となる状態で、正常な前記第１及び第２位相差領域を撮影装置で撮影した際の各輝度が消光状態近傍で同レベルとなるように、前記一方の偏光透過軸の方向が調整されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５４２２６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の欠陥検出装置により、フィルムの表面形状を可視化することが考えられる。しかしながら、形状の異常検知に利用するには改善の余地がある。

【0006】

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、対象物に含まれる異物又は対象物の異常を精度よく判定することができる情報処理方法、装置、プログラム、及び検査システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明に係る情報処理方法は、情報処理装置が、２つの偏光板の間に配置された対象物を撮影した撮影画像を取得し、取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出し、異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する。

【発明の効果】

【0008】

以上説明したように、本発明によれば、対象物に含まれる異物又は対象物の異常を精度よく判定することができる。

【図面の簡単な説明】

【0009】

【図1】本実施形態に係る検査システムの概要を説明するための模式図である。

【図2】本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図3】検査対象物の撮影画像の一例を示す図である。

【図4】フィルムが斜めになっている場合に光がフィルムの中を通った長さを説明するための図である。

【図5】偏光色図表の一例を示す図である。

【図6】本実施形態に係る情報処理装置の構成を示すブロック図である。

【図7】本実施形態に係る情報処理装置による異常検知処理の内容を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0011】

＜本実施形態に係る検査システムの構成＞
図１は、本実施形態に係る検査システムの概要を説明するための模式図である。本実施形態に係る検査システムは、例えばフィルムなどの包装部材に異常があるか否かの判定等を行うシステムである。本実施形態に係る検査システムは、情報処理装置１、カメラ３、第１の偏光板４、第２の偏光板５及びバックライト６等を備えて構成されている。

【0012】

本実施形態に係る検査システムでは、カメラ３から第１の偏光板４、第２の偏光板５及びバックライト６がこの順番に並べて配置されており、カメラ３は例えば通信ケーブル等を介して情報処理装置１に接続される。フィルムなどの検査対象物は第１の偏光板４及び第２の偏光板５の間に配置され、バックライト６からの光を第２の偏光板５を介して検査対象物の背後から照射した状態で、カメラ３が第１の偏光板４を介して検査対象物の撮影を行う。カメラ３が検査対象物を撮影した撮影画像は情報処理装置１へ与えられ、情報処理装置１は、カメラ３の撮影画像に基づいて、検査対象物に含まれる異物又は検査対象物の異常を検出する処理を行う。

【0013】

カメラ３は、レンズ等の光学素子と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子とを備えている。本実施形態に係るカメラ３は、少なくとも可視光を受光して撮影を行うことができ、赤外線又は紫外線等の非可視光の撮影を行うことができるものであってよい。カメラ３は、撮影した画像をデジタルの画像データとして情報処理装置１へ与える。またカメラ３の撮影に関する例えばシャッター速度の変更、明るさの調整及びピント合わせ等の制御は情報処理装置１により行われる。

【0014】

第１の偏光板４及び第２の偏光板５は、所定の方向に振動する光を透過させ、それ以外の方向に振動する光を遮断する工学部材である。偏光板が光を透過させる方向は偏光軸（透過軸）と呼ばれ、本実施形態において第１の偏光板４と第２の偏光板５とは偏光軸が交差するように、更に好ましくは偏光軸が直交（９０°）するように配置される。これにより、第１の偏光板４及び第２の偏光板５はいわゆるクロスドニコルの光学系を構成する。また更に、例えば第１の偏光板４又は第２の偏光板５のいずれかを回転可能な構成とし、第１の偏光板４の偏光軸と第２の偏光板５の偏光軸との角度を可変としてもよい。この場合には、例えば偏光板を回転させるためのモータ及び歯車等の機構が設けられ、モータの回転は情報処理装置１により制御される。

【0015】

第１の偏光板４及び第２の偏光板５の組み合わせは、例えば直線偏光板を２つ用いる組み合わせであってよく、また例えば直線偏光板に１／４位相差板を重ねた円偏光板を２つ用いる組み合わせであってもよい。円偏光板を用いる場合、第１の偏光板４及び第２の偏光板５のいずれか一方を右回転円偏光板とし、他方を左回転円偏光板とする。

【0016】

バックライト６は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子を用いて構成されている。本実施形態においてバックライト６は、少なくとも可視光の発光を行うものであり、更には赤外線又は紫外線等の非可視光の発光を行うものであってもよい。

【0017】

情報処理装置１は、例えばパーソナルコンピュータ又はサーバ装置等の汎用的なコンピュータに、本実施形態に係る情報処理を行うコンピュータプログラムをインストールしたものである。本実施形態に係る情報処理装置１は、カメラ３が検査対象物を撮影した撮影画像を取得して、取得した撮影画像に対して学習済みの学習モデル（いわゆるＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ））を用いた異常検出の処理を行う。

【0018】

図２は、本実施形態の情報処理装置１のハードウェア構成を示すブロック図である。

【0019】

図２に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。

【0020】

ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、検査対象物に含まれる異物又は検査対象物の異常を検出する処理を行う情報処理プログラムが格納されている。情報処理プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。

【0021】

ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0022】

入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、カメラ３により撮影された撮影画像を含む各種の入力を行うために使用される。例えば、入力部１５には、図３に示すような、検査対象物を撮影した撮影画像が入力される。撮影画像は、例えば、ＲＧＢの画像である。

【0023】

表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。

【0024】

通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0025】

本実施形態では、検査対象物が、透明部材で形成された包装部材であり、撮影画像は、例えば、図３に示すような、透明部材で形成された包装部材であるフィルムを撮影した画像であり、このとき、フィルムの色は、フィルムの中をどの程度の長さ光が貫通したかを示している。

【0026】

例えば、フィルムの場合、標準的には紫色であるが、シワがある部分には他の色が観測される。フィルムの角度が急になるほど、「紫」→「青」→「緑」→「黄」と色が変化する。このとき、下部のフィルムと上部のフィルムの双方に依存する。これは、シワがある部分ほど、結果的に長い距離を光がフィルム中を通過しているためである。また、フィルムの厚みにも応じて、色が変わる。

【0027】

例えば、図４に示すようにフィルムが斜めになっている場合、フィルムが平面になっている場合よりも光がフィルムの中をより長く通るため色が変わる。色の変化の順番には特定のルールがあり、色からフィルムを通った長さが推定できる。

【0028】

また、色の変化には法則性があるが、近しい色が確認される場合もある。フィルム一枚分を０．１ｍｍと仮定して説明する。例えば、フィルムが１枚の場合（０．１ｍｍ）、オレンジ色が観測されるが、シワが激しい箇所（０．５ｍｍ程度）の場合も同じくオレンジ色系の色が示される。これは、図５に示す偏光色図表に示されるように、近しい色が周期的に現れるためである。

【0029】

図５では、縦軸が、リタデーションを示し、横軸が、厚みを示し、斜めの線は、検査対象物を通過後の二つの固有偏光の屈折率差Δｎを表している。屈折率差Δｎを既知として、色情報から厚みを求めることができる。

【0030】

図３（Ｂ）の右下の矩形枠で囲まれる部分は、ずれにより、底面からカメラ３までの間に、フィルムが一枚しかない。図３（Ｂ）の右上の矩形枠で囲まれる部分は、巻き込みにより、青色と緑色が観測される。こちらは底面側と上部側のフィルムに発生したシワによるものである。シワがさらに大きい場合には、オレンジ色も観測される。

【0031】

また、フィルムで形成された包装部材の中に物体が入っている場合、その物体の隆起により多少のフィルム形状の変形がある。例えば、カップラーメンのかやくの包装部材の場合には、具材による凹凸のためフィルム上に様々な色が観測される。また、フィルムの外周の異常は、穴あきなどの重大な問題を起こす可能性があるため、特に入念な確認が必要であるが、予想されている色とは違うものが観測される場合が多くある。例えば、熱によるシーリングの影響で角度がまばらについている可能性や、梱包それぞれごとに微妙に異なる凹凸がある場合が想定される。

【0032】

これらの状況を踏まえ、表面形状の可視化を異常検知に使用するためには、包装部材のどの箇所にどの範囲の色が観測された際に正常とみなすのかの判断が必要となる。

【0033】

そこで、本実施形態では、まず、異常検知のための学習モデルに正常な状態を学習させる。このとき、物体検知やセグメンテーションの機械学習モデル（例えば、Ｍａｓｋ－ＲＣＮＮ）を用いて画像中における検査対象物の範囲を取得する。

【0034】

また、形状や印字された文字等の情報を用いて、検査対象物の上部、下部、左側部、右側部、中央部がどの範囲であるのかを取得する。

【0035】

円偏光を用いたクロスドニコル光学系により可視化した、それぞれの範囲の見た目を、異常の無いサンプルにて観測する。そして取得したそれぞれの画像を正常サンプルとして異常検知のための学習モデルの学習を行う（ＰａＤｉＭ ＰａｔｃｈＣｏｒｅなど）。例えば、数百サンプル程度が必要で、数が多いほど好ましい。

【0036】

次に、異常検知を行う。このとき、物体検知やセグメンテーションの機械学習モデル（例えば、Ｍａｓｋ－ＲＣＮＮ）を用いて画像中における検査対象物の範囲を取得する。そして、形状や印字された文字等の情報を用いて、検査対象物の上部、下部、左側部、右側部、中央部がどの範囲であるのかを取得する。そして、円偏光を用いたクロスドニコル光学系により可視化した、それぞれの範囲の画像を、異常検知のための学習モデルに入力し、統計的に異様な見た目でないかを判断する。

【0037】

そして、異常が検出された領域の画素毎に、偏光色図表に基づいて、画素の色情報を厚さ情報に変換し、画素毎の変換結果が表す形状に基づいて、検査対象物に含まれる異物又は検査対象物の異常を判定する。

【0038】

次に、情報処理装置１の機能構成について説明する。図６は、情報処理装置１の機能構成の例を示すブロック図である。

【0039】

情報処理装置１は、機能的には、図６に示すように、学習モデル記憶部２０、取得部２２、特定部２４、位置判定部２６、異常検出部２８、及び異常判定部３０を備えている。

【0040】

学習モデル記憶部２０には、撮影画像の入力を受け付けて、当該撮影画像に写された検査対象物に含まれる異物又は検査対象物の異常の有無に関する情報を出力するよう機械学習がなされた学習モデルが記憶されている。

【0041】

具体的には、学習モデルは、検査対象物の位置毎に機械学習がなされた学習モデルである。例えば、検査対象物の上部、下部、左側部、右側部、中央部の各々について、当該部分の部分画像の入力を受け付けて、当該部分画像に写された検査対象物に含まれる異物又は検査対象物の異常の有無に関する情報を出力するよう機械学習がなされた学習モデルが、学習モデル記憶部２０に記憶されている。

【0042】

取得部２２は、カメラ３により検査対象物を撮影した撮影画像を取得する。

【0043】

特定部２４は、取得した撮影画像において検査対象物が写された画像領域を特定する。具体的には、物体検知やセグメンテーションの機械学習モデル（例えば、Ｍａｓｋ－ＲＣＮＮ）を用いて、撮影画像中における検査対象物が移された画像領域を特定する。

【0044】

位置判定部２６は、特定した画像領域に基づいて、画像領域の部分画像毎に、当該部分画像が表す検査対象物の位置を判定する。具体的には、画像領域の部分画像毎に、当該部分画像が表す検査対象物の位置が、検査対象物の上部、下部、左側部、右側部、中央部の何れであるかを判定する。

【0045】

より具体的には、当該部分画像が表す検査対象物の形状や印字された文字等の情報を用いて、検査対象物の上部、下部、左側部、右側部、中央部の何れであるかを判定する。

【0046】

異常検出部２８は、取得した撮影画像に基づいて、検査対象物に含まれる異物又は検査対象物の異常を検出する。

【0047】

具体的には、撮影画像の入力を受け付けて、当該撮影画像に写された検査対象物に含まれる異物又は検査対象物の異常の有無に関する情報を出力するよう機械学習がなされた学習モデルへ、取得した撮影画像を入力し、学習モデルが出力する情報を取得し、取得した情報に基づいて、検査対象物に含まれる異物又は前記検査対象物の異常を検出する。

【0048】

より具体的には、撮影画像の部分画像毎に、当該部分画像が表す検査対象物の位置の判定結果に対応する学習モデルに、当該部分画像を入力し、当該部分画像が表す検査対象物に含まれる異物又は検査対象物の異常を検出する。

【0049】

異常判定部３０は、異常が検出された場合、異常が検出された部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、部分画像が表す検査対象物に含まれる異物又は検査対象物の異常を判定する。

【0050】

具体的には、異常判定部３０は、検査対象物に含まれる異物又は検査対象物の異常を判定する際に、異常が検出された部分画像の画素毎に、偏光色図表に基づいて予め定められた色情報と厚さ情報との対応関係を用いて、画素の色情報を厚さ情報に変換し、画素毎の変換結果が表す形状に基づいて、検査対象物に含まれる異物又は検査対象物の異常を判定する。例えば、隣接画素間での厚さ情報の変化率が、閾値以上である場合には、検査対象物に異物が含まれるか、あるいは、検査対象物が異常であると判定する。

【0051】

＜本実施形態に係る情報処理装置の作用＞
次に、情報処理装置１の作用について説明する。

【0052】

図７は、情報処理装置１による異常検知処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から情報処理プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、異常検知処理が行なわれる。また、情報処理装置１に、カメラ３によって撮影された撮影画像が入力される。また、情報処理装置１の学習モデル記憶部２０には、検査対象物の位置毎に機械学習がなされた学習モデルが記憶されているものとする。

【0053】

ステップＳ１００で、ＣＰＵ１１は、取得部２２として、カメラ３により検査対象物を撮影した撮影画像を取得する。

【0054】

ステップＳ１０２で、ＣＰＵ１１は、特定部２４として、取得した撮影画像において検査対象物が写された画像領域を特定する。

【0055】

ステップＳ１０４では、ＣＰＵ１１は、位置判定部２６として、特定した画像領域に基づいて、画像領域の部分画像毎に、当該部分画像が表す検査対象物の位置を判定する。

【0056】

ステップＳ１０６では、ＣＰＵ１１は、異常検出部２８として、撮影画像の部分画像毎に、当該部分画像が表す検査対象物の位置の判定結果に対応する学習モデルに、当該部分画像を入力する。

【0057】

ステップＳ１０８では、ＣＰＵ１１は、異常検出部２８として、撮影画像の部分画像毎に、学習モデルが出力する情報を取得する。

【0058】

ステップＳ１１０では、ＣＰＵ１１は、異常検出部２８として、少なくとも一つの部分画像において、当該部分画像が表す検査対象物に含まれる異物又は検査対象物の異常が検出されたか否かを判定する。少なくとも一つの部分画像において、当該部分画像が表す検査対象物に含まれる異物又は検査対象物の異常が検出された場合には、ステップＳ１１２へ移行する。一方、全ての部分画像において、当該部分画像が表す検査対象物に含まれる異物又は検査対象物の異常が検出されなかった場合には、ステップＳ１２０へ移行する。

【0059】

ステップＳ１１２では、ＣＰＵ１１は、異常判定部３０として、検査対象物に含まれる異物又は検査対象物の異常を判定する際に、異常が検出された部分画像の画素毎に、画素の色情報を厚さ情報に変換する。

【0060】

ステップＳ１１４では、ＣＰＵ１１は、異常判定部３０として、画素毎の変換結果が表す形状に基づいて、検査対象物に含まれる異物又は検査対象物の異常を判定する。

【0061】

ステップＳ１１６では、ＣＰＵ１１は、検査対象物に含まれる異物又は検査対象物の異常があるか否かを判定する。検査対象物に含まれる異物又は検査対象物の異常があると判定された場合には、ステップＳ１１８へ移行する。一方、検査対象物に含まれる異物又は検査対象物の異常があると判定されなかった場合には、ステップＳ１２０へ移行する。

【0062】

ステップＳ１１８では、ＣＰＵ１１は、表示部１６により、検査対象物に含まれる異物又は検査対象物の異常があることを通知し、異常検知処理を終了する。

【0063】

ステップＳ１２０では、ＣＰＵ１１は、表示部１６により、検査対象物に含まれる異物又は検査対象物の異常がないことを通知し、異常検知処理を終了する。

【0064】

以上説明したように、本実施形態に係る検査システムは、２つの偏光板の間に配置された検査対象物を撮影した撮影画像を取得し、取得した撮影画像に基づいて、検査対象物に含まれる異物又は検査対象物の異常を検出し、異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、検査対象物に含まれる異物又は検査対象物の異常を判定する。これにより、対象物に含まれる異物又は対象物の異常を精度よく判定することができる。

【0065】

＜変形例＞
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0066】

例えば、包装部材である検査対象物の内包物が複数種類ある場合には、物体検知などの技術を用いて、検査対象物中のその内包物の位置や範囲を検知する。また、その内包物の隆起による、内包物の周辺のフィルム形状の変化（色）を個別に学習し、上記の実施形態と同様に、異常検知してもよい。例えば、かやくの中に小エビがある場合、ある程度厚みがあるためその周辺に形状変化が大きく現れていても異常とせずに正常とすることができる。

【0067】

また、インスタントヌードルのかやくなど、フィルムに印刷が施されている場合がある。この場合、バックライトの光が透過せず、その部分にクロスドニコルによる形状可視化を施せない場合がある。この場合、可視光カメラの代わりに赤外線カメラを使用しても良い。赤外線カメラを使用した場合、赤外線がインクを透過する場合が多く、インクの影響を軽減できる。赤外線カメラはモノクロである場合が多いため、実際に実装する際には一定の幅の波長帯の光のみを透過するバンドパスフィルターを複数種類、赤外線カメラの前に設置し、それらを切り替えながら様々な波長帯の光を観測する必要がある。偏光色図表はカラーカメラを対象とした図であるが、赤外線領域においても同様に一定のルールにしたがって光の波長が変化する。

【0068】

カラーカメラは、ＲＧＢ３種類のバンドパスフィルターをセンサーに装備している。カラーカメラに使用されるＣＭＯＳ等のセンサー感度は、４００ｎｍ～１０００ｎｍ程度であり、この範囲の波長の光を観測できる。上述した赤外線カメラとして、たとえば、ＩｎＧａＡＳカメラを使用することができる。これは、９００ｎｍ～１７００ｎｍ程度の光を観測できるセンサーを用いた赤外線カメラである。例えば、カラーカメラにおけるＲＧＢバンドパスフィルターのように複数種類のバンドパスフィルターを赤外線カメラの前に設置し、フィルタを切り替えながら撮影をすることにより、画像中の各場所の光の波長を計測することができる。波長はカラー画像でいう色であり、従って、赤外線領域用の偏光色図表を作成することができる。

【0069】

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、異常検知処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0070】

また、上記各実施形態では、情報処理プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0071】

以上の実施形態に関し、更に以下の付記を開示する。

【0072】

（付記項１）
情報処理装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
２つの偏光板の間に配置された対象物を撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出し、
異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する
ように構成される情報処理装置。

【0073】

（付記項２）
異常検知処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記異常検知処理は、
２つの偏光板の間に配置された対象物を撮影した撮影画像を取得し、
取得した撮影画像に基づいて、前記対象物に含まれる異物又は前記対象物の異常を検出し、
異常が検出された場合、異常が検出された領域の異常部分画像、及び色情報と厚さ情報との予め求められた対応関係を用いて、前記対象物に含まれる異物又は前記対象物の異常を判定する
非一時的記憶媒体。

【符号の説明】

【0074】

１ 情報処理装置
３ カメラ
４ 第１の偏光板
５ 第２の偏光板
６ バックライト
１１ ＣＰＵ
１４ ストレージ
１５ 入力部
１６ 表示部
２０ 学習モデル記憶部
２２ 取得部
２４ 特定部
２６ 位置判定部
２８ 異常検出部
３０ 異常判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】