特許 7342207 包装体検査装置及び包装体検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-09-01

(45)【発行日】2023-09-11

(54)【発明の名称】包装体検査装置及び包装体検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230904BHJP

   G06T 7/00 20170101ALI20230904BHJP

   G06V 10/82 20220101ALI20230904BHJP

【ＦＩ】

G01N21/88 Z

G06T7/00 610Z

G06V10/82

【請求項の数】 5

(21)【出願番号】P 2022113637

(22)【出願日】2022-07-15

【審査請求日】2023-05-22

【早期審査対象出願】

(73)【特許権者】

【識別番号】000106760

【氏名又は名称】ＣＫＤ株式会社

(74)【代理人】

【識別番号】100111095

【弁理士】

【氏名又は名称】川口 光男

(72)【発明者】

【氏名】田口 幸弘

(72)【発明者】

【氏名】今泉 汐理

(72)【発明者】

【氏名】小田 将蔵

【審査官】横尾 雅一

(56)【参考文献】

【文献】特開２０１４－１１５１８５（ＪＰ，Ａ）

【文献】特開２００９－１９２４４３（ＪＰ，Ａ）

【文献】特開２００９－２６４８００（ＪＰ，Ａ）

【文献】特開２００７－０７８５４０（ＪＰ，Ａ）

【文献】特開平１０－１３７６９６（ＪＰ，Ａ）

【文献】国際公開第２０２２／１１８５２３（ＷＯ，Ａ１）

【文献】特開平０３－２３１１４４（ＪＰ，Ａ）

【文献】特開２０１５－０７５４３７（ＪＰ，Ａ）

【文献】特開２０２３－１０４２３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

(57)【特許請求の範囲】

【請求項1】

被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体に関し、前記包材における破れによる不良の有無を検査するための包装体検査装置であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射手段と、
前記包装体から反射した紫外光を撮像する撮像手段と、
前記撮像手段による撮像によって得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定手段とを備え、
前記判定手段は、前記正反射光画像データに対し二値化処理を施して二値化画像データを得るとともに、該二値化画像データにおける暗部の連結領域の面積が予め設定された閾値を上回る場合に、前記包材が破れによる不良であると判定するように構成されていることを特徴とする包装体検査装置。

【請求項2】

前記照射手段及び前記撮像手段のうちの少なくとも一方は、前記包装体に対し相対移動可能に構成されており、
前記撮像手段は、前記包装体に対し前記照射手段及び前記撮像手段のうちの少なくとも一方が相対移動している状態で、該包装体を複数回撮像することにより、該包装体の複数箇所の輝度に係る情報を有する輝度画像データを複数得るように構成されており、
前記複数の輝度画像データがそれぞれ示す前記包装体における同一の箇所についての複数の輝度のうちの最高輝度を該箇所の輝度とすることを、該包装体の各箇所ごとに行うことにより、該包装体についての前記正反射画像データを生成する正反射光画像データ生成手段を有することを特徴とする請求項１に記載の包装体検査装置。

【請求項3】

前記照射手段は、複数の紫外光源を有する無影照明であることを特徴とする請求項１に記載の包装体検査装置。

【請求項4】

前記判定手段は、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の前記包装体に係る前記正反射光画像データのみを学習データとして学習させて生成した識別手段と、
前記撮像手段による撮像によって得られた前記正反射光画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データ及び前記再構成画像データの比較結果に基づき、前記包材の良否を判定可能な比較手段とを備えることを特徴とする請求項１に記載の包装体検査装置。

【請求項5】

被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体に関し、前記包材における破れによる不良の有無を検査するための包装体検査方法であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射工程と、
前記包装体から反射した紫外光を撮像する撮像工程と、
前記撮像工程における撮像により得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定工程とを含み、
前記判定工程においては、前記正反射光画像データに対し二値化処理を施して二値化画像データを得るとともに、該二値化画像データにおける暗部の連結領域の面積が予め設定された閾値を上回る場合に、前記包材が破れによる不良であると判定することを特徴とする包装体検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被包装物を所定の包材によってシュリンク包装又はストレッチ包装してなる包装体を検査するための検査装置及び検査方法に関する。

【背景技術】

【0002】

従来、食品、化粧品、医薬品、生活用品などの各種被包装物を、所定の包材によってシュリンク包装又はストレッチ包装してなる包装体が知られている。このような包装体は、被包装物の保護や、被包装物の取り扱いに係る利便性の向上、デザイン性の向上などの観点から広く用いられている。包装体としては、被包装物の全体を包材で被覆したタイプや、被包装物の一部のみを包材で部分的に被覆したタイプなどがある。

【0003】

ところで、包装体における包材に破れなどの損傷が生じると、被包装物の保護が不十分となったり、利便性やデザイン性が低下したりするといった各種不具合を招くおそれがある。従って、製品（包装体）の出荷前などに、包材における破れ等の有無を検査することが必要となる。

【0004】

この点、被包装物を被覆するラベルにおける破れ等を検査するための検査装置として、紫外線吸収機能が付与されたラベルを用いるとともに、ラベルに対し紫外線を含む光を検査光として照射し、ラベルから発せられる蛍光に基づく画像（蛍光画像）を利用して、ラベルにおける破れ等の有無を検査するものが知られている（例えば、特許文献１等参照）。この検査装置によれば、破れ等が生じたラベルの損傷箇所では蛍光の発生がなくなることを利用して、ラベルにおける破れ等の有無を検査することが可能とされている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００４－１２２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、包装体の検査に上記の検査装置を利用するにあたっては、包材に紫外線吸収機能を付与する必要があるが、検査のためにわざわざ紫外線吸収機能を付与することは、製品（包装体）の製造コストを増大させるおそれがある。

【0007】

さらに、蛍光画像では、包材における正常箇所及び損傷箇所のコントラスト差が小さなものとなりやすく、また、正常箇所及び損傷箇所の境界部分で「にじみ」が生じやすい。そのため、鮮明な検査用画像を得ることが困難であり、検査精度が不十分となるおそれがある。

【0008】

本発明は、上記事情に鑑みてなされたものであり、その目的は、紫外線吸収機能を付与した特殊な包材を使用することなく、包材の破れなどをより高精度で検出することができる包装体検査装置及び包装体検査方法を提供することにある。

【課題を解決するための手段】

【0009】

以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。

【0010】

手段１．被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体に関し、前記包材における破れによる不良の有無を検査するための包装体検査装置であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射手段と、
前記包装体から反射した紫外光を撮像する撮像手段と、
前記撮像手段による撮像によって得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定手段とを備え、
前記判定手段は、前記正反射光画像データに対し二値化処理を施して二値化画像データを得るとともに、該二値化画像データにおける暗部の連結領域の面積が予め設定された閾値を上回る場合に、前記包材が破れによる不良であると判定するように構成されていることを特徴とする包装体検査装置。

【0011】

上記手段１によれば、被包装物の外表面は包材の外表面よりも粗いものとされている。そのため、包装体に対し紫外光を照射した状態で該包装体を撮像することによって得られた正反射光画像データにおいて、破れ等のある損傷箇所（被包装物の外表面が露出した部分）は比較的暗いものとなり、一方、正常箇所は比較的明るいものとなる。そして、正反射光画像データにて生じるこのような差異に基づき、包装体における包材の良否が判定される。従って、包材として、紫外線吸収機能が付与された特殊なものを用いることなく、包材における破れ等の有無を検査することができる。これにより、製品（包装体）の製造コストの増大抑制を図ることができる。

【0012】

さらに、正反射光画像データを利用するため、包材における正常箇所及び損傷箇所のコントラスト差を比較的大きなものとすることができ、また、正常箇所及び損傷箇所の境界部分で「にじみ」が生じることをより確実に防止できる。これにより、鮮明な検査用画像をより確実に得ることができ、包材の破れなどをより高精度で検出することが可能となる。
また、暗部の連結領域の面積を利用して包材の良否を判定する。そのため、包材に存在する細かな“しわ”による影を不良部分であると誤判定することをより確実に防止できる。その結果、検査精度をより一層向上させることができる。

【0013】

尚、包材を形成する熱可塑性樹脂材料としては、例えば、ポリプロピレン（ＰＰ）、ポリエチレン（ＰＥ）、ポリオレフィン（ＰＯ）、ポリ塩化ビニル（ＰＶＣ）、ポリ塩化ビニリデン（ＰＶＤＣ）、ポリスチレン（ＰＳ）、ポリエチレンテレフタレート（ＰＥＴ）、ポリメチルペンテン（ＰＭＰ）又は直鎖状低密度ポリエチレン（ＬＬＤＰＥ）などを挙げることができる。

【0014】

手段２．前記照射手段及び前記撮像手段のうちの少なくとも一方は、前記包装体に対し相対移動可能に構成されており、
前記撮像手段は、前記包装体に対し前記照射手段及び前記撮像手段のうちの少なくとも一方が相対移動している状態で、該包装体を複数回撮像することにより、該包装体の複数箇所の輝度に係る情報を有する輝度画像データを複数得るように構成されており、
前記複数の輝度画像データがそれぞれ示す前記包装体における同一の箇所についての複数の輝度のうちの最高輝度を該箇所の輝度とすることを、該包装体の各箇所ごとに行うことにより、該包装体についての前記正反射画像データを生成する正反射光画像データ生成手段を有することを特徴とする手段１に記載の包装体検査装置。

【0015】

上記手段２によれば、より正確な正反射光画像データを比較的容易に得ることができる。これにより、包材の検査精度をより高めることができる。

【0016】

また、包装体の搬送経路に対応して照射手段及び撮像手段を設けることで、照射手段及び撮像手段が包装体に対し相対移動可能となるように構成した場合には、包装体の搬送時に該包装体の撮像を行うことによって、検査をより効率よく行うことができる。これにより、製造に係るコストの増大抑制をより効果的に図ることができる。

【0017】

手段３．前記照射手段は、複数の紫外光源を有する無影照明であることを特徴とする手段１に記載の包装体検査装置。

【0018】

上記手段３によれば、比較的少ない撮像回数（例えば１回）で、包装体に係る正反射光画像データを得ることができる。これにより、正反射光画像データを得るにあたっての処理負担を低減させることができる。また、検査スピードを高めることができ、ひいては生産性の向上を図ることができる。

【0021】

手段４．前記判定手段は、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークに対し、良品の前記包装体に係る前記正反射光画像データのみを学習データとして学習させて生成した識別手段と、
前記撮像手段による撮像によって得られた前記正反射光画像データを元画像データとして前記識別手段へ入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データ及び前記再構成画像データの比較結果に基づき、前記包材の良否を判定可能な比較手段とを備えることを特徴とする手段１に記載の包装体検査装置。

【0022】

尚、上記「学習データ」として用いる「良品の包装体に係る正反射光画像データ」としては、これまでの検査で蓄積された良品の包装体に係る正反射光画像データや、作業者が目視により選別した良品の包装体に係る正反射光画像データ、これら画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。

【0023】

また、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習（ディープラーニング）などが含まれる。上記「識別手段（生成モデル）」には、例えばオートエンコーダ（自己符号化器）や、畳み込みオートエンコーダ（畳み込み自己符号化器）などが含まれる。

【0024】

加えて、「識別手段」は、良品の包装体に係る正反射光画像データのみを学習させて生成したものであるため、不良品の包装体に係る元画像データを識別手段に入力したときに生成される再構成画像データは、ノイズ部分（不良部分）が除去された元画像データとほぼ一致することになる。すなわち、包装体に不良部分があるときには、再構成画像データとして、不良部分がないものと仮定した場合の該包装体に係る仮想的な正反射光画像データが生成される。

【0025】

上記手段４によれば、元画像データと、該元画像データを識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、包材の良否を判定している。そのため、比較する両画像データは、それぞれ同一の包装体に係るものとなる。従って、比較する両画像データにおいて、包装体の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、画像データを得る際の条件（例えばカメラに対する包装体の配置位置や配置角度、明暗状態やカメラの画角等）を一致させることができる。これらの結果、極めて良好な検査精度を得ることができる。

【0026】

手段５．被包装物を所定の熱可塑性樹脂材料により形成された包材によってシュリンク包装又はストレッチ包装してなる包装体に関し、前記包材における破れによる不良の有無を検査するための包装体検査方法であって、
前記被包装物の外表面は、前記包材の外表面よりも粗いものとされており、
前記包装体に対し紫外光を照射する照射工程と、
前記包装体から反射した紫外光を撮像する撮像工程と、
前記撮像工程における撮像により得られた前記包装体についての正反射光画像データに基づき、該包装体における前記包材の良否を判定する判定工程とを含み、
前記判定工程においては、前記正反射光画像データに対し二値化処理を施して二値化画像データを得るとともに、該二値化画像データにおける暗部の連結領域の面積が予め設定された閾値を上回る場合に、前記包材が破れによる不良であると判定することを特徴とする包装体検査方法。

【0027】

上記手段５によれば、上記手段１と同様の作用効果が奏されることとなる。

【0028】

尚、上記各手段に係る各技術事項を適宜組み合わせて用いてもよい。例えば、上記手段２又は３に係る技術事項に対し、上記手段４に係る技術事項を適用してもよい。また、上記手段５に対し、上記手段２～４に係る各技術事項を適宜適用してもよい。

【図面の簡単な説明】

【0029】

【図1】包装体の断面模式図である。

【図2】包装体検査装置の斜視模式図である。

【図3】包装体検査装置の正面模式図である。

【図4】包材における損傷箇所の有無による紫外光の反射状態の違いを示す模式図である。

【図5】包装体検査装置の機能構成を示すブロック図である。

【図6】ニューラルネットワークの構造を説明するための模式図である。

【図7】ニューラルネットワークの学習処理の流れを示すフローチャートである。

【図8】検査処理の流れを示すフローチャートである。

【図9】別の実施形態において、移動可能な照明装置を有する包装体検査装置の一部破断正面模式図である。

【図10】別の実施形態において、無影照明によって構成された照明装置を有する包装体検査装置の一部破断正面模式図である。

【図11】別の実施形態における二値化画像データの概略図である。

【発明を実施するための形態】

【0030】

以下、一実施形態について図面を参照しつつ説明する。まず、検査対象となる包装体１について説明する。

【0031】

図１，２に示すように、包装体１は、被包装物２を包材３によってシュリンク包装又はストレッチ包装することで製造されたものである。尚、便宜上、図１等では、包材３を実際よりも過度に厚肉に表現している。

【0032】

被包装物２としては、例えば、食品、化粧品、医薬品、生活用品、電化製品、書籍などを挙げることができる。勿論、被包装物２がこれらに限定される訳ではない。また、被包装物２は、内容物を収容するための紙や樹脂などからなる箱又はケースを具備し、これら箱やケースが被包装物２の外表面を構成していてもよい。本実施形態では、被包装物２の外表面全体が包材３で被覆された状態となっている。尚、包装体１は、被包装物２の外表面の一部が包材３で部分的に覆われてなるものであってもよい。

【0033】

加えて、被包装物２の外表面は、鏡面ではなく、包材３の外表面よりも粗いものとなっている。尚、被包装物２や包材３の各外表面の粗さについては、例えば算術平均粗さＲａを利用して測定することができる。

【0034】

包材３は、所定の熱可塑性樹脂材料により形成されたシート（フィルム）であり、少なくとも外表面が平滑面とされている。包材３を構成する熱可塑性樹脂材料としては、ＰＰ、ＰＥ、ＰＯ、ＰＶＣ、ＰＶＤＣ、ＰＳ、ＰＥＴ、ＰＭＰ又はＬＬＤＰＥなどを挙げることができる。

【0035】

次いで、上記包装体１における特に包材３を検査するための包装体検査装置１０の概略構成について説明する。

【0036】

図２，３に示すように、包装体検査装置１０は、搬送装置１１、照明装置１２、ラインセンサカメラ１３及び判定システム２０を備えている。本実施形態では、照明装置１２が「照射手段」を構成し、ラインセンサカメラ１３が「撮像手段」を構成する。

【0037】

搬送装置１１は、包装体１を所定の後工程装置（例えば箱詰め装置など）へと搬送するための装置である。搬送装置１１は、包装体１が載置される搬送ベルト１１ａなどを有しており、該搬送ベルト１１ａの移動により、包装体１を水平方向に一定速度で連続搬送する。搬送装置１１により包装体１が搬送されることで、結果的に、照明装置１２及びラインセンサカメラ１３の双方が、包装体１に対し相対移動することとなる。

【0038】

搬送装置１１には、図示しない不良品排出機構が設けられており、判定システム２０から所定の不良品信号が入力されると、不良品の包装体１は、前記不良品排出機構によって系外（包装体１の搬送経路の外）に排出される。これにより、不良品の包装体１は、前記後工程装置へと搬送されないようになっている。

【0039】

照明装置１２及びラインセンサカメラ１３は、それぞれ搬送装置１１の上方に位置しており、包装体１の搬送経路に対応して配置されている。

【0040】

照明装置１２は、搬送装置１１（搬送ベルト１１ａ）の上面、つまり包装体１が載置される面における所定領域の斜め上方から該領域に対し紫外光を照射する。これにより、照明装置１２から前記領域に搬送されてきた包装体１へとその斜め上方から紫外光が照射される。照射される紫外光は、搬送装置１１の幅方向（包装体１の搬送方向と直交する方向）への広がりを有するものである。本実施形態では、照明装置１２によって包装体１に対し紫外光を照射する工程が「照射工程」に相当する。

【0041】

ラインセンサカメラ１３は、平面視したときに、搬送装置１１における前記所定領域を照明装置１２との間で挟む位置に配置されている。ラインセンサカメラ１３は、紫外光を検出可能な複数の検出素子が１列に並ぶラインセンサを有しており、包装体１を反射した紫外光を撮像（露光）可能に構成されている。本実施形態において、ラインセンサカメラ１３によって取得される画像データは、前記ラインセンサによる検出出力に応じて輝度が増減する輝度画像データである。

【0042】

また、ラインセンサカメラ１３は、包装体１が搬送されている状態（つまり、包装体１に対し照明装置１２及びラインセンサカメラ１３の双方が相対移動している状態）で、該包装体１から反射した紫外光を複数回撮像する。これにより、包装体１の複数箇所の輝度に係る情報を有する輝度画像データが複数得られる。本実施形態では、ラインセンサカメラ１３によって、包装体１から反射した紫外光を撮像する工程が「撮像工程」に相当する。

【0043】

尚、包材３における正常箇所に照射された紫外光は、包材３にて正反射し、正反射した紫外光がラインセンサカメラ１３に入射されることとなる。一方、包材３における損傷箇所（破れ等が生じた箇所）に照射された紫外光は、包材３にて正反射されず、正反射した紫外光はラインセンサカメラ１３へと入射されないこととなる（それぞれ図４参照）。従って、得られた輝度画像データにおいて、正常箇所を表す箇所（画素）は高輝度となり、損傷箇所を表す箇所は低輝度となる。

【0044】

ラインセンサカメラ１３によって取得された輝度画像データは、包装体１が所定量搬送される毎に、該ラインセンサカメラ１３内部においてデジタル信号（画像信号）に変換された上で、デジタル信号の形で判定システム２０（後述する正反射光画像データ生成部２４）に対し出力される。

【0045】

尚、本実施形態では、ラインセンサカメラ１３による包装体１の被撮像領域が、前回のラインセンサカメラ１３による包装体１の被撮像領域と一部重なるように、ラインセンサカメラ１３による撮像タイミングが設定されている。従って、連続的に取得された複数の輝度画像データにおける所定座標の１の画素は、包装体１における所定箇所（後述する正反射光画像データ中の包装体１が占める領域における一画素分の領域）と少なくとも一部が重なるものであって、また、包装体１の搬送方向下流側に少しずつずれていく態様となる。そのため、本実施形態では、連続的に取得された複数の輝度画像データは、正反射光画像データにおける１の画素に対応する（重なる）画素をそれぞれ有することとなる。尚、後述するように、正反射光画像データにおける１の画素の輝度は、複数の輝度画像データにおける当該１の画素に対応する複数の画素が示す各輝度のうちの最高輝度に設定される。

【0046】

判定システム２０は、所定の演算処理を実行するＣＰＵ（Central Processing Unit）、各種プログラムや固定値データ等を記憶するＲＯＭ（Read Only Memory）、各種演算処理の実行に際して各種データが一時的に記憶されるＲＡＭ（Random Access Memory）及びこれらの周辺回路等を含んだコンピュータや、入出力装置及び表示装置などからなる。

【0047】

判定システム２０は、図５に示すように、ＣＰＵが各種プログラムに従って動作することで、後述するメイン制御部２１、照明制御部２２、カメラ制御部２３、正反射光画像データ生成部２４、学習部２５、検査部２６などの各種機能部として機能する。本実施形態では、正反射光画像データ生成部２４が「正反射光画像データ生成手段」を構成する。

【0048】

但し、上記各種機能部は、上記ＣＰＵ、ＲＯＭ、ＲＡＭなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがＩＣなどのハードウェア回路により実現されてもよい。

【0049】

さらに、判定システム２０には、キーボードやマウス、タッチパネル等で構成される入力部２０ａ、液晶ディスプレイ等で構成され、各種情報を表示可能な表示画面をそれぞれ備えた表示部２０ｂ、各種データやプログラム、演算結果、検査結果等を記憶可能な記憶部２０ｃ、外部と各種データを送受信可能な通信部２０ｄなどが設けられている。

【0050】

次に、判定システム２０を構成する上記各種機能部について詳しく説明する。

【0051】

メイン制御部２１は、判定システム２０全体の制御を司る機能部であり、照明制御部２２やカメラ制御部２３など他の機能部と各種信号を送受信可能に構成されている。

【0052】

照明制御部２２は、メイン制御部２１からの指令信号に基づき、照明装置１２を制御する機能部である。

【0053】

カメラ制御部２３は、ラインセンサカメラ１３を制御する機能部であり、メイン制御部２１からの指令信号に基づき、ラインセンサカメラ１３による撮像タイミングなどを制御する。カメラ制御部２３は、ラインセンサカメラ１３による包装体１の被撮像領域が、前回のラインセンサカメラ１３による包装体１の被撮像領域と一部重なるように、ラインセンサカメラ１３による撮像タイミングを制御する。

【0054】

正反射光画像データ生成部２４は、ラインセンサカメラ１３により取得された、１の包装体１に係る複数の輝度画像データを用いて、該包装体１についての正反射光画像データを生成する。

【0055】

より詳しくは、正反射光画像データ生成部２４は、まず、複数の輝度画像データがそれぞれ示す、同一の箇所（最終的に得られる正反射光画像データにおける１の画素）についての複数の輝度のうちの最高輝度を得る。例えば、３つの輝度画像データが、前記１の画素に対応する画素をそれぞれ１つずつ有する場合、３つの画素が示す３つの輝度のうちの最高輝度を得る。尚、同一の箇所には、包装体１における同一の箇所が含まれる。

【0056】

その上で、正反射光画像データ生成部２４は、得られた最高輝度を前記同一の箇所（最終的に得られる正反射光画像データにおける１の画素）の輝度に設定する処理を、最終的に得られる正反射光画像データにおける画素ごとに行う。従って、前記処理は、結果的に、包装体１の各箇所（最終的に得られる正反射光画像データにおける包装体１が占める領域における各画素）ごとに行われることとなる。そして、正反射光画像データ生成部２４は、正反射光画像データにおける全画素の輝度を上記のように設定することで、包装体１についての（包装体１についての情報を含む）正反射光画像データを生成する。本実施形態において、生成される正反射光画像データは、包装体１の上面全域を含む矩形状の画像データである。

【0057】

尚、本実施形態では、包装体１が占める領域以外の領域を含む輝度画像データの全画素を利用して、包装体１についての正反射光画像データを生成しているが、輝度画像データから包装体１が占める領域のみを抽出し、この領域の画素のみを利用して、包装体１についての正反射光画像データを生成してもよい。

【0058】

学習部２５は、学習データを用いてディープニューラルネットワーク９０（以下、単に「ニューラルネットワーク９０」という。図６参照。）の学習を行い、「識別手段」としてのＡＩ（Artificial Intelligence）モデル１００を構築する機能部である。

【0059】

尚、本実施形態におけるＡＩモデル１００は、後述するように、良品の包装体１に係る画像データのみを学習データとして、ニューラルネットワーク９０を深層学習（ディープラーニング）させて構築した生成モデルであり、いわゆるオートエンコーダ（自己符号化器）の構造を有する。

【0060】

ここで、ニューラルネットワーク９０の構造について、図６を参照して説明する。図６は、ニューラルネットワーク９０の構造を概念的に示した模式図である。ニューラルネットワーク９０は、入力される画像データＧＡから特徴量（潜在変数）ＴＡを抽出する「符号化部」としてのエンコーダ部９１と、該特徴量ＴＡから画像データＧＢを再構成する「復号化部」としてのデコーダ部９２と有してなる畳み込みオートエンコーダ（ＣＡＥ：Convolutional Auto-Encoder）の構造を有している。

【0061】

畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部９１は複数の畳み込み層(Convolution Layer)９３を有し、各畳み込み層９３では、入力データに対し複数のフィルタ（カーネル）９４を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部９２は複数の逆畳み込み層（Deconvolution Layer）９５を有し、各逆畳み込み層９５では、入力データに対し複数のフィルタ（カーネル）９６を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理では、各フィルタ９４，９６の重み（パラメータ）が更新されることとなる。

【0062】

検査部２６は、搬送装置１１によって搬送される包装体１における包材３の良否判定を行う機能部である。例えば本実施形態では、包材３に破れなどの損傷が生じているか否かについての検査が行われる。尚、包材３に印刷部が設けられている場合、検査部２６は、該印刷部についての良否判定を行ってもよい。本実施形態では、検査部２６が「判定手段」を構成する。

【0063】

表示部２０ｂは、例えば、搬送装置１１の近傍などに配置されており、記憶部２０ｃに記憶された各種情報を表示可能に構成されている。従って、表示部２０ｂでは、輝度画像データなどの各種画像データや、検査に用いられる情報、包材３の良否判定結果などを表示可能である。

【0064】

記憶部２０ｃは、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、例えばＡＩモデル１００（ニューラルネットワーク９０及びその学習により獲得した学習情報）を記憶する所定の記憶領域を有している。また、記憶部２０ｃは、各種画像データや、検査に用いられる情報（例えば各種閾値など）、検査部２６にて行われた包材３の良否判定結果を記憶する機能を具備している。

【0065】

通信部２０ｄは、例えば有線ＬＡＮ（Local Area Network）や無線ＬＡＮ等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部２６による良否判定結果に基づく不良品信号などが通信部２０ｄを介して外部（前記不良品排出機構など）に出力される。

【0066】

次に、判定システム２０によって行われるニューラルネットワーク９０の学習処理について図７のフローチャートを参照して説明する。

【0067】

所定の学習プログラムの実行に基づき、学習処理が開始されると、メイン制御部２１は、まず、ステップＳ１０１において、未学習のニューラルネットワーク９０を準備する。例えば所定の記憶装置等に予め格納されているニューラルネットワーク９０を読み出す。又は、前記記憶装置等に格納されているネットワーク構成情報（例えばニューラルネットワークの層数や各層のノード数など）に基づいて、ニューラルネットワーク９０を構築する。

【0068】

次いで、ステップＳ１０２において、再構成画像データを取得する。すなわち、予め用意された学習データを入力データとして、ニューラルネットワーク９０の入力層に与える。そして、該ニューラルネットワーク９０の出力層から出力される再構成画像データを取得する。学習データとしては、これまでの検査で蓄積された良品の包装体１に係る正反射光画像データや、作業者が目視により選別した良品の包装体１に係る正反射光画像データ、これら画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。

【0069】

続くステップＳ１０３では、学習データと、ステップＳ１０２においてニューラルネットワーク９０により出力された再構成画像データとを比較し、その誤差が十分に小さいか否か（所定の閾値以下であるか否か）を判定する。

【0070】

ここで、前記誤差が十分に小さい場合には、ステップＳ１０５にて、学習処理の終了条件を満たすか否かを判定する。例えば、後述するステップＳ１０４の処理を経ることなくステップＳ１０３にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク９０及びその学習情報（後述する更新後のパラメータ等）をＡＩモデル１００として記憶部２０ｃに格納し、学習処理を終了する。

【0071】

一方、ステップＳ１０５にて終了条件を満たさない場合には、ステップＳ１０２に戻り、ニューラルネットワーク９０の学習を再度行う。

【0072】

また、ステップＳ１０３にて、前記誤差が十分に小さくない場合には、ステップＳ１０４においてネットワーク更新処理（ニューラルネットワーク９０の学習）を行った後、再びステップＳ１０２へ戻り、上記一連の処理を繰り返す。

【0073】

ステップＳ１０４のネットワーク更新処理では、例えば誤差逆伝播法（Backpropagation）などの公知の学習アルゴリズムを用いて、学習データと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク９０における上記各フィルタ９４，９６の重み（パラメータ）をより適切なものに更新する。尚、損失関数としては、例えばＢＣＥ（Binary Cross-entropy）などを利用することができる。

【0074】

ステップＳ１０２～１０４の処理を何度も繰り返すことにより、ニューラルネットワーク９０では、学習データと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。

【0075】

そして、最終的に得られるＡＩモデル１００は、良品の包装体１に係る正反射光画像データが入力されたときには、入力された正反射光画像データとほぼ一致する再構成画像データを生成するものとなる。また、ＡＩモデル１００は、不良品の包装体１に係る正反射光画像データが入力されたときには、ノイズ部分（包材３における損傷箇所に相当する部分）が除去された、入力された正反射光画像データとほぼ一致する再構成画像データを生成するものとなる。すなわち、包装体１の包材３が不良品であるときには、該包装体１に係る再構成画像データとして、包材３に不良部分（損傷箇所）がないものと仮定した場合の該包装体１に係る仮想的な画像データが生成される。

【0076】

次に、判定システム２０によって行われる包装体１（特に包材３）の良否判定に係る処理（検査処理）について図８のフローチャートを参照して説明する。この検査処理は、予め設定された通常の検査処理実行タイミングにて実行される。

【0077】

検査処理では、まずステップＳ２０１において、搬送装置１１によって包装体１を搬送しつつ、照明装置１２から該包装体１に対し紫外光を照射した状態で、ラインセンサカメラ１３によって、該包装体１から反射した紫外光の撮像が繰り返し行われる。これにより、包装体１に係る複数の輝度画像データが取得される。そして、これら輝度画像データを基に、正反射光画像データ生成部２４によって、包装体１についての正反射光画像データが取得される。

【0078】

次に、ステップＳ２０２の判定工程において、取得された正反射光画像データに基づき、包材３の良否が判定される。判定工程では、まず、ステップＳ３０１において、検査部２６により、ステップＳ２０１にて取得された正反射光画像データ（元画像データ）がＡＩモデル１００に入力されることで、再構成画像データが取得される。本実施形態では、検査部２６が「再構成画像データ取得手段」を構成する。

【0079】

続くステップＳ３０２では、検査部２６によって、元画像データとしての正反射光画像データ及び再構成画像データが比較され、両画像データの差分が特定される。例えば、両画像データにおける同一座標の画素がそれぞれ比較されて、差分として、輝度の差が所定値以上となった画素が特定される。本実施形態では、元画像データ及び再構成画像データを比較する検査部２６が「比較手段」を構成する。

【0080】

次いで、ステップＳ３０３にて、差分の連結領域（つまり輝度の差が所定値以上となった画素の塊）の面積（画素数）が算出される。

【0081】

続いて、ステップＳ３０４において、検査部２６により、包材３における損傷箇所（不良部分）の有無が判定される。具体的には、検査部２６によって、ステップＳ３０３にて算出した面積が所定の閾値よりも大きいか否かが判定される。そして、算出した面積が前記閾値よりも大きい場合には、ステップＳ３０５において、包材３ひいては包装体１が「不良品」であると判定して、検査処理を終了する。「不良品」であると判定したときには、不良品信号が前記不良品排出機構へと出力される。

【0082】

一方、算出した面積が前記閾値以下である場合には、ステップＳ３０６において、包材３ひいては包装体１が「良品」であると判定して、検査処理を終了する。

【0083】

以上詳述したように、本実施形態によれば、被包装物２の外表面は包材３の外表面よりも粗いものとされている。そのため、正反射光画像データにおいて、破れ等のある損傷箇所（被包装物２の外表面が露出した部分）は比較的暗いものとなり、一方、正常箇所は比較的明るいものとなる。そして、正反射光画像データにて生じるこのような差異に基づき、包装体１における包材３の良否が判定される。従って、包材３として、紫外線吸収機能が付与された特殊なものを用いることなく、包材３における破れ等の有無を検査することができる。これにより、製品（包装体１）の製造に係るコストの増大抑制を図ることができる。

【0084】

さらに、正反射光画像データを利用するため、包材３における正常箇所及び損傷箇所のコントラスト差を比較的大きなものとすることができ、また、正常箇所及び損傷箇所の境界部分で「にじみ」が生じることをより確実に防止できる。これにより、鮮明な検査用画像（本実施形態では、正反射光画像データ）をより確実に得ることができ、包材３の破れなどをより高精度で検出することが可能となる。

【0085】

また、複数の輝度画像データがそれぞれ示す、同一の箇所（最終的に得られる正反射光画像データにおける１の画素）についての複数の輝度のうちの最高輝度を、前記同一の箇所（前記１の画素）の輝度に設定する処理が、最終的に得られる正反射光画像データの画素ごとに行われることによって、正反射光画像データが生成される。従って、より正確な正反射光画像データを比較的容易に得ることができる。これにより、包材３の検査精度をより高めることができる。

【0086】

加えて、正反射光画像データ（元画像データ）と、該元画像データをＡＩモデル１００へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、包材３の良否を判定している。そのため、比較する両画像データは、それぞれ同一の包装体１に係るものとなる。従って、比較する両画像データにおいて、包装体１の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、画像データを得る際の条件（例えばラインセンサカメラ１３に対する包装体１の配置位置や配置角度、明暗状態やカメラの画角等）を一致させることができる。これらの結果、極めて良好な検査精度を得ることができる。

【0087】

また、上記のように包材３の良否を判定することで、良品の包材３においても存在する細かな“しわ”による影を不良部分であると誤判定することをより確実に防止できる。その結果、検査精度をより一層向上させることができる。

【0088】

尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。

【0089】

（ａ）上記実施形態では、搬送装置１１によって包装体１が搬送されることで、照明装置１２及び撮像手段（ラインセンサカメラ１３）の双方が包装体１に対し相対移動可能に構成されている。これに対し、包装体１を停止状態とし、所定の駆動手段によって、照明装置１２及び撮像手段（ラインセンサカメラ１３）のうちの少なくとも一方が該包装体１に対し相対移動する構成としてもよい。従って、例えば、図９に示すように、照明装置１２が、包装体１の周囲に位置する所定の円弧状経路に沿って移動するように構成してもよい。このように構成した場合には、照明装置１２が所定距離移動する度に、「撮像手段」としてのエリアカメラ１６によって、包装体１を反射する紫外光の撮像が行われる。エリアカメラ１６は、矩形の像を撮像する。

【0090】

上記のように構成した場合には、次のようにして正反射光画像データが生成される。すなわち、正反射光画像データ生成部２４は、エリアカメラ１６により得られた複数の輝度画像データがそれぞれ示す、同一の箇所（最終的に得られる正反射光画像データにおける１の画素）についての複数の輝度のうちの最高輝度を得る。例えば、８回の撮像により得られた計８つの輝度画像データが、前記１の画素に対応する画素をそれぞれ１つずつ有する場合、正反射光画像データ生成部２４は、８つの画素が示す８つの輝度のうちの最高輝度を得る。

【0091】

その上で、正反射光画像データ生成部２４は、得られた最高輝度を前記同一の箇所（最終的に得られる正反射光画像データにおける１の画素）の輝度に設定する処理を、最終的に得られる正反射光画像データにおける画素ごとに行う。その結果、包装体１についての正反射光画像データが生成される。

【0092】

尚、照明装置１２の移動経路を外側から覆う筒状の紫外光反射部１７を設け、該紫外光反射部１７の内面によって紫外光を反射可能とすることで、包装体１に対し紫外光がより効率よく照射されるように構成してもよい。また、エリアカメラ１６に代えてラインセンサカメラ１３を設け、照明装置１２及び包装体１を移動させつつ、ラインセンサカメラ１３によって包装体１からの反射光を撮像するようにしてもよい。

【0093】

（ｂ）図１０に示すように、「照射手段」としての照明装置１５を、包装体１の周囲に配置された複数の紫外光源１５ａを有する無影照明によって構成し、該包装体１を反射した紫外光を、「撮像手段」としてのエリアカメラ１６によって撮像するように構成してもよい。尚、この構成において、１の包装体１に対し複数回の撮像を行う場合には、撮像の都度、照明装置１２に対する包装体１の相対位置が若干だけ変化するように、包装体１などの位置調節が行われる。

【0094】

照明装置１２を無影照明によって構成した場合には、比較的少ない撮像回数で（つまり、比較的少ない輝度画像データで）、包装体１に係る正反射光画像データを得ることができる。これにより、正反射光画像データを得るにあたっての処理負担を低減させることができる。また、検査スピードを高めることができ、ひいては生産性の向上を図ることができる。

【0095】

さらに、被包装物２が、例えば紙、野菜、きのこ、肉、魚などであり、被包装物２の外表面における紫外光の反射率が十分に低くなる（被包装物２の外表面にて紫外光を概ね吸収する）場合には、照明装置１５を無影照明によって構成することで、非常に少ない撮像回数（例えば１回）で正反射光画像データを得ることができる。尚、撮像を１回行うことによって正反射光画像データが得られる場合、この正反射光画像データは、エリアカメラ１６による１回の撮像で得られた輝度画像データと同一である。従って、複数の輝度画像データから正反射光画像データを得るための処理を行う必要はない。

【0096】

尚、照明装置１５を無影照明によって構成する場合には、複数の紫外光源１５ａの全てを外側から覆う筒状の紫外光反射部１７を設け、該紫外光反射部１７の内面によって紫外光を反射可能とすることで、包装体１に対し紫外光がより効率よく照射されるようにしてもよい。また、エリアカメラ１６に代えてラインセンサカメラ１３を設け、包装体１を移動させながら、ラインセンサカメラ１３によって包装体１からの反射光を撮像するようにしてもよい。

【0097】

（ｃ）上記実施形態において、検査部２６は、ＡＩモデル１００を用いて、正反射光画像データ（元画像データ）と再構成画像データとを比較することで、包材３の良否を判定するように構成されている。これに対し、検査部２６は、正反射光画像データに二値化処理を施して得られた二値化画像に基づき、包材３の良否を判定するものであってもよい。

【0098】

具体的には、検査部２６により、所定の二値化閾値を用いて、正反射光画像データに二値化処理を施すことで、二値化画像データが取得される。例えば、輝度が二値化閾値以上である画素を「１（明部）」とし、輝度が二値化閾値未満である「０（暗部）」とした二値化画像データが得られる。得られた二値化画像データでは、破れ等の生じた損傷箇所Ｘ１や細かな“しわ”による影Ｘ２が暗部となる（図１１参照）。そして、検査部２６によって、二値化画像データにおける暗部の連結領域の面積（画素数）が算出されるとともに、算出された面積が予め設定された閾値を上回る場合には、包材３に破れ等があるとして、包材３が「不良品」と判定される。一方、算出された面積が閾値以下である場合には、検査部２６によって、包材３が「良品」と判定される。

【0099】

このように暗部の連結領域の面積を利用した良否判定を行うように構成することで、良品の包材３においても存在する細かな“しわ”による影Ｘ２を不良部分であると誤判定することをより確実に防止できる。その結果、検査精度をより一層向上させることができる。

【0100】

（ｄ）上記実施形態では、連結領域の面積を利用して、包材３の良否を判定するように構成されているが、連結領域の長さを利用して、包材３の良否を判定するようにしてもよい。例えば、連結領域の長さが所定の閾値を上回る場合や、長さが閾値を上回る連結領域が所定個数以上存在する場合に、包材３に裂けがあるとして、包材３を「不良品」と判定するようにしてもよい。

【0101】

尚、連結領域の長さを利用することを、上記（ｃ）のような、二値化画像データを用いた良否判定処理に適用することも可能である。

【0102】

（ｅ）上記実施形態では、包材３自体の状態に基づき、包材３の良否を判定するように構成されている。これに対し、被包装物２に対する包材３の相対的な状態に基づき、包材３の良否を判定するように構成してもよい。例えば、包材３によって被包装物２の一部が部分的に包装される場合には、被包装物２に対する包材３の相対位置に基づき、包材３の良否を判定するようにしてもよい。

【0103】

（ｆ）「識別手段」としてのＡＩモデル１００（ニューラルネットワーク９０）の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワーク９０の学習処理や、再構成画像データの取得処理などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク９０の構造は、図６に示したものに限定されず、例えば畳み込み層９３の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク９０の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。

【0104】

さらに、上記実施形態では、ＡＩモデル１００（ニューラルネットワーク９０）が、畳み込みオートエンコーダ（ＣＡＥ）の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(ＶＡＥ：Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。

【0105】

また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク９０を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。

【0106】

加えて、ニューラルネットワーク９０は、いわゆるＡＩチップ等のＡＩ処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみが記憶部２０ｃに記憶され、これをＡＩ処理専用回路が読み出して、ニューラルネットワーク９０に設定することによって、ＡＩモデル１００が構成されるようにしてもよい。

【0107】

併せて、上記実施形態において、判定システム２０は学習部２５を備え、判定システム２０内においてニューラルネットワーク９０の学習を行う構成となっているが、これに限られるものではない。例えば、学習部２５を省略して、ニューラルネットワーク９０の学習を判定システム２０の外部で行う構成とし、外部で学習を行ったＡＩモデル１００（学習済みのニューラルネットワーク９０）を記憶部２０ｃに記憶する構成としてもよい。

【符号の説明】

【0108】

１…包装体、２…被包装物、３…包材、１０…包装体検査装置、１２，１５…照明装置（照射手段）、１３…ラインセンサカメラ（撮像手段）、１６…エリアカメラ（撮像手段）、２４…正反射光画像データ生成部（正反射光画像データ生成手段）、２６…検査部（判定手段、再構成画像データ取得手段、比較手段）、９１…エンコーダ部（符号化部）、９２…デコーダ部（復号化部）、１００…ＡＩモデル（識別手段）。

【要約】

【課題】紫外線吸収機能を付与した特殊な包材を使用することなく、包材の破れなどをより高精度で検出することができる包装体検査装置などを提供する。
【解決手段】検査対象となる包装体１は、被包装物を包材によってシュリンク包装又はストレッチ包装してなり、被包装物の外表面は包材の外表面よりも粗いものとされている。包装体１に対し紫外光を照射した状態で、包装体１から反射した紫外光を撮像し、撮像によって得られた包装体１についての正反射光画像データに基づき、包装体１における包材の良否が判定される。正反射光画像データにおいて、損傷箇所は比較的暗くなる一方、正常箇所は比較的明るくなり、また、正常箇所及び損傷箇所のコントラスト差が比較的大きなものとなる。そのため、紫外線吸収機能を付与した特殊な包材を使用することなく、包材の破れなどをより高精度で検出することが可能となる。
【選択図】 図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】