特許 7173753 捻り包装品の検査方法及び検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】捻り包装品の検査方法及び検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221109BHJP

   B65B 57/00 20060101ALI20221109BHJP

   G06T 7/00 20170101ALI20221109BHJP

   G01N 21/85 20060101ALI20221109BHJP

   B07C 5/342 20060101ALN20221109BHJP

【ＦＩ】

G01N21/88 J

B65B57/00 A

G06T7/00 350C

G06T7/00 610C

G01N21/85 Z

B07C5/342

【請求項の数】 5

(21)【出願番号】P 2018086687

(22)【出願日】2018-04-27

(65)【公開番号】P2019191086

(43)【公開日】2019-10-31

【審査請求日】2021-04-23

(73)【特許権者】

【識別番号】000006138

【氏名又は名称】株式会社明治

(74)【代理人】

【識別番号】110002675

【氏名又は名称】弁理士法人ドライト国際特許事務所

(72)【発明者】

【氏名】小西 信行

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２０１７－２１８２７５（ＪＰ，Ａ）

【文献】特開平１１－２５３１１３（ＪＰ，Ａ）

【文献】特開２０１８－０４５６０８（ＪＰ，Ａ）

【文献】特開２０１６－０９０４７６（ＪＰ，Ａ）

【文献】特開２０１７－２１１２５９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００８２１０６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０６Ｎ ２０／００－２０／２０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

被包装物を包み込んだ透明又は半透明の包装フィルムが一端又は両端で捻られて前記包装フィルムで包み込まれた前記被包装物が前記包装フィルム越しに視認される捻り包装品の良否を検査する、捻り包装品の検査方法であって、
捻り包装機から送られてくる前記捻り包装品のうち、包装状態が規格内の前記捻り包装品を良品として撮像した良品画像と、前記包装フィルムで包み込まれなかった前記被包装物のみを前記捻り包装品の不良品として撮像した被包装物単体画像の不良品画像と、前記被包装物が包み込まれなかった透明又は半透明の前記包装フィルムのみを前記捻り包装品の不良品として撮像した包装フィルム単体画像の不良品画像とを、学習用画像群として取得する学習用画像群取得工程と、
前記学習用画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習工程と、
検査対象とする前記捻り包装品の外観を撮像した撮像画像を取得する画像取得工程と、
学習済みの前記畳み込みニューラルネットワークを用いて、前記撮像画像内の前記捻り包装品が前記良品であるか、被包装物単体の不良品であるか、又は、包装フィルム単体の不良品であるか否かを判定する判定工程と、を備え、
前記学習用画像群及び前記撮像画像を取得する際には、
前記被包装物の色と反対色で、かつ凹凸のない平坦状に形成されている、前記搬送装置の載置面と対向するようにして、前記載置面から所定距離離れた位置に設置された撮像装置によって、前記載置面上の前記捻り包装品を撮像するとともに、
前記載置面の面法線上に発光面が配置され、かつ、リング状に形成されて中央の貫通孔に前記撮像装置のレンズが配置された照明装置から、前記撮像装置の撮像範囲全体に亘って前記載置面の前記捻り包装品に対して照明光を均一に照射し、前記被包装物及び前記包装フィルムの影が撮像画像内へ写り込むことを抑制する、
捻り包装品の検査方法。

【請求項2】

前記学習用画像群取得工程では、
前記包装フィルムの捻り状態に関する外観不良を示した捻り不良画像と、前記包装フィルム越しに視認される前記被包装物の前記包装フィルム内での状態に関する内部不良を示した被包装物不良画像とについても前記不良品画像として用いる、
請求項１に記載の捻り包装品の検査方法。

【請求項3】

前記学習用画像群取得工程では、
前記捻り不良画像は、前記包装フィルムの捻りがほどけている画像であり、
前記被包装物不良画像は、前記被包装物の一部が欠けている欠損画像と、余分な前記被包装物が前記包装フィルムに包み込まれた不要物内包画像と、である、
請求項２に記載の捻り包装品の検査方法。

【請求項4】

光を拡散させる拡散板が前記照明装置に装着されており、前記学習用画像群及び前記撮像画像を取得する際には、前記照明装置からの照明光を前記拡散板により拡散し、拡散させた照明光を前記検査対象の正面に照射する、
請求項１に記載の捻り包装品の検査方法。

【請求項5】

被包装物を包み込んだ透明又は半透明の包装フィルムが一端又は両端で捻られて前記包装フィルムで包み込まれた前記被包装物が前記包装フィルム越しに視認される捻り包装品の良否を検査する、捻り包装品の検査装置であって、
捻り包装機から送られてくる前記捻り包装品のうち、包装状態が規格内の前記捻り包装品を良品として撮像した良品画像と、前記包装フィルムで包み込まれなかった前記被包装物のみを前記捻り包装品の不良品として撮像した被包装物単体画像の不良品画像と、前記被包装物が包み込まれなかった透明又は半透明の前記包装フィルムのみを前記捻り包装品の不良品として撮像した包装フィルム単体画像の不良品画像とを、学習用画像群として取得する学習用画像群取得部と、
前記学習用画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習部と、
前記捻り包装品の外観を撮像した撮像画像を取得する画像取得部と、
学習済みの前記畳み込みニューラルネットワークを用いて、前記撮像画像内の前記捻り包装品が前記良品であるか、被包装物単体の不良品であるか、又は、包装フィルム単体の不良品であるか否かを判定する判定部と、を備え、
前記学習用画像群及び前記撮像画像を取得する際には、
前記被包装物の色と反対色で、かつ凹凸のない平坦状に形成されている、前記搬送装置の載置面と対向するようにして、前記載置面から所定距離離れた位置に設置された撮像装置によって、前記載置面上の前記捻り包装品を撮像するとともに、
前記載置面の面法線上に発光面が配置され、かつ、リング状に形成されて中央の貫通孔に前記撮像装置のレンズが配置された照明装置から、前記撮像装置の撮像範囲全体に亘って前記載置面の前記捻り包装品に対して照明光を均一に照射し、前記被包装物及び前記包装フィルムの影が撮像画像内へ写り込むことを抑制する、
捻り包装品の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、捻り包装品の検査方法及び検査装置に関する。

【背景技術】

【0002】

従来より、菓子やチーズ等の食品を被包装物として包装フィルムで包み込み、包装フィルムの両端側が捻られた、捻り包装品が知られている（例えば、特許文献１参照）。このような捻り包装品は、包装フィルムにより被包装物全体を確実に覆うことができ、また、包装フィルムの両端を被包装物から遠ざけるように引っ張ることで被包装物を包装フィルムから簡単に取り出すことができるため、被包装物のパッケージ手法として広く用いられている。

【0003】

近年、このような捻り包装品の捻り包装は、捻り包装機を用いて自動的に行われており、捻り包装機によって、捻り包装品が短時間に大量生産されている。この際、生産された捻り包装品の中には、例えば、包装フィルムの捻りが不十分な捻り包装品等の不良品も存在している。そのため、捻り包装機から搬送路上に沿って送られてくる捻り包装品について、作業者が良品か又は不良品かを目視で判定してゆき、不良品については生産ラインから排除している。

【先行技術文献】

【特許文献】

【0004】

【文献】特公昭５６－０５２７４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、搬送路上に沿って送られてくる大量の捻り包装品の中から作業者が目視によって、包装フィルムによる包装状態が規格内にある良品と、包装フィルムの捻りが不十分等で規格外となった不良品とを瞬時に選別してゆくには熟練を要し、作業者の負担が大きいという問題があった。

【0006】

そこで、本発明は、捻り包装品が良品か又は不良品かの判定について、作業者の負担を軽減できる、捻り包装品の検査方法及び検査装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る捻り包装品の検査方法は、被包装物を包み込んだ透明又は半透明の包装フィルムが一端又は両端で捻られて前記包装フィルムで包み込まれた前記被包装物が前記包装フィルム越しに視認される捻り包装品の良否を検査する、捻り包装品の検査方法であって、捻り包装機から送られてくる前記捻り包装品のうち、包装状態が規格内の前記捻り包装品を良品として撮像した良品画像と、前記包装フィルムで包み込まれなかった前記被包装物のみを前記捻り包装品の不良品として撮像した被包装物単体画像の不良品画像と、前記被包装物が包み込まれなかった透明又は半透明の前記包装フィルムのみを前記捻り包装品の不良品として撮像した包装フィルム単体画像の不良品画像とを、学習用画像群として取得する学習用画像群取得工程と、前記学習用画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習工程と、検査対象とする前記捻り包装品の外観を撮像した撮像画像を取得する画像取得工程と、学習済みの前記畳み込みニューラルネットワークを用いて、前記撮像画像内の前記捻り包装品が前記良品であるか、被包装物単体の不良品であるか、又は、包装フィルム単体の不良品であるか否かを判定する判定工程と、を備え、前記学習用画像群及び前記撮像画像を取得する際には、前記被包装物の色と反対色で、かつ凹凸のない平坦状に形成されている、前記搬送装置の載置面と対向するようにして、前記載置面から所定距離離れた位置に設置された撮像装置によって、前記載置面上の前記捻り包装品を撮像するとともに、前記載置面の面法線上に発光面が配置され、かつ、リング状に形成されて中央の貫通孔に前記撮像装置のレンズが配置された照明装置から、前記撮像装置の撮像範囲全体に亘って前記載置面の前記捻り包装品に対して照明光を均一に照射し、前記被包装物及び前記包装フィルムの影が撮像画像内へ写り込むことを抑制する、ものである。

【0008】

また、本発明に係る捻り包装品の検査装置は、被包装物を包み込んだ透明又は半透明の包装フィルムが一端又は両端で捻られて前記包装フィルムで包み込まれた前記被包装物が前記包装フィルム越しに視認される捻り包装品の良否を検査する、捻り包装品の検査装置であって、捻り包装機から送られてくる前記捻り包装品のうち、包装状態が規格内の前記捻り包装品を良品として撮像した良品画像と、前記包装フィルムで包み込まれなかった前記被包装物のみを前記捻り包装品の不良品として撮像した被包装物単体画像の不良品画像と、前記被包装物が包み込まれなかった透明又は半透明の前記包装フィルムのみを前記捻り包装品の不良品として撮像した包装フィルム単体画像の不良品画像とを、学習用画像群として取得する学習用画像群取得部と、前記学習用画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習部と、前記捻り包装品の外観を撮像した撮像画像を取得する画像取得部と、学習済みの前記畳み込みニューラルネットワークを用いて、前記撮像画像内の前記捻り包装品が前記良品であるか、被包装物単体の不良品であるか、又は、包装フィルム単体の不良品であるか否かを判定する判定部と、を備え、前記学習用画像群及び前記撮像画像を取得する際には、前記被包装物の色と反対色で、かつ凹凸のない平坦状に形成されている、前記搬送装置の載置面と対向するようにして、前記載置面から所定距離離れた位置に設置された撮像装置によって、前記載置面上の前記捻り包装品を撮像するとともに、前記載置面の面法線上に発光面が配置され、かつ、リング状に形成されて中央の貫通孔に前記撮像装置のレンズが配置された照明装置から、前記撮像装置の撮像範囲全体に亘って前記載置面の前記捻り包装品に対して照明光を均一に照射し、前記被包装物及び前記包装フィルムの影が撮像画像内へ写り込むことを抑制する、ものである。

【発明の効果】

【0009】

本発明の方法によれば、捻り包装品が良品であるか、又は、不良品であるかの判定について、作業員の熟練を必要とせずに行え、その分、従来よりも作業者の負担を軽減させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明における、捻り包装品の検査装置の全体構成を示す概略図である。

【図2】演算処理装置の回路構成を示すブロック図である。

【図3】良品画像の一例を示す写真である。

【図4】図４Ａは、捻り不良画像の一例を示す写真であり、図４Ｂは、欠損画像の一例を示す写真であり、図４Ｃは、不要物内包画像の一例を示す写真であり、図４Ｄは、被包装物単体画像の一例を示す写真であり、図４Ｅは、包装フィルム単体画像の一例を示す写真である。

【図5】良品を撮像したテスト画像の写真と、判定結果とを示した表である。

【図6】不良品を撮像したテスト画像の写真と、判定結果とを示した表である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について詳細に説明する。
＜本発明による捻り包装品の検査装置の全体構成＞
図１は、本発明による、捻り包装品２の検査装置１の全体構成を示す概略図である。検査装置１は、図示しない捻り包装機から送られてくる捻り包装品２の包装状態が、予め定めた規格内にあるか否かを検査し、規格外と判定された捻り包装品２を生産ラインから自動的に排除するものである。この場合、検査装置１は、捻り包装品２を搬送する搬送装置１０と、撮像装置４と、照明装置５と、演算処理装置６と、制御装置７と、同期センサ９と、不良品排除装置８とを備える。

【0012】

検査装置１の検査対象となる捻り包装品２は、例えば、菓子（例えば、飴やチョコレート、キャラメル、ラムネ等）やチーズ等の食品を被包装物３ａとして包装フィルム３ｂで包み込み、包装フィルム３ｂの両端側が捻られた構成を有する。本実施形態の場合、包装フィルム３ｂは、例えば、PETやポリエチレン等の材料により、透明又は半透明に形成されている。これにより、包装フィルム３ｂに包み込まれた被包装物３ａは、包装フィルム３ｂに包まれた状態のまま包装フィルム３ｂ越しに外部から視認できる。

【0013】

搬送装置１０は、捻り包装品２を撮像装置４の撮像範囲に導く第１の搬送路１０ａと、不良品排除装置８が設けられた第２の搬送路１０ｂとを備えている。搬送装置１０は、第１の搬送路１０ａの下流に第２の搬送路１０ｂが配置されており、捻り包装品２を第１の搬送路１０ａから第２の搬送路１０ｂへと搬送する。これにより、捻り包装品２は、第１の搬送路１０ａによって撮像装置４の撮像範囲を通過した後、第２の搬送路１０ｂによって不良品排除装置８に送られる。

【0014】

本実施形態の場合、第１の搬送路１０ａには、傾斜した載置面Ｓ１が設けられており、捻り包装品２が載置面Ｓ１に載置される。また、載置面Ｓ１の下端には、第２の搬送路１０ｂの載置面Ｓ２が配置されている。

【0015】

第１の搬送路１０ａにおける載置面Ｓ１は、凹凸が形成されておらず、平坦状に形成されている。これにより、捻り包装品２は、第１の搬送路１０ａの載置面Ｓ１に載置されると、傾斜している載置面Ｓ１上を自重により滑り降り、第２の搬送路１０ｂの載置面Ｓ２に搬送される。第２の搬送路１０ｂは、例えば、ベルトコンベア等からなり、第１の搬送路１０ａから受け取った捻り包装品２を、後述する不良品排除装置８を経由させて他の装置へと搬送する。

【0016】

本実施形態の場合、第１の搬送路１０ａにおける載置面Ｓ１は、被包装物３ａの白色系の色と反対色（補色）となる黒色系に色付けされている。なお、白色系とは、白色の他、乳白色、灰色等、白に準じた明るい色を示す。また、黒色系とは、黒色の他、黒茶色、黒紫色等、黒に準じた暗く濃い色を示す。このように、被包装物３ａの色と反対色に載置面Ｓ１が色付けされていることで、載置面Ｓ１上で捻り包装品２が撮像装置４により撮像された際に、捻り包装品２の包装フィルム３ｂや、透明又は半透明の包装フィルム３ｂ越しに視認される白色系の被包装物３ａが、背景となる載置面Ｓ１と混同してしまうことを抑制し得る。よって、後述する撮像装置４では、捻り包装品２の外観や被包装物３ａの内包状態が視認し易い撮像画像を取得することができる。

【0017】

第１の搬送路１０ａには、同期センサ９、撮像装置４及び照明装置５が、載置面Ｓ１と対向するようにして、当該載置面Ｓ１から所定距離離れた位置にそれぞれ設置されている。この場合、同期センサ９は、撮像装置４よりも、捻り包装品２が搬送される上流側に配置されている。同期センサ９は、載置面Ｓ１上で捻り包装品２が通過する毎に、検出信号を生成し、これを制御装置７に出力する。

【0018】

制御装置７は、検出信号を受け取ると、同期センサ９で検出した捻り包装品２が、撮像装置４の撮像範囲を通過するタイミングを示したタイミング信号を生成し、これを撮像装置４に出力する。これにより、撮像装置４は、タイミング信号に基づいて、載置面Ｓ１上において撮像範囲を通過するタイミングで捻り包装品２を撮像する。

【0019】

このようにして、撮像装置４では、載置面Ｓ１の撮像範囲を通過する捻り包装品２を、載置面Ｓ１を背景としてそれぞれ個別に撮像してゆき、各捻り包装品２毎に撮像画像を生成する。撮像装置４は、撮像画像を取得する毎に、得られた撮像画像を演算処理装置６に送出する。

【0020】

ここで、撮像装置４は、例えばＣＭＯＳカメラ等からなり、得られる撮像画像としては、白黒画像でもよく、カラー画像でもよい。本実施形態の場合、撮像装置４は、光軸が載置面Ｓ１の面法線とほぼ一致しており、載置面Ｓ１及び捻り包装品２を正面から撮像している。

【0021】

撮像装置４の近傍には、照明装置５が設置されており、照明装置５は、撮像装置４が撮像する載置面Ｓ１に向けて照明光を照射する。本実施形態の場合、照明装置５は、例えば、載置面Ｓ１の面法線上に発光面が配置され、載置面Ｓ１上の捻り包装品２に対して正面から白色系の照明光を均一に照射する。

【0022】

これにより、照明装置５は、照明光が照射されている載置面Ｓ１上の捻り包装品２を撮像装置４により撮像した際に、捻り包装品２の被包装物３ａや包装フィルム３ｂの影が撮像画像内へ写り込むことを抑制させることができる。

【0023】

本実施形態の場合、例えば、照明装置５はリング状に形成されており、中央に設けられた貫通孔に撮像装置４のレンズが配置された構成を有する。これにより、照明装置５は、載置面Ｓ１において撮像装置４の撮像範囲全体に亘って照明光を均一に照射し得る。

【0024】

なお、撮像画像内で捻り包装品２の影が写り込み難くするために、照明装置５には、光を拡散させる拡散板を装着することが望ましい。これにより、照明装置５からの照明光を拡散板により拡散し、拡散させた照明光を捻り包装品２の正面に照射することができ、輝度ムラを抑制することができる。

【0025】

演算処理装置６は、撮像装置４から撮像画像を受け取ると、後述する学習モードにより予め学習しておいた学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Networkとも称する）を利用して、撮像画像内に写る捻り包装品２が良品か又は不良品かを判定する良否判定処理（後述する）を実行する。演算処理装置６は、良否判定処理による判定結果を制御装置７に出力する。制御装置７は、演算処理装置６から判定結果を受け取ると、判定結果に応じた駆動信号を生成し、これを不良品排除装置８に出力する。

【0026】

ここで、不良品排除装置８は、駆動制御部１２と、排除機構１０ｃとを備えており、制御装置７からの駆動信号を駆動制御部１２が受け取る。駆動制御部１２は、駆動信号に基づいて、排除機構１０ｃを開閉動作させる。

【0027】

この場合、排除機構１０ｃは、例えばベルトコンベア等からなり、上流側の一端に回動中心軸を有している。排除機構１０ｃは、この回動中心軸を中心に回動可能に構成されている。排除機構１０ｃは、駆動制御部１２から駆動信号として排除信号を受け取ると、回動中心軸を中心に回動し、下流側の他端を下方へ移動させる。これにより、排除機構１０ｃは、排除機構１０ｃ上を移動している捻り包装品２を下方に落下させ、生産ラインから排除する。

【0028】

一方、排除機構１０ｃは、駆動制御部１２から駆動信号として非排除信号を受け取ると、第２の搬送路１０ｂとの連通状態を維持して、排除機構１０ｃ上を移動している捻り包装品２を第２の搬送路１０ｂを介して次工程の装置へと送り出す。このようにして、排除機構１０ｃは、演算処理装置６に得られた判定結果に基づいて、不良品のみを生産ラインから排除し、良品のみを次工程の装置へ搬送させる。

【0029】

＜学習モード＞
本発明による検査装置１では、上述した良否判定処理を行う良否判定モードに先立ち、始めに学習モードを実行する。この学習モードでは、学習用画像群を用いて畳み込みニューラルネットワークを学習させることで、捻り包装品２の良否を自動判別可能な学習済みの畳み込みニューラルネットワークを構築する。以下、学習済みの畳み込みニューラルネットワークを構築する学習モードについて説明する。

【0030】

ここで、図２は、学習モードを実行する演算処理装置６の回路構成を示したブロック図である。演算処理装置６は、画像取得部１５と、画像処理部１６と、記憶部１７とを備えている。学習用画像群取得部としての画像取得部１５は、教師データとなる学習用画像群を撮像装置４から取得する。本実施形態では、良品となる捻り包装品２と、不良品となる捻り包装品２とを事前に用意し、撮像装置４により、載置面Ｓ１上にある各捻り包装品２を個別に撮像してゆき、学習用画像群を得る。

【0031】

ここで、学習用画像群について説明する。図３は、良品の教師データとなる捻り包装品２を撮像した撮像画像（以下、良品画像とも称する）２１を示す。良品画像２１では、例えば、被包装物３ａの白色系の色と反対色になる黒色系に色付けされた載置面Ｓ１上で、良品の捻り包装品２が撮像されているため、包装フィルム３ｂに包み込まれた被包装物３ａや、包装フィルム３ｂが、背景の載置面Ｓ１と混同することなく撮像されている。

【0032】

良品となる捻り包装品２は、包装フィルム３ｂによる被包装物３ａの包装状態が予め定めた規格内にあるものである。具体的には、被包装物３ａが包装フィルム３ｂに包み込まれており、包装フィルム３ｂの両端が捻られ、被包装物３ａの対向した両端付近に捻り部３ｃが形成されている捻り包装品２を良品とする。

【0033】

一方、図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ及び図４Ｅは、不良品の教師データとなる撮像画像２３ａ～２３ｅを示し、良品画像２１と同様に、黒色系に色付けされた載置面Ｓ１上で不良品となる捻り包装品２等を撮像したものである。

【0034】

不良品となる捻り包装品２は、包装フィルム３ｂによる被包装物３ａの包装状態が予め定めた規格から外れるものである。図４Ａは、包装フィルム３ｂに捻り状態に関する外観不良を有した捻り包装品２を、不良品として撮像した撮像画像（以下、捻り不良画像とも称する）２３ａである。より具体的には、図４Ａに示す捻り不良画像２３ａでは、包装フィルム３ｂの一端側の捻りがほどけており、包装フィルム３ｂの一端に捻り部３ｃが形成されておらず、包装フィルム３ｂが広がった開放部３ｅが形成されている捻り包装品２を、不良品として撮像している。

【0035】

図４Ｂは被包装物不良画像の１つであり、包装フィルム３ｂの両端に捻り部３ｃが形成されているものの、一部が欠けている被包装物３ｆが包装フィルム３ｂに包まれている内部不良の捻り包装品２を、不良品として撮像した撮像画像（以下、欠損画像とも称する）２３ｂである。

【0036】

図４Ｃは被包装物不良画像の１つであり、包装フィルム３ｂの両端に捻り部３ｃが形成されているものの、本来の被包装物に加えて、さらに余分な被包装物（不要物）３ｇが包装フィルム３ｂに包まれている内部不良の捻り包装品２を、不良品として撮像した撮像画像（以下、不要物内包画像とも称する）２３ｃである。

【0037】

図４Ｄは、包装フィルム３ｂに包まれていない被包装物３ａ単体を、不良品として撮像した撮像画像（以下、被包装物単体画像とも称する）２３ｄである。図４Ｅは、被包装物３ａを包んでいない包装フィルム３ｂ単体を、不良品として撮像した撮像画像（以下、包装フィルム単体画像とも称する）２３ｅである。

【0038】

画像取得部１５は、複数の良品画像２１と、複数の捻り不良画像２３ａと、複数の欠損画像２３ｂと、複数の不要物内包画像２３ｃと、複数の被包装物単体画像２３ｄと、複数の包装フィルム単体画像２３ｅとを撮像装置４から受け取り、これを学習用画像群とする。

【0039】

画像取得部１５は、撮像装置４から取得した良品画像２１、捻り不良画像２３ａ、欠損画像２３ｂ、不要物内包画像２３ｃ、被包装物単体画像２３ｄ及び包装フィルム単体画像２３ｅ（以下、これらをそれぞれ単に学習用画像とも称する）に対し、後述する画像処理部１６にて処理可能な縦横サイズに縮小する。本実施形態では、例えば縦６４０×横４８０ピクセルで得られた各学習用画像を、縦２２７×横２２７ピクセルでなる学習用画像に変換する。

【0040】

このようにして得られた学習用画像は、それぞれ被包装物３ａの色と反対色（この場合、黒色系）に付された載置面Ｓ１を背景に各捻り包装品２等が撮像されていることから、検査対象となる被包装物３ａや包装フィルム３ｂ以外の箇所に特徴が表れないようになっている。

【0041】

この場合、画像処理部１６は、学習部１８と判定部１９とを備えている。学習モード時、画像処理部１６は、学習部１８が画像取得部１５から学習用画像群を受け取る。学習部１８は、学習用画像群に対して畳み込みニューラルネットワークを利用した画像認識処理を実行し、良品及び不良品の特徴量を抽出した、学習済みの畳み込みニューラルネットワークを構築する。

【0042】

ここで、学習部１８において、学習済みの畳み込みニューラルネットワークを構築する際に用いる画像解析用ソフトウェアとしては、例えば、ＭａｔｈＷｏｒｋｓ社のＭＡＴＬＡＢ（登録商標）を利用することができる。畳み込みニューラルネットワークは、畳み込み層とプーリング層とを交互に階層的に配置した構成を有し、最終のプーリング層の後に全結合層とソフトマックス層とを順次有している。

【0043】

畳み込みニューラルネットワークでは、畳み込み層とプーリング層の積み重ねにより、学習用画像内にある特徴量を抽出し、その特徴量に基づく分類を、全結合層とソフトマックス層とで行うことができる。

【0044】

この場合、学習部１８には、学習モード時、学習用画像と、この学習用画像が良品画像又は不良品画像かを示す正解情報とが畳み込みニューラルネットワークに入力される。これにより、学習部１８は、畳み込みニューラルネットワークにおいて、誤差逆伝播法を用いた確率的勾配降下法(ＳＧＤ：Stochastic Gradient Descent)により、畳み込み層の重みや全結合層の結合重み等のパラメータが最適化されてゆき、畳み込みニューラルネットワークの学習が行われる。

【0045】

具体的には、学習部１８には、所定数の良品画像が入力されるとともに、入力された各良品画像毎に、良品であることを示す良品情報が作業者によって入力される。また、学習部１８には、所定数の不良品画像が入力されるとともに、入力された各不良品画像毎に、不良品であることを示す不良品情報が作業者によって入力される。

【0046】

なお、学習データとして畳み込みニューラルネットワークに入力する学習用画像としては、例えば、良品画像が２００枚以上、不良品画像が２００枚以上であることが望ましい。また、畳み込みニューラルネットワークの学習時におけるエポック数は、５回以下であることが望ましい。

【0047】

このようにして、学習用画像及び良否情報（良品情報及び不良品情報）が畳み込みニューラルネットワークに入力される毎に、畳み込みニューラルネットワークにおける畳み込み層の重みや全結合層の結合重み等のパラメータが更新されてゆき最適化されてゆく。学習部１８は、このようにして学習済みの畳み込みニューラルネットワークを構築すると、これを判定部１９に出力する。

【0048】

なお、記憶部１７は、画像処理部１６に接続されており、学習モード時に画像取得部１５から画像処理部１６に出力される学習用画像群や、後述する良否判定モード時に画像取得部１５から画像処理部１６に出力される撮像画像等、各種情報を記憶する。

【0049】

＜良否判定モード＞
検査装置１は、上述したように学習モードにより、学習済みの畳み込みニューラルネットワークを構築すると、良否判定モードに移行し、その後に撮像装置４により撮像された撮像画像内の捻り包装品２について良否判定を行うことができる。この場合、検査装置１は、図１に示したように、良品か又は不良品かを検査する捻り包装品２を、第１の搬送路１０ａの載置面Ｓ１上に載置し、載置面Ｓ１上の捻り包装品２を撮像装置４の撮像範囲まで搬送する。撮像装置４は、載置面Ｓ１上の捻り包装品２を撮像し、得られた撮像画像を演算処理装置６に出力する。

【0050】

ここで、捻り包装品２が撮像された撮像画像でも、黒色系の載置面Ｓ１を背景に捻り包装品２が撮像されていることから、検査対象となる被包装物３ａや包装フィルム３ｂ以外の箇所に特徴が表れないようになっている。

【0051】

図２に示すように、演算処理装置６は、撮像装置４からの撮像画像を画像取得部１５により受け取ると、画像処理部１６にて処理可能な縦横サイズに縮小し、これを判定部１９に出力する。なお、本実施形態では、学習モード時と同じ画像縮小処理を行い、例えば、縦６４０×横４８０ピクセルでなる撮像画像を、縦２２７×横２２７ピクセルでなる撮像画像に変換する。

【0052】

判定部１９は、撮像画像を学習済みの畳み込みニューラルネットワークに入力する。判定部１９は、学習モードで良品及び不良品の特徴量を抽出した学習済みの畳み込みニューラルネットワークに基づいて、撮像画像内の捻り包装品２等を解析し、撮像画像内の捻り包装品２等が良品である適合確率と、不良品である適合確率とを算出する。

【0053】

判定部１９は、良品である適合確率と、不良品である適合確率とを比較する。その結果、判定部１９は、良品である適合確率が不良品である適合確率よりも高いと、撮像画像内に写る捻り包装品２は良品であると判定する。一方、判定部１９は、不良品である適合確率が良品である適合確率よりも高いと、撮像画像内に写る捻り包装品２等は不良品であると判定する。

【0054】

このようにして、判定部１９は、撮像画像内に写る捻り包装品２等が良品であるか、又は、不良品であるかの判定結果を、学習済みの畳み込みニューラルネットワークから得ることができる。判定部１９は、このような良否判定処理により得られた判定結果を不良品排除装置８（図１）に出力する。

【0055】

これにより、不良品排除装置８は、例えば、撮像画像内の捻り包装品２等が不良品であることを示す判定結果を判定部１９より受け取ると、排除機構１０ｃにより、不良品と判定された捻り包装品２等を生産ラインから排除する。また、不良品排除装置８は、例えば、撮像画像内の捻り包装品２が良品であることを示す判定結果を判定部１９より受け取ると、排除機構１０ｃにより、良品と判定された捻り包装品２をそのまま次の装置に搬送する。

【0056】

＜作用および効果＞
以上の構成において、捻り包装品２の検査装置１では、包装状態が規格内の捻り包装品２を良品として撮像した良品画像２１と、包装状態が規格外の捻り包装品２を不良品として撮像した不良品画像（捻り不良画像２３ａ、欠損画像２３ｂ、不要物内包画像２３ｃ、被包装物単体画像２３ｄ及び包装フィルム単体画像２３ｅ）と、を学習用画像群として取得する（学習用画像群取得工程）。

【0057】

検査装置１では、得られた学習用画像群を用いて、良品及び不良品の特徴を畳み込みニューラルネットワークに学習させる（学習工程）。その後、検査装置１では、良品又は不良品の検査対象とする捻り包装品の外観を撮像した撮像画像を取得し（画像取得工程）、学習済みの畳み込みニューラルネットワークを用いて、撮像画像内の捻り包装品が良品又は不良品であるか否かを判定する（判定工程）。

【0058】

これにより、検査装置１では、捻り包装品が良品であるか、又は、不良品であるかの判定について、作業員の熟練を必要とせずに行え、その分、従来よりも作業者の負担を軽減させることができる。

【0059】

また、本実施形態の検査装置１では、被包装物３ａの色と反対色（黒色系）に付され平坦な載置面Ｓ１に載置された捻り包装品２を搬送する搬送装置１０と、載置面Ｓ１の捻り包装品２を撮像する撮像装置４と、を設け、搬送装置１０で順次送られてくる捻り包装品２を、載置面Ｓ１を背景にして撮像装置４で撮像するようにした。

【0060】

これにより、検査装置１では、搬送装置１０により順次搬送されてくる捻り包装品２を撮像した際に、各撮像画像内において検査対象となる被包装物３ａや包装フィルム３ｂ以外の箇所に特徴が表れないようにし、撮像画像に対して学習済みの畳み込みニューラルネットワークを利用した判定処理を行う際に一段と正確な判定結果を得ることができる。

【0061】

＜他の実施形態＞
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、捻り包装品として、透明又は半透明でなる包装フィルム３ｂで被包装物３ａを包み、包装フィルム３ｂ越しに内部の被包装物３ａの状態が視認できる捻り包装品２を適用したが、本発明はこれに限らず、非透明な材料からなる包装フィルムで被包装物３ａを包み、包装フィルム３ｂ越しに内部の被包装物３ａの状態が視認できない捻り包装品を適用してもよい。

【0062】

なお、包装フィルムを非透明な材料により形成した場合には、図４Ａに示すように、包装フィルム３ｂの一端に捻り部３ｃが形成されていない捻り包装品２を、不良品として撮像した捻り不良画像２３ａと、図４Ｄに示すように、包装フィルム３ｂに包まれていない被包装物３ａ単体を、不良品として撮像した被包装物単体画像２３ｄと、図４Ｅに示すように、被包装物３ａを包んでいない包装フィルム３ｂ単体を、不良品として撮像した包装フィルム単体画像２３ｅとを不良品画像として用いることができる。

【0063】

また、上述した実施形態においては、被包装物３ａを包み込んだ包装フィルム３ｂが両端で捻られた捻り包装品２を適用した場合について述べたが、本発明はこれに限らず、被包装物を包み込んだ包装フィルムが一端のみで捻られた捻り包装品を適用してもよい。

【0064】

また、上述した実施形態においては、学習用画像群を撮像装置４から取得するようにした場合について述べたが、本発明はこれに限らず、例えば、他の装置等で生成された各種画像を学習用画像群として取得するようにしてもよい。

【0065】

また、上述した実施形態においては、良否判定モード時、撮像画像内に写る捻り包装品２等が良品か又は不良品かを判定する場合について述べたが、本発明はこれに限らない。例えば、不良品について、（ｉ）包装フィルム３ｂの捻りが不十分な捻り包装品２、（ｉｉ）一部が欠けている被包装物３ｆが包装フィルム３ｂに包まれている捻り包装品２、（ｉｉｉ）余分な被包装物３ｇが包装フィルム３ｂに包まれている捻り包装品２、（ｉＶ）包装フィルム３ｂに包まれていない被包装物３ａ単体、又は、（Ｖ）被包装物３ａを包んでいない包装フィルム３ｂ単体である等、どのような不良品であるかを判定するようにしてもよい。

【0066】

この場合、学習モード時、教師データとして、捻り不良画像２３ａ、欠損画像２３ｂ、不要物内包画像２３ｃ、被包装物単体画像２３ｄ及び包装フィルム単体画像２３ｅを、畳み込みニューラルネットワークに入力するとともに、各捻り不良画像２３ａ、欠損画像２３ｂ、不要物内包画像２３ｃ、被包装物単体画像２３ｄ及び包装フィルム単体画像２３ｅ毎にそれぞれ不良品を識別する識別情報を畳み込みニューラルネットワークに入力する。

【0067】

これにより、これら捻り不良画像２３ａ、欠損画像２３ｂ、不要物内包画像２３ｃ、被包装物単体画像２３ｄ及び包装フィルム単体画像２３ｅ（学習用画像）と、各学習用画像にそれぞれ対応した識別情報とが、畳み込みニューラルネットワークに入力される毎に、畳み込みニューラルネットワークにおける畳み込み層の重みや全結合層の結合重み等のパラメータが更新されてゆき最適化されてゆく。

【0068】

その結果、良品の他に、捻りが不十分の不良品（図４Ａ）、一部が欠けた被包装物３ｆを含む不良品（図４Ｂ）、余分な被包装物３ｇを含む不良品（図４Ｃ）、被包装物３ａ単体の不良品（図４Ｄ）、及び、包装フィルム３ｂ単体の不良品（図４Ｅ）について、それぞれ特徴量を抽出した学習済みの畳み込みニューラルネットワークを構築することができる。

【0069】

判定部１９は、このようにして構築された学習済みの畳み込みニューラルネットワークを用いることで、良否判定モード時に取得した撮像画像内に写る捻り包装品２等が、良品であるか、捻りが不十分の不良品（図４Ａ）であるか、一部が欠けた被包装物３ｆを含む不良品（図４Ｂ）であるか、余分な被包装物３ｇを含む不良品（図４Ｃ）であるか、被包装物３ａ単体の不良品（図４Ｄ）であるか、又は、包装フィルム３ｂ単体の不良品（図４Ｅ）であるかの判定結果を得ることができる。

【0070】

また、上述した実施形態においては、被包装物の色と反対色に付された載置面として、被包装物３ａの白色系の色と反対色になる黒色系に付された載置面Ｓ１を適用した場合について述べたが、本発明はこれに限らず、被包装物の色と反対色であれば種々の色に付した載置面を適用してもよい。例えば、被包装物が赤色系（赤色や、赤紫色、橙色等、赤に準じた色）の場合には、色相環に基づいて載置面を緑色系（緑色や、黄緑色等、緑に準じた色）としてもよく、また、被包装物が黄色系（黄色や、黄色に近い橙黄色等、黄色に準じた色）の場合には、色相環に基づいて載置面を紫色系（紫色や、赤紫色等、紫に準じた色）としてもよい。

【0071】

なお、上述した良品画像や、不良品画像、撮像画像等の各種画像は、ディスプレイ等に表示される具体的な画像としての形態だけでなく、画像として生成される前のデータも含まれるものである。

【0072】

＜検証試験＞
ここでは、上述した演算処理装置６を利用し、複数の良品画像及び不良品画像を学習用画像群として用いて学習済みの畳み込みニューラルネットワークを実際に構築した。そして、学習済みの畳み込みニューラルネットワークを用いて、撮像画像について良品又は不良品の判定を行う検証試験を行った。この検証試験では、画像解析用ソフトウェアとして、ＭａｔｈＷｏｒｋｓ社のＭＡＴＬＡＢ（登録商標）を利用し、学習済みの畳み込みニューラルネットワークを構築した。

【0073】

捻り包装品２として、一口サイズの球状のチーズを、高密度ポリエチレン（HDPE）からなる包装フィルムで包み込み、包装フィルムの両端を捻って捻り部を設けた捻り包装品（株式会社明治、製品名：チーズキッス）を用意した。そして、包装状態を変えた５００個の捻り包装品を撮像してゆき、良品画像と不良品画像とを取得した。

【0074】

ここでは、学習用画像群の良品画像として、図３に示すような良品画像２１を２５０枚用意した。また、学習用画像群の不良品画像としては５種類の不良品画像を用意した。具体的には、不良品画像として、図４Ａに示すような捻り不良画像２３ａを５０枚用意し、図４Ｂに示すような欠損画像２３ｂを５０枚用意し、図４Ｃに示すような不要物内包画像２３ｃを５０枚用意し、図４Ｄに示すような被包装物単体画像２３ｄを５０枚用意し、図４Ｅに示すような包装フィルム単体画像２３ｅを５０枚用意した。

【0075】

包装フィルムにより包装されたチーズの形状と捻り包装状態とが共に視認し易い画像を得るために、照明装置５の照明光源として、チーズの乳白色と包装フィルムの透明色との双方の発色が良好となる白色のＬＥＤを用いた。撮像装置４はＣＭＯＳカメラを用いた。撮像装置４と照明装置５は、捻り包装品２の真上に配置し、捻り包装品２が撮像画像の中心付近に位置するように撮影した。

【0076】

撮像装置４により得られた良品画像及び不良品画像は、縦６４０×横４８０ピクセルだったことから縦２２７×横２２７ピクセルの画像に変換した。そして、変換した５００枚の学習用画像を学習用画像群として畳み込みニューラルネットワークに入力した。

【0077】

なお、畳み込みニューラルネットワークは、初期学習率を０．０００１とした確率的勾配降下法（ＳＧＤ）により学習させた。また、このとき、畳み込みニューラルネットワークにおいて過学習となって汎化が妨げられないようにするため、各学習用画像のエポック数（epoch）は最大５回とした。

【0078】

そして、畳み込みニューラルネットワークには、各学習用画像を入力した際に、この学習用画像が良品画像であるか、又は、不良品画像であるかについての正解情報も入力した。これにより、良品画像のグループと、不良品画像のグループとの特徴量を、畳み込みニューラルネットワークで自動的に抽出し、良品画像と不良品画像とを分類する方法を畳み込みニューラルネットワークに独習させ、学習済みの畳み込みニューラルネットワークを構築した。

【0079】

次に、図５に示すように、良品を撮像した１０枚のテスト画像３１ａ～３１ｊを用意した。また、図６に示すように、不良品を撮像した１０枚のテスト画像３２ａ～３２ｊを用意した。なお、テスト画像３２ａ～３２ｄは、包装フィルムの捻りが不十分であるときの捻り包装品を撮像した捻り不良画像（図６中、「捻り包装不良」と表記）である。

【0080】

また、テスト画像３２ｅは、被包装物の一部が欠けている捻り包装品を撮像した欠損画像（図６中、「半欠け」と表記）である。テスト画像３２ｆ、３２ｇは、包装フィルム内に被包装物が２個包まれている捻り包装品を撮像した不要物内包画像（図６中、「２個包装」と表記）である。テスト画像３２ｆは、被包装物のみが撮像された被包装物単体画像（図６中、「中身だけ」と表記）である。テスト画像３２ｉ、３２ｊは、包装フィルムのみが撮像された包装フィルム単体画像（図６中、「フィルムだけ」と表記）である。

【0081】

そして、未知のテスト画像として、これら２０枚のテスト画像３１ａ～３１ｊ、３２ａ～３２ｊを、学習済みの畳み込みニューラルネットワークに入力して、各テスト画像３１ａ～３１ｊ、３２ａ～３２ｊについて、学習済みの畳み込みニューラルネットワークを利用して良否判定を行った。良否判定は、学習済みの畳み込みニューラルネットワークで算出された、良品の適合確率と、不良品の適合確率とを比較し、適合確率の高い方を学習済みの畳み込みニューラルネットワークの判定結果とした。

【0082】

また、この２０枚のテスト画像３１ａ～３１ｊ、３２ａ～３２ｊについて、それぞれ作業者が目視で確認し、各テスト画像３１ａ～３１ｊ、３２ａ～３２ｊは良品か又は不良品かを判定させた。そして、学習済みの畳み込みニューラルネットワークの判定結果と、作業者による主観的な判定結果とを比較したところ、図５及び図６に示すような結果が得られた。

【0083】

作業者が良品であると判定したテスト画像３１ａ～３１ｊについて、学習済みの畳み込みニューラルネットワークでも、図５の「ＡＩ回答」欄に示すように、全て良品であるとの判定結果が得られた。これにより、図５の「正誤」欄に示すように、良品に関して、学習済みの畳み込みニューラルネットワークの判定結果と、作業者による判定結果とが全て一致することが確認できた。

【0084】

また、作業者が不良品であると判定したテスト画像３２ａ～３２ｊについて、学習済みの畳み込みニューラルネットワークでも、図６の「ＡＩ回答」欄に示すように、全て不良品であるとの判定結果が得られた。これにより、図６の「正誤」欄に示すように、不良品に関しても、学習済みの畳み込みニューラルネットワークの判定結果と、作業者による判定結果とが全て一致することが確認できた。

【0085】

このように、学習済みの畳み込みニューラルネットワークを利用して良否判定を行っても、２０枚のテスト画像３１ａ～３１ｊ、３２ａ～３２ｊの全てについて、作業者の判断と一致し、良品と不良品の誤認は一件も発生しなかった。

【0086】

以上より、検査装置１では、捻り包装品が良品であるか、又は、不良品であるかの判定について、作業員の熟練を必要とせずに行えることが確認できた。

【符号の説明】

【0087】

１ 検査装置
４ 撮像装置
５ 照明装置
６ 演算処理装置
１５ 画像取得部（学習用画像群取得部、画像取得部）
１８ 学習部
１９ 判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】