特開2021-181948(P2021-181948A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ CKD株式会社の特許一覧

特開2021-181948外観検査用照明装置、外観検査装置及びブリスター包装機
<>
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000003
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000004
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000005
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000006
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000007
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000008
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000009
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000010
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000011
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000012
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000013
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000014
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000015
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000016
  • 特開2021181948-外観検査用照明装置、外観検査装置及びブリスター包装機 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-181948(P2021-181948A)
(43)【公開日】2021年11月25日
(54)【発明の名称】外観検査用照明装置、外観検査装置及びブリスター包装機
(51)【国際特許分類】
   G01N 21/84 20060101AFI20211029BHJP
   G01N 21/85 20060101ALI20211029BHJP
   G01N 21/88 20060101ALI20211029BHJP
【FI】
   G01N21/84 E
   G01N21/85 A
   G01N21/88 J
【審査請求】有
【請求項の数】6
【出願形態】OL
【全頁数】28
(21)【出願番号】特願2020-87987(P2020-87987)
(22)【出願日】2020年5月20日
(71)【出願人】
【識別番号】000106760
【氏名又は名称】CKD株式会社
(74)【代理人】
【識別番号】100111095
【弁理士】
【氏名又は名称】川口 光男
(72)【発明者】
【氏名】平野 正徳
(72)【発明者】
【氏名】脇田 隆司
(72)【発明者】
【氏名】神戸 聡
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA02
2G051AB01
2G051AB02
2G051AB11
2G051BA01
2G051BB02
2G051BB03
2G051BB05
2G051BC01
2G051CA04
2G051CB01
2G051CB05
2G051EA11
2G051ED09
(57)【要約】
【課題】対象物の外観検査を行うにあたり、検査効率及び検査精度の飛躍的な向上等を図ることのできる外観検査用照明装置、外観検査装置及びブリスター包装機を提供する。
【解決手段】外観検査装置45は、光を照射可能な照明ユニット52と、該光を照射されたPTPシートを撮像可能なカメラユニット53と、制御装置54とを備えている。制御装置54は、調光パラメータ値と、これに対応する明るさレベルで発光する複数の照明パネルL1〜L15により照明されるPTPシートを撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納している。そして、ニューラルネットワークに対し調光パラメータ値を入力して出力される予測画像データと、理想画像データとを比較し、その誤差に基づく誤差逆伝播により、最適な調光パラメータ値を特定し、これに基づき各照明パネルL1〜L15の明るさ調整を行う。
【選択図】 図4
【特許請求の範囲】
【請求項1】
個々に明るさ調整可能な複数の照明部を有し、該複数の照明部により作り出される所定の照明状態で対象物を照明可能な外観検査用照明装置であって、
前記複数の照明部それぞれの明るさレベルに対応するレベル情報と、該レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納したネットワーク格納手段と、
前記ニューラルネットワークに対し前記複数の照明部それぞれに対応する前記レベル情報を入力して出力される前記画像データである予測画像データ及び/若しくは該予測画像データから得られる関連情報、又は、前記レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像して取得された画像データである実画像データ及び/若しくは該実画像データから得られる関連情報と、目標となる照明状態で照明された前記対象物を撮像した場合に取得され得る画像データとして用意された目標画像データ及び/若しくは該目標画像データから得られる関連情報とを比較し、その誤差を算出可能な比較手段と、
少なくとも前記比較手段により算出される誤差が所定の閾値以下となるまで、誤差逆伝播により前記複数の照明部それぞれに対応する前記レベル情報の更新を繰り返し、前記複数の照明部それぞれに適した前記レベル情報を特定可能なレベル特定手段と、
少なくとも前記レベル特定手段によりそれぞれ特定された前記レベル情報に基づき、前記複数の照明部それぞれの明るさ調整を行うことによって、該複数の照明部により作り出される照明状態を制御可能な照明制御手段とを備えたことを特徴とする外観検査用照明装置。
【請求項2】
前記相関関係について、前記ニューラルネットワークの学習を行う学習手段を備えていることを特徴とする請求項1に記載の外観検査用照明装置。
【請求項3】
前記レベル特定手段による前記レベル情報の更新と、前記学習手段による前記ニューラルネットワークの学習とを、交互に又は並行して行うことを特徴とする請求項2に記載の外観検査用照明装置。
【請求項4】
容器フィルムに形成されたポケット部に対し所定の内容物が収容され、前記ポケット部を塞ぐように前記容器フィルムに対しカバーフィルムが取着されてなるブリスター包装体の製造に際し用いられることを特徴とする請求項1乃至3のいずれかに記載の外観検査用照明装置。
【請求項5】
請求項1乃至4のいずれかに記載の外観検査用照明装置を備えたことを特徴とする外観検査装置。
【請求項6】
請求項5に記載の外観検査装置を備えたことを特徴とするブリスター包装機。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物の外観検査に用いられる外観検査用照明装置及び外観検査装置、並びに、これらを備えたブリスター包装機に関するものである。
【背景技術】
【0002】
一般に、外観検査が行われる対象物となるブリスター包装体の一種としてPTPシートが知られている。PTPシートは、例えば錠剤等の内容物が収容されるポケット部が形成された透明樹脂製の容器フィルムと、該容器フィルムに対しポケット部の開口側を密封するように取着されるアルミニウム製のカバーフィルムとから構成されている。
【0003】
かかるPTPシートは、帯状の容器フィルムを搬送させつつ、ポケット部を成形する工程、該ポケット部に内容物を充填する工程、該ポケット部の開口側を密封するように容器フィルムに対しカバーフィルムを取着する工程、該両フィルムが取着されてなる帯状体から最終製品となるPTPシートを打抜く工程等を経て製造される。
【0004】
PTPシートの製造に際しては、例えば包装材であるシート部における異物付着やシール不良、内容物における異物付着や欠け・ひびの有無など、製品不良となる種々の外観異常を検査する必要がある。
【0005】
このような外観異常の検査では、外観検査用照明装置を用いて、対象物に対し光を照射し、それをカメラにより撮像して得られた画像データを基に、対象物に含まれる所定の検査対象(例えば錠剤やシート部)の良否判定を行うのが一般的である。
【0006】
この際、検査を行う上で適切な画像データを取得するため、適切な照明状態で対象物を照らすことが求められる。
【0007】
例えば対象物が打抜き後のPTPシートであれば、透明樹脂製の複数のポケット部、その内部に充填された錠剤等の内容物、背景となるアルミ製カバーフィルムなど、複雑な形状や多様な素材からなるPTPシート全体において、テカリ(例えばポケット部表面のテカリ)や暗部(例えば内容物の影部)が生じないように、PTPシート全体をムラなく均一な明るさで照らすと共に、検査対象部位(例えば錠剤)と非対象部位(例えばシート部)との明暗差を大きくすること等が求められる。
【0008】
これに対し、外観検査用照明装置の中には、対象物に対し複数方向から光を照射できるように複数の照明部を備えたものがある(例えば、特許文献1参照)。従来、このような外観検査用照明装置においては、理想的な照明状態で対象物を照らすため、事前に複数の照明部それぞれの明るさを調整し、装置全体としての照明状態を最適化する照明調整作業が必要となる。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2006−118951号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、従来の照明調整作業は、熟練の作業者が手作業で行っており、作業効率が悪く、ひいては検査効率の低下を招くおそれがあった。
【0011】
例えば作業者は、複数の照明部のうちのいずれかを明るくし、いずれかを暗くするなど、複数の照明部の明るさレベル(例えば256階調)を1つずつ変化させ、該変化させた照明状態の下で対象物を撮像し、そこで得られる画像データを表示装置で確認しながら、最適な照明状態に近づけていくといった非常に手間のかかる作業を行っていた。
【0012】
このため、複数の照明部によって作り出され得る膨大な組合せパターンの照明状態の中から、検査に最適な照明状態を短時間で見つけ出すことは、熟練作業者であっても非常に難しい。
【0013】
また、人が行う照明調整作業では、その人の経験や感覚に頼ることによるバラツキや、その人が感知できるレベルの限界等により、検査精度が安定しないおそれがある。
【0014】
さらに、照明調整作業を一部の熟練作業者に頼ることは、時間的・場所的な制約を生み、利便性や汎用性を低下させるおそれがある。
【0015】
尚、上記課題は、必ずしもPTP包装(ブリスター包装)の分野に限らず、他の分野における外観検査においても内在するものである。
【0016】
本発明は、上記事情に鑑みてなされたものであり、その目的は、対象物の外観検査を行うにあたり、検査効率や検査精度の飛躍的な向上を図ることのできる外観検査用照明装置、外観検査装置及びブリスター包装機を提供することにある。
【課題を解決するための手段】
【0017】
以下、上記課題を解決するのに適した各手段につき項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0018】
手段1.個々に明るさ調整可能な複数の照明部を有し、該複数の照明部により作り出される所定の照明状態で対象物を照明可能な外観検査用照明装置であって、
前記複数の照明部それぞれの明るさレベル(発光輝度レベル)に対応するレベル情報と、該レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像した場合に取得され得る画像データとの相関関係を学習したニューラルネットワークを格納したネットワーク格納手段と、
前記ニューラルネットワークに対し前記複数の照明部それぞれに対応する前記レベル情報を入力して出力される前記画像データである予測画像データ及び/若しくは該予測画像データから得られる関連情報(例えば所定範囲の各画素の輝度平均値など)、又は、前記レベル情報に対応する明るさレベルでそれぞれ発光する前記複数の照明部により作り出される照明状態で照明される前記対象物を撮像して取得された画像データである実画像データ及び/若しくは該実画像データから得られる関連情報と、目標となる照明状態で照明された前記対象物を撮像した場合に取得され得る画像データとして用意された目標画像データ及び/若しくは該目標画像データから得られる関連情報とを比較し、その誤差を算出可能な比較手段と、
少なくとも前記比較手段により算出される誤差が所定の閾値以下となるまで、誤差逆伝播により前記複数の照明部それぞれに対応する前記レベル情報の更新を繰り返し、前記複数の照明部それぞれに適した前記レベル情報を特定可能なレベル特定手段と、
少なくとも前記レベル特定手段によりそれぞれ特定された前記レベル情報に基づき、前記複数の照明部それぞれの明るさ調整を行うことによって、該複数の照明部により作り出される照明状態を制御可能な照明制御手段とを備えたことを特徴とする外観検査用照明装置。
【0019】
上記手段1によれば、ニューラルネットワークとその誤差逆伝播を利用することで、個々に明るさ調整可能な複数の照明部によって作り出され得る膨大な組合せパターンの照明状態の中から、比較的短時間で外観検査により最適な照明状態を自動的に見つけ出し、作り出すことができる。結果として、検査効率の飛躍的な向上を図ることができる。
【0020】
加えて、人には感知できない程度の微妙な照明状態の違い(但し、検査結果には影響を及ぼすおそれがあるほどの違い)をも識別し、より最適な照明状態を作り出すことができる。結果として、検査精度の飛躍的な向上を図ることができる。
【0021】
また、作業者の経験や感覚に頼ることなく、より最適な照明状態を再現性良く見つけ出し、作り出すことができる。結果として、時間的・場所的な制約を受けることなく、利便性や汎用性の向上を図ることができる。
【0022】
手段2.前記相関関係について、前記ニューラルネットワークの学習を行う(例えば誤差逆伝播法により行う)学習手段を備えていることを特徴とする手段1に記載の外観検査用照明装置。
【0023】
上記手段2によれば、外部において学習を行った学習済みのニューラルネットワークを格納した場合よりも、照明装置毎の個体差を考慮したニューラルネットワークの学習を行うことができ、照明装置毎にニューラルネットワークがより適切な処理を行うことができるようになる。結果として、各照明装置に、より最適な照明状態を作り出し、さらなる検査精度の向上を図ることができる。
【0024】
手段3.前記レベル特定手段による前記レベル情報の更新と、前記学習手段による前記ニューラルネットワークの学習とを、交互に又は並行して行うことを特徴とする手段2に記載の外観検査用照明装置。
【0025】
上記手段3によれば、照明部(光源)の劣化等に起因した照明状態の変化など、現実世界で条件が変化した場合にも、その変化に追従することができ、さらなる検査精度の向上を図ることができる。
【0026】
手段4.容器フィルムに形成されたポケット部に対し所定の内容物(例えば錠剤)が収容され、前記ポケット部を塞ぐように前記容器フィルムに対しカバーフィルムが取着されてなるブリスター包装体(例えばPTPシート)の製造に際し用いられることを特徴とする手段1乃至3のいずれかに記載の外観検査用照明装置。
【0027】
上記手段4によれば、ブリスター包装体を構成する包装材(容器フィルムやカバーフィルム)、又は、その内容物に係る外観異常の検査に用いることができ、より適切な良否判定を行うことができるようになる。
【0028】
手段5.手段1乃至4のいずれかに記載の外観検査用照明装置を備えたことを特徴とする外観検査装置。
【0029】
より具体的な外観検査装置の構成として、以下のような構成が挙げられる。
【0030】
「手段1乃至4のいずれかに記載の外観検査用照明装置と、
前記外観検査用照明装置により照明された対象物を撮像可能な撮像手段と、
前記撮像手段により取得された画像データを基に、前記対象物に含まれる所定の検査対象に係る外観検査を実行可能な検査手段とを備えたことを特徴とする外観検査装置。」
手段6.手段5に記載の外観検査装置を備えたことを特徴とするブリスター包装機。
【0031】
上記手段6のように、上記外観検査装置をブリスター包装機(例えばPTP包装機)に備えることで、ブリスター包装体(例えばPTPシート)の製造過程において不良品を効率的に除外できる等のメリットが生じる。また、ブリスター包装機は、上記外観検査装置によって不良と判定されたブリスター包装体を排出する排出手段を備える構成としてもよい。
【0032】
より具体的なブリスター包装機の構成として、以下のような構成が挙げられる。
【0033】
「容器フィルムに形成されたポケット部に内容物が収容され、該ポケット部を塞ぐようにカバーフィルムが取着されてなるブリスター包装体(例えばPTPシート)を製造するためのブリスター包装機(例えばPTP包装機)であって、
帯状に搬送される前記容器フィルムに対し前記ポケット部を形成するポケット部形成手段と、
前記ポケット部に前記内容物を充填する充填手段と、
前記ポケット部に前記内容物が充填された前記容器フィルムに対し、前記ポケット部を塞ぐようにして帯状の前記カバーフィルムを取着する取着手段と、
前記容器フィルムに前記カバーフィルムが取着された帯状体(帯状のPTPフィルム)から前記PTPシートを切離す切離手段(シート単位に打抜く打抜手段を含む)と、
手段5に記載の外観検査装置とを備えたことを特徴とするブリスター包装機。」
尚、上記構成において、上記外観検査装置を「充填手段によりポケット部に内容物が充填された後工程かつ取着手段によりカバーフィルムが取着される前工程」に配置した構成としてもよい。かかる場合、容器フィルムのポケット開口側より内容物や容器フィルムを遮るものがない状態で内容物や容器フィルムに係る検査を実行することができ、これらの検査の精度を向上することができる。
【0034】
また、上記外観検査装置を「取着手段によりカバーフィルムが取着された後工程かつ切離手段によりブリスター包装体が切離される前工程」に配置した構成としてもよい。かかる場合、内容物が入れ替わることがない状態で内容物に係る検査を実行したり、シール不良や異物付着などシート部に係る検査を実行したりすることができ、これらの検査の精度を向上することができる。
【0035】
また、上記外観検査装置を「切離手段によりブリスター包装体が切離された後工程」に配置した構成としてもよい。かかる場合、不良品が混ざっていないかを最終段階で確認することができる。
【図面の簡単な説明】
【0036】
図1】(a)はPTPシートを示す斜視図であり、(b)はPTPフィルムを示す斜視図である。
図2】PTPシートのポケット部の部分拡大断面図である。
図3】PTP包装機の概略構成を示す模式図である。
図4】外観検査装置の機能構成を示すブロック図である。
図5】照明ユニット及び撮像ユニットの概略構成を模式的に示す部分断面側面図である。
図6】照明ユニット及び撮像ユニットの概略構成を模式的に示す部分断面正面図である。
図7】照明パネルの概略構成を示す平面模式図である。
図8】ニューラルネットワークの構造を説明するための模式図である。
図9】ニューラルネットワークの学習処理の流れを示すフローチャートである。
図10】ニューラルネットワークの学習処理の流れを説明するためのブロック図である。
図11】照明状態の最適化処理の流れを示すフローチャートである。
図12】照明状態の最適化処理の流れを説明するためのブロック図である。
図13】検査処理の流れを示すフローチャートである。
図14】第2実施形態に係る学習・最適化処理の流れを示すフローチャートである。
図15】第2実施形態に係る学習・最適化処理の流れを説明するためのブロック図である。
【発明を実施するための形態】
【0037】
〔第1実施形態〕
以下、一実施形態について図面を参照しつつ説明する。まずブリスター包装体としてのPTPシートの構成について詳しく説明する。
【0038】
図1,2に示すように、PTPシート1は、複数のポケット部2を備えた容器フィルム3と、ポケット部2を塞ぐように容器フィルム3に取着されたカバーフィルム4とを有している。
【0039】
本実施形態における容器フィルム3は、例えばPP(ポリプロピレン)やPVC(ポリ塩化ビニル)等の比較的硬質で所定の剛性を有する透明の熱可塑性樹脂材料によって形成され、光透過性を有している。一方、カバーフィルム4は、例えばポリプロピレン樹脂等からなるシーラントが表面に設けられた不透明材料(例えばアルミニウム箔等)により構成されている。
【0040】
また、PTPシート1は、平面視略矩形状に形成されている。PTPシート1には、その長辺方向に沿って所定間隔をあけて配列された5個のポケット部2からなるポケット列が、その短辺方向に所定間隔をあけて2列形成されている。つまり、PTPシート1は、計10個のポケット部2を有している。各ポケット部2には、内容物としての錠剤5が1つずつ収容されている。
【0041】
PTPシート1〔図1(a)参照〕は、帯状の容器フィルム3及び帯状のカバーフィルム4から形成された帯状のPTPフィルム6〔図1(b)参照〕がシート状に打抜かれることにより製造される。
【0042】
次に、PTPシート1を製造するブリスター包装機としてのPTP包装機10の概略構成について図3を参照して説明する。
【0043】
図3に示すように、PTP包装機10の最上流側では、帯状の容器フィルム3の原反がロール状に巻回されている。
【0044】
ロール状に巻回された容器フィルム3の引出し端側は、ガイドロール13に案内されている。容器フィルム3は、ガイドロール13の下流側において間欠送りロール14に掛装されている。間欠送りロール14は、間欠的に回転するモータに連結されており、容器フィルム3を間欠的に搬送する。
【0045】
ガイドロール13と間欠送りロール14との間には、容器フィルム3の搬送路に沿って、加熱装置15及びポケット部形成装置16が順に配設されている。そして、加熱装置15によって容器フィルム3が加熱されて、該容器フィルム3が比較的柔軟になった状態において、ポケット部形成装置16によって容器フィルム3の所定位置に複数のポケット部2が成形される(ポケット部形成工程)。加熱装置15及びポケット部形成装置16によって、本実施形態におけるポケット部形成手段が構成される。ポケット部2の形成は、間欠送りロール14による容器フィルム3の搬送動作間のインターバル中に行われる。
【0046】
間欠送りロール14から送り出された容器フィルム3は、テンションロール18、ガイドロール19及びフィルム受けロール20の順に掛装されている。フィルム受けロール20は、一定回転するモータに連結されているため、容器フィルム3を連続的に且つ一定速度で搬送する。
【0047】
テンションロール18は、容器フィルム3を弾性力によって緊張する側へ引っ張った状態とされており、前記間欠送りロール14とフィルム受けロール20との搬送動作の相違による容器フィルム3の撓みを防止して容器フィルム3を常時緊張状態に保持する。
【0048】
ガイドロール19とフィルム受けロール20との間には、容器フィルム3の搬送路に沿って、錠剤充填装置21が配設されている。錠剤充填装置21は、ポケット部2に錠剤5を自動的に充填する充填手段としての機能を有する。錠剤充填装置21は、フィルム受けロール20による容器フィルム3の搬送動作と同期して、所定間隔毎にシャッタを開くことで錠剤5を落下させるものであり、このシャッタ開放動作に伴って各ポケット部2に錠剤5が充填される(充填工程)。
【0049】
一方、帯状に形成されたカバーフィルム4の原反は、容器フィルム3とは別に、最上流側においてロール状に巻回されている。
【0050】
ロール状に巻回されたカバーフィルム4の引出し端は、ガイドロール24に案内され、加熱ロール25の方へと案内されている。加熱ロール25は、前記フィルム受けロール20に圧接可能となっており、両ロール20,25間に容器フィルム3及びカバーフィルム4が送り込まれるようになっている。
【0051】
そして、容器フィルム3及びカバーフィルム4が、両ロール20,25間を加熱圧接状態で通過することで、容器フィルム3にカバーフィルム4が貼着され、ポケット部2がカバーフィルム4で塞がれる(取着工程)。これにより、錠剤5が各ポケット部2に充填された帯状体としてのPTPフィルム6が製造される。加熱ロール25の表面には、シール用の網目状の微細な凸条が形成されており、これが強く圧接することで、強固なシールが実現されるようになっている。フィルム受けロール20及び加熱ロール25により本実施形態における取着手段が構成される。
【0052】
フィルム受けロール20から送り出されたPTPフィルム6は、テンションロール27及び間欠送りロール28の順に掛装されている。間欠送りロール28は、間欠的に回転するモータに連結されているため、PTPフィルム6を間欠的に搬送する。テンションロール27は、PTPフィルム6を弾性力によって緊張する側へ引っ張った状態とされており、前記フィルム受けロール20と間欠送りロール28との搬送動作の相違によるPTPフィルム6の撓みを防止してPTPフィルム6を常時緊張状態に保持する。
【0053】
間欠送りロール28から送り出されたPTPフィルム6は、テンションロール31及び間欠送りロール32の順に掛装されている。間欠送りロール32は、間欠的に回転するモータに連結されているため、PTPフィルム6を間欠的に搬送する。テンションロール31は、PTPフィルム6を弾性力によって緊張する側へ引っ張った状態とされており、前記間欠送りロール28,32間でのPTPフィルム6の撓みを防止する。
【0054】
間欠送りロール28とテンションロール31との間には、PTPフィルム6の搬送路に沿って、スリット形成装置33及び刻印装置34が順に配設されている。スリット形成装置33は、PTPフィルム6の所定位置に切離用スリット(図示略)を形成する機能を有する。また、刻印装置34はPTPフィルム6の所定位置に刻印(図示略)を付す機能を有する。
【0055】
間欠送りロール32から送り出されたPTPフィルム6は、その下流側においてテンションロール35及び連続送りロール36の順に掛装されている。間欠送りロール32とテンションロール35との間には、PTPフィルム6の搬送路に沿って、シート打抜装置37が配設されている。シート打抜装置37は、PTPフィルム6をPTPシート1単位にその外縁を打抜くシート打抜手段(切離手段)としての機能を有する。
【0056】
シート打抜装置37によって打抜かれたPTPシート1は、コンベア39によって搬送され、完成品用ホッパ40に一旦貯留される(切離工程)。尚、ここで、PTPシート1は、その長手方向がコンベア幅方向(X方向)に沿うように、かつ、その短手方向がシート搬送方向(Y方向)に沿うように、ポケット部2を上にした状態でコンベア39上に載置され搬送される(図5,6等参照)。
【0057】
コンベア39の上方位置には、外観検査装置45が配置されている。外観検査装置45は、錠剤5に係る外観異常、例えば異物や汚れの付着、欠けやひびの有無、印刷不良などを検査する。外観検査装置45の詳細については後述する。
【0058】
尚、ここで外観検査装置45によって不良品と判定された場合、その不良品と判定されたPTPシート1は、完成品用ホッパ40へ送られることなく、図示しない排出手段としての不良シート排出機構によって別途排出されることとなる。
【0059】
前記連続送りロール36の下流側には、裁断装置41が配設されている。そして、シート打抜装置37による打抜き後に帯状に残った残材部(スクラップ部)を構成する不要フィルム部42は、前記テンションロール35及び連続送りロール36に案内された後、裁断装置41に導かれる。なお、前記連続送りロール36は従動ロールが圧接されており、前記不要フィルム部42を挟持しながら搬送動作を行う。裁断装置41では、不要フィルム部42を所定寸法に裁断しスクラップ処理する機能を有する。このスクラップはスクラップ用ホッパ43に貯留された後、別途廃棄処理される。
【0060】
尚、上記各ロール14,20,28,31,32などは、そのロール表面とポケット部2とが対向する位置関係となっているが、間欠送りロール14等の表面には、ポケット部2が収容される凹部が形成されているため、ポケット部2が潰れてしまうことがない。また、ポケット部2が間欠送りロール14等の各凹部に収容されながら送り動作が行われることで、間欠送り動作や連続送り動作が確実に行われる。
【0061】
PTP包装機10の概略は以上のとおりであるが、以下に上記外観検査装置45の構成について図面を参照して詳しく説明する。図4は外観検査装置45の機能構成を示すブロック図である。
【0062】
外観検査装置45は、コンベア39上のPTPシート1に対し光を照射可能な照明ユニット52と、該光を照射されたPTPシート1を撮像可能なカメラユニット53と、これら両ユニット52,53の駆動制御をはじめ、各種デバイスの駆動制御や画像処理、演算処理等を実行可能な制御装置54とを備えている。
【0063】
ここで、照明ユニット52及びその制御に係る制御装置54の各種機能部によって、本実施形態における外観検査用照明装置が構成されることとなる。つまり、本実施形態に係る外観検査装置45は、外観検査用照明装置と、撮像手段として撮像装置(カメラユニット53及びその制御に係る制御装置54の各種機能部)とが機能的に一体に設けられた構成となっている。
【0064】
図5,6に示すように、照明ユニット52は、中空ボックス状のハウジング61を備えている。ハウジング61内には、照明部としての15個の照明パネルL1〜L15が配置されている。
【0065】
具体的には、シート搬送方向下流側(図5右側)のハウジング61の底部近傍に配置された第1照明パネルL1と、シート搬送方向上流側(図5左側)のハウジング61の底部近傍に配置された第2照明パネルL2と、コンベア幅方向一端側(図6左側)のハウジング61の底部近傍に配置された第3照明パネルL3と、コンベア幅方向他端側(図6右側)のハウジング61の底部近傍に配置された第4照明パネルL4と、第1照明パネルL1の上方位置に配置された第5照明パネルL5と、第2照明パネルL2の上方位置に配置された第6照明パネルL6と、第3照明パネルL3の上方位置に配置された第7照明パネルL7と、第4照明パネルL4の上方位置に配置された第8照明パネルL8と、第5照明パネルL5の内側斜め上方位置に配置された第9照明パネルL9と、第6照明パネルL6の内側斜め上方位置に配置された第10照明パネルL10と、第9照明パネルL9の内側斜め上方位置に配置された第11照明パネルL11と、第10照明パネルL10の内側斜め上方位置に配置された第12照明パネルL12と、第11照明パネルL11の上方位置に配置された第13照明パネルL13と、コンベア幅方向一端側のハウジング61の天井部近傍に配置された第14照明パネルL14と、コンベア幅方向他端側のハウジング61の天井部近傍に配置された第15照明パネルL15とを備えている。
【0066】
図7に示すように、各照明パネルL1〜L15は、それぞれ数十個(場合によって百個以上)のLED(発光ダイオード)63がプリント基板64上にマトリクス状に実装されたLED基板により構成されている。
【0067】
各照明パネルL1〜L15は、それぞれLED63の実装面がハウジング61内側に向くように配置されており、各照明パネルL1〜L15から出射された光は、ハウジング61の底部中央に形成された開口部61aを介して、コンベア39上の所定範囲(以下、「検査エリア」という。)に対し直接的又は間接的に照射される。但し、第13照明パネルL13から出射された光は、ハーフミラーHMに反射して、鉛直方向(Z方向)下向きに照射される。
【0068】
各照明パネルL1〜L15は、それぞれ個別に調光可能(明るさ調整)に構成されている。詳しくは、LED63の発光輝度を変化させることにより、その明るさを256階調に調節可能となっている。
【0069】
これにより、照明ユニット52は、複数の照明パネルL1〜L15により作り出される所定の照明状態で検査エリア内に位置するPTPシート1を照明することができる。
【0070】
カメラユニット(以下、単に「カメラ」という。)53は、照明ユニット52のハウジング61の上方位置に配置されており、ハウジング61の天井部中央に形成された開口部61b、及び、ハウジング61の底部中央に形成された上記開口部61aを介して、検査エリア内を撮像可能となっている。
【0071】
尚、図示は省略するが、カメラ53は、CCD(Charge Coupled Device)型イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等の撮像素子と、該撮像素子に対し検査エリア内に位置するPTPシート1の像を結像させる光学系(レンズユニットや絞りなど)とを有している。
【0072】
本実施形態では、照明ユニット52から照射される光が、容器フィルム3越しに錠剤5及びカバーフィルム4を照らし、錠剤5及びカバーフィルム4から反射した光が、カメラ53によって撮像され、画像データが生成されることとなる。
【0073】
そして、カメラ53によって取得された画像データは、該カメラ53の内部においてデジタル信号に変換された上で、デジタル信号の形で制御装置54(後述の画像取得部74)に対し出力される。
【0074】
制御装置54は、所定の演算処理を実行するCPU(Central Processing Unit)、各種プログラムや固定値データ等を記憶するROM(Read Only Memory)、各種演算処理の実行に際して各種データが一時的に記憶されるRAM(Random Access Memory)及びこれらの周辺回路等を含んだコンピュータからなる。
【0075】
そして、制御装置54は、CPUが各種プログラムに従って動作することで、後述するメイン制御部71、照明制御部72、カメラ制御部73、画像取得部74、画像処理部75、学習部76、調光パラメータ調整部77、調光パラメータ設定部78、検査部79などの各種機能部として機能する。
【0076】
但し、上記各種機能部は、上記CPU、ROM、RAMなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがICなどのハードウェア回路により実現されてもよい。
【0077】
さらに、制御装置54には、キーボードやマウス、タッチパネル等で構成される入力部55、液晶ディスプレイなどの表示画面を有する表示部56と、各種データやプログラム、演算結果等を記憶可能な記憶部57、外部と各種データを送受信可能な通信部58などが設けられている。
【0078】
ここで、制御装置54を構成する上記各種機能部について詳しく説明する。メイン制御部71は、外観検査装置45全体の制御を司る機能部であり、照明制御部72やカメラ制御部73など他の機能部と各種信号を送受信可能に構成されている。
【0079】
照明制御部72は、照明ユニット52を駆動制御する機能部であり、本実施形態における照明制御手段を構成する。照明制御部72は、後述するように照明パネルL1〜L15それぞれに対応して調光パラメータ設定部78に設定される調光パラメータ値に基づき、照明ユニット52の照明パネルL1〜L15を駆動制御し、該調光パラメータ値に対応する明るさレベルで、各照明パネルL1〜L15を点灯させる。
【0080】
本実施形態では、パルス幅変調(PWM)によって所定期間(例えば1/60秒間)中におけるLED63の点灯状態にある時間割合(デューティ比)を変化させることで、照明パネルL1〜L15毎に個別に調光(明るさ調整)することができ、256階調の明るさ表現が可能となっている。この際、1チャンネルとして制御する1つの照明パネルL1〜L15に搭載された全てのLED63は同一輝度で発光する。
【0081】
カメラ制御部73は、カメラ53を駆動制御する機能部であり、メイン制御部71からの指令信号に基づき撮像タイミングなどを制御する。
【0082】
画像取得部74は、カメラ53により撮像され取得された画像データ(実画像データ)を取り込む機能部である。
【0083】
画像処理部75は、画像取得部74により取り込まれたPTPシート1の実画像データに所定の画像処理を行う機能部であり、本実施形態における画像処理手段を構成する。例えば、後述する学習処理においては、ニューラルネットワーク90(図8参照)の学習に用いる教師データとなる教師画像データを生成する。また、検査処理においては、二値化処理した二値化画像データなどを生成する。
【0084】
学習部76は、教師画像データ等を用いてニューラルネットワーク90の学習を行い、AI(Artificial Intelligence)モデル100を生成する機能部である。AIモデル100は、後述するように照明ユニット52の照明状態の最適化処理に用いられる学習モデルであり、ニューラルネットワーク90と、その学習により獲得した学習情報とが組み合わされて構成されている。
【0085】
ここで、ニューラルネットワーク90の構造について図8の模式図を参照して説明する。図8に示すように、ニューラルネットワーク90は、入力層91、中間層92及び出力層93を有している。尚、図8では、説明を容易にするため、中間層92が1つの場合を例示しているが、中間層92の層数は1つに限定されず、2つ以上であってもよい。
【0086】
入力層91、中間層92及び出力層93には、それぞれニューロンに相当するノード(ユニット)94が1つ又は複数存在する。勿論、各層91,92,93のノード数についても、図8に例示した数に限定されるものではなく、入出力する情報や特徴量等に応じて任意に設定可能である。
【0087】
例えば本実施形態における入力層91のノード数は、制御対象となる照明部の数(チャンネル数)に対応している。つまり、照明パネルL1〜L15に対応して15個存在することとなる。また、本実施形態における出力層93のノード数は、後述する予測画像データの画素数に対応しており、出力層93の各ノード94からは、該予測画像データを構成する各画素の情報(輝度値等)が出力値として出力される。
【0088】
各層91,92,93の各ノード94は、それぞれ隣接する前後の層に存在するノード94と、パラメータとなる結合荷重(重み及びバイアス)により結ばれている。
【0089】
そして、入力層91の各ノード94に与えられた入力値は、それぞれ結合荷重で重み付けされ、中間層92の各ノード94に与えられる。その中間層92の各ノード94では、それぞれ重み付けられた入力値(重みと入力値の積)の総和を活性化関数により変換して出力値が算出され、それが出力層93の各ノード94に与えられる。
【0090】
中間層92と同様、出力層93の各ノード94では、それぞれ重み付けられた入力値の総和を活性化関数により変換して出力値が算出され、それがニューラルネットワーク90の出力値として出力される。
【0091】
このように、ニューラルネットワーク90では、入力層91に所定の情報が与えられると、その内容が中間層92を通して変換されつつ出力層93へと伝達され、出力層93より予測結果に相当する情報が出力されることとなる。
【0092】
尚、各ノード94間を結合する結合荷重(パラメータ)は、後述するように所定の学習アルゴリズムによって学習され更新される。そして、学習によって更新された各結合荷重は、ニューラルネットワーク90と共に、学習済みの学習モデルを構成する学習情報として記憶部57に記憶される。
【0093】
調光パラメータ調整部77は、AIモデル100を用いて各照明パネルL1〜L15の調光パラメータ値(明るさレベル)をより最適な値に調整する機能部であり、本実施形態におけるレベル特定手段を構成する。
【0094】
調光パラメータ設定部78は、照明制御部72が照明ユニット52を駆動制御する際に参酌する各照明パネルL1〜L15に係る調光パラメータ値を個別に記憶する機能部である。
【0095】
検査部79は、検査用の画像データを基に、対象物としてのPTPシート1に含まれる所定の検査対象としての錠剤5について良否判定を行う機能部であり、本実施形態における検査手段を構成する。
【0096】
記憶部57は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成され、例えばAIモデル100(ニューラルネットワーク90及びその学習情報)を記憶する所定の記憶領域を有している。かかる記憶領域が本実施形態におけるネットワーク格納手段を構成する。
【0097】
通信部58は、例えば有線LAN(Local Area Network)や無線LAN等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば検査部79により行われた良否判定の結果などが通信部58を介して、PTP包装機10の不良シート排出機構などに対し送信される。
【0098】
次に、外観検査装置45によって行われるニューラルネットワーク90の学習処理について図9,10を参照して説明する。図9はニューラルネットワーク90の学習処理の流れを示すフローチャートであり、図10はニューラルネットワーク90の学習処理の流れを説明するためのブロック図である。尚、このニューラルネットワーク90の学習処理を実行する各種機能により本実施形態における学習手段が構成される。
【0099】
所定の学習プログラムの実行に基づき、学習処理が開始されると、はじめにステップS101において、メイン制御部71からの指令に基づき、学習部76が、未学習のニューラルネットワーク90を準備する。例えば予め記憶部57等に格納されているニューラルネットワーク90を読み出す。又は、記憶部57等に格納されているネットワーク構成情報(例えばニューラルネットワークの層数、各層のノード数、各ノード間の結合荷重など)に基づいて、ニューラルネットワーク90を生成する。
【0100】
ステップS102では、メイン制御部71が、複数の照明パネルL1〜L15それぞれの明るさレベル(LED63の発光輝度レベル)に対応するレベル情報としての調光パラメータ値(「0」〜「255」のうちのいずれかの値)をランダムに選出し、調光パラメータ設定部78に設定する。
【0101】
ステップS103では、教師画像データを取得する。具体的には、メイン制御部71からの指令に基づき、照明制御部72が、ステップS102において調光パラメータ設定部78に設定された調光パラメータ値に対応する明るさレベルで、照明ユニット52の各照明パネルL1〜L15を点灯させる。続いて、メイン制御部71からの指令に基づき、カメラ制御部73がカメラ53を駆動させる。これにより、停止中のコンベア39の上記検査エリア内に予め載置され、複数の照明パネルL1〜L15により作り出される照明状態で照明された良品のPTPシート1を撮像する。そして、カメラ53により取得された実画像データを画像取得部74が取り込む。
【0102】
画像取得部74により取り込まれたPTPシート1の実画像データは、画像処理部75において所定の画像処理(例えばトリミングや傾き補正など)が施された上で、教師画像データとして学習部76に入力される。
【0103】
ステップS104では、予測画像データを取得する。尚、ステップS104の処理は、上記ステップS103の処理と並行して行われるようにしてもよい。
【0104】
具体的には、メイン制御部71からの指令に基づき、学習部76が、ステップS102において調光パラメータ設定部78に設定された各照明パネルL1〜L15に係る調光パラメータ値を入力値として、ニューラルネットワーク90の入力層91の各ノード94に与え、これにより出力層93の各ノード94から出力される出力値をまとめて予測画像データとして取得する。
【0105】
尚、ここで取得される予測画像データは、調光パラメータ設定部78に設定された調光パラメータ値に対応する明るさレベルでそれぞれ発光する複数の照明パネルL1〜L15により作り出される照明状態で照明されるPTPシート1を撮像した場合に取得され得る画像データとしてニューラルネットワーク90が予測したものであり、学習の程度によりその精度は異なる。
【0106】
続くステップS105では、学習部76が、ステップS103においてカメラ53により取得された実画像データである教師画像データと、ステップS104においてニューラルネットワーク90により出力された予測画像データとを比較し、その誤差が十分に小さいか否か(所定の閾値以下であるか否か)を判定する。
【0107】
ここで、その誤差が十分に小さい場合には、ニューラルネットワーク90及びその学習情報(後述する更新後の結合荷重等)をAIモデル100として記憶部57に格納し、本学習処理を終了する。
【0108】
一方、その誤差が十分に小さくない場合には、ステップS106においてネットワーク更新処理(ニューラルネットワーク90の学習)を行った後、再びステップS102へ戻り、上記一連の処理を繰り返す。
【0109】
具体的に、ステップS106のネットワーク更新処理では、公知の学習アルゴリズムである誤差逆伝播法(Backpropagation)を用いて、ニューラルネットワーク90の各ノード間の結合荷重(パラメータ)に対する勾配を求め、教師画像データと予測画像データの誤差が小さくなるように、該勾配に基づき各ノード間の結合荷重をより適切なものに更新する。
【0110】
これらの処理を何度も繰り返すことにより、ニューラルネットワーク90は、複数の照明パネルL1〜L15それぞれの調光パラメータ値と、これに対応する明るさレベルでそれぞれ発光する複数の照明パネルL1〜L15により作り出される照明状態で照明されるPTPシート1を撮像した場合に取得され得る画像データとの相関関係を学習し、より正確な予測画像データを出力することができるようになる。
【0111】
次に、外観検査装置45によって行われる照明ユニット52の照明状態の最適化処理について図11,12を参照して説明する。図11は照明状態の最適化処理の流れを示すフローチャートであり、図12は照明状態の最適化処理の流れを説明するためのブロック図である。
【0112】
所定の最適化プログラムの実行に基づき、最適化処理が開始されると、まずステップS201において、メイン制御部71からの指令に基づき、調光パラメータ調整部77が、複数の照明パネルL1〜L15それぞれに対応するパラメータ初期値を256段階の調光パラメータ値(「0」〜「255」)の中からランダムに選出し、パラメータ候補値として所定の候補値記憶エリアに記憶する。
【0113】
ステップS202では、メイン制御部71からの指令に基づき、調光パラメータ調整部77が、上記候補値記憶エリアに記憶された調光パラメータ値(ステップS201においてパラメータ初期値として選出した調光パラメータ値、又は、後述するステップS205において補正された調光パラメータ値)を入力値として、AIモデル100(学習済みのニューラルネットワーク90)の入力層91の各ノード94に与え、これにより出力層93の各ノード94から出力される出力値をまとめて予測画像データとして取得する。
【0114】
ステップS203において、調光パラメータ調整部77は、ステップS202においてAIモデル100により出力された予測画像データと、理想的なデータとして予め記憶部57に記憶された理想画像データとを比較して、その誤差を算出すると共に、該誤差をAIモデル100の入力層91まで誤差逆伝播させ、上記入力値(上記候補値記憶エリアに記憶された調光パラメータ値)に対する勾配を求める。尚、この際、ニューラルネットワーク90の更新(学習)は行わない。ここで、上記理想画像データが本実施形態における目標画像データに相当する。また、予測画像データと理想画像データとを比較し、その誤差を算出する機能により本実施形態における比較手段が構成される。
【0115】
続くステップS204では、調光パラメータ調整部77が、ステップS203において算出した誤差及び勾配がそれぞれ十分に小さいか否か(それぞれ所定の閾値以下であるか否か)を判定する。
【0116】
ここで、その誤差及び勾配の両者が十分に小さい場合には、上記候補値記憶エリアに記憶された調光パラメータ値を調光パラメータ設定部78に設定し、本最適化処理を終了する。
【0117】
一方、その誤差及び勾配のうち一方が十分に小さくない場合には、ステップS205において、調光パラメータ調整部77は、ステップS203において算出した勾配を基に、各照明パネルL1〜L15に対応する入力値(上記候補値記憶エリアに記憶された調光パラメータ値)をそれぞれ補正(更新)する。その後、再びステップS202へ戻り、上記一連の処理を繰り返す。
【0118】
これらの処理を何度も繰り返すことにより、上記候補値記憶エリアに記憶される調光パラメータ値(パラメータ候補値)が、目標とする照明状態に近い照明状態となり得る理想値に近づいていくこととなる。
【0119】
次に、外観検査装置45によって行われる錠剤5の検査処理について図13のフローチャートを参照して説明する。かかる検査処理は、シート打抜装置37によって打抜かれたPTPシート1がコンベア39によって上記検査エリアに搬送される毎に実行される処理である。
【0120】
所定の検査プログラムの実行に基づき、検査処理が開始されると、まずステップS301において、パラメータ読込処理を実行する。具体的には、メイン制御部71からの指令に基づき、照明制御部72が、調光パラメータ設定部78に設定された各照明パネルL1〜L15に対応する調光パラメータ値を読み込む。
【0121】
ステップS302では、照明処理を実行する。具体的には、メイン制御部71が、コンベア39に設けられた図示しないエンコーダからの信号に基づき、該PTPシート1が上記検査エリアに到達した判断すると、照明制御部72に対し所定の信号を出力する。これに基づき、照明制御部72は、所定のタイミングで、ステップS301において読み込んだ各調光パラメータ値に対応する明るさレベルで、照明ユニット52の各照明パネルL1〜L15を点灯させる。
【0122】
これにより、検査エリア内に位置するPTPシート1が、複数の照明パネルL1〜L15により作り出される所定の照明状態で照明された状態となる。
【0123】
続くステップS303では、撮像処理を実行する。具体的には、メイン制御部71からの指令に基づき、カメラ制御部73が所定のタイミングでカメラ53を駆動させる。これにより、検査エリア内に位置するPTPシート1(10個の錠剤5を含む)を撮像する。これにより、複数の照明パネルL1〜L15により作り出される所定の照明状態で照明されたPTPシート1を含む輝度画像データが取得される。そして、この輝度画像データは、画像取得部74に取り込まれる。
【0124】
ステップS304では、画像処理を実行する。具体的には、メイン制御部71からの指令に基づき、画像処理部75が、ステップS303にて画像取得部74に取り込まれた輝度画像データに対し所定の画像処理を行い、検査用の画像データを生成する。
【0125】
本実施形態では、画像取得部74に取り込まれた輝度画像データに対し、例えばシェーディング補正やマスキング処理などの画像処理を行った後、所定の閾値に基づき二値化処理を行い、二値化画像データを生成する。ここでは、前記閾値以上の明度を有する部分が「1(明)」、前記閾値未満の部分が「0(暗)」として、輝度画像データを二値化画像データに変換する。
【0126】
ステップS305では、良否判定処理を行う。具体的には、メイン制御部71からの指令に基づき、検査部79が、ステップS304にて生成された検査用の画像データを基に、対象物としてのPTPシート1に含まれる所定の検査対象としての10個の錠剤5について良否判定を行う。以下、異物検査(異物や汚れの付着の検査)を一例として良否判定の流れについて説明するが、ここでは、錠剤5に係る外観異常として、その他、欠けやひびの有無、印刷不良などについても検査が行われる。
【0127】
本実施形態では、まずステップS304にて生成された二値化画像データに対して、それぞれ塊処理を実行する。この塊処理では、二値化画像データの「0(暗)」及び「1(明)」について各連結成分を特定すると共に、それぞれの連結成分についてラベル付けを行う。
【0128】
そして、検査部79は、二値化画像データから求めた「1(明)」の連結成分の中から、錠剤5に相当する連結成分を錠剤領域として特定し、この錠剤領域内の異物の面積を算出する。すなわち二値化画像データから求めた「0(暗)」の連結成分のうち、錠剤領域の座標に含まれる、あるいは連なるものを抽出し、その面積つまり異物の面積を求め、各異物の面積が、予め定められた判定基準値よりも小さいか否かを判定する。
【0129】
ここで、検査部79は、1枚のPTPシート1に対応する二値化画像データにおいて、10個の錠剤5すべてにおいて異物の面積が判定基準値よりも小さい場合には、該PTPシート1を良品と判定すると共に、この結果を記憶部57に記憶し、本処理を終了する。
【0130】
一方、1枚のPTPシート1に含まれる10個の錠剤5のうち、異物の面積が判定基準値よりも大きいものが1つでもある場合には、該PTPシート1を不良品と判定し、その結果を表示部56に表示したり、その旨を通信部58を介して、PTP包装機10の不良シート排出機構などに対し送信し、本処理を終了する。
【0131】
以上詳述したように、本実施形態によれば、AIモデル100(ニューラルネットワーク90)とその誤差逆伝播を利用することで、個々に明るさ調整可能な複数の照明パネルL1〜L15によって作り出され得る膨大な組合せパターンの照明状態の中から、比較的短時間で外観検査により最適な照明状態を自動的に見つけ出し、作り出すことができる。結果として、検査効率の飛躍的な向上を図ることができる。
【0132】
加えて、人には感知できない程度の微妙な照明状態の違い(但し、検査結果には影響を及ぼすおそれがあるほどの違い)をも識別し、より最適な照明状態を作り出すことができる。結果として、検査精度の飛躍的な向上を図ることができる。
【0133】
また、作業者の経験や感覚に頼ることなく、より最適な照明状態を再現性良く見つけ出し、作り出すことができる。結果として、時間的・場所的な制約を受けることなく、利便性や汎用性の向上を図ることができる。
【0134】
さらに、本実施形態では、ニューラルネットワーク90の学習を行う学習部76を備えている。
【0135】
これにより、外部において学習を行った学習済みのニューラルネットワーク90を格納した場合よりも、照明ユニット52毎の個体差を考慮したニューラルネットワーク90の学習を行うことができ、照明ユニット52毎にニューラルネットワーク90がより適切な処理を行うことができるようになる。結果として、照明ユニット52毎に、より最適な照明状態を作り出し、さらなる検査精度の向上を図ることができる。
【0136】
〔第2実施形態〕
次に第2実施形態について図面を参照して詳しく説明する。但し、上述した第1実施形態と重複する部分については、同一の部材名称、同一の符号を用いる等してその詳細な説明を省略するとともに、以下には第1実施形態と相違する部分を中心として説明することとする。
【0137】
上記第1実施形態では、先にニューラルネットワーク90の学習処理を実行し、その後、学習済みのニューラルネットワーク90(AIモデル100)を用いて、照明ユニット52の照明状態の最適化処理を実行する構成となっている。
【0138】
これに対し、第2実施形態においては、未学習のニューラルネットワーク90に対し学習処理と照明状態の最適化処理とを交互に実行する構成となっている。
【0139】
以下、外観検査装置45によって行われる学習・最適化処理について図14,15を参照して説明する。図14は学習・最適化処理の流れを示すフローチャートであり、図15は学習・最適化処理の流れを説明するためのブロック図である。
【0140】
所定のプログラムの実行に基づき、学習・最適化処理が開始されると、はじめにステップS401において、メイン制御部71からの指令に基づき、学習部76が、未学習のニューラルネットワーク90を準備する。
【0141】
ステップS402では、メイン制御部71からの指令に基づき、調光パラメータ調整部77が、複数の照明パネルL1〜L15それぞれに対応するパラメータ初期値を、256段階の調光パラメータ値(「0」〜「255」)の中からランダムに選出し、パラメータ候補値として所定の候補値記憶エリアに記憶する。
【0142】
ステップS403では、メイン制御部71が、上記候補値記憶エリアに記憶された調光パラメータ値(パラメータ候補値)の周辺値を任意に(例えば周辺値の中からランダムに)選出し、調光パラメータ設定部78に設定する。
【0143】
尚、上記候補値記憶エリアに記憶される調光パラメータ値(パラメータ候補値)は、本処理の開始直後においては、ステップS402において選出されたパラメータ初期値であり、その後においては、後述するステップS408において補正(更新)された調光パラメータ値である。
【0144】
ステップS404では、教師画像データを取得する。具体的には、メイン制御部71からの指令に基づき、照明制御部72が、ステップS403において調光パラメータ設定部78に設定された調光パラメータ値に対応する明るさレベルで、照明ユニット52の各照明パネルL1〜L15を点灯させる。続いて、メイン制御部71からの指令に基づき、カメラ制御部73がカメラ53を駆動させる。これにより、停止中のコンベア39の上記検査エリア内に予め載置され、複数の照明パネルL1〜L15により作り出される照明状態で照明された良品のPTPシート1を撮像する。そして、カメラ53により取得された実画像データを画像取得部74が取り込む。
【0145】
画像取得部74により取り込まれたPTPシート1の実画像データは、画像処理部75において所定の画像処理が施された上で、教師画像データとして学習部76に入力される。
【0146】
ステップS405では、予測画像データを取得する。具体的には、メイン制御部71からの指令に基づき、学習部76が、ステップS403において調光パラメータ設定部78に設定された各照明パネルL1〜L15に係る調光パラメータ値(パラメータ候補周辺値)を入力値として、ニューラルネットワーク90の入力層91の各ノード94に与え、これにより出力層93の各ノード94から出力される出力値をまとめて予測画像データとして取得する。
【0147】
尚、この際、本実施形態ではステップS403において調光パラメータ設定部78に設定された各調光パラメータ値(パラメータ候補周辺値)は、新たなパラメータ候補値として上記候補値記憶エリアに上書きされた上で、ニューラルネットワーク90に入力される。
【0148】
続くステップS406では、学習部76が、ステップS404においてカメラ53により取得された実画像データである教師画像データと、ステップS405においてニューラルネットワーク90により出力された予測画像データとを比較して、その誤差(以下、「学習誤差」という。)を算出すると共に、誤差逆伝播法を用いて、ネットワーク更新処理を行う。このネットワーク更新処理では、ニューラルネットワーク90の各ノード間の結合荷重(パラメータ)に対する勾配を求め、教師画像データと予測画像データの誤差が小さくなるように、該勾配に基づき各ノード間の結合荷重をより適切なものに更新する。
【0149】
ステップS407では、調光パラメータ調整部77が、ステップS405においてニューラルネットワーク90により出力された予測画像データと、理想的なデータとして予め記憶部57に記憶された理想画像データとを比較して、その誤差(以下、「予測誤差」という。)を算出すると共に、該予測誤差をニューラルネットワーク90の入力層91まで誤差逆伝播させ、上記入力値(上記候補値記憶エリアに記憶された調光パラメータ値)に対する勾配を求める。尚、この際、ニューラルネットワーク90の更新(学習)は行わない。ここで、上記理想画像データが本実施形態における目標画像データに相当する。また、予測画像データと理想画像データとを比較し、その誤差を算出する機能により本実施形態における比較手段が構成される。
【0150】
ステップS408では、調光パラメータ調整部77が、ステップS407において算出した勾配を基に、各照明パネルL1〜L15に対応する入力値(上記候補値記憶エリアに記憶された調光パラメータ値)をそれぞれ補正(更新)する。
【0151】
ステップS409では、メイン制御部71が、ステップS406において算出した学習誤差、並びに、ステップS407において算出した予測誤差及び勾配がそれぞれ十分に小さいか否か(それぞれ所定の閾値以下であるか否か)を判定する。
【0152】
ここで、学習誤差、並びに、予測誤差及び勾配の三者が十分に小さい場合には、上記候補値記憶エリアに記憶された調光パラメータ値(パラメータ候補値)を調光パラメータ設定部78に設定し、本処理を終了する。
【0153】
一方、学習誤差、並びに、予測誤差及び勾配の三者のうち1つが十分に小さくない場合には、再びステップS402へ戻り、上記一連の処理を繰り返す。
【0154】
このように、調光パラメータ値の更新(補正)と、ニューラルネットワーク90の更新(学習)とを交互に繰り返していくことにより、調光パラメータ設定部78に設定される調光パラメータ値が、目標とする照明状態に近い照明状態となり得る理想値に近づいていくこととなる。つまり、ニューラルネットワーク90を学習しながら、より最適な照明状態を作り出すことができる。
【0155】
以上詳述したように、本実施形態によれば、上記第1実施形態と同様の作用効果が奏される。
【0156】
本実施形態では、照明パネルL1〜L15(LED63)の劣化等に起因した照明状態の変化など、現実世界で条件が変化した場合にも、その変化に追従することができ、さらなる検査精度の向上を図ることができる。
【0157】
例えば複数の照明パネルL1〜L15のうちの一部や、所定の照明パネルL1等に実装された数十個のLED63のうちの一部など、一部の光源が劣化(輝度低下や点灯不能など)した場合、その劣化した光源の位置によって照明状態も変化し得るため、これを考慮した明るさ調整も行うことができる。
【0158】
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
【0159】
(a)上記各実施形態では、対象物としてのPTPシート1に含まれる内容物である錠剤5を所定の検査対象(検査対象部位)として外観検査を行う構成となっているが、外観検査に供される対象物や内容物、検査対象(検査対象部位)は、これらに限定されるものではない。
【0160】
(a−1)例えばPTPシート1の構成(ポケット部2の形状や配列、個数など)に関しては、上記各実施形態に限定されるものではなく、異なる他の構成を採用してもよい。例えば3列12個のポケット部を有するタイプをはじめ、様々な配列、個数からなるPTPシートを採用してもよい。
【0161】
勿論、PTPシートに限らず、ブリスターパックなど、異なる他のブリスター包装体を、外観検査に供される対象物としてもよいし、ブリスター包装体とは異なる物品を、外観検査に供される対象物としてもよい。
【0162】
(a−2)上記各実施形態では、内容物である錠剤5の態様例として、中心部と周縁部とで厚みが異なる平面視円形状の素錠、いわゆるレンズ錠を例示しているが、錠剤の種類や形状等は、これに限られるものではない。
【0163】
例えば、表面部に割線を有する錠剤や、周縁部に面取り部を有する円盤形状の平錠、平面視非円形の三角錠や四角錠、カプセル錠、糖衣錠、ソフトカプセルなどであってもよい。
【0164】
また、外観検査に供される内容物の種別等に関しても、錠剤(薬品)に限らず、サプリメント、食品、電子部品、電子機器、医療機器など、異なるものであってもよい。
【0165】
(a−3)容器フィルム3やカバーフィルム4など、包装材の形状や材質等は、上記各実施形態に限定されるものではなく、異なる他の構成を採用してもよい。
【0166】
例えば容器フィルム3がアルミラミネートフィルムなど、アルミニウムを主材料とした金属材料により形成された構成としてもよい。但し、PTPシート1の打抜き後、容器フィルム3を介して錠剤5の外観検査を行う場合には、容器フィルム3が透明素材により構成されていることが必要となる。従って、このように容器フィルム3が遮光材料(不透明材料)により形成されている場合には、後述するように容器フィルム3に対しカバーフィルム4が取着される前工程において、ポケット部2の開口側から錠剤5を照明及び撮像し検査を行うこととなる。
【0167】
(a−4)上記各実施形態では、PTPシート1のうち、内容物である錠剤5に係る検査のみ行う構成となっているが、これに限らず、包装材であるシート部に係る検査(例えば異物付着や粉噛み、シール不良、印刷不良、刻印不良、打ち抜き不良など)を実行する構成としてもよい。
【0168】
(b)上記各実施形態では、PTPフィルム6からPTPシート1が打抜かれた後工程において、コンベア39によって搬送されているPTPシート1のポケット部2(容器フィルム3)越しに錠剤5の外観検査が行われる構成となっている。
【0169】
(b−1)これに限らず、容器フィルム3に対しカバーフィルム4が取着された後工程かつPTPフィルム6からPTPシート1が打抜かれる前工程において、PTPフィルム6のポケット部2(容器フィルム3)越しに錠剤5の外観検査が行われる構成としてもよい。かかる場合でも、上記各実施形態と同様、錠剤5が入れ替わることがない状態で検査を実行することができ、検査精度の向上を図ることができる。
【0170】
(b−2)また、ポケット部2に錠剤5が充填された後工程かつ容器フィルム3に対しカバーフィルム4が取着される前工程において、錠剤5の外観検査が行われる構成としてもよい。
【0171】
ここで、容器フィルム3が透明材料により形成されている場合には、ポケット部2(容器フィルム3)越しに錠剤5を照明及び撮像し検査を行う構成としてもよいし、ポケット部2の開口側から錠剤5を照明及び撮像し検査を行う構成としてもよい。
【0172】
ポケット部2の開口側から検査を行う方が、ポケット部2(容器フィルム3)を介さず、遮るものがない状態で直接、錠剤5を照明及び撮像することができるため、個々の錠剤5の検査精度に関しては向上する一方、錠剤5が入れ替わるおそれがあるため、全体として良品錯誤率や不良品錯誤率が増加するおそれがある。
【0173】
(c)上記各実施形態では、外観検査装置45がPTP包装機10内に設けられた構成(インライン)となっている。
【0174】
(c−1)これに代えて、PTP包装機10とは別に、オフラインでPTPシート1の検査を行う装置として外観検査装置45を備えた構成としてもよい。かかる場合、PTPシート1を搬送可能な搬送手段を外観検査装置45に備えた構成としてもよい。
【0175】
(c−2)また、オフラインで検査を行う場合には、PTPシート1を連続搬送せず、停止した状態で検査を行う構成としてもよい。但し、PTPシート1、又は、PTPフィルム6若しくは容器フィルム3を連続搬送しつつ、インラインで検査を実行した方が生産性の向上を図る上では好ましい。
【0176】
(d)外観検査装置45に係る構成は、上記各実施形態に限定されるものではなく、他の構成を採用してもよい。
【0177】
(d−1)例えば上記各実施形態に係る外観検査装置45は、外観検査用照明装置(照明ユニット52及びその制御機能)と、撮像装置(カメラユニット53及びその制御機能)とが機能的に一体に設けられた構成となっている。
【0178】
これに限らず、外観検査用照明装置や撮像装置が外観検査装置とは機能的に別体で設けられた構成としてもよい。ここで撮像機能を有しない外観検査用照明装置においては、外部の撮像手段により取得された画像データ等を入力して、これを基に調光パラメータ値の更新や、ニューラルネットワーク90の更新を行う構成としてもよい。
【0179】
(d−2)上記各実施形態では、特に言及していないが、対象物(PTPシート1等)を1つずつ撮像して検査を行う構成のみならず、照明ユニット52による同一の照明状態の下で、複数の対象物(対象範囲)に対し同時に光を照射して撮像し得られる画像データを基に各対象物について検査を行う構成としてもよい。
【0180】
かかる場合、所定の照明パネルL1等の近くに位置する対象物では、該照明パネルL1等から照射される光が強くなり、遠くにある対象物では、照射される光が弱くなる。このため、複数の照明パネルL1〜L15それぞれから対象物までの距離を考慮して、最適な照明状態を生成する必要がある。
【0181】
(e)照明部に係る構成は、上記各実施形態に限定されるものではない。上記各実施形態では、光源となる複数のLED63を実装した照明パネルL1〜L15が照明部として採用されている。
【0182】
(e−1)例えば上記各実施形態に係る照明ユニット52では、15個の照明パネルL1〜L15が設けられているが、照明部の数や配置等は、これに限定されるものではなく、他の構成を採用してもよい。例えば環状のリング照明を採用してもよい。
【0183】
(e−2)また、上記各実施形態では、特に言及していないが、各照明パネルL1〜L15において、例えばLED63から出射される光を拡散させ、輝度ムラを抑制するための拡散カバーや、一部の光だけを通過させるフィルタなどを備えた構成としてもよい。
【0184】
(e−3)上記各実施形態では、特に言及していないが、例えば各照明パネルL1〜L15が、互いに発光色の異なる複数種の光源(例えば赤(R)・緑(G)・青(B)の各LED63)を実装し、各種有色光や白色光を照射可能に構成されると共に、各色の光源毎に発光輝度レベルを調整して照明状態を制御可能な構成としてもよい。勿論、可視光に限定されず、赤外光や近赤外光などを照射可能な光源を用いる構成としてもよい。
【0185】
(e−4)照明部の光源は、LED63に限定されるものではなく、調光可能な光源であれば、他の光源を採用してもよい。例えば蛍光灯やランプなどを採用してもよい。
【0186】
(f)照明部の明るさ調整(調光)方法やその階調は、上記各実施形態に限定されるものではない。
【0187】
(f−1)上記各実施形態では、256階調の明るさ表現が可能となっているが、これに限らず、例えば128階調で明るさ表現可能な構成としてもよい。
【0188】
(f−2)上記各実施形態では、パルス幅変調(PWM)によって、各照明パネルL1〜L15を調光可能な構成となっている。これに限らず、例えば各照明パネルL1〜L15(光源)へ供給する電流や電圧の大きさを制御することにより、各照明パネルL1〜L15の明るさを調整可能な構成としてもよい。
【0189】
または、LED63から出射された光が所定のフィルタを介して対象物へ照射される構成の下、該フィルタの透過率を制御することにより、各照明パネルL1〜L15の明るさを調整可能な構成としてもよい。
【0190】
(g)ニューラルネットワーク90の構成及びその学習方法は、上記各実施形態に限定されるものではない。
【0191】
(g―1)例えばニューラルネットワーク90は、2以上の中間層92を持ち、深層学習(ディープラーニング)により学習されるニューラルネットワークのであってもよい。
【0192】
(g―2)例えばニューラルネットワーク90は、畳み込み層やプーリング層などを中間層92に持つ畳み込みニューラルネットワークであってもよい。
【0193】
(g―3)上記各実施形態では、誤差逆伝播法によりニューラルネットワーク90を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
【0194】
(g―4)上記各実施形態では、ニューラルネットワーク90の学習を行うに際し、良品のPTPシート1を撮像して得た良品画像データを教師画像データとして用いる構成となっているが、これに加えて、不良品のPTPシート1を撮像して得た不良品画像データを教師画像データとして用いて学習を行う構成としてもよい。
【0195】
(g―5)ニューラルネットワーク90は、いわゆるAIチップ等のAI処理専用回路によって構成されることとしてもよい。その場合、結合荷重等の学習情報のみが記憶部57に記憶され、これをAI処理専用回路が読み出して、ニューラルネットワーク90に設定することによって、AIモデル100が構成されるようにしてもよい。
【0196】
(g―6)上記各実施形態では、学習部76を備え、制御装置54内においてニューラルネットワーク90の学習を行う構成となっているが、これに限らず、少なくともAIモデル100(学習済みのニューラルネットワーク90)を記憶部57に記憶していればよく、学習部76を省略した構成としてもよい。従って、ニューラルネットワーク90の学習を制御装置54の外部で行い、これを記憶部57に記憶する構成としてもよい。
【0197】
(h)各照明パネルL1〜L15に係る調光パラメータ値を補正(更新)し、照明状態を最適化する構成は、上記各実施形態に限定されるものではなく、異なる他の構成を採用してもよい。
【0198】
(h−1)例えば上記第1実施形態に係る照明状態の最適化処理など、上記各実施形態においては、照明状態を最適化するにあたり、複数の照明パネルL1〜L15それぞれに対応する調光パラメータ値をAIモデル100に入力して出力されたPTPシート1に係る予測画像データと、予め記憶部57に記憶されたPTPシート1に係る理想画像データとを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成となっている。
【0199】
これに限らず、前記調光パラメータ値に対応する明るさレベルでそれぞれ発光する複数の照明パネルL1〜L15により作り出される照明状態で照明されるPTPシート1をカメラ53により撮像して取得された実画像データと、予め記憶部57に記憶されたPTPシート1に係る理想画像データとを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成としてもよい。
【0200】
(h−2)上記第1実施形態に係る照明状態の最適化処理など、上記各実施形態においては、照明状態を最適化するにあたり、AIモデル100から出力される予測画像データ(又はカメラ53により取得された実画像データ)と、予め記憶部57に記憶された理想画像データとを直接的に比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成となっている。
【0201】
これに限らず、AIモデル100から出力される予測画像データ及び該予測画像データから得られる関連情報(又は、カメラ53により取得された実画像データ及び該実画像データから得られる関連情報)と、予め記憶部57に記憶された理想画像データ及び該理想画像データから得られる関連情報とを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成としてもよい。
【0202】
または、AIモデル100から出力される予測画像データから得られる関連情報(又は、カメラ53により取得された実画像データから得られる関連情報)と、予め記憶部57に記憶された理想画像データから得られる関連情報とを比較して、その誤差をAIモデル100の入力層91まで誤差逆伝播させることにより、調光パラメータ値の更新を行う構成としてもよい。
【0203】
尚、上記「画像データから得られる関連情報」としては、例えば画像データの全体又は一部の輝度平均値や、所定部位の輝度値のバラツキや標準偏差などを一例に挙げることができる。
【0204】
(h−3)上記第2実施形態においては、未学習のニューラルネットワーク90に対し「学習処理」と「照明状態の最適化処理」とを交互に実行する構成となっているが、これに限らず、「学習処理」と「照明状態の最適化処理」とを並行して行う構成としてもよい。
【0205】
また、第1実施形態に係る「学習処理」を途中まで実行した後に、第2実施形態に係る「学習・最適化処理」を実行する構成としてよい。
【0206】
(i)上記各実施形態では、照明調整作業(上記第1実施形態に係る「学習処理」及び「最適化処理」や、上記第2実施形態に係る「学習・最適化処理」など)の実行時期について、特に言及していないが、例えば製造メーカーにおける外観検査装置45の出荷前に、検査を予定している対象物(PTPシート1等)や検査対象(錠剤5等)の種類に合わせて予め照明調整作業を行っていてもよいし、ユーザへの外観検査装置45の納入後、ユーザによって照明調整作業が行われる構成としてもよい。
【0207】
ユーザによって照明調整作業が行われる場合には、当初は予定されておらず、新たに検査に追加された対象物や検査対象などの種類に合わせて照明調整作業を行うことができると共に、照明パネルL1〜L15が劣化した場合等における再調整を行うことができる。
【0208】
(j)また、外観検査装置45の使用中など、学習処理や最適化処理を行ってない場合において、ニューラルネットワーク90とその誤差逆伝播を利用して、照明パネルL1〜L15に係る調光パラメータ値に対する勾配を求め、その値を判定することにより、照明パネルL1〜L15の故障や劣化など、検査環境の変化等を検知する機能を備えた構成としてもよい。
【符号の説明】
【0209】
1…PTPシート、2…ポケット部、3…容器フィルム、4…カバーフィルム、5…錠剤、10…PTP包装機、45…検査装置、52…照明ユニット、53…カメラユニット、54…制御装置、57…記憶部、63…LED、71…メイン制御部、72…照明制御部、73…カメラ制御部、74…画像取得部、75…画像処理部、76…学習部、77…調光パラメータ調整部、78…調光パラメータ設定部、79…検査部、90…ニューラルネットワーク、91…入力層、92…中間層、93…出力層、94…ノード、100…AIモデル、L1〜L15…照明パネル。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15