(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004458
(43)【公開日】2024-01-16
(54)【発明の名称】検査装置及びPTP包装機
(51)【国際特許分類】
G06T 7/00 20170101AFI20240109BHJP
G01N 21/85 20060101ALI20240109BHJP
G06N 3/0464 20230101ALI20240109BHJP
B65B 9/04 20060101ALI20240109BHJP
G06N 3/08 20230101ALI20240109BHJP
G06N 3/0455 20230101ALI20240109BHJP
【FI】
G06T7/00 610C
G01N21/85 A
G06T7/00 350C
G06N3/0464
B65B9/04
G06N3/08
G06N3/0455
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023078284
(22)【出願日】2023-05-11
(31)【優先権主張番号】P 2022103193
(32)【優先日】2022-06-28
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000106760
【氏名又は名称】CKD株式会社
(74)【代理人】
【識別番号】100111095
【弁理士】
【氏名又は名称】川口 光男
(72)【発明者】
【氏名】小田 将蔵
(72)【発明者】
【氏名】大谷 剛将
(72)【発明者】
【氏名】大山 剛
(72)【発明者】
【氏名】坂井田 憲彦
【テーマコード(参考)】
2G051
3E050
5L096
【Fターム(参考)】
2G051AA02
2G051AA41
2G051AB02
2G051CA04
2G051CB02
2G051DA06
2G051EB10
3E050AA03
3E050AA08
3E050AB05
3E050AB08
3E050BA09
3E050BA12
3E050CA01
3E050CB03
3E050CB07
3E050CC07
3E050DA01
3E050DD04
3E050DF02
3E050DF06
3E050FB01
3E050FB08
3E050GA06
3E050GB02
3E050GB09
3E050GC03
3E050GC07
3E050HB03
3E050HB06
3E050HB09
5L096AA03
5L096AA06
5L096BA03
5L096BA18
5L096CA02
5L096CA23
5L096DA02
5L096FA59
5L096GA30
5L096GA51
5L096HA09
5L096HA11
5L096JA03
5L096KA04
(57)【要約】
【課題】過去の追加学習を生かしつつ、検査精度の向上を図ることができる検査装置などを提供する。
【解決手段】追加学習部52hは、AIモデル200のニューラルネットワークに対し、良品に係る画像データを追加学習データとして追加学習させることで、学習済みのAIモデル200を生成する。また、追加学習部52hは、検査に利用されている現用AIモデル200zを用いた良否判定により、不良品が良品であると誤判定された場合、現用AIモデル200zを得る前の段階のAIモデル200のニューラルネットワークに対し、該AIモデル200から現用AIモデル200zを生成するにあたって利用した追加学習データのうち、誤判定の要因として特定された追加学習データ以外のデータを学習させて、新たな学習済みのAIモデル200を生成する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
所定の検査対象物に対する検査を行うための検査装置であって、
検査対象物に係る画像データを取得可能な画像データ取得手段と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークによって、入力された画像データに応じた画像データを出力可能に構成された識別手段の前記ニューラルネットワークに対し、良品の検査対象物に係る画像データのみを学習データとして学習させて生成した、学習済みの前記識別手段である学習済識別手段と、
前記識別手段の前記ニューラルネットワークに対し、良品の検査対象物に係る画像データを追加学習データとして追加学習させることで、新たな前記学習済識別手段を生成する追加学習手段と、
前記画像データ取得手段により得られた画像データである元画像データを、前記学習済識別手段に入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データと、該元画像データを前記学習済識別手段に入力して取得された前記再構成画像データとを比較し、比較結果に基づき検査対象物の良否を判定可能な判定手段と、
前記追加学習手段による追加学習が一部又は全部行われていない段階の前記識別手段である旧識別手段を記憶する識別手段記憶手段と、
前記旧識別手段から、検査対象物の検査に利用されている前記学習済識別手段である現用識別手段を生成するにあたって用いられた前記追加学習データである特定学習データの全てを記憶する特定学習データ記憶手段とを備え、
前記追加学習手段は、前記再構成画像データ取得手段によって前記現用識別手段に前記元画像データを入力して再構成された前記再構成画像データに基づく前記判定手段の良否判定により、不良品の検査対象物が良品であると誤判定された場合、前記識別手段記憶手段に記憶された前記旧識別手段の前記ニューラルネットワークに対し、その誤判定の要因として特定された前記追加学習データである誤判定要因データを除いた前記特定学習データを学習させて、新たな前記学習済識別手段を生成可能に構成されていることを特徴とする検査装置。
【請求項2】
前記識別手段記憶手段は、前記現用識別手段とは別に、該現用識別手段と同一内容の前記識別手段である複製現用識別手段を記憶しており、
前記追加学習手段は、前記再構成画像データ取得手段によって前記現用識別手段に前記元画像データを入力して再構成された前記再構成画像データに基づく前記判定手段の良否判定により、良品の検査対象物が不良品であると誤判定された場合、前記識別手段記憶手段に記憶された前記複製現用識別手段の前記ニューラルネットワークに対し、その誤判定を生じさせた前記元画像データを追加学習させて、新たな前記学習済識別手段を生成可能に構成されていることを特徴とする請求項1に記載の検査装置。
【請求項3】
前記判定手段の良否判定によって不良品の検査対象物が良品であると誤判定された場合における、その誤判定に係る前記元画像データである不良画像データを記憶する不良画像データ記憶手段と、
前記不良画像データに対する類似度に基づき、前記特定学習データの中から前記誤判定要因データを特定する要因データ特定手段とを有することを特徴とする請求項1に記載の検査装置。
【請求項4】
新たに生成された前記学習済識別手段に対し、該学習済識別手段の生成の契機となった誤判定に係る前記元画像データを入力して再構成された前記再構成画像データに基づき、前記判定手段による良否判定を行わせることで、新たに生成された前記学習済識別手段の学習状態を確認する画像出力AI用の確認手段を備えることを特徴とする請求項1に記載の検査装置。
【請求項5】
前記追加学習手段による学習処理に係る情報、及び、前記画像出力AI用の確認手段による確認結果を表示可能な表示手段と、
前記現用識別手段を、新たに生成された前記学習済識別手段に置換することの承認に係る入力を受付可能な承認入力受付手段とを備えることを特徴とする請求項4に記載の検査装置。
【請求項6】
所定の検査対象物に対する検査を行うための検査装置であって、
検査対象物に係る画像データを取得可能な画像データ取得手段と、
入力された画像データを所定の項目で分類し、分類結果を出力可能に構成された識別手段のニューラルネットワークに対し、良品及び不良品の検査対象物に係る画像データを学習データとして学習させることで生成してなる、学習済みの前記識別手段である学習済識別手段と、
前記識別手段の前記ニューラルネットワークに対し、検査対象物に係る画像データを追加学習データとして追加学習させることで、新たな前記学習済識別手段を生成する追加学習手段と、
前記追加学習手段による追加学習が一部又は全部行われていない段階の前記識別手段である旧識別手段と、検査対象物の検査に利用されている前記学習済識別手段である現用識別手段とは別に、該現用識別手段と同一内容の前記識別手段である複製現用識別手段とを記憶する識別手段記憶手段と、
前記旧識別手段から前記現用識別手段を生成するにあたって用いられた前記追加学習データである特定学習データの全てを記憶する特定学習データ記憶手段と、
前記追加学習手段は、前記現用識別手段に前記元画像データを入力して出力された分類結果に誤判定が生じた場合、前記識別手段記憶手段に記憶された前記複製現用識別手段の前記ニューラルネットワークに対し、その誤判定を生じさせた前記元画像データを追加学習させて、新たな前記学習済識別手段を生成可能であり、
新たに生成された前記学習済識別手段に対し、該学習済識別手段の生成の契機となった誤判定に係る前記元画像データを入力して出力された分類結果に基づき、新たに生成された前記学習済識別手段の学習状態を確認する分類出力AI用の確認手段によって、学習状態が適切であると判定された場合には、前記現用識別手段を、新たに生成された前記学習済識別手段に置換可能と判断する一方、
新たに生成された前記学習済識別手段に対し前記元画像データを入力して出力された分類結果に誤判定が生じ、前記分類出力AI用の確認手段によって学習状態が不適切であると判定された場合には、前記識別手段記憶手段に記憶された前記旧識別手段の前記ニューラルネットワークに対し、その誤判定された分類結果と同一の分類結果の検査対象物に係るデータであり、かつ、その誤判定の要因として特定されたデータである誤判定要因データを除いた前記特定学習データを学習させて、新たな前記学習済識別手段を生成可能であることを特徴とする検査装置。
【請求項7】
新たに生成された前記学習済識別手段に前記元画像データを入力して出力された分類結果に誤判定が生じ、前記分類出力AI用の確認手段によって学習状態が不適切であると判定された場合における、その誤判定に係る前記元画像データである誤判定発生画像データを記憶する誤判定発生画像データ記憶手段と、
前記誤判定発生画像データに対する類似度に基づき、前記特定学習データの中から前記誤判定要因データを特定する要因データ特定手段とを有することを特徴とする請求項6に記載の検査装置。
【請求項8】
前記追加学習手段による学習処理に係る情報、及び、前記分類出力AI用の確認手段による確認結果を表示可能な表示手段と、
前記現用識別手段を、新たに生成された前記学習済識別手段に置換することの承認に係る入力を受付可能な承認入力受付手段とを備えることを特徴とする請求項6に記載の検査装置。
【請求項9】
検査対象物としての錠剤又はPTPシートを検査する、請求項1又は6に記載の検査装置を備えたPTP包装機。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の検査対象物を検査するための検査装置及びポケット部に錠剤が収容されてなるPTPシートを製造するためのPTP包装機に関する。
【背景技術】
【0002】
一般に医薬品や食料品等の分野において用いられるブリスタシートとしてPTP(プレススルーパック)シートが知られている。PTPシートは、錠剤が収容されるポケット部を有する容器フィルムと、その容器フィルムに対しポケット部の開口側を密封するように取着されるカバーフィルムとを備えている。
【0003】
また、所定の検査装置によって、PTPシートや錠剤などの検査対象物の外観検査を行うことがある。近年では、ニューラルネットワークに対し、良品の検査対象物に係る画像データのみを学習データとして学習させて生成したAIモデルを用いて、検査対象物の外観検査を行う検査装置が提案されている(例えば、特許文献1,2等参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-29241公報
【特許文献2】特許第7046150号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、AIモデルを用いた検査装置によって、良品の検査対象物を不良品であると判定するなどの誤判定が生じることがある。この場合、AIモデルのニューラルネットワークに対し、その誤判定に係る画像データを追加学習させることで、誤判定の発生低減を図ることができる。
【0006】
しかしながら、追加学習を重ねるにつれて、ニューラルネットワークにおける過学習が生じ、結果的に、不良品の検査対象物を良品であると誤判定する等の事態(過学習による誤判定)が生じ得る。このような事態が生じた場合、従前では、AIモデルを初期状態(例えば工場出荷時や無学習の状態)に戻すといった対応が取られているため、過去の追加学習を何ら生かすことができなくなるおそれがある。
【0007】
本発明は、上記事情に鑑みてなされてものであり、その目的は、過去の追加学習を生かしつつ、検査精度の向上を図ることができる検査装置などを提供することにある。
【課題を解決するための手段】
【0008】
以下、上記目的を解決するのに適した各手段につき、項分けして説明する。なお、必要に応じて対応する手段に特有の作用効果を付記する。
【0009】
手段1.所定の検査対象物に対する検査を行うための検査装置であって、
検査対象物に係る画像データを取得可能な画像データ取得手段と、
入力される画像データから特徴量を抽出する符号化部、及び、該特徴量から画像データを再構成する復号化部を有するニューラルネットワークによって、入力された画像データに応じた画像データを出力可能に構成された識別手段の前記ニューラルネットワークに対し、良品の検査対象物に係る画像データのみを学習データとして学習させて生成した、学習済みの前記識別手段である学習済識別手段と、
前記識別手段の前記ニューラルネットワークに対し、良品の検査対象物に係る画像データを追加学習データとして追加学習させることで、新たな前記学習済識別手段を生成する追加学習手段と、
前記画像データ取得手段により得られた画像データである元画像データを、前記学習済識別手段に入力して再構成された画像データを再構成画像データとして取得可能な再構成画像データ取得手段と、
前記元画像データと、該元画像データを前記学習済識別手段に入力して取得された前記再構成画像データとを比較し、比較結果に基づき検査対象物の良否を判定可能な判定手段と、
前記追加学習手段による追加学習が一部又は全部行われていない段階の前記識別手段である旧識別手段を記憶する識別手段記憶手段と、
前記旧識別手段から、検査対象物の検査に利用されている前記学習済識別手段である現用識別手段を生成するにあたって用いられた前記追加学習データである特定学習データの全てを記憶する特定学習データ記憶手段とを備え、
前記追加学習手段は、前記再構成画像データ取得手段によって前記現用識別手段に前記元画像データを入力して再構成された前記再構成画像データに基づく前記判定手段の良否判定により、不良品の検査対象物が良品であると誤判定された場合、前記識別手段記憶手段に記憶された前記旧識別手段の前記ニューラルネットワークに対し、その誤判定の要因として特定された前記追加学習データである誤判定要因データを除いた前記特定学習データを学習させて、新たな前記学習済識別手段を生成可能に構成されていることを特徴とする検査装置。
【0010】
尚、上記手段1にて「学習データ」として用いる「良品の検査対象物に係る画像データ」としては、これまでの検査で蓄積された良品の検査対象物に係る画像データや、作業者が目視により選別した良品の検査対象物に係る画像データ、これら画像データなどを用いて生成した仮想良品画像データなどを挙げることができる。
【0011】
加えて、上記手段1における「学習済識別手段」は、良品の検査対象物に係る画像データのみを学習させて生成したものであるため、不良品の検査対象物に係る元画像データを学習済識別手段に入力したときに生成される再構成画像データは、ノイズ部分(不良部分)が除去された元画像データとほぼ一致することになる。すなわち、検査対象物に不良部分があるときには、再構成画像データとして、不良部分がないものと仮定した場合の該検査対象物に係る仮想的な画像データが生成される。
【0012】
また、上記「ニューラルネットワーク」には、例えば複数の畳み込み層を有する畳み込みニューラルネットワークなどが含まれる。上記「学習」には、例えば深層学習(ディープラーニング)などが含まれる。上記「識別手段(生成モデル)」には、例えばオートエンコーダ(自己符号化器)や、畳み込みオートエンコーダ(畳み込み自己符号化器)などが含まれる(手段6においても同様)。
【0013】
さらに、「旧識別手段」は、ニューラルネットワークに対する学習が行われた識別手段のみならず、ニューラルネットワークが未学習の状態の識別手段も含む(手段6においても同様)。
【0014】
上記手段1によれば、元画像データと、該元画像データを学習済識別手段へ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、検査対象物の良否を判定することができる。そのため、比較する両画像データは、それぞれ同一の検査対象物に係るものとなる。従って、比較する両画像データにおいて、検査対象物の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、画像データを得る際の条件(例えばカメラに対する検査対象物の配置位置や配置角度、明暗状態やカメラの画角等)を一致させることができる。これらの結果、良否判定を非常に精度よく行うことができる。
【0015】
また、上記手段1によれば、現用識別手段に元画像データを入力して再構成された再構成画像データに基づく良否判定により、不良品の検査対象物が良品であると誤判定された場合、つまり、過学習による誤判定が生じたと考えられる場合、追加学習手段は、追加学習が一部又は全部行われていない段階の識別手段(現用識別手段よりも前の段階の識別手段)である旧識別手段(例えば初期AIモデル)のニューラルネットワークに対する学習を行い、新たな学習済識別手段を生成する。このとき、追加学習手段は、旧識別手段のニューラルネットワークに対し、旧識別手段から現用識別手段を生成するにあたって用いられた追加学習データである特定学習データのうち、前記誤判定の要因として特定された追加学習データ以外のデータを学習させる。そのため、新たに生成される学習済識別手段において、過去の追加学習データを生かしつつ、過学習による誤判定の発生をより確実に抑制可能となるように学習状態の修正を行うことができる。その結果、不良品の検査対象物が良品であると誤判定されることをより確実に防止でき、検査精度を高めることができる。
【0016】
加えて、追加学習手段は、検査に利用されている現用識別手段のニューラルネットワークではなく、識別手段記憶手段に記憶された旧識別手段のニューラルネットワークに対して学習を行う。そのため、膨大な繰り返し処理となり得る、ニューラルネットワークの学習に係る処理や誤判定要因データの抽出(特定)に係る処理を、検査を停止させることなく行うことができる。これにより、多数の検査対象物に対する検査を、迅速に、かつ、効率よく行うことができる。
【0017】
手段2.前記識別手段記憶手段は、前記現用識別手段とは別に、該現用識別手段と同一内容の前記識別手段である複製現用識別手段を記憶しており、
前記追加学習手段は、前記再構成画像データ取得手段によって前記現用識別手段に前記元画像データを入力して再構成された前記再構成画像データに基づく前記判定手段の良否判定により、良品の検査対象物が不良品であると誤判定された場合、前記識別手段記憶手段に記憶された前記複製現用識別手段の前記ニューラルネットワークに対し、その誤判定を生じさせた前記元画像データを追加学習させて、新たな前記学習済識別手段を生成可能に構成されていることを特徴とする手段1に記載の検査装置。
【0018】
上記手段2によれば、良品の検査対象物が不良品であると誤判定された場合、識別手段記憶手段に記憶された複製現用識別手段のニューラルネットワークに対し、その誤判定を生じさせた元画像データを追加学習させることで、新たな学習済識別手段を生成することが可能である。従って、良品の検査対象物が不良品であると誤判定されることをより確実に防止な学習済識別手段を生成することが可能となり、検査精度をより高めることができる。
【0019】
また、上記手段2によれば、検査に利用されている現用識別手段とは別に記憶された、複製現用識別手段を追加学習の対象とするため、追加学習のために検査を停止させる必要はない。従って、検査に係る迅速性や効率性をより高めることができる。
【0020】
手段3.前記判定手段の良否判定によって不良品の検査対象物が良品であると誤判定された場合における、その誤判定に係る前記元画像データである不良画像データを記憶する不良画像データ記憶手段と、
前記不良画像データに対する類似度に基づき、前記特定学習データの中から前記誤判定要因データを特定する要因データ特定手段とを有することを特徴とする手段1に記載の検査装置。
【0021】
尚、要因データ特定手段としては、例えば、不良画像データに対する特定学習データの類似度(例えば、不良画像データから抽出される特徴量と、特定学習データから抽出される特徴量とに基づく、両画像データの類似度合いを示すスコアなど)を算出可能な公知の類似判定手段(例えば、ニューラルネットワークに対し、少なくとも不良画像データを学習させて生成したAI)を有し、算出された類似度と所定の閾値との比較結果に基づき、誤判定要因データの特定を行うものなどを挙げることができる。
【0022】
上記手段3によれば、誤判定に係る元画像データ(誤判定を生じさせた元画像データ)である不良画像データに対する類似度に基づき、特定学習データの中から誤判定要因データ(誤判定の要因と考えられる追加学習データ)を特定することができる。従って、誤判定要因データをより正確に特定することができ、ひいては、新たに生成される学習済識別手段を用いた検査に係る精度をより確実に高めることができる。
【0023】
手段4.新たに生成された前記学習済識別手段に対し、該学習済識別手段の生成の契機となった誤判定に係る前記元画像データを入力して再構成された前記再構成画像データに基づき、前記判定手段による良否判定を行わせることで、新たに生成された前記学習済識別手段の学習状態を確認する画像出力AI用の確認手段を備えることを特徴とする手段1に記載の検査装置。
【0024】
上記手段4によれば、新たに生成された学習済識別手段において、該学習済識別手段の生成の契機となった誤判定に係る元画像データに基づく誤判定が生じないか否か、つまり、より良好な検査精度が実現されているか否かを容易に確認することができる。また、万が一新たに生成された学習済識別手段を用いた検査でも同様の誤判定が生じることが確認されたときには、そのような誤判定への対処〔別手法による誤判定要因データの再特定を行うとともに、再特定された誤判定要因データを除いた上での再度の学習や、学習以外の対処(例えば、元画像データと再構成画像データとを比較する段階で用いる閾値の見直しなど)など〕を簡便に行うことが可能となる。
【0025】
手段5.前記追加学習手段による学習処理に係る情報、及び、前記画像出力AI用の確認手段による確認結果を表示可能な表示手段と、
前記現用識別手段を、新たに生成された前記学習済識別手段に置換することの承認に係る入力を受付可能な承認入力受付手段とを備えることを特徴とする手段4に記載の検査装置。
【0026】
上記手段5によれば、検査に利用されている現用識別手段を、新たに生成された学習済識別手段に置換することが、意図せず行われることをより確実に防止できる。これにより、意図しない置換に伴う不具合の発生をより確実に防ぐことができる。
【0027】
手段6.所定の検査対象物に対する検査を行うための検査装置であって、
検査対象物に係る画像データを取得可能な画像データ取得手段と、
入力された画像データを所定の項目で分類し、分類結果を出力可能に構成された識別手段のニューラルネットワークに対し、良品及び不良品の検査対象物に係る画像データを学習データとして学習させることで生成してなる、学習済みの前記識別手段である学習済識別手段と、
前記識別手段の前記ニューラルネットワークに対し、検査対象物に係る画像データを追加学習データとして追加学習させることで、新たな前記学習済識別手段を生成する追加学習手段と、
前記追加学習手段による追加学習が一部又は全部行われていない段階の前記識別手段である旧識別手段と、検査対象物の検査に利用されている前記学習済識別手段である現用識別手段とは別に、該現用識別手段と同一内容の前記識別手段である複製現用識別手段とを記憶する識別手段記憶手段と、
前記旧識別手段から前記現用識別手段を生成するにあたって用いられた前記追加学習データである特定学習データの全てを記憶する特定学習データ記憶手段と、
前記追加学習手段は、前記現用識別手段に前記元画像データを入力して出力された分類結果に誤判定が生じた場合、前記識別手段記憶手段に記憶された前記複製現用識別手段の前記ニューラルネットワークに対し、その誤判定を生じさせた前記元画像データを追加学習させて、新たな前記学習済識別手段を生成可能であり、
新たに生成された前記学習済識別手段に対し、該学習済識別手段の生成の契機となった誤判定に係る前記元画像データを入力して出力された分類結果に基づき、新たに生成された前記学習済識別手段の学習状態を確認する分類出力AI用の確認手段によって、学習状態が適切であると判定された場合には、前記現用識別手段を、新たに生成された前記学習済識別手段に置換可能と判断する一方、
新たに生成された前記学習済識別手段に対し前記元画像データを入力して出力された分類結果に誤判定が生じ、前記分類出力AI用の確認手段によって学習状態が不適切であると判定された場合には、前記識別手段記憶手段に記憶された前記旧識別手段の前記ニューラルネットワークに対し、その誤判定された分類結果と同一の分類結果の検査対象物に係るデータであり、かつ、その誤判定の要因として特定されたデータである誤判定要因データを除いた前記特定学習データを学習させて、新たな前記学習済識別手段を生成可能であることを特徴とする検査装置。
【0028】
尚、上記手段6にて「学習データ」として用いる「検査対象物に係る画像データ」には、良品の検査対象物に係る画像データのみならず、不良品の検査対象物に係る画像データも含まれる。また、「検査対象物に係る画像データ」としては、検査時に得られた画像データや、該画像データに基づき生成した仮想画像データなどを挙げることができる。
【0029】
さらに、学習済識別手段は、検査対象物の良否で分類するものであってもよいし、検査対象物の良否に加えて、検査対象物における不良の種別によって分類するものであってもよい。
【0030】
上記手段6によれば、検査対象物の分類結果に関する誤判定が生じた場合には、識別手段記憶手段に記憶された複製現用識別手段のニューラルネットワークに対し、その誤判定を生じさせた元画像データを追加学習させることで、新たな学習済識別手段を生成することが可能である。従って、より良好な検査精度を有する学習済識別手段を得ることができる。
【0031】
また、追加学習にあたっては、検査に利用されている現用識別手段のニューラルネットワークではなく、識別手段記憶手段に記憶された複製現用識別手段のニューラルネットワークに対して学習が行われる。これにより、検査を停止させることなく追加学習を行うことができ、検査の迅速性や効率性をより高めることができる。
【0032】
加えて、上記手段6によれば、分類出力AI用の確認手段によって、新たに生成された学習済識別手段において、誤判定を生じさせた元画像データに基づく再度の誤判定が生じないか否か、つまり、より良好な検査精度が実現されているか否かを容易に確認することができる。
【0033】
さらに、分類出力AI用の確認手段によって、再度の誤判定が生じない状態(より良好な検査精度が実現されている状態)となっていることが確認されて初めて、検査対象物の検査に利用されている現用識別手段が、新たに生成された学習済識別手段に置換可能と判断される。従って、誤判定が生じ得る不適切な学習済識別手段が、誤って検査で用いられることをより確実に防止できる。
【0034】
一方、分類出力AI用の確認手段によって、新たに生成された学習済識別手段を用いた検査において誤判定が生じることが確認された場合、つまり、過学習による誤判定が生じたと考えられる場合、追加学習手段は、追加学習が一部又は全部行われていない段階の識別手段(現用識別手段よりも前の段階の識別手段)である旧識別手段(例えば初期AIモデル)のニューラルネットワークに対する学習を行い、新たな学習済識別手段を生成する。このとき、旧識別手段から現用識別手段を生成するにあたって用いられた追加学習データである特定学習データのうちの、その誤判定された分類結果と同一の分類結果の検査対象物に係るデータの中から、その誤判定の要因と考えられるデータが、誤判定要因データとして特定される。
【0035】
例えば、新たに生成された学習済識別手段による検査において良品を誤って不良品と分類することが確認されたとする。この場合、特定学習データのうちの「不良品の検査対象物に係るデータ」の中から誤判定要因データが特定される。また、例えば、新たに生成された学習済識別手段による検査において、検査対象物に生じている不良の種別を、種別Xと判定すべきところ、種別Yと誤判定することが確認されたとする。この場合、特定学習データのうちの「種別Yの不良が生じている検査対象物に係るデータ」の中から誤判定要因データが特定される。これは、分類結果の誤判定が生じた場合、追加学習に用いたデータ(特定学習データ)のうち、その誤判定された分類結果と同一の分類結果に係る画像データが、誤判定を生じさせる要因になっていると考えられるためである。
【0036】
そして、追加学習手段は、旧識別手段のニューラルネットワークに対し、特定学習データから誤判定要因データを除外したデータを学習させることで、新たな学習済識別手段を生成する。従って、分類出力AI用の確認手段によって学習状態が不適切であると判定された場合に、過去の追加学習データを生かしつつ、過学習による誤判定の発生をより確実に抑制可能となるように学習状態の修正を行うことができる。その結果、検査対象物の分類に関する誤判定が生じることをより確実に防止でき、検査精度を高めることができる。
【0037】
加えて、分類出力AI用の確認手段によって学習状態が不適切であると判定された場合は、検査に利用されている現用識別手段のニューラルネットワークではなく、識別手段記憶手段に記憶された旧識別手段のニューラルネットワークに対し学習が行われる。そのため、膨大な繰り返し処理となり得る、ニューラルネットワークの学習に係る処理や誤判定要因データの抽出(特定)に係る処理を、検査を停止させることなく行うことができる。これにより、多数の検査対象物に対する検査を、より迅速に、かつ、より効率よく行うことができる。
【0038】
手段7.新たに生成された前記学習済識別手段に前記元画像データを入力して出力された分類結果に誤判定が生じ、前記分類出力AI用の確認手段によって学習状態が不適切であると判定された場合における、その誤判定に係る前記元画像データである誤判定発生画像データを記憶する誤判定発生画像データ記憶手段と、
前記誤判定発生画像データに対する類似度に基づき、前記特定学習データの中から前記誤判定要因データを特定する要因データ特定手段とを有することを特徴とする手段6に記載の検査装置。
【0039】
尚、要因データ特定手段としては、例えば、誤判定発生画像データに対する特定学習データの類似度(例えば、誤判定発生画像データから抽出される特徴量と、特定学習データから抽出される特徴量とに基づく、両画像データの類似度合いを示すスコアなど)を算出可能な公知の類似判定手段(例えば、ニューラルネットワークに対し、少なくとも誤判定発生画像データを学習させて生成したAI)を有し、算出された類似度と所定の閾値との比較結果に基づき、誤判定要因データの特定を行うものなどを挙げることができる。
【0040】
上記手段7によれば、分類出力AI用の確認手段により、学習済識別手段において誤判定が生じることが確認された場合に、誤判定に係る元画像データ(誤判定を生じさせた元画像データ)である誤判定発生画像データに対する類似度に基づき、特定学習データの中から誤判定要因データ(誤判定の要因と考えられる追加学習データ)を特定することができる。従って、誤判定要因データをより正確に特定することができ、ひいては、新たに生成される学習済識別手段を用いた検査に係る精度をより確実に高めることができる。
【0041】
手段8.前記追加学習手段による学習処理に係る情報、及び、前記分類出力AI用の確認手段による確認結果を表示可能な表示手段と、
前記現用識別手段を、新たに生成された前記学習済識別手段に置換することの承認に係る入力を受付可能な承認入力受付手段とを備えることを特徴とする手段6に記載の検査装置。
【0042】
上記手段8によれば、上記手段5と同様の作用効果が奏される。
【0043】
手段9.検査対象物としての錠剤又はPTPシートを検査する、手段1又は6に記載の検査装置を備えたPTP包装機。
【0044】
上記手段9によれば、上記手段1又は6と同様の作用効果が奏されることとなる。
【0045】
尚、上記手段に係る各技術事項を適宜組み合わせてもよい。例えば、上記手段2に係る技術事項に対し、上記手段3~5に係る技術事項のうちの少なくとも1つを組み合わせてもよい。また、上記手段7に係る技術事項に対し、上記手段8に係る技術事項を組み合わせてもよい。
【図面の簡単な説明】
【0046】
【
図4】第1実施形態における検査装置の概略構成図である。
【
図5】第1実施形態におけるPTP包装機の概略構成図である。
【
図6】第1実施形態における検査装置の機能構成を示すブロック図である。
【
図7】ポケット部成形装置及び加熱装置の概略構成を示す一部破断正面図である。
【
図8】ポケット部成形工程の流れを示すフローチャートである。
【
図9】第1実施形態におけるニューラルネットワークの構造を説明するための模式図である。
【
図10】第1実施形態におけるニューラルネットワークの学習処理の流れを示すフローチャートである。
【
図11】良否判定処理の流れを示すフローチャートである。
【
図12】第1実施形態における追加学習処理の流れを示すフローチャートである。
【
図13】第1実施形態における確認処理の流れを示すフローチャートである。
【
図14】第1実施形態における追加学習修正処理の流れを示すフローチャートである。
【
図15】第1実施形態における各種処理の流れを示すフローチャートである。
【
図16】成形不良のないポケット部に生じる濃淡模様等を示す図である。
【
図17】
図16のA-A線に沿った各画素に係る輝度値を示すグラフである。
【
図18】成形不良のあるポケット部に生じる濃淡模様等を示す図である。
【
図19】
図18のB-B線に沿った各画素に係る輝度値を示すグラフである。
【
図20】第1実施形態において、順次生成されるAIモデルや追加学習処理に用いられた追加学習データなどを示す図である。
【
図21】第2実施形態におけるPTP包装機の概略構成図である。
【
図22】第2実施形態における検査装置の機能構成を示すブロック図である。
【
図23】第2実施形態におけるニューラルネットワークの学習処理の流れを示すフローチャートである。
【
図24】第2実施形態における追加学習処理の流れを示すフローチャートである。
【
図25】第2実施形態における確認処理の流れを示すフローチャートである。
【
図26】第2実施形態における追加学習修正処理の流れを示すフローチャートである。
【
図27】第2実施形態における各種処理の流れを示すフローチャートである。
【
図28】第2実施形態において、順次生成されるAIモデルや追加学習処理に用いられた追加学習データなどを示す図である。
【
図29】別の実施形態において、AI記憶部に記憶されたAIモデルや画像データ記憶部に記憶された追加学習データなどを示す図である。
【
図30】別の実施形態に係るブリスタパックの斜視図である。
【発明を実施するための形態】
【0047】
以下に、実施形態について図面を参照しつつ説明する。
〔第1実施形態〕
まず、「検査対象物」としてのPTPシート1について説明する。
図1,2に示すように、PTPシート1は、複数のポケット部2を備えた容器フィルム3と、ポケット部2を塞ぐようにして容器フィルム3に取着されたカバーフィルム4とを有している。
【0048】
容器フィルム3は、例えばPP(ポリプロピレン)やPVC(ポリ塩化ビニル)等の無色透明な熱可塑性樹脂材料により形成され、透光性を有している。一方、カバーフィルム4は、例えばポリプロピレン樹脂等からなるシーラントが表面に設けられた不透明材料(例えばアルミニウム箔等)により構成されている。
【0049】
PTPシート1は、平面視略矩形状に形成されている。PTPシート1には、その長手方向に沿って配列された5個のポケット部2からなるポケット列が、その短手方向に2列形成されている。つまり、計10個のポケット部2が形成されている。各ポケット部2には、内容物としての錠剤5が1つずつ収容されている。
【0050】
ポケット部2は、カバーフィルム4と相対向するように配置される平面視略円形状の底部2aと、該底部2aの周囲に連接しかつ該底部2aとフィルム平坦部(ポケット非成形部)3bとを繋ぐ略円筒形状の側部2bとから構成されている。
【0051】
本実施形態における底部2aは、緩やかに湾曲した断面略円弧状に成形されているが、これに限らず、底部2aが平坦状に成形された構成としてもよい。また、底部2a及び側部2bが交わる角部2cが明らかでないような、より曲率の大きい断面円弧状に成形された構成としてもよい。
【0052】
PTPシート1は、帯状の容器フィルム3及び帯状のカバーフィルム4から形成された帯状のPTPフィルム6(
図3参照)が打抜かれることにより製造される。
【0053】
次に、上記PTPシート1を製造するPTP包装機11の概略構成について、
図5を参照して説明する。
【0054】
PTP包装機11の最上流側では、帯状の容器フィルム3の原反がロール状に巻回されている。ロール状に巻回された容器フィルム3の引出し端側は、ガイドロール13に案内されている。容器フィルム3は、ガイドロール13の下流側において間欠送りロール14に掛装されている。間欠送りロール14は、間欠的に回転するモータに連結されており、容器フィルム3を間欠的に搬送する。
【0055】
ガイドロール13と間欠送りロール14との間には、容器フィルム3の搬送経路に沿って、加熱装置15とポケット部成形装置16とが順に配設されている。加熱装置15によって容器フィルム3が加熱されて該容器フィルム3が比較的柔軟になった状態において、ポケット部成形装置16によって容器フィルム3の所定位置に複数のポケット部2が一度に成形される。尚、ポケット部2の成形は、間欠送りロール14による容器フィルム3の搬送動作間のインターバル中に行われる。加熱装置15及びポケット部成形装置16の構成については、後に詳述する。
【0056】
また、ガイドロール13と間欠送りロール14との間であって、ポケット部成形装置16の下流には、検査装置21が配設されている。検査装置21は、ポケット部成形装置16によって成形されたポケット部2の成形状態に関する検査を行うことで、該ポケット部2を備えたPTPシート1の検査を行うためのものである。検査装置21の構成については、後に詳述する。
【0057】
間欠送りロール14から送り出された容器フィルム3は、テンションロール18、ガイドロール19及びフィルム受けロール20の順に掛装されている。
【0058】
フィルム受けロール20は、一定回転するモータに連結されているため、容器フィルム3を連続的に且つ一定速度で搬送する。テンションロール18は、容器フィルム3を弾性力によって緊張する側へ引っ張った状態とされており、間欠送りロール14とフィルム受けロール20との搬送動作の相違による容器フィルム3の弛みを防止して容器フィルム3を常時緊張状態に保持する。
【0059】
ガイドロール19とフィルム受けロール20との間には、容器フィルム3の搬送経路に沿って、錠剤充填装置22が配設されている。
【0060】
錠剤充填装置22は、ポケット部2に錠剤5を自動的に充填する充填手段としての機能を有する。錠剤充填装置22は、フィルム受けロール20による容器フィルム3の搬送動作と同期して、所定間隔毎にシャッタを開くことで錠剤5を落下させるものであり、このシャッタ開放動作に伴って各ポケット部2に錠剤5が充填される。錠剤充填装置22の動作は、後述する充填制御装置82によって制御される。
【0061】
一方、帯状に形成されたカバーフィルム4の原反は、最上流側においてロール状に巻回されている。ロール状に巻回されたカバーフィルム4の引出し端は、ガイドロール24によって加熱ロール25の方へと案内されている。加熱ロール25は、フィルム受けロール20に圧接可能となっており、両ロール20,25間に容器フィルム3及びカバーフィルム4が送り込まれるようになっている。そして、容器フィルム3及びカバーフィルム4が、両ロール20,25間を加熱圧接状態で通過することで、容器フィルム3にカバーフィルム4が貼着され、ポケット部2がカバーフィルム4で塞がれる。これにより、錠剤5が各ポケット部2に収容されたPTPフィルム6が製造される。
【0062】
フィルム受けロール20から送り出されたPTPフィルム6は、テンションロール27及び間欠送りロール28の順に掛装されている。
【0063】
間欠送りロール28は、間欠的に回転するモータに連結されているため、PTPフィルム6を間欠的に搬送する。テンションロール27は、PTPフィルム6を弾性力によって緊張する側へ引っ張った状態とされており、フィルム受けロール20と間欠送りロール28との搬送動作の相違によるPTPフィルム6の弛みを防止してPTPフィルム6を常時緊張状態に保持する。
【0064】
間欠送りロール28から送り出されたPTPフィルム6は、テンションロール31及び間欠送りロール32の順に掛装されている。
【0065】
間欠送りロール32は、間欠的に回転するモータに連結されているため、PTPフィルム6を間欠的に搬送する。テンションロール31は、PTPフィルム6を弾性力によって緊張する側へ引っ張った状態とされており、間欠送りロール28,32間でのPTPフィルム6の弛みを防止する。
【0066】
間欠送りロール28とテンションロール31との間には、PTPフィルム6の搬送経路に沿って、スリット成形装置33及び刻印装置34が順に配設されている。スリット成形装置33は、PTPフィルム6の所定位置に切離用スリットを成形する機能を有する。刻印装置34は、PTPフィルム6の所定位置(例えばタグ部)に刻印を付す機能を有する。尚、
図1等では、切離用スリットや刻印の図示を省略している。
【0067】
間欠送りロール32から送り出されたPTPフィルム6は、その下流側においてテンションロール35及び連続送りロール36の順に掛装されている。
【0068】
間欠送りロール32とテンションロール35との間には、PTPフィルム6の搬送経路に沿って、シート打抜装置37が配設されている。シート打抜装置37は、PTPフィルム6をPTPシート1単位にその外縁を打抜くシート打抜手段(切離手段)としての機能を有する。
【0069】
シート打抜装置37によって打抜かれたPTPシート1は、コンベア38によって搬送され、完成品用ホッパ39に一旦貯留される。但し、PTPシート1を選択的に排出可能な不良シート排出機構40に対し後述する充填制御装置82から不良品信号が入力されると、不良品のPTPシート1は、不良シート排出機構40によって別途排出され、図示しない不良品ホッパに移送される。
【0070】
連続送りロール36の下流側には、裁断装置41が配設されている。シート打抜装置37による打抜き後に帯状に残ったスクラップ部42は、テンションロール35及び連続送りロール36に案内された後、裁断装置41に導かれる。裁断装置41は、スクラップ部42を所定寸法に裁断する機能を有する。裁断されたスクラップ部42はスクラップ用ホッパ43に貯留された後、別途廃棄処理される。
【0071】
次いで、
図7を参照して加熱装置15及びポケット部成形装置16の構成について説明する。
【0072】
加熱装置15は、上部ヒータプレート15a及び下部ヒータプレート15bを備えている。両ヒータプレート15a,15bは、図示しないヒータによって加熱可能に構成されている。両ヒータプレート15a,15bは、容器フィルム3の搬送経路を挟むようにして設けられており、それぞれ容器フィルム3に接近又は離間する方向に移動可能とされている。
【0073】
また、各ヒータプレート15a,15bは、容器フィルム3におけるポケット部2の成形予定部3aに対応する位置に、複数の突出部15c,15dを備えている。
【0074】
間欠的に搬送される容器フィルム3は、一時停止中に、両ヒータプレート15a,15bの接近移動に伴い突出部15c,15dにより挟まれることで部分的に(スポット的に)加熱され、この加熱された部分が軟化状態となる。尚、本実施形態では、突出部15c,15dにおける容器フィルム3との接触部が、ポケット部2の平面形状よりも一回り小さなものとされている。
【0075】
ポケット部成形装置16は、下型61及び上型71を備えている。下型61は、ポケット部2の位置に対応する位置に複数の挿通孔64を備えている。また、下型61は、筒状の下型チャンバー62を介して固定状態にある支持台63に固定されている。支持台63には、複数の貫通孔が形成されており、該貫通孔にはベアリング機構を介して棒状のスライダ65が挿通されている。スライダ65は、図示しないカム機構によって上下動可能である。
【0076】
スライダ65の上部には、ポケット部成形型66が固定されており、該ポケット部成形型66は、前記挿通孔64に挿通可能な棒状のプラグ66aを複数備えている。プラグ66aの先端形状は、ポケット部2の内面に対応する形状とされている。ポケット部成形型66は、前記カム機構の駆動によるスライダ65の上下動に伴い上下動する。尚、下型61やポケット部成形型66などは、生産するPTPシート1の品種に応じて適宜交換可能である。
【0077】
さらに、スライダ65及びポケット部成形型66のそれぞれの内部には、冷却水(又は温水)を循環させるための循環路67が形成されている。これにより、各プラグ66aにおける表面温度のばらつきが抑制されるようになっている。
【0078】
プラグ66aは、ポケット部2の成形時に、初期位置、中間停止位置及び突出位置へとこの順で配置され、最終的に初期位置へと戻るようになっている。初期位置は、ポケット部2の成形工程の開始時にプラグ66aが配置される位置であり、この位置に配置されたプラグ66aは挿通孔64の下方であって挿通孔64外に配置された状態となる。中間停止位置は、ポケット部2の成形工程の中間段階にてプラグ66aが配置される位置であり、この位置に配置されたプラグ66aは挿通孔64内に配置され、容器フィルム3との間で所定の隙間を形成した状態となる。突出位置は、ポケット部2の成形工程の最終段階にてプラグ66aが配置される位置であり、この位置に配置されたプラグ66aの先端面は、ポケット部2の深さに対応する分だけ下型61から突出した状態となる。尚、このようなプラグ66aの動作は後述する成形制御装置81によって制御される。
【0079】
一方、上型71は、プレート72を介して上下動可能な上板73に固定されており、下型61に対し接近又は離間する方向に沿って移動可能とされている。上型71は、下型61の挿通孔64と相対する位置に気体供給孔74を備えている。
【0080】
さらに、プレート72及び上板73の内部には、気体供給孔74と連通する気体供給路75が形成されており、該気体供給路75に対し、例えばコンプレッサ等により構成された気体供給装置76から、所定の高圧の気体(不活性ガス、本実施形態では空気)が供給される。
【0081】
尚、本実施形態では、ポケット部成形装置16の一回の動作によって、1枚分のPTPシート1に対応する計10個のポケット部2が同時に成形される構成となっている。すなわち容器フィルム3のフィルム幅方向(Y方向)に対し5つ、かつ、フィルム搬送方向(X方向)に対し2つのポケット部2が同時に成形される構成となっている。
【0082】
次いで、
図5に戻り、加熱装置15及びポケット部成形装置16によるポケット部2の成形に関する制御を行うための成形制御装置81について説明する。成形制御装置81は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)などを有するコンピュータシステムによって構成されている。
【0083】
成形制御装置81には、プラグ66aにおける初期位置、中間停止位置及び突出位置に関する各情報などが設定記憶されており、これらの情報に基づきプラグ66aの動作制御が行われる。尚、プラグ66aの初期位置、中間停止位置及び突出位置に関する各情報は、製造対象となるPTPシート1におけるポケット部2の深さなどに応じて適宜変更される。
【0084】
ここで、成形制御装置81の制御により実行されるポケット部成形工程について
図8を参照しつつ説明する。
【0085】
ポケット部成形工程では、まずステップS101の中間停止位置配置工程が行われる。中間停止位置配置工程では、スライダ65の移動によりポケット部成形型66を上方へと移動させることで、初期位置に配置されたプラグ66aが上方に向かって移動する。
【0086】
そして、設定された中間停止位置にプラグ66aが到達すると、スライダ65の移動が停止され、プラグ66aが中間停止位置に配置された状態になる。このとき、プラグ66aの先端面は、容器フィルム3から所定距離だけ離れた状態とされる。この所定距離は、通常、ポケット部2の深さよりも小さなものとされる。
【0087】
次いで、ステップS102の挟持工程において、上型71を下方に向けて移動させることで、固定状態にある下型61と上型71とで容器フィルム3を挟んだ状態とする。このとき、容器フィルム3のうち、ポケット部2となる成形予定部3a(
図7参照)の周囲に位置する環状部分が、両型61,71で挟持された状態となる。尚、中間停止位置配置工程及び挟持工程を同時に行ってもよいし、挟持工程を中間停止位置配置工程よりも先に行ってもよい。
【0088】
続くステップS103の膨出工程では、気体供給装置76から気体供給路75を介して気体供給孔74へと気体を供給することで、容器フィルム3におけるポケット部2の成形予定部3aに対し、その表側(
図7上側)から圧縮エアを吹き付ける。気体の供給により、成形予定部3aは、ポケット部2の突出側(
図7上側)とは反対側(
図7下側)に膨出し、引き伸ばされて薄くなる。
【0089】
そして、成形予定部3aは、プラグ66aの先端面により支持された状態となるまで膨出する。気体の供給により成形予定部3aを膨出させる場合、膨出後の成形予定部3aの肉厚は全体的にほぼ同じになる。
【0090】
尚、プラグ66aの中間停止位置に応じて、容器フィルム3の延伸量が変化し、成形予定部3aの肉厚も変化する。プラグ66aの中間停止位置が比較的高い場合には、容器フィルム3の延伸量が比較的小さなものとなるため、成形予定部3aは全体的に厚い状態となる。一方、プラグ66aの中間停止位置が比較的低い場合には、容器フィルム3の延伸量が比較的大きなものとなるため、成形予定部3aは全体的に薄い状態となる。
【0091】
続くステップS104の最終成形工程では、プラグ66aが上方へと移動し、突出位置へと配置される。その結果、成形予定部3aにおける膨らみ方向が反転して、所定の深さを有するポケット部2が成形される。
【0092】
尚、押圧により容器フィルム3を変形させる場合、成形予定部3aのうち底部2aに相当する部位はプラグ66aと接触して冷却されるため、底部2aに相当する部位はほとんど延伸されない。従って、中間停止位置を比較的高くすることで成形予定部3aが全体的に厚い状態となっていれば、プラグ66aによる押圧時に底部2aに相当する部位は厚い状態で維持されるため、結果的に、成形されるポケット部2における側部2bが比較的薄肉となる。
【0093】
一方、中間停止位置を比較的低くすることで成形予定部3aが全体的に薄い状態となっていれば、プラグ66aによる押圧時に底部2aに相当する部位は薄い状態で維持されるため、結果的に、成形されるポケット部2における側部2bが比較的厚肉となる。
【0094】
このようにプラグ66aの中間停止位置を調節し成形予定部3aの肉厚を調節することで、最終的に成形されるポケット部2における底部2a及び側部2bのそれぞれの肉厚のバランスを調節することが可能となる。
【0095】
最終成形工程の後には、プラグ66aを初期位置に配置するとともに、両型61,71による容器フィルム3の挟持を解除することで、ポケット部成形工程が終了する。
【0096】
次いで、錠剤充填装置22による錠剤5の充填に関する制御を行うための充填制御装置82について説明する。充填制御装置82は、CPUやRAMなどを有するコンピュータシステムによって構成されている。
【0097】
充填制御装置82は、検査装置21による検査結果に基づき、所定のポケット部2に対し錠剤5を充填するか否かを切換え制御可能である。具体的には、充填制御装置82は、検査装置21から所定のPTPシート1(10個のポケット部2の成形状態)に関する良否判定結果が入力され、かかる良否判定結果が「良品」判定である場合には、かかるPTPシート1に含まれる10個すべてのポケット部2に対し錠剤5を充填するように錠剤充填装置22を制御する。
【0098】
一方、充填制御装置82は、所定のPTPシート1に関する良否判定結果が「不良品」判定である場合には、かかるPTPシート1に含まれる10個すべてのポケット部2に対し錠剤5を充填しないように錠剤充填装置22を制御する。また、充填制御装置82は、不良シート排出機構40に対し不良品信号を出力する。その結果、不良シート排出機構40によって、不良品信号に係るPTPシート1(不良シート)が排出される。
【0099】
次いで、検査装置21の構成について詳しく説明する。
図4~6に示すように、検査装置21は、照明装置50、カメラ51及び検査制御装置52を備えている。
【0100】
照明装置50は、ポケット部2の突出側(
図4下側)から容器フィルム3の所定範囲に対し所定の電磁波を照射するものである。照明装置50は、電磁波照射装置50aと、これを覆う拡散板50bとを有しており、面発光可能に構成されている。本実施形態における照明装置50は、容器フィルム3に対し紫外光を含む電磁波を照射する。
【0101】
カメラ51は、照明装置50から照射される電磁波の波長領域に感度を有するものである。カメラ51は、容器フィルム3のポケット部2開口側(
図4上側)に設けられており、そのレンズの光軸OLが容器フィルム3のフィルム平坦部3bと直交する鉛直方向(Z方向)に沿うように配置されている。
【0102】
また、カメラ51のレンズに対応して、バンドパスフィルタ51aが設けられている。バンドパスフィルタ51aを設けることで、照明装置50から照射される電磁波のうち、容器フィルム3を透過した紫外光のみがカメラ51により二次元撮像されることとなる。また、このようにカメラ51によって取得された透過画像データは、容器フィルム3における紫外光の透過率の差異に基づき各画素(各座標位置)で輝度の異なる輝度画像データとなる。
【0103】
特に本実施形態では、上記バンドパスフィルタ51aとして、例えば容器フィルム3の透過率がおよそ30±10パーセントとなる波長253±20nmの紫外光のみを通すものが用いられている。これは、容器フィルム3を透過する電磁波の透過率が高すぎても低すぎても、ポケット部2の底部2aの薄肉部位と厚肉部位における光の透過率に差が生じにくくなるおそれがあるためである。
【0104】
尚、本実施形態におけるカメラ51の撮像範囲は、少なくともポケット部成形装置16の一回の動作で容器フィルム3に成形される1枚分のPTPシート1に対応する計10個のポケット部2を含む範囲を一度に撮像するように設定されている。
【0105】
検査制御装置52は、所定の演算処理を実行するCPU、各種プログラムや固定値データ等を記憶するROM、各種演算処理の実行に際して各種データが一時的に記憶されるRAM及びこれらの周辺回路等を含んだコンピュータシステムによって構成されている。
【0106】
検査制御装置52は、CPUが各種プログラムに従って動作することで、後述するメイン制御部52a、照明制御部52b、カメラ制御部52c、画像取込部52d、画像処理部52e、再構成画像データ取得部52f、判定部52g、追加学習部52h及び保存処理実行部52nなどの各種機能部として機能する。本実施形態では、再構成画像データ取得部52fが「再構成画像データ取得手段」を構成し、判定部52gが「判定手段」を構成し、追加学習部52hが「追加学習手段」を構成する。
【0107】
但し、上記各種機能部は、上記CPU、ROM、RAMなどの各種ハードウェアが協働することで実現されるものであり、ハード的又はソフト的に実現される機能を明確に区別する必要はなく、これらの機能の一部又は全てがICなどのハードウェア回路により実現されてもよい。
【0108】
さらに、検査制御装置52には、キーボードやマウス、タッチパネル等で構成される入力部521、液晶ディスプレイなどの表示画面を有する表示部522、外部と各種データを送受信可能な通信部528などが設けられている。本実施形態では、表示部522が「表示手段」を構成する。
【0109】
また、検査制御装置52は、それぞれHDD(Hard Disk Drive)やSSD(Solid State Drive)等で構成された検査情報記憶部523、使用AI記憶部524、非使用AI記憶部525、画像データ記憶部526及び追加学習情報記憶部527を備えている。本実施形態では、非使用AI記憶部525が「識別手段記憶手段」を構成する。
【0110】
検査制御装置52を構成する上記各種機能部に先立って、まず、入力部521、表示部522、各記憶部523~527及び通信部528について説明する。
【0111】
入力部521は、検査制御装置52に対し情報を入力するための入力手段である。本実施形態では、入力部521を介して所定の追加学習命令や追加学習修正命令を入力可能である。
【0112】
追加学習命令は、例えば、後述する判定部52gの良否判定により、良品のPTPシート1が不良品であると誤判定された場合にオペレータ等によって入力される。一方、追加学習修正命令は、例えば、判定部52gの良否判定により、不良品のPTPシート1が良品であると誤判定された場合にオペレータ等によって入力される。勿論、検査装置21以外に別途設けられた検査装置によって誤判定が生じたと判定された場合に、追加学習命令や追加学習修正命令が検査制御装置52へと自動的に入力される構成としてもよい。
【0113】
尚、追加学習命令の入力により、後述する追加学習処理が行われ、追加学習修正命令の入力により、後述する追加学習修正処理が行われる。また、入力部521によって、検査情報記憶部523に記憶された各種設定情報を変更可能である。
【0114】
表示部522は、例えば、各記憶部523~527に記憶された各種情報を表示可能に構成されている。従って、表示部522では、カメラ51により得られた画像データ(透過画像データ)や、それぞれ後述する追加学習データ301及び不良画像データ302、検査に用いられる情報(例えば閾値など)、PTPシート1の良否判定結果などを表示可能である。
【0115】
検査情報記憶部523は、検査に用いられる各種設定情報や、良否判定結果などを記憶するためのものである。本実施形態では、各種設定情報として、例えばPTPシート1、ポケット部2及び錠剤5の形状及び寸法や、ポケット部2の領域を画定するためのポケット枠Wの形状及び寸法並びにカメラ51との相対位置関係、良否判定や画像データの類否判断に用いる閾値などが記憶されている。
【0116】
使用AI記憶部524は、「識別手段」としてのAIモデル200を記憶する。AIモデル200は、ディープニューラルネットワーク190(以下、単に「ニューラルネットワーク190」という。
図9参照。)によって、入力された画像データに応じた画像データを出力する機能を有する。
【0117】
ここで、ニューラルネットワーク190の構造について
図9を参照して説明する。
図9は、ニューラルネットワーク190の構造を概念的に示した模式図である。ニューラルネットワーク190は、入力される画像データ(濃淡模様データ)GAから特徴量(潜在変数)TAを抽出する「符号化部」としてのエンコーダ部191と、該特徴量TAから画像データ(濃淡模様データ)GBを再構成する「復号化部」としてのデコーダ部192と有してなる畳み込みオートエンコーダ(CAE:Convolutional Auto-Encoder)の構造を有している。
【0118】
畳み込みオートエンコーダの構造は公知のものであるため、詳しい説明は省略するが、エンコーダ部191は複数の畳み込み層(Convolution Layer)193を有し、各畳み込み層193では、入力データに対し複数のフィルタ(カーネル)194を用いた畳み込み演算が行われた結果が次層の入力データとして出力される。同様に、デコーダ部192は複数の逆畳み込み層(Deconvolution Layer)195を有し、各逆畳み込み層195では、入力データに対し複数のフィルタ(カーネル)196を用いた逆畳み込み演算が行われた結果が次層の入力データとして出力される。そして、後述する学習処理や追加学習処理などでは、各フィルタ194,196の重み(パラメータ)が更新されることとなる。
【0119】
図6に戻り、使用AI記憶部524は、AIモデル200として、PTPシート1の検査に現在利用されている現用AIモデル200zを記憶している。現用AIモデル200zについては後により詳しく説明する。
【0120】
非使用AI記憶部525は、検査に利用されていないAIモデル200を記憶する。非使用AI記憶部525に記憶されるAIモデル200には、PTPシート1の検査に利用されている(使用AI記憶部524に記憶されている)現用AIモデル200zとは別に記憶された、該現用AIモデル200zと同一内容のAIモデル200である複製現用AIモデル200z1と、初期AIモデル200aとが含まれる。
【0121】
複製現用AIモデル200z1は、現用AIモデル200zをコピーして得られたものであり、自身に対し更新処理などの各種処理が行われたとしても、現用AIモデル200zに何ら影響を与えないものである。本実施形態において、現用AIモデル200z、複製現用AIモデル200z1及び初期AIモデル200aは、それぞれ「学習済識別手段」を構成し、初期AIモデル200aは「旧識別手段」を構成する。また、現用AIモデル200zは「現用識別手段」を構成し、複製現用AIモデル200z1は「複製現用識別手段」を構成する。
【0122】
現用AIモデル200zは、追加学習部52hによる後述の追加学習処理や追加学習修正処理によって生成され、後述する承認用処理にて採用されたAIモデル200である。検査装置21によるPTPシート1の検査は、現用AIモデル200zを用いて行われる。一方、複製現用AIモデル200z1は、PTPシート1の検査に利用されない。
【0123】
現用AIモデル200z及び複製現用AIモデル200z1は、追加学習部52hによる追加学習処理や追加学習修正処理によって順次更新され得る。本実施形態において、使用AI記憶部524や非使用AI記憶部525には、現用AIモデル200zや複製現用AIモデル200z1として「AI(n)」(
図20参照)が記憶されている。尚、nは自然数を表す。
【0124】
初期AIモデル200aは、追加学習部52hによる追加学習処理が全く行われていない段階のAIモデル200である。本実施形態において、非使用AI記憶部525には、初期AIモデル200aとして、工場出荷時のAIモデル200である「AI(0)」(
図20参照)が記憶されている。
【0125】
尚、工場出荷時には、各AI記憶部524,525に対し初期AIモデル200aがそれぞれ記憶される。使用AI記憶部524に記憶された初期AIモデル200aは、追加学習処理によって現用AIモデル200zに更新されるまで、PTPシート1の検査に用いられる。
【0126】
現用AIモデル200z、複製現用AIモデル200z1及び初期AIモデル200aなどの学習済みのAIモデル200は、ポケット部2に成形不良のない良品のPTPシート1に係る画像データのみを学習データとして、ニューラルネットワーク190を深層学習(ディープラーニング)させて構築した生成モデルであり、いわゆるオートエンコーダ(自己符号化器)の構造を有する。本実施形態において、初期AIモデル200aは、そのニューラルネットワーク190に対し後述する学習処理が予め行われてなるものであり、また、現用AIモデル200z及び複製現用AIモデル200z1は、初期AIモデル200aのニューラルネットワーク190に対し複数回の追加学習処理などが行われてなるものである。
【0127】
ここで、初期AIモデル200aを生成する際に行われる学習処理(初期学習処理)について説明する。本実施形態において、学習処理は、所定の学習プログラムの実行に基づき、検査装置21の設置場所とは異なる場所(例えば検査装置21の製造工場など)で予め行われている。尚、学習処理に先立って、学習データとして、ポケット部2に成形不良のない良品のPTPシート1に係る画像データが多数用意される。この学習データは、後述する画像データ取得部52xによって得られる画像データ(濃淡模様データ)と同じ形式を有している。
【0128】
図10に示すように、学習処理では、まず、ステップS201において、未学習のニューラルネットワーク190を準備する。例えば所定の記憶装置等に予め格納されているニューラルネットワーク190を読み出す。又は、前記記憶装置等に格納されているネットワーク構成情報(例えばニューラルネットワークの層数や各層のノード数など)に基づいて、ニューラルネットワーク190を構築する。
【0129】
次いで、ステップS202において、再構成画像データを取得する。すなわち、予め用意された学習データを入力データとして、ニューラルネットワーク190の入力層に与える。そして、該ニューラルネットワーク190の出力層から出力される再構成画像データを取得する。
【0130】
続くステップS203では、学習データと、ステップS202においてニューラルネットワーク190により出力された再構成画像データ(再構成濃淡模様データ)とを比較し、その誤差が十分に小さいか否か(所定の閾値以下であるか否か)を判定する。
【0131】
ここで、前記誤差が十分に小さい場合には、ステップS205にて、学習処理の終了条件を満たすか否かを判定する。例えば、後述するステップS204の処理を経ることなくステップS203にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク190及びその学習情報(後述する更新後のパラメータ等)を初期AIモデル200aとして各AI記憶部524,525に格納し、学習処理を終了する。
【0132】
一方、ステップS205にて終了条件を満たさない場合には、ステップS202に戻り、ニューラルネットワーク190の学習を再度行う。
【0133】
また、ステップS203にて、前記誤差が十分に小さくない場合には、ステップS204においてネットワーク更新処理(ニューラルネットワーク190の学習)を行った後、再びステップS202へ戻り、上記一連の処理を繰り返す。
【0134】
ステップS204のネットワーク更新処理では、例えば誤差逆伝播法(Backpropagation)などの公知の学習アルゴリズムを用いて、学習データと再構成画像データとの差分を表す損失関数が極力小さくなるように、ニューラルネットワーク190における上記各フィルタ194,196の重み(パラメータ)をより適切なものに更新する。尚、損失関数としては、例えばBCE(Binary Cross-entropy)などを利用することができる。
【0135】
ステップS202~204の処理を何度も繰り返すことにより、ニューラルネットワーク190では、学習データと再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。
【0136】
そして、最終的に得られる初期AIモデル200aは、後述する画像データ取得部52xにより得られた画像データ(濃淡模様データであり、「元画像データ」ということがある)であって、良品のPTPシート1に係る画像データが入力されたときには、入力された画像データとほぼ一致する再構成画像データを生成するものとなる。また、初期AIモデル200aは、後述する画像データ取得部52xにより得られた画像データ(元画像データ)であって、不良品のPTPシート1に係る画像データが入力されたときには、ノイズ部分(不良部分に相当する部分)が除去された、入力された画像データとほぼ一致する再構成画像データを生成するものとなる。すなわち、PTPシート1が不良であるときには、該PTPシート1に係る再構成画像データとして、不良部分がないものと仮定した場合の該PTPシート1に係る仮想的な画像データが生成される。
【0137】
尚、検査装置21を製造する都度、上記学習処理を行う必要はなく、ニューラルネットワーク190及びその学習情報(更新後のパラメータ等)を予め取得しておき、これらを検査装置21の各AI記憶部524,525に対し、初期AIモデル200aとして格納するようにしてもよい。
【0138】
画像データ記憶部526は、後述する画像データ取得部52xにより得られた画像データ(濃淡模様データ)などの各種画像データを記憶する。尚、画像データ取得部52xにより得られる画像データ(濃淡模様データ)は、1枚分のPTPシート1に対応するものであって、ポケット部2の底部2a等に係る濃淡模様を計10個分表すものである。本実施形態では、画像データ記憶部526によって、「特定学習データ記憶手段」及び「不良画像データ記憶手段」が構成される。
【0139】
画像データ記憶部526に記憶される画像データには、追加学習部52hによる追加学習処理に利用される追加学習データ301が含まれる。追加学習データ301は、画像データ取得部52xにより得られた複数の画像データ(濃淡模様データ)のうち、良品のPTPシート1に係る画像データであって、所定の条件を満たすもの(例えばオペレータ等によって選択されたもの)である。
【0140】
また、追加学習データ301には、後述する判定部52gにより良品のPTPシート1が不良品と判定された場合における、その誤判定を生じさせた画像データが含まれる。つまり、追加学習データには、判定部52gにより不良品と判定されたが、実際には良品であったPTPシート1に係る画像データが含まれる。
【0141】
本実施形態では、追加学習データ301として、「IM(1)」~「IM(n)」(
図20参照)が記憶されている。例えば、「IM(1)」は、初期AIモデル200aのニューラルネットワーク190に対する追加学習処理に用いられた画像データであり、この追加学習処理によって生成されたAIモデル200が「AI(1)」である。
【0142】
また、追加学習データ301には、特定学習データ301aが含まれている。特定学習データ301aは、初期AIモデル200aから現用AIモデル200zを生成するにあたって用いられた追加学習データ301である。従って、本実施形態では、全ての追加学習データ301が特定学習データ301aに相当する。
【0143】
さらに、画像データ記憶部526に記憶される画像データには、不良画像データ302が含まれる。不良画像データ302とは、後述する判定部52gによる良否判定処理により、不良品のPTPシート1が良品であると誤判定された場合における、その誤判定に係る濃淡模様データ(元画像データ)である。つまり、不良画像データ302は、追加学習データ301とは異なり、不良品のPTPシート1に係るものである。
【0144】
尚、本実施形態では、判定部52gの良否判定によって不良品のPTPシート1が良品であると誤判定されたか否か、又は、判定部52gの良否判定によって良品のPTPシート1が不良品であると誤判定されたか否かについて、オペレータ等による目視検査によって判断されるようになっている。勿論、検査装置21以外の検査装置を別途設け、該検査装置によって誤判定が生じたか否かを判定するようにしてもよい。
【0145】
そして、オペレータ等が入力部521を利用した情報の入力を行うこと等によって、画像データ記憶部526に記憶された画像データ(濃淡模様データ)のうち、不良品のPTPシート1が良品であると誤判定された場合における、その誤判定に係る画像データが不良画像データ302として特定される。
【0146】
追加学習情報記憶部527は、追加学習処理や追加学習修正処理(すなわち、追加学習部52hによる学習処理)に係る各種情報など、AIモデル200の学習に関する情報を記憶する。
【0147】
追加学習情報記憶部527に記憶される情報には、例えば、現用AIモデル200zや初期AIモデル200aを含む現時点までに生成された全ての学習済みの(学習処理や追加学習処理、追加学習修正処理が行われた)AIモデル200、学習済みのAIモデル200の学習に用いられた追加学習データ301が含まれる。本実施形態においては、学習済みのAIモデル200は、初期AIモデル200aや現用AIモデル200zと同様に、「学習済識別手段」を構成する。
【0148】
また、追加学習情報記憶部527に記憶される情報には、例えば、各種処理(例えば、追加学習処理、追加学習修正処理、それぞれ後述する確認処理や承認用処理など)にて行われた入力部521に対する全ての操作内容、後述する承認用処理にて承認に係る入力を受付けた日時などが含まれる。
【0149】
尚、現時点までに生成された全ての学習済みのAIモデル200には、後述する承認用処理にて不採用となった学習済みのAIモデル200が含まれる。不採用となった学習済みのAIモデル200は、不採用である旨を示す情報が付与されており、採用された学習済みのAIモデル200(つまり、現在又は過去の現用AIモデル200z)とは区別可能となっている。また、追加学習データ301には、不採用となった学習済みのAIモデル200の生成に用いられたものが含まれる。尚、追加学習情報記憶部527において、上述した入力部521に対する全ての操作内容に係る情報を、監査証跡として記憶するようにしてもよい。
【0150】
通信部528は、例えば有線LAN(Local Area Network)や無線LAN等の通信規格に準じた無線通信インターフェースなどを備え、外部と各種データを送受信可能に構成されている。例えば判定部52gにより行われた良否判定の結果などが通信部528を介して外部(充填制御装置82等)に出力される。
【0151】
次いで、検査制御装置52を構成する上記各種機能部について詳しく説明する。
【0152】
メイン制御部52aは、検査装置21全体の制御を司る機能部であり、照明制御部52bやカメラ制御部52cなど他の機能部と各種信号を送受信可能に構成されている。
【0153】
照明制御部52bは、照明装置50を駆動制御する機能部であり、メイン制御部52aからの指令信号に基づき照明タイミングなどを制御する。
【0154】
カメラ制御部52cは、カメラ51を駆動制御する機能部であり、メイン制御部52aからの指令信号に基づき撮像タイミングなどを制御する。尚、上記照明及び撮像のタイミングは、メイン制御部52aが、PTP包装機11に設けられた図示しないエンコーダからの信号に基づいて制御する。
【0155】
上記照明制御部52b及びカメラ制御部52cによって、ポケット部2の成形された容器フィルム3の搬送が一旦停止するインターバルごとに、該容器フィルム3に対し照明装置50から電磁波が照射されるとともに、該容器フィルム3を透過した電磁波(紫外光)をカメラ51により撮像する処理が実行される。カメラ51により撮像され生成された透過画像データは、該カメラ51の内部においてデジタル信号(画像信号)に変換された上で、デジタル信号の形で検査制御装置52(画像取込部52d)に転送される。
【0156】
画像取込部52dは、カメラ51により撮像され取得された画像データを取り込むための機能部である。取り込まれた画像データ(透過画像データ)は、画像データ記憶部526に記憶される。
【0157】
画像処理部52eは、画像取込部52dにより取り込まれた画像データに所定の画像処理を行うことで、濃淡模様データ(元画像データ)を取得する機能部である。本実施形態において、画像処理部52eは、画像取込部52dにより取り込まれた画像データ(透過画像データ)から、ポケット部2に係る部分を抽出することで、濃淡模様データを生成する。
【0158】
より詳しく説明すると、まず、画像取込部52dにより取り込まれた画像データ(透過画像データ)にマスク処理が実行される。具体的には、画像取込部52dにより取り込まれた画像データ(透過画像データ)における10個のポケット部2の位置に合わせてそれぞれポケット枠W(
図16参照)を設定するとともに、該ポケット枠Wにより特定されたポケット領域以外の領域、すなわちフィルム平坦部3bに対応する領域に対しマスクMをかける処理を行う。
【0159】
次いで、マスク処理された画像データ(マスキング画像データ)における各ポケット枠W内の画像を抽出することで、濃淡模様データを生成する。生成された濃淡模様データは、1枚分のPTPシート1に相当するものであって、ポケット部2の底部2aにおける濃淡模様K(
図16,18参照)を計10個分表すものである。濃淡模様データは、画像データ記憶部526に記憶される。本実施形態では、取得された複数の濃淡模様データのうちの一部が、追加学習データ301や不良画像データ302となる。尚、透過画像データから、それぞれ1のポケット部2に係る濃淡模様Kを表す計10枚の濃淡模様データを得るようにしてもよい。
【0160】
ここで、
図16は、濃淡模様データにおいて、成形不良のないポケット部2の底部2aに生じる濃淡模様Kを示す図であり、
図17は、
図16に示す濃淡模様KのA-A線に沿った各画素に係る輝度値を示すグラフである。
【0161】
また、
図18は、成形不良のあるポケット部2の底部2aに生じる濃淡模様Kを示す図であり、
図19は、
図18に示す濃淡模様KのB-B線に沿った各画素に係る輝度値を示すグラフである。
【0162】
図16~19に示すように、濃淡模様Kとは、画素ごとに輝度情報(例えば0から255までの256階調のうちのいずれかの値)を有した二次元画像情報であり、ポケット部2の底部2a等の各位置(座標位置)における肉厚の違い(肉厚分布)と、そこを透過する電磁波の透過率等との関係から、ポケット部2の底部2a等に生じる濃淡の二次元分布を示す像(透過電磁波の強度分布像)に相当するものである。
【0163】
尚、本実施形態では、ポケット枠Wが、ポケット部2の開口周縁部(側部2bとフィルム平坦部3bとの連接部)に合わせて設定されているため、濃淡模様Kには、ポケット部2の底部2aのみならず、ポケット部2の側部2b、並びに、底部2a及び側部2bが交わるポケット部2の角部2cに係る模様も含まれることとなる。
【0164】
また、濃淡模様Kのうち、底部2aに対応する範囲に関しては、概ね底部2aの肉厚分布に対応した濃淡分布(輝度分布)を有する濃淡模様が得られる。一方、側部2bや角部2cに対応する範囲に関しては、その輝度情報が、側部2b等の肉厚方向(X方向やY方向)に沿って透過した電磁波に対応したものではなく、その成形時延伸方向(Z方向)に沿って透過した電磁波に対応したものとなるため、側部2b等の肉厚とは関係の薄いものとなる。
【0165】
本実施形態では、カメラ51、画像取込部52d及び画像処理部52eによって画像データ取得部52xが構成されており、この画像データ取得部52xによって、PTPシート1に係る濃淡模様データ(元画像データ)が取得される。本実施形態では、画像データ取得部52xが「画像データ取得手段」を構成する。
【0166】
再構成画像データ取得部52fは、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)を、現用AIモデル200zなどの学習済みAIモデル200に入力して再構成された画像データを再構成画像データとして取得する。より詳しくは、再構成画像データ取得部52fは、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)を入力データとして、ニューラルネットワーク190の入力層に与える。そして、再構成画像データ取得部52fは、該ニューラルネットワーク190の出力層から出力される再構成濃淡模様データを再構成画像データとして取得する。尚、再構成画像データ取得部52fは、PTPシート1の検査時には、使用AI記憶部524に記憶された現用AIモデル200zに元画像データを入力する。一方、再構成画像データ取得部52fは、後述する確認処理時には、追加学習処理などによって新たに生成された、現用AIモデル200zとは異なる学習済みのAIモデル200に元画像データを入力する。
【0167】
判定部52gは、ポケット部2の成形状態についての良否判定処理を行う機能部である。判定部52gは、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)と、該濃淡模様データを学習済みのAIモデル200に入力して再構成された再構成画像データとを比較し、比較結果に基づき、ポケット部2ひいてはPTPシート1の良否を判定する。
【0168】
図11を参照して、判定部52gによる良否判定処理についてより詳しく説明する。良否判定処理では、まず、ステップS301にて、再構成画像データ取得部52fによって、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)を学習済みのAIモデル200に入力することで、再構成画像データを取得する。尚、元画像データの入力対象は、PTPシート1の検査時には現用AIモデル200zであり、後述する確認処理時には新たに生成された学習済みのAIモデル200である。
【0169】
次いで、ステップS302において、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)と、再構成画像データ取得部52fにより得られた該濃淡模様データに係る再構成画像データとを比較して、両データの各画素毎の輝度の差分を算出する。続いて、該差分が予め定めた許容範囲内にない画素を不良画素として特定する。
【0170】
次に、ステップS303にて、不良画素の連結成分の面積(不良面積)を算出する。
【0171】
次いで、ステップS304において、算出した面積のうちの最大面積が予め設定した所定の閾値以下であるか否かを判定する。つまり、不良面積が許容範囲内であるか否かを判定する。そして、最大面積が前記閾値以上である場合、少なくとも1つのポケット部2にて不良が生じているとして、ステップS305にて、濃淡模様データ(元画像データ)に対応するPTPシート1を「不良品」と判定する。
【0172】
一方、最大面積が前記閾値を下回る場合、ステップS306にて、濃淡模様データ(元画像データ)に対応するPTPシート1を「良品」と判定する。良否判定結果は、検査情報記憶部523に記憶される。また、PTPシート1の検査時には、良否判定結果が充填制御装置82などに出力される。
【0173】
尚、上述した良否判定手法は一例であって、例えば不良画素の連結成分のばらつき度合い(分布状況)を判定する方法など、他の方法により良否判定を行う構成としてもよい。勿論、その大小に関係なく、不良画素が1箇所でも存在すれば、「不良品」と判定するようにしてもよい。
【0174】
追加学習部52hは、追加学習データ301を用いてニューラルネットワーク190の追加学習を行うことで、新たな学習済みのAIモデル200を順次生成する。追加学習部52hは、オペレータ等によって前記追加学習命令が入力されると、追加学習処理を行う。
【0175】
図12及び
図20を参照して、追加学習処理についてより詳しく説明する。追加学習処理では、まず、ステップS401において、再構成画像データを取得する。例えば、未学習の追加学習データ301として「IM(1)」が新たに記憶されている状態で、追加学習命令が入力されると、追加学習部52hは、非使用AI記憶部525に記憶された複製現用AIモデル200z1(但し、この段階における複製現用AIモデル200z1は初期AIモデル200aである)である「AI(0)」のニューラルネットワーク190の入力層に対し、追加学習データ301である「IM(1)」を入力データとして与える。そして、ニューラルネットワーク190の出力層から出力される再構成画像データを取得する。
【0176】
続くステップS402では、追加学習データ301と、ステップS401においてニューラルネットワーク190により出力された再構成画像データを比較し、その誤差が十分に小さいか否か(所定の閾値以下であるか否か)を判定する。
【0177】
ここで、前記誤差が十分に小さい場合には、ステップS404にて、追加学習の終了条件を満たすか否かを判定する。例えば、記憶された追加学習データ301を用いた追加学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク190及びその学習情報(更新後のパラメータ等)を、新たな学習済みのAIモデル200として非使用AI記憶部525に格納して、追加学習処理を終了する。
【0178】
一方、ステップS402にて、前記誤差が十分に小さくない場合には、ステップS403において、ネットワーク更新処理(ニューラルネットワーク190の学習)を行った後、再びステップS401へ戻り、上記一連の処理を繰り返す。ネットワーク更新処理は、上記学習処理におけるステップS204の処理と同様である。ステップS401~403の処理を繰り返すことにより、ニューラルネットワーク190では、追加学習データ301と再構成画像データとの誤差が極力小さくなり、より正確な再構成画像データが出力されるようになる。
【0179】
尚、追加学習処理によって新たに生成された学習済みAIモデル200は、現用AIモデル200zや初期AIモデル200aと同様に、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)であって、良品のPTPシート1に係る画像データが入力されたときには、入力された画像データとほぼ一致する再構成画像データを生成する。また、新たに生成された学習済みAIモデル200は、現用AIモデル200zや初期AIモデル200aと同様に、画像データ取得部52xにより得られた濃淡模様データ(元画像データ)であって、不良品のPTPシート1に係る画像データが入力されたときには、ノイズ部分(不良部分に相当する部分)が除去された、入力された画像データとほぼ一致する再構成画像データを生成する。
【0180】
さらに、追加学習部52hは、機能部として要因データ特定部52i及び画像出力AI用の確認部52jを備えている。本実施形態では、要因データ特定部52iが「要因データ特定手段」を構成し、画像出力AI用の確認部52jが「画像出力AI用の確認手段」を構成する。
【0181】
要因データ特定部52iは、特に追加学習修正処理にて機能する。要因データ特定部52iは、判定部52gの良否判定処理によって不良品のPTPシート1が良品であると誤判定された場合において、その誤判定に係る不良画像データ302に対する類似度に基づき、特定学習データ301aの中から、その誤判定の要因となった追加学習データ301を誤判定要因データとして特定する。本実施形態において、要因データ特定部52iは、不良画像データ302に対する特定学習データ301aの類似度(例えば、不良画像データ302から抽出される特徴量と、特定学習データ301aから抽出された特徴量とに基づき、両データ301a,302の類似度合いを示すスコアなど)を算出可能な公知の類似判定手段(例えば、ニューラルネットワークに対し、少なくとも不良画像データ302などを学習させて生成したAI)を有するものである。そして、要因データ特定部52iは、前記類似判定手段によって算出された類似度と予め設定された閾値との比較結果に基づき、誤判定要因データを特定する。算出される類似度は例えば0~100であり、類似度が閾値以上となった1又は複数の特定学習データ301aが誤判定要因データとして特定される。
【0182】
画像出力AI用の確認部52jは、追加学習処理や追加学習修正処理にて新たに生成された学習済みのAIモデル200の学習状態を確認する等のために確認処理を行う。確認処理は、追加学習処理又は追加学習修正処理によって新たな学習済みのAIモデル200が生成されたことを契機として行われる。確認処理は、次のようにして行われる。
【0183】
図13に示すように、まず、ステップS501にて、新たに生成されたAIモデル200における学習状態が適切であるか否かを判定する。
【0184】
具体的には、再構成画像データ取得部52fによって、新たに生成された学習済みのAIモデル200に対し追加学習データ301又は不良画像データ302を入力して、再構成画像データを取得する。ここで、新たな学習済みのAIモデル200が追加学習処理によって生成されたものである場合には、追加学習データ301(追加学習処理の契機となった誤判定に係る元画像データ)が該AIモデル200に入力される。一方、新たな学習済みのAIモデル200が追加学習修正処理によって生成されたものである場合には、不良画像データ302(追加学習修正処理の契機となった誤判定に係る元画像データ)が該AIモデル200に入力される。
【0185】
次いで、判定部52gによって、追加学習データ301又は不良画像データ302と再構成画像データとを比較させることに基づき、良否判定結果を得る。
【0186】
その上で、得られた良否判定結果が正しいか否かを判定する。ここで、追加学習データ301は良品のPTPシート1に係るものであるから、新たな学習済みのAIモデル200に対し追加学習データ301を入力した場合において、判定結果が「良品」となれば、良否判定結果は正しいといえる。また、不良画像データ302は不良品のPTPシート1に係るものであるから、新たな学習済みのAIモデル200に対し不良画像データ302を入力した場合において、判定結果が「不良品」となれば、良否判定結果は正しいといえる。
【0187】
そして、良否判定結果が正しい場合、すなわち、学習状態が適切である場合には、ステップS502にて、現用AIモデル200zを、新たに生成された学習済みのAIモデル200に置換可能と判断し、確認処理を終了する。一方、良否判定結果が正しくない場合、すなわち、学習状態が不適切である場合には、ステップS503にて、現用AIモデル200zを、新たに生成された学習済みのAIモデル200に置換不可能と判断し、確認処理を終了する。
【0188】
尚、確認処理にあたっては、新たに生成された学習済みのAIモデル200に対し、追加学習処理や追加学習修正処理の契機となった、誤判定に係る元画像データ以外の追加学習データ301を入力して、得られた良否判定結果が正しくなるか否かを判定してもよい。
【0189】
さらに、追加学習部52hは、前記追加学習修正命令の入力に伴い、要因データ特定部52i及び画像出力AI用の確認部52jなどと協働して、追加学習修正処理を実行する。
【0190】
追加学習修正処理では、
図14に示すように、まず、ステップS551にて、要因データ特定部52iにより1又は複数の誤判定要因データを特定する。これにより、特定学習データ301aの中から、誤判定要因データが抽出される。
【0191】
次いで、ステップS552にて、再学習処理を実行する。再学習処理では、非使用AI記憶部525に記憶された初期AIモデル200aのニューラルネットワーク190に対し、ステップS551にて特定された誤判定要因データを除いた特定学習データ301aを学習させて、新たな学習済みのAIモデル200を生成する。例えば、ステップS551にて、画像データ記憶部526に記憶された特定学習データ301aである「IM(0)」~「IM(n)」の中から、誤判定要因データとして「IM(3)」が特定されたとする。この場合には、ステップS552にて、初期AIモデル200aに対し、「IM(3)」以外の特定学習データ301aである「IM(0)」~「IM(2)」及び「IM(4)」~「IM(n)」を用いて、上記追加学習処理が行われる。これにより、誤判定要因データである「IM(3)」以外の特定学習データ301aを学習した新たな学習済みのAIモデル200が生成される。
【0192】
次いで、ステップS553にて、新たな学習済みのAIモデル200における学習状態が適切であるか否かが判定される。この処理は、確認処理におけるステップS501の処理と同様である。そして、学習状態が適切である場合には、誤判定を生じさせた不良画像データ302に対しても適切な良否判定が行われるように修正されたとして、追加学習修正処理を終了する。
【0193】
一方、学習状態が不適切である場合(ステップS553:NO)、ステップS551に戻り、誤判定要因データの特定を再度行う。このとき、要因データ特定部52iは、類似度のスコアと比較する閾値を変更したり、類似度が最も高い誤判定要因データを1つのみ特定したりするといった調整を適宜行った上で、誤判定要因データの再特定を行う。尚、ステップS553において学習状態が不適切である判定された場合には、良否判定処理にて用いられる閾値の変更処理を合わせて行ってもよい。
【0194】
そして、学習状態が正しいものとなるまで上記処理を繰り返し行うことで、最終的に、誤判定を生じさせた不良画像データ302に対し適切に対応可能な学習済みのAIモデル200が得られる。
【0195】
さらに、追加学習部52hは、機能部として承認用処理実行部52k、承認入力受付部52l及び置換部52mを備えている。本実施形態では、承認入力受付部52lが「承認入力受付手段」を構成する。
【0196】
承認用処理実行部52kは、追加学習処理や追加学習修正処理の実行により新たな学習済みのAIモデル200が生成され、確認処理により、現用AIモデル200zを該学習済みのAIモデル200に置換可能と判断された場合に、承認用処理を実行する。承認用処理の実行により、少なくとも、追加学習情報記憶部527に記憶されている、追加学習部52hによる学習処理(追加学習処理及び追加学習修正処理)に係る各種情報と、確認処理による確認結果とが表示部522に表示される。例えば、新たな学習済みのAIモデル200を生成するために用いた追加学習データ301を示す画像などが表示される。
【0197】
また、承認用処理の実行により、表示部522には、PTPシート1の検査に利用されている(使用AI記憶部524に記憶されている)現用AIモデル200zを、新たに生成されたAIモデル200に置換することを承認するときに、オペレータ等によって選択される承認ボタンが表示される。尚、表示部522には、置換を承認しない場合にオペレータ等によって選択される非承認ボタンも表示される。
【0198】
承認入力受付部52lは、入力部521を用いて前記承認ボタンが選択されたときに、PTPシート1の検査に利用されている(使用AI記憶部524に記憶されている)現用AIモデル200zを、新たに生成されたAIモデル200に置換することについての承認に係る入力を受付ける。承認入力受付部52lは、承認に係る入力を受付けると、所定の置換実行命令を置換部52mに出力して、承認用処理を終了する。
【0199】
一方、承認入力受付部52lは、入力部521を用いて前記非承認ボタンが選択されたとき、前記置換実行命令を出力することなく、承認用処理を終了する。
【0200】
尚、承認用処理の実行により、確認処理実行用ボタンが表示され、オペレータ等がこのボタンを選択することで、新たに生成された学習済みのAIモデル200に対し再度の確認処理が実行されるように構成してもよい。このとき、確認処理で用いられる追加学習データ301が、手動又は自動で選択されるようにしてもよい。
【0201】
置換部52mは、前記置換実行命令が入力されたときに、PTPシート1の検査に利用されている(使用AI記憶部524に記憶されている)現用AIモデル200zを、新たに生成された学習済みのAIモデル200に置換するための置換処理を実行する。
【0202】
置換処理では、まず、PTP包装機11によるPTPシート1の生産を一時的に停止させる。その上で、使用AI記憶部524に記憶されている現用AIモデル200zが、非使用AI記憶部525に記憶されている新たな学習済みのAIモデル200に置換えられる。そして、現用AIモデル200zの置換後、PTPシート1の生産が再開される。その結果、新たな現用AIモデル200zを利用したPTPシート1の検査が開始されることとなる。尚、置換処理により、非使用AI記憶部525に記憶されている新たな学習済みのAIモデル200が、複製現用AIモデル200z1となる。
【0203】
保存処理実行部52nは、追加学習情報記憶部527に対し、追加学習処理や追加学習修正処理(すなわち、追加学習部52hによる学習処理)に係る各種情報など、AIモデル200の学習に関する情報を記憶させる。保存処理実行部52nは、追加学習情報記憶部527に対し、現用AIモデル200zや初期AIモデル200aを含む現時点までに生成された全ての学習済みのAIモデル200(承認用処理にて不採用となったAIモデル200を含む)、学習済みのAIモデル200の生成に用いられた追加学習データ301、各種処理(例えば、追加学習処理、追加学習修正処理、確認処理及び承認用処理など)にて行われた入力部521に対する全ての操作内容、承認用処理にて承認に係る入力を受付けた日時、並びに、現用AIモデル200zの置換を実行した日時などを記憶させる。
【0204】
上記にて詳しく説明した追加学習部52hによる各種処理(追加学習処理や追加学習修正処理など)の流れは、簡単に言えば、
図15に示すものとなる。
【0205】
すなわち、検査にて不良品のPTPシート1を良品と誤判定した場合(ステップS11:YES)には、オペレータ等によって追加学習修正命令が入力されることで、追加学習修正処理(ステップS12-A)が実行される。すなわち、初期AIモデル200aのニューラルネットワーク190に対し、誤判定要因データを除いた特定学習データ301aを学習させることで、新たな学習済みのAIモデル200が生成される。
【0206】
一方、検査にて良品のPTPシート1を不良品と誤判定した場合(ステップS11:NO)には、オペレータ等によって追加学習命令が入力されることで、追加学習処理(ステップS12-B)が実行される。すなわち、複製現用AIモデル200z1に対し、誤判定に係る画像データを追加学習させることで、新たな学習済みのAIモデル200が生成される。
【0207】
そして、新たな学習済みのAIモデル200が生成されると、ステップS14の確認処理が行われる。確認処理では、まず、ステップS14-1にて、生成されたAIモデル200の学習状態が確認される。ここで、学習状態が適切である場合(ステップS14-1:YES)、現用AIモデル200zを、新たな学習済みAIモデル200に置換可能と判断する(ステップS14-2-A)。一方、学習状態が不適切である場合(ステップS14-1:NO)、現用AIモデル200zを、新たな学習済みAIモデル200に置換不可能と判断する(ステップS14-2-B)。
【0208】
置換可能と判断された場合、承認用処理(ステップS15)が実行され、置換を行う上でオペレータ等が必要とする情報が表示部522に表示される。そして、オペレータ等によって前記承認ボタンが選択されると(ステップS16:YES)、PTP包装機11が一時停止された上で、現用AIモデル200zが新たな学習済みAIモデル200に置換される(ステップS17)。一方、オペレータ等によって前記非承認ボタンが選択されると(ステップS16:No)、置換は行われず、現用AIモデル200zがそのまま利用される。
【0209】
尚、確認処理や承認用処理が終了する前に、新たな誤判定が生じた場合には、置換に係る承認又は非承認がなされるまで、新たな追加学習処理や追加学習修正処理の実行を保留するようにしてもよい。
【0210】
以上詳述したように、本実施形態によれば、画像データ取得部52xにより取得された元画像データ(濃淡模様データ)と、該元画像データを現用AIモデル200zへ入力して再構成された再構成画像データとを比較し、その比較結果に基づき、PTPシート1の良否を判定している。そのため、比較する両画像データは、それぞれ同一のPTPシート1に係るものとなる。従って、比較する両画像データにおいて、PTPシート1の形状や外観はそれぞれほぼ同一となるため、形状や外観の違いによる誤検出を防止するために比較的緩い判定条件を設定する必要はなく、より厳しい判定条件を設定することができる。さらに、比較する両画像データにおいて、画像データを得る際の条件(例えばカメラ51に対するPTPシート1の配置位置や配置角度、明暗状態やカメラ51の画角等)を一致させることができる。これらの結果、良否判定を非常に精度よく行うことができる。
【0211】
また、現用AIモデル200zに元画像データを入力して再構成された再構成画像データに基づく良否判定により、不良品のPTPシート1が良品であると誤判定された場合、つまり、過学習による誤判定が生じたと考えられる場合、追加学習部52hは、追加学習が行われていない段階のAIモデル200(現用AIモデル200zよりも前の段階のAIモデル200)である初期AIモデル200aのニューラルネットワーク190に対する学習を行い、新たな学習済みのAIモデル200を生成する。このとき、追加学習部52hは、初期AIモデル200aのニューラルネットワーク190に対し、特定学習データ301aのうち誤判定要因データ以外のデータを学習させる。そのため、新たに生成されるAIモデル200において、過去の追加学習データ301(特定学習データ301a)を生かしつつ、過学習による誤判定の発生をより確実に抑制可能となるように学習状態の修正を行うことができる。その結果、不良品のPTPシート1が良品であると誤判定されることをより確実に防止でき、検査精度を高めることができる。
【0212】
加えて、追加学習部52hは、検査に利用されている現用AIモデル200zのニューラルネットワーク190ではなく、複製現用AIモデル200z1のニューラルネットワーク190に対して学習を行う。そのため、膨大な繰り返し処理となり得る、ニューラルネットワーク190の学習に係る処理や誤判定要因データの抽出(特定)に係る処理を、検査を停止させることなく行うことができる。これにより、多数のPTPシート1に対する検査を、迅速に、かつ、効率よく行うことができる。
【0213】
また、本実施形態では、良品のPTPシート1が不良品であると誤判定された場合、複製現用AIモデル200z1のニューラルネットワーク190に対し、その誤判定を生じさせた元画像データを追加学習させることで、新たな学習済みのAIモデル200を生成することが可能である。従って、良品のPTPシート1が不良品であると誤判定されることをより確実に防止可能となり、検査精度をより高めることができる。
【0214】
加えて、この追加学習は複製現用AIモデル200z1を対象とするため、追加学習のために検査を停止させる必要はない。従って、多数のPTPシート1に対する検査を、より迅速に、かつ、より効率よく行うことが可能となる。
【0215】
さらに、要因データ特定部52iによって、誤判定に係る元画像データ(誤判定を生じさせた元画像データ)である不良画像データ302に対する類似度に基づき、特定学習データ301aの中から誤判定要因データ(誤判定の要因と考えられる追加学習データ301)を特定することができる。従って、誤判定要因データをより正確に特定することができ、ひいては、新たに生成されるAIモデル200を用いた検査に係る精度をより確実に高めることができる。
【0216】
また、画像出力AI用の確認部52jにより、新たに生成されたAIモデル200において、該AIモデル200の生成の契機となった誤判定に係る元画像データに基づく誤判定が生じないか否か、つまり、より良好な検査精度が実現されているか否かを容易に確認することができる。また、万が一新たに生成されたAIモデル200を用いた検査でも同様の誤判定が生じることが確認されたときには、そのような誤判定への対処(例えば、誤判定要因データの再特定を行うとともに、再特定された誤判定要因データを除いた上での再度の学習や、元画像データと再構成画像データとを比較する段階で用いる閾値の変更など)を簡便に行うことが可能となる。
【0217】
加えて、オペレータ等による承認があって初めて、現用AIモデル200zが新たに生成された学習済みのAIモデル200に置換される。そのため、現用AIモデル200zを、新たに生成された学習済みのAIモデル200に置換することが、意図せず行われることをより確実に防止できる。これにより、意図しない置換に伴う不具合の発生をより確実に防ぐことができる。
〔第2実施形態〕
次いで、第2実施形態について、
図21等を参照しつつ上記第1実施形態との相違点を中心に説明する。尚、上記第1実施形態及び本第2実施形態において、AIモデルやその学習に係る主な相違点は次の通りである。
(上記第1実施形態)
・学習済みのAIモデル200…良品のPTPシート1に係る画像データのみを学習して生成されたものであり、画像データが入力されると、画像データを出力する。
・追加学習処理…良品のPTPシート1を不良品と誤判定した場合に実行される。
・追加学習修正処理…不良品のPTPシート1を良品と誤判定した場合に実行される。
(本第2実施形態)
・学習済みのAIモデル400…良品及び不良品のPTPシート1に係る画像データを学習して生成されたものであり、画像データが入力されると、分類結果を出力する。
・追加学習処理…良品のPTPシート1を不良品と誤判定した場合のみならず、不良品のPTPシート1を良品と誤判定した場合や、分類結果に誤判定が生じた場合にも実行される。
・追加学習修正処理…追加学習処理に続いて行われる確認処理にて誤判定が生じた場合に実行される。
【0218】
以下、本第2実施形態について詳しく説明する。
【0219】
上記第1実施形態において、検査装置21は、ポケット部成形装置16の下流に配置されており、ポケット部2の成形状態に関する検査を行うことで、PTPシート1の良否を判定する。これに対し、
図21に示すように、本第2実施形態における検査装置23は、錠剤充填装置22よりも下流に配置されており、ポケット部2に充填された錠剤5の状態や、ポケット部2に対する異物の混入の有無などについての検査を行うことで、PTPシート1の良否を判定する。また、検査装置23は、PTPシート1の良否判定とともに、PTPシート1の不良種別を判定する。尚、本第2実施形態において、不良シート排出機構40は、検査装置23から不良品信号が入力されると、不良品のPTPシート1を排出する。
【0220】
検査装置23は、シール前に容器フィルム3のポケット部2突出部側から検査を行う透過光式の検査装置である。検査装置23は、照明装置53、カメラ54及び検査制御装置55を有している。
【0221】
照明装置53は、錠剤充填装置22の下流において、容器フィルム3のポケット部2開口部側に配置されており、容器フィルム3の所定範囲に対し所定の光(近赤外光など)を照射する。
【0222】
カメラ54は、容器フィルム3のポケット部2突出部側に設けられており、照明装置53から照射される光の波長領域に感度を有するものである。カメラ54は、照明装置53から照射される光(近赤外光)のうち、容器フィルム3を透過した光を撮像する。カメラ54は、少なくとも1枚分のPTPシート1に対応する計10個のポケット部2を含む範囲を一度に撮像する。
【0223】
検査制御装置55は、上記第1実施形態における検査制御装置52と同様に、CPU等を有するコンピュータシステムによって構成されている。
図22に示すように、検査制御装置55は、CPUが各種プログラムに従って動作することで、メイン制御部55a、照明制御部55b、カメラ制御部55c、画像取込部55d、画像処理部55e、判定処理部55g、追加学習部55h及び保存処理実行部55nなどの各種機能部として機能する。本第2実施形態では、追加学習部55hが「追加学習手段」を構成する。
【0224】
尚、メイン制御部55a、照明制御部55b、カメラ制御部55c、画像取込部55d及び画像処理部55eは、上記第1実施形態におけるメイン制御部52a、照明制御部52b、カメラ制御部52c、画像取込部52d及び画像処理部52eと同様に機能する。
【0225】
さらに、検査制御装置55には、入力部551、表示部552及び外部と各種データを送受信可能な通信部(不図示)などが設けられている。該通信部は、上記第1実施形態における通信部528と同様に機能する。本第2実施形態では、表示部552が「表示手段」を構成する。
【0226】
また、検査制御装置55は、それぞれHDD等の記憶装置で構成された検査情報記憶部553、使用AI記憶部554、非使用AI記憶部555、画像データ記憶部556及び追加学習情報記憶部557を備えている。本実施形態では、非使用AI記憶部555が「識別手段記憶手段」を構成する。
【0227】
入力部551は、検査制御装置55に対する情報の入力や該情報の変更などに用いられる入力装置であり、該入力部551を介して所定の追加学習命令を入力可能である。追加学習命令は、例えば、後述する学習済みのAIモデル400による分類結果に誤判定があった場合にオペレータ等によって入力される。勿論、検査装置23以外に別途設けられた検査装置によって誤判定が生じたと判定された場合に、追加学習命令が検査制御装置55へと自動的に入力される構成としてもよい。尚、追加学習命令の入力により、後述する追加学習処理が行われる。
【0228】
表示部552は、各記憶部553~557に記憶された各種情報を表示可能な表示装置である。
【0229】
検査情報記憶部553は、検査に用いられる各種設定情報や、良否判定結果などを記憶するためのものである。本第2実施形態では、各種設定情報として、良否判定用の閾値や分類用の閾値が予め記憶されている。これら閾値は、学習済みのAIモデル400による分類分けに用いられる。
【0230】
使用AI記憶部554は、「識別手段」としてのAIモデル400を記憶する。AIモデル400は、ディープニューラルネットワーク(以下、単に「ニューラルネットワーク」という。)によって、入力された元画像データを所定の項目で分類して、分類結果を出力する。つまり、本第2実施形態におけるAIモデル400は分類型のAIモデルである。
【0231】
使用AI記憶部554は、AIモデル400として、PTPシート1の検査に利用されている現用AIモデル400zを記憶している。現用AIモデル400zについては後により詳しく説明する。
【0232】
非使用AI記憶部555は、検査に利用されていないAIモデル400を記憶する。非使用AI記憶部555に記憶されるAIモデル400には、PTPシート1の検査に利用されている現用AIモデル400zとは別に記憶された、該現用AIモデル400zと同一内容の複製現用AIモデル400z1と、初期AIモデル400aとが含まれる。
【0233】
本第2実施形態において、現用AIモデル400z、複製現用AIモデル400z1及び初期AIモデル400aなどの学習済みのAIモデル400は、「学習済識別手段」を構成し、初期AIモデル400aは「旧識別手段」を構成する。また、現用AIモデル400zは「現用識別手段」を構成し、複製現用AIモデル400z1は「複製現用識別手段」を構成する。
【0234】
現用AIモデル400zは、追加学習部55hによる追加学習処理や追加学習修正処理によって生成され、後述する承認用処理にて採用されたAIモデル400である。検査装置23によるPTPシート1の検査は、現用AIモデル400zを用いて行われる。
【0235】
現用AIモデル400z及び複製現用AIモデル400z1は、追加学習部55hによる追加学習処理や追加学習修正処理によって順次更新され得る。本実施形態において、各AI記憶部554,555には、現用AIモデル400zや複製現用AIモデル400z1として「AI2(n)」(
図28参照)が記憶されている。尚、nは自然数を表す。
【0236】
初期AIモデル400aは、後述する学習処理が行われている一方、追加学習部55hによる追加学習処理が全く行われていない段階のAIモデル400である。本実施形態において、AI記憶部554には、初期AIモデル400aとして、工場出荷時のAIモデル400である「AI2(0)」(
図28参照)が記憶されている。
【0237】
現用AIモデル400zや初期AIモデル400aなどの学習済みのAIモデル400は、良品のPTPシート1に係る画像データのみならず、不良品のPTPシート1に係る画像データをも学習データとして、ニューラルネットワークを深層学習(ディープラーニング)させて構築した生成モデルである。つまり、学習済みのAIモデル400は、良品及び不良品のPTPシート1に係る画像データを学習して生成されたものである。本第2実施形態において、初期AIモデル400aは、そのニューラルネットワークに対し後述する学習処理が予め行われてなるものであり、また、現用AIモデル400zや複製現用AIモデル400z1は、初期AIモデル400aのニューラルネットワークに対し、追加学習部55hによる追加学習処理などが複数回行われてなるものである。
【0238】
学習済みのAIモデル400は、元画像データが入力されると、該元画像データに係るPTPシート1が「良品」である確率と、該PTPシート1が「不良品」である確率と、不良種別に関する確率とを算出する。その上で、学習済みのAIモデル400は、算出した「良品」又は「不良品」である確率と、検査情報記憶部553に記憶された良否判定用の閾値とを比較することで、入力された元画像データに係るPTPシート1の良否を判定し、その良否判定結果を出力する。
【0239】
また、学習済みのAIモデル400は、算出した不良種別に関する確率と、検査情報記憶部553に記憶された分類用の閾値とを比較することで、入力された元画像データに係るPTPシート1における不良の種別を判定し、その判定結果を出力する。本第2実施形態における不良の種別は、「錠剤欠け」「異物混入」及び「その他不良」である。
【0240】
判定についてより詳しく説明すると、学習済みのAIモデル400は、「錠剤欠け」に関するスコアと、「異物混入」に関するスコアとを算出し、算出したスコアが分類用の閾値を超えていれば、該スコアに係る不良の種別(「錠剤欠け」又は「異物混入」)を判定結果として出力する。一方、学習済みのAIモデル400は、PTPシート1を不良と判定する場合であって、算出した各スコアがそれぞれ分類用の閾値以下である場合には、判定結果として「その他不良」を出力する。
【0241】
尚、「錠剤欠け」は、錠剤5に欠けが発生していることを意味し、「異物混入」は、ポケット部2内に、錠剤5の破片など、錠剤5以外の異物が存在することを意味し、「その他不良」は、「錠剤欠け」や「異物混入」以外の不良が生じていることを意味する。勿論、「錠剤欠け」や「異物混入」以外のその他の不良種別を採用してもよい。その他の不良種別としては、例えば、「錠剤割れ」(錠剤5に割れが発生していること)、「欠錠」(ポケット部2内に錠剤5が充填されていないこと)、「錠剤形状・大きさ違い」(錠剤5の形状や大きさが、製造品種と適合していないこと)、「錠剤表面剥離」(錠剤5の表面層が剥離していること)などを挙げることができる。
【0242】
ここで、初期AIモデル400aを生成する際に行われる学習処理(初期学習処理)について説明する。尚、この学習処理に先立って、学習データとして、良品のPTPシート1に係る画像データと、不良品のPTPシート1に係る画像データとが多数用意される。本第2実施形態において、不良品のPTPシート1に係る画像データには、不良の種別が異なるものが含まれる。また、各学習データには、分類結果の正解についての情報が関連付けられる。従って、例えば、不良品に係る学習データには、不良品という情報と、不良の種別についての情報とが関連付けられる。
【0243】
図23に示すように、学習処理では、まず、ステップS601において、未学習のニューラルネットワークを準備する。次いで、ステップS602において、分類結果を取得する。すなわち、予め用意された学習データを入力データとして、ニューラルネットワークの入力層に与える。そして、該ニューラルネットワークの出力層から出力される分類結果を取得する。
【0244】
続くステップS603では、出力された分類結果と、学習データに関連付けられた分類結果の正解とを比較し、出力された分類結果が正しいか否かを判定する。
【0245】
ここで、出力された分類結果が正しい場合には、ステップS605にて、学習処理の終了条件を満たすか否かを判定する。例えば、後述するステップS604の処理を経ることなくステップS603にて肯定判定されることが所定回数連続で行われた場合や、用意した学習データの全てを用いた学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク及びその学習情報(後述する更新後のパラメータ等)を初期AIモデル400aとして各使用AI記憶部554,555に格納し、学習処理を終了する。尚、使用AI記憶部554に記憶された初期AIモデル400aは、追加学習処理や追加学習修正処理に伴い現用AIモデル400zに更新される。
【0246】
一方、ステップS605にて終了条件を満たさない場合には、ステップS602に戻り、ニューラルネットワークの学習を再度行う。
【0247】
また、ステップS603にて、出力された分類結果が正しくない場合には、ステップS604においてネットワーク更新処理(ニューラルネットワークの学習)を行った後、再びステップS602へ戻り、上記一連の処理を繰り返す。
【0248】
ステップS604のネットワーク更新処理では、公知の学習アルゴリズムを用いて、出力された分類結果が正しいものとなるように、ニューラルネットワークにおける重み(パラメータ)をより適切なものに更新する。そして、ステップS602~604の処理を何度も繰り返すことにより、ニューラルネットワークでは、より正確な分類結果が出力されるようになる。
【0249】
画像データ記憶部556は、後述する画像データ取得部55xにより得られた画像データ(濃淡模様データ)などの各種画像データを記憶する。尚、画像データ取得部55xにより得られる画像データ(濃淡模様データ)は、1枚分のPTPシート1に対応するものであって、ポケット部2や錠剤5に係る濃淡模様を計10個分表すものである。本第2実施形態では、画像データ記憶部556によって、「特定学習データ記憶手段」及び「誤判定発生画像データ記憶手段」が構成される。
【0250】
画像データ記憶部556に記憶される画像データには、追加学習部55hによる追加学習処理に利用される追加学習データ501が含まれる。追加学習データ501は、画像データ取得部55xにより得られた複数の画像データ(濃淡模様データ)のうち、現用AIモデル400zによる分類結果に誤判定を生じさせた画像データであって、所定の条件を満たすもの(例えばオペレータ等によって選択されたもの)である。従って、追加学習データ501には、良品のPTPシート1に係る画像データのみならず、不良品のPTPシート1に係る画像データも含まれる。尚、追加学習データ501には、分類結果の正解についての情報が関連付けられている。
【0251】
本実施形態では、追加学習データ501として、「IM2(1)」~「IM2(n)」(
図28参照)が記憶されている。例えば、「IM2(1)」は、初期AIモデル400aのニューラルネットワークに対する追加学習処理に用いられた画像データであり、この追加学習処理によって生成されたAIモデル400が「AI2(1)」である。
【0252】
また、追加学習データ501には、特定学習データ501aが含まれている。特定学習データ501aは、初期AIモデル400aから現用AIモデル400zを生成するにあたって用いられた追加学習データ501である。従って、本第2実施形態では、全ての追加学習データ501が特定学習データ501aに相当する。
【0253】
さらに、画像データ記憶部556に記憶される画像データには、誤判定発生画像データ502が含まれる。誤判定発生画像データ502とは、後述する確認処理において分類結果の誤判定が生じた場合における、その誤判定に係る濃淡模様データ(元画像データ)である。
【0254】
尚、本第2実施形態では、分類結果の誤判定が生じたか否かについて、オペレータ等による目視検査によって判断されるようになっている。勿論、検査装置23以外に別途設けられた検査装置によって誤判定が生じたか否かを判定するようにしてもよい。
【0255】
そして、オペレータ等が入力部551を利用した情報の入力を行うこと等によって、画像データ記憶部556に記憶された画像データ(濃淡模様データ)のうちの誤判定発生画像データ502が特定される。
【0256】
追加学習情報記憶部557は、追加学習処理や追加学習修正処理(すなわち、追加学習部55hによる学習処理)に係る各種情報など、AIモデル400の学習に関する情報を記憶する。本第2実施形態では、上記第1実施形態で挙げた情報に加えて、例えば、学習済みのAIモデル400と関連付けて、該AIモデル400によって使用される前記良否判定用の閾値や前記分類用の閾値などが記憶される。また、本第2実施形態では、学習済みのAIモデル400ごとにヒートマップ(画像データにおける判定の根拠となった画素を重要度に応じて強調してなるデータ)が記憶される。
【0257】
次いで、検査制御装置55を構成する上記各種機能部について説明する。但し、制御部55a~55c、画像取込部55d及び画像処理部55eは、上記第1実施形態における制御部52a~52c等と同様に機能するため、これらの説明は省略する。尚、本第2実施形態では、カメラ54、画像取込部55d及び画像処理部55eによって画像データ取得部55xが構成されており、この画像データ取得部55xによって、PTPシート1に係る濃淡模様データ(元画像データ)が取得される。本第2実施形態では、画像データ取得部55xが「画像データ取得手段」を構成する。
【0258】
取得される濃淡模様データ(元画像データ)は、1枚分のPTPシート1に相当するものであって、ポケット部2や錠剤5に係る領域を計10個分表すものである。濃淡模様データは、画像データ記憶部556に記憶される。本第2実施形態では、取得された複数の濃淡模様データのうちの一部が、追加学習データ501や誤判定発生画像データ502となる。
【0259】
判定処理部55gは、現用AIモデル400zに検査対象となるPTPシート1に係る濃淡模様データ(元画像データ)を入力することで、該現用AIモデル400zから出力される分類結果を取得する。取得された分類結果は、PTPシート1の検査結果であり、PTPシート1の良否や不良の種別を示す。
【0260】
追加学習部55hは、追加学習データ501を用いてニューラルネットワークの追加学習処理を行うことで、学習済みのAIモデル400を順次生成する。追加学習部55hは、前記追加学習命令が入力されると、追加学習処理を行う。
【0261】
追加学習処理では、
図24に示すように、ステップS701にて、分類結果を取得する。すなわち、例えば、新たに記憶された未学習の追加学習データ501である「IM2(1)」を、非使用AI記憶部555に記憶された複製現用AIモデル400z1(但し、この段階における複製現用AIモデル400z1は初期AIモデル400aである)である「AI2(0)」のニューラルネットワークの入力層に与える。そして、ニューラルネットワークの出力層から出力される分類結果を取得する。尚、「IM2(1)」などの追加学習データ501は、良品のPTPシート1に係る画像データであることもあれば、不良品のPTPシート1に係る画像データであることもある。また、追加学習データ501が不良品のPTPシート1に係る画像データである場合、追加学習データ501は、少なくとも1の不良の種別に係るものである。
【0262】
続くステップS702では、分類結果が正しいか否かを判定する。ここで、分類結果が正しい場合には、ステップS704にて、追加学習処理の終了条件を満たすか否かを判定する。例えば、記憶された追加学習データ501を用いた追加学習が所定回数反復して行われた場合には、終了条件を満たすと判定される。終了条件を満たす場合には、ニューラルネットワーク及びその学習情報(更新後のパラメータ等)を、新たな学習済みのAIモデル400として非使用AI記憶部555に格納する。
【0263】
一方、ステップS702にて、分類結果が正しくない場合には、ステップS704において、ネットワーク更新処理(ニューラルネットワークの学習)を行った後、再びステップS701へ戻り、上記一連の処理を繰り返す。ネットワーク更新処理は、上記学習処理におけるステップS604の処理と同様である。ステップS701~704の処理を繰り返すことにより、ニューラルネットワークでは、より正確な分類結果が出力されるようになる。追加学習の終了条件が満たされると、追加学習処理を終了する。
【0264】
さらに、追加学習部55hは、機能部として要因データ特定部55i及び分類出力AI用の確認部55jを備えている。本第2実施形態では、要因データ特定部55iが「要因データ特定手段」を構成し、分類出力AI用の確認部55jが「分類出力AI用の確認手段」を構成する。
【0265】
要因データ特定部55iは、後述する確認処理によって分類結果に誤判定が生じていることが確認された場合において、その誤判定に係る(その誤判定を生じさせた)誤判定発生画像データ502に対する類似度に基づき、特定学習データ501aの中から、その誤判定の要因となった追加学習データ501を誤判定要因データとして特定する。本第2実施形態において、要因データ特定部55iは、その誤判定された分類結果と同一の分類結果のPTPシート1に係る特定学習データ501aの中から誤判定要因データを特定する。例えば、確認処理にて「異物混入」という誤判定が生じた場合、「異物混入」のPTPシート1に係る特定学習データ501aの中から誤判定要因データを特定する。また、例えば、確認処理にて「良品」という誤判定が生じた場合、「良品」のPTPシート1に係る特定学習データ501aの中から誤判定要因データを特定する。これは、分類結果の誤判定が生じた場合、追加学習に用いたデータ(特定学習データ501a)のうち、その誤判定された分類結果と同一の分類結果に係る画像データが、その誤判定を生じさせる要因になっていると考えられるためである。尚、誤判定要因データの特定は、上記第1実施形態と同様の手法により行うことができる。
【0266】
分類出力AI用の確認部55jは、追加学習処理等にて新たに生成された学習済みのAIモデル400における学習状態の確認などを行うための確認処理を実行する。
【0267】
確認処理は、次のように行われる。すなわち、
図25に示すように、まず、ステップS801にて、追加学習処理によって新たな学習済みのAIモデル400が生成されると、該AIモデル400における学習状態が適切であるか否かを確認する。
【0268】
具体的には、新たに生成された学習済みのAIモデル400に対し、該AIモデル400の生成の契機となった誤判定に係る元画像データを入力することで、分類結果を取得する。
【0269】
次いで、取得された分類結果と、入力された元画像データに関連付けられた分類結果の正解とを比較することに基づき、分類結果が正しいか否かを判定する。
【0270】
そして、分類結果が正しい場合(ステップS801:YES)、ステップS802にて、現用AIモデル400zを、新たに生成された学習済みのAIモデル400に置換可能と判断し、確認処理を終了する。一方、分類結果が正しくない場合(ステップS801:No)、後述する追加学習修正処理を実行して、確認処理を終了する。
【0271】
尚、確認処理にあたって、新たに生成された学習済みのAIモデル400に対し、追加学習処理の契機となった、誤判定に係る元画像データ以外の追加学習データ501を入力して、得られた分類結果が正しくなるか否かを判定してもよい。
【0272】
さらに、追加学習部55hは、確認処理にて分類結果が正しくないと判定された場合(ステップS801:No)、つまり、追加学習処理により新たに生成された学習済みのAIモデル400にて誤判定が生じる場合、要因データ特定部55i及び画像出力AI用の確認部55jなどと協働して、追加学習修正処理を実行する。
【0273】
追加学習修正処理では、
図26に示すように、まず、ステップS851にて、要因データ特定部55iによって、1又は複数の誤判定要因データを特定する。
【0274】
次いで、ステップS852にて、再学習処理を実行する。再学習処理では、非使用AI記憶部555に記憶された初期AIモデル400aのニューラルネットワークに対し、ステップS851にて特定された誤判定要因データを除いた特定学習データ501aを学習させて、新たな学習済みAIモデル400を生成する。例えば、ステップS851にて、画像データ記憶部556に記憶された特定学習データ501aである「IM2(0)」~「IM2(n)」の中から、誤判定要因データとして「IM2(3)」が特定されたとする。この場合には、ステップS852にて、初期AIモデル400aに対し、「IM2(3)」以外の特定学習データ501aである「IM2(0)」~「IM2(2)」及び「IM2(4)」~「IM2(n)」を用いて、上記追加学習処理が行われる。これにより、誤判定要因データである「IM2(3)」以外の特定学習データ501aを学習した新たな学習済みのAIモデル400が生成される。
【0275】
次いで、ステップS853にて、誤判定発生画像データ502を用いて、新たな学習済みのAIモデル400における学習状態が適切であるか否かを判定する。この処理は、確認処理におけるステップS801の処理と同様である。そして、学習状態が適切である場合には、誤判定を生じさせた誤判定発生画像データ502に対しても適切な良否判定が行われるように修正されたとして、新たな学習済みのAIモデル400を非使用AI記憶部555に記憶した上で、追加学習修正処理を終了する。
【0276】
一方、学習状態が不適切である場合、ステップS851に戻り、誤判定要因データの特定を再度行う。尚、ステップS853において学習状態が不適切である判定された場合には、分類に用いられる閾値の変更処理を合わせて行ってもよい。
【0277】
そして、学習状態が正しいものとなるまで上記処理を繰り返し行うことで、最終的に、誤判定を生じさせた誤判定発生画像データ502に対し適切に対応可能な学習済みのAIモデル400が生成される。生成された学習済みのAIモデル400は、非使用AI記憶部555に記憶される。
【0278】
さらに、追加学習部55hは、機能部として承認用処理実行部55k、承認入力受付部55l及び置換部55mを備えている。本第2実施形態では、承認入力受付部55lが「承認入力受付手段」を構成する。
【0279】
承認用処理実行部55k、承認入力受付部55l及び置換部55mは、上記第1実施形態における承認用処理実行部52k、承認入力受付部52l及び置換部52mと同様に機能する。従って、置換部55mが置換処理を実行することで、現用AIモデル400zが、新たに生成された学習済みのAIモデル400に置換えられるとともに、新たな現用AIモデル400zを用いた、PTPシート1の検査が開始されることとなる。
【0280】
保存処理実行部55nは、基本的には上記第1実施形態における保存処理実行部52nと同様に機能する。従って、保存処理実行部55nは、追加学習情報記憶部557に対し、追加学習処理や追加学習修正処理(すなわち、追加学習部55hによる学習処理)に係る各種情報など、AIモデル400の学習に関する情報を記憶させる。但し、本第2実施形態における保存処理実行部55nは、追加学習情報記憶部557に対し、前記承認用処理にて採用された、又は、同処理にて不採用となった学習済みのAIモデル400とともに、これら学習済みのAIモデル400に関連付けて、前記良否判定用の閾値や前記分類用の閾値を記憶させる。また、保存処理実行部55nは、学習済みのAIモデル400ごとにヒートマップを記憶させる。
【0281】
上記にて詳しく説明した追加学習部55hによる各種処理(追加学習処理など)の流れは、簡単に言えば、
図27に示すものとなる。
【0282】
すなわち、検査装置23(現用AIモデル400z)によって出力された分類結果に誤判定が生じた場合(ステップS21:YES)、オペレータ等によって追加学習命令が入力されることで、追加学習処理(ステップS22)が実行される。すなわち、非使用AI記憶部555に記憶された複製現用AIモデル400z1に対し、誤判定に係る、良品又は不良品の画像データを学習させることで、新たな学習済みのAIモデル400が生成される。
【0283】
そして、確認処理(ステップS23)にて、新たに生成された学習済みAIモデル400の学習状態が確認される。そして、学習状態が適切であると判定された場合(ステップS23-1:YES)、ステップS23-2-Aにて、現用AIモデル400zを、新たな学習済みAIモデル400に置換可能と判断される。
【0284】
一方、学習状態が不適切であると判定された場合(ステップS23-1:NO)、ステップS23-2-Bにて追加学習修正処理が行われる。そして、ステップS23-1の処理における分類結果が正しいものとなるまで、追加学習修正処理(ステップS23-2-B)が繰り返し行われることで、最終的に、誤判定を生じさせた誤判定発生画像データ502に対し適切に対応可能な学習済みのAIモデル400が得られる。繰り返し行われる追加学習修正処理では、誤判定要因データの再特定や、再特定した誤判定要因データを除いた特定学習データ501aを学習させる処理が繰り返し行われる。
【0285】
そして、ステップS23-2-Aにて、新たな学習済みのAIモデル400に置換可能と判断されると、承認用処理(ステップS24)が実行されることで、置換を行う上でオペレータ等が必要とする情報が表示部551に表示される。そして、オペレータ等によって前記承認ボタンが選択されると(ステップS25:YES)、PTP包装機11が一時停止された上で、現用AIモデル400zが新たな学習済みAIモデル400に置換される(ステップS26)。一方、オペレータ等によって前記非承認ボタンが選択されると(ステップS25:No)、置換は行われず、現用AIモデル400zがそのまま利用される。
【0286】
以上詳述したように、本第2実施形態によれば、PTPシート1の分類結果に関する誤判定が生じた場合には、複製現用AIモデル400z1のニューラルネットワークに対し、その誤判定を生じさせた元画像データを追加学習させることで、新たな学習済みのAIモデル400を生成することが可能である。従って、より良好な検査精度を有する学習済みのAIモデル400を得ることができる。
【0287】
また、追加学習にあたっては、検査に利用されている現用AIモデル400zのニューラルネットワークではなく、非使用AI記憶部555に記憶された複製現用AIモデル400z1のニューラルネットワークに対して学習が行われる。これにより、検査を停止させることなく追加学習を行うことができ、検査の迅速性や効率性をより高めることができる。
【0288】
さらに、分類出力AI用の確認部55jによって、新たに生成された学習済みのAIモデル400において、誤判定を生じさせた元画像データに基づく再度の誤判定が生じないか否か、つまり、より良好な検査精度が実現されているか否かを容易に確認することができる。
【0289】
加えて、分類出力AI用の確認部55jによって、再度の誤判定が生じない状態(より良好な検査精度が実現されている状態)となっていることが確認されて初めて、検査に利用されている現用AIモデル400zが、新たに生成された学習済みのAIモデル400に置換可能と判断される。従って、誤判定が生じ得る不適切なAIモデル400が、誤って検査で用いられることをより確実に防止できる。
【0290】
一方、分類出力AI用の確認部55jによって、新たに生成された学習済みのAIモデル400を用いた検査において誤判定が生じることが確認された場合、つまり、過学習による誤判定が生じたと考えられる場合、追加学習部55hは、追加学習が行われていない段階のAIモデル400である初期AIモデル400aのニューラルネットワークに対する学習を行い、新たな学習済みのAIモデル400を生成する。このとき、初期AIモデル400aから現用AIモデル400zを生成するにあたって用いられた追加学習データ501である特定学習データ501aのうちの、その誤判定された分類結果と同一の分類結果のPTPシート1に係るデータの中から、その誤判定の要因と考えられるデータが、誤判定要因データとして特定される。
【0291】
そして、追加学習部55hは、初期AIモデル400aのニューラルネットワークに対し、特定学習データ501aから誤判定要因データを除外したデータを学習させることで、新たな学習済みのAIモデル400を生成する。従って、分類出力AI用の確認部55jによって学習状態が不適切であると判定された場合に、過去の追加学習データ501(特定学習データ501a)を生かしつつ、過学習による誤判定の発生をより確実に抑制可能となるように学習状態の修正を行うことができる。その結果、PTPシート1の分類に関する誤判定が生じることをより確実に防止でき、検査精度を高めることができる。
【0292】
加えて、分類出力AI用の確認部55jによって学習状態が不適切であると判定された場合には、検査に利用されている現用AIモデル400zのニューラルネットワークではなく、非使用AI記憶部555に記憶された初期AIモデル400aのニューラルネットワークに対し学習が行われる。そのため、膨大な繰り返し処理となり得る、ニューラルネットワークの学習に係る処理や誤判定要因データの抽出(特定)に係る処理を、検査を停止させることなく行うことができる。これにより、多数のPTPシート1に対する検査を、より迅速に、かつ、より効率よく行うことができる。
【0293】
また、分類出力AI用の確認部55jにより誤判定が生じることが確認された場合に、誤判定に係る元画像データ(誤判定を生じさせた元画像データ)である誤判定発生画像データ502に対する類似度に基づき、特定学習データ501aの中から誤判定要因データを特定することができる。従って、誤判定要因データをより正確に特定することができ、ひいては、新たに生成される学習済みのAIモデル400を用いた検査に係る精度をより確実に高めることができる。
【0294】
さらに、オペレータ等による承認があって初めて、現用AIモデル400zが新たに生成された学習済みのAIモデル400に置換される。そのため、現用AIモデル400zを、新たに生成された学習済みのAIモデル400に置換することが、意図せず行われることをより確実に防止できる。これにより、意図しない置換に伴う不具合の発生をより確実に防ぐことができる。
【0295】
尚、上記実施形態の記載内容に限定されず、例えば次のように実施してもよい。勿論、以下において例示しない他の応用例、変更例も当然可能である。
【0296】
(a)上記実施形態では、初期AIモデル200a,400aが「旧識別手段」を構成している。これに対し、追加学習処理が一部行われていない段階のAIモデル200,400である「AI(1)」~「AI(n-1)」や「AI2(1)」~「AI2(n-1)」のいずれかによって「旧識別手段」が構成されるようにしてもよい。従って、例えば、「AI(99)」が「旧識別手段」を構成することとしてもよい(
図29参照)。また、このような構成においては、「AI(0)」~「AI(98)」に係るデータと、これらAIモデル200(「AI(0)」~「AI(98)」)の追加学習に用いられた追加学習データ301(「IM(1)」~「IM(99)」)とが仮に画像データ記憶部526に記憶されていない場合に、不良品のPTPシート1が良品であるなどの誤判定されたときには、例えば、「IM(100)」以降の追加学習データ301の中から誤判定要因データを特定し、この誤判定要因データを除いた「IM(100)」以降の追加学習データ301を用いて、「AI(99)」の再学習処理を行うようにしてもよい。
【0297】
また、追加学習処理が一部又は全部行われていない段階のAIモデル200,400である「AI(0)」~「AI(n-1)」や「AI2(0)」~「AI2(n-1)」の全てがそれぞれ「旧識別手段」を構成することとしてもよく、非使用AI記憶部525,555は、これらのAIモデル200,400の全てを記憶していてもよい。また、この場合には、再学習処理を、誤判定要因データを追加学習する直前のAIモデル200に対し行うようにしてもよい。例えば、誤判定要因データが「IM(3)」であると特定された場合、この誤判定要因データを追加学習する直前のAIモデル200である「AI(2)」に対し再学習処理を行うようにしてもよい。
【0298】
さらに、「旧識別手段」を、現用AIモデル200zとの関係で適宜変更する構成としてもよい。例えば、現用AIモデル200zを基準として、直近の所定回数(例えば10回など)の追加学習処理が行われる前の段階のAIモデル200を「旧識別手段」としてもよい。この場合、現用AIモデル200zの更新に伴い、「旧識別手段」となるAIモデル200が変更される。
【0299】
(b)上記実施形態において、初期AIモデル200a,400aは、予め学習処理が行われたものとされているが、初期AIモデル200a,400aは、学習処理が行われていないものであってもよい。この場合には、追加学習部52h,55hによって、上記実施形態で述べた学習処理を初期AIモデル200a,400aに対し行うことで、学習済みのAIモデル200,400を生成してもよい。従って、追加学習部52h,55hは、学習処理及び追加学習処理の双方を実行可能なものであってもよい。
【0300】
(c)上記実施形態において、誤判定要因データは、不良画像データ302や誤判定発生画像データ502との類似度に基づき特定されているが、その特定手法を適宜変更してもよい。例えば、直近の追加学習処理に用いられた追加学習データ301,501を誤判定要因データとして特定するようにしてもよい。
【0301】
(d)上記実施形態において、検査装置21,23は、PTPシート1の検査に用いられているが、検査装置21,23による検査対象物はPTPシート1に限定されるものではない。従って、例えば、検査装置21,23によって、錠剤5の検査を行うように構成してもよい。
【0302】
尚、錠剤の種別や形状等については、上記実施形態に限定されるものではない。例えば錠剤には、医薬のみならず、飲食用に用いられる錠剤なども含まれる。また、錠剤には、素錠のみならず、糖衣錠やフィルムコーティング錠、口腔内崩壊錠、腸溶錠、ゼラチン被包錠などが含まれるのは勿論のこと、硬カプセルや軟カプセルなどの各種カプセル錠なども含まれる。
【0303】
また、例えば
図30に示すようなPTPシート以外のブリスタパック800を検査対象物とすることもできる。ブリスタパック800は、所定の内容物を収容するためのポケット部801を有している。
【0304】
(e)「識別手段」としてのAIモデル200,400の構成及びその学習方法は、上記実施形態に限定されるものではない。例えば、ニューラルネットワークの学習処理や、再構成画像データの取得処理などを行う際に、必要に応じて各種データに対し正規化等の処理を行う構成としてもよい。また、ニューラルネットワーク190の構造は、
図9に示したものに限定されず、例えば畳み込み層193の後にプーリング層を設けた構成としてもよい。勿論、ニューラルネットワーク190の層数や、各層のノード数、各ノードの接続構造などが異なる構成としてもよい。
【0305】
さらに、上記実施形態では、AIモデル200(ニューラルネットワーク190)が、畳み込みオートエンコーダ(CAE)の構造を有した生成モデルとなっているが、これに限らず、例えば変分自己符号化器(VAE:Variational Autoencoder)など、異なるタイプのオートエンコーダの構造を有した生成モデルとしてもよい。
【0306】
また、上記実施形態では、誤差逆伝播法によりニューラルネットワーク190を学習する構成となっているが、これに限らず、その他の種々の学習アルゴリズムを用いて学習する構成としてもよい。
【0307】
加えて、ニューラルネットワークは、いわゆるAIチップ等のAI処理専用回路によって構成されることとしてもよい。その場合、パラメータ等の学習情報のみがAI記憶部524,525(554,555)に記憶され、これをAI処理専用回路が読み出して、ニューラルネットワークに設定することによって、AIモデル200,400が構成されるようにしてもよい。
【0308】
(f)上記第2実施形態において、学習済みのAIモデル400は、入力された元画像データを、良品又は不良品と各種不良の種別とで分類可能とされているが、少なくとも分類項目には良品/不良品が含まれていればよい。従って、学習済みのAIモデル400は、良品又は不良品で分類する一方、不良の種別による分類を行わないものであってもよい。
【符号の説明】
【0309】
1…PTPシート(検査対象物)、11…PTP包装機、21,23…検査装置、52f…再構成画像データ取得部(再構成画像データ取得手段)、52g…判定部(判定手段)、52h,55h…追加学習部(追加学習手段)、52i,55i…要因データ特定部(要因データ特定手段)、52j…画像出力AI用の確認部(画像出力AI用の確認手段)、52x,55x…画像データ取得部(画像データ取得手段)、55j…分類出力AI用の確認部(分類出力AI用の確認手段)、190…ニューラルネットワーク、191…エンコーダ部(符号化部)、192…デコーダ部(復号化部)、200,400…AIモデル(識別手段)、200a,400a…初期AIモデル(学習済識別手段、旧識別手段)、200z,400z…現用AIモデル(学習済識別手段、現用識別手段)、200z1,400z1…複製現用AIモデル(学習済識別手段、複製現用識別手段)、525,555…非使用AIモデル記憶部(識別手段記憶手段)、526,556…画像データ記憶部(特定学習データ記憶手段、不良画像データ記憶手段)。