特開 2023-61387 合成データ及び機械学習を使用した欠陥検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023061387

(43)【公開日】2023-05-01

(54)【発明の名称】合成データ及び機械学習を使用した欠陥検出

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230424BHJP

   G06V 10/82 20220101ALI20230424BHJP

   G06V 20/69 20220101ALI20230424BHJP

   G01N 21/88 20060101ALI20230424BHJP

   G02C 7/04 20060101ALI20230424BHJP

   G02C 13/00 20060101ALI20230424BHJP

【ＦＩ】

G06T7/00 610B

G06T7/00 350C

G06V10/82

G06V20/69

G01N21/88 J

G02C7/04

G02C13/00

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022166772

(22)【出願日】2022-10-18

(31)【優先権主張番号】17/505,181

(32)【優先日】2021-10-19

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＭＡＴＬＡＢ

２．ＳＭＡＬＬＴＡＬＫ

３．Ｌｉｎｕｘ

(71)【出願人】

【識別番号】510294139

【氏名又は名称】ジョンソン・アンド・ジョンソン・ビジョン・ケア・インコーポレイテッド

【氏名又は名称原語表記】Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ Ｖｉｓｉｏｎ Ｃａｒｅ， Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｃｅｎｔｕｒｉｏｎ Ｐａｒｋｗａｙ， Ｊａｃｋｓｏｎｖｉｌｌｅ， ＦＬ ３２２５６， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】エドワード・アール・カーニック

(72)【発明者】

【氏名】ピーター・セレッタ

【テーマコード（参考）】

2G051

2H006

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB01

2G051AB02

2G051EB05

2H006BC07

2H006DA00

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096EA15

5L096EA16

5L096EA35

5L096FA64

5L096FA67

5L096FA69

5L096GA41

5L096HA11

5L096KA04

(57)【要約】

【課題】コンタクトレンズパッケージの品質管理のための方法を提供すること。
【解決手段】コンタクトレンズパッケージの品質管理のための方法は、物理的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の画像を含む第１のデータセットを受信することと、デジタル的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の画像を含む第２のデータセットを受信することと、検証済みの１つ以上の品質管理モデルを決定するために、第１及び第２のデータセットについてモデルを試験及び訓練することと、コンタクトレンズのパッケージの画像データをキャプチャすることと、検証済みの１つ以上の品質管理モデルに基づいて、画像データを分析することと、分析に基づいて、少なくともパッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

コンタクトレンズパッケージの品質管理のための方法であって、
デジタル的に埋め込まれた異物が中に配置されたコンタクトレンズパッケージの複数の拡張画像を含むデータセットを生成することであって、前記複数の拡張画像のうちの１つ以上に配置された前記デジタル的に埋め込まれた異物は、前記埋め込まれた異物のうちの他のものとは異なる特性を有し、前記特性は、異物の形態、サイズ、位置、不透明度、及び量を含む、生成することと、
１つ以上の品質管理モデルを、前記データセットの少なくとも訓練サブセットについて訓練することであって、前記１つ以上の品質管理モデルは前記異物の存在を検出するように構成されている、訓練することと、
訓練された前記１つ以上の品質管理モデルを、前記データセットの少なくとも検証サブセットについて試験することと、
コンタクトレンズのパッケージの画像データをキャプチャすることと、
訓練及び試験された前記１つ以上の品質管理モデルに基づいて、前記画像データを分析することと、
前記分析することに基づいて、少なくとも前記パッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を含む、方法。

【請求項2】

前記生成することは、デジタルな１つ以上の画像をクロッピングして埋め込むこと、平滑化すること、又はマスキングすることのうちの１つ以上を含む、請求項１に記載の方法。

【請求項3】

前記生成することは、デジタル埋込物が自然に見えるように前記デジタル埋込物を一体化することを含む、請求項１に記載の方法。

【請求項4】

前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記生成すること、前記訓練すること、又は前記試験することのうちの１つ以上が繰り返される、請求項１に記載の方法。

【請求項5】

前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記デジタル的に埋め込まれた異物の特性が調整され、前記訓練すること及び前記試験することが繰り返される、請求項１に記載の方法。

【請求項6】

前記１つ以上の品質管理モデルは、畳み込みニューラルネットワークを含む、請求項１に記載の方法。

【請求項7】

前記１つ以上の品質管理モデルは、少なくとも１つの軸に沿った６４０マイクロメートル超のサイズを有する肉眼で見える異物の存在を検出するように構成されている、請求項１に記載の方法。

【請求項8】

前記データセットは、３００×３００画素超、又は４００×４００画素超、又は５００×５００画素超、又は６００×６００画素超、又は７００×７００画素超、又は８００×８００画素超、又は９００×９００画素超、又は１０００×１０００画素超の解像度を有する画像を含む、請求項１に記載の方法。

【請求項9】

システムであって、
コンタクトレンズのパッケージの画像データをキャプチャするように構成されたセンサと、
コンピューティングデバイスであって、前記センサと通信し、前記画像データを受信して、
デジタル的に埋め込まれた異物が中に配置されたコンタクトレンズパッケージの複数の拡張画像を含むデータセットを生成することであって、前記複数の拡張画像のうちの１つ以上に配置された前記デジタル的に埋め込まれた異物は、前記埋め込まれた異物のうちの他のものとは異なる特性を有し、前記特性は、異物の形態、サイズ、位置、不透明度、及び量を含む、ことと、
１つ以上の品質管理モデルを、前記データセットの少なくとも訓練サブセットについて訓練することであって、前記１つ以上の品質管理モデルは前記異物の存在を検出するように構成されている、ことと、
訓練された前記１つ以上の品質管理モデルを、前記データセットの少なくとも検証サブセットについて試験することと、
コンタクトレンズのパッケージの画像データをキャプチャすることと、
訓練及び試験された前記１つ以上の品質管理モデルに基づいて、前記画像データを分析することと、
前記分析することに基づいて、少なくとも前記パッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を行うように構成されているコンピューティングデバイスと、を備える、システム。

【請求項10】

前記センサの視野内にコンタクトレンズの前記パッケージを移動させるように構成された搬送機構を更に備える、請求項９に記載のシステム。

【請求項11】

前記生成することは、デジタルな１つ以上の画像をクロッピングして埋め込むこと、平滑化すること、又はマスキングすることのうちの１つ以上を含む、請求項９に記載のシステム。

【請求項12】

前記生成することは、デジタル埋込物が自然に見えるように前記デジタル埋込物を一体化することを含む、請求項９に記載のシステム。

【請求項13】

前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記生成すること、前記訓練すること、又は前記試験することのうちの１つ以上が繰り返される、請求項９に記載のシステム。

【請求項14】

前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記デジタル的に埋め込まれた異物の特性が調整され、前記訓練すること及び前記試験することが繰り返される、請求項９に記載のシステム。

【請求項15】

前記１つ以上の品質管理モデルは、畳み込みニューラルネットワークを含む、請求項９に記載のシステム。

【請求項16】

前記１つ以上の品質管理モデルは、少なくとも１つの軸に沿った６４０マイクロメートル超のサイズを有する肉眼で見える異物の存在を検出するように構成されている、請求項９に記載のシステム。

【請求項17】

前記データセットは、３００×３００画素超、又は４００×４００画素超、又は５００×５００画素超、又は６００×６００画素超、又は７００×７００画素超、又は８００×８００画素超、又は９００×９００画素超、又は１０００×１０００画素超の解像度を有する画像を含む、請求項９に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

コンタクトレンズの品質管理は、検査及び検出の技術に依存し得る。しかしながら、改善が必要とされている。

【発明の概要】

【課題を解決するための手段】

【0002】

本開示は、コンタクトレンズパッケージの品質管理のためのシステム及び方法を記載する。方法は、第１のデータセット及び第２のデータセットを受信することを含む。第１のデータセットは、物理的に埋め込まれた異物が中に配置されたコンタクトレンズパッケージの複数の画像を含む。第２のデータセットは、デジタル的に埋め込まれた異物を有するコンタクトレンズパッケージの複数の画像を含む。方法は、１つ以上の品質管理モデルを、第１のデータセット及び第２のデータセットの少なくとも訓練サブセットについて訓練することを更に含む。１つ以上の品質管理モデルは、異物の存在を検出するように構成されている。１つ以上のモデルが訓練された後、モデルは、第１のデータセット及び第２のデータセットの少なくともサブセットについて試験されてもよい。品質管理モデルの訓練及び試験は、所定の性能閾値が満たされ得るまで繰り返されてもよい。この閾値が満たされると、品質管理モデルは検証済みモデルとなる。方法は、コンタクトレンズパッケージの画像をキャプチャすることと、検証済みの１つ以上のモデルに基づいてその画像を分析することとを更に含む。この分析に基づいて、方法は、パッケージの合格又は不合格状態を示す品質管理メトリックを出力する。

【0003】

本開示は、コンタクトレンズパッケージの品質管理のためのシステムを記載する。システムは、コンタクトレンズパッケージの画像データをキャプチャするためのセンサを備える。システムは、センサと通信し、第１のデータセット及び第２のデータセットを受信するように構成されたコンピューティングデバイスを更に備える。第１のデータセットは、物理的に埋め込まれた異物を有するコンタクトレンズパッケージの複数の画像を含む。第２のデータセットは、デジタル的に埋め込まれた異物を有するコンタクトレンズパッケージの複数の画像を含む。コンピューティングデバイスは、品質管理モデルを更に含んでもよい。品質管理モデルは、第１のデータセット及び第２のデータセットの少なくとも訓練サブセットについて訓練されてもよい。１つ以上の品質管理モデルは、異物の存在を検出するように構成されている。１つ以上のモデルが訓練された後、モデルは、第１のデータセット及び第２のデータセットの少なくともサブセットについて試験されてもよい。品質管理モデルの訓練及び試験は、所定の性能閾値が満たされ得るまで繰り返されてもよい。この閾値が満たされた後、品質管理モデルは検証済みモデルとなる。システムは、センサによってコンタクトレンズパッケージの画像をキャプチャすることと、検証済みの１つ以上のモデルに基づいてその画像を分析することとを更に含む。この分析に基づいて、システムは、パッケージの合格又は不合格状態を示す品質管理メトリックを出力する。システムは、センサの視野内にパッケージを移動させるように構成された搬送機構を更に備えてもよい。

【0004】

本開示は、コンタクトレンズパッケージの品質管理のための方法を記載する。方法は、第１のデータセット及び第２のデータセットを受信することを含む。第１のデータセットは、物理的に埋め込まれた欠陥が中に配置されたコンタクトレンズパッケージの複数の画像を含む。第２のデータセットは、デジタル的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の画像を含む。方法は、１つ以上の品質管理モデルを、第１のデータセット及び第２のデータセットの少なくとも訓練サブセットについて訓練することを更に含む。１つ以上の品質管理モデルは、欠陥の存在を検出するように構成されている。１つ以上のモデルが訓練された後、モデルは、第１のデータセット及び第２のデータセットの少なくともサブセットについて試験されてもよい。品質管理モデルの訓練及び試験は、所定の性能閾値が満たされるまで繰り返されてもよい。この閾値が満たされると、品質管理モデルは検証済みモデルとなる。方法は、コンタクトレンズパッケージの画像をキャプチャすることと、検証済みの１つ以上のモデルに基づいてその画像を分析することとを更に含む。この分析に基づいて、方法は、パッケージの合格又は不合格状態を示す品質管理メトリックを出力する。欠陥は、異物、エッジ欠陥、又は穴のうちの１つ以上を含むことができる。

【0005】

本開示は、コンタクトレンズパッケージの品質管理のためのシステムを記載する。システムは、コンタクトレンズパッケージの画像データをキャプチャするためのセンサを備える。システムは、センサと通信し、第１のデータセット及び第２のデータセットを受信するように構成されたコンピューティングデバイスを更に備える。第１のデータセットは、物理的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の画像を含む。第２のデータセットは、デジタル的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の画像を含む。コンピューティングデバイスは、品質管理モデルを更に含んでもよい。品質管理モデルは、第１のデータセット及び第２のデータセットの少なくとも訓練サブセットについて訓練されてもよい。１つ以上の品質管理モデルは、欠陥の存在を検出するように構成されている。１つ以上のモデルが訓練された後、モデルは、第１のデータセット及び第２のデータセットの少なくともサブセットについて試験されてもよい。品質管理モデルの訓練及び試験は、所定の性能閾値が満たされ得るまで繰り返されてもよい。この閾値が満たされると、品質管理モデルは検証済みモデルとなる。システムは、センサによってコンタクトレンズパッケージの画像をキャプチャすることと、検証済みの１つ以上のモデルに基づいてその画像を分析することとを更に含む。この分析に基づいて、システムは、パッケージの合格又は不合格状態を示す品質管理メトリックを出力する。システムは、センサの視野内にパッケージを移動させるように構成された搬送機構を更に備えてもよい。欠陥は、異物、エッジ欠陥、又は穴のうちの１つ以上を含むことができる。

【0006】

本開示は、コンタクトレンズパッケージの品質管理のための方法を記載する。方法は、データセットを生成することを含む。データセットは、デジタル的に埋め込まれた異物を有するコンタクトレンズパッケージの複数の拡張画像を含む。複数の拡張画像内のデジタル的に埋め込まれた異物は、他の埋め込まれた異物とは異なる特性を有する。これらの特性は、異物の形態、サイズ、場所、不透明度、及び量を含む。方法は、１つ以上の品質管理モデルを、データセットの少なくとも訓練サブセットについて訓練することを更に含む。１つ以上の品質管理モデルは、異物の存在を検出するように構成されている。方法は、訓練された１つ以上の品質管理モデルを、データセットの少なくとも検証サブセットについて試験することを更に含む。方法は、コンタクトレンズパッケージの画像データをキャプチャすることを更に含む。方法は、訓練及び試験された１つ以上の品質管理モデルに基づいて、画像データを分析することと、分析に基づいて、少なくともパッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を更に含む。

【0007】

本開示は、コンタクトレンズパッケージの品質管理のためのシステムを記載する。システムは、コンタクトレンズパッケージの画像データをキャプチャするためのセンサを備える。システムは、センサと通信し、画像データを受信し、１つ以上の品質管理モデルに基づいて画像データを分析するように構成されたコンピューティングデバイスを更に備える。システムは、データセットを生成することを更に含む。データセットは、デジタル的に埋め込まれた異物を有するコンタクトレンズパッケージの複数の拡張画像を含む。複数の拡張画像内のデジタル的に埋め込まれた異物は、他の埋め込まれた異物とは異なる特性を有する。これらの特性は、異物の形態、サイズ、場所、不透明度、及び量を含む。システムは、１つ以上の品質管理モデルを、データセットの少なくとも訓練サブセットについて訓練することを更に含む。１つ以上の品質管理モデルは、異物の存在を検出するように構成されている。システムは、訓練された１つ以上の品質管理モデルを、データセットの少なくとも検証サブセットについて試験することを更に含む。システムは、品質管理モデルのうちの１つ以上に基づいて、画像データを分析することと、分析に基づいて、少なくともパッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を更に含む。

【0008】

本開示は、コンタクトレンズパッケージの品質管理のための方法を記載する。方法は、データセットを生成することを含む。データセットは、デジタル的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の拡張画像を含む。複数の拡張画像内のデジタル的に埋め込まれた欠陥は、他の埋め込まれた欠陥とは異なる特性を有する。これらの特性は、欠陥の形態、サイズ、場所、不透明度、及び量を含む。方法は、１つ以上の品質管理モデルを、データセットの少なくとも訓練サブセットについて訓練することを更に含む。１つ以上の品質管理モデルは、欠陥の存在を検出するように構成されている。方法は、訓練された１つ以上の品質管理モデルを、データセットの少なくとも検証サブセットについて試験することを更に含む。方法は、コンタクトレンズパッケージの画像データをキャプチャすることを更に含む。方法は、訓練及び試験された１つ以上の品質管理モデルに基づいて、画像データを分析することと、分析に基づいて、少なくともパッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を更に含む。欠陥は、異物、エッジ欠陥、及び穴を含むことができる。

【0009】

本開示は、コンタクトレンズパッケージの品質管理のためのシステムを記載する。システムは、コンタクトレンズパッケージの画像データをキャプチャするためのセンサを備える。システムは、センサと通信し、画像データを受信し、１つ以上の品質管理モデルに基づいて画像データを分析するように構成されたコンピューティングデバイスを更に備える。コンピューティングデバイスは、生成されたデータセットに対して更に動作する。データセットは、デジタル的に埋め込まれた欠陥を有するコンタクトレンズパッケージの複数の拡張画像を含む。複数の拡張画像内のデジタル的に埋め込まれた欠陥は、他の埋め込まれた欠陥とは異なる特性を有する。これらの特性は、欠陥の形態、サイズ、場所、不透明度、及び量を含む。システムは、１つ以上の品質管理モデルを、データセットの少なくとも訓練サブセットについて訓練することを更に含む。１つ以上の品質管理モデルは、異物の存在を検出するように構成されている。システムは、訓練された１つ以上の品質管理モデルを、データセットの少なくとも検証サブセットについて試験することを更に含む。システムは、品質管理モデルのうちの１つ以上に基づいて、画像データを分析することと、分析に基づいて、少なくともパッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を更に含む。欠陥は、異物、エッジ欠陥、及び穴を含むことができる。

【図面の簡単な説明】

【0010】

本開示の上記の特徴が詳細に理解され得るように、上記で簡潔に要約された本開示のより具体的な説明は、実施形態を参照することによって得ることができ、そのいくつかは添付の図面に示されている。ただし、添付図面は、本開示の典型的な実施形態のみを図示しており、本発明は、他の同様に有効な実施形態を認めることができることに留意されたい。

【図1】例示的な畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）を示す図である。

【図2】図１のＣＮＮの断面を示す図である。

【図3a】図１のＣＮＮの断面を示す図である。

【図3b】深層学習モデルを示す図である。

【図3c】深層学習モデルを示す図である。

【図4】拡張画像を有するモデルの訓練、試験、及び検証を示す図である。

【図5】モデルの交差検証を示す図である。

【図6】方法の流れを示す図である。

【図7】システムを示す図である。

【図8】方法の流れを示す図である。

【図9】方法の流れを示す図である。

【図10】画像の解像度を示す図である。

【図11】１つの異物片を低解像度及び高解像度で示す図である。

【図12】レンズパッケージに物理的に埋め込まれた異物を示す図である。

【図13】レンズパッケージにデジタル的に埋め込まれた異物を示す図である。

【図14】異物を有する画像の拡張を示す図である。

【図15】異物を有する画像の拡張を示す図である。

【図16】速度を計算する例示的な関数としてのＣＮＮ精度を示す図である。

【0011】

本発明の実施形態の他の特徴は、以下の発明を実施するための形態から明らかとなるであろう。

【発明を実施するための形態】

【0012】

本開示は、レンズ及びレンズパッケージにおける異物、穴、及びエッジ欠陥の検出のための機械学習アルゴリズムの訓練における合成データ、ハイブリッドデータ、又は拡張データの使用に関する。レンズパッケージは、異物がパッケージに侵入しないようにするために品質管理を必要とする。パッケージはまた、パッケージ又はレンズの穴、並びにレンズのエッジ欠陥を識別するための検査を必要とする。異物は、レンズを損傷したり、レンズを汚染したりする可能性があり、これらは両方とも、顧客のニーズを満たす上で不利益である。パッケージは、パッケージが密封される前後を含むプロセスの任意の段階で検査することができる。

【0013】

以下の詳細な説明では、その一部をなし、本発明を実施することができる特定の実施形態を例示として示す添付の図面を参照する。本発明の範囲から逸脱することなく、他の実施形態を利用することができ、また構造上の変更を行うことができることを理解されたい。本教示の趣旨及び範囲から逸脱することなく、実施形態に電気的、機械的、論理的、及び構造的変更を加えることができる。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本開示の範囲は添付の特許請求の範囲及びそれらの等価物によって定義される。

【0014】

異物の検出／封入を利用して、顧客に出荷されるコンタクトレンズ又はパッケージにおける異物又は欠陥の量を減らすことができる。肉眼で見える異物（gross foreign matter、ＧＦＭ）は、約６４７マイクロメートル（約１０００分の２５インチ（２５ミル））よりも大きい少なくとも１つの寸法を有するものとして識別される。約は、±１０％以内、又は±５％以内を意味する。

【0015】

図１～図３ｃは、畳み込みニューラルネットワーク画像分類システムの一例を示す。図１は、３色の深度を有する２９９×２９９画素のカラー画像が入力されたＣＮＮ Ｉｎｃｅｐｔｉｏｎ Ｖ３を示す。出力は、深度２０４８の８×８の分類である。図２は、ネットワークの最初のいくつかの層を示す。このネットワークの最初の３つの層は３つの畳み込み層１０２を含み、これらに最大プーリング層１０４が続く。ネットワーク内の様々な段階において、平均プーリング層１０６が、連結層１０８と同様に採用されている。このネットワーク内の層のほとんどは畳み込み層１０２であるが、最初の３つのみが、ラベル付けにおける混乱を避けるためにそのようにラベル付けされている。図３ａは、このネットワークの最後のいくつかの層を示す。最後の層は、ほとんどの畳み込み層１０２（ここでも混乱を避けるために１つの層のみがラベル付けされている）、平均プーリング層１０６、連結層１０８、ドロップアウト層１１０、全結合層１１２、及びソフトマックス層１１４を含む。

【0016】

図３ｂは、方法がどのように機能するかについてのアンサンブルの概要を示す。画像３０２が深層学習モデル３０４に送信される。深層学習モデル３０４内には、特徴抽出層３０６、グローバル平均プーリング層３０８、及び全結合層３１０（決定層としても知られる）が存在してもよい。深層学習モデルは、アクティブ化３１２及びＦＭ（foreign matter、異物）スコア３１８を出力することができる。アクティブ化３１２は、アーチファクトスコア３１６を出力することができるアーチファクトモデル３１４への入力の中にあってもよい。ＦＭスコア３１８及びアーチファクトスコア３１６は、アンサンブルモデル３２０への入力であってもよい。アンサンブルモデル３２０は、結果３２４を生成する最終スコア３２２を出力してもよい。

【0017】

図３ｃは、別個のアーチファクトモデル３１４及びアンサンブルモデル３２０をなくしたものを示す。深層学習モデル３０４の終端の再訓練された全結合層３１０ｂは、最終スコア３２２及び結果３２４が、古い全結合層３１０、アーチファクトモデル３０４、及びアンサンブルモデル３２０と同じになることを可能にする。深層学習モデル３０４に元々存在していなかったアーチファクトモデル３１４によって新たな情報が追加されていないため、深層学習モデル３０４は、元の全結合層３１０を新たな全結合層３１０ｂとして再訓練することができる。再訓練は、最終スコア３２２及び結果３２４を直接決定するために構成要素の重みを変更することを含んでもよい。一例では、アーチファクトモデル３１４及びアンサンブルモデル３２０を含む以前の方法からの出力を、初期再訓練ステップとして組み込むことができる。機械学習の当業者に周知のように、他の再訓練方法も使用することができる。古い全結合層３１０は、特徴抽出パラメータのいずれも調整することなく深層学習モデルの決定境界を調整するために、新たな全結合層３１０ｂとして再訓練されなければならない。したがって、全結合層３１０を再訓練することにより、これら他のモデルを有する必要がなくなり、これらの結果が効果的に内部化される。中間計算としてＦＭスコア３１８及びアーチファクトスコア３１６が不要となり、そのため、計算の流れから除去されることに留意されたい。グローバル平均プーリング層３０８から生じたであろうアクティブ化は、新たな全結合層３１０ｂに組み込まれる。したがって、アクティブ化３１２もまた中間変数となり、別の外部モデルへの送信を必要としない。したがって、最終スコア３２２は、処理時間を節約し、これら他のモデルの付加的な複雑さを排除する、より直接的で単純な計算によって達成される。

【0018】

畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習アルゴリズムは、画像を種々のカテゴリに分類するのに有用であり得る。図１～図４の例に示すように、これらのネットワークは多くの層を含む。設計されたネットワークは、正確な用途に応じて、より多くの又はより少ない特定の層及びより多くの又はより少ない他の層を必要としてもよい。ＡｌｅｘＮｅｔ及びＩｎｃｅｐｔｉｏｎ Ｎｅｔ Ｖ３は、様々な物体（例えば、船、豹、サクランボなど）の画像を入力として受信し、画像が属し得る分類を出力するＣＮＮの例である。一例として、そのような画像を正しく識別又は分類するために、ＣＮＮを、既知の分類を有する他の画像を使用して最初に訓練してもよい。レンズパッケージに侵入する異物（又はパッケージにおける他の欠陥）に関する１つの問題は、異物の割合が非常に少ない（例えば、０．４ｐｐｍ未満）ことである。製造プロセスにおける他の保護手段を前提としてＦＭは例外的にまれである可能性があることを考えると、ＦＭ又は他の欠陥を有する単一のパッケージを取得するだけでも、平均で数百万個のレンズパッケージを必要とする可能性がある。一例として、訓練を目的とするそのような画像の望ましい数は、１０００を超える場合がある。導入済みの品質管理画像処理を使用せずに物理的領域からそのような非常に多くの画像を取得した場合、何十億個ものレンズパッケージの製造を必要とする可能性がある。したがって、本開示は、満足のいく試験又は訓練データを得るためにそのような大規模な生産分析を必要とすることなく、１つ以上の欠点に対処することができる。

【0019】

異物を有する画像を、手動で（人間の識別によって）識別することができる。異物を含むパッケージを作製し又は播種し、識別のためにシステムに供給することもできる。しかしながら、そのような試験は、より多くの人的努力及び時間を必要とし、システムが顧客のために欠陥のない製品を製造する能力を低下させる。手動で作製された欠陥を有するパッケージであっても、導入される欠陥の種類を適切に模倣しない可能性があり、タスクを更に困難にする。この目的のために、合成データ又は拡張データを作成して、現実のＦＭを有するレンズパッケージの識別又は分類のためのＭＬモデルの訓練を支援することができる。

【0020】

図４～図５は、ＣＮＮの訓練及び試験を示す。説明の目的で示すように、パッケージの既存の画像データベース４０２は、良好なパッケージの画像と、ＦＭ、エッジ欠陥、穴などを有する不良パッケージの画像とを含む。既存の画像データベース４０２は、良好なレンズパッケージの画像を、不良レンズパッケージの画像よりも多く含む。既存の画像データベース４０２から拡張画像４０４が作成される。これらの拡張画像４０４を作成するプロセスを、以下及び図１２～図１６で更に詳細に説明する。既存の画像データベース４０２及び拡張画像４０４は、組み合わされてフル画像セット４０６を形成する。フル画像セット４０６は、訓練データ４０８のセット及び試験データ４１０のセットの２つのデータセットに分割することができる。訓練済みモデル４１４を作成するために、訓練データ４０８が未訓練モデル４１２（例えば、上記のＩｎｃｅｐｔｉｏｎ Ｖ３ ＣＮＮ）に供給される。訓練済みモデルは、可能な限り多くの画像について既知の正しい結果を得るために、必要に応じて様々な層のモデル重み付けパラメータを調整する。次いで、検証済みモデル４１６を作成するために、試験データ４１０が訓練済みモデル４１４に供給される。検証済みモデル４１６は、試験データ４１０の既知の分類と比較するために、試験データ４１０の分類を生成する。検証済みモデル４１６が、閾値を満たすか又は閾値を超えるという点で所望の出力を生成する場合は、検証済みモデル４１６は、生産設定で使用する準備ができている。検証済みモデル４１６が閾値を満たさない場合は、モデルのハイパーパラメータを変更してもよく、又は検証合格閾値を満たすモデルが見つかるまで別のモデルを選択してもよい。他の技術を用いることもできる。

【0021】

図５は、試験済みモデルとしても知られている検証済みモデル４１６を生成するための別の方法である交差検証の概念を示す。交差検証では、フル画像データセット４０６は、いくつかのグループに分割される。図５に示す例では、フル画像データセット４０６は、Ａ、Ｂ、Ｃ、Ｄ、及びＥとラベル付けされた５つのグループに分割される。交差検証試験の各反復について、グループのうちの１つは訓練データ４０８である。残りのグループは、試験又は検証データ４１０である。明確にするために、訓練データ４０８は、交差検証の各反復でラベル付けされるが、図５では単一セットのみの試験データ４１０、すなわち反復５０２Ｅのみの試験データがラベル付けされる。これらの反復５０２の各々は、どのグループが訓練データ４０８であるかに基づいてラベル付けされる。したがって、例えば反復５０２Ａは訓練データ４０８グループＡを有し、反復５０２Ｂは訓練データ４０８グループＢを有する。これらの反復の各々は、図中の検証済みモデル５２０Ａ、５２０Ｂ、５２０Ｃ、５２０Ｄ、及び５２０Ｅを生成する。これらのモデルは比較され（５３０）、ＦＭ又は欠陥を有するレンズパッケージのその後の識別に使用されるモデルを作成するために、１つのモデルが選択されるか、又はモデルが統合される（５４０）。上記のように、検証済みモデル５２０が選択されるために超えなければならないメトリック又は所定の性能閾値が存在してもよい。

【0022】

図６は、レンズパッケージ６００の品質管理メトリックを出力するための方法を示す。ステップ６０２で、現実のレンズパッケージの画像が収集されて、第１のデータセットが形成される。ステップ６０４で、現実のレンズパッケージの画像に欠陥又はＦＭをデジタル的に埋め込んで画像を作成することにより、第２のデータセットが作成される。したがって、ＦＭ、エッジ欠陥、及び穴のあまり一般的でない画像の数を増加させるために、拡張画像が作成される。ステップ６０６で、モデルは訓練データセット４０８を使用して訓練される。ステップ６０８で、モデルは試験又は検証データセット４１０を使用して検証される。交差検証（図２）も使用することができる。ステップ６１０で、モデル結果が性能閾値と比較される。モデルが性能閾値を満たさない場合には、ステップ６１２で、モデルを送り返して調整及び再訓練し（６０６）、再試験する（６０８）ことができる。あるいは、既存のモデルのハイパーパラメータを修正し、新たなモデルを訓練してもよい。同様に、この段階で代替モデルを選択してもよい。モデル６１２を調整し、モデル６０６を訓練し、モデル６０８を試験するプロセスを、モデルが性能閾値を満たすまで繰り返してもよい。モデルが性能閾値を満たすと、モデルは検証済みとなる（６１４）。ステップ６１６で、パッケージの画像がキャプチャされる。ステップ６１８で、検証済みモデルは画像を分析する。ステップ６２０で、品質管理メトリックがモデルから出力される。例えば、モデルの品質管理メトリックが、「合格」又は「異物が検出されない」又は「異物が検出された」ことを含んでもよい。

【0023】

図７は、生産ラインの一部として統合されたシステムを示している。レンズパッケージ７０２は、移動方向７１２に沿ってそれらを移動させるコンベヤベルト７０４上に載置されてもよい。パッケージがセンサ７０６の視野内に移動される。センサ７０６がパッケージ７０２の画像を撮像する。コンピュータ７０８は、センサ７０６から画像を受信するように構成されている。コンピュータ７０８は、訓練済みモデルを使用して画像を分析するように更に構成されている。次いで、コンピュータ７０８は、品質管理メトリック７１０を出力する。レンズパッケージを、品質管理メトリック７１０によって影響され得る更なる処理のために、センサ７０６の視野外に移動させてもよい。一例では、特定のパッケージ７０２の品質管理メトリック出力が「異物あり」である場合、そのパッケージ７０２を次のステップで分離させてもよい。一例では、特定のパッケージ７０２の品質管理メトリック出力が「欠陥なし」である場合、そのパッケージ７０２は、出荷のために生産ラインを進み続けてもよい。

【0024】

図８は、プロセスフロー８００を示す。ステップ８０２で、拡張画像が生成される。ステップ８０４で、モデルが訓練される。ステップ８０６で、モデルが試験される。ステップ８０８で、モデルは、調整され、再訓練（８０４）され、再試験（８０６）されてもよい。この調整、再訓練、及び再試験は、必要に応じて数回行われてもよく、又は新たなモデルが選択され、続いて初期訓練８０４及び試験８０６が行われてもよい。ステップ８１０で、パッケージの画像がキャプチャされる。ステップ８１２で、画像が分析され、ステップ８１４で、品質管理メトリックが出力される。

【0025】

図９は、プロセスフロー９００を示す。ステップ９０２で、拡張画像が生成されてもよい。ステップ９０４で、モデルが訓練されてもよい。ステップ９０６で、モデルが試験又は検証されてもよい。ステップ９０８で、モデルが性能閾値を満たすかどうかが評価されてもよい。モデルが性能閾値を満たさない場合には、モデルはステップ９１０で調整され、ステップ９０４の訓練に戻ってもよい。あるいは、新たなモデルが選択されてもよい。あるいは、モデルのハイパーパラメータが修正又は調整されてもよい。調整ステップ、試験ステップ、及び検証ステップは、モデルが性能閾値を満たす前に何度も繰り返すことができる。性能閾値の一例は、９５％を超える精度でＦＭ侵入を識別することであってもよい。性能閾値の一例の更なる詳細を、以下で更に説明する。モデルが性能閾値を満たすと、ステップ９１２で、モデルは検証済み管理モデルになる。ステップ９１４で、パッケージの画像がキャプチャされる。ステップ９１６で、画像は、検証済みモデルによって分析される。ステップ９１８で、検証済みモデルの分析に基づいて品質管理メトリックが出力される。

【0026】

性能閾値は、受信特性曲線下面積（area under the received characteristic curve、ＡＵＣ）を含むか、又は受信者動作特性（receiver operating characteristic、ＲＯＣ）曲線自体であってもよい。ＲＯＣは、偽陽性率の関数としての真陽性率のプロットである。ＡＵＣは、ＲＯＣ曲線の積分である。代替的な性能閾値は、特定の割合の真陽性の識別、又は特定の割合の真陰性の識別を必要としてもよい。同様に、他の可能な性能閾値を推測してもよい。別の代替的な閾値は、真陽性（ＦＭ又は欠陥が存在する）、真陰性（ＦＭ又は欠陥が存在しない）、偽陽性（ＦＭ／欠陥が存在すると誤って識別された）、偽陰性（ＦＭ／欠陥が存在しないと誤って識別された）の４つの選択肢全てを組み込むことである。より多くの分類がモデル訓練に含まれる（例えば、出力が欠陥又は異物の識別を含み、いずれかが存在するか又は存在しない）場合、性能閾値の他の選択肢も同様に利用可能になる。ＦＭの有無の分類に加えて、より多くの欠陥の識別（例えば、エッジ欠陥対穴）が使用される場合も、同様である。特定の割合（例えば９９．９％）を超えるＦＭ真陽性率又は低い偽陰性率（例えば１％未満）を達成するなど、他の性能閾値も使用することができる。別の可能性は、偽陽性率が別の値を上回る場合、真陽性率は特定の値より大きくなければならない（例えば、偽陽性が＞０．５の場合、真陽性は＞０．９５でなければならない）ことである。Ｂｒｉｅｒスコアなどの性能閾値の他の選択肢も使用することができる。

【0027】

一例では、ＣＮＮ（既存研究の畳み込みニューラルネットワーク）として、Ｉｎｃｅｐｔｉｏｎ Ｖ３が使用される。このＣＮＮは、最大２９９画素×２９９画素の入力画像サイズ（かつ３色）である。直径１５ｍｍのコンタクトレンズの場合、この解像度は、単一の画素がパッケージ内の約６０～７０μｍ幅の領域に対応することを意味する。

【0028】

図１０及び図１１は、より低い解像度（２９９×２９９画素）及びより高い解像度（１０００×１０００画素又は２０００×２０００画素）で撮像された画像を示す。低解像度画像１０５０が、同じレンズパッケージの高解像度画像１０００と比較される。１つの異物片が、低解像度１０５２及び高解像度１００２で示されている。図１１では、異物をクローズアップしたものが低解像度１０５２及び高解像度１００２で再び示されている。２９９画素×２９９画素のフル画像サイズについて上述したように、低解像度画像１０５０内の各画素は６０～７０μｍを表す。図１１に示すＦＭは、最大寸法が１２００～１４００μｍの約２０画素である。高解像度画像１００２は、異物をはるかに詳細に示す。解像度が１０００画素×１０００画素に増加すると、画素当たりの分解サイズは最大約２０μｍ／画素に改善された。解像度が２０００画素×２０００画素に増加すると、画素当たりの分解サイズは１０μｍ／画素に改善された。

【0029】

より高い解像度の画像を解析するためにコンピュータモデルを使用する際に生じる１つのトレードオフは、画像品質が改善されるが、計算（computering）リソースに対する要件も高くなることである。ニューラルネットワーク（又は他のモデル）の重みの数が画素数の二乗として増加する場合、３００×３００画素（９ｅ４画素）から２０００×２０００画素（４ｅ６）に増加することは、動作の数が１６００倍を超えて増加することを意味する。より大きな画像サイズ（より高い解像度）では、より高速なコンピュータプロセッサが使用されたり、より多くのメモリが追加されたり、コンピュータに他の改善（例えば、並列処理、又はグラフィックス処理ユニットなどの特殊な処理の使用）が実施されたりしない限り、画像を解析する時間が増加する。このトレードオフの一例が図１８に示されており、これは、様々なニューラルネットワーク画像分類器のコンピュータ動作回数の関数として、上位１０個の精度（１０個の画像の正確な分類の％）をプロットしたものである。列挙されたモデルのいくつかは、他のモデルよりも効率的である。

【0030】

いかなる分類モデルも、入力のサイズと関与するコンピュータリソース、また最適化されるべきパラメータの数と過学習のリスクとは必ずトレードオフする。状況によっては、画像解像度を低下させることでモデル性能を向上させることができるが、他の状況では、これは分類に有用な情報を排除するおそれがある。一般に、ＣＮＮがグラフィック処理装置（ＧＰＵ）を使用する場合はトレードオフが存在するが、これは、画像解像度を高くするとＧＰＵが処理できる最大バッチサイズが小さくなるメモリ制限をＧＰＵが有し得るためである。バッチサイズが大きいほど、損失関数に対する勾配の計算を改善することができる。本出願のために実行された試験（異物、欠陥、又は穴の存在についてレンズパッケージ画像を分類する）では、解像度の向上によってモデル性能が大幅に改善された。

【0031】

欠陥を模倣するように画像をデジタル的に操作するための多くの方法がある。そのような方法は、部分的なクロッピング及び、クロッピングされた画像をシフト又は回転させることを含む。欠陥の画像を、フレーム内の任意の位置でシフト又は回転させてもよい。例えば、画像を、完全に利用可能な画像領域の５０％だけクロッピングし、その後、ブランクの背景又は別の画像に貼り付ける前に、ランダムな数の画素を上下又はランダムなΔｘ及びランダムなΔｙだけシフトさせ、更にランダムな角度Δθだけ回転させてもよい。他の画像は、既知の良好な（欠陥のない、又はＦＭのない）画像であってもよい。他の画像操作技術は、既知のデータの鏡像を作成すること（水平又は垂直に反転させること）、又は画像を回転なしから任意の回転まで回転させることを含むことができる。この方法はまた、欠陥を局所的に歪めるなどの他の手段によって歪められた領域を含むことができる。一般に、これらの拡張は、幾何学的変換、元の画像内のランダムな消去、及び画像の混合を含むことができる。これらの方法は、ハイブリッド（既知の良好な画像を既知のＦＭあり画像又は既知の欠陥あり画像と混合した）画像、拡張画像、又は合成画像としても知られ得る。

【0032】

この方法は、異なる色（場合によって、カラー画像（例えば、ＲＧＢ、ＣＩＥＬ＊ａ＊ｂ＊又は他の色空間スキーム）又は異なるグレースケール輝度）を有する画素を、レンズパッケージ内への既知のＦＭ侵入又は穴もしくはエッジ欠陥の既知の存在と同様の形で含めるか又は追加するように、既知の良好な画像を拡張又は編集することを含んでもよい。他の色変換及びフィルタを、データ拡張の一部として使用してもよい。更に他の技術は、ノイズを画僧に追加すること、例えば、ガウスノイズ又はごま塩ノイズなどのノイズを画像内のランダム画素に追加することを含む。更に別の技術は、画像内のコントラストを強調するか、又は画像内の各画素から画像の平均強度を減算することを含んでもよい。

【0033】

理想的には、得られたモデルは、欠陥の並進、回転、視点、サイズに対して不変であってもよく、照明条件に対して不変であってもよい。この方法を実装する機械は、これらの変数のいくつか（例えば、照明及び配向又は視点）を制御可能であってもよいが、他の変数（欠陥のサイズ、回転、及び位置）は、ユーザの直接制御下にはない。

【0034】

図１４は、レンズパッケージに物理的に埋め込まれたいくつかのＦＭを示す。レンズパッケージは、レンズ１３０２を含む。パッケージはまた、レンズの無菌環境を維持するために液体を含んでもよい。この液体は、線１３０４として画像に現れる場合がある。パッケージ内に収容された液体に気泡１３０８が存在する場合がある。完全に不透明な異物１３０６が画像に現れることがある。部分的に不透明な、又は輪郭が描かれた異物が存在する場合もある。更に、小さなドットが画像に現れる場合があるが、それらはサイズ閾値（例えば１５０μｍ）を下回る場合があり、したがってＦＭと見なされない場合がある。

【0035】

図１３は、拡張画像を示す。ＦＭを含まない画像が撮像され、ＦＭと同様の画像が作成されるように画素が変更される。これらの拡張画像は、以前には異物を含んでいなかった撮像画像内に異なる位置又は異なるサイズでデジタル的に埋め込まれた異物１４０２を含むことができる。

【0036】

図１４及び図１５は、拡張データの作成を更に説明する。訓練データを作成するための画像内へのＦＭの物理的作成の一例を、レンズパッケージ内に様々な種類のＦＭを配置することによって行った。例えば、余分なレンズ材料、プラスチック、及び他の小さな物品などの物品をパッケージ内に配置し、処理ストリームに供給した。これらのＦＭ播種物の画像を撮像し、手動でＦＭありとして識別した（例えば、図１３を参照）。これにより、ＦＭを識別するためにモデル（例えば、ＣＮＮ）を訓練するための１回の試験で多数（例えば１０００以上）のそのような画像が得られた。新しい画像を含むこれらの既知のＦＭに基づいて、ＦＭのない既知の画像と共に拡張画像が作成された。これらの画像は、拡張画像（デジタル拡張）又は合成画像、あるいは場合によってはハイブリッド画像と呼ばれる。完全に合成された画像（既知の良好な又は既知の不良な画像を全く使用せずに作成されたもの）もまた、有用な訓練データセットを作成する目的で使用され得る。ハイブリッド画像は、既知の良好な画像を取得し、別の画像の既知のＦＭ部分をコピーし、デジタル写真技術からの標準的な編集ツールを使用して既知のＦＭ部分を画像内に配置することができる。したがって、ハイブリッド画像は、ＦＭを含まない画像の部分とＦＭを含む画像の部分とをマージすることによって作成され得る。別のハイブリッド画像は、既知の良好な画像を取得し、これに合成ＦＭをデジタル的に追加することを含んでもよい。図１５では、左側は、ＦＭを含まない「良好」とラベル付けされた２つの画像である。これらは、レンズ１３０２と、レンズを保護するための何らかの液体１３０４とを含む。右側の「拡張」とラベル付けされた画素は、異物の外観を作り出すために修正された（例えば、デジタル的に埋め込まれた）ものである。更なる例を図１６に示す。更に、図１６では、小さな異物１３１０が、元の「良好な」画像に既に存在しており、拡張画像に残っている。この小さなＦＭは、不合格をトリガするのに十分な大きさではない場合がある。したがって、デジタル異物１４０２がこれらの画像に追加されている。更に、これら又は関連技術を使用して、全ての形状及びサイズのハイブリッド又は合成画像ＦＭを作成することが可能である。画像を直接編集して、既知のＦＭとサイズ及び形状が類似した（又は類似していない）黒色部分を作成することができる。この技術は、ＦＭを画像にデジタル的に埋め込むと説明することもできる。レンズパッケージ内にＦＭのこれらの拡張画像を作成することは、実際のＦＭ汚染レンズパッケージを作成するよりもはるかに迅速かつ安価である。作成可能なそのような画像の数もはるかに多い。ある実験的な訓練データセットでは、１０，０００個を超えるそのようなＦＭあり画像を作成し、訓練及び試験データセットに含めた。

【0037】

本システム又は方法では、画像が取得されると、モデルで画像を分析する前に、画像の前処理を行うことができる。画像の前処理は、特定の関心領域を識別すること、コントラストを向上させること、取得された他の画像を加える又は取り去ることなどを含んでもよい。

【0038】

不合格にされるパッケージの識別のために、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）が設計又は修正され、実装されてもよい。パッケージは密封されていても密封されていなくてもよく、レンズを含んでいても空であってもよい。パッケージは、レンズを含んでいてもレンズを含んでいなくてもよいことに加えて、液体を含んでいても液体を含んでいなくてもよい。ＣＮＮ作成のための複数のプラットフォームが存在する。１つの例示的なプラットフォームはＭａｔｌａｂパッケージであるが、Ｏｃｔａｖｅ ＆ Ｐｙｔｈｏｎなどの他のプラットフォームも存在する。元の画像を、ＣＮＮに提供するのに適切なサイズとされた関心領域（regions of interest、ＲＯＩ）のみを含むより小さいサイズにスライスするように、既存のモジュールが修正されてもよい。この場合、これらの画像は、ＣＮＮに提供される各ＲＯＩが処理に適した数の画素を有するように、パッケージ自体によって規定された、例えば２９９画素×２９９画素（モノクロ）の関心領域（ＲＯＩ）によって画定された。Ｉｎｃｅｐｔｉｏｎ Ｖ３のような例示的なＣＮＮは、畳み込み層、最大プーリング層、及び全結合層が混在した合計４８層を含むことができる。ネットワークの後の段階では、正規化線形ユニット（rectifying linear unit、ＲｅＬＵ）を使用し、加えて、過学習を回避するために、かなりの数のノードをランダムに除くことができる。例えば、３×３のサイズのフィルタを、１、２、又はそれ以上の数のストライドで使用してもよい。層は、画像の処理を向上させるために画像の縁部及び角部の周りにパッドを使用することができる。同様に、欠陥のないパッケージを欠陥又はＦＭを含むものとして誤って識別することなく、何らかの欠陥のあるパッケージを識別するより良い結果を達成するために、ネットワークの様々な層（例えば、畳み込み層、最大プーリング層、ソフトマックス層、ドロップアウト層、全結合層など）を変更することができる。

【0039】

Ｌｉｎｕｘ、ＵＮＩＸ（登録商標）、ＯＳ／２（登録商標）、及びＷｉｎｄｏｗｓ（登録商標）を含む多くのオペレーティングシステムは、同時に多くのタスクを実行することができ、マルチタスキングオペレーティングシステムと呼ばれる。マルチタスクは、オペレーティングシステムが複数の実行可能ファイルを同時に実行する能力である。各実行可能ファイルはそれ自体のアドレス空間内で実行されており、これは実行可能ファイルがそれらのメモリのいずれも共有する方法を持たないことを意味する。したがって、いかなるプログラムも、システム上で動作している他のプログラムのいずれかの実行を損なうことは不可能である。しかしながら、プログラムは、オペレーティングシステムを介して（又はファイルシステムに記憶されたファイルを読み取ることによって）以外はいかなる情報も交換する方法を有さない。

【0040】

マルチプロセスコンピューティングは、タスク及びプロセスという用語がしばしば互換可能に使用されるため、マルチタスキングコンピューティングに類似しているが、一部のオペレーティングシステムはこれら２つを区別する。本発明は、いかなる可能な技術的詳細の集積度のシステム、方法、及び／又はコンピュータプログラム製品であってもよく、又はそれらを含んでもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持及び記憶することができる有形装置とすることができる。

【0041】

コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又は前述の任意の好適な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、命令が記録されたパンチカード又は溝内の隆起構造などの機械的に符号化されたデバイス、及び上記の任意の適切な組み合わせを含む。

【0042】

本明細書で使用するコンピュータ可読記憶媒体とは、電波又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、又は動線を通って伝送される電気信号などの、それ自体が一過性の信号であるものとして解釈されるべきではない。本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの計算／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶デバイスに、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含むことができる。各コンピューティング／処理デバイスのネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。

【0043】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の構成データ、又はＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの手続き型プログラミング言語を含む、１つ又は２つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、又は完全にリモートコンピュータもしくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は（例えばインターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータ接続されてもよい。

【0044】

いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することによって、コンピュータ可読プログラム命令を実行してもよい。

【0045】

本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品の流れ図及び／又はブロック図を参照して本明細書に記載されている。流れ図及び／又はブロック図の各ブロック、並びに流れ図及び／又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装可能であることは理解されるであろう。これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理機器のプロセッサに提供されて、命令がコンピュータ又は他のプログラム可能データ処理機器のプロセッサを介して実行され、流れ図及び／又はブロック図の１つ以上のブロックで指定された機能／動作を実施するための手段を創出することができるように、機械を生成する。

【0046】

これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスを特定の方法で機能させることができるコンピュータ可読記憶媒体に記憶されてもよく、その結果、命令が記憶されたコンピュータ可読記憶媒体は、流れ図及び／又はブロック図の１つ以上のブロックで指定された機能／作用の態様を実装する命令を含む製造物品を含む。このコンピュータ可読プログラムの命令をコンピュータ、他のプログラマブルデータ処理機器、又は他のデバイス上にロードして、一連の操作工程をそのコンピュータ、他のプログラマブル機器、又は他のデバイス上で実施させ、コンピュータ実施プロセスを生成させて、そのコンピュータ、他のプログラマブル機器、又は他のデバイス上で実行される命令が、流れ図及び／又はブロック図のブロックに定められている機能／動作を実施するようにしてもよい。図中の流れ図及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の考えられる実装形態の構造、機能性、及び動作を示すものである。この点に関して、流れ図又はブロック図における各ブロックは、示された論理機能を実施するための１つ以上の実行可能な命令を含むモジュール、セグメント、又は命令の部分を表し得るものである。

【0047】

いくつかの代替的な実装形態において、ブロックに示される機能は、図に示される順序以外の順序で行われてもよい。例えば、連続して示す２つのブロックは、実際には、関連する機能に応じて、実質的に同時に実行されてもよく、又は逆の順序で実行されてもよい。また留意されたい点として、ブロック図及び／又は流れ図の各ブロック、並びにブロック図及び／又は流れ図のブロックの組み合わせは、特定の機能又は動作を実行する、あるいは、専用のハードウェアとコンピュータ命令との組み合わせを実行する専用のハードウェアベースシステムによって実施されてもよい。本発明の特定の実施形態を記載してきたが、記載した実施形態と同等の他の実施形態があることは当業者に理解されよう。したがって、本発明は、特定の例示された実施形態によって限定されるものではなく、添付の特許請求の範囲によってのみ限定されることを理解されたい。

【0048】

上記の説明から、本発明は、記載された技術を効率的に実行するためのシステム、コンピュータプログラム製品、及び方法を提供することが分かる。特許請求の範囲における単数形の要素への言及は、明示的に述べられていない限り、「１つのみ」を意味するものではなく、むしろ「１つ以上」を意味するものである。現在知られているか又は後に当業者に知られるようになる上記の例示的な実施形態の要素に対する全ての構造的及び機能的等価物は、本特許請求の範囲に包含されることが意図されている。本明細書の特許請求の範囲の要素は、要素が「のための手段（means for）」又は「のためのステップ（step for）」という語句を使用して明示的に列挙されていない限り、米国特許法第１１２条第６段落の規定の下で解釈されるべきではない。

【0049】

本発明の前述の書面による説明は、現在その最良の形態であると考えられるものを作成及び使用することを当業者に可能にするが、当業者は、本明細書の特定の実施形態、方法及び例の代替形態、適応形態、変形形態、組み合わせ、及び等価物の存在を理解し認識するであろう。当業者は、本開示が単に例示的なものであり、本発明の範囲内で様々な修正を行うことができることを理解するであろう。加えて、本教示の特定の特徴がいくつかの実装のうちの１つのみに関して開示されていることがあり得るが、そのような特徴は、任意の所与の機能又は特定の機能のために所望されかつ有利であり得るものとして、他の実装の１つ以上の他の特徴と組み合わされてもよい。更に、用語「含む（including）」、「含む（includes）」、「有する（having）」、「有する（has）」、「有する（with）」、又はこれらの変形が「発明を実施するための形態」及び「特許請求の範囲」のいずれかで使用される限りにおいて、そのような用語は、用語「備える（comprising）」と同様の方法での包含であることが意図される。

【0050】

本教示の他の実施形態は、本明細書に開示される教示の明細書又は実施を考慮すれば当業者には自明であろう。したがって、本発明は、記載された実施形態、方法、及び実施例によってではなく、本発明の範囲及び精神内の全ての実施形態及び方法によって限定されるべきである。したがって、本発明は、本明細書に示される特定の実施形態に限定されず、以下の特許請求の範囲によってのみ限定される。

【0051】

〔実施の態様〕
（１） コンタクトレンズパッケージの品質管理のための方法であって、
デジタル的に埋め込まれた異物が中に配置されたコンタクトレンズパッケージの複数の拡張画像を含むデータセットを生成することであって、前記複数の拡張画像のうちの１つ以上に配置された前記デジタル的に埋め込まれた異物は、前記埋め込まれた異物のうちの他のものとは異なる特性を有し、前記特性は、異物の形態、サイズ、位置、不透明度、及び量を含む、生成することと、
１つ以上の品質管理モデルを、前記データセットの少なくとも訓練サブセットについて訓練することであって、前記１つ以上の品質管理モデルは前記異物の存在を検出するように構成されている、訓練することと、
訓練された前記１つ以上の品質管理モデルを、前記データセットの少なくとも検証サブセットについて試験することと、
コンタクトレンズのパッケージの画像データをキャプチャすることと、
訓練及び試験された前記１つ以上の品質管理モデルに基づいて、前記画像データを分析することと、
前記分析することに基づいて、少なくとも前記パッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を含む、方法。
（２） 前記生成することは、デジタルな１つ以上の画像をクロッピングして埋め込むこと、平滑化すること、又はマスキングすることのうちの１つ以上を含む、実施態様１に記載の方法。
（３） 前記生成することは、デジタル埋込物が自然に見えるように前記デジタル埋込物を一体化することを含む、実施態様１に記載の方法。
（４） 前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記生成すること、前記訓練すること、又は前記試験することのうちの１つ以上が繰り返される、実施態様１に記載の方法。
（５） 前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記デジタル的に埋め込まれた異物の特性が調整され、前記訓練すること及び前記試験することが繰り返される、実施態様１に記載の方法。

【0052】

（６） 前記１つ以上の品質管理モデルは、畳み込みニューラルネットワークを含む、実施態様１に記載の方法。
（７） 前記１つ以上の品質管理モデルは、少なくとも１つの軸に沿った６４０マイクロメートル超のサイズを有する肉眼で見える異物の存在を検出するように構成されている、実施態様１に記載の方法。
（８） 前記データセットは、３００×３００画素超、又は４００×４００画素超、又は５００×５００画素超、又は６００×６００画素超、又は７００×７００画素超、又は８００×８００画素超、又は９００×９００画素超、又は１０００×１０００画素超の解像度を有する画像を含む、実施態様１に記載の方法。
（９） システムであって、
コンタクトレンズのパッケージの画像データをキャプチャするように構成されたセンサと、
コンピューティングデバイスであって、前記センサと通信し、前記画像データを受信して、
デジタル的に埋め込まれた異物が中に配置されたコンタクトレンズパッケージの複数の拡張画像を含むデータセットを生成することであって、前記複数の拡張画像のうちの１つ以上に配置された前記デジタル的に埋め込まれた異物は、前記埋め込まれた異物のうちの他のものとは異なる特性を有し、前記特性は、異物の形態、サイズ、位置、不透明度、及び量を含む、ことと、
１つ以上の品質管理モデルを、前記データセットの少なくとも訓練サブセットについて訓練することであって、前記１つ以上の品質管理モデルは前記異物の存在を検出するように構成されている、ことと、
訓練された前記１つ以上の品質管理モデルを、前記データセットの少なくとも検証サブセットについて試験することと、
コンタクトレンズのパッケージの画像データをキャプチャすることと、
訓練及び試験された前記１つ以上の品質管理モデルに基づいて、前記画像データを分析することと、
前記分析することに基づいて、少なくとも前記パッケージの合格又は不合格状態を示す品質管理メトリックを出力させることと、を行うように構成されているコンピューティングデバイスと、を備える、システム。
（１０） 前記センサの視野内にコンタクトレンズの前記パッケージを移動させるように構成された搬送機構を更に備える、実施態様９に記載のシステム。

【0053】

（１１） 前記生成することは、デジタルな１つ以上の画像をクロッピングして埋め込むこと、平滑化すること、又はマスキングすることのうちの１つ以上を含む、実施態様９に記載のシステム。
（１２） 前記生成することは、デジタル埋込物が自然に見えるように前記デジタル埋込物を一体化することを含む、実施態様９に記載のシステム。
（１３） 前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記生成すること、前記訓練すること、又は前記試験することのうちの１つ以上が繰り返される、実施態様９に記載のシステム。
（１４） 前記品質管理モデルのうちの前記１つ以上が所定の性能閾値を満たすまで、前記デジタル的に埋め込まれた異物の特性が調整され、前記訓練すること及び前記試験することが繰り返される、実施態様９に記載のシステム。
（１５） 前記１つ以上の品質管理モデルは、畳み込みニューラルネットワークを含む、実施態様９に記載のシステム。

【0054】

（１６） 前記１つ以上の品質管理モデルは、少なくとも１つの軸に沿った６４０マイクロメートル超のサイズを有する肉眼で見える異物の存在を検出するように構成されている、実施態様９に記載のシステム。
（１７） 前記データセットは、３００×３００画素超、又は４００×４００画素超、又は５００×５００画素超、又は６００×６００画素超、又は７００×７００画素超、又は８００×８００画素超、又は９００×９００画素超、又は１０００×１０００画素超の解像度を有する画像を含む、実施態様９に記載のシステム。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【外国語明細書】