特表 2023-552178 ＡＩ型目視検査処理中における画像データに関連するデータ収集状態の確認方法及び確認システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-14

(54)【発明の名称】ＡＩ型目視検査処理中における画像データに関連するデータ収集状態の確認方法及び確認システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231207BHJP

   G06V 10/72 20220101ALI20231207BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 600

G06V10/72

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023532674

(86)(22)【出願日】2022-01-24

(85)【翻訳文提出日】2023-05-30

(86)【国際出願番号】 JP2022002483

(87)【国際公開番号】W WO2022172739

(87)【国際公開日】2022-08-18

(31)【優先権主張番号】17/173,822

(32)【優先日】2021-02-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】ベック アリエル

(72)【発明者】

【氏名】ウィジャヤ チャンドラ スワンディ

(72)【発明者】

【氏名】マテェウ アテュル エム．

(72)【発明者】

【氏名】アウング ンウェイ ンウェイ

(72)【発明者】

【氏名】クリスナクマル ラムダス

(72)【発明者】

【氏名】タング ズウオング シェング

(72)【発明者】

【氏名】ズウオウ ヤオ

(72)【発明者】

【氏名】ラジャゴパラン プラデープ

(72)【発明者】

【氏名】菅澤 裕也

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096EA14

5L096EA43

5L096FA09

5L096FA32

5L096FA54

5L096GA08

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【解決手段】本主題は、ＡＩ型目視検査処理中における画像データに関連するデータ収集状態又は画像キャプチャ状態の確認方法及び確認システムに関する。当該方法は、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成するステップを備える。同一座標値を有する画素の輝度値の差を計算するステップに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間で差分画像データを生成する。そして、複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内で複数の白色画素又は明度値のうちの１以上を決定する。少なくとも前記複数の白色画素又は明度値に基づいて、例えば、複数のＡＩ又はＭＬ技術の適用に基づいて決定されたインデックスであって、前記ＦＲ１画像及び前記ＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定する。

【特許請求の範囲】

【請求項1】

ＡＩ型目視検査処理中における画像データに関連するデータ収集状態の確認方法であって、
第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成する画像生成ステップと、
同一座標値を有する画素の輝度値の差を計算するステップに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間の差分画像データを生成する差分画像生成ステップと、
複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内の複数の白色画素又は明度値のうちの１以上を決定する白色画素又は明度値決定ステップと、
少なくとも前記複数の白色画素又は明度値に基づいて決定されるインデックスであって、前記ＦＲ１画像及び前記ＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定するインデックス決定ステップとを備える
確認方法。

【請求項2】

前記ＦＲ１画像及び前記ＦＲ２画像は、位置合わせしたデータセットから生成され、それぞれ前記第１画像群の中央画像及び前記第２画像群の中央画像で定義され、前記ＦＲ１画像及び前記ＦＲ２画像は、対象物全体又は対象領域（ＲＯＩ）のいずれかを表す
請求項１に記載の確認方法。

【請求項3】

前記白色画素又は明度値決定ステップは、
前記差分画像となる二値画像において、少なくとも１つのエラー画素として前記白色画素の位置を特定するステップと、
前記差分画像となるグレースケール画像において、明度領域の位置を特定するステップとのうちの少なくとも１つを備える
請求項１に記載の確認方法。

【請求項4】

前記二値画像に関する前記インデックス決定ステップは、ブロブの一部を形成する白色画素の数と前記二値画像内の総画素数との比率に基づいて総合インデックスを算出するステップを備え、前記総合インデックスは、
所定の閾値を超える高さ及び幅で定義される大ブロブの数と前記総画素数との比率で定義される照明インデックスと、
所定の閾値を超えない高さ及び幅で定義される狭ブロブの数と前記総画素数との比率で定義される位置合わせインデックスとを含む
請求項３に記載の確認方法。

【請求項5】

前記二値画像及び前記グレースケール画像に関する前記インデックス決定ステップは、
前記二値画像における列ごとのエラーポイント数をカウントし、それにより前記二値画像の列ごとの高明度のカウントの中央値を計算するステップと、
前記グレースケール画像における列ごとの平均明度を計算し、それにより前記グレースケール画像の列ごとの平均明度の中央値を計算するステップと、
前記二値画像の計算された前記中央値及び前記グレースケール画像の計算された前記中央値を、前記照明インデックスの差として定義するステップと、
計算された前記照明インデックスの差が所定の閾値を超えている場合、前記ＦＲ１画像又は前記ＦＲ２画像のいずれかにおける照明の差を突き止めるステップと、
所定の閾値を超えていない前記照明インデックスの差と、
所定の閾値を超えており、それによってエラーを示す算出された前記総合インデックスと
に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のいずれかにおける位置ずれした状態を突き止めるステップと
のうちの少なくとも１つに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間の照明インデックスの差を計算するステップを備える
請求項４に記載の確認方法。

【請求項6】

さらに、前記ＦＲ１画像及び前記ＦＲ２画像内の１以上の画像特徴点を推奨するために、前記ＦＲ１画像及び前記ＦＲ２画像をそれぞれ評価する評価ステップを備え、当該評価ステップは、
前記ＦＲ１画像内及び前記ＦＲ２画像内の複数の関心点を検出し、それにより、前記ＦＲ１画像及び前記ＦＲ２画像について検出された複数の関心点に関する、形状安定基準を定義する再現率を決定するステップと、
前記ＦＲ１画像及び前記ＦＲ２画像について、前記再現率に対応する複数の関心点のうちのいくつかをさらに突き止めるステップと、
前記複数の関心点のうちのいくつかを、キーポイントとなる特徴点の標準ライブラリに応じて複数のコーナー、複数のエッジ、複数のリッジのうちの１以上で定義される１以上の画像特徴点として特定するステップとを備える
請求項１に記載の確認方法。

【請求項7】

さらに、
所定の閾値を超えず、かつ、特定された前記関心点のうちの１つに沿って存在する、それぞれが前記差分画像内の白色画素群を表すブロブの前記差分画像内での広がりを分析するステップと、
前記ブロブの広がりの分析に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のいずれかについて許容値を超える位置合わせクオリティインデックスを検出するステップと、
前記ＦＲ１画像又は前記ＦＲ２画像の一方に対して、検出された位置ずれを自動的に補正するステップとを備える
請求項６に記載の確認方法。

【請求項8】

検出された前記位置ずれは、
明度空間において前記ＦＲ１画像又は前記ＦＲ２画像の一方から１以上のスケール不変画像特徴点を抽出するステップと、
前記１以上のスケール不変画像特徴点を、前記ＦＲ１画像又は前記ＦＲ２画像の１以上にわたって適用される深層学習基準に基づいて決定される複数の対応関心点とマッピングするステップと、
前記対応関心点を用いて、前記ＦＲ１画像又は前記ＦＲ２画像の一方を位置合わせするステップと
に基づき、自動的に補正される
請求項７に記載の確認方法。

【請求項9】

さらに、
所定の閾値を超え、かつ、特定された前記関心点のうちの１つに沿って存在する、それぞれが前記差分画像内の白色画素群を表すブロブの前記差分画像内での広がりを分析するステップと、
前記ブロブの広がりの分析に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のいずれかについて許容値を超える照明クオリティインデックスを検出するステップと、
前記ＦＲ１画像又は前記ＦＲ２画像の一方に対して、前記照明クオリティインデックスに基づき、検出された照明のばらつきを自動的に補正するステップとを備える
請求項６に記載の確認方法。

【請求項10】

検出された前記照明のばらつきは、１つの画像群に関する照明状態の特徴を捉えて当該画像群を別の画像群へ再構成する変換技術であって、深層学習に対応した画像から画像への変換技術に基づき、位置ずれしたＦＲ１画像又は位置ずれしたＦＲ２画像に対して自動的に補正される
請求項９に記載の確認方法。

【請求項11】

位置合わせしたデータセットに対応する前記ＦＲ１画像又は前記ＦＲ２画像に対して検出された前記照明のばらつきは、
前記ＦＲ１画像と対象の特定画像の間の差を算出して別の差分画像を生成するステップと、
それぞれが前記別の差分画像内の白色画素群を表すブロブの位置を前記別の差分画像内で特定するステップと、
前記別の差分画像に対応するブロブ領域ごとに、前記ＦＲ１画像と前記第２画像群に関する前記特定画像の間の差を算出するステップと、
対象ブロブに対して算出された差が許容値より大きければ、前記第２画像群の前記特定画像に対して対象ブロブ領域の画素値を変更するステップと、
対象ブロブに対して算出された差が前記許容値より小さくなるまで、画素値を変更するステップと、
前記第２画像群に関する次の画像に対して、位置特定、算出、画素値変更する前記ステップを再び行うことにより、前記ＦＲ２画像に対して照明のばらつきを補正するステップと
に基づき、自動的に補正される
請求項９に記載の確認方法。

【請求項12】

ＡＩ型目視検査処理中における画像データに関連するデータ収集状態の確認に基づく画像データ補正方法であって、
第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成する画像生成ステップと、
同一座標値を有する画素の輝度値の差を計算するステップに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間の差分画像データを生成する差分画像生成ステップと、
複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内の複数の白色画素又は明度値のうちの１以上を決定する白色画素又は明度値決定ステップと、
少なくとも前記複数の白色画素又は明度値に基づいて決定されるインデックスであって、前記ＦＲ１画像及び前記ＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定するインデックス決定ステップと、
検出された位置ずれと、
位置合わせした画像又は位置ずれした画像内で検出された照明のばらつきと、
検出されたブレと
のうちの少なくとも１つを、決定された前記インデックスに基づき、前記ＦＲ１画像又は前記ＦＲ２画像の一方に対して自動的に補正する自動補正ステップとを備える
画像データ補正方法。

【請求項13】

検出された位置ずれの前記自動補正ステップは、
所定の閾値を超えず、かつ、特定された前記関心点のうちの１つに沿って存在する、それぞれが前記差分画像内の白色画素群を表すブロブの前記差分画像内での広がりを分析するステップと、
前記ブロブの広がりの分析に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のいずれかについて許容値を超える位置合わせクオリティインデックスを検出するステップと、
前記ＦＲ１画像又は前記ＦＲ２画像のクラスに対応する１以上の画像に対して、検出された前記位置ずれを自動的に補正するステップとを備える
請求項１２に記載の画像データ補正方法。

【請求項14】

検出された位置ずれの前記自動補正ステップは、
明度空間において前記ＦＲ１画像又は前記ＦＲ２画像の一方から１以上のスケール不変画像特徴点を抽出するステップと、
前記１以上のスケール不変画像特徴点を、前記ＦＲ１画像又は前記ＦＲ２画像の１以上にわたって適用される深層学習基準に基づいて決定される複数の対応関心点とマッピングするステップと、
前記対応関心点を用いて、前記ＦＲ１画像又は前記ＦＲ２画像のクラスに対応する画像のうちの１以上を位置合わせするステップとに基づく
請求項１３に記載の画像データ補正方法。

【請求項15】

検出された照明のばらつきの前記自動補正ステップは、
所定の閾値を超え、かつ、特定された前記関心点のうちの１つに沿って存在する、それぞれが前記差分画像内の白色画素群を表すブロブの前記差分画像内での広がりを分析するステップと、
前記ブロブの広がりの分析に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のいずれかについて許容値を超える照明クオリティインデックスを検出するステップと、
前記ＦＲ１画像又は前記ＦＲ２画像のクラスに対応する画像のうちの１以上に対して、前記照明クオリティインデックスに基づき、検出された照明のばらつきを自動的に補正するステップとを備える
請求項１２に記載の画像データ補正方法。

【請求項16】

検出された前記照明のばらつきは、１つの画像群に関する照明状態の特徴を捉えて当該画像群を別の画像群へ再構成する変換技術であって、深層学習に対応した画像から画像への変換技術に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のクラスに対応する画像のうちの位置ずれした１以上に対して自動的に補正される
請求項１５に記載の画像データ補正方法。

【請求項17】

位置合わせしたデータセットに対応する前記ＦＲ１画像又は前記ＦＲ２画像に対して検出された前記照明のばらつきは、
前記ＦＲ１画像と対象の特定画像の間の差を算出して別の差分画像を生成するステップと、
それぞれが前記別の差分画像内の白色画素群を表すブロブの位置を前記別の差分画像内で特定するステップと、
前記別の差分画像に対応するブロブ領域ごとに、前記ＦＲ１画像と前記第２画像群に関する前記特定画像の間の差を算出するステップと、
対象ブロブに対して算出された差が許容値より大きければ、前記第２画像群の前記特定画像に対して対象ブロブ領域の画素値を変更するステップと、
対象ブロブに対して算出された差が前記許容値より小さくなるまで、画素値を変更するステップと、
前記第２画像群に関する次の画像に対して、位置特定、算出、画素値変更する前記ステップを再び行うステップと
に基づき、自動的に補正される
請求項１５に記載の画像データ補正方法。

【請求項18】

ＡＩ型目視検査処理中における画像データに関連する照明ばらつき状態の補正方法であって、
第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成するステップと、
同一座標値を有する画素の輝度値の差を計算するステップに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間の差分画像データを生成するステップと、
前記ＦＲ２画像に対して照明のばらつきを検出するステップと、
前記ＦＲ１画像と前記第２画像群の特定画像の間の差を算出して別の差分画像を生成するステップと、
それぞれが前記別の差分画像内の白色画素群を表すブロブの位置を前記別の差分画像内で特定するステップと、
前記別の差分画像に対応するブロブ領域ごとに、前記ＦＲ１画像と前記第２画像群に関する前記特定画像の間の差を算出するステップと、
対象ブロブに対して算出された差が許容値より大きければ、前記第２画像群の前記特定画像に対して対象ブロブ領域の画素値を変更するステップと、
対象ブロブ領域に対して算出された差が前記許容値より小さくなるまで、画素値を変更するステップと、
前記第２画像群に関する次の画像に対して、位置特定、算出、画素値変更する前記ステップを再び行うことにより、前記ＦＲ２画像に対して照明のばらつきを補正するステップとを備える
補正方法。

【請求項19】

さらに、
１つの画像群に関する照明状態の特徴を捉えて当該画像群を別の画像群へ再構成する変換技術であって、深層学習に対応した画像から画像への変換技術に基づき、前記ＦＲ１画像又は前記ＦＲ２画像のクラスに対応する画像のうちの位置ずれした１以上に対して、照明のばらつきを自動的に補正するステップを備える
請求項１８に記載の補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能（ＡＩ）対応の目視検査に関し、特に、分類用のデータセットの作成に関する。

【背景技術】

【0002】

以前から、機械学習を用いた欠陥の自動目視検査は存在している。アーキテクチャの例には、品質管理処理の一部として様々な素材の自動目視検査を遂行するためのディープラーニングアーキテクチャ、人工知能（ＡＩ）技術などがある。さらに別の例として、ユーザ入力を行うことにより目視検査の一部を人間が提供してＡＩ対応目視検査処理の作業を円滑に進めることが可能な半自動ＡＩ対応目視検査処理などがある。

【0003】

少なくとも前述の最先端ＡＩモデルから期待されるものは、異なるデータ収集状態から生じるような偽の欠陥を捉えるというよりむしろ実際の欠陥を認識することである。このようにデータキャプチャ状態が異なる原因は少なくとも、ＡＩモデルによって検査用に収集されるデータは、異なる生産ラインから生じる可能性があり、照明状態も期間にわたって変動するからである。しかしながら、最先端ＡＩモデルは、このような格差を無視しがちである。

【0004】

したがって、データキャプチャ状態のばらつきが確認されないままであれば、モデル性能のミスリーディングにつながり得る。つまり、ＡＩ対応目視検査は、照明状態により生じた異常を欠陥として誤認識し、実際の欠陥からかけ離れた偽の欠陥をピックアップしがちである。

【0005】

概して、例えば、照明状態、ミスフォーカス、カメラ位置合わせ、ブレなど、異なるクラス間にわたるデータ収集状態の非類似性が生じた場合、従来技術では、照明などの異なる状態を補うように画像を自動調整することができない。また、最先端のメカニズムでは、与えられたデータセット内で実際の欠陥だけにＡＩモデルをフォーカスさせることができない。

【0006】

キャプチャ状態の変化を検出でき、このような状態を検出した場合に自動的にフラグをたてるか補償／補正技術を適用できる長期的なシステム管理メカニズムの必要性がある。

【0007】

また、異なるキャプチャ状態によってＡＩモデルにバイアスがかかっていないことを保証し、訓練データセットに有効でＡＩ対応目視検査システムの長期的な管理に効果を発揮する必要性がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本概要は、本開示の詳細な説明において別途説明される概念のセレクションを簡単に紹介するために提供される。本概要には、請求項に記載された主題の本質的な発明概念又は鍵となる概念を特定する意図はなく、請求項に記載された主題の範囲を決める意図もない。本開示の目的に従って、ここに具現化かつ広く記載された本開示では、完全自動環境又は半自動メカニズムのいずれかにおいて、任意の素材若しくは対象物の撮像状態又は素材／対象物に関する任意の撮像特性／属性を予測若しくは分類する方法及びシステムについて説明する。

【課題を解決するための手段】

【0009】

本主題は、ＡＩ型目視検査処理の一部として、様々な対象物の画像に関連するデータ収集状態又は画像キャプチャ状態を確認する方法について言及する。当該確認方法は、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成する画像生成ステップを備える。同一座標値を有する画素の輝度値の差を計算するステップに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間の差分画像データを生成する。そして、複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内の複数の白色画素又は明度値のうちの１以上を決定する。少なくとも前記複数の白色画素又は明度値に基づいて決定されるインデックスであって、前記ＦＲ１画像及び前記ＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定する。

【0010】

別の実施の形態として、本主題は、画像データに関連するデータ収集状態の確認に基づいて画像データを補正する方法について言及する。このような補正は、ＡＩ型目視検査処理の一部として、データ収集段階中に行われてもよい。データ収集処理は、位置の違い、工場の違いなどによって異なってもよい。当該補正方法は、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成する画像生成ステップと、同一座標値を有する画素の輝度値の差を計算するステップに基づき、前記ＦＲ１画像と前記ＦＲ２画像の間の差分画像データを生成する差分画像生成ステップとを備える。複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内の複数の白色画素又は明度値のうちの１以上を決定する。少なくとも前記複数の白色画素又は明度値に基づいて決定されるように、前記ＦＲ１画像及び前記ＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定する。検出された位置ずれと、位置合わせした画像又は位置ずれした画像内で検出された照明のばらつきと、検出されたブレとのうちの少なくとも１つを、決定された前記インデックスに基づき、前記ＦＲ１画像又は前記ＦＲ２画像のいずれか一方の各クラスに関する１以上の画像に対して自動的に補正する。

【0011】

少なくとも前記により、本主題によって、異なるクラス間にわたるデータ収集状態の類似性の自動評定が可能になる。そして、照明状態及び位置合わせなどの検出されたデータキャプチャ状態を、照明の違いを補うように画像内で自動調整する。

【0012】

実施の形態の目的及び利点は、少なくとも、構成要素、特徴、及び、請求項で個別に記載された組み合わせによって実現及び達成されるであろう。また、当然のことながら、前述の概略説明及び後述の詳細説明は共に代表的かつ説明的なものであり、請求項の記載のように本発明を制限するものではない。

【図面の簡単な説明】

【0013】

さらに、当業者であれば、図面の構成要素は簡略化されて示されており、必ずしもスケール通りに描かれているとは限らないことを理解されよう。例えば、フローチャートでは、本発明の態様を理解しやすくする助けとなるように最も顕著なステップを単位として方法を示している。さらに、装置の構造という点で、装置の１以上の要素を定型記号によって図面に示し、本記載の恩恵にあずかる当業者にとって容易に分かる詳細内容で図面が分かりづらくならないよう、本発明の実施形態の理解に関する特定の詳細内容のみを図面に示してもよい。

【図1】図１は、本開示の実施の形態に係る方法ステップを示している。

【図2】図２は、本開示の別の実施の形態に係る方法ステップを示している。

【図3】図２は、本開示のさらに別の実施の形態に係る方法ステップを示している。

【図4】図４は、本開示の実施の形態に係る、自動照明及び位置合わせチェックの制御フローを示している。

【図5】図５は、本開示の実施の形態に係る、必要な画像の算出、及び、それによるデータキャプチャ状態に関する様々なインデックスの決定を示している。

【図6】図６は、本開示の実施の形態に係る、差分画像の算出を表している。

【図7】図７は、本開示の別の実施の形態に係る、差分画像に関する１以上のエラー画素又は白色画素からなるブロブの分析を表している。

【図8A】図８Ａは、本開示の別の実施の形態に係る、データキャプチャ状態としての位置ずれ又は照明の差の検出を表している。

【図8B】図８Ｂは、本開示の別の実施の形態に係る、データキャプチャ状態としての位置ずれ又は照明の差の検出を表している。

【図9】図９は、本開示の別の実施の形態に係る、自動位置合わせ補正及び照明補正の一部としての補正技術の適用を表している。

【図10】図１０は、本開示の別の実施の形態に係る画像から画像への変換技術の例を示している。

【図11】図１１は、本開示の別の実施の形態に係る、コンピューティング環境における先の図面に示したようなシステムの実装を示している。

【0014】

図面の構成要素は簡略化されて示されており、必ずしもスケール通りに描かれているとは限らない。さらに、装置の構造という点で、装置の１以上の要素を定型記号によって図面に示し、本記載の恩恵にあずかる当業者にとって容易に分かる詳細内容で図面が分かりづらくならないよう、本発明の実施形態の理解に関する特定の詳細内容のみを図面に示してもよい。

【発明を実施するための形態】

【0015】

本発明の原理の理解を促進させるため、ここでは、図面に示される実施の形態を参照し、特定の用語を用いて同一であることを説明する。それでもなお、それによって本発明の範囲を限定する意図はなく、示されたシステムにおける変更及びさらなる改良、並びに、ここに示された本発明の原理のさらなる適用は、当業者には本発明が関係する通常のこととして考慮されるであろう。

【0016】

前述の概略説明及び後述の詳細説明は本発明の説明的なものであり、本発明を制限する意図はないことを当業者であれば理解されよう。

【0017】

本明細書全体にわたる「態様」、「別の態様」、又は、その類似語は、実施の形態と結び付けて記載された特定の機能、構造、又は、特徴が本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、本明細書全体にわたる語句「実施の形態において」、「別の実施の形態において」、及び、その類似語は、全て同じ実施の形態を指してもよいが、必ずしもそうとは限らない。

【0018】

用語「備える」、「備えている」、又は、その他の変形例は非限定的なオープン表現を意図しており、記載されたステップを備える処理又は方法は、それらのステップだけを含むということではなく、明示的に記載されていない他のステップ、又は、そのような処理若しくは方法に元々備わっているステップを含んでもよい。同様に、「備える」より前に記載される１以上の装置、サブシステム、要素、構造、又は、構成要素は、さらに制限されることなく、他の装置、サブシステム、要素、構造、若しくは、構成要素、又は、追加的な装置、サブシステム、要素、構造、若しくは、構成要素の存在を除外しない。

【0019】

別途定義されない限り、ここで用いられる全ての技術的かつ科学的用語は、本発明が属する技術分野における当業者の一般的な理解と同じ意味を有する。ここに提供されるシステム、方法、及び、例は一例にすぎず、限定する意図はない。

【0020】

以下、本主題の実施の形態について、図面を参照しながら詳細に説明する。

【0021】

図１は、ＡＩ型目視検査処理中における画像データに関連するデータ収集状態を確認する方法を示している。当該方法は、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成するステップ（ステップ１０２）を備える。実施の形態では、ＦＲ１画像及びＦＲ２画像は、位置合わせしたデータセットから生成され、それぞれ第１画像群の中央画像及び第２画像群の中央画像で定義され、ＦＲ１画像及びＦＲ２画像は、対象物全体又は対象領域（ＲＯＩ）のいずれかを表す。

【0022】

ＦＲ１画像及びＦＲ２画像内の１以上の画像特徴点を推奨するために、ＦＲ１画像及びＦＲ２画像をそれぞれ評価してもよい。当該評価は、ＦＲ１画像内及びＦＲ２画像内の複数の関心点を検出するステップを備え、それにより、ＦＲ１画像及びＦＲ２画像について検出された複数の関心点に関する再現率を決定し、再現率は、形状安定基準を定義する。さらに、ＦＲ１画像及びＦＲ２画像について、再現率に対応する複数の関心点のうちのいくつかを突き止めてもよい。当該複数の関心点のうちのいくつかは、キーポイントとなる特徴点の標準ライブラリに応じて複数のコーナー、複数のエッジ、複数のリッジのうちの１以上で定義される１以上の画像特徴点として特定される。

【0023】

さらに、当該方法は、同一座標値を有する画素の輝度値の差を計算するステップに基づき、ＦＲ１画像とＦＲ２画像の間の差分画像データを生成するステップ（ステップ１０４）を備える。差分画像は、二値画像でもグレースケール画像でもよい。ＦＲ１画像／ＦＲ２画像は、欠陥がないきれいな表象（つまり、中央画像）を同様にして表す、クラスごとの中央画像を表す。

【0024】

さらに、当該方法は、複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内の複数の白色画素又は明度値のうちの１以上を決定するステップ（ステップ１０６）を備える。白色画素又は明度値の決定ステップは、差分画像となる二値画像において少なくとも１つのエラー画素として白色画素の位置を特定するステップと、差分画像となるグレースケール画像において明度領域の位置を特定するステップとを備える。

【0025】

さらに、当該方法は、ＦＲ１画像及びＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定するステップ（ステップ１０８）を備え、当該インデックスは、少なくとも複数の白色画素又は明度値に基づいて決定される。二値画像に関するインデックスの決定ステップは、ブロブの部分を形成する白色画素の数と二値画像内の総画素数との比率に基づいて総合インデックスを算出するステップを備える。総合インデックスは、大ブロブ数と総画素数との比率で定義される照明インデックスを含み、大ブロブは、所定の閾値を超える高さ及び幅で定義される。位置合わせインデックスは、狭ブロブ数と総画素数との比率で定義され、狭ブロブは、所定の閾値を超えない高さ及び幅で定義される。

【0026】

一例では、二値画像及びグレースケール画像に関するインデックスの決定ステップは、二値画像における列ごとのエラーポイント数をカウントし、それによって二値画像の列ごとの高明度のカウントの中央値を計算することに基づき、ＦＲ１画像とＦＲ２画像の間の照明インデックスの差を計算するステップを備える。別の例では、当該方法は、グレースケール画像における列ごとの平均明度を計算し、それによってグレースケール画像の列ごとの平均明度の中央値を計算するステップとを備える。

【0027】

二値画像の計算された中央値及びグレースケール画像の計算された中央値が、照明インデックスの差となる。計算された照明インデックスの差が所定の閾値を超えている場合、ＦＲ１画像又はＦＲ２画像のいずれかにおける照明の差を計算する。ａ）所定の閾値を超えていない照明インデックスの差、及び、ｂ）所定の閾値を超えており、それによってエラーを示す算出総合インデックスのうち少なくとも一方に基づき、位置ずれした状態を、ＦＲ１画像又はＦＲ２画像のいずれかにおいて突き止める。

【0028】

さらに、当該方法は、画像補正技術の一部として、所定の閾値を超えず、かつ、特定された関心点のうちの１つに沿って存在する、差分画像内のブロブの広がりを分析するステップを備え、各ブロブは、差分画像内の白色画素群を表す。ブロブの広がりの分析に基づき、ＦＲ１画像又はＦＲ２画像のいずれかについて許容値を超える位置合わせクオリティインデックスを決定する。

【0029】

ＦＲ１画像又はＦＲ２画像のクラスに対応する画像のうちの１以上に対して、検出された位置ずれを自動的に補正する。検出された位置ずれの自動補正は、明度空間においてＦＲ１画像又はＦＲ２画像の一方から１以上のスケール不変（ＳＩＦＴ）画像特徴点を抽出するステップに基づいて遂行される。１以上のスケール不変画像特徴点は、ＦＲ１画像又はＦＲ２画像の１以上にわたって適用される深層学習基準に基づいて決定される複数の対応関心点とマッピングされる。対応関心点を用いて、ＦＲ１画像又はＦＲ２画像のクラスに対応する画像のうちの１以上を位置合わせする。

【0030】

さらに、当該方法は、画像補正技術の一部として、所定の閾値を超え、かつ、特定された関心点のうちの１つに沿って存在する、差分画像内のブロブの広がりを分析するステップを備え、各ブロブは、差分画像内の白色画素群を表す。ブロブの広がりの分析に基づき、ＦＲ１画像又はＦＲ２画像のいずれかについて許容値を超える照明クオリティインデックスを検出する。ＦＲ１画像又はＦＲ２画像の一方に対して、照明クオリティインデックスに基づき、検出された照明のばらつきを自動的に補正する。深層学習に対応した画像から画像への変換技術に基づき、ＦＲ１画像又はＦＲ２画像のクラスに対応する１以上の位置ずれした画像に対して、検出された照明のばらつきを自動的に補正し、当該変換技術では、１つの画像群に関する照明状態の特徴を捉えてこの画像群を別の画像群へ再構成する。

【0031】

位置合わせしたデータセットに関しては、位置合わせしたデータセットに対応するＦＲ１画像又はＦＲ２画像に対して検出された照明のばらつきを自動的に補正する。第２画像群のことを指すクラス２における特定画像について、ＦＲ１画像と対象特定画像の間の差を算出して別の差分画像を生成する。当該別の差分画像内でブロブの位置を特定する。各ブロブは、差分画像内の白色画素群を表す。位置特定されたブロブは、領域の観点からインデックス付けされる。特定のブロブ領域（例えば、差分画像の領域ｉ）に対して、ＦＲ１画像の領域と第２画像群内の特定画像の領域の間の差を算出する。そして、対象ブロブの算出差が許容値より大きければ、第２画像群の特定画像に対して対象ブロブの画素値を変更する。対象ブロブの算出差が許容値より小さくなるまで、対象特定画像に対して画素値の変更を行う。そして、第２画像群の残りの画像に対してもこれらのステップを行うことにより、ＦＲ２画像のクラスに対応する位置合わせした１以上の画像の照明補正を行う。

【0032】

さらに、当該方法は、画像補正技術の一部として、さらに、所定の閾値を超え、かつ、特定された関心点のうちの１つに沿って存在する、差分画像内のブロブの広がりを分析するステップを備え、各ブロブは、差分画像内の白色画素群を表す。ブロブの広がりの分析に基づき、ＦＲ１画像又はＦＲ２画像のいずれかについて許容値を超えるブレクオリティインデックスを検出する。オペレータにより撮像装置を再フォーカスさせることにより、ＦＲ１画像又はＦＲ２画像の一方に対して、検出されたブレクオリティインデックスに基づき、ブレのクオリティを自動的に補正する。

【0033】

図２は、ＡＩ型目視検査処理中における画像データに関連するデータ収集状態の確認に基づいて画像データを補正する方法を示している。

【0034】

当該方法は、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成するステップ（ステップ２０２）と、それに基づいて、同一座標値を有する画素の輝度値の差を計算するステップに基づき、ＦＲ１画像とＦＲ２画像の間の差分画像データを生成するステップ（ステップ２０４）とを備える。それに基づいて、複数の画素の輝度差分値で構成される差分画像データを取得するステップに基づき、差分画像内で複数の白色画素又は明度値のうちの１以上を決定する（ステップ２０６）。

【0035】

ＦＲ１画像及びＦＲ２画像間にわたるデータキャプチャ状態の差を表すインデックスを決定し（ステップ２０８）、当該インデックスは、少なくとも複数の白色画素又は明度値に基づいて決定される。そして、決定されたインデックスに基づき、ＦＲ１画像又はＦＲ２画像の一方に対して自動補正を行う。自動補正は、検出された位置ずれ、位置合わせした画像又は位置ずれした画像内で検出された照明のばらつき、及び、検出されたブレのうちの少なくとも１つに基づいて行われてもよい。

【0036】

図３は、ＡＩ型目視検査処理中における画像データに関連する照明ばらつき状態を補正する方法を示している。このような補正は、ＡＩ型目視検査処理の一部として、データ収集段階中に行われてもよい。データ収集処理は、様々な位置、様々な工場などにより異なってもよい。当該方法は、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成するステップ（ステップ３０２）を備える。さらに、同一座標値を有する画素の輝度値の差を計算するステップに基づき、ＦＲ１画像とＦＲ２画像の間の差分画像データを生成し（ステップ３０４）、それに基づいて、ＦＲ２画像に対する照明のばらつきを検出する。

【0037】

照明のばらつき補正の場合、ＦＲ１画像と第２画像群の特定画像の間の差を算出して、別の差分画像を生成する。複数のブロブの位置を当該別の差分画像内で特定し（ステップ３０６）、各ブロブは、差分画像内の白色画素群を表す。当該別の差分画像に対応するブロブ領域ごとに、ＦＲ１画像と第２画像群の特定画像の間の差を算出する（ステップ３０８）。対象ブロブの算出差が許容値より大きければ、第２画像群の特定画像に対して対象ブロブ領域の画素値を変更する（ステップ３１０）。特定画像の対象ブロブ領域の算出差が許容値より小さくなるまで、画素値の変更を行う（ステップ３１２）。第２画像群の他の画像に対してもステップを繰り返し、それによって、ＦＲ２画像の照明のばらつきを補正する。

【0038】

図４は、自動照明及び位置合わせチェックの制御フローを示しており、図１のステップ１０２と１０４、図２の２０２と２０４、及び、図３の３０２と３０４に対応している。

【0039】

ステップ４０２は、目視検査用のデータセットの受信に対応する。データセットは、キャプチャ時の対象物の画像に対応していてもよい。

【0040】

ステップ４０４は、最先端ＡＩ及び非ＡＩ対応自動又は半自動位置合わせ技術を用いた、ステップ４０２における受信時の画像データセット内の対象物の位置合わせに対応する。例えば、半自動技術には、画像内の関心点にユーザが注釈を付けることが含まれ、それに基づき画像内の対象物を画像フレーム内で位置合わせする。

【0041】

位置合わせに基づき、位置合わせした画像データセットを、ＯＫ又はＮＧなど様々なカテゴリーに自動的に分類してもよい。

【0042】

ステップ４０６は、クラス１（例えばＯＫ（欠陥がない））の中央画像又は代表画像の算出、及び、別のクラス２（例えば傷などの欠陥があることを示すＮＧ）の中央画像の算出に対応する。つまり、第１画像群の第１代表（ＦＲ１）画像と第２画像群の第２代表（ＦＲ２）画像とを生成する。ＦＲ１画像及びＦＲ２画像は、対象物全体又は対象領域（ＲＯＩ）のいずれかを表す。中央画像ＦＲ１及び中央画像ＦＲ２はそれぞれ、欠陥がないきれいな表象（つまり、中央画像）を表す。

【0043】

ステップ４０８は、図５から図７の説明に応じたステップ４０６の中央画像に関する追加ＡＩ駆動処理（つまり、インデックス計算及び分析）に対応する。

【0044】

図５は、必要な画像の算出、及び、それによるデータキャプチャ状態に関する様々なインデックスの決定を示している。インデックスは、データキャプチャ状態の差による問題があるか否か、及び、どのタイプの問題かを示す。

【0045】

ステップ５０２は、ＦＲ１画像とＦＲ２画像の間の差の生成に対応する。特に、同一座標値を有する画素の輝度値の差を計算するステップに基づき、ＦＲ１画像とＦＲ２画像の間で差分画像データを生成する。画像減算を用いて状態の差を数値化してもよい。このステップは、オペレータにより目視で判断してもよいし、ゼロではない画素位置及び閾値を用いて自動的に判断してもよい。

【0046】

ステップ５０４は、ステップ５０２で生成された差分画像の二値画像又はグレースケール画像としての表象に対応する。

【0047】

図６は、ステップ５０４に応じた差分画像の算出、及び、二値画像を用いた差分画像の表象を表している。図６ａは、差分画像としての二値画像の生成を表し、それにより、２つの画像間の差として白色画素又はエラー画素を表現している。図６ｂは、ＦＲ１及びＦＲ２の両方が同一又は類似クラスに対応するシナリオを表しており、ＦＲ１とＦＲ２の間には明らかな差がない。したがって、図６ｂの差分画像は、エラー画素を無視できるブランク画像である。

【0048】

図７は、ステップ１０４及び１０６に対応するデータキャプチャ状態インデックス決定のための差分画像に関する１以上のエラー画素又は白色画素からなるブロブの分析を表している。例えば、結合コンポーネント分析を適用して、画像における白色ブロブの位置を特定する。ブロブ数及びブロブサイズに基づき、総合インデックスを算出する。一例では、総合インデックスは、０と１の間にあり、以下によって定義される。

【0049】

【数1】

【0050】

別の例のインデックスは、幅＞閾値、高さ＞閾値であれば、大ブロブの数と寸法とに基づく照明インデックスである。照明インデックスは、以下によって定義される。

【0051】

【数2】

【0052】

したがって、照明インデックスは、大ブロブ数と総画素数との比率で定義され、大ブロブは、所定の閾値を超える高さ及び幅で定義される。さらに別の例のインデックスは、ブロブに関して幅が閾値１より大きく高さが閾値２より小さいような狭ブロブの数と寸法とに基づく位置合わせインデックスである。したがって、位置合わせインデックスは、狭ブロブ数と総画素数との比率で定義される。狭ブロブは、所定の閾値を超えない高さ及び幅で定義される。位置合わせインデックスは、以下で表されてもよい。

【0053】

【数3】

【0054】

また、一例では、総合インデックスを、以下のように表してもよい。

【0055】

照明インデックス＋位置合わせインデックス＋別のブロブ内の画素－（照明インデックス、位置合わせインデックス）の交点

【0056】

一例では、前述のインデックスを、例えば、複数のＡＩ又はＭＬ技術の適用に基づいて計算してもよい。別の例では、インデックスの計算に複数の深層学習技術を用いてもよい。照明状態の差又は位置ずれした状態などのデータキャプチャ状態に対して、上記で決定したようなインデックスを様々な閾値又は許容値と比較する。ブロブがエッジ付近にある場合、システムは、位置合わせを向上させるように提案する。ブロブが広範囲にわたって広がっている場合、これは照明状態の差を示す。

【0057】

このような比較に先行して、ＦＲ１画像及びＦＲ２画像内の１以上の画像特徴点を推奨するために、ＦＲ１画像及びＦＲ２画像をそれぞれ評価してもよい。

【0058】

評価では、ＦＲ１画像内及びＦＲ２画像内の複数の関心点を検出することから始める。例えば、ＦＲ１（クラス１）及びＦＲ２（クラス２）に関して、特徴記述子Ｄによって関心点を抽出する。画像ＦＲ１で検出された点Ｐ１は、対応点Ｐ２が画像ＦＲ２で検出されれば、画像ＦＲ２において繰り返されている。

【0059】

そして、ＦＲ１画像及びＦＲ２画像について検出された複数の関心点に関する再現率を決定し、再現率は、形状安定基準を定義する。ＦＲ１画像及びＦＲ２画像について、再現率に対応する複数の関心点のうちのいくつかを突き止めてもよい。つまり、再現率を用いて、変動する状態の下でとられた任意の場面の異なる画像間での関心点検出手段の形状的安定性を明示的に示す、両方の中央画像において繰り返される検出点のパーセンテージを確認する。

【0060】

その後、当該複数の関心点のうちのいくつかを、キーポイントとなる特徴点の標準ライブラリに応じて複数のコーナー、複数のエッジ、複数のリッジのうちの１以上で定義される１以上の画像特徴点として特定する。そして、情報ゲインを加えて記述子の特徴の弁別性を測定する。

【0061】

ＦＲ１画像及びＦＲ２画像の上記評価をなぞるシナリオ例に従って、ＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ、ＢＲＩＥＦ、ＯＲＢなどのキーポイントとなる特徴点のライブラリでソフトウェア（ＳＷ）を実行してもよい。少なくとも目的は、データセット用に用いられる最良な特徴点を検出することでもよい。方法／アルゴリズムのステップ例（１～５）は、以下のように示すことができる。

【0062】

ステップ１：ＦＲ１に対応するクラス１の画像に対して特徴を抽出する
ステップ２：ＦＲ２に対応するクラス２の画像に対してステップ１を繰り返す
ステップ３：キーポイント検出のクオリティを確認する
ｉ．ステップ３ｉ：クラス１の画像に対してキーポイントｊの標準偏差を算出する
・ｊ＝１～Ｎ、Ｎは画像内で検出されたキーポイントの総数
・標準偏差は小さいほど特徴の安定性を示す
ｉｉ．ステップ３ｉｉ：クラス２の画像に対してステップを繰り返す
ｉｉｉ．ステップ３ｉｉｉ：クラス１及びクラス２の画像に対してキーポイントｊ間のＲＭＳＥを算出する
・ＲＭＳＥは小さいほど特徴の再現性を示す
ステップ４：全ての特徴（ＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ、ＢＲＩＥＦ、ＯＲＢ）に対して１～３を繰り返す
ステップ５：ＳＴＤ及びＲＭＳＥが最小値となる特徴を最終決定する

【0063】

ここで、位置合わせの問題を検出するため、所定の閾値を超えず、かつ、特定された関心点のうちの１つに沿って存在する、差分画像内のブロブの広がりを分析する。ブロブの広がりの分析に基づき、ＦＲ１画像又はＦＲ２画像のいずれかに関する「許容値を超える」位置合わせクオリティインデックスを検出し、それにより位置ずれを確証させる。

【0064】

ここで、照明の差の問題を検出するため、所定の閾値を超え、かつ、特定された関心点のうちの１つに沿って存在する、差分画像内のブロブの広がりを分析する。ブロブの広がりの分析に基づき、ＦＲ１画像又はＦＲ２画像のいずれかに関する「許容値を超える」照明クオリティインデックス又は照明インデックスを検出し、それにより照明の差を確証させる。

【0065】

別の方法として、ブロブがエッジ付近に位置する場合、本システムは位置ずれを検出して位置合わせの向上を提案する。ブロブが広範囲にわたって広がっている場合、これは照明状態の差を示す。

【0066】

別の例では、本主題は、ブロブの広がりの分析に基づき、ＦＲ１画像又はＦＲ２画像のいずれかについて許容値を超えるブレクオリティインデックスを検出するように構成されてもよい。検出されたブレは、撮像オペレータによるカメラの再フォーカスなどの最先端技術に基づいて後程補正されてもよい。

【0067】

図８Ａ及び図８Ｂは、データキャプチャ状態としての位置ずれ又は照明の差を検出する別の実施形態を表している。二値画像及びグレースケール画像に関するデータキャプチャ状態の差を表すインデックスの決定は、ＦＲ１画像とＦＲ２画像の間の照明インデックスの差を計算するステップを備える。少なくとも目的は、ＯＫな中央画像とＮＧな中央画像の間の照明の差を検出することである。２クラスの中央画像ＦＲ１と中央画像ＦＲ２の間の差を二値化した後のエラー画素又は白色画素の全体的な広がりに注目してもよい。

【0068】

動作では、二値画像における列ごとのエラーポイント数をカウントし、それにより二値画像に対して列ごとの高明度のカウントの中央値を計算する。さらに、グレースケール画像における列ごとの平均明度を計算し、それによりグレースケール画像に対して列ごとの平均明度の中央値を計算する。二値画像の計算された中央値及びグレースケール画像の計算された中央値を、照明インデックスの差として定義する。

【0069】

計算した照明インデックスの差が所定の閾値を超えている場合、ＦＲ１画像又はＦＲ２画像のいずれかにおける照明の差を突き止める。一方、ａ）所定の閾値を超えていない照明インデックスの差、及び、ｂ）所定の閾値を超えており、それによってエラーを示す図７の算出総合インデックスのうち少なくとも一方に基づき、ＦＲ１画像又はＦＲ２画像のいずれかにおける位置ずれした状態を突き止める。

【0070】

図９は、ステップ２０８及びステップ３０６に応じた自動位置合わせ補正及び照明補正の一部としての補正技術の適用を示している。

【0071】

ステップ９０２～９０６は、図４のステップ４０２～４０６に対応する。

【0072】

ステップ９０８は、図７に応じた許容値と位置合わせインデックスの比較に基づく位置ずれ状態の決定に対応する。当然のことながら、２クラスの中央画像間の差を二値化した後のブロブの広がりが小さく、かつ、エッジに沿って目立つ場合は、位置合わせ補正措置を行う。２画像クラスのカメラ設定における実質的な差は、一方のクラスにおいてこのような位置ずれにつながる可能性がある。

【0073】

ステップ９１０は、図７に応じた許容値と照明インデックスの比較に基づく照明状態の差の決定に対応する。このような決定は、大きく、かつ、エッジに沿って目立つ、２クラスの中央画像間の差を二値化した後のブロブの広がりに基づいて行われる。このようなシナリオでは、照明状態のばらつきにより、位置合わせも失敗している可能性がある。

【0074】

ステップ９０８の条件を満たさないがステップ９１０の条件を満たす場合、制御フローはステップ９０４に戻って位置合わせ補正を行う。しかしながら、ステップ９０８とステップ９１０の両方の条件を満たさない場合、制御フローはステップ９１２に移動して位置合わせと組み合わせて照明の問題を補正する。

【0075】

ステップ９０４における位置合わせ補正の一部として、明度空間においてＦＲ１画像又はＦＲ２画像の一方から１以上のスケール不変画像特徴点を抽出する。一例では、スケール不変特徴検出手段及び記述子を用いて、明度空間において階調特徴点を抽出してもよい。１以上のスケール不変画像特徴点は、ＦＲ１画像又はＦＲ２画像の１以上にわたって適用される深層学習基準に基づいて決定される複数の対応関心点とマッピングされる。一例では、ブルートフォース最近隣手法を用いて、対応関心点とマッチさせ、対応関心点を用いて画像を位置合わせしてもよい。それに基づき、対応関心点を用いて、ＦＲ１画像又はＦＲ２画像の一方を位置合わせする。

【0076】

ステップ９１２では、深層学習に対応した画像から画像への変換技術に基づき、位置ずれしたＦＲ１画像又は位置ずれしたＦＲ２画像に対して、検出された照明のばらつきを自動的に補正し、当該変換技術では、１つの画像群に関する照明状態の特徴を捉えてこの画像群を別の画像群へ再構成する。図１０において定義される実施の形態でも同様である。

【0077】

ステップ９１２の後、制御フローは、再びステップ９０６に移動し、ステップ９０８に移動する。ここで、ステップ９０８の条件を満たし、データセットが位置合わせされていると判断された場合、制御フローはステップ９１４に移動する。

【0078】

ステップ９１４は、図７に応じた許容値と照明インデックスの比較に基づく位置合わせされたデータの照明状態の差の決定に対応する。ステップ９１４の条件を満たさない場合、制御フローはステップ９１６に移動して照明の問題を補正する。２クラスの中央画像間の差を二値化した後のブロブの広がりが大きいかの分析に基づき、２クラスの画像に対する照明状態の実質的な差を観察してもよい。

【0079】

ステップ９１６では、位置合わせしたデータセットに対応するＦＲ１画像又はＦＲ２画像に対して検出された照明のばらつきを自動的に補正する。第２画像群のことを指すクラス２における特定画像について、ＦＲ１画像と対象特定画像の間の差を算出して、別の差分画像を生成する。当該別の差分画像内で複数のブロブの位置を特定し、各ブロブは、差分画像内の白色画素群を表す。位置特定されたブロブは、領域の観点からインデックス付けされる。特定のブロブ領域（例えば、差分画像の領域ｉ）に対して、ＦＲ１画像の領域と第２画像群内の特定画像の領域の間で差を計算する。計算した算出差が許容値より大きければ、第２画像群の特定画像に対して対象特定領域の画素値を変更する。対象ブロブの算出差が許容値より小さくなるまで、対象特定画像に対してこのような画素値の変更を行う。そして、位置合わせしたＦＲ２画像における照明が最終的に補正されるよう、第２画像群又はクラス２に関する次の画像に対して、位置特定、算出、画素値変更するステップを繰り返す。

【0080】

以下のように、ステップ９１６の基礎となるアルゴリズムのステップ例１～７を、ＦＲ２に対応するクラス２の画像ごとに実行してもよい。クラス２の画像ごとに、
ステップ１：中央値（クラス１）－クラス２のサンプル画像
ステップ２：差分画像を二値化する
ステップ３：大ブロブの領域に分割して順にインデックス（１、２、・・・Ｎ）を付ける
ステップ４：ブロブ領域ｉに対して、中央値（クラス１、領域ｉ）－クラス２のサンプル画像（領域ｉ）を算出する
ステップ５：差（領域ｉ）＞許容値であれば、クラス２のサンプル画像に対して領域ｉの画素値を増加／減少させる（輝度はクラス１と統一化されていると仮定）
ステップ６：領域ｉの差が閾値より小さくなるまでステップ５を繰り返す
ステップ７：ブロブ領域１～Ｎに対してステップ４～６を繰り返す
クラス２の次の画像に対してステップ１～７を繰り返す。

【0081】

別の例では、ステップ９１６は、ＦＲ１画像又はＦＲ２画像の一方に対して、検出されたブレクオリティインデックスに基づき、ブレのクオリティを自動的に補正するように構成されてもよい。このため、ブレを補正するようにオペレータによってカメラを再フォーカスさせてもよい。

【0082】

ステップ９１６において照明補正を行った後、制御フローはステップ９０６に戻る。ステップ９０８、９１４の条件を満たした時点で、補正及び補償されたデータセット（例えば、光補償データセット）を、自動目視検査のステップ９１８に渡す。

【0083】

本主題は、異なる日に収集されたデータが有用であることを確認できるようにすることによってデータ収集のサポートになる。データ収集状態の補正の一部として日々同じことが行われてもよく、データセットのラベリングは必ずしも必要ではない。

【0084】

ＡＩ訓練段階前のデータチェック要件の場合、本主題の動作を始める前にデータセットのラベリングを必要としてもよい。そして、データセットを保存してもよい。

【0085】

展開後のシステムメンテナンスの一部として、現在の状態をデータコレクション中の１つと比較するように本主題を最適化してもよい。例えば、数年後に、工場ライン生産を妨げることなくハードウェア問題を検出できると考えられる。このようなシナリオでは、データセットを補正又は再訓練してもよいし、その両方が適用できてもよい。

【0086】

図１０は、自動照明補正の一部として、ステップ９１２に応じた画像から画像への変換技術の例を示している。

【0087】

例えば、理想的な照明の画像をＩ１とし、理想的でない照明の画像をＩ２とする。理想的でない照明画像を理想的な照明画像Ｉ２’に変換する。少なくとも目的は、深層学習方法を用いてマッピング関数（Ｆ）を特定して、任意の理想的でない照明画像を理想的な照明画像に変換することである。したがって、最終ターゲットまたは理想的な照明画像Ｉ２’は、Ｆ．Ｉ２であり、Ｆは、Ｉ２＝Ｆ．Ｉ１のような訓練画像の組（Ｉ１、Ｉ２）を用いて学習したマッピング関数である。

【0088】

画像から画像への変換技術を用いて、ＦＲ１画像の照明状態を撮像し、これらの特徴を変換してＦＲ２に対応する画像のクオリティを生成して向上させる。

【0089】

敵対的生成ネットワーク（ＧＡＮ）に基づく画像から画像への変換モジュールの例は、以下に示す３つの要素例で構成される。

【0090】

ジェネレータ１００２：エンコーダ・デコーダモデルは、生成ネットワークが対象ドメインクラスの妥当な画像を学習及び生成できるようにする畳み込み、活性層、ドロップアウト、一括正規化などの標準ブロックを備える。

【0091】

ディスクリミネータ１００４：深層畳み込みニューラルネットワークを用いて生成画像又は偽画像を分類する。ディスクリミネータは、生成画像が、元の画像の妥当性が高い変換かどうかを判断する。

【0092】

エンハンサ１００６：受容フィールドに基づく深層モデルを用いて、元の画像の構成を維持しながら、精細化し、生成画像の照明状態を向上させる。

【0093】

図１１は、コンピューティング環境における図４から図９に示したようなシステムの実装を示している。本図面は、システムのハードウェア構成を基本的に示す。コンピュータシステム１４００は、開示された１以上の方法をコンピュータシステム１４００に行わせるように実行できる命令セットを含んでもよい。コンピュータシステム１４００は、スタンドアロン型デバイスとして動作してもよいし、例えば、ネットワークを用いて他のコンピュータ又は周辺デバイスに接続されてもよい。

【0094】

ネットワーク展開において、コンピュータシステム１４００は、サーバの能力で、又は、サーバ・クライアント型ユーザネットワーク環境におけるクライアントユーザコンピュータとして、若しくは、ピアツーピア型（又は配信型）ネットワーク環境におけるピアコンピュータシステムとして動作してもよい。また、コンピュータシステム１４００は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、パーソナルデジタル端末（ＰＤＡ）、携帯デバイス、パームトップコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、通信デバイス、無線電話、固定電話、ウェブ家電、ネットワークルータ、スイッチ又はブリッジ、機器が行う動作を示す命令セットを（順次であろうがなかろうが）実行可能なその他の機器など、様々なデバイスとして実装又は組み込むことができる。さらに、単一のコンピュータシステム１４００を示しているが、用語「システム」は、１以上の命令セットを個別に又は連帯して実行するシステム又はサブシステムのコレクションを含むようにとらえられるものとする。

【0095】

コンピュータシステム１４００は、プロセッサ１４０２（例えば、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、又は、その両方）を含んでもよい。プロセッサ１４０２は、様々なシステムの構成要素でもよい。例えば、プロセッサ１４０２は、標準パーソナルコンピュータ又はワークステーションの一部でもよい。プロセッサ１４０２は、１以上の汎用プロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイ、サーバ、ネットワーク、デジタル回路、アナログ回路、それらの組み合わせ、又は、データを分析及び処理するその他の周知デバイス若しくは後発デバイスでもよい。プロセッサ１４０２は、手動で生成されたコードなど（つまり、プログラムされた）ソフトウェアプログラムを実行してもよい。

【0096】

コンピュータシステム１４００は、バス１４０８を介して通信できるメモリ１４０４など、メモリ１４０４を含んでもよい。メモリ１４０４は、メインメモリ、スタティックメモリ、又は、ダイナミックメモリでもよい。メモリ１４０４には、ランダムアクセスメモリ、読取専用メモリ、プログラマブル読取専用メモリ、電気的プログラマブル読取専用メモリ、電気的消去可能読取専用メモリ、フラッシュメモリ、磁気テープ、磁気ディスク、光媒体などこれに限定されない様々な種類の揮発性又は不揮発性記憶媒体などのコンピュータ読み取り可能記憶媒体が含まれるが、これに限定されるものではない。一例では、メモリ１４０４は、プロセッサ１４０２用のキャッシュ又はランダムアクセスメモリを含む。別の例では、メモリ１４０４は、プロセッサのキャッシュメモリ、システムメモリ、又は、その他のメモリなど、プロセッサ１４０２と分離している。メモリ１４０４は、外部ストレージデバイスでもよいし、データ保存用のデータベースでもよい。例えば、ハードデバイス、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、メモリカード、メモリスティック、フロッピーディスク、ユニバーサル・シリアル・バス（ＵＳＢ）メモリデバイス、又は、データを保存するために動作可能なその他のデバイスでもよい。メモリ１４０４は、プロセッサ１４０２によって実行可能な命令を保存することができる。図示された又は説明された機能、行為、又は、タスクは、メモリ１４０４に格納された命令を実行するプログラムプロセッサ１４０２によって実行されてもよい。機能、行為、又は、タスクは、特定タイプの命令セット、記憶媒体、プロセッサ、又は、処理戦略と関係なく、ソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコードなどによって単独でも組み合わせても実行されてもよい。同様に、処理戦略は、マルチ処理、マルチタスク、平行処理などを含んでもよい。

【0097】

図示するように、コンピュータシステム１４００は、さらに、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、フラットパネルディスプレイ、固体ディスプレイ、ブラウン管（ＣＲＴ）、プロジェクタ、プリンタ、又は、決定情報を出力するその他の周知デバイス若しくは後発デバイスなど、表示部１４１０を含んでも含まなくてもよい。ディスプレイ１４１０は、プロセッサ１４０２の働きをユーザが把握するためのインターフェースとして、又は、特に、メモリ１４０４若しくは駆動部１４１６に格納されたソフトウェアとのインターフェースとして機能してもよい。

【0098】

加えて、コンピュータシステム１４００は、システム１４００の構成要素とユーザが情報をやりとりできるように構成された入力デバイス１４１２を含んでもよい。入力デバイス１４１２は、テンキー、キーボード、又は、マウスやジョイスティックなどのカーソル制御デバイス、タッチ画面、リモコン、又は、コンピュータシステム１４００とやりとりできるその他のデバイスなどでもよい。

【0099】

また、コンピュータシステム１４００は、ディスク又は光駆動部１４１６を含んでもよい。ディスク駆動部１４１６は、１以上の命令セット１４２４、例えば、ソフトウェアを埋め込みできるコンピュータ読み取り可能媒体１４２２を含んでもよい。さらに、命令１４２４は、説明したような１以上の方法又はロジックを具体化したものでもよい。具体例では、命令１４２４は、コンピュータシステム１４００による実行中、メモリ１４０４内又はプロセッサ内に全体又は少なくとも一部が存在する。また、メモリ１４０４及びプロセッサ１４０２は、上述したようなコンピュータ読み取り可能媒体を含んでもよい。

【0100】

本発明は、命令１４２４を含むか、ネットワーク１４２６に接続されたデバイスがネットワーク１４２６を介して音声、映像、音、画像、又は、その他のデータを通信できるようにプログラムされた信号に応答して命令１４２４を受信して実行するコンピュータ読み取り可能媒体を考慮する。さらに、命令１４２４は、ネットワーク１４２６で通信ポート又は通信インターフェース１４２０を介して又はバス１４０８を用いて送信又は受信されてもよい。通信ポート又はインターフェース１４２０は、プロセッサ１４０２の一部でもよいし、別個の要素でもよい。通信ポート１４２０は、ソフトウェア的に作成されてもよいし、ハードウェア的に物理接続であってもよい。通信ポート１４２０は、ネットワーク１４２６、外部メディア、ディスプレイ１４１０、システム１４００内のその他の構成要素、又は、それらの組み合わせと接続するように構成されてもよい。ネットワーク１４２６との接続は、有線のイーサネット接続などの物理接続であってもよいし、後述するように無線で確立されてもよい。同様に、システム１４００の別の構成要素とのさらなる接続も物理接続でもよいし、無線で確立されてもよい。あるいは、ネットワーク１４２６がバス１４０８と直接接続されてもよい。

【0101】

ネットワーク１４２６は、有線ネットワーク、無線ネットワーク、イーサネットＡＶＢネットワーク、又は、それらの組み合わせなどでもよい。無線ネットワークは、携帯電話ネットワーク、８０２．１１、８０２．１６、８０２．２０、８０２．１Ｑ、又は、ＷｉＭａｘネットワークでもよい。さらに、ネットワーク１４２６は、インターネットなどの公共ネットワーク、イントラネットなどのプライベートネットワーク、又は、それらの組み合わせでもよく、現在利用可能な又は後発されるＴＣＰ／ＩＰ型ネットワークプロトコルなどの様々なネットワークプロトコルを利用してもよい。

【0102】

別の例では、特定用途向け集積回路、プログラマブル・ロジック・アレイ、及びその他のハードウェアデバイスなどの専用ハードウェア実装は、システム１４００の様々な部分を実装するように構成できる。

【0103】

少なくとも前述した特徴に基づき、本主題は、異なるクラスが同じ照明状態の下で収集されたかどうかの自動チェック、対象物ごとに位置合わせが正しいかどうかの自動チェック、ズーム要因が正しいかどうかの自動チェックを提供し、照明状態の差を補正する。

【0104】

本主題は、同一サンプル内だけでなく複数の画像間にわたるばらつきを検出できる。本主題は、わずかなカメラのばらつき、照明変化などに着目する。本主題は、機械学習に特有の補正ステップ（光補正、スケーリング補正など）を含む。

【0105】

例では、自動位置合わせ補正の一部として、位置合わせで対象物のサイズによる問題が検出されれば、本主題は、このようなばらつきに対して感度が低い特徴点を提案する。別の例では、自動照明補正の一部として、本主題は、データセットが訓練用に有用であり、モデルが欠陥を検出するように学習することを保証する。それにより、変動する状態で収集されたデータの影響を最小化することができる。

【0106】

本開示、特に請求項で用いられる用語は、通常、「オープン」用語（例えば、用語「など」は「～を含むが、それに限定されない」と解釈されるものであり、用語「有する」は「少なくとも～を有する」と解釈されるものであり、用語「含む」は「～を含むが、それに限定されない」と解釈されるものである）として意図されている。

【0107】

加えて、特定の数の請求項の記載が意図される場合、そのような意図は請求項に明示的に記載され、そのような記載がなければ、そのような意図はない。例えば、理解しやすくなるように、請求項を記載する際に、請求項には文言「少なくとも１つ」及び「１以上の」が含まれてもよい。しかしながら、同じ請求項に、文言「少なくとも１つ」及び「１以上の」と「任意の」などの不定冠詞とが含まれていたとしても（例えば、「任意の」は「少なくとも１つ」又は「１以上の」の意味と解釈されるものである）、このような文言を用いることにより、不定冠詞「任意の」による請求項の記載が、このように記載した請求項の記載を含む特定の請求項を、１つだけの記載の実施の形態に限定することを暗示するものではない。請求項の記載に用いられる定冠詞についても同様である。

【0108】

また、特定の数の請求項の記載が明示的に記載されていたとしても、当業者であれば、このような記載は少なくとも記載された数を意味すると解釈されると認識するであろう（例えば、他の修飾語句がなく「２つの」というただの記載は、少なくとも２つ、又は、２以上を意味する）。さらに、「Ａ、Ｂ、Ｃなどのうちの少なくとも１つ」又は「Ａ、Ｂ、Ｃなどのうちの１以上」といった類似表現を用いる事例では、通常、このような構成は、Ａだけ、Ｂだけ、Ｃだけ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、又は、ＡとＢとＣなどを含むことを意図する。例えば、用語「及び／又は」は、このように構成されることを意図する。

【0109】

さらに、２以上の代替用語を表す選言的な単語又は文言は、実施の形態、請求項、又は、図面のいずれの説明においても、それらの用語のうちの１つ、それらの用語のいずれか又は両方を含む可能性を考慮すると理解されるものである。例えば、文言「Ａ又はＢ」は、「Ａ」、「Ｂ」、又は、「Ａ及びＢ」の可能性を含むと理解されるものである。

【0110】

本開示に記載された全ての例及び条件語句は、当該技術分野の促進のために発明者が提供する発明及び概念を読み手が理解しやすいように教授することを目的としており、ここで具体的に記載された例及び条件に限定されることはないと解釈される。本開示の実施の形態について詳細に説明したが、本開示の主旨及び範囲を逸脱することなく様々な変更、置換、修正を行うことができることは理解されよう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【国際調査報告】