特開 2023-182562 製品における異常検出の方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182562

(43)【公開日】2023-12-26

(54)【発明の名称】製品における異常検出の方法及びシステム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20231219BHJP

   G06T 7/00 20170101ALI20231219BHJP

   G06V 10/82 20220101ALI20231219BHJP

【ＦＩ】

G06N3/08

G06T7/00 610C

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023097668

(22)【出願日】2023-06-14

(31)【優先権主張番号】202221034104

(32)【優先日】2022-06-14

(33)【優先権主張国・地域又は機関】IN

(71)【出願人】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】Ｎｉｒｍａｌ Ｂｕｉｌｄｉｎｇ，９ｔｈ Ｆｌｏｏｒ，Ｎａｒｉｍａｎ Ｐｏｉｎｔ，Ｍｕｍｂａｉ ４０００２１，Ｍａｈａｒａｓｈｔｒａ，Ｉｎｄｉａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】プラカル プラダン

(72)【発明者】

【氏名】フリシケシュ シャルマ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA01

5L096DA01

5L096EA39

5L096GA30

5L096GA40

5L096HA09

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】製造中の製品に存在するマルチクラスの異常を検出する方法及びシステムを提供する。
【解決手段】３チャネルＲＧＢ画像及びこれに対応するシングルチャネルバイナリグラウンドトゥルースは、符号器ネットワークにパスされる。符号器からの特徴マップは、アテンションモジュールのセットによって畳み込みが行われ、クラス固有の自己アテンションを実施して、次にマルチスケールアテンションネットワークにフィードされる。マルチスケールアテンションネットワークからの調整された特徴マップは、ロジットフォーメーションネットワークにフィードされる。復号器特徴マップはまた、アテンションモジュールのセットによって畳み込みが行われ次にロジットフォーメーションネットワークにフィードされる。集約特徴マップは、ソフトマックスアクティベーション関数にパスされ、各欠陥クラス及び正常クラスの確率を包含する確率マップを取得する。
【選択図】図３

【特許請求の範囲】

【請求項1】

１又は２以上のハードウェアプロセッサを介して、複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像と、前記複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像とを受信するステップであって、前記複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成される、ステップ（２０２）と、
前記１又は２以上のハードウェアプロセッサを介して、事前に定義されたミニバッチに基づいて、前記各クラスに対応する前記複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成するステップであって、前記各ミニバッチは、前記各クラスに対応する前記複数の３チャネルＲＧＢ画像からの１又は２以上の３チャネルＲＧＢ画像を含む、ステップ（２０４）と、
前記１又は２以上のハードウェアプロセッサを介して、前記複数のクラスに関連付けられる前記１又は２以上のミニバッチが、事前に定義された訓練エポックに対して順次完全に取り込まれるまで、一度に前記各クラスに関連付けられる前記各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練するステップであって、前記マルチクラスセグメント化ネットワークは、符号器ネットワーク、１又は２以上の符号器アテンションモジュールセット、復号器ネットワーク、１又は２以上の復号器アテンションモジュールセット、マルチスケールアテンションネットワーク、及びロジットフォーメーションネットワークを含むステップ（２０６）と、
を含むプロセッサ実装方法（２００）であって、
前記各クラスに関連付けられる前記各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像によって前記マルチクラスセグメント化ネットワークを訓練するステップは、
前記対応する３チャネルＲＧＢ画像を前記符号器ネットワークにパスすることによって、前記ミニバッチに存在する前記各３チャネルＲＧＢ画像の符号化特徴マップの第１セットを抽出するステップ（２０６ａ）と、
前記符号器ネットワークに接続された対応する前記符号器アテンションモジュールセットを介して前記各３チャネルＲＧＢ画像の符号化特徴マップの第１セットをパスして、前記各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得するステップ（２０６ｂ）と、
前記対応する符号化特徴マップの第１セットを前記復号器ネットワークにパスすることによって、前記ミニバッチに存在する前記各３チャネルＲＧＢ画像の復号特徴マップの第１セットを抽出するステップ（２０６ｃ）と、
前記復号器ネットワークに接続された対応する前記復号器アテンションモジュールセットを介して前記各３チャネルＲＧＢ画像の復号特徴マップの第１セットをパスして、前記各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得するステップ（２０６ｄ）と、
前記各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを前記マルチスケールアテンションネットワークにパスして、前記各３チャネルＲＧＢ画像のスケール特徴マップのセットを取得するステップ（２０６ｅ）と、
前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び対応する前記復号特徴マップの第２セットを前記ロジットフォーメーションネットワークにパスして、前記各３チャネルＲＧＢ画像の確率マップを取得するステップ（２０６ｆ）と、
前記取得した各３チャネルＲＧＢ画像の確率マップ及び前記対応するシングルチャネルバイナリグラウンドトゥルース画像を用いて、前記ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像に対して、前記マルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の値を計算するステップ（２０６ｇ）と、
前記マルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の計算された値に基づいて、前記マルチクラスセグメント化ネットワークの加重を更新するステップ（２０６ｈ）と、
を含む、
プロセッサ実装方法（２００）。

【請求項2】

（ｉ）前記符号器ネットワークは、複数の符号器ブロックを含み、
（ｉｉ）前記復号器ネットワークは、複数の復号器ブロックを含み、
（ｉｉｉ）前記１又は２以上の符号器アテンションモジュールセットは、前記符号器ネットワークに接続され、前記各符号器アテンションモジュールセットは、前記複数のクラスの各クラス専用にされた複数の符号器アテンションモジュールを含み、
（ｉｖ）前記１又は２以上の復号器アテンションモジュールセットは、前記復号器ネットワークに接続され、前記各復号器アテンションモジュールセットは、前記複数のクラスの各クラス専用にされた前記複数の復号器アテンションモジュールを含む、
請求項１に記載の方法。

【請求項3】

前記各符号器アテンションモジュールは、符号器アテンションレジデュアルユニット、符号器アテンション論理ゲートユニット、第１符号器アテンション畳み込み層、符号器アテンションソフトマックスアクティベーション層、及び第２符号器アテンション畳み込み層を含み、前記符号器アテンションレジデュアルユニットは、第１符号器アテンションレジデュアルユニットバッチ標準化層、第１符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１符号器アテンションレジデュアルユニット畳み込み層、第２符号器アテンションレジデュアルユニットバッチ標準化層、第２符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２符号器アテンションレジデュアルユニット畳み込み層、及び第３符号器アテンションレジデュアルユニット畳み込み層を含み、
前記各復号器アテンションモジュールは、復号器アテンションレジデュアルユニット、復号器アテンション論理ゲートユニット、第１復号器アテンション畳み込み層、復号器アテンションソフトマックスアクティベーション層、及び第２復号器アテンション畳み込み層を含み、前記復号器アテンションレジデュアルユニットは、第１復号器アテンションレジデュアルユニットバッチ標準化層、第１復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１復号器アテンションレジデュアルユニット畳み込み層、第２復号器アテンションレジデュアルユニットバッチ標準化層、第２復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２復号器アテンションレジデュアルユニット畳み込み層、及び第３復号器アテンションレジデュアルユニット畳み込み層を含む、
請求項２に記載の方法。

【請求項4】

（ｉ）前記符号器ネットワークに接続された前記１又は２以上の符号器アテンションモジュールセットと（ｉｉ）前記復号器ネットワークに接続された前記１又は２以上の復号器アテンションモジュールセットの各々の数は、前記複数のクラスの数に等しい、
請求項１に記載の方法。

【請求項5】

前記各クラスに関連付けられる前記各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像の各々によって前記マルチクラスセグメント化ネットワークを訓練する間、（ｉ）前記対応する符号器アテンションモジュールセット、（ｉｉ）前記対応する復号器アテンションモジュールセット、（ｉｉｉ）前記マルチスケールアテンションネットワーク、（ｉｖ）前記ロジットフォーメーションネットワーク、（ｖ）前記符号器ネットワーク、及び（ｖｉ）前記復号器ネットワークは、バックプロパゲーションでアクティベートされる、
請求項１に記載の方法。

【請求項6】

前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び前記復号特徴マップの対応する第２セットを前記ロジットフォーメーションネットワークにパスして、前記各３チャネルＲＧＢ画像の確率マップを取得するステップは、
前記ロジットフォーメーションネットワークに存在する畳み込み－逆畳み込み層のセットを介して前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び前記復号特徴マップの対応する第２セットをマージし、各３チャネルＲＧＢ画像の集約特徴マップのセットを取得するステップと、
前記ロジットフォーメーションネットワークに存在するロジット連結層を介して前記各３チャネルＲＧＢ画像の集約特徴マップのセットを連結して、前記各３チャネルＲＧＢ画像の連結特徴マップを取得するステップと、
前記ロジットフォーメーションネットワークに存在する畳み込み層及びソフトマックスアクティベーション関数を介して、前記各３チャネルＲＧＢ画像の連結特徴マップをパスして、前記各３チャネルＲＧＢ画像の確率マップを取得するステップと、
を含む、請求項１に記載の方法。

【請求項7】

前記１又は２以上のハードウェアプロセッサを介して、前記異常が検出される製品の入力３チャネルＲＧＢ画像を受信するステップ（２０８）と、
前記１又は２以上のハードウェアプロセッサを介して、前記入力３チャネルＲＧＢ画像を前記訓練されたマルチクラスセグメント化ネットワークにパスして、入力確率マップを取得するステップ（２１０）と、
前記１又は２以上のハードウェアプロセッサを介して、前記入力確率マップに基づいて、前記製品における異常の存在を検出するステップ（２１２）と、
を更に含む、請求項１に記載の方法。

【請求項8】

命令を格納するメモリ（１０２）と、
１又は２以上の入力／出力（Ｉ／Ｏ）インタフェース（１０６）と、
前記１又は２以上のＩ／Ｏインタフェース（１０６）を介して前記メモリ（１０２）に結合された１又は２以上のハードウェアプロセッサ（１０４）と、
を含むシステム（１００）であって、
前記１又は２以上のハードウェアプロセッサ（１０４）は、
複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像と、前記複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像を受信する命令であって、前記複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成される、命令と、
事前に定義されたミニバッチサイズに基づいて、各クラスに対応する前記複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成する命令であって、前記各ミニバッチは、前記各クラスに対応する前記複数の３チャネルＲＧＢ画像の中からの１又は２以上の３チャネルＲＧＢ画像を含む、命令と、
前記複数のクラスに関連付けられる前記１又は２以上のミニバッチが、事前に定義された訓練エポックに対して順次完全に取り込まれるまで、一度に各クラスに関連付けられる各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練する命令であって、前記マルチクラスセグメント化ネットワークは、符号器ネットワーク、１又は２以上の符号器アテンションモジュールセット、復号器ネットワーク、１又は２以上の復号器アテンションモジュールセット、マルチスケールアテンションネットワーク、及びロジットフォーメーションネットワークを含む、命令と、
によって構成され、
前記各クラスに関連付けられる各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像によって前記マルチクラスセグメント化ネットワークを訓練する命令は、
前記対応する３チャネルＲＧＢ画像を前記符号器ネットワークにパスすることによって、前記ミニバッチに存在する各３チャネルＲＧＢ画像の符号化特徴マップの第１セットを抽出するステップと、
前記符号器ネットワークに接続された対応する符号器アテンションモジュールセットを介して前記各３チャネルＲＧＢ画像の符号化特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得するステップと、
前記符号化特徴マップの対応するセットを前記復号器ネットワークにパスすることによって、前記ミニバッチに存在する各３チャネルＲＧＢ画像の復号特徴マップの第１セットを抽出するステップと、
前記復号器ネットワークに接続された対応する復号器アテンションモジュールセットを介して前記各３チャネルＲＧＢ画像の復号特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得するステップと、
前記各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを前記マルチスケールアテンションネットワークにパスして、各３チャネルＲＧＢ画像のスケール特徴マップのセットを取得するステップと、
前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び前記復号特徴マップの対応する第２セットを前記ロジットフォーメーションネットワークにパスして、各３チャネルＲＧＢ画像の確率マップを取得するステップと、
前記取得した各３チャネルＲＧＢ画像の確率マップ及び前記対応するシングルチャネルバイナリグラウンドトゥルース画像を用いて、前記ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像に対して、前記マルチクラスセグメント化ネットワークの損失関数の値を計算するステップと、
前記マルチクラスセグメント化ネットワークの損失関数の計算された値に基づいて、前記マルチクラスセグメント化ネットワークの加重を更新するステップと、
を含む、システム（１００）。

【請求項9】

（ｉ）前記符号器ネットワークは、複数の符号器ブロックを含み、
（ｉｉ）前記復号器ネットワークは、複数の復号器ブロックを含み、
（ｉｉｉ）前記１又は２以上の符号器アテンションモジュールセットは、前記符号器ネットワークに接続され、各符号器アテンションモジュールセットは、前記複数のクラスの各クラス専用にされた複数の符号器アテンションモジュールを含み、
（ｉｖ）前記１又は２以上の復号器アテンションモジュールセットは、前記復号器ネットワークに接続され、各復号器アテンションモジュールセットは、前記複数のクラスの各クラス専用にされた複数の復号器アテンションモジュールを含む、
請求項８に記載のシステム。

【請求項10】

各符号器アテンションモジュールは、符号器アテンションレジデュアルユニット、符号器アテンション論理ゲートユニット、第１符号器アテンション畳み込み層、符号器アテンションソフトマックスアクティベーション層、及び第２符号器アテンション畳み込み層を含み、前記符号器アテンションレジデュアルユニットは、第１符号器アテンションレジデュアルユニットバッチ標準化層、第１符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１符号器アテンションレジデュアルユニット畳み込み層、第２符号器アテンションレジデュアルユニットバッチ標準化層、第２符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２符号器アテンションレジデュアルユニット畳み込み層、及び第３符号器アテンションレジデュアルユニット畳み込み層を含み、
各復号器アテンションモジュールは、復号器アテンションレジデュアルユニット、復号器アテンション論理ゲートユニット、第１復号器アテンション畳み込み層、復号器アテンションソフトマックスアクティベーション層、及び第２復号器アテンション畳み込み層を含み、前記復号器アテンションレジデュアルユニットは、第１復号器アテンションレジデュアルユニットバッチ標準化層、第１復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１復号器アテンションレジデュアルユニット畳み込み層、第２復号器アテンションレジデュアルユニットバッチ標準化層、第２復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２復号器アテンションレジデュアルユニット畳み込み層、及び第３復号器アテンションレジデュアルユニット畳み込み層を含む、
請求項９に記載のシステム。

【請求項11】

（ｉ）前記符号器ネットワークに接続された前記１又は２以上の符号器アテンションモジュールセットと（ｉｉ）前記復号器ネットワークに接続された前記１又は２以上の復号器アテンションモジュールセットの各々の数は、前記複数のクラスの数に等しい、
請求項８に記載のシステム。

【請求項12】

前記１又は２以上のハードウェアプロセッサ（１０４）は、前記各クラスに関連付けられる前記各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像の各々によって前記マルチクラスセグメント化ネットワークを訓練する間、（ｉ）前記対応する符号器アテンションモジュールセット、（ｉｉ）前記対応する復号器アテンションモジュールセット、（ｉｉｉ）前記マルチスケールアテンションネットワーク、（ｉｖ）前記ロジットフォーメーションネットワーク、（ｖ）前記符号器ネットワーク、及び（ｖｉ）前記復号器ネットワークを、バックプロパゲーションでアクティベートするよう構成される、
請求項８に記載のシステム。

【請求項13】

前記１又は２以上のハードウェアプロセッサ（１０４）は、
前記ロジットフォーメーションネットワークに存在する畳み込み－逆畳み込み層のセットを介して前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び前記復号特徴マップの対応する第２セットをマージして、各３チャネルＲＧＢ画像の集約特徴マップのセットを取得するステップと、
前記ロジットフォーメーションネットワークに存在するロジット連結層を介して前記各３チャネルＲＧＢ画像の集約特徴マップのセットを連結して、各３チャネルＲＧＢ画像の連結特徴マップを取得するステップと、
前記ロジットフォーメーションネットワークに存在する畳み込み層及びソフトマックスアクティベーション関数を介して、前記各３チャネルＲＧＢ画像の連結特徴マップをパスして、前記各３チャネルＲＧＢ画像の確率マップを取得するステップと、
によって、前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び前記復号特徴マップの対応する第２セットをパスして、前記各３チャネルＲＧＢ画像の確率マップを取得するよう構成される、
請求項８に記載のシステム。

【請求項14】

前記１又は２以上のハードウェアプロセッサ（１０４）は、更に、
異常が検出される製品の入力３チャネルＲＧＢ画像を受信する、
前記入力３チャネルＲＧＢ画像を前記訓練されたマルチクラスセグメント化ネットワークにパスして、入力確率マップを取得する、
前記入力確率マップに基づいて、前記製品における異常の存在を検出する、
ように構成される、請求項８に記載のシステム。

【請求項15】

１又は２以上の命令を含む１又は２以上の非一時的機械可読情報ストレージ媒体であって、
前記命令は、１又は２以上のハードウェアプロセッサによって実行された時に、
複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像と、前記複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像とを受信するステップであって、前記複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成されるステップと、
事前に定義されたミニバッチサイズに基づいて、前記各クラスに対応する前記複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成するステップであって、前記各ミニバッチは、前記各クラスに対応する前記複数の３チャネルＲＧＢ画像の中からの１又は２以上の３チャネルＲＧＢ画像を含むステップと、
前記複数のクラスに関連付けられる前記１又は２以上のミニバッチが、事前に定義された訓練エポックに対して順次完全に取り込まれるまで、一度に前記各クラスに関連付けられる前記各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練するステップであって、前記マルチクラスセグメント化ネットワークは、符号器ネットワーク、１又は２以上の符号器アテンションモジュールセット、復号器ネットワーク、１又は２以上の復号器アテンションモジュールセット、マルチスケールアテンションネットワーク、及びロジットフォーメーションネットワークを含むステップと、
を起こし、
前記各クラスに関連付けられる各ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像によって前記マルチクラスセグメント化ネットワークを訓練するステップは、
前記対応する３チャネルＲＧＢ画像を前記符号器ネットワークにパスすることによって、前記ミニバッチに存在する前記各３チャネルＲＧＢ画像の符号化特徴マップの第１セットを抽出するステップと、
前記符号器ネットワークに接続された対応する前記符号器アテンションモジュールセットを介して前記各３チャネルＲＧＢ画像の符号化特徴マップの第１セットをパスして、前記各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得するステップと、
前記符号化特徴マップの対応する第１セットを前記復号器ネットワークにパスすることによって、前記ミニバッチに存在する前記各３チャネルＲＧＢ画像の復号特徴マップの第１セットを抽出するステップと、
前記復号器ネットワークに接続された対応する前記復号器アテンションモジュールセットを介して前記各３チャネルＲＧＢ画像の復号特徴マップの第１セットをパスして、前記各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得するステップと、
前記各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを前記マルチスケールアテンションネットワークにパスして、前記各３チャネルＲＧＢ画像のスケール特徴マップのセットを取得するステップと、
前記各３チャネルＲＧＢ画像のスケール特徴マップのセット及び対応する前記復号特徴マップの第２セットを前記ロジットフォーメーションネットワークにパスして、前記各３チャネルＲＧＢ画像の確率マップを取得するステップと、
前記取得した各３チャネルＲＧＢ画像の確率マップ及び前記対応するシングルチャネルバイナリグラウンドトゥルース画像を用いて、前記ミニバッチに存在する前記１又は２以上の３チャネルＲＧＢ画像に対して、前記マルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の値を計算するステップと、
前記マルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の計算された値に基づいて、前記マルチクラスセグメント化ネットワークの加重を更新するステップと、
異常が検出される製品の入力３チャネルＲＧＢ画像を受信するステップと、
前記入力３チャネルＲＧＢ画像を前記訓練されたマルチクラスセグメント化ネットワークにパスして、入力確率マップを取得するステップと、
前記入力確率マップに基づいて、前記製品における異常の存在を検出するステップと、
を含む、１又は２以上の非一時的機械可読情報ストレージ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願に対する相互参照及び優先権）
本出願は、２０２２年６月１４日に出願されたインド出願第２０２２２１０３４１０４号明細書に対する優先権を主張するものである。

【0002】

本明細書において本開示は、一般に、異常検出の分野、より詳細には製造中の製品に存在するマルチクラスの異常を検出する方法及びシステムに関する。

【背景技術】

【0003】

製造部門では、機械装置における散発性の物理的で決定的な問題に起因して、製造された製品又は項目の表面に特定の性質の局部的な欠陥が発生する。例えば、生産管理パラメータの非最適な設定から生じる可能性がある、製造材料にかかる非最適ストレスが加わることに起因してひび割れが起こる。これは、理論的な文脈で研究されている異常の定義とは異なって欠陥を包含しており、ここでは正常なパターン（「正常」クラス）だけの定義が存在し、正常パターンから外れるあらゆるパターン／非パターンが異常として見なされる。これらの異常は、製品の品質の劣化を防止するために早期の段階で検出する必要がある。

【0004】

視覚ベースの異常検出の既存の方法は、前述の理論的定義に基づき、特に製造部門において起こる異常の特定の性質及びタイプを考慮するには十分且つ正確ではない。また、マルチクラスの異常検出を解決するためのニューラルネットワークに基づく従来の方法は、出力層でのクラス固有のアテンションを組み入れるが、主に視覚化目的のためであり且つ要求される性能メトリクスを最適化するためではない。更に、マルチクラス異常検出を解決するためのニューラルネットワークに基づく従来の方法は、特に欠陥の高クラス内変動の場合に十分且つ正確ではない。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】インド出願第２０２２２１０３４１０４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示の実施形態は、従来のシステムにおける発明者らによって認識されている上述の技術的問題の１又は２以上に対する解決策として技術的な改良部分を提示する。

【課題を解決するための手段】

【0007】

１つの態様において、製品における異常検出のためのプロセッサ実装方法を提供する。本方法は、複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像、及び複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像を受信するステップであって、複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成される、ステップと、事前に定義されたミニバッチサイズに基づいて、各クラスに対応する複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成するステップであって、各ミニバッチは、各クラスに対応する複数の３チャネルＲＧＢ画像からの１又は２以上の３チャネルＲＧＢ画像を含むステップと、複数のクラスに関連付けられる１又は２以上のミニバッチが、事前に定義された訓練エポックに対して順次完全に取り込まれるまで、一度に各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練するステップであって、マルチクラスセグメント化ネットワークは、符号器ネットワーク、１又は２以上の符号器アテンションモジュールセット、復号器ネットワーク、１又は２以上の復号器アテンションモジュールセット、マルチスケールアテンションネットワーク、及びロジットフォーメーションネットワークを含むステップを含み、各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によってマルチクラスセグメント化ネットワークを訓練するステップは、対応する３チャネルＲＧＢ画像を符号器ネットワークにパスすることによって、ミニバッチに存在する各３チャネルＲＧＢ画像の符号化された特徴マップの第１セットを抽出するステップと、符号器ネットワークに接続された対応する符号器アテンションモジュールセットを介して各３チャネルＲＧＢ画像の符号化特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得するステップと、符号化特徴マップの対応する第１セットを復号器ネットワークにパスすることによって、ミニバッチに存在する各３チャネルＲＧＢ画像の復号特徴マップの第１セットを抽出するステップと、復号器ネットワークに接続された対応する復号器アテンションモジュールセットを介して各３チャネルＲＧＢ画像の復号特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得するステップと、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットをマルチスケールアテンションネットワークにパスして、各３チャネルＲＧＢ画像のスケール特徴マップのセットを取得するステップと、各３チャネルＲＧＢ画像のスケール特徴マップのセット及び復号特徴マップの対応する第２セットをロジットフォーメーションネットワークにパスして、各３チャネルＲＧＢ画像の確率マップを取得するステップと、取得した各３チャネルＲＧＢ画像の確率マップと対応するシングルチャネルバイナリグラウンドトゥルース画像を用いて、ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像に対して、マルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の値を計算するステップと、マルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の計算された値に基づいて、マルチクラスセグメント化ネットワークの加重を更新するステップと、異常が検出される製品の入力３チャネルＲＧＢ画像を受信するステップと、入力３チャネルＲＧＢ画像を訓練されたマルチクラスセグメント化ネットワークにパスして、入力確率マップを取得するステップと、入力確率マップに基づいて、製品における異常の存在を検出するステップを含む。

【0008】

別の態様において、製品における異常を検出するシステムを提供する。このシステムは、命令を格納するメモリ、１又は２以上の入力／出力（Ｉ／Ｏ）インタフェース、及び１又は２以上のＩ／Ｏインタフェースを介してメモリに結合された１又は２以上のハードウェアプロセッサを含み、１又は２以上のハードウェアプロセッサは、複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像、及び複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像を受信する命令であって、複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成される命令、事前に定義されたミニバッチサイズに基づいて、各クラスに対応する複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成する命令であって、各ミニバッチは、各クラスに対応する複数の３チャネルＲＧＢ画像からの１又は２以上の３チャネルＲＧＢ画像を含む命令、複数のクラスに関連付けられる１又は２以上のミニバッチが、事前に定義された訓練エポックに対して順次完全に取り込まれるまで、一度に各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練する命令であって、マルチクラスセグメント化ネットワークは、符号器ネットワーク、１又は２以上の符号器アテンションモジュールセット、復号器ネットワーク、１又は２以上の復号器アテンションモジュールセット、マルチスケールアテンションネットワーク、及びロジットフォーメーションネットワークを含む命令であって、ここでは、各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によってマルチクラスセグメント化ネットワークを訓練するステップは、対応する３チャネルＲＧＢ画像を符号器ネットワークにパスすることによって、ミニバッチに存在する各３チャネルＲＧＢ画像の符号化特徴マップの第１セットを抽出するステップと、符号器ネットワークに接続された対応する符号器アテンションモジュールセットを介して各３チャネルＲＧＢ画像の符号化特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得するステップと、符号化特徴マップの対応する第１セットを復号器ネットワークにパスすることによって、ミニバッチに存在する各３チャネルＲＧＢ画像の復号特徴マップの第１セットを抽出するステップと、復号器ネットワークに接続された対応する復号器アテンションモジュールセットを介して各３チャネルＲＧＢ画像の復号特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得するステップと、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットをマルチスケールアテンションネットワークにパスして、各３チャネルＲＧＢ画像のスケール特徴マップのセットを取得するステップと、各３チャネルＲＧＢ画像のスケール特徴マップのセットと復号特徴マップの対応する第２セットをロジットフォーメーションネットワークにパスして、各３チャネルＲＧＢ画像の確率マップを取得するステップと、取得した各３チャネルＲＧＢ画像の確率マップと対応するシングルチャネルバイナリグラウンドトゥルース画像を用いて、ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像に対して、マルチクラスセグメント化ネットワークの損失関数の値を計算するステップと、マルチクラスセグメント化ネットワークの損失関数の計算した値に基づいて、マルチクラスセグメント化ネットワークの加重を更新するステップとを含む命令、異常が検出される製品の入力３チャネルＲＧＢ画像を受信する命令、入力３チャネルＲＧＢ画像を訓練されたマルチクラスセグメント化ネットワークにパスして、入力確率マップを取得する命令、入力確率マップに基づいて、製品における異常の存在を検出する命令によって構成される。

【0009】

更に別の態様において、１又は２以上のハードウェアプロセッサによって実行された時に、複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像、及び複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像を受信するステップであって、ここで複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成されるステップと、事前に定義されたミニバッチサイズに基づいて、各クラスに対応する複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成するステップであって、ここで各ミニバッチは、各クラスに対応する複数の３チャネルＲＧＢ画像からの１又は２以上の３チャネルＲＧＢ画像を含むステップと、複数のクラスに関連付けられる１又は２以上のミニバッチが、事前に定義された訓練エポックに対して順次完全に取り込まれるまで、一度に各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練するステップであって、ここでマルチクラスセグメント化ネットワークは、符号器ネットワーク、１又は２以上の符号器アテンションモジュールセット、復号器ネットワーク、１又は２以上の復号器アテンションモジュールセット、マルチスケールアテンションネットワーク、及びロジットフォーメーションネットワークを含むステップを起こす１又は２以上の命令を含む１又は２以上の非一時的機械可読情報ストレージ媒体が存在し、更に各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によってマルチクラスセグメント化ネットワークを訓練するステップは、対応する３チャネルＲＧＢ画像を符号器ネットワークにパスすることによって、ミニバッチに存在する各３チャネルＲＧＢ画像の符号化特徴マップの第１セットを抽出するステップと、符号器ネットワークに接続された対応する符号器アテンションモジュールセットを介して各３チャネルＲＧＢ画像の符号化特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得するステップと、符号化特徴マップの対応する第１セットを復号器ネットワークにパスすることによって、ミニバッチに存在する各３チャネルＲＧＢ画像の復号特徴マップの第１セットを抽出するステップと、復号器ネットワークに接続された対応する復号器アテンションモジュールセットを介して各３チャネルＲＧＢ画像の復号特徴マップの第１セットをパスして、各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得するステップと、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットをマルチスケールアテンションネットワークにパスして、各３チャネルＲＧＢ画像のスケール特徴マップのセットを取得するステップと、各３チャネルＲＧＢ画像のスケール特徴マップのセット及び復号特徴マップの対応する第２セットをロジットフォーメーションネットワークにパスして、各３チャネルＲＧＢ画像の確率マップを取得するステップと、各３チャネルＲＧＢ画像の取得した確率マップと対応するシングルチャネルバイナリグラウンドトゥルース画像を用いて、ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像に対して、マルチクラスセグメント化ネットワークの損失関数の値を計算するステップと、マルチクラスセグメント化ネットワークの損失関数の計算された値に基づいて、マルチクラスセグメント化ネットワークの加重を更新するステップと、異常が検出される製品の入力３チャネルＲＧＢ画像を受信するステップと、入力３チャネルＲＧＢ画像を訓練されたマルチクラスセグメント化ネットワークにパスして、入力確率マップを取得するステップと、入力確率マップに基づいて、製品における異常の存在を検出するステップとを含む。

【0010】

１つの実施形態において、符号器ネットワークは、複数の符号器ブロックを含み、復号器ネットワークは、複数の復号器ブロックを含み、１又は２以上の符号器アテンションモジュールセットは、符号器ネットワークに接続され、各符号器アテンションモジュールセットは、複数のクラスの各クラス専用にされた複数の符号器アテンションモジュールを含み、１又は２以上の復号器アテンションモジュールセットは、復号器ネットワークに接続され、各復号器アテンションモジュールセットは、複数のクラスの各クラス専用にされた複数の復号器アテンションモジュールを含む。

【0011】

１つの実施形態において、各符号器アテンションモジュールは、符号器アテンションレジデュアルユニット、符号器アテンション論理ゲートユニット、第１符号器アテンション畳み込み層、符号器アテンションソフトマックスアクティベーション層、及び第２符号器アテンション畳み込み層を含み、符号器アテンションレジデュアルユニットは、第１符号器アテンションレジデュアルユニットバッチ標準化層、第１符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１符号器アテンションレジデュアルユニット畳み込み層、第２符号器アテンションレジデュアルユニットバッチ標準化層、第２符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２符号器アテンションレジデュアルユニット畳み込み層、及び第３符号器アテンションレジデュアルユニット畳み込み層を含み、各復号器アテンションモジュールは、復号器アテンションレジデュアルユニット、復号器アテンション論理ゲートユニット、第１復号器アテンション畳み込み層、復号器アテンションソフトマックスアクティベーション層、及び第２復号器アテンション畳み込み層を含み、復号器アテンションレジデュアルユニットは、第１復号器アテンションレジデュアルユニットバッチ標準化層、第１復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１復号器アテンションレジデュアルユニット畳み込み層、第２復号器アテンションレジデュアルユニットバッチ標準化層、第２復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２復号器アテンションレジデュアルユニット畳み込み層、及び第３復号器アテンションレジデュアルユニット畳み込み層を含む。

【0012】

１つの実施形態において、（ｉ）符号器ネットワークに接続された１又は２以上の符号器アテンションモジュールセットと（ｉｉ）復号器ネットワークに接続された１又は２以上の復号器アテンションモジュールセットの各々の数は、複数のクラスの数に等しい。

【0013】

１つの実施形態において、各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の各々によってマルチクラスセグメント化ネットワークを訓練する間、（ｉ）対応する符号器アテンションモジュールセット、（ｉｉ）対応する復号器アテンションモジュールセット、（ｉｉｉ）マルチスケールアテンションネットワーク、（ｉｖ）ロジットフォーメーションネットワーク、（ｖ）符号器ネットワーク、及び（ｖｉ）復号器ネットワークは、バックプロパゲーションでアクティベートされる。

【0014】

１つの実施形態において、各３チャネルＲＧＢ画像のスケール特徴マップのセット及び復号特徴マップの対応する第２セットをロジットフォーメーションネットワークにパスして、各３チャネルＲＧＢ画像の確率マップを取得するステップは、ロジットフォーメーションネットワークに存在する畳み込み－逆畳み込み層のセットを介して各３チャネルＲＧＢ画像のスケール特徴マップのセットと復号特徴マップの対応する第２セットをマージして、各３チャネルＲＧＢ画像の集約特徴マップのセットを取得するステップと、ロジットフォーメーションネットワークに存在するロジット連結層を介して各３チャネルＲＧＢ画像の集約特徴マップのセットを連結して、各３チャネルＲＧＢ画像の連結特徴マップを取得するステップと、ロジットフォーメーションネットワークに存在する畳み込み層及びソフトマックスアクティベーション関数を介して、各３チャネルＲＧＢ画像の連結特徴マップをパスして、各３チャネルＲＧＢ画像の確率マップを取得するステップとを含む。

【0015】

上述の概要説明と以下の詳細な説明の両方は、例示的且つ解説のみであり更に請求される本発明を制限するものでないことを理解されたい。

【0016】

本開示に組み入れられ且つ本開示の一部を構成する添付の図面は、例示的実施形態を示し、説明と共に、開示する原理を解説する役割を果たす。

【図面の簡単な説明】

【0017】

【図1】本開示の一部の実施形態による、製品における異常を検出するシステムを示す例示的ブロック図である。

【図2A】本開示の一部の実施形態による、製品における異常を検出するプロセッサ実装方法を示す例示的流れ図である。

【図2B】本開示の一部の実施形態による、製品における異常を検出するプロセッサ実装方法を示す例示的流れ図である。

【図2C】本開示の一部の実施形態による、製品における異常を検出するプロセッサ実装方法を示す例示的流れ図である。

【図3】本開示の一部の実施形態による、マルチクラスセグメント化ネットワークを示すハイレベルブロック図である。

【図4A】本開示の一部の実施形態による、マルチクラスセグメント化ネットワークを示す例示的アーキテクチャ図である。

【図4B】本開示の一部の実施形態による、マルチクラスセグメント化ネットワークを示す例示的アーキテクチャ図である。

【図5】本開示の一部の実施形態による、アテンションモジュールを示す例示的アーキテクチャ図である。

【発明を実施するための形態】

【0018】

例示的実施形態を添付の図面に関して記述する。図では、参照数字の最左桁が、参照数字が最初に現れる図を識別する。好都合であれば、同じ参照数字が、同じ又は同様の部分を示すために図面全体を通して用いられる。開示する原理の例及び特徴を本明細書に記述するが、修正、適応、及び他の実施が、開示する実施形態の範囲から逸脱することなく可能である。

【0019】

製造部門において、製品又は項目の生産ロットにおける様々な種類の欠陥の検出を必要とする多くの用途が存在する。欠陥は、多くが工場又は機械の異常によって、時には機械部品における障害、及び、手動又は自動に関わらず機械に加えられた間違った制御のせいで起こる。欠陥はまた、項目ごとに異なる。例えば、組み立てにおける良好でないプリント品質は、テキスチャ欠陥の１つの形態であり、電気構成要素からのリードの喪失は、構造的欠陥である。製造される項目の欠陥は時折現れる。製造品質保証は、供給者の重要な責任であり、様々な生産ロットにおける欠陥の検出に対応する。欠陥のタイムリーな検出は、タイムリーな方式で機械の問題個所を修理するのに役立つだけでなく、正常な生産ロットを欠陥のあるロットと分けるのを助け、別の方法で欠陥のあるロットに対応する。

【0020】

欠陥の検出は様々な方法で行うことができる。最も普及しており且つ費用対効果の高い方法は視覚ベースの欠陥検出である。視覚ベースの欠陥検出は、異常検出の広範な範囲に入り、また顕微鏡画像における癌細胞のコロニー、様々なシーンにおける文脈を離れた対象、例えば水面上のバスの検出にも対応する。ここ数十年における視覚ベースの異常検出の優勢な考え方は、正常なパターン（「正常」クラス）だけをモデル化しなければならず、且つ正常パターンから外れるあらゆるパターン／非パターンが、異常、又は画像の変則領域として見なされるということであった。このような考え方は、欠陥の全ての種類を単一のカテゴリ（「異常」）にまとめるだけでなく、優良の検出性能を提供しなければならない差別モデルの学習における欠陥クラスの何れの特定のパターンも活用することができない。特に製造のシナリオでは、様々な種類の欠陥がある程度の雑音の多い視覚パターンを有することがよく知られている。

【0021】

マルチクラス異常検出を解決するニューラルネットワークに基づく従来の方法は、主に視覚化目的のためであり要求される性能メトリクスを最適化するためではなく、出力層のクラス固有のアテンションを組み入れる。本開示は、欠陥の高クラス内変動の場合でも、堅牢な精度によって様々な種類の欠陥を区別し且つこれを位置付けるためのエンリッチ且つスケールされた特徴を取得するために、マルチクラスセグメント化ネットワークの符号器ネットワーク及び復号器ネットワークの両方でクラス固有のアテンションモジュールを用いることによって、マルチクラス異常検出に対する当技術における技術的問題を解決する。

【0022】

ここで図面、詳細には図１から図５を参照すると、好ましい実施形態が示され、以下の例示的システム及び／又は方法の文脈でこれらの実施形態を説明しており、ここでは類似の参照文字は、図全体を通して一貫して対応する特徴を示している。

【0023】

図１は、本開示の一部の実施形態による、製品における異常検出のシステム１００の例示的ブロック図である。１つの実施形態において、システム１００は、１又は２以上のハードウェアプロセッサ１０４、通信インタフェースデバイス又は入力／出力（Ｉ／Ｏ）インタフェース１０６、及び１又は２以上のハードウェアプロセッサ１０４に動作可能に結合された１又は２以上のデータストレージデバイス又はメモリ１０２を含むか又はそうでなければ通信する。１又は２以上のハードウェアプロセッサ１０４、メモリ１０２、及びＩ／Ｏインタフェース１０６は、システムバス１０８又は類似の装置に結合することができる。

【0024】

Ｉ／Ｏインタフェース１０６は、多種多様なソフトウェア及びハードウェアインタフェース、例えば、ウェブインタフェース、グラフィカルユーザインタフェースなどを含むことができる。Ｉ／Ｏインタフェース１０６は、多種多様なソフトウェア及びハードウェアインタフェース、例えば、キーボード、マウス、外部メモリ、複数のセンサデバイス、プリンタなどの周辺デバイスのインタフェースを含むことができる。更に、Ｉ／Ｏインタフェース１０６は、ウェブサーバ及び外部データベースなどの他のデバイスとシステム１００が通信できるようにする。

【0025】

Ｉ／Ｏインタフェース１０６は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ケーブルなどの有線ネットワーク、及び、無線ＬＡＮ（ＷＬＡＮ）、セルラー、又は衛星などの無線ネットワークを含む多種多様なネットワーク及びプロトコルタイプ内の複数通信を容易にすることができる。この目的で、Ｉ／Ｏインタフェース１０６は、幾つかのコンピュータシステムを互いに又は別のサーバコンピュータに接続するための１又は２以上のポートを含むことができる。更に、Ｉ／Ｏインタフェース１０６は、幾つかのデバイスを互いに又は別のサーバに接続するための１又は２以上のポートを含むことができる。

【0026】

１又は２以上のハードウェアプロセッサ１０４は、１又は２以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態機械、論理回路、及び／又は作動命令に基づいて信号をマニプレートする何れのデバイスとしても実施することができる。他の機能の中でも、１又は２以上のハードウェアプロセッサ１０４は、メモリ１０２に格納されたコンピュータ可読命令をフェッチ及び実行するよう構成される。本開示の文脈では、「プロセッサ」と「ハードウェアプロセッサ」という表現が同義的に用いられる。１つの実施形態において、システム１００は、ラップトップコンピュータ、携帯式コンピュータ、ノートブック、手持ち式デバイス、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなどの多種多様なコンピュータシステムで実施することができる。

【0027】

メモリ１０２は、例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）及び動的ランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、及び／又は、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光学ディスク、及び磁気テープなどの不揮発性メモリを含む、当技術で公知の何れかのコンピュータ可読媒体を含むことができる。１つの実施形態において、メモリ１０２は、複数のモジュール１０２ａと、複数のモジュール１０２ａの１又は２以上によって処理、受信、及び生成されたデータを格納するリポジトリ１０２ｂを含む。複数のモジュール１０２ａは、特定のタスクを実行するか又は特定のアブストラクトデータタイプを実施するルーチン、プログラム、オブジェクト、構成要素、データ構造などを含むことができる。

【0028】

複数のモジュール１０２ａは、システム１００によって実行されるアプリケーション又は機能を補足するプログラム又はコンピュータ可読命令又はコード化命令を含むことができる。複数のモジュール１０２ａはまた、作動命令に基づいて信号をマニピュレートする信号プロセッサ、状態機械、論理回路、及び／又は何れかの他のデバイス又は構成要素として用いることもできる。更に、複数のモジュール１０２ａは、ハードウェアによって、１又は２以上のハードウェアプロセッサ１０４によって実行されるコンピュータ可読命令によって、又はこれらの組合せによって用いることができる。１つの実施形態において、複数のモジュール１０２ａは、様々なサブモジュール（図１に図示せず）を含むことができる。更に、メモリ１０２は、システム１００のプロセッサ１０４によって実行される各ステップの入力／出力に関する情報及び本開示の方法を含むことができる。

【0029】

リポジトリ１０２ｂは、データベース又はデータエンジンを含むことができる。更に、リポジトリ１０２ｂは、とりわけ、データベースとして働くことができるか、又は、複数のモジュール１０２ａの実行の結果として処理、受信、又は生成されたデータを格納するための複数のデータベースを含む。リポジトリ１０２ｂはシステム１００の内部にあるよう図示されているが、代替の実施形態では、リポジトリ１０２ｂはまた、システム１００の外側で実施でき、リポジトリ１０２ｂをシステム１００に通信可能に結合された外部のデータベース（図１に図示せず）内に格納できることが注目されるであろう。このような外部データベース内に包含されたデータは定期的に更新することができる。例えば、データを外部データベースに追加することができる及び／又は既存のデータを修正することができる及び／又は有用でないデータを外部データベースから削除することができる。１つの実施例では、データを、軽量ディレクトリアクセスプロトコル（ＬＤＡＰ）ディレクトリ及び関係データベース管理システム（ＲＤＢＭＳ）などの外部システムに格納することができる。別の実施形態において、リポジトリ１０２ｂに格納されたデータは、システム１００と外部データベースの間で分配することができる。

【0030】

図２Ａから図２Ｃに関して、システム１００の構成要素及び機能を、本開示の例示的実施形態に従って説明する。例えば、図２Ａから図２Ｃは、本開示の一部の実施形態による、製品における異常検出のためのプロセッサ実装方法２００の例示的流れ図を示している。処理ステップ、方法ステップ、技術などを含む方法２００のステップを連続する順序で記述することができるが、このような処理、方法及び技術は、代わりの順序で作用するよう構成することができる。換言すると、記述され得るステップの何れのシーケンス又は順序も、必ずしもこの順序でステップが実行される要件を指示するものではない。本明細書に記述する処理のステップは、何れの実際の順序でも実行することができる。更に、一部のステップは、同時に実行することができるか、又は一部のステップを単独で又は独立させて実行することができる。

【0031】

方法２００のステップ２０２で、システム１００の１又は２以上のハードウェアプロセッサ１０４は、複数のクラスの各クラスに対応する複数の３チャネルＲＧＢ画像を受信するよう構成される。複数のクラスは、１又は２以上の異常クラスと１つの正常クラスとから構成される。１又は２以上の異常クラスは、欠陥クラスである。各異常クラス又は欠陥クラスは、製品に関連付けられる欠陥の１つのタイプに対応する。例えば、異常クラス又は欠陥クラスは、ひび（ひびの異なるレベルを含む）、へこみ（へこみの様々な量を含む）などに対応する。異常のない又は欠陥のないクラスに対応する正常クラスは、換言すると完全な状態又は品質である。また、システム１００の１又は２以上のハードウェアプロセッサ１０４は、各クラスに対応する複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像を受信するよう構成される。

【0032】

１つの実施形態において、各クラスに対応する複数の３チャネルＲＧＢ画像の数は、同じ又は異なるものにでき、すなわち、１つのクラスに対応する複数の３チャネルＲＧＢ画像の数は、何れかの他のクラスに対応する複数の３チャネルＲＧＢ画像の数に同じである必要はない。１つの実施形態において、各クラスに対応する複数の３チャネルＲＧＢ画像及び複数の３チャネルＲＧＢ画像の各３チャネルＲＧＢ画像に対応するシングルチャネルバイナリグラウンドトゥルース画像は、システム１００のリポジトリ１０２ｂに格納することができる。１つの実施形態において、各３チャネルＲＧＢ画像のサイズは、２５６Ｘ２５６画素である。１つの実施形態において、各シングルチャネルバイナリグラウンドトゥルース画像のサイズは２５６Ｘ２５６画素である。画像の実際のサイズが２５６Ｘ２５６画素より大きい場合、次に２５６Ｘ２５６画素を有する関心の画像部分のパッチ画像又はクロップ画像が作成される。

【0033】

方法２００のステップ２０４で、システム１００の１又は２以上のハードウェアプロセッサ１０４は、事前に定義されたミニバッチサイズに基づいて、各クラスに対応する複数の３チャネルＲＧＢ画像から１又は２以上のミニバッチを形成するよう構成される。各ミニバッチは、各クラスに対応する複数の３チャネルＲＧＢ画像からの１又は２以上の３チャネルＲＧＢ画像を含む。事前に定義されるミニバッチサイズは、複数のクラスに渡って同一である。

【0034】

各クラスに対応する複数の３チャネルＲＧＢ画像の数が同じか又は異なる可能性があるので、各クラスに対して形成される１又は２以上のミニバッチの数も異なるか又は同じである可能性がある。最後のミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の数が、利用可能な残りのサンプルの数に基づいて、事前に定義されたミニバッチサイズに等しくできるか、又は等しくなくてもよいことは暗黙的である。１つの実施形態において事前に定義されるミニバッチサイズは、システム１００に存在するハードウェア、グラフィック処理ユニット（ＧＰＵ）機能、及びメモリなどのリソース利用可能度に基づいて定義される。

【0035】

例えば、本方法のステップ２０２で受信された複数の３チャネルＲＧＢ画像がｎクラスに対応する場合、次にｎクラスは、１つの正常クラスと（ｎ－１）の欠陥又は異常クラスを含む。例えば、事前に定義されるミニバッチサイズがＢになる場合、次に３チャネルＲＧＢ画像のＢ数が各クラスに対応する各ミニバッチに存在する。次に、ｉ番目のクラスに対して、各々がサイズＢの３チャネルＲＧＢ画像のｍ_iミニバッチが形成される。

【0036】

方法２００のステップ２０６で、システム１００の１又は２以上のハードウェアプロセッサ１０４は、一度に各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によって、マルチクラスセグメント化ネットワークを訓練するよう構成される。方法２００のステップ２０２で受信された各クラスの複数の３チャネルＲＧＢ画像及び対応するシングルチャネルバイナリグラウンドトゥルース画像が、マルチクラスセグメント化ネットワークを訓練するための訓練データセットを形成する。次に訓練データセットは、方法２００のステップ２０４で言及した通りに、各クラスに対応するミニバッチの数に分割される。

【0037】

次に各クラスに対応する１又は２以上のミニバッチは、訓練のためのマルチクラスセグメント化ネットワークに順次取り込まれる。詳細には、１つのクラスに対応するミニバッチが完成した状態で、複数のクラス全てに対応するミニバッチが完成するまで、次に何れかの他のクラスに対応するミニバッチが取り込まれる等々。複数のクラス全てに対応するミニバッチが完成した状態で、次にこれが１つの訓練エポックと呼ばれ、更に事前に定義された訓練エポックが満足されるまでマルチクラスセグメント化ネットワークの訓練が実行される。１つの実施形態において、事前に定義された訓練エポックは２００である。

【0038】

事前に定義されるミニバッチサイズは、訓練エポック全てに渡って同一であるが、１つの訓練エポックにおける特定のクラスの１又は２以上のミニバッチ（３チャネルＲＧＢ画像を備えた）は、別の訓練エポックにおける同じクラスの１又は２以上のバッチと同じである必要はなく、且つ１つの訓練エポックにつきランダムに選ばれる。また、クラスのシーケンス（３チャネルＲＧＢ画像のミニバッチを備えた）は、各訓練エポックにおいて同じである必要はなく且つランダムに選ばれる。

【0039】

図３は、本開示の一部の実施形態による、マルチクラスセグメント化ネットワーク３００のハイレベルブロック図を示す。図３に示すように、マルチクラスセグメント化ネットワーク３００は、符号器ネットワーク３０２、１又は２以上の符号器アテンションモジュールセット３０４、復号器ネットワーク３０６、１又は２以上の復号器アテンションモジュールセット３０８、マルチスケールアテンションネットワーク３１０、及びロジットフォーメーションネットワーク３１２を含む。

【0040】

図４Ａ及び４Ｂは、本開示の一部の実施形態による、マルチクラスセグメント化ネットワークの例示的アーキテクチャ図を示す。符号器ネットワーク３０２は、複数の符号器ブロックを含む。復号器ネットワーク３０６は、複数の復号器ブロックを含む。図４Ａ及び４Ｂに示すように、符号器ネットワーク３０２は、５つの符号器ブロック又はステージ、すなわち第１符号器ブロック（符号器ブロック１）、第２符号器ブロック（符号器ブロック２）、第３符号器ブロック（符号器ブロック３）、第４符号器ブロック（符号器ブロック４）、及び第５符号器ブロック（符号器ブロック５）を含む。第１符号器ブロック（符号器ブロック１）は、第１畳み込み層（Ｃｏｎｖ１_(4,64)）及び第２畳み込み層（Ｃｏｎｖ２_(64,64)）を含む。第２符号器ブロック（符号器ブロック２）は、第３畳み込み層（Ｃｏｎｖ３_(64,128）及び第４畳み込み層（Ｃｏｎｖ４_(128,128)）を含む。

【0041】

第３符号器ブロック（符号器ブロック３）は、第５畳み込み層（Ｃｏｎｖ５_(128,256)）、第６畳み込み層（Ｃｏｎｖ６_(256,256)）、及び第７畳み込み層（Ｃｏｎｖ７_(256,256)）を含む。第４符号器ブロック（符号器ブロック４）は、第８畳み込み層（Ｃｏｎｖ（_256,512)）、第９畳み込み層（Ｃｏｎｖ９_(512,512)）、及び第１０畳み込み層（Ｃｏｎｖ１０_(512,512)）を含む。第５符号器ブロック（符号器ブロック５）は、第１１畳み込み層（Ｃｏｎ１１_(512,512)）、第１２畳み込み層（Ｃｏｎｖ１２_(512,512)）、及び第１３畳み込み層（Ｃｏｎｖ１３_(512,512)）を含む。

【0042】

従って、符号器ネットワーク３０２は、図４Ａ及び４Ｂに示すように、連続して配置された１３の畳み込み層を持つ５つの符号器ブロックを含む。各符号器ブロックの後で、特徴マップのサイズをこのサイズの２分の１にダウンサンプルするために最大値プーリング層が用いられる。これらの特徴は、クラス固有のパターンに対して予測通りに更に処理される。

【0043】

１又は２以上の符号器アテンションモジュールセット３０４は、複数の符号器ブロックを介して符号器ネットワーク３０２に接続される。各符号器アテンションモジュールセットは、複数のクラスの各クラス専用にされ、従ってこれらは、クラス固有のアテンションモジュールと呼ばれる。各符号器アテンションモジュールセットは、複数の符号器アテンションモジュールを含み、各符号器アテンションモジュールセットに存在する複数の符号器アテンションモジュールの数は、複数のクラスの数に等しい。また、各符号器アテンションモジュールセットが各クラス専用にされるので、１又は２以上の符号器アテンションモジュールセットの数は、複数のクラスの数に等しい。例えば、ｎのクラスがある場合、次に１又は２以上の符号器アテンションモジュールセットの数はｎに等しい。

【0044】

図４Ａ及び４Ｂに示すように、１又は２以上の符号器アテンションモジュールセット３０４は、（｛Ａｔｔｅｎ１－１，Ａｔｔｅｎ２－１，Ａｔｔｅｎ３－１，Ａｔｔｅｎ４－１，Ａｔｔｅｎ５－１，Ａｔｔｅｎ６－１｝，｛Ａｔｔｅｎ１－２，Ａｔｔｅｎ２－２，Ａｔｔｅｎ３－２，Ａｔｔｅｎ４－２，Ａｔｔｅｎ５－２，Ａｔｔｅｎ６―２｝，｛Ａｔｔｅｎ１－３，Ａｔｔｅｎ２－３，Ａｔｔｅｎ３－３，Ａｔｔｅｎ４－３，Ａｔｔｅｎ５－３，Ａｔｔｅｎ６―３｝，｛Ａｔｔｅｎ１－４，Ａｔｔｅｎ２－４，Ａｔｔｅｎ３－４，Ａｔｔｅｎ４－４，Ａｔｔｅｎ５－４，Ａｔｔｅｎ６―４｝，｛Ａｔｔｅｎ１－５，Ａｔｔｅｎ２－５，Ａｔｔｅｎ３－５，Ａｔｔｅｎ４－５，Ａｔｔｅｎ５－５，Ａｔｔｅｎ６－５｝，．．．，｛Ａｔｔｅｎ１－ｎ，Ａｔｔｅｎ２－ｎ，Ａｔｔｅｎ３－ｎ，Ａｔｔｅｎ４－ｎ，Ａｔｔｅｎ５－ｎ，Ａｔｔｅｎ６－ｎ｝）である。１つの実施形態において、符号器アテンションモジュールセット｛Ａｔｔｅｎ１－１，Ａｔｔｅｎ２－１，Ａｔｔｅｎ３－１，Ａｔｔｅｎ４－１，Ａｔｔｅｎ５－１，Ａｔｔｅｎ６－１｝は、第１クラスに関連付けられ、符号器アテンションモジュールセット｛Ａｔｔｅｎ１－２，Ａｔｔｅｎ２－２，Ａｔｔｅｎ３－２，Ａｔｔｅｎ４－２，Ａｔｔｅｎ５－２，Ａｔｔｅｎ６－２｝は、第２クラスに関連付けられ、最後の符号器アテンションモジュールセット｛Ａｔｔｅｎ１－ｎ，Ａｔｔｅｎ２－ｎ，Ａｔｔｅｎ３－ｎ，Ａｔｔｅｎ４－ｎ，Ａｔｔｅｎ５－ｎ，Ａｔｔｅｎ６－ｎ｝は、ｎ番目のクラスに関連付けられる。１又は２以上の符号器アテンションモジュールセットの中からの１つの符号器アテンションモジュールセットは、複数のクラスの正常クラス専用にされる。

【0045】

同様に、図４Ａ及び４Ｂに示すように、復号器ネットワーク３０６は、５つの復号器ブロック又はステージ、すなわち第１復号器ブロック（復号器ブロック１）、第２復号器ブロック（復号器ブロック２）、第３復号器ブロック（復号器ブロック３）、第４復号器ブロック（復号器ブロック４）、及び第５復号器ブロック（復号器ブロック５）を含む。第１復号器ブロック（復号器ブロック１）は、第１４畳み込み層（Ｃｏｎｖ１４_(512,512)）、第１５畳み込み層（Ｃｏｎｖ１５_(512,512)）、及び第１６畳み込み層（Ｃｏｎｖ１６_(512,512)）を含む。第２復号器ブロック（復号器ブロック２）は、第１７畳み込み層（Ｃｏｎｖ１７_(512,512)）、第１８畳み込み層（Ｃｏｎｖ１８_(512,512)）、及び第１９畳み込み層（Ｃｏｎｖ１９_(512,256)）を含む。

【0046】

第３復号器ブロック（復号器ブロック３）は、第２０畳み込み層（Ｃｏｎｖ２０_(256,256)）、第２１畳み込み層（Ｃｏｎｖ２１_(256,256)）、及び第２２畳み込み層（Ｃｏｎｖ２２_(256,128)）を含む。第４復号器ブロック（復号器ブロック４）は、第２３畳み込み層（Ｃｏｎｖ２３_(128,128)）及び第２４畳み込み層（Ｃｏｎｖ２４_(128,64)）を含む。第５復号器ブロック（復号器ブロック５）は、第２５畳み込み層（Ｃｏｎｖ２５_(64,64)）及び第２６畳み込み層（Ｃｏｎｖ２６_(64,64)）を含む。アップサンプリング層は、各復号器ブロックの前に存在する。

【0047】

何れのセグメント化サブネットワークとも同様に、復号器は、符号器の反対の機能であり、符号化された特徴マップの符号化情報をディスエンタングルな特徴にアンパックすることを目指す。従って、復号器ネットワーク３０６は、図４Ａ及び４Ｂに示すように、連続して配置された１３の畳み込み層を備えた５つの復号器ブロックを含む。各復号器ブロックの前で、特徴マップのサイズをアップサンプルするためのアップサンプリング層が用いられる。符号器ネットワーク３０２と復号器ネットワーク３０６の両方が５つのブロックを有し、更に各ブロックが異なるサイズの特徴マップを表すので、直感的に符号器ネットワーク３０２及び復号器ネットワークはまた、共通特徴マップのスケールスペース表現を表す。

【0048】

同様に、１又は２以上の復号器アテンションモジュールセット３０８は、複数の復号器ブロックを介して復号器ネットワーク３０６に接続される。各復号器アテンションモジュールセットは、複数のクラスの各クラス専用にされ、更に従ってこれらは、クラス固有のアテンションモジュールと呼ばれる。各復号器アテンションモジュールセットは、複数の復号器アテンションモジュールを含み、各復号器アテンションモジュールセットに存在する複数の復号器アテンションモジュールの数は、複数のクラスの数に等しい。また、各復号器アテンションモジュールセットが各クラス専用にされるので、１又は２以上の復号器アテンションモジュールセットの数は、複数のクラスの数に等しい。例えば、ｎクラスが存在する場合、次に１又は２以上の復号器アテンションモジュールセットの数はｎに等しい。

【0049】

図４Ａ及び４Ｂに示すように、１又は２以上の復号器アテンションモジュールセットは、（｛Ａｔｔｅｎ７－１，Ａｔｔｅｎ８－１，Ａｔｔｅｎ９－１，Ａｔｔｅｎ１０－１，Ａｔｔｅｎ１１－１｝，｛Ａｔｔｅｎ７－２，Ａｔｔｅｎ８－２，Ａｔｔｅｎ９－２，Ａｔｔｅｎ１０－２，Ａｔｔｅｎ１１－２｝，｛Ａｔｔｅｎ７－３，Ａｔｔｅｎ８－３，Ａｔｔｅｎ９－３，Ａｔｔｅｎ１０－３，Ａｔｔｅｎ１１－３｝，｛Ａｔｔｅｎ７－４，Ａｔｔｅｎ８－４，Ａｔｔｅｎ９－４，Ａｔｔｅｎ１０－４，Ａｔｔｅｎ１１－４｝，｛Ａｔｔｅｎ７－５，Ａｔｔｅｎ８－５，Ａｔｔｅｎ９－５，Ａｔｔｅｎ１０－５，Ａｔｔｅｎ１１－５｝，．．．，｛Ａｔｔｅｎ７－ｎ，Ａｔｔｅｎ８－ｎ，Ａｔｔｅｎ９－ｎ，Ａｔｔｅｎ１０－ｎ，Ａｔｔｅｎ１１－ｎ｝）である。１つの実施形態において、復号器アテンションモジュールセット｛Ａｔｔｅｎ７－１，Ａｔｔｅｎ８－１，Ａｔｔｅｎ９－１，Ａｔｔｅｎ１０－１，Ａｔｔｅｎ１１－１｝は、第１クラスに関連付けられ、復号器アテンションモジュールセット｛Ａｔｔｅｎ７－２，Ａｔｔｅｎ８－２，Ａｔｔｅｎ９－２，Ａｔｔｅｎ１０－２，Ａｔｔｅｎ１１－２｝は、第２クラスに関連付けられ、最後の復号器アテンションモジュールセット｛Ａｔｔｅｎ７－ｎ，Ａｔｔｅｎ８－ｎ，Ａｔｔｅｎ９－ｎ，Ａｔｔｅｎ１０－ｎ，Ａｔｔｅｎ１１－ｎ｝は、第ｎクラスに関連付けられる。１又は２以上の復号器アテンションモジュールセットの中からの１つの復号器アテンションモジュールセットは、複数のクラスの正常クラス専用にされる。従って５つの符号器ブロックと５つの復号器ブロックが、複数のクラスに対して共有される。

【0050】

マルチスケールアテンションネットワーク３１０は、第１マルチスケール連結層、第１マルチスケール最大値プーリング層、第２マルチスケール連結層、第２マルチスケール最大値プーリング層、第３マルチスケール連結層、第３マルチスケール最大値プーリング層を含む。マルチスケールアテンションネットワーク３１０は、１又は２以上の符号器アテンションモジュールセット３０４に接続される。詳細には、各符号器アテンションモジュールセットに存在するアテンションモジュールは、図４Ａ及び４Ｂに示されるように、第１マルチスケール連結層、第２マルチスケール連結層、及び第３マルチスケール連結層に接続される。

【0051】

ロジットフォーメーションネットワーク３１２は、第１逆畳み込み層（Ｄｃｏｎｖｌ_(1,1)）、第３８畳み込み層（Ｃｏｎｖ３８_(2,1)）、第２逆畳み込み層（Ｄｃｏｎｖ２_(1,1)）、第３９畳み込み層（Ｃｏｎｖ３９_(3,1)）、第３逆畳み込み層（Ｄｃｏｎｖ３_(1,1)）、第４０畳み込み層（Ｃｏｎｖ４０_(4,1)）、第４逆畳み込み層（Ｄｃｏｎｖ４_(1,1)）、第４１畳み込み層（Ｃｏｎｖ４１_(5,1)）、第５逆畳み込み層（Ｄｃｏｎｖ５_(1,1)）、第４２畳み込み層（Ｃｏｎｖ４２_(6,1)）、ロジット連結層、第４３畳み込み層（Ｃｏｎｖ４３_(5,1)）、及びソフトマックス層を含む。ソフトマックスアクティベーション関数は、ソフトマックス層に存在する。１又は２以上の復号器アテンションモジュールセット３０８の復号器アテンションモジュールは、図４Ａ及び４Ｂに示すようにロジットフォーメーションネットワーク３１２に存在する畳み込み層に接続される。また、マルチスケールアテンションネットワーク３１０に存在する連結層は、図４Ａ及び４Ｂに示すようにロジットフォーメーションネットワーク３１２に存在する畳み込み層に接続される。

【0052】

各符号器アテンションモジュールセットに存在する各符号器アテンションモジュール（例えば、Ａｔｔｅｎ１－１、Ａｔｔｅｎ２－１など）のアーキテクチャは、各復号器アテンションモジュールセットに存在する各復号器アテンションモジュール（例えば、Ａｔｔｅｎ７－１、Ａｔｔｅｎ７－２など）のアーキテクチャと全く同じであり、且つ従って単純にアテンションモジュールと呼ばれる。図５は、本開示の一部の実施形態による、アテンションモジュール５００の例示的アーキテクチャ図を示す。

【0053】

図５に示したアテンションモジュールのアーキテクチャに基づいて、各符号器アテンションモジュールは、符号器アテンションレジデュアルユニット、符号器アテンション論理ゲートユニット、第１符号器アテンション畳み込み層、符号器アテンションソフトマックスアクティベーション層、及び第２符号器アテンション畳み込み層を含む。符号器アテンションレジデュアルユニットは、第１符号器アテンションレジデュアルユニットバッチ標準化層、第１符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１符号器アテンションレジデュアルユニット畳み込み層、第２符号器アテンションレジデュアルユニットバッチ標準化層、第２符号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２符号器アテンションレジデュアルユニット畳み込み層、及び第３符号器アテンションレジデュアルユニット畳み込み層を含む。

【0054】

同様に、図５に示したアテンションモジュールのアーキテクチャに基づいて、各復号器アテンションモジュールは、復号器アテンションレジデュアルユニット、復号器アテンション論理ゲートユニット、第１復号器アテンション畳み込み層、復号器アテンションソフトマックスアクティベーション層、及び第２復号器アテンション畳み込み層を含む。復号器アテンションレジデュアルユニットは、第１復号器アテンションレジデュアルユニットバッチ標準化層、第１復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第１復号器アテンションレジデュアルユニット畳み込み層、第２復号器アテンションレジデュアルユニットバッチ標準化層、第２復号器アテンションレジデュアルユニットＲｅＬＵアクティベーション層、第２復号器アテンションレジデュアルユニット畳み込み層、及び第３復号器アテンションレジデュアルユニット畳み込み層を含む。

【0055】

ここで、各クラスに関連付けられる各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によるマルチクラスセグメント化ネットワーク３００の訓練は、ステップ２０６ａから２０６ｈを通して詳しく解説される。ステップ２０６ａで、各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の各々は、ミニバッチに存在する各３チャネルＲＧＢ画像の符号化特徴マップの第１セットを抽出するために符号器ネットワーク３０２にパスされる。１つの実施形態において、各ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の各々は、符号器ネットワーク３０２にパスされる前にテンソルに入れられる。詳細には、各３チャネルＲＧＢ画像は、符号器ネットワーク３０２に存在する５つの符号器ブロックにパスされる。符号化特徴マップは、各符号器ブロックから取得され従って５つの符号化特徴マップが各３チャネルＲＧＢ画像に対して取得される。取得された５つの符号化特徴マップは、３チャネルＲＧＢ画像に対応する符号化特徴マップの第１セットを形成する。

【0056】

ステップ２０６ｂで、ステップ２０６ａで取得された各３チャネルＲＧＢ画像の符号化特徴マップの第１セットは、符号器ネットワーク３０２に接続された（１又は２以上の符号器アテンションモジュールセット３０４の）対応する符号器アテンションモジュールセットを介してパスされ、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを取得する。符号器アテンションモジュールセットの各々がクラス固有のアテンションモジュールを含むので、３チャネルＲＧＢ画像のクラスに対応する符号器アテンションモジュールセット（例えば、｛Ａｔｔｅｎ１－１，Ａｔｔｅｎ２－１，Ａｔｔｅｎ３－１，Ａｔｔｅｎ４－１，Ａｔｔｅｎ５－１，Ａｔｔｅｎ６－１｝）だけがアクティベートされ、更に各符号器ブロックから取得された（符号化特徴マップの第１セットにある）符号化特徴マップが、対応する符号器アテンションモジュールセットに存在する対応する符号器アテンションモジュール（例えば、｛Ａｔｔｅｎ１－１，Ａｔｔｅｎ２－１，Ａｔｔｅｎ３－１，Ａｔｔｅｎ４－１，Ａｔｔｅｎ５－１，Ａｔｔｅｎ６－１｝）にパスされる。各符号器アテンションモジュールがアテンション加重を包含するので、加重符号化特徴マップが、符号化特徴マップの第１セットにある各符号化特徴マップに対して取得される。符号化特徴マップの第１セットは、クラス固有の自己アテンションを実施するために対応するアテンションモジュール（アテンション加重）にパスされる。従って、対応する符号器アテンションモジュールセット（例えば、｛Ａｔｔｅｎ１－１，Ａｔｔｅｎ２－１，Ａｔｔｅｎ３－１，Ａｔｔｅｎ４－１，Ａｔｔｅｎ５－１，Ａｔｔｅｎ６－１｝）に存在するアテンションモジュールから取得された加重符号化特徴マップは、各３チャネルＲＧＢ画像の符号化特徴マップの第２セットを形成する。

【0057】

従って、共通パターン部分を符号化する符号器ネットワーク３０２の様々なスケールの特徴マップは、更に各スケールのアテンションモジュールのセットを介してパスされる。各スケールのセットのサイズは、関心のクラスの数（欠陥クラスプラス正常クラスを表す１つの数）に等しい。アテンションモジュールのこれらのセットは、各スケールのクラス固有のパターンを学習及び符号化する。更に、各符号器アテンションモジュールセットのアテンション加重は、各クラスに対して符号化特徴マップのチャネルに渡って同じである。符号器ネットワークの共通特徴のこのアテンション駆動調整は、特徴スペースにおける欠陥領域の詳細を強調する。

【0058】

ステップ２０６ｃで、各３チャネルＲＧＢ画像の復号特徴マップの第１セットが、ステップ２０６ａで取得された符号化特徴マップの対応する第１セット（詳細には、図４Ａ及び４Ｂの符号化特徴マップ

）を復号器ネットワーク３０６にパスすることによって取得される。詳細には、符号化特徴マップの第１セットにおける各符号化特徴マップは、アップサンプリング層を介してアップサンプルされ更に復号器ネットワーク２０６に存在する５つの復号器ブロックにパスされる。復号特徴マップは、各復号器ブロックから取得され更に従って５つの復号特徴マップが取得される。取得された５つの復号特徴マップは、３チャネルＲＧＢ画像に対応する復号特徴マップの第１セットを形成する。

【0059】

ステップ２０６ｄで、ステップ２０６ｃで取得された各３チャネルＲＧＢ画像の復号特徴マップの第１セットは、復号器ネットワーク３０６に接続された（１又は２以上の復号器アテンションモジュールセット３０８の）対応する復号器アテンションモジュールセットを介してパスされ、各３チャネルＲＧＢ画像の復号特徴マップの第２セットを取得する。復号器アテンションモジュールセットの各々がクラス固有のアテンションモジュールを含むので、３チャネルＲＧＢ画像のクラスに対応する復号器アテンションモジュールセット（例えば、｛Ａｔｔｅｎ７－１，Ａｔｔｅｎ８－１，Ａｔｔｅｎ９－１，Ａｔｔｅｎ１０－１，Ａｔｔｅｎ１１－１｝）だけがアクティベートされ更に復号特徴マップ（復号特徴マップの第１セット内）が、対応する復号器アテンションモジュールセットに存在する対応する復号器アテンションモジュール（例えば、｛Ａｔｔｅｎ７－１，Ａｔｔｅｎ８－１，Ａｔｔｅｎ９－１，Ａｔｔｅｎ１０－１，Ａｔｔｅｎ１１－１｝）にパスされる。各復号器アテンションモジュールがアテンション加重を包含するので、加重復号特徴マップが、復号特徴マップの第１セットにある各復号特徴マップに対して取得される。復号特徴マップの第１セットは、クラス固有の自己アテンションを実施するために対応するアテンションモジュール（アテンション加重）にパスされる。従って、対応する復号器アテンションモジュールセットに存在するアテンションモジュール（例えば、｛Ａｔｔｅｎ７－１，Ａｔｔｅｎ８－１，Ａｔｔｅｎ９－１，Ａｔｔｅｎ１０－１，Ａｔｔｅｎ１１－１｝）から取得された加重復号特徴マップは、各３チャネルＲＧＢ画像の復号特徴マップの第２セットを形成する。更に、各復号器アテンションモジュールセットのアテンション加重は、各クラスに対する復号特徴マップのチャネルに渡って同じである。

【0060】

ステップ２０６ｅで、ステップ２０６ｂで取得された各３チャネルＲＧＢ画像の符号化特徴マップの第２セットが、各３チャネルＲＧＢ画像のスケール特徴マップのセット（図４Ａ及び４Ｂの

）を取得するためにマルチスケールアテンションネットワーク３１０にパスされる。スケール特徴マップのセット（図４Ａ及び４Ｂの

）は、対応する３チャネルＲＧＢ画像の調整済み特徴マップである。特徴マップ

は、マルチスケールアテンションネットワーク３１０にパスされることなく、符号器ネットワーク３０２における上位層である第１符号器ブロックから直接取得される。

【0061】

マルチスケールアテンションネットワーク３１０は、様々な符号器ネットワークスケールのアテンションモジュールの異なるクラス固有の出力に作動する単一サブネットである。このマルスケールアテンションネットワーク３１０は、スケールスペースの前のレベルまで、クラス全体のマルチスケール欠陥表現を集約し且つ符号化する。この集約は、（対応する領域の）様々なサイズの欠陥から意味のある特徴を強調することができる。詳細には、早期のステージから入力されたクラス固有の特徴マップは、これら自体の中で、並びに、チャネル寸法に沿って、低いステージからのクラス固有の特徴マップの全てと連結され、更に更なるステージへ順方向にパスされる。マルチスケールアテンションネットワーク３１０の最大値プーリング層の使用は、低ステージの特徴マップのサイズに等価である空間サイズをもたらすために連結マップをダウンサンプルするためである。

【0062】

ステップ２０６ｆで、ステップ２０６ｅで取得された各３チャネルＲＧＢ画像のスケール特徴マップのセット（図４Ａ及び４Ｂの

）と、ステップ２０６ｄで取得された復号特徴マップの対応する第２セットが、ロジットフォーメーションネットワーク３１２を介してパスされ、各３チャネルＲＧＢ画像の確率マップを取得する。

【0063】

最初に各３チャネルＲＧＢ画像のスケール特徴マップのセットと復号特徴マップの対応する第２セットが、ロジットフォーメーションネットワーク３１０に存在する、畳み込み－逆畳み込み層（第１逆畳み込み層（Ｄｃｏｎｖ１_(1,1)）、第３８畳み込み層（Ｃｏｎｖ３８_(2,1)）、第２逆畳み込み層（Ｄｃｏｎｖ２_(1,1)）、第３９畳み込み層（Ｃｏｎｖ３９_(3,1)）、第３逆畳み込み層（Ｄｃｏｎｖ３_(1,1)）、第４０畳み込み層（Ｃｏｎｖ４０_(4,1)）、第４逆畳み込み層（Ｄｃｏｎｖ４_(1,1)）、第４１畳み込み層（Ｃｏｎｖ４１_(5,1)）、第５逆畳み込み層（Ｄｃｏｎｖ５_(1,1)）、第４２畳み込み層（図４Ａ及び４ＢのＣｏｎｖ４２_(6,1)）のセットを介してマージされ、各３チャネルＲＧＢ画像の集約特徴マップのセット（図４Ａ及び４Ｂの

）を取得する。詳細には、スケール特徴マップのセット（図４Ａ及び４Ｂの

）及び復号特徴マップの対応する第２セットは、全てのスケールで個々に集約され、各３チャネルＲＧＢ画像の集約特徴マップのセットを取得する。

【0064】

ロジットフォーメーションネットワーク３１２で、特徴マップが、様々な画素のクラスの予測のためのロジットとして用いられる。ロジットフォーメーションネットワーク３１２において、様々なスケールの復号器ネットワーク３０６からのクラス固有の特徴を集約する代わりに、様々な画素のクラスの予測のためのロジットとして特徴マップが用いられるので、マルチスケールアテンションネットワーク３１０からのクラス固有のマルチスケール特徴、及び復号器ネットワーク３０６からのクラス固有のディスエンタングルされた特徴が最初に集約され、更に次に様々なスケールでフィルタされ、クラス固有の特徴を出力ロジットに復号する。

【0065】

ロジットフォーメーションネットワークは、５つのステージを含む。サブネットの各／ｉ番目のステージで、マルチスケールアテンションネットワーク３１０のｉ番目のステージからの特徴マップが、クラス固有のディスエンタングルされた特徴マップの全てとチャネル寸法に沿って連結され、クラス固有の方法で、アテンションモジュールのアプリケーションに起因しチャネル寸法に沿った復号器ネットワーク３０６のｉ番目のステージ特徴マップ出力から生じる。

【0066】

次に、各３チャネルＲＧＢ画像の集約特徴マップのセットに存在する集約特徴マップ（図４Ａ及び４Ｂの

）が、ロジットフォーメーションネットワーク３１２に存在するロジット連結層（図４Ａ及び４Ｂの連結）を用いて連結され、各３チャネルＲＧＢ画像の連結特徴マップを取得する。

【0067】

最後に、各３チャネルＲＧＢ画像の連結特徴マップは、畳み込み層（第４３畳み込み層（図４Ａ及び４ＢのＣｏｎｖ４３_(5,1)）、及びロジットフォーメーションネットワーク３１２に存在するソフトマックスアクティベーション関数（図４Ａ及び４Ｂのソフトマックス層）を介してパスされ、各３チャネルＲＧＢ画像の確率マップを予測する。

【0068】

ネットワークの出力は、（ｎ）チャネル特徴マップであり、ここでｎ－１は、「欠陥」クラスの数であり、更に「１」は、正常／非欠陥サンプルに関係するクラスである。従って、アクティベーション関数はソフトマックスである。更に、特定の欠陥カテゴリ、例えば、ひびに対する個々のバイアスはなく、マルチクラスセグメント化ネットワーク３００の損失が、予測された確率マップに基づいて計算及び最適化される。

【0069】

ステップ２０６ｇで、ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像に対する、マルチクラスセグメント化ネットワーク３００のマルチクラスクロスエントロピー損失関数の値は、ステップ２０６ｆの各３チャネルＲＧＢ画像の取得された（予測された）確率マップと対応するシングルチャネルバイナリグラウンドトゥルース画像を用いる。マルチクラスクロスエントロピー損失関数の値は、ミニバッチに存在する３チャネルＲＧＢ画像の全てに対して計算される。

【0070】

ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像に対するマルチクラスセグメント化ネットワーク３００のマルチクラスクロスエントロピー損失関数（ＣＥ）は、式１として数学的に表される。

ここで、

は、各３チャネルＲＧＢ画像の対応するシングルチャネルバイナリグラウンドトゥルース画像を示し、ｐは、ステップ２０６ｈで取得された３チャネルＲＧＢ画像の予測された確率マップを示し、Ｂは、ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の数を示し、更にｋは、３チャネルＲＧＢ画像の予測される確率マップのチャネルの数を示す。更に、チャネルの数は、複数のクラスのクラス数に等しい。

【0071】

ステップ２０６ｈで、マルチクラスセグメント化ネットワーク３００の加重は、ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像に対するマルチクラスセグメント化ネットワークのマルチクラスクロスエントロピー損失関数の計算された値に基づいて、バックプロパゲーションを介して更新される。マルチクラスセグメント化ネットワーク３００が符号器ネットワーク３０２と復号器ネットワーク３０６の両方のクラス固有のアテンションモジュールセットを包含するので、（ミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の）クラスに関連付けられる対応する符号器アテンションモジュールセットと対応する復号器アテンションモジュールだけが、マルチスケールアテンションネットワーク３１０及びロジットフォーメーションネットワーク３１２と共にアクティベートされ、これらに関連付けられる加重だけが、バックプロパゲーションを介して更新される。従って、残りの符号器アテンションモジュールセット及び残りの復号器アテンションモジュールセットは、マルチスケールアテンションネットワーク３１０から一時的に非アクティブにされる。マルチクラスセグメント化ネットワーク３００の訓練は、０．０００１に等しい学習速度で、確率的勾配下降を用いて最適化され、運動量は０．９であり、更に加重減衰は０．０００２に等しい。

【0072】

１つのミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像の訓練が完了して対応するネットワーク加重が更新された状態で、次に更新されたマルチクラスセグメント化ネットワークは、同じクラスに関連付けられる次のミニバッチに存在する１又は２以上の３チャネルＲＧＢ画像によって次に訓練される。１つのクラスに関連付けられる１又は２以上のミニバッチが完了した状態で、次に、更新されたマルチクラスセグメント化ネットワークは、次のクラスに関連付けられる１又は２以上のミニバッチによって訓練される。同様に、これは、クラスの全てに関連付けられるミニバッチの全てが完了した（複数のクラスが完了した）状態で、事前に定義される訓練エポックが完了して、訓練されたマルチクラスセグメント化ネットワークを取得するまで、マルチクラスセグメント化ネットワークの訓練が、再度、次の訓練エポックに対して継続される。次に訓練されたマルチクラスセグメント化ネットワークは、ネットワーク加重を微調整するための検証データセットによって検証される。次に微調整されたマルチクラスセグメント化ネットワークは、対応する３チャネルＲＧＢ画像をパスすることによって製品に存在する異常を検出するために用いられる。

【0073】

方法２００のステップ２０８で、システム１００の１又は２以上のハードウェアプロセッサ１０４は、異常又は複数の異常が検出される製品の入力３チャネルＲＧＢ画像を受信するよう構成される。入力３チャネルＲＧＢ画像のサイズは、２５６Ｘ２５６画素である。方法２００のステップ２１０で、システム１００の１又は２以上のハードウェアプロセッサ１０４は、ステップ２０８で受信された入力３チャネルＲＧＢ画像をステップ２０６で取得された訓練済みマルチクラスセグメント化ネットワーク（検証後）にパスして、入力３チャネルＲＧＢ画像の入力確率マップを取得するよう構成される。入力３チャネルＲＧＢ画像の入力確率マップは、訓練済みマルチクラスセグメント化ネットワークが取得される複数のクラスの各クラスの確率値を含む。複数のクラスは、１又は２以上の異常クラスと１つの正常クラス又は非欠陥クラスを含む。１つの実施形態において、入力３チャネルＲＧＢ画像のサイズは、２５６Ｘ２５６画素である。画像の実際のサイズが２５６Ｘ２５６画素より大きい場合、次に２５６Ｘ２５６画素を持つ関心の画像領域のパッチ画像又はクロップ画像が作成される。

【0074】

最後に、方法２００のステップ２１２で、システム１００の１又は２以上のハードウェアプロセッサ１０４は、入力３チャネルＲＧＢ画像の入力確率マップに基づいて、製品における異常の存在を検出するよう構成される。詳細には、各クラスに関連付けられる確率に基づいて、１又は２以上の異常クラス又は正常クラスが検出される。

【0075】

本開示の方法及びシステムは、最初に、このようなパターンが高クラス内変動を有する時でも、製造中の画像における異常の様々な種類の特定のパターンをモデル化及び学習しようとする。この処理において、表現スペースにおけるクラス固有の相対的アテンション加重を学習し、パターンの各々の最良の表現、正常又は特定の欠陥を学習する。マルチクラスセグメント化ネットワーク３００の符号器ネットワーク３０２と復号器ネットワーク３０６の両方のクラス固有のアテンションモジュールは、欠陥の高クラス内変動の場合でも、欠陥の様々な種類を区別して堅牢な精度によってこれらを位置付けるために用いられる。

【0076】

本明細書における本開示の実施形態は、マルチクラスセグメント化ネットワークの符号器ネットワークと復号器ネットワークの両方でクラス固有のアテンションモジュールを使用して、欠陥の高クラス内変動の場合でも、欠陥の様々な種類を区別して更に堅牢な精度によってこれらを位置付けることによって、製造される製品におけるマルチクラス異常検出の解決されていない問題に対処する。本開示の方法及びシステムは主に製造中の製品における異常を検出するが、本発明の範囲は、製造中以外の製品の異常を検出することに制限されない。

【0077】

書面の説明は、何れの当業者も実施形態を使用できるようにするために本明細書に主題を記述している。主題の実施形態の範囲は、請求項によって定義され、更に当業者に想起される他の修正を含むことができる。このような他の修正は、これらが、請求項の文言と異なることのない類似の要素を有する場合、又はこれらが、請求項の文言との実体のない差異を有する均等な要素を含む場合に、請求項の範囲内にあるものとする。

【0078】

保護の範囲は、このようなプログラム及びメッセージを有するコンピュータ可読手段に加えて拡張されることを理解されたく、このようなコンピュータ可読ストレージ手段は、プログラムが、サーバ又は移動デバイス又は何れかの適切なプログラマブルデバイスで実行される時に、方法の１又は２以上のステップの実施のためのプログラムコード手段を包含する。ハードウェアデバイスは、例えば、サーバ又はパーソナルコンピュータなど、又はこれらの何れかの組合せのような何れかの種類のコンピュータを含む、プログラムすることができるデバイスの何れの種類とすることもできる。デバイスはまた、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）のようなハードウェア手段、又は、例えば、ＡＳＩＣ及びＦＰＧＡのようなハードウェアとソフトウェア手段の組合せ、又はソフトウェア処理構成要素を位置付けた少なくとも１つのマイクロプロセッサ及び少なくとも１つのメモリとすることができる手段を含むこともできる。従って、手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書に記述する方法の実施形態は、ハードウェア及びソフトウェアで実施することができる。デバイスはまた、ソフトウェア手段を含むこともできる。代替として、実施形態は、例えば複数のＣＰＵを用いて様々なハードウェアデバイスで実施することができる。

【0079】

本明細書の実施形態は、ハードウェアとソフトウェアの要素を含むことができる。ソフトウェアで実施される実施形態は、限定ではないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。本明細書に記述する様々な構成要素によって実行される機能は、他の構成要素又は他の構成要素の組合せで実施することができる。この説明の目的で、コンピュータ使用可能又はコンピュータ可読媒体は、命令実行システム、装置、又はデバイスによって使用するか又は接続されるプログラムを含む、格納する、伝送する、伝播する、又は転送することができる何れかの装置とすることができる。

【0080】

例証のステップは、図示した例示的実施形態を解説するために示されており、進行中の技術的発展が特定の機能が実行される方式を変更するであろうことを理解されたい。これらの実施例は、例証の目的で、制限ではなく本明細書に示している。更に、機能的構築ブロックの境界は、説明の便宜上本明細書に任意に定義されている。代替の境界は、指定された機能及びこれらの関係が適切に実行される限り定義することができる。代替（本明細書に記述するものの等価物、拡張部分、変種、偏差などを含む）は、本明細書に包含される技術に基づいて当業者に明らかになるであろう。このような代替は、開示する実施形態の範囲内に入る。また、「ｃｏｍｐｒｉｓｉｎｇ（含む）」、「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（包含する）」、及び「ｉｎｃｌｕｄｉｎｇ（内包する）」という語、及び他の類似の形態は、等価の意味であるとし、更にこれらの語の何れか１つに続く項目又は複数の項目が、このような項目又は複数の項目の網羅的な列挙であることを意味しないか、又は列挙された項目又は複数の項目だけに制限されることを意味しない制約のないものであるとする。また、本明細書で及び添付の請求項に用いられる「ａ」、「ａｎ」、及び「ｔｈｅ」という単数形は、本文脈が明確に他に指示しない限り複数の照応を含む点にも留意すべきである。

【0081】

更にまた、１又は２以上のコンピュータ可読ストレージ媒体は、本開示に矛盾のない実施形態を実施する場合に利用することができる。コンピュータ可読ストレージ媒体は、プロセッサによって可読である情報又はデータを格納することができる物理的メモリの何れのタイプも指す。従って、コンピュータ可読ストレージ媒体は、本明細書に記述する実施形態に矛盾のないステップ又はステージをプロセッサに実行させるための命令を含む、１又は２以上のプロセッサによって実行される命令を格納することができる。「コンピュータ可読媒体」という語は、有形項目を含む且つ搬送波及び過渡信号を除外する、すなわち非一時的であることを理解すべきである。実施例は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ，ＤＶＤ、フラッシュドライブ、ディスク、及び何れかの他の公知の物理的ストレージ媒体を含む。

【0082】

本開示及び実施例は、例示的なものとして見なされ、開示する実施形態の真の範囲は、以下の請求項によって示されるものとする。

【符号の説明】

【0083】

３０２ 符号器ネットワーク
３０４ 符号器アテンションモジュールセット
３０６ 復号器ネットワーク
３０８ 復号器アテンションモジュールセット
３１０ マルチスケールアテンションネットワーク
３１２ ロジットフォーメーションネットワーク

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4A】

【図4B】

【図5】

【外国語明細書】