特許 7634771 紡糸作業場の検出方法、装置、電子デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-13

(45)【発行日】2025-02-21

(54)【発明の名称】紡糸作業場の検出方法、装置、電子デバイス及び記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250214BHJP

   G06V 10/764 20220101ALI20250214BHJP

   G06V 20/52 20220101ALI20250214BHJP

【ＦＩ】

G06T7/00 610Z

G06V10/764

G06V20/52

【請求項の数】 18

(21)【出願番号】P 2024230195

(22)【出願日】2024-12-26

【審査請求日】2024-12-26

(31)【優先権主張番号】202311823451.0

(32)【優先日】2023-12-27

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】523443995

【氏名又は名称】チョーチアン ヘンイー ペトロケミカル カンパニー，リミテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ポン ワン

(72)【発明者】

【氏名】シャンタオ ポン

(72)【発明者】

【氏名】イーポー チウ

(72)【発明者】

【氏名】ミンイー リウ

(72)【発明者】

【氏名】ターコー リー

(72)【発明者】

【氏名】チュンリャン チン

(72)【発明者】

【氏名】フォン シュイ

(72)【発明者】

【氏名】ハイフェン ワン

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２１－１７７３８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７６４

Ｇ０６Ｖ ２０／５２

Ｄ０１Ｈ １３／１４

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

紡糸作業場の検出方法であって、
紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得ることと、
前記処理対象の画像から第１画像特徴を抽出することと、
デコーダネットワークに基づいて前記第１画像特徴を処理し、前記プロセス制御装置に対する故障検出結果を得ることと、を含み、
前記デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含み、
各デコーダモジュールについて、前記デコーダモジュールはデコーダ層と適応型分類ヘッドとを含み、かつ、前記適応型分類ヘッドは、前記デコーダ層の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて前記第１故障分類結果を更新して前記デコーダモジュールが出力する第２故障分類結果を得ることに用いられ、
前記デコーダネットワークが出力する前記故障検出結果は、前記デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、前記最後の層のデコーダモジュールが出力する故障位置とを含み、
前記デコーダネットワークにおける最初のデコーダモジュールの後の各前記デコーダモジュールについて、前記デコーダモジュールの直前のデコーダモジュールの出力特徴を、前記デコーダモジュールの入力特徴とする、
紡糸作業場の検出方法。

【請求項2】

各デコーダモジュールのクエリベクトルは、セマンティック種別情報を捕捉するための第１サブ特徴を含み、
前記デコーダネットワークにおける最後のデコーダモジュール以外の少なくとも１つのデコーダモジュールは、クエリ順序付け層をさらに含み、
前記クエリ順序付け層を含むデコーダモジュールについて、前記デコーダモジュールは、
前記デコーダモジュールが出力する第２故障分類結果に基づいて前記デコーダモジュールの第１サブ特徴における第１要素を降順させ、第１中間特徴を得、
前記第１中間特徴と予め設定された内容較正行列とをつなぎ合わせ、第１つなぎ合わせ特徴を得、
全結合層に基づいて前記第１つなぎ合わせ特徴を処理し、前記デコーダモジュールの次のデコーダモジュールに必要な第１サブ特徴を得る、方法に基づいて前記デコーダモジュールの第１サブ特徴を更新する、
請求項１に記載の紡糸作業場の検出方法。

【請求項3】

各デコーダモジュールのクエリベクトルは、故障の位置情報をエンコーディングするための第２サブ特徴をさらに含み、かつ前記第１サブ特徴と前記第２サブ特徴とは要素数が同じであり、
前記クエリ順序付け層を含むデコーダモジュールについて、
前記デコーダモジュールが出力する第２故障分類結果に基づいて、前記デコーダモジュールの第２サブ特徴を降順させ、第２中間特徴を得、
正弦波位置符号化関数と多層パーセプトロンに基づいて第２中間特徴を再構築し、前記デコーダモジュールの次のデコーダモジュールに必要な第２サブ特徴を得る、方法に基づいて前記デコーダモジュールの第２サブ特徴を更新する、
請求項２に記載の紡糸作業場の検出方法。

【請求項4】

前記故障検出結果における第２故障分類結果には故障種別と故障等級とが含まれ、
前記紡糸作業場の検出方法は、
前記故障検出結果が、前記プロセス制御装置の温度制御システムに故障が発生し、かつ、故障等級が予め設定された等級より高いことを示す場合、修理タスクであって、修理タスクの緊急度及び前記故障検出結果を含む修理タスクを生成することと、
前記修理タスクを目標クライアント側にプッシュすることと、を含む、
請求項１に記載の紡糸作業場の検出方法。

【請求項5】

前記処理対象の画像から第１画像特徴を抽出することは、
前記処理対象の画像をバックボーンネットワークに入力し、初期画像特徴を得ることと、
前記初期画像特徴をエンコーダネットワークに入力し、前記第１画像特徴を得ることと、を含む、
請求項１に記載の紡糸作業場の検出方法。

【請求項6】

前記処理対象の画像から第１画像特徴を抽出することは、
前記処理対象の画像をセグメント・エニシング・モデルに入力し、目標位置のマスク画像を得ることと、
前記目標位置のマスク画像に基づいて、前記目標位置のマスク画像を収容するように最小矩形包囲枠を生成することと、
前記最小矩形包囲枠に基づいて前記処理対象の画像から可視サブ画像を切り出し、前記処理対象の画像と同じビュー範囲の熱画像から前記最小矩形包囲枠における熱サブ画像を切り出すことと、
前記可視サブ画像をバックボーンネットワークに入力し、第１サブ画像特徴を得ることと、
前記第１サブ画像特徴をエンコーダネットワークに入力し、融合対象のサブ画像特徴を得ることと、
前記熱サブ画像から熱特徴を抽出することと、
前記融合対象のサブ画像特徴と、前記熱特徴と、前記セグメント・エニシング・モデルが前記処理対象の画像の前記最小矩形包囲枠から抽出した第２サブ画像特徴とを融合処理し、前記第１画像特徴を得ることと、を含む、
請求項１に記載の紡糸作業場の検出方法。

【請求項7】

前記プロセス制御装置は温度制御システムを含み、
前記紡糸作業場の検出方法は、
赤外線カメラに基づいて、前記温度制御システムの熱画像を取得することと、
前記温度制御システムの目標部品について、前記熱画像から前記目標部品の画像ブロックを抽出することと、
前記目標部品の画像ブロックと、前記目標部品の標準画像ブロックとを比較することによって、前記目標部品の画像ブロックと前記目標部品の標準画像ブロックとの差異情報を得ることと、
前記差異情報に基づいて、前記目標部品の温度が正常温度範囲であるか否かを検出することと、をさらに含む、
請求項１に記載の紡糸作業場の検出方法。

【請求項8】

前記紡糸作業場の検出方法は、
前記紡糸作業場における紡糸箱のオープンエリアに対して画像収集を行い、目標画像を得ることと、
前記目標画像に基づいて、前記オープンエリアにおけるプロセスの補助材料の堆積状況を検出し、検出結果を得ることと、
前記検出結果と前記オープンエリアの履歴検出結果とに基づいて、検出レコードを生成することと、
前記検出レコードとレポート戦略の集合とをマッチングすることと、
前記レポート戦略の集合においてマッチングして得られたレポート戦略に基づいて、警報情報を生成することと、をさらに含む、
請求項１に記載の紡糸作業場の検出方法。

【請求項9】

紡糸作業場の検出装置であって、
紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得るための収集ユニットと、
前記処理対象の画像から第１画像特徴を抽出するための抽出ユニットと、
デコーダネットワークに基づいて前記第１画像特徴を処理し、前記プロセス制御装置に対する故障検出結果を得るための処理ユニットと、を備え、
前記デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含み、
各デコーダモジュールについて、前記デコーダモジュールはデコーダ層と適応型分類ヘッドとを含み、かつ、前記適応型分類ヘッドは、前記デコーダ層の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて前記第１故障分類結果を更新して前記デコーダモジュールが出力する第２故障分類結果を得ることに用いられ、
前記デコーダネットワークが出力する前記故障検出結果は、前記デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、前記最後の層のデコーダモジュールが出力する故障位置とを含み、
前記デコーダネットワークにおける最初のデコーダモジュールの後の各前記デコーダモジュールについて、前記デコーダモジュールの直前のデコーダモジュールの出力特徴を、前記デコーダモジュールの入力特徴とする、
紡糸作業場の検出装置。

【請求項10】

各デコーダモジュールのクエリベクトルは、セマンティック種別情報を捕捉するための第１サブ特徴を含み、
前記デコーダネットワークにおける最後のデコーダモジュール以外の少なくとも１つのデコーダモジュールは、クエリ順序付け層をさらに含み、
前記紡糸作業場の検出装置は、前記クエリ順序付け層を含むデコーダモジュールについて、デコーダモジュールによって、
前記デコーダモジュールが出力する第２故障分類結果に基づいて前記デコーダモジュールの第１サブ特徴における第１要素を降順させ、第１中間特徴を得、
前記第１中間特徴と予め設定された内容較正行列とをつなぎ合わせ、第１つなぎ合わせ特徴を得、
全結合層に基づいて前記第１つなぎ合わせ特徴を処理し、前記デコーダモジュールの次のデコーダモジュールに必要な第１サブ特徴を得る、方法に基づいて前記デコーダモジュールの第１サブ特徴を更新するための第１更新ユニットをさらに備える、
請求項９に記載の紡糸作業場の検出装置。

【請求項11】

各デコーダモジュールのクエリベクトルは、故障の位置情報をエンコーディングするための第２サブ特徴をさらに含み、かつ前記第１サブ特徴と前記第２サブ特徴とは要素数が同じであり、
前記紡糸作業場の検出装置は、前記クエリ順序付け層を含むデコーダモジュールについて、デコーダモジュールによって、
前記デコーダモジュールが出力する第２故障分類結果に基づいて、前記デコーダモジュールの第２サブ特徴を降順させ、第２中間特徴を得、
正弦波位置符号化関数と多層パーセプトロンに基づいて第２中間特徴を再構築し、前記デコーダモジュールの次のデコーダモジュールに必要な第２サブ特徴を得る、方法に基づいて前記デコーダモジュールの第２サブ特徴を更新するための第２更新ユニットをさらに備える、
請求項１０に記載の紡糸作業場の検出装置。

【請求項12】

前記故障検出結果における第２故障分類結果には故障種別と故障等級とが含まれ、
前記紡糸作業場の検出装置は、
前記故障検出結果が、前記プロセス制御装置の温度制御システムに故障が発生し、かつ、故障等級が予め設定された等級より高いことを示す場合、修理タスクであって、修理タスクの緊急度及び前記故障検出結果を含む修理タスクを生成することと、
前記修理タスクを目標クライアント側にプッシュすることと、に用いられるプッシュユニットをさらに備える、
請求項９に記載の紡糸作業場の検出装置。

【請求項13】

前記抽出ユニットは、
前記処理対象の画像をバックボーンネットワークに入力し、初期画像特徴を得ることと、
前記初期画像特徴をエンコーダネットワークに入力し、前記第１画像特徴を得ることと、に用いられる、
請求項９に記載の紡糸作業場の検出装置。

【請求項14】

前記抽出ユニットは、
前記処理対象の画像をセグメント・エニシング・モデルに入力し、目標位置のマスク画像を得ることと、
前記目標位置のマスク画像に基づいて、前記目標位置のマスク画像を収容するように最小矩形包囲枠を生成することと、
前記最小矩形包囲枠に基づいて前記処理対象の画像から可視サブ画像を切り出し、前記処理対象の画像と同じビュー範囲の熱画像から前記最小矩形包囲枠における熱サブ画像を切り出すことと、
前記可視サブ画像をバックボーンネットワークに入力し、第１サブ画像特徴を得ることと、
前記第１サブ画像特徴をエンコーダネットワークに入力し、融合対象のサブ画像特徴を得ることと、
前記熱サブ画像から熱特徴を抽出することと、
前記融合対象のサブ画像特徴と、前記熱特徴と、前記セグメント・エニシング・モデルが前記処理対象の画像の前記最小矩形包囲枠から抽出した第２サブ画像特徴とを融合処理し、前記第１画像特徴を得ることと、に用いられる、
請求項９に記載の紡糸作業場の検出装置。

【請求項15】

前記プロセス制御装置は温度制御システムを含み、
前記紡糸作業場の検出装置は、
赤外線カメラに基づいて、前記温度制御システムの熱画像を取得することと、
前記温度制御システムの目標部品について、前記熱画像から前記目標部品の画像ブロックを抽出することと、
前記目標部品の画像ブロックと、前記目標部品の標準画像ブロックとを比較することによって、前記目標部品の画像ブロックと前記目標部品の標準画像ブロックとの差異情報を得ることと、
前記差異情報に基づいて、前記目標部品の温度が正常温度範囲であるか否かを検出することと、に用いられる温度検出ユニットをさらに備える、
請求項９に記載の紡糸作業場の検出装置。

【請求項16】

前記紡糸作業場の検出装置は、
前記紡糸作業場における紡糸箱のオープンエリアに対して画像収集を行い、目標画像を得ることと、
前記目標画像に基づいて、前記オープンエリアにおけるプロセスの補助材料の堆積状況を検出し、検出結果を得ることと、
前記検出結果と前記オープンエリアの履歴検出結果とに基づいて、検出レコードを生成することと、
前記検出レコードと、レポート戦略の集合とをマッチングすることと、
前記レポート戦略の集合においてマッチングして得られたレポート戦略に基づいて、警報情報を生成することと、に用いられる警報ユニットをさらに備える、
請求項９に記載の紡糸作業場の検出装置。

【請求項17】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項８のいずれか１項に記載の方法を実行させる、電子デバイス。

【請求項18】

コンピュータに請求項１から請求項８のいずれか１項に記載の方法を実行させるコンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はデータ処理分野に関し、特に人工知能、コンピュータ視覚などの技術分野に関する。

【背景技術】

【0002】

紡糸プロセスの産業シナリオにおいて、紡糸作業場の紡糸箱は化学繊維製品の製造プロセスにおいて極めて重要な役割を果たしている。しかし、手動による紡糸箱の検査効率は低いため、どのように効率的に紡糸作業場を巡回検査するかは、現在直面している問題である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、従来技術における１つ又は複数の技術的問題を解決又は緩和するために、紡糸作業場の検出方法、装置、電子デバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

第１態様では、本開示は紡糸作業場の検出方法を提供し、該方法は、
紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得ることと、
処理対象の画像から第１画像特徴を抽出することと、
デコーダネットワークに基づいて第１画像特徴を処理し、プロセス制御装置に対する故障検出結果を得ることと、を含み、
デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含み、
各デコーダモジュールについて、デコーダモジュールはデコーダ層と適応型分類ヘッドとを含み、かつ、適応型分類ヘッドは、デコーダ層の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて第１故障分類結果を更新してデコーダモジュールが出力する第２故障分類結果を得ることに用いられ、
デコーダネットワークが出力する故障検出結果は、デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、最後の層のデコーダモジュールが出力する故障位置とを含む。

【0005】

第２態様では、本開示は紡糸作業場の検出装置を提供し、該装置は、
紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得るための収集ユニットと、
処理対象の画像から第１画像特徴を抽出するための抽出ユニットと、
デコーダネットワークに基づいて第１画像特徴を処理し、プロセス制御装置に対する故障検出結果を得るための処理ユニットと、を備え、
デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含み、
各デコーダモジュールについて、デコーダモジュールはデコーダ層と適応型分類ヘッドとを含み、かつ、適応型分類ヘッドは、デコーダ層の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて第１故障分類結果を更新してデコーダモジュールが出力する第２故障分類結果を得ることに用いられ、
デコーダネットワークが出力する故障検出結果は、デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、最後の層のデコーダモジュールが出力する故障位置とを含む。

【0006】

第３態様では、本開示は電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
該メモリには、該少なくとも１つのプロセッサで実行可能な命令が記憶されており、該命令は、該少なくとも１つのプロセッサによって実行されると、本開示の実施例におけるいずれか１つの方法を実行させる。

【0007】

第４態様では、本開示の実施例におけるいずれか１つの方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一時的コンピュータで読み取り可能な記憶媒体を提供する。

【0008】

第５態様では、プロセッサにより実行されると、本開示の実施例におけるいずれか１つの方法を実行するためのプログラムを含むプログラム製品を提供する。

【0009】

本開示の実施例では、紡糸作業場における紡糸箱の監視を自動化して実現し、故障エリア及び故障タイプをタイムリーに発見することに役立つ。

【0010】

ここに記載されたにおける容は、本開示の実施例のキーポイントまたは重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して理解を促す。

【図面の簡単な説明】

【0011】

添付図面において、別段の定めがない限り、複数の添付図面を通じて同一の図面符号は、同一または類似の構成部品または要素を示す。これらの添付図面は、必ずしも縮尺通りに描かれていない。これらの図面は、本開示により提供されるいくつの実施例のみを示し、本開示の範囲を限定するものと見なされるべきではないことを理解すべきである。

【0012】

【図1】本開示の一実施例による紡糸作業場の検出方法のフローチャートである。

【図2】本開示の一実施例によるデコーダネットワークの概略図である。

【図3】本開示の一実施例によるマスク画像を得ることの概略図である。

【図4】本開示の一実施例によるデコーダネットワークの別の概略図である。

【図5】本開示の一実施例に係る紡糸作業場の検出方法の全体フレームワークの概略図である。

【図6】本開示の一実施例による紡糸作業場の検出装置の構成図である。

【図7】本開示の実施例に係る紡糸作業場の検出方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0013】

以下、添付の図面を参照して本開示についてさらに詳細に説明する。添付の図面において、同一の参照番号は、機能的に同一又は類似の要素を表す。また、添付の図面において、実施例の様々な態様が示されているが、別段説明がない限り、これらの添付の図面は、必ずしも縮尺通りに描かれていない。

【0014】

さらに、本開示をよりよく説明するために、以下の具体的な実施形態にて多くの具体的な詳細を記載されている。当業者は、本開示が特定の詳細がなくても同様に実施され得ることを理解すべきである。いくつかの実施例では、本開示の主旨を不明瞭とならないように、当業者によく知られている方法、手段、構成要素、及び回路などは詳細に説明されていない。

【0015】

また、「第１」、「第２」という用語は、記述的な目的のためにのみ使用され、相対的な重要性を示す又は暗示するものとして理解されるものではなく、また、示された技術的特徴の数を暗黙的に指定するものでもない。したがって、用語「第１」、「第２」で定義される特徴は、明示的または暗示的に1つまたは複数の当該特徴を含み得る。本開示の説明において、「１つ以上」とは、他に明示的かつ具体的に限定されない限り、２つ以上を意味する。

【0016】

紡糸プロセスの産業シナリオにおいて、紡糸作業場の紡糸箱は化学繊維製品の製造プロセスにおいて極めて重要な役割を果たしている。紡糸箱の重要な構成部分は、紡糸構成部分及び紡糸構成部分の裏面のプロセス制御装置を含む。本開示の実施例におけるプロセス制御装置の重要な部品は、加熱装置、溶融物分配管、補助材料輸送管、計量ポンプなどを含む。ここで、溶融物分配管は保温層を有し、加熱装置は溶融物を計量ポンプに分配するのを容易にするために溶融物分配管における溶融物の温度を確保する必要がある。計量ポンプは溶融物を紡糸箱の各構成部分に均一に分流させ、紡糸構成部分における紡糸口金の細孔を通して溶融物の細流を形成し、溶融物の細流が紡糸口金を出た後、自然冷却により糸に形成される。

【0017】

ここで、溶融物は、できるだけ均一な温度を確保するために紡糸箱の配管の中で保温処理される必要がある。

【0018】

本開示の実施例は、主として紡糸構成部分の裏面のプロセス制御装置に対する故障検出に関し、特に加熱装置、溶融物分配管、補助材料輸送管の検出に関するものである。説明と理解を容易にするために、本開示の実施例では、加熱装置と溶融物分配管を温度制御システムと総称する。

【0019】

また、本開示の実施例は、紡糸作業場の検出効率を高めるために、紡糸構成部分の裏面のオープンエリアの検出などを実現することもできる。

【0020】

なお、本開示の実施例の解決策に係る紡糸製品の主なタイプは、本開示の実施例に係るフィラメントの主なタイプは、プレ配向糸（Ｐａｒｔｉａｌｌｙ Ｏｒｉｅｎｔｅｄ Ｙａｒｎｓ、ＰＯＹ）、フルドラフト糸（Ｆｕｌｌｙ Ｄｒａｗｎ Ｙａｒｎｓ、ＦＤＹ）、ポリエステル短繊維（Ｐｏｌｙｅｓｔｅｒ ｓｔａｐｌｅ ｆｉｂｅｒ）等の１つまたは複数を含むことができる。例えば、糸の種類として具体的には、ポリエステルプレ配向糸（Ｐｏｌｙｅｓｔｅｒ Ｐａｒｔｉａｌｌｙ Ｏｒｉｅｎｔｅｄ Ｙａｒｎｓ）、ポリエステルフルドラフト糸（Ｐｏｌｙｅｓｔｅｒ Ｆｕｌｌｙ Ｄｒａｗｎ Ｙａｒｎｓ）、ポリエステルドラフト糸（Ｐｏｌｙｅｓｔｅｒ Ｄｒａｗｎ Ｙａｒｎｓ）、ポリエステル短繊維（Ｐｏｌｙｅｓｔｅｒ ｓｔａｐｌｅ ｆｉｂｅｒ）などを含むことができる。

【0021】

紡糸作業場を自動的かつ正確に検出するために、本開示の実施例では、ＤＥＴＲ（ＤＥｔｅｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ、目標検出アーキテクチャ）を用いて、図１に示すように、紡糸作業場の検出方法を提案し、以下を含む。

【0022】

Ｓ１０１において、紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得る。

【0023】

ここで、ドローンを用いて紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行うことができ、プロセス制御装置は温度制御システムと補助材料輸送管とを含むことができる。温度制御システムは溶融物分配管を含み、その外層は保温層で覆われている。溶融物分配管は、最終重縮合反応釜によって生成された溶融物を該管から計量ポンプに輸送した後、紡糸箱の紡糸構成部分に均一に分配して処理を行うことに用いられる。該溶融物分配管は保温処理が必要であるため、検出時に、該溶融物分配管の画像を収集して保温層の破損の有無を決定し、さらに溶融物分配管の温度を確保することができる。そのうち、補助材料輸送管は、工業補助材料の輸送に用いられる。

【0024】

温度制御システムには加熱装置がさらに含まれる。該加熱装置は、作業中に安全ゲートを閉じた状態に保つ必要がある。

【0025】

Ｓ１０２において、処理対象の画像から第１画像特徴を抽出する。

【0026】

Ｓ１０３において、デコーダネットワークに基づいて該第１画像特徴を処理し、プロセス制御装置に対する故障検出結果を得る。

【0027】

ここで、該デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含む。各デコーダモジュールについて、該デコーダモジュールはデコーダ層と適応型分類ヘッドを含み、かつ、適応型分類ヘッドは、デコーダ層の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて第１故障分類結果を更新してデコーダモジュールが出力する第２故障分類結果を得ることに用いられる。デコーダネットワークが出力する故障検出結果は、デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、最後の層のデコーダモジュールが出力する故障位置とを含む。

【0028】

ここで、デコーダネットワークは、図２に示すように、ｎ個のデコーダモジュールを示し、ｎは正の整数である。図２において、デコーダモジュール１、デコーダモジュール２、…、デコーダモジュールｎは順に直列に接続されている。デコーダモジュール１は、デコーダ層１と適応型分類ヘッド１とを含み、各デコーダ層は、自己注意モジュールと、自己注意モジュールの後に接続されたクロス注意モジュール（図示せず）とを含むことができる。デコーダネットワークにおける最初のデコーダモジュールの後の各デコーダモジュールは、該デコーダモジュールの直前のデコーダモジュールが出力する出力特徴に基づいて、該デコーダモジュールにおける必要なクエリベクトル（Ｑ）、キーベクトル（Ｋ）と値ベクトル（Ｖ）を構築する。デコーダ層１の下には、適応型分類ヘッド１が直列に接続され、適応型分類ヘッド１は、デコーダ層１の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて第１故障分類結果を更新して、デコーダモジュールが出力する第２故障分類結果を得ることに用いられる。すなわち、各デコーダモジュールの構成は基本的に一致しており、それぞれの第１故障分類結果と第２故障分類結果とを得る。

【0029】

ｎ個のデコーダモジュールの全ての処理が完了した場合、デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果が得る。

【数1】

【0030】

【数2】

【0031】

本開示の実施例において、デコーダネットワークは、Ｔｒａｎｓｆｏｒｍｅｒ（変換）ネットワーク構造に基づいて構築される。

【0032】

本開示の実施例では、デコーダネットワークには、順に直列に接続された複数のデコーダモジュールが含まれ、各デコーダモジュールは、デコーダ層と適応型分類ヘッドとを含み、かつ、前記適応型分類ヘッドは、前記デコーダ層の出力特徴を分類予測し、第１故障分類結果を得ることに用いられる。適応型分類ヘッドを使用する方式は、適応型分類ヘッドに基づいて各層の予測結果を較正して、検出性能を向上させることを目的とする。本開示の実施例では、紡糸作業場における紡糸箱の裏面に対して画像収集を行い、処理対象の画像を得、さらに処理対象の画像から第１画像特徴を抽出し、デコーダネットワークに基づいて第１画像特徴を処理し、プロセス制御装置に対する故障検出結果を得、該方式では紡糸作業場における紡糸箱の監視を自動化し、故障エリア及び故障タイプをタイムリーに発見することに役立つ。

【0033】

本開示の実施例の全体的な流れは以下の第１画像特徴の取得、デコーダネットワークの最適化、故障検出結果の取得という３つの部分に分けられる。これらの３つの部分について以下に詳細に説明する。

【0034】

１）第１画像特徴の取得

【0035】

いくつかの実施例では、前記処理対象の画像から第１画像特徴を抽出することは、以下のように実施することができる。

【0036】

ステップＡ１において、処理対象の画像をバックボーンネットワークに入力し、初期画像特徴を得る。

【0037】

採用可能なバックボーンネットワークとしては、例えば、ｖｇｇｎｅｔ（Ｖｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ Ｎｅｔ、コンピュータビジョンネットワーク）、ｒｅｓｎｅｔ（残差ネットワーク）及びｉｎｃｅｐｔｉｏｎ（スタートアップ）ネットワークなどが挙げられる。もちろん、本開示の実施例は、具体的なバックボーンネットワークに対して限定しない。

【0038】

ステップＡ２において、初期画像特徴をエンコーダネットワークに入力して、前記第１画像特徴を得る。

【0039】

ここで、エンコーダネットワークはＴｒａｎｓｆｏｒｍｅｒエンコーダであってもよい。

【数3】

【0040】

本開示の実施例では、バックボーンネットワーク及びエンコーダネットワークを用いて処理画像に対して特徴抽出を行い、故障検出のための第１画像特徴を正確に得ることができる。

【0041】

いくつかの実施例では、前述したように、保温層の温度制御は紡糸プロセスにとって重要であるため、本開示の実施例では、赤外線カメラに基づいて紡糸作業場の熱画像を収集した場合、処理対象の画像から第１画像特徴を抽出することは、さらに以下のように実装することができる。

【0042】

ステップＢ１において、処理対象の画像をセグメント・エニシング・モデルに入力し、目標位置のマスク画像を得る。

【0043】

ここで、処理対象の画像をセグメント・エニシング・モデルに入力し、図３に示すように、処理対象の画像を画像特徴抽出ネットワークに入力し、エンコード特徴を得る。少なくとも１つの畳み込み層を用いて、当該予め設定されたマスクに対して畳み込み処理してマスク特徴を得る。ここで、該予め設定されたマスクは、ポイントまたは枠に基づくマスクであってもよく、他の分割ネットワークに基づいてオブジェクトを分割して得られたマスクであってもよい。マスク特徴と該エンコード特徴とは融合した後、マスクデコーダに入力する。同時に、提示情報（ポイント、枠、テキストの少なくとも１つを含む）もマスクデコーダに入力する。マスクデコーダによる処理後、目標位置のマスク画像を得ることができる。本開示の実施例における目標位置は、保温層における破損位置であってもよい。

【0044】

実装時に、保温層の破損位置の画像サンプルを予め収集しておくことができる。該画像サンプルに基づいて破損位置の特徴を構築する。例えば、破損位置の画素値に対して統計解析し、破損位置の特徴として画素値の分布状況を得ることができる。画素値の分布状況は、異なる画素値区間の画素量で表すことができる。さらに例えば、破損位置に対して特徴抽出を行い、破損位置の特徴を得ることができる。

【0045】

本開示の実施例では、ドローンを制御することによって指定した巡回検査経路の定点で画像を収集する。すなわち、紡糸箱のプロセス制御装置における同一検出領域について、連続して収集した画像の内容はほぼ類似している。これにより、本開示の実施例では、同一の検出領域に対して収集して得た処理対象の画像に、複数の候補検出枠を予めマークすることができる。各処理対象の画像について、各候補検出枠から破損位置の特徴に基づいて画素点または画素枠を選別し、セグメント・エニシング・モデルの提示情報を構築する。

【0046】

具体的には、破損位置の特徴が画素値分布である場合、該候補検出枠の中のいずれかの点からｍ近傍で複数の画素点を取得し、その後、対比すべき画素分布を統計して得、対比すべき画素分布と破損位置の特徴とをマッチングし、マッチング度を計算し、マッチング度が閾値より高い場合、セグメント・エニシング・モデルの提示情報におけるポイント及び／又は枠を得る。ｍは正の整数である。

【0047】

特徴抽出によって破損位置の特徴を得る場合、候補検出枠に対して特徴抽出を行い、対比すべき特徴を得、対比すべき特徴と破損位置の特徴とをマッチングし、マッチング度が閾値より高い場合、セグメント・エニシング・モデルの提示情報におけるポイント及び／又は枠を得る。

【0048】

ステップＢ２において、目標位置のマスク画像に基づいて、目標位置のマスク画像を収容するように最小矩形包囲枠を生成する。

【0049】

予め構築された提示情報におけるポイントと枠は、破損位置を大まかに決定することと理解することができる。セグメント・エニシング・モデルを用いて、提示情報の助けに基づき、破損位置を改善し最適化することによって、より正確なマスク画像を得ることができる。

【0050】

故障検出の精度を向上させるために、本開示の実施例では、複数の面から目標位置の特徴を説明する。具体的には、ステップＢ３からステップＢ７のように示すことができる。

【0051】

ステップＢ３において、最小矩形包囲枠に基づいて、前記処理対象の画像から可視サブ画像を切り出し、前記処理対象の画像と同じビュー範囲の熱画像から前記最小矩形包囲枠における熱サブ画像を切り出す。

【0052】

ステップＢ４において、可視サブ画像をバックボーンネットワークに入力し、第１サブ画像特徴を得る。

【0053】

ステップＢ５において、第１サブ画像特徴をエンコーダネットワークに入力し、融合対象のサブ画像特徴を得る。

【0054】

ステップＢ６において、熱サブ画像から熱特徴を抽出する。

【0055】

なお、ステップＢ６の実行タイミングが合理的であればよく、ステップＢ５の後で実行されることに限定されない。

【0056】

ここで、長・短期記憶ネットワーク（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ，ＬＳＴＭ）を用いて熱サブ画像を処理し、熱特徴を得ることができる。例えば、ドローンを制御して同じ巡回検査ルートに従い、かつ定点で画像を収集することができる。画像を得る際のビュー範囲はほぼ同じである。そのため、複数回の巡回検査では、同じ位置点の複数枚の画像が含むオブジェクトはほぼ一致している。予め設定された期間内における、複数枚の熱画像中の当該最小矩形包囲箱における画像の内容を取得し、熱サブ画像のシーケンスを得、ＬＳＴＭに基づいて温度の変化傾向特徴を抽出し、熱特徴とする。

【0057】

ステップＢ７において、融合対象のサブ画像特徴と、熱特徴と、セグメント・エニシング・モデルが処理対象の画像の最小矩形包囲枠から抽出した第２サブ画像特徴とを融合処理し、第１画像特徴を得る。

【0058】

ここで、融合方式は重み付け融合、つなぎ合わせ融合などであってもよい。

【0059】

本開示の実施例では、セグメント・エニシング・モデルを用いて、処理対象の画像を処理し、目標位置のマスク画像を得、さらに可視サブ画像を得ることができる。可視サブ画像をバックボーンネットワーク及びエンコーダネットワークに入力し、融合対象のサブ画像特徴を得、さらに可視サブ画像に基づいて可視サブ画像の熱サブ画像を得、ひいては該熱サブ画像の熱特徴を抽出し、融合対象のサブ画像特徴と、熱特徴と、セグメント・エニシング・モデルが処理対象の画像の最小矩形包囲枠から抽出した第２サブ画像特徴とを融合処理し、第１画像特徴を得る。当該方式に基づいて複数の次元から第１画像特徴を抽出することができる。特に、その熱特徴は当該目標位置の温度変化傾向を記述することができ、後続の故障検出結果を得るために有力な基礎を築く。

【0060】

２）デコーダネットワークの最適化

【0061】

検出の精度をさらに向上させることができるようにするために、図２を基に、クエリ順序付け層を追加してデコーダネットワークを最適化することもできる。図４に示すように、デコーダモジュール１、デコーダモジュール２、…、デコーダモジュールｎは順に直列に接続されている。最後の層のデコーダモジュールを除き、他の少なくとも１つのデコーダモジュールにはデコーダ層、適応型分類ヘッド及びクエリ順序付け層が含まれる。デコーダモジュールにおけるデコーダ層１の下に適応型分類ヘッド１が直列に接続され、適応型分類ヘッド１の下にクエリ順序付け層１が直列に接続され、そして、下にデコーダモジュール２における構成を順に直列に接続され、このように類推される。各デコーダ層は、自己注意モジュールと、自己注意モジュールの後に接続されたクロス注意モジュール（図示せず）とを含むことができる。デコーダネットワークがｎ個のデコーダモジュールを含む場合、クエリベクトルはｎ回反復調整される。

【数4】

【数5】

【0062】

前記第１サブ特徴はセマンティック情報を捕捉することに用いられ、前記第２サブ特徴は例えば、バウンディング枠の中心やサイズの分布などの故障の位置情報をエンコーディングすることに用いられる。

【0063】

以下、クエリベクトルにおける２つのサブ特徴を更新する手法について説明する。具体的には以下を含む。

【0064】

１）第１サブ特徴の更新

【0065】

前述したように、各デコーダモジュールのクエリベクトルは第１サブ特徴を含む。前記デコーダネットワークにおける、最初のデコーダモジュールを除く少なくとも１つのデコーダモジュールはクエリ順序付け層をさらに含む。クエリ順序付け層を含むデコーダモジュールについて、前記デコーダモジュールは、以下の方法に基づいて前記デコーダモジュールの第１サブ特徴を更新する。

【0066】

ステップＣ１において、前記デコーダモジュールが出力する第２故障分類結果に基づいて、前記デコーダモジュールの第１サブ特徴における第１要素を降順させ、第１中間特徴を得る。

【0067】

ここで、Ｌ－１層目のデコーダモジュールの第１中間特徴は、例えば式（２）に示す。

【数6】

【0068】

各デコーダモジュールは、第２故障分類結果を出力するだけでなく、かつｗ個の検出枠をも出力し、ｗは正の整数である。これに応じて、第１サブ特徴にはｗ個の要素が含まれ、第１サブ特徴において各要素は１つの検出枠に対応する。ｐ^Ｌ-１は同様にｗ個の要素を含み、各要素は１つの検出枠の故障分類結果に対応し、予め設定された故障タイプはｍ個であり、いずれかの該検出枠の故障分類結果は各予め設定された故障タイプに対する確率分布｛ｍ１、ｍ２、…、ｍｍ｝であり、ｍ１は該検出枠が故障タイプ１に属する確率を表し、ｍ２は該検出枠が故障タイプ２に属する確率を表す。当該検出枠の故障分類結果における最大確率を用いて、第１サブ特徴における要素を降順で順序付けする。

【0069】

ステップＣ２において、前記第１中間特徴と予め設定された内容較正行列とをつなぎ合わせ、第１つなぎ合わせ特徴を得る。

【0070】

ステップＣ３において、全結合層に基づいて前記第１つなぎ合わせ特徴を処理し、前記デコーダモジュールの次のデコーダモジュールに必要な第１サブ特徴を得る。

【0071】

Ｌ－１層目のデコーダモジュールの第１中間特徴を得た上で、次のデコーダモジュールの第１サブ特徴は例えば式（３）に示す。

【数7】

【0072】

本開示の実施例では、直前の層の第２故障分類結果を用いて直前の層の第１中間特徴を順序付けし、第１中間特徴及び予め設定された内容較正行列に基づいて当該層の第１サブ特徴を調整することにより、順序付けを最適化することで、より正確に記述される、当該層のデコーダモジュールが必要とする第１サブ特徴を得る。

【0073】

前述したように、クエリベクトルは、故障の位置情報をエンコーディングするための第２サブ特徴をさらに含み、かつ前記第１サブ特徴と前記第２サブ特徴とは要素数が同じである。

【0074】

前記クエリ順序付け層を含むデコーダモジュールについて、第２サブ特徴の順序と、順位付けされた第１サブ特徴とを一致させるために、異なるＤＥＴＲに基づく検出器に基づいて第２サブ特徴に対して、第２サブ特徴の順序付けまたは再構築をする。

【0075】

１つの可能な実施形態では、Ｈ－ＤＥＴＲ検出器（ｈｙｂｒｉｄ ｍａｔｃｈｉｎｇ ａｐｐｒｏａｃｈ、ハイブリッド・マッチング・アプローチ）について、すべての層のデコーダモジュールに対して同じ第２サブ特徴を使用することで、直前の層の第２サブ特徴を順序付けするだけで、前記デコーダモジュールは、次の方法に基づいて前記デコーダモジュールの第２サブ特徴を更新する。

【0076】

デコーダモジュールの第２サブ特徴の更新方式は例えば式（４）に示す。

【数8】

【0077】

実装時、またｗ個の検出枠を例にすると、Ｌ－１層目のデコーダモジュールの第２サブ特徴はｗ個の要素を含み、Ｌ－１層目のデコーダモジュールの第２サブ特徴における各要素は１個の検出枠に対応する。ｐ^Ｌ-１は同様にｗ個の要素を含み、各要素は１つの検出枠の故障分類結果に対応し、予め設定された故障タイプはｍ個である。いずれかの該検出枠の故障分類結果は各予め設定された故障タイプに対する確率分布｛ｍ１、ｍ２、…、ｍｍ｝であり、ｍ１は該検出枠が故障タイプ１に属する確率を表し、ｍ２は該検出枠が故障タイプ２に属する確率を表す。該検出枠の故障分類結果における最大確率を用いて、Ｌ－１層目のデコーダモジュールの第２サブ特徴における各検出枠に対応する要素を降順で順序付けし、Ｌ層目のデコーダモジュールの第２サブ特徴を得る。

【0078】

別の可能な実施形態では、ＤＩＮＯ－ＤＥＴＲ検出器（ＤＥＴＲ ｗｉｔｈＩｍｐｒｏｖｅｄ ｄｅＮｏｉｓｉｎｇ ａｎｃｈＯｒ ｂｏｘｅｓ、ノイズ低減アンカー枠を向上させるＤＥＴＲ）について、デコーダモジュールは以下の方法に基づいてデコーダモジュールの第２サブ特徴を更新する。

【0079】

ステップＤ１において、デコーダモジュールが出力する第２故障分類結果に基づいて、前記デコーダモジュールの第２サブ特徴を降順させ、第２中間特徴を得る。

【0080】

ここで、Ｌ層目のデコーダモジュールの第２中間特徴は例えば式（５）に示す。

【数9】

【0081】

実装時、具体的な順序付け方式は前記第１サブ特徴の順序付け方式と類似しており、本開示の実施例はこれについて繰り返し述べない。

【0082】

ステップＤ２において、正弦波位置符号化関数と多層パーセプトロンに基づいて第２中間特徴を再構築し、前記デコーダモジュールの次のデコーダモジュールに必要な第２サブ特徴を得る。

【0083】

Ｌ層目のデコーダモジュールの第２サブ特徴は例えば式（６）に示す。

【数10】

【0084】

【数11】

【0085】

式（７）において、（ｕ，ｖ）は、検出枠における各点が処理対象の画像における座標位置をあらわし、Ｄは第２サブ特徴に必要なエンコード次元を表し、通常Ｄは所定値であり、Ｔは変調温度であり、一般的に１００００は望ましい。

【0086】

式（７）の位置エンコーディング後、多層パーセプトロン処理によって、更新後の第２サブ特徴を得る。

【0087】

本開示の実施例では、正弦波位置符号化関数と多層パーセプトロンに基づいて第２中間特徴を再構築し、次のデコーダモジュールに必要な第２サブ特徴を得ることで、故障オブジェクトの検出枠をより正確に記述することができ、後続の処理を容易にすることができる。

【0088】

いくつかの実施例では、これまでにトレーニング済みのデコーダネットワークの本開示の実施例における使用について説明した。適切なデコーダネットワークを得ることができるように、本開示の実施例では、デコーダネットワークのトレーニング過程において、デコーダネットワークにおける各デコーダモジュールの分類較正行列は学習可能であり、かつデコーダネットワークをトレーニングすることによって得られる。以下のように実装することができる。

【0089】

前記デコーダネットワークをトレーニングする過程において、紡糸作業場において溶融物の温度の制御は比較的に重要であり、故障の識別は保温層の保温効果を評価するのに重点を置いており、分類較正行列をランダムに初期化するのは、理想的な状態から離れている可能性がある。モデルの収束を加速するために、本開示の実施例では以下の方法に基づいて前記分類較正行列を初期化することができる。

【0090】

ステップＨ１において、前記プロセス制御装置に対して収集した熱画像のサンプルから、故障エリアのサブサンプルを分割して得る。

【0091】

ステップＨ２において、前記サブサンプルと前記故障エリアが正常動作状態におけるサンプルデータとの差異に基づいて、前記分類較正ベクトルを初期化する。

【0092】

本開示の実施例では、サブサンプルと故障エリアが正常動作状態におけるサンプルデータとの差異に基づいて、分類較正ベクトルを初期化することで、分類較正ベクトルの初期化状態が保温層の温度情報に基づいて表現でき、これによってモデルトレーニングの収束を加速することを容易にし、利用可能な分類較正ベクトルをできるだけ早く学習することを支援する。

【0093】

３）故障検出結果の取得

【0094】

いくつかの実施例では、前述したようにプロセス制御装置において温度制御システムを含み、温度制御システムは加熱装置と溶融物分配管を含む。温度の検出について、以下のように実装することができる。

【0095】

ステップＥ１において、赤外線カメラに基づいて、前記温度制御システムの熱画像を取得する。

【0096】

ステップＥ２において、前記温度制御システムの目標部品について、前記熱画像から前記目標部品の画像ブロックを抽出する。

【0097】

ここで、目標部品は溶融物分配管であってもよく、加熱装置であってもよい。

【0098】

ステップＥ３において、前記目標部品の画像ブロックと前記目標部品の標準画像ブロックとを比較することによって、前記目標部品の画像ブロックと前記目標部品の標準画像ブロックとの差異情報を得る。

【0099】

該目標部品の標準画像ブロックは、該目標部品の標準温度範囲である。収集された目標部品の画像ブロックと目標画像の標準温度範囲とを比較して、両者の差異情報を得る。具体的には、差異情報を、同じ画素位置の画素値の差異の統計情報に基づいて表現することができる。統計情報は、例えば、平均値、分散などである。また、事前にトレーニングされたモデルを用いて両者の特徴行列をそれぞれ抽出し、次に特徴行列の間の差異を計算し、その差異情報を得ることができる。

【0100】

ステップＥ４において、前記差異情報に基づいて、前記目標部品の温度が正常温度範囲であるか否かを検出する。

【0101】

目標部品の画像ブロックが目標画像の標準温度範囲に属する場合、当該目標部品に異常がないことを決定する一方、目標部品の画像ブロックが目標画像の標準温度範囲に属していない場合、当該目標部品に異常があると決定する。故障検出結果におけるデコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、最後の層のデコーダモジュールが出力する故障位置とを結合して、異常状況を決定する。

【0102】

本開示の実施例では、収集された目標部品の熱画像と当該目標部品の標準画像ブロックとを比較し、当該時点において目標部品の温度が正常であるかどうかを決定する。

【0103】

いくつかの実施例では、前記故障検出結果における第２故障分類結果には故障種別と故障等級とが含まれ、前記方法はさらに以下を含む。

【0104】

ステップＦ１において、前記故障検出結果が、前記プロセス制御装置の温度制御システムに故障が発生し、かつ、故障等級が予め設定された等級より高いことを示す場合、修理タスクを生成し、前記修理タスクは修理タスクの緊急度及び前記故障検出結果を含む。

【0105】

ステップＦ２において、前記修理タスクを目標クライアント側にプッシュする。

【0106】

ここで、例えば、温度制御システムにおける溶融物分配管の上面の保温層の破損が大きすぎて（例えば、破損の深さが予め設定された深さより大きく、破損の半径が予め設定された半径より大きい）、かつ、保温管の温度に影響を与える（例えば、熱画像に基づいて異常が発見された）ことが検出され場合、該故障検出結果は最高リスクであり、即座処理する必要がある。温度制御システムにおける溶融物分配管の上面の保温層の破損が小さすぎて、かつ、保温管の温度に影響を与えることがないことが検出された場合、当該故障検出結果は低リスクであり、まず当該修理タスクを記録し、従業員が定期的に処理することができる。

【0107】

本開示の実施例では、故障の緊急度に基づいて異なる処理戦略が実行され、実際の状況に基づいて適応的に調整することができる。

【0108】

いくつかの実施例では、紡糸作業場のオープンエリアにプロセスの補助材料が堆積する可能性があるため、オープンエリアに対しても画像収集を行う必要があり、以下のように実装することができる。

【0109】

ステップＧ１において、前記紡糸作業場における紡糸箱のオープンエリアに対して画像を収集し、目標画像を得る。

【0110】

ステップＧ２において、前記目標画像に基づいて、前記オープンエリアにおけるプロセスの補助材料の堆積状況を検出し、検出結果を得る。

【0111】

ステップＧ３において、前記検出結果と前記オープンエリアの履歴検出結果とに基づいて、検出レコードを生成する。

【0112】

位置座標１にプロセスの補助材料の堆積が存在している検出結果の場合、履歴検出結果にすでに２つの「位置座標１にプロセスの補助材料の堆積が存在する」というレコードが存在しているため、該検出結果を引き続き「位置座標１にプロセスの補助材料の堆積が存在する」の３つ目のレコードとして記録する。

【0113】

ステップＧ４において、前記検出レコードとレポート戦略の集合とをマッチングする。

【0114】

ここで、レポート戦略の集合は、同じ検出レコードが１つの場合に１級従業員に報告し、同じ検出レコードが２つの場合に２級従業員に報告し、同じ検出レコードがｑ個記録された場合にｑ級従業員に報告し、このように類推する。ｑ級管理者はｑ－１級管理者の上級管理者であり、このように類推すると、２級管理者は１級管理者の上級である。

【0115】

ステップＧ５において、前記レポート戦略の集合においてマッチングして得られたレポート戦略に基づいて、警報情報を生成する。

【0116】

本開示の実施例では、管理上の脆弱性を補完するために、プロセスの補助材料の堆積の状況に基づいて異なるレポート戦略が対応することで作業者が忘れてしまうことを回避する。

【0117】

以上をまとめると、１つの可能な実施形態において、本開示の実施例において提案された紡糸作業場の検出方法に適用可能なネットワークフレームワークは例えば図５に示すように、処理対象の画像をバックボーンネットワークに入力し、初期画像特徴を得、前記初期画像特徴をエンコーダネットワークに入力し、前記第１画像特徴を得る。第１画像特徴を、ｎ個のデコーダモジュールを含むデコーダネットワークに入力する。

【0118】

本開示の実施例においてクエリベクトルは初期化されてＱ^０が得られ、処理画像を複数の格子に分割し、各格子を位置エンコーディングし、目標位置エンコードＰＥを得る。初期化クエリベクトルＱ^０と目標位置エンコードＰＥとを融合処理した後、最初のデコーダモジュール１における自己注意モジュール１のクエリベクトルＱとし、目標位置エンコードＰＥを第１デコーダモジュール１における自己注意モジュール１のＫ及びＶとする。自己注意モジュール１の出力は自己注意特徴ＴＥ１である。

【0119】

自己注意特徴ＴＥ１と目標位置エンコードＰＥとを融合し、最初のデコーダモジュール１におけるクロス注意モジュール１のＱとし、第１画像特徴をクロス注意モジュール１のＶとし、第１画像特徴及びエンコーダネットワークの入力における予め設定された位置エンコードＣＥ（該位置エンコードはカメラの位置エンコード、例えばカメラの巡回検査経路における位置エンコード）の融合特徴をクロス注意モジュール１のＫとする。

【0120】

その後の各デコーダモジュールＬについて、その自己注意モジュールＬのＱ、Ｋ、Ｖは、目標位置エンコードＰＥと直前のデコーダモジュールの更新されたＱに基づいて構築される。例えば、Ｋ及びＶはいずれも目標位置エンコードＰＥであり、そのＱは直前のデコーダモジュールに基づいて更新されたＱである。

【0121】

その後の各デコーダモジュールＬについて、そのクロス注意モジュールＬのＱ、Ｋ、Ｖは、自己注意特徴ＴＥＬ、第１画像特徴、及び予め設定された位置エンコードに基づいて構築される。例えば、そのＱは自己注意モジュールＬが出力した自己注意特徴ＴＥＬであり、そのＶは第１画像特徴であり、Ｋは第１画像特徴と予め設定された位置エンコードの融合特徴である。

【0122】

処理過程において、各層のデコーダ層、適応型分類ヘッド、クエリ順序付け層の処理を通して、最終的な故障検出結果と故障位置を得る。

【0123】

同じ技術的思想に基づいて、本開示の実施例は、図６に示すように、紡糸作業場の検出装置６００を提供し、
紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得るための収集ユニット６０１と、
処理対象の画像から第１画像特徴を抽出するための抽出ユニット６０２と、
デコーダネットワークに基づいて第１画像特徴を処理し、プロセス制御装置に対する故障検出結果を得るための処理ユニット６０３と、を備え、
デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含み、
各デコーダモジュールについて、デコーダモジュールはデコーダ層と適応型分類ヘッドとを含み、かつ、適応型分類ヘッドは、デコーダ層の出力特徴を分類予測して第１故障分類結果を得、予め設定された分類較正行列に基づいて第１故障分類結果を更新してデコーダモジュールが出力する第２故障分類結果を得ることに用いられ、
デコーダネットワークが出力する故障検出結果は、デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果と、最後の層のデコーダモジュールが出力する故障位置とを含む。

【0124】

いくつかの実施例では、各デコーダモジュールのクエリベクトルは、セマンティック種別情報を捕捉するための第１サブ特徴を含み、
前記デコーダネットワークにおける最後のデコーダモジュール以外の少なくとも１つのデコーダモジュールは、クエリ順序付け層をさらに含み、
前記装置は、
前記クエリ順序付け層を含むデコーダモジュールについて、デコーダモジュールによって、
前記デコーダモジュールが出力する第２故障分類結果に基づいて前記デコーダモジュールの第１サブ特徴における第１要素を降順させ、第１中間特徴を得、
前記第１中間特徴と予め設定された内容較正行列とをつなぎ合わせ、第１つなぎ合わせ特徴を得、
全結合層に基づいて前記第１つなぎ合わせ特徴を処理し、前記デコーダモジュールの次のデコーダモジュールに必要な第１サブ特徴を得る、方法に基づいて前記デコーダモジュールの第１サブ特徴を更新するための第１更新ユニットをさらに備える。

【0125】

いくつかの実施例では、各デコーダモジュールのクエリベクトルは、故障の位置情報をエンコーディングするための第２サブ特徴をさらに含み、かつ前記第１サブ特徴と前記第２サブ特徴とは要素数が同じであり、
前記装置は、
前記クエリ順序付け層を含むデコーダモジュールについて、デコーダモジュールによって、
前記デコーダモジュールが出力する第２故障分類結果に基づいて、前記デコーダモジュールの第２サブ特徴を降順させ、第２中間特徴を得、
正弦波位置符号化関数と多層パーセプトロンに基づいて第２中間特徴を再構築し、前記デコーダモジュールの次のデコーダモジュールに必要な第２サブ特徴を得る、方法に基づいて前記デコーダモジュールの第２サブ特徴を更新するための第２更新ユニットをさらに備える。

【0126】

いくつかの実施例では、前記故障検出結果における第２故障分類結果には故障種別と故障等級とが含まれ、前記装置は、
前記故障検出結果が、前記プロセス制御装置の温度制御システムに故障が発生し、かつ、故障等級が予め設定された等級より高いことを示す場合、修理タスクであって、修理タスクの緊急度及び前記故障検出結果を含む修理タスクを生成することと、
前記修理タスクを目標クライアント側にプッシュすることと、に用いられるプッシュユニットをさらに備える。

【0127】

いくつかの実施例では、前記抽出ユニット６０２は、
前記処理対象の画像をバックボーンネットワークに入力し、初期画像特徴を得ることと、
前記初期画像特徴をエンコーダネットワークに入力し、前記第１画像特徴を得ることと、に用いられる。

【0128】

いくつかの実施例では、前記抽出ユニット６０２は、
前記処理対象の画像をセグメント・エニシング・モデルに入力し、目標位置のマスク画像を得ることと、
前記目標位置のマスク画像に基づいて、前記目標位置のマスク画像を収容するように最小矩形包囲枠を生成することと、
前記最小矩形包囲枠に基づいて前記処理対象の画像から可視サブ画像を切り出し、前記処理対象の画像と同じビュー範囲の熱画像から前記最小矩形包囲枠における熱サブ画像を切り出すことと、
前記可視サブ画像をバックボーンネットワークに入力し、第１サブ画像特徴を得ることと、
前記第１サブ画像特徴をエンコーダネットワークに入力し、融合対象のサブ画像特徴を得ることと、
前記熱サブ画像から熱特徴を抽出することと、
前記融合対象のサブ画像特徴と、前記熱特徴と、前記セグメント・エニシング・モデルが前記処理対象の画像の前記最小矩形包囲枠から抽出した第２サブ画像特徴とを融合処理し、前記第１画像特徴を得ることと、に用いられる。

【0129】

いくつかの実施例では、前記プロセス制御装置は温度制御システムを含み、前記装置は、
赤外線カメラに基づいて、前記温度制御システムの熱画像を取得することと、
前記温度制御システムの目標部品について、前記熱画像から前記目標部品の画像ブロックを抽出することと、
前記目標部品の画像ブロックと、前記目標部品の標準画像ブロックとを比較することによって、前記目標部品の画像ブロックと前記目標部品の標準画像ブロックとの差異情報を得ることと、
前記差異情報に基づいて、前記目標部品の温度が正常温度範囲であるか否かを検出することと、に用いられる温度検出ユニットをさらに備える。

【0130】

いくつかの実施例では、前記装置は、
前記紡糸作業場における紡糸箱のオープンエリアに対して画像収集を行い、目標画像を得ることと、
前記目標画像に基づいて、前記オープンエリアにおけるプロセスの補助材料の堆積状況を検出し、検出結果を得ることと、
前記検出結果と前記オープンエリアの履歴検出結果とに基づいて、検出レコードを生成することと、
前記検出レコードと、レポート戦略の集合とをマッチングすることと、
前記レポート戦略の集合においてマッチングして得られたレポート戦略に基づいて、警報情報を生成することと、に用いられる警報ユニットをさらに備える。

【0131】

いくつかの実施例では、前記デコーダネットワークにおける各デコーダモジュールの分類較正行列は、学習可能であり、かつ前記デコーダネットワークをトレーニングすることによって得られ、前記装置は、
前記デコーダネットワークをトレーニングする過程において、
前記プロセス制御装置に対して収集した熱画像のサンプルから、故障エリアのサブサンプルを分割して得、
前記サブサンプルと前記故障エリアが正常動作状態におけるサンプルデータとの差異に基づいて、前記分類較正ベクトルを初期化する、方法に基づいて前記分類較正行列を初期化する、ことに用いられる初期化ユニットをさらに備える。

【0132】

本開示の実施例による装置の各モジュール、サブモジュール／ユニットの具体的な機能及び例示的な説明は、上記した方法の実施例における対応するステップの関連する説明を参照することができ、ここでは繰り返し述べない。

【0133】

本開示の技術的解決策では、ユーザの個人情報の取得、記憶、及びアプリケーションは、関連する法律及び規則の規定に準拠し、公序良俗に違反しない。

【0134】

図７は本開示の一実施例による電子デバイスの構造ブロック図である。図７に示すように、該電子デバイスはメモリ７１０とプロセッサ７２０とを含み、メモリ７１０にはプロセッサ７２０で実行可能なコンピュータプログラムが記憶される。メモリ７１０及びプロセッサ７２０の数は、１つ又は複数であり得る。メモリ７１０は、１つ又は複数のコンピュータプログラムを記憶することができ、該１つ又は複数のコンピュータプログラムは、該電子デバイスによって実行されると、該電子デバイスに上記の方法の実施例により提供される方法を実行させる。該電子デバイスはさらに以下を含むことができる。通信インターフェース７３０は、外部デバイスと通信し、データのインタラクション・伝送を行うことに用いられる。

【0135】

メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０が独立して実装される場合、メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０は、バスを介して互いに接続され、相互間の通信を行うことができる。該バスは、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＰＣＩ（Ｐｅｒｉｐｈｅｒaｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、又はＥＩＳＡ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バスなどであり得る。該バスは、アドレスバス、データバス、制御バスなどに分類することができる。説明を容易にするために、図７に一本の太線のみで示すが、一本のバス又は一種類のバスのみを示すものではない。

【0136】

任意選択で、具体的な実装形態では、メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０が１つのチップ上に集積される場合、メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０は、内部インターフェースを介して相互間の通信を行うことができる。

【0137】

上記プロセッサは中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎg Ｕｎｉｔ、ＣＰＵ）であってもよく、さらに他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉgｉｔａｌ Ｓｉgｎａｌ Ｐｒｏｃｅｓｓｉｎg、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅgｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏgｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアアセンブリ等であってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであり得る。なお、プロセッサは、Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）アーキテクチャをサポートするプロセッサであり得る。

【0138】

さらに、選択的に、上記メモリは読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、さらに不揮発性ランダムアクセスメモリを含んでもよい。該メモリは、揮発性メモリ又は不揮発性メモリのいずれかであり得るか、あるいは揮発性メモリと不揮発性メモリの両方を含み得る。ここで、不揮発性メモリは、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏgｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリを含むことができる。揮発性メモリは、外部キャッシュとして機能するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）を含むことができる。限定ではなく例として、多くの形態のＲＡＭが利用可能である。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）、シナリオクロナスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ、ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ、ＥＳＤＲＡＭ）、シナリオクリンクＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ、ＳＬＤＲＡＭ）及びダイレクトＲＡＭＢＵＳＲＡＭ（Ｄｉｒｅｃｔ ＲＡＭＢＵＳ ＲＡＭ、ＤＲ ＲＡＭ）である。

【0139】

上述の実施例では、全体的又は部分的に、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合に、全体又は一部はコンピュータプログラム製品の形態で実装され得る。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータ命令がロードされ、コンピュータ上で実行されると、本開示の実施例によるプロセス又は機能が全体的又は部分的に生成される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、ＤＳＬ））又は無線（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、マイクロ波等）を介して、１つのウェブサイトサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイトサイト、コンピュータ、サーバ、又はデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体、又は１つもしくは複数の利用可能な媒体と統合されたサーバ、データセンタなどを含むデータ記憶デバイスであり得る。前記使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートディスク（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ））などであり得る。なお、本開示で言及されるコンピュータ可読記憶媒体は、不揮発性記憶媒体、言い換えれば、非一時的記憶媒体であり得る。

【0140】

当業者は上記実施例を実現する全部又は一部のステップがハードウェアによって実装されてもよく、プログラムによって関連するハードウェアに命令して実装されてもよく、前記プログラムはコンピュータ可読記憶媒体に記憶されてもよく、上記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよいことを理解することができる。

【0141】

本開示の実施例の説明において、参照用語「１つの実施例」、「いくつかの実施例」、「例」、「具体的な例」、又は「いくつかの例」等の説明は該実施例又は例に関連して説明された具体的な特徴、構造、材料又は特徴が本開示の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明された具体的な特徴、構造、材料又は特徴はいずれか１つ又は複数の実施例又は例において適切な方式で組み合わせることができる。さらに、当業者は、本開示に記載された異なる実施形態又は例及び異なる実施形態又は例の特徴を、互いに矛盾しない範囲で結びつけてもよい。

【0142】

本開示の実施例の説明において、「／」は、別段の説明がない限り、又はという意味を表し、例えば、Ａ／Ｂは、Ａ又はＢのいずれかを表し得る。本開示における「及び／又は」は関連オブジェクトの関連関係を説明することに過ぎず、三種類の関係が存在してもよいことを示し、例えば、Ａ及び／又はＢは、以下を示すことができる。Ａが単独で存在し、Ａ及びＢが同時に存在し、Ｂが単独で存在するという三種類の状況である。

【0143】

本開示の実施例の説明では、「第１」及び「第２」という用語は、説明の目的のみのために使用され、相対的な重要性を示す又は暗示するものと解釈されるべきではなく、示される技術的特徴の数を暗示するものと解釈されるべきではない。したがって、「第１」及び「第２」として定義される特徴は、明示的又は暗黙的に、そのような特徴のうちの１つ又は複数を含み得る。本開示の実施例の説明において、「複数」とは、別段の説明がない限り、２つ以上を意味する。

【0144】

以上は本開示の例示的な実施例に過ぎず、本開示を限定するものではなく、本開示の精神及び原則の範囲内で、行われた任意の修正、同等置換、改良等は、いずれも本開示の保護範囲内に含まれるべきである。

【要約】

【課題】紡糸作業場の検出方法、装置、電子デバイス及び記憶媒体を提供する。
【解決手段】紡糸作業場における紡糸箱のプロセス制御装置に対して画像収集を行い、処理対象の画像を得ることと、処理対象の画像から第１画像特徴を抽出することと、デコーダネットワークに基づいて第１画像特徴を処理し、故障検出結果を得ることと、を含み、デコーダネットワークは順次直列に接続された複数のデコーダモジュールを含み、各デコーダモジュールについて、デコーダモジュールはデコーダ層と適応型分類ヘッドとを含み、かつ、適応型分類ヘッドは、デコーダ層の出力特徴を分類予測して第１故障分類結果を得、デコーダネットワークが出力する故障検出結果は、デコーダネットワークの最後の層のデコーダモジュールが出力する第２故障分類結果を含む。本開示の実施例では、紡糸作業場に対して自動化した監視を行う。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】