特許 7588268 サンプルデータの処理方法、装置、電子デバイス、記憶媒体及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-13

(45)【発行日】2024-11-21

(54)【発明の名称】サンプルデータの処理方法、装置、電子デバイス、記憶媒体及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241114BHJP

【ＦＩ】

G06T7/00 610C

【請求項の数】 9

(21)【出願番号】P 2024147260

(22)【出願日】2024-08-29

【審査請求日】2024-08-29

(31)【優先権主張番号】202311166776.6

(32)【優先日】2023-09-11

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】523443995

【氏名又は名称】チョーチアン ヘンイー ペトロケミカル カンパニー，リミテッド

(73)【特許権者】

【識別番号】523477093

【氏名又は名称】チョーチアン ヘンイー ハイ－テク マテリアルズ カンパニー，リミテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】シエンタオ ポン

(72)【発明者】

【氏名】ポン ワン

(72)【発明者】

【氏名】ターコー リー

(72)【発明者】

【氏名】ヤオピン チャン

(72)【発明者】

【氏名】ホイタオ ファン

(72)【発明者】

【氏名】フォン シュイ

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０２１－０８２１５４（ＪＰ，Ａ）

【文献】中国実用新案第２１０７７５２４５（ＣＮ，Ｕ）

【文献】特開２０１７－０５４２３９（ＪＰ，Ａ）

【文献】中国特許第１１０１７５６５９（ＣＮ，Ｂ）

【文献】中国特許出願公開第１１３６８８８８９（ＣＮ，Ａ）

【文献】中国実用新案第２１５２８１９２０（ＣＮ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００

(57)【特許請求の範囲】

【請求項1】

サンプルデータの処理方法であって、
紡糸ボックスの複数の第１作業画像を取得することと、
前記複数の第１作業画像のそれぞれに対して、前記第１作業画像と前記紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合に、前記第１作業画像を前記紡糸ボックスの欠陥画像として決定することと、
前記複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得ることであって、前記第１サンプルデータセットは前記紡糸ボックスの欠陥検出モデルをトレーニングして得ることに用いられ、前記欠陥検出モデルは前記紡糸ボックスの第２作業画像に欠陥が存在するか否かを検出することに用いられる、ことと、を含み、
前記欠陥検出モデルの信頼度が第２条件を満たさない場合に、前記第１サンプルデータセットにおける各画像の特徴量に基づいて、前記第１サンプルデータセットから第２サンプルデータセットを決定することと、
前記第２サンプルデータセットに基づいて前記欠陥検出モデルを更新することと、をさらに含む、
サンプルデータの処理方法。

【請求項2】

前記複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得ることは、
少なくとも１つの欠陥タイプに基づいて前記各欠陥画像に対して分類を行い、前記少なくとも１つの欠陥タイプと１対１に対応する少なくとも１つの画像セットを得ることと、
前記少なくとも１つの画像セットに基づいて、前記第１サンプルデータセットを得ることと、を含む、
請求項１に記載のサンプルデータの処理方法。

【請求項3】

前記少なくとも１つの欠陥タイプは、前記紡糸ボックスにおける紡糸口金、糸、糸ガイドフック及びオイルノズルの欠陥のうちの少なくとも１つを含む、
請求項２に記載のサンプルデータの処理方法。

【請求項4】

前記少なくとも１つの画像セットに基づいて、前記第１サンプルデータセットを得ることは、
前記少なくとも１つの画像セットのうちの各画像セットに対して、前記画像セットに対応する欠陥タイプに基づいて前記画像セットにおける各画像に対してトリミングを行い、前記画像セットに対応する検出領域画像セットを得ることと、
前記少なくとも１つの画像セットと１対１に対応する少なくとも１つの検出領域画像セットに基づいて、前記第１サンプルデータセットを得ることと、を含む、
請求項２に記載のサンプルデータの処理方法。

【請求項5】

前記第１サンプルデータセットにおける各画像の特徴量に基づいて、前記第１サンプルデータセットから第２サンプルデータセットを決定することは、
前記第１サンプルデータセットにおける各画像に対してクラスタリングを行い、複数のクラスクラスタを得ることと、
前記複数のクラスクラスタにおける各クラスクラスタに対して、前記クラスクラスタにおける各画像の特徴量に基づいて、前記クラスクラスタにおける目標画像を決定することと、
前記各クラスクラスタにおける目標画像に基づいて、前記第２サンプルデータセットを
得ることと、を含む、
請求項１に記載のサンプルデータの処理方法。

【請求項6】

サンプルデータの処理装置であって、
紡糸ボックスの複数の第１作業画像を取得するための画像取得モジュールと、
前記複数の第１作業画像のそれぞれに対して、前記第１作業画像と前記紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合に、前記第１作業画像を前記紡糸ボックスの欠陥画像として決定するための欠陥画像決定モジュールと、
前記複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得るための第１サンプル処理モジュールであって、前記第１サンプルデータセットは前記紡糸ボックスの欠陥検出モデルをトレーニングして得ることに用いられ、前記欠陥検出モデルは前記紡糸ボックスの第２作業画像に欠陥が存在するか否かを検出することに用いられる、第１サンプル処理モジュールと、
前記欠陥検出モデルの信頼度が第２条件を満たさない場合に、前記第１サンプルデータセットにおける各画像の特徴量に基づいて、前記第１サンプルデータセットから第２サンプルデータセットを決定するための第２サンプル処理モジュールと、
前記第２サンプルデータセットに基づいて前記欠陥検出モデルを更新するためのモデル更新モジュールと、を備える、
サンプルデータの処理装置。

【請求項7】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項５のいずれか１項に記載の方法を実行させる、
電子デバイス。

【請求項8】

コンピュータに請求項１から請求項５のいずれか１項に記載の方法を実行させるコンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体。

【請求項9】

コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項５のいずれか１項に記載の方法を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は人工知能技術分野に関し、特に画像処理、コンピュータビジョン分野に関する。

【背景技術】

【0002】

化学繊維業界において、紡糸ボックスは化学繊維糸を生産する工程において、紡糸原材料が非ニュートン流体の形を呈するため一定の粘性があり、かつ紡糸ボックスが長時間稼働すると機械の温度が高すぎるため、紡糸ボックス内に糸切れ、浮糸、糸引っ掛け、オイルノズルの傾き、糸ガイドフックの傾き、糸が糸ガイドフック内に入っていないなどの異常が発生する可能性があり、紡糸ボックスを巡回検査する必要がある。従来の巡回検査の方式は人工による巡回検査であり、効率が低くコストが高いという欠点があった。関連技術ではＡＩモデルを用いた画像検出の方式が提案され、紡糸ボックスの異常を自動的に識別する。しかし、モデルのトレーニングには大量のサンプルが必要であり、サンプル画像を人工的に収集する必要もある。一方、紡糸ボックス内の異常の発生頻度が低く、且つ糸自体の糸状特性により、例えば、浮糸、糸引っ掛けなどの異常領域が微細であるため、判別が困難である。そのため、人工的にサンプル画像を収集する効率は非常に低く、エラーも発生しやすい。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、従来技術における１つ又は複数の技術的問題を解決又は緩和するために、サンプルデータの処理方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。

【課題を解決するための手段】

【0004】

第１態様では、本開示はサンプルデータの処理方法を提供し、該方法は、
紡糸ボックスの複数の第１作業画像を取得することと、
複数の第１作業画像のそれぞれに対して、第１作業画像と紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合に、第１作業画像を紡糸ボックスの欠陥画像として決定することと、
複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得ることであって、第１サンプルデータセットは紡糸ボックスの欠陥検出モデルをトレーニングして得ることに用いられ、欠陥検出モデルは紡糸ボックスの第２作業画像に欠陥が存在するか否かを検出することに用いられる、ことと、を含む。

【0005】

第２態様では、本開示はサンプルデータの処理装置を提供し、該装置は、
紡糸ボックスの複数の第１作業画像を取得するための画像取得モジュールと、
複数の第１作業画像のそれぞれに対して、第１作業画像と紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合に、第１作業画像を紡糸ボックスの欠陥画像として決定するための欠陥画像決定モジュールと、
複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得るための第１サンプル処理モジュールであって、第１サンプルデータセットは紡糸ボックスの欠陥検出モデルをトレーニングして得ることに用いられ、欠陥検出モデルは紡糸ボックスの第２作業画像に欠陥が存在するか否かを検出することに用いられる、第１サンプル処理モジュールと、を備える。

【0006】

第３態様では、本開示は電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
該メモリには、該少なくとも１つのプロセッサで実行可能な命令が記憶され、該命令は、該少なくとも１つのプロセッサによって実行されると、本開示の実施例におけるいずれか１つの方法を実行させる。

【0007】

第４態様では、本開示の実施例におけるいずれか１つの方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体を提供する。

【0008】

第５態様では、プロセッサにより実行されると、本開示の実施例におけるいずれか１つの方法を実現するためのプログラムを提供する。

【0009】

本開示により提供された技術的解決策の有益な効果は少なくとも以下を含み、即ち、紡糸ボックスの第１作業画像と正常画像とを比較することにより、紡糸ボックスの欠陥画像を得、欠陥画像から欠陥検出モデルをトレーニングするための第１サンプルデータセットを得ることができ、サンプルデータの収集効率及び正確性を向上させ、これに伴って欠陥検出モデルのトレーニング効率及びモデル精度を向上させることができ、紡糸ボックスの異常検出の正確性を高めることができる。

【0010】

ここに記載された内容は、本開示の実施例のキーポイントまたは重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して理解を促す。

【図面の簡単な説明】

【0011】

添付図面において、別段の定めがない限り、複数の添付図面を通じて同一の図面符号は、同一または類似の構成部品または要素を示す。これらの添付図面は、必ずしも縮尺通りに描かれていない。これらの図面は、本開示により提供されるいくつかの実施例のみを示し、本開示の範囲を限定するものと見なされるべきではないことを理解すべきである。

【図1】本開示の一実施例によるサンプルデータの処理方法の適用シナリオを示す概略図である。

【図2】本開示の一実施例によるサンプルデータの処理方法のフローチャート概略図である。

【図3】本開示の一実施例によるサンプルデータの処理装置を示す概略ブロック図である。

【図4】本開示の他の実施例によるサンプルデータの処理装置を示す概略ブロック図である。

【図5】本開示の他の実施例によるサンプルデータの処理装置を示す概略ブロック図である。

【図6】本開示の実施例に係るサンプルデータの処理方法を実行するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して本開示についてさらに詳細に説明する。添付図面において、同一の図面符号は、同一または類似の要素を表す。また、添付図面において、実施例の様々な態様が示されているが、別段説明がない限り、これらの添付図面は、必ずしも縮尺通りに描かれていない。

【0013】

さらに、本開示をよりよく説明するために、以下の具体的な実施形態にて多くの具体的な詳細を記載している。当業者は、いくつかの詳細がなくても本開示は同様に実施され取得することを理解すべきである。いくつかの実施例では、本開示の主旨が明瞭となるように、当業者によく知られている方法、手段、構成要素、及び回路などは詳細に説明していない。

【0014】

本開示の実施例によるサンプルデータの処理方法を理解しやすくするために、以下ではまず、この方法の適用シナリオについて例示的に説明する。図１は本開示の実施例によるサンプルデータの処理方法の例示的な適用シナリオを示す概略図である。この応用シナリオには作業場内に配置された巡回検査ロボット１０が含まれ、巡回検査ロボット１０は紡糸ボックス２０の作業画像を収集するための画像収集装置１１（例えば撮影装置、カメラなど）を含むことができる。

【0015】

画像収集装置１１は処理装置１２に接続されてもよく、紡糸ボックス２０の第１作業画像を処理装置１２に送信する。処理装置１２は、紡糸ボックス２０の第１作業画像を処理して、第１サンプルデータセットを得ることに用いられる。第１サンプルデータセットは紡糸ボックス２０の欠陥検出モデルをトレーニングして得ることに用いられる。欠陥検出モデルを得た後、画像収集装置１１は欠陥検出モデルに接続されてもよく、紡糸ボックス２０の第２作業画像を欠陥検出モデルに送信する。欠陥検出モデルは紡糸ボックス２０の第２作業画像の欠陥関連情報を検出することに用いられ、当該欠陥関連情報は欠陥の有無、検出された欠陥タイプ及び各欠陥タイプの信頼度を含むことができる。欠陥検出モデルが第２作業画像に欠陥があると検出した場合に、巡回ロボット１０のメカニカル・アームは、メンテナンスを待つために紡糸ボックス２０を停止させるように第２作業画像に対応する紡糸ボックス２０の電源をトリガすることができる。巡回ロボット１０のメカニカル・アームは、紡糸ボックス２０がユーザデバイスにアラーム情報を送信するように第２作業画像に対応する紡糸ボックス２０上のアラーム装置をトリガすることもでき、ここで、アラーム情報は紡糸ボックス２０の位置、型番などを含むことができる。

【0016】

本開示の実施例に係る方法によれば、この適用シナリオにおいて、巡回ロボット１０の画像収集装置１１と処理装置１２を設置する。巡回ロボット１０は、紡糸ボックス２０の欠陥関連情報を取得することができる。巡回ロボット１０は、紡糸ボックス２０の欠陥関連情報をユーザデバイスに送信するためにユーザデバイスと対話すること、または、第１サンプルデータセットに関連する各種管理機能を実行することができる。

【0017】

選択的に、上記処理装置１２は、巡回ロボット１０に設けられてもよいし、遠隔機器に設けられてもよい。例えば、画像収集装置１１及び処理装置１２は、図１に示すように、巡回ロボット１０上に設けられていてもよく、また、処理装置１２は、巡回ロボット１０上に設けられなくてもよく、すなわち、巡回ロボット１０は、紡糸ボックス２０の画像収集のみを担当し、紡糸ボックス２０の画像を処理装置１２に送信してもよい。

【0018】

図２は本開示の一実施例によるサンプルデータの処理方法を示す概略図である。この方法は、電子デバイスにデプロイすることができるサンプルデータの処理装置に適用することができる。電子デバイスは、例えば、スタンドアロンデバイスまたは複数のオンライン端末、サーバ、または他の処理装置である。ここで、端末は、モバイルデバイス、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ，ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載デバイス、ウェアラブルデバイスなどのユーザデバイス（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ，ＵＥ）であってもよい。いくつかの可能な実施形態では、この方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出すことによって実行することもできる。図１に示すように、この方法は、以下のステップＳ２１０～Ｓ２３０を含むことができる。

【0019】

ステップＳ２１０において、紡糸ボックスの複数の第１作業画像を取得する。

【0020】

本開示の実施例では、第１作業画像は、紡糸ボックスにおける１つまたは複数の位置が実際の作業状態にある画像を含む。例示的には、第１作業画像は、紡糸ボックスにおける紡糸口金、糸、糸ガイドフック、及びオイルノズルのうちの任意の少なくとも１つの位置の画像を含むことができる。

【0021】

例示的には、第１作業画像は、巡回ロボットまたは手動で紡糸ボックスをリアルタイムで撮影して得られたものであってもよいし、データベースにおける紡糸ボックスの履歴画像であってもよい。

【0022】

例示的には、第１作業画像は、紡糸ボックスが通常作業状態にある正常画像を含むことができ、また、紡糸ボックスが異常作業状態にある欠陥画像を含むこともできる。

【0023】

ステップＳ２２０において、複数の第１作業画像のそれぞれに対して、第１作業画像と紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合に、第１作業画像を紡糸ボックスの欠陥画像として決定する。

【0024】

本開示の実施例では、正常画像は、紡糸ボックスにおける１つまたは複数の位置が正常作業時にある画像を含み、正常画像に現れる紡糸ボックスの位置は、第１作業画像に現れる紡糸ボックスの位置とは同一または対応する。例えば、第１作業画像が紡糸ボックスにおける紡糸口金が作業しているときの画像（正常に作業しているか、異常に作業しているか、判別する必要がある）を含む場合、正常画像は紡糸ボックスにおける紡糸口金が正常作業状態にあるときの画像を含む。例示的には、紡糸ボックスから製造された化学繊維糸の品質によって、紡糸ボックスの画像が正常画像であるか否かを判断することができ、紡糸ボックスから製造された化学繊維糸の品質が高い場合、該紡糸ボックスの画像は正常画像である。実際の応用では、上述の方法に適用するために、予め正常画像を収集することができる。

【0025】

例示的には、第１作業画像の画素点と正常画像の画素点とを比較し、第１作業画像の画素点と正常画像の画素点との間の相違により、第１作業画像と正常画像との間の相違を取得することができる。ここで、画素点は画像におけるすべての位置における画素点であってもよいし、画像における１つまたは複数の位置における画素点であってもよい。例えば、第１作業画像の紡糸口金及び正常画像の紡糸口金における画素点を比較して、第１作業画像の紡糸口金と正常画像の紡糸口金との間の相違を取得することができる。

【0026】

本開示の実施例では、第１条件は、第１作業画像と正常画像との間の相違が明らかであるか否か、または該相違が第１作業画像の欠陥であるか否かを確認するために使用することができる。例示的には、第１条件は、相違のある位置のサイズ、数、位置などと関連することができる。例えば、第１条件は、第１作業画像と正常画像との間に相違がある画素の数が閾値より大きい（例えば、０より大きい、１０より大きい、１００より大きいなど）、面積が閾値より大きいなどを含むことができる。

【0027】

例示的には、第１条件はユーザによって予め設定されてもよく、ユーザは複数の位置に対して複数の第１条件を設定することができる。この複数の位置は、例えば、紡糸口金における整理待ち領域、浮糸、糸ガイドフックの位置、オイルノズルの位置などである。

【0028】

一実施例では、巡回検査ロボットは予め設定された位置に移動して複数の紡糸ボックスを撮影し、第１作業画像と正常画像とを取得することができる。巡回検査ロボットが移動した各紡糸ボックスの予め設定された位置と各紡糸ボックスとの距離が同じであれば、巡回検査ロボットが、第１作業画像と正常画像とは撮影角度及び撮影距離が同じになり、第１作業画像と正常画像の相違をより分かりやすく比較することができる。

【0029】

ステップＳ２３０において、複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得、ここで、第１サンプルデータセットは紡糸ボックスの欠陥検出モデルをトレーニングして得ることに用いられ、欠陥検出モデルは紡糸ボックスの第２作業画像に欠陥が存在するか否かを検出することに用いられる。

【0030】

例示的には、第１サンプルデータセットにおける各欠陥画像は、プリセットモデルの入力画像として使用され、欠陥ありとしてラベリングされ、入力画像と対応するラベリング情報とを利用してプリセットモデルをトレーニングし、プリセットモデルが収束したときに、プリセットモデルを実際の欠陥検出プロセスに適用可能な欠陥検出モデルとして決定することができる。

【0031】

選択的に、上記入力画像に対するラベリング情報は、欠陥のタイプ、欠陥の位置などの情報を含むこともできる。具体的なラベリングプロセスは、手動で実行することも、自動ラベリングツールを使用して実行することもできる。

【0032】

本開示の実施例では、第１サンプルデータセットを用いて紡糸ボックスの欠陥検出モデルをトレーニングして得ることができ、欠陥検出モデルを利用して第２作業画像を識別することで第２作業画像が正常画像であるまたは欠陥画像であると決定することができる。選択的に、正常画像または欠陥画像の信頼度も取得することができる。

【0033】

本開示の実施例では、第２作業画像は紡糸ボックスが作業している作業状態を示すために用いられ、欠陥検出モデルによって第２作業画像が正常画像であることを得た場合に、当該紡糸ボックスは正常作業状態にある一方、欠陥検出モデルによって第２作業画像が欠陥画像であることを得た場合に、当該紡糸ボックスは異常作業状態にある。ユーザは異常作業状態の紡糸ボックスを修理することができる。例示的には、欠陥検出モデルは特徴確率モデル、またはディープラーニングに基づくニューラルネットワークモデルなどであってもよい。第２作業画像は、１つまたは複数の紡糸ボックスの作業状態をリアルタイムで検出するために、巡回検査ロボットによってまたは人工的に１つまたは複数の紡糸ボックスをリアルタイムで撮影して得られたものである。

【0034】

例示的には、第１サンプルデータセットは、複数の第１作業画像における各欠陥画像、各欠陥画像における部分画像、各欠陥画像または上記部分画像における紡糸ボックスの背景をトリミングして得た画像を含むことができる。

【0035】

本開示の実施例の解決策によれば、紡糸ボックスの第１作業画像と正常画像とを比較することにより、紡糸ボックスの欠陥画像を得ることができる。欠陥画像から欠陥検出モデルをトレーニングするための第１サンプルデータセットを得ることができる。画像を比較する方式により、紡糸ボックスを人工により長時間観察する必要がなく、サンプル収集の効率を高めることができる。また、紡糸ボックスにおける異常領域が微細であるため、画像をスキャンして比較することにより、正常画像と所定の条件を満たす相違が生じた場合、それを異常と判定することができ、人工的に識別する方式よりも精度が高い。したがって、上記方法はサンプルデータの収集効率及び正確性を向上させ、これに伴って欠陥検出モデルのトレーニング効率及びモデル精度を向上させることができる。さらに、欠陥検出モデルによる紡糸ボックスの第２作業画像に対する検出の精度を向上させ、欠陥検出モデルを通じて第２作業画像が正常画像であるかまたは欠陥画像であるかを得ることができ、これにより、第２作業画像に対応する紡糸ボックスが正常作業状態にあるかまたは異常作業状態にあるかをタイムリーかつ正確に決定することができ、該紡糸ボックスが異常作業状態にある場合に、該紡糸ボックスを修理するようユーザに通知することができ、紡糸ボックスの異常作業によって紡糸ボックスの生産に影響を及ぼすことを回避することができる。

【0036】

いくつかの実施例では、複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得ることは、
少なくとも１つの欠陥タイプに基づいて各欠陥画像に対して分類を行い、少なくとも１つの欠陥タイプと１対１に対応する少なくとも１つの画像セットを得ることと、
少なくとも１つの画像セットに基づいて、第１サンプルデータセットを得ることと、を含むことができる。

【0037】

選択的に、上述の少なくとも１つの欠陥タイプは、紡糸ボックスにおける紡糸口金、糸、糸ガイドフック及びオイルノズルの欠陥のうちの少なくとも１つを含む。具体的には、少なくとも１つの欠陥タイプは、紡糸ボックスにおける糸切れ、浮糸、糸引っ掛け、オイルノズルの傾き、糸ガイドフックの傾き、糸が糸ガイドフック内に入っていないなどの異常を含む。例えば、紡糸口金上の整理待ちの物が多く、糸には浮糸が存在しており、糸ガイドフックの位置が傾斜しており、オイルノズルの位置が傾斜しているなどを含むことができる。例示的には、欠陥画像中の糸において浮糸が存在する場合に、当該欠陥画像は、糸に浮糸が存在している対応する画像セットにあり、また、欠陥画像において糸ガイドフックの位置が傾斜している場合に、当該欠陥画像は、糸ガイドフックの位置が傾斜している、対応する画像セットにある。

【0038】

例示的には、欠陥画像の画素点と正常画像の画素点とを比較し、欠陥画像の画素点と正常画像の画素点との間の相違により、欠陥画像と正常画像との間の相違をより正確に取得することができる。ここで、画素点は画像におけるすべての位置における画素点であってもよいし、画像における１つまたは複数の位置における画素点であってもよい。例えば、欠陥画像の紡糸口金と正常画像の紡糸口金における画素点を比較して、欠陥画像の紡糸口金と正常画像の紡糸口金との間の相違を取得することができ、例えば欠陥画像の紡糸口金が正常画像の紡糸口金に比べて整理待ちの物が多い場合、当該欠陥画像は紡糸口金上の整理待ちの物が多い、対応する画像セットにある。

【0039】

１つの実施例では、少なくとも１つの欠陥検出モデルは、少なくとも１つの画像セットと１対１に対応する。即ち、各々の画像セットを用いてモデルのトレーニングを行うことにより、特定の欠陥タイプに対応する１つの欠陥検出モデルを得ることができ、当該欠陥検出モデルは紡糸ボックスの第２作業画像を検出する。当該欠陥検出モデルにより、第２作業画像において特定の欠陥タイプの欠陥が存在するか否かを得ることができ、当該特定の欠陥タイプは、トレーニングに用いられた画像セットの対応する欠陥タイプである。当該欠陥検出モデルのトレーニングデータには、該特定の欠陥タイプが存在しない画像、例えば、正常画像または他の欠陥タイプに対応する画像などが含まれることもできることを理解されたい。上記の実施の形態によれば、ユーザのニーズに応じて複数の欠陥タイプを選択し、ユーザが選択した欠陥タイプに対してトレーニングを行い、欠陥検出モデルを得ることができる。例えば、第１サンプルデータセットは、糸ガイドフックの位置が傾斜している欠陥タイプに対応する画像セットとオイルノズルの位置が傾斜している欠陥タイプに対応する画像セットとを含み、ユーザは、糸ガイドフックの位置が傾斜している欠陥タイプに対応する画像セットを選択してトレーニングを行い、欠陥検出モデルを得ることができ、この欠陥検出モデルを用いて第２作業画像を検出することで、第２作業画像に対応する紡糸ボックスの糸ガイドフックが傾斜しているか否かを得ることができる。

【0040】

１つの実施例では、１つの欠陥検出モデルは、全ての画像セットに対応することができ、欠陥検出モデルにより、紡糸ボックスの第２作業画像を検出し、当該欠陥検出モデルにより第２作業画像に欠陥があるか否か、及び欠陥がある場合に該欠陥の欠陥タイプを得ることができる。例えば、第１サンプルデータセットは、糸ガイドフックの位置が傾斜している欠陥タイプに対応する画像セットとオイルノズルの位置が傾斜している欠陥タイプに対応する画像セットとを含み、これらの画像セットを用いてモデルトレーニングを行い、欠陥検出モデルを得ることができる。当該欠陥検出モデルを用いて第２作業画像を検出し、第２作業画像に対応する紡糸ボックスの糸ガイドフックとオイルノズルとが傾斜しているか否かを得ることができる。

【0041】

一実施例では、欠陥検出モデルによって第２作業画像が欠陥画像であると得た場合に、欠陥検出モデルによって第２作業画像の欠陥タイプ及び欠陥タイプの信頼度を得ることもできる。欠陥タイプの信頼度は第２作業画像の欠陥タイプが当該欠陥タイプである確率を示すことに用いられる。例えば、紡糸口金の欠陥信頼度は第２作業画像の紡糸口金に欠陥が存在する確率であることができる。

【0042】

本開示の実施例の解決策によれば、第１サンプルデータセットは少なくとも１つの欠陥タイプの画像セットを含むことができ、第２作業画像が欠陥画像である場合に、欠陥検出モデルにより第２作業画像の欠陥タイプを得ることができる。ユーザは、第２作業画像の欠陥タイプに対して第２作業画像に対応する紡糸ボックスを修理することができ、異常作業状態である紡糸ボックスの修理効率を高めることができる。

【0043】

いくつかの実施例では、少なくとも１つの画像セットに基づいて第１サンプルデータセットを得ることは、
少なくとも１つの画像セットのうちの各画像セットに対して、画像セットに対応する欠陥タイプに基づいて画像セットにおける各画像に対してトリミングを行い、画像セットに対応する検出領域画像セットを得ることと、
少なくとも１つの画像セットと１対１に対応する少なくとも１つの検出領域画像セットに基づいて、第１サンプルデータセットを得ることと、を含むことができる。

【0044】

本開示の実施例では、検出領域画像セットは、画像セットにおける各画像に対してトリミングを行った後の検出領域の画像セットを含むことができ、検出領域は画像セットにおける各画像の、画像セットに対応する欠陥タイプの領域を含む。ここで、トリミングは、画像における特定の欠陥タイプの領域のみを残して、他の部分を除去することができる。例示的には、画像セットに対応する欠陥タイプがオイルノズルの位置が傾斜しているものであれば、検出領域は画像セットにおける各画像のオイルノズルの位置であり、トリミングして得た、画像セットにおける各画像のオイルノズルの位置の画像は検出領域画像セットであることができる。

【0045】

例示的には、画像セットにおける各画像検出領域の画素点をトリミングすることができ、画像セットの欠陥タイプに対応する検出領域画像セットをより正確に得ることができる。

【0046】

本開示の実施例の解決策によれば、画像セットに対応する欠陥タイプに基づいて画像セットにおける各画像に対してトリミングを行うことにより、画像セットに対応する検出領域画像セットのみをトレーニングして欠陥検出モデルを得ることができ、トレーニングによって欠陥検出モデルを得るために必要な計算力を低減し、欠陥検出モデルのトレーニングコストを低減することができる。

【0047】

いくつかの実施例では、サンプルデータの処理方法は、
欠陥検出モデルの信頼度が第２条件を満たさない場合に、第１サンプルデータセットにおける各画像の特徴量に基づいて、第１サンプルデータセットから第２サンプルデータセットを決定することと、
第２サンプルデータセットに基づいて欠陥検出モデルを更新することと、をさらに含む。

【0048】

本開示の実施例では、欠陥検出モデルの信頼度は、欠陥検出モデルによって得られた第２作業画像が正常画像である信頼度、欠陥画像である信頼度、または欠陥画像の欠陥タイプの信頼度などに基づいて決定することができる。例えば、モデルが１つまたは複数の画像について出力した情報の信頼度が低い場合、当該モデルの信頼度は低いと考えられる。

【0049】

あるいは、欠陥検出モデルの信頼度は、検証画像を用いて決定することができる。例えば、第１サンプルデータセットの画像をトレーニング画像と検証画像とに分けて、トレーニング画像は欠陥検出モデルをトレーニングして得ることに用いられ、検証画像は欠陥検出モデルが検証画像における欠陥状況を正確に判別できるか否かを検証することに用いられ、判別が正確である割合に基づいて欠陥検出モデルの信頼度を決定することができる。

【0050】

例示的には、信頼度が第２条件を満たさない（例えば、信頼度が閾値を下回っている場合）場合に、各画像の検出領域画像と正常画像の対応する領域との相違に基づいて、画像の特徴量を決定することができる。例えば、画像セットにおける画像の検出領域画像と正常画像の対応する領域との相違が大きい場合、画像の特徴量が比較的に高いと決定する。これにより、第１サンプルデータセットから特徴量が比較的に高い画像を選択して、欠陥検出モデルを更新することができる。

【0051】

本開示の実施例の解決策によれば、第１サンプルデータセットにおける各画像の特徴量により欠陥検出モデルを更新することができ、欠陥検出モデルの検出精度を高めることができる。

【0052】

いくつかの実施例では、第１サンプルデータセットにおける各画像の特徴量に基づいて、第１サンプルデータセットから第２サンプルデータセットを決定することは、
第１サンプルデータセットにおける各画像に対してクラスタリングを行い、複数のクラスクラスタを得ることと、
複数のクラスクラスタにおける各クラスクラスタに対して、クラスクラスタにおける各画像の特徴量に基づいて、クラスクラスタにおける目標画像を決定することと、
各クラスクラスタにおける目標画像に基づいて、第２サンプルデータセットを得ることと、をさらに含むことができる。

【0053】

上記実施例によれば、各クラスクラスタ間の特徴の差が大きく、各クラスクラスタで画像の特徴量に基づいて目標画像を選択することで、選択された複数の目標画像間に明らかな差があり、且つ特徴量が比較的に高いため、第２サンプルデータセットの品質をさらに向上させ、これに伴って欠陥検出モデルの精度を向上させることができる。

【0054】

本開示の実施例によれば、本開示はさらにサンプルデータの処理装置を提供し、図３は、本開示の一実施例に係るサンプルデータの処理装置を示す概略ブロック図である。図３に示すように、該サンプルデータの処理装置は、
紡糸ボックスの複数の第１作業画像を取得するための画像取得モジュール３１０と、
複数の第１作業画像のそれぞれに対して、第１作業画像と紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合に、第１作業画像を紡糸ボックスの欠陥画像として決定するための欠陥画像決定モジュール３２０と、
複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得るための第１サンプル処理モジュール３３０であって、第１サンプルデータセットは紡糸ボックスの欠陥検出モデルをトレーニングして得ることに用いられ、欠陥検出モデルは紡糸ボックスの第２作業画像に欠陥が存在するか否かを検出することに用いられる、第１サンプル処理モジュール３３０と、を備える。

【0055】

いくつかの実施例では、図４に示すように、第１サンプル処理モジュール３３０は、
少なくとも１つの欠陥タイプに基づいて各欠陥画像に対して分類を行い、少なくとも１つの欠陥タイプと１対１に対応する少なくとも１つの画像セットを得るための画像分類ユニット４１０と、
少なくとも１つの画像セットに基づいて、第１サンプルデータセットを得るためのサンプル処理ユニット４２０と、を備える。

【0056】

いくつかの実施例では、少なくとも１つの欠陥タイプは、紡糸ボックスにおける紡糸口金、糸、糸ガイドフック及びオイルノズルの欠陥のうちの少なくとも１つを含む。

【0057】

いくつかの実施例では、サンプル処理ユニット４２０は、具体的には、
少なくとも１つの画像セットのうちの各画像セットに対して、画像セットに対応する欠陥タイプに基づいて画像セットにおける各画像に対してトリミングを行い、画像セットに対応する検出領域画像セットを得ることと、
少なくとも１つの画像セットと１対１に対応する少なくとも１つの検出領域画像セットに基づいて、第１サンプルデータセットを得ることと、に用いられる。

【0058】

いくつかの実施例では、図５に示すように、サンプルデータの処理装置は、
欠陥検出モデルの信頼度が第２条件を満たさない場合に、第１サンプルデータセットにおける各画像の特徴量に基づいて、第１サンプルデータセットから第２サンプルデータセットを決定するための第２サンプル処理モジュール５１０と、
第２サンプルデータセットに基づいて欠陥検出モデルを更新するためのモデル更新モジュール５２０と、をさらに備える。

【0059】

いくつかの実施例では、第２サンプル処理モジュール５１０は、具体的には、
第１サンプルデータセットにおける各画像に対してクラスタリングを行い、複数のクラスクラスタを得ることと、
複数のクラスクラスタにおける各クラスクラスタに対して、クラスクラスタにおける各画像の特徴量に基づいて、クラスクラスタにおける目標画像を決定することと、
各クラスクラスタにおける目標画像に基づいて、第２サンプルデータセットを得ることと、に用いられる。

【0060】

図６は本開示の一実施例による電子デバイスの構造ブロック図である。図６に示すように、該電子デバイスはメモリ６１０とプロセッサ６２０とを含み、メモリ６１０にはプロセッサ６２０で実行可能なコンピュータプログラムが記憶される。メモリ６１０及びプロセッサ６２０の数は、１つ又は複数であり取得する。メモリ６１０は、１つ又は複数のコンピュータプログラムを記憶することができ、該１つ又は複数のコンピュータプログラムは、該電子デバイスによって実行されると、該電子デバイスに上記の方法の実施例により提供される方法を実行させる。該電子デバイスはさらに以下を含むことができる。通信インターフェース６３０は、外部デバイスと通信し、データのインタラクション・伝送を行うことに用いられる。

【0061】

メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０が独立して実装される場合、メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０は、バスを介して互いに接続され、相互間の通信を行うことができる。該バスは、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＰＣＩ（Ｐｅｒｉｐｈｅｒaｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、又はＥＩＳＡ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バスなどであり取得する。該バスは、アドレスバス、データバス、制御バスなどに分類することができる。説明を容易にするために、図６に一本の太線のみで示すが、一本のバス又は一種類のバスのみを示すものではない。

【0062】

任意選択で、具体的な実装形態では、メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０が１つのチップ上に集積される場合、メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０は、内部インターフェースを介して相互間の通信を行うことができる。

【0063】

上記プロセッサは中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎg Ｕｎｉｔ，ＣＰＵ）であってもよく、さらに他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉgｉｔａｌ Ｓｉgｎａｌ Ｐｒｏｃｅｓｓｉｎg，ＤＳＰ）、決定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅgｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏgｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアアセンブリ等であってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであり取得する。なお、プロセッサは、Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）アーキテクチャをサポートするプロセッサであり取得する。

【0064】

さらに、選択的に、上記メモリは読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、さらに不揮発性ランダムアクセスメモリを含んでもよい。該メモリは、揮発性メモリ又は不揮発性メモリのいずれかであり取得するか、選択的に揮発性メモリと不揮発性メモリの両方を含み取得する。ここで、不揮発性メモリは、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏgｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリを含むことができる。揮発性メモリは、外部キャッシュとして機能するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）を含むことができる。限定ではなく例として、多くの形態のＲＡＭが利用可能である。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ ＲＡＭ，ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＤＲＡＭ）、シナリオクロナスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ，ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ，ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ，ＥＳＤＲＡＭ）、シナリオクリンクＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ，ＳＬＤＲＡＭ）及びダイレクトＲＡＭＢＵＳＲＡＭ（Ｄｉｒｅｃｔ ＲＡＭＢＵＳ ＲＡＭ，ＤＲ ＲＡＭ）である。

【0065】

上述の実施例では、全体的又は部分的に、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せで実装され取得する。ソフトウェアで実装される場合に、全体又は一部はコンピュータプログラム製品の形態で実装され取得する。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータ命令がロードされ、コンピュータ上で実行されると、本開示の実施例によるプロセス又は機能が全体的又は部分的に生成される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ，ＤＳＬ））又は無線（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、マイクロ波等）を介して、１つのウェブサイトサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイトサイト、コンピュータ、サーバ、又はデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ取得する任意の利用可能な媒体、又は１つもしくは複数の利用可能な媒体と統合されたサーバ、データセンタなどを含むデータ記憶デバイスであり取得する。前記使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ，ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートディスク（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ，ＳＳＤ））などであり取得する。なお、本開示で言及されるコンピュータ可読記憶媒体は、不揮発性記憶媒体、言い換えれば、非一時的記憶媒体であり取得する。

【0066】

当業者は上記実施例を実行する全部又は一部のステップがハードウェアによって実装されてもよく、プログラムによって関連するハードウェアに命令して実装されてもよく、前記プログラムはコンピュータ可読記憶媒体に記憶されてもよく、上記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよいことを理解することができる。

【0067】

本開示の実施例の説明において、参照用語「１つの実施例」、「いくつかの実施例」、「例」、「具体的な例」、又は「いくつかの例」等の説明は該実施例又は例に関連して説明された具体的な特徴、構造、材料又は特徴が本開示の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明された具体的な特徴、構造、材料又は特徴はいずれか１つ又は複数の実施例又は例において適切な方式で組み合わせることができる。さらに、当業者は、本開示に記載された異なる実施形態又は例及び異なる実施形態又は例の特徴を、互いに矛盾しない範囲で組み合わせてもよい。

【0068】

本開示の実施例の説明において、「／」は、別段の説明がない限り、又はという意味を表し、例えば、Ａ／Ｂは、Ａ又はＢのいずれかを表し取得する。本開示における「及び／又は」は関連オブジェクトの関連関係を説明することに過ぎず、三種類の関係が存在してもよいことを示し、例えば、Ａ及び／又はＢは、以下を示すことができる。Ａが単独で存在し、Ａ及びＢが同時に存在し、Ｂが単独で存在するという三種類の状況である。

【0069】

本開示の実施例の説明では、「第１」及び「第２」という用語は、説明の目的のみのために使用され、相対的な重要性を示す又は暗示するものと解釈されるべきではなく、示される技術的特徴の数を暗示するものと解釈されるべきではない。したがって、「第１」及び「第２」として定義される特徴は、明示的又は暗黙的に、そのような特徴のうちの１つ又は複数を含み取得する。本開示の実施例の説明において、「複数」とは、別段の説明がない限り、２つ以上を意味する。

【0070】

以上は本開示の例示的な実施例に過ぎず、本開示を限定するものではなく、本開示の精神及び原則の範囲内で、行われた任意の修正、同等置換、改良等は、いずれも本開示の保護範囲内に含まれるべきである。

【要約】

【課題】サンプルデータの処理方法、装置、電子デバイス、記憶媒体及びプログラムを提供し、人工知能技術分野に関し、特に画像処理、コンピュータビジョン分野に関する。
【解決手段】該方法は、紡糸ボックスの複数の第１作業画像を取得することと、複数の第１作業画像のそれぞれに対して、第１作業画像と紡糸ボックスの正常画像との間に第１条件を満たす相違がある場合、第１作業画像を紡糸ボックスの欠陥画像として決定することと、複数の第１作業画像における各欠陥画像に基づいて、第１サンプルデータセットを得ることと、を含む。本開示の解決策によれば、紡糸ボックスの第１作業画像により紡糸ボックスの欠陥画像を得ることができ、欠陥画像から欠陥検出モデルをトレーニングするための第１サンプルデータセットを得ることができ、欠陥検出モデルによる紡糸ボックスの作業画像の検出精度を向上させることができる。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】