特許 7025452 ディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-15

(45)【発行日】2022-02-24

(54)【発明の名称】ディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体

(51)【国際特許分類】

   G01N 21/956 20060101AFI20220216BHJP

   G06T 7/00 20170101ALI20220216BHJP

   G09G 5/00 20060101ALI20220216BHJP

   G01N 21/88 20060101ALI20220216BHJP

【ＦＩ】

G01N21/956 Z

G06T7/00 350C

G06T7/00 610B

G09G5/00 X

G01N21/88 J

【請求項の数】 12

(21)【出願番号】P 2019563795

(86)(22)【出願日】2019-05-08

(65)【公表番号】

(43)【公表日】2020-10-15

(86)【国際出願番号】 CN2019085912

(87)【国際公開番号】W WO2020007118

(87)【国際公開日】2020-01-09

【審査請求日】2020-01-23

(31)【優先権主張番号】201810709836.7

(32)【優先日】2018-07-02

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】516262169

【氏名又は名称】北京百度網訊科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ，Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】文 亞偉

(72)【発明者】

【氏名】冷 家冰

(72)【発明者】

【氏名】劉 明浩

(72)【発明者】

【氏名】徐 玉林

(72)【発明者】

【氏名】郭 江亮

(72)【発明者】

【氏名】李 旭

【審査官】塚本 丈二

(56)【参考文献】

【文献】特開２０１８－０４５６７３（ＪＰ，Ａ）

【文献】特開２０１８－００５６４０（ＪＰ，Ａ）

【文献】特表２０１８－５０６１６８（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８２３０３１７（ＣＮ，Ａ）

【文献】特開２００１－３０５０７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８８

Ｇ０１Ｎ ２１／９５６

Ｇ０９Ｇ ５／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ディスプレイスクリーン周辺回路の検出方法であって、
前記ディスプレイスクリーン周辺回路がディスプレイスクリーンの補助的な回路であり、
ディスプレイスクリーン周辺回路の生産ラインに配置されたコンソールから送信された品質検出要求を受信するステップであって、前記品質検出要求は、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含むステップと、
前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るステップであって、前記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られたものであるステップと、
前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップと、
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップと、を含み、
前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、更に、
履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際の画素種別によって前記欠陥検出モデルに対して、前記インスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、前記実際の画素種別との間の損失値がプリセットされた損失閾値を下回るステップを含み、
前記画素種別が、ノーマルの画素、点類欠陥、異物類欠陥及び傷類欠陥を含み、
前記損失値がモデルの予測値と実際値との不一致の程度を指示するための損失関数値であり、
前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、前記実際の画素種別との間の損失値がプリセットされた損失閾値を下回るステップは、
前記欠陥検出モデルが、前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像の候補領域損失値、領域種別損失値、領域境界損失値、及び画素インスタンス損失値に対して組み合わせ訓練を行い、前記候補領域損失値、前記領域種別損失値、前記領域境界損失値、及び前記画素インスタンス損失値の合計損失値がプリセット損失閾値を満たす結果であり、そのうち、前記候補領域損失値とは、前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、前記領域種別損失値とは、前記選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を意味し、前記領域境界損失値とは、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値を意味し、前記画素インスタンス損失値とは、前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像における予測の画素インスタンスと実際の画素インスタンスとの間の損失値を意味することを含むことを特徴とするディスプレイスクリーン周辺回路の検出方法。

【請求項2】

前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、更に、
前記ディスプレイスクリーン周辺回路の画像に対して画像前処理を行い、前記画像前処理は、
トリミング、カッティング、回転といった処理のうちの１つ又は複数を含むことを含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップは、
ロードバランスポリシーに基づいてサーバー群から検出モデルサーバーを確定するステップと、
前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得るステップと、を含むことを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記欠陥検出結果は、各欠陥の種別、及び／又は各欠陥の輪郭位置を含み、
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップは、
生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップを含むことを特徴とする請求項１又は２に記載の方法。

【請求項5】

前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、更に、
前記ディスプレイスクリーン周辺回路が欠陥回路であると確定すると、
コントローラによって生産管理者にアラーム情報を送信する操作、
前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、
コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、及び
前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行することを含むことを特徴とする請求項１又は２に記載の方法。

【請求項6】

ディスプレイスクリーン周辺回路の検出装置であって、
前記ディスプレイスクリーン周辺回路がディスプレイスクリーンの補助的な回路であり、
ディスプレイスクリーン周辺回路の生産ラインに配置されたコンソールから送信された、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信するための受信モジュールと、
前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るための前処理モジュールと、
前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、
前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するための確定モジュールと、を含み、
前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際の画素種別によって前記欠陥検出モデルに対して、前記インスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、前記実際の画素種別との間の損失値がプリセットされた損失閾値を下回るために使用され、
前記画素種別が、ノーマルの画素、点類欠陥、異物類欠陥及び傷類欠陥を含み、
前記損失値がモデルの予測値と実際値との不一致の程度を指示するための損失関数値であり、
前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、前記実際の画素種別との間の損失値がプリセットされた損失閾値を下回ることは、
前記欠陥検出モデルが、前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像の候補領域損失値、領域種別損失値、領域境界損失値、及び画素インスタンス損失値に対して組み合わせ訓練を行い、前記候補領域損失値、前記領域種別損失値、前記領域境界損失値、及び前記画素インスタンス損失値の合計損失値がプリセット損失閾値を満たす結果であり、そのうち、前記候補領域損失値とは、前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、前記領域種別損失値とは、前記選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を意味し、前記領域境界損失値とは、前記選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値を意味し、前記画素インスタンス損失値とは、前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像における予測の画素インスタンスと実際の画素インスタンスとの間の損失値を意味することを含むことを特徴とするディスプレイスクリーン周辺回路の検出装置。

【請求項7】

前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、前記ディスプレイスクリーン周辺回路の画像にトリミング、カッティング、回転といった処理のうちの１つ又は複数を含む画像前処理を行うために使用されることを特徴とする請求項６に記載の装置。

【請求項8】

前記処理モジュールは具体的には、ロードバランスポリシーに基づいてサーバー群から検出モデルサーバーを確定すること、及び前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得ることに使用されることを特徴とする請求項６又は７に記載の装置。

【請求項9】

前記欠陥検出結果は、各欠陥の種別、及び／又は各欠陥の輪郭位置を含み、
前記確定モジュールは、具体的に、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するために使用されることを特徴とする請求項６又は７に記載の装置。

【請求項10】

前記処理モジュールは更に、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、前記ディスプレイスクリーン周辺回路が欠陥回路であると確定すると、
コントローラによって生産管理者にアラーム情報を送信する操作、
前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、
コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、
前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行するために使用されることを特徴とする請求項６又は７に記載の装置。

【請求項11】

プロセッサ、メモリ、及び前記メモリに記憶されて、且つ前記プロセッサで実行可能なコンピュータプログラムを含む電子機器であって、
前記プロセッサは前記プログラムを実行する時、請求項１～５のいずれか１項に記載の方法を実現することを特徴とする電子機器。

【請求項12】

記憶媒体であって、
コンピュータで動作するときに、コンピュータに請求項１～５のいずれか１項に記載の方法を実行させる命令が記憶されることを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は２０１８年０７月０２日に中国特許局に提出した、出願番号が２０１８１０７０９８３６．７、出願人が北京百度綱訊科技有限公司、発明の名称が「ディスプレイスクリーン周辺回路の検出方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み合わせられる。
本願は、欠陥検出技術の分野に関し、特にディスプレイスクリーン周辺回路の検出方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

科学技術の発展に伴い、情報表示技術は人々の生活の中での役割が日増しに増え、ディスプレイスクリーンもその小さな体積や、軽量、低電力、高解像度、高輝度、及び幾何学的変形がないなどの多くの特徴から広く使われている。しかし、ディスプレイスクリーンの生産過程では、技術や生産環境に起因して、ディスプレイスクリーンの周辺回路に欠陥、例えば、点類欠陥、異物類欠陥、傷類欠陥などが存在する可能性がある。したがって、ディスプレイスクリーン周辺回路の検出は生産過程における重要な一つの工程である。

【0003】

従来の技術において、ディスプレイスクリーン周辺回路の検出は主に人力による検出又は機械補助付きの人力による検出方法を採用する。具体的には、人力による検出方法とは、業界の専門家が生産環境から採取した写真を視覚的に観察して判断することに依存する方法である。機械補助付きの人力による検出方法とは、まず業界専門家の経験に基づいた品質検出システムを利用し、検出対象のディスプレイスクリーン周辺回路の画像を検出し、欠陥の疑いがある写真を初歩的に選別し、次に業界の専門家が欠陥の疑いがある写真を人力で検査して判断する。

【0004】

しかしながら、人力による検出方法であっても、機械補助付きの人力による検出方法であっても、人間の主観的な影響要素が大きく、検出精度が低く、システム性能も悪く、業務拡張能力が低い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、従来のディスプレイスクリーン周辺回路の欠陥検出方法において、人間の主観的な影響を受ける要素が大きいことにより、検出精度が低く、システム性能が悪く、業務拡張能力が低いという問題を克服するディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本願の第１の態様は、ディスプレイスクリーン周辺回路の検出方法を提供し、ディスプレイスクリーン周辺回路の生産ラインに配置されたコンソールから送信された品質検出要求を受信するステップであって、前記品質検出要求は、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含むステップと、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るステップであって、前記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ領域畳み込みニューラルネットワーク（Ｒｅｇｉｏｎａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＣＮＮ）アルゴリズムの訓練を行って得られたものであるステップと、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップと、を含む。

【0007】

選択的に、第１の態様の１つの可能な実施態様では、前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、更に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際の画素種別によって前記欠陥検出モデルに対して、前記Ｍａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、前記実際の画素種別との間の損失値がプリセットされた損失閾値を下回るステップを含む。

【0008】

選択的に、第１の態様の他の可能な実施態様では、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、更に、前記ディスプレイスクリーン周辺回路の画像に対して画像前処理を行い、前記画像前処理は、トリミング、カッティング、回転といった処理のうちの１つ又は複数を含むことを含む。

【0009】

選択的に、第１の態様の別の可能な実施態様では、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るステップは、ロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定するステップと、前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得るステップと、を含む。

【0010】

選択的に、第１の態様の別の可能な実施態様では、前記欠陥検出結果は、各欠陥の種別、及び／又は各欠陥の輪郭位置を含み、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップは、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するステップを含む。

【0011】

選択的に、第１の態様の別の可能な実施態様では、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、更に、前記ディスプレイスクリーン周辺回路が欠陥回路であると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作、前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、及び前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行することを含む。

【0012】

本願の第２の態様は、ディスプレイスクリーン周辺回路の検出装置を提供し、ディスプレイスクリーン周辺回路の生産ラインに配置されたコンソールから送信された、前記ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信するための受信モジュールと、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るための前処理モジュールと、前記検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るための処理モジュールと、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するための確定モジュールと、を含む。

【0013】

選択的に、第２の態様の１つの可能な実施態様では、前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際の画素種別によって前記欠陥検出モデルに前記Ｍａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことで、前記欠陥検出モデルが前記履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、前記実際の画素種別との間の損失値がプリセットされた損失閾値を下回るために使用される。

【0014】

選択的に、第２の態様の他の可能な実施態様では、前記処理モジュールは更に、前記ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、前記ディスプレイスクリーン周辺回路の画像にトリミング、カッティング、回転といった処理のうちの１つ又は複数を含む画像前処理を行うために使用される。

【0015】

選択的に、第２の態様の別の可能な実施態様では、前記処理モジュールは具体的には、ロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定すること、及び前記検出対象画像を前記検出モデルサーバーで作動する前記欠陥検出モデルに入力し、欠陥検出結果を得ることに使用される。

【0016】

選択的に、第２の態様の別の可能な実施態様では、前記欠陥検出結果は、各欠陥の種別、及び／又は各欠陥の輪郭位置を含み、前記確定モジュールは、具体的に、生産段階情報及び前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するために使用される。

【0017】

選択的に、第２の態様の別の可能な実施態様では、前記処理モジュールは更に、前記欠陥検出結果に基づいて前記ディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、前記ディスプレイスクリーン周辺回路が欠陥回路であると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作、前記欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによって前記コンソールに生産制御命令を送信し、欠陥を除去する操作、前記ディスプレイスクリーン周辺回路の画像と前記欠陥検出結果を前記欠陥検出モデルに入力して、前記欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行するために使用される。

【0018】

本願の第３の態様は、プロセッサ、メモリ、及び前記メモリに記憶されて、且つ前記プロセッサで実行可能なコンピュータプログラムを含む電子機器を提供し、前記プロセッサは前記プログラムを実行する時、上記第１の態様及び第１の態様の各実施可能な態様のいずれか１つに記載の方法を実行させる。

【0019】

本願の第４の態様は、コンピュータで動作するときに、コンピュータに第１の態様及び第１の態様の各実施可能な態様のいずれか１つに記載の方法を実行させる命令が記憶された記憶媒体を提供する。

【発明の効果】

【0020】

本願で提供されるディスプレイスクリーン周辺回路の検出方法、ディスプレイスクリーン周辺回路の検出装置、電子機器、及び記憶媒体は、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された、ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信し、ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得る。検出対象画像を欠陥検出モデルに入力し、欠陥検出結果を得て、欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってＭａｓｋ ＲＣＮＮの訓練を行って得られたものであるため、当該欠陥検出モデルを利用して得られた欠陥検出結果は、分類精度が高く、スマート化能力が強く、システム性能を向上させ、業務拡張能力が高くなる。このようにして従来のディスプレイスクリーン周辺回路の欠陥検出方法において、人間の主観的な影響を受ける要素が大きいために、検出精度が低く、システム性能が悪く、業務拡張能力が低いという問題が解決される。

【図面の簡単な説明】

【0021】

【図1】本願発明の一実施形態に係るディスプレイスクリーン周辺回路の検出システムの構造概略図である。

【図2】本願発明の一実施形態に係るディスプレイスクリーン周辺回路の検出方法の実施例１のフローチャートである。

【図3】本願発明の一実施形態に係るディスプレイスクリーン周辺回路の検出方法の実施例２のフローチャートである。

【図4】本願発明の一実施形態に係るディスプレイスクリーン周辺回路の検出装置の実施例の構造概略図である。

【図5】本願発明の一実施形態に係る電子機器の実施例の構造概略図である。

【発明を実施するための形態】

【0022】

本願発明の実施形態の目的、技術的解決手段及び利点をより明瞭にするために、以下、本願発明の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、且つ完全に説明する。当然のことながら、記載される実施例は本願発明の実施例の一部にすぎず、そのすべての実施例ではない。当業者により本願発明における実施例に基づいて創造的な労働をすることなく獲得されたその他のすべての実施例は、いずれも本願発明の保護範囲に属する。

【0023】

本願の様々な実施例において、各プロセスのシーケンスナンバーは、実行順序の前後を意味していないことを理解すべきである。各プロセスの実行順序は、その機能及び固有の論理で決定されるべきであり、本願の実施例の実施プロセスを限定しない。

【0024】

本願では、「含む」及び「有する」及びそれらのあらゆる変形は、非排他的な含有をカバーすることを目的とし、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に挙げられたステップ又はユニットに限定されず、明確に挙げられていないか、又はこれらのプロセス、方法、製品又は機器に固有するほかのステップ又はユニットを含んでよいと理解すべきである。

【0025】

なお、本願では、「複数」は２つ以上を指す。「及び／又は」は、関連するオブジェクトの関連関係を記述し、３つの関係が存在し得ることを表し、例えば、及び／又はＢは、Ａが単独で存在し、ＡとＢが同時に存在し、Ｂが単独で存在するという３つの状況を表すことができる。符号「／」は、一般的に前後関連するオブジェクトが「又は」の関係であることを表す。

【0026】

なお、本願では、「Ａに対応するＢ」、「ＡはＢに対応する」、又は「ＢはＡに対応する」は、ＢとＡが関連し、Ａに基づいてＢを決定することができると表す。Ａに基づいてＢを決定することは、Ａだけに基づいてＢを決定することを意味するのではなく、Ａ及び／又は他の情報に基づいてＢを決定することもできる。ＡとＢのマッチングは、ＡとＢの類似度がプリセットの閾値に等しいか又はプリセットの閾値より大きいと理解すべきである。

【0027】

文脈によっては、そこで使う「…と」は、「…とき」又は、「…場合」又は、「確定に応用」又は、「検出に応答」と解釈されることができる。

【0028】

現在、３Ｃ産業（３Ｃ産業とは、コンピュータ、通信、消費性電子という３種の科学技術製品を組み合わせて応用される情報家電産業を指す）全体のスマートオートメーションのレベルは低く、携帯ディスプレイスクリーンなどのディスプレイスクリーン周辺回路業界に対する調査分析によると、大部分のメーカーが携帯ディスプレイスクリーンに対して採用する検出方法は２種に分けられる。つまり、人力による検出方法と機械補助付きの人力による検出方法である。

【0029】

そのうち、人力による検出方法とは、業界の専門家が生産環境から採取された画像を視覚的に観察して判断することに依存する方法であり、当該方法は人間の主観的な影響要素が大きく、検出効率が低く、しかも人の目に対するダメージが大きい。それ以外に、ディスプレイスクリーン周辺回路の工房がだいたいはダストフリー環境であり、従業員が入る前にクリーンな状態になるための準備とクリーン服の着装をしなければならないので、従業員の健康や安全にも悪影響を及ぼす可能性がある。

【0030】

機械補助付きの人力による検出方法は、液晶モジュール検出機器による検出方法とも言えるが、具体的な原理としては、まず、一定の判断能力を持つ品質検出システムによって欠陥のない画像をフィルタリングしてから、業界の専門家によって欠陥があると思われる画像を検出して判断する。機械補助付きの人力による検出方法において、多くの品質検出システムは専門家のシステムと特徴エンジニアリングシステムにより開発されており、専門家の経験を品質検出システムにまとめて、一定の自動化能力を持たせることを指す。このため、機械補助付きの人力による検出方法は精度が低く、システム性能が悪く、メーカーのすべての検出基準をカバーすることができないだけでなく、効率が低く、しかも判定では漏れや過ちが出やすく、検出後の画像データの再利用は難しい。なお、上記の品質検出システムでは、特徴と判定ルールは業界の専門家の経験に基づいてマシンに搭載され、事業規模の発展とともに更新することが難しいので、生産技術の発展に従って、品質検出システムの検出精度がますます低くなり、最悪の場合、完全に利用できない状態にまで低下する可能性がある。さらに、品質検出システムの特徴はすべて第三者のサプライヤーによってハードウェアに予め搭載されるため、アップグレードする時、生産ラインを非常に大きく改革する必要があるだけでなく、価格も高く、安全性、規格化、拡張性などの面でも明らかに不足し、ディスプレイスクリーン周辺回路の生産ラインの最適化とアップグレードにおいても不利で、業務拡張能力も低くなる。

【0031】

以上のように、人力による検出方法と機械補助付きの人力による検出方法には、効率が低く、誤判定が発生しやすいだけでなく、この２つの方法で発生した工業データの記憶、管理、二次採掘と再利用も容易ではない。

【0032】

本願の実施例は、人工知能技術のコンピュータ視覚における最新の発展に基づいて、自動化され、高精度の、適応補正アップグレード可能なディスプレイスクリーン周辺回路の検出方法を研究開発したもので、画像採取機器がディスプレイスクリーン周辺回路の生産ラインでリアルタイムに採取したディスプレイスクリーン周辺回路の画像によってリアルタイムにディスプレイスクリーン周辺回路の表面品質を検出して判定し、現有の画像採取機器が採取したディスプレイスクリーン周辺回路に欠陥があると検出した場合、各欠陥がピクチャ内における存在する位置と属する種類を確定し、本願の実施例では同類の欠陥を欠陥として個別に区分している。

【0033】

選択的に、本願の実施例では説明する欠陥は、点類欠陥、異物類欠陥や傷類欠陥など異なる種類の欠陥問題を含むが、それらに限定されない。ここでは１つずつ紹介しない。

【0034】

なお、本願における、インスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムとは、２段階のフレームであり、第１段階では、画像をスキャンしてプロポーザル（ｐｒｏｐｏｓａｌｓ、すなわち、１つのターゲットを含む可能性のある領域）を生成し、第２段階では、プロポーザルを分類してバウンディングボックスとマスクを生成する。Ｍａｓｋ Ｒ－ＣＮＮはＦａｓｔｅｒ Ｒ－ＣＮＮから拡張され、同じ著者によって昨年発表された。Ｆａｓｔｅｒ ＲＣＮＮは人気のあるターゲット検出フレームであり、Ｍａｓｋ ＲＣＮＮはそれをインスタンスセグメンテーションフレームに拡張した。Ｍａｓｋ ＲＣＮＮは、Ｆａｓｔｅｒ ＲＣＮＮアーキテクチャに基づいて提案された新しいコンボリューションネットワークであり、当該方法は、効率的に目標を達成すると同時に高品質のインスタンスセグメンテーションを完了し、インスタンスセグメンテーションを一挙に完成させた。Ｍａｓｋ ＲＣＮＮアルゴリズムは主に既存のＦａｓｔｅｒ－ＲＣＮＮを拡張し、ブランチを追加して従来の検出を使用してターゲットを並行予測するものである。同時に、このネットワーク構造は比較的実行して訓練しやすく、ターゲット検出、セグメンテーション、人物のキーポイント検出など他の分野にも便利に適用されることができる。

【0035】

本願発明の技術的解決手段を、具体的な実施例を用いて以下に詳細に説明する。以下の具体的な実施例は互いに組み合わせられることができ、いくつかの実施例において同様又は類似の概念又はプロセスを説明しない場合がある。

【0036】

まず、本願の実施例に適用可能な応用シナリオを以下に簡単に説明する。図１は本願発明の実施例に係るディスプレイスクリーン周辺回路の検出システムの構造概略図である。図１に示すシステムでは、本願発明で提供されるディスプレイスクリーン周辺回路の検出方法を応用してディスプレイスクリーン周辺回路に対して欠陥検出を行う。図１に示すように、当該ディスプレイスクリーン周辺回路の検出システムは主に、コンソール１２、サーバー群１３、コントローラ１４、データベース１５、訓練器１６及びディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器１１を含む。

【0037】

画像採取機器１１は、ディスプレイスクリーン周辺回路の生産ラインでのディスプレイスクリーン周辺回路の画像を採取し、コンソール１２は、画像採取機器１１が採取したディスプレイスクリーン周辺回路の画像を受信し、当該ディスプレイスクリーン周辺回路の画像をサーバー群１３中の検出モデルサーバー１３０に送信し、検出モデルサーバー１３０は、受信したディスプレイスクリーン周辺回路の画像を自らで動作している欠陥検出モデルに入力し、欠陥検出結果を得る。コントローラ１４は、検出モデルサーバー１３０による欠陥検出結果を受信し、生産段階情報と合わせてビジネス応答を提供し、コントローラ１４は更に、欠陥検出結果をログとしてデータベース１５に記憶してもよい。なお、画像採取機器１１が採取したディスプレイスクリーン周辺回路の画像は更に欠陥検出モデルの訓練のオリジナルデータとしてデータベース１５に直接記憶されてもよい。訓練器１６は、データベース内の履歴的な的欠陥ディスプレイスクリーン周辺回路の画像を抽出してＭａｓｋ ＲＣＮＮアルゴリズムの訓練によって、欠陥検出モデルを得る。

【0038】

選択的に、上記データベース１５は、生産データベース１５１と訓練データベース１５２とを含み、生産データベース１５１は、コントローラ１４から送信された欠陥検出結果と、画像採取機器１１が採取したディスプレイスクリーン周辺回路の画像とを受信し、保存することができ、訓練データベース１５２は、生産データベース１５１から抽出された履歴的な欠陥ディスプレイスクリーン周辺回路の画像と対応するディスプレイスクリーン周辺回路のオリジナル画像を記憶することができることで、訓練器１６が訓練によってより精度の高い欠陥検出モデルを得るようにする。

【0039】

選択的に、本願の実施例における訓練器１６は、欠陥検出モデルの訓練ツールとしてハードウェア及び／又はソフトウェア機能によって実現される訓練エンジンであってよい。本願の実施例のディスプレイスクリーン周辺回路の検出システムには、プロセッサ、メモリなどの他のエンティティモジュールを更に含んでもよく、本実施形態はこれに限定されない。

【0040】

図２は本願の実施例に係るディスプレイスクリーン周辺回路の検出方法の実施例１のフローチャートである。図２に示す方法の実行主体はソフトウェア装置であってもよく、ハードウェア装置であってもよく、又はソフトウェアとハードウェアを組み合わせた装置であってもよい。方法にはステップＳ１０１からステップＳ１０４が含まれ、具体的には以下の通りである。

【0041】

Ｓ１０１では、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信し、品質検出要求には、ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像が含まれる。

【0042】

選択的に、本願の実施例において、ディスプレイスクリーン周辺回路の生産ラインには、画像採取機器、コンソール、サーバー群、コントローラ、データベースなど複数の異なる機器が配置されている。画像採取機器は高精度の画像採取カメラであってよく、ディスプレイスクリーン周辺回路の生産過程で、画像採取機器の角度、光線、フィルター、倍率、フォーカスなどを調整することによって生産プロセスでのディスプレイスクリーン周辺回路に対応するディスプレイスクリーン周辺回路の画像を複数採取することができる。

【0043】

ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器がディスプレイスクリーン周辺回路の画像を採取した後、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールは、上記の画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を、ディスプレイスクリーン周辺回路の生産ラインで欠陥検出モデルが配置されたサーバー群に送信することで、サーバー群において当該品質検出要求を受信したサーバーが受信したディスプレイスクリーン周辺回路の画像を処理することができる。

【0044】

Ｓ１０２では、ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得る。

【0045】

Ｓ１０３では、検出対象画像を欠陥検出モデルに入力し、欠陥検出結果を得る。

【0046】

欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られたものである。インスタンスセグメンテーションＭａｓｋ ＲＣＮＮアル訓練で得られた欠陥検出モデルは、入力された画像のサイズに要件があり、入力された画像のサイズがモデル入力要件のサイズと一致しないと、欠陥検出モデルはそれを処理できなくなる。ディスプレイスクリーン周辺回路を検出する時、画像全体から示される回線方向、巻線形状によりそこに存在する欠陥問題を表現できるため、本実施例では、欠陥検出モデルに入力する前に、まずディスプレイスクリーン周辺回路の画像を縮小又は拡大し、検出対象画像のサイズを欠陥検出モデルの入力サイズ要件に一致させる。

【0047】

ディスプレイスクリーン周辺回路の画像を拡大又は縮小することは、画素不変の拡大又は縮小と理解でき、あるいは、画素削減の拡大又は縮小と理解できる。画素が高すぎると、欠陥検出モデルの処理能力を超える可能性があるため、ディスプレイスクリーン周辺回路の画像の画素が高すぎる時には、まずディスプレイスクリーン周辺回路の画像を画素削減処理することができるが、これに限定されない。

【0048】

選択的に、品質検出要求を受信したサーバーは、品質検出要求におけるディスプレイスクリーン周辺回路の画像を取得し、拡大又は縮小の前処理を行い、欠陥検出モデルの入力サイズ要件に一致するサイズの検出対象画像を得る。そして、検出対象画像をサーバーで動作している欠陥検出モデルに入力し、欠陥検出モデルにより欠陥検出を行い、欠陥検出結果を得る。

【0049】

１つの実施形態では、ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、ディスプレイスクリーン周辺回路の画像に対して画像前処理を行ってもよい。そのうち、画像前処理は、トリミング、カッティング、回転といった処理のうちの１つ又は複数を含む。ディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器は通常、高精度のカメラであるため、当該画像採取機器を用いて採取されたディスプレイスクリーン周辺回路の画像は、サイズが大きいか、画素が高いか、あるいは位置が不適切であるなどの画像である可能性があることを理解することができる。したがって、コンソールから送信される品質検出要求に含まれるディスプレイスクリーン周辺回路の画像を受信した後、実際の状況に応じて、ディスプレイスクリーン周辺回路の画像を前処理する必要がある。例えば、ディスプレイスクリーン周辺回路の画像のフリンジエリアが大きい場合には、ディスプレイスクリーン周辺回路の画像をトリミング処理し、ディスプレイスクリーン周辺回路の画像の有用な部分を残すことができる。

【0050】

なお、サーバーで動作する欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことによって得られたものである。具体的には、本実施例はＭａｓｋ ＲＣＮＮアルゴリズムを用いてインスタンスセグメンテーションを行う。インスタンスセグメンテーションとは、コンピュータが画像のインスタンスインディヴィデュアルに基づいてセグメンテーションを行い、すなわち各欠陥を区分して識別し、各欠陥の種類を識別するものである。本願の実施例では、欠陥検出モデルはＭａｓｋ ＲＣＮＮ構造を採用する。具体的には、ディスプレイスクリーン周辺回路の生産ラインでのディスプレイスクリーン周辺回路の画像を欠陥検出モデルの入力とし、欠陥検出モデルを用いるＭａｓｋ ＲＣＮＮ構造はディスプレイスクリーン周辺回路画像における各画素ポイントの特徴を識別してから、ディスプレイスクリーン周辺回路画像にはどちらがノーマルの画素ポイントであり、どちらが欠陥のある画素ポイントであり、欠陥のある画素ポイントが具体的にどんなタイプの欠陥に属するかが得られる。

【0051】

１つの例示として、ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、モデル訓練プロセスを更に含んでもよい。具体的には、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際の画素種別によって欠陥検出モデルにＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことで、欠陥検出モデルが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力した予測の画素種別と実際の画素種別との間の損失値がプリセットされた損失閾値を下回る。

【0052】

損失値は合計損失値と理解することができ、欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の候補領域損失値、領域種別損失値、領域境界損失値、及び画素インスタンス損失値に対して組み合わせ訓練を行い、候補領域損失値、領域種別損失値、領域境界損失値、及び画素インスタンス損失値の合計損失値がプリセット損失閾値を満たす結果である。そのうち、候補領域損失値とは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像における選択された欠陥領域と実際の欠陥領域との間の損失値を意味し、領域種別損失値とは、選択された欠陥領域における予測の欠陥種別と実際の欠陥種別との間の損失値を意味し、領域境界損失値とは、選択された欠陥領域における予測の欠陥境界と実際の欠陥境界との間の損失値を意味し、画素インスタンス損失値とは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像における予測の画素インスタンスと実際の画素インスタンスとの間の損失値を意味する。

【0053】

本願の実施例では、Ｍａｓｋ ＲＣＮＮモデルを利用し、ディスプレイスクリーン周辺回路の生産ラインで画像採取機器が採取したディスプレイスクリーン周辺回路画像の変形、ファジー、照明変化などの特徴に対して高いロバスト性を有し、分類タスクに対して汎用性がより高い。

【0054】

なお、本願の実施例では、上記欠陥検出モデルを訓練するために必要なＭａｓｋ ＲＣＮＮモデルの構成方法は、異なる生産シナリオとディスプレイスクリーン周辺回路画像の特徴によってすべて異なる可能性があり、実際の状況に応じて決定することができ、本実施例はこれを限定しない。

【0055】

Ｓ１０４では、欠陥検出結果に基づいてディスプレイスクリーン周辺回路画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。

【0056】

選択的に、本願の実施例では、欠陥検出モデルに基づいて欠陥検出結果を得た後、当該欠陥検出結果に基づいて上記のディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定することができる。

【0057】

選択的に、本願の１つの実施例では、上記欠陥検出結果は、各欠陥の種別、及び／又は各欠陥の輪郭位置を含んでよい。例えば、ディスプレイスクリーン周辺回路の画像に欠陥がある場合、当該欠陥検出モデルによって得られた欠陥検出結果には、欠陥種別（ディスプレイスクリーン周辺回路の上に何種類の欠陥が存在するか）、欠陥位置（各欠陥の具体的な画素位置）、欠陥の輪郭（各欠陥の輪郭形状）が含まれてよい。欠陥検出結果の表現方法は、欠陥検出モデルがセグメンテーション図を出力し、グメンテーション図は、第１の色でノーマルの画素を、第２の色で１個目の欠陥を、第３の色で２個目の欠陥をマークし、１個目の欠陥と２個目の欠陥は同型欠陥であってもよく、異なるタイプの欠陥であってもよいと理解できる。２種類の欠陥が検出された欠陥検出結果には、白をベース色とし、青と緑のブロックを含むセグメンテーション図を例とすれば、そのうち、白はノーマル領域の画素を、青は点類欠陥領域の画素を、緑は他の点類欠陥領域の画素を表す。Ｍａｓｋ ＲＣＮＮモデルは画素ポイントへの識別であるため、欠陥検出結果から各種類の欠陥図形が得られ、各種類の欠陥の輪郭形状と、そのディスプレイスクリーン周辺回路の画像での画素ポイントの位置として理解できる。

【0058】

相応的に、Ｓ１０４（欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する）は、生産段階情報及び欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定することに切り替えられることができる。

【0059】

具体的に、ディスプレイスクリーン周辺回路のメーカー、生産環境、及びタイプなど様々の異なる生産段階情報はすべて、ディスプレイスクリーン周辺回路の検出プロセスにおいて、異なる欠陥検出結果が得られる。異なる種類のディスプレイスクリーン周辺回路が通過した生産段階が異なるため、上記の得られた欠陥検出結果を分析する時、各ディスプレイスクリーン周辺回路の生産段階情報を合わせてディスプレイスクリーン周辺回路の品質の良否を確定する必要がある。

【0060】

なお、本願の実施例に係る欠陥検出モデルは、ディスプレイスクリーン周辺回路にある欠陥種別の数と各種類の欠陥の具体的な数を検出することができ、つまり、Ｍａｓｋ ＲＣＮＮアルゴリズムを採用して得られた欠陥検出モデルは、同種類に属する異なる欠陥個体として区分することができる。

【0061】

本願の実施例で提供されるディスプレイスクリーン周辺回路の検出方法は、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信されたディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器が採取したディスプレイスクリーン周辺回路の画像を含む品質検出要求を受信し、ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得、当該欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。これによって、上記欠陥検出モデルは、履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られたものであるため、当該欠陥検出モデルを利用して得られた欠陥検出結果は分類精度が高く、スマート化能力が強く、システム性能を向上させ、業務拡張可能性が高い。

【0062】

図３は本願実施例に係るディスプレイスクリーン周辺回路の検出方法の実施例２のフローチャートである。上記実施例に基づき、図３に示す実施例では、上記Ｓ１０４（検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得る）は、ステップＳ３０１－ステップＳ３０２で実現することができ、具体的には以下の通りである。

【0063】

Ｓ３０１では、ロードバランスポリシーに基づいて、処理リソースをベアする検出モデルサーバーを確定する。

【0064】

選択的に、本願の実施例では、ディスプレイスクリーン周辺回路の生産ライン上にサーバー群が配置され、当該サーバー群には複数のサーバーがあってよく、そして、各サーバーで欠陥検出モデルが動作している。選択的に、各サーバーで動作する欠陥検出モデルはいずれも同じであるため、各サーバーは、コンソールから送信された品質検出要求を受信することができ、さらに、自身がベアする欠陥検出モデルを利用してディスプレイスクリーン周辺回路の画像に対して品質検出することができる。

【0065】

１つの例示として、ディスプレイスクリーン周辺回路の生産ラインに配置された画像採取機器は、リアルタイムにディスプレイスクリーン周辺回路の画像を採取するので、コンソールは、リアルタイムにサーバー群のいずれかのサーバーに品質検出要求を送信することができる。

【0066】

選択的に、サーバー群における各サーバーで動作する欠陥検出モデルは同じであるため、サーバーでの欠陥検出モデルの検出効率を向上させ、欠陥検出モデルのロードバランスを確保するために、プリセットされたロードバランスポリシーに基づいてサーバー群から処理リソースをベアする検出モデルサーバーとしての１つのサーバーを確定することができる。すなわち、ディスプレイスクリーン周辺回路の生産ラインでの欠陥検出モデルの配置状況によってリアルタイムにロードバランスとスケジューリングを行うことができる。

【0067】

Ｓ３０２では、検出対象画像を、検出モデルサーバーで動作する欠陥検出モデルに入力し、欠陥検出結果を得る。

【0068】

選択的に、本願の実施例では、サーバー群から処理リソースをベアする検出モデルサーバーを確定した後、上記ディスプレイスクリーン周辺回路の画像を当該検出モデルサーバーで動作する欠陥検出モデルに入力し、当該欠陥検出モデルを用いてディスプレイスクリーン周辺回路の画像での欠陥を検出し、さらに欠陥検出結果を得ることができる。選択的に、当該欠陥検出モデルは、訓練モジュールが、履歴的な欠陥ディスプレイスクリーン周辺回路の画像におけるプリセットされた画素種別と実際の画素種別を訓練して得られたものである。

【0069】

本願の実施例で提供されるディスプレイスクリーン周辺回路の検出方法は、ロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを確定し、且つ上記検出対象画像を上記検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得ることにより、サーバーでのロードバランスを実現し、ディスプレイスクリーン周辺回路の画像の検出効率を向上させ、ディスプレイスクリーン周辺回路の検出システムの性能を向上させることができる。

【0070】

１つの実施形態では、上記ステップＳ３０２（検出対象画像を検出モデルサーバーで動作する欠陥検出モデルに入力して欠陥検出結果を得る）の後に、以下のステップが更に含まれてもよい。

【0071】

ディスプレイスクリーン周辺回路が欠陥回路であると確定すると、コントローラによって生産管理者にアラーム情報を送信する操作、欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによってコンソールに生産制御命令を送信し、欠陥を除去する操作、ディスプレイスクリーン周辺回路の画像と欠陥検出結果を欠陥検出モデルに入力して、欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行する。

【0072】

選択的に、本願の実施例では、テスト担当者は、ディスプレイスクリーン周辺回路の生産シーン及び生産段階情報に基づいて、ディスプレイスクリーン周辺回路が欠陥回路であると判定した場合の解決策を予め設定してもよい。例えば、コントローラによって生産管理者にアラーム情報を送信し、及び／又は、上記欠陥検出結果をコントローラにより生産データベースにログとして保存し、及び／又は、コントローラによってコンソールに生産制御命令を送信して欠陥を除去し、及び／又は、上記ディスプレイスクリーン周辺回路の画像及び上記欠陥検出結果を上記欠陥検出モデルに入力して上記欠陥検出モデルなどを最適化する。

【0073】

具体的には、１つの例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路が欠陥回路であり、つまり、ディスプレイスクリーン周辺回路には欠陥があると確定された場合、アラーム情報を送信することによって、生産管理者が欠陥の種別と位置を迅速に特定し、解決策を出すことができる。

【0074】

他の例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路に欠陥があると確定した場合、コントローラによって上記欠陥検出結果をログとして生産データベースに保存し、つまり、ディスプレイスクリーン周辺回路の各欠陥の種別、及び／又は、各欠陥の輪郭位置をログとして生産データベースに保存し、さらに訓練データベースにフィルタリングし、訓練モジュール（訓練エンジンなどのソフトプログラムであってよい）により、欠陥のあるディスプレイスクリーン周辺回路の画像に基づいて上記欠陥検出モデルを更新することができる。

【0075】

別の例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路に欠陥があると確定された場合、コントローラによってコンソールに生産制御命令を送信して欠陥を解消することもできる。すなわち、欠陥検出モデルをベアする検出モデルサーバーは、コントローラによって欠陥の発生原因を特定し、さらに対応する生産プロセスを調整することができ、すなわち、検出モデルサーバーは、コントローラによってコンソールに生産制御命令を送信し、ディスプレイスクリーン周辺回路での欠陥を除去し、欠陥回路の出現確率を減らす。

【0076】

更なる別の例示として、上記欠陥検出結果に基づいてディスプレイスクリーン周辺回路に欠陥があると確定した場合には、上記ディスプレイスクリーン周辺回路の画像と上記欠陥検出結果を直接に上記欠陥検出モデルに入力し、上記欠陥検出モデルを最適化することができ、つまり、直接に欠陥回路に対応するディスプレイスクリーン周辺回路の画像を欠陥検出モデルの訓練セットとすることで、当該欠陥検出モデルを最適化し、さらに欠陥検出モデルの検出精度を向上させる。

【0077】

なお、本願の実施例は、ディスプレイスクリーン周辺回路が欠陥回路であると確定したときに、モデルサーバーが実行可能な上記１つ又は複数の操作に限定されず、実際の状況に応じて確定することができ、ここでは説明を省略する。

【0078】

選択的に、ディスプレイスクリーン周辺回路の生産ラインで配置された画像採取機器、コンソール、サーバー群、コントローラ、データベースなど複数の異なる装置に対して、ディスプレイスクリーン周辺回路の検出方法に対応する操作ステップを上記複数の異なる装置に分散して実行することができる。例えば、画像採取機器は、ディスプレイスクリーン周辺回路の画像を採取し、コンソールはロードバランスポリシーに基づいて画像採取機器が採取したディスプレイスクリーン周辺回路の画像をサーバー群の中の検出モデルサーバーに送信し、モデルサーバーで動作する欠陥検出モデルによってディスプレイスクリーン周辺回路の画像に対してプリセットされた前処理を行った後、欠陥検出して欠陥検出結果を出す。検出モデルサーバーは、欠陥検出結果をコントローラに送信することができ、コントローラが実際のビジネスシーンに合わせて、ビジネスリクエストに応じて、上記欠陥検出結果に基づいて実際のビジネスシーンの要件に合致する応答を行い、例えば、アラーム情報の送信、ログの記憶、生産制御命令の制御などがある一方で、訓練器が欠陥検出結果及び上記応答の処理結果をログとして生産データベースに記憶することで、訓練モジュールが、生産データベース中のディスプレイスクリーン周辺回路の画像と欠陥検出結果に基づいて上記で得られた欠陥検出モデルを更新してもよく、当該訓練データベースで保存されたのは生産データベースからフィルタリングされた欠陥のあるディスプレイスクリーン周辺回路の画像や対応する欠陥検出結果などのデータである。

【0079】

なお、毎回最適化された欠陥検出モデルは、ビジネスシーン及び生産段階情報に従い、欠陥検出モデルが動的に拡張して一般化される目的を達成するために、サーバーで動作している欠陥検出モデルを小流量オンラインで徐々に置換することができる。本願の実施例のディスプレイスクリーン周辺回路の検出方法は、ディスプレイスクリーン周辺回路の生産ラインで一定時間実行された後、人工的にデータベース内の情報によって、上記欠陥検出と欠陥測位の正確性を再検出し、そして上記訓練データベースを更新し、欠陥検出モデルを再訓練し、欠陥検出精度を向上させることができる。

【0080】

以下は、本願の装置の実施例であり、本願の方法の実施例を実行するために用いることができる。本願の装置の実施例において開示されていない詳細については、本願の方法の実施例を参照されたい。

【0081】

図４は本願の実施例に係るディスプレイスクリーン周辺回路の検出装置の実施例の構造概略図である。図４に示すように、本願の実施例に提供されるディスプレイスクリーン周辺回路の検出装置は、主に受信モジュール４１と、前処理モジュール４２と、処理モジュール４３と、確定モジュール４４とを含んでよい。

【0082】

受信モジュール４１は、ディスプレイスクリーン周辺回路の生産ラインで配置されたコンソールから送信された品質検出要求を受信するためのものであり、品質検出要求には、ディスプレイスクリーン周辺回路の生産ラインでの画像採取機器が採取したディスプレイスクリーン周辺回路の画像が含まれる。

【0083】

前処理モジュール４２は、ディスプレイスクリーン周辺回路の画像を拡大又は縮小し、サイズが履歴的な欠陥ディスプレイスクリーン周辺回路の画像によってインスタンスセグメンテーションＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行って得られた欠陥検出モデルの入力サイズ要件に一致する検出対象画像を得るために使用される。

【0084】

処理モジュール４３は、検出対象画像を欠陥検出モデルに入力して欠陥検出結果を得るために使用される。

【0085】

確定モジュール４４は、欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定するために使用される。

【0086】

図４に示す実施例のディスプレイスクリーン周辺回路の検出装置は、相応的に図２に示す方法実施例でのステップを実行するために使用されることができ、その実現原理と技術的効果は類似するため、ここでは説明を省略する。

【0087】

選択的に、処理モジュール４３は更に、ディスプレイスクリーン周辺回路の画像を欠陥検出モデルに入力して欠陥検出結果を得る前に、履歴的な欠陥ディスプレイスクリーン周辺回路の画像の実際の画素種別によって欠陥検出モデルにＭａｓｋ ＲＣＮＮアルゴリズムの訓練を行うことで、欠陥検出モデルが履歴的な欠陥ディスプレイスクリーン周辺回路の画像に対して出力する予測の画素種別と、実際の画素種別との間の損失値がプリセットされた損失閾値を下回るために使用される。

【0088】

選択的に、前処理モジュール４２は更に、ディスプレイスクリーン周辺回路の画像を拡大又は縮小する前に、ディスプレイスクリーン周辺回路の画像に対してトリミング、カッティング、回転といった処理のうちの１つ又は複数を含む画像前処理を行う。

【0089】

選択的に、処理モジュール４３は、具体的にロードバランスポリシーに基づいて処理リソースをベアする検出モデルサーバーを決定し、検出対象画像を検出モデルサーバーで動作する欠陥検出モデルに入力し、欠陥検出結果を得るために使用される。

【0090】

選択的に、欠陥検出結果は、各欠陥の種別、及び／又は各欠陥の輪郭位置を含む。

【0091】

確定モジュール４４は、具体的に、生産段階情報及び欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定する。

【0092】

選択的に、処理モジュール４３はさらに、欠陥検出結果に基づいてディスプレイスクリーン周辺回路の画像に対応するディスプレイスクリーン周辺回路の品質の良否を確定した後、ディスプレイスクリーン周辺回路が欠陥回路であると確定した場合には、コントローラによって生産管理者にアラーム情報を送信する操作、欠陥検出結果をコントローラによりログとして生産データベースに保存する操作、コントローラによってコンソールに生産制御命令を送信し、欠陥を除去する操作、ディスプレイスクリーン周辺回路の画像と欠陥検出結果を欠陥検出モデルに入力して、欠陥検出モデルを最適化する操作、のうちの１つ又は複数の操作を実行する。

【0093】

上記装置実施例でのディスプレイスクリーン周辺回路の検出装置は、図２～図３に示す方法の実施例の実施形態を実行するために使用されることができ、具体的な実施形態と技術効果は同様のものであるため、ここでは説明を省略する。

【0094】

図５は本願の実施例に係る電子機器の実施例の構造概略図である。当該電子機器は、プロセッサ５１、メモリ５２及びコンピュータプログラムを含み、コンピュータプログラムを記憶するためのメモリ５２は、フラッシュメモリであってもよい。コンピュータプログラムは、例えば、上記方法を実現するためのアプリケーション、機能モジュールなどであってもよい。

【0095】

プロセッサ５１は、メモリに記憶されたコンピュータプログラムを実行することで、上記方法での電子機器が実行する各ステップを実現させるために使用される。詳しい内容は方法実施例での関連説明を参照できる。

【0096】

選択的に、メモリ５２は、単独的なものであってもよく、プロセッサ５１と一体に統合されてもよい。

【0097】

メモリ５２は、プロセッサ５１と単独で存在するデバイスである時に、電子機器は更に、メモリ５２とプロセッサ５１を接続するためのバス５３を含んでよい。

【0098】

本願は更に、コンピュータで動作するときに、コンピュータに図２～図３に示す方法の実施例の方法を実行させるように命令が記憶された記憶媒体を提供する。

【0099】

記憶媒体は、コンピュータ記憶媒体であってもよく、通信媒体であってもよい。通信媒体は、便利にコンピュータプログラムを１つの場所から他方の場所に転送する任意の媒体を含む。コンピュータ記憶媒体は、汎用又は専用コンピュータがアクセスできる任意の利用可能な媒体であってもよい。例えば、記憶媒体は、プロセッサが当該読み取り可能な記憶媒体から情報を読み取り、当該記憶媒体に情報を書き込むことができるようにプロセッサにカップリングされる。無論、記憶媒体は、プロセッサの構成部分であってもよい。プロセッサ及び記憶媒体は、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ，略称ＡＳＩＣ）に存在してもよい。さらに、当該ＡＳＩＣはユーザ設備に存在してもよい。無論、プロセッサと記憶媒体は、通信装置に別個のコンポーネントとして存在してもよい。

【0100】

本願はさらに、記憶媒体に記憶されたコンピュータプログラムを含むプログラム製品を提供する。ディスプレイスクリーン周辺回路の検出装置の少なくとも１つのプロセッサは、記憶媒体から当該コンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、当該プログラムを実行し、ディスプレイスクリーン周辺回路の検出装置に図２～図３に示す方法の実施例の方法を実行させる。

【0101】

上記電子機器の実施例では、プロセッサは中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、略称ＤＳＰ）、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、略称ＡＳＩＣ）などであってもよいことを理解すべきである。汎用プロセッサは、マイクロプロセッサであってもよいし、任意のノーマルのプロセッサなどであってもよい。本願に開示された方法を組み合わせたステップは、ハードウェアプロセッサで、又はプロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせで実行して完了されることに直接的に具現化され得る。

【0102】

最後に説明すべきものとして、以上の各実施例は、本願の技術的解決手段を説明するためのものであって、これを制限するものではない。前述の各実施例を参照しながら本願を詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正ことや、又はそのうちの一部又はすべての技術的特徴に対して同等置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではないと理解すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】