特表 2025-502569 端末のスクリーン破損認識方法及び関連デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-24

(54)【発明の名称】端末のスクリーン破損認識方法及び関連デバイス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250117BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350B

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024565244

(86)(22)【出願日】2022-08-15

(85)【翻訳文提出日】2024-07-24

(86)【国際出願番号】 CN2022112581

(87)【国際公開番号】W WO2023142438

(87)【国際公開日】2023-08-03

(31)【優先権主張番号】202210090385.X

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】524279423

【氏名又は名称】チョンアン オンライン ピーアンドシー インシュアランス カンパニー リミテッド

【氏名又は名称原語表記】ＺＨＯＮＧＡＮ ＯＮＬＩＮＥ Ｐ＆Ｃ ＩＮＳＵＲＡＮＣＥ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】４－５／Ｆ Ａｓｓｏｃｉａｔｅ Ｍｉｓｓｉｏｎ Ｂｌｄｇ．， １６９， Ｙｕａｎｍｉｎｇｙｕａｎ Ｒｏａｄ， Ｈｕａｎｇｐｕ Ｄｉｓｔｒｉｃｔ， Ｓｈａｎｇｈａｉ， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】マオ ティエンチー

(72)【発明者】

【氏名】ティン ヨンコー

(72)【発明者】

【氏名】ワン ホン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA02

5L096DA02

5L096EA37

5L096FA10

5L096FA54

5L096GA51

5L096KA04

(57)【要約】

本発明は端末のスクリーン破損認識方法及び関連デバイスを提供し、この方法は、検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることであって、認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られることと、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、第１の端末のスクリーンにスクリーン破損が発生したと判定することと、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、第１の端末のスクリーンにスクリーン破損が発生していないと判定することと、を含む。本発明には、認識モデルはひび割れピクセルがマークされた第２のスクリーン画像に基づいてトレーニングして得られ、認識モデルが端末の現在のスクリーン画像に基づいてスクリーンのひび割れを正確に認識することができ、端末の破損認識の正確性を高めた。
【選択図】図２

【特許請求の範囲】

【請求項1】

端末のスクリーン破損認識方法であって、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、分割することと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、ひび割れピクセルの数を得ることと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定することと、
各前記検出対象の画像のひび割れピクセルの数が前記第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定することと、を含む、
ことを特徴とする端末のスクリーン破損認識方法。

【請求項2】

前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得ることと、
前記第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項3】

前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換することであって、前記プリセット比率は実際のスクリーンの縦横比率である、変換することと、
前記第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項4】

各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることの前に、さらに、
ひび割れピクセルがマークされた各第２のスクリーン画像を取得することであって、前記第２のスクリーン画像は第２の端末のスクリーンを含み、前記第２のスクリーン画像は前記第２の端末のスクリーンが点灯している間に撮影される、取得することと、
各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することと、
各前記トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、前記認識モデルを保存することと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項5】

各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することは、
各前記第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得ることであって、前記プリセット処理は、前記第２のスクリーン画像に対してプリセット比率の変換を行うこと及び／又は前記第２のスクリーン画像における背景画面を除去することを含む、得ることと、
前記分割対象の画像を第１のプリセット数のトレーニング対象の画像に分割することと、を含む、
ことを特徴とする請求項４に記載の端末のスクリーン破損認識方法。

【請求項6】

検出対象の第１の端末の第１のスクリーン画像を取得することは、
前記第１の端末のスクリーンが点灯している間の画像を取得することと、
前記画像におけるキーポイントの抽出を行い、前記第１の端末のスクリーンの各コーナーを得ることと、
各前記コーナーに基づいて前記画像を分割して前記第１のスクリーン画像を得ることと、を含む、
ことを特徴とする請求項１～５のいずれか１項に記載の端末のスクリーン破損認識方法。

【請求項7】

端末のスクリーン破損認識装置であって、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる取得モジュールであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、取得モジュールと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得るために用いられる入力モジュールであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、入力モジュールと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定するために用いられる決定モジュールと、を含み、
前記決定モジュールは、さらに、各前記検出対象の画像のひび割れピクセルの数が前記第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定するために用いられる、
ことを特徴とする端末のスクリーン破損認識装置。

【請求項8】

メモリとプロセッサとを含む端末のスクリーン破損認識デバイスであって、
前記メモリは、コンピュータ実行命令を記憶し、
前記プロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行することにより、前記プロセッサに請求項１～６のいずれか１項に記載の端末のスクリーン破損認識方法を実行させる、
ことを特徴とする端末のスクリーン破損認識デバイス。

【請求項9】

コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の端末のスクリーン破損認識方法は実現される、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項10】

コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の端末のスクリーン破損認識方法は実現される、
ことを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識技術の分野に関し、特に端末のスクリーン破損認識方法及び関連デバイスに関する。

【背景技術】

【0002】

スマート端末の発展及び普及に伴い、端末のスクリーン破損保険ビジネスが生まれた。スクリーン破損保険ビジネスとは、端末のスクリーンの予期せぬ破損を補償したり、スクリーンの交換を行ったりすることができる保険ビジネスである。

【0003】

現在、端末のスクリーンの破損は、ユーザが撮影したスクリーン画像を手動で確認することによって同定されている。しかし、スクリーンのひび割れは微細である可能性があり、ユーザが撮影したスクリーン画像はスクリーンのひび割れを表示することができない。

【0004】

これによると、端末のスクリーン破損認識の精度が低くなる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、端末のスクリーン破損認識の精度が低いという技術的問題を解決する端末のスクリーン破損認識方法及び関連デバイスを提供する。

【課題を解決するための手段】

【0006】

１つの態様では、本発明は、端末のスクリーン破損認識方法を提供し、この端末のスクリーン破損認識方法は、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、分割することと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、ひび割れピクセルの数を得ることと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定することと、
各前記検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定することと、を含む。

【0007】

１つの実施例では、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得ることと、
前記第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む。

【0008】

１つの実施例では、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換することであって、前記プリセット比率は実際のスクリーンの縦横比率である、分割することと、
前記第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む。

【0009】

１つの実施例では、各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることの前に、さらに、
ひび割れピクセルがマークされた各第２のスクリーン画像を取得することであって、前記第２のスクリーン画像は第２の端末のスクリーンを含み、前記第２のスクリーン画像は前記第２の端末のスクリーンが点灯している間に撮影される、取得することと、
各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することと、
各前記トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、前記認識モデルを保存することと、を含む。

【0010】

１つの実施例では、各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することは、
各前記第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得ることであって、前記プリセット処理は、前記第２のスクリーン画像に対してプリセット比率の変換を行うこと、及び／又は、前記第２のスクリーン画像における背景画面を除去すること、を含む、得ることと、
前記分割対象の画像を第１のプリセット数のトレーニング対象の画像に分割することと、を含む。

【0011】

１つの実施例では、検出対象の第１の端末の第１のスクリーン画像を取得することは、
前記第１の端末のスクリーンが点灯している間の画像を取得することと、
前記画像におけるキーポイントの抽出を行い、前記第１の端末のスクリーンの各コーナーを得ることと、
各前記コーナーに基づいて前記画像を分割して前記第１のスクリーン画像を得ることと、を含む。

【0012】

他の態様では、本発明は、端末のスクリーン破損認識装置をさらに提供し、この端末のスクリーン破損認識装置は、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる取得モジュールであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、取得モジュールと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得るために用いられる入力モジュールであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、入力モジュールと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定するために用いられる決定モジュールと、を含み、
前記決定モジュールは、さらに、各前記検出対象の画像のひび割れピクセルの数が前記第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定するために用いられる。

【0013】

他の態様では、本発明は、メモリとプロセッサとを含む端末のスクリーン破損認識デバイスをさらに提供し、
前記メモリは、コンピュータ実行命令を記憶し、
前記プロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行することにより、前記プロセッサに上記に記載の端末のスクリーン破損認識方法を実行させる。

【0014】

他の態様では、本発明は、コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、上記に記載の端末のスクリーン破損認識方法は実現される、コンピュータ可読記憶媒体をさらに提供する。

【0015】

他の態様では、本発明は、コンピュータプログラムを含み、前記コンピュータプログラムがプロセッサによって実行されるとき、上記に記載の端末のスクリーン破損認識方法は実現される、コンピュータプログラム製品をさらに提供する。

【0016】

本発明が提供する端末のスクリーン破損認識方法及び関連デバイスは、検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも大きい場合、端末のスクリーンにスクリーン破損が発生したと判定し、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、端末のスクリーンにスクリーン破損が発生していないと判定する。本発明には、認識モデルはひび割れピクセルがマークされた第２のスクリーン画像に基づいてトレーニングして得られ、これにより認識モデルが端末の現在のスクリーン画像に基づいてスクリーンのひび割れを正確に認識することができ、端末の破損認識の正確性を高めた。

【図面の簡単な説明】

【0017】

ここで図面は明細書の一部として明細書に組み込まれ、本開示に適合する実施例を示し、明細書とともに本開示の原理を説明するために使用される。

【図1】本発明の端末のスクリーン破損認識方法のシーン概略図である。

【図2】本発明の端末のスクリーン破損認識方法の第１の実施例のフローチャートである。

【図3】本発明の端末のスクリーン破損認識方法の第２の実施例におけるステップＳ１０の細分化フローチャートである。

【図4】本発明の端末のスクリーン破損認識方法の第３の実施例におけるステップＳ１０の細分化フローチャートである。

【図5】本発明の端末のスクリーン破損認識方法の第４の実施例のフローチャートである。

【図6】本発明に係るひび割れピクセルがマークされたスクリーン画像の概略図である。

【図7】本発明の端末のスクリーン破損認識方法の第５の実施例におけるステップＳ１０の細分化フローチャートである。

【図8】本発明の端末のスクリーン破損認識装置のモジュール概略図である。

【図9】本発明の端末のスクリーン破損認識デバイスのハードウェア構成図である。 上記の図面により、本開示の明確な実施例が示されており、後述するより詳細な説明がある。これらの図面及び文字記述は、本開示の概念の範囲を任意の方法で制限するためのものではなく、特定の実施例を参照することによって、当業者に本開示の概念を説明するためのものである。

【発明を実施するための形態】

【0018】

ここでは、図面に示される例示的な実施例について詳細に説明する。以下の説明が図面に関連する場合、別段の表現がない限り、異なる図面における同一の数字は同一又は類似の要素を表す。以下の例示的な実施例に記載される実施形態は、本開示と一致するすべての実施形態を代表するものではない。対照的に、これらは、添付の特許請求の範囲に詳細に記載された、本開示のいくつかの態様と一致する装置及び方法の例にすぎない。

【0019】

本発明は、端末のスクリーン破損認識方法を提供する。図１を参照して、スクリーン画像は携帯電話のスクリーンの点灯で撮影されたもので、スクリーン画像は、携帯電話の２つの領域にひび割れが入っていることを示しており、具体的にはスクリーン画像のひび割れ領域である。スクリーン画像は、携帯電話の検出対象の画像として端末デバイスに入力される。端末デバイスは、データ処理能力を備えた任意のデバイスであってもよく、例えば、端末デバイスはコンピュータであってもよい。認識モデルは検出対象の画像を認識することで、携帯電話のスクリーンのひび割れピクセルの数を出力することができ、端末デバイスはその数及びプリセット数に基づいて携帯電話のスクリーン破損が発生したり、破損が発生しなかったりするヒント情報を出力することができる。例えば、ひび割れピクセルの数がプリセット数よりも多く、端末デバイスは携帯電話のスクリーン破損が発生するヒント情報を出力し、ひび割れピクセルの数はプリセット数以下であり、端末デバイスは携帯電話のスクリーン破損が発生していないヒント情報を出力する。

【0020】

以下、本発明の技術案及び本願の技術案が上記の技術的課題をどのように解決するかを具体的な実施例を用いて詳細に説明する。以下のいくつかの具体的な実施例を互いに組み合わせることができ、同じ又は類似した概念又はプロセスについては、いくつかの実施例ではもはや説明しないことがある。以下、図面を用いて本発明の実施例について説明する。

【0021】

図２を参照して、図２は、本発明の端末のスクリーン破損認識方法の第１の実施例であり、端末のスクリーン破損認識方法は以下のステップを含む。

【0022】

ステップＳ１０、検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、第１のスクリーン画像は第１の端末のスクリーンを含み、第１のスクリーン画像は第１の端末のスクリーンが点灯している間に撮影される。

【0023】

本実施例では、実行主体は端末のスクリーン破損認識装置であり、説明の便宜上、以下では装置を用いて端末のレベル認識装置を指す。装置は、任意のデータ処理能力を備えた端末デバイスであってもよく、例えば、装置は、コンピュータ、ノートパソコン、又は携帯電話であってもよい。

【0024】

装置は、検出対象の第１のスクリーン画像を取得する。第１のスクリーン画像には端末のスクリーンが含まれ、端末は第１の端末と定義され、第１の端末は携帯電話、タブレットなどの携帯端末であってもよい。第１のスクリーン画像は第１の端末のスクリーンが点灯している間に撮影されたものであり、即ち、第１のスクリーン画像には第１の端末が点灯しているスクリーンが含まれており、点灯しているスクリーンに基づいて第１の端末のスクリーンにひび割れが入っているかどうかを容易に認識することができる。

【0025】

さらに、装置は、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割する。第１のプリセット数は任意の適切な値であってもよく、例えば、第１のプリセット数は８個であってもよい。また、各検出対象の画像は、同じサイズの正方形画像であることが好ましく、即ち、第１のスクリーン画像を第１のプリセット数の検出対象の画像に均等に分割する。

【0026】

ステップＳ２０、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得、認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる。

【0027】

装置には認識モデルが記憶されている。認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる。第２のスクリーン画像は第２の端末のスクリーンを含み、第２のスクリーン画像は第２の端末のスクリーンが点灯している間に撮影される。ひび割れピクセルとは、第２のスクリーン画像にひび割れがあるピクセルを指す。

【0028】

装置は、各検出対象の画像を認識モデルに入力する。認識モデルは、各検出対象の画像に認識し、各検出対象の画像のひび割れピクセルの数を出力する。

【0029】

ステップＳ３０、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、第１の端末のスクリーンにスクリーン破損が発生したと判定する。

【0030】

ひび割れは一般的にスクリーンのある領域に集中しているが、スクリーン全体のピクセルの総数量は多く、ひび割れに対応するひび割れピクセルと総数の比は比較的に小さく、装置は第１の端末のスクリーンにスクリーン破損が発生していないと誤って判定する。したがって、装置は、第１のスクリーン画像を分割し、検出対象の画像のピクセルの総数を第２のプリセット数設定に設定することにより、ひび割れピクセルの数の割合を高めて、第１の端末のスクリーンにスクリーン破損が発生しているかどうかを合理的に判定し、即ち装置による誤って判定を回避する。

【0031】

装置は、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上であると判定する場合、第１の端末のスクリーンにスクリーン破損が発生したと判定する。

【0032】

ステップＳ４０、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、第１の端末のスクリーンにスクリーン破損が発生していないと判定する。

【0033】

装置は、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ないことを検出することで、第１の端末のスクリーンにスクリーン破損が発生していないことを判定することができる。

【0034】

本実施例が提供する技術案では、検出対象の端末の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、端末のスクリーンにスクリーン破損が発生したと判定し、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、端末のスクリーンにスクリーン破損が発生していないと判定する。本発明には、認識モデルはひび割れピクセルがマークされた第２のスクリーン画像に基づいてトレーニングして得られ、認識モデルが端末の現在のスクリーン画像に基づいてスクリーンのひび割れを正確に認識することができ、端末の破損認識の正確性を高めた。

【0035】

図３を参照して、図３は本発明の端末のスクリーン破損認識方法の第２の実施例であり、第１の実施例に基づいて、ステップＳ１０は以下を含む。
ステップＳ１１、第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得る。
ステップＳ１２、第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割する。

【0036】

本実施例では、第１のスクリーン画像は、第１端末のスクリーンが点灯している間に撮影される。したがって、第１のスクリーン画像にはスクリーン表示されたコンテンツが含まれており、表示されたコンテンツはスクリーンのひび割れをカバーしたり、ひび割れが認識されにくくなる可能性がある。

【0037】

これに対して、装置は、第１のスクリーン画像を得た後、第１のスクリーンにおける背景画面を除去して第３のスクリーン画像を得、即ち第３のスクリーン画像がホワイトフィールドスクリーンなどの純色のスクリーンである。

【0038】

装置はさらに、第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割することで、装置は、端末のスクリーンにスクリーン破損が発生しているかどうかをより明確に認識することができる。

【0039】

本実施例が提供する技術案では、装置は、第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得て、さらに第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割して、第１のスクリーン画像におけるスクリーンの背景画面が認識モデルの認識精度に影響を与えることを回避する。

【0040】

図４を参照して、図４は本発明の端末のスクリーン破損認識方法の第３の実施例であり、第１又は第２の実施例に基づいて、ステップＳ１０は以下を含む。
ステップＳ１３、第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換し、プリセット比率は実際のスクリーンの縦横比率である。
ステップＳ１４、第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割する。

【0041】

本実施例では、装置は、第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換する。プリセット比率は実際のスクリーンの縦横比率である。具体的には、携帯電話のスクリーンの縦横比率は一般的に２：１であり、第１のスクリーン画像が携帯電話のスクリーンを含む場合、装置は第１のスクリーン画像を２：１の第４のスクリーン画像に変換する。

【0042】

装置は、第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、例えば、第４のスクリーン画像に対して２×４の均等分割を行い、８枚の検出対象の画像を得る。

【0043】

本実施例が提供する技術案では、装置は第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換し、さらに第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、即ち第１端末のスクリーンの実際の縦横比率に従って画像を処理し、認識対象の画像を規範化して、スクリーンにスクリーン破損が発生しているかどうかの認識基準を統一する。

【0044】

図５を参照して、図５は本発明の端末のスクリーン破損認識方法の第４の実施例であり、第１～第３のいずれかの実施例に基づいて、ステップＳ２０の前に、以下をさらに含む。

【0045】

ステップＳ５０、ひび割れピクセルがマークされた各第２のスクリーン画像を取得し、第２のスクリーン画像は第２の端末のスクリーンを含み、第２のスクリーン画像は第２の端末のスクリーンが点灯している間に撮影される。

【0046】

本実施例では、装置はトレーニングして認識モデルを得ることが必要である。具体的には、装置はデータベースからユーザがアップロードした各モデルの携帯電話の画像を選択し、携帯電話は第２の端末であり、各画像に基づいて第２のスクリーン画像を得ることができる。第２のスクリーン画像は第２の端末のスクリーンを含み、第２のスクリーンは第２の端末のスクリーンが点灯している間に撮影される。各第２のスクリーン画像に列コールドピクセルのマークを行う。具体的に、図６を参照して、図６は、マークされた第２のスクリーン画像であり、即ち第２のスクリーン画像における白色の線がスクリーンのひび割れピクセルからなる。

【0047】

ステップＳ６０、各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割する。

【0048】

装置は、各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割し、第２のスクリーン画像の分割方方法は第１のスクリーン画像の分割方法と同じであり、ここでは詳細説明を繰り返さない。

【0049】

ステップＳ７０、各トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、認識モデルを保存する。

【0050】

装置は、各トレーニング対象の画像に基づいてプリセットモデルをトレーニングすれば認識モデルを得て、認識モデルを保存することができる。

【0051】

なお、装置は、第２のスクリーン画像を得た後、第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得、プリセット処理は、第２のスクリーン画像に対してプリセット比率の変換を行うこと及び／又は第２のスクリーン画像における背景画面を除去することを含む。第２のスクリーン画像に対するプリセット比率の変換は、第１のスクリーン画像に対するプリセット比率の変換と同じであり、第２のスクリーン画像における背景画面を除去することは、第１のスクリーン画像における背景画面を除去することと同じであり、具体的には上記の説明を参照して、ここでは詳細説明を繰り返さない。

【0052】

本実施例が提供する技術案では、装置は、ひび割れピクセルがマークされた各第２のスクリーン画像を取得し、各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割し、それによって各トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、さらに認識モデルに基づいて正確的に端末のスクリーンにスクリーン破損が発生しているかどうかを認識する。

【0053】

図７を参照して、図７は本発明の端末のスクリーン破損認識方法の第５の実施例であり、第１～第３のいずれかの実施例に基づいて、ステップＳ１０は以下を含む。
ステップＳ１５、第１の端末のスクリーンが点灯している間の画像を取得する。
ステップＳ１６、画像におけるキーポイントの抽出を行い、第１の端末のスクリーンの各コーナーを得る。
ステップＳ１７、各コーナーに基づいて画像を分割して第１のスクリーン画像を得る。

【0054】

本実施例では、端末のスクリーン破損認識を行う際に、端末の姿勢が異なり、端末のスクリーン破損認識の精度に影響を与える。これに対して、装置は、画像から端末のスクリーンのみを含む画像を抽出することができる。

【0055】

具体的には、装置は、まず、ユーザによりアップロードされた第１の端末のスクリーンが点灯している間の画像を取得する。装置は、キーポイント抽出モデルを用いて画像からキーポイントの抽出を行い、第１端末のスクリーンの画像での各コーナーを得る。キーポイント抽出モデルは、携帯電話の枠の４辺の延長線の４つの交点の位置を左上、左下、右下、右上の順にマークし、この４つの点を携帯電話のキーポイントと定義した。

【0056】

装置は、各コーナーに基づいて画像を分割すれば第１のスクリーン画像を得ることができ、即ち、装置は、スクリーンのみを含む画像でスクリーン破損の認識を行う。

【0057】

本実施例が提供する技術案では、装置は、第１の端末のスクリーンが点灯している間の画像を取得し、画像からスクリーンの各コーナーを決定し、それによって各コーナーに基づいて画像から第１のスクリーン画像を分割して、端末の姿勢がスクリーン破損認識の精度に影響を与えないようにする。

【0058】

本発明はさらに端末のスクリーン破損認識装置を提供し、図８を参照して、端末のスクリーン破損認識装置８００は、
検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる取得モジュール８１０であって、第１のスクリーン画像は第１の端末のスクリーンを含み、第１のスクリーン画像は第１の端末のスクリーンが点灯している間に撮影される、取得モジュール８１０と、
各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得るために用いられる入力モジュール８２０であって、認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、入力モジュール８２０と、
いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、第１の端末のスクリーンにスクリーン破損が発生したと判定するために用いられる決定モジュール８３０と、を含み、
決定モジュール８３０は、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、第１の端末のスクリーンにスクリーン破損が発生していないと判定するために用いられる。

【0059】

１つの実施例では、端末のスクリーン破損認識装置８００は、
第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得るために用いられる処理モジュールと、
第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる分割モジュールと、を含む。

【0060】

１つの実施例では、端末のスクリーン破損認識装置８００は、
第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換するために用いられる変換モジュールであって、プリセット比率は実際のスクリーンの縦横比率である、変換モジュールと、
第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる分割モジュールと、を含む。

【0061】

１つの実施例では、端末のスクリーン破損認識装置８００は、
ひび割れピクセルがマークされた各第２のスクリーン画像を取得するために用いられる取得モジュール８１０であって、第２のスクリーン画像は第２の端末のスクリーンを含み、前記第２のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、取得モジュール８１０と、
各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割するために用いられる分割モジュールと、
各トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、認識モデルを保存するために用いられるトレーニングモジュールと、を含む。

【0062】

１つの実施例では、端末のスクリーン破損認識装置８００は、
各第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得るために用いられる処理モジュールであって、プリセット処理は、第２のスクリーン画像に対してプリセット比率の変換を行うこと及び／又は第２のスクリーン画像における背景画面を除去することを含む、処理モジュールと、
分割対象の画像を第１のプリセット数のトレーニング対象の画像に分割するために用いられる分割モジュールと、を含む。

【0063】

１つの実施例では、端末のスクリーン破損認識装置８００は、
第１の端末のスクリーンが点灯している間の画像を取得するために用いられる取得モジュール８１０と、
画像におけるキーポイントの抽出を行い、第１の端末のスクリーンの各コーナーを得るために用いられる抽出モジュールと、
各コーナーに基づいて画像を分割して第１のスクリーン画像を得るために用いられる分割モジュールと、を含む。

【0064】

図９は１つの例示的な実施例による端末のスクリーン破損認識デバイスのハードウェア構成図である。

【0065】

端末のスクリーン破損認識デバイス９００は、ＣＰＵなどのプロセッサ９０１、メモリ９０２、トランシーバ９０３を含むことができる。当業者であれば、図９に示す構造は、端末のスクリーン破損認識装置の限定を構成するものではなく、図示よりも多く又は少ない部品を含むか、いくつかの部品を組み合わせたり、異なる部品配置を組み合わせたりすることができることを理解することができる。メモリ９０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、光ディスクなど、任意のタイプの揮発性又は不揮発性の記憶デバイス、又はそれらの組み合わせによって実現することができる。

【0066】

プロセッサ９０１は、メモリ９０２に記憶されたコンピュータプログラムを呼び出して、上記の端末のスクリーン破損認識方法のすべて又は一部のステップを完了することができる。

【0067】

トランシーバ９０３は、外部デバイスから送信された情報を受信し、外部デバイスへ情報を送信するために用いられる。

【0068】

非一時的なコンピュータ可読記憶媒体であって、この記憶媒体の命令が端末のスクリーン破損認識デバイスのプロセッサによって実行される場合、端末のスクリーン破損認識デバイスが上記の端末のスクリーン破損認識方法を実行できるようにする。

【0069】

コンピュータプログラム製品であって、コンピュータプログラムを含み、このコンピュータプログラムが端末のスクリーン破損認識デバイスのプロセッサによって実行されるとき、端末のスクリーン破損認識デバイスが上記の端末のスクリーン破損認識方法を実行できるようにする。

【0070】

当業者は、明細書を考慮し、本明細書に開示された発明を実践した後、本開示の他の実施例を容易に思いつくであろう。本発明は、本開示の一般的な原理に従い、本開示の非開示の本技術分野における公知の常識又は慣用技術手段を含む、本開示の任意の変形、用途又は適応性変化をカバーすることを目的とする。明細書及び実施例は例示的なものとしてのみ扱われ、本開示の真の範囲及び精神は、以下の特許請求の範囲によって指摘される。

【0071】

本開示は、上記し図面に示した正確な構造に限定されるものではなく、その範囲を逸脱しない範囲で種々の修正及び変更が可能であることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。

【0072】

本願は、２０２２年０１月２５日に中国特許局に提出された、出願番号が２０２２１００９０３８５．Ｘ、出願名称が「端末のスクリーン破損認識方法及び関連デバイス」である中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-07-24

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識技術の分野に関し、特に端末のスクリーン破損認識方法及び関連デバイスに関する。

【背景技術】

【0002】

スマート端末の発展及び普及に伴い、端末のスクリーン破損保険ビジネスが生まれた。スクリーン破損保険ビジネスとは、端末のスクリーンの予期せぬ破損を補償したり、スクリーンの交換を行ったりすることができる保険ビジネスである。

【0003】

現在、端末のスクリーンの破損は、ユーザが撮影したスクリーン画像を手動で確認することによって同定されている。しかし、スクリーンのひび割れは微細である可能性があり、ユーザが撮影したスクリーン画像はスクリーンのひび割れを表示することができない。

【0004】

これによると、端末のスクリーン破損認識の精度が低くなる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、端末のスクリーン破損認識の精度が低いという技術的問題を解決する端末のスクリーン破損認識方法及び関連デバイスを提供する。

【課題を解決するための手段】

【0006】

１つの態様では、本発明は、端末のスクリーン破損認識方法を提供し、この端末のスクリーン破損認識方法は、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、分割することと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、ひび割れピクセルの数を得ることと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定することと、
各前記検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定することと、を含む。

【0007】

１つの実施例では、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得ることと、
前記第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む。

【0008】

１つの実施例では、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換することであって、前記プリセット比率は実際のスクリーンの縦横比率である、分割することと、
前記第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む。

【0009】

１つの実施例では、各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることの前に、さらに、
ひび割れピクセルがマークされた各第２のスクリーン画像を取得することであって、前記第２のスクリーン画像は第２の端末のスクリーンを含み、前記第２のスクリーン画像は前記第２の端末のスクリーンが点灯している間に撮影される、取得することと、
各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することと、
各前記トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、前記認識モデルを保存することと、を含む。

【0010】

１つの実施例では、各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することは、
各前記第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得ることであって、前記プリセット処理は、前記第２のスクリーン画像に対してプリセット比率の変換を行うこと、及び／又は、前記第２のスクリーン画像における背景画面を除去すること、を含む、得ることと、
前記分割対象の画像を第１のプリセット数のトレーニング対象の画像に分割することと、を含む。

【0011】

１つの実施例では、検出対象の第１の端末の第１のスクリーン画像を取得することは、
前記第１の端末のスクリーンが点灯している間の画像を取得することと、
前記画像におけるキーポイントの抽出を行い、前記第１の端末のスクリーンの各コーナーを得ることと、
各前記コーナーに基づいて前記画像を分割して前記第１のスクリーン画像を得ることと、を含む。

【0012】

他の態様では、本発明は、端末のスクリーン破損認識装置をさらに提供し、この端末のスクリーン破損認識装置は、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる取得モジュールであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、取得モジュールと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得るために用いられる入力モジュールであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、入力モジュールと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定するために用いられる決定モジュールと、を含み、
前記決定モジュールは、さらに、各前記検出対象の画像のひび割れピクセルの数が前記第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定するために用いられる。

【0013】

他の態様では、本発明は、メモリとプロセッサとを含む端末のスクリーン破損認識デバイスをさらに提供し、
前記メモリは、コンピュータ実行命令を記憶し、
前記プロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行することにより、前記プロセッサに上記に記載の端末のスクリーン破損認識方法を実行させる。

【0014】

他の態様では、本発明は、コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、上記に記載の端末のスクリーン破損認識方法は実現される、コンピュータ可読記憶媒体をさらに提供する。

【0015】

他の態様では、本発明は、コンピュータプログラムがプロセッサによって実行されるとき、上記に記載の端末のスクリーン破損認識方法は実現される、コンピュータプログラムをさらに提供する。

【0016】

本発明が提供する端末のスクリーン破損認識方法及び関連デバイスは、検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、端末のスクリーンにスクリーン破損が発生したと判定し、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、端末のスクリーンにスクリーン破損が発生していないと判定する。本発明には、認識モデルはひび割れピクセルがマークされた第２のスクリーン画像に基づいてトレーニングして得られ、これにより認識モデルが端末の現在のスクリーン画像に基づいてスクリーンのひび割れを正確に認識することができ、端末の破損認識の正確性を高めた。

【図面の簡単な説明】

【0017】

ここで図面は明細書の一部として明細書に組み込まれ、本開示に適合する実施例を示し、明細書とともに本開示の原理を説明するために使用される。

【図1】本発明の端末のスクリーン破損認識方法のシーン概略図である。

【図2】本発明の端末のスクリーン破損認識方法の第１の実施例のフローチャートである。

【図3】本発明の端末のスクリーン破損認識方法の第２の実施例におけるステップＳ１０の細分化フローチャートである。

【図4】本発明の端末のスクリーン破損認識方法の第３の実施例におけるステップＳ１０の細分化フローチャートである。

【図5】本発明の端末のスクリーン破損認識方法の第４の実施例のフローチャートである。

【図6】本発明に係るひび割れピクセルがマークされたスクリーン画像の概略図である。

【図7】本発明の端末のスクリーン破損認識方法の第５の実施例におけるステップＳ１０の細分化フローチャートである。

【図8】本発明の端末のスクリーン破損認識装置のモジュール概略図である。

【図9】本発明の端末のスクリーン破損認識デバイスのハードウェア構成図である。 上記の図面により、本開示の明確な実施例が示されており、後述するより詳細な説明がある。これらの図面及び文字記述は、本開示の概念の範囲を任意の方法で制限するためのものではなく、特定の実施例を参照することによって、当業者に本開示の概念を説明するためのものである。

【発明を実施するための形態】

【0018】

ここでは、図面に示される例示的な実施例について詳細に説明する。以下の説明が図面に関連する場合、別段の表現がない限り、異なる図面における同一の数字は同一又は類似の要素を表す。以下の例示的な実施例に記載される実施形態は、本開示と一致するすべての実施形態を代表するものではない。対照的に、これらは、添付の特許請求の範囲に詳細に記載された、本開示のいくつかの態様と一致する装置及び方法の例にすぎない。

【0019】

本発明は、端末のスクリーン破損認識方法を提供する。図１を参照して、スクリーン画像は携帯電話のスクリーンの点灯で撮影されたもので、スクリーン画像は、携帯電話の２つの領域にひび割れが入っていることを示しており、具体的にはスクリーン画像のひび割れ領域である。スクリーン画像は、携帯電話の検出対象の画像として端末デバイスに入力される。端末デバイスは、データ処理能力を備えた任意のデバイスであってもよく、例えば、端末デバイスはコンピュータであってもよい。認識モデルは検出対象の画像を認識することで、携帯電話のスクリーンのひび割れピクセルの数を出力することができ、端末デバイスはその数及びプリセット数に基づいて携帯電話のスクリーン破損が発生したり、破損が発生しなかったりするヒント情報を出力することができる。例えば、ひび割れピクセルの数がプリセット数よりも多く、端末デバイスは携帯電話のスクリーン破損が発生するヒント情報を出力し、ひび割れピクセルの数はプリセット数以下であり、端末デバイスは携帯電話のスクリーン破損が発生していないヒント情報を出力する。

【0020】

以下、本発明の技術案及び本願の技術案が上記の技術的課題をどのように解決するかを具体的な実施例を用いて詳細に説明する。以下のいくつかの具体的な実施例を互いに組み合わせることができ、同じ又は類似した概念又はプロセスについては、いくつかの実施例ではもはや説明しないことがある。以下、図面を用いて本発明の実施例について説明する。

【0021】

図２を参照して、図２は、本発明の端末のスクリーン破損認識方法の第１の実施例であり、端末のスクリーン破損認識方法は以下のステップを含む。

【0022】

ステップＳ１０、検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、第１のスクリーン画像は第１の端末のスクリーンを含み、第１のスクリーン画像は第１の端末のスクリーンが点灯している間に撮影される。

【0023】

本実施例では、実行主体は端末のスクリーン破損認識装置であり、説明の便宜上、以下では装置を用いて端末のレベル認識装置を指す。装置は、任意のデータ処理能力を備えた端末デバイスであってもよく、例えば、装置は、コンピュータ、ノートパソコン、又は携帯電話であってもよい。

【0024】

装置は、検出対象の第１のスクリーン画像を取得する。第１のスクリーン画像には端末のスクリーンが含まれ、端末は第１の端末と定義され、第１の端末は携帯電話、タブレットなどの携帯端末であってもよい。第１のスクリーン画像は第１の端末のスクリーンが点灯している間に撮影されたものであり、即ち、第１のスクリーン画像には第１の端末が点灯しているスクリーンが含まれており、点灯しているスクリーンに基づいて第１の端末のスクリーンにひび割れが入っているかどうかを容易に認識することができる。

【0025】

さらに、装置は、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割する。第１のプリセット数は任意の適切な値であってもよく、例えば、第１のプリセット数は８個であってもよい。また、各検出対象の画像は、同じサイズの正方形画像であることが好ましく、即ち、第１のスクリーン画像を第１のプリセット数の検出対象の画像に均等に分割する。

【0026】

ステップＳ２０、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得、認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる。

【0027】

装置には認識モデルが記憶されている。認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる。第２のスクリーン画像は第２の端末のスクリーンを含み、第２のスクリーン画像は第２の端末のスクリーンが点灯している間に撮影される。ひび割れピクセルとは、第２のスクリーン画像にひび割れがあるピクセルを指す。

【0028】

装置は、各検出対象の画像を認識モデルに入力する。認識モデルは、各検出対象の画像に認識し、各検出対象の画像のひび割れピクセルの数を出力する。

【0029】

ステップＳ３０、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、第１の端末のスクリーンにスクリーン破損が発生したと判定する。

【0030】

ひび割れは一般的にスクリーンのある領域に集中しているが、スクリーン全体のピクセルの総数量は多く、ひび割れに対応するひび割れピクセルと総数の比は比較的に小さく、装置は第１の端末のスクリーンにスクリーン破損が発生していないと誤って判定する。したがって、装置は、第１のスクリーン画像を分割し、検出対象の画像のピクセルの総数を第２のプリセット数に設定することにより、ひび割れピクセルの数の割合を高めて、第１の端末のスクリーンにスクリーン破損が発生しているかどうかを合理的に判定し、即ち装置による誤って判定を回避する。

【0031】

装置は、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上であると判定する場合、第１の端末のスクリーンにスクリーン破損が発生したと判定する。

【0032】

ステップＳ４０、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、第１の端末のスクリーンにスクリーン破損が発生していないと判定する。

【0033】

装置は、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ないことを検出することで、第１の端末のスクリーンにスクリーン破損が発生していないことを判定することができる。

【0034】

本実施例が提供する技術案では、検出対象の端末の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得、いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、端末のスクリーンにスクリーン破損が発生したと判定し、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、端末のスクリーンにスクリーン破損が発生していないと判定する。本発明には、認識モデルはひび割れピクセルがマークされた第２のスクリーン画像に基づいてトレーニングして得られ、認識モデルが端末の現在のスクリーン画像に基づいてスクリーンのひび割れを正確に認識することができ、端末の破損認識の正確性を高めた。

【0035】

図３を参照して、図３は本発明の端末のスクリーン破損認識方法の第２の実施例であり、第１の実施例に基づいて、ステップＳ１０は以下を含む。
ステップＳ１１、第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得る。
ステップＳ１２、第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割する。

【0036】

本実施例では、第１のスクリーン画像は、第１端末のスクリーンが点灯している間に撮影される。したがって、第１のスクリーン画像にはスクリーン表示されたコンテンツが含まれており、表示されたコンテンツはスクリーンのひび割れをカバーしたり、ひび割れが認識されにくくなる可能性がある。

【0037】

これに対して、装置は、第１のスクリーン画像を得た後、第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得、即ち第３のスクリーン画像がホワイトフィールドスクリーンなどの純色のスクリーンである。

【0038】

装置はさらに、第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割することで、装置は、端末のスクリーンにスクリーン破損が発生しているかどうかをより明確に認識することができる。

【0039】

本実施例が提供する技術案では、装置は、第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得て、さらに第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割して、第１のスクリーン画像におけるスクリーンの背景画面が認識モデルの認識精度に影響を与えることを回避する。

【0040】

図４を参照して、図４は本発明の端末のスクリーン破損認識方法の第３の実施例であり、第１又は第２の実施例に基づいて、ステップＳ１０は以下を含む。
ステップＳ１３、第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換し、プリセット比率は実際のスクリーンの縦横比率である。
ステップＳ１４、第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割する。

【0041】

本実施例では、装置は、第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換する。プリセット比率は実際のスクリーンの縦横比率である。具体的には、携帯電話のスクリーンの縦横比率は一般的に２：１であり、第１のスクリーン画像が携帯電話のスクリーンを含む場合、装置は第１のスクリーン画像を２：１の第４のスクリーン画像に変換する。

【0042】

装置は、第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、例えば、第４のスクリーン画像に対して２×４の均等分割を行い、８枚の検出対象の画像を得る。

【0043】

本実施例が提供する技術案では、装置は第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換し、さらに第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割し、即ち第１端末のスクリーンの実際の縦横比率に従って画像を処理し、認識対象の画像を規範化して、スクリーンにスクリーン破損が発生しているかどうかの認識基準を統一する。

【0044】

図５を参照して、図５は本発明の端末のスクリーン破損認識方法の第４の実施例であり、第１～第３のいずれかの実施例に基づいて、ステップＳ２０の前に、以下をさらに含む。

【0045】

ステップＳ５０、ひび割れピクセルがマークされた各第２のスクリーン画像を取得し、第２のスクリーン画像は第２の端末のスクリーンを含み、第２のスクリーン画像は第２の端末のスクリーンが点灯している間に撮影される。

【0046】

本実施例では、装置はトレーニングして認識モデルを得ることが必要である。具体的には、装置はデータベースからユーザがアップロードした各モデルの携帯電話の画像を選択し、携帯電話は第２の端末であり、各画像に基づいて第２のスクリーン画像を得ることができる。第２のスクリーン画像は第２の端末のスクリーンを含み、第２のスクリーン画像は第２の端末のスクリーンが点灯している間に撮影される。各第２のスクリーン画像にひび割れピクセルのマークを行う。具体的に、図６を参照して、図６は、マークされた第２のスクリーン画像であり、即ち第２のスクリーン画像における白色の線がスクリーンのひび割れピクセルからなる。

【0047】

ステップＳ６０、各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割する。

【0048】

装置は、各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割し、第２のスクリーン画像の分割方法は第１のスクリーン画像の分割方法と同じであり、ここでは詳細説明を繰り返さない。

【0049】

ステップＳ７０、各トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、認識モデルを保存する。

【0050】

装置は、各トレーニング対象の画像に基づいてプリセットモデルをトレーニングすれば認識モデルを得て、認識モデルを保存することができる。

【0051】

なお、装置は、第２のスクリーン画像を得た後、第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得、プリセット処理は、第２のスクリーン画像に対してプリセット比率の変換を行うこと及び／又は第２のスクリーン画像における背景画面を除去することを含む。第２のスクリーン画像に対するプリセット比率の変換は、第１のスクリーン画像に対するプリセット比率の変換と同じであり、第２のスクリーン画像における背景画面を除去することは、第１のスクリーン画像における背景画面を除去することと同じであり、具体的には上記の説明を参照して、ここでは詳細説明を繰り返さない。

【0052】

本実施例が提供する技術案では、装置は、ひび割れピクセルがマークされた各第２のスクリーン画像を取得し、各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割し、それによって各トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、さらに認識モデルに基づいて正確的に端末のスクリーンにスクリーン破損が発生しているかどうかを認識する。

【0053】

図７を参照して、図７は本発明の端末のスクリーン破損認識方法の第５の実施例であり、第１～第３のいずれかの実施例に基づいて、ステップＳ１０は以下を含む。
ステップＳ１５、第１の端末のスクリーンが点灯している間の画像を取得する。
ステップＳ１６、画像におけるキーポイントの抽出を行い、第１の端末のスクリーンの各コーナーを得る。
ステップＳ１７、各コーナーに基づいて画像を分割して第１のスクリーン画像を得る。

【0054】

本実施例では、端末のスクリーン破損認識を行う際に、端末の姿勢が異なり、端末のスクリーン破損認識の精度に影響を与える。これに対して、装置は、画像から端末のスクリーンのみを含む画像を抽出することができる。

【0055】

具体的には、装置は、まず、ユーザによりアップロードされた第１の端末のスクリーンが点灯している間の画像を取得する。装置は、キーポイント抽出モデルを用いて画像からキーポイントの抽出を行い、第１端末のスクリーンの画像での各コーナーを得る。キーポイント抽出モデルは、携帯電話の枠の４辺の延長線の４つの交点の位置を左上、左下、右下、右上の順にマークし、この４つの点を携帯電話のキーポイントと定義した。

【0056】

装置は、各コーナーに基づいて画像を分割すれば第１のスクリーン画像を得ることができ、即ち、装置は、スクリーンのみを含む画像でスクリーン破損の認識を行う。

【0057】

本実施例が提供する技術案では、装置は、第１の端末のスクリーンが点灯している間の画像を取得し、画像からスクリーンの各コーナーを決定し、それによって各コーナーに基づいて画像から第１のスクリーン画像を分割して、端末の姿勢がスクリーン破損認識の精度に影響を与えないようにする。

【0058】

本発明はさらに端末のスクリーン破損認識装置を提供し、図８を参照して、端末のスクリーン破損認識装置８００は、
検出対象の第１のスクリーン画像を取得し、第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる取得モジュール８１０であって、第１のスクリーン画像は第１の端末のスクリーンを含み、第１のスクリーン画像は第１の端末のスクリーンが点灯している間に撮影される、取得モジュール８１０と、
各検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得るために用いられる入力モジュール８２０であって、認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、入力モジュール８２０と、
いずれかの検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、第１の端末のスクリーンにスクリーン破損が発生したと判定するために用いられる決定モジュール８３０と、を含み、
決定モジュール８３０は、各検出対象の画像のひび割れピクセルの数が第２のプリセット数よりも少ない場合、第１の端末のスクリーンにスクリーン破損が発生していないと判定するために用いられる。

【0059】

１つの実施例では、端末のスクリーン破損認識装置８００は、
第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得るために用いられる処理モジュールと、
第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる分割モジュールと、を含む。

【0060】

１つの実施例では、端末のスクリーン破損認識装置８００は、
第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換するために用いられる変換モジュールであって、プリセット比率は実際のスクリーンの縦横比率である、変換モジュールと、
第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる分割モジュールと、を含む。

【0061】

１つの実施例では、端末のスクリーン破損認識装置８００は、
ひび割れピクセルがマークされた各第２のスクリーン画像を取得するために用いられる取得モジュール８１０であって、第２のスクリーン画像は第２の端末のスクリーンを含み、前記第２のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、取得モジュール８１０と、
各第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割するために用いられる分割モジュールと、
各トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、認識モデルを保存するために用いられるトレーニングモジュールと、を含む。

【0062】

１つの実施例では、端末のスクリーン破損認識装置８００は、
各第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得るために用いられる処理モジュールであって、プリセット処理は、第２のスクリーン画像に対してプリセット比率の変換を行うこと及び／又は第２のスクリーン画像における背景画面を除去することを含む、処理モジュールと、
分割対象の画像を第１のプリセット数のトレーニング対象の画像に分割するために用いられる分割モジュールと、を含む。

【0063】

１つの実施例では、端末のスクリーン破損認識装置８００は、
第１の端末のスクリーンが点灯している間の画像を取得するために用いられる取得モジュール８１０と、
画像におけるキーポイントの抽出を行い、第１の端末のスクリーンの各コーナーを得るために用いられる抽出モジュールと、
各コーナーに基づいて画像を分割して第１のスクリーン画像を得るために用いられる分割モジュールと、を含む。

【0064】

図９は１つの例示的な実施例による端末のスクリーン破損認識デバイスのハードウェア構成図である。

【0065】

端末のスクリーン破損認識デバイス９００は、ＣＰＵなどのプロセッサ９０１、メモリ９０２、トランシーバ９０３を含むことができる。当業者であれば、図９に示す構造は、端末のスクリーン破損認識装置の限定を構成するものではなく、図示よりも多く又は少ない部品を含むか、いくつかの部品を組み合わせたり、異なる部品配置を組み合わせたりすることができることを理解することができる。メモリ９０２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、光ディスクなど、任意のタイプの揮発性又は不揮発性の記憶デバイス、又はそれらの組み合わせによって実現することができる。

【0066】

プロセッサ９０１は、メモリ９０２に記憶されたコンピュータプログラムを呼び出して、上記の端末のスクリーン破損認識方法のすべて又は一部のステップを完了することができる。

【0067】

トランシーバ９０３は、外部デバイスから送信された情報を受信し、外部デバイスへ情報を送信するために用いられる。

【0068】

非一時的なコンピュータ可読記憶媒体であって、この記憶媒体の命令が端末のスクリーン破損認識デバイスのプロセッサによって実行される場合、端末のスクリーン破損認識デバイスが上記の端末のスクリーン破損認識方法を実行できるようにする。

【0069】

コンピュータプログラムであって、このコンピュータプログラムが端末のスクリーン破損認識デバイスのプロセッサによって実行されるとき、端末のスクリーン破損認識デバイスが上記の端末のスクリーン破損認識方法を実行できるようにする。

【0070】

当業者は、明細書を考慮し、本明細書に開示された発明を実践した後、本開示の他の実施例を容易に思いつくであろう。本発明は、本開示の一般的な原理に従い、本開示の非開示の本技術分野における公知の常識又は慣用技術手段を含む、本開示の任意の変形、用途又は適応性変化をカバーすることを目的とする。明細書及び実施例は例示的なものとしてのみ扱われ、本開示の真の範囲及び精神は、以下の特許請求の範囲によって指摘される。

【0071】

本開示は、上記し図面に示した正確な構造に限定されるものではなく、その範囲を逸脱しない範囲で種々の修正及び変更が可能であることを理解されたい。本開示の範囲は、添付の特許請求の範囲によってのみ制限される。

【0072】

本願は、２０２２年０１月２５日に中国特許局に提出された、出願番号が２０２２１００９０３８５．Ｘ、出願名称が「端末のスクリーン破損認識方法及び関連デバイス」である中国特許出願の優先権を主張し、その全ての内容は援用によって本願に組み込まれる。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

端末のスクリーン破損認識方法であって、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、分割することと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、ひび割れピクセルの数を得ることと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定することと、
各前記検出対象の画像のひび割れピクセルの数が前記第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定することと、を含む、
ことを特徴とする端末のスクリーン破損認識方法。

【請求項2】

前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像における背景画面を除去して第３のスクリーン画像を得ることと、
前記第３のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項3】

前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割することは、
前記第１のスクリーン画像をプリセット比率の第４のスクリーン画像に変換することであって、前記プリセット比率は実際のスクリーンの縦横比率である、変換することと、
前記第４のスクリーン画像を第１のプリセット数の検出対象の画像に分割することと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項4】

各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得ることの前に、さらに、
ひび割れピクセルがマークされた各第２のスクリーン画像を取得することであって、前記第２のスクリーン画像は第２の端末のスクリーンを含み、前記第２のスクリーン画像は前記第２の端末のスクリーンが点灯している間に撮影される、取得することと、
各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することと、
各前記トレーニング対象の画像に基づいてプリセットモデルをトレーニングして認識モデルを得て、前記認識モデルを保存することと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項5】

各前記第２のスクリーン画像を第１のプリセット数のトレーニング対象の画像に分割することは、
各前記第２のスクリーン画像に対してプリセット処理を行い、分割対象の画像を得ることであって、前記プリセット処理は、前記第２のスクリーン画像に対してプリセット比率の変換を行うこと及び／又は前記第２のスクリーン画像における背景画面を除去することを含む、得ることと、
前記分割対象の画像を第１のプリセット数のトレーニング対象の画像に分割することと、を含む、
ことを特徴とする請求項４に記載の端末のスクリーン破損認識方法。

【請求項6】

検出対象の第１の端末の第１のスクリーン画像を取得することは、
前記第１の端末のスクリーンが点灯している間の画像を取得することと、
前記画像におけるキーポイントの抽出を行い、前記第１の端末のスクリーンの各コーナーを得ることと、
各前記コーナーに基づいて前記画像を分割して前記第１のスクリーン画像を得ることと、を含む、
ことを特徴とする請求項１に記載の端末のスクリーン破損認識方法。

【請求項7】

端末のスクリーン破損認識装置であって、
検出対象の第１のスクリーン画像を取得し、前記第１のスクリーン画像を第１のプリセット数の検出対象の画像に分割するために用いられる取得モジュールであって、前記第１のスクリーン画像は第１の端末のスクリーンを含み、前記第１のスクリーン画像は前記第１の端末のスクリーンが点灯している間に撮影される、取得モジュールと、
各前記検出対象の画像を認識モデルに入力して、各検出対象の画像のひび割れピクセルの数を得るために用いられる入力モジュールであって、前記認識モデルは、ひび割れピクセルがマークされた各第２のスクリーン画像に基づいてトレーニングされて得られる、入力モジュールと、
いずれかの前記検出対象の画像のひび割れピクセルの数が第２のプリセット数以上である場合、前記第１の端末のスクリーンにスクリーン破損が発生したと判定するために用いられる決定モジュールと、を含み、
前記決定モジュールは、さらに、各前記検出対象の画像のひび割れピクセルの数が前記第２のプリセット数よりも少ない場合、前記第１の端末のスクリーンにスクリーン破損が発生していないと判定するために用いられる、
ことを特徴とする端末のスクリーン破損認識装置。

【請求項8】

メモリとプロセッサとを含む端末のスクリーン破損認識デバイスであって、
前記メモリは、コンピュータ実行命令を記憶し、
前記プロセッサは、前記メモリに記憶されたコンピュータ実行命令を実行することにより、前記プロセッサに請求項１～６のいずれか１項に記載の端末のスクリーン破損認識方法を実行させる、
ことを特徴とする端末のスクリーン破損認識デバイス。

【請求項9】

コンピュータ実行命令が記憶されており、前記コンピュータ実行命令がプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の端末のスクリーン破損認識方法は実現される、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項10】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の端末のスクリーン破損認識方法は実現される、
ことを特徴とするコンピュータプログラム。

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】図８

【補正方法】変更

【補正の内容】

【図8】

【手続補正4】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正の内容】

【図9】

【国際調査報告】