特表 2022-539910 電子デバイススクリーンエリア瑕疵検査方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-13

(54)【発明の名称】電子デバイススクリーンエリア瑕疵検査方法及び装置

(51)【国際特許分類】

   G06V 10/82 20220101AFI20220906BHJP

   G06T 7/00 20170101ALI20220906BHJP

   H04N 17/04 20060101ALI20220906BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06T7/00 610B

H04N17/04 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022502026

(86)(22)【出願日】2020-10-14

(85)【翻訳文提出日】2022-01-10

(86)【国際出願番号】 CN2020120881

(87)【国際公開番号】W WO2021082923

(87)【国際公開日】2021-05-06

(31)【優先権主張番号】201911032879.7

(32)【優先日】2019-10-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】522012145

【氏名又は名称】上海万物新生▲環▼保科技集団有限公司

【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＷＡＮＷＵＸＩＮＳＨＥＮＧ ＥＮＶＩＲＯＮＭＥＮＴＡＬ ＰＲＯＴＥＣＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＧＲＯＵＰ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ１１０１－１１０３，４３３ Ｓｏｎｇｈｕ Ｒｏａｄ，Ｙａｎｇｐｕ Ｄｉｓｔｒｉｃｔ Ｓｈａｎｇｈａｉ ２００４３３，ＣＨＩＮＡ

(74)【代理人】

【識別番号】100188134

【弁理士】

【氏名又は名称】佐藤 武幸

(72)【発明者】

【氏名】徐鵬

(72)【発明者】

【氏名】沈▲聖▼▲遠▼

(72)【発明者】

【氏名】常▲樹▼林

(72)【発明者】

【氏名】姚巨虎

【テーマコード（参考）】

5C061

5L096

【Ｆターム（参考）】

5C061BB01

5C061BB03

5C061BB06

5L096BA03

5L096FA18

5L096FA37

5L096FA62

5L096GA15

5L096GA51

5L096HA08

5L096HA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】

【課題】電子デバイススクリーンエリア瑕疵差異を正確に識別する検査方法及び装置を提供する。
【解決手段】
スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

スクリーンエリアを含む電子デバイスの外観画像を取得するステップと、
前記外観画像におけるスクリーンエリア画像を抽出するステップと、
スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力するステップと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップと、
を含むことを特徴とする電子デバイススクリーンエリア瑕疵検査方法。

【請求項2】

前記外観画像におけるスクリーンエリア画像を抽出するステップは、
前記外観画像の画像カラーヒストグラムを統計することと、
前記画像カラーヒストグラムに基づき、画像におけるすべてのピクセル値に対してクラスタリングを行い、複数のクラスタリングエリアを決定することと、
それぞれのクラスタリングエリアの近隣領域を判断し、前記電子デバイスのスクリーンエリアとして最大の連結領域を統計することと、
前記電子デバイスのスクリーンエリアを抽出することと、
を含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記電子デバイスのスクリーンエリアを抽出するステップは、
ｏｐｅｎｃｖ実現の方式に基づき、前記スクリーンエリアの最小外接矩形を算出することにより、前記スクリーンエリアを抽出することを含むことを特徴とする請求項２に記載の方法。

【請求項4】

前記画像カラーヒストグラムに基づき、画像におけるすべてのピクセル値に対してクラスタリングを行い、複数のクラスタリングエリアを決定することは、
前記画像カラーヒストグラムにより、クラスタリング中心を決定することと、
画像におけるすべてのピクセル値と前記クラスタリング中心との関係により、クラスタリングエリアを決定することと、
を含むことを特徴とする請求項２に記載の方法。

【請求項5】

前記クラスタリング中心は、カラーヒストグラムにおけるすべてのピクセルの中央値により決定されることを特徴とする請求項４に記載の方法。

【請求項6】

それぞれのクラスタリングエリアの近隣領域を判断し、前記電子デバイスのスクリーンエリアとして最大の連結領域を統計することは、
それぞれのエリアの８近隣領域を判断し、同一連結領域としてピクセル閾値より小さい近隣領域を決定することと、
前記電子デバイスのスクリーンエリアとして最大連結領域を有するエリアを決定することと、
を含むことを特徴とする請求項２に記載の方法。

【請求項7】

前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いることを特徴とする請求項１に記載の方法。

【請求項8】

前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリアの瑕疵検査結果が受信された後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのスクリーンの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置を含む結果情報を出力することと、
を含むことを特徴とする請求項１に記載の方法。

【請求項9】

前記電子デバイスのスクリーンエリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
サンプル電子デバイスのスクリーンエリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのスクリーンエリアの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのスクリーンエリアの瑕疵種類、サンプル電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスのスクリーンエリアの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別するステップ３と、
前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、
を含むことを特徴とする請求項１に記載の方法。

【請求項10】

前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルにおいて、畳み込み算出を完成するたびに、正規化パラメータを反復更新することを特徴とする請求項１に記載の方法。

【請求項11】

コンピューター可読コマンドが格納され、請求項１～１０のいずれか１項に記載の方法を実現するように、前記コンピューター可読コマンドがプロセッサーにより実行されることを特徴とするコンピューター可読媒体。

【請求項12】

１つまたは複数のプロセッサーと、
コンピューター可読コマンドが格納されるメモリとを含み、
前記コンピューター可読コマンドが実行されるとき、前記プロセッサーは請求項１～１０のいずれか１項に記載の方法の操作を実行することを特徴とする電子デバイススクリーンエリア識別のための装置。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、コンピューター技術分野に関し、特に、電子デバイススクリーンエリア瑕疵検査方法及び装置に関する。

【背景技術】

【0002】

伝統的な画像処理方式は、かなりの程度まで閾値の選択に依存し、例えば、携帯電話などの中古の電子デバイスのスクリーンエリアは状態、外観、老化度などの方面で異なる程度の差異があるので、確定的な閾値を提供できない。このため、伝統的な画像処理方式はスクリーンエリア瑕疵検査に適応しない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする課題は、上述したように例えば、携帯電話などの中古の電子デバイスのスクリーンエリアは状態、外観、老化度などの方面で異なる程度の差異があるので、確定的な閾値を提供できないことを解決するする瑕疵検査方法及び装置を提供する。

【課題を解決するための手段】

【0004】

本願の目的は、電子デバイススクリーンエリア瑕疵検査方法及び装置を提供することにある。

【0005】

本願の一方によれば、電子デバイススクリーンエリア瑕疵検査方法が提供される。前記方法は、
スクリーンエリアを含む電子デバイスの外観画像を取得するステップと、
前記外観画像におけるスクリーンエリア画像を抽出するステップと、
スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力するステップと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップと、を含む。

【0006】

さらに、前記外観画像におけるスクリーンエリア画像を抽出するステップは、
前記外観画像の画像カラーヒストグラムを統計することと、
前記画像カラーヒストグラムに基づき、画像におけるすべてのピクセル値に対してクラスタリングを行い、複数のクラスタリングエリアを決定することと、
それぞれのクラスタリングエリアの近隣領域を判断し、前記電子デバイスのスクリーンエリアとして最大の連結領域を統計することと、
前記電子デバイスのスクリーンエリアを抽出することと、を含む。
さらに、前記電子デバイスのスクリーンエリアを抽出するステップは、
ｏｐｅｎｃｖ実現の方式に基づき、前記スクリーンエリアの最小外接矩形を算出することにより、前記スクリーンエリアを抽出することを含む。

【0007】

さらに、前記画像カラーヒストグラムに基づき、画像におけるすべてのピクセル値に対してクラスタリングを行い、複数のクラスタリングエリアを決定することは、
前記画像カラーヒストグラムにより、クラスタリング中心を決定することと、
画像におけるすべてのピクセル値と前記クラスタリング中心との関係により、クラスタリングエリアを決定することと、を含む。

【0008】

さらに、前記クラスタリング中心は、カラーヒストグラムにおけるすべてのピクセルの中央値により決定される。

【0009】

さらに、それぞれのクラスタリングエリアの近隣領域を判断し、前記電子デバイスのスクリーンエリアとして最大の連結領域を統計することは、
それぞれのエリアの８近隣領域を判断し、同一連結領域としてピクセル閾値より小さい近隣領域を決定することと、
前記電子デバイスのスクリーンエリアとして最大連結領域を有するエリアを決定することと、を含む。

【0010】

さらに、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。

【0011】

さらに、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリアの瑕疵検査結果が受信された後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのスクリーンの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置を含む結果情報を出力することと、を含む。

【0012】

さらに、前記電子デバイスのスクリーンエリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、

【0013】

サンプル電子デバイスのスクリーンエリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのスクリーンエリアの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのスクリーンエリアの瑕疵種類、サンプル電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、

【0014】

予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスのスクリーンエリアの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別するステップ３と、

【0015】

前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、を含む。

【0016】

さらに、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルにおいて、畳み込み算出を完成するたびに、正規化パラメータを反復更新する。

【0017】

本願の他方によれば、電子デバイススクリーンエリア瑕疵検査装置が提供される。この装置は、
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含み、前記実行できるコマンドが実行されるとき、前記プロセッサーは、スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

【0018】

本願の他方によれば、コンピューター可読媒体がさらに提供される。
このコンピューター可読媒体にコンピューター可読コマンドが格納され、このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

【0019】

従来の技術に比べて、本願は、スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことにより、例えば、携帯電話のような中古電子デバイスのスクリーンエリアの瑕疵差異を正確に識別できる。

【図面の簡単な説明】

【0020】

以下の図面を参照して作成した非制限的実施例に対する詳細な記述を閲読することにより、本発明のその他の特徴、目的及びメリットは明らかになる。

【図1】本願の一方による電子デバイススクリーンエリア瑕疵検査方法を示すフローチャートである。

【図2】本発明の一実施例によるスクリーンエリア瑕疵検査結果を示す図である。

【図3】本発明の一実施例によるＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを示す図である。図面において、同じまたは類似する図面符号は同じまたは類似する部品を示す。

【発明を実施するための形態】

【0021】

以下、図面を参照しながら、本発明を詳細に説明する。
本願の典型的な機器構成において、システムの各モジュール及び信頼できる第３の者機関はいずれも１つまたは複数のプロセッサー（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース及びメモリを含む。

【0022】

メモリは、コンピューター可読媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は例えば、リードオンリメモリ（ＲＯＭ）、プログラマブルリードオンリメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）のような不揮発性メモリなどを含む。メモリはコンピューター可読媒体の一例である。
コンピューター可読媒体は不揮発性と揮発性、可搬型と据え置き型媒体を含み、あらゆる方法や技術により情報格納を実現することができる。情報は、コンピューター可読コマンド、データ構造、プログラムのモジュールまたはその他のデータである。コンピューターの記憶媒体の例として、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）またはその他の光学記憶装置、カセットテープ、磁気ディスクまたはその他の磁気記憶装置または、演算装置がアクセスする情報を格納することに用いられるあらゆるその他の非伝送媒体を含むが、これらに限られない。本明細書の限定によれば、例えば、変調のデータ信号及び搬送波のようなコンピューター可読媒体は一時的記憶コンピューター可読媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。

【0023】

本願が用いる技術的手段及び取得した効果をさらに説明するために、以下、図面及び好ましい実施例を合わせて、本願の技術的方案に対し、明白な、完全な記述を行う。

【0024】

図１は本願の一方により提供される電子デバイススクリーンエリア瑕疵検査方法を示す。この方法は、
スクリーンエリアを含む電子デバイスの外観画像を取得するステップＳ１１と、
前記外観画像におけるスクリーンエリア画像を抽出するステップＳ１２と、
スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力するステップＳ１３と、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップＳ１４と、を含む。

【0025】

本願において、前記方法は装置１により実行される。前記装置１はコンピューター装置及び／又はクラウドである。前記コンピューター装置は、パーソナルコンピューター、ハンドヘルドコンピューター、工業用コンピューター、ネットワークホスト、単一ネットワークサーバー、複数のネットワークサーバークラスタを含むが、これらに限られない。前記クラウドは、クラウドコンピューティング（Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ）に基づく大量コンピューターまたはネットワークサーバーにより構成される。クラウドコンピューティングは、分散コンピューティングの１種類であり、疎結合のコンピュータークラスターにより構成されるバーチャルスーパーコンピューターである。

【0026】

ここで、前記コンピューター装置及び／又はクラウドは例であり、その他の既存のまたは今後出現し得る装置及び／又はリソース共有プラットフォームは、本願に適応すれば、本願の保護範囲内に含まれるものとする。ここで、援用の方式で本願に含まれる。
この実施例では、前記ステップＳ１１において、装置１はスクリーンエリアを含む電子デバイスの外観画像を取得する。ここで、前記電子デバイスは、携帯電話、ＰＡＤ、スマートウォッチなどの端末装置を含むが、これらに限られない。スクリーンエリアとは、電子デバイスの表示スクリーンが位置するエリアである。例えば、本願の方法は中古携帯電話のスクリーンエリアの識別に用いられることができる。

【0027】

具体的には、装置１は電子デバイスの前面の画像を撮影することにより、スクリーンエリアを含む電子デバイスの外観画像を取得し、または、装置１はユーザ装置が送信した電子デバイスの前面の画像を受信し、スクリーンエリアに対する識別を実現する。

【0028】

そして、この実施例では、前記ステップＳ１２において、前記外観画像におけるスクリーンエリア画像を抽出する。具体的には、取得した外観画像にスクリーンエリア及び非スクリーンエリアが含まれるため、スクリーンエリアに対し、識別して抽出する必要があり、スクリーンエリアの瑕疵をさらに検査する。

【0029】

好ましくは、前記ステップＳ１２は、
前記外観画像の画像カラーヒストグラムを統計するステップＳ１２１（図示せず）と、
前記画像カラーヒストグラムに基づき、画像におけるすべてのピクセル値に対してクラスタリングを行い、複数のクラスタリングエリアを決定するステップＳ１２２（図示せず）と、
それぞれのクラスタリングエリアの近隣領域を判断し、前記電子デバイスのスクリーンエリアとして最大の連結領域を統計するステップＳ１２３（図示せず）と、
前記電子デバイスのスクリーンエリアを抽出するステップＳ１２４（図示せず）と、を含む。

【0030】

この実施例では、前記ステップＳ１２１において、前記外観画像の画像カラーヒストグラムを統計し、具体的には、既存の統計方式により、スクリーンエリアを含む外観画像の画像カラーヒストグラムの統計を実現する。

【0031】

そして、この実施例では、前記ステップＳ１２２において、前記画像カラーヒストグラムにより、画像におけるすべてのピクセル値に対してクラスタリングを行い、クラスタリングエリアを決定する。ここで、電子デバイスの前面の外観画像は、通常、スクリーンエリア及び非スクリーンエリアを含むため、常に、２つのクラスタリングエリアを決定する。

【0032】

好ましくは、前記ステップＳ１２２は、前記画像カラーヒストグラムにより、クラスタリング中心を決定するステップＳ１２２１（図示せず）と、画像におけるすべてのピクセル値と前記クラスタリング中心との関係により、クラスタリングエリアを決定するステップＳ１２２２（図示せず）と、を含む。

【0033】

具体的には、前記ステップＳ１２２１において、装置１は、前記画像カラーヒストグラムによりクラスタリング中心を決定する。具体的には、例えば、画像カラーヒストグラムによりすべてのピクセルの平均値を決定し、クラスタリング中心としてこの平均値を用い、さらに、前記ステップＳ１２２２において、クラスタリング算法によりクラスタリングエリアを決定し、例えば、Ｋｍｅａｎｓクラスタリングにより実現されることができるが、これに限られない。好ましくは、前記クラスタリング中心はカラーヒストグラムにおけるすべてのピクセルの中央値により決定される。

【0034】

そして、この実施例では、前記ステップＳ１２３において、それぞれのクラスタリングエリアの近隣領域を判断し、前記電子デバイスのスクリーンエリアとして最大の連結領域を統計する。ここで、それぞれのクラスタリングエリアの近隣領域は、４近隣領域または８近隣領域などを含むが、これらに限られない。
好ましくは、前記ステップＳ１２３は、それぞれのエリアの８近隣領域を判断し、同一連結領域としてピクセル閾値の近隣領域を決定し、前記電子デバイスのスクリーンエリアとして最大連結領域を決定する。ここで、前記ピクセル閾値は、予め設定され、または統計により取得されもよく、ここで、限定されないものとする。

【0035】

そして、この実施例では、前記ステップＳ１２４において、前記電子デバイスのスクリーンエリアを抽出する。電子デバイスのスクリーンエリアを識別した後、このスクリーンエリアを抽出し、例えば、このスクリーンエリア部分を取る。
好ましくは、前記ステップＳ１２４は、前記スクリーンエリアの最小外接矩形を算出することにより、前記スクリーンエリアを抽出するｏｐｅｎｃｖ実現の方式を含む。
この実施例では、最小外接矩形の方式により、スクリーンエリアを抽出し、これにより、スクリーンエリアに対して相応処理を行う。ここで、最小外接矩形に対応するエリアはスクリーンエリアである。

【0036】

そして、この実施例では、前記ステップＳ１３において、電子デバイスのスクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。

【0037】

前記ステップＳ１４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。瑕疵種類は、分層、透き字、液漏れ、断線、輝点（ブライトスポット）、色ムラ（黄ばむ、青む）などを含むが、これらに限られない。

【0038】

前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルは図３に示す。前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルにおいて、畳み込み算出を完成するたびに、正規化パラメータを反復更新する。正規化パラメータは、平均値及び分散を含み、正規化により、入力ごとに合理的な範囲内に変化することを確保する。ここで、前記正規化のパラメータは入力データの更新に従って更新する。

【0039】

ここで、図２に示すように、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリアの瑕疵検査結果が受信される。それぞれの瑕疵検査結果は、ｃｌｓ、ｘ１、ｙ１、ｘ２、ｙ２、ｓｃｏｒｅを含む。ｃｌｓは欠陥タイプである。ｘ１、ｙ１、ｘ２、ｙ２はスクリーンエリア画像における瑕疵位置の４つの座標である。ｓｃｏｒｅはこの瑕疵の信頼度である。

【0040】

本発明は主に、改進した特徴ピラミッド（ＦＰＮ）ネットワーク結合ｂａｃｋｂｏｎｅネットワークのディープラーニングモデルを利用し、例えば、携帯電話のような中古電子デバイスのスクリーンエリアの瑕疵差異を正確に識別できる。
本発明のスクリーンエリア瑕疵検査方法による実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。

【0041】

本発明のスクリーンエリア瑕疵検査方法による実施例において、ステップＳ１４では、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリアの瑕疵検査結果が受信された後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのスクリーンの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置を含む結果情報を出力することと、を含む。
本実施例は、前記瑕疵検査結果の信頼度を識別することにより、瑕疵検査結果から信頼できる結果を選別して出力することができる。

【0042】

本発明のスクリーンエリア瑕疵検査方法による実施例において、前記スクリーンエリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
サンプル電子デバイスのスクリーンエリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのスクリーンエリアの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのスクリーンエリアの瑕疵種類、サンプル電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きかを識別するステップ３と、
前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、を含む。

【0043】

ここで、前記差は第２の予め設定された閾値より大きいかを識別することにより、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを循環してトレーニングし、信頼できるモデルを取得することができる。
本願の他方によれば、電子デバイススクリーンエリア瑕疵検査装置が提供される。この装置は、
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含む。前記実行できるコマンドが実行されるとき、前記プロセッサーは、スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。

【0044】

本願の他方によれば、コンピューター可読媒体がさらに提供される。
このコンピューター可読媒体にコンピューター可読コマンドが格納される。このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
従来の技術に比べて、本願は、スクリーンエリアを含む電子デバイスの外観画像を取得し、前記外観画像におけるスクリーンエリア画像を抽出し、スクリーンエリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのスクリーンエリア画像の瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのスクリーンエリアの瑕疵種類、電子デバイスのスクリーンエリアにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことにより、例えば、携帯電話のような中古電子デバイスのスクリーンエリアの瑕疵差異を正確に識別できる。

【0045】

当業者にとって、本発明は例示的実施例の細部に限られなく、本発明の精神または基本特徴から逸脱しない限り、その他の具体的な形態により本発明を実現する。このため、いずれかの点から見ても、実施例を例示的なものと見なし、非制限的なものと見なす。本発明の範囲は特許請求の範囲により制限されるが、上記記述により制限されるものではないので、特許請求の範囲の同等要素の定義及び範囲内に落ちるすべての変化は本発明内に含まれる。特許請求の範囲におけるいずれかの図面符号は特許請求の範囲を制限するものではない。また、「含む」はその他のユニットまたはステップを排除しなく、単数は複数を排除しない。装置の特許請求の範囲に記述される複数のユニットまたは装置は１つのユニットまたは装置で、ソフトウェアまたはハードウェアにより実現される。「第１の」、「第２の」などの用語は、名称を示すが、特定の順序を示すものではない。

【図1】

【図2】

【図3】

【国際調査報告】