(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-13
(54)【発明の名称】電子デバイスフレーム外観瑕疵検査方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20220906BHJP
G06V 10/82 20220101ALI20220906BHJP
【ＦＩ】
G06T7/00 610C
G06T7/00 350C
G06V10/82
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022502023
(86)(22)【出願日】2020-10-14
(85)【翻訳文提出日】2022-01-10
(86)【国際出願番号】 CN2020120876
(87)【国際公開番号】W WO2021082920
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】201911032912.6
(32)【優先日】2019-10-28
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】522012145
【氏名又は名称】上海万物新生▲環▼保科技集団有限公司
【氏名又は名称原語表記】ＳＨＡＮＧＨＡＩ ＷＡＮＷＵＸＩＮＳＨＥＮＧ ＥＮＶＩＲＯＮＭＥＮＴＡＬ ＰＲＯＴＥＣＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＧＲＯＵＰ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ１１０１－１１０３，４３３ Ｓｏｎｇｈｕ Ｒｏａｄ，Ｙａｎｇｐｕ Ｄｉｓｔｒｉｃｔ Ｓｈａｎｇｈａｉ ２００４３３，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100188134
【弁理士】
【氏名又は名称】佐藤 武幸
(72)【発明者】
【氏名】徐鵬
(72)【発明者】
【氏名】沈▲聖▼▲遠▼
(72)【発明者】
【氏名】常▲樹▼林
(72)【発明者】
【氏名】姚巨虎
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA03
5L096BA18
5L096CA01
5L096DA01
5L096DA02
5L096EA03
5L096EA13
5L096FA59
5L096FA69
5L096GA51
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
【課題】携帯電話の中古電子デバイスのような電子デバイスのフレーム外観の瑕疵差異を正確に識別することができる装置とその方法を提供する。
【解決手段】
電子デバイスの外観画像を取得することと、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整することと、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むこととを含むことを特徴とする。
【選択図】図１
【解決手段】
電子デバイスの外観画像を取得することと、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整することと、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むこととを含むことを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
電子デバイスの外観画像を取得することと、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整することと、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことと、
を含むことを特徴とする電子デバイスフレーム外観瑕疵検査方法。
【請求項2】
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することは、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することを含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いることを特徴とする請求項１に記載の方法。
【請求項4】
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信された後、さらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力することと、
を含むことを特徴とする請求項１に記載の方法。
【請求項5】
前記フレーム外観エリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果の間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別するステップ３と、
前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、
を含むことを特徴とする請求項１に記載の方法。
【請求項6】
前記フレーム外観エリア画像を長さと幅が同じの画像に調整することは、前記フレーム外観エリア画像の長さ方向を拡大縮小し、前記フレーム外観エリア画像の幅方向を充填することを含むことを特徴とする請求項１に記載の方法。
【請求項7】
電子デバイスの外観画像を取得することに用いられる第１の装置と、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する第２の装置と、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する第３の装置と、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信することに用いられ、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第４の装置と、
を含むことを特徴とする電子デバイスフレーム外観瑕疵検査装置。
【請求項8】
前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することに用いられることを特徴とする請求項７に記載の装置。
【請求項9】
前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いることを特徴とする請求項７に記載の装置。
【請求項10】
前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力することに用いられることを特徴とする請求項７に記載の装置。
【請求項11】
さらに第５の装置を含み、前記第５の装置は、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる第５１の装置と、
サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得することに用いられ、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第５２の装置と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる第５３の装置と、
第５４の装置であって、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改め第５２の装置から実行することに用いられる第５４の装置と、
第５５の装置であって、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いることに用いられる第５５の装置と、
を含むことを特徴とする請求項７に記載の装置。
【請求項12】
前記第２の装置は、前記フレーム外観エリア画像の長さ方向を拡大縮小し、前記フレーム外観エリア画像の幅方向を充填することに用いられることを特徴とする請求項７に記載の装置。
【請求項13】
算出に基づく装置であって、プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含み、前記実行できるコマンドが実行されるとき、前記プロセッサーは、
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む
ことを特徴とする装置。
【請求項14】
コンピューターが実行できるコマンドを格納するコンピューター可読記憶媒体であって、このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む
ことを特徴とするコンピューター可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピューター分野に関し、特に、電子デバイスフレーム外観瑕疵検査方法及び装置に関する。
【背景技術】
【0002】
現在、例えば、携帯電話等のような中古の電子デバイスのフレーム外観の欠陥検査において、伝統的な画像アルゴリズムに基づき、色空間変換、ろ波、特徴点抽出、パターンマッチングにより検査を行い、伝統的な検査方法によれば、あるエリアに欠陥を検査することができるが、欠陥の定義に対して区別することができない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明が解決しようとする課題は、上述したように例えば、携帯電話等のような中古の電子デバイスのフレーム外観の欠陥検査において、伝統的な画像アルゴリズムに基づき、色空間変換、ろ波、特徴点抽出、パターンマッチングにより検査を行い、伝統的な検査方法によれば、あるエリアに欠陥を検査することができるが、欠陥の定義に対して区別することができない。これを解消することを提供することである。
【課題を解決するための手段】
【0004】
本発明の一目的は、電子デバイスフレーム外観瑕疵検査方法及び装置を提供することにある。
本発明の一方によれば、電子デバイスフレーム外観瑕疵検査方法を提供する。
この方法は、
本発明の一方によれば、電子デバイスフレーム外観瑕疵検査方法を提供する。
この方法は、
【0005】
電子デバイスの外観画像を取得するステップと、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整するステップと、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力するステップと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップと、を含む。
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整するステップと、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力するステップと、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップと、を含む。
【0006】
さらに、上述した方法において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出するステップは、
Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することを含む。
Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することを含む。
【0007】
さらに、上述した方法において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
【0008】
さらに、上述した方法において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信された後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力することとを含む。
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することと、
前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力することとを含む。
【0009】
さらに、上述した方法において、前記フレーム外観エリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定するステップ１と、
【0010】
サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むステップ２と、
【0011】
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果の間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別するステップ３と、
【0012】
前記差は第２の予め設定された閾値より大きい場合、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行するステップ４と、
【0013】
前記差は第２の予め設定された閾値の以下である場合、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いるステップ５と、を含む。
【0014】
さらに、上述した方法において、前記フレーム外観エリア画像を長さと幅が同じの画像に調整するステップは、
前記フレーム外観エリア画像の長さ方向を拡大縮小し、前記フレーム外観エリア画像の幅方向を充填することを含む。
前記フレーム外観エリア画像の長さ方向を拡大縮小し、前記フレーム外観エリア画像の幅方向を充填することを含む。
【0015】
本発明の他方によれば、電子デバイスフレーム外観瑕疵検査装置がさらに提供される。この装置は、
電子デバイスの外観画像を取得することに用いられる第１の装置と、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する第２の装置と、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する第３の装置と、
電子デバイスの外観画像を取得することに用いられる第１の装置と、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する第２の装置と、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する第３の装置と、
【0016】
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信することに用いられ、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第４の装置と、を含む。
さらに、上述した装置において、前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することに用いられる。
さらに、上述した装置において、前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することに用いられる。
【0017】
さらに、上述した装置において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
さらに、上述した装置において、前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力することに用いられる。
さらに、上述した装置において、前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力することに用いられる。
【0018】
さらに、上述した装置において、さらに第５の装置を含み、前記第５の装置は、
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる第５１の装置と、
サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得することに用いられ、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第５２の装置と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる第５３の装置と、
第５４の装置であって、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改め第５２の装置から実行することに用いられる第５４の装置と、
第５５の装置であって、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いることに用いられる第５５の装置と、を含む。
さらに、上述した装置において、前記第２の装置は、前記フレーム外観エリア画像の長さ方向を拡大縮小し、前記フレーム外観エリア画像の幅方向を充填することに用いられる。
ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる第５１の装置と、
サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得することに用いられ、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む第５２の装置と、
予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる第５３の装置と、
第５４の装置であって、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改め第５２の装置から実行することに用いられる第５４の装置と、
第５５の装置であって、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いることに用いられる第５５の装置と、を含む。
さらに、上述した装置において、前記第２の装置は、前記フレーム外観エリア画像の長さ方向を拡大縮小し、前記フレーム外観エリア画像の幅方向を充填することに用いられる。
【0019】
本発明により、算出に基づく装置がさらに提供される。前記装置は、
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含み、前記実行できるコマンドが実行されるとき、前記プロセッサーは、
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含み、前記実行できるコマンドが実行されるとき、前記プロセッサーは、
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
【0020】
本発明により、コンピューターが実行できるコマンドを格納するコンピューター可読記憶媒体がさらに提供される。このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
電子デバイスの外観画像を取得し、
前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、
調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
【発明の効果】
【0021】
従来の技術に比べて、本発明は、電子デバイスの外観画像を取得し、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整し、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信し、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含むことにより、例えば携帯電話である中古電子デバイスのような電子デバイスのフレーム外観の瑕疵差異を正確に識別することができる。
【図面の簡単な説明】
【0022】
以下の図面を参照して作成した非制限的実施例に対する詳細な記述を閲読することにより、本発明のその他の特徴、目的及びメリットは明らかになる。
【図1】本発明の一実施例による電子デバイスフレーム外観瑕疵検査方法を示すフローチャートである。
【図2】本発明の一実施例による瑕疵検査結果を示す図である。
【図3】本発明の一実施例によるＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを示す図である。図面において、同じまたは類似する図面符号は同じまたは類似する部品を示す。
【発明を実施するための形態】
【0023】
以下、図面を参照しながら、本発明を詳細に説明する。
【0024】
本願の典型的な機器構成において、端末、サーバー及び信頼できる第３の者機関はいずれも１つまたは複数のプロセッサー（ＣＰＵ）、入力／出力インターフェース、ネットワークインターフェース及びメモリを含む。
メモリは、コンピューター可読媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は例えば、リードオンリメモリ（ＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）のような不揮発性メモリ等を含む。メモリはコンピューター可読媒体の一例である。
コンピューター可読媒体は不揮発性と揮発性、可搬型と据え置き型媒体を含み、あらゆる方法や技術により情報格納を実現することができる。情報は、コンピューター可読コマンド、データ構造、プログラムのモジュールまたはその他のデータである。コンピューターの記憶媒体の例として、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）またはその他の光学記憶装置、カセットテープ、磁気ディスクまたはその他の磁気記憶装置または、演算装置がアクセスする情報を格納することに用いられるあらゆるその他の非伝送媒体を含むが、これらに限られない。本明細書の限定によれば、例えば、変調のデータ信号及び搬送波のようなコンピューター可読媒体は一時的記憶コンピューター可読媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。
本発明により提供される電子デバイスフレーム外観瑕疵検査方法は下記のステップＳ１～Ｓ４を含む。
メモリは、コンピューター可読媒体における揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は例えば、リードオンリメモリ（ＲＯＭ）またはフラッシュメモリ（ｆｌａｓｈ ＲＡＭ）のような不揮発性メモリ等を含む。メモリはコンピューター可読媒体の一例である。
コンピューター可読媒体は不揮発性と揮発性、可搬型と据え置き型媒体を含み、あらゆる方法や技術により情報格納を実現することができる。情報は、コンピューター可読コマンド、データ構造、プログラムのモジュールまたはその他のデータである。コンピューターの記憶媒体の例として、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、その他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたはその他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスク（ＤＶＤ）またはその他の光学記憶装置、カセットテープ、磁気ディスクまたはその他の磁気記憶装置または、演算装置がアクセスする情報を格納することに用いられるあらゆるその他の非伝送媒体を含むが、これらに限られない。本明細書の限定によれば、例えば、変調のデータ信号及び搬送波のようなコンピューター可読媒体は一時的記憶コンピューター可読媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）を含まない。
本発明により提供される電子デバイスフレーム外観瑕疵検査方法は下記のステップＳ１～Ｓ４を含む。
【0025】
ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する。
ここで、電子デバイスのフレーム外観エリアは、電子デバイスにおける前面スクリーンエリアと背面エリアを除いた側面エリアを含む。この側面エリアは、一般的には、イヤホンジャック、スピーカー、充電差込口などの部品が取り付けられる。
フレーム外観エリア画像にはアスペクト比が異なっている場合が存在する。後続のモデル識別において、画像損失を回避するために、フレーム外観エリア画像のアスペクト比を１：１に調整する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する。
ここで、電子デバイスのフレーム外観エリアは、電子デバイスにおける前面スクリーンエリアと背面エリアを除いた側面エリアを含む。この側面エリアは、一般的には、イヤホンジャック、スピーカー、充電差込口などの部品が取り付けられる。
フレーム外観エリア画像にはアスペクト比が異なっている場合が存在する。後続のモデル識別において、画像損失を回避するために、フレーム外観エリア画像のアスペクト比を１：１に調整する。
【0026】
ステップＳ３において、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルは図３に示す。
ここで、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、図２に示すように、それぞれの瑕疵検査結果はｃｌｓ、ｘ１、ｙ１、ｘ２、ｙ２、ｓｃｏｒｅを含む。ｃｌｓは欠陥タイプである。ｘ１、ｙ１、ｘ２、ｙ２はフレーム外観エリア画像における瑕疵位置の４つの座標である。ｓｃｏｒｅはこの瑕疵の信頼度である。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルは図３に示す。
ここで、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、図２に示すように、それぞれの瑕疵検査結果はｃｌｓ、ｘ１、ｙ１、ｘ２、ｙ２、ｓｃｏｒｅを含む。ｃｌｓは欠陥タイプである。ｘ１、ｙ１、ｘ２、ｙ２はフレーム外観エリア画像における瑕疵位置の４つの座標である。ｓｃｏｒｅはこの瑕疵の信頼度である。
【0027】
本発明は主に、改進した特徴ピラミッド（ＦＰＮ）ネットワーク結合ｂａｃｋｂｏｎｅネットワークのディープラーニングモデルを利用し、例えば、携帯電話のような中古電子デバイスのフレーム外観の瑕疵差異を正確に識別でき、瑕疵種類を正確に区別できる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、ステップＳ２では、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、
Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出する。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、ステップＳ２では、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、
Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出する。
【0028】
ここで、Ｕｎｅｔ実例分割により、フレーム外観エリア画像を素早く取得できる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、ステップＳ４では、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信した後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、
前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力する。
ここで、電子デバイスフレームの瑕疵種類は、割れ目、フレームとスクリーン分離、変形、断裂欠落、大面積ペンキ剥がれ、小面積ペンキ剥がれ（変形、凹みに色が露出）、凹んで色が不変、傷跡が深くて色が周りと異なること、小点であって色が周りと異なること、断裂などを含む。
本実施例は前記瑕疵検査結果の信頼度を識別することにより、瑕疵検査結果から信頼できる結果を選別して出力することができる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、ステップＳ４では、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信した後、さらに、
前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別し、
前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力する。
ここで、電子デバイスフレームの瑕疵種類は、割れ目、フレームとスクリーン分離、変形、断裂欠落、大面積ペンキ剥がれ、小面積ペンキ剥がれ（変形、凹みに色が露出）、凹んで色が不変、傷跡が深くて色が周りと異なること、小点であって色が周りと異なること、断裂などを含む。
本実施例は前記瑕疵検査結果の信頼度を識別することにより、瑕疵検査結果から信頼できる結果を選別して出力することができる。
【0029】
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、ステップＳ３では、前記フレーム外観エリア画像をＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する前、さらに、以下のステップ１～５を含む。
ステップ１において、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定する。
ステップ２において、サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
ステップ１において、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定する。
ステップ２において、サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
【0030】
ステップ３において、予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別する。
前記差は第２の予め設定された閾値より大きい場合、ステップ４において、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行する。
前記差は第２の予め設定された閾値の以下である場合、ステップ５において、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いる。
前記差は第２の予め設定された閾値より大きい場合、ステップ４において、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めてステップ２から実行する。
前記差は第２の予め設定された閾値の以下である場合、ステップ５において、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いる。
【0031】
ここで、前記差は第２の予め設定された閾値より大きいかを識別することにより、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを循環してトレーニングし、信頼できるモデルを取得することができる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記フレーム外観エリア画像を長さと幅が同じ画像に調整し、
前記フレーム外観エリア画像の長さ方向を拡大縮小し、そして、前記フレーム外観エリア画像の幅方向を充填する。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記フレーム外観エリア画像を長さと幅が同じ画像に調整し、
前記フレーム外観エリア画像の長さ方向を拡大縮小し、そして、前記フレーム外観エリア画像の幅方向を充填する。
【0032】
ここで、処理するとき、前記フレーム外観エリア画像の長辺を拡大縮小し、短辺を充填する方式により処理を行い、前記フレーム外観エリア画像を長さと幅が同じの画像にする。
本発明により提供される電子デバイスフレーム外観瑕疵検査装置は、以下の第１～第４の装置を含む。
本発明により提供される電子デバイスフレーム外観瑕疵検査装置は、以下の第１～第４の装置を含む。
【0033】
第１の装置は、電子デバイスの外観画像を取得することに用いられる。
第２の装置は、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整することに用いられる。
ここで、電子デバイスのフレーム外観エリアは、電子デバイスにおける前面スクリーンエリアと背面エリアを除いた側面エリアを含む。この側面エリアは、一般的には、イヤホンジャック、スピーカー、充電差込口などの部品が取り付けられる。
フレーム外観エリア画像にはアスペクト比が異なっている場合が存在する。後続のモデル識別において、画像損失を回避するために、フレーム外観エリア画像のアスペクト比を１：１に調整する。
第３の装置は、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することに用いられる。
第４の装置は、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信することに用いられる。前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
第２の装置は、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整することに用いられる。
ここで、電子デバイスのフレーム外観エリアは、電子デバイスにおける前面スクリーンエリアと背面エリアを除いた側面エリアを含む。この側面エリアは、一般的には、イヤホンジャック、スピーカー、充電差込口などの部品が取り付けられる。
フレーム外観エリア画像にはアスペクト比が異なっている場合が存在する。後続のモデル識別において、画像損失を回避するために、フレーム外観エリア画像のアスペクト比を１：１に調整する。
第３の装置は、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力することに用いられる。
第４の装置は、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果を受信することに用いられる。前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
【0034】
ここで、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、それぞれの瑕疵検査結果はｃｌｓ、ｘ１、ｙ１、ｘ２、ｙ２、ｓｃｏｒｅを含む。ｃｌｓは欠陥タイプである。ｘ１、ｙ１、ｘ２、ｙ２はフレーム外観エリア画像における瑕疵位置の４つの座標である。ｓｃｏｒｅはこの瑕疵の信頼度である。
【0035】
本発明は主に、改進した特徴ピラミッド（ＦＰＮ）ネットワーク結合ｂａｃｋｂｏｎｅネットワークのディープラーニングモデルを利用し、例えば、携帯電話のような中古電子デバイスのフレーム外観差異を正確に識別できる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することに用いられる。
ここで、Ｕｎｅｔ実例分割により、フレーム外観エリア画像を素早く取得できる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することに用いられる。前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力する。
ここで、電子デバイスフレームの瑕疵種類はレベルが上がる浅い傷、深い傷及び断裂を含む。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記第２の装置は、Ｕｎｅｔ実例分割の方式で、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出することに用いられる。
ここで、Ｕｎｅｔ実例分割により、フレーム外観エリア画像を素早く取得できる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記ｂａｃｋｂｏｎｅネットワークの前２層はｒｅｓ構造を用い、ネットワークの後２層はｉｎｃｅｐｔｉｏｎ構造を用いる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記第４の装置はさらに、前記瑕疵検査結果の信頼度は第１の予め設定された閾値より大きいかを識別することに用いられる。前記第１の予め設定された閾値より大きい場合、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置を含む結果情報を出力する。
ここで、電子デバイスフレームの瑕疵種類はレベルが上がる浅い傷、深い傷及び断裂を含む。
【0036】
本実施例は、前記瑕疵検査結果の信頼度を識別することにより、瑕疵検査結果から信頼できる結果を選別して出力することができる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、さらに第５の装置を含む。前記第５の装置は以下の第５１～５５の装置を含む。
第５１の装置は、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる。
第５２の装置は、サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
第５３の装置は、予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる。
第５４の装置は、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めて第５２の装置から実行する。
第５５の装置は、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、さらに第５の装置を含む。前記第５の装置は以下の第５１～５５の装置を含む。
第５１の装置は、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデル及びその初期のモデルパラメータを予め設定することに用いられる。
第５２の装置は、サンプル電子デバイスのフレーム外観エリア画像を現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力し、サンプル電子デバイスのフレームの瑕疵予測結果を取得し、前記瑕疵予測結果は、サンプル電子デバイスのフレームの瑕疵種類、サンプル電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
第５３の装置は、予め設定された目的関数に基づき、前記瑕疵予測結果とサンプル電子デバイスの真実瑕疵結果との間の差を算出し、前記差は第２の予め設定された閾値より大きいかを識別し、前記差は第２の予め設定された閾値より大きい場合、第５４の装置を起動させ、前記差は第２の予め設定された閾値の以下である場合、第５５の装置を起動させることに用いられる。
第５４の装置は、前記差に基づき、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルパラメータを更新した後、改めて第５２の装置から実行する。
第５５の装置は、トレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルとして、現在モデルパラメータを有するＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを用いる。
【0037】
ここで、前記差は第２の予め設定された閾値より大きいかを識別することにより、ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルを循環してトレーニングし、信頼できるモデルを取得することができる。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記第２の装置は、前記フレーム外観エリア画像の長さ方向を拡大縮小し、そして、前記フレーム外観エリア画像の幅方向を充填することに用いられる。
ここで、処理するとき、前記フレーム外観エリア画像の長辺を拡大縮小し、短辺を充填する方式により処理を行い、前記フレーム外観エリア画像を長さと幅が同じの画像にする。
本発明は算出に基づく装置をさらに提供する。
本発明の電子デバイスフレーム外観瑕疵検査方法による一実施例において、前記第２の装置は、前記フレーム外観エリア画像の長さ方向を拡大縮小し、そして、前記フレーム外観エリア画像の幅方向を充填することに用いられる。
ここで、処理するとき、前記フレーム外観エリア画像の長辺を拡大縮小し、短辺を充填する方式により処理を行い、前記フレーム外観エリア画像を長さと幅が同じの画像にする。
本発明は算出に基づく装置をさらに提供する。
【0038】
この装置は、
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含む。前記実行できるコマンドが実行されるとき、前記プロセッサーは以下のステップＳ１～Ｓ４を実行する。
ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する。
ステップＳ３において、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
プロセッサーと、
コンピューターが実行できるコマンドを格納できるように配置されるメモリとを含む。前記実行できるコマンドが実行されるとき、前記プロセッサーは以下のステップＳ１～Ｓ４を実行する。
ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する。
ステップＳ３において、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
【0039】
本発明はコンピューターが実行できるコマンドを格納するコンピューター可読記憶媒体をさらに提供する。このコンピューターが実行できるコマンドがプロセッサーにより実行されるとき、このプロセッサーは、以下のステップＳ１～Ｓ４を実行する。
【0040】
ステップＳ１において、電子デバイスの外観画像を取得する。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する。
ステップＳ３において、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
ステップＳ２において、前記電子デバイスの外観画像からこの電子デバイスのフレーム外観エリア画像を抽出し、前記フレーム外観エリア画像を長さと幅が同じの画像に調整する。
ステップＳ３において、調整後のフレーム外観エリア画像をトレーニング済みのＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルに入力する。
ステップＳ４において、前記ＦＰＮネットワークとｂａｃｋｂｏｎｅネットワークの結合モデルから出力する電子デバイスのフレーム外観エリアの瑕疵検査結果が受信され、前記瑕疵検査結果は、電子デバイスのフレームの瑕疵種類、電子デバイスのフレームにおける瑕疵位置及び瑕疵検査結果の信頼度を含む。
【0041】
去本発明の各装置及び記憶媒体実施例の詳細内容は、具体的には、各方法実施例の対応部分を参照し、ここで、重複の記述は不要である。
明らかに、当業者は、本願の精神及び範囲から逸脱しない限り、本願に対して様々な変更や変形を行うことができる。このため、本願のこれらの変更や変形は本願の特許請求の範囲及びその同等技術の範囲内に属し、本願はこれらの変更や変形を含む。
明らかに、当業者は、本願の精神及び範囲から逸脱しない限り、本願に対して様々な変更や変形を行うことができる。このため、本願のこれらの変更や変形は本願の特許請求の範囲及びその同等技術の範囲内に属し、本願はこれらの変更や変形を含む。
【0042】
本発明はソフトウェア及び／又はソフトウェアとハードウェアの組み合わせで実施され、例えば、特定用途向け集積回路（ＡＳＩＣ）、汎用コンピューターまたはあらゆるその他の類似ハードウェア装置により実現されてもよい。一実施例において、本発明のソフトウェアプログラムはプロセッサーにより実行され、前記ステップまたは機能を実現する。同様に、本発明のソフトウェアプログラム（関連するデータ構造を含む）は、例えば、ＲＡＭメモリ、磁気または光学ドライバまたはフロッピーディスク及び類似装置のようなコンピューター可読記録媒体に格納される。また、本発明のあるステップまたは機能は、例えば、プロセッサーと組み合わせてそれぞれのステップまたは機能を実現する回路のようなハードウェアにより実現されてもよい。
【0043】
また、本発明の一部は、例えばコンピュータープログラムコマンドのようなコンピュータープログラム製品として応用されることができる。コンピューターにより実行されるとき、このコンピューターの操作により、本発明による方法及び／又は技術的方案を呼出または提供してもよい。本発明の方法によるプログラムを呼出するコマンドは、据え置き型または可搬型の記録媒体に格納され、及び／又は放送またはその他の信号搬送媒体におけるデータフローにより伝送され、及び／又は前記プログラムコマンドにより実行されるコンピューター装置の作業メモリに格納されてもよい。ここで、本発明による実施例は、装置を含む。この装置は、コンピュータープログラムコマンドを格納するためのメモリ及びプログラムコマンドを実行するためのプロセッサーを含む。このコンピュータープログラムコマンドがこのプロセッサーにより実行されるとき、この装置に本発明による複数の実施例の方法及び／又は技術的方案を実行させる。
【0044】
当業者にとって、本発明は例示的実施例の細部に限られなく、本発明の精神または基本特徴から逸脱しない限り、その他の具体的な形態により本発明を実現する。このため、いずれかの点から見ても、実施例を例示的なものと見なし、非制限的なものと見なす。本発明の範囲は特許請求の範囲により制限されるが、上記記述により制限されるものではないので、特許請求の範囲の同等要素の定義及び範囲内に落ちるすべての変化は本発明内に含まれる。特許請求の範囲におけるいずれかの図面符号は特許請求の範囲を制限するものではない。また、「含む」はその他のユニットまたはステップを排除しなく、単数は複数を排除しない。装置の特許請求の範囲に記述される複数のユニットまたは装置は１つのユニットまたは装置で、ソフトウェアまたはハードウェアにより実現される。「第１の」、「第２の」などの用語は、名称を示すが、特定の順序を示すものではない。
【図1】
【図2】
【図3】
【図4】
【図】
【図】
【図】
【国際調査報告】