知財求人 - 知財ポータルサイト「IP Force」
特表2024-546819電子機器価値評価方法及び装置とディープラーニングモデルトレーニング方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-26
(54)【発明の名称】電子機器価値評価方法及び装置とディープラーニングモデルトレーニング方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20241219BHJP
G06T 7/00 20170101ALI20241219BHJP
G06V 10/82 20220101ALI20241219BHJP
G06V 10/764 20220101ALI20241219BHJP
G06V 10/22 20220101ALI20241219BHJP
【ＦＩ】
G01N21/88 J
G06T7/00 350C
G06T7/00 610B
G06V10/82
G06V10/764
G06V10/22
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024535214
(86)(22)【出願日】2023-02-21
(85)【翻訳文提出日】2024-06-12
(86)【国際出願番号】 KR2023002426
(87)【国際公開番号】W WO2023163476
(87)【国際公開日】2023-08-31
(31)【優先権主張番号】10-2022-0024092
(32)【優先日】2022-02-24
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2022-0083791
(32)【優先日】2022-07-07
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】521406798
【氏名又は名称】ミンティット カンパニー，リミテッド
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】ヨ，ドヒョン
(72)【発明者】
【氏名】パク，スンホ
(72)【発明者】
【氏名】ド，スンジン
(72)【発明者】
【氏名】チ，チャンファン
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA73
2G051AB02
2G051EB05
2G051EC01
5L096AA03
5L096AA06
5L096BA03
5L096CA05
5L096CA17
5L096DA02
5L096EA39
5L096FA02
5L096FA69
5L096GA10
5L096GA51
5L096HA11
5L096JA03
5L096KA04
5L096MA07
(57)【要約】
電子機器価値評価方法が開示される。一実施形態は、電子機器を撮影して取得された複数のイメージ及び複数のディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行い、前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定する。
【選択図】図７
【選択図】図７
【特許請求の範囲】
【請求項1】
電子機器価値評価方法であって、電子機器を撮影して取得された複数のイメージ及び複数のディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行うステップと、
前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定するステップと、
を含み、
前記外観状態評価を行うステップは、
前記ディープラーニング評価モデルを介して前記イメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定するステップと、
前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定するステップと、
を含む、電子機器価値評価方法。
【請求項2】
前記評価領域それぞれの欠陥に対する等級を決定するステップは、前記ディープラーニング評価モデルのうち、第１ディープラーニング評価モデルが前記電子機器の前面が撮影されて取得された前面イメージの入力を受けた場合、前記前面イメージを介して前記前面の欠陥状態を予測した第１マスクを生成し、前記生成された第１マスクに基づいて前記前面の欠陥に対する等級を決定するステップと、
前記ディープラーニング評価モデルのうち、第２ディープラーニング評価モデルが前記電子機器の後面が撮影されて取得された後面イメージの入力を受けた場合、前記後面イメージを介して前記後面の欠陥状態を予測した第２マスクを生成し、前記生成された第２マスクに基づいて前記後面の欠陥に対する等級を決定するステップと、
前記ディープラーニング評価モデルのうち、第３ディープラーニング評価モデルが前記電子機器の側面が撮影されて取得された側面イメージの入力を受けた場合、前記の側面イメージを介して前記の側面のうち少なくとも１つの欠陥状態を予測した第３マスクを生成し、前記生成された第３マスクに基づいて前記の側面の欠陥に対する等級を決定するステップと、
前記ディープラーニング評価モデルのうち、第４ディープラーニング評価モデルが前記電子機器の画面が撮影されて取得された画面イメージの入力を受けた場合、前記画面イメージを介して前記電子機器の画面の欠陥状態を予測した第４マスクを生成し、前記生成された第４マスクに基づいて前記電子機器の画面の欠陥に対する等級を決定するステップと、
を含む、請求項１に記載の電子機器価値評価方法。
【請求項3】
前記外観状態評価を行うステップは、前記電子機器の形態が変更された場合、前記ディープラーニング評価モデル以外の追加ディープラーニング評価モデルを介して前記変更された形態が撮影されて取得されたイメージから前記変更された形態の評価領域の欠陥状態を予測したマスクを生成し、前記変更された形態の評価領域の欠陥状態を予測したマスクに基づいて前記変更された形態の評価領域の欠陥に対する等級を決定するステップをさらに含む、請求項１に記載の電子機器価値評価方法。
【請求項4】
前記最終等級を決定するステップは、前記決定された各等級のうち最小等級を前記最終等級として決定するステップを含む、請求項１に記載の電子機器価値評価方法。
【請求項5】
前記最終等級を決定するステップは、前記決定された各等級それぞれに加重値を適用するステップと、
前記角加重値が適用された等級を用いて前記最終等級を決定するステップと、
を含む、請求項１に記載の電子機器価値評価方法。
【請求項6】
前記価値を決定するステップは、前記外観状態評価の結果に基づいて第１金額を決定し、前記内部状態評価の結果に基づいて第２金額を決定するステップと、
前記電子機器の基準価格から前記決定された第１金額と前記決定された第２金額を差し引いて前記電子機器の価格を算出するステップと、
を含む、請求項１に記載の電子機器価値評価方法。
【請求項7】
前記欠陥状態は、前記評価領域それぞれの欠陥位置、前記欠陥種類、及び前記欠陥程度のうち少なくとも１つを含む、請求項１に記載の電子機器価値評価方法。
【請求項8】
前記イメージそれぞれに欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断するステップと、前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行うステップと、
をさらに含む、請求項１に記載の電子機器価値評価方法。
【請求項9】
前記オブジェクトは、前記電子機器の画面上のフローティングアイコンに対応するオブジェクト、前記電子機器に付着したステッカーに対応するオブジェクト、及び前記電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含む、請求項８に記載の電子機器価値評価方法。
【請求項10】
電子機器価値評価方法であって、電子機器を撮影して取得された複数のイメージそれぞれに、前記電子機器の欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断するステップと、
前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行うステップと、
前記オブジェクトが処理されたイメージ、前記オブジェクトがない残りのイメージ、及びディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行うステップと、
前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定するステップと、
を含む、電子機器価値評価方法。
【請求項11】
前記外観状態評価を行うステップは、前記ディープラーニング評価モデルを介して前記オブジェクトが処理されたイメージ及び前記残りのイメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定するステップと、
前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定するステップと、
を含む、請求項１０に記載の電子機器価値評価方法。
【請求項12】
前記処理を行うステップは、前記オブジェクトにマスキング処理を行うステップを含む、請求項１０に記載の電子機器価値評価方法。
【請求項13】
前記オブジェクトは、前記電子機器の画面上のフローティングアイコンに対応するオブジェクト、前記電子機器に付着したステッカーに対応するオブジェクト、及び前記電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含む、請求項１０に記載の電子機器価値評価方法。
【請求項14】
電子機器価値評価装置であって、複数のディープラーニング評価モデルを格納するメモリと、
電子機器を撮影して取得された複数のイメージ及び前記ディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行う外観状態評価モジュールと、
前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定する価値決定モジュールと、
を含み、
前記外観状態評価モジュールは、前記ディープラーニング評価モデルを介して前記イメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定し、前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定する、電子機器価値評価装置。
【請求項15】
前記ディープラーニング評価モデルのうち、第１ディープラーニング評価モデルは、前記電子機器の前面が撮影されて取得された前面イメージの入力を受けた場合、前記前面イメージを介して前記前面の欠陥状態を予測した第１マスクを生成し、前記生成された第１マスクに基づいて前記前面の欠陥に対する等級を決定し、前記ディープラーニング評価モデルのうち、第２ディープラーニング評価モデルは、前記電子機器の後面が撮影されて取得された後面イメージの入力を受けた場合、前記後面イメージを介して前記後面の欠陥状態を予測した第２マスクを生成し、前記生成された第２マスクに基づいて前記後面の欠陥に対する等級を決定し、
前記ディープラーニング評価モデルのうち、第３ディープラーニング評価モデルは、前記電子機器の側面が撮影されて取得された側面イメージの入力を受けた場合、前記の側面イメージを介して前記の側面のうち少なくとも１つの欠陥状態を予測した第３マスクを生成し、前記生成された第３マスクに基づいて前記の側面の欠陥に対する等級を決定し、
前記ディープラーニング評価モデルのうち、第４ディープラーニング評価モデルは、前記電子機器の画面が撮影されて取得された画面イメージの入力を受けた場合、前記画面イメージを介して前記電子機器の画面の欠陥状態を予測した第４マスクを生成し、前記生成された第４マスクに基づいて前記電子機器の画面の欠陥に対する等級を決定する、請求項１４に記載の電子機器価値評価装置。
【請求項16】
前記外観状態評価モジュールは、前記電子機器の形態が変更された場合、前記ディープラーニング評価モデル以外の追加ディープラーニング評価モデルを介して前記変更された形態が撮影されて取得されたイメージから前記変更された形態の評価領域の欠陥状態を予測したマスクを生成し、前記変更された形態の評価領域の欠陥状態を予測したマスクに基づいて前記変更された形態の評価領域の欠陥に対する等級を決定する、請求項１４に記載の電子機器価値評価装置。
【請求項17】
前記外観状態評価モジュールは、前記決定された各等級のうち最小等級を前記最終等級として決定する、請求項１４に記載の電子機器価値評価装置。
【請求項18】
前記外観状態評価モジュールは、前記決定された各等級それぞれに加重値を適用し、前記角加重値が適用された等級を用いて前記最終等級を決定する、請求項１４に記載の電子機器価値評価装置。
【請求項19】
前記価値決定モジュールは、前記外観状態評価の結果に基づいて第１金額を決定し、前記内部状態評価の結果に基づいて第２金額を決定し、前記電子機器の基準価格から前記決定された第１金額と前記決定された第２金額を差し引いて前記電子機器の価格を算出する、請求項１４に記載の電子機器価値評価装置。
【請求項20】
前記欠陥状態は、前記評価領域それぞれの欠陥位置、前記欠陥種類、及び前記欠陥程度のうち少なくとも１つを含む、請求項１４に記載の電子機器価値評価装置。
【請求項21】
前記イメージそれぞれに欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断し、前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行う前処理モジュールをさらに含む、請求項１４に記載の電子機器価値評価装置。
【請求項22】
前記オブジェクトは、前記電子機器の画面上のフローティングアイコンに対応するオブジェクト、前記電子機器に付着したステッカーに対応するオブジェクト、及び前記電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含む、請求項２１に記載の電子機器価値評価装置。
【請求項23】
電子機器価値評価装置であって、電子機器を撮影して取得された複数のイメージそれぞれに、前記電子機器の欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断する前処理モジュールと、
前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行うステップと、前記オブジェクトが処理されたイメージ、前記オブジェクトがない残りのイメージ、及びディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行う外観状態評価モジュールと、
前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定する価値決定モジュールと、
を含む、電子機器価値評価装置。
【請求項24】
前記外観状態評価モジュールは、前記ディープラーニング評価モデルを介して前記オブジェクトが処理されたイメージ及び前記残りのイメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定し、前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定する、請求項２３に記載の電子機器価値評価装置。
【請求項25】
コンピューティング装置によって実行されるトレーニング方法であって、欠陥に対する学習イメージをディープラーニングモデルに入力するステップと、
前記ディープラーニングモデルを介して前記学習イメージから前記欠陥の状態を予測したマスクを生成するステップと、
前記生成されたマスクと前記欠陥に対するレーベルマスク（ｌａｂｅｌｅｄ ｍａｓｋ）との間の類似度を演算するステップと、
前記演算された類似度が閾値未満である場合、前記ディープラーニングモデル内の少なくとも１つのパラメータをアップデートするステップと、
前記演算された類似度が前記閾値以上である場合、前記ディープラーニングモデルに対するトレーニングを終了するステップと、
を含む、コンピューティング装置によって実行されるトレーニング方法。
【請求項26】
前記マスクを生成するステップは、第１ディープラーニングモデルに第１学習イメージを入力した場合、前記第１ディープラーニングモデルを用いて前記第１学習イメージから電子機器の前面の欠陥状態を予測した第１マスクを生成するステップと、
第２ディープラーニングモデルに第２学習イメージを入力した場合、前記第２ディープラーニングモデルを用いて前記第２学習イメージから前記電子機器の後面の欠陥状態を予測した第２マスクを生成するステップと、
第３ディープラーニングモデルに第３学習イメージを入力した場合、前記第３ディープラーニングモデルを用いて前記第３学習イメージから前記電子機器の側面の欠陥状態を予測した第３マスクを生成するステップと、
第４ディープラーニングモデルに第４学習イメージを入力した場合、前記第４ディープラーニングモデルを用いて前記第４学習イメージから前記電子機器の画面の欠陥状態を予測した第４マスクを生成するステップと、
を含む、請求項２５に記載のコンピューティング装置によって実行されるトレーニング方法。
【発明の詳細な説明】
【技術分野】
【0001】
下記の実施形態は、電子機器価値評価方法及び装置とディープラーニングモデルトレーニング方法に関する。
【背景技術】
【0002】
現在の中古携帯電話の買取価格を算定する方法には、運営者がクライアントの中古携帯電話を直接操作したり肉眼で確認し、運営者の判断基準に応じて中古携帯電話の価格を決定する方法と自動化評価により中古携帯電話の価格を算定する方法がある。
【0003】
前述した背景技術は、発明者が本明細書の開示内容を導き出す過程で保持したり習得したものであり、必ず本出願前に一般公衆に公開された公知技術とは言えない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
現在に使用されている自動化評価は、有線又は無線を介して中古携帯電話に連動アプリをインストールし、中古携帯電話の情報取得及び内部機能を自動で検査し、中古携帯電話の外観写真を評価センターに伝達し、中古携帯電話に対する評価を行うことができる。中古携帯電話の外観評価に多くの資源及び時間が費やされる。中古携帯電話の外観を迅速で正確に評価し、最適な買取相場を予測できる人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）価値評価システム及び方法が必要である。
【課題を解決するための手段】
【0005】
一実施形態に係る電子機器価値評価方法は、電子機器を撮影して取得された複数のイメージ及び複数のディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行うステップと、前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定するステップとを含む。
【0006】
前記外観状態評価を行うステップは、前記ディープラーニング評価モデルを介して前記イメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定するステップと、前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定するステップとを含む。
【0007】
前記評価領域それぞれの欠陥に対する等級を決定するステップは、前記ディープラーニング評価モデルのうち、第１ディープラーニング評価モデルが前記電子機器の前面が撮影されて取得された前面イメージの入力を受けた場合、前記前面イメージを介して前記前面の欠陥状態を予測した第１マスクを生成し、前記生成された第１マスクに基づいて前記前面の欠陥に対する等級を決定するステップと、前記ディープラーニング評価モデルのうち、第２ディープラーニング評価モデルが前記電子機器の後面が撮影されて取得された後面イメージの入力を受けた場合、前記後面イメージを介して前記後面の欠陥状態を予測した第２マスクを生成し、前記生成された第２マスクに基づいて前記後面の欠陥に対する等級を決定するステップと、前記ディープラーニング評価モデルのうち、第３ディープラーニング評価モデルが前記電子機器の側面が撮影されて取得された側面イメージの入力を受けた場合、前記の側面イメージを介して前記の側面のうち少なくとも１つの欠陥状態を予測した第３マスクを生成し、前記生成された第３マスクに基づいて前記の側面の欠陥に対する等級を決定するステップと、前記ディープラーニング評価モデルのうち、第４ディープラーニング評価モデルが前記電子機器の画面が撮影されて取得された画面イメージの入力を受けた場合、前記画面イメージを介して前記電子機器の画面の欠陥状態を予測した第４マスクを生成し、前記生成された第４マスクに基づいて前記電子機器の画面の欠陥に対する等級を決定するステップとを含むことができる。
【0008】
前記外観状態評価を行うステップは、前記電子機器の形態が変更された場合、前記ディープラーニング評価モデル以外の追加ディープラーニング評価モデルを介して前記変更された形態が撮影されて取得されたイメージから前記変更された形態の評価領域の欠陥状態を予測したマスクを生成し、前記変更された形態の評価領域の欠陥状態を予測したマスクに基づいて前記変更された形態の評価領域の欠陥に対する等級を決定するステップをさらに含むことができる。
【0009】
前記最終等級を決定するステップは、前記決定された各等級のうち最小等級を前記最終等級として決定するステップを含むことができる。
【0010】
前記最終等級を決定するステップは、前記決定された各等級それぞれに加重値を適用するステップと、前記角加重値が適用された等級を用いて前記最終等級を決定するステップとを含むことができる。
【0011】
前記価値を決定するステップは、前記外観状態評価の結果に基づいて第１金額を決定し、前記内部状態評価の結果に基づいて第２金額を決定するステップと、前記電子機器の基準価格から前記決定された第１金額と前記決定された第２金額を差し引いて前記電子機器の価格を算出するステップとを含むことができる。
【0012】
前記欠陥状態は、前記評価領域それぞれの欠陥位置、前記欠陥種類、及び前記欠陥程度のうち少なくとも１つを含むことができる。
【0013】
電子機器価値評価方法は、前記イメージそれぞれに欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断するステップと、前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行うステップとをさらに含むことができる。
【0014】
前記オブジェクトは、前記電子機器の画面上のフローティングアイコンに対応するオブジェクト、前記電子機器に付着したステッカーに対応するオブジェクト、及び前記電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含むことができる。
【0015】
一実施形態に係る電子機器価値評価方法は、電子機器を撮影して取得された複数のイメージそれぞれに、前記電子機器の欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断するステップと、前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行うステップと、前記オブジェクトが処理されたイメージ、前記オブジェクトがない残りのイメージ、及びディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行うステップと、前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定するステップとを含む。
【0016】
前記外観状態評価を行うステップは、前記ディープラーニング評価モデルを介して前記オブジェクトが処理されたイメージ及び前記残りのイメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定するステップと、前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定するステップとを含むことができる。
【0017】
前記処理を行うステップは、前記オブジェクトにマスキング処理を行うステップを含むことができる。
【0018】
前記オブジェクトは、前記電子機器の画面上のフローティングアイコンに対応するオブジェクト、前記電子機器に付着したステッカーに対応するオブジェクト、及び前記電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含むことができる。
【0019】
一実施形態に係る電子機器価値評価装置は、複数のディープラーニング評価モデルを格納するメモリと、電子機器を撮影して取得された複数のイメージ及び前記ディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行う外観状態評価モジュールと、前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定する価値決定モジュールとを含む。
【0020】
前記外観状態評価モジュールは、前記ディープラーニング評価モデルを介して前記イメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定し、前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定する。
【0021】
前記ディープラーニング評価モデルのうち、第１ディープラーニング評価モデルは、前記電子機器の前面が撮影されて取得された前面イメージの入力を受けた場合、前記前面イメージを介して前記前面の欠陥状態を予測した第１マスクを生成し、前記生成された第１マスクに基づいて前記前面の欠陥に対する等級を決定することができる。
【0022】
前記ディープラーニング評価モデルのうち、第２ディープラーニング評価モデルは、前記電子機器の後面が撮影されて取得された後面イメージの入力を受けた場合、前記後面イメージを介して前記後面の欠陥状態を予測した第２マスクを生成し、前記生成された第２マスクに基づいて前記後面の欠陥に対する等級を決定することができる。
【0023】
前記ディープラーニング評価モデルのうち、第３ディープラーニング評価モデルは、前記電子機器の側面が撮影されて取得された側面イメージの入力を受けた場合、前記の側面イメージを介して前記の側面のうち少なくとも１つの欠陥状態を予測した第３マスクを生成し、前記生成された第３マスクに基づいて前記の側面の欠陥に対する等級を決定することができる。
【0024】
前記ディープラーニング評価モデルのうち、第４ディープラーニング評価モデルは、前記電子機器の画面が撮影されて取得された画面イメージの入力を受けた場合、前記画面イメージを介して前記電子機器の画面の欠陥状態を予測した第４マスクを生成し、前記生成された第４マスクに基づいて前記電子機器の画面の欠陥に対する等級を決定することができる。
【0025】
前記外観状態評価モジュールは、前記電子機器の形態が変更された場合、前記ディープラーニング評価モデル以外の追加ディープラーニング評価モデルを介して前記変更された形態が撮影されて取得されたイメージから前記変更された形態の評価領域の欠陥状態を予測したマスクを生成し、前記変更された形態の評価領域の欠陥状態を予測したマスクに基づいて前記変更された形態の評価領域の欠陥に対する等級を決定することができる。
【0026】
前記外観状態評価モジュールは、前記決定された各等級のうち最小等級を前記最終等級として決定することができる。
【0027】
前記外観状態評価モジュールは、前記決定された各等級それぞれに加重値を適用し、前記角加重値が適用された等級を用いて前記最終等級を決定することができる。
【0028】
前記価値決定モジュールは、前記外観状態評価の結果に基づいて第１金額を決定し、前記内部状態評価の結果に基づいて第２金額を決定し、前記電子機器の基準価格から前記決定された第１金額と前記決定された第２金額を差し引いて前記電子機器の価格を算出することができる。
【0029】
前記欠陥状態は、前記評価領域それぞれの欠陥位置、前記欠陥種類、及び前記欠陥程度のうち少なくとも１つを含むことができる。
【0030】
電子機器価値評価装置は、前記イメージそれぞれに欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断し、前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行う前処理モジュールをさらに含むことができる。
【0031】
前記オブジェクトは、前記電子機器の画面上のフローティングアイコンに対応するオブジェクト、前記電子機器に付着したステッカーに対応するオブジェクト、及び前記電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含むことができる。
【0032】
一実施形態に係る電子機器価値評価装置は、電子機器を撮影して取得された複数のイメージそれぞれに、前記電子機器の欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断する前処理モジュールと、前記オブジェクトが含まれたイメージがある場合、前記オブジェクトに対する処理を行うステップと、前記オブジェクトが処理されたイメージ、前記オブジェクトがない残りのイメージ、及びディープラーニング評価モデルに基づいて前記電子機器に対する外観状態評価を行う外観状態評価モジュールと、前記外観状態評価の結果及び前記電子機器の内部状態評価の結果に基づいて前記電子機器の価値を決定する価値決定モジュールとを含む。
【0033】
前記外観状態評価モジュールは、前記ディープラーニング評価モデルを介して前記オブジェクトが処理されたイメージ及び前記残りのイメージから前記電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、前記生成された各マスクに基づいて前記評価領域それぞれの欠陥に対する等級を決定し、前記決定された各等級を介して前記電子機器の外観状態に対する最終等級を決定することができる。
【0034】
一実施形態に係るコンピューティング装置によって実行されるトレーニング方法は、欠陥に対する学習イメージをディープラーニングモデルに入力するステップと、前記ディープラーニングモデルを介して前記学習イメージから前記欠陥の状態を予測したマスクを生成するステップと、前記生成されたマスクと前記欠陥に対するレーベルマスク（ｌａｂｅｌｅｄ ｍａｓｋ）との間の類似度を演算するステップと、前記演算された類似度が閾値未満である場合、前記ディープラーニングモデル内の少なくとも１つのパラメータをアップデートするステップと、前記演算された類似度が前記閾値以上である場合、前記ディープラーニングモデルに対するトレーニングを終了するステップとを含む。
【0035】
前記マスクを生成するステップは、第１ディープラーニングモデルに第１学習イメージを入力した場合、前記第１ディープラーニングモデルを用いて前記第１学習イメージから電子機器の前面の欠陥状態を予測した第１マスクを生成するステップと、第２ディープラーニングモデルに第２学習イメージを入力した場合、前記第２ディープラーニングモデルを用いて前記第２学習イメージから前記電子機器の後面の欠陥状態を予測した第２マスクを生成するステップと、第３ディープラーニングモデルに第３学習イメージを入力した場合、前記第３ディープラーニングモデルを用いて前記第３学習イメージから前記電子機器の側面の欠陥状態を予測した第３マスクを生成するステップと、第４ディープラーニングモデルに第４学習イメージを入力した場合、前記第４ディープラーニングモデルを用いて前記第４学習イメージから前記電子機器の画面の欠陥状態を予測した第４マスクを生成するステップとを含む。
【発明の効果】
【0036】
一実施形態に係る中古携帯電話の外観を撮影したイメージをはやい速度で分析できるため、中古携帯電話の外観を迅速かつ正確に評価することができる。
【図面の簡単な説明】
【0037】
【発明を実施するための形態】
【0038】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【0039】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
【0040】
いずれかの構成要素が他の構成要素に「連結」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
【0041】
単数の表現は、文脈上、明白に異なる意味を有しない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0042】
異なるように定義さがれない限り技術的又は科学的な用語を含み、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0043】
以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。
【0044】
【0045】
【0046】
無人買取装置１１０は、電子機器（又は、中古電子機器）（例えば、スマートフォン、タブレットＰＣ、ウェアラブル機器など）をユーザから買取及び／又はユーザに電子機器（又は、中古電子機器）を販売することができる。電子機器のタイプは、例えば、形態によりバータイプ、ローラブル（ｒｏｌｌａｂｌｅ）タイプ、又は、フォルダブル（ｆｏｌｄａｂｌｅ）タイプなどに区分される。
【0047】
無人買取装置１１０は、例えば、キオスク形態であってもよいが、これに制限されることはない。
【0048】
無人買取装置１１０は、撮影ボックス及び制御部（ｃｏｎｔｒｏｌｌｅｒ）を含む。
【0049】
無人買取装置１１０の撮影ボックスのドア（ｄｏｏｒ）がオープンされれば、ユーザは、無人買取装置１１０のケーブル（例えば、ＵＳＢタイプＣケーブル、ライトニングケーブルなど）と電子機器を接続させ、電子機器を撮影ボックス内に安置させることができる。電子機器は、ケーブルを介して無人買取装置１１０の制御部に接続される。実施形態により、電子機器は、無線（例えば、ブルートゥース（登録商標）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）など）で無人買取装置１１０の制御部と接続されている。
【0050】
無人買取装置１１０の制御部は、電子機器の内部状態検収及び電子機器の情報（例えば、モデル名、シリアルナンバー、オペレーティングシステムバージョンなど）を収集するための第１アプリケーションを電子機器にインストールしてもよい。これに制限されることなく、ユーザは、電子機器を無人買取装置１１０に投入する前に第１アプリケーションを電子機器に予めインストールすることができる。
【0051】
第１アプリケーションは、電子機器で実行されることによって電子機器の情報を収集し、電子機器の内部状態（例えば、ハードウェア動作状態など）評価（又は、分析）を行う。ハードウェア動作状態は、例えば、電子機器のハードウェア（例えば、センサ、カメラなど）が正常に動作するかに対する状態を示す。第１アプリケーションは、電子機器のハードウェアが正常に動作するか否かを評価（又は、判断）できる。
【0052】
撮影ボックスには複数のカメラと複数の照明が配置されてもよい。撮影ボックス内の第１カメラは、電子機器の前面を撮影して電子機器の１つ以上の前面イメージを取得することができる。撮影ボックス内の第２カメラは、電子機器の後面を撮影して電子機器の１つ以上の後面イメージを取得することができる。撮影ボックス内の複数の第３カメラそれぞれは、電子機器の側面（又は、コーナー）それぞれを撮影して１つ以上の側面イメージ（又は、コーナーイメージ）を取得することができる。
【0053】
第１カメラは、電子機器の画面を撮影して１つ以上のイメージ（以下、「画面イメージ」に称する）を取得する。実施形態により、第１アプリケーションは、電子機器に単色（例えば、白色、黒い色、赤い色、青色、緑色など）の画面が表示されるようにしてもよい。電子機器に単色画面が表示された状態で、第１カメラは、電子機器の単色画面を撮影してイメージ（以下、「単色の画面イメージ」に称する）を取得する。例えば、電子機器に白色画面が表示された状態で、第１カメラは、電子機器の白色画面を撮影し第１単色の画面イメージを取得する。電子機器に黒い色画面が表示された状態で、第１カメラは、電子機器の黒い色画面を撮影し第２単色の画面イメージを取得する。電子機器に白色及び黒い色以外の他の単色（例えば、赤い色、青色、緑色など）の画面が表示された状態で、第１カメラは、電子機器の他の単色画面を撮影して第３単色の画面イメージを取得することができる。
【0054】
電子機器価値評価装置１３０は、電子機器を撮影して取得したイメージ（例えば、１つ以上の前面イメージ、１つ以上の後面イメージ、１つ以上の側面イメージ、１つ以上の単色の画面イメージ）とディープラーニング評価モデルに基づいて、電子機器に対する外観状態評価を行うことができる。
【0055】
図１に示す例で、電子機器価値評価装置１３０はサーバ１２０に含まれている。図１に示す例で、サーバ１２０は、無人買取装置１１０から電子機器を撮影して取得したイメージを受信し、受信されたイメージを電子機器価値評価装置１３０に伝達する。前述したように、電子機器内の第１アプリケーションは電子機器の内部状態評価を実行し、無人買取装置１１０を介してサーバ１２０に電子機器の内部状態評価の結果を送信することができる。異なる例として、第１アプリケーションは、電子機器がサーバ１２０に接続されるようにし、電子機器を介してサーバ１２０に電子機器の内部状態評価の結果を送信してもよい。電子機器価値評価装置１３０は、電子機器の外観状態評価の結果と電子機器の内部状態評価の結果（例えば、第１アプリケーションが電子機器の内部状態評価を行った結果）に基づいて、電子機器の価値（例えば、価格）を決定することができる。電子機器価値評価装置１３０は、無人買取装置１１０に電子機器の価値を送信し、無人買取装置１１０は、ユーザに電子機器の価値を伝達する。ユーザは、電子機器の価値（例えば、価格）を受け入れて電子機器を販売することを無人買取装置１１０に伝達し、無人買取装置１１０はユーザの電子機器の販売決定があれば、撮影ボックス内に安置されている電子機器を回収ボックス（又は、保管ボックス）に移動させることができる。実施形態により、回収ボックスは、無人買取装置１１０の内部又は外部に配置されてもよい。
【0056】
図２に示す例で、電子機器価値評価装置１３０は、無人買取装置１１０に含まれてもよい。図２に示す例で、電子機器価値評価装置１３０は、撮影ボックス内のカメラから電子機器を撮影して取得されたイメージを受信してもよい。電子機器価値評価装置１３０は、第１アプリケーションから電子機器の内部状態評価の結果を受信する。電子機器価値評価装置１３０は、電子機器の外観状態評価の結果と電子機器の内部状態評価の結果に基づいて電子機器の価値（例えば、価格）を決定することができる。電子機器価値評価装置１３０は、ユーザに電子機器の価値を伝達する。ユーザは、電子機器の価値（例えば、価格）を受け入れて電子機器を販売することを無人買取装置１１０に伝達し、無人買取装置１１０は、ユーザの電子機器販売決定があれば、撮影ボックス内に安置された電子機器を回収ボックス（又は、保管ボックス）に移動させることができる。
【0057】
【0058】
図３を参照すると、電子機器装置評価装置１３０は、メモリ３１０、外観状態評価モジュール３２０、及び価値決定モジュール３３０を含む。
【0059】
一実施形態において、外観状態評価モジュール３２０及び価値決定モジュール３３０は１つのプロセッサで実現されてもよい。
【0060】
一実施形態において、外観状態評価モジュール３２０及び価値決定モジュール３４０のそれぞれは別個のプロセッサで実現されてもよい。例えば、第１プロセッサが外観状態評価モジュール３２０を実現してもよく、第２プロセッサが価値決定モジュール３４０を実現してもよい。
【0061】
メモリ３１０は、複数のディープラーニング評価モデルを格納する。例えば、メモリ３１０は、電子機器の第１評価領域（例えば、前面）の欠陥を検出し、検出された欠陥（又は、第１評価領域）の等級を決定する第１ディープラーニング評価モデル、電子機器の第２評価領域（例えば、後面）の欠陥を検出し、検出された欠陥（又は、第２評価領域）の等級を決定する第２ディープラーニング評価モデル、電子機器の第３評価領域（例えば、側面（又は、コーナー））の欠陥を検出し、検出された欠陥（又は、第３評価領域）の等級を決定する第３ディープラーニング評価モデル、及び電子機器の第４評価領域（例えば、画面）の欠陥を検出し、検出された欠陥（又は、第４評価領域）の等級を決定する第４ディープラーニング評価モデルを含む。以下の表１は、評価領域（例えば、画面、前面、側面（又は、コーナー）、後面）それぞれの欠陥種類及び等級の例示を示す。
【0062】
【表1】
【0063】
上記の表１において、中間残像は、例えば、電子機器が白色画面を表示しているものの、ユーザに画面の特定領域（例えば、画面上段の状態表示領域）が白色でない色に見られ、特定領域にアイコンが見られる現像を示す。強い残像は、例えば、電子機器が白色画面を表示しているものの、ユーザに画面全体的に白色でない他の色に見られる現像を示す。ＬＣＤ級の残像は、強い残像よりも残像の程度が激しい状態であって、例えば、電子機器が白色画面を表示しているものの、ユーザに画面の全体的に白色でない他の色が見られて画面にアイコンが見られる現像を示す。
【0064】
第１～第４ディープラーニング評価モデルそれぞれは、与えられた入力イメージにイメージセグメンテーション（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）を行うことができる。
【0065】
図４に、ディープラーニング評価モデルそれぞれの基盤となるディープニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の概略的な構造が示されている。以下、説明の便宜のために、ディープニューラルネットワークの構造を例に挙げて説明するが、必ずこれに限定されるものではなく、様々な構造のニューラルネットワークがディープラーニング評価モデルに使用されてもよい。
【0066】
ディープニューラルネットワークは、ニューラルネットワークを実現する１つの方式として、複数のレイヤ（ｌａｙｅｒｓ）を含む。ディープニューラルネットワークは、例えば、入力データが印加される入力レイヤ（Ｉｎｐｕｔ Ｌａｙｅｒ）４１０、トレーニングに基づいて入力データに基づいた予測を介して導き出された結果値を出力する出力レイヤ（Ｏｕｔｐｕｔ Ｌａｙｅｒ）４４０、及び入力レイヤと出力レイヤとの間の多重の隠匿レイヤ（Ｈｉｄｄｅｎ Ｌａｙｅｒ）４２０，４３０を含む。
【0067】
ディープニューラルネットワークは、情報を処理するために使用されるアルゴリズムに応じて畳み込み神経網（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、及びリカレント神経網（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などに分類される。以下、ニューラルネットワーク分野の一般的な慣行により、入力レイヤを最下位レイヤ、出力レイヤを最上位レイヤと呼び、最上位レイヤである出力レイヤから最下位レイヤである入力レイヤまで順次レイヤの順位を指定して命名する。図４において、隠匿レイヤ２は、隠匿レイヤ１及び入力レイヤよりも上位レイヤであり、出力レイヤよりも下位レイヤに該当する。
【0068】
ディープニューラルネットワークで隣接しているレイヤの間では相対的に上位であるレイヤが、相対的に下位であるレイヤの出力値に加重値を乗算し、バイアスを適用した値が印加されて所定の演算結果を出力することができる。ここで、出力される演算結果は、該当レイヤに隣接している上位レイヤに類似な方式で印加されてもよい。
【0069】
ニューラルネットワークをトレーニングする方式を、例えば、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）といい、上述したように、ディープラーニングには、畳み込みニューラルネットワーク、リカレントニューラルネットワークのように様々なアルゴリズムが用いられる。
【0070】
「ニューラルネットワークをトレーニングする」とは、レイヤ間の加重値及びバイアスを決定して更新すること、及び／又は、隣接しているレイヤのうち互いに異なるレイヤに属する複数のニューロン間の加重値及びバイアスを決定して更新することを全て包括する意味として理解されることができる。
【0071】
複数のレイヤ、複数のレイヤ間の階層的構造、ニューロン間の加重値、及びバイアスの全てを総称してニューラルネットワークの「連結性（ｃｏｎｎｅｃｔｉｖｉｔｙ）」に表現してもよい。そのため、「ニューラルネットワークをトレーニングする」ことは、連結性を構築してトレーニングするものとして理解されてもよい。
【0072】
ニューラルネットワークで複数のレイヤのそれぞれは複数のノード（ｎｏｄｅｓ）を含む。ノードは、ニューラルネットワークのニューロン（ｎｅｕｒｏｎ）に該当する。用語「ニューロン」は、「ノード」という用語と同じ意味として使用される。
【0073】
図４に示すディープニューラルネットワークでいずれか１つのレイヤに含まれている複数のノードに隣接するレイヤに含まれた複数のノードの組み合せの間に全て連結関係が形成されていることが見られる。このようにニューラルネットワークの隣接するレイヤに含まれている全てのノードの組み合わせがすべて互いに連結されていることを「完全連結（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ）」と呼ぶこ。図４に示された隠匿レイヤ（２）４３０のノード３－１は、隠匿レイヤ（１）４２０の全てのノード、即ち、ノード２－１～ノード２－４のすべてに連結され、それぞれのノードの出力値に対して所定の加重値を乗算した値が入力され得る。
【0074】
入力レイヤ４１０に入力されたデータが複数の隠匿レイヤ４２０，４３０を経て処理されることで、出力レイヤ４４０を介して出力値が出力される。ここで、各ノードの出力値に対して乗算される加重値が大きいほど、対応する２つのノード間の連結性が強化されることを意味し、加重値が小さいほど、２つのノード間の連結性が弱いことを意味する。加重値が０である場合、２つのノード間の連結性がないことを意味する。
【0075】
図３に戻り、外観状態評価モジュール３２０は、電子機器を撮影して取得された複数のイメージ及びディープラーニング評価モデルに基づいて電子機器に対する外観状態評価を行うことができる。例えば、外観状態評価モジュール３２０は、ディープラーニング評価モデルを介してイメージから電子機器の第１～第４評価領域それぞれの欠陥状態を予測したマスクを生成することができる。外観状態評価モジュール３２０は、生成された各マスクに基づいて、第１～第４評価領域それぞれの欠陥の等級を決定することができる。外観状態評価モジュール３２０は、決定された各等級を介して電子機器の外観状態に対する最終等級を決定することができる。
【0076】
図５に示す例で、第１ディープラーニング評価モデル５１０は、前面イメージが入力されることができる。第１ディープラーニング評価モデル５１０は、前面イメージを介して電子機器の前面の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第１マスクを生成する。ここで、欠陥程度は欠陥の類型に関連している。例えば、第１ディープラーニング評価モデル５１０は、前面イメージにイメージセグメンテーションを行って前面イメージのピクセルそれぞれを第１クラスのいずれかに分類し、このような分類に応じて第１マスクを生成することができる。以下の表２は、第１クラスの例を示している。
【0077】
【表2】
【0078】
前述の撮影ボックス内の第１カメラは、電子機器の前面だけでなく前面の周辺を撮影することができるため、前面イメージには電子機器ではない部分を含むことができる。
【0079】
第１ディープラーニング評価モデル５１０は、前面イメージの一部ピクセルを第１－１クラスに分類し、残りのピクセルそれぞれを第１－２クラス、第１－３クラス、又は、第１－４クラスに分類する。このような分類を通じて、第１ディープラーニング評価モデル５１０は第１マスクを生成することができる。
【0080】
第１マスクを視覚的に表現したイメージの例示が図６に示されている。
【0081】
図６に示す例で、黒い色領域６１０－１、６１０－２、６１０－３、６１０－４は、第１ディープラーニング評価モデル５１０が前面イメージの一部ピクセルを第１－３クラスに分類した結果（又は、第１ディープラーニング評価モデル５１０が前面イメージの一部ピクセルが電子機器に該当しないものと予測した結果）を示す。領域６２０は、第１ディープラーニング評価モデル５１０が前面イメージの一部ピクセルを第１－２クラスに分類した結果（又は、第１ディープラーニング評価モデル５１０が前面イメージから電子機器の前面に破損があるものと予測した結果）を示す。領域６３０は、第１ディープラーニング評価モデル５１０が前面イメージの一部ピクセルを第１－１クラスに分類した結果（又は、第１ディープラーニング評価モデル５１０が前面イメージから電子機器の前面にキズがあるものと予測した結果）を示す。領域６４０は、第１ディープラーニング評価モデル５１０が前面イメージの一部ピクセルを第１－４クラスに分類した結果（又は、第１ディープラーニング評価モデル５１０が前面イメージで電子機器の前面を予測した結果）を示す。
【0082】
第１ディープラーニング評価モデル５１０は、第１マスクに基づいて前面の欠陥に対する等級を決定することができる。例えば、第１ディープラーニング評価モデル５１０は、前面イメージを介して電子機器の前面に破損と液晶の浮きのうち少なくとも１つがあるものと予測した場合、電子機器の前面の欠陥の等級をＣ等級（例えば、上記の表１のＣ等級）として決定してもよい。第１ディープラーニング評価モデル５１０は、Ｃ等級に対応するスコア５を出力する。第１ディープラーニング評価モデル５１０は、前面イメージを介して電子機器の前面に破損とキズがあるものと予測した場合、電子機器の前面の欠陥の等級をＣ等級（例えば、上記の表１のＣ等級）として決定してもよい。第１ディープラーニング評価モデル５１０は、Ｃ等級に対応するスコア５を出力する。第１ディープラーニング評価モデル５１０は、前面イメージを介して電子機器の前面にキズ及び前面破損級のキズのうち少なくとも１つがあるものと予測した場合、電子機器の前面の欠陥の等級をＢ等級（例えば、上記の表１のＢ等級）として決定してもよい。第１ディープラーニング評価モデル５１０は、Ｂ等級に対応するスコア３を出力する。第１ディープラーニング評価モデル５１０は、前面イメージを介して電子機器の前面がきれいなもの（又は、前面に欠陥がないもの）として予測した場合、電子機器の前面の欠陥の等級をＡ等級（例えば、上記の表１のＡ等級）として決定してもよい。第１ディープラーニング評価モデル５１０は、Ａ等級に対応するスコア１を出力する。
【0083】
第２ディープラーニング評価モデル５２０は、後面イメージが入力されてもよい。第２ディープラーニング評価モデル５２０は、後面イメージを介して電子機器の後面の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第２マスクを生成することができる。例えば、第２ディープラーニング評価モデル５２０は、後面イメージにイメージセグメンテーションを実行し、後面イメージのピクセルそれぞれを第２クラスのいずれか１つに分類し、このような分類を通じて第２マスクを生成することができる。下記の表３は、第２クラスの例示を示す。
【0084】
【表3】
【0085】
第２ディープラーニング評価モデル５２０は、第２マスクに基づいて後面の欠陥に対する等級を決定することができる。例えば、第２ディープラーニング評価モデル５２０は、後面イメージを介して電子機器の後面に破損、後面の浮き、及びカメラレンズ破損のうち少なくとも１つがあるものと予測した場合、電子機器の後面の欠陥の等級をＣ等級（例えば、上記の表１のＣ等級）として決定してもよい。第２ディープラーニング評価モデル５２０は、Ｃ等級に対応するスコア５を出力する。第２ディープラーニング評価モデル５２０は、後面イメージを介して電子機器の後面がきれいなものと予測した場合、電子機器の後面の欠陥の等級をＡ等級（例えば、上記の表１のＡ等級）として決定してもよい。第２ディープラーニング評価モデル５２０は、Ａ等級に対応するスコア１を出力する。
【0086】
第３ディープラーニング評価モデル５３０は、側面イメージ（又は、コーナーイメージ）が入力されてもよい。第３ディープラーニング評価モデル５３０は、側面イメージ（又は、コーナーイメージ）を介して電子機器の側面（又は、コーナー）の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第３マスクを生成することができる。例えば、第３ディープラーニング評価モデル５３０は、側面イメージ（又は、コーナーイメージ）にイメージセグメンテーションを実行し、各側面イメージのピクセルそれぞれを第３クラスのいずれか１つに分類し、このような分類を通じて第３マスクを生成することができる。以下の表４は、第３クラスの例示を示す。
【0087】
【表4】
【0088】
第３ディープラーニング評価モデル５３０は、第３マスクに基づいて側面（又は、コーナー）の欠陥の等級を決定することができる。例えば、第３ディープラーニング評価モデル５３０は、側面イメージ（又は、コーナーイメージ）を介して電子機器の第１の側面（又は、第１コーナー）にキズがあるものと予測した場合、電子機器の側面（又は、コーナー）の欠陥に対する等級をＢ＋等級（例えば、上記の表１のＢ＋等級）として決定してもよい。第３ディープラーニング評価モデル５３０は、Ｂ＋等級に対応するスコア２を出力する。第３ディープラーニング評価モデル５３０は、側面イメージ（又は、コーナーイメージ）を介して電子機器の側面（又は、コーナー）がきれいなものと予測した場合、電子機器の側面（又は、コーナー）の欠陥に対する等級をＡ等級（例えば、上記の表１のＡ等級）として決定してもよい。第３ディープラーニング評価モデル５３０は、Ａ等級に対応するスコア１を出力する。
【0089】
第４ディープラーニング評価モデル５４０は、電子機器に画面イメージ（例えば、単色の画面イメージ）が入力される。第４ディープラーニング評価モデル５４０は、画面イメージを介して電子機器の画面の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第４マスクを生成することができる。例えば、第４ディープラーニング評価モデル５４０は、画面イメージにイメージセグメンテーションを実行し、画面イメージのピクセルそれぞれを第４クラスのいずれか１つに分類し、このような分類を通じて第４マスクを生成することができる。以下の表５は、第４クラスの例示を示す。
【0090】
【表5】
【0091】
第４ディープラーニング評価モデル５４０は、第４マスクに基づいて電子機器の画面の欠陥に対する等級を決定することができる。例えば、第４ディープラーニング評価モデル５４０は、画面イメージを介して電子機器の画面に白化３つ以上、画面の線、黒点、銃弾破損のうち少なくとも１つがあるものと予測した場合、電子機器の画面の欠陥の等級をＤ等級（例えば、上記の表１のＤ等級）として決定してもよい。第４ディープラーニング評価モデル５４０は、Ｄ等級に対応するスコア７を出力する。第４ディープラーニング評価モデル５４０は、画面イメージを介して電子機器の画面にＬＣＤ級の残像及びＬＣＤ級の白化のうち少なくとも１つがあるものと予測した場合、電子機器の画面の欠陥の等級をＤＬ等級（例えば、上記の表１のＤＬ等級）として決定してもよい。第４ディープラーニング評価モデル５４０は、ＤＬ等級に対応するスコア６を出力する。第４ディープラーニング評価モデル５４０は、画面イメージを介して電子機器の画面に強い残像及び白化２つ以下のうち少なくとも１つがあるものと予測した場合、電子機器の画面の欠陥に対する等級をＣＬ等級（例えば、上記の表１のＣＬ等級）として決定してもよい。第４ディープラーニング評価モデル５４０は、ＣＬ等級に対応するスコア４を出力する。第４ディープラーニング評価モデル５４０は、画面イメージを介して電子機器の画面に中間残像があるものと予測した場合、電子機器の画面の欠陥の等級をＢ等級（例えば、上記の表１のＢ等級）として決定してもよい。第４ディープラーニング評価モデル５４０は、Ｂ等級に対応するスコア３を出力する。第４ディープラーニング評価モデル５４０は、画面イメージを介して電子機器の画面がきれいなものと予測した場合、電子機器の画面の欠陥の等級をＡ等級（例えば、上記の表１のＡ等級）として決定してもよい。第４ディープラーニング評価モデル５４０は、Ａ等級に対応するスコア１を出力する。
【0092】
図３に戻り、価値決定モジュール３３０は、電子機器の外観状態評価の結果及び／又は電子機器の内部状態評価の結果に基づいて電子機器の価値を決定することができる。
【0093】
一実施形態において、価値決定モジュール３３０は、第１～第４ディープラーニング評価モデル５１０～５４０それぞれによって決定された等級のうち、最小等級を電子機器の外観状態に対する最終等級として決定することができる。等級Ａが最も高くて等級Ｂ＋は等級Ａよりも低く、等級Ｂよりも高い。等級ＣＬは、等級Ｂより低く等級Ｃよりも高い。等級Ｄが最も低い。一例として、第１ディープラーニング評価モデル５１０により決定された等級がＣ等級であり、第２ディープラーニング評価モデル５２０によって決定された等級がＢ＋等級であり、第３ディープラーニング評価モデル５３０によって決定された等級がＣ等級であり、第４ディープラーニング評価モデル５４０によって決定された等級がＣＬ等級である。第１～第４ディープラーニング評価モデル５１０～５４０それぞれによって決定された等級のうち、第１ディープラーニング評価モデル５１０によって決定されたＣ等級が最小等級であり、価値決定モジュール３３０は、電子機器の外観状態に対する最終等級をＣ等級として決定してもよい。実施形態により、等級が低いほど、第１～第４ディープラーニング評価モデル５１０～５４０それぞれによって出力されるスコアは高い。価値決定モジュール３３０は、第１～第４ディープラーニング評価モデル５１０～５４０それぞれによって出力されたスコアのうち、最大スコアを電子機器の外観評価に対する最終スコアとして決定してもよい。
【0094】
一実施形態において、価値決定モジュール３３０は、第１～第４ディープラーニング評価モデル５１０～５４０それぞれによって決定された等級（又は、スコア）に加重値を適用し、各加重値が適用された等級（又は、スコア）を用いて電子機器の外観状態に対する最終等級（又は、最終スコア）を決定することができる。一例として、価値決定モジュール３３０は、第１ディープラーニング評価モデル５１０によって決定された等級（又は、スコア）に第１加重値を適用し、第２ディープラーニング評価モデル５２０によって決定された等級（又は、スコア）に第２加重値を適用し、第３ディープラーニング評価モデル５３０によって決定された等級（又は、スコア）に第３加重値を適用し、第４ディープラーニング評価モデル５４０によって決定された等級に第４加重値を適用してもよい。ここで、第１加重値～第４加重値それぞれは、０よりも大きくて１よりも小さい。価値決定モジュール３３０は、第１～第４加重値それぞれが適用された等級（又は、スコア）を合算して、電子機器の外観状態に対する最終等級（又は、最終スコア）を決定することができる。
【0095】
価値決定モジュール３３０は、電子機器の外観状態評価の結果（例えば、電子機器の外観状態に対する最終等級（又は、最終スコア））に基づいて第１金額を決定し、電子機器の内部状態評価の結果に基づいて第２金額を決定する。価値決定モジュール３３０は、電子機器の基準価格（例えば、電子機器と同じ種類の電子機器の最も高い中古価格）から第１金額と第２金額を差し引いて電子機器の価格を算出することができる、一例として、価値決定モジュール３３０は、中古相場のデータベースに連動して電子機器の基準価格を取得してもよい。価値決定モジュール３３０は、外観状態の等級と金額が互いにマッピングされた第１テーブルから、電子機器の外観状態に対する最終等級とマッピングされた第１金額を取得できる。価値決定モジュール３３０は、内部状態の等級と金額が互いにマッピングされた第２テーブルから、電子機器の内部状態評価の結果とマッピングされた第２金額を取得できる。価値決定モジュール３３０は、基準金額から第１金額及び第２金額を差し引いて電子機器の価格を算出することができる。
【0096】
価値決定モジュール３３０は、図１に示された例の場合、無人買取装置１１０に電子機器の価値（例えば、価格）を送信することができる。無人買取装置１１０は、ディスプレイを介して電子機器の価値（例えば、価格）をユーザに見せることができる。
【0097】
価値決定モジュール３３０は、図２に示された例の場合、無人買取装置１１０のディスプレイに電子機器の価値（例えば、価格）を表示することができる。
【0098】
一実施形態において、電子機器価値評価装置１３０は、前処理モジュールを含む。前処理モジュールは、イメージ（例えば、前面イメージ、後面イメージ、側面イメージ、画面イメージ）それぞれに欠陥として誤認される１つ以上のオブジェクトが含まれているか否かを判断する。ここで、オブジェクトは、電子機器の画面上のフローティングアイコンに対応するオブジェクト、電子機器に付着したステッカーに対応するオブジェクト、及び電子機器についている異物に対応するオブジェクトのうち少なくとも１つを含んでもよい。フローティングアイコンに対応するオブジェクトは、電子機器の画面上のフローティングアイコンが撮影されることによってイメージに含まれているオブジェクトを示す。電子機器に付着したステッカーに対応するオブジェクトは、電子機器に付着したステッカーが撮影されることによりイメージに含まれているオブジェクトを示す。電子機器についている異物に対応するオブジェクトは、電子機器についている異物が撮影されることによりイメージに含まれたオブジェクトを示す。フローティングアイコンは、例えば、補助タッチ（ａｓｓｉｓｔｉｖｅ ｔｏｕｃｈ）のフローティングアイコン、特定のタスクをトリガーするためのフローティングアイコンなどを含むが、これに制限されることはない。
【0099】
前処理モジュールは、欠陥として誤認されるオブジェクトが含まれているイメージがある場合、オブジェクトに対する処理を行うことができる。一例として、前処理モジュールは、オブジェクトにマスキング（ｍａｓｋｉｎｇ）処理を行ってもよいが、これに制限されることはない。外観状態評価モジュール３２０は、オブジェクトが処理されたイメージ、オブジェクトが含まれていない残りのイメージ、及びディープラーニング評価モデル５１０～５４０に基づいて外観状態評価を行ってもよい。外観状態評価モジュール３２０は、ディープラーニング評価モデル５１０～５４０を介してオブジェクトが処理されたイメージ及びオブジェクトが含まれていない残りのイメージから電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、生成された各マスクに基づいて評価領域それぞれの欠陥に対する等級を決定し、決定された各等級を介して電子機器の外観状態に対する最終等級を決定することができる。
【0100】
前処理モジュールは、電子機器を撮影して取得されたイメージのうち上述したオブジェクトが含まれているイメージがないものと判断することができる。この場合、上述したように、外観状態評価モジュール３２０は、イメージとディープラーニング評価モデル５１０～５４０に基づいて外観状態評価を行うことができる。
【0101】
前処理モジュールは、電子機器を撮影して取得されたイメージのうち、ディープラーニング評価モデルのうちの１つ以上が分析できないほどのイメージ（以下、「モデル分析不可イメージ」に示す）があるか否かを判断する。一例として、前処理モジュールは、電子機器を撮影して取得されたイメージのうち、光の反射が一定のレベル以上に存在するイメージ、カメラの焦点が合わないイメージなどをモデル分析不可イメージとして決定してもよい。前処理モジュールは、モデル分析不可イメージがある場合、運営者に電子機器の外観状態評価を要求することができる。
【0102】
一実施形態において、電子機器価値評価装置１３０は、バー（ｂａｒ）タイプの電子機器の価値を評価することができる。この場合、前述したように、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、バータイプの電子機器を撮影して取得された複数のイメージ及び第１～第４ディープラーニング評価モデル５１０～５４０に基づいて、バータイプの電子機器に対する外観状態評価を行うことができる。
【0103】
電子機器価値評価装置１３０は、形態が変更可能な電子機器（例えば、フォルダブル、ローラブル等）の価値を評価することができる。形態が変更可能な電子機器は、第１形態（例えば、アンフォールド（ｕｎｆｏｌｄｅｄ）形態、又は、縮小（ｃｏｎｔｒａｃｔｉｏｎ）形態を有してもよく、操作によって第２形態（例えば、折り畳み（ｆｏｌｄｅｄ）形態又は拡張（ｅｘｐａｎｓｉｏｎ）形態）に変更してもよい。一例として、、フォルダブル電子機器は、アンフォールド形態であってもよく、操作に応じて、形態が折り畳まれた形態に変更されてもよい。ローラーブル電子機器は縮小形態であってもよく、操作に応じて、形態が拡張形態に変更されてもよい。縮小形態は、ローラブルディスプレイが機器内にロールイン（ｒｏｌｌ ｉｎ）される状態を示し、拡張形態は、ローラブルディスプレイが機器からロールアウト（ｒｏｌｌ ｏｕｔ）される状態を示す。
【0104】
例えば、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、アンフォールド形態にあるフォルダブル電子機器を撮影して取得した複数のイメージ、及び第１～第４ディープラーニング評価モデル５１０～５４０に基づいてアンフォールド形態にあるフォルダブル電子機器の各評価領域の欠陥の等級を決定してもよい。
【0105】
無人買取装置１１０は、撮影ボックス内にあるフォルダブル電子機器をアンフォールド形態から折り畳まれた形態に変更することができる。又は、無人買取装置１１０は、ユーザにフォルダブル電子機器をアンフォールド形態から折り畳まれた形態に変更した後、折り畳まれた形態にある電子機器を無人買取装置１１０に再投入することを要求してもよい。フォルダブル電子機器がアンフォールド形態から折り畳まれた形態に変更されれば、折り畳まれた部分が側面を形成し、フォルダブル電子機器のサブ画面が活性化される。無人買取装置１１０は、撮影ボックス内の複数の第３カメラのうちの１つ以上を介して、フォルダブル電子機器の折り畳まれた部分に該当する側面を撮影することで、イメージ（以下、折り畳まれた側面のイメージ）を取得できる。無人買取装置１１０は、撮影ボックス内の第１カメラを介してフォルダブル電子機器のサブ画面を撮影することによってイメージ（以下、サブ画面イメージ）を取得できる。
【0106】
電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、折り畳まれた側面のイメージと第５ディープラーニング評価モデルに基づいて、フォルダブル電子機器の第５評価領域（例えば、折り畳まれた部分に該当する側面）を評価することができる。ここで、第５ディープラーニング評価モデルは、フォルダブル電子機器の第５評価領域の欠陥を検出し、検出された欠陥（又は、第５評価領域）の等級を決定するディープラーニング評価モデルであってもよい。一例として、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、折り畳まれた側面のイメージを第５ディープラーニング評価モデルに入力してもよい。第５ディープラーニング評価モデルは、折り畳まれた側面のイメージを介してフォルダブル電子機器の第５評価領域の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第５マスクを生成する。第５ディープラーニング評価モデルは、第５マスクに基づいてフォルダブル電子機器の第５評価領域の欠陥に対する等級を決定することができる。
【0107】
電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、サブ画面イメージと第６ディープラーニング評価モデルに基づいて、フォルダブル電子機器の第６評価領域（例えば、サブ画面）を評価することができる。ここで、第６ディープラーニング評価モデルは、フォルダブル電子機器の第６評価領域の欠陥を検出し、検出された欠陥（又は、第６評価領域）の等級を決定するディープラーニング評価モデルであってもよい。一例として、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、サブ画面イメージを第６ディープラーニング評価モデルに入力してもよい。第６ディープラーニング評価モデルは、サブ画面イメージを介してフォルダブル電子機器の第６評価領域の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第６マスクを生成する。第６ディープラーニング評価モデルは、第６マスクに基づいてフォルダブル電子機器の第６評価領域の欠陥に対する等級を決定してもよい。実施形態により、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、サブ画面イメージと上記で説明した第４ディープラーニング評価モデル５４０に基づいて、電子機器の第６評価領域（例えば、サブ画面）の欠陥の等級を決定することができる。
【0108】
電子機器価値評価装置１３０（又は、価値決定モジュール３３０）は、フォルダブル電子機器の外観状態評価の結果（例えば、第１～第６ディープラーニング評価モデルそれぞれによって決定された等級）及び／又はフォルダブル電子機器の内部状態評価の結果に基づいて、フォルダブル電子機器の価値を決定することができる。
【0109】
異なる例として、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、縮小形態のローラブル電子機器を撮影して取得した複数のイメージ及び第１～第４ディープラーニング評価モデル５１０～５４０に基づいて、縮小形態のローラブル電子機器の各評価領域の欠陥の等級を決定してもよい。
【0110】
無人買取装置１１０は、撮影ボックス内にあるローラブル電子機器を縮小形態から拡張形態に変更してもよい。又は、無人買取装置１１０は、ユーザにローラブル電子機器を縮小形態から拡張形態に変更した後、拡張形態にある電子機器を無人買取装置１１０に再投入することを要求してもよい。ローラブル電子機器が縮小形態から拡張形態に変更されれば、画面と側面が拡張され得る。無人買取装置１１０は、撮影ボックス内の複数の第３カメラのうちの１つ以上を介して拡張された側面を撮影することで、イメージ（以下、拡張された側面のイメージ）を取得することができる。無人買取装置１１０は、撮影ボックス内の第１カメラを介して電子機器の拡張された画面を撮影することで、イメージ（以下、拡張された画面のイメージ）を取得することができる。
【0111】
電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、拡張された側面のイメージと第７ディープラーニング評価モデルに基づいてローラブル電子機器の第７評価領域（例えば、拡張された側面）を評価することができる。ここで、第７ディープラーニング評価モデルは、ローラブル電子機器の第７評価領域の欠陥を検出し、検出された欠陥（又は、第７評価領域）の等級を決定するディープラーニング評価モデルであってもよい。一例として、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、拡張された側面のイメージを第７ディープラーニング評価モデルに入力してもよい。第７ディープラーニング評価モデルは、拡張された側面のイメージを介してローラブル電子機器の第７評価領域の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第７マスクを生成する。第７ディープラーニング評価モデルは、第７マスクに基づいてローラブル電子機器の第７評価領域の欠陥に対する等級を決定してもよい。実施形態により、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、拡張された側面のイメージと第３ディープラーニング評価モデル５３０に基づいて、ローラブル電子機器の第７評価領域（例えば、拡張された側面）を評価することができる。
【0112】
電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、拡張された画面のイメージと第４ディープラーニング評価モデル５４０に基づいて、ローラブル電子機器の第８評価領域（例えば、拡張された画面）を評価することができる。一例として、電子機器価値評価装置１３０（又は、外観状態評価モジュール３２０）は、拡張された画面のイメージを第４ディープラーニング評価モデル５４０に入力してもよい。上述したように、第４ディープラーニング評価モデル５４０は、与えられた画面イメージで画面の欠陥状態を予測したマスクを生成し、生成されたマスクに基づいて画面の欠陥の等級を決定するディープラーニング評価モデルであってもよい。第４ディープラーニング評価モデル５４０は、拡張された画面のイメージを介してローラブル電子機器の第８評価領域の欠陥状態（例えば、欠陥位置、欠陥種類、及び欠陥程度のうち少なくとも１つ）を予測した第８マスクを生成する。第４ディープラーニング評価モデル５４０は、第８マスクに基づいて、ローラブル電子機器の第８評価領域の欠陥に対する等級を決定することができる。
【0113】
電子機器価値評価装置１３０（又は、価値決定モジュール３３０）は、ローラブル電子機器の外観状態評価の結果（例えば、第１～第４ディープラーニング評価モデル及び第７ディープラーニング評価モデルそれぞれによって決定された等級）及び／又はローラブル電子機器の内部状態評価の結果に基づいて、ローラブル電子機器の価値を決定することができる。
【0114】
一実施形態において、無人買取装置１１０は、ユーザからウェアラブル機器（例えば、スマートウォッチ）が投入されることができる。電子機器価値評価装置１３０は、ウェアラブル機器の外観（例えば、前面、後面、側面、画面）を評価できるディープラーニング評価モデルを格納する。電子機器価値評価装置１３０は、ウェアラブル機器を撮影して取得したイメージ及びディープラーニング評価モデルに基づいて、ウェアラブル機器に対する外観状態評価を行うことができる。電子機器価値評価装置１３０は、ウェアラブル機器の外観状態評価の結果及びウェアラブル機器の内部状態評価の結果に基づいてウェアラブル機器の価値を決定することができる。
【0115】
図７は、一実施形態に係る電子機器価値評価方法を説明するフローチャートである。
【0116】
図７を参照すると、ステップ７１０において、電子機器価値評価装置１３０は、電子機器を撮影して取得された複数のイメージ及び複数のディープラーニング評価モデルに基づいて、電子機器に対する外観状態評価を行う。電子機器価値評価装置１３０は、ディープラーニング評価モデル５１０～５４０を介してイメージから電子機器の評価領域それぞれの欠陥状態を予測したマスクを生成し、生成された各マスクに基づいて電子機器の評価領域それぞれの欠陥に対する等級を決定することができる。電子機器価値評価装置１３０は、決定された各等級を介して電子機器の外観状態に対する最終等級を決定できる。
【0117】
一実施形態において、電子機器の形態が変更されることができる。上述したように、電子機器価値評価装置１３０は、電子機器を第１形態（例えば、アンフォールド形態又は縮小形態）から第２形態（例えば、折り畳まれた形態又は拡張形態）に変更されてもよい。又は、電子機器価値評価装置１３０は、ユーザに電子機器を第１形態から第２形態に変更した後、第２形態の電子機器を無人買取装置１１０に再投入することを要求してもよい。電子機器価値評価装置１３０は、電子機器の形態が変更された場合、ディープラーニング評価モデル５１０～５４０以外の追加ディープラーニング評価モデル（例えば、上記で説明した第５ディープラーニング評価モデル、第６ディープラーニング評価モデル、及び第７ディープラーニング評価モデルのうち少なくとも１つ）を介して、電子機器の変更された形態が撮影されて取得されたイメージから電子機器の変更された形態の評価領域の欠陥状態を予測したマスク（例えば、上記で説明した第５マスク、第６マスク、及び第７マスクのうち少なくとも１つ）を生成してもよい。電子機器価値評価装置１３０は、変更された形態の評価領域の欠陥状態を予測したマスクに基づいて、電子機器の変更された形態の評価領域の欠陥に対する等級を決定することができる。
【0118】
上述した第５～第７ディープラーニング評価モデルそれぞれは、与えられた入力イメージにイメージセグメンテーションを行うことができる。
【0119】
ステップ７２０において、電子機器価値評価装置１３０は、電子機器の外観状態評価の結果及び電子機器の内部状態評価の結果に基づいて、電子機器の価値を決定する。
【0120】
【0121】
図８は、一実施形態に係るディープラーニングモデルをトレーニングするコンピューティング装置の構成を説明するブロック図である。
【0122】
図８を参照すると、ディープラーニングモデルをトレーニングするコンピューティング装置８００は、メモリ８１０及びプロセッサ８２０を含む。
【0123】
メモリ８１０は、１つ以上のディープラーニングモデルを格納する。ディープラーニングモデルは、図４を参照して説明したディープニューラルネットワークに基盤する。ディープラーニングモデルは、与えられた入力イメージにイメージセグメンテーションを行うことができる。
【0124】
プロセッサ８２０は、ディープラーニングモデルをトレーニングする。
【0125】
プロセッサ８２０は、欠陥に対する学習イメージをディープラーニングモデルに入力し、ディープラーニングモデルを介して学習イメージから欠陥の状態を予測したマスクを生成することができる。
【0126】
プロセッサ８２０は、生成されたマスクと欠陥に対するレーベルマスク（ｌａｂｅｌｅｄ ｍａｓｋ）の間の類似度を演算する。
【0127】
図９Ａ～図９Ｃに生成されたマスクとレーベルマスクそれぞれの一例が示されている。図９Ａにおいて、ターゲットマスクはレーベルマスクを示し、予測マスクはディープラーニングモデルによって生成されたマスクを示す。
【0128】
プロセッサ８２０は、演算された類似度が閾値未満である場合、ディープラーニングモデル内の少なくとも１つのパラメータをアップデートすることができる。プロセッサ８２０は、演算された類似度が閾値以上である場合、ディープラーニングモデルに対するトレーニングを終了する。
【0129】
実施形態により、プロセッサ８２０は、第１学習イメージ（例えば、第１欠陥のある前面が撮影された前面イメージ）を第１ディープラーニングモデルに入力した場合、第１ディープラーニングモデルを用いて第１学習イメージから電子機器の前面の欠陥状態を予測した第１マスクを生成することができる。第１ディープラーニングモデルは、第１学習イメージにイメージセグメンテーションを行って第１学習イメージから電子機器の前面の欠陥状態を予測した第１マスクを生成する。プロセッサ８２０は、第１マスクと第１欠陥に対するレーベルマスクとの間の第１類似度を演算する。プロセッサ８２０は、演算された第１類似度が閾値未満である場合、第１ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第１類似度が閾値以上である場合、第１ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第１ディープラーニングモデルは、第１ディープラーニング評価モデル５１０として電子機器価値評価装置１３０に搭載され得る。
【0130】
プロセッサ８２０は、第２学習イメージ（例えば、第２欠陥のある後面を撮影した後面イメージ）を第２ディープラーニングモデルに入力した場合、第２ディープラーニングモデルを用いて第２学習イメージから電子機器の後面の欠陥状態を予測した第２マスクを生成することができる。第２ディープラーニングモデルは、第２学習イメージにイメージセグメンテーションを行って第２学習イメージから電子機器の後面の欠陥状態を予測した第２マスクを生成する。プロセッサ８２０は、第２マスクと第２欠陥に対するレーベルマスクとの間の第２類似度を演算する。プロセッサ８２０は、演算された第２類似度が閾値未満である場合、第２ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第２類似度が閾値以上である場合、第２ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第２ディープラーニングモデルは、第２ディープラーニング評価モデル５２０として電子機器価値評価装置１３０に搭載され得る。
【0131】
プロセッサ８２０は、第３学習イメージ（例えば、第３欠陥のある側面（又は、コーナー）が撮影された側面（又は、コーナー）イメージ）を第３ディープラーニングモデルに入力した場合、第３ディープラーニングモデルを用いて第３学習イメージから電子機器の側面（又は、コーナー）の欠陥状態を予測した第３マスクを生成することができる。第３ディープラーニングモデルは、第３学習イメージにイメージセグメンテーションを行って第３学習イメージから電子機器の側面（又は、コーナー）の欠陥状態を予測した第３マスクを生成する。プロセッサ８２０は、第３マスクと第３欠陥に対するレーベルマスクとの間の第３類似度を演算する。プロセッサ８２０は、演算された第３類似度が閾値未満である場合、第３ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第３類似度が閾値以上である場合、第３ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第３ディープラーニングモデルは、第３ディープラーニング評価モデル５３０として電子機器価値評価装置１３０に搭載され得る。
【0132】
プロセッサ８２０は、第４学習イメージ（例えば、第４欠陥のある画面が撮影された画面イメージ）を第４ディープラーニングモデルに入力した場合、第４ディープラーニングモデルを用いて第４学習イメージから電子機器の画面の欠陥状態を予測した第４マスクを生成することができる。第４ディープラーニングモデルは、第４学習イメージにイメージセグメンテーションを行って第４学習イメージから電子機器の画面の欠陥状態を予測した第４マスクを生成する。プロセッサ８２０は、第４マスクと第４欠陥に対するレーベルマスクとの間の第４類似度を演算する。プロセッサ８２０は、演算された第４類似度が閾値未満である場合、第４ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第４類似度が閾値以上である場合、第４ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第４ディープラーニングモデルは、第４ディープラーニング評価モデル５４０として電子機器価値評価装置１３０に搭載され得る。
【0133】
一実施形態において、プロセッサ８２０は、第５学習イメージ（例えば、第５欠陥のある折り畳まれた側面が撮影されたイメージ）を第５ディープラーニングモデルに入力した場合、第５ディープラーニングモデルを用いて第５学習イメージからフォルダブル電子機器の折り畳まれた部分に該当する側面の欠陥状態を予測した第５マスクを生成することができる。プロセッサ８２０は、第５マスクと第５欠陥に対するレーベルマスクとの間の第５類似度を演算する。プロセッサ８２０は、演算された第５類似度が閾値未満である場合、第５ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第５類似度が閾値以上である場合、第５ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第５ディープラーニングモデルは、第５ディープラーニング評価モデルとして電子機器価値評価装置１３０に搭載され得る。
【0134】
一実施形態において、プロセッサ８２０は、第６学習イメージ（例えば、第６欠陥のあるサブ画面が撮影されたイメージ）を第６ディープラーニングモデルに入力した場合、第６ディープラーニングモデルを用いて第６学習イメージからフォルダブル電子機器のサブ画面の欠陥状態を予測した第６マスクを生成することができる。プロセッサ８２０は、第６マスクと第６欠陥に対するレーベルマスクとの間の第６類似度を演算する。プロセッサ８２０は、演算された第６類似度が閾値未満である場合、第６ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第６類似度が閾値以上である場合、第６ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第６ディープラーニングモデルは、第６ディープラーニング評価モデルとして電子機器価値評価装置１３０に搭載され得る。
【0135】
一実施形態において、プロセッサ８２０は、第７学習イメージ（例えば、第７欠陥のある拡張された側面が撮影されたイメージ）を第７ディープラーニングモデルに入力した場合、第７ディープラーニングモデルを用いて第７学習イメージからローラブル電子機器の拡張された側面の欠陥状態を予測した第７マスクを生成することができる。プロセッサ８２０は、第７マスクと第７欠陥に対するレーベルマスクとの間の第７類似度を演算する。プロセッサ８２０は、演算された第７類似度が閾値未満である場合、第７ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。プロセッサ８２０は、演算された第７類似度が閾値以上である場合、第７ディープラーニングモデルに対するトレーニングを終了する。トレーニングが完了した第７ディープラーニングモデルは、第７ディープラーニング評価モデルとして電子機器価値評価装置１３０に搭載され得る。実現により、プロセッサ８２０は、第７学習イメージを介して上記の第３ディープラーニングモデルをトレーニングして第３ディープラーニングモデルが第７マスクを生成するようにする。
【0136】
一実施形態において、プロセッサ８２０は、前述したトレーニング方式と同様に、外観に欠陥のあるウェアラブル機器を撮影した学習イメージに基づいてディープラーニングモデルそれぞれをトレーニングし、ウェアラブル機器の外観（例えば、前面、後面、側面、画面）を評価するディープラーニング評価モデルを生成することができる。
【0137】
図１０は、一実施形態に係るコンピューティング装置のディープラーニングモデルトレーニング方法を説明するフローチャートである。
【0138】
図１０を参照すると、ステップ１０１０において、コンピューティング装置８００は、欠陥に対する学習イメージをディープラーニングモデルに入力する。
【0139】
ステップ１０２０において、コンピューティング装置８００は、ディープラーニングモデルを介して学習イメージから欠陥の状態を予測したマスクを生成する。
【0140】
ステップ１０３０において、コンピューティング装置８００は、生成されたマスクと欠陥に対するレーベルマスクとの間の類似度を演算する。
【0141】
ステップ１０４０において、コンピューティング装置８００は、演算された類似度が閾値よりも小さいか否かを判断する。
【0142】
コンピューティング装置８００は、演算された類似度が閾値未満である場合、ステップ１０５０において、ディープラーニングモデル内の少なくとも１つのパラメータをアップデートする。コンピューティング装置８００は、ステップ１０１０～ステップ１０４０を繰り返し行う。
【0143】
コンピューティング装置８００は、演算された類似度が閾値以上である場合、ステップ１０６０において、ディープラーニングモデルに対するトレーニングを終了する。
【0144】
【0145】
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0146】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0147】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
【0148】
上記で説明したハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0149】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0150】
したがって、他の具現、他の実施形態及び特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【国際調査報告】