(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112975
(43)【公開日】2024-08-21
(54)【発明の名称】電子デバイスの物理的状態評価に基づくニューラルネットワーク、および関連付けられるシステムおよび方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240814BHJP
G06T 7/00 20170101ALI20240814BHJP
【FI】
G01N21/88 Z
G06T7/00 610Z
G06T7/00 350C
G01N21/88 J
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024086896
(22)【出願日】2024-05-29
(62)【分割の表示】P 2023010179の分割
【原出願日】2020-02-18
(31)【優先権主張番号】62/807,165
(32)【優先日】2019-02-18
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】512238357
【氏名又は名称】エコエーティーエム, エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ババク フォルタンポール
(72)【発明者】
【氏名】ジョン シルバ
(57)【要約】
【課題】機械学習技法を使用して、電子デバイスの物理的および/または外見的状態を評価するためのシステムおよび方法を提供すること
【解決手段】一例示的側面では、例示的システムは、電子デバイスを保持するように構成される、検査プレートと、電子デバイスに向かって1つ以上の光ビームを指向するように構成される、検査プレートの上方に配列される1つ以上の光源と、電子デバイスの第1の側面の少なくとも1つの画像を捕捉するように構成される、1つ以上のカメラとを備える、キオスクを含む。本システムはまた、電子デバイスの特徴のセットを抽出し、第1のニューラルネットワークを介して、特徴のセットに基づいて電子デバイスの状態を決定するように構成される、1つ以上のカメラと通信する1つ以上のプロセッサも含む。
【選択図】なし
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本特許出願は、「NEURAL NETWORK BASED PHYSICAL CONDITION EVALUATION OF ELECTRONIC DEVICES, AND ASSOCIATED SYSTEMS AND METHODS」と題され、2019年2月18日に出願された、米国仮特許出願第62/807,165号の優先権および利益を主張する。上記で述べられる特許出願の内容全体は、参照することによってそれらの全体として本明細書に組み込まれる。
【0002】
本技術は、概して、機械学習技法に基づいて、携帯電話および/または他の電子デバイスにおける表面擦過傷または亀裂の存在、数量、および/または分布を評価すること等のそのようなデバイスの状態を評価することを対象とする。
【背景技術】
【0003】
携帯電話、ラップトップコンピュータ、ノートブック、タブレット、MP3プレーヤ等の消費者電子デバイスが、遍在する。現在、60億個超のモバイルデバイスが世界で使用されており、これらのデバイスの数は、急速に成長しており、18億を上回る携帯電話が2013年だけで販売されている。現在、地球上に存在する人々よりも多くのモバイルデバイスが使用されている。携帯電話および他の電子デバイスの数の急成長の理由の一部は、これらのデバイスが進化する急速なペース、および第3世界諸国でのそのようなデバイスの使用の増加である。
【0004】
開発の急速なペースの結果として、消費者が、その携帯電話および他の電子デバイスを継続的にアップグレードし、最新の特徴またはより良好な運用計画を取得するにつれて、比較的に高い割合の電子デバイスが、毎年交換される。米国環境保護庁によると、米国だけで、毎年、3億7千万個の携帯電話、PDA、タブレット、および他の電子デバイスを廃棄している。何百個もの他の旧式または壊れた携帯電話および他の電子デバイスは、単に、がらくた用の引き出しの中に放り込まれる、または別様に好適な廃棄解決策が生じるまで保管される。
【0005】
多くの電子デバイス小売業者および携帯電話店は、現在、携帯電話の下取りまたは買取プログラムを提供しているが、多くの古い携帯電話は、依然として、最終的にごみ埋立地に行く、または発展途上国で不適切に分解および廃棄される。しかしながら、残念なことに、携帯電話および類似デバイスは、典型的には、ヒ素、リチウム、カドミウム、銅、鉛、水銀、および亜鉛等の環境に有害であり得る物質を含有する。適切に廃棄されない場合、これらの有毒物質は、分解する埋立地から地下水に染み込み、ヒトおよび環境にとって潜在的に有害な結果を伴って土壌を汚染し得る。
【0006】
小売業者の下取りまたは買取プログラムの代替として、消費者は、現在、ショッピングモール、小売店、または他の公的にアクセス可能なエリア内に位置するセルフサービスキオスクを使用して、その使用済み携帯電話を再生利用および/または売却することができる。そのようなキオスクは、本願の出願人であるecoATM,LLCによって運用され、例えば、米国特許第8,463,646号、第8,423,404号、第8,239,262号、第8,200,533号、第8,195,511号、および第7,881,965号(ecoATM,LLCによって共同所有され、参照することによってそれらの全体として本明細書に組み込まれる)に開示される。
【0007】
多くの場合、電子デバイスの物理的および/または外見的状態を視覚的に評価することが必要である。例えば、電子デバイスに価格を付けること、可能性として考えられる修理に関して電子デバイスを査定すること、および保証対象に関して電子デバイスを評価することは全て、デバイスの画面および/またはデバイスの非画面部分における擦過傷、亀裂、水害、または他の外見的欠陥の識別を要求し得る。デバイスの個別化された手動検査は、遅く、煩雑であり得、デバイスの間で一貫性のない結果を生じさせ得る。電子デバイスの物理的および/または外見的状態を評価するためにより効率的な技術の必要性が残っている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許第8,463,646号明細書
【発明の概要】
【課題を解決するための手段】
【0009】
本開示は、機械学習技法を使用して、携帯電話および/または他の電子デバイスの外見的および/または物理的状態を評価するためのシステムおよび方法の種々の実施形態を説明する。下記にさらに詳細に説明されるように、いくつかの実施形態では、これらのシステムおよび方法は、例えば、携帯電話のディスプレイ画面がひび割れている、または別様に損傷されているかどうかを評価するように、消費者動作型キオスクによって実装されることができる。
【0010】
電子デバイスの外見的状態を効率的かつ一貫して評価することは、困難であり得る。例えば、電子デバイスの画像に示されるような欠陥の手動識別は、高価で、面倒であり、異なる検査官または同一の検査官の間でさえも変動性の影響を受け得る。手動プロセスもまた、多くの場合に不正確であり得る。例えば、デバイスの画面がオンであるとき、人間の検査官は、外見的欠陥とデバイス上に示される背景画像を区別することが可能ではあり得ない。別の実施例として、デバイスに取り付けられた画面プロテクタまたはケースが、手動検査を困難にし得る。この点に関して、ある特徴またはルールベースの自動パターン認識方法は、満足できる一貫した評価結果を提供することもできない。加えて、外見的状態の評価は、欠陥の所定のセット(例えば、擦過傷、亀裂、へこみ、水害、および/または不良ピクセル)の識別に限定されることができない。むしろ、評価は、デバイスが偽造品であるかどうかを識別すること等の電子デバイスの包括的で全体的な「外観と雰囲気」に対応し得る。したがって、所定の特徴またはルールベースの方法は、種々の外見的評価シナリオをハンドリングするためには非効率的および/または不十分であり得る。
【0011】
本技術の側面は、機械学習技法(特に、人工ニューラルネットワーク(ANN))を使用し、事前決定された特徴またはルールを伴わずに、電子デバイスの画像に基づいて外見的状態評価を実施する。とりわけ、本明細書に説明されるようなANNの使用は、電子デバイスの画像を処理する際に、(例えば、計算効率、検出正確度、システムロバスト性等の)種々の利点および改良に寄与する。当業者が理解するであろうように、ANNは、概して、タスク特有のプログラミングを伴わずに、実施例を考慮することによって、タスクを「学習」する(すなわち、その性能を次第に改良する)コンピューティングシステムである。例えば、画像認識では、ANNは、「ネコ」または「ネコなし」と手動で標識された例示的画像を分析し、結果を使用して他の画像内のネコを識別することによって、ネコを含有する画像を識別することを学習することができる。
【0012】
ANNは、典型的には、人工ニューロンと呼ばれる接続された単位またはノードの集合に基づく。人工ニューロンの間の各接続は、1つの人工ニューロンから別の人工ニューロンに信号を伝送することができる。信号を受信する人工ニューロンは、それを処理し、次いで、それに接続される人工ニューロンにシグナリングすることができる。典型的には、ANN実装では、人工ニューロンの間の接続における信号は、実数であり、各人工ニューロンの出力は、その入力の総和の非線形関数によって計算される。人工ニューロンおよび接続は、典型的には、学習が進むにつれて適応する、加重を有する。加重は、接続における信号の強度を増加または減少させる。人工ニューロンは、集約信号が閾値を超える場合のみに信号が送信されるように、その閾値を有することができる。典型的には、人工ニューロンは、層内に編成される。異なる層が、それらの入力に異なる種類の変換を実施することができる。信号は、可能性として、層を複数回トラバースした後に、第1の層(入力)から最後の(出力)層まで進行する。
【0013】
いくつかの実施形態では、本技術によって使用される1つ以上のANNは、畳み込みニューラルネットワーク(CNNまたはConvNet)を含む。典型的には、CNNは、最小限の前処理を要求するように設計される、多層パーセプトロンの変形例を使用する。CNNはまた、それらの共有加重アーキテクチャおよび平行移動不変特性に基づく、偏移不変量または空間不変量人工ニューラルネットワーク(SIANN)であり得る。例証的に、CNNは、ニューロンの間のコネクティビティパターンが動物の視覚野の組織に類似するという点で、生物学的プロセスから着想を得たものである。個々の皮質ニューロンが、受容野として公知である視野の制限された領域内のみの刺激に応答する。異なるニューロンの受容野は、それらが視野全体を被覆するように、部分的に重複する。
本発明は、例えば、以下の項目を提供する。
(項目1)
電子デバイスの状態を評価するためのシステムであって、
キオスクであって、
前記電子デバイスを保持するように構成される検査プレートと、
前記電子デバイスに向かって1つ以上の光ビームを指向するように構成される、前記検査プレートの上方に配列される1つ以上の光源と、
前記1つ以上の光源によって発生される少なくとも1つの照明条件に基づいて、前記電子デバイスの第1の側面の少なくとも1つの画像を捕捉するように構成される1つ以上のカメラと
を含む、キオスクと、
前記1つ以上のカメラと通信する1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
前記電子デバイスの前記少なくとも1つの画像に基づいて、前記電子デバイスの特徴のセットを抽出することと、
第1のニューラルネットワークを介して、前記抽出された特徴のセットに基づいて、前記電子デバイスの状態を決定することと
を行うように構成される、1つ以上のプロセッサと
を備える、システム。
(項目2)
前記1つ以上の光源は、光源の第1のサブセットと、光源の第2のサブセットとを備え、前記光源の第1のサブセットの光ビームおよび前記光源の第2のサブセットの光ビームは、相互に直交するように配列される、項目1に記載のシステム。
(項目3)
前記キオスクはさらに、
前記検査プレートの上方に位置付けられる上側チャンバであって、前記1つ以上の光源は、前記上側チャンバ内に配列される、上側チャンバと、
前記検査プレートの下方に位置付けられる下側チャンバと、
前記検査プレートを通して前記電子デバイスに向かって光ビームを指向するように構成される、前記下側チャンバ内に位置付けられる光源の第2のセットと
を含む、項目1に記載のシステム。
(項目4)
前記キオスクはさらに、
前記電子デバイスを反転させ、前記1つ以上のカメラが前記電子デバイスの第2の側面の少なくとも別の画像を捕捉することを可能にするように構成される反転機構
を含む、項目1に記載のシステム。
(項目5)
前記1つ以上の光源のうちの少なくとも1つは、コリメートされた光ビームを生成するように構成される、項目1に記載のシステム。
(項目6)
前記1つ以上の光源のうちの1つからの光ビームと前記電子デバイスの前記第1の側面との間の角度は、60度に等しいかまたはそれよりも小さい、項目1に記載のシステム。(項目7)
前記1つ以上のカメラは、異なる照明条件下で前記電子デバイスの複数の側面に対応する複数の画像を捕捉するように構成され、前記1つ以上のプロセッサは、前記複数の画像を処理し、単一の入力画像に組み合わせるように構成される、項目1に記載のシステム。(項目8)
前記第1のニューラルネットワークは、前記電子デバイスの前記状態を示すインジケータを出力するように構成される、項目1に記載のシステム。
(項目9)
前記1つ以上のプロセッサはさらに、前記状態に基づいて前記電子デバイスの推定価格を決定するように構成される、項目1に記載のシステム。
(項目10)
前記状態は、物理的状態または外見的状態を備える、項目1に記載のシステム。
(項目11)
電子デバイスの状態を評価するためのシステムであって、
少なくとも1つの光源と、少なくとも1つのカメラとを備える捕捉デバイスであって、前記少なくとも1つのカメラは、1つ以上の所定の設定に基づいて、前記電子デバイスの複数の画像を捕捉するように構成され、前記1つ以上の所定の設定はそれぞれ、(1)前記捕捉デバイスが前記電子デバイスに対して位置付けられる角度、(2)前記少なくとも1つの光源の光強度、(3)前記少なくとも1つのカメラの露出設定、または(4)前記少なくとも1つのカメラのホワイトバランス設定のうちの少なくとも1つを規定する、捕捉デバイスと、
前記捕捉デバイスと通信する1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
前記複数の画像を処理し、単一の入力画像を発生させることと、
前記電子デバイスの少なくとも1つの画像に基づいて、前記電子デバイスの特徴のセットを抽出することと、
第1のニューラルネットワークを介して、前記電子デバイスの状態を決定することと
を行うように構成される、1つ以上のプロセッサと
を備える、システム。
(項目12)
前記状態は、物理的状態または外見的状態を備える、項目11に記載のシステム。
(項目13)
電子デバイスの状態を評価するためのコンピュータ実装方法であって、
キオスクの少なくとも1つのカメラによって、前記電子デバイスの第1の側面の少なくとも1つの画像を捕捉することであって、前記キオスクは、複数の光源を含む、ことと、
前記電子デバイスの前記少なくとも1つの画像に基づいて、前記電子デバイスの特徴のセットを抽出することと、
ニューラルネットワークによって、前記特徴のセットに基づいて前記電子デバイスの状態を決定することと
を含む、方法。
(項目14)
前記少なくとも1つのカメラを介して、前記複数の光源によって発生される少なくとも1つの照明条件に基づいて、前記第1の側面と異なる前記電子デバイスの第2の側面の少なくとも1つの画像を捕捉することを含む、項目13に記載の方法。
(項目15)
前記電子デバイスの前記第2の側面の前記少なくとも1つの画像を捕捉することに先立って、前記複数の光源の光ビームが、前記電子デバイスの第2の側面に向かって指向されるように、前記電子デバイスを反転させることを含む、項目14に記載の方法。
(項目16)
前記複数の画像が、一様なサイズを有するように、前記電子デバイスの複数の側面の複数の画像を処理することと、
前記複数の画像を、前記ニューラルネットワークに提供されるべき単一の画像に組み合わせることと
を含む、項目13に記載の方法。
(項目17)
前記複数の光源のうちの1つからの光ビームと前記電子デバイスの前記第1の側面との間の角度が、60度に等しいかまたはそれよりも小さいように、前記複数の光源のうちの1つを調節することを含む、項目13に記載の方法。
(項目18)
前記少なくとも1つの画像に部分的に基づいて、前記電子デバイスのモデルを決定することと、
前記モデルに特有である前記電子デバイス上の外見的欠陥を識別することと
を含む、項目13に記載の方法。
(項目19)
提案価格の容認または拒否を示す入力をユーザから受信することと、
前記少なくとも1つの画像および前記ユーザからの前記入力に部分的に基づいて、前記ニューラルネットワークを訓練することと
を含む、項目13に記載の方法。
(項目20)
前記状態は、物理的状態または外見的状態を備える、項目13に記載の方法。
【図面の簡単な説明】
【0014】
【
図1A】
図1Aは、本技術のいくつかの実施形態に従って構成される要素を有する、代表的動作環境の概略図である。
【0015】
【
図1B】
図1B-1Eは、本技術のいくつかの実施形態に従って構成される、選択された内部コンポーネントを図示するように筐体が除去された、
図1Aに示されるキオスクの一連の等角図である。
【
図1C】
図1B-1Eは、本技術のいくつかの実施形態に従って構成される、選択された内部コンポーネントを図示するように筐体が除去された、
図1Aに示されるキオスクの一連の等角図である。
【
図1D】
図1B-1Eは、本技術のいくつかの実施形態に従って構成される、選択された内部コンポーネントを図示するように筐体が除去された、
図1Aに示されるキオスクの一連の等角図である。
【
図1E】
図1B-1Eは、本技術のいくつかの実施形態に従って構成される、選択された内部コンポーネントを図示するように筐体が除去された、
図1Aに示されるキオスクの一連の等角図である。
【0016】
【
図2】
図2は、本技術のいくつかの実施形態による、電子デバイスの外見的状態を評価するための方法を図示するフローチャートである。
【0017】
【
図3】
図3は、本技術のいくつかの実施形態に従って実装され得る、例示的ニューラルネットワークを図示する。
【0018】
【
図4A】
図4Aは、本技術のいくつかの実施形態による、スマートフォンの前側を示す、前処理された画像の実施例を図示する。
【0019】
【
図4B】
図4Bは、本技術のいくつかの実施形態による、スマートフォンの前側を示す、前処理された画像の他の実施例を図示する。
【0020】
【
図5】
図5は、本技術のいくつかの実施形態による、電子デバイスの外見的状態を評価するためのニューラルネットワークを訓練するための方法を図示する、フローチャートである。
【0021】
【
図6】
図6は、本技術の種々の部分を実装するために利用され得る、コンピュータシステムのための例示的アーキテクチャを図示するブロック図である。
【0022】
【
図7】
図7は、本技術のいくつかの実施形態による、電子デバイスの物理的状態を評価するための方法のフローチャート表現である。
【0023】
【
図8】
図8は、本技術のいくつかの実施形態による、消費者デバイスを調べ、提案価格を提供するためのシステムの例示的アーキテクチャを図示する。
【0024】
【
図9A】
図9Aは、本技術の1つ以上の実施形態による、上側チャンバ内の光源901a、bの例示的配列の側面図を図示する。
【0025】
【
図9B】
図9Bは、本技術のいくつかの実施形態による、光源の2つのセットの例示的配列を図示する。
【0026】
【
図10】
図10は、本技術のいくつかの実施形態による、別のモバイルデバイスを使用して電子デバイスを評価することの実施例を図示する。
【0027】
【
図11】
図11は、本技術のいくつかの実施形態による、ニューラルネットワークを訓練する例示的アーキテクチャを図示する。
【発明を実施するための形態】
【0028】
図1A-Eは、本技術のいくつかの実施形態による、キオスクモデルについての詳細を図示する。
図1Aは、本技術のいくつかの実施形態による、携帯電話および他の消費者電子デバイスの再生利用、売却、および/または他の処理のための例示的キオスク100を図示する。いくつかの実施形態では、本明細書に説明される技術の少なくともいくつかの部分は、その中に撮像デバイスを含むキオスクを使用して、実行されることができる。例えば、キオスクは、撮像デバイスから受信される画像を処理および評価することができる。キオスクは、例えば、処理コンポーネント(例えば、1つ以上の物理的プロセッサを含む)と、処理コンポーネントによって実行されると、本明細書に説明される少なくともいくつかの動作を実施する、命令を記憶するメモリとを含むことができる。用語「処理」は、概して、電子デバイス上で、それを用いて、または別様にそれに関連して、キオスク100によって実施または促進され得る、あらゆる種類のサービスおよび動作を指すために、参照を容易にするために本明細書で使用される。そのようなサービスおよび動作は、例えば、携帯電話および他の電子デバイスを売却すること、再販売すること、再生利用すること、寄付すること、交換すること、識別すること、評価すること、価格決定すること、競売にかけること、廃止、そこから、またはそこにデータを転送すること、再構成すること、改造すること等を含むことができる。本技術の多くの実施形態が、携帯電話との関連で本明細書に説明されるが、本技術の側面は、携帯電話に限定されず、概して、他の消費者電子デバイスにも適用されることができる。そのようなデバイスは、非限定的実施例として、あらゆる種類の携帯電話、スマートフォン、ハンドヘルドデバイス、携帯情報端末(PDA)、MP3または他のデジタル音楽プレーヤ、タブレット、ノートブック、ウルトラブック、およびラップトップコンピュータ、全てのタイプの電子書籍リーダ、GPSデバイス、セットトップボックス、ユニバーサルリモートコントロール、ウェアラブルコンピュータ等を含む。いくつかの実施形態では、キオスク100は、デスクトップコンピュータ、テレビ、ゲーム機等のより大型の消費者電子デバイス、およびGoogle(R) Glass(TM)、スマートウォッチ(例えば、Apple Watch(TM)、Moto 360(R)等のAndroid Wear(TM)デバイス、またはPebble Steel(TM)ウォッチ)等のより小型の電子デバイスを売却および/または別様に処理することを促進し得ることが、検討される。キオスク100およびその種々の特徴の実施形態は、参照することによってそれらの全体として組み込まれる、以下の特許および特許出願、すなわち、米国特許第10,127,647号、第10,055,798号、第10,032,140号、第9,904,911号、第9,881,284号、第8,200,533号、第8,195,511号、第8,463,646号、第8,423,404号、第8,239,262号、第8,200,533号、第8,195,511号、および第7,881,965号、米国特許出願第12/573,089号、第12/727,624号、第13/113,497号、第12/785,465号、第13/017,560号、第13/438,924号、第13/753,539号、第13/658,825号、第13/733,984号、第13/705,252号、第13/487,299号、第13/492,835号、第13/562,292号、第13/658,828号、第13/693,032号、第13/792,030号、第13/794,814号、第13/794,816号、第13/862,395号、第13/913,408号、「METHODS AND SYSTEMS FOR PRICING AND PERFORMING OTHER PROCESSES ASSOCIATED WITH RECYCLING MOBILE PHONES AND OTHER
ELECTRONIC DEVICES」と題され、2014年9月26日に出願人によって出願された、米国特許出願第14/498,763号、「MAINTAINING
SETS OF CABLE COMPONENTS USED FOR WIRED
ANALYSIS, CHARGING, OR OTHER INTERACTION WITH PORTABLE ELECTRONIC DEVICES」と題され、2014年9月29日に出願人によって出願された、米国特許出願第14/500,739号、「WIRELESS-ENABLED KIOSK FOR RECYCLING
CONSUMER DEVICES」と題され、2015年10月1日に出願人によって出願された、米国特許出願第14/873,158号、「SYSTEM FOR ELECTRICALLY TESTING MOBILE DEVICES AT A CONSUMER-OPERATED KIOSK, AND ASSOCIATED DEVICES AND METHODS」と題され、2014年10月3日に出願人によって出願された、米国特許出願第14/506,449号、「SYSTEMS AND METHODS FOR RECYCLING CONSUMER ELECTRONIC DEVICES」と題され、2015年10月28日に出願人によって出願された、米国特許出願第14/925,357号、「METHODS AND SYSTEMS FOR FACILITATING PROCESSES ASSOCIATED WITH INSURANCE SERVICES AND/OR OTHER SERVICES FOR ELECTRONIC DEVICES」と題され、2015年10月28日に出願人によって出願された、米国特許出願第14/925,375号、「METHODS AND SYSTEMS FOR EVALUATING AND RECYCLING ELECTRONIC DEVICES」と題され、2015年11月5日に出願人によって出願された、米国特許出願第14/934,134号、「METHODS AND SYSTEMS FOR PROVIDING INFORMATION REGARDING COUPONS/PROMOTIONS AT KIOSKS FOR RECYCLING MOBILE PHONES AND OTHER ELECTRONIC DEVICES」と題され、2015年12月10日に出願人によって出願された、米国特許出願第14/964,963号、「METHODS AND SYSTEMS FOR IDENTIFYING MOBILE PHONES AND OTHER ELECTRONIC DEVICES」と題され、2014年12月11日に出願人によって出願された、米国特許出願第14/568,051号、「SYSTEMS AND METHODS FOR RECYCLING CONSUMER ELECTRONIC DEVICES」と題され、2015年12月11日に出願人によって出願された、米国特許出願第14/966,346号、「METHODS AND SYSTEMS FOR DYNAMIC PRICING AND PERFORMING OTHER PROCESSES ASSOCIATED WITH RECYCLING MOBILE PHONES AND OTHER ELECTRONIC DEVICES」と題され、2015年1月16日に出願人によって出願された、米国特許出願第14/598,469号、「SYSTEMS AND METHODS FOR INSPECTING MOBILE DEVICES AND OTHER CONSUMER ELECTRONIC DEVICES WITH A LASER」と題され、2015年3月17日に出願人によって出願された、米国特許出願第14/660,768号、「DEVICE RECYCLING SYSTEMS WITH FACIAL RECOGNITION」と題され、2015年3月19日に出願人によって出願された、米国特許出願第14/663,331号、「METHODS AND SYSTEMS FOR VISUALLY EVALUATING ELECTRONIC DEVICES」と題され、2015年6月1日に出願人によって出願された、米国仮出願第62/169,072号、「METHODS AND SYSTEMS FOR INSPECTING MOBILE DEVICES AND OTHER CONSUMER ELECTRONIC DEVICES WITH ROBOTIC ACTUATION」と題され、2015年8月7日に出願人によって出願された、米国仮出願第62/202,330号、および「METHODS AND SYSTEMS FOR INTERACTIONS WITH A SYSTEM FOR PURCHASING
MOBILE PHONES AND OTHER ELECTRONIC DEVICES」と題され、2016年3月1日に出願人によって出願された、米国特許出願第15/057,707号、「METHODS AND SYSTEMS FOR DETECTING SCREEN COVERS ON ELECTRONIC DEVICES」と題され、2016年6月8日に出願人によって出願された、米国特許出願第15/176,975号に説明される、システム、方法、および対応する特徴に構造および機能が少なくとも概して類似し得る。いくつかの実施形態では、キオスク100は、「SYSTEMS AND METHODS FOR VENDING AND/OR PURCHASING MOBILE PHONES AND OTHER ELECTRONIC DEVICES」と題され、2019年12月18日に出願された、米国特許出願第16/719,699号、「KIOSK FOR EVALUATING AND PURCHASING USED ELECTRONIC DEVICES」と題され、2020年2月11日に出願された、米国特許出願第16/788,169号、「CONNECTOR CARRIER FOR ELECTRONIC DEVICE KIOSK」と題され、2020年2月11日に出願された、米国特許出願第16/788,153号、および「SYSTEMS AND METHODS FOR VENDING AND/OR PURCHASING MOBILE PHONES AND OTHER ELECTRONIC DEVICES」と題され、2019年12月18日に出願された、米国仮出願第62/950,075号に開示および説明される、キオスクの特徴の多くまたは全てを共有することができる。前述の文に列挙される全ての特許および特許出願、および本明細書で識別される任意の他の特許または特許出願は、参照することによってそれらの全体として本明細書に組み込まれる。
【0029】
図示される実施形態では、キオスク100は、携帯電話または他の消費者電子デバイスを再生利用する、売却する、および/またはそれを用いた他の動作を実施するように、ユーザ101(例えば、消費者、顧客等)による使用のために構成される、床置きセルフサービスキオスクである。他の実施形態では、キオスク100は、カウンタまたは類似隆起表面上の使用のために構成されることができる。キオスク100は、消費者による使用のために構成されるが、種々の実施形態では、キオスク100および/またはその種々の部分もまた、携帯電話および他の電子デバイスの売却または他の処理を促進するために、小売店員またはキオスクアシスタント等の他のオペレータによって使用されることもできる。
【0030】
図示される実施形態では、キオスク100は、ほぼ従来の自動販売機のサイズである、筐体102を含む。筐体102は、例えば、金属板、プラスチックパネル等からの従来の製造物であり得る。複数のユーザインターフェースデバイスが、命令および他の情報をユーザに提供するために、および/またはユーザからユーザ入力および他の情報を受信するために、筐体102の前部分上に提供される。例えば、キオスク100は、情報、プロンプト等をユーザに提供するためのディスプレイ画面104(例えば、液晶ディスプレイ(LCD)または発光ダイオード(LED)ディスプレイ画面、投影ディスプレイ(ヘッドアップディスプレイまたは頭部搭載型デバイス等)等)を含むことができる。ディスプレイ画面104は、ユーザ入力および表示されたプロンプトへの応答を受信するためのタッチスクリーンを含むことができる。いくつかの実施形態では、キオスク100は、本目的のための別個のキーボードまたはキーパッドを含むことができる。キオスク100はまた、IDリーダまたはスキャナ112(例えば、運転免許証スキャナ)と、指紋リーダ114と、1つ以上のカメラ116a-c(例えば、カメラとして個別に識別される、デジタルスチルおよび/またはビデオカメラ)とを含むこともできる。キオスク100は、加えて、出口110を有するラベルプリンタ等の出力デバイスと、出口118を有する現金自動支払機とを含むことができる。
図1A-1Eに識別されていないが、キオスク100はさらに、情報をユーザに可聴に通信するためのスピーカおよび/またはヘッドホンジャック、信号または他の情報をユーザに視覚的に通信するための1つ以上のライト、ユーザから口頭入力を受信するためのハンドセットまたはマイクロホン、カードリーダ(例えば、クレジット/デビットカードリーダ、ポイントカードリーダ等)、領収書またはバウチャプリンタおよびディスペンサ、および他のユーザ入力および出力デバイスを含むことができる。入力デバイスは、タッチパッド、マウス等のポインティングデバイス、ジョイスティック、ペン、ゲームパッド、モーションセンサ、スキャナ、視線方向監視システム等を含むことができる。加えて、キオスク100はまた、バーコードリーダ、QRコード(登録商標)リーダ、バッグ/パッケージディスペンサ、デジタル署名パッド等を含むこともできる。図示される実施形態では、キオスク100は、加えて、マーケティング広告および/または他のビデオまたはグラフィカル情報を表示し、ユーザをキオスクに引き付けるためのディスプレイ画面122を有する、ヘッダ120を含む。上記に説明されるユーザインターフェースデバイスに加えて、筐体102の前部分はまた、ディスプレイ画面104の直下に位置するアクセスパネルまたはドア106も含む。アクセスドアは、ユーザ101が、キオスク100による自動検査、評価、および/または他の処理のために検査エリア108内に電子デバイス(例えば、携帯電話)を設置し得るように、自動的に後退するように構成されることができる。
【0031】
筐体102の側壁部分は、ユーザがその携帯電話を再生利用または別様に処理することに役立つためのいくつかの利便性を含むことができる。例えば、図示される実施形態では、キオスク100は、ユーザが再生利用または別様に廃棄することを所望する、モバイルデバイス付属品を受領するように構成される、付属品仕分け容器128を含む。加えて、キオスク100は、多種多様の携帯電話および他の消費者電子デバイスを充電するための複数の電気コネクタ124を伴う無料充電ステーション126を提供することができる。
【0032】
図1B-1Eは、本技術のいくつかの実施形態に従って構成される、選択された内部コンポーネントを図示するように筐体102が除去された、キオスク100の一連の等角図を図示する。最初に
図1Bを参照すると、図示される実施形態では、キオスク100は、コネクタキャリア140と、
図1Aに示されるようにアクセスドア106の背後に動作可能に配置される検査プレート144とを含む。図示される実施形態では、コネクタキャリア140は、略水平中心軸を中心として回転するように構成され、その外周の周囲に分配される複数の電気コネクタ142(例えば、約25個のコネクタ)を担持する、回転可能なカルーセルである。他の実施形態では、他のタイプのコネクタ担持デバイス(固定および可動配列の両方を含む)も、使用されることができる。いくつかの実施形態では、コネクタ142は、電力を提供する、および/または種々の異なる携帯電話および/または他の電子デバイスとデータを交換するように構成される、複数の交換可能なUSBコネクタを含む。動作時に、コネクタキャリア140は、その軸を中心として自動的に回転し、再生利用のために検査プレート144上に設置された携帯電話150等の電子デバイスに隣接してコネクタ142のうちの適切なものを位置付けるように構成される。コネクタ142は、次いで、手動で、および/または自動的に、コネクタキャリア140から引き出され、電気分析のために携帯電話150上のポートに接続されることができる。そのような分析は、例えば、メーカ、モデル、構成、状態等の評価を含むことができる。
【0033】
図示される実施形態では、検査プレート144は、(例えば、平行搭載軌道上で)前後に平行移動し、アクセスドア106の直接背後の第1の位置と、上側チャンバ130と対向する下側チャンバ132との間の第2の位置との間で、携帯電話150等の電子デバイスを移動させるように構成される。さらに、本実施形態では、検査プレート144は、透明または少なくとも部分的に透明(例えば、ガラス、プレキシガラス等から形成される)であり、上側チャンバおよび下側チャンバ130および132に搭載される、または別様にそれと関連付けられる、撮像デバイス190(例えば、1つ以上のカメラ)を使用して、携帯電話150が、全てまたは少なくとも大部分の視野角(例えば、上部、底部、側面等)から写真撮影される、および/または別様に光学的に評価されることを可能にする。携帯電話150が、第2の位置にあるとき、上側チャンバ130は、下向きに平行移動し、概して、上側チャンバ130と下側チャンバ132との間に携帯電話150を封入することができる。上側チャンバ130は、上側チャンバ130と協調して上下に移動する、ゲート138に動作可能に結合される。
【0034】
いくつかの実施形態では、撮像デバイス190は、画面内の亀裂および/または擦過傷を検出するために、モバイルデバイス150の上面および底面の画像を捕捉するように上側チャンバ130および下側チャンバ132の両方内に配置される、1つ以上のカメラを含むことができる。上側チャンバ130および/または下側チャンバ132は、撮像デバイス190がモバイルデバイス150上の外見的欠陥を実証する高品質画像を捕捉することを可能にするための1つ以上の光源(例えば、スポットライト)を含むことができる。
【0035】
いくつかの実施形態では、1つ以上の光源は、上側チャンバ130および/または下側チャンバ132内に配列される。
図9Aは、本技術の1つ以上の実施形態による、上側チャンバ内の光源901a、bの例示的配列の側面図を図示する。光源901a、bからの光ビーム911a、bは、携帯電話150のディスプレイに対して小さい角度(例えば、60度に等しい、またはそれよりも小さい)を形成し、携帯電話150の高反射ディスプレイからの光の直接反射を回避する。1つ以上の光源901a、bと撮像デバイス190の1つ以上のカメラ921a、bとの間の相対位置は、携帯電話150からの反射された光ビーム913a、bが、カメラ921a、bに到達し得ることを確実にするように、調節されることができる。いくつかの実施形態では、キオスクは、自己較正を実施し、光源の角度を調節し、正しい角度が形成されることを確実にすることができる。いくつかの実施形態では、技術者が、周期的に、またはキオスクの較正を実施する要求に応じて、派遣されることができる。
【0036】
いくつかの実施形態では、1つ以上の光源は、相互に直交して配列される、光源の2つのセットを含む。モバイルデバイス150上の亀裂および/または擦過傷が、異なる方向に(例えば、水平および/または垂直の両方に)延設され得るため、直交して配列された光源の2つのセットを有することは、カメラが亀裂および/または擦過傷の種々の組み合わせを捕捉することを可能にする。例えば、ライトの1つのセットからの光ビームと検査プレート144の上側との間の第1の角度が、30~60度(例えば、好ましくは45度)であり得る一方で、ライトの第2のセットからの光ビームと検査プレート144の左側との間の第2の角度は、30~60度(例えば、好ましくは45度)であり得る。ライトの2つのセットは、相互に直交して位置付けられる。
図9Bは、本技術のいくつかの実施形態による、光源の2つのセットの例示的配列を図示する。光源931a、bの第1のセットが、光源941a、bの第2のセットと直交して配列される。光源931a、bの第1のセットからの光ビーム951a、bは、検査プレート144の両側(例えば、X軸および/またはY軸)から約45度である。同様に、光源941a、bの第2のセットからの光ビーム961a、bは、検査プレート144の両側(例えば、X軸および/またはy軸)から約45度である。そのような配列は、検査プレートの側面に沿って配列されるキオスク100の他のコンポーネントから、画像ノイズまたは影を低減または排除することに役立ち得る。いくつかの実施形態では、光源の付加的セットが、光源の直交配列から可視ではあり得ない損傷を露見させるように、上側チャンバおよび/または下側チャンバ内に配列されることができる。
【0037】
いくつかの実施形態では、1つ以上の光源からの光ビームは、亀裂および/または擦過傷のより明確な影を生成するようにコリメートされることができる。いくつかの実施形態では、1つ以上の光源は、画像の複数のセットが、露出時間とともに異なる光強度において撮影され得るように、広範囲の輝度をサポートする。例えば、異なるデバイスは、捕捉された画像の処理に影響を及ぼし得る、異なる背景色(例えば、白色の電話または黒色の電話)を有することができる。異なるカメラ露出、異なる光強度、および/または異なるホワイトバランス設定において、画像の少なくとも2つのセットを撮影させることは、デバイスの外見的特徴のより正確な処理を可能にすることができる。
【0038】
携帯電話150が透明プレート144上に位置付けられるため、下側チャンバ132内に配置される光源からの光ビームは、携帯電話150に到達する前に、透明プレート144内で付加的反射を受け、それによって、捕捉された画像の品質に影響を及ぼす。したがって、いくつかの実施形態では、撮像デバイス190の全てのカメラおよび光源は、上側チャンバ130内のみに配置される。キオスク100は、携帯電話150の上面および底面の両方の画像が、カメラと携帯電話150との間にいずれの反射も伴わずに捕捉され得るように、携帯電話150を反転させるための反転機構148(例えば、ロボットアーム)を含むことができる。
【0039】
さらに、捕捉された画像の品質を改良するために、上側チャンバ130および下側チャンバ132の色は、露出計を較正するための18%灰色等の中間灰色であり得る。チャンバの適切な色は、ディスプレイにわたる閃光および携帯電話150の細い亀裂の陰のために十分なコントラストを提供する。
【0040】
キオスク100によって捕捉される画像は、コンピュータ実装視覚分析への入力品質を確実にする対策として、画像の品質を調べるように、適格な人間のオペレータに伝送されることができる。代替として、捕捉された画像は、画像の品質を自動的に決定するように、かつフィードバックをキオスクに提供するように、別のニューラルネットワークモデルに伝送されることができる。オペレータまたはニューラルネットワークモデルが、特定のキオスクによって捕捉される画像が日常的にある欠陥を明示する(例えば、画像が暗すぎる、画像が露出過剰である等)ことを決定する場合、技術者が、キオスクを再較正し、一様な入力画像が異なるキオスクにおいて取得されることを確実にするように、派遣されることができる。
【0041】
いくつかの実施形態では、上側チャンバ130および/または下側チャンバ132はまた、複数の視点から携帯電話150を視認する、写真撮影する、および/または別様に視覚的に評価するための1つ以上の拡大ツール、スキャナ(例えば、バーコードスキャナ、赤外線スキャナ等)、または他の撮像コンポーネント(図示せず)およびミラーの配列(同様に図示せず)を含むこともできる。いくつかの実施形態では、上記に議論されるカメラおよび/または他の撮像コンポーネントのうちの1つ以上のものは、デバイス評価を促進するように可動であり得る。例えば、
図1Aに関して上記に記述されるように、撮像デバイス190は、アーム等の可動機械コンポーネントに添着されることができ、これは、ひいては、電子コントローラ(例えば、コンピューティングデバイス)に結合されるベルト駆動部、ラックアンドピニオンシステム、またはまたは他の好適な駆動システムを使用して、移動されることができる。検査エリア108はまた、その中に設置された電子デバイスのさらなる評価のために、重量計、熱検出器、UVまたは赤外線リーダ/検出器、および同等物を含むこともできる。例えば、重量計、UVまたは赤外線リーダ/検出器からの情報は、正確な情報を提供し、携帯電話150のモデルの決定を促進することができる。キオスク100はさらに、透明プレート144からキオスク100の下側部分内に位置付けられる収集用仕分け容器134の中に電子デバイスを指向するための角度付き仕分けプレート136を含むことができる。
【0042】
キオスク100は、携帯電話および他の消費者電子デバイスの再生利用、売却、および/または他の処理を効率的に促進するためのいくつかの異なる方法で使用されることができる。
図1A-1Eをともに参照すると、一実施形態では、携帯電話150等の使用済み携帯電話を売却することを所望するユーザ101が、キオスク100に接近し、ディスプレイ画面104上のプロンプトに応答して、ユーザが売却することを所望するデバイスのタイプ(例えば、携帯電話、タブレット等)を識別する。次に、ユーザは、正確に評価され得るように、デバイスからいずれのケース、ステッカ、または他の付属品も除去するようにプロンプトされることができる。加えて、キオスク100は、ユーザが携帯電話150の裏面に接着させるために、ラベル出口110から一意の識別ラベル(例えば、クイックレスポンスコード(「QRコード(登録商標)」)、バーコード、または他の機械可読印等を伴う小型裏面粘着式ステッカ)を印刷および分配することができる。これが終わった後、ドア106は、後退および開放し、
図1Bに示されるように、ユーザが検査エリア108内の透明プレート144上に携帯電話150を設置することを可能にする。ドア106は、次いで、閉鎖し、透明プレート144は、
図1Cに示されるように、上側チャンバ130の下で携帯電話150を移動させる。上側チャンバ130は、次いで、下向きに移動し、概して、上側チャンバおよび下側チャンバ130および132の間に携帯電話150を封入し、上側チャンバおよび下側チャンバ130および132内のカメラおよび/または他の撮像コンポーネントは、携帯電話150の視覚検査を実施する。いくつかの実施形態では、携帯電話150の視覚検査は、(
図2に示されるような)方法200の少なくとも一部、(
図5に示されるような)方法500の少なくとも一部、および/または(
図6に示されるような)方法600の少なくとも一部を実施し、携帯電話150の物理的および/または外見的状態を評価するステップを含む。いくつかの実施形態では、視覚検査は、携帯電話150の識別(例えば、メーカ、モデル、および/またはサブモデル)を確認するように、および/または携帯電話150および/またはその種々のコンポーネントおよびシステムの状態および/または機能を評価または査定するように、キオスク内の処理デバイスによって実施される、コンピュータ実装視覚分析(例えば、3次元(3D)分析)を含む。例えば、視覚分析は、携帯電話150の長さ、幅、および/または高さ(厚さ)寸法を決定するための上面、側面、および端面視点から撮影された携帯電話150の画像のコンピュータ実装評価(例えば、デジタル比較)を含むことができる。視覚分析はさらに、例えば、ガラスの亀裂および/またはLCDの他の損傷または欠陥(例えば、欠陥のあるピクセル等)をチェックするための携帯電話150のディスプレイ画面および/または他の表面のコンピュータ実装検査を含むことができる。
【0043】
次に
図1Dを参照すると、視覚分析が実施され、デバイスが識別された後に、上側チャンバ130は、その上側位置に戻り、透明プレート144は、携帯電話150をドア106の近傍のその初期位置に戻す。ディスプレイ画面104はまた、視覚分析に基づいて、および/またはユーザ入力(例えば、電話150のタイプ、状態等に関する入力)に基づいて、キオスク100が携帯電話150に関してユーザに提案し得る、推定価格または推定価格範囲を提供することもできる。ユーザが、取引を進めることを所望することを(例えば、タッチスクリーンを介した入力を介して)示す場合、コネクタキャリア140は、コネクタ142のうちの適切なものを透明プレート144に隣接する位置まで自動的に回転させ、ドア106は、再び開放される。ユーザは、次いで、カルーセル140から選択されたコネクタ142(およびその関連付けられるワイヤ)を引き出し、コネクタ142を携帯電話150上の対応するポート(例えば、USBポート)に差し込み、透明プレート144上の検査エリア内に携帯電話150を再配置するように(例えば、ディスプレイ画面104を介して)指示されることができる。そうした後に、ドア106は、もう一度閉鎖し、キオスク100(例えば、キオスクCPU)は、コネクタ142を介してデバイスの電気検査を実施し、電話および具体的コンポーネントの状態、およびメモリ、携帯電話会社等の動作パラメータをさらに評価する。いくつかの実施形態では、電気検査は、電話製造業者情報(例えば、ベンダ識別番号またはVID)および製品情報(例えば、製品識別番号またはPID)の決定を含むことができる。いくつかの実施形態では、キオスク100は、本明細書で識別され、参照することによってそれらの全体として組み込まれる、共同所有されている特許および特許出願に詳細に説明される、方法および/またはシステムのうちの1つ以上のものを使用して、電気分析を実施することができる。
【0044】
携帯電話150の視覚および電子分析後、ユーザ101は、ディスプレイ画面104を介して電話購入価格を提示される。ユーザが、(例えば、タッチスクリーンを介して)価格を辞退する場合、後退機構(図示せず)が、携帯電話150からコネクタ142を自動的に接続解除し、ドア106が、開放し、ユーザが、携帯電話150に手を伸ばして回収することができる。ユーザが、価格を容認する場合、ドア106は、閉鎖されたままであり、ユーザは、IDスキャナ112内にその身分証明書(例えば、運転免許証)を設置し、指紋リーダ114を介して親指の指紋を提供するようにプロンプトされることができる。詐欺防止対策として、キオスク100は、運転免許証の画像を遠隔コンピュータ画面に伝送するように構成されることができ、遠隔コンピュータにおけるオペレータは、運転免許証上の写真(および/または他の情報)を、
図1Aに示されるようなカメラ116a-cのうちの1つ以上のものによって視認されるようなキオスク100の前に立つ人物の画像と視覚的に比較し、電話150を売却しようとする人物が、実際に運転免許証によって識別される人物であることを確認することができる。いくつかの実施形態では、カメラ116a-cのうちの1つ以上のものは、キオスクユーザ、およびキオスク100に近接している他の個人の視認を促進するように可動であり得る。加えて、人物の指紋が、既知の詐欺犯の記録に対してチェックされることができる。これらのチェックのいずれかが、電話を売却する人物が詐欺の危険性を提示することを示す場合、取引は、辞退されることができ、携帯電話150は、返却されることができる。ユーザの身元が検証された後、透明プレート144は、上側チャンバおよび下側チャンバ130および132に向かって戻るように移動する。
図1Eに示されるように、上側チャンバ130が、下側位置にあるとき、ゲート138は、その上に担持された電子デバイスではなく、透明プレート144が下で摺動することを可能にする。結果として、ゲート138は、携帯電話150を、透明プレート144から仕分けプレート136上に、かつ仕分け容器134の中に落下させる。キオスクは、次いで、購入価格の支払をユーザに提供することができる。いくつかの実施形態では、支払は、現金出口118から分配される現金の形態で行われることができる。他の実施形態では、ユーザは、種々の他の有用な方法で携帯電話150への報酬を受領することができる。例えば、ユーザは、償還可能な現金バウチャ、クーポン、電子証明書、プリペイドカード、電子口座(例えば、クレジット口座、掛売口座、ポイント口座、オンライン商取引口座、モバイルウォレット等)への有線または無線預金、ビットコイン等を介して、支払われることができる。
【0045】
当業者が理解するであろうように、前述のルーチンは、キオスク100が携帯電話等の消費者電子デバイスを再生利用または別様に処理するために使用され得る、方法のいくつかの実施例にすぎない。前述の実施例は、携帯電話との関連で説明されるが、キオスク100およびその種々の実施形態はまた、MP3プレーヤ、タブレットコンピュータ、PDA、および他のポータブルデバイス、およびデスクトップコンピュータ、プリンタ、CD、DVD、Blu-ray(登録商標)等の上のゲーム、娯楽、または他のデジタルメディアを実装するためのデバイス等の他の比較的にポータブルではない電子デバイス等の事実上あらゆる消費者電子デバイスを再生利用するために、類似様式で使用され得ることを理解されたい。さらに、前述の実施例は、消費者による使用との関連で説明されるが、その種々の実施形態におけるキオスク100は、その電子デバイスの再生利用、売却、交換等で消費者を支援するために、店員等の他者によって同様に使用されることができる。
【0046】
図8は、本技術のいくつかの実施形態による、消費者デバイスを調べ、提案価格を提供するためのシステム800の例示的アーキテクチャを図示する。システム800は、消費者デバイスについての情報を捕捉する、捕捉モジュール801を含む。捕捉モジュール801は、
図1A-1Eに関連して説明されるように、キオスク上に実装されることができる。捕捉モジュール801は、消費者デバイスのデバイス識別子(ID)、消費者デバイスが調べられる時間および/または場所等のデバイス情報811を捕捉することができる。捕捉モジュール801はまた、デバイスの状態を示し得る、消費者デバイスの外見的欠陥等の種々の特徴を明示する、デバイスの種々の表面の画像813を捕捉することもできる。例えば、画像が、デバイスの側面、デバイスの上のボタンの場所または存在、LCDパネルの健全性を示すために画面から放射される光を示すように、捕捉されることができる。いくつかの実施形態では、画像は、デバイスが損傷の性質および程度を捕捉するように移動している間に捕捉されることができる。画像はまた、擦過傷および/または亀裂の深度を示し、下層の電子機器への影響の推定を促進することもできる。いくつかの実施形態では、システム800全体が、キオスク100上に実装されることができる。
【0047】
捕捉モジュール801によって捕捉される入力情報は、入力された消費者デバイスに関する候補価格を決定するように構成される、価格予測モデル803に伝送される。価格予測モデル805は、入力情報から特徴(例えば、擦過傷、細い亀裂、水害の跡)を抽出し、デバイス上の外見的欠陥の数に基づいて、候補価格を決定することができる。代替として、および/または加えて、捕捉モジュール801は、入力情報から特徴を抽出し、抽出された特徴を価格予測モデル803に伝送し、デバイス上の外見的欠陥の数に基づいて、候補価格を決定することができる。
【0048】
システム800はまた、捕捉モジュール801および価格予測モデル805の両方から入力を受容する、価格決定ポリシモデル805も含む。価格決定ポリシモデル805は、種々のサブモデルを活用し、最終提案価格を発生させることができる。サブモデルは、少なくとも、再販売価値を予測するためのサブモデル、消費者デバイスの到着量を予測するためのサブモデル、デバイスと関連付けられる処理コストを予測するためのサブモデル、および/または予測プロセスを促進するための他のサブモデルを含むことができる。最終提案価格に影響を及ぼし得る付加的特徴は、キオスクの場所、デバイスが調べられた時間、デバイスの経年、予測修理コスト、類似状態時のデバイスの量、偽造または詐欺の危険性、デバイスの予想需要、予測再販売チャネル、デバイスから読み出される他の電気情報を含む。これらのサブモデルは、価格決定ポリシモデルを伴って中心的に位置することができる。サブモデルはまた、クラウドベースのコンピューティングサービスの一部として、ネットワーク内の異なる場所を横断して分散されることもできる。モデルおよび/またはサブモデルはそれぞれ、CNNおよび/またはConvNet等のニューラルネットワークを使用して実装されることができる。人間のオペレータと比較すると、ニューラルネットワークは、異なる地理的場所を横断してより一貫した分析結果を生成することができ、多数の消費者デバイスが評価される必要があるときに、さらに拡張可能である。
【0049】
顧客の最終提案価格の容認または拒否に応じて、本消費者デバイスのための関連性があるデータは、モデルのさらなる訓練および改良のために価格予測モデルにフィードバックされることができる。上記に述べられるように、捕捉モジュール801が、キオスク内に展開されることができる一方で、システムの他の部品は、遠隔サーバ内に分散様式で位置する。いくつかの実施形態では、システム全体が、
図1A-1Eに関連して詳細に説明されるように、キオスク内に展開されることができる。
【0050】
いくつかの実施形態では、(
図1A-1Eに関連して議論されるように)使用済み消費者デバイスの評価を実施するためのキオスクを見出す代わりに、顧客は、捕捉モジュール801のソフトウェア実装を別のデバイス(例えば、別の携帯電話、タブレット、ウェアラブルデバイス等)上にダウンロードおよびインストールすることができる。捕捉モジュール801のソフトウェア実装は、デバイス情報811(例えば、デバイスID、ブランド、モデル等)を規定するように、かつ標的消費者デバイスの画像813を捕捉するように、ユーザインターフェースを顧客に提供することができる。
図10は、本技術のいくつかの実施形態による、別のモバイルデバイス1003を使用して電子デバイス1005を評価することの実施例を図示する。顧客1001が、ソフトウェアアプリケーションをその現在のモバイルデバイス1003(捕捉デバイスとも称される)にダウンロードすることができる。ソフトウェアアプリケーションは、モバイルデバイス1003の光源(例えば、フラッシュライト)および/またはカメラのうちの1つ以上のものを制御し、標的電子デバイス1005の少なくとも1つの画像を捕捉するように構成される。顧客1001はまた、ユーザインターフェースを介して、デバイス製造業者、モデル、購入日、一般的状態、デバイス特徴等の標的デバイス1005についての付加的情報を提供するようにプロンプトされることもできる。
【0051】
図8に戻って参照すると、入力データ(例えば、捕捉された画像および/または顧客によって提供される付加的デバイス情報)が、ネットワークを経由して、価格予測モデル803および価格決定ポリシモデル805をホストし、標的デバイスの状態および/または最終提案価格を決定する、遠隔サーバに伝送されることができる。いったん最終提案価格が決定されると、捕捉モジュール801は、捕捉デバイスのユーザインターフェース上に標的デバイスの最終提案価格を表示することができ、顧客は、提案価格を容認または拒否するかどうかを決定することができる。顧客の最終提案価格の容認または拒否に応じて、本消費者デバイスのための関連性があるデータは、モデルのさらなる訓練のために価格予測モデル803にフィードバックされることができる。顧客が、提案価格を容認する場合、捕捉モジュール801は、デバイスを梱包し、対応する再生利用および処理センタに郵送するためのさらなる命令を提供することができる。
【0052】
捕捉された画像の画質を確実にするために、いくつかの実施形態では、捕捉モジュール801は、捕捉デバイスの光源を制御し、種々の光条件を生成することができる。捕捉モデル801はさらに、事前決定された設定またはテンプレートのセットを提供し、標的消費者デバイスの画像を撮影するように顧客を誘導することができる。各設定またはテンプレートは、少なくとも、使用済み消費者デバイスに対して捕捉デバイスを保持するための所望の角度、所望の露出レベル、所望の光強度、所望のホワイトバランスレベル、輝度、コントラスト、および/または他のパラメータを規定することができる。事前決定されたテンプレートは、ユーザが一様な入力データを捕捉することに役立ち、本システムが一貫した分析結果を発生させることを可能にする。
【0053】
ある場合には、ネットワーク帯域幅限界は、大量の入力データ(例えば、画像の大型セット)が遠隔サーバに伝送される必要があるときに、遅延を引き起こし得る。そのような問題に対処するために、計算論理の一部(例えば、捕捉された画像の前処理)が、捕捉デバイス上にローカルで展開されることができる。例えば、特徴抽出を実施し、外見的欠陥(例えば、擦過傷、亀裂、水の跡等)を抽出する、ニューラルネットワークが、捕捉モジュールの一部として、捕捉デバイス上に展開されることができる。いったん特徴が抽出されると、抽出された特徴およびデバイスについての情報(例えば、デバイスID、モデル、発売日)のみが、ネットワークを経由して予測およびポリシモデルに伝送され、それによって、関連性があるデータを伝送するための帯域幅要件を低減させる。
【0054】
いくつかの実施形態では、画像の前処理はまた、ニューラルネットワークの中にフィードするべき入力として予備特徴を発生させるためのフィルタリング、スクラビング、正規化、または同等物等の動作も含む。上記に議論されるように、捕捉された画像を前処理することは、いくつかの実施形態では、データを伝送するためのネットワーク帯域幅限界を軽減することができる。画像の前処理はまた、キオスクと異なり、顧客が、概して、デバイスのカメラおよび位置の正確な制御を有していないため、顧客自身のデバイス上に展開される捕捉モジュールのために特に有用であり得る。例えば、前処理は、オブジェクト検出アルゴリズムを採用し、いずれの消費者デバイスも含むことができない画像を除去することができる。画像の前処理はまた、一貫した結果を生成するように、ニューラルネットワークによる視覚分析のために好適である、一様な入力を発生させることもできる。例えば、画像分割技法に基づいて、電子デバイスの画像が、電子デバイスの一側面(例えば、前部、後部、上部、底部、または同等物)を示すように切り取られることができる。同一のデバイスに関して、異なる側面を示す、切り取られた画像が、単一の画像に組み合わせられることができる。
【0055】
図2は、本技術のいくつかの実施形態による、電子デバイスの外見的状態を評価するための方法200を図示するフローチャートである。
図2を参照すると、本方法は、電子デバイスの1つ以上の画像を前処理モジュール210にフィードするステップを含む。いくつかの実施形態では、画像が、
図1A-1Eを参照して説明されるようなキオスク100の種々のカメラおよび/または他の撮像コンポーネント、または顧客によって所有される捕捉デバイスによって取得されることができる。上記に説明されるように、画像は、予備特徴を発生させるように前処理されることができる。いくつかの実施形態では、前処理は、キオスク100の処理コンポーネントによって、または捕捉デバイスによって実施されることができる。他の実施形態では、画像は、遠隔システムまたはデバイス(例えば、クラウドベースのコンピューティングサービス)に伝送されることができ、前処理動作のうちの少なくともいくつかまたは全てが、遠隔で実施されることができる。例証的に、電子デバイスの画像が、電子デバイスの一側面(例えば、前部、後部、上部、底部、または同等物)を示すように切り取られることができる。代替として、または加えて、画像は、自然および/または制御された照明下で撮影されることができる。なおもさらに、画像は、デバイスの電源がオンまたはオフにされている間に撮影されることができる。同一のデバイスに関して、異なる側面を示す切り取られた画像、異なる照明下で撮影された画像、デバイスがオンまたはオフである間に撮影された画像、および/または他の制御/未制御条件を伴って撮影されたデバイスの画像が、単一の画像に組み合わせられることができる。
【0056】
前処理はさらに、画像(オリジナル画像、組み合わせられた画像、または別様に処理された画像のいずれか)を所定のサイズにサイズ変更するステップを含むことができる。画像は、一様な入力を外見的評価ニューラルネットワークに提供するようにサイズ変更される。ニューラルネットワーク入力のための所定のサイズは、概して、外見的欠陥を検出する能力に影響を及ぼさない様式で、決定されることができる。例えば、所定のサイズは、オリジナル画像に示される損傷または欠陥が、依然として、サイズ変更された画像内に出現するように、十分に大きくなければならない。例証的に、各画像は、299×299ピクセルにサイズ変更されることができる。いくつかの実施形態では、画像が、カラー画像である場合、本技術は、赤色、緑色、および青色の色空間を分離し、画像を3次元整数行列に変換することができる。
【0057】
いくつかの実施形態では、画像が、カラー画像である場合、本技術は、種々の色空間(例えば、赤色、緑色、および青色の色空間)を分離し、画像を多次元(例えば、3次元)整数行列に変換することができる。例えば、標準RGBエンコーディングで使用されるように、行列内の各値は、0~255に及ぶ整数である。いくつかの実施形態では、行列は、255で除算し、行列入力毎に0~1の10進値を生成することによって、スケール変更されることができる。
【0058】
図4Aおよび4Bは、本技術のいくつかの実施形態による、ニューラルネットワークに入力するための前処理された画像400a-hの実施例を図示する。
図4Aは、3つの異なるシナリオ、すなわち、画面がオンにされた第1のホワイトバランス設定の照明400a、画面がオンにされた第2のホワイトバランス設定の照明400b、オフにされた画面400cの下でのスマートフォン402の前側、およびスマートフォンの裏側400dを示す、組み合わせられた画像を図示する。画像は、明白な擦過傷または細い亀裂を示さず、したがって、スマートフォン402は、「外見上良好」な状態と見なされることができる。
図4Bは、3つの異なるシナリオ、すなわち、画面がオンにされた第1のホワイトバランス設定の照明400e、画面がオンにされた第2のホワイトバランス設定の照明400f、オフにされた画面400gの下でのスマートフォン404の前側、およびスマートフォンの裏側400hを示す、組み合わせられた画像を図示する。本組み合わせられた画像は、スマートフォン404の画面上の擦過傷を示し、したがって、スマートフォン404は、「外見上不良」な状態と見なされることができる。
【0059】
図2に戻って参照すると、方法200は、予備特徴212(例えば、前処理が実施されるかどうか、またはその方法に応じて、オリジナル画像、前処理された画像、または3次元行列)をニューラルネットワーク220の中にフィードするステップを含む。ニューラルネットワークは、
図1Fに示されるような価格予測モデルおよび価格決定ポリシモデルを含むことができる。方法200はさらに、ニューラルネットワーク220から出力222を取得するステップを含む。
【0060】
いくつかの実施形態では、ニューラルネットワークの出力は、整数0または1を含む。0は、「外見上良好」(例えば、ひび割れていない、有意な擦過傷を伴わない、または同等物)を表すことができ、1は、「外見上不良」(例えば、ひび割れている、有意な擦過傷を伴うまたは同等物)を表すことができる。これらの実施形態では、入力を0~1の範囲にスケール変更することは、入力および出力がより密接に整合されるにつれて、ネットワークがより一貫して訓練することに役立ち得る。いくつかの実施形態では、2進値の代わりに、ニューラルネットワークの出力は、消費者デバイス上の損傷の重大性を示す、値の範囲のスコアであり得る。ニューラルネットワークの出力はまた、外見的評定またはカテゴリ、検出される欠陥のタイプ、検出される欠陥の配向、検出される欠陥の場所、検出される欠陥のサイズ、関連付けられる信頼レベル、または他の外見的評価インジケーションのうちの少なくとも1つを含むこともできる。いくつかの実施形態では、ニューラルネットワークの出力はさらに、入力画像に示される電子デバイスのブランド、モデル、および/またはタイプを含むことができる。実験結果は、外見的欠陥を決定する際のニューラルネットワークの正確度が、平均的な人間の能力(約89.9%の正確度)を超える、91%を達成し得ることを実証した。
【0061】
上記に議論されるように、ニューラルネットワーク220は、
図1A-Eを参照して上記に説明されるようなキオスク100の処理コンポーネントまたはユーザデバイスの一部として、実装されることができる。他の実施形態では、ニューラルネットワーク220の少なくともある部分が、遠隔システムまたはデバイス(例えば、クラウドベースのコンピューティングサービス)上に実装されることができる。これらの場合において、入力データ(例えば、電子デバイス202の画像)、予備特徴212、および/またはある中間データ(例えば、ニューラルネットワーク層の間の入力/出力)の完全なセットが、処理のために遠隔システムまたはデバイスに伝送されることができる。
【0062】
図3は、本技術のいくつかの実施形態に従って実装され得る、例示的ニューラルネットワーク300を図示する。例示的ニューラルネットワーク300は、CNNまたは修正されたCNNであり得る。例示的ニューラルネットワーク300は、2つの主要なタイプのネットワーク層、すなわち、畳み込み層およびプーリング層を含むことができる。畳み込み層が、畳み込み層への入力から種々の特徴を抽出するために使用されることができる。特に、異なるカーネルサイズが、擦過傷および/または細い亀裂が種々のサイズを有するという事実を考慮するように、特徴抽出のために畳み込み層内で適用されることができる。プーリング層が、プーリング層に入力される特徴を圧縮し、それによって、ニューラルネットワークのための訓練パラメータの数を削減し、モデル過剰適合の程度を緩和するために、利用されることができる。例示的ニューラルネットワーク300は、種々の構造配列(例えば、直列接続)で相互と接続される、複数のカスケード式畳み込みおよびプーリング層を含むことができる。いくつかの実施形態では、ネットワークの最終層は、高密度の完全に接続されたノードの層、過剰適合を軽減するためのドロップアウト層、および/または最終分類を導出するための1つ以上のシグモイドアクティブ化を含むことができる。いくつかの実施形態では、シグモイドアクティブ化が、2進予測(例えば、デバイスの状態が容認可能であるかどうかを示す、値0および1を出力する)のために使用されることができる。いくつかの実施形態では、他のタイプのアクティブ化(例えば、ソフトマックスアクティブ化)が、ニューラルネットワークが異なるカテゴリの予測(例えば、「詐欺-購入してはいけない」、「偽物」等)を出力し得るように、使用されることができる。
【0063】
図11は、本技術のいくつかの実施形態による、ニューラルネットワークを訓練する例示的アーキテクチャ1100を図示する。
図11に示されるように、ニューラルネットワークは、検査官1103(例えば、人間の検査官、電子標識システム等)によって標識された、事前収集された画像1101を使用して、訓練されることができる。いくつかの実施形態では、訓練セット内の画像はそれぞれ、少なくとも閾値数の検査官(例えば、2人の人間の検査官)によって合意される外見的評価インジケーション(例えば、「外見上良好」または「外見上不良」)と関連付けられる。したがって、訓練セットは、閾値数の検査官が合意した特定の外見的ステータス時の電子デバイスの代表的画像を含み、外見的ステータスは、現場にデバイス電話の存在を要求することなく、視覚検査によって合理的に決定されることができる。
【0064】
訓練セットは、いったん展開されると、機械学習システム1105(例えば、ニューラルネットワーク)の入力に寄与する画像と同一の方法で前処理された画像を含むことができる。訓練セットは、各明確に異なる外見的評価インジケーションと関連付けられる、画像の等しいサイズまたは実質的に等しいサイズの(例えば、サイズが5%、10%、または15%差以内である)サブセットを含むことができる。例えば、訓練で使用される約700,000の画像に関して、約350,000が、「外見上良好」インジケーションと関連付けられ、他の350,000が、「外見上不良」インジケーションと関連付けられる。このように訓練セットを分割することは、出力が、訓練セットの大部分によって反映されるものに有利に働くようにバイアスをかけられ得る、訓練されたニューラルネットワークのある「無作為推測」効果を防止または軽減することができる。いくつかの実施形態では、訓練セット内の画像のうちの少なくともいくつかは、訓練セット内に包含するための付加的画像を発生させるように、ミラーリングされる、回転される、または他の位置処理を受けることができる。
【0065】
訓練されたニューラルネットワーク1105は、人間の検査官1103によって標識された、他の事前収集された画像を使用して、正当性を立証されることができる。訓練セットと同様に、立証セットは、各明確に異なる外見的評価インジケーションと関連付けられる画像のサブセットを含むことができる。訓練セットと対照的に、サブセットの相対サイズは、より一貫している、または前もって評価された電子デバイスの実世界統計を別様に反映する。例証的に、約300,000の画像が、訓練されたニューラルネットワークの正当性を立証するために使用される。
【0066】
いくつかの実施形態では、機械学習システム1105(例えば、ニューラルネットワーク)は、立証成功(例えば、立証セットにわたるネットワークの出力の誤検出および/または未検出率が、所定の閾値を超えない)後に展開される。展開されたネットワークへの捕捉された画像1107の一部および/または人間の検査官によって検証された関連付けられる出力等の付加的データが、ニューラルネットワークのさらなる訓練のために収集されることができる。いくつかの実施形態では、さらなる訓練の段毎に、入力層により近い(例えば、閾値数以内の)層が、フリーズされることができる一方で、出力により近い層のパラメータは、調節されることができる。そうすることは、ネットワークによってすでに学習されている具体的な基本側面(例えば、異なる配向へのごくわずかな亀裂を表す)を留保することに役立ち得る一方で、ネットワークが、より一般化された高位レベル特徴を対象とするパラメータを調節することを可能にし、これは、デバイスのより新しいモデル、異なる照明、および/または他の変更されたシナリオに効率的に適合し得る。例えば、iPhone(登録商標) 8に関して亀裂について訓練するときに学習される具体的な基本特徴は、電話がサイズ、形状、色等において異なる場合でさえも、Galaxy 9上の亀裂を検出するために依然として適用可能であり得る。
図11に示されるようないくつかの実施形態では、捕捉された画像の一部が、手動評価を実施する、および/または機械学習システム1105のためにさらなる訓練データを発生させるように、人間の検査官1103に指向されることができる。
【0067】
図5は、本技術のいくつかの実施形態による、電子デバイスの外見的状態を評価するためのニューラルネットワークを訓練するための方法500を図示する、フローチャートである。種々の実施形態では、方法500は、
図1A-1Eを参照して説明されるようなキオスク100と関連付けられる遠隔システムまたはデバイスによって、実施されることができる。
図5を参照すると、ブロック510では、方法500は、各明確に異なる外見的評価インジケーションと関連付けられる、画像の等しいサイズまたは類似サイズのサブセットを含む、訓練セットを生成するステップを含む。
【0068】
訓練セットは、人間の検査官によって標識された、事前収集された画像(例えば、キオスク100によって取得されるもの)を含むことができる。いくつかの実施形態では、訓練セット内の画像はそれぞれ、少なくとも2人の人間の検査官によって合意される外見的評価インジケーション(例えば、「外見上良好」または「外見上不良」)と関連付けられる。訓練セット内の画像は、いったん展開されると、ニューラルネットワークの入力に寄与する画像と同一の方法で前処理されることができる。訓練セットは、各明確に異なる外見的評価インジケーションと関連付けられる、画像の等しいサイズまたは実質的に等しいサイズの(例えば、サイズが5%、10%、または15%差以内である)サブセットを含むことができる。いくつかの実施形態では、訓練セット内の画像のうちの少なくともいくつかは、訓練セット内に包含するための付加的画像を発生させるように、ミラーリングされる、回転される、または他の位置処理を受けることができる。
【0069】
加えて、訓練セットは、モデルが、デバイスの特定のセットに特有である損傷を識別するように訓練され得るように、デバイスについての情報(例えば、ブランド、モデル、発売日)を含むことができる。
【0070】
ブロック520では、方法500は、訓練セットに基づいて、ニューラルネットワークの少なくとも一部を訓練するステップを含む。例証的に、訓練セットは、ネットワーク入力および関連付けられる出力の「グランドトゥルース」サンプル(例えば、電子デバイスのサンプル画像および関連付けられる外見的評価インジケーション)を提供し、ニューラルネットワークのコンポーネントは、当業者によって適切と見なされるような種々の方法で訓練されることができる。ニューラルネットワークのパラメータは、訓練セット内の十分に多数の訓練サンプルを通して学習されることができる。
【0071】
ブロック530では、方法500は、概して、実世界統計で反映されるような相対サイズにおいて一貫している、各明確に異なる外見的評価インジケーションと関連付けられる画像のサブセットを含む、立証セットを生成するステップを含む。訓練セットと同様に、立証セットは、各明確に異なる外見的評価インジケーションと関連付けられる画像のサブセットを含むことができる。訓練セットと対照的に、サブセットの相対サイズは、より一貫している、または前もって評価された電子デバイスの実世界統計を別様に反映し得る。
【0072】
ブロック540では、方法500は、訓練されたニューラルネットワークの正当性を立証し、成功した場合、ニューラルネットワークを展開するステップを含む。上記に説明されるように、いくつかの実施形態では、出力の各部類が、訓練の間に等しく(または実質的に等しく)表され、出力部類の間の比は、立証の間のフィールド統計とより一致する。そのような配列は、訓練されたネットワークが、概して、特定の方向への全ての入力(例えば、特定の外見的評価インジケーション)を分類しているわけではなく、依然として、データセットにあまり表されていない外見的状態を効果的に抽出し得ることを決定するための根拠であり得る。
【0073】
ニューラルネットワークは、立証成功(例えば、立証セットにわたるネットワークの出力の誤検出および/または検出漏れ率が、所定の閾値を超えない)後に(例えば、キオスク100上で実行されるように、または顧客のデバイス上の捕捉モジュールの一部として)展開されることができる。いくつかの実施形態では、方法500は、ニューラルネットワークのさらなる訓練のための付加的データ(例えば、人間の検査官によって検証された、展開されたネットワークへの入力および関連付けられる出力)を収集するステップを含む。これは、方法のブロック510に戻るようにループすることによって達成されることができる。いくつかの実施形態では、さらなる訓練の段毎に、入力層により近い(例えば、閾値数以内の)層が、フリーズされることができる一方で、出力により近い層のパラメータは、調節されることができる。そうすることは、ネットワークによってすでに学習されている具体的な基本側面(例えば、異なる配向へのごくわずかな亀裂を表す)を留保することに役立ち得る一方で、ネットワークが、より一般化された高位レベル特徴を対象とするパラメータを調節することを可能にし、これは、デバイスのより新しいモデル、異なる照明、および/または他の変更されたシナリオに効率的に適合し得る。
【0074】
図6は、本技術の種々の部分を実装するために利用され得る、コンピュータシステム600のためのアーキテクチャの実施例を図示するブロック図である。
図6では、コンピュータシステム600は、相互結線625を介して接続される、1つ以上のプロセッサ605と、メモリ610とを含む。相互結線625は、適切なブリッジ、アダプタ、またはコントローラによって接続される、いずれか1つ以上の別個の物理的バス、ポイントツーポイント接続、または両方を表すことができる。相互結線625は、したがって、例えば、システムバス、周辺コンポーネント相互接続(PCI)バス、HyperTransportまたは業界標準アーキテクチャ(ISA)バス、小型コンピュータシステムインターフェース(SCSI)バス、ユニバーサルシリアルバス(USB)、IIC(I2C)バス、または時として「Firewire」と称されることもある、Institute of Electrical and Electronics Engineers(IEEE)標準674バスを含むことができる。
【0075】
プロセッサ605は、例えば、ホストコンピュータの全体的動作を制御するための中央処理ユニット(CPU)を含むことができる。ある実施形態では、プロセッサ605は、メモリ610内に記憶されたソフトウェアまたはファームウェアを実行することによって、これを遂行する。プロセッサ605は、1つ以上のプログラマブル汎用または専用マイクロプロセッサ、デジタル信号プロセッサ(DSP)、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、または同等物、またはそのようなデバイスの組み合わせであり得る、またはそれを含むことができる。
【0076】
メモリ610は、コンピュータシステムのメインメモリであり得る、またはそれを含むことができる。メモリ610は、任意の好適な形態のランダムアクセスメモリ(RAM)、読取専用(ROM)、フラッシュメモリ、または同等物、またはそのようなデバイスの組み合わせを表す。使用時、メモリ610は、とりわけ、プロセッサ605によって実行されると、プロセッサ605に、本技術の実施形態を実装するための動作を実施させる、機械命令のセットを含有することができる。いくつかの実施形態では、メモリ610は、コンピュータハードウェアおよびソフトウェアリソースを管理し、コンピュータプログラムのための共通サービスを提供する、オペレーティングシステム(OS)630を含有することができる。
【0077】
また、相互結線625を通してプロセッサ605に接続されるものは、(随意の)ネットワークアダプタ615である。ネットワークアダプタ615は、記憶クライアントおよび/または他の記憶サーバ等の遠隔デバイスと通信する能力をコンピュータシステム600に提供し、例えば、イーサネット(登録商標)アダプタまたはファイバチャネルアダプタであり得る。
【0078】
本明細書に説明される技法は、例えば、ソフトウェアおよび/またはファームウェアを用いてプログラムされるプログラマブル回路(例えば、1つ以上のマイクロプロセッサ)によって、または完全に専用配線回路で、またはそのような形態の組み合わせで、実装されることができる。専用配線回路は、例えば、1つ以上の特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)等の形態であり得る。開示される技法を使用して実装されるシステムは、ネットワークリソース、帯域幅コスト、所望の性能等に従って、中心的(例えば、キオスク)または分散様式(例えば、クライアントデバイスおよび遠隔サーバ)のいずれかで展開されることができる。
【0079】
本明細書で導入される技法を実装する際に使用するためのソフトウェアまたはファームウェアは、機械可読記憶媒体上に記憶されることができ、1つ以上の汎用または専用プログラマブルマイクロプロセッサによって実行されることができる。「機械可読記憶媒体」は、本用語が本明細書で使用されると、機械によってアクセス可能な形態で情報を記憶し得る、任意の機構を含む(機械は、例えば、コンピュータ、ネットワークデバイス、携帯電話、携帯情報端末(PDA)、製造ツール、1つ以上のプロセッサを伴う任意のデバイス等であり得る)。例えば、機械アクセス可能記憶媒体は、記録可能/非記録可能媒体(例えば、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス等)を含む。本明細書で使用されるような用語「論理」は、例えば、具体的ソフトウェアおよび/またはファームウェアを用いてプログラムされるプログラマブル回路、専用配線回路、またはそれらの組み合わせを含むことができる。
【0080】
図7は、本技術のいくつかの実施形態による、電子デバイスの状態を評価するための方法700のフローチャート表現である。方法700は、動作710において、キオスクの少なくとも1つのカメラによって、電子デバイスの第1の側面の少なくとも1つの画像を捕捉するステップを含み、キオスクは、複数の光源を含む。方法700は、動作720において、ニューラルネットワークによって、電子デバイスの少なくとも1つの画像に基づいて、電子デバイスの特徴のセットを抽出するステップを含む。方法700はまた、動作830において、特徴のセットに基づいて、電子デバイスの状態を決定するステップを含む。
【0081】
いくつかの実施形態では、本方法は、少なくとも1つのカメラを介して、複数の光源によって発生される少なくとも1つの照明条件に基づいて、第1の側面と異なる電子デバイスの第2の側面の少なくとも1つの画像を捕捉するステップを含む。光源および/またはカメラの異なる設定を使用し、異なる照明条件を生成することは、擦過傷および/または細い亀裂の撮像を促進することができる。電子デバイスの第2の側面を撮像するために、本方法は、電子デバイスの第2の側面の少なくとも1つの画像を捕捉することに先立って、光ビームが、電子デバイスの第2の側面に向かって指向されるように、電子デバイスを反転させるステップを含むことができる。いくつかの実施形態では、画像が、
図4A-Bに関連して説明されるように前処理される。本方法は、複数の画像が、一様なサイズを有するように、電子デバイスの複数の側面の複数の画像を処理するステップと、複数の画像を、ニューラルネットワークに提供されるべき単一の画像に組み合わせるステップとを含む。
【0082】
光ビームの角度および光源の配列は、
図9A-Bに関連して議論されるように、最終的な捕捉された画像に影響を及ぼし得る。いくつかの実施形態では、本方法は、光源からの光ビームと電子デバイスの第1の側面との間の角度が、60度に等しい、またはそれよりも小さいように、複数の光源のうちの1つを調節するステップを含む。
【0083】
いくつかの実施形態では、本方法は、少なくとも1つの画像に部分的に基づいて、電子デバイスのモデルを決定するステップと、モデルに特有である電子デバイス上の外見的欠陥を識別するステップとを含む。いくつかの実施形態では、本方法は、第2のニューラルネットワークを介して、初期推定価格に部分的に基づいて、電子デバイスの価格を決定するステップを含む。最終提案価格はさらに、少なくとも、(1)電子デバイスの予測再販売価値、(2)電子デバイスのモデルの予測到着量、または(3)電子デバイスの予測処理コストに基づいて、決定されることができる。いくつかの実施形態では、本方法は、最終価格の容認または拒否を示す入力をユーザから受信するステップと、少なくとも1つの画像およびユーザからの入力に部分的に基づいて、ニューラルネットワークを訓練するステップとを含む。
【0084】
開示される技法のいくつかの実施例が、下記にさらに説明される。
【実施例0085】
(実施例1)電子デバイスの状態を評価するためのシステムであって、電子デバイスを保持するように構成される、検査プレートと、電子デバイスに向かって1つ以上の光ビームを指向するように構成される、検査プレートの上方に配列される1つ以上の光源と、1つ以上の光源によって発生される少なくとも1つの照明条件に基づいて、電子デバイスの第1の側面の少なくとも1つの画像を捕捉するように構成される、1つ以上のカメラとを含む、キオスクを備える、システム。本システムはまた、1つ以上のカメラと通信する、1つ以上のプロセッサであって、電子デバイスの少なくとも1つの画像に基づいて、電子デバイスの特徴のセットを抽出し、第1のニューラルネットワークを介して、特徴のセットに基づいて、電子デバイスの状態を決定するように構成される、1つ以上のプロセッサも含む。
【0086】
(実施例2)1つ以上の光源は、光源の第1のサブセットと、光源の第2のサブセットとを備え、光源の第1のサブセットの光ビームおよび光源の第2のサブセットの光ビームは、相互に直交するように配列される、実施例1に記載のシステム。
【0087】
(実施例3)キオスクはさらに、検査プレートの上方に位置付けられる、上側チャンバであって、1つ以上の光源は、上側チャンバ内に配列される、上側チャンバと、検査プレートの下方に位置付けられる、下側チャンバと、検査プレートを通して電子デバイスに向かって光ビームを指向するように構成される、下側チャンバ内に位置付けられる光源の第2のセットとを含む、実施例1または2に記載のシステム。
【0088】
(実施例4)キオスクはさらに、電子デバイスを反転させ、1つ以上のカメラが電子デバイスの第2の側面の少なくとも別の画像を捕捉することを可能にするように構成される、反転機構を含む、実施例1-3のうちの1つ以上のものに記載のシステム。
【0089】
(実施例5)1つ以上の光源のうちの少なくとも1つは、コリメートされた光ビームを生成するように構成される、実施例1-4のうちの1つ以上のものに記載のシステム。
【0090】
(実施例6)1つ以上の光源のうちの1つからの光ビームと電子デバイスの第1の側面との間の角度は、60度に等しい、またはそれよりも小さい、実施例1-5のうちの1つ以上のものに記載のシステム。
【0091】
(実施例7)1つ以上のカメラは、異なる照明条件下で電子デバイスの複数の側面に対応する複数の画像を捕捉するように構成され、1つ以上のプロセッサは、複数の画像を処理し、単一の入力画像に組み合わせるように構成される、実施例1-6のうちの1つ以上のものに記載のシステム。
【0092】
(実施例8)第1のニューラルネットワークは、電子デバイスの状態を示すインジケータを出力するように構成される、実施例1-7のうちの1つ以上のものに記載のシステム。
【0093】
(実施例9)1つ以上のプロセッサはさらに、状態に基づいて電子デバイスの推定価格を決定するように構成される、実施例1-8のうちの1つ以上のものに記載のシステム。
【0094】
いくつかの実施形態では、キオスクは、電子デバイスについての情報を提供するように構成され、1つ以上のプロセッサは、第2のニューラルネットワークを起動し、推定価格および電子デバイスについての情報に基づいて、電子デバイスの最終価格を決定するように構成される。
【0095】
(実施例10)状態は、物理的状態または外見的状態を備える、実施例1-9のうちの1つ以上のものに記載のシステム。
【0096】
(実施例11)電子デバイスの状態を評価するためのシステムであって、少なくとも1つの光源と、少なくとも1つのカメラとを備える、捕捉デバイスを備え、少なくとも1つのカメラは、1つ以上の所定の設定に基づいて、電子デバイスの複数の画像を捕捉するように構成され、1つ以上の所定の設定はそれぞれ、(1)捕捉デバイスが電子デバイスに対して位置付けられる角度、(2)少なくとも1つの光源の光強度、(3)少なくとも1つのカメラの露出設定、または(4)少なくとも1つのカメラのホワイトバランス設定のうちの少なくとも1つを規定する、システム。本システムはまた、捕捉デバイスと通信する、1つ以上のプロセッサであって、複数の画像を処理し、単一の入力画像を発生させ、電子デバイスの少なくとも1つの画像に基づいて、電子デバイスの特徴のセットを抽出し、第1のニューラルネットワークを介して、電子デバイスの状態を決定するように構成される、1つ以上のプロセッサも含む。
【0097】
いくつかの実施形態では、捕捉デバイスは、電子デバイスについての情報を提供するように構成され、1つ以上のプロセッサはさらに、第2のニューラルネットワークを起動し、状態および電子デバイスについての情報に基づいて、電子デバイスの価格を決定するように構成される。
【0098】
(実施例12)状態は、物理的状態または外見的状態を備える、実施例11に記載のシステム。
【0099】
(実施例13)電子デバイスの状態を評価するためのコンピュータ実装方法であって、キオスクの少なくとも1つのカメラによって、電子デバイスの第1の側面の少なくとも1つの画像を捕捉するステップであって、キオスクは、複数の光源を含む、ステップと、ニューラルネットワークによって、電子デバイスの少なくとも1つの画像に基づいて、電子デバイスの特徴のセットを抽出するステップと、特徴のセットに基づいて電子デバイスの状態を決定するステップとを含む、方法。
【0100】
(実施例14)少なくとも1つのカメラを介して、複数の光源によって発生される少なくとも1つの照明条件に基づいて、第1の側面と異なる電子デバイスの第2の側面の少なくとも1つの画像を捕捉するステップを含む、実施例13に記載の方法。
【0101】
(実施例15)電子デバイスの第2の側面の少なくとも1つの画像を捕捉することに先立って、光ビームが、電子デバイスの第2の側面に向かって指向されるように、電子デバイスを反転させるステップを含む、実施例14に記載の方法。
【0102】
(実施例16)複数の画像が、一様なサイズを有するように、電子デバイスの複数の側面の複数の画像を処理するステップと、複数の画像を、ニューラルネットワークに提供されるべき単一の画像に組み合わせるステップとを含む、実施例13-14のうちの1つ以上のものに記載の方法。
【0103】
(実施例17)光源からの光ビームと電子デバイスの第1の側面との間の角度が、60度に等しい、またはそれよりも小さいように、複数の光源のうちの1つを調節するステップを含む、実施例13-16のうちの1つ以上のものに記載の方法。
【0104】
(実施例18)少なくとも1つの画像に部分的に基づいて、電子デバイスのモデルを決定するステップと、モデルに特有である電子デバイス上の外見的欠陥を識別するステップとを含む、実施例13-17のうちの1つ以上のものに記載の方法。
【0105】
いくつかの実施形態では、本方法は、第2のニューラルネットワークを介して、状態に部分的に基づいて、電子デバイスの提案価格決定するステップを含み、提案価格はさらに、少なくとも、(1)電子デバイスの予測再販売価値、(2)電子デバイスのモデルの予測到着量、または(3)電子デバイスの予測処理コストに基づいて、決定される。
【0106】
(実施例19)提案価格の容認または拒否を示す入力をユーザから受信するステップと、少なくとも1つの画像およびユーザからの入力に部分的に基づいて、ニューラルネットワークを訓練するステップとを含む、実施例13-18のうちの1つ以上のものに記載の方法。
【0107】
(実施例20)状態は、物理的状態または外見的状態を備える、実施例13-19のうちの1つ以上のものに記載の方法。
【0108】
本開示のいくつかの実施形態は、上記に説明されるものに加えて、またはその代わりに、他の側面、要素、特徴、および/またはステップも有する。これらの潜在的追加および置換は、本明細書の残りの部分の全体を通して説明される。本明細書内の「種々の実施形態」、「ある実施形態」、または「いくつかの実施形態」の言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。これらの実施形態、代替実施形態(例えば、「他の実施形態」とも称される)でさえも、他の実施形態と相互排他的ではない。さらに、他の実施形態ではなくて、いくつかの実施形態によって呈され得る、種々の特徴が、説明される。同様に、他の実施形態ではなくて、いくつかの実施形態のための要件であり得る、種々の要件が、説明される。本明細書で使用されるように、「Aおよび/またはB」のような語句「および/または」は、Aのみ、Bのみ、およびAおよびBの両方を指す。
【0109】
他の事例では、多くの場合、スマートフォンおよび他のハンドヘルドデバイス、消費者電子デバイス、コンピュータハードウェア、ソフトウェア、およびネットワークシステム等と関連付けられる、周知の構造、材料、動作、および/またはシステムは、本技術の種々の実施形態の説明を不必要に曖昧にすることを回避するように、以下の開示には詳細に示されていない、または説明されていない。しかしながら、当業者は、本技術が、本明細書に記載される詳細のうちの1つ以上のものを伴わずに、または他の構造、方法、コンポーネント等を用いて、実践され得ることを認識するであろう。下記で使用される用語は、本技術の実施形態のある実施例の詳細な説明と併せて使用されているが、その最も広義の合理的様式で解釈されるべきである。実際、ある用語は、下記で強調さえもされ得るが、しかしながら、任意の制限された様式で解釈されることを意図している任意の用語が、本発明を実施するための形態の節等で具体的に定義されるであろう。
【0110】
付随する図は、本技術の実施形態を描写し、本技術の範囲の限定であることを意図していない。種々の描写される要素のサイズは、必ずしも一定の縮尺で描かれておらず、これらの種々の要素は、読みやすさを改良するように恣意的に拡大され得る。コンポーネントの詳細は、そのような詳細が本発明を作製および使用する方法の完全な理解のために不必要であるときに、コンポーネントの位置およびそのようなコンポーネントの間のある精密な接続等の詳細を除外するように、図では抽象化され得る。
【0111】
図では、同じ参照番号が、同じ、または少なくとも概して類似する要素を識別することができる。任意の特定の要素の議論を促進するために、任意の参照番号の最上位桁は、その要素が最初に導入される図を指すことができる。