(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-21
(54)【発明の名称】画像分割及び画像解析を使用して収集品の画像をグレーディングするための方法及び機器
(51)【国際特許分類】
G06T 7/00 20170101AFI20240214BHJP
G06T 7/70 20170101ALI20240214BHJP
【FI】
G06T7/00 350B
G06T7/70 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023540512
(86)(22)【出願日】2022-02-18
(85)【翻訳文提出日】2023-08-28
(86)【国際出願番号】 US2022017010
(87)【国際公開番号】W WO2022178270
(87)【国際公開日】2022-08-25
(32)【優先日】2021-02-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】506227172
【氏名又は名称】コレクターズ・ユニバース・インコーポレイテッド
【氏名又は名称原語表記】Collectors Universe, Inc.
【住所又は居所原語表記】1610 East Saint Andrew Place,Suite 150 Santa Ana, California 92705 United States
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】シャランべリゼ,デイビッド
(72)【発明者】
【氏名】リネーン,ケビン シー.
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA03
5L096CA04
5L096CA17
5L096DA01
5L096EA03
5L096EA13
5L096EA15
5L096EA16
5L096EA35
5L096EA39
5L096FA62
5L096FA66
5L096FA67
5L096FA69
5L096GA55
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
一部の実施形態では、方法が、収集品の1組の合成画像を生成するために収集品の1組の画像を拡張することを含み得る。方法は、訓練セットをもたらすために収集品の1組の画像と収集品の1組の合成画像とを組み合わせることを更に含み得る。方法は、訓練セットに基づいて1組の機械学習モデルを訓練することを更に含み得る。1組の機械学習モデルからの各機械学習モデルは、1組の画像属性からの画像属性に対するグレードを生成することができる。1組の画像属性は、縁、角、中心、又は表面を含み得る。方法は、訓練セット内に含まれない収集品の画像に対する1組のグレードを生成するために1組の機械学習モデルを訓練後に実行することを更に含み得る。
【特許請求の範囲】
【請求項1】
複数の収集品の1組の画像を受信することであって、前記1組の画像の各画像は、少なくとも1つの欠陥種類ラベル、及び前記複数の収集品からの収集品の表面の状態に関する第1のグレード分類ラベル、前記収集品の縁の状態に関する第2のグレード分類ラベル、前記収集品の角の状態に関する第3のグレード分類ラベル、又は前記収集品のセンタリングの状態に関する第4のグレード分類ラベルの少なくとも1つに関連する、受信すること、
前記1組の画像の各画像について、その画像内の前記収集品を画定する境界を検出し、その画像に関する前記境界が所定の形状を有さない前記1組の画像からのその画像に対して遠近法ワープ変換を実行し、前記収集品を画定する前記境界内にないその画像の部分を除去することにより、前記1組の画像に基づいて1組の前処理済みの画像を生成すること、
前記1組の前処理済みの画像からの各前処理済みの画像、その前処理済みの画像に関連する少なくとも1つの欠陥種類ラベル、及び(1)その前処理済みの画像に関連する前記第1のグレード分類ラベル、(2)その前処理済みの画像に関連する前記第2のグレード分類ラベル、(3)その前処理済みの画像に関連する前記第3のグレード分類ラベル、又は(4)その前処理済みの画像に関連する前記第4のグレード分類ラベルの少なくとも1つに基づいて少なくとも1つのモデルを訓練すること、
前記複数の収集品に含まれない新たな収集品の新たな画像に前記少なくとも1つのモデルを適用すること、及び
前記新たな収集品が欠陥を含むこと、前記欠陥のおおよその位置、及び前記欠陥に関連する欠陥の種類を示す出力を表示させること
を含む、方法。
【請求項2】
前記1組の画像からの第1の画像が第1の照明条件下で撮られ、前記1組の画像からの第2の画像が前記第1の照明条件と異なる第2の照明条件下で撮られる、請求項1に記載の方法。
【請求項3】
前記1組の画像からの第1の画像が前記複数の収集品からの第1の収集品に対して第1の角度で撮られ、前記1組の画像からの第2の画像が前記第1の収集品又は前記第1の収集品と異なる前記複数の収集品からの第2の収集品の1つに対して第2の角度で撮られ、前記第2の角度が前記第1の角度と異なる、請求項1に記載の方法。
【請求項4】
前記1組の画像からの第1の画像が第1の背景と共に撮られ、前記1組の画像からの第2の画像が前記第1の背景と異なる第2の背景と共に撮られる、請求項1に記載の方法。
【請求項5】
前記1組の前処理済みの画像を前記生成することが、所定の大きさではない大きさを有する前記1組の画像からの各画像をサイズ変更して、その画像に前記所定の大きさを有させることを更に含む、請求項1に記載の方法。
【請求項6】
前記1組の前処理済みの画像を前記生成することが、所定の解像度の範囲内にない解像度を有する前記1組の画像からの各画像をサイズ変更して、その画像に前記所定の解像度の範囲内の前記解像度を有させることを更に含む、請求項1に記載の方法。
【請求項7】
前記少なくとも1つのモデルが過剰適応を減らすための少なくとも1つのドロップアウト層を含む、請求項1に記載の方法。
【請求項8】
ランダム探索アルゴリズム、ハイパーバンドアルゴリズム、又はベイジアン最適化アルゴリズムの少なくとも1つを使用して、前記少なくとも1つのモデルに関連するハイパーパラメータを改善すること
を更に含む、請求項1に記載の方法。
【請求項9】
前記少なくとも1つのモデルが、(1)(a)前記1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する前記第1のグレード分類ラベルを使用して訓練される第1のモデルと、(2)(a)前記1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する前記第2のグレード分類ラベルを使用して訓練される第2のモデルと、(3)(a)前記1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する前記第3のグレード分類ラベルを使用して訓練される第3のモデルと、(4)(a)前記1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する前記第4のグレード分類ラベルを使用して訓練される第4のモデルと、(5)(a)前記1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する前記少なくとも1つの欠陥種類ラベルを使用して訓練される第5のモデルとを含む、請求項1に記載の方法。
【請求項10】
プロセッサによって実行される命令を表すコードを記憶する非一時的プロセッサ可読媒体であって、前記命令は、
収集品の画像を前処理して前記画像内の前記収集品を画定する境界を検出することによって前処理済みの画像を生成し、前記境界に所定の形状を有させるために遠近法ワープ変換を実行し、前記収集品を画定する前記境界内にない前記画像の部分を除去すること、
前記前処理済みの画像に機械学習(ML)モデルを適用して複数の欠陥信頼水準を生成することであって、前記複数の欠陥信頼水準からの各欠陥信頼水準は、(1)前記前処理済みの画像の複数の固有部分からの前記前処理済みの画像の固有部分に関連し、(2)前記前処理済みの画像のその固有部分内に少なくとも1つの欠陥がある可能性を示す、生成すること、
前記前処理済みの画像をディスプレイ上に表示させること、及び
所定の範囲外の前記複数の欠陥信頼水準からの欠陥信頼水準に関連する前記複数の固有部分からの前記前処理済みの画像の各固有部分を前記ディスプレイ上で示させること
を前記プロセッサに行わせるためのコードを含む、非一時的プロセッサ可読媒体。
【請求項11】
前記MLモデルが第1のMLモデルであり、前記コードが、
前記前処理済みの画像に第2のMLモデルを適用して前記収集品の表面の状態を示す第1のスコアを生成すること、
前記前処理済みの画像に第3のMLモデルを適用して前記収集品の縁の状態を示す第2のスコアを生成すること、
前記前処理済みの画像に第4のMLモデルを適用して前記収集品の角の状態を示す第3のスコアを生成すること、
前記前処理済みの画像に第5のMLモデルを適用して前記収集品のセンタリングの状態を示す第4のスコアを生成すること、
前記第1のスコア、前記第2のスコア、前記第3のスコア、及び前記第4のスコアに基づいて前記収集品の全体的な状態を示す少なくとも1つのラベルを前記収集品に割り当てること、及び
その欠陥信頼水準と関連付けられた前記前処理済みの画像の固有部分上にスーパーインポーズされる形で前記複数の欠陥信頼水準からの各欠陥信頼水準を表示すること
を前記プロセッサに行わせるためのコードを更に含む、請求項10に記載の非一時的プロセッサ可読媒体。
【請求項12】
前記コードが、
前記前処理済みの画像にコンピュータビジョンモデルを適用して前記収集品に関連するカードの種類、選手の情報、又はキャラクタの情報の少なくとも1つを識別すること
を前記プロセッサに行わせるためのコードを更に含み、
前記カードの種類、前記選手の情報、又は前記キャラクタの情報の少なくとも1つは、前記複数の欠陥信頼水準を生成するための前記第1のMLモデル、前記第1のスコアを生成するための前記第2のMLモデル、前記第2のスコアを生成するための前記第3のMLモデル、前記第3のスコアを生成するための前記第4のMLモデル、又は前記第4のスコアを生成するための前記第5のMLモデルの少なくとも1つによって使用される、
請求項11に記載の非一時的プロセッサ可読媒体。
【請求項13】
前記コードが、
前記前処理済みの画像に関してカードの種類、選手の情報、又はキャラクタの情報の少なくとも1つを決定すること
を前記プロセッサに行わせるためのコードを更に含み、
前記MLモデルは、前記複数の欠陥信頼水準を生成するために前記カードの種類、前記選手の情報、又は前記キャラクタの情報の少なくとも1つに更に適用される、
請求項10に記載の非一時的プロセッサ可読媒体。
【請求項14】
前記前処理が、所定の解像度の範囲内の解像度を前記画像に有させるために前記画像をサイズ変更することを更に含む、請求項10に記載の非一時的プロセッサ可読媒体。
【請求項15】
前記所定の形状が矩形である、請求項10に記載の非一時的プロセッサ可読媒体。
【請求項16】
前記第1のMLモデルを前記適用することが、前記第2のMLモデルを前記適用すること、前記第3のMLモデルを前記適用すること、前記第4のMLモデルを前記適用すること、及び前記第5のMLモデルを前記適用することの前に行われ、
前記第2のMLモデルを前記適用すること、前記第3のMLモデルを前記適用すること、前記第4のMLモデルを前記適用すること、又は前記第5のMLモデルを前記適用することの少なくとも2つが並列に行われる、
請求項11に記載の非一時的プロセッサ可読媒体。
【請求項17】
メモリと
前記メモリに動作可能に結合されるプロセッサと
を含む機器であって、前記プロセッサは、
収集品の1組の合成画像を生成するために収集品の1組の画像を拡張すること、
訓練セットをもたらすために前記収集品の1組の画像と前記収集品の1組の合成画像とを組み合わせること、
前記訓練セットに基づいて1組の機械学習モデルを訓練することであって、前記1組の機械学習モデルからの各機械学習モデルは、1組の画像属性からの画像属性に対するグレードを生成するように構成され、前記1組の画像属性は縁、角、中心、又は表面の少なくとも1つを含む、訓練すること、及び
前記訓練セット内に含まれない収集品の画像に対する1組のグレードを生成するために前記1組の機械学習モデルを訓練後に実行すること
を行うように構成される、
機器。
【請求項18】
前記拡張することが、前記1組の画像からの第1の画像を回転させること、前記第1の画像を垂直にシフトすること、前記第1の画像を水平にシフトすること、前記第1の画像をスケーリングすること、前記第1の画像の輝度を調節すること、前記第1の画像のコントラストを調節すること、前記第1の画像を垂直にフリップすること、又は前記第1の画像を水平にフリップすることの少なくとも1つを含む、請求項17に記載の機器。
【請求項19】
前記1組の画像からの少なくとも1つの画像が少なくとも1つの第1のカメラ設定を使用して捕捉され、前記訓練セット内に含まれない前記収集品の前記画像が前記少なくとも1つの第1のカメラ設定と異なる第2のカメラ設定を使用して捕捉される、請求項17に記載の機器。
【請求項20】
前記収集品がトレーディングカード、コイン、又は通貨の少なくとも1つである、請求項17に記載の機器。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本願は、参照によりその全内容を本明細書に援用する、2021年2月18日に出願され「METHODS AND APPARATUS FOR GRADING IMAGES OF COLLECTABLES USING MACHINE LEARNING MODELS」と題された米国仮特許出願第63/150,793号の優先権及び利益を主張する。
【0002】
技術分野
[0002] 本開示は「実際の」物を表す画像の画像解析に関し、具体的には収集品の画像をグレーディング(grading)するために画像の1つ又は複数のセグメントに対して画像解析を行うための機器及び方法に関する。
【背景技術】
【0003】
背景
[0003] 収集品の画像をグレーディングすることは、例えば資産の価値を評価するのに有用であり得る。収集品の画像をグレーディングすることは、例えば収集品の角又は縁を表すセグメント等の画像の様々なセグメントをグレーディングすることを含み得る。しかし知られている評定方法は多くの労力を要し、多くの費用を要し得る。従って、収集品を正確に及び効率的にグレーディングするための機器及び方法が求められている。
【発明の概要】
【課題を解決するための手段】
【0004】
概要
[0004] 一部の実施形態では、方法が収集品群の1組の画像を受信することを含み得る。1組の画像の各画像は、少なくとも1つの欠陥種類ラベル、及び収集品群からの収集品の表面の状態に関する第1のグレード分類ラベル、収集品の縁の状態に関する第2のグレード分類ラベル、収集品の角の状態に関する第3のグレード分類ラベル、又は収集品のセンタリングの状態に関する第4のグレード分類ラベルの少なくとも1つに関連する。この方法は、1組の画像の各画像について、その画像内の収集品を画定する境界を検出し、その画像に関する境界が所定の形状を有さない1組の画像からのその画像に対して遠近法ワープ変換を実行し、収集品を画定する境界内にないその画像の部分を除去することにより、1組の画像に基づいて1組の前処理済みの画像を生成することを更に含み得る。この方法は、1組の前処理済みの画像からの各前処理済みの画像、その前処理済みの画像に関連する少なくとも1つの欠陥種類ラベル、及び(1)その前処理済みの画像に関連する第1のグレード分類ラベル、(2)その前処理済みの画像に関連する第2のグレード分類ラベル、(3)その前処理済みの画像に関連する第3のグレード分類ラベル、又は(4)その前処理済みの画像に関連する第4のグレード分類ラベルの少なくとも1つに基づいて少なくとも1つのモデルを訓練することを更に含み得る。この方法は、収集品群に含まれない新たな収集品の新たな画像に少なくとも1つのモデルを適用することを更に含み得る。この方法は、新たな収集品が欠陥を含むこと、欠陥のおおよその位置、及び欠陥に関連する欠陥の種類を示す出力を表示させることを更に含み得る。
【0005】
[0005] 一部の実施形態では、非一時的プロセッサ可読媒体がプロセッサによって実行される命令を表すコードを記憶する。その命令は、収集品の画像を前処理して画像内の収集品を画定する境界を検出することによって前処理済みの画像を生成し、境界に所定の形状を有させるために遠近法ワープ変換を実行し、収集品を画定する境界内にない画像の部分を除去することをプロセッサに行わせるためのコードを含む。命令は、前処理済みの画像に機械学習(ML)モデルを適用して欠陥信頼水準群を生成することをプロセッサに行わせるためのコードを更に含み得る。欠陥信頼水準群からの各欠陥信頼水準は、(1)前処理済みの画像の固有部分群からの前処理済みの画像の固有部分に関連し、(2)その前処理済みの画像の固有部分内に少なくとも1つの欠陥がある可能性を示す。命令は、前処理済みの画像をディスプレイ上に表示させることをプロセッサに行わせるためのコードを更に含み得る。命令は、所定の範囲外の欠陥信頼水準群からの欠陥信頼水準に関連する固有部分群からの前処理済みの画像の各固有部分をディスプレイ上で示させることをプロセッサに行わせるためのコードを更に含み得る。
【0006】
[0006] 一部の実施形態では、機器がメモリとメモリに動作可能に結合されるプロセッサとを含む。プロセッサは、収集品の1組の合成画像を生成するために収集品の1組の画像を拡張するように構成され得る。プロセッサは、訓練セットをもたらすために収集品の1組の画像と収集品の1組の合成画像とを組み合わせるように更に構成され得る。プロセッサは、訓練セットに基づいて1組の機械学習モデルを訓練するように更に構成され得る。1組の機械学習モデルからの各機械学習モデルは、1組の画像属性からの画像属性に対するグレードを生成するように構成される。1組の画像属性は、縁、角、中心、又は表面の少なくとも1つを含む。プロセッサは、訓練セット内に含まれない収集品の画像に対する1組のグレードを生成するために1組の機械学習モデルを訓練後に実行するように更に構成され得る。
【図面の簡単な説明】
【0007】
図面の簡単な説明
【
図1】[0007]一実施形態による、グレーディング装置の概略的なブロック図である。
【
図2】[0008]一実施形態による、グレーディング装置の訓練方法の流れ図である。
【
図3】[0009]一実施形態による、グレーディング装置の使用方法の流れ図である。
【
図4】[0010]一実施形態による、グレーディング装置の訓練方法の流れ図である。
【
図5】[0011]一実施形態による、グレーディングに使用される機械学習モデルの概略的な描写である。
【
図6】[0012]一実施形態による、1組の前処理済みの画像に基づいてモデルを訓練し使用するための方法の流れ図である。
【
図7】[0013]一実施形態による、欠陥信頼水準を生成し使用するためにモデルを使用するための方法の流れ図である。
【
図8】[0014]一実施形態による、1組の合成画像を含む訓練セットを使用してモデルを訓練するための方法の流れ図である。
【発明を実施するための形態】
【0008】
詳細な説明
[0015] 実施形態の様々な側面及び改変形態の非限定的な例を本明細書に記載し、添付図面に示す。
【0009】
[0016] 本明細書に記載する方法及び機器は、例えばトレーディングカード(例えばスポーツカード、ゲームカード等)、コイン、通貨等の資産のグレーディングを生成することができる。
【0010】
[0017]
図1は、一実施形態によるグレーディング装置101の概略的なブロック図である。グレーディング装置101(本明細書では「評定装置」とも呼ぶ)は、例えばコンピュータ、デスクトップ、ラップトップ、スマートフォン等のハードウェアベースの計算装置及び/又はマルチメディア装置とすることができ、又はそれらを含み得る。グレーディング装置101は、メモリ102、通信インタフェース103、及びプロセッサ104を含む。グレーディング装置101は、収集品(例えばトレーディングカード、スポーツカード、収集カード、コイン、通貨、美術品、切手、アンティーク品、漫画本、おもちゃ、宝石等)の画像に関するグレードを集合的に生成することができる1組のグレーダモデル105を動作させることができる。
【0011】
[0018] グレーディング装置101のメモリ102は、例えばメモリバッファ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードドライブ、フラッシュドライブ等であり得る。メモリ102は、例えば収集品の1組の画像(例えばトレーディングカードの1組の画像、収集カードの1組の画像、コインの1組の画像、切手の1組の画像、美術品の1組の画像等)、1組のグレード(例えば1組の数値)、及び/又は1つ若しくは複数のプロセス若しくは機能(例えば1組のグレーダモデル105)をプロセッサ104に実行させるための命令を含むコード(例えばC、C++、Python等で書かれたプログラム)を記憶し得る。
【0012】
[0019] グレーディング装置101の通信インタフェース103は、グレーディング装置101と外部装置(例えばネットワーク、計算装置、及び/又はサーバ、不図示)との間のデータ通信を促進するためのグレーディング装置101のハードウェアコンポーネントであり得る。通信インタフェース103は、プロセッサ104及び/又はメモリ102に動作可能に結合することができ、それらによって使用され得る。通信インタフェース103は、例えばネットワークインタフェースカード(NIC)、Wi-Fi(登録商標)モジュール、Bluetooth(登録商標)モジュール、光通信モジュール、及び/又は他の任意の適切な有線及び/又は無線通信インタフェースであり得る。
【0013】
[0020] プロセッサ104は、例えば1組の命令又は1組のコードを走らせ又は実行するように構成されるハードウェアベースの集積回路(IC)又は他の任意の適切な処理装置であり得る。例えばプロセッサ104は、汎用プロセッサ、中央処理装置(CPU)、特定用途向け集積回路(ASIC)、グラフィックス処理ユニット(GPU)等を含み得る。プロセッサ104は、システムバス(例えばアドレスバス、データバス、及び/又は制御バス、不図示)によってメモリ102に動作可能に結合される。プロセッサ104は1組のグレーダモデル105を含む。1組のグレーダモデル105からの各グレーダモデルは、収集品の1組の画像からの収集品の属性又は画像の一部をグレーディングするように構成することができ、メモリ102内に記憶されプロセッサ104によって実行されるソフトウェアを含み得る。一部の例では、1組のグレーダモデル105からのグレーダモデルが、収集品及び/又はカード種類プレディクタ(不図示)及び/又はタイル欠陥プレディクタ(不図示)を含み得る。収集品及び/又はカード種類プレディクタ又はタイル欠陥プレディクタのそれぞれは、メモリ102内に記憶されプロセッサ104によって実行されるソフトウェアを含み得る。
【0014】
訓練済みモデルの生成
[0021]
図4は、一実施形態によるグレーディング装置(例えばグレーディング装置101)の訓練方法の流れ図である。一部の実装形態では、
図4に関して論じる方法がプロセッサ(例えば
図1のプロセッサ104)によって実行され得る。ステップ1で、訓練画像を前処理する。前処理することは、訓練画像及び/又は訓練画像の一部(例えば収集品だけの画像)が少なくとも1つの側面において標準化された形式を有することを引き起こし得る。前処理は、例えば訓練画像及び/又はその一部を切り取り、トリミング、フィルタリング、変形、及び/又はサイズ変更することを含み得る。訓練画像及び/又は前処理済み訓練画像は、センタリンググレード、タイル欠陥ラベル、収集品及び/又はカードの種類のラベル、選手の情報、キャラクタの情報、縁のグレード、角のグレード等の1つ又は複数のラベル及び/又はグレードに関連し得る。更に、本明細書でより詳細に論じるように、一部の例では合成画像を訓練のために生成することができる。
【0015】
[0022] ステップ2で、様々なセンタリンググレードを有する収集品(例えばカード、切手、美術品等)を比較することによってホモグラフィ値を生成する。ステップ7で、ホモグラフィ値、センタリンググレードのラベル、及び/又は前処理済み訓練画像を使用してセンタリンググレードの回帰モデル(例えばニューラルネットワーク)を訓練して訓練済みセンタリングモデルを生成することができる。一部の実装形態では、センタリンググレードの回帰モデルのための入力学習データとしてホモグラフィ値及び/又は前処理済み画像を使用することができ、センタリンググレードの回帰モデルのための標的学習データとしてセンタリンググレードのラベルを使用することができる。
【0016】
[0023] ステップ3で、前処理済み訓練画像のそれぞれについてNxNの表面タイルを生成する。ステップ8で、欠陥を識別する(例えば表面タイルに関する欠陥信頼水準を生成する)ために、表面タイル、表面タイルに関連し得る欠陥ラベル、収集品及び/又はカードの種類のラベル、選手の情報、及び/又はキャラクタの情報を使用して欠陥分類モデルを訓練することができる。次いでステップ11で、表面タイル、欠陥ラベル、収集品及び/又はカードの種類、選手の情報、及び/又はキャラクタの情報を使用して訓練済み欠陥分類モデルを実行して、表面タイルごとに欠陥信頼水準を生成することができる。ステップ12で、前処理済み訓練画像、ステップ8で訓練された欠陥分類モデルからの転送重み、及びステップ11で生成された欠陥信頼水準を使用して表面グレードの回帰モデルを訓練することができる。
【0017】
[0024] ステップ4で、前処理済み訓練画像を使用して縁の画像を生成する。縁の画像及び縁のグレードのラベルは、縁のグレードの回帰モデルを訓練し生成するためにステップ9で使用することができる。一部の実装形態では、縁のグレードの回帰モデルのための入力学習データとして縁の画像を使用することができ、縁のグレードの回帰モデルのための標的学習データとして縁のグレードのラベルを使用することができる。
【0018】
[0025] ステップ5で、前処理済み訓練画像を使用して角の画像を生成する。角の画像及び角のグレードのラベルは、角のグレードの回帰モデルを訓練し生成するためにステップ10で使用することができる。一部の実装形態では、角のグレードの回帰モデルのための入力学習データとして角の画像を使用することができ、角のグレードの回帰モデルのための標的学習データとして角のグレードのラベルを使用することができる。
【0019】
[0026] ステップ6で、前処理済み訓練画像を使用して(例えばコンピュータビジョンを使用して)収集品及び/又はカードの種類/選手/キャラクタの分類モデルを訓練し生成することができる。収集品及び/又はカードの種類/選手/キャラクタの分類モデルは、収集品の種類、カードの種類(例えばセット、年等)、切手の種類(例えば年、発行等)、コインの種類、選手の情報、キャラクタの情報、及び/又は収集品に関する他の任意の情報を識別するように訓練することができる。一部の実装形態では、ステップ6がステップ8及びステップ11の前に行われ、訓練済みの収集品及び/又はカードの種類/選手/キャラクタの分類モデルが、ステップ8及びステップ11で使用される収集品の種類、カードの種類、選手の情報、切手の種類(例えば年、発行等)、コインの種類、キャラクタの情報、及び/又は収集品に関する他の情報を出力する。一部の実装形態では、ステップ1~12を任意の順序で実行することができる。一部の実装形態では、ステップ1~12を連続して、並列に、又はその任意の組み合わせで実行することができる。
【0020】
画像の前処理
[0027] 1組のグレーダモデル105を訓練するために使用される収集品の1組の画像(例えばスポーツカード、ゲームカード、コレクタカード、コイン、切手、美術品等の画像)、及び/又は訓練後に1組のグレーダモデル105を実行するとき使用される(収集品の1組の画像の中にない)収集品の画像は、グレーディング装置又はグレーディング装置101に動作可能に結合される装置の撮像装置(例えばカメラ、スキャナ等(不図示))を使用して撮ることができる。例えば収集品の1組の画像及び/又は収集品の画像は、スマートフォンのカメラ又はスキャナによって撮ることができる。従ってグレーディング装置101のプロセッサ104によって処理するための画像は僅かに異なる角度で、様々な照明条件下で撮ることができ、及び/又は実際の収集品(例えばカード)を取り巻く追加の背景も含み得る。従って、1組のグレーダモデル105を訓練するために使用される画像(例えば収集品の1組の画像)及び/又は(例えば収集品の画像を正規化するために)1組のグレーダモデル105によってグレーディングされる画像に基づく前処理済みの画像を生成するために画像の前処理を使用することができる。一部の例では、訓練目的及び/又はグレーディング目的で収集品の画像を使用するために、任意の適切な技法を使用して以下の前処理ステップの1つ又は複数を実行することができる(例えば
図4のステップ1):
1.収集品の画像内の収集品の境界検出。
2.不完全な角度から撮られた収集品の画像を矩形に変換するための遠近法ワープ変換。
3.収集品の画像内の収集品の境界を取り囲む外部領域をトリミングすることによる背景の除去。
4.1組のグレーダモデル105からの機械学習モデルによる処理に適した均一の大きさ及び解像度に収集品の画像をサイズ変更すること。
【0021】
[0028] 一部の実装形態では、境界検出アルゴリズムをほぼリアルタイムで適用し、矩形に最も近い検出済みの境界を有するフレームを選択することにより、収集品の画像の所望のショットを(例えば画像装置からの)ライブカメラのビデオフィード及び/又は録画から選択することができる。そうすることで遠近法ワープ変換の程度を最小化し、画質及び全体的なグレーディングの精度を改善することができる。加えて又は或いは、収集品の画像の所望のショットは、サイズ変更及び/又は解像度の調節を適用し、所望の大きさ及び/又は解像度に最も近い大きさ及び/又は解像度を有するフレームを選択することによってライブカメラのビデオ及び/又は録画から選択することができる。一部の実装形態では、収集品について複数の画像(例えばビデオ及び/又は複数の静止画からのフレーム)が存在する場合、収集品のグレードを生成するために選択された所望のショットを使用することができる。
【0022】
[0029] 一部の実装形態では、光沢のある表面を有する収集品の画像では、気を散らす反射、画像内の飽和、又は白点を含むビデオのフレームを検出し飛ばすために追加の前処理ステップを実行することができる。気を散らす反射、画像内の飽和、又は白点を検出し、不所望のフレーム、ピクセル等を収集品の画像からフィルタで除去するために追加の機械学習モデルを訓練することができる。一部の実装形態では、収集された収集品の画像又はビデオフレームの影響を受けていない部分をステッチすることによって収集品の最終画像をもたらすことができる。例えば第1のフレームにおける収集品の第1の画像が第1の画像の上半分に反射を含み、(第1のフレームと異なる)第2のフレームにおける収集品の(第1の画像と異なる)第2の画像が第2の画像の下半分に反射を含む場合、第1の画像の下半分を第2の画像の上半分と組み合わせて(例えばステッチして)、(例えば上半分が下半分と重複しない、又は上半分が下半分と部分的に重複する)気を散らす反射なしの最終画像を形成することができる。
【0023】
グレーディング
[0030] 一部の例では、例えば資産(例えばスポーツカード等の収集品)のグレーディングが(例えば1から10までの尺度の)数値範囲内の4つのスコア(又はグレード)を含み得る。スコアは資産の表面の状態、資産の縁の状態、資産の角の状態、及び/又は資産のセンタリングの状態を表し得る。一部の例では、スコア(又はグレード)の値が大きいことは(例えば表面、縁、角、又はセンタリングの)状態がよいことを意味し得る。資産(又は収集品)のそれぞれの面が別々にグレーディングされてもよく、1組の独自のグレードを有し得る。この例では4つのスコアを示すが、他の実装形態では資産の様々な側面及び/又は属性に関する任意の数のスコアを識別し使用することができる。
【0024】
[0031] 資産のグレーディングは、特定の種類のグレードを扱うように設計される機械学習モデル(例えば人工ニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、自己組織化マップ、ボルツマン機械、オートエンコーダ等)のアンサンブルを訓練することによって実現され得る。各種のグレードは1つ又は複数の指定の機械学習モデル(例えばニューラルネットワークモデル)を有し得る。一部の実装形態では、2つの機械学習モデルを使用してグレード(例えば表面のグレード)を識別することができる。一部の実装形態では、各グレードが任意の数の機械学習モデルを使用して識別され得る。
【0025】
[0032] 一部の実装形態では、第1の機械学習モデルが、幾つかのほぼ等しい小区画(例えばタイル)に分割される収集品の1組の画像の表面画像上の表面の欠陥の種類を検出するように構成され及び/又は訓練され得る。一部の実装形態では、収集品の表面画像がほぼ等しい区画に分割され、(1)(欠陥がある又はないものを含む)各区画に、又は(2)欠陥を有する区画だけに1つ又は複数の欠陥ラベルを(例えば人間によって、機械学習モデルによって、コンピュータビジョンアルゴリズム等によって)割り当てることができる。欠陥ラベルは、欠陥があること及び/又は所与の区画における欠陥の種類(例えばしわ、折れ目等)を示す文字、単語、数字等であり得る。欠陥ラベル及び様々な等しい区画は、第1の機械学習モデルを訓練するために使用することができる。例えば各区画はニューラルネットワークのための入力学習データとして使用することができ、その区画に関連する欠陥ラベルはニューラルネットワークのための出力学習データとして使用することができる。第2の機械学習モデルは、収集品の全表面画像並びにその収集品に関する第1の機械学習モデルからのタイル欠陥情報を使用することにより、最終的なグレードの回帰を行うことができる。機械学習モデルは、専門家の人間のグレーダによって予めグレーディングされ得る収集品の既存の(例えば数千の)画像を含む訓練データセットを使用して訓練することができる。表面のグレードでは、例えば訓練データセットはそれぞれの収集品の写真に割り当てられるグレードラベル並びに個々のタイルに割り当てられる欠陥の種類ラベルを含み得る。
【0026】
[0033] 訓練プロセスの入力は、表面に関する第1のグレード分類ラベル(例えば1から10までの整数値)、縁に関する第2のグレード分類ラベル(例えば1から10までの整数値)、角に関する第3のグレード分類ラベル(例えば1から10までの整数値)、及び/又はセンタリングに関する第4のグレード分類ラベル(例えば1から10までの整数値)にそれぞれ関連する収集品の1組の画像を提供することを含む。グレード分類ラベルは、収集品の1組の画像からの各画像の表面及び裏面について別々に各写真に割り当てることができる。
【0027】
[0034] 表面のグレードでは、グレードラベルに加えて訓練セットは、NxNグリッドのタイルによって輪郭が描かれる収集品の画像の個々の表面タイルに割り当てられる様々な欠陥の種類のための分類ラベルを含み得る。タイルのグリッド内の各タイルは、例えばしわ、折れ目、印刷欠陥、しみ、インク等の複数の種類の欠陥ラベルを有し得る。一部の実装形態では、(例えば文字、数字等として表される)1組の表面傷コードがタイル欠陥の種類を表し得る。一部の例では、1組の表面傷コードが例えば以下を含み得る:
C-しわ、折れ目、曲がり、つぶれ等
H-穴、ピンホール、パンチ等
I-痕跡、擦り傷等
M-ミスカット
P-印刷、汚れ、位置合わせ等
S-しみ
T-破れ、裂け、折り曲がり等
W-書き込み、インク等
角/縁の傷コード
X-角(1~4)
E-縁(1~N)
A-損耗(用紙又は表面の丸まり及び/又は小損害)
B-しわ又は浮き上がり(角の面におけるしわ/曲がり又は浮き上がり)
Y-衝突(表面傷コードでは示されない痕跡、凹み、又は他のくぼみ)
【0028】
[0035] 一部の実装形態では、収集品及び/又はカードの種類(例えばどのセットに含まれるか、製造年、製造会社等)、選手及び/又はキャラクタの情報、切手の種類(例えば年、発行等)、コインの種類(例えば年、コインの識別等)、及び/又は収集品に関する他の任意の情報を検出するように追加のモデルを訓練することができる。この情報は、特定の収集品及び/又はカードの種類に固有の偽陽性の数を減らすために基礎を成すグレードモデル(例えば上記の機械学習モデル)で使用することができる。例えば一部のカードは、間違って欠陥として識別され得る選手の服上の折れ目を含む場合がある。グレーディングモデルの入力にカードの種類及び/又は選手/キャラクタの情報(及び/又は収集品に固有の他の情報)を追加することは、収集品に固有の例外を使用してモデルを訓練することによってかかる偽陽性をなくすのを助け得る。追加のモデルは、例えば機械学習モデル、人工知能モデル、解析モデル、又は数学モデルであり得る。一部の実装形態では、コンピュータビジョンを使用して収集品及び/又はカードの種類、選手の情報、キャラクタの情報、切手の種類(例えば年、発行等)、コインの種類(例えば年、コインの識別等)、及び/又は収集品に関する他の任意の情報を検出するように追加のモデルを訓練することができる。一部の実装形態では、追加のモデルは教師あり学習を使用して訓練することができる。一部の実装形態では、追加のモデルは教師なし学習を使用して訓練することができる。一部の実装形態では、追加のモデルは、収集品(例えばカード)の画像を入力学習データとして使用して、並びにカードの種類、選手の情報、キャラクタの情報、及び/又はその収集品に固有の特性を出力学習データとして使用して訓練されるニューラルネットワーク(例えば畳み込みニューラルネットワーク)である。
【0029】
[0036] その結果生じる訓練済み機械学習モデルは、(
図3のステップ301に示すような)収集品に対するグレーディングを行うために使用することができる。グレーディングプロセスの間、訓練段階にあるのと同じ(ステップ302における)画像前処理ステップを収集品(例えば訓練データに関連しない新たな収集品)の入力画像に適用して前処理済みの画像を生成することができる。次いでグレードを予測するために、グレードを予測するための(例えば訓練済みの表面グレードの回帰モデルを含む)1組のグレーダモデル105に前処理済みの画像を入力することができる。1組のグレーダモデル105は、カードの種類及び/又は選手/キャラクタの情報(又は収集品に関する他の情報)を(ステップ303で)予測することができる。1組のグレーダモデル105は(ステップ304で)タイル欠陥を更に予測することができる。1組のグレーダモデル105は、収集品に関する情報(例えばカードの種類、選手/キャラクタの情報)、タイル欠陥、及び/又は1組のグレーダモデル105によって生成される他のグレードに基づいて(ステップ305で)グレードを更に予測することができる。一部の実装形態では、1組のグレーダモデル105によってグレードが計算された後、グレーダモデルの畳み込み層の重みから追加のオーバレイ画像を構築することができる。オーバレイ画像は、収集品の1組の画像(例えばカードの画像)からの欠陥が識別される特定の画像領域を強調表示するために使用することができる。加えて又は或いは、オーバレイ画像は収集品の1組の画像からの欠陥が識別されない特定の画像領域を強調表示するために使用することができる。
【0030】
表面のためのグレーダ
[0037] 1組のグレーダモデル105は表面グレーダモデルを含み得る。一部の実装形態では、表面グレーダモデルは以下の2つの別個のモデルのアンサンブルとすることができ、又はそれらを含み得る:
・タイル欠陥分類モデル
・表面グレードの回帰モデル
一部の実装形態では、タイル欠陥分類モデル及び表面グレードの回帰モデルの両方を既存の機械学習モデルを使用して(例えば転移学習を使用して)生成することができる。例えば機械学習モデルは、汎用画像の膨大なデータセット(例えばImageNetデータセット(実世界の物体の1400万枚を超える画像を含む公的に入手可能なデータセット))を使用して訓練される事前訓練済みニューラルネットワークモデルであり得る。事前訓練済みニューラルネットワークモデルを使用することは、様々な物体の形状の既存の知識を機械学習モデルに追加することができ、知られている物体の形状と表面欠陥とを区別することにおいて1組のグレーダモデル105(例えばタイル欠陥分類モデル及び/又は表面グレードの回帰モデル)をより効果的にすることができる。一部の実装形態では、例えばVGGNet、ResNet、Inception、Xception等の事前訓練済みのImageNetベースのモデルを使用することができる。
【0031】
[0038] タイル欠陥分類モデルは、(
図4のステップ3及びステップ8に示すように)表面傷コードによって分類される訓練画像の小さいサブセットを使用して訓練することができる。タイル欠陥分類モデルを訓練した後、(
図4のステップ11に示すように)そのタイル欠陥分類モデルを使用して訓練セット内のタイルを分類し、各タイル上のあり得る欠陥に関する信頼水準を生成することができる。
【0032】
[0039] タイル欠陥分類モデル(例えばニューラルネットワーク)内の層の構造を一実施形態に従って
図5に示す。収集品の画像内のタイル欠陥を分類することを担う追加の層を(例えば汎用画像を用いて訓練される)ベースモデルに加えることができる。ドロップアウト層は、モデルの過剰適応を減らし、ニューラルネットワークに関するより優れた一般化をもたらすために使用され得る。一部の実装形態では、最終的な出力層のサイズはサポートされる欠陥の種類の数によって決定され得る。例えば或る特定の種類の収集品に関するグレーディング装置101の応用では、その特定の種類の収集品に対して起こり得るN(例えば7、10、100等)種類の欠陥があり得る。従って、タイル欠陥分類モデルの最終的な出力層のサイズはN(例えばNの整数)であり得る。例えば、タイル欠陥分類モデルの出力は0.0から1.0の範囲内のNの信頼水準を含むことができ、但しNはサポートされる欠陥の種類の数である。
【0033】
[0040] 表面グレードの回帰モデル内の層の構造は、タイル欠陥分類モデル内の層の構造と同様であり得る。層の構造の違いは、表面グレードの回帰モデルの最後の出力層のサイズであり得る。表面グレードの回帰モデルは回帰モデルなので、一部の実装形態では表面グレードの回帰モデルが表面グレードの連続値を表す1つの出力を有する。同様に述べると、出力がラベルであるタイル欠陥分類モデルとは対照的に、かかる実装形態ではグレードを10進数(例えば5.0、8.5、9.99)として表すことができる。
【0034】
[0041] 加えて、タイル欠陥分類モデル(
図5)からの重みは表面グレードの回帰モデルに転送することができ、タイル欠陥分類モデルによって学習される欠陥パターンを表面グレードの回帰モデルが認識できるようにする(
図4のステップ8及びステップ12)。
【0035】
縁及び角のためのグレーダ
[0042] 1組のグレーダモデル105は、縁及び角のための専用モデルを含み得る。一部の実装形態では、縁及び角のための専用モデルが同じ及び/又は同様の層の構造を有し得る。一部の例では、縁及び角のための専用モデルがタイル欠陥分類モデルと同様である場合があり、違いは最後の層(出力層)内の出力の数である。一部の実装形態では、縁及び角のための専用モデルが、連続的なグレード値(例えば0~10までの値)を表す1つの出力を有する。グレードは縁及び/又は角の状態を表すことができ、是正措置を行うべきかどうかを判定するために使用され得る。例えばグレードが所定の許容範囲の外側にある場合、その縁及び/又は角は欠陥があると示すことができる。
【0036】
[0043] 一部の実装形態では、縁グレーダモデル及び角グレーダモデルのための別個の入力画像を前処理済みの画像から抽出することができる。タイル欠陥分類モデル及び表面グレードの回帰モデルと同様に、縁グレーダモデル及び/又は角グレーダモデルは縁及び/又は角の欠陥を強調表示するためのオーバレイ画像を生成する能力を与え得る。
【0037】
センタリングのためのグレーダ
[0044] 1組のグレーダモデル105は、収集品がどの程度中心に位置するのかを判定するための、収集品の画像の中心のための専用モデルを含み得る。収集品がカード用紙上に印刷された(例えば選手又はキャラクタの)画像を含む一部の実装形態では、センタリングのグレードはカード用紙上で画像がどの程度中心にあるのかを指し得る。一部の実装形態では、収集品の画像の中心に関するグレードが、1組のホモグラフィ行列を入力として取る中心回帰グレーダモデルによって計算され得る。(
図4のステップ2に示すように)1組のホモグラフィ行列は、訓練セット内の前処理済みの画像を異なるセンタリングのグレードを有する幾つかの他の収集品(例えばカード)と比較することによって計算され得る。かかる手法は、様々なセンタリンググレード間のホモグラフィ距離が(例えばコンピュータビジョンを使用して)考慮される三角測量に類似し得る。グレードは収集品の画像に関するセンタリングの状態を表すことができ、是正措置を行うべきかどうかを判定するために使用され得る。例えばグレードが所定の許容範囲の外側にある場合、その収集品の画像のセンタリングは欠陥があると(例えばセンタリングの状態が不所望であることを示すテキスト又は他の任意のラベルによって)示すことができる。
【0038】
[0045] 一部の例では、ホモグラフィ値の他に、中心回帰グレーダモデルが収集品の特定の情報(例えばカードの種類及び/又は選手/キャラクタの情報)を入力として取ることができる。そうすることで収集品及び/又はカードの種類に固有のバイアスが回避されることを確実にし得る。
【0039】
不均衡な訓練データの扱い
[0046] 一部の例では、1組のグレーディングモデルを正確にする困難な部分は、限られた不均衡な訓練データセットを使用するときの訓練セットの過剰適応の問題である。
図1のグレーディング装置101は、収集品に固有の情報(例えばカードの種類、選手/キャラクタ、及びグレードの組み合わせ)ごとに多数のサンプルをカバーしない訓練セットを用いて正確な予測モデルを訓練することができる。換言すれば、グレーディング装置101の1組のグレーダモデル105は収集品の画像に基づいてグレードの生成を一般化するように開発される。そのため、極めて大きい訓練セット(例えば数十億枚の画像)を保持することなしに、訓練セットに基づいて訓練される同じ1組のグレーダモデルが訓練セット(例えば数千枚の画像)内の幾つかの再利用可能な画像に基づいて多岐にわたる収集品の画像(例えば多岐にわたるスポーツカード及び/又は選手のセット、多岐にわたる切手、多岐にわたる美術品等)を成功裏にグレーディングすることができる。
【0040】
[0047] 一部の実装形態では、不均衡な訓練データの一部の問題を回避する又は減らすための一般化方法が、例えば以下の1つ又は複数を含み得る:
1.訓練セットのアップサンプリング及びダウンサンプリング。このステップの目的は、訓練セットが全てのグレードにわたって幾つかのサンプルの相対的に等しい分散を有するように訓練セットを調節することである。平均を上回るサンプル数を有するグレードでは、過剰なサンプルをデータセットから無作為に削減することによってデータセットを減らすことができる(ダウンサンプリング)。平均未満のサンプル数を有するグレードでは、収集品の追加の合成画像を生成し、訓練セットに追加することができる(アップサンプリング)。
2.ドロップアウト層。ドロップアウト層を使用することは、グレーディングモデルの過剰適応を減らし一般化誤差を改善するための非常に計算的に安価で効果的な正則化方法を可能にする。
3.層の重みレギュラライザ。ドロップアウト層と同様に、重みレギュラライザはネットワーク内の重み値の範囲を制約することによって機械学習モデル(例えばニューラルネットワーク)の過剰適応の可能性を減らす。一部の例では、汎用画像データに基づいて訓練されるベースモデル内の層を含むネットワークの個々の層に重みレギュラライザを追加することができる。
4.一般化を改善し過剰適応を減らすためにK分割検証法を使用することができる。
5.合成訓練データを生成することによる追加の画像拡張。
【0041】
[0048] 一部の例では、ドロップアウト層の数、ドロップアウト率、及び/又は重みレギュラライザの数がハイパーパラメータの最適化段階中に決定され得る。ハイパーパラメータの最適化段階は、モデル(例えば
図1の1組のグレーダモデル105からのモデル)のハイパーパラメータを改善し、調整し、及び/又は最適化することができる。ハイパーパラメータの最適化に関する更なる詳細を以下で論じる。
【0042】
合成訓練画像
[0049] 一部の実装形態では、適度なデータセットに基づいて訓練される1組のグレーダモデル105の精度を更に改善するために、グレーディング装置101が(収集品の1組の画像に加えて)合成画像を生成することができる。一部の例では、追加の合成画像を用いて訓練セットを拡張するために、収集品の1組の画像に1組の画像拡張技法をランダムに適用することができる。1組の画像拡張技法は、収集品の1組の画像からの1つ又は複数の画像について、1組の合成画像を生成するための回転、垂直及び/又は水平シフト、スケーリング、輝度及びコントラスト調節、垂直及び/又は水平フリップ等を含み得る。1組の合成画像は、収集品の1組の画像に加えて、1組のグレーダモデル105からの1つ又は複数のグレーダモデルを訓練し又は再訓練するために使用することができる。一部の実装形態では、1組のグレーダモデル105からの1つ又は複数のグレーダモデルを訓練するために使用する前に、1組の合成画像を前処理(例えば遠近法ワープ変換、サイズ変更、背景のトリミング等)する。
【0043】
[0050] 1組の拡張技法は、異なる機能(例えば解像度、ズーム、フィルタ、デプス等)を有するカメラを使用して撮られる及び/又は異なる照明条件下(例えば角度)で撮られる収集品の画像に関する一貫したグレーディングの精度を保証し得る。拡張を使用することは訓練セット内のサンプル数を著しく拡張することもでき、1組のグレーダモデル105の一般化を改善し得る。
【0044】
ハイパーパラメータの調整
[0051] 1組のグレーダモデル105のハイパーパラメータは以下の調整アルゴリズム、つまりランダム探索、ハイパーバンド、ベイジアン最適化等の1つを使用して最適化することができる。特定の調整アルゴリズムの有効度は、訓練セット及び他の要因に基づいて異なり得る。従って、特定のモデル及び特定の訓練セットのための最良の精度を実現するために調整アルゴリズムを個々に評価することができる。
1組のグレーダモデル105のための調整可能なパラメータ及び/又はハイパーパラメータは例えば以下を含み得る:
1.ニューラルネットワークパラメータ
・レイヤサイズ
・ドロップアウト層の数
・ドロップアウト率
・重みレギュラライザの種類
・正則化係数
・ImageNetベースのモデルの種類
2.画像拡張パラメータ
・回転角度、シフト、輝度、スケーリング、及びフリップの範囲
3.訓練パラメータ
・オプティマイザの種類
・学習率
・バッチサイズ
・エポックの数
【0045】
欠陥可視化
[0052] 1組のグレーダモデル105によって識別される欠陥は、元の収集品の画像のオーバレイとして可視化することができる。オーバレイは、汎用画像データを使用して訓練されるモデルの最後の畳み込み層の重みから構築することができる。例えば汎用画像データを使用して訓練されるモデルがVGGNet(Visual Geometry Group Network)モデルである場合、最後の畳み込み層はblock5_conv3になる。大きい重み値は、対応するピクセル又はピクセル群において欠陥が検出される高い信頼度を表す。
【0046】
[0053] 重み値の範囲は、ヒートマップ表現を効果的に作成する様々なオーバレイの色又はピクセル強度を使用して表すことができる。重み値が一定の閾値を上回る高強度のクラスタの周りの輪郭を表示すること又はかかるクラスタの周りの領域を強調表示することにより、他の視覚的な手掛かりを実現することができる。かかる視覚的描写は、ユーザ装置(例えばグレーディング装置101及び/又はグレーディング装置に動作可能に結合される装置)によってユーザに提示及び/又は表示することができる。
【0047】
[0054] 一部の実装形態では、データ(例えば収集品の画像)及び/又は解析モデルをネットワーク経由で伝送し及び/又は受信するために、グレーディング装置101が計算装置(不図示)及び/又はサーバ(不図示)にネットワークを介して動作可能に結合され得る。一部の例では、計算装置及び/又はサーバがグレーディング装置101に訓練データを与えることができる。一部の例では、計算装置及び/又はサーバが例えば収集品等の資産のグレーディングを行うために訓練済みの機械学習モデルを実行することができる。
【0048】
[0055]
図6は、一実施形態による、1組の前処理済みの画像に基づいてモデルを訓練し使用するための方法600の流れ図である。一部の実装形態では、方法600がプロセッサ(例えば
図1のプロセッサ104)によって実行され得る。例えば、プロセッサ104に方法600を実行させるための命令は
図1のメモリ102内に記憶され得る。
【0049】
[0056] 602で、収集品群(例えば1つの収集品、2つの収集品、3つの収集品等)の1組の画像を受信する。1組の画像からの各画像は、少なくとも1つの欠陥種類ラベル及び収集品群からの収集品の表面の状態に関する第1のグレード分類ラベル、収集品の縁の状態に関する第2のグレード分類ラベル、収集品の角の状態に関する第3のグレード分類ラベル、又は収集品のセンタリングの状態に関する第4のグレード分類ラベルの少なくとも1つに関連する。一部の実装形態では、収集品群がトレーディングカードだけ、コインだけ、通貨だけ、美術品だけ、切手だけ、骨董品だけ、漫画本だけ、おもちゃだけ、宝石だけ、又はその組み合わせを含むことができる。一部の実装形態では、1組の画像が収集品群の共通の面(例えば表)のものである。一部の実装形態では、1組の画像が収集品群の様々な異なる面(例えば表及び裏)のものである。一部の実装形態では、収集品とは収集家の興味を引くアイテムを指す。一部の実装形態では、収集品は収集可能なものを指す。
【0050】
[0057] 604で、1組の画像の各画像について、その画像内の収集品を画定する境界を検出すること、その画像に関する境界が所定の形状(例えば正方形、矩形、平行四辺形等)を有さない1組の画像からのその画像に対して遠近法ワープ変換を実行すること、及び収集品を画定する境界内にないその画像の部分を除去することにより、1組の画像に基づいて1組の前処理済みの画像を生成する。一部の実装形態では、ステップ604が1組の画像を受信することに応答して自動で(例えば人間による入力を必要とすることなしに)実行される。一部の実装形態では、1組の前処理済みの画像を生成することが、所定の大きさではない大きさを有する1組の画像からの各画像をサイズ変更して、その画像に所定の大きさを有させることを更に含む。一部の実装形態では、1組の前処理済みの画像を生成することが、所定の解像度の範囲内にない解像度を有する1組の画像からの各画像をサイズ変更して、その画像に所定の解像度の範囲内の解像度を有させることを更に含む。
【0051】
[0058] 606で、1組の前処理済みの画像からの各前処理済みの画像、その前処理済みの画像に関連する少なくとも1つの欠陥種類ラベル、及び(1)その前処理済みの画像に関連する第1のグレード分類ラベル、(2)その前処理済みの画像に関連する第2のグレード分類ラベル、(3)その前処理済みの画像に関連する第3のグレード分類ラベル、又は(4)その前処理済みの画像に関連する第4のグレード分類ラベルの少なくとも1つに基づいて少なくとも1つのモデル(例えば
図1に示す1組のグレーダモデル105)を訓練する。一部の実装形態では、少なくとも1つのモデルが過剰適応を減らすための少なくとも1つのドロップアウト層を含む。一部の実装形態では、少なくとも1つのモデルが、(1)(a)1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する第1のグレード分類ラベルを使用して訓練される第1のモデルと、(2)(a)1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する第2のグレード分類ラベルを使用して訓練される第2のモデルと、(3)(a)1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する第3のグレード分類ラベルを使用して訓練される第3のモデルと、(4)(a)1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する第4のグレード分類ラベルを使用して訓練される第4のモデルと、(5)(a)1組の前処理済みの画像からの各前処理済みの画像及び(b)その前処理済みの画像に関連する少なくとも1つの欠陥種類ラベルを使用して訓練される第5のモデルとを含む。
【0052】
[0059] 608で、収集品群に含まれない新たな収集品の新たな画像に少なくとも1つのモデルを適用する。一部の実装形態では、新たな画像の表現が(例えば
図1のプロセッサ104によって)受信されることに応答して少なくとも1つのモデルが新たな画像に自動で適用される。
【0053】
[0060] 610で、新たな収集品が欠陥を含むこと、欠陥のおおよその位置、及び欠陥に関連する欠陥の種類を示す出力を表示させる。一部の実装形態では、610は608で新たな画像に少なくとも1つのモデルを適用することに応答して自動で(例えば人間による入力を必要とすることなしに)実行される。一部の実装形態では、ディスプレイ(
図1には不図示)に少なくとも1つの電気信号を送信するプロセッサ(例えばプロセッサ104)によって出力を表示させ、ディスプレイは新たな収集品が欠陥を含むことを(例えばテキスト、記号、色分け、強調表示等によって)示すこと、欠陥のおおよその位置を(例えばテキスト、記号、色分け、強調表示等によって)示すこと、及び欠陥に関連する欠陥の種類(例えば曲がり、しわ等)を(例えばテキスト、記号、色分け、強調表示等によって)示すことをディスプレイに行わせるために、有線及び/又は無線接続によってプロセッサに動作可能に結合される。
【0054】
[0061] 方法600の一部の実装形態では、1組の画像からの第1の画像が第1の照明条件下で捕捉され又は撮られ、1組の画像からの第2の画像が第1の照明条件と異なる第2の照明条件下で捕捉され又は撮られる。照明条件は、例えば輝度の量であり得る。
【0055】
[0062] 方法600の一部の実装形態では、1組の画像からの第1の画像が収集品群からの第1の収集品に対して第1の角度で捕捉され又は撮られ、1組の画像からの第2の画像が第1の収集品又は第1の収集品と異なる収集品群からの第2の収集品の1つに対して第2の角度で撮られる。第2の角度は第1の角度と異なる。第1の画像及び第2の画像は、同じ撮像装置(例えば単一の共通カメラ)又は異なる撮像装置(例えば2台の異なるカメラ)を使用して捕捉し又は撮ることができる。
【0056】
[0063] 方法600の一部の実装形態では、1組の画像からの第1の画像が第1の背景と共に撮られ、1組の画像からの第2の画像が第1の背景と異なる第2の背景と共に撮られる。例えば第1の背景と第2の背景とは異なる色、テクスチャ、パターン、形状、向き、風景等のものであり得る。
【0057】
[0064] 一部の実装形態では、方法600が、ランダム探索アルゴリズム、ハイパーバンドアルゴリズム、又はベイジアン最適化アルゴリズムの少なくとも1つを使用して、少なくとも1つのモデルに関連するハイパーパラメータを最適化すること及び/又は改善することを更に含む。
【0058】
[0065]
図7は、一実施形態による、欠陥信頼水準を生成し使用するためにモデルを使用するための方法700の流れ図である。一部の実装形態では、方法700がプロセッサ(例えば
図1のプロセッサ104)によって実行され得る。例えば、プロセッサ104に方法700を実行させるための命令は
図1のメモリ102内に記憶され得る。
【0059】
[0066] 702で、画像内の収集品を画定する境界を検出すること、所定の形状(例えば矩形、正方形、平行四辺形等)を境界に有させるために遠近法ワープ変換を実行すること、及び収集品を画定する境界内にない画像の部分を除去することにより、前処理済みの画像を生成するために収集品の画像を前処理する。収集品は、例えばトレーディングカード(例えば野球カード、バスケットボールカード、フットボールカード、ポケモン(登録商標)カード等)、コイン、通貨、美術品、切手、骨董品、漫画本、おもちゃ、宝石等であり得る。画像はカメラ又はスキャナ等の撮像装置によって収集され得る。
【0060】
[0067] 704で、前処理済みの画像に機械学習(ML)モデル(例えば
図1の1組のグレーダモデル105)を適用して欠陥信頼水準群を生成する。欠陥信頼水準群からの各欠陥信頼水準は、(1)前処理済みの画像の固有部分群からの前処理済みの画像の固有部分に関連し、(2)その前処理済みの画像の固有部分内に少なくとも1つの欠陥がある可能性を示す。一部の実装形態では、704が702で前処理済みの画像を生成することに応答して自動で(例えば人間による入力を必要とすることなしに)実行される。一部の実装形態では、欠陥信頼水準のそれぞれが(例えば0~100までの、0%~100%までの、1~10等までの)数値に関連する。一部の実装形態では、欠陥信頼水準のそれぞれがテキストラベル(例えば新品同様、極美品、美品、ほぼ美品、優良、良好、低品質等)に関連する。一部の実装形態では、固有部分群からの各固有部分が、固有部分群からの他の任意の固有部分と重複しない(例えば上半分の或る固有部分と下半分の別の固有部分)。一部の実装形態では、固有部分群からの少なくとも1つの固有部分(例えば固有部分群からの1つから全ての固有部分)が固有部分群からの別の固有部分と重複する(例えば上半分の第1の固有部分、下半分の第2の固有部分、及び上半分と下半分の小区分を含む中心部分の第3の固有部分)。
【0061】
[0068] 706で、前処理済みの画像をディスプレイ上に表示させる。一部の実装形態では、706が704で信頼水準群を生成することに応答して自動で(例えば人間による入力を必要とすることなしに)実行される。一部の実装形態では、ディスプレイ(
図1には不図示)に少なくとも1つの電気信号を送信するプロセッサ(例えばプロセッサ104)によって出力がディスプレイ上で表示させられ、ディスプレイは前処理済みの画像をディスプレイに表示させるために有線及び/又は無線接続によってプロセッサに動作可能に結合される。
【0062】
[0069] 708で、所定の範囲外の欠陥信頼水準群からの欠陥信頼水準に関連する固有部分群からの前処理済みの画像の各固有部分をディスプレイ上で示させる。一部の実装形態では、708が706で前処理済みの画像を表示させることに応答して自動で(例えば人間による入力を必要とすることなしに)実行される。一部の実装形態では、欠陥信頼水準が所定に範囲内にあることはその欠陥信頼水準に関連する固有部分が所望の(又は「十分優れた」)状態(例えば新品同様、極美品、美品等)にあることを示し、欠陥信頼水準が所定に範囲外にあることはその欠陥信頼水準に関連する固有部分が所望の状態ではないこと(例えば不良、低品質等)を示す。一部の実装形態では、所定の範囲を特定の使用事例について(即ちユーザ、顧客、組織、集団等によって何が許容可能な状態と考えられるのかに基づいて)(例えばユーザによって入力されプロセッサにおいて受信される命令によって)調節することができる。
【0063】
[0070] 一部の実装形態では、MLモデルが第1のMLモデルであり、方法700が、前処理済みの画像に第2のMLモデルを適用して収集品の表面の状態を示す第1のスコアを生成すること、前処理済みの画像に第3のMLモデルを適用して収集品の縁の状態を示す第2のスコアを生成すること、前処理済みの画像に第4のMLモデルを適用して収集品の角の状態を示す第3のスコアを生成すること、及び前処理済みの画像に第5のMLモデルを適用して収集品のセンタリングの状態を示す第4のスコアを生成することを更に含む。方法700は、第1のスコア、第2のスコア、第3のスコア、及び第4のスコアに基づいて収集品の全体的な状態を示す少なくとも1つのラベルを収集品に割り当てることを更に含み得る。一部の実装形態では、少なくとも1つのラベルは全体的な状態が新品同様、極美品、美品/極美品、美品、ほぼ美品/美品、ほぼ美品、優良/ほぼ美品、優良、良好、又は低品質の1つであることを示し得る。一部の実装形態では、第1のスコア、第2のスコア、第3のスコア、及び/又は第4のスコアの関数(例えば和、平均、加重平均等)である数値が少なくとも1つのラベルに対応し(例えばかかるラベルに関連する数値範囲内にあり)、従って少なくとも1つのラベルを決定するために数値を計算し使用することができる。方法700は、その欠陥信頼水準と関連付けられた前処理済みの画像の固有部分上にスーパーインポーズされるものとして欠陥信頼水準群からの各欠陥信頼水準を表示することを更に含み得る。例えば前処理済みの画像がN個の固有部分(例えばタイル)を含む場合、N個の欠陥信頼水準を表示することができ、各信頼水準は異なる固有部分に関連する(かかる固有部分上にスーパーインポーズされる)。
【0064】
[0071] 一部の実装形態では、方法700が前処理済みの画像にコンピュータビジョンモデルを適用して収集品に関連するカードの種類、選手の情報、キャラクタの情報、及び/又は他の情報の少なくとも1つを識別することを更に含むことができ、カードの種類、選手の情報、キャラクタの情報、及び/又は他の情報の少なくとも1つは、欠陥信頼水準群を生成するための第1のMLモデル、第1のスコアを生成するための第2のMLモデル、第2のスコアを生成するための第3のMLモデル、第3のスコアを生成するための第4のMLモデル、又は第4のスコアを生成するための第5のMLモデルの少なくとも1つによって使用される。一部の実装形態では、第1のMLモデルを適用することが第2~第5のMLモデルを適用することの前に行われ、第2のMLモデルを適用すること、第3のMLモデルを適用すること、第4のMLモデルを適用すること、又は第5のMLモデルを適用することの少なくとも2つが並列に行われる。一部の実装形態では、第1~第5のMLモデルを連続して、並列に、又はその任意の組み合わせで適用することができる。
【0065】
[0072] 一部の実装形態では、702における前処理が画像を所定の大きさにサイズ変更することを更に含む。一部の実装形態では、702における前処理が、所定の解像度の範囲内の解像度を画像に有させるために画像をサイズ変更することを更に含む。
【0066】
[0073] 一部の実装形態では、方法700が、前処理済みの画像に関して収集品に関連するカードの種類、選手の情報、キャラクタの情報、及び/又は他の情報の少なくとも1つを決定することを更に含む。MLモデルは、欠陥信頼水準群を生成するために収集品に関連するカードの種類、選手の情報、キャラクタの情報、及び/又は他の情報の少なくとも1つに更に適用することができる。同様の言い方をすれば、欠陥信頼水準群は、収集品に関連するカードの種類、選手の情報、キャラクタの情報、及び/又は他の情報の少なくとも1つに少なくとも部分的に基づいてMLモデルによって生成され得る。
【0067】
[0074]
図8は、一実施形態による、1組の合成画像を含む訓練セットを使用してモデルを訓練するための方法800の流れ図である。一部の実装形態では、方法800がプロセッサ(例えば
図1のプロセッサ104)によって実行され得る。例えば、プロセッサ104に方法800を実行させるための命令は
図1のメモリ102内に記憶され得る。
【0068】
[0075] 802で、収集品(例えばトレーディングカードだけ、コインだけ、通貨だけ、カード、コイン、及び/又は通貨の組み合わせ等)の1組の合成画像を生成するために収集品の1組の画像を拡張する。一部の実装形態では、802における拡張が、1組の画像からの第1の画像を回転させること、第1の画像を垂直にシフトすること、第1の画像を水平にシフトすること、第1の画像をスケーリングすること、第1の画像の輝度を調節すること、第1の画像のコントラストを調節すること、第1の画像を垂直にフリップすること、又は第1の画像を水平にフリップすることの少なくとも1つを含み得る。804で、訓練セットをもたらすために収集品の1組の画像と収集品の1組の合成画像とを組み合わせる。806で、訓練セットに基づいて1組の機械学習モデル(例えば
図1の1組のグレーダモデル105)を訓練する。1組の機械学習モデルからの各機械学習モデルは、1組の画像属性からの画像属性に対するグレードを生成するように構成される。1組の画像属性は、縁、角、中心、又は表面の少なくとも1つを含む。808で、訓練セット内に含まれない収集品の画像に対する1組のグレードを生成するために1組の機械学習モデルを訓練後に実行する。一部の実装形態では、訓練セット内に含まれない収集品に欠陥があると判定するために1組のグレードを使用することができ、少なくとも1つの是正措置(例えば画像にフラグを立てること、収集品にフラグを立てること、ユーザに通知すること等)を行わせるための信号を送信することができる。一部の実装形態では、1組の画像からの少なくとも1つの画像が少なくとも1つの第1のカメラ設定を使用して捕捉され、訓練セット内に含まれない収集品の画像が少なくとも1つの第1のカメラ設定と異なる第2のカメラ設定を使用して捕捉される。
【0069】
[0076] 開示した実施形態は特許請求の範囲に記載の全ての革新を表さないことを理解すべきである。そのため本開示の一定の態様は本明細書で論じていない。その代替的実施形態は革新の特定の部分について提示されていない場合があり、又は或る部分について利用可能であり得るその更なる未記載の代替的実施形態は、それらの代替的実施形態の排除と見なすべきではない。従って、他の実施形態を利用することができ、本開示の範囲から逸脱することなしに機能的、論理的、動作的、組織的、構造的、及び/又はトポロジ的な修正を加えることができることを理解すべきである。そのため、本開示の全体を通して全ての例及び/又は実施形態を非限定的と見なす。
【0070】
[0077] 本明細書に記載した一部の実施形態は方法に関する。かかる方法はコンピュータによって実装される方法(例えばメモリ内に記憶されプロセッサ上で実行される命令)であり得ることを理解すべきである。上記で説明した方法は一定のイベントが一定の順序で起こることを示したが、一定のイベントの順序は修正可能である。加えて、イベントの一定のものは可能な場合は並列プロセス内で繰り返し同時に実行することができるだけでなく、上記で説明したように逐次的に実行することができる。更に、一定の実施形態は記載した1つ又は複数のイベントを省略することができる。
【0071】
[0078] 本明細書に記載した一部の実施形態は、コンピュータによって実装される様々な操作を実行するための命令又はコンピュータコードをその上に有する非一時的コンピュータ可読媒体(非一時的プロセッサ可読媒体とも呼ばれ得る)を有するコンピュータ記憶製品に関する。コンピュータ可読媒体(又はプロセッサ可読媒体)は、一時的な伝搬信号自体(例えば空間又はケーブル等の伝送媒体上で情報を運ぶ伝搬電磁波)を含まないという意味で非一時的である。媒体及びコンピュータコード(コードと呼ぶこともできる)は、特定の目的のために設計され構築されるものであり得る。非一時的コンピュータ可読媒体の例は、これだけに限定されないがハードディスク、フロッピディスク、及び磁気テープ等の磁気記憶媒体、コンパクトディスク/デジタルビデオディスク(CD/DVD)、コンパクトディスク読取専用メモリ(CD-ROM)、及びホログラフィック装置等の光記憶媒体、光ディスク等の光磁気記憶媒体、搬送波信号処理モジュール、並びに特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、読取専用メモリ(ROM)、及びランダムアクセスメモリ(RAM)装置等、プログラムコードを記憶し実行するように特に構成されるハードウェア装置を含む。本明細書に記載した他の実施形態は、例えば本明細書で論じた命令及び/又はコンピュータコードを含み得るコンピュータプログラム製品に関する。
【0072】
[0079] 様々な問題に対処し、当技術分野を進歩させるために、本願の全体(表紙ページ、題名、見出し、背景、概要、図面の簡単な説明、詳細な説明、特許請求の範囲、要約、図面、付録等を含む)は、実施形態を実践することができる様々な実施形態を実例として示す。本願の利点及び特徴は実施形態の代表的な見本に過ぎず、網羅的及び/又は排他的ではない。それらは特許請求の範囲に記載の原理の理解を助けるために及び教示するために示されている。
【0073】
[0080] コンピュータコードの例は、これだけに限定されないがマイクロコード又はマイクロ命令、コンパイラによって作成されるような機械命令、ウェブサービスを作り出すために使用されるコード、及びインタプリタを使用してコンピュータによって実行される高水準命令を含むファイルを含む。例えば実施形態は、Python、Java、JavaScript、C++、及び/又は他のプログラミング言語、パッケージ、及びソフトウェア開発ツールを使用して実装することができる。
【0074】
[0081] 図面は主に例示目的であり、本明細書に記載した内容の範囲を限定することは意図しない。図面は必ずしも縮尺通りに描かれておらず、一部の例では様々な特徴の理解を助けるために本明細書で開示した内容の様々な側面を図面で誇張して又は拡大して示す場合がある。図中、同様の参照文字は概して同様の特徴(例えば機能的に同様の及び/又は構造的に同様の要素)を指す。
【0075】
[0082] 開示した方法の一部として行われる行為は任意の適切なやり方で順序付けることができる。従って、示したのと異なる順序でプロセス又はステップが行われる実施形態を構築することができ、たとえ例示的実施形態では逐次的な行為として示されていても、かかる実施形態は一部のステップ又はプロセスを同時に実行することを含み得る。言い換えれば、かかる特徴は特定の実行順序に必ずしも限定されなくてもよいことを理解すべきであり、任意の数のスレッド、プロセス、サービス、サーバ等が、むしろ本開示と合致するやり方で連続的に、非同期的に、並行して、並列に、同時に、同期的に等実行し得る。そのため、それらの特徴の一部は単一の実施形態の中で同時に存在することができない点で互いに矛盾する場合がある。同様に、一部の特徴は本革新の或る態様に適用可能であり、他の態様には適用することができない。
【0076】
[0083] 本明細書及び実施形態で使用するとき、「及び/又は」という句は、そのように結合される要素の「何れか又は両方」、即ち場合によっては結合的に存在し、他の場合は分離的に存在する要素を意味するように理解すべきである。「及び/又は」を用いて挙げられる複数の要素も同様に、即ちそのように結合される要素の「1つ又は複数」として解釈すべきである。「及び/又は」の節によって具体的に明らかにされる要素以外の要素が、具体的に明らかにされるそれらの要素に関係していようといまいと任意で存在し得る。従って非限定的な例として、「含む」等の非制限的言語と組み合わせて使用するとき、「A及び/又はB」への言及は一実施形態ではAだけを指し(B以外の要素を任意で含む)、別の実施形態ではBだけを指し(A以外の要素を任意で含む)、更に別の実施形態ではAとBとの両方(他の要素を任意で含む)等を指すことができる。
【0077】
[0084] 本明細書及び実施形態で使用するとき、「又は」は上記で定めた「及び/又は」と同じ意味を有すると理解すべきである。例えば一覧の中のアイテムを分ける場合、「又は」又は「及び/又は」は包含的である、即ち要素の幾つか又は一覧のうちの少なくとも1つだが複数も含み、任意で、挙げられていない追加のアイテムも含むと解釈すべきである。「~のうちの1つだけ」若しくは「~のうちの厳密に1つ」、又は実施形態で使用する場合の「~から成る」等、その逆であることを明確に示す用語だけが要素の幾つか又は一覧のうちの厳密に1つの要素を含むことを指す。概して、本明細書で使用するとき「又は」という用語は、「何れか」、「~のうちの1つ」、「~のうちの1つだけ」、又は「~のうちの厳密に1つ」等の排他的用語が先行する場合、排他的代替策(即ち「一方又は他方だが両方ではない」こと)を示すとだけ解釈すべきである。実施形態で使用する場合、「本質的に~から成る(consisting essentially of)」は特許法の分野で使用する通常の意味を有するものとする。
【国際調査報告】