特表 2023-531578 宝石用原石と関連する場所を決定する方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-25

(54)【発明の名称】宝石用原石と関連する場所を決定する方法およびデバイス

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230718BHJP

   G01N 21/87 20060101ALI20230718BHJP

   B25H 7/04 20060101ALI20230718BHJP

   B23K 26/00 20140101ALI20230718BHJP

   B23K 26/03 20060101ALI20230718BHJP

【ＦＩ】

G06T7/00 350C

G01N21/87

B25H7/04 E

B23K26/00 B

B23K26/03

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022541969

(86)(22)【出願日】2020-12-21

(85)【翻訳文提出日】2022-08-23

(86)【国際出願番号】 EP2020087536

(87)【国際公開番号】W WO2021140022

(87)【国際公開日】2021-07-15

(31)【優先権主張番号】2000240.8

(32)【優先日】2020-01-08

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】521345442

【氏名又は名称】オプシディア リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヘンリー，シモン ジョン

(72)【発明者】

【氏名】ピース，ジョナサン ロバート

【テーマコード（参考）】

2G051

4E168

5L096

【Ｆターム（参考）】

2G051AA81

2G051AB20

2G051EC01

2G051ED22

4E168AA00

4E168CA06

4E168CB22

4E168CB23

4E168JA11

5L096FA06

5L096FA10

5L096FA12

5L096FA62

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

本開示は、宝石用原石と関連付けられる場所を決定するコンピュータ実装方法、デバイスおよびシステムに関する。方法は、宝石用原石表面に関する関心の構成と関連付けられる特徴を検出するためのデータモデルを訓練することを含む。訓練することは、各訓練画像が、宝石用原石タイプの所与の領域に関する関心の構成についてのラベルと、ラベルについての特定の宝石用原石タイプを示す出力とに関連する、宝石用原石の複数の訓練画像を提供するステップを含む。次に、場所が決定されるべき宝石用原石の入力画像が、訓練されたデータモデルに提供され、データモデルは、複数の訓練画像における関心の構成に対応する入力画像における少なくとも１つの特徴を検出し、入力画像におけるその特徴が、関心の構成に対応する訓練されたデータモデルにおけるラベルと関連付けられることを決定し、入力画像における宝石用原石が、ラベルと関連付けられる特定の宝石用原石タイプのものであることを識別し、最後に、識別される特定の宝石用原石タイプについてのそれぞれの領域のそれぞれの関心の構成の出力表現を提供する。次に、出力表現に基づいて、入力画像と関連付けられる宝石用原石の対応する領域上の場所を決定することができる。

【特許請求の範囲】

【請求項1】

宝石用原石と関連付けられる場所を決定するためのコンピュータ実装された方法であって、
宝石用原石の表面に関する関心の構成と関連付けられる特徴を決定するようにデータモデルを訓練するステップであって、
各訓練画像が宝石用原石の複数のタイプ中の宝石用原石タイプに関する、宝石用原石の複数の訓練画像を提供するステップと、
前記複数の訓練画像中の所与の訓練画像について、
前記所与の訓練画像中の前記宝石用原石タイプの所与の領域と関連付けられる関心の構成についてのラベルを含む訓練入力を提供するステップ、および
前記ラベルに関する前記関心の構成と関連付けられる特定の宝石用原石タイプを識別する訓練出力を提供するステップを含む、
訓練するステップと、
所与の宝石用原石の入力画像を前記訓練されたデータモデルに提供するステップと、を含み、
当該方法は、前記訓練されたデータモデルによって
前記複数の訓練画像中の関心の構成に対応する前記入力画像中の少なくとも１つの特徴を検出するステップ、
前記入力画像中の前記少なくとも１つの特徴が前記関心の構成に対応する前記訓練入力中のラベルと関連付けられることを決定するステップ、
前記入力画像中の前記所与の宝石用原石が前記ラベルと関連付けられる前記特定の宝石用原石タイプのものであることを識別するステップ、および
前記識別される特定の宝石用原石タイプに関する前記それぞれの領域の前記それぞれの関心の構成の表現を含む出力を提供するステップ、
を実装することを更に含み、
前記出力表現に基づいて、当該方法は、
前記入力画像と関連付けられる前記宝石用原石の対応する領域上の場所を決定するステップを含む、
方法。

【請求項2】

前記関心の構成は、頂点であり、或いは所与の宝石用原石タイプについて所与のファセットと関連付けられる複数の頂点である、請求項１に記載の方法。

【請求項3】

前記出力表現は、前記識別される特定の宝石用原石タイプに対応する前記入力画像の前記所与のファセットの前記頂点に基づく多角形の輪郭または境界を含む、請求項２に記載の方法。

【請求項4】

前記特定の宝石用原石タイプの前記所与のファセットの頂点に対応する前記入力画像の２つ以上の特徴について、前記頂点を接続することと、そのような接続の垂直二等分線を取得することとを更に含み、前記垂直二等分線の前記交点は、前記特定の宝石用原石タイプについての前記所与のファセットの中心を示す、請求項２または３に記載の方法。

【請求項5】

前記関心の構成は、所与の宝石用原石タイプの複数のファセット中の所与のファセットの部分である、請求項１に記載の方法。

【請求項6】

前記部分は、所与のファセット全体を含む、請求項５に記載の方法。

【請求項7】

所与の訓練画像についてのラベルを提供するステップは、前記所与の訓練画像についてのセグメント化されたマスクを提供することを含み、該セグメント化されたマスクは、前記所与の訓練画像中の前記宝石用原石タイプの前記関心の構成に対応する前記所与のファセット中の前記部分を示す、請求項５または６に記載の方法。

【請求項8】

前記セグメント化されたマスクは、前記セグメント化されたマスク中に示される前記部分が前記セグメント化されたマスクの残部のピクセル強度とは異なる第1のピクセル強度を有する前記所与の訓練画像を表す更なる画像である、請求項７に記載の方法。

【請求項9】

関心の構成に対応する少なくとも１つの特徴を検出するステップは、所与の宝石用原石タイプである所与の訓練画像のセグメント化されたマスクにおける前記第1のピクセル強度を有する前記部分に対応する前記入力画像の部分を検出することを含む、請求項８に記載の方法。

【請求項10】

前記出力表現は、前記第1の強度を有する前記入力画像の前記部分の表示であり、前記部分は、前記識別される特定の宝石用原石タイプの前記それぞれの所与のファセットに対応する前記ファセット内にある、請求項９に記載の方法。

【請求項11】

請求項２～４のうちのいずれか１項に記載の方法を含む請求項５～１０のうちのいずれか１項に記載の方法であって、
前記訓練入力を提供するステップにおいて、前記関心の構成は、所与の領域についての１つ以上の頂点を有する第1の構成と、前記所与の領域の部分を有する第２の構成とを含み、前記所与の領域は、特定の宝石用原石タイプのファセットであり、
前記第1の構成の頂点に対応する宝石用原石の前記入力画像中の第1の特徴について、第1の出力表現を取得することを含み、
前記第1の出力表現に基づいて、当該方法は、前記特定の宝石用原石タイプについて１つ以上のセグメント化マスクを生成することを含み、該１つ以上のセグメント化マスクは、前記第２の構成について前記データモデルへの前記訓練入力に含められるべきフィードバックとして提供される、
方法。

【請求項12】

前記関心の構成は、所与の宝石用原石タイプについての所与のファセットと関連付けられる向きパラメータであり、前記ラベルは、前記向きパラメータについての値を含む、請求項１に記載の方法。

【請求項13】

前記向きパラメータは、前記所与のファセットと関連付けられる回転角、または前記所与のファセット上の所定のポイントからの距離である、請求項１２に記載の方法。

【請求項14】

関心の構成に対応する前記入力画像中の少なくとも１つの特徴を検出するステップは、前記訓練入力中の前記対応する向きパラメータの前記ラベルに含められる前記値と比較されるときに、値における低いまたは最小のエラーまたは差を有する前記入力画像と関連付けられる、向きパラメータを識別することを含む、請求項１２または１３に記載の方法。

【請求項15】

前記出力表現は、前記低いまたは最小のエラーまたは差を有する前記識別される特定の宝石用原石タイプの前記それぞれの領域と関連付けられる前記入力画像の前記向きパラメータの前記値の表示であり、前記入力画像と関連付けられる前記宝石用原石の対応する領域上の前記決定される場所は、前記宝石用原石の前記向きを示す、請求項１４に記載の方法。

【請求項16】

１つ以上のプロセッサと、コンピュータプログラムを格納するメモリとを含む、コンピューティングデバイスまたはシステムであって、前記１つ以上のプロセッサは、請求項１～１５のうちのいずれか１項に記載の方法のステップを実装するために前記コンピュータプログラムを実行するように構成される、コンピューティングデバイスまたはシステム。

【請求項17】

データモデルを実装するための１つ以上のプロセッサを含み、該１つ以上のプロセッサは、人工ニューラルネットワークを実装するように構成される、請求項１６に記載のコンピューティングデバイスまたはシステム。

【請求項18】

宝石用原石をマーキングするための方法であって、
当該方法は、レーザマーキングシステムと関連付けられる１つ以上のプロセッサによって実装され、前記レーザマーキングシステムは、カメラと、レーザ源またはポインタとを含み、当該方法は、
場所が決定されるべき宝石用原石の画像をカメラから或いはカメラによって取得するステップと、
前記取得される画像を訓練されるデータモデルへの入力画像として提供するステップと、
請求項１～１５のうちのいずれか１項に記載の方法によるマーキングのための場所を決定するステップと、
前記宝石用原石が前記データモデルからの出力表現と一致するように前記宝石用原石を移動させるステップ、および／または前記レーザ源が前記出力表現と一致するように前記レーザ源を移動させるステップと、
前記出力表現と関連付けられる前記決定される場所に対応する前記宝石用原石上の前記場所に集束される前記レーザ源またはポインタからのレーザビームを使用してレーザマーキングを実行するステップとを含む、
方法。

【請求項19】

前記データモデルからの前記出力表現は、識別される特定の宝石用原石タイプの所与のファセットの複数の頂点と関連付けられる多角形の輪郭または境界であり、当該方法は、前記多角形の輪郭または境界を、前記レーザマーキングが実行されるべき前記宝石用原石の前記対応するファセット上に適合させる或いは重ね合わせるステップを含む、請求項１８に記載の方法。

【請求項20】

複数の頂点の交点に基づいて前記所与のファセットの中心を決定するステップと、前記レーザビームが前記決定される中心に集束されるように前記宝石用原石または前記レーザ源またはポインタを移動させるステップとを含む、請求項１９に記載の方法。

【請求項21】

マーキングのための前記宝石用原石上の前記決定される場所は、前記レーザビームを前記宝石用原石内の小さな容積に集束させるために、前記レーザビームに光学収差補正を適用するように使用される、請求項１８～２０のうちのいずれか１項に記載の方法。

【請求項22】

宝石用原石を受けるためのベースまたはマウントと、
前記宝石用原石の画像を取得するためのカメラと、
前記宝石用原石と関連付けられる表面または表面下をマーキングするためのレーザビームを提供するレーザ源と、
請求項１８～２０のうちのいずれか１項に記載の方法を実装するように構成される１つ以上のプロセッサと、を含む、
レーザマーキングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、宝石用原石(gemstone)に関連する場所を決定する方法、デバイスおよびシステムに関し、特に、排他的ではないが、少なくとも１つのタイプの宝石用原石に関連する特徴(characteristics)を検出するためにデータモデルを訓練する技術に関する。

【背景技術】

【0002】

宝石用原石のサイズ(大きさ)および形状を測定することは、宝石用原石の取引におけるある範囲の工業処理機械で使用される一般的な手順である。例えば、石の上にコード番号をレーザ表面マーキングすることは、マークを整列させるために宝石の特定のファセットの場所を必要とする。例えば、以下のウェブページからアクセスされるＧＥＭｓｃｒｉｂｅレーザマーキングシステムおよび方法を参照のこと。
http://www.ogisystems.com/genscribegem-diamond-laser-inscription.html

【0003】

これらのような既存のシステムでは、レーザが石（例えば、ダイヤモンド）の表面上に集束され、小スケールのパターンがレーザビームを用いて表面上にマーキングされる。マーキングのために石の上に適切な領域を場所特定するために、典型的には、システムのユーザは、石を正しい場所／角度に配置することによって、或いは石のファセットと一致するようマークの場所／向きを調整することによって、マークの場所を手動で指定しなければならない。例えば、既存の方法に関して、特許文献１を参照のこと。幾つかの場合には、石を場所特定するのを支援する何らかの形態の画像処理ソフトウェアが存在することもある。この処理ソフトウェアは、石を観察するカメラからのライブビデオまたは大量の一連の個々の画像を使用することがある。

【0004】

同様に、宝石用原石の等級付け(grading)およびサイズ決定(sizing)は、宝石の幾何学的形状の正確な測定も必要とする。これは、特許文献２で議論される切石を撮像する方法およびシステムのように、石の複数の画像を撮ることと、エッジ、頂点またはファセットを場所特定することによって、石の３Ｄ幾何学的形状を計算することとを含むことがある。他の例は、https://sarine.com/4c-grading/またはhttps://sarine.com/products/diamension-axiom/というウェブページからアクセスされる情報から見ることができる。これらは、ダイヤモンドの色および透明度を決定するための人工知能、およびダイヤモンドの形状（他の場合には、ブリリアントカット、ローズカット、セイロンカット、チェッカーボードカットなどのように、カットと呼ばれる）を決定するための自動化された方法を参照して、ダイヤモンドを等級付けするための撮像技術の例である。そのようなシステムおよび関連するソフトウェアは、ダイヤモンドの表面をマッピングすることを試みるために、レーザスキャニングまたは複雑な照明構成を使用する。

【0005】

透明結晶成長プロセスエッジおよび容積リアルタイムモニタリング方法およびシステムという名称の特許文献３では、異なる角度の範囲で異なる画像のセットからエッジを手動で測定することによって透明結晶の成長を測定する人工ニューラルネットワーク（ＡＮＮ）を使用し、成長モニタリングのために容積を推定するための成長結晶の三次元（３Ｄ）構造の予測を可能にする訓練データセットを生成する、システムが提案されている。

【0006】

宝石用原石用途とは無関係の他の技術分野では、ニューラルネットワークを用いた向き検出の使用も広く用いられている。例えば、自律運転車両ガイダンスソフトウェアおよび人間姿勢推定は、全て、場所特定またはセグメンテーションルーチンが画像に適用された後に画像から情報を抽出することによって、何らかの形態の物体向き検出を使用する。例えば、ニューラルネットワークを用いて交通標識の向きが推定される、ニューラルネットワークを用いた同時物体検出および剛性変換推定という名称の特許文献４を参照のこと。

【0007】

宝石用原石のレーザマーキングまたは傍接(escribing)の用途について、２Ｄ／３Ｄ空間内で宝石用原石を場所特定するためのソフトウェアの使用は、照射下の宝石用原石の異なる外観によって複雑化される。例えば、多くの異なる種類のサイズおよびカットの石があり、これらは、全て、カットの性質／目的に起因する複雑なパターンで光を散乱させる。これは、エッジ検出、閾値化またはハフ線変換(Hough lines transform)のような、多くの従来の画像処理ソフトウェアルーチンに対して問題を提起する。上述のＳａｒｉｎｅ ＤｉａＭｅｅｎｔｉｎｇシステム／ソフトウェアは、レーザスキャニングまたは複雑な照明構成を使用して、ダイヤモンドの表面をマッピングする。これは複雑さを増大させ、より単純な光学系へのプロセスの適用性を減少させる。例えば、Ｓａｒｉｎｅ ＤｉａＭｅｅｎｔｉｏｎシステムは、マーキング／切断システムに渡す前に石をマッピングするために使用される外部システムである。別の例において、レーザマーキング用のＳａｒｉｎｅ ＤｉａＳｃｒｉｂｅソフトウェアは、強いバックライトを使用して、石の「影像(shadow image)」を生成する。次に、石をその中心の周りで回転させて、影のエッジを測定するための視覚ルーチン（エッジ検出）を使用することによって形状をマッピングする。次に、全ての画像からのデータは、石の３Ｄマップに組み入れられるように見える。

【0008】

従って、より変化した照明条件に対処することができ且つレーザマーキング用途のためのより少ない（または１つだけの）画像に対処することができる方法およびシステムが望ましい。何故ならば、これはプロセスをより速くすることができ、より信頼性のあるものにすることができるからである。

【発明の概要】

【発明が解決しようとする課題】

【0009】

上述の既存のシステムの欠点に対処するために、本開示の発明者は、宝石のエッジまたはファセットのような、表面に関連する場所を自動的に決定するための、新規且つ改良された方法および関連するデバイスおよび／またはシステムを提供する。具体的には、本開示において提案する技術は、宝石のマーキングまたは刻印(inscribing)に適した宝石上の場所の決定を可能にするが、決してこれらに限定されるものではない。

【課題を解決するための手段】

【0010】

本開示は、宝石用原石と関連付けられる場所を決定するためのコンピュータ実装された方法、デバイスおよびシステムに関する。その方法は、宝石用原石の表面に関する関心の構成と関連付けられる特徴を検出するデータモデルを訓練することを含む。訓練することは、各訓練画像が、宝石用原石タイプの所与の領域に関する関心の構成についてのラベルと、そのラベルについての特定の宝石用原石タイプを示す出力とに関連付けられる、宝石用原石の複数の訓練画像を提供するステップを含む。訓練画像は、複数の構成を含む画像であってもよい。この場合は、訓練データは、レベルや、構成を含む領域または複数の領域を画定するより大きな画像内の座標も含む。次に、場所が決定されるべき宝石用原石の入力画像が、訓練されたデータモデルに提供され、データモデルは、複数の訓練画像における関心の構成に対応する入力画像における少なくとも１つの特徴を検出し、入力画像におけるその特徴が、関心の構成に対応する訓練されたデータモデルにおけるラベルと関連付けられることを決定し、入力画像における宝石用原石が、ラベルと関連付けられる特定の宝石用原石タイプのものであることを識別し、最後に、識別される特定の宝石用原石タイプについてのそれぞれの領域のそれぞれの関心の構成の出力表現を提供する。次に、出力表現に基づいて、入力画像と関連付けられる宝石用原石の対応する領域上の場所を決定することができる。

【0011】

本開示は、メモリまたはデータ記憶装置、カメラおよびレーザ源またはポインタと関連付けられる１つ以上のプロセッサを含む、レーザマーキングシステムを使用して宝石用原石をマーキングするための方法、デバイスおよびシステムにも関する。方法は、カメラによって取り込まれるような、場所が決定されるべき宝石用原石の画像を取得するステップと、この画像をデータモデルへの入力として提供するステップとを含む。宝石用原石をマーキングするのに適した場所は、上記で議論したデータモデルによって実装されるような方法に基づいて決定されることができる。次に、宝石用原石またはレーザポインタのいずれかが、データモデルからの出力表現との一致に達するまで移動されるか或いは調整されるので、マーキングは、宝石用原石の表面上の決定された場所で実行されることができる。

【図面の簡単な説明】

【0012】

【図1】本開示に関連する１つの用途のための宝石用原石のためのレーザマーキングシステムの一例の概略図である。

【図2】本開示の第１の態様による宝石用原石内の構成(feature)の場所特定の概要を示すフローチャートである。

【図3a】第１の態様による宝石用原石の頂点の注釈付き画像の例を示している。

【図3b】第１の態様による宝石用原石の頂点の注釈付き画像の例を示している。

【図4】第１の態様によるファセットの中心を決定するための１つの可能な２次元幾何学的方法を示している。

【図5】第１の態様による人工ニューラルネットワークを訓練するためのプロセスの概略図である。

【図6】第１の態様のためのＦａｓｔｅｒ－ＲＣＮＮ（Faster-Region Convolutional Neural Network）に基づく可能な人工ニューラルネットワーク（ＡＮＮ）アーキテクチャの概略図である。

【図7】第１の態様による宝石用原石内の特定の構成を場所特定するためにＡＮＮを使用する予測プロセスを示すフロー図である。

【図8】本開示の第２の態様による宝石用原石内の特定のファセットをセグメント化するためにＡＮＮを使用する予測プロセスを示すフロー図である。

【図9】本開示の態様および実施形態に従って１つ以上の方法を実装するためのコンピューティングデバイスを示している。

【発明を実施するための形態】

【0013】

本開示は、宝石用原石(gemstone)に関連する場所を決定するためのコンピュータ実装方法に関する。

【0014】

本方法は、宝石用原石の表面に関する関心の構成(feature of interest)に関連する特徴(characteristic)を検出するためにデータモデルを訓練するステップを含む。幾つかの実施態様において、データモデルは、人工ニューラルネットワーク（ＡＮＮ：artificial neural network）として実装される。殆どの場合において、ＡＮＮは、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）であるが、そのように限定されるわけではない。そのようなネットワークの例は、Ｒｅｇｉｏｎ（Ｒ） ＣＮＮ、Ｆａｓｔ－ＲＣＮＮ、Ｆａｓｔｅｒ－ＲＣＮＮ、ＹＯＬＯ、ＹＯＬＯｖ３、および類似の構造を有して設計され且つＴｅｎｓｏｒＦｌｏｗのような適切なコンピュータプログラミングフレームワークで書かれたカスタム実装を含む他の派生物であり得るが、これらに限定されない。

【0015】

データモデルを訓練することは、宝石用原石の複数の訓練画像を提供することを含む。幾つかの実施態様では、通常は１０００よりも多い多数の画像が提供される。幾つかの実施態様において、複数の訓練画像は、既知の宝石用原石タイプのデータベースから得られることができ、或いは宝石用原石のそのような画像をクラウドソーシングすることによって或いは複数の既知の宝石用原石タイプのための画像生成プログラムを用いて合成または人工画像を生成することによって得られることができる。各訓練画像は、複数のタイプの宝石用原石の中の宝石用原石タイプに関する。幾つかの実施態様において、宝石用原石タイプは、宝石用原石のカット、すなわち、形状に関する。宝石用原石タイプの例は、ステップ(Step)、ブリリアント(Brilliant)、プリンセス(Princess)、セイロン(Ceylon)、ローズ(Rose)、カボチョン(Cabochon)、バリオン(Barion)、チェッカーボード(Checkerboard)、エイト(Eight)、およびオールドマイン(Old Mine)のようなカットを含む。幾つかの場合では、丸(round)、ハート(heart)などのような形状も使用して、タイプ、すなわち、ラウンドブリリアントカットの宝石用原石を指定してよい。幾つかの実施形態において、複数の画像は、データベースとして、或いは適切なフォーマットの単一のデータファイルとして、或いは個々の画像として提供されることができる。幾つかの実施形態において、複数の訓練画像は、データモデルに提供される前に画像処理操作を受けてよく、画像処理操作は、画像を回転させること、サイズ変更すること、シフトすること、および／または画像の輝度またはコントラストを修正することを含む。これは、訓練画像の寸法または向きまたは他の特性(properties)における如何なる差も、データモデルを訓練するために適用されるときに或いは訓練画像に基づいて決定または予測または認識を行うために使用するときに抑止を装わないことまたは不正確性を導入しないことを確実にするために有利なことがある。

【0016】

次に、前記複数の訓練画像中の所与の訓練画像について、データモデルを訓練するために以下の情報が提供される。複数の訓練画像中の所与の訓練画像は、複数の訓練画像中の各々の所与の画像に関連することがあり、或いは、幾つかの実施形態では、訓練画像の１つまたは一部または全部、すなわち、訓練画像の各々に関することがある。訓練画像および情報は、幾つかの実施形態において、所与の訓練画像に関連する注釈または記述を含むデータファイルまたはデータ構造またはデータベースの形態、すなわち、以下の形態で提供されることがある。
所与の領域に関連する関心の構成についてのラベルまたは注釈または宝石用原石タイプの所与の領域の画像を含む訓練入力、および
ラベルに関連する関心の構成に関連する特定の宝石用原石タイプを識別する訓練出力。

【0017】

上記訓練入力および出力の提供は、幾つかの実施形態において、複数の訓練画像中の画像の１つまたは一部または全部について繰り返されてよい。殆どの場合において、各訓練画像は、少なくとも１つの訓練入力および１つの出力を有する。

【0018】

訓練入力に関する幾つかの実施形態において、関心の構成は、共通の特徴、すなわち、同じ分類または種類またはタイプの構成を有する複数の前記関心の構成を含むことができる。有利には、前記関心の構成の組み合わせは、前記構成に基づいて行われるあらゆる決定または予測の精度を増加させる。例えば、所与のタイプの宝石用原石は、多数の表面を有することができ、各表面は、前記宝石用原石タイプに特異的であるかまたは一意的である特徴または構成を有する。例えば、ブリリアントカットされた宝石用原石タイプは、同じ表面の関心の構成、すなわち、チェッカーボードカットまたはプリンセスカットタイプの宝石用原石のテーブルファセットとは異なる構成を有する領域、すなわち、主表面またはテーブルファセットを有する。幾つかの実施形態では、単一の訓練画像について、異なる表面またはファセットについての複数の関心の構成が可能なことがある。よって、例えば、プリンセスカットされた宝石用原石タイプのテーブルファセットは、同じ宝石用原石タイプの異なる表面とは異なる構成を有する。

【0019】

他の実施形態において、関心の構成は、宝石用原石タイプの所与のファセットまたは表面上の関心の領域であってよく、或いはそのような関心の領域を含んでよい。

【0020】

訓練入力に関連する幾つかの実施形態において、所与の領域は、考慮される所与の訓練画像と関連付けられる宝石用原石タイプのファセットと関連付けられる。幾つかの実施態様において、この所与の領域は、テーブルファセットまたはガードルファセットまたはクラウンファセットのような、宝石用原石タイプの特定の表面またはファセットであるが、本開示はそのように限定されず、宝石用原石の任意の表面(surface)、表面下(subsurface)またはファセット(facet)に適用されることができる。テーブルファセットは、宝石用原石の内部への窓として作用する頂部上の大きな水平ファセットである。ガードルファセットは、宝石用原石の最も広い部分である。クラウンファセットも、通常、頂部の周囲にあり、特定のカットについて、そのように称される。ファセット化された宝石用原石の底である、パビリオンのような、他のファセットも考慮されることもできる。本開示は、参照を容易にするために、テーブルファセットを以下に議論するが、本開示はそのように限定されない。

【0021】

本開示の第１の態様において、訓練入力についての関心の構成は、所与の宝石用原石タイプについての所与のファセットと関連付けられる頂点または複数の頂点である。

【0022】

よって、例えば、関心の構成は、テーブルファセット（または他のファセット）の１つ以上の頂点であってよい（しかしながら、同じファセットの全ての頂点は、関心の構成の１つの種類または分類として一緒に考慮されるべきである。他のタイプの頂点は、異なる関心の構成と考えられる）。よって、訓練入力中のラベルまたは注釈は、関心の構成がテーブルファセットの頂点であることを示す。同じ宝石用原石タイプのガードルのような異なるファセットに関する他の頂点も可能なことがある。従って、この場合には、同じ訓練画像についての別のラベルが訓練入力に含められ、それは、この場合おけるに関心の構成がガードルファセットの頂点であることを示す。データモデルによって特定のファセットに属する前記頂点のより正確でエラーのない検出を可能にするために、宝石用原石の異なるファセットの異なる頂点に基づいてデータモデルを訓練することが有利である。

【0023】

第１の態様において、訓練出力は、訓練入力中のラベルに対応する所与の訓練画像の宝石用原石タイプを指定する表示または結果または注釈を含む。よって、上記例において、頂点である関心の構成についてのラベルが、それがテーブルファセットの頂点であることを示していると仮定して、問題の訓練画像の宝石用原石タイプがブリリアントカットであると考えてみる。この場合、訓練出力は、（その頂点についての）ラベルがブリリアントカットされた宝石用原石タイプに関することを示す。よって、訓練画像のための訓練入力および訓練出力の両方から、データモデルは、そのような特徴が、遭遇されるときに或いは検出されるときに、ブリリアントカットされた宝石用原石のテーブルファセットの頂点に関することを識別するように訓練されることができる。

【0024】

有利には、データモデルは、同じタイプおよび異なるタイプの宝石用原石についての複数の異なる関心の構成について同様の方法で訓練されることができる。よって、第１の態様について、データモデルは、特定の宝石用原石タイプの特定のファセットに属するものとして頂点を識別し且つ分類する、すなわち、プリンセスカットされた宝石用原石のテーブルファセットに属するものとして頂点を分類するように訓練される。

【0025】

幾つかの実施形態では、複数の訓練画像は、関心の構成、すなわち、テーブルファセットに属する頂点を識別するラベルと、そのような関心の構成がブリリアントカットされた宝石用原石タイプに関するか或いはそのようなものとして分類されることを示す訓練出力とを備えるとき、所与の宝石用原石タイプについて関心の構成を有する特定の数の訓練画像の後に、データモデルは、そのような宝石用原石がブリリアントカットされた宝石用原石であることを自動的に推定し且つ予測することができる（これが訓練出力またはいかなる他のラベルによっても確認または記載されることを必要としない）。この場合、幾つかの実施形態において、頂点の数が、例えば、８個であるならば、ブリリアントカットされた宝石用原石のテーブル頂点を識別するように訓練されたデータモデルは、そのような特定の宝石用原石タイプ、すなわち、ブリリアントカットについて、識別された頂点を接続する多角形の輪郭または境界を生成するように構成されることができる。

【0026】

本開示の第２の態様において、関心の構成は、所与の宝石用原石タイプの複数のファセットの中の所与のファセットの部分である。幾つかの実施形態において、これは、問題の訓練画像中の宝石用原石タイプのテーブルファセットの一部分またはセグメントのような、所与のファセットと関連付けられるセグメントまたは領域であってよい。幾つかの実施形態において、その部分は、所与のファセット全体である、すなわち、その部分は、例えば、テーブルファセット全体である。

【0027】

第２の態様において、所与の訓練画像ついて訓練入力中に提供されるラベルまたは注釈は、所与の訓練画像中の宝石用原石タイプの関心の構成に対応する所与のファセット内の部分を示すセグメント化されたマスクを含む。

【0028】

よって、部分がテーブルファセット全体であるならば、セグメント化されたマスクは、訓練画像のためのテーブルファセットに対応するマスクのセグメントまたは部分を示す。ラベルは、関心の構成、すなわち、部分が、テーブルファセットに関することも指定する。幾つかの実施形態において、セグメント化されたマスクは、所与の訓練画像を表すさらなる画像であり、セグメント化されたマスクに示される部分は、セグメント化されたマスクの残部のピクセル強度とは異なる第１のピクセル強度を有する。よって、例えば、関心の構成がテーブルファセットの部分または全体であるならば、第２の態様によれば、訓練入力中のラベルまたは注釈は、所与の訓練画像に関する黒色および白色画像としてセグメント化されたマスクを含み、テーブルファセットのみに対応する部分は、黒色であり、すなわち、より低いピクセル強度を有する一方で、マスクの残部は、白色である、すなわち、高い強度を有する。ラベルは、セグメント化されたマーク内のそのような部分がテーブルファセットであることも示す。

【0029】

第１の態様と同様に、訓練出力は、セグメント化されたマスクを有するラベルに対応する所与の訓練画像の宝石用原石タイプを指定する表示または結果または注釈を含む。よって、上記例において、部分またはセグメントである関心の構成についてのラベルが、セグメント化されたマスクがテーブルファセットに対応する高強度部分を有することを示していると仮定して、問題の訓練画像の宝石用原石タイプがブリリアントカットであると考えてみよう。この場合、訓練出力は、ラベルがブリリアントカットされた宝石用原石タイプに関することを示す。よって、訓練画像のための訓練入力および訓練出力の両方から、データモデルは、関心のセグメントまたは部分と同じまたは類似の特徴を有する画像の部分またはセグメントが、遭遇されるときに、ブリリアントカットされた宝石用原石のテーブル面の全体または部分に関する、ことを識別するように訓練されることができる。

【0030】

有利には、データモデルは、同じタイプおよび異なるタイプの宝石用原石について、複数の異なる関心の構成、すなわち、部分について同様の方法で訓練されることができる。よって、第２の態様のために、データモデルは、特定の宝石用原石タイプの特定のファセットに属するものとして部分または画像のセグメントを識別し且つ分類するように、すなわち、プリンセスカットされた宝石用原石のテーブルファセットに属するものとしてセグメントを分類するように訓練される。

【0031】

幾つかの実施形態では、第１および第２の入力と関連付けられる訓練方法またはデータを組み合わせることができる。よって、訓練入力は、第１の関心の構成、すなわち、第１の態様と同様に所与の領域またはファセットについての１つ以上の頂点と、第２の関心の構成、すなわち、特定の宝石用原石タイプの所与のファセットの部分とに基づいてよい。関心の構成は、データモデルと同じ時または異なる時に提供されてよい。例えば、幾つかの実施形態において、第２の関心の構成は、データモデルが第１の関心の構成に基づいて訓練された後にのみ使用されてよい。有利には、多数の異なる種類の構成に基づいて訓練されたデータモデルを有することは、１つ以上のまたは両方のタイプの構成を有する画像を、スケーリング可能であり、効果的であり、より複雑でなく且つ正確な方法で、容易且つ正確に検出し且つ分類することができるように、データモデルの能力を改良する。

【0032】

本開示の第３の態様において、関心の構成は、所与の宝石用原石タイプについて所与のファセットと関連付けられる向きパラメータである。幾つかの実施形態において、向きパラメータは、所与のファセットと関連付けられる回転角度、または所与のファセット上の所定のポイントからの距離である。第３の態様において、訓練入力内のラベルは、向きパラメータの値を含む。第３の態様のために、第１および第２の態様と同様に、１つ以上の入力構成を分類するように訓練されるよりもむしろ、第３の態様におけるデータモデルは、線形回帰技術を用いて、宝石用原石画像の回転角度（例えば、０～３６０度）、または所与の点からのミリメートル単位の位置のような、向きパラメータを識別または抽出するように、すなわち、適切な出力が得られるまでエラーを抽出および最小化するように訓練される。

【0033】

上述の第１、第２または第３の態様および関連する実施形態によるものであろうとなかろうと、データモデルが訓練された後に、本開示は、所与の宝石用原石の入力画像を訓練されたデータモデルに提供するステップを含む。宝石用原石は、この場合、場所が決定されるべき宝石用原石である。幾つかの実施形態において、場所は、宝石用原石のファセットをマーキングするために必要とされることがある。幾つかの実施態様において、この入力画像は、カメラによって取り込まれる所与の宝石用原石の記録された画像またはライブ画像である。幾つかの実施形態において、カメラは、レーザマーキングデバイスと関連付けられてよい。

【0034】

次に、訓練されたデータモデルは、入力画像の受信後に以下のステップを実装する。

【0035】

（ａ）複数の訓練画像内の関心の構成に対応する入力画像内の少なくとも１つの特徴を検出するステップ。

【0036】

関心の構成が訓練画像の宝石用原石タイプのテーブルファセットの頂点または複数の頂点である第１の態様では、このステップにおいて、特徴の構成と一致するか或いは関心の構成に対応する１つ以上の特徴がテーブルファセットの頂点として検出される。

【0037】

関心の構成がファセットの部分またはセグメントである第２の態様において、ステップは、宝石用原石タイプの訓練画像のセグメント化されたマスクにおいて、第１のまたは異なるピクセル強度を有する、すなわち、異なる色にある部分に対応する入力画像の部分を検出することを含む。

【0038】

第３の態様において、このステップは、訓練入力内の対応する向きパラメータのラベルに含まれる値と比較されるときに、低いまたは最小のエラーまたは差の値を有する入力画像と関連付けられる向きパラメータを識別することを含む。

【0039】

（ｂ）入力画像内の少なくとも１つの特徴が関心の構成に対応する訓練入力内のラベルと関連付けられることを決定するステップ。

【0040】

よって、全ての３つの態様について、検出される特徴に対応するか或いは検出される特徴と一致する訓練されたデータモデル内のラベルは、検出された特徴についてのラベルまたは注釈として決定される。

【0041】

（ｃ）入力画像中の所与の宝石用原石がラベルと関連付けられる特定の宝石用原石タイプのものであると識別するステップ。

【0042】

よって、全ての３つの態様について、ラベルがひとたび決定されると、ラベルに関連する訓練出力が識別される。上述のように、これは特定のタイプの宝石用原石である宝石用原石と関連付けられる全体的な分類結果、すなわち、入力画像がプリンセスカットされた宝石用原石であるか或いはブリリアントカットされた宝石用原石であるかなどを明らかにする。

【0043】

（ｄ）識別される特定の宝石用原石タイプに関連するそれぞれの領域のそれぞれの関心の構成の表現を含む出力を提供するステップ。

【0044】

このステップでは、特定のタイプがひとたび識別されると、特定のタイプについての関心の構成の例示的な表現がデータモデルによって提供される。

【0045】

第１の態様において、出力表現は、識別される特定の宝石用原石タイプに対応する入力画像の所与のファセットの頂点、すなわち、プリンセスカットされた宝石用原石のテーブルファセットの全ての頂点を接続する多角形の輪郭を示す境界に基づく或いはそれらを含む、多角形の輪郭または境界またはバウンディングボックスを含む。

【0046】

第２の態様について、出力表現は、画像の残部とは異なる第１の強度を有するものとして検出された入力画像のそれぞれのファセットのセグメントまたは部分の表示である。よって、例えば、出力表現は、特定の宝石用原石タイプのテーブルファセット、すなわち、プリンセスカットされたテーブルファセットに対応するセグメントを示す。

【0047】

訓練段階中に第１および第２の態様の両方が組み合わされる実施形態では、第１の出力表現が、第１の構成の頂点に対応する宝石用原石の入力画像中の特徴、すなわち、ブリリアントカットされた宝石用原石のテーブルファセットに基づいて得られる。上述のように、これは頂点の多角形の輪郭または頂点のバウンディングボックスである。次に、この第１の出力表現を使用して、特定の宝石用原石タイプのための１つ以上のセグメント化マスク(segmentation masks)を生成することができる。次に、第２の関心の構成、すなわち、セグメントまたは部分を検出することにおける使用のために、データモデルへの更なるまたは次のまたは将来の訓練入力に含められるように、生成されたセグメント化マスクをフィードバックとして提供することができる。有利には、１つの関心の構成から得られるフィードバックを用いて、特定の宝石用原石タイプのための同じデータモデルを更に訓練することによって、その特定の宝石用原石タイプについての入力画像の特徴を分類するために、開示の方法の精度、速度および信頼性を更に向上させる。

【0048】

第３の態様について、出力表現は、低いまたは最小のエラーまたは差を有する識別された特定の宝石用原石タイプのそれぞれの領域、すなわち、ファセットまたは表面と関連付けられる入力画像の向きパラメータの値の表示である。よって、第１および第２の態様とは異なり、第３の態様において、データモデルは、バウンディングボックスまたはセグメント表示を予測または提供せず、向きパラメータの予測値、例えば、訓練中に学習される抽出された回転角に基づく回転角を直接的に出力する。

【0049】

次に、第１、第２または第３の態様を使用するかにかかわらず、データモデルからの出力表現がひとたび得られると、本開示の方法は、入力画像と関連付けられる宝石用原石の対応する領域上の場所を決定するステップを含む。

【0050】

有利には、データモデルからの出力は入力画像の特定の宝石用原石タイプについての表現に基づくので、この出力を使用して宝石用原石の表面上の場所を正確に決定することができる。よって、タイプがブリリアントカットであるならば、出力表現を使用してこのタイプのカットのテーブルファセットの中心を容易かつ正確に場所特定することができる。この場所は、宝石用原石のマーキングのために使用されてよい。

【0051】

例えば、第１の態様について、実際の宝石用原石におけるテーブルファセットの実際の場所を識別するために、多角形の輪郭を宝石用原石または宝石用原石の画像上にオーバーラップされる或いは重ね合わせることができる。第１の態様に関連する幾つかの実施形態において、特定の宝石用原石タイプのテーブルファセットの２つ以上の頂点について、そのような頂点の接続線の垂直二等分線の交点を使用して、特定の宝石用原石タイプのテーブルファセットの中心を更に正確に描くこともできる。よって、テーブルファセット上の場所を決定する精度は、更に増大させられる。セグメント化されたマスク内の関心部分を識別する第２の態様の出力表現も使用することができる。第３の態様において、入力画像と関連付けられる宝石用原石の対応するファセットまたは領域上の場所は、宝石用原石の向きを示す。

【0052】

本開示は、１つ以上のプロセッサと、コンピュータプログラムを格納するためのメモリとを含む、コンピューティングデバイスまたはシステムにも関し、１つ以上のプロセッサは、上記で議論した態様および実施形態のいずれかの方法ステップを実装するためにコンピュータプログラムを実行するように構成される。

【0053】

幾つかの実施形態において、コンピューティングデバイスまたはシステムは、データモデルを実装するための１つ以上のプロセッサも含み、１つ以上のプロセッサは、上述のデータモデルによって実行されるステップを実装するための人工ニューラルネットワーク（ＡＮＮ）を実装するように構成される。

【0054】

データモデルの上記の詳細な議論から明らかなように、データモデル、すなわち、人工ニューラルネットワーク（特に、限定されるものではないが、畳み込みニューラルネットワークアーキテクチャ）は、宝石用原石の表面上の関心の構成または特徴を認識し且つ場所特定するように訓練される。有利には、ラベル付き画像の形態にあることがある様々な訓練データを用いて、有意な視覚的ノイズ、汚染および照明の変化の存在の下でさえも、これらの特徴を識別することができる、ＡＮＮを生成することが可能である。ＡＮＮは、これらのカットに特徴的なまたは特異な特定の特徴を認識することによって、宝石用原石のカットの特定のタイプまたは分類(クラス)も識別する。

【0055】

有利には、本開示により、少数の（または単一さえの）画像から特定のファセットおよび頂点を識別子且つ場所特定することが可能である。これらのファセットの場所は、宝石用原石の形状またはカット、およびこれらに関連する場所を決定するために使用されることができる。有利には、訓練されたＡＮＮの使用は、撮像システムに関連する複雑さを低減し、本方法に記載するような特定の事項における画像処理ルーチンの速度および信頼性を増加させることができる。

【0056】

例えば、背景技術セクションで上述した特許文献３は、ある範囲の角度から画像のセットを構築し、次に、結晶の容積を予測することに限定されるように見えるプロセスを提案している。対照的に、本開示は、この画像分類技術および他の既存の画像分類技術に対する改良を提案する。何故ならば、本開示は、宝石用原石の既知のカット（または幾何学的形状）と比較するために、頂点のような関心の構成の分類が論理データモデルを構築することを可能にするからである。これは、近似的なカット／形状の事前知識に基づいて、幾何学的偏角(geometric arguments)および分類のより強力なセットが既知の頂点に適用されることを有利に可能にする。

【0057】

更に、開示の方法は、宝石用原石上の場所に基づいたアプリケーションの他の実装において使用される従来の画像処理ルーチンに対する有意な改良である。従来の方法は、例えば、画像照明を考慮した特定のカスタマイズされた解決策を必要とし、典型的には、意味のある情報を抽出するために画像の広範な処理を必要とする。例えば、石のエッジを見出すために、黒色／白色閾値化ルーチンが、典型的には、適切に照明された画像に適用されること、次に、エッジ適合ルーチンが続くことが必要とされる。次に、より暗い領域またはより明るい領域を、石または背景に属するものとしてセグメント化することができる。そのような方法は、照明が有意に変化せず、石の反射率／散乱が予測可能であり、石のエッジに不純物や傷がない場合にのみ機能する。本明細書に記載する本開示の方法は、これらのより構造化された複雑な方法に対する（上述のような）多くの方法における進歩であるが、上記の態様および実施形態に従ったデータモデルを訓練するために実装されるステップは、そのような変化に対してより堅牢(ロバスト)である。

【0058】

本開示による宝石用原石をレーザマーキングするための本開示の方法の適用を今や議論する。本方法は、レーザ源またはポインタ、カメラおよびシステムの動作を管理するための１つ以上のプロセッサを含む、レーザマーキングシステムを使用して実装される。

【0059】

方法は、場所が決定されるべき宝石用原石の画像をカメラによって或いはカメラから取得するステップを含む。

【0060】

次に、取得された画像は、レーザマーキングシステムの１つ以上のプロセッサと関連付けられた訓練されたデータモデルへの入力画像として提供される。幾つかの実施形態において、データモデルは、レーザマーキングシステム内に提供され、他の実施形態において、データモデルは、遠隔サーバまたは場所にあってよく、或いは通信ネットワークを介してレーザマーキングシステムに通信的に結合されるクラウドプラットフォームと関連付けられてよい。

【0061】

次に、本方法は、マーキングのために宝石用原石の表面上の場所を決定することを含む。このステップは、本開示の第１の態様、第２の態様および第３の態様に関して上記で議論したように、宝石用原石によって関連付けられる場所を決定する方法を含む。幾つかの実施形態では、本開示の第１の態様に関連して、データモデルからの出力表現は、識別された特定の宝石用原石タイプの所与のファセットの複数の頂点と関連付けられる多角形の輪郭または境界である。この場合、本方法は、レーザマーキングが実行されるべき宝石用原石の対応するファセット上に前記多角形の輪郭または境界を適合させるか或いは重ね合わせるステップを含む。

【0062】

次に、本方法は、宝石用原石がデータモデルからの出力表現と一致するように宝石用原石を移動させること、および／またはレーザ源が出力表現と一致するようにレーザ源を移動させることを含む。次に、レーザマーキングが、出力表現と関連付けられた決定された場所に対応する宝石用原石上の場所で集束されたレーザ源またはポインタからのレーザビームを用いて実行される。幾つかの実施形態では、本開示の第１の態様に関連して、複数の頂点の交点に基づく所与のファセットの中心が決定され、レーザビームが決定された中心に集束されるように宝石用原石またはレーザ源またはポインタが移動される。

【0063】

幾つかの実施形態において、マーキングのための宝石用原石上の場所は、レーザビームを宝石用原石内の小さな容積に集束させてマーキング精度を高めるために、レーザ源からのレーザビームに光学収差補正を適用するためにも使用される。

【0064】

本出願は、宝石用原石を受けるためのベースまたはマウント、宝石用原石の画像を得るためのカメラ、宝石用原石と関連付けられる表面または表面下をマーキングするためのレーザビームを提供するためのレーザ源、および宝石用原石をレーザマーキングするためのより正確で、スケーリング可能で、複雑性がより少なく、信頼性が高く、効果的且つ効率的な方法を可能にするために、本開示の宝石用原石と関連付けられる場所を決定するための態様および実施形態を使用して上述の方法を実装するように構成される１つ以上のプロセッサを含む、レーザマーキングシステムにも関する。

【0065】

開示の方法の幾つかの特定のコンポーネント(構成要素)および実施形態は、添付の図面を参照して例示として記載され、図面において、同等の参照番号は、同等の構成を指す。

【0066】

図１は、上記で議論した本開示の方法の可能な適用を実装するための、すなわち、切断され且つ研磨された宝石用原石（例えば、ダイヤモンド）のファセットの表面または表面下でレーザマーキングを行うためのレーザマーキングシステムである。図１は、レーザマーキングシステム１００を示している。システム１００は、マウント１０６上に設けられる宝石用原石１０４の画像を取り込むためのカメラ１０２を含む。マウント１０６は、幾つかの実施態様において、それが保持する宝石用原石１０４の位置を調整するために移動可能である。マーキングにおける使用のためのレーザ源またはポインタ１０８が提供される。レーザ源１０８は、マーキングされるべき宝石用原石の表面と整列させられるためにも移動可能である。メモリまたは画像記憶装置に関連する計算リソース１１０も、レーザマーキングシステムの一部として示されている。

【0067】

宝石用原石をレーザマーキングするために、マーキングが宝石の上で行われる場所は、適切な精度、例えば、＋／－２０ミクロンに決定されることが典型的に必要とされる。図１の高レベル概略図は、カメラ１０２によって取り込まれる画像をデジタルフォーマットで格納するためにカメラ１０２が計算リソース１１０に接続されるレーザマーキングシステム（例えば、Ｏｐｓｙｄｉａ ＤＭ５０００ダイヤモンドマーキングシステム）を示している。このカメラ１０２からの画像を用いるとき、ダイヤモンドのファセット上の正しい場所でレーザマーキングを行うために、ダイヤモンドの正確な場所、形状および向きが決定されなければならない。システムのユーザがこの場所を手動で指定することは可能であるが、これは、マーキングのための自動化された場所および／または整列プロセスと比較するときに、より遅く、人的エラーを起こしやすい。

【0068】

更に、レーザマーキングが宝石のファセットの表面より下で起こる場合、幾つかの実施形態では、レーザビームを石の内部の小さな容積に集束させるために、レーザビームに光学収差補正を適用するために、ファセットの場所および宝石用原石の向きを決定することが必要なこともある。この場合、（図１には示されていない）レーザビームに対するファセットの向きを決定することが必要なことがあり、適用すべき正しい修正を決定するために幾つかの場合には重要でさえある。

【0069】

従って、図１で議論したようなレーザマーキングの適用のために、ならびに宝石用原石上の構成の場所に関する他の適用のために、本開示は、人工ニューラルネットワーク（ＡＮＮ）アーキテクチャのようなデータモデルを用いて宝石用原石に関連する場所を正確に決定するための技術を提案した。これは畳み込みニューラルネットワーク（ＣＮＮ）または少なくとも幾つかの畳み込み層を有するネットワークであり得るが、これらに限定されない。

【0070】

図２は、宝石用原石に関連する場所を決定するための本開示の方法の概要を示すフローチャートである。

【0071】

ステップ２０２は、宝石用原石に関連する関心の構成に関連する特徴を検出するための訓練データモデルを示している。

【0072】

上述のように、データモデルは、ＡＮＮであり、幾つかの場合には、畳み込みニューラルネットワーク（ＣＮＮ）である。

【0073】

（ＣＮＮを含む）ＡＮＮは、生物学的ニューラルネットワークに触発された計算モデルであり、一般に知られていない関数(functions)を近似させるために使用される。ＡＮＮは、ハードウェア（ニューロンは物理的コンポーネントによって表現される）またはソフトウェアベース（コンピュータモデル）があることができ、様々なトポロジー(topologies)および学習アルゴリズムを使用することができる。ＡＮＮは、実行されるべきタスクについての事前知識なしに、関数を近似させ且つ導出するように構成されることができ、代わりに、それらは、それらが処理する学習材料から、それら自体の関連する特徴(characteristics)のセットを進化させる。畳み込みニューラルネットワーク（ＣＮＮ）は、それらの層のうちの少なくとも１つの層における畳み込みの数学的演算を使用し、画像マッピングおよび分類アプリケーションのために広く使用されている。

【0074】

幾つかの例において、ＡＮＮは、通常、相互接続される３つの層を有する。第１の層は、入力ニューロンからなることがある。これらの入力ニューロンは、隠れ層と呼ばれる第２の層にデータを送り、第２の層は、関数を実行し、次に、出力ニューロンを第３の層に送る。入力層内のニューロンの数に関して、これは、ＡＮＮを訓練するために提供される訓練データまたは参照データに基づいてよい。

【0075】

ニューラルネットワーク内の第２の層または隠れ層は、１つ以上の関数を実装する。ＡＮＮには複数の隠れ層があることがある。例えば、関数または複数の関数は、各々、従前の層の線形変換を計算することがあり、或いは論理関数を計算することがある。例えば、入力ベクトルをｘとして表現することができ、隠れ層がｈとして機能し、出力がｙとして機能することを考えると、ＡＮＮは、ｘからｈにマッピングされる第２の層または隠れ層を使用する関数ｆとｈからｙにマッピングされる別の関数ｇとを実装するものとして理解されてよい。よって、隠れ層のアクティブ化は、ｆ（ｘ）であり、ネットワークの出力は、ｇ（ｆ（ｘ））である。

【0076】

宝石用原石の表面に関する関心の構成に関連する特徴を検出するためのデータモデルを訓練するために、以下の情報がデータモデルに提供される。
－ 宝石用原石の複数の訓練画像であって、各訓練画像は、複数のタイプの宝石用原石の中の宝石用原石タイプに関する。
－ 複数の訓練画像の中の所与の訓練画像について、
－ 所与の訓練画像内の宝石用原石タイプの所与の領域に関連する関心の構成のためのラベルを含む訓練入力、および
－ ラベルに関する関心の構成に関連する特定の宝石用原石タイプを識別する訓練出力。

【0077】

第１の態様に関連する一例において、関心の構成は、構成が宝石用原石タイプのテーブルファセットに関連することを示すラベルを有する頂点(vertices)である。この例における訓練出力は、宝石用原石タイプがプリンセスカットであることの表示であってよい。従って、これは、所与の訓練画像における頂点が、プリンセスカットされた宝石用原石のテーブルファセットの頂点として分類されることを示す。そのような分類の頂点の十分なインスタンスは、バウンディングボックス(境界ボックス)が頂点の場所に基づいて確立または生成されることを可能にする。

【0078】

よって、このステップにおいて、データモデルは頂点を検出して、これらの頂点の各々に分類を適用するように訓練される。例えば、「これはラウンドブリリアントカットされた宝石用原石のテーブルファセットからの頂点の１つとして認識される頂点である」または「これは１兆個のカットされたグリッドからの頂点の１つである」。複数の全てのそのような分類または全てのそのような分類の集まり、石の全体的な分類を訓練出力、例えば、「これはラウンドブリリアントカットされた宝石用原石である」として提供する。

【0079】

よって、第１の態様において、データモデルは、訓練画像内に見出される各頂点を、その場所および宝石用原石のカットに基づいて、異なる分類または種類またはセットの頂点に分類するように訓練される。これらのセットの１つのセットの例は、「ラウンドブリリアントカットされた宝石用原石のテーブルファセットの周りの頂点」であり得る。データモデルがこれらの同様に分類された点のうち約８個を生成したならば、データモデルは、宝石がラウンドブリリアントカットであることおよび頂点が全て主にテーブルファセットであることを決定するように訓練される。次に、図３ａに見られるように、これらの８個の（またはより少ない）点を使用して、ラウンドブリリアントカットされた宝石用原石タイプのためのテーブルファセットを画定する多角形輪郭を構築または生成することができる。

【0080】

幾つかの宝石用原石タイプは、図３ｂに見られるように、それらのテーブルファセットの周りに２つの異なる種類の頂点を有する。例えば、プリンセスカットは、図３（ｂ）に示すように、４つの「鋭い頂点１」と、４つの「幅の広い頂点２」とを有する。この場合、訓練中に、データモデルは、「プリンセスカットされた宝石用原石のテーブルファセットの幅の広い頂点」または「プリンセスカットされた宝石用原石のテーブルファセットの鋭い頂点」であると考える領域または構成を出力する。いずれかのサブセット（鋭い頂点または幅の広い頂点）の十分な訓練画像を用いて、プリンセスカットされた宝石用原石のテーブルファセットのモデルを形成することができる。

【0081】

訓練画像、訓練入力および訓練出力は、本開示の方法の上記議論において多少より詳細に既に記載されている。

【0082】

例えば、１０００を超える、多数の関心の構成の訓練画像または構成の各分類が必要とされる。幾つかの実施形態では、関心の構成の定義された場所と全ての訓練画像についての関連するラベルとを含むコンピュータデータファイルが、（注釈としても知られる）人間の入力によって構築される。例えば、関心の構成が所与のファセットの頂点である上述の第１の態様について、図３は、頂点の種類または分類を定義するためにラベルで注釈付けられた特定のタイプまたは複数のタイプの頂点を有する宝石用原石の概略的な例を示している。図３ａは、八角形の対称にカットされた宝石用原石に関連する頂点を示している一方で、図３ｂは、プリンセスカットされた宝石用原石に関連する２つの分類の頂点を示している。

【0083】

図５は、ＡＮＮを訓練するために使用されるデータ構造を示している。この例では、複数の訓練画像ファイルのディレクトリ５０２、注釈データファイルまたはラベルのディレクトリ５０４、および注釈を画像にリンクするデータファイル５０６が示されているが、データ構造は、これらに限定されず、他のものも可能である。幾つかの例において、ＡＮＮアーキテクチャ５０８は、訓練画像内の関心の構成についてのバウンディングボックスまたは多角形輪郭または領域を定義することができ、訓練入力内の注釈またはラベルを使用してそれらの構成に予め訓練された分類を割り当てることもできるものであってよい。そのようなネットワークの例は、ＲＣＮＮ、Ｆａｓｔ－ＲＣＮＮ、Ｆａｓｔｅｒ－ＲＣＮＮ、ＹＯＬＯ、ＹＯＬＯｖ３、および類似の構造で設計され且つ適切なプログラミングフレームワーク５１０で書かれたカスタム実装を含む他の派生物を含み得るが、これらに限定されない。ＡＮＮルーチンの実行は、典型的には、適切な計算リソース上でＡＮＮ５０８を動かすことによって完了される。計算は、コンピュータの中央処理装置（ＣＰＵ）またはグラフィックス処理装置（ＧＰＵ）または専用テンソル処理装置（ＴＰＵ）、または上記のいずれかのものの組み合わせで実行されることができる。データファイルの場所およびＡＮＮのための任意のコード／構造／重みは、計算リソース上に格納されることができるか、或いは、インターネットを介して、例えば、クラウドストレージプラットフォームを介してアクセスされることができる。

【0084】

図６は、領域提案ネットワーク（ＲＰＮ：region proposal network）がデータモデルの一部であるようにデータモデルのためのＦａｓｔｅｒ－ＲＣＮＮアーキテクチャを使用する概略的な実装の例を示している。この実装では、複数の訓練画像の入力が６０２として示されている。図２のステップ２０２における訓練のステップについて、訓練入力および上述の訓練出力も提供される。ＡＮＮは、入力画像６０２から構成抽出(feature extraction)を実行することができる１つ以上の畳み込み層６０４を含む。幾つかの例では、訓練画像がラベルおよび／または訓練出力に関連する処理を行うことがある領域提案ネットワーク６０８において分析される前に、構成マップ６０６も考慮される。次に、データモデルを訓練するために、領域または構成提案６１０が作られてよい。幾つかの場合には、関心の領域プーリング層６１２が提供されてもよい。訓練中に得られる出力は、関心の構成の分類と、訓練画像内のタイプ宝石用原石に関連するバウンディングボックスとを含むことがある。異なる分類の頂点についてのバウンディングボックスの例が図３に見られる。

【0085】

ステップ２０４では、その表面に関連する場所が検出されるべき宝石用原石の入力画像が、訓練されたデータモデルに送られる。幾つかの実施形態において、この入力画像は、宝石用原石のライブ画像または記録された静止画像またはビデオのような動的画像であってよい。幾つかの実施形態において、入力画像は、図１中のレーザマーキングシステム１０８からカメラ１０２から提供され、ここで、宝石用原石１０８をマーキングするための場所は、本明細書で議論するデータモデルによって検出される。

【0086】

ステップ２０６は、データモデル内の関心の構成に対応するステップ２０４で得られる入力画像内の少なくとも１つの特徴を検出するステップを示している。

【0087】

よって、第１の態様を考慮すると、データモデルが、特定のタイプの宝石用原石のテーブルファセットのような所与の表面の頂点に基づいて訓練されていときに、頂点の種類または分類に対応するそのような特性、すなわち、テーブルファセットの頂点が画像内に見られるならば、入力画像がそのような頂点を有することを検出することができる。このステップは、次に、入力画像内で検出された少なくとも１つの特性が、関心の構成に対応する訓練入力内のラベルに関連することを決定することによって、検出された頂点を分類するステップを更に含む。よって、このステップにおいて、訓練されたデータモデルは、検出された頂点が宝石用原石タイプのテーブルファセットに対応することを決定している。

【0088】

ステップ２０８において、データモデルは、次に、入力画像内の所与の宝石用原石を特定の宝石用原石タイプのものとして識別する。上述のような第１の実施形態を考慮すると、それがテーブルファセットの頂点であることを示す関心の構成に対応する十分な数の特徴があるならば、訓練されたデータモデルは、訓練中に同じ関心の構成に割り当てられたラベルに対応する訓練出力内の表示に基づいて、頂点が特定のタイプの宝石用原石、すなわち、特定のカットに関連することを決定することができる。よって、画像中で検出される特性が宝石用原石タイプ－ラウンドブリリアントカットされた宝石用原石のテーブルファセットに属するものとして決定される場合には、このステップにおいて、場所が予測されるべき入力画像中の宝石用原石のタイプが、ラウンドブリリアントカットされた宝石用原石であることを識別することができる。

【0089】

幾つかの実施形態において、ステップ２０６および２０８は、単一のステップとして結合または実装されることができ、訓練されたデータモデルは、所与の入力画像の頂点が特定のタイプのテーブルファセットに関係することを直ちに識別することができる。

【0090】

上述のように、データモデルは、宝石用原石の記録されたまたはライブのビデオ画像内の特定の構成を場所特定して分類するためにディープラーニング技術によって（ステップ２０２において）訓練されるＡＮＮまたはＣＮＮである。これらの構成は、典型的には、第１の態様と同様に、宝石用原石のファセットの頂点であるが、セグメント化されたマスクが使用される第２の態様に関連して議論するように、別の実装では特定のファセット全体であることができる。図５および図６に関連して議論されるような、適切な構造のＡＮＮは、適切な訓練の後に、それらの入力画像の領域を定義された分類に属するものとして分類することができる。よって、ＡＮＮは、検出されたまたは抽出された関心の構成のアマルガム(amalgam)に基づいて宝石用原石のカットを予測することが可能である。一例として、「ラウンドブリリアント」ダイヤモンドカットは、チェッカーボードまたはプリンセスのような他のダイヤモンドカットとは異なる、特徴的な頂点のセットを有する。

【0091】

有利には、本開示の態様および実施形態は、ＡＮＮ法を用いて宝石用原石の形状を決定するための背景技術セクションで議論した既存のシステムの進歩である。何故ならば、本開示は、訓練中にそれぞれ分類される画像の１つ以上の個々の関心の構成に基づいて、検出される特徴を決定して分類するための分類ステップを含むからである。そのような個々の関心の構成の分類の集合は、宝石用原石の特定のカットの分類または識別を可能にし、故に、幾何学的／対称性議論の改良されたセットを適用して幾何学的形状を決定することができる。

【0092】

幾つかの実施形態では、ステップ２０６および２０８における入力画像のための分類ステップの一部として、背景技術セクションで議論したような従来の画像処理ルーチンを使用して、入力画像または関心の構成を含むものとして識別された入力画像の領域から余分な情報を抽出することもできる。例えば、ハフ線変換(Hough lines transformation)を、頂点を含むものとして以前に識別された領域内のピクセルに適用して、線形構成(linear features)を抽出することができる。（他の視覚的クラッタ(clutter)のない）関心の画像領域がひとたび得られたならば、この追加的な処理を使用して、頂点の場所をより正確に識別することができる。第１の態様の頂点に関連する境界がひとたび得られると、データモデルへの訓練入力として使用されるセグメント化されたマスクを生成するために、これが使用されることができるように、第１の態様および第２の態様が組み合わせられることができる実施形態に関して、これも上記で議論されている。

【0093】

ステップ２１０は、ステップ２０８において識別された特定の宝石用原石タイプについての関心の構成の出力表現を提供するステップを示している。上述のように、ひとたび、特定の数の、例えば、８個のブリリアントカットされた宝石用原石のテーブルファセットの頂点が検出され、前記特定の宝石用原石タイプのものとして分類されると、特定の宝石用原石タイプのテーブルファセットのバウンディングボックスまたは輪郭を生成することができる。よって、第１の態様についてのこのステップの出力は、特定の宝石用原石のテーブルファセットについての多角形の輪郭である。第２の態様について、この表現は、宝石用原石のテーブルファセットを表す関心の領域に対応する宝石用原石の入力画像の一部分の表示であってよく、異なるピクセル強度または色で示されてよい。

【0094】

ステップ２１２では、ステップ２１０における出力表現に基づいて、入力画像に関連する宝石用原石の対応する領域上の場所を決定することができる。第１の態様に関連する実施形態において、これは、宝石用原石の入力画像または宝石用原石自体に関連する検出された頂点に基づいて、多角形の輪郭を重ね合わせかまたは整列させるステップを含んでよい。図１におけるレーザマーキングシステムについて、宝石用原石１０４またはレーザ源１０８は、テーブルファセットが、例えば、多角形の輪郭と一致するように、移動または回転させられることができる。

【0095】

幾つかの実施形態では、レーザマーキングの適用のために、ひとたび宝石用原石のカットが分類されると、画像内の関心の構成のサブセットまたは複数のサブセットの場所を使用して、マーキングが行われるべき場所を特定するための単純な幾何学的考察に基づいて宝石用原石の正確な場所および向きを計算することが可能である。

【0096】

この適用の例は、（宝石用原石のテーブルファセットのような）ＡＮＮからのファセットの多角形の輪郭を、レーザマーキングが実行されるべき対応するテーブルファセットと自動的に適合させることである。

【0097】

図４は、ファセットの中心を計算するために、同じタイプの検出された頂点のセットを使用する別の例を示している。これは、これらの頂点間の線のセットを構築し、これらの線の垂直二等分線を計算することによる。ステップ２１０からの出力表現のために提供されるようなファセット輪郭４０２は、例えば、プリンセスカットされた宝石用原石のテーブルファセットのより広い頂点であると検出される頂点４０８について示されている。頂点４０８間の接続は、実線コネクタ４０４として示されている。次に、コネクタ４０４の垂直二等分線は、破線４０６として示されている。この例において、これらの垂直二等分線４０６の交点は、この場合には、プリンセスカットされた宝石用原石のテーブルファセットの中心である。他のファセットの幾何学的形状を分析するために、同様の幾何学的ルールのセットを構築することができる。幾つかの実施形態では、頂点の完全なまたはほぼ完全なセットで、所与のファセットについて、完全な対称性からの宝石用原石の変形を計算することができる。

【0098】

上述のように、訓練ならびに予測または分類段階のために考慮される関心の構成は、第１の態様における宝石用原石のファセットの頂点、第２の態様におけるファセットの一部分、または第３の態様における向きパラメータであることができる。図２のステップが、第１の態様に関連して説明されたが、本開示は、それに限定されないことが理解される。

【0099】

第１の態様に関連して、図７は、宝石用原石上の特定の構成の場所を予測するために図２に関連して上記で議論した技術によって訓練されたＡＮＮを使用するための概略的なプロセスフローを示している。新しい画像、またはカメラ（例えば、図１のカメラ１０６）から提供される入力画像７０２が得られる。この画像は、ライブ画像または記録された画像のいずれかである。幾つかの実施態様において、新しい画像７０２は、それが第１の態様のための上記で議論した技術を使用して訓練される訓練されたＡＮＮ７０６に入力画像として提供される前に、処理された画像７０４を提供するために、サイズ変更、再配向、輝度調整などのような画像処理を受けてよい。次に、ＡＮＮ７０６の出力７０８が示され、ここで、入力画像中の宝石用原石の頂点は、出力表現７０８において特定の宝石用原石タイプのテーブルファセット１の頂点として識別される。この場合における出力表現は、画像７０２についてのテーブルファセット頂点１として認識されている、関心の構成（破線のブロック）の識別または場所を含む。これは、それが図３ａの訓練入力および関連するラベルおよび注釈に見られるような、ラウンドブリリアントカットされた宝石用原石についてのテーブル頂点の特性にマッチするように、ＡＮＮによって認識されている。従って、図７中の宝石用原石は、ラウンドブリリアントカットされた宝石用原石であると推論されることができる。

【0100】

図８は、図７と同様に、訓練されたＡＮＮを使用するためのプロセスの流れも示しているが、宝石用原石上の特定のファセットの場所を予測するために第２の態様について議論した技術に関するものである。この場合、関心の構成は、ファセットの一部分であり、それはファセット全体であってもよい。

【0101】

ＡＮＮ８０６が、この場合には、残りの画像に対して異なるピクセル強度を有するものとして或いは有することによって識別される、関心の構成であるファセットのセグメントまたは部分を識別するように訓練されている点を除いて、ステップ８０２、８０４および８０６は、それぞれ、ステップ７０２、７０４および７０６に対応する。この場合、ＡＮＮ８０６は、ラウンドブリリアントカットされた宝石用原石のテーブルファセットのセグメントまたは部分を検出するように訓練されると考えられる。次に、ＡＮＮ８０６の出力８０８は、画像８０２についてのラウンドブリリアントカットされた宝石用原石のテーブルファセットのセグメントであるものとして認識されている、関心の構成（高輝度ピクセルを有するセグメント化された画像）の識別または場所を含む表現である。

【0102】

図９は、図８に示され且つ詳細な記述を通じて説明されるステップを実装するために使用することができるコンピューティングデバイス９００の１つの例示的な実装のブロック図を示している。コンピューティングデバイスは、コンピューティングデバイスに、本明細書において議論した方法論の任意の１つ以上を実行させるための実行可能な命令と関連付けられる。コンピューティングデバイス９００は、本開示の方法を実行するためのデータモデルを実装するためのデータモデルまたは１つ以上の計算リソースの容量において作動することがある。代替的な実装において、コンピューティングデバイス９００は、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、またはインターネット内の他のマシン(機械)に接続（ネットワーク化）されてよい。コンピューティングデバイスは、クライアント－サーバネットワーク環境内サーバまたはクライアントマシンの容量において、或いはピアツーピア（または分散）ネットワーク環境内のピアマシンとして作動することがある。コンピューティングデバイスは、パーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチまたはブリッジ、またはその機械が取るべき行為を指定する（逐次的またはその他の）命令のセットを実行することができる任意のマシンであってよい。更に、単一のコンピューティングデバイスのみが示されているが、「コンピューティングデバイス(computing device)」という用語は、本明細書で議論する方法論の任意の１つ以上を実行するための命令のセット（または複数のセット）を個別にまたは共同で実行する任意の集合のマシン（例えば、コンピュータ）を含むとも理解される。

【0103】

例示的なコンピューティングデバイス９００は、処理デバイス９０２、メインメモリ９０４（例えば、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）などのようなダイナミックランダムアクセスメモリ）、スタティックメモリ９０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）、およびバス９３０を介して互いに通信する二次メモリ（例えば、データストレージデバイス９１８）を含む。

【0104】

処理デバイス９０２は、マイクロプロセッサ、中央処理装置または同等物のような１つ以上の汎用プロセッサを表す。より具体的には、処理デバイス９０２は、複雑な命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット計算（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサであってよい。処理デバイス９０２は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサまたは同等物のような、１つ以上の特殊目的の処理デバイスであってもよい。処理デバイス９０２は、本明細書で議論する動作およびステップを実行するための処理ロジック（命令９２２）を実行するように構成される。

【0105】

コンピューティングデバイス９００は、ネットワークインターフェースデバイス９０８を更に含んでよい。コンピューティングデバイス９００は、ビデオディスプレイユニット９１０（例えば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ））、英数字入力デバイス９１２（例えば、キーボードまたはタッチスクリーン）、カーソル制御デバイス９１４（例えば、マウスまたはタッチスクリーン）、およびオーディオデバイス９１６（例えば、スピーカ）を含んでもよい。

【0106】

データストレージデバイス９１８は、本明細書に記載する方法論または関数(機能)のうちの任意の１つ以上を具現する命令９２２の１つ以上のセットが格納される１つ以上の機械読取可能記憶媒体（またはより具体的には１つ以上の非一時的コンピュータ読取可能記憶媒体）９２８を含んでよい。命令９２２は、同様にコンピュータ読取可能記憶媒体を構成するコンピュータシステム９００、メインメモリ９０４および処理デバイス９０２による実行中に、メインメモリ９０４内および／または処理デバイス９０２内に、完全にまたは少なくとも部分的に存在してもよい。

【0107】

上記の様々な方法は、コンピュータプログラムによって実装されてよい。コンピュータプログラムは、コンピュータに命令して、上述の様々な方法のうちの１つ以上の関数(機能)を実行させるように構成される、コンピュータコードを含んでよい。そのような方法を実行するためのコンピュータプログラムおよび／またはコードは、コンピュータのような装置に、１つまたはそれよりも多くのコンピュータ読取可能媒体、またはより一般的にはコンピュータプログラム製品上に提供されてよい。コンピュータ読取可能媒体は、一時的であっても非一時的であってもよい。１つ以上のコンピュータ読取可能媒体は、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、またはデータ伝送のための、例えば、インターネットを通じてコードをダウンロードするための伝搬媒体であり得る。代替的に、１つ以上のコンピュータ読取可能媒体は、半導体またはソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、硬質磁気ディスク、およびＣＤ－ＲＯＭ、ＣＤ－Ｒ／ＷまたはＤＶＤのような光ディスクのような、１つ以上の物理的コンピュータ読取可能媒体の形態を取ることができる。

【0108】

実装において、本明細書に記載するモジュール、コンポーネント(構成要素)および他の構成は、別個のコンポーネントとして実装されることができ、或いはＡＳＩＣ、ＦＰＧＡ、ＤＳＰまたは類似のデバイスのようなハードウェアコンポーネントの機能性において統合されることができる。

【0109】

「ハードウェアコンポーネント」は、特定の動作を実行することができる有形（例えば、非一時的）物理的コンポーネント（例えば、１つ以上のプロセッサのセット）であり、特定の物理的方法で構成または配置されてよい。ハードウェアコンポーネントは、特定の動作を実行するように恒久的に構成される専用の回路構成またはロジックを含んでよい。ハードウェアコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはＡＳＩＣのような特殊目的のプロセッサであってよく、或いはそれを含んでよい。ハードウェアコンポーネントは、特定の動作を実行するようにソフトウェアによって一時的に構成されるプログラマブル論理または回路構成を含んでもよい。

【0110】

従って、「ハードウェアコンポーネント」という語句は、特定の方法で動作するように或いは本明細書に記載する特定の動作を実行するように、物理的に構築される、永久的に構成される（例えば、ハードワイヤードされる）、或いは一時的に構成される（例えば、プログラムされる）ことがある有形の実体を包含すると理解されるべきである。

【0111】

加えて、モジュールおよびコンポーネントは、ハードウェアデバイス内のファームウェアまたは機能回路構成として実装されることができる。更に、モジュールおよびコンポーネントは、ハードウェアデバイスおよびソフトウェアコンポーネントの任意の組み合わせにおいて、或いはソフトウェア（例えば、機械読み取り可能媒体または伝送媒体に格納される或いはその他の方法で具現されるコード）のみにおいて実装されることができる。

【0112】

特に断りのない限り、以下の議論から明らかなように、記述を通じて、「提供する」、「計算する」、「計算する」、「識別する」、「検出する」、「確立する」、「訓練する」、「決定する」、「格納する」、「生成する」、「確認する」、「取得する」のような用語または同等の用語を利用する議論は、コンピュータシステムのレジスタおよびメモリ内で物理的（電子的）な量として表されるデータを操作し、コンピュータシステムのメモリまたはレジスタまたは他のそのような情報ストレージ、送信またはディスプレイデバイス内で物理的な量として同様に表される他のデータに変換する、コンピュータシステムまたは類似の電子コンピューティングデバイスの動作およびプロセスを指すことが理解される。

【0113】

上記の記述は、例示的であることが意図され、限定的であることを意図しないことを理解されるべきである。多くの他の実装が、上記の記述を読んで理解した後に当業者に明らかになるであろう。本開示は、特定の例示的な実装を参照して記載されたが、本開示は、記載の実装に限定されるものでなく、添付の特許請求の範囲の範囲内の修正および変更を伴って実施され得ることが認識されるであろう。従って、本明細書および図面は、限定的な意味ではなく、例示的な意味で考えられるべきである。従って、本開示の範囲は、特許請求の範囲が権利を有する均等物の全範囲と共に、添付の特許請求の範囲を参照して決定されるべきである。

【先行技術文献】

【特許文献】

【0114】

【特許文献1】欧州特許出願公開第００５４８４０Ａ２号明細書

【特許文献2】米国特許第９，５１９，９６１Ｂ２号明細書

【特許文献3】中国特許出願公開第１１００３３４８６Ａ号明細書

【特許文献4】米国特許第１０，２６２，２１８Ｂ２号明細書

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】