特表 2024-506637 画像内の対象物を検出およびモデル化するための機械学習システムの学習法、対応するコンピュータプログラム製品、および機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-14

(54)【発明の名称】画像内の対象物を検出およびモデル化するための機械学習システムの学習法、対応するコンピュータプログラム製品、および機器

(51)【国際特許分類】

   G06V 10/70 20220101AFI20240206BHJP

   G06T 7/00 20170101ALI20240206BHJP

   G06F 18/213 20230101ALI20240206BHJP

   G06N 3/08 20230101ALI20240206BHJP

   G06N 20/00 20190101ALI20240206BHJP

【ＦＩ】

G06V10/70

G06T7/00 350B

G06T7/00 660A

G06F18/213

G06N3/08

G06N20/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023548249

(86)(22)【出願日】2022-02-10

(85)【翻訳文提出日】2023-09-04

(86)【国際出願番号】 FR2022050240

(87)【国際公開番号】W WO2022171960

(87)【国際公開日】2022-08-18

(31)【優先権主張番号】2101319

(32)【優先日】2021-02-11

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】523264633

【氏名又は名称】フィッティングボックス

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】ナチュレル，グザヴィエ

(72)【発明者】

【氏名】シュクルン，アリエル

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA02

5L096FA06

5L096KA04

(57)【要約】

本発明は、機械学習システムの学習法に関する。そのような方法によれば、機械学習システムは、対象物および／または特徴領域を表す実像および少なくとも１つの仮想要素を備える拡張現実画像を得るステップと、拡張現実画像ごとに、拡張現実画像の少なくとも１つの所与の仮想要素に関して、所与の仮想要素をセグメント化するためのモデル、および所与の仮想要素のパラメータ表示に対応する１組の輪郭点を備える学習情報を得るステップと、複数の拡張現実画像および学習情報に基づき学習し、機械学習システムが所与の画像内の対象物および／または特徴領域を検出およびモデル化可能にする１組のパラメータを与えるステップとを行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つの所与の画像内に表現された少なくとも１つの対象物および／または前記少なくとも１つの所与の画像の少なくとも１つの特徴領域を検出およびモデル化するための機械学習システムの学習法であって、
前記機械学習システムは、
前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域を表す実像および少なくとも１つの仮想要素を備える複数の拡張現実画像を生成するステップと、
前記拡張現実画像ごとに、前記拡張現実画像の少なくとも１つの所与の仮想要素に関して、
前記所与の仮想要素から得た前記所与の仮想要素のセグメント化モデル、および
前記所与の仮想要素から得た、前記所与の仮想要素のパラメータ表示に対応する１組の輪郭点、または前記パラメータ表示
とを備える学習情報を得るステップと、
前記複数の拡張現実画像および前記学習情報から学習し、前記機械学習システムが前記少なくとも１つの所与の画像内の前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域を検出して、
前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のセグメント化モデル、ならびに
前記少なくとも１つの対象物および／もしくは前記少なくとも１つの特徴領域のパラメータ表示に対応する１組の輪郭点、または前記パラメータ表示
とを備える対応するモデル化情報を決定可能にする１組のパラメータを与えるステップとを遂行することを特徴とする学習法。

【請求項2】

前記拡張現実画像ごとに、前記機械学習システムの前記学習は、一方では前記所与の仮想要素の前記セグメント化モデル、および他方では前記所与の仮想要素の前記パラメータ表示に対応する前記１組の輪郭点からの共同学習を備える、請求項１に記載の学習法。

【請求項3】

前記共同学習は、一方では前記所与の仮想要素の前記セグメント化モデルに関連する交差エントロピーと、他方では前記所与の仮想要素の前記パラメータ表示に対応する前記１組の輪郭点に関連するユークリッド距離との間の一次結合に依存するコスト関数を実行する、請求項２に記載の学習法。

【請求項4】

前記実画像は顔の実例を備え、前記学習情報は、前記所与の仮想要素の前記パラメータ表示に対応する前記１組の輪郭点のうち少なくとも１つの前記輪郭点に関して、前記輪郭点が見えるかどうか、または前記顔により隠されているかどうかを示す可視性情報を備える、請求項１から請求項３のいずれか一項に記載の学習法。

【請求項5】

前記コスト関数は、前記輪郭点の前記可視性に関連するバイナリ交差エントロピーにさらに依存する、請求項２に従属するときの請求項４に記載の学習法。

【請求項6】

少なくとも１つの画像内に表現された少なくとも１つの対象物および／または前記少なくとも１つの画像の少なくとも１つの特徴領域の検出およびモデル化法であって、
請求項１から請求項５のいずれか一項に記載の学習法を実行することにより訓練された機械学習システムは、前記少なくとも１つの画像内の前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域の検出を遂行し、前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のモデル化情報の決定を遂行する検出およびモデル化法。

【請求項7】

前記機械学習システムは、請求項２または請求項２に従属するときの請求項３から請求項５のいずれか一項に記載の学習法を実行することにより訓練され、
前記決定は、
前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域の前記セグメント化モデル、ならびに
前記少なくとも１つの対象物および／もしくは前記少なくとも１つの前記特徴領域の前記パラメータ表示に対応する前記１組の輪郭点
の共同決定を備える、
請求項６に記載の検出およびモデル化法。

【請求項8】

前記機械学習システムは、請求項４または請求項４に従属するときの請求項５に記載の学習法を実行することにより訓練され、前記少なくとも１つの画像は所与の顔の表現を備え、前記機械学習システムは、前記少なくとも１つの対象物および／または前記少なくとも１つの前記特徴領域の前記パラメータ表示に対応する前記１組の輪郭点のうち少なくとも１つの所与の輪郭点に関して、前記所与の輪郭点が見えるかどうか、または所与の顔により隠されているかどうかを示す可視性情報をさらに決定する、請求項６または７に記載の検出およびモデル化法。

【請求項9】

前記少なくとも１つの画像は、前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域の異なる視界をそれぞれ表現する複数の画像を備え、前記検出および前記モデル化は、前記複数の画像ごとに共同で実行される、請求項６から請求項８のいずれか一項に記載の検出およびモデル化法。

【請求項10】

コンピュータプログラム製品であって、コンピュータ上で前記プログラムを実行するとき、請求項１から請求項９のいずれか一項に記載の方法を実行するためのプログラムコード命令を備えるコンピュータプログラム製品。

【請求項11】

少なくとも１つの画像内に表現された少なくとも１つの対象物および／または前記少なくとも１つの画像の少なくとも１つの特徴領域を検出およびモデル化するための機器であって、
前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域を表す実像および少なくとも１つの仮想要素を備える複数の拡張現実画像を生成するステップと、
前記拡張現実画像ごとに、前記拡張現実画像の少なくとも１つの所与の仮想要素に関して、
前記所与の仮想要素から得た前記所与の仮想要素のセグメント化モデル、および
前記所与の仮想要素から得た、前記所与の仮想要素のパラメータ表示に対応する１組の輪郭点、または前記パラメータ表示と
を備える学習情報を得るステップと、
前記複数の拡張現実画像および前記学習情報から学習し、記機械学習システムが少なくとも１つの所与の画像内の前前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域を検出して、
前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のセグメント化モデル、ならびに
前記少なくとも１つの対象物および／もしくは前記少なくとも１つの特徴領域のパラメータ表示に対応する１組の輪郭点、または前記パラメータ表示
とを備える対応するモデル化情報を決定可能にする１組のパラメータを与えるステップと
を実行するように構成された少なくとも１つのプロセッサおよび／または少なくとも１つの専用計算機を備えることを特徴とする機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、画像処理の分野である。

【0002】

より詳細には、本発明は、対象物および／または画像内で検出された特徴領域（たとえば目、鼻など）を検出およびモデル化するための方法に関する。

【0003】

本発明には、詳細には１つの眼鏡の仮想試験のための数多くの適用分野があるが、排他的ではない。

【背景技術】

【0004】

本明細書の残りの部分では、詳細には、本発明出願の発明者らが直面してきた１つの眼鏡の仮想試験の分野での既存の問題について記述する。当然のことながら、本発明はこの特定の出願分野に限定されないが、画像内に表現された任意のタイプの対象物および／またはそのような画像の任意のタイプの特徴領域（すなわち、関心のある画像の一部分）の検出およびモデル化に関して関心がある。

【0005】

考慮されている対象物および／または特徴領域を検出するために、いくつかの対象物および／またはいくつかの特徴領域の特徴点を使用することは従来技術から公知である。たとえば、目の隅は従来、画像内の個人の目を検出できるようにする特徴点として使用されている。鼻、または口の隅などの他の特徴点もまた、顔の検出のために考慮されてよい。一般に、顔の検出の品質は、使用する特徴点の数および位置に依存する。そのような技法は、詳細には本特許出願を提出している会社の、仏国特許発明第２９５５４０９号明細書で公開された仏国特許、および国際公開第２０１６／１３５０７８号で公開された国際特許出願に記述されている。

【0006】

製造された対象物に関しては、たとえば縁部または隅を特徴点と考えてよい。

【0007】

しかしながら、そのような特徴点を使用することにより、検出する際に、したがって、該当する場合には考慮されている対象物および／または特徴領域をモデル化する際に精度の欠如につながる。

【0008】

代わりに、考慮されている対象物および／または特徴領域の特徴点を人工的に生成するために、場合によっては手作業による画像注釈を検討することがある。しかしながら、この点ではこの場合も、考慮されている対象物および／または特徴領域を検出する際に精度の欠如が指摘される。該当する場合には、そのような不正確さは、そのようにして検出された対象物および／または特徴領域をモデル化する際に問題を引き起こす可能性がある。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】仏国特許発明第２９５５４０９号明細書

【特許文献2】国際公開第２０１６／１３５０７８号

【非特許文献】

【0010】

【非特許文献1】Ｒｏｎｎｅｂｅｒｇｅｒ、Ｆｉｓｃｈｅｒ ＆ Ｂｒｏｘ、「Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ（生物医学的画像セグメント化用の畳込みネットワーク）」、２０１５年

【非特許文献2】Ｃｈｅｎ、Ｚｈｕ、Ｐａｐａｎｄｒｅｏｕ、Ｓｃｈｒｏｆｆ、＆ Ａｄａｍ、「Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ ｗｉｔｈ Ａｔｒｏｕｓ Ｓｅｐａｒａｂｌｅ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ（意味画像セグメント化のためのＡｔｒｏｕｓ分離可能畳込みを伴うエンコーダ－デコーダ）」、２０１８年

【発明の概要】

【発明が解決しようとする課題】

【0011】

その結果、画像内に示された１つ（もしくは複数）の対象物および／または考慮されている画像内に存在する１つ（もしくは複数）の特徴領域を正確に検出およびモデル化できるようにする技法が必要である。

【課題を解決するための手段】

【0012】

本発明の実施形態では、少なくとも１つの所与の画像内に表現された少なくとも１つの対象物および／または前記少なくとも１つの所与の画像の少なくとも１つの特徴領域を検出およびモデル化するための機械学習システムの学習法を提供する。そのような方法によれば、機械学習システムは、
－前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域を表す実像および少なくとも１つの仮想要素を備える複数の拡張現実画像を生成するステップと、
－拡張現実画像ごとに、拡張現実画像の少なくとも１つの所与の仮想要素に関して、
－所与の仮想要素から得た前記所与の仮想要素のセグメント化モデル、および
－所与の仮想要素から得た、前記所与の仮想要素のパラメータ表示に対応する１組の輪郭点、または前記パラメータ表示
を備える学習情報を得るステップと、
－複数の拡張現実画像および学習情報を学習し、前記機械学習システムが前記少なくとも１つの所与の画像内の前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域を検出して、
－前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のセグメント化モデル、および
－前記少なくとも１つの対象物および／もしくは前記少なくとも１つの特徴領域のパラメータ表示に対応する１組の輪郭点、または前記パラメータ表示
を備える対応するモデル化情報を決定可能にする１組のパラメータを与えるステップと
を遂行する。

【0013】

その結果、本発明は、機械学習システム（たとえば、従来のニューラルネットワーク）が所与の画像（たとえば、眼鏡を装着している人の顔を示す図）内の１つ（もしくは複数）の対象物（たとえば、１つの眼鏡）および／または１つ（もしくは複数）の特徴領域（たとえば、目の輪郭または虹彩の輪郭）を検出可能にするように機械学習システムを学習させて、対応するモデル化情報を決定するための新しく創意に富む解決手段を提供する。

【0014】

より詳細には、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域を表す仮想要素を備える拡張現実画像から学習を行う。その結果（たとえば、１つまたは複数の仮想要素によりシミュレートされた対象物および／または特徴領域のバイナリマスクによる）セグメント化、および輪郭の全面にわたる点の分配は正確に行われる。たとえば、これにより、そのような点の手作業による注釈に固有の不明確さを解決できるようになる。たとえば、点の分配は、１つまたは複数の仮想要素によりシミュレートされた対象物の２Ｄもしくは３Ｄのパラメータ表示（たとえば、３ＤＭＭモデル（「３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ」））および／または特徴領域の２Ｄもしくは３Ｄのパラメータ表示に対応する。この手法では、注釈は正確であり、輪郭点からパラメータ表示に戻ることは容易である。

【0015】

さらに、そのような仮想要素を使用することにより、隠されているという問題を解決できるようになり、したがって、耳により隠された眼鏡のつる（ｔｅｍｐｌｅ）の端部、またはまぶたにより隠された虹彩を伴う場合にあってよいような不完全な注釈を得ることを回避できるようになる。実データ（画像）と仮想対象物の間の混合物により、機械学習システムを実際の適用事例に特化できるようになる。その結果、拡張現実画像は、画像の現実感と十分な可変性のある画像および注釈を作り出す容易さとの間のトレードオフを提供する。

【0016】

実施形態では、拡張現実画像ごとに、機械学習システムの学習は、所与の仮想要素のセグメント化モデル、および所与の仮想要素のパラメータ表示に対応する１組の輪郭点からの共同学習を備える。

【0017】

その結果、互いに強化する、機械学習システムの学習、セグメント化モデルの学習、および１組の輪郭点の学習に関して相乗効果が得られる。セグメント化モデルにより、適切に検出された仮想対象物の画素数を最大にすることにより（すなわち、対象物に属するとして誤って検出された画素数を最小にすることにより）精度を改善できるようになる。さらに、そのようにして検出された１組の点は、整合性のある対象物の形状に対応する。本事例では、この整合性は、点がパラメトリックモデルから生じるという事実により強化される。その結果、実像を取り込んだカメラの位置とは無関係に、および拡張現実画像内の対象物のセットアップとは無関係に、整合性のある対象物の形状が得られる。

【0018】

実施形態では、共同学習は、所与の仮想要素のセグメント化モデルに関連する交差エントロピーと所与の仮想要素のパラメータ表示に対応する１組の輪郭点に関連するユークリッド距離との間の一次結合に依存するコスト関数を実行する。

【0019】

たとえば、機械学習システムは、セグメント化モデルを学習するための分岐、および１組の輪郭点を学習するための分岐を備える。その結果、交差エントロピーは、セグメント化モデルを学習するための分岐と関連づけられ、ユークリッド距離は、１組の輪郭点を学習するための分岐と関連づけられる。

【0020】

いくつかの実施形態では、実像は顔の実例を含む。学習情報は、所与の仮想要素のパラメータ表示に対応する１組の輪郭点のうち少なくとも１つの輪郭点に関して、輪郭点が見えるかどうか、または顔により隠されているかどうかを示す可視性情報を備える。

【0021】

その結果、輪郭点の可視性が考慮される。

【0022】

いくつかの実施形態では、コスト関数は、輪郭点の可視性に関連するバイナリ交差エントロピーにさらに依存する。

【0023】

いくつかの実施形態では、学習情報は、前記所与の仮想要素のパラメータ表示を備える。

【0024】

その結果、機械学習システムは、考慮されているパラメータ表示を直接に与えることが可能になる。

【0025】

本発明はまた、少なくとも１つの画像内に表現された少なくとも１つの対象物および／または前記少なくとも１つの画像の少なくとも１つの特徴領域の検出およびモデル化法に関する。そのような検出およびモデル化法は（前述の実施形態の任意の１つによる）上述の学習法を実行することにより訓練された機械学習システムにより実行される。そのような検出およびモデル化法によれば、機械学習システムは、前記少なくとも１つの画像内の前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域の検出を遂行し、前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のモデル化情報の決定を遂行する。

【0026】

その結果、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域を表す仮想要素を含む拡張現実画像から学習を行うと、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のモデル化に伴うモデル化情報の整合性が保証される。さらに、１つ（または複数）の対象物と１つ（または複数）の特徴領域（たとえば、目、虹彩、鼻）の両方が同時に検出されモデル化される場合、相乗効果が得られ、対象物および特徴領域のうち一方だけの検出およびモデル化と比較して、対象物および特徴領域に関して得られる性能が改善される。

【0027】

前述の実施形態のうちいくつかでは、機械学習システムの学習は、一方では所与の仮想要素のセグメント化モデル、および他方では所与の仮想要素のパラメータ表示に対応する１組の輪郭点からの共同学習を備える。これらの実施形態のうちいくつかでは、検出およびモデル化法で実行される決定は、
－前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のセグメント化モデル、および
－前記少なくとも１つの対象物および／もしくは前記少なくとも１つの特徴領域のパラメータ表示に対応する１組の輪郭点
の共同決定とする。

【0028】

前述の実施形態では、機械学習システムの共同学習は、一方では所与の仮想要素のセグメント化モデルに関連する交差エントロピーと、他方では所与の仮想要素のパラメータ表示に対応する１組の輪郭点に関連するユークリッド距離との間の一次結合に依存するコスト関数を実行する。これらの実施形態のうちいくつかでは、検出およびモデル化法で実行される共同決定は、一方では前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のセグメント化モデルに関連する交差エントロピーと、他方では前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のパラメータ表示に対応する１組の輪郭点に関連するユークリッド距離との間の一次結合に依存する所与のコスト関数を実行する。

【0029】

前述の実施形態では、機械学習システムの学習は、顔の実例を備える実像を備える拡張現実画像を実行する。これらの実施形態のうちいくつかでは、前記少なくとも１つの画像は所与の顔の表現を備え、機械学習システムは、前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のパラメータ表示に対応する１組の輪郭点のうち少なくとも１つの所与の輪郭点に関して、所与の輪郭点が見えるかどうか、または所与の顔により隠されているかどうかを示す可視性情報をさらに決定する。

【0030】

その結果、機械学習システムは輪郭点の可視性をさらに決定する。

【0031】

前述の実施形態では、機械学習システムの共同学習の間に実行されるコスト関数は、輪郭点の可視性に関連するバイナリ交差エントロピーにさらに依存する。これらの実施形態のうちいくつかでは、検出およびモデル化法で実行される決定は所与のコスト関数を実行する。そのような所与のコスト関数は、前記所与の輪郭点の可視性に関連するバイナリ交差エントロピーにさらに依存する。

【0032】

前述の実施形態のうちいくつかでは、学習情報は所与の仮想要素のパラメータ表示を備える。これらの実施形態のうちいくつかでは、モデル化情報は、前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域のパラメータ表示を備える。

【0033】

いくつかの実施形態では、前記少なくとも１つの画像は、前記少なくとも１つの対象物および／または前記少なくとも１つの特徴領域の異なる視界をそれぞれ表現する複数の画像を備える。検出だけではなく決定も前記複数の画像ごとに共同で実行される。

【0034】

その結果、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のモデル化情報の検出および決定の性能は改善される。

【0035】

本発明はまた、コンピュータ上で実行するとき、本発明の異なる実施形態のいずれかによる、本明細書で上記に記述するような方法を実行するためのプログラムコード命令を備えるコンピュータプログラムに関する。

【0036】

本発明はまた、少なくとも１つの画像内に示された少なくとも１つの対象物および／または前記少なくとも１つの画像の少なくとも１つの特徴領域を検出およびモデル化するための機器に関する。そのような機器は、本発明による（前述の異なる実施形態のうち任意の１つによる）学習法のステップを実行するように構成された少なくとも１つのプロセッサおよび／または少なくとも１つの専用計算機を備える。その結果、この機器の特徴および有利な点は、これまで記述した学習法の対応するステップの特徴および有利な点と同じである。その結果として、この機器の特徴および有利な点についてさらに詳細に記述しない。

【0037】

いくつかの実施形態では、前記少なくとも１つのプロセッサおよび／または前記少なくとも１つの専用計算機は、本発明による（前述の異なる実施形態のうち任意の１つによる）検出およびモデル化法のステップを実行するようにさらに構成される。その結果、この機器の特徴および有利な点は、これまで記述した検出およびモデル化法の対応するステップの特徴および有利な点と同じである。その結果として、この機器の特徴および有利な点についてさらに詳細に記述しない。

【0038】

いくつかの実施形態では、上述の機器は前述の機械学習システムを備える。

【0039】

いくつかの実施形態では、上述の機器は前述の機械学習システムである。

【0040】

本発明の他の目的、特徴、および有利な点は、図面を参照して単なる例示でしかない、限定しない例として示す以下の記述を読むことより明確に明らかになるであろう。

【図面の簡単な説明】

【0041】

【図1】本発明の実施形態による、少なくとも１つの画像内に示された１つ（もしくは複数）の対象物および／または前記考慮されている少なくとも１つの画像の１つ（もしくは複数）の特徴領域の検出およびモデル化のための、機械学習システムの学習法のステップを示す。

【図2a】顔の実例を備える実像を例示する。

【図2b】図２ａの実像および１つの眼鏡を備える拡張現実画像を例示する。

【図2c】図２ｂの拡張現実画像の１つの眼鏡のセグメント化モデルを例示する。

【図2d】図２ｂの拡張現実画像の１つの眼鏡のパラメータ表示に対応する１組の輪郭点を例示する。

【図3】本発明の実施形態による、少なくとも１つの画像内に示された１つ（もしくは複数）の対象物および／または前記考慮されている少なくとも１つの画像の１つ（もしくは複数）の特徴領域の検出およびモデル化法のステップを示す。

【図4a】顔および１つの眼鏡の実例を備える画像を例示する。

【図4b】図４ａの画像の１つの眼鏡のセグメント化モデルだけではなく図４ａの画像の１つの眼鏡のパラメータ表示に対応する１組の輪郭点も例示する。

【図5】画像内の目のパラメータ表示に対応する１組の輪郭点だけではなく考慮されている目の虹彩も例示する。

【図6】本発明の実施形態による、図１の学習法および／または図３の検出およびモデル化法のいくつかのステップの実行を可能にする機器の構造例を示す。

【発明を実施するための形態】

【0042】

本発明の一般的原理は、拡張現実画像を使用して、機械学習システム（たとえば、従来のニューラルネットワーク）が所与の画像（たとえば、眼鏡を装着している人の顔を示す図）内の１つ（もしくは複数）の対象物（たとえば、１つの眼鏡）および／または１つ（もしくは複数）の特徴領域（たとえば、目の輪郭または目の虹彩の輪郭、鼻）を検出可能にするように機械学習システムを訓練するステップ、および対応するモデル化情報を決定するステップを遂行することに基づく。

【0043】

より詳細には、そのような拡張現実画像は、考慮されている１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域を表現する実像および少なくとも１つの仮想要素を備える。

【0044】

畳込みニューラルネットワークの学習は、大量の注釈付きデータを必要とする。これらのデータを獲得し注釈を付ける費用は非常に高い。さらに、注釈精度は保証されず、それにより、そのようにして作成された推論モデルの頑強性および精度は制限される。パラメータ表示された２Ｄまたは３Ｄのモデルから得られる合成対象物の画像を使用することにより、大量の学習データを有することができるようになるだけではなく、２Ｄまたは３Ｄの注釈点の位置決めおよび可視性を保証することもできるようになる。これらの仮想対象物は、実像から設定または推定されてよい現実的環境マップ（「環境マッピング」）により照明される。さらに、そのような仮想要素を使用することにより、隠されているという問題を解決できるようになり、したがって、注釈操作者が注釈を任意に選択するために不完全な、または整合しない注釈を得ることを回避できるようになる。

【0045】

さらに、拡張現実画像と相補的に、対応する仮想要素に関連するセグメント化モデルを備える学習情報だけではなく、考慮されている仮想要素のパラメータ表示に対応する１組の輪郭点も備える学習情報を使用することを提案する。

【0046】

その結果（たとえば、１つまたは複数の仮想要素によりシミュレートされた対象物および／または特徴領域のバイナリマスクによる）セグメント化および輪郭上の点の分配は正確に行われ、実像の注釈を必要としない。

【0047】

本出願の残りの部分では、「機械学習システム」により、学習モデルの訓練を遂行するだけではなく、考慮されているモデルを使用するようにも構成されたシステムであると理解されたい。

【0048】

図１を参照すると、本発明による、少なくとも１つの画像内に表現された１つ（もしくは複数）の対象物および／または前記考慮されている少なくとも１つの画像の１つ（もしくは複数）の特徴領域の検出およびモデル化のための機械学習システム（たとえば、従来のニューラルネットワーク）の学習法ＰＡ１００のステップである。また、考慮されている方法ＰＡ１００のステップの実行例についても図２ａ、図２ｂ、図２ｃ、および図２ｄを参照して論じる。より詳細には、図２ａ、図２ｂ、図２ｃ、および図２ｄの例によれば、実像２００は顔２２０の実例を備え、仮想要素２１０は１つの眼鏡である。それに対応して、図２ｃは、図２ｂの１つの仮想眼鏡のセグメント化モデル２１０ｍｓを例示し、図２ｄは、図２ｂの１つの仮想眼鏡のパラメータ表示に対応する１組の輪郭点２１０ｐｔを例示する。より明確にするために、以下で図２ａ、図２ｂ、図２ｃ、および図２ｄの要素の参照を使用して、以下で限定しない手法で方法ＰＡ１００の特性を例示する。

【0049】

図１に戻ると、ステップＥ１１０の間、機械学習システムは、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域を表す実像２００および少なくとも１つの仮想要素２１０を備える複数の拡張現実画像２００ｒａを得る。

【0050】

たとえば、各拡張現実画像２００ｒａは、実像２００の中に仮想要素２１０を専用に挿入するツールのおかげで生成される。いくつかの変形形態では、拡張現実画像２００ｒａの生成は（たとえば、ガウスノイズ、ぼかしを追加することによって）少なくとも１つの仮想要素２１０を増加させて、その後に実像２００の中に挿入することを備える。そのような増加はたとえば、実像から設定または推定されてよい現実的環境マップを使用して仮想対象物の照明を備える。その結果、仮想要素２１０の現実感、および／または実像２００の中への仮想要素２１０の統合は改善される。たとえば、そのような改善された現実感により、学習だけではなく、実像に関する検出性能の改善も容易にできるようになる。

【0051】

たとえば、そのようにして生成した拡張現実画像２００ｒａは、考慮されている拡張現実画像２００ｒａを得るために機械学習システムがアクセスするデータベースに記憶される。

【0052】

図１に戻ると、ステップＥ１２０の間、機械学習システムは、拡張現実画像ごとに、考慮されている拡張現実画像２００ｒａの少なくとも１つの仮想要素２１０に関して、以下を備える学習情報を得る。
－所与の仮想要素２１０のセグメント化モデル２１０ｍｓ。たとえば、そのようなセグメント化モデルは、所与の仮想要素２１０によりシミュレートされた１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のバイナリマスクである。
－所与の仮想要素２１０のパラメータ表示に対応する１組の輪郭点２１０ｐｔ。たとえば、点の分配は、所与の仮想要素２１０によりシミュレートされた１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域の２Ｄまたは３Ｄのパラメータ表示に対応する。たとえば、そのようなパラメータ表示（パラメトリックモデルとも呼ばれる）は３ＤＭＭモデル（「３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ」を意味する）である。たとえば、３Ｄパラメータ表示に関連して、３Ｄ対象物の輪郭点は、実像を取り込んだカメラの観点から輪郭を表現する３Ｄ対象物の表面の上への測地曲線の投影およびパラメータ表示により２Ｄで参照されてよい。

【0053】

その結果、輪郭２１０ｐｔにわたるセグメント化および点の分配は正確に行われ、セグメント化モデル２１０ｍｓおよび１組の輪郭点２１０ｐｔは、対応する仮想要素２１０から直接に得られるが、考慮されている仮想要素２１０を備える拡張現実画像の後処理により得られない。たとえば、これにより、そのような点の手作業による注釈に固有の不明確さを解決できるようになるだけではなく、輪郭点２１０ｐｔからパラメータ表示に容易に戻ることができるようになる。

【0054】

いくつかの実施形態では、学習情報はセグメント化モデル２１０ｍｓおよび（これらの輪郭点２１０ｐｔの座標の代わりに）輪郭点２１０ｐｔのパラメータ表示を備える。このパラメータ表示は、仮想要素２１０のモデル化から導出されてよい、または仮想要素２１０の特有な帰納的モデル化であってよい。たとえば、機械学習システムは、輪郭点２１０ｐｔが後で見いだされる１つまたは複数のスプラインの制御点を学習する。この場合、機械学習システムの出力は、不変のコスト関数（たとえば、制御点とグラウンドトゥルースの間のユークリッド距離）を伴うこれらのモデル化パラメータ（たとえば、制御点）から構成される。これが可能であるためには、モデル化パラメータから輪郭点２１０ｐｔに切り替えできるようにする変換は微分可能であるべきであり、その結果、勾配は機械学習システムの学習アルゴリズムにより逆伝播できる。

【0055】

いくつかの実施形態では、学習情報は、セグメント化モデル２１０ｍｓと輪郭点２１０ｐｔの間の整合性という追加項目をさらに備える。この整合性は、セグメント化モデル２１０ｍｓと輪郭点２１０ｐｔにより範囲を定められた表面との間の交点により測定される。この目的のために（たとえば、従来技術の周知のドローネー（Ｄｅｌａｕｎａｙ）アルゴリズムにより）この表面にわたりメッシュを規定し、メッシュはその後、この表面を一様な値で彩色する（「満たす」）差分レンダリングエンジンにより使用される。その後、セグメント化の近接性および描画された表面の画素を測定する整合性項目（たとえば、交差エントロピー）を画定できる。

【0056】

たとえば、学習情報は、対応する拡張現実画像２００ｒａを参照して前述のデータベースに記憶される。

【0057】

図１に戻ると、ステップＥ１３０の間、機械学習システムは、複数の拡張現実画像２００ｒａおよび学習情報に基づき学習段階を実行する。そのような学習により、機械学習システムが少なくとも１つの所与の画像内の考慮されている１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域を検出して、対応するモデル化情報を決定できるようになる１組のパラメータ（または学習モデル）を生成できるようになる。

【0058】

たとえば、そのような学習の所与の反復中、学習システムの入力は、仮想要素２１０を備える拡張現実画像２００ｒａである。学習はまた、拡張現実画像２００ｒａに関連する学習情報を実行する。たとえば、学習情報は、仮想対象物２１０のセグメント化モデル２１０ｍｓおよび仮想対象物２１０の輪郭点２１０ｐｔである。たとえば仮想要素２１０のパラメトリック３Ｄモデルによる仮想要素２１０の知識により、セグメント化モデル２１０ｍｓに関して画像内の３Ｄモデルの投影を通して、および輪郭点２１０ｐｔに関してモデルの点のサンプリングにより、好ましい手法でこれらの学習情報を生成できるようになる。学習システムの出力は、仮想要素のセグメント化モデルおよび仮想要素の輪郭点２１０ｐｔ、または仮想要素のパラメータ表示である。学習は、集束するまで学習システムの出力を学習情報と比較することにより行われる。学習システムの出力がパラメータ表示（たとえば、３ＤＭＭ、スプライン、ベジエ曲線など）である場合、輪郭点はこれらのパラメータから決定され、真の輪郭点と比較される。

【0059】

いくつかの実施形態では、拡張現実画像２００ｒａごとに、機械学習システムの学習は、セグメント化モデル２１０ｍｓおよび１組の輪郭点２１０ｐｔからの共同学習を備える。その結果、互いに強化する、機械学習システムの学習、セグメント化モデル２１０ｍｓの学習、および１組の輪郭点２１０ｐｔの学習に関して相乗効果が得られる。

【0060】

たとえば、機械学習システムは、セグメント化モデル２１０ｍｓを学習するための分岐、および１組の輪郭点２１０ｐｔを学習するための分岐を備える。交差エントロピーは、セグメント化モデルを学習するための分岐と関連づけられ、ユークリッド距離は、１組の輪郭点を学習するための分岐と関連づけられる。共同学習は、セグメント化モデル２１０ｍｓに関連する交差エントロピーと１組の輪郭点２１０ｐｔに関連するユークリッド距離の間の一次結合に依存するコスト関数を実行する。

【0061】

いくつかの実施形態では、機械学習システムは、畳込み型意味セグメント化ネットワークである。たとえば、機械学習システムは、Ｒｏｎｎｅｂｅｒｇｅｒ、Ｆｉｓｃｈｅｒ ＆ Ｂｒｏｘによる２０１５年の論文、「Ｕ－Ｎｅｔ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ（生物医学的画像セグメント化用の畳込みネットワーク）」で記述されたような「Ｕｎｅｔ」型ネットワーク、またはＣｈｅｎ、Ｚｈｕ、Ｐａｐａｎｄｒｅｏｕ、Ｓｃｈｒｏｆｆ、＆ Ａｄａｍによる２０１８年の論文、「Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ ｗｉｔｈ Ａｔｒｏｕｓ Ｓｅｐａｒａｂｌｅ Ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ Ｓｅｍａｎｔｉｃ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ（意味画像セグメント化のためのＡｔｒｏｕｓ分離可能畳込みを伴うエンコーダ－デコーダ）」で記述されたような「Ｄｅｅｐｌａｂｖ３＋」型のネットワークである。

【0062】

「Ｕ－Ｎｅｔ」の場合、ネットワークの構造を修正して、セグメント化モデルおよび１組の輪郭点を共同で学習してよい。たとえば、デコーダ部分の最後の畳込み層で２つの分岐（セグメント化モデルを学習するための分岐および１組の輪郭点を学習するための分岐）への分割が行われる。その結果、セグメント化モデルの学習と１組の輪郭点の学習の間の整合性が確実になる。さらに、全結合層が後に続くプーリング層により、１組の輪郭点の学習専用の分岐の次元を低減できるようになる。

【0063】

「Ｄｅｅｐｌａｂｖ３＋」の場合、低レベル特性およびエンコーダ特性を連結するステップは４倍の解像度で遂行される。たとえば、２つの分岐（セグメント化モデルを学習するための分岐および１組の輪郭点を学習するための分岐）への分裂が行われるのはこのレベルである。いくつかの実装形態では、畳込み層、最大プーリング（ｍａｘｉｍｕｍ ｐｏｏｌｉｎｇ）（または「最大値プーリング（ｍａｘ ｐｏｏｌｉｎｇ）」）を伴うプーリング層、および最終的に１組の輪郭点を学習するための全結合層を追加可能である。

【0064】

図２ａ、図２ｂ、図２ｃ、および図２ｄに示す例によれば、図２ｄの１組の輪郭点２１０ｐｔは詳細には、拡張現実画像２００ｒａを生成するために実像２００の中に仮想の１つの眼鏡が挿入されると、顔２２０により隠された輪郭点２１０ｐｔを備える。その結果、そのような仮想要素を使用することにより、隠されているという問題を解決できるようになり、したがって、耳により眼鏡のつるの端部が隠された本例でそうなる可能性があるような不完全な注釈を得ることを回避できるようになる。

【0065】

その結果、実像２００が顔の実例を備える方法ＰＡ１００の実施形態では、学習情報は、１組の点のうち少なくとも１つの輪郭点２１０ｐｔに関して、輪郭点２１０ｐｔが見えるかどうか、または顔２２０により隠されているかどうかを示す可視性に関する情報を備える。その結果、輪郭点の可視性が考慮される。

【0066】

たとえば、機械学習システムが、たとえば「Ｕｎｅｔ」型または「Ｄｅｅｐｌａｂｖ３＋」型の従来型の意味セグメント化ネットワークである前述の実施形態では、コスト関数は、輪郭点２１０ｐｔの可視性に関連するバイナリ交差エントロピーにさらに依存する。

【0067】

いくつかの実施形態では、学習情報は、所与の仮想要素２１０のパラメータ表示を、したがって、間接的に、所与の仮想要素２１０によりシミュレートされた１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のパラメータ表示を備える。その結果、機械学習システムは、考慮されているパラメータ表示を直接に与えることが可能になる。

【0068】

いくつかの実施形態では、方法ＰＡ１００は、機械学習システムが、注釈付き実像を備える実データから、ステップＥ３１０の実行中に与えられた１組のパラメータを改良する、学習を改良するステップを備える。そのような注釈は手作業で、または自動的に（たとえば、フェイス・パーシング（ｆａｃｅ ｐａｒｓｉｎｇ）・アルゴリズムを実行することにより）行われる。

【0069】

次に図３を参照すると、本発明の実施形態による、少なくとも１つの画像内に表現された１つ（もしくは複数）の対象物および／または前記少なくとも１つの画像の１つ（もしくは複数）の特徴領域の検出およびモデル化法のステップについて記述する。

【0070】

より詳細には、本技法による検出およびモデル化法は（前述の実施形態のうち任意の１つによる）上述の学習法ＰＡ１００を実行することにより訓練された前述の機械学習システムにより実行される。

【0071】

その結果、ステップＥ３１０の間、機械学習システムは、少なくとも１つの画像（実像または拡張画像）内の１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域の検出、ならびに１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のモデル化情報の決定を遂行する。

【0072】

その結果、考慮されている１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域を表す仮想要素２１０を備える拡張現実画像２００ｒａから学習を行うと、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のモデル化に伴うモデル化情報の整合性が保証される。

【0073】

さらに、前記少なくとも１つの画像の少なくとも１つの対象物（たとえば、１つの眼鏡）と少なくとも１つの特徴領域（たとえば、目、虹彩、鼻）の両方を同時に検出およびモデル化する実施形態では相乗効果が得られ、前記少なくとも１つの対象物および前記少なくとも１つの特徴領域のうち一方だけの検出およびモデル化と比較して、前記少なくとも１つの対象物および前記少なくとも１つの特徴領域の検出およびモデル化に関して得られる性能が改善される。

【0074】

いくつかの実施形態では、モデル化情報は、
－１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のセグメント化モデル、ならびに
－１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のパラメータ表示に対応する１組の輪郭点
を備える。

【0075】

その結果、輪郭点から得られるモデルのパラメータ表示に戻ることは容易である。

【0076】

図１を参照して本明細書で上記に記述するいくつかの実施形態では、機械学習システムの学習は、セグメント化モデル２１０ｍｓおよび１組の輪郭点２１０ｐｔからの共同学習を備える。これらの実施形態のいくつかでは、ステップＥ３１０は、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のセグメント化モデル、ならびに１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のパラメータ表示に対応する１組の輪郭点の共同決定を備える。

【0077】

図１を参照して本明細書で上記に記述するいくつかの実施形態では、共同学習は、セグメント化モデル２１０ｍｓに関連する交差エントロピーと１組の輪郭点２１０ｐｔに関連するユークリッド距離の間の一次結合に基づきコスト関数を実行する。これらの実施形態のうちいくつかでは、ステップＥ３１０の検出およびモデル化は、セグメント化モデルに関連する交差エントロピーと１組の点に関連するユークリッド距離の間の一次結合に依存する前述のコスト関数を実行する。

【0078】

図１を参照して本明細書で上記に記述するいくつかの実施形態では、学習情報は、輪郭点２１０ｐｔが見えるかどうか、または顔２２０により隠されているがどうかを示す可視性情報を備える。これらの実施形態のうちいくつかでは、ステップＥ３１０の検出およびモデル化は、少なくとも１つの輪郭点に関して、輪郭点が見えるかどうか、またはステップ３１０の間に分析された画像の顔により隠されているどうかを示す可視性情報をさらに決定する。その結果、機械学習システムは、輪郭点の可視性をさらに決定する。これらの実施形態のうちいくつかは、学習のために図１を参照して本明細書で上記に記述する対応する実施形態で実行されるような輪郭点の可視性に関連するバイナリ交差エントロピーの損失に依存するコスト関数を実行する。

【0079】

図１を参照して本明細書で上記に記述するいくつかの実施形態では、学習情報は、拡張現実画像で使用される仮想要素のパラメータ表示を、したがって間接的に、考慮されている仮想要素によりシミュレートされた１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のパラメータ表示を備える。その結果、これらの実施形態のうちいくつかでは、ステップＥ３１０の決定およびモデル化は、ステップＥ３１０の間に分析される画像で検出された１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のパラメータ表示を決定する。

【0080】

いくつかの実施形態では、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域は、考慮されている１つ（もしくは複数）の対象物および／または考慮されている１つ（もしくは複数）の特徴領域の異なる視界をそれぞれ表現する複数の画像の中に表現される。この手法では、ステップＥ３１０の間、複数の画像のうち異なる画像での検出およびモデル化の共同実行により、考慮されている１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域のモデル化情報を、改善された手法で決定できるようになる。

【0081】

いくつかの実施形態では、ステップＥ３１０の間に機械学習システムが分析すべき画像の位置が正規化される。たとえば、顔の所定の下位区分の一部分（たとえば、目）に関して画像が顔を表現するとき、たとえば顔面マーカ（「目印」）を使用して、考慮されている下位区分の一部分の領域の大きさを変更する。これらのマーカは、任意の公知のマーカ検出法または顔認識法により得られてよい。その結果、モデル化情報を検出および決定するステップＥ３１０は、大きさを変更された領域ごとに実行される。この手法では、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域の検出だけではなく、対応するモデル化情報の決定も容易になる。

【0082】

いくつかの実施形態では、特徴点（たとえば、鼻の位置、テンプルポイント（ｔｅｍｐｌｅ ｐｏｉｎｔ）の位置）を示すために、ステップＥ３１０の間に機械学習システムが分析すべき画像にわたりマーカ（たとえば、顔面マーカ）を追加する。たとえば、これらのマーカは、顔分析アルゴリズムにより得られてよい。この手法では、１つ（もしくは複数）の対象物および／または１つ（もしくは複数）の特徴領域の検出だけではなく、対応するモデル化情報の決定も容易になる。

【0083】

次に、最初に図４ａおよび図４ｂを参照して検出およびモデル化法のステップの実行例について論じる。この例によれば、画像４００は顔４２０の実例を備える。さらに、機械学習システムは、たとえば図２ａ、図２ｂ、図２ｃ、および図２ｄを参照して本明細書で上記に記述するような拡張現実画像から１つの眼鏡を検出およびモデル化するように訓練されていると仮定する。その結果、画像４００内で検出およびモデル化すべき対象物４１０は１つの眼鏡である。ステップＥ３１０を実行することにより、機械学習システムは、考慮されている１つの眼鏡のセグメント化モデル４１０ｍｓおよび１組の輪郭点４１０ｐｔを備えるモデル化情報を決定する。詳細には、図４ｂの１組の輪郭点４１０ｐｔは、画像４００内で顔４２０により隠されている輪郭点４１０ｐｔを備える。その結果、本明細書に記述する方法により、隠されているという問題を解決できるようになり、したがって、耳により眼鏡のつるの端部が隠されている本例でそうなる可能性があるような不完全な注釈を得ることを回避できるようになる。

【0084】

次に、図５を参照して、検出およびモデル化法のステップの別の実行例について論じる。より詳細には、この例によれば、画像５００は顔の部分的実例を備える。検出およびモデル化すべき特徴領域５１０ｚｃは、画像５００内に表現された目である。さらに、機械学習システムは、目をモデル化するために目の高さに置かれた１つまたは複数の仮想要素を備える拡張現実画像から目を検出およびモデル化するように訓練されていると仮定する。この手法では、ステップＥ３１０を実行することにより、機械学習システムは、詳細には考慮されている目の１組の輪郭点５１０ｐｔだけではなく、この場合は虹彩も備える特徴領域５１０ｚｃに関するモデル化情報を決定する。

【0085】

次に、図６を参照すると、本発明の実施形態による、図１の学習法ＰＡ１００および／または図３の検出およびモデル化法のいくつかのステップを実行できるようにする機器６００について記述する。

【0086】

機器６００は、ランダム・アクセス・メモリ６０３（すなわち、ＲＡＭメモリ）と、たとえば１つ（または複数）のプロセッサを装備し、読出し専用メモリ６０１（たとえば、ＲＯＭメモリまたはハードディスク）に記憶されたコンピュータプログラムにより制御される処理ユニット６０２とを備える。初期化時、コンピュータプログラムのコード命令はたとえば、処理ユニット６０２のプロセッサにより実行される前に、動作しているメモリ６０３の中にロードされる。

【0087】

この図６は、いくつかの可能な手法の中でも、機器６００が（図１および図３を参照して本明細書で上記に記述する実施形態および／または変形形態のうち任意の１つによる）図１の学習法ＰＡ１００および／または図３の検出およびモデル化法のいくつかのステップを遂行するように機器６００を作るための１つの特定の手法だけを例示する。実際は、これらのステップは、一連の命令を備えるプログラムを実行するプログラム可能な計算機（ＰＣコンピュータ、１つ（もしくは複数）のＤＳＰプロセッサ、または１つ（もしくは複数）のマイクロコントローラ）上で、または専用計算機（たとえば、１つ（もしくは複数）のＦＰＧＡまたは１つ（もしくは複数）のＡＳＩＣなどの１組の論理ゲート、または任意の他のハードウェアモジュール）上で区別せずに行われてよい。

【0088】

機器６００が少なくとも部分的に、再プログラム可能計算機を用いて作られる場合、対応するプログラム（すなわち、命令の順列）は（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フラッシュディスクなどの）取外し可能な記憶媒体に記憶できる、または記憶できず、この記憶媒体は、コンピュータまたはプロセッサにより部分的にまたは完全に読出し可能である。

【0089】

いくつかの実施形態では、機器６００は機械学習システムを備える。

【0090】

いくつかの実施形態では、機器６００は機械学習システムである。

【図1】

【図2a】

【図2b】

【図2c】

【図2d】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【国際調査報告】