特表 2022-525812 オブジェクトを前記オブジェクトのラベル付き画像から識別するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-05-19

(54)【発明の名称】オブジェクトを前記オブジェクトのラベル付き画像から識別するための方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220512BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021557475

(86)(22)【出願日】2020-03-16

(85)【翻訳文提出日】2021-11-08

(86)【国際出願番号】 EP2020057107

(87)【国際公開番号】W WO2020193253

(87)【国際公開日】2020-10-01

(31)【優先権主張番号】1903232

(32)【優先日】2019-03-28

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】511148123

【氏名又は名称】タレス

(71)【出願人】

【識別番号】510255060

【氏名又は名称】シスピア

(74)【代理人】

【識別番号】110002468

【氏名又は名称】特許業務法人後藤特許事務所

(72)【発明者】

【氏名】ベレシェ イオン

(72)【発明者】

【氏名】ベルギンク ジェラール

(72)【発明者】

【氏名】ベレシェ ステファン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA09

5L096HA08

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

画像からオブジェクトを識別するためのシステムは、機械学習を通じて、そして深層機械学習を通じて、分野の専門家によってそれぞれラベル付けされた第１、第２、及び第３の複数の画像を入力として受信し、最高の精度を有する複数のプールされたラベル付き調整画像を出力として提供する、画像を集約及びプーリングするためのモジュールと、機械学習を通じて、そして深層機械学習を通じて、分野の専門家によってそれぞれラベル付けされた第１、第２、及び第３の複数の不変量を入力として受信し、最高の精度を有する複数のプールされたラベル付き調整不変量を出力として提供する、不変量を集約及びプールするためのモジュールと、を含む。識別対象のオブジェクトの新たな複数の画像に応じて、第１、第２、及び第３の識別モジュールは、それらのそれぞれの識別のために、別々に且つ順次、複数のプールされたラベル付き調整画像並びに／又は集約及びプーリングモジュールから生じる複数のプールされたラベル付き調整不変量を入力として使用するように設計されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

オブジェクトを、識別対象の前記オブジェクトの画像から識別するためのシステムであって、
－ 前記オブジェクトの画像から前記オブジェクトの不変量を抽出するためのモジュール（ＥＸＴＩＶ）と、
－ 識別対象の前記オブジェクトの画像及び前記不変量抽出モジュールから生じる前記不変量を入力として受信するのに適しており、且つ、分野の専門家（ＥＭ）によってラベル付けされた前記オブジェクトの第１の複数の画像及び前記分野の専門家（ＥＭ）によってラベル付けされた第１の複数の不変量を出力として提供することができる、前記オブジェクトを識別するための第１の識別モジュール（ＩＤＥＭ）であって、前記分野の専門家（ＥＭ）の識別精度に対応する第１の識別精度（ＰＥＭ）を有する、第１の識別モジュール（ＩＤＥＭ）と、
－ 識別対象の前記オブジェクトの前記画像及び前記不変量抽出モジュールから生じる前記不変量を入力として受信するのに適しており、且つ、機械学習を通じてラベル付けされた第２の複数の不変量及び前記ラベル付き不変量との照合を通じてラベル付けされた前記オブジェクトの第２の複数の画像を出力として提供することができる、第２の識別モジュール（ＩＤＭＬ）であって、前記機械学習の精度に対応する第２の精度（ＰＭＬ）を有する、第２の識別モジュール（ＩＤＭＬ）と、
－ 識別対象の前記オブジェクトの前記画像を入力として受信するのに適しており、且つ、深層機械学習を通じてラベル付けされた第３の複数の画像及び深層機械学習を通じてラベル付けされた第３の複数の不変量を出力として提供することができる、第３の識別モジュール（ＩＤＤＬ）であって、前記深層機械学習の精度に対応する第３の精度（ＰＤＬ）を有する、第３の識別モジュール（ＩＤＤＬ）と、
を含み、さらに、
－ 機械学習を通じて、そして深層機械学習を通じて、前記分野の専門家によってそれぞれラベル付けされた前記第１、第２、及び第３の複数の画像を入力として受信し、最高の精度を有する複数のプールされたラベル付き調整画像を出力として提供する、集約及びプーリングモジュール（ＭＡＭＲ）
を含み、
－ 前記集約及びプーリングモジュール（ＭＡＭＲ）はまた、機械学習を通じて、そして深層機械学習を通じて、前記分野の専門家によってそれぞれラベル付けされた前記第１、第２、及び第３の複数の不変量を入力として受信し、また最高の精度を有する複数のプールされたラベル付き調整不変量を出力として提供し、
－ 識別対象のオブジェクトの新たな複数の画像を受信することに応じて、第１、第２、及び第３の識別モジュールは、それらのそれぞれの識別のために、別々に且つ順次、複数のプールされたラベル付き調整画像並びに／又は集約及びプーリングモジュール（ＭＡＭＲ）から生じる複数のプールされたラベル付き調整不変量を入力として使用するように設計されている、
ことを特徴とする、
システム。

【請求項2】

前記集約及びプーリングモジュールからの結果で順次且つ連続的に充実される、ラベル付き画像のプールされたデータベースをさらに含むことを特徴とする、請求項１に記載のシステム。

【請求項3】

前記集約及びプーリングモジュールからの結果で順次且つ継続的に充実される、ラベル付き不変量のプールされたデータベースをさらに含むことを特徴とする、請求項１又は請求項２に記載のシステム。

【請求項4】

最高の精度（ＰＭＩＭ）が、前記第１のモジュールの前記精度（ＰＥＭ）、前記第２のモジュールの前記精度（ＰＭＬ）、及び前記第３のモジュールの前記精度（ＰＤＬ）の間の最大値に等しい、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

プールされた調整ラベル（ＬＡＢ）は、前記第１のモジュールの精度（ＰＥＭ）が前記第２のモジュールの精度（ＰＭＬ）及び前記第３のモジュールの精度（ＰＤＬ）よりも高い場合に、前記第１のモジュールからのラベルに等しく、オブジェクト調整ラベル（ＬＡＢ）は、前記第２のモジュールの精度が前記第３のモジュールの精度（ＰＤＬ）及び前記第１のモジュールの精度（ＰＥＭ）よりも高い場合に、前記第２のモジュールからのラベル（ＩＬＭＬ）と等しく、調整ラベル（ＬＡＢ）は、前記第３のモジュールの精度が前記第１のモジュールの精度（ＰＥＭ）及び前記第２のモジュールの精度（ＰＭＬ）よりも高い場合に、前記第３のモジュールの精度と等しい、ことを特徴とする、請求項１～４のいずれか一項に記載のシステム。

【請求項6】

前記ラベル付き調整画像が、前記オブジェクトの前記画像を前記オブジェクトの前記調整ラベルと統合することによって得られることを特徴とする、請求項１～５のいずれか一項に記載のシステム。

【請求項7】

前記プールされたラベル付き調整不変量が、前記集約された不変量を前記オブジェクトの前記調整ラベルと統合することによって得られることを特徴とする、請求項１～６のいずれか一項に記載のシステム。

【請求項8】

前記集約された不変量が、前記第１、第２、及び第３の識別モジュールからの前記ラベル付き不変量を集約することによって得られることを特徴とする、請求項１～７のいずれか一項に記載のシステム。

【請求項9】

請求項１～８のいずれか一項に記載のシステムによって実施される、オブジェクトを前記オブジェクトのラベル付き画像から識別するための方法。

【請求項10】

通信ネットワークからダウンロード可能であり、且つ／又はコンピュータによって読み取り可能である媒体に記録され、且つ／又はプロセッサによって実行可能であるコンピュータプログラムであって、前記プログラムがコンピュータ上で実行されるとき請求項９に記載の前記方法を実行するための命令を含むことを特徴とする、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、オブジェクトを、前記オブジェクトのラベル付き（タグ付き）画像から識別することに関する。

【0002】

これは、顔及び音声の認識、自動運転車、民間及び軍用ロボットから、医療画像の認識、並びに、例えば木材産業などの産業における欠陥の検出に至るまで、多くの分野に適用可能である。

【背景技術】

【0003】

木材産業の例では、木材欠陥の「ラベル付き画像」によって理解されるのは、欠陥が既知の欠陥にリンクされている画像が、例えば、亀裂、シロアリの穴、又は衝撃穴によって形成されたグループに属するということである。

【0004】

これらの欠陥のラベル付き画像から欠陥を分類、認識、又は識別するための、少なくとも３つの異なるアプローチが知られている。

【0005】

第１に、識別対象のオブジェクトに関する専門家、例えば木材産業の専門家の経験とノウハウに基づく「分野の専門家」アプローチがある。分野の専門家は、次に、木製の梁の大量の画像を入力として処理し、既知の欠陥の有無に対応する「ラベル」を出力として割り当てる。このようなアプローチは、例えば、米国特許第９１３５７４７Ｂ号明細書に記載されている。

【0006】

第２に、「機械学習」と呼ばれる人工知能の分野で知られているアプローチがあり、これは、ラベル付き不変量（属性又は特性）のデータベースからの自動学習を介して機能する。アルゴリズムは大量の入力データでトレーニングされ、その結果、出力を提供できるモデルが作成される。このモデルは、本明細書で、提起された質問とそれに答える方法を表している。

【0007】

第３に、「深層学習」と呼ばれる人工知能の分野で知られているアプローチがあり、これは、オブジェクト及び関連付けられたラベルを含む画像を照合することによって機能する。このようなアプローチは、例えば、Ｆａｃｅｂｏｏｋの米国特許出願公開第２０１５／０１２５０４９号明細書で顔認識について説明されている。

【0008】

分野の専門家による第１のアプローチは、複雑なオブジェクトを分類する専門知識と人間の能力によって制約を受ける。一般に、分野の専門家の成功率は８５％～９０％の間である（成功率＝成功した識別の数／実行された識別の数×１００）。

【0009】

第２の、機械学習のアプローチでは、所与のオブジェクトを認識又は識別できるようにするために、ラベル付き不変量の、代表的な、ただし必ずしも階乗でないデータベースが必要である。このアプローチの成功率は、分野の専門家の成功率を超えることはめったにないか、又は超えてもわずかである。

【0010】

第３の、深層学習のアプローチでは、階乗方式で取得された、大規模なラベル付き２Ｄ／３Ｄデータベースが必要である。９５％を超える成功率又は精度で所与のオブジェクトを識別することに成功するため、このアプローチについては関心が高い。

【0011】

実際には、成功率の概念は、オブジェクト識別モデルの応答に関連付けられた精度又は信頼度とも呼ばれる。

【0012】

以下では、精度の概念が維持され、それが具体的に各アプローチの応答に関連付けられている。

【0013】

従来技術の欠点は、アプローチ間の相互作用を可能にすることなく、各アプローチが個別に、又は場合によっては縦続して次々に使用されるという事実にある。このことは、非常に長い適用時間、データベースの更新又は抽出された知識においてさえある不一致、及び、識別の信頼性の限界につながる。

【0014】

さらに、オブジェクトの検出、分類、認識、識別を含むアプリケーションでの人工知能技術（機械学習、深層学習）の自動実装が増加するにつれて、分野の専門家の活動は減少し、専門家の経験が暗黙のうちに損なわれた状態となる。短期的又は中期的には、これは人工的な知識がますます豊かで幅広いものになる一方で、分野の専門家のノウハウが貧弱になることにつながる。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の目的は、従来技術の識別アプローチの欠点を克服することである。

【0016】

これは、モデルの自動学習に必要なラベル付きデータベースのプールされた継続的な充実を伴う並列プロセスを介して、３つのアプローチを同時に且つ順次に機能させることを目的としている。

【課題を解決するための手段】

【0017】

これは、オブジェクトを、識別対象の前記オブジェクトの画像から識別するためのシステムに関し、以下を含む。
－ 前記オブジェクトの画像からオブジェクトの不変量を抽出するためのモジュール。
－ 識別対象のオブジェクトの画像及び不変量抽出モジュールから生じる不変量を入力として受信するのに適しており、且つ、分野の専門家によってラベル付けされた前記オブジェクトの第１の複数の画像及び前記分野の専門家によってラベル付けされた第１の複数の不変量を出力として提供することができる、前記オブジェクトを識別するための第１の識別モジュールであって、分野の専門家の識別精度に対応する第１の識別精度を有する、第１の識別モジュール。
－ 識別対象のオブジェクトの画像及び分野の専門家によってラベル付けされた不変量を入力として受信するのに適しており、且つ、機械学習を通じてラベル付けされた前記オブジェクトの第２の複数の画像及び機械学習を通じてラベル付けされた第２の複数の不変量を出力として提供することができる、第２の識別モジュールであって、機械学習の精度に対応する第２の精度を有する、第２の識別モジュール。
－ 識別対象のオブジェクトの画像を入力として受信するのに適しており、且つ、深層機械学習を通じてラベル付けされた第３の複数の画像及び機械学習を通じてラベル付けされた第３の複数の不変量を出力として提供することができる第３の識別モジュールであって、深層機械学習の精度に対応する第３の精度を有する、第３の識別モジュール。

【0018】

本発明の一般的な定義によれば、システムはさらに以下を含む。
－ 機械学習を通じて、そして深層機械学習を通じて、分野の専門家によってそれぞれラベル付けされた第１、第２、及び第３の複数の画像を入力として受信し、複数のプールされた最高の精度を有するラベル付き調整画像を出力として提供する、ラベル付き画像を集約及びプールするための集約及びプーリングモジュール。
－ 機械学習を通じて、そして深層機械学習を通じて、分野の専門家によってそれぞれラベル付けされた第１、第２、及び第３の複数の不変量を入力として受信し、複数のプールされた最高の精度を有するラベル付き調整不変量を出力として提供する、ラベル付き不変量を集約及びプールするための集約及びプーリングモジュール。
－ 識別対象のオブジェクトの新たな複数の画像に応じて、第１、第２、及び第３の識別モジュールは、それらのそれぞれの識別のために、複数のプールされたラベル付き調整画像並びに／又は集約及びプーリングモジュールから生じる複数のプールされたラベル付き調整不変量を入力として使用すること。

【0019】

本発明により、識別システムは、選択されたオブジェクトの識別のための学習フェーズにおける最高の精度を示す識別モジュールによる出力としての結果からだけでなく、処理対象のオブジェクトの後続の識別におけるテスト（問い合わせ）フェーズの入力として最良の識別結果を再利用（プール）することからも利益を得る。

【0020】

これにより、より良い結果につながる識別が行われることになる。

【0021】

したがって、本発明による識別システムは、それぞれの個々のアプローチの欠点を克服し、データベースの更新又は抽出された知識における不一致を減らすことを可能にし、最良の回答で充実されたデータベース（２Ｄ／３Ｄ画像、最高の精度と結合された２Ｄ／３Ｄ不変量）のプーリングにより、それぞれのアプローチの精度を高める。

【0022】

驚くべきことに、従来技術のように縦割り型の方法ではなく、並行して相乗的に、分野の専門家、機械学習及び深層学習を介して識別モジュールから得られたデータベースをプールすることによって、且つ最高の精度を選択することによって、効率的な識別システムを、しかも、実質的な処理時間の追加をもたらすことなく、得ることができる。

【0023】

実際には、ラベル付き画像のプールされたデータベースは、画像集約及びプーリングモジュールの結果で順次且つ継続的に充実される。

【0024】

同様に、ラベル付き不変量のプールされたデータベースは、不変量の集約及びプーリングモジュールの結果で順次且つ継続的に充実される。

【0025】

一実施形態によれば、最高のプールされた精度は、分野の専門家の精度、機械学習の精度、及び深層学習の精度の間の最大値に等しい。

【0026】

別の実施形態によれば、プールされた調整ラベルは、分野の専門家の精度が機械学習精度及び深層学習精度よりも高い場合に分野の専門家のラベルに等しく、オブジェクトのプールされたラベルは、機械学習の精度が深層学習の精度及び分野の専門家の精度よりも高い場合に機械学習ラベルに等しく、プールされたラベルは、深層学習の精度が分野の専門家の精度及び機械学習の精度よりも高い場合に深層学習のラベルに等しい。

【0027】

さらに別の実施形態によれば、ラベル付き調整画像は、オブジェクトの画像をオブジェクトのプールされたラベルと統合することによって得られる。

【0028】

さらに別の実施形態によれば、プールされたラベル付き調整不変量は、集約された不変量をオブジェクトのプールされたラベルと統合することによって得られ、集約された不変量は、分野の専門家のラベル付き不変量、機械学習のラベル付き不変量、及び深層学習のラベル付き不変量を集約することによって得られる。

【0029】

本発明の別の主題は、本発明による、オブジェクトを前記識別システムによって実装された前記オブジェクトのラベル付き画像から識別するための方法である。

【0030】

本発明はまた、通信ネットワークからダウンロード可能であり、且つ／又はコンピュータによって読み取り可能であり、且つ／又はプロセッサによって実行可能である媒体に記録されたコンピュータプログラムに関し、このコンピュータプログラムは、前記プログラムがコンピュータ上で実行されたとき本発明による方法を実行するための命令を含む。

【0031】

本発明の他の特徴及び利点は、非限定的な実施例によって、且つ添付の図面を参照して与えられる、以下の詳細な説明を読むことから明らかになるであろう。

【図面の簡単な説明】

【0032】

【図1】分野の専門家、機械学習、深層学習の３つのアプローチの結果の集約及びプーリングを概略的に示す。

【図2】ラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースを必要とする分野の専門家による、オブジェクトを識別するプロセスを概略的に示す。

【図3】ラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースを使用した機械学習を通じて、オブジェクトを学習及び識別するための完全なプロセスを概略的に示す。

【図4】ラベル付き２Ｄ／３Ｄ画像のプールされたデータベースを使用した深層学習を通じて、オブジェクトを学習及び識別するための完全なプロセスを概略的に示す。

【図5a】識別対象の欠陥及び関連付けられたラベルの２Ｄ画像である。

【図5b】識別対象の欠陥及び関連付けられたラベルの２Ｄ画像である。

【図5c】識別対象の欠陥及び関連付けられたラベルの２Ｄ画像である。

【図5d】識別対象の欠陥及び関連付けられたラベルの２Ｄ画像である。

【図6】分野の専門家アプローチを介して得られたラベルである。

【図7】深層学習アプローチを介して得られたラベルである。

【発明を実施するための形態】

【0033】

すべての図において、同じ要素は同じ参照符号で指定されている。

【0034】

図１は、分野の専門家、機械学習及び深層学習の３つの識別アプローチを並行して使用する、オブジェクトを識別するためのシステムを示している。

【0035】

第１に、システムは、分野の専門家ＥＭによってトレーニングされた、識別対象のオブジェクト（２Ｄ及び／又は３Ｄ画像）の画像ＩＭＯ、抽出アルゴリズムＥＸＴＩＶによって抽出された不変量ＩＶＯを入力として受信する、第１の識別モジュールＩＤＥＭを含む。

【0036】

例えば、木材産業では、このように抽出された不変量は、テクスチャ、面積、詰まっている面積と欠けている面積、等価直径、長軸の長さ、短軸の長さ、周囲長などによって形成されるグループに属する。

【0037】

出力として、第１の識別モジュールＩＤＥＭは、識別対象のオブジェクトと専門家の分野に関連する事前定義されたルールに従って分野の専門家（人間）によってラベル付けされたオブジェクトの画像ＩＬＥＭ、分野の専門家によってラベル付けされた不変量ＩＶＬＥＭ、及び分野の専門家ＥＭの精度ＰＥＭを提供する。

【0038】

例えば、木製の梁の欠陥を識別する場合、穴は木材産業の特定のラベルのリストに属する。ここで、梁の穴（図６）は、分野の専門家によって「穴ｔ＿１」というラベルで識別されている。

【0039】

第２に、識別システムは、機械学習を通じてトレーニングされた第２の識別モジュールＩＤＬＭを含み、入力として、識別対象のオブジェクトの画像ＩＭＯ（２Ｄ及び／又は３Ｄ画像）、不変量（幾何学的又は他の不変量）、及び抽出アルゴリズムＥＸＴＩＶによって抽出された不変量ＩＶＯを受信する。

【0040】

出力として、第２の識別モジュールＩＤＬＭは、機械学習を通じてラベル付けされたオブジェクトの画像ＩＬＭＬ、ラベル付き不変量ＩＶＬＭＬ、及び機械学習の精度ＰＭＬを提供する。

【0041】

第３に、そして最後に、識別システムはまた、識別対象のオブジェクトの画像ＩＭＯ（２Ｄ及び／又は３Ｄ画像）を入力として受信する、深層機械学習又は「深層学習」を通じてトレーニングされた第３の識別モジュールＩＤＤＬをさらに含む。

【0042】

出力として、第３の識別モジュールＩＤＤＬは、深層学習を通じてラベル付けされたオブジェクトの画像ＩＬＤＬ、ラベル付き不変量ＩＶＬＤＬ、及び深層学習の精度ＰＤＬを提供する。

【0043】

第３の識別モジュールＩＤＤＬは、深層機械学習の精度に対応する精度ＰＤＬを有する。

【0044】

以下でより詳細に分かるように、アルゴリズムの集約及びプーリングモジュールＭＡＭＲを使用するように準備がされており、このモジュールＭＡＭＲは、分野の専門家ＥＭ、機械学習ＭＬ、及び深層学習ＤＬの３つのアプローチから結果を受信し、学習からの結果をプールし、最高の精度を有するものだけを維持して、テストフェーズにおける処理対象のオブジェクトの新たな画像の識別の際にそれらを再利用する。

【0045】

実際には、モジュールＭＡＭＲは入力として以下のものを有する。
－ 分野の専門家によってラベル付けされたオブジェクトの２Ｄ／３Ｄ画像ＩＬＥＭ、分野の専門家によってラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量ＩＶＬＥＭ、及び分野の専門家の精度ＰＥＭ。
－ 機械学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ画像ＩＬＭＬ、機械学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量ＩＶＬＭＬ、機械学習の精度ＰＭＬ。
－ 深層学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ画像ＩＬＤＬ、深層学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量ＩＶＬＤＬ、及び深層学習の精度ＰＤＬ。

【0046】

出力として、モジュールＭＡＭＲは以下を生成する。
－ オブジェクトのプールされたラベル付き２Ｄ／３Ｄ画像ＩＬＭ。
－ オブジェクトのプールされたラベル付き２Ｄ／３Ｄ不変量ＩＶＬＭ。
－ プールされた画像精度ＰＭＩＭ。
－ プールされた不変量精度ＰＭＩＶ。

【0047】

好都合に、プールされた精度ＰＭＩＭ及びＰＭＩＶは、分野の専門家の精度ＰＥＭ、機械学習の精度ＰＭＬ、及び深層学習の精度ＰＤＬの間の最大値に等しくなるように選択される。

【0048】

集約及びプーリングモジュールは、オブジェクトの「ラベルＬＡＢ」とも呼ばれる、プールされ維持されたラベルに対応する結果を、出力として提供する。

【0049】

プールされ、維持されたラベルＬＡＢは、以下のものに等しい。
－ 分野の専門家の精度ＰＥＭが機械学習の精度ＰＭＬ及び深層学習の精度ＰＤＬよりも高い場合には、分野の専門家ＥＭによって与えられたオブジェクトのラベル。
－ 機械学習の精度ＰＭＬが深層学習の精度ＰＤＬ及び分野の専門家の精度ＰＥＭよりも高い場合には、機械学習によって与えられるオブジェクトのラベル。
－ 深層学習の精度ＰＤＬが、分野の専門家の精度ＰＥＭ及び機械学習の精度ＰＭＬよりも高い場合には、深層学習によって与えられるオブジェクトのラベル。

【0050】

プールされたラベル付き２Ｄ／３Ｄ画像は、オブジェクトの２Ｄ／３Ｄ画像をオブジェクトのプールされたラベルＬＡＢと統合することによって得られる。

【0051】

プールされたラベル付き２Ｄ／３Ｄ不変量は、集約された不変量をオブジェクトのプールされたラベルＬＡＢと統合することによって得られる。

【0052】

集約された２Ｄ／３Ｄ不変量は、分野の専門家によってラベル付けされた不変量、機械学習によってラベル付けされた不変量、及び深層学習によってラベル付けされた不変量を集約することによって得られる。

【0053】

非常に好都合に、プールされたラベル付き２Ｄ／３Ｄ画像及び関連付けられたプールされた精度は、関連付けられた精度ＰＭＩＭを有するラベル付き２Ｄ／３Ｄ画像のプールされたデータベースＢＭＩＭを充実させる。同様に、プールされたラベル付き２Ｄ／３Ｄ不変量及びプールされた精度は、関連付けられた精度ＰＭＩＶを有するラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースＢＭＩＶを充実させる。

【0054】

関連付けられた精度ＰＭＩＭを有するラベル付き２Ｄ／３Ｄ画像のプールされたデータベースＢＭＩＭは、識別モジュールＩＤＬＭ及びＩＤＤＬを調整するために使用される（図１において破線で示されている）。関連付けられた精度ＰＭＩＶを有するラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースＢＭＩＶは、モジュールＩＤＥＭによって使用される（図１において破線で示されている）。

【0055】

ラベル付きデータのプールされたデータベースＢＭＩＭ（画像）とＢＭＩＶ（不変量）を充実させて使用する完全なプロセスは、データの取得及び処理の多くのステップを含む。

【0056】

識別対象のオブジェクトの２Ｄ／３Ｄ画像ＩＭＯが、
－ 分野の専門家がオブジェクトを識別するアプローチ１ ＩＤＥＭ（図２）に、
－ オブジェクトの２Ｄ／３Ｄ不変量を抽出するためのアルゴリズムモジュールＥＸＴＩＶ（図２）に、
－ 深層学習を通じてオブジェクトを識別するアプローチ３ ＩＤＤＬ（図４）に、
送信される。

【0057】

２Ｄ／３Ｄ不変量を抽出するためのアルゴリズムモジュールＥＸＴＩＶは、オブジェクトの２Ｄ／３Ｄ画像ＩＭＯからオブジェクトの２Ｄ／３Ｄ不変量ＩＶＯを生成する。

【0058】

オブジェクトの２Ｄ／３Ｄ不変量ＩＶＯが、
－ 分野の専門家がオブジェクトを識別するアプローチ１ ＩＤＥＭ（図２）に、
－ 機械学習を通じてオブジェクトを識別するアプローチ２ ＩＤＬＭ（図３）に、
送信される。

【0059】

図２を参照すると、分野の専門家がオブジェクトを識別するアプローチ１ ＩＤＥＭは、その入力である、
－ 識別対象のオブジェクトの２Ｄ／３Ｄ画像、
－ オブジェクトの２Ｄ／３Ｄ不変量、
から、出力として、
－ 分野の専門家によってラベル付けされたオブジェクトの２Ｄ／３Ｄ画像ＩＬＥＭ、
－ 分野の専門家によってラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量ＩＶＬＥＭ、
－ 分野の専門家の精度ＰＥＭ、
を生成する。

【0060】

図３を参照すると、機械学習を通じてオブジェクトを識別するアプローチ２は、その入力である、
－ 識別対象のオブジェクトの２Ｄ／３Ｄ画像、
－ オブジェクトの２Ｄ／３Ｄ不変量、
から、出力として、
－ 機械学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ画像ＩＬＭＬ、
－ 機械学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量ＩＶＭＬ、
－ 機械学習の精度ＰＭＬ、
を生成する。

【0061】

図４を参照すると、深層学習を通じてオブジェクトを識別するアプローチ３は、その入力である、識別対象のオブジェクトの２Ｄ／３Ｄ画像から、出力として、
－ 深層学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ画像ＩＬＤＬ、
－ 深層学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量ＩＶＬＤＬ、
－ 深層学習の精度ＰＤＬ、
を生成する。

【0062】

図２を参照すると、識別対象のオブジェクトの新たな画像ＩＭＯ（テストフェーズ）に応じて、分野の専門家がオブジェクトを識別するための完全なプロセスでは、データベースに保存されている不変量が抽出モジュールＥＸＴＩＶからの不変量よりも高い精度を示す場合は、その人間による識別を調整するために、ラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースＢＭＩＶが必要になる。

【0063】

最初に、識別対象のオブジェクトの新しい２Ｄ／３Ｄ画像ＩＭＯが、
－ オブジェクトを識別する、分野の専門家に、
－ オブジェクトの２Ｄ／３Ｄ不変量を抽出するためのアルゴリズムモジュールＥＸＴＩＶに、
－ 結果を統合するためのアルゴリズムモジュールＣＲＥＭに、
送信される。

【0064】

従来、２Ｄ／３Ｄ不変量を抽出するためのアルゴリズムモジュールＥＸＴＩＶは、オブジェクトの２Ｄ／３Ｄ画像からオブジェクトの２Ｄ／３Ｄ不変量を生成する。

【0065】

オブジェクトの２Ｄ／３Ｄ不変量ＩＶＯが、
－ 関連付けられた精度を有するラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースＢＭＩＶに対応するラベル付き２Ｄ／３Ｄ不変量を検索するためのモジュールＲＩＶＬに、
－ 結果を統合するためのアルゴリズムモジュールＣＲＥＭに、
送信される。

【0066】

検索が肯定的である場合、すなわち２Ｄ／３Ｄ不変量のプールされたデータベースＢＭＩＶからのラベル付き２Ｄ／３Ｄ不変量が抽出モジュールからのものよりも優れている場合、データベースＢＭＩＶからの関連付けられた精度を有するラベル付き不変量が次にオブジェクトの人間による識別の補助として分野の専門家に送信される。そうではなく、検索が否定的である場合は、専門家は抽出モジュールＥＸＴＩＶから得られた不変量を使用する。

【0067】

分野の専門家は、ラベル付けされプールされた不変量のデータベースによって更新及び最適化された不変量に基づいて、オブジェクトのラベルＩＬＥＭ及び関連付けられた精度ＰＥＭを生成する。

【0068】

結果を統合するためのアルゴリズムモジュールＣＲＥＭは、オブジェクトのラベルを、オブジェクトの２Ｄ／３Ｄ画像、オブジェクトの２Ｄ／３Ｄ不変量、及び関連付けられた精度と統合（関連付け）することによって、分野の専門家によってラベル付けされたオブジェクトの２Ｄ／３Ｄ画像、分野の専門家によってラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量、及び分野の専門家の精度を生成する。

【0069】

同様に、処理対象の新たな画像のテストフェーズでは、機械学習を通じてオブジェクトを識別する完全なプロセスで、ラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースが必要になる（図３）。このプロセスは、２つの相互作用するフェーズを含む。

【0070】

第１に、プロセスは、関連付けられた精度を有するラベル付き２Ｄ／３Ｄ不変量のプールされたデータベースからの不変量に基づいて、２Ｄ／３Ｄ不変量とラベルの照合に基づいて機械学習モデルを調整（最適化、更新）するための機械学習フェーズを含む。

【0071】

第２に（テストフェーズにおいて）、プロセスは、学習フェーズ中に調整された機械学習モデルＩＤＭＬに問い合わせるフェーズを含み、これは次の要素を含む。
－ 識別対象のオブジェクトの２Ｄ／３Ｄ画像が、
－ オブジェクトの２Ｄ／３Ｄ不変量を抽出するためのアルゴリズムモジュールに、
－ 結果を統合するためのアルゴリズムモジュールに、
送信される。
－ ２Ｄ／３Ｄ不変量を抽出するためのアルゴリズムモジュールは、オブジェクトの２Ｄ／３Ｄ画像からオブジェクトの２Ｄ／３Ｄ不変量を生成する。
－ オブジェクトの２Ｄ／３Ｄ不変量が、
－ 調整された機械学習モデルに問い合わせるためのモジュールに、
－ 結果を統合するためのアルゴリズムモジュールに、
送信される。
－ 調整された機械学習モデルに問い合わせるためのモジュールは、オブジェクトのラベル及び関連付けられた精度を生成する。
－ 結果を統合するためのアルゴリズムモジュールは、オブジェクトのラベルを、オブジェクトの２Ｄ／３Ｄ画像、オブジェクトの２Ｄ／３Ｄ不変量、及び関連付けられた精度と統合（関連付け）することによって、機械学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ画像、機械学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量、及び機械学習の精度を生成する。

【0072】

同様に、深層学習を通じてオブジェクトを識別するための完全なプロセスでは、ラベル付き２Ｄ／３Ｄ画像のプールされたデータベースが必要になる（図４）。このプロセスは、２つの相互作用するフェーズも含む。

【0073】

第１に、深層学習の学習フェーズは、関連付けられた精度を有するラベル付き２Ｄ／３Ｄ画像のプールされたデータベースからの２Ｄ／３Ｄ画像×ラベルの照合について深層学習モデルを調整することを可能にする。

【0074】

第２に（テストフェーズにおいて）、プロセスは、学習フェーズ中に調整された深層学習モデルに問い合わせるフェーズＩＤＤＬを含む。

【0075】

実際には、識別対象のオブジェクトの２Ｄ／３Ｄ画像が、
－ 調整された深層学習モデルに問い合わせるためのモジュールＩＤＤＬに、
－ 結果を統合するためのアルゴリズムモジュールＣＲＤＬに、
送信される。

【0076】

調整された深層学習モデルに問い合わせるためのモジュールＩＤＤＬは、オブジェクトのラベル、関連付けられた精度、及びオブジェクトの２Ｄ／３Ｄ不変量を同時に生成する。

【0077】

結果を統合するためのアルゴリズムモジュールＣＲＤＬは、オブジェクトのラベルを、オブジェクトの２Ｄ／３Ｄ画像、オブジェクトの２Ｄ／３Ｄ不変量、及び関連付けられた精度と統合（関連付け）することによって、深層学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ画像、深層学習を通じてラベル付けされたオブジェクトの２Ｄ／３Ｄ不変量、及び深層学習の精度を生成する。

【0078】

図５ａ～５ｄを参照すると、識別対象の異常又は欠陥を含む木製の梁の４つの画像の例が示されている。

【0079】

図５ａ～５ｄには、亀裂、シロアリの穴、衝撃穴などの、梁上の複数の可能性のある欠陥が示されている。

【0080】

ここでの課題は、処理対象の大量の木製の梁について、木材産業で許容できない欠陥が何であるかを識別することである。

【0081】

例えば、木製の梁の欠陥を識別する場合、穴は木材産業の特定のラベルのリストに属する。ここで、梁の穴（図６）は、分野の専門家及び機械学習によって識別されて、「穴ｔ＿１」というラベルが付けられている。

【0082】

図７では、この同じ穴が識別され、「穴」というラベルを使用して深層学習によってラベル付けされている。各識別モジュール（ＥＭ、ＭＬ、ＤＬ）は同じラベルを有しているが、精度が異なる。

【0083】

図６を参照すると、木製の梁の画像の１つにある異常又は欠陥に対する分野の専門家アプローチによって得られたラベルが示されている。
穴ｔ＿１：
ｔ１＿ｌｏｃ：穴＿１の位置［ｘ１，ｙ１，ｘ２，ｙ２］
ｔ１＿ｄ：穴＿１の直径（ｍｍ）
ｔ１＿ｐ：穴＿１の深さ（ｍｍ）
亀裂ｆ＿１：
ｆ１＿ｌｏｃ：亀裂＿１の位置［ｘ１，ｙ１，ｘ２，ｙ２］
ｆ１＿ｌ：亀裂＿１の長さ（ｍｍ）
ｆ１＿ｅ：亀裂＿１の厚み（ｍｍ）
亀裂ｆ＿２：
ｆ２＿ｌｏｃ：亀裂＿２の位置［ｘ１，ｙ１，ｘ２，ｙ２］
ｆ２＿ｌ：亀裂＿２の長さ（ｍｍ）
ｆ２＿ｅ：亀裂＿２の厚み（ｍｍ）
シロアリの穴ｔｍ＿（ｎ）：
ｔｍ１＿ｌｏｃ：穴＿シロアリ＿１の位置［ｘ１，ｙ１］
ｔｍ２＿ｌｏｃ：穴＿シロアリ＿２の位置［ｘ１，ｙ１］
ｔｍ３＿ｌｏｃ：穴＿シロアリ＿３の位置［ｘ１，ｙ１］
ｔｍ４＿ｌｏｃ：穴＿シロアリ＿４の位置［ｘ１，ｙ１］
ｔｍ５＿ｌｏｃ：穴＿シロアリ＿５の位置［ｘ１，ｙ１］
ｔｍ６＿ｌｏｃ：穴＿シロアリ＿６の位置［ｘ１，ｙ１］
ｔｍ７＿ｌｏｃ：穴＿シロアリ＿７の位置［ｘ１，ｙ１］
木材：
ｂ＿ｖａｒ：木材の種類
ｂ＿ｓｔａｔｅ：木材の状態（良好、中間、悪い）

【0084】

図７を参照すると、深層学習アプローチを介して得られたラベルと、異常又は欠陥に関連付けられた関心領域が、木製の梁の同じ画像内に示されている。これらのラベルのタイプは、穴、亀裂、シロアリの穴である。

【0085】

非限定的な例として、欠陥の分類のために使用される機械学習アプローチ（教師あり学習）の構造は、サポートベクターマシン（ＳＶＭ）タイプである。

【0086】

非限定的な例として、欠陥の検出及び分類のために使用される深層学習アプローチの構造は、「Ｆａｓｔｅｒ Ｒ－ＣＮＮ（畳み込みニューラルネットワーク特徴を備えた領域）オブジェクト分類」タイプである。

【0087】

非限定的な例として、不変量の集約では、適応するブール演算子ＡＮＤ、ＯＲ、及びＸＯＲを使用する。他の方法が適用可能であり、ベイズ確率法、信念理論に基づくデンプスター・シェファー法、ボルダカウントランク付け法、順序付き加重平均演算子（ＯＷＡ）、アグリゲーター重み関数演算子（ＡＷＦＯ）、隠れマルコフチェーン（ＣＭＣ）、推論ルールベースのファジー論理、及び人工ニューラルネットワークがある。

【0088】

したがって、本発明は、それぞれの個々のアプローチの欠点を克服し、データベースの更新又は抽出された知識における不一致を減らすことを可能にし、最良の回答で充実されたデータベース（２Ｄ／３Ｄ画像、最高の精度と結合された２Ｄ／３Ｄ不変量）のプーリングにより、それぞれのアプローチの精度を高める。

【0089】

本発明により、識別精度を高めるために、
－ 深層学習アプローチは、分野の専門家アプローチを通じて学習で取得したラベルと、機械学習アプローチからのラベルを使用し、
－ 機械学習アプローチは、分野の専門家アプローチを通じて学習で取得した不変量と、深層学習アプローチからの不変量を使用し、
－ 分野の専門家アプローチは、深層学習アプローチからの不変量と、機械学習アプローチからの不変量を使用する。

【0090】

さらに、識別システムは、選択されたオブジェクトの識別のための学習フェーズにおける最高の精度を示す識別モジュールによる出力としての結果からだけでなく、処理対象のオブジェクトの後続の識別におけるテストフェーズの入力としての最良の識別結果を再利用（プール）することからも利益を得る。

【0091】

本発明の適用分野は広く、関心のあるオブジェクトの検出、分類、認識及び識別をカバーしている。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図6】

【図7】

【国際調査報告】