(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-29
(45)【発行日】2023-12-07
(54)【発明の名称】領域ベース敵対的学習での損傷転移方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231130BHJP
G06N 3/04 20230101ALI20231130BHJP
G06N 3/08 20230101ALI20231130BHJP
G06V 10/82 20220101ALI20231130BHJP
G06V 10/774 20220101ALI20231130BHJP
【ＦＩ】
G06T7/00 350C
G06N3/04
G06N3/08
G06V10/82
G06V10/774
G06T7/00 610B
【請求項の数】
12
(21)【出願番号】P 2022172325
(22)【出願日】2022-10-27
(65)【公開番号】P2023072665
(43)【公開日】2023-05-24
【審査請求日】2022-10-27
(31)【優先権主張番号】17/525,807
(32)【優先日】2021-11-12
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】マリア テレサ ゴンザレスディアス
(72)【発明者】
【氏名】ディパンジャン ディパク ゴッシュ
(72)【発明者】
【氏名】マブブル アラム
(72)【発明者】
【氏名】チェタン グプタ
(72)【発明者】
【氏名】エマン ティ ハッサン
【審査官】片岡 利延
(56)【参考文献】
【文献】韓国公開特許第１０－２０２１－００８１０７７（ＫＲ，Ａ）
【文献】中国特許出願公開第１１２４８８９８４（ＣＮ，Ａ）
【文献】Shuanlong Niu et al.，Defect Image Sample Generation With GAN for Improving Defect Recognition，[online]，2020年，https://ieeexplore.ieee.org/document/9000806
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｎ ３／０４
Ｇ０６Ｎ ３／０８
Ｇ０６Ｖ １０／８２
Ｇ０６Ｖ １０／７７４
(57)【特許請求の範囲】
【請求項1】
敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングすることと、前記オブジェクトタイプに対応するオブジェクトを含む見たことのない画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記見たことのない画像上で前記モデルを実行することと
を含み、
前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、
前記オブジェクトタイプを学習するために、前記非損傷形態の前記オブジェクトタイプの前記画像から前記敵対的ネットワーク上のオブジェクトジェネレータ及びオブジェクトディスクリミネータをトレーニングすることと、
非損傷形態の前記オブジェクトタイプの前記画像及び損傷形態の前記オブジェクトタイプの他の画像から前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴量ベクトルを学習することと、
非損傷形態の前記オブジェクトタイプの前記画像を前記１つ以上の関心領域内の損傷有りの前記オブジェクトタイプの変換済み画像に変換するために、前記損傷特徴量ベクトルから前記敵対的ネットワーク上の損傷ジェネレータ及び損傷ディスクリミネータをトレーニングすることと
を含む、
方法。
【請求項2】
前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、非損傷形態の前記オブジェクトタイプの前記画像から偽の損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上のジェネレータをトレーニングすることと、
非損傷形態の前記オブジェクトタイプの前記画像及び損傷領域を有する損傷形態の前記オブジェクトタイプの他の画像から、前記オブジェクトタイプの損傷画像対非損傷画像を見分けるために、オブジェクトディスクリミネータをトレーニングすることと、
前記損傷領域を有する前記損傷形態の前記オブジェクトタイプの前記他の画像から、前記オブジェクトタイプ内の前記損傷領域を見分けるために、領域ベースのディスクリミネータをトレーニングすることと、
前記オブジェクトディスクリミネータ及び前記領域ベースのディスクリミネータから、偽の損傷領域を含む前記偽画像について敵対的損失を行う（performing adversarial loss）ことと、
前記敵対的損失を前記ジェネレータへ逆方向伝導する（back-propagating）ことと
を含む、請求項１に記載の方法。
【請求項3】
敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの前記領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、損傷形態の前記オブジェクトタイプの他の画像から、偽の非損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上の損傷から正常へのジェネレータ（Damage-to-normal Generator）をトレーニングすることと、
損傷形態の前記オブジェクトタイプの前記他の画像及び前記偽の非損傷領域を含む前記偽画像から、前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴量ベクトルを学習することと
を含む、請求項１に記載の方法。
【請求項4】
敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの前記領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、前記損傷特徴量ベクトルから正常から損傷への特徴量（Normal-to-damage features）のマッピングを学習するために、前記偽の非損傷領域を含む前記偽画像を、前記損傷形態の前記オブジェクトタイプの前記他の画像に変換するように構成された正常から損傷への再構成器（Normal-to-damage Reconstructor）であって、前記敵対ネットワーク上の前記正常から損傷への再構成器をトレーニングすることと、
前記正常から損傷への再構成器の敵対的損失を、前記損傷から正常へのジェネレータに逆方向伝導することと
をさらに含む、請求項３に記載の方法。
【請求項5】
プロセスを実行するための命令を記憶する非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラムであって、前記命令は、敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングすることと、
前記オブジェクトタイプに対応するオブジェクトを含む見たことのない画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記見たことのない画像上で前記モデルを実行することと
を含み、
前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、
前記オブジェクトタイプを学習するために、前記非損傷形態の前記オブジェクトタイプの前記画像から前記敵対的ネットワーク上のオブジェクトジェネレータ及びオブジェクトディスクリミネータをトレーニングすることと、
非損傷形態の前記オブジェクトタイプの前記画像及び損傷形態の前記オブジェクトタイプの他の画像から前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴量ベクトルを学習することと、
非損傷形態の前記オブジェクトタイプの前記画像を前記１つ以上の関心領域内の損傷有りの前記オブジェクトタイプの変換済み画像に変換するために、前記損傷特徴量ベクトルから前記敵対的ネットワーク上の損傷ジェネレータをトレーニングすることと
を含む、
コンピュータプログラム。
【請求項6】
前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、非損傷形態の前記オブジェクトタイプの前記画像から偽の損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上のジェネレータをトレーニングすることと、
非損傷形態の前記オブジェクトタイプの前記画像及び損傷領域を有する損傷形態の前記オブジェクトタイプの他の画像から、前記オブジェクトタイプの損傷画像対非損傷画像を見分けるために、オブジェクトディスクリミネータをトレーニングすることと、
前記損傷領域を有する前記損傷形態の前記オブジェクトタイプの前記他の画像から、前記オブジェクトタイプ内の前記損傷領域を見分けるために、領域ベースのディスクリミネータをトレーニングすることと、
前記オブジェクトディスクリミネータ及び前記領域ベースのディスクリミネータから、偽の損傷領域を含む前記偽画像について敵対的損失を行う（performing adversarial loss）ことと、
前記敵対的損失を前記ジェネレータへ逆方向伝導する（back-propagating）ことと
を含む、請求項５に記載のコンピュータプログラム。
【請求項7】
敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの前記領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、損傷形態の前記オブジェクトタイプの他の画像から、偽の非損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上の損傷から正常へのジェネレータ（Damage-to-normal Generator）をトレーニングすることと、
損傷形態の前記オブジェクトタイプの前記他の画像及び前記偽の非損傷領域を含む前記偽画像から、前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴量ベクトルを学習することと
を含む、請求項５に記載のコンピュータプログラム。
【請求項8】
敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの前記領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うことは、前記損傷特徴量ベクトルから正常から損傷への特徴量（Normal-to-damage features）のマッピングを学習するために、前記偽の非損傷領域を含む前記偽画像を、前記損傷形態の前記オブジェクトタイプの前記他の画像に変換するように構成された正常から損傷への再構成器（Normal-to-damage Reconstructor）であって、前記敵対ネットワーク上の前記正常から損傷への再構成器をトレーニングすることと、
前記正常から損傷への再構成器の敵対的損失を、前記損傷から正常へのジェネレータに逆方向伝導することと
をさらに含む、請求項７に記載のコンピュータプログラム。
【請求項9】
敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングし、かつ前記オブジェクトタイプに対応するオブジェクトを含む見たことのない画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記見たことのない画像上で前記モデルを実行する
ように構成されたプロセッサを備え、
前記プロセッサは、
前記オブジェクトタイプを学習するために、非損傷形態の前記オブジェクトタイプの前記画像から前記敵対的ネットワーク上のオブジェクトジェネレータ及びオブジェクトディスクリミネータをトレーニングすることと、
非損傷形態の前記オブジェクトタイプの前記画像及び損傷形態の前記オブジェクトタイプの他の画像から前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴量ベクトルを学習することと、
非損傷形態の前記オブジェクトタイプの前記画像を前記１つ以上の関心領域内の損傷有りの前記オブジェクトタイプの変換済み画像に変換するために、前記損傷特徴量ベクトルから前記敵対的ネットワーク上の損傷ジェネレータをトレーニングすることとによって、
前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うように構成されている、
装置。
【請求項10】
前記プロセッサは、非損傷形態の前記オブジェクトタイプの前記画像から偽の損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上のジェネレータをトレーニングすることと、
非損傷形態の前記オブジェクトタイプの前記画像及び損傷領域を有する損傷形態の前記オブジェクトタイプの他の画像から、前記オブジェクトタイプの損傷画像対非損傷画像を見分けるために、オブジェクトディスクリミネータをトレーニングすることと、
前記損傷領域を有する前記損傷形態の前記オブジェクトタイプの前記他の画像から、前記オブジェクトタイプ内の前記損傷領域を見分けるために、領域ベースのディスクリミネータをトレーニングすることと、
前記オブジェクトディスクリミネータ及び前記領域ベースのディスクリミネータから、偽の損傷領域を含む前記偽画像について敵対的損失を行う（performing adversarial loss）ことと、
前記敵対的損失を前記ジェネレータへ逆方向伝導する（back-propagating）こととによって、
前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うように構成されている、請求項９に記載の装置。
【請求項11】
前記プロセッサは、損傷形態の前記オブジェクトタイプの他の画像から、偽の非損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上の損傷から正常へのジェネレータ（Damage-to-normal Generator）をトレーニングすることと、
損傷形態の前記オブジェクトタイプの前記他の画像及び前記偽の非損傷領域を含む前記偽画像から、前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴量ベクトルを学習することとによって、
敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの前記領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うように構成されている、請求項９に記載の装置。
【請求項12】
前記プロセッサは、前記損傷特徴量ベクトルから正常から損傷への特徴量（Normal-to-damage features）のマッピングを学習するために、前記偽の非損傷領域を含む前記偽画像を、前記損傷形態の前記オブジェクトタイプの前記他の画像に変換するように構成された正常から損傷への再構成器（Normal-to-damage Reconstructor）であって、前記敵対ネットワーク上の前記正常から損傷への再構成器をトレーニングすることと、
前記正常から損傷への再構成器の敵対的損失を、前記損傷から正常へのジェネレータに逆方向伝導することとによって、
敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの前記領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルの前記トレーニングを行うようにさらに構成されている、請求項１１に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して目視検査システムを対象とし、より具体的には、領域ベース敵対的学習での損傷転移方法を対象とする。
【背景技術】
【0002】
人工知能（ＡＩ）ベースのモデルでの自動目視検査システムは、オブジェクトの品質制御、メンテナンス、修理及びモニタリング全体を合理化することを目指している。しかしながら、ＡＩベースの方法は、複数の損傷タイプ（例えば、凹み、擦り傷、腐食）や、複数の素材（例えば、コンクリート、プラスチック、金属）を有する複数のアセットタイプ（例えば、車両、飛行機、建物）に亘って損傷の条件及び特徴（例えば、外見、サイズ、グレア（glare）、重症度、背景）を学習するロバストなモデルを作成するための、大きなデータセットを必要とする。
【0003】
通常、顧客データセットは、類似した条件及びコンテクスト内（例えば、同じオブジェクト、視点、又は背景を有する）の損傷有り画像に制限される。小さいデータセットモデルは、特にオープンスペース内での、より少ない生成力、変動する周囲及び画像条件による、フィールド内の検出不良をもたらし得る。例えば、自動検査（例えば、車両、飛行機、建物用の）は、反射及び照明条件による影響が大きい。多様な条件及び特徴の画像の収集は手動で行うことが出来るが、多くの時間と労働力を要し、費用がかかり、実行不可能に近い場合もある。一方、画像拡張用の自動ツールは未だに、トリミング、回転又は色変更などの基本的なタスクに制限されている。従って、損傷領域、背景、マテリアル、アセットなどについて一般化するためには、データセット及びモデルの構築を容易にする自動プロセスが必要である。
【発明の概要】
【発明が解決しようとする課題】
【0004】
モデル生成とは、モデルを作成するために使用される、見たことのない又は部分的に見たことのないデータに適応するモデルの能力として定義される。この課題は、データ拡張、ドメイン適応、及び転移学習技術などの自動化された方法によって対処されてきた。
【0005】
データ拡張についての関連技術の実施は、例えば、損傷領域などの関心領域のコンテクスト及び特徴量を学習しない画像変換に制限される。これらのデータ拡張方法の大部分は、新しいコンテクスト、エリア、アセット又はマテリアルを有する画像への損傷転移を容易にできる損傷の細粒特徴を学習しない色変更、回転、又はトリミングを含む。関連技術の実施はまた、該当する特徴量の学習（但し、アセット内の損傷したエリアなどの関心領域についてではない）を容易にする敵対的ネットワークを含む。
【0006】
関連技術では、転移学習、ドメイン適応及び画像生成を容易にするために敵対的生成ネットワーク（Generative Adversarial Network; ＧＡＮ）もある。ＧＡＮは、２つの構成要素、すなわち、新しい例を生成するためにトレーニングされたジェネレータモデル（Generator Model）と、例を本物又は偽として分類するためにトレーニングされたディスクリミネータモデル（Discriminator Model）とで、上記課題を監視下にある学習課題として定式化する。両方のモデルは、ジェネレータが、非常に本物に近い画像と、従って偽画像を区別出来ないディスクリミネータとを弄ぶという目的で、敵対的な態様で（ゼロサムゲーム）共にトレーニングされる。
【0007】
ドメイン適応及び拡張では、ＧＡＮに基づく画像変換モデルは、コンテクスト又はドメインに適応し、スタイルを変更し、オブジェクトの外形を変える等という画像バリエーションのタスクを自動化するリアルな画像を生成することが可能であることを示してきた。関連技術の実施では、対の画像（例えば、ＡからＢ）での条件付きネットワークを用いたＧＡＮモデルもある。当該関連技術の実施の拡大には、入力画像が対ではなく又は並べられていない場合、よりロバストなモデルを含み得る。関連技術の実施では、ネットワークは画像全体から関連する特徴量を学習することができる。しかしながら、この方法では、損傷した特徴量を転移することはできない。なぜならば、これらのネットワークは、関心領域（すなわち、損傷領域）の特徴表現を学習できないからである。これに比べて、本明細書に記載する提案される方法は、その他のデータサンプルに転移されるべき共通特徴量を表す特定の関心領域の学習を確実にすることを重視している。
【0008】
さらに、目視検査方法のための損傷表現の学習及び転移についての研究は何ら行われていない。関連技術の実施では、条件付きＧＡＮ（ＤＣＧＡＮ）を用いた木材の表面の損傷を学習するアプローチがある。このアプローチでは、損傷特徴量の代わりに画像特徴量を学習する。当該関連技術の入力画像は、ソリューションを容易にするアセット、オブジェクト、又は背景の複雑さの無い損傷した木材の単純な領域から成る。本明細書に記載する実施例では、損傷は、単純な条件付きＧＡＮ方法での学習を失敗させるオブジェクト、背景及び多様な損傷ビューを有する現実世界の画像から学習される。
【0009】
関連技術の実施とは対照的に、本明細書に記載の実施例は、画像のバリエーションのある部分を有するアセットの全体又は部分ビュー上の損傷を学習しかつ転移するソリューションを提供する。損傷は画像の小さい部分のみかもしれないため、関心領域を表す細粒特徴量を重視する方法が必要である。本開示の実施例を用いない最先端のネットワークは、損傷の転移に失敗するだろうが、本明細書に記載の実施例は、画像コンテクストの範囲内で損傷を学習しかつ転移する。
【0010】
本明細書に記載の実施例は、大きなデータセットやコンテクスト及び条件（例えば、外観、サイズ、照明条件、背景、マテリアル、又はアセット）の多様性の欠如、並びに損傷のような関心領域を重視した画像における多様性を有する改良されたデータセットを生成するための自動化ツールの欠如による、損傷検出モデルの低い一般化を含む、様々な問題に対処している。
【0011】
実施例は、小さい画像データセットから損傷の特徴表現を学習して、新しいデータセットに転移するシステム及び方法に関わる。このシステム及び方法は、多数のコンテクスト及び条件（例えば、サイズ、形状、照明、背景）、並びにマテリアル（例えば、金属、木材、プラスチック）に亘って、オブジェクト（例えば、車両、飛行機、器具）から損傷（例えば、擦り傷、凹み、腐食）を学習する。これらの実施例は、損傷の共通表現と、正常なエリアと損傷したエリアとの差とを解き解すことを重視するために、損傷領域ベースの学習での敵対的生成ネットワークを導入している。これらの実施例は、損傷領域ベースの敵対的学習でモデルのトレーニングが、細粒損傷表現を捉えて転移することを可能にするが、一方、既存の敵対的ネットワークは損傷の学習に失敗するということを示している。最終的に、本明細書で提案されるモデルは、モデル生成を改良するためのドメイン適応及びデータ拡張タスクを容易にする。
【0012】
具体的には、実施例は、多数の画像条件、アセット及びマテリアルの種類に亘ってＡＩベースの目視検査モデルの一般化を増すためのアプローチを提供する。損傷検出モデルは、画像条件（例えば、外観（テクスチャ―）、サイズ、重症度、形状、背景）のバリエーションがある大きいデータセットの欠如によって受ける影響が大きい。多くの場合、金属、木材、コンクリート又はプラスチックなどの特定のマテリアルを有する特定のオブジェクト（例えば、車両、機械、建物）上の損傷を検出するために、モデルをトレーニングする。しかしながら、限定されたモデルを特定のかつ通常小さいデータセットでトレーニングさせることは、モデル生成を制限し、かつ顧客ソリューションの検出品質を低減させる。従って、データセットがわずかしかないサンプルに制限される場合、顧客ソリューションを展開しながらのモデル生成は課題である。
【0013】
実施例は、損傷有りのオブジェクトの表面特徴量を重視した方法を提供することによって、この問題に対処する。モデルが共通損傷表現を学習するためにトレーニングされると、上記方法は、望ましい実施に従って、ドメイン適応、データ拡張タスクなどの望ましい目的のために、その他のコンテクスト、オブジェクト又はマテリアルに損傷を転移する。
【0014】
実施例は、ジェネレータ及びディスクリミネータの伝統的なアーキテクチャを拡大する敵対的ネットワークに関わる。これらの実施例は、正常な特徴量と損傷した特徴量とを区別する機能を学習するための新しい損傷領域ベースのネットワークを利用する。トレーニングの間、伝統的ジェネレータ及びディスクリミネータは、損傷領域を重視する新しいジェネレータ・ディスクリミネータと共に画像の該当特徴量を学習する。新しいディスクリミネータは、損傷領域内の学習エラーを最小限に抑える損失機能を使用し、その結果、当該エラーは後で両ジェネレータに逆方向伝導される。従って、ジェネレータとディスクリミネータの両方は、多数のオブジェクト、背景、照明条件などを有する小さい現実世界のトレーニングデータセットから引き出された損傷を捉えた特徴量を学習する。
【0015】
転移の間、実施例は、学習した特徴量を見たことのない画像に適用するために、トレーニングしたモデルを使用し、新しい損傷有り画像を生成する。関連技術の方法は、画像ディスクリミネータで単にオブジェクト・コンテクスト特徴量を学習するのみなので、損傷の転移に失敗してしまうが、実施例は、損傷とオブジェクト両方のコンテクスト及び条件を学習する。実施例は、車両、金属部品、コンクリート及び木材の多数のデータセットのための新しい画像を生成して、損傷の転移に成功する。
【0016】
よって、本明細書に記載の実施例は、関心領域ベースの敵対的学習を用いて損傷の細粒特徴表現を学習する機構と、関心領域ベースの敵対的学習機能でトレーニングされたモデルを用いて、見たことのない画像に損傷特徴量表現を転移し、かつ新しい画像を生成する機構とを含む。
【課題を解決するための手段】
【0017】
本開示の態様は、敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングすることと、前記オブジェクトタイプに対応するオブジェクトを含む画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記画像上で前記モデルを実行することとを含み得る方法を含み得る。
【0018】
本開示の態様は、敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングする手段と、前記オブジェクトタイプに対応するオブジェクトを含む画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記画像上で前記モデルを実行する手段とを含み得る方法を含み得る。
【0019】
本開示の態様は、命令を含み得るコンピュータプログラムであって、前記命令は、敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングすることと、前記オブジェクトタイプに対応するオブジェクトを含む画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記画像上で前記モデルを実行することとを含み得る、コンピュータプログラムを含み得る。このコンピュータプログラムは、メモリ及び／又は非一時的なコンピュータ可読媒体などの１つ以上のコンピュータ可読媒体に記憶され、１つ以上のプロセッサによって実行されることができる。
【0020】
本開示の態様は、敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、前記非損傷形態の前記オブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングし、かつ前記オブジェクトタイプに対応するオブジェクトを含む画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記画像上で前記モデルを実行するように構成されたプロセッサを備え得る装置を含む。このコンピュータプログラムは、メモリ及び／又は非一時的なコンピュータ可読媒体などの１つ以上のコンピュータ可読媒体に記憶され、１つ以上のプロセッサによって実行されることができる。
【図面の簡単な説明】
【0021】
【図1】一実施例に従った損傷転移方法の一例を示す。
【図2】一実施例に従った損傷転移の一例を示す。
【図3】一実施例に従った一般的損傷転移方法の一例を示す。
【図4】一実施例に従った損傷転移ネットワークのトレーニングの一例を示す。
【図5】一実施例に従った損傷転移ネットワークのテストの一例を示す。
【図6】一実施例に従った損傷及び正常なオブジェクトについての対のかつ整列された画像の一例を示す。
【図7】一実施例に従った対の画像用のローカルディスクリミネータを有する損傷転移ネットワークの一例を示す。
【図8】一実施例に従った対の画像の変換用の領域ベースのディスクリミネータでの損傷転移方法の一例を示す。
【図9】一実施例に従った損傷及び正常なオブジェクトについての不対の画像の一例を示す。
【図10】一実施例に従った損傷マスクジェネレータ（Damage-mask Generator）Ｇｒ及びディスクリミネータＤｒを有するサイクル整合性ネットワークのネットワークの一例を示す。
【図11】一実施例に従った不対のかつ整列されていない画像についての損傷転移ステップの一例を示す。
【図12】一実施例に従ったテスト中の生成の一例を示す。
【図13】いくつかの実施例での使用に適したコンピュータ装置の一例を有するコンピューティング環境の一例を示す。
【発明を実施するための形態】
【0022】
以下の詳細な説明は、本出願の図面及び実施例のさらなる詳細を提供する。複数の図の間の重複する要素の符号及び説明は、明確にするために省略される。説明全体を通して使用される用語は、例として提供されるものであり、限定することを意図しない。例えば、「自動」という用語の使用は、本出願の実施を実践する当業者の望ましい実施に応じて、実施の特定の態様に対するユーザ又は管理者の制御を含む完全自動又は半自動の実施を含んでよい。選択は、ユーザインタフェース又は他の入力手段を介してユーザによって行うことができ、又は望ましいアルゴリズムを介して実施することができる。本明細書に記載される実施例は、単独で又は組み合わせて利用することができ、実施例の機能は、望ましい実施に従ったあらゆる手段を用いて実施することができる。
【0023】
実施例は、コンテクスト及び条件のバリエーションを有する新しい画像で、オリジナルの小さいデータセットを拡張するための損傷転移のシステム及び方法を含む。本明細書において損傷は、凹み、擦り傷、腐食など、正常なテクスチャ、形態、構造又は色から逸脱したオブジェクトの関心領域（Region of Interest; ＲｏＩ）として定義される。この領域は、損傷の視覚的特徴を伴う１セットの共通特徴量Ｆｄを有する。カメラの位置、背景オブジェクト、光、又はマテリアルへの物理的力などの異なるコンテクストの結果として、損傷は通常、外観、サイズ、形状、重症度などにおける変化などの条件のバリエーションを有する。
【0024】
図１は、一実施例に従った損傷転移方法の一例を示す。本明細書に記載する実施例は、図１に示される通り正常な（損傷の無い）画像を損傷有りの新しい画像に変換する、関心領域ベースの敵対的学習でトレーニングされたモデルを使用する損傷転移方法を含む。
【0025】
最初に方法１１０は、小さいトレーニングデータセット１００の潜在的特徴量スペースから正常画像と損傷画像との間のマッピング１１１を学習する。第二に、図２に示される通り、見たことのない画像１０１に損傷を転移して、損傷エリア１１３を有する新しい画像を生成するために、モデルが適用１１２される。この新しい画像は、ネットワークから自動生成されるため、偽の画像として示される。損傷転移ネットワークは、例えば、損傷形状、テクスチャなどの関心領域から損傷特徴量を学習することを重視した損傷マスク（関心領域）ディスクリミネータを導入した、一気通貫学習を用いてトレーニングされる。
【0026】
図２は、一実施例に従った画像での損傷転移の一例を示す。このトレーニングデータセットは、損傷有りと損傷無しのバンパーの画像を含む。トレーニングデータセットには存在しない入力画像が、偽の損傷したバンパー画像を出力として生成するために、損傷転移方法を通してパスされる。
【0027】
マテリアルＭのアセットＡ上で損傷領域ＲｏＩｄ及び正常な領域ＲｏＩｎを有する画像Ｉをトレーニングする数個のサンプルにおいて、損傷転移は以下の通り定義される。画像関心領域ＲｏＩｄから損傷特徴量ベクトルＦｄを学習し、Ｇは、正常なアセットＡｎを損傷アセットＡｄに変換する機能Ｇ：Ａｎ→Ａｄを、Ｇ（Ａｎ）＝Ａｄなどのように表し、かつＲは、Ｒ：ＲｏＩｎ→ＲｏＩｄのように正常な領域などの関心領域ＲｏＩを損傷領域にマッピングする機能をＲ（ＲｏＩｎ）＝ＲｏＩｄのように表す。
【0028】
目標は、Ａからのオブジェクトの特徴量を表すＧと、敵対的損失を用いて、領域ベースのジェネレータ・ディスクリミネータＧｒ－Ｄｒから学習した関心領域ＲｏＩ（損傷）の特徴量Ｆｄを表すＲとを学習することである。
【0029】
この方法の目標は、画像コンテクスト、オブジェクト及び損傷領域を区別するために、オブジェクト特徴と、関心領域ベースの特徴量（損傷領域）との両方を学習するネットワークを有することである。これを達成するために、ネットワークは、オブジェクトの分布と損傷領域の分布とを学習する機能Ｇ及びＲを有する正常なオブジェクト及び損傷領域を学習しなければならない。
【0030】
ａ）トレーニング画像から特徴量を学習するためのディスクリミネータＤと、ｂ）Ｇ損失を用いて特徴量を学習し、かつ当該特徴量を新しい画像に転移するジェネレータＧとを含む、条件付き敵対的ネットワークアーキテクチャでの画像変換方法を検討する。本明細書に記載する実施例は、オブジェクト／コンテクストの学習Ｇ－Ｄで、車両、道路、扉などのような関心対象オブジェクトを区別することができるように、１）オブジェクト／コンテクストの学習と、２）領域ベースの（損傷の）学習という２つの目標を達成するために、領域ベースのジェネレータ及びディスクリミネータを追加する。ジェネレータＧｒ及びディスクリミネータＤｒでの領域ベースの（損傷の）敵対的学習は、関心領域ＲｏＩ、例えば、凹み、擦り傷、腐食のような損傷である関心領域ＲｏＩの特徴を学習する。
【0031】
図３は、一実施例に従った一般的損傷転移方法の一例を示す。図３は、損傷転移ネットワークの重要な構成要素である、オブジェクト／コンテクストジェネレータＧ及びディスクリミネータＤ及び損傷ジェネレータＧｒ及びディスクリミネータＤｒを示す。図３の例では、入力は、ノイズ（ｚ）、損傷無し画像（Ｉｎ）、損傷有り画像（Ｉｄ）、及び損傷領域（ＲｏＩｄ）などの関心領域を含み得る。
【0032】
損傷転移ネットワークは、ジェネレータ・オブジェクト（Ｇ）、ディスクリミネータ・オブジェクト（Ｄ）、ジェネレータ領域損傷（Ｇｒ）、ディスクリミネータ領域損傷（Ｄｒ）、オブジェクト特徴Ｇ（Ｉ）を学習するための敵対的損失関数、及び関心領域／損傷領域Ｒ（ＲｏＩｄ）を学習するための敵対的損失関数を含み得る。一般的損傷転移方法の出力は、偽生成画像ｆｄである。
【0033】
図４は、一実施例に従った損傷転移ネットワークのトレーニングの一例を示す。この提案される方法は、トレーニングと転移という、２つの主なタスクを含む。トレーニングの間、ネットワークは図４に示される通り、端から端までトレーニングされる。入力データセットは、損傷有り画像及び損傷無し（正常な）画像を含む。この方法は、損傷ジェネレータ・ディスクリミネータＧｒ－Ｄｒを用いて損傷領域を学習し、かつジェネレータは、入力ラベルを用いて正常画像を損傷画像に変換するために、特徴量Ｇ（Ｉ）及びＲ（Ｉ）を学習する。ラベルは、損傷又は正常である本物の画像として示されるトレーニング画像のクラスと、当該画像が損傷を有する場合の損傷のマスク領域とを含む。前記方法は、偽の損傷領域を有する偽の画像として示される出力を生成する。各画像の生成は、偽の画像が本物の画像及び損傷領域に非常に近く生成されるか否かを判断するディスクリミネータに対して評価される。損失は、次の反復のために良好かつ不良な生成を学習するために、ジェネレータへと逆方向伝導される。最後に、実施例は、ＦＩＤスコアなどの技術を用いてモデルを評価する。このスコアは、損傷及びオブジェクトの学習及び生成の品質レベルを示す。トレーニングアルゴリズムは、図４に示される以下のステップを含む。
【0034】
フローの例では、入力は、損傷画像Ｉｄ、正常画像Ｉｎ、及びバッチサイズｍを含み得る。４００では、フローはｍ個の画像の各エポック及びバッチごとに実行される。４０１では、本物の正常画像のバッチ、並びに損傷及び損傷領域有り画像がロードされる。このフローでは、アルゴリズムは、対象オブジェクト画像の条件である偽画像ｆｄ及び偽の関心領域ｆｒの生成を行う。その後４０２及び４０３では、フローは、最新のバッチのためにコンテクストオブジェクトディスクリミネータＤをトレーニングし、かつ領域ベースのディスクリミネータＤｒのためにトレーニングする。すなわち、損傷有り画像から、４０２で偽画像が対象オブジェクトに基づいて本物か又は偽であるかを分類するために、コンテクストオブジェクトディスクリミネータＤはトレーニングされる。４０３では、損傷有り領域から、領域ベースのディスクリミネータＤｒは、本物又は偽のマスク領域が損傷領域であると分類するように、ディスクリミネータをトレーニングする。４０４では、アルゴリズムは、偽の画像Ｇ（Ｉｄ／Ｉｎ）損失について敵対的損失を行って、ジェネレータへ逆方向伝導し、かつ偽の領域Ｒ（Ｉｄ／Ｉｎ）損失については、ジェネレータに逆方向伝導する。そして、フローは次のバッチ４０５へと進む。最終的に、アルゴリズムは、データセットをテストするためのスコアを決定することとなる。
【0035】
モデルがトレーニングされると、当該モデルは、ランダムノイズと共に入力参照画像に損傷転移を適用する準備ができる。ジェネレータは前方パスを行い、かつ参照に類似しているが損傷の有る画像を生成する。領域ラベルは全く必要とされず、モデルは、トレーニング中に学習した特徴量Ｆｄに基づいて損傷領域を生成する。図５は、一実施例に従った損傷転移ネットワークのテストの一例を示す。損傷転移アルゴリズムは、図５における以下のステップを含む。
【0036】
図５のフローについて、入力は見たことのない画像である。５００で、アルゴリズムはモデルをロードする。５０１で、アルゴリズムは参照入力画像をロードする。５０２で、アルゴリズムは、偽の画像を生成するために前方パスを行う。それによって、出力は新しい画像である。
【0037】
以下の説明は、ａ）対の画像での画像変換と、ｂ）不対の画像についてサイクル整合性のある画像変換という２つのタイプの最先端ネットワークにおける一般的方法の実施例に関わる。
【0038】
図６は、一実施例に従った損傷及び正常なオブジェクトについての対のかつ整列された画像の一例を示す。対のかつ整列された画像は、非常に類似していながら、一方は損傷しており、他方は正常である、対の画像（ビフォー画像／アフター画像としても知られる）のリストとして定義される。
【0039】
１セットの対の整列された画像からトレーニングされた画像変換モデルに関わる一実施例を検討する。条件付き変換ネットワークは形式的に、エンコーダ・デコーダＧジェネレータと、パッチディスクリミネータＤという、２つの主要な構成要素から構成される。しかしながら、ネットワークは、損傷したエリアが画像全体に亘って細粒特徴量であるため、損傷したエリアを学習することができない。本明細書に記載の実施例は、我々の一般的方法において提案されるように損傷エリアの学習を可能にする領域ベースのディスクリミネータを取り込むことによって、上記問題に対処する。
【0040】
正常なかつ損傷したオブジェクトについて対のかつ整列された画像のいくつかのサンプルを考慮して、損傷特徴量を新しい画像に転移するＧ（Ｉ）及びＲ（Ｉ）機能を学習する。図７は、一実施例に従った対の画像のためのローカルディスクリミネータを有する損傷転移ネットワークの一例を示す。
【0041】
ジェネレータの一実施例において、スキップ接続（ＵＮＥＴ）での多レベルでの画像から特徴量を捉えるエンコーダ・デコーダ構成要素があるが、ＵＮＥＴ以外でその他の実施が使用されるかもしれず、本開示はこれに制限されない。図７の実施例では、モデルは、ＵＮＥＴジェネレータ及び２つのパッチディスクリミネータ（一方は画像全体用で、他方は損傷ＲＯＩ用である）を含む。生成された画像は、機能損失を計算する画像ディスクリミネータ及びローカルディスクリミネータに供給される。エラーは後で、画像変換ネットワークを改良するために、ジェネレータに逆方向伝導される。図４及び図５で定義された一般的方法の後に、トレーニング及び転移プロセスが続く。前記方法は、正常な車両及び損傷した車両の、対のかつ整列された画像を含むサンプル画像を用いることによって評価される。図７の損傷転移ネットワークで示される通り、ジェネレータ７０１、本物／偽の分類７０２、及び領域ベースのディスクリミネータ７０３があり、これらのさらなる詳細は、図１０に関して提供される。
【0042】
図８は、一実施例に従った、対の画像の変換についての領域ベースのディスクリミネータでの損傷転移方法の一例を示す。
【0043】
不対のかつ整列されていない画像についての損傷転移に関して、不対のかつ整列されていない画像は、オブジェクトのランダムなコンテクスト、ビュー、サイズ、外観などである一対の画像として定義される。図９は、一実施例に従った、損傷及び正常なオブジェクトについての不対の画像の一例を示す。
【0044】
サイクル整合性（Cycle-consistency; サイクルＧＡＮとして知られている）を有する対の整列された画像のトレーニングセットからトレーニングされた画像変換モデルとしての一実施例を検討する。このネットワークは形式的に、画像Ｘを新しい画像Ｙにマッピングするために、エンコーダ・デコーダＧジェネレータ及びパッチディスクリミネータＤＹという４つの主要な構成要素から構成される。サイクル整合性は、画像を変換し、かつ変換された画像を元画像に再構築するために使用する方法の可能性として定義される。形式的に、サイクル整合性構成要素は、再構築損失を最小限に抑えるように、新しい画像Ｙを元画像ＸにマッピングするためのパッチディスクリミネータＤｘを備えた機能Ｆを含む。
【0045】
実験に基づくと、上記方法は特定の領域に対して敏感ではなく、かつ小さいデータセットは、損傷特徴を学習するために十分ではないため、上記ネットワークは、損傷転移のために損傷エリアを学習することができない。提案される方法は、我々の一般的方法において提案される通りに損傷エリアの学習を可能にする領域ベースの（損傷）敵対的ネットワークを組み込むことによって、この問題を解決する。図１０は、一実施例に従った、損傷マスクジェネレータＧｒ及びディスクリミネータＤｒを有するサイクル整合性ネットワークである、ネットワークの一例を示す。
【0046】
正常なかつ損傷したオブジェクトについての不対のかつランダムな画像のいくつかのサンプルを考慮し、フローは、損傷特徴量を新しい画像に転移するためのＧ－Ｒ－Ｆ機能１００１、１００２、及び１００３を学習する。本明細書において記載される通り、実施例は、不対のかつ整列されていない画像に亘って転移特徴量を改良するためのＦ再構築機能でのサイクル整合性方法に関わる。提案されるネットワークは、領域ベースのジェネレータ及びディスクリミネータとしてＲ機能１００３を導入し、かつ画像全体に亘ってサイクル整合性のある、機能Ｇ１００１及びＦ１００２によって定義される正常から損傷へかつ損傷から正常への再構築を維持する。損傷学習を改良するために、ジェネレータは、本明細書で記載される通り、ジェネレータ領域についての対応する領域ベースのディスクリミネータで、正常から損傷への特徴量表現Ｒのマッピングの学習を重視した再構築損失を用いる。
【0047】
【0048】
Ｉｎ＝損傷の無いオブジェクトの画像
Ｉｄ＝損傷オブジェクト有りの画像
ｆｄ＝損傷有りで生成された偽の画像
ｆｎ＝生成された偽の画像 ― 正常
ｆｒｄ＝生成された偽の領域 ― 損傷した
ｆｄ２ｎ２ｄ＝損傷から正常へ、そして損傷へ（サイクル整合性）
ｎ２ｄ＝正常から損傷への転移
ｄ２ｎ＝損傷から正常画像への再構築
Ｇｎ２ｄ（Ｉｎ）＝正常から損傷画像へのＧ機能
Ｇｄ２ｎ（Ｉｄ）＝損傷から正常画像へのＧ
Ｇ損失＝マッピングＧ：Ｘ－Ｙ
Ｆ損失＝再構築損失Ｆ：Ｙ－Ｘ
Ｒ損失＝領域損失
Ｒ（ｆｄ２ｎ）＝損傷から正常画像への領域ベース
Ｆｄ＝損傷特徴量
Ｒ（ｆｄ２ｎ）＝損傷から正常画像への領域ベース
Ｉｄ＝損傷オブジェクト有りの画像
ｆｄ＝損傷有りで生成された偽の画像
ｆｎ＝生成された偽の画像 ― 正常
ｆｒｄ＝生成された偽の領域 ― 損傷した
ｆｄ２ｎ２ｄ＝損傷から正常へ、そして損傷へ（サイクル整合性）
ｎ２ｄ＝正常から損傷への転移
ｄ２ｎ＝損傷から正常画像への再構築
Ｇｎ２ｄ（Ｉｎ）＝正常から損傷画像へのＧ機能
Ｇｄ２ｎ（Ｉｄ）＝損傷から正常画像へのＧ
Ｇ損失＝マッピングＧ：Ｘ－Ｙ
Ｆ損失＝再構築損失Ｆ：Ｙ－Ｘ
Ｒ損失＝領域損失
Ｒ（ｆｄ２ｎ）＝損傷から正常画像への領域ベース
Ｆｄ＝損傷特徴量
Ｒ（ｆｄ２ｎ）＝損傷から正常画像への領域ベース
【0049】
トレーニング方法は、２つの主要な操作を行う。第１の主要な操作は、１つのドメインから別のドメインへの転移に関連する送り操作である。この送り操作のために、偽の非損傷画像への損傷の転移ｆｎ＝Ｇｄ２ｎ（Ｉｄ）、対応する損傷領域ベースの生成ｆｒ＝Ｒ（ｆｄ２ｎ）、及び偽の損傷画像への正常画像の転移ｆｄ＝Ｇｎ２ｄ（Ｉｎ）がある。
【0050】
第２の主要な操作は、生成された画像から元画像を再構築することを目指すサイクル操作である。このサイクル操作のために、損傷から正常へかつ正常から損傷画像への再構築ｆｄ２ｎ２ｄ＝Ｇｎ２ｄ（Ｇｄ２ｎ（Ｉｄ））がある。
【0051】
損傷転移（推論／検査合格）の間、前記方法は、図５に記載される一般的方法と同じステップを用いる。ジェネレータは、入力として見たことのない画像を使用し、そして新しい損傷画像を生成するために損傷特徴量表現を転移する。このプロセスの一部として、再構築生成はオプションである。
【0052】
図１１のフローでは、黒のボックスはネットワークの使用を示す。最初に、損傷転移プロセスは、１１０１で、正常かつ損傷した画像並びに損傷領域をロードする。本明細書に記載の実施例に基づき、このフローは、１１０２で本物の損傷画像１１０２から偽画像を生成する。その後、ディスクリミネータは、１１０３で本物の正常画像でトレーニングされ得る。１１０４で、ジェネレータは、本物の損傷画像及び偽の正常画像から関心領域（例えば、損傷の有る）を生成するために使用される。１１０５では、ＲＯＩディスクリミネータが、偽／本物の損傷領域でトレーニングされる。１１０６では、フローは、本物の正常画像及び損傷領域特徴量から偽の損傷画像を生成する。１１０７では、フローは偽／本物のディスクリミネータ画像でディスクリミネータをトレーニングする。１１０８では、フローは、偽の損傷画像から本物の正常画像へと再構築を行う。１１０９では、フローは、偽の正常画像から本物の損傷画像への再構築を行う。１１１０では、敵対的損失は逆方向伝導される。１１１１では、次の反復が行われる。
【0053】
【0054】
実施例で使用できるオブジェクト画像の例は、望ましい実施及び産業分野に従って調整することができる。例えば、交通手段（例えば、トラック、車両、電車、飛行機など）、エネルギー（例えば、ウィンターバインズ（Winter binds）、ソーラーパネル、送電線など）、製造（例えば、生産ライン検査）、建築（例えば、建物、屋根など）、採掘（例えば、クレーン、掘削機、トラックなど）等々。
【0055】
各業界内の検査の目標は、メンテナンス及び修理、品質制御又は機器のモニタリングに関連し得るが、これらに制限されない。
【0056】
図１３は、いくつかの実施例での使用に適するコンピュータ装置の一例を有するコンピューティング環境の一例を示す。
【0057】
コンピューティング環境１３００におけるコンピュータ装置１３０５は、１つ以上の処理装置、コア、又はプロセッサ１３１０、メモリ１３１５（例えば、ＲＡＭ及び／又はＲＯＭなど）、内部記憶装置１３２０（例えば、磁気、光、ソリッドステートストレージ、及び／又は有機）、及び／又は入出力インタフェース１３２５を含むことができ、これらのいずれも、情報を通信するための通信機構又はバス１３３０上で接続することができ、又はコンピュータ装置１３０５内に埋め込むことができる。また、入出力インタフェース１３２５は、望ましい実施次第で、カメラから画像を、かつその他のセンサ／装置からデータを受信するように、又はプロジェクタ又はディスプレイに画像を提供するように構成もされる。
【0058】
コンピュータ装置１３０５は、入力／ユーザインタフェース１３３５及び出力装置／インタフェース１３４０に通信可能に接続することができる。入力／ユーザインタフェース１３３５及び出力装置／インタフェース１３４０のいずれか一方又は両方は、有線又は無線インタフェースであることが可能であり、かつ取り外し可能である。入力／ユーザインタフェース１３３５は、入力を提供するために使用することができるあらゆる装置、構成要素、センサ、又はインタフェース（物理的又は仮想的）（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイク、カメラ、点字、モーションセンサ、及び／又は光学式読取装置など）を含んでよい。出力装置／インタフェース１３４０は、ディスプレイ、テレビ、モニター、プリンター、スピーカー、又は点字などを含んでよい。いくつかの実施例では、入力／ユーザインタフェース１３３５及び出力装置／インタフェース１３４０は、コンピュータ装置１３０５内に埋め込む又は物理的に接続することができる。その他の実施例では、その他のコンピュータ装置は、コンピュータ装置１３０５のための入力／ユーザインタフェース１３３５及び出力装置／インタフェース１３４０として機能してよく、又は当該機能を提供してもよい。
【0059】
コンピュータ装置１３０５の例は、高機能携帯用装置（例えば、スマートフォン、車両やその他の機械中の装置、人間及び動物によって運ばれる装置など）、携帯用装置（例えば、タブレット、ノートＰＣ、ラップトップ、パーソナルコンピュータ、ウェアラブルデバイス、携帯用テレビ、ラジオ、ロボット、ドローン、及びスマートグラスなど）、並びに携帯用に設計されていない装置（例えば、デスクトップコンピュータ、その他のコンピュータ、インフォメーションセンター、１つ以上のプロセッサが中に埋め込まれかつ／又は接続されているテレビ、及びラジオなど）を含んでよいが、これらに制限されない。
【0060】
コンピュータ装置１３０５は、同一又は異なる構成の１つ以上のコンピュータ装置を含む、あらゆる数のネットワークされた構成要素、装置、及びシステムと通信するための外部記憶装置１３４５及びネットワーク１３５０と通信可能に接続される（例えば、入出力インタフェース１３２５を介して）ことが可能である。コンピュータ装置１３０５又はいずれかの接続されたコンピュータ装置は、サーバ、クライアント、シン・サーバ（Thin Server）、汎用機、専用機、又は別のラベルとして機能し、これらのサービスを提供し、又はこれらとして言及されることができる。
【0061】
入出力インタフェース１３２５は、コンピューティング環境１３００における少なくともすべての接続された構成要素、装置、及びネットワークに対してかつ／又はこれらから情報を通信するために、あらゆる通信又はＩ／Ｏプロトコル又は基準（例えば、イーサネット、８０２.１１ｘ、ユニバーサルシステムバス、ＷｉＭＡＸ（登録商標）、モデム、セルラーネットワークプロトコルなど）を用いる有線及び／又は無線のインタフェースを含むことができるが、これらに限定されない。ネットワーク１３５０は、あらゆるネットワーク又は複数のネットワークの組合せ（例えば、インターネット、ローカルエリアネットワーク、広域エリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。
【0062】
コンピュータ装置１３０５は、一時的な媒体及び非一時的な媒体を含むコンピュータ使用可能又はコンピュータ可読媒体を使用することができ、かつ／又はこれらを用いて通信することができる。一時的な媒体は、伝送媒体（例えば、金属ケーブル、光ファイバー）、信号、搬送波などを含む。非一時的な媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、及びその他の不揮発性ストレージ又はメモリを含む。
【0063】
コンピュータ装置１３０５は、いくつかのコンピューティング環境の例において技術、方法、アプリケーション、プロセス又はコンピュータ実行可能命令を実施するために使用することができる。コンピュータ実行可能命令は、一時的な媒体からリトリーブし、かつ非一時的な媒体に格納し、かつ非一時的な媒体からリトリーブすることができる。実行可能命令は、あらゆるプログラミング言語、スクリプト言語、及び機械語のうちの１つ以上（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Java（登録商標）、Visual Basic（登録商標）、Python（登録商標）、Perl、JavaScript（登録商標）及びその他）から生じ得る。
【0064】
プロセッサ１３１０は、ネイティブ環境又は仮想環境においてあらゆるオペレーティングシステム（ＯＳ）下で実行可能である。論理部１３６０、アプリケーションプログラミングインタフェース（ＡＰＩ）部１３６５、入力部１３７０、出力部１３７５、及び異なるユニットが互いに、ＯＳと、かつその他のアプリケーション（図示されていない）と通信するためのユニット間通信機構１３９５を含む、１つ以上のアプリケーションがデプロイされ得る。記載したユニット及び要素は、デザイン、機能、構成又は実施が変異可能であり、かつ提供された記載に制限されない。
【0065】
いくつかの実施例では、情報又は実行命令がＡＰＩ部１３６５によって受信された場合、１つ以上のその他のユニット（例えば、論理部１３６０、入力部１３７０、出力部１３７５）に通信されてよい。いくつかの事例では、論理部１３６０は、これらユニット内での情報フローを制御し、かつ上記のいくつかの実施例においてＡＰＩ部１３６５、入力部１３７０、出力部１３７５によって提供されたサービスを命令するように構成されてよい。例えば、１つ以上のプロセス又は実施のフローは、論理部１３６０のみによって又はＡＰＩ部１３６５と連動して制御されてよい。入力部１３７０は、実施例に記載された計算のための入力を得るように構成されてよく、出力部１３７５は、実施例に記載された計算に基づく出力を提供するように構成されてよい。
【0066】
プロセッサ１３１０は、図１～図５に示される通りに本明細書に記載の実施例を通して、敵対的ネットワークの使用により非損傷形態のオブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態のオブジェクトタイプの画像を通して、前記オブジェクトタイプ内の損傷領域を含む画像を生成するように構成されたモデルをトレーニングし、かつ前記オブジェクトタイプに対応するオブジェクトを含む画像の受信のため、前記オブジェクト内の前記損傷領域を含む別の画像を生成するために、前記オブジェクトの前記画像上で前記モデルを実行するように構成することができる。
【0067】
プロセッサ１３１０は、図３に示される通り、前記オブジェクトタイプを学習するために、前記非損傷形態の前記オブジェクトタイプの前記画像から敵対的ネットワーク上のオブジェクトジェネレータ及びオブジェクトディスクリミネータをトレーニングすることと、非損傷形態の前記オブジェクトタイプの前記画像及び損傷形態の前記オブジェクトタイプの他の画像から前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴ベクトルを学習することと、非損傷形態の前記オブジェクトタイプの前記画像を前記１つ以上の関心領域内の損傷有りの前記オブジェクトタイプの変換済み画像に変換するために、前記損傷特徴ベクトルから前記敵対的ネットワーク上の損傷ジェネレータ及び損傷ディスクリミネータをトレーニングすることとによって、前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルのトレーニングを行うように構成することができる。
【0068】
プロセッサ１３１０は、図８に示される通り、非損傷形態の前記オブジェクトタイプの前記画像から偽の損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上のジェネレータをトレーニングすることと、非損傷形態の前記オブジェクトタイプの前記画像及び損傷領域を有する損傷形態の前記オブジェクトタイプの他の画像から、前記オブジェクトタイプの損傷画像対非損傷画像を見分けるために、オブジェクトディスクリミネータをトレーニングすることと、前記損傷領域を有する前記損傷形態の前記オブジェクトタイプの前記他の画像から、前記オブジェクトタイプ内の前記損傷領域を見分けるために、領域ベースのディスクリミネータをトレーニングすることと、前記オブジェクトディスクリミネータ及び前記領域ベースのディスクリミネータから、偽の損傷領域を含む前記偽画像について敵対的損失を行う（performing adversarial loss）ことと、前記敵対的損失から前記ジェネレータへ逆方向伝導する（back-propagating）こととによって、前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルのトレーニングを行うように構成することができる。
【0069】
プロセッサ１３１０は、図１０～図１２に示される通り、損傷形態の前記オブジェクトタイプの他の画像から、偽の非損傷領域を含む偽画像を生成するために、前記敵対的ネットワーク上の損傷から正常へのジェネレータ（Damage-to-normal Generator）をトレーニングすることと、損傷形態の前記オブジェクトタイプの他の画像及び前記偽の非損傷領域を含む前記偽画像から、前記オブジェクトタイプの１つ以上の関心領域についての損傷特徴ベクトルを学習することと、前記損傷特徴ベクトルから正常から損傷への特徴量（Normal-to-damage features）のマッピングを学習するために、前記偽の非損傷領域を含む前記偽画像を、前記損傷形態の前記オブジェクトタイプの前記他の画像に変換するように構成された正常から損傷への再構成器（Normal-to-damage Reconstructor）であって、前記敵対ネットワーク上の前記正常から損傷への再構成器をトレーニングすることと、前記正常から損傷への再構成器の敵対的損失を、前記損傷から正常へのジェネレータに逆方向伝導することとによって、前記敵対的ネットワークの使用を通して前記オブジェクトタイプ及び前記オブジェクトタイプの領域を学習するために、非損傷形態の前記オブジェクトタイプの前記画像を通して前記モデルのトレーニングを行うように構成することができる。
【0070】
詳細な説明の一部は、コンピュータ内のアルゴリズム及び演算の記号表現の観点で提示されている。これらのアルゴリズム記述及び記号表現は、データ処理技術の当業者が彼らのイノベーションの本質を他の当業者に伝えるために使用する手段である。アルゴリズムは、望ましい最終の状態又は結果に至る一連の定義されたステップである。実施例では、実行されるステップは、具体的な結果を達成するための、具体的な量の物理的な操作を必要とする。
【0071】
特段の記載がない限り、論考から明らかなように、説明全体を通して「処理」、「コンピューティング」、「計算」、「判定／決定」、「表示」などの用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子の）量として表されるデータを、コンピュータシステムのメモリ又はレジスタ又はその他の情報記憶装置、伝送装置又は表示装置内の物理量として同様に表される他のデータに操作かつ変換する、コンピュータシステム又はその他の情報処理装置の動作及びプロセスを含み得ることが理解される。
【0072】
実施例は、本明細書で操作を実行するための装置にも関連してもよい。この装置は、要求された目的のために特別に構成されてもよく、あるいは、１つ以上のコンピュータプログラムによって選択的に起動又は再構成される１つ以上の汎用コンピュータを含んでもよい。このようなコンピュータプログラムは、コンピュータ可読記憶媒体又はコンピュータ可読信号媒体などのコンピュータ可読媒体に記憶してもよい。コンピュータ可読記憶媒体は、光ディスク、磁気ディスク、読取専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイス（Solid State Drive; ＳＳＤ）及びドライブ、又は電子情報を記憶するのに適した任意のその他の種類の有形又は非一時的媒体などの有形媒体を含んでよいが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含んでもよい。本明細書に提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連しない。コンピュータプログラムは、望ましい実施形態の動作を実行する命令を含む純粋なソフトウェア実装を含むことができる。
【0073】
様々な汎用システムは、本明細書の例に従ってプログラム及びモジュールと共に使用されてもよく、又は望ましい方法ステップを実行するためにより特化された装置を構築することが便利であることが判明するかもしれない。さらに、実施例は、特定のプログラミング言語を参照して説明されていない。本明細書で説明されている実施例の技術を実施するために、様々なプログラミング言語を使用され得ることが理解されるであろう。プログラミング言語の命令は、１つ以上の処理装置、例えば中央処理装置（Central Processing Unit; ＣＰＵ）、プロセッサ、又はコントローラによって実行されてよい。
【0074】
当技術分野で周知のように、上述の操作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。実施例の様々な態様は、回路及び論理装置（ハードウェア）を使用して実施してもよく、一方、他の態様は、機械可読媒体（ソフトウェア）に記憶された命令を使用して実施してもよく、そして当該命令がプロセッサによって実行される場合は、プロセッサに本出願の実施形態を行うための方法を実行させることになる。さらに、本出願のいくつかの実施例は、ハードウェアのみで実施してよいが、その他の実施例は、ソフトウェアのみで実施してよい。さらに、記述された種々の機能は、単一のユニット内で実行され得るか、又は任意の数の方法で多数の構成要素にわたって分散することができる。ソフトウェアによって実行される場合、これらの方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてよい。必要に応じて、命令は、圧縮及び/又は暗号化されたフォーマットで媒体に記憶することができる。
【0075】
さらに、本出願のその他の実施形態は、本出願の明細書及び技術の実施を考慮することから当業者には明らかであろう。記載された実施例の様々な態様及び/又は構成要素は、単独で、又は任意の組み合わせで使用され得る。本明細書及び実施例は、以下の請求項によって示される本出願の真の範囲及び精神とともに、例示としてのみ考慮されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
