特許 7392166 画像生成装置、画像生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-27

(45)【発行日】2023-12-05

(54)【発明の名称】画像生成装置、画像生成方法およびプログラム

(51)【国際特許分類】

   G01N 29/06 20060101AFI20231128BHJP

   G01N 29/44 20060101ALI20231128BHJP

【ＦＩ】

G01N29/06

G01N29/44

【請求項の数】 5

(21)【出願番号】P 2022544958

(86)(22)【出願日】2020-08-26

(86)【国際出願番号】 JP2020032124

(87)【国際公開番号】W WO2022044150

(87)【国際公開日】2022-03-03

【審査請求日】2022-11-24

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100162868

【弁理士】

【氏名又は名称】伊藤 英輔

(74)【代理人】

【識別番号】100161702

【弁理士】

【氏名又は名称】橋本 宏之

(74)【代理人】

【識別番号】100189348

【弁理士】

【氏名又は名称】古都 智

(74)【代理人】

【識別番号】100196689

【弁理士】

【氏名又は名称】鎌田 康一郎

(72)【発明者】

【氏名】竹本 浩

【審査官】比嘉 翔一

(56)【参考文献】

【文献】特開２０１１－２１４９０３（ＪＰ，Ａ）

【文献】特開２００５－１５６３３４（ＪＰ，Ａ）

【文献】特開２０２０－１２３２３８（ＪＰ，Ａ）

【文献】特開２０２０－０７７３２６（ＪＰ，Ａ）

【文献】特開２０１９－１９７００７（ＪＰ，Ａ）

【文献】米国特許第１０３４６９６９（ＵＳ，Ｂ１）

【文献】国際公開第２０１９／１８０８６８（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１０８７９２５４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ、Ｇ０１Ｃ，Ｇ０１Ｄ、Ｇ０１Ｆ、Ｇ０１Ｇ、Ｇ０１Ｈ、Ｇ０１Ｊ、Ｇ０１Ｋ、Ｇ０１Ｌ、Ｇ０１Ｍ、Ｇ０１Ｎ、Ｇ０１Ｐ、Ｇ０１Ｑ、Ｇ０１Ｒ、Ｇ０１Ｓ、Ｇ０１Ｔ、Ｇ０１Ｖ、Ｇ０１Ｗ、Ａ６１Ｂ

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍ３）

(57)【特許請求の範囲】

【請求項1】

欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成する画像生成部、
を備え、
前記画像生成部は、前記ラベルの色に対応する種類の疑似欠陥を描画する、
画像生成装置。

【請求項2】

前記画像生成部は、前記背景画像のパターンと前記ラベルとの組み合わせに対応する疑似欠陥を描画する、
請求項１に記載の画像生成装置。

【請求項3】

前記画像生成部は、前記ラベルの輝度に対応して、輝度の異なる前記疑似欠陥を描画する、
請求項１または請求項２に記載の画像生成装置。

【請求項4】

画像生成装置の画像生成部が、欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成するステップ、
を有し、
前記画像生成部が前記疑似欠陥画像を生成するステップでは、前記ラベルの色に対応する種類の疑似欠陥を描画する、
画像生成方法。

【請求項5】

コンピュータに、
欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成するステップを実行させ、
前記疑似欠陥画像を生成するステップでは、前記ラベルの色に対応する種類の疑似欠陥を描画する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像生成装置、画像生成方法およびプログラムに関する。

【背景技術】

【0002】

検査画像から欠陥を検出（スクリーニング）する場合において、ＡＩの活用が検討されている。ある検査画像から欠陥を正しく検出するためには、ＡＩに対し十分な量の欠陥画像を学習させる必要がある。
また、学習済みのスクリーニングＡＩによって欠陥が適正に検出されているかどうかを確認するため、人工的な欠陥を挿入した試験片を用いて、検査員とスクリーニングＡＩとの検出性を比較し、検出精度などを調整する必要がある。

【0003】

上記内容に関連する技術として、特許文献１には、人工欠陥材料及びＦＲＰ構造体の製造方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－０９０２８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記の理由により、スクリーニングＡＩを開発するために多くの試験片を製作する必要があり、開発費用が増加する。

【0006】

本発明の課題は、検査画像から欠陥を検出するスクリーニングＡＩを効率よく学習させることにある。

【課題を解決するための手段】

【0007】

本発明の一態様によれば、画像生成装置は、欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成する画像生成部、を備え、前記画像生成部は、前記ラベルの色に対応する種類の疑似欠陥を描画する。

【0008】

また、本発明の一態様によれば、画像生成方法は、欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成するステップ、を有し、前記疑似欠陥画像を生成するステップでは、前記ラベルの色に対応する種類の疑似欠陥を描画する。

【0009】

また、本発明の一態様によれば、プログラムは、コンピュータに、欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成するステップを実行させ、前記疑似欠陥画像を生成するステップでは、前記ラベルの色に対応する種類の疑似欠陥を描画する。

【発明の効果】

【0010】

上述の画像生成装置、画像生成方法およびプログラムによれば、検査画像から欠陥を検出するスクリーニングＡＩを効率よく学習させることができる。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る画像生成装置の構成を示す図である。

【図2】第1の実施形態に係る検査の例を示す図である。

【図3】第１の実施形態に係る画像生成アルゴリズムの学習方法を示す図である。

【図4】第１の実施形態に係る画像生成アルゴリズムの学習方法を示す図である。

【図5】第１の実施形態に係る画像生成アルゴリズムの学習方法を示す図である。

【図6】第１の実施形態に係る画像生成部の処理フローを示す図である。

【図7】第１の実施形態に係る画像生成部の処理の詳細を示す図である。

【図8】第１の実施形態に係る画像生成部の処理の詳細を示す図である。

【発明を実施するための形態】

【0012】

＜第１の実施形態＞
以下、図１～図７を参照しながら、第１の実施形態に係る画像生成装置について詳しく説明する。

【0013】

（画像生成装置の構成）
図１は、第１の実施形態に係る画像生成装置の構成を示す図である。
図１に示す、第１の実施形態に係る画像生成装置１は、スクリーニングＡＩの学習のために必要な欠陥画像を疑似的に生成可能な装置である。

【0014】

本実施形態において、上記スクリーニングＡＩは、例えば航空機などに用いられる構造体に対する超音波検査画像を入力し、当該検査画像から欠陥を検出するＡＩである。また、本実施形態に係る画像生成装置１は、上記構造体の正常な部位の超音波検査画像に対し疑似的な欠陥を描画して、超音波検査による疑似欠陥画像を生成する装置である。

【0015】

図１に示すように、画像生成装置１は、ＣＰＵである画像生成部１０と、メモリ１１と、出力機器１２と、入力機器１３と、記録媒体１４とを備えている。

【0016】

画像生成部１０は、ＣＰＵが予め用意されたプログラムに従って動作することで実現される。画像生成部１０の処理内容については後述する。

【0017】

メモリ１１は、いわゆる主記憶装置であって、ＣＰＵ１０の動作に必要な記憶領域を提供する。

【0018】

出力機器１２は、いわゆる液晶ディスプレイモニタやスピーカ等である。

【0019】

入力機器１３は、マウスやキーボード、タッチセンサ等の入力機器である。

【0020】

記録媒体１４は、例えばＨＤＤやＳＳＤ等の大容量補助記憶装置である。本実施形態においては、事前に学習済みの画像生成アルゴリズムＡＲが記録されている。
画像生成アルゴリズムＡＲは、学習段階において、実際の欠陥が写された検査画像である欠陥画像と、その欠陥の種類および形状に対応するラベルが付されたラベル画像（後述）とのペアに基づいて学習された画像生成ＡＩである。前述の画像生成部１０は、この画像生成アルゴリズムＡＲを用いて、健全箇所の背景画像にラベルが付された画像生成用ラベル画像から、当該ラベルに対応する疑似欠陥を背景画像に描画して疑似欠陥画像を生成する。
本実施形態においては、画像生成アルゴリズムＡＲは、ＧＡＮ（Generative Adversarial Network）を利用した画像生成アルゴリズムであるｐｉｘ２ｐｉｘであるものとする。ｐｉｘ２ｐｉｘは、２つのペアとなる画像の関係性を学習することで、一方の画像からペアとなる他方の画像を生成することができる。
なお、他の実施形態においては、画像生成アルゴリズムＡＲは、ｐｉｘ２ｐｉｘに限られることはなく、同様の機能を有する他のアルゴリズムであってもよい。

【0021】

（構造体に対する検査の例）
図２は、第１の実施形態に係る検査の例を示す図である。
図２に示すように、本実施形態においては、検査対象となる構造体Ｘに対し、上下左右の各方向から超音波検査を行い、その検査画像を取得する。超音波検査では、１つの検査方向において、層方向（深さ方向）にも複数種類の画像が取得される。
前述のスクリーニングＡＩは、このようにして取得されたあらゆる検査画像に対し、適正に（検査員の判断と同レベルに）欠陥を検出することが求められる。

【0022】

（画像生成アルゴリズムの学習方法）
図３～図５は、第１の実施形態に係る画像生成アルゴリズムの学習方法を示す図である。
図３～図５を参照しながら、画像生成アルゴリズムＡＲに対する事前の学習方法について詳しく説明する。

【0023】

通常の検査員による検査では、検査対象となる構造体Ｘ（図２）に対応して、人工的に欠陥が形成された試験片（限度見本）が作成される。通常、この試験片には複数種類の欠陥が形成され、ここに形成された各欠陥は、検査員が、構造体Ｘに対して検出すべき欠陥の見本となる。

【0024】

本実施形態においては、この試験片の検査画像（検出すべき欠陥が写された検査画像）である欠陥画像ＰＤと、この欠陥画像ＰＤに対し欠陥の種類及び形状に対応するラベルを付したラベル画像ＰＬとのペアを用いて画像生成アルゴリズムＡＲを学習する。

【0025】

例えば、図３に示す例では、試験片における欠陥Ｄが写された欠陥画像ＰＤに対し、赤色のラベルＬｒが付されたラベル画像ＰＬが作成される。このラベルＬｒの色（赤）は、欠陥画像ＰＤに映されている欠陥Ｄの種類に対応して決定されている。また、ラベルＬｒの形状（縦長の形状）は、欠陥画像ＰＤに映されている欠陥Ｄの形状に対応して（同等の形状となるように）決定されている。
学習段階においては、このような欠陥画像ＰＤとラベル画像ＰＬとのペアを多数用意して、その対応関係を学習させる。

【0026】

図４は、欠陥の種類とラベルの色との対応関係の例を示している。
図４に示すように、種類（「内部が黒の欠陥」、「内部が白く縁取られた欠陥」、「境界が不明瞭な欠陥」、「内部がグレーの欠陥」）が異なる欠陥Ｄ１～Ｄ４ごとに、対応するラベル色（赤、青、黄、緑）が定められている。

【0027】

また、本実施形態においては、画像生成アルゴリズムＡＲの学習段階において、欠陥画像ＰＤの背景パターンも考慮して学習させる。
図５では、ある欠陥Ｄ１（ボイド／剥離）、欠陥Ｄ２（異物）それぞれの、背景パターン（Ａ、Ｂ、Ｃ）ごとの写り方を示している。図５に示すように、同じ種類の欠陥であっても、背景パターンごとに色合いが異なるような写り方をしている。
そこで、本実施形態においては、画像生成アルゴリズムＡＲを学習させる際に、欠陥画像ＰＤとラベル画像ＰＬとのペアを背景パターン（Ａ、Ｂ、Ｃ）で分類しながら学習させる。このようにすることで、画像生成アルゴリズムＡＲは、あるラベル色（例えば、青）に対応する疑似欠陥（例えば、欠陥Ｄ１）を背景画像に描画する際に、その背景画像の背景パターン（Ａ、Ｂ、Ｃ）にマッチした疑似欠陥を描画することができる。

【0028】

（画像生成部の処理フロー）
図６は、第１の実施形態に係る画像生成部の処理フローを示す図である。
また、図７、図８は、第１の実施形態に係る画像生成部の処理の詳細を示す図である。
以下、図６～図８を参照しながら、学習済みの画像生成アルゴリズムＡＲを用いた画像生成部１０の処理について詳しく説明する。

【0029】

まず、画像生成部１０は、画像生成用ラベル画像を取得する（ステップＳ０１）。ここで、画像生成用ラベル画像とは、欠陥のない背景画像に、加工により所望のラベルを付した画像である。
具体例として、図７に示す画像生成用ラベル画像ＰＩは、欠陥が写されていない背景画像ＢＧに対し、緑色のラベルＬｇ、赤色のラベルＬｒ１、Ｌｒ２、黄色のラベルＬｙが付されて作成されている。

【0030】

図６に戻り、次に、画像作成部１０は、ステップＳ０１で取得した画像生成用ラベル画像を画像生成アルゴリズムＡＲに入力する。画像生成アルゴリズムＡＲは、入力された画像生成用ラベル画像を読み取って、その画像内に存在するラベルの色、形状、濃度、背景パターンを取得する（ステップＳ０２）。

【0031】

続いて、画像生成アルゴリズムＡＲは、ラベルの色、形状、濃度、背景パターンに応じた疑似欠陥を描画する（ステップＳ０３）。そして、画像生成部１０は、ラベルに応じた疑似欠陥が描画された画像である疑似欠陥画像を出力する（ステップＳ０４）。

【0032】

図７に示す疑似欠陥画像ＰＦでは、画像生成用ラベル画像ＰＩのラベルＬｇのラベル色（緑）に対応して、「内部がグレーの欠陥」である疑似欠陥Ｆｇが描画されている。また、疑似欠陥画像ＰＦでは、画像生成用ラベル画像ＰＩのラベルＬｒ１、Ｌｒ２のラベル色（赤）に対応して、「内部が黒の欠陥」である疑似欠陥Ｆｒ１、Ｆｒ２が描画されている。更に、疑似欠陥画像ＰＦでは、画像生成用ラベル画像ＰＩのラベルＬｙのラベル色（黄）に対応して、「境界が不明瞭な欠陥」である疑似欠陥Ｆｙが描画されている。
また、疑似欠陥画像ＰＦでは、その背景画像ＢＧの背景パターンにマッチする色合いの疑似欠陥が描画されている。

【0033】

次に、図８を参照しながら、ラベルの輝度に応じて、異なる輝度の疑似欠陥を描画する機能について説明する。
本実施形態に係る画像生成アルゴリズムＡＲは、画像生成用ラベル画像ＰＩに付されたラベルの輝度に応じた輝度の疑似欠陥を描画する。具体的には、図８に示すように、ラベルの輝度を１０％～１００％に変化させた場合、そのラベルに応じて描画される疑似欠陥の輝度も１０％～１００％の範囲で調整される。これにより、画像生成用ラベル画像に付したラベル色の輝度により、疑似欠陥画像ＰＦに描画される疑似欠陥の輝度をコントロールすることができる。つまり、ユーザーは、ラベルのＲＧＢ値により、任意の疑似欠陥を生成することができる。

【0034】

（作用・効果）
以上の通り、第１の実施形態に係る画像生成装置１（画像生成部１０）は、画像生成用ラベル画像ＰＩに付されたラベルの色（例えば、「赤」、「青」、「黄」、「緑」）に対応する種類（例えば、「内部が黒の欠陥」、「内部が白く縁取られた欠陥」、「境界が不明瞭な欠陥」、「内部がグレーの欠陥」）の疑似欠陥を描画する。
このようにすることで、ユーザーがラベル色を選択してラベルを付すだけで、所望する種類の疑似欠陥が描画された疑似欠陥画像を生成させることができる。
したがって、多数の試験片を要することなく、複数種類の疑似欠陥画像を用することができるので、スクリーニングＡＩを効率よく学習させることができる。

【0035】

また、第１の実施形態に係る画像生成装置１（画像生成部１０）は、画像生成用ラベル画像ＰＩにおける背景画像のパターン（Ａ、Ｂ、Ｃ）とラベルとの組み合わせに対応する疑似欠陥を描画する。
このようにすることで、背景パターンごとに、背景画像にマッチした疑似欠陥を描画することができる。

【0036】

また、第１の実施形態に係る画像生成装置１（画像生成部１０）は、画像生成用ラベル画像ＰＩに付したラベルの輝度に対応して、輝度の異なる疑似欠陥を描画する。
このようにすることで、ＲＧＢ値の調整により、描画される疑似欠陥の輝度を所望にコントロールすることができる。

【0037】

なお、第１の実施形態（及び変形例）においては、上述した画像生成装置１の各種処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって上記各種処理が行われる。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

【0038】

上記プログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0039】

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

【0040】

＜付記＞
各実施形態に記載の画像生成装置１、画像生成方法およびプログラムは、例えば以下のように把握される。

【0041】

（１）第１の態様に係る画像生成装置（１）は、欠陥が写された検査画像である欠陥画像（ＰＤ）と、当該欠陥画像（ＰＤ）に欠陥の種類及び形状に対応するラベルが付されたラベル画像（ＰＬ）とに基づいて学習された画像生成アルゴリズム（ＡＲ）を用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像（ＰＩ）を入力し、画像生成用ラベル画像（ＰＩ）に付されたラベルに対応する疑似欠陥を背景画像に描画して疑似欠陥画像（ＰＦ）を生成する画像生成部（１０）、を備え、画像生成部（１０）は、ラベルの色に対応する種類の疑似欠陥を描画する。

【0042】

（２）第２の態様に係る画像生成装置（１）において、画像生成部（１０）は、背景画像のパターンとラベルとの組み合わせに対応する疑似欠陥を描画する。

【0043】

（３）第３の態様に係る画像生成装置（１）において、画像生成部（１０）は、ラベルの輝度に対応して、輝度の異なる疑似欠陥を描画する。

【0044】

（４）第４の態様に係る画像生成方法は、欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成するステップ、を有し、前記疑似欠陥画像を生成するステップでは、前記ラベルの色に対応する種類の疑似欠陥を描画する。

【0045】

（５）第５の態様に係るプログラムは、コンピュータに、欠陥が写された検査画像である欠陥画像と、当該欠陥画像に前記欠陥の種類及び形状に対応するラベルが付されたラベル画像とに基づいて学習された画像生成アルゴリズムを用いて、背景画像に所望のラベルを付して作成された画像生成用ラベル画像を入力し、前記画像生成用ラベル画像に付されたラベルに対応する疑似欠陥を前記背景画像に描画して疑似欠陥画像を生成するステップを実行させ、前記疑似欠陥画像を生成するステップでは、前記ラベルの色に対応する種類の疑似欠陥を描画する。

【産業上の利用可能性】

【0046】

上述の画像生成装置、画像生成方法およびプログラムによれば、検査画像から欠陥を検出するスクリーニングＡＩを効率よく学習させることができる。

【符号の説明】

【0047】

１ 画像生成装置
１０ 画像生成部
１１ メモリ
１２ 出力機器
１３ 入力機器
１４ 記録媒体
ＡＲ 画像生成アルゴリズム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】