特開 2022-120734 学習データ生成装置、学習データ生成方法及び学習データ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022120734

(43)【公開日】2022-08-18

(54)【発明の名称】学習データ生成装置、学習データ生成方法及び学習データ生成プログラム

(51)【国際特許分類】

   G01N 23/04 20180101AFI20220810BHJP

   G06T 7/00 20170101ALI20220810BHJP

   G06T 1/00 20060101ALI20220810BHJP

   G01N 23/10 20180101ALN20220810BHJP

【ＦＩ】

G01N23/04

G06T7/00 350B

G06T1/00 500B

G01N23/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021017837

(22)【出願日】2021-02-05

(71)【出願人】

【識別番号】000202361

【氏名又は名称】綜合警備保障株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】井下田 吉男

(72)【発明者】

【氏名】田島 和博

(72)【発明者】

【氏名】岡崎 恵祐

【テーマコード（参考）】

2G001

5B057

5L096

【Ｆターム（参考）】

2G001AA01

2G001BA11

2G001CA01

2G001GA01

2G001HA07

2G001HA13

2G001KA06

2G001LA10

5B057CA01

5B057CA08

5B057CA12

5B057CB01

5B057CB08

5B057CB12

5B057CD02

5B057CD03

5B057CD05

5B057CE08

5B057CE17

5B057CH07

5B057DB02

5B057DB06

5B057DB09

5L096EA03

5L096EA15

5L096EA16

5L096HA11

5L096KA04

(57)【要約】

【課題】簡単に透過画像の学習データを生成可能とする。
【解決手段】取得部が、検出対象物の透過画像である検出対象画像、及び、検出対象物ではない物体の透過画像を取得し、表示形態変更部が、検出対象画像の検出対象物の表示形態を変更する。そして、合成処理部が、表示形態が変更された検出対象物の検出対象画像を、検出対象外画像に合成して学習データを生成する。これにより、表示形態変更部で検出対象画像の表示形態を変更して検出対象外画像と合成するだけで、様々なパターンの透過画像の学習データを生成することができる。
【選択図】図４

【特許請求の範囲】

【請求項1】

検出対象物の透過画像である検出対象画像、及び、検出対象物ではない物体の透過画像である検出対象外画像を取得する取得部と、
前記検出対象画像の前記検出対象物の表示形態を変更する表示形態変更部と、
表示形態が変更された前記検出対象物の前記検出対象画像を、前記検出対象外画像に合成して学習データを生成する合成処理部と、
を有する学習データ生成装置。

【請求項2】

前記表示形態変更部は、前記検出対象物の回転、移動、変形、拡大、縮小のうち、少なくとも一つの表示形態の変更処理が可能であること
を特徴とする請求項１に記載の学習データ生成装置。

【請求項3】

前記表示形態変更部は、前記検出対象物の色調を、指示された材質に対応する色調に変更処理すること
を特徴とする請求項１又は請求項２に記載の学習データ生成装置。

【請求項4】

前記表示形態変更部は、前記検出対象画像及び前記検出対象外画像に対して、所定の機種に対応するカラーマップを用いて輝度の調整処理を施すこと
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の学習データ生成装置。

【請求項5】

前記表示形態変更部は、合成処理部が出力する合成画像に対して、所定の機種に対応するカラーマップを用いて輝度の調整処理を施すこと
を特徴とする請求項１から請求項３のうち、いずれか一項に記載の学習データ生成装置。

【請求項6】

検出対象物の透過画像である検出対象画像、及び、検出対象物ではない物体の透過画像である検出対象外画像を取得する取得ステップと、
前記検出対象画像の前記検出対象物の表示形態を変更する表示形態変更ステップと、
表示形態が変更された前記検出対象物の前記検出対象画像を、前記検出対象外画像に合成して学習データを生成する合成処理ステップと、
を有する学習データ生成方法。

【請求項7】

コンピュータを、
検出対象物の透過画像である検出対象画像、及び、検出対象物ではない物体の透過画像である検出対象外画像を取得する取得部と、
前記検出対象画像の前記検出対象物の表示形態を変更する表示形態変更部と、
表示形態が変更された前記検出対象物の前記検出対象画像を、前記検出対象外画像に合成して学習データを生成する合成処理部として機能させること
を特徴とする学習データ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習データ生成装置、学習データ生成方法及び学習データ生成プログラムに関する。

【背景技術】

【0002】

今日において、例えば空港又は工場等で、荷物又は製造物等を開被又は破壊することなく、収納物又は内部構造等を視認可能な物体検査装置が知られている。このような物体検査装置では、特許文献１（特開平１１－２３０９１８号公報）に開示されているように、一例としてＸ線で撮像された透過画像が用いられる。

【0003】

透過画像は、検査を行う物体に照射したＸ線の減衰率（原子番号に応じて異なる）及び物体の密度に応じて着色される。また、収納物又は内部構造等を撮影して得た透過画像とこの透過画像に関する情報（撮影されている物体の種類や検出対象となる物体であるか否か等）を含む学習データが生成される。そして、物体検査装置は、多くの学習データを用いて学習し、検査時に撮像された透過画像で示される内容物又は内部構造等を判定して内容物等に応じて着色処理等を施した判定画像を表示する。検査員は、この判定画像に基づいて、荷物又は製造物等の内容物又は内部構造等を判断し、必要に応じて開被検査等を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１－２３０９１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、学習データを用いて学習した物体検査装置では、事前の学習結果をもとに内容物等が何であるかを判定する。したがって、正確な検査結果を得るためには、多くの学習データに基づく深層学習（ディープラーニング）が必要となる。しかし、透過画像の学習データは、一枚ずつ透過画像を撮像し、撮像した各透過画像に対してそれぞれ手作業でアノテーションを施す作業を経て生成される。このため、一枚の学習データの生成に多くの手間と時間を要し、いわゆる学習コストが高くなる問題があった。

【0006】

本発明は、上述の課題に鑑みてなされたものであり、簡単に透過画像の学習データを生成可能とした学習データ生成装置、学習データ生成方法及び学習データ生成プログラムの提供を目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明は、検出対象物の透過画像である検出対象画像、及び、検出対象物ではない物体の透過画像である検出対象外画像を取得する取得部と、検出対象画像の検出対象物の表示形態を変更する表示形態変更部と、表示形態が変更された検出対象物の検出対象画像を、検出対象外画像に合成して学習データを生成する合成処理部と、を有する。

【発明の効果】

【0008】

本発明によれば、簡単に透過画像の学習データを生成可能とすることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態となる物体検査装置の外観を示す図である。

【図2】図２は、実施の形態となる物体検査装置のハードウェア構成図である。

【図3】図３は、実施の形態となる物体検査装置の機能ブロック図である。

【図4】図４は、実施の形態となる物体検査装置における、教師画像データの生成動作の流れを示すフローチャートである。

【図5】図５は、検出対象画像及び検出対象外画像の一例を示す図である。

【図6】図６は、検出対象画像の回転、移動等の拡張処理を説明するための図である。

【図7】図７は、検出対象画像の色調変更処理を説明するための図である。

【図8】図８は、教師ラベル画像の生成処理を説明するための図である。

【図9】図９は、透過画像を考慮した透過合成処理による教師画像データの生成動作を説明するための図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の学習データ生成装置、学習データ生成方法及び学習データ生成プログラムを適用した実施の形態の物体検査装置を説明する。

【0011】

（外観構成）
図１は、実施の形態の物体検査装置１の外観を示す斜視図である。この図１に示すように、物体検査装置１は、本体１６、撮像物４の入口１６ａ及び撮像物４の出口１６ｂを有している。また，物体検査装置１は、モニタ装置１４を有している。本体１６は、入口１６ａから搬入された撮像物４が、ローラコンベア２２により出口１６ｂまで移動される間に、撮像物４に例えばＸ線を照射して透過画像を形成し、モニタ装置１４に表示する。

【0012】

ここで、この物体検査装置１の場合、検査等を行っていない物体非検査時に、例えば刃物等の検出対象である物体（検出対象物）の透過画像である検出対象画像、及び、手提げバッグ等の検出対象ではない物体の透過画像である検出対象外画像を撮像する。そして、検出対象画像に回転処理、移動処理及び色調変更処理等を施して検出対象外画像に合成した合成画像を生成する。そして、合成画像とこの合成画像に関する情報（撮影されているものの種類や検出対象物であるか否か等）を含む教師画像データを学習データとして記憶する。これにより、様々なパターンの多くの学習データを簡単かつ短時間で生成することができる。詳しくは後述する。

【0013】

物体検査装置１は、このようにして形成された学習データに基づいて、いわゆる深層学習（ディープラーニング）を行う。そして、物体検査時には、学習した結果に基づいて、透過画像で示される撮像物４内の検出対象である物体の有無等を判定し、この判定結果となる判定画像をモニタ装置１４に供給する。検査員は、モニタ表示される判定画像に基づいて、撮像物４内の検出対象である物体の有無等を判断し、必要に応じて開被検査等を行う。

【0014】

（物体検査装置のハードウェア構成）
図２は、物体検査装置１のハードウェア構成を示す図である。この図２に示すように、物体検査装置１は、撮像物４に対してＸ線を照射するＸ線源２１、入口１６ａから搬入された撮像物４を出口１６ｂまで移動させるローラコンベア２２を有している。また、物体検査装置１は、撮像物４を透過したＸ線を検出するＸ線検出器２３、Ｘ線検出器２３のＸ線検出出力に対応するＲＧＢフォーマットの透過画像（ＲＧＢ画像）を形成する演算処理部２４を有している。物体検査時には、透過画像（ＲＧＢ画像）は、上述のように検出対象である物体の有無の判定に用いられる。

【0015】

また、演算処理部２４は、物体非検査時において、検出対象画像のＲＧＢ画像に対して、回転処理、移動処理、変形処理及び色調変更処理の他、検出対象外画像との合成処理等の演算処理を施して合成画像を生成する。そして、合成画像とこの合成画像に関する情報（撮影されている物の種類や検出対象物であるか否か等）を含む教師画像データを生成する。記憶部２５は、このような教師画像データを学習データとして記憶する。また、記憶部２５には、このような教師画像データを生成するための学習データ生成プログラムが記憶されている。演算処理部２４は、記憶部２５に記憶されている学習データ生成プログラムに基づいて、教師画像の生成動作を行う。

【0016】

（機能構成）
図３は、物体非検査時において、演算処理部２４が、記憶部２５に記憶されている学習データ生成プログラムを実行することで実現される各機能の機能ブロック図である。この図３に示すように、演算処理部２４は、学習データ生成プログラムを実行することで、撮像制御部３１、記憶制御部３２、入力処理部３３、表示制御部３４、色調変更処理部３５、教師ラベル画像生成部３６及び透過合成処理部３７として機能する。なお、入力処理部３３、表示制御部３４及び色調変更処理部３５は、表示形態変更部の一例である。

【0017】

（教師画像データの生成動作）
図４は、物体非検査時において、演算処理部２４が学習データ生成プログラムを実行することで行われる教師画像データの生成動作の流れを示すフローチャートである。教師画像データを生成する場合、作業者は、例えば刃物等の検出対象物の透過画像（検出対象画像）を撮像すると共に、手提げバッグ等の検出対象物ではない物体の透過画像（検出対象外画像）を撮像する。撮像制御部３１は、取得部の一例であり、作業者に指定されたタイミングで、検出対象画像及び検出対象外画像を撮像するように、Ｘ線源２１、ローラコンベア２２及びＸ線検出器２３等を制御する。

【0018】

図５（ａ）は、検出対象画像の一例である。この図５（ａ）の例は、木製の柄に金属製の刃が固定された包丁の透過画像を示している。また、図５（ｂ）は、検出対象外画像の一例である。この図５（ｂ）の例は、携帯機器、小分け袋等が収納された手提げバッグの透過画像を示している。なお、検出対象外画像は、包丁等の検出対象物が収納されていない状態で撮像される。

【0019】

このような検出対象画像及び検出対象外画像の撮像が行われると、図４のフローチャートが開始となり、ステップＳ１から処理が進められる。ステップＳ１では、入力処理部３３が、クラスタリングにより、検出対象画像及び検出対象外画像のノイズ除去処理を行う。

【0020】

次に、検出対象画像に対して拡張処理が施される（ステップＳ２）。具体的には、作業者は、操作部を介して検出対象画像の回転、移動、拡大、縮小及び変形等を指示することで、検出対象画像に含まれる検出対象である物体の表示形態を変更する。入力処理部３３は、操作部を介して行われる回転及び移動等の指示を取得する。表示制御部３４は、入力処理部３３で取得された回転及び移動等の指示に対応して、モニタ装置１４に表示している検出対象画像を回転や移動させて表示する。さらに、変形が指示された場合は、検出対象画像に含まれる検出対象物の形状を変形させてモニタ装置１４に表示する。検出対象画像に拡大や縮小及び変形等の処理を施すことで、一つの検出対象画像をもとに同一素材で別形状の検出対象である物体の検出対象画像を生成できる。

【0021】

図６（ａ）は、図５（ａ）に示す検出対象画像を所定分回転させた例である。また、図６（ｂ）は、検出対象画像を所定分回転させると共に、表示位置を右上に移動させた例である。検出対象画像を回転又は移動等させることで、様々な姿勢、位置及び形状とした検出対象である物体の検出対象画像を、簡単かつ短時間で量産することができる。

【0022】

次に、ステップＳ３において、入力処理部３３は、例えばオープンソースのコンピュータ向けライブラリである「Ｏｐｅｎ ＣＶ（登録商標）（Open Source Computer Vision Library）」のスネークアルゴリズムに基づいて、検出対象画像から検出対象である物体の輪郭を抽出し、輪郭で囲まれた領域内の画素を検出対象である物体として抽出する。同様に、ステップＳ４では、入力処理部３３が、検出対象外画像から手提げバッグ等を抽出する。

【0023】

次に、作業者は、刃物等の検出対象である物体の色調（表示形態）を、操作部を介して変更指示する。一般に、物体検査装置は、材質に対応する色のマップ（カラーマップ）を有し、物体の原子番号によって異なるＸ線の減衰率をもとに材質を特定するとともに減衰率に応じて着色した透過画像を生成する。したがって、透過画像である検出対象画像は、実際に撮像した検出対象である物体の材質に対応する色となる。そこで、図５（ａ）に示す検出対象画像に写る検出対象である包丁について、作業者が、例えば検出対象である金属製の刃の部分をアルミニウム、鉄、セラミック等の異なる材質に変更するよう指示する。入力処理部３３は、操作部を介して指示された材質の情報を取得して色調変更処理部３５に供給する。

【0024】

色調変更処理部３５は、カラーマップをもとに入力処理部３３で取得された材質に対応する色調に、モニタ装置１４に表示している検出対象である物体の色を変更制御する（ステップＳ５）。図７（ａ）は、検出対象である物体（ここでは包丁の刃の部分）を該材質に対応する斜線で示す色調で示している。この斜線で示す色調の材質がアルミニウムであり、作業者により、セラミックへの変更が指示された場合、色調変更処理部３５は、図７（ｂ）に網掛けで示すように、セラミックに対応する色調に、検出対象である物体の色調を変更してモニタ表示する。これにより、異なる材質の検出対象物をそれぞれ購入して検出対象画像を撮像する手間、時間及びコストを大幅に削減できる。

【0025】

なお、カラーマップは物体検査装置毎に異なるため、色調変更処理部３５は、予め各機種に対応するカラーマップを有することで、他の物体検査装置で撮像した検出対象画像および検出対象外画像を所望の物体検査装置用のカラーマップに適応するよう検出対象画像および検出対象外画像の色を調整することで、他の物体検査装置にて撮像した検出対象画像や検出対象外画像により所望の物体検査装置に対応する検出対象画像や検出対象外画像を入手することができる。

【0026】

次に、ステップＳ６では、教師ラベル画像生成部３６が、図８に示すように、ステップＳ５で色を変更した検出対象画像に当該検出対象画像に関する情報を付した教師ラベル画像を生成する。記憶制御部３２は、この教師ラベル画像を記憶部２５に保存する。

【0027】

次に、ステップＳ７～ステップＳ１１において、透過合成処理部３７は、合成処理部の一例であり、透過画像の特徴を考慮して、検出対象画像及び検出対象外画像の透過合成処理を行う。

【0028】

一般的に、画像合成処理を行う場合、合成する各画像の輝度ｆ_１、ｆ_２に、各々係数α、１－αを乗算処理して最後にこれらを加算処理することで輝度ｇを算出する「アルファブレンディング」と呼ばれる合成手法が用いられることが多い。

【0029】

ｇ＝αｆ_１＋（１－α）ｆ_２

【0030】

しかし、透過画像を合成処理する場合、各物体の透過率を調整したうえで合成処理する必要がある。参考文献（特許第４４７１０３２号公報）に開示されている合成処理技術の場合、Ｘ線装置毎に異なる厚さｘの物体を撮影した時の輝度ｙを定式化し、複数種類のＸ線装置で撮影した結果から装置固有のパラメータを算出する。そして、この算出結果から、各Ｘ線装置で撮影した結果を正規化することで、それぞれ異なるＸ線装置で撮影した透過画像を合成可能としている。

【0031】

ｙ＝ａｅ^－ｂｘ （ａはＸ線装置に固有の係数、ｅ^－ｂｘは、Ｘ線透過率）

【0032】

例えば、厚さｘの板を２枚重ねたとき輝度ｙ_１２は、以下の数式で算出される。

【0033】

ｙ_１２＝ａｅ^－ｂｘｅ^－ｂｘ

【0034】

ここで、同じ機種のＸ線装置の透過画像を合成する場合、参考文献（特許第４４７１０３２号公報）に開示されている合成処理技術のように、透過率を厳密に求める必要はない。このため、実施の形態の物体検査装置１の場合、以下に説明するように簡易的な合成処理を行っている。

【0035】

すなわち、上述のアルファブレンドで発生する輝度値算出時のオーバーフローを抑制するために、透過合成処理部３７は、合成するＮ枚の画像のうちｎ枚目の合成する画素位置ｉ、ｊの輝度をＩｎとしたとき、各画素を合成する前に、予め輝度の最大値ＩｍａｘからＩｎを減算処理し、輝度を反転させてから（ステップＳ７）、検出対象画像及び検出対象外画像を合成処理して合成画像を形成する（ステップＳ８）。

【0036】

次に、透過合成処理部３７は、当該合成画像を用いて深層学習を行う物体検査装置のカラーマップに対応する最大値以下となるように、合成画像の輝度を調整処理（上限処理）する（ステップＳ９）。

【0037】

次に、透過合成処理部３７は、輝度の最大値Ｉｍａｘを再び減算処理して輝度をネガ反転させて戻すことで、合成後の輝度ｇ（ｉ，ｊ）とした合成画像を生成して出力する（ステップＳ１０、ステップＳ１１）。図９（ａ）及び図９（ｂ）は、このようにして生成された合成画像の一例である。この図９（ａ）及び図９（ｂ）に示すように、検出対象画像を回転させ、また、位置を移動させて検出対象外画像と合成することで、簡単に多くのパターンの合成画像を形成できる。なお、図９（ａ）は、検出対象ではない手提げバッグのほぼ中央に、検出対象である包丁が収納されている状態の合成画像である。また、図９（ｂ）は、検出対象外の手提げバッグの右上から、検出対象である包丁が突出している状態の合成画像である。

【0038】

記憶制御部３２は、生成された合成画像に当該合成画像に関する情報を付した教師画像データを学習データとして記憶部２５に記憶制御する。これにより、図４のフローチャートに示す教師画像データの生成動作が終了する。

【0039】

このような合成処理は、以下の数式で表すことができる。

【0040】

【数1】

【0041】

この数式において、「Ｉｍａｘ－Ｉｎ（ｉ，ｊ）」は、上述の輝度の反転処理（ネガ反
転）に相当する演算である。また、ｍｉｎ（Σ）の演算は、合成処理に相当する演算である。また、Ｉｍａｘ－ｍｉｎ（Σ）の演算は、ステップＳ１０におけるネガ反転処理に相当する演算である。

【0042】

（実施の形態の効果）
以上の説明から明らかなように、実施の形態の物体検査装置１は、Ｘ線等の放射線による透過画像である検出対象画像及び検出対象外画像を用意し、検出対象画像に対して回転、移動、変形等の拡張処理を施すことで、検出対象画像の姿勢、位置、大きさ等を調整する。そして、このように調整した検出対象画像を検出対象外画像と合成して教師画像データを形成する。これにより、検出対象画像の姿勢、位置、大きさ等を変更することで、様々なパターンの検出対象画像を生成することができ、これを検出対象外画像と合成することで、様々なパターンの多くの合成画像（教師画像）を、簡単かつ短時間に生成できる。このため、学習コストを低く抑えることができ、また、学習精度の向上を図ることができる。

【0043】

また、検出対象画像及び検出対象外画像を合成する際、検出対象画像及び検出対象外画像をネガ反転処理したうえで合成処理している。これにより、検出対象画像及び検出対象外画像であるＲＧＢ画像の合成処理により、白レベルが飽和する不都合を防止できる。

【0044】

さらに、合成処理により形成した合成画像に対して、教師画像で深層学習を行う物体検査装置のカラーマップに対応する最大値以下となるように、合成画像の輝度を調整処理する（上限処理）。物体検査装置毎にカラーマップは異なるため、所望の物体検査装置用のカラーマップを用いて合成画像の輝度を調整することで、所望の物体検査装置に対応する（各機種に対応する）教師画像を形成することができる。

【0045】

最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。

【0046】

例えば、上述の実施の形態では、二次元画像を合成処理することとしたが、三次元画像を合成してもよい。

【0047】

また、上述の実施の形態では、学習データの生成処理を物体検査装置自体に設けた場合を例に説明したが、物体検査装置から得た透過画像を外部装置へ出力し、学習データの生成処理を外部装置にて行うようにしてもよい。

【0048】

さらに、上記実施の形態では、学習データの生成処理を、Ｘ線を照射して得た透過画像を例に説明したが、これに限らず、ミリ波や電波等を用いて得られる透過画像をもとに行うようにしてもよい。

【0049】

加えて、上記実施の形態では、色調変更処理部３５は、合成処理を行う前の検出対象画像および検出対象外画像に対して所望の物体検査装置用のカラーマップを用いて色を調整する旨記載しているが、これに限らず、合成処理により形成した教師画像データとして記憶する合成画像に対して行うようにしてもよい。

【0050】

また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0051】

１ 物体検査装置
４ 撮像物
１４ モニタ装置
１６ 物体検査装置の本体
１６ａ 撮像物の入口
１６ｂ 撮像物の出口
２１ Ｘ線源
２２ ローラコンベア
２３ Ｘ線検出器
２４ 演算処理部
２５ 記憶部
３１ 撮像制御部
３２ 記憶制御部
３３ 入力処理部
３４ 表示制御部
３５ 色調変更処理部
３６ 教師ラベル画像生成部
３７ 透過合成処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】