特許 7083037 学習装置及び学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-01

(45)【発行日】2022-06-09

(54)【発明の名称】学習装置及び学習方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220602BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 19

(21)【出願番号】P 2020548221

(86)(22)【出願日】2019-08-28

(86)【国際出願番号】 JP2019033599

(87)【国際公開番号】W WO2020059446

(87)【国際公開日】2020-03-26

【審査請求日】2021-05-07

(31)【優先権主張番号】P 2018176317

(32)【優先日】2018-09-20

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(72)【発明者】

【氏名】大酒 正明

【審査官】佐藤 実

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０１０９８８１（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１０６６４５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、
入力画像から特徴マップを出力するニューラルネットワークと、
前記入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、
前記入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるパラメータ制御部と、
を備えた学習装置。

【請求項2】

前記第１画像に関連付けられた前記座標情報を元に前記第１マスクデータを作成するマスクデータ作成部を有し、
前記マスクデータ作成部は、前記第１画像を前記ニューラルネットワークに入力する前に、当該第１画像に対応する前記第１マスクデータを作成する請求項１に記載の学習装置。

【請求項3】

前記座標情報は、前記注目領域を含む四角領域を特定する情報であり、前記第１マスクデータは、前記四角領域をマスクしたマスクデータである請求項１又は２に記載の学習装置。

【請求項4】

前記四角領域内に前記四角領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記四角領域内かつ前記四角領域よりも小さい領域外は損失値の計算に含めない請求項３に記載の学習装置。

【請求項5】

前記四角領域内に前記四角領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記四角領域よりも小さい領域は損失値の計算に含めない請求項３に記載の学習装置。

【請求項6】

前記座標情報は、前記注目領域を含む楕円領域を特定する情報であり、前記第１マスクデータは、前記楕円領域をマスクしたマスクデータである請求項１又は２に記載の学習装置。

【請求項7】

前記楕円領域内に前記楕円領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記楕円領域内かつ前記楕円領域よりも小さい領域外は損失値の計算に含めない請求項６に記載の学習装置。

【請求項8】

前記楕円領域内に前記楕円領域よりも小さい領域を設定し、
前記第１損失値算出部は、前記楕円領域よりも小さい領域内は損失値の計算に含めない請求項６に記載の学習装置。

【請求項9】

前記第１損失値算出部は、前記第１画像よりもサイズが小さい前記第１特徴マップと前記第１画像よりもサイズが小さい前記第１マスクデータとを比較し、前記第１損失値を計算し、
前記第２損失値算出部は、前記第２画像よりもサイズが小さい前記第２特徴マップと前記第２画像よりもサイズが小さい前記第２マスクデータとを比較し、前記第２損失値を計算する請求項１から８のいずれか１項に記載の学習装置。

【請求項10】

学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、
入力画像から特徴マップを出力するニューラルネットワークと、
前記入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、
前記入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるパラメータ制御部と、
を備えた学習装置。

【請求項11】

前記第１マスクデータ及び前記第２マスクデータは、少なくとも１回はプーリング処理されたマスクデータである請求項１から１０のいずれか１項に記載の学習装置。

【請求項12】

前記ニューラルネットワークは、少なくとも１つのプーリング層を有し、
前記第１マスクデータ及び前記第２マスクデータは、前記プーリング層に対応するプーリング処理がされたマスクデータである請求項１１に記載の学習装置。

【請求項13】

前記第１画像セットには、ボケ又はブレを含む前記第１画像が存在する請求項１から１１のいずれか１項に記載の学習装置。

【請求項14】

前記第１画像セットを構成する前記第１画像及び前記第２画像セットを構成する前記第２画像は、それぞれ医用画像である請求項１から１２のいずれか１項に記載の学習装置。

【請求項15】

前記第１画像セットを構成する前記第１画像は、動画から抽出した画像である請求項１から１３のいずれか１項に記載の学習装置。

【請求項16】

前記第１画像セットを構成する前記第１画像及び前記第２画像セットを構成する前記第２画像は、それぞれ内視鏡装置で撮像された画像である請求項１から１５のいずれか１項に記載の学習装置。

【請求項17】

前記第２マスクデータは、前記第２画像に含まれる病変領域をマスクしたマスクデータである請求項１から１６のいずれか１項に記載の学習装置。

【請求項18】

学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、
ニューラルネットワークの入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算するステップと、
前記ニューラルネットワークの入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算するステップと、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるステップと、
を含む学習方法。

【請求項19】

学習用の第１画像と前記第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と前記第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、
ニューラルネットワークの入力画像として、前記第１画像を入力し、前記ニューラルネットワークから出力される第１特徴マップと前記第１画像に関連付けられた前記第１マスクデータとを比較し、第１損失値を計算するステップと、
前記ニューラルネットワークの入力画像として、前記第２画像を入力し、前記ニューラルネットワークから出力される第２特徴マップと前記第２画像に関連付けられた前記第２マスクデータとを比較し、第２損失値を計算するステップと、
前記第１損失値及び前記第２損失値に基づいて前記ニューラルネットワークのパラメータを更新させるステップと、
を含む学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は学習装置及び学習方法に係り、特に入力画像から所望の注目領域を識別するための技術に関する。

【背景技術】

【0002】

近年、機械学習の分野では、多層ニューラルネットワークを利用する深層学習が注目を集めている。深層学習によれば、ニューラルネットワークは多様な特徴表現を半自動的に獲得できるので、設計者は特徴量の抽出法を考案する必要が無い。特に画像の認識においては、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が注目されている（非特許文献１）。

【0003】

また、ＣＮＮを利用してピクセル単位で領域を分離する手法も知られている（非特許文献２）。

【0004】

ＣＮＮにおいて、入力画像内の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）するためには、入力画像の注目領域とそれ以外でピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータを作成し、これをＣＮＮに教師データとして与える必要がある。

【0005】

しかし、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で分類を行う学習は、学習時のパラメータ変動が大きく、過学習に陥りやすい。

【0006】

過学習とは、教師データに対しては学習されているが、教師データに合わせすぎる結果、未知データに対しては適合できていない状態（汎化できていない状態）をいう。

【0007】

この過学習の防止のためには大量の教師データが必要であるが、入力画像の注目領域とそれ以外でピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータを大量に作成する必要がある。

【0008】

従来、教師データを生成する装置が提案されている（特許文献１、２）。

【0009】

特許文献１に記載のデータ処理装置は、教師データを生成する対象となる物体の種別が何であるかを目視により判断し、手動でラベリングを行う代わりに、認識処理部により入力画像から物体の種別を自動的に認識し、その認識結果を入力画像に付加することで、教師データを生成している。

【0010】

また、特許文献２に記載の教師データ生成装置は、入力画像から抽出されたオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を記憶するデータベースと，このデータベースに記憶されている画像固有成分を変更して一又は複数種類の別の画像固有成分を生成する変更部と，この別の画像固有成分を用いて少なくとも部分的に入力画像に対応する再構成画像を生成し機械学習に適用する再構成部と、を備えている。

【先行技術文献】

【特許文献】

【0011】

【文献】特開２０１８－９６８３４号公報

【文献】特許第６３３００９２号公報

【非特許文献】

【0012】

【文献】A. Krizhevsky, I. Sutskever, and G. Hinton. ImageNet classification with deep convolutional neural networks. In NIPS, 2012

【文献】Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation. Computer Vision and Pattern Recognition. IEEE, 2015:34-3440.

【発明の概要】

【発明が解決しようとする課題】

【0013】

特許文献１に記載の発明は、物体のラベリングを自動化することができ、大量の教師データを用意するための労力を軽減することができるが、入力画像からピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）を行うための学習用の教師データを生成するものではない。

【0014】

また、特許文献２に記載の発明は、一の入力画像から様々なバリエーションの教師データを生成するものであり、特許文献１と同様にセグメンテーションを行うための学習用の教師データを生成するものではない。

【0015】

本発明はこのような事情に鑑みてなされたもので、教師データの作成が容易であり、かつ過学習を防止することができる学習装置及び学習方法を提供することを目的とする。

【課題を解決するための手段】

【0016】

上記目的を達成するために本発明の一の態様に係る学習装置は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、入力画像から特徴マップを出力するニューラルネットワークと、入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるパラメータ制御部と、を備える。

【0017】

本発明の一の態様によれば、第１画像セットの作成に当り、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報との関連付けを行うが、注目領域よりも広い領域を特定する座標情報の入力は、注目領域を特定する第２マスクデータを手動で入力する場合（例えば、注目領域をピクセル単位で塗りつぶす作業）に比べて簡単である。即ち、第１画像セットと第２画像セットとを学習データとすることで、第２画像セットのみを学習データとする場合に比べて、学習データ（特に教師データ）を準備するための労力を大幅に軽減することができる。また、注目領域よりも広い領域を特定する座標情報を元に作成した第１マスクデータは、第２マスクデータのように注目領域を正確に示すものではないため、第１マスクデータを使用した学習により、少ないデータ量の画像セットであっても過学習を防止することができ、更に第２マスクデータを使用した学習により、入力画像から注目領域を正確に認識できる学習が可能である。

【0018】

本発明の他の態様に係る学習装置において、第１画像に関連付けられた座標情報を元に第１マスクデータを作成するマスクデータ作成部を有し、マスクデータ作成部は、第１画像をニューラルネットワークに入力する前に、第１画像に対応する第１マスクデータを作成することが好ましい。

【0019】

本発明の更に他の態様に係る学習装置において、座標情報は、注目領域を含む四角領域を特定する情報であり、第１マスクデータは、四角領域をマスクしたマスクデータである。

【0020】

本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域内かつ四角領域よりも小さい領域外は損失値の計算に含めないことが好ましい。四角領域内かつ四角領域よりも小さい領域外（特に四角領域の隅の領域）は、背景領域（注目領域ではない領域）である場合が多いからである。

【0021】

本発明の更に他の態様に係る学習装置において、四角領域内に四角領域よりも小さい領域を設定し、第１損失値算出部は、四角領域よりも小さい領域内は損失値の計算に含めないことが好ましい。

【0022】

本発明の更に他の態様に係る学習装置において、座標情報は、注目領域を含む楕円領域を特定する情報であり、第１マスクデータは、楕円領域をマスクしたマスクデータである。

【0023】

本発明の更に他の態様に係る学習装置において、楕円領域内に楕円領域よりも小さい領域を設定し、第１損失値算出部は、楕円領域内かつ楕円領域よりも小さい領域外は損失値の計算に含めないことが好ましい。

【0024】

本発明の更に他の態様に係る学習装置において、楕円領域内に楕円領域よりも小さい領域を設定し、第１損失値算出部は、楕円領域よりも小さい領域内は損失値の計算に含めないことが好ましい。

【0025】

本発明の更に他の態様に係る学習装置において、第１損失値算出部は、第１画像よりもサイズが小さい第１特徴マップと第２画像よりもサイズが小さい第１マスクデータとを比較し、第１損失値を計算し、第２損失値算出部は、第２画像よりもサイズが小さい第２特徴マップと第２画像よりもサイズが小さい第２マスクデータとを比較し、第２損失値を計算することが好ましい。第１特徴マップ及び第２特徴マップのサイズは、プーリング処理等により元の第１画像及び第２画像のサイズよりも小さくなるが、第１画像及び第２画像と同じサイズに戻さなくても損失値の計算はできるからである。

【0026】

本発明の更に他の態様に係る学習装置は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを記憶する記憶部と、入力画像から特徴マップを出力するニューラルネットワークと、入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた第１マスクデータとを比較し、第１損失値を計算する第１損失値算出部と、入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算する第２損失値算出部と、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるパラメータ制御部と、を備える。

【0027】

本発明の更に他の態様に係る学習装置において、第１マスクデータ及び第２マスクデータは、少なくとも１回はプーリング処理されたマスクデータであることが好ましい。第１マスクデータ及び第２マスクデータのサイズを、第１特徴マップ及び第２特徴マップのサイズと合わせるためである。

【0028】

本発明の更に他の態様に係る学習装置において、ニューラルネットワークは、少なくとも１つのプーリング層を有し、第１マスクデータ及び第２マスクデータは、プーリング層に対応するプーリング処理がされたマスクデータであることが好ましい。

【0029】

本発明の更に他の態様に係る学習装置において、第１画像セットには、ボケ又はブレを含む第１画像が存在することが好ましい。ボケ又はブレを含む第１画像を使用することで、更に過学習を防止可能にする。

【0030】

本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像及び第２画像セットを構成する第２画像は、それぞれ医用画像であることが好ましい。医用画像には、内視鏡画像、Ｘ線画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像などが含まれる。

【0031】

本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像は、動画から抽出した画像であることが好ましい。第１画像を多数取得することができ、また、動画にはボケ又はブレを有する画像が含まれるからである。

【0032】

本発明の更に他の態様に係る学習装置において、第１画像セットを構成する第１画像及び第２画像セットを構成する第２画像は、それぞれ内視鏡装置で撮像された画像である。

【0033】

本発明の更に他の態様に係る学習装置において、第２マスクデータは、第２画像に含まれる病変領域をマスクしたマスクデータであることが好ましい。

【0034】

本発明の更に他の態様に係る学習方法は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、ニューラルネットワークの入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた座標情報を元に作成した第１マスクデータとを比較し、第１損失値を計算するステップと、ニューラルネットワークの入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算するステップと、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるステップと、を含む。

【0035】

本発明の更に他の態様に係る学習方法は、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する第１マスクデータとが関連付けられた第１画像セットと、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた第２画像セットとを準備するステップと、ニューラルネットワークの入力画像として、第１画像を入力し、ニューラルネットワークから出力される第１特徴マップと第１画像に関連付けられた第１マスクデータとを比較し、第１損失値を計算するステップと、ニューラルネットワークの入力画像として、第２画像を入力し、ニューラルネットワークから出力される第２特徴マップと第２画像に関連付けられた第２マスクデータとを比較し、第２損失値を計算するステップと、第１損失値及び第２損失値に基づいてニューラルネットワークのパラメータを更新させるステップと、を含む。

【発明の効果】

【0036】

本発明によれば、第１画像セット及び第２画像セットを学習データとすることで、第２画像の注目領域とそれ以外の領域とでピクセル単位、もしくはいくつかのピクセルを一塊にした単位でアノテーションを行ったマスクデータが付帯する第２画像セットを大量に作成する必要がなく、第２画像セットのみを学習データとする場合に比べて、学習データを準備するための労力を大幅に軽減することができ、かつ過学習を防止することができる。

【図面の簡単な説明】

【0037】

【図1】図１は、本発明に係る学習装置のハードウエア構成の一例を示すブロック図である。

【図2】図２は、第１データベース１４に記憶される第１画像セットの一例を示す図である。

【図3】図３は、内視鏡装置により撮像された画像（第１画像）及び四角領域Ｂを示す図である。

【図4】図４は、図２に示した座標情報から作成される第１マスクデータを説明するために用いた図である。

【図5】図５は、第２データベース１６に記憶される第２画像セットの一例を示す図である。

【図6】図６は、本発明に係る学習装置１０の実施形態を示すブロック図である。

【図7】図７は、内視鏡装置により撮像された画像（第１画像）及び楕円領域Ｅを示す図である。

【図8】図８は、第１マスクデータの他の実施形態を説明するために用いた図である。

【図9】図９は、第１マスクデータの更に他の実施形態を説明するために用いた図である。

【図10】図１０は、ＣＮＮでのプーリング処理を経る毎に入力画像のサイズに対して特徴マップのサイズが徐々に小さくなる様子を示す模式図である。

【図11】図１１は、本発明に係る画像学習方法の実施形態を示すフローチャートである。

【発明を実施するための形態】

【0038】

以下、添付図面に従って本発明に係る学習装置及び方法の好ましい実施形態について説明する。

【0039】

［学習装置のハードウエア構成］
図１は、本発明に係る学習装置のハードウエア構成の一例を示すブロック図である。

【0040】

図１に示す学習装置１０は、入力画像内の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）するための認識器として機能するための学習を行うものであり、パーソナルコンピュータ又はワークステーションにより構成することができる。

【0041】

本例の学習装置１０は、主として通信部１２と、大容量のストレージもしくは第１データベース１４、第２データベース１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。

【0042】

通信部１２は、有線又は無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行う部分である。

【0043】

記憶部として機能する第１データベース１４及び第２データベース１６は、それぞれ学習用の第１画像セット及び第２画像セットを記憶している。

【0044】

第１画像セットは、学習用の第１画像と第１画像に含まれる注目領域よりも広い領域を特定する座標情報とが関連付けられた学習データの集合であり、また、第２画像セットは、学習用の第２画像と第２画像に含まれる注目領域を特定する第２マスクデータとが関連付けられた学習データの集合である。

【0045】

図２は、第１データベース１４に記憶される第１画像セットの一例を示す図であり、学習装置１０の入力画像として、内視鏡装置で撮像された第１画像（医用画像）を使用する場合に関して示している。

【0046】

図２に示すように第１画像セットは、学習装置１０の学習時における入力画像である第１画像（図２の上段に示した画像）と、第１画像に対する教師データとして機能するマスクデータの作成に使用する座標情報（図２の下段に示した座標情報）とが対となって記憶された学習データの集合である。

【0047】

ここで、座標情報は、図３に示すように第１画像に含まれる病変領域等の注目領域Ａよりも広い四角領域Ｂを特定する座標情報である。本例の座標情報は、注目領域Ａを含む四角領域Ｂの左辺を示す座標（left=ｗ)、上辺を示す座標（top=ｘ）、右辺を示す座標（right=ｙ）、及び下辺を示す座標（bottom=ｚ）を有している。

【0048】

第１画像に関連付けられた座標情報は、図４の下段に示すマスクデータ（第１マスクデータ）を作成するために使用される。第１マスクデータは、注目領域を含む四角領域を、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位でマスクしたマスクデータであり、例えば、四角領域内のピクセルには、「１」を割り当て、背景領域（四角領域以外の領域）のピクセルには、「０」を割り当てることで２値の画像データとすることができる。

【0049】

第１画像に含まれる注目領域Ａよりも広い領域を特定する座標情報の入力は、例えば、第１画像を表示部２６に表示させ、ユーザが、操作部１８（マウス等のポインティングデバイス）を操作して、注目領域Ａを囲む矩形枠（図３参照）を表示部２６に表示させ、その矩形枠の位置及びサイズを確定させることで行うことできる。

【0050】

図５は、第２データベース１６に記憶される第２画像セットの一例を示す図であり、学習装置１０の入力画像として、内視鏡装置で撮像された第２画像（医用画像）を使用する場合に関して示している。

【0051】

図５に示すように第２画像セットは、学習装置１０の学習時における入力画像である第２画像（図５の上段に示した画像）と、第２画像に対する教師データとして機能するマスクデータ（図５の下段に示した第２マスクデータ）とが対となって記憶された学習データの集合である。

【0052】

第２マスクデータは、第２画像に含まれる注目領域（例えば、病変領域）をピクセル単位、もしくはいくつかのピクセルを一塊にした単位でマスクしたマスクデータである。

【0053】

第２画像に含まれる注目領域Ａを特定する第２マスクデータの作成は、例えば、第２画像を表示部２６に表示させ、ユーザが、操作部１８（マウス等のポインティングデバイス）を操作して、注目領域Ａの輪郭を、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で描画し、又は注目領域Ａをピクセル単位、もしくはいくつかのピクセルを一塊にした単位で塗り潰すことで行うことができる。

【0054】

ユーザによる座標情報の入力は、第２マスクデータの作成に比べて簡単である。したがって、第１データベース１４に記憶させる第１画像セットは、第２データベース１６に記憶させる第２画像セットに比べて容易に作成することができ、これにより大量の第２画像セットを準備する場合に比べてユーザの労力を大幅に軽減することができる。

【0055】

また、座標情報により作成される第１マスクデータは、注目領域をピクセル単位で正確に特定するものではないため、第１画像セットを使用する学習は、過学習に陥り難い利点がある。更に、過学習を防止するために、第１画像セットには、ボケ又はブレを含む第１画像が存在することが好ましい。

【0056】

更にまた、第１画像セットには、ボケ又はブレを含む第１画像が存在してもよいため、例えば、内視鏡スコープが移動中に撮像される動画から抽出した画像であってもよい。動画から第１画像を抽出することで、第１画像は、第２画像に比べて多く集めることができる。

【0057】

尚、本例では、第１データベース１４及び第２データベース１６は、学習装置１０が備えているが、外部に設けられたものでもよい。この場合、通信部１２を介して外部のデータベースから学習用の第１画像セット及び第２画像セットを取得することができる。

【0058】

操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、機械学習に当たって各種の操作入力を受け付ける。

【0059】

ＣＰＵ２０は、ＲＯＭ２４又は図示しないハードディスク装置等に記憶された各種のプログラム（機械学習に使用する学習用プログラムを含む）を読み出し、各種の処理を実行する。ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。

【0060】

表示部２６は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられ、操作部１８とともに、ユーザインターフェースの一部として使用される。

【0061】

上記構成の学習装置１０は、操作部１８により指示入力によりＣＰＵ２０が、ＲＯＭ２４やハードディスク装置等に記憶されている学習用プログラムを読み出し、学習用プログラムを実行することにより、後述するように学習装置として機能する。

【0062】

［学習装置の実施形態］
図６は、本発明に係る学習装置１０の実施形態を示すブロック図であり、図１に示した学習装置１０の主要な機能を示す機能ブロック図である。

【0063】

図６に示す学習装置１０は、第１データベース１４に保存された第１画像セットと、第２データベース１６に保存された第２画像セットとを用いて学習することにより、入力画像から注目領域の領域分類（セグメンテーション）を行う学習モデルを生成する。本例では、学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）を構築する。

【0064】

図６に示す学習装置１０は、主としてＣＮＮ３２と、損失値算出部３４と、パラメータ制御部３６と、マスクデータ作成部３８とから構成される。

【0065】

ＣＮＮ３２は、例えば、内視鏡装置で撮像された画像（医用画像）を入力画像とするとき、その入力画像に写っている病変領域等の注目領域を認識する認識器に対応する部分であり、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。

【0066】

ＣＮＮ３２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。

【0067】

このＣＮＮ３２は、入力層３２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層３２Ｂと、出力層３２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。

【0068】

入力層３２Ａには、学習対象である入力画像３１が入力される。

【0069】

中間層３２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層３２Ａから入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。

【0070】

尚、中間層３２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や活性化関数による活性化プロセス、正規化層も含まれ得る。

【0071】

出力層３２Ｃは、中間層３２Ｂにより抽出された特徴を示す特徴マップを出力する部分である。また、出力層３２Ｃは、学習済みＣＮＮ３２では、例えば、入力画像に写っている病変領域等の注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した認識結果を出力する。

【0072】

学習前のＣＮＮ３２の各畳み込み層に適用されるフィルタの係数やオフセット値は、任意の初期値がセットされる。

【0073】

第１損失値算出部及び第２損失値算出部として機能する損失値算出部３４は、ＣＮＮ３２の出力層３２Ｃから出力される特徴マップと、入力画像（第１画像又は第２画像）に対する教師データであるマスクデータ（第１マスクデータ又は第２マスクデータ）とを比較し、両者間の誤差（損失関数の値である損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。

【0074】

パラメータ制御部３６は、損失値算出部３４により算出された損失値（第１損失値、第２損失値）を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。

【0075】

このパラメータの調整処理を繰り返し行い、ＣＮＮ３２の出力と教師データであるマスクデータとの差が小さくなるまで繰り返し学習を行う。

【0076】

マスクデータ作成部３８は、第１データベース１４に保存された第１画像セットの中から学習に使用する１又は複数（１バッチ）の学習データを取得し、取得した学習データを用いて学習を行う場合、学習データを構成する第１画像をＣＮＮ３２に入力する前に、ＣＮＮ３２に入力する第１画像に関連付けられた座標情報３７を元に第１マスクデータを作成する。

【0077】

本例の座標情報３７は、図３に示すように注目領域Ａを含む四角領域の４辺（左辺、上辺、右辺、下辺）を示す座標情報であり、マスクデータ作成部３８は、これらの４辺の座標情報に基づいて四角領域をマスクした（四角領域と背景領域とを領域分類した）第１マスクデータを作成する。この第１マスクデータは、入力画像である第１画像に対する教師データである。尚、四角領域を特定するための座標情報は、四角領域の４辺を示す座標情報に限らず、例えば、四角領域の対角の２つの頂点を示す座標でもよい。

【0078】

上記構成の学習装置１０は、第１データベース１４に記憶された第１画像セットと、第２データベース１６に記憶された第２画像セットとを使用して学習を行うが、第１画像セットに含まれる学習データと、第２画像セットに含まれる学習データとを交互に使用し、又は適当に混在させて使用して学習する場合、あるいは最初に第１画像セットに含まれる学習データを使用して学習し、その後、第２画像セットに含まれる学習データを使用して学習する場合が考えられる。

【0079】

いま、ＣＮＮ３２が、第１データベース１４に記憶された第１画像セットに含まれる学習データに基づいて学習を行う場合、マスクデータ作成部３８は、第１データベース１４から取得した学習データを構成する第１画像を、入力画像３１としてＣＮＮ３２（入力層３２Ａ）に入力する前に、その第１画像に関連付けられた座標情報３７を元に第１マスクデータを作成し、これをマスクデータ３５とする。

【0080】

その後、第１画像をＣＮＮ３２に入力し、ＣＮＮ３２の出力層３２Ｃからの出力である特徴マップが、損失値算出部３４に加えられる。

【0081】

損失値算出部３４には、マスクデータ作成部３８により作成された第１マスクデータが加えられており、第１損失値算出部として機能する損失値算出部３４は、入力する特徴マップ（第１特徴マップ）と第１マスクデータとを比較し、損失値（第１損失値）を計算する。

【0082】

パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。

【0083】

次に、ＣＮＮ３２が、第２データベース１６に記憶された第２画像セットに含まれる学習データに基づいて学習を行う場合、第２データベース１６から取得した学習データを構成する第２画像を、入力画像３１としてＣＮＮ３２（入力層３２Ａ）に入力する。そして、ＣＮＮ３２の出力層３２Ｃからの出力である特徴マップが、損失値算出部３４に加えられる。

【0084】

損失値算出部３４には、ＣＮＮ３２に入力された第２画像に関連付けられた第２マスクデータが加えられており、第２損失値算出部として機能する損失値算出部３４は、入力する特徴マップ（第２特徴マップ）と第２マスクデータとに基づいて損失値（第２損失値）を算出する。

【0085】

パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整する。

【0086】

学習装置１０は、以上の第１画像セットの学習データを使用した学習と、第２画像セットの学習データを使用した学習とを繰り返すことで、ＣＮＮ３２が学習済みモデルとなり、未知の入力画像に対して注目領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類する認識結果を出力する。

【0087】

この学習装置１０によれば、学習データとして、第２画像セットだけでなく、第１画像セットを使用することで、大量の第２画像セットを使用しなくても過学習に陥ることがなく、大量の第２画像セットを使用する場合と同等の認識結果を出力する学習モデルを生成することができる。

【0088】

また、第１画像セットの学習データは、第１画像に含まれる注目領域よりも広い領域を特定する座標情報を指定することで作成することができ、画像に含まれる注目領域を特定するマスクデータ（第２マスクデータ）を教師データとして作成する必要がある、第２画像セットの学習データに比べて簡単に作成することができる。

【0089】

また、この学習装置１０は、第１画像と座標情報のセット（第１画像セット）を受け取るが、第１画像とマスクデータ（第１マスクデータ）のセットを受け取る構成としても良い。

【0090】

［第１画像セットの他の実施形態］
図２に示した第１画像セットの学習データは、第１画像に関連付けて、第１画像に含まれる注目領域Ａよりも広い四角領域を特定する座標情報を有するが、これに限らず、例えば注目領域よりも広い楕円領域を特定する座標情報でもよい。

【0091】

図７は、内視鏡装置により撮像された画像（第１画像）及び楕円領域Ｅを示す図である。楕円領域Ｅは、第１画像に含まれる注目領域Ａを含む領域であり、注目領域Ａよりも広い。

【0092】

楕円領域Ｅは、その長軸方向と注目領域Ａの最も長い方向と一致するように方向を決定することが好ましい。

【0093】

楕円領域Ｅを特定する座標情報としては、図７に示すように楕円領域Ｅの長軸の両端（ａ，ｂ）の座標情報、及び短軸の両端（ｃ，ｄ）の座標情報が考えられる。

【0094】

［第１マスクデータの他の実施形態］
図４に示した第１マスクデータは、図２に示した座標情報により特定される四角領域をマスクしたマスクデータであるが、四角領域内に四角領域よりも小さい領域を設定し、四角領域内かつ四角領域よりも小さい領域外の領域は、第１損失値算出部として機能する損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。

【0095】

図８に示すように注目領域Ａを含む四角領域Ｂ内に、四角領域Ｂよりも小さい領域Ｃを設定する。この領域Ｃも注目領域Ａを含む領域である。

【0096】

そして、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄ（図８上で、四角領域Ｂの四隅の領域）は、損失値算出部３４での損失値の計算に含めないようにする。

【0097】

例えば、四角領域Ｂよりも小さい領域Ｃ内のピクセルには、「１」を割り当て、背景領域（四角領域Ｂの外側の領域）のピクセルには、「０」を割り当て、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄのピクセルには、「－１」を割り当てることで、３値の画像データとすることができる。

【0098】

損失値算出部３４は、「－１」が割り当てられた領域Ｄ内のピクセルについては、損失値の計算に含めないようにする。

【0099】

尚、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃを、注目領域Ａを含む円領域又は楕円領域とする場合には、領域Ｃを特定する座標情報は、円領域又は楕円領域を示す情報とすることができ、また、四角領域Ｂの四隅をカットした八角形の領域とする場合には、八角形の領域を示す情報とすることができる。

【0100】

また、第１マスクデータとして、楕円領域Ｅをマスクするマスクデータの場合（図７）、図９に示すように楕円領域Ｅ内に楕円領域Ｅよりも小さい領域Ｆを設定する。そして、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外は、第１損失値算出部として機能する損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。

【0101】

例えば、楕円領域Ｅよりも小さい領域Ｆ内のピクセルには、「１」を割り当て、背景領域（楕円領域Ｅの外側の領域）のピクセルには、「０」を割り当て、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外の領域Ｇのピクセルには、「－１」を割り当てることで、３値の画像データとすることができる。

【0102】

損失値算出部３４は、「－１」が割り当てられた領域Ｇ内のピクセルについては、損失値の計算に含めないようにする。

【0103】

尚、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆを、注目領域Ａを含む他の楕円領域又は円領域とする場合には、領域Ｇを特定する座標情報は、他の楕円領域又は円領域を示す情報とすることができる。

【0104】

更に、図８を用いて説明した第１マスクデータは、四角領域Ｂよりも小さい領域Ｃと、四角領域Ｂの外側の領域と、四角領域Ｂ内かつ四角領域Ｂよりも小さい領域Ｃ外の領域Ｄとを領域分類するマスクデータであるが、第１マスクデータとして、四角領域Ｂ内に四角領域Ｂよりも小さい領域Ｃを設定し、四角領域Ｂよりも小さい領域Ｃは、損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。この場合、図８を用いて説明した第１マスクデータの「－１」が割り当てられた領域と、「１」が割り当てられた領域とが逆転することになる。

【0105】

同様に、図９を用いて説明した第１マスクデータは、楕円領域Ｅよりも小さい領域Ｆと、楕円領域Ｅの外側の領域（背景領域）と、楕円領域Ｅ内かつ楕円領域Ｅよりも小さい領域Ｆ外の領域Ｇとを領域分類するマスクデータであるが、第１マスクデータとして、楕円領域Ｅ内に楕円領域Ｅよりも小さい領域Ｆを設定し、楕円領域Ｅよりも小さい領域Ｆは、損失値算出部３４での損失値の計算に含めないマスクデータとすることができる。

【0106】

［学習装置の変形例］
本実施形態の学習装置１０は、ＣＮＮ３２の出力が、入力画像のサイズになるようにデコンボリューション処理や拡大処理を行うが、学習装置の変形例では、拡大処理等を行わず、１回以上のプーリング処理により入力画像のサイズよりも小さくなった特徴マップをそのまま出力する。

【0107】

図１０は、ＣＮＮでのプーリング処理を経る毎に入力画像のサイズに対して特徴マップのサイズが徐々に小さくなる様子を示す模式図である。

【0108】

学習装置の変形例では、ＣＮＮの出力層から出力される特徴マップ（入力画像のサイズになるように拡大処理されていない特徴マップ）と同じサイズの第１マスクデータ及び第２マスクデータを作成する。

【0109】

この場合、入力画像と同じサイズの第１マスクデータ、又は第２マスクデータに対して、ＣＮＮのプーリング処理と同じ処理（少なくとも１回のプーリング処理）を施すことで、ＣＮＮの出力層から出力される特徴マップと同じサイズの第１マスクデータ、又は第２マスクデータにすることができる。

【0110】

損失値算出部３４は、ＣＮＮから出力される拡大処理されていない特徴マップと、少なくとも１回のプーリング処理により縮小された第１マスクデータ、又は第２マスクデータとに基づいて損失値を算出することができる。

【0111】

［学習方法］
図１１は、本発明に係る画像学習方法の実施形態を示すフローチャートであり、図６に示した学習装置１０の各部の処理手順に関して示している。

【0112】

第１データベース１４及び第２データベース１６には、それぞれ学習用の第１画像セット及び第２画像セットが格納される（画像セットを準備するステップＳ１０）。

【0113】

第１画像セットの学習データを使用して学習する場合には、ステップＳ１２に遷移し、第２画像セットの学習データを使用して学習する場合には、ステップＳ２２に遷移する。尚、第１画像セットの学習データを使用するか、又は第２画像セットの学習データを使用するかは、予めプログラムにより決定されているものとする。

【0114】

ステップＳ１２では、第１画像セットから１又は１バッチの学習データを取得する。第１画像セットから取得した学習データには、学習時の入力画像となる第１画像と、教師データとなる第１マスクデータを作成するための座標情報とを含む（図２参照）。

【0115】

図６に示した学習装置１０のマスクデータ作成部３８は、ステップＳ１２で取得した座標情報を元に第１マスクデータを作成する（ステップＳ１３）。

【0116】

続いて、ステップＳ１２で取得した第１画像を、ＣＮＮ３２の入力画像３１として入力し、ＣＮＮ３２から出力される特徴マップを取得する（ステップＳ１４）。

【0117】

損失値算出部３４は、ステップＳ１４で取得した特徴マップとステップＳ１３で作成した第１マスクデータとを比較し、損失値（第１損失値）を計算する（ステップＳ１６）。

【0118】

パラメータ制御部３６は、損失値算出部３４により算出された第１損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整（更新）する（ステップＳ１８）。ステップＳ１４からステップＳ１８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。

【0119】

続いて、第１画像セット及び第２画像セットを使用した所望の学習が終了したか否かを判別し（ステップＳ２０）、終了していないと判別されると（「No」の場合）、ステップＳ１２又はステップＳ２２に遷移する。

【0120】

そして、第２画像セットの学習データを使用して学習する場合には、ステップＳ２２に進む。

【0121】

ステップＳ２２では、第２画像セットから１又は１バッチの学習データを取得する。第２画像セットから取得した学習データには、学習時の入力画像となる第２画像と、教師データとなる第２マスクデータとを含む（図５参照）。

【0122】

次に、ステップＳ２２で取得した第２画像を、ＣＮＮ３２の入力画像３１として入力し、ＣＮＮ３２から出力される特徴マップを取得する（ステップＳ２４）。

【0123】

損失値算出部３４は、ステップＳ２４で取得した特徴マップとステップＳ２２で取得した第２マスクデータとを比較し、損失値（第２損失値）を計算する（ステップＳ２６）。

【0124】

パラメータ制御部３６は、損失値算出部３４により算出された第２損失値を元に、誤差逆伝播法によりＣＮＮ３２の重みパラメータを調整（更新）する（ステップＳ２８）。ステップＳ２４からステップＳ２８の処理は、誤差が収束するまで実行し、パラメータの更新を繰り返す。

【0125】

その後、ステップＳ２０において、第１画像セット及び第２画像セットを使用した所望の学習が終了したと判別されると（「Yes」の場合）、本学習方法による処理が終了する。

【0126】

［その他］
本実施形態の学習装置１０の各種制御を実行するハードウエア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0127】

１つの制御部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウエア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0128】

また、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

【0129】

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

【符号の説明】

【0130】

１０ 学習装置
１２ 通信部
１４ 第１データベース
１６ 第２データベース
１８ 操作部
２０ ＣＰＵ
２２ ＲＡＭ
２４ ＲＯＭ
２６ 表示部
３１ 入力画像
３２Ａ 入力層
３２Ｂ 中間層
３２Ｃ 出力層
３４ 損失値算出部
３５ マスクデータ
３６ パラメータ制御部
３７ 座標情報
３８ マスクデータ作成部
Ｓ１０～Ｓ２８ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】