特許 7497145 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-31

(45)【発行日】2024-06-10

(54)【発明の名称】機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240603BHJP

   G06T 7/00 20170101ALI20240603BHJP

   G06N 20/00 20190101ALI20240603BHJP

【ＦＩ】

A61B6/00 550Z

G06T7/00 350C

G06T7/00 612

G06N20/00 130

A61B6/00 560

【請求項の数】 22

(21)【出願番号】P 2019158927

(22)【出願日】2019-08-30

(65)【公開番号】P2021036969

(43)【公開日】2021-03-11

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小林 剛

【審査官】蔵田 真彦

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００６５８８４（ＵＳ，Ａ１）

【文献】特開平０４－２６１６４９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１０７９２８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１９０３７７（ＵＳ，Ａ１）

【文献】DO et al.，Knee Bone Tumor Segmentation from radiographs using Seg-Unet with Dice Loss，ResearchGate，2019年02月25日，[online], [2023年09月27日検索], <URL: https://www.researchgate.net/publication/331318041_Knee_Bone_Tumor_Segmentation_from_radiographs_using_Seg-Unet_with_Dice_Loss>

【文献】Keras ImageDataGenerator with center crop for rotation and translation shift，stack overflow，2019年05月22日，[online], [2023年09月27日検索], <https://stackoverflow.com/questions/56254393/keras-imagedatagenerator-with-center-crop-for-rotation-and-translation-shift>，<https://web.archive.org/web/20190523093603/https://stackoverflow.com/questions/56254393/keras-imagedatagenerator-with-center-crop-for-rotation-and-translation-shift>

【文献】JANG et al.，Estimating Compressive Strength of Concrete Using Deep Convolutional Neural Networks with Digital Microscope Images，ResearchGate，2019年05月08日，[online], [2023年09月27日検索], <URL: https://www.researchgate.net/publication/331730377_Estimating_Compressive_Strength_of_Concrete_Using_Deep_Convolutional_Neural_Networks_with_Digital_Microscope_Images>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ６／００－６／５８

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

入力画像から領域を抽出する機械学習装置であって、
前記入力画像に対する推論処理により前記領域を出力する推論手段と、
教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張手段と、を備え、
前記拡張手段は、
前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し、
前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
前記変換画像に含まれる、前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする機械学習装置。

【請求項2】

前記教師データは、前記入力画像と、前記入力画像に対応し抽出領域を示す正解データとの組により構成されることを特徴とする請求項１に記載の機械学習装置。

【請求項3】

前記拡張手段は、前記教師データに対して、アフィン変換処理と、切り出し処理と、信号量調整処理のうち少なくとも１つ以上の拡張処理により前記データ拡張を行い、
前記拡張手段は、前記入力画像と前記正解データとに対して同じ拡張処理を行うことを特徴とする請求項２に記載の機械学習装置。

【請求項4】

前記拡張手段は、前記教師データを構成する前記入力画像の一部を切り出した切り出し画像の生成により前記データ拡張を行い、
前記切り出し画像に、前記画像情報が欠損した領域が含まれないように、前記切り出し画像を取得する範囲を制限することを特徴とする請求項３に記載の機械学習装置。

【請求項5】

前記拡張手段は、前記入力画像において切り出し可能領域を設定し、前記切り出し画像を取得する範囲を制限することを特徴とする請求項４に記載の機械学習装置。

【請求項6】

前記拡張手段は、前記教師データを構成する前記入力画像をアフィン変換した変換画像の一部を切り出した切り出し画像の生成により前記データ拡張を行い、
前記切り出し画像に、前記画像情報が欠損した領域が含まれないように、前記切り出し画像を取得する範囲を制限することを特徴とする請求項３に記載の機械学習装置。

【請求項7】

前記拡張手段は、前記変換画像において切り出し可能領域を設定し、前記切り出し画像を取得する範囲を制限することを特徴とする請求項６に記載の機械学習装置。

【請求項8】

前記拡張手段は、前記アフィン変換における前記入力画像の回転角度に応じて前記切り出し可能領域を設定する請求項７に記載の機械学習装置。

【請求項9】

前記拡張手段は、前記アフィン変換における前記入力画像の回転角度に応じて前記入力画像の拡大率を示すパラメータを設定することを特徴とする請求項６乃至８のいずれか１項に記載の機械学習装置。

【請求項10】

前記拡張手段は、前記アフィン変換により前記入力画像の一部が欠落しないように前記回転角度、及び前記入力画像の拡大率を示すパラメータを設定することを特徴とする請求項９に記載の機械学習装置。

【請求項11】

前記拡張手段は、前記信号量調整処理として、前記切り出し画像に対して任意の係数による乗算と任意の係数による加算とを行うことを特徴とする請求項４乃至１０のいずれか１項に記載の機械学習装置。

【請求項12】

前記正解データは、前記入力画像における抽出領域を任意の値でラベリングしたラベリング画像であることを特徴とする請求項２乃至１１のうちいずれか１項に記載の機械学習装置。

【請求項13】

前記正解データは、前記入力画像における抽出領域を座標で示した座標データであることを特徴とする請求項２乃至１１のうちいずれか１項に記載の機械学習装置。

【請求項14】

前記正解データは、前記入力画像における抽出領域の境界を直線または曲線で特定したデータであることを特徴とする請求項２乃至１１のうちいずれか１項に記載の機械学習装置。

【請求項15】

前記推論手段は、前記学習に基づいて取得された学習済みパラメータに基づいて、前記推論処理を行うことを特徴とする請求項１乃至１４のいずれか１項に記載の機械学習装置。

【請求項16】

前記機械学習装置は、畳み込みニューラルネットワークを用いた教師あり学習に基づいて前記入力画像から前記領域を抽出することを特徴とする請求項１乃至１５のいずれか１項に記載の機械学習装置。

【請求項17】

前記入力画像は、放射線撮影システムを用いて撮影された画像であり、
前記領域は、前記放射線撮影システムにより放射線が照射された照射野領域であることを特徴とする請求項１乃至１６のいずれか１項に記載の機械学習装置。

【請求項18】

前記推論手段は、ユーザーの使用環境において、前記放射線撮影システムを用いて撮影された画像と、前記画像に対応する照射野領域のデータとの組を教師データとして追加された学習の結果と、事前に行われた学習の結果とに基づいて前記推論処理を行うことを特徴とする請求項１７に記載の機械学習装置。

【請求項19】

入力画像に対する推論処理により領域を出力する推論手段を有し、前記入力画像から領域を抽出する機械学習装置における機械学習方法であって、
教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張工程を有し、
前記拡張工程では、
前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し、
前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
前記変換画像に含まれる、前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする機械学習方法。

【請求項20】

コンピュータに、請求項１９に記載の機械学習方法の工程を実行させるプログラム。

【請求項21】

請求項１に記載の機械学習装置を用いて学習することにより得たパラメータを用いて入力画像から領域を抽出する処理を行う推論部を備える情報処理装置。

【請求項22】

請求項２１に記載の情報処理装置と、
前記情報処理装置と通信可能に接続された、放射線を検出する放射線検出装置と、
を備える放射線撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置、機械学習方法及びプログラムに関し、特に、学習時に適切に教師データの拡張を行うことができる機械学習技術、情報処理装置、放射線撮影システムに関するものである。

【背景技術】

【0002】

近年、機械学習を利用して画像上で物体認識を行い、対象物の位置を検出する技術が普及している。特に、畳み込みニューラルネットワーク（以後、「ＣＮＮ」と呼称する）を用いて教師あり学習を行う構成は、大量の教師データを必要とするものの、その性能の高さから多くの分野への展開を見せている状況にある。

【0003】

応用分野の一つとして、医用画像における領域抽出処理が挙げられる。医用の放射線撮影装置においては、診断に必要な関心領域（以後、「照射野領域」と呼称する）以外への放射線の影響を抑えるため、コリメータを用いて照射野絞りを行って、照射野領域以外への放射線照射を防ぐのが一般的である。照射野領域に対して画像処理を施すために、画像中の照射野領域を正確に抽出する技術が重要視されており、例えば特許文献１には、機械学習を利用した各種の技術が提案されている。

【0004】

ここで、機械学習を用いた画像処理は、教師データの質と量がその性能に直結する特徴を持つため、大量の教師データを学習に使用することが望ましい。しかしながら、医用画像など入手性が必ずしも高くないものにおいては、十分な教師データを確保できないことも多い。

【0005】

そのため、所有している教師データに対し、人工的に変形を加えることで画像のバリエーションを増やすデータ拡張技術が提案されている。例えば、特許文献２では、画像を回転することでデータ拡張を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開平０４－２６１６４９号公報

【文献】特開２０１７－１８５００７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献２の技術では、画像を複数角度で回転させてデータ拡張を行うものであるが、単純に画像を回転させた場合、回転後の画像には、画像情報（画像信号）が欠損した領域が含まれる場合がある。画像情報が欠損した領域には、ゼロなどの任意の値を代入することが一般的である。

【0008】

上述の医用の放射線撮影装置のケースを考えると、照射野領域以外の領域は、コリメータによって放射線が遮蔽されているため、画像情報が少ないか、ほとんどゼロとなる特徴を持つ。つまり、照射野領域を認識する場合、入力画像に由来する画像情報が少ないこと、そのものが学習すべき特徴の一つであるため、データ拡張によって画像情報を一律にゼロなどの任意の値とするような領域を新たに作ってしまうと、学習を行えなくなり、データ拡張によって逆に精度が低下してしまう場合が生じ得る。

【0009】

本発明は、上記の課題を鑑みてなされたものであり、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術の提供を目的とする。

【課題を解決するための手段】

【0010】

本発明の一態様に係る機械学習装置は、入力画像から領域を抽出する機械学習装置であって、
前記入力画像に対する推論処理により前記領域を出力する推論手段と、
教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張手段と、を備え、
前記拡張手段は、
前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し、
前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
前記変換画像に含まれる、前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする。

【0011】

本発明の他の態様に係る機械学習方法は、入力画像に対する推論処理により領域を出力する推論手段を有し、前記入力画像から領域を抽出する機械学習装置における機械学習方法であって、
教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張工程を有し、
前記拡張工程では、
前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し、
前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
前記変換画像に含まれる、前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする。

【発明の効果】

【0012】

本発明によれば、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術を提供することができる。

【図面の簡単な説明】

【0013】

【図1】（ａ）は、実施形態に係る機械学習装置を含んだ放射線撮影システムの基本的な構成の例を示すブロック図、（ｂ）は、学習部の構成の例を示すブロック図。

【図2】（ａ）は、学習部の処理の流れを示したフローチャート、（ｂ）は、学習部の学習の概念を模式的に示した図。

【図3A】データ拡張部の処理の流れを示したフローチャート。

【図3B】データ拡張処理における画像例を模式的に示した図

【図3C】データ拡張処理における画像例を模式的に示した図。

【図4】推論部における推論の概念を示した模式図。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して、本発明の実施形態について説明する。まず、図１を用いて、本発明の実施形態に係る機械学習装置の構成例について説明する。図１（ａ）は、実施形態に係る機械学習装置を含んだ放射線撮影システムの基本的な構成の例を示すブロック図である。また、図１（ｂ）は、学習部の構成の例を示すブロック図である。

【0015】

放射線撮影システム１００は、放射線を発生させる放射線発生装置１０１と、被写体１０２を配置する寝台１０３と、放射線を検出し、被写体１０２を通過した放射線に応じた画像データを出力する放射線検出装置１０４と、放射線発生装置１０１の放射線発生タイミングと放射線発生条件を制御する制御装置１０５と、各種デジタルデータを収集するデータ収集装置１０６と、ユーザーの指示に従って画像処理や機器全体の制御を行う情報処理装置１０７とを備える。尚、放射線撮影システム１００の構成を放射線撮影装置ということもある。

【0016】

情報処理装置１０７は、学習部１０９と推論部１１０とを含む機械学習装置１０８と、ＣＰＵ１１２と、メモリ１１３と、操作パネル１１４と、記憶装置１１５と、表示装置１１６と、診断用画像処理装置１１７を備えており、これらはＣＰＵバス１１１を介して電気的に接続されている。

【0017】

メモリ１１３には、ＣＰＵ１１２での処理に必要な各種のデータなどが記憶されるとともに、メモリ１１３はＣＰＵ１１２の作業用ワークメモリを含む。また、ＣＰＵ１１２は、メモリ１１３を用いて、操作パネル１１４に入力されるユーザーの指示に従い、装置全体の動作制御などを行うように構成されている。

【0018】

本発明の実施形態において放射線とは、一般的に用いられるＸ線に限らず、放射性崩壊によって放出される粒子（光子を含む）の作るビームであるα線、β線、及びγ線などの他、同程度以上のエネルギーを有するビーム（例えば、粒子線や宇宙線など）も含まれる。

【0019】

放射線撮影システム１００は、操作パネル１１４を介したユーザーの指示に従って、被写体１０２の撮影シーケンスを開始する。放射線発生装置１０１から所定の条件の放射線が発生し、被写体１０２を通過した放射線が放射線検出装置１０４に照射される。ここで、制御装置１０５は、電圧、電流、及び照射時間などの放射線発生条件に基づいて放射線発生装置１０１を制御し、所定の条件で放射線発生装置１０１から放射線を発生させる。

【0020】

放射線検出装置１０４は、被写体１０２を通過した放射線を検出し、検出した放射線を電気信号に変換し、放射線に応じた画像データとして出力する。放射線検出装置１０４から出力された画像データは、データ収集装置１０６によりデジタルの画像データとして収集される。データ収集装置１０６は放射線検出装置１０４から収集した画像データを情報処理装置１０７に転送する。情報処理装置１０７において、画像データはＣＰＵ１１２の制御によりＣＰＵバス１１１を介してメモリ１１３に転送される。

【0021】

放射線撮影システム１００において、機械学習装置１０８は、メモリ１１３に格納された画像データに対して領域抽出処理を行い、入力画像から領域を抽出する。ここで、入力画像は、放射線撮影システム１００を用いて撮影された画像であり、領域は、放射線撮影システム１００により放射線が照射された照射野領域である。機械学習装置１０８は、領域抽出処理として、例えば、放射線撮影された画像中の照射野領域を抽出する照射野認識処理を行うことが可能である。ここで、照射野認識処理は、後述するようにコリメータ領域と照射野領域とを分類する処理である。以下の説明では、機械学習装置１０８が、領域抽出処理として、照射野認識処理を行う場合の例について説明する。

【0022】

機械学習装置１０８は、機械学習を利用した領域抽出処理を行うように構成されており、機械学習装置１０８は学習部１０９と推論部１１０とを有する。また、学習部１０９は、図１（ｂ）に示すように、機能構成として、データ拡張部１２０、推論部１２１、パラメータ更新部１２２、終了判定部１２３を有する。ここで、推論部１２１は学習途中の推論部であり、学習が終了すると学習終了済の推論部として推論部１１０が機械学習装置１０８内に設定される。

【0023】

機械学習装置１０８の処理としては、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を用いた教師あり学習に基づいて入力画像から領域を抽出する。機械学習装置１０８は、領域抽出処理を行うにあたり、予め用意した複数の教師データを用い、学習部１０９は教師あり学習を行ってＣＮＮのパラメータを決定する。領域抽出処理を行う際に、推論部１１０は、学習部１０９により決定されたパラメータを有したＣＮＮを適用して領域抽出処理を行い、領域抽出結果をメモリ１１３に転送する。

【0024】

領域抽出結果と、画像データは診断用画像処理装置１１７に転送され、診断用画像処理装置１１７は、画像データに対して、階調処理や強調処理、ノイズ低減処理などの診断用画像処理を適用し、診断に適した画像作成を行う。その結果は記憶装置１１５へ保存され、表示装置１１６へ表示される。

【0025】

次に、図２を用いて、機械学習装置１０８における学習部１０９の処理について、畳み込みニューラルネットワーク（ＣＮＮ）を用いた場合を例として説明する。図２（ａ）は、学習部１０９の処理の流れを示したフローチャートであり、図２（ｂ）は、学習部１０９の学習の概念を模式的に示した図である。

【0026】

学習は、教師データに基づいて行われる。教師データは、入力画像２０１と、入力画像２０１に対応し、抽出領域を示す正解データ２０５との組により構成される。正解データ２０５としては、例えば、入力画像における所定領域（抽出領域）を任意の値でラベリングしたラベリング画像を用いることが可能である。また、正解データ２０５としては、例えば、入力画像における抽出領域を座標で示した座標データを用いることが可能である。あるいは、正解データ２０５としては、例えば、入力画像における抽出領域の境界を直線または曲線で特定したデータを用いることが可能である。照射野認識処理においては、例えば正解データ２０５として、入力画像２０１における照射野領域を１、コリメータ領域を０とした２値のラベリング画像を用いることが可能である。

【0027】

ステップＳ２０１において、データ拡張部１２０は教師データに対してデータ拡張処理を適用する。このデータ拡張処理の詳細については後述する。

【0028】

ステップＳ２０２において、推論部１２１は入力画像２０１に対して、学習途中の畳み込みニューラルネットワーク（ＣＮＮ）２０２のパラメータによる推論処理を行い、推論結果２０４を出力する。推論部１２１は入力画像に対する推論処理により領域を出力する。ここで、ＣＮＮ２０２は、多数の処理ユニット２０３が任意に接続された構造を有する。処理ユニット２０３のとしては、例えば、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数等のように順番に処理を行う組が３～数百程度の層状に接続され、さまざまな構造を取ることができる。

【0029】

ステップＳ２０３において、パラメータ更新部１２２は、推論結果２０４と正解データ２０５から、損失関数を算出する。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。

【0030】

ステップＳ２０４において、パラメータ更新部１２２は、ステップＳ２０３で算出した損失関数を起点とした誤差逆伝搬を行い、学習途中の畳み込みニューラルネットワーク（ＣＮＮ）２０２のパラメータ群を更新する。

【0031】

ステップＳ２０５において、終了判定部１２３は学習の終了判定を行い、学習を継続する場合（Ｓ２０５－Ｎｏ）、処理をステップＳ２０１に戻し、ステップＳ２０１～Ｓ２０４の処理が同様に実行される。入力画像２０１と正解データ２０５を変えながら処理を繰り返すことで、損失関数が低下するようにＣＮＮ２０２のパラメータ更新が繰り返され、機械学習装置１０８の精度を高めることができる。十分に学習が進み、終了判定部１２３が学習終了と判定した場合（Ｓ２０５－Ｙｅｓ）、処理を終了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、または損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行うことが可能である。なお、ステップＳ２０１～Ｓ２０５の処理は計算コストが高いため、学習部１０９の構成として、ＧＰＵなどの並列演算性能の高い演算ユニットを用いることも可能である。

【0032】

次に、図３Ａ、図３Ｂ及び図３Ｃを用いて、データ拡張部１２０の処理について説明する。図３Ａは、データ拡張部１２０の処理の流れを示したフローチャート、図３Ｂ及び図３Ｃは、データ拡張処理における画像例を模式的に示した図である。データ拡張部１２０は、教師データに基づいて推論部１２１の学習を行う学習時に教師データを構成する入力画像の数を増やしてデータ拡張を行う。データ拡張部１２０は、入力画像が有する画像情報が欠損した領域が含まれないようにデータ拡張を行う。

【0033】

データ拡張部１２０は、教師データに対して、アフィン変換処理と、切り出し処理と、信号量調整処理のうち少なくとも１つ以上の拡張処理によりデータ拡張を行い、データ拡張部１２０は、入力画像と正解データとに対して同じ拡張処理を行う。データ拡張部１２０は、ステップＳ３０１（アフィン変換処理）、Ｓ３０２（切り出し処理）、Ｓ３０３（信号量調整処理）を行うことによって教師データを拡張し、これにより機械学習装置１０８の学習における汎化性能を向上させることが可能になる。

【0034】

ステップＳ３０１において、データ拡張部１２０は教師データに対してアフィン変換処理を適用し、画像の回転、反転、拡大、縮小等を行う。アフィン変換は、例えば、図２（ｂ）の入力画像２０１と正解データ２０５で同等のものが適用される。以下、正解データ２０５として、入力画像２０１と同じサイズのラベリング画像の例を示すが、正解データ２０５が入力画像２０１と異なるサイズのラベリング画像であったり、所望領域の境界を示す直線や曲線の式であったりした場合であっても、正解データに対して、入力画像に施されるデータ拡張と同等の意味を持つ拡張処理を行うものとする。

【0035】

入力画像の座標系を（ｘ，ｙ）、変換画像の座標系を（Ｘ'，Ｙ'）、アフィン変換処理の変換パラメータをａ，ｂ，ｃ，ｄ，ｅ，ｆとしたとき、アフィン変換処理は以下の［数１］式で表すことができる。変換パラメータａ～ｆは、教師データごとに任意の値を選択することが可能であるが、変換パラメータの取り得る値の範囲は後述するルールによって制限される。

【0036】

【数1】

【0037】

例えば、入力画像をθ回転し、ｘ軸方向にα倍、ｙ軸方向にβ倍に拡大する場合は、ａ＝αｃｏｓθ，ｂ＝－αｓｉｎθ，ｃ＝βｓｉｎθ，ｄ＝βｃｏｓθ，ｄ＝ｅ＝０と設定すればよい。

【0038】

ステップＳ３０２において、データ拡張部１２０は変換画像に対して切り出し処理を行い、切り出し画像を出力する。データ拡張部１２０は切り出し画像のサイズ（幅及び高さ）を、ＣＮＮ２０２の入力・出力サイズに合わせて選択する。

【0039】

いま、図３ＢのＢ１に示すように、被写体３０２、コリメータ領域３０３、照射野領域３０４を含んだ入力画像３０１についてデータ拡張を行う場合の例を考える。

【0040】

図３ＢのＢ２は、元の入力画像３０１に対して、ステップＳ３０１～Ｓ３０２の処理を適用した場合の画像の例を模式的に示す図である。ここでは、データ拡張部１２０は入力画像３０１をステップＳ３０１の処理に従ってアフィン変換し、変換画像３０６を生成する。変換画像３０６を生成した後に、データ拡張部１２０はステップＳ３０２の処理に従って、変換画像３０６に対して切り出し処理を行い、切り出し画像３０７を生成している。

【0041】

アフィン変換において回転処理が含まれる場合、変換画像３０６には入力画像３０１に由来する画像情報が欠損した無効な領域が含まれた欠損領域３０５が生成されることとなる。

【0042】

ここで、ステップＳ３０１の拡大率や回転角度、ステップＳ３０２の切り出し位置や切り出し画像のサイズによっては、図３ＢのＢ２のように、切り出し画像３０７内に、欠損領域３０５の一部が含まれる場合がある。

【0043】

コリメータ領域３０３は、照射野絞りによって放射線が遮蔽された領域であることから、入力画像３０１の外周を囲うように存在し、照射野領域３０４との境界で急激に画像情報（画像信号）が小さくなる特徴を有する。

【0044】

一方、欠損領域３０５は、変換画像３０６の外周を囲うように存在し、かつ画像情報が欠落した領域であり、コリメータ領域３０３に近い特徴を有する。しかしながら、コリメータ領域３０３には、被写体３０２および照射野領域３０４由来の散乱線が含まれているのに対して、欠損領域３０５にはそのような物理現象の影響が含まれない。このため、欠損領域３０５はコリメータ領域３０３と似ているが明らかに異なる特徴を持つこととなる。なお、コリメータ領域３０３の信号は、複雑な物理現象によってもたらされたものであるため、欠損領域３０５に人工的に再現することは困難である。

【0045】

照射野認識処理は、コリメータ領域３０３と照射野領域３０４とを分類する処理である。データ拡張によって、学習に用いる切り出し画像３０７に欠損領域３０５が含まれると、機械学習装置１０８が本来学習したい対象であるコリメータ領域３０３の特徴以外の情報を学習することとなり、データ拡張によって逆に精度が低下してしまう場合が生じ得る。従って、切り出し画像３０７内に、欠損領域３０５が含まれることを防ぐため、ステップＳ３０１のアフィン変換における変換パラメータと、ステップＳ３０２の切り出し処理において切り出し画像３０７を切り出す位置は、図３ＢのＢ３のように、切り出し画像３０７内に欠損領域３０５が含まれないように選択される必要がある。

【0046】

次に、切り出し画像３０７内に欠損領域３０５が含まれないための変換パラメータの制限について、図３Ｃを用いて説明する。

【0047】

図３Ｃに示すように、ステップＳ３０１のアフィン変換における変換パラメータをａ＝αｃｏｓθ，ｂ＝－αｓｉｎθ，ｃ＝βｓｉｎθ，ｄ＝βｃｏｓθ，ｄ＝ｅ＝０とし、入力画像３０１をｘ方向に拡大率α倍、ｙ方向に拡大率β倍に拡大し、回転角度としてθ回転する場合の例を考える。入力画像３０１の画像幅をＷｉｎ、高さをＨｉｎ、切り出し画像３０７の画像幅をＷ_ｔｒｉｍ、高さをＨ_ｔｒｉｍとすると、データ拡張部１２０の処理によって、画像幅が（αＷ_ｉｎｃｏｓθ＋βＨ_ｉｎｓｉｎθ）、画像高さが（αＷ_ｉｎｓｉｎθ＋βＨ_ｉｎｃｏｓθ）であって、欠損領域３０５を含んだ変換画像３０６が生成される。

【0048】

ステップＳ３０２において、データ拡張部１２０は切り出し画像３０７内に欠損領域３０５が含まれないようにするために、変換画像３０６内において切り出し可能領域３１７を設定し、切り出し画像３０７を取得する範囲を制限する。

【0049】

データ拡張部１２０は、教師データを構成する入力画像をアフィン変換した変換画像３０６の一部を切り出した切り出し画像３０７の生成によりデータ拡張を行い、切り出し画像３０７に、画像情報が欠損した領域（欠損領域３０５）が含まれないように、切り出し画像３０７を取得する範囲を制限する。データ拡張部１２０は、変換画像３０６において切り出し可能領域３１７（図３Ｃ）を設定し、切り出し画像３０７を取得する範囲を制限する。

【0050】

データ拡張部１２０は、アフィン変換における入力画像３０１の回転角度θに応じて切り出し可能領域３１７を設定することが可能である。また、データ拡張部１２０は、アフィン変換における入力画像３０１の回転角度に応じて入力画像３０１の拡大率を示すパラメータ（拡大率α、β）を設定することが可能である。ここで、データ拡張部１２０は、アフィン変換により入力画像３０１の一部が欠落しないように回転角度θ、及び入力画像３０１の拡大率を示すパラメータ（拡大率α、β）を設定する
切り出し画像３０７は、頂点３０９、３１０、３１１、３１２、３１３、３１４、３１５、３１６に囲まれた切り出し可能領域３１７内に含まれるように制限される。画像左上端に座標の原点３１８を設定したとき、各頂点の座標（ｘ，ｙ）は、以下の式で表される。すなわち、頂点３０９の座標は［数２］式、頂点３１０の座標は［数３］式、頂点３１１の座標［数４］式、頂点３１２の座標は［数５］式で表される。また、頂点３１３の座標は［数６］式、頂点３１４の座標は［数７］式、頂点３１５の座標は［数８］式、頂点３１６の座標は［数９］式で表される。

【0051】

【数2】

【0052】

【数3】

【0053】

【数4】

【0054】

【数5】

【0055】

【数6】

【0056】

【数7】

【0057】

【数8】

【0058】

【数9】

【0059】

ここで、入力画像の画像幅Ｗ_ｉｎ、入力画像の画像高さＨ_ｉｎと、拡大率α、βと、回転角度θと、切り出し画像３０７の画像幅Ｗ_ｔｒｉｍ、切り出し画像３０７の画像高さＨ_ｔｒｉｍは、頂点３０９～頂点３１６の全てが変換画像３０６内に含まれる範囲で変換パラメータをランダムに設定することが可能である。

【0060】

なお、変換パラメータの設定において、拡大率α、βを大きくしすぎる場合、または、切り出し画像３０７の画像幅Ｗ_ｔｒｉｍと切り出し画像３０７の画像高さＨ_ｔｒｉｍを、入力画像の画像幅Ｗ_ｉｎと入力画像の画像高さＨ_ｉｎに比べて小さくしすぎる場合には、コリメータ領域３０３が切り出し画像３０７内に含まれにくくなってしまい、有効なデータ拡張を行うことができなくなる可能性がある。このため、データ拡張部１２０は、拡大率α、βを、例えば、０．８～１．２程度に設定し、切り出し画像３０７の画像幅Ｗ_ｔｒｉｍおよびＨ_ｔｒｉｍと、Ｗ_ｉｎおよびＨ_ｉｎの長さの関係を、例えば、１：２程度の比率となるように変換パラメータを設定することが可能である。

【0061】

また、回転角度θが例えば０°～４５°であるときを考えると、回転角度θが大きいほど、変換画像３０６内の欠損領域３０５は大きくなるため、拡大率α、βを大きく設定した方が切り出し可能な範囲は広くなる。このように、回転角度θによって発生する欠損領域３０５の大きさに合わせて、変換パラメータの拡大率α、βを連動して変化させるようにしてもよい。

【0062】

ステップＳ３０３において、データ拡張部１２０は切り出し画像３０７に対して信号量調整処理を行い、調整画像を出力する。データ拡張部１２０は、信号量調整処理として、切り出し画像３０７に対して任意の係数による乗算と任意の係数による加算とを行う。信号量調整処理において、切り出し画像３０７をＩ_ｔｒｉｍ、調整画像をＩ_ｏｕｔ、係数γ、δを任意の係数とすると、切り出し画像３０７（Ｉ_ｔｒｉｍ）と調整画像（Ｉ_ｏｕｔ）との関係は、以下の［数１０］式で表すことができる。

【0063】

【数10】

【0064】

ここで、係数γとしては、例えば０．１～１０程度の任意の係数を設定し、切り出し画像Ｉ_ｔｒｉｍに乗算して信号を一律に増減させてもよいし、ガウシアンフィルタなどの２次元フィルタを設定し、切り出し画像Ｉ_ｔｒｉｍに適用することも可能である。係数δについても、一律の値を加減算してもよいし、画素ごとに任意のランダムなノイズを加算することも可能である。ノイズを付加する場合は、放射線検出装置１０４の物理特性に従ったノイズを加算することも可能である。

【0065】

なお、図３Ａのフローチャートでは、ステップＳ３０１～Ｓ３０３と順番に処理していく場合の例を示したが、各ステップはこの順番に処理を行う必要はなく、一部の処理のみを行ってもよいし、処理の順番を任意に並び替えてもよい。また、データ拡張により画像情報が欠損した領域が新たに発生しない範囲であれば、その他の任意のデータ拡張手法を用いてもよい。

【0066】

例えば、ステップＳ３０１のアフィン変換処理を行わない場合、データ拡張部１２０は切り出し画像３０７内に欠損領域３０５が含まれないようにするために、入力画像内において切り出し可能領域３１７を設定し、切り出し画像３０７を取得する範囲を制限することも可能である。

【0067】

すなわち、データ拡張部１２０は、教師データを構成する入力画像３０１の一部を切り出した切り出し画像３０７の生成によりデータ拡張を行い、切り出し画像３０７に、画像情報が欠損した領域（欠損領域３０５）が含まれないように、切り出し画像３０７を取得する範囲を制限する。データ拡張部１２０は、入力画像３０１において切り出し可能領域３１７（図３Ｃ）を設定し、切り出し画像３０７を取得する範囲を制限する。

【0068】

次に、図４を用いて、機械学習装置１０８における推論部１１０の処理について、畳み込みニューラルネットワーク（ＣＮＮ）を用いた場合を例として説明する。図４は、推論部１１０の推論の概念を模式的に示した図である。

【0069】

推論部１１０は、学習部１０９により学習済の推論部であり、学習に基づいて取得された学習済みパラメータに基づいて、推論処理を行うことが可能である。推論部１１０は、学習部１０９によって得られた学習済みパラメータ群を持つ学習済みの畳み込みニューラルネットワーク（ＣＮＮ）４０２を有する。推論部１１０は、推論部１１０に入力される入力画像４０１に対して、学習済みＣＮＮ４０２による推論処理を適用し、推論結果４０３を出力する。

【0070】

なお、機械学習装置１０８における学習は、例えばユーザーの使用環境に導入する以前に学習を行い、事前に学習済みＣＮＮ４０２のパラメータ群を得ておくことが望ましいが、ユーザーの使用環境に導入した後に、使用状況に合わせて機械学習装置１０８を更新できる構成とすることも可能である。その場合は、ユーザーの使用環境において取得した画像と、照射野領域のデータセットの組を教師データとして記憶装置１１５に保存すればよい。

【0071】

機械学習装置１０８の学習部１０９は、記憶装置１１５に保存されたデータセットの組を新たな教師データとして使用して、追加の学習を行い、学習済みＣＮＮ４０２のパラメータ群を更新することが可能である。そして、追加の学習済の推論部１１０は、ユーザーの使用環境において、放射線撮影システム１００を用いて撮影された画像と、画像に対応する照射野領域のデータとの組を教師データとして追加された学習の結果と、事前に行われた学習の結果とに基づいて推論処理を行うことが可能である。

【0072】

追加の学習を行うタイミングは、例えば記憶装置１１５にデータセットが一定数以上蓄積された場合や、照射野認識結果をユーザーによって修正されたデータセットが一定数以上蓄積された場合など、学習部１０９は追加の学習を実行するタイミングを選択することが可能である。また、追加で学習を行う際のＣＮＮのパラメータ群の初期値としては、追加で学習を行う前に使用していた学習済みＣＮＮ４０２のパラメータ群を設定し、転移学習を行うことも可能である。

【0073】

なお、記憶装置１１５と機械学習装置１０８は、情報処理装置１０７上に搭載する構成に限らず、ネットワークを介して接続されたクラウドサーバー上に記憶装置１１５と機械学習装置１０８を設けてもよい。その場合は、複数の放射線撮影システム１００によって得られたデータセットをクラウドサーバー上に収集・保存し、機械学習装置１０８は、クラウドサーバー上に収集・保存されたデータセットを用いて追加の学習を行うことも可能である。

【0074】

以上説明したように本実施形態によれば、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術を提供することができる。

【0075】

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

【0076】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0077】

１００：放射線撮影システム、１０１：放射線発生装置、１０２：被写体、
１０３：寝台、１０４：放射線検出装置、１０５：制御装置、
１０６：データ収集装置、１０７：情報処理装置、１０８：機械学習装置、
１０９：学習部、１１０：推論部、１１１：ＣＰＵバス、１１２：ＣＰＵ、
１１３：メモリ、１１４：操作パネル、１１５：記憶装置、
１１６：表示装置、１１７：診断用画像処理装置、１２０：データ拡張部、
１２１：推論部、１２２：パラメータ更新部、１２３：終了判定部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】