知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024149738
(43)【公開日】2024-10-18
(54)【発明の名称】学習済みモデルの作成方法および画像生成方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20241010BHJP
A61B 6/46 20240101ALI20241010BHJP
A61B 6/12 20060101ALI20241010BHJP
G06T 7/00 20170101ALI20241010BHJP
【ＦＩ】
A61B6/03 560J
A61B6/03 560T
A61B6/46 536Q
A61B6/03 571
A61B6/12
G06T7/00 350B
G06T7/00 630
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2024133883
(22)【出願日】2024-08-09
(62)【分割の表示】P 2022502635の分割
【原出願日】2020-02-26
(71)【出願人】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100172362
【弁理士】
【氏名又は名称】田中 達哉
(72)【発明者】
【氏名】▲高▼橋 渉
(72)【発明者】
【氏名】押川 翔太
(72)【発明者】
【氏名】平野 湧一郎
(72)【発明者】
【氏名】菅原 洋平
(72)【発明者】
【氏名】高 正妍
(72)【発明者】
【氏名】水野 和恵
(57)【要約】
【課題】様々な画像要素に対して、かつ、複数の画像要素に対しても画像処理を行うことが可能な画像生成方法および画像処理装置を提供すること、および、そのような画像処理に用いる学習済みモデルの作成を効率的に行うことが可能な学習済みモデルの作成方法を提供する。
【解決手段】この学習済みモデルの作成方法は、３次元Ｘ線画像データ（８０）を再構成した再構成画像（６０）を生成する。シミュレーションにより、画像要素（５０）の３次元モデルから投影像（６１）を生成する。投影像を再構成画像に重畳して重畳画像（６７）を生成する。重畳画像と、再構成画像または投影像とで機械学習を行うことにより、学習済みモデル（４０）を作成する。
【選択図】図３
【解決手段】この学習済みモデルの作成方法は、３次元Ｘ線画像データ（８０）を再構成した再構成画像（６０）を生成する。シミュレーションにより、画像要素（５０）の３次元モデルから投影像（６１）を生成する。投影像を再構成画像に重畳して重畳画像（６７）を生成する。重畳画像と、再構成画像または投影像とで機械学習を行うことにより、学習済みモデル（４０）を作成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成する、学習済みモデルの作成方法。
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成する、学習済みモデルの作成方法。
【請求項2】
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、請求項１に記載の学習済みモデルの作成方法。
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、請求項１に記載の学習済みモデルの作成方法。
【請求項3】
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、請求項１に記載の学習済みモデルの作成方法。
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、請求項１に記載の学習済みモデルの作成方法。
【請求項4】
前記画像要素は、線状または管状のデバイスを含み、
前記画像要素の前記投影像は、前記デバイスの３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される、請求項１に記載の学習済みモデルの作成方法。
前記画像要素の前記投影像は、前記デバイスの３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される、請求項１に記載の学習済みモデルの作成方法。
【請求項5】
前記画像要素は、血管を含み、
前記画像要素の前記投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される、請求項１に記載の学習済みモデルの作成方法。
前記画像要素の前記投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される、請求項１に記載の学習済みモデルの作成方法。
【請求項6】
前記画像要素は、Ｘ線の散乱線成分を含み、
前記画像要素の前記投影像は、前記入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される、請求項１に記載の学習済みモデルの作成方法。
前記画像要素の前記投影像は、前記入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される、請求項１に記載の学習済みモデルの作成方法。
【請求項7】
前記画像要素の前記投影像は、撮影環境モデルにおけるＸ線撮影装置が撮影可能な投影角度範囲に亘って投影角度を変化させて複数生成される、請求項６に記載の学習済みモデルの作成方法。
【請求項8】
前記画像要素の前記投影像は、撮影環境モデルにおける仮想線源のエネルギースペクトルを変化させて複数生成される、請求項６に記載の学習済みモデルの作成方法。
【請求項9】
前記機械学習は、１つの学習モデルに対して、前記画像要素毎に作成された前記教師入力データおよび前記教師出力データを入力することを含み、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、請求項１に記載の学習済みモデルの作成方法。
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、請求項１に記載の学習済みモデルの作成方法。
【請求項10】
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する、画像生成方法。
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する、画像生成方法。
【請求項11】
前記画像処理は、強調処理または除去処理を含む、請求項１０に記載の画像生成方法。
【請求項12】
複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、請求項１０に記載の画像生成方法。
【請求項13】
複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、請求項１０に記載の画像生成方法。
【請求項14】
前記複数の抽出画像の一部または全部に対して、別々に画像処理を行い、
前記処理画像は、画像処理後の前記複数の抽出画像と、前記Ｘ線画像との画像間演算により生成される、請求項１０に記載の画像生成方法。
前記処理画像は、画像処理後の前記複数の抽出画像と、前記Ｘ線画像との画像間演算により生成される、請求項１０に記載の画像生成方法。
【請求項15】
前記画像間演算は、前記Ｘ線画像に対する、個々の抽出画像の重み付け加算または重み付け減算を行うことを含む、請求項１０に記載の画像生成方法。
【請求項16】
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、請求項１０に記載の画像生成方法。
【請求項17】
前記学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより前記画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている、請求項１０に記載の画像生成方法。
【請求項18】
Ｘ線画像を取得する画像取得部と、
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、前記Ｘ線画像から複数の画像要素を別々に抽出する抽出処理部と、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する画像生成部と、を備える、画像処理装置。
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、前記Ｘ線画像から複数の画像要素を別々に抽出する抽出処理部と、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する画像生成部と、を備える、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習済みモデルの作成方法、画像生成方法および画像処理装置に関する。
【背景技術】
【0002】
従来、学習済みモデルを用いて画像処理を行う方法が知られている。このような方法は、たとえば、国際公開第２０１９／１３８４３８号に開示されている。
【0003】
上記国際公開第２０１９／１３８４３８号には、被験者の特定部位を含む領域のＸ線画像に対して、学習済みモデルを利用して変換を行うことにより、特定部位を表す画像を作成することが開示されている。上記国際公開第２０１９／１３８４３８号には、特定部位として、被験者の骨部、造影剤が注入された血管、体内に留置されるステントが例示されている。学習済みモデルは、ＣＴ画像データから再構成した第１ＤＲＲ（Ｄｉｇｉｔａｌｌｙ Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｒａｄｉｏｇｒａｐｈｙ）画像と第２ＤＲＲ画像とをそれぞれ教師入力画像と教師出力画像として機械学習を行うことにより作成される。学習済みモデルを用いた変換により得られた画像を元の画像から差分することにより、特定部位を除去した画像を生成できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１９／１３８４３８号
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記国際公開第２０１９／１３８４３８号では、特定部位として骨部を表す画像を作成すること、造影剤が注入された血管を表す画像を作成すること、体内に留置されるステントを表す画像を作成することという、特定の１種の画像要素（特定部位）に対して画像処理を行うことが開示されている。しかし、多様な利用シーンにおける医用画像の視認性向上のため、特定の１つの画像要素（特定部位）に限定された画像処理だけでなく、様々な画像要素に対して、かつ、複数の画像要素に対しても画像処理を行えるようにすることが望まれている。
【0006】
また、上記国際公開第２０１９／１３８４３８号では、ＣＴ画像データから再構成した第１ＤＲＲ画像および第２ＤＲＲ画像を用いて機械学習を行うため、抽出すべき画像要素（特定部位）を実際に含んだＣＴ画像データを準備する必要がある。様々な画像要素に対する機械学習を効率的に行うためには、抽出すべき画像要素を実際に含んだＣＴ画像データの利用に限定されずに機械学習を行えるようにすることや、ＣＴ画像データに含まれていてもその画像要素のみを分離抽出することが困難な画像要素についても機械学習を行えるようにすることが望まれる。
【0007】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、様々な画像要素に対して、かつ、複数の画像要素に対しても画像処理を行うことが可能な画像生成方法および画像処理装置を提供すること、および、そのような画像処理に用いる学習済みモデルの作成を効率的に行うことが可能な学習済みモデルの作成方法を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、この発明の第１の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成する。
【0009】
この発明の第２の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する。
【0010】
この発明の第３の局面における画像処理装置は、Ｘ線画像を取得する画像取得部と、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出する抽出処理部と、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する画像生成部と、を備える。
【0011】
なお、本明細書において、画像要素を「抽出する処理」とは、当該画像要素の抽出により、抽出した画像要素を表す画像を生成すること、および、抽出により当該画像要素が除去されたＸ線画像を生成すること、の両方を含む広い概念である。より具体的には、画像要素を「抽出する処理」とは、当該画像要素のみの画像を生成することと、元のＸ線画像から当該画像要素を除去した画像を生成することと、を含む。また、「画像間演算」とは、ある画像と別の画像とで互いに加算、減算、乗算、除算等の演算を行うことにより、１つの画像を生成することを意味する。より具体的には、「画像間演算」とは、複数の画像の間で、対応する画素毎に画素値の演算処理を行って、演算後の画像におけるその画素の画素値を決定することを意味する。
【発明の効果】
【0012】
上記第１の局面における学習済みモデルの作成方法によれば、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像と、シミュレーションにより、抽出対象となる画像要素の３次元モデルから生成した２次元の投影像とを重畳した重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとするので、３次元Ｘ線画像データが抽出対象となる画像要素を含んでいなくても、シミュレーションにより生成した抽出対象の画像要素を用いて機械学習を行える。つまり、抽出すべき画像要素を実際に含んだＣＴ画像データを準備しなくても、教師データを用意することができる。また、シミュレーションにより抽出対象の画像要素の投影像を生成するので、ＣＴ画像データに含まれているが分離抽出することが困難な画像要素についても、教師データを用意することができる。その結果、様々な画像要素に対して、かつ、複数の画像要素に対して画像処理を行うための学習済みモデルの作成を効率的に行うことができる。
【0013】
また、上記第２の局面における画像生成方法および上記第３の局面における画像処理装置によれば、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより処理画像を生成するので、入力されたＸ線画像から様々な画像要素を抽出画像として別々に抽出した上で、抽出された画像要素の種類に応じて、それぞれの抽出画像をＸ線画像に対して自由に加算したり減算したりすることができる。その結果、様々な画像要素に対して、かつ、複数の画像要素に対しても画像処理を行うことができる。
【図面の簡単な説明】
【0014】
【図1】一実施形態による画像処理装置を示したブロック図である。
【図2】Ｘ線撮影装置の一例を示した図である。
【図3】学習モデルに対する機械学習および学習済みモデルを説明するための図である。
【図4】画像要素の例を示した図である。
【図5】学習済みモデルによる画像要素の抽出の第１の例を示した図である。
【図6】学習済みモデルによる画像要素の抽出の第２の例および処理画像の生成を示した図である。
【図8】一実施形態による画像生成方法を説明するためのフローチャートである。
【図9】一実施形態による学習済みモデルの作成方法を説明するためのフローチャートである。
【図10】機械学習に用いる重畳画像の生成を説明するための図である。
【図11】再構成画像の生成方法を説明するための図である。
【図12】画像要素が骨である場合の教師入力データおよび教師出力データの例を示した図である。
【図13】画像要素が骨である場合の処理画像の例を示した図である。
【図14】画像要素がデバイスである場合の教師入力データおよび教師出力データの例を示した図である。
【図15】画像要素がデバイスである場合の処理画像の例を示した図である。
【図16】３次元モデルから生成したデバイスの投影像のバリエーション（Ａ）～（Ｉ）を示した図である。
【図17】画像要素がノイズである場合の教師入力データおよび教師出力データの例を示した図である。
【図18】画像要素がノイズである場合の処理画像の例を示した図である。
【図19】画像要素が血管である場合の教師入力データおよび教師出力データの例を示した図である。
【図20】画像要素が血管である場合の処理画像の例を示した図である。
【図21】画像要素が衣類である場合の教師入力データおよび教師出力データの例を示した図である。
【図22】画像要素が衣類である場合の処理画像の例を示した図である。
【図23】画像要素がＸ線の散乱線成分である場合の教師入力データおよび教師出力データの例を示した図である。
【図24】画像要素がＸ線の散乱線成分である場合の処理画像の例を示した図である。
【図25】モンテカルロシミュレーションにおけるＸ線の第１方向（Ａ）および第２方向（Ｂ）における投影角度範囲を示した図である。
【図26】モンテカルロシミュレーションにおけるＸ線のエネルギースペクトルの第１の例を示した図である。
【図27】モンテカルロシミュレーションにおけるＸ線のエネルギースペクトルの第２の例を示した図である。
【図28】教師入力データおよび教師出力データに用いるコリメータ画像の一例を示した図である。
【図29】複数の学習済みモデルにより画像要素を抽出する例を示した図である。
【発明を実施するための形態】
【0015】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0016】
【0017】
（画像処理装置の構成）
まず、図１を参照して、画像処理装置１００の構成について説明する。
まず、図１を参照して、画像処理装置１００の構成について説明する。
【0018】
画像処理装置１００は、機械学習により作成された学習済みモデル４０を用いて、Ｘ線画像２０１に含まれる画像要素５０を抽出し、抽出した画像要素５０を用いてＸ線画像２０１の画像処理を行うように構成されている。画像処理装置１００は、Ｘ線撮影装置２００により撮影されたＸ線画像２０１を入力とし、Ｘ線画像２０１に含まれる各画像要素５０に画像処理が行われた処理画像２２を出力として生成する。
【0019】
図１に示すように、画像処理装置１００は、画像取得部１０と、抽出処理部２０と、画像生成部３０と、を備える。画像処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの１つ又は複数のプロセッサ１０１と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの１つ又は複数の記憶部１０２と、を備えたコンピュータにより構成されている。画像処理装置１００は、表示装置１０３と接続されている。
【0020】
画像取得部１０は、Ｘ線画像２０１を取得するように構成されている。画像取得部１０は、たとえば、外部装置と画像処理装置１００とを通信可能に接続するためのインターフェースにより構成される。画像取得部１０は、インターフェースは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの通信インターフェースを含みうる。画像取得部１０は、ＨＤＭＩ（登録商標）、Ｄｉｓｐｌａｙ Ｐｏｒｔ、ＵＳＢポートなどの入出力インターフェースを含みうる。画像取得部１０は、通信により、Ｘ線撮影装置２００から、または、ネットワークを介して接続されたサーバ装置からＸ線画像２０１を取得することができる。
【0021】
Ｘ線画像２０１は、Ｘ線撮影装置２００により患者または被験者を撮影した医用画像である。Ｘ線画像２０１は、静止画像または動画像のいずれでもよい。動画像は、所定のフレームレートで撮影された静止画像の集まりである。Ｘ線画像２０１は、２次元画像である。Ｘ線画像２０１は、単純Ｘ線撮影、透視撮影、血管造影撮影などにより撮影された各種の画像でありうる。
【0022】
抽出処理部２０は、記憶部１０２に記憶された学習済みモデル４０を用いて、Ｘ線画像２０１から複数の画像要素５０を別々に抽出するように構成されている。学習済みモデル４０は、入力画像中から特定の画像要素５０を抽出する処理を学習させた学習済みモデルである。
【0023】
画像要素５０は、Ｘ線画像２０１を構成する画像部分または画像情報であって、同一または同種のまとまりとして定義されるものである。画像要素５０は、解剖学的に分類される人体の部位でありうる。そのような画像要素５０は、たとえば骨、血管などの生体組織である。画像要素５０は、手術などにおいて被験者の体内に導入または留置される物体でありうる。そのような画像要素５０は、たとえば体内に導入されるカテーテル、ガイドワイヤ、ステント、手術器具、固定具などのデバイスでありうる。画像要素５０は、Ｘ線撮影における画像化処理に際して発生するノイズ、アーチファクト、Ｘ線の散乱線成分などでありうる。画像要素５０は、被験者が身に着けており撮影時に写り込んだ衣類でありうる。なお、衣類とは、衣服、装飾品その他の装着物を含む概念である。Ｘ線画像２０１には、たとえば衣類のボタン、ファスナー、アクセサリ、金具部分などが写り込む。
【0024】
学習済みモデル４０は、入力画像中から特定の画像要素５０を抽出する処理を学習させる機械学習により予め作成されている。抽出処理部２０は、１つまたは複数の学習済みモデル４０を用いて画像要素５０の抽出を行う。これにより、抽出処理部２０は、Ｘ線画像２０１から別々の画像要素５０を抽出した複数の抽出画像２１を生成する。たとえば第１の抽出画像２１には、第１の画像要素５０が含まれ、第２の抽出画像２１には、第１の画像要素５０とは異なる第２の画像要素５０が含まれる。学習済みモデル４０の作成方法については、後述する。
【0025】
画像生成部３０は、画像要素５０毎に抽出された複数の抽出画像２１と、Ｘ線画像２０１と、を用いた画像間演算を行うことにより、Ｘ線画像２０１に含まれる各画像要素５０に画像処理が行われた処理画像２２を生成するように構成されている。画像処理は、たとえば画像要素５０の強調処理または画像要素５０の除去処理を含む。なお、強調処理は、当該画像要素５０に属する画素の画素値を相対的に高くする処理である。除去処理は、当該画像要素５０に属する画素の画素値を相対的に低くする処理である。除去処理は、画像中から完全に除去することのみならず、部分的な除去により視認性を低下させることを含む。また、強調処理は、たとえばエッジ強調処理でありうる。除去処理は、ノイズ除去処理でありうる。
【0026】
画像間演算とは、複数の抽出画像２１と、Ｘ線画像２０１との間で、対応する画素毎に画素値の演算を行うことにより、処理画像２２における対応する画素の画素値を決定することである。演算の内容は、特に限定されないが、たとえば、加算、減算、乗算および除算の四則演算でありうる。本実施形態では、画像間演算は、Ｘ線画像２０１に対する、個々の抽出画像２１の重み付け加算または重み付け減算を行うことを含む。Ｘ線画像２０１に抽出画像２１の重み付け加算を行うことにより、Ｘ線画像２０１に含まれる画像要素５０の強調処理を行える。Ｘ線画像２０１に抽出画像２１の重み付け減算を行うことにより、Ｘ線画像２０１に含まれる画像要素５０の除去処理を行える。重みの値を調整することにより、画像要素５０の強調度合いまたは除去度合いを最適化できる。
【0027】
図１の例では、プロセッサ１０１が、記憶部１０２に記憶されたプログラム（図示せず）を実行することにより、抽出処理部２０および画像生成部３０として機能する。すなわち、図１の例では、抽出処理部２０および画像生成部３０がプロセッサ１０１の機能ブロックとして実現されている。抽出処理部２０および画像生成部３０が個別のハードウェアとして構成されていてもよい。
【0028】
なお、個別のハードウェアとは、抽出処理部２０および画像生成部３０が別々のプロセッサによって構成されることを含む。個別のハードウェアとは、画像処理装置１００が複数台のコンピュータ（ＰＣ）を含み、抽出処理部として機能するコンピュータ（ＰＣ）と、画像生成部として機能するコンピュータ（ＰＣ）とが、別々に設けられることを含む。
【0029】
画像処理装置１００は、画像生成部３０により生成された処理画像２２を、表示装置１０３に表示させる。画像処理装置１００は、たとえば、生成された処理画像２２を、ネットワークを介してサーバ装置に送信する。画像処理装置１００は、たとえば、生成された処理画像２２を記憶部１０２に記録する。
【0030】
Ｘ線撮影装置２００の構成例を図２に示す。図２は、血管透視撮影を行うことが可能な血管Ｘ線撮影装置の例を示している。Ｘ線撮影装置２００は、天板２１０と、Ｘ線照射部２２０と、Ｘ線検出器２３０とを含んでいる。天板２１０は、被写体１（人）を支持するように構成されている。Ｘ線照射部２２０は、Ｘ線管球などのＸ線源を含み、Ｘ線検出器２３０に向けてＸ線を照射するように構成されている。Ｘ線検出器２３０は、たとえばＦＰＤ（Ｆｌａｔ Ｐａｎｅｌ Ｄｅｔｅｃｔｏｒ）により構成され、Ｘ線照射部２２０から照射され、被写体１を透過したＸ線を検出するように構成されている。
【0031】
図２の例では、Ｘ線照射部２２０と、Ｘ線検出器２３０とはＣアーム２４０に保持されている。Ｃアーム２４０は、弧状のアーム部に沿って第１方向２５０に移動可能かつ回転軸線２５１回りに第２方向２５２に回転可能である。これにより、Ｘ線撮影装置２００は、Ｘ線照射部２２０からＸ線検出器２３０に向かうＸ線の投影方向を、第１方向２５０および第２方向２５２にそれぞれ所定角度範囲ずつ変更することができる。
【0032】
（学習済みモデル）
図１に示したように、Ｘ線画像２０１に含まれる画像要素５０の抽出処理は、機械学習によって作成された学習済みモデル４０によって実施される。学習済みモデル４０は、図３に示すように、入力された画像から、予め学習された画像要素５０を抽出し、抽出した画像要素５０のみを表示した抽出画像２１を出力する。
図１に示したように、Ｘ線画像２０１に含まれる画像要素５０の抽出処理は、機械学習によって作成された学習済みモデル４０によって実施される。学習済みモデル４０は、図３に示すように、入力された画像から、予め学習された画像要素５０を抽出し、抽出した画像要素５０のみを表示した抽出画像２１を出力する。
【0033】
本実施形態では、学習済みモデル４０は、３次元画像データから２次元の投影画像に再構成した再構成画像６０と、シミュレーションにより画像要素５０の３次元モデルから作成された投影像６１とを用いて機械学習により予め作成されている。
【0034】
機械学習法として、全層畳み込みニューラルネットワーク（ＦｕｌｌｙＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｔｗｏｒｋｓ；ＦＣＮ）、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）、ブースティング等の任意の手法を用いることができる。本実施形態の学習モデルＬＭ（学習済みモデル４０）には、畳み込みニューラルネットワーク、より好ましくは、全層畳み込みニューラルネットワークを用いるとよい。そのような学習モデルＬＭ（学習済みモデル４０）は、画像が入力される入力層４１、畳み込み層４２、出力層４３を含んで構成される。
【0035】
学習済みモデル４０を作成するためには、教師入力データ６４と教師出力データ６５とを含んだ学習データ６６を用いた機械学習が行われる。１つの学習データ６６に含まれる教師入力データ６４と教師出力データ６５とは、同一の画像要素５０についての抽出前のデータと抽出後のデータとの関係にある。
【0036】
機械学習は、抽出される複数の画像要素５０について、画像要素毎に行われる。つまり、抽出すべき画像要素５０毎に、学習データ６６が準備される。
【0037】
図４に示すように、複数の画像要素５０は、生体組織である第１要素５１と、非生体組織である第２要素５２とを含む。また、複数の画像要素５０は、骨５３、血管５４、体内に導入されるデバイス５５、衣類５６、ノイズ５７およびＸ線の散乱線成分５８のうち少なくとも複数を含む。これらの内、骨５３および血管５４が、第１要素５１に該当する。第１要素５１は、骨５３、血管５４以外の生体組織を含んでもよい。これらの内、体内に導入されるデバイス５５、衣類５６、ノイズ５７およびＸ線の散乱線成分５８が、第２要素５２に該当する。第２要素５２は、デバイス５５、衣類５６、ノイズ５７および散乱線成分５８以外の画像要素を含んでもよい。
【0038】
図５に示す例では、１つの学習済みモデル４０が、複数の画像要素５０を別々に抽出するように構成されている。学習済みモデル４０は、１つの入力チャネルと、複数（Ｎ個）の出力チャネルとを有する。Ｎは、２以上の整数である。学習済みモデル４０は、入力チャネルに、Ｘ線画像２０１が入力されると、Ｎ個の画像要素５０を別々に抽出する。学習済みモデル４０は、抽出した１番目～Ｎ番目の画像要素５０を、Ｎ個の出力チャネルから、それぞれ第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎとして出力する。
【0039】
図５とは異なる例として、図６の例では、学習済みモデル４０は、１つの入力チャネルと、Ｎ＋１個の出力チャネルとを有する。学習済みモデル４０は、入力チャネルにＸ線画像２０１が入力されると、入力画像から複数（Ｎ個）の画像要素５０を重複なしで抽出する。重複なしとは、いずれかの抽出画像（たとえば第１抽出画像２１－１）に抽出された画像情報が、他の抽出画像（たとえば第２抽出画像２１－２～第Ｎ抽出画像２１－Ｎ）には含まれることがないことを意味する。学習済みモデル４０は、抽出した１番目～Ｎ番目の画像要素をそれぞれ第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎとして出力する。そして、学習済みモデル４０は、抽出後に残る残余画像要素５９を、Ｎ＋１番目の出力チャネルから第Ｎ＋１抽出画像２１ｘとして出力する。
【0040】
この場合、第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎは、互いに同一の画像情報を含まない。そして、入力されたＸ線画像２０１のうち、抽出されずに残る画像情報は第Ｎ＋１抽出画像２１ｘに含まれる。そのため、第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎと第Ｎ＋１抽出画像２１ｘとを加算すると、元のＸ線画像２０１に戻ることになる。
【0041】
このように、図６の例では、学習済みモデル４０は、入力画像から複数の画像要素５０を重複なしで抽出し、抽出した複数の画像要素５０と、抽出後に残る残余画像要素５９と、をそれぞれ出力するように構成されている。この結果、入力画像と比べて、抽出処理によって抽出された画像情報の合計が増えることも減ることもない。
【0042】
図６に示すように、画像生成部３０(図１参照)は、入力されたＸ線画像２０１に対して、第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎに重み係数２３を加味して加算または減算する画像間演算を行い、処理画像２２を生成する。残余画像要素５９を表す第Ｎ＋１抽出画像２１ｘは、画像処理には用いる必要がない。重み係数２３としては、第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎのそれぞれに対応して、係数ｗ１～ｗｎが個別に設定される。重み係数２３は、たとえば、予め記憶部１０２に設定された固定値でありうる。ただし、処理画像２２の用途などに応じて、複数種類の重み係数が設定されていてもよい。たとえば、処理モードＡでは第１抽出画像２１－１に重み係数２３の第１の設定値が使用され、処理モードＢでは第１抽出画像２１－１に重み係数２３の第２の設定値が使用される、といった具合である。また、重み係数２３は、ユーザの操作入力に応じて任意の値に設定可能であってもよい。
【0043】
図７に示すように、各抽出画像２１とＸ線画像２０１との画像間演算を行う前に、それぞれの抽出画像２１に対して画像処理を行ってもよい。図７の例では、画像生成部３０は、複数の抽出画像２１の一部または全部に対して、別々に画像処理を行うように構成されている。処理画像２２は、画像処理後の複数の抽出画像２１と、Ｘ線画像２０１との画像間演算により生成される。
【0044】
たとえば図７では、画像生成部３０は、第１抽出画像２１－１に対して第１画像処理２５－１を行い、第２抽出画像２１－２に対して第２画像処理２５－２を行い、・・・、第Ｎ抽出画像２１－Ｎに対して第Ｎ画像処理２５－Ｎを行う。画像要素５０によっては画像処理を行う必要がない場合もあるので、一部の抽出画像２１に対してのみ画像処理を行ってもよい。
【0045】
個々の抽出画像に対して行う画像処理は、特に限定されないが、たとえば画像補正処理または画像補間処理でありうる。画像補正処理は、エッジ強調処理、ノイズ除去処理を含みうる。画像補正処理は、たとえばコントラスト調整、線強調処理、平滑化処理などでありうる。画像補間処理は、たとえばガイドワイヤやカテーテルなどＸ線画像２０１中で写りにくいために途中で途切れたように見える画像要素５０について、途切れた部分を補間する処理である。コントラスト調整や線強調処理などは、画像要素５０毎に、適切なパラメータが異なり、全ての画像要素５０を一括で処理することは困難であるが、個々の抽出画像２１に対して画像処理を行うことによって、１つ１つの画像要素５０に最適な画像処理が行われる。
【0046】
（画像生成方法）
次に、図８を参照して、本実施形態の画像生成方法について説明する。画像生成方法は、画像処理装置１００によって実施することができる。本実施形態の画像生成方法は、少なくとも、図８に示した以下のステップＳ２およびステップＳ５を備える。
（Ｓ２）入力画像中から特定の画像要素５０を抽出する処理を学習させた学習済みモデル４０を用いて、Ｘ線画像２０１から複数の画像要素５０を別々に抽出する。
（Ｓ５）画像要素５０毎に抽出された複数の抽出画像２１と、Ｘ線画像２０１と、を用いた画像間演算を行うことにより、Ｘ線画像２０１に含まれる各画像要素５０に画像処理が行われた処理画像２２を生成する。
また、本実施形態の画像生成方法は、図８に示したステップＳ１、Ｓ３、Ｓ４、Ｓ６をさらに備えていてもよい。
次に、図８を参照して、本実施形態の画像生成方法について説明する。画像生成方法は、画像処理装置１００によって実施することができる。本実施形態の画像生成方法は、少なくとも、図８に示した以下のステップＳ２およびステップＳ５を備える。
（Ｓ２）入力画像中から特定の画像要素５０を抽出する処理を学習させた学習済みモデル４０を用いて、Ｘ線画像２０１から複数の画像要素５０を別々に抽出する。
（Ｓ５）画像要素５０毎に抽出された複数の抽出画像２１と、Ｘ線画像２０１と、を用いた画像間演算を行うことにより、Ｘ線画像２０１に含まれる各画像要素５０に画像処理が行われた処理画像２２を生成する。
また、本実施形態の画像生成方法は、図８に示したステップＳ１、Ｓ３、Ｓ４、Ｓ６をさらに備えていてもよい。
【0047】
ステップＳ１において、Ｘ線画像２０１を取得する。具体的には、画像取得部１０(図１参照)が、たとえば図２に示したＸ線撮影装置２００によって撮影されたＸ線画像２０１を、Ｘ線撮影装置２００またはサーバ装置との通信によって取得する。
【0048】
ステップＳ２では、抽出処理部２０が、学習済みモデル４０を用いて、Ｘ線画像２０１から複数の画像要素５０を別々に抽出する。抽出処理部２０は、ステップＳ１で取得したＸ線画像２０１を学習済みモデル４０に入力する。これにより、学習済みモデル４０が、図５または図６に示したように第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎを出力する。
【0049】
ステップＳ３において、図７に示したように、抽出された複数の抽出画像２１の一部または全部に対して、画像処理を行ってもよい。この場合、画像生成部３０が、画像処理の対象となる抽出画像２１に対して、予め設定された画像処理を所定のパラメータで実行する。画像処理を行うか否かを、ユーザからの入力に応じて決定してもよい。画像処理を行うか否かを、抽出画像２１の画像品質に応じて決定してもよい。ステップＳ３は実行しなくてもよい。
【0050】
ステップＳ４において、画像生成部３０が、抽出画像２１毎に、演算パラメータを取得する。演算パラメータは、たとえば重み係数２３の設定値、演算方法の設定値を含む。演算方法の設定値は、対象となる抽出画像２１について、重み付け加算（すなわち、画像要素５０の強調処理）を行うか、重み付け減算（すなわち、画像要素５０の除去処理）を行うか、を表す。演算方法の設定値および重み係数２３の設定値は、抽出される画像要素５０の種類毎に記憶部１０２に予め設定される。
【0051】
ステップＳ５では、画像生成部３０が、画像要素５０毎に抽出された複数の抽出画像２１と、Ｘ線画像２０１と、を用いた画像間演算を行う。画像生成部３０は、ステップＳ４で取得したパラメータに従って画像間演算を行う。画像生成部３０は、第１抽出画像２１－１～第Ｎ抽出画像２１－Ｎの各々について、それぞれ対応する重み係数２３を乗算して、それぞれ対応する演算方法によってＸ線画像２０１に対する画像間演算を行う。その結果、各抽出画像２１によって重み付け加算または重み付け減算されたＸ線画像２０１が、処理画像２２として生成される。これにより、画像生成部３０が、Ｘ線画像２０１に含まれる各画像要素５０に強調処理または除去処理である画像処理が行われた処理画像２２(図６または図７参照)を生成する。
【0052】
ステップＳ６において、画像処理装置１００は、処理画像２２を出力する。画像処理装置１００は、表示装置１０３、またはサーバ装置に処理画像２２を出力する。また、画像処理装置１００は、記憶部１０２に処理画像２２を記憶する。
【0053】
処理画像２２を表示装置１０３に表示させた後、画像生成部３０は、演算パラメータを変更する操作入力を受け付けてもよい。たとえば画像生成部３０は、重み係数２３の値の入力を受け付けてもよいし、別のプリセットパラメータの選択を受け付けてもよい。たとえば画像生成部３０は、ステップＳ３における画像処理のパラメータの変更を受け付けてもよい。そして、画像生成部３０は、ユーザの操作入力に応じて、変更後のパラメータを用いて処理画像２２を生成し直してもよい。
【0054】
（学習済みモデルの作成方法）
次に、学習済みモデルの作成方法について説明する。学習済みモデル４０の作成は、画像処理装置１００のプロセッサ１０１によって実施してもよいが、機械学習用のコンピュータ（学習装置３００、図１０参照）を用いて実行されうる。
次に、学習済みモデルの作成方法について説明する。学習済みモデル４０の作成は、画像処理装置１００のプロセッサ１０１によって実施してもよいが、機械学習用のコンピュータ（学習装置３００、図１０参照）を用いて実行されうる。
【0055】
図９および図１０に示すように、本実施形態の学習済みモデルの作成方法は、以下のステップＳ１１～Ｓ１４を含む。
（Ｓ１１）ＣＴ（コンピュータ断層撮影）画像データ８０を２次元の投影画像に再構成した再構成画像６０を生成する。ＣＴ画像データ８０は、「３次元Ｘ線画像データ」の一例である。
（Ｓ１２）シミュレーションにより、抽出対象となる画像要素５０の３次元モデルから２次元の投影像６１を生成する。
（Ｓ１３）画像要素５０の投影像６１を再構成画像６０に重畳して重畳画像６７を生成する。
（Ｓ１４）重畳画像６７を教師入力データ６４(図３参照)とし、再構成画像６０または投影像６１を教師出力データ６５(図３参照)として機械学習を行うことにより、入力画像に含まれる画像要素５０を抽出する処理を行う学習済みモデル４０(図３参照)を作成する。
（Ｓ１１）ＣＴ（コンピュータ断層撮影）画像データ８０を２次元の投影画像に再構成した再構成画像６０を生成する。ＣＴ画像データ８０は、「３次元Ｘ線画像データ」の一例である。
（Ｓ１２）シミュレーションにより、抽出対象となる画像要素５０の３次元モデルから２次元の投影像６１を生成する。
（Ｓ１３）画像要素５０の投影像６１を再構成画像６０に重畳して重畳画像６７を生成する。
（Ｓ１４）重畳画像６７を教師入力データ６４(図３参照)とし、再構成画像６０または投影像６１を教師出力データ６５(図３参照)として機械学習を行うことにより、入力画像に含まれる画像要素５０を抽出する処理を行う学習済みモデル４０(図３参照)を作成する。
【0056】
本実施形態では、機械学習は、１つの学習モデルＬＭに対して、画像要素５０毎に作成された教師入力データ６４(図３参照)および教師出力データ６５(図３参照)を入力することを含む。抽出対象となる画像要素５０毎に、別々の学習モデルＬＭに対して機械学習を行ってもよい。
【0057】
まず、図１０のステップＳ１０において、ＣＴ画像データ８０が取得される。ＣＴ画像データ８０は、被写体１をＣＴ撮影することにより得られた、被写体１の３次元構造を反映した３次元画像データである。ＣＴ画像データ８０は、３次元位置座標と、当該位置座標におけるＣＴ値とを含むボクセルデータの３次元集合体である。血管などの動く（拍動する）部分の画像要素については、３次元情報に時間変化も含めた４次元の４Ｄ－ＣＴデータを用いてもよい。これにより、時間に伴って動く対象でも精度よく学習を行うことが可能である。
【0058】
ステップＳ１１において、ＣＴ画像データ８０を２次元の投影画像に再構成した再構成画像６０が生成される。
【0059】
再構成画像６０は、ＣＴ画像データ８０から生成されるＤＲＲ画像である。ＤＲＲ画像は、図２に示したようなＸ線撮影装置２００のＸ線照射部２２０とＸ線検出器２３０との幾何学的投影条件を模擬した仮想的透視投影によって２次元投影画像として作成される模擬Ｘ線画像である。
【0060】
具体的には、図１１に示すように、３次元仮想空間上において、仮想Ｘ線管９１と仮想Ｘ線検出器９２とを、ＣＴ画像データ８０に対して所定の投影方向となるように仮想的に配置することによって、仮想的なＸ線撮影系の３次元空間的配置（撮影ジオメトリ）を生成する。これらのＣＴ画像データ８０と、仮想Ｘ線管９１および仮想Ｘ線検出器９２との配置は、図２に示した実際の被写体１と、Ｘ線照射部２２０およびＸ線検出器２３０との配置と同一の撮影ジオメトリとされる。なお、撮影ジオメトリとは、被写体１とＸ線照射部２２０およびＸ線検出器２３０との３次元空間における幾何学的な配置関係を意味する。
【0061】
そして、仮想Ｘ線管９１から照射されたＸ線が仮想Ｘ線検出器９２に到達するまでに通過した各ボクセルにおけるＣＴ値の合計を加算することによって、再構成画像６０における各画素の画素値が算出される。撮影ジオメトリを変更することによって、任意の投影角度における模擬Ｘ線画像を生成することができる。
【0062】
学習済みモデルの作成方法では、学習装置３００により、１つの３次元データ（ＣＴ画像データ８０）から、複数の再構成画像６０が生成される。再構成画像６０の生成数は、たとえば、約１０万程度でありうる。学習装置３００は、投影角度、投影座標、ＤＲＲ画像生成のためのパラメータ、コントラスト、エッジ強調などの各パラメータを互いに異ならせて、複数の再構成画像６０を生成する。互いに異ならせた複数の再構成画像６０は、たとえば上記のパラメータをランダムに変更して再構成画像６０を生成するアルゴリズムにより生成されうる。
【0063】
本実施形態では、画像要素５０を含む投影像６１と重畳した重畳画像６７を作成するので、再構成画像６０は、抽出対象となる画像要素５０を含まないか、画像要素５０を含んでいても抽出可能なコントラストを有していなくてもよい。
【0064】
また、本明細書において、「ランダム」、「乱数」という用語は、規則性がないこと、規則性がない数列（数の集合）を意味するが、完全にランダムである必要はなく、擬似ランダム、擬似乱数を含むものとする。
【0065】
図９のステップＳ１２において、シミュレーションにより、抽出対象となる画像要素５０の３次元モデルから２次元の投影像６１が生成される。
【0066】
投影像６１は、学習済みモデル４０による抽出の対象となる画像要素５０を表す２次元画像である。投影像６１は、たとえば画像要素５０のみを含む。学習装置３００は、抽出対象となる画像要素５０の３次元モデルを取得し、３次元モデルからシミュレーションにより投影像６１を生成する。
【0067】
３次元モデルは、たとえば、抽出対象となる画像要素５０を含む対象物のＣＴ撮影を行い、得られたＣＴデータから画像要素５０を抽出することにより作成される。３次元モデルは、たとえば、研究機関等により公開されているＣＴ画像データベースを利用して作成しうる。ＣＴ画像データベースは、たとえば、肺部ＣＴ画像データセットとして、米国国立がん研究所によるＬＩＤＣ／ＩＤＲＩ（Ｔｈｅ Ｌｕｎｇ Ｉｍａｇｅ Ｄａｔａ ｂａｓｅ Ｃｏｎｓｏｒｔｉｕｍ ａｎｄ Ｉｍａｇｅ Ｄａｔａｂａｓｅ Ｒｅｓｏｕｒｃｅ Ｉｎｉｔｉａｔｉｖｅ）がある。この他にも、脳ＣＴ画像データセットや、標準化された骨格の３次元モデルなどを利用しうる。また、デバイス５５、衣類５６については、３次元ＣＡＤデータを利用して作成しうる。３次元モデルは、たとえば、抽出対象となる画像要素５０のみを含む３次元画像データである。
【0068】
なお、機械学習に用いる全ての投影像６１を、３次元モデルからシミュレーションにより生成する必要はない。抽出すべき画像要素５０を実際に含んだ２次元データ（Ｘ線画像）を取得し、取得された画像に含まれる画像要素５０を分離抽出することにより、投影像６１を作成しうる。
【0069】
学習装置３００は、３次元モデルまたは２次元データに対して、投影方向、平行移動量、回転量、変形量、コントラストなどのパラメータを互いに異ならせて、２次元の投影像６１を複数生成する。複数の投影像６１は、元になるデータ（３次元モデル、２次元データ、他の投影像６１）に対して、平行移動量、回転量、変形量、コントラストなどの可変パラメータをランダムに変更する処理を行うアルゴリズムによって生成されうる。
【0070】
学習装置３００は、画像要素５０の種類毎に、複数ずつ、２次元の投影像６１を生成する。学習装置３００は、１つの元データ（３次元データ、２次元データまたは投影像６１）から、複数の投影像６１を生成する。１つの元データからの投影像６１の生成数は、たとえば、約１０万程度でありうる。
【0071】
ステップＳ１３において、ステップＳ１２で生成した投影像６１を、ステップＳ１１で生成した再構成画像６０に重畳して、重畳画像６７(図１０参照)を生成する。重畳により、２次元の再構成画像６０中に、抽出すべき画像要素５０の投影像６１を含んだ重畳画像６７が生成される。複数の再構成画像６０と複数の投影像６１との組み合わせにより、重畳画像６７も複数生成される。１つの学習データ６６(図３参照)は、重畳画像６７と、その重畳画像６７の生成に使用した再構成画像６０および投影像６１のうちのいずれかと、を含む。
【0072】
図９のステップＳ１４において、機械学習が行われる。図３の学習モデルＬＭの入力層４１に入力される教師入力データ６４として、重畳画像６７が使用される。そして、学習モデルの出力層４３に入力される教師出力データ６５として、再構成画像６０または投影像６１が使用される。
【0073】
教師出力データ６５が再構成画像６０である場合、学習モデルＬＭは、入力画像から画像要素５０を抽出して、当該画像要素５０を含まない抽出画像２１を生成することを学習する。教師出力データ６５が投影像６１である場合、学習モデルＬＭは、入力画像から画像要素５０を抽出して、抽出した画像要素５０を表す抽出画像２１を生成することを学習する。抽出画像２１は、画像要素５０のみを含む画像でありうる。なお、画像要素５０を含まない処理画像２２を生成し、入力されたＸ線画像２０１から減算することにより、抽出した画像要素５０のみを含む画像が生成できることから、教師出力データ６５として再構成画像６０を採用することと、投影像６１を採用することとは、画像処理の観点で同等と考えることができる。
【0074】
なお、機械学習に用いる全ての学習データ６６を、重畳画像６７により作成する必要はない。抽出すべき画像要素５０を実際に含んだ再構成画像６０を教師入力データ６４とし、その再構成画像６０から抽出した画像要素５０の投影像６１を教師出力データ６５としてもよい。
【0075】
図９のステップＳ１５において、学習装置３００は、機械学習が完了したか否かを判断する。学習装置３００は、たとえば、全ての学習データ６６について、所定の反復回数の機械学習が行われた場合に、機械学習が完了したと判断する。学習装置３００は、たとえば学習モデルＬＭの性能を評価する評価関数の値が所定値以上となった場合に、機械学習が完了したと判断する。学習装置３００は、機械学習が完了していないと判断した場合には、ステップＳ１６において学習データ６６を変更して、次の学習データ６６を用いてステップＳ１４の機械学習を実行する。
【0076】
機械学習が完了した場合、ステップＳ１７において、学習された学習モデルＬＭが、学習済みモデル４０として記憶される。これにより、学習済みモデル４０の作成が完了する。作成された学習済みモデル４０は、ネットワークを介して、または、非一過性の記録媒体に記録され、画像処理装置１００に提供される。
【0077】
（画像要素毎の具体例）
次に、画像要素５０毎の、重畳画像６７（教師入力データ６４）と、再構成画像６０または投影像６１（教師出力データ６５）との具体例を説明する。また、画像要素５０毎の、抽出画像２１を用いた処理画像２２の例を説明する。
次に、画像要素５０毎の、重畳画像６７（教師入力データ６４）と、再構成画像６０または投影像６１（教師出力データ６５）との具体例を説明する。また、画像要素５０毎の、抽出画像２１を用いた処理画像２２の例を説明する。
【0078】
〈骨部〉
図１２は、画像要素５０が骨５３である例を示す。教師入力データ６４は、たとえば骨５３を含まない再構成画像６０と、骨５３を含む投影像６１との重畳画像６７である。
図１２は、画像要素５０が骨５３である例を示す。教師入力データ６４は、たとえば骨５３を含まない再構成画像６０と、骨５３を含む投影像６１との重畳画像６７である。
【0079】
たとえばＣＴ画像データ８０または骨格の３次元モデルから投影像６１を作成し、骨５３を除去した再構成画像６０に重畳することにより、重畳画像６７が生成される。骨５３を除去した再構成画像６０は、骨５３が有するＣＴ値の範囲の画素について、ＣＴ値をゼロにクリップ(固定)することにより生成される。骨部が有するＣＴ値は、一般に、約２００ＨＵ～約１０００ＨＵとされるので、閾値を０ＨＵ～２００ＨＵ程度の所定値に設定すればよい。
【0080】
教師出力データ６５は、骨５３のみを含む投影像６１である。教師出力データ６５には、重畳画像６７の生成に使用した投影像６１が使用される。
【0081】
なお、被験者を撮影したＣＴ画像データ８０には、通常、骨部が含まれるため、ＣＴ画像データ８０から生成した再構成画像６０を教師入力データ６４としてもよい。そのため、必ずしも重畳画像６７を作成する必要はない。
【0082】
この場合、教師出力データ６５は、骨５３のみを含む再構成画像６０である。骨５３のみを含む再構成画像６０は、たとえば骨５３を含む再構成画像６０のうち、骨５３が有するＣＴ値未満のＣＴ値を有する画素について、ＣＴ値をゼロにクリップすることにより生成される。
【0083】
機械学習により、学習モデルＬＭは、教師入力データ６４のような入力画像から、教師出力データ６５のように骨５３を抽出した抽出画像２１を生成することを学習する。
【0084】
画像処理装置１００は、Ｘ線撮影装置２００により取得されたＸ線画像２０１に対して、学習済みモデル４０により生成した抽出画像２１を重み付け減算する。これにより、図１３に示すように、Ｘ線画像２０１から骨５３の画像要素５０を除去した処理画像２２が生成される。図１３では、説明のため便宜的に、除去された骨５３の画像要素５０を破線で示している。
【0085】
【0086】
教師入力データ６４は、デバイス５５を含む重畳画像６７である。ＣＴ画像データ８０から生成した再構成画像６０には、画像要素５０が含まれていない。デバイス５５の３次元モデルから生成されたデバイス５５のみの投影像６１が、再構成画像６０に重畳される。その結果、図１４のようにデバイス５５を含む重畳画像６７が生成される。
【0087】
上記のように、デバイス５５の２次元Ｘ線画像を撮影して、シミュレーションにより形状等を変化させた投影像６１のバリエーションが複数作成されてもよい。複数の投影像６１を用いて、複数の重畳画像６７が生成される。
【0088】
特に、図１６に示すように、画像要素５０が、線状または管状のデバイス５５である場合、画像要素５０の投影像６１は、デバイス５５の３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される。図１６では、デバイス５５の一例として、ステント５５ａを保持したガイドワイヤ５５ｂの投影像６１を、曲線シミュレーションによってランダムな形状で生成した例（Ａ）～（Ｉ）を示す。
【0089】
それぞれの投影像６１におけるガイドワイヤ５５ｂは、ランダムな座標値を基点としたベジェ曲線によって異なる形状に生成されている。ベジェ曲線は、Ｋ個（Ｋは３以上の整数）の制御点から得られるＫ－１次曲線である。Ｋ個の制御点の座標値をランダムに指定するアルゴリズムによって、多様な形状のデバイス５５の投影像６１が大量に生成できる。
【0090】
体内に留置されたステント５５ａの単独の投影像６１は、３次元モデル化した擬似ステントにランダムな平行移動、回転、変形、コントラスト変化を加えることによって、複数生成される。
【0091】
図１４に戻り、教師出力データ６５は、デバイス５５のみを含む投影像６１である。教師出力データ６５には、重畳画像６７の生成に使用した投影像６１が使用される。
【0092】
機械学習により、学習モデルＬＭは、教師入力データ６４のような入力画像から、教師出力データ６５のようにデバイス５５を抽出した抽出画像２１を生成することを学習する。
【0093】
画像処理装置１００は、Ｘ線撮影装置２００により取得されたＸ線画像２０１に対して、学習済みモデル４０により生成した抽出画像２１を重み付け加算する。これにより、図１５に示すように、Ｘ線画像２０１からデバイス５５の画像要素５０を強調した処理画像２２が生成される。図１５では、図１４と比べてデバイス５５を太く図示することにより、強調されたことを示している。強調処理は、画素値を増大させる処理だけでなく、図７に示した画像間演算の前の画像処理により、デバイス５５の画像要素５０を着色して表示する処理なども含まれうる。
【0094】
【0095】
教師入力データ６４は、ノイズ５７を含む重畳画像６７である。ＣＴ画像データ８０から生成した再構成画像６０には、ノイズ５７が含まれていない。ランダムに生成されたノイズ５７のみの投影像６１が、再構成画像６０に重畳される。その結果、図１７のようにノイズ５７を含む重畳画像６７が生成される。ノイズ５７は、ガウス分布に従うガウスノイズや、ポアソン分布に従うポアソンノイズを、投影像６１毎にランダムに生成することによって作成される。
【0096】
教師出力データ６５は、ノイズ５７のみを含む投影像６１である。教師出力データ６５には、重畳画像６７の生成に使用した投影像６１が使用される。
【0097】
機械学習により、学習モデルＬＭは、教師入力データ６４のような入力画像から、教師出力データ６５のようにノイズ５７を抽出した抽出画像２１を生成することを学習する。
【0098】
画像処理装置１００は、Ｘ線撮影装置２００により取得されたＸ線画像２０１に対して、学習済みモデル４０により生成した抽出画像２１を重み付け減算する。これにより、図１８に示すように、Ｘ線画像２０１からノイズ５７の画像要素５０を除去した処理画像２２が生成される。図１８の処理画像２２は、図１７の教師入力データ６４のようにノイズ５７が含まれるＸ線画像２０１から、ノイズ５７が除去されたことを示している。
【0099】
〈血管〉
図１９は、画像要素５０が血管５４である例を示す。血管５４は、造影剤を導入して画像化された造影血管である。図１９は、頭部の脳血管の例を示しているが、その他の血管でもよい。血管は、たとえば心臓の冠動脈でありうる。
図１９は、画像要素５０が血管５４である例を示す。血管５４は、造影剤を導入して画像化された造影血管である。図１９は、頭部の脳血管の例を示しているが、その他の血管でもよい。血管は、たとえば心臓の冠動脈でありうる。
【0100】
教師入力データ６４は、血管５４を含む重畳画像６７である。造影なしで撮影されたＣＴ画像データ８０から生成した再構成画像６０には、血管５４がほぼ含まれていない（十分なコントラストを有していない）。血管５４の３次元モデルから生成された血管５４のみの投影像６１が、再構成画像６０に重畳される。その結果、図１９のように血管５４を含む重畳画像６７が生成される。
【0101】
画像要素５０が血管５４である場合、画像要素５０の投影像６１は、血管５４の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される。投影像６１の血管には、シミュレーションによりランダムな平行移動、回転、変形、コントラスト変化等が施される。すなわち、図１６に示したデバイス５５と同様に、ランダムな変化が施された血管５４の投影像６１のバリエーションが生成される。上記のように、造影撮影された造影血管のＣＴ画像データから、血管５４の投影像６１を作成してもよい。
【0102】
教師出力データ６５は、血管５４のみを含む投影像６１である。教師出力データ６５には、重畳画像６７の生成に使用した投影像６１が使用される。
【0103】
機械学習により、学習モデルＬＭは、教師入力データ６４のような入力画像から、教師出力データ６５のように血管５４を抽出した抽出画像２１を生成することを学習する。
【0104】
画像処理装置１００は、Ｘ線撮影装置２００により取得されたＸ線画像２０１に対して、学習済みモデル４０により生成した抽出画像２１を重み付け加算する。これにより、図２０に示すように、Ｘ線画像２０１から血管５４の画像要素５０を強調した処理画像２２が生成される。図２０の処理画像２２は、図１９の教師入力データ６４のように血管５４の画像要素５０を含むＸ線画像２０１において、当該血管５４が強調表示されたことを示している。
【0105】
【0106】
教師入力データ６４は、衣類５６を含む重畳画像６７である。ＣＴ画像データ８０から生成した再構成画像６０には、衣類５６が含まれていない。衣類５６の３次元モデルから生成された衣類５６のみの投影像６１が、再構成画像６０に重畳される。その結果、図２１のように衣類５６を含む重畳画像６７が生成される。衣類５６の３次元モデルは、衣類５６のみのＣＴ画像から作成してもよいし、たとえばＣＡＤデータなどから作成してもよい。上記のように、衣類５６の２次元Ｘ線画像を撮影して、投影像６１としてもよい。投影像６１には、シミュレーションによりランダムな平行移動、回転、変形、コントラスト変化等が施される。
【0107】
教師出力データ６５は、衣類５６のみを含む投影像６１である。教師出力データ６５には、重畳画像６７の生成に使用した投影像６１と同一のデータが使用される。
【0108】
機械学習により、学習モデルＬＭは、教師入力データ６４のような入力画像から、教師出力データ６５のように衣類５６を抽出した抽出画像２１を生成することを学習する。
【0109】
画像処理装置１００は、Ｘ線撮影装置２００により取得されたＸ線画像２０１に対して、学習済みモデル４０により生成した抽出画像２１を重み付け減算する。これにより、図２２に示すように、Ｘ線画像２０１から衣類５６の画像要素５０を除去した処理画像２２が生成される。図２２では、除去されたことを説明するため、便宜的に、除去された衣類５６の画像要素５０の部分を破線で示している。
【0110】
〈散乱線成分〉
図２３は、画像要素５０がＸ線の散乱線成分５８である例を示す。
図２３は、画像要素５０がＸ線の散乱線成分５８である例を示す。
【0111】
教師入力データ６４は、散乱線成分５８を含む重畳画像６７である。ＣＴ画像データ８０から生成した再構成画像６０では、再構成演算に散乱線成分５８が含まれない。入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成された散乱線成分５８のみの投影像６１が、再構成画像６０に重畳される。その結果、散乱線成分５８を含む重畳画像６７が生成される。
【0112】
モンテカルロシミュレーションでは、たとえば図２（または図１１）に示したように、Ｘ線照射部２２０からＸ線検出器２３０に至る入力画像（Ｘ線画像２０１）の撮影環境を３次元モデル化した撮影環境モデル８５を作成する。そして、Ｘ線照射部２２０から出射され、Ｘ線検出器２３０により検出されるＸ線光子の１つ１つを、乱数を利用した確率現象として計算（シミュレーション）する。すなわち、シミュレーションにおいて、Ｘ線の投影方向、被験者の形状（体形）および光子に対する相互作用に関わる物性が仮定される。そして、Ｘ線光子が被験者を通過する際に生じる吸収、散乱現象などの相互作用が、確率現象として乱数を利用して計算される。モンテカルロシミュレーションでは、所定の光子数の計算を行い、仮想したＸ線検出器２３０により検出されたＸ線光子が形成する投影像６１を生成する。所定の光子数は、画像化するのに十分な数であればよく、たとえば１００億個程度である。
【0113】
本実施形態では、散乱線成分５８である画像要素５０の投影像６１は、撮影環境モデル８５におけるＸ線撮影装置２００が撮影可能な投影角度範囲に亘って投影角度を変化させて複数生成される。たとえば図２に示した例では、Ｃアーム２４０の移動により第１方向２５０および第２方向２５２に投影方向を変更可能である。そこで、図２５に示すように、第１方向２５０に±α度、第２方向２５２に±β度の投影角度範囲の全体に亘って、異なる角度値に変化させた複数の投影角度で、モンテカルロシミュレーションによる投影像６１が生成される。投影角度は、投影角度範囲の全体に亘って等角度間隔で変更されてもよいし、投影角度範囲内で所定の数だけランダムに変更させた値としてもよい。さらに、投影角度範囲の外部であって、投影角度の限界（±α度、±β度）付近の角度値での投影像６１を生成してもよい。
【0114】
また、本実施形態では、散乱線成分５８である画像要素５０の投影像６１は、撮影環境モデル８５における仮想線源のエネルギースペクトルを変化させて複数生成される。すなわち、撮影環境モデル８５として仮定したＸ線照射部２２０により照射されるＸ線のエネルギースペクトルを、異なるスペクトルに変化させた複数条件で、モンテカルロシミュレーションによる投影像６１の作成が行われる。
【0115】
一般に、Ｘ線の光子エネルギーが低い程、被験者の体内で吸収されやすく、散乱線成分５８が発生しにくい。Ｘ線の光子エネルギーが高い程、被験者の体内で吸収されにくく、散乱線成分５８が発生しやすい。そこで、たとえば図２６に示す第１エネルギースペクトル１１１に基づく投影像６１と、図２７に示す第２エネルギースペクトル１１２に基づく投影像６１とが、作成される。第２エネルギースペクトル１１２は、第１エネルギースペクトル１１１よりも相対的に高エネルギーのスペクトルである。図２６および図２７において、グラフの横軸はＸ線光子のエネルギー［ｋｅＶ］を示し、グラフの縦軸はＸ線の相対強度（すなわち、検出されるＸ線光子の数）を示す。
【0116】
なお、吸収スペクトルの相違に起因して、被験者に照射されたＸ線のエネルギースペクトルが検出される過程で相対的に高エネルギー側に偏るビームハードニング現象が発生する。ＣＴ画像データ８０から生成した再構成画像６０では、ビームハードニング現象に起因する画質変化をシミュレートすることができないが、モンテカルロシミュレーションによる投影像６１では、ビームハードニング現象の影響を模擬することが可能である。
【0117】
図２３は、一例として、モンテカルロシミュレーションによって求められたコンプトン散乱による散乱線成分５８の投影像６１を示している。本実施形態では、レイリー散乱などのコンプトン散乱以外の散乱線成分５８を求めてもよい。さらに単一散乱だけでなく多重散乱による散乱線成分５８を求めてもよい。これらの各種の散乱線成分５８を別々の投影像６１として作成し、別々に抽出するように機械学習を行ってもよいし、各種の散乱線成分５８をまとめて表示する投影像６１を作成し、各種の散乱線成分５８を一括して抽出するように機械学習を行ってもよい。
【0118】
教師出力データ６５は、散乱線成分５８のみを含む投影像６１である。教師出力データ６５には、重畳画像６７の生成に使用した投影像６１と同一のデータが使用される。
【0119】
機械学習により、学習モデルＬＭは、教師入力データ６４のような入力画像から、教師出力データ６５のように散乱線成分５８を抽出した抽出画像２１を生成することを学習する。
【0120】
画像処理装置１００は、Ｘ線撮影装置２００により取得されたＸ線画像２０１に対して、学習済みモデル４０により生成した抽出画像２１を重み付け減算する。これにより、図２４に示すように、Ｘ線画像２０１から散乱線成分５８の画像要素５０を除去した処理画像２２が生成される。散乱線成分５８は、Ｘ線画像のコントラストを低下させる要因となるため、処理画像２２では、散乱線成分５８の除去によりコントラストを改善することが可能である。図２４の処理画像２２は、図２３の教師入力データ６４のように散乱線成分５８によりコントラストが低下したＸ線画像２０１から、散乱線成分５８が除去されることにより、コントラストが改善したことを示している。
【0121】
〈コリメータ画像〉
本実施形態では、作成される各教師入力データ６４および各教師出力データ６５の一部には、Ｘ線撮影装置２００（Ｘ線照射部２２０）が備えるコリメータ(図示せず)によって撮影範囲が制限されたコリメータ画像６８が含まれる。コリメータ画像６８では、画像中の一部の領域にのみ画像が形成され、コリメータによって遮蔽された領域には画像情報が含まれない。各教師入力データ６４および各教師出力データ６５のうち一部は、コリメータを用いて実際に撮影された画像に基づくシミュレーションにより、Ｘ線の照射範囲（すなわち、画像領域）の形状、コリメータによる影響を受ける画質のパラメータをランダムに異ならせた複数のコリメータ画像６８を含む。コリメータによる影響を受ける画質のパラメータは、透過度合い（コントラスト）、エッジのボケ、ノイズの含有量などである。
本実施形態では、作成される各教師入力データ６４および各教師出力データ６５の一部には、Ｘ線撮影装置２００（Ｘ線照射部２２０）が備えるコリメータ(図示せず)によって撮影範囲が制限されたコリメータ画像６８が含まれる。コリメータ画像６８では、画像中の一部の領域にのみ画像が形成され、コリメータによって遮蔽された領域には画像情報が含まれない。各教師入力データ６４および各教師出力データ６５のうち一部は、コリメータを用いて実際に撮影された画像に基づくシミュレーションにより、Ｘ線の照射範囲（すなわち、画像領域）の形状、コリメータによる影響を受ける画質のパラメータをランダムに異ならせた複数のコリメータ画像６８を含む。コリメータによる影響を受ける画質のパラメータは、透過度合い（コントラスト）、エッジのボケ、ノイズの含有量などである。
【0122】
コリメータ画像６８は、たとえば、重畳画像６７、再構成画像６０および投影像６１に対して、シミュレーションした照射範囲外の画像部分を除去し、コリメータによる影響を模擬した画像処理を施すことにより生成される。コリメータ画像６８は、コリメータを用いて実際に撮影された画像から生成してもよい。これにより、コリメータの利用によるＸ線の照射範囲の変化や画質の変化に対する、画像要素５０の抽出処理の頑健性を向上できる。
【0123】
以上のようにして、画像要素５０の種類毎の機械学習と、画像処理装置１００による処理画像２２の生成とが行われる。
【0124】
上記の各具体例では、説明の便宜のため、個々の画像要素５０および処理画像２２を個別に説明した。しかし、実際の画像処理装置１００による処理画像２２の生成の際には、画像処理装置１００に入力されるＸ線画像２０１には、上記の骨５３、血管５４、デバイス５５、衣類５６、ノイズ５７および散乱線成分５８のうち複数が含まれる。画像処理装置１００は、入力されたＸ線画像２０１から、学習済みモデル４０によって個々の画像要素５０を抽出した抽出画像２１を生成して、画像間演算を行う。その結果、複数の画像要素５０の１つ１つについて強調処理または除去処理が行われた処理画像２２が生成される。
【0125】
たとえば図７に示した例では、Ｎ＝６であり、第１抽出画像２１－１が骨５３を表し、第２抽出画像２１－２がデバイス５５を表し、第３抽出画像（２１－３とする）がノイズ５７を表し、第４抽出画像（２１－４とする）が血管５４を表し、第５抽出画像（２１－５とする）が衣類５６を表し、第６抽出画像（２１－６とする）が散乱線成分５８を表す。
【0126】
処理画像２２の利用シーンについて、いくつかの例を示す。
【0127】
たとえば処理画像２２は、単純Ｘ線撮影による、被験者の胸部正面のＸ線画像などに適用される。この場合、処理画像２２において、骨５３、ノイズ５７、衣類５６および散乱線成分５８が除去される。骨５３の除去により、心臓や肺などの関心領域の視認性が向上する。また、ノイズ５７および散乱線成分５８が除去されることにより、画像全体の視認性が向上する。衣類５６の画像要素５０が除去可能となることから、被験者が金属等を含む衣服、アクセサリ等を取り外すことなく、Ｘ線撮影を行うことができる。このことは、たとえば集団検診など、多数の被験者のＸ線撮影を連続的に行う場合に、作業効率の向上、被験者の待ち時間の削減などの有用な効果をもたらす。
【0128】
また、たとえば処理画像２２は、Ｘ線血管撮影装置を利用したカテーテル治療のように、Ｘ線画像下治療（ＩＶＲ；Ｉｎｔｅｒｖｅｎｔｉｏｎａｌ Ｒａｄｉｏｌｏｇｙ）におけるＸ線透視画像などに適用される。この場合、処理画像２２において、骨５３、ノイズ５７および散乱線成分５８が除去される。処理画像２２において、カテーテルやガイドワイヤ、ステントなどのデバイス５５および血管５４が強調される。骨５３、ノイズ５７および散乱線成分５８の除去により、透視画像の視認性が向上する。デバイス５５および血管５４が強調されることにより、カテーテル治療における関心領域や操作しているデバイスの視認性が向上する。
【0129】
（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。
本実施形態では、以下のような効果を得ることができる。
【0130】
本実施形態の学習済みモデル４０の作成方法によれば、ＣＴ画像データ８０を２次元の投影画像に再構成した再構成画像６０と、シミュレーションにより、抽出対象となる画像要素５０の３次元モデルから生成した２次元の投影像６１とを重畳した重畳画像６７を教師入力データ６４とし、再構成画像６０または投影像６１を教師出力データ６５とする。これにより、ＣＴ画像データ８０が抽出対象となる画像要素５０を含んでいなくても、シミュレーションにより生成した抽出対象の画像要素５０を用いて機械学習を行える。つまり、抽出すべき画像要素５０を実際に含んだＣＴ画像データ８０を準備しなくても、教師データを用意することができる。また、シミュレーションにより抽出対象の画像要素５０の投影像６１を生成するので、ＣＴ画像データ８０に含まれていても分離抽出することが困難な画像要素５０についても、教師データを用意することができる。その結果、様々な画像要素５０に対して、かつ、複数の画像要素５０に対して画像処理を行うための学習済みモデル４０の作成を効率的に行うことができる。
【0131】
本実施形態の画像生成方法および画像処理装置１００によれば、入力画像中から特定の画像要素５０を抽出する処理を学習させた学習済みモデル４０を用いて、Ｘ線画像２０１から複数の画像要素５０を別々に抽出し、画像要素５０毎に抽出された複数の抽出画像２１と、Ｘ線画像２０１と、を用いた画像間演算を行うことにより処理画像２２を生成する。これにより、入力されたＸ線画像２０１から様々な画像要素５０を抽出画像２１として別々に抽出した上で、抽出された画像要素５０の種類に応じて、それぞれの抽出画像２１をＸ線画像２０１に対して自由に加算したり減算したりすることができる。その結果、様々な画像要素５０に対して、かつ、複数の画像要素５０に対しても画像処理を行うことができる。
【0132】
また、上記実施形態の例では、以下のように構成したことによって、更なる効果が得られる。
【0133】
すなわち、本実施形態では、重畳画像６７は、互いに異なる複数の画像要素５０毎に、複数作成され、複数の画像要素５０は、生体組織である第１要素５１と、非生体組織である第２要素５２とを含む。このように構成すれば、骨５３や血管５４などの生体組織の画像要素５０に対する画像処理と、体内に導入されるデバイス５５や被験者が装着している衣類５６などの非生体組織の画像要素５０に対する画像処理とを、複合的に実行可能な学習済みモデル４０を作成できる。このような学習済みモデル４０を画像処理装置１００に用いることにより、生体組織の画像要素５０に対する画像処理と、非生体組織の画像要素５０に対する画像処理とを、複合的に実行できる。
【0134】
また、本実施形態では、重畳画像６７は、互いに異なる複数の画像要素５０毎に、複数作成され、複数の画像要素５０は、骨５３、血管５４、体内に導入されるデバイス５５、衣類５６、ノイズ５７およびＸ線の散乱線成分５８のうち少なくとも複数を含む。このように構成すれば、Ｘ線画像２０１の様々な利用シーンに応じた多様な画像要素５０に対する画像処理を、複合的に実行可能な学習済みモデル４０を作成できる。このような学習済みモデル４０を画像処理装置１００に用いることにより、Ｘ線画像２０１の様々な利用シーンに応じた多様な画像要素５０に対する画像処理を、複合的に実行できる。
【0135】
また、本実施形態では、画像要素５０は、線状または管状のデバイス５５を含み、画像要素５０の投影像６１は、デバイス５５の３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される。このように構成すれば、ガイドワイヤやカテーテルなどの長くて様々な形状に曲がるデバイス５５の画像要素５０を学習するための教師データを、シミュレーションにより多様な形状でかつ大量に生成できる。その結果、実際に被験者の体内にデバイス５５が配置された状態の３次元ＣＴデータを大量に用意しなくても、効率的な機械学習を行える。
【0136】
また、本実施形態では、画像要素５０は、血管５４を含み、画像要素５０の投影像６１は、血管５４の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される。このように構成すれば、長くて複雑な形状に曲がる血管５４の画像要素５０を学習するための教師データを、シミュレーションにより、大量に、かつ、多様な個人差を含むように生成できる。その結果、様々な被験者の３次元ＣＴデータを大量に用意しなくても、効率的な機械学習を行える。
【0137】
また、本実施形態では、画像要素５０は、Ｘ線の散乱線成分５８を含み、画像要素５０の投影像６１は、入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される。このように構成すれば、実際の３次元ＣＴデータや２次元のＸ線画像２０１からは分離抽出することが困難なＸ線の散乱線成分５８の投影像６１を、モンテカルロシミュレーションによって生成できる。このようにして生成した投影像６１を用いて、散乱線成分５８を抽出する学習済みモデル４０を作成することにより、実際に被験者を撮影したＸ線画像２０１から散乱線成分５８を除去する画像処理を、モンテカルロシミュレーションのような複雑かつ高負荷の計算処理を行うことなく実現できる。そのため、たとえば散乱線成分５８の影響が大きい腹部や骨部付近のコントラストを効果的に改善できる。また、たとえばＸ線撮影において散乱線成分５８の影響を軽減するために用いられるＸ線吸収グリッドを使用しないで撮影を行い、散乱線成分５８を画像処理によって除去するといった利用も可能となる。その場合、Ｘ線吸収グリッドを使用しない分だけＸ線量を低減できるので、被験者の被曝線量を効果的に低減できる。
【0138】
また、本実施形態では、画像要素５０の投影像６１は、撮影環境モデル８５におけるＸ線撮影装置２００が撮影可能な投影角度範囲（±α、±β）に亘って投影角度を変化させて複数生成される。このように構成すれば、単純Ｘ線撮影のように特定の投影方向（胸部正面、胸部側面など）からのみ撮影する場合だけでなく、Ｘ線画像下治療において多様な投影角度でＸ線撮影が行われたり、投影角度を変化させながらＸ線撮影が行われたりする場合にも、散乱線成分５８を効果的に抽出可能な汎用性の高い学習済みモデル４０を作成できる。
【0139】
また、本実施形態では、画像要素５０の投影像６１は、撮影環境モデル８５における仮想線源のエネルギースペクトルを変化させて複数生成される。実際の医療現場では、撮影部位などに応じて、エネルギースペクトルが異なる様々な撮影条件でＸ線撮影が行われるが、上記構成によれば、そのようにＸ線画像２０１が様々なエネルギースペクトルで撮影される場合でも、散乱線成分５８を効果的に抽出可能な汎用性の高い学習済みモデル４０を作成できる。
【0140】
また、本実施形態では、機械学習は、１つの学習モデルＬＭに対して、画像要素５０毎に作成された教師入力データ６４および教師出力データ６５を入力することを含み、学習済みモデル４０は、入力画像から複数の画像要素５０を重複なしで抽出し、抽出した複数の画像要素５０と、抽出後に残る残余画像要素５９と、をそれぞれ出力するように構成されている。このように構成すれば、抽出された複数の画像要素５０と、残余画像要素５９と、を全て加算すると元の入力画像に戻るように画像要素５０の抽出が行える学習済みモデル４０を提供できる。つまり、１つのＸ線画像２０１から複数の画像要素５０を抽出した場合でも、当該Ｘ線画像２０１に含まれる画像情報のロスや、画像情報の意図しない増大が発生しない。Ｘ線画像２０１を用いて診断を行う医師等は、たとえ視認性を向上させる各種の画像処理を行ったとしても、元画像に含まれている画像情報に診断の根拠を見出すため、画像情報のロスが発生しないように画像要素５０を抽出可能な学習済みモデル４０によれば、複合的な画像処理を行う場合でも医師等が信頼可能な画像を提供できる。
【0141】
また、本実施形態では、複数の抽出画像２１の一部または全部に対して、別々に画像処理を行い、処理画像２２は、画像処理後の複数の抽出画像２１と、Ｘ線画像２０１との画像間演算により生成される。このように構成すれば、学習済みモデル４０を用いて複数の画像要素５０を別々に抽出できることを利用して、抽出された各画像要素５０の抽出画像２１に対して、それぞれ独立して補正処理や補完処理などの画像処理が行える。ここで、たとえば抽出前のＸ線画像２０１に対して、特定の画像要素５０だけに作用する画像処理を実行しようとする場合、その画像処理アルゴリズムは複雑かつ高負荷になり、特定の画像要素５０以外の画像要素５０に悪影響が及ぶこともありうる。これに対して、抽出画像２１に対して画像処理を行う場合、他の画像要素５０が存在しないことから、抽出画像２１全体に対する単純なフィルタリング処理などを行うだけでも高い画像処理精度が得られる。そして、画像処理後の抽出画像２１を用いて画像間演算を行うことにより、複数の画像要素５０を単に強調したり除去したりするだけでなく、さらに個々の画像要素５０に限定した高精度な画像処理を実行した処理画像２２を、簡単に生成できる。
【0142】
また、本実施形態では、画像間演算は、Ｘ線画像２０１に対する、個々の抽出画像２１の重み付け加算または重み付け減算を行うことを含む。このように構成すれば、抽出した複数の画像要素５０を１つずつ個別に強調したり、除去したりした処理画像２２を得ることができる。また、個々の画像要素５０の強調度合いまたは除去度合いを、重み係数２３の調整によって適切に設定できるので、Ｘ線画像２０１の様々な利用シーンに応じて、必要とされる画像要素５０に対して高い視認性が得られる処理画像２２を生成できる。
【0143】
（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
【0144】
たとえば、上記実施形態では、機械学習を行う装置（学習装置３００）と、画像処理装置１００とが別々の装置である例を示したが、本発明はこれに限られない。本発明では、画像処理装置において機械学習を行ってもよい。また、学習装置３００は、クラウド上に設けられたサーバコンピュータにより構成されていてもよい。
【0145】
また、上記実施形態（図５～図７参照）では、１つの学習済みモデル４０により、複数の画像要素５０の抽出を行う例を示したが、本発明はこれに限られない。本発明では、複数の学習済みモデルによって複数の画像要素５０の抽出を行ってもよい。たとえば図２９に示すように、抽出すべき画像要素５０毎に、１つずつ学習済みモデル４０を設けてもよい。図２９では、学習済みモデル４０－１、学習済みモデル４０－２、・・・、学習済みモデル４０－Ｎが設けられている。１つの学習済みモデル４０は、１つ（１種類）の画像要素５０の抽出を行う。この他、複数の画像要素５０を抽出するように作成された学習済みモデル４０を、複数設けてもよい。
【0146】
また、上記実施形態では、複数の画像要素５０が、骨５３、血管５４、デバイス５５、衣類５６、ノイズ５７および散乱線成分５８のうち少なくとも複数を含む例を示したが、本発明はこれに限られない。画像要素５０は、骨５３、血管５４、デバイス５５、衣類５６、ノイズ５７および散乱線成分５８以外の画像要素を含んでもよい。画像要素５０は、たとえば体内の特定の臓器などの特定の構造部分であってもよい。また、たとえば骨５３のうち、特定部位の骨の画像要素５０や、血管５４のうち、特定部位の血管の画像要素５０を他の骨や他の血管とは別に抽出してもよい。画像要素５０は、骨５３、血管５４、デバイス５５、衣類５６、ノイズ５７および散乱線成分５８を含まなくてもよい。
【0147】
また、上記実施形態では、画像間演算により、骨５３に除去処理を施し、血管５４およびデバイス５５に強調処理を施す例を示したが、本発明はこれに限られない。骨５３に強調処理を施してもよいし、血管５４およびデバイス５５の一方または両方に除去処理を施してもよい。
【0148】
また、上記実施形態では、画像間演算の例として重み付け加算、重み付け減算の２つの例を示したが、本発明はこれに限られない。画像間演算は、重み係数なしの加算または減算であってもよい。画像要素５０の強調処理を、重み係数あり、または重み係数なしの乗算により行ってもよい。画像要素５０の除去処理を、重み係数あり、または重み係数なしの除算により行ってもよい。
【0149】
［態様］
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0150】
（項目１）
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成する、学習済みモデルの作成方法。
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成する、学習済みモデルの作成方法。
【0151】
（項目２）
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、項目１に記載の学習済みモデルの作成方法。
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、項目１に記載の学習済みモデルの作成方法。
【0152】
（項目３）
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、項目１に記載の学習済みモデルの作成方法。
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、項目１に記載の学習済みモデルの作成方法。
【0153】
（項目４）
前記画像要素は、線状または管状のデバイスを含み、
前記画像要素の前記投影像は、前記デバイスの３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される、項目１に記載の学習済みモデルの作成方法。
前記画像要素は、線状または管状のデバイスを含み、
前記画像要素の前記投影像は、前記デバイスの３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される、項目１に記載の学習済みモデルの作成方法。
【0154】
（項目５）
前記画像要素は、血管を含み、
前記画像要素の前記投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される、項目１に記載の学習済みモデルの作成方法。
前記画像要素は、血管を含み、
前記画像要素の前記投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される、項目１に記載の学習済みモデルの作成方法。
【0155】
（項目６）
前記画像要素は、Ｘ線の散乱線成分を含み、
前記画像要素の前記投影像は、前記入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される、項目１に記載の学習済みモデルの作成方法。
前記画像要素は、Ｘ線の散乱線成分を含み、
前記画像要素の前記投影像は、前記入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される、項目１に記載の学習済みモデルの作成方法。
【0156】
（項目７）
前記画像要素の前記投影像は、撮影環境モデルにおけるＸ線撮影装置が撮影可能な投影角度範囲に亘って投影角度を変化させて複数生成される、項目６に記載の学習済みモデルの作成方法。
前記画像要素の前記投影像は、撮影環境モデルにおけるＸ線撮影装置が撮影可能な投影角度範囲に亘って投影角度を変化させて複数生成される、項目６に記載の学習済みモデルの作成方法。
【0157】
（項目８）
前記画像要素の前記投影像は、撮影環境モデルにおける仮想線源のエネルギースペクトルを変化させて複数生成される、項目６に記載の学習済みモデルの作成方法。
前記画像要素の前記投影像は、撮影環境モデルにおける仮想線源のエネルギースペクトルを変化させて複数生成される、項目６に記載の学習済みモデルの作成方法。
【0158】
（項目９）
前記機械学習は、１つの学習モデルに対して、前記画像要素毎に作成された前記教師入力データおよび前記教師出力データを入力することを含み、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、項目１に記載の学習済みモデルの作成方法。
前記機械学習は、１つの学習モデルに対して、前記画像要素毎に作成された前記教師入力データおよび前記教師出力データを入力することを含み、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、項目１に記載の学習済みモデルの作成方法。
【0159】
（項目１０）
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する、画像生成方法。
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する、画像生成方法。
【0160】
（項目１１）
前記画像処理は、強調処理または除去処理を含む、項目１０に記載の画像生成方法。
前記画像処理は、強調処理または除去処理を含む、項目１０に記載の画像生成方法。
【0161】
（項目１２）
複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、項目１０に記載の画像生成方法。
複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、項目１０に記載の画像生成方法。
【0162】
（項目１３）
複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、項目１０に記載の画像生成方法。
複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、項目１０に記載の画像生成方法。
【0163】
（項目１４）
前記複数の抽出画像の一部または全部に対して、別々に画像処理を行い、
前記処理画像は、画像処理後の前記複数の抽出画像と、前記Ｘ線画像との画像間演算により生成される、項目１０に記載の画像生成方法。
前記複数の抽出画像の一部または全部に対して、別々に画像処理を行い、
前記処理画像は、画像処理後の前記複数の抽出画像と、前記Ｘ線画像との画像間演算により生成される、項目１０に記載の画像生成方法。
【0164】
（項目１５）
前記画像間演算は、前記Ｘ線画像に対する、個々の抽出画像の重み付け加算または重み付け減算を行うことを含む、項目１０に記載の画像生成方法。
前記画像間演算は、前記Ｘ線画像に対する、個々の抽出画像の重み付け加算または重み付け減算を行うことを含む、項目１０に記載の画像生成方法。
【0165】
（項目１６）
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、項目１０に記載の画像生成方法。
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、項目１０に記載の画像生成方法。
【0166】
（項目１７）
前記学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより前記画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている、項目１０に記載の画像生成方法。
前記学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより前記画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている、項目１０に記載の画像生成方法。
【0167】
（項目１８）
Ｘ線画像を取得する画像取得部と、
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、前記Ｘ線画像から複数の画像要素を別々に抽出する抽出処理部と、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する画像生成部と、を備える、画像処理装置。
Ｘ線画像を取得する画像取得部と、
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、前記Ｘ線画像から複数の画像要素を別々に抽出する抽出処理部と、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成する画像生成部と、を備える、画像処理装置。
【符号の説明】
【0168】
１０ 画像取得部
２０ 抽出処理部
２１（２１－１、２１－２、２１－Ｎ） 抽出画像
２２ 処理画像
３０ 画像生成部
４０（４０－１、４０－２、４０－Ｎ） 学習済みモデル
５０ 画像要素
５１ 第１要素
５２ 第２要素
５３ 骨
５４ 血管
５５ デバイス
５６ 衣類
５７ ノイズ
５８ 散乱線成分
５９ 残余画像要素
６０ 再構成画像
６１ 投影像
６４ 教師入力データ
６５ 教師出力データ
６７ 重畳画像
８０ ＣＴ画像データ（３次元Ｘ線画像データ）
８５ 撮影環境モデル
１００ 画像処理装置
１１１ 第１エネルギースペクトル（エネルギースペクトル）
１１２ 第２エネルギースペクトル（エネルギースペクトル）
２００ Ｘ線撮影装置
２０１ Ｘ線画像
ＬＭ 学習モデル
２０ 抽出処理部
２１（２１－１、２１－２、２１－Ｎ） 抽出画像
２２ 処理画像
３０ 画像生成部
４０（４０－１、４０－２、４０－Ｎ） 学習済みモデル
５０ 画像要素
５１ 第１要素
５２ 第２要素
５３ 骨
５４ 血管
５５ デバイス
５６ 衣類
５７ ノイズ
５８ 散乱線成分
５９ 残余画像要素
６０ 再構成画像
６１ 投影像
６４ 教師入力データ
６５ 教師出力データ
６７ 重畳画像
８０ ＣＴ画像データ（３次元Ｘ線画像データ）
８５ 撮影環境モデル
１００ 画像処理装置
１１１ 第１エネルギースペクトル（エネルギースペクトル）
１１２ 第２エネルギースペクトル（エネルギースペクトル）
２００ Ｘ線撮影装置
２０１ Ｘ線画像
ＬＭ 学習モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【手続補正書】
【提出日】2024-09-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記重畳画像は、互いに異なる複数の前記画像要素毎に、複数作成され、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、学習済みモデルの作成方法。
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記重畳画像は、互いに異なる複数の前記画像要素毎に、複数作成され、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、学習済みモデルの作成方法。
【請求項2】
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、学習済みモデルの作成方法。
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、学習済みモデルの作成方法。
【請求項3】
前記画像要素は、前記非生体組織である第２要素として、線状または管状のデバイスを含み、
前記画像要素の前記投影像は、前記デバイスの３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される、請求項１に記載の学習済みモデルの作成方法。
前記画像要素の前記投影像は、前記デバイスの３次元モデルの形状をランダムな座標値に基づいて生成した曲線でシミュレーションすることにより生成される、請求項１に記載の学習済みモデルの作成方法。
【請求項4】
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記画像要素は、血管を含み、
前記画像要素の前記投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される、学習済みモデルの作成方法。
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記画像要素は、血管を含み、
前記画像要素の前記投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される、学習済みモデルの作成方法。
【請求項5】
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記画像要素は、Ｘ線の散乱線成分を含み、
前記画像要素の前記投影像は、前記入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される、学習済みモデルの作成方法。
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記画像要素は、Ｘ線の散乱線成分を含み、
前記画像要素の前記投影像は、前記入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される、学習済みモデルの作成方法。
【請求項6】
３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記機械学習は、１つの学習モデルに対して、前記画像要素毎に作成された前記教師入力データおよび前記教師出力データを入力することを含み、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、学習済みモデルの作成方法。
シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、
前記画像要素の前記投影像を前記再構成画像に重畳して重畳画像を生成し、
前記重畳画像を教師入力データとし、前記再構成画像または前記投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる前記画像要素を抽出する処理を行う学習済みモデルを作成し、
前記機械学習は、１つの学習モデルに対して、前記画像要素毎に作成された前記教師入力データおよび前記教師出力データを入力することを含み、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、学習済みモデルの作成方法。
【請求項7】
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、画像生成方法。
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む、画像生成方法。
【請求項8】
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、画像生成方法。
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む、画像生成方法。
【請求項9】
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、画像生成方法。
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記学習済みモデルは、前記入力画像から前記複数の画像要素を重複なしで抽出し、抽出した前記複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている、画像生成方法。
【請求項10】
入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより前記画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている、画像生成方法。
画像要素毎に抽出された複数の抽出画像と、前記Ｘ線画像と、を用いた画像間演算を行うことにより、前記Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、
前記学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより前記画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている、画像生成方法。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は、学習済みモデルの作成方法および画像生成方法に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
上記目的を達成するために、この発明の第１の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む。
この発明の第２の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む。
この発明の第３の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、画像要素は、血管を含み、画像要素の投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される。
この発明の第４の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、画像要素は、Ｘ線の散乱線成分を含み、画像要素の投影像は、入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される。
この発明の第５の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、機械学習は、１つの学習モデルに対して、画像要素毎に作成された教師入力データおよび教師出力データを入力することを含み、学習済みモデルは、入力画像から複数の画像要素を重複なしで抽出し、抽出した複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている。
この発明の第２の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、重畳画像は、互いに異なる複数の画像要素毎に、複数作成され、複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む。
この発明の第３の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、画像要素は、血管を含み、画像要素の投影像は、血管の３次元モデルの形状をランダムに変化させるシミュレーションにより生成される。
この発明の第４の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、画像要素は、Ｘ線の散乱線成分を含み、画像要素の投影像は、入力画像の撮影環境をモデル化したモンテカルロシミュレーションにより生成される。
この発明の第５の局面における学習済みモデルの作成方法は、３次元Ｘ線画像データを２次元の投影画像に再構成した再構成画像を生成し、シミュレーションにより、抽出対象となる画像要素の３次元モデルから２次元の投影像を生成し、画像要素の投影像を再構成画像に重畳して重畳画像を生成し、重畳画像を教師入力データとし、再構成画像または投影像を教師出力データとして機械学習を行うことにより、入力画像に含まれる画像要素を抽出する処理を行う学習済みモデルを作成し、機械学習は、１つの学習モデルに対して、画像要素毎に作成された教師入力データおよび教師出力データを入力することを含み、学習済みモデルは、入力画像から複数の画像要素を重複なしで抽出し、抽出した複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
この発明の第６の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、複数の画像要素は、生体組織である第１要素と、非生体組織である第２要素とを含む。
この発明の第７の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む。
この発明の第８の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、学習済みモデルは、入力画像から複数の画像要素を重複なしで抽出し、抽出した複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている。
この発明の第９の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている。
この発明の第７の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、複数の画像要素は、骨、血管、体内に導入されるデバイス、衣類、ノイズおよびＸ線の散乱線成分のうち少なくとも複数を含む。
この発明の第８の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、学習済みモデルは、入力画像から複数の画像要素を重複なしで抽出し、抽出した複数の画像要素と、抽出後に残る残余画像要素と、をそれぞれ出力するように構成されている。
この発明の第９の局面における画像生成方法は、入力画像中から特定の画像要素を抽出する処理を学習させた学習済みモデルを用いて、Ｘ線画像から複数の画像要素を別々に抽出し、画像要素毎に抽出された複数の抽出画像と、Ｘ線画像と、を用いた画像間演算を行うことにより、Ｘ線画像に含まれる各画像要素に画像処理が行われた処理画像を生成し、学習済みモデルは、３次元画像データから２次元の投影画像に再構成した再構成画像と、シミュレーションにより画像要素の３次元モデルから作成された投影像とを用いて機械学習により予め作成されている。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】