(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】X線撮影装置、学習済みモデルの生成方法、および、X線撮影装置の作動方法
(51)【国際特許分類】
A61B 6/00 20060101AFI20231219BHJP
A61B 6/12 20060101ALI20231219BHJP
【FI】
A61B6/00 350D
A61B6/12
A61B6/00 320Z
(21)【出願番号】P 2022534509
(86)(22)【出願日】2020-07-06
(86)【国際出願番号】 JP2020026452
(87)【国際公開番号】W WO2022009281
(87)【国際公開日】2022-01-13
【審査請求日】2022-11-30
(73)【特許権者】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【氏名又は名称】宮園 博一
(72)【発明者】
【氏名】丹野 圭一
【審査官】井上 香緒梨
(56)【参考文献】
【文献】特開2020-081185(JP,A)
【文献】特表2018-527964(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B6/00-6/14
G06T7/00-7/90
G06T1/00-1/40
(57)【特許請求の範囲】
【請求項1】
体内に医療用のデバイスが留置された被検体にX線を照射するX線照射部と、
前記被検体を透過したX線を検出するX線検出部と、
前記X線照射部から照射されるX線のパルス幅を設定するパルス幅設定部と、
前記パルス幅設定部によって設定された前記パルス幅のX線を前記X線照射部から照射させるX線照射制御部と、
前記X線検出部によって検出された前記パルス幅のX線に基づいて、X線画像を生成するX線画像生成部と、
機械学習によって生成された学習済みモデルに基づいて、前記X線画像生成部によって生成された前記パルス幅のX線による前記X線画像から、前記X線画像中の前記デバイスを検出するデバイス検出部と、を備え、
前記パルス幅は、前記学習済みモデルに基づく前記デバイスの検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅である、X線撮影装置。
【請求項2】
前記デバイス検出部は、前記ぶれ抑制パルス幅のX線による前記X線画像に対応する教師画像を用いた機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、請求項1に記載のX線撮影装置。
【請求項3】
前記デバイス検出部は、前記ぶれ抑制パルス幅のX線による前記X線画像における前記被検体の体内の前記デバイスを模擬するように生成された教師入力用X線画像と、前記教師入力用X線画像に含まれる前記デバイスの位置または形状を示す教師出力用情報とによって、機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、請求項2に記載のX線撮影装置。
【請求項4】
前記デバイス検出部は、前記ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づいて前記X線画像における前記被検体の体内の前記デバイスを模擬するように生成された前記教師入力用X線画像と、前記教師入力用X線画像に含まれる前記デバイスの位置または形状を示す前記教師出力用情報とによって、機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、請求項3に記載のX線撮影装置。
【請求項5】
前記デバイスは、前記被検体の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを含み、
前記デバイス検出部は、前記X線画像における前記被検体の心臓の近傍の血管に留置される前記カテーテルまたは前記ガイドワイヤを模擬するように生成された前記教師入力用X線画像と、前記教師入力用X線画像に含まれる前記カテーテルまたは前記ガイドワイヤの位置または形状を示す前記教師出力用情報とによって、機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記カテーテルまたは前記ガイドワイヤを検出するように構成されている、請求項3に記載のX線撮影装置。
【請求項6】
前記ぶれ抑制パルス幅は、8ミリ秒以下のパルス幅であり、
前記デバイス検出部は、前記学習済みモデルに基づいて、8ミリ秒以下のパルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、請求項1に記載のX線撮影装置。
【請求項7】
前記デバイス検出部は、多層のニューラルネットワークを用いる機械学習である深層学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、請求項1に記載のX線撮影装置。
【請求項8】
前記X線照射部から照射されるX線の前記パルス幅を設定する前記パルス幅設定部と、設定された前記パルス幅のX線を前記X線照射部から照射させる前記X線照射制御部と、前記X線検出部によって検出されたX線に基づいて、前記X線画像を生成する前記X線画像生成部と、機械学習によって生成された前記学習済みモデルに基づいて、前記X線画像生成部によって生成された前記X線画像から、前記X線画像中の前記デバイスを検出する前記デバイス検出部とを含む制御部をさらに備える、請求項1に記載のX線撮影装置。
【請求項9】
被検体の体内に留置される医療用のデバイスの検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅のX線によるX線画像に対応するように、前記ぶれ抑制パルス幅のX線によるX線画像における前記被検体の体内の前記デバイスを模擬するように生成された教師入力用X線画像を取得するステップと、
前記教師入力用X線画像における前記デバイスの位置または形状を示す教師出力用情報を取得するステップと、
前記教師入力用X線画像と前記教師出力用情報とによって、機械学習によって学習済みモデルを生成するステップと、を備える、学習済みモデルの生成方法。
【請求項10】
前記教師入力用X線画像を取得するステップは、前記ぶれ抑制パルス幅のX線によって生成された模擬X線画像を取得するステップと、
取得された前記模擬X線画像に対して画像処理を行うことによって、前記X線画像における前記被検体の体内の前記デバイスを模擬するように前記教師入力用X線画像を生成するステップとを含む、請求項9に記載の学習済みモデルの生成方法。
【請求項11】
機械学習によって生成された学習済みモデルに基づいて、生成されたX線画像から被検体の体内に留置される医療用のデバイスを検出する検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に、前記X線画像を生成するために
発射されるX線のパルス幅を設定するステップと、
体内に前記デバイスが留置された前記被検体に、設定された前記ぶれ抑制パルス幅のX線を
発射するステップと、
前記被検体を透過したX線を検出するステップと、
検出された前記ぶれ抑制パルス幅のX線に基づいて、前記X線画像を生成するステップと、
前記学習済みモデルに基づいて、生成された前記ぶれ抑制パルス幅のX線による前記X線画像から、前記X線画像中の前記デバイスを検出するステップと、を備える、
X線撮影装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、X線撮影装置、学習済みモデルの生成方法、および、X線撮影装置の作動方法に関する。
【背景技術】
【0002】
従来、機械学習を用いて放射線画像中からマーカーを検出する放射線撮影装置が知られている。このような放射線撮影装置は、たとえば、特開2017-185007号公報に開示されている。
【0003】
上記特開2017-185007号公報に記載の放射線撮影装置は、冠動脈インターベンション治療において、放射線を照射することによって被検体内を画像化するための放射線画像を撮影する装置である。この放射線撮影装置は、学習結果データに基づいて放射線画像中から画像認識により放射線画像用のマーカーの位置および範囲を検出する。マーカーは、被検体内にカテーテル挿入されるステントの目印として設けられる。また、学習結果データは、マーカーを含む画像を複数角度に回転させて得られた複数の回転画像を用いた機械学習により予め取得される。そして、上記特開2017-185007号公報に記載の放射線撮影装置は、検出されたマーカーの位置に基づいて放射線画像のステントを強調させて表示する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記特開2017-185007号公報には記載されていないが、放射線画像(X線画像)において、目印としてのマーカーが設けられていないカテーテルおよびガイドワイヤなどの医療用のデバイスを検出することが考えられる。この場合に、機械学習によって生成された学習済みモデルに基づいてX線画像中のデバイスを検出することが考えられる。
【0006】
しかしながら、体内に留置されるカテーテルおよびガイドワイヤなどの医療用のデバイスは、心臓の拍動などの被検体の体内の動きに起因して不規則に移動する。たとえば、冠状動脈に留置されるカテーテルやガイドワイヤ等の医療用のデバイスを含む複数のX線画像を撮影した場合には、冠状動脈が心臓の拍動に伴い不規則に移動(変形)するため、カテーテルやガイドワイヤ等の医療用のデバイスの位置および形状は、心臓の拍動に伴って不規則に変化する。具体的には、心臓が最も大きく拡張する時点と心臓が最も小さく収縮する時点とでは、冠状動脈の移動速度が小さい(略ゼロである)ため、デバイスの位置および形状の変化は小さい。また、心臓が最も大きく拡張する時点と心臓が最も小さく収縮する時点との間では、心臓の容積の変化率に応じて冠状動脈の移動速度が大きくなるため、デバイスの位置および形状の変化は大きくなる。
【0007】
このように、体内でのデバイスの移動(変形)が一定ではない(不規則である)ために、撮影されたX線画像におけるデバイスは、多種多様な大きさのぶれを含む。そのため、学習済みモデルに基づいてX線画像中のデバイスを検出するために、多種多様なぶれに対応するように学習済みモデルを学習させる必要がある。すなわち、多種多様なぶれに対応するように多数の教師画像を用いて機械学習を行う必要がある。この場合、機械学習が収束しない場合があり、仮に収束したとしても、機械学習によって生成された学習済みモデルに基づくデバイスの検出精度は低くなる。
【0008】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、X線画像における被検体の体内に留置される医療用のデバイスを、機械学習によって生成された学習済みモデルに基づいて精度よく検出することが可能なX線撮影装置、学習済みモデルの生成方法、および、X線撮影装置の作動方法を提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するために、この発明の第1の局面におけるX線撮影装置は、体内に医療用のデバイスが留置された被検体にX線を照射するX線照射部と、被検体を透過したX線を検出するX線検出部と、X線照射部から照射されるX線のパルス幅を設定するパルス幅設定部と、パルス幅設定部によって設定されたパルス幅のX線をX線照射部から照射させるX線照射制御部と、X線検出部によって検出されたパルス幅のX線に基づいて、X線画像を生成するX線画像生成部と、機械学習によって生成された学習済みモデルに基づいて、X線画像生成部によって生成されたパルス幅のX線によるX線画像から、X線画像中のデバイスを検出するデバイス検出部と、を備え、パルス幅は、学習済みモデルに基づくデバイスの検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅である。
【0010】
この発明の第2の局面における学習済みモデルの生成方法は、被検体の体内に留置される医療用のデバイスの検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅のX線によるX線画像に対応するように、ぶれ抑制パルス幅のX線によるX線画像における被検体の体内のデバイスを模擬するように生成された教師入力用X線画像を取得するステップと、教師入力用X線画像におけるデバイスの位置または形状を示す教師出力用情報を取得するステップと、教師入力用X線画像と教師出力用情報とによって、機械学習によって学習済みモデルを生成するステップと、を備える。
【0011】
この発明の第3の局面におけるX線撮影装置の作動方法は、機械学習によって生成された学習済みモデルに基づいて、生成されたX線画像から被検体の体内に留置される医療用のデバイスを検出する検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に、X線画像を生成するために照射されるX線のパルス幅を設定するステップと、体内にデバイスが留置された被検体に、設定されたぶれ抑制パルス幅のX線を照射させるステップと、被検体を透過したX線を検出するステップと、検出されたぶれ抑制パルス幅のX線に基づいて、X線画像を生成するステップと、学習済みモデルに基づいて、生成されたぶれ抑制パルス幅のX線によるX線画像から、X線画像中のデバイスを検出するステップと、を備える。
【発明の効果】
【0012】
上記第1の局面におけるX線撮影装置および上記第3の局面におけるX線撮影装置の作動方法によれば、生成されたX線画像から被検体の体内に留置される医療用のデバイスを検出する検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に、X線画像を生成するために照射されるX線のパルス幅を設定するため、ぶれ抑制パルス幅のX線によるX線画像から、機械学習に基づいてデバイスを検出することができる。そのため、デバイスの検出精度が最大となるパルス幅以下の比較的小さいパルス幅であるぶれ抑制パルス幅のX線によってX線画像が撮影されるため、被検体の体内の不規則な動きによって体内のデバイスが不規則に移動している場合にも、撮影されたX線画像におけるデバイスのぶれの種類が多種多様となることを抑制することができる。これにより、被検体の体内のデバイスが不規則に移動する場合にも、X線画像におけるデバイスのぶれが一定の大きさよりも小さくなるように抑制されているため、学習済みモデルに基づくデバイスの検出精度が低下することを抑制することができる。その結果、X線画像における被検体の体内に留置される医療用のデバイスを、機械学習によって生成された学習済みモデルに基づいて精度よく検出することができる。
【0013】
また、X線画像を生成するためのX線のパルス幅を、デバイスの検出精度が最大となるパルス幅よりも大きくした場合には、X線画像におけるデバイスの検出精度は低くなる。また、パルス幅を大きくした場合には、被検体に照射されるX線の線量も増加する。これに対して、本発明では、デバイスの検出精度が最大となるパルス幅以下のパルス幅であるぶれ抑制パルス幅のX線によってX線画像を生成する。そのため、比較的小さいパルス幅であるぶれ抑制パルス幅のX線によってX線画像を生成するため、デバイスの検出精度が低くなることを効果的に抑制しながら、被検体に照射されるX線の線量が多くなることを抑制することができる。その結果、デバイスをより精度よく検出することができるとともに、被検体に照射するX線の線量を小さくすることができる。
【0014】
また、上記第2の局面における学習済みモデルの生成方法によれば、ぶれ抑制パルス幅のX線によるX線画像における被検体の体内のデバイスを模擬するように生成された教師入力用X線画像を取得することによって、ぶれの種類が多種多様となることを抑制することができる。そのため、多種多様な種類のデバイスのぶれに対応するために多数の教師入力用X線画像を取得することを抑制することができる。ここで、多種多様なぶれを有するX線画像に対応するように多数の教師入力用X線画像を用いて機械学習を行う場合には、学習が収束しにくく、また、学習が収束した場合にも学習済みモデルによる検出精度が低くなる。これに対して、本発明では、ぶれ抑制パルス幅のX線によるX線画像における被検体の体内のデバイスを模擬するように生成された教師入力用X線画像を取得する。このように構成することによって、パルス幅を制限せず画像におけるデバイスのぶれが多種多様である場合に比べて、ぶれ抑制パルス幅のX線によってX線画像のぶれの種類が少なくなるため、教師画像として取得する画像のぶれの種類を少なくすることができる。これにより、教師入力用X線画像の種類を少なくすることができるので、デバイスのぶれが多種多様である場合に比べて学習が収束しやすくなるとともに、精度よくデバイスを検出することが可能な学習済みモデルを生成することができる。その結果、X線画像における被検体の体内に留置される医療用のデバイスを精度よく検出することが可能な学習済みモデルの生成方法を提供することができる。
【図面の簡単な説明】
【0015】
【
図1】一実施形態によるX線撮影装置の構成を示した模式図である。
【
図2】一実施形態によるX線撮影装置の構成を示したブロック図である。
【
図3】一実施形態による制御部の機能的構成を説明するための図である。
【
図4】パルス幅の大きいX線画像について説明するための図である。
【
図5】パルス幅の小さいX線画像について説明するための図である。
【
図6】強調画像の生成について説明するための図である。
【
図7】表示部の表示について説明するための図である。
【
図8】学習済みモデルの生成について説明するための図である。
【
図9】教師入力用X線画像の生成について説明するための図である。
【
図10】X線のパルス幅とカテーテルの検出精度との関係を説明するための図である。
【
図11】X線のパルス幅とガイドワイヤの検出精度との関係を説明するための図である。
【
図12】一実施形態による学習済みモデルの生成方法を説明するためのフローチャート図である。
【
図13】一実施形態による画像処理方法を説明するためのフローチャート図である。
【発明を実施するための形態】
【0016】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0017】
図1~
図11を参照して、一実施形態によるX線撮影装置100の構成、一実施形態の画像処理方法、および、一実施形態の学習済みモデルの生成方法について説明する。
【0018】
(X線撮影装置の構成)
まず、
図1および
図2を参照して、X線撮影装置100の構成について説明する。
【0019】
X線撮影装置100は、
図1に示すように、体内に医療用のデバイス200を挿入された被検体101にX線を照射する。そして、X線撮影装置100は、被検体101を透過したX線を検出することによって、X線撮影を行う。X線撮影装置100は、たとえば、経皮的冠動脈インターベンション(PCI:Percutaneous Coronary Intervention)を行う際に、被検体101の体内の様子を確認するための画像を生成する。経皮的冠動脈インターベンションは、心臓の冠動脈の狭窄および閉塞による疾患である狭心症および心筋梗塞などに対して、デバイス200を用いて血管の狭窄および閉塞を解消する治療である。
【0020】
〈デバイスについて〉
デバイス200は、被検体101の体内に留置される。デバイス200は、たとえば、被検体101の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを含む。デバイス200は、人体の血管内に挿入可能なように、移動可能な柔軟性のある素材で構成されている。すなわち、デバイス200は、被検体101の血管の形状に合わせて形状を変化させながら、被検体101の血管に挿入される。そして、デバイス200は、被検体101の体内の動きに起因する血管の動きによって変形する。被検体101の体内の動きは、たとえば、心臓の拍動および血流による血管の変形などを含む。すなわち、デバイス200は、心臓の近傍の血管内では、心臓の拍動に起因して、3次元的に大きく不規則に移動する。ここで、「心臓の近傍の血管」は、心臓の付近の血管のみならず心臓自体の血管(冠動脈など)も含む。
【0021】
また、デバイス200は、経皮的冠動脈インターベンションでは、被検体101の血管(冠動脈)内の狭窄部位に留置されるステントなどの治療具を血管内の目的の位置に配置するために用いられる。デバイス200は、手首または太ももなどの血管(橈骨動脈または大腿動脈など)から冠動脈の狭窄部位まで挿入される。経皮的冠動脈インターベンションでは、血管内に挿入されたデバイス200によって、ステントが冠動脈の狭窄部位に配置される。そして、ステントを拡張させることによって血管の狭窄に対しての治療が行われる。
【0022】
〈X線撮影装置について〉
図2に示すように、X線撮影装置100は、天板1、X線照射部2、X線検出部3、移動部4、表示部5、操作部6、制御部7、および、記憶部8を備える。
【0023】
天板1は、X線が照射される被検体101が載置される。被検体101は、天板1に載置された状態で、デバイス200が挿入されるとともに、X線撮影が行われる。また、天板1は、制御部7による制御に基づいて、図示しない天板移動部によって移動可能に構成されている。
【0024】
X線照射部2は、体内に医療用のデバイス200が留置された被検体101にX線を照射(放射)する。X線照射部2は、電圧が印加されることによってX線を照射するX線管21を含む。X線管21は、制御部7によりX線管21に印加される電圧が制御されることによって、照射するX線が制御されるように構成されている。X線照射部2は、1回または複数回のX線の照射を被検体101内のデバイス200に対して行う。
【0025】
X線検出部3は、被検体101を透過したX線を検出する。そして、X線検出部3は、検出されたX線に基づいて検出信号を出力する。X線検出部3は、たとえば、FPD(Flat Panel Detector)を含む。
【0026】
移動部4は、X線照射部2およびX線検出部3を移動可能に保持する。具体的には、移動部4は、X線照射部2およびX線検出部3を被検体101が載置される天板1を挟んで対向させるように支持する。そして、移動部4は、X線照射部2およびX線検出部3の被検体101に対する位置および角度を変更可能に支持する。また、移動部4は、X線照射部2とX線検出部3との間の距離を変更可能に支持する。すなわち、移動部4は、被検体101に対して、様々な位置および様々な角度からX線撮影を行うために、X線照射部2およびX線検出部3を移動させる。
【0027】
表示部5は、たとえば、液晶ディスプレイなどのモニタである。そして、表示部5は、制御部7によって生成された画像(静止画像および動画像)を表示する。
【0028】
操作部6は、X線撮影装置100を操作するための入力操作を受け付けるように構成されている。操作部6は、たとえば、天板1および移動部4を移動させる操作を受け付ける。また、操作部6は、被検体101に対してX線撮影を行う場合に、X線を照射させる操作を受け付ける。また、操作部6は、制御部7による制御を実行するための入力操作を受け付ける。
【0029】
制御部7は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)などを含むコンピュータである。制御部7は、CPUが所定の制御プログラムを実行することにより、X線撮影装置100の各部の制御と、X線画像10を生成する制御と、生成されたX線画像10に対する画像処理の制御とを行う。具体的には、
図3に示すように、制御部7は、機能的な構成として、X線照射制御部71、パルス幅設定部72、X線画像生成部73、デバイス検出部74、画像処理部75、および、表示制御部76を含む。すなわち、制御部7は、CPUが所定の制御プログラムを実行することにより、X線照射制御部71、パルス幅設定部72、X線画像生成部73、デバイス検出部74、画像処理部75、および、表示制御部76として機能する。また、制御部7による制御の詳細については後述する。
【0030】
記憶部8は、たとえば、ハードディスクドライブなどの記憶装置により構成されている。記憶部8は、画像データ、撮影条件および各種の設定値を記憶するように構成されている。また、記憶部8は、制御部7を機能させるためのプログラムを記憶している。そして、記憶部8は、予め機械学習によって生成された学習済みモデル80(
図8参照)を記憶している。
【0031】
(制御部によるX線撮影装置の制御について)
制御部7のX線照射制御部71は、X線照射部2およびX線検出部3を制御してX線撮影を行う。X線照射制御部71は、X線照射部2によるX線の照射を制御する。具体的には、X線照射制御部71は、後述するパルス幅設定部72によって設定されたパルス幅のX線をX線照射部2から照射させる。詳細には、X線照射制御部71は、X線管21に印加される電圧を制御することによって、X線管21から照射されるX線のパルス幅を制御する。パルス幅は、1つのX線画像10を撮影するために、被検体101にX線が照射される照射時間(露光時間)を意味する。また、X線照射制御部71は、移動部4を移動させる制御を行う。また、X線照射制御部71は、操作部6によって受け付けた入力操作に基づく操作信号を取得するともに、取得した操作信号に基づいてX線撮影装置100の各部の制御を行う。たとえば、X線照射制御部71は、操作部6に対する入力操作に基づいて移動部4を制御することによって、X線撮影を行うためのX線照射部2およびX線検出部3の位置を移動させる。
【0032】
パルス幅設定部72は、被検体101に対してX線照射部2から照射されるX線のパルス幅を設定する。本実施形態では、パルス幅設定部72は、照射されるX線のパルス幅を、後述する学習済みモデル80に基づくデバイス200の検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に設定する。パルス幅設定部72は、操作部6に対する入力操作に基づいてパルス幅を設定してもよいし、記憶部8に予め記憶されたパルス幅設定値に基づいてパルス幅を設定してもよい。なお、ぶれ抑制パルス幅についての詳細は後述する。
【0033】
制御部7のX線画像生成部73は、
図4および
図5に示すように、X線撮影を行うことによってX線画像10を生成する。本実施形態では、X線画像生成部73は、X線検出部3によって検出されたX線に基づいて、X線画像10を生成する。具体的には、X線画像生成部73は、X線検出部3からの検出信号に基づいて、ぶれ抑制パルス幅のX線によるX線画像10を生成する。
【0034】
ここで、
図4に示すX線画像10は、比較的大きいパルス幅のX線によって撮影されたX線画像10である。そして、
図5に示すX線画像10は、比較的小さいパルス幅のX線によって撮影されたX線画像10である。このように、比較的大きいパルス幅のX線によるX線画像10では、X線画像10に含まれるデバイス200は、被検体101の体内の動きが大きい場合には、大きいぶれを含み、被検体101の体内の動きが小さい場合には、小さいぶれを含む。すなわち、比較的大きいパルス幅によるX線のX線画像10では、デバイス200が多種多様のぶれを含む。一方、比較的小さいパルス幅のX線によるX線画像10では、X線画像10に含まれるデバイス200は、被検体101の体内の動きが大きい場合と、被検体101の体内の動きが小さい場合との両方において、含まれるぶれが小さくなる。すなわち、被検体101の体内の動きの移動量(移動速度)にかかわらず、ぶれの大きさは小さくなる(一定となる)。たとえば、被検体101の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを撮影した場合には、生成されるX線画像10におけるカテーテルまたはガイドワイヤは、被検体101の心臓の拍動に起因して不規則に移動(変形)する。
図4に示すように、心臓の拍動などの被検体101の体内の動きは一定ではないため、比較的大きいパルス幅のX線によって撮影されたX線画像10は、多種多様なぶれを含んだ画像となる。一方で、
図5に示すように、比較的小さいパルス幅のX線によって撮影されたX線画像10では、被検体101の体内が心臓の拍動のように不規則に移動(変形)したとしても、ぶれの種類(大きさ)は少なくなる。
【0035】
本実施形態では、X線照射制御部71は、生成されるX線画像10におけるカテーテルまたはガイドワイヤを含むデバイス200のぶれが多種多様となることを抑制するために、所定のしきい値以下のパルス幅であるぶれ抑制パルス幅のX線をX線照射部2に照射させる。すなわち、1つのX線画像10を生成するための1回のX線の照射は、所定のしきい値以下のパルス幅(露光時間)のX線の照射である。また、ぶれ抑制パルス幅のX線によるX線画像10は、パルス幅が小さいため線量が少ないX線画像10となる。また、ぶれ抑制パルス幅のX線によるX線画像10は、ぶれの種類が少ない画像となる。なお、所定のしきい値およびぶれ抑制パルス幅についての詳細は後述する。
【0036】
(制御部による強調画像の生成について)
制御部7のデバイス検出部74は、ぶれ抑制パルス幅に対応するように生成された画像を教師画像とした機械学習によって生成された学習済みモデル80に基づいて、ぶれ抑制パルス幅のX線によるX線画像10から、デバイス200を検出するように構成されている。そして、制御部7の画像処理部75は、X線画像10において検出されたデバイス200を強調させる画像処理を行うことによって、デバイス200が強調された強調画像11を生成する。すなわち、
図6に示すように、制御部7(デバイス検出部74および画像処理部75)は、デバイス200が低分解能のX線画像10から、デバイス200が高分解能の強調画像11を生成する。
【0037】
学習済みモデル80は、記憶部8に予め記憶される。学習済みモデル80は、入力されたX線画像10のうちからデバイス200の位置を検出する処理を学習させる機械学習により予め生成される。学習済みモデル80の生成についての詳細は後述する。
【0038】
制御部7のデバイス検出部74は、学習済みモデル80に基づいて、生成されたX線画像10から、X線画像10におけるデバイス200の位置を検出することによって、X線画像10に含まれるデバイス200の位置情報(座標)を取得する。そして、デバイス検出部74は、取得された位置情報に基づいて、X線画像10のうちから、デバイス200の領域とデバイス200ではない背景の領域とを判別する。また、制御部7の画像処理部75は、X線画像10のうちのデバイス200であると判別された領域に対して、濃度を濃くする画像処理を行う。また、画像処理部75は、X線画像10のうちのデバイス200ではなく背景であると判別された領域に対して、濃度を薄くする画像処理を行う。このようにして、制御部7(デバイス検出部74および画像処理部75)は、学習済みモデル80に基づいてデバイス200の位置情報を取得するとともに、取得された位置情報に基づいてデバイス200が強調された強調画像11を生成する。
【0039】
図7に示すように、制御部7の表示制御部76は、表示部5の表示を制御する。具体的には、表示制御部76は、生成された強調画像11を表示部5に表示させる。制御部7は、たとえば、X線照射制御部71によって1秒間の間に15回X線をX線照射部2に照射させることによって、X線画像生成部73によって1秒間に15枚のX線画像10を生成する。そして、制御部7の画像処理部75によって、生成されたX線画像10から1秒間に15枚の強調画像11が生成される。そして、表示制御部76は、15FPS(frames per second)の動画像として、リアルタイムに生成された強調画像11を表示部5に表示させる。なお、制御部7(表示制御部76)を、1枚の静止画像である強調画像11を表示部5に表示させるようにしてもよい。
【0040】
(学習済みモデルの生成について)
学習済みモデル80は、
図8に示すように、ぶれ抑制パルス幅のX線によるX線画像10に対応する教師画像を用いた機械学習によって生成される。具体的には、ぶれ抑制パルス幅のX線によるX線画像10における被検体101の体内のデバイス200を模擬するように生成された教師入力用X線画像81と、教師入力用X線画像81に含まれるデバイス200の位置(座標)を示す教師出力用情報82とによって、機械学習によって生成される。また、教師入力用X線画像81は、ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づいて、被検体101の体内のデバイス200を模擬するように生成される。学習済みモデル80は、X線撮影装置100とは別個の学習装置110によって予め生成される。
【0041】
学習装置110は、たとえば、CPU、GPU、ROM、および、RAMなどを含む機械学習用のコンピュータである。
【0042】
学習装置110は、
図9に示すように、X線撮影装置100においてX線画像10を生成する場合と同等のパルス幅であるぶれ抑制パルス幅のX線によって、被検体101と被検体101の体内に留置されるデバイス200とを模擬的に撮影した模擬X線画像を取得する。模擬X線画像は、たとえば、被検体101を模した人体模型をぶれ抑制パルス幅のX線によってX線撮影した模擬人体画像81aと、被検体101の体内に留置されるデバイス200をぶれ抑制パルス幅のX線によって撮影した模擬デバイス画像81bとを含む。
【0043】
学習装置110は、取得された模擬X線画像(模擬人体画像81aおよび模擬デバイス画像81b)に対して画像処理を行うことによって、被検体101内でのデバイス200の動きをシミュレートする。具体的には、学習装置110は、被検体101の体内でのデバイス200の動きをシミュレートするように画像処理が行われた複数の模擬デバイス画像81bと、取得された模擬人体画像81aとを合成することによって、X線画像10における被検体101の体内のデバイス200を模擬するように複数の教師入力用X線画像81を生成する。詳細には、学習装置110は、1つの模擬デバイス画像81bに対して、複数のパラメータを変更させながら画像処理を行うことによってシミュレートを行い、画像処理が行われた複数の模擬デバイス画像81bを生成する。そして、学習装置110は、複数のパラメータを変更させながら画像処理が行われた複数の模擬デバイス画像81bと模擬人体画像81aとを合成することによって複数の教師入力用X線画像81を生成する。複数のパラメータは、所定のしきい値以下の期間(ぶれ抑制パルス幅のX線の照射時間に対応する期間)における被検体101の体の動き(心臓の拍動など)、X線が照射される対象となる人体の部位、および、X線が照射される角度、などを含む。また、学習装置110は、所定のしきい値以下の範囲(ぶれ抑制パルス幅の範囲)においてX線のパルス幅を変更させながら複数の模擬デバイス画像81bと、複数の模擬人体画像81aとを取得するとともに、取得された複数の模擬デバイス画像81bと、複数の模擬人体画像81aとに対して、複数のパラメータを変更させながら画像処理を行うことによってシミュレートを行い、被検体101の様々な部位と、様々な撮影条件とに対応する複数の教師入力用X線画像81を生成する。すなわち、所定のしきい値よりも大きいパルス幅のX線による画像は、教師入力用X線画像81には含まれない。
【0044】
また、学習装置110は、取得された模擬デバイス画像81bから、デバイス200の位置(デバイス200の位置する領域)を位置情報として検出することによって、対応する教師入力用X線画像81におけるデバイス200の位置情報を教師出力用情報82として取得する。位置情報は、たとえば、教師入力用X線画像81を構成する画素(ピクセル)のうち、デバイス200に対応する画素の座標を含む。
【0045】
学習装置110は、教師入力用X線画像81を入力として、教師出力用情報82を出力として、機械学習によって学習を行い、学習済みモデル80を生成する。すなわち、学習装置110は、教師入力用X線画像81と教師出力用情報82とを教師データ(トレーニングセット)として、機械学習によって、学習済みモデル80を学習させる。学習装置110は、複数の種類の模擬X線画像から生成された教師入力用X線画像81を用いて、学習済みモデル80を生成する。機械学習法として、多層のニューラルネットワークを用いる機械学習である深層学習が用いられる。機械学習法は、たとえば、全層畳み込みニューラルネットワーク(FullyConvolutionalNetworks:FCN)を用いた深層学習である。
【0046】
作成された学習済みモデル80は、ネットワークを介して、または、フラッシュメモリなどの記録媒体に記録され、X線撮影装置100に提供される。
【0047】
(ぶれ抑制パルス幅について)
ここで、
図10および
図11に示すように、学習済みモデル80によるデバイス200の検出精度(IoU:Intersection over Union)は、X線画像10を撮影するためのX線のパルス幅に応じて異なる値となる。すなわち、パルス幅が大きくなるにつれて、被検体101の体内での動き(心臓の拍動など)に起因して、撮影された画像におけるデバイス200の画像はぶれの大きさの種類が多くなる。一方で、X線のパルス幅が小さくなるにつれて、照射されるX線の線量が小さくなるため、撮影された画像が不鮮明となる。そのため、X線のパルス幅が大きすぎる場合と小さすぎる場合との両方において、学習済みモデル80を用いたデバイス200の検出精度は低下する。したがって、学習済みモデル80に基づくデバイス200の検出精度は、パルス幅の増加に伴って上に凸となる変化をもつ。たとえば、学習済みモデル80は、パルス幅が8ミリ秒(ms)のX線によるX線画像10において、デバイス200の検出精度が最も高くなる。
【0048】
たとえば、
図10に示すように、学習済みモデル80によって、X線画像10に含まれるデバイス200であるカテーテルを検出する場合には、パルス幅が8ミリ秒(ms)の場合に、カテーテル(デバイス200)の検出精度が最も高くなる。また、
図11に示すように、学習済みモデル80によって、X線画像10に含まれるデバイス200であるガイドワイヤを検出する場合には、同様に、パルス幅が8ミリ秒(ms)の場合に、ガイドワイヤ(デバイス200)の検出精度が最も高くなる。
【0049】
なお、学習済みモデル80によるデバイス200の検出精度(IoU:Intersection over Union)は、学習装置110において生成された学習済みモデル80に対して、教師入力用X線画像81を入力した場合に出力されるデバイス200の位置情報と、対応する教師出力用情報82との一致度を割合で表したものである。
【0050】
X線撮影装置100においてX線画像10を撮影する場合のX線のぶれ抑制パルス幅は、学習済みモデル80によるデバイス200の検出精度に基づいて定められる。本実施形態では、ぶれ抑制パルス幅は、学習済みモデル80に基づくX線画像10におけるデバイス200の検出精度が最大となるパルス幅以下のパルス幅である。たとえば、所定のしきい値は、8ミリ秒である。すなわち、ぶれ抑制パルス幅は、8ミリ秒以下のパルス幅である。
【0051】
たとえば、被検体101のX線撮影を行うために、ぶれ抑制パルス幅として、5ミリ秒のパルス幅が定められる場合には、X線撮影装置100は、5ミリ秒のパルス幅のX線を被検体101に照射することによって、X線画像10を生成する。また、X線撮影装置100は、8ミリ秒以下の範囲におけるパルス幅のX線による複数の模擬X線画像(模擬人体画像81aおよび模擬デバイス画像81b)を用いて生成された学習済みモデル80に基づいて、生成されたX線画像10から強調画像11を生成する。なお、ぶれ抑制パルス幅のX線は、照射時間(パルス幅)を8ミリ秒以下(所定の値以下)の範囲内において適宜変更可能である。
【0052】
上記のように、本実施形態におけるX線撮影装置100は、学習済みモデル80に基づくX線画像10におけるデバイス200の検出精度が最も高くなるパルス幅を所定のしきい値として、所定のしきい値以下のパルス幅であるぶれ抑制パルス幅のX線を照射することによって、ぶれ抑制パルス幅のX線によるX線画像10を生成する。そして、X線撮影装置100は、ぶれ抑制パルス幅のX線によって撮影された模擬人体画像81aとぶれ抑制パルス幅のX線によって撮影された模擬デバイス画像81bとを用いた機械学習によって、ぶれ抑制パルス幅に対応するように生成された学習済みモデル80に基づいて、生成されたX線画像10のうちからデバイス200の位置情報(領域)を取得する。
【0053】
(本実施形態による学習済みモデルの生成方法について)
次に、
図12を参照して、本実施形態による学習済みモデルの生成方法について説明する。なお、学習済みモデルの生成方法は、学習装置110によって実施される。
【0054】
まず、ステップ301において、ぶれ抑制パルス幅のX線によって生成された模擬X線画像が取得される。すなわち、被検体101を模した人体模型をぶれ抑制パルス幅のX線によってX線撮影した模擬人体画像81aと、被検体101の体内に留置されるデバイス200をぶれ抑制パルス幅のX線によって撮影した模擬デバイス画像81bとを含む模擬X線画像が取得される。
【0055】
次に、ステップ302において、取得された模擬デバイス画像81bに対して画像処理が行われる。そして、画像処理が行われた模擬デバイス画像81bと取得された模擬人体画像81aとが合成される。すなわち、取得された模擬X線画像に対して画像処理が行われることによって、ぶれ抑制パルス幅のX線によるX線画像10における被検体101の体内のデバイス200を模擬するように生成された複数の教師入力用X線画像81が取得される。すなわち、取得された模擬X線画像(模擬人体画像81aおよび模擬デバイス画像81b)に基づいて、被検体101の体内に留置される医療用のデバイス200の検出精度が最大となるパルス幅以下の大きさのぶれ抑制パルス幅のX線によるX線画像10に対応するように生成された複数の教師入力用X線画像81が取得される。
【0056】
次に、ステップ303において、取得された模擬X線画像に基づいて、教師入力用X線画像81におけるデバイス200の位置を示す教師出力用情報82が取得される。
【0057】
次に、ステップ304において、教師入力用X線画像81を入力として、教師出力用情報82を出力として、機械学習によって学習済みモデル80が生成(学習)される。
【0058】
なお、ステップ302による教師入力用X線画像81を取得するステップと、ステップ303による教師出力用情報82を取得するステップとは、どちらのステップを先に行ってもよい。
【0059】
(本実施形態による画像処理方法について)
次に、
図13を参照して、本実施形態による画像処理方法について説明する。画像処理方法は、X線撮影装置100の制御部7によって行われる。
【0060】
まず、ステップ401において、機械学習によって生成された学習済みモデル80に基づいて、生成されたX線画像10から被検体101の体内に留置される医療用のデバイス200を検出する検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に、X線画像10を生成するために照射されるX線のパルス幅が設定される。具体的には、ぶれ抑制パルス幅のX線を照射するために、パルス幅設定部72によって、X線照射部2から照射されるX線のパルス幅がぶれ抑制パルス幅に設定される。
【0061】
次に、ステップ402において、体内に医療用のデバイス200が留置された被検体101に対して、設定されたぶれ抑制パルス幅のX線がX線照射部2によって照射される。
【0062】
次に、ステップ403において、被検体101を透過したぶれ抑制パルス幅のX線がX線検出部3によって検出される。
【0063】
次に、ステップ404において、検出されたぶれ抑制パルス幅のX線に基づいて、X線画像10が生成される。
【0064】
次に、ステップ405において、学習済みモデル80に基づいて、生成されたぶれ抑制パルス幅のX線によるX線画像10から、X線画像10中のデバイス200が検出される。すなわち、学習済みモデル80に基づいて、X線画像10から、デバイス200の位置を示す座標(領域)が検出される。
【0065】
次に、ステップ406において、検出されたデバイス200の位置(座標)に基づいて、X線画像10に対する画像処理が行われることによって、デバイス200が強調された強調画像11が生成される。
【0066】
次に、ステップ407において、生成された強調画像11が、表示部5に表示される。
【0067】
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
【0068】
本実施形態のX線撮影装置100および画像処理方法によれば、生成されたX線画像10から被検体101の体内に留置される医療用のデバイス200を検出する検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に、X線画像10を生成するために照射されるX線のパルス幅を設定するため、ぶれ抑制パルス幅のX線によるX線画像10から、機械学習に基づいてデバイス200を検出することができる。そのため、デバイス200の検出精度が最大となるパルス幅以下の比較的小さいパルス幅であるぶれ抑制パルス幅のX線によってX線画像10が撮影されるため、被検体101の体内の不規則な動きによって体内のデバイス200が不規則に移動している場合にも、撮影されたX線画像10におけるデバイス200のぶれの種類が多種多様となることを抑制することができる。これにより、被検体101の体内のデバイス200が不規則に移動する場合にも、X線画像10におけるデバイス200のぶれが一定の大きさよりも小さくなるように抑制されているため、学習済みモデル80に基づくデバイス200の検出精度が低下することを抑制することができる。その結果、X線画像10における被検体101の体内に留置される医療用のデバイス200を、機械学習によって生成された学習済みモデル80に基づいて精度よく検出することができる。
【0069】
また、X線画像10を生成するためのX線のパルス幅を、デバイス200の検出精度が最大となるパルス幅よりも大きくした場合には、X線画像10におけるデバイス200の検出精度は低くなる。また、パルス幅を大きくした場合には、被検体101に照射されるX線の線量も増加する。これに対して、本実施形態では、デバイス200の検出精度が最大となるパルス幅以下のパルス幅であるぶれ抑制パルス幅のX線によってX線画像10を生成する。そのため、比較的小さいパルス幅であるぶれ抑制パルス幅のX線によってX線画像10を生成するため、デバイス200の検出精度が低くなることを効果的に抑制しながら、被検体101に照射されるX線の線量が多くなることを抑制することができる。その結果、デバイス200をより精度よく検出することができるとともに、被検体101に照射するX線の線量を小さくすることができる。
【0070】
また、上記実施形態の例では、以下のように構成したことによって、更なる効果が得られる。
【0071】
すなわち、本実施形態では、デバイス検出部74は、ぶれ抑制パルス幅のX線によるX線画像10に対応する教師画像を用いた機械学習によって生成された学習済みモデル80に基づいて、ぶれ抑制パルス幅のX線によるX線画像10から、デバイス200を検出するように構成されている。このように構成すれば、ぶれ抑制パルス幅のX線によるX線画像10に対応する教師画像を用いた機械学習によって生成された学習済みモデル80が用いられるため、ぶれ抑制パルス幅のX線によるX線画像10におけるデバイス200をより精度よく検出することができる。
【0072】
また、本実施形態では、デバイス検出部74は、ぶれ抑制パルス幅のX線によるX線画像10における被検体101の体内のデバイス200を模擬するように生成された教師入力用X線画像81と、教師入力用X線画像81に含まれるデバイス200の位置または形状を示す教師出力用情報82とによって、機械学習によって生成された学習済みモデル80に基づいて、ぶれ抑制パルス幅のX線によるX線画像10から、デバイス200を検出するように構成されている。このように構成すれば、ぶれ抑制パルス幅のX線によるX線画像10におけるデバイス200を模擬した教師入力用X線画像81を用いて学習された学習済みモデル80を用いるため、学習済みモデル80によるデバイス200の検出の精度をより向上させることができる。そのため、ぶれ抑制パルス幅のX線によるX線画像10におけるデバイス200をより一層精度よく検出することができる。
【0073】
また、本実施形態では、デバイス検出部74は、ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づいてX線画像10における被検体101の体内のデバイス200を模擬するように生成された教師入力用X線画像81と、教師入力用X線画像81に含まれるデバイス200の位置または形状を示す教師出力用情報82とによって、機械学習によって生成された学習済みモデル80に基づいて、ぶれ抑制パルス幅のX線によるX線画像10から、デバイス200を検出するように構成されている。このように構成すれば、ぶれ抑制パルス幅のX線によるX線画像10に対して、ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づく教師入力用X線画像81を用いて学習された学習済みモデル80に基づいて、デバイス200を検出することができる。すなわち、学習済みモデル80を生成するための学習において入力に用いられる教師入力用X線画像81と、学習済みモデル80に基づく推論において入力に用いられるX線画像10との両方を、ぶれ抑制パルス幅のX線によって生成された画像とすることができる。そのため、学習済みモデル80の学習における入力と、学習済みモデル80の推論における入力とを、同様の条件のX線による画像とすることができるので、学習済みモデル80によるデバイス200の検出の精度をより一層向上させることができる。
【0074】
また、本実施形態では、デバイス200は、被検体101の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを含み、デバイス検出部74は、X線画像10における被検体101の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを模擬するように生成された教師入力用X線画像81と、教師入力用X線画像81に含まれるカテーテルまたはガイドワイヤの位置または形状を示す教師出力用情報82とによって、機械学習によって生成された学習済みモデル80に基づいて、ぶれ抑制パルス幅のX線によるX線画像10から、カテーテルまたはガイドワイヤを検出するように構成されている。ここで、心臓の近傍の血管は、心臓の拍動によって3次元的に大きく不規則に移動する。これにより、心臓の近傍の血管に配置されるカテーテルまたはガイドワイヤは、心臓の拍動に起因して3次元的に不規則に移動するため、X線画像10において不規則で多種多様なぶれのある画像となると考えられる。そこで、上記実施形態のように、所定のしきい値以下のパルス幅であるぶれ抑制パルス幅のX線をX線照射部2に照射させることによってX線画像10を取得すれば、心臓の拍動に起因して大きく不規則に移動する血管に配置されたカテーテルまたはガイドワイヤにおいても、X線画像10におけるぶれの種類を少なくすることができる。そして、ぶれ抑制パルス幅のX線によるX線画像10からカテーテルまたはガイドワイヤを検出することができるので、カテーテルまたはガイドワイヤが心臓の近傍の血管のように大きく不規則に動く器官に配置される場合にも、カテーテルまたはガイドワイヤの視認性を向上させることができる。
【0075】
また、本実施形態では、ぶれ抑制パルス幅は、8ミリ秒以下のパルス幅であり、デバイス検出部74は、学習済みモデル80に基づいて、8ミリ秒以下のパルス幅のX線によるX線画像10から、デバイス200を検出するように構成されている。このように構成すれば、8ミリ秒以下のパルス幅のX線によって、デバイス200のぶれの種類が抑制されたX線画像10から、デバイス200を検出することができる。そのため、8ミリ秒以下のパルス幅のX線によるX線画像10に基づいてデバイス200を検出するため、パルス幅が8ミリ秒よりも大きい場合に比べて、デバイス200の検出精度を向上させることができる。
【0076】
また、本実施形態では、デバイス検出部74は、多層のニューラルネットワークを用いる機械学習である深層学習によって生成された学習済みモデル80に基づいて、ぶれ抑制パルス幅のX線によるX線画像10から、デバイス200を検出するように構成されている。このように構成すれば、適切な特徴量と特徴量を取得するためのアルゴリズムとが深層学習によって自動的に構築された学習済みモデル80に基づいて、X線画像10からデバイス200を検出することができるので、デバイス200の検出精度をより向上させることができる。
【0077】
また、本実施形態では、X線照射部2から照射されるX線のパルス幅を設定するパルス幅設定部72と、設定されたパルス幅(ぶれ抑制パルス幅)のX線をX線照射部2から照射させるX線照射制御部71と、X線検出部3によって検出されたX線に基づいて、X線画像10を生成するX線画像生成部73と、機械学習によって生成された学習済みモデル80に基づいて、X線画像生成部73によって生成されたX線画像10から、X線画像10中のデバイス200を検出するデバイス検出部74とを含む制御部7をさらに備える。このように構成すれば、制御部7によるソフトウェアを用いた制御によって、パルス幅の設定と、X線の照射と、X線画像10の生成と、デバイス200の検出とを容易に行うことができる。
【0078】
(本実施形態による学習済みモデルの生成方法の効果)
本実施形態の学習済みモデルの生成方法では、以下のような効果を得ることができる。
【0079】
本実施形態の学習済みモデルの生成方法では、上記のように、ぶれ抑制パルス幅のX線によるX線画像10における被検体101の体内のデバイス200を模擬するように生成された教師入力用X線画像81を取得することによって、ぶれの種類が多種多様となることを抑制することができる。そのため、多種多様な種類のデバイス200のぶれに対応するために多数の教師入力用X線画像81を取得することを抑制することができる。ここで、多種多様なぶれを有するX線画像10に対応するように多数の教師入力用X線画像81を用いて機械学習を行う場合には、学習が収束しにくく、また、学習が収束した場合にも学習済みモデル80による検出精度が低くなる。これに対して、本実施形態では、ぶれ抑制パルス幅のX線によるX線画像10における被検体101の体内のデバイス200を模擬するように生成された教師入力用X線画像81を取得する。このように構成することによって、パルス幅を制限せず画像におけるデバイス200のぶれが多種多様である場合に比べて、ぶれ抑制パルス幅のX線によってX線画像10のぶれの種類が少なくなるため、教師画像として取得する画像のぶれの種類を少なくすることができる。これにより、教師入力用X線画像81の種類を少なくすることができるので、デバイス200のぶれが多種多様である場合に比べて学習が収束しやすくなるとともに、精度よくデバイス200を検出することが可能な学習済みモデル80を生成することができる。その結果、X線画像10における被検体101の体内に留置される医療用のデバイス200を精度よく検出することが可能な学習済みモデルの生成方法を提供することができる。
【0080】
また、本実施形態では、上記のように、教師入力用X線画像81を取得するステップは、ぶれ抑制パルス幅のX線によって生成された模擬X線画像(模擬人体画像81aおよび模擬デバイス画像81b)を取得するステップと、取得された模擬X線画像に対して画像処理を行うことによって、X線画像10における被検体101の体内のデバイス200を模擬するように教師入力用X線画像81を生成するステップとを含む。このように構成すれば、ぶれ抑制パルス幅のX線によるX線画像10に対して、ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づく教師入力用X線画像81を用いて学習された学習済みモデル80に基づいて、デバイス200を検出することができる。すなわち、学習済みモデル80を生成するための学習において入力に用いられる教師入力用X線画像81と、学習済みモデル80に基づく推論において入力に用いられるX線画像10との両方を、ぶれ抑制パルス幅のX線によって生成された画像とすることができる。そのため、学習済みモデル80の学習における入力と、学習済みモデル80の推論における入力とを、同等の条件のX線による画像とすることができるので、学習済みモデル80によるデバイス200の検出の精度をより一層向上させることができる。
【0081】
(変形例)
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく、請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0082】
たとえば、上記実施形態では、検出されたデバイスの領域の濃度を濃くする画像処理を行うことによってデバイスが強調された強調画像を生成する例を示したが、本発明はこれに限られない。本発明では、検出されたデバイスの領域に対して色付けをすることによってデバイスが強調されるようにしてもよい。また、検出されたデバイスの領域の輪郭を強調(輪郭線の強度を増加)させて表示することによって、デバイスが強調されて表示されるようにしてもよい。
【0083】
また、上記実施形態では、ぶれ抑制パルス幅は、8ミリ秒(所定のしきい値)以下の範囲で適宜変更可能である例を示したが、本発明はこれに限られない。本発明では、ぶれ抑制パルス幅は、所定のしきい値以下の固定値であってもよい。たとえば、ぶれ抑制パルス幅を5ミリ秒の固定値のパルス幅と定めた場合には、X線撮影装置を、5ミリ秒の固定値のパルス幅のX線によってX線画像を撮影するようにしてもよい。また、5ミリ秒のパルス幅のX線によってX線画像を撮影する場合に、5ミリ秒のパルス幅のX線による模擬X線画像に基づいて生成された教師入力用X線画像と教師出力用情報とによって生成された学習済みモデルに基づいて、撮影されたX線画像からデバイスを検出するようにしてもよい。また、5ミリ秒のパルス幅のX線によってX線画像を撮影する場合に、たとえば、8ミリ秒以下の複数のパルス幅のX線による模擬X線画像に基づいて生成された教師入力用X線画像と教師出力用情報とによって生成された学習済みモデルに基づいて、撮影されたX線画像からデバイスを検出するようにしてもよい。
【0084】
また、上記実施形態では、ぶれ抑制パルス幅のX線をX線照射部に照射させることと、X線検出部からの検出信号に基づいてX線画像を生成することと、ぶれ抑制パルス幅に対応するように生成された画像を教師画像とした機械学習によって生成された学習済みモデルに基づいて、ぶれ抑制パルス幅のX線によるX線画像から、デバイスを検出することとのソフトウェアによる制御を行う制御部をさらに備える例を示したが、本発明はこれに限られない。本発明では、X線をX線照射部に照射させる制御を行う制御部と、X線画像からデバイスを検出する制御を行う制御部とを別個に構成するようにしてもよい。たとえば、検出されたX線からX線画像を生成するハードウェアとしての画像処理回路などからなる画像生成ユニットを、制御部と別個に構成するようにしてもよい。また、学習済みモデルを用いることによって取得されたデバイスの位置または形状に基づいて、X線画像から強調画像を生成する画像処理モジュールを制御部と別個に備えるようにしてもよい。すなわち、パルス幅設定部と、X線照射制御部と、X線画像生成部と、デバイス検出部とを別個に構成するようにしてもよい。
【0085】
また、上記実施形態では、制御部(デバイス検出部)は、ぶれ抑制パルス幅のX線によるX線画像における被検体の体内のデバイスを模擬するように生成された教師入力用X線画像によって、機械学習によって生成された学習済みモデルに基づいて、X線画像からデバイスを検出するように構成されている例を示したが、本発明はこれに限られない。本発明では、デバイスを模擬するように生成された教師入力用X線画像ではなく、実際に撮影されたX線画像を教師入力データとして学習することによって生成された学習済みモデルを用いるようにしてもよい。また、X線を用いずに模擬的に生成された画像を教師入力用X線画像としてもよい。
【0086】
また、上記実施形態では、制御部(デバイス検出部)は、ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づいてX線画像における被検体の体内のデバイスを模擬するように生成された教師入力用X線画像によって、機械学習によって生成された学習済みモデルに基づいて、X線画像からデバイスを検出するように構成されている例を示したが、本発明はこれに限られない。本発明では、ぶれ抑制パルス幅とは異なるパルス幅のX線によって生成された模擬X線画像に基づいて生成された教師入力用X線画像によって、機械学習によって生成された学習済みモデルを用いるようにしてもよい。
【0087】
また、上記実施形態では、デバイスは、被検体の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを含む例を示したが、本発明はこれに限られない。本発明では、デバイスは、被検体の心臓の近傍の血管に留置されるステントおよび人工弁などであってもよい。また、デバイスは、頭部の血管に留置されるデバイスであってもよい。
【0088】
また、上記実施形態では、所定のしきい値以下のパルス幅は、8ミリ秒以下のパルス幅である例を示したが、本発明はこれに限られない。本発明では、所定のしきい値以下のパルス幅は、5ミリ秒以下のパルス幅であってもよい。すなわち、デバイスの検出精度が最も高くなるパルス幅よりも小さいパルス幅を、所定のしきい値として定めてもよい。これにより、デバイスの検出精度が最も高くなるパルス幅よりも小さいパルス幅を所定のしきい値として定めることによって、被験者に照射されるX線の線量をより小さくすることができる。
【0089】
また、上記実施形態では、多層のニューラルネットワークを用いる機械学習である深層学習によって生成された学習済みモデルに基づいて、ぶれ抑制パルス幅のX線によるX線画像から、デバイスを検出するように構成されている例を示したが、本発明はこれに限られない。本発明では、深層学習以外の機械学習を用いてもよい。たとえば、SVM(support vector machine)を用いて、X線画像からデバイスを検出するようにしてもよい。
【0090】
また、上記実施形態では、1つの学習済みモデルに基づいてX線画像から、デバイスを検出する例を示したが、本発明はこれに限られない。本発明では、複数の学習済みモデルに基づいて、X線画像からデバイスを検出するようにしてもよい。
【0091】
また、上記実施形態では、X線画像におけるデバイスの位置(座標)を検出するように生成された学習済みモデルを用いる例を示したが、本発明はこれに限られない。本発明は、X線画像に含まれるデバイスの形状(輪郭)を検出するように生成された学習済みモデルを用いるようにしてもよい。すなわち、教師入力用X線画像に含まれるデバイスの形状(輪郭)を示す教師出力用情報に基づいて、機械学習によって生成された学習済みモデルを用いるようにしてもよい。たとえば、X線画像のデバイスに対応する形状などの形態を有する物体が含まれる画像である教師入力用X線画像と、教師入力用X線画像におけるデバイスに対応する物体の形状を指定することによって指定された形状(輪郭)である教師出力用情報とを、教師データ(トレーニングセット)として機械学習によって学習された学習済みモデルを用いるようにしてもよい。
【0092】
[態様]
上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。
【0093】
(項目1)
体内に医療用のデバイスが留置された被検体にX線を照射するX線照射部と、
前記被検体を透過したX線を検出するX線検出部と、
前記X線照射部から照射されるX線のパルス幅を設定するパルス幅設定部と、
前記パルス幅設定部によって設定された前記パルス幅のX線を前記X線照射部から照射させるX線照射制御部と、
前記X線検出部によって検出された前記パルス幅のX線に基づいて、X線画像を生成するX線画像生成部と、
機械学習によって生成された学習済みモデルに基づいて、前記X線画像生成部によって生成された前記パルス幅のX線による前記X線画像から、前記X線画像中の前記デバイスを検出するデバイス検出部と、を備え、
前記パルス幅は、前記学習済みモデルに基づく前記デバイスの検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅である、X線撮影装置。
【0094】
(項目2)
前記デバイス検出部は、前記ぶれ抑制パルス幅のX線による前記X線画像に対応する教師画像を用いた機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、項目1に記載のX線撮影装置。
【0095】
(項目3)
前記デバイス検出部は、前記ぶれ抑制パルス幅のX線による前記X線画像における前記被検体の体内の前記デバイスを模擬するように生成された教師入力用X線画像と、前記教師入力用X線画像に含まれる前記デバイスの位置または形状を示す教師出力用情報とによって、機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、項目2に記載のX線撮影装置。
【0096】
(項目4)
前記デバイス検出部は、前記ぶれ抑制パルス幅のX線によって生成された模擬X線画像に基づいて前記X線画像における前記被検体の体内の前記デバイスを模擬するように生成された前記教師入力用X線画像と、前記教師入力用X線画像に含まれる前記デバイスの位置または形状を示す前記教師出力用情報とによって、機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、項目3に記載のX線撮影装置。
【0097】
(項目5)
前記デバイスは、前記被検体の心臓の近傍の血管に留置されるカテーテルまたはガイドワイヤを含み、
前記デバイス検出部は、前記X線画像における前記被検体の心臓の近傍の血管に留置される前記カテーテルまたは前記ガイドワイヤを模擬するように生成された前記教師入力用X線画像と、前記教師入力用X線画像に含まれる前記カテーテルまたは前記ガイドワイヤの位置または形状を示す前記教師出力用情報とによって、機械学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記カテーテルまたは前記ガイドワイヤを検出するように構成されている、項目3に記載のX線撮影装置。
【0098】
(項目6)
前記ぶれ抑制パルス幅は、8ミリ秒以下のパルス幅であり、
前記デバイス検出部は、前記学習済みモデルに基づいて、8ミリ秒以下のパルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、項目1に記載のX線撮影装置。
【0099】
(項目7)
前記デバイス検出部は、多層のニューラルネットワークを用いる機械学習である深層学習によって生成された前記学習済みモデルに基づいて、前記ぶれ抑制パルス幅のX線による前記X線画像から、前記デバイスを検出するように構成されている、項目1に記載のX線撮影装置。
【0100】
(項目8)
前記X線照射部から照射されるX線の前記パルス幅を設定する前記パルス幅設定部と、設定された前記パルス幅のX線を前記X線照射部から照射させる前記X線照射制御部と、前記X線検出部によって検出されたX線に基づいて、前記X線画像を生成する前記X線画像生成部と、機械学習によって生成された前記学習済みモデルに基づいて、前記X線画像生成部によって生成された前記X線画像から、前記X線画像中の前記デバイスを検出する前記デバイス検出部とを含む制御部をさらに備える、項目1に記載のX線撮影装置。
【0101】
(項目9)
被検体の体内に留置される医療用のデバイスの検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅のX線によるX線画像に対応するように、前記ぶれ抑制パルス幅のX線によるX線画像における前記被検体の体内の前記デバイスを模擬するように生成された教師入力用X線画像を取得するステップと、
前記教師入力用X線画像における前記デバイスの位置または形状を示す教師出力用情報を取得するステップと、
前記教師入力用X線画像と前記教師出力用情報とによって、機械学習によって学習済みモデルを生成するステップと、を備える、学習済みモデルの生成方法。
【0102】
(項目10)
前記教師入力用X線画像を取得するステップは、前記ぶれ抑制パルス幅のX線によって生成された模擬X線画像を取得するステップと、
取得された前記模擬X線画像に対して画像処理を行うことによって、前記X線画像における前記被検体の体内の前記デバイスを模擬するように前記教師入力用X線画像を生成するステップとを含む、項目9に記載の学習済みモデルの生成方法。
【0103】
(項目11)
機械学習によって生成された学習済みモデルに基づいて、生成されたX線画像から被検体の体内に留置される医療用のデバイスを検出する検出精度が最大となるパルス幅以下であるぶれ抑制パルス幅に、前記X線画像を生成するために照射されるX線のパルス幅を設定するステップと、
体内に前記デバイスが留置された前記被検体に、設定された前記ぶれ抑制パルス幅のX線を照射させるステップと、
前記被検体を透過したX線を検出するステップと、
検出された前記ぶれ抑制パルス幅のX線に基づいて、前記X線画像を生成するステップと、
前記学習済みモデルに基づいて、生成された前記ぶれ抑制パルス幅のX線による前記X線画像から、前記X線画像中の前記デバイスを検出するステップと、を備える、画像処理方法。
【0104】
(他の態様)
また、上記した実施形態は、以下の態様の具体例でもあり得る。
【0105】
(項目12)
人体内の可動物体(デバイス)の短時間露光X線の画質を改善する方法であって、
X線の1つ以上のバースト(照射)を人体内の可動物体に向けて放射し、
ここで、X線の1つ以上のバーストは、所定のしきい値の露光期間(パルス幅)より短い露光期間を有する少なくとも1つの短い露光(パルス幅)X線のバーストを含み、
X線の1つ以上のバーストを検出し、
X線の1つ以上のバーストに基づいて、人体内の可動物体の低解像度のX線画像を生成し、
低解像度のX線画像を1つ以上の機械学習モデル(学習済みモデル)に入力することにより、低解像度のX線画像内の可動物体の輪郭を生成し、
ここで、1つ以上の機械学習モデルのそれぞれは、低解像度のX線画像内の可動物体に対応する形状およびマテリアルを有する物体のX線画像(教師入力用X線画像)、および、X線画像(教師入力用X線画像)内の物体の指定された輪郭(教師出力用情報)を含むトレーニングセット(教師データ)に従ってトレーニング(学習)され、
生成された可動物体の輪郭の強度を増加させることにより、低解像度のX線画像に基づいて新しいX線画像(強調画像)を生成および出力し、
ここで、新しいX線画像は、低解像度のX線画像よりも可動物体の解像度が高い、人体内の可動物体の短時間露光X線の画質を改善する方法。
【0106】
(項目13)
人体内の可動物体(デバイス)の短時間露光X線の画質を改善する装置であって、
1つ以上のX線バーストを生成し、人体内の可動物体に向けて放射するように構成されたX線発生器(X線照射部)を備え、
ここで、X線の1つ以上のバーストは、所定のしきい値露光期間(パルス幅)より短い露光期間を有する少なくとも1つの短い露光(パルス幅)X線のバーストを含み、
X線の1つ以上のバーストを検出するように構成されたX線検出器(X線検出部)と、
X線の1つ以上のバーストに基づいて、人体内の可動物体の低解像度のX線画像を生成するように構成された画像生成ユニットと、
低解像度のX線画像を1つ以上の機械学習モデル(学習済みモデル)に入力することにより、低解像度のX線画像内の可動物体の輪郭を生成するように構成された1つ以上の学習済み機械学習システムと、を備え、
ここで、1つ以上の機械学習モデルのそれぞれは、低解像度のX線画像内の可動物体に対応する形状とマテリアルを有する物体のX線画像(教師入力用X線画像)、および、X線画像(教師入力用X線画像)内の物体の指定された輪郭(教師出力用情報)を含むトレーニングセット(教師データ)に従ってトレーニング(学習)され、
生成された可動物体の輪郭の強度を増加させることにより、低解像度のX線画像に基づいて新しいX線画像(強調画像)を生成および出力するように構成された画像処理モジュールと、を備え、
ここで、新しいX線画像は、低解像度のX線画像よりも可動物体の解像度が高い、人体内の可動物体の短時間露光X線の画質を改善する装置。
【0107】
(項目14)
可動物体(デバイス)の短時間露光X線の画質を改善するための機械学習モデル(学習済みモデル)のトレーニング(学習)方法であって、
可動物体(デバイス)に対応する形状およびマテリアルを有する物体の輪郭(教師出力用情報)で描かれた複数のX線画像(教師入力用X線画像)を取得し、
ここで、複数のX線画像は、低解像度で描かれた輪郭を含む少なくとも1つのX線画像を含み、
複数のX線画像(教師入力用X線画像)と輪郭線(教師出力用情報)を使用して1つ以上の機械学習モデルをトレーニングし、X線画像(教師入力用X線画像)を可動物体に対応する形状とマテリアルを有する物体の輪郭(教師出力用情報)と相関させる、可動物体の短時間露光X線の画質を改善するための機械学習モデルのトレーニング方法。
【符号の説明】
【0108】
2 X線照射部
3 X線検出部
7 制御部
10 X線画像
71 X線照射制御部
72 パルス幅設定部
73 X線画像生成部
74 デバイス検出部
80 学習済みモデル
81 教師入力用X線画像
82 教師出力用情報
100 X線撮影装置
101 被検体
200 デバイス