IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-177749画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム
<>
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図1
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図2
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図3
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図4
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図5
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図6
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図7
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図8
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図9
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図10
  • 特開-画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024177749
(43)【公開日】2024-12-24
(54)【発明の名称】画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラム
(51)【国際特許分類】
   A61B 6/00 20240101AFI20241217BHJP
【FI】
A61B6/00 350D
A61B6/00 333
A61B6/00 350S
【審査請求】未請求
【請求項の数】27
【出願形態】OL
(21)【出願番号】P 2023096070
(22)【出願日】2023-06-12
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100101498
【弁理士】
【氏名又は名称】越智 隆夫
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(74)【代理人】
【識別番号】100136799
【弁理士】
【氏名又は名称】本田 亜希
(72)【発明者】
【氏名】田中 一将
(72)【発明者】
【氏名】富田 律也
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA01
4C093AA26
4C093CA15
4C093EA07
4C093FD03
4C093FF20
4C093FF25
4C093FF28
4C093FF35
(57)【要約】
【課題】大腿骨の骨密度測定の対象領域である頸部ROIを高精度に取得する。
【解決手段】医用画像を処理する画像処理装置であって、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、該入力画像における大腿骨の頸部を含む頸部関心領域を取得する取得手段を備える、画像処理装置。
【選択図】図4
【特許請求の範囲】
【請求項1】
医用画像を処理する画像処理装置であって、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、該入力画像における大腿骨の頸部を含む頸部関心領域を取得する取得手段を備える、画像処理装置。
【請求項2】
前記学習済モデルは、
大腿骨の画像における大腿骨領域を示す情報を含む学習データを用いて得た第1の学習済モデルと、
大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第2の学習済モデルと、
を含み、
前記取得手段は、
前記第1の学習済モデルの入力データとして前記入力画像を用いることにより、前記入力画像における大腿骨領域を示す情報を取得する第1の取得手段と、
前記第2の学習済モデルの入力データとして前記取得した大腿骨領域を示す情報を用いることにより、前記入力画像における頸部関心領域を取得する第2の取得手段と、
を含む、請求項1に記載の画像処理装置。
【請求項3】
前記第2の取得手段は、前記第2の学習済モデルからの出力に基づく頸部関心領域の位置と角度とを用いて、前記入力画像における頸部関心領域を取得する、請求項2に記載の画像処理装置。
【請求項4】
前記大腿骨領域は骨頭部と転子部とを含み、
前記第1の取得手段は、前記第1の学習済モデルを用いて骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得する、請求項2に記載の画像処理装置。
【請求項5】
前記大腿骨領域は骨頭部と転子部を含み、
前記第1の取得手段は、前記第1の学習済モデルを用いて骨頭部の領域と転子部の領域とを合わせた領域を示す情報を取得する、請求項2に記載の画像処理装置。
【請求項6】
前記第2の取得手段は、頸部軸を更に取得する、請求項2に記載の画像処理装置。
【請求項7】
前記入力画像における頸部関心領域の大きさは、予め設定されている、請求項1に記載の画像処理装置。
【請求項8】
前記入力画像における頸部関心領域の大きさは、前記第2の取得手段により設定される、請求項2に記載の画像処理装置。
【請求項9】
前記第1の取得手段は、前記入力画像内の大腿骨領域以外の骨領域を更に抽出し、
前記大腿骨領域以外の骨領域は、背景領域の抽出に用いられる、請求項2に記載の画像処理装置。
【請求項10】
前記取得した大腿骨領域の修正を操作する操作部を更に備え、
前記第2の取得手段は、前記操作部を用いて修正された大腿骨領域を前記第2の学習済モデルの入力データとして用いることにより、前記入力画像における頸部関心領域を取得する、請求項2に記載の画像処理装置。
【請求項11】
前記第2の取得手段は、前記取得された大腿骨領域を示す情報と前記入力画像とが重畳された画像を用いて、前記入力画像における頸部関心領域を取得する、請求項2に記載の画像処理装置。
【請求項12】
第1の取得手段は、
前記第1の学習済モデルの入力データとして入力画像を用いることにより、前記入力画像の骨頭部の領域と転子部の領域とを単一領域とした該単一領域を示す情報を取得し、
前記単一領域を示す情報から前記骨頭部の領域を示す情報と前記転子部の領域を示す情報とを別々に抽出することで、前記入力画像における大腿骨領域を示す情報を取得する、請求項2に記載の画像処理装置。
【請求項13】
前記単一領域の修正を操作する操作部を更に備える、請求項12に記載の画像処理装置。
【請求項14】
前記第1の取得手段は、骨頭部の領域と転子部の領域とを含む単一領域における骨頭部の領域と転子部の領域とを別々に抽出した大腿骨領域を示す情報を含む学習データを用いて得た学習済モデルの入力データとして前記取得した単一領域を示す情報を用いることにより、前記取得した単一領域における骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得する、請求項12に記載の画像処理装置。
【請求項15】
前記第1の取得手段は、ルールベース処理により、前記単一領域における骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得する、請求項12に記載の画像処理装置。
【請求項16】
前記学習済モデルは、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第1の学習済モデルと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第2の学習済モデルとを統合した学習済モデルである、請求項1に記載の画像処理装置。
【請求項17】
前記取得手段は、前記学習済モデルからの出力に基づく頸部関心領域の位置と角度とを用いて、前記入力画像における頸部関心領域を取得する、請求項16に記載の画像処理装置。
【請求項18】
前記入力画像における頸部関心領域は骨密度測定の対象領域である、請求項1に記載の画像処理装置。
【請求項19】
前記入力画像における頸部関心領域を表示部に表示させる表示制御手段と、
前記表示部の表示に基づいて、操作者が前記入力画像における頸部関心領域の修正を操作する操作部と、を更に備える請求項1に記載の画像処理装置。
【請求項20】
前記取得された頸部関心領域が異常であると判定された場合に、警告を表示部に表示させる表示制御手段を更に備える、請求項1に記載の画像処理装置。
【請求項21】
前記入力画像は、エネルギーサブトラクション画像、2種類の管電圧の放射線を用いて取得された2枚の画像のうち少なくとも一方の画像、放射線吸収率の異なる2種類の素材を有するセンサを用いて取得された2枚の画像のうち少なくとも一方の画像、単純放射線画像、のいずれかである、請求項1に記載の画像処理装置。
【請求項22】
前記2種類の素材の一方はCsIを含み、前記2種類の素材のもう一方はGOSを含む、請求項21に記載の画像処理装置。
【請求項23】
大腿骨領域は大腿骨の近位部の領域を含む、請求項1に記載の画像処理装置。
【請求項24】
前記取得手段は、医用画像から測定対象を含む参照領域を抽出し、該参照領域を示す画像を前記入力画像として用いる、請求項1に記載の画像処理装置。
【請求項25】
請求項1乃至24のいずれか一項に記載の画像処理装置と、
放射線を発生させる放射線発生装置と、
前記放射線を検出し、放射線画像を生成する放射線検出装置と、
を備える、放射線撮影システム。
【請求項26】
医用画像を処理する画像処理装置の作動方法であって、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、該入力画像における大腿骨の頸部を含む頸部関心領域を取得することを含む、画像処理装置の作動方法。
【請求項27】
コンピュータによって実行されると、該コンピュータに請求項26に記載の画像処理装置の作動方法を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、画像処理装置、放射線撮影システム、画像処理装置の作動方法、およびプログラムに関する。
【背景技術】
【0002】
骨粗鬆症の診断や治療薬の効果判定のために、骨密度の測定が行われる。骨密度は、1cmあたりの骨量である。骨密度を測定する技術として、DXA(Dual energy X-ray Absorptiometry)法で取得した画像を用いる方法が知られている。DXA法では、2種類の管電圧を用いてX線撮影を行い、吸収率の差に基づいて骨と軟組織等の物質の弁別を行う。このようにしてDXA法を用いて取得された画像を、エネルギーサブトラクション画像(以下、エネサブ画像と呼ぶ)、又は物質弁別画像と言う。
【0003】
骨密度測定のために、エネサブ画像の骨領域の中から、さらに骨密度測定の対象領域を取得する必要がある。大腿骨の骨密度を測定する場合、一般的に大腿骨の近位部内の頸部の領域が骨密度測定の対象領域である。さらに、当該頸部の頸部軸に略直交し、最も細い箇所の周辺領域が、頸部ROI(Region Of Interest、頸部関心領域)として設定される。
【0004】
特許文献1では、機械学習を用いて自動的に画像内の大腿骨頸部領域を抽出し、この頸部領域に基づいて頸部ROIを取得する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第7226199号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献1では、大腿骨の頸部領域と背景領域とを識別可能なラベルを付した教師用画像を用いた学習処理により作成された学習済モデルによって、大腿骨の頸部領域を抽出している。しかしながら、学習済モデルの出力結果に推論誤差があると、頸部ROIの角度や位置に誤差が生じる。例えば、入力画像の骨の形状が崩れている場合や、2種類の管電圧の画像間の位置ずれ等で入力画像の品質が低い場合には、頸部領域の推論誤差が起こりやすくなる。
【0007】
そこで、本明細書の開示の一実施態様に係る目的の1つは、大腿骨の骨密度測定の対象領域である頸部ROIを高精度に取得することである。
【課題を解決するための手段】
【0008】
本明細書に開示の一実施態様に係る画像処理装置は、医用画像を処理する画像処理装置であって、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、該入力画像における大腿骨の頸部を含む頸部関心領域を取得する取得手段を備える。
【発明の効果】
【0009】
本明細書の開示の少なくとも一実施態様によれば、大腿骨の骨密度測定の対象領域である頸部ROIを高精度に取得することができる。
【図面の簡単な説明】
【0010】
図1】実施例1に係るX線撮影システムの概略構成の一例を示す。
図2】実施例1に係る入力画像の一例を示す。
図3】実施例1に係る頸部ROIの一例を示す。
図4】実施例1に係る画像処理のフローチャートの一例を示す。
図5】実施例1に係る第1の取得部による取得結果の一例を示す。
図6】実施例1に係る頸部ROIの位置と角度の一例を示す。
図7】実施例1に係る第2の取得部への入力画像の一例を示す。
図8】実施例1に係る第2の取得部への入力画像の他の一例を示す。
図9】実施例1に係る頸部軸の一例を示す。
図10】実施例2に係る放射線画像の一例を示す。
図11】実施例2に係る画像処理のフローチャートの一例を示す。
【発明を実施するための形態】
【0011】
以下、図面を参照して本発明を実施するための例示的な実施例を詳細に説明する。図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。また、各図面において説明上重要ではない構成要素、部材、処理の一部は省略して表示する場合がある。
【0012】
なお、以下の実施例において、放射線の例としてX線を用いた撮影システムについて説明するが、本開示に係る撮影システムは他の放射線を用いてもよい。ここで、放射線という用語は、例えばX線およびγ線等の電磁放射線、並びにα線、β線、粒子線、陽子線、重イオン線、および中間子線等の粒子放射線などを含むことができる。
【0013】
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習(ディープラーニング)も挙げられる。また、決定木を用いたアルゴリズムとして、LightGBMやXGBoostのように勾配ブースティングを用いた手法も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例および変形例に適用することができる。また、教師データとは、学習データのことをいい、入力データおよび出力データのペアで構成される。また、学習データの出力データのことを正解データともいう。
【0014】
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な教師データ(学習データ)を用いてトレーニング(学習)を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いて得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
【0015】
(実施例1)
以下、図1乃至図9を参照して、本発明の実施例1に係る放射線撮影システム、画像処理装置および画像処理装置の作動方法について説明する。図1は、本実施例に係る放射線撮影システムの例であるX線撮影システム100の構成例を示す。X線撮影システム100には、X線発生装置制御部102、X線管103、FPD(Flat Panel Detector、FPDe)106、および画像処理装置120が設けられている。なお、X線撮影システム100の構成を単にX線撮影装置ともいう。画像処理装置120は、撮影したX線画像に基づく情報を処理する。
【0016】
X線発生装置制御部102は、曝射スイッチの押下により、X線管103に高電圧パルスを与えX線を発生させ、X線管103は、X線を照射する。X線管103からX線が照射されると、X線は架台104上の被写体(不図示)およびグリッド105を通過して、FPD106に到達する。到達したX線は、FPD106によって可視光に変換され、X線画像として出力される。出力されたX線画像は制御部101を介して、画像処理装置120に転送される。
【0017】
FPD106は、X線に応じた信号を生成するための画素アレイを備えたX線検出部(不図示)を有する。X線検出部は、グリッドを通過したX線を画像信号として検出する。X線検出部には、入射光に応じた信号を出力する画素がアレイ状(二次元の領域)に配置されている。各画素の光電変換素子は蛍光体により可視光に変換されたX線を電気信号に変換し、画像信号として出力する。このように、X線検出部はグリッドを通過したX線を検出して、画像信号(X線画像)を取得するように構成されている。FPD106は、制御部101からの指示に従って読み出した画像信号(X線画像)を制御部101に出力する。なお、X線検出部は、シンチレータ等を用いてX線を一旦可視光に変換し、光電変換素子により可視光を電気信号に変換するような間接変換型の検出部であってもよいし、入射したX線を電気信号に直接変換する直接変換型の検出部であってもよい。
【0018】
制御部101は、FPD106から取得したX線画像を、X線画像を処理する画像処理装置120と、画像処理の結果や各種プログラムを記憶する記憶部109に転送する。記憶部109は、例えば、ROM(Read Only Memory)、又はRAM(Random Access Memory)等により構成される。記憶部109は、制御部101から出力された画像や画像処理装置120で画像処理された画像、画像処理装置120で算出された計算結果を記憶することが可能である。
【0019】
画像処理装置120は、入力された画像を処理して算出結果や画像などを出力する。画像処理装置120には、第1の取得部121および第2の取得部122が設けられている。第1の取得部121は、後述する第1の学習済モデルを用いて、入力画像から大腿骨の近位部の領域を含む大腿骨近位部領域(大腿骨領域)を抽出、取得する。第2の取得部122は、後述する第2の学習済モデルを用いて、第1の取得部121によって取得された大腿骨近位部領域に基づいて、大腿骨の骨密度測定の対象領域である頸部ROIを取得する。第1の取得部121および第2の取得部122の処理の詳細については後述する。また、画像処理装置120は、取得した頸部ROIに関して骨密度解析を行い、骨密度を算出することができる。
【0020】
なお、制御部101および画像処理装置120は、プロセッサおよびメモリが設けられたコンピュータによって構成されることができる。なお、制御部101および画像処理装置120は、一般的なコンピュータによって構成されてもよいし、X線撮影システム専用のコンピュータによって構成されてもよい。
【0021】
制御部101の構成要素、および画像処理装置120に含まれる第1の取得部121等の各構成要素は、例えば、1つ又は複数のCPU(Central Processing Unit)等のプロセッサ、および記憶部109から読み込んだプログラムを用いて機能構成される。なお、プロセッサは、例えば、MPU(Micro Processing Unit)やGPU(Graphical Processing Unit)、FPGA(Field-Programmable Gate Array)等であってもよい。また、制御部101の構成要素、および画像処理装置120に含まれる各構成要素は、ASIC等の特定の機能を果たす集積回路などで構成してもよい。また、制御部101および画像処理装置120の内部構成として、GPU等のグラフィック制御部、ネットワークカード等の通信部、キーボード、ディスプレイ又はタッチパネル等の入出力制御部等を含む構成も可能である。
【0022】
表示部107(モニタ)は、制御部101がFPD106から受信したX線画像(デジタル画像)や画像処理装置120で画像処理された画像、患者情報、又はユーザー通知等を表示する。操作部108は、ユーザーインターフェイスを介して、画像処理装置120やFPD106に対する指示を入力することができる。操作部108は、例えばマウスやキーボード等の入力機器を用いて構成されてよい。制御部101は、操作部108からの指示等に応じて、表示部107を制御できる表示制御手段の一例として機能する。
【0023】
なお、本実施例では、画像処理装置120および制御部101を別個の装置として記載するが、これらは同一の装置、例えば1つのコンピュータによって構成されることもできる。なお、表示部107はタッチパネル式のディスプレイにより構成されてもよく、この場合には表示部107は操作部108として兼用されることができる。
【0024】
図2は、X線撮影システム100により取得された大腿骨近位部周辺の画像の一例を示す。図2には、説明のために、大腿骨の骨頭を含む骨頭領域21、大腿骨の転子部を含む転子部領域22、大腿骨の転子下部を含む転子下領域23(本明細書では、画像内の骨幹部もこの領域に区分して扱う)、および骨盤を含む骨盤領域24を示してある。大腿骨近位部領域は、骨頭領域21、転子部領域22、および転子下領域23で構成される。
【0025】
なお、以下では図2に示されるように左脚を撮影した場合を説明するが、反対側の脚を撮影した場合も同様の処理を行ってよい。また、左右のいずれかを基準側として、その反対側の脚を撮影した場合は、X線撮影システム100により取得された画像を左右反転した画像に対して以下の処理を行ってもよい。
【0026】
さらに、図3は、本実施例に係る頸部ROI(頸部関心領域)の一例を示す。図3には、大腿骨の骨密度の測定対象である頸部ROIに対応する矩形25を破線で示してある。頸部ROIは、一般的に矩形で設定される。ただし、頸部ROIは矩形に限られず、所望の構成に応じて任意の形状で設けられてよい。
【0027】
本実施例における画像処理装置120は、図2に示すような大腿骨近位部周辺の画像を入力画像として、図3に示すような頸部ROIを取得する。入力画像は、DXA法で取得されたエネサブ画像であってよい。このエネサブ画像は、kVスイッチング方式により2種類の管電圧でX線撮影された画像から生成されたものであってよい。また、このエネサブ画像は、FPD106としてX線吸収率の異なる2種類の素材(蛍光体、シンチレータ)で形成された積層センサを用いて、一度の曝射で得られるそれぞれの層の画像から生成されたものであってもよい。一例として、この2種類の素材は、CsI(Tl)(タリウム活性化ヨウ化セシウム)と、GOS(ガドリニウム硫酸化物)を、主成分として含んだものであってよい。この積層センサは、X線が入射する側(被写体側)の素材がCsI(Tl)を含むものであり、反対側の素材がGOSを含むものであるように構成されていてもよい。これに対し、一度の曝射(単純X線撮影)で取得された単純X線画像を、入力画像として用いてもよい。また、FPD106が積層センサである場合、いずれかの層(例えば、被写体側である上層)の画像を入力画像として用いてもよい。
【0028】
以下、図4を参照して、本実施例における、頸部ROIを取得するための画像処理装置120の画像処理について説明する。図4は、本実施例における、頸部ROIを取得するための画像処理装置120の画像処理フローを示す。本実施例に係る画像処理フローが開始されると、処理はステップS11(第1の取得工程)に移行する。
【0029】
ステップS11において、画像処理装置120の第1の取得部121は、第1の学習済モデルを用いて、入力画像から骨頭領域、転子部領域、転子下領域、および骨盤領域をそれぞれ抽出(セグメンテーション)し、取得する。このように、第1の取得部121は、第1の学習済モデルの入力データとして入力画像を用いて、入力画像における大腿骨近位部領域を取得する第1の取得手段の一例である。本実施例では、後のステップで背景領域を取得する際に用いるため、第1の取得部121は、大腿骨近位部領域に加えて、大腿骨領域以外の骨領域である骨盤領域を併せて取得している。なお、以下において、骨頭領域、転子部領域、転子下領域、骨盤領域、および頸部ROI等の各種領域の取得処理には、これら領域を示す画像(情報)の取得やこれら領域の特定が含まれるものとする。
【0030】
第1の取得部121が抽出(取得)した結果の一例を図5(a)乃至図5(d)に示す。図5(a)の白色領域が骨頭領域の抽出結果(取得結果)、図5(b)の白色領域が転子部領域の抽出結果、図5(c)の白色領域が転子下領域の抽出結果、および図5(d)の白色領域が骨盤領域の抽出結果を示す。これらの領域の抽出結果を示す画像の輝度値の一例としては、例えば、骨領域である白色領域の輝度値を1、背景領域である黒色領域の輝度値を0としてよい。このように骨領域を輝度値で表した画像等の、所定の領域を示すラベルを含む(アノテーションされた)画像を、以下でラベル画像と呼ぶ。なお、ラベルは輝度値に限られず、所望の構成に応じて任意の数値や文字等であってもよい。また、領域毎に異なるラベルが割り当てられてもよい。
【0031】
第1の学習済モデルは記憶部109に記憶しておくことができ、第1の取得部121は記憶部109に記憶された第1の学習済モデルを呼び出して使用してよい。図5(a)乃至図5(d)に示されたそれぞれの領域を抽出する学習済モデルは、共通のモデルであってよい。このような学習済モデルは、大腿骨近位部周辺の画像が入力されると、各チャンネルから骨頭領域、転子部領域、転子下領域、および骨盤領域のそれぞれの抽出結果を出力することができる。また、それぞれの領域を抽出する学習済モデルは、別々に設けられてもよい。これらの学習済モデルは、同じ構造で、重みだけが異なっていてもよい。なお、本実施例では、X線撮影システム100が学習済モデルを備える構成とするが、学習済モデルはX線撮影システム100の外部に設けられてもよい。
【0032】
ここでの第1の学習済モデルは、例えば、大腿骨近位部周辺の画像と、その画像内の骨頭領域、転子部領域、転子下領域、および骨盤領域をラベル付けした画像との組み合わせを学習データとして学習させることで、生成され得る。
【0033】
なお、それぞれの領域を抽出する学習済モデルを別々に備える場合には、ラベル付けした画像をそれぞれ分けて学習させればよい。具体的には、大腿骨近位部周辺の画像とその画像内の骨頭領域をラベル付けした画像との組み合わせを学習データとして用いることで、骨頭領域を抽出するための学習済モデルが生成されてよい。同様に、大腿骨近位部周辺の画像とその画像内の転子部領域をラベル付けした画像との組み合わせを学習データとして用いることで、転子部領域を抽出するための学習済モデルが生成されてよい。また、大腿骨近位部周辺の画像とその画像内の転子下領域をラベル付けした画像との組み合わせを学習データとして用いることで、転子下領域を抽出するための学習済モデルが生成されてよい。さらに、大腿骨近位部周辺の画像とその画像内の骨盤領域をラベル付けした画像との組み合わせをそれぞれ学習データとして用いることで、骨盤領域を抽出するための学習済モデルが生成されてよい。
【0034】
なお、本実施例では、例えば制御部101が、学習済モデルの学習を行う学習部の一例として機能することができる。しかしながら、第1の取得部121は、画像処理装置120や他の学習装置等により学習が行われた第1の学習済モデルを用いてもよい。
【0035】
また、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、ディープラーニングのような機械学習アルゴリズムを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、本実施例では、学習部の一例として機能する制御部101による処理には、CPUに加えてGPUを用いてもよい。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行うことができる。なお、学習部の処理では、CPU又はGPUのみにより演算が行われてもよい。また、本実施例に係る抽出処理についても、学習部と同様にGPUを用いて実現してもよい。なお、学習済モデルが外部装置に設けられている場合には、制御部101は学習部として機能しなくてもよい。
【0036】
また、学習部は、不図示の誤差検出部と更新部とを備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、正解データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと正解データとの誤差を計算するようにしてもよい。また、更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。
【0037】
なお、本実施例に係る機械学習モデルとしては、例えば、FCN(Fully Convolutional Network)、又はSegNet等を用いることもできる。また、物体認識を行う機械学習モデルとしては、例えば、RCNN(Region CNN)、fastRCNN、又はfasterRCNNを用いることができる。さらに、領域単位で物体認識を行う機械学習モデルとして、YOLO(You Only Look Once)、又はSSD(Single Shot Detector、あるいはSingle Shot MultiBox Detector)を用いることもできる。
【0038】
また、画像処理装置120は、セグメンテーション処理の前に、入力画像に対して前処理を行ってもよい。前処理の一例は、コントラストを向上させる処理であってよい。コントラストを向上させる処理として、例えば画像内の輝度値の最大値を1とし、画像内の輝度値の最小値を0とし、輝度の階調を線形に引き延ばす処理が挙げられる。また、前処理の一例は、ヒストグラム平坦化などの処理であってもよい。前処理の他の一例は、エッジを強調させる処理であってもよい。エッジを強調させる処理として、例えばフィルター処理が挙げられる。前処理の他の一例は、画像の輝度値の平均値を0にし、分散を1にする標準化処理であってもよい。また、画像処理装置120は上記の前処理を組み合わせて行ってもよい。なお、これらの前処理は第1の学習済モデルに学習させる学習データに対しても行われてよい。
【0039】
入力画像は、操作者が表示部107に表示された画像を見ながら操作部108を介して指示することで、X線撮影システム100により取得された画像が操作者の指示に応じてトリミングされた画像であってもよい。また、トリミングされた画像は、指定された画像サイズにリサイズされてもよい。ここで言う指定された画像サイズは、例えば学習済モデルの入力画像サイズであってよい。また、入力画像は、撮影範囲に基づいて、画像処理装置120によって自動的に大腿骨近位部を残すようにトリミングされた画像であってもよい。
【0040】
さらに、入力画像が操作者によってトリミングされた画像である場合、入力画像は転子下領域を含まなくてもよい。この場合、第1の学習済モデルの出力は、転子下領域を含まなくてもよい。また、X線撮影システム100により取得された画像に転子下領域が含まれなくてもよい。
【0041】
また、第1の取得部121は、それぞれの対象領域に対して、抽出された領域の外側で特異的に小さな領域も併せて抽出された場合、この領域はセグメンテーション誤差とみなして抽出結果から除去し、面積が最大である領域のみを残してよい。
【0042】
さらに、制御部101が第1の取得部121により取得された大腿骨近位部領域を表示部107に表示させ、操作者が操作部108を用いて、骨領域の追加あるいは削除等の修正の指示を行ってもよい。この場合、制御部101は、操作者の指示を画像処理装置120に送り、画像処理装置120は取得した操作者からの指示に応じて、骨領域の追加あるいは削除等の修正を行うことができる。
【0043】
ここで、第1の取得部121で取得された骨頭領域のラベルと転子部領域のラベルが共通である場合、骨領域の追加の指示は、表示された大腿骨近位部領域に対して、同じラベル値を追加する場所を指定することで行うことができる。
【0044】
また、第1の取得部121で取得された骨頭領域のラベルと転子部領域のラベルとが異なる場合、操作者は、表示された大腿骨近位部領域に対して骨領域を追加する箇所を、骨頭領域と転子部領域とで個別に指定することができる。このような操作によって、骨頭領域と転子部領域のそれぞれの追加修正の指示をすることができる。
【0045】
第1の取得部121で取得された骨頭領域のラベルと転子部領域のラベルとが異なる場合においても、操作者は骨頭領域と転子部領域とで共通の骨領域ラベルを用いて追加修正の指示を行ってもよい。この場合、第1の取得部121によって、追加された骨領域が骨頭領域であるか転子部領域であるかを区別してもよい。ここで追加された骨領域のラベルは、例えばその外枠の隣接画素のラベルに設定することができる。
【0046】
また、画像処理装置120は、第1の取得部121により、第1の学習済モデルを用いて、入力画像の骨頭領域と転子部領域とを共通のラベルが付された領域としたラベル画像を取得してもよい。この場合、第1の取得部121は、取得されたラベル画像から骨頭領域と転子部領域とを別々の領域としたラベル画像を更に取得することができる。第1の取得部121は、第3の学習済モデルを用いて、骨頭領域と転子部領域について共通のラベルが付されたラベル画像から骨頭領域と転子部領域とを別々に抽出したラベル画像を取得してもよい。ここで、第3の学習済モデルの学習データは、骨頭領域と転子部領域について共通のラベルが付されたラベル画像を入力データとし、当該ラベル画像における骨頭領域と転子部領域とについて別々のラベルを付したラベル画像を出力データとしてよい。また、第1の取得部121は、ルールベース処理によって骨頭領域と転子部領域について共通のラベルが付されたラベル画像から骨頭領域と転子部領域とを別々に抽出したラベル画像を取得してもよい。なお、第1の取得部121は、これらそれぞれの処理を行う第3の取得部と第4の取得部を含んでもよい。
【0047】
学習済モデルを用いて入力画像から頸部領域を抽出すると、結果に異常があった場合にその原因の確認や途中段階での修正が難しい。それに対して画像処理装置120は、上記のように途中段階で取得された大腿骨近位部領域を表示および修正することで、より着実に最終的な頸部ROIを取得することができる。
【0048】
次に、ステップS12(第2の取得工程)において、画像処理装置120の第2の取得部122は、第2の学習済モデルを用いて、ステップS11の取得結果(図5)から頸部ROIを取得する。
【0049】
上述のように、1つの学習済モデルで入力画像から大腿骨頸部領域および頸部ROIを抽出する画像処理装置を使用した場合には、学習済モデルの出力結果に推論誤差があると、頸部ROIの角度や位置に誤差が生じる。例えば、入力画像の骨の形状が崩れている場合や、2種類の管電圧の画像間の位置ずれ等で入力画像の品質が低い場合には、頸部領域の推論誤差が起こりやすくなる。また、設定する頸部ROIの大きさは、施設や検査技師の方針ごとに異なり得る。学習済モデルで頸部領域を抽出する場合、頸部領域および頸部ROIの大きさは学習データに依存する。学習済モデルの出力を変更するには再学習が必要となるため、施設の方針に沿って頸部ROIの設定を変更することが容易ではない。あるいは、学習済モデルの出力を操作者が修正する手間が発生してしまう。
【0050】
これに対して、本実施例に係る第2の取得部122は、ステップS11の取得結果である大腿骨近位部領域から、第2の学習済モデルを用いて入力画像内の頸部ROIの位置と角度を取得する。このように、第2の取得部122は、第2の学習済モデルの入力データとして第1の取得手段が取得した大腿骨近位部領域を用いて、大腿骨の骨密度測定の対象領域である頸部関心領域を取得する第2の取得手段の一例である。
【0051】
図6は、本実施例に係る頸部ROI(矩形25)の位置と角度の一例を示す。ここでの頸部ROIの位置は、図6に示されるように、頸部ROI(矩形25)の中心位置RPとして設定することができる。また、頸部ROIの角度は、画像の左右方向の線に対する、図6の線RAに示されるような矩形の長辺と平行な(頸部を横切る方向の)線の角度として設定することができる。ただし、頸部ROIの位置と角度の取り方はこれらに限らず、代表的な位置や角度を任意に設定することができる。
【0052】
また、第2の取得部122は、頸部ROIの大きさ(矩形の縦横の長さ)として、予め固定値を設定することができる。このように、第2の取得部122は、頸部ROIの大きさを施設の方針等に沿って設定した上で、学習済モデルの出力を頸部ROIの位置と角度として指定することにより、正しい位置に配置した頸部ROIを取得することができる。また、頸部ROIの大きさは、被検者の体格や、ステップS11で取得された骨頭領域および転子部領域の大きさや位置関係などに応じて変えてもよい。この場合、第2の取得部122は、例えば、被検者の体格や、骨頭領域および転子部領域の大きさや位置関係と、頸部ROIの大きさとの対応関係を記憶したテーブルを参照したり、当該対応関係に関する関数を用いたりして頸部ROIの大きさを決定してもよい。
【0053】
第2の取得部122が第2の学習済モデルに入力する画像は、図5(a)に示すような骨頭領域のラベル画像と、図5(b)に示すような転子部領域のラベル画像とを含むことができる。ここで、第2の学習済モデルは、これらの2枚の画像を個別のチャンネルに持つテンソルを入力とする構成であってよい。また、第2の学習済モデルの入力データは、図7に示すように、骨頭領域と転子部領域をラベル付けした1枚のラベル画像であってもよく、この場合、骨頭領域と転子部領域のラベルは共通のラベルであってもよい。また、第2の学習済モデルの入力データは、図8に示すように、骨頭領域(図8の斜線部)と転子部領域(図8の白色部)の輝度値を個別に設定したラベル画像であってもよい。
【0054】
本実施例で用いる第2の学習済モデルは、上記のようなラベル画像を入力データとし、入力画像又は当該ラベル画像内の頸部ROIの位置および角度の数値を出力データとした、回帰モデルであってよい。この場合の第2の学習済モデルは、例えば、上記のようなラベル画像と、当該ラベル画像に対応する入力画像又は当該ラベル画像内の頸部ROIの位置および角度との組み合わせを学習データとして学習させることで、生成され得る。
【0055】
学習データの頸部ROIの位置と角度を指定する作業は、それぞれ数値を指定してもよい。また、学習データの頸部ROIの位置と角度を指定する作業は、図6に示すように、画像内に頸部の中心位置RPと、中心位置RPを通り矩形の長辺側に平行となる線RAを指定する作業であってもよい。この場合、後処理により線RAの角度が取得され、線RAの角度が頸部ROIの角度として指定されることができる。また、学習データの頸部ROIの位置と角度を指定する作業は、図6に示すような矩形25を指定する作業であってもよく、後処理によりその中心位置と角度が取得されることができる。また、このときに指定する矩形は、頸部ROIとは異なる大きさであってもよい。
【0056】
また、第2の学習済モデルは、入力されたラベル画像から、学習データとして指定された図6に示すような線RAに対応する領域を、セマンティックセグメンテーションなどの処理で抽出するモデルであってもよい。この場合、第2の学習済モデルは、上記のようなラベル画像を入力データとし、入力画像又は当該ラベル画像内の線RAに対応する領域を出力データとした学習データを用いた学習により得られてよい。第2の取得部122は、抽出された領域に線形近似などの後処理を施すことで線RAの近似線を取得し、この近似線の中心位置と角度を、頸部ROIの位置と角度として取得してもよい。このとき、頸部ROIの中心位置は、取得された近似線と、第1の取得部121が抽出した骨領域とが重複する領域の、重心位置としてもよい。
【0057】
また、第2の学習済モデルは、入力されたラベル画像から、学習データとして指定された図6に示すような頸部ROIに対応する矩形25の領域を、セグメンテーション処理で抽出するモデルであってもよい。この場合、第2の学習済モデルは、上記のようなラベル画像を入力データとし、入力画像又は当該ラベル画像内の矩形25の領域を出力データとした学習データを学習させることで得られてよい。第2の取得部122は、抽出された領域を矩形に近似した上で、近似した矩形領域の中心位置と長辺の角度を、頸部ROIの位置と角度として取得してもよい。例えば、入力されたラベル画像に対して学習データを矩形領域として与えることで、頸部ROIの適切な大きさも併せて学習させることができる。
【0058】
第2の学習済モデルは、頸部ROIの位置と角度をそれぞれ別々のチャンネルで出力する単一のモデルであってよい。また、第2の学習済モデルとして、頸部ROIの位置を出力するモデルと、頸部ROIの角度を出力するモデルが個別に設けられてもよい。この場合、頸部ROIの位置を出力するモデルは、上記のようなラベル画像を入力データとし、入力画像又は当該ラベル画像内の頸部ROIの位置を出力データとした学習データを学習させることで得られてよい。また、頸部ROIの角度を出力するモデルは、上記のようなラベル画像を入力データとし、入力画像又は当該ラベル画像内の頸部ROIの角度を出力データとした学習データを学習させることで得られてよい。
【0059】
第2の学習済モデルは、頸部ROIの位置と、図9に示す頸部軸26の角度を出力してもよい。頸部軸26は、例えば頸部ROIの中心位置を通り、頸部ROIの長辺に垂直な線として設定することができる。この場合、第2の学習済モデルは、上記のようなラベル画像を入力データとし、入力画像又は当該ラベル画像内の頸部ROIの位置および頸部軸26の角度を出力データとした学習データを学習させることで得られてよい。
【0060】
また、制御部101は、第2の学習済モデルが出力した頸部ROIの位置と長辺側の角度とに基づいて頸部軸26を求め、頸部軸26を表示部107に表示させてもよい。
【0061】
さらに、第2の取得部122は、第2の学習済モデルが出力した頸部ROIの位置あるいは角度に対して、オフセットさせた値を取得してもよい。このオフセット値は、施設や検査技師の方針などによって決定され得る。
【0062】
なお、第2の学習済モデルへの入力データは、第1の取得部121で取得したラベル画像に、入力画像(エネサブ画像など)を重畳した画像であってもよい。この場合、学習データの入力データも同様の画像とすることができる。
【0063】
また、第2の学習済モデルへの入力データは、第1の取得部121で取得したラベル画像と、入力画像(エネサブ画像など)との、2枚の画像であってもよい。これらの2枚の画像は、個別のチャンネルに入力されてもよいし、結合して一つのチャンネルに入力されてもよい。この場合、学習データの入力データも同様の画像とすることができる。
【0064】
本実施例における第2の取得部122は、第1の取得部121で取得された大腿骨領域を示すラベル画像(情報)に基づいて、頸部ROIの位置と角度を取得する。このように一度大腿骨領域の大局的な構造を近似的に取得し、それに対して頸部ROIを探索することで、骨の形状が崩れている場合や、入力画像の品質が低い場合などにも、より高精度に頸部ROIを取得することができる。また、本実施例では、頸部ROIの位置と角度を学習済モデルで取得し、大きさは任意にルール設定することで、施設や検査技師の方針に沿った検査設定を行える。
【0065】
このように、第2の取得部122は、骨頭領域および転子部領域を含む大腿骨近位部領域の取得結果を参照することで、高精度に大腿骨の頸部ROIを抽出、取得することができる。ステップS12において頸部ROIが取得されると処理はステップS13へ移行する。
【0066】
次にステップS13において、第2の取得部122は、骨の透過率を算出するための背景領域を設定する。以下、背景領域の設定方法の一例を述べる。
【0067】
背景領域の一例は、図2に示されるような入力画像において骨領域以外の領域であってよく、自動的に選択される。ここでの骨領域は、ステップS11で取得された、骨頭領域、転子部領域、転子下領域、および骨盤領域を含めた領域である。そのため、第2の取得部122は、例えば、入力画像における、ステップS11で取得された骨領域を除いた領域を背景領域として設定することができる。また、入力画像が操作者によってトリミングされた画像である場合、背景領域は、トリミングされた画像における骨領域以外の領域であってよい。この場合、第2の取得部122は、例えば、トリミングされた画像における、ステップS11で取得された骨領域を除いた領域を背景領域として設定することができる。ただし、背景領域の設定方法はこれに限らず、任意の方法で設定し得る。例えば、操作者が操作部108を用いて背景領域を指定してもよい。
【0068】
制御部101は、以上のように設定された頸部ROIを、表示部107へ表示させてよい。また、制御部101は、頸部軸を併せて表示させてもよい。さらに、表示部107に表示された頸部ROIに基づいて、操作者が操作部108を用いて頸部ROIの位置と角度の修正および決定を行ってもよい。また、操作者が操作部108を用いて頸部ROIの四隅の位置を指定するなどによって、頸部ROIの大きさを修正してもよい。なお、制御部101は、背景領域の位置を表示部107に表示させなくてもよい。
【0069】
また、制御部101は、取得された頸部ROIの位置および角度の少なくとも一方の結果が異常であると判定された場合、警告メッセージを表示部107へ表示させることができる。
【0070】
ここで異常と判定される条件の一例は、頸部ROIの位置が骨頭領域の中心位置よりも骨盤側にある場合である。ここでの頸部ROIの位置は、ステップS12で取得された頸部ROIの中心(図6の中心位置RP)の左右方向の位置(X座標)を参照してよい。また、ここでの骨頭領域の中心位置は、ステップS11で取得された骨頭領域(図5(a))について例えば重心位置を算出し、算出された重心位置の左右方向の位置(X座標)を参照してよい。そして、頸部ROIのX座標が骨頭領域中心のX座標よりも骨盤側であった場合、異常と判定されてよい。ここで言う「骨盤側」とは、図6に示されるように入力画像が左足の画像である場合は画像の左側を指し、逆に右足の画像である場合は画像の右側を指す。
【0071】
また、異常と判定される条件の他の一例は、頸部ROIの角度が、基準の角度から閾値以上に離れている場合である。ここでの基準の角度や閾値は任意に指定できる。例えば図6に示されるように入力画像が左足の画像である場合、頸部ROIの角度(画像の左右方向の線に対する図6の線RAの角度)の基準の角度を45度とし、閾値の角度も45度と設定してよい。つまりこの例では、頸部ROIの角度が90度以上である場合に、異常と判定されてよい。これらの例のように、異常であるかの判定は、ルールベース処理で実施され得る。
【0072】
以上のように取得された頸部ROIと背景領域とを参照して、画像処理装置120は、頸部ROIにおける骨密度を算出する。骨密度は既知の方法で算出でき、例えばDXA法で取得した、画像内の骨と軟組織の厚さの情報を用いて算出してもよい。また、DXA法で取得した原子番号と面密度の情報を用いて骨密度を算出してもよい。制御部101は、算出された骨密度を、表示部107に表示させてよい。また、骨密度算出のために参照する骨領域は頸部ROI内の頸部領域であり、頸部ROI内に含まれた頸部領域以外の骨領域(骨盤領域など)は参照しないようにしてよい。
【0073】
制御部101は、算出した骨密度に基づいて、診断に有用な任意の値を表示部107に表示させてもよい。例えば、制御部101は、同年代や他の年代の骨密度の平均値と比較した値を、表示部107に表示させてもよい。また、制御部101は、例えば過去の測定結果と比較した時系列データを表示部107に表示させてもよい。また、頸部ROI内で算出した骨密度値とは別に、入力画像内の骨領域全体あるいは一部の骨領域と、背景領域とを用いて算出した骨密度値を表示部107に表示させてもよい。
【0074】
上記のように、本実施例に係るX線撮影システム100は、放射線撮影システムの一例として機能し、画像処理装置120と、X線管103と、FPD106とを備える。X線管103は、放射線を発生させる放射線発生装置の一例として機能する。FPD106は、放射線を検出し、放射線画像を生成する放射線検出装置の一例として機能する。画像処理装置120は、医用画像を処理する画像処理装置の一例として機能し、第1の取得部121と、第2の取得部122とを備える。第1の取得部121および第2の取得部122は、大腿骨の画像における大腿骨近位部領域(大腿骨領域)を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、入力画像における大腿骨の頸部を含む頸部関心領域を取得する取得手段の一例として機能することができる。
【0075】
より具体的には、学習済モデルは、大腿骨の画像における大腿骨領域を示す情報を含む学習データを用いて得た第1の学習済モデルと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第2の学習済モデルとを含むことができる。第1の取得部121は、第1の学習済モデルの入力データとして入力画像を用いることにより、入力画像における大腿骨領域を示す情報を取得する第1の取得手段の一例として機能することができる。また、第2の取得部122は、第2の学習済モデルの入力データとして取得した大腿骨領域を示す情報を用いることにより、入力画像における頸部ROI(頸部関心領域)を取得する第2の取得手段の一例として機能することができる。なお、入力画像における頸部関心領域は骨密度測定の対象領域であってよい。また、大腿骨領域は大腿骨の近位部の領域を含んでよい。
【0076】
このような構成によれば、本実施例に係る画像処理装置120は、一度大腿骨領域の大局的な構造を近似的に取得し、それに対して頸部ROIを探索する。そのため、骨の形状が崩れている場合や、入力画像の品質が低い場合などにも、より高精度に頸部ROIを取得することができる。
【0077】
また、第2の取得部122は、第2の学習済モデルからの出力に基づく頸部関心領域の位置と角度とを用いて、入力画像における頸部関心領域を取得する。また、入力画像における頸部関心領域の大きさは、予め設定されていてもよいし、第2の取得部122により設定されてもよい。このような構成によれば、頸部ROIの大きさを施設の方針等に沿って設定した上で、学習済モデルの出力を頸部ROIの位置と角度として指定することにより、正しい位置に配置した頸部ROIを取得することができる。また、被検者の体格や、取得された骨頭領域および転子部領域の大きさや位置関係などに応じた入力画像における頸部関心領域の大きさを設定することができる。そのため、施設や検査技師の方針に沿った検査設定を行うことができる。
【0078】
また、第1の取得部121は、入力画像における大腿骨の骨頭の領域を含む骨頭領域を取得することができる。さらに、第1の取得部121は、入力画像における大腿骨の転子部の領域を含む転子部領域と、大腿骨の転子下部の領域を含む転子下領域と、骨盤の領域を含む骨盤領域との少なくとも1つを取得することができる。なお、第1の取得部121は、第1の学習済モデルを用いて骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得してもよいし、骨頭部の領域と転子部の領域とを合わせた領域を示す情報を取得してもよい。
【0079】
なお、入力画像は、エネルギーサブトラクション画像、2種類の管電圧の放射線を用いて取得された2枚の画像のうち少なくとも一方の画像、放射線吸収率の異なる2種類の素材を有するセンサ(積層センサ)を用いて取得された2枚の画像のうち少なくとも一方の画像、単純放射線画像、のいずれかであってよい。なお、当該2種類の素材の一方はCsIを含み、2種類の素材のもう一方はGOSを含んでよい。
【0080】
また、第2の取得部122は、頸部軸を更に取得してもよい。さらに、第2の取得部122は、第1の取得部121により取得された大腿骨領域を示す情報と入力画像とが重畳された画像を用いて、入力画像における頸部関心領域を取得してもよい。この場合には、第2の学習済モデルで抽出できる特徴量が多くなるため、より高精度に頸部ROIを取得できることが期待される。
【0081】
さらに、第2の取得部122は、第1の取得部121により取得された大腿骨領域に基づいて、入力画像内の背景領域を取得することができる。このため、画像処理装置120は、取得された頸部ROIの位置や角度に応じて設定された頸部ROIおよび取得された背景領域における画素値等を用いて大腿骨の骨密度測定を行うことができる。なお、第1の取得部121によって、入力画像内の大腿骨領域以外の骨領域を更に抽出し、第2の取得部122により、大腿骨領域以外の骨領域を、背景領域の抽出に用いてもよい。
【0082】
また、画像処理装置120は、制御部101を更に有する。制御部101は、途中過程の第1の取得部121による大腿骨領域の取得結果、並びに第2の取得部122による頸部ROIの取得結果を表示部107に表示させる表示制御手段の一例として機能することができる。この場合には、操作者は、表示部107に表示されている、第1の取得部121による取得結果又は第2の取得部122による取得結果を確認し、所望の大腿骨領域、あるいは頸部ROIの位置や角度に即しているかを確認することができる。
【0083】
また、画像処理装置120は、操作者が表示部107による表示を見ながら第1の取得部121による取得結果並びに第2の取得部122による取得結果の修正を操作する操作部108を更に有することができる。この場合には、操作者は、表示部107の表示を確認し、大腿骨領域や、頸部ROIの位置と角度の、修正および決定を行うことができる。なお、第1の取得部121による取得結果が修正された場合には、第2の取得部122は、操作部108を用いて修正された大腿骨領域を第2の学習済モデルの入力データとして用いることにより、入力画像における頸部関心領域を取得することができる。
【0084】
さらに、制御部101は、第2の取得部122によって取得された頸部ROI(取得結果)又は取得過程が異常と判定された場合、表示部107に当該異常を示すメッセージ等の警告を表示させることができる。この場合には、操作者は、取得結果や取得過程の異常を把握し、所望の方針等に応じて設定を変更したり、画像処理を中止したりすることができる。
【0085】
また、第1の取得部121は、第1の学習済モデルの入力データとして入力画像を用いることにより、入力画像の骨頭部の領域と転子部の領域とを単一領域とした該単一領域を示す情報を取得してもよい。この場合、第1の取得部121は単一領域を示す情報から骨頭部の領域を示す情報と転子部の領域を示す情報とを別々に抽出することで、入力画像における大腿骨領域を示す情報を取得してもよい。この場合、操作部108は、単一領域の修正を操作するために用いられてもよい。
【0086】
なお、第1の取得部121は、学習済モデルの入力データとして取得した単一領域を示す情報を用いることにより、取得した単一領域における骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得してもよい。当該学習済モデルは、骨頭部の領域と転子部の領域とを含む単一領域における骨頭部の領域と転子部の領域とを別々に抽出した大腿骨領域を示す情報を含む学習データを用いて得られることができる。これに対し、第1の取得部121は、ルールベース処理により、単一領域における骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得してもよい。
【0087】
なお、本実施例では、画像処理装置120は、第1の取得部121が第1の学習済モデルを用いて大腿骨近位部領域を取得し、第2の取得部122が第2の学習済モデルを用いて頸部ROIを取得した。ここで、第1の取得部121および第2の取得部122により、大腿骨の画像における大腿骨領域を示す情報を含む学習データおよび大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た学習済モデルを用いて、入力画像から頸部ROIを取得する一つの取得部を構成してもよい。
【0088】
また、このような取得部は、例えば、第1の学習済モデルと第2の学習済モデルが統合された学習済モデルの入力データとして入力画像を用いて、頸部ROIを取得する取得部を構成してもよい。第1の学習済モデルと第2の学習済モデルの統合は、例えば、第1の学習済モデルの出力を第2の学習済モデルの入力につなげることで行われることができる。ここで、上述のように、第1の学習済モデルは大腿骨の画像における大腿骨領域を示す情報を含む学習データを用いて得られてよい。また、第2の学習済モデルは、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得られてよい。
【0089】
第1の学習済モデルと第2の学習済モデルが統合された学習済モデルは、第1の学習済モデルに対応するパラメータを有する構成により、入力データとして用いられた入力画像から骨頭領域および転子部領域を含む大腿骨近位部領域を抽出する。また、当該学習済モデルは、第2の学習済モデルに対応するパラメータを有する構成により、抽出された大腿骨近位部領域に基づいて頸部ROIの位置および角度を出力する。当該学習済モデルを用いる取得部は、第2の取得部122と同様に、学習済モデルからの出力に基づく頸部ROIの位置および角度を用いて、入力画像における頸部ROIを取得することができる。このような構成であっても、大腿骨領域の大局的な構造が近似的に取得され、取得された大腿骨領域に対して頸部ROIが探索されるため、骨の形状が崩れている場合や、入力画像の品質が低い場合などにも、より高精度に頸部ROIを取得することができる。
【0090】
このような取得部は、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、入力画像における大腿骨の頸部を含む頸部関心領域を取得する取得手段の一例として機能することができる。
【0091】
(実施例2)
次に、本発明の実施例2について説明する。本実施例に係るX線撮影システムの構成例は、実施例1に係るX線撮影システム100の構成例と同様であり、図1に示される。なお、本実施例に係るX線撮影システムの構成例については、実施例1に係るX線撮影システム100の構成例と同じ参照符号を用いて説明を省略する。
【0092】
本実施例における画像処理装置120は、図10に示すような放射線画像を用いて、大腿骨の頸部ROIを抽出する。図10に示される放射線画像は、例えば単純X線画像であってよく、頸部ROI周辺のみではなく、広範囲に取得されたX線画像である。また、入力画像は、DXA法で取得された画像であってもよい。以下、実施例1との違いを中心に、本実施例について説明する。
【0093】
図11は、本実施例における、頸部ROIを抽出するための画像処理装置120の画像処理フローを示す。本実施例に係る画像処理が開始されると、処理はステップS21に移行する。
【0094】
ステップS21において、第1の取得部121は、学習済モデルを用いて、取得されたX線画像内の左右の脚のうち、測定対象となる方の脚の骨頭領域および転子部領域を抽出する。ここでは、図10に示されている左脚(参照領域31が示されている側)の脚が測定対象である場合について説明する。
【0095】
なお、ここでの学習済モデルは、例えば、大腿骨近辺を含む人体あるいはファントムのX線画像と、そのX線画像内の骨頭領域および転子部領域をラベル付けした画像との組み合わせを学習データとして学習させることで、生成され得る。また、骨頭領域および転子部領域の抽出は実施例1のステップS11と同様の処理で行ってよく、第1の取得部121は、X線画像を前処理してから学習済モデルに入力するなどしてよい。また、学習済モデルは、骨頭領域と転子部領域を別々に抽出してもよいし、1つの領域にまとめて抽出してもよい。
【0096】
また、ステップS21に用いる学習済モデルは、両脚の骨頭領域および転子部領域を抽出してもよい。第1の取得部121は、測定対象となる方の脚の骨頭領域および転子部領域を、骨頭領域の中心座標が画像の右側にあるか左側にあるかを参照することで抽出してもよい。
【0097】
また、ステップS21に用いる学習済モデルは、X線画像内の骨頭領域、転子部領域、転子下領域、および骨盤領域を抽出してもよい。このことで、ステップS21に用いる学習済モデルは、この後のステップS23で用いる学習済モデルと、モデル構造を共用することができる。
【0098】
次にステップS22において、第1の取得部121は、ステップS21で抽出した骨頭領域および転子部領域に基づいて、X線画像内の参照領域31を抽出する。参照領域31とは、図10中に示されるように、実施例1の入力画像(図2)の範囲領域のような、大腿骨近位部周辺の領域である。
【0099】
第1の取得部121は、参照領域31を矩形とする場合、骨頭領域および転子部領域の上端・下端・左端・右端から外側へマージンを持たせた位置に、矩形の各辺を引くことができる。ここでのマージンは任意の値を設定でき、例えば1cmとすることができる。また、参照領域の設定方法はこれに限らず、参照領域は、骨頭領域および転子部領域の少なくとも一方を基準にして、外側にマージンを持たせた矩形領域であってもよい。また、参照領域は矩形に限らず、円形など、任意の形状であってよい。
【0100】
このようにして、第1の取得部121は、取得されたX線画像から参照領域を抽出することができる。
【0101】
次にステップS23において、第1の取得部121は、参照領域内の骨頭領域、転子部領域、転子下領域、および骨盤領域を抽出する。この処理では、第1の取得部121は、参照領域の画像を入力画像とすることで実施例1のステップS11と同様の処理を行うことができる。また、本実施例では、X線画像から参照領域を切り出してから骨頭領域、転子部領域、転子下領域、および骨盤領域を抽出することによって、学習時に他のものが写り込むことによるモデル精度の低下を防ぐことができる。このように、本実施例に係る第1の取得部121も、学習済モデルを用いて入力画像における大腿骨近位部領域を取得する第1の取得手段の一例である。
【0102】
ステップS24において、第2の取得部122は、抽出された参照領域内の骨頭領域、転子部領域、および転子下領域に基づいて、頸部ROIを抽出する。つまり、第2の取得部122は、第1の取得部121の取得結果に基づいて大腿骨の骨密度測定の対象領域である頸部ROIを取得する第2の取得手段の一例である。本ステップの処理は実施例1のステップS12と同様の処理を用いて行うことができる。
【0103】
ステップS25において、第2の取得部122は、抽出された参照領域内の骨盤領域に基づいて、参照領域内の背景領域を抽出する。背景領域の抽出方法は実施例1のステップS13と同様である。
【0104】
以上のように抽出された頸部ROIと背景領域を参照して、本実施例に係る画像処理装置120は実施例1と同様に頸部ROIにおける骨密度を算出することができる。また、本実施例に係る制御部101は、実施例1と同様に、算出された骨密度や、設定された頸部軸および頸部ROI、頸部ROIの取得結果あるいは取得過程等を表示部107に表示させてもよい。
【0105】
上記のように、本実施例に係る第1の取得部121は、医用画像から測定対象を含む参照領域を抽出し、該参照領域を示す画像を入力画像として用いることができる。ここで、参照領域は、放射線画像における大腿骨の骨頭の領域を含む骨頭領域と、大腿骨の転子部の領域を含む転子部領域との少なくとも一方に基づいて抽出されることができる。このような構成によれば、放射線画像として、広い範囲を撮影して得られた画像が取得された場合であっても、骨密度測定対象となる部位等に限定した参照領域を抽出することができる。このため、不要な特徴が画像に写り込むことによる学習済モデルを用いた抽出処理等の精度の低下等を抑制することができる。
【0106】
なお、本実施例でも、第1の学習済モデルおよび第2の学習済モデルを統合した学習済モデルの入力データとして参照領域を用いて、頸部ROIを取得する取得部を設けてもよい。この場合の学習済モデルは、例えば、上述した第1の学習済モデルの出力を第2の学習済モデルの入力につなげることで構成されてよい。また、当該取得部は、第1の取得部121と同様に入力画像から参照画像を抽出してよい。
【0107】
以下では、本発明の実施例1および実施例2の少なくとも一方に係る変形例について説明する。
【0108】
(変形例)
上記実施例2では入力画像の参照領域を抽出した上で頸部ROIおよび背景領域を抽出しているが、実施例1と同様の処理フローで、広範囲に撮影された入力画像から直接頸部ROIおよび背景領域を抽出してもよい。この場合には、例えば、第1の取得部121が、広範囲に撮影された入力画像から大腿骨近似部領域を取得し、第2の取得部122が、大腿骨近似部領域を用いて、頸部ROIおよび背景領域を取得することができる。
【0109】
また、上記実施例1および2並びに変形例に係る学習済モデルは、入力画像内の骨頭領域と、転子部領域・転子下領域・骨盤領域を1つのラベルにまとめたその他の骨領域とを抽出するものであってもよい。その上で、実施例1および2と同様に、頸部ROIおよび背景領域を取得してもよい。
【0110】
上記実施例1および2並びに変形例に係る画像処理装置120は、DXA法で取得した異なる放射線エネルギーに関する2枚の画像と、これらの画像から生成されるエネサブ画像との、計3枚の画像を用いて、頸部ROIを抽出してもよい。例えば、第1の取得部121は、実施例1のステップS11などで、学習済モデルを用いて、大腿骨近位部領域(又は骨頭領域、転子部領域、転子下領域、および骨盤領域のそれぞれ)を抽出する際に、当該3枚の画像に対して大腿骨近位部領域を抽出してもよい。この場合、第2の取得部122は、抽出結果が重複している領域のみを最終的な大腿骨近位部領域として用いてもよい。また、第2の取得部122は、3枚のうち2枚以上で大腿骨近位部領域として抽出された領域のみを、最終的な大腿骨近位部領域として用いてもよい。
【0111】
このとき、X線撮影システム100は、3枚の画像に対する学習済モデルを個別に備えていてもよい。この場合には、3枚の画像のそれぞれの種類に応じた画像(異なる放射線エネルギーに関する第1および第2の画像、並びにこれらから生成されるエネサブ画像)をそれぞれの学習データの入力データとして学習させることで、各学習済モデルが生成され得る。なお、学習データの出力データとしては、各種類の画像について大腿骨近位部領域にラベル付けした画像を用いればよい。また、1つの学習済モデルの各入力チャンネルが、これら3枚の画像に対応していてもよい。同様に、画像処理装置120は、これら3枚の画像のうち2枚の画像を用いて、大腿骨近位部領域を抽出してもよい。
【0112】
上記のように、本変形例に係る第1の取得部121は、DXA法を用いて取得された2枚の画像と、該2枚の画像から生成されるエネルギーサブトラクション画像との、3枚の画像のうち少なくとも2枚の画像を入力画像として用いて、当該少なくとも2枚の画像に対する大腿骨領域をそれぞれ取得する。また、第2の取得部122は、少なくとも2枚の画像に対する大腿骨領域の取得結果に基づいて、頸部関心領域を取得する。本変形例に係る処理を行うことで、セグメンテーション誤差の影響を低減することができる。
【0113】
上記実施例1および2並びに変形例に係る学習済モデルの学習データは、実際の撮影を行うX線撮影システム自体を用いて得たデータに限られない。当該画像データは、所望の構成に応じて、同型のX線撮影システムを用いて得たデータや、同種のX線撮影システムを用いて得たデータ等であってもよい。
【0114】
また、学習済モデルへの入力として、複数の画像を用いる場合には、複数の入力画像を学習済モデルの複数の入力チャンネルにそれぞれ入力することができる。これに対し、複数の入力画像を結合して1つの画像とし、学習済モデルの1つのチャンネルに入力してもよい。この場合には、学習済モデルの学習データについても、同様に、入力画像を結合した1つの画像を入力データとして用いればよい。
【0115】
また、上記実施例1および2並びに変形例では、制御部101は、不図示のボタンの操作等の操作者の指示に応じて、大腿骨近位部のセグメンテーション結果を表示画像に重畳して表示部107に表示させてもよい。なお、表示画像および対応するセグメンテーション結果が複数ある場合には、制御部101は、操作者の指示に応じて、一括してセグメンテーション結果を各表示画像に重畳して表示部107に表示させてもよい。同様に、制御部101は、操作者の指示に応じて、一括して頸部ROIや頸部軸、第1の取得部121による大腿骨領域の取得結果等を各表示画像に重畳して表示部107に表示させてもよい。また、制御部101は、頸部ROIおよび背景領域の取得結果をそれぞれ異なる色を用いて色分けして表示してもよい。この場合も、操作者の指示に応じて、複数の画像について一括して色分けして表示されてもよい。
【0116】
なお、上述した実施例1および2並びに変形例に係る学習済モデルでは、入力データの画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、推論処理に用いているものと考えらえる。
【0117】
また、上述した実施例1および2並びに変形例に係る各種学習済モデルは制御部101や画像処理装置120に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、学習済モデルは、制御部101や画像処理装置120と接続される別のサーバの装置等に設けられてもよい。この場合には、画像処理装置120は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。なお、施設内や、施設が含まれる敷地内、複数の施設が含まれる地域内等のネットワークを無線通信可能に構成する場合には、例えば、施設や、敷地、地域等に限定で割り当てられた専用の波長帯域の電波を用いるように構成することで、ネットワークの信頼性を向上させてもよい。また、高速や、大容量、低遅延、多数同時接続が可能な無線通信によりネットワークが構成されてもよい。
【0118】
また、骨領域の抽出は、学習済モデルで行うのに代えて、公知の閾値処理で行ってもよい。例えば、第1の取得部121は、入力画像において、輝度が閾値以上の画素を骨領域として抽出、取得することができる。
【0119】
なお、実施例1および2並びに変形例では、画像処理装置120によって処理される医用画像の例として、放射線を用いて撮影された画像を用いた。処理される医用画像には、例えば、FPDを用いたDR(Digital Radiography)やCT(Computed Tomography)で撮影された画像が含まれてよい。また、医用画像には、フォトンカウンティングCTや、MRI(Magnetic Resonance Imaging)、超音波撮影等で撮影された画像が含まれてもよい。さらに、医用画像には、PET(Positron Emission Tomography)や、SPECT(Single Photon Emission Computed Tomography)等で撮影された画像が含まれてもよい。また、医用画像は、静止画像であってもよいし、動画像であってよい。
【0120】
(その他の実施例)
本発明は、上述した様々な実施例および変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。コンピュータは、1つ又は複数のプロセッサ若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサ若しくは回路のネットワークを含みうる。
【0121】
このとき、プロセッサ又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサ又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
【0122】
上記開示は、以下の構成、方法、およびプログラムを含む。
(構成1)
医用画像を処理する画像処理装置であって、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、該入力画像における大腿骨の頸部を含む頸部関心領域を取得する取得手段を備える、画像処理装置。
(構成2)
前記学習済モデルは、
大腿骨の画像における大腿骨領域を示す情報を含む学習データを用いて得た第1の学習済モデルと、
大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第2の学習済モデルと、
を含み、
前記取得手段は、
前記第1の学習済モデルの入力データとして前記入力画像を用いることにより、前記入力画像における大腿骨領域を示す情報を取得する第1の取得手段と、
前記第2の学習済モデルの入力データとして前記取得した大腿骨領域を示す情報を用いることにより、前記入力画像における頸部関心領域を取得する第2の取得手段と、
を含む、構成1に記載の画像処理装置。
(構成3)
前記第2の取得手段は、前記第2の学習済モデルからの出力に基づく頸部関心領域の位置と角度とを用いて、前記入力画像における頸部関心領域を取得する、構成2に記載の画像処理装置。
(構成4)
前記大腿骨領域は骨頭部と転子部とを含み、
前記第1の取得手段は、前記第1の学習済モデルを用いて骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得する、構成2又は3に記載の画像処理装置。
(構成5)
前記大腿骨領域は骨頭部と転子部を含み、
前記第1の取得手段は、前記第1の学習済モデルを用いて骨頭部の領域と転子部の領域とを合わせた領域を示す情報を取得する、構成2又は3に記載の画像処理装置。
(構成6)
前記第2の取得手段は、頸部軸を更に取得する、構成2乃至5のいずれかに記載の画像処理装置。
(構成7)
前記入力画像における頸部関心領域の大きさは、予め設定されている、構成1乃至6のいずれかに記載の画像処理装置。
(構成8)
前記入力画像における頸部関心領域の大きさは、前記第2の取得手段により設定される、構成2乃至6のいずれかに記載の画像処理装置。
(構成9)
前記第1の取得手段は、前記入力画像内の大腿骨領域以外の骨領域を更に抽出し、
前記大腿骨領域以外の骨領域は、背景領域の抽出に用いられる、構成2乃至6および8のいずれかに記載の画像処理装置。
(構成10)
前記取得した大腿骨領域の修正を操作する操作部を更に備え、
前記第2の取得手段は、前記操作部を用いて修正された大腿骨領域を前記第2の学習済モデルの入力データとして用いることにより、前記入力画像における頸部関心領域を取得する、構成2乃至6、8、および9のいずれかに記載の画像処理装置。
(構成11)
前記第2の取得手段は、前記取得された大腿骨領域を示す情報と前記入力画像とが重畳された画像を用いて、前記入力画像における頸部関心領域を取得する、構成2乃至6、および8乃至10のいずれかに記載の画像処理装置。
(構成12)
第1の取得手段は、
前記第1の学習済モデルの入力データとして入力画像を用いることにより、前記入力画像の骨頭部の領域と転子部の領域とを単一領域とした該単一領域を示す情報を取得し、
前記単一領域を示す情報から前記骨頭部の領域を示す情報と前記転子部の領域を示す情報とを別々に抽出することで、前記入力画像における大腿骨領域を示す情報を取得する、構成2乃至6、および8乃至11のいずれかに記載の画像処理装置。
(構成13)
前記単一領域の修正を操作する操作部を更に備える、構成12に記載の画像処理装置。
(構成14)
前記第1の取得手段は、骨頭部の領域と転子部の領域とを含む単一領域における骨頭部の領域と転子部の領域とを別々に抽出した大腿骨領域を示す情報を含む学習データを用いて得た学習済モデルの入力データとして前記取得した単一領域を示す情報を用いることにより、前記取得した単一領域における骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得する、構成12又は13に記載の画像処理装置。
(構成15)
前記第1の取得手段は、ルールベース処理により、前記単一領域における骨頭部の領域を示す情報と転子部の領域を示す情報とを個別に取得する、構成12又は13に記載の画像処理装置。
(構成16)
前記学習済モデルは、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第1の学習済モデルと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データを用いて得た第2の学習済モデルとを統合した学習済モデルである、構成1に記載の画像処理装置。
(構成17)
前記取得手段は、前記学習済モデルからの出力に基づく頸部関心領域の位置と角度とを用いて、前記入力画像における頸部関心領域を取得する、構成16に記載の画像処理装置。
(構成18)
前記入力画像における頸部関心領域は骨密度測定の対象領域である、構成1乃至17のいずれかに記載の画像処理装置。
(構成19)
前記入力画像における頸部関心領域を表示部に表示させる表示制御手段と、
前記表示部の表示に基づいて、操作者が前記入力画像における頸部関心領域の修正を操作する操作部と、を更に備える構成1乃至18のいずれかに記載の画像処理装置。
(構成20)
前記取得された頸部関心領域が異常であると判定された場合に、警告を表示部に表示させる表示制御手段を更に備える、構成1乃至18のいずれかに記載の画像処理装置。
(構成21)
前記入力画像は、エネルギーサブトラクション画像、2種類の管電圧の放射線を用いて取得された2枚の画像のうち少なくとも一方の画像、放射線吸収率の異なる2種類の素材を有するセンサを用いて取得された2枚の画像のうち少なくとも一方の画像、単純放射線画像、のいずれかである、構成1乃至20のいずれかに記載の画像処理装置。
(構成22)
前記2種類の素材の一方はCsIを含み、前記2種類の素材のもう一方はGOSを含む、構成21に記載の画像処理装置。
(構成23)
大腿骨領域は大腿骨の近位部の領域を含む、構成1乃至22のいずれかに記載の画像処理装置。
(構成24)
前記取得手段は、医用画像から測定対象を含む参照領域を抽出し、該参照領域を示す画像を前記入力画像として用いる、構成1乃至23のいずれかに記載の画像処理装置。
(構成25)
構成1乃至24のいずれかに記載の画像処理装置と、
放射線を発生させる放射線発生装置と、
前記放射線を検出し、放射線画像を生成する放射線検出装置と、
を備える、放射線撮影システム。
(方法1)
医用画像を処理する画像処理装置の作動方法であって、大腿骨の画像における大腿骨領域を示す情報を含む学習データと、大腿骨の頸部を含む頸部関心領域を示す情報を含む学習データとを用いて得た学習済モデルの入力データとして入力画像を用いることにより、該入力画像における大腿骨の頸部を含む頸部関心領域を取得することを含む、画像処理装置の作動方法。
(プログラム1)
コンピュータによって実行されると、該コンピュータに方法1に記載の画像処理装置の作動方法を実行させる、プログラム。
【0123】
以上、実施例および変形例を参照して本発明について説明したが、本発明は上記実施例および変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、および本発明と均等な発明も本発明に含まれる。また、上述の各実施例および変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
【符号の説明】
【0124】
120:画像処理装置、121:第1の取得部(取得部)、122:第2の取得部(取得部)
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11