IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社島津製作所の特許一覧

<>
  • 特許-X線撮像装置 図1
  • 特許-X線撮像装置 図2
  • 特許-X線撮像装置 図3
  • 特許-X線撮像装置 図4
  • 特許-X線撮像装置 図5
  • 特許-X線撮像装置 図6
  • 特許-X線撮像装置 図7
  • 特許-X線撮像装置 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】X線撮像装置
(51)【国際特許分類】
   A61B 6/00 20060101AFI20221206BHJP
【FI】
A61B6/00 350D
A61B6/00 360Z
【請求項の数】 8
(21)【出願番号】P 2020556372
(86)(22)【出願日】2018-11-05
(86)【国際出願番号】 JP2018040975
(87)【国際公開番号】W WO2020095343
(87)【国際公開日】2020-05-14
【審査請求日】2021-04-01
(73)【特許権者】
【識別番号】000001993
【氏名又は名称】株式会社島津製作所
(74)【代理人】
【識別番号】100104433
【弁理士】
【氏名又は名称】宮園 博一
(74)【代理人】
【識別番号】100202728
【弁理士】
【氏名又は名称】三森 智裕
(72)【発明者】
【氏名】中矢 知宏
【審査官】亀澤 智博
(56)【参考文献】
【文献】特表2015-530193(JP,A)
【文献】米国特許出願公開第2013/0336553(US,A1)
【文献】特開2003-265462(JP,A)
【文献】特開平06-233761(JP,A)
【文献】米国特許出願公開第2014/0093153(US,A1)
【文献】米国特許出願公開第2011/0058720(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/14
G06T 1/00 , 7/00
G16H 30/00 -30/40
(57)【特許請求の範囲】
【請求項1】
被写体にX線を照射するX線照射部と、
前記X線照射部から前記被写体に照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
前記画像処理部に処理された画像を表示する表示部と、
記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域と、同一の骨に関する典型的な骨領域との比較に基づいて、前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定するように構成されている、X線撮像装置。
【請求項2】
被写体にX線を照射するX線照射部と、
前記X線照射部から前記被写体に照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
前記画像処理部に処理された画像を表示する表示部と、
前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、
前記制御部は、前記取得画像において、抽出された前記被写体の骨領域の面積と、抽出された前記被写体の骨領域の重心とのうちの少なくとも一方に基づいて、前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定するように構成されているX線撮像装置。
【請求項3】
被写体にX線を照射するX線照射部と、
前記X線照射部から前記被写体に照射されたX線を検出するX線検出部と、
前記X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、前記被写体の骨領域を抽出するとともに、所定の場合に、前記取得画像において、所定のルールに基づいて、前記被写体の骨領域を抽出する画像処理部と、
前記画像処理部に処理された画像を表示する表示部と、
前記機械学習に基づいて抽出された前記被写体の骨領域が適切か否かを判定する制御部とを備え、
前記制御部は、前記機械学習に基づいて抽出された前記被写体の骨領域が適切であると判定した場合、前記機械学習に基づいて前記被写体の骨領域が抽出された画像を前記表示部に表示させ、前記機械学習に基づいて抽出された前記被写体の骨領域が適切でないと判定した場合、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、
前記制御部は、前記取得画像に、前記機械学習に基づいた前記被写体の骨領域の抽出が適切に行えなくなる所定の抽出不適切画像が含まれている場合、前記機械学習に基づいた前記被写体の骨領域の抽出は行わずに、前記所定のルールに基づいて前記被写体の骨領域の抽出を行うように制御するように構成されている、X線撮像装置。
【請求項4】
前記表示部に表示される、前記機械学習に基づいて前記被写体の骨領域が抽出された画像と、前記所定のルールに基づいて前記被写体の骨領域が抽出された画像とを切り替える切替操作部をさらに備える、請求項1または2に記載のX線撮像装置。
【請求項5】
前記切替操作部は、前記表示部に表示される表示画像上のボタンを含む、請求項4に記載のX線撮像装置。
【請求項6】
前記被写体の骨領域は、大腿骨の骨領域を含む、請求項1または2に記載のX線撮像装置。
【請求項7】
前記機械学習は、深層学習を含む、請求項1または2に記載のX線撮像装置。
【請求項8】
前記所定のルールは、前記取得画像における画素値に基づいて前記被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて前記被写体の骨領域を抽出することのうちの少なくとも一方を含む、請求項1または2に記載のX線撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、X線撮像装置に関し、特に、被写体が撮像された画像から機械学習に基づいて、被写体の骨領域を抽出する画像処理部を備えるX線撮像装置に関する。
【背景技術】
【0002】
従来、被写体が撮像された画像から機械学習に基づいて、脊柱配列(脊柱形状)を推定する脊柱配列推定装置が知られている。このような脊柱配列推定装置は、たとえば、国際公開第2017/141958号に開示されている。
【0003】
国際公開第2017/141958号に記載の脊柱配列推定装置では、まず、同一人物について撮像された、人体の背部の立体形状を表すモアレ縞を含むモアレ画像と、人体の背部の骨領域が撮像されたX線画像とのデータセットが多数準備される。次に、機械学習に用いられるデータセット(正解データ)のラベル付けが行われる。たとえば、X線画像に写り込む胸椎および腰椎の重心が曲線により近似される。その後、モアレ画像とX線画像とを位置合わせして、モアレ画像の座標とX線画像の座標とが位置合わせされる。そして、モアレ画像上の胸椎および腰椎の重心の座標が学習用の正解データとされる。そして、入力されたモアレ画像に基づいて、脊柱要素の配列情報(胸椎および腰椎の重心の座標)が出力されるように学習が行われる。なお、学習として、たとえば、深層学習が用いられる。
【0004】
そして、国際公開第2017/141958号に記載の脊柱配列推定装置では、学習された結果(識別器)に基づいて、撮像装置により撮像された未知(脊柱要素の配列情報が未知)のモアレ画像から脊柱要素の配列情報が推定される。また、推定された脊柱要素の配列情報が、モアレ画像上に重畳された状態で表示部に表示される。
【0005】
また、国際公開第2017/141958号には記載されていないが、従来、腰椎や大腿骨などの骨密度測定では、2種類の互いに異なるエネルギのX線を被写体に照射することにより撮像された画像において、骨成分と他の組織とを区別して骨密度の測定が行われている。この場合、撮像された画像において腰椎や大腿骨などの骨密度の測定を行う領域を正確に抽出(指定)する必要がある。従来では、ユーザの負担を軽減するために、骨領域の抽出を、機械学習を用いて行うこと(自動セグメンテーション)が行われている。また、自動セグメンテーションの精度向上のために、機械学習として、国際公開第2017/141958号のように、深層学習が用いられている。深層学習では、腰椎や大腿骨などの骨密度の測定が行われる部位が撮像された画像(正解データ)が学習されるとともに学習された結果(識別器)に基づいて、未知の画像から骨領域が抽出される。また、抽出された骨領域が実際の骨領域とずれていた場合には、ユーザによって骨領域が修正される。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第2017/141958号
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、深層学習などの機械学習を用いた骨領域の自動セグメンテーションの精度は比較的高い一方、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合、自動セグメンテーション(骨領域の抽出)が大きく失敗するという不都合がある。この場合、機械学習に基づいて抽出された骨領域に対してユーザが比較的大きな修正を施す必要があるため、ユーザの負担が増加するという問題点がある。
【0008】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することが可能なX線撮像装置を提供することである。
【課題を解決するための手段】
【0009】
上記目的を達成するために、この発明の第1の局面におけるX線撮像装置は、被写体にX線を照射するX線照射部と、X線照射部から被写体に照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、制御部は、機械学習に基づいて抽出された被写体の骨領域と、同一の骨に関する典型的な骨領域との比較に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定するように構成されている
【0010】
この発明の第1の局面におけるX線撮像装置では、上記のように、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されている。これにより、たとえば、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合などにおいて、機械学習に基づいて抽出された被写体の骨領域が適切でない場合でも、所定のルールに基づいて被写体の骨領域が抽出された画像が表示される。なお、一般的には、所定のルールに基づいた骨領域の抽出の精度は、機械学習に基づいた骨領域の抽出の精度よりも低い一方、比較的簡単なルールに基づいて骨領域の抽出が行われるので、機械学習では適切に骨領域の抽出が行えない画像でもある程度の精度でもって骨領域の抽出を行うことができる。これにより、適切に抽出されていない機械学習に基づいた骨領域を修正する場合に比べて、所定のルールに基づいて抽出された骨領域を修正する方が、修正量が少ない。その結果、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。
【0011】
第2の局面におけるX線撮像装置被写体にX線を照射するX線照射部と、X線照射部から被写体に照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、制御部は、取得画像において、抽出された被写体の骨領域の面積と、抽出された被写体の骨領域の重心とのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定するように構成されている。これにより、機械学習によって抽出された被写体の骨領域の面積と重心とのうちの少なくとも一方と、典型的な被写体の骨領域の面積と重心とのうちの少なくとも一方とを比較すれば、容易に、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定することができる。
【0012】
第3の局面におけるX線撮像装置は、被写体にX線を照射するX線照射部と、X線照射部から被写体に照射されたX線を検出するX線検出部と、X線検出部により検出されたX線に基づいて取得された取得画像において、機械学習に基づいて、被写体の骨領域を抽出するとともに、所定の場合に、取得画像において、所定のルールに基づいて、被写体の骨領域を抽出する画像処理部と、画像処理部に処理された画像を表示する表示部と、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定する制御部とを備え、制御部は、機械学習に基づいて抽出された被写体の骨領域が適切であると判定した場合、機械学習に基づいて被写体の骨領域が抽出された画像を表示部に表示させ、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域が抽出された画像を表示させる制御を行うように構成されており、制御部は、取得画像に、機械学習に基づいた被写体の骨領域の抽出が適切に行えなくなる所定の抽出不適切画像が含まれている場合、機械学習に基づいた被写体の骨領域の抽出は行わずに、所定のルールに基づいて被写体の骨領域の抽出を行うように制御するように構成されている。これにより、被写体の骨領域の抽出が適切に行えなくなることが既知である場合に、機械学習に基づいた被写体の骨領域の抽出は行われないので、画像処理部の負担を軽減することができる。
【0013】
上記第1および第2の局面によるX線撮像装置において、好ましくは、表示部に表示される、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替える切替操作部をさらに備える。このように構成すれば、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替えて比較することができる。
【0014】
この場合、好ましくは、切替操作部は、表示部に表示される表示画像上のボタンを含む。このように構成すれば、ユーザがボタンを操作するだけで、容易に、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替えることができる。
【0015】
上記第1および第2の局面によるX線撮像装置において、好ましくは、被写体の骨領域は、大腿骨の骨領域を含む。このように構成すれば、大腿骨の骨密度測定において、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。
【0016】
上記第1および第2の局面によるX線撮像装置において、好ましくは、機械学習は、深層学習を含む。このように構成すれば、深層学習の骨領域の抽出精度は比較的高いので、ほとんどの被写体において適切に骨領域を抽出することができる一方、深層学習でも適切に骨領域の抽出ができない未知の画像に対して、バックアップとして、所定のルールに基づいて被写体の骨領域が抽出された画像を表示することができる。
【0017】
上記第1および第2の局面によるX線撮像装置において、好ましくは、所定のルールは、取得画像における画素値に基づいて被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて被写体の骨領域を抽出することのうちの少なくとも一方を含む。このように構成すれば、画素値に基づいて、容易に、被写体の骨領域を抽出することができる。
【発明の効果】
【0018】
本発明によれば、上記のように、機械学習に用いられた画像(正解データ)とは乖離した未知の画像が入力された場合でも、抽出された骨領域の修正に対するユーザの負担が大きくなるのを抑制することができる。
【図面の簡単な説明】
【0019】
図1】一実施形態によるX線撮像装置の構成を示した図である。
図2】深層学習(U-net)を説明するための図である。
図3】深層学習による骨領域の抽出を説明するための図である。
図4】所定のルールに基づいて抽出された骨領域を示す図である。
図5】機械学習に基づいた骨領域の抽出が適切に行えなくなる所定の画像(パターン)が含まれる画像を示す図である。
図6】表示部に表示された表示画像を示す図である。
図7】ユーザによって補正された骨領域を示す図である。
図8】一実施形態によるX線撮像装置の動作を示すフロー図である。
【発明を実施するための形態】
【0020】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0021】
図1図7を参照して、本実施形態によるX線撮像装置100の構成について説明する。
【0022】
(X線撮像装置の構成)
図1に示すように、X線撮像装置100は、X線照射部1と、X線検出部2と、画像処理部3と、制御部4とを備えている。また、X線撮像装置100は、画像処理部3に処理された画像を表示する表示部5を備えている。
【0023】
X線照射部1は、被写体TにX線を照射する。X線検出部2は、X線照射部1から被写体Tに照射されたX線を検出する。X線撮像装置100は、たとえば、被写体Tの骨密度の測定に用いられる。骨密度の測定においては、たとえば、X線照射部1から2種類のエネルギのX線を被写体Tの測定部位に照射することにより、骨成分と他の組織とを区別するDEXA(Dual-Energy X-ray Absorptiometry)法が用いられる。
【0024】
X線照射部1は、X線源1aを含んでいる。X線源1aは、図示しない高電圧発生部に接続されており、高電圧が印加されることによりX線を発生させるX線管である。X線源1aは、X線出射方向をX線検出部2の検出面に向けて配置されている。
【0025】
X線検出部2は、X線照射部1から照射され、被写体Tを透過したX線を検出し、検出したX線強度に応じた検出信号を出力する。なお、X線検出部2は、たとえば、FPD(Flat Panel Detector)により構成されている。
【0026】
画像処理部3は、画像取得部31と、機械学習ベース領域抽出部32と、ルールベース領域抽出部33と、骨密度測定部34と、を含む。なお、画像取得部31、機械学習ベース領域抽出部32、ルールベース領域抽出部33、および、骨密度測定部34の各々は、画像処理部3の中のソフトウェアとしての機能ブロックである。すなわち、画像取得部31、機械学習ベース領域抽出部32、ルールベース領域抽出部33、および、骨密度測定部34の各々は、制御部4の指令信号に基づき機能するように構成されている。
【0027】
画像取得部31は、X線検出部2により検出されたX線に基づいて被写体Tの画像I(図3参照)を取得する。具体的には、画像取得部31は、X線検出部2から出力される所定の解像度のX線検出信号に基づいて画像I(X線画像)を取得する。なお、画像Iは、特許請求の範囲の「取得画像」の一例である。
【0028】
機械学習ベース領域抽出部32は、X線検出部2により検出されたX線に基づいて取得された画像Iにおいて、機械学習に基づいて、被写体Tの骨領域A(図3参照)を抽出するように構成されている。具体的には、本実施形態では、機械学習として、深層学習が用いられる。また、骨領域Aは、大腿骨の骨領域Aを含む。
【0029】
深層学習によるセマンティック・セグメンテーションでは、従来の画像セグメンテーションと異なり、ディープニューラルネットワークを代表とする深層学習技術を用いて、ピクセルレベルで画像を理解し、画像の各ピクセルにオブジェクトのクラスが割り当てられる。たとえば、図2に示すように、深層学習として、U-netに基づいた深層学習が用いられる。U-netでは、U字型の畳み込みネットワークを用いて、画像中に「何が、どこに、どのように」写っているのかという領域抽出が行われる。U-netの左側に配置されたencoderの各畳み込み層(Conv)の出力が、右側のdecoderの各畳み込み層(Deconv)に直接に結合され、データをチャネル方向に連結(concat)するように構成されている。これにより、より低次元の特徴量がスキップされ、従来通りの特徴を抽出しながら位置情報を保持することが可能になる。その結果、出力画像の劣化を抑制することができる。
【0030】
また、多重解像度で骨領域Aを判定するため、入力画像を最初の畳み込み層に入力する前に、多重解像度の局所コントラスト正規化(LCN:Local Contrast Normalization)が行われる。その後、順次、畳み込み層に入力される。また、活性化関数として、出力層以外の全ての層に、最も一般的なReLu関数が用いられる。また、学習の収束を高速化および安定化するために、各畳み込み層の活性化関数の後においてバッチ正規化が行われる。また、損失関数として、交差エントロピー誤差が用いられる。
【0031】
図1に示すように、ルールベース領域抽出部33は、X線検出部2により検出されたX線に基づいて取得された画像I(図3参照)において、所定のルールに基づいて、被写体Tの骨領域Aを抽出(図4参照)する。たとえば、ルールベース領域抽出部33は、画像Iにおける画素値や、隣り合う画素の画素値の勾配がしきい値以上か否かに基づいて、被写体Tの骨領域Aを抽出する。つまり、画像Iにおいて、被写体Tの骨領域Aの境界が所定のルールに基づいて求められる。
【0032】
制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定するように構成されている。ここで、本実施形態では、制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切であると判定した場合、機械学習に基づいて被写体Tの骨領域Aが抽出された画像(画像Im、図3参照)を表示部5に表示させる制御を行う。一方、制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定した場合、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像(画像Ir、図4参照)を表示させる制御を行う。なお、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でない場合とは、たとえば、機械学習に用いられた画像I(正解データ)が撮像された際の被写体Tの姿勢と、未知の画像I(推定用の画像I)が撮像された際の被写体Tの姿勢とが大きく異なっていた場合などである。
【0033】
また、本実施形態では、図3に示すように、制御部4は、画像Iにおいて、抽出された被写体Tの骨領域Aの面積Sと、抽出された被写体Tの骨領域Aの重心Gとのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定するように構成されている。具体的には、抽出された被写体Tの骨領域Aの面積Sが、典型的な骨領域Aの面積Sと比較される。そして、抽出された被写体Tの骨領域Aの面積Sと、典型的な骨領域Aの面積Sとの差が所定の面積しきい値よりも大きければ、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定される。また、抽出された被写体Tの骨領域Aの重心Gが、典型的な骨領域Aの重心Gと比較される。そして、抽出された被写体Tの骨領域Aの重心Gの座標と、典型的な骨領域Aの重心Gの座標との差が所定の重心しきい値よりも大きければ、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定される。なお、面積Sまたは重心Gの一方のみに基づいて骨領域Aが適切か否かを判定してもよいし、面積Sおよび重心Gの両方に基づいて骨領域Aが適切か否かを判定してもよい。
【0034】
また、本実施形態では、図5に示すように、制御部4は、画像Iに、機械学習に基づいた被写体Tの骨領域Aの抽出が適切に行えなくなる所定の画像Pが含まれている場合、機械学習に基づいた被写体Tの骨領域Aの抽出は行わずに、所定のルールに基づいて被写体Tの骨領域Aの抽出を行うように制御する。たとえば、画像Iに金属(ボルト)などの画像Pが含まれている場合、機械学習に基づいた被写体Tの骨領域Aの抽出が不適切になることが予め既知であるとする。この場合、機械学習に基づいた被写体Tの骨領域Aの抽出は行わずに、所定のルールに基づいて被写体Tの骨領域Aの抽出を行う。なお、所定のルールに基づいた抽出では、比較的簡単なルールに基づいて骨領域Aの抽出が行われるので、機械学習では適切に骨領域Aの抽出が行えない画像でもある程度の精度でもって骨領域Aの抽出を行うことが可能である。なお、画像Pは、特許請求の範囲の「抽出不適切画像」の一例である。
【0035】
また、本実施形態では、図6に示すように、表示部5に表示される、機械学習に基づいて被写体Tの骨領域Aが抽出された画像(画像Im)と、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像(画像Ir)とを切り替える、表示部5に表示される表示画像5a上のボタン5bが設けられている。ボタン5bは、たとえば、プルダウンメニューにより構成されている。ユーザがマウスによってボタン5bをクリックすることにより、プルダウンメニューに含まれる機械学習に基づいた画像Imと、所定のルールに基づいた画像Irとを選択する(切り替える)ことが可能である。また、プルダウンメニューには、前回の骨密度測定時に用いられた画像も含まれる。なお、ボタン5bは、特許請求の範囲の「切替操作部」の一例である。
【0036】
また、図7に示すように、表示部5に表示された画像Ir(または画像Im)において、骨領域Aの修正が必要な場合には、ユーザによって骨領域Aの修正が行われる。骨領域Aの修正は、たとえば、ユーザがマウスを操作することによって、骨領域Aを塗りつぶすように(または消すように)、骨領域Aの修正が行われる。なお、図7の点線で示される領域は、図4に示される所定のルールに基づいて抽出された被写体Tの骨領域Aを示している。
【0037】
また、図1に示すように、骨密度測定部34は、抽出された被写体Tの骨領域A(骨領域Aが修正された場合は、修正後の骨領域A)において、骨密度を測定する。なお、図6の点線で示される領域において、骨密度の測定が行われる。
【0038】
(X線撮像装置の動作)
次に、図8を参照して、本実施形態のX線撮像装置100の動作について説明する。なお、画像処理部3において機械学習による学習は既に行われているとする。
【0039】
まず、ステップS1において、画像処理部3に未知のX線画像からなる画像I(画像データ)が入力される。
【0040】
次に、ステップS2において、未知の画像Iに、機械学習に基づいた被写体Tの骨領域Aの抽出が適切に行えなくなる所定の画像P(図5参照)が含まれているか否かが判定される。なお、この判定は、たとえば、一般的な画像認識技術を用いて制御部4によって行われる。ステップS2において、画像Pが含まれていないと判定された場合、ステップS3に進む。一方、ステップS2において、画像Pが含まれていると判定された場合、ステップS6に進む。
【0041】
次に、ステップS3において、X線検出部2により検出されたX線に基づいて取得された画像Iにおいて、機械学習に基づいて被写体Tの骨領域Aが抽出される。具体的には、予め機械学習による学習によって生成された識別器(モデル、図3参照)に画像Iが入力されるとともに、識別器によって、被写体Tの骨領域Aが抽出される。
【0042】
次に、ステップS4において、制御部4により、機械学習に基づいて抽出された被写体Tの骨領域Aが、適切か否かが判定される。ステップS4において、抽出された被写体Tの骨領域Aが適切であると判定された場合、ステップS5に進んで、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imが表示部5に表示される。なお、必要であれば、ユーザによって表示部5に表示された骨領域Aが修正される。
【0043】
ステップS4において、抽出された被写体Tの骨領域Aが適切でないと判定された場合、ステップS6に進む。ステップS6では、所定のルールに基づいて被写体Tの骨領域Aが抽出される。そして、ステップS5に進んで、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irが表示部5に表示される。
【0044】
そして、ステップS7において、骨密度測定部34によって骨密度が測定される。
【0045】
(本実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
【0046】
本実施形態では、上記のように、制御部4は、機械学習に基づいて抽出された被写体Tの骨領域Aが適切であると判定した場合、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imを表示部5に表示させ、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でないと判定した場合、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irを表示させる制御を行うように構成されている。これにより、たとえば、機械学習に用いられた画像I(正解データ)とは乖離した未知の画像Iが入力された場合などにおいて、機械学習に基づいて抽出された被写体Tの骨領域Aが適切でない場合でも、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irが表示される。なお、一般的には、所定のルールに基づいた骨領域Aの抽出の精度は、機械学習に基づいた骨領域Aの抽出の精度よりも低い一方、比較的簡単なルールに基づいて骨領域Aの抽出が行われるので、機械学習では適切に骨領域Aの抽出が行えない画像Iでもある程度の精度でもって骨領域Aの抽出を行うことができる。これにより、適切に抽出されていない機械学習に基づいた骨領域Aを修正する場合に比べて、所定のルールに基づいて抽出された骨領域Aを修正する方が、修正量が少ない。その結果、機械学習に用いられた画像I(正解データ)とは乖離した未知の画像Iが入力された場合でも、抽出された骨領域Aの修正に対するユーザの負担が大きくなるのを抑制することができる。
【0047】
また、本実施形態では、上記のように、制御部4は、画像Imにおいて、抽出された被写体Tの骨領域Aの面積Sと、抽出された被写体Tの骨領域Aの重心Gとのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定する。これにより、機械学習によって抽出された被写体Tの骨領域Aの面積Sと重心Gとのうちの少なくとも一方と、典型的な被写体Tの骨領域Aの面積Sと重心Gとのうちの少なくとも一方とを比較すれば、容易に、機械学習に基づいて抽出された被写体Tの骨領域Aが適切か否かを判定することができる。
【0048】
また、本実施形態では、上記のように、制御部4は、画像Iに、機械学習に基づいた被写体Tの骨領域Aの抽出が適切に行えなくなる所定の画像Pが含まれている場合、機械学習に基づいた被写体Tの骨領域Aの抽出は行わずに、所定のルールに基づいて被写体Tの骨領域Aの抽出を行うように制御する。これにより、被写体Tの骨領域Aの抽出が適切に行えなくなることが既知である場合に、機械学習に基づいた被写体Tの骨領域Aの抽出は行われないので、画像処理部3の負担を軽減することができる。
【0049】
また、本実施形態では、上記のように、表示部5に表示される、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imと、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irとを切り替えるボタン5bが設けられている。これにより、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imと、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irとを切り替えて比較することができる。
【0050】
また、本実施形態では、上記のように、ボタン5bは、表示部5に表示される表示画像上のボタン5bである。これにより、ユーザがボタン5bを操作するだけで、容易に、機械学習に基づいて被写体Tの骨領域Aが抽出された画像Imと、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irとを切り替えることができる。
【0051】
また、本実施形態では、上記のように、被写体Tの骨領域Aは、大腿骨の骨領域Aを含む。これにより、大腿骨の骨密度測定において、機械学習に用いられた画像I(正解データ)とは乖離した未知の画像Iが入力された場合でも、抽出された骨領域Aの修正に対するユーザの負担が大きくなるのを抑制することができる。
【0052】
また、本実施形態では、上記のように、機械学習は、深層学習である。これにより、深層学習の骨領域Aの抽出精度は比較的高いので、ほとんどの被写体Tにおいて適切に骨領域Aを抽出することができる一方、深層学習でも適切に骨領域Aの抽出ができない未知の画像Iに対して、バックアップとして、所定のルールに基づいて被写体Tの骨領域Aが抽出された画像Irを表示することができる。
【0053】
また、本実施形態では、上記のように、所定のルールは、画像Iにおける画素値に基づいて被写体の骨領域を抽出すること、および、隣り合う画素の画素値の勾配に基づいて被写体Tの骨領域Aを抽出することのうちの少なくとも一方を含む。これにより、画素値に基づいて、容易に、被写体Tの骨領域Aを抽出することができる。
【0054】
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0055】
たとえば、上記実施形態では、機械学習として深層学習が用いられる例を示したが、本発明はこれに限られない。本発明では、深層学習以外の機械学習を用いることも可能である。
【0056】
また、上記実施形態では、抽出された被写体の骨領域の面積と、抽出された被写体の骨領域の重心とのうちの少なくとも一方に基づいて、機械学習に基づいて抽出された被写体の骨領域が、適切か否かが判定される例を示したが、本発明はこれに限られない。本発明では、骨領域の面積および重心以外の基準に基づいて、機械学習に基づいて抽出された被写体の骨領域が適切か否かを判定してもよい。
【0057】
また、上記実施形態では、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とが切り替え可能に構成されている例を示したが、本発明はこれに限られない。たとえば、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを、並列した状態で表示部に表示してもよい。
【0058】
また、上記実施形態では、表示画像上のボタンによって、機械学習に基づいて被写体の骨領域が抽出された画像と、所定のルールに基づいて被写体の骨領域が抽出された画像とを切り替える例を示したが、本発明はこれに限られない。たとえば、表示画像上のボタン以外の方法(物理的なスイッチなど)によって画像を切り替えてもよい。
【0059】
また、上記実施形態では、被写体の大腿骨の骨領域を抽出する例を示したが、本発明はこれに限られない。たとえば、被写体の大腿骨以外(腰椎など)の骨領域を抽出してもよい。
【0060】
また、上記実施形態では、制御部が機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合に、所定のルールに基づいて被写体の骨領域が抽出された画像が表示される例を示したが、本発明はこれに限られない。たとえば、制御部が機械学習に基づいて抽出された被写体の骨領域が適切であると判定し表示した場合でも、ユーザが、機械学習に基づいて抽出された被写体の骨領域が適切でないと判定した場合、所定のルールに基づいて被写体の骨領域を抽出するとともに抽出した被写体の骨領域を表示してもよい。
【符号の説明】
【0061】
1 X線照射部
2 X線検出部
3 画像処理部
4 制御部
5 表示部
5b ボタン(切替操作部)
100 X線撮像装置
A 骨領域
G 重心
I 画像(取得画像)
P 画像(抽出不適切画像)
S 面積
T 被写体
図1
図2
図3
図4
図5
図6
図7
図8