IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コニカミノルタ株式会社の特許一覧

特許7404846画像処理方法、画像処理装置及びプログラム
<>
  • 特許-画像処理方法、画像処理装置及びプログラム 図1
  • 特許-画像処理方法、画像処理装置及びプログラム 図2
  • 特許-画像処理方法、画像処理装置及びプログラム 図3
  • 特許-画像処理方法、画像処理装置及びプログラム 図4
  • 特許-画像処理方法、画像処理装置及びプログラム 図5
  • 特許-画像処理方法、画像処理装置及びプログラム 図6
  • 特許-画像処理方法、画像処理装置及びプログラム 図7
  • 特許-画像処理方法、画像処理装置及びプログラム 図8
  • 特許-画像処理方法、画像処理装置及びプログラム 図9
  • 特許-画像処理方法、画像処理装置及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-18
(45)【発行日】2023-12-26
(54)【発明の名称】画像処理方法、画像処理装置及びプログラム
(51)【国際特許分類】
   A61B 6/00 20060101AFI20231219BHJP
【FI】
A61B6/00 330Z
A61B6/00 360B
A61B6/00 350M
【請求項の数】 7
(21)【出願番号】P 2019227648
(22)【出願日】2019-12-17
(65)【公開番号】P2021094219
(43)【公開日】2021-06-24
【審査請求日】2022-04-26
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】宮崎 春彦
(72)【発明者】
【氏名】山村 拓也
【審査官】永田 浩司
(56)【参考文献】
【文献】特開2017-169714(JP,A)
【文献】米国特許第09430715(US,B1)
【文献】特開2017-225724(JP,A)
【文献】特開2017-213270(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00
(57)【特許請求の範囲】
【請求項1】
放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行うものであり、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする画像処理方法。
【請求項2】
前記機械学習を用いた前記補正処理は、
前記補正領域の画像情報のうち前記所定の構造物に対応する画像情報を推定する画像推定フィルターを前記機械学習によって予め設計し、
前記所定の構造物を示す画素が含まれる未知の画像領域に対して、当該画像推定フィルターを適用し、推定された前記所定の構造物に対応する画像情報と元の画像情報とに基づいて前記所定の構造物の構造物成分を低減させる補正を行うものであることを特徴とする請求項に記載の画像処理方法。
【請求項3】
前記機械学習を用いた前記補正処理における前記所定の構造物を示す画素の位置を、前記キャリブレーション画像に基づいて特定することを特徴とする請求項1に記載の画像処理方法。
【請求項4】
撮影に使用された前記放射線検出装置が前記所定の構造物を含むか否かによって前記所定の構造物の構造物成分を低減させる補正処理を行うか否かを切り替えることを特徴とする請求項から請求項のいずれか一項に記載の画像処理方法。
【請求項5】
撮影によって複数の前記放射線検出装置から取得される複数の放射線画像を合成して合成画像を生成することを特徴とする請求項1から請求項のいずれか一項に記載の画像処理方法。
【請求項6】
放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う制御部を備え、
前記制御部は、前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする画像処理装置。
【請求項7】
放射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
画像処理装置のコンピューターに、補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う機能を実現させるとともに、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行う機能を実現させ、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とするコンピューター読取可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理方法、画像処理装置及びプログラムに関するものである。
【背景技術】
【0002】
近年、放射線検出装置(Flat Panel Detector)を用いて患者の全脊柱や全下肢等、単体の放射線検出装置の撮影可能範囲を超える比較的広い範囲を放射線撮影する撮影装置が知られている。
例えば、特許文献1及び特許文献2には、3つの放射線検出装置を体軸方向に並べた状態で装填することのできるホルダーを有する撮影台を用いて撮影を行う放射線画像撮影システムが開示されている。
【0003】
また、このような撮影台を用いる場合、放射線を1回だけ照射して広範囲の撮影を行う1ショット撮影を行うことも可能である。
1ショット撮影では、放射線の照射回数が少ないことで被写体となる患者の負担を軽減することができるとともに、複数回に分けて撮影を繰り返す場合と比較して、広範囲を撮影する間に患者が動いてしまう体動の問題を回避することができるというメリットもある。
【0004】
しかし、上記のような複数の放射線検出装置を使用する場合、放射線の検出領域に抜けを生じないように放射線検出装置の一部(例えば上下の端部)を重ね合わせてホルダー内に配置するようになっている。
このため、この重畳部分において放射線照射装置に近い手前側に配置された放射線検出装置の構造物等が放射線照射装置から遠い奥側に配置された放射線検出装置で得られる画像に写り込んでしまうという問題がある。
【0005】
この点、上記特許文献1及び特許文献2には、キャリブレーション用画像を用いたキャリブレーション補正を行うことで、画像に写り込んだ構造物の構造物成分を撮影された画像から除去することが提案されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2016-198424号公報
【文献】特開2017-225724号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、放射線検出装置に含まれる構造物等には、高コントラストを示すものがある。
このような特にコントラストの高い構造物については、キャリブレーション補正等の従来の補正処理を行っても構造物成分を画像から低減させ、又は除去することができない場合がある。
【0008】
本発明は以上のような事情に鑑みてなされたものであり、撮影によって得られた画像に対して、特にコントラストの高い構造物についても構造物成分を適切に低減又は除去する補正処理を行うことができる画像処理方法、画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
請求項1記載の発明は、画像処理方法において、
射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行うものであり、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする。
【0010】
請求項記載の発明は、画像処理装置において、
射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体に
ついて撮影を行う場合に、
補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う制御部を備え、
前記制御部は、前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行い、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする。
【0011】
請求項記載の発明は、コンピューター読取可能なプログラムにおいて、
射線を検出する放射線検出装置を、その一部が重畳された状態で複数配置し被写体について撮影を行う場合に、
画像処理装置のコンピューターに、補正が必要な補正領域である前記放射線検出装置の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む前記補正領域について機械学習を用いて前記所定の構造物の構造物成分を低減させる補正処理を前記画像情報に対して行う機能を実現させるとともに、
前記被写体が介在しない状態で撮影したキャリブレーション画像に基づいて前記補正領域について既存のキャリブレーション補正を行う機能を実現させ、
前記補正領域のうち前記所定の構造物を示す画素が含まれていない画像領域に対しては、前記キャリブレーション補正による補正結果を採用し、一方で前記所定の構造物を示す画素が含まれる画像領域に対しては、前記キャリブレーション補正による補正結果と、前記機械学習を用いた前記補正処理の補正結果の両方を取得した後、両補正結果に基づいて最終的な補正結果を得ることを特徴とする。
【発明の効果】
【0012】
本発明のような画像処理を行うことで、撮影によって得られた画像に対して、特にコントラストの高い構造物についても構造物成分を適切に低減又は除去する補正処理を行うことが可能となる。
【図面の簡単な説明】
【0013】
図1】本実施形態における放射線画像撮影システムの全体構成を表す図である。
図2】撮影台のホルダー内での前方の放射線検出装置と後方の放射線検出装置等を表す模式的な要部断面図である。
図3】本実施形態におけるコンソールの要部ブロック図である。
図4図2に示す前方の放射線検出装置で得られた画像と後方の放射線検出装置で得られた画像の例を示す図である。
図5】本実施形態における画像補正処理を示すフローチャートである。
図6図5に示す所定の構造物成分の低減・除去処理の詳細を示すフローチャートである。
図7】キャリブレーション補正を説明する説明図である。
図8】機械学習を用いた補正を説明する説明図である。
図9】画像推定フィルターを設計する機械学習を説明する説明図である。
図10】ブレンド処理を説明する説明図である。
【発明を実施するための形態】
【0014】
以下、本発明に係る画像処理方法及び画像処理装置の一実施形態について、図面を参照して説明する。
【0015】
〔放射線画像撮影システムの全体構成〕
図1は、本実施形態に係る画像処理装置としてのコンソールが適用された放射線画像撮影システムの全体構成を示す図である。
図1に示すように、放射線画像撮影システム100は、撮影室R内に配置された撮影装置1と、図示しない前室等の撮影室R外に配置されたコンソール3とが通信ケーブル等により接続され、コンソール3と、画像解析装置5とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。放射線画像撮影システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
なお、以下の本実施形態では放射線画像撮影システム100が、図1に示すように1つの撮影室R内の撮影装置1とコンソール3とが1:1に対応付けられている場合について説明するが、放射線画像撮影システムの構成は図示例に限定されない。例えば、複数の撮影室Rを備え、それぞれに単数又は複数の撮影装置が配置され、これらと単数又は複数のコンソール3とがネットワークNT等を介して対応付けられている構成とすることも可能である。
【0016】
〔撮影装置の構成〕
撮影装置1は、ホルダー11Aを備える撮影台11と、放射線照射装置12とを備えている。
ホルダー11Aは内部に放射線検出装置10を装填するものであり、撮影台11はホルダー11A内の放射線検出装置10が被写体Mである患者を挟んで放射線照射装置12と対向するように配置される。
本実施形態において、撮影台11は、被写体Mである患者を撮影台11の前に立たせて撮影を行う立位撮影用であり、患者の頸椎から大腿骨辺りまでを1ショットで撮影を行うことができる1ショット長尺撮影用の撮影台となっている。
ここで1ショット撮影とは、放射線を1回照射することで撮影を行うことをいい、1ショット長尺撮影とは、複数の放射線検出装置10を組み合わせて、単体の放射線検出装置10では撮影することのできない広い範囲について、1回の放射線照射で撮影を行うことをいう。これによれば、広範囲を1回の放射線照射で撮影することができるため、被写体Mである患者への負担を最小限に抑えることができる。また、複数回に分けて撮影を繰り返す場合と比較して、広範囲を撮影する間に患者が動いて画像にずれやブレを生じてしまう体動の問題を回避することも可能である。
【0017】
本実施形態では、このような1ショット長尺撮影を行うために、撮影台11のホルダー11Aは複数の放射線検出装置10を装填可能に構成されている。
図1に示す例では、3つの放射線検出装置10(10a,10b,10c)が、その一部が重畳された状態で被写体Mである患者の体軸方向に並ぶようにしてホルダー11Aに装填されている。
具体的には、ホルダー11A内に、体軸方向のより下側に配置される放射線検出装置10(10b,10c)の方がより上側の放射線検出装置10(10a)よりも放射線照射装置12に近くなるように複数の放射線検出装置10の上下方向(図1の上下方向)の端部を重ね合わせた状態で装填される。
【0018】
図2は、図1において一点鎖線で囲んだ部分IIの拡大図であり、ホルダー11A内に配置された放射線検出装置10(図2では10aと10bの一部を図示)の要部を示す模式的な断面図である。
放射線検出装置10は、図2に示すように、筐体101内に検出部10sが収容されたFPD(Flat Panel Detector)等のパネル状の検出装置である。検出部10sは、半導体イメージセンサーにより構成され、例えばガラス基板等を有し、基板上の所定位置に、放射線照射装置12から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、いずれを用いてもよい。
【0019】
各放射線検出装置10(図2では10aと10b)は、放射線検出装置10aの下端部と放射線検出装置10bの上端部とが重なり合っている。このため、放射線検出装置10aの検出部10sによって検出される画像には、放射線検出装置10bの筐体101と検出部10sが幅Laの領域の分だけ写り込む。
1ショット長尺撮影で得られた画像を1枚の画像に合成する際には、この重なり合い部分(当該部分が、後述するように、重畳領域であり補正が必要とされる補正領域である。)に写り込んだ成分を補正によって低減・除去し、放射線検出装置10同士の繋ぎ目を目立たなくし、あたかも1枚の画像として撮影されたような仕上がりとすることが望まれる。
なお、この補正処理(画像処理)については後述する。
【0020】
なお、撮影台11のホルダー11Aは、3つの放射線検出装置10を装填可能なものに限定されない。例えば、2つや4つ以上の放射線検出装置10を装填可能に構成されていてもよい。
また、複数の放射線検出装置10の配置の仕方は図1図2に示した例に限定されない。例えば、ホルダー11A内に、複数の放射線検出装置10(10a,10b,10c)が、放射線照射装置12に近い側と遠い側に交互に配置されるように装填する構成とすることも可能である。
さらに、図1では、1ショット長尺撮影用の撮影台11が、被写体Mである患者を撮影台11の前に立たせて撮影を行う立位撮影用である場合を図示しているが、撮影台11はこれに限定されない。例えば、1ショット長尺撮影用の撮影台11は、複数の放射線検出装置10(10a,10b,10c)が装填されたホルダー11Aが床面とほぼ平行に配置され、ホルダー11Aの上側となる板上に患者が横臥したり着座したりして撮影を行う臥位撮影用であってもよい。
【0021】
また、撮影台11には、読取制御装置15が設けられている。
読取制御装置15は、コンソール3から入力された各種の画像読取条件に基づいて放射線検出装置10の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出装置10に蓄積された電気信号を読み取ることで、画像データを取得する。
ここで、読取制御装置15は後述する放射線照射制御装置13と接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
読取制御装置15は、コンソール3と接続されており、取得した画像をコンソール3に出力する。
【0022】
放射線照射装置12は、被写体Mを挟んで放射線検出装置10(10a,10b,10c)がセットされた撮影台11と対向する位置に配置され、放射線照射制御装置13の制御に従って、図示しない放射線源から被写体Mの対象部位に対し放射線(X線)を照射する。
具体的には、放射線技師等の操作者が操作して放射線照射装置12に対して放射線の照射開始等を指示するための図示しない曝射スイッチが押下されると、この押下に応じてコンソール3が放射線照射制御装置13を制御し、放射線撮影を行わせる。
放射線照射制御装置13は、コンソール3と接続されており、コンソール3から入力された各種の放射線照射条件に基づいて放射線源を制御して放射線撮影を行う。コンソール3から入力される放射線照射条件は、例えば、X線管電流の値、X線管電圧の値、付加フィルター種等である。
本実施形態では長尺撮影を行うため、放射線照射装置12は、被写体Mである患者を介して、撮影台11のホルダー11Aに装填された複数の放射線検出装置10(10a,10b,10c)に同時に放射線を1回照射(すなわち1ショット)することができるようにいわゆる広角照射タイプのものが適用される。
【0023】
〔コンソールの構成〕
コンソール3は、放射線照射条件や画像読取条件を撮影装置1に出力し、撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御する撮影用のコンソールとして機能する。
また、本実施形態のコンソール3は、撮影装置1により取得された画像に各種の補正等を行う画像処理装置としても機能する。
コンソール3は、必要な補正等を行ったのち画像データを画像解析装置5に送信する。
【0024】
コンソール3は、図3に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35等を備えて構成され、各部はバス36により接続されている。
【0025】
制御部31は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成されるコンピューターである。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAMの作業領域内に展開し、展開されたプログラムに従って、後述する画像処理を始めとする各種処理を実行し、コンソール3各部の動作を集中制御する。
制御部31は、撮影装置1の撮影条件や読取条件等を設定する各種条件設定手段、表示部34を制御する表示制御手段、通信部35を制御する通信制御手段等として機能する。
また、特に本実施形態では、制御部31は、撮影装置1によって取得された画像データのうち、補正が必要な補正領域ArR(図4参照)である放射線検出装置10の重畳部分の画像領域の画像情報から、所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む補正領域について機械学習を用いて所定の構造物の構造物成分を画像情報から低減・除去する補正処理を行う補正手段として機能する。
なお、この補正処理(画像処理)については後述する。
【0026】
記憶部32は、不揮発性の半導体メモリーやハードディスク(HDD:Hard Disk Drive)等により構成される。記憶部32は、制御部31で画像処理(補正処理等)を実行するためのプログラムを始めとする各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
【0027】
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えてもよく、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
【0028】
表示部34は、例えばLCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
【0029】
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
図示を省略するが、コンソール3には、通信ネットワークNT等を介してHIS(Hospital Information System;病院情報システム)やRIS(Radiology Information System;放射線科情報システム)、PACS(Picture Archiving and Communication System)等が接続されている。
【0030】
〔画像解析装置の構成〕
画像解析装置5は、例えば、画像による診断等を行う医師等が用いるコンピューター装置である。
画像解析装置5は、図示しない制御部、記憶部、操作部、表示部、通信部等を備え、コンソール3から送信された画像について各種解析等を行うことにより、被写体M(患者)の各部位(撮影対象部位)に病変等があるか否かを医師が判断する際にこれを支援したり、診断結果を患者に示し、説明等を行うための表示等を行う。
【0031】
なお、本実施形態では、コンソール3が撮影に関する各種指示等を撮影装置1に対して行うとともに、撮影装置1によって取得された画像データに各種の補正を行い、複数の放射線検出装置10(10a,10b,10c)により取得された画像データを1つの画像に合成する等の画像処理を行う画像処理装置としても機能する場合を例として説明するが、放射線画像撮影システムはこのような構成に限定されない。
例えば、コンソール3が撮影用のコンソールとして、撮影に関する各種指示等を撮影装置1に対して行うにとどまるものとしてもよい。
この場合には、撮影装置1の複数の放射線検出装置10(10a,10b,10c)によって取得された画像データをコンソールが受け取って、コンソールとは別体の画像処理装置に送信し、画像処理装置側において画像データに各種の補正等を行う。
なお、画像解析を行う画像解析装置が画像処理装置として機能してもよい。この場合には、画像解析装置が、画像データに各種の補正を行い、補正後の画像データを1つの画像に合成する等の画像処理を行った上で各種の画像解析を行うようにしてもよい。
【0032】
[1ショット長尺撮影の際に放射線画像撮影システムで行われる各処理について]
1ショット長尺撮影の際に、コンソール3や、撮影台11のホルダー11Aに装填された各放射線検出装置10(10a,10b,10c)等における撮影時の各処理(すなわち放射線照射装置12からの放射線の照射前後に行われる処理やその後の画像データの読み出し処理等の各処理)は、基本的に単純撮影の場合と同様であり、公知の処理であるから説明を省略する。
【0033】
そして、コンソール3は、放射線検出装置10(10a,10b,10c)からそれぞれ画像データDや、各放射線検出素子内で発生する暗電荷(暗電流等ともいう。)に起因するオフセット分に相当するオフセットデータOが転送されてくると、それに基づいて下記の式(1)に従って放射線検出装置10(10a,10b,10c)の各放射線検出素子ごとに画像データDからオフセットデータOを減算して真の画像データDを算出し、算出した真の画像データDに対してゲイン補正や欠陥画素補正、撮影部位に応じた階調処理等の精密な画像処理を行って放射線検出装置10(10a,10b,10c)ごとにそれぞれ画像を生成する。
=D-O …(1)
【0034】
なお、以下、上記のように放射線検出装置10で得られた画像データD等に基づいて生成された画像を、放射線検出装置10で得られた画像Pという(なお、図4において、放射線検出装置10aで得られた画像を「画像P1」、放射線検出装置10bで得られた画像を「画像P2」としている)。
また、上記の時点では、図4に示すように、上記のようにして生成された放射線検出装置10a,10b等で得られた各画像P1,P2等のうち、ホルダー11A内で後方(放射線照射装置12から遠い方)の放射線検出装置10aで得られた画像P1中であって、放射線検出装置10同士の重畳領域である補正領域ArR(図4参照)には、前方(放射線照射装置12から近い方)の放射線検出装置10bの筐体101や内部構造のエッジ部分等の直線状の構造に起因する横スジ状のスジ成分、前方の放射線検出装置10bの筐体101内部の各種構造物に起因する構造物成分C等が写り込んでいる。
【0035】
すなわち、本実施形態に係る撮影台11のホルダー11A内では、各放射線検出装置10は、図2に示すように、例えば前方下側の放射線検出装置10bの上端部分と後方上側の放射線検出装置10aの下端部分とが前後方向に重なり合っている。
そのため、後方上側の放射線検出装置10aで得られた画像P1の下端部分に、前方の放射線検出装置10bの筐体101の上端部分や検出部10sの上端の辺部分等に起因するスジ成分や、前方の放射線検出装置10bの検出部10sに取り付けられている図示しない回路基板上に実装されている各種電子部品等の筐体101内部の構造物に起因する構造物成分Cが写り込んでいる。
構造物成分Cとは、このように筐体101内部に実装された電子部品等の各種構造物が放射線の透過に影響を与えることによって画像Pに現れるものであり、図4等において白く写り込んでいるものをいう。
このような放射線検出装置10同士の重畳領域(図2において幅Laで示す幅の領域)は、補正処理を行う必要のある補正領域ArRとされる。
【0036】
また、この補正領域ArR内に移り込んでいる構造物には、所定値以上の高コントラストを示す「所定の構造物」が含まれている場合がある。図4等において、この所定の構造物の構造物成分を「構造物成分Cs」とする。
ここで所定の構造物とは、例えば金属製のねじ等である。
所定値以上の高コントラストという場合に、どの程度の値を所定値とするかは、適宜設定可能な事項である。所定値は、デフォルトで予め設定されていてもよいし、事後的にユーザー等が設定又は変更することができるようになっていてもよい。
このように「構造物成分Cs」とは、筐体101に設けられたねじ等、所定値以上の高コントラストを示す「所定の構造物」が放射線の透過に影響を与えることによって画像Pに現れるものであり、図4等において白く写り込んでいるものをいう。
【0037】
[本実施形態における画像処理(画像補正)方法について]
本実施形態に係る放射線画像撮影システム100では、撮影台11のホルダー11Aに装填された各放射線検出装置10(10a,10b,10c)で得られた画像Pから構造物成分C、所定の構造物の構造物成分Cs等を画像情報から低減・除去する画像補正処理が、画像処理装置として機能するコンソール3(コンソール3の制御部31)において行われる。
【0038】
以下、画像補正処理について、図5及び図6等を参照しつつ説明する。
図5は、本実施形態における画像補正処理の概要を示すフローチャートである。また、図6は、図5におけるステップS3「所定の構造物の構造物成分の低減・除去処理」の内容をさらに詳細に示したフローチャートである。
【0039】
まず、画像処理装置としてのコンソール3では、各放射線検出装置10(10a,10b,10c)で得られた画像Pについてキャリブレーション補正を行う(図5のステップS1,S2参照)。
キャリブレーション補正は、予め取得されたキャリブレーション用画像Pcal(図7参照)を用いて行われる。
このキャリブレーション用画像Pcalは、各放射線検出装置10(10a,10b,10c)を撮影台11のホルダー11A内に装填し、被写体Mである患者が介在しない状態で放射線照射装置12から放射線を照射して撮影されたものである。
キャリブレーション用画像Pcalは、各放射線検出装置10(10a,10b,10c)で得られた画像データ等に基づいて、上記の画像Pの生成処理と同様の処理により生成される。
【0040】
例えば、放射線検出装置10の工場出荷時や、放射線検出装置10の病院等の施設への導入時等に、当該放射線検出装置10に関するキャリブレーション用画像Pcalを予め取得しておく。なお、キャリブレーション用画像Pcalは撮影ごとに撮影前に取得したり、定期的に取得するように構成することも可能である。
キャリブレーション用画像Pcalは、これが取得された放射線検出装置10の情報等をヘッダー情報として書き込む等により当該放射線検出装置10との対応付けがなされた状態で、コンソール3の記憶部32や図示しないサーバー等の記憶手段のデータベース等に予め記憶される。
【0041】
本実施形態では、放射線検出装置10aがホルダー11A内の最も後方位置(放射線照射装置12から離れた位置)に配置され、放射線検出装置10b,10cが順次それぞれ一部が重なるようにして前方位置(放射線照射装置12に近い位置)に配置された状態(図1参照)で1ショット長尺撮影が行われるようになっており、キャリブレーション用画像Pcalを取得する際にも、同様の配置となるように各放射線検出装置10(10a,10b,10c)を撮影台11のホルダー11A内に装填して撮影を行う。
これにより、後方に配置された放射線検出装置10aで得られたキャリブレーション用画像Pcalには構造物成分C、所定の構造物の構造物成分Cs等が写り込む(図7参照)。
【0042】
なお、放射線検出装置10の種類・構造によって、画像P(またキャリブレーション用画像Pcal)に写り込む成分も異なる。また、複数の放射線検出装置10(10a,10b,10c)をどのような配置で撮影台11のホルダー11A内に装填するか、各放射線検出装置10の重畳位置や重畳の前後関係(放射線照射装置12からの放射線の照射方向における前後関係)によっても画像P(またキャリブレーション用画像Pcal)に写り込む成分、写り込み方が異なる。
適切にキャリブレーション補正を行うためには、実際に被写体Mを撮影した際と同様の種類の放射線検出装置10によって同様の配置(重ね合わせ方等)で撮影が行われたキャリブレーション用画像Pcalを用いることが重要となる。
【0043】
このため、本撮影(被写体Mを配置しての撮影)で得られた画像P(補正領域ArRの画像Pa)に対してキャリブレーション補正を行う場合には、例えば、撮影台11のホルダー11Aに装填された放射線検出装置10の種類や各放射線検出装置10の装填位置等を示す情報を、放射線技師等の操作者が、画像処理装置としてのコンソール3に入力し、本撮影の際に、当該撮影時の各種情報とキャリブレーション用画像Pcalのヘッダー情報とが合致するように調整することが好ましい。
【0044】
具体的には、図5に示すように、まず、コンソール3の制御部31は、補正に用いるキャリブレーション用画像Pcalを記憶部32等から読み出し、キャリブレーション用画像Pcalのヘッダー等に書き込まれているキャリブレーション撮影時の各放射線検出装置10の重なり具合(図2の幅La等)の情報等と実際に1ショット長尺撮影を行った際の各放射線検出装置10の重なり具合(図2の幅La等)の情報等に基づいて、キャリブレーション用画像Pcalの位置が画像P(例えば放射線検出装置10aによって取得された画像P1)の位置に合うように位置を調整する。
また、コンソール3の制御部31は、キャリブレーション用画像Pcalの撮影時の各種情報と実際の1ショット長尺撮影時(本撮影時)の各種情報に基づいて、キャリブレーション用画像Pcalの拡大率が画像P(画像P1)の拡大率に合うように拡大率を調整する(ステップS1)。
【0045】
キャリブレーション用画像Pcalの位置及び拡大率が調整されたら、当該調整後のキャリブレーション用画像Pcalを用いて、実際に1ショット長尺撮影を行った際に各放射線検出装置10(ここでは特に放射線検出装置10a)によって取得された画像P(例えば放射線検出装置10aによって取得された画像P1)についてキャリブレーション補正を行う(ステップS2)。
【0046】
図7はキャリブレーション補正を模式的に示した説明図である。
なお、図7では、画像P中における、放射線検出装置10同士の重畳領域である補正領域ArR(図4における補正領域ArR。すなわち図2において幅Laの部分に相当する領域)に対応する画像Paと、キャリブレーション用画像Pcal中であって当該画像Paに対応する領域のみを図示している。キャリブレーション補正は、放射線検出装置10同士の重畳領域である補正領域ArRに限定されず、画像P全補正画像PCを生成してもよいが、特の補正が必要とされる放射線検出装置10同士の重畳領域(補正領域ArR)を特定して、この範囲について補正を行う方が効果的・効率的であり、望ましい。
【0047】
キャリブレーション補正では、コンソール3の制御部31は、画像P1(補正領域ArRの画像Pa)のうち、前方に配置された放射線検出装置10bの構造物(例えば基板上のIC等)が写り込んでいるために画素値が小さくなっている画素部分(すなわち構造物成分Cが写り込んでいる部分)の画素値fを適切に嵩上げして画像補正することで、画像P1(補正領域ArRの画像Pa)中から構造物成分Cを低減・除去するようになっている。
【0048】
具体的には、補正前の画像Pの各画素(x,y)の画素値をf(x,y)、キャリブレーション画像Pcalの画素値のコントラストの値をk(x,y)、補正係数をA(x,y)、補正後の画像Pの画素値をg(x,y)とすると、コンソール3の制御部31は、各画素(x,y)についてそれぞれ下記の式(2)に従って画素値g(x,y)を算出する。なお、補正係数Aは、所定の手法にて画素ごとに算出・推定されるものである。
g(x,y)=f(x,y)+A(x,y)×k(x,y) …(2)
これにより、画像Pに写り込んでいた構造物成分C等が画像情報から低減・除去された、キャリブレーション補正の補正結果としての補正画像PCが生成される(図7参照)。
このように、構造物成分C等を低減・除去する低減・除去処理とは、電子部品等の各種構造物が放射線の透過に影響を与えることによって画素値が小さくなっている画素部分の画素値fを適切に嵩上げして画像Pの画像情報を補正することにより、図4等において白く見えていた写り込みを画像Pから低減させることをいう。なお、「低減・除去」とした場合、及び単に「低減」とした場合にも、画像上目立たなくするレベルから完全に取り除く(除去・消去する)場合までを含むものとする。
なお、キャリブレーション補正に関する各処理は、基本的に単純撮影において行われる処理と同様であり、公知の処理であるから詳細な説明を省略する。
【0049】
しかし、所定値以上の高コントラストの値を持つ所定の構造物(例えば、ねじ等)については、上記のような通常のキャリブレーション補正を行うのみでは当該構造物の構造物成分Csを効果的に低減・除去することが難しい。
すなわち、上記のように、既存のキャリブレーション補正では、補正前の画像Pの画素値fに対してキャリブレーション画像Pcalの画素値のコントラストの値kに補正係数Aを乗じたものを加算して最終的に補正後の画像PCを得る。
【0050】
ここで補正箇所のコントラストの値kが小さい場合には、推定された補正係数Aに多少の誤差があっても最終的な補正後の画素値gの値にあまり差が出ない。このため、診断用の画像として気にならない程度の仕上がりの画像PC(キャリブレーション補正の結果画像)を得ることができる。
しかし、補正箇所のコントラストの値kが大きい場合(高コントラストの場合)には、補正係数Aに多少でも誤差があると最終的な補正後の画素値gの値に大きな差が生じてしまい、補正係数Aには高い精度が要求される。
このため、補正係数Aの推定精度によっては、補正後の画素値gに高コントラストを示す所定の構造物(例えばねじ等)の構造物成分Csを最終的な画像PC(画像情報)から効果的に低減・除去することができず、残ってしまう場合がある。
【0051】
そこで、本実施形態における画像処理装置であるコンソール3の制御部31では、さらに所定の構造物の構造物成分Csを低減・除去する処理を行うようになっている(ステップS3)。
構造物成分Csを除去する除去処理とは、ねじ等の所定値以上の高コントラストを示す「所定の構造物」が放射線の透過に影響を与えることによって画素値が小さくなっている画素の位置を特定して画像Pの画像情報を補正することにより、図4等において白く見えていた写り込みを画像Pから低減させることをいう。なお、ここで「低減・除去」とした場合、及び単に「低減」とした場合にも、画像上目立たなくするレベルから完全に取り除く(除去・消去する)場合までを含むものとする。
具体的には以下のような処理を行う。
【0052】
すなわち、所定の構造物の構造物成分Csの除去処理では、まず、図6及び図8に示すように、まず、画像P中、放射線検出装置10同士の重畳部分である補正領域ArRに対応する画像を画像Paとし、この補正領域ArR内の画像Paから高周波成分を抽出する(ステップS11)。
具体的には、画像Paに対して横方向にガウシアンフィルターを適用するフィルター処理を行い、低周波成分が抽出されたフィルター処理後の画像Pbを得る。
そして、元の画像Paからこのフィルター処理後の画像Pb(低周波成分を示す画像)を減算処理して差分を求めることにより、高周波成分を抽出する(図8において、高周波成分を示す画像を画像Pcとする)。
【0053】
次に、画像Pcから特に高コントラストの値を示す所定の構造物(例えばねじ等)の位置を特定、検出し(ステップS12)、当該所定の構造物(例えばねじ等)及びその周辺の画像を抽出する(図8において、抽出画像を画像Pdとする)。
【0054】
所定の構造物の位置を特定、検出する手法は特に限定されないが、例えば、キャリブレーション補正を行うことで得られたキャリブレーション画像(図7の画像PC)に基づいて所定の構造物を示す画素の位置を特定してもよい。
この場合には、キャリブレーション画像(画像PC)にガウシアンフィルターを適用し、フィルター処理後の画像(低周波成分を示す画像)と元のキャリブレーション画像(画像PC)との差分を取ることにより高周波成分を抽出する。
【0055】
ここで「所定の構造物の構造物成分の低減・除去処理」において低減・除去処理の対象とされるねじ等の所定の構造物は、所定値以上の高いコントラストの値を持つ構造物である。このため、制御部31は、高周波成分を抽出することで特定された構造物が予め設定された一定の閾値に照らして「所定の構造物」に該当するか否かを判断する閾値処理を行う。
これによりキャリブレーション画像(画像PC)中のどの位置に所定の構造物の構造物成分Csが写り込んでいるかを特定する。同様に実際の撮影画像(画像P)についてもガウシアンフィルターを適用し、フィルター処理後の画像(低周波成分を示す画像)と元の撮影画像(画像P)との差分を取ることにより高周波成分を抽出する。さらに実際の撮影画像(画像P)にキャリブレーション画像(画像PC)を重ね合わせることで、構造物成分Csが写り込んでいる位置のおよその位置を特定することができる。
【0056】
ただ、重ね合わせの位置がずれた場合、1mm程度ずれただけでも5画素程度のずれとなる。また放射線の照射される角度等、各種条件でも撮影画像(画像P)に写り込む構造物成分Csの位置が異なってしまう可能性がある。このため、構造物成分Csが写り込んでいる位置と思われる位置の周辺領域でテンプレートマッチングを行い、キャリブレーション画像(画像PC)中で検出された構造物成分Csの位置が実際の撮影画像(画像P)のどこにあたるかを正確に特定することが好ましい。テンプレートマッチングを行う場合における疑似度は、例えば正規化相関関数により算出することができる。
なお、高周波成分を抽出する前提として低周波成分を抽出するために適用するフィルターはガウシアンフィルターに限定されない。また、実際の撮影画像(画像P)における構造物成分Csの位置を正確に特定する手法は、テンプレートマッチングに限定されない。
また、所定の構造物に該当するか否かを判断するための閾値をどの程度とするかについては、適宜設定可能な事項である。低減・除去したい構造物に応じて適宜閾値を変更してもよい。
【0057】
次に、画像推定フィルターF(図9参照)を適用して所定の構造物の画像を生成する(ステップS13)。本実施形態において画像推定フィルターFは、機械学習によって得られるものである。
ここで、画像推定フィルターFを得るための機械学習について図9を参照しつつ説明する。
図9では、例えば人体模型のようなファントムを用いて学習データを作成した場合を例示している。なお、学習データはファントムを用いて作成されたものに限定されず、実際に人を被写体として配置し、撮影を行って作成してもよい。
【0058】
図9において、画像PFは、複数の放射線検出装置10を撮影台11のホルダー11A内に装填した状態でファントムを撮影した画像であり、画像PF中、放射線検出装置10同士の重畳部分である補正領域ArRに対応する画像を画像PFaとする。
また画像PFbは、画像PFaに横方向にガウシアンフィルターを適用したものであり、このフィルター処理後の画像PFb(低周波成分を示す画像)を元の画像PFaから減算して差分を求めることにより高周波成分を抽出する(高周波成分を示す画像PFc)。画像PFcから特に高コントラストの値を示す所定の構造物(例えばねじ等)及びその周辺を抽出する(抽出画像を画像PFdとする)。
【0059】
なお、このような抽出画像を用いる場合、通常は入力前に抽出された画像全体の標準偏差により正規化が行われる。ただ、本実施形態の画像PFd(図8における画像Pdも同様)においては、高コントラストを示す所定の構造物(例えばねじ等)の構造物成分Csのコントラストを優先させるために、画像全体ではなく、画像PFd(画像Pdも同様)の中央部、すなわちねじ等の所定の構造物周辺の小領域から求められた標準偏差を用いて正規化を行うことが好ましい。
なお、ここではねじ等の所定の構造物周辺から標準偏差を求めて正規化を行う場合を示したが、場合によっては画像全体から求めた標準偏差で正規化を行う方が適切な結果を得られる場合もあり得る。このため、正規化の仕方はここに例示したものに限定されない。
【0060】
他方で、画像NPFは、単体の放射線検出装置10を撮影台11のホルダー11A内に装填した状態でファントムを撮影した画像であり、画像NPF中、補正領域ArRに対応する画像を画像NPFaとする。
また画像NPFbは、画像NPFaに横方向にガウシアンフィルターを適用したものであり、このフィルター処理後の画像NPFb(低周波成分を示す画像)を元の画像NPFaから減算して差分を求めることにより高周波成分を抽出する(高周波成分を示す画像NPFc)。画像NPFcから画像PFdに対応する位置の画像を抽出する(抽出画像を画像NPFdとする)。
【0061】
そして、放射線検出装置10同士の重畳部分がある画像PFから抽出された所定の構造物を示す抽出画像(画像PFd)から重畳部分がない画像NPFから抽出された抽出画像(画像NPFd)を減算した結果の画像(画像PFR)を、所定の構造物に対応する画像情報を示す正解データとする。
また、重畳部分がある画像PFから抽出された所定の構造物を示す抽出画像(画像PFd)を入力データとする。
【0062】
本実施形態では、機械学習にあたり、このような入力データと正解データとの組を学習データとして複数用意する。学習データのセットは、例えば人体正面の撮影の場合、人体背面の撮影の場合、人体側面の撮影の場合等ポジショニングを変えたものや、胸部等ではなく脚部を撮影した場合のように撮影部位を変えたもの、各種線量の放射線を照射した場合、放射線の照射角度を変えた場合のように各種撮影条件を変えたもの等、様々なパターンで撮影を行って大量に用意されることが好ましい。学習データを各種パターンについて大量に用意することにより、より精度の高い学習が期待できる。
本実施形態では、こうして用意された学習データを与えて学習をさせることで、高いコントラスト値を示す所定の構造物(例えばねじ等)の画像を推定する画像推定フィルターFを予め設計し、コンソール3の記憶部32等に保存しておく。
【0063】
画像推定フィルターFを設計するための学習(機械学習)は、ディープラーニング(Deep Learning)により実現され、例えば、U-NETやSeg-NET等のいわゆる畳み込みネットワークに基づいて実装される。
なお、画像推定フィルターFを設計するための学習(機械学習)に適用されるネットワークはここに例示したものに限定されない。
学習結果として得られる画像推定フィルターFの精度を適宜検証し、精度が不足しているような場合には適宜ネットワークの構成を変更したり、学習データを追加する等によりさらに学習を行い、画像推定フィルターFがより精度の高いものへと更新されるようにしてもよい。
【0064】
実際に撮影された画像P(例えば放射線検出装置10aによって取得された画像P1)に対して機械学習(学習結果としての画像推定フィルターF)を用いて所定の構造物の構造物成分Csを低減・除去する補正処理を行う場合、ステップS12において検出され抽出された画像Pdに、機械学習によって得た画像推定フィルターFを適用して、高いコントラスト値を示す所定の構造物(例えばねじ等)の画像Pfを得る(ステップS13、図8参照)。この際、画像Pdについて、画像推定フィルターFを適用するのに適したサイズにトリミングする等の処理を行ってもよい。
【0065】
その後、画像Pdと画像Pfとを加算して所定の構造物の構造物成分Csを打ち消した画像Pgを取得する(ステップS14)。
一方、低周波成分を示す画像Pbから画像Pdに対応する位置の画像Peを切り出し、この低周波成分を示す画像Peに画像Pgを加算して画像Phを得る(ステップS15)。
画像Phは、所定の構造物の構造物成分Csが打ち消された画像と、当該部分に対応する低周波成分を示す画像とが加算されたものであり、本実施形態における機械学習を用いた補正処理の補正結果としての画像である。
【0066】
本実施形態では、キャリブレーション補正による補正結果と、機械学習(画像推定フィルターF)を用いた補正処理の補正結果とが取得されると、次にコンソール3の制御部31は、両補正結果に基づいて最終的な補正結果を得る。具体的には、両補正結果をブレンドするブレンド処理を行って最終的な補正結果を得る。ブレンド処理は、各画素におけるブレンド率を算出した上で、このブレンド率にしたがって画素ごとの両補正結果の採用割合を決定し、ブレンドするものである。なお、両補正結果に基づいてどのように最終的な補正結果を得るかについては、ここに示した手法に限定されない。
【0067】
具体的には、まず、キャリブレーション補正の結果画像(図7及び図10の画像PC)から機械学習(画像推定フィルターF)を用いた補正の結果画像(図9及び図10の画像Ph)に相当する領域を抽出する(ステップS16、図10において抽出画像PCa)。
そして、画像Ph(画像推定フィルターFを用いた補正結果)とこれに対応する画像PCa(キャリブレーション補正結果)との差分値からブレンド率を算出する(ステップS17)。
そして、コンソール3の制御部31は、算出されたブレンド率に基づくブレンド処理を行う(ステップS18)。これによって所定の構造物の構造物成分Csが画像情報から低減・除去された最終的な処理結果を得ることができる。
【0068】
ブレンド率は、キャリブレーション補正による処理結果(図10の画像PCa)と、機械学習(画像推定フィルターF)による処理結果(図9及び図10の画像Ph)の差分値(例えば画素値、輝度値、濃度値の差分値)に基づいて画素毎に算出する。具体的には、差分値を求めた後、所定の関数変換を行い、0~1.0の範囲のブレンド率を決定する。
ブレンドの傾向としては、両者の結果に差がなければ既存のキャリブレーション補正による処理結果を採用し、両者の差が大きいほど機械学習による処理結果を採用する。
差の絶対値がどの程度の場合にどの程度の割合で機械学習による処理結果を採用するか、については、予め一定の閾値を定めておくことが好ましい。これにより例えば、差の絶対値が25以上であれば、機械学習による処理結果が100%採用され、差の絶対値が12程度であればキャリブレーション補正による処理結果と機械学習による処理結果とを50%ずつの割合で採用する等、画素ごとのブレンド率が求められる。
【0069】
なお、ブレンド率を決めるための閾値はデフォルトで定められていてもよいし、適宜操作者(ユーザー)等が変更できるようにしてもよい。
また、低減・除去したい構造物成分Csが写り込んでいる場所や、補正対象となっている画像の種類、低減・除去したい構造物の種類等、各種の条件に応じて、複数種類の閾値が予め用意され、各条件に応じて自動で又は手動で選択されるようにしてもよい。
さらに、一旦ブレンド処理を行った後、構造物成分Csの消え具合(残り具合)を確認した段階で、閾値を調整する等、適宜設定を調整・変更し、ブレンド処理をやり直すことができるようにしてもよい。
【0070】
なお、画像を合成した後に、所定の構造物(例えばねじ等)を含んだ矩形領域とそれ以外の補正領域ArRとの間の境界が目立たないように、ブレンド率の決定においては差分値のみを考慮するのではなく、所定の構造物の外側の領域については、外側ほど(すなわち所定の構造物から離れるほど)キャリブレーション補正による処理結果が採用され、内側ほど(すなわち所定の構造物から近いほど)機械学習による処理結果が採用されるようにすることが好ましい。
【0071】
なお、ブレンド率は、上記のようにキャリブレーション補正による構造物成分Cや所定の構造物(例えばねじ等)の構造物成分Csの低減・除去の処理結果と、機械学習(画像推定フィルターF)による所定の構造物(例えばねじ等)の構造物成分Csの低減・除去の処理結果との差分値から算出されるため、2つの結果の平均的な濃度値が大きく異なっていると、ほとんどの領域で機械学習による処理結果が採用されてしまう。
機械学習による処理結果は、フィルターを用いた処理によるものであり、処理結果にボケを生じやすい。このため、機械学習による処理結果が必要以上に多く採用されるとボケの目立つ画像となるおそれがある。
このため、ブレンド率の算出を行う前に、機械学習による処理結果について濃度補正を行い、その平均濃度値を、キャリブレーション補正による処理結果の平均濃度値に合わせる前処理を行うことが好ましい。
【0072】
なお、上述のように機械学習(画像推定フィルターF)による処理結果には画像のボケを生じやすい点及び本実施形態における機械学習で得られる画像推定フィルターFは、高コントラストを示す所定の構造物(例えばねじ等)の低減・除去に特化して設計される点から、機械学習(画像推定フィルターF)による補正(構造物成分Csの低減・除去処理)を画像P全体に広く適用することは好ましくない。
このため、本実施形態では、補正領域ArRのうち所定の構造物を示す画素が含まれていない画像領域に対しては、機械学習(画像推定フィルターF)による低減・除去処理を行わず、キャリブレーション補正による低減・除去処理のみを行ってその結果(図7及び図10の画像PC)を100%採用することとし、所定の構造物を示す画素が含まれる画像領域に対してのみ、機械学習(画像推定フィルターF)による補正(低減・除去処理)とキャリブレーション補正による低減・除去処理とを行い、上記のようなブレンド処理を行う。
【0073】
また、同様の理由から所定の構造物(例えばねじ等)が含まれていない放射線検出装置10が撮影に用いられた場合には、上記に示した機械学習(画像推定フィルターF)による低減・除去処理は行わず、従来通りのキャリブレーション補正による処理結果のみを採用することが好ましい。
このため、いかなる放射線検出装置10で撮影が行われたかを、撮影前又は撮影後の画像処理前に判断する処理部が設けられていることが好ましい。
この場合における処理部の構成は特に限定されないが、例えば撮影に使用される放射線検出装置10の識別標識(例えば筐体101等に設けられたバーコードや各種タグ)を読み取る読取部をホルダー11A内等に設け、コンソール3の制御部31が処理部としてこの読取部からの情報に基づいて放射線検出装置10の種別等を判断してもよい。そして、放射線検出装置10には所定の構造物(例えばねじ等)が設けられていないと処理部によって判断された場合には、機械学習(画像推定フィルターF)による補正処理を行わないようにする。
【0074】
なお、撮影に使用される放射線検出装置10は所定の構造物(例えばねじ等)を備えるものであるが、その一部が欠落している等により本来あるべき位置に所定の構造物(すなわち、一定の閾値を超える高コントラストを示す構造物)が検出されないような場合には、所定の構造物が検出された部分についてのみ機械学習(画像推定フィルターF)による補正処理を行うことが好ましい。これにより不必要な処理を行うことでかえって画像の画質等が低下することを防ぐことができる。
【0075】
図5に戻り、上記のような所定の構造物の構造物成分Csを画像情報から低減・除去する補正処理(低減・除去処理)が完了すると、その他の各種基本処理が行われる(ステップS4)。
基本処理として具体的にどのような処理を行うかは特に限定されない。
例えば、複数の放射線検出装置10(10a,10b,10c)によってそれぞれ取得された画像P(例えば、図4におけるP1,P2等)を合成して1つの長尺な画像とする場合には、各画像の濃度が合うようにいずれかの画像P又はすべての画像Pについて濃度を補正したり、画像P同士の位置関係や拡大率を調整したり、各画像P中において、被写体Mの同じ部分が撮影されている部分を重ね合わせ、画像P同士が滑らかに接続されるように調整する。
なお、このような濃度補正や位置、拡大率の調整等は公知の処理であり、詳細な説明は省略する。
また、構造物成分Cや所定の構造物の構造物成分Csの除去処理の他にスジ状に画像に写り込むスジ成分等についても各種補正処理によって低減・除去を行ってもよい。
【0076】
このような各種の調整や補正等を行った上で複数の放射線検出装置10によって得られた画像Pを合成することで、あたかも当初から1枚の画像として撮影されたかのような仕上がりの合成画像を生成することができる。
なお、複数の放射線検出装置10(10a,10b,10c)によってそれぞれ取得された画像Pを合成することは必須ではなく、分割されたままで利用されてもよい。また一旦合成された後に分割されて利用されてもよい。1ショット撮影では、その後に画像Pが合成されない場合でも、1回の放射線照射によって広範囲の撮影を行うことができる点で、部位ごとに撮影を繰り返す場合と比較して被写体Mである患者への負担を軽減することができる。
コンソール3において生成された画像は、画像解析装置5に送られ、表示部に表示させて診断や患者への説明の際に用いられたり、各種の解析・分析等が行われ、適宜診断支援に用いられる。
【0077】
〔効果〕
以上のように本実施形態によれば、放射線検出装置10を、その一部が重畳された状態で複数配置し被写体Mについて撮影を行う場合に、補正が必要な補正領域ArRである放射線検出装置10の重畳部分の画像領域(補正領域ArR)の画像情報(画像Pa)から、ねじ等の所定の構造物を示す画素の位置を特定し、当該所定の構造物を示す画素を含む補正領域ArRについて機械学習を用いて所定の構造物の構造物成分Csを低減・除去する補正処理を画像情報に対して行う。
このため、所定の構造物の構造物成分Csを画像情報から低減・除去することに特化した補正を、機械学習を用いて精度良く行うことができる。これにより、1回の撮影で広範囲を撮影した場合にも適切に補正処理(画像処理)が施された画像を得ることができる。
【0078】
また本実施形態において機械学習を用いた補正処理は、補正領域ArRの画像情報のうち所定の構造物に対応する画像情報を推定する画像推定フィルターFを機械学習によって予め設計し、所定の構造物を示す画素が含まれる未知の画像領域(画像Pa)に対して、当該画像推定フィルターFを適用し、推定された所定の構造物に対応する画像情報と元の画像情報とに基づいて所定の構造物の構造物成分Csの低減・除去を行うものである。
このように、機械学習によって予め用意された画像推定フィルターFを用いて所定の構造物の構造物成分Csを画像情報から低減・除去する補正を行うため、効率よく、高精度の補正を行うことができる。
また、機械学習によって学習結果を蓄積することにより、未知の画像Paが入力された際にも適切に所定の構造物の構造物成分Csを画像情報から低減・除去することができ、高品質な画像を得ることができる。
【0079】
また本実施形態では、被写体Mが介在しない状態で撮影したキャリブレーション画像に基づいて補正領域ArRについて既存のキャリブレーション補正を行い、補正領域ArRのうち所定の構造物を示す画素が含まれていない画像領域に対しては、キャリブレーション補正による補正結果を採用し、一方で所定の構造物を示す画素が含まれる画像領域に対しては、キャリブレーション補正による補正結果と、機械学習を用いた補正処理の補正結果の両方を取得した後、両補正結果をブレンドするブレンド処理を行って最終的な補正結果を得るようになっている。
このように既存のキャリブレーション補正と機械学習を用いた補正処理とを組み合わせることで、キャリブレーション補正によっては低減・除去しきれない構造物成分Csを画像情報から適切に低減・除去することができる。
また、機械学習を用いた補正処理が画像推定フィルターFを用いたものである場合、高コントラストの構造物成分Csを効果的に低減・除去できる反面、画像にボケを生じやすいが、キャリブレーション補正と組み合わせ、高コントラストの構造物成分Csの低減・除去以外ではキャリブレーション補正の結果を優先させることによって適切な補正結果を得ることができる。
【0080】
また本実施形態では、機械学習を用いた補正処理における所定の構造物を示す画素の位置を、キャリブレーション画像に基づいて特定する。
機械学習を用いた補正処理を行う対象をキャリブレーション補正の結果から特定することで、補正対象の正確・精密な特定を効率よく行うことができる。
【0081】
また、撮影に使用された放射線検出装置10が所定の構造物を含むか否かによって所定の構造物の構造物成分Csを画像情報から低減・除去する補正処理を行うか否かを切り替える(放射線検出装置10の種類を判断する処理部を備える)構成とした場合には、機械学習を用いた補正処理を行っても良好な結果が得られないような場合に無駄な処理を行う手間を省くことができる。これにより、放射線検出装置10に応じた適切な画像処理(補正処理)を行うことができる。
【0082】
また本実施形態では、1ショット撮影によって複数の放射線検出装置10から取得される複数の画像P(放射線画像)を合成して合成画像を生成するようになっている。
これにより、例えば撮影されるものが医用画像の場合に、1回の放射線照射によって被写体Mである患者の全身を撮影することも可能となり、患者の負担を軽減することができる。
また、複数の放射線検出装置10によって撮影された画像を合成することで、医師や患者にとって見やすく、正確な診断に資する画像を得ることができる。
【0083】
〔変形例〕
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0084】
例えば、上記実施形態では、被写体Mとして患者を撮影し医用画像を得る場合について説明したが、本発明の画像処理方法は、医用画像の画像処理(補正処理)に適用される場合に限定されない。
本発明は、単体の放射線検出装置10では撮影できない広範囲な対象を、複数の放射線検出装置10を用いて撮影する場合であれば適用可能である。
例えば、縦方向、横方向、又は縦横両方向に単体の放射線検出装置10の撮影可能範囲を超えるような対象を被写体Mとして撮影する非破壊検査等においても、その撮影画像に本発明の画像処理方法を適用することができる。
【0085】
また、上記実施形態では、複数の放射線検出装置10(10a,10b,10c)を、被写体Mである患者の体軸方向に並べて配置し、1ショットで長尺な画像を撮影する場合を例示したが、複数の放射線検出装置10を並べる方向は特に限定されない。
例えば上記の非破壊検査等における撮影であれば、被写体全体をカバーできるように縦方向、横方向、又は縦横両方向に複数の放射線検出装置10を並べて配置してもよい。
この場合にも放射線検出装置10同士の重畳部分の画像を補正するために本発明の画像処理方法を適用することができる。
【0086】
また、上記実施形態では、1ショット撮影を行う場合を例示したが、複数の放射線検出装置10(10a,10b,10c等)を、その一部が重畳された状態で配置して被写体を撮影する場合であれば撮影画像に本発明の画像処理方法を適用することができる。
例えば、患者の全身等、被写体の全体を複数回に分けて撮影する場合でも放射線検出装置10同士の重畳部分の画像を補正するために本発明の画像処理方法を適用可能である。
【0087】
また、上記実施形態では、機械学習によって1つの画像推定フィルターFを生成する場合を例示したが、画像処理(画像補正)のために予め用意しておく画像推定フィルターFは複数あってもよい。
例えば、画像推定フィルターFは、高コントラストを示す所定の構造物の種類に応じて、複数用意されてもよい。この場合、撮影に用いられた放射線検出装置10の種類やこれに含まれる所定の構造物の種類を特定し、特定結果に応じて適用する画像推定フィルターFを切り替えるように構成してもよい。
例えば所定の構造物が「ねじ」である場合でも、その種類が変更されると、同じ画像推定フィルターFでは適切に構造物成分Csを低減・除去できない場合がある。このため、例えば、ねじの種類ごとに画像推定フィルターFの学習係数を用意しておいてもよい。
そして実際に画像処理(補正処理)を行う際には、まず撮影に用いられる放射線検出装置10に含まれているねじの種類を判別する前処理を行い、その後に当該ねじの種類に応じた学習係数を有する画像生成フィルターFを適用してねじの構造物成分Csを画像情報から低減・除去する画像処理を行うようにする。
【0088】
なお、本発明が上記の実施形態や変形例等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。
【符号の説明】
【0089】
1 撮影装置
10 放射線検出装置
11 撮影台
11A ホルダー
12 放射線照射装置
3 コンソール(画像処理装置)
31 制御部
32 記憶部
5 画像解析装置
100 放射線画像撮影システム
ArR 補正領域
Cs 構造物成分
F 画像推定フィルター
P 画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10