(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-13
(45)【発行日】2024-03-22
(54)【発明の名称】画像処理装置、画像処理方法、及び、プログラム
(51)【国際特許分類】
A61B 6/00 20240101AFI20240314BHJP
A61B 6/58 20240101ALI20240314BHJP
【FI】
A61B6/00 520Z
A61B6/00 560
A61B6/58 500Z
(21)【出願番号】P 2020109951
(22)【出願日】2020-06-25
【審査請求日】2023-05-17
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】宮本 秀昭
(72)【発明者】
【氏名】岩井 春樹
【審査官】佐野 浩樹
(56)【参考文献】
【文献】特開2020-025780(JP,A)
【文献】特開2010-246778(JP,A)
【文献】特開平07-087397(JP,A)
【文献】国際公開第2010/147075(WO,A1)
【文献】欧州特許出願公開第3062289(EP,A1)
【文献】特開平10-275213(JP,A)
【文献】特開2019-198427(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/58
G01N23/00 -23/2276
(57)【特許請求の範囲】
【請求項1】
放射線画像から放射線の照射野を判定する画像処理装置であって、
事前情報に基づいて予測される前記照射野の所定の部分の位置と、前記事前情報が示す分布関数とに基づいて、前記放射線画像の各位置が前記照射野の
前記所定の部分となる度
合の分布を表す予測結果を生成する予測手段と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備える、ことを特徴とする画像処理装置。
【請求項2】
前記事前情報は前記所定の部分について複数の位置を示し、
前記予測手段は、前記複数の位置のそれぞれについて予測される度合の分布を合成することにより前記予測結果を生成する、ことを特徴とする請求項
1に記載の画像処理装置。
【請求項3】
前記事前情報は、前記分布関数を指定することを特徴とする請求項
1に記載の画像処理装置。
【請求項4】
前記事前情報は、放射線撮影の対象である被検体に関わる情報として、前記被検体の体格または撮影部位を含み、
前記予測手段は、前記被検体に関わる情報に基づいて前記所定の部分の位置を予測する、ことを特徴とする請求項
1に記載の画像処理装置。
【請求項5】
前記事前情報は、ユーザーにより入力された、前記放射線画像における前記所定の部分の指定を含み、
前記予測手段は、前記ユーザーにより指定される位置を前記所定の部分の位置として用いる、ことを特徴とする請求項
1に記載の画像処理装置。
【請求項6】
前記予測手段は、過去に前記決定手段により決定された前記照射野の前記所定の部分の位置を前記事前情報として用いる、ことを特徴とする請求項1乃至
5のいずれか1項に記載の画像処理装置。
【請求項7】
放射線画像から放射線の照射野を判定する画像処理装置であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測手段と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備え、
前記予測手段は、過去に前記決定手段により決定された前記照射野の前記所定の部分の位置を前記事前情報として用いる、ことを特徴とする画像処理装置。
【請求項8】
前記解析手段は、
前記放射線画像を解析することにより前記照射野の前記所定の部分の位置を判定し、
判定された前記所定の部分の位置と分布関数を用いて前記解析結果を生成する、ことを特徴とする請求項1乃至
7のいずれか1項に記載の画像処理装置。
【請求項9】
放射線画像から放射線の照射野を判定する画像処理装置であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測手段と、
前記放射線画像を解析して前記照射野の前記所定の部分の位置を判定し、判定された前記所定の部分の位置と分布関数とを用いて前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備える、ことを特徴とする画像処理装置。
【請求項10】
前記解析手段は、閾値処理、エッジ検出およびハフ変換の少なくとも何れかを用いた画像解析により前記放射線画像から抽出された照射野に基づいて前記所定の部分の位置を判定する、ことを特徴とする請求項
8または9に記載の画像処理装置。
【請求項11】
前記解析手段は、前記放射線画像の縦方向及び横方向の投影データに基づいて前記照射野の前記所定の部分の位置を判定する、ことを特徴とする請求項
8または9に記載の画像処理装置。
【請求項12】
前記解析手段は、放射線画像と照射野の前記所定の部分の正解位置を含む教師データを用いた機械学習により生成された推論器を用いて、前記放射線画像から前記照射野の前記所定の部分の位置を判定する、ことを特徴とする請求項
8または9に記載の画像処理装置。
【請求項13】
前記決定手段は、前記予測結果と前記解析結果の対応する各位置について度合を乗算することにより前記合成結果を得る、ことを特徴とする請求項1乃至
12のいずれか1項に記載の画像処理装置。
【請求項14】
前記決定手段は、前記合成結果において度合がピークとなる位置を、前記照射野の前記所定の部分の位置に決定する、ことを特徴とする請求項
13に記載の画像処理装置。
【請求項15】
前記予測手段は、時系列に取得される複数の放射線画像のうちのn番目の放射線画像に対する予測結果を、前記予測手段、前記解析手段および前記決定手段がm番目(n>m)の放射線画像に対して生成した予測結果、解析結果および合成結果の少なくとも1つに基づいて生成することを特徴とする、請求項1乃至
14のいずれか1項に記載の画像処理装置。
【請求項16】
放射線画像から放射線の照射野を判定する画像処理装置であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測手段と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備え、
前記予測手段は、時系列に取得される複数の放射線画像のうちのn番目の放射線画像に対する予測結果を、前記予測手段、前記解析手段および前記決定手段がm番目(n>m)の放射線画像に対して生成した予測結果、解析結果および合成結果の少なくとも1つに基づいて生成することを特徴とする画像処理装置。
【請求項17】
前記予測手段は、前記n番目の放射線画像に対する前記予測結果を、ユーザーによる照射野の移動に基づいて更新することを特徴とする、請求項
15または16に記載の画像処理装置。
【請求項18】
前記決定手段は、前記時系列に取得される複数の放射線画像について決定される前記照射野の前記所定の部分の変動が、時間的に連続するように平滑化する、ことを特徴とする請求項
15乃至17のいずれか1項に記載の画像処理装置。
【請求項19】
前記照射野の前記所定の部分は、前記照射野の中心の位
置、前記照射野を表す多角形の頂点の位置、前記照射野を表す多角形を構成する辺、または前記放射線画像のうちの前記照射野に属する画素の位置である、ことを特徴とする請求項1
乃至18のいずれか1項に記載の画像処理装置。
【請求項20】
放射線画像から放射線の照射野を判定する画像処理方法であって、
事前情報に基づいて予測される前記照射野の所定の部分の位置と、前記事前情報が示す分布関数とに基づいて、前記放射線画像の各位置が前記照射野の
前記所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測工程と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析工程と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定工程と、を備える、ことを特徴とする画像処理方法。
【請求項21】
放射線画像から放射線の照射野を判定する画像処理方法であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測工程と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析工程と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定工程と、を備え、
前記予測工程では、過去に前記決定工程により決定された前記照射野の前記所定の部分の位置を前記事前情報として用いる、ことを特徴とする画像処理方法。
【請求項22】
放射線画像から放射線の照射野を判定する画像処理方法であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測工程と、
前記放射線画像を解析して前記照射野の前記所定の部分の位置を判定し、判定された前記所定の部分の位置と分布関数とを用いて前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析工程と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定工程と、を備えることを特徴とする画像処理方法。
【請求項23】
放射線画像から放射線の照射野を判定する画像処理方法であって、
前記放射線画像の各位置が前記照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果を生成する予測工程と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析工程と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定工程と、を備え、
前記予測工程では、時系列に取得される複数の放射線画像のうちのn番目の放射線画像に対する予測結果を、前記予測工程、前記解析工程および前記決定工程がm番目(n>m)の放射線画像に対して生成した予測結果、解析結果および合成結果の少なくとも1つに基づいて生成することを特徴とする画像処理方法。
【請求項24】
コンピュータを、請求項1乃至
19のいずれか1項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、たとえば放射線を用いた透視及び撮影により医用画像を取得する画像処理装置、画像処理方法、及び、プログラムに関する。
【背景技術】
【0002】
医療分野では、被検体に放射線を照射して被検体を透過した放射線を検出することにより被検体の透視撮影画像を得る、放射線撮影装置が広く利用されている。この種の放射線撮影装置では、放射線照射部に放射線絞りが設けられており、この放射線絞りを用いて、診断上必要な範囲のみを放射線照射野とする部分透視撮影が行われる(例えば、特許文献1)。このような部分透視撮影は、人体である被検体への不要な放射線照射を抑制し、被検体の放射線被ばく量を低減することができるため、非常に有用である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
部分透視撮影により得られる撮影画像には、放射線照射野が制限されることにより、診断上有用な情報を持つ照射野領域のほかに、診断上有用な情報を持たない照射野外領域が含まれる。この照射野外領域は、診断上不要な領域である。従って、例えば、部分透視撮影による撮影画像を表示装置に表示する際には、照射野外領域のみをマスクしたり、照射野領域を切り出して拡大表示したり、照射野外領域を階調処理に用いるための特徴量算出処理の範囲外としたりすることが有効である。
【0005】
上述のような処理を行うためには、放射線撮影装置が、画像上の照射領域と照射野外領域とを切り分ける照射野認識装置を備えることが要求される。特に、15~30フレーム/秒で放射線画像を生成しながら、放射線絞りを動かして放射線照射野として適切な場所を探索する放射線透視においては、リアルタイム性と、失敗や振動を抑制可能な安定性とが、照射野認識に求められる。
【0006】
本発明は、リアルタイム性と安定性とを備えた照射野認識を行う技術を提供する。
【課題を解決するための手段】
【0007】
本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
放射線画像から放射線の照射野を判定する画像処理装置であって、
事前情報に基づいて予測される前記照射野の所定の部分の位置と、前記事前情報が示す分布関数とに基づいて、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合の分布を表す予測結果を生成する予測手段と、
前記放射線画像を解析して、前記放射線画像の各位置が前記照射野の前記所定の部分となる度合を判定し、判定された度合の分布を表す解析結果を生成する解析手段と、
前記予測結果と前記解析結果とを合成することにより得られる合成結果に基づいて、前記照射野の前記所定の部分を決定する決定手段と、を備える。
【発明の効果】
【0008】
本発明によれば、放射線画像に対し、リアルタイム性と安定性とを備えた照射野認識を行うことが可能になる。
【図面の簡単な説明】
【0009】
【
図1】第1実施形態による放射線撮影装置の概略の構成例を示す図。
【
図2】第1実施形態による照射野認識部113の処理手順を示すフローチャート。
【
図3】第1実施形態による照射野認識部113の入出力の一例を示す図。
【
図7】第2実施形態による照射野認識部113の処理手順を示すフローチャート。
【
図8】第2実施形態による照射野認識部113の入出力の一例を示す図。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0011】
<第1実施形態>
(概略構成)
図1は、第1実施形態による放射線撮影装置100の構成例を示す図である。放射線撮影装置100は、放射線発生部101、放射線絞り102、放射線検出器105、データ収集部106、前処理部107、CPU108、記憶部109、メインメモリ110、操作部111、表示部112、照射野認識部113、画像処理部118を含む。また、各部はCPUバス119を介して接続されており、互いにデータ授受が可能である。
【0012】
メインメモリ110は、CPU108により実行される各種プログラムを記憶するとともに、CPU108の処理に必要なワーキングメモリとして機能する。CPU108は、メインメモリ110に記憶されている所定のプログラムを実行することにより、操作部111からのユーザー操作及び、記憶部109に記憶されているパラメータに従って、装置全体の動作制御等を行う。
【0013】
操作部111を介してユーザーから撮影指示が入力されると、この撮影指示はCPU108によりデータ収集部106に伝えられる。データ収集部106は、撮影指示を受けると、放射線発生部101及び放射線検出器105を制御してそれらに放射線撮影を実行させる。放射線撮影では、まず放射線発生部101が、被検体104に対して放射線ビーム103を照射する。被検体104は、放射線撮影の対象である。放射線発生部101から照射された放射線ビーム103は、放射線絞り102によって照射範囲が制限され、被検体104を透過して、放射線検出器105に到達する。そして、放射線検出器105は到達した放射線ビーム103の強度に応じた信号を出力する。放射線絞り102は、例えば、上下左右に1枚ずつ配置され、平板状の鉛等から構成された絞り羽根であり、矩形の開口を形成する。放射線絞り102は、例えば、CPU108から供給される放射線絞りの制御情報によって、上下左右それぞれ非対称に移動可能に構成される。これにより、放射線検出器105に照射される放射線の照射野が任意の位置に設定される。データ収集部106は、放射線検出器105から出力された信号をデジタル信号に変換して画像データとして前処理部107に供給する。前処理部107は、データ収集部106から供給された画像データに対して、オフセット補正およびゲイン補正等の前処理を行う。前処理部107で前処理が行われた画像データは、CPUバス119を介してメインメモリ110、照射野認識部113、画像処理部118に転送される。
【0014】
メインメモリ110は、転送された画像データを格納する。照射野認識部113は、転送された画像データから、放射線検出器105に照射された放射線の照射野を認識し、認識された照射野を示す照射野情報を出力する。照射野は、放射線検出器105の放射線が照射された領域に対応する。画像処理部118は、転送された画像データに対して、照射野認識部113により出力された照射野情報に基づく画像処理を行う。このような画像処理としては、例えば、照射野に属する画素値の統計量(平均値、最大・最小値など)に基づく階調処理、照射野に属する画素の切り出し・拡大処理、照射野に属さない画素のマスク処理等が含まれ得る。照射野情報と、上記画像処理が施された画像データは、画像処理済み画像データとして、CPUバス119を介して例えば記憶部109、表示部112に転送される。記憶部109は転送された照射野情報と画像処理済み画像データを記憶する。表示部112は転送された照射野情報と画像処理済み画像データを表示する。ユーザーは、表示部112に表示された照射野情報および画像処理済み画像データを確認し、操作部111を介して必要に応じた操作指示を行うことができる。
【0015】
(照射野認識フロー)
照射野認識部113は、予測部114、画像解析部115、合成部116、認識部117を備える。以下、
図2に示すフローチャートを参照して、照射野認識部113が、放射線画像(画像データ)から照射野を認識して、照射野情報を出力する動作について具体的に説明する。なお、照射野情報は特に限定されるものではないが、本実施形態では、一例として、サイズ(W,H)の画像データIから、固定サイズ(W
c,H
c)の矩形形状を有する照射野の中心座標(x
c,y
c)を照射野情報とする場合について説明する(
図3)。なお、照射野の形状は矩形に限られるものではなく、他の多角形であってもよい。また、本実施形態の座標とは、画像データIの左上を原点Oとする画像上のインデックスである。
【0016】
[ステップS201] 予測部114は、転送された放射線画像(画像データI)について、事前情報(後述)に基づいて照射野を予測し、予測結果Pを生成する。予測部114は、画像データIの各位置(例えば、各画素)が照射野の所定の部分となる度合を事前情報に基づいて予測し、予測された度合の分布を表す予測結果Pを生成する。本例では、照射野の所定の部分とは照射野中心である。予測結果Pは、例えば、画素値が照射野中心である確率を示す値を画素値とする画像データとして得られる。本実施形態では、例えば、
図4に示されるように、予測結果Pは画像データIと同じサイズ(W,H)の画像データであり、座標(x,y)における値P(x,y)が照射野中心となる確率を0~1までの値で示す。但し、予測結果Pの形態はこれに限られるものではない。また、予測部114による予測結果Pの生成方法について以下にいくつかの例を示すが、これに限定されるものではない。
【0017】
(予測結果の生成方法1)
予測部114は、記憶部109に保存されたパラメータに含まれる事前情報を読み込み、事前情報に基づいて予測結果Pを生成する。ここで事前情報とは、例えば、放射線撮影装置100を用いた放射線撮影における照射野中心の分布が、座標(x
i,y
i)を中心とする所定の分布関数に従う(あるいは近似できる)、などの情報である。ここで、所定の分布関数としては、例えば、標準偏差σの正規分布を適用することができる。このとき予測部114は、予測結果Pを次式[数1]により生成する。
【数1】
【0018】
[数1]におけるP(x,y)の値域は0より大きくなる。予測部114は、照射野中心ではありえない座標(x、y)において値P(x,y)が十分に小さい場合、その値P(x,y)を0に設定する。これにより、照射野である確率が0の座標が設定される。また、P(x,y)の値が1以下となるように、σ2≦π/2とする。ここでσは予測結果Pを表す確率分布の広がりを制御するパラメータである。例えば、σには、予測による照射野中心の信頼度が低ければ大きな値が、信頼度が高ければ小さな値が設定される。こうして、P(x,y)の最大値は1よりも小さな値をとるようになる。
【0019】
(予測結果の生成方法2)
また、事前情報に、照射野中心となる複数の座標(x
i,y
i)が存在する場合は、それら複数の座標のそれぞれについて[数1]を用いて予測結果Pを求め、得られた複数の予測結果Pを合成するようにしてもよい。例えば、事前情報が、3つの照射野中心を示すとともに、積により予測結果を合成することを示しているとする。この場合、予測部114は、例えば、[数1]を用いて3つの照射野中心に関して3つの予測結果P
1,P
2,P
3を取得し、これらを次式[数2]を用いて合成することにより予測結果Pを生成する。
【数2】
【0020】
(予測結果の生成方法3)
さらに、予測部114は、例えば放射線撮影の対象である被検体に関わる情報を事前情報として用いて、照射野中心(xi,yi)を設定してもよい。例えば、被検体の体格、撮影部位などの情報に基づいて照射野中心が定まる場合、予測部114は、操作部111を介して予めユーザーが入力したこれらの情報のいずれかを事前情報として用いて照射野中心(xi,yi)を設定し、予測結果Pを生成する。あるいは、ユーザーにより、操作部111から照射野中心の指定が直接に入力される場合、予測部114は、指定された照射野中心を事前情報として用いて予測結果Pを生成してもよい。照射野中心を直接入力できる場合は、入力される照射野中心と実際の照射野中心とのずれは、例えば放射線発生部101、放射線絞り102、放射線検出器105の物理的な配置誤差等にのみ起因することになり、事前情報の信頼度は高くなる。事前情報の信頼度が高い場合、例えば[数1]により予測結果Pが求められる場合、[数1]における標準偏差σを小さくすることで、事前情報の信頼度が考慮された、より適切な予測結果Pを生成することが可能になる。
【0021】
(予測結果の生成方法4)
あるいは、過去に撮影した画像データI
prevの照射野認識結果が事前情報として用いられても良い。この場合、照射野認識部113は、過去の画像データI
prevの照射野認識結果あるいは照射野認識の途中で得られた計算結果を記憶部109に保存する。予測部114はそれらを事前情報として記憶部109から読み出す。例えば、照射野認識部113は過去の画像データI
prevに対する、予測結果と解析結果を合成して得られた合成結果C
prevを記憶部109に記憶する。予測部114は、この合成結果C
prevを記憶部109から読み出して画像データIの予測結果Pとする。合成結果C
prevについては後述する。
【数3】
【0022】
[ステップS202] 画像解析部115は、転送された放射線画像(画像データI)を解析し、照射野の解析結果Lを生成する。例えば、画像解析部115は、画像データIを解析して、放射線画像の各位置(例えば、各画素)が照射野の所定の部分となる度合を判定し、判定された度合の分布を表す解析結果Lを生成する。本例では、照射野の所定の部分は照射野中心である。従って、解析結果Lは、例えば、画素値が照射野中心である確率を示す値を画素値とする画像データとして得られる。但し、解析結果Lは、これに限定されるものではない。本実施形態では、例えば、解析結果Lは、
図5に示されるように、画像データIと同じサイズ(W,H)の画像データであり、座標(x,y)における値L(x,y)が、照射野の中心である確率を0~1の値で示す。解析結果Lの生成方法について以下にいくつかの具体例を示す。但し、解析結果Lの生成方法は、以下で説明される生成方法に限定されるものではない。
【0023】
(画像解析の具体例1)
画像解析の第1の例として、画像データを閾値処理することにより照射野を推定し、推定された照射野から照射野中心を取得する方法を説明する。この方法では、例えば、画像解析部115は、画像データIを所定の閾値Tで二値化して二値画像Bを取得する。
【数4】
【0024】
ここで画像データIは、放射線検出器105への入射線量が大きければ大きな値をとるデータとすると、画像データを二値化した場合、高画素値側、すなわちB(x,y)=1である座標(x,y)が照射野に相当すると考えられる。なお閾値Tは、統計的に適当と考えられる値であり、予めパラメータとして記憶部109に保存されている。もちろんこれに限られるものではなく、画像解析部115が、判別分析法などの画像解析手法を用いて閾値Tを求めてもよい。
【0025】
続いて、画像解析部115は、B(x,y)=1である領域から、次式[数5]により重心(x
g,y
g)を求める。
【数5】
【0026】
[数5]により求まる重心は、画像解析による照射野中心(x
g,y
g)として用いられる。本実施形態における解析結果Lは、画像解析による照射野中心(x
g,y
g)を、次式[数6]により確率分布に変換することにより得られる。
【数6】
【0027】
なお、[数6]の値域は0より大きいが、照射野中心ではありえない座標(x、y)や、L(x,y)が十分小さな値をとる座標(x、y)では、L(x,y)を0に設定することで、照射野である確率が0の座標を設定する。また、L(x,y)の値は1以下となるように、σ2≦π/2とする。ここでσは解析結果Lを表す確率分布の広がりを制御するパラメータである。σには、好ましくは、画像解析による照射野中心の信頼度が低ければ大きな値が、信頼度が高ければ小さな値が設定される。これにより一般にL(x,y)の最大値は1よりも小さな値をとる。以上に説明した閾値Tを用いる手法では、放射線検出器105への入射線量が大きければ照射野と照射野外を区別しやすいため信頼度は高くなるが、入射線量が小さければ照射野と照射野外を区別し辛いため信頼度が低くなる。
【0028】
(画像解析の具体例2)
画像解析部115は、エッジ検出、ハフ変換等の処理を用いて画像データIから、放射線検出器105に照射された放射線の照射野を抽出し、その中心を画像解析による照射野中心(xg,yg)として得る。この方法を用いれば上述の閾値による二値化手法よりも、計算量は多いが信頼度の高い照射野中心(xg,yg)を求めることができる。この場合、[数6]を用いて解析結果Lを求める際のσに、より小さな値を設定することができる。
【0029】
(画像解析の具体例3)
画像解析部115は、画像データIを横方向(x軸方向)及び縦方向(y軸方向)に投影して投影データとし、この投影データから画像解析による照射野中心(x
g,y
g)を求める。投影データは、画像データIの画素値を横方向(x軸方向)及び縦方向(y軸方向)に平均することにより得られる。この方法は、上述した具体例1,2に比べてより簡易な方法である。ここで画像データIの画素値をx軸方向に平均して得られる投影データをDx、y軸方向に平均して得られる投影データをDyとすると、投影データDx,Dyは次式で表すことができる。
【数7】
【0030】
これらの投影データDx,Dyと、画像データIとの関係を模式的に示したのが
図6である。
図6に示すように、投影データDx,Dyは、照射野と照射野外で大きく異なる分布を持つ一次元のデータとなる。よって、隣り合うデータ間の差分が大きな位置を抽出することで照射野端を比較的容易に取得することができる。照射野の上下左右端y
top,y
bottom,x
left,x
rightは、例えば次式により、投影データDx,Dyから取得される。
【数8】
【0031】
[数8]において、argmax
y()は括弧内が最大となるときのyの値を、argmin
y()は括弧内が最小となるときのyの値を表す。また、argmax
x()は括弧内が最大となるときのxの値を、argmin
x()は括弧内が最大となるときのyの値を表す。こうして得られた照射野の上下左右端y
top,y
bottom,x
left,x
rightから、画像解析による照射野中心(x
g,y
g)は、例えば、次式[数9]により求めることができる。そして、[数9]により得られた照射野中心を、上述の[数6]に適用することで解析結果Lが得られる。
【数9】
【0032】
(画像解析の具体例4)
画像解析部115は、機械学習により照射野中心を推論する推論器を生成し、これを用いて画像解析による照射野中心(xg,yg)を求める構成であってもよい。推論器は、予め多数の放射線画像と、それに対応する照射野中心の正解位置との組み合わせを教師データとして用いた教師あり学習(好ましくは深層学習)により生成され得る。推論器は、画像データを入力すると照射野中心の推論結果を、学習により生成された多数のパラメータを用いて算出する計算モデルである。推論器によって生成された照射野中心(xg,yg)は、[数6]を用いて解析結果Lに変換される。多くの教師データを用いた機械学習により生成された推論器の出力は一般的に信頼度が高いため、[数6]におけるσの値を小さく設定することができる。
【0033】
なお、機械学習による方法では、照射野中心(xg,yg)を出力する推論器に代えて、解析結果Lを直接出力する推論器を生成することも可能である。解析結果を出力する推論器は、多数の放射線画像と、それに対応する照射野中心を[数6]を用いて確率分布に変換したものとの組み合わせを教師データとして用いた教師あり学習(好ましくは深層学習)により生成され得る。この様に生成された推論器は、画像データIを与えると解析結果Lを出力する。従って、推論器から出力された解析結果はそのまま画像解析部115の出力として用いることができる。
【0034】
以上述べた通り、画像解析部115による照射野の解析結果Lの生成方法には、特に限定されるものではなく、使用可能な情報、要求される精度、処理速度等によって適切なものを用いればよい。
【0035】
[ステップS203] 照射野認識部113は、予測部114により出力された予測結果Pと、画像解析部115により出力された解析結果Lとを、CPUバス119を介して合成部116に転送する。合成部116は、例えば、次式[数10]にて予測結果Pと解析結果Lとを合成して合成結果Cを算出する。[数10]では、予測結果Pと解析結果Lの対応する各位置について、値(照射野中心である度合)を乗算することにより合成結果Cを得ている。但し、合成方法はこれに限られるものではなく、例えば、[数10]のP(x,y)とL(x,y)に重みづけを行って乗算することにより合成されてもよい。
【数10】
【0036】
以上説明してきたように、本実施形態では、予測結果Pと解析結果Lは入力された画像データIと同じサイズの画像データであり、座標(x,y)におけるそれぞれの値P(x,y)、L(x,y)は、照射野中心である確率を0~1までの値で示している。したがって、それらの積である合成結果Cも、画像データIと同じサイズの画像データであり、座標(x,y)における値C(x,y)は、照射野の中心である確率を0~1の値で示すものとなる。
【0037】
[ステップS204] 照射野認識部113は、合成部116により出力された合成結果Cを、CPUバス119を介して認識部117に転送する。認識部117は、合成結果Cから次の[数11]により照射野中心(x
c,y
c)を決定する。
【数11】
【0038】
[数11]においてargmaxx,y()は、括弧内が最大となるときの(x,y)の値を示す。以上、得られた照射野中心(xc,yc)を、照射野情報として照射野認識部113の出力とする。なお、[数11]により複数の照射野中心が取得された場合は、例えば、それらの重心位置を照射野中心に決定すればよい。或いは、argmaxx,y()が大きい順に所定数の座標を取得し、それらの重心位置を照射野中心に決定するようにしてもよい。
【0039】
以上の説明では、照射野認識で取得する照射野情報として照射野中心(x
c,y
c)を求める方法を説明した。前述したとおり、画像処理部118は、照射野認識部113が出力する照射野情報を用いて、例えば統計量の取得、マスク処理、画像の切り出し等を行う。従って、照射野情報は、点ではなく領域を表す情報であることが望ましい。そこで、例えば本実施形態では、照射野認識部113は、照射野が固定サイズ(W
c,H
c)の矩形であることを利用して次式[数12]により照射野中心座標を照射野の領域に変換する。[数12]では、照射野中心座標は、照射野の左上端の座標(x
left,y
top)と右下端の座標(x
right,y
bottom)に変換され、照射野の矩形領域が取得される。
【数12】
【0040】
以上の説明では照射野情報を固定サイズ(Wc,Hc)の矩形の照射野の中心座標(xc,yc)とする場合を説明したがこれに限られるものではない。例えば、より汎用的に、照射野が四角形以外の多角形の場合も考慮し、照射野情報を、多角形を構成するN個の頂点とする場合にも本手法は適用できる。その場合、予測部114は予測結果Pを、画像解析部115は解析結果Lを、合成部116は合成結果Cを、それぞれN個の頂点ごとに生成する。認識部117は、N個の合成結果Cから得られるN個の頂点を直線で結ぶことにより得られる多角形を照射野領域として認識する。この場合、各頂点について、予測部114は事前情報から取得される座標位置を用いて各頂点の予測結果Pを生成し、画像解析部115は、画像データIを解析して各頂点について解析結果Lを得る。合成部116は、頂点ごとに予測結果Pと予測結果Lを合成して、頂点ごとの合成結果Cを得る。
【0041】
さらに、照射野情報は、中心点や頂点などの座標ではなく、直線を表す画像情報であっても本手法は適用できる。例えば、予測部114の予測結果P、画像解析部115の解析結果L、合成部116の合成結果Cを、画像をx軸とy軸に投影した投影データ上における点について作成する。例えば、予測結果P、解析結果Lは、それぞれ、投影データ上における照射野の端部位置(エッジ位置)の確率分布を表すように生成される。そして上述した方法を適用して、投影データ上で合成結果Cのピークを取得すると、ピークは、照射野を囲むx軸とy軸に水平な直線を表し、照射野情報として用いることができる。なお、以上の説明は直線を用いる場合の最も簡単な例であるが、より複雑な形状に対応するために、放射線画像をハフ変換し、ハフ平面上で予測結果P、解析結果Lおよび合成結果Cを算出するようにしてもよい。この場合、ハフ平面上の合成結果Cから取得されるピークが表す直線は多角形照射野を囲む直線を表し、照射野情報として用いることができる。
【0042】
さらに、照射野情報は、中心点や頂点などの座標、直線を表す画像情報ではなく、領域を表す画像情報であってもよい。その場合、予測部114の予測結果P、画像解析部115の解析結果L、合成部116の合成結果Cは、それぞれ画素ごとに照射野領域である確率を0から1までの値で示す確率マップとする。合成結果Cの画素ごとに所定の閾値T(例えばT=0.5)を用いてその画素が照射野に属するかどうかを判定することで、照射野情報を例えば二値画像で取得する。そして、得られた二値画像に対して、膨張収縮処理などのモルフォロジ演算を行う、または、ラベリングにより最も面積の大きな連結領域以外を除去する、などにより所望の照射野情報を得ることが可能である。
【0043】
以上のように、第1実施形態によれば、事前情報に基づいた照射野の予測と、画像からの照射野の解析結果とを用いて照射野を認識することで、リアルタイム性と安定性を備えた照射野認識が可能になる。
【0044】
<第2実施形態>
第1実施形態では、画像データIから照射野を認識する構成を説明した。画像データIから照射野を認識する構成は、単独の放射線撮影にも透視撮影にも利用することができる。第2実施形態では、過去のフレームについての照射認識結果を参照することで、特に透視撮影においてより安定した照射野の検出を行える構成を説明する。なお、第2実施形態による放射線撮影装置の構成は、第1実施形態(
図1)と同様である。操作部111を介してユーザーから入力された透視指示はCPU108によりデータ収集部106に伝えられる。データ収集部106は、透視指示を受けると、放射線発生部101及び放射線検出器105を制御して放射線透視を実行させる。
【0045】
放射線透視では、放射線発生部101は、被検体104に対して放射線ビーム103を、透視指示を受けている間、連続またはパルス照射する。放射線発生部101から照射された放射線ビーム103は、放射線絞り102によって照射範囲が制限され、被検体104を透過して、放射線検出器105に到達する。放射線検出器105は到達した放射線ビーム103の強度に応じた信号を出力する。
【0046】
データ収集部106は、放射線検出器105から出力された信号を所定の間隔でデジタル信号へ変換し、時系列画像データとして前処理部107に供給する。前処理部107は、データ収集部106から供給された時系列画像データを構成するそれぞれのフレームに対して、オフセット補正やゲイン補正等の前処理を行う。前処理部107で前処理が行われた時系列画像データは、CPUバス119を介してメインメモリ110、照射野認識部113、画像処理部118、に順次転送される。
【0047】
照射野認識部113は、転送された時系列画像データから、放射線検出器105に放射線が照射された照射野を認識し、当該照射野を示す照射野情報を出力する。つまり、照射野認識部113は、時系列に取得される放射線透視像の照射野を認識する。認識される照射野は、照射野端を特定可能な所定の部分であり、所定の部分は、例えば、照射野の中心の位置、照射野を表す多角形の頂点の位置、照射野を表す多角形を構成する辺等がある。照射野認識部113は、決定対象の放射線透視像である対象透視像(例えば、現フレーム)における照射野の所定の部分を、対象透視像よりも前に取得された事前情報に基づいて予測する。事前情報としては、対象透視像(現フレーム)の照射野領域を設定する放射線絞りの制御情報、対象透視像よりも前に取得された前段透視像(例えば、前フレーム)の照射野領域を表す照射野情報がある。
【0048】
放射線絞りの制御情報(絞り制御情報という)は、放射線絞り102を制御する情報であり、放射線絞り102は、絞り制御情報を受け取ることによって移動し、放射線絞り102により形成される矩形の開口の位置や大きさを変化させる。放射線絞り102によって開口が変化すると、放射線検出器105に照射される放射線の照射野が変化し、対象透視像が得られる。つまり、放射線絞り102が絞り制御情報を受け取ってから対象透視像が得られるまでに時間遅れが生じている。
【0049】
また、前段透視像の照射野情報は、対象透視像よりも前に取得された過去の透視像で特定された照射野領域の認識結果であり、後述する合成結果Cmに相当する。なお、前段透視像の照射野情報は、前段透視像の照射野端を特定可能な所定の部分を表す情報、前段透視像を設定した絞り制御情報を有してもよい。また、前段透視像の照射野情報は、対象透視像の一つ前のフレームの照射野情報に限定されず、一つ以上前のフレームでもよく、2以上のフレームに対応する照射野情報が使用されてもよい。
【0050】
このように、照射野認識部113は、対象透視像よりも前に取得された事前情報(絞り制御情報、前段透視像の照射野情報)に基づいて、対象透視像における照射野の所定の部分を予測する。なお、照射野認識部113は、絞り制御情報、前段透視像の照射野情報の一方から対象透視像における照射野の所定の部分を予測してもよい。
【0051】
また、照射野認識部113は、対象透視像における照射野の所定の部分を解析する。照射野認識部113は、予測結果を表す予測情報と、解析結果を表す画像情報とに基づいて、対象透視像の照射野領域を決定する。照射野認識部113は、決定した照射野領域を示す照射野情報を出力する。画像処理部118は、転送された時系列画像データに対して、照射野認識部113により出力された照射野情報に基づく画像処理を行う。この画像処理は、例えば、照射野に属する画素値の平均値や最大・最小値などの統計量に基づく階調処理、照射野に属する画素のみの切り出し・拡大処理、照射野に属さない画素へのマスク処理等を含み得る。画像処理部118により画像処理された時系列画像データおよび時系列照射野情報は、画像処理済み時系列画像データとして、CPUバス119を介して例えば記憶部109、表示部112に転送される。
【0052】
記憶部109は転送された時系列照射野情報や画像処理済み時系列画像データを記憶する。表示部112は転送された時系列照射野情報や画像処理済み時系列画像データを表示する。時系列画像データは、透視における画像データ取得と同じ間隔で切り替えながら表示されるので、ユーザーは時系列画像を動画像として視認する。ユーザーは表示された時系列照射野情報や画像処理済み時系列画像データを確認し、操作部111を介して必要に応じた操作指示を行う。
【0053】
以上の放射線透視において、照射野認識部113は、時系列画像データのそれぞれのフレームから照射野を認識し、照射野情報を出力する。以下、照射野認識部113のこの動作について、
図7に示すフローチャートを用いて具体的に説明する。なお、以下では、入力される時系列画像データを構成する各画像データ(フレーム)を、透視開始時からのフレーム番号を表すnを用いてInと表す。また、第2実施形態においても、固定サイズ(W
c,H
c)の矩形の照射野の中心座標(x
c,y
c)を照射野情報として得る構成について説明する。すなわち、透視撮影において取得されるフレーム番号nの画像データInから、照射野中心座標(x
cn,y
cn)を順次に認識する構成について説明する(
図8)。
【0054】
(照射野認識フロー)
[ステップS701] 透視開始時、すなわちフレーム番号n=1のとき、照射野認識部113は、予測部114において、画像データI1の照射野の予測を行い、フレーム番号n=1における予測結果P1を生成する。ここで予測結果P1の求め方は、ステップS201において説明した予測結果Pの求め方と同様である。フレーム番号n=1について以下のステップS702~S704が実行される。
【0055】
[ステップS702] 照射野認識部113は、画像解析部115において、転送されたフレーム番号nの入力画像データInを解析し、フレーム番号nにおける照射野の解析結果Lnを生成する。ここで解析結果Lnの求め方は、ステップS202において説明した解析結果Lの求め方と同様である。
【0056】
[ステップS703] 照射野認識部113は、フレーム番号nにおいて予測部114が出力する予測結果Pnと、画像解析部115が出力する解析結果Lnとを、CPUバス119を介して合成部116に転送する。合成部116は、予測結果Pnと、解析結果Lnとに基づいて、合成結果Cnを算出する。ここで合成結果Cnの求め方は、ステップS203において説明した合成結果Cの求め方と同様である。合成結果Cnは、CPUバス119を介して記憶部109に伝送され、記憶される。
【0057】
[ステップS704] 照射野認識部113は、フレーム番号nにおいて合成部116が出力する合成結果Cnを、CPUバス119を介して認識部117に転送する。認識部117は、合成結果Cnからフレーム番号nにおける照射野中心(xcn,ycn)を求める。ここで照射野中心(xcn,ycn)の求め方は、ステップS204において説明した照射野中心(xc,yc)の求め方と同じため、詳細は省略する。以上得られた照射野中心(xcn,ycn)を、フレーム番号nにおける照射野情報として照射野認識部113の出力とする。
【0058】
[ステップS705] 照射野認識部113は、操作部111を介したユーザーからの透視指示が透視続行であるか否かを判定する。操作部111を介したユーザーからの透視指示が終了している場合(S705でNO)、本処理は終了する。操作部111を介したユーザーからの透視指示がフレーム番号n>1以降も続いている場合(ステップS705でYES)、処理はステップS706へ進む。
【0059】
[ステップS706] 予測部114は入力画像データInの照射野を予測し、予測結果Pnを生成する。但し、ステップS706では、ステップS701における予測処理(n=1における予測処理)とは異なる予測処理が適用される。放射線透視のフレーム番号n>1の場合、予測部114は、例えば、以下の[数13]に示されるように、過去のm番目のフレーム(m<n)の合成結果Cmに基づいてn番目のフレームの予測結果Pnを算出する。合成結果Cmは、上述した前段透視像の照射野情報に相当する。即ち、予測部114は、記憶部109から過去のフレームの合成結果Cmを読み出し、予測結果Pnとする。例えば、直前のフレームの合成結果が用いられる場合、m=n-1である。
【数13】
【0060】
この予測結果Pnは、過去のフレームの合成結果Cmにその他の事前情報を加えることにより調整されてもよい。ここでは、そのような調整の一例として、操作部111を介してユーザーが放射線絞り102を移動したときの移動方向(vx、vy)を示す制御情報を用いた調整について説明する。移動方向を示す制御情報は、上述した絞り制御情報に相当し、事前情報としてCPUバス119を介して予測部114に入力される。予測部114は、照射野の合成結果Cmを事前情報である移動方向(vx、vy)に基づいて次式[数14]のように調整する。なお、[数14]においてkは放射線絞りの移動可能速度等を考慮した係数である。このような調整によれば、過去のフレームの合成結果Cmに現在の事前情報を加味することができるので、より安定性の高い予測が可能になる。その後、処理はステップS702に戻り、照射野認識部113は上述した動作を繰り返す。なお、[数14]において、x-k×vxが0~Wの間にならない、またはy-k×vyが0~Hの間にならない場合は、Pn(x、y)=0とする。
【数14】
【0061】
以上のように、第2実施形態によれば、過去フレームの合成結果Cmを用いることで、時系列で蓄積される過去情報が事前情報として用いられ、放射線透視における安定性の高い照射野認識が可能になる。また、放射線絞り102の移動方向などを現在の事前情報として加味することにより、放射線透視における照射野認識の安定性をより向上させることができる。
【0062】
なお、以上の説明では、ステップS706において予測部114が予測結果Pを取得する際に、過去フレームで生成された合成結果Cmが事前情報として用いられる例を説明したが、これに限られるものではない。例えば、過去フレームで生成された予測結果Pm、解析結果LmがステップS706において事前情報として用いられてもよい。また、ステップS704において、認識部117が、過去フレームで生成された照射野情報である照射野中心(x
cm,y
cm)を用いて、合成結果である照射野中心(x
cn,y
cn)を調整するようにしてもよい。例えば、ステップS704において、現フレームから得られる照射野中心(x
cn,y
cn)を過去フレームの照射野中心(x
cm,y
cm)と所定の係数αを用いて、[数15]により更新してもよい。これは、時系列に取得される複数の放射線画像(フレーム)について決定される照射野の所定の部分(例えば、照射中心の位置)の変動が、時間的に連続するように平滑化するものである。したがって、このようにすれば、フレームごとの照射野情報の振動を抑え、照射野の検出における安定性を高めることが可能となる。
【数15】
【0063】
以上のように、第1実施形態および第2実施形態によれば、事前情報に基づいた照射野の予測と、画像からの照射野を解析した結果とを用いて照射野が認識されるので、安定した照射野認識が実現される。特に放射線透視において、事前情報に過去に取得したフレームに関する照射野認識結果を用いることで、リアルタイム性と安定性を兼ね備えた照射野認識が可能になる。
【0064】
また、上記実施形態では、事前情報に基づいて予測された予測結果と、放射線画像の解析結果とに基づいて、放射線画像の照射野領域を求める例を説明したが、これに限られない。例えば、事前情報に基づいて予測された予測結果を、放射線画像の解析に利用して放射線画像の照射野領域を求めてもよい。例えば、照射野認識部113は、対象透視像(例えば、現フレーム)における照射野の所定の部分を事前情報(絞り制御情報、前段透視像の照射野情報)に基づいて予測し、その予測結果に基づいて対象透視像の解析を行う範囲を絞り込んでもよい。これにより、対象透視像を解析する時間を短縮できる。また、照射野認識部113は、絞り込んだ範囲で特定された照射野の所定の部分に基づいて、照射野領域を特定してもよい。
【0065】
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0066】
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
【符号の説明】
【0067】
100:放射線撮影装置、101:放射線発生部、102:放射線絞り、105:放射線検出器、108:CPU、109:記憶部、110:メインメモリ、113:照射野認識部、114:予測部、115:画像解析部、116:合成部、117:認識部