(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-13
(45)【発行日】2024-05-21
(54)【発明の名称】プログラム、画像処理装置及び画像処理方法
(51)【国際特許分類】
A61B 6/00 20240101AFI20240514BHJP
A61B 6/46 20240101ALI20240514BHJP
G06T 1/00 20060101ALI20240514BHJP
G06T 5/50 20060101ALI20240514BHJP
G06T 7/00 20170101ALI20240514BHJP
G06T 7/38 20170101ALI20240514BHJP
【FI】
A61B6/00 530A
A61B6/46 506B
G06T1/00 290A
G06T5/50
G06T7/00 Q
G06T7/00 612
G06T7/38
(21)【出願番号】P 2020096535
(22)【出願日】2020-06-03
【審査請求日】2023-03-29
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】宮崎 春彦
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開2010-119852(JP,A)
【文献】特開2018-129738(JP,A)
【文献】特開2018-183493(JP,A)
【文献】特開2018-148965(JP,A)
【文献】米国特許出願公開第2012/0305780(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/58
G06T 1/00 , 7/00
(57)【特許請求の範囲】
【請求項1】
コンピューターに、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ機能と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出機能と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成機能と、
を実現させるものであり、
前記精度算出機能は、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成機能は、前記精度算出機能によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とするプログラム。
【請求項2】
前記精度算出機能は、前記構造物の動きの種類が平面的な平行移動の場合には、位置合わせの精度を高く算出し、前記構造物の動きの種類が回転や伸縮といった形状の変化を伴う動きの場合には、位置合わせの精度を低く算出することを特徴とする請求項1に記載のプログラム。
【請求項3】
コンピューターに、
前記合成静止画像を表示させる表示機能をさらに実現させることを特徴とする請求項1
又は請求項2に記載のプログラム。
【請求項4】
前記表示機能は、前記合成静止画像を表示させるとともに、前記合成静止画像の品質を示す数値を表示させることを特徴とする請求項
3に記載のプログラム。
【請求項5】
前記表示機能は、前記合成静止画像の品質を示す数値を前記合成静止画像とともに表示させることを特徴とする請求項4に記載のプログラム。
【請求項6】
コンピューターに、
前記精度算出機能によって算出された前記精度に基づいて前記複数のフレーム画像から前記合成静止画像を生成可能であるか否かを判定する判定機能と、
前記判定機能によって前記合成静止画像を生成することが不可能であると判定された場合に、その旨をユーザーに報知する報知機能と、
をさらに実現させることを特徴とする請求項1から請求項
5のいずれか一項に記載のプログラム。
【請求項7】
前記判定機能は、前記複数のフレーム画像を合成することで得られる前記合成静止画像の品質が所定水準以下となると判断される場合に、前記合成静止画像を生成することが不可能であると判定することを特徴とする請求項
6に記載のプログラム。
【請求項8】
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ処理部と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出部と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成部と、
を備え、
前記精度算出部は、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成部は、前記精度算出部によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする画像処理装置。
【請求項9】
前記精度算出部は、前記構造物の動きの種類が平面的な平行移動の場合には、位置合わせの精度を高く算出し、前記構造物の動きの種類が回転や伸縮といった形状の変化を伴う動きの場合には、位置合わせの精度を低く算出することを特徴とする請求項8に記載の画像処理装置。
【請求項10】
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ工程と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出工程と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成
静止画像を生成する画像合成工程と、
を含み、
前記精度算出工程では、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成工程では、前記精度算出工程において算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする画像処理方法。
【請求項11】
前記精度算出工程では、前記構造物の動きの種類が平面的な平行移動の場合には、位置合わせの精度を高く算出し、前記構造物の動きの種類が回転や伸縮といった形状の変化を伴う動きの場合には、位置合わせの精度を低く算出することを特徴とする請求項10に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
近年、放射線撮影により、短時間の連続撮影を行うことで生体における対象部位(検査および診断の対象となる部位)の動きを捉えた画像(動態画像という)を取得することが可能となっている。このような動態画像によれば、呼吸時の肺や横隔膜の動き、心臓の拡縮動作等の動きを確認することができる。
しかし、診断を行う場合に、動きのある画像だけではなく、静止画像によって診断の対象部位を確認したいという要望もある。
【0003】
動態画像のように連続撮影によって得られた複数の画像から動画像が構成されている場合、被ばく量を抑えるために比較的低線量の放射線を照射して撮影が行われる。
このため、その中の1枚を抜き出しても、一般撮影で得られる静止画像よりもかなり画質の劣る画像しか得ることができない。
一方で、動態画像の撮影とは別に、静止画像を得るための一般撮影も行った場合には、被ばく量がその分増えてしまい、好ましくない。
【0004】
この点、例えば特許文献1には、複数の画像から1枚の補正画像を生成する技術が開示されている。
特許文献1に記載の技術は、基準フレーム画像(特許文献1において「基準画像」)にそれ以外の画像を順次合成することで1枚の高画質な合成静止画像を生成することを目指すものである。
複数の画像を合成することで1枚の静止画像を得ることができれば、動態画像の撮影と一般撮影とを両方行う必要がなくなり、被ばく量を増やすことなく、動態画像と静止画像とを得ることができる。
【0005】
特許文献1に記載の技術では、画像に含まれる複数領域ごとに基準フレーム画像からの画像移動量を導出し、画像移動量が大きい画像ほど小さな重み値となるように複数の部分領域毎に重み値を設定し、各画像に設定された重み値に応じてその他の画像を基準フレーム画像に順次合成する。
すなわち、画像の部分領域毎にフレーム間の画像移動量(相対移動量)を算出し、画像移動量が大きい場合には、合成の際の重み値を小さくし、画像移動量が小さい場合には、合成の際の重み値を大きくして位置合わせ処理を行い、この重み値に応じて画像の合成を行う。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、複数の画像から高画質な合成静止画像が得られるか否かは、画像移動量よりもむしろ位置合せの精度に依存する。
部位によっては、画像移動量が大きくても位置合せの精度が高いこともあり、逆に画像移動量が小さくても位置合せの精度が低いこともある。
このため、画像移動量に基づいて合成時の重みを決定すると、合成静止画像の画質の観点から適切な重み付けが行われず、高画質・高解像度の合成静止画像を得ることができない場合があるとの問題がある。
【0008】
本発明の課題は、動態画像を構成する複数のフレーム画像を合成することで、高画質の静止画像を得ることのできるプログラム、画像処理装置及び画像処理方法を提供することである。
【課題を解決するための手段】
【0009】
上記課題を解決するため、請求項1に記載の発明のプログラムは、
コンピューターに、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ機能と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出機能と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成機能と、
を実現させるものであり、
前記精度算出機能は、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成機能は、前記精度算出機能によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする。
【0010】
また、請求項6に記載の画像処理装置は、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ処理部と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出部と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成部と、
を備え、
前記精度算出部は、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成部は、前記精度算出部によって算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする。
【0011】
また、請求項7に記載の画像処理方法は、
動態画像を構成する複数のフレーム画像のうちから選定された一の基準フレーム画像に対してその他のフレーム画像を位置合せする位置合せ工程と、
前記その他のフレーム画像についてそれぞれ画素毎に位置合わせの精度を算出する精度算出工程と、
前記基準フレーム画像と位置合せ後の前記その他のフレーム画像とを合成して一の合成静止画像を生成する画像合成工程と、
を含み、
前記精度算出工程では、構造物の動きの種類に応じて位置合わせの精度を算出し、
前記画像合成工程では、前記精度算出工程において算出された前記精度に応じて前記その他のフレーム画像間の各画素の合成比率を変える重み付けを行って前記合成静止画像を生成することを特徴とする。
【発明の効果】
【0012】
本発明によれば、動態画像を構成する複数のフレーム画像を合成することで、高画質の静止画像を得ることができる。
【図面の簡単な説明】
【0013】
【
図1】本実施形態における画像処理装置を含む医用画像システムのシステム構成を示す要部構成図である。
【
図2】本実施形態における画像処理の手順を示すフローチャートである。
【
図3】本実施形態における画像処理の手順を模式的に示す説明図である。
【
図4】(a)及び(b)は、基準フレーム画像とその他のフレーム画像との位置合せを説明する説明図であり、(a)は、心臓及び横隔膜を含む胸部の画像の例を示し、(b)は、肩関節周りの画像の例を示している。
【
図5】(a)から(f)は、位置合せの精度の例を示した図であり、(a)は、最も位置合せの精度がいい場合の例であり、(f)は、最も位置合せの精度が悪い場合の例である。
【
図6】(a)から(c)は、動態画像を構成する複数のフレーム画像から1枚の合成静止画像を生成することを模式的に示す図であり、(a)は、比較的品質のよい合成静止画像を生成することができる場合の例を示し、(c)は、品質の悪い合成静止画像が生成される場合の例を示し、(b)は、(a)、(c)の中間的な品質の合成静止画像が生成される場合の例を示す説明図である。
【発明を実施するための形態】
【0014】
以下、
図1から
図6を参照して、本発明にかかるプログラム、画像処理装置及び画像処理方法の一実施形態について説明する。
ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。
【0015】
本実施形態における画像処理装置は、医用画像システム内に設けられて、各種のモダリティーによって取得された画像(医用画像)のうち特に動態画像D(
図3等参照)の解析・画像処理を行うものである。
図1は、本実施形態における医用画像システム100の全体構成を示す図である。
図1に示すように、医用画像システム100は、撮影装置1と、撮影用コンソール2とが通信ケーブル等により接続され、撮影用コンソール2と、診断用コンソール3とがLAN(Local Area Network)等の通信ネットワークNTを介して接続されて構成されている。医用画像システム100を構成する各装置は、DICOM(Digital Image and Communications in Medicine)規格に準じており、各装置間の通信は、DICOMに則って行われる。
後述するように、本実施形態では診断用コンソール3が画像処理装置として機能する。
【0016】
〔撮影装置1の構成〕
撮影装置1は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態変化、心臓の拍動等の、生体の動態を撮影する撮影手段である。
図1に示すように、撮影装置1は、放射線源11、放射線照射制御装置12、放射線検出部13、読取制御装置14を含んでいる。
【0017】
ここで動態撮影とは、生体における対象部位(例えば胸部の肺野周辺や心臓等)を含む被写体を放射線撮影することにより画像を得るものであり、被写体に対し、X線等の放射線をパルス状にして所定時間間隔で繰り返し照射するか(パルス照射)、もしくは、低線量率にして途切れなく継続して照射する(連続照射)ことで、複数の画像を取得することをいう。動態撮影により得られた一連の画像を動態画像Dと呼ぶ。動態画像Dは、一撮影のデータが複数の画像で構成されており、動態画像Dを構成する画像をフレーム画像(
図3においてフレーム画像d1~dn)と呼ぶ。
なお、以下の実施形態では、パルス照射により動態撮影を行う場合を例にとり説明する。また、以下の実施形態では、診断の対象となる対象部位を胸部の肺野周辺(肺野や横隔膜)とした場合を例にとり説明するが、これに限定されるものではない。例えば、胸部であればこのほか心臓、肺血管、肋間筋、胸郭、胃部であれば腸類や食道等、その他例えば膝、肘、首、背骨等、様々な整形部位や各種組織等を対象部位としてもよい。
【0018】
放射線源11は、被写体Mを挟んで放射線検出部13と対向する位置に配置され、放射線照射制御装置12の制御に従って、被写体Mに対し放射線(X線)を照射する。
放射線照射制御装置12は、撮影用コンソール2に接続されており、撮影用コンソール2から入力された放射線照射条件に基づいて放射線源11を制御して放射線撮影を行う。撮影用コンソール2から入力される放射線照射条件は、例えば、パルスレート、パルス幅、パルス間隔、一撮影あたりの撮影フレーム数、X線管電流の値、X線管電圧の値、付加フィルター種等である。パルスレートは、1秒あたりの放射線照射回数であり、後述するフレームレートと一致している。パルス幅は、放射線照射1回当たりの放射線照射時間である。パルス間隔は、1回の放射線照射開始から次の放射線照射開始までの時間であり、後述するフレーム間隔と一致している。
【0019】
放射線検出部13は、FPD等の半導体イメージセンサーにより構成される。FPDは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線源11から照射されて少なくとも被写体Mを透過した放射線をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。FPDにはX線をシンチレーターを介して光電変換素子により電気信号に変換する間接変換型、X線を直接的に電気信号に変換する直接変換型があるが、何れを用いてもよい。本実施形態において、放射線検出部13において生成される画像データの画素値(濃度値)は、放射線の透過量が多いほど高いものとする。
放射線検出部13は、被写体Mを挟んで放射線源11と対向するように設けられている。
【0020】
読取制御装置14は、撮影用コンソール2に接続されている。読取制御装置14は、撮影用コンソール2から入力された画像読取条件に基づいて放射線検出部13の各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、放射線検出部13に蓄積された電気信号を読み取ることにより、画像データを取得する。この画像データがフレーム画像d1~dnである。そして、読取制御装置14は、取得したフレーム画像を撮影用コンソール2に出力する。画像読取条件は、例えば、フレームレート、フレーム間隔、画素サイズ、画像サイズ(マトリックスサイズ)等である。フレームレートは、1秒あたりに取得するフレーム画像数であり、パルスレートと一致している。フレーム間隔は、1回のフレーム画像の取得動作開始から次のフレーム画像の取得動作開始までの時間であり、パルス間隔と一致している。
【0021】
ここで、放射線照射制御装置12と読取制御装置14は互いに接続され、互いに同期信号をやりとりして放射線照射動作と画像の読み取りの動作を同調させるようになっている。
【0022】
〔撮影用コンソール2の構成〕
撮影用コンソール2は、放射線照射条件や画像読取条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像の読み取り動作を制御するとともに、撮影装置1により取得された動態画像を撮影技師等の撮影実施者によるポジショニングの確認や診断に適した画像であるか否かの確認用に表示する。
撮影用コンソール2は、
図1に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
【0023】
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って後述する撮影制御処理を始めとする各種処理を実行し、撮影用コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。
【0024】
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。例えば、記憶部22は、
図2に示す撮影制御処理を実行するためのプログラムを記憶している。また、記憶部22は、撮影部位に対応付けて放射線照射条件及び画像読取条件を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
【0025】
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。
【0026】
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示する。
【0027】
通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
【0028】
〔診断用コンソール3の構成〕
診断用コンソール3は、撮影用コンソール2から動態画像Dを取得し、取得した動態画像Dについて画像処理を行い、処理結果としての画像や各種のデータを生成し、生成した処理結果を表示して医師の診断を支援する情報を提供する画像処理装置である。
診断用コンソール3は、
図1に示すように、制御部31、記憶部32、操作部33、表示部34、通信部35を備えて構成され、各部はバス36により接続されている。
【0029】
制御部31は、CPU、RAM等により構成される。制御部31のCPUは、操作部33の操作に応じて、記憶部32に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、後述する画像処理を始めとする各種処理を実行し、診断用コンソール3各部の動作を集中制御する。
【0030】
本実施形態の制御部31は、後述するように、動態画像Dを構成する複数のフレーム画像d1~dnのうちから選定された一の基準フレーム画像dhに対してその他のフレーム画像dbを位置合せする位置合せ処理部として機能する。
また制御部31は、位置合せ後にその他のフレーム画像dfについてそれぞれ画素毎に位置合わせの精度を算出する精度算出部として機能する。
また制御部31は、基準フレーム画像dhと位置合せ後のその他のフレーム画像dfとを合成して一の合成静止画像dsを生成する画像合成部として機能する。本実施形態において、画像合成部としての制御部31は、精度算出部として算出した精度に応じてその他のフレーム画像df間の各画素の合成比率を変える重み付けを行う。
また制御部31は、精度算出部として算出した精度に基づいて、複数のフレーム画像d1~dnから合成静止画像dsを生成可能であるか否かを判定する判定部としても機能する。
判定部としての制御部31は、複数のフレーム画像d1~dnを合成することで得られる合成静止画像dsの品質が所定水準以下となると判断される場合に、合成静止画像dsを生成することが不可能であると判定する。
【0031】
さらに制御部31は、表示部34の表示を制御する表示制御部としても機能する。表示制御部としての制御部31は、合成静止画像dsが生成されるとこの合成静止画像dsを表示部34に表示させる。
本実施形態では、表示制御部としての制御部31は、合成静止画像dsを表示させるとともに、合成静止画像dsの品質を示す数値(以下、「品質値」という。)を表示させてもよい。これによりユーザーが合成静止画像dsの品質を客観的に判断することができる。
なお、制御部31の上記各機能については、後に詳述する。
【0032】
記憶部32は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部32は、制御部31で画像解析処理等を実行するためのプログラムを始めとする各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。これらの各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部31は、当該プログラムコードに従った動作を逐次実行する。
また記憶部32には、過去に取得された動態画像Dや動態画像Dに各種の画像処理を行うことによって得られる各種データが格納される。なお、動態画像Dや動態画像Dを画像処理することで得られる各種データは、診断用コンソール3内の記憶部32に記憶されている場合に限定されない。例えば診断用コンソール3の外部に設けられた記憶部やサーバー等に記憶されていてもよい。
【0033】
操作部33は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部31に出力する。また、操作部33は、表示部34の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部31に出力する。
【0034】
表示部34は、LCDやCRT等のモニターにより構成され、制御部31から入力される表示信号の指示に従って、各種表示を行う。
本実施形態の表示部34は、合成静止画像dsや合成静止画像dsの品質値を表示させることが可能となっている。
また、本実施形態の表示部34は、判定部としての制御部31が、合成静止画像dsを生成することが不可能であると判定した場合に、その旨をユーザーに報知する報知部としても機能する。この場合表示部34は、例えば「この動態画像からは合成静止画像を作成することができません。」等のエラーメッセージを表示させる。
なお、表示部34における具体的な表示については、後に詳述する。
【0035】
通信部35は、LANアダプターやモデムやTA等を備え、通信ネットワークNTに接続された各装置との間のデータ送受信を制御する。
【0036】
〔画像処理装置としての診断用コンソールの動作〕
次に、上記画像処理装置としての診断用コンソール3の動作について説明する。
【0037】
まず前提として、動態画像を取得するための撮影装置1、撮影用コンソール2による撮影動作について説明する。
【0038】
撮影を行う際には、まず撮影実施者により撮影用コンソール2の操作部23が操作され、被検者(被写体M)の患者情報(患者の氏名、身長、体重、年齢、性別等)や検査情報等の入力が行われる。
検査情報としては、例えば、撮影対象となる対象部位(例えば肺野や横隔膜等)や、対象部位の動作・組織変化の種類・方法(拡縮動作なのか、上下動なのか等)、撮影時のポジショニング(正面、側面等)、撮影時の撮影条件(管電圧、照射角度、撮影時間等)である。
次に、放射線照射条件が記憶部22から読み出されて放射線照射制御装置12に設定されるとともに、画像読取条件が記憶部22から読み出されて読取制御装置14に設定され、操作部23の操作による放射線照射の指示が待機される状態となる。
ここで、撮影実施者は、被写体Mを放射線源11と放射線検出部13の間に配置してポジショニングを行う。
【0039】
また、例えば肺野の拡縮動作や横隔膜の上下動を動態画像Dとしてとらえる場合には、呼吸状態下で撮影を行うため、被検者(被写体M)に楽にするように指示し、安静呼吸を促す。撮影準備が整った時点で、操作部23を操作して放射線照射指示を入力する。撮影においては、さらに自動の音声案内によって息を吸うタイミング、息を止めるタイミング、息を吐くタイミングの誘導を行ってもよい。
【0040】
操作部23により放射線照射指示が入力されると、放射線照射制御装置12及び読取制御装置14に撮影開始指示が出力され、動態撮影が開始される。即ち、放射線照射制御装置12に設定されたパルス間隔で放射線源11により放射線が照射され、放射線検出部13によりフレーム画像d1~dnが取得される。
【0041】
次に、本実施形態における動態画像Dから合成静止画像dsを生成する画像処理方法について
図2、
図3等を参照しつつ説明する。
図2は、画像処理方法を示すフローチャートであり、
図3は、動態画像Dから合成静止画像dsを生成する主要な処理の流れを模式的に示した説明図である。
撮影装置1により動態画像Dが撮影されると、動態画像Dを構成するフレーム画像d1~dnが順次撮影用コンソール2に入力され、撮影順を示す番号(フレーム番号)と対応付けられる。
そして、通信部35を介して撮影用コンソール2から動態画像Dの一連のフレーム画像d1~dnが診断用コンソール3において受信される。これによって動態画像D(第1の動態画像)が診断用コンソール3に取得され(ステップS1)、制御部31と記憶部32に記憶されているプログラムとの協働により
図2に示す画像処理が実行される。
【0042】
具体的にはまず、取得した動態画像Dを構成する複数のフレーム画像d1~dnの中から一の基準フレーム画像dhを選択する(ステップS2)。
基準フレーム画像dhを選択する手法は特に限定されない。ユーザーが任意に一の基準フレーム画像dhを選択してもよいし、画像処理装置である診断用コンソールの制御部31が自動的に一の基準フレーム画像dhを選択してもよい。
【0043】
制御部31が自動的に選択する場合には、例えば以下の手法による。
すなわち、例えばモデル画像を記憶部32等に記憶させておき、複数のフレーム画像d1~dnのうち、モデル画像との差異が最も小さいものを基準フレーム画像dhとして選択する。
モデル画像とは、合成静止画像dsのモデルとなる静止画像であり、例えば静止画診断に用いる合成静止画像dsを生成する場合であれば、例えば被写体が所定の状態(例えば、胸部であれば最大吸気位又は最大呼気位等)となっている画像をモデル画像として用いることができる。また、比較読影に用いる合成静止画像dsを生成する場合であれば、例えば過去に同一患者の同一部位を撮影した静止画像(または同一患者の同一部位を過去に撮影した動態画像から生成した合成静止画像)をモデル画像として用いてもよい。
【0044】
モデル画像と各フレーム画像d1~dnとの差異を求める手法は特に限定されないが、例えば、取得した動態画像Dを構成する複数のフレーム画像d1~dnをそれぞれ解析して、モデル画像との二乗誤差を算出し、各フレーム画像d1~dnから算出した二乗誤差が最小であるフレーム画像を基準フレーム画像dhとして自動的に決定する。また、取得した動態画像Dを構成する複数のフレーム画像d1~dnをそれぞれ解析して、モデル画像との相関係数を算出し、各フレーム画像d1~dnから算出した相関係数が最大であるフレーム画像を基準フレーム画像dhとして自動的に決定してもよい。
【0045】
基準フレーム画像dhが決定されたら、位置合せ処理部としての制御部31が、基準フレーム画像dhに対して、その他のフレーム画像dbの位置合せ(レジストレーション)を行う(ステップS3)。
基準フレーム画像dhに対する、その他のフレーム画像dbの位置合せ(レジストレーション)とは、基準フレーム画像dhと、位置合せを行いたい一の画像(その他のフレーム画像dbの中の1枚)の2つの画像を用意して、位置合せしたいフレーム画像dbを基準フレーム画像dhに近づけるように、当該フレーム画像dbに対して平行移動・回転・伸縮等の変形処理を行うことをいう。
【0046】
その他のフレーム画像db(
図3において基準フレーム画像dhからの白い下向き矢印よりも左側を位置合せ前のフレーム画像dbとする。)の位置合せ(レジストレーション)を行うと、制御部31は、位置合せ後の各フレーム画像df(
図3において基準フレーム画像dhからの白い下向き矢印よりも右側を位置合せ後のフレーム画像dfとする。)ごとに、その位置合せの精度を算出する。
本実施形態では、基準フレーム画像dhと、位置合わせ後のフレーム画像dfとの差分を各画素ごとに求めることにより位置合せの精度を算出する。なお、位置合わせ精度の算出手法はこれに限定されない。例えば、位置合わせ精度の他の算出手法として、相互相関係数等により算出してもよい。
【0047】
複数のフレーム画像d1~dnを合成することによって高画質な合成静止画像dsを得ることができるか否かは、位置合せの精度に依存する。
例えば
図4(a)に示すような、胸部を含む部位を撮影した動態画像Dの場合、画像に含まれる心臓等の構造物Sa1は、単純な平行移動だけではなく、回転や伸縮等の変形を伴う動きをする。このため、基準フレーム画像dhに対する位置合わせ後のフレーム画像dfの画像移動量が小さくても位置合せの精度が低下する可能性が高く位置合せが難しい。
これに対して、横隔膜等の構造物Sa2は、基本的に上下の平行移動等の単純な動きをする。このため、基準フレーム画像dhに対する位置合わせ後のフレーム画像dfの画像移動量が大きくても位置合せの精度は比較的高くなる可能性がある。
このため、位置合せ後のフレーム画像dfにおいて、構造物Sa1の領域の画素の位置合わせ精度は低く、構造物Sa2の領域の画素の位置合わせ精度は高く算出される。
【0048】
また、
図4(b)に示すような、肩の関節部分等の整形部位について腕を捻るような動きを撮影した動態画像Dの場合、画像に含まれる肩関節等の構造物Sa3(
図4(b)において丸枠で示す)は、捻ることによる三次元的な回転により、捻る前後で骨の見え方が大きく異なる。このため、基準フレーム画像dhに対する位置合わせ後のフレーム画像dfの画像移動量自体は小さくとも、位置合せの精度が低くなる可能性が高い。
このため、位置合せ後のフレーム画像dfにおいて、構造物Sa3の領域の画素の位置合わせ精度は低く算出される。
【0049】
精度算出部としての制御部31は、位置合せ後の各フレーム画像dfについて画素毎に位置合せの精度(差分)を算出すると、さらにフレーム画像df全体について位置合せの精度(差分)を算出する。
図5(a)~
図5(f)は、胸部を撮影した動態画像における基準フレーム画像と位置合わせ後のフレーム画像との位置合せの精度(差分)を可視化した画像(差分画像)の例を挙げたものである。
図5(a)~
図5(f)に示す差分画像w(wa~wf)において、基準フレーム画像dhと位置合わせ後のフレーム画像dfとの位置合せの精度が低い(差分が大きい)画素ほど白く表現され、位置合せの精度が高い(差分が小さい)画素ほど黒く表現されている。
【0050】
図5(a)に示す差分画像waは、はっきりと白で表現される位置合せの精度が低い(差分が大きい)画素部分がなく、位置合せの精度が高いフレーム画像dfの場合の例である。
これに対して、
図5(b)~
図5(f)に示す差分画像wb~wfは、はっきりと白で表現される部分があり、特に
図5(f)に示す差分画像wfは最も白で表現される位置合せの精度が低い(差分が大きい)画素部分が多い。このような差分画像wfは位置合せの精度が低いフレーム画像dfの場合の例である。
図5(c)~
図5(e)に示す差分画像wb~weでは、
図4(a)において示した構造物Sa1(例えば心臓)やその周辺の画素において特に位置合せの精度が低くなっている。
【0051】
位置合せ後の各フレーム画像dfについて画素毎に位置合せの精度(差分)が算出されると、次に、制御部31が各画素の位置合せの精度に基づいて、当該動態画像Dを構成するすべてのフレーム画像dfと基準フレーム画像dhとを合成することで生成される合成静止画像dsの品質値を算出する(ステップS4)。
合成静止画像dsの品質値は、例えば各画素の位置合わせ精度の平均値p(i)を算出し、これに基づいて決定される。
【0052】
各画素の位置合わせ精度の平均値p(i)は下記の式(1)により算出される。
なお、式(1)において、「i」はフレーム画像dfを構成している画素の番号であり、「N」は合成されるフレーム画像dfの数(基準フレーム画像dhを除く)であり、「RegAcc(k,i)」は、k番目のフレーム画像dfにおける位置合わせの精度を意味する。
【数1】
【0053】
そして、合成静止画像dsの品質値は、こうして算出された位置合わせ精度の平均値p(i)が所定の閾値THを超えている割合Rに基づいて決定される。ここで、閾値THとしては、この値以下であれば画像を合成した場合に十分な画質を担保できるような値を適宜事前に設定しておく。
なお、所定の閾値THを超えるp(i)の割合Rが大きいほど位置合わせの精度が低いため、品質値にはその逆数(=1.0-R)がとられる。
例えば
図5(a)や
図5(b)に示すような比較的位置合せの精度の高いフレーム画像dfから合成される合成静止画像dsは、所定の閾値THを超えるp(i)の割合Rが小さく、例えば所定の閾値THを超えるp(i)の割合Rが10%であれば、品質値は90%となる。
逆に、
図5(e)や
図5(f)に示すような位置合せの精度の低いフレーム画像dfから合成される合成静止画像dsでは、所定の閾値THを超えるp(i)の割合Rが大きく、例えば所定の閾値THを超えるp(i)の割合Rが80%であれば、品質値は20%となる。
【0054】
合成静止画像dsの品質値が算出されると、判定部としての制御部31は、当該動態画像を構成する複数のフレーム画像(基準フレーム画像dhと位置合せ後のその他のフレーム画像df)を合成することで合成静止画像dsを生成可能であるか否かを判定する(ステップS5)。
具体的には、合成静止画像dsの生成の可否の判断において、判定部としての制御部31は、合成静止画像dsの品質値が所定水準を上回るか否かを判断する。
所定の水準をどの程度とするかは適宜設定されるが、例えば、合成静止画像dsの品質値が30%を上回れば合成静止画像dsの生成が可能であると判断し、30%以下であれば合成静止画像dsの生成が不可能であると判断する。
【0055】
図6(a)~
図6(c)は、動態画像Dを構成するすべてのフレーム画像dfと基準フレーム画像dhの例を左側に、これらを合成することで得られる合成静止画像dsの例を右側に示したものである。
例えば、
図6(a)は、比較的位置合せの精度の高いフレーム画像dfから合成される合成静止画像dsの例を模式的に示しており、例えば合成静止画像dsの品質値90%等が算出される。
これに対して
図6(b)は、位置合せの精度が50~60%のフレーム画像dfから合成される合成静止画像dsの例を模式的に示しており、例えば合成静止画像dsの品質値40~50%等が算出される。
さらに、
図6(c)は、位置合せの精度の低いフレーム画像dfから合成される合成静止画像dsの例を模式的に示しており、例えば合成静止画像dsの品質値20~30%等が算出される。
前述のように、例えば所定の水準を合成静止画像dsの品質値が30%以下であれば合成静止画像dsの生成が不可能であると設定した場合には、
図6(a)及び
図6(b)に示す例では、合成静止画像dsの生成が可能であり、
図6(c)に示す例では、合成静止画像dsの生成が不可能であると判断される。
【0056】
合成静止画像dsの品質値が所定水準以下となる要因としては、例えば、
図4(a)に示した構造物Sa1や
図4(b)に示した構造物Sa3のように、構造物の性質上、動きが複雑であったり不規則であったりするために位置合せが難しい部位を含んでいる場合の他、超低線量撮影であるために解剖学的構造のコントラストが描出されていない場合や、ノイズが多すぎる場合、あまりにも体動が大き過ぎる場合等、位置合せ(レジストレーション)の精度が全体的に悪くなりすぎる場合が考えられる。
このように合成静止画像dsの品質値が所定水準以下である場合には、この状態で合成静止画像dsを作成しようとしても、ボケ過ぎて画質の低下を招き、診断に用いることができないか、逆に誤診を招く合成静止画像dsが生成されてしまうおそれがある。このため、無理に合成静止画像dsを作成しても診断に用いることができず、無駄な処理となってしまう。
【0057】
このため、本実施形態では、判定部としての制御部31が合成静止画像dsを作成することができないと判断する場合(ステップS5;NO)には、表示制御部としての制御部31が報知手段としての表示部34を制御してその旨をユーザーの報知する表示を行い(ステップS6)、処理を終了する。
なお、報知手段は表示部34に限定されない。例えば、図示しないインジケーターやランプの点滅等によって報知してもよいし、スピーカを備える場合には、音声やアラーム等により報知してもよい。
【0058】
他方、合成静止画像dsを作成することができると判定された場合(ステップS5;YES)には、画像合成部としての制御部31が、位置合せの精度に基づいて、位置合せ後のその他(すなわち基準フレーム画像dh以外の)の各フレーム画像df間の各画素の合成比率を変える重み付けを行う(ステップS7)。すなわち、精度算出部としての制御部31によって算出された位置合せの精度に応じて合成重み(各フレーム画像の各画素に対する重み係数)を算出する。
そして、算出された合成重みにしたがって、画像合成部としての制御部31が、すべてのフレーム画像d1~dn(すなわち、基準フレーム画像dhと位置合せ後のその他の各フレーム画像df)を合成し、高画質な1枚の合成静止画像ds(
図3の右端に示す合成静止画像ds)を生成する(ステップS8)。
【0059】
ここで合成重みとは、合成静止画像dsを作成する際に、各フレーム画像の各画素の信号値をどのくらいの比率で採用して、合成するかを決めるためのものである。位置合せ後のフレーム画像dfの各画素の信号値にそれぞれ合成重みを設定することで、位置合せの精度が高いとされた画素の信号値がより大きな比率で合成静止画像dsに採用、反映される。
例えば合成重みが0.1である画素の信号値はあまり採用されず、0.8等の合成重みがかかっている画素の信号値は画像を合成する際に大きく採用されるとすることで、合成静止画像ds全体を、位置合せの精度の高い画素の信号値が多く採用されたものとすることができ、より高画質・高解像度の画像とすることができる。
【0060】
具体的には、下記の式(2)により合成静止画像dsを生成する。
なお、式(2)において、「i」は、画素の番号であり、「N」は、合成されるフレーム画像dfの数(基準フレーム画像dhを除く全フレーム画像df)であり、「g(i)」は、合成後の合成静止画像dsであり、「h(i)」は、基準フレーム画像dhであり、「w(k,i)」は、合成重みであり、「f(k,i)」は、k番目の位置合せ後のフレーム画像dfであり、「RegAcc(k,i)」は、k番目のフレーム画像dfにおける位置合わせの精度を意味する。なお、ここに示す例では、「RegAcc(k,i)」が大きいほど精度が悪いものとする。
【数2】
【0061】
式(2)において、合成重みを意味する「w(k,i)」は、下記の式(3)により表すことができる。
【数3】
【0062】
合成静止画像dsが生成されると、表示制御部としての制御部31が、表示部34を制御して合成静止画像dsを表示させる。
また、本実施形態では、制御部31は、合成静止画像dsとともに、合成静止画像dsの品質を示す数値である品質値(例えば品質値90%、品質値60%等)を表示部34に表示させる(ステップS9)。
【0063】
これにより、動態画像Dを取得することで、動態撮影とは別に静止画像を得るための一般撮影を行うことなく、診断に役立つ合成静止画像dsを得ることができ、これを表示部34に表示させることができる。
また合成静止画像dsの品質値も画像とともに表示させることで合成静止画像dsの信用性に関わる情報を医師等のユーザーに提供することができる。
【0064】
以上説明したように、本実施形態におけるプログラムは、コンピューター(本実施形態では診断用コンソール3の制御部31等で構成されるコンピューター)に、動態画像Dを構成する複数のフレーム画像d1~dnのうちから選定された一の基準フレーム画像dhに対してその他のフレーム画像dbを位置合せする位置合せ機能と、基準フレーム画像dh以外のその他のフレーム画像dfについてそれぞれ画素毎に位置合わせの精度を算出する精度算出機能と、基準フレーム画像dhと位置合せ後のその他のフレーム画像dfとを合成して一の合成静止画像dsを生成する画像合成機能と、を実現させるものであり、画像合成機能は、精度算出機能によって算出された精度に応じてその他のフレーム画像df間の各画素の合成比率を変える重み付けを行って合成静止画像dsを生成する。
これにより、動態画像Dを取得するだけで静止画像を得ることができ、動きのある画像と静止画像との両方によって診断を行うことができる。
動態画像Dは、比較的低線量の放射線を照射することで取得されるため、各フレーム画像d1~dnのノイズが多くなる場合が多い。また動態画像Dは、複数のフレーム画像d1~dnで構成されており、各フレーム画像を静止画像と同等の解像度とすると全体としてのデータ量が重くなり過ぎて処理する際の負荷が過大となるため、あえて解像度が低く設定されている場合も多い。この点、複数のフレーム画像d1~dnを合成することによって合成静止画像dsを生成することで、解像度の向上やノイズの除去、粒状性の改善等を図ることができ、場合によっては初めから静止画像として取得された画像よりも高画質、高解像度の合成静止画像dsを取得することができる。
また、このように動態画像Dから合成静止画像dsを生成することで、別途静止画像を得るための撮影を行う必要がなく、患者の被ばく量を最低限に抑えることができる。
【0065】
複数の画像を合成することで高画質、高解像度の画像を得られるか否かは、位置合せの精度に依存するところが大きい。例えばその場で拡縮を繰り返す心臓や、三次元的な回転運動をする関節部分等は、構造物の移動量自体は小さいが、形状の変化を伴うために位置合せの精度が低下しやすい。一方で横隔膜等のように基本的な動きが上下の平行移動等である場合には、画像移動量が大きくても位置合せの精度は高くなる可能性がある。
本実施形態では、こうした位置合せの精度の重要性に着目して、複数の画像を合成する際の重み付け(合成重み)を決定するため、高画質・高解像度な合成静止画像dsを生成することが可能となる。
このため、動態画像Dを構成する複数のフレーム画像d1~dnから、診断に役立つ優れた合成静止画像dsを得ることができる。
【0066】
また本実施形態では、コンピューターに、合成静止画像dsを表示部34に表示させる表示機能をさらに実現させることを特徴とする。
これにより、医師等のユーザーは合成静止画像dsを表示部で確認することができ、診断に役立てることができる。
【0067】
また本実施形態では、表示機能は、合成静止画像dsを表示させるとともに、合成静止画像dsの品質を示す数値を表示部34に表示させることを特徴とする。
これにより、合成静止画像dsの画質等がどの程度信頼できるものであるかを数値的・客観的に知ることができ、正しい診断を行うことができる。
【0068】
また本実施形態では、コンピューターに、精度算出機能によって算出された精度に基づいて複数のフレーム画像d1~dnから合成静止画像dsを生成可能であるか否かを判定する判定機能と、判定機能によって合成静止画像dsを生成することが不可能であると判定された場合に、その旨をユーザーに報知する報知機能と、をさらに実現させる。
このため、報知部(本実施形態では表示部34)による報知(例えばエラーメッセージの表示等)により、合成静止画像dsを生成できないことを知ることができ、無駄な処理が進められるのを防止して、改めて静止画像の撮影を行う等、適切な対応を行うことができる。
【0069】
また本実施形態では、判定機能は、複数のフレーム画像d1~dnを合成することで得られる合成静止画像dsの品質が所定水準以下となると判断される場合に、合成静止画像dsを生成することが不可能であると判定する。
これにより、診断に供することができないような所定水準以下の品質の合成静止画像dsが生成されるのを防いで、改めて静止画像の撮影を行う等、適切な対応を行うことができる。
【0070】
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0071】
例えば、本実施形態では、医用画像システム100内の診断用のコンソール3が画像処理装置として機能する場合を例示したが、画像処理装置はこれに限定されない。例えば医用画像システム100外に、独立したワークステーションが設けられ、各種ネットワーク等を介して医用画像システム100から動態画像Dを取得する構成としてもよい。
【0072】
また例えば、所定の閾値THや、合成静止画像dsの品質が所定水準以下であるか否かを判断する際の閾値は、1つである場合に限定されない。
例えば所定の閾値THや、合成静止画像dsの品質が所定水準以下であるか否かを判断する際の閾値を複数有し、合成静止画像dsの用途や、撮影対象となっている部位の特色に応じて、より厳密な高水準を要求される場合と、多少低い水準でもとりあえず静止画像を合成したい場合等によって閾値を使い分けてもよい。
閾値の使い分けを行う場合には、ユーザーが任意に所望の閾値を設定してもよいし、撮影部位の種類等に応じて、制御部31が自動的に適切な閾値を設定するようにしてもよい。
【0073】
その他、画像処理装置(本実施形態では診断用コンソール3)を構成する各部の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【0074】
100 医用画像システム
1 撮影装置
11 放射線源
12 放射線照射制御装置
13 放射線検出部
14 読取制御装置
2 撮影用コンソール
21 制御部
22 記憶部
23 操作部
24 表示部
25 通信部
26 バス
3 診断用コンソール
31 制御部
32 記憶部
33 操作部
34 表示部
35 通信部
36 バス