(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190231
(43)【公開日】2022-12-26
(54)【発明の名称】画像処理装置及びプログラム
(51)【国際特許分類】
A61B 6/00 20060101AFI20221219BHJP
【FI】
A61B6/00 350P
A61B6/00 330A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021098460
(22)【出願日】2021-06-14
(71)【出願人】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】宮崎 春彦
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA13
4C093AA26
4C093CA29
4C093DA03
4C093FA35
4C093FB12
4C093FF36
4C093FF37
(57)【要約】
【課題】動態画像を構成する複数のフレーム画像から合成静止画像を生成する際、ユーザーのストレスや、無駄な待機時間を減らす。
【解決手段】
被写体に対して放射線を照射することにより前記被写体の動態を撮影する動態撮影で得られた動態画像を処理する画像処理装置(コンソール2)は、動態画像を構成する複数のフレーム画像を取得する取得部(制御部21)と、前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像である第1の画像を生成する生成部(制御部21)と、前記第1の画像を出力部に出力する出力制御部(制御部21)と、を備え、前記出力制御部は、前記第1の画像を生成する前に、前記複数のフレーム画像の中の少なくとも1つ以上のフレーム画像に基づく静止画像であって、前記第1の画像よりも画像品質が低い第2の画像を出力することを特徴とする。
【選択図】
図2
【特許請求の範囲】
【請求項1】
被写体に対して放射線を照射することにより前記被写体の動態を撮影する動態撮影で得られた動態画像を処理する画像処理装置であって、
動態画像を構成する複数のフレーム画像を取得する取得部と、
前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像である第1の画像を生成する生成部と、
前記第1の画像を出力部に出力する出力制御部と、を備え、
前記出力制御部は、前記第1の画像を生成する前に、前記複数のフレーム画像の中の少なくとも1つ以上のフレーム画像に基づく静止画像であって、前記第1の画像よりも画像品質が低い第2の画像を出力することを特徴とする画像処理装置。
【請求項2】
前記第2の画像は、前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像であることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記第2の画像は、前記第1の画像よりも合成時の位置合わせ精度が低い条件で生成されていることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記第2の画像は、前記第1の画像よりも少ない枚数のフレーム画像で生成されていることを特徴とする請求項1~3のいずれか一項に記載の画像処理装置。
【請求項5】
前記生成部は、前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像を前記第2の画像として生成することを特徴とする請求項1~4のいずれか一項に記載の画像処理装置。
【請求項6】
前記生成部は、複数の解像度による位置合わせを低解像度から高解像度へ順番に複数行い、各解像度での位置合わせが終了した時点での合成静止画像を、前記第2の画像として生成することを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記生成部は、前記第2の画像の生成中に、次の解像度での位置合わせを開始することを特徴とする請求項6に記載の画像処理装置。
【請求項8】
前記生成部は、前記第2の画像を生成する際に得られた情報を用いて、前記第1の画像を生成することを特徴とする請求項5から7のいずれか一項に記載の画像処理装置。
【請求項9】
前記出力制御部は、前記生成部による前記第2の画像の生成に失敗した場合、又は、前記生成部により生成された前記第2の画像の情報の品質が特定の基準を満たさない場合、出力部に警告情報を出力することを特徴とする請求項5から8のいずれか一項に記載の画像処理装置。
【請求項10】
前記生成部は、前記複数のフレーム画像の中の1つの基準フレーム画像と当該基準フレーム画像以外の少なくとも1つのフレーム画像に基づいて前記第1の画像を生成し、
前記第2の画像は、前記基準フレーム画像であることを特徴とする請求項1に記載の画像処理装置。
【請求項11】
前記生成部は、前記第1の画像の生成に用いたフレーム画像の内少なくとも1つのフレーム画像を用いて前記第2の画像を生成することを特徴とする請求項1に記載の画像処理装置。
【請求項12】
前記画像品質は、解像度、精細性、粒状性、及び鮮鋭性のうち少なくとも1つを含むことを特徴とする請求項1から11のいずれか一項に記載の画像処理装置。
【請求項13】
被写体に対して放射線を照射することにより前記被写体の動態を撮影する動態撮影で得られた動態画像を処理する画像処理装置に用いられるコンピューターに、
動態画像を構成する複数のフレーム画像を取得する機能、
前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像である第1の画像を生成する機能、
前記第1の画像を出力部に出力する機能を実現させ、
前記出力部に出力する機能は、前記第1の画像を生成する前に、前記複数のフレーム画像の中の少なくとも1つ以上のフレーム画像に基づく静止画像であって、前記第1の画像よりも画像品質が低い第2の画像を出力することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【0002】
従来、動態画像を構成する複数のフレーム画像を合成して1枚の合成静止画像を生成する技術が知られている。例えば、特許文献1には、動態画像を構成する複数のフレーム画像から高解像度化された合成静止画像を生成する際の基準フレーム画像をユーザーが指定することなしに、自動的に高解像度化された合成静止画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術では、合成静止画像の生成処理が全て終了して合成静止画像が表示された後に、ユーザーは、初めて合成静止画像の内容を確認できる。そのため、合成静止画像の生成処理が開始されてから合成静止画像が表示されるまでの処理時間が長い場合、ユーザーの待機時間も長くなり、時間的なストレスを感じてしまう。また、合成静止画像が表示されるまでの間、ユーザーは、合成静止画像の生成処理が正常に実行されているかどうかの進捗状況を確認することができない。さらに、合成静止画像が表示されても、例えば自動選択された基準フレーム画像がユーザーの所望の内容ではない等、不適切な画像であった場合、再処理や再撮影が必要となり、結果的に合成静止画像を生成するまでに要した待機時間が無駄になってしまっていた。
【0005】
本発明の課題は、動態画像を構成する複数のフレーム画像から合成静止画像を生成する際、ユーザーのストレスや、無駄な待機時間を減らすことである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、請求項1に記載の画像処理装置は、
被写体に対して放射線を照射することにより前記被写体の動態を撮影する動態撮影で得られた動態画像を処理する画像処理装置であって、
動態画像を構成する複数のフレーム画像を取得する取得部と、
前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像である第1の画像を生成する生成部と、
前記第1の画像を出力部に出力する出力制御部と、を備え、
前記出力制御部は、前記第1の画像を生成する前に、前記複数のフレーム画像の中の少なくとも1つ以上のフレーム画像に基づく静止画像であって、前記第1の画像よりも画像品質が低い第2の画像を出力することを特徴とする。
【0007】
請求項13に記載のプログラムは、
被写体に対して放射線を照射することにより前記被写体の動態を撮影する動態撮影で得られた動態画像を処理する画像処理装置に用いられるコンピューターに、
動態画像を構成する複数のフレーム画像を取得する機能、
前記複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像である第1の画像を生成する機能、
前記第1の画像を出力部に出力する機能を実現させ、
前記出力部に出力する機能は、前記第1の画像を生成する前に、前記複数のフレーム画像の中の少なくとも1つ以上のフレーム画像に基づく静止画像であって、前記第1の画像よりも画像品質が低い第2の画像を出力することを特徴とする。
【発明の効果】
【0008】
本発明によれば、動態画像を構成する複数のフレーム画像から合成静止画像を生成する際、ユーザーのストレスや、無駄な待機時間を減らすことが可能となる。
【図面の簡単な説明】
【0009】
【
図1】本発明の実施形態における画像処理システムの全体構成を示す図である。
【
図2】
図1のコンソールの機能的構成を示すブロック図である。
【
図4】合成処理対象のフレーム画像の位置合わせの処理の概要図である。
【
図5】第1の実施形態において
図2の制御部により実行される合成静止画像生成処理Aの流れを示すフローチャートである。
【
図6】第2の実施形態において
図2の制御部により実行される合成静止画像生成処理Bの流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。
【0011】
<第1の実施形態>
〔画像処理システム100の構成〕
まず、第1の実施形態の構成を説明する。
図1は、本実施形態に係る画像処理システム100の全体構成例を示す図である。
図1に示すように、画像処理システム100は、撮影装置1と、コンソール2とがデータ送受信可能に接続されて構成されている。
【0012】
撮影装置1は、被写体に放射線を照射し、静止画撮影又は動態撮影を行う撮影装置である。本実施形態において、動態撮影は、例えば、呼吸運動に伴う肺の膨張及び収縮の形態
変化、心臓の拍動等の、周期性(サイクル)を持つ人体の診断対象部位を被写体として行われる。動態撮影により連続的に被写体を撮影することにより得られた一連の画像を動態画像という。また、動態画像を構成する複数の画像のそれぞれをフレーム画像という。
なお、動態撮影には、動画撮影が含まれるが、動画を表示しながら静止画を撮影するものは含まれない。
また、動態画像には動画が含まれるが、動画を表示しながら静止画を撮影して得られた画像は含まれない。
【0013】
撮影装置1は、放射線検出器Pと、放射線検出器Pを装填可能な撮影台11と、放射線発生装置12とを備えて構成されている。撮影台11は、そのホルダー11a内に放射線検出器Pを装填することができるようになっている。
【0014】
放射線検出器Pは、FPD(Flat Panel Detector)等の半導体イメージセンサーにより、構成され、被写体Hを挟んで放射線発生装置12と対向するように設けられている。放射線検出器Pは、例えば、ガラス基板等を有しており、基板上の所定位置に、放射線発生装置12から照射されて少なくとも被写体Hを透過した放射線(X線)をその強度に応じて検出し、検出した放射線を電気信号に変換して蓄積する複数の検出素子(画素)がマトリックス状に配列されている。各画素は、例えばTFT(Thin Film Transistor)等のスイッチング部を備えて構成されている。放射線検出器Pは、コンソール2から入力された画像読取条件に基づいて各画素のスイッチング部を制御して、当該各画素に蓄積された電気信号の読み取りをスイッチングしていき、各画素に蓄積された電気信号を読み取ることにより、画像を画像データとして取得する。そして、放射線検出器Pは、取得した画像をコンソール2に出力する。
【0015】
放射線発生装置12は、被写体Hを挟んで放射線検出器Pと対向する位置に配置され、コンソール2から入力された放射線照射条件に基づいて被写体Hである患者を介して、ホルダー11aに装填された放射線検出器Pに放射線を照射して撮影を行う。
【0016】
コンソール2は、放射線照射条件や画像読取条件等の撮影条件を撮影装置1に出力して撮影装置1による放射線撮影及び放射線画像(画像)の読み取り動作を制御するとともに、撮影装置1により取得された画像に画像処理を施す画像処理装置として機能する。
コンソール2は、
図2に示すように、制御部21、記憶部22、操作部23、表示部24、通信部25を備えて構成され、各部はバス26により接続されている。
【0017】
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等により構成される。制御部21のCPUは、操作部23の操作に応じて、記憶部22に記憶されているシステムプログラムや各種処理プログラムを読み出してRAM内に展開し、展開されたプログラムに従って、コンソール2各部の動作や、撮影装置1の放射線照射動作及び読み取り動作を集中制御する。また、制御部21は、撮影装置1の放射線検出器Pから送信された単純撮影画像又は動態画像を用いて、後述する合成静止画像生成処理A等を始めとする各種処理を実行し、取得部や生成部、出力制御部として機能する。
【0018】
ここで、合成静止画像生成処理の概要を、
図3及び
図4を用い、以下に説明する。
図3は、合成静止画像生成処理の概要である。合成静止画像生成処理とは、動態画像から形態診断可能な静止画像を生成する処理である。また、合成静止画像とは、フレーム画像を合成し得られる静止画像を指す。
【0019】
まず、制御部21は、動態画像の複数のフレーム画像から、基準フレーム画像を選択する。この基準フレーム画像の選択は、自動選択でも、手動選択でもよい。
自動選択の場合は、例えば、特開2019-212138号の先行技術のように、コンソール2の制御部21で、複数のフレーム画像それぞれを解析して特徴量を算出し、算出した特徴量に基づいて、基準フレーム画像を決定するようにしてもよい。
図3の例では、太枠及び矢印で示したフレーム画像を基準フレーム画像とする。
【0020】
次に、制御部21は、合成処理対象のフレーム画像の位置合わせを行う。
図3では、制御部21は、基準フレーム画像の前後3フレーム画像を合成処理対象のフレーム画像として決定し、基準フレーム画像に対して位置合わせを行った場合の例を示す。
【0021】
最後に、制御部21は、位置合わせを行ったフレーム画像を合成し、合成静止画像生成処理を終了する。ここで、複数のフレーム画像の合成方法には、例えば、空間的に同じ位置にある画素から平均値を取る方法がある。合成静止画像生成処理を行うことで、フレーム画像単体に比べて粒状性改善効果が得られ、単純撮影画像と同等の画像品質となる静止画像を作成することができる。すなわち、動態画像撮影後に追加で単純撮影を行う必要がなくなるため、患者への被ばく線量の低減や、技師のワークフローの改善が期待される。
ここで、画像品質とは、解像度、精細性、粒状性、鮮鋭性の少なくとも1つを含む。また、「画像品質」に影響を与える要因には、例えば、合成対象のフレーム画像の枚数や解像度、及び合成対象のフレーム画像間の位置合わせ精度がある。
【0022】
ここで、位置合わせの精度は、座標変換のアルゴリズム、変換後の画像が後述する目標画像と一致しているかを評価する類似度評価関数、類似度評価において参照される画素ブロックサイズ、画像の解像度レベル等の設定に依存する。このうち、画像の解像度レベルでの例を挙げると、画像を等倍(高解像度)のまま位置合わせを行うか、それとも一旦低解像度に縮小してから位置合わせを行うかで、位置合わせの結果は異なる。前者の場合、元の1画素1画素を参照しながら狭い範囲で位置合わせが行われるため、狭域での位置合わせが優先され、血管などの細かい構造物に対する位置合わせ精度が高くなる。一方、後者の場合、縮小に伴い画素を間引いた上で位置合わせが行われるため、広域での位置合わせが優先され、肋骨や横隔膜など大きな構造物に対する位置合わせ精度が高くなる。一般的に、複数の解像度による位置合わせは、最初に低解像度で大まかな位置合わせを行った後に、高解像度での位置合わせを行うことで、広域と狭域ともに精度の高い位置合わせが達成される。このとき、仮に低解像度画像に対する位置合わせのみが行われた状態で複数のフレーム画像が合成された場合、合成静止画像において、位置合わせができていない血管などの細かい構造物については鮮鋭性が低下している状態となる。
【0023】
図4は、合成静止画像生成処理の内、合成処理対象のフレーム画像の位置合わせの処理の概要である。
図4では、2枚の画像間の位置合わせを例として示す。なお、後述する位置合わせの処理は、複数の解像度による位置合わせが低解像度から高解像度へ順番に行われる形態であり、本実施形態では、2段階で位置合わせする例である。
目標画像とは、位置合わせの目標となる画像である。具体的には、基準フレーム画像である。
対象画像とは、位置合わせにより座標変換が実行される画像である。具体的には、合成処理対象のフレーム画像である。
変形情報とは、位置合わせに用いる情報である。具体的には、座標変換に用いる情報である。
【0024】
まず、制御部21は、対象画像及び目標画像のダウンサンプリングを行う。制御部21は、ダウンサンプリングすることで低解像度化された対象画像及び目標画像を得る。
【0025】
次に、制御部21は、低解像度における対象画像と目標画像との位置合わせを行う。制御部21は、対象画像の座標変換に用いる変形情報(低解像度)を得る。
【0026】
次に、制御部21は、変形情報(低解像度)をアップサンプリングする。制御部21は、変形情報(低解像度)をアップサンプリングした変形情報を得る。変形情報(低解像度)をアップサンプリングすることで、高解像度における対象画像と目標画像との位置合わせにおいて、制御部21は、アップサンプリングされた変形情報を初期変形情報として使用できる。
【0027】
次に、制御部21は、アップサンプリングされた変形情報を初期変形情報として、高解像度における対象画像と目標画像との位置合わせを行い、位置合わせ処理を終了する。制御部21は、変形情報(高解像度)を得る。
【0028】
図4では、2枚の画像間の位置合わせを例として示したが、合成処理対象のフレーム画像が複数の場合、
図4に示す位置合わせ処理が繰り返し実行される。
以上で、合成静止画像生成処理の概要の説明を終わる。
【0029】
記憶部22は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部22は、制御部21で実行される各種プログラムやプログラムにより処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部21は、当該プログラムコードに従った動作を逐次実行する。
【0030】
また、記憶部22は、撮影部位に対応する撮影条件(放射線照射条件及び画像読取条件)を記憶している。更に、記憶部22は、図示しないRIS(Radiology Information System)等から送信される撮影オーダー情報が記憶されている。撮影オーダー情報には、患者情報、検査情報(検査ID、撮影部位(撮影方向も含む)、検査日、静止画撮影又は動画撮影の種別等)等が含まれる。
【0031】
また、記憶部22は、撮影された単純撮影画像や動態画像、及び画像処理により生成された画像を患者情報や検査情報に対応付けて記憶する。
【0032】
操作部23は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された指示信号を制御部21に出力する。また、操作部23は、表示部24の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部21に出力する。更に、操作部23には、放射線発生装置12に動態撮影を指示するための曝射スイッチが備えられている。
【0033】
表示部24は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)等のモニターにより構成され、制御部21から入力される表示信号の指示に従って、操作部23からの入力指示やデータ等を表示し、出力部として機能する。
【0034】
通信部25は、放射線発生装置12及び放射線検出器Pとデータ送受信を行うためのインターフェースを有する。なお、コンソール2と放射線発生装置12及び放射線検出器Pとの通信は、有線通信であっても無線通信であってもよい。
また、通信部25は、LANアダプターやモデムやTA(Terminal Adapter)等を備え、通信ネットワークに接続された図示しないRIS等との間のデータ送受信を制御する。
【0035】
〔画像処理システム100の動作〕
撮影装置1においてホルダー11aに放射線検出器Pがセットされた状態で、コンソール2において操作部23により撮影対象の撮影オーダー情報が選択されると、選択された撮影オーダー情報に応じた撮影条件(放射線照射条件及び放射線画像読取条件)が記憶部22から読み出されて撮影装置1に送信され、撮影装置1に設定される。被写体Hのポジショニングが行われて曝射スイッチが押下されると、撮影装置1において、放射線発生装置12により放射線が照射され、放射線検出器Pにより単純撮影画像又は動態画像を構成する複数のフレーム画像が取得され、コンソール2に送信される。
【0036】
コンソール2においては、制御部21が取得部として機能し、通信部25を介して放射線検出器Pから単純撮影画像又は動態画像を構成する複数のフレーム画像を取得すると、制御部21により、取得した単純撮影画像又は動態画像を構成する複数のフレーム画像が患者情報、検査情報に対応付けて記憶部22に記憶される。また、制御部21は、取得した動態画像に基づいて、合成静止画像生成処理Aを実行する。
【0037】
図5は、合成静止画像生成処理Aの流れを示すフローチャートである。合成静止画像生成処理Aは、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
【0038】
まず、制御部21は、通信部25を介して、複数のフレーム画像を含む動態画像を取得する(ステップS11)。
【0039】
次に、制御部21は、複数のフレーム画像から基準フレーム画像を選択する(ステップS12)。なお、基準フレーム画像の選択は、先述のように、自動選択でも、手動選択でもよい。
【0040】
次に、制御部21は、基準フレーム画像の前後Nフレーム画像を合成処理対象のフレーム画像として決定する(ステップS13)。なお、フレーム数(N)は、合成静止画像生成処理Aの開始前に事前に設定しておいてもよいし、合成静止画像生成処理Aの開始後に設定してもよい。
合成静止画像生成処理Aの開始後に設定する場合、例えば、基準フレーム画像の前後のフレーム画像の動きの大小に応じて設定する方法が挙げられる。具体的には、体動が大きく、基準フレームとの相関が低いフレームが前後に多く存在する場合は、フレーム数(N)を少なくし、逆に、基準フレームとの相関が高いフレームが前後に多く存在する場合は、フレーム数(N)を多めに設定する。
【0041】
次に、制御部21は、低解像度における、基準フレーム画像に対する合成処理対象のフレーム画像全て(前後Nフレーム)の位置合わせを行う(ステップS14)。具体的には、取得したフレーム画像の解像度を落とした低解像度のフレーム画像同士を位置合わせし、座標変換に用いる情報である変形情報aを得る。
なお、低解像度での位置合わせは、位置合わせ処理する画素数が少ないため、高解像度での位置合わせに比べて高速に処理される。
【0042】
次に、低解像度における位置合わせが終了すると、制御部21は、生成部として機能し、ステップS14にて得た変形情報aを用いてフレーム画像(前後Nフレーム)を座標変換し、基準フレーム画像と合成処理対象のフレーム画像(前後Nフレーム)を合成し、プレビュー画像(第2の画像)を生成する(ステップS15)。
【0043】
次に、制御部21は、プレビュー画像を、出力部として機能する表示部24に表示させる(ステップS16)。また、プレビュー画像と併せて、確認項目を表示する。確認項目は、例えば、基準フレームの正誤や、画像のノイズ低減効果である。
なお、プレビュー画像の画像品質は、後述する本画像(第1の画像)の画像品質よりも低い。
また、変形情報aを用いて合成する場合は、プレビュー画像は低解像度になるが、ステップS15にて、変形情報aをアップサンプリングした変形情報bを用いて合成すれば、プレビュー画像の解像度は後述する本画像と同じになる。
また、制御部21によるプレビュー画像の生成に失敗した場合、又は、制御部21により生成されたプレビュー画像の品質が特定の基準を満たさない場合は、制御部21は、表示部24に、警告情報を出力してもよい。これにより、ユーザーは、プレビュー画像に明らかな問題があった場合、即座にその問題を認識できる。
【0044】
次に、ユーザーは、プレビュー画像を確認し、問題があった場合、操作部23を用いて、処理中止要求を制御部21に送る(ステップS17)。そして、制御部21は、後述するステップS18の位置合わせを中止する(ステップS111)。処理が中止された場合、合成静止画像生成処理Aは終了する。
【0045】
また、ステップS15におけるプレビュー画像の生成と並行して、本画像の生成処理(ステップS18、ステップS19)を開始する。まず、制御部21は、高解像度における、基準フレーム画像に対する合成処理対象のフレーム画像の位置合わせを行う(ステップS18)。位置合わせにおいては、ステップS14にて得た変形情報aをアップサンプリングした変形情報bを初期変形情報として用い、新たな変形情報cを得る。
なお、ステップS15にて、アップサンプリングした変形情報bが得られているならば、その変形情報bを初期変形情報として流用できる。
【0046】
次に、高解像度における位置合わせが終了すると、制御部21は、生成部として機能し、ステップS18にて得た変形情報cを用いてフレーム画像(前後Nフレーム)を座標変換し、基準フレーム画像と合成処理対象のフレーム画像(前後Nフレーム)を合成し、本画像(第1の画像)を生成する(ステップS19)。
【0047】
次に、制御部21は、本画像を、出力部として機能する表示部24に表示させ、(ステップS110)、合成静止画像生成処理Aを終了する。
【0048】
合成静止画像生成処理Aにより生成された本画像は、もとの動態画像の患者情報及び検査情報に対応付けて記憶部22に記憶される。
【0049】
このように、低解像度での位置合わせは高解像度での位置合わせに比べて高速に処理されることから、低解像度での位置合わせが完了した時点で一旦プレビュー用の合成静止画像を作成し、コンソール上に先行表示することによって、ユーザーは、基準フレームの正誤、画像のノイズ低減効果を早期に確認できる。
【0050】
<第2の実施形態>
以下、本発明の第2の実施形態について説明する。
第1の実施形態では、制御部21は、合成処理対象のフレーム画像全て(前後Nフレーム)に対して、低解像度において位置合わせ処理を行い、一旦プレビュー画像表示を行い、その後、高解像度において位置合わせ処理を行い、本画像表示を行う。
これに対して、第2の実施形態では、制御部21は、合成処理対象のフレーム画像の内、ある一定の枚数のフレーム画像(前後nフレーム、n<N)に対して、位置合わせ処理を行い、プレビュー画像表示を行い、その後、残りの合成処理対象のフレーム画像(N-n枚)の位置合わせ処理を行い、本画像表示を行う。
【0051】
第2の実施形態において、記憶部22には、後述する合成静止画像生成処理Bを実行するためのプログラムが記憶されている。
【0052】
第2の実施形態におけるその他の構成は、第1の実施形態において
図1~
図2を用いて説明したものと同様であるので説明を省略する。また、第2の実施形態における画像処理システム100の動作は、撮影装置1については第1の実施形態と同様であるので説明を省略し、以下、撮影装置1から取得した動態画像に基づいてコンソール2において実行される合成静止画像生成処理Bについて説明する。
【0053】
図6は、合成静止画像生成処理Bの流れを示すフローチャートである。合成静止画像生成処理Bは、制御部21と記憶部22に記憶されているプログラムとの協働により実行される。
図6において、ステップS21~ステップS23は、
図5のステップS11~ステップS13と同様であるので、説明を省略する。
なお、合成静止画像生成処理Bにおいて、後述する位置合わせは複数の解像度による位置合わせでもよい。
【0054】
制御部21は、基準フレーム画像に対する合成処理対象のフレーム画像の位置合わせを、ある一定の枚数のフレーム画像(前後nフレーム)に対して行う(ステップS24)。具体的には、取得したフレーム画像の内、ある一定の枚数のフレーム画像同士を位置合わせし、座標変換に用いる情報である変形情報dを得る。
なお、ある一定の枚数のフレーム画像(前後nフレーム)に対して行う位置合わせは、全てのフレーム画像(前後Nフレーム)に対して行う位置合わせよりも少ないフレーム画像の枚数(n<N)であるため、高速に処理される。
なお、フレーム数(n)は、合成静止画像生成処理Bの開始前に事前に設定しておいてもよいし、合成静止画像生成処理Bの開始後に設定してもよい。合成静止画像生成処理Bの開始後に設定する場合の例は、先述した合成静止画像生成処理Aの例と同じである。
【0055】
次に、ある一定の枚数のフレーム画像に対する位置合わせが終了すると、制御部21は、生成部として機能し、ステップS24にて得た変形情報dを用いてフレーム画像(前後nフレーム)を座標変換し、基準フレーム画像と合成処理対象のフレーム画像(前後nフレーム)を合成し、プレビュー画像(第2の画像)を生成する(ステップS25)。
【0056】
次に、制御部21は、プレビュー画像を、出力部として機能する表示部24に表示させる(ステップS26)。
【0057】
次に、ユーザーは、プレビュー画像を確認し、問題があった場合、操作部23を用いて、処理中止要求を制御部21に送る(ステップS27)。そして、制御部21は、後述するステップS28の位置合わせを中止する(ステップS211)。処理が中止された場合、合成静止画像生成処理Bは終了する。
【0058】
また、ステップS25におけるプレビュー画像の生成と並行して、本画像の生成処理(ステップS28、ステップS29)を開始する。まず、制御部21は、基準フレーム画像に対する合成処理対象のフレーム画像の位置合わせを、そのある一定の枚数の合成処理対象のフレーム画像以外の残りの合成処理対象のフレーム画像(N-n枚)に対して行う(ステップS28)。位置合わせにおいては、変形情報eを得る。
【0059】
次に、全ての合成処理対象のフレーム画像に対して位置合わせが終了すると、制御部21は、生成部として機能し、ステップS24及びステップS28にて得た変形情報d及び変形情報eを用いて座標変換し、基準フレーム画像と合成処理対象のフレーム画像を合成し、本画像(第1の画像)を生成する(ステップS29)。
【0060】
次に、制御部21は、本画像を、出力部として機能する表示部24に表示させ、(ステップS210)、合成静止画像生成処理Bを終了する。
【0061】
合成静止画像生成処理Bにより生成された合成静止画像は、もとの動態画像の患者情報及び検査情報に対応付けて記憶部22に記憶される。
【0062】
このように、少ない枚数での位置合わせは合成処理対象全ての枚数での位置合わせに比べて高速に処理されることから、少ない枚数での位置合わせが完了した時点で一旦プレビュー用の合成静止画像を作成し、コンソール上に先行表示することによって、ユーザーは、基準フレームの正誤、体動の影響により少数フレーム間での位置合わせが失敗してしまった場合に起こる画質の劣化を早期に確認できる。
なお、体動の影響により少数フレーム間での位置合わせが失敗してしまった場合に起こる画質の劣化を確認できれば、残りのフレーム(N-n枚)を合成したとしても高い画質を担保できる可能性は低いので、プレビュー画像に問題があればその時点で処理を中断し、再処理や再撮影を判断できる。
【0063】
以上説明したように、被写体に対して放射線を照射することにより被写体の動態を撮影する動態撮影で得られた動態画像を処理する画像処理装置(コンソール2)は、動態画像を構成する複数のフレーム画像を取得する取得部(制御部21)と、複数のフレーム画像の中の少なくとも2つ以上のフレーム画像を合成した合成静止画像である第1の画像を生成する生成部(制御部21)と、第1の画像を出力部に出力する出力制御部(制御部21)と、を備え、出力制御部は、第1の画像を生成する前に、複数のフレーム画像の中の少なくとも1つ以上のフレーム画像に基づく静止画像であって、第1の画像よりも画像品質が低い第2の画像を出力することで、ユーザーは、第2の画像を確認することにより、早期に再処理・再撮影の要否を判断することが可能となる。
よって、動態画像を構成する複数のフレーム画像から合成静止画像を生成する際、ユーザーのストレスや、無駄な待機時間を減らすことが可能となる。
【0064】
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
【0065】
例えば、複数の解像度による位置合わせが低解像度から高解像度へ順番に行われる形態において、低解像度と高解像度の2段階より多くてもよい。
この場合の、位置合わせの流れについて説明する。具体例として、2枚のフレーム画像の位置合わせについて説明する。まず、取得したフレーム画像の解像度を落とした低解像度のフレーム画像同士を位置合わせし、座標変換に用いる情報である変形情報aを得る。次に、その変形情報aをアップサンプリングした変形情報bを初期変形情報として用いて、解像度を上げたフレーム画像同士の位置合わせを行い、新たな変形情報cを得る。次に、その変形情報cをアップサンプリングした変形情報dを初期変形情報として用いて、さらに解像度を上げたフレーム画像同士の位置合わせを行い、新たな変形情報eを得る。
つまり、低解像度での位置合わせによる変形情報を開始点(初期変形情報)として、高解像度での位置合わせを行うことを繰り返す。例えば、解像度を、1/8倍→1/4倍→1/2倍→等倍というように徐々に上げ、位置合わせを行う。
また、複数の解像度による位置合わせが低解像度から高解像度へ順番に行われる形態であった場合、各解像度での位置合わせが終了した時点で合成静止画像を生成し、その合成静止画像を、第2の画像に順次反映させてもよい。この場合、ユーザーは、各解像度における合成画像を確認できる。
また、プレビュー表示のタイミングは設定可能である。例えば、解像度が1/4倍における位置合わせが完了したタイミングでプレビュー表示を行う。
また、プレビュー画像を複数回表示してもよい。例えば、解像度が1/8倍及び1/2倍における位置合わせが完了したタイミングでプレビュー表示を行う。
また、徐々に上げる解像度の各々の倍率や段階は設定可能である。
【0066】
また、表示部24にプレビュー画像や本画像を表示している際は、プレビュー画像や本画像を表示していることを示すアイコンやコメントを表示部24に表示するようにしてもよい。
【0067】
また、ステップS15やステップS25と並行して実行されるステップS18やステップS19、ステップS28やステップS29、が実行されている際は、進行度合いを表示部24に表示するようにしてもよい。例えば、50%完了とコメント表示することや、横軸を用い、最大値を100%とし、進行度合いをその軸上で示すこと等が挙げられる。
【0068】
また、表示部24にプレビュー画像を表示している際は、画像調整や画像処理(階調処理)などは操作できないようにしてもよい。なお、画像調整や画像処理(階調処理)などは、表示部24に本画像を表示している際に、操作可能である。
【0069】
また、第1の実施形態のステップS16や第2実施形態のステップS26において、プレビュー画像として、基準フレーム画像を表示させるとしてもよい。この場合、フローは、ステップS12やステップS22の直後に分岐し、本画像の生成処理(ステップS13-14及びステップS18-19、ステップS23-24及びステップS28-29)と、プレビュー画像の生成処理(ステップS15-17、ステップS25-27)が並行して実行される。これにより、ユーザーは、より早くプレビュー画像としての基準フレーム画像を確認でき、基準フレームの正誤を早期に確認できる。
【0070】
なお、本画像については、基準フレーム画像と当該基準フレーム画像以外の少なくとも1つのフレーム画像に基づいて生成、表示される。
【0071】
また、プレビュー画像の生成の際は、本画像の生成に用いたフレーム画像の内少なくとも1つのフレーム画像を用いていればよい。
【0072】
また、プレビュー画像を生成する構成は、画像処理装置(コンソール2)の生成部(制御部21)に限られない。例えば、画像処理装置(コンソール2)以外の処理装置やサーバー等が挙げられる。
【0073】
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
【0074】
その他、画像処理システムを構成する各装置の細部構成及び細部動作に関しても、本発
明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【0075】
100 画像処理システム
1 撮影装置
11 撮影台
11a ホルダー
12 放射線発生装置
P 放射線検出器
2 コンソール(画像処理装置)
21 制御部(取得部、生成部、出力制御部)
22 記憶部
23 操作部
24 表示部(出力部)
25 通信部
26 バス