(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-30
(54)【発明の名称】放射線撮影により獲得された映像に含まれているノイズを低減するための映像処理方法および装置
(51)【国際特許分類】
A61B 6/00 20240101AFI20250123BHJP
【FI】
A61B6/00 550P
A61B6/00 550S
A61B6/00 530A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024504884
(86)(22)【出願日】2023-09-19
(85)【翻訳文提出日】2024-01-25
(86)【国際出願番号】 KR2023014198
(87)【国際公開番号】W WO2024143776
(87)【国際公開日】2024-07-04
(31)【優先権主張番号】10-2022-0184659
(32)【優先日】2022-12-26
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
(71)【出願人】
【識別番号】515075038
【氏名又は名称】ディアールテック コーポレーション
(74)【代理人】
【識別番号】100121821
【氏名又は名称】山田 強
(72)【発明者】
【氏名】シン チョル ウ
(72)【発明者】
【氏名】パク ジュン ギュ
(72)【発明者】
【氏名】ユ ヨン ギ
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA01
4C093CA06
4C093EC04
4C093EC16
4C093FD03
4C093FD09
4C093FF03
4C093FF18
4C093FF24
4C093FF34
4C093FF36
(57)【要約】
放射線撮影により得られる映像に対してリカーシブ方式でノイズ低減処理を行う映像処理装置は、前記放射線撮影により得られたフレーム別映像の入力を受ける映像入力ユニットと、現フレーム映像と前フレーム映像との差分により得られた差分マップの各ピクセルに対するモーション感知情報を含むモーションマップを生成するモーションマップ生成ユニットと、前記生成されたモーションマップと前フレームまで累積したモーションマップに基づいて累積モーションマップを生成する累積モーションマップ生成ユニットと、前記累積モーションマップの各ピクセルに対して前記各ピクセルのモーション確率を示す統計値を割り当てて形成される統計値マップを生成する統計値マップ生成ユニットと、前記累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合して前記現フレームの出力映像を生成する出力映像生成ユニットと、を含む。
【特許請求の範囲】
【請求項1】
放射線撮影により得られる映像に対してリカーシブ方式でノイズ低減処理を行う映像処理装置において、
前記放射線撮影により得られたフレーム別映像の入力を受ける映像入力ユニットと、
現フレーム映像と前フレーム映像との差分により得られた差分マップの各ピクセルに対するモーション感知情報を含むモーションマップを生成するモーションマップ生成ユニットと、
前記生成されたモーションマップと前フレームまで累積したモーションマップに基づいて累積モーションマップを生成する累積モーションマップ生成ユニットと、
前記累積モーションマップの各ピクセルに対して前記各ピクセルのモーション確率を示す統計値を割り当てて形成される統計値マップを生成する統計値マップ生成ユニットと、
前記累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合して前記現フレームの出力映像を生成する出力映像生成ユニットと、を含む映像処理装置。
【請求項2】
前記モーションマップ生成ユニットは、前記統計値マップを活用して前記モーションマップを生成するように構成される、請求項1に記載の映像処理装置。
【請求項3】
前記モーションマップ生成ユニットは、
前記現フレーム映像と前記前フレーム映像との差分により前記差分マップを生成する差分マップ生成ユニットと、
前記差分マップの各ピクセルのピクセル値に対する閾値処理を通じて前記各ピクセルの前記モーション感知情報を含む前記モーションマップを生成する閾値処理ユニットと、を含む、請求項1に記載の映像処理装置。
【請求項4】
前記閾値処理ユニットは、前記統計値マップの統計値の大きさにより大きさが変わる適応的閾値を通じて前記差分マップの閾値処理を行うように構成される、請求項3に記載の映像処理装置。
【請求項5】
前記閾値処理ユニットは、前記統計値マップの対応するピクセルの前記統計値が示すモーション確率が大きいほど前記閾値処理のための前記各ピクセルの閾値を低く設定するように構成される、請求項3に記載の映像処理装置。
【請求項6】
前記統計値マップ生成ユニットは、前記累積モーションマップの各ピクセルを含む複数のピクセルを含むピクセルマスクの単位で前記統計値を算出して前記各ピクセルの統計値として割り当てて前記統計値マップを生成するように構成される、請求項1に記載の映像処理装置。
【請求項7】
前記統計値は、前記ピクセルマスクの複数のピクセルのピクセル値のエントロピー、分散または標準偏差である、請求項6に記載の映像処理装置。
【請求項8】
前記出力映像生成ユニットは、前記統計値マップを利用して更新された累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合する比率を決定するように構成される、請求項1に記載の映像処理装置。
【請求項9】
前記累積モーションマップ生成ユニットは、前記統計値マップに対して閾値処理を行い、前記閾値処理された統計値マップを利用して前記累積モーションマップのピクセルのピクセル値を選択的に増減して前記累積モーションマップを更新するように構成される、請求項8に記載の映像処理装置。
【請求項10】
前記差分マップは、前記現フレーム映像と前フレームのうちの一つ以上の映像を利用して得られる、請求項1に記載の映像処理装置。
【請求項11】
前記前フレーム映像は、前記前フレームの出力映像である、請求項1に記載の映像処理装置。
【請求項12】
前記累積モーションマップ生成ユニットは、前記統計値マップを利用して前記累積モーションマップを更新するように構成される、請求項1に記載の映像処理装置。
【請求項13】
前記出力映像生成ユニットは、前記更新された累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合する比率を決定するように構成される、請求項12に記載の映像処理装置。
【請求項14】
放射線撮影により得られる映像に対してリカーシブ方式でノイズ低減処理を行う映像処理方法において、
前記放射線撮影により得られたフレーム別映像の入力を受ける段階と、
現フレーム映像と前フレーム映像との差分により得られた差分マップの各ピクセルに対するモーション感知情報を含むモーションマップを生成する段階と、
前記生成されたモーションマップと前フレームまで累積したモーションマップに基づいて累積モーションマップを生成する段階と、
前記累積モーションマップの各ピクセルに対して前記各ピクセルを含む複数のピクセルのモーション確率を示す統計値を割り当てて形成される統計値マップを生成する段階と、
前記累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合して前記現フレームの出力映像を生成する段階と、を含む映像処理方法。
【請求項15】
前記モーションマップを生成する段階で前記モーションマップは、前記統計値マップを活用して生成される、請求項14に記載の映像処理方法。
【請求項16】
前記モーションマップ生成段階で、前記差分マップの各ピクセルのピクセル値に対する閾値処理を通じて前記各ピクセルの前記モーション感知情報を含む前記モーションマップが生成され、前記閾値処理は前記統計値マップの統計値の大きさにより大きさが変わる適応的閾値を通じて行われるように構成される、請求項14に記載の映像処理方法。
【請求項17】
前記モーションマップ生成段階で、前記差分マップの各ピクセルのピクセル値に対する閾値処理を通じて前記各ピクセルの前記モーション感知情報を含む前記モーションマップが生成され、前記閾値処理のための前記各ピクセルの閾値は前記統計値マップの対応するピクセルの前記統計値が示すモーション確率が大きいほど低く設定される、請求項14に記載の映像処理方法。
【請求項18】
前記統計値マップ生成段階で前記統計値マップは、前記累積モーションマップの各ピクセルを含む複数のピクセルを含むピクセルマスクの単位で前記統計値を算出して前記各ピクセルの統計値として割り当てて生成される、請求項14に記載の映像処理方法。
【請求項19】
前記統計値は、前記ピクセルマスクの複数のピクセルのピクセル値のエントロピー、分散または標準偏差である、請求項14に記載の映像処理方法。
【請求項20】
前記出力映像を生成する段階は、
前記統計値マップを利用して前記累積モーションマップを更新する段階と、
前記更新された累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合する比率を決定する段階と、を含む、請求項14に記載の映像処理方法。
【請求項21】
前記累積モーションマップを更新する段階で、前記統計値マップに対して閾値処理を行い、前記閾値処理された統計値マップを利用して前記累積モーションマップのピクセルのピクセル値を選択的に増減して前記累積モーションマップを更新するように構成される、請求項20に記載の映像処理方法。
【請求項22】
前記差分マップは、前記現フレーム映像と前フレームのうちの一つ以上の映像を利用して得られる、請求項14に記載の映像処理方法。
【請求項23】
前記差分マップは、前記現フレーム映像と前フレームの出力映像との差分により得られる、請求項14に記載の映像処理方法。
【請求項24】
前記統計値マップを利用して前記累積モーションマップを更新する段階をさらに含む、請求項14に記載の映像処理方法。
【請求項25】
前記出力映像を生成する段階で、前記現フレーム映像と前記前フレームの出力映像とを混合する比率は、前記更新された累積モーションマップに基づいて決定される、請求項24に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放射線撮影により獲得された映像に含まれているノイズを低減するための映像処理方法および装置に関する。
【背景技術】
【0002】
X線のような放射線を利用する放射線撮影装置に撮影された映像に基づいて多様な医学的診断と治療が行われている。一般にX線を用いて獲得した医療映像には、被写体、つまり、人体の解剖学的情報だけでなく、撮影環境と機器性能などにより発生するノイズも含まれている。このようなノイズは、当該映像を劣化させて患者に対する解剖学的読取能力を低下させる原因になる。映像の劣化程度は多様な要因により決定され、例えばセンサー自体のノイズによる映像の劣化、そしてX線量により発生するノイズによる映像の劣化がある。
【0003】
一方、X線映像の撮影時に発生する放射線に長時間露出されると放射線被爆による副作用が発生することがある。このような理由で放射線露出を最小化するために低線量のX線を照射してX線映像を撮影することが要求されている。しかし、低線量のX線を照射して撮影する場合、入射されるX線の光子密度が小さくなるにつれて光子モトル(quantum mottle)の濃度が顕著に大きくなって映像の品質が低下するという問題がある。
【0004】
このような理由により、低線量のX線を利用しながらも、獲得された映像のノイズを効果的に除去するための多様な方案が紹介されている。一例として、大韓民国登録特許第10-1432864号では、現フレームの映像と前フレームの映像との差分により得られる差分マックに対して閾値処理と縮小処理を通じてノイズ成分映像を獲得し、これを現フレームの映像と加算して現フレームの出力映像を生成し、ノイズが低減された出力映像をメモリに保存することによりリカーシブフィルタリングを通じたノイズ低減技術が紹介されている。
【0005】
しかし、リカーシブフィルタリング方式を利用したノイズ低減技術は、ライン(line)ノイズを除去し、モーションがない固定された被写体に適用するには非常に効果的であるが、被写体のモーションが大きいほどノイズ低減性能が落ちる問題を有し、特に被写体のモーションを誤って判別する場合、モーションブラー(motion blur)が発生する映像の品質を落とす問題を有する。したがって、リカーシブフィルタリング方式において現フレームと前フレームとの差分マップで被写体のモーションとノイズを判別するための閾値設定は非常に重要である。前記大韓民国登録特許第10-1432864号では、差分マップの各ピクセルの絶対値がノイズの標準偏差よりも大きい値で予め設定された閾値を超えれば被写体のモーションがあると判定し、そうでなければ被写体のモーションがないと判定する。しかし、X線映像の特性上、撮影時に線量条件、被写体の密度、被写体のモーションの程度によりノイズの強度と偏差が大きく変わるため、閾値の範囲も大きくなり、適切な閾値を設定することに困難がある。また被写体のモーションがある場合、リカーシブフィルタリングの効果が抑制されてノイズ低減効果も落ちる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】韓国登録特許第10-1432864号公報
【特許文献2】特許第6744440号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、差分マップでモーション比較結果に基づいてノイズ低減処理が行われた映像を時間順で累積させた累積モーションマップを利用してノイズを効果的に低減することができる方案を提供することにある。
【課題を解決するための手段】
【0008】
本発明の実施形態に係る映像処理装置は、放射線撮影により得られる映像に対してリカーシブ方式でノイズ低減処理を行う。映像処理装置は、前記放射線撮影により得られたフレーム別映像の入力を受ける映像入力ユニットと、現フレーム映像と前フレーム映像との差分により得られた差分マップの各ピクセルに対するモーション感知情報を含むモーションマップを生成するモーションマップ生成ユニットと、前記生成されたモーションマップと前フレームまで累積したモーションマップに基づいて累積モーションマップを生成する累積モーションマップ生成ユニットと、前記累積モーションマップの各ピクセルに対して前記各ピクセルのモーション確率を示す統計値を割り当てて形成される統計値マップを生成する統計値マップ生成ユニットと、前記累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合して前記現フレームの出力映像を生成する出力映像生成ユニットと、を含む。
【0009】
前記モーションマップ生成ユニットは、前記統計値マップを活用して前記モーションマップを生成するように構成され得る。
【0010】
前記モーションマップ生成ユニットは、前記現フレーム映像と前記前フレーム映像との差分により前記差分マップを生成する差分マップ生成ユニットと、前記差分マップの各ピクセルのピクセル値に対する閾値処理を通じて前記各ピクセルの前記モーション感知情報を含む前記モーションマップを生成する閾値処理ユニットと、を含むことができる。
【0011】
前記閾値処理ユニットは、前記統計値マップの統計値の大きさにより大きさが変わる適応的閾値を通じて前記差分マップの閾値処理を行うように構成され得る。
【0012】
前記閾値処理ユニットは、前記統計値マップの対応するピクセルの前記統計値が示すモーション確率が大きいほど前記閾値処理のための前記各ピクセルの閾値を低く設定するように構成され得る。
【0013】
前記統計値マップ生成ユニットは、前記累積モーションマップの各ピクセルを含む複数のピクセルを含むピクセルマスクの単位で前記統計値を算出して前記各ピクセルの統計値として割り当てて前記統計値マップを生成するように構成され得る。
【0014】
前記統計値は、前記ピクセルマスクの複数のピクセルのピクセル値のエントロピー、分散または標準偏差であり得る。
【0015】
前記出力映像生成ユニットは、前記統計値マップを利用して更新された累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合する比率を決定するように構成され得る。
【0016】
前記累積モーションマップ生成ユニットは、前記統計値マップに対して閾値処理を行い、前記閾値処理された統計値マップを利用して前記累積モーションマップのピクセルのピクセル値を選択的に増減して前記累積モーションマップを更新するように構成され得る。
【0017】
前記差分マップは、前記現フレーム映像と前フレームのうちの一つ以上の映像を利用して得られ得る。
【0018】
前記前フレーム映像は、前記前フレームの出力映像であり得る。
【0019】
一方、前記累積モーションマップ生成ユニットは、前記統計値マップを利用して前記累積モーションマップを更新するように構成され得る。
【0020】
本発明の実施形態によると、前記出力映像生成ユニットは、前記統計値マップを利用して更新された累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合する比率を決定するように構成され得る。
【0021】
放射線撮影により得られる映像に対してリカーシブ方式でノイズ低減処理を行う本発明の実施形態に係る映像処理装置は、前記放射線撮影により得られたフレーム別映像の入力を受ける段階と、現フレーム映像と前フレーム映像との差分により得られた差分マップの各ピクセルに対するモーション感知情報を含むモーションマップを生成する段階と、前記生成されたモーションマップと前フレームまで累積したモーションマップに基づいて累積モーションマップを生成する段階と、前記累積モーションマップの各ピクセルに対して前記各ピクセルを含む複数のピクセルのモーション確率を示す統計値を割り当てて形成される統計値マップを生成する段階と、前記累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合して前記現フレームの出力映像を生成する段階と、を含む。
【0022】
前記モーションマップを生成する段階で前記モーションマップは、前記統計値マップを活用して生成され得る。
【0023】
前記モーションマップ生成段階で、前記差分マップの各ピクセルのピクセル値に対する閾値処理を通じて前記各ピクセルの前記モーション感知情報を含む前記モーションマップが生成され得、前記閾値処理は前記統計値マップの統計値の大きさにより大きさが変わる適応的閾値を通じて行われるように構成され得る。
【0024】
前記モーションマップ生成段階で、前記差分マップの各ピクセルのピクセル値に対する閾値処理を通じて前記各ピクセルの前記モーション感知情報を含む前記モーションマップが生成され得、前記閾値処理のための前記各ピクセルの閾値は前記統計値マップの対応するピクセルの前記統計値が示すモーション確率が大きいほど低く設定され得る。
【0025】
前記統計値マップ生成段階で前記統計値マップは、前記累積モーションマップの各ピクセルを含む複数のピクセルを含むピクセルマスクの単位で前記統計値を算出して前記各ピクセルの統計値として割り当てて生成され得る。
【0026】
前記統計値は、前記ピクセルマスクの複数のピクセルのピクセル値のエントロピー、分散または標準偏差であり得る。
【0027】
前記出力映像を生成する段階は、前記統計値マップを利用して前記累積モーションマップを更新する段階と、前記更新された累積モーションマップに基づいて前記現フレーム映像と前記前フレームの出力映像とを混合する比率を決定する段階と、を含むことができる。
【0028】
前記累積モーションマップを更新する段階で、前記統計値マップに対して閾値処理を行い、前記閾値処理された統計値マップを利用して前記累積モーションマップのピクセルのピクセル値を選択的に増減して前記累積モーションマップを更新するように構成され得る。
【0029】
前記差分マップは、前記現フレーム映像と前フレームの出力映像との差分により得られ得る。
【0030】
一方、本発明の他の実施形態に係る映像処理方法は、前記統計値マップを利用して前記累積モーションマップを更新する段階をさらに含むことができる。
【0031】
本発明の実施形態によると、前記出力映像を生成する段階で、前記現フレーム映像と前記前フレームの出力映像とを混合する比率は、前記更新された累積モーションマップに基づいて決定され得る。
【発明の効果】
【0032】
本発明によると、累積モーションマップを通じてノイズが低減された映像を生成することができる。
【図面の簡単な説明】
【0033】
【
図1】本発明の実施形態に係る映像処理装置が適用されたCアーム形態の放射線撮影装置の一例を概略的に示す図面である。
【
図2】本発明の実施形態に係る映像処理装置のブロック図である。
【
図3】本発明の実施形態に係る映像処理方法のフローチャートである。
【
図4】停止状態である被写体の同一の入力映像(前フレームと現フレーム)に対して原信号の差分マップのピクセル値の分布とアンスコム変換後に得られた差分マップのピクセル値の分布を比較して示すグラフである。
【
図5】本発明の実施形態に係る映像処理方法のアルゴリズムを概略的に示す図面である。
【
図6】前フレーム映像と現フレーム映像でハンドファントムを右側から左側に動いた時に出力されるモーションマップの例を示す。
【
図7】モーションマップを利用して累積モーションマップを生成する方法を示す図面である。
【
図8】フレームの進行により入力映像に応じたモーションマップおよび累積モーションマップの生成を示す図面である。
【
図9】停止状態の骨盤ファントムの上を棒状の薄い鉛が通過する状況で得られたモーションマップと出力映像の例を示す。
【
図10】
図9と同一の条件でモーション感知のための閾値を高めた場合と低めた場合のモーションマップの例を示す。
【
図11】累積モーションマップでピクセルのマスキング演算でエントロピーを計算して生成したエントロピーマップの例を示す。
【
図12】本発明の他の実施形態に係るモーションマップの生成方法を示す図面である。
【
図13】本発明の他の実施形態に係る映像処理方法のアルゴリズムを概略的に示す図面である。
【
図14】
図13の映像処理方法で閾値処理されたエントロピーマップを利用して累積モーションマップを更新する過程を示す図面である。
【発明を実施するための形態】
【0034】
以下、添付した図面を参照して本発明の実施形態について本発明が属する技術分野における通常の知識を有する者が容易に実施することができるように詳細に説明する。しかし、本発明は、多様な異なる形態に実現することができ、説明された実施形態に限定されない。
【0035】
図1には本発明の実施形態に係るノイズ低減機能を有する映像処理装置が適用されたCアーム形態の放射線撮影装置の一例が示されている。本発明の実施形態に係る映像処理装置は、
図1に例示されたような映像撮影装置の一部に適用されることもでき、映像撮影装置と別途の装置で構成されて映像処理機能を行うこともできる。
【0036】
本発明の実施形態に係る映像処理装置が適用される映像撮影装置は、例えば
図1に示されたようなCアーム形態で構成されて動画を獲得することができる撮影装置で構成され得、例えばX線のような放射線を利用して撮影対象である被写体Sの関心領域を撮影することができるように構成され得る。
【0037】
図1を参照すると、放射線撮影装置は、放射線、例えばX線を出力する放射線照射部110と、被写体Sを透過した放射線を検出して映像データを獲得する映像獲得部120を備えることができ、放射線照射部110と映像獲得部120はCアーム210の両側端部に支持され得る。例えば、放射線撮影装置は、モバイル形態のCアームX線イメージング装置、介入的X線装置(interventional X-ray device)、介入的血管造影CアームX線装置(interventional angiography C-arm X-ray device)などに適用され得る。
【0038】
支持構造200は、放射線照射部110と映像獲得部120を支持し、被照射体Sのイメージング位置および角度などの変更のために放射線照射部110と映像獲得部120の空間上位置および回転位置の変更が可能なように構成される。例えば、支持構造200は、支持ボディー240、上下方向D1に移動可能に支持ボディー240に締結されるリフトカラム230、そしてリフトカラム230と共に上下方向に移動可能であるとともに、リフトカラム230に対して水平方向D2に相対移動可能にリフトカラム230に締結される前後進アーム220を含むことができる。
【0039】
Cアーム210が前後進アーム220に対して少なくとも一つの回転方向において相対回転可能に前後進アーム220に締結され、放射線照射部110と映像獲得部120がCアーム210の両側端部にそれぞれ締結される。この時、Cアーム210は、前後進アーム220と共に上下方向の昇降移動および水平方向の前後進移動が可能であるとともに、前後進アーム220に対して少なくとも一つの回転方向、例えばオービタル回転方向R1および前後進アーム220の水平移動方向と平行な方向を中心とする軸回転方向R2のうちの少なくとも一つの回転方向において相対回転可能に前後進アーム220に締結され得る。図面に示されていないが、支持構造200はリフトカラム230の上下方向移動、前後進アーム220の水平方向移動、およびCアーム210の回転のためのモータのようなアクチュエーターを含むことができる。放射線照射部110と映像獲得部120を支持する支持メンバーであるCアーム210を支持し駆動するための要素、つまり、前後進アーム220、リフトカラム230、およびこれらに備えられるアクチュエーターは、Cアーム210を駆動するための駆動要素であるといえ、これらの組み合わせはCアーム210を駆動するための駆動部であるといえる。また前後進アーム220の横方向回転を通じてCアーム210のパニング回転(panning rotation)が可能なように構成されることもできる。支持メンバーの形態はC字形状に限定されず、本発明の他の実施形態ではC字形状の代わりにU字形状、G字形状などのアームが支持メンバーとして使用されることもできる。
【0040】
表示部140は、リアルタイム位置情報、映像データ、基準位置情報、放射線出力情報のうちの少なくとも一つ以上を表示することができるように構成される。表示部140は、情報および映像表示が可能な任意の装置であり得、例えばプリンタ、CRTディスプレイ、LCDディスプレイ、PDPディスプレイ、OLEDディスプレイ、FEDディスプレイ、LEDディスプレイ、DLPディスプレイ、PFDディスプレイ、3Dディスプレイ、透明ディスプレイなどであり得る。また表示部140は、使用者から入力を受けることができるタッチスクリーンのような情報表示および入力が可能な形態で具現されることもできる。
【0041】
本発明の実施形態に係る映像処理装置10は、情報処理および演算が可能な一つまたは複数のコンピュータのような情報処理装置の形態で具現され得る。例えばコンピュータは、CPUのような制御手段、ROM(read only memory)またはRAM(random access memory)のような記憶手段、GPU(graphics processing unit)のようなグラフィック制御手段を含むことができる。コンピュータはまた、ネットワークカードのような通信手段、キーボード、ディスプレイまたはタッチスクリーンのような入出力手段を含むことができる。このようなコンピュータの構成要素は、周知されている通りバスを通じて接続され得、記憶手段に保存されたプログラムの実行により作動し制御され得る。
【0042】
情報処理が可能なコンピュータの形態で具現され得る映像処理装置10は、
図1に示された放射線映像撮影装置に設置されて映像処理機能を行うように構成され得、この場合、放射線映像撮影装置の一部として撮影された映像を受信して処理し、処理された映像が放射線撮影装置の映像表示手段に表示されるように構成され得る。
【0043】
一方、
図2を参照すると、本発明の実施形態に係る映像処理装置10は、ノイズ低減処理のための複数の機能的構成、つまり、映像入力ユニット11、差分ユニット14、閾値処理ユニット15、累積モーションマップ生成ユニット16、そして出力映像生成ユニット17を含む。この時、差分ユニット14と閾値処理ユニット15の連続的作用によりモーションマップが生成され、このような意味で差分ユニット14と閾値処理ユニット15をモーションマップ生成ユニットとみることができる。
【0044】
図3を参照すると、映像処理装置10により行われ得る本発明の一実施形態に係る映像処理方法は、映像獲得段階(S31)、差分マップ生成段階(S34)、モーションマップ生成段階(S35)、累積モーションマップ生成段階(S36)、統計値マップ(例えばエントロピーマップ)生成段階(S38)、そして映像出力段階(S37)を含むことができる。映像処理方法は、リカーシブ方式を通じてノイズが低減された出力映像を生成する。この点において、この方法は無限リカーシブ深度とも呼ばれます。
【0045】
映像入力ユニット11は、入力映像を外部から入力を受ける。例えば、映像入力ユニット11は、前述した映像獲得部120により獲得された動画の各フレームを時間により順次に入力を受けることができる。被写体を含む領域の複数のピクセルからなる映像が放射線検出パネルである映像獲得部120により時間により放射線動画シークエンスで獲得され、獲得された放射線動画シークエンスが時間順で映像入力ユニット11に入力され得る。
【0046】
入力映像は、複数のフレームからなる動画の1フレームであり得る。また入力映像は、複数の行(n行)と複数の列(m列)からなる複数のピクセルを有する2次元映像であり得、撮影された被写体と共にノイズを含むことができる。例えば、入力映像に含まれているノイズは予め決定された方向、例えば水平方向および/または垂直方向のラインノイズ(line noise)およびランダムノイズ(random noise)を含むことができる。
【0047】
差分ユニット14による差分マップ生成および閾値処理ユニット15による差分マップの閾値処理を通じてモーションマップが生成される。これにより
図5に示されているようにノイズ処理された現フレーム映像と前フレーム映像、例えば前フレームの出力映像からモーションマップが生成され得る。ここでモーションマップは、現フレーム映像から前フレーム映像を差し引いて得られたデータから得られ、各ピクセルのモーションの有無に対する情報を含み、例えばモーションがあるピクセルは「0」の値を有し、モーションがないピクセルは「1」の値を有するように設定され得る。つまり、モーションマップの全てのピクセルは、0または1のピクセル値を有し、0の値を有するピクセルは前フレーム映像を基準としてモーションがあることを意味し、1の値を有するピクセルは前フレーム映像を基準としてモーションがないことを意味し得る。モーションの有無の判断は、閾値処理に基づいて行われ得、本発明の実施形態ではモーション判断のための閾値処理時に統計値マップ、例えばエントロピーマップを利用する。
【0048】
差分ユニット14は、現フレーム映像と前フレーム映像、例えば前フレームの出力映像を差分して差分マップを生成する。この時、現フレーム映像と前フレームの出力映像に対してノイズ処理、例えばノイズ低減およびノイズ安定化処理を行った後に差分が行われるようにすることもできる。前フレームの出力映像を現フレームでの差分マップの生成に利用することにより、いわゆるリカーシブフィルタリング構造のノイズ低減処理が行われ得る。差分ユニット14は、現フレーム映像と前フレーム映像間の全てのピクセルに対して同一位置の各ピクセルのピクセル値差を算出して差分マップを生成することができる。つまり、差分マップは、フレーム映像と同じ数のピクセルを含み、差分マップの各ピクセルの値は、現フレーム映像と前フレーム映像の当該ピクセルの差異値に該当する。ここで、前フレーム映像は、現フレームの直前のフレームの映像だけでなく、それ以前のフレームの映像を含む概念であることを理解しなければならない。この時、差分マップは、現フレームの映像、例えば入力映像と、前フレームのうちの一つ以上のフレームの映像、例えば出力映像との差分により得られ得る。例えば、差分マップは、現フレームの入力映像から前フレームのうちのいずれか一つの出力映像を差分して生成されることもでき、現フレームの入力映像から前フレームのうちの複数のフレームの出力映像の混合により得られた混合映像を差分して生成されることもできる。
【0049】
差分マップは、被写体のモーション情報、そして残留するノイズ情報を含むことができる。追加的に、生成された差分マップに平均値フィルターまたは中間値フィルターなどを利用して差分マップを安定化することもできる。
【0050】
閾値処理ユニット15は、差分マップのモーション感知のための閾値を決定し、決定された閾値に基づいて閾値処理を行うことにより各ピクセルのモーションの有無を感知し、それに基づいてモーションマップを生成することができる。つまり、閾値処理ユニット15は、閾値処理を通じて差分マップの各ピクセルのモーションの有無を判別し、それに基づいて各ピクセルのモーションの有無を示す情報からなるモーションマップを生成する。モーション感知のための閾値が過度に低く設定される場合、モーション感知敏感度が高くなってノイズ低減水準が落ち、反対に閾値が過度に高く設定される場合、モーション感知敏感度が低くなってモーションブラー(引き現象)が現れ得る。X線映像は、互いに異なる線量条件と被写体特性下で獲得されるため、獲得映像のピクセル値を予測し難く、ピクセル値により適切な閾値を設定することが必要である。
【0051】
モーション感知のための閾値は、統計的方法、実験的方法、算術的方法など多様な方法で決定され得る。
図4は停止状態である被写体の同一の入力映像(前フレームと現フレーム)に対して原信号の差分マップのピクセル値の分布とアンスコム変換後に得られた差分マップのピクセル値の分布とを比較して示す。
図4の(a)は原信号から得られた差分マップのピクセル値分布を示すグラフであり、
図4の(b)は原信号のアンスコム変換後に得られた差分マップのピクセル値分布を示すグラフである。
図4のグラフで横軸(x軸)はピクセル値(強度)を示し、縦軸(y軸)は前フレーム映像と現フレーム映像の同一位置のピクセルのピクセル値差を示す。停止状態の被写体であるため、任意のx値が有するy軸方向データ分布がノイズであるとすることができ、y軸方向データ分布がノイズ値以上である場合、モーションが発生したピクセルと推定することができる。
【0052】
例えば原信号の差分マップの分布でピクセル値が500である場合、モーション判断のための閾値は100程度が適当であり、ピクセル値が2200である場合、閾値は170程度が適当である。このようにピクセル値によりモーション判断のための適切な閾値が大きい差が発生するため、閾値の決定に困難がある。これに反し、
図4の(b)のようにアンスコム変換された信号の差分マップの分布では、ピクセル値が500である場合、閾値は5程度が適当であり、ピクセル値が2200である場合、閾値は4程度が適当である。このようにアンスコム変換された信号を差分して差分マップを生成するとピクセル値に応じた適切な閾値の差が非常に小さくなって閾値の決定が非常に容易になる。この時、例えば、閾値は、特定のピクセル値に対してピクセル値差の分布のほぼ上位70ないし80%範囲に属する値で設定され得る。
【0053】
なお、アンスコム変換された信号から差分データを算出しても全てのピクセル値により同一の閾値を適用するには若干の偏差が依然として存在する。この点を勘案して適応的閾値処理(adaptive thresholding)を通じて全体ピクセル値に対するノイズ偏差をより公平に補正することができる。ピクセル値により差分値が非線形的に変わる理由はアンスコム変換の数学的特性のためである。
【0054】
閾値処理ユニット15は、差分ユニット14により生成された差分マップに対してモーション感知のための閾値処理を行ってモーションマップを生成する。閾値処理ユニット15は、後述する統計値マップ(例えば、エントロピーマップ)生成ユニット18により生成された統計値マップ、例えばエントロピーマップにより適応的閾値を適用して差分マップからモーションマップを生成する。適応的閾値を利用してモーション感知の有無を判定し、それに基づいてモーションマップを生成する方法については後述する。
【0055】
閾値処理ユニット15は、差分マップの各ピクセルに対してピクセル値が予め定められた閾値以上であればモーションがあるピクセルであると判断して当該ピクセルにモーションを示す判定値、例えば「0」を割り当て、これとは異なり、ピクセル値が閾値より小さければモーションがないピクセルであると判断して当該ピクセルにモーションがないことを示す判定値、例えば「1」を割り当てることができる。閾値処理ユニット15は、差分マップの全てのピクセルに対して閾値を利用したこのようなモーション判断を行い、その結果に応じた判定値を当該ピクセルに割り当ててモーションマップを生成する。閾値処理ユニット15は、このような方式で差分マップと適応的閾値を示す閾値基準曲線を利用してモーションマップを生成する。そのためにモーションマップは、入力されたフレーム映像と同一ピクセルを有し、各ピクセル別にモーションの有無を示す値を有する。
【0056】
一方、本発明の他の実施形態では、ピクセル単位で閾値処理が行われるのではなく、複数の隣接したピクセルを含むマスク単位で閾値処理が行われることもできる。例えば、中心ピクセルを囲む3*3、9個のピクセルを含むマスクを設定し、当該マスク内のピクセルの平均値または中間値と閾値を比較して当該中心ピクセルのモーションの有無を判断することができる。このような方法でマスクを移りながらマスク単位でモーション判断が行われ得、それに基づいてモーションマップが生成され得る。マスク単位で閾値処理を行うことにより特定のピクセルにノイズが含まれている場合に該当ノイズが減少され得る。
【0057】
前述した通り閾値処理ユニット15を通じて各ピクセルに対するモーションの有無を判断してモーションがあると判断されたピクセルとモーションがないと判断されたピクセルに異なる値を割り当てることにより差分マップの全てのピクセルは予め定められた二つの値、例えば0または1のうちの一つの値を有するようになる。このように得られたマップは、全てのピクセルのモーションの有無に対する情報を含み、このような意味でこのマップをモーションマップと称することができる。
【0058】
図6は前フレーム映像と現フレーム映像でハンドファントムを右側から左側に動いた時に出力されるモーションマップの例を示す。
図6の(a)はハンドファントムを含む前フレーム映像を示し、
図6の(b)はハンドファントムを右側から左側に動いた状態である現フレーム映像を示す。
図6の(c)は差分データの各ピクセルに対するモーション感知結果を見せる出力されるモーションマップを示す。
【0059】
図6の(c)を参照すると、白色で表示された領域がモーションが感知されたピクセルを示し、実際にモーションがあるハンドファントム内で前フレームと対比が大きい領域(骨領域の周縁)はモーションで感知され、前フレームと対比が小さい領域(皮膚領域、ツール領域)はモーションで感知されないことが分かる。これにより後続過程で最終出力映像の生成時、モーションがある部分は現フレームを中心に更新し、残りの部分は平均を取れば、ノイズは減り、エッジは強化されて鮮鋭度が向上し、モーションブラーを防止する効果を得ることができる。
【0060】
累積モーションマップ生成ユニット16は、モーション感知結果に基づいてモーションマップを時間順で別途のメモリに累積させ、これを合算して累積モーションマップを生成する。累積モーションマップは、最終出力映像を生成するための前フレーム映像と現フレーム映像の適切な混合比率を決定するために使用される。
【0061】
図7はモーションマップを利用して累積モーションマップを生成する方法を示す図面である。累積モーションマップ生成ユニット16は、前記モーション感知を通じて得られたモーションマップを別個の独立したメモリに毎フレームごとに時間順で累積的に保存して累積モーションマップを生成し、更新することができる。
図7の左側のイメージは累積したモーションマップを示し、右側はモーションマップの合算により得られる累積モーションマップを示す。前フレームの累積モーションマップと現フレームのモーションマップの同一ピクセルの値をそれぞれ合算して現フレームの累積モーションマップを生成することができる。つまり、特定フレームの累積モーションマップは当該フレームまで得られた全てのモーションマップの同一ピクセルのピクセル値の合算により得られた映像になる。例えば、
図7を参照すると、現フレームが4番目のフレームである場合、現在までの4個のフレームから得られたモーションマップにおいて同一ピクセルの値の合計が現フレームの累積モーションマップの同一ピクセルの値になる。
【0062】
モーションマップでモーションがあると判断されたピクセルの値を「0」にして明るく表現し、モーションがないと判断されたピクセルの値を「1」にして暗く表現した場合、累積モーションマップの各ピクセルは当該ピクセルのモーション感知値(0または1)の合計に該当する値を有するようになり、モーション判断回数により異なる値、つまり、異なる明るさを有するようになる。例えば、10個のフレームからなる累積モーションマップを仮定する場合、当該累積モーションマップは10個のモーションマップの合算により得られ、累積モーションマップの各ピクセルは0から10の間の値のうちのいずれか一つを有するようになる。ここで全てのモーションマップの同一ピクセルの値が全て0である場合、累積モーションマップの当該ピクセルは0の値を有し、全てのモーションマップの同一ピクセルの値が全て1である場合、累積モーションマップの当該ピクセルは10の値を有する。これにより
図8に示されたように累積モーションマップの各ピクセルは当該フレームまでのモーションマップの同一ピクセルのモーション感知回数に応じたピクセル値、つまり、明るさを有する。
【0063】
このような意味で生成された累積モーションマップにおいてピクセル値が明るいほどモーション確率が高く、暗いほどモーション確率が低いとみることができる。例えば、同一のピクセル位置で時間順でフレームが進行される間にモーションが感知される場合、モーション確率が高くなり、モーションが感知されなければモーション確率は低くなる。
【0064】
累積モーションマップの各ピクセルの値は、当該ピクセルのモーションの程度、モーション確率値を示す。つまり、各フレームのモーションマップでモーションがある場合は「0」、モーションがない場合は「1」の判定値が割り当てられる場合であれば、累積モーションマップのピクセル値が小さいほど当該ピクセルのモーション確率が大きいことを意味する。
【0065】
一方、本発明の他の実施形態では、累積モーションマップの更新時にモーションマップのピクセル値を累積する代わりに、閾値処理された統計値マップを利用して累積モーションマップのピクセルのピクセル値を選択的に増減して累積モーションマップを更新するように構成されることもできる。
【0066】
図8にはフレームの進行により入力映像に応じたモーションマップおよび累積モーションマップの生成過程の例が示されている。各フレームのフレーム映像と前フレーム映像との差分によりモーションマップが生成され、再び生成されたモーションマップと前フレームの累積モーションマップとの合算により現フレームの累積モーションマップが生成され得る。
【0067】
一方、本発明の実施形態によると、エントロピーマップ生成ユニット18がモーションマップの生成に使用される適応的閾値処理のための統計値マップを生成する。統計値マップは、累積モーションマップから生成され、累積モーションマップと同じ数のピクセルを有するように形成される。統計値マップの各ピクセルは、累積モーションマップで当該ピクセルでのモーション発生確率を示す統計値をピクセル値として有する。例えば、累積モーションマップで当該ピクセルを含む複数のピクセルを含むマスクを設定し、当該マスクでモーションの発生確率を示す統計値を当該ピクセルの統計値として設定することができる。例えば、特定のピクセルでのモーションの発生確率を示す統計値は当該特定のピクセルを囲む複数のピクセルのピクセル値のエントロピー値、標準偏差などであり得る。以下、エントロピーが統計値として使用される場合を例として説明し、このような意味で統計値マップをエントロピーマップと称する。エントロピーマップは、統計学的接近方法であるエントロピー概念を活用して累積モーションマップから生成される。生成されたエントロピーマップは、別途のバッファーメモリに保存され、次のフレームのモーションマップの生成のために使用され得る。前述した現フレームのモーションマップは前フレームで生成されたエントロピーマップを利用して生成され得、必要時に現フレームで生成されたエントロピーマップを利用して現フレームのモーションマップを再び生成することもできる。この時、現フレームのモーションマップは直前フレームのエントロピーマップだけでなく、前フレームのうちのいずれか一つ以上のエントロピーマップを利用して生成されることもできる。
【0068】
モーションマップが現フレーム映像と前フレーム映像との差分により得られる差分マップに基づいて生成されるため、場合によっては被写体のモーションを正確に感知できないこともある。例えば、被写体が薄い場合、差分値、つまり、差分マップの各ピクセルのピクセル値がノイズ水準以上に十分に大きくない場合、モーションを感知し難いこともあり、例えば薄くて鋭い針のような物体が患者の厚い部位を通る時、針のモーションを感知し難いこともある。このような問題を解決するために、本発明の実施形態では適応的閾値処理(adaptive thresholding)を通じて条件により各ピクセル別に異なる値を有する閾値を適用してモーションマップを生成する。
【0069】
図9は停止状態の骨盤ファントムの上を棒状の薄い鉛が通過する状況で得られたモーションマップと出力映像を示し、この映像は本発明の実施形態に係る適応的閾値処理が適用されずに得られたものである。
図9の(a)はモーションマップを示し、
図9の(b)は出力映像を示す。
図9の(b)に表示された矢印はモーション方向を示す。
図9を参照すると、棒が通過する領域のうち、ファントムの薄い部位では棒が通る前と後の差分値が十分に大きいため、モーションがあるピクセルとして良好に感知されたが、厚い骨領域を通る時は差分値が十分に大きくないため、動くピクセルとして感知されないことが分かる。この場合、当該ピクセルはノイズと判断されて出力映像の生成時に平均になり、結果として棒が切れる形態で力映像が生成された。
【0070】
図10は
図9と同一の条件で得られたモーションマップを示す。
図10の(a)はモーション感知のための閾値を高めた場合のモーションマップを示し、
図10の(b)は閾値を低めた場合のモーションマップを示す。
図10の(b)に示されているように、棒が切れないようにモーション感知のための閾値を低める場合にはノイズが動いたピクセルと見なされてむしろノイズが強調される副作用が現れることが分かる。このように薄い物体のモーションを感知する時、閾値に応じたトレードオフが存在する。
【0071】
本発明の実施形態は、このような問題点を解決するために統計学的接近方法であるエントロピー概念を活用する。エントロピーは確率分布が有する情報の確信度または情報量を数値で表現したものである。確率分布で特定の値が出る確率が高くなり、残りの値の確率は低くなればエントロピーが小さくなり、反対に多様な値が出る確率が類似している場合にはエントロピーが高くなる。エントロピーは確率分布の分布特性を示す特性値のうちの一つとみることができる。確率または確率密度が特定値に集まっていればエントロピーが小さいといえ、反対に多様な値に均一に広まっていればエントロピーが大きいとみることができる。つまり、エントロピーが大きいほど不均一で情報の量が多く、エントロピーが小さいほど均一で情報の量が少ないといえる。
【0072】
周知された通り、統計学でエントロピー(H)は、平均情報量を意味し、離散型ランダム変数Xに対して次の数式1のように定義され得る。
【0073】
【数1】
ここで、nはXが有することができる度数、つまり、モーション確率値の数であり、Pは各度数の頻度数、つまり、各モーション確率値の頻度数を示す確率質量関数である。
【0074】
累積モーションマップの各ピクセルに対してまたは複数のピクセルの集合別にモーション確率値のエントロピーが計算され得、計算されたエントロピーを各ピクセルまたは複数のピクセルの集合に割り当てることによりエントロピーマップが生成され得る。例えば、累積モーションマップで全てのピクセルに対してマスキング領域を選定し、当該マスキング領域に属するピクセルのモーション確率値のエントロピー値を算出し、算出されたエントロピー値を当該ピクセルのピクセル値として割り当ててエントロピーマップを生成することができる。計算しようとするピクセルを含む十分に大きい領域をマスクとして取り、当該マスク内のモーション確率値に対してヒストグラムでエントロピーを計算することができる。この時、ヒストグラムは、モーション確率値を度数にし、各モーション確率値の出現回数を頻度数にして算出され得、これに基づいて前記数式1によりエントロピーを算出することができる。例えば、累積モーションマップが1500*1500の映像である場合、計算しようとする中心ピクセルを含む300*300のマスクを設定し、設定されたマスク内のエントロピーを計算して当該中心ピクセルのエントロピーとして設定することができる。
図11は累積モーションマップでピクセルのマスキング演算でエントロピーを計算して生成したエントロピーマップの例を示す。
図11の(a)は累積モーションマップを一例を示し、マスクが点線で表示されている。各マスクに対してエントロピーが計算され、
図11の(a)に表示された三個のマスクのうち最も右側のマスクが明るいピクセル、つまり、モーション確率が大きいピクセルを最も多く含み、これにより最も右側のマスクに属するピクセルのエントロピーが最も大きいということを予測することができる。そして
図11の(a)で最も左側のマスクが暗いピクセル、つまり、モーション確率が小さいピクセルを最も多く含み、これにより最も左側のマスクに属するピクセルのエントロピーが最も小さいということを予測することができる。
図11の(b)は(a)の累積モーションマップで全てのピクセルに対して設定されたマスクに対して計算されたエントロピーにより生成されたエントロピーマップの例を示す。これによりエントロピーマップの各ピクセルは、当該ピクセルを含むマスクに属するピクセルのモーション確率値のエントロピー値をピクセル値として有する。この時、エントロピーが大きいピクセルまたは領域は、動いた確率が大きく、エントロピーが小さいピクセルまたは領域は、動いた確率が小さいということを示すとみることができる。このような意味でエントロピーはモーション確率値の混雑度を示す尺度とみることができる。
【0075】
本発明の実施形態では、このように生成されたエントロピーマップがモーションマップの生成に使用され、エントロピーマップに含まれている各ピクセルのエントロピーを利用してモーション感知のための閾値を調節する。生成されたモーションマップは、別途のバッファーメモリに保存され、次のフレームでのモーションマップの生成時にこのエントロピーマップ、つまり、前フレームで生成されたエントロピーマップに基づいて適応的閾値処理が行われる。閾値処理ユニットにより行われる閾値処理のための各ピクセルの閾値をエントロピーマップの対応するピクセルのエントロピーの大きさに反比例するように設定することができる。例えば、モーションマップの生成時にエントロピーが高いピクセルまたは領域は前にも動いた確率が高いため、モーション感知閾値を低めてモーションをより敏感に感知することができ、これとは異なり、エントロピーが低いピクセルまたは領域は前にも動いた確率が低いため、モーション感知閾値を高めて保守的に感知することができる。このような適応的閾値処理を通じて先に言及した閾値の大きさに応じたトレードオフの問題を改善することができる。一方、エントロピーの代わりに分散や標準偏差が統計値として使用される場合には、分散や標準偏差が小さいピクセルまたは領域が前にも動いた確率が高いとみることができる。
【0076】
このようにエントロピーに基づいて適応的閾値処理を通じてモーションマップを生成することにより、個別フレームのモーション感知正確度が高まる効果とともに、毎フレームごとに正確なモーション感知が行われなくてもフレームの進行により情報量が累積して動く物体の周辺ピクセルの閾値を低める方向に領域が漸次に拡張される効果があり、これにより結果としてフレームが進行されるほど薄い物体のモーション感知の正確度が大幅に向上する。
【0077】
一方、
図12は本発明の他の実施形態に係るモーションマップを生成する方法を示す。前述した実施形態で映像のノイズ水準に応じた閾値処理を通じたモーションマップを生成したにもかかわらず、モーションマップにノイズ成分が残っていることがあるため、この実施形態では追加的なノイズ低減処理が行われる。
【0078】
この実施形態では、被写体と背景を分離した後、背景領域をモーションマップから除外する方法で残っているノイズを除去する。現フレーム映像で実験的に閾値を適用したり人工知能学習を通じて被写体を除去した背景映像を生成し、前述した実施形態により生成されたモーションマップと生成された背景映像を合算演算または乗算演算を行ってノイズ成分が除去されたモーションマップを生成する。これにより背景に残っているノイズ成分は除去され、被写体のモーションに対する情報だけを含むモーションマップが生成され得る。このような方法は、モーション感知閾値を低める場合、映像全体のノイズ水準は小さく増加しながら、被写体のモーションは敏感に感知することができるという利点を有する。
【0079】
一方、本発明の他の実施形態では、モーション感知のための閾値を設定時に背景と被写体領域を区分して互いに異なる閾値を適用して二つのモーションマップを生成した後、生成された二つのモーションマップを併合して最終的なモーションマップを生成することもできる。
【0080】
出力映像生成ユニット17は、現フレーム映像と前フレーム映像とを混合して出力映像を生成する。この時、出力映像生成ユニット17は、累積モーションマップに基づいて現フレーム映像と前フレームの出力映像とを適切な混合比率で混合して最終出力映像を生成する。累積モーションマップの各ピクセルの値がモーションを示す程度が大きいほど、現フレーム映像の反映比率が相対的に大きくなるように設定され得る。つまり、累積モーションマップに含まれているピクセル値により決定されるモーション確率が高いほど、現フレームの加重値が高くなるように混合比率を決定することができる。例えば、ピクセル単位で累積モーションマップのピクセル値がモーションを示す程度が大きいほど、現フレーム映像の反映比率が線形的に増加するように反映比率が決定され得る。
【0081】
具体的な例として、モーションが多いピクセルに対しては、現フレーム映像の当該ピクセルに予め定められた加重値(α1)、例えば0.8を付与し、累積した前フレームまでの出力映像の当該ピクセルに加重値(1-α1)、例えば0.2の加重値を付与し、全てのピクセルに対してこのような混合過程を行うことにより、現フレーム映像と前フレーム出力映像とを混合することができる。一方、モーションが少ないピクセルに対しては、現フレーム映像の当該ピクセルに予め定められた加重値(α2)、例えば0.2を付与し、累積した前フレーム映像の当該ピクセルに加重値(1-α2)、例えば0.8の加重値を付与して現フレーム映像と前フレーム出力映像とを混合することができる。モーションが多いピクセルに対して現フレームの加重値が高くなればモーションブラーがない映像を得ることができる。その結果、最終出力映像はモーション確率に基づいてモーションが多いピクセルは現フレームの値をより多く反映して更新し、モーションが少ないピクセルは前フレームの値をより多く反映して更新することにより、時間によりフレームが累積しながらノイズ低減性能が向上することができる。
【0082】
最終的にノイズが低減された映像を出力した後にはその結果がメモリに保存され、次のフレームの出力映像の生成時、前フレーム映像で使用されてリカーシブ方式が具現される。
【0083】
図13は本発明の他の実施形態に係る映像処理方法の過程が示されている。
図13に示されているように、累積モーションマップで生成したエントロピーマップが現フレーム映像と前フレーム映像との混合により出力映像を生成する時に使用される。前述した実施形態でのように現フレーム映像と前フレーム映像との混合比率が累積モーションマップにより決定されるが、エントロピー値が高いピクセルは前フレームの束でモーションが発生している確率が高いということを意味する。
【0084】
エントロピーマップの閾値処理を通じてエントロピーマップでモーションが発生したと判断するピクセルを決定することができる。この時、閾値処理のための閾値の決定は、事前に実験的に決定することもでき、ユーザーインターフェースを通じてリアルタイムで現れる映像品質を見ながら感度を設定するようにすることもできる。例えばエントロピーマップの生成時、エントロピー算出のためのマスクサイズが決定されればエントロピーが有することができる最大値が決定され、エントロピーの最大値の下位20%値を閾値として設定することができる。
【0085】
この実施形態では、このようにエントロピーマップに対して閾値処理を行い、
図14に例示されているように閾値処理されたエントロピーマップを利用して累積モーションマップを更新する。
【0086】
以上で本発明の実施形態を説明したが、本発明の権利範囲はこれに限定されず、本発明の実施形態から本発明が属する技術分野における通常の知識を有する者により容易に変更されて均等なものと認められる範囲の全ての変更および修正を含む。
【産業上の利用可能性】
【0087】
本発明は、放射線撮影により得られた映像を処理する方法に関するものであって、映像処理技術に適用可能であるため、産業上の利用可能性がある。
【国際調査報告】