(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025099452
(43)【公開日】2025-07-03
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20250626BHJP
【FI】
A61B6/03 570Z
A61B6/03 570E
A61B6/03 560J
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023216128
(22)【出願日】2023-12-21
(71)【出願人】
【識別番号】510097747
【氏名又は名称】国立研究開発法人国立がん研究センター
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】中谷 文彦
(72)【発明者】
【氏名】宮狭 和大
(72)【発明者】
【氏名】山根 俊瑞
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA13
4C093CA35
4C093FF16
4C093FF34
4C093FF37
(57)【要約】
【課題】ノイズの影響を除外して負荷無く差分を用いた読影を医師などのユーザに行わせること。
【解決手段】実施形態に係る画像処理装置は、共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第1の画像と異なる第2の画像とを取得する画像取得部と、前記第1の領域像を構成する第1の画素値と第1の基準値とに基づいて、前記第1の画素値の信頼度を推定する第1の信頼度推定部と、前記第2の領域像を構成する第2の画素値と第1の基準値とは異なる第2の基準値とに基づいて、前記第2の画素値の信頼度を推定する第2の信頼度推定部と、前記第1の画素値の信頼度と、前記第2の画素値の信頼度とに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を取得する差分値信頼度算出部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第1の画像と異なる第2の画像とを取得する画像取得部と、
前記第1の領域像を構成する第1の画素値と第1の基準値とに基づいて、前記第1の画素値の信頼度を推定する第1の信頼度推定部と、
前記第2の領域像を構成する第2の画素値と第1の基準値とは異なる第2の基準値とに基づいて、前記第2の画素値の信頼度を推定する第2の信頼度推定部と、
前記第1の画素値の信頼度と、前記第2の画素値の信頼度とに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を取得する差分値信頼度算出部と、
を備える、画像処理装置。
【請求項2】
前記第1の領域像を構成する第1の画素の画素値が第1の画素値であり、前記第2の領域像を構成する第2の画素の画素値が第2の画素値であり、第1の画素と第2の画素とは対応する位置の画素である、請求項1に記載の画像処理装置。
【請求項3】
前記第1の信頼度推定部は、前記第1の領域像を含む前記第1の画像内の第1の対象領域の標準画素値と前記第1の画素値と前記第1の基準値とに基づいて前記第1の画素値の信頼度を推定するか、
または、
前記第2の信頼度推定部は、前記第2の領域像を含む前記第2の画像内の第2の対象領域の標準画素値と前記第2の画素値と前記第2の基準値とに基づいて前記第2の画素値の信頼度を推定する、請求項1に記載の画像処理装置。
【請求項4】
前記第1の画像と前記第2の画像と前記差分値の信頼度とに基づいて、前記差分値から作られる差分データを算出する差分データ算出部をさらに有する、請求項1に記載の画像処理装置。
【請求項5】
前記差分値信頼度算出部は、前記第1の領域像が属する椎骨レベルまたは椎間孔レベルに応じて前記差分値の信頼度を補正する、請求項1に記載の画像処理装置。
【請求項6】
前記差分データを、前記差分値の信頼度に対応させて表示部に表示させる差分データ表示部
をさらに有する請求項4に記載の画像処理装置。
【請求項7】
前記第1の画像及び前記第2の画像は、X線CT(Computed Tomography)装置で撮像された画像である、請求項1に記載の画像処理装置。
【請求項8】
前記第1の基準値は前記第1の画像内の第1の対象領域内に発現する病変の代表的画素値により定まる値であり、前記第2の基準値はビームハードニング・アーチファクト発生箇所の代表的画素値により定まる値である、請求項1に記載の画像処理装置。
【請求項9】
前記画像取得部は、前記第1の領域像を含む前記第1の画像内から第1の対象領域を抽出する際に、空間フィルタリングのカーネルの大きさを空間フィルタリング対象と近傍交差穴との距離に応じて変更する、請求項1に記載の画像処理装置。
【請求項10】
前記画像取得部は、前記第1の領域像を含む前記第1の画像内から第1の対象領域を抽出する際に、第1の対象領域と見なす第1の画素値の閾値を体軸方向の位置に応じて変更する、請求項1に記載の画像処理装置。
【請求項11】
前記画像取得部は、前記第1の領域像を含む前記第1の画像内から第1の対象領域を抽出する際に、空間フィルタリングのカーネルの大きさを空間フィルタリング対象の近傍円形度の大きさに応じて変更する、請求項1に記載の画像処理装置。
【請求項12】
前記第2の画像は前記第1の画像と異なる時刻に撮影された画像である、請求項1に記載の画像処理装置。
【請求項13】
共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第2の画像とを取得する画像取得ステップと、
前記第1の領域像を構成する第1の画素値と第1の基準値とに基づいて、前記第1の画素値の信頼度を推定する第1の信頼度推定ステップと、
前記第2の領域像を構成する第2の画素値と第1の基準値とは異なる第2の基準値とに基づいて、前記第2の画素値の信頼度を推定する第2の信頼度推定ステップと、
前記第1の画素値の信頼度と、前記第2の画素値の信頼度とに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を取得する差分値信頼度算出ステップと、
を備える、画像処理方法。
【請求項14】
請求項13に記載の画像処理方法をコンピュータで実行させるためのプログラム。
【請求項15】
共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第2の画像とを取得する画像取得部と、
前記第1の領域像を構成する第1の画素値に基づいて、第1の推論器を用いて前記第1の領域像の病変度合いを推定する病変度合度合い推定部と、
前記第2の領域像を構成する第2の画素値に基づいて、第1の推論器とは異なる第2の推論器を用いて前記第2の領域像のノイズ度合いを推定するノイズ度合い推定部と、
前記病変度合いと前記ノイズ度合いとに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を算出する差分値信頼度算出部と、
を備える、画像処理装置。
【請求項16】
共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第1の画像と異なる第2の画像とを取得する画像取得部と、
前記第1の領域像を構成する第1の画素値と前記第2の領域像を構成する第2の画素値との差分値の信頼度を、前記第1の領域像が属する椎骨レベルもしくは椎間孔レベルに応じて取得する差分値信頼度算出部と、
を備える、画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
医用の分野では、コンピュータ断層撮影装置(以下、CT(Computed Tomography)装置と呼ぶ)などの種々の医用画像撮像装置(モダリティ)によって取得される画像を用いた診断が行われている。効率的な診断のためには、病変の経時的な変化を可視化して医師の診断を助ける技術が必要とされている。
【0003】
例えば、骨転移の骨関連事象リスクを把握するために、腫瘍の脊柱管内浸潤を可視化し、浸潤度合いを計測する技術が必要とされている。経時的な変化を可視化する技術として、異なる時刻に撮影された2つの画像の位置合わせを行い、その画像間の差異を可視化した差分画像を表示することにより、画像間の対比を支援する画像差分技術が知られている。
【0004】
骨などの吸収係数が高い構造物に囲まれた領域に発生しやすいノイズとして、ビームハードニング・アーチファクトが知られている。ビームハードニングは、多色ビームが患者を透過するときに、軟らかい(低エネルギー)の光子がビームから優先的に吸収又は散乱され、硬い光子が残ることである。このビームハードニングは、CT装置のガントリ内でX線源と検出器とを同期回転させながら走査し患者を撮影する際、走査中のX線源の位置、X線の曝射方向によって、患者を通過する光路の光学密度が異なるため、線減弱係数に差異が生じる。すなわち、ビームハードニング・アーチファクトは、高吸収体を通過する方向のCT値が弱くなり、再構成時にCT値が低くなる領域が出ることで発生する。
【0005】
管電圧の異なるX線による撮像で得られる2つの画像の相関関係に基づいて、アーチファクト領域の各画素について高い管電圧の画像からアーチファクトがない場合の画素値を推定してノイズを除去する技術が特許文献1に開示されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1の技術では、異なる管電圧での2回の撮像が必要であることに加え、高い管電圧の画像特性の影響により、病変特有の画像特徴が減少してしまう恐れがある。このため、差分画像に病変箇所を適切に描出できなくなる課題がある。
【0008】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、ノイズの影響を除外して負荷無く差分を用いた読影を医師などのユーザに行わせることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0009】
実施形態に係る画像処理装置は、共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第1の画像と異なる第2の画像とを取得する画像取得部と、前記第1の領域像を構成する第1の画素値と第1の基準値とに基づいて、前記第1の画素値の信頼度を推定する第1の信頼度推定部と、前記第2の領域像を構成する第2の画素値と第1の基準値とは異なる第2の基準値とに基づいて、前記第2の画素値の信頼度を推定する第2の信頼度推定部と、前記第1の画素値の信頼度と、前記第2の画素値の信頼度とに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を取得する差分値信頼度算出部と、を備える。
【図面の簡単な説明】
【0010】
【
図1】
図1は、第1の実施形態に係る画像処理装置の構成の一例を示す図である。
【
図2】
図2は、第1の実施形態に係る画像処理装置が実行する処理工程を示すフローチャートである。
【
図3】
図3は、第1の実施形態に係る画像処理装置の全データの流れを示すデータフロー図である。
【
図4】
図4は、第2の実施形態に係る画像処理装置の構成の一例を示す図である。
【
図5】
図5は、第2の実施形態に係る画像処理装置が実行する処理工程を示すフローチャートである。
【
図6】
図6は、第2の実施形態に係る画像処理装置の全工程を示すデータフロー図である。
【
図7】
図7は、第3の実施形態に係る画像処理装置の構成の一例を示す図である。
【
図8】
図8は、第3の実施形態に係る画像処理装置の全工程を示すフローチャートである。
【
図9】
図9は、第3の実施形態に係る画像処理装置の全工程を示すデータフロー図である。
【
図10】
図10は、第1の実施形態に係る活性化関数の一例を示す図である。
【
図11】
図11は、第1の実施形態に係る椎間孔レベルに応じた差分値信頼度の補正1用の重み係数の一例を説明するための図である。
【
図12】
図12は、第1の実施形態に係る椎間孔レベルに応じた差分値信頼度の補正2用の重み係数の一例を説明するための図である。
【
図13】
図13は、第1の実施形態に係る占拠率をサジタル断面に対応させて表示する例を示す図である。
【
図14A】
図14Aは、変形例1に係る脊柱管領域情報の一例を説明するための図である。
【
図14B】
図14Bは、変形例1に係る脊柱管領域情報の他の例を説明するための図である。
【
図15】
図15は、第2の実施形態において、融合画像を差分値の信頼度に対応させて表示する一例を説明するための図である。
【
図16】
図16は、第2の実施形態において、占拠率を差分値の信頼度に対応させて表示する一例を説明するための図である。
【
図17】
図17は、第1の実施形態において、差分を減弱する範囲と浸潤の範囲の一例を説明するための図である。
【
図18】
図18は、第1の実施形態に係る活性化関数の他の例を示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して、画像処理装置、画像処理方法及びプログラムの実施形態を詳細に説明する。
【0012】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【0013】
<第1の実施形態>
第1の実施形態では、一例としてがんの骨転移関連事象の診断支援を行う画像処理装置の詳細を説明する。本診断支援では、骨転移と、脊柱管内浸潤と、椎骨周囲の骨外腫瘤とを診断対象とし、これらを同一画像内で可視化するのに適切な差分画像(差分データ)を生成する。なお、本説明では、脊柱管内の脊髄領域を脊柱管領域と表記する。
【0014】
本実施形態に係る画像処理装置は、画像処理対象となる対象画像に写る被検体領域における、脊柱管内浸潤の候補領域ならびに骨外腫瘤の候補領域を可視化する装置である。具体的には、まず、画像処理装置は、対象画像である2枚の経時画像の間の差分画像を生成する。次に、画像処理装置は、対象画像から脊柱管を抽出し、さらに脊柱管内の異常領域である脊柱管内浸潤の候補領域として、差分画像を用いて浸潤候補領域を抽出する。また、画像処理装置は、対象画像から椎骨周囲領域を抽出し、さらに椎骨周囲領域内の異常領域である骨外腫瘤の候補領域として、差分画像を用いて腫瘤候補領域を抽出する。そして、画像処理装置は、差分画像、浸潤候補領域や腫瘤候補領域を対象画像に重畳した画像、浸潤や腫瘤の程度を表す指標値のグラフを差分データとして算出ならびに表示する制御を行う。
【0015】
図1は、第1の実施形態に係る画像処理装置10の構成の一例を示す図である。
図1に示すように、画像処理装置10は、処理回路11と、通信インターフェース12と、記憶回路13と、ディスプレイ14と、入力インターフェース15と、接続部16とを有している。また、画像処理装置10は、図示しないネットワークを介して、医用画像診断装置(モダリティ)や、医用画像保管装置、各部門システム等に通信可能に接続されている。
【0016】
医用画像診断装置は、X線CT(Computed Tomography)装置、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)装置や、X線診断装置などを含む。医用画像保管装置は、PACS(Picture Archiving and Communication System)等によって実現され、DICOM(Digital Imaging and Communications in Medicine)に準拠した形式で医用画像を保管する。各部門システムは、病院情報システム(HIS:Hospital Information System)、放射線情報システム(RIS:Radiology Information System)、診断レポートシステム、臨床検査情報システム(LIS:Laboratory Information System)などの種々のシステムが含まれる。
【0017】
処理回路11は、入力インターフェース15を介してユーザから受け付けた入力操作に応じて、制御機能11aと、画像取得機能11bと、第1の信頼度推定機能11cと、第2の信頼度推定機能11dと、差分値信頼度算出機能11eと、差分データ算出機能11fとを実行して、画像処理装置10を制御する。更に、処理回路11は、位置合わせ機能11b1と、領域抽出機能11b2とを実行する。ここで、画像取得機能11bは、画像取得部の一例である。また、第1の信頼度推定機能11cは、第1の信頼度推定部の一例である。また、第2の信頼度推定機能11dは、第2の信頼度推定部の一例である。また、差分値信頼度算出機能11eは、差分値信頼度算出部の一例である。また、差分データ算出機能11fは、差分データ算出部の一例である。
【0018】
制御機能11aは、入力インターフェース15を介した操作に応じて、種々のGUI(Graphical User Interface)や、種々の表示情報を生成して、ディスプレイ14に表示するように制御する。また、制御機能11aは、通信インターフェース12を介して、図示しないネットワーク上の装置やシステムとの情報の送受信を制御する。また、制御機能11aは、ネットワークに接続された各部門システムから被検体に関する情報を取得する。また、制御機能11aは、ネットワーク上の装置やシステムに処理結果を出力する。
【0019】
画像取得機能11bは、医用画像診断装置等により被検体を撮影した医用画像データを、画像の参照アドレス情報(URL(Uniform Resource Locator)や各種UID(Unique IDentifier)やPath文字列等)に基づいて、医用画像保管装置等から取得する。具体的には、画像取得機能11bは、画像処理装置10とネットワークに接続されたモダリティや、医用画像保管装置などから、3次元の医用画像(ボリュームデータ)を取得する。なお、画像取得機能11bによる処理については、後に詳述する。医用画像は、画像の一例である。以下の説明では、医用画像を単に画像を表記する場合がある。
【0020】
位置合わせ機能11b1は、画像取得機能11bによって取得された3次元の画像を対象として、位置合わせ処理を実行する。具体的には、位置合わせ機能11b1は、第1の画像と第2の画像の間の空間的な対応関係を算出する。そして、第2の画像を第1の画像に合わせて座標変換した変形画像を生成する。なお、位置合わせ機能11b1による処理については、後に詳述する。
【0021】
領域抽出機能11b2は、画像取得機能11bによって取得された3次元の画像、もしくは、位置合わせ機能11b1によって生成された変形画像を対象として、画像から脊柱管領域を抽出する。領域抽出機能11b2による処理については、後に詳述する。
【0022】
第1の信頼度推定機能11cは、画像取得機能11bによって取得された第1の画像の各画素値を対象として、浸潤による病変を表すCT値であると見なす度合いを表す信頼度を所定の基準値を用いて推定する。なお、第1の信頼度推定機能11cによる処理については、後に詳述する。
【0023】
第2の信頼度推定機能11dは、画像取得機能11bによって取得された第2の画像の各画素値、もしくは、位置合わせ機能11b1によって生成された変形画像の各画素値を対象として、ノイズの影響を受けていない真のCT値であると見なす度合いを表す信頼度を、第1の信頼度推定機能11cとは異なる基準値を用いて推定する。なお、第2の信頼度推定機能11dによる処理については、後に詳述する。
【0024】
差分値信頼度算出機能11eは、第1の信頼度推定機能11cが推定した第1の画素値の信頼度と、第2の信頼度推定機能11dが推定した第2の画素値の信頼度とを用いて、第1の画素値と第2の画素値との差分値の信頼度を算出する。なお、差分値信頼度算出機能11eによる処理については、後に詳述する。
【0025】
差分データ算出機能11fは、第1の画素値と第2の画素値との間の差分データを算出する。なお、差分データ算出機能11fによる処理については、後に詳述する。
【0026】
上述した処理回路11は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路13に記憶される。そして、処理回路11は、記憶回路13に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路11は、各プログラムを読み出した状態で、
図1に示した各処理機能を有することとなる。
【0027】
なお、処理回路11は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路11が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路11が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路13に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路に分散して記憶され、処理回路11が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。
【0028】
通信インターフェース12は、画像処理装置10と、ネットワークを介して接続された他の装置やシステムとの間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インターフェース12は、処理回路11に接続されており、他の装置やシステムから受信したデータを処理回路11に出力、又は、処理回路11から出力されたデータを他の装置やシステムに送信する。例えば、通信インターフェース12は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0029】
記憶回路13は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路13は、処理回路11に接続されており、処理回路11から入力されたデータを記憶、又は、記憶しているデータを読み出して処理回路11に出力する。例えば、記憶回路13は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
【0030】
ディスプレイ14は、各種情報及び各種データを表示する。具体的には、ディスプレイ14は、処理回路11に接続されており、処理回路11から出力された各種情報及び各種データを表示する。例えば、ディスプレイ14は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。ディスプレイ14は、表示部の一例である。
【0031】
入力インターフェース15は、ユーザから各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インターフェース15は、処理回路11に接続されており、ユーザから受け取った入力操作を電気信号へ変換して処理回路11に出力する。例えば、入力インターフェース15は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インターフェース、及び音声入力インターフェース等によって実現される。なお、本明細書において、入力インターフェース15は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース15の例に含まれる。
【0032】
接続部16は、処理回路11と、通信インターフェース12と、記憶回路13と、ディスプレイ14と、入力インターフェース15とを接続するバス等である。
【0033】
なお、本明細書においては、被検者の右手から左手への方向を表す軸をX軸、被検者の正面から背面への方向を表す軸をY軸、被検者の頭から足への方向を表す軸をZ軸として定義する。また、XY断面をアキシャル面、YZ断面をサジタル面、ZX断面をコロナル面と定義する。すなわち、X軸方向は、サジタル面に直交する方向(以下、サジタル方向)である。また、Y軸方向は、コロナル面に直交する方向(以下、コロナル方向)である。さらに、Z軸方向は、アキシャル面に直交する方向(以下、アキシャル方向)である。このとき、2次元断層画像(スライス画像)の集合として構成されるCT画像の場合は、画像のスライス面はアキシャル面を表し、スライス面に直交する方向(以下、スライス方向)はアキシャル方向を表す。なお、座標系の取り方は一例であり、これ以外の定義であってもよい。
【0034】
図2は、第1の実施形態に係る画像処理装置10が実行する処理工程を示すフローチャートである。また、
図3は、第1の実施形態に係る画像処理装置10の全データの流れを示すデータフロー図である。
【0035】
画像処理装置10は、第1の画像である現在画像と、第2の画像である過去画像とを入力して、現在画像と過去画像との間の差分を示す差分画像を差分データとして出力する。このとき、入力とする各画像の画素に対する信頼度を算出し、それに基づいて差分画像に対してノイズ抑制処理を施す。ここで、各画像は、全て3次元のボリュームデータである。本実施形態では、第1の画像と第2の画像はX線CT画像であるとして説明する。ただし、実施形態はこれに限定されるものではなく、本発明は、MRI(Magnetic Resonance Imaging)画像や超音波画像等の他のモダリティの医用画像でも適用可能である。また、第1の画像と第2の画像は、現在画像と過去画像以外の組み合わせであってもよい。例えば、同日の検査で撮影した造影画像と非造影画像であってもよい。
【0036】
図2に示すステップS2010の処理は、例えば、処理回路11が、画像取得機能11bに対応するプログラムを記憶回路13から呼び出して実行することにより実現される。また、ステップS2011の処理は、例えば、処理回路11が、位置合わせ機能11b1に対応するプログラムを記憶回路13から呼び出して実行することにより実現される。また、ステップS2012およびステップS2013の処理は、例えば、処理回路11が、領域抽出機能11b2に対応するプログラムを記憶回路13から呼び出して実行することにより実現される。また、ステップS2020の処理は、例えば、処理回路11が、第1の信頼度推定機能11cに対応するプログラムを記憶回路13から呼び出して実行することにより実現される。さらに、ステップS2030の処理は、例えば、処理回路11が、第2の信頼度推定機能11dに対応するプログラムを記憶回路13から呼び出して実行することにより実現される。さらに、ステップS2040の処理は、例えば、処理回路11が、差分値信頼度算出機能11eに対応するプログラムを記憶回路13から呼び出して実行することにより実現される。さらに、ステップS2050の処理は、例えば、処理回路11が、差分データ算出機能11fに対応するプログラムを記憶回路13から呼び出して実行することにより実現される。
【0037】
(ステップS2010)
図3に示すように、画像取得部201では、画像取得機能11bを用いてPACSやモダリティから第1の画像である現在画像を取得し、同一患者の過去画像を後述する方法を用いて特定し、PACSから第2の画像である過去画像を取得する。
【0038】
ここで取得する画像は、ある患者の同じ部位を撮影した3次元のボリュームデータであるとして以下の説明を行うが、本取得機能はそれに限られるものではなく、例えば2次元のピクセルデータであっても構わない。
【0039】
同一患者の過去画像を特定する方法としては、例えば第1の画像と同じ患者IDを持ち、第1の画像より検査日時が古い画像をPACS等から検索し、その中から検査日時が最も新しい画像を選択するという方法がある。本取得機能はそれ以外の方法や、ユーザによる手動選択で過去画像を特定しても構わない。
【0040】
本実施例における第2の画像は、第1の画像よりも過去に撮影された画像である場合を例として説明するが、本発明の実施はこれに限らない。例えば、第1の画像が第2の画像よりも過去に撮影された画像であってもよいし、同時期に撮影された2つの画像を第1の画像と第2の画像としてもよい。第1の画像と第2の画像は、互いに造影時相が異なる画像であってもよい。また第1の画像と第2の画像は異なる患者を撮影した画像であってもよい。
【0041】
(ステップS2011)
さらに、画像取得部201では、位置合わせ機能11b1を用いて現在画像と過去画像との位置合せを行い、現在画像と過去画像の間の空間的な対応関係を算出する。
【0042】
ここで、位置合わせ機能11b1は、既存の線形位置合わせアルゴリズムや、非線形位置合わせアルゴリズム、或いは、それらを組み合わせた手法を用いて、画像間の空間的な対応関係を算出(推定)することができる。位置合わせ機能11b1は、上記した画像間の変形位置合わせにより、現在画像に含まれる特徴的な部位を示す特徴点と、過去画像に含まれる特徴的な部位を示す特徴点との位置を合わせることができる。
【0043】
さらに位置合わせ機能11b1は、前記位置合わせの結果に基づいて、過去画像を現在画像に合わせて座標変換した変形画像を生成する。
【0044】
上記の例では、現在画像と過去画像の間の位置合わせ処理を行い、その結果に基づいて、変形画像を生成する場合を例として説明したが、本発明の実施はこれに限らない。例えば、上記のような処理を行って過去画像を座標変換して生成した変形画像をPACS等に保存しておき、その画像を画像取得部201が取得するようにしてもよい。また、あらかじめ過去画像に合致するように被検体の位置や姿勢を整えてから撮影した画像を現在画像として取得してもよい。この場合、現在画像と過去画像は空間的な対応関係を持つため、変形画像の生成が不要となる。すなわち、後段の処理では変形画像ではなく過去画像をそのまま用いることができる。
【0045】
(ステップS2012)
さらに、画像取得部201では、領域抽出機能11b2を用いて現在画像に対して脊柱管のセグメンテーションを実施し、第1の対象領域を特定する第1の対象領域情報、すなわち、脊柱管領域情報を算出する。
【0046】
ここで、領域抽出機能11b2は、公知の領域抽出手法により脊柱管のセグメンテーションを行う。例えば、閾値処理やモルフォロジー演算、パターンマッチング、U-Net等の推論器によりセグメンテーションを実施し、現在画像の脊柱管領域情報を抽出する。ただし、領域抽出機能11b2は、ユーザによる入力によって現在画像における脊柱管領域情報を取得してもよい。
【0047】
(ステップS2013)
さらに、画像取得部201では、領域抽出機能11b2を用いて変形画像に対しても脊柱管のセグメンテーションを実施し、第2の対象領域を特定する第2の対象領域情報、すなわち、変形画像の脊柱管領域情報を算出する。
【0048】
ここで、領域抽出機能11b2は、公知の領域抽出手法により脊柱管のセグメンテーションを行う以外に、位置合わせ機能11b1が算出した現在画像と過去画像の画素間の対応関係を利用して、現在画像の脊柱管領域情報を変換して変形画像の脊柱管領域情報を算出しても良い。
【0049】
図2では、ステップS2020とステップS2030は逐次処理として実行しているが、並列処理として実行しても構わない。
【0050】
(ステップS2020)
図3に示すように、第1の信頼度推定部202では、画像取得部201が取得した第1の画像である現在画像と、第1の画像の脊柱管領域情報に基づいて、第1の画像の脊柱管領域における各画素(第1の画素)が病変領域内の画素である度合いを表す第1の画素値の信頼度を推定する。具体的には、第1の画像の脊柱管領域内の複数の画素(第1の画素)の夫々について、当該画素の画素値である第1の画素値a
1と標準画素値m
1とを用いて、以下の式(1)で第1の画素値の信頼度b
1を算出する。ここで、標準画素値m
1は、第1の画像の脊柱管領域の平均画素値を用いても良いし、健常者における脊柱管内の平均的なCT値として代表的な値(40HU程度)を用いても良い。また、脊柱管領域の平均画素値以外の、予め設定した値を用いてもよい。
【0051】
【0052】
ここで、W(a,μ)は、例えば
図10に示すような基準値μを境にaが小さい場合は滑らかに減衰する活性化関数(Activation Function)である。この関数は後述するステップS2030において第2の画素値の信頼度を算出する際にも使用するが、計算に用いる基準値はそれぞれ異なる値を用いる。これは、第1の画素値の信頼度は、当該画素が病変であることを表す信頼度を算出するのに対して、第2の画素値の信頼度は、当該画素がノイズの影響を受けていないことを表す信頼度を算出する、という違いによる。第1の信頼度推定部202は、浸潤による病変の画素値が、病変以外の周辺の領域も含む画素の平均画素値よりも高くなる傾向があるという特性を利用して、第1の画素値の信頼度を算出する。そのため、第1の画素値の信頼度の算出に用いる基準値μ
1は、後述する第2の信頼度の算出に用いる基準値μ
2に比べて大きめ(例えば40HU程度)に設定する。具体的には、浸潤による病変の画素値と脊柱管内の平均画素値の差に相当する大きさの値を設定する。
【0053】
上記の第1の画素値の信頼度の算出方法は一例に過ぎず、第1の信頼度推定部202は、他の方法により第1の画素値の信頼度を算出してもよい。例えば、第1の信頼度推定部202は、活性化関数として、以下の式(2)に示すように基準値μを境にaの減少とともに関数Wが線形に減少し、値の範囲が0から1となる関数を用いても構わない。
図18に下記の活性化関数Wのグラフを示す。
【0054】
【0055】
上記の例では、健常な脊柱管内の平均的なCT値よりも高いCT値を呈する病変を考慮し、そのような病変が存在する領域の信頼度を高く算出する場合を例として説明したが、実施形態はこれに限らない。例えば、第1の信頼度推定部202は、健常な脊柱管内の平均的なCT値よりも低いCT値を呈する病変を考慮し、そのような病変が存在する領域の信頼度を高く算出するようにしてもよい。また、第1の信頼度推定部202は、健常な脊柱管内のCT値の統計的な分布に基づき、その分布からの逸脱度に基づいて第1の画素値の信頼度を算出するようにしてもよい。
【0056】
(ステップS2030)
図3に示すように、第2の信頼度推定部203では、画像取得部201が取得した第2の画像である過去画像を座標変換した変形画像と、変形画像の脊柱管領域情報に基づいて、変形画像の脊柱管領域における各画素(第2の画素)がノイズ領域外の画素である度合いを表す第2の画素値の信頼度を推定する。具体的には、変形画像の脊柱管領域内の複数の画素(第2の画素)の夫々について、当該画素の画素値である第2の画素値a
2と標準画素値m
2とを用いて、以下の式(3)で第2の画素値の信頼度b
2を算出する。ここで、標準画素値m
2は、第2の画像の脊柱管領域の平均画素値を用いても良いし、ビームハードニング・アーチファクトの影響を受けていない場合の脊柱管内の平均的なCT値として代表的な値(40HU程度)を用いても良い。また、脊柱管領域の平均画素値以外の、予め設定した値を用いてもよい。
【0057】
【0058】
ここで、W(a,μ)は、例えば
図10に示すような基準値μを境にaが小さい場合は滑らかに減衰する活性化関数である。ビームハードニング・アーチファクトの影響をうける領域の画素値は、その影響を受けない領域の画素値よりも小さくなる傾向がある。そのため、ビームハードニング・アーチファクト発生部位の画素値の信頼度を下げるために、基準値μ
2を第1の信頼度推定部202の場合とは異なり小さめ(例えば0HU程度)に設定する。
【0059】
上記の第2の画素値の信頼度の算出方法は一例に過ぎず、第2の信頼度推定部203は、他の方法により第2の画素値の信頼度を算出してもよい。例えば、第2の信頼度推定部203は、活性化関数として、以下の式(4)に示すように基準値μを境にaが線形に減少する関数を用いても構わない。
【0060】
【0061】
上記の例では、第2の画素が影響を受けうるノイズの要因として、ビームハードニング・アーチファクトを考慮する場合の方法について説明したが、実施形態はこれに限らない。例えば、第2の信頼度推定部203は、メタルアーチファクトによる画素の高輝度化を考慮して、脊柱管内の平均的なCT値よりも画素値が高い場合に第2の画素値の信頼度を低く算出するようにしてもよい。第2の信頼度推定部203は、上記に例示したノイズの要因以外にも、モーションアーチファクトやリングアーチファクト、バンディングアーチファクトなどの影響を考慮して第2の画素値の信頼度を算出するようにしてもよい。また、第2の信頼度推定部203は、単一のノイズ要因を考慮する方法に限らず、複数のノイズ要因を同時に考慮して第2の画素値の信頼度を算出してもよい。具体的には、第2の信頼度推定部203は、複数のノイズ要因について独立に信頼度を算出し、それらの算出値を統合(例えば積演算)して第2の画素値の信頼度を算出してもよい。第2の信頼度推定部203は、他にもノイズの影響を受けていない場合の脊柱管内のCT値の統計的な分布に基づき、その分布からの逸脱度に基づいて第2の画素値の信頼度を算出するようにしてもよい。
【0062】
(ステップS2040)
差分値信頼度算出部204では、第1の画素値の信頼度b1と第2の画素値の信頼度b2とを用いて、後述するステップS2050で算出する2画像間の差分値の信頼度bdを算出する。ここで、第1の画素の画素値が第1の画素値であり、第2の画素の画素値が第2の画素値である。また、第1の画素と第2の画素とは、ステップS2011において位置合わせ機能11b1により対応付けされた画素ペアである。信頼度bdは具体的には以下の式(5)により算出する。
【0063】
【0064】
上記式(5)では、信頼度b1と信頼度b2のどちらか片方でも大きければ、差分値の信頼度bdも大きくなり、その最大値は1以下に抑えられるように構成されている。なお第1の画素値の信頼度b1と第2の画素値の信頼度b2とに基づいて算出するのであれば、差分値の信頼度の算出式はこれに限られるものではない。例えば、以下の式(6)のように平方根sqrt()を使った式でも構成可能である。
【0065】
【0066】
本画像処理装置10から出力される差分値は、本来の差分値にこの差分値の信頼度b
dを乗算した結果とする。こうすることによって、
図17に示すように浸潤が存在する範囲171では差分値の信頼度を高くしつつ、ノイズが存在する範囲173では差分値の信頼度を低くすることが可能である。すなわち、第1の画素値の信頼度と第2の画素値の信頼度のいずれかが高い場合には、差分値の信頼度を高くする。これは、現在画像の当該画素が病変である可能性が高い場合や、過去画像の当該画素がノイズの影響を受けていない可能性が高い場合に差分値の信頼度を高くすることを意味する。一方、これらの信頼度が共に低い場合には、差分値の信頼度を低くする。すなわち、現在画像の当該画素値が病変である可能性が低く、かつ過去画像の当該画素がノイズの影響を受けている可能性が高い場合には差分値の信頼度を低くすることを意味する。ここで、差分を減弱する範囲172が現在画像の画素値において高くなっている(右に寄っている)理由は、過去画像にノイズがあったとしても現在画像に浸潤がある場合には差分値の信頼度を高くするためである。
本処理ステップでは上記のような意図のもと、第1の画素値の信頼度と第2の画素値の信頼度に基づいて差分値の信頼度を算出する。
【0067】
差分値信頼度算出部204では、さらに各画素の患者の体の中における位置に基づいて差分値信頼度を補正するようにしてもよい。例えば、以下に示す式(7)により椎間孔レベルに応じた差分値信頼度の補正(補正1)を行い、臨床的に重要な部位の差分値をそのまま残すように差分値の信頼度bd´を算出しても良い。
【0068】
【0069】
ここで、C(z)は患者座標zが属する椎間孔レベルに応じて、例えば
図11に示すような値を取る補正用の重み係数である。ここで、椎間孔レベルは脊椎に沿って頭尾方向に椎間孔を中心としたz座標位置の区分を表しており、C1、C2、…、C8、T1、T2、…、T12、L1、L2、…、L5という椎間孔ラベルが付けられている。C(z)の値は、例えば椎間孔ラベルごとにテーブルに保存された値を差分値信頼度算出機能11eが記憶回路13から読み出し、必要であれば補間を行うことで取得可能である。この補正によって、T3より足側の臨床的に重要な部位では信頼度の寄与率を低く設定し、ノイズ低減処理を行わない生の差分値を医師が直接見られるようにすることが可能である。これによって、臨床的に重要な部位の差分値に対して、ノイズ低減処理に伴う意図しない加工が入るのを防ぐことが可能である。
【0070】
差分値信頼度算出部204では、さらに以下に示す式(8)により椎間孔レベルに応じた差分値信頼度の補正(補正2)を行い、臨床的にあまり重要ではなく、それでいてビームハードニング・アーチファクトによるノイズが入りやすい部位の差分値を減弱するように差分値の信頼度bd´´を算出しても良い。
【0071】
【0072】
ここで、C´(z)は患者座標zが属する椎間孔レベルに応じて、例えば
図12に示すような値を取る補正用の重み係数である。
【0073】
以上、椎間孔レベルに応じた差分値信頼度の補正を説明したが、重み付けの値は患者座標zに対応して表されるものであれば何でも良く、例えば椎骨レベルに応じた差分値信頼度の補正も同様に実施可能である。ここで、椎骨レベルは脊椎に沿って頭尾方向に椎骨を中心としたz座標位置の区分を表しており、C1、C2、…、C7、T1、T2、…、T12、L1、L2、…、L5という椎骨ラベルが付けられている。椎間孔ラベルの場合と同様に、差分値信頼度算出機能11eが記憶回路13に保存されているテーブルを参照することで実施可能である。
【0074】
記憶回路13に保存されているテーブルを参照して補正を行う方法以外にも、例えば、差分値信頼度算出機能11eは、z座標値から以下の式(9)で補正1に必要な重み係数を直接算出することも可能である。
【0075】
【0076】
ここで、Z(T3)は椎間孔T3のz座標値であり、Z(T2)は椎間孔T2のz座標値である。差分値信頼度算出機能11eは、この重み係数CL(z)を用いて、補正後の差分値の信頼度bd’を以下の式(10)で算出することができる。
【0077】
【0078】
なお、上記の例では、差分信頼度を患者の体の中における位置に基づいて補正する場合を例として説明したが、信頼度の補正の方法はこれに限らない。例えば、差分値信頼度算出機能11eは、第1の信頼度や第2の信頼度の値を患者の体の中における位置に基づいて補正するようにしてもよい。具体的には、差分値信頼度算出機能11eは、脊柱管内に浸潤が発生しやすい胸椎下部から腰椎上部の位置では第1の信頼度を他の部位よりも高くなるように補正をしてもよい。また、差分値信頼度算出機能11eは、ビームハードニングの発生頻度が高い胸椎上部から頸椎の位置では第2の信頼度を他の部位よりも低くなるように補正してもよい。
【0079】
また、患者の体の中における位置に基づく信頼度の補正は、上記のように患者の頭尾方向の位置に基づく方法に限らず、患者の背側、腹側の位置に基づく方法でもよいし、患者の左側、右側の位置に基づく方法であってもよい。
【0080】
なお、上記のような信頼度の補正処理は、必ずしも行われなくてもよい。
【0081】
さらに、差分値信頼度算出機能11eは、第1の画素値の信頼度b1と第2の画素値の信頼度b2とを用いずに、椎骨レベルもしくは椎間孔レベルに応じて差分値信頼度を算出してもよい。この場合は、差分値信頼度算出機能11eは、bd=1として、上記の補正1や補正2を実施する。
【0082】
(ステップS2050)
差分データ算出部205では、第1の画像と変形画像、および差分値の信頼度に基づいて差分画像を算出する。このとき、差分データ算出部205は、第1の画像の第1の画素値a1と、変形画像の第2の画素値a2と、第1の画素値と第2の画素値との差分値の信頼度bdとから、例えば以下の式(11)を用いて差分画像の画素値dを算出する。ここで、第1の画素値a1を呈する第1の画素と、第2の画素値a2を呈する第2の画素とは、ステップS2011において対応付けされた画素ペアである。これによって、差分データ算出部205は、ステップS2040で算出した信頼度に基づき、信頼度が低い領域の差分値を減弱することが可能である。
【0083】
【0084】
なお、画素値dの算出方法は、上記の例に限らず、差分データ算出部205は、差分値の信頼度bdに対して非線形な変換を行うようにしてもよい。例えば、差分データ算出部205は、差分値の信頼度bdが所定の基準値よりも高い場合には、画素値として(a1-a2)を算出し、そうでない場合には、画素値として0を算出するようにしてもよい。また、差分データ算出部205は、単純差分(a1-a2)の代わりに「画素値の差異を表す値」であれば何を用いてもよい。例えば、差分データ算出部205は、Voxel Matching法などにより、第1の画素と第2の画素のそれぞれの周辺画素の画素値に基づいて画素値の差異を表す値を算出してもよい。
【0085】
差分データ算出部205では、さらに差分画像の画素値dの大きさに対して規定の色を割り当てて、割り当てられた色を現在画像の上に重畳した融合画像を差分データとして算出しても良い。
【0086】
差分データ算出部205では、さらに第1の対象領域情報である脊柱管領域情報を用いて、患者座標zを含むスライス内の第1の対象領域I(z)と、浸潤と判定する閾値Tとから以下に示す式(12)により占拠率g(z)を算出しても良い。ここで、[(命題)]はアイバーソンの記法であり、(命題)が真のときに1を偽の時に0を返す。
【0087】
【0088】
差分データ算出部205は、このように算出した占拠率を患者座標zの夫々について計算し、その結果のグラフを
図13に示すように融合画像のサジタル断面又は投影画像と並べて表示した画像を占拠率データとして生成しても良い。
【0089】
図13において、I
sagは、対象画像におけるサジタル面の画像を表す。画像I
sagにおいて、R
verは椎骨領域、R
spiは脊柱管領域、R
infは脊柱管内浸潤の領域(脊柱管内浸潤領域)である。G
idxは、占拠率グラフを表しており、対象画像の各アキシャル面において、脊柱管内への浸潤の程度を表す占拠率g(z)を、画像I
sagのZ軸に沿ってプロットしたグラフである。P
1では脊柱管内浸潤によって占拠率グラフが高くなっており、P
2ではビームハードニング・アーチファクトによるノイズによって占拠率グラフが高くなっている。G’
idxは、差分値の信頼度を使わない場合の占拠率グラフを表しており、P
2において占拠率グラフがG
idxより高くなっている。
【0090】
差分データ算出部205では、上記のようにして算出した差分画像や融合画像や占拠率データを差分データとして外部のPACS等に出力する。
【0091】
以上のように、第1の実施形態に係る画像処理装置10によれば、ノイズの影響を除外して負荷無く差分を用いた読影を医師などのユーザに行わせることができる。すなわち、第1の実施形態に係る画像処理装置10を用いることで、ノイズの影響により該差分値を用いた読影が適切に行えない問題を解決することが出来る。
【0092】
(変形例1:画像取得時の脊柱管セグメンテーションの高精度化)
第1の実施形態に対して、画像取得部201において、
図14Aに示すような神経根や
図14Bに示すような棘突起間の隙間にはみ出した脊柱管領域情報を除去するようにしても良い。具体的には、画像取得部201は、
図14Aに示すような神経根に関しては、脊柱管の交差穴である椎間孔を検出し、椎間孔に近づくにつれてオープニング演算の構造要素を大きくし、脊柱管領域情報から強く突起部分を削り取ることで高精度化セグメンテーションが実現可能である。
【0093】
また、画像取得部201は、
図14Bに示すような棘突起間の隙間に関しては、場所に応じて閾値を変えながらCT値の低い箇所を取り除くことで高精度セグメンテーションが実現可能である。具体的には、画像取得部201は、頸椎や上部胸椎では、棘突起間の隙間は大きくないため、除外するCT値の閾値を低くし、弱めに削り取りを行うようにする。
【0094】
さらに、画像取得部201は、患者座標zを含むスライス内の第1の対象領域I(z)に対して以下の式(13)で定義される円形度に反比例した大きさの構造要素でオープニング演算を実施することで、脊柱管領域情報内で円柱形状から飛び出している箇所を特定し削り取ることが可能である。
【0095】
【0096】
画像取得部201は、このように脊柱管セグメンテーションを高精度化することによって、脊柱管内浸潤の読影をより適切に行うことが可能である。
【0097】
脊柱管セグメンテーションの高精度化において、オープニング演算は他の空間フィルタリング処理で代用しても構わない。この場合、構造要素の大きさはより一般的には空間フィルタのカーネルの大きさに対応する。
【0098】
(変形例2:骨外腫瘤の占拠率の可視化)
第1の実施形態に対して、画像取得部201において、対象領域を脊柱管の代わりに椎骨の周辺領域(例えば椎骨の周囲から所定距離R[mm]以内の領域)とすることで、椎骨周囲に発生する骨外腫瘤の占拠率を可視化することも可能である。具体的なRの値は、椎骨周囲の肺などの他の臓器に掛からない程度に設定するのが望ましく、具体的には5mm程度が妥当である。また、骨外腫瘤ではビームハードニング・アーチファクトの影響は小さいため、補正1は行われなくても構わない。
【0099】
(変形例3:脊柱管以外の例)
第1の実施形態に対して、画像取得部201において、対象領域を脊柱管の代わりに脳実質とすることで、脳実質に発生する病変を可視化することも可能である。脳実質においては、頭蓋骨に近いほどビームハードニング・アーチファクトの影響が出やすいため、頭蓋骨からの距離に応じた信頼度の算出、もしくは信頼度の補正を行うのが望ましい。
【0100】
(変形例4:平均値との比較以外の例)
第1の実施形態に対して、第1の信頼度推定部202や第2の信頼度推定部203において、各画素値と比較する値として脊柱管領域の平均画素値以外にも、例えば脊柱管領域の画素値の中央値や最頻値のような他の統計量を用いることも可能である。
【0101】
(変形例5:ビームハードニング・アーチファクト以外の例)
第1の実施形態に対して、第1の信頼度推定部202や第2の信頼度推定部203において、基準値μを調整することで、金属アーチファクトによるノイズにも対応可能である。具体的には骨に比べると金属によるアーチファクトは金属周辺の画素値を大きく下げるため、基準値μの値は、骨の場合より小さく設定される必要がある。
【0102】
<第2の実施形態>
本願に係る別の実施形態としては、差分データを差分値の信頼度に対応させて表示する形態が考えられる。
【0103】
図4は、第2の実施形態に係る画像処理装置20の構成の一例を示す図である。第2の実施形態は、第1の実施形態と比較して、差分データ表示機能11gが追加されている点が異なる。具体的には、第2の実施形態に係る差分データ表示機能11gは、差分データ算出機能11fが算出した差分データを差分値信頼度算出機能11eが算出した差分値の信頼度に対応させてディスプレイ14に表示させる。ここで、差分データ表示機能11gは、差分データ表示部の一例である。以下、これらを中心に説明する。
【0104】
図5は、第2の実施形態に係る画像処理装置20が実行する処理工程を示すフローチャートである。また、
図6は、第2の実施形態に係る画像処理装置20の全工程を示すデータフロー図である。
【0105】
差分データ表示部206は、差分データ算出部205が出力した差分データと、差分値信頼度算出部204が出力した差分値の信頼度と、を入力として、差分値の信頼度に対応させた表示態様でディスプレイ14上に差分データを表示させる。差分データ表示部206は、差分データ算出部205が出力した差分データと、差分値信頼度算出部204が出力した差分値の信頼度と、を入力として、差分値の信頼度に対応させてディスプレイ14上に差分データを表示させる、と換言される場合がある。
【0106】
図5のステップS3010からS3050までの処理は、第1の実施形態の
図2のステップS2010からS2050までの処理と同様の処理であり、詳細な説明は省略する。以下ではステップS3060について説明する。
【0107】
(ステップS3060)
差分データ表示部206では、差分画像や融合画像や占拠率データ等の差分データを、各差分値の信頼度をユーザが視認できる表示態様でディスプレイ14に表示させる。
【0108】
例えば、差分データ表示部206は、融合画像をディスプレイ14に表示させる際には、
図15に示すように脊柱管121内の個々の差分値の信頼度に対応させて浸潤箇所122または浸潤箇所123の色を変化させて描画する。すなわち、差分データ表示部206は、例えば、信頼度が高い浸潤箇所123を他より明るくし、ノイズの影響により信頼度が低い浸潤箇所122を他より暗く描画する。
【0109】
また例えば、差分データ表示部206は、占拠率データをディスプレイ14に表示させる際には、患者座標zを含むスライス内の第1の対象領域I(z)内の差分値の平均信頼度b
mを以下の式(14)により算出し、
図16のグラフB
idxのように占拠率のグラフG
idxと対応付けてディスプレイ14に表示させる。
【0110】
【0111】
ここで、
図16のB
idxは、平均信頼度のグラフを表しており、対象画像の各アキシャル面において、平均信頼度を表すb
m(z)を、画像I
sagのZ軸に沿ってプロットしたグラフである。
図16において、その他の記号(符号)の意味は
図13の記号の意味と同じである。
【0112】
また他の表示例としては、差分データ表示部206は、平均信頼度b
mに対応させて占拠率のグラフを
図16のG’’
idxのように輝度値を変えて描画する。すなわち、差分データ表示部206は、P
2のように平均信頼度が低い箇所の占拠率グラフを他の箇所より暗く描画する。
【0113】
以上のように、第2の実施形態に係る画像処理装置20を用いることで、各差分値の信頼度がユーザに分かるように表示でき、該差分値を用いた読影をユーザに適切に実施させることが出来る。
【0114】
<第3の実施形態>
本願に係る別の実施形態としては、信頼度の推定に機械学習で得られた推論器を用いる形態が考えられる。
【0115】
図7は、第3の実施形態に係る画像処理装置30の構成の一例を示す図である。第3の実施形態は、第1の実施形態と比較して、第1の信頼度推定機能11cが病変度合い推定機能11hに置き換わっている点と、第2の信頼度推定機能11dがノイズ度合い推定機能11iに置き換わっている点とが異なる。ここで、病変度合い推定機能11hは、病変度合い推定部の一例であり、ノイズ度合い推定機能11iは、ノイズ度合い推定部の一例である。以下、これらを中心に説明する。
【0116】
図8は、第3の実施形態に係る画像処理装置30の全工程を示すフローチャートである。また、
図9は、第3の実施形態に係る画像処理装置30の全工程を示すデータフロー図である。
【0117】
ステップS4010からステップS4013までの処理は第1の実施形態のステップS2010からステップS2013までの処理と同様の処理であるため、詳細な説明は省略する。
【0118】
図8では、ステップS4020とステップS4030とは逐次処理として実行しているが、並列処理として実行しても構わない。
【0119】
(ステップS4020)
病変度合い推定部302では、第1の領域像内の第1の画素値に対して事前学習済み推論器を用いて推論を行い、第1の領域像の病変度合いb1を推定する。ここで、当該推論器は、深層学習等を含む公知の機械学習手法を用いて構築できる。この場合、脊柱管内に病変がある症例と無い症例とを学習データとして事前に学習されているものとする。また、推論器への入力として、第1の画像内の第1の対象領域の統計値、例えば脊柱管領域内の画素の平均値、最頻値、中央値等を加えても良い。本処理ステップで算出される病変度合いb1は、最も病変らしい場合に1、最も病変らしくない場合に0となる値を算出するものとし、その程度に応じて0から1の間の値を算出する。
【0120】
(ステップS4030)
ノイズ度合いの推定部303では、第2の領域像内の第2の画素値に対して事前学習済み推論器を用いて推論を行い、第2の領域像のノイズ度合いb2を推定する。ここで、当該推論器は、深層学習等を含む公知の機械学習手法を用いて構築できる。この場合、脊柱管内にビームハードニング・アーチファクト等によるノイズがある症例と無い症例とを学習データとして事前に学習されているものとする。また、推論器への入力として、第2の画像内の第2の対象領域の統計値を加えても良い。本処理ステップで算出されるノイズ度合いb2は、最もノイズらしい場合に1、最もノイズらしくない場合に0を算出するものとし、その程度に応じて0から1の間の値を算出する。
【0121】
(ステップS4040)
差分値信頼度算出部304では、病変度合いb1とノイズ度合いb2とを用いて、例えば以下の式(15)で差分値の信頼度bdを算出する。なお病変度合いb1とノイズ度合いb2とに基づいて算出するのであれば、差分値の信頼度の算出式はこれに限られるものではない。
【0122】
【0123】
ここで、ノイズ度合いb2は値が大きいほど差分値の信頼度を下げるため、上記式(15)では1から減算した値を用いている。
【0124】
本画像処理装置30から出力される差分値は、本来の差分値にこの差分値の信頼度bdを乗算した結果になる。
【0125】
差分値信頼度算出部304では、さらに第1の実施形態と同様に椎間孔レベル、もしくは、椎骨レベルに応じた差分値信頼度の補正を行っても良い。
【0126】
(ステップS4050)
差分データ算出部305では、第1の実施形態と同様に差分画像の画素値を算出する。また、差分データ算出部305では、さらに第1の実施形態と同様に差分画像の画素値に規定の色を割り当てて現在画像の上に重畳した融合画像を差分データとして算出しても良い。また、差分データ算出部305では、さらに第1の実施形態と同様に患者座標zを含むスライス内の占拠率(占拠率データ)g(z)を算出しても良い。
【0127】
差分データ算出部305では、上記のようにして算出した差分画像や融合画像や占拠率データを差分データとして外部のPACS等に出力する。
【0128】
以上のように、第3の実施形態に係る画像処理装置30によれば、ノイズの影響を除外して負荷無く差分を用いた読影を医師などのユーザに行わせることができる。すなわち、第3の実施形態に係る画像処理装置30を用いることで、ノイズの影響により該差分値を用いた読影が適切に行えない問題を解決することが出来る。
【0129】
<その他の実施形態>
上述した実施形態では、部位の識別対象を脊柱管部位と椎骨周囲部位としたが、部位の識別対象はこれに限定されるものではない。
【0130】
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェース機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【0131】
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
【0132】
ここで、プロセッサによって実行される画像処理プログラムは、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、この画像処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、この画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、この画像処理プログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体から医用情報処理プログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
【0133】
また、上述した実施形態において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0134】
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0135】
以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
【0136】
(付記1)
本発明の一つの側面において提供される画像処理装置は、超音波送受信により1つ又は複数の位置で時間方向における複数フレームで収集された反射波データのデータ列を取得する取得部と、前記複数フレームのデータ列から、組織由来のクラッタ成分を低減して第一の血流情報を推定するドプラ処理部と、前記第一の血流情報から血流信号のスカラー値の画像である第二の血流情報を生成し、前記第二の血流情報の局所的最大値を検出し、前記局所的最大値又は前記局所的最大値を強調した画像を積算することによりスカラー値積算画像を生成するとともに、前記局所的最大値を取る位置の前記第一の血流情報のフレーム方向の自己相関関数を計算し、前記自己相関関数を積算することにより自己相関関数積算画像を生成し、前記スカラー値積算画像及び前記自己相関関数積算画像から、血流が色分けされた第三の血流情報を生成し、前記第三の血流情報を表示部に表示させる超解像処理部と、を備える。
【0137】
(付記2)
前記第1の領域像を構成する第1の画素の画素値が第1の画素値であり、前記第2の領域像を構成する第2の画素の画素値が第2の画素値であり、第1の画素と第2の画素とは対応する位置の画素であってもよい。
【0138】
(付記3)
前記第1の信頼度推定部は、前記第1の領域像を含む前記第1の画像内の第1の対象領域の標準画素値と前記第1の画素値と前記第1の基準値とに基づいて前記第1の画素値の信頼度を推定するか、または、前記第2の信頼度推定部は、前記第2の領域像を含む前記第2の画像内の第2の対象領域の標準画素値と前記第2の画素値と前記第2の基準値とに基づいて前記第2の画素値の信頼度を推定してもよい。
【0139】
(付記4)
前記第1の画像と前記第2の画像と前記差分値の信頼度とに基づいて、前記差分値から作られる差分データを算出する差分データ算出部をさらに有してもよい。
【0140】
(付記5)
前前記差分値信頼度算出部は、前記第1の領域像が属する椎骨レベルまたは椎間孔レベルに応じて前記差分値の信頼度を補正してもよい。
【0141】
(付記6)
前記差分データを、前記差分値の信頼度に対応させて表示部に表示させる差分データ表示部をさらに有してもよい。
【0142】
(付記7)
前記第1の画像及び前記第2の画像は、X線CT(Computed Tomography)装置で撮像された画像であってもよい。
【0143】
(付記8)
前記第1の基準値は前記第1の対象領域内に発現する病変の代表的画素値により定まる値であり、前記第2の基準値はビームハードニング・アーチファクト発生箇所の代表的画素値により定まる値であってもよい。
【0144】
(付記9)
前記画像取得部は、前記第1の領域像を含む前記第1の画像内から第1の対象領域を抽出する際に、空間フィルタリングのカーネルの大きさを空間フィルタリング対象と近傍交差穴との距離に応じて変更してもよい。
【0145】
(付記10)
前記画像取得部は、前記第1の領域像を含む前記第1の画像内から第1の対象領域を抽出する際に、第1の対象領域と見なす第1の画素値の閾値を体軸方向の位置に応じて変更してもよい。
【0146】
(付記11)
前記画像取得部は、前記第1の領域像を含む前記第1の画像内から第1の対象領域を抽出する際に、空間フィルタリングのカーネルの大きさを空間フィルタリング対象の近傍円形度の大きさに応じて変更してもよい。
【0147】
(付記12)
前記第2の画像は前記第1の画像と異なる時刻に撮影された画像であってもよい。
【0148】
(付記13)
本発明の一つの側面において提供される画像処理方法は、共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第2の画像とを取得する画像取得ステップと、前記第1の領域像を構成する第1の画素値と第1の基準値とに基づいて、前記第1の画素値の信頼度を推定する第1の信頼度推定ステップと、前記第2の領域像を構成する第2の画素値と第1の基準値とは異なる第2の基準値とに基づいて、前記第2の画素値の信頼度を推定する第2の信頼度推定ステップと、前記第1の画素値の信頼度と、前記第2の画素値の信頼度とに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を取得する差分値信頼度算出ステップと、を備える。
【0149】
(付記14)
本発明の一つの側面において提供されるプログラムは、付記13記載の画像処理方法をコンピュータで実行させるためのプログラムである。
【0150】
(付記15)
本発明の他の側面において提供される画像処理装置は、共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第2の画像とを取得する画像取得部と、前記第1の領域像を構成する第1の画素値に基づいて、第1の推論器を用いて前記第1の領域像の病変度合いを推定する病変度合度合い推定部と、前記第2の領域像を構成する第2の画素値に基づいて、第1の推論器とは異なる第2の推論器を用いて前記第2の領域像のノイズ度合いを推定するノイズ度合い推定部と、前記病変度合いと前記ノイズ度合いとに基づいて、前記第1の画素値と前記第2の画素値との差分値の信頼度を算出する差分値信頼度算出部と、を備える。
【0151】
(付記16)
本発明の他の側面において提供される画像処理装置は、共通する被検体が撮像された第1の領域像を含む第1の画像と、前記第1の領域像に対応する第2の領域像を含む第1の画像と異なる第2の画像とを取得する画像取得部と、前記第1の領域像を構成する第1の画素値と前記第2の領域像を構成する第2の画素値との差分値の信頼度を、前記第1の領域像が属する椎骨レベルもしくは椎間孔レベルに応じて取得する差分値信頼度算出部と、を備える。
【0152】
以上説明した少なくとも一つの実施形態によれば、ノイズの影響を除外して負荷無く差分を用いた読影を医師などのユーザに行わせることができる。
【0153】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0154】
10,20,30 画像処理装置
11c 第1の信頼度推定機能
11d 第2の信頼度推定機能
11e 差分値信頼度算出機能