(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162451
(43)【公開日】2024-11-21
(54)【発明の名称】医用画像処理装置、医用画像処理方法、及び、プログラム
(51)【国際特許分類】
A61B 6/46 20240101AFI20241114BHJP
A61B 6/00 20240101ALI20241114BHJP
【FI】
A61B6/03 360P
A61B6/00 360Z
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023077961
(22)【出願日】2023-05-10
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】石井 秀明
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA01
4C093AA22
4C093AA26
4C093CA15
4C093FF12
4C093FF22
4C093FF37
4C093FG13
(57)【要約】
【課題】異なる時間に撮影された医用画像同士の位置合わせを効率的に行うこと。
【解決手段】本実施形態に係る医用画像処理装置は、取得部と、抽出部と、第1対応付け部と、受付部と、算出部と、補正部とを備える。取得部は、第1医用画像と、第1医用画像とは異なる時間に撮影された、第1医用画像で撮影された領域を含む第2医用画像とを取得する。抽出部は、第1医用画像から第1特徴点を抽出し、第2医用画像から第2特徴点を抽出する。第1対応付け部は、第1医用画像と第2医用画像との位置合わせ結果に基づき、両画像の対応する部位に存在する第1特徴点と第2特徴点とをそれぞれ対応付ける。受付部は、第1対応付け部で対応付けられた第1特徴点と第2特徴点との組のうち、第1特徴点を他の第2特徴点に対応付ける修正入力を受付ける。算出部は、修正入力に係る修正前後の第2特徴点間の第2医用画像上での位置差を算出する。補正部は、位置差に基づいて、第1医用画像と第2医用画像との位置合わせ結果を補正する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
第1医用画像と、前記第1医用画像とは異なる時間に撮影された、前記第1医用画像で撮影された領域を含む第2医用画像とを取得する取得部と、
前記第1医用画像から第1特徴点を抽出し、前記第2医用画像から第2特徴点を抽出する抽出部と、
前記第1医用画像と前記第2医用画像との位置合わせ結果に基づき、両画像の対応する部位に存在する第1特徴点と第2特徴点とをそれぞれ対応付ける第1対応付け部と、
前記第1対応付け部で対応付けられた前記第1特徴点と前記第2特徴点との組のうち、前記第1特徴点を他の第2特徴点に対応付ける修正入力を受付ける受付部と、
前記修正入力に係る修正前後の第2特徴点間の前記第2医用画像上での位置差を算出する算出部と、
前記位置差に基づいて、前記第1医用画像と前記第2医用画像との位置合わせ結果を補正する補正部と、
を備える医用画像処理装置。
【請求項2】
補正された前記位置合わせ結果に基づき、前記第1特徴点と前記第2特徴点とをそれぞれ対応付ける第2対応付け部と、
前記第2対応付け部で対応付けられた前記組のうち、前記第1対応付け部で対応付けられた前記組とは、前記第1特徴点と前記第2特徴点との組み合わせが異なる前記組を、対応付けの修正候補として提示する提示部と、を更に備える、
請求項1に記載の医用画像処理装置。
【請求項3】
抽出された前記第1特徴点及び前記第2特徴点、並びに前記第1対応付け部又は前記第2対応付け部で対応付けられた前記組を表す対応付け情報を表示部に表示させる表示制御部を更に備え、
前記表示制御部は、前記修正候補が提示された場合、提示された前記修正候補に該当する前記対応付け情報と、前記修正候補に該当しない前記対応付け情報とを識別可能な態様で前記表示部に表示させる、
請求項2に記載の医用画像処理装置。
【請求項4】
前記表示制御部は、前記第1特徴点と当該第1特徴点に対応する前記第2特徴点とを上下又は左右に並べて表示させることで、前記対応付け情報を前記表示部に表示させる、
請求項3に記載の医用画像処理装置。
【請求項5】
前記表示制御部は、第1特徴点の位置に基づく順序で、前記第1特徴点及び前記第2特徴点、並びに前記対応付け情報を前記表示部に表示させ、
前記第2対応付け部は、前記修正入力に係る前記第1特徴点よりも下位の前記順序に係る前記第1特徴点についてのみ、前記第2特徴点とそれぞれ対応付ける、
請求項4に記載の医用画像処理装置。
【請求項6】
前記表示制御部は、前記第1特徴点と当該第1特徴点に対応する前記第2特徴点とを枠で囲うことで、前記対応付け情報を前記表示部に表示させる、
請求項4に記載の医用画像処理装置。
【請求項7】
前記表示制御部は、前記第1特徴点と当該第1特徴点に対応する前記第2特徴点とを線で結ぶことで、前記対応付けを前記表示部に表示させる、
請求項4に記載の医用画像処理装置。
【請求項8】
前記表示制御部は、前記修正候補の提示があった場合、提示された前記修正候補に該当する前記対応付け情報のみを前記表示部に表示させる、
請求項3乃至7の何れか1項に記載の医用画像処理装置。
【請求項9】
前記表示制御部は、診断の対象となる被検体の対象部位毎に、抽出された前記第1特徴点及び前記第2特徴点、並びに前記対応付け情報を表示部に表示させる、
請求項3乃至7の何れか1項に記載の医用画像処理装置。
【請求項10】
前記表示制御部は、前記対象部位を含む、前記第1医用画像と前記第2医用画像とを並べて表示させ、前記第1医用画像上に表示された前記第1特徴点と、当該第1特徴点に対応する前記第2医用画像上に表示された前記第2特徴点とを線で結ぶことで、前記対応付け情報を前記表示部に表示させる、
請求項9に記載の医用画像処理装置。
【請求項11】
医用画像処理装置による医用画像処理方法であって、
第1医用画像と、前記第1医用画像とは異なる時間に撮影された、前記第1医用画像で撮影された領域を含む第2医用画像とを取得する取得ステップと、
前記第1医用画像から第1特徴点を抽出し、前記第2医用画像から第2特徴点を抽出する抽出ステップと、
前記第1医用画像と前記第2医用画像との位置合わせ結果に基づき、両画像の対応する部位に存在する第1特徴点と第2特徴点とをそれぞれ対応付ける第1対応付けステップと、
前記第1対応付けステップで対応付けられた前記第1特徴点と前記第2特徴点との組のうち、前記第1特徴点を他の第2特徴点に対応付ける修正入力を受付ける受付ステップと、
前記修正入力に係る前記他の第2特徴点を、前記第2医用画像上における前記修正入力に係る前記第1特徴点に対応する位置に移動させ、移動前の前記他の第2特徴点の位置と、移動後の前記他の第2特徴点の位置との位置差を算出する算出ステップと、
前記位置差に基づいて、前記位置合わせ結果を補正する補正ステップと、
補正された前記位置合わせ結果に基づき、前記第1特徴点と前記第2特徴点とをそれぞれ対応付ける第2対応付けステップと、
前記第2対応付けステップで対応付けられた前記組のうち、前記第1対応付けステップで対応付けられた前記組とは、前記第1特徴点と前記第2特徴点との組み合わせが異なる前記組を、対応付けの修正候補として提示する提示ステップと、
を含む医用画像処理方法。
【請求項12】
コンピュータに、
第1医用画像と、前記第1医用画像とは異なる時間に撮影された、前記第1医用画像で撮影された領域を含む第2医用画像とを取得する取得ステップと、
前記第1医用画像から第1特徴点を抽出し、前記第2医用画像から第2特徴点を抽出する抽出ステップと、
前記第1医用画像と前記第2医用画像との位置合わせ結果に基づき、両画像の対応する部位に存在する第1特徴点と第2特徴点とをそれぞれ対応付ける第1対応付けステップと、
前記第1対応付けステップで対応付けられた前記第1特徴点と前記第2特徴点との組のうち、前記第1特徴点を他の第2特徴点に対応付ける修正入力を受付ける受付ステップと、
前記修正入力に係る前記他の第2特徴点を、前記第2医用画像上における前記修正入力に係る前記第1特徴点に対応する位置に移動させ、移動前の前記他の第2特徴点の位置と、移動後の前記他の第2特徴点の位置との位置差を算出する算出ステップと、
前記位置差に基づいて、前記位置合わせ結果を補正する補正ステップと、
補正された前記位置合わせ結果に基づき、前記第1特徴点と前記第2特徴点とをそれぞれ対応付ける第2対応付けステップと、
前記第2対応付けステップで対応付けられた前記組のうち、前記第1対応付けステップで対応付けられた前記組とは、前記第1特徴点と前記第2特徴点との組み合わせが異なる前記組を、対応付けの修正候補として提示する提示ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理装置、医用画像処理方法、及び、プログラムに関する。
【背景技術】
【0002】
従来、画像診断医や放射線科医等の医療従事者は、医用画像診断装置により撮影された複数の医用画像を用いて読影を行っている。
【0003】
また、医療従事者であるユーザは、フォローアップの必要な腫瘍の読影を行う場合、現在の被検体の状態を撮影した医用画像における腫瘍の位置と、過去の被検体の状態を撮影した医用画像での対応する腫瘍の位置との対応付けを実施して読影を実施することがある。例えば、過去の医用画像に存在した腫瘍が、現在の医用画像では縮小又は拡大しているような場合、対応する腫瘍同士を対応付けることで、腫瘍の状態遷移を時系列で確認できるようにすることが行われている。
【0004】
しかしながら、ユーザが手動で対応付け作業を行うことは煩雑であり、非効率的である。また、公知の位置合わせ技術を利用することも考えられるが、例えば、位置合わせに特定の腫瘍の形状を用いる場合に、当該腫瘍の形状が、位置合わせの対象となる医用画像間で著しく異なる等、被検体の状態によっては、位置合わせが正常に行えない可能性がある。このため、位置合わせを効率的に行うことが可能な技術が望まれている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、異なる時間に撮影された医用画像同士の位置合わせを効率的に行うことである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0007】
本実施形態に係る医用画像処理装置は、取得部と、抽出部と、第1対応付け部と、受付部と、算出部と、補正部とを備える。取得部は、第1医用画像と、第1医用画像とは異なる時間に撮影された、第1医用画像で撮影された領域を含む第2医用画像とを取得する。抽出部は、第1医用画像から第1特徴点を抽出し、第2医用画像から第2特徴点を抽出する。第1対応付け部は、第1医用画像と第2医用画像との位置合わせ結果に基づき、両画像の対応する部位に存在する第1特徴点と第2特徴点とをそれぞれ対応付ける。受付部は、第1対応付け部で対応付けられた第1特徴点と第2特徴点との組のうち、第1特徴点を他の第2特徴点に対応付ける修正入力を受付ける。算出部は、修正入力に係る修正前後の第2特徴点間の第2医用画像上での位置差を算出する。補正部は、位置差に基づいて、第1医用画像と第2医用画像との位置合わせ結果を補正する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1実施形態に係る医用画像処理装置を含む医用画像処理システムの構成の一例を示すブロック図である。
【
図2】
図2は、第1実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。
【
図3】
図3は、実施形態に係る疾患部位の対応付け結果の表示処理の一例を説明する図である。
【
図4】
図4は、実施形態に係る疾患部位の対応付け結果の修正入力の受付処理の一例を説明する図である。
【
図5】
図5は、実施形態に係る疾患部位の対応付け結果の修正候補の提示処理の一例を説明する図である。
【
図6】
図6は、実施形態に係る医用画像処理装置が実行する処理の一例を示すフローチャートである。
【
図7】
図7は、変形例に係る疾患部位の対応付け結果の表示処理の一例を説明する図である。
【
図8】
図8は、変形例に係る疾患部位の対応付け結果の修正入力の受付処理の一例を説明する図である。
【
図9】
図9は、変形例に係る疾患部位の対応付け結果の修正候補の提示処理の一例を説明する図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、医用画像処理装置、医用画像処理方法、及び、プログラムの実施形態について詳細に説明する。なお、以下、医用画像処理装置を含む医用画像処理システムを例に挙げて説明する。
【0010】
図1は、実施形態に係る医用画像処理装置100を含む医用画像処理システム1の構成の一例を示す図である。
図1に示す医用画像処理システム1は、医用画像処理装置100と、医用画像診断装置2と、画像保管装置3とを備える。
【0011】
医用画像処理装置100は、医用画像診断装置2及び画像保管装置3と、例えば、病院内に設置された院内LAN(Local Area Network)などのネットワーク4により接続される。ここで、各装置は、直接的、又は間接的に相互に通信可能な状態となっている。例えば、医用画像処理システム1にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、DICOM(Digital Imaging and Communications in Medicine)規格に則って、医用画像等を相互に送受信する。
【0012】
医用画像診断装置2は、医用画像を生成・収集する。医用画像診断装置2は、例えば、X線CT(Computed Tomography)装置やX線診断装置等である。
【0013】
なお、医用画像診断装置2は、例えば、MRI(Magnetic Resonance Imaging)装置、超音波診断装置、SPECT(Single Photon Emission Computed Tomography)装置、PET(Positron Emission computed Tomography)装置等であってもよい。また、医用画像診断装置2は、SPECT装置とX線CT装置とが一体化されたSPECT-CT装置、PET装置とX線CT装置とが一体化されたPET-CT装置、又はこれらの装置群等であってもよい。
【0014】
医用画像診断装置2は、2次元の医用画像や、3次元の医用画像(ボリュームデータ)、時系列に沿った2次元医用画像、時系列に沿った3次元医用画像等を生成可能である。
【0015】
ここで、医用画像診断装置2は、被検体を撮影することにより医用画像を収集する。例えば、医用画像診断装置2の一例であるX線CT装置は、被検体にX線管及びX線検出器を旋回移動させ、被検体を透過したX線を検出して投影データを収集する。
【0016】
X線CT装置は、収集した投影データに基づいて、2次元のCT画像、3次元のCT画像(ボリュームデータ)、時系列に沿った2次元のCT画像、または、時系列に沿った3次元のCT画像等の種々の医用画像を生成する。
【0017】
また、X線CT装置は、収集した投影データに基づいて、所定方向に沿った複数の2次元のCT画像を生成してもよい。例えば、X線CT装置は、体軸方向に沿った複数のアキシャル断面の2次元CT画像を生成してもよい。
【0018】
医用画像診断装置2は、生成した医用画像を画像保管装置3に送信する。なお、医用画像診断装置2は、医用画像を画像保管装置3に送信する際に、付帯情報として、例えば、患者を識別する患者ID、検査を識別する検査ID、医用画像診断装置2を識別する装置ID、医用画像診断装置2による1回の撮影を識別するシリーズID等を送信する。
【0019】
画像保管装置3は、医用画像を保管するデータベースである。具体的には、画像保管装置3は、記憶回路を備え、医用画像診断装置2から送信された医用画像を当該記憶回路に格納することにより、当該医用画像を保管する。
【0020】
画像保管装置3の記憶回路は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。なお、画像保管装置3に保管された医用画像は、患者ID、検査ID、装置ID、シリーズID等と対応付けて保管される。したがって、医用画像処理装置100は、患者ID、検査ID、装置ID、シリーズID等を用いた検索を行なうことにより、必要な医用画像を画像保管装置3から取得することができる。
【0021】
医用画像処理装置100は、医用画像に対して画像処理を行なう画像処理装置である。医用画像処理装置100は、例えば、ワークステーション、PACS(Picture Archiving and Communication System)の画像サーバやビューワ、電子カルテシステムの各種装置などである。
【0022】
医用画像処理装置100は、医用画像診断装置2又は画像保管装置3から取得した医用画像に対して種々の処理を行う。本実施形態において、医用画像処理装置100は、例えば、画像診断医や放射線科医等の医療従事者が医用画像の読影に用いる装置である。
【0023】
図2は、実施形態に係る医用画像処理装置100の構成の一例を示すブロック図である。
図2に示すように、医用画像処理装置100は、入力インタフェース110と、ディスプレイ120と、通信インタフェース130と、記憶回路140と、処理回路150とを有する。
【0024】
入力インタフェース110は、マウス等のポインティングデバイス、キーボード等を有し、医用画像処理装置100に対する各種操作の入力をユーザである医師から受け付け、ユーザから受け付けた指示や設定の情報を処理回路150に転送する。
【0025】
ディスプレイ120は、ユーザによって参照されるモニタである。ディスプレイ120は、処理回路150による制御のもと、画像をユーザに表示したり、入力インタフェース110を介してユーザから各種指示や各種設定等を受け付けるためのGUI(Graphical User Interface)を表示したりする。ディスプレイ120は、表示部の一例である。通信インタフェース130は、NIC(Network Interface Card)等であり、他の装置との間で通信を行う。
【0026】
記憶回路140は、例えば、RAM、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置である。記憶回路140には、医用画像診断装置2又は画像保管装置3から取得した医用画像が記憶される。
【0027】
処理回路150は、医用画像処理装置100の構成要素を制御する。例えば、処理回路150は、
図2に示すように、表示制御機能151、取得機能152、位置合わせ機能153、抽出機能154、対応付け機能155、受付機能156、算出機能157、補正機能158、及び提示機能159を実行する。
【0028】
ここで、例えば、処理回路150の構成要素である表示制御機能151、取得機能152、位置合わせ機能153、抽出機能154、対応付け機能155、受付機能156、算出機能157、補正機能158、及び提示機能159が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路140に記録されている。
【0029】
処理回路150は、各プログラムを記憶回路140から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路150は、
図2の処理回路150内に示された各機能を有することとなる。
【0030】
ここで、表示制御機能151は、表示制御部の一例である。取得機能152は、取得部の一例である。抽出機能154は、抽出部の一例である。対応付け機能155は、第1対応付け部及び第2対応付け部の一例である。受付機能156は、受付部の一例である。算出機能157は、算出部の一例である。補正機能158は、補正部の一例である。提示機能159は、提示部の一例である。
【0031】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等の回路を意味する。
【0032】
また、「プロセッサ」という文言は、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスとして、例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)が挙げられる。
【0033】
また、プログラマブル論理デバイスとして、例えば、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))が挙げられる。プロセッサが例えばCPUである場合、プロセッサは記憶回路140に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばASICである場合、記憶回路140にプログラムを保存する代わりに、プロセッサの回路内にプログラムが直接組み込まれる。
【0034】
なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図2における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0035】
以上、本実施形態に係る医用画像処理装置100を含む医用画像処理システム1の全体構成について説明した。このような構成のもと、医用画像処理装置100は、効率的な医用画像同士の位置合わせを支援する。具体的には、医用画像処理装置100の処理回路150は、表示制御機能151、取得機能152、位置合わせ機能153、抽出機能154、対応付け機能155、受付機能156、算出機能157、補正機能158、及び提示機能159を機能部として備え、以下の処理を行う。
【0036】
表示制御機能151は、各種情報を表示装置に表示させる制御を行う。例えば、表示制御機能151は、医用画像やGUI等をディスプレイ120に表示させる。表示制御機能151がディスプレイ120に表示させる各種情報については後述する。
【0037】
取得機能152は、医用画像を取得する。例えば、取得機能152は、医用画像診断装置2又は医用画像保管装置3から、診断の対象となる対象被検体の患者ID等を用いて、現在の対象被検体の状態を撮影した医用画像(以下、現在医用画像ともいう)を取得する。この場合の現在医用画像は、第1医用画像の一例である。なお、現在医用画像は、直近に撮影された対象被検体の状態を撮影したものであってもよい。現在医用画像には、対象被検体の診断の対象となる対象部位の状態を表す領域が含まれる。
【0038】
また、取得機能152は、同様に、現在医用画像との対応付けの対象となる、当該現在医用画像よりも過去に撮影された対象被検体の医用画像(以下、過去医用画像ともいう)を取得する。この場合の過去医用画像は、第2医用画像の一例である。過去医用画像には、対象被検体の対象部位を表す領域が含まれる。
【0039】
位置合わせ機能153は、医用画像と、当該医用画像とは異なる時間に撮影された、他の医用画像との位置合わせを行う。例えば、位置合わせ機能153は、現在医用画像と過去医用画像との位置合わせを行う。
【0040】
一例として、位置合わせ機能153は、現在医用画像及び過去医用画像から1以上の解剖学的ランドマークを抽出し、現在医用画像の当該解剖学的ランドマークと過去医用画像の当該解剖学的ランドマークとを重ね合わせることにより両者の位置合わせを行う。対象部位が肝臓であれば、位置合わせ機能153は、形態的特徴に基づく肝臓の解剖学的特徴点を解剖学的ランドマークとして、上記の位置合わせを実行する。
【0041】
なお、位置合わせ機能153は、現在医用画像及び過去医用画像の公知のセグメンテーション技術によるセグメンテーション結果等を用いて、両者の位置合わせを行ってもよい。
【0042】
抽出機能154は、医用画像から疾患部位を抽出する。例えば、抽出機能154は、現在医用画像及び過去医用画像から、疾患部位を抽出する。この場合、現在医用画像上の疾患部位は、第1特徴点の一例であり、過去医用画像上の疾患部位は、第2特徴点の一例である。疾患部位は、例えば、対象被検体に発生した腫瘍である。疾患部位の抽出には、公知の技術を適宜用いることが可能である。抽出機能154は、現在医用画像からの疾患部位の抽出と、過去医用画像からの疾患部位の抽出とで同様の手法を用いて抽出を行う。
【0043】
一例として、抽出機能154は、入力された医用画像から、当該医用画像上の疾患部位を表す情報(医用画像における疾患部位の位置や疾患部位の形状を表す情報)を推論するように機能付けられた学習済モデルを用いて、疾患部位を抽出する。この場合の学習済モデルは、公知の機械学習や深層学習等を用いて、医用画像を入力側教師データ、疾患部位を表す情報を出力側教師データとして学習を行った学習済モデルである。
【0044】
なお、過去医用画像については、疾患部位の抽出結果を医用画像保管装置3の記憶装置等に記憶しておき、取得機能152が医用画像と共に当該医用画像の疾患部位の抽出結果を取得してもよい。
【0045】
対応付け機能155は、医用画像上の疾患部位と、当該医用画像とは異なる他の医用画像上の疾患部位とを対応付ける。例えば、対応付け機能155は、ブロックマッチング法を利用して、抽出機能154で抽出された現在医用画像上の疾患部位の位置と、過去医用画像上の疾患部位の位置とを対応付ける。
【0046】
この場合、例えば、対応付け機能155は、現在医用画像上の疾患部位を表す領域の夫々について、当該領域の特定の画素と当該画素の周囲の画素とを含む小領域との一致度が一定以上に高い小領域を、過去医用画像上の疾患部位を表す領域の中から検出する。
【0047】
ここで、一致度を算出する方法としては、SAD(Sum of Absolute Difference)やSSD(Sum of Squared Difference)等が挙げられる。SADでは、対応付け機能155は、現在医用画像上の小領域と、過去医用画像上の小領域と各画素について差の絶対値をとり、絶対値の総和を一致度の評価値とする。評価値は、小さくなるにしたがい、一致度が高いこと示す。
【0048】
また、SADでは、対応付け機能155は、現在医用画像上の小領域と、過去医用画像上の小領域と各画素について差の2乗をとり、2乗の総和を一致度の評価値とする。評価値は、小さくなるにしたがい、一致度が高いこと示す。
【0049】
対応付け機能155は、検出した過去医用画像上の小領域の位置が、過去医用画像上における現在医用画像上の小領域の位置に対応する位置の所定範囲内に存在する場合、現在医用画像上の小領域に係る疾患部位と、過去医用画像上の小領域に係る疾患部位とを対応付ける。
【0050】
なお、上記は、疾患部位の対応付けの手法の一例であり、ブロックマッチング法以外の手法を用いて、疾患部位の対応付けを行ってもよい。
【0051】
対応付けの結果は、表示制御機能151の制御により、ディスプレイ120等に表示される。ここで、
図3は、疾患部位の対応付け結果の表示処理の一例を説明する図である。
図3は、疾患部位の対応付け結果を表示する第1画面120Aの一例を表している。
【0052】
図3の例では、第1画面120Aは、縦2段組の表示領域で構成される。
図3の上段には、過去医用画像上の疾患部位P1~P3が表示されている。また、下段には、現在医用画像上の疾患部位C1~C3が表示されている。ここで、対象部位が肝臓であれば、疾患部位P1~P3、疾患部位C1~C3は、対象被検体の肝臓に発生した腫瘍等を表すものである。
【0053】
一例として、疾患部位P1~P3は、対象被検体の体軸方向における過去医用画像上の疾患部位P1~P3の位置に応じた順序で横方向に並べて表示される。疾患部位C1~C3についても同様である。なお、疾患部位P1~P3、C1~C3は、体軸方向に直行する方向における疾患部位の位置に応じた順序で並べて表示されてもよい。
【0054】
図3は一例であり、現在医用画像上の疾患部位及び過去医用画像上の疾患部位の表示個数は3つに限定されない。また、現在医用画像上の疾患部位の数と過去医用画像上の疾患部位の数とが異なっていてもよい。
【0055】
図3の例では、対応付け機能155による対応付け結果を第1表示枠S(S1及びS2)で表している。この場合の第1表示枠Sは、対応付け情報の一例である。第1表示枠S1は、疾患部位P1と疾患部位C1とが対応付けられていることを表している。また、第1表示枠S2は、疾患部位P3と疾患部位C2とが対応付けられていることを表している。また、
図3の例では、第1画面120Aは、疾患部位P2及び疾患部位C3は、対応付けが行われていないことを表している。
【0056】
このように過去医用画像上の疾患部位と現在医用画像上の疾患部位との対応関係を表示させることで、ユーザは、現在医用画像上のどの疾患部位が、過去医用画像上のどの疾患部位に対応付けられたかを容易に把握できる。
【0057】
なお、
図3では、現在医用画像上の疾患部位と過去医用画像上の疾患部位との対応関係を第1表示枠Sで表しているが、対応関係を表現する手法はこれに限定されない。例えば、現在医用画像上の疾患部位と、当該疾患部位に対応する過去医用画像上の疾患部位とを直線等で結ぶことにより、対応関係を表現してもよい。また、例えば、第1表示枠Sを表示させることなく、単に、対応する疾患部位同志を上下又は左右に並べて表示することで対応関係を表現してもよい。
【0058】
図2に戻り、説明を続ける。受付機能156は、医用画像上の疾患部位と、当該医用画像とは異なる他の医用画像上の疾患部位との組のうち、1つの組について対応付けの修正入力を受付ける。例えば、受付機能156は、入力インタフェース110を介して、ユーザから、対応付け機能155で対応付けられた過去医用画像上の疾患部位と現在医用画像上の疾患部位との組のうち、1つの現在医用画像上の疾患部位を、過去医用画像上の他の疾患部位に対応付ける修正入力を受け付ける。
【0059】
ここで、
図4は、疾患部位の対応付けの修正入力の受付処理の一例を説明する図である。
図4は、
図3に示した第1画面120A上でユーザから修正入力を受け付ける場合の一例を表している。
【0060】
例えば、ユーザは、現在医用画像上の疾患部位C1~C3の何れか1つをマウスでドラッグする等して、対応付ける過去医用画像上の疾患部位P1~P3の何れか1つの下方に移動させることにより、対応付けの修正入力を行う。
図4の例では、受付機能156は、疾患部位P3と対応付けられた疾患部位C2を、疾患部位P2の下方に移動することで、疾患部位P2に対応付ける修正入力を受け付ける。
【0061】
また、白枠WFは、修正入力の対象となっている現在医用画像上の疾患部位を表す枠である。
図4の例では、白枠WFは、疾患部位C2が修正入力の対象となっていることを表している。
【0062】
また、例えば、修正入力の対象となる現在医用画像上の疾患部位が選択された場合、選択された疾患部位に白枠WFが表示される。このとき、当該疾患部位に第1表示枠Sが表示されていれば、当該第1表示枠Sは消去される。
図4の例では、
図3では表示されていた、疾患部位P3と疾患部位C2とが対応付けられている第1表示枠S2が消去され、代わりに疾患部位C2に白枠WFが表示されている。
【0063】
図2に戻り、説明を続ける。算出機能157は、修正入力に係る疾患部位の修正前後の位置差を算出する。例えば、算出機能157は、修正入力に係る修正前後の疾患部位間の過去医用画像上での位置差を算出する。
【0064】
一例として、算出機能157は、修正前に修正入力に係る現在医用画像上の疾患部位と対応付けられていた過去医用画像上の疾患部位の重心と、修正後に当該現在医用画像上の疾患部位と対応付けられた過去医用画像上の疾患部位の重心との位置差をベクトルとして算出する。
【0065】
図3及び
図4の例では、算出機能157は、修正入力前に疾患部位C2と対応付けられていた疾患部位P3の重心と、修正入力後に疾患部位C2と対応付けられた疾患部位P2の重心との位置差をベクトルとして算出する。
【0066】
なお、上記は修正前後の疾患部位の位置差を算出する手法の一例であり、位置差を算出する手法は上記に限定されない。
【0067】
補正機能158は、医用画像同士の位置合わせ結果を補正する。例えば、補正機能158は、算出機能157で算出された位置差に基づいて、位置合わせ機能153による現在医用画像と過去医用画像との位置合わせの結果を補正する。
【0068】
一例として、補正機能158は、現在医用画像の位置を固定した状態で、算出機能157で算出されたベクトルが表す方向に当該ベクトルが表す距離分、過去医用画像を移動させることで位置合わせ機能153による位置合わせの結果を補正する。
【0069】
提示機能159は、補正された位置合わせの結果に基づいて、1以上の疾患部位のうち、対応付けの対象が変更される疾患部位の修正候補を提示する。例えば、まず、対応付け機能155が補正機能158で補正された位置合わせ結果に従い、現在医用画像上の疾患部位と、過去医用画像上の疾患部位との対応付け処理を再実行する。なお、この場合、対応付け機能155は、修正入力に係る疾患部位の組以外の疾患部位についてのみ対応付け処理を行ってもよい。
【0070】
提示機能159は、位置合わせ結果の補正前の対応付け結果と、補正後の対応付け結果とを比較し、対応付けの結果が変化する現在医用画像上の疾患部位と過去医用画像上の疾患部位との組を検出する。提示機能159は、当該組を、疾患部位の対応付け結果の修正候補として提示する。提示機能159によって提示された修正候補は、例えば、表示制御機能151の制御により、ディスプレイ120に表示される。
【0071】
ここで、
図5は、疾患部位の対応付け結果の修正候補の提示処理の一例を説明する図である。
図5は、
図4に示した第1画面120A上でユーザから受け付けた修正入力に従って、修正候補を提示する場合の一例を表している。
【0072】
図5の第1画面120Aでは、第1表示枠S1は、疾患部位P1と疾患部位C1とが対応付けられていることを表している。また、第1表示枠S2は、疾患部位P2と疾患部位C2とが対応付けられていることを表している。また、第1表示枠S3は、疾患部位P3と疾患部位C3とが対応付けられていることを表している。
【0073】
また、
図5の例では、位置合わせ結果を補正したことにより、対応付けの結果が変更された現在医用画像上の疾患部位と過去医用画像上の疾患部位との組を第2表示枠CF(CF1及びCF2)で表している。
【0074】
第2表示枠CF1は、位置合わせ結果の補正により、補正前には対応付けられていなかった疾患部位P2と疾患部位C2とが対応付けられることを表している。第2表示枠CF2は、同様に、補正前には対応付けられていなかった疾患部位P3と疾患部位C3とが対応付けられることを表している。
【0075】
これにより、ユーザは、位置合わせ結果の補正で対応付けが変更される過去医用画像上の疾患部位と現在医用画像上の疾患部位との組を容易に把握することができる。
【0076】
図5の例では、補正前と補正後とで組み合わせが変化しない疾患部位P1と疾患部位C1との組についても第1画面120Aに表示させているが、表示の形態はこれに限定されない。
【0077】
例えば、対応付けの修正候補を提示する場合には、組み合わせが変化しないものを第1画面120Aに表示させないこととしてもよい。また、例えば、
図5のように、所定の順序で左から横並びに疾患部位が表示されている場合、修正入力に係る疾患部位の組よりも右側に位置する組のみを表示させてもよい。この場合、対応付け機能155は、修正入力に係る疾患部位の組よりも左側に位置する疾患部位については、再度の対応付け処理を実行しなくてもよい。
【0078】
なお、受付機能156は、
図5の第1画面120A上で更にユーザから対応付けの修正入力を受け付けてもよい。この場合、補正機能158は、更に位置合わせ結果の補正を行ってもよいし、対応付け結果のみを修正してもよい。これにより、位置合わせ結果の補正を行ってもなお対応付けに誤りがあったような場合でも、ユーザは容易に対応付けを修正できる。
【0079】
受付機能156が第1画面120A上でユーザから対応付け結果の確定入力を受け付ける等して対応付け結果が確定した場合、処理回路150は、通信インタフェース130を介して、対応付け結果を医用画像保管装置3等に送信してもよい。この場合、医用画像保管装置3には、医用画像と共に、対応付け結果が保管される。
【0080】
次に、本実施形態に係る医用画像処理装置100が実行する処理について説明する。
図6は、本実施形態に係る医用画像処理装置100が実行する処理の一例を示すフローチャートである。
【0081】
まず、取得機能152は、現在医用画像を取得する(ステップS101)。例えば、取得機能152は、対象被検体の患者ID等を用いて、医用画像診断装置2又は医用画像保管装置3から現在の対象被検体の状態を撮影した医用画像(現在医用画像)を取得する。
【0082】
次いで、取得機能152は、過去医用画像を取得する(ステップS102)。例えば、取得機能152は、同様に、ステップS101で取得した現在医用画像よりも過去に撮影された対象患者の医用画像(過去医用画像)を取得する。
【0083】
次いで、位置合わせ機能153は、現在医用画像と過去医用画像との位置合わせを実行する(ステップS103)。例えば、位置合わせ機能153は、解剖学的ランドマーク等を利用して、現在医用画像と過去医用画像との位置合わせを実行する。
【0084】
次いで、抽出機能154は、現在医用画像及び過去医用画像から疾患部位を抽出する(ステップS104)。例えば、抽出機能154は、公知の機械学習や深層学習等を用いて学習済モデル等を利用して、現在医用画像及び過去医用画像から疾患部位を抽出する。
【0085】
次いで、対応付け機能155は、現在医用画像上の疾患部位と過去医用画像上の疾患部位とを対応付ける(ステップS105)。例えば、対応付け機能155は、ブロックマッチング法等の手法を利用して、現在医用画像上の疾患部位と過去医用画像上の疾患部位とを対応付ける。
【0086】
次いで、受付機能156は、疾患部位の組み合わせの修正入力を受け付ける(ステップS106)。例えば、受付機能156は、疾患部位の組を表示した画面を介して、ユーザから1の疾患部位の組み合わせの修正入力を受け付ける。
【0087】
次いで、算出機能157は、修正入力に係る修正前後の疾患部位間の過去医用画像上での位置差を算出する(ステップS107)。例えば、算出機能157は、修正前に修正入力に係る現在医用画像上の疾患部位と対応付けられていた過去医用画像上の疾患部位の重心と、修正後に当該現在医用画像上の疾患部位と対応付けられた過去医用画像上の疾患部位の重心との位置差をベクトルとして算出する。
【0088】
次いで、補正機能158は、位置合わせ結果を補正する(ステップS108)。例えば、補正機能158は、現在医用画像の位置を固定した状態で、ステップS107で算出されたベクトルが表す方向に当該ベクトルが表す距離分、過去医用画像を移動させることで、ステップS103の位置合わせの結果を補正する。
【0089】
次いで、提示機能159は、疾患部位の組み合わせの修正候補を提示し(ステップS109)、本処理を終了する。例えば、対応付け機能155は、ステップS108で補正された位置合わせ結果に基づいて、再度対応付け処理を行う。提示機能159は、再度の対応付けの結果、補正前と補正後とで疾患部位の組み合わせが変更になるものを修正候補として提示する。
【0090】
以上、説明したように、本実施形態に係る医用画像処理装置100は、現在医用画像上の疾患部位と、過去医用画像上の疾患部位とを、現在医用画像と過去医用画像との位置合わせ結果に従って対応付ける。また、本実施形態に係る医用画像処理装置100は、ユーザから現在医用画像上の疾患部位を、過去医用画像上の他の疾患部位と対応付ける修正入力を受付け、当該修正入力の内容に従って、修正入力に係る疾患部位間の過去医用画像上における位置差を算出し、当該位置差に基づいて、位置合わせ結果を補正し、位置合わせ結果の補正により、組み合わせが変更される疾患部位の組の修正候補を提示する。
【0091】
これにより、自動的に現在医用画像上の疾患部位と過去医用画像上の疾患部位とが対応付けられるため、ユーザは、現在医用画像上の疾患部位と過去医用画像上の疾患部位との対応関係を考えながら読影を行う必要がなくなる。つまり、本実施形態に係る医用画像処理装置100によれば、ユーザによる効率的な医用画像の読影を支援することができる。
【0092】
ところで、現在医用画像と過去医用画像との位置合わせは完全ではないため、位置合わせ結果に誤りが生じてしまうことも考えられる。この場合、位置合わせ結果の誤りに起因して、現在医用画像上の疾患部位と過去医用画像上の疾患部位との対応付けの結果に誤りが生じる可能性もある。本実施形態に係る医用画像処理装置100は、このような場合であっても、ユーザから1つの疾患部位の組み合わせについて、修正入力を受け付け、当該修正入力の内容に従って位置合わせ結果を補正することができる。つまり、本実施形態に係る医用画像処理装置100によれば、異なる時間に撮影された医用画像同士の位置合わせを効率的に行うことができる。
【0093】
また、本実施形態に係る医用画像処理装置100は、補正された位置合わせ結果に基づいて、再度対応付け処理を実行することで、ユーザに対応付け結果の修正候補を提示することができる。したがって、複数の疾患部位同志の対応付けに誤りがあった場合でも、ユーザは、1つの疾患部位の組み合わせについて修正入力を行うだけで、複数の修正候補を把握することができる。
【0094】
なお、上述した実施形態は、医用画像処理システム1が有する各装置の構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係る変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。
【0095】
(変形例)
上述した実施形態では、現在医用画像上の疾患部位と、過去医用画像上の疾患部位とを、疾患部位のみを表す画像として上下に並べて表示させる形態について説明した。しかしながら、現在医用画像上の疾患部位と、過去医用画像上の疾患部位とを、対象部位の全体像を表す画像と共に表示させてもよい。
【0096】
ここで、
図7は、変形例に係る疾患部位の対応付け結果の表示処理の一例を説明する図である。
図7は、疾患部位の対応付け結果を対象部位の全体像と共に表示する第2画面120Bの一例を表している。
【0097】
図7の例では、第2画面120Bは、横2列組の表示領域で構成される。
図7の左列には、過去医用画像上の疾患部位PA1~PA3を含む被検体画像PT1が表示されている。また、右列には、現在医用画像上の疾患部位CA1~CA3を含むPT2が表示されている。ここで、対象部位が肝臓であれば、被検体画像PT1及びPT2は、肝臓の全体像を把握することが可能な医用画像である。
【0098】
なお、
図7は一例であり、現在医用画像上の疾患部位及び過去医用画像上の疾患部位の表示個数は3つに限定されない。また、現在医用画像上の疾患部位の数と過去医用画像上の疾患部位の数とが異なっていてもよい。
【0099】
また、
図7の例では、対応付け機能155による対応付け結果を第1直線SL(SL1及びSL2)で表している。第1直線SL1は、疾患部位PA1と疾患部位CA1とが対応付けられていることを表している。また、第2直線SL2は、疾患部位PA2と疾患部位CA3とが対応付けられていることを表している。
【0100】
また、
図8は、変形例に係る疾患部位の対応付け結果の修正入力の受付処理の一例を説明する図である。
図8は、
図7に示した第2画面120B上でユーザから修正入力を受け付ける場合の一例を表している。
【0101】
例えば、ユーザは、現在医用画像上の疾患部位CA1~CA3の何れか1つをマウスでドラッグする等して、対応付ける過去医用画像上の疾患部位PA1~PA3の何れか1つの所定範囲へ移動させることにより、対応付けの修正入力を行う。
図8の例では、受付機能156は、対応付けが行われていない疾患部位CA2を、疾患部位PA2の所定範囲に移動することで、疾患部位PA2と疾患部位C2とを対応付ける修正入力を受け付ける。
【0102】
また、白枠WFは、
図4の例と同様に、修正入力の対象となっている現在医用画像上の疾患部位を表す枠である。
図8の例では、白枠WFは、疾患部位CA2が修正入力の対象となっていることを表している。
【0103】
また、第2直線CSは、修正入力の対象となっている現在医用画像上の疾患部位と過去医用画像上の疾患部位との組み合わせを表す直線である。
図8の例では、第2直線CSは、疾患部位PA2と疾患部位CA2との組が修正入力の対象となっていることを表している。
【0104】
また、例えば、修正入力の対象となる現在医用画像上の疾患部位が選択された場合、選択された疾患部位に白枠WFが表示される。このとき、当該疾患部位に第1直線SLが表示されていれば、当該第1直線SLは消去される。
【0105】
図8の例では、
図7では表示されていた、疾患部位P3と疾患部位C2とが対応付けられていることを表す第1直線SL2が消去され、代わりに疾患部位CA2に白枠WFが表示されている。また、
図8の例では、同様に、第1直線SL2の代わりに疾患部位PA2及び疾患部位CA2の組に第2直線CSが表示されている。
【0106】
また、
図9は、変形例に係る疾患部位の対応付け結果の修正候補の提示処理の一例を説明する図である。
図9は、
図8に示した第2画面120B上でユーザから受け付けた修正入力に従って、対応付け結果の修正候補を提示する場合の一例を表している。
【0107】
図9の第2画面120Bでは、第1直線SL1は、疾患部位PA1と疾患部位CA1とが対応付けられていることを表している。また、第1直線SL2は、疾患部位PA2と疾患部位CA2とが対応付けられていることを表している。また、第1直線SL3は、疾患部位PA3と疾患部位CA3とが対応付けられていることを表している。
【0108】
また、
図9の例では、位置合わせ結果を補正したことにより、対応付けの結果が変更となる現在医用画像上の疾患部位と過去医用画像上の疾患部位との組を第2表示枠CF(CF3及びCF4)で表している。
【0109】
第2表示枠CF3は、位置合わせ結果の補正により、補正前には対応付けられていなかった疾患部位PA2と疾患部位CA2とが対応付けられることを表している。第2表示枠CF4は、同様に、補正前には対応付けられていなかった疾患部位PA3と疾患部位CA3とが対応付けられることを表している。
【0110】
本変形例によれば、対象部位の全体像を表す画像と、現在医用画像上の疾患部位と過去医用画像上の疾患部位との対応関係とが1の画面に表示される。このため、ユーザは、より対象被検体の疾患部位の状態を把握しやすくなる。
【0111】
なお、本実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0112】
また、本実施形態で説明した方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0113】
以上説明した少なくとも1つの実施形態によれば、異なる時間に撮影された医用画像同士の位置合わせを効率的に行うことができる。
【0114】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0115】
100 医用画像処理装置
120 ディスプレイ
151 表示制御機能
152 取得機能
153 位置合わせ機能
154 抽出機能
155 対応付け機能
156 受付機能
157 算出機能
158 補正機能
159 提示機能