(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119933
(43)【公開日】2022-08-17
(54)【発明の名称】修正指示領域表示装置、方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20220809BHJP
【FI】
A61B6/03 360Q
A61B6/03 360D
A61B6/03 360J
【審査請求】有
【請求項の数】17
【出願形態】OL
(21)【出願番号】P 2022088552
(22)【出願日】2022-05-31
(62)【分割の表示】P 2021524718の分割
【原出願日】2020-05-01
(31)【優先権主張番号】P 2019104701
(32)【優先日】2019-06-04
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】湯澤 拓矢
(57)【要約】 (修正有)
【課題】修正指示領域表示装置、方法およびプログラムにおいて、3次元画像のある断層面の断層画像に対する関心領域の修正時に、他の断層面の断層画像における意図しない過修正等の発生を防止する。
【解決手段】第1の表示制御部が、複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の第1の断層画像上における断面を、第1の断面修正指示領域として第1の断層画像に重畳表示する。第2の表示制御部が、3次元修正指示領域が含まれる、複数の断層画像のうちの予め定められた数の第2の断層画像を表示部に表示し、かつ3次元修正指示領域の第2の断層画像上における断面を、第2の断面修正指示領域として第2の断層画像に重畳表示する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを有し、
前記プロセッサは、複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ前記3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の前記第1の断層画像上における断面を、第1の断面修正指示領域として前記第1の断層画像に重畳表示し、
前記3次元修正指示領域が含まれる複数の断層画像のうちの予め定められた数の第2の断層画像を前記表示部に表示し、かつ前記3次元修正指示領域の前記第2の断層画像上における断面を、第2の断面修正指示領域として前記第2の断層画像に重畳表示する修正指示領域表示装置。
【請求項2】
前記プロセッサは、前記第2の断層画像の表示の指示に基づいて、前記第2の断層画像および前記第2の断面修正指示領域を前記表示部に表示する請求項1に記載の修正指示領域表示装置。
【請求項3】
前記3次元修正指示領域が含まれる複数の断層画像は、前記第1の断層画像に隣接する少なくとも1つの断層画像を含む請求項1または2に記載の修正指示領域表示装置。
【請求項4】
前記第1の断層画像と前記予め定められた数の第2の断層画像との間には、少なくとも1つの断層画像を含む、請求項1から3のいずれか1項に記載の修正指示領域表示装置。
【請求項5】
前記予め定められた数の第2の断層画像は、前記第1の断層画像の上に位置する少なくとも1つの断層画像および前記第1の断層画像の下に位置する少なくとも1つの断層画像を含む、請求項1から4のいずれか1項に記載の修正指示領域表示装置。
【請求項6】
前記第1の断層画像の上に位置する第2の断層画像と前記第1の断層画像との距離と、前記第1の断層画像の下に位置する第2の断層画像と前記第1の断層画像との距離とは等しい、請求項5に記載の修正指示領域表示装置。
【請求項7】
前記第1の断層画像の上に位置する第2の断層画像と前記第1の断層画像との間に含まれる断層画像の数と、前記第1の断層画像の下に位置する第2の断層画像と前記第1の断層画像との間に含まれる断層画像の数とは等しい、請求項5に記載の修正指示領域表示装置。
【請求項8】
前記予め定められた数の第2の断層画像は、前記第1の断層画像からの距離が相対的に近い第2の断層画像と、前記第1の断層画像からの距離が相対的に遠い第2の断層画像とを含む、請求項1から5のいずれか1項に記載の修正指示領域表示装置。
【請求項9】
前記第1の断層画像からの距離が相対的に近い第2の断層画像と前記第1の断層画像との距離と、前記第1の断層画像からの距離が相対的に遠い第2の断層画像と前記第1の断層画像からの距離が相対的に近い第2の断層画像との距離は等しい、請求項8に記載の修正指示領域表示装置。
【請求項10】
前記第1の断層画像からの距離が相対的に近い第2の断層画像と前記第1の断層画像との間に含まれる断層画像の数と、前記第1の断層画像からの距離が相対的に遠い第2の断層画像と前記第1の断層画像からの距離が相対的に近い第2の断層画像との間に含まれる断層画像の数とは等しい、請求項8に記載の修正指示領域表示装置。
【請求項11】
前記プロセッサは、前記第2の断層画像における前記第2の断面修正指示領域を含む部分領域を前記表示部に表示する、請求項1から10のいずれか1項に記載の修正指示領域表示装置。
【請求項12】
前記プロセッサは、前記第1の断層画像に含まれる前記関心領域の境界に対する、前記第1の断面修正指示領域を用いての修正指示により、前記第1の断層画像における前記関心領域の境界を修正する、請求項1から11のいずれか1項に記載の修正指示領域表示装置。
【請求項13】
前記プロセッサは、前記第1の断層画像に含まれる前記関心領域の境界に対する、前記第1の断面修正指示領域を用いての修正指示に応じ、前記第2の断層画像に含まれる前記関心領域の境界を、前記第2の断面修正指示領域により修正する、請求項12に記載の修正指示領域表示装置。
【請求項14】
前記3次元修正指示領域は球状である、請求項1から13のいずれか1項に記載の修正指示領域表示装置。
【請求項15】
前記プロセッサは、前記複数の断層画像から関心領域を抽出する、請求項1から14のいずれか1項に記載の修正指示領域表示装置。
【請求項16】
複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ前記3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の前記第1の断層画像上における断面を、第1の断面修正指示領域として前記第1の断層画像に重畳表示し、
前記3次元修正指示領域が含まれる複数の断層画像のうちの予め定められた数の第2の断層画像を前記表示部に表示し、かつ前記3次元修正指示領域の前記第2の断層画像上における断面を、第2の断面修正指示領域として前記第2の断層画像に重畳表示する修正指示領域表示方法。
【請求項17】
複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ前記3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の前記第1の断層画像上における断面を、第1の断面修正指示領域として前記第1の断層画像に重畳表示する手順と、
前記3次元修正指示領域が含まれる複数の断層画像のうちの予め定められた数の第2の断層画像を前記表示部に表示し、かつ前記3次元修正指示領域の前記第2の断層画像上における断面を、第2の断面修正指示領域として前記第2の断層画像に重畳表示する手順とをコンピュータに実行させる修正指示領域表示プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、3次元画像において抽出された関心領域の境界を修正するための修正指示領域を表示する修正指示領域表示装置、方法およびプログラムに関するものである。
【背景技術】
【0002】
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の3次元画像を用いての画像診断が可能となってきている。このような3次元画像に含まれる臓器および病変等の関心領域を自動で抽出することも行われている。しかしながら、自動で関心領域を抽出する場合、過抽出および抽出不足が発生する可能性がある。このような場合、自動で抽出された関心領域の境界を修正する必要がある。
【0003】
境界を修正する手法として、3次元画像を構成する2次元の断層画像を表示し、表示された断層画像において、円形等の予め定められた形状を有するカーソルを移動することにより、関心領域における過抽出された部分を削除したり、抽出不足があった部分を追加したりすることが行われている。しかしながら、断層画像毎に関心領域の境界を修正すると、断層画像に垂直な断面において関心領域の境界が滑らかに連結しなくなる可能性がある。
【0004】
そこで、球状の3次元カーソルを用いることにより、3次元画像において3次元的に関心領域の境界を修正することが考えられる。しかしながら、断層画像に垂直な断面において、関心領域の境界が球状になっていない場合がある。このため、球状のカーソルを用いて関心領域の境界を修正すると、意図しない過修正等または修正不足(以下、過修正等とする)が発生してしまう可能性がある。
【0005】
一方、3次元画像を構成する複数の断層画像のうちの2つの断層画像において関心領域を設定し、2つの断層画像の間に存在する断層画像については、2つの断層画像において設定された関心領域を補間して関心領域を設定する手法が提案されている(特許文献1参照)。また、3次元画像を構成する断層画像について、指定した断層面における関心領域の輪郭線の変形操作を行うと、他の断層面における輪郭線の変形操作を行う手法も提案されている(特許文献2参照)。特許文献1,2の手法を用いることにより、表示されていない断層画像に対しても、関心領域の修正を行うことができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10-57371号公報
【特許文献2】特開2012-14360号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載された手法は、2つの断層画像の間に存在する断層画像においてどのように関心領域が設定されるかが、設定された関心領域が表示されるまではユーザに分からない。また、特許文献2に記載された手法においても、他の断層面においてどのように輪郭線が変形されるのかが、他の断層面が表示されるまで分からない。このため、特許文献1,2に記載された手法においても、関心領域において意図しない過修正等が発生する可能性がある。
【0008】
本開示は上記事情に鑑みなされたものであり、3次元画像のある断層面の断層画像に対する関心領域の修正時に、他の断層面の断層画像における意図しない過修正等の発生を防止することを目的とする。
【課題を解決するための手段】
【0009】
本開示による修正指示領域表示装置は、複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の第1の断層画像上における断面を、第1の断面修正指示領域として第1の断層画像に重畳表示する第1の表示制御部と、3次元修正指示領域が含まれる、第1の断層画像に隣接する少なくとも1つの第2の断層画像を表示部に表示し、かつ3次元修正指示領域の第2の断層画像上における断面を、第2の断面修正指示領域として第2の断層画像に重畳表示する第2の表示制御部とを備える。
【0010】
なお、本開示による修正指示領域表示装置においては、第2の表示制御部は、第2の断層画像の表示の指示に基づいて、第2の断層画像および第2の断面修正指示領域を表示部に表示するものであってもよい。
【0011】
また、本開示による修正指示領域表示装置においては、第2の表示制御部は、3次元修正指示領域が含まれる第2の断層画像のうちの予め定められた数の第2の断層画像を表示部に表示するものであってもよい。
【0012】
また、本開示による修正指示領域表示装置においては、第2の表示制御部は、第2の断層画像における第2の修正指示領域を含む部分領域を表示部に表示するものであってもよい。
【0013】
また、本開示による修正指示領域表示装置においては、第1の断層画像に含まれる関心領域の境界に対する、第1の断面修正指示領域を用いての修正指示により、第1の断層画像における関心領域の境界を修正する第1の修正部をさらに備えるものであってもよい。
【0014】
また、本開示による修正指示領域表示装置においては、第1の断層画像に含まれる関心領域の境界に対する、第1の断面修正指示領域を用いての修正指示に応じ、第2の断層画像に含まれる関心領域の境界を、第2の断面修正指示領域により修正する第2の修正部をさらに備えるものであってもよい。
【0015】
また、本開示による修正指示領域表示装置においては、3次元修正指示領域は球状であってもよい。
【0016】
また、本開示による修正指示領域表示装置においては、複数の断層画像から関心領域を抽出する関心領域抽出部をさらに備えるものであってもよい。
【0017】
本開示による修正指示領域表示方法は、複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の第1の断層画像上における断面を、第1の断面修正指示領域として第1の断層画像に重畳表示し、
3次元修正指示領域が含まれる、第1の断層画像に隣接する少なくとも1つの第2の断層画像を表示部に表示し、かつ3次元修正指示領域の第2の断層画像上における断面を、第2の断面修正指示領域として第2の断層画像に重畳表示する。
【0018】
なお、本開示による修正指示領域表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【0019】
本開示による他の修正指示領域表示装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
複数の断層画像からなる3次元画像のうちの第1の断層画像を表示部に表示し、かつ3次元画像から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の第1の断層画像上における断面を、第1の断面修正指示領域として第1の断層画像に重畳表示し、
3次元修正指示領域が含まれる、第1の断層画像に隣接する少なくとも1つの第2の断層画像を表示部に表示し、かつ3次元修正指示領域の第2の断層画像上における断面を、第2の断面修正指示領域として第2の断層画像に重畳表示する処理を実行する。
【発明の効果】
【0020】
本開示によれば、3次元画像のある断層面の断層画像に対する関心領域の修正時に、他の断層面の断層画像における意図しない過修正等の発生を防止することができる。
【図面の簡単な説明】
【0021】
【
図1】本開示の実施形態による修正指示領域表示装置を適用した、診断支援システムの概要を示すハードウェア構成図
【
図2】本開示の実施形態による修正指示領域表示装置の概略構成を示す図
【
図3】本実施形態において行われる処理を示すフローチャート
【
図4】本実施形態において行われる処理を示すフローチャート
【
図6】第2の断層画像の部分画像が表示された状態を示す図
【
図7】3次元カーソルが含まれる断層画像を説明するための図
【
図8】3次元カーソルが含まれる断層画像を説明するための図
【発明を実施するための形態】
【0022】
以下、図面を参照して本開示の実施形態について説明する。
図1は、本開示の実施形態による修正指示領域表示装置を適用した、診断支援システムの概要を示すハードウェア構成図である。
図1に示すように、診断支援システムでは、本実施形態による修正指示領域表示装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
【0023】
3次元画像撮影装置2は、被写体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。3次元画像撮影装置2により生成された3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、3次元画像撮影装置2はCT装置であり、被写体の診断対象となる部位を含むCT画像を3次元画像G0として生成する。なお、3次元画像G0は複数の断層画像からなる。
【0024】
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された3次元画像G0の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
【0025】
修正指示領域表示装置1は、1台のコンピュータに、本実施形態の修正指示領域表示プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワーク4を介して接続されたサーバコンピュータでもよい。修正指示領域表示プログラムは、ネットワーク4に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
【0026】
図2は、コンピュータに修正指示領域表示プログラムをインストールすることにより実現される修正指示領域表示装置の概略構成を示す図である。
図2に示すように、修正指示領域表示装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、修正指示領域表示装置1には、液晶ディスプレイ等の表示部14、並びにキーボードおよびマウス等の入力部15が接続されている。
【0027】
ストレージ13はハードディスクドライブ等からなり、ネットワーク4を経由して画像保管サーバ3から取得した3次元画像G0および処理に必要な情報を含む各種情報が記憶されている。
【0028】
また、メモリ12には、修正指示領域表示プログラムが記憶されている。修正指示領域表示プログラムは、CPU11に実行させる処理として、下記処理を規定する:3次元画像G0を取得する画像取得処理、3次元画像G0を構成する複数の断層画像のそれぞれから関心領域を抽出する関心領域抽出処理、複数の断層画像のうちの第1の断層画像を表示部14に表示し、かつ3次元画像G0から抽出された関心領域の境界に対する修正を行うための3次元修正指示領域の第1の断層画像上における断面を、第1の断面修正指示領域として第1の断層画像に重畳表示する第1の表示制御処理、3次元修正指示領域が含まれる、第1の断層画像に隣接する少なくとも1つの第2の断層画像を表示部14に表示し、かつ3次元修正指示領域の第2の断層画像上における断面を、第2の断面修正指示領域として第2の断層画像に重畳表示する第2の表示制御処理、第1の断層画像に含まれる関心領域の境界に対する、第1の断面修正指示領域を用いての修正指示により、第1の断層画像における関心領域の境界を修正する第1の修正処理、並びに第1の断層画像に含まれる関心領域の境界に対する、第1の断面修正指示領域を用いての修正指示に応じ、第2の断層画像に含まれる関心領域の境界を、第2の断面修正指示領域により修正する第2の修正処理。
【0029】
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、関心領域抽出部22、第1の表示制御部23、第2の表示制御部24、第1の修正部25および第2の修正部26として機能する。
【0030】
画像取得部21は、ネットワーク4に接続されたインターフェース(不図示)を介して、画像保管サーバ3から、関心領域を含む3次元画像G0を取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、臓器内の特定の領域、骨および軟骨等の構造物の領域である。なお、3次元画像G0が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13から3次元画像G0を取得するようにしてもよい。
【0031】
関心領域抽出部22は、3次元画像G0から関心領域を抽出する。このために、関心領域抽出部22は、3次元画像G0から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、臓器内の特定の領域、骨および軟骨等の構造物を関心領域として抽出するように、ディープラーニング(深層学習)がなされたニューラルネットワークからなる。なお、診断の対象となる臓器は、心臓、肝臓、肺、腎臓および脳等が挙げられる。本実施形態においては、例えば脳の白質を関心領域とする。学習済みモデルは、3次元画像G0が入力されると3次元画像G0の各画素が関心領域であるか否かを表す判別結果を出力する。そして関心領域抽出部22は、関心領域であると判別された画素からなる領域を関心領域として抽出する。
【0032】
なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、およびリカレントニューラルネットワーク(RNN(Recurrent Neural Network))等からなるものであってもよい。また、関心領域抽出部22は、機械学習がなされた学習モデルを備えたものに限定されるものではない。例えば、テンプレートマッチングおよびしきい値処理等により関心領域を抽出するものであってもよい。
【0033】
以下、第1の表示制御部23、第2の表示制御部24、第1の修正部25および第2の修正部26が行う処理について説明する。
図3および
図4は、本実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、3次元画像G0を取得する(ステップST1)。次いで、関心領域抽出部22が、3次元画像G0から関心領域を抽出する(ステップST2)。そして、第1の表示制御部23が3次元画像G0を構成する複数の断層画像Dj(j=1~n、nは断層画像の数)のうちの、関心領域を修正する対象となる第1の断層画像Dkを表示部14に表示する(ステップST3)。なお、表示する第1の断層画像Dkは、アキシャル断面、サジタル断面およびコロナル断面のいずれの断面の断層画像であってもよい。
【0034】
図5は、第1の断層画像Dkの表示画面を示す図である。
図5に示すように、表示画面50に含まれる第1の断層画像Dkは、人体の頭部のアキシャル断面の画像であり、抽出された関心領域30(すなわち白質)の境界30Lが含まれている。
図5に示す断層画像Dkは、脳を人体の下側から見たものとなっている。なお、関心領域30はマスクとして第1の断層画像Dkに含まれる。マスクは関心領域30の輪郭のみを表すものであってもよく、関心領域30の全体にハッチングを施すものであってもよく、関心領域30の全体に予め定められた色を付与するものであってもよい。以降の説明において、関心領域30は、関心領域抽出部22が第1の断層画像Dkから抽出することにより、マスクされた領域を意味するものとする。
【0035】
ここで、関心領域抽出部22による抽出結果は必ずしも正確ではなく、第1の断層画像Dkに含まれる実際の関心領域31と完全に一致しない場合がある。なお、
図5においては実際の関心領域31の境界31Lを破線で示す。このような場合、
図5に示すように抽出不足となっている領域A0を関心領域30に追加し、過抽出となっている領域A1を関心領域30から削除する必要がある。このため、ユーザは入力部15を用いて、抽出された関心領域30の境界30Lを修正する。なお、左脳および右脳の白質に対する処理は同一であるため、
図5および以降の説明においては、左脳に対する処理についてのみ説明し、右脳に対する処理については省略する。
【0036】
次いで、第1の表示制御部23が、入力部15からカーソルの表示指示がなされたか否かの監視を開始する(ステップST4)。ステップST4が肯定されると、第1の表示制御部23は、3次元カーソルを第1の断層画像Dkに重畳させて表示部14に表示する(カーソル表示;ステップST5)。ステップST4が否定されると、入力部15からカーソルの表示指示がなされたか否か監視が繰り返される(ステップST4)。本実施形態においては、3次元カーソルは球状である。このため、本実施形態においては、
図5に示すように、表示部14には、3次元カーソルの第1の断層画像Dk上における断面が円形の第1のカーソル40として表示される。なお、本実施形態においては、3次元のカーソルの半径または直径を入力部15から入力することにより、3次元カーソルのサイズを指定可能とされている。また、3次元カーソルが本開示の3次元修正指示領域に対応し、第1のカーソル40が本開示の第1の断面修正指示領域に対応する。
【0037】
続いて、第2の表示制御部24が、入力部15から第2の断層画像の表示の指示がなされたか否かを判定する(ステップST6)。ステップST6が肯定されると、第2の表示制御部24は、3次元カーソルが含まれる、第1の断層画像に隣接する少なくとも1つの第2の断層画像の部分画像を表示部14に表示する(第2の断層画像表示;ステップST7)。なお、第2の断層画像の表示の指示は、例えば入力部15がキーボードを有する場合、キーボードにおけるコントロールキーの押下とすることができるが、これに限定されるものではない。また、第2の表示制御部24は、3次元のカーソルの第2の断層画像上における断面を第2のカーソルとして第2の断層画像の部分画像に重畳表示する(ステップST8)。
図6は第2の断層画像の部分画像を表示部14に表示した状態を示す図である。
【0038】
ここで、3次元カーソルは球状であるため、
図7に示すように3次元カーソル44には、第1の断層画像Dkに隣接する複数(ここでは上下2つずつ)の第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2が含まれる。このため,本実施形態においては、第2の表示制御部24は、3次元カーソル44が含まれる5つの断層画像のうち、第1の断層画像Dk以外の4つの第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の部分画像Bk-2,Bk-1,Bk+1,Bk+2を表示部14に表示する。なお、部分画像Bk-2,Bk-1,Bk+1,Bk+2は、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2に含まれる3次元カーソル44を中心とする予め定められたサイズの領域である。また、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2のそれぞれに含まれる3次元カーソル44の断面のサイズは、第1の断層画像Dkからの距離に応じて異なるものとなっている。このため、表示部14に表示された第2の断層画像の部分画像Bk-2,Bk-1,Bk+1,Bk+2には、第1の断層画像Dkからの距離に応じたサイズの円形の第2のカーソル41A~41Dが重畳表示される。第2のカーソル41A~41Dが、本開示の第2の断面修正指示領域に対応する。
【0039】
ステップST6が否定された場合、または、ステップST8に続き、第1の修正部25が、ユーザによる3次元カーソル44を用いての修正指示を受け付ける(ステップST9)。この場合、ユーザは入力部15のマウスを用いて第1のカーソル40を移動して、関心領域30の境界30Lを実際の関心領域31の境界31Lと一致させるように修正指示を行う。第1の修正部25は、ユーザによる修正指示に従って、第1の断層画像Dkにおける関心領域30の境界30Lを、第1のカーソル40により修正する(第1の修正;ステップST10)。また、第1の断層画像Dkの関心領域30の境界30Lの修正指示に応じて、第2の修正部26が第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2のそれぞれに含まれる関心領域の境界を、第2のカーソル41A~41Dにより修正する(第2の修正;ステップST11)。
【0040】
続いて、修正の対象となる断層画像の変更指示が入力部15から入力されたか否かが判定される(ステップST12)。ステップST12が肯定されると、表示部14に表示する第1の断層画像を変更し(ステップST13)、ステップST4に戻り、ステップST4以降の処理が繰り返される。ステップST12が否定されると、終了指示がなされたか否かが判定される(ステップST14)。ステップST14が否定されるとステップST9に戻り、ステップST9以降の処理が繰り返される。ステップST14が肯定されると,処理を終了する。
【0041】
このように、本実施形態においては、第1の断層画像Dkを表示し、3次元カーソル44の第1の断層画像Dk上における断面が、第1のカーソル40として第1の断層画像Dkに重畳表示される。また、3次元カーソル44が含まれる、第1の断層画像Dkに隣接する少なくとも1つの第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2が表示され、かつ3次元カーソル44の第2の断層画像上における断面が第2のカーソル41A~41Dとして第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2に重畳表示される。このため、3次元カーソル44を用いて第1の断層画像Dkにおける関心領域30の境界30Lを修正する際に、ユーザは、表示された第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を見れば、第1の断層画像Dkに隣接する第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2において、3次元カーソル44によりどのように関心領域が修正されるかを確認することができる。また、過修正が生じないように、3次元カーソル44のサイズを変更する等の処理を行うことができる。したがって、本実施形態によれば、3次元画像G0のある断層面の断層画像に対する関心領域の修正時に、他の断層面の断層画像における意図しない過修正等の発生を防止することができる。
【0042】
また、本実施形態においては、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の表示指示があった場合に、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を表示している。このため、関心領域30の境界30Lの修正時には、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を表示しないことにより、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の表示のために、CPU11およびメモリ12等のリソースが消費されることがなくなる。このため、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を常時表示する場合と比較して、修正の処理が重くなることを防止できる。また、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の部分画像Bk-2,Bk-1,Bk+1,Bk+2を表示しているため、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の全体を表示する場合と比較して、CPU11およびメモリ12等のリソースの消費量が少なくなる。これにより、表示のための処理が重くなることを防止できる。
【0043】
なお、上記実施形態においては、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の表示指示があった場合に、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を表示しているが、これに限定されるものではない。第1の断層画像Dkの表示指示があった場合に、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を第1の断層画像Dkと同時に表示してもよい。
【0044】
また、上記実施形態においては、第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の部分画像を表示しているが、これに限定されるものではない。第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2をそのまま表示部14に表示してもよい。この場合、第1の断層画像Dkおよび第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を並べて表示部14に表示してもよく、第1の断層画像Dkおよび第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2を切り替え表示してもよい。
【0045】
また、上記実施形態においては、第1の断層画像Dkの上下2つずつの第2の断層画像Dk-2,Dk-1,Dk+1,Dk+2の部分画像を表示しているが、これに限定されるものではない。第1の断層画像Dkの上下の第2の断層画像Dk-1,Dk+1のみ、または第1の断層画像Dkの上または下のいずれかの第2の断層画像のみを表示してもよい。
【0046】
また、上記実施形態において、3次元カーソル44のサイズを大きくすると、より多くの断層画像が3次元カーソルに含まれるようになる。例えば、
図8に示すように、3次元カーソル44のサイズを大きくすると、第1の断層画像Dkの上下それぞれ5枚の断層画像が3次元カーソルに含まれる。この場合、10枚の第2の断層画像またはその部分画像を表示部14に表示すればよい。しかしながら、表示する第2の断層画像の数が多いほど、表示のための処理が重くなる。このため、3次元カーソル44に含まれる断層画像の数に拘わらず、予め定められた数の第2の断層画像またはその部分画像を表示するようにしてもよい。例えば、
図8に示す10枚の断層画像のうち、上下2つずつの第2の断層画像Dk-4,Dk-2,Dk+2,Dk+4を表示部14に表示するようにしてもよい。
【0047】
また、上記実施形態においては、3次元カーソルを球状としているが、これに限定されるものではない。3次元形状をなしていれば、直方体、立方体、2つの円錐の底面をつなぎ合わせた形状等の任意の形状の3次元カーソルを用いることができる。
【0048】
また、上記実施形態においては、修正指示領域表示装置1が関心領域抽出部22を備えるものとしているが、これに限定されるものではない。修正指示領域表示装置1とネットワーク4を介して接続された別個の装置において関心領域を抽出してもよい。また、取得する3次元画像G0が既に関心領域が抽出されたものであってもよい。
【0049】
また、上記実施形態において、例えば、画像取得部21、関心領域抽出部22、第1の表示制御部23、第2の表示制御部24、第1の修正部25、および第2の修正部26といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0050】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0051】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0052】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
【符号の説明】
【0053】
1 修正指示領域表示装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 ディスプレイ
15 入力部
21 画像取得部
22 関心領域抽出部
23 第1の表示制御部
24 第2の表示制御部
25 第1の修正部
26 第2の修正部
30 関心領域
30L 関心領域の境界
31 実際の関心領域
31L 実際の関心領域の境界
40 第1のカーソル
41A~41D 第2のカーソル
44 3次元カーソル
50 表示画面
Dk 第1の断層画像
Dk-2,Dk-1,Dk+1,Dk+2 第2の断層画像
Bk-2,Bk-1,Bk+1,Bk+2 第2の断層画像の部分画像