(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025148959
(43)【公開日】2025-10-08
(54)【発明の名称】画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20251001BHJP
【FI】
A61B6/03 560Z
A61B6/03 560T
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2024049357
(22)【出願日】2024-03-26
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】小池 樹
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093DA10
4C093FB04
4C093FF20
4C093FF22
4C093FF27
4C093FF42
(57)【要約】
【課題】画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラムにおいて、スカウト画像のような断層画像に対象とする解剖構造が含まれない場合であっても、断層画像に基づいて対象とする解剖構造の位置を特定できるようにする。
【解決手段】少なくとも1つのプロセッサを備え、プロセッサは、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、導出モデルにより、少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを備え、
前記プロセッサは、
特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、前記特定解剖構造に関してあらかじめ定められた前記身体内部における相対的な基準位置に基づいて、前記身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、
前記導出モデルにより、前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する画像処理装置。
【請求項2】
前記特定解剖構造の基準位置は、前記身体内部におけるランドマークの位置である請求項1に記載の画像処理装置。
【請求項3】
前記導出モデルは、前記特定解剖構造の規格化された相対位置を前記基準位置と一致させるための損失を導出し、前記損失が小さくなるように学習対象のモデルを対照学習することにより構築される請求項1または2に記載の画像処理装置。
【請求項4】
前記プロセッサは、導出された前記相対位置を絶対位置に変換する請求項1に記載の画像処理装置。
【請求項5】
前記プロセッサは、前記絶対位置に基づく前記特定解剖構造の位置と、前記処理対象断層画像の位置とを表示する請求項4に記載の画像処理装置。
【請求項6】
少なくとも1つのプロセッサを備え、
前記プロセッサは、
特定解剖構造を含む複数の断層画像が入力されると、前記特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、前記身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する学習装置。
【請求項7】
前記プロセッサは、前記断層画像を前記学習対象のモデルに入力することにより、前記身体内部における規格化された少なくとも1つの第1相対位置を導出し、前記断層画像に前記特定解剖構造が含まれる場合には前記特定解剖構造の規格化された第2相対位置をさらに導出し、
前記第1相対位置を前記身体内部における相対位置と一致させるための第1損失、および前記第2相対位置を前記基準位置と一致させるための第2損失を導出し、
前記第1損失および前記第2損失が小さくなるように前記モデルを学習することにより、前記導出モデルを構築する請求項6に記載の学習装置。
【請求項8】
コンピュータが、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、前記特定解剖構造に関してあらかじめ定められた前記身体内部における相対的な基準位置に基づいて、前記身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、
前記導出モデルにより、前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する画像処理方法。
【請求項9】
コンピュータが、特定解剖構造を含む複数の断層画像が入力されると、前記特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、前記身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する学習方法。
【請求項10】
特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、前記特定解剖構造に関してあらかじめ定められた前記身体内部における相対的な基準位置に基づいて、前記身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力する手順と、
前記導出モデルにより、前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する手順とをコンピュータに実行させる画像処理プログラム。
【請求項11】
特定解剖構造を含む複数の断層画像が入力されると、前記特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、前記身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する手順をコンピュータに実行させる学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラムに関する。
【背景技術】
【0002】
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の3次元画像が画像診断に用いられるようになってきている。
【0003】
CT装置およびMRI装置等の撮影装置において被検体の撮影を行う場合、撮影範囲を決定するために、3次元画像を取得するための本撮影に先立ってスカウト撮影が行われ、2次元の位置決め用画像(スカウト画像)が取得される。技師等の撮影装置の操作者は、スカウト画像を見ながら本撮影時の撮影範囲を設定する。
【0004】
一方、スカウト画像を見ながらの撮影範囲の設定は、操作者が手動で行う必要があるため、時間を要する。また、操作者の能力および経験に依存するために設定の精度にばらつきが生じる。このため、スカウト画像から自動で撮影範囲を設定するための各種手法が提案されている(例えば非特許文献1参照)。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Ruiqi Geng MSc, et al, Automated MR Image Prescription of the Liver Using Deep Learning: Development, Evaluation, and Prospective Implementation, 30 December 2022
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、スカウト画像は、本撮影により取得される3次元画像よりもスライス間隔が大きく、かつ断層画像の数も3次元画像よりも少ない。このため、スカウト画像に含まれる断層画像に、対象となる解剖構造が含まれない事態が生じうる。このような場合、断層画像に含まれる他の解剖構造を参照して撮影範囲を設定することが考えられる。しかしながら、断層画像に他の解剖構造が含まれないと、対象とする解剖構造の位置を特定することができず、その結果、撮影範囲を設定することができない。
【0007】
本開示は上記事情に鑑みなされたものであり、スカウト画像のような断層画像に対象とする解剖構造が含まれない場合であっても、断層画像に基づいて対象とする解剖構造の位置を特定できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
本開示による画像処理装置は、少なくとも1つのプロセッサを備え、
プロセッサは、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、
導出モデルにより、少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する。
【0009】
本開示による学習装置は、少なくとも1つのプロセッサを備え、
プロセッサは、特定解剖構造を含む複数の断層画像が入力されると、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する。
【0010】
本開示による画像処理方法は、コンピュータが、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、
導出モデルにより、少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する。
【0011】
本開示による学習方法は、特定解剖構造を含む複数の断層画像が入力されると、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する。
【0012】
本開示による画像処理プログラムは、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力する手順と、
導出モデルにより、少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する手順とをコンピュータに実行させる。
【0013】
本開示による学習プログラムは、特定解剖構造を含む複数の断層画像が入力されると、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する手順をコンピュータに実行させる。
【発明の効果】
【0014】
本開示によれば、断層画像に対象とする解剖構造が含まれない場合であっても、断層画像に基づいて対象とする解剖構造の位置を特定できる。
【図面の簡単な説明】
【0015】
【
図1】本開示の実施形態による画像処理装置および学習装置を適用した医療情報システムの概略構成を示す図
【
図2】本実施形態による画像処理装置および学習装置の概略構成を示す図
【
図3】本実施形態による画像処理装置および学習装置の機能構成図
【
図6】導出モデルを構築するためのCNNの学習を説明するための図
【
図8】導出モデルを構築するためのCNNの学習を説明するための図
【
図10】スカウト画像の範囲の導出を説明するための図
【
図12】本実施形態において学習装置が行う処理を示すフローチャート
【
図13】本実施形態において画像処理装置が行う処理を示すフローチャート
【発明を実施するための形態】
【0016】
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置および学習装置を適用した医療情報システムの構成について説明する。
図1は、医療情報システムの概略構成を示す図である。
図1に示す医療情報システムは、本実施形態による画像処理装置および学習装置を内包するコンピュータ1、撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
【0017】
コンピュータ1は、本実施形態による画像処理装置および学習装置を内包するものであり、本実施形態の画像処理プログラムおよび学習プログラムがインストールされている。コンピュータ1は、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ1にダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータ1にインストールされる。
【0018】
撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す2次元画像または3次元画像を生成する装置であり、具体的には、放射線撮影装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、およびPET(Positron Emission Tomography)装置等である。この撮影装置2により生成された、被検体の画像は画像保管サーバ3に送信されて保存される。なお、3次元画像とは、複数の断層画像、または、複数の断層画像から生成された3次元座標で構成される画像を含む。
【0019】
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には撮影装置2で生成された画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。
【0020】
次いで、本実施形態による画像処理装置および学習装置について説明する。なお、以降の説明においては、画像処理装置および学習装置を画像処理装置のみで代表させることがあるものとする。
図2は、本実施形態による画像処理装置のハードウェア構成を示す図である。
図2に示すように、画像処理装置20は、CPU(Central Processing Unit)11、ディスプレイ14、入力デバイス15、メモリ16、およびネットワーク4に接続されるネットワークI/F(InterFace)17を含む。CPU11、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス19に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
【0021】
メモリ16は、記憶部13およびRAM(Random Access Memory)18を含む。RAM18は、一次記憶用のメモリであり、例えば、SRAM(Static Random Access Memory)またはDRAM(Dynamic Random Access Memory)等のRAMである。
【0022】
記憶部13は、不揮発性のメモリであり、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、EEPROM(Electrically Erasable and Programmable Read Only Memory)、およびフラッシュメモリ等の少なくとも1つによって実現される。記憶媒体としての記憶部13には、本実施形態による画像処理プログラム12Aおよび学習プログラム12Bが記憶される。CPU11は、記憶部13から画像処理プログラム12Aおよび学習プログラム12Bを読み出してRAM18に展開し、展開した画像処理プログラム12Aおよび学習プログラム12Bを実行する。なお、記憶部13には、後述する導出モデル22Aも記憶されている。
【0023】
ディスプレイ14は、各種画面を表示する装置であり、例えば、液晶ディスプレイまたはEL(Electro Luminescence)ディスプレイである。入力デバイス15は、ユーザが入力を行うための装置であり、例えば、キーボード、マウス、音声入力用のマイク、接触を含む近接入力用のタッチパッド、およびジェスチャー入力用のカメラの少なくともいずれかである。ネットワークI/F17は、ネットワーク4に接続するためのインタフェースである。
【0024】
次いで、本実施形態による画像処理装置の機能的な構成を説明する。
図3は、本実施形態による画像処理装置および学習装置の機能的な構成を示す図である。
図3に示すように画像処理装置20は、情報取得部21、位置導出部22、学習部23、範囲導出部24および表示制御部25を備える。そして、CPU11が画像処理プログラム12Aを実行することにより、CPU11は、情報取得部21、位置導出部22、範囲導出部24および表示制御部25として機能する。また、CPU11が学習プログラム12Bを実行することにより、CPU11は、学習部23として機能する。
【0025】
情報取得部21は、操作者による入力デバイス15からの指示により、画像保管サーバ3から処理対象の医用画像を取得する。本実施形態においては、医用画像は、CT装置を用いた撮影またはMRI装置を用いた撮影の際の位置決めに使用するスカウト画像G0とする。スカウト画像は複数の断層画像を含むが、3次元画像よりもスライス間隔が大きく、かつ断層画像の枚数が3次元画像よりも少ない。スカウト画像G0に含まれる断層画像が本開示の処理対象断層画像の一例である。
【0026】
また、情報取得部21は、後述する導出モデルの学習に使用する教師データを画像保管サーバ3から取得する。教師データについては後述する。
【0027】
位置導出部22は、導出モデル22Aにスカウト画像G0に含まれる少なくとも1つの処理対象画像を入力し、処理対象断層画像の身体内部における規格化された相対位置を導出する。なお、処理対象断層画像の身体内部における相対的な位置とは、処理対象断層画像上におけるあらかじめ定められた任意の点の身体内部における相対的な位置である。任意の点は処理対象断層画像の中心点および四隅の点等を使用することができるがこれらに限定されるものではない。本実施形態においては、処理対象断層画像の相対的な位置は、処理対象断層画像の中心点の身体内部における相対的な位置とする。
【0028】
導出モデル22Aは、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を教師データとして使用し、例えば畳み込みニューラルネットワーク(convolutional neural network、CNN)を対照学習することにより構築されている。CNNが本開示の学習対象のモデルの一例である。対照学習は、同じ画像に由来する特徴量同士の特徴量空間における距離を近くし、異なる画像に由来する特徴量同士の特徴量空間における距離を遠くする学習である。対照学習としては、例えばSimCLR(A Simple Framework for Contrastive Learning of Visual Representations)等の学習方法が知られている。
【0029】
本実施形態においては、例えば、「Dewen Zeng, et.al, Positional Contrastive Learning for Volumetric Medical Image Segmentation, arXiv:2106.09157, 16 Jun 2021、以下非特許文献2とする」に記載された手法を用いて、特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、身体内部の規格化された相対位置を導出するように対照学習を行うことにより、導出モデル22Aが構築される。
【0030】
学習部23は、上述したようにCNNを対照学習することにより導出モデル22Aを構築する。CNNの学習には3次元画像に含まれる断層画像が教師データとして使用される。
図4は学習に使用する3次元画像の例を示す図である。本実施形態においては、人体を撮影することにより取得されたアキシャル断面の3次元画像31がCNNの学習に使用されるが、アキシャル断面の3次元画像31に代えて、またはこれに加えて、コロナル断面の3次元画像32およびサジタル断面の3次元画像33をCNNの学習に使用してもよい。なお、教師データとして使用される断層画像を含む3次元画像を学習用3次元画像と称する。
【0031】
学習用3次元画像は特定解剖構造を含むように取得される。特定解剖構造としては身体内部における肝臓の上端、および特定の椎骨の中心等のランドマークを用いることができる。本実施形態においては、特定解剖構造を肝臓の上端とする。
【0032】
学習に際し、学習部23は、学習用3次元画像31に含まれる複数の断層画像(学習用断層画像とする)Tk(k=1~n:nは断層画像の数)を教師データとして使用する。また、複数の学習用断層画像Tkのうち、ランドマークPLを含む学習用断層画像TLも教師データとして使用する。ランドマークPLを含む学習用断層画像を基準学習用断層画像TLと称する。
【0033】
なお、学習部23は、
図5に示すように、学習用断層画像Tkに含まれる被写体領域を断層画像面内でずらすことにより、新たな学習用断層画像Tkを導出してもよい。このため、学習に際して、中心点がランドマークPLとなる基準学習用断層画像TLが使用される場合がある。
【0034】
学習部23は、複数の学習用断層画像Tkから抽出される任意の2つの学習用断層画像間において、中心点Pkの相対的な位置関係を導出し、これを学習時の正解データとして使用する。相対的な位置関係は、学習用3次元画像31における3軸方向、すなわちx方向、y方向およびz方向のそれぞれにおいて導出される。例えば、相対的な位置関係として、学習用断層画像T1の中心点P1に対して、学習用断層画像T2の中心点P2は、x方向においてプラス側、y方向においてマイナス側、z方向においてプラス側にある、というような正解データが導出される。
【0035】
図6は導出モデルを構築するためのCNNの学習を説明するための図である。
図6に示す学習においては、教師データとして、ランドマークを含まない2つの学習用断層画像T1,T2が使用されているものとする。
図6においては、学習部23は、2つの学習用断層画像T1,T2をCNN35に入力している。
【0036】
CNN35は入力された2つの学習用断層画像T1,T2の中心点P1,P2の,身体内部における位置を表す中間値を出力する。中間値は、x方向、y方向およびz方向の座標値であるが、CNN35の内部処理においてのみ認識可能であり、CNN35の内部処理における原点を基準とする値となる。
図6においては、学習用断層画像T1の中心点P1の位置を表す中間値として(80,20,30)が導出され、学習用断層画像T2の中心点P2の位置を表す中間値として(110,40,80)が導出されたものとする。
【0037】
CNN35は、中間値に対してx、y、zの座標値が0以上1以下の値となるようなシグモイド関数を適用し、規格化された中心点P1,P2の位置座標を出力する。規格化により中心点P1の位置座標は(0.42,0.38,0.48)となり、中心点P2の位置座標は(0.72,0.76,0.82)となったものとする。規格化された中心点P1,P2の位置座標は、学習用断層画像T1,T2のそれぞれにおける中心点P1,P2の、身体内部における相対的な位置を表すものとなる。
【0038】
図7は身体内部の規格化を説明するための図である。
図7に示すように、コロナル方向(x方向)においては、人体の左右の端部の間の位置が0以上1以下となるようにx座標値を規格化する。人体の左右の端部としては、右腕の端部から左腕の端部までの間とすることができる。サジタル方向(y方向)においては、人体の前後の端部間の位置が0以上1以下となるようにy座標値を規格化する。人体前後の端部としては、人体の前面の最も突出した位置(例えば腹部)から、人体の背面(例えば臀部)の最も突出した位置までの間とすることができる。アキシャル方向(z方向)においては身長の範囲、すなわち足の裏と頭頂との間の位置が0以上1以下となるようにz座標値を規格化する。
【0039】
学習用断層画像T1について、規格化された中心点P1の位置座標は(0.42,0.38,0.48)である。このため、学習用断層画像T1の中心点P1は、左右の端部の間を1とした場合において右腕の端部から0.42の位置にあり、前後の端部の間を1とした場合において腹部の最も突出した位置から0.38の位置にあり、身長を1とした場合において足の裏から0.48の位置にあることを表している。
【0040】
なお、
図7に示すように身体内部は規格化されているため、身体内部の任意の位置を規格化された相対位置により表すことができる。例えば、頭頂は(0.5,0.5,1.0)と表すことができ、肝臓の上端は例えば(0.50,0.50,0.60)と表すことができる。
【0041】
学習部23は、2つの学習用断層画像T1,T2の中心点P1,P2の身体内部における相対的な位置関係の相違を第1損失L1として導出する。学習用断層画像T1の規格化された中心点P1の位置座標は(0.42,0.38,0.48)であり、学習用断層画像T2の規格化された中心点P2の位置座標は(0.72,0.76,0.40)である。これは、CNN35が導出した学習用断層画像T2の中心点P2が学習用断層画像T1の中心点P1に対してx方向にプラス側、y方向にプラス側、z方向にマイナス側にあることを表す。
【0042】
中心点P1,P2についての正解データが、x方向においてプラス側、y方向においてマイナス側、z方向においてプラス側である場合、CNN35は、x方向の位置関係を正しく出力しているため第1損失L1は0となる。一方、y方向およびz方向の位置関係は誤っているため、y方向およびz方向の第1損失L1が生じる。
【0043】
学習部23は、第1損失L1についてはx方向、y方向およびz方向のすべてにおいて0となるように、第1損失L1に適宜重みづけをしてCNN35を学習する。
【0044】
図8は
図6とは異なる教師データを用いた、導出モデルを構築するためのCNNの学習を説明するための図である。
図8に示す学習においては、教師データとして、中心点がランドマークPLである基準学習用断層画像TLおよびランドマークを含まない学習用断層画像T3を使用する。学習部23は、基準学習用断層画像TLおよび学習用断層画像T3をCNN35に入力する。
【0045】
CNN35は入力された基準学習用断層画像TLおよび学習用断層画像T3の中心点PL,P3の身体内部における位置を表す中間値を出力する。
図8においては、基準学習用断層画像TLの中心点PLの位置を表す中間値として(100,30,50)が導出され、学習用断層画像T3の中心点P3の位置を表す中間値として(100,30,40)が導出されたものとする。
【0046】
CNN35は中間値を規格化し、規格化された中心点PLおよび中心点P3の位置座標を出力する。規格化により基準学習用断層画像TLの中心点PLの位置座標は(0.53,0.51,0.66)となり、学習用断層画像T3の中心点P3の位置座標は(0.53,0.51,0.70)となったものとする。
【0047】
学習部23は、基準学習用断層画像TLと学習用断層画像T3との身体内部における相対的な位置関係の相違を第1損失L1として導出する。基準学習用断層画像TLの規格化された中心点PLの位置座標は(0.53,0.51,0.66)であり、学習用断層画像T3の規格化された中心点P3の位置座標は(0.53,0.51,0.70)である。これは、中心点P3が中心点PLに対してx方向およびy方向で一致し、z方向にプラス側にあることを表す。
【0048】
中心点PL,P3についての正解データが、x方向において0、y方向において0、z方向においてマイナス側である場合、CNN35は、x方向およびy方向の位置関係を正しく出力しているため第1損失L1は0となる。一方、z方向の位置関係は誤っているため、y方向およびz方向の第1損失L1が生じる。
【0049】
一方、基準学習用断層画像TLを学習に使用する場合、学習部23は、基準学習用断層画像TLの中心点PLの規格化された座標値と、あらかじめ定められた特定解剖構造の基準位置の規格化された座標値との相違を第2損失L2として導出する。本実施形態においては、特定解剖構造は肝臓の上端である。本実施形態においては、身体内部における肝臓の上端の規格化された座標値をあらかじめ導出しておく。例えば、肝臓上端の規格化された基準位置の座標値を(0.50,0.50,0.60)として導出しておく。したがって、学習部23は、基準学習用断層画像TLについてCNN35が導出した中心点PLの規格化された座標値(0.53,0.51,0.66)と、基準となる規格化された座標値(0.50,0.50,0.60)との相違を第2損失L2として導出する。相違としては、例えば最小二乗誤差を用いることができるが、これに限定されるものではない。
【0050】
学習部23は、第1損失L1については0となり、第2損失L2については相違があらかじめ定められたしきい値以下となるように、第1損失L1および第2損失L2に適宜重みづけをしてCNN35を学習する。
【0051】
学習が進行すると、CNN35は、入力された断層画像に関してその中心点の身体内部におけるx方向、y方向およびz方向における規格化された相対的な位置を出力できるようになる。また、入力される断層画像に肝臓上端が含まれている場合、肝臓上端について出力される位置の位置座標が(0.50,0.50,0.60)となるように身体内部の規格化された位置を出力できるようになる。このようにして学習を進めることにより、CNN35が導出モデル22Aとして構築される。
【0052】
図9は、上述したように構築された導出モデル22Aが行う処理を説明するための図である。
図9に示すように、スカウト画像G0に含まれる1枚の処理対象断層画像40が導出モデル22Aに入力されると、処理対象断層画像40の身体内部における相対的な位置が導出モデル22Aから出力される。
図9においては、例として(0.50,0.50,0.63)が出力されている。したがって、スカウト画像G0に含まれるすべての処理対象断層画像を導出モデル22Aに入力することにより、すべての処理対象断層画像の身体内部における相対的な位置を導出することができる。
【0053】
範囲導出部24は、スカウト画像の撮影範囲を導出する。このために、範囲導出部24は、位置導出部22が導出した処理対象断層画像についての身体内部の相対的な位置について、撮影装置2を基準としたスカウト画像の撮影範囲の絶対位置を導出する。撮影装置2における基準位置としては、例えば被検者が横たわる寝台の端部の位置を用いることができる。
図10はスカウト画像の絶対位置の導出を説明するための図である。撮影装置2においては被検者が横たわる寝台50の長手方向の絶対座標が取得されている。例えば、
図10に示すように、寝台50における被検体Hの脚側の端部が0、頭部側の端部が200というように絶対座標が導出されている。また、撮影により取得される断層画像の寝台の長手方向の位置51A~51Cの絶対座標も撮影時に取得されている。したがって、位置導出部22が導出した相対位置についてz方向の相対座標と絶対座標とは対応づけることができ、範囲導出部24は、導出されたスカウト画像のz方向の相対座標からその絶対座標を導出し、絶対座標に基づいてスカウト画像の撮影範囲を特定することができる。
【0054】
ここで、
図7に示すように、身体内部の位置は規格化されているため、導出モデル22Aが出力する処理対象断層画像の身体内部における相対的な位置を参照することにより、入力された断層画像が身体内部のいずれの臓器を含むかを認識することができる。例えば、肝臓を撮影対象とする場合に、スカウト画像に含まれる断層画像の身体内部における相対的な位置を参照することにより、スカウト画像に肝臓が含まれるか否かを判定することができる。一方、スカウト画像に肝臓が含まれていなくても、スカウト画像に含まれる断層画像の身体内部の相対的な位置と、肝臓の相対的な位置とを比較することにより、取得したスカウト画像に対する肝臓の位置を認識することができる。このように、導出された身体内部における相対的な位置を絶対位置と対応づけることにより、スカウト画像の撮影範囲を特定することができ、スカウト画像の撮影範囲に基づいて、対象となる解剖構造を含むように本撮影時の撮影範囲を特定することができる。
【0055】
表示制御部25は、範囲導出部24が導出した撮影範囲を断層画像と共に表示する。
図11は表示画面を示す図である。なお、ここでは入力されたスカウト画像G0は、3枚のアキシャル断面の断層画像を含むものとする。
図11に示すように、表示画面60には入力されたスカウト画像G0に含まれる処理対象断層画像61~63が切り替え可能に表示される。処理対象断層画像61~63の下方には、表示されている処理対象断層画像についての身体内部における相対的な位置64(ここでは(0.50,0.50,0.30)が表示されている。また、表示画面60には、人体の模式
図65が表示されている。模式
図65には、処理対象断層画像61~63のアキシャル方向の位置を表す線61A~63Aが表示されている。線61Aと線63Aとの間がスカウト画像G0の撮影範囲となる。また、模式
図65には、ランドマークである肝臓の上端の位置を示す線67が表示されている。本実施形態においては処理対象断層画像の身体内部の相対的な位置が導出され、さらに相対的な位置から絶対的な位置が導出されて撮影範囲が導出される。このため、表示画面60には、アキシャル方向の絶対座標66も表示されている。
【0056】
ここで、撮影対象を肝臓とした場合、
図11に示す表示画面においては、スカウト画像G0に含まれる断層画像の位置を示す線61A~63Aは、模式
図65の胸部付近にあり、ランドマークの位置を示す線67から離れている。このため、スカウト画像G0の撮影範囲には肝臓は含まれないことが分かる。しかしながら、操作者が表示画面60を見れば、スカウト画像G0に対してどの位置を本撮影時の撮影範囲とすればよいかが容易に認識することができる。このため、スカウト画像G0を用いて本撮影時の撮影範囲を容易に特定することができる。
【0057】
次いで、本実施形態において行われる処理について説明する。
図12は本実施形態による学習装置が行う処理を示すフローチャートである。まず、情報取得部21が画像保管サーバ3から教師データを取得する(ステップST1)。次いで、学習部23が、教師データを用いてCNN35の学習を行うことにより導出モデル22Aを構築し(ステップST2)、処理を終了する。
【0058】
図13は本実施形態による画像処理装置が行う処理を示すフローチャートである。まず、情報取得部21が画像保管サーバ3から処理対象となるスカウト画像G0を取得する(ステップST11)。次いで、位置導出部22が、スカウト画像G0に含まれる処理対象断層画像の身体内部の規格化された相対位置を導出する(ステップST12)。次いで、範囲導出部24がスカウト画像G0の撮影範囲を導出し(ステップST13)、表示制御部25が撮影範囲を含む表示画面を表示し(ステップST14)、処理を終了する。
【0059】
このように、本実施形態においては、位置導出部22が、導出モデル22Aにより、少なくとも1つの処理対象断層画像の身体内部の規格化された相対位置を導出するようにした。このため、処理対象断層画像に対象とする解剖構造が含まれない場合であっても、処理対象断層画像の身体内部における相対的な位置に基づいて対象となる解剖構造の位置を特定できる。したがって、処理対象断層画像を用いて、対象とする解剖構造を含むように本撮影時の撮影範囲を容易に特定することができる。
【0060】
また、処理対象断層画像の身体内部における相対的な位置を参照することにより、所望とされる解剖構造の身体内部における相対的な位置に基づいて、所望とされる解剖構造を含む処理対象断層画像を容易に特定することができる。
【0061】
また、CT画像およびMRI画像と言った異なる撮影装置により取得された3次元画像に含まれる断層画像について、身体内部の規格化された相対的な位置を導出することにより、異なる撮影装置により取得された画像間の位置合わせを行うことができる。
【0062】
また、上記実施形態において、例えば、情報取得部21、位置導出部22、学習部23、範囲導出部24および表示制御部25といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0063】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0064】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0065】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
【0066】
以下、本開示の付記項を記載する。
(付記項1)
少なくとも1つのプロセッサを備え、
前記プロセッサは、
特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、前記特定解剖構造に関してあらかじめ定められた前記身体内部における相対的な基準位置に基づいて、前記身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、
前記導出モデルにより、前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する画像処理装置。
(付記項2)
前記特定解剖構造の基準位置は、前記身体内部におけるランドマークの位置である付記項1に記載の画像処理装置。
(付記項3)
前記導出モデルは、前記特定解剖構造の規格化された相対位置を前記基準位置と一致させるための損失を導出し、前記損失が小さくなるように学習対象のモデルを対照学習することにより構築される付記項1または2に記載の画像処理装置。
(付記項4)
前記プロセッサは、導出された前記相対位置を絶対位置に変換する付記項1から3のいずれか1項に記載の画像処理装置。
(付記項5)
前記プロセッサは、前記絶対位置に基づく前記特定解剖構造の位置と、前記処理対象断層画像の位置とを表示する付記項4に記載の画像処理装置。
(付記項6)
少なくとも1つのプロセッサを備え、
前記プロセッサは、
特定解剖構造を含む複数の断層画像が入力されると、前記特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、前記身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する学習装置。
(付記項7)
前記プロセッサは、前記断層画像を前記学習対象のモデルに入力することにより、前記身体内部における規格化された少なくとも1つの第1相対位置を導出し、前記断層画像に前記特定解剖構造が含まれる場合には前記特定解剖構造の規格化された第2相対位置をさらに導出し、
前記第1相対位置を前記身体内部における相対位置と一致させるための第1損失、および前記第2相対位置を前記基準位置と一致させるための第2損失を導出し、
前記第1損失および前記第2損失が小さくなるように前記モデルを学習することにより、前記導出モデルを構築する付記項6に記載の学習装置。
(付記項8)
コンピュータが、特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、前記特定解剖構造に関してあらかじめ定められた前記身体内部における相対的な基準位置に基づいて、前記身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力し、
前記導出モデルにより、前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する画像処理方法。
(付記項9)
コンピュータが、特定解剖構造を含む複数の断層画像が入力されると、前記特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、前記身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する学習方法。
(付記項10)
特定解剖構造を含むように身体内部を撮影することにより取得された複数の断層画像を使用した対照学習により構築された導出モデルであって、前記特定解剖構造に関してあらかじめ定められた前記身体内部における相対的な基準位置に基づいて、前記身体内部における規格化された相対位置を導出するように対照学習により構築された導出モデルに、少なくとも1つの処理対象断層画像を入力する手順と、
前記導出モデルにより、前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する手順とをコンピュータに実行させる画像処理プログラム。
(付記項11)
特定解剖構造を含む複数の断層画像が入力されると、前記特定解剖構造に関してあらかじめ定められた身体内部における相対的な基準位置に基づいて、前記身体内部の規格化された相対位置を導出するように学習対象のモデルを対照学習することにより、少なくとも1つの処理対象断層画像が入力されると前記少なくとも1つの処理対象断層画像の身体内部における規格化された相対位置を導出する導出モデルを構築する手順をコンピュータに実行させる学習プログラム。
【符号の説明】
【0067】
1 コンピュータ
2 撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12A 画像処理プログラム
12B 学習プログラム
13 記憶部
14 ディスプレイ
15 入力デバイス
16 メモリ
17 ネットワークI/F
18 RAM
19 バス
20 画像処理装置
21 情報取得部
22 位置導出部
22A 導出モデル
23 学習部
24 範囲導出部
25 表示制御部
31~33 学習用3次元画像
35 CNN
40 処理対象断層画像
50 寝台
51A~51C 断層画像の寝台の長手方向の位置
60 表示画面
61~63 処理対象断層画像
61A~63A アキシャル方向の位置を示す線
65 模式図
66 絶対座標
67 肝臓の上端の位置を示す線
L1,L2 損失
P1~P3,PL 中心点
T1~T3 学習用断層画像
TL 基準学習用断層画像