(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006985
(43)【公開日】2024-01-17
(54)【発明の名称】容量的医用画像の臓器の種類を識別する方法
(51)【国際特許分類】
A61B 5/00 20060101AFI20240110BHJP
A61B 6/03 20060101ALI20240110BHJP
G06T 7/00 20170101ALI20240110BHJP
【FI】
A61B5/00 G
A61B6/03 360T
A61B6/03 360D
A61B6/03 360J
G06T7/00 612
G06T7/00 350C
A61B5/00 D
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023081846
(22)【出願日】2023-05-17
(31)【優先権主張番号】22182378
(32)【優先日】2022-06-30
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】516308401
【氏名又は名称】シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
(74)【代理人】
【識別番号】110003317
【氏名又は名称】弁理士法人山口・竹本知的財産事務所
(74)【代理人】
【識別番号】100075166
【弁理士】
【氏名又は名称】山口 巖
(74)【代理人】
【識別番号】100133167
【弁理士】
【氏名又は名称】山本 浩
(74)【代理人】
【識別番号】100169627
【弁理士】
【氏名又は名称】竹本 美奈
(72)【発明者】
【氏名】ハーリト イェレバカン
(72)【発明者】
【氏名】アンナ イェレブコ
(72)【発明者】
【氏名】品川 嘉久
(72)【発明者】
【氏名】ジェラルド エルモシージョ バラデス
【テーマコード(参考)】
4C093
4C117
5L096
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA35
4C093DA02
4C093FD03
4C093FF16
4C093FF28
4C117XB06
4C117XB09
4C117XD21
4C117XE44
4C117XE45
4C117XE46
4C117XG14
4C117XJ01
4C117XJ14
4C117XJ34
4C117XK05
4C117XK19
4C117XR07
4C117XR08
4C117XR09
5L096AA09
5L096BA06
5L096BA13
5L096DA02
5L096EA03
5L096FA02
5L096FA59
5L096FA66
5L096HA11
5L096KA04
(57)【要約】 (修正有)
【課題】容量的医用画像(305)中の臓器(309)の種類を識別する方法、装置及びシステムを提供する。
【解決手段】一態様では、本方法は、a)少なくとも1つの臓器(309)又はその一部を含む容量的医用画像(305)を受け取り;b)容量的医用画像(305)中の単一の関心点(310)を受け取り;c)容量的医用画像(305)からボクセル(306、308)をサンプリングし、この際、2つのサンプリングされたボクセル(306、308)の間で少なくとも1つのボクセル(307)をスキップし;d)サンプリングされたボクセル(306、308)に対して、訓練された分類器を適用することで、単一の関心点(310)における臓器(309)の種類を識別する。
【選択図】
図3A
【特許請求の範囲】
【請求項1】
容量的医用画像(305)中の臓器(309)の種類を識別するための、コンピュータを用いて実施される方法であって、
a)少なくとも1つの臓器(309)又は臓器の一部を含む容量的医用画像(305)を受け取ることと、
b)前記容量的医用画像(305)中の単一の関心点(310)を受け取ることと、
c)前記容量的医用画像(305)からボクセル(306、308)をサンプリングすることであって、この際、2つのサンプリングされたボクセル(306、308)の間で少なくとも1つのボクセル(307)をスキップすることと、
d)前記サンプリングされたボクセル(306、308)に対して、訓練された分類器を適用することで、前記単一の関心点(310)における臓器の種類を識別すること、
の各ステップを含む方法。
【請求項2】
前記ステップc)では、散在的及び/又はランダムな仕方でボクセル(306、308)をサンプリングする、請求項1に記載の方法。
【請求項3】
前記ステップc)では、前記単一の関心点(310)から前記各ボクセル(306、308)への距離(311)に伴って減少する単位長さ、単位面積、又は単位体積当たりのサンプリング率で前記ボクセル(306、308)をサンプリングする、請求項1又は2に記載の方法。
【請求項4】
前記サンプリング率が非線形速度で減少し、特に指数関数、対数関数又はべき関数の割合で減少する、請求項3に記載の方法。
【請求項5】
前記サンプリングされたボクセル(306、308)は、前記容量的医用画像(305)中のボクセル(306、307、308)の総数のうち1%未満であり、好ましくは0、1%未満であり、より好ましくは0、0、01%未満である、請求項1乃至4のいずれか一項に記載の方法。
【請求項6】
前記訓練された分類器は、ニューラル・ネットワークであり、特に、多層パーセプトロン、畳み込みニューラル・ネットワーク、シャムネットワーク、又はトリプレットネットワークである、請求項1乃至5のいずれか一項に記載の方法。
【請求項7】
前記単一の関心点(310)を含む前記容量的医用画像(305)又はその一部は、グラフィカル・ユーザ・インタフェース(700)上に表示され、その際、識別された臓器(309)の種類の意味記述(702)が生成されて、前記単一の関心点(310)の場所又はその近くに表示される、請求項1乃至5のいずれか一項に記載の方法。
【請求項8】
前記単一の関心点(310)は、ユーザによって選択され、及び/又は、
前記単一の関心点(310)は、グラフィカル・ユーザ・インタフェース(700)上に表示された前記容量的医用画像(305)又はその一部の上で、ユーザによって操作されたカーソル(701)が一時停止されることで選択され、及び/又は、
前記容量的医用画像(305)又はその一部に関してユーザが測定(800)を行う際、前記臓器(309)の識別された種類が前記測定(800)と共にデータベース(900)内に保存される、
請求項1乃至7のいずれか一項に記載の方法。
【請求項9】
臓器に特有の異常を識別するための、訓練されていない複数の分類器(1001-1003)を受け取ることと、
前記識別された臓器(309)に基づいて、前記複数の分類器の中から1つ又は複数の訓練されていない分類器(1001-1003)を選択することと、
前記容量的医用画像(305)を用いて、前記1つ又は複数の訓練されていない分類器(1001-1003)を訓練すること、
を含む、請求項1乃至8のいずれか一項に記載の方法。
【請求項10】
前記容量的医用画像(305)中の「N-1」個の単一の関心点(310)の各々について、前記a)乃至d)のステップを実行及び/又は繰り返し、この際、前記「N」は、前記容量的医用画像(305)中のボクセル(306、307、308)の総数以下であり、
好適には、1つ又は複数の処理装置(201)で、前記a)乃至d)のステップを並列的に実行し、及び/又は、
好適には、前記「N」は、前記容量的医用画像(305)中に含まれるボクセル(306、307、308)の間隔を上回る格子間隔(D6)を有する格子(506)に相当する、
請求項1乃至9の方法のいずれか一項に記載の方法。
【請求項11】
請求項1乃至10のいずれか一項に記載の分類器を訓練するためのコンピュータ実施方法であって、
a)少なくとも1つの臓器(309)又は臓器の一部を含む容量的医用画像(305)を受け取り、かつ、前記少なくとも1つの臓器(209)の種類を受け取ることと、
b)前記容量的医用画像(305)中の単一の関心点(310)を受け取ることと、
c)前記容量的医用画像(305)からボクセルをサンプリングし、この際、2つのサンプリングされたボクセル(306、308)の間で少なくとも1つのボクセル(307)をスキップすることと、
d)前記サンプリングされたボクセル(306、308)に対して訓練されていない分類器を適用することで、前記単一の関心点(310)における臓器(309)の種類を識別することと、
e)前記識別された臓器(309)の種類を、前記受け取った少なくとも1つの臓器の種類とを比較することと、
f)前記ステップe)での比較に基づいて前記分類器を調整することで、訓練された分類器を得ること、
の各ステップを含む方法。
【請求項12】
容量的医用画像(305)中の臓器(309)の種類を識別するための装置(101)であって、
1つ又は複数の処理装置(201)と、
医用撮像装置(108)が取り込んだ1つ又は複数の容量的医用画像(305)を受け取るように構成された、第1の受信装置(104、204)と、
前記1つ又は複数の容量的医用画像(305)中の単一の関心点(310)を受け取るように構成された、第2の受信装置(104、204)と、
前記1つ又は複数の処理装置(201)とつなげられ、かつ請求項1乃至11のいずれかに記載の方法の各ステップを実行するように構成されたモジュール(103)を含むメモリ(202)と、
を含む装置。
【請求項13】
容量的医用画像(305)中の臓器(309)の種類を識別するためのシステム(100)であって、
1つ又は複数のサーバ(101)と、
前記1つ又は複数のサーバ(101)とつなげられた医用撮像装置(108)と、
を含み、
前記1つ又は複数のサーバ(101)は、命令を含み、当該命令は実行されると、前記1つ又は複数のサーバ(101)に働きかけて、請求項1乃至11のいずれか一項に記載の方法の各ステップを実行させるようにする、システム。
【請求項14】
機械可読命令を含むコンピュータ・プログラム製品であって、1つ又は複数の処理装置(201)によって実行されると、1つ又は複数の処理装置(201)に働きかけて、請求項1乃至11のいずれか一項に記載の方法の各ステップを実行させるようにする、コンピュータ・プログラム製品。
【請求項15】
コンピュータ・プログラムのプログラムコード部が保存されているコンピュータ可読媒体であって、前記プログラムコード部は、システム(100)内にロード可能及び/又は実行可能であって、前記システム(100)内で前記プログラムコード部が実行されると、前記システム(100)に働きかけて、請求項1乃至11のいずれか一項に記載の方法の各ステップを実行させるようにする、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、容量的医用画像中の臓器の種類を識別するためのコンピュータ実施方法と、装置と、システムと、コンピュータ・プログラム製品と、コンピュータ可読媒体とに関する。
【背景技術】
【0002】
医用画像の問題の核心の一つに、分割化(又はセグメンテーション)がある。これは、臓器の境界の識別、表示の視覚化、又は容積の計算に用いられている。顕著な使用例の一つには、位置の探索中における臓器の識別がある。しなしながら、この目的のために全ての臓器を完全に分割化する場合、三次元画像には数十億のボクセル(又は体積要素)が含まれ得るため、計算が集約的になる。また、関心のある場所で臓器を識別する際、ほとんどの場合で、完全な臓器の分割化が必要とされていない。
【0003】
臓器の位置の情報を識別する別の方法として、ランドマーキング(又はランドマーク)がある。しかしながら、ランドマークでは、表現のレベルが粗いため、選択された位置での内側と外側の情報が得られない。
【0004】
微細で、粒状な(又はざらざらした)臓器の分割化についての近年の研究によって、計算時間の負担が数秒まで削減されている。しかしながら、このような分割化の手法では、依然として、実行上、さらなるハードウェアを必要としているため、多くの設定で実用的ではない。
【0005】
放射線医学の読取りを行う前に、分割化のマスク(又はセグメンテーション・マスク)を予め計算することは可能である。しかし、このプロセスは、データベースの設計、認証、及び通信プロトコルを複雑にしている。
【0006】
非特許文献1と非特許文献2には、先行技術が開示されている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Zhang、Fan、Yu Wang及びHua Yang著「腹部の複数の臓器のセグメンテーション用の効率的なコンテキスト指向(コンテキスト・アウェア)ネットワーク」arXiv(アーカイヴ)プレプリント、arXiv:2109.10601(2021年)
【非特許文献2】Yan, Zhennan等著「多段階ディープラーニング(深層学習)を用いた身体部分の認識」医用画像の情報処理についての国際会議、スプリンガー・チャム(2015年)
【発明の概要】
【発明が解決しようとする課題】
【0008】
従って、本発明の目的は、改善された臓器の識別を可能にする、方法、装置(又はデバイス)、及びシステムを提供することである。
【課題を解決するための手段】
【0009】
本発明に係る第1の態様では、容量的医用画像中の臓器の種類を識別するための、コンピュータを用いて実施される方法(又はコンピュータ実施方法)が提供されるが、本方法は、以下を含む。即ち、
a)少なくとも1つの臓器又は臓器の一部を含む容量的医用画像を受け取ることと、
b)上記容量的医用画像中の単一の関心点を受け取ることと、
c)上記容量的医用画像からボクセルをサンプリングし、この際、2つのサンプリングされたボクセルの間で少なくとも1つのボクセルをスキップする(又は、飛ばす)ことと、
d)上記サンプリングされたボクセルに対して、訓練された(又はトレーニングされた)分類器(又は分類装置)を適用することで、上記単一の関心点での臓器の種類を識別すること、とを含む。
【0010】
有利には、2つのサンプリングされたボクセルの間で、少なくとも1つのボクセルがスキップされる。このため、臓器の種類を識別するために、訓練された分類器によって処理される必要のあるデータの量を低減することができるため、計算の時間と、計算のリソースとが低減されるという効果がある。本発明者らによると、本方法を用いることで、訓練された分類器によって処理されるデータの量が低減されるにもかかわらず、依然として、信頼性があるように臓器の種類を識別できることを見出した。この理由の1つとして、サンプリングされたボクセル(これは、本明細書では、「記述子」としても参照され得る)は、より大きな視野に対応するため、より小さな小容量(サブボリューム)の全ボクセルがサンプリングされる場合と比較して、近傍情報を考慮するからである。
【0011】
臓器(又は器官)とは、共通の機能を行う構造単位で結合した組織の集合体として理解することができる。臓器は、ヒトの臓器であってもよい。臓器とは、例えば、腸、骨格、腎臓、胆のう、肝臓、筋肉、動脈、心臓、喉頭、咽頭、脳、リンパ節、肺、骨髄、脾臓、胃、静脈、膵臓、及び膀胱のうちの任意のものでもよい。
【0012】
容量的医用画像は、医用撮像装置(又は画像化装置)によって取込まれて、受け取ることができる。医用撮像装置について非限定的な例を挙げると、例えば、磁気共鳴撮像装置、コンピュータ断層撮影装置、X線撮像装置、超音波撮像装置等がある。容量的医用画像は、三次元(3D)及び/又は体積(ボリューム)に関するものでもよい。容量的医用画像は、複数のスライス(断片)から構成されていてもよく、つまり、複数の二次元(2D)医用画像から構成されていてもよい。二次元医用画像は、上記医用画像装置によって取込まれて、受け取られてもよい。次に、二次元医用画像を集合させて、容量的医用画像を形成してもよい。
【0013】
本明細書では、ボクセル(体積要素)は、三次元空間内の値を表すものとし、また、ピクセル(画素)は、二次元空間内の値を表すものとする。ピクセル又はボクセルは、それらの位置を有していてもよく、有していなくてもよく、つまり、その値で明示的に符号化されたその座標を有していてもよく、有していなくてもよい。替わりに、ピクセル又はボクセルの位置は、他のピクセル又はボクセルとの相対的な位置に基づいて推測されてもよい(つまり、単一の2D 又は3D(容量的)画像を構成するデータ構造内に位置する)。ボクセルは、3D格子(グリッド)上に配置されてもよく、ピクセルは、2D格子上に配置されてもよい。2D医用画像は、例えば、ピクセルのアレイ(配列)の形態でもよい。容量的医用画像は、ボクセルのアレイを含むことができる。容量的医用画像を構成する複数の2D医用画像のピクセルは、本明細書では、ボクセルとしても参照され得る。ピクセル又はボクセルは、三次元的な位置の関数として、強度、併合(吸収)又は他のパラメータを表すことができ、また、例えば、上記医用撮像装置の1つ又は複数から得られる測定信号を適切に処理することで得られてもよい。
【0014】
容量的医用画像中の単一の関心点は、三次元空間内の一つ(厳密に一つ)のピクセル又はボクセル、又は上記ピクセル又はボクセルの位置に対応していてもよい。方法のステップa)からd)は、例えば容量的医用画像中の異なる臓器を識別するために、異なる単一の関心点について繰り返して行われてもよい。
【0015】
ボクセルをサンプリングすることは、データファイル、データベース、(例えば、一時的な)メモリ、又はボクセルを含むアレイから読み取ることで行われてもよい。ボクセルのサンプリングは、連続的に行ってもよく、又は並列的に行ってもよい(例えば、複数のボクセルを同時に読み取る)。2つのサンプリングされたボクセルの間で、少なくとも1つのボクセルがスキップされる。つまり、それらの三次元的な関係における容量的医用画像の全てのボクセルを見るとき、2つのサンプリングされたボクセルの間で少なくとも1つのボクセルがサンプリングされないことを意味する。例えば、容量的医用画像が、第1、第2及び第3のボクセルを同じ列又は行内に配置して含む場合には、第1のボクセルと第3のボクセルだけがサンプリングされて、第2のボクセルはサンプリングされない。このたまに、例えば、まず、第1のボクセルをサンプリングして、次に、第3のボクセルをサンプリングしてもよい。あるいは、第1のボクセルと第3のボクセルを並列的にサンプリングしてもよい。サンプルされたボクセルは、メモリ内に保存することができる。
【0016】
サンプリングされたボクセルに対して、訓練された分類器が適用される。特に、サンプリングされたボクセルがメモリから読み出されると、次に、訓練された分類器によって処理される。訓練された分類器は、例えば、訓練されたニューラル・ネットワークである。
【0017】
一実施形態では、臓器の識別された種類(又は後述する臓器特有の異常又は病変)に応じて、ロボット(例えば、CT又はMR)スキャナ又は他の装置又は機械が制御される。例えば、ロボットは、患者の身体上で動作するように構成されていてもよい。特に、識別された臓器に基づいて、ロボット(例えば、メス等の操作器具)又はスキャナの動きが制御されてもよい。
【0018】
一実施形態では、ステップc)は、散在的な仕方及び/又はランダムな仕方でボクセルをサンプリングする。
【0019】
「散在的(又はまばら)」とは、容量的医用画像を構成するボクセルの総数を考慮するとき、ごくわずかボクセルのみが散在的なサンプリングで用いられることとして理解できる。特に、「散在的」とは、ステップc)において、容量的医用画像のボクセルの総数のうち、50%未満、又は20%未満、さらには10%未満がサンプリングされることをいう。
【0020】
「ランダム」とは、サンプリングされるボクセルが規則的なパターンに従わないことを意味する(ただし、2つのサンプリングされたボクセルの間で、少なくとも1つのボクセルがスキップされる)。ステップc)で用いられる(ランダムな)パターンは、異なる単一の関心点について同じであってもよい。幾つかの実施形態では、ステップc)でサンプリングされるボクセルを選択するために、乱数発生器又は擬似乱数発生器を用いることができる。
【0021】
一実施形態では、ステップc)では、単一の関心点からの各ボクセルまでの距離と共に減少する、単位長さ、単位面積、又は単位体積当たりのサンプリング率でボクセルをサンプリングすることが含まれる。
【0022】
従って、単一の関心点に焦点を合わせている視野が得られると同時に、その関心点から離れる距離の情報も考慮に入れている。
【0023】
ステップc)では、サンプリング・モデルを用いることができる。サンプリング・モデルには、サンプリング対象の容量的医用画像中のボクセルの位置に関する情報が含まれており、従って、記述子が提供されている。サンプリング・モデルは、例えば、アルゴリズムであってもよく、又はアルゴリズムを利用するものでもよい。
【0024】
一実施形態では、サンプリング率は、非線形の割合で減少し、特に、指数関数、対数関数又はべき関数の割合で減少する。
【0025】
本発明者らは、本明細書で記載されたサンプリング率を用いることで、計算時間を有意に削減することができると同時に、信頼性があるように臓器の種類を識別することができることを見出した。
【0026】
さらなる実施形態では、サンプリングされたボクセルは、容量的医用画像中のボクセルの総数のうち、1%未満であり、好ましくは0.1%未満であり、より好ましくは0.01%未満である。
【0027】
一実施形態では、訓練された分類器は、ニューラル・ネットワーク、特に、多層パーセプトロン、畳み込みニューラル・ネットワーク(又はコンボリューショナル・ニューラル・ネットワーク)、シャムネットワーク(又は結合体ネットワーク)、又はトリプレットネットワーク(又は三連ネットワーク)である。
【0028】
分類(訓練された分類器を用いるもの)とセグメント化(後者も通常ニューラル・ネットワークを用いて実施されるもの)との違いとして、分類では、単一の関心点(例えば特定のボクセル)に対して単一のラベル(例えば臓器の種類)が出力されるのに対して、セグメント化では、入力データの各ボクセルに対してラベルが決定される。このため、分類用の訓練と適用と、セグメント化用の訓練と適用とは、実質的に相違する。
【0029】
関心のある場所で記述子を用いて臓器ラベルを分類するために、単純なニューラル・ネットワーク分類器を用いることは可能である。このニューラル・ネットワーク分類器は、位置の変化と共に記述子が変化するため、トランスレーション不変モデルではない。
【0030】
一例を挙げると、ニューラル・ネットワークは、単一層ロジスティック回帰であり得る。その計算は、次のように定式化された記述子の値の線形結合のソフトマックスであり得る。
【0031】
【0032】
なお、上の数式で、「lorgan」は、臓器ラベルを指し、「Wl 」は、異なる臓器のウェイト(重み)ベクトルを指し、「x」は、記述子(descriptor)を指している。
【0033】
他の例では、非線形関係をモデル化するために、多層ニューラル・ネットワークを用いることができる。例えば、このことは、入力記述子に少なくとも1つの隠れ層を追加して、前の例の場合にソフトマックス分類器層を追加することで行うことができる。
【0034】
さらなる実施形態では、受け取った容量的医用画像、又は単一の関心点を含む容量的医用画像の一部分がグラフィカル・ユーザ・インタフェース(又はGUI)上に表示され、この際、識別された臓器の種類の意味記述(又は意味記述データ)が生成されて、単一の関心点の場所又はその近くの場所にそれを表示してもよい。
【0035】
このようにして、ユーザは、単一の関心点にどの種類の臓器が位置しているのかを迅速に理解することができる。
【0036】
一実施形態では、単一の関心点は、ユーザによって選択される。
例えば、単一の関心点は、グラフィカル・ユーザ・インタフェースと、ポインタ・デバイス等の入力デバイスとを使用して選択することができ、この際、入力デバイスは、単一の関心点を選択するために、ラフィカル・ユーザ・インターフェースと相互作用する。他の実施形態では、関単一の関心点は、キーボード、データファイル又は同様物を用いて入力されてもよい。
【0037】
さらなる実施形態では、単一の関心点は、ユーザによって操作されるカーソルが、グラフィカル・ユーザ・インタフェース上に表示される容量的医用画像又はその一部の上で一時停止されることで選択されてもよい。
【0038】
本例では、分類(ステップd)は高速であり、例えば、10ms未満で行われ(この速さは、グラフィカル・ユーザ・インタフェースの一部として用いられている画面リフレッシュ・レートよりも高速であり得る)、カーソルが短時間で一時停止される度に、単一の関心点に関連する臓器の種類、例えば意味記述が表示されてもよい。ここで、「一時停止」とは、カーソルがユーザによって動かされていないことを意味する。このため、ユーザ(例えば、医師)は、容量的医用画像について、迅速かつ効率的な分析を行うことが可能になる。
【0039】
さらなる実施形態では、ユーザが、容量的医用画像又はその一部に関して測定を行うと、その臓器の識別された種類が、その行われた測定と共にデータベース内に保存される。
【0040】
しばしば、ユーザが、容量的医用画像又はその一部に関して測定を行う。例えば、医師が、臓器の大きさ、又は、臓器の中の病変又は腫瘍の大きさを測定することがある。この測定は、例えば、グラフィカル・ユーザ・インタフェースを用いて行うことができる。特定の臓器と関連した測定を得ることで、その後、それについての参照を簡略化されて、より効率的にすることができる。
【0041】
本発明に係るさらなる態様では、本方法は、さらに、以下を含む。即ち、
臓器に特有の異常(又は異常性)を識別するための、訓練されていない複数の分類器を受け取ることと、
識別された臓器に基づいて、上記複数の分類器の中から1つ又は複数の訓練されていない分類器を選択することと、
容量的医用画像を用いて、上記1つ又は複数の訓練されていない分類器を訓練すること、
を含む。
【0042】
容量的医用画像の中で臓器の種類を識別するために構成された分類器(例えば、ニューラル・ネットワーク)が存在する。また、臓器に特有の異常を識別するために構成された分類器(例えば、ニューラル・ネットワーク)も存在する。上記臓器に特有の異常には、例えば、結節、病変及び腫瘍が含まれる。これら臓器に特有の異常は、それぞれ、形状、きめ(テクスチャ)、密度等が実質的に相違するため、それぞれの臓器の種類について上記分類器を訓練するのが好ましい。このため、上記のような臓器に特有の分類器に用いられる訓練データは、分類される必要がある。例えば、肺結節の分類器は、肺を示す容量的医用画像を用いて訓練することができ、肝臓病変の分類器は、肝臓を示す容量的医用画像を用いて訓練することができ、その他も同様である。本方法は、各分類器に、適当な容量的医用画像を提供するために効率的に用いることができる。
【0043】
さらなる実施態様では、本方法はさらに、容量的医用画像中の「N-1」個の単一の関心点のそれぞれに対して、ステップa)-d)を実施及び/又は繰り返すように構成され、この際、「N」は、容量的医用画像のボクセルの総数以下である。
【0044】
しばしば、1つの容量的医用画像の中で、複数の単一の関心点について、臓器の種類を決定することが求められることがある。このため、本方法では、異なる(複数の)単一の関心点について、何度も実施したり、繰り返すことができる。なお、「N」とは、正の実数かつ整数である。ここで、「実施(実行)する」と「繰り返す」との違いとして、「実施」の場合には、並行して実行できるが、「繰り返す」の場合には、連続的(逐次的)なアプローチが必要になる。典型的には、N個の関心点は、容量的医用画像に適用される粗い格子(グリッド)の節(ノード)に対応する。言い換えると、N個の単一の関心点は、格子に相当するが、これは、容量的医用画像中に含まれるボクセルの間隔を上回る格子間隔を有する。好適には、格子は、規則的な間隔を有する。しかしながら、極端な場合、Nがボクセルの総数に等しい場合、セグメンテーション法と対比して同様の結果を得ることができる。ただし、本方法の仕方では、すべての単一の関心点が互いに独立して評価される。
【0045】
好適には、ステップa)-d)は、1つ又は複数の処理装置で並列的に実施される。従って、処理時間をさらに削減することができる。
【0046】
本発明に係る第2の態様では、上記分類器(上記ステップd)参照)を訓練するための、コンピュータを用いて実施される方法が提供される。本方法は、以下を含む。即ち、
a)少なくとも1つの臓器又は臓器の一部を含む容量的医用画像を受け取り、そして、少なくとも1つの臓器の種類を受け取ることと、
b)上記容量的医用画像中の単一の関心点を受け取ることと、
c)上記容量的医用画像からボクセルをサンプリングすることであって、この際、2つのサンプリングされたボクセルの間で少なくとも1つのボクセルをスキップすることと、
d)上記サンプリングされたボクセルに対して訓練されていない分類器を適用することで、上記単一の関心点での臓器の種類を識別することと、
e)上記識別された臓器の種類を、上記受け取った臓器の種類と比較することと、
f)上記ステップe)での比較に基づいて上記分類器を調整することで、訓練された分類器を得ること、
を含む。
【0047】
受け取った少なくとも1つの臓器の種類は、上記ステップa)の前に、データベースに保存することができる。少なくとも1つの臓器の種類は、上記ステップa)の前に、上記ステップa)にて受け取った容量的医用画像を人為的に調査することで決定することができ、又は、他の方法で決定されてもよい。上記ステップf)に従って分類器を修正することは、訓練されていない分類器又は部分的に訓練された分類器のニューラル・ネットワーク中で重み付け(ウエイト)を変更することを含むことができる。
【0048】
本発明に係る第3の態様では、容量的医用画像中の臓器の種類を識別するための装置(又はデバイス)が提供される。本装置は、以下を含む。即ち、
1つ又は複数の処理装置と、
医用撮像装置が取り込んだ1つ又は複数の容量的医用画像を受け取るように構成された、第1の受信装置と、
上記1つ又は複数の容量的医用画像中の単一の関心点を受け取るように構成された、第2の受信装置と、
上記1つ又は複数の処理装置とつなげられて、上記方法の各ステップを実行するように構成されたモジュールを含むメモリ(記憶装置)と、
を含む。
【0049】
各装置、例えば、処理装置、第1の受信装置、又は第2の受信装置は、ハードウェア及び/又はソフトウェアによって実装されてもよい。上記装置がハードウェアで実装される場合には、例えば、装置(デバイス)として実装されてもよく、例えば、コンピュータとして、プロセッサとして、又はシステム(例えば、コンピュータシステム)の一部として実装されてもよい。上記装置がソフトウェアで実装される場合には、コンピュータ・プログラムとして、機能(ファンクション)として、ルーチンとして、プログラムコードとして、又は実行可能オブジェクトとして実装されてもよい。
【0050】
本発明に係る第4の態様では、容量的医用画像中の臓器の種類を識別するためのシステムが提供される。本システムは、以下を含む。即ち、
1つ又は複数のサーバと、
上記1つ又は複数のサーバとつなげられた医用撮像装置と、
を含む。
上記1つ又は複数のサーバは、命令を含み、当該命令は実行されると、上記1つ又は複数のサーバに働きかけて、上記方法の各ステップを実行させるようにする。
【0051】
本発明に係る第5の態様では、機械可読命令を含むコンピュータ・プログラム製品であって、これは、1つ又は複数の処理装置によって実行されると、当該1つ又は複数の処理装置に働きかけて、上記方法の各ステップを実行させるようにする。
【0052】
コンピュータ・プログラム手段等のコンピュータ・プログラム製品は、例えば、メモリカードとして、USBスティックとして、CD-ROMとして、DVDとして、又はネットワーク内のサーバからダウンロード可能なファイルとして実装されてもよい。例えば、このファイルは、ワイヤレス(無線)通信ネットワークからコンピュータ・プログラム製品を含むファイルを転送することによって提供されてもよい。
【0053】
本発明に係る第6の態様では、コンピュータ・プログラムのプログラムコード部が保存されているコンピュータ可読媒体であって、上記プログラムコード部は、システム内にロード可能及び/又は実行可能であって、当該システム内で上記プログラムコード部が実行されると、上記システムに働きかけて、上記方法の各ステップを実行させるようにする。
【0054】
第1の態様について説明した特徴、長所及び実施形態は、第2の態様及び後続の態様に対しても等しく適用され、その逆も同様である。
【0055】
本明細書では、「1つ(又は1つを意味する冠詞/A)」は、単一の構成要素に限定的に用いられないことを理解されたい。むしろ、明示的に説明されていない場合には、これは、1つ又は複数の構成要素を意味することもできる。さらに、「序数詞(a、b等)」(例えば、ステップa)、ステップb)等)は、特定の順番に限定的に用いられるものではないことを理解されたい。むしろ、その順番は、当業者が妥当であると考えられる場合には、変更することができる。
【0056】
本明細書中に明示的に記載されていなくても、本発明のさらなる可能な実装又は代替の解決策として、上述又は後述の各実施形態で説明される特徴の組み合わせを含むことができる。また、当業者であれば、本発明の最も基本的な実施形態に対して、独立した又は個別の態様又は特徴を加えることができるであろう。
【0057】
本発明に係るさらなる実施形態、特徴、及び利点は、添付した図面を参照して、後述の説明と添付した特許請求の範囲とから明らかになるであろう。
【図面の簡単な説明】
【0058】
【
図1】
図1は、容量的医用画像中の臓器の種類を識別するためのシステムを実装した、クライアントとサーバ間の構造を例示したブロック図である。
【
図2】
図2は、容量的医用画像中の臓器の種類を識別するための装置を実装した、データ処理システムのブロック図である。
【
図3】
図3は、容量的医用画像中の臓器の種類を識別するためのコンピュータ実施方法を実装するフローチャートを例示した図である。
【
図3A】
図3Aは、幾つかのボクセルをスキャンする一方、他のボクセルをスキップした容量的医用画像を例示した図である。
【
図4】
図4は、容量的医用画像のスライスを例示した図であって、一実施形態に従う位置情報のサンプリング・モデルの一部を例示した図である。
【
図5】
図5は、
図4のサンプリング・モデルの定義に用いられた複数の三次元格子を例示した図である。
【
図6】
図6は、
図4のサンプリング・モデルを、同じ
図4に例示した容量的医用画像のスライスに適用したときのサンプリング時の強度値(記述子)を例示した図である。
【
図7】
図7は、一実施形態に係るグラフィカル・ユーザ・インタフェースを例示した図である。
【
図8】
図8は、測定を伴うグラフィカル・ユーザ・インタフェースを例示した図である。
【
図9】
図9は、結果を保存するデータベースの実施形態を例示した図である。
【
図10】
図10は、一実施形態に係る連合学習アプローチに用いられた様々な分類器を例示した図である。
【
図11】
図11は、一実施形態に係る臓器に特有の分類器を訓練するための方法のフローチャートを例示した図である。
【
図12】
図12は、粗い肝臓のセグメンテーションの実施形態を例示した図である。
【
図13】
図13は、本明細書で用いられた分類器を訓練するためのコンピュータ実施方法のフローチャートを例示した図である。
【発明を実施するための形態】
【0059】
以下、本発明の実施形態について詳述する。様々な実施形態について、図面を参照して説明するが、全図を通じて、同様の構成要素を説明するために同様の参照番号が用いられている。以下の説明では、1つ又は複数の実施形態について十分な理解が得られるように、説明の目的上、複数の特定の詳細についても記載されている。なお、自明だが、これら特定の詳細を伴うことなく、本発明の実施形態を実施することは可能である。
【0060】
図1は、クライアントとサーバ間の構造を例示したブロック図であって、容量的(又は容積的)医用画像中の臓器(又は器官)の種類を識別するためのシステムを例示した図である。このクライアントとサーバ間の構造100には、サーバ101と、複数のクライアント側装置107A-Nとが含まれている。各クライアント側装置107A-Nは、ネットワーク105を介して、サーバ101と接続されており、例えば、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、WiFi等を介して接続されている。一実施形態では、サーバ101は、クラウド・コンピューティング環境内に配置される。本明細書で使用される用語「クラウド・コンピューティング環境」とは、構成可能な計算(コンフィギュラブル・コンピューティング)用の物理的及び論理的リソース(例えば、ネットワーク、サーバ、ストレージ、アプリケーション、サービス等)と、ネットワーク105(例えば、インターネット)上に分散されるデータとを含む処理環境を意味する。クラウド・コンピューティング環境では、構成可能な計算用の物理的及び論理的リソースの共有プールへのオンデマンド・ネットワーク・アクセスが提供される。サーバ101には、医用データベース102が含まれていてもよく、その医用データベース102には、複数の患者に関する医療画像が含まれるが、それら画像は、医療サービス提供者によって管理されている。一実施形態では、その医用データベース102には、MRスキャナ及び/又はCTスキャナ等によって取り込まれた容量的医用画像が含まれている。サーバ101には、特に後述するように、容量的医用画像中の臓器の種類を識別するように構成されたモジュール103が含まれていてもよい。
【0061】
クライアント側装置107A-Nは、ユーザ、例えば、放射線科医、病理医、医師等の医療従事者が使用するユーザ側の装置である。一実施形態では、ユーザ側装置107A-Nは、患者に関する容量的医用画像又は2D(二次元)医用画像を受け取るために、ユーザによって用いられてもよい。そのデータは、ユーザ側装置107A-NのエンドユーザWebアプリケーションのGUI(グラフィカル・ユーザ・インタフェース)を介して、ユーザによってアクセス可能となっている。別の実施形態では、ネットワーク105を介して、患者に関する医用画像にアクセスするために、リクエスト(要求)がサーバ101に送信されてもよい。
【0062】
撮像ユニット(又は医用撮像装置)108は、ネットワーク105を介して、サーバ101と接続可能になっている。このユニット108は、複数の容量的医用画像を取得可能な医用撮像ユニット108であってもよい。医用撮像ユニット108は、例えば、磁気共鳴撮像ユニット、コンピュータ断層撮像ユニット、X線透視撮像ユニット、超音波撮像ユニット等のスキャナ・ユニットであってもよい。
【0063】
図2は、本実施形態を実装可能なデータ処理システム101を例示したブロック図であって、例えば、後述するプロセスを実行可能に構成された容量的医用画像中の臓器の種類を識別するためのシステム101の図である。ここで、サーバ101とは、
図2のシステムの例示的な実装であることを理解されたい。
図2では、上記データ処理システム101は、処理装置(プロセッシング・ユニット)201、メモリ(記憶装置)202、ストレージ装置(記憶装置)203、入力装置204、出力装置206、バス205、及びネットワーク・インターフェース104を備えている。
【0064】
本明細書で用いられる処理装置201とは、任意の種類の計算回路を意味し、例えば、非限定的な例を挙げると、マイクロプロッサ、マイクロコントローラ、マイクロプロッサを計算させるための複雑な命令のセット、マイクロプロッサを計算させるためのより少ない命令のセット、マイクロプロッサ用の非常に長い命令語、マイクロプロッサを計算させるための明示的に並列な命令、グラフィックス・プロセッサ、デジタル・シグナル・プロセッサ、又は任意の他の種類の処理回路等が挙げられる。また、処理装置101は、埋込み型コントローラを含むことができ、例えば、汎用又はプログラム可能な論理デバイス又はアレイ、特定用途向け集積回路、シングル・チップ・コンピュータ等を含むことができる。
【0065】
メモリ202とは、揮発性メモリや不揮発性メモリであってもよい。このメモリ202は、上記処理装置201と通信可能なようにつなげられていてもよい。処理装置201は、メモリ202内に記憶された命令及び/又はコードを実行することができる。様々なコンピュータ可読の記憶媒体が上記メモリ202内に記憶されて、そこからアクセス可能になっている。メモリ202は、データや機械可読命令を記憶可能な任意の適切な構成要素を含むことができ、例えば、リード・オンリー・メモリ、ランダム・アクセス・メモリ、消去可能でプログラム可能なリード・オンリー・メモリ、電気的に消去可能でプログラム可能なリード・オンリー・メモリ、ハードドライブ、CD(コンパクトディスク)を取り扱うための取り外し可能なメディアドライブ、デジタル・ビデオ・ディスク、ディスケット、磁気テープカートリッジ、メモリカード等が含まれる。本実施形態では、メモリ201には、上記のいずれかの記憶媒体上に機械可読命令の形で保存されて、処理装置201と通信して、実行可能なモジュール103が含まれる。モジュール103は、処理装置201によって実行されると、処理装置201に働きかけて、容量的医用画像中の臓器の種類を識別させるようにする。上記機能を達成するために処理装置201によって実行される方法の各ステップは、後述の図を参照して説明される。
【0066】
保存装置203は、医用データベース102を保存可能な非一時的な記憶媒体であってもよい。入力装置204は、キーパッド、タッチ感応型ディスプレイ、カメラ(例えば、カメラによって取り込まれる身振りに基づく入力等)、マウス入力信号又はカメラ入力信号等の入力信号を供給可能なポート等の入力手段を含み得る。バス205は、プロセッサ(処理装置)201、メモリ202、保存装置203、入力装置204、出力装置206及びネットワーク・インターフェース104の間で相互接続するように作用する。容量的医用画像は、例えば、ネットワーク・インターフェース104又は入力装置204を介して、医用データベース102に読み取られてもよい。
【0067】
図1に例示した上記のハードウェアは、当業者であれば、特定の実装に従って変化可能なことを理解できるであろう。例示したハードウェアの代わりに、又はそれに加えて、例えば、光学ディスクドライブ等の他の周辺装置、ローカル・エリア・ネットワーク(LAN)/ワイド・エリア・ネットワーク(WAN)/ワイヤレス(例えば、Wi-Fi)アダプタ、グラフィック・アダプタ、ディスク・コントローラ、入出力(I/O)アダプタを用いることが可能である。上記の例示は、説明の目的上、例示されたに過ぎず、本開示内容の構成について限定することを意図したものではない。
【0068】
本開示内容の実施形態に係るデータ処理システム101は、グラフィカル・ユーザ・インタフェース(GUI)を用いるオペレーティング・システム(OS)を含むことができる。上記オペレーティング・システムは、グラフィカル・ユーザ・インタフェース内に複数のディスプレイ・ウィンドウを表示することができ、その際、各ディスプレイ・ウィンドウは、異なるアプリケーションについてのインターフェースを提供したり、又は同一のアプリケーションの異なるインスタンス(事例)についてのインターフェースを提供することができる。上記グラフィカル・ユーザ・インタフェース内のカーソルは、ユーザによって、ポインティング・デバイスを介して操作されてもよい。カーソルの位置は変化可能であってもよく、及び/又は、マウスボタンをクリックする等のイベントが生じると、所望の応答を得ることができるようにしてもよい。
【0069】
様々な商用のオペレーティング・システムのうち、任意のものを用いることができる。例えば、ワシントン州レドモンドにあるマイクロソフト社の製品のマイクロソフト・ウィンドウズ(登録商標)の任意のバージョン等を用いることができるが、適当なように修正可能である。上記オペレーティング・システムは、本開示内容に従って、修正されたり、作成されてもよい。本開示内容の実施形態は、医用画像を処理するためのシステムと方法を提供する。
【0070】
図3には、容量的医用画像中の臓器の種類を識別するための方法の実施形態について、そのフローチャートが例示されている。
【0071】
ステップ305では、容量的医用画像305(後述の
図3A参照)が受信される。容量的医用画像305は、例えば、ネットワーク・インターフェース104又は入力装置203を介して、データ処理システム101内で受信されてもよい。
【0072】
図3Aに例示した容量的医用画像305は、ボクセル(体積要素)306、307、308の三次元アレイ(配列)から構成されている。このアレイは、
図3Aでは、斜視図で見た立方体として例示されている。この立方体は、全ての三次元x、y、zに沿って広がるボクセル306、307、308の行と列とを含む。
図3Aの理解を助けるために、立方体内のボクセル306、307、308の一部のみが例示されている。
【0073】
本明細書で説明される方法では、3次元アレイの代わりに、複数のスライス(ピクセル又は画素の2次元アレイ)を使用して、(3次元)体積を合わせて記述することもできる。実際には、例えば、強度などの値を含み、三次元空間を記述する、他の任意のデータ構造を使用することもできる。このような値は、本明細書では「ボクセル」として参照される。この値は、他の値に関して三次元的な関係を記述する情報と組み合わされていてもよく、又は、三次元的な関係は、データ構造や、他の任意のソースから推論されてもよい。
【0074】
容量的医用画像305には、少なくとも1つの臓器309又は臓器309一部が含まれる。
図3Aの例では、例えば肺又は腎臓である臓器309の一部が、容量的医用画像305中のハッシュ化された(斜線を付けた)ボクセル308によって表されている。
【0075】
ステップ302では、容量的医用画像中の単一の関心点310が受信される。以下で詳述するように、単一の関心点310は、例えば、マウス等のポインティング・デバイス(ポインタ・デバイス)を用いたグラフィカル・ユーザ・インタフェースを介して、ユーザによって選択されてもよい。単一の関心点310は、例えば、ネットワーク・インターフェース104又は入力装置204(
図2参照)を介して受信されてもよい。
【0076】
単一の関心点310とは、容量的医用画像中の点であって、当該点に対応する臓器309の種類を識別することが求められている。この単一の関心点310は、x、y、zの座標を用いて記述することができ、立方体内の特定のボクセルに対応することができる。例えば、単一の関心点310を選択するためにマウスが用いられる場合、例えば、画像上でカーソルをクリック又は一時停止(ポーズ)することで、単一の関心点310の選択が一度行われると、マウスカーソルの座標x、y、zが、例えば、入力装置204を介して、データ処理システム101に送信される。
【0077】
ステップ303では、容量的医用画像305からボクセル306、308がサンプリングされる。この目的のために、例えば、モジュール103(
図2参照)は、データベース102中に含まれる容量的医用画像305から、ボクセル306、308を読み取る。2つのサンプリングされたボクセル306、308の間で、少なくとも1つのボクセル307がスキップされる。
図3Aでは、サンプリングされたボクセルはチェックの印を用いて表されており、一方、スキップされたボクセル又はサンプリングされていないボクセルはクロス(x)の印を用いて表されている。
図3Aの実施形態では、隣接するボクセル306、307、308によって定められるボクセルの行中に、一つ置きの仕方で、ボクセル306、308のみがサンプリングされている。これらボクセル306、308は、連続的にサンプリングされてもよく、又は並行してサンプリングされてもよい。
【0078】
モジュール103は、どのボクセルがサンプリングされているか、また、どのボクセルでサンプリングされていないのかを定めるために、アルゴリズム又は他の種類のコードである対応するサンプリング・モデルを含むことができる。他、サンプリング・モデルは、入力装置204を介して、ユーザによって定められてもよく、又は、サンプリング・モデルは、ネットワーク・インターフェース104を介して、供給されてもよい。
【0079】
実施形態では、ステップ303にて、ボクセル306、308は、散在的な仕方でサンプリングされている。即ち、容量的医用画像305中でサンプリングされるボクセルの数は、容量的医用画像中に含まれるボクセルの総数よりも少ない。特に、サンプリングされるボクセルの数は、ボクセルの総数の50%よりも少ない、又は、20%よりも少ない、又は、10%よりも少なく、散在的と考えられる。一実施形態では、サンプリングされたボクセル306、308は、容量的医用画像305中のボクセルの総数の1%よりも少なく、好ましくは0.1%よりも少なく、より好ましくは0.01%よりも少ない。
【0080】
なお、ランダムな仕方でボクセルをサンプリングすることは可能である(ただし、2つのサンプリングされたボクセル間で少なくとも1つのボクセルがスキップされる場合を除く)。例えば、乱数発生器又は疑似乱数発生器を用いて、容量的医用画像305中のサンプリング対象のボクセル306、307、308を識別するとともに、サンプリング対象外の他のボクセルを識別してもよい。例えば、上記の乱数発生器又は擬似乱数発生器は、サンプリング・モデルの一部であってもよく、又は、上記のサンプリング・モデルを提供するために用いられてもよい。
【0081】
特に、本発明者らは、ステップ303では、単一の関心点310から距離311と共に減少する単位長さ、単位面積、又は単位体積当たりのサンプリング率で、ボクセル306、308がサンプリングされる場合、有利なことを見出した。また、サンプリング率が非線形の割合で減少すると、特に指数関数、対数関数又はべき関数の割合で減少する場合、より一層、結果が改善されることが分かった。
【0082】
この点に関し、
図4及び
図5を参照して説明する。これら図には、容量的医用画像305から取得された2次元の断片(2Dスライス)401中の、散在的なサンプリング・モデル400が例示されている(なお、図の理解を容易にするために、サンプリング・モデル400の一部ののみについて参照番号400a、400b、400cが付けられている)。サンプリング・モデル400は、散在的なサンプリングを提供するように構成されているが、この際、単位体積当たりのサンプリング率は、x、y、z方向に沿った距離と共に減少している。
図4では2次元の画像が例示されていて、
図4に例示された平面に対して垂直な深さ方向に相当するy軸方向については例示されていないが、
図4中のx方向及びz方向について示したサンプリング率に対応して例示されている。
【0083】
図5には、例えば、
図4に例示したサンプリング・モデル400を定義するために用いられる異なる格子間隔での3次元の格子(グリッド)が例示されている。立方体(又は立方骨)は、符号501、502、503で表されている。立方体501、502、503は、互いに入れ子状に配置されており、その際、最小の立方体501が、例えば、その中心に、単一の関心点310を有している。各立方体には、それぞれ格子が含まれている。立方体501には格子504が含まれ、立方体502には格子505が含まれ、立方体503には格子506が含まれている。これら格子504、505、506は、立方体又は立方骨をその内に定義するように、規則的な間隔を有していてもよい。例示の目的上、これら格子504、505、506は、二次元(即ち、この用紙の紙面)でのみ例示されていて、部分的にしか示されていない。格子間隔は、各格子の2つの隣接するノード(節点)間の距離として定められている。3つの格子線の交点として、任意のノードが定められている。格子506について詳しく例示しているように、2つのノード(節点)507、508は、距離D
6で離間している。同様に、格子504のグリッド間隔は、距離D
4で定められていて、格子505の格子間隔は距離D
5で定められている。
【0084】
本発明者等による実験では、D4を8mmとし、D5を20mmとし、D6を80mmとして選択された。ノード507、508は、各立方体(又は立方骨)の体積内のノードであって、その立方体の中に入れ子状に配置された最も大きな立方体(又は立方骨)の体積を除いたものとして考えることができる。例えば、立方体503について、ノード507、508は、立方体502の体積の中に置かれていない立方体503の体積の内側にあると考えることができる。
【0085】
ノード507、508は、サンプリング・モデル400を定めており、従って、容量的医用画像305中でサンプリングされたボクセル306、308(
図3A参照)を定めている。この場合、サンプリング・モデル400を用いて容量的医用画像305をサンプリングすると、1,195個のボクセルがサンプリングされた(即ち、例えば、データベース102から読み取った強度の値)。一方、容量的医用画像中のボクセルの総数は25,000,000個だった。従って、ボクセルの総数の0.1%未満がサンプリングされた。
図6には、
図4の断片(スライス)内でサンプリングされたボクセルが、併せて画像中に例示している。
【0086】
図3を再度参照すると、例示されたステップ304では、サンプリングされたボクセル306、308に対して訓練された分類器を適用することで、単一の関心点310における臓器309の種類が識別されている。訓練された分類器は、ニューラル・ネットワークであり、特に、多層パーセプトロン、畳み込みニューラル・ネットワーク、シャムネットワーク、又はトリプレットネットワークである。
【0087】
図4及び
図5では、本発明者らが考案した方法の有効性について例示されている。
【0088】
最初に、比較の目的上、二次元のスライス(断片)を例示した
図4の容量的医用画像305の各ボクセルについて、ラベル又は標識(臓器の種類)を見付け出すためにセグメンテーション(又は分割化)が用いられてもよい。特に、U-Netセグメンテーション・アルゴリズムを使用することができる。U-Netとは、フライブルク大学のコンピューターサイエンス学科で生物医学画像のセグメンテーションのために開発された畳み込みニューラル・ネットワークのことである。セグメンテーションには、通常10s[秒]を要するが、それは次の文献に記載の通りである。
Hatamizadeh、Ali等による、「UNETR: 三次元医用画像のセグメンテーション用の変換器(Transformers for 3D Medical Image Segmentation)」arXiv:2103.10504v3(2021年)
【0089】
一方、本発明者が実験からは、記述子(デスクリプタ)を備えた訓練された分類器(サンプリング・モデル400を用いて導出されたもの)を用いて、単一の関心点310でのラベル(即ち、臓器の種類)を見つけるには、10msしか要しなかったことがわかった。この実験で用いられた訓練された分類器は、ResNet(残差ニューラル・ネットワーク:Residual Neural Network)分類器である。ResNetは、数百もの層をもつ非常に深いフィードフォワードのニューラル・ネットワークを利用している。
【0090】
本発明者らが典型的な仕方でResNet分類器を適用したところ、即ち、容量的医用画像305中のボクセルの総数をサンプリングして、単一の関心点410にてラベル(臓器の種類)を求めたところ、データ処理に約1秒を要した。
【0091】
図7は、実施形態において、例えば、クライアント側装置107A-Nのいずれかに表示されたグラフィカル・ユーザ・インタフェース700の一部が例示されている。
図7では、グラフィカル・ユーザ・インタフェース700には、容量的医用画像305の断片(スライス)が例示されているが、その際、ある臓器309の一部の上に一時停止されたマウスのカーソル701が示されている。所定時間の間、カーソル701を容量的医用画像305の上で一時停止することで、ユーザは、容量的医用画像305中の単一の関心点310を選択することができる。従って、単一の関心点310の対応する座標が、例えば、モジュール103(
図2参照)に送信されて、そのモジュール103は、ステップ301-304を実行することで、単一の関心点310にはどの臓器の種類が対応するのかを決定することができる。
【0092】
実施例の一つでは、臓器309が肺であることが見出されている。従って、モジュール103、又は、他のソフトウエア及び/又はハードウェアの一部は、意味記述データ(例えば「肺」についてのもの)を生成して、そのデータを単一の関心点310の場所又はその近く(例えば、
図7参照)に表示する。
【0093】
図8では、ユーザは、臓器309上のグラフィカル・ユーザ・インタフェース700を用いて、測定800を行っている。例えば、この臓器309は、方法のステップ301-304を用いて、単一の関心点310について「左腎」であると識別されている。例えば、腫瘍の大きさ、臓器309の大きさ、又は同様物の大きさ等の測定800が行われる。モジュール103、又は、任意の他のソフトウェア及び/又はハードウェアは、測定(又は測定値)800(この例では、40mmの距離線で示されている長さ)と、
図9に例示したデータベース900中のラベル(つまり、測定800と関連して単一の関心点310にて見出された器官の種類)とを保存するように構成することができる。データベース900は、メモリ203中にも保存することができる(
図2参照)。データベース900内には、複数の測定800が、意味記述ラベル702と、対応する単一の関心点310の座標901(x、y、z)と共に保存される。情報800、702、901は、配列(アレイ)902中に保存され得る。データベース900中には、複数の配列902が保存され得る。
【0094】
図10には、
図3に示した方法を、連合学習に適用した例が示されている。データベース102には、複数の容量医用画像305が保存されている。モジュール103は、一実施形態では、各画像305中の予め定められた単一の関心点と、予め定められた分類器400とを用いて、各画像305中に示された臓器309の種類を識別する。モジュール103は、識別された臓器の種類に応じて、肺を示すことがわかった画像305を肺結節分類器(分類装置)1001に提供する。肝臓を示すことがわかった画像305’は、肝臓病変分類器1002に提供されている。また、腎臓を示すことがわかった画像305’’は、腎臓病変分類器1003に提供されている。
【0095】
特に、
図11に例示するように、連合学習の方法を実施することができる。
【0096】
最初に、モジュール103によって、例えば、訓練されていない分類器1001-1003が受け取られる(ステップ1101)。訓練されていない分類器1001-1003は、訓練されると、臓器に特有の病変(異常)を識別することができるように構成されている。例えば、肺結節分類器1001は、訓練されると、肺内の小結節を検出するように構成される。同様に、病変分類器1002は、訓練されると、病変と肝臓等を検出するように構成される。
【0097】
ステップ1102では、モジュール103は、ステップ304(
図3参照)にて識別された容量的医用画像305中の特定の臓器と対応している訓練されていない分類器1001-1003から選択する。
【0098】
ステップ1103では、訓練されていない分類器1001-1003が、対応する臓器を示している容量的医用画像305を用いて訓練される。
【0099】
訓練を行うためには、各容量的医用画像305について、臓器に特有の異常を知る必要がある。そのような情報は、好適には、データベース102内にも保存されており、それは、訓練ステップ1102中に使用される。
【0100】
有利には、
図10及び
図11に例示した方法では、ステップ304の分類器は、ゲート機構(又はゲーティング機構)として用いることができ、それは、入力データ(特に容量的医用画像305)を正確な臓器特有の分類器1001-1003に向けることができる。従って、分類器1001-1003を効果的に訓練するために、完全なセグメンテーション(分割化)は不要である。このゲート機構は、分類器1001-1003を訓練するために使用することができるが、適用段階でも使用することができる。さらに、
図3の方法は、同じ容量的医用画像305中の複数の単一の関心点310に対して適用することができる。同じ容量的医用画像305中に複数の臓器が識別される場合、その容量的医用画像は、異なる小画像(サブ画像)に区分又は分割して、それら各々が1つの臓器309を示すようにしてもよい。次に、小画像を用いて、臓器特有分類器1001-1003を訓練してもよい。小画像の中で識別された臓器が、臓器について特有の分類器1001-1003のものと対応する場合、その分類器1001-1003がその画像について訓練される。
【0101】
適用段階では、訓練された臓器特有の分類器1001-1003が選択されるが、例えば、モジュール103によって、ステップ304に続く処理ステップにて、識別された臓器に基づいて選択され、そして、訓練された臓器特有分類器1001-1003が、容量的医用画像305又はその小画像に対して適用される。従って、上記方法は、臓器の種類を識別するのに適しているだけでなく、臓器内の特定の異常を識別するのにも適している。
【0102】
図12に例示した実施形態では、容量的医用画像305中のN個の単一の関心点に対して、ステップ301-304(
図3参照)が行われる。例えば、
図5の格子506(この例では格子504及び505は存在しないが、格子506は立方体503の全容積を満たしている)のような粗い格子が選択される。各ノード507、508は、それぞれの単一の関心点310として選択される。次に、例えば、同じサンプリング・モデル400を使用して(しかし、可能であれば、容量的医用画像305に適用される時、サンプリング・モデル400の中心に単一の関心点310が留まるように、サンプリング・モデルを移動させてもよい)、ボクセル306、308がサンプリングされる。その結果、各ステップ304にて、各関心点507,508における臓器309の種類が識別される。ステップ301-304は、各ノード507、508について、並列的に実施されてもよく、又は連続的に実施されてもよい。格子間隔、即ち、距離D
6(
図5参照)は、容量的医用画像305中の2つの隣接するボクセル305、306、307の間隔よりも大きいように選択される。その結果、
図12に示すような粗いレベルでのセグメンテーション(分割化)が得られる。依然として、このようなセグメンテーション・ニューラル・ネットワークは使用されないが、分類器が適用されて、この粗レベルでのセグメンテーションが得られる。
図12の例では、距離D
6(
図5参照)は1cm (解像度)に等しい。
図12に例示したセグメンテーションを得るために、CPUハードウェアは、余分な前処理ステップを必要とすることなく、0.41秒を要したに過ぎない。
【0103】
図13には、ステップ304で使用した分類器を訓練する方法の実施形態が例示されている(
図4参照)。
【0104】
ステップ1201では、容量的医用画像305が受け取られるが、それと伴って、容量的医用画像305中に示された少なくとも1つの臓器309の種類を識別する識別子(ラベル)が受け取られる。この識別子は、
図7及び
図8で参照した意味記述ラベル702に対応するものでもよく、又は任意の他の適切な形態のものでもよい。この識別子は、ステップ1201の前に、容量的医用画像305に完全な分割化(フル・セグメンテーション)を適用することで得られてもよく、従って、画像305中の全てのボクセルについての識別子を提供してもよい。
【0105】
ステップ1202では、容量的医用画像305中の単一の関心点310が受け取られる。訓練の目的上、例えば、単一の関心点は、予め定められてもよく、又はランダムに生成されてもよい。
【0106】
ステップ1203では、容量的医用画像305からボクセルがサンプリングされるが、この際、2つのサンプリングされたボクセル306、308の間で少なくとも1つのボクセル307がスキップされる。
【0107】
ステップ1204では、サンプリングされたボクセル306、308に対して、訓練されていない分類器を適用することで、単一の関心点310における臓器309の種類が識別される。
【0108】
図3の方法に関して説明した特徴、長所及び説明は、ステップ1201-1204に対しても等しく適用され得る。特に、ステップ1203でのサンプリングは、上述のようにサンプリング・モデル400を用いて実施することができるため、トレーニングのプロセスを高速化することができると同時に、その信頼性を高めることができる。
【0109】
ステップ1205では、臓器309の識別された種類が、受信された臓器の種類と比較される。
【0110】
ステップ1206では、上記比較に基づいて分類器が修正される。例えば、分類器に重み(ウエイト)付けがされることで、訓練された分類器を提供する。ステップ1201-1206は、分類器が完全に訓練されるまで、異なる容量的医用画像305に対して繰り返されて実施されてもよい。ステップ1201-1206は、
図1及び
図2に例示した装置101又はシステム100を用いて実施されてもよい。特に、ステップ1201-1206を実施するために、モジュール103又は任意の他のハードウェア及び/又はソフトウェアを使用してもよい。
【0111】
上記の例は、説明の目的上、示されたに過ぎず、本明細書に開示された発明を限定するものとして解釈されるべきではない。様々な実施形態を参照して本発明について説明したが、本明細書で用いられた用語は、説明と図解の目的上のものであり、限定的なものとして理解されるべきではない。さらに、特定の手段、材料、及び実施形態を参照しながら本発明について説明したが、本発明は、本明細書で特に開示されたものに限定されず、むしろ、本発明は、添付した特許請求の範囲内で、機能的に等価又は均等な構造、方法、利用等のすべてに拡張することができる。当業者であれば、本明細書の教示内容に基づいて、様々な修正を行ったり、本発明の範囲内と技術思想から逸脱することなくその態様に変更を加えることができるであろう。
【符号の説明】
【0112】
100:システム
101:コンピュータ実施装置(又はデバイス)
102:医用データベース
103:モジュール
104:ネットワーク・インターフェース
105:ネットワーク
107A-107N:クライアント側装置(又はユーザ側の装置)
108:医用撮像ユニット(又は医用撮像装置)
201:処理装置
202:メモリ
203:保存装置
204:入力装置
205:バス
206:出力装置
301-304:方法の各ステップ
305:容量的医用画像
305’:容量的医用画像
305’’:容量的医用画像
306-308:ボクセル(又は体積要素)
309:臓器(又は器官)
310:単一の関心点
311:距離
x、y、z:空間内の各直交方向
400:サンプリング・モデル
400a-400c:点
401:スライス
501-503:立方体
504-506:格子(又はグリッド)
507、508:ノード(又は節点)
D4、D5、D6:距離
700:HMI
701:カーソル
702:ラベル(又は標識)
800:測定線
900:データベース
901:座標
902:配列(又はアレイ)
1001-1003:分類器
1101-1103:方法のステップ
1201-1206:方法のステップ
【手続補正書】
【提出日】2023-11-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
容量的医用画像(305)中の臓器(309)の種類を識別するための、コンピュータを用いて実施される方法であって、
a)少なくとも1つの臓器(309)又は臓器の一部を含む容量的医用画像(305)を受け取ることと、
b)前記容量的医用画像(305)中の単一の関心点(310)を受け取ることと、
c)前記容量的医用画像(305)からボクセル(306、308)をサンプリングすることであって、この際、2つのサンプリングされたボクセル(306、308)の間で少なくとも1つのボクセル(307)をスキップすることと、
d)前記サンプリングされたボクセル(306、308)に対して、訓練された分類器を適用することで、前記単一の関心点(310)における臓器の種類を識別すること、
の各ステップを含む方法。
【請求項2】
前記ステップc)では、散在的及び/又はランダムな仕方でボクセル(306、308)をサンプリングする、請求項1に記載の方法。
【請求項3】
前記ステップc)では、前記単一の関心点(310)から前記各ボクセル(306、308)への距離(311)に伴って減少する単位長さ、単位面積、又は単位体積当たりのサンプリング率で前記ボクセル(306、308)をサンプリングする、請求項1に記載の方法。
【請求項4】
前記サンプリング率が、指数関数、対数関数又はべき関数の割合を含む非線形速度の割合で減少する、請求項3に記載の方法。
【請求項5】
前記サンプリングされたボクセル(306、308)は、前記容量的医用画像(305)中のボクセル(306、307、308)の総数のうち1%未満である、請求項1に記載の方法。
【請求項6】
前記訓練された分類器は、多層パーセプトロン、畳み込みニューラル・ネットワーク、シャムネットワーク、又はトリプレットネットワークを含むニューラル・ネットワークである、請求項1に記載の方法。
【請求項7】
前記単一の関心点(310)を含む前記容量的医用画像(305)又はその一部は、グラフィカル・ユーザ・インタフェース(700)上に表示され、その際、識別された臓器(309)の種類の意味記述(702)が生成されて、前記単一の関心点(310)の場所又はその近くに表示される、請求項1に記載の方法。
【請求項8】
前記単一の関心点(310)は、ユーザによって選択され、及び/又は、
前記単一の関心点(310)は、グラフィカル・ユーザ・インタフェース(700)上に表示された前記容量的医用画像(305)又はその一部の上で、ユーザによって操作されたカーソル(701)が一時停止されることで選択され、及び/又は、
前記容量的医用画像(305)又はその一部に関してユーザが測定(800)を行う際、前記臓器(309)の識別された種類が前記測定(800)と共にデータベース(900)内に保存される、
請求項1に記載の方法。
【請求項9】
臓器に特有の異常を識別するための、訓練されていない複数の分類器(1001-1003)を受け取ることと、
前記識別された臓器(309)に基づいて、前記複数の分類器の中から1つ又は複数の訓練されていない分類器(1001-1003)を選択することと、
前記容量的医用画像(305)を用いて、前記1つ又は複数の訓練されていない分類器(1001-1003)を訓練すること、
を含む、請求項1に記載の方法。
【請求項10】
前記容量的医用画像(305)中の「N-1」個の単一の関心点(310)の各々について、前記a)乃至d)のステップを実行及び/又は繰り返し、この際、前記「N」は、前記容量的医用画像(305)中のボクセル(306、307、308)の総数以下であり、
1つ又は複数の処理装置(201)で、前記a)乃至d)のステップを並列的に実行し、及び/又は、
前記「N」は、前記容量的医用画像(305)中に含まれるボクセル(306、307、308)の間隔を上回る格子間隔(D6)を有する格子(506)に相当する、
請求項1に記載の方法。
【請求項11】
請求項1に記載の分類器を訓練するためのコンピュータ実施方法であって、
a)少なくとも1つの臓器(309)又は臓器の一部を含む容量的医用画像(305)を受け取り、かつ、前記少なくとも1つの臓器(209)の種類を受け取ることと、
b)前記容量的医用画像(305)中の単一の関心点(310)を受け取ることと、
c)前記容量的医用画像(305)からボクセルをサンプリングし、この際、2つのサンプリングされたボクセル(306、308)の間で少なくとも1つのボクセル(307)をスキップすることと、
d)前記サンプリングされたボクセル(306、308)に対して訓練されていない分類器を適用することで、前記単一の関心点(310)における臓器(309)の種類を識別することと、
e)前記識別された臓器(309)の種類を、前記受け取った少なくとも1つの臓器の種類と比較することと、
f)前記ステップe)での比較に基づいて前記分類器を調整することで、訓練された分類器を得ること、
の各ステップを含む方法。
【請求項12】
容量的医用画像(305)中の臓器(309)の種類を識別するための装置(101)であって、
1つ又は複数の処理装置(201)と、
医用撮像装置(108)が取り込んだ1つ又は複数の容量的医用画像(305)を受け取るように構成された、第1の受信装置(104、204)と、
前記1つ又は複数の容量的医用画像(305)中の単一の関心点(310)を受け取るように構成された、第2の受信装置(104、204)と、
前記1つ又は複数の処理装置(201)とつなげられ、かつ請求項1乃至11のいずれかに記載の方法の各ステップを実行するように構成されたモジュール(103)を含むメモリ(202)と、
を含む装置。
【請求項13】
容量的医用画像(305)中の臓器(309)の種類を識別するためのシステム(100)であって、
1つ又は複数のサーバ(101)と、
前記1つ又は複数のサーバ(101)とつなげられた医用撮像装置(108)と、
を含み、
前記1つ又は複数のサーバ(101)は、命令を含み、当該命令は実行されると、前記1つ又は複数のサーバ(101)に働きかけて、請求項1乃至11のいずれか一項に記載の方法の各ステップを実行させるようにする、システム。
【請求項14】
機械可読命令を含むコンピュータ・プログラム製品であって、1つ又は複数の処理装置(201)によって実行されると、1つ又は複数の処理装置(201)に働きかけて、請求項1乃至11のいずれか一項に記載の方法の各ステップを実行させるようにする、コンピュータ・プログラム製品。
【請求項15】
コンピュータ・プログラムのプログラムコード部が保存されているコンピュータ可読媒体であって、前記プログラムコード部は、システム(100)内にロード可能及び/又は実行可能であって、前記システム(100)内で前記プログラムコード部が実行されると、前記システム(100)に働きかけて、請求項1乃至11のいずれか一項に記載の方法の各ステップを実行させるようにする、コンピュータ可読媒体。
【外国語明細書】