IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ユーシービー バイオファルマ エスピーアールエルの特許一覧

特許7241075脊椎骨折を識別するための3次元医用画像解析の方法及びシステム
<図1>
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図1
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図2
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図3
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図4
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図5
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図6
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図7
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図8
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図9
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図10
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図11
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図12
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図13
  • 特許-脊椎骨折を識別するための3次元医用画像解析の方法及びシステム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-08
(45)【発行日】2023-03-16
(54)【発明の名称】脊椎骨折を識別するための3次元医用画像解析の方法及びシステム
(51)【国際特許分類】
   A61B 5/00 20060101AFI20230309BHJP
   G06T 7/00 20170101ALI20230309BHJP
   A61B 6/03 20060101ALI20230309BHJP
【FI】
A61B5/00 G
G06T7/00 612
A61B6/03 360J
【請求項の数】 63
(21)【出願番号】P 2020529542
(86)(22)【出願日】2018-11-29
(65)【公表番号】
(43)【公表日】2021-02-15
(86)【国際出願番号】 EP2018082925
(87)【国際公開番号】W WO2019106061
(87)【国際公開日】2019-06-06
【審査請求日】2021-11-25
(31)【優先権主張番号】1720059.3
(32)【優先日】2017-12-01
(33)【優先権主張国・地域又は機関】GB
(73)【特許権者】
【識別番号】514232085
【氏名又は名称】ユーシービー バイオファルマ エスアールエル
(74)【代理人】
【識別番号】110000855
【氏名又は名称】弁理士法人浅村特許事務所
(72)【発明者】
【氏名】ニコラス、ヨエリ
【審査官】門田 宏
(56)【参考文献】
【文献】米国特許出願公開第2008/0132784(US,A1)
【文献】Holger R. Rtoth et al.,Deep convolutional networks for automated detection of posterior-element fractures on spine CT,PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, SPIE - INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING,2016年03月24日,vol.9785,24,97850P 7,https://doi.org/10.1117/12.2217146
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00
G06T 7/00
A61B 6/00 - 6/03
A61B 5/055
(57)【特許請求の範囲】
【請求項1】
被検者の脊椎骨折の存在を予測するための3次元医用画像解析システムであって、
前記被検者の3D画像データを受け取って処理し、3Dボクセルの2つ以上のセットを生成するための3D画像プロセッサ(101)であって、前記セットの各々が前記3D画像の全体に対応し、前記セットの各々の間で異なる寸法であって各セットにおいて等しいボクセルから成る、3D画像プロセッサ(101)と、
計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの1つ又は複数のクラス確率を割り当てるためのボクセル分類器(104)と、
前記ボクセル分類器(104)からの前記ボクセルの前記クラス確率を使用して、前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器(103)とを備える3次元医用画像解析システム。
【請求項2】
前記画像の前記脊髄を含む部分を検出するための脊髄検出器(102)をさらに備え、前記ボクセル分類器(104)は、前記脊髄検出器(102)から、又は前記3D画像プロセッサ(101)から直接、前記3D画像データの情報を受信するように構成されている、請求項1に記載のシステム。
【請求項3】
前記脊髄検出器(102)が、前記画像データにおいて前記脊髄を突き止めるために最大の信号強度を使用する、請求項2に記載のシステム。
【請求項4】
前記脊髄検出器(102)が、x軸、y軸及びz軸に沿って前記脊髄を突き止めるために解剖学的事前情報を使用する、請求項3に記載のシステム。
【請求項5】
前記3D画像データがコンピュータ・ネットワークを介して受け取られる、請求項1に記載のシステム。
【請求項6】
3Dボクセルの少なくとも1つのセットが1mmの等方性ボクセルのセットである、請求項1に記載のシステム。
【請求項7】
3Dボクセルの第1のセットが1mmの等方性ボクセルのセットであり、3Dボクセルの第2のセットが3mmの等方性ボクセルのセットである、請求項1に記載のシステム。
【請求項8】
3Dボクセルの少なくとも1つのセットが異方性ボクセルのセットである、請求項1に記載のシステム。
【請求項9】
前記3D画像プロセッサ(101)が、前記ボクセルの強度の平均値及び単位標準偏差に正規化された3Dボクセルのセットを出力する、請求項1に記載のシステム。
【請求項10】
前記ボクセル分類器(104)が、周囲のボクセルのコンテキストでは、ボクセルの前記1つ又は複数のセットの、前記ボクセルの各々を分類する、請求項1に記載のシステム。
【請求項11】
前記ボクセル分類器(104)が、前記周囲のボクセルのコンテキストでは、前記ボクセルの各々を分類し、30~40mmの前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第1のセットに分類し、90~120mmの前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第2のセットに分類する、請求項6に記載のシステム。
【請求項12】
前記第1のセットが35mmの前記ボクセルのコンテキストで分類され、前記第2のセットが105mmの前記ボクセルのコンテキストで分類される、請求項10に記載のシステム。
【請求項13】
前記ボクセル分類器(104)が、各ボクセルについて1つ又は複数のクラス確率を割り当てることによって各ボクセルを分類する、請求項1に記載のシステム。
【請求項14】
前記ボクセル分類器(104)が、事前訓練された分類器を使用して前記ボクセルに1つ又は複数のクラス・ラベルを割り当てることによって各ボクセルを分類する、請求項1に記載のシステム。
【請求項15】
前記ボクセル分類器(104)が、各ボクセルについて、背景クラス、正常クラス、骨折クラスとして分類される確率を計算する、請求項1に記載のシステム。
【請求項16】
前記骨折確率推定器(103)が、前記ボクセル分類器(104)から入力を受け取るように構成された画像分類器(108)を備える、請求項1に記載のシステム。
【請求項17】
前記骨折確率推定器(103)が備える画像分類器(108)が、前記3D画像を骨折の有/無で分類するように構成されており、前記ボクセル分類器(104)から前記3D画像の各ボクセルに関する入力を受け取って、前記3D画像に関する集約された確率値の出力をもたらす、請求項1に記載のシステム。
【請求項18】
前記画像分類器(108)が、骨折クラスの確率を割り当てられたボクセルの数の最小閾値に基づいて前記3D画像を分類するように構成されている、請求項17に記載のシステム。
【請求項19】
前記骨折確率推定器(103)が、前記3D画像に存在する椎骨の解剖学的ラベル割当て器(106)を備える、請求項1に記載のシステム。
【請求項20】
前記骨折確率推定器(103)が椎骨探知器(105)を備える、請求項1に記載のシステム。
【請求項21】
前記椎骨探知器(105)が前記3D画像内の各椎骨の重心座標を生成する、請求項20に記載のシステム。
【請求項22】
前記骨折確率推定器(103)が椎骨分類器(107)を備える、請求項1に記載のシステム。
【請求項23】
前記ボクセル分類器(104)が畳み込みニューラル・ネットワーク(CNN)を利用する、請求項1に記載のシステム。
【請求項24】
前記ボクセル分類器(104)が、ニューラル・ネットワーク層のセットを備えるCNNを利用し、前記ニューラル・ネットワーク層のシーケンスが、
ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って2つ以上の畳み込まれた出力を生成するように構成された1つ又は複数の畳み込み層と、
前記2つ以上の畳み込まれた出力を集約するための1つ又は複数の完全に接続された層と、
前記1つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える、請求項10に記載のシステム。
【請求項25】
前記最後の分類が、正常、骨折、又は背景として分類される前記ボクセルの各々に確率を割り当てる、請求項24に記載のシステム。
【請求項26】
前記ボクセル分類器(104)が、注釈を付けてボクセルに分割された入力3D画像のセットを使用して事前訓練され、各3Dボクセルにはx軸、y軸及びz軸に沿って強度ノイズ信号が付加される、請求項1に記載のシステム。
【請求項27】
前記ボクセル分類器(104)が、フォアグラウンドを支援するためのサンプル抽出比を使用する注釈付きの入力3D画像のセットを使用して事前訓練されたCNNを利用する、請求項1に記載のシステム。
【請求項28】
前記ボクセル分類器(104)が、1:3:3の背景:正常:骨折のサンプル抽出比を使用する注釈付きの入力3D画像のセットを使用して事前訓練されているCNNを利用する、請求項1に記載のシステム。
【請求項29】
前記3D画像データが画像強度を含み、前記画像強度が信号の動的レンジを有する、請求項1に記載のシステム。
【請求項30】
前記3D画像データがデータベース・システムに受け取られて記憶される、請求項1に記載のシステム。
【請求項31】
被検者の少なくとも1つの3D画像(1401)を生成するための撮像装置と、
請求項1から30までのいずれか一項に記載の少なくとも1つの生成された画像において前記被検者の脊椎骨折の存在を予測するためのシステムとを備える医用画像ワークステーション。
【請求項32】
3次元医用画像解析システムにより実行され、個人の脊椎骨折の存在を予測する3次元医用画像解析方法であって、
記憶装置から前記脊髄の撮像情報を含む3D撮像データを受け取るステップ(201)と、
前記画像を処理して3Dボクセルの2つ以上のセットを生成するステップであって、前記セットの各々が前記3D画像の全体に対応し、前記セットの各々の間で異なる寸法であって各セットにおいて等しいボクセルから成る、ステップ(202)と、
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算するステップ(204)と、
前記ボクセルのいずれが骨折を含有していると分類されるかどうかを識別するステップ(205)と、
骨折を含有していると分類された前記ボクセルの前記識別に基づいて前記個人の脊椎骨折の存在を予測するステップ(206)とを含む方法。
【請求項33】
前記ステップ(202)で得られた前記3Dボクセルの2つ以上のセットを受信し、前記画像の中で前記脊髄を突き止めるステップ(203)と、前記脊髄を含むボクセルの各セットについて脊柱によって切り取られた出力画像を生成するステップと、前記脊髄を含むボクセルのセットを出力するステップとをさらに含む、請求項32に記載の方法。
【請求項34】
前記3D撮像データがコンピュータ・ネットワークを介して受け取られる、請求項32に記載の方法。
【請求項35】
前記分類が、
i.ユーザ・インターフェースを介して訓練画像における各椎骨の重心座標を入力するステップと、
ii.ユーザ・インターフェースを介して椎骨骨折ラベルを入力するステップと、
iii.選択された重心座標のまわりにガウス重心の尤度関数を当てはめるステップと、
iv.訓練データセットにおける前記画像の各々に関する信号強度とラベルの対のデータセットを生成するステップとを含む方法を使用して生成された前記訓練データセットを使用して訓練されたモデルを使用して実行される、請求項32に記載の方法。
【請求項36】
前記計算モデルが事前注釈付きの画像のセット上で訓練されたものである、請求項32に記載の方法。
【請求項37】
前記計算モデルが、ボクセルの2つ以上のセットに分割された、事前注釈付きの画像のセット上で訓練されたものである、請求項32に記載の方法。
【請求項38】
前記画像を処理して2つ以上のボクセルのセットに分割するステップ(202)が、x軸、y軸及びz軸に沿って生成された各3Dボクセルに強度ノイズ信号を付加するステップを含む、請求項32に記載の方法。
【請求項39】
前記画像の中で前記脊髄を突き止める前記ステップ(203)が、最大の信号強度に基づいて、前記画像データの中で前記脊髄を粗く突き止めるものである、請求項33に記載の方法。
【請求項40】
前記画像の中で前記脊髄を突き止める前記ステップ(203)が、解剖学的事前情報を使用して、前記x軸、y軸及びz軸に沿って前記脊髄を粗く突き止めるものである、請求項33に記載の方法。
【請求項41】
前記3Dボクセルのセットのうち少なくとも1つが1mmの等方性ボクセルのセットである、請求項32に記載の方法。
【請求項42】
前記3Dボクセルのセットのうち少なくとも1つが等方性ボクセルのセットである、請求項32に記載の方法。
【請求項43】
前記画像を処理してボクセルのセットに分割するステップ(202)が、前記ボクセルの強度の平均値及び単位標準偏差に正規化するステップをさらに含む、請求項32に記載の方法。
【請求項44】
前記画像を処理してボクセルのセットに分割するステップ(202)が、x軸、y軸及びz軸に沿ってそれぞれ生成された3Dボクセルに対して強度ノイズを付加するステップをさらに含む、請求項32に記載の方法。
【請求項45】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、ボクセルごとに1つ又は複数のクラスの確率を割り当てることによる各ボクセルの分類を含む、請求項32に記載の方法。
【請求項46】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、周囲のボクセルのコンテキストでは、ボクセルの前記1つ又は複数のセットにおける前記ボクセルの各々の分類を含む、請求項32に記載の方法。
【請求項47】
前記ボクセルの各々の分類が、前記周囲のボクセルのコンテキストで実行され、30~40mmの前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第1のセットに分類し、90~120mmの前記ボクセルのコンテキストでは、前記ボクセルの各々を前記第2のセットに分類する、請求項46に記載の方法。
【請求項48】
前記第1のセットが35mmの前記ボクセルのコンテキストで分類され、前記第2のセットが105mmの前記ボクセルのコンテキストで分類される、請求項47に記載の方法。
【請求項49】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、事前訓練された分類器を使用して前記ボクセルに1つ又は複数のクラス・ラベルを割り当てることによって周囲のボクセルのコンテキストにおける各ボクセルを分類するために、分類器を使用する、請求項46に記載の方法。
【請求項50】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、前記画像における各ボクセルについて、背景クラス、正常クラス、又は骨折クラスと分類される出力確率を生成する、請求項32に記載の方法。
【請求項51】
脊椎骨折の存在を予測する前記ステップ(206)が、前記3D画像を骨折の有/無に分類することを含み、脊椎骨折の存在を予測する前記ステップ(206)が、前記3D画像の各ボクセルに関する計算モデルを使用して前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)から入力分類値を受け取り、脊椎骨折の存在を予測する前記ステップ(206)が、前記3D画像に関する集約された確率値の出力をもたらす、請求項32に記載の方法。
【請求項52】
脊椎骨折の存在を予測する前記ステップ(206)が、割り当てられた骨折クラスの確率を有するボクセルの数の最小の閾値に基づく前記3D画像の分類を含む、請求項32に記載の方法。
【請求項53】
脊椎骨折の存在を予測する前記ステップ(206)が、前記画像において前記椎骨を突き止めるステップと、前記3D画像に存在する椎骨に解剖学的ラベルを割り当てるステップとを含む、請求項32に記載の方法。
【請求項54】
前記椎骨に骨折がある確率を割り当てることによって椎骨を分類するステップをさらに含む、請求項32に記載の方法。
【請求項55】
前記椎骨を突き止める前記ステップが、前記3D画像の内部に各椎骨の重心座標を生成する、請求項53に記載の方法。
【請求項56】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、畳み込みニューラル・ネットワーク(CNN)を利用するものである、請求項32に記載の方法。
【請求項57】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、ニューラル・ネットワーク層のセットを備える畳み込みニューラル・ネットワーク(CNN)を利用するものであり、ニューラル・ネットワーク層の前記セットが、
ボクセルの各セットについて、前記周囲のボクセルの前記コンテキストでは、前記ボクセルのセットから導出された入力を受け取って2つ以上の畳み込まれた出力を生成するように構成された1つ又は複数の畳み込み層と、
前記ボクセルのセットの各々について、前記1つ又は複数の畳み込まれた出力からの前記出力を集約するための集約層と、
第1の畳み込まれた出力及び第2の畳み込まれた出力からの前記集約された出力から入力を受け取る1つ又は複数の畳み込み層と、
前記2つ以上の畳み込まれた出力を集約するための1つ又は複数の完全に接続された層と、
前記1つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える、請求項46に記載の方法。
【請求項58】
前記最後の分類が、正常、骨折、又は背景として分類される前記ボクセルの各々に確率を割り当てることによって遂行される、請求項57に記載の方法。
【請求項59】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、フォアグラウンドを支援するためのサンプル抽出比を用いて注釈付きの入力3D画像のセットを使用して事前訓練されている畳み込みニューラル・ネットワーク(CNN)を利用するものである、請求項32に記載の方法。
【請求項60】
計算モデルを使用して、前記ボクセルについて、骨折を含有するクラス確率を計算する前記ステップ(204)が、背景:正常:骨折が1:3:3となるサンプル抽出比を用いて注釈付きの入力3D画像のセットを使用して事前訓練されている畳み込みニューラル・ネットワーク(CNN)を利用するものである、請求項32に記載の方法。
【請求項61】
前記3D画像データが画像強度を含み、前記画像強度が信号の動的レンジを有する、請求項32に記載の方法。
【請求項62】
請求項32から61までのいずれか一項に記載の方法のステップを実行するためのコード手段を含むコンピュータ・プログラムであって、コンピュータ上で実行されるコンピュータ・プログラム。
【請求項63】
実行可能命令を記憶している非一時的コンピュータ可読媒体であって、コンピュータが、前記実行可能命令を実行することにより、個人における脊椎骨折のリスクを予測するための、請求項32から61までのいずれか一項に記載の方法を実行する、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像解析に関し、3D画像において、骨折、より具体的には脊椎骨折を識別するためのシステム及び方法を提供するものである。
【背景技術】
【0002】
骨粗鬆症は、骨格に影響を及ぼす疾病であり、骨が弱くなって骨折のリスクが高くなる。一般的な骨粗鬆症性骨折は、脊柱における椎骨、前腕の骨格、及び腰において生じる。3秒ごとに骨粗鬆症性骨折が発生しており、脊椎骨折が最も一般的である(Johnell et al.、2006)。脊椎骨折は後の骨折の前兆となり、たとえば中程度又は重症の脊椎骨折の患者は、後の股関節の骨折のリスクが4.8~6.7倍高くなる(Buckens et al.、2014)。Roux et al.は、ありがちな軽症の脊椎骨折患者の4人のうち1人は、次の2年以内に再び骨折する可能性が高いことを実証した(Roux et al.、2007)。
【0003】
自分が脊椎骨折していることに気づかない患者も多いため、脊椎骨折の臨床的評価は困難である。臨床的に注目される脊椎骨折はわずか1/3であり(Cooper et al.、1992)、脊柱を包含するCTにおいて脊椎骨折の54%が放射線専門医によって過少報告されている(Mitchel et al.、2017)と推定される。脊椎骨折の注意を喚起するとともに椎骨骨折検出に関する訓練を提供するための国際骨粗鬆症財団の事業をよそに、臨床施設における骨格介護者が有する、脊椎骨折患者の検査及び早期段階調査のための手段は僅かである。
【0004】
放射線専門医向けの画像解析のための一般的な手法には、提起された質問に依拠して、3D画像の特定の2Dスライスを検討することが包含される。これによって、特定の質問に対する画像解析ステップが制限され、元の3D画像における潜在的価値のある情報が排除されてしまう。現在の放射線学の慣行では、脊椎骨折は、Genantの準量的脊椎骨折評価(VFA:Vertebral Fracture Assessment)法(Genant et al.、1993)に従って類別される。この方法は、X線画像における、又は3D画像モダリティ(CT、MR)の正中矢状面における/正中矢状面のまわりの、椎体の形態を評価するものである。Buckens et al.(2013)で報告されているように、胸CTに関する観察者内及び観察者間の信頼性並びに準量的VFAの合意は、患者レベル及び椎骨レベルで、決して些細なことではない。
【0005】
椎骨の圧迫骨折は、様相及び程度において大幅に変化する(Schwartz and Steinberg、2005)。脊椎骨折検出に関する大多数の刊行物は、放射線専門医がGenantの分類を適用するやり方によって着想されており、最初に椎骨を高精度でセグメント化し、次に終板を検出して、最後に、脊椎骨折を検出するために、各椎骨の高さ損失を定量化することを試行するものである。
【0006】
米国特許第8,126,249号には、骨粗鬆症性骨折を検出するための形状ベースのモデル法が開示されている。Klinder et al.(2009)は、CTにおける椎骨を自動的に検出し、識別して、セグメント化するために、モデルベースの手法を適用するものである。この方法は、1つのSiemens MDCTスキャナ上で調査された80人の患者を包含する横断的で長期にわたる研究において臨床的に検証されている。Genant分類に従ってT5からL5まで等級付けされた脊椎骨折を報告するために、前部、中央及び後部の高さ減少が使用される。Baum et al.(2014)は、MDCT試験ごとに平均して50分の高さ比及び実行性能に関するROC解析を用いて、この方法に関する結果を報告している。Yao et al.(2012)は、CTに存在する3D情報を活用する軸方向height compassを使用して、圧迫骨折を検出して局在化するものである。この方法は、等級及びタイプによってT1からL5までの椎骨の圧迫骨折の解剖学的局在化及び分類を報告する、対照群を伴う150人の患者を包含する横断的研究において最近論じられている(Burns et al.、2017)。この研究は、胸や腰の椎体が骨折している210人を含む1275人の個人の椎骨のデータセットを使用して、95.7%の感度及び43の偽陽性所見で脊椎骨折の検出を報告している。これらの結果は、椎骨骨折のカスタム定義(最小で10%の高さ損失)に基礎を置くものである。最近の刊行物(Barらの文献、2017年)は、CTで患者レベルの圧迫骨折を検出するための畳み込みニューラル・ネットワーク(CNN:Convolutional Neural Network)及び再帰型ニューラル・ネットワーク(RNN:Recurrent Neural Network)の使用について論じている。このアルゴリズムは、セグメント化された脊柱から抽出された矢状パッチ上の2D CNNを使用して、局在化も骨折数のカウントもすることなく、患者画像における1つ又は複数の脊椎骨折の存在を予測するものである。
【0007】
Buckens et al.(2013)は、3つの患者レベルの測度及び2つの椎骨レベルの測度を使用して、CT上のVFAの観察者内及び観察者間の変動性及び信頼性について論じている。この著者は、結果が、容認できる再現性を明示すると結論しているが、データセットが使用している画像の数(50)及び椎骨骨折(2~4%)は限られたものである。提示された結果を詳細に解析すると、教師付き学習を使用するデータ駆動型の方法は放射線専門医(のグループ)によって提供された読出しにおけるかなりのノイズに対処する必要があることが示される。
【0008】
臨床撮像データ量が着実に増加し続けているので、3次元画像処理システム及び方法の開発は、観察者間の変動性を低減して脊椎骨折の検査を可能にするための、臨床の重要な技術的課題である。本発明は、骨構造の詳細なセグメント化を実行することなく、3D画像において骨折を自動検出するために画像における特定のデータを解析する3次元画像処理方法を提供することによって、コンピュータ環境における技術的解決策を提供するものである。
【先行技術文献】
【特許文献】
【0009】
【文献】米国特許第8,126,249号
【非特許文献】
【0010】
【文献】https://github.com/Kamnitsask/deepmedic
【発明の概要】
【0011】
本発明が提供する、被検者の脊椎骨折の存在を予測するための3次元医用画像解析システムは、
前記被検者の3D画像データを受け取って処理し、3Dボクセルの2つ以上のセットを生成するための3D画像プロセッサ(101)であって、セットの各々が前記3D画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、3D画像プロセッサ(101)と、
計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの1つ又は複数のクラス確率を割り当てるためのボクセル分類器(104)と、
前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器(103)とを備える。
【0012】
本発明がさらに提供する医用画像ワークステーションは、被検者の少なくとも1つの3D画像(1401)を生成するための撮像装置と、少なくとも1つの生成された画像において前記被検者の脊椎骨折の存在を予測するための本明細書で開示されたようなシステムとを備える。
【0013】
本発明は個人の脊椎骨折の存在を予測する3次元医用画像解析方法をさらに提供するものであり、前記方法は、
脊髄の撮像情報を含む3D撮像データを受け取るステップ(201)と、
前記画像を処理して3Dボクセルの2つ以上のセットを生成するステップであって、セットの各々が前記3D画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、ステップ(202)と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ(204)と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ(205)と、
骨折を含有していると分類された前記ボクセルの識別に基づいて前記個人の脊椎骨折の存在を予測するステップ(206)とを含む。
【0014】
本発明は、この方法のステップを実行するためのコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。
【0015】
本発明は、実行可能命令を記憶している非一時的コンピュータ可読媒体も提供するものであり、コンピュータは、この命令を実行することにより、個人における脊椎骨折の存在を予測するための方法を実行する。
【0016】
本発明は、以下の図面を参照することによって以下で説明される。
【図面の簡単な説明】
【0017】
図1】3D画像において骨折を識別するためのシステムのブロック図である。
図2】3D画像において骨折を識別するための方法のブロック図である。
図3】追加要素を備える、骨折を識別するためのシステムの概略図である。
図4】本発明の撮像ワークステーションの概略図である。
図5】3D画像プロセッサの動作ステップを表す流れ図である。
図6】脊髄探知器の動作ステップを表す流れ図である。
図7】ボクセル分類器の動作ステップを表す流れ図である。
図8】椎骨探知器の動作ステップを表す流れ図である。
図9】椎骨の解剖学的ラベル割当て器の動作ステップを表す流れ図である。
図10】椎骨分類器の動作ステップを表す流れ図である。
図11】画像分類器の動作ステップを表す流れ図である。
図12】ボクセル及び最終的画像を分類するためのCNNの設計を示す図である。
図13】本明細書で説明された方法を使用する4重の相互検証試験結果であり、手動の椎骨レベルの誤差解析の後の脊柱に沿った誤差の分布を示す図である。FNは偽陰性又は見逃しであり、FPは偽陽性又は誤警報である。
図14】方法が、異なる骨折等級を有する骨折した椎骨並びにすべての正常な椎骨を正確に分類したサンプル画像を示す図である。
【発明を実施するための形態】
【0018】
本発明は、機械学習法を使用して撮像データを解析し、3D画像、より具体的にはCT画像において骨折を予測するものである。
【0019】
詳細には、本発明が提供する、被検者の脊椎骨折の存在を予測するための3次元医用画像解析システムは、前記被検者の3D画像データを受け取って処理し、3Dボクセルの2つ以上のセットを生成するための3D画像プロセッサ(101)であって、セットの各々が前記3D画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、3D画像プロセッサ(101)と、計算モデルを使用して、前記ボクセルに、ボクセルが骨折を含有することの1つ又は複数のクラス確率を割り当てるためのボクセル分類器(104)と、前記被検者における脊椎骨折の存在の確率を推定するための骨折確率推定器(103)とを備える。任意選択で、そのようなシステムは、前記画像の脊髄を含む部分を検出するための脊髄検出器(102)をさらに備え得る。これにより、解析して分類されるボクセルの数が減少され得て、コンピュータ処理時間が大幅に短縮される。
【0020】
システムの要素の各々は、ステップの特定のセットを実行するサブシステムである。サブシステム(要素)の各々に関する例示のステップが、図5図12に示されている。そのようなサブシステムの各々が、1つ又は複数の入力データ(又は信号)及び1つ又は複数の出力を有することができる。
【0021】
図1は、被検者における脊椎骨折の存在を予測するための3次元医用画像解析システムの態様を図示するブロック図である。本開示に関連する要素のみが図示されている。システムは、たとえば適切な1つ又は複数のマイクロプロセッサを使用して実施され得る。図3にはシステムの追加要素が図示されている。たとえば、前記マイクロプロセッサ上でシステムを実施するためのコンピュータ・プログラムは、コンピュータ可読媒体で提供される。前記システムは、ソフトウェアを記憶するためのメモリと、データを記憶するためのメモリと、たとえば有線又は無線のネットワーク接続で他のデバイスと通信するための通信ポートとを備え得る。そのようなポートは、画像データを受け取って、システムによって生成されたデータ及び処理された信号を供給するように使用され得る。このシステムは、ユーザ・インターフェースと、ユーザ・インターフェースと相互作用するためのユーザ入力デバイスとをさらに備え得る。そのようなシステムは、システムによって生成された3D画像及び結果を表示するように使用され得る。
【0022】
画像プロセッサ(101)は、受け取った3D画像データを3Dボクセルのセットへと切断する。画像プロセッサ(101)は、コンピュータ・ネットワーク又は画像ソースと相互作用するように構成された別の通信ポートを介して前記3D画像を受け取ることができる。そのような画像ソースは、撮像データベース、撮像コンピュータ、又はそのような画像を記録する撮像装置でよい。3D画像データは画像強度を含み得、前記画像強度は信号のダイナミック・レンジを有する。
【0023】
一実施例では、画像プロセッサ(101)は1mmの等方性ボクセルのセットを生成する。もう一つの実施例では、画像プロセッサは、第1のサイズの第1のボクセルのセット及び第2のサイズの第2のボクセルのセットを含む、同一の画像の全体を表すボクセルの2つのセットを生成する。一実施例では、第1のボクセルはそれぞれ1mmの等方性ボクセルでよく、第2のボクセルはそれぞれ3mmの等方性ボクセルでよい。そのような等方サイズによって後続のステップが大幅に簡素化される。特定の一実施例では、画像プロセッサ(101)は3Dボクセルのセットを出力し、前記3Dボクセルは異方性ボクセルである。
【0024】
別の実施例では、前記画像プロセッサ(101)は、前記ボクセルの強度の平均値及び単位標準偏差に正規化された3Dボクセルのセットを出力する。画像におけるボクセル強度は、ゼロ平均値及び単位分散に正規化される。これら追加の前処理ステップは、ボクセル分類器(104)に均一な強度及び規模をもたらし、計算モデルが、この強度正規化をサブタスクとして学習するのを回避する。そのような画像前処理ステップが実行されなければ、機械学習モデルは、訓練データセットにおけるこの強度正規化を前もって暗黙のうちに学習しなければならないことになる。そうしないと、機械学習モデルは、異なる画像間の強度範囲における変動によって「オフセット」され、タスクに関連する一般化された画像特徴を学習してしまうことになる。
【0025】
脊髄検出器(102)は、前記画像データにおいて脊髄を概略的に突き止めるために最大の信号強度を使用する。詳細には、信号強度は、累積分布関数(CDF:Cumulative Distribution Function)≧0.9895を使用して処理され得る。CDFは、確率変数(この場合信号強度)の値を見いだす確率を出力する統計関数である。脊髄検出器は非常に高いCDF値を伴う強度を考慮に入れることによって骨密度(CTにおける非常に高い強度値)を突き止める。画像強度値だけを使用するのと比較して、CDFを使用することの利点は、その頑健性にある。強度値だけを使用すると、強度値に対して単純な閾値しか用意できないが、異なるスキャナは骨組織に関して少し異なる強度値をもたらし、これによって解析の精度が低下する可能性がある。CDFを使用すると、強度のダイナミック・レンジを考慮に入れることが可能になり、解析がより頑健になる。さらに、脊髄検出器(102)は、x軸、y軸及びz軸に沿って脊髄を粗く突き止めるために解剖学的事前情報を使用し得る。腹部及び胸部のCT試験は、すべての組織を取り込んで広範囲にわたる兆候を解析するための広い視野を含有している。原理的に、ボクセル分類は画像のすべてのボクセルに対して実行され得る。本発明は、肺、肋骨、及び他の関係ない解剖学的構造におけるボクセルに関する無用の計算を回避するために、脊柱のまわりのボクセルに的を絞るものである。
【0026】
脊髄検出器(102)は、CT画像における脊柱に関して有効な信号強度及びロケーション・プライアを利用することができる。より具体的には、脊柱境界を突き止めるために前述のように高強度の骨格強度が識別され得、これを改良して、脊柱がx軸(左から右)に沿って中心にあり、(重症の側弯症を除いて)身体に沿って後部にあることをさらに観測する。脊髄検出によって生成された出力画像は脊柱が切り取った体積であり、これによって、下流のステップでさらに処理するべきボクセルの体積が平均して1/15に縮小する。
【0027】
ボクセル分類器(104)は、3D画像データを、脊髄検出器(102)から、たとえば、脊柱によって切り取られた、それぞれが異なるボクセルサイズを有する少なくとも2つの出力画像の形態で、又は、3D画像プロセッサ(101)から直接、たとえばそれぞれが異なるボクセルサイズを有する少なくとも2つの画像(2つの画像データセット)の形態で、受け取ることができる。
【0028】
特定の実施例では、ボクセル分類器(104)は、周囲のボクセルのコンテキストでは、ボクセルの前記1つ又は複数のセットの、前記ボクセルの各々を分類する。
【0029】
より具体的な実施例では、ボクセル分類器(104)は、周囲のボクセルのコンテキストでは、前記ボクセルの各々を分類し、前記ボクセルの30~40mmのコンテキストでは、関心のあるボクセルを中心にして、ボクセルの各々を第1のセットに分類し、前記ボクセルの90~120mmのコンテキストでは、関心のあるボクセルを中心にして、ボクセルの各々を第2のセットに分類する。具体的には、3Dボクセルの第1のセットは1mmの等方性ボクセルのセットであり、3Dボクセルの第2のセットは3mmの等方性ボクセルのセットである。
【0030】
特定の実施例では、ボクセル分類器(104)は畳み込みニューラル・ネットワーク(CNN)を利用する。そのようなネットワークの例示のセットが図3に与えられている。CNNは、分類タスク、対象物検出タスク及びセグメント化タスクにうまく適用されている。CNNアーキテクチャは様々な2D画像タスクに適用されており、バッチ正規化(Ioffe and Szegedy、2015)、開始モジュール(Szegedy et al.、2015)及び残留接続(He et al.、2016)などの改善は、ImageNet競技(自然画像の中の対象物の分類)において、人間のレベルをしのいで性能を押し進めた。意外にも、公開された方法のうち、CT及びMRIで入手可能な3Dデータ構造を十分に利用するものはほんの僅かであった。Cicek et al.(2016)及びKamnitsas et al.(2017)からの最近の研究は、向上したメモリ及び計算に対処するように最適化されたアーキテクチャを用いて、3D CNNを顕微鏡検査法及びMRI画像にうまく適用している。
【0031】
CNNを構築する層は、それぞれが全体の入力画像にわたってフィルタ・ウィンドウをスライドさせる畳み込みを使用して個々のボクセルを処理する。フィルタ・サイズは、中心ボクセルの出力に寄与するボクセルの数を決定する(たとえば、3×3×3のサイズの3Dフィルタは、中心ボクセルが、すべての近隣ボクセルからの強度の加重和を出力することを意味する)。一般的には、すべての層が、様々な特徴を学習するために複数のフィルタを有し、CNNは、十分に大きい受容フィールドを構築するために多層から成る。受容フィールドは、最後のCNN層から見える構造のサイズと解釈され得る。
【0032】
分類のためのCNNネットワークは、一般的には、その終端に、完全に接続された2つの層及び分類層を有する。すべての層はエンドツーエンドで訓練され、このことは、学習された特徴が当面の分類にとって有意義であることを意味する。CNNは、1つのデータセット上でモデルをうまく訓練して、異なるタスクに取り組むためにこれらの特徴を伝達することが公表された後に、多くの関心を得ている。この伝達学習手法は、第1のCNN層が一般的な特徴(たとえばエッジ及びコーナー)を学習し、上位のCNN層が、当面のタスクに適する、より具体的な特徴(たとえば猫の顔又は自動車ホイールの形状)へとこれらを組み合わせる、という観測に基礎を置くものである。
【0033】
特定の実施例では、ボクセル分類器(104)は、ニューラル・ネットワーク層のセット備えるCNNを利用し、ニューラル・ネットワーク層のシーケンスは、ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って2つ以上の畳み込まれた出力を生成するように構成された1つ又は複数の畳み込み層と、前記2つ以上の畳み込まれた出力を集約するための1つ又は複数の完全に接続された層と、前記1つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える。
【0034】
1つ又は複数の畳み込み層は2つの畳み込み層として設計され得る。開始において(それぞれが異なるサイズで同一の量のボクセルを有する)2つのボクセルのセットを使用すると、2つの畳み込まれた出力をもたらすことになる。ボクセルの各セットはそれ自体の個別のCNNネットワークを使用して解析される。
【0035】
1つ又は複数の接続された層により、ボクセルのセットの各々から生成された出力を集約することが可能になる。1つ又は複数の畳み込み層からの畳み込まれた出力は、学習された特徴と解釈され得る。(2つのCNNネットワークによって解析された)ボクセルの2つのセットを使用すると、異なるコンテキストで学習された特徴の2つのセットを生成することになる(たとえば、一方は高分解能の画像を注視し、他方は画像のより大きな部分、より低い分解能の/より不明瞭な画像を注視する)。1つ又は複数の接続された層は、これらの特徴を、一緒に、1つの大きな特徴ベクトルに付加するかそうでなければ積み重ねる。最後の完全に接続された層は、最後の分類層(次のバレット)が、すべてのクラス向けに1つの確率を出力し、これを入力画像におけるすべてのボクセル向けに出力するように、これらの特徴ベクトルをもう一度処理する(非線形動作)(そのため、同ボクセルの確率1は背景ボクセルであり、同ボクセルの確率2は正常な椎骨ボクセルであり、同ボクセルの確率3は骨折した椎骨ボクセルである)。
【0036】
分類層の出力は各クラスに関する確率値である。N×M×Kのボクセル(3D)を含む入力画像については、出力はN×M×Kのボクセルであり、それぞれがすべてのクラスについて1つの確率値を含有している。
【0037】
CNNは、追加の集約層及び畳み込み層をさらに備え得る。より具体的には、上記で例示されたCNNは、
前記1つ又は複数の畳み込まれた出力からの出力を集約するための集約層と、
第1の畳み込まれた出力及び第2の畳み込まれた出力からの前記集約された出力から入力を受け取る1つ又は複数の畳み込み層とをさらに備える。
【0038】
より具体的には、CNNは、3ボクセルのサイズを有するスライドするフィルタを使用する。
【0039】
より具体的には、望ましい一実施例によれば、分類に使用されるCNNが含む17の畳み込み層は、通常の経路(1mmのボクセルの第1のセット)における35の有効な受容フィールドと、サブサンプルの経路(3mmのボクセルの第2のセット)における105の有効な受容フィールドとを得るための、サイズ3の各フィルタを有する(図12)。この選択は、平均的な人間の椎骨の幅が最大54mmであるという経験的観察によるものであり、よって、あらゆる椎骨ボクセルを評価するとき、椎骨の内部のすべてのボクセルが寄与するように、最小100ボクセルの受容フィールド(等方性の1mmの入力画像)が必要とされる。通常の経路とサブサンプルの経路がともに積み重ねられた後に畳み込み層を追加すると、結果が平滑になり、システムの性能がさらに改善される。
【0040】
ボクセル分類器(104)は、ボクセルごとに1つ又は複数のクラスの確率を割り当てることによって各ボクセルを分類する。任意の適切な分類器が選択されてよい。当業者には様々な分類手法が周知である。それぞれの特定の分類器が、システムの各構成要素における調節を必要とする可能性がある。特定の実施例では、ボクセル分類器(104)は、事前訓練された分類器を使用して前記ボクセルに1つ又は複数のクラス・ラベルを割り当てることにより、ボクセルのグループにおけるそれぞれのボクセルを分類する。
【0041】
特定の実施例では、ボクセル分類器(104)は、各ボクセルについて、背景クラス、正常クラス、骨折クラスとして分類される確率を計算する。
【0042】
特定の実施例では、ボクセル分類器(104)は、注釈を付けてボクセルに分割された入力3D画像のセットを使用して事前訓練され、各3Dボクセルにはx軸、y軸及びz軸に沿って強度ノイズ信号が付加される。入力強度に対してノイズを付加し、X軸、Y軸及びZ軸にわたって画像をランダムに除去することにより、データ拡大が実行される。これによって、入力画像における激しい変動性(様々なスキャナ、様々な患者位置)に対処するためのシステムの頑健性が向上する。
【0043】
特定の実施例では、CNNを利用するボクセル分類器(104)は、フォアグラウンドを支援するためのサンプル抽出比、より具体的には背景:正常:骨折の比が1:3:3になり得るようなサンプル抽出比を使用し、注釈付きの入力3D画像のセットを使用して事前訓練される。そのような比を使用すると、最初に背景を除去し、次いで正常な椎骨と骨折した椎骨の区別に注目するための十分な実例が可能になる。
【0044】
残留接続(He et al.、2016)、バッチ正規化(Ioffe and Szegedy、2015)及びパラメトリック整流線形ユニット(PReLU:parametric rectified linear unit)の非線形性(He et al.、2015)などの技術がCNNに適用され得る。0.001の学習率を指数関数的にアニールして、35のエポックに関して訓練するために、RmsProp最適化プログラム、L1及びL2正則化が適用され得る。
【0045】
分類ネットワークは、たとえばKamnitsas et al.(2017)で説明されているような3D CNN、Theano(Github上で利用可能なコードベース)で構築されたボクセル分類パイプラインを使用して実施され得る。クラスの不均衡に対処し、通常の経路とサブアンプルの経路の組合せを生成してコンテキストを増加させ、最終的に、画像セグメント上での密なトレーニング計画を生成して、そのような3D CNNで観察されるメモリ及び計算の制約に対処するために、重み付けされたサンプリングを実行するように、DeepMedicソフトウェア(https://github.com/Kamnitsask/deepmedic)が使用され得る。
【0046】
CNNは、半手動の方法を使用して生成することができる訓練データセットを使用して訓練され得る。教師付き学習手法を使用するボクセル分類は、ボクセルごとに1つのラベルを必要とする。これは、分類を実行するために画像ごとに1時間超を要する可能性がある非常に割高なラベル付けタスクである。
【0047】
そのような分類の可能なやり方の1つには、Glocker et al.(2013)で説明されている、画像ごとの手動の注釈時間を平均で2分に短縮する、まばらな注釈方式からの密な分類を使用するものがある。この方式は、椎骨の重心座標cのまわりにガウス重心の尤度関数ψを当てはめるものである。重心座標は、手動注釈によって与えられる(自由パラメータhは、オーバラップしないポイントのクラウドを用いてすべての椎骨をうまくカバーするように実験的に決定される)。椎骨ごとに1つの重心ポイントを手動で注釈すれば、すべての椎骨について密なラベル・ポイントのクラウドを構築するのに十分である。視野vにおける椎骨のリストは動的であり、入力画像に依拠するものである。
【数1】
【0048】
読出しは、視野内に存在する椎骨ごとに1つのGenant分類に制限され、ラベル画像Lは、脊柱によって切り取られた強度画像Iと同一の寸法を用いて自動的に生成される。説明された技法を用いてもたらされるラベル画像は、完全なボクセルのものではないが、そのような方法は、当面の検出タスクにとって十分に正確である。このステップは、背景ボクセルについては0、正常な椎骨ボクセルについては1、椎骨骨折ボクセルについては2の強度値を有する入力画像Iと同一のサイズ(寸法)を有する3D画像Lを生成する。ボクセル強度は、上記の方法のように半自動で生成される。このステップの結果は、K対の画像I及びラベル画像Lを有する訓練データベースであり、CNN分類器に供給され得る。
【0049】
骨折確率推定器(103)は、画像に存在する椎骨骨折の確率の推定をもたらすために、場合により他の付加情報と組み合わされたボクセル分類出力を使用するサブシステムである。そのような確率は、全体画像又は画像の一部分に対してもたらされ得る。
【0050】
特定の実施例では、骨折確率推定器(103)は画像分類器(108)を備える。画像分類器(108)は前記3D画像を骨折の有/無で分類するように構成されており、ボクセル分類器(104)から前記3D画像の各ボクセルに関する入力を受け取って、前記3D画像に関する集約された確率値の出力をもたらし、そのような集約された確率は、性能メトリック(たとえば感度/特異性又は精度/再現度)を最適化することによって実験的に推定される。或いは、骨折クラスの確率を割り当てられたボクセルの数のカウントが使用され得る。
【0051】
別の実施例では、画像分類器(108)は、骨折クラスの確率を割り当てられたボクセルの数の最小閾値に基づいて3D画像を分類するように構成されている。
【0052】
別の実施例では、骨折確率推定器(103)は、3D画像における椎骨探知器(105)を備える。骨折確率推定器(103)は、椎骨探知器(105)と、椎骨の解剖学的ラベル割当て器(106)とを備え得る。
【0053】
別の実施例では、骨折確率推定器(103)は、3D画像における各椎骨について、骨折している確率を出力する椎骨分類器(107)をさらに備え得る。そのような分類器は、椎骨探知器(105)及び椎骨の解剖学的ラベル割当て器(106)と連携するように構成され得る。椎骨探知器(105)は、3D画像内の各椎骨の重心座標を生成するように構成され得る。椎骨の解剖学的ラベル割当て器(106)は、3D画像における各椎骨に対して解剖学的レベル情報を割り当てるように使用され得る。そのような情報は、予測結果の可視化を支援するのに有効であり得る。椎骨分類器(107)は、すべての構成要素を、入力画像に存在するすべての椎骨(これらはこの方法によって自動的に検出される)に関する、骨折ラベル(たとえば正常な椎骨又は骨折した椎骨)、椎骨重心(3D空間における局在化)、椎骨の解剖学的ラベル(たとえばL5、L1、T12など)といった解答へと組み合わせる。そのため、椎骨分類器(107)は、3D画像全体(108の出力)について1つの椎骨骨折予測をもたらすのではなく、存在する椎骨ごとに骨折予測をもたらし、この椎骨を画像において局在化する(空間において物理的に局在化するとともに、解剖学的ラベルを使用することによって局在化する)。
【0054】
本発明がさらに提供する医用撮像ワークステーションは、被検者の少なくとも1つの3D画像(1401)を生成するための撮像装置と、少なくとも1つの生成された画像において前記被検者の脊椎骨折のリスクを予測するための本明細書で説明されたようなシステムとを備える。そのような装置は、画像を選択してシステムの出力を調査するためのスクリーン及び入力デバイスを有するデバイスの形態であり得る。このシステムは、コンピュータ・ネットワークを介して遠隔で撮像装置と相互作用することもできる。そのような撮像ワークステーションの要素は様々なサーバ間に分散してよく、データベース・システムは、撮像データ、計算モデル、システムの様々な要素の中間出力を記憶するため、並びに最終出力を記憶するために使用され得る。そのようなデータベース・システムも様々なサーバ間に分散してよく、様々なサーバ上に様々なデータが記憶され得る。
【0055】
本発明は個人の脊椎骨折の存在を予測する3次元医用画像解析方法も提供するものであり、前記方法は、
脊髄の撮像情報を含む3D撮像データを受け取るステップ(201)と、
前記画像を処理して3Dボクセルの2つ以上のセットを生成するステップであって、セットの各々が前記3D画像の全体に対応し、セットの各々が異なる寸法の等しいボクセルから成る、ステップ(202)と、
計算モデルを使用して、各ボクセルについて、ボクセルが骨折を含有するクラス確率を計算するステップ(204)と、
前記ボクセルのいずれかが骨折を含有していると分類されるかどうかを識別するステップ(205)と、
骨折を含有していると分類された前記ボクセルの識別に基づいて前記個人の脊椎骨折の存在を予測するステップ(206)とを含む。
【0056】
特定の実施例では、この方法は、前記画像の中で脊髄を突き止めるステップ(203)と、脊髄を含むボクセルの各セットの脊柱によって切り取られた出力画像を生成するステップと、脊髄を含むボクセルのセットを出力するステップとをさらに含む。そのようなステップは画像処理ステップ(202)に続くことになる。
【0057】
特定の実施例では、3D撮像情報はコンピュータ・ネットワークを介して受け取られる。或いは、そのような撮像情報は、画像情報生成デバイス又はシステムと通信するように構成された通信ポートを介して受け取られる。より詳細には、撮像情報は医用画像データベースに記憶されている。
【0058】
この方法のより具体的な実施例では、ボクセル分類は、訓練データセットを使用して訓練されたモデルを使用して実行され、訓練データセットは、
i.ユーザ・インターフェースを介して訓練画像における各椎骨の重心座標を入力するステップと、
ii.ユーザ・インターフェースを介して椎骨骨折ラベルを入力するステップと、
iii.選択された重心座標のまわりにガウス重心の尤度関数を当てはめるステップと、
iv.訓練データセットにおける前記画像の各々に関する信号強度とラベルの対のデータセットを生成するステップとを含む方法を使用して生成されたものである。
【0059】
より具体的には、計算モデルは事前注釈付きの画像のセット上で訓練される。そのような画像は、重心座標を手動で突き止めること、及びそれに続くガウス重心の尤度関数の適用に頼る前述の方法を使用して注釈されてよい。その上、そのような画像に分類ラベルを割り当てるために、熟達者によって椎骨状態が評価される。そのような分類ラベルは正常若しくは骨折でよく、又は骨折の等級も指示し得る。
【0060】
特定の実施例では、計算モデルは、ボクセルのセットに分割された事前注釈付き画像のセット上で訓練される。一実施例では、x軸、y軸及びz軸に沿ってそれぞれ生成された3Dボクセルに対して強度ノイズ信号が付加される。
【0061】
別の実施例では、前記画像の中で脊髄を突き止めるステップ(203)は、前記画像データの中で脊髄を突き止めるために最大の信号強度の識別に基づくものである。詳細には、信号強度は、前述のように累積分布関数(CDF)≧0.9895を使用して処理され得る。或いは、前記画像の中で脊髄を突き止めるステップ(203)は、x軸、y軸及びz軸に沿って脊髄を粗く突き止めるために、解剖学的事前情報をさらに使用することができる。
【0062】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ(202)は、1mmの等方性ボクセルである3Dボクセルのセットを出力する。そのようなサイズは前述の理由で有利である。
【0063】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ(202)は、異方性ボクセルである3Dボクセルのセットを出力する。
【0064】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ(202)は、前記ボクセルの強度を平均値及び単位標準偏差へと正規化するステップをさらに含む。
【0065】
この方法の別の実施例では、前記画像を処理してボクセルのセットに分割するステップ(202)は、x軸、y軸及びz軸に沿ってそれぞれ生成された3Dボクセルに対して強度ノイズ信号を付加するステップをさらに含む。
【0066】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、ボクセルごとに1つ又は複数のクラスの確率を割り当てることによる各ボクセルの分類を含む。
【0067】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、ボクセルの周囲のセットのコンテキストでは、各セットの前記3Dボクセルの各々の2つの分類を含む。より具体的には、前記ボクセルの各々のそのような分類は、周囲のボクセルのコンテキストで実行され、30~40mmの前記ボクセルのコンテキストではボクセルの各々を第1のセットに分類し、90~120mmの前記ボクセルのコンテキストではボクセルの各々を第2のセットに分類する。特定の実施例では、第1のセットは35mmの前記ボクセルのコンテキストで分類され、第2のセットは105mmの前記ボクセルのコンテキストで分類される。より具体的には、この場合、ボクセルの第1のセットは1mmのボクセルのセットであり、ボクセルの第2のセットは3mmのボクセルのセットである。
【0068】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、事前訓練された分類器を使用して前記ボクセルに1つ又は複数のクラス・ラベルを割り当てることによってボクセルのグループにおける各ボクセルを分類するために、分類器を使用する。
【0069】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、画像における各ボクセルについて、背景クラス、正常クラス、骨折クラスと分類される出力確率を生成する。
【0070】
この方法の別の実施例では、脊椎骨折のリスクを予測するステップ(206)は、前記3D画像を、骨折の有/無に分類することを含み、前記ステップは、前記3D画像の各ボクセルに関する計算モデルを使用して各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)から、入力分類値を受け取り、前記ステップは、前記3D画像に関する集約された確率値の出力をもたらす。
【0071】
この方法の別の実施例では、脊椎骨折のリスクを予測するステップ(206)は、割り当てられた骨折クラスの確率を有するボクセルの数の最小の閾値に基づく前記3D画像の分類を含む。
【0072】
別の実施例では、この方法は、画像において椎骨を突き止めるステップと、3D画像に存在する椎骨にラベルを割り当てるステップとをさらに含む。
【0073】
別の実施例では、この方法は、3D画像に存在する椎骨にラベルを割り当てるステップをさらに含む。
【0074】
別の実施例では、この方法は、前記椎骨に骨折がある確率を割り当てることによって椎骨を分類するステップをさらに含む。より具体的には、椎骨を突き止めるステップは、前記3D画像の内部に各椎骨の重心座標を生成する。
【0075】
この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、畳み込みニューラル・ネットワーク(CNN)を利用するものである。より具体的には、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、ニューラル・ネットワーク層のセットを備える畳み込みニューラル・ネットワーク(CNN)を利用するものであり、ニューラル・ネットワーク層のセットは、
ボクセルの各セットについて、周囲のボクセルのコンテキストでは、前記ボクセルのセットから導出された入力を受け取って2つ以上の畳み込まれた出力を生成するように構成された1つ又は複数の畳み込み層と、
ボクセルの各セットについて、前記2つ以上の畳み込まれた出力を集約するための1つ又は複数の完全に接続された層と、
前記1つ又は複数の完全に接続された層から入力を受け取って最後の分類を実行する分類層とを備える。
【0076】
CNNは、追加の集約層及び畳み込み層をさらに備え得る。より具体的には、上記で例示されたCNNは、
前記1つ又は複数の畳み込まれた出力からの出力を集約するための集約層と、
第1の畳み込まれた出力及び第2の畳み込まれた出力からの前記集約された出力から入力を受け取る1つ又は複数の畳み込み層とをさらに備える。この方法の別の実施例では、計算モデルを使用して、各ボクセル・クラスについてボクセルが骨折を含有する確率を計算するステップ(204)は、畳み込みニューラル・ネットワーク(CNN)を利用するものであり、CNNは、フォアグラウンドを支援するためのサンプル抽出比、より具体的には背景:正常:骨折の比が1:3:3になり得るようなサンプル抽出比を使用し、注釈付きの入力3D画像のセットを使用して事前訓練されている。
【0077】
この方法の別の実施例では、前記3D画像データは画像強度を含み、前記画像強度は信号のダイナミック・レンジを有する。
【0078】
本発明は、本発明のシステム及び方法を実現するように適合されたコンピュータ・プログラム、特にキャリア上又はキャリア内のコンピュータ・プログラムにも適応することが理解されよう。本発明は、本明細書で説明された方法のステップを実行するためのコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。本発明は、実行可能命令を記憶している非一時的コンピュータ可読媒体をさらに提供するものであり、コンピュータは、この命令を実行することにより、本明細書で説明されたように、個人における骨粗鬆症性骨折のリスクを予測するための方法を実行する。本発明は、本明細書で説明されたシステムの要素に関するコード手段を含むコンピュータ・プログラムをさらに提供するものであり、前記コンピュータ・プログラムはコンピュータ上で実行される。
【0079】
コンピュータ・プログラムは、ソース・コード、オブジェクト・コード、コードの中間ソースの形態でよい。プログラムは部分的にコンパイルされた形態でよく、又はこの方法の実装形態において用いるのに適切な何らかの他の形態でよく、本発明に応じて変化する。そのようなプログラムは様々なアーキテクチャ上の設計を有し得る。本発明による方法又はシステムの機能性を実施するプログラム・コードは、1つ又は複数のサブルーチン又はサブコンポーネントに細分され得る。これらのサブルーチンの間で機能性を分配する様々なやり方が存在し、当業者には既知であろう。各サブルーチンが1つの実行可能ファイルに一緒に記憶されてよく、自己完結プログラムを形成する。或いは、サブルーチンのうち1つ若しくは複数又はすべてが、少なくとも1つの外部ライブラリ・ファイルに記憶されて、たとえば実行時に主プログラムと静的又は動的にリンクされてもよい。主プログラムは、サブルーチンのうち少なくとも1つに対する少なくとも1つのコールを含有している。サブルーチンが互いにコールしてもよい。
【0080】
本発明は、本明細書で明らかにされた方法のステップ、又は本明細書で明らかにされたようなその変形形態を実施するコンピュータ実行可能命令を含むコンピュータ・プログラム製品をさらに提供するものである。これらの命令は、サブルーチンに細分されてよく、且つ/又は、静的若しくは動的にリンクされ得る1つ若しく複数のファイルに記憶されてよい。コンピュータ・プログラム製品に関連した別の実施例は、システムのうち少なくとも1つの各手段に対応するコンピュータ実行可能命令及び/又は本明細書で明らかにされた製品を含む。これらの命令は、サブルーチンに細分されてよく、且つ/又は1つ若しくは複数のファイルに記憶されてよい。
【0081】
前述の実施例は本発明を制限するのではなく例証するものであり、当業者なら、特許請求の範囲から逸脱することなく、多くの代替実施例を設計し得ることに留意されたい。特許請求の範囲では、かっこの間に配置されたいかなる引用符号も、請求項を制限するようには解釈されないものとする。「備える」という動詞及びその語形変化の使用は、請求項において明示されたもの以外の要素又はステップの存在を除外することはない。
【0082】
要素の前の「1つの(a)」又は「1つの(an)」という冠詞は、そのような要素の複数の存在を除外することはない。本発明は、いくつかの別個の要素を備えるハードウェア及び適切にプログラムされたコンピュータによって実施され得るものである。いくつかの要素を列挙しているシステムの請求項では、これらの要素(サブシステム)のうちいくつかは、ハードウェアの全く同一の項目によって具現され得る。ある手段が互いに異なる従属請求項に詳述されているという単なる事実は、これらの手段の組合せが使用不可能であることを示すわけではない。
【0083】
実例
「実例1」CT画像のセット上の脊椎骨折を識別するためのシステムの性能。
本明細書で説明された方法のために、1つの大学病院のイメージングデータベースから、一連の腹部及び胸部のCT試験の120の匿名化された画像が使用された。これらの画像は、70歳を超える様々な兆候を有する患者(70歳~101歳、平均年齢は81歳、64%が女性患者)を含めて、4つの別々のスキャナ(Siemens、Philips及び2つのタイプのGEスキャナ)で、2017年の2月及び3月に取得されたものである。結果として、このデータセットは、プロトコルの種々雑多な範囲、再構成フォーマット及びこの患者集団に対する臨床診療からのサンプルを表す患者を含有している。椎骨分布は、228(18.7%)の骨折を含む合計1219の椎骨を含有している。このデータセットは、視野内のすべての椎骨に対してGenant等級(正常、軽症、中程度、重症)を与える1人の放射線専門医(S.R.)によって監督された。
【0084】
表1は、本明細書で説明された技法を使用して、データセット上で4重の相互検証を使用した患者レベルの予測結果を概括するものである。この場合、モデルを訓練するために使用されるデータセットが患者のサブセットに対する腹部試験と胸部試験の両方を含有しているため、Nimagesよりも少ないNpatientsを使用した。
【0085】
表1:4重の相互検証を使用して患者の骨折を提示する性能(Npatients=101)
【表1】

【表2】
【0086】
ノイズで乱れたグラウンド・トゥルース椎骨重心を使用して椎骨レベルの結果を生成した。方法の誤りの種類及び根本原因(データ又はアルゴリズム)を理解するために、放射線専門医の読出しに対する椎骨レベルの誤りの手分析を行った。
【0087】
誤りの3分の2超が胸部で生じており、このことは偏ったデータセットによって説明され得る(図13を参照されたい)。
【0088】
放射線専門医とともに個々の誤りを評価した後に、軽症の等級に関する誤りのほぼ15%が疑わしいものであるとの結論に至った。この観測により、(Buckens et al.(2013)で観察者内及び観察者間の変動性として報告されたように)グラウンド・トゥルース・ラベルとして使用された放射線専門医の読出しがノイズで乱れていることが明瞭に実証された。
【0089】
椎骨の誤りの40%は、2つから6つの連続した椎骨における連続した間違いを包含していた。興味深いことに、本発明者のデータセットに関連した放射線専門医の読出しを調べると類似の結果が見られる。Genant et al.(1993)で説明されているように、1つの参照椎骨に対する高さ損失を比較する必要があり(複数の参照椎骨にわたる統計的平均を使用することによる相違が報告されている(Burns et al.、2017))、これらの連続は、参照椎骨の概念を取り除き、椎骨サイズは低品位から高品位へと自然に縮小するので、参照椎骨をより離れて使用すると明瞭さが低下して問題を引き起こすのは驚くことではない。
【0090】
試験結果が含有している椎骨は、骨粗鬆症診断(たとえばS1、C7及びC6)と臨床的にはあまり関連性がなく、そのため、データセットにおける実例の数は限られたものであった。
【0091】
データセットは少数の椎骨病理(たとえば椎骨融合、海綿体内ヘルニア、進行中の骨形成過程による異常外観)を含有している。これらの椎骨病理の画像特徴は正常な椎骨とは明らかに異なり、分類器がこれらを骨折の場合と混同する可能性があるので、いくつかの誤りが生じる。
【0092】
最終的に、低い胸椎(たとえばL2、T12及びT11)に比較的多くの見逃し(偽陰性)があることが理解され得、先行研究(Burns et al.、2017)と合致する。
【0093】
この方法は、臨床診療及びつい最近報告された患者レベルの骨折検出結果に対してさらにベンチマークテストされた。結果を臨床診療に対してベンチマークテストするために、1人の観察者に対する3人の観察者の正確さとして、Buckens et al.(2013)で報告された観察者間絶対一致を使用した(したがって後者はグラウンド・トゥルースと見なされる)。表1aに報告された結果は、4人の人間の観察者にわたって報告された、患者の骨折を提示する正確さの範囲82%~92%(Buckens et al.、2013)を凌ぐものである。これらの観察者が十中八九別々に訓練されている一方で、ボクセル分類器は同一の基準に対して訓練されて試験されたことに注意する必要がある。それにもかかわらず、Buckens et al.(2013)の結果は、研究センターにおいて臨床研究に採用されており、4人の放射線専門医が専用の骨折格付け訓練を前もって受け、画像ごとに椎骨骨折を分類すること(研究設定)に、より多くの時間が費やされている。これらの条件があらゆる病院における標準的な放射線学の慣行に対して有利である(単なる学業ではない)ため、この結果は臨床診療と同等である。表3は、本発明の方法を、報告された患者の骨折結果(Bar et al.、2017)と比較したものである。両方の結果が、異なるデータセットを使用して生成されたものであることに注意する必要がある。
【0094】
表3:患者の骨折を提示する性能に関するプロキシ・ベンチマーク(両方の結果は異なる試験セットに対して報告されたものである)
【表3】

参考文献
Baum et al (2014) Automatic detection of osteoporotic vertebral fractures in routine thoracic and abdominal mdct. European radiology, 24(4):872-880
Buckens et al (2013) Intra and interobserver reliability and agreement of semiquantitative vertebral fracture assessment on chest computed tomography. PloS one, 8(8):e71204
Buckens et al. (2014) Prevalent vertebral fractures on chest ct: higher risk for future hip fracture. Journal of Bone and Mineral Research, 29(2):392-398
Cicek et al (2016) 3d u-net: learning dense volumetric segmentation from sparse annotation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 424-432. Springer
Cooper et al (1992) Incidence of clinically diagnosed vertebral fractures: A population-based study in rochester, minnesota, 1985-1989. Journal of Bone and Mineral Research, 7(2):221-227
Genant et al (1993) Vertebral fracture assessment using a semiquantitative technique. Journal of bone and mineral research, 8(9):1137-1148
Glocker et al (2013) Vertebrae localization in pathological spine ct via dense classification from sparse annotations. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pages 262-270. Springer
He et al (2015) Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proceedings of the IEEE international conference on computer vision, pages 1026-1034
He et al (2016) Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 770-778
International Osteoporosis Foundation. Vertebral Fracture Teaching Program. https: //www.iofbonehealth.org/what-we-do/training-and-education/educational-slide-kits/vertebral-fracture-teaching-program, 2017.
Ioffe and Szegedy (2015) Batch normalization: Accelerating deep network training by reducing internal covariate shift. In International Conference on Machine Learning, pages 448-456
Johnell et al (2006) An estimate of the worldwide prevalence and disability associated with osteoporotic fractures. Osteoporosis international, 17(12):1726-1733
Kamnitsas et al (2017) Efficient multi-scale 3d CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36:61-78
Klinder et al (2009) Automated model-based vertebra detection, identification, and segmentation in ct images. Medical image analysis, 13(3):471-482
Litjens et al (2017) A survey on deep learning in medical image analysis. arXiv preprint arXiv:1702.05747
Mitchell et al (2017) Reporting of vertebral fragility fractures: can radiologists help reduce the number of hip fractures? Archives of Osteoporosis, 12(1):71
Roux et al (2007) Mild prevalent and incident vertebral fractures are risk factors for new fractures. Osteoporosis International, 18(12):1617-1624
Schwartz et al (2005) Detection of vertebral fractures. Current osteoporosis reports, 3(4): 126-135
Szegedy et al (2015) Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 1-9
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14