(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】低解像度臨床コンピュータ断層撮影(CT)スキャンを使用する骨折リスク予測
(51)【国際特許分類】
G06T 1/00 20060101AFI20241008BHJP
A61B 6/03 20060101ALI20241008BHJP
G06T 3/4053 20240101ALI20241008BHJP
【FI】
G06T1/00 290B
A61B6/03 560T
A61B6/03 560E
G06T3/4053
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024513390
(86)(22)【出願日】2022-09-26
(85)【翻訳文提出日】2024-04-18
(86)【国際出願番号】 US2022076988
(87)【国際公開番号】W WO2023049879
(87)【国際公開日】2023-03-30
(32)【優先日】2021-09-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】500553730
【氏名又は名称】サウスウエスト リサーチ インスティテュート
【住所又は居所原語表記】6220 CULEBRA ROAD SAN ANT ONIO,TEXAS 78238 USA
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】フレイザー,ランス エル.
(72)【発明者】
【氏名】ニコレッラ,ダニエル ピー.
(72)【発明者】
【氏名】ルイス,ネイサン
【テーマコード(参考)】
4C093
5B057
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA02
4C093DA10
4C093FD03
4C093FF04
4C093FF25
5B057AA09
5B057CA08
5B057CA13
5B057CB08
5B057CB13
5B057CD05
5B057CE06
5B057DA07
5B057DB03
5B057DB09
5B057DC40
(57)【要約】
【課題】骨折のリスクが最も高い人々を特定し、骨脆弱性に対するより効果的な治療及び予防戦略を開発すること。
【解決手段】骨折リスク分析、より詳細には低解像度臨床CTスキャン、例えば250~1000ミクロンの範囲の解像度を有するCTスキャンを使用する骨折リスク予測のためのシステムは、畳み込みニューラルネットワークを使用して骨画像を分析して、少なくとも1つの微細構造特性を予測する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
メモリ内でニューラルネットワークをインスタンス化するように構成されたコントローラを含むシステムであって、前記ニューラルネットワークは、骨のコンピュータ断層撮影(CT)画像データを受け取るための入力層と、前記受け取られたCT画像データに基づいて少なくとも1つの微細構造特性を予測するための、前記入力層に結合された少なくとも1つの畳み込み層と、前記予測された少なくとも1つの微細構造特性を出力し、及び/又は、前記予測された少なくとも1つの微細構造特性に基づいて予測されたCT画像データを出力するための、前記少なくとも1つの畳み込み層に結合された出力層とを有する、
システム。
【請求項2】
前記コントローラは、
第1の骨タイプを有する基準骨の基準臨床CT画像データを受け取ることであって、前記基準臨床CT画像データは、第1の解像度を有する、受け取ることと、
前記基準骨の基準高解像度CT画像データを受け取ることであって、前記基準高解像度CT画像データは、第2の解像度を有し、前記第2の解像度は、前記第1の解像度よりも高い、受け取ることと、
前記基準高解像度CT画像データに基づいて前記基準臨床CT画像をリサンプリングすることであって、それにより、前記リサンプリングされた基準臨床CT画像データは、前記第2の解像度に等しい解像度を有する、リサンプリングすることと、
前記基準高解像度CT画像データに基づいて少なくとも1つの微細構造特性を決定することと、
を行うようにさらに構成される、請求項1に記載のシステム。
【請求項3】
前記第1の解像度は、250~100ミクロンの範囲であり、且つ、前記第2の解像度は、60ミクロン以下である、請求項2に記載のシステム。
【請求項4】
前記第2の解像度は、60ミクロン以下の等方性解像度である、請求項2に記載のシステム。
【請求項5】
前記コントローラは、前記リサンプリングされた基準臨床CTデータを前記ニューラルネットワークに入力することと、前記ニューラルネットワークの出力を前記基準高解像度CT画像データと比較することとに基づいて、前記ニューラルネットワークを訓練するようにさらに構成される、請求項2に記載のシステム。
【請求項6】
前記コントローラは、前記ニューラルネットワークが所定の誤り率以下の誤り率を有するまで、前記リサンプリングされた基準臨床CTデータを前記ニューラルネットワークに入力することと、前記ニューラルネットワークの出力を前記基準高解像度CT画像データと比較することとに基づいて、前記ニューラルネットワークを訓練するように構成される、請求項5に記載のシステム。
【請求項7】
前記所定の誤り率は、5%以下である、請求項6に記載のシステム。
【請求項8】
前記コントローラは、前記リサンプリングされた基準臨床CTデータにテンプレートメッシュを適用して、第1の複数の立方体を決定するようにさらに構成され、前記第1の複数の立方体の各立方体は、3次元空間における前記基準骨の物理的構造を集合的に定義するボクセルのM×N×Y立方体である、請求項5に記載のシステム。
【請求項9】
前記コントローラは、前記第1の複数の立方体のうちの第1の立方体を前記ニューラルネットワークに入力することによって前記ニューラルネットワークを訓練して、前記ニューラルネットワークに、前記第1の立方体についての少なくとも1つの予測された微細構造特性を出力させるようにさらに構成される、請求項8に記載のシステム。
【請求項10】
前記コントローラは、前記基準高解像度CTデータにテンプレートメッシュを適用して、第2の複数の立方体を決定するようにさらに構成され、前記第2の複数の立方体の各立方体は、3次元空間における前記基準骨の物理的構造を集合的に定義するボクセルのM×N×Y立方体である、請求項8に記載のシステム。
【請求項11】
前記コントローラは、前記第2の複数の立方体のうちの第1の立方体についてのグラウンドトゥルース微細構造特性を決定することに基づいて前記ニューラルネットワークを訓練するようにさらに構成され、前記第2の複数の立方体のうちの前記第1の立方体は、前記第1の複数の立方体のうちの第1の立方体と解剖学的対応関係を有する、請求項10に記載のシステム。
【請求項12】
前記コントローラは、前記第1の複数の立方体のうちの前記第1の立方体についての前記予測された少なくとも1つの微細構造特性を前記グラウンドトゥルース微細構造特性と比較し、及び、前記予測された少なくとも1つの微細構造特性と前記グラウンドトゥルース微細構造特性との間の差に基づいて、前記少なくとも1つの畳み込み層内の1つ又は複数のコネクションを調整することにより、前記ニューラルネットワークを訓練するようにさらに構成される、請求項11に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
分野
[0001] 以下の本開示は、概して、骨折リスク分析に関し、より詳細には、低解像度臨床CTスキャン、例えば250~1000ミクロンの範囲の解像度を有するCTスキャンを使用する骨折リスク予測に関する。
【背景技術】
【0002】
背景
[0002] 骨粗鬆症性骨折は、一般に、股関節及び椎骨に起こり、医療関連費用で170億ドルの負担となっている。経済的負担にとどまらず、骨粗鬆症性骨折は、60歳以上の人々の罹患率及び死亡率の重大な原因である。実際に、股関節骨折は、60歳以上の患者の20%で致命的であり、生存者について、50%は、永久的な障害を有することになる。したがって、骨折した患者の30%のみが完治する。50歳超の女性の40%~46%及び50歳超の男性の13%~22%は、骨粗鬆症に関連した骨折を起こすと推定されている。2050年までに60歳超の人々の数がほぼ3倍になると予測されており、骨折のリスクのある人口の著しい増加が切迫している。
【発明の概要】
【発明が解決しようとする課題】
【0003】
[0003] したがって、骨折のリスクが最も高い人々を特定し、骨脆弱性に対するより効果的な治療及び予防戦略を開発することが急務である。
【課題を解決するための手段】
【0004】
図面の簡単な説明
[0004] 図面では、同一の参照番号は、類似の要素又は動作を識別する。図面における要素のサイズ及び相対的な位置は、必ずしも縮尺通りに描かれていない。例えば、様々な要素の形状及び角度は、縮尺通りに描かれておらず、これらの要素のいくつかは、図面の読みやすさを向上させるために拡大及び位置決めされている。さらに、描かれているような要素の特定の形状は、特定の要素の実際の形状に関する情報を伝えるように意図されず、図面における認識を容易にするためにのみ選択されている。
【図面の簡単な説明】
【0005】
【
図1】[0005]本開示の態様と一致するプロセス/方法例を示す。
【
図2】[0006]本開示の態様と一致する骨の複数のCT画像を示す。
【
図3】[0007]本開示の態様と一致する、リサンプリングされたCT画像データ内に表された骨に適用されるテンプレートメッシュの一例を示す。
【
図4】[0008]1つの空間的位置例を示し、元のマイクロCT/高解像度CT画像データ(左)、同じ位置の臨床CT画像データ(中)及び出力されたリサンプリングされた画像データ(右)を示す。
【発明を実施するための形態】
【0006】
詳細な説明
[0009] 過去20年間にわたり、骨脆弱性及び骨折に関する理解は、大きく進展した。しかしながら、その一方で、骨折リスクを評価し、適時の介入を提供するために、臨床的な進歩は、ほとんどなかった。これは、骨折リスクを示す利用可能なバイオマーカが広まっていないことが一因である。実際に、容易に合意された骨折リスクの臨床的基準は、骨密度(BMD)のみである。
【0007】
[0010] BMDは、医院及び病院等の臨床環境内で容易に利用可能である機器、例えばCTセンサ/撮像装置からの低解像度画像データを使用して決定することができる。こうした機器は、本明細書では臨床撮像装置とも称され得、同様に、これらの装置から出力される画像データは、本明細書ではCT臨床撮像データ又は単に臨床撮像データとも称され得る。
【0008】
[0011] 臨床撮像装置は、約500ミクロンの解像度を有する関連するセンサに基づいて、比較的低解像度の画像データを提供する傾向がある。加えて、臨床撮像装置の解像度は、一般に、非等方的であり、すなわち、解像度は、長軸方向(Z方向)に対して横断面(X-Y平面)で変化する。残念ながら、BMDは、歴史的に見て、骨折予測で30~50%の成功率のみを有している。
【0009】
[0012] 骨は、入り組んだ微細構造の組織を有する複雑な構造体である。BMDは、単位体積あたりの石灰化した骨の量の大まかな推定を与えるのみであるが、骨の微細構造(骨質の指標)を特徴付けることにより、骨の構造的強さの比較的完全な実態が提供される。そのため、骨の微細構造の組織に基づく計算モデルは、特に低解像度臨床画像データに基づくモデル(BMDベースのモデル)と比較して、有効性及び比較的高い精度を実証している。
【0010】
[0013] 残念ながら、こうした高解像度の画像データを生成するために必要な機器及び放射線被曝のため、こうした微細構造情報は、臨床的に利用可能でなかった。そのため、微細構造情報を用いる高忠実度の計算モデルは、動物及び死体での研究にのみ利用されてきた。
【0011】
[0014] 過去数年において、高解像度末梢骨用定量的CT(HR-pQCT)は、骨の微細構造を臨床的に評価する有望な技術として登場し、骨折リスクの予測情報を明らかにすることが示されている。しかしながら、HR-pQCTは、その使用が限られている。一度にわずかな体積の骨のみをスキャンすることができ、骨の所定の場所(脛骨遠位端、橈骨遠位端等)のみをスキャンすることができる。この技術では、骨の構造的完全性を記述する情報の大部分に手が届かないままである。骨全体の構造に関する記述は、骨構造に関する単独の尺度よりも著しく予測性が高いことが判明している。
【0012】
[0015] HR-pQCT及びマイクロCT画像センサを介するなどの高解像度CT撮像を必要とせずに導出される微細構造情報を使用して、骨の強度及び骨折リスクを判断することが必要とされている。
【0013】
[0016] したがって、本開示の一態様に従い、臨床CT画像データから微細構造尺度を導出する方法が開示される。好ましくは、微細構造尺度は、骨全体の画像データから導出される。
【0014】
[0017] より詳細には、3次元(3D)畳み込みニューラルネットワーク(CNN)を利用して、予測された高解像度CT画像データ及び/又は予測された微細構造特性を生成する、臨床CT画像データをアップサンプリング/アップスケーリングする方法が開示される。高解像度CT画像データは、好ましくは、マイクロCT画質に近い画質、例えば60ミクロン以下、より好ましくは60ミクロン以下の等方性解像度を有する。等方性解像度とは、横断面(X-Y平面)における空間解像度が長軸方向(Z方向)と等しいことを指す。
【0015】
[0018] 本開示の態様は、複数の個体にわたる特定の/標的骨のCT画像データを含む比較的制約されたデータセットを介してニューラルネットワークが訓練され得ることを認識している。例えば、本開示の態様は、4つ程度の個体についてのCT画像データを含むデータセットを使用して、ニューラルネットワークを訓練するために使用されなかった臨床CT画像データ、例えば新規の画像データに基づいて微細構造特性を(5~10%の誤差範囲内で)正確に予測し得ることを確認した。より大きいデータセット、例えば数百以上の個体にわたる骨のCT画像データを有するデータセットを訓練に使用することにより、さらなる精度を達成することができる。
【0016】
[0019] 本開示と一致するニューラルネットワークは、この比較的低い誤り率を、完全に同一の骨について高解像度CT画像データとペアリング/マッチングされた臨床CT画像データを利用するマッチング/レジストレーションプロセスを通して、制約されたデータセットを使用して達成することができる。次いで、ニューラルネットワークは、高解像度CT画像データからのグラウンドトゥルース微細構造特性を損失関数として利用することができ、その結果は、高解像度CT画像データから導出されたグラウンドトゥルース微細構造特性に対する、臨床CT画像データから導出された予測された微細構造特性間の距離/損失を論証する。訓練は、好ましくは、結果として得られる測定された損失(又は誤り率)が所定の誤り率、例えば好ましくは5~10%の範囲、より好ましくは5%以下に達するまでN回の反復を含む。ニューラルネットワークの訓練に関連する反復とは、隠れ層内の重み/コネクションを更新するための、ニューラルネットワークを通した完全な順伝播及び逆伝播を指す。所定の誤り率を達成するための訓練反復の特定の回数は、訓練データセットのサイズ、標的微細構造特性の数等の要素に応じて変化する。
【0017】
[0020] 機械学習モデルの訓練に対する既存の手法は、一般に、比較的制約されたデータセットを利用する場合、オーバーフィッティングが発生する可能性があるため、こうした比較的低い損失/誤り率を回避しようとする。オーバーフィッティングは、モデルの汎化する(例えば、訓練セット外の新規の/新たな入力値から出力を推測/予測する)能力を低下させる可能性があり、ノイズによって引き起こされるパターンを含む、データ内の二次的なパターンが「学習される」ようにする可能性がある。
【0018】
[0021] 本開示と一致する機械学習モデル/ニューラルネットワークは、訓練に使用されるCT画像データが、本明細書に開示するようなレジストレーションプロセスを通して効果的にノイズフリーであることを確実にすることにより、及びCT画像データのセグメンテーションにより、例えばCT画像データの各部分/立方体/ボリュームが複数の個体にわたって骨の同じ/完全に同一の位置に対応することを確実にする、ボクセルを分割/線引きするための立方体ベースの手法を可能にするテンプレートメッシュを適用して、上述した欠点を最小化するか又は他の方法で低減させる。したがって、ニューラルネットワークは、訓練データ内に表されるすべての個体にわたるその骨の位置に関連する解剖学的制約/特性を通して、立方体/ボリューム単位で正確な予測を生成することができる。
【0019】
[0022] 簡単に述べると、CT画像データの各立方体/ボリュームの解剖学的対応関係により、(異なる個体からの)同じ骨のCT画像データ間で完全に同様にマッチング/位置合わせすることができる臨床CT画像データの比較的小さい部分に予測を集中させることができる。例示として述べると、臨床CT画像データの各立方体/ボリュームは、臨床CT画像センサの解像度が比較的低いため、ノイズに対して信号の部分が比較的小さい。本開示は、本開示の立方体/ボリュームごとの処理手法により、従来、微細構造分析に使用不能であると考えられていた臨床CT画像からのこの比較的少量の信号を使用して、ニューラルネットワークがCT画像データの各立方体/ボリュームについて正しい/実際の微細構造を「推論する」ことができることを確認した。
【0020】
[0023] したがって、本開示の態様により、臨床CT画像データが微細構造分析及び骨折リスク評価の目的に利用されることが可能になる。本開示と一致するシステムは、医院等の臨床環境で利用され、局所的な臨床CT画像センサからのCT画像データに基づいて、高解像度のCT画像センサを必要とすることなしに動作し得る。本開示は、高解像度のCT画像スキャナのコスト、複雑さ及び放射線被曝の危険なしに、個体/患者に正確な骨折分析を提供するうえで著しい進歩を表す。
【0021】
[0024] 3D CNN等、オブジェクト/表現をコンピュータメモリにロードすることに関して、インスタンス化という用語は、複数の機械可読命令の実行を通してコントローラ/プロセッサによってオブジェクトの表現がメモリにロード/作成されることを指す。こうした機械可読命令を使用して、本明細書に開示する様々なプロセス及び特徴を実装することができ、こうした機械可読命令は、複数のコンピュータ可読命令に解釈/コンパイルし、非一時的な方法で(例えば、RAM等の物理メモリに)格納することができる高水準コンピュータプログラミング言語(例えば、C++、Python)を介して生成され得る。
【0022】
[0025]
図1は、本開示と一致する臨床CT画像をアップスケーリングする1つのプロセス例100を示す。プロセス例100は、好ましくは、コンピュータのコントローラ/プロセッサ(図示せず)等のコントローラ/プロセッサによって実行される。プロセス例は、システムを、好ましくは患者の骨折リスクを決定するように構成されたシステムを介して実施することができる。好ましくは、プロセス100は、コントローラ/プロセッサにより、メモリ(図示せず)に格納された複数の機械可読命令の実行に基づいて実行される。プロセス100は、より多いか又はより少ない動作を含み得、動作は、必ずしも図示する特定の順序で実行される必要はないことに留意されたい。
【0023】
[0026] 動作102では、コントローラは、第1の骨の臨床CT画像データを受け取る。第1の骨は、ヒトの大腿骨等の第1の骨タイプのものであり得る。本開示の態様は、家畜及び他の動物の骨等、ヒト以外の骨にも同様に適用可能である。動作102で受け取られた臨床CT画像データは、本明細書では基準臨床CT画像データとも称され得る。
【0024】
[0027] 臨床CT画像データは、好ましくは、臨床CT画像センサから出力される画像データを含む。臨床CT画像データのフォーマットは、好ましくは、医療におけるデジタル画像と通信(DICOM)画像ファイルを含むが、他の標準規格及び/又は独自のフォーマットも本開示の範囲内である。
【0025】
[0028] 臨床CT画像データは、好ましくは、例えば250×350×350(X/Y/Z)ミクロンの解像度を有するが、他の解像度も本開示の範囲内である。
【0026】
[0029] 臨床CT画像データは、好ましくは、複数のボクセルを含む。臨床CT画像データは、好ましくは、所与の骨/オブジェクト又は骨/オブジェクトのセットの各ボクセルの位置が3次元空間内で識別可能であるように、ボクセル間の物理的関係を記述する。各ボクセルは、例えば、CTスキャナによって検出されるような密度値又は実効原子番号(Zeff)を示す整数値によって表され得る。一般に、ボクセルの値が高いほど、比較的密度の高い物質を示し、値が低いほど、空気及び身体組織等の比較的密度の低い物質を示す。しかしながら、本開示は、ボクセルの特定の数値表現に必ずしも拘束されるものではなく、提供する例は、限定としてではなく、例示として提供するものである。
【0027】
[0030] 臨床CT画像データは、好ましくは、第1の骨の少なくとも一部を表すボクセル、より好ましくは第1の骨の全体を表すボクセルを含む。いずれの場合にも、第1の骨を表すボクセルは、好ましくは、第1の骨の3D表現を提供する。この3D表現を、
図2に示すような2次元で視覚化することができる。この例では、各2次元画像は、所与のZ軸位置における第1の骨の横断面(X/Y)の断面図又は「スライス」である。各スライスは、好ましくは、CT画像センサの解像度によって確立されるようにボクセルのM×N配列を含む。
【0028】
[0031] この例における「スライス」の特定の数は、臨床CT画像データの解像度、より詳細には(本明細書では面外解像度とも称され得る)Z軸に沿った臨床CT画像データの解像度に基づき得る。臨床CT画像データの各「スライス」は、
図2に示すような2次元画像を介して視覚的に表され得る。「スライス」は、必ずしもこの点で限定されず、例えば、スライスは、各スライスが、Z軸に沿って取得された断面図であるように、横断面に対して横方向に取得され得ることに留意されたい。
【0029】
[0032] 臨床CT画像データは、必ずしも複数のスライスを含まなくてもよく(例えば、CT画像データは、1ボクセルに等しい面外深さを有し得る)、単一スライス程度のスライスを含み得ることに留意されたい。しかしながら、臨床CT画像データは、好ましくは、後により詳細に考察するように、微細構造分析の目的のために上昇した解像度を提供するために、1ボクセルよりも大きい面外深さを含む。
【0030】
[0033] 好ましくは、臨床CT画像データは、Z軸に対して実質的に横方向に延在する第1の骨の長軸を含む第1の向きでの第1の骨を示す。別の言い方をすれば、臨床CT画像データは、好ましくは、横断面内で長手方向に延在する第1の骨を含む。この向きは、上から下の向きとも称され得る。しかしながら、本開示は、この点で限定されず、第1の骨は、Z軸と平行であるなど、他の向きであり得る。
【0031】
[0034] 臨床CT画像データは、2つ以上の骨及び/又は人体組織等の他の物体の表現を含み得ることに留意されたい。場合により、手動及び/又は自動フィルタリング(例えば、アルゴリズムによるフィルタリング)を利用して、特定の標的骨/対象となる骨以外のオブジェクトに関連するボクセルを除去する/取り除くことができる。
【0032】
[0035] 動作104では、コントローラは、第1の骨について高解像度CT画像データを受け取り、この高解像度CT画像データ内に表される第1の骨は、好ましくは、動作102で受け取られた臨床CT画像データ内に表されるものと完全に同一の/同じ骨である。別の言い方をすれば、臨床CT画像データ及び高解像度CT画像データは、好ましくは、同じ個体について同じ骨(第1の骨)を撮像したそれぞれのCTスキャナによって出力される。
【0033】
[0036] 好ましくは、高解像度CT画像データは、マイクロCTスキャナ等のCTスキャナから出力される。高解像度CT画像データは、本明細書では、基準高解像度CT画像データ、基準高解像度画像若しくは基準マイクロCT画像又は単にマイクロCT画像とも称され得る。好ましくは、高解像度CT画像データは、動作102で受け取られた臨床CT画像データの解像度と異なる解像度を有する。より好ましくは、高解像度CT画像データは、例えば、約350±150ミクロン以上の解像度を有し得る、臨床CT画像データよりも高い解像度、例えば60ミクロン以下の等方性解像度を有する。1つの例では、高解像度CT画像データは、40ミクロン~100ミクロンの範囲の等方性解像度を有する。
【0034】
[0037] 動作102で受け取られた臨床CT画像データで第1の骨の一部のみが表されるシナリオでは、高解像度CT画像データは、好ましくは、そこに表されるものと同じ骨部分を含む。
【0035】
[0038] 好ましくは、高解像度CT画像データは、Z軸に沿った特定の解像度に基づく複数の「スライス」を含む。
図2に示すように、高解像度CT画像データの一例がマイクロCT2次元画像の形態で示されている。このマイクロCT2次元画像は、少なくとも1つの「スライス」、より好ましくは第1の骨の各断面、より詳細には各Z軸間隔における横断面が個別に視覚化及び/又は分析されることを可能にする、複数のそうしたスライスを有する高解像度画像データに基づき得る。
【0036】
[0039] 好ましくは、動作104で受け取られた高解像度CT画像データは、臨床CT画像データと空間的に位置合わせ/整列される。空間的に位置合わせ/整列されるという用語は、高解像度CT画像データ内の骨の各「スライス」が臨床CT画像データの1つ又は複数の対応するスライスに関連付けられることを意味する。
【0037】
[0040]
図2を参照して、例示の目的で1つの例を考える。この例では、第1の骨の2次元臨床CT画像データ202は、Nに等しいZ深さにおける第1の骨のスライスを表し、Nは、骨内への10mmの有効Z位置に対応すると考える。この例における空間レジストレーションは、骨のスライスを、X軸及びY軸に沿って高解像度CT画像データ204内の対応するスライスと整列させることを含む。
【0038】
[0041] したがって、
図2の臨床CT画像の横断面に示す骨構造は、好ましくは、同じ骨構造を表す高解像度CT画像データの「スライス」に整列/位置合わせされる。この例における臨床CT画像データの解像度が比較的粗い、例えば250ミクロンであることを考慮すると、高解像度CT画像データは、60ミクロンのZ解像度(250/60=4.17)に基づいて、臨床CT画像の対応するスライスごとに約4.17の対応するスライスを有することになる。臨床CT画像データのスライスの各々は、好ましくは、このように位置合わせ/整列される。
【0039】
[0042] したがって、高解像度CT画像データが、3D空間において、例えば3次元コンピュータモデリングアプリケーションを使用して、整列/位置合わせされた臨床CT画像データの隣に視覚化される場合、第1の骨の臨床CT画像表現をY軸に沿ってシフト/変位させて、骨の高解像度CT画像表現が、一致する、例えば臨床CT画像表現と同じ/完全に同一の次元空間/ボリュームを占有するようにすることができる。簡単に言えば、高解像度CT画像データによって表される骨構造は、好ましくは、2つの骨構造が3D空間で実質的に完全に同一のボリュームを占有し、単一の骨のみが視覚化されているように観察者に見えるように、骨構造の特徴/構成要素の1:1の対応関係を有し得る程度まで、臨床CT画像データの骨構造と整列/位置合わせされる。
【0040】
[0043] 高解像度CT画像データのこのレジストレーション/整列は、動作104中に行われ得るか、又は受け取られた高解像度CT画像データが予め整列/予め位置合わせされるように動作104前に行われ得る。
【0041】
[0044] 好ましくは、高解像度CT画像データ及び臨床CT画像データは、位置合わせ/整列されたセットとしてメモリに格納される。
【0042】
[0045] より好ましくは、こうした複数の位置合わせ/整列されたセットは、メモリに格納され、第1の標的骨タイプに関連付けられる。メモリに格納されたそれぞれの位置合わせ/整列されたセットは、好ましくは、標的骨タイプである第1の個体の骨の臨床CT画像を、その第1の個体のその骨の高解像度CT画像データとともに含む。好ましくは、第1の標的骨タイプに対する複数のこうした位置合わせ/整列されたセットがメモリに格納される。位置合わせ/整列されたセットの各々は、好ましくは、そこに表される骨について完全に同一の/同じ向きを含み、例えば、骨は、3次元空間において同じ/共通の向きで向けられるが、本開示は、この点で限定されない。メモリは、第1のタイプの骨、例えば大腿骨について、所望の構成に応じて1~100、100~1000又は1000~10000セットの範囲の総数の位置合わせ/整列されたセットを含み得る。メモリに格納された各セットは、好ましくは、広範囲の異なる大腿骨がそこに表されるように異なる個体に対応する。
【0043】
[0046] メモリは、第2の標的骨タイプに対する位置合わせ/整列されたセットをさらに含み得、第2の標的骨タイプは、第1の標的骨タイプと異なることに留意されたい。例えば、第2の標的骨タイプは、上腕骨を含み得、メモリは、第2の標的骨タイプに対する1つ又は複数の位置合わせ/整列されたセットを含み得る。
【0044】
[0047] 動作106では、コントローラは、臨床CT画像データ及び高解像度CT画像データに基づいて、リサンプリングされた臨床画像データを生成する。コントローラは、好ましくは、例えば線形補間又はキュービック補間により、リサンプリングされた臨床画像データを生成する。リサンプリングの結果、好ましくは、リサンプリングされたCT画像データは、各ボクセルを、高解像度CT画像データのそれぞれの/整列されたボクセルと1:1の様式で対応させることになる。リサンプリングされたCT画像データ内の導入/追加されたボクセルは、好ましくは、リサンプリングされた臨床画像データ内のそれらの元のボクセルと同じ値を割り当てられる。コントローラは、好ましくは、特定された高解像度画像と等方性のボクセルサイズ、例えば60ミクロンで、リサンプリングされた臨床画像データを生成する。
【0045】
[0048] 動作108では、コントローラは、高解像度画像データに基づいて、第1の骨の各立方体について少なくとも1つの微細構造特性を決定する。本明細書で使用する場合の立方体とは、5×5×5mm、すなわち立方体の画像データ等、所定のサイズ/ボリューム(M×N×Y)を有する複数のボクセルを指す。各立方体は、好ましくは、ボクセルの別個の集合である。テンプレートメッシュを利用して、第1の骨に対する立方体の特定の数を確定し、各ボクセルをそれぞれの立方体に関連付けることができる。本開示は、ボクセルを関連付ける目的で必ずしも立方体に限定されず、本開示の態様は、他の規則的又は不規則な幾何学的形状を利用し得ることにも留意されたい。利用することができる幾何学的形状の1つの例は、四面体である。
【0046】
[0049]
図3は、リサンプリングされたCT画像データ301に示す骨構造に対して生成されたテンプレートメッシュ302の1つの例を示す。図示するように、テンプレートメッシュ302は、骨構造の輪郭の周囲で歪められた/変形したグリッドに基づく複数の立方体を含む。好ましくは、テンプレートメッシュ302は、立方体のトポロジ/構成が所与の骨タイプに対して一貫していることを確実にするように歪める/変形させることができる。例えば、テンプレートメッシュ302は、大腿骨のために構成され得、撮像された各大腿骨が各構造特徴に対して本質的に完全に同一の立方体割当てを有するように、広範医の個体にわたって一貫性のあるグリッド/トポロジを生成することができる。撮像された各大腿骨は、好ましくは、大腿骨頭の同じ前方位置/場所において、概して304に示す立方体を含む。
【0047】
[0050] テンプレートメッシュ及びそれを生成する方法の1つの例は、2010年2月9日に出願された「Fracture Risk Assessment」という名称の米国特許第8,725,231号(以下では‘231特許)に記載されており、この特許は、参照により本明細書に完全に援用される。
【0048】
[0051] 骨の粗大構造特性は、標的骨にモーフィングされたときのテンプレートメッシュの表面頂点の節点座標を含む。こうした粗大構造特性は、骨の全体的な形状等、骨の構造に対する粗大構造特性の集合的な効果を記述することができる。
【0049】
[0052] 少なくとも1つの微細構造特性は、本明細書では微細構造尺度とも称され得る。微細構造尺度は、既存の方法と組み合わせて、本開示の態様と一致する高解像度CT画像データを使用して計算する/求めることができる。
【0050】
[0053] 1つの例では、微細構造尺度は、骨梁の厚さ又は標的立方体内の各骨梁間の間隔等の空間的測定値に基づいて計算される。代わりに又は加えて、微細構造尺度は、平均切片長法、スターボリューム分布法及び/又はスターレングス分布法等の手法を使用するファブリックテンソルベースの変数を含み得る。
【0051】
[0054] 1つの例では、コントローラは、所定のグリッド間隔を有するグリッドを介して標的立方体の少なくとも1つの微細構造特性を決定する。所定のグリッド間隔は、例えば、3×3×3mmのボクセル間隔又は5×5×5mm等の他のサイズであり得る。この例では、コントローラは、グリッドを利用して、ファブリックテンソル及び骨体積率等の高解像度CT画像データを使用して少なくとも1つの微細構造特性/尺度を決定し、直交異方性弾性テンソル、平均骨梁中心距離及び/又は平均骨梁厚を求めることができる。さらなる微細構造特性としては、例えば、骨梁数、皮質骨多孔率、皮質厚を挙げることができる。
【0052】
[0055] したがって、高解像度CT画像データ内の各立方体は、少なくとも1つの微細構造尺度と関連付けられる。各立方体に対する少なくとも1つの微細構造尺度は、好ましくは、例えば配列又はルックアップテーブル等の他の好適な手法を使用してメモリに格納される。少なくとも1つの微細構造尺度は、本明細書ではグラウンドトゥルース尺度とも称され得、後に考察するように、ニューラルネットワークの訓練中に使用され得る。好ましくは、グラウンドトゥルース尺度は、高解像度CT画像データに表される骨にテンプレートメッシュを適用することから導出される。その後、テンプレートメッシュを使用して複数の立方体を定義/出力することができる。好ましくは、テンプレートメッシュは、上記で考察したように、リサンプリングされたCT画像データに適用されるテンプレートメッシュと同じである。複数の立方体の各立方体は、好ましくは、3次元空間における骨の物理的構造を集合的に定義するボクセルのM×N×Y立方体である。
【0053】
[0056] 動作110では、コントローラは、リサンプリングされた臨床画像データ及び高解像度CT画像データに基づいてニューラルネットワークを訓練する。ニューラルネットワークは、好ましくは、3D CNNとして実装される。
【0054】
[0057] コントローラは、好ましくは、メモリ内に同じものをインスタンス化/ロードすることによってニューラルネットワークを訓練する。1つの例では、ニューラルネットワークは、リサンプリングされた臨床CT画像データを入力として取り込み、高解像度画像データを出力として用いて訓練される。
【0055】
[0058] 1つの例では、ニューラルネットワークは、高解像度画像データの各立方体を、例えば動作108で高解像度CT画像データから決定されたような少なくとも1つの対応する微細構造特性と関連付けるように構成される。
【0056】
[0059] 訓練中、ニューラルネットワークは、好ましくは、リサンプリングされた画像データの各立方体を逐次、例えば一度に1つ処理する。立方体の境界/サイズ及び立方体の位置は、アプリオリ情報を使用して、例えば上記で考察したテンプレートメッシュに基づいて予め決定される。ニューラルネットワークは、好ましくは、骨のコンピュータ断層撮影(CT)画像データを受け取るための入力層と、受け取られたCT画像データに基づいて少なくとも1つの微細構造特性を予測するための、入力層に結合された少なくとも1つの畳み込み層と、少なくとも1つの予測された微細構造特性を出力し、及び/又は少なくとも1つの予測された微細構造特性に基づいて予測されたCT画像データを出力するための、少なくとも1つの畳み込み層に結合された出力層とを含む。ニューラルネットワークは、次いで、立方体に対する少なくとも1つの予測された微細構造特性及び/又は少なくとも1つの予測された微細構造特性を達成する立方体に対する予測されたボクセル値を決定することができる、少なくとも1つの畳み込み層を含む1つ又は複数の隠れ層に立方体を通過させることができる。
【0057】
[0060] したがって、1つの例では、少なくとも1つの畳み込み層は、存在すると予測される骨構造を表すボクセル値で標的立方体を調整することができる。各立方体がこのように処理された後、ニューラルネットワークは、ニューラルネットワークに入力されたリサンプリングされた臨床画像データに基づいて、予測された高解像度CT画像データを出力することができる。代わりに又は加えて、ニューラルネットワークは、各立方体について少なくとも1つの予測された微細構造特性を出力するように構成され得る。
【0058】
[0061] 1つの好ましい例では、ニューラルネットワークの訓練は、リサンプリングされたCT画像データの立方体を入力することと、その立方体について決定された少なくとも1つの予測された微細構造特性を、対応するグラウンドトゥルースと比較することとを含む。例えば、上記で考察したように、高解像度CT画像データの各立方体に対して少なくとも1つの微細構造特性を決定し、グラウンドトゥルース(又はグラウンドトゥルース微細構造特性)として利用することができる。したがって、リサンプリングされたCT画像データからの画像データの立方体は、少なくとも1つの対応するグラウンドトゥルース微細構造特性とともにネットワークに渡すことができる。次いで、ニューラルネットワークは、少なくとも1つの予測された微細構造特性を少なくとも1つの対応するグラウンドトゥルース微細構造特性と比較して、損失を決定することができる。
【0059】
[0062] 次いで、ニューラルネットワークは、予測とグラウンドトゥルースとの間の損失が所定の誤り率以下になるまで、構成層内(例えば、少なくとも1つの畳み込み層内)の様々なコネクションの重みを更新することができる。好ましくは、所定の誤り率は、10%以下、より好ましくは5%以下である。好ましくは、ニューラルネットワークは、ニューラルネットワークに入力されるリサンプリングされたCT画像データの各立方体が結果として所定の誤り率以下の誤り率を有するように、この方法で訓練される。
【0060】
[0063] 前述のグラウンドトゥルース微細構造特性は、ニューラルネットワークを最適化し、リサンプリングされたCT画像データ内の各立方体の構成について生理学的に一貫した及び正確な予測に達するための損失関数としての役割を果たし得る。
【0061】
[0064] したがって、ニューラルネットワークの出力は、高解像度の予測されたCT画像データ(
図2の予測されたCT画像データ206を参照されたい)及び/又は立方体ごとの少なくとも1つの予測された微細構造特性を含み得る骨の有限要素モデルであり得る。
【0062】
[0065]
図2は、臨床CT画像例202と、臨床CT画像202と位置合わせ/整列された高解像度CT画像204と、本開示と一致するニューラルネットワークによって出力された予測されたCT画像206とを含む複数のCT画像を示す。図示するように、ニューラルネットワークは、好ましくは、
図2に示すように視覚化されたときに高解像度CTスキャンと実質的に同じであり、重要なことに、少なくとも1つの予測された微細構造特性が好ましくは10%以下、より好ましくは5%以下の誤り率を有する、予測されたCT画像206を出力するように構成される。本開示は、5%以下の誤り率により、ニューラルネットワークが低解像度CT臨床画像データから骨の構造特性を正確に予測し得ることが実証されることを確認している。
【0063】
[0066] 次いで、動作110で訓練されたニューラルネットワークを使用して、新規の臨床CT画像データ、例えば訓練中に使用されなかった臨床CT画像データを使用して、非常に正確な予測されたCT画像データ(
図2を参照されたい)及び/又は予測された微細構造特性を骨の立方体単位で出力することができる。これにより、有利には、臨床CT画像データが、好ましくは骨全体の骨折分析、特に臨床CT画像の解像度を考慮すると以前には実際的でなかった、微細構造特性に作用する骨折分析に利用されることが可能になる。
【0064】
[0067] 1つの例では、本開示と一致するニューラルネットワークは、臨床CT画像データを使用して標的骨の有限要素モデルを出力するように構成され得る。有限要素モデルは、例えば、
図3に示すテンプレートメッシュ等のメッシュと、予測された微細構造特性に基づく材料/構造特性とを含み得る。
【0065】
[0068] 代わりに又は加えて、本開示と一致するニューラルネットワークを使用して、予測された微細構造特性に基づいて骨の解剖学的に対応する特徴ベクトルを出力することができ、この特徴ベクトルを使用して骨折リスクを予測することができる。
【0066】
[0069] 解剖学的に対応するとは、特徴ベクトルのエントリが、ニューラルネットワークを通過するすべての骨について同じ解剖学的位置に対応することを意味する。換言すれば、一例は、特徴ベクトルの最初のエントリが、ニューラルネットワークを通過する各骨の大腿骨頸部における骨梁厚であり得ることである。同様に、最後のエントリは、大腿骨内顆の骨梁中心距離であり得る。
【0067】
[0070] 以下では、本開示と一致する、対象固有の微細構造物理学に基づく計算モデルを自動生成する1つのプロセス例について説明する。このモデルを使用して、転倒事象を考慮した骨折の確率を表す値及び/又は骨の強度及び弾性の尺度を計算及び出力することができる。さらに後に考察するように、臨床CT画像データを使用して、高解像度CTスキャナを必要とすることなく、個体の骨折リスクを(直接)予測することができる。
【0068】
[0071] モデルから導出された微細構造情報から得られる特徴ベクトルを用いる骨折リスクの評価
[0072] 本開示と一致する機械学習アルゴリズムは、骨折の転帰データ(例えば、骨折した個体及び骨折しなかった個体のデータ)と、個体間で比較するための形質とを使用して、骨折に対する個体の素因を統計的に示唆する形質を特定することができる。
【0069】
[0073] したがって、本開示と一致する機械学習モデル/アルゴリズムに所定の標的形質を入力して、そうした所定の標的形質が機械学習訓練プロセス中に入力として利用されなかった場合でも、個体が統計的に骨折のリスクがあるか否かを評価することができる。
【0070】
[0074] 本明細書では、個体から比較可能な微細構造及び粗大構造の骨形質を自動的に抽出する方法を開示し、この方法は、アップスケーリングされ、本開示の様々な態様と一致するCT画像データを予測するために使用される臨床CT画像を使用することができる。
【0071】
[0075] これらの形質は、骨折しやすい個体をそうではない個体から区別するための、本開示と一致する機械学習アルゴリズムへの入力としての役割を果たし得る。
【0072】
[0076] その結果、それらの形質を使用して、骨折のリスクのある個体を特定することができる。
【0073】
[0077] 最初に、骨のテンプレートメッシュを決定/導出することができる。1つのそうしたテンプレートメッシュ例302を
図3に示す。
【0074】
[0078] 次に、好ましくは、ニューラルネットワーク(例えば、3D CNN)は、例えば、テンプレートメッシュの各要素位置における臨床CTスキャンから(例えば、ファブリックテンソル及び骨体積率から構成される)直交異方性弾性テンソル、平均骨梁中心距離及び平均骨梁厚(微細構造変数)を決定するように訓練される(
図4を参照されたい)。
【0075】
[0079]
図4は、1つの空間的位置例を示し、元のマイクロCT/高解像度画像データ(左)、同じ位置の臨床CT画像データ(中)及び出力された予測されたCT画像データ(右)を示す。この予測されたCT画像データを使用して、その位置の微細構造を記述する複数の尺度/特性/変数を抽出することができる。こうした変数としては、例えば、N×N行列を挙げることができ、この行列を介して直交異方性弾性テンソルの複数の変数を導出することができる。例えば、直交異方性弾性テンソルに3×3行列を使用して、合計9個の変数(3×3=9)を導出することができる。追加の変数としては、例えば、骨梁中心距離及び骨梁厚を挙げることができる。ただし、直交異方性弾性テンソルは、ファブリックテンソル及び骨体積率の両方から導出することができ、それは、骨がどのように向けられているか及び存在する骨物質の量を表し得ることに留意されたい。
【0076】
[0080] この例では、ニューラルネットワークは、
図1に関して上記で考察したように訓練することができ、したがって高解像度CT画像データから導出された付随する微細構造測定値、例えばグラウンドトゥルースの微細構造測定値を用いて訓練することができる。
【0077】
[0081] ニューラルネットワークは、関連するテンプレートメッシュの各要素に微細構造尺度/変数をマッピングすることができる。したがって、分析された各個体の要素間で解剖学的対応関係を維持することができる。要素とは、例えばモデルの立方体又は四面体等、有限要素モデルの離散的な「断片」を指す。好ましくは、有限要素モデルは、複数の立方体又は四面体を含む。
【0078】
[0082] 微細構造尺度/変数に加えて、ニューラルネットワークは、特定の標的骨にモーフィングされたときのテンプレートメッシュの各表面ノードの空間的位置(例えば、粗大構造変数)を決定するように訓練することができる。
【0079】
[0083] 微細構造変数及び粗大構造変数の両方を特徴ベクトルに平坦化することができ、その後、特徴ベクトルは、主成分分析又は一様多様体の近似及び投影等の線形及び/又は非線形技法を介して次元を削減することができる。この平坦化の一例は、‘231特許でも考察されている。
【0080】
[0084] この変数及びそれらに関連する重みの削減されたセットは、骨折リスクを決定する機械学習アルゴリズムへの入力としての役割を果たし、骨折リスクを表す値を出力することができる。
【0081】
[0085] 要約すると、本開示と一致するニューラルネットワークは、臨床CT画像データを入力として使用し、高解像度CT画像データ(例えば、マイクロCT画像データ等の非臨床CT画像データ)から導出された解剖学的に対応する微細構造尺度及び/又は粗大構造尺度を組み合わせた特徴ベクトルを出力するように訓練することができる。この特徴ベクトルを使用して、骨折リスクを決定することができる。
【0082】
[0086] 上記から、本明細書では例示の目的で具体的な例を説明したが、本明細書に記載した本開示の趣旨及び範囲から逸脱することなく、様々な変更形態がなされ得ることが理解されるであろう。したがって、本開示は、対応する請求項及びそれらの請求項によって記載される要素によるものを除いて限定されない。加えて、本開示のある態様は、ある時点である請求項の形態において提示され得るが、本発明者らは、本開示の様々な態様を任意の利用可能な請求項の形態で企図する。例えば、本開示のいくつかの態様のみが特定の時点でコンピュータ可読媒体に具現化されるものとして記載される場合があるが、他の態様も同様にそのように具現化され得る。
【国際調査報告】