(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-05
(45)【発行日】2025-03-13
(54)【発明の名称】画像分析の方法及びシステム
(51)【国際特許分類】
A61B 6/03 20060101AFI20250306BHJP
G06T 7/00 20170101ALI20250306BHJP
【FI】
A61B6/03 560J
A61B6/03 560T
G06T7/00 612
【外国語出願】
(21)【出願番号】P 2020101124
(22)【出願日】2020-06-10
【審査請求日】2023-04-26
(32)【優先日】2019-06-21
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】512062121
【氏名又は名称】カーブビーム エーアイ リミテッド
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(72)【発明者】
【氏名】ユー ペン
【審査官】佐野 浩樹
(56)【参考文献】
【文献】特表2002-523204(JP,A)
【文献】米国特許出願公開第2018/0247020(US,A1)
【文献】特開2019-033966(JP,A)
【文献】特表2007-524461(JP,A)
【文献】特表2013-504341(JP,A)
【文献】米国特許出願公開第2019/0139641(US,A1)
【文献】米国特許出願公開第2019/0027252(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00 - 5/01 、 5/055、
6/00 - 6/58 、 8/00 - 8/15 、
G06T 7/00 - 7/90 、
G06V10/00 -20/90 、30/418、40/16 、
40/20
(57)【特許請求の範囲】
【請求項1】
コンピュータに実装された画像分析を該コンピュータにて実行する方法であって、該方法は、
前記コンピュータのプロセッサにより、
被験者の医療画像からセグメント及び識別された1つ以上の特徴を定量化するステップと、
前記被験者に関する非画像データを1つ以上の非画像データ源から抽出するステップと、
前記被験者に関する前記非画像データから、臨床的に関連する特徴を抽出するステップと、
前記医療画像からセグメント及び識別された前記1つ以上の特徴及び前記非画像データから抽出された前記臨床的に関連する特徴を、訓練済み機械学習モデルをもって評価するステップと、
前記医療画像からセグメント及び識別された前記1つ以上の特徴及び前記非画像データから抽出された前記臨床的に関連する特徴の評価についての1つ以上の結果を出力するステップと、を
実行することを含み、
前記訓練済み機械学習モデルは、患者データから抽出された特徴と、疾患又は非疾患を示すラベル又はアノテーションを含む対応する正解とを使用して訓練されたモデルを含み、前記患者データは、画像データ及び/又は非画像データを含む、方法。
【請求項2】
請求項1に記載の方法において
、前記プロセッサにより:
a)前記医療画像を受信して、また、前記医療画像から1つ以上の特徴をセグメントするステップ、又は
b)前記医療画像をそこからセグメントされた1つ以上の特徴と共に受信するステップ;及び
前記医療画像からセグメントされた前記1つ以上の特徴を識別するステップを
実行することを含む、方法。
【請求項3】
請求項1又は2に記載の方法において、前記セグメント及び識別することは機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルによって実装され、該識別モデルは前記1つ以上の特徴を前記医療画像からセグメント及び識別するように構成されている、方法。
【請求項4】
請求項3に記載の方法において、前記訓練されたセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備える、方法。
【請求項5】
請求項1乃至4のいずれか1つに記載の方法において、前記訓練済み機械学習モデルは
疾患分類モデル、及び/又は深層学習ニューラルネットワーク若しくは他の機械学習アルゴリズムを備える、方法。
【請求項6】
請求項1乃至5のいずれか1つに記載の方法において、前記訓練済み機械学習モデルは、1つ以上の筋骨格疾患を診断及び/又は監視するように訓練されたモデルである、方法。
【請求項7】
請求項1乃至6のいずれか1つに記載の方法において、
前記プロセッサにて、(i)前記訓練済み機械学習モデルを訓練するステップ、及び/又は(ii)新たな又は新たに分析された、被験者データから導出された追加的ラベル付け済みデータを伴って前記訓練済み機械学習モデルを更新するステップを
実行することをさらに含む、方法。
【請求項8】
請求項1乃至7のいずれか1つに記載の方法において、前記結果は、(i)1つ以上の疾患分類;(ii)1つ以上の疾患確率;及び/又は(iii)1つ以上の骨折危険性スコアを含む、方法。
【請求項9】
請求項1乃至8のいずれか1つに記載の方法において、前記評価は骨脆弱性評価を含む、方法。
【請求項10】
画像分析システムであって、該システムは、
被験者の医療画像からセグメント及び識別された1つ以上の特徴を定量化するように構成された特徴定量化部と、
前記被験者に関する非画像データを1つ以上の非画像データ源から抽出し、また、臨床的に関連する特徴を前記被験者に関する非画像データから抽出するように構成された非画像データプロセッサと、
前記医療画像からセグメント及び識別された前記1つ以上の特徴及び前記非画像データから抽出された前記臨床的に関連する特徴を、訓練済み機械学習モデルをもって評価するように構成された特徴評価部と、
前記医療画像からセグメント及び識別された前記1つ以上の特徴及び前記非画像データから抽出された前記臨床的に関連する特徴の評価についての1つ以上の結果を出力するように構成された出力部と、を備え、
前記訓練済み機械学習モデルは、患者データから抽出された特徴と、疾患又は非疾患を示すラベル又はアノテーションを含む対応する正解とを使用して訓練されたモデルを含み、前記患者データは、画像データ及び/又は非画像データを含む、システム。
【請求項11】
請求項10に記載のシステムにおいて、前記医療画像を受信し、1つ以上の特徴を前記医療画像からセグメントし、及び前記医療画像からセグメントされた前記1つ以上の特徴を識別するように構成されたセグメンタ及び識別器をさらに備える、システム。
【請求項12】
請求項11に記載のシステムにおいて、前記セグメンタ及び識別器は、機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルを備えており、該識別モデルは前記1つ以上の特徴を前記医療画像からセグメント及び識別するように構成されている、システム。
【請求項13】
請求項12に記載のシステムにおいて、前記訓練されたセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備える、システム。
【請求項14】
請求項10乃至13のいずれか1つに記載のシステムにおいて、前記訓練済み機械学習モデルは、疾患分類モデル、及び/又は深層学習ニューラルネットワーク若しくは他の機械学習アルゴリズムを備える、システム。
【請求項15】
請求項10乃至14のいずれか1つに記載のシステムにおいて、前記訓練済み機械学習モデルは、1つ以上の筋骨格疾患を診断及び/又は監視するように訓練されたモデルである、システム。
【請求項16】
請求項10乃至15のいずれか1つに記載のシステムにおいて、新たな又は新たに分析された被験者データから導出された追加的ラベル付け済みデータを伴って前記訓練済み機械学習モデルを更新するように構成された機械学習モデル訓練器をさらに備える、システム。
【請求項17】
請求項10乃至16のいずれか1つに記載のシステムにおいて、前記結果は、(i)1つ以上の疾患分類;(ii)1つ以上の疾患確率;及び/又は(iii)1つ以上の骨折危険性スコアを含む、システム。
【請求項18】
請求項10乃至17のいずれか1つに記載のシステムにおいて、前記特徴評価部は骨脆弱性を評価するように構成されている、システム。
【請求項19】
1つ以上のコンピューティング装置によって実行されると、請求項1乃至9のいずれか1つに記載の画像分析方法を実施するように構成された命令を備えるコンピュータプログラムコード。
【請求項20】
請求項19に記載のコンピュータプログラムコードを備えるコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像分析の方法及びシステムに関するのであり、特に(例えば筋骨格の)撮像分野における疾患や状態の診断や監視等の医療撮像分野における用途に関するが、これらの応用に限られる訳ではない。興味対象領域は、そのような医療画像内における2D領域又は3D容積たり得る。可能な医療撮像用途を挙げるに、コンピュータ断層撮影(CT)、磁気共鳴(MR)、超音波、病変スキャナ撮像等が含まれる。
【0002】
本願は、米国特許出願第16/448,460号(出願日:2019年6月21日)に基づいておりまたその優先権を主張しており、出願時にかかる内容の全体は参照によって取り込まれる。
【背景技術】
【0003】
筋骨格関連疾患の発生に関連付けられる罹患率、死亡率及びコストは増加傾向にあり、その部分的な理由としては長寿化が高齢者人口比率を増加させているという点が挙げられる。筋骨格疾患早期検出により介入促進がなされ、これによって疾患進行の軽減又は悪性結果(例えば骨折)の最小化が図られ得る。
【0004】
筋骨格撮像の分野では、様々な手法を用いて筋骨格疾患を検出する。例えば、骨生検を用いて骨肉腫又は他の骨疾患を検出するのであり、組織の特性を正確に測定できる。もっとも、骨生検は侵襲的であり痛み及び傷痕をもたらし得る。
【0005】
他の手法では、筋骨格画像を分析して異常を識別又は定量化することによって筋骨格疾患を評価するのであって、画像は様々な撮像モダリティを用いて取得されるのであり、次のモダリティが含まれる:DXA(Dual-energy X-ray Absorptiometry(二重エネルギーX線吸収測定法))、CT(コンピュータ断層撮像法)、MRI(磁気共鳴断層撮像法)、及びX線スキャナ。各モダリティは(例えば、骨脆弱性、骨関節炎、リウマチ性関節炎、骨軟化症、及び骨変形等の)筋骨格疾患のスクリーニング及び評価に関して具体的な長所を有している。
【0006】
例えば、HRpQCT(High-Resolution peripheral Quantitative Computed Tomography(高解像度末梢定量的コンピュータ断層撮像法))は高解像度且つ低被爆且つ非侵襲的な手法であり、次に挙げる骨質の3大決定因子を評価するために用いられる:微細構造、石灰化状態、及び生体力学的特性。
【0007】
筋骨格疾患を評価するためには手動、準手動、及び自動型手法があり、様々な撮像モダリティを伴い得る。例えば、BMB(Bone Marrow Burden(骨髄負荷))スコアは、ゴーシェ病における骨髄の関与度を手動評価するためのMRIスコアリング法である。放射線技師等が、腰椎及び大腿骨のMRI画像に関してBMBスコアを測定するのであり、ランキング基準に従って信号強度及び分布を用いてこれをなす。例えば、ある既知のスコア体系によれば、腰椎に関してスコアは0から8の範囲で与えられ、また、大腿骨に関しては0から8の範囲で与えられ、総合スコアは0から16の範囲で与えられる。より高い合計BMBスコアは、より深刻な骨髄関与度を示す。
【0008】
DXA画像を用いて骨塩密度(BMD)を測定するに際しては、準手動型手法を用いる。DXAによって脊椎又は腰部をスキャンする。放射線技師等や医師が興味対象領域(ROI)を選択する(例えば、脊椎スキャンの異なる脊椎セクションや腰部スキャンの大腿骨頸部等)。選択された領域の骨塩密度は、予め定義された密度較正式に基づいて決定される。測定された密度値はTスコアに変換されるのであって、ピーク骨量を有する同性の若年成人集団からの測定値とそれを比較することによって該行為はなされる。≧1のTスコアは正常とみなされ;-2.5<T<-1のTスコアは骨減少症と分類され;≦-2.5のTスコアは骨粗鬆症と定義される。Tスコアは、骨折発生の危険を評価し治療を推奨すべきか否かを考査するときに、臨床医によって考慮される。
【0009】
もっとも、手動型又は準手動型の筋骨格撮像法に関する重大な関心事項は、その労働集約性と再現可能性にある。測定とその評価に付随する主観性故に、正確性及び再現可能性は保証されない。
【0010】
筋骨格画像を評価するための1つの自動型手法は、「選択された組織構造についての画像分析のための方法及びシステム」と題される特許文献1に開示されている。この方法は、手首CTスキャン等の筋骨格画像を自動的に分析及び評価する。方法は自動的に用いられることができ、手首CTスキャンから橈骨を抽出して、橈骨を微細構造(例えば、密皮質、遷移ゾーン、及び骨梁領域)にセグメントでき、皮質多孔性及び骨梁密度を定量化できる。
【0011】
既知の方法は各測定値に個別的に注目してきたが、これでは特定の筋骨格属性が有病者と無病者との判別を可能とするかについて有用な洞察を得ることができない。例えば、BMBスコアは骨髄関与度をゴーシェ病との関係でのみ評価するのであって、BMDスコアは骨塩密度関与度を骨折リスクとの関係でのみ評価し、皮質多孔性は重要な骨属性について測定をもたらすも骨微細構造については完全な情報をもたらすわけではない。
【先行技術文献】
【特許文献】
【0012】
【発明の概要】
【0013】
本発明の第1の観点によれば、コンピュータ実装画像分析方法を提供するのであって、該方法は次のステップを含む:
被験者の医療画像からセグメント及び識別された1つ以上の(例えば、構造や材質を含む)特徴を定量化するステップと、
被験者に関する非画像データを1つ以上の非画像データ源から抽出するステップと、
被験者に関する非画像データから、臨床的に関連する特徴を抽出するステップと、
医療画像からセグメントされた定量化済み特徴及び非画像データから抽出された特徴を、訓練済み機械学習モデルをもって評価するステップと、
特徴の評価についての1つ以上の結果を出力するステップ。
【0014】
したがって、機械学習アルゴリズム(例えば、深層学習アルゴリズム)をもって画像データ及び非画像データの両方から抽出された複数の特徴を組み合わせることによって、本発明は、筋骨格画像等の医療画像における疾患及び状態について診断及び監視を可能ならしめる。
【0015】
実施形態では、方法は、画像を受信することと、画像から1つ以上の特徴をセグメントすることと、画像からセグメントされた特徴を識別することとを含む。
【0016】
実施形態では、方法は、画像をそこからセグメントされた特徴と共に受信することと、画像からセグメントされた特徴を識別することとを含む。
【0017】
実施形態では、セグメント及び識別することは機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルによって実装されるのであって、該モデルは特徴を画像からセグメント及び識別するように構成されている。例を挙げるに、訓練済みセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備える。
【0018】
実施形態では、訓練済み機械学習モデルは、疾患分類モデルを備える。
【0019】
実施形態では、訓練済み機械学習モデルは、患者データから抽出された特徴及び疾患又は非疾患を示すラベル又はアノテーションを用いて訓練されたモデルを備える。
【0020】
実施形態では、訓練済み機械学習モデルは、深層学習ニューラルネットワーク又は他の機械学習アルゴリズム(サポートベクタマシン(SVM)や決定ツリーやAdaBoost等)を備える。
【0021】
実施形態では、訓練済み機械学習モデルは、1つ以上の(例えば筋骨格)疾患を診断及び/又は監視するように訓練されたモデルである。
【0022】
実施形態では、方法は、(i)訓練済み機械学習モデルを訓練するステップ、及び/又は(ii)新たな又は新たに分析された、被験者データから導出された追加的ラベル付け済みデータを伴って訓練済み機械学習モデルを(例えば継続的に)更新するステップをさらに含む。
【0023】
実施形態では、結果は1つ以上の疾患分類及び/又は確率を備える。
【0024】
実施形態では、方法は、少なくとも結果に基づいて報告を生成するステップをさらに含む。例を挙げるに、方法は、ドメイン知識データベースからの情報に追加的に基づいた報告を生成するステップを含む。
【0025】
実施形態では、評価は骨脆弱性評価を含む。
【0026】
実施形態では、結果は1つ以上の骨折危険性スコアを含む。
【0027】
本発明の第2の態様によれば、画像分析システムを提供するのであって、該システムは次のものを備える:
被験者の医療画像からセグメント及び識別された1つ以上の特徴(構造や材質)を定量化するように構成された特徴定量化部と、
被験者に関する非画像データを1つ以上の非画像データ源から抽出し、また、臨床的に関連する特徴を被験者に関する非画像データから抽出するように構成された非画像データプロセッサと、
医療画像からセグメントされた特徴及び非画像データから抽出された特徴を、訓練済み機械学習モデルをもって評価するように構成された特徴評価部と、
特徴の評価についての1つ以上の結果を出力するように構成された出力。
【0028】
実施形態では、システムは、画像を受信し1つ以上の特徴を画像からセグメントし及び画像からセグメントされた特徴を識別するように構成されたセグメンタ及び識別器をさらに備える。1つの例を挙げるに、セグメンタ及び識別器は、特徴を画像からセグメント及び識別するように構成されたセグメンテーション及び識別モデル(即ち、機械学習アルゴリズムを用いて訓練されたセグメンテーション及び識別モデル)を備える。訓練済みセグメンテーション及び識別モデルは、深層畳み込みニューラルネットワーク訓練済みモデルを備え得る。
【0029】
実施形態では、訓練済み機械学習モデルは、疾患分類モデルを備える。
【0030】
実施形態では、訓練済み機械学習モデルは、患者データから抽出された特徴及び疾患又は非疾患を示すラベル又はアノテーションを用いて訓練されたモデルを備える。
【0031】
実施形態では、訓練済み機械学習モデルは、深層学習ニューラルネットワーク又は他の機械学習アルゴリズムを備える。
【0032】
実施形態では、訓練済み機械学習モデルは、1つ以上の(例えば筋骨格)疾患を診断及び/又は監視するように訓練されたモデルである。
【0033】
実施形態では、システムは、新たな又は新たに分析された被験者データから導出された追加的ラベル付け済みデータを伴って訓練済み機械学習モデルを(例えば継続的に)更新するように構成された機械学習モデル訓練器をさらに備える。
【0034】
実施形態では、結果は1つ以上の疾患分類及び/又は確率を備える。
【0035】
実施形態では、システムは、少なくとも結果に基づいて報告を生成するように構成された報告生成器をさらに備える。例を挙げるに、報告生成器は、(例えば、システムの)ドメイン知識データベースからの情報に追加的に基づいた報告を生成するように構成されている。
【0036】
実施形態では、特徴評価部は骨脆弱性を評価するように構成されている。
【0037】
実施形態では、結果は1つ以上の骨折危険性スコアを含む。
【0038】
本発明の第2の態様によれば、1つ以上のプロセッサによって実行されると第1の態様の画像分析方法を実施するように構成された命令を備えるコンピュータプログラムコードを提供する。当該態様は、先述のようなコンピュータプログラムコードを備える(不揮発性たり得る)コンピュータ可読媒体も提供し得る。
【0039】
本発明の上述の態様の各々についての様々な個々の特徴の任意のもの、並びに、特許請求の範囲を含む本明細書にて説明した実施形態についての様々な個々の特徴の任意のものに関しては、適切且つ所望の態様で組み合わせることができる。
【図面の簡単な説明】
【0040】
本発明をより明確に確定できるようにするために、添付の図面を参照して例示的に実施形態について以下説明する。
【0041】
【
図1】本発明の実施形態による、医療画像分析システムについての概略図である。
【
図2】
図2Aは、医療画像分析システムのメモリ内に格納された例示的画像データについての概略図である。
図2Bは、
図1の医療画像分析システムのメモリ内に格納された例示的画像データについての概略図である。
【
図3】
図3Aは、
図1の医療画像分析システムのデータ未投入な非画像データ記憶部についての例についての概略図である。
図3Bは、
図1の医療画像分析システムのデータ投入済みな非画像データ記憶部についての例についての概略図である。
【
図4】骨脆弱性用途における
図1の医療画像分析システムの画像データプロセッサの動作についての概略図である。
【
図5】構造化データ及び非構造化データを含む例示的非画像データに関する
図1の医療画像分析システムの画像データプロセッサの動作についての概略図である。
【
図6】
図1の医療画像分析システムの特徴評価部の機械学習モデルのオフライン訓練についての概略図である。
【
図7】
図1の医療画像分析システムの報告生成器についての概略図である。
【
図8】
図1の医療画像分析システムの骨脆弱性用途における例示的動作を示す図であって、画像データは手首HRpQCTスキャンを含みまた非画像データは患者情報を含む、図である。
【
図9】
図1の医療画像分析システムの報告生成器によって生成された例示的報告についての概略図である。
【発明を実施するための形態】
【0042】
図1は、本発明の実施形態による、医療画像分析システム10としてもたらされた画像分析システムについての概略図である。
【0043】
図1を参照するに、システム10は、画像分析コントローラ12と、(GUI16を含む)ユーザインタフェース14とを備える。ユーザインタフェース14は、通常、1つ以上のディスプレイ(そのうちの1つ以上はGUI16を表示できる)と、キーボード及びマウスと、随意的にはプリンタとを備える。画像分析コントローラ12は、少なくとも1つのプロセッサ18とメモリ20とを含む。システム10は、例えば、コンピュータ上でソフトウェア及びハードウェアの組合せとして(例えば、パソコンやモバイルコンピューティング装置として)実装されるか、専用の画像セグメンテーションシステムとして実装されることができる。システム10は随意的には分散型とされていることができ;例えば、メモリ20の全部又は一部のコンポーネントは、プロセッサ18からリモートな場所に配置されていることができ;ユーザインタフェース14はメモリ20及び/又はプロセッサ18からリモートな所に配置されていることができ、実際にはそれはウェブブラウザ及びモバイル機器アプリケーションを備え得る。
【0044】
メモリ20はプロセッサ18とデータ通信を行えるのであり、また、典型的には揮発性及び不揮発性メモリの両方を備えるのであり(また、各メモリタイプについて1つ以上のものを含み得るのであり)、RAM(ランダムアクセスメモリ)、ROM、及び1つ以上のマスストレージ装置が含まれる。
【0045】
より詳しく後述するように、プロセッサ18は、(セグメンタ及び識別器24並びに特徴特徴定量化部25を含む)画像データプロセッサ22と、非画像データプロセッサ26と、(前例比較器29を含む)特徴評価部28と、機械学習モデル訓練器30と、報告生成器32と、I/Oインタフェース34と、結果出力36たる結果部とを含む。メモリ20は、プログラムコード38、画像データ40、非画像データ42、訓練データ44、訓練済み機械学習モデル46、及びドメイン知識48を含む。画像分析コントローラ12は少なくとも部分的には、メモリ20からプログラムコード38を実行しているプロセッサ18によって、実装されている。
【0046】
大局的に述べるに、I/Oインタフェース34は、被検物又は患者に関する画像データ及び非画像データ(例えばDICOM形式)をメモリ20の画像データ40及び非画像データ42内へと読み込むか受信するように構成されている。画像データプロセッサ22はセグメンタ及び識別器24と特徴定量化部25とを用いて特徴を画像データからセグメント(即ち抽出)及び定量化し、非画像データプロセッサ26は非画像データから特徴を抽出し、特徴評価部28は1つ以上の機械学習モデル46を伴って特徴を処理し、そして、I/Oインタフェース34は分析の結果を例えば結果出力36及び/又はGUI16へと出力する。
【0047】
システム10は、人工知能(例えば深層ニューラルネットワーク)、他の機械学習アルゴリズム及びコンピュータビジョンアルゴリズムを用いて、特徴抽出及び画像特徴定量化を正確且つ再現可能に自動化するのであって筋骨格画像分析において特に有用となる。結果は、筋骨格疾患の患部特定や筋骨格疾患の診断や疾患進行の監視に活用するために適切なものと以後なろう。
【0048】
図1を参照するに、システム10は、次の2タイプの被験物又は患者データを受信するように構成されている:画像データ(例えば1つ以上の撮像モダリティを用いて1つ以上の部位箇所で取得された医療画像)及び非画像データ(病歴データや問診データ等の構造化患者データ並びに医師のメモや音声記録等の非構造化患者データ)。システム10はこれらのデータをそれぞれ画像データ40及び非画像データ42に格納する。非画像データの様々なデータ形式及び構造が、非画像データプロセッサ26の挙動を左右する。
【0049】
画像データプロセッサ22は次の2つのコンポーネントを備える:セグメンテーション及び識別を行うように構成されたセグメンタ及び識別器24、並びに、特徴定量化を行うように構成された特徴定量化部25。画像データ40は画像データプロセッサ22によって処理され、セグメンタ及び識別器24を用いて臨床的に関連する構造、特徴又は材質を自動的にセグメント及び識別するのであり、この実施形態では被験者又は患者の医療画像からセグメント及び識別がなされるのであり、そして、特徴定量化部25はセグメント及び識別がなされた臨床的に関連する構造、特徴、材質、又はそれらの組合せに関して定量化を行う。もっとも、一部の実施形態では、既にセグメントされた画像を受信するようにシステム10は構成されていることができるということに留意されたいのであり(なお、随意的にはセグメント済みの特徴を既に識別しておくことも可。)、セグメンタ及び識別器24を省いたりその使用を省いたりできる。
【0050】
この実施形態では、セグメンテーション及び識別は、従来的な画像処理方法(即ち、非機械学習型)によって実装されるのであって、例えば閾値化や輪郭検出やブロブ検出や米国特許第9,064,320号(題名:「選択された組織構造についての画像分析のための方法及びシステム」)が挙げられる。
【0051】
もっとも、幾つかの他の実施形態では、セグメンタ及び識別器24は、機械学習アルゴリズムで訓練されたセグメンテーション及び識別モデルを備えることができ、これは画像から興味対象の構造や特徴をセグメント及び識別するように構成されていることができる。例えば、骨脆弱性用途においては、深層畳み込みニューラルネットワークを用いて訓練されたそのようなモデルは、手首HRpQCTスキャンから橈骨をセグメント及び識別するために用いられ得る。訓練データは、橈骨や尺骨や周囲組織のヴォクセルを区別するアノテーション済み手首HRpQCTスキャンとすることができる。
【0052】
非画像データは非画像データプロセッサ26によって処理され、非画像データから臨床的に関連する特徴が抽出される。
【0053】
画像データ及び非画像データの双方から取得された定量的特徴は、特徴評価部28によって機械学習モデル46内へと入力される。機械学習モデル46は、ラベル付けされた訓練データ、即ち機械学習に関しての正解となるアノテーションを伴って予め訓練される。例えば、骨セグメンテーションモデルを訓練するためには、訓練データは典型的には元画像とそれに対応する正解画像とを備えるのであり、即ち骨がアノテーションされた画像を伴う。疾患分類モデルを訓練するためには、訓練データは典型的には患者データから抽出された特徴とそれに対応する正解画像とを備えるのであり、これは疾患又は非疾患を示すラベル/アノテーションである。(「ラベル」及び「アノテーション」との用語は本質的には可換であるも、「ラベル」は一般的には疾患や状態に関して用いられるものであり、「アノテーション」は一般的には画像セグメンテーション/識別機械学習モデルに関して用いられる。)
【0054】
この実施形態では、プロセッサ18は機械学習モデル訓練器30を含むのであって、該訓練器は(新たな被験者データを含み得る)訓練データ44を用いて機械学習モデル46を訓練(及び後述のように機械学習モデル46を再訓練又は更新訓練)するように構成されている。もっとも、他の実施形態では、機械学習訓練器30は、機械学習モデル46を再訓練又は更新訓練するためだけに構成或いは用いられることができる。
【0055】
(画像データ及び非画像データの双方からの特徴を用いる)様々な機械学習アルゴリズムを用いてこの実施形態で用いられる機械学習モデル46を訓練して筋骨格疾患等について診断及び監視でき、例えば(好まれる)深層学習ニューラルネットワーク又はサポートベクタマシン(SVM)や決定ツリーやAdaBoost等の他の機械学習アルゴリズムを伴い得る。
【0056】
1つの実施形態では、予め訓練された機械学習モデル46は、新たに分析された患者データから導出された追加的ラベル付け済みデータを伴って継続的に更新される。
【0057】
したがって、特徴評価部28は機械学習モデル46を用いて特徴を評価及び査定するのであり、そしてまた、(例えば、分類や確率といった形式で)結果を報告生成器32へと出力する。報告生成器32は、これらの結果に基づいて報告を生成する。また、報告生成器32は、ドメイン知識48から追加情報を取得でき、該情報を結果と組み合わせることができるのであって、両方が報告にて提示され得る。
【0058】
例えば、骨脆弱性評価用途の実施形態では、特徴評価部28は、機械学習モデル46を用いて、骨折危険性スコアを含む結果を出力し得る。報告生成器32は、このスコアによって示される情報をドメイン知識48から取得するように構成されていることができ、該情報は例えばスコアの解釈を支援するものとされ得る。そして、報告生成器32は、スコア及び情報の両方を報告内において提示し得る。
【0059】
終局的な報告は結果出力36及び/又はユーザインタフェース14を介して出力される。
【0060】
図2A及び2Bは、画像データ40内に格納された例示的画像データについての概略図である。画像データは被験者又は患者についての臨床的に関連性を有する医療画像を含み、典型的には1つ以上の撮像モダリティを用いて1つ以上の部位的箇所にて取得された画像が対象とされる。
【0061】
例えば、骨脆弱性に関する例においては、
図2Aに示すように、入力画像データは手首HRpQCTスキャン50を伴い得る。別の例では、周辺骨格及び中心骨格の両方を分析することが望まれ得るのであり、
図2Bに示すように、入力画像データは、手首HRpQCTスキャン50、脚部HRpQCTスキャン52、脊椎DXAスキャン54、及び腰部DXAスキャン56を含み得る(また、骨髄情報が随意的に統合されているのであれば、腰部MRIスキャン58も)。
【0062】
図3A及び3Bは、それぞれ、データ未投入及びデータ投入済みな非画像データについての例についての概略図である。 システム10によって受信され非画像データ42内にて格納された非画像データは、筋骨格疾患を示し得る有用なデータを相当量内包している場合がある。
図3Aに示すように、非画像データは様々な構造化及び非構造化データ源からの患者情報を含み得るのであり、これらは、例えば被験者又は患者の診察や治療時に収集される。構造化データは、例えば性別、年齢、体重、身長等の被験者基礎情報や、(例えば血液検査結果やDNA検査結果等の)臨床検査結果や、(例えば薬物タイプや投与量等の)治療データや、(例えば喫煙歴や飲酒歴や骨折歴等の)問診データ等を含み得る。非構造化データは、臨床検査結果のテキストドキュメントや医師のメモや放射線報告等を含み得る。
【0063】
図3Aに示すように、非画像データ42内の非画像データは次のような様々な形式を有していることができる:構造化された動画62、テキスト64、数値66、及び/若しくは音声68、並びに、非構造化とされる動画72、テキスト74、数値76及び/若しくは音声78。
図3Bは例示的局面を示すのであり、非画像データは次のようなものを含む:病歴データや問診データ80の形式での構造化テキスト64、患者測定値82の形式での構造化数値66、患者の歩行動画84の形式での非構造化動画72、医師メモの形式での非構造化テキスト74、及び患者録取88の形式での非構造化音声78。
【0064】
非画像データプロセッサ26は、非画像データを処理するに際して、異なるデータ処理手法及び特徴抽出手法を持つように構成されており且つそれらを用いるものとされており、各場合においてデータの各部分の構造及び形式に則する。
【0065】
図4は、骨脆弱性用における画像データプロセッサ22の動作についての概略的提示90である。この例では、予め訓練済みの深層ニューラルネットワークモデルを用いて、橈骨を、手首HRpQCTスキャンから識別及びセグメント92している。そして、橈骨はセグメンタ及び識別器24によって、密皮質94、遷移ゾーン96、及び骨梁領域98にセグメント及び識別される。次に、特徴定量化部25によって、異なる構造及び構造の組み合わせの属性が次のような特徴へと定量化される:vBMD(橈骨全体の容量骨塩密度)102、皮質多孔性(骨容積内における細孔の百分率)104、遷移領域vBMD(遷移領域の容量骨塩密度)106、骨梁領域vBMD(骨梁領域の容量骨塩密度)108、マトリクス石灰化レベル(石灰化材質の平均百分率)110、髄質過脂肪状態(骨梁領域における髄質脂肪の密度)112、皮質厚み(密皮質の平均厚み)114、及び骨梁組織分離(骨梁組織の平均分離距離)116。これらの特徴は骨脆弱性及び骨折危険性を示すと証明されているが故に選ばれた。他の用途では、興味対象状態に関連する特徴を同様に選択する。
【0066】
図5は、非画像データプロセッサ26の構造化及び非構造化データを含む例示的非画像データ42に対しての動作についての概略的提示120である。非画像データプロセッサ26は非画像データから特徴を抽出するのであり、様々なツールがそれぞれ異なる構造及び形式の非画像データのタイプを抽出することに関して適合化されている。
【0067】
典型的には、構造化データ122は、データベーステーブルや.jsonファイルや.xmlファイルや.csvファイル等の構造化データ記憶内にて格納及び維持されている。非画像データプロセッサ26は、構造化データから特徴を抽出するのであって、必要とされるパラメータ及び属性をデータ源からクエリ124することによってこれをなし、それによって構造化データ源から興味対象情報を抽出する。一部の場合においては、構造化データはそれ自体完全であり且つ興味対象とされていることができ、クエリ不要とされ得る。
【0068】
非構造化データ126は医師メモや音声記録やグラフィカル報告等を含み得るのであり、故に、抽出前に、非画像データプロセッサ26は典型的には、非構造化データ126を構造化データに変換し得る。非画像データプロセッサ26によって用いられる変換手法は、非構造化データ源又はタイプの各々に固有なものである。例えば、医師メモを構造化データに変換するためには、非画像データプロセッサ26は、訓練済みな光学式文字読み取り(OCR)を含めるか用いる及び活用することによって、メモを、システム10によって認識可能なテキストに変換128することができる。そして、非画像データプロセッサ26は、テキストに対して(「骨折」や「痛み」や「転倒」等のキーワードを用いて)構文解析を行う。
【0069】
別の例を挙げるに、非画像データプロセッサ26は、訓練済みな音声認識モデルを含めるか用いることによって、面談での音声記録を、システム10によって認識可能なテキストに変換128することができる。そして、非画像データプロセッサ26は、元の問診設問を参照することによって、変換済みテキストを構造化データにセグメント及び整理する。
【0070】
別の例示的実施形態では、例えば、歩様に関してのパターンが骨折危険性と関連していると研究で示されているため、非画像データは動画を含むものとされ得る。非画像データプロセッサ26は、動画を処理してそこから歩様特徴を抽出する。
【0071】
一旦構造化データに変換128されたらば、非画像データプロセッサ26は、(従前は非構造化データであった)構造化されたデータから特徴を抽出するのであって、データ源から必要なパラメータ及び属性をクエリ124することによってこれをなす。もっとも、上述のように、現時点で構造化されたデータがそれ自体で完結しており且つ興味対象に含まれる場合、クエリすることは要さない。歩行動画の上記例では、動画を(構造化データを構成する)歩様特徴に変換した後、そのようなクエリ124は不要である。
【0072】
究極的には、非画像データプロセッサ26は、性別132、年齢134、喫煙歴136、骨折歴138、治療歴140及び歩様142等の特徴130を、抽出する。
【0073】
図6は、機械学習モデル46内のモデルの(オフライン)訓練についての概略的提示144である。第1に、S146では、訓練データにアクセスするか訓練データ44のデータベースから処理のために選択する。訓練データは、被験者画像データ及び/又は被験者非画像データを含み得る。様々な属性を有するデータを訓練のために選択してターゲット母集団を表す。上述の手法を用いて、訓練データに関しては次のようになす:S148で特徴の抽出;S150で抽出済み特徴の定量化。そして、訓練データは定量的特徴のセットを有することとなる。
【0074】
S152では、(人間のオペレータによって)訓練データにアノテーションが施されて正しい診断結果が付される。S154では、抽出済み特徴で表されている訓練データを診断ラベルと組み合わせて、機械学習モデル訓練器30の1つ以上の機械学習アルゴリズムへと投入して1つ以上のモデルを訓練する。モデルの訓練に適しているものとしては様々な機械学習アルゴリズムが挙げられることに留意されたい。ブラックボックスアルゴリズム(例えば、ニューラルネットワーク)とすることができ、決定プロセスが人知の範囲を超えているものとなり得る。代替的には、ホワイトボックスアルゴリズム(例えば、決定ツリー、サポートベクターマシン、又は線形判別式分析)とすることもでき、人間がモデルの決定プロセスを解釈できるものとなり得る。また、ホワイトボックスアルゴリズムとブラックボックスアルゴリズムとを組み合わせるハイブリッドアルゴリズムとすることもできる。
【0075】
S156では、現時点で訓練済みなモデルは、使用のために展開され、典型的には機械学習モデル46内に格納されることとなる。
【0076】
使用に際しては、新たな患者データから抽出された特徴は現時点で訓練済みとなった機械学習モデル46内へと投入される。上述のように、機械学習モデル46は特徴を評価して1つ以上の結果を出力する。結果は、2進法てきな分類、スコア、又は確率とし得る。一部の実施形態では、(随意的ステップたるS158で)新たな患者データを訓練データ44に追加して、モデル46の再訓練又は更新に用いることができる。
【0077】
モデルの訓練及びその有用性はドメイン固有である。したがって、結果的に得られる各々の機械学習モデル46も同様となる。各モデル46は、データ及びターゲット条件(例えば、骨脆弱性や骨粗鬆症等の疾患や特定の細菌性感染等の感染)に依存する。1つの実施形態では、モデル46の1つを訓練して、1つ以上の疾患又は状態を診断するために用いられるのであって、1つ以上の疾患確率スコアを生成することによってこれをなす。別の実施形態では、複数のモデル46を訓練してそれぞれの疾患を診断するために用いることができる。同様に、別の実施形態では、モデル46の1つを、1つ以上の症状(例えば骨折)の発現の可能性の予測を生成するように訓練でき、又は、複数のモデル46を訓練して、それぞれの症状の発現の可能性についてのそれぞれの予測を生成するために用いることができる。
【0078】
図7は報告生成器32についての概略図であり、これは、機械学習モデル46から取得された結果162に少なくとも基づいて報告を生成する。報告生成器32は、報告生成に際して、ドメイン知識48内に格納されている情報を用いることができる。この情報には、特徴評価部28によって出力された結果を解釈するに際して医師に役立ち得る情報が含まれ得る(例えば、診断及び治療に関するガイドライン)。例えば、骨折評価にシステム10を応用する場合、骨折危険性の異なるレベルに関する治療ガイドラインを医師に提示できる。そして、報告は、特徴評価部28によって生成された複数の結果(被験者又は患者の骨について特徴付けるものであって例えば脆弱性スコアや多孔性スコアや骨梁スコア等)と、それらのスコアの解釈及び治療の選択に役立つ情報とを両方含み得る。
【0079】
この情報は、随意的には、比較可能なスコアを有する以前の(1つ以上の)被験者又は患者のコホートの診断、及び/又は、そのコホートに処方された治療又は療法を含み得る。実際に、幾つかの実施形態では、特徴評価部28は随意的な前例比較器29を含むのであって、これは、機械学習モデル46によって生成された結果(特に、スコア等の数値的結果)とドメイン知識48からのそのような情報とを比較し、(被験者が疾患を有している可能性又はそれぞれの可能性を割り当てることによって)診断及びその比較に基づいた治療/療法推奨案を自動的に形成し、これらを報告生成器32に出力して報告にこれらが含まれるようにするように構成されている。
【0080】
報告は、疾患進行監視及び治療有効性の結果をも含み得る。例えば、被験者又は患者の骨折危険性がフォローアップ検査で減少したものと認められた場合には、治療が奏功したと看做され得る。
【0081】
報告は、類似又は反対の事例を表示することもできる。医療従事者の予後評価及び治療決定に関しては、類似の又は反対の事例を示すことは、有用たり得る。類似の又は反対の事例を提示すると、未熟なユーザを訓練するのに役立ったり、モデル46から生成された結果をユーザが確認することに役立ったりする。また、類似の又は反対の事例を研究することによって、異なる治療選択肢に対して過去の被験者又は患者がどのように反応したかについて知見を得ることができ、現患者に対しての治療の有効性(又は提案治療の推定される有効性)について医療従事者が評価できることになる。
【0082】
これらの結果及び情報の全てが報告生成器32によって報告166に含められるのであって、報告生成器32が報告166を(結果出力36を介して)ユーザインタフェース14(例えば、ウェブブラウザ、PCアプリケーション、又はモバイル機器アプリ等)へとユーザ閲覧のために配信する。
【0083】
図8は骨脆弱性用途におけるシステム10の例示的実施形態について示す。画像データは手首HRpQCTスキャン172を含み、非画像データは患者基礎情報174を含む。
図8に示すように、セグメンタ及び識別器24は(訓練済みセグメンテーション及び識別モデル46を用いて、)橈骨を識別及び抽出176してそれを構造(密皮質、遷移ゾーン、及び骨梁領域)にセグメント178する。この構造的セグメンテーションに基づいて、特徴定量化部25は、皮質多孔性180及び骨梁密度182を決定する。
【0084】
非画像データプロセッサ26は、クエリを用いて、非画像データの基礎患者情報174から性別186及び年齢188を抽出する。特徴評価部28は、4つの特徴たる皮質多孔性180、骨梁密度182、性別186及び年齢188を受信する。特徴評価部28は、(この例では骨崩壊モデルとして)別の訓練済みモデル46''を用いて、先述の4つの特徴180,182,186,188を評価することによって、構造的脆弱性スコア190を生成する。代替的には、骨崩壊モデル46'はZebazeら(“Increased Cortical Porosity and Reduced Trabecular Density Are Not Necessarily Synonymous With Bone Loss and Microstructural Deterioration”(「増大した皮質多孔性及び減少した骨梁密度は必ずしも骨減少及び微細構造劣化と同義ではない」)(JBMR Plus (2018)))によって説明されるアルゴリズム等を用いて訓練されることができる。ここで、訓練データ44は先述の4つの特徴180,182,186,188を表しており、正しい骨脆弱性診断を伴ってアノテーション済みとなっている。
【0085】
脆弱性スコア190及び他の情報は報告生成器32によって用いられて報告166を生成するのであり、これは終局的にはユーザインタフェース14(この例の場合においてはウェブブラウザ)へ出力される。
【0086】
図9は、システム10の報告生成器32によって生成された例示的報告200を示す。報告200は複数の欄を含み、次の通りである:被験者/患者詳細事項欄202、骨容積分率マップ欄204、スコア欄206及びスコアグラフ欄208。被験者/患者詳細事項欄202は典型的には、書誌的事項(例えば、氏名、生年月日、性別及び年齢)、医師の氏名(又は複数人の医師の氏名)、データ取得日、及びデータ処理日(なお、当該日が報告200の日付にもなる)。
【0087】
骨容積分率マップ欄204は、この例では患者の橈骨骨容積についての偽色3D再構築例210と、対応する参照例としての(典型的には健康な)橈骨容積についての偽色3D再構築例212と、偽色凡例214とを含む。(なお、
図9の色彩はグレイスケールで再現されていることに留意されたい。)偽色は「骨容積分率」を表すために用いられており、これはサンプルの単位容積辺りの石灰化した骨の容積である。報告200は、再構築例210,212を隣接して提示することによって医療従事者が(この例では骨減少の)程度及び分布を容易に評価できるようする。
【0088】
スコア欄206は特徴評価部28によって生成されたスコアを含む。この例では、これらのスコアは脆弱性スコア216、多孔性スコア218及び骨梁スコア220であり、百分率で示されている。脆弱性スコア216は、併存している皮質及び骨梁の崩壊度合いを示す。多孔性スコア218は、骨皮質の多孔性の度合いを示す。骨梁スコア220は、骨梁領域の密度を示すスコアである。
【0089】
随意的には、これらのスコア216,218,220は、図式的に各バー222,224,226上で表されることができ、例えばスコアはスライダー228,230,232として表され得る。この例では、各バーに3つの値がラベル付けされる:バーの両端のスコアを示す下方値及び上方値、並びに、減少リスク及び増大リスク(又は正常及び異常)の範囲の間の分水嶺を示す第3の値。例えば、示された例の脆弱性スコア216に関するバー222では、それぞれは、20%、90%及び70%である。示された例の多孔性スコア218に関するバー224ではそれぞれは20%、60%及び46%であり、また、示された例の骨梁スコア220に関するバー226ではそれぞれは0%、10%及び2%である。
【0090】
これらの3つの値(下方値、上方値、及び減少リスクと増大リスクとの間の分断値)は、例えば訓練データ44又はドメイン知識48内に含まれる前例データから決定される。代替的には、システム10が1つ以上の外部データベースにアクセスして全部又は一部の前例データを得ることができる。
【0091】
随意的にはバー222,224,226は色塗りされたりシェーディングされたりすることができ、これによって減少リスク234及び増大リスク236の領域を示すことができ、これによってそれぞれのスライダー228,230,232(そしてそれ故にスコア216,218,220)が、高リスク又は低リスク被験者に関連付けられている前例データに、対応しているかを即時的且つ視覚的に明らかとすることができる。
図9では、より高濃度のシェーディングを用いてより高いリスクの領域を示している。
【0092】
したがって、スコア欄206にて報告200は次のスコアをもたらす:脆弱性スコア216として75%(増大リスクを示す);多孔性スコアとして37%(減少リスクを示す);及び骨梁スコアとして1%(増大リスクを示す)。これらのスコアは単体でも組合せでも診断を構成はしない。なぜならば、これらは特定の疾患又は苦痛を識別しないからである。もっとも、これらは症状について有益な兆候及びそれらの症状がどの程度顕著であるかの情報をユーザに知らせる。
【0093】
スコアグラフ欄208は、脆弱性スコア(FS((%)))、多孔性スコア(PS((%)))、及び骨梁スコア(TS((%))についてのプロット240,242,244を提示するのであって、それぞれは時間Tの経過に合わせて変遷する。図示の例では時間軸の分割は典型的には1~2日程であるが、一般的には、各分割はスキャン間の時間を表す(つまり、単一のグラフ内の分割は必ずしも一定の時間差を表さないということもいえる。)。
図9では、プロット240,242,244は、先ずスコア欄206のスコアを示し、各事例に関しては一連のフォローアップ診察で得られたスコアがそれに続く。それによって、プロット240,242,244は医療従事者が被験者に起きている変化を迅速に評価できるようするのであって、ここでいう変化は突発的な変化や治療に応答しての変化やその他の変化を含む。
【0094】
当業者ならば、本発明の範疇から逸脱せずに多くの変更を加えることができることを悟るはずであり、特に、本発明の実施形態の特定の特徴を用いてさらなる実施形態をもたらし得ることに留意されたい。
【0095】
仮に、先行技術についての参照が本明細書中にあったとしても、そのような参照は、任意の国においてその先行技術が周知技術の一部をなすとの自白を形成しないことに留意されたい。
【0096】
添付の特許請求の範囲及び先述の発明の詳細な説明においては、明文又は必然的黙示によって文脈が別段の解釈を要求しない限り、「備える」との用語や「備える」(三人称単数現在形)や「備えている」等の用語は包括的な意味合いで(即ち、宣言された特徴の存在を指定する意味で)用いられておるが、本発明の様々な実施形態にさらなる特徴が存在していたり追加されていたりすることを阻却するものではない。
【符号の説明】
【0097】
12 画像分析コントローラ
14 ユーザインタフェース
16 GUI
18 プロセッサ
20 メモリ
40 画像データ記憶部
44 訓練データ
48 領域知識
200 報告