(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-02
(45)【発行日】2024-02-13
(54)【発明の名称】病変特性を自動的に推定するための光音響画像分析の方法およびシステム
(51)【国際特許分類】
A61B 8/13 20060101AFI20240205BHJP
G16H 30/00 20180101ALI20240205BHJP
【FI】
A61B8/13
G16H30/00
(21)【出願番号】P 2021517836
(86)(22)【出願日】2019-09-26
(86)【国際出願番号】 US2019053087
(87)【国際公開番号】W WO2020076509
(87)【国際公開日】2020-04-16
【審査請求日】2021-03-30
【審判番号】
【審判請求日】2022-12-22
(32)【優先日】2019-06-19
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2018-10-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514092515
【氏名又は名称】セノ メディカル インストルメンツ,インク.
(74)【代理人】
【識別番号】100120031
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【氏名又は名称】赤岡 明
(74)【代理人】
【識別番号】100124372
【氏名又は名称】山ノ井 傑
(72)【発明者】
【氏名】ブライアン、クリングマン
(72)【発明者】
【氏名】サンドラ、ジー.ダイクス
【合議体】
【審判長】石井 哲
【審判官】伊藤 幸仙
【審判官】▲高▼見 重雄
(56)【参考文献】
【文献】特表2016-515019(JP,A)
【文献】特開2012-226745(JP,A)
【文献】特開2011-248636(JP,A)
【文献】国際公開第2018/031919(WO,A1)
【文献】特表2019-526869(JP,A)
【文献】国際公開第2018/119452(WO,A2)
【文献】特表2017-526199(JP,A)
【文献】米国特許出願公開第2020/0113505(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
光音響分類予測を実行するための方法であって、
1つまたは複数のプロセッサを、
対象のボリュームについての患者の検査から収集されたOA画像に関連してOA特徴スコアを受信することであって、前記対象のボリュームは病変を含む、受信することと、
前記病変の特性を示す予測結果を取得するよう、前記OA特徴スコアを分類モデルに適用することであって、前記分類モデルは、予測機械学習(PML)分類子と、データセットの病変のOA特徴スコアおよび悪性または良性のラベルを含むラベル付きデータセットと、を利用して構築された、適用することと、
前記予測結果を出力することであって、前記予測結果は、i)前記病変が悪性クラスまたは良性クラスにある可能性を示
す予測結果、および/または、ii)前記病変が前記悪性クラスまたは良性クラスである悪性腫瘍の可能性(LOM)指定子である、出力すること、
に関連して利用することを備え
、
前記適用は、前記OA特徴スコアを分類モデルのアンサンブルに適用することを備え、前記分類モデルの少なくとも一部は、対応する前記予測結果を出力し、前記方法はさらに、前記病変が悪性クラスにある可能性を示す複合予測結果を形成するよう、前記予測結果を組み合わせることを備える、
方法。
【請求項2】
前記対象のボリュームについての前記患者の検査から収集された非OA画像に関連して非OA特徴スコアを受信することと、前記予測結果を取得するよう、前記非OA特徴スコアを、前記OA特徴スコアと組み合わせて前記分類モデルに適用することと、をさらに備える、請求項1に記載の方法。
【請求項3】
非OA特徴スコアは、次の超音波特徴、すなわち、1)US形状スコア、2)US内部テクスチャ、3)US音響透過、4)US被膜または境界ゾーン、5)US末梢ゾーン、6)患者の年齢、7)マンモグラム-BIRADS、8)病変サイズ、または、9)病変後部深さ、の1つまたは複数に関連する、請求項1に記載の方法。
【請求項4】
前記LOM指定子は、平均信頼区間を表し、前記予測結果はさらに、信頼区間範囲を備える、請求項1に記載の方法。
【請求項5】
前記分類モデルは、決定点、分岐、および病変特性を備えるデシジョンツリーを表し、前記
適用は、前記決定点での前記OA特徴スコアをテストすることと、前記病変特性の1つに到達するまで、前記テストに基づいて前記デシジョンツリーを分岐することと、を備える、請求項4に記載の方法。
【請求項6】
光音響(OA)分類予測に関連して分類モデルを構築するための方法であって、
1つまたは複数のプロセッサを、
複数の患者のラベル付きデータセットを受信することであって、前記ラベル付きデータセットは、前記複数の患者の検査からの対象のボリュームのOA画像の病変のOA特徴スコアを含み、前記ラベル付きデータセットは、前記病変が良性クラスまたは悪性クラスのいずれかを示すクラス指定子を含む、受信することと、
前記ラベル付きデータセットに基づいて分類モデルのアンサンブルを構築するよう、予測機械学習(PML)分類子を利用することであって、前記分類モデルの各々は、病変が悪性クラスまたは良性クラスであることの可能性を示す予測結果を含む、利用することと、
前記病変が良性クラスまたは悪性クラスにある可能性を示す複合予測結果を形成するよう、前記予測結果を組み合わせることと、
に関連して利用することを備える方法。
【請求項7】
前記ラベル付きデータセットは、i)前記複数の患者の検査からのOA画像の前記OA特徴スコア、ii)前記OA特徴スコアで決定および記録された前記クラス指定子、および、iii)前記複数の患者の検査からの非OA画像の非OA特徴スコアの組み合わせを含む、請求項
6に記載の方法。
【請求項8】
前記PML分類子は、分類および回帰ツリー(CART)、C4.5デシジョンツリー、K最近傍法、サポートベクターマシン(SVM)、ならびにナイーブベイズ分類子の1つまたは複数を含む、請求項
6に記載の方法。
【請求項9】
前記PML分類子は、前記分類モデルに対応するデシジョンツリーのアンサンブルを形成するよう、ランダムフォレストアルゴリズムを利用する、請求項
6に記載の方法。
【請求項10】
前記PML分類子は、前記分類モデルを形成するよう、極端な勾配ブースティングアルゴリズムを利用する、請求項
6に記載の方法。
【請求項11】
極端な勾配ブースティングアルゴリズムは、前記分類モデルを形成するよう、分類および回帰ツリー(CART)デシジョンツリーと組み合わせて使用される、請求項
6に記載の方法。
【請求項12】
前記分類モデルは、決定点、分岐、および病変特性を備えるデシジョンツリーを表す、請求項
6に記載の方法。
【請求項13】
光音響分類予測を実行するためのシステムであって、
プログラム命令を格納するように構成されたメモリと、
前記プログラム命令を実行するとき、
対象のボリュームについての患者の検査から収集されたOA画像に関連してOA特徴スコアを受信し、前記対象のボリュームが病変を含み、
前記病変が悪性クラスまたは良性クラスにある可能性を示す予測結果を取得するよう、前記OA特徴スコアを分類モデルに適用し、前記分類モデルは、予測機械学習(PML)分類子と、データセットの病変のOA特徴スコアおよび悪性または良性のラベルを含むラベル付きデータセットと、を利用して構築され、
前記予測結果を出力することであって、前記予測結果は、i)前記病変が悪性クラスまたは良性クラスにある可能性を示
す予測結果、および/または、ii)前記病変が前記悪性クラスまたは良性クラスである悪性腫瘍の可能性(LOM)指定子である、出力する、
ように構成された1つまたは複数のプロセッサと
を備え、
前記1つまたは複数のプロセッサはさらに、前記OA特徴スコアを分類モデルのアンサンブルに適用するよう構成され、前記分類モデルの少なくとも一部は、対応する前記予測結果を出力し、前記プロセッサはさらに、前記病変が前記悪性クラスにある前記可能性を示す複合予測結果を形成するよう、前記予測結果を組み合わせるように構成される、
システム。
【請求項14】
前記1つまたは複数のプロセッサはさらに、対象の前記ボリュームについての前記患者の検査から収集された非OA画像に関連して非OA特徴スコアを受信し、前記予測結果を取得するよう、前記非OA特徴スコアを、前記OA特徴スコアと組み合わせて前記分類モデル適用するように構成された、請求項
13に記載のシステム。
【請求項15】
前記予測結果は、前記病変が前記悪性クラスまたは良性クラスにあるという悪性腫瘍の可能性(LOM)指定子を備える、請求項
13に記載のシステム。
【請求項16】
LOM指定子は、平均信頼区間を表し、前記予測結果はさらに、信頼区間範囲を備える、請求項
13に記載のシステム。
【請求項17】
前記分類モデルは、決定点、分岐、および病変特性を備えるデシジョンツリーを表し、前記
適用は、前記決定点での前記OA特徴スコアをテストすることと、前記病変特性の1つに到達するまで、前記テストに基づいて前記デシジョンツリーを通じて分岐することと、を備える、請求項
13に記載のシステム。
【請求項18】
光音響(OA)分類予測に関連して分類モデルを構築するためのシステムであって、前記システムは、
プログラム命令を格納するように構成されたメモリと、
前記プログラム命令を実行するとき、または
複数の患者のラベル付きデータセットを受信し、前記ラベル付きデータセットは、前記複数の患者の検査からの対象のボリュームのOA画像の病変のOA特徴スコアを含み、前記ラベル付きデータセットは、前記病変が良性クラスまたは悪性クラスのいずれかを示すクラス指定子を含み、
前記ラベル付きデータセットに基づいて分類モデルのアンサンブルを構築するよう、予測機械学習(PML)分類子を利用し、前記分類モデルの各々は、病変が悪性クラスまたは良性クラスであることの可能性を示す予測結果を含み、
前記病変が良性クラスまたは悪性クラスにある可能性を示す複合予測結果を形成するよう、前記予測結果を組み合わせる、
ように構成された1つまたは複数のプロセッサと、
を備えるシステム。
【請求項19】
前記ラベル付きデータセットは、i)前記複数の患者の検査からのOA画像の前記OA特徴スコア、ii)前記OA特徴スコアで決定および記録された前記クラス指定子、および、iii)前記複数の患者の検査からの非OA画像の非OA特徴スコアの組み合わせを含む、請求項
18に記載のシステム。
【請求項20】
前記PML分類子は、分類および回帰ツリー(CART)、C4.5デシジョンツリー、K最近傍法、サポートベクターマシン(SVM)、ならびにナイーブベイズ分類子の1つまたは複数を含む、請求項
18に記載のシステム。
【請求項21】
前記PML分類子は、前記分類モデルに対応するデシジョンツリーのアンサンブルを形成するよう、ランダムフォレストアルゴリズムを利用する、請求項
18に記載のシステム。
【請求項22】
前記PML分類子は、前記分類モデルを形成するよう、極端な勾配ブースティングアルゴリズムを利用する、請求項
18に記載のシステム。
【請求項23】
前記極端な勾配ブースティングアルゴリズムは、前記分類モデルを形成するよう、分類および回帰ツリー(CART)デシジョンツリーと組み合わせて使用される、請求項
22に記載のシステム。
【請求項24】
前記分類モデルは、決定点、分岐、および病変特性を備えるデシジョンツリーを表す、請求項
18に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
この出願は、2019年6月19日に出願された米国非仮特許出願第16/445765号の優先権を主張し、および2018年10月11日に出願された米国仮特許出願第62/744606号の優先権を主張するものであって、各出願の主題が参照によりその全体が本明細書に組み込まれる。
【0002】
本明細書の実施形態は、一般に、光音響(OA)画像化方法に関する。
【背景技術】
【0003】
世界的に、乳がんは最も一般的に診断されるがんであり、女性のがんによる死亡の2番目に多い原因である。乳がんによる死亡率は過去20年間で大幅に減少しているが、乳がんは依然として西洋の女性の罹患率と死亡率の主要な原因の1つである。
【0004】
超音波は、今日、疑わしい乳房腫瘤の評価や生検のガイドに使用されている。しかしながら、乳房超音波画像化によって非侵襲的に評価される組織構造は、がんに関する十分な予後情報を提供しないため、腫瘍のサイズと形態の評価を超えては臨床医には限られた価値しか有さない。
【発明の概要】
【発明が解決しようとする課題】
【0005】
最適な音響画像分析を改善する必要性が依然としてある。
【課題を解決するための手段】
【0006】
本明細書の実施形態によれば、光音響分類予測を実行するための方法が提供されている。本方法は、対象のボリューム(volume of interest)についての患者の検査から収集されたOA画像に関連してOA特徴スコアを受信することに関連して、1つまたは複数のプロセッサを利用する。対象のボリュームは、病変を含む。本方法は、病変の特性を示す予測結果を取得するようOA特徴スコアを分類モデルに適用し、予測結果を出力する。
【0007】
任意選択で、本方法は、対象のボリュームについての患者の検査から収集された非OA画像に関連して非OA特徴スコアを受信することができる。本方法は、予測結果を取得するよう、非OA特徴スコアを、OA特徴スコアと組み合わせて分類モデルに適用することができる。予測結果は、i)病変が悪性クラスまたは良性クラスにあり得る可能性を示し、ii)ケアパスの決定を示し、および/または、iii)病変が悪性クラスまたは良性クラスであり得る悪性腫瘍の可能性(LOM)指定子であり得る。LOM指定子は、平均信頼区間を表す場合がある。予測結果は、信頼区間範囲をさらに含み得る。適用動作は、分類モデルのアンサンブルにOA特徴スコアを適用することを含み得る。分類モデルの少なくとも一部は、対応する予測結果を出力する場合がある。
【0008】
任意選択で、本方法は、病変が悪性クラスにある可能性を示す複合予測結果を形成するよう、予測結果を組み合わせることをさらに含み得る。分類モデルは、決定点、分岐、および病変特性を含む可能性のあるデシジョンツリーを表す場合がある。適用動作は、決定点でのOA特徴スコアのテストを含み得、病変特性の1つに到達するまで、テストに基づいてデシジョンツリーを分岐し得る。分類モデルは、予測機械学習分類子と、データセットの病変のOA特徴スコアおよび悪性または良性のラベルを含むラベル付きデータセットと、を利用して構築することができる。
【0009】
本明細書の実施形態によれば、光音響(OA)分類予測に関連して分類モデルを構築するための方法が提供される。本方法は、複数の患者のラベル付きデータセットの受信に関連して1つまたは複数のプロセッサを利用する。ラベル付きデータセットは、複数の患者の検査から得られた対象のボリュームのOA画像の病変のOA特徴スコアを含む。ラベル付きデータセットは、病変の特性を示すクラス指定子を含む。本方法では、ラベル付きデータセットに基づいて分類モデルのアンサンブルを構築するよう、予測機械学習(PML)分類子を利用する。各分類モデルは、病変の特性を示す予測結果を含む。
【0010】
任意選択で、ラベル付きデータセットは、i)複数の患者の検査からのOA画像のOA特徴スコア、ii)OA特徴スコアで決定および記録されたクラス指定子、および、iii)複数の患者の検査からの非OA画像の非OA特徴スコアの組み合わせを含むことができる。PML分類子は、1つまたは複数の分類および回帰ツリー(CART)、C4.5デシジョンツリー、K最近傍法、サポートベクターマシン(SVM)、ならびにナイーブベイズ分類子を含む場合がある。PML分類子は、分類モデルに対応するデシジョンツリーのアンサンブルを形成するよう、ランダムフォレストアルゴリズムを利用することができる。PML分類子は、分類モデルを形成するよう、分類および回帰ツリー(CART)デシジョンツリーと組み合わせて、極端な勾配ブースティングアルゴリズムを利用することができる。分類モデルは、決定点、分岐、および病変特性を含むデシジョンツリーを表す場合がある。
【0011】
本明細書の実施形態によれば、光音響分類予測を実行するためのシステムが提供される。システムは、プログラム命令を格納するように構成されたメモリを備えている。プログラム命令を実行するときに、対象のボリュームで、病変を含む対象のボリュームについて患者の検査から収集されたOA画像に関連してOA特徴スコアを受信し、病変が悪性クラスまたは良性クラスにある可能性を示す予測結果を取得するようOA特徴スコアを分類モデルに適用し、予測結果を出力する、ように構成された1つまたは複数のプロセッサが提供されている。
【0012】
任意選択で、1つまたは複数のプロセッサは、対象のボリュームについての患者の検査から収集された非OA画像に関連して非OA特徴スコアを受信するようにさらに構成され得る。システムは、予測結果を取得するよう、非OA特徴スコアを、OA特徴スコアと組み合わせて分類モデルに適用することができる。予測結果は、病変が悪性クラスまたは良性クラスにある可能性があるという悪性腫瘍の可能性(LOM)指定子を含み得る。LOM指定子は、平均信頼区間を表す場合がある。予測結果は、信頼区間範囲をさらに含み得る。1つまたは複数のプロセッサは、OA特徴スコアを分類モデルのアンサンブルに適用するようにさらに構成され得る。分類モデルの少なくとも一部は、対応する予測結果を出力する場合がある。
【0013】
任意選択で、プロセッサは、予測結果を組み合わせて、病変が悪性クラスにある可能性を示す複合予測結果を形成するようにさらに構成され得る。分類モデルは、決定点、分岐、および病変特性を含むデシジョンツリーを表す場合がある。適用動作は、決定点でのOA特徴スコアのテストを含み得、病変特性の1つに到達するまで、テストに基づいてデシジョンツリーを分岐し得る。分類モデルは、予測機械学習分類子と、データセットの病変のOA特徴スコアおよび悪性または良性のラベルを含むラベル付きデータセットと、を利用して構築することができる。
【0014】
本明細書の実施形態によれば、光音響(OA)分類予測に関連して分類モデルを構築するためのシステムが提供されている。システムは、プログラム命令を格納するように構成されたメモリを備えている。プログラム命令を実行するときに、または複数の患者のラベル付きデータセットを受信するように構成された1つまたは複数のプロセッサが提供されている。ラベル付きデータセットは、複数の患者の検査から得られた対象のボリュームのOA画像の病変のOA特徴スコアを含む。ラベル付きデータセットは、病変が良性クラスまたは悪性クラスにあるかどうかを示すクラス指定子を含む。システムでは、ラベル付きデータセットに基づいて分類モデルのアンサンブルを構築するよう、予測機械学習(PML)分類子を利用する。各分類モデルは、病変が悪性クラスまたは良性クラスにある可能性を示す予測結果を含む。
【0015】
任意選択で、ラベル付きデータセットは、i)複数の患者の検査からのOA画像のOA特徴スコア、ii)OA特徴スコアで決定および記録されたクラス指定子、および、iii)複数の患者の検査からの非OA画像の非OA特徴スコアの組み合わせを含むことができる。PML分類子は、1つまたは複数の分類および回帰ツリー(CART)、C4.5デシジョンツリー、K最近傍法、サポートベクターマシン(SVM)、ならびにナイーブベイズ分類子を含む場合がある。PML分類子は、分類モデルに対応するデシジョンツリーのアンサンブルを形成するよう、ランダムフォレストアルゴリズムを利用することができる。PML分類子は、分類モデルを形成するよう、分類および回帰ツリー(CART)デシジョンツリーと組み合わせて極端な勾配ブースティングアルゴリズムを利用することができる。分類モデルは、決定点、分岐、および病変特性を含むデシジョンツリーを表す場合がある。
【図面の簡単な説明】
【0016】
【
図1】本明細書の実施形態によるPML分類システムの基本的な構成要素のブロック図を示す。
【
図2A】本明細書の実施形態による分類モデルのアンサンブルを構築するためのプロセスを示す図である。
【
図2B】本明細書の実施形態により構築された分類モデルからのデシジョンツリーの一例を示す図である。
【
図3】本明細書の実施形態による交差検証の一例を示す図である。
【
図4】本明細書の実施形態についての分類確率と測定されたPPVとの関係を示す図である。
【
図5A】本明細書の実施形態による、臨床医コンピューティングデバイスおよびコンピューティングサーバによって実行される動作をさらに説明するための分散動作図を示す。
【
図5B】本明細書の実施形態による、病変が悪性クラスまたは良性クラスにある可能性を示す病変特性を得るために、OA(および非OA)特徴スコアを分類モデルに適用するためのプロセスを示す図である。
【
図6】本明細書の実施形態による、結果として得られる予測結果を表示することができる方法の一例を示す図である。
【
図7】本明細書の実施形態による、光経路および電気経路を介してシステムシャーシに接続されたプローブを示す図である。
【
図8】本明細書の実施形態によるプロセスを示す図である。
【発明を実施するための形態】
【0017】
以下の説明および図面は例示的なものであり、限定的なものとして解釈されるべきではない。徹底的な理解を提供するために、多数の具体的な詳細が説明されている。しかしながら、特定の例では、説明を曖昧にすることを避けるために、よく知られたまたは従来の詳細は説明されていない。本開示での1つまたは実施形態への参照は、必ずしも同じ実施形態への参照ではなく、そのような参照は少なくとも1つを意味する。
【0018】
本明細書での「一実施形態」または「実施形態」への参照は、実施形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。本明細書の様々な箇所での「一実施形態での」という句の出現は、必ずしもすべてが同じ実施形態を指すわけではなく、他の実施形態を相互に排除する別個のまたは代替の実施形態でもない。さらに、いくつかの実施形態によって示され、他の実施形態によって示されない可能性がある様々な特徴が説明される。同様に、いくつかの実施形態の要件であり得るが、他の実施形態の要件ではない様々な要件が説明される。
【0019】
システムおよび方法は、とりわけ、面外アーチファクト抑制を伴う光音響画像化を提供するための方法およびデバイスのブロック図、動作図、およびアルゴリズムを参照して以下に説明される。ブロック図、動作図およびアルゴリズムの各ブロック、ならびにブロック図、動作図およびアルゴリズムのブロックの組み合わせは、アナログまたはデジタルのハードウェアおよびコンピュータプログラム命令によって実装できることが理解される。
【0020】
これらのコンピュータプログラム命令は、コンピュータ可読媒体に格納され、汎用コンピュータ、専用コンピュータ、ASIC、または他のプログラム可能なデータ処理装置のプロセッサに提供され得、その結果、命令は、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を介して実行され、ブロック図、動作ブロックまたは複数のブロックおよびまたはアルゴリズムで指定された機能/動作を実装する。
【0021】
場合によっては、周波数領域ベースのアルゴリズムでは、パフォーマンスのためにゼロまたは対称のパディングが必要である。このパディングは、アルゴリズムの実施形態を説明するために必須ではないため、処理ステップの説明から省略されることがある。場合によっては、パディングがステップで開示されている場合でも、アルゴリズムはパディングなしで実行される場合がある。しかしながら、場合によってはパディングが不可欠であり、データを破損せずに削除することはできない。
【0022】
いくつかの代替実装では、ブロックに記載されている機能/動作が、動作図に記載されている順序とは異なる場合がある。例えば、連続して表示される2つのブロックは、実際には実質的に同時に実行でき、関連する機能/動作に応じて、ブロックを逆の順序で実行できる場合もある。
【0023】
ここで、本発明の様々な実施形態をより詳細に参照し、その例を添付の図に示す。当業者には明らかであるように、本明細書に記載のデータ構造および処理ステップは、本明細書の開示の趣旨および発明の範囲から逸脱することなく、他の様々な方法で実装することができ、本明細書に記載の実施形態に限定されるように解釈されるべきではない。むしろ、これらの実施形態は、本開示が徹底的かつ完璧であり、本開示の概念を当業者に十分に伝えるように提供されている。
【0024】
関連する出版物、出願および特許
本明細書の実施形態は、以下の特許、出版物、および/または公開された出願の1つまたは複数に記載される1つまたは複数のシステムおよび方法に関連して実装することができ、これらはすべて、参照によりその全体が本明細書に明示的に組み込まれる。
【0025】
2018年8月31日出願の、“Qualitative Optoacoustic Imaging(OA/US)Features of Breast Cancers Correlated with Molecular Subtypes”と題された、米国仮出願第62/725,632号;
【0026】
2007年7月23日出願の、“Laser-Activated Nanothermolysis Of Cells”と題された、米国特許第7,999,161号;
【0027】
2012年6月13日出願の、“System and method for Acquiring Optoacoustic Data and Producing Parametric Maps Thereof”と題された、米国特許第9,289,191号;
【0028】
2013年11月25日出願の、“System And Method For Acquiring Optoacoustic Data And Producing Parametric Maps Using Subband Acoustic Compensation”と題された、米国特許第9,517,055号;
【0029】
2013年12月13日出願の、“System And Method For Mixed Modality Acoustic Sampling”と題された、米国特許第9,724,072号;
【0030】
2013年12月19日出願の、“System And Method For Acquiring Optoacoustic Data And Producing Parametric Maps Using Interframe Persistent Artifact Removal”と題された、米国特許第9,456,805号;
【0031】
2016年3月22日出願の、“System And Method For Acquiring Optoacoustic Data And Producing Parametric Maps thereof”と題された、米国特許出願公開第2016/0199037号;
【0032】
2016年10月18日出願の、“System And Method For Mixed Modality Acoustic Sampling”と題された、米国特許出願公開第2017/0035388号;
【0033】
2016年11月17日出願の、“System And Method For Acquiring Optoacoustic Data And Producing Parametric Maps Using Subband Acoustic Compensation”と題された、米国特許第9,792,686号;
【0034】
2017年6月30日出願の、“System And Method For Mixed Modality Acoustic Sampling”と題された、米国特許出願公開第2017/0296151号;
【0035】
2011年11月2日出願の、“Handheld Optoacoustic Probe”と題された、米国特許出願公開第2013/0109950号;
【0036】
2016年5月2日出願の、“Handheld Optoacoustic Probe”と題された、米国特許出願公開第2016/0296121号;
【0037】
2011年12月31日出願の、“System And Method For Adjusting The Light Output Of An Optoacoustic Imaging System”と題された、米国特許第8,686,335号;
【0038】
2014年3月31日出願の、“System And Method For Adjusting The Light Output Of An Optoacoustic Imaging System”と題された、米国特許第9,528,936号;
【0039】
2016年12月27日出願の、“System And Method For Adjusting The Light Output Of An Optoacoustic Imaging System”と題された、米国特許出願公開第2017/0108429号;
【0040】
2013年3月11日出願の、“Statistical Mapping In An Optoacoustic Imaging System”と題された、米国特許第9,330,452号;
【0041】
2016年5月3日出願の、“Statistical Mapping In An Optoacoustic Imaging System”と題された、米国特許第9,836,838号;
【0042】
2017年11月6日出願の、“Statistical Mapping In An Optoacoustic Imaging System”と題された、米国特許出願公開第2018/0061050号;
【0043】
2012年6月13日出願の、“System And Method For Producing Parametric Maps Of Optoacoustic Data”と題された、米国特許第9,610,043号;
【0044】
2016年12月21日出願の、“System And Method For Producing Parametric Maps Of Optoacoustic Data”と題された、米国特許出願公開第2017/0100040号;
【0045】
2012年6月13日出願の、“System And Method For Storing Data Associated With The Operation Of A Dual Modality Optoacoustic/Ultrasound System”と題された、米国特許出願公開第2013/0338501号;
【0046】
2012年6月13日出願の、“Optoacoustic Imaging System With Fiber Optic Cable”と題された、米国特許出願公開第2013/0338475号;
【0047】
2014年1月13日出願の、“Multi-Layer Coating For Optoacoustic Probe”と題された、米国特許出願公開第2014/0194723号;
【0048】
2017年1月31日出願の、“Optoacoustic Probe With Multi-Layer Coating”と題された、米国特許出願公開第2017/0150890号;
【0049】
2012年6月14日出願の、“Methods And Compositions For Carrier Agents And Clearing Agents Used In Optoacoustic Imaging Systems”と題された、米国特許第9,615,750号;
【0050】
2012年10月19日出願の、“Optoacoustic Imaging Systems And Methods With Enhanced Safety”と題された、米国特許出願公開第2013/0116538号;
【0051】
2015年1月23日出願の、“Optoacoustic Imaging Systems And Methods With Enhanced Safety”と題された、米国特許出願公開第2015/0297090号;
【0052】
2012年11月2日出願の、“Dual Modality Imaging System For Coregistered Functional And Anatomical Mapping”と題された、米国特許出願公開第2013/0289381号;
【0053】
2012年11月2日出願の、“Method For Dual Modality Optoacoustic Imaging”と題された、米国特許第9,757,092号;
【0054】
2013年1月22日出願の、“Optoacoustic Imaging System Having Handheld Probe Utilizing Optically Reflective Material”と題された、米国特許出願公開第2014/0039293号;
【0055】
2016年9月27日出願の、“Dual Modality Imaging System For Coregistered Functional And Anatomical Mapping”と題された、米国特許出願公開第2017/0014101号;
【0056】
2012年11月2日出願の、“System And Method For Dynamically Varying The Angle Of Light Transmission In An Optoacoustic Imaging System”と題された、米国特許出願公開第2013/0303875号;
【0057】
2012年12月21日出願の、“System And Method For Normalizing Range In An Optoacoustic Imaging System”と題された、米国特許第9,445,785号;
【0058】
2012年12月21日出願の、“System And Method For Detecting Anomalous Channel In An Optoacoustic Imaging System”と題された、米国特許第9,282,899号;
【0059】
2012年12月21日出願の、“System And Method For Providing Selective Channel Sensitivity In An Optoacoustic Imaging System”と題された、米国特許出願公開第2014/0005544号;
【0060】
2016年7月11日出願の、“System And Method For Providing Selective Channel Sensitivity In An Optoacoustic Imaging System”と題された、米国特許出願公開第2016/0317034号;
【0061】
2013年1月22日出願の、“Interframe Energy Normalization In An Optoacoustic Imaging System”と題された、米国特許第9,445,786号;
【0062】
2016年9月19日出願の、“Interframe Energy Normalization In An Optoacoustic Imaging System”と題された、米国特許出願公開第2017/0000354号;
【0063】
2013年1月22日出願の、“Probe With Optoacoustic Isolator”と題された、米国特許出願公開第2014/0206978号;
【0064】
2013年3月15日出願の、“Playback Mode In An Optoacoustic Imaging System”と題された、米国特許第9,743,839号;
【0065】
2017年7月27日出願の、“Playback Mode In An Optoacoustic Imaging System”と題された、米国特許出願公開第2017/0332916号;
【0066】
2014年3月11日出願の、“System And Method For Diagnostic Vector Classification Support”と題された、米国特許第9,398,893号;
【0067】
2016年7月19日出願の、“System And Method For Diagnostic Vector Classification Support”と題された、米国特許第10,026,170号
【0068】
2018年6月28日の、“System And Method For Diagnostic Vector Classification Support”と題された、米国特許出願第16/022,138号;
【0069】
2013年3月15日出願の、“Diagnostic Simulator”と題された、米国特許第9,730,587号;
【0070】
2017年7月27日出願の、“Diagnostic Simulator”と題された、米国特許出願公開第2017/0332915号;
【0071】
2013年3月15日出願の、“Light Output Calibration In An Optoacoustic System”と題された、米国特許第8,823,928号;
【0072】
2014年7月11日出願の、“Light Output Calibration In An Optoacoustic System”と題された、米国特許第9,163,980号;
【0073】
2013年3月15日出願の、“Noise Suppression In An Optoacoustic System”と題された、米国特許第9,814,394号;
【0074】
2017年11月13日出願の、“Noise Suppression In An Optoacoustic System”と題された、米国特許出願公開第2018/0078144号;
【0075】
2013年3月15日出願の、“Optoacoustic Component Utilization Tracking”と題された、米国特許第9,733,119号;
【0076】
2017年7月27日出願の、“Optoacoustic Component Utilization Tracking”と題された、米国特許出願公開第2017/0322071号;
【0077】
2014年10月13日出願の、“Systems And Methods For Component Separation In Medical Imaging”と題された、米国特許出願公開第2015/0101411号;
【0078】
2015年2月27日出願の、“Probe Adapted To Control Blood Flow Through Vessels During Imaging And Method Of Use Of Same”と題された、米国特許出願公開第2015/0305628号
【0079】
2015年10月30日出願の、“Opto-Acoustic Imaging System With Detection Of Relative Orientation Of Light Source And Acoustic Receiver Using Acoustic Waves”と題された、米国特許出願公開第2016/0187481号;
【0080】
Siegel RL,Miller KD,Jemal A.Cancer statistics,2018.CA Cancer J Clin 2018;67:7-30.doi:10.3322/caac.21387
【0081】
Polyak K.“Heterogeneity in breast cancer”.J Clin Invest 2011;121:3786-3788.doi:10.1172/JCI60534
【0082】
Perou CM,Sorlie T,Eisen MB,van de Rijn M,Jeffrey SS,Rees CA,et al.“Molecular portraits of human breast tumours”.Nature 2000;406:747-52.doi:10.1038/35021093
【0083】
Sorlie T,Perou CM,Tibshirani R,Aas T,Geisler S,Johnsen H,et al.“Gene expression patterns of breast carcinomas distinguish tumor sub-classes with clinical implications”.Proc Natl Acad Sci U S A.2001;98:10869-74.doi:10.1073/pnas.191367098
【0084】
Russnes HG,Lingjaerde OC,Borresen-Dale AL,Caldas C.“Breast Cancer Molecular Stratification:From Intrinsic Subtypes to Integrative Clusters”.Am J Pathol.2017;187:2152-2162.doi:10.1016/j.ajpath.2017.04.022.
【0085】
Kim YJ,Kim JS,Kim IA.“Molecular subtype predicts incidence and prognosis of brain metastasis from breast cancer in SEER database”.J Cancer Res Clin Oncol.2018;144:1803-1816.doi:10.1007/s00432-018-2697-2.
【0086】
Clarke M.“Meta-analyses of adjuvant therapies for women with early breast cancer:the Early Breast Cancer Trialists’ Collaborative Group overview”.Ann Oncol.2006;10:59-62.doi:10.1093/annonc/mdl238.
【0087】
“Early Breast Cancer Trialists’ Collaborative Group(EBCTCG).Effects of chemotherapy and hormonal therapy for early breast cancer on recurrence and 15-year survival:an overview of the randomised trials”.Lancet.2005;365:1687-717.Doi:10.1016/S0140-6736(05)66544-0.
【0088】
Loibl S,GianniL.“HER2-positive breast cancer”.Lancet.2017 17;389:2415-2429.doi:10.1016/S0140-6736(16)32417-5.
【0089】
Pinker K,Chin J,Melsaether AN,Morris EA,Moy L.“Precision Medicine and Radiogenomics in Breast Cancer:New Approaches toward Diagnosis and Treatment”.Radiology.2018;287:732-747.doi:10.1148/radiol.2018172171.
【0090】
Chen J,Wang Z,Lv Q,Du Z,Tan Q,Zhang D,et al.“Comparison of Core Needle Biopsy and Excision Specimens for the Accurate Evaluation of Breast Cancer Molecular Markers:a Report of 1003 Cases”.Pathol Oncol Res.2017;23:769-775.doi:10.1007/s12253-017-0187-5.
【0091】
Valluru KS,Wilson KE,Willmann JK.“Photoacoustic Imaging in Oncology:Translational Preclinical and Early Clinical Experience”.Radiology 2016;280:332-349.doi:10.1148/radiol.16151414.
【0092】
Schellenberg MW,Hunt HK.“Hand-held optoacoustic imaging:A review.Photoacoustics”.2018 6;11:14-27.doi:10.1016/j.pacs.2018.07.001.
【0093】
Neuschler EI,Butler R,Young CA,Barke LD,Bertrand ML,Bohm-Velez M,et al.“A Pivotal Study of Optoacoustic Imaging to Diagnose Benign and Malignant Breast Masses:A New Evaluation Tool for Radiologists”.Radiology.2018;287:398-412.doi:10.1148/radiol.2017172228.
【0094】
Neuschler EI,Lavin PT,Tucker FL,Barke LD,Bertrand ML,Bohm-Velez M,et al.Downgrading and Upgrading Gray-Scale Ultrasound BI-RADS “Categories of Benign and Malignant Masses With Optoacoustics:A Pilot Study”.Am J Roentgenol.2018;211:689-700.doi:10.2214/AJR.17.18436.
【0095】
Menezes GLG,Pijnappel RM,Meeuwis C,Bisschops R,Veltman J,Lavin PT,van de Vijver MJ,Mann RM.“Downgrading of Breast Masses Suspicious for Cancer by Using Optoacoustic Breast Imaging”.Radiology.2018;288:355-365.doi:10.1148/radiol.2018170500.
【0096】
Lundgren K,Holm C,Landberg G.“Cell Mol Life Sci.Hypoxia and breast cancer:prognostic and therapeutic implications”.2007;64:3233-3247.doi:10.1007/s00018-007-7390-6
【0097】
Vleugel M.M.,Greijer A.E.,Shvarts A.,et al:“Differential prognostic impact of hypoxia induced and diffuse HIF-1alpha expression in invasive breast cancer”.J Clin Pathol 2005;58:172-177.DOI:10.1136/jcp.2004.019885
【0098】
van der Groep P,Bouter A,Menko FH,van der Wall E,van Diest PJ.“High frequency of HIF-1alpha overexpression in BRCA1 related breast cancer Breast Cancer Res Treat”.2008;111:475-80.doi:10.1007/s10549-007-9817-z
【0099】
Gilkes DM,Semenza GL.“Role of hypoxia-inducible factors in breast cancer metastasis”.Future Oncol.2013;9:1623-1636.doi:10.2217/fon.13.92.
【0100】
Kraby MR,Kruger K,Opdahl S,Vatten LJ,Akslen LA,Bofin AM.“Microvascular proliferation in luminal A and basal-like breast cancer subtypes”.J Clin Pathol.2015;68:891-897.doi:10.1136/jclinpath-2015-203037..
【0101】
Lin NU,Vanderplas A,Hughes ME,Theriault RL,Edge SB,Wong YN,et al.Cancer 2012;118:5463-5472.doi:10.1002/cncr.27581.
【0102】
Ugras S,Stempel M,Patil S,Morrow M.“Estrogen receptor,progesterone receptor,and HER2 status predict lymphovascular invasion and lymph node involvement”.Ann Surg Oncol.2014;21:3780-3786.doi:10.1245/s10434-014-3851-y.
【0103】
Yang WT,Dryden M,Broglio K,Gilcrease M,Dawood S,Dempsey PJ,et al.“Mammographic features of triple receptor-negative primary breast cancers in young premenopausal women”.Breast Cancer Res Treat.2008;111:405-410.doi:10.1007/s10549-007-9810-6
【0104】
Wang Y,Ikeda DM,Narasimhan B,et al.“Estrogen receptor-negative invasive breast cancer:imaging features of tumors with and without human epidermal growth factor receptor type 2 overexpression”.Radiology 2008;246:367-375.doi:10.1148/radiol.2462070169
【0105】
Uematsu T,Kasami M,Yuen S.“Triple-negative breast cancer:correlation between MR imaging and pathologic findings”.Radiology 2009;250:638-647.
【0106】
Dogan BE,Gonzalez-Angulo AM,Gilcrease M,Dryden MJ,Yang WT.“Multimodality imaging of triple receptor-negative tumors with mammography,ultrasound,and MRI”.AJR Am J Roentgenol.2010;194:1160-1166.doi:10.2214/AJR.09.2355.
【0107】
Wang C,Wei W,Santiago L,Whitman G,Dogan B.“Can imaging kinetic parameters of dynamic contrast-enhanced magnetic resonance imaging be valuable in predicting clinicopathological prognostic factors of invasive breast cancer?” Acta Radiol.2018;59:813-821.doi:10.1177/0284185117740746.
【0108】
Huuse EM,Moestue SA,Lindholm EM,Bathen TF,Nalwoga H,Kruger K et al.“In vivo MRI and histopathological assessment of tumor microenvironment in luminal-like and basal-like breast cancer xenografts”.J Magn Reson Imaging.2012;35:1098-1107.doi:10.1002/jmri.23507.
【0109】
Ye IC,Fertig EJ,DiGiacomo JW,Considine M,Godet I,Gilkes DM.“Molecular Portrait of Hypoxia in Breast Cancer:A Prognostic Signature and Novel HIF-regulated Genes”.Mol Cancer Res.2018 Jul 23.pii:molcanres.0345.2018 doi:10.1158/1541-7786.MCR-18-0345.
【0110】
Viale G,Giobbie-Hurder A,Regan MM,Coates AS,Mastropasqua MG,Dell’Orto P,et al.“Breast International Group Trial 1-98:Prognostic and predictive value of centrally reviewed Ki67 labeling index in postmenopausal women with endocrine-responsive breast cancer:results from Breast International Group Trial 1-98 comparing adjuvant tamoxifen with letrozole” J Clin Oncol 2008;26:5569-5575.doi:10.1200/JCO.2008.17.0829.
【0111】
Parker JS,Mullins M,Cheang MC,et al.“Supervised risk predictor of breast cancer based on intrinsic subtypes”.J Clin Oncol.2009;27:1160-1167.doi:10.1200/JCO.2008.18.1370.
【0112】
Prat A,Pineda E,Adamo B,et al.“Clinical implications of the intrinsic molecular subtypes of breast cancer”.Breast.2015;24 Suppl 2:S26-35.doi:10.1016/j.breast.2015.07.008.
【0113】
定義
「ラベル付きデータセット」という用語は、i)患者の検査からのOA画像のOA特徴スコア、およびii)病変について決定され、OA特徴スコアとともに記録されたクラス指定または結果指定子の組み合わせを指す。個人のラベル付きデータセットは、OA特徴スコアが取得された医療診断画像のセットを含む場合がある。ラベル付きデータセットは、患者の検査からの非OA画像の非OA特徴スコアを含み得る。別の例として、ラベル付きデータセットは、OA画像および非OA画像からの情報を組み合わせることから作成されたOA/非OA特徴スコアを含み得る。ラベル付きデータセットは、対応する複数の検査が得られた個々の患者および/または複数の患者のグループに対応し得る。ラベル付きデータセットのクラス指定は、病変が良性または悪性であることを示していた。
【0114】
「光音響画像」および「OA画像」という用語は、対象のボリュームへの1つまたは複数の周波数の送信光を利用し、処理されてOA画像に変換される超音波データセットを受信する光音響画像化システムによってキャプチャされた画像を指す。
【0115】
「非OA画像」という用語は、1つまたは複数の医療画像化モダリティによってキャプチャされた、OA画像以外の任意の医療診断画像を指す。非OA画像は、2つの異なる周波数範囲での光学的光の透過を利用せずに、対象のボリュームに音響信号を生成させる画像化原理に基づいてキャプチャされた画像を構成する。非OA画像の非限定的な例は、超音波(US)画像(透過性および/または反射性)、MRI画像、X線画像、CT画像、PET画像、およびSPECT画像を含む。非OA画像がUS画像である場合、US画像は、OA画像化システムと統合されているか、結合されているか、または完全に分離されているUS画像化システムによってキャプチャされ得る。
【0116】
「特徴」および「対象の特徴」という用語は、OA画像、US画像の特徴、およびそれらの特徴の組み合わせを指す。非OA特徴は、US特徴、MRI特徴、X線特徴、CT特徴、PET特徴、SPECT特徴、または別の医療診断画像化モダリティである可能性がある。OA特徴の非限定的な例は、1)内部血管分布と脱酸素化、2)腫瘍周囲境界ゾーンの血管分布と脱酸素化、3)内部脱酸素化赤面、4)内部全血、5)外部腫瘍周囲放射血管、および6)干渉するアーチファクトを含む。超音波特徴の非限定的な例は、1)US形状スコア、2)US内部テクスチャ、3)US音響透過、4)US被膜または境界ゾーン、5)US末梢ゾーン、6)患者の年齢、7)マンモグラム-BIRADS、8)病変サイズ(cm)、および9)病変後部深さ(cm)を含む。追加および代替の特徴は、2014年3月11日に出願シリアル番号第14/205,005号として出願され、2016年7月26日に発行された「system and method for diagnostic vector classification support」という題のAnthony Thomas Stavrosらの米国特許第9,398,893号(以下、Stavros’893特許)に記載され、その完全かつ全体的な主題は、参照によりその全体が本明細書に明示的に組み込まれる。
【0117】
「特徴スコア」という用語は、OA画像および/または非OA画像での特徴の1つまたは複数の特性を説明するグレード、評価、ランク付け、または他の評価情報を指す。特徴スコアの非限定的な例は、i)数値の範囲に沿った数値、ii)OAまたは非OA画像から測定された寸法、および/またはiii)特徴の特性を説明する単語、句、または文を含む。
【0118】
「観察値」という用語は、OA検査中に患者から収集される1つまたは複数のOA画像(単独、または1つまたは複数の非OA画像との組み合わせ)を指す。観察値は、OA特徴スコアおよび/または非OA特徴スコアなどの臨床医によって入力された診断情報も含む場合がある。
【0119】
予測機械学習分類子
本明細書の実施形態によれば、予測機械学習(PML)分類子は、光音響画像化と組み合わせて分類モデルを構築および利用して、病変が悪性腫瘍クラスまたは良性クラスのどちらに属するかを放射線科医が予測するのを支援する。PML分類子は、予測に確率を割り当てるモデルを構築する。本明細書の1つのユニークな態様は、PLM分類子がモデルを構築して、特定のタイプのしきい値に基づいて確率を予測に割り当てる方法である。予測を提供するために、PML分類子は確率を1つまたは複数のしきい値と組み合わせる。しきい値を設定する場所の基準は、モデルの構築とは別である。本明細書の実施形態では、基準は、多数の個人から収集され、リーダーによって分析されるトレーニングラベル付きデータに基づいて設定される。基準は、特定のしきい値が研究データに適用された場合、予測結果が所望のレベルの感度(例えば、98%)をもたらすという前提に基づいてさらに設定される。対照的に、従来のアプローチでは、ビジネス要因、コスト、偽陽性または偽陰性に対するペナルティの増加に基づいてしきい値を設定できる。本明細書の態様によれば、1つまたは複数の研究からのデータを利用して、所望のレベルの感度を達成するようにモデルをトレーニングした。
【0120】
本明細書の実施形態は、乳房病変が生検を正当化するのに十分高いがんのリスクを有するかどうかを放射線科医が決定するのを支援するために光音響(OA)画像化システムと組み合わせて使用されるソフトウェアツールであるPML分類子および分類モデルを提供する。分類モデルへの入力には、放射線科医または超音波検査者によって割り当てられた特徴値(OAやUSの特徴スコアなど)のセット、および推定される悪性腫瘍の可能性(LOM)を含む出力が含まれる。以下の説明では、機械学習分類子、トレーニング方法、およびパフォーマンスメトリックの基本的な概念の概要を提供している。説明では、特定のモデルが時間の経過とともに発展しても一定のままであるPML分類子および分類モデルの基本について説明する。PML分類子および分類モデルは、放射線科医がOAおよび超音波(US)画像の評価を支援するために使用するように構成されている。PML分類子および分類モデルによって行われる予測は、分類アルゴリズムの固有の統計的性質によって、さらに重要なことに、分類モデルのトレーニングに使用されるデータによって制限される。特定の実施形態では、PML分類子および分類モデルによる予測は、放射線科医が利用できる情報の選択された部分を考慮に入れることができる。しかし、特定の実施形態では、PML分類子および分類モデルは、放射線科医がいつ画像を再検査し、評価を再検討すべきかを示唆するセカンドオピニオンとして機能することができる。
【0121】
基本モデル
基本レベルでは、分類の予測(NPC)モデルおよびPOMの予測(NPP)モデルを含むモデルを構築でき、ここで、POMは悪性腫瘍の確率を表す。NPCおよびNPPモデルは、様々なUSおよびOA特徴スコアを利用し、個人のグループから収集された画像のデータセットに存在する病変を見ると同時に、人間の専門家によって割り当てられた特徴スコアのセットに基づいてトレーニングできる。
【0122】
NPCモデルとNPPモデルは有益であるが、NPPモデルとNPCモデルには重要な違いがある。NPCモデルは、生検結果(例えば、悪性または良性)に基づいてトレーニングされたロジスティック回帰分類子を表す。逆に、NPPモデルは、人間の専門家によって割り当てられたPOM推定値に基づいてトレーニングされた線形回帰方程式を表す。NPCモデルは生検結果を予測するが、NPPモデルはリーダーのPOMの推定を予測する。生検結果は、悪性または良性の2つの結果である。POMは、0.0から1.0までの連続値である。線形回帰方程式の従属変数は、バイナリカテゴリではなく連続値でなければならないため、生検結果をNPPモデルのトレーニングに使用することはできない。
【0123】
基本モデルはヒューリスティックルールとして適用できるものであって、人間の専門家は、NPPおよびNPC確率の平均が確率しきい値以下(例えば、10%以下)である場合、病変のOA乳房画像化レポートおよびデータシステム(BI-RADS)カテゴリを元のUS BI-RADSカテゴリから単にダウングレードするように指示される。このヒューリスティックは、悪性病変の過度のダウングレードを防ぐが、確率しきい値は、悪性腫瘍の可能性を予測するために直接使用できるほど正確ではない場合がある。
【0124】
本明細書の実施形態によれば、上記の基本モデルと比較して、悪性腫瘍の可能性のより良い予測因子を提供する予測機械学習(PML)分類モデルが開発されてきた。名前が示すように、PML分類モデルは、予測機械学習方法とサポートソフトウェアフレームワークを使用してトレーニングされる。
【0125】
図1は、本明細書の実施形態によるPML分類システムの基本的な構成要素のブロック図を示している。PML分類システム100は、個々の患者のOA/US画像のデータセットおよび個々の患者に関連する他の医療情報を分析するために臨床医によって利用される「リーダーコンピュータ」を表す1つまたは複数のコンピューティングデバイス120を含む。コンピューティングデバイス120は、ワークステーション、ラップトップコンピュータ、タブレットデバイス、スマートフォンなどのような様々なタイプのコンピュータとして実装され得る。コンピューティングデバイス120は、とりわけ、グラフィカルユーザインターフェース(GUI)104を提供するために、メモリに格納されたプログラム命令を実行する1つまたは複数のプロセッサを含む。GUI104を使用すると、放射線科医およびその他の専門家は、特徴スコアを入力して予測結果を見ることができる。GUI104は、HTMLやJavaScriptなどの適切なウェブ言語で開発できる。GUI104は、実現可能性研究、重要な研究、および商業的使用などの異なる状況に合わせて調整することができる。GUI104は、タブレットおよびワークステーションを含む、任意の適切なプラットフォーム上に実装され得る。GUI104は、分類モデル102から独立している。
【0126】
コンピューティングデバイス120は、アプリケーションプログラミングインターフェース(API)108をさらに含む。API108は、GUI104とリモートコンピューティングサーバ106との通信を定義するプロトコルを提示する。API108は、分類モデル102、GUI104、およびサーバ106間の通信のための規則のセットである。API108は、GUI104を、PML分類子および分類モデルの開発および検証を単純化するサーバ106によって実装されるコンピューティングソフトウェアから切り離し、タブレット、スマートフォン、およびワークステーションなどの様々なプラットフォームのためのGUI104の構築を促進する。
【0127】
コンピューティングデバイス120は、リモートコンピューティングサーバ106と通信する。リモートコンピューティングサーバ106を実装することができるエンティティの非限定的な例には、医療ネットワーク、医療施設、画像化機器の製造業者、サードパーティのデータ管理サービス、サードパーティの診断画像スクリーニングサービスなどが含まれる。コンピューティングサーバ106は、プログラム命令を実行する1つまたは複数のプロセッサを含み、本明細書に記載の動作、ならびに医療画像診断、診断、治療計画、治療提供などに関連付けられた他の動作を実装する。サーバ106は、API108からの要求を受信し、予測を計算し、予測結果を返す。サーバ106のプログラム命令は、リモートデータセンターのコンピュータ、ローカルネットワーク、1つまたは複数のワークステーション、ラップトップコンピュータ、ハンドヘルド電子デバイス(例えば、タブレットデバイス、スマートフォン)、GUI104と同じ物理デバイスなどにインストールすることができる。
【0128】
リモートコンピューティングサーバ106は、ウェブサービスマネージャ、ネットワークサービスインターフェース134、およびPML分類子136を提供するためのプログラム命令を実装する1つまたは複数のプロセッサを含む。ウェブサービスマネージャ132は、コンピューティングデバイス120から要求を受信し、対応する応答を返す。ネットワークサービスインターフェース134は、ウェブサービスマネージャ132とPML分類子136とのインターフェースを提供する。リモートコンピューティングサーバ106は、とりわけ、分類モデル102を含むデータストレージ138を含む。本明細書で説明するように、分類モデルは、分類モデル102の1つまたは複数のアンサンブルなど、様々な方法で編成することができる。特定のタイプのPML分類子136により、各分類モデル102は、1つまたは複数のデシジョンツリー(例えば、1つの分類モデルで10、50、100のデシジョンツリー)を含むように構築され得る。
【0129】
分類モデル102は、数学的アルゴリズム、特徴を表す独立変数、および個人の対照群の1つまたは複数のラベル付きデータセットに基づくトレーニングによって決定されたパラメータによって定義される。PML分類システム100のインフラストラクチャは、様々な特徴セットおよび経時的な改善をよりよくサポートするために、複数のモデル102を構築することを可能にする。例えば、分類モデル102の1つのアンサンブルは、OA特徴のみで利用され得、一方、分類モデル102の別のアンサンブルは、OAおよびUS特徴の組み合わせで利用され得る。さらなる例として、分類モデル102の1つのアンサンブルは、悪性腫瘍の第1のサブタイプに関連して利用され得、一方、分類モデルの別のアンサンブルは、悪性腫瘍の第2のサブタイプに関連して利用され得る。
【0130】
分類モデル102は、統計コンピューティングおよびグラフィックス(https://www.r-project.orgから入手可能)のためのR言語などの様々な言語を利用するPML分類子136によって開発およびトレーニングされ得る。例えば、サーバ106は、分類モデル102から分類確率を計算するRスクリプトのセットとしてPML分類子136を実装する。分類モデル102は単一のモデルではないが、むしろ、様々なアルゴリズム、特徴、トレーニングデータセットを利用するモデルのコレクションまたはアンサンブルである。分類モデル102は、OA画像および非OA画像のラベル付けされたデータに基づいてモデルがトレーニングされる機械学習を通じて分類を実装する。例えば、分類モデル102は、利用可能なラベル付きデータセットのすべてまたは実質的にすべてに基づいて構築されるマスターモデルで構築され得、ならびに1つまたは複数のブートストラップモデルおよびホールドアウトモデルを含むように構築され得る。ブートストラップモデルは、ラベル付きデータセットの選択されたサブセットから形成される分類モデルを表す。ホールドアウトモデルは、交差検証または別の関連するモデル評価技術を利用して形成された分類モデルを表す。本明細書の実施形態では、分類は、結果が2つしかない特殊な場合として、二項分類子を使用するパターン認識問題である。分類子は多くのクラスを有し得る。例えば、動物の画像のセットは、「猫」、「犬」、「鳥」などに分類できる。数学的には、クラスラベルはカテゴリ変数である。分類子が観察値に適用されると、観測値が特定のクラスに属する確率が推定される。PML分類子および分類モデルはクラスを決定しない代わりに、PML分類子および分類モデルは、予測をもたらすしきい値(またはカットポイント)を適用する。しきい値の選択は異なる場合がある。
【0131】
各分類モデル102は、3つの要素、すなわち、アルゴリズム、特徴、およびパラメータによって定義され、これらは、トレーニングデータセットからモデルが「学習する」ことの説明とともに、以下で一般的に説明される。分類アプローチには、パラメトリック方程式と機械学習アルゴリズムの2つの基本的なタイプがある。パラメトリック方程式は、各特徴の効果が理解しやすいという点でより透過的である。ただし、方程式はモデル化できるものに制限される。機械学習の方法はより広く適用できるが、モデルがどのように機能し、何が重要であるかを理解するのは難しいことがよくある。
【0132】
本明細書の実施形態は、PML分類子136内の機械学習アルゴリズムを利用する。機械学習アルゴリズムの非限定的な例には、分類および回帰ツリー(CART)、C4.5デシジョンツリー、K最近傍法、サポートベクターマシン(SVM)、ならびにナイーブベイズ分類子が含まれる。アルゴリズムに関係なく、単一のモデルはしばしば不正確さまたは過剰適合のいずれかに悩まされる。不正確さまたは過剰適合の可能性を克服するために、本明細書の実施形態は、複数のモデルをトレーニングおよび利用して、観察値のための複数の予測を生成する。分類モデルの集合は、モデルの「アンサンブル」と呼ばれる。本明細書の実施形態は、ランダムフォレストアルゴリズムを利用してデシジョンツリーのアンサンブルを形成し、および/または極端な勾配ブースティング(XGB)アルゴリズムを利用して、CARTデシジョンツリーまたは線形分類子とともに使用できるアンサンブルを形成する。XGBOOSTアルゴリズムは、適切に調整されている場合、他のアルゴリズムよりもパフォーマンスが優れていることが多く、大量のデータセットで使用できる。
【0133】
図2Aは、本明細書の実施形態による分類モデルのアンサンブルを構築するためのプロセスを示している。
図2Aの動作は、1つの場所またはサーバに配置されたシステムのプロセッサによって実装されるか、複数のリモートの場所またはサーバに分散され得る。
【0134】
202で、1つまたは複数のプロセッサが、特徴とパラメータのコレクションとともに、複数の患者のラベル付きデータセットを取得する。204~218での動作は、分類モデルのアンサンブルを構築するために使用されているPML分類子アルゴリズムのタイプに基づいて、様々な方法でラベル付きデータセットをステップスルーする。
図2Aに関連して説明される特定の分岐、決定点、および動作の順序は、本明細書で企図される実施形態内で変化するが、それでも本明細書で説明される分類モデルのアンサンブルをもたらすことが認識される。
【0135】
204で、1つまたは複数のプロセッサは、現在のデシジョンツリーでの現在の決定点について、ラベル付きデータセットの分析を開始する。プロセッサは、対象の1つまたは複数の特徴の結果スコアを計算する。結果スコアは、対象の特定の特徴が、ラベル付けされた患者データを悪性クラスまたは良性クラスにどれだけうまく分離しているかを示す。
【0136】
206で、1つまたは複数のプロセッサは、結果スコアを検討し、所望の特徴、ならびにその特徴に適用されるしいき値を選択する。206で選択された特徴およびしいき値は、デシジョンツリーの現在の点に基づいて、ラベル付きデータセットを悪性および良性クラスに分離する「最良の」特徴およびしいき値を表すことができる。
【0137】
特徴の例は、Stavros’893特許に記載されている。特徴は、値が任意のタイプ(連続、区間、順序、またはカテゴリ)である可能性がある独立変数のセットを表す。特徴の定義は通常、モデルの成功に影響を与える。さらに、優れた特徴によりモデルが簡素化され、結果の解釈がより容易になる。特徴エンジニアリングは、特徴を作成、テスト、および改善するプロセスである。特徴選択は、関連するすべての特徴を含めることと、過剰適合につながる可能性のある余分な特徴を回避することの間のトレードオフである。必要なデータの量は一般に特徴の数とともに指数的に増加するため、過剰な特徴もトレーニングに悪影響を及ぼす。
【0138】
パラメータは、本明細書で使用される様々な分類モデルを定義する。非限定的な例として、機械学習ベースのモデルのパラメータは、デシジョンツリーの分岐基準を定義する。パラメータをさらに説明するために、病変の形状、方向、およびマージンに基づいて病変が悪性であるかどうかを予測するためのデシジョンツリーを考慮する。第1の分岐、つまり決定点は、良性病変から悪性病変を分離する際に最も多くの情報を提供する特徴を使用する。丸い形状は1つの分岐を取り、他のすべての形は別の分岐を取ることがある。別の決定点では、ある範囲の方向が1つの分岐を取り、別の範囲の方向が別の分岐をとることがある。
【0139】
学習方法はアルゴリズムによって異なるが、数学の中核は特徴空間に対する反復検索である。反復検索は、特に多数の特徴および/または大量のデータがある場合、計算量が多くなる。検索空間を減らすとプロセスは高速化されるが、最適な解決策が見つかりにくい傾向がある。前と同じように、一例としてデシジョンツリーを考慮してみる。デシジョンツリーは、ツリーを分岐に分割するための最適な基準を見つけることによって学習する。ツリーを通る各パスはリーフで終わり、目標は、各リーフにほとんど1つのクラスが含まれるように、分割または決定点を見つけることである。分割のために選択された特徴は、すべての特徴とその値を考慮し、所望の結果を提供する特徴(例えば、最良の特徴)を選択することによって見つけられる。一例として、選択は、決定点で分析するための特徴として境界スコアまたは内部血管スコアのどちらを使用するかであり得る。PML分類子は、各分岐で使用する特徴を選択するだけでなく、決定点で特徴に適用するしきい値レベルも決定する。例えば、境界スコアが特定の分岐点で対象の特徴として選択された場合には、PML分類子は、境界スコアが境界しきい値を上回るとき、決定が第1の方向に分岐し、境界スコアが境界しきい値を下回るとき、決定は第2の方向に分岐する、ように境界しきい値も割り当てる。
【0140】
一例として、204、206での動作は、最も低いスコアを伴う分割を選択するために使用される「ジニ不純物指数」と呼ばれるスコアを計算することによって実行され得る。各分割は多くの特徴を考慮し、ツリーには複数の分割が含まれ、アンサンブルには多くのツリーが含まれる。特徴レベルパラメータを超えて、実施形態は、調整されたハイパーパラメータを有する機械学習アルゴリズムを利用することができる。例えば、XGBOOSTツリーを使用する実施形態は、ツリーの数、最大ツリー層の深さ、および学習率を含む、ハイパーパラメータの大きなセットを有する。ハイパーパラメータは検索空間に次元を追加するため、トレーニングの計算成果が増加する。
【0141】
208で、1つまたは複数のプロセッサが、現在のデシジョンツリー内に決定点を保存する。210で、1つまたは複数のプロセッサは、現在のデシジョンツリーのより多くの決定点について分析を継続すべきかどうか、および/または次のデシジョンツリーについて分析を継続すべきかどうかを決定する。その場合、フローは212に分岐する。それ以外の場合、フローは214まで継続する。212で、1つまたは複数のプロセッサは現在のデシジョンツリーの次の決定点に進む。例えば、分岐は、最大のツリーの深さ、病変特性が識別される、または他の基準が満たされるまで継続する。分岐の数、各分岐で使用される特徴、および各分岐での分離に使用される値は、モデルのすべてのパラメータである。本質的に、パラメータはトレーニングデータを具体化する。優れたパラメータは、特徴、データ、およびアルゴリズムの調整での細部への注意の組み合わせから生じる。デシジョンツリーが完成すると、プロセッサは病変特性(良性クラス、悪性クラス、がんサブタイプなど)も最後の層に割り当てる。病変特性は、個々の対応するデシジョンツリーに基づく分類確率を伴い格納することができる。
【0142】
代替的に、デシジョンツリーが210で完了し、新しいデシジョンツリーが開始される場合、212での動作は、次のデシジョンツリーに進み、フローは204に戻る。204~212での動作は、所望の数のデシジョンツリーのすべての決定点が構築されるまで継続的に動作する。
【0143】
214で、1つまたは複数のプロセッサは、現在のモデルとして、デシジョンツリーのコレクションを保存し、そのそれぞれは、上述の特徴スコア、特徴選択、およびしきい値選択から構築された決定点のセットで構成される。
【0144】
216で、1つまたは複数のプロセッサは、ラベル付きデータセットから別のモデルを構築するかどうかを決定する。その場合、フローは218に分岐する。218で、1つまたは複数のプロセッサは次のモデル内の開始点にデータを入力する。それ以外の場合、
図2Aのプロセスは終了する。
【0145】
図2Aの動作、および/または動作の代替シーケンスにより、本明細書の実施形態は、トレーニングまたは学習プロセスを通じて、モデルパラメータをラベル付きデータセットに適合させる。トレーニング/学習プロセスは、モデルの「構築」とも呼ばれる。
【0146】
次に、本明細書の実施形態に関連して実装され得る予測機械学習アルゴリズムの2つの例を説明する。
【0147】
ロジスティック回帰モデル
本明細書で実装できる予測機械学習アルゴリズムの一例は、ロジスティック回帰である。ロジスティック回帰は、トレーニングに真のラベルを使用するため、教師あり機械学習アルゴリズムである。教師あり学習アルゴリズムは、ロジスティック回帰アルゴリズムと同様に、モデルがトレーニングされている場合、入力変数(x)およびターゲット変数(Y)を有する。本明細書の実施形態は、それぞれが制御データセットのサブセットでトレーニングされた、ロジスティック回帰モデル(例えば、100)のアンサンブルを形成する。予測は、アンサンブルからの予測の平均信頼区間(悪性腫瘍またはLOMの可能性)および信頼区間範囲(例えば、90%)として返される。予測は、分類子の確率に対応する陽性予測値(PPV)として返される。
【0148】
ロジスティック回帰モデルは、観察値または読み取り値のコレクション(100、1000、10000など)を構成するトレーニングデータセットを利用する。各観察値には、OA画像、US画像、OA/US画像の組み合わせ、OA特徴スコア、およびUS特徴スコアのセットが含まれている。OAおよびUS特徴スコアは、OA、USおよび組み合わされた画像をセグメント化および分析するコンピューティングシステムによって自動的に割り当てられ得る。追加的または代替的に、OAおよびUS特徴スコアは、1人または複数の人間に依存しないリーダーによって割り当てられ得る。OAおよびUSスコアは、個々の患者のOAおよびUS画像セットの1つまたは複数の病変の1つまたは複数の特性に関連している。トレーニングデータセットには、いくつかの陽性症例(悪性)といくつかの陰性症例(良性)の画像のコレクションが含まれている。
【0149】
ロジスティック回帰モデルは、OAおよびUS特徴のリーダーが割り当てたスコア、患者の年齢、および現場の放射線科医によって割り当てられたマンモグラム(MMG)BI-RADSカテゴリを含む特徴セットを利用する。MMG BI-RADSは、すべての観察値に対して定義されているわけではない。例として、ロジスティック回帰モデルには、ヒューリスティックルールで適用される5つ以上のOA特徴スコア、5つ以上のUS特徴スコア、年齢、およびMMG BI-RADSが含まれる。例えば、MMG BI-RADSヒューリスティックルールは、{2、3、4a、4b、4c、5}として定義できる。当初、MMG BI-RADSは、データセットの病変が多すぎるとMMGデータが欠落している可能性があるため、ロジスティック回帰アルゴリズムの特徴として利用できない場合がある。しかしながら、データセットが十分な量のMMGデータを収集すると、ロジスティック回帰アルゴリズムを、MMGデータを伴うデータのサブセットでトレーニングできる。任意選択で、MMG BI-RADSを特徴として利用できない場合でも、MMG BI-RADSが特定のレベル(4cまたは5など)にある場合にダウングレードを禁止するヒューリスティックルールとしてMMG BI-RADSを適用できる。MMG BI-RADSの評価が設定レベル以上の場合、SenoGramは、範囲の中間点として計算された、カテゴリの分類子予測およびベンチマークPPVの最大値を返す(例えば、4cの場合は70%、5の場合は95%)。MMG BI-RADSの評価が欠落しているか、決定的でない場合、MMG BI-RADSヒューリスティックルールは適用されない。
【0150】
前述のロジスティック回帰機械学習アルゴリズムは、5回の繰り返しと10回のフォールドを伴うK分割交差検証の繰り返しを使用して評価された。50のテストセットでメトリックを平均して、次の概算結果を取得した、すなわち、AUC 0.92~0.96、pAUC 0.75~0.80、感度97.0%以上、特異度52.0%以上。
【0151】
極端な勾配ブーストツリー(XGBTree)
追加的または代替的に、機械学習アルゴリズム(PML分類子)は、極端な勾配ブーストツリー(XGBTree)機械学習アルゴリズムを利用して実装できる。XGBTreeを理解するには、最初にデシジョンツリーを理解する必要がある。デシジョンツリーは、特徴に基づいてデータを分割し、何らかの値を分類または予測する方法である。デシジョンツリーの各分岐は、データを2つ(ツリーがバイナリでない場合は複数)のグループの1つに分割する。各リーフノードには、単一のラベル(クラスまたは予測値)が割り当てられる。デシジョンツリーを使用して予測する場合、データは適切なリーフノードに割り当てられ、予測はそのリーフノードのラベルになる。デシジョンツリーは柔軟で解釈可能である。しかしながら、単一のデシジョンツリーは過剰適合する傾向があり、うまく一般化する可能性は低い。デシジョンツリーの柔軟性を制限するには、その深さを制限するなど、様々な方法があるが、これらの方法ではデシジョンツリーが不十分になる。これが、デシジョンツリーが一般的に単独で使用されない理由で、代わりに、複数のデシジョンツリーが一緒に使用される。勾配ブースティングデシジョンツリーは、(多くの中で)複数のデシジョンツリーの予測を組み合わせて十分に一般化する予測を作成する1つの方法である。それらの強みにもかかわらず、XGBTreeアルゴリズムの背後にある考え方は非常に基本的であり、予測を一緒に追加することにより、複数のデシジョンツリーの予測を組み合わせる。XGBTreeは反復トレーニングされ、つまり、一度に1本のツリーである。例えば、XGBTreeアルゴリズムは、最初にデータに基づいて単純で弱いデシジョンツリーをトレーニングする。デシジョンツリーは、ツリーの深さなどの制限に達するまで、ある基準を最大化する方法でデータを再帰的に分割することにより、失われた項、平均二乗誤差などを使用して、目的関数を最小化するようにトレーニングされる。基準は、損失関数が各分割によって(おおよそ)最小化されるように選択される。一般的に使用される基準の1つは、分割によって正しく分割された観察値の割合である分類精度である。
【0152】
デシジョンツリーのトレーニングは再帰的な処理である。それから、次のツリーは、その出力が第1のツリーに追加されたときに損失関数を最小化するようにトレーニングされる。これは(おおよそ)新しい基準によりデータを再帰的に分割することによって達成される。例えば、基準は、勾配統計(各データポイントの勾配の値)に基づいて、データの任意の分割に対して簡単に計算できる。最良の分割を計算するには、モデルが様々な分割を実行し、各分割の基準を計算する必要があることに留意されたい。各段階で最良の分割を決定するための分析ソリューションはない。
【0153】
XGBTree機械学習アルゴリズムは、XGBTreeモデルのアンサンブルを形成し、それぞれがデータセットのすべてまたはサブセットでトレーニングされる。ロジスティック回帰機械学習アルゴリズムと同様に、予測はアンサンブルの平均および90%信頼区間として返され、分類確率はトレーニングデータで観察されたPPVにマッピングされる。XGBTree機械学習アルゴリズムは、ロジスティック回帰MLAと同じまたは異なるトレーニングデータを利用できる。加えて、XGBTree MLAは、個々の人間の専門家データを利用する場合もある。XGBTree MLAは、ロジスティック回帰MLAと同じ特徴を利用するが、アーチファクトスコア、病変サイズ、および/または病変方向を追加することができる。MMG BI-RADSカテゴリは、欠落しているMMGデータの量に応じて、ヒューリスティックルールに適用されるのではなく、XGBTree MLAの特徴として含まれる場合がある。
【0154】
XGBTreeを成長させるとき、XGBoostとlightGBMの両方がリーフワイズ成長戦略を使用する。それぞれ個々のデシジョンツリーをトレーニングしてデータを分割する場合、採用できる戦略はレベルワイズとリーフワイズの2つである。レベルワイズ戦略はバランスの取れたツリーを維持するが、リーフワイズ戦略はリーフを分割して損失を最も減らす。リーフワイズトレーニングは、レベルワイズトレーニングが可能な任意のツリーを構築できるのに対し、その逆が成り立たないため、レベルワイズトレーニングは正規化されたトレーニングの形式と見なすことができる。したがって、リーフワイズトレーニングはより過剰適合しやすくなるが、柔軟性がより高くなる。これにより、大規模なデータセットに適している。レベルワイズ成長の場合と比較して、リーフワイズ成長でのツリーの成長は、リーフの数が同じである場合、より深くなる。これは、同じmax_depthパラメータが、成長戦略に応じて非常に異なるレベルの複雑さを伴うツリーになる可能性があることを意味する。
【0155】
XGBTreeのトレーニングでの重要な課題は、各リーフに最適な分割を見つけるプロセスである。ナイーブに行われる場合、このステップでは、アルゴリズムがすべてのデータポイントのすべての特徴を通過する必要がある。したがって、計算の複雑さはこうして、O(n_{data}n_{features})である。最新のデータセットは、サンプル数と特徴数の両方が多い傾向がある。例えば、語彙サイズが100万の100万のドキュメントのtf-idfマトリックスには、1兆のエントリがある。したがって、ナイーブGBDTは、そのようなデータセットのトレーニングに大変時間がかかる。すべてのデータポイントのすべての特徴を通過することを避けながら、最適な分割を見つけることができる方法はない。したがって、XGBoostおよびlightGBMが提示する様々な方法は、おおよその最良の分割を見つける方法である。
【0156】
任意選択で、ヒストグラムベースの方法(XGBoostおよびlightGBM)を利用できる。ツリーの構築にかかる時間量は、評価する必要のある分割の数に比例する。多くの場合、分割の小さな変更は、ツリーのパフォーマンスに大きな違いをもたらさない。ヒストグラムベースの方法は、特徴をビンのセットにグループ化し、特徴の代わりにビンで分割を実行することにより、この事実を利用する。これは、モデルが評価する分割数をサブサンプリングすることと同じである。各ツリーを構築する前に特徴をビニングできるため、この方法はトレーニングを大幅にスピードアップし、計算の複雑さをO(n_{data}n_{bins})に減らすことができる。概念的には単純であるが、ヒストグラムベースの方法では、ユーザが選択する必要のあるいくつかの選択肢を提示する。最初に、ビンの数によって速度と精度とのトレードオフが発生し、すなわち、ビンが多いほど、アルゴリズムの精度は高くなるが、同様にそれだけ遅くなる。次に、特徴を個別のビンに分割する方法は重要な問題で、すなわち、ビンを等区間に分割すると(最も簡単な方法)、データの割り当てが不均衡になることがよくある。XGBoostは、任意選択のtree_method=approxを提供し、これは勾配統計を使用して各分割で新しいビンのセットを計算する。tree_methodがヒストグラムに設定されたLightGBMとXGBoostはどちらも、トレーニングの開始時にビンを計算し、トレーニングプロセス全体を通して同じビンを再使用する。
【0157】
図2Aまたは別のモデル構築プロセスの動作は、対照患者集団の利用可能なラベル付きデータセットの異なる組み合わせを利用して複数回実装することができる。例えば、患者集団のすべてまたは大部分のラベルデータセットのすべてまたは大部分を利用して、マスターモデルを構築することができる。次に、本明細書の実施形態によれば、マスター分類モデルを利用して、予測結果などを計算する。
【0158】
加えて、ラベル付きデータセットは、フォールドまたはサブセットに細分することができるものであって、ラベル付きデータセットの観察値の異なるサブセットは、「ホールドアウト」観察値として定義される。ホールドアウトモデルは、クロス検証中に、ホールドアウトされなかったラベルデータセットの部分を利用して構築される。本明細書で説明するように、次に、ラベル付きデータセットのホールドアウト部分は、次いで分類確率の計算に関連してホールドアウトモデルに適用され得、そこから、陽性予測値、偽陰性率などのためのマッピング関数が構築される。
【0159】
追加的または代替的に、ラベル付きデータセットからの観察値のサブセットを利用して、ブートストラップされたモデルを構築することができる。例えば、ラベル付きデータセットには100個の観察値が含まれる場合があり、そこから観察値のランダムサンプリングが選択され、第1のブートストラップモデルを構築するために利用される。複数のブートストラップモデルは、対照患者集団のラベル付きデータセットからの観察値のサンプルの様々な組み合わせに基づいて構築される。分類モデルが構築されると、新しい患者の新しい観察値が取得されるとき、ブートストラップモデルは、予測結果の計算に関連して、つまり新しいOAおよび非OA特徴スコアの予測区間を計算するために利用される。
【0160】
図2Bは、本明細書の一実施形態により構築された分類モデルからのデシジョンツリーの一例を示している。例えば、デシジョンツリー250は、
図2Aの動作による1回または複数の反復中にXGBtreeアルゴリズムによって構築され得る。代替的に、デシジョンツリー250は、
図2Aとは異なる動作に従って、XGBtreeまたは他のアルゴリズムから構築され得る。デシジョンツリーは、決定点、決定点間の分岐、および病変特性で構成される。病変特性は、複数のデシジョンツリーから取得され、数学的に組み合わされて、病変が対応する観察値に対して特定の特性を示す分類確率を形成する(例えば、検査のOAおよび非OA画像に割り当てられたOAおよび非OA特徴スコアに基づく)。デシジョンツリー250は、第1から第10の層を含む、複数の層252~265を含む。第10の層256は、ラベル「L10」でも図示される。各層252~256には、一連の決定点(DP)が含まれている。各決定点は、しきい値に関連する対象の特徴をテストする。例えば、決定点は、本明細書で説明されるOAおよびUS特徴をテストすることができ、ここで、各OAおよび/またはUS特徴スコアがしいき値と比較される。
【0161】
図2Bの例では、決定点の非限定的な例が示されている。第1の層252の第1の決定点260は、OA特徴「内部血管分布と脱酸素化」が「3未満」のOA特徴スコアを与えられたかどうかをテストすることができる。OA特徴は、人間の専門家によって手動で、および/またはStavros’893特許(または参照により本明細書に組み込まれる他の文書)に記載されている分類サポートシステムによって自動的にスコアリングされることを思い出されたい。デシジョンツリーは、DP260から第2の層253の決定点262および264に分岐する。一例として、決定点262は、OA特徴「内部脱酸素ブラッシュ」が「4以上」のOA特徴スコアを与えられたかどうかをテストし、一方、決定点264は、OA特徴「内部全血」が「2以上」のOA特徴スコアが与えられたかどうかをテストする。他の例として、決定点266、268、270、272は、OA特徴が「腫瘍周囲境界ゾーンの血管分布と脱酸素化」が「4以上」などのOA特徴スコアが与えられたかどうかをテストする。デシジョンツリー250は、L10_DP1からL10_DP512に記載されているように、深さ制限(例えば、10層)に達するまで、複数の層について継続する。第10の層の各決定点は、テストされる特徴および層10でのスコアしいき値に基づいて、2つの病変特性(LT)280に分岐する。
図2Bの例では、1024の病変特性(LT1からLT1024)が、各決定点が2つの分岐に分割される10層を有するデシジョンツリーで利用できる。
【0162】
病変特性は、デシジョンツリーの性質に応じて、様々な情報に対応する場合がある。例えば、病変特性は、病変の特性、すなわち、悪性クラスまたは良性クラスに関する2つの二元的選択の1つを単に表すことができる。例えば、病変特性1~10、20、32~40および100~140は、病変特性を悪性クラスに対応するように指定する場合があり、一方、残りの病変特性は、病変を良性クラスに対応するように指定する。追加的または代替的に、各病変特性は、それに関連付けられた分類確率を含み得る。例えば、デシジョンツリーの出力は、病変特性が悪性クラスにある可能性が40%であることを指定している場合がある。任意選択で、デシジョンツリーががんサブタイプを指定するように構築される場合、病変特性は、様々ながんサブタイプの1つおよび/または良性であるように病変特性を指定する代わりに、3つ以上の二元的選択を表すことができる。追加的または代替的に、デシジョンツリーは、病変タイプががんサブタイプまたは良性クラスに対応するという分類確率を出力することができる。
【0163】
分類確率は、観察値(例えば、現在の患者のOAおよび非OA特徴スコアのセット)が特定のクラス、つまり悪性クラスまたは良性クラスのいずれかにあるという信頼のレベルを提供する。
【0164】
図2Bの例は、二元型のデシジョンツリーを示している。追加的または代替的に、各決定点でのテストに3つ以上の結果が含まれる場合、デシジョンツリーには各ノードからの3つ以上の分岐が含まれる場合がある。決定点での
図2Bの例は、OA特徴スコアテストを示している。決定点の多くには、US特徴スコアのしきい値に関するUS特徴スコアのテストが含まれることが認識されている。追加的または代替的に、スコアしいき値は、単純な数値ではなく、定性的記述子(例えば、暗い、明るい、大きい、小さい、不透明)、寸法(例えば、直径、厚さ、長さ、幅)などであり得る。
【0165】
PML分類子アルゴリズムは、少なくとも部分的に異なるラベル付きデータセット、少なくとも部分的に異なる特徴、および/または少なくとも部分的に異なるパラメータに基づいて、デシジョンツリー250と同様の複数のデシジョンツリーを含むマスターモデルを構築する。特徴セットとパラメータは、偽陰性率と悪性腫瘍の可能性とのトレードオフの一部として調整される。偽陰性率は悪性腫瘍の可能性に関連しているが、根本的に異なる量である。放射線科医に馴染みのあるBI-RADS用語集では、臨床研究結果を報告するためのFNR、すなわち感度の使用およびPPV、すなわち悪性腫瘍の可能性の使用に二分法があるため、この違いは重要である。PPVと悪性腫瘍の可能性は同じ意味で使用されることもあるが、悪性腫瘍の可能性は母集団全体を指し、一方、PPVは母集団のサンプルに基づく可能性の推定値であるため、これは厳密には正しくない。この区別は、母平均とサンプル平均の違いに類似している。
【0166】
FNR、感度、および特異度は、診断テストに固有であり、研究対象集団の疾患または状態の有病率に依存しないため、診断テストに推奨されるメトリックの少なくとも2つである。逆に、PPVは有病率に依存し、有病率が高いほど、PPVが増加する。PPVが研究のために報告されるとき、有病率も報告されるべきである。
【0167】
基本的に、FNRは全母集団のネガティブの総数に関連しているのに対し、PPVは全母集団のカテゴリの陽性と陰性の数に関連している。より正確な定義は、BI-RADS3と4Aの間のしきい値を使用してBI-RADS3のPPVをFNRと比較する、以下の式で与えられる。
FNR=[100%(Ncancer,ADS 2+Ncancer,BIRADS 3)]/[Ncancer,Total]および
PPVBIRADS 3=[100% xNcancer,BIRADS 3]/[(Ncancer,BIRADS 3+NBenign,BIRADS 3)]、ここで、Ncancer,BIRADS 2 (または3)=BI-RADS 2(または3)として悪性病変を記録した読み取りの数、NBenign,BIRADS 3=BI-RADS 3として良性病変を記録した読み取りの数、およびNcancer,Total=悪性病変の読み取りの総数。
【0168】
FNRと感度は悪性病変にのみ依存するのに対し、PPVは悪性病変と良性病変に依存することに留意されたい。しきい値は、所望の感度(98%など)に相当する所望のFNR(2%など)に対応するように選択される。感度と特異度が画像化研究の主要なメトリックであり、診断テストに最適なFDAのメトリックであるため、しきい値はFNRに基づいている。しかしながら、感度と特異度はデータセットの要約統計量であり、放射線科医が個々の病変に対してSenoGramの結果を適用するのに役立つとは限らない。
【0169】
本明細書の実施形態によれば、より有用なメトリック、すなわち病変の悪性腫瘍の可能性が放射線科医に提供される。悪性腫瘍の可能性は、データセットの測定されたPPVから推定できる。American College of Radiology(ACR)は、各BI-RADSカテゴリのベンチマークPPVを提供している(表1を参照)。BI-RADSカテゴリのACRベンチマークPPVは、文献で報告されている臨床研究データに基づいている。放射線科医は、生検の推奨を行うときにBI-RADS用語集を適用することに慣れている。SenoGramは、それに応じてMLAの出力を適応させ、添付の図に示すように、予測されるがんの可能性を表示する。
【表1】
【0170】
分類モデルのPPVは、カテゴリ全体のBI-RADS PPVを単純に計算するよりも、PPVをよりきめ細かくマッピングする方法で計算される。代わりに、PML分類子は、分類確率の複数のパーセンテージ区間(例えば、1~5%区間ごと)のそれぞれにPPVを提供する。PPVと確率データは、非線形関数に適合され、PML分類子は分類子の出力を、GUIに表示される悪性腫瘍の推定の可能性に変換する関数を適用する。
【0171】
図4は、本明細書の実施形態による、対照集団のラベル付きデータセットに関連して計算されたマッピング関数のグループを示している。
図4では、横軸は、病変が悪性クラスなどの特定の特性で指定されている分類確率に対応している。横軸は、1%などの所望の長さの確率増分に対応するビンに分割される。本明細書の実施形態によれば、サーバ106のプロセッサは、ホールドアウトモデル(
図3に関連して上述)から計算された分類確率に基づいて、
図4のマッピング関数を構築する。本明細書に記載されているように、各ホールドアウトモデルは、ラベルデータセットの一部に基づいてトレーニングされ、その後、ラベルデータセットの残りの部分が、分類確率を得るために対応するホールドアウトモデルに適用される。
図3の例では、100個の観察値を使用して10個のホールドアウトモデルが生成され、それぞれが10個の分類確率を生成し、100個の分類確率が得られた。
【0172】
図4のグラフの縦軸は、陽性予測値(PPV)、偽陰性率(FNR)、偽陽性率(FPR)、および病変のパーセントを含む、分類モデルとラベル付きデータセットを特徴付ける様々な統計パラメータに対応している。サーバ106のプロセッサは、ホールドアウトモデルによって生成された分類確率に基づいて、ラベルデータセットから観察値を(昇順または降順で)ソートする。次に、プロセッサは、観察値、および対応する分類確率を、
図4のグラフの横軸に割り当てられた増分にビニングまたはグループ化する。
【0173】
例えば、79%と80%の間の1%の確率増分について考慮する。プロセッサは、分類確率が79%から80%を有するあらゆる観察値を識別する。分類確率は必然的に整数であり、類似または同じ分類確率を有する場合がある。したがって、複数の観察値を単一の1%の確率増分にビニングすることができる。非限定的な例として、観察値#5、#7、#10、#45、および#67が対応するホールドアウトモデルに適用された場合、観察値#5、#7、#10、#45、および#67は、それぞれ79.02、79.07、79.6、79.8、および79.92の分類確率で発生する可能性がある。したがって、観察値#5、#7、#10、#45、および#67は、
図4のグラフ内で単一の1%の確率増分にグループ化される。観察値#5、#7、#10、#45、および#67のラベル付きデータセットをさらに分析して、病変に関連する実際の診断、つまり、病変(生検後)が悪性または良性であると決定されたかどうかを識別する。例えば、生検後、観察値#5、#7、#10、および#45は悪性であることが判明し、一方、観察値#67は良性であることが判明した可能性がある。陽性予測値は、実際の診断から、79%と80%の分類の増分において悪性であった観察値の数を観察値の総数で割ったものとして計算される(例えば、[4悪性]/[総数5])。次に、データポイントが垂直軸に沿って約80%PPVおよび79%~80%分類確率で入力される。
【0174】
前述のプロセスは、PPV値が各確率増分に割り当てられるまで、X軸に沿った各確率増分に対して繰り返される。
図4の例では、PPVを分類確率に関連付けるデータポイントは、括弧402によって示されている。括弧402内のデータポイントに基づいて、1つまたは複数のプロセッサは、分類確率を陽性予測値にマッピングするマッピング関数403を計算する。
【0175】
図5Aに関連して本明細書で説明されているように、サーバ106の1つまたは複数のプロセッサは、予測結果としてPPVを利用することができる。これを行うために、プロセッサは新しい観察値をマスター分類モデルに適用して、対応する分類確率を取得する。次に、プロセッサは、マッピング関数403への入力として、新しい観察値の分類確率を利用する。マッピング関数403は、予測結果としてサーバ106のプロセッサによって返される対応するPPV値を出力する。
【0176】
追加的または代替的に、サーバのプロセッサは、ラベル付きデータセットおよび分類確率の上述のビニングに基づいて、FNR、FPRおよび病変のパーセントに関連付けられたマッピング関数を計算することができる。PPV点は括弧402によって図示される領域に表示され、FNR点は括弧404によって図示される領域に表示され、FPR点は括弧406によって図示され、病変点のパーセントは408で図示される。
【0177】
図4はまた、サーバ106のプロセッサによって計算される決定しいき値410を示している。決定しいき値410は、臨床医が生検を実施するか、生検を実施しないかどうかを選択する点を表す。
図4のグラフ内で決定しいき値410を見つけるために、1つまたは複数のプロセッサは、最初に、入力として、感度または偽陰性率(例えば、2%のFNR、または98%の感度)の指定を受信する。次に、プロセッサは、括弧404で指定されたFNRのマッピング関数と交差するまで、Y軸に沿って選択されたFNRレベルを適用し、X軸に沿って対応する分類確率を識別する。
図4の例では、98%の感度または2%のFNR率は、10%の分類確率に対応する。PPRマッピング関数403にマッピングされた場合、10%の分類確率は、約5%のPPRレベルに対応する。任意選択で、生検/生検なしのしいき値は、決定しいき値410に関連付けられたPPRレベルに対応するユーザに提示され得る。
【0178】
モデル評価
モデルがトレーニングされると、使用前にモデルがテストされる。本明細書の実施形態は、トレーニングプロセスを評価プロセスから分離する。最終モデルはトレーニングに十分なデータセットを使用するが、モデルの評価はデータセットをトレーニングデータセットとテストデータセットに分割することによって行われる。トレーニングデータセットは暫定モデルを構築するために使用され、テストデータセットは暫定モデルを評価するために使用される。そのプロセスは、データの様々な分割で繰り返され、結果が平均化されて、最終モデルのパフォーマンスの推定値が取得される。
【0179】
学習の基本的な問題は、トレーニングが多すぎる(「過剰適合」)こととトレーニングが少なすぎる(「弱い学習者」)ことの間のトレードオフである。過剰適合は、モデルがトレーニングデータではうまく機能するが、新しいデータでは不十分であるという点で、モデルを脆弱にする。トレーニングが少なすぎると、堅牢なモデルで生成されるが、モデルの精度が低下する。このジレンマに対する本明細書の1つの解決策は、弱い学習者のコレクションを集約するアンサンブルを使用し、それによって、堅牢かつより正確なアンサンブルモデルを生成することである。アンサンブルモデルを構築するとトレーニング時間が長くなる可能性があるが、並列プログラミング方法を使用するとトレーニング時間をより妥当なレベルに減らすことができる。トレーニングセットのデータの量と多様性を拡張すると、特に特徴が多数ある場合にモデルが改善される。このため、本明細書の実施形態は、より多くのデータが利用可能になるにつれてモデルを再トレーニングする。モデルを再トレーニングすると、その精度が向上し、母集団の進展に合わせてモデルを調整できるようになる。
【0180】
本明細書の実施形態によれば、構築されると、マスター分類モデルおよび/または他の任意の分類モデルを評価することができる。K分割交差検証など、分類モジュールを評価するための様々なアルゴリズムが存在する。K分割交差検証中に、本明細書の実施形態は、以下に説明するように、複数の「ホールドアウト」モデルを請求した。
【0181】
図3は、本明細書の実施形態により実装されたK分割交差検証プロセスの一例を示している。K分割交差検証プロセスは、マスター分類モデルをテストするために評価されるホールドアウトモデルを構築する。加えて、ホールドアウトモデルは、本明細書で説明するように、後続の患者で利用される分類確率のマッピング関数を計算することに関連して利用される。交差検証では、ラベル付きデータセット302は、(例えば、層化によって)ランダムにフォールド304に分割される。プロセッサ(例えば、サーバ106)は、フォールド304のサブセットに基づいてホールドアウトモデルを構築および評価することによって、マスター分類モデルのパフォーマンスを推定する。
【0182】
例えば、第1のホールドアウトモデルはトレーニングフォールド306(フォールド1~9)のサブセットを利用してトレーニングされるが、「ホールドアウト」テストフォールド308(フォールド10)は第1のモデルのトレーニングには使用されない。第1のホールドアウトモデルが構築されると、ホールドアウトフォールド308からの観察値が第1のホールドアウトモデルに適用されて、対応する分類確率が得られる。さらなる例として、ラベル付きデータセット302が100個の観察値(100個の異なる病変に対する100個の異なる患者の検査に対応する)を含むと仮定することができる。その場合、各フォールド304には10個の観察値が含まれる。第1のホールドアウトモデルは、最初の9つのフォールドの90の観察値に基づいてトレーニングされ、その後、ホールドアウトフォールド308からの最後の10の観察値が最初のホールドアウトモデルに適用され、10個の対応する分類確率(推定値1またはE1と呼ばれる)が取得される。各分類確率は、ホールドアウトモデルが、対応する観察値を、対応する確率で特定の病変特性(例えば、良性クラス、悪性クラス、または特定のがんサブタイプ)を有するように分類したことを示す。デシジョンツリーのアンサンブルを利用する分類モデルでは、分類確率は、デシジョンツリーの総数から特定の病変特性を生成したデシジョンツリーの数を示す。
【0183】
プロセッサは、フォールド1~8および10に基づいてトレーニングされる第2のホールドアウトモデルも構築し、一方、フォールド9は、第2のホールドアウトモデルのトレーニングに使用されないホールドアウトフォールドを表す。代わりに、フォールド9の観察値が第2のホールドアウトモデルに適用され、10個の対応する分類確率(推定値2またはE2と呼ばれる)が取得される。プロセッサは、前述の動作を繰り返して、ラベル付きデータセットの各フォールドがホールドアウトフォールドとして利用され、対応するホールドアウトモデル(観察値のホールドアウトフォールドを使用せずに構築)に適用されるまで、追加のホールドアウトモデルを構築する。
図3の例では、10個のホールドアウトフォールドがトレーニングされ、その後テストされて10個の推定値が取得され、ここで、各推定値には、10個の対応する観察値からの10個の分類確率が含まれる。
【0184】
任意選択で、データは、同数の推定モデルを生成するより多くのまたはより少ないフォールド304に分割され得る。次に、パフォーマンスのK個の推定値が平均化され、信頼区間を伴う合計推定値314が得られる。追加的または代替的に、K分割交差検証プロセスは、フォールドを分割するために異なるランダムナンバーシードを使用して繰り返すことができる。例えば、繰り返しのK分割交差検証を使用して、分類モデルを評価できる(例えば、5回の繰り返しと10のフォールドで合計50回の測定)。
【0185】
例えば、分類モデルに10個のデシジョンツリーのアンサンブルが含まれる例を考慮する。OA特徴スコアと非OA特徴スコアが10個のデシジョンツリーのそれぞれに適用され、それに応じて、各デシジョンツリーは単一の分類確率を出力する。例えば、6つのデシジョンツリーはOAおよび非OA特徴スコアに基づいて、観察値を分類し、悪性クラスに病変特性を含めることができるが、他の4つのデシジョンツリーは観察値を分類して病変特性を良性クラスに含めることができる。前述の例では、分類モデルは、病変特性が悪性クラスにあるという60%の分類確率を出力する。
【0186】
代替の一例として、分類モデルの10個のデシジョンツリーには、病変特性が観察値のOAおよび非OA特徴スコアに基づいて、第1のがんサブタイプであることを示す8個の分類確率を出力するデシジョンツリーが含まれる場合があるが、残りの2つのデシジョンツリーは、病変タイプが良性クラスまたは別のがんサブタイプのいずれかにあることを示す対応する分類確率を出力する。この代替例では、分類モデルは、病変特性が第1のがんサブタイプにあるという80%の分類確率を出力する。
【0187】
図3に戻ると、100個の観察値のラベル付きデータセットの場合、推定値1~10のそれぞれに、対応する10個の観察値に対する特定の病変タイプの10個の分類確率が含まれ、これによって、100個の観察値を含むラベル付きデータセットに対して構築された10個のホールドアウトモデルのグループから100個の分類確率が得られる。以下に説明するように、分類確率はさらなる計算に利用される。
【0188】
実施形態では、様々な評価メトリックを利用することができる。評価メトリックの非限定的な例には、二項分類子、精度、感度、特異度のメトリック、およびROC(受信者動作特性)曲線(AUC)の下の領域が含まれる。選択は、クラスの分布と使用目的によって異なる。クラスが不均衡な場合、精度は不十分なメトリックである。すべてのしきい値を超えるパフォーマンスが関連する場合、AUCが適切であるが、部分AUC(pAUC)は、高感度や高特異性など、ROC曲線の小さな領域に焦点が当てられている場合により適したメトリックである。
【0189】
PML分類子は、偽陰性が重いペナルティに関連付けられた生検/生検なしの決定を支援するように設計されている。したがって、実施形態は、第1のメトリックとして感度およびpAUCを利用し、部分的AUCは、95%から100%までの感度にわたって計算される。感度と特異度は、適用されるしきい値に依存しており、つまり、モデルを評価および比較するには、しきい値を指定する必要があることを意味する。現在の医療行為は、放射線科医が、がんの可能性が2%を超えると推定した場合に生検を推奨することである。したがって、本明細書のPML分類システムおよび方法は、2%の偽陰性率(FNR)をターゲットとするしいき値を利用する。例えば、テスト患者のデータセットに陽性の症例(つまり、悪性がんを有する患者)の500個の観察値が含まれている場合には、PML分類システムおよび方法が、500個の観察値からの対象の特徴に基づいて悪性腫瘍の可能性を予測するとき、10個以下の偽陰性を経験するようにしきい値が選択される。分類モデルの最終的なしきい値は、繰り返されるK分割交差検証からのテスト患者データセット全体の平均しきい値である。
【0190】
図5Aは、本明細書の実施形態による、臨床医コンピューティングデバイスおよびコンピューティングサーバによって実行される動作をさらに説明するための分散動作図を示している。図の左側は、
図1のデバイス120などの臨床医コンピューティングデバイスによって実行される動作を表し、図の右側の動作は、サーバ106などのサーバによって実行される。502から始まり、コンピューティングデバイス120の1つまたは複数のプロセッサは、OAおよびUS画像を取得する。例えば、OAおよびUS画像は、ローカルまたはリモートメモリから単純に読み取ることができる。追加的または代替的に、OAおよびUS画像は、コンピューティングデバイス120が光音響画像化システムに接続されているか、または光音響画像化システムと区間を置いて形成されている場合など、リアルタイムで取得することができる。504で、コンピューティングデバイス120の1つまたは複数のプロセッサは、OAおよびUS特徴スコアを割り当てる。例えば、OAおよびUS特徴スコアは、OAおよびUS画像を表示しているときに人間の専門家によって割り当てられる場合がある。追加的または代替的に、OAおよびUS特徴スコアは、OAおよびUS画像の自動セグメンテーションおよび分析に基づいて、プロセッサによって自動的に割り当てられ得る。US特徴でのOAの自動割り当ては、人間の専門家による観察とは全く別個に、またはそれと組み合わせて実行できる。例えば、OA特徴スコアは次のOA特徴の1つまたは複数に関連している可能性がある、すなわち、1)内部血管分布と脱酸素化、2)腫瘍周囲境界ゾーンの血管分布と脱酸素化、3)内部脱酸素化赤面、4)内部全血、5)外部腫瘍周囲放射血管、および6)干渉するアーチファクトである。例えば、非OA特徴スコアは、次の超音波特徴の1つまたは複数に関連する可能性がある、すなわち、1)US形状スコア、2)US内部テクスチャ、3)US音響透過、4)US被膜または境界ゾーン、5)US末梢ゾーン、6)患者の年齢、7)マンモグラム-BIRADS、8)病変サイズ、および/または9)病変後部深さである。
【0191】
次に、506~508での任意選択の動作について説明する。506で、コンピューティングデバイス120は、利用され得る利用可能なモデルのリストの要求を生成する。コンピューティングデバイス120によって、ユーザ入力なしで自動的に生成される要求。任意選択で、要求はGUIを通した臨床医からの指示に応答して生成され得る。サーバ106のプロセッサは、モデルのリストの要求を受信し、それに基づいて、507で利用可能なモデルを識別する。508で、サーバ106のプロセッサは、利用可能なモデルのリストをコンピューティングデバイス120に返す。利用可能なモデルは、様々な方法で決定できる。例えば、モデルの複数のアンサンブルを1つのタイプのPML分類子に関連して格納できる。例えば、XGBTree PML分類子は、モデルの複数のアンサンブルを生成する場合があり、ここで、モデルの各アンサンブルは、異なる対照ラベル付きデータセットに基づいている。追加的または代替的に、モデルの各アンサンブルは、異なるタイプのPML分類子を利用して生成することができる。例えば、XGBツリーPML分類子は、対照ラベル付きデータセットを利用するモデルの第1のアンサンブルを生成できるが、ロジスティック回帰PML分類子は、同じ対照ラベル付きデータセットを利用するモデルの第2のアンサンブルを生成できる。モデルのアンサンブルは、他のタイプのPML分類子を利用して形成できる。
【0192】
モデルのリストが508で返されると、コンピューティングデバイス120は、現在の個々の患者に関連して使用されるモデルの1つのアンサンブルを選択する。モデルのアンサンブルの選択は、GUIを通して臨床医が手動で実行できる。追加的または代替的に、コンピューティングデバイス120のプロセッサは、様々な基準に基づいてモデルのアンサンブルを自動的に選択することができる。例えば、コンピューティングデバイス120は、現在の個々の患者に利用可能な情報の量に基づいて、OAおよびUS画像などの性質に基づいてなどによって、モデルのアンサンブルを自動的に選択することができる。追加的または代替的に、異なるがんサブタイプが別々にモデル化される場合、モデルの特定のアンサンブルは、対象のがんの特定のサブタイプに関連して選択され得る。506~508での動作は、モデルの複数のアンサンブルが使用可能な場合に利用される。任意選択で、モデルの単一のアンサンブルのみが使用可能な場合、506~508での動作を完全に省略できる。
【0193】
510で、コンピューティングデバイス120は、LOM要求(より一般的には予測結果要求)を生成し、サーバ106に送信する。LOM要求(予測結果要求)は、とりわけ、利用されるモデルのアンサンブルの識別のほか、OAおよびUS特徴スコアならびに他の患者固有のデータ(例えば、年齢、Bi-RADスコア)も含み得る。サーバ106は、対象のボリュームが疑わしい病変を含む、対象のボリュームについての患者の検査から収集されたOA画像と非OA画像に関連するOAおよび非OA特徴スコアを受信する。
【0194】
512で、サーバ106のプロセッサは、現在の観察値のOAおよび非OA特徴スコアを指定されたマスター分類モデルおよびブートストラップ分類モデルに適用して、病変特性(例えば、病変が悪性クラスまたは良性クラスである可能性)を示す予測結果を取得する。514で、サーバ106のプロセッサは、マスター分類モデルに適用される現在の観察値のOAおよび非OA特徴スコアに基づいて分類確率を取得する。追加的または代替的に、サーバ106のプロセッサは、PPVマッピング関数402(
図4)および現在の観察値の現在の分類確率に基づいて、陽性予測値を取得することができる。516で、サーバ106のプロセッサは、ブートストラップ分類モデルに適用される現在の観察値のOAおよび非OA特徴スコアに基づいて予測区間を取得する。
【0195】
518で、サーバ106のプロセッサは、複合予測結果(PR)応答として、分類確率および/またはPPVの組み合わせ、ならびに削減区間を返す。本明細書に記載されているように、分類確率またはPPVは、悪性腫瘍の可能性として利用され得る。520で、コンピューティングデバイス120のプロセッサは、GUI104を通して複合PRを表示するなど、複合PR(例えば、LOMおよび予測区間)を出力する。複合PRの出力には、患者の記録に関連して複合PRを格納することも含まれる場合がある。追加的または代替的に、コンピューティングデバイス120は、複合PRに基づいて他のアクションを実行することができる。例えば、コンピューティングデバイスは、他の医療関係者に通知を送信し、レポートを開始し、フォローアップ手順のスケジューリングを開始するなどのことができる。さらなる例として、LOMおよび信頼区間が、病変が良性であることを示す場合、コンピューティングデバイス120は、通知またはレポートを患者に自動的に送信することができる(例えば、テキストメッセージ、電子メールまたは他の電子通知手段を介して)。その後、
図5Aの動作は終了する。
【0196】
図5Bは、本明細書の実施形態による、病変が悪性クラスまたは良性クラスにある可能性を示す病変特性を得るために、OA(および非OA)特徴スコアを分類モデルに適用するためのプロセスを示している。サーバ106は、1つまたは複数のプロセッサを利用して、OAおよび非OA特徴スコアを適用することができる。
図5Bの例は、分類モデルとして、デシジョンツリー250(
図2Bに関連して上述)を示している。サーバ106は、臨床医のコンピューティングデバイス120から要求550を受信する。サーバ106の1つまたは複数のプロセッサは、要求550から、デシジョンツリー250に、OA特徴スコア552および非OA特徴スコア554を適用する。260で、プロセッサは、内部血管分布と脱酸素化のOA特徴スコアが3未満であるかどうかを決定する。
図5Bの例では、テストは真であり、したがって、破線の決定経路556によって示されるように、流れは決定点264に分岐する。264で、プロセッサは、内部全血スコアのOA特徴スコアが2以上であるかどうかを決定する。264でのテストは障害であるため、フローは決定点270に分岐し、ここで、プロセッサは内部の血管分布と脱酸素化が2に等しいかどうかを決定する。プロセッサは、病変特性1022に到達するまで、OAおよび非OA特徴スコア252、254のテストを継続する。
【0197】
図5Bの決定点は、OA特徴に関連するテストのみを示しているが、デシジョンツリーは、OA特徴スコアと組み合わせて、非OA特徴スコアをデシジョンツリーに適用し、病変特性および/または病変特性に関連付けられた分類確率を取得するために、非OA特徴をテストする決定点も含み得ることが理解される。
【0198】
示されていないが、サーバ106のプロセッサは、要求550をマスター分類モデルの複数のデシジョンツリーに適用し、ここで、各デシジョンツリーは、対応する病変特性を出力する。サーバ106のプロセッサは、マスター分類モデルから取得された病変特性を組み合わせて、分類確率を取得する。次に、分類確率は悪性腫瘍の可能性として利用され得る。代替的に、分類確率をマッピング関数402(
図4)に適用して、対応する陽性予測値を決定し、それを次に悪性腫瘍の可能性として利用することができる。
【0199】
追加的または代替的に、サーバ16のプロセッサは、要求550をブートストラップされたモデルのデシジョンツリーに適用することができる。ブートストラップされた各モデルは、現在の観察値の分類確率を返す。プロセッサは、分類確率を昇順または降順にソートする。次に、プロセッサは、予測区間のターゲットサイズに基づいて、予測区間の上限と下限を選択する。例えば、90%の予測区間では、プロセッサは5%レベルの分類確率を予測区間の下限として選択し、95%レベルの分類確率を予測区間の上限として選択する。さらなる例として、100個のブートストラップモデルがトレーニングされ、現在の患者の現在の観察値が100個のブートストラップモデルに適用された場合、100個の分類確率が返される。プロセッサは、100個の分類確率を昇順または降順に並べ替えてから、5番目に低い分類確率と5番目に高い分類確率を選択して、90%の予測区間の上限と下限にする。代替的に、異なる予測区間範囲(例えば、80%)が所望される場合、プロセッサは、対応する上位および下位の分類確率(例えば、10番目に低いおよび10番目に高い)を同様に選択する。
【0200】
必要に応じて、リーフノードの最終層(病変特性に対応する)には、分類確率(例えば、観察値が悪性クラスに属する確率)が含まれる場合がある。リーフノードでの分類確率は、ツリーの構築時に計算され得る。分割プロセスにより、トレーニングセットのすべての観察値が1つ、および1つのみのリーフになる。リーフノードに関連付けられた分類確率は、悪性としてラベル付けされたリーフの観察値の割合である。
【0201】
図6は、本明細書の実施形態による、結果として得られる予測結果を表示することができる方法の一例を示している。予測結果600は、悪性腫瘍スケールの可能性を表す色分けされたスケール602に沿って提示され得、ここで、スケールは、開始604での0%(例えば、悪性腫瘍の0%の可能性)から終了606での100%(例えば、悪性腫瘍の100%の可能性)にまで及ぶ。色分けされたスケール602は、608の緑ゾーン、黄色ゾーン610、およびオレンジゾーン612と赤ゾーン614との間など、移行する色合いを含み得、ここで、色はゾーン間で融合する。予測結果600は、LOM620を含み、これは、マスター複合モデルによって決定された分類確率および/またはPPVマッピング関数402によって決定された陽性予測値に対応し得る。予測結果600はまた、LOM620のいずれかの側に延びる予測区間622を含む。現在の例では、予測区間622は、病変が特定の特性を示す(例えば、悪性クラスにある)可能性が14%から16%で、上限と下限の間に及ぶ。
【0202】
任意選択で、決定しいき値630は、色分けされたスケール602で提供され得るものであって、決定しいき値630は、患者が病変から生検を取得するケア決定を行うことを臨床医が選択できる点を示す。例えば、決定しいき値630は、98%の感度に対応し得る。
【0203】
光音響データを提示するためのシステムおよび方法
光音響画像化(OA)は、パルスレーザー光を使用して組織を照らし、ヘモグロビンやデオキシヘモグロビンなどの複数の吸収体による入射レーザーパルスの吸収に続く一時的な熱弾性膨張によって生成された光音響波を分解する画像化技術である。線形アレイ超音波(US)トランスデューサを使用する光音響システムは、内部組織コントラストを使用する利点を活用して、解剖学的グレースケールUS画像化に機能的価値を追加する。以前の臨床試験では、USと組み合わせて使用した場合、乳房腫瘤のOA特徴は、悪性腫瘤と良性腫瘤をよりよく区別するのに役立つ潜在性を有し、偽陽性US評価を大幅に減らし、不要な生検を減らす潜在的な下流効果があることが示された。乳がんでは、主に既存の血管系のがんの成長が原因で低酸素症が発生し、治療反応および腫瘍の進行をもたらす適応反応につながる。予後不良の重要な指標としての乳房腫瘍微小環境での低酸素症の重要性は、近年よく認識されてきた。リアルタイムで腫瘍画像と同時登録されたヘモグロビン濃度とその酸素化状態の画像化は、乳がんの予後をよりよく特徴付け、臨床管理の決定を支援するのに役立つ可能性がある。したがって、画像由来のOA/USの特徴が、組織の免疫組織化学によって決定された乳がんの分子サブタイプと相関するかどうかを調査するために、この研究を実施した。
【0204】
以下に説明する光音響/超音波画像化システムは、組織部位の皮膚を通して非侵襲的に薄い組織スライスを視覚化する。「組織部位」という用語は、動物およびヒトの組織および器官、例えば乳房組織などの位置またはターゲットを広く指す。組織部位は、例えば、腫瘍、血管、組織層、および血液の構成要素を含み得る様々に異なる「組織構造」を含み得る。以下に説明するように、サイノグラムは、組織部位に衝突する1つまたは複数の光イベントに応答して、ある時間の期間にわたって発生する音響アクティビティのサンプル記録を含み得る。サイノグラムにキャプチャされた音響アクティビティは、光音響応答、すなわち、例えば、電磁エネルギーを吸収する様々な組織構造などの組織部位内の材料によって吸収される電磁エネルギーの結果として生成される音響信号を含み得る。これらの光信号は、光イベントに応答して組織構造内に熱弾性応力が閉じ込められることの開放から生じる。
【0205】
図7に目を向けると、光音響システムおよび方法という見出しの下で、一般的に以下で説明されるように、光経路132および電気経路108を介してシステムシャーシ101に接続されたプローブ102を含むデバイス100がある。システムシャーシ101内には、光サブシステム129およびコンピューティングサブシステム128が収容されている。コンピューティングサブシステム128は、とりわけ、光音響制御および分析のための1つまたは複数のコンピューティング構成要素を含む。一実施形態では、プローブ102のトランスデューサのサンプリングを通じて、デバイス100は、パルス光源130、131(すなわち、光音響戻り信号)によって引き起こされる刺激、および超音波トランスデューサ要素の音響出力によって引き起こされる刺激に応答して受信されたデータを取得することができる。
【0206】
一実施形態では、あるボリュームの組織で発生する単一の光イベントに対応する光音響戻り信号を取得するために、プローブ102のトランスデューサを、光イベント後の一定の時間期間サンプリングすることができる。一実施形態では、プローブ102のトランスデューサは、光イベントの後、音が組織の所望の距離を移動するのにかかる時間にほぼ等しい時間期間サンプリングすることができる。一実施形態では、所望の距離は、少なくとも1センチメートルであり得る。一実施形態では、所望の距離は、少なくとも2センチメートルであり得る。一実施形態では、サンプリングの期間は、音が組織の少なくとも1センチメートル、しかし15センチメートル以下移動するのにかかる時間量に対応する。サンプリングレートは、光音響戻り信号で十分な情報を取得するのに十分でなければならない。一実施形態では、サンプリングレートは20メガヘルツ(MHz)を超え、別の実施形態では、サンプリングレートは約30MHzを超える。
【0207】
以下でさらに説明されるように、一実施形態では、デバイス100は、異なる光波長で動作する少なくとも2つの光源130、131を備える。一実施形態では、2つの光源130、131が異なる光波長で動作する場合、各光源からの1つの光イベントからの光音響戻り信号を、光音響データを提示するための方法およびシステムで使用することができる。一実施形態では、デバイス100は、本明細書の記載で使用するのに十分な速さで波長を変更できる波長可変レーザーなど、異なる波長で動作することができる単一の光源を含む。一実施形態では、デバイス100は、それぞれが複数の異なる波長に調整することができる少なくとも2つの光源130、131を備える。一実施形態では、デバイス100は、1つの光波長を動作させる1つの光源130、および複数の異なる波長に調整することができる少なくとも1つの追加の光源131を備える。
【0208】
本明細書で使用される場合、サイノグラムという用語は、単一の光イベントに対応するサンプリングされたデータまたは処理されたサンプリングデータを指す。サイノグラムという用語は時々、元のサンプリングデータまたはフィルタリングされたサンプリングデータをグレースケールまたはカラーデータとして使用して提示された画像を指すために使用されるものであって、データのサンプルと画像のボクセルの間には対応関係がある。一実施形態では、それぞれが異なる波長の光に対応する、2つの異なる光イベントからの光音響戻り信号を使用し、短いサイノグラムという用語は、光イベントを生成するより短い波長の光に対応するサイノグラムを指し、長いサイノグラムという用語は、光イベントを生成する光のより長い波長に対応するサイノグラムを指す。3つ以上の異なる波長を使用できるため、短波長と長波長という用語の使用は、任意の数の波長を伴うシステムの拡張コンテキストを具体化することを目的としている。
【0209】
一実施形態では、以下でより詳細に説明するように、サイノグラムは、エンベロープ画像を生成するために処理される。本明細書で使用される場合、短いエンベロープ画像という用語は、短いサイノグラムに対応するエンベロープ画像を指し、長いエンベロープ画像という用語は、長いサイノグラムに対応するエンベロープ画像を指す。一実施形態では、短いサイノグラムおよび長いサイノグラムは、おのおの別々に処理されて、それぞれ、短いエンベロープ画像および長いエンベロープ画像を生成する。次に、短いエンベロープ画像と長いエンベロープ画像を一緒に使用して、パラメトリック画像を生成する。パラメトリック画像から、酸素化、ヘモグロビン、マスクされた酸素化のマップを作成できる。これらのマップは、実質的に同じボリュームの超音波画像を表す同時登録データであり得、その後、酸素化画像、ヘモグロビン画像、およびマスクされた酸素化画像の1つまたは複数を生成することができる。一実施形態では、酸素化画像、ヘモグロビン画像、およびマスクされた酸素化画像は、組織のボリュームの組成に関する情報を反映している。パラメトリックマップとパラメトリック画像という用語は、場合によっては区別なく使用される。マップという用語の使用は、一般に、画像とボリュームとの対応に関連している。パラメトリックマップは、例えば、単一チャネル(つまり、グレースケール)表現、色(つまり、RGB)表現、または透明度のある色(RGBA)表現など、様々な方法で表現できる。パラメトリックマップは、1つまたは複数のパラメータに関する定性的または定量的な情報を伝達するために使用できる。パラメトリックマップまたはパラメトリック画像は、コンピュータメモリで表されるか、または表示された表現として提示され得、したがって、本明細書で使用される場合、「画像」または「マップ」という用語は、必ずしも視覚的表現を意味するわけではない。
【0210】
様々な理由で、サイノグラムには、不要な、不正確な、または不十分なスケーリングのデータが含まれている場合がある。サイノグラムデータのこれらの弊害は、測定機器(プローブなど)または使用する光の特性、ボリューム(つまり、組織)の特性、ボリュームとプローブまたは光、外部刺激、あるいは他のソースとの相互作用の特性を含む、無数の理由から生じる可能性がある。ソースに関係なく、様々なプロセスを使用して、サイノグラムデータの不要な特徴を削除できる。
【0211】
一般に、サイノグラムを処理するための以下の各ステップでは、処理は時間領域信号に対して実行される。好ましい実施形態では(および以下で説明するように)、プローブ102は、サイノグラムデータがトランスデューサの平面より下の平面上にあるもの、すなわち画像平面により焦点を合わせることができるようにする音響レンズを含む。一実施形態では、プローブは、10から40ミリメートルの間の焦点距離を有する音響レンズを備える。例示的な実施形態では、プローブは、20ミリメートルの焦点距離を有する音響レンズを備える。一実施形態では、プローブは、ハードウェアまたはソフトウェアでズームインまたはズームアウトできる焦点距離を有する音響レンズを備え得る。
【0212】
上述のように、例示的な一実施形態では、サイノグラムデータの各チャネルは、ボリュームの約100ミリメートルの距離を表す。音響レンズは、一般に、外側の点(例えば、直交する)から画像平面に伝搬する信号の少なくとも一部を拒絶する。しかしながら、各トランスデューサは、約100ミリメートルの距離内にある画像平面の実質的にすべての点から信号を受信する。チャネルの受信信号は、画像平面上の半径100ミリメートルの半円の領域を備えると考えることができる。
【0213】
図8に目を向けると、短いサイノグラム(ステップ205)、長いサイノグラム(ステップ210)、および超音波画像(ステップ215)の3つのデータのセットの取得から始まる、例示的なプロセスの概要が示されており、データを処理して、取得したデータの様々な態様を表示するのに役立つ可能性のある最大6つの個別の画像を生成する。例示的な一実施形態では、取得されたデータの3つのセットは、プローブ102(
図7)を使用して取得され得る。本明細書の説明の目的のために、プローブ102の動きは、もしある場合、ステップ205、210、および215でのデータの3つのセットの取得の間で最小であると推定され得る。例示的な一実施形態では、プローブを手で保持する際に使用される適度に安定した手と組み合わされた合理的なフレームレート(例えば、10Hz)は、その間に発生する実質的に最小の動きを有する3つのデータセットを生成し得る。本明細書で説明されるプロセスは、3つの識別されたデータセットで使用されることに限定されないことに留意されたい。例えば、追加の波長の光からのデータセットなどの追加のデータセットの使用を使用して、結果として得られる画像をさらに改善することができる。
【0214】
以下でより詳細に説明されるように、短いサイノグラムデータおよび長いサイノグラムデータは、1つまたは複数の別個の方法で前処理され(ステップ220)、測定機器(例えば、プローブ)または使用される光の特性、ボリューム(すなわち、組織)の特性、ボリュームとプローブまたは光、外部刺激、あるいは他のソースとの間の相互作用の特性を含む、サイノグラムの望ましくないデータを低減または補償する。前処理の後、別々の短い画像と長い画像が再構成される(ステップ225)。一実施形態では、複雑な短い画像と長い画像の別々の実数構成要素と虚数構成要素が、再構成ステップから生じる。一実施形態では、再構成された画像の処理(ステップ230)が実行される。処理(ステップ230)は、再構成された画像で識別できる追加のアーチファクトを除去することができ、いずれにしても、短いエンベロープ画像(232)および長いエンベロープ画像(234)を作成する。一実施形態では、短いエンベロープ画像および長いエンベロープ画像(232、234)を使用して、パラメトリック画像(ステップ240)プロセスを生成する。生成されたパラメトリック画像(ステップ240)プロセスは、酸素化マップ(250)、ヘモグロビンマップ(255)、およびマスクされた酸素化マップ(260)を出力する。一実施形態では、3つのマップのいずれかまたはすべてが、超音波画像と同時登録され、超音波画像にオーバーレイされる(ステップ265)。ステップ270、275、280、285、290および295で表示される1つまたは複数の表示可能な画像を表示するために、ディスプレイを提供することができる。一実施形態では、2つ以上の画像のグループを同じ画面に表示することができ、一般にスケーリングおよびサイズ設定することができる。一実施形態では、6つの画像すべてのグループを同じ画面に表示することができ、一般的にスケーリングおよびサイズ設定することができる。
【0215】
一実施形態では、光音響データに対して処理を実行するシステム、および/または光音響出力を表示するシステムは、サイノグラムを取得するシステムと同じである必要はない可能性があるが、オペレータに、光音響画像を処理または表示するときに、処理で使用されるパラメータを変更する能力を提供する。一実施形態では、光音響データに対して処理を実行するシステム、および/または光音響出力を表示するシステムは、光音響画像を処理するために使用される処理ステップのオンとオフを切り替えたり、潜在的に順序を変える能力をオペレータに提供する。
【0216】
図7に戻ると、一般に、デバイス100は、マルチモダリティ、組み合わされた光音響および超音波システムとしても採用され得る光音響システムを提供する。一実施形態では、デバイス100は、光経路132および電気経路108を介してシステムシャーシ101に接続されたプローブ102を含む。システムシャーシ101内には、光サブシステム129およびコンピューティングサブシステム128が収容されている。コンピューティングサブシステム128は、超音波制御および分析ならびに光音響制御および分析のための1つまたは複数のコンピューティング構成要素を含み、これらのコンポーネントは、個別である場合または統合されている場合がある。一実施形態では、コンピューティングサブシステムは、リレーシステム110、光音響処理およびオーバーレイシステム140、ならびに超音波機器150を備える。
【0217】
一実施形態では、光サブシステム129は、少なくとも2つの異なる波長の光のパルスを生成することができる。一実施形態では、光サブシステム129の出力は、これらの波長のそれぞれで光の短いパルス、例えば、約100ns未満、潜在的には約5nsと短いパルスを生成することができなければならない。本開示から当業者に明らかであるように、本明細書に開示される本発明はまた、100nsを超える持続するパルスを備えるパルス光を使用して実施され得る。一実施形態では、光サブシステム129は、2つの別個の光源130、131を含む。光サブシステム129の出力は、光経路132を介してプローブ102に送達される。一実施形態では、光源130、131は、赤外線、近赤外線、および/または可視スペクトルの光を生成するレーザーである。一実施形態では、光源130および光源131はそれぞれ、赤外線または近赤外線スペクトルで異なる波長の光を生成する。一実施形態では、光サブシステム129からプローブ102に光を送達するために使用される光経路132は、光ファイバの複数のストランドを備える光ファイバ束である。一実施形態では、光経路132は、光経路132の遠位端に短い高出力の光パルスを搬送するのに十分なサイズ(直径)の十分な光ファイバを備える。一実施形態では、光経路132を介して搬送される総パルスエネルギーは、1から数ミリジュールほどであり得る。一実施形態では、光経路132から送達される光パルスあたりの総エネルギーは、約100ミリジュール未満である。一実施形態では、光経路132を介して搬送される光パルスあたりの総エネルギーは、約50~90ミリジュールの範囲であり、光経路132は、それぞれ約100~300ミクロンの約1000から2000本の光ファイバを備える。一実施形態では、単一のファイバを光経路132として使用することができる。そのような実施形態では、ファイバは、直径が1000~1500ミクロンであり得る。もちろん、そのような単一のファイバの直径は、より小さく、例えば、400ミクロンであり得る。ファイバ上で搬送される必要な総パルスエネルギーが与えられると、当業者は、それに応じてファイバに必要な直径を計算することができる。
【0218】
例示的な一実施形態では、光サブシステム129は、その2つの光源130、131としてNd:YAGおよびアレキサンドライトレーザーを使用することができるが、他のタイプまたは波長、および追加の光も使用することができる。光源130、131は、光の短いパルス、例えば、約100ns未満、より好ましくは約5nsに持続するパルスを生成することができなければならない。一実施形態では、2つの光源130、131は、別々にトリガーすることができる。一実施形態では、光源130、131によって出力された光は、一般に1つの光130が第1の側から第2の側に通過することを一般に可能にする光学要素133の使用を通じて同じ光経路132に投射され得ると同時に、第2の側に当たる1つの光源131を反射する。光学要素133または同様の要素の使用は、光経路132の近位端へのレーザーなどの2つの光源130、131の出力の整列を可能にする。一実施形態では、光学要素133は、例えば、複数の光学要素133を使用することにより、3つ以上のレーザーからの光出力を整列させることができる。一実施形態では、複数の光システムおよび光経路を採用することができ、各光システムの光は、それらの遠位端で混合および/またはランダム化(以下でさらに説明)および/またはグループ化することができる別個のファイバまたはファイバグループで搬送される。この文脈で使用される場合、混合とは、ファイバが一般に遠位のグループ化に比較的均等な方法で分散するような、光経路のファイバのマッピングを指す。したがって、光経路の近位端にある複数の隣接するファイバは、一般に、遠位端でのグループ化にほぼ均等に分割される。例示的な一例として、2つの遠位グループ化が存在する場合、近位端に隣接するファイバの十分なグループの任意の選択は、2つの遠位グループ化の間でほぼ均等に分割されなければならない。ランダム化、混合、および/またはグループ化は、光経路132上の特定の場所で行われる必要はない。言い換えれば、例えば、ファイバケーブルの1つの近位グループから2つの遠位グループへの分割は、光経路132に沿った任意の点で、または光経路132の実質的に全長に沿って起こり得る。同様に、ランダム化および/または混合は、光経路の全長に沿って行われる必要はなく、むしろ、例えば、光経路のいずれかの端部の近くの、例えば、数センチメートル以上の距離に沿って、または光経路132に沿った他のどこかで行われ得る。光経路の一端と他端の間のファイバをランダム化することにより、入力上のファイバの隣接グループに影響を与える局所的な異常が、出力上のファイバの重要な隣接グループに影響を与えるのを防止する。光経路の一端と他端の間のファイバの混合により、入力上のファイバの隣接グループに影響を与える局所的な異常が、出力上のファイバの1つのグループまたはサブグループに不均衡に影響を与えるのを防止する。
【0219】
光経路がファイバの複数のグループ(またはサブグループ)で終わる場合、グループ(またはサブグループ)の遠位端は、融合、ラップ仕上げ、研磨、または単に一緒に固定(取り外し可能またはその他)することができる。一実施形態では、光経路の遠位端は、トランスデューサアレイの各側で光が放出されることを可能にするような方法で間隔を置いて配置された複数のグループに形成される。一実施形態では、光経路の遠位端は、光がトランスデューサアレイ全体の周りに放出されることを可能にするような方法で間隔を置いて配置された複数のグループに形成される。一実施形態では、光経路の遠位端は2つ以上のグループに形成され、2つ以上のグループは、ライトバーガイドによって別々に固定されるサブグループに細分され、ライトバーガイドはそのグループに関連付けられ得る。一実施形態では、光学要素133は、光エネルギーを測定して光パルスあたりのエネルギーを決定するために使用される光学要素からなり得る。
【0220】
光経路132を介して搬送される光パルスあたりの総エネルギーは数十ミリジュールほどであるが、光源130、131のパルスは非常に短く、光経路132を介して出力されるピーク出力は頻繁にメガワット範囲に近づいたり、そのようになったりする。したがって、光源130、131の出力は、光ファイバおよび/または光ファイバ上のクラッドを燃焼、変色、またはそうではない場合は劣化させる能力を有する。そのような劣化した光ファイバおよび/またはクラッドは、焼けているか、変色しているか、またはそうでないかにかかわらず、それらがより少ない光パワーを伝達し始め、より多くの加熱を引き起こすので、問題を悪化させる可能性がある。したがって、一実施形態では、ピーク出力負荷の処理を可能にし、ファイバの焼損を回避するのに十分な数およびサイズの光ファイバが光経路132に存在する。より高いピーク出力に対応するために、より大きなファイバ束を使用できる。光ファイバの数または光ファイバの直径、あるいはその両方を増加させることによって、ファイバ束のピーク出力容量を増加させることができることは当業者には明らかであろう。しかしながら、特に、ファイバ束の寸法が増加するにつれて、光経路132の重量および柔軟性は望ましくなくなる可能性がある。さらに、より多くの光ファイバ、またはより大きな直径の光ファイバを使用する場合、光サブシステム129の出力は、より大きな束のより広い直径を横切って光経路132に送達されなければならない。一実施形態では、光経路132の近位端の最終的なサイズに関係なく、光サブシステム129の出力は、予想されるピーク出力範囲で動作するとき、バーンアウト障害を防ぐために、その断面全体に十分に分散される必要がある。
【0221】
一実施形態では、光経路132の近位端のファイバを融合して、光サブシステム129の出力のための光経路132への融合された入口点を形成することができる。一実施形態では、ファイバ端は、熱を加えることによって融合することができる。一実施形態では、融合端は金属リングで囲まれていてもよい。一実施形態では、融合端は、ステンレス鋼リングで囲まれてもよい。光経路132の近位端が融合されると、それは実質的により高いピーク出力でのバーンアウトに抵抗することになる。例えば、融合端光経路132を使用することにより、3倍、4倍、またはさらに5倍のピーク出力の搬送が可能になり得る。所与の光経路132において実質的により高いピーク出力を搬送する能力は、より柔軟でより軽い光ファイバ束を使用して、融合されていない光経路132と同じピーク出力を搬送することを可能にする。したがって、光経路を形成する光ファイバの融合されていない束に1/2インチ(12.7mm)の光ファイバ束が必要とされ得る、一実施形態では、融合された近位端を伴う1/4インチ(6.35mm)の光ファイバ束が同じピーク出力を搬送するために使用できる。融合された近位端を伴う1/4インチ(6.35mm)光ファイバ束は、重量が約1/4であり、1/2インチ(12.7mm)光ファイバ束よりもはるかに柔軟性がある。さらに、光経路132の近位端の融合は、融合が円形断面光ファイバの束ねられた端部に存在した可能性のあるファイバ間空間を除去するので、光源132を使用して照明するためのさらに小さな融合領域を生成し得る。したがって、以下の利点の1つまたは複数は、光経路132を備える光ファイバの近位端を融合することによって達成することができる、すなわち、光経路の軽量化、光経路の柔軟性の向上、障害の減少、信頼性の向上、より高いピーク出力容量である。
【0222】
一実施形態では、光経路132の近位端は、光源132の別個の光源130、131のために別個のグループに分離され得、光源130、131によって出力される光は、光経路132の異なる近位グループに投射され得る。3つ以上の別個のライトを使用することができ、光経路132の近位端は、各ライトについて少なくとも1つのグループに分離することができる。光経路132の近位端にあるファイバの各グループは、一緒に融合されて、それが関連付けられた光のための光経路132への融合された入口点を形成し得る。一実施形態では、近位に複数のグループを有する光経路のファイバで、近位端のグループまたはサブグループに関して混合される。一実施形態では、近位に複数のグループを有する光経路のファイバで、近位端のグループまたはサブグループに関してランダム化される。一実施形態では、光経路は、融合された近位端(入力)およびその遠位端(出力)上に少なくとも2つのグループを備え、ファイバは混合およびランダム化され、したがって、すなわち、(i)出力上のかなりの数の隣接するファイバに影響を与える異常を引き起こすこと、(ii)出力の1つに不均衡に影響を与えることから光経路の入力で隣接するファイバに影響を与える局所的な異常を防止する。一実施形態では、光経路は、近位端(入力)上に少なくとも2つのグループおよびその遠位端(出力)上に少なくとも2つのグループを備え、ファイバは混合およびランダム化され、したがって、すなわち、(i)出力上のかなりの数の隣接するファイバに影響を与える異常を引き起こすこと、(ii)出力の1つに不均衡に影響を与えることから光経路の入力で隣接するファイバに影響を与える局所的な異常を防止する。一実施形態では、光経路は、近位端(入力)上に少なくとも2つの融合されたグループおよびその遠位端(出力)上に少なくとも2つの融合されたグループを備え、ファイバは混合およびランダム化され、したがって、すなわち、(i)出力上のかなりの数の隣接するファイバに影響を与える異常を引き起こすこと、(ii)出力の1つに不均衡に影響を与えることから光経路の入力で隣接するファイバに影響を与える局所的な異常を防止する。
【0223】
一実施形態では、光経路132で使用することができるタイプの光ファイバは、より低い屈折率を伴う透明なクラッド材料によって囲まれた透明なコアを含む。コアは任意の透明な材料で作ることができるが、純粋なガラス(つまりシリカ)を使用すると優れた結果が観察されている。一実施形態では、光ファイバの束が融合される場合、クラッドは、融合される領域で除去され得る。一実施形態では、クラッドは、化学プロセスを使用して除去することができる。例えば、いくつかのクラッドには、熱硫酸またはアセトンを使用できる。融合前にクラッドを除去すると、クラッド材料の粒子が融合端に埋め込まれる可能性が減少し、そのような粒子は、光経路132を横切る光透過を妨害する可能性がある。
【0224】
一実施形態では、光源130、131によって出力された光は、光サブシステム129の内部にある、光学要素133を含み得る、光経路を介して光経路132の近位端にある融合された光ファイバ束に向けて送られる。一実施形態では、光サブシステム129は、1つまたは複数の波長で、レーザー光パルスを光経路132に出力することができるレーザーシステムである。一実施形態では、光経路132は、光サブシステム129の近位に融合端を有する光ファイバ束である。
【0225】
一実施形態では、デバイス100はまた、プローブ102に、および/またはそれからシステムシャーシ101に伸びる電気経路108を備える。一実施形態では、電気経路108は、プローブ102に、および/またはそれからシステムシャーシ101内のリレーシステム110へ伸びている。電気経路108は、プローブ102からシステムシャーシ101上のそれらのそれぞれの接続に向かって、光経路132の近く、横に、または同軸で伸びることができる。一実施形態では、電気経路108は、複数の別個の同軸ワイヤを含む。一実施形態では、電気経路108は、光経路132の少なくとも一部を伴う共通のジャケットで伸びる。光経路132の少なくとも一部を伴う共通のジャケットで電気経路108を伸ばすと、システムシャーシ101からプローブ102まで伸びるケーブルの数が減少する。光経路132の少なくとも一部を伴う共通のジャケットで電気経路108を伸ばすと、システムシャーシ101からプローブ102へ伸びる組み合わされたケーブル(すなわち、光経路132および電気経路108)の直径および重量を最小化し、耐久性を高めることができる。
【0226】
タッチスクリーンディスプレイであり得る、1つまたは複数のディスプレイ112、114は、画像およびデバイス100のユーザインターフェースの全部または一部を表示するために提供される。キーボード、マウス、および他の様々な入力デバイス(例えば、ダイヤルおよびスイッチ)などの1つまたは複数の他のユーザ入力デバイス(図示せず)が、オペレータからの入力を受信するために提供され得る。任意選択として、電力および制御経路109は、電力をプローブ102に搬送し、プローブ102とコンピューティングサブシステム128との間で信号を制御する。
【0227】
終わりに
図に示され、本明細書に記載される様々な方法は、方法の例示的な実施形態を表す。本方法は、ソフトウェア、ハードウェア、またはそれらの組み合わせで実装することができる。様々な方法において、ステップの順序を変更することができ、様々な要素を追加、並べ替え、結合、省略、変更などすることができる。様々なステップは、自動的に(例えば、ユーザ入力によって直接促されることなく)および/またはプログラム的に(例えば、プログラム命令に従って)実行され得る。
【0228】
本開示の利益を有する当業者に明らかであるように、様々な修正および変更を行うことができる。これは、そのようなすべての修正および変更を包含することを意図しており、したがって、上記の説明は、限定的な意味ではなく例示的な意味で見なされるべきである。
【0229】
本開示の様々な実施形態は、伝送制御プロトコル/インターネットプロトコル(「TCP/IP」)、ユーザデータグラムプロトコル(「UDP」)、オープンシステム相互接続(「OSI」)モデルの様々な層で動作するプロトコル、ファイル転送プロトコル(「FTP」)、ユニバーサルプラグアンドプレイ(「UpnP」)、ネットワークファイルシステム(「NFS」)、共通インターネットファイルシステム(「CIFS」)、AppleTalkなどの様々な市販のプロトコルのいずれかを使用する通信をサポートするために当業者によく知られている少なくとも1つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話ネットワーク、赤外線ネットワーク、無線ネットワーク、衛星ネットワークおよびそれらの任意の組み合わせであり得る。
【0230】
ウェブサーバを利用する実施形態では、ウェブサーバは、ハイパーテキスト転送プロトコル(「HTTP」)サーバ、FTPサーバ、共通ゲートウェイインターフェース(「CGI」)サーバ、データサーバ、Javaサーバ、Apacheサーバおよびビジネスアプリケーションサーバを含む、様々なサーバまたは中間層アプリケーションのいずれかを実行できる。サーバはまた、Java(登録商標)、C、C#またはC++あるいはRuby、PHP、Perl、PythonまたはTCLなどのスクリプト言語、ならびにそれらの組み合わせなどの任意のプログラミング言語で書かれた1つまたは複数のスクリプトまたはプログラムとして実装され得る1つまたは複数のウェブアプリケーションを実行することによってなどで、ユーザデバイスからの要求に応答してプログラムまたはスクリプトを実行することができ得る。サーバには、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、IBM(登録商標)から市販されているものを含むがこれらに限定されないデータベースサーバのほか、MySQL、Postgres、SQLite、MongoDB、および構造化または非構造化データを格納、取得、およびアクセスできるその他のサーバなどのオープンソースサーバも含まれる場合がある。データベースサーバには、テーブルベースのサーバ、ドキュメントベースのサーバ、非構造化サーバ、リレーショナルサーバ、非リレーショナルサーバ、またはこれらおよび/または他のデータベースサーバの組み合わせが含まれる場合がある。
【0231】
環境には、前述のように、様々なデータストアならびにその他のメモリおよび記憶媒体を含めることができる。これらは、1つまたは複数のコンピュータにローカル(および/または常駐)の記憶媒体上、またはネットワーク全体の任意またはすべてのコンピュータからリモートなど、様々な場所に配置できる。特定の実施形態のセットでは、情報は、当業者によく知られているストレージエリアネットワーク(「SAN」)に存在し得る。同様に、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能を実行するために必要な任意のファイルは、必要に応じてローカルおよび/またはリモートに格納することができる。システムがコンピュータ化されたデバイスを含む場合、そのような各デバイスは、バスを介して電気的に結合され得るハードウェア要素を含むことができ、その要素には、例えば、少なくとも1つの中央処理装置(「CPU」または「プロセッサ」)、少なくとも1つの入力デバイス(例:マウス、キーボード、コントローラ、タッチスクリーンまたはキーパッド)および少なくとも1つの出力デバイス(例:ディスプレイデバイス、プリンタまたはスピーカ)が含まれる。そのようなシステムはまた、ディスクドライブ、光記憶装置、およびランダムアクセスメモリ(「RAM」)または読み取り専用メモリ(「ROM」)などのソリッドステート記憶装置などのほか、リムーバブル媒体デバイス、メモリカード、フラッシュカードなどの1つまたは複数の記憶装置を含み得る。
【0232】
そのようなデバイスはまた、コンピュータ可読記憶媒体リーダー、通信デバイス(例えば、モデム、ネットワークカード(無線または有線)、赤外線通信デバイスなど)、および上記のようなワーキングメモリを含むことができる。コンピュータ可読記憶媒体リーダーは、リモート、ローカル、固定および/またはリムーバブル記憶装置、ならびに一時的および/またはより恒久的に、コンピュータ可読情報の、包含、格納、送信、および取得のための記憶媒体を表す、コンピュータ可読記憶媒体と接続するか、またはそれを受信するように構成することができる。システムおよび様々なデバイスはまた、通常、オペレーティングシステムおよびクライアントアプリケーションまたはウェブブラウザなどのアプリケーションプログラムを含む、少なくとも1つのワーキングメモリデバイス内に配置されたいくつかのソフトウェアアプリケーション、モジュール、サービスまたは他の要素を含む。代替の実施形態は、上述のものから多数のバリエーションを有し得ることを理解されたい。例えば、カスタマイズされたハードウェアを使用したり、および/または特定の要素をハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、またはその両方に実装したりすることもできる。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続を採用することができる。
【0233】
様々な実施形態は、コンピュータ可読媒体上で前述の説明により実装された命令および/またはデータを受信、送信、または格納することをさらに含み得る。コードまたはコードの一部を含むための記憶媒体およびコンピュータ可読媒体は、RAM、ROM、電気的に消去可能なプログラム可能な読み取り専用メモリ(「EEPROM」)、フラッシュメモリまたはその他のメモリ技術を含む、コンピュータ可読命令、データ構造、プログラムモジュールまたはその他のデータなどの情報の格納および/または送信のための任意の方法または技術で実装された揮発性および非揮発性、リムーバブルおよびリムーバブルではない媒体、コンパクトディスク読み取り専用メモリ(「CD-ROM」)、デジタル多用途ディスク(DVD)またはその他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは所望の情報を格納するために使用でき、システムデバイスからアクセスできるその他のいずれかの磁気記憶装置などの記憶媒体および通信媒体を含むがこれらに限定されない、当該技術で知られたまたは使用されるいずれかの適切な媒体を含み得る。本明細書で提供される開示および教示に基づいて、当業者は、様々な実施形態を実装するための他のやり方および/または方法を理解するであろう。
【0234】
したがって、明細書および図面は、限定的な意味ではなく例示的な意味で見なされるべきである。しかしながら、請求項に明記されている本発明のより広い趣旨および範囲から逸脱することなく、それに様々な修正および変更を加えることができることは明らかであろう。
【0235】
他の変形は、本開示の精神の範囲内である。したがって、開示された技術は、様々な修正および代替構造の影響を受けやすいが、その特定の例示された実施形態は、図面に示され、上部で詳細に説明されている。しかしながら、本発明を開示された特定の形態に限定する意図はないが、それどころか、添付の請求項で定義されているように、本発明の趣旨および範囲内にあるすべての修正、代替構造および同等物をカバーする意図があることを理解されたい。
【0236】
開示された実施形態を説明する文脈での(特に以下の請求項の文脈での)用語「a」および「an」および「the」ならびに同様の指示対象の使用は、本明細書に別段の指示がない限り、または文脈によって明確に矛盾しない限り、単数形および複数形の両方をカバーすると解釈されるべきである。「備える」、「有する」、「含む」および「包含する」という用語は、特に明記しない限り、制限のない用語(すなわち、「含むが、これらに限定されない」を意味する)として解釈されるべきである。「接続された」という用語は、変更されておらず、物理的な接続を指す場合、何かが介在している場合でも、部分的または全体的にその内に含まれている、接続されている、または結合されていると解釈されるべきである。本明細書での値の範囲の列挙は、本明細書で別段の指示がない限り、範囲内にある各個別の値を個別に参照する簡略化された方法として役立つことを単に意図し、各個別の値は、本明細書で個別に列挙されているかのように明細書に組み込まれている。「セット」(例えば、「アイテムのセット」)または「サブセット」という用語の使用は、特に明記しない限り、または文脈によって矛盾しない限り、1つまたは複数のメンバーを含む空でないコレクションとして解釈されるべきである。さらに、特に明記しない限り、または文脈によって矛盾しない限り、対応するセットの「サブセット」という用語は、必ずしも対応するセットの適切なサブセットを示すとは限らないが、サブセットと対応するセットは等しい場合がある。
【0237】
本明細書に記載のプロセスの動作は、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、任意の適切な順序で実行することができる。本明細書に記載のプロセス(またはその変形および/または組み合わせ)は、実行可能命令で構成された1つまたは複数のコンピュータシステムの制御下で実行され得、ハードウェアまたはそれらの組み合わせによって、1つまたは複数のプロセッサ上で集合的に実行するコード(例えば、実行可能命令、1つまたは複数のコンピュータプログラムまたは1つまたは複数のアプリケーション)として実装され得る。コードは、例えば、1つまたは複数のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形で、コンピュータ可読記憶媒体に格納され得る。コンピュータ可読記憶媒体は非一時的であり得る。
【0238】
本明細書で引用される刊行物、特許出願および特許を含むすべての参考文献は、各参考文献が参照により組み込まれることが個別にかつ具体的に示され、その全体が本明細書に明記される場合と同程度に、参照により本明細書に組み込まれる。
【0239】
本明細書に記載の主題は、その適用において、本明細書の説明に記載されている、または本明細書の図面に示されている構造の詳細および構成要素の構成に限定されないことを理解されたい。本明細書に記載の主題は、他の実施形態を行うことができ、様々な方法で実施または実行することができる。また、本明細書で使用される表現および用語は、説明を目的とするものであり、限定的なものと見なされるべきではないことを理解されたい。本明細書における「含む」、「備える」、または「有する」およびそれらの変形の使用は、その後に記載される項目およびその同等物、ならびに追加の項目を包含することを意味する。
【0240】
上記の説明は、例示を意図するものであり、限定的なものではないことを理解されたい。例えば、上述の実施形態(および/またはその態様)は、互いに組み合わせて使用することができる。加えて、その範囲から逸脱することなく、特定の状況または材料を本発明の教示に適合させるために多くの修正を行うことができる。本明細書に記載の寸法、材料のタイプ、および物理的特性は、本発明のパラメータを定義することを意図しているが、それらは決して限定するものではなく、例示的な実施形態である。上記の説明を検討すると、他の多くの実施形態が当業者には明らかであろう。したがって、本発明の範囲は、添付の請求項を参照して、そのような請求項が権利を与えられている同等物の全範囲とともに決定されるべきである。添付の請求項において、「含む」および「その中で」という用語は、それぞれの「含む」および「であって」という用語の平易な英語の同等物として使用される。さらに、以下の請求項において、「第1」、「第2」、および「第3」などの用語は、単にラベルとして使用され、それらのオブジェクトに数値要件を課すことを意図するものではない。さらに、以下の請求項の制限は、ミーンズプラスファンクション形式で書かれておらず、そのような請求項の制限が「のための手段」という句を明示的に使用し、その後にさらなる構造のない機能のステートメントが続くのではない限りおよびそれまで、35 U.S.C.§112(f)に基づいて解釈されることを意図していない。