IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴェリリー ライフ サイエンシズ エルエルシーの特許一覧

特表2024-509491病理組織画像に基づいてがん患者の生存を直接的に予測するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-04
(54)【発明の名称】病理組織画像に基づいてがん患者の生存を直接的に予測するためのシステム及び方法
(51)【国際特許分類】
   G16H 50/20 20180101AFI20240226BHJP
   G01N 33/483 20060101ALI20240226BHJP
   G01N 33/48 20060101ALI20240226BHJP
   G16H 30/00 20180101ALI20240226BHJP
   G06T 7/00 20170101ALI20240226BHJP
   G06V 10/82 20220101ALI20240226BHJP
【FI】
G16H50/20
G01N33/483 C
G01N33/48 Z
G16H30/00
G06T7/00 350C
G06V10/82
G06T7/00 612
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022577249
(86)(22)【出願日】2021-07-07
(85)【翻訳文提出日】2023-02-13
(86)【国際出願番号】 US2021040726
(87)【国際公開番号】W WO2021258081
(87)【国際公開日】2021-12-23
(31)【優先権主張番号】63/039,670
(32)【優先日】2020-06-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.TENSORFLOW
(71)【出願人】
【識別番号】516035068
【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ヘッジ,ナラヤン
(72)【発明者】
【氏名】リウ,ユン
(72)【発明者】
【氏名】マーメル,クレイグ
(72)【発明者】
【氏名】シュタイナー,デイビッド エフ.
(72)【発明者】
【氏名】ウルチン,エレリー
(72)【発明者】
【氏名】チェン,ポ-シュアン キャメロン
(72)【発明者】
【氏名】シュトゥムペ,マーティン
(72)【発明者】
【氏名】スー,ジャオヤン
(72)【発明者】
【氏名】サドフワニ,アパー
【テーマコード(参考)】
2G045
5L096
5L099
【Fターム(参考)】
2G045AA25
2G045AA26
2G045CB01
2G045CB02
2G045FA19
2G045JA01
5L096DA02
5L096EA35
5L096HA11
5L096JA11
5L096JA16
5L096KA04
5L099AA04
5L099AA26
(57)【要約】
【課題】 がん患者の生存を予測することである。
【解決手段】 1つの例示的な方法は、がん患者からの試料の1つ以上の病理組織画像を取得することと、1つ以上の病理組織画像から複数の組織画像パッチを選択することと、複数の訓練された機械学習(「ML」)モデルを含む深層学習システムによって、複数の組織画像パッチについての複数の画像特徴を決定することであって、各組織画像パッチが、訓練されたMLモデルの1つによって分析される、当該複数の画像特徴を決定することと、深層学習システムによって、決定された複数の画像特徴に基づいて、患者の生存の確率を決定することと、深層学習システムによって、決定された確率に基づいて、患者の生存の予測を生成することと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
方法であって、
がん患者からの試料の1つ以上の病理組織画像を取得することと、
前記1つ以上の病理組織画像から複数の組織画像パッチを選択することと、
複数の訓練された機械学習(「ML」)モデルを含む深層学習システムによって、前記複数の組織画像パッチについての複数の画像特徴を決定することであって、各組織画像パッチが、前記訓練されたMLモデルのうちの1つによって分析される、前記複数の画像特徴を決定することと、
前記深層学習システムによって、前記決定された複数の画像特徴に基づいて、患者の生存の確率を決定することと、
前記深層学習システムによって、前記決定された確率に基づいて、患者の生存の予測を生成することと、を含む、方法。
【請求項2】
前記複数の組織画像パッチが、無作為に選択される、請求項1に記載の方法。
【請求項3】
前記複数の組織画像パッチが、均一にサイズ設定される、請求項1又は2に記載の方法。
【請求項4】
前記複数のMLモデルが、重みを共有する複数の訓練された畳み込みニューラルネットワーク(CNN)であり、前記訓練されたCNNが、離散した生存時間にわたる確率分布としての生存喪失関数に従って、訓練画像のセットから予後を予測するように訓練された、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記深層学習システムが、前記訓練画像において、専門家のアノテーション又は関心対象の既知の特徴の利用を必要とすることなく訓練される、請求項4に記載の方法。
【請求項6】
前記生存喪失関数が、打ち切りの交差エントロピー関数を含む、請求項4又は5に記載の方法。
【請求項7】
組織試料における分子特性の予測を行うことを更に含む、請求項4~6のいずれか一項に記載の方法。
【請求項8】
前記分子特性が、遺伝子変異を含む、請求項7に記載の方法。
【請求項9】
前記深層学習システムが、固定タイプ、パッチサイズ、パッチセットサイズ、倍率、層数、ベース深度、L2正規化重み、初期学習速度、閾値、又は訓練データセットを含む、1つ以上のハイパーパラメータで調整される、請求項1~8のいずれか一項に記載の方法。
【請求項10】
がん患者の予後の予測のための弱教師付き深層学習システムであって、
非一時的コンピュータ可読媒体と、
前記非一時的コンピュータ可読媒体に通信可能に結合されたプロセッサであって、前記プロセッサが、前記非一時的コンピュータ可読媒体に記憶されたプロセッサ実行可能命令を実行して、
がん患者からの試料の1つ以上の病理組織画像を取得することと、
前記1つ以上の病理組織画像から複数の組織画像パッチを無作為に選択することと、
複数の訓練された機械学習(「ML」)モデルを含む深層学習システムによって、前記複数の組織画像パッチについての複数の画像特徴を決定することであって、各組織画像パッチが、前記訓練されたMLモデルのうちの1つによって分析される、前記複数の画像特徴を決定することと、
前記深層学習システムによって、前記決定された複数の画像特徴に基づいて、患者の生存の確率を決定することと、
前記深層学習システムによって、前記決定された確率に基づいて、患者の生存の予測を生成することと、を行うように構成されている、プロセッサと、を備える、弱教師付き深層学習システム。
【請求項11】
前記複数の組織画像パッチが、均一にサイズ設定される、請求項10に記載の弱教師付き深層学習システム。
【請求項12】
前記複数の組織画像パッチが、無作為に選択される、請求項10又は11に記載の弱教師付き深層学習システム。
【請求項13】
前記複数のMLモデルが、複数の訓練された畳み込みニューラルネットワーク(CNN)であり、前記訓練されたCNNが、離散した生存時間にわたる確率分布としての生存喪失関数に従って、訓練画像のセットから予後を予測するように訓練された、請求項10~12のいずれか一項に記載の弱教師付き深層学習システム。
【請求項14】
前記深層学習システムが、前記訓練画像において、専門家のアノテーション又は関心対象の既知の特徴の利用を必要とすることなく訓練される、請求項13に記載の弱教師付き深層学習システム。
【請求項15】
前記生存喪失関数が、打ち切りの交差エントロピー関数を含む、請求項13又は14に記載の弱教師付き深層学習システム。
【請求項16】
前記システムが、組織試料における分子特性の予測を行うように更に訓練される、請求項13~15のいずれか一項に記載の弱教師付き深層学習システム。
【請求項17】
前記分子特性が、遺伝子変異を含む、請求項16に記載の弱教師付き深層学習システム。
【請求項18】
前記深層学習アーキテクチャが、固定タイプ、パッチサイズ、パッチセットサイズ、倍率、層数、ベース深度、L2正規化重み、初期学習速度、閾値、又は訓練データセットを含む、1つ以上のハイパーパラメータで調整される、請求項10~17のいずれか一項に記載の弱教師付き深層学習システム。
【請求項19】
がん患者の予後の予測のための弱教師付き深層学習システムであって、
重みを共有する複数の畳み込みニューラルネットワークモジュールであって、前記複数の畳み込みニューラルネットワークの各々が、病理組織画像から無作為に選択された1つのトリミングされた組織画像パッチ、前記畳み込みニューラルネットワークの各々の出力を受信する平均化プール、及び完全に接続された層を、入力として有し、前記複数の畳み込みニューラルネットワークの各々が、各パッチから特徴を抽出し、パッチレベル特徴が、前記平均化プール内のチャネルごとに平均化され、かつ前記完全に接続された層に送られる、複数の畳み込みニューラルネットワークモジュールを備え、
前記複数の畳み込みニューラルネットワークが、離散した生存時間に対する確率分布としての生存喪失関数に従って、予後を予測するために、多くの異なるタイプのがん患者に任意選択的にわたる多数のがん患者の各々からの少なくとも1つの病理組織画像を含む、訓練画像から訓練され、
前記深層学習システムが、前記訓練画像において、専門家のアノテーション又は関心対象の既知の特徴の利用を必要とすることなく訓練される、弱教師付き深層学習システム。
【請求項20】
前記生存喪失関数が、打ち切りの交差エントロピー関数を含む、請求項19に記載の弱教師付き深層学習システム。
【請求項21】
前記がん患者が、前立腺がん、乳がん、結腸がん、頭頸部扁平上皮細胞がん、又は肝臓肝細胞がんを有する、請求項19に記載の弱教師付き深層学習システム。
【請求項22】
前記システムが、組織試料における分子特性の予測を行うように更に訓練される、請求項19に記載の弱教師付き深層学習システム。
【請求項23】
前記分子特性が、遺伝子変異を含む、請求項22に記載の弱教師付き深層学習システム。
【請求項24】
前記複数の畳み込みニューラルネットワークが、例えば、乳がん、又は前立腺がんなどの単一のタイプのがんを有する、多数のがん患者の各々からの少なくとも1つの病理組織画像から訓練される、請求項19~23のいずれか一項に記載の弱教師付き深層学習システム。
【請求項25】
請求項19に記載のがん患者の予後の予測のための複数の弱教師付き深層学習システムを含む、システムであって、前記複数の弱教師付き深層学習システムの各々が、単一のタイプのがんを有する多数のがん患者の各々からの少なくとも1つの病理組織画像から訓練され、前記単一タイプのがんが、乳がん、前立腺がん、結腸がん、頭頸部扁平上皮細胞がん、又は肝臓肝細胞がんのうちのいずれかであり得る、システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年6月16日に出願された、Direct Cancer Patient Survival Prediction Using Histopathology Imagesと題する米国仮特許出願第63/039,670号に対する優先権を主張するものであり、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、概して、病理組織画像、例えば、患者から取得され、全スライドスキャナで撮像された腫瘍生検の病理組織画像からがん患者の生存を予測するための機械学習方法に関する。
【背景技術】
【0003】
腫瘍学において予後情報を提供する能力は、治療及びモニタリングなどの臨床管理の決定に著しい影響を与える可能性がある。この目的のために最も一般的なシステムのうちの1つは、米国がん合同委員会(AJCC)の「TNM」がん段階分類システムであり、このシステムでは、腫瘍が、原発腫瘍サイズ/範囲(T)、リンパ節病変(N)、及び遠隔転移の有無(M)によって分類される。TNM段階分類は有用であり、よく研究されているが、一部の状況においては改善の余地があり、臨床変数、遺伝的情報、及び腫瘍悪性度を含む組織形態学的特徴などの情報を組み込んだ、改善された予測戦略を開発するための継続的な取り組みがある。
【発明の概要】
【0004】
病理組織画像に基づいてがん患者の生存を直接的に予測するためのシステム及び方法について、様々な例が記載されている。1つの例示的な方法は、がん患者からの試料の1つ以上の病理組織画像を取得することと、1つ以上の病理組織画像から複数の組織画像パッチを選択することと、複数の訓練された機械学習(「ML」)モデルを含む深層学習システムによって、複数の組織画像パッチについての複数の画像特徴を決定することであって、各組織画像パッチが、訓練されたMLモデルの1つによって分析される、決定することと、深層学習システムによって、決定された複数の画像特徴に基づいて、患者の生存の確率を決定することと、深層学習システムによって、決定された確率に基づいて、患者の生存の予測を生成することと、を含む。
【0005】
がん患者の予後の予測のための1つの例示的な弱教師付き深層学習システムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体に通信可能に結合されたプロセッサであって、プロセッサが、非一時的コンピュータ可読媒体に記憶されたプロセッサ実行可能命令を実行して、がん患者からの試料の1つ以上の病理組織画像を取得することと、1つ以上の病理組織画像から複数の組織画像パッチを無作為に選択することと、複数の訓練された機械学習(「ML」)モデルを含む深層学習システムによって、複数の組織画像パッチについての複数の画像特徴を決定することであって、各組織画像パッチが、訓練されたMLモデルのうちの1つによって分析される、当該複数の画像特徴を決定することと、深層学習システムによって、決定された複数の画像特徴に基づいて、患者の生存の確率を決定することと、深層学習システムによって、決定された確率に基づいて、患者の生存の予測を生成することと、を行うように構成されている、プロセッサと、を含む。
【0006】
がん患者の予後の予測のための別の例示的な弱教師付き深層学習システムは、重みを共有する複数の畳み込みニューラルネットワークモジュールであって、複数の畳み込みニューラルネットワークの各々が、病理組織画像から無作為に選択された1つのトリミングされた組織画像パッチ、畳み込みニューラルネットワークの各々の出力を受信する平均化プール、及び完全に接続された層を、入力として有し、複数の畳み込みニューラルネットワークの各々が、各パッチから特徴を抽出し、パッチレベル特徴が、平均化プール内のチャネルごとに平均化され、かつ完全に接続された層に送られる、複数の畳み込みニューラルネットワークモジュールを含み、複数の畳み込みニューラルネットワークが、離散した生存時間に対する確率分布としての生存喪失関数に従って、予後を予測するために、多くの異なるタイプのがん患者に任意選択的にわたる多数のがん患者の各々からの少なくとも1つの病理組織画像を含み、深層学習システムが、訓練画像において、専門家のアノテーション又は関心対象の既知の特徴の利用を必要とすることなく訓練される。
【0007】
これらの例示的な例は、本開示の範囲を限定又は定義するのではなく、むしろその理解を助けるための実施例を提供するように言及される。例示的な例については、更なる説明を提供する、詳細な説明で説明する。様々な実施例によって提供される利点は、本明細書を調べることによって更に理解され得る。
【図面の簡単な説明】
【0008】
本明細書に組み込まれ、その一部を構成する添付図面は、1つ以上の特定の実施例を示し、実施例の説明と共に、特定の実施例の原則及び実装を説明する役割を果たす。
【0009】
図1】病理組織画像に基づいてがん患者の生存を直接的に予測するための例示の深層学習システムを示している。
図2】病理組織画像に基づいてがん患者の生存を直接的に予測するための例示のシステムを示している。
図3A】DLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図3B】DLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図3C】DLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図3D】DLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図4A】各がん段階(それぞれ段階1~4)内のDLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図4B】各がん段階(それぞれ段階1~4)内のDLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図4C】各がん段階(それぞれ段階1~4)内のDLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図4D】各がん段階(それぞれ段階1~4)内のDLSリスクグループに対するカプラン・マイヤー曲線のプロットである。
図5A】生存予測に影響を与える画像パッチの4つのグループ(A、B、C及びD)の可視化からなる。
図5B】生存予測に影響を与える画像パッチの4つのグループ(A、B、C及びD)の可視化からなる。
図5C】生存予測に影響を与える画像パッチの4つのグループ(A、B、C及びD)の可視化からなる。
図5D】生存予測に影響を与える画像パッチの4つのグループ(A、B、C及びD)の可視化からなる。
図6】DLS訓練に対する喪失関数の比較を示すプロットである。
図7A】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7B】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7C】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7D】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7E】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7F】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7G】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7H】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7I】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図7J】各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。
図8A】乳房浸潤性がん(BRCA)の生存予測に影響を与える画像パッチの可視化を示している。
図8B】乳房浸潤性がん(BRCA)の生存予測に影響を与える画像パッチの可視化を示している。
図9A】結腸腺がん(COAD)の生存予測に影響を与える画像パッチの可視化を示している。
図9B】結腸腺がん(COAD)の生存予測に影響を与える画像パッチの可視化を示している。
図10A】頭頸部扁平上皮細胞がん(HNSC)の生存予測に影響を与える画像パッチの可視化を示している。
図10B】頭頸部扁平上皮細胞がん(HNSC)の生存予測に影響を与える画像パッチの可視化を示している。
図11A】肝臓肝細胞がん(LIHC)の生存予測に影響を与える画像パッチの可視化を示している。
図11B】肝臓肝細胞がん(LIHC)の生存予測に影響を与える画像パッチの可視化を示している。
図12】病理組織画像に基づいてがん患者の生存を直接的に予測するための例示の方法を示している。
図13】本開示による、病理組織画像に基づいて、がん患者の生存を直接的に予測するための例示のシステム及び方法での使用に適した例示の計算装置を示している。
【発明を実施するための形態】
【0010】
実施例は、病理組織画像に基づいてがん患者の生存を直接的に予測するためのシステム及び方法との関連で本明細書に記載される。当業者であれば、以下の説明は例示に過ぎず、いかなる方法でも限定することを意図するものではないことを理解するであろう。ここで、添付図面に示すような実施例の実装について詳細に参照する。同じ参照指標が、図面全体及び以下の説明を通して使用され、同一又は類似のアイテムを指す。
【0011】
明確にするために、本明細書に記載される実施例の日常的な特徴の全てが示され、かつ説明されているわけではない。もちろん、いくつかのこのような実際の実装の開発においては、アプリケーションやビジネスに関連する制約へのコンプライアンスなど、開発者の具体的な目標を達成するために、実装固有の決定を数多く行う必要があり、これらの具体的な目標は、実装ごとに、また開発者ごとに異なることが認識されよう。
【0012】
この文書において、我々は、専門家のアノテーションや関心対象の既知の特徴を利用せずに、全スライド病理組織画像及び関連する臨床データ(おおよその疾患特異的生存を含む)を訓練する、複数のがんタイプにおける患者の生存を直接的に予測するエンドツーエンドの深層学習システムを開発することにより、先行研究を構築及び拡張する。我々の深層学習システムの一例は、生画像データから予後特徴を抽出するために直接的に最適化された畳み込みニューラルネットワーク、及び大量のピクセル、例えば、100,000×100,000ピクセルの解像度の画像を有するアドレス画像に取り組む画像サブサンプリング方法を特徴とする。いくつかの異なる喪失関数が、右打ち切り患者の転帰の問題に対処し得る。
【0013】
我々は、TCGA由来の10種類のがんタイプについて、TNMの段階、年齢、及び性別のベースライン情報と比較して、リスク階層化を改善するために、我々の例示のDLSの能力を評価した。いくつかのがんタイプのモデル予測に基づくリスク層別化の改善が観察されたが、効果サイズは、TCGA(がんタイプ1つ当たり350~1000症例及び60~300事象)に存在する症例及び臨床事象の数が限られているため、正確に推定することは困難であった)。
【0014】
一実施形態では、がん患者の予後を、がん患者由来の試料の1つ以上の病理組織画像のセットから予測する方法が開示されている。方法は、1つ以上の病理組織画像のセットから無作為にトリミングされた画像パッチでサンプリングするステップと、無作為にトリミングされた画像パッチのうちの1つ以上を、重みを共有する複数の畳み込みニューラルネットワークモジュールの形態で深層学習システムに送るステップと、を含む。いくつかの畳み込みニューラルネットワークは、処理速度及び効率などの考慮事項に応じて異なり得、10、100又は更に1,000以上のネットワークを含んでもよい。複数の畳み込みニューラルネットワークの各々は、無作為にトリミングされた画像パッチのうちの1つを入力として有する。深層学習システムは、離散した生存時間に対する確率分布としての生存喪失関数に従って、訓練画像のセットから予後を予測するように訓練される。複数の畳み込みニューラルネットワークは、多くの異なるタイプのがん患者(例えば、6、8、10又は12の異なるタイプ)にわたる多数のがん患者の各々からの少なくとも1つの病理組織画像の形態で訓練画像、及び関連する疾患特異的生存データから訓練され、深層学習システムは、訓練画像における専門家のアノテーション又は関心対象の既知の特徴の利用を必要とすることなく訓練される。方法は、深層学習システムからの予測、すなわち、離散した生存時間に対する確率分布における生存時間又は配置の予測を生成するステップを更に含む。
【0015】
一実施形態では、生存喪失関数は、打ち切りの交差エントロピー関数である。
【0016】
一実施形態では、がん患者は、前立腺がん、乳がん、結腸がん、頭頸部扁平上皮細胞がん、又は肝臓肝細胞がんを有する。
【0017】
別の態様では、がん患者の予後の予測のための弱教師付き深層学習システムが開示されている。深層学習システムは、重みを共有する複数の畳み込みニューラルネットワークモジュールであって、複数の畳み込みニューラルネットワークの各々が、病理組織画像から無作為に選択された1つのトリミングされた組織画像パッチ、畳み込みニューラルネットワークの各々の出力を受信する平均化プール、及び完全に接続された層を、入力として有し、複数の畳み込みニューラルネットワークの各々が、各パッチから特徴を抽出し、パッチレベル特徴が、平均化プール内のチャネルごとに平均化され、かつ完全に接続された層に送られる、複数の畳み込みニューラルネットワークモジュールを含む。複数の畳み込みニューラルネットワークは、離散した生存時間に対する確率分布としての生存喪失関数に従って、予後を予測するために、多くの異なるタイプのがん患者に任意選択的にわたる多数のがん患者の各々からの少なくとも1つの病理組織画像を含む、訓練画像から訓練される。深層学習システムは、訓練画像において、専門家のアノテーション又は関心対象の既知の特徴の利用を必要とすることなく訓練される。
【0018】
1つの可能な構成では、システムは、例えば、遺伝子変異の存在など、組織サンプルにおける分子特性の予測を行うように更に訓練される。これらの変異は、患者の予後を示し、治療の決定に使用される。
【0019】
別の可能な構成では、システムは、乳房から周囲のリンパ節までなど、元の腫瘍が原発部位から離れて転移したかどうかの予測をするように訓練される。がんが転移したかどうかも予後であり、治療の決定に使用される。
【0020】
1つの可能な構成では、複数の畳み込みニューラルネットワークは、例えば、乳がん、又は前立腺がんなどの単一のタイプのがんを有する、多数のがん患者の各々からの少なくとも1つの病理組織画像から訓練される。別の方法として、ネットワークは、乳房、前立腺、肺、及び頭頸部がん患者などの様々な異なるがん患者にわたって、病理組織画像から訓練される。
【0021】
1つの更なる構成では、システムは、5又は6のこのようなシステムなどの以前に列挙されたがん患者の予後の予測のための複数の弱教師付き深層学習システムの形態で意図され、複数の弱教師付き深層学習システムの各々は、例えば、乳がん、又は前立腺がんなどの単一のタイプのがんを有する多数のがん患者の各々からの少なくとも1つの病理組織画像から訓練される。
【0022】
ここで報告された結果は、複数のがんタイプにわたって全スライド画像から患者の予後を予測するための、弱教師付き深層学習モデルを開発する可能性の裏付けとなる。
【0023】
ヘマトキシリン-及び-エオシン-(H&E-)染色標本のデジタル化全スライド画像は、TCGA[20]から取得され、ゲノムデータコモンズデータポータル(https://gdc.cancer.gov)を介してアクセスされた。診断用ホルマリン固定パラフィン包埋(FFPE)スライド及び凍結標本の両方からの画像が含まれた。初期実験、並びにがんタイプにわたる利用可能なFFPE画像の割合(すなわち、TCGA研究)の差異に基づき、各患者に利用可能なFFPE及び凍結WSIの両方を、訓練及び症例レベルの予測に使用した。各症例には、1~10枚のスライドが含まれていた(中央値:2)。臨床データ(おおよその疾患特異的生存を含む)は、スライドの各々と関連付けられ、かつTCGA Pan-Cancer臨床データリソース[21]及びゲノムデータコモンズから取得された。
【0024】
がん段階のデータが入手可能なTCGA試験のうち、我々は、症例数及び生存事象が最も多い10の試験を選択した。臨床段階は卵巣漿液性嚢胞腺がん(OV)にのみ使用されたが、これは、病理学的段階データはないが、観察された事象の数が多いことを考慮すると含まれていた。皮膚黒色腫(SKCM)は、原発性未治療の腫瘍に限定されなかったため除外した。甲状腺がん(THCA)は、479件中14件のみが観察された事象であったため除外された。病理学的段階、年齢、性別、又は疾患特異的生存のいずれかに関するデータが欠落している症例は、評価から除外されたが、疾患特異的生存が欠落している症例のみが、モデル開発(訓練及び調整)から除外された。
【0025】
各TCGA研究について、症例は、2:1:1の比率で、訓練、調整、及び試験セットに分割された。症例数が少ない場合に代表的な分割を確実にするため、疾患特異的生存事象の時間が観察されたかどうか、及び事象までの時間(25番目のパーセンタイル及び75番目のパーセンタイルに基づき3つの間隔に分割)に関して、分割割り当てを更に層別化した。全てのがんタイプにわたって、4,880症例(12,095画像)が訓練及び調整に使用された。残りの1,216症例(3,009画像)を評価に使用した。各TCGA試験及び分割の病理学的段階分布を、S1表に詳述する。
【0026】
図1に示す例示の深層学習システムは、所与の倍率で取得された、所与のがんタイプ、典型的に、例えば、20X又は10Xの所与のがんタイプである病理組織画像で訓練される。
【0027】
深層学習システム(DLS)の例の中核的要素には、重みを共有する複数の畳み込みニューラルネットワーク(CNN)モジュール、及びこれらのモジュールによって計算された画像特徴をマージする平均プーリング層が含まれた(図1を参照)。各症例について、トリミングされた画像パッチを、所定の症例に利用可能な全てのスライドにわたって、組織含有領域から均一に無作為にサンプリングした。次に、畳み込みニューラルネットワーク(CNN)によって各パッチの画像特徴を抽出した。これらのパッチレベルの特徴は、(チャネルごとに)平均化され、完全に接続されたレイヤーに送られた。我々のカスタム喪失関数は、フォローアップ期間を、右検閲の時間と結果に応じて4つの個別のビンに分割した。このように、モデルは、離散した生存時間に対する確率分布を出力するように設計した。
【0028】
例示のDLSの出力は、生存解析の特徴として使用され得る、連続リスクスコアである。低リスクグループ及び高リスクグループを定義するために、DLSリスクスコアを使用して、症例をリスク四分位に分類した(例えば、図1に示す出力を参照)。各リスクグループ内のがんタイプの分布が同一であることを確実にするために、各がんタイプ内でビニングを行った。高リスクグループ及び低リスクグループに対するカプラン・マイヤー(KM)曲線間のログランク検定比較は、p<0.001を得た(例えば、図3A図3Dを参照)。
【0029】
段階の既知の予後的有意性を考慮すると、DLSが各段階内の患者のリスクを亜層別化できるかどうかも評価した。結果として得られるカプラン・マイヤー曲線は、DLSが、段階II(p<0.05)及び段階IIIのがん(p<0.001)について、患者を低リスクグループ及び高リスクグループに更に亜層別化できるが、段階I又は段階IVについては、DLSは患者を亜層別化できないことを示す(図3を参照)。
【0030】
次に、我々は、多変量Cox比例ハザード回帰を使用して、利用可能な変数:がんの段階、年齢、及び性別について調整後の疾患特異的生存の予測因子としてのDLSの有意性を評価した。10種類のがんタイプ全てを含む複合解析(すなわち、「TCGA研究」)については、がんタイプが指標変数として含まれていたが、DLSは、5年DSSの有意な予測因子であり、ハザード比は1.48(p<0.0001)であった。年齢及び段階が試験全体にわたって適切に制御されたことを確実にするために、我々は、試験と段階との間、及び試験と年齢との間の追加の相互作用条件を伴う複合モデルを更に適合させる。この拡張結合モデルでは、DLSのp値は、0.001を下回っていた。
【0031】
個々のがんタイプのサブ解析では、DLSは、10個中5個のがんタイプについての疾患特異的生存と有意に関連していた(表2;p=0.0002~p=0.0257)。がんの段階は、7つの研究において有意な予測因子であり、一方で、年齢及び性別は、それぞれ1つの研究においてのみそれぞれ有意な予測因子であった。
【0032】
全ての研究で利用可能ではないが、我々は、これらのデータが十分な量で存在していたときに、悪性度及び組織学的サブタイプを考慮に入れた、追加の多変量解析も実施した。
【0033】
最後に、我々は、評価のために検査セット中のFFPE(ホルマリン固定パラフィン包埋)スライドのみを使用してサブ解析も行った。FFPEのみのスライドを使用したこの分析では、DLSのハザード比は、全ての研究(p<0.001)にわたって分析されたときの結合分析について統計的に有意であり続け、またサブ分析では、3つの個々のがんタイプについて統計的に有意であり続けた。
【0034】
一致インデックス(又はcインデックス)は、モデルが生存時間の観点から、(比較可能な)症例のペアを正しく並べる確率を計算することによって、生存モデルに対する適合度を評価する。我々は、Cox回帰モデルのcインデックスを以下の3つの異なる特徴セットと比較した、(1)DLS予測のみで構成される「DLS」、(2)段階、年齢、及び性別で構成される「ベースライン」、及び(3)段階、年齢、性別、及びDLS予測で構成される「ベースライン+DLS」。全てのがんタイプと各がんタイプとを組み合わせたcインデックス結果を、表3に要約する。DLSモデルでは、10の研究全てを合わせた(異なるがんタイプからの症例間の比較は除外された)cインデックスは、61.1(95%信頼区間(CI)[57.2、65.1])であった。個々の研究において、信頼区間は幅が広すぎて、症例件数が少ないため、有意義な結論を導き出せなかった。我々は、ベースライン変数に対するDLSの付加的予測値の尺度として、「ベースラインのみの」モデルと「ベースライン+DLSの」モデルとの間のcインデックスにおけるデルタを解釈した。全ての試験を組み合わせた場合、cインデックスデルタは、3.7(95% CI[1.0、6.5])であった。
【0035】
cインデックスに加えて、我々は、5年疾患特異的生存の予測のために、受信者の運転特性曲線下面積(AUC)も計算した。定性的に類似した結果が観察され、併合解析は、6.4(95% CI[2.2、10.8])のAUC改善を示した。
【0036】
DLSに対する最初の洞察を得るために、我々はまず、DLS予測と、段階、TNMカテゴリー、及び年齢のベースライン変数との相関を計算した。DLS予測は、いずれの研究においても年齢と相関しなかったが、いくつかのがんタイプ並びに複合解析において、段階及びTカテゴリーと相関していた。次に、我々は、詳細検討のために、パッチレベルのDLSリスクスコアが最高と最低である個々のパッチを抽出することによって、全体的な症例分類に寄与した各スライドの領域を分析した。一貫して高性能のDLSモデルを有する代表的な例としてKIRCを使用して、高リスク又は低リスクの「最も信頼できる」予測を有するパッチは、主に腫瘍を含有する傾向があったが(図4A図4C)、一方で、中間予測値が多いパッチは、脂肪、間質、及び断片組織などの非腫瘍である傾向があった(図4D)。この解析では、組織学的特徴とパッチレベルのリスク予測のより詳細な関連は、識別されなかった。DLSが有意な予後値を提供する他のがんタイプに対応する高リスク及び低リスクのパッチのサンプルを図8図11に示す。
【0037】
腫瘍学における患者の予後の予測は、治療及びモニタリングに関する重要な臨床的決定の根底にある。本研究では、我々は、既知の形態学的特徴又は関心領域に対するヒトのアノテーションを用いずに訓練された深層学習システムを使用して、疾患特異的生存の予測を改善する可能性を評価した。
【0038】
機械学習の特徴から排他的に予後を予測するためのアルゴリズムを開発することの価値について、とりわけ腫瘍悪性度、核多形症、腫瘍浸潤リンパ球、又は有糸分裂の図などの既知の特徴に対する領域レベルのアノテーションを活用することに関して、自然な疑問が生じる。1つの直接的な利点は、領域レベルのアノテーションに関連するコスト、退屈さ、及び困難さを回避することである。更に、これらの弱教師付きモデルの比較的偏りのない性質により、以前は知られていなかった、又は評価されていない予後特徴の学習が可能になる可能性がある。一方で、主なデメリットは、生存又は疾患進行など、各画像に対して単一の症例レベルの訓練ラベルしかないことを考える場合の、正確なモデルを訓練するために必要な症例数の増加であった。この問題の困難性を状況に当てはめると、これらのラベルは、画像1枚当たり10ピクセルに対応し、多くの場合、症例1つ当たり数枚の画像で対応し、10~10ピクセルのサイズの画像を処理する一般的な画像予測タスクよりも大幅に弱い監督になる。加えて、がん生存予測は、本質的に、典型的な画像分類問題よりも数桁少ないデータに限定される(例えば、本明細書の102~10の画像に対する画像ネットの10~10の画像)。
【0039】
本開示による例示のDLSは、複数のがんタイプにおける疾患特異的生存を予測する形態学的特徴を学習した。モデルが最もよく機能したがんタイプに特異的な明確な傾向又は交絡因子は識別されなかったが、WSIからの臨床予測に対するサンプルサイズ、画像特異的変数、及び疾患特異的変数の効果をよりよく理解するための今後の研究は、当該分野にとって重要である。我々の弱教師のためのソリューションは、訓練時に各症例について複数の組織含有パッチを無作為にサンプリングするニューラルネットワークアーキテクチャを伴う。このサンプリングアプローチには、3つの主な利点がある。第1に、各訓練の反復で有益な機能を含むパッチが表示される確率が高く、更に、訓練の反復間でも同様である。第2に、各事例に1つより多くの有益な画像パッチが含まれていると仮定すると、実施例の多様性を増大させることによって、有効データセットサイズを実質的に拡張する。第3に、情報のないパッチであっても、訓練に正規化効果がある。
【0040】
一実施例における例示のDLSにおいて、年齢及びがん段階について調整した後でさえも、疾患特異的生存と有意に関連し続ける出力は、DLSがこれらのベースライン変数から独立した予後的形態学的特徴を学習したことを示唆している。学習した特徴の一部をよりよく理解するために、我々は、各スライド上の全ての画像パッチにDLSを適用し、画像全体の「パッチレベルの予後推定値」を取得した。この解析では、最も信頼性のある予後領域は主に、最小限の介在性間質又は他の明白な組織学的構造を有する腫瘍から構成された。他の機械学習努力により、非腫瘍要素に対する予後的有意性が識別されているが、我々の観察結果は、少なくとも我々の特定のモデルについて、腫瘍の形態学的特徴が非腫瘍領域よりも関連性が高いようであると示唆している。しかしながら、DLSが高リスクと低リスクの症例を区別するのに役立つと学習した形態学的特徴を明らかにすることは、将来の努力にとって刺激的であるが難しいトピックであり、異なる腫瘍タイプに対して固有の特徴の識別を必要とする可能性が高い。1つの興味深い仮説は、DLSが学習した特徴が、組織学における腫瘍生物学の以前には評価されていない表現に対応してもよく、また、その根底にある生物学的経路又は分子機構が、DLSによって強調された領域の焦点を絞った評価を介して更に解明されてもよいことである。
【0041】
がん診断時に予後情報を提供することは、治療及びモニタリングに重要な意味を持つ。がん段階分類、病理組織評価、分子的特徴、及び臨床変数は有用な予後的洞察を提供することができるが、リスク階層化の改善は、依然として活発な研究分野である。我々は、The Cancer Genome Atlas(TCGA)からの10種類のがんタイプにわたる疾患特異的生存を予測する深層学習システム(DLS)を開発した。我々は、ピクセルレベルのアノテーションを用いずに弱教師付きアプローチを使用し、3つの異なる生存喪失関数を試験した。本開示による例示のDLSは、3,664症例のスライド9,086枚を使用して開発され、1,216症例のスライド3,009枚を使用して評価された。10個のがんの全てを含む複合コホートの多変量Cox回帰解析では、DLSは、がんのタイプ、段階、年齢、及び性別について調整後の疾患特異的生存(ハザード比1.58、95% CI 1.28~1.70、p<0.0001)と有意に関連していた。がんごとに調整したサブ解析では、DLSは、10種類のがんのうち5種類において生存の有意な予測因子であり続けた。段階、年齢、及び性別を含むベースラインモデルと比較して、モデルのcインデックスは、複合コホートにおいて、3.7%の改善(95% CI 1.0~6.5)を示した。更に、我々のモデルは、個々のがん段階、特に段階II(p=0.025)及び段階III(p<0.001)内で患者を階層化した。
【0042】
複数のがんタイプにわたって予後モデルを開発及び評価することにより、この研究は、深層学習及び病理組織画像を使用して臨床転帰の直接的な予測を探索する最も包括的な研究の1つを表す。我々の分析は、このアプローチが、複数のがんタイプ、更には特定の病理学的段階において、有意な予後情報を提供する可能性を実証している。
【0043】
ここで図1を参照すると、図1は、病理組織画像に基づいてがん患者の生存を直接的に予測するための深層学習システム(DLS)100を示す図である。この例示のシステム100は、複数の訓練された機械学習(「ML」)モデル120a~nの入力に通信可能に結合されたパッチサンプラ110を含む。任意の適切な数のMLモデルを使用してもよいが、例えば、一部の例では1~1024個のMLモデルがあるが、1024個超のMLモデルが用いられてもよい。MLモデル120a~nの出力は、平均化プール130に通信可能に接続され、これは、MLモデルによって決定される画像特徴を受け入れ、それらをマージする。平均化プール130の出力は、完全に接続された層140に通信可能に接続され、これは、離散ビンにソートされた確率の分布を生成する。
【0044】
動作中、パッチサンプラ110は、がん患者からの試料の1つ以上の病理組織画像を受信し、病理組織画像から画像パッチを無作為にサンプリングする。この例では、サンプリングされた画像パッチは、一様サイズであるが、一部の例では、パッチ間でサイズが異なる場合がある。この例のパッチサンプラ110は、256ピクセル×256ピクセルのパッチを生成するが、任意の適切なパッチサイズを採用してもよい。加えて、パッチサンプラ110は、病理組織画像にマスクを適用して、それぞれの画像から非組織領域を除去してもよく、これは、単一の病理組織画像から抽出された画像パッチの数に影響を与え得る。一部の実施例では、マスクは、MLモデル120a~nによって適用されてもよい。次いで、パッチサンプラ110は、様々な画像パッチを集約し、それらを処理のために様々なMLモデル120a~nに無作為に提供する。この例では、各MLモデル120a~nは、1つ以上の病理組織画像からパッチサンプラによって生成される画像パッチの数に応じて、1つ以上の画像パッチを受信する。しかしながら、MLモデル120a~nが同じ画像パッチを受信しないが、一部の例では、複数のMLモデル120a~nが、同じ画像パッチを受信してもよい。
【0045】
各MLモデル120a~nは、パッチサンプラ110から画像パッチを受信し、画像特徴を抽出し、次いで平均化プール130に出力される。この例では、MLモデル120a~nは、畳み込みニューラルネットワーク(CNN)であるが、しかしながら、任意の適切なMLモデルを、例えば、MOUNTAIN VIEW、CALIFORNIAからGOOGLE LLCによって提供される残差ニューラルネットワーク(「Resnet」)若しくはNASNET、又は反復ニューラルネットワークから、例えば、長い短期メモリ(「LSTM」)モデル若しくはゲーティングされた反復ユニット(「GRU」)モデルなどの異なる実施例に従って採用され得る。MLモデル120a~nはまた、三次元CNN(「3DCNN」)、動的時間反り(「DTW」)技術、隠れマルコフモデル(「HMM」)など、又はこうした技術のうちの1つ以上、例えば、CNN-HMM又はMCNN(Multi-Scale畳み込みニューラルネットワーク)の組み合わせであってもよい。更に、一部の例は、敵対的生成ネットワーク(「GAN」)などの敵対的ネットワークを採用するか、又はAEGAN又は変動AEGAN(「VAEGAN」)などのMLモデルと併せて自動エンコード装置(「AE」)を採用する場合がある。
【0046】
上で論じたように、この実施例のMLモデル120a~nは、CNNである。各CNNモジュールは、MobileNet CNNアーキテクチャと類似した、深度方向に分離可能な畳み込み層を含む。これらの例のCNNの層サイズ及び層数は、以下のランダムグリッド検索を介して調整された:
【表1】
【0047】
しかしながら、当然のことながら、これらのハイパーパラメータ及び対応する値は、これらの実施例に従って使用されたが、異なる値が他の実施例に従って用いられてもよい。例えば、画像パッチサイズは、128ピクセル、512ピクセル、1024ピクセルなどを含む、任意の適切なサイズであってもよく、又はパッチサイズは、総画像サイズに基づいて決定され、例えば、行及び列ごとに、所望の画像パッチの数で割られてもよい。同様に、他のハイパーパラメータは、全身的制約又は設計目標に従って調整されてもよい。
【0048】
以下の例示の疑似コードは、いくつかの例に対してCNN定義を提供してもよく、上述のように調整されてもよい、
// Depth of the first convolution layer (tuned)
base_depth := 16
// Rate of depth growth with every stride 2 layer (fixed)
depth_growth := 1.25
// Num stride 2 layers (fixed)
stride_2_layers := 4
// Num stride 1 layers per stride 2 layer (tuned)
stride_1_layers := 1
// Size of convolution kernel (fixed)
kernel_size := 3
features = Conv2D(images, base_depth, kernel_size, stride=1)
for i := 1 to stride_2_layers do
depth = int( base_depth * depth_growth ** i )
// DepthwiseSeparableConv 2D is available as tf.keras.layers.SeparableConv2D
features = DepthwiseSeparableConv 2D( features, depth, kernel_size, stride=2)
for j := 1 to stride_1_layers do
features = DepthwiseSeparableConv 2D( features, depth, kernel_size, stride=1)
features = AveragePooling2D(features)
【0049】
この例では、CNNの各々は同じであり、それら全てが重みを共有する。したがって、任意の数のCNNを、異なる実施例で採用してもよい。上述したように、各CNN120a~nは、各患者の1つ以上の画像から無作為に選択された画像パッチを入力として取り、その結果、複数のパッチがサンプリングされたときに、確率的に少なくとも1つのパッチが結果に有益である可能性が高い。具体的には、スライド上の有益なパッチの頻度がpである場合、n個のパッチで任意の有益なパッチをサンプリングしない確率は、n:(1-p)で指数関数的に減衰し、nの均等な値でゼロに向かって収縮する。したがって、このアプローチは、画像又は画像セット中の情報領域の位置が不明である、大きな画像上の生存予測の弱いラベルの性質を処理する。更に、このアプローチは、症例当たり複数のスライドに自然に一般化する。各訓練の反復中、n個のパッチを無作為にサンプリングし、更に、有益なパッチを訓練の反復間でサンプリングしたことを確実にする。
【0050】
この例では、各画像パッチは、256x256ピクセルであり、特定の患者の全ての病理組織画像内の組織含有領域から無作為に均一にサンプリングされた。組織マスクを作成し、図1に示すように症例スライドに適用して、組織含有領域を単離し、訓練用のパッチを指定した。次いで、CNN120a~nは、パッチから画像ベースの特徴を抽出した。トップレベルの平均プーリング層により、モデルは、訓練と評価との間に異なる数のパッチを入力として受け取ることができた。これにより、より少ない数のパッチの使用が可能となり、その結果、訓練中の症例の多様性が高まり、評価中のパッチ数が多い各症例のスライドのカバレッジがより広範になった。最終ロジスティック回帰層は、平均プーリング層の出力を与えられる予測を生成した。また、CNNがこの実施例で使用されたが、上述したように、任意の適切なMLモデルタイプを使用してもよい。
【0051】
平均化プール130は、MLモデル120a~nから画像特徴を受信し、各画像特徴チャネルについて、そのチャネル内の画像特徴値の平均化を行う。したがって、MLモデル120a~nが4つの画像特徴(F、F、F、F)のセットを出力する場合、全てのMLモデルからのF(画像特徴チャネル)の値は、F~F等の値とは別個に平均化される。MLモデル120a~nのタイプ、それぞれに採用される訓練、病理組織画像のがんのタイプなどに応じて、異なる数及び特徴のタイプが、識別され得る。しかしながら、平均化プール130は、MLモデル120a~nによって出力されるどのような特徴チャネルの各特徴チャネルについても平均化することができる。次いで、平均化プール130は、完全に接続された層140に平均化された特徴値を提供する。
【0052】
この例では、完全に接続された層140は、平均されたパッチレベル特徴(チャネル当たり)を受信する。次いで、完全に接続された層140は、喪失関数を使用して、多数の個別のバケツにわたる患者の生存の確率を決定する。この例では、喪失関数は、図1に見られるように、(1)0~25%、(2)25~50%、(3)50~75%、及び(4)、75~100%の確率間隔を表す、4つのバケットを使用し、このバケットは、例えば、上記のバケット(1)の0番目~25番目のパーセンタイルなど、特定のタイプのがんを有する患者の統計的生存時間に基づいて、予測される生存時間にマッピングされる。しかしながら、任意の適切なバケットスキームが用いられてもよい。
【0053】
DLS100は、最初に、右検閲データを用いて生存予測モデルを訓練するために、分類モデルに使用される標準的な交差エントロピー喪失の延長である、検閲された交差エントロピーを使用して訓練された。我々は、期間を間隔と訓練モデルに区別して、連続的な事象時間又はリスクスコアの代わりに事象が発生した離散時間間隔を予測することによって、回帰又はランキング問題の代わりに分類問題として生存予測をモデル化した。観察された事象を有する例では、標準的な交差エントロピーが計算された。しかしながら、打ち切りの例については、事象が発生する時間間隔は不明である。したがって、我々は、検閲時間前に事象が発生しなかったという情報を活用し、検閲の間隔以降に発生した事象の対数発生の可能性を最大化する。完全な喪失関数は、以下のように記述され得る。
【数1】
ここで、Yは、事象が発生した間隔(例えば、観察された事象を伴う)であり、Zは、その終点が検閲の時間の前である(検閲された例について)最も遅い間隔である。f(x)は、時間間隔にわたる予測確率分布であり、f(x)[y]は、y番目の間隔で発生する事象に対して、モデルによって割り当てられた確率である。この喪失関数を使用する際の設計上の考慮事項の1つは、時間を離散する方法である。我々は、検閲されていない症例(例えば四分位数)については、死亡までの時間分布の異なるパーセンタイルを使用した。試験(がんタイプ)間で生存時間における著しい差異を考慮するため、各試験について個別に離散を行った。評価のためのスカラーリスクスコアを得るために、我々は、予測される時間間隔の確率分布に対する期待値の負数を取った。負数により、リスクスコアの値が高いほど、リスクが高くなることが確実となった。また、この例では、打ち切りの交差エントロピー法を使用したが、一部の例では、他のタイプの訓練方法論を使用してもよい。
【0054】
例えば、Cox部分確率に基づく喪失関数は、Cox比例ハザードモデルに適合するために使用されるが、ニューラルネットワークを訓練するために以下のように拡張される:
【数2】
ここで、Tは、イベント時間又は最後の追跡時間であり、Oは、イベントが観察されるかどうかを示す変数であり、Xは、全スライド画像の集合であり、f(X)は、i番目の症例のそれぞれについて、DLSリスクスコアである。1つのこうした例では、結束したイベント時間を取り扱うためのブレスロウの近似を採用してもよい。原則的には、1つ1つの例の喪失は、訓練データ内の全ての症例の関数である。実際には、各最適化ステップにおける喪失は、訓練データセット全体ではなく、小さなバッチ(n≦128)で実施例にわたって評価することによって近似され得る。
【0055】
別の実施例では、喪失関数は、一致指数上の指数下限であってもよい。一致指数は、無作為に選択された対象の対が、イベント時間に関してモデルによって正しく順序付けられる確率に対応する、生存モデルに対するパフォーマンス指標である。一致指数自体は異なっていないが、Raykarら (Steck H, Krishnapuram B, Dehing-oberije C, Lambin P, Raykar VC. On Ranking in Survival Analysis: Bounds on the Concordance Index. In: Platt JC, Koller D, Singer Y, Roweis ST, editors. Advances in Neural Information Processing Systems 20. Curran Associates, Inc.; 2008. pp. 1209-1216)は、モデル最適化に使用可能である以下の差分下限を提案した:
【数3】
ここで、Eは、実施例のセットペア(i、j)であり、ここでi番目の事象が観察され、T>Tである。Cox部分確率と同様に、我々は、訓練データセット全体ではなく、小さなバッチ(n≦128)で実施例にわたって評価することによって、各最適化ステップにおける一致指数のこの下限を近似した。また、これらの実施例の追加喪失関数は、一部の実施例では適切であり得るが、他のタイプの喪失関数は、他実施の例に従って採用されてもよい。
【0056】
この例では、訓練例は、その症例の全てのスライドにわたって組織から均一にサンプリングされた1症例当たり最大16個の画像パッチのセットから構成された。前述のように、画素強度ベースの閾値、並びに染色正規化によるデータ拡張、それに続いて色及び配向の摂動を使用した組織検出の両方を実施した。訓練は、凍結及びFFPE標本の両方について、WSI(全スライド画像)を使用して実施された。ネットワークパラメータの数値最適化は、TensorFlowのRMSPropオプティマイザを使用して分散的に行い、それぞれ16個のプロセッサを搭載した10台のワーカーマシンを使用した。各試験について、50個のハイパーパラメータ構成を無作為にサンプリングし、次いで10個の試験(合計で500モデル)のそれぞれに対して各構成で1つのモデルを訓練することによって、ハイパーパラメータを調整した。
【0057】
DLS100の評価時に、1症例当たり1024個のパッチを、図1に示すDLS、及び異なる画像パッチで各々が動作する、複数のCNN(この場合は、1,024)を使用して、訓練中と同じ手順を使用してサンプリングした。評価に使用された最終モデルは、いくつかの方法で平均化された。第1に、モデル重みは、訓練ステップにわたるモデル重みの指数移動平均であり、減衰定数は、0.999であった。次に、各試験について、単一の最良の訓練チェックポイント(すなわち、特定の訓練ステップで評価したモデル)を選択する代わりに、我々は、50個のチェックポイントのアンサンブルを使用した。各モデルを50万ステップの訓練に供し、25,000回の訓練ステップごとに評価し、モデル当たり20個のチェックポイント、及び50個のハイパーパラメータ設定にわたって合計1,000個のチェックポイントを得た。チューニングセットで最も高いcインデックスを達成した50個のチェックポイントをアンサンブル用に選択した。最終アンサンブル予測は、50個の個々の予測の中央値であった
【0058】
図1に示したDLS100は、特定のタイプのがん又は腫瘍に対する患者の生存を予測するために具体的に訓練されてもよいことが理解されるべきである。一部の実施例において、病理組織画像に基づいてがん患者の生存を直接的に予測するシステムは、複数のDLS100を採用してもよく、各DLSは、異なるがんタイプで訓練されている。あるいは、一部の実施例では、1つのDLS100は、複数の異なるがんタイプについて訓練されてもよい。更に、一部のシステムは、単一のタイプのがんについて訓練されたDLSと、複数のタイプのがんについて訓練されたDLSの組み合わせを採用し得る。別の可能な実施形態では、図1の例示のDLSは、複数のがんタイプに共通する共通の特徴を学習するために、がんタイプにわたる(例えば、複数のがんタイプ(例えば、膀胱尿路上皮がん、乳房浸潤性がん、結腸腺がん、頭頸部扁平上皮がん、腎臓腎明細胞がん、肝臓肝細胞がん、肺腺がん、肺扁平上皮がん、卵巣漿液性嚢胞腺がん、胃腺がんなど)にわたる)訓練画像から開発及び訓練される。これは、特に所与のがんタイプに対する訓練画像の数が比較的少ない症例であり得、複数のがんタイプにわたって訓練画像を組み合わせることによって、より大きな訓練データのセットが利用可能である。所与のがんタイプ、例えば、乳がん組織画像を使用(以前には見られなかった画像セットに対して推測)するときに、関連する乳がんは、リスクスコアを生成するために使用されるモデルであってもよい。
【0059】
完全に接続された層140が、平均化プール130から受信した入力を処理した後、上述のように確率を出力する。リスクスコアは、完全に接続された層の出力として生成され得る。
【0060】
この例では、DLSの出力は、生存解析の特徴として使用され得る、連続リスクスコアである。低リスクグループ及び高リスクグループを定義するために、DLSリスクスコアを使用して、症例をリスク四分位に分類してもよい(例えば、図1に示す出力を参照)。各リスクグループ内のがんタイプの分布が同一であることを確実にするために、各がんタイプ内でビニングを行った。高リスクグループ及び低リスクグループに対するカプラン・マイヤー(KM)曲線間のログランク検定比較は、p<0.001を得た(例えば、図3A図3Dを参照)。一実施形態では、リスクスコアは、4つの数字の形態を取ることができ、各々は、図1に示される4つの生存リスクビンの各々に、関連する組織画像が配置される確率を反映する。
【0061】
一実施例では、確率ビンを生成した後、システムは、それぞれの確率に基づいて単一のリスクスコアを決定し得る。例えば、深層学習システム100は、患者のリスクスコアとして最も高い確率を有するビンを選択し得る。しかしながら、一部の実施例では、システムは、最も高い確率ビンと次に高い確率ビンとの間の差を決定してもよく、差が閾値を超える場合、最も高い確率ビンをリスクスコア(例えば、25番目~50番目のパーセンタイル)として出力してもよい。そうでない場合、2つの最も高い確率ビンを出力してもよい。リスクスコアを出力する更に他のアプローチが、他の実施例に従って採用されてもよい。
【0062】
一部の実施例では、パッチ分析のためのリスクヒートマップは、一度に単一のパッチでDLSを実行することによって生成され、スライド全体にわたってパッチレベルのDLSリスクスコアが生成された。病理学者によるレビューのためのビジュアライゼーションを生成するために、パッチを、各症例の上位25%及び下位25%からパッチレベルのリスクスコアに基づいてサンプリングした。パッチは症例別にグループ化され、症例は患者レベルのリスク予測別に整理された。次いで、これらの組織化されたパッチを2人の病理学者がレビューし、症例レベル及びパッチレベルのリスクスコアの両方に関連する可能性のある高レベルの特徴を定性的に評価した
【0063】
一部の実施例では、図1に示す例示のDLSを使用して、例えば、がんの予後、生存及び/又は治療に関連する遺伝子変異の存在など、がんサンプルの分子特性を予測するために、DLSを更に訓練してもよい。このような特性を決定するための分子検査は、臨床的に有用であり得るが、コスト(GEP検査又はシーケンシングパネルについては、3,000ドル以上)、アクセス/リソース(このような検査を実行及び解釈することができる検査室へのアクセスは、困難又は不可能である場合がある)、及び所要時間(2~4週間、結果が出る前に開始される治療)を含む、いくつかの制限がある。例示的なDLSは、1)バイオマーカー(例えば、変異、シグネチャ、GEP、TMB、HRD)を予測すること、及び(2)分子的特徴を補助的入力として使用して、診断/予後予測を改善すること、の2つの目的を達成することができる。図1のDLSシステムは、症例レベルのラベルのみ(すなわち、エキスパートレベルのパッチアノテーション又は特徴の生成なし)で、弱教師付き学習方法を使用する。結腸がんの標本については、我々は、以下の図表の遺伝子変異について、以下の予測を行うことができた:
【表2】
【0064】
肺がんについては、我々は、以下の変異の予測を行うことができた:
【表3】
【0065】
前立腺がんについては、我々は、以下の変異予測を行うことができた:
【表4】
【0066】
乳がんについては、我々は、以下の変異予測を行うことができた:
【表5】
【0067】
特定の変異の存在は、患者ががんの治療において特定の薬剤又は薬剤の組み合わせに応答しない可能性があることを示唆し得る。したがって、患者の変異状態の予測は、治療応答の予測(又は応答の欠如)に直接的につながる可能性がある。したがって、変異状態の予測は、治療応答及び変異状態への依存性に関する既知及び公表された研究と組み合わせて、DLSが治療応答の予測を行うことを可能にする。
【0068】
DLSのMLモデル120a~nが第1の段階で使用されて、全スライド画像から特徴(有糸分裂、顆粒状、細管形成など)を生成し、それらの特徴を症例メタデータと共に、分子予測の出力を生成する第2のニューラルネットワークモデルに供給する、2段階モデルアプローチが企図される。更に、図1のアーキテクチャは、例えば、乳がん患者のリンパ節又は他の組織への遠隔転移など、局所腫瘍環境を超えてがんの広がりを予測するように更に訓練され得る。
【0069】
次に図2を参照すると、図2は、病理組織画像に基づいてがん患者の生存を直接的に予測するための例示のシステム200を示している。例示のシステム200は、データ記憶部212へのアクセスを有し、かつネットワーク230を介してサーバ240及びそのデータ記憶部242に接続される、計算装置210を含む。この実施例では、計算装置210は、データ記憶部212からデジタル化された病理組織画像にアクセスし、図1に関して上述したシステム100を使用するなど、分析のために1つ以上のDLS220a~nにそれらを提供する。分析が完了した後、DLS220a~nは、計算装置210にそれらを提供し、例えば、医療従事者によって、後で取得するためにデータ記憶部222にそれらを記憶するか、又はそれらを表示装置214に表示する。
【0070】
この実施例では、計算装置210は、それ自体のデータ記憶部212から病理組織画像を受信し、一部の例では、サーバ240から病理組織画像を取得してもよく、サーバ240は、それ自体のデータ記憶部242にアクセスして、要求された病理組織画像を取得及び提供してもよい。更に、計算装置210自体によって実行されるDLS220a~nによって分析が実行されるが、一部の例では、DLS220a~nは、サーバ240の一部であってもよく、計算装置210は、ネットワーク230を介して、分析のために病理組織画像をサーバ240に提供し、後で結果を受信してもよく、これは、データ記憶部212に記憶されるか、又は表示装置214上に表示されてもよい。
【0071】
この実施例では、サーバ220は、例えば、病院又はラボなどの医療提供者によって維持され、一方で、計算装置210は、例えば、病理学者のオフィスなどの医局に常駐する。したがって、こうしたシステム200は、たとえ訓練されたDLSを欠いていても、遠隔の場所での医療提供者が、がん患者の生存の予測を得ることを可能にし得る。しかしながら、当然のことながら、本開示による例示的なシステムは、遠隔計算装置と通信することなく、分析自体を実行し得る計算装置210のみを含み得る。
【0072】
この例示的なシステム200によるシステムを実装するために、任意の適切な計算装置が、計算装置210又はサーバ220に用いられてもよい。更に、本実施例の計算装置210は、データ記憶部212からデジタル化された病理組織画像にアクセスする一方で、一部の例では、計算装置210は、病理サンプルの画像を捕捉する撮像装置と通信してもよい。こうした構成によって、計算装置が、病理サンプルの1つ以上の画像を捕捉し、適切なDLS220a~nを使用して直ちに処理すること、又は分析のために遠隔計算装置、例えば、サーバ240にそれを提供することを可能にし得る。
【0073】
ここで図3を参照すると、図3は、DLSリスクグループに対するカプラン・マイヤー曲線のプロットである。低リスクグループと高リスクグループを定義するために、DLSリスクスコアを使用して、症例をリスク四分位に分類した。各リスクグループ内のがんタイプの分布が同一であることを確実にするために、各がんタイプ内でビニングを行った。異なる線の規則は、異なるリスクグループを表しており、1つは低リスク(0番目~25番目のパーセンタイル)であり、1つは中リスク(25番目~75番目のパーセンタイル)であり、もう1つは高リスク(75番目~100番目のパーセンタイル)である。P値は、低リスクグループと高リスクグループを比較するバイナリログランク検定を使用して計算された。各個々のがんタイプに対するカプラン・マイヤー曲線は、図4A図4D図5A図5D、及び図7A図7Jのプロットの集合に示されている。
【0074】
図4A図4Dは、各がん段階(それぞれ段階1~4)内のDLSリスクグループに対するカプラン・マイヤー曲線のプロットである。低リスクグループと高リスクグループを定義するために、DLSリスクスコアを使用して、症例をリスク四分位に分類した。ビニングは、各段階及びがんタイプ内で行われた。これにより、各段階について、各リスクグループ内のがんタイプの分布が同一であることが確実となる。P値は、低リスクグループと高リスクグループを比較するバイナリログランク検定を使用して計算された。残念なことに、この解析を段階に加えてがんタイプ別に層別化するには、症例と事象が十分ではなかった。
【0075】
図5A図5Dは、生存予測に影響を与える画像パッチの4つのグループ(A、B、C及びD)の可視化からなる。図5A:WSI腎臓腎透明細胞がん(KIRC)の例は、高リスクであると予測され(左)、右はDLS予測による「リスクヒートマップ」であり、組織内のより暗いパッチは、「高リスク」パッチレベルの予測に対応し、より明るいパッチは、「低リスク」パッチレベルの予測に対応する。図5B:高リスクと予測される症例からの「最も高いリスク」パッチである。図5C:低リスクであると予測される症例からの「最も低いリスク」パッチである。図5D:高リスクと予測される症例からの「最も低いリスク」パッチである。図5B図5C、及び図5Dについては、同じ行内のパッチは、同じ症例からのものであり、各行は、異なる症例を表している。
【0076】
図6は、DLS訓練に対する喪失関数の比較を示すプロットである。この実施例では、DLS訓練の以下の3つの喪失関数を比較する:1)打ち切りの交差エントロピー、2)Cox部分確率、3)TCGA KIRCデータセットとの一致度指数の指数下限。各喪失関数について、3つのバッチサイズ(32、64、128)及び4つの学習速度(10e-3、5e-4、10e-4、5e-5、10e-5)を試みた。モデルを、チューニング分割で評価した。
【0077】
図7A図7Jは、各がんタイプについてのDLSリスクグループに対するカプラン・マイヤー曲線である。図7A図7Eは、多変量解析において、DLS予測が疾患特異的生存と統計的に有意に関連していた5つのがんタイプのプロットである。
【0078】
図8A及び図8Bは、乳房浸潤性がん(BRCA)の生存予測に影響を与える画像パッチの可視化を示している。最も高いリスクの症例からの高リスクパッチ(図8A)及び最も低いリスクの症例からの低リスクパッチ(図8B)。同じ行内のパッチは、同じ症例からのものであり、各行は、異なる症例を表している。
【0079】
図9A及び図9Bは、結腸腺がん(COAD)の生存予測に影響を与える画像パッチの可視化を示している。最も高いリスクの症例からの高リスクパッチ(図9A)及び最も低いリスクの症例からの低リスクパッチ(図9B)。同じ行内のパッチは、同じ症例からのものであり、各行は、異なる症例を表している。
【0080】
図10A及び図10Bは、頭頸部扁平上皮細胞がん(HNSC)の生存予測に影響を与える画像パッチの可視化を示している。最も高いリスクの症例からの高リスクパッチ(図10A)及び最も低いリスクの症例からの低リスクパッチ(図10B)。同じ行内のパッチは、同じ症例からのものであり、各行は、異なる症例を表している。
【0081】
図11A及び図11Bは、肝臓肝細胞がん(LIHC)の生存予測に影響を与える画像パッチの可視化を示している。最も高いリスクの症例からの高リスクパッチ(図11A)及び最も低いリスクの症例からの低リスクパッチ(図11B)。同じ行内のパッチは、同じ症例からのものであり、各行は、異なる症例を表している。
【0082】
次に図12を参照すると、図12は、病理組織画像に基づいてがん患者の生存を直接的に予測するための例示の方法を示している。実施例は、図2に示すシステム200及び図1に示すDLS100に関して論じられるが、本開示による任意の適切なシステムを採用してもよい。
【0083】
ブロック1210で、計算装置210は、がん患者からの試料の1つ以上の病理組織画像を取得する。この実施例では、そのデータ記憶部212から画像を取得するが、一部の実施例では、撮像システムから、又は遠隔サーバ240若しくはデータ記憶部242から画像を取得してもよい。
【0084】
ブロック1220で、パッチサンプラ110は、病理組織画像から組織画像パッチを選択する。この実施例では、パッチサンプラは、各画像をマスクして、画像の任意の非組織部分を除去する。次いで、画像の組織部分に対応する各画像から画像パッチを抽出する。この実施例では、画像パッチは、均一なサイズであるが、異なる実施例は、異なるサイズの画像パッチを採用し得る。更に、一部の実施例では、画像パッチは、試料採取する組織の部分を無作為に選択することによってなど、画像から無作為に抽出されてもよい。しかしながら、一部の実施例では、ランダム選択は、ブロック1230で、画像パッチがどのMLモデル120a~nに割り当てるかの選択に関連し得る。
【0085】
ブロック1230で、訓練されたMLモデル120a~nは、複数の組織画像パッチについての複数の画像特徴を決定する。上述したように、各画像パッチは、画像パッチを分析して、画像パッチの特徴値を識別する、MLモデル120a~nのうちの1つに提供される。
【0086】
ブロック1240で、DLS100は、平均化プール140及び完全に接続された層140を使用して、決定された複数の画像特徴に基づいて、患者の生存の確率を決定する。図1に関して上述したように、平均化プール130は、各特徴チャネルの特徴値を平均化し、完全に接続された層140に平均値を提供する。完全に接続された層140は、上述した4つのビンなど、個別のビンに従って患者の生存の確率を決定するために訓練されている。したがって、完全に接続された層は、各ビンに対する患者の生存の確率を出力する。
【0087】
ブロック1250で、計算装置210は、決定された確率に基づいて、患者の生存の予測を生成する。この実施例では、計算装置210は、ブロック1240で、DLS100から受信された確率を出力することによって、予測を生成する。しかしながら、一部の実施例では、計算装置210は、最も高い確率値を有するビンからの確率など、単一の確率を出力してもよい。一部の実施例は、1つのビンが、例えば、他のビンよりも、予め定義された閾値に基づいて、はるかに高い確率を有するかを決定し得る。その場合、予測は、その確率を使用して生成され得る。あるいは、他のものよりもはるかに高い確率がない場合、計算装置210は、ブロック1240で決定された上位2つの確率を出力し得る。決定された確率に基づいて患者の生存の予測を生成する更に他の実施例が採用されてもよい。
【0088】
加えて、システムはまた、組織サンプルにおける分子特性の予測を生成し得る。例えば、図1に関して上述したように、DLS100は、特定の遺伝子変異に対応し得る、分子特性を認識するように訓練されてもよい。したがって、患者の生存の予測を生成することに加えて、DLS100はまた、分子特性が予測されるかどうか、及び一部の実施例では、対応する可能性のある遺伝子変異を出力してもよい。
【0089】
ここで図13を参照すると、図13は、本開示による、病理組織画像に基づいて、がん患者の生存を直接的に予測するための例示的なシステム又は方法での使用に適した例示の計算装置1300を示している。例示的な計算装置1300は、1つ以上の通信バス1302を使用して、メモリ1320及び計算装置1300の他の構成要素と通信する、プロセッサ1310を含む。プロセッサ1310は、メモリ1320内に記憶されたプロセッサ実行可能命令を実行して、図12に関して上述した例示の方法1200の一部又は全てなど、異なる実施例に従って、病理組織画像に基づいてがん患者の生存を直接的に予測するための1つ以上の方法を実施するように構成されている。この実施例では、メモリ1320は、図1に示す例示の深層学習システム100などの深層学習システム1360を含む。加えて、計算装置1300はまた、ユーザ入力を受け入れるために、キーボード、マウス、タッチスクリーン、マイクなどの1つ以上のユーザ入力装置1350を含むが、一部の実施例では、計算装置1300は、遠隔サーバ又はクラウドサーバなどのこうしたユーザ入力装置がない場合がある。計算装置1300はまた、ユーザに視覚的出力を提供するための表示装置1340を含む。しかしながら、当然のことながら、ユーザ入力装置又は表示装置は、一部の実施例では任意であってもよい。
【0090】
計算装置1300はまた、通信インターフェース1340を含む。一部の実施例では、通信インターフェース1330は、ローカルエリアネットワーク(LAN)、インターネットなどのワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、ポイントツーポイント又はピアツーピア接続などを含む、1つ以上のネットワークを使用して通信を可能にし得る。他の装置との通信は、任意の適切なネットワーキングプロトコルを使用して達成され得る。例えば、1つの適切なネットワーキングプロトコルは、インターネットプロトコル(以下、IP)、伝送制御プロトコル(以下、TCP)、ユーザデータグラムプロトコル(以下、UDP)、又はTCP/IP若しくはUDP/IPなどのそれらの組み合わせを含み得る。
【0091】
本明細書における方法及びシステムの一部の実施例は、様々な機械上で実行されるソフトウェアに関して記載されるが、方法及びシステムはまた、本開示による様々な方法を実行するために、特にフィールドプログラマブルゲートアレイ(FPGA)など、特別に構成されたハードウェアとして実装されてもよい。例えば、実施例は、デジタル電子回路、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはそれらの組み合わせで実装され得る。一実施例では、装置は、プロセッサを含んでもよい。プロセッサは、プロセッサに結合されたランダムアクセスメモリ(RAM)などのコンピュータ可読媒体を含む。プロセッサは、1つ以上のコンピュータプログラムを実行するなど、メモリ内に記憶されたコンピュータ実行可能プログラム命令を実行する。こうしたプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、及びステートマシンを含んでもよい。こうしたプロセッサは、PLC、プログラム可能割り込みコントローラ(PIC)、プログラマブル論理装置(PLD)、プログラマブル読み出し専用メモリ(PROM)、電子プログラマブル読み出し専用メモリ(EPROM又はEEPROM)、又はその他の類似の装置などのプログラマブル電子装置を更に含み得る。
【0092】
こうしたプロセッサは、プロセッサによって実行されたときに、プロセッサによって行われるか、又はプロセッサによって支援されるものとして、本開示による方法をプロセッサに実施させることができる、プロセッサ実行可能命令を記憶し得る、媒体(例えば、1つ以上の非一時的コンピュータ可読媒体)を含み得るか、又は媒体と通信し得る。非一時的コンピュータ可読媒体の実施例には、限定されるものではないが、プロセッサ実行可能命令を有するプロセッサなどのプロセッサをウェブサーバに提供することができる、電子、光学、磁気、又はその他の記憶装置が含まれ得る。非一時的コンピュータ可読媒体のその他の例には、以下に限定されないが、フロッピーディスク、CD-ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成されたプロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体が含まれる。説明されるプロセッサ及び処理は、1つ以上の構造にあってもよく、1つ以上の構造を通して分散されてもよい。プロセッサは、本開示による方法(又は方法の一部)を実行するためのコードを含んでもよい。
【0093】
一部の実施例の前述の説明は、例示及び説明の目的にのみ提示されており、網羅的であるか、又は本開示の正確な形態を限定することを意図するものではない。本開示の趣旨及び範囲から逸脱することなく、その数多くの改変及び適合が当業者に明らかとなるであろう。
【0094】
本明細書における実施例又は実施への言及は、実施例に関連して記述される特定の特徴、構造、動作、又はその他の特性が、本開示の少なくとも1つの実装に含まれ得ることを意味する。本開示は、そのように記載される特定の実施例又は実装に限定されない。「1つの実施例での」、「ある実施例での」、「1つの実装での」語句の出現、又は「ある実装では」、又は本明細書の様々な場所でのその変形例は、必ずしも同一の実施例又は実装を指すものではない。1つの実施例又は実装に関連して、本明細書に記述される任意の特定の特徴、構造、動作、又はその他の特性は、他の任意の実施例又は実装に関して記述される他の特徴、構造、動作、又はその他の特性と組み合わせられ得る。
【0095】
本明細書における用語「or(又は)」の使用は、包括的かつ排他的なOR条件を網羅することを意図する。言い換えれば、A又はB又はCは、特定の使用に適切な場合、以下の代替的な組み合わせ:A単独、B単独、C単独、A及びBのみ、A及びCのみ、B及びCのみ、並びにA及びB及びCのいずれか又は全てを含む。
図1
図2
図3
図4A
図4B
図4C
図4D
図5A
図5B
図5C
図5D
図6
図7A
図7B
図7C
図7D
図7E
図7F
図7G
図7H
図7I
図7J
図8A
図8B
図9A
図9B
図10A
図10B
図11A
図11B
図12
図13
【国際調査報告】