特許 7453988 治療の有効性を推定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-12

(45)【発行日】2024-03-21

(54)【発明の名称】治療の有効性を推定する方法

(51)【国際特許分類】

   G16H 20/00 20180101AFI20240313BHJP

【ＦＩ】

G16H20/00

【請求項の数】 20

(21)【出願番号】P 2021551758

(86)(22)【出願日】2020-02-13

(65)【公表番号】

(43)【公表日】2022-04-19

(86)【国際出願番号】 US2020018051

(87)【国際公開番号】W WO2020180471

(87)【国際公開日】2020-09-10

【審査請求日】2022-12-16

(31)【優先権主張番号】62/812,487

(32)【優先日】2019-03-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】19305643.9

(32)【優先日】2019-05-21

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】504456798

【氏名又は名称】サノフイ

【氏名又は名称原語表記】ＳＡＮＯＦＩ

(74)【代理人】

【識別番号】100127926

【弁理士】

【氏名又は名称】結田 純次

(74)【代理人】

【識別番号】100140132

【弁理士】

【氏名又は名称】竹林 則幸

(72)【発明者】

【氏名】ウーダン・リン

(72)【発明者】

【氏名】ユーラン・チィ

(72)【発明者】

【氏名】チィ・タン

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】国際公開第２０１７／２１４０６８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１５／０１３４３１１（ＵＳ，Ａ１）

【文献】特表２００４－５２３７２５（ＪＰ，Ａ）

【文献】国際公開第２０１８／１２９４１４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

１つまたはそれ以上のプロセッサによって実行される、コンピュータ実装方法であって：
データベースから：
それぞれの患者の臨床的共変量を各共変量ベクトルが含む、共変量ベクトルの組と、
それぞれの共変量ベクトルに各応答指標が関連付けられた応答指標の組であって、該応答指標の組の応答指標がある範囲にわたって変化する、応答指標の組と
を含むデータセットを受けること；
データベースから、応答指標について複数の応答クラスを定める、応答指標の範囲に対する複数のパーティションを受けること；
各応答指標を、複数のパーティションによって示される応答クラスに基づいて、それぞれのワンホットエンコードされたベクトルに変換すること；
各共変量ベクトル、および共変量ベクトルに関連付けられたそれぞれのワンホットエンコードされたベクトルに基づいて、ニューラルネットワークモデルを訓練すること；ならびに
治療の処置効果を：
治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定し；
１つまたはそれ以上の応答クラスについて、（ｉ）共変量ベクトルの第１のサブセットの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である第１の確率と、（ｉｉ）共変量ベクトルの第２のサブセットの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である第２の確率を比較することによって推定することであって、
第１の確率および第２の確率は、訓練されたニューラルネットワークモデルを用いることによって計算されること；ならびに
推定された処置効果を、計算デバイスのグラフィカルユーザインターフェースでの表示用に提供すること
を含む前記方法。

【請求項2】

ニューラルネットワークモデルは、非線形活性化関数および損失関数を利用する、請求項１に記載の方法。

【請求項3】

処置効果を推定することにおいて、１つまたはそれ以上の応答クラスは、複数の応答クラスのすべてを含む、請求項１に記載の方法。

【請求項4】

ニューラルネットワークモデルを訓練することは、共変量ベクトルの組および応答指標の組をブートストラップすることをさらに含む、請求項１に記載の方法。

【請求項5】

複数の応答クラスのうちの少なくとも２つの応答クラスは、互いに素である、請求項１に記載の方法。

【請求項6】

ニューラルネットワークモデルは、ソフトマックス活性化関数および交差エントロピー損失関数を利用する、請求項１に記載の方法。

【請求項7】

ニューラルネットワークは、順伝搬型ニューラルネットワークである、請求項１に記載の方法。

【請求項8】

１つまたはそれ以上のプロセッサによって実行される、コンピュータ実装方法であって：
データベースから：
それぞれの患者の臨床的共変量を各共変量ベクトル含む共変量ベクトルの組と、
それぞれの共変量ベクトルに各応答指標が関連付けられた応答指標の組であって、該応答指標の組の応答指標がある範囲にわたって変化する、応答指標の組と
を含む第１のデータセットを受けること；
データベースから、応答指標について複数の応答クラスを定める、応答指標の範囲に対する複数のパーティションを受けること；
第１のデータセットを用いてニューラルネットワークモデル（ＮＮＭ）を訓練して、第１のＮＮＭを得ること；
第１のデータセットをｎ回ブートストラップして、ｎ個の第２のデータセットを得ること；
ｎ個の第２のデータセット内の各々の第２のデータセットを用いてＮＮＭを訓練して、ｎ組の第２のＮＮＭを得ること；
各共変量ベクトルについて：
第１のＮＮＭおよびｎ個の第２のＮＮＭから、共変量ベクトルについてのｎ＋１個の予測応答を得ることであって、各予測応答は、第１のＮＮＭおよびｎ個の第２のＮＮＭのそれぞれ１つを共変量ベクトルに適用することによって得られ、
各応答クラスについて：
共変量ベクトルが応答クラスに関連付けられていることを示す関連確率を：
応答クラスについて、指示関数をｎ＋１個の予測応答の各々に適用して、応答クラスについてのｎ＋１個の出力を得ること、および
得られた応答クラスについてのｎ＋１個の出力の集計を正規化することによって関連確率を計算すること
によって推定すること；
治療の処置効果を：
治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定すること、ならびに
１つまたはそれ以上の応答クラスについて、（ｉ）第１のサブセットについての関連確率の第１の正規化集計と、（ｉｉ）第２のサブセットの関連確率の第２の正規化集計を比較すること
によって推定すること；ならびに
推定された処置効果を、計算デバイスのグラフィカルユーザインターフェースでの表示用に提供すること
を含む前記方法。

【請求項9】

１つまたはそれ以上の応答クラスは、複数の応答クラスのすべてを含む、請求項８に記載の方法。

【請求項10】

処置効果の不確実性を：
第１のデータセットをｍ回ブートストラップしてｍ個の第３のデータセットを得ること；
ｍ個の第３のデータセット内の各々の第３のデータセットについて処置効果を計算して、ｍ個の処置効果を得ること；および
ｍ個の処置効果の分布に基づいて不確実性を計算すること
によって推定することをさらに含む、請求項８に記載の方法。

【請求項11】

処置効果の不確実性は、ｍ個の処置効果の信頼区間および標準偏差の少なくとも１つを含む、請求項１０に記載の方法。

【請求項12】

ＮＮＭは、非線形活性化関数および最小二乗誤差損失関数を利用する、請求項８に記載の方法。

【請求項13】

非線形活性化関数は、正規化線形ユニット（ＲｅＬｕ）関数である、請求項１２に記載の方法。

【請求項14】

第１のデータセットを用いてＮＮＭを訓練して第１のＮＮＭを得ることは：
複数のハイパーパラメータを用いてＮＮＭを訓練すること；および
第１のＮＮＭについて、最小の検証誤差を有するハイパーパラメータの組を選択することであって、ハイパーパラメータの組は、複数のハイパーパラメータの組から選択されること
を含む、請求項８に記載の方法。

【請求項15】

作動方法を実行するために、コンピュータシステムによって実行可能な１つまたはそれ以上の命令を記憶する、非一時的なコンピュータ可読媒体であって、該作動方法は：
データセットを受けることであって、該データセットは：
それぞれの患者の臨床的共変量を各共変量ベクトルが含む、共変量ベクトルの組と、
それぞれの共変量ベクトルに各応答指標が関連付けられた応答指標の組であって、該応答指標の組の応答指標がある範囲にわたって変化する、応答指標の組と
を含むこと；
応答指標について複数の応答クラスを定める、応答指標の範囲に対する複数のパーティションを受けること；
各応答指標を、複数のパーティションによって示される応答クラスに基づいて、それぞれのワンホットエンコードされたベクトルに変換すること；
各共変量ベクトル、および共変量ベクトルに関連付けられたそれぞれのワンホットエンコードされたベクトルに基づいて、非線形活性化関数および損失関数を利用するニューラルネットワークモデルを訓練すること；ならびに
治療の処置効果を：
治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定し
１つまたはそれ以上の応答クラスについて、（ｉ）共変量ベクトルの第１のサブセットの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である第１の確率と、（ｉｉ）共変量ベクトルの第２のサブセットの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である第２の確率を比較することによって推定することであって、
第１の確率および第２の確率は、訓練されたニューラルネットワークモデルを用いることによって計算されること；ならびに
推定された処置効果を、計算デバイスのグラフィカルユーザインターフェースでの表示用に提供すること
を含む、前記非一時的なコンピュータ可読媒体。

【請求項16】

処置効果を推定することにおいて、１つまたはそれ以上の応答クラスは、複数の応答クラスのすべてを含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

ニューラルネットワークモデルを訓練することは、共変量ベクトルの組および応答指標の組をブートストラップすることをさらに含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項18】

複数の応答クラスのうちの少なくとも２つの応答クラスは、互いに素である、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項19】

ニューラルネットワークモデルは、ソフトマックス活性化関数および交差エントロピー損失関数を利用する、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項20】

ニューラルネットワークは、順伝搬型ニューラルネットワークである、請求項１５に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

応答者解析は、臨床データ解析において、治験薬または医療行為の処置効果を検討するために行われ、患者がその処置にどのように応答するかを判定するものである。患者の処置への応答が閾値を超えたとき、その患者は応答者とみなされる。

【発明の概要】

【課題を解決するための手段】

【0002】

本開示の実装形態は、コンピュータに実装された、治療の処置効果を推定するための方法を含む。実装形態は、ニューラルネットワークモデルを患者の臨床的共変量（たとえば、血圧、心拍数、体温など）に適用し、治療を用いた患者についての出力と治療を用いていない患者についての出力を比較することによって、そうした推定を行う。患者に対する治療の有効性は、患者の体が治療にどのように応答したかを示す応答指標（たとえば、バイオマーカ）によって判定することができる。

【0003】

いくつかの実装形態において、方法は：データベースから：それぞれの患者の臨床的共変量を各共変量ベクトルが含む、共変量ベクトルの組と、それぞれの共変量ベクトルに各応答指標が関連付けられた応答指標の組であって、応答指標の組の応答指標がある範囲にわたって変化する、応答指標の組とを含むデータセットを受けること；データベースから、応答指標について複数の応答クラスを定める、応答指標の範囲に対する複数のパーティションを受けること；各応答指標を、複数のパーティションによって示される応答クラスに基づいて、それぞれのワンホットエンコードされたベクトルに変換すること；各共変量ベクトル、および共変量ベクトルに関連付けられたそれぞれのワンホットエンコードされたベクトルに基づいて、非線形活性化関数および損失関数を利用するニューラルネットワークモデルを訓練すること；ならびに、治療の処置効果を：治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定し、１つまたはそれ以上の応答クラスについて、（ｉ）共変量ベクトルの第１のサブセットの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である第１の確率と、（ｉｉ）共変量ベクトルの第２のサブセットの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である第２の確率を比較することによって推定することであって、第１の確率および第２の確率は、訓練されたニューラルネットワークモデルを用いることによって計算されること；ならびに、推定された処置効果を、計算デバイスのグラフィカルユーザインターフェースでの表示用に提供することを含む。他の実装形態は、コンピュータの記憶デバイスにエンコードされた方法の動作を実施するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。

【0004】

いくつかの実装形態において、方法は：データベースから：それぞれの患者の臨床的共変量を各共変量ベクトルが含む、共変量ベクトルの組と、それぞれの共変量ベクトルに各応答指標が関連付けられた応答指標の組であって、応答指標の組の応答指標がある範囲にわたって変化する、応答指標の組とを含む第１のデータセットを受けること；データベースから、応答指標について複数の応答クラスを定める、応答指標の範囲に対する複数のパーティションを受けること；第１のデータセットを用いてニューラルネットワークモデル（ＮＮＭ）を訓練して、第１のＮＮＭを得ること；第１のデータセットをｎ回ブートストラップして、ｎ個の第２のデータセットを得ること；ｎ個の第２のデータセット内の各々の第２のデータセットを用いてＮＮＭを訓練して、ｎ組の第２のＮＮＭを得ること；各共変量ベクトルについて：第１のＮＮＭおよびｎ個の第２のＮＮＭから、共変量ベクトルについてのｎ＋１個の予測応答を得ることであって、各予測応答は、第１のＮＮＭおよびｎ個の第２のＮＮＭのそれぞれ１つを共変量ベクトルに適用することによって得られ、各応答クラスについて：共変量ベクトルが応答クラスに関連付けられていることを示す関連確率を：応答クラスについて、指示関数をｎ＋１個の予測応答の各々に適用して、応答クラスについてのｎ＋１個の出力を得ること、および得られた応答クラスについてのｎ＋１個の出力の集計を正規化することによって関連確率を計算すること、によって推定すること；治療の処置効果を：治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定すること、ならびに１つまたはそれ以上の応答クラスについて、（ｉ）第１のサブセットについての関連確率の第１の正規化集計と、（ｉｉ）第２のサブセットの関連確率の第２の正規化集計を比較することによって推定すること；ならびに、推定された処置効果を、計算デバイスのグラフィカルユーザインターフェースでの表示用に提供することを含む。

【0005】

本開示はまた、１つまたはそれ以上のプロセッサに連結され、記憶された命令を有する１つまたはそれ以上の非一時的なコンピュータ可読記憶媒体を提供し、命令は、１つまたはそれ以上のプロセッサによって実行されると、本明細書において提供される方法の実装形態に従って、１つまたはそれ以上のプロセッサに作動方法を実施させる。

【0006】

本開示はさらに、本明細書において提供される方法を実装するためのシステムを提供する。システムは、１つまたはそれ以上のプロセッサ、および記憶された命令を有する１つまたはそれ以上のプロセッサに連結されたコンピュータ可読記憶媒体を含み、命令は、１つまたはそれ以上のプロセッサによって実行されると、本明細書において提供される方法の実装形態に従って、１つまたはそれ以上のプロセッサに作動方法を実施させる。

【0007】

本開示による方法は、本明細書に記載される態様および構成の任意の組み合わせを含むことができる。すなわち、本開示による方法は、本明細書に具体的に記載される態様および構成の組み合わせに限定されず、提供される態様および構成の任意の組み合わせも含む。

【0008】

他の利点の中では、本実装形態は、以下の利点をもたらす。本明細書に示される方法を用いて、特定の患者に対する治療の有効性を予測することができる。処置効果の正確な予測は、特定の患者に対してその特定の患者にとってより効果が高いと予測される治療を指示すること、および特定の患者への指示からより効果が低いと思われる治療を省くことを含めて、医療健康システムに著しい改善をもたらすことが可能であり、それによって、患者の回復を早めること、より効果が低い処置を行うことによって患者が受けるであろう副作用を減らすこと、ならびに処置のコスト（金銭、時間、臨床設備および医療提供者の使い方を含む）を下げることが可能になる。

【0009】

本実装形態は、モデルの予測変数と患者の応答変数との関係に線形性の仮定を行わないニューラルネットワークモデルを用いることによって、ノンパラメトリックな手法をとる。この手法は、予測変数と応答変数の関係をモデル化する一般化線形モデルよりも有利である。そうした線形モデルは、線形性の仮定によって、検出力および偏差が低下する可能性がある。たとえば、応答エンドポイントを対象の共変量と線形的に関連付けることができない、または患者の特性（たとえば、共変量）が完全にバランスしない可能性がある。本開示は、そうした制限を克服するために２つの方法を提供する。第１の方法において、実装形態は、連続する応答変数をカテゴリ変数に離散化し、線形性の仮定を行わずにカテゴリにニューラルネットワークモデルを適用して、ディープラーニング法に組み込まれている自動的な機能表現力を提供する。第２の方法は第１の方法を基礎とするものであるが、連続する応答変数の離散化は行わない。したがって、本実装形態は、予測変数と応答変数の関係に線形の仮定を行わないようにすることによって、線形的な方法よりも推定精度を高める。

【0010】

本開示の１つまたはそれ以上の実装形態の詳細を、添付図面および以下の説明において示す。本開示の他の構成および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】本開示の実装形態を実行するために使用可能な例示的な環境を示す図である。

【図2】本開示の実装形態に使用可能な例示的な順伝搬型ニューラルネットワークモデルを示す図である。

【図3】本開示の実装形態に従って実行可能な例示的な過程を示す図である。

【図4A】本開示の実装形態に従って実行可能な例示的な過程を示す図である。

【図4B】本開示の実装形態に従って実行可能な例示的な過程を示す図である。

【図5】本開示の実装形態を実行するために使用可能な例示的なコンピュータシステムの概略図である。

【発明を実施するための形態】

【0012】

様々な図面における類似の参照記号は、類似の要素を示す。

【0013】

本開示の実装形態は、コンピュータに実装された、治療の処置効果を推定するための方法を含む。実装形態はまた、特定の臨床的共変量を有する患者が治療に対する応答者である確率を予測するために、ディープラーニング法を使用する。

【0014】

図１は、本開示の実装形態を実行するために使用可能な例示的な環境１００を示している。環境１００は、処置効果の推定値を要求するために計算デバイス１０２を使用するユーザ１１６を図示している。計算デバイス１０２は、たとえば、ネットワーク１１０を介して、データベース１０６と通信状態にある。データベース１０６は、サンプル患者の臨床的共変量のデータを記憶している。データベース１０６は、このデータを計算デバイス１０２に提供する。計算デバイス１０２は、このデータを用いて（ディープ）ニューラルネットワークモデル（ＮＮＭ）を訓練し、（たとえば、全体として、または特定の患者についての）治療の有効性の確率に関する推定量を提供する。代替的に、またはこれに加えて、データベース１０６は、推定手順を実施する１つまたはそれ以上のプロセッサ１０４を含む計算デバイス１０８へ、データを提供することができる。

【0015】

ＮＮＭは、非線形活性化関数（たとえば、ソフトマックス活性化関数、正規化線形ユニット（ＲｅＬｕ：ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）活性化関数）、および損失関数（たとえば、交差エントロピー損失、最小二乗誤差（Ｌ_２））を利用することができる。

【0016】

確率を計算するために使用されるＮＮＭは、１つまたはそれ以上の順伝搬型ＮＮＭを含むことができる。図２は、本開示の実装形態に使用可能な例示的な順伝搬型ＮＮＭ２００を図示している。ＮＮＭ２００は、順伝搬型として相互接続された複数層の計算ユニットを含む。１つの層内の各ニューロンは、次の層のニューロンへの有向接続を有する。隣接する層内のニューロンをつなぐ活性化関数（シグモイド、ＲｅＬＵなど）には、多くの選択肢がある。ＮＮＭのパラメータは、確率的勾配降下アルゴリズムによって計算することができる。ＮＮＭは、検証セットに対するＮＮＭのパフォーマンスに基づき、ＮＮＭのハイパーパラメータ（たとえば、層の数、各層内のニューロンの数など）を探索することによって、たとえば、過剰適合の問題を回避し、かつ／または最小の検証誤差を見出すように訓練することができる。

【0017】

いくつかの実装形態では、ただ１つの順伝搬型ニューラルネットワークが使用される。そうした実装形態は、少なくとも２つの利点をもたらす。第１に、複数の出力間の関係を、より少ない層での接続によって自動的に扱うことができる。第２に、計算として単純であり、比較的小さい空間内で高速のハイパーパラメータ探索を行う能力を提供する。本明細書において、ＮＮＭは、ｆ（Ｘ）（ここで、Ｘは共変量ベクトルを示す）によって表される。

【0018】

図３および４Ａ～４Ｂは、治療の有効性を判定するために、本開示の実装形態に従って実行可能な２つの例示的な過程を示している。説明を簡単にするために、本明細書に記載される過程は、２つの方法に分類されている。システムは、これら２つの方法の一方または両方から利益を得られることが、当業者には理解されるであろう。

【0019】

第１の方法：
第１の方法が図３に示されており、１つまたはそれ以上の計算デバイス（たとえば、図１の計算デバイス１０２または１０８）によって実行することができる。１つまたはそれ以上の計算デバイスは、たとえば、データベース１０６などのデータベースから、データセット｛（ｘ_ｉ、ｙ_ｉ），ｉ＝１，・・・，ｑ｝を受ける（３０２）。データセットは、１組の共変量ベクトルＸおよび１組の応答指標Ｙを含む。各共変量ベクトルｘ_ｉは、それぞれの患者の臨床的共変量を含む。各応答指標（「エンドポイント応答」または「エンドポイント応答者」と言うこともできる）ｙ_ｉは、それぞれの共変量ベクトルｘ_ｉに関連付けられている。

【0020】

応答指標は、ある範囲にわたって変化する。その範囲は、水準Ｃ_１＜Ｃ_２＜・・・＜Ｃ_ｋ∈ｓｕｐｐ（Ｙ）に分割される。各Ｃ_ｊは応答クラスを表す。いくつかの実装形態において、１つまたはそれ以上の計算デバイスは、たとえばデータベースから、応答クラスを示すパーティションを受ける（３０４）。いくつかの実装形態において、計算デバイスは、オペレータ、たとえばユーザ１１６から、パーティションを受ける。

【0021】

治療の有効性を判定するために、応答クラスごとに患者の応答指標の確率、すなわち、Ｐ（Ｙ＜Ｃ_１），Ｐ（Ｙ＜Ｃ_２），・・・，Ｐ（Ｙ＜Ｃ_ｋ）が計算される。治療が１つまたはそれ以上の主な応答クラス（たとえば２つ）について高い確率をもたらすことができる場合には、薬物または治療の有効性が確認される。たとえば、喘息に関連付けられた主なバイオマーカのパーセンテージ変化（ＰＣＨＧ）を調べて、喘息薬の有効性を判定することができる。バイオマーカの値が低いほど、より健康な状態を示す；したがって、ＰＣＨＧが低いほど喘息に対する治療の有効性が高いことを示す。この例では、ＰＣＨＧが応答指標である。－５０％、－２５％、および０の３つのパーティションを用いて、応答指標の変化の範囲を、応答クラス、Ｃ_１＜－５０％、－５０％＜Ｃ_２＜－２５％、－２５％＜Ｃ_３＜０、およびＣ_４＞０に分けることができる。この例では、ＰＣＨＧがクラスＣ_１かＣ_２のいずれかに該当する確率が高いほど、喘息薬の有効性が高いことを示す。

【0022】

１つまたはそれ以上の計算デバイスは、３０２で受けた応答指標の各々を、パーティションによって示される応答クラスに基づいて、ワンホットエンコードされたベクトルに変換する（３０６）。（ワンホットエンコードされたベクトルとは、ただ１つのビットが「オン」である、たとえば、０ではなく１という値を有するベクトルである。）換言すれば、計算デバイスは、
ｚ_ｉ＝（Ｉ（ｙ_ｉ＜Ｃ_１），Ｉ（Ｃ_１≦ｙ_ｉ＜Ｃ_２），・・・，Ｉ（Ｃ_ｋ－１≦ｙ_ｉ＜Ｃ_ｋ），Ｉ（ｙ_ｉ≧Ｃ_ｋ）） （１）
によって、ｘ_ｉ共変量ベクトル（およびそのそれぞれのｙ_ｉ応答指標）ごとに、ｚ_ｉベクトルを生成する。

【0023】

１つまたはそれ以上の計算デバイスは、共変量ベクトルと、そのそれぞれのワンホットエンコードされたベクトルの組、すなわち、｛ｘ_ｉ，ｚ_ｉ｝ｉ＝１，２，・・・，ｑを用いてＮＮＭを訓練し（３０８）、訓練されたＮＮＭモデル

【数1】

を得る。

【0024】

訓練されたＮＮＭを各共変量ベクトル｛ｘ_ｉ｝ｉ＝１，・・・，ｑに適用すると、訓練されたＮＮＭは、共変量ベクトルに関連付けられた応答クラスの確率、すなわち

【数2】

を与える。

【0025】

計算デバイスは、訓練されたＮＮＭをデータ｛（ｘ_ｉ、ｙ_ｉ）｝ｉ＝１，２，・・・，ｑに適用することによって、治療の処置効果を推定する（３１０）。それを行うために、計算デバイスは、治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定する（またはデータベースから受ける）。次いで、計算デバイスは、１つまたはそれ以上の応答クラスについて、（ｉ）第１の確率と（ｉｉ）第２の確率を比較する。第１の確率は、第１のサブセットの共変量ベクトルの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率であり、第２の確率は、第２のサブセットの共変量ベクトルの共変量ベクトルが１つまたはそれ以上の応答クラスに関連付けられる確率である。計算デバイスは、第１の確率および第２の確率を訓練されたＮＮＭから受ける。１つまたはそれ以上の応答クラス（それについて、第１の確率を第２の確率と比較する）は、応答クラスのすべて、または応答クラスの特定のもの（たとえば上記の例では、応答クラス、Ｃ_１＜－５０％、および－５０％＜Ｃ_２＜－２５％）とすることができる。

【0026】

より詳細には、Ｃ_ｊを主な応答クラス、Ｔを処置を示すＸの成分（たとえば、Ｔ＝１は処置を示し、Ｔ＝０は未処置を示す）とすると、処置効果は下式によって計算され、

【数3】

上式において、

【数4】

および

【数5】

である。

【0027】

そうした集計推定量（式（３）および（４）参照）によって、適切に大きいサンプルサイズで処置効果を推定する際の精度が改善される。共変量には相関関係があり、（ディープ）ＮＮＭには線形性の仮定がないため、共変量同士の間、または共変量とＮＮＭの出力の間に複雑な関係があっても、実質的な内的関連性を含む観測（たとえば、共変量ベクトルの成分、応答指標）を適用して、正確な結果を得ることができる。

【0028】

１つまたはそれ以上の計算デバイスは、推定された処置効果を提示用に提供する。たとえば、計算デバイスは、推定された処置効果を、たとえば図１における計算デバイス１０２のグラフィカルユーザインターフェースなどのグラフィカルユーザインターフェースでの表示用に提供することができる（３１２）。

【0029】

これまでに言及したように、患者の応答指標の確率は、応答クラスごとに計算され、すなわち、Ｐ（Ｙ＜Ｃ_１），Ｐ（Ｙ＜Ｃ_２），・・・，Ｐ（Ｙ＜Ｃ_ｋ）となる。応答指標の範囲に対して順序分類（またはパーティショニング）を用いると、ＮＮＭの出力に難しい制約が加えられる可能性がある。ＮＮＭの訓練を簡単にするために、パーティショニングを、順序分類ではなく公称分類として実施することができる。そうした公称分類によって、（Ｙ＜Ｃ_１），（Ｃ_１≦Ｙ＜Ｃ_２），・・・，（Ｃ_ｋ－１≦Ｙ＜Ｃ_ｋ），（Ｙ≧Ｃ_ｋ）など、互いに素な応答クラスが与えられる。こうした互いに素な応答クラスについてのＮＮＭの出力は、
Ｐ（Ｙ＜Ｃ_１），Ｐ（Ｃ_１≦Ｙ＜Ｃ_２），・・・，Ｐ（Ｃ_ｋ－１≦Ｙ＜Ｃ_ｋ），Ｐ（Ｙ≧Ｃ_ｋ）
という形になり、これにより、出力においてｋ＋１個の成分が得られる。計算デバイスは、訓練された

【数6】

および特定の組の共変量を用いて、累計：

【数7】

により、順序分類の応答クラスについての推定確率を得ることができる。そうした手順は、（ｉ）情報損失のない１対１対応の変形；および（ｉｉ）変形後に、ディープニューラルネットワークよって正確かつ効率的に扱うことが可能な標準的な分類問題が得られること、という利点をもたらす。

【0030】

上述の第１の方法は、３０２で受けたデータをブーストラップすることを含むことができる。ブートストラッピングは、ニューラルネットワークを訓練するのに十分なサンプルを利用できないとき、または利用可能なサンプルよりも多くのサンプルが訓練のために望まれるときに有益となり得る。受けたデータをブーストラップすることは、共変量ベクトルとそのそれぞれの応答指標の組をブートストラップする（または、そうした組からリサンプリングする）ことを含む。元のデータおよびブートストラップされたデータを、ＮＮＭの訓練および／または検証に用いることができる。

【0031】

第２の方法：
第２の方法が図４Ａ～４Ｂに示されており、１つまたはそれ以上の計算デバイス（たとえば、図１の計算デバイス１０２または１０８）によって実行することができる。第２の方法は、応答指標（ｙ_ｉ）のワンホットのエンコーダベクトル（ｚ_ｉ）への変換（または変形）を省く。その代わりに、ＮＮＭを用いて、共変量ベクトルＸと応答指標Ｙの関係を直接モデル化する。利点としては、応答指標のエンコーダベクトルへの変形を省くことにより、検出力の損失を低減することができる。

【0032】

第２の方法は、２水準のブートストラッピングを含むことができる。第１の水準は、ある患者（またはある患者に関連付けられた共変量ベクトル）が治療に対する応答者である確率を推定し、そうした確率に基づいて治療の有効性を計算するものである。第２の水準は、推定された確率について不確実性評価を与えるものである。

【0033】

第１の水準のブートストラッピングにおいて、第２の方法は、受けたデータをｎ回ブートストラップして、ｎ組のブートストラップされたデータを得る。ブートストラップされたデータの各組を用いてＮＮＭを訓練し、それぞれの訓練されたＮＮＭ、ｆ^Ｂ（Ｘ）を得る。次いで、第２の方法は、共変量ベクトルの各々（ｘ_ｉ）について、訓練されたＮＮＭ、ｆ^ｂｉ（Ｘ）によって予測された予測応答指標

【数8】

を集める。方法は、（各共変量ベクトルについての）予測応答指標が１つまたはそれ以上の特定の応答クラスの範囲内にある確率に基づいて、治療の有効性を推定する。以下の段落では、第２の方法について詳しく説明する。

【0034】

第２の方法において、（これまでに言及した）１つまたはそれ以上の計算デバイスは、たとえば、データベース１０６などのデータベースから、第１のデータセット｛（ｘ_ｉ、ｙ_ｉ），ｉ＝１，・・・，ｑ｝を受ける（４０２）。第１のデータセットは、１組の共変量ベクトルＸおよび１組の応答指標Ｙを含む。各共変量ベクトルｘ_ｉは、それぞれの患者の臨床的共変量を含む。各応答指標ｙ_ｉは、それぞれの共変量ベクトルｘ_ｉに関連付けられている。

【0035】

応答指標は、ある範囲にわたって変化する。その範囲は、水準Ｃ_１＜Ｃ_２＜・・・＜Ｃ_ｋ∈ｓｕｐｐ（Ｙ）に分割される。各Ｃ_ｊは応答クラスを表す。いくつかの実装形態において、１つまたはそれ以上の計算デバイスは、たとえばデータベースから、応答クラスを示すパーティションを受ける（４０４）。いくつかの実装形態において、計算デバイスは、オペレータ、たとえばユーザ１１６から、パーティションを受ける。

【0036】

１つまたはそれ以上の計算デバイスは、第１のデータセット｛（ｘ_ｉ、ｙ_ｉ），ｉ＝１，・・・，ｑ｝を用いてＮＮＭを訓練して、第１のＮＮＭを得る（４０６）。ＮＮＭは、順伝搬型ニューラルネットワークを含むことができる。訓練は、複数のハイパーパラメータを用いてＮＮＭを訓練すること、および第１のＮＮＭについて、（複数のハイパーパラメータから）最小の検証誤差を有するハイパーパラメータの組を選択することを含むことができる。

【0037】

計算デバイスは、第１のデータセットをｎ回ブートストラップして、ｎ組の第２のデータセット

【数9】

を得る（４０８）。計算デバイスは、第２のデータセットの各々を用いてＮＮＭを訓練して、ｎ組の第２のＮＮＭを得る（４１０）。１つまたはそれ以上の第２のＮＮＭの訓練は、これまでの段落で説明した第１のＮＮＭの訓練の過程に類似した過程で行うことができる。

【0038】

１つまたはそれ以上の計算デバイスは、訓練されたＮＮＭから（すなわち、第１のＮＮＭおよびｎ個の第２のＮＮＭから）、第１のデータセットの各共変量ベクトルについてのｎ＋１個の予測応答を得る（４１２）。各予測応答は、第１のＮＮＭおよびｎ個の第２のＮＮＭのそれぞれ１つを共変量ベクトルに適用することによって得られる。ある共変量ベクトルｘ_ｉに対して得られた予測応答は、

【数10】

によって表すことができる。

【0039】

ある共変量ベクトルが治療に対する応答者である確率によって、共変量ベクトルに類似した臨床的共変量を有する患者が、どの程度治療に応答するか、または応答したかを示すことができる。計算デバイスは、１つまたはそれ以上の主な応答クラスについて共変量ベクトルの関連確率を推定することにより、共変量ベクトルｘ_ｉが治療に対する応答者である確率を推定する。たとえば、計算デバイスは、４０４において特定された応答クラスごとに、共変量ベクトルｘ_ｉについての関連確率を推定することができる（４１４）。

【0040】

共変量ベクトルｘ_ｉのある応答クラスについての関連確率は、指示関数をｎ＋１個の予測応答の各々に適用して、応答クラスについてのｎ＋１個の出力を得ること、および得られたｎ＋１個の出力の集計を正規化することによって計算することができる。換言すれば、すべての応答クラスＣ_ｊにおける共変量ベクトルｘ_ｉについての関連確率は、

【数11】

によって計算することができる。

【0041】

１つまたはそれ以上の計算デバイスは、治療を受けていない患者の共変量ベクトルについての関連確率と比べた、治療を受けた患者に関連付けられた共変量ベクトルについての関連確率に基づいて、治療の処置効果を推定する。より具体的には、計算デバイスは、治療を受けた患者についての共変量ベクトルの第１のサブセット、および治療を受けなかった患者についての共変量ベクトルの第２のサブセットを決定する（またはデータベースから受ける）（４１６）。次いで、計算デバイスは、１つまたはそれ以上の主な応答クラスについて、（ｉ）第１のサブセットについての関連確率の第１の正規化集計と、（ｉｉ）第２のサブセットの関連確率の第２の正規化集計を比較する（４１８）。換言すれば、計算デバイスは、下式によって処置効果を推定し、

【数12】

上式において、ｔ_ｉ＝１は処置の場合を表し、ｔ_ｉ＝０は未処置の場合を表す。１つまたはそれ以上の主な応答クラスは、応答クラスのすべて、または特定のものを含むことができる。

【0042】

１つまたはそれ以上の計算デバイスは、推定された処置効果を提示用に提供する。たとえば、計算デバイスは、推定された処置効果を、たとえば図１における計算デバイス１０２のグラフィカルユーザインターフェースなどのグラフィカルユーザインターフェースでの表示用に提供することができる（４２０）。

【0043】

上述の手順に加えて、１つまたはそれ以上の計算デバイスは、第２の水準のブートストラッピングを用いることにより、推定された処置効果の不確実性を推定することができる。第２の水準において、不確実性は、第１のデータセットをｍ回ブートストラップしてｍ個の第３のデータセットを得ること、ｍ個の第３のデータセット内の各々の第３のデータセットについて処置効果を計算してｍ個の処置効果を得ること、およびｍ個の処置効果の分布に基づいて不確実性を計算することによって推定される。例示的な不確実性には、それだけに限らないが、ｍ個の処置効果の信頼区間および標準偏差が含まれる。

【0044】

図５は、例示的な計算システム５００の概略図を示している。システム５００を用いて、本開示の第１または第２の方法のいずれかによる、１つまたはそれ以上の実装形態に関連して説明した作動方法を実施することができる。たとえば、システム５００は、本明細書において論じるサーバ構成要素または（１つもしくはそれ以上の）他の計算デバイスのいずれかまたはすべてに含めることができる。システム５００は、１つまたはそれ以上のプロセッサ５１０、１つまたはそれ以上のメモリ５２０、１つまたはそれ以上の記憶デバイス５３０、および１つまたはそれ以上の入力／出力（Ｉ／Ｏ）デバイス５４０を含むことができる。構成要素５１０、５２０、５３０、５４０は、システムバス５５０を用いて相互接続することができる。

【0045】

プロセッサ５１０は、システム５００内で命令を実行するように構成することができる。プロセッサ５１０は、シングルスレッドプロセッサまたはマルチスレッドプロセッサを含むことができる。プロセッサ５１０は、メモリ５２０もしくは記憶デバイス５３０の一方もしくは両方に記憶された命令を実行すること、または他の方法で処理するように構成することができる。（１つまたはそれ以上の）命令の実行により、Ｉ／Ｏデバイス５４０上でユーザインターフェースを介してグラフィカルな情報を表示、または他の方法で提示することができる。

【0046】

メモリ５２０は、システム５００内に情報を記憶することができる。いくつかの実装形態において、メモリ５２０はコンピュータ可読媒体である。いくつかの実装形態において、メモリ５２０は、１つまたはそれ以上の揮発性メモリユニットを含むことができる。いくつかの実装形態において、メモリ５２０は、１つまたはそれ以上の不揮発性メモリユニットを含むことができる。

【0047】

記憶デバイス５３０は、システム５００のための大容量記憶を提供するように構成することができる。いくつかの実装形態において、記憶デバイス５３０はコンピュータ可読媒体である。記憶デバイス５３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、テープデバイス、または他のタイプの記憶デバイスを含むことができる。Ｉ／Ｏデバイス５４０は、システム５００に対するＩ／Ｏ作動方法を提供することができる。いくつかの実装形態において、Ｉ／Ｏデバイス５４０は、キーボード、ポインティングデバイス、またはデータ入力用の他のデバイスを含むことができる。いくつかの実装形態において、Ｉ／Ｏデバイス５４０は、表示用のグラフィカルユーザインターフェースまたは他のタイプのユーザインターフェース用の表示ユニットなど、出力デバイスを含むことができる。

【0048】

記載した構成は、デジタル電子回路において、またはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、またはこれらの組み合わせで実装することができる。装置は、プログラム可能なプロセッサによる実行のために情報キャリア内で（たとえば、機械可読な記憶デバイス内で）実体的に具体化されるコンピュータプログラム製品に実装することが可能であり；方法の各工程の実施は、プログラム可能なプロセッサが、命令からなるプログラムを実行し、入力データに対して演算して出力を生成することによって記載される実装形態の機能を果たすことによってなされる。記載した構成は、有利には、データ記憶システムからデータおよび命令を受ける、またはデータ記憶システムへデータおよび命令を送るように連結された少なくとも１つのプログラム可能なプロセッサと、少なくとも１つの入力デバイスと、少なくとも１つの出力デバイスとを含む、プログラム可能なシステム上で実行可能な１つまたはそれ以上のコンピュータプログラムに実装することができる。コンピュータプログラムは、ある特定の動作を実施する、またはある特定の結果をもたらすために、コンピュータにおいて直接的または間接的に使用することができる一連の命令である。コンピュータプログラムは、コンパイラ型またはインタープリタ型の言語を含む任意の形式のプログラミング言語で記述することができ、独立したプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくは計算環境での使用に適した他のユニットとしてなど、任意の形で配置することができる。

【0049】

命令からなるプログラムの実行に適したプロセッサには、例として、汎用および特定目的用両方のマイクロプロセッサ、ならびに任意の種類のコンピュータの単独のプロセッサまたは複数のプロセッサのうちの１つが含まれる。概して、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリ、またはその両方から、命令およびデータを受ける。コンピュータの要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを記憶するための１つまたはそれ以上のメモリを含むことができる。概して、コンピュータは、データファイルを記憶するための１つもしくはそれ以上の大容量記憶デバイスを含むこと、またはそうしたデバイスと通信するように動作可能に連結することができ；そうしたデバイスは、内部ハードディスクおよび取り外し可能ディスクなどの磁気ディスク；光磁気ディスク；ならびに光ディスクを含む。コンピュータプログラム命令およびデータを実体的に具体化するのに適した記憶デバイスは、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイス；内部ハードディスクおよび取り外し可能ディスクなどの磁気ディスク；光磁気ディスク；ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含むあらゆる形の不揮発性メモリを含む。プロセッサおよびメモリは、特定用途向け集積回路（ＡＳＩＣ）によって補うこと、またはＡＳＩＣに組み込むことができる。

【0050】

ユーザとの対話を提供するために、こうした構成は、ユーザに情報を表示するための陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）モニタなどの表示デバイスと、ユーザがそれによってコンピュータへの入力を行うことができるキーボード、およびマウスまたはトラックボールなどのポインティングデバイスとを有するコンピュータに実装することができる。

【0051】

こうした構成は、データサーバなどのバックエンド構成要素を含むコンピュータシステム、アプリケーションサーバもしくはインターネットサーバなどのミドルウェア構成要素を含むコンピュータシステム、またはグラフィカルユーザインターフェースもしくはインターネットブラウザを有するクライアントコンピュータなどのフロントエンド構成要素を含むコンピュータシステム、またはこれらの任意の組み合わせにおいて実装することができる。システムの構成要素は、通信ネットワークなど、任意の形または媒体のデジタルデータ通信によって接続することができる。通信ネットワークの例には、たとえばローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、ならびにインターネットを形成するコンピュータおよびネットワークが含まれる。

【0052】

コンピュータシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、概して互いに遠隔に位置し、典型的には記載したものなどのネットワークを介して相互作用する。クライアントとサーバの関係は、コンピュータプログラムがそれぞれのコンピュータ上で動き、互いにクライアント－サーバの関係を有することによって生じる。

【0053】

加えて、図示された論理の流れは、望ましい結果を実現するために、示された特定の順序または逐次的な順序を必要とするものでない。さらに、他の工程を提供すること、または記載した流れから工程を省くことができ、また他の構成要素を記載したシステムに追加すること、または記載したシステムから除くことができる。したがって、他の実装形態も以下の特許請求の範囲の範囲内である。

【0054】

本開示のいくつかの実装形態について説明してきたが、本開示の趣旨および範囲から逸脱することなく様々な変更が可能であることが理解されるであろう。したがって、他の実装形態も、以下の特許請求の範囲の範囲内である。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】