【図1】
訪問時のネコの年齢に対する、訪問の分布
【図2A-1】
min‐max正規化及び欠損値補完後のデータセットを含む61,160の記録の階層的クラスタリング及びヒートマッププロット。図2Aは、1223個の外れ値を削除した後のデータセットを示し、予測に使用されることになる6つの特徴が、赤色の長方形で囲まれて示されている。
【図2A-2】
図2A-1の続き。
【図2B-1】
min‐max正規化及び欠損値補完後のデータセットを含む61,160の記録の階層的クラスタリング及びヒートマッププロット。図2Bは、予測に使用されることになる6つの特徴のみのヒートマップを示す。
【図2B-2】
図2B-1の続き。
【図2C-1】
min‐max正規化及び欠損値補完後のデータセットを含む61,160の記録の階層的クラスタリング及びヒートマッププロット。図2Cは、1223個の外れ値を削除していないヒートマップを示す。
【図2C-2】
図2C-1の続き。
【図3-1】
最も有益な6つの変数の散布図行列。健康なネコ及びCKDネコの訪問を、それぞれ緑色及び赤色のドットで示す。
【図3-2】
図3-1の続き。
【図4A】
健康なネコ及びCKDネコの訪問のPCA及びt‐SNEプロット。図4Aは、健康なネコ及びCKDネコの訪問のPCA 2Dプロットを示す。
【図4B】
健康なネコ及びCKDネコの訪問のPCA及びt‐SNEプロット。図4Bは、健康なネコ及びCKDネコの訪問のPCA 3Dプロットを示す。
【図4C】
健康なネコ及びCKDネコの訪問のPCA及びt‐SNEプロット。図4Cは、健康なネコ及びCKDネコの訪問のt‐SNE 2Dプロットを示す。
【図4D】
健康なネコ及びCKDネコの訪問のPCA及びt‐SNEプロット。図4Dは、健康なネコ及びCKDネコの訪問のt‐SNE 3Dプロットを示す。
【図5】
再帰的特徴消去トップダウンラッパー法による特徴の選択
【図6】
全ての訓練データを使用した最適なKパラメータ選択
【図7A】
サンプリングされたデータセットの、K=3~17に関する受信者動作特性曲線(ROC曲線)及び精度再現曲線(PR曲線)。図7Aは、サンプリングされたデータセットの、K=3~17に関するPR曲線を示す。
【図7B】
サンプリングされたデータセットの、K=3~17に関する受信者動作特性曲線(ROC曲線)及び精度再現曲線(PR曲線)。図7Bは、サンプリングされたデータセットの、K=3~17に関するROC曲線を示す。
【図8A】
個々の時間的予測因子及び混合エキスパート(Mixture of Experts:MOE)に関するROC曲線及びPR曲線。図8Aは、個々の時間的予測因子及び混合エキスパート(MOE)に関するPR曲線を示す。
【図8B】
個々の時間的予測因子及び混合エキスパート(Mixture of Experts:MOE)に関するROC曲線及びPR曲線。図8Bは、個々の時間的予測因子及び混合エキスパート(MOE)に関するROC曲線を示す。
【図9】
リカレントニューラルネットワークアーキテクチャ
【図10A】
機械学習プロセスの概略図。図10Aは、RNNアーキテクチャに対する訓練データセットの構造を示す。RNNタイムスライス毎に、一意のネコに関する6つの特徴のベクトルが読み込まれる。
【図10B】
機械学習プロセスの概略図。図10Bは、単一出力RNN(バニラ又はLSTM)に関する訓練スキームを示す。各タイムスライスにおいて、単一の訪問/ネコが読み込まれ、フォワードアクティブ化関数が計算される。最後の訪問において、出力が計算され(二値予測に変換されるCKDの確率)、実際のラベルと比較される。真のラベルと予測との間のいずれの差異を逆伝播することにより、重みを精密化する。この手順は、複数のエポックに対して繰り返され、ここで1つのエポックはデータセットの完全な使用である。
【図11-1】
LSTMアーキテクチャ(上)及びバニラRNNアーキテクチャ(下)を、これらの3つのメトリックと共に示す。各構成に関して、第1行はレイヤー毎のノード分布を示し、続く3行は、それぞれF1スコア値、AUC ROC値、及びAUC PR値を示す。パフォーマンスが最高のものが、濃い緑色で囲まれて強調されている。
【図11-2】
図11-1の続き。
【図12】
LSTM(青色の丸)及びバニラRNN(橙色の丸)に関する、ノードの個数の関数としてのF1スコア
【図13A】
RNN‐LSTMアルゴリズムに基づくモデルの特徴。図13Aは、最適な構成(3つのLSTMレイヤー7‐7‐7、及び最後の高密度フィードフォワードレイヤー)のRNN‐LSTMアーキテクチャを示す。
【図13B】
RNN‐LSTMアルゴリズムに基づくモデルの特徴。図13Bは、AUCが0.93~0.96(全体で0.94)での、5層CVに関するROC曲線を示す。
【図13C】
RNN‐LSTMアルゴリズムに基づくモデルの特徴。図13Cは、エポックの個数に対する損失関数を示す。
【図13D】
RNN‐LSTMアルゴリズムに基づくモデルの特徴。図13Dは、AUCが0.89~0.94(全体で0.91)での、5層CVに関するPR曲線を示す。ベースラインパフォーマンスは、CKDクラスのメンバーシップの事前確率(26%であり、星(*)で示されている。
【図14A】
バニラRNNアルゴリズムに基づくモデルの特徴。図14Aは、バニラRNNアーキテクチャによる代替的な、最適に近い実装形態(3つのRNNレイヤー3‐5‐3、及び最後の高密度フィードフォワードレイヤー)を示す。
【図14B】
バニラRNNアルゴリズムに基づくモデルの特徴。図14Bは、AUCが0.93~0.95(全体で0.94)での、5層CVに関するROC曲線を示す。
【図14C】
バニラRNNアルゴリズムに基づくモデルの特徴。図14Cは、エポックの個数に対する損失関数を示す。
【図14D】
バニラRNNアルゴリズムに基づくモデルの特徴。図14Dは、AUCが0.90~0.93(全体で0.91)での、5層CVに関するPR曲線を示す。
【図15】
リカレントニューラルネットワーク(RNN)アプローチの概略図。標準RNNでは、全ての訪問における入力特徴データ(ここでは例示的な尿比重(尿SG)、年齢、クレアチニン及び血中尿素窒素(BUN))を、それぞれ3個及び7個のノードを有する2つの隠しレイヤーを通して非線形に結合して、過去のCKD確率P(CKD)とマージすることにより、更新されたP(CKD)を得る。この非線形パターンを定義する重み及びアクティブ化関数は、全ての訪問に関して同一である。モデル出力は、最後の訪問におけるP(CKD)である。LSTM(長・短期記憶)アプローチは概念的には類似しているものの、過去の訪問からの情報を現在の訪問情報と結合する際に、過去の訪問からの情報の一部を忘却するための追加の機構を有する。
【図16】
CKDステータスによって区別された研究データセットにおける、評価時(T0)の年齢、クレアチニン、血中尿素窒素、及び尿比重の分布
【図17A】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKD「CKDなし」。
【図17B】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKD「CKDなし」。
【図17C】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKDステータス「恐らくCKD」。
【図17D】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKDステータス「恐らくCKD」。
【図17E】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKDステータス「CKD」。
【図17F】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKDステータス「CKD」。
【図17G】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKDステータス「CKD」。
【図17H】
クレアチニン、血中尿素窒素、及び尿比重に関する観察結果を診断(T0)前の時点の関数として示す、個々のネコの、ランダムに選択された電子健康記録(electronic health record:EHR)。CKDステータス「CKD」。
【図18】
RNN及びLSTM予測モデルに関するモデルアーキテクチャの関数としてのF1スコア
【図19】
試験データセットにおける、評価時(T0)に予測された、3つの異なる群に関するモデル確率出力の分布。0.5を超える診断確率p(CKD)は、将来のCKDのリスクの予測を示し、0.5未満の確率は、そのネコに関して将来のCKDのリスクが低いことを予測する。
【図20】
診断の時点より前の訪問の回数の関数としての、95%信頼区間を有するモデル感度。診断の時点より前の訪問の回数が多くEHRが少ないほど、信頼区間が増大することに留意されたい。
【図21】
診断の時点より前の訪問の回数の関数としての、95%信頼区間を有するモデル感度。予測はこの点までのデータしか用いずに実施された。
【図22】
診断時の年齢の関数としての、95%信頼区間を有するモデル特異度