知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-16
(45)【発行日】2024-02-27
(54)【発明の名称】診療支援装置
(51)【国際特許分類】
G16H 50/00 20180101AFI20240219BHJP
【ＦＩ】
G16H50/00
【請求項の数】
16
(21)【出願番号】P 2019159598
(22)【出願日】2019-09-02
(65)【公開番号】P2021039491
(43)【公開日】2021-03-11
【審査請求日】2022-07-15
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】狩野 佑介
(72)【発明者】
【氏名】佐藤 杏莉
【審査官】今井 悠太
(56)【参考文献】
【文献】国際公開第２０１４／１５５６９０（ＷＯ，Ａ１）
【文献】特開２０１５－１７０３１２（ＪＰ，Ａ）
【文献】特開２００７－２５７５６５（ＪＰ，Ａ）
【文献】特開２０１９－０８７２３９（ＪＰ，Ａ）
【文献】特開２００６－３０２２２２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１６Ｈ １０／００－８０／００
(57)【特許請求の範囲】
【請求項1】
時系列の診療データに対する有害事象の事前検出モデルの複数回の適用により、前記複数回の適用時点の各々での事前検出の有無を出力する検出部と、前記複数回の適用時点に関する前記事前検出モデルの検出イベントを、前記事前検出の有無と有害事象に関する医療イベントの有無との組合せで規定される複数のパターンに分類する分類部と、
前記複数のパターンの各々の件数に基づいて、前記事前検出モデルを評価する性能指標を算出する算出部と、を具備し、
前記医療イベントの有無は、介入実施の有無と有害事象発生の有無とを含み、
前記複数のパターンは、前記事前検出の有無と前記介入実施の有無と前記有害事象発生の有無との組合せで規定される、
診療支援装置。
【請求項2】
時系列の診療データに対する有害事象の事前検出モデルの複数回の適用により、前記複数回の適用時点の各々での事前検出の有無を出力する検出部と、前記複数回の適用時点に関する前記事前検出モデルの検出イベントを、前記事前検出の有無と有害事象に関する医療イベントの有無との組合せで規定される複数のパターンに分類する分類部と、
前記複数のパターンの各々の件数に基づいて、前記事前検出モデルを評価する性能指標を算出する算出部と、を具備し、
前記医療イベントの有無は、第１の所定期間内の介入実施の有無と第２の所定期間内の有害事象発生の有無とを含み、
前記第１の所定期間と前記第２の所定期間とは、それぞれ独立に設定され、
前記複数のパターンのうちの第１のパターンは、前記事前検出有り、前記有害事象の発生及び介入実施有りの順番であり、
前記複数のパターンのうちの第２のパターンは、前記事前検出有り、前記介入実施有り及び前記有害事象の発生の順番である、
診療支援装置。
【請求項3】
時系列の診療データに対する有害事象の事前検出モデルの複数回の適用により、前記複数回の適用時点の各々での事前検出の有無を出力する検出部と、前記複数回の適用時点に関する前記事前検出モデルの検出イベントを、前記事前検出の有無と有害事象に関する医療イベントの有無との組合せで規定される複数のパターンに分類する分類部と、
前記複数のパターンの各々の件数に基づいて、前記事前検出モデルを評価する性能指標を算出する算出部と、
前記算出された性能指標を含む画像を生成する生成部と、を具備し、
前記画像は、前記複数回の適用時点に対してプロットされた、前記複数回の適用の各々に対応する前記性能指標の値を示すグラフを表示し、さらに前記複数のパターンの各々の件数の分布を示すサンキー図を表示する、
診療支援装置。
【請求項4】
前記医療イベントの有無は、介入実施の有無と、有害事象発生の有無とを含み、前記複数のパターンは、前記事前検出の有無と、前記介入実施の有無と、前記有害事象発生の有無との組合せで規定される、
請求項３に記載の診療支援装置。
【請求項5】
前記医療イベントの有無に関して、前記医療イベントの有りは、複数のレベルを含む、請求項１、２又は４に記載の診療支援装置。
【請求項6】
前記医療イベントの有無は、第１の所定期間内の介入実施の有無と、第２の所定期間内の有害事象発生の有無とを含み、前記第１の所定期間と、前記第２の所定期間とは、それぞれ独立に設定される、
請求項３に記載の診療支援装置。
【請求項7】
前記分類部は、前記事前検出がなされた時点から前記第２の所定期間内に前記有害事象が発生された場合、前記第１の所定期間のうちの前記事前検出がなされた時点から前記有害事象が発生された時点までの期間に前記介入実施が有るか否かを判定する、請求項６に記載の診療支援装置。
【請求項8】
前記分類部は、前記事前検出がなされた時点から前記第２の所定期間内に前記有害事象が発生されていない場合、前記事前検出がなされた時点から前記第１の所定期間のうちに前記介入実施が有るか否かを判定する、請求項６に記載の診療支援装置。
【請求項9】
前記複数のパターンのうちの第１のパターンは、前記事前検出有り、前記有害事象の発生及び介入実施有りの順番であり、前記複数のパターンのうちの第２のパターンは、前記事前検出有り、前記介入実施有り及び前記有害事象の発生の順番である、
請求項６記載の診療支援装置。
【請求項10】
前記算出された性能指標を含む画像を生成する生成部をさらに備える、請求項１又は２に記載の診療支援装置。
【請求項11】
前記画像は、前記複数回の適用時点に対してプロットされた、前記複数回の適用の各々に対応する前記性能指標の値を示すグラフを表示する、請求項１０に記載の診療支援装置。
【請求項12】
前記画像は、前記複数のパターンの各々の件数の分布を示すサンキー図をさらに表示する、請求項１１に記載の診療支援装置。
【請求項13】
前記生成部は、前記算出された性能指標が所定の閾値範囲を超えるとき、前記事前検出モデルの性能が低下していることをユーザに通知する画像をさらに生成する、請求項３、１０乃至１２のうちいずれか１項に記載の診療支援装置。
【請求項14】
前記算出部は、経済的アウトカム及び臨床的アウトカムを含むアウトカム指標をさらに算出し、前記生成部は、前記アウトカム指標を含む示画像をさらに生成する、
請求項３、１０乃至１２のうちいずれか１項に記載の診療支援装置。
【請求項15】
前記複数回の適用は、１つの時系列に関する複数の時点での適用を含む、請求項１乃至１４のうちいずれか１項に記載の診療支援装置。
【請求項16】
前記複数回の適用は、複数の時系列の各々に関する少なくとも１つの時点での適用を含む、請求項１乃至１５のうちいずれか１項に記載の診療支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、診療支援装置に関する。
【背景技術】
【0002】
患者に生じた好ましくない医療上の出来事は、総称して有害事象と呼ばれる。有害事象は、例えば、入院を要する心不全や脳卒中など、疾患に起因する患者状態の悪化、薬剤による肝・腎機能障害など、治療による副作用の発生を含む。このような中、実際の診療データを用いて事前検出モデルを構築し、有害事象を事前検出する技術が知られている。有害事象が事前検出されたとき、医師等により、有害事象を防止するための介入（治療介入）が実施される。
【0003】
しかしながら、事前検出の精度によっては、有害事象を防止できなかったり、不要な介入が実施されたりするおそれがある。例えば、同一の患者に関して、事前検出がある場合とない場合とは、同時に観察できないという問題がある。同様に、同一の患者に関して、有害事象の発生がある場合とない場合とは、同時に観察できないという問題がある。このため、有害事象が発生しなかった場合に関して、事前検出に従う介入実施により有害事象が発生しなかった場合と、事前検出が不適切であり介入実施とは無関係に有害事象が発生しなかった場合とを区別することができない。つまり、各患者に関して、事前検出モデルによる事前検出が適切であったか否かを検証できないという問題がある。換言すれば、有害事象防止のための事前検出モデルの性能を評価できないという問題がある。
【先行技術文献】
【特許文献】
【0004】
【文献】特表２０１７－５０２９８３号公報
【文献】特表２０１６－５０４９２４号公報
【文献】特表２０１５－５３３０８４号公報
【文献】特開２０１８－１５６４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明が解決しようとする課題は、有害事象防止のための事前検出モデルの性能を評価することである。
【課題を解決するための手段】
【0006】
実施形態に係る診療支援装置は、検出部と、分類部と、算出部とを含む。検出部は、時系列の診療データに対する有害事象の事前検出モデルの複数回の適用により、前記複数回の適用時点の各々での事前検出の有無を出力する。分類部は、前記複数回の適用時点に関する前記事前検出モデルの検出イベントを、前記事前検出の有無と有害事象に関する医療イベントの有無との組合せで規定される複数のパターンに分類する。算出部は、前記複数のパターンの各々の件数に基づいて、前記事前検出モデルを評価する性能指標を算出する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、図面を参照しながら本実施形態に係る診療支援装置を説明する。なお、以下の説明において、既出の図に関して前述したものと同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表されている場合もある。
【0009】
図１は、本実施形態に係る診療支援システム９の構成の一例を示す図である。図１に示すように、診療支援システム９は、医用端末１、診療支援装置２及び診療情報保管装置３を含む。図２は、図１の医用端末１の構成の一例を示す図である。図３は、図１の診療支援装置２の一例を示す図である。
【0010】
以下、図１～図３に示すように、医用端末１及び診療支援装置２により、医用端末１がクライアントとして機能し、診療支援装置２がサーバとして機能するクライアントサーバシステムが構成される場合を例として説明する。医用端末１、診療支援装置２及び診療情報保管装置３は、図１に示すように、例えばLocal Area Network（ＬＡＮ）等の病院内ネットワークを介して互いに通信可能に接続されている。なお、医用端末１及び診療支援装置２は、一体に構成されていてもよい。この場合、診療支援システム９は、以下に説明する医用端末１と同等の機能又は要素をさらに有する診療支援装置２と、診療情報保管装置３とを含むシステムであると表現できる。つまり、診療支援システム９には医用端末１が含まれていなくてもよい。
【0011】
診療支援装置２は、医用端末１からの処理要求を受け付けて、受け付けた処理要求に対応する処理を実行する装置である。診療支援装置２には、医用端末１に実装された統合ビューアに対応する所定のサーバアプリケーションが実装されている。診療支援装置２は、例えば、医用端末１のディスプレイに表示する診療データや性能指標データの表示態様を決定する。ここで、性能指標データは、例えば、診療支援装置２において算出される事前検出モデルに関する性能評価の結果を示すデータである。図３に示すように、診療支援装置２は、通信インターフェース２１、メモリ２２及び処理回路２３を有する。
【0012】
通信インターフェース２１は、医用端末１及び診療情報保管装置３等の外部装置との間でデータ通信を行う。通信インターフェース２１は、当該データ通信を行うための通信回路を有する。通信回路は、有線通信に対応した通信回路であってもよいし、例えば、Ｗｉ－Ｆｉ（登録商標）通信等の無線通信に対応した通信回路であってもよい。
【0013】
メモリ２２は、種々の情報を記憶するHard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）、集積回路記憶装置等の記憶装置である。メモリ２２は、ＨＤＤやＳＳＤ等以外にも、Compact Disc（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray（登録商標） Disc（ＢＤ）、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ２２の保存領域は、診療支援装置２内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。メモリ２２は、例えば、性能指標データ、医用画像ファイル及び診療データ等を記憶する。メモリ２２は、各種の処理中のデータを一時的に記憶する。また、メモリ２２は、事前検出モデルを記憶する。
【0014】
事前検出モデルは、例えば、機械学習モデルである。機械学習モデルのアルゴリズムとしては、決定木、決定森、ニューラルネットワーク、サポートベクターマシーン、クラスタリング、自己組織化マップ、ベイジアン・ネットワーク等が利用可能である。事前検出モデルは、バイタルサイン情報などの診療データを入力してパターン分類の結果、集計の結果又は各性能指標を出力するように設定されている。
【0015】
処理回路２３は、診療支援装置２の全体の動作を制御する。処理回路２３は、有害事象防止のための事前検出モデルの性能評価に関するプログラム（以下、性能評価プログラムと呼ぶ）を実行して、事前検出モデルの性能を評価するための性能指標データを生成する。処理回路２３は、ハードウェア資源として、Central Processing Unit（ＣＰＵ）、Micro Processing Unit（ＭＰＵ）、Graphics Processing Unit（ＧＰＵ）等のプロセッサと、Read Only Memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）等のメモリとを有する。
【0016】
本実施形態に係る処理回路２３は、メモリに展開されたプログラムを実行するプロセッサにより、収集機能２３１、検出機能２３２、分類機能２３３、算出機能２３４及び生成機能２３５を実行する。
【0017】
収集機能２３１は、例えば診療情報保管装置３から、モデル検証用データを収集する。モデル検証用データは、モデル性能評価処理で用いられる各種のデータを含む。収集されたモデル検証用データは、メモリ２２のデータベースに記憶される。ここで、モデル検証用データは、後述する診療データと、イベントデータとを含むとする。
【0018】
検出機能２３２は、モデル検証用データに性能評価対象の事前検出モデルを適用することにより、各モデル検出時点に関する事前検出の有無を示す時系列データを出力する。ここで、検出機能２３２は、検出部の一例である。
【0019】
分類機能２３３は、各モデル検出時点に対応する一連のイベント群を特定し、特定された一連のイベント群の各々をパターン分類する。一連のイベント群は、特定の順序や期間で発生する複数のイベントに関する。また、分類機能２３３は、パターン分類された一連のイベント群を集計し、その集計結果を出力する。ここで、分類機能２３３は、分類部の一例である。
【0020】
算出機能２３４は、集計されたパターン分類の結果に基づいて、性能指標を算出する。性能指標は、介入実施発生率、有害事象発生率、リターン指数、条件付き感度、条件付き特異度、モデル遵守率及びモデル遵守有効指数のうち少なくとも１つを含む。ここで、算出機能２３４は、算出部の一例である。
【0021】
生成機能２３５は、表示用の画像データを生成する。表示用の画像データは、例えば、性能指標を含む表示のための画像データを含む。生成された表示用の画像データは、例えば医用端末１へ出力される。ここで、生成機能２３５は、生成部の一例である。
【0022】
医用端末１は、例えば、医療情報を統合的に観察することが可能な装置である。医用端末１には、医療情報を統合的にユーザに提示するアプリケーションである統合ビューアが実装されている。統合ビューアは、Ｗｅｂアプリケーション、ファットクライアントアプリケーション又はシンクライアントアプリケーション等、いずれの実装形態を採用してもよい。
【0023】
図２に示すように、医用端末１は、処理回路１１、入力インターフェース１２、ディスプレイ１３、メモリ１４及び通信インターフェース１５を有する。処理回路１１、入力インターフェース１２、ディスプレイ１３、メモリ１４及び通信インターフェース１５は、例えば、バスを介して互いに通信可能に接続されている。
【0024】
処理回路１１は、医用端末１の全体の動作を制御する。処理回路１１は、ハードウェア資源として、ＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサと、ＲＯＭやＲＡＭ等のメモリとを有する。
【0025】
本実施形態に係る処理回路１１は、メモリに展開されたプログラムを実行するプロセッサにより、指示機能１１１及び表示制御機能１１２を実行する。
【0026】
指示機能１１１は、例えば、入力インターフェース１２を介して受け付けた表示指示を、通信インターフェース１５を介して診療支援装置２に送信する。表示指示は、例えば、特定の患者に関する診療データや性能指標データを表示するための指示を含む。
【0027】
表示制御機能１１２は、診療支援装置２から受信した表示用の画像データを所定の表示形式でディスプレイ１３に表示する。所定の表示形式は、予め設定されてメモリ１４等に記憶されていればよい。表示形式は、入力インターフェース１２の出力に応じて変更されてもよい。
【0028】
なお、診療支援装置２から受信するデータは、表示用の画像データに限らず、各種の値であってもよい。この場合、表示制御機能１１２は、後述する診療支援装置２の処理回路２３と同様にして、受信した各種の値に基づいて、表示用の画像データを生成すればよい。
【0029】
入力インターフェース１２は、例えば、マウス、キーボード、及び、操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インターフェース１２は、例えば、操作者からの表示指示を受け付ける。入力インターフェース１２は、操作者からの表示指示を電気信号へ変換し、当該電気信号を処理回路１１へ出力する。
【0030】
ディスプレイ１３は、各種の情報を表示する。ディスプレイ１３としては、種々の任意のディスプレイが、適宜、使用可能となっている。例えばディスプレイ１３として、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、Cathode Ray Tube（ＣＲＴ）ディスプレイ、有機ＥＬディスプレイ（Organic Electro Luminescence Display：ＯＥＬＤ）又はプラズマディスプレイ等が使用可能である。また、ディスプレイ１３は、デスクトップ型でもよいし、医用端末１の本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、ディスプレイ１３として、１又は２以上のプロジェクタが用いられてもよい。
【0031】
メモリ１４は、種々の情報を記憶するＨＤＤやＳＳＤ、集積回路記憶装置等の記憶装置である。メモリ１４は、ＨＤＤやＳＳＤ等以外にも、ＣＤ、ＤＶＤ、ＢＤ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ１４の保存領域は、医用端末１内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。例えば、メモリ１４は、診療支援装置２から受信した情報を記憶する。
【0032】
通信インターフェース１５は、病院内ネットワーク等の電気通信回線を介して接続された診療支援装置２及び診療情報保管装置３との間でデータ通信を行う。通信インターフェース１５は、当該データ通信を行うための通信回路を有する。通信回路は、有線通信に対応した通信回路であってもよいし、例えば、Ｗｉ－Ｆｉ（登録商標）通信等の無線通信に対応した通信回路であってもよい。診療支援装置２及び診療情報保管装置３との通信の規格は、いかなる規格であっても良いが、例えば、Health Level 7（ＨＬ７）、Digital Imaging and Communications in Medicine（ＤＩＣＯＭ）又はその両方等が挙げられる。
【0033】
診療情報保管装置３としては、例えばVendor Neutral Archive（ＶＮＡ）システムが利用可能である。診療情報保管装置３としてのＶＮＡシステムは、種々の情報が格納される１つのシステムでもよいし、複数のＶＮＡシステムがそれぞれ接続されるシステムでもよい。また、例えば、診療情報保管装置３として、ネットワークに接続された複数のデータサーバ等を組み合わせて用いてもよい。以下、診療情報保管装置３の一例として、ＶＮＡシステムについて説明する。
【0034】
診療情報保管装置３は、異なるメーカー製の医用画像管理システム（Picture Archiving and Communication Systems：ＰＡＣＳ）に保管されている医用画像ファイルと、各臨床部門システムで管理されている多様な診療データとを一元的に管理する統合アーカイブシステムである。診療情報保管装置３は、例えば、図示しないＰＡＣＳ及び図示しない電子カルテシステムと、ＬＡＮ等の病院内ネットワークを介して互いに通信可能に接続されている。なお、診療情報保管装置３により管理及び保管される種々の情報は、必ずしも異なるメーカー製のシステムから取得されたものに限らず、単一のメーカー製のシステムから取得されたものであってもよい。
【0035】
診療情報保管装置３は、例えば、ＰＡＣＳに記憶されている医用画像ファイルを定期的に取得し、診療情報保管装置３が備えるメモリに記憶する。医用画像ファイルは、例えば、ＤＩＣＯＭ規格に準拠した形式のファイルである。この医用画像ファイルを、ＤＩＣＯＭデータと換言してもよい。医用画像ファイルは、医用画像診断装置により生成される。医用画像診断装置は、患者に関して撮影することにより検査を実施する。なお、医用画像診断装置は、例えばＸ線コンピュータ断層撮影装置、Ｘ線診断装置、磁気共鳴イメージング装置、核医学診断装置及び超音波診断装置等を含む。医用画像ファイルは、例えば、医用画像データ及び付帯情報を含む。
【0036】
医用画像診断装置は、撮影により患者に関する生データを収集し、収集された生データに基づいて医用画像データを生成する。また、医用画像データに基づいて医用画像の表示が行われる。
【0037】
付帯情報は、当該医用画像データを分類し、かつ、当該医用画像データの属性や種類、出自等を表す。医用画像ファイルにおける付帯情報には、例えば、検査ＵＩＤ（Unique IDentifier）、シリーズＵＩＤ、患者ＩＤ、患者氏名、生年月日、モダリティコード及びシリーズ記述等の医用画像を特定するための情報が含まれる。
【0038】
検査ＵＩＤは、検査を一意に特定可能な識別子である。シリーズＵＩＤは、例えば撮影部位毎又は撮影条件毎に取得される、一連の画像群を一意に特定可能な識別子である。患者ＩＤは、患者毎に付与され、例えば１つの病院内で患者を一意に特定するための識別子である。患者氏名は、患者ＩＤに対応する患者の氏名を表す。生年月日は、患者ＩＤに対応する患者の生年月日を表す。モダリティコードは、モダリティ種別を特定するための識別子であり、例えば「ＣＴ」、「ＭＲ」及び「ＵＳ」等が規定されている。「ＣＴ」、「ＭＲ」及び「ＵＳ」は、それぞれ、Ｘ線コンピュータ断層撮影装置、磁気共鳴イメージング装置及び超音波診断装置で撮影された医用画像であることを意味する。シリーズ記述は、検査技師が検査時（撮影時）に医師に伝えておくべき特記事項がある場合にその内容を表すものである。
【0039】
また、診療情報保管装置３は、例えば、電子カルテシステムに記憶されている電子カルテに関する情報を定期的に取得し、診療情報保管装置３が備えるメモリに記憶している。電子カルテに関する情報には、例えば、患者基本情報及び診療データが含まれる。
【0040】
患者基本情報は、患者固有の情報であり、例えば、患者ＩＤ、患者氏名、生年月日、性別及び年齢等を含む。
【0041】
診療データは、診療の過程で、患者の身体状況、病状及び治療等について、医療従事者が知り得た情報である。診療データは、例えば、異なる製造元の装置、異なるバージョンの装置及び同じ装置であっても異なる設定等様々な環境下で取得されたデータを含む。診療データは、数値等の客観データに限定されず、非数値、例えば文字で表される主観データ等あってもよい。診療データは、例えば、検査履歴情報、画像情報、レポート情報、心電図情報、バイタルサイン情報、薬歴情報、カルテ記載情報及び看護記録情報等を含む。
【0042】
検査履歴情報は、例えば、患者に対して検体検査及び細菌検査等が行われた結果取得される検査結果の履歴を表す情報である。
【0043】
画像情報は、例えば、患者を撮影等することにより取得された医用画像の所在を表す情報である。画像情報には、例えば、検査が実施された結果医用画像診断装置により生成される医用画像ファイルの所在を表す情報が含まれる。
【0044】
レポート情報は、例えば、診療科の診療医からの検査依頼に対して、放射線科の読影医がＸ線画像、ＣＴ画像、ＭＲＩ画像及び超音波画像等の医用画像を読影し、患者の状態及び疾患についてまとめた情報である。レポート情報には、例えば、読影医がＰＡＣＳに記憶された医用画像ファイルを参照して作成された読影レポートを表す読影レポート情報が含まれる。レポート情報には、例えば、読影対象となる医用画像ファイルに対応する患者の患者ＩＤ、患者氏名及び生年月日を表す情報が含まれる。
【0045】
心電図情報は、例えば、患者から計測された心電図波形に関する情報である。バイタルサイン情報は、例えば、患者の生命に関わる基本的な情報である。
【0046】
バイタルサイン情報には、例えば、脈拍数、呼吸数、体温、血圧及び意識レベル等が含まれる。
【0047】
薬歴情報は、例えば、患者に投与された薬剤の量の履歴を示す情報である。
【0048】
カルテ記載情報は、例えば、診療医等により電子カルテに入力された情報である。カルテ記載情報には、例えば、入院時の診療記録、患者の病歴及び薬の処方履歴等が含まれる。
【0049】
看護記録情報は、例えば、看護師等により電子カルテに入力された情報である。看護記録情報には、入院時の看護記録等が含まれる。
【0050】
なお、処理回路１１、処理回路２３及び診療情報保管装置３の処理回路は、それぞれ、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）やプログラマブル論理デバイス（Programmable Logic Device：ＰＬＤ）により実現されてもよい。ここで、ＰＬＤは、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）を含む。
【0051】
なお、各機能１１１～１１２及び各機能２３１～２３５は、それぞれ、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能１１１～１１２及び各機能２３１～２３５をそれぞれ実現するものとしても構わない。
【0052】
次に、本実施形態に係る診療支援システム９において実施される有害事象防止のための事前検出モデルに関する性能評価（以下、モデル性能評価）について、図面を参照して説明する。
【0053】
ここで、本実施形態に係るモデル性能評価は、「バイタルサインから得られる特徴量を基に、急性心不全を発生前２日以内に事前検出するモデル」に関する性能評価であるとする。
【0054】
また、有害事象は、患者に生じた好ましくない医療上のあらゆる出来事を指す。有害事象には、疾患に起因する患者状態の悪化や治療による副作用の発生などが含まれる。疾患に起因する患者状態の悪化としては、例えば、入院を要する心不全や脳卒中などがある。治療による副作用の発生としては、例えば、薬剤による肝機能障害や腎機能障害などがある。
【0055】
一般に、予測（事前検出）して有害事象を防ぐためには、反事実を推測することが必要である。しかしながら、同一の患者に関して、事前検出がある場合と事前検出がない場合とは、同時に観察できないため、事前検出モデルによる各患者の予測結果（以下、モデル検出結果と呼ぶ）が適切であったか否かが判断できないという問題がある。例えば、モデル検出有り、かつ、有害事象発生無しの場合であっても、モデル検出結果が不正確であったのか、モデル検出結果は正確であるが介入実施により有害事象が発生しなかったのかを区別することができない。つまり、運用時にモデル性能が変化、特には低下しているか否か判断できないという問題がある。
【0056】
そこで、本実施形態に係るモデル性能評価には、以下に説明するように、モデル性能を評価するための性能指標が導入される。図４は、図１の診療支援システム９で実行される有害事象防止のための事前検出モデルの性能評価に係る処理（以下、モデル性能評価処理と呼ぶ）の一例を示すフローチャートである。
【0057】
ステップＳ１０１において、検出機能２３２は、モデル検証用データに関する事前検出処理（以下、検出処理と呼ぶ）を実行する。検出処理の詳細については後述する。その後、処理はステップＳ１０２へ進む。
【0058】
ステップＳ１０２において、分類機能２３３は、一連のイベント群に関する分類処理（以下、分類処理と呼ぶ）を実行する。分類処理の詳細については、後述する。その後、処理はステップＳ１０３へ進む。
【0059】
ステップＳ１０３において、算出機能２３４は、性能指標の算出処理（以下、算出処理と呼ぶ）を実行する。算出処理の詳細については後述する。その後、処理はステップＳ１０４へ進む。
【0060】
ステップＳ１０４において、生成機能２３５は、性能指標の表示処理（以下、表示処理と呼ぶ）を実行する。表示処理の詳細については後述する。その後、モデル性能評価処理は終了する。
【0061】
（検出処理について）
ここで、図４のステップＳ１０１で実行される検出処理について、図面を参照して詳細に説明する。図５は、図４の処理におけるモデル検証用データに関する事前検出処理の一例を示すフローチャートである。図６は、図５のモデル検証用データに関する事前検出処理について説明するための図である。
ここで、図４のステップＳ１０１で実行される検出処理について、図面を参照して詳細に説明する。図５は、図４の処理におけるモデル検証用データに関する事前検出処理の一例を示すフローチャートである。図６は、図５のモデル検証用データに関する事前検出処理について説明するための図である。
【0062】
ステップＳ２０１において、収集機能２３１は、メモリ２２のデータベースから、所定のモデル性能評価対象期間に亘る時系列の診療データ（モデル検証用データ）を収集する。診療データとしては、例えば、バイタルサイン情報が用いられる。図６に示す例では、収集される診療データとして、モデル性能評価対象期間に亘るバイタルサインが示されている。所定のモデル性能評価対象期間は、例えば１年間であるとする。
【0063】
ステップＳ２０２において、検出機能２３２は、所定のモデル実行間隔ごとにバイタルサイン情報（診療データ）に対して性能評価対象の事前検出モデルを適用する。所定のモデル実行間隔は、例えば１日間であるとする。したがって、図６に示すように、１日ごとのタイミング（モデル検出時点）で事前検出モデルが実行され、結果として、事前検出があったか（モデル検出有り）、事前検出がなかったか（モデル検出無し）の情報が得られる。例えば、図６に示すように、事前検出モデルに関する性能評価の対象期間が１年間であるとき、事前検出モデルは、３６５の時点に関して適用されることになる。
【0064】
ステップＳ２０３において、検出機能２３２は、ステップＳ２０２の事前検出モデルを診療データ（バイタルサイン情報）に適用することにより得られたモデル検出結果を、メモリ２２へ出力する。モデル検出結果は、事前検出の有無に関する時系列データであり、複数のモデル検出時点の各々における事前検出の有無を示す。その後、検出処理は終了する。
【0065】
（分類処理について）
ここで、図４のステップＳ１０２で実行される分類処理について、図面を参照して詳細に説明する。図７は、図４の処理における一連のイベント群に関する分類処理の一例を示すフローチャートである。図８は、図７の一連のイベント群に関する分類処理について説明するための図である。図９は、図７の一連のイベント群に関する分類処理における分類結果の一例について説明するための図である。
ここで、図４のステップＳ１０２で実行される分類処理について、図面を参照して詳細に説明する。図７は、図４の処理における一連のイベント群に関する分類処理の一例を示すフローチャートである。図８は、図７の一連のイベント群に関する分類処理について説明するための図である。図９は、図７の一連のイベント群に関する分類処理における分類結果の一例について説明するための図である。
【0066】
ステップＳ３０１において、収集機能２３１は、メモリ２２のデータベースからイベントデータ（モデル検証用データ）を収集する。ここで、イベントデータは、例えば、事前検出の有無（検出イベント）、介入実施の有無（介入イベント）及び有害事象発生の有無（医療イベント）など、特定の順序や期間で発生する一連のイベント群に関する時系列データであるとする。一連のイベント群は、イベントデータに含まれるイベント群のうち、任意のモデル検出時点に対応するイベント群である。
【0067】
ステップＳ３０２において、分類機能２３３は、モデル検出時点（モデル実行タイミング）を特定する。その後、分類機能２３３は、イベント群対象期間を特定する。イベント群対象期間は、イベントデータの全期間のうち、任意のモデル検出結果に対応する介入実施及び有害事象の履歴（一連のイベント群）として取り扱う期間である。つまり、事前検出、介入実施及び有害事象の各イベントの発生の有無は、イベント群対象期間内での各イベントの発生の有無である。イベント群対象期間は、例えば、モデル検出時点を起点とする期間であるとする。イベント群対象期間としては、例えば、有害事象判定期間及び介入実施判定期間がある。
【0068】
有害事象判定期間は、特定されたモデル検出結果に対応する有害事象が発生したか否かを判定するための期間である。介入実施判定期間は、特定されたモデル検出結果に対応する介入実施が発生したか否かを判定するための期間である。例えば、図８の１行目に示すように、有害事象判定期間及び介入実施判定期間は、それぞれ、２日間及び１日間であるとする。このように、有害事象判定期間（有害事象発生の有無に関する所定期間）及び介入実施判定期間（介入実施の有無に関する所定期間）は、それぞれ独立に設定される。
【0069】
なお、イベント群対象期間は、各日の午前０時など、所定の日時を起点とした期間であってもよい。この場合、事前検出の有無（検出イベント）を判定する期間として、事前検出判定期間が設けられていてもよい。検出処理において、１日ごとに事前検出モデルが実行されていることから、事前検出判定期間は、例えば１日である。
【0070】
ステップＳ３０３において、分類機能２３３は、特定されたモデル検出時点に関して、事前検出モデルによる事前検出の有無を判定する。本判定の結果は、例えばメモリ２２に記憶される。
【0071】
ステップＳ３０４において、分類機能２３３は、特定された有害事象判定期間に関して、有害事象発生の有無を判定する。ここで、ある事象が発生した後に必ず心不全が発生するという事象は無く、統一した心不全判定は困難な場合がある。このため、本判定では、積極的治療が必要な状態であるとき、すなわち、侵襲度の高い心不全のための介入実施（介入イベント）が発生したとき、有害事象が発生したと判定される。侵襲度の高い心不全のための介入実施としては、例えば、予定外緊急手術、Extracorporeal Membrane Oxygenation（重症呼吸不全患者又は重症心不全患者に対して行われる生命維持法：ＥＣＭＯ）、強心薬・カテコラミンの使用及び利尿薬（静脈注射）の使用などがある。もちろん、患者の死亡は、有害事象発生有りとして判定される。本判定の結果は、例えばメモリ２２に記憶される。
【0072】
なお、有害事象発生の有無の判定には、例えば医師などによる、明示的な心不全発生の有無の判別結果が用いられてもよい。
【0073】
ステップＳ３０５において、分類機能２３３は、ステップＳ３０４で有害事象発生有りと判定されたか否かを判断する。処理は、有害事象発生有りと判定された場合はステップＳ３０７へ進み、判定されなかった場合はステップＳ３０６へ進む。
【0074】
ステップＳ３０６において、分類機能２３３は、特定された介入実施判定期間に関して、介入実施の有無を判定する。ステップＳ３０７において、分類機能は、特定された介入実施判定期間のうち、モデル検出時点から有害事象発生時点までの期間に関して、介入実施の有無を判定する。ステップＳ３０６及びステップＳ３０７における介入実施の有無の判定では、例えば、侵襲度の低い心不全のための介入実施（介入イベント）が発生したとき、介入実施発生有りと判定される。侵襲度の低い心不全のための介入イベントとしては、例えば、ＡＣＥ阻害薬の使用、ＡＲＢの使用、β遮断薬の使用、利尿薬（経口）の使用などがある。これらの判定の結果は、例えばメモリ２２に記憶される。
【0075】
なお、介入実施の有無の判定には、例えば医師などによる、明示的な介入実施の有無の判別結果が用いられてもよい。
【0076】
なお、介入イベントとして投薬イベントが用いられる場合には、介入実施の有無を判別するために、投薬期間や投薬量に関する閾値が設定されてもよい。
【0077】
ステップＳ３０８において、分類機能２３３は、各判定の結果に応じて、特定されたイベント群対象期間に関する一連のイベント群を複数のパターンに分類する。一連のイベント群は、任意のモデル検出時点に対応する、モデル検出結果（モデル検出の有無：検出イベント）、介入実施発生の判定結果（介入実施の有無）及び有害事象発生の判定結果（有害事象の有無）である。複数のパターンは、図９に示すように、事前検出の有無と、有害事象に関する医療イベントの有無との組合せで規定される。有害事象に関する医療イベントには、介入実施の有無と、有害事象発生の有無とが含まれる。つまり、分類機能２３３は、図９に示すように、各イベントの有無に応じて、各イベント群対象期間に関する一連のイベント群を各パターンＰ１～Ｐ８に分類する。この分類について、図８を参照してより詳細に説明する。
【0078】
図８の２行目に示す一連のイベント群の例を考える。この例では、特定された事前検出時点で事前検出されている。また、介入実施判定期間内に介入実施が発生している。また、有害事象判定期間内に有害事象が発生している。したがって、この一連のイベント群は、図９に示すパターンＰ８に分類される。
【0079】
図８の３行目に示す一連のイベント群の例を考える。この例では、特定された事前検出時点で事前検出されている。また、介入実施判定期間内に介入実施が発生している。一方で、有害事象判定期間内に有害事象が発生していない。したがって、この一連のイベント群は、図９に示すパターンＰ７に分類される。
【0080】
図８の４行目に示す一連のイベント群の例を考える。この例では、特定された事前検出時点で事前検出されている。また、介入実施判定期間内に介入実施が発生している。しかしながら、有害事象判定期間内であって、かつ、介入実施の発生前に有害事象が発生している。したがって、この一連のイベント群は、介入実施が発生せずに有害事象が発生したと見做され、図９に示すパターンＰ６に分類される。
【0081】
図８の５行目に示す一連のイベント群の例を考える。この例では、特定された事前検出時点で事前検出されていない。また、介入実施の発生は、介入実施判定期間内ではない。一方で、有害事象判定期間内に有害事象が発生している。したがって、この一連のイベント群は、図９に示すパターンＰ２に分類される。
【0082】
ステップＳ３０９において、分類機能２３３は、全てのイベント群対象期間に関して分類が完了したか否かを判定する。本実施形態では、イベント群対象期間が１年であり、１日ごとに事前検出モデルが実行される場合を例として説明していることから、全てのイベント群対象期間としては、３６５の期間がある。処理は、全てのイベント群対象期間に関して分類が完了したと判定されなかった場合はステップＳ３０２へ戻り、ステップＳ３０２乃至ステップＳ３０９の処理を繰り返す。処理は、全てのイベント群対象期間に関して分類が完了したと判定された場合はステップＳ３１０へ進む。
【0083】
ステップＳ３１０において、分類機能２３３は、例えば図９に示すように、各パターンＰ１～Ｐ８に関して、分類された一連のイベント群の数を集計する。
【0084】
ステップＳ３１１において、分類機能２３３は、メモリ２２に各パターンＰ１～Ｐ８に分類された一連のイベント群の集計結果を出力する。その後、分類処理は終了する。
【0085】
上述したように、性能評価対象の事前検出モデルは、時系列の診療データ（モデル検証用データ）に対して複数回適用される。この複数回の適用は、１人の患者に関するモデル検証用データ、すなわち１つの時系列における複数の時点での適用であってもよいし、複数の患者に関するモデル検証用データ、すなわち複数の時系列の各々に関する少なくとも１つの時点での適用であってもよい。つまり、集計されたパターン分類の結果の総数は、イベント群対象期間の数と、事前検出モデルの性能評価処理に用いた患者数との積である。
【0086】
（算出処理について）
ここで、図４のステップＳ１０３で実行される算出処理について、詳細に説明する。算出機能２３４は、分類処理により得られた複数のパターンの各々の件数（集計結果）に基づいて、性能指標ＩＣを算出する。性能指標ＩＣは、介入実施発生率ＩＣ１、有害事象発生率ＩＣ２、リターン指数ＩＣ３、条件付き感度ＩＣ４、条件付き特異度ＩＣ５、モデル遵守率ＩＣ６及びモデル遵守有効指数ＩＣ７のうち少なくとも１つを含む。
ここで、図４のステップＳ１０３で実行される算出処理について、詳細に説明する。算出機能２３４は、分類処理により得られた複数のパターンの各々の件数（集計結果）に基づいて、性能指標ＩＣを算出する。性能指標ＩＣは、介入実施発生率ＩＣ１、有害事象発生率ＩＣ２、リターン指数ＩＣ３、条件付き感度ＩＣ４、条件付き特異度ＩＣ５、モデル遵守率ＩＣ６及びモデル遵守有効指数ＩＣ７のうち少なくとも１つを含む。
【0087】
以下の説明において、全事象数はＮＡＬＬとし、各パターンＰ１～Ｐ８の事象数（件数）は、それぞれ、Ｎ１～Ｎ８とする。
【0088】
（介入実施発生率）
介入実施発生率ＩＣ１は、有害事象発生防止のために、どれだけの介入実施が発生したかを表現する性能指標である。介入実施発生率ＩＣ１は、例えば、以下の式（１）により算出される。例えば、式（１）により図９に示す集計結果に基づいて算出される介入実施発生率ＩＣ１は、３１．０％となる。
介入実施発生率ＩＣ１は、有害事象発生防止のために、どれだけの介入実施が発生したかを表現する性能指標である。介入実施発生率ＩＣ１は、例えば、以下の式（１）により算出される。例えば、式（１）により図９に示す集計結果に基づいて算出される介入実施発生率ＩＣ１は、３１．０％となる。
【0089】
【数1】
【0090】
（有害事象発生率）
有害事象発生率ＩＣ２は、有害事象がどれだけ発生したかを表現する性能指標である。有害事象発生率ＩＣ２は、例えば、以下の式（２）により算出される。例えば、式（２）により図９に示す集計結果に基づいて算出される有害事象発生率ＩＣ２は、１１．０％となる。
有害事象発生率ＩＣ２は、有害事象がどれだけ発生したかを表現する性能指標である。有害事象発生率ＩＣ２は、例えば、以下の式（２）により算出される。例えば、式（２）により図９に示す集計結果に基づいて算出される有害事象発生率ＩＣ２は、１１．０％となる。
【0091】
【数2】
【0092】
（リターン指数）
リターン指数ＩＣ３は、介入実施発生と有害事象発生とのバランスに関する指標として表現される性能指標である。リターン指数ＩＣ３は、例えば、以下の式（３）により算出される。ここで、Ｘは、介入実施を全くしない場合の有害事象発生数である。例えば、Ｘ＝１００としたとき、式（３）により図９に示す集計結果に基づいて算出されるリターン指数ＩＣ３は、５３．１％となる。
リターン指数ＩＣ３は、介入実施発生と有害事象発生とのバランスに関する指標として表現される性能指標である。リターン指数ＩＣ３は、例えば、以下の式（３）により算出される。ここで、Ｘは、介入実施を全くしない場合の有害事象発生数である。例えば、Ｘ＝１００としたとき、式（３）により図９に示す集計結果に基づいて算出されるリターン指数ＩＣ３は、５３．１％となる。
【0093】
【数3】
【0094】
（条件付き感度）
条件付き感度ＩＣ４は、介入実施無しのケースに限定することによって推定したモデルの感度として表現される性能指標である。条件付き感度ＩＣ４は、例えば、以下の式（４）により算出される。例えば、式（４）により図９に示す集計結果に基づいて算出される条件付き感度ＩＣ４は、４４．４％となる。
条件付き感度ＩＣ４は、介入実施無しのケースに限定することによって推定したモデルの感度として表現される性能指標である。条件付き感度ＩＣ４は、例えば、以下の式（４）により算出される。例えば、式（４）により図９に示す集計結果に基づいて算出される条件付き感度ＩＣ４は、４４．４％となる。
【0095】
【数4】
【0096】
（条件付き特異度）
条件付き特異度ＩＣ５は、介入実施無しのケースに限定することによって推定したモデルの特異度として表現される性能指標である。条件付き特異度ＩＣ５は、例えば、以下の式（５）により算出される。例えば、式（５）により図９に示す集計結果に基づいて算出される条件付き特異度ＩＣ５は、９３．３％となる。
条件付き特異度ＩＣ５は、介入実施無しのケースに限定することによって推定したモデルの特異度として表現される性能指標である。条件付き特異度ＩＣ５は、例えば、以下の式（５）により算出される。例えば、式（５）により図９に示す集計結果に基づいて算出される条件付き特異度ＩＣ５は、９３．３％となる。
【0097】
【数5】
【0098】
（モデル遵守率）
モデル遵守率ＩＣ６は、モデル検出結果にどれだけ遵守して介入判断をしたかを表現する性能指標である。モデル遵守率ＩＣ６は、例えば、以下の式（６）により算出される。例えば、式（６）により図９に示す集計結果に基づいて算出されるモデル遵守率ＩＣ６は、７４．０％となる。
モデル遵守率ＩＣ６は、モデル検出結果にどれだけ遵守して介入判断をしたかを表現する性能指標である。モデル遵守率ＩＣ６は、例えば、以下の式（６）により算出される。例えば、式（６）により図９に示す集計結果に基づいて算出されるモデル遵守率ＩＣ６は、７４．０％となる。
【0099】
【数6】
【0100】
（モデル遵守有効指数）
モデル遵守有効指数ＩＣ７は、モデル遵守有無での結果の違いに関する指数として表現される性能指標である。モデル遵守有効指数ＩＣ７は、例えば、以下の式（７）により算出される。例えば、式（７）により図９に示す集計結果に基づいて算出されるモデル遵守有効指数ＩＣ７は、１．０４となる。
モデル遵守有効指数ＩＣ７は、モデル遵守有無での結果の違いに関する指数として表現される性能指標である。モデル遵守有効指数ＩＣ７は、例えば、以下の式（７）により算出される。例えば、式（７）により図９に示す集計結果に基づいて算出されるモデル遵守有効指数ＩＣ７は、１．０４となる。
【0101】
【数7】
【0102】
（表示処理について）
ここで、図４のステップＳ１０４で実行される表示処理について、図面を参照して詳細に説明する。図１０は、図４の性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ１０の一例を示す模式図である。
ここで、図４のステップＳ１０４で実行される表示処理について、図面を参照して詳細に説明する。図１０は、図４の性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ１０の一例を示す模式図である。
【0103】
生成機能２３５は、算出された性能指標を含む表示画面Ｉ１０を表示するために、表示用の画像データを生成する。生成された表示用の画像データは、メモリ２２に出力されたり、医用端末１のメモリ１４及び／又はディスプレイ１３に出力されたりする。医用端末１において、表示制御機能１１２は、受信した表示用の画像データに基づいて、ディスプレイ１３に表示画面Ｉ１０を表示する。ユーザは、表示された性能指標に基づいて、モデル性能を評価することができる。
【0104】
ここで、図１０に示す例では、表示画面Ｉ１０の「性能指標」の項目が選択された状態である。選択された項目は、より詳細な情報の表示（性能指標の表示Ｉ１１）を行うために展開される。図１０の表示例では、グラフを用いた性能指標の表示Ｉ１１が示されている。グラフの縦軸及び横軸は、それぞれ、各性能指標の値及び時間を示す。
【0105】
図１０の表示例では、各性能指標値の一例として、介入実施発生率ＩＣ１、有害事象発生率ＩＣ２及びリターン指数ＩＣ３が示されている。また、時間として、３か月ごとの年月日が一例として示されている。各プロットの年月日は、モデル性能評価処理が実行されたタイミングを示す。例えば、２０１８年４月１日の各プロットは、２０１８年１月１日から２０１８年４月１日までの間の検出時点に関して算出された各性能指標値を示す。このように、グラフを用いた性能指標の表示Ｉ１１において、複数の検出時点に対して、複数の検出時点の各々に対する性能指標の値がプロットされる。
【0106】
医師などのユーザは、表示された性能指標に基づいて、モデル性能を評価することができる。例えば、介入実施発生率ＩＣ１が増加する一方で、有害事象発生率ＩＣ２が低下していないとき、モデル性能が低下していると判断される。また、例えば、介入実施発生率ＩＣ１が変化していない一方で、有害事象発生率ＩＣ２が増加しているとき、モデル性能が低下していると判断される。つまり、ユーザは、介入実施発生率ＩＣ１に対する有害事象発生率ＩＣ２の割合に基づいて、モデル性能を評価できる。
【0107】
また、式（１）～式（３）に示すように、リターン指数ＩＣ３は、介入実施発生率ＩＣ１に対する有害事象発生率ＩＣ２の割合を用いて表現される。具体的には、介入実施発生率ＩＣ１に対する有害事象発生率ＩＣ２の割合が増加すると、リターン指数ＩＣ３の値は小さくなる。つまり、ユーザは、リターン指数ＩＣ３の低下に基づいて、モデル性能が低下していると判断することもできる。
【0108】
なお、各性能指標値としては、介入実施発生率ＩＣ１、有害事象発生率ＩＣ２及びリターン指数ＩＣ３に限らず、上述した他の性能指標が同様にして表示されてもよい。例えば、事前検出モデル作成時には想定されていなかった薬剤や治療法が治療介入として実施されるようになった場合には、モデル検出無し、かつ、介入実施有りに分類される件数が増加する。このような場合であっても、本実施形態に係る技術によれば、リターン指数ＩＣ３やモデル遵守率ＩＣ６の変化、すなわちモデル性能の低下として検知できる。
【0109】
なお、モデル性能評価処理は、例えば、３か月ごとなど、定期的に実行される。性能指標に基づいてモデル性能が低下したと判断されたとき、事前検出モデルは更新される。
【0110】
なお、モデル性能評価処理は、定期的に実施される場合に限らず、事前検出モデル作成時には想定されていなかった薬剤や治療法が治療介入として実施されるようになった場合や患者の容態が変化した場合などに実施されてもよい。
【0111】
なお、モデル性能評価処理に係る一連の流れは、分割して実行されてもよい。例えば、定期的に分類処理まで実行されてメモリ２２等に集計処理の結果が蓄積され、ユーザ操作に応じたタイミングで表示処理が行われてもよい。同様に、分類処理の結果や検出結果が蓄積され、ユーザ操作に応じたタイミングで他の処理が行われてもよい。
【0112】
なお、モデル性能評価処理に係る一連の流れのうち、一部の処理が医用端末１など診療支援装置２の外部で実施されてもよい。例えば、算出された性能指標が医用端末１へ送信され、医用端末１において表示用の画像データが生成されてもよい。また、例えば、検出結果などが医用端末１へ送信され、医用端末１において性能指標が算出されてもよい。
【0113】
なお、各性能指標は、各患者に関して算出及び表示されてもよい。このとき、事前検出モデルの性能評価に係る判断は、当該事前検出モデルが患者の現在の状態に適しているか否かの判断を含む。つまり、本実施形態に係る技術によれば、患者ごとにチューニングされた事前検出モデルに関して性能評価をすることもできる。
【0114】
なお、図４のステップＳ１０４で実行される表示処理において、各性能指標値は、実際にイベントが観測された年月日のタイミング（期間）を基準としてプロットされてもよいし、モデル検出時点を基準としてプロットされてもよい。例えば、２０１８年４月１日にプロットされる各性能指標値は、２０１８年１月１日から２０１８年４月１日までの間に発生した有害事象の件数に基づいて算出されてもよい。この場合、２０１８年４月２日以降に発生した有害事象に関しては、性能指標の算出に用いられないことになる。
【0115】
なお、図４のステップＳ１０４で実行される表示処理において、性能指標の表示Ｉ１１で用いられるグラフの表示スケールが変更される場合もある。例えば横軸のスケールが変化したとき、各性能指標値は、その時点での表示間隔に応じて再算出されてもよい。
【0116】
なお、図４のステップＳ１０４で実行される表示処理において、さらに詳細な内訳として、パターン分類の表示Ｉ１２が行われてもよい。パターン分類の表示Ｉ１２は、例えば、ユーザ操作を契機として行われる。例えば、図１０に示すようにカーソルＣ１がプロット上に位置するとき、あるいは、当該プロットが選択されたとき、当該プロットに対応する性能指標の算出に用いられた分類処理の結果が、パターン分類の表示Ｉ１２として表示される。これらのユーザ操作は、例えば、医用端末１の入力インターフェース１２により取得される。図１０の表示例では、パターン分類の表示Ｉ１２として、サンキー図（サンキーダイアグラム）が示されている。サンキー図は、複数のパターンの各々Ｐ１～Ｐ８の件数の分布を示す。
【0117】
この構成によれば、ユーザは、モデル検出結果にどの程度従って介入実施が発生したかをさらに確認できる。また、ユーザは、モデル検出が適切であったか否か、モデル検出に従って介入実施されたか否か、有害事象発生前に介入実施されたか否かなど、有害事象が発生したときに行われた判断や対策及び有害事象が発生した原因をさらに確認できる。
【0118】
このように、本実施形態に係る診療支援システム９では、有害事象防止のための事前検出モデルの性能指標は、特定の順序や期間で発生する一連のイベント群（「モデル検出の有無」、「介入実施の有無」及び「有害事象発生の有無」）に基づいて算出される。性能指標の算出において、一連のイベント群は、各パターンに分類され、分類されたパターンごとに集計される。このようにして算出された性能指標が表示されることにより、ユーザは、モデル性能を評価することができる。
【0119】
［変形例］
以下、図面を参照しながら各変形例に係る診療支援装置を説明する。ここでは、主に上述の実施形態との相違点について説明する。なお、以下の説明において、上述の実施形態と同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
以下、図面を参照しながら各変形例に係る診療支援装置を説明する。ここでは、主に上述の実施形態との相違点について説明する。なお、以下の説明において、上述の実施形態と同一又は略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
【0120】
（第１の変形例）
図４のステップＳ１０４で実行される表示処理において、性能指標の表示Ｉ２１で用いられるグラフは図１０の表示例のグラフに限らない。図１１は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ２０の一例を示す模式図である。図１１に示すように、本変形例に係る表示画面Ｉ２０に係る性能指標の表示Ｉ２１に用いられるグラフにおいて、縦軸及び横軸は、それぞれ、有害事象発生率ＩＣ２及び介入実施発生率ＩＣ１である。つまり、図１１の表示例のグラフにおいて、一点鎖線は、リターン指数ＩＣ３を示す。したがって、本変形例に係る技術によれば、ユーザは、各性能指標のプロットが右上又は左下に移動したとき、すなわち、各性能指標のプロットが一点鎖線から離れたとき、モデル性能が低下していると判断できる。
図４のステップＳ１０４で実行される表示処理において、性能指標の表示Ｉ２１で用いられるグラフは図１０の表示例のグラフに限らない。図１１は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ２０の一例を示す模式図である。図１１に示すように、本変形例に係る表示画面Ｉ２０に係る性能指標の表示Ｉ２１に用いられるグラフにおいて、縦軸及び横軸は、それぞれ、有害事象発生率ＩＣ２及び介入実施発生率ＩＣ１である。つまり、図１１の表示例のグラフにおいて、一点鎖線は、リターン指数ＩＣ３を示す。したがって、本変形例に係る技術によれば、ユーザは、各性能指標のプロットが右上又は左下に移動したとき、すなわち、各性能指標のプロットが一点鎖線から離れたとき、モデル性能が低下していると判断できる。
【0121】
（第２の変形例）
図４のステップＳ１０４で実行される表示処理において、モデル性能が低下したか否かの判断のために、各性能指標の値が所定の条件を満たす場合に、ユーザへの通知が行われてもよい。
図４のステップＳ１０４で実行される表示処理において、モデル性能が低下したか否かの判断のために、各性能指標の値が所定の条件を満たす場合に、ユーザへの通知が行われてもよい。
【0122】
図１２は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ３０の一例を示す模式図である。図１２には、各性能指標に係る閾値と、各性能指標値及び閾値の間の差とが、それぞれ、破線と、矢印Ａ２とを用いて示されている。
【0123】
本変形例で用いられる各種の閾値及び／又は閾値範囲は、例えば、予め設定されて、メモリ２２等に記憶されている。例えば、本実施形態に係る生成機能２３５は、各性能指標値が所定の閾値範囲を超えているか否か判定する。なお、本判定は、全性能指標値に限らず、例えば予め設定された少なくとも１つの種の性能指標値に関して実施されてもよい。
【0124】
各性能指標値が閾値の範囲を超えていると判定されたとき、生成機能２３５は、ユーザへの通知を行う。通知は、例えば図１２に示すように、性能指標の表示Ｉ３１のグラフとともに表示されるアイコンＡ１により行われる。換言すれば、生成機能２３５は、各性能指標値が所定の閾値範囲を超えていると判定されたとき、事前検出モデルの性能が低下していることをユーザに通知する通知画像を表示するための画像データを生成する。通知画像は、アイコンＡ１を含む。なお、アイコンＡ１の表示は、点滅させてもよい。なお、破線及び矢印Ａ２のように、各性能指標に係る閾値と、各性能指標値及び閾値の間の差とがさらに表示されてもよい。
【0125】
このように、本変形例に係る技術によれば、ユーザは、モデル性能の低下を容易に認識できる。なお、処理回路２３は、このように各性能指標値を用いてモデル性能を評価し、モデル性能が低下したか否かを判定するとともに、モデル性能が低下したと判定されたとき、事前検出モデルを更新する更新機能を実行可能に構成されていてもよい。
【0126】
（第３の変形例）
図４のステップＳ１０４で実行される表示処理において、複数の事前検出モデルに関する性能指標が表示されてもよい。図１３は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ４０の一例を示す模式図である。図１３に示すように、性能指標の表示Ｉ４１で用いられるグラフには、各事前検出モデルに関してプロットされる。図１３に示す表示例では、２０１８年１月１日から２０１８年４月１日までのモデル検出時点に関して、モデルＢによるモデル検出結果を用いて算出されたリターン指数ＩＣ３がさらに表示されている。このように、本変形例に係る技術によれば、ユーザは、２つ以上の事前検出モデルに関して、モデル性能を容易に比較できる。
図４のステップＳ１０４で実行される表示処理において、複数の事前検出モデルに関する性能指標が表示されてもよい。図１３は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ４０の一例を示す模式図である。図１３に示すように、性能指標の表示Ｉ４１で用いられるグラフには、各事前検出モデルに関してプロットされる。図１３に示す表示例では、２０１８年１月１日から２０１８年４月１日までのモデル検出時点に関して、モデルＢによるモデル検出結果を用いて算出されたリターン指数ＩＣ３がさらに表示されている。このように、本変形例に係る技術によれば、ユーザは、２つ以上の事前検出モデルに関して、モデル性能を容易に比較できる。
【0127】
（第４の変形例）
図４のステップＳ１０４で実行される表示処理において、複数の事前検出モデルに関する性能指標が表示されてもよい。図１４は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ５０の一例を示す模式図である。図１４に示すように、表示画面Ｉ５０には、比較対象の複数の事前検出モデルごとに画面を切り替えるタブが設けられる。図１４の表示例は、モデルＤが選択されている状態を示す。比較対象の事前検出モデルや比較対象の性能指標が増えるにつれ、表示画面が見づらくなるおそれがある。したがって、本変形例に係る技術によれば、ユーザは、複数の事前検出モデルや複数の性能指標に関して、表示画面の見易さを損なうことなく、各モデル性能を容易に比較できる。
図４のステップＳ１０４で実行される表示処理において、複数の事前検出モデルに関する性能指標が表示されてもよい。図１４は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ５０の一例を示す模式図である。図１４に示すように、表示画面Ｉ５０には、比較対象の複数の事前検出モデルごとに画面を切り替えるタブが設けられる。図１４の表示例は、モデルＤが選択されている状態を示す。比較対象の事前検出モデルや比較対象の性能指標が増えるにつれ、表示画面が見づらくなるおそれがある。したがって、本変形例に係る技術によれば、ユーザは、複数の事前検出モデルや複数の性能指標に関して、表示画面の見易さを損なうことなく、各モデル性能を容易に比較できる。
【0128】
（第５の変形例）
図４のステップＳ１０４で実行される表示処理において、上述の各性能指標に限らず、他の性能指標が表示されてもよい。図１５は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ６０の一例を示す模式図である。
図４のステップＳ１０４で実行される表示処理において、上述の各性能指標に限らず、他の性能指標が表示されてもよい。図１５は、本変形例に係る性能指標の表示処理において図２の医用端末１のディスプレイ１３に表示される表示画面Ｉ６０の一例を示す模式図である。
【0129】
他の性能指標としては、事前検出モデルを適用した集団に関する、コストなどの経済的アウトカムと、死亡率などの臨床的アウトカムとがさらに算出される。これらの性能指標（以下、アウトカム指標と呼ぶ）は、例えば、算出機能２３４により、診療情報保管装置３などから収集されたデータに基づいて算出される。算出された各指標は、メモリ２２へ出力される。また、生成機能２３５は、アウトカム指標を含む表示画像を表示するための画像データを生成する。アウトカム指標としては、例えば、総死亡数、院内死亡率、再入院率、手術実施率、入院日数、医療費、１日あたりの検査数及び１日あたりの投薬数のうちの少なくとも１つが用いられる。
【0130】
なお、総死亡数は、特定の疾患に関連する死因に限定してもよい。また、院内死亡率は、特定の疾患に関連する死因に限定してもよい。また、再入院率は、予定外のものだけに限定してもよい。また、手術実施率は、予定外のものだけに限定してもよい。また、入院日数は、ＩＣＵやＣＣＵなど病棟を限定しても良い。また、医療費は、特定の医療費項目に限定しても良い。また、１日あたりの検査数は、入院中または外来中のみに限定しても良い。また、１日あたりの投薬数は、入院中または外来中のみに限定しても良い。図１５に示す表示例では、入院１日あたりの平均投薬数（種類）と、平均入院日数とが表示されている。例えば、ユーザは、平均投薬数が増加している一方で平均入院日数が変化していない場合に、不要な介入実施を疑うこともできる。つまり、本変形例に係る技術によれば、ユーザは、より多角的に事前検出モデルのモデル性能を評価できる。
【0131】
なお、アウトカム指標は、上述の実施形態及び第１～第４の実施形態に係る性能指標とともに表示されてもよい。また、各アウトカム指標は、患者群ごとに算出されてもよいし、医師ごとに算出されてもよい。これらのとき、図１５に示すように、タブによって表示が切り替え可能であってもよいし、第３の変形例に係る技術と同様にして、同画面内で表示されてもよい。さらに、各アウトカムを患者群ごとに算出する場合、事前検出モデルを適用した患者を「モデル検出の有無」や「介入の有無」に応じて分類することにより設定された患者群が用いられてもよい。
【0132】
（第６の変形例）
上述の実施形態では、侵襲度の高い心不全のための介入実施（介入イベント）及び侵襲度の低い心不全のための介入実施（介入イベント）の有無が、それぞれ、有害事象発生及び介入実施の有無を判定するために用いられる分類処理を一例として説明した。しかしながら、分類処理は、有害事象発生及び介入実施の有無に限らず、有害事象発生及び介入実施の程度（レベル）に基づいて実施されてもよい。図１６Ａ及び図１６Ｂは、それぞれ、第６の変形例に係る一連のイベント群に関する分類処理について説明するための図である。
上述の実施形態では、侵襲度の高い心不全のための介入実施（介入イベント）及び侵襲度の低い心不全のための介入実施（介入イベント）の有無が、それぞれ、有害事象発生及び介入実施の有無を判定するために用いられる分類処理を一例として説明した。しかしながら、分類処理は、有害事象発生及び介入実施の有無に限らず、有害事象発生及び介入実施の程度（レベル）に基づいて実施されてもよい。図１６Ａ及び図１６Ｂは、それぞれ、第６の変形例に係る一連のイベント群に関する分類処理について説明するための図である。
【0133】
本変形例に係る分類処理では、図７のステップＳ３０４において、分類機能２３３は、特定された有害事象判定期間に関して、有害事象発生の有無及びそのレベルを判定する。同様に、ステップＳ３０６及びステップＳ３０７において、分類機能２３３は、特定された各期間に関して、介入実施の有無及びそのレベルを判定する。換言すれば、医療イベントの有無に関して、医療イベントの有りは、複数のレベルを含む。例えば、複数のレベルとして、図１６Ａ及び図１６Ｂには、それぞれ、３つ及び２つのレベルが一例として示されている。なお、複数のレベルは、有害事象発生の有無及び介入実施の有無のいずれか一方に用いられてもよいし、両方に用いられてもよい。なお、これらの有害事象発生及び／又は介入実施発生のレベルの判定には、例えば医師などによる判別結果が用いられてもよい。
【0134】
このように、本変形例に係る分類処理では、例えば図９を参照して説明した集計結果は、さらにレベルの数に応じて分割され、より詳細なものとなる。つまり、本変形例に係る技術によれば、一連のイベント群の有無及び／又はレベルに応じた性能指標を算出することができる。
【0135】
以上説明した少なくとも１つの実施形態によれば、有害事象防止のための事前検出モデルの性能を評価することができる。
【0136】
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（Programmable Logic Device：ＰＬＤ）等の回路を意味する。ＰＬＤは、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）を含む。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。プログラムが保存された記憶回路は、コンピュータ読取可能な非一時的記録媒体である。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現してもよい。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図２及び図３における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0137】
なお、処理回路２３は、バイタルサイン情報などの診療データを入力してパターン分類の結果、集計の結果又は各性能指標を出力するようにパラメータが学習された実施形態に係る機械学習モデルと同様の機能を実現する回路構成を有していてもよい。当該回路構成は、例えば、ＡＳＩＣやＰＬＤ等の集積回路により実現される。
【0138】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0139】
１…医用端末、
２…診療支援装置、
３…診療情報保管装置、
９…診療支援システム、
１１…処理回路、
１２…入力インターフェース、
１３…ディスプレイ、
１４…メモリ、
１５…通信インターフェース、
２１…通信インターフェース、
２２…メモリ、
２３…処理回路、
１１１…指示機能、
１１２…表示制御機能、
２３１…収集機能、
２３２…検出機能（検出部）、
２３３…分類機能（分類部）、
２３４…算出機能（算出部）、
２３５…生成機能（生成部）、
Ａ１…アイコン、
Ａ２…矢印、
Ｃ１…カーソル、
Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０，Ｉ６０…表示画面、
Ｉ１１，Ｉ２１，Ｉ３１，Ｉ４１，Ｉ５１，Ｉ６１…性能指標の表示、
Ｉ１２…分類結果の表示、
Ｐ１～Ｐ８…複数のパターン。
２…診療支援装置、
３…診療情報保管装置、
９…診療支援システム、
１１…処理回路、
１２…入力インターフェース、
１３…ディスプレイ、
１４…メモリ、
１５…通信インターフェース、
２１…通信インターフェース、
２２…メモリ、
２３…処理回路、
１１１…指示機能、
１１２…表示制御機能、
２３１…収集機能、
２３２…検出機能（検出部）、
２３３…分類機能（分類部）、
２３４…算出機能（算出部）、
２３５…生成機能（生成部）、
Ａ１…アイコン、
Ａ２…矢印、
Ｃ１…カーソル、
Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０，Ｉ６０…表示画面、
Ｉ１１，Ｉ２１，Ｉ３１，Ｉ４１，Ｉ５１，Ｉ６１…性能指標の表示、
Ｉ１２…分類結果の表示、
Ｐ１～Ｐ８…複数のパターン。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
