知財求人 - 知財ポータルサイト「IP Force」
▶ バイオセンス・ウエブスター・（イスラエル）・リミテッドの特許一覧
特開2025-3391医療システムにおけるトラブルシューティングを改善するための装置及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025003391
(43)【公開日】2025-01-09
(54)【発明の名称】医療システムにおけるトラブルシューティングを改善するための装置及びシステム
(51)【国際特許分類】
A61B 5/333 20210101AFI20241226BHJP
A61B 5/367 20210101ALI20241226BHJP
A61B 18/12 20060101ALI20241226BHJP
【ＦＩ】
A61B5/333
A61B5/367
A61B18/12
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024099436
(22)【出願日】2024-06-20
(31)【優先権主張番号】63/522,249
(32)【優先日】2023-06-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】18/675,338
(32)【優先日】2024-05-28
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】511099630
【氏名又は名称】バイオセンス・ウエブスター・（イスラエル）・リミテッド
【氏名又は名称原語表記】Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ （Ｉｓｒａｅｌ）， Ｌｔｄ．
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ヤキール・マルカ
(72)【発明者】
【氏名】シュロモ・アム・シャレム
【テーマコード（参考）】
4C127
4C160
【Ｆターム（参考）】
4C127AA02
4C127BB05
4C127CC06
4C127DD09
4C127KK05
4C160KK12
4C160KK32
4C160KK36
4C160KK37
4C160KK63
4C160MM33
(57)【要約】 （修正有）
【課題】医療システムにおけるトラブルシューティングを改善する。
【解決手段】動作中に、医療システムのユーザによる発話を含むオーディオストリームを取得し、医療システムに関連付けられた機器からデータストリームを取得することと、オーディオストリーム内で問題に対するインジケータを検出することであって、インジケータは、第１の時間窓中に発生する、検出することと、オーディオストリーム内のオーディオセグメントとデータストリームのうちの各データストリームにおけるデータセグメントとを選択することであって、データセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及びデータセグメントは、時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、オーディオセグメント及び１つのデータセグメントを出力することと、を含む。
【選択図】図４
【解決手段】動作中に、医療システムのユーザによる発話を含むオーディオストリームを取得し、医療システムに関連付けられた機器からデータストリームを取得することと、オーディオストリーム内で問題に対するインジケータを検出することであって、インジケータは、第１の時間窓中に発生する、検出することと、オーディオストリーム内のオーディオセグメントとデータストリームのうちの各データストリームにおけるデータセグメントとを選択することであって、データセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及びデータセグメントは、時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、オーディオセグメント及び１つのデータセグメントを出力することと、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
メモリユニットに結合されたプロセッサを有するコンピュータ化された装置であって、前記プロセッサは、
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得するステップであって、前記動作は、対象に対して実行される、ステップと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得するステップと、
前記オーディオストリーム内で問題に対するインジケータを検出するステップであって、前記インジケータは、少なくとも第１の時間窓中に発生する、ステップと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択するステップであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、ステップと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力するステップと、を実行するように適合されている、コンピュータ化された装置。
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得するステップであって、前記動作は、対象に対して実行される、ステップと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得するステップと、
前記オーディオストリーム内で問題に対するインジケータを検出するステップであって、前記インジケータは、少なくとも第１の時間窓中に発生する、ステップと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択するステップであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、ステップと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力するステップと、を実行するように適合されている、コンピュータ化された装置。
【請求項2】
プログラム命令を保持する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品であって、前記命令は、プロセッサによって読み取られると、前記プロセッサに、
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも第１の時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を実行させる、コンピュータプログラム製品。
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも第１の時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を実行させる、コンピュータプログラム製品。
【請求項3】
方法であって、
医療システムを伴う動作中に、前記動作を実行するために前記医療システムを使用するユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を含む、方法。
医療システムを伴う動作中に、前記動作を実行するために前記医療システムを使用するユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を含む、方法。
【請求項4】
前記問題に対する前記インジケータは、所定の単語のリストから選択された少なくとも１つの単語を前記オーディオストリーム内で認識することによって検出される、請求項３に記載の方法。
【請求項5】
前記問題に対する前記インジケータは、問題を示す感情状態を前記オーディオストリーム内で認識することによって検出される、請求項３に記載の方法。
【請求項6】
前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、それぞれ、前記時間窓に先行する第２の時間窓中にキャプチャされたオーディオ及びデータを含む、請求項３に記載の方法。
【請求項7】
前記第２の時間窓は、所定のイベントにおいて開始する、請求項６に記載の方法。
【請求項8】
前記第２の時間窓は、前記動作の開始時間に開始する、請求項６に記載の方法。
【請求項9】
前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、それぞれ、前記時間窓に連続する第３の時間窓中にキャプチャされたオーディオ及びデータを含む、請求項３に記載の方法。
【請求項10】
前記第３の時間窓は、所定のイベントにおいて又は前記動作の終了時間に終了する、請求項９に記載の方法。
【請求項11】
前記オーディオセグメント及び前記少なくとも１つのデータセグメント内の前記対象又は前記ユーザの識別詳細を隠匿することを更に含む、請求項３に記載の方法。
【請求項12】
前記少なくとも１つのデータストリームは、前記ユーザによって実行されたアクションに関連するデータを含む、請求項３に記載の方法。
【請求項13】
前記ユーザによって実行された前記アクションは、ユーザインターフェース起動アクションを含む、請求項１２に記載の方法。
【請求項14】
前記少なくとも１つのデータストリームは、前記システムによって取られたアクションに関連するデータを含む、請求項３に記載の方法。
【請求項15】
前記アクションは、ユーザアクションに応答して前記システムによって取られる、請求項１４に記載の方法。
【請求項16】
前記少なくとも１つのデータストリームは、前記システムによって取られた測定値に関連するデータを含む、請求項１５に記載の方法。
【請求項17】
前記システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、請求項３に記載の方法。
【請求項18】
前記少なくとも１つのデータストリームは、心電図（ＥＣＧ）電極から収集された生のＥＣＧデジタルサンプル記録と、ＥＣＧ処理済みデータと、心臓内カテーテルナビゲーション記録と、心臓内カテーテルシャフト可視化と、カテーテル位置特定及び可視化アルゴリズム計算結果と、電磁信号に基づく位置特定と、電流に基づく位置特定と、持続時間又は反復情報記録を含む、治療無線周波数アブレーション又はパルスフィールドアブレーション適用と、適用された力の測定値の記録と、ユーザインターフェースモジュールを用いて前記ユーザによって実行されたアクションの記録を含むユーザアクションログと、キーボード、マウス、又はタッチスクリーンアクションと、超音波フレーム又は解剖学的マーカーと、からなる群から選択される少なくとも１つのタイプのデータを含む、請求項３に記載の方法。
【請求項19】
前記システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、請求項３に記載の方法。
【請求項20】
前記動作は、水晶体超音波乳化吸引動作である、請求項３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２３年６月２１日に出願された、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＩＭＰＲＯＶＩＮＧ ＴＲＯＵＢＬＥＳＨＯＯＴＩＮＧ ＩＮ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許仮出願第６３／５２２，２４９号の優先権を主張するものであり、本仮出願は、参照により本明細書に組み込まれる。
本出願は、２０２３年６月２１日に出願された、「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＩＭＰＲＯＶＩＮＧ ＴＲＯＵＢＬＥＳＨＯＯＴＩＮＧ ＩＮ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許仮出願第６３／５２２，２４９号の優先権を主張するものであり、本仮出願は、参照により本明細書に組み込まれる。
【0002】
（発明の分野）
本開示は、概して医療システムに関し、特に、医療システムにおけるトラブルシューティングを改善するためのシステム及び方法に関する。
本開示は、概して医療システムに関し、特に、医療システムにおけるトラブルシューティングを改善するためのシステム及び方法に関する。
【背景技術】
【0003】
多くの高度なシステム、特に医療システムは、それらの主要な機能に加えて、ユーザの活動及びシステムの活動を連続的かつリアルタイムで記録する。
【0004】
例えば、キーボード又はポインティングデバイスなどのユーザインターフェースデバイスに関連付けられたアクション、電気生理学的（electrophysiological、ＥＰ）マッピング及びアブレーション動作中に組織にエネルギーを適用することなどの、システム及びその関連パラメータに関連付けられたアクションを含む、ユーザのアクションが、ログ記録され得る。加えて、ユーザによってブックマークされた特定のイベントもログ記録され得る。
【0005】
追加的に、電極又は他の測定デバイスによって取られた測定値の様々なデジタルサンプル、１つ又は２つ以上のカテーテルなどの動作中に使用されたデバイスの場所記録などのような、システムによって取得された生データが、収集及びログ記録され得る。
【0006】
更なるタイプの記録データは、中間計算結果を含んでも含まなくてもよい、デバイス経路又は心電図（electrocardiogram、ＥＣＧ）の形態学的特殊の可視化などのデータ処理結果を含み得る。
【0007】
追加的に、デバッグ又は性能監視、システムイベントの記録、ネットワークメッセージなどのような目的のために、例えば、ソフトウェア開発者によってプログラムされたコード実行トレースの記録などを含むログが、基礎となるソフトウェアから取得され得る。
【0008】
上述のデータタイプと、単位時間当たり、特に動作当たりに記録されるかなりの量に達する追加のデータタイプとに起因して、例えばトラブルシューティングの目的で、この豊富なデータ内の特定のイベントを検索することは、困難なタスクである。
【0009】
従来、データは、再検討され、そのようなイベントは、何かが動作に失敗したとき、特に、医師のアクション及び必要とされる医療基準への準拠を評価するために必要とされるときに検索される。
【図面の簡単な説明】
【0010】
以下の本開示の実施例の詳細な説明を図面と併せ読むことで、本開示のより完全な理解が得られるであろう。
【図1】本開示のいくつかの例示的な実施形態による、カテーテルベースの電気生理学的（ＥＰ）マッピング及びアブレーションシステムを備える、例示的医療環境の概略描写図である。
【図2】本開示のいくつかの例示的な実施形態による、様々なデータソース並びにそこから抽出及び記録されたデータの描写図である。
【図3】本開示のいくつかの例示的な実施形態による、医療システムをトラブルシューティングするための方法におけるステップのフロー図である。
【図4】本開示のいくつかの例示的な実施形態による、医療システムをトラブルシューティングするためのコンピューティングプラットフォームの概略ブロック図である。
【発明を実施するための形態】
【0011】
以下の詳細な説明には、本発明の十分な理解を提供するために多くの具体的な詳細が記載されている。しかしながら、本発明がこれらの具体的な詳細なしでも実施され得ることは、当業者に明らかであろう。他の例では、本発明を無用に分かりにくくすることのないよう、周知の回路、制御論理、並びに従来のアルゴリズム及びプロセスに対するコンピュータプログラム命令の詳細については、詳しく示していない。
【0012】
本発明の態様を具体化するソフトウェアプログラミングコードは、典型的には、コンピュータ可読媒体などの永久記憶装置に維持される。クライアント－サーバ環境では、かかるソフトウェアプログラミングコードは、クライアント又はサーバに記憶させることができる。ソフトウェアプログラミングコードは、データ処理システムで使用するための様々な既知の媒体のうちのいずれかで具体化され得る。これには、ディスクドライブ、磁気テープ、コンパクトディスク（compact disc、ＣＤ）、デジタルビデオディスク（digital video disc、ＤＶＤ）などの磁気及び光学記憶デバイス、及び信号が変調される搬送波の有無にかかわらず、伝送媒体に具現化されたコンピュータ命令信号が含まれるが、これらに限定されない。例えば、伝送媒体は、インターネットなどの通信ネットワークを含み得る。加えて、本発明は、コンピュータソフトウェアで具体化され得るが、本発明を実施するために必要な機能は、代替的に、特定用途向け集積回路又は他のハードウェアなどのハードウェアコンポーネント、又はハードウェアコンポーネントとソフトウェアのいくつかの組み合わせを使用して、一部又は全体的に具体化され得る。
【0013】
概論
以下の開示では、「単語」という用語は、１つ又は２つ以上の単語、音節などを含む任意の単語又は句を網羅するように広く解釈されるべきである。単語は、任意の言語又は方言であり得、単一の音節若しくは組み合わせ、又は「ううん（uh-uh）」、「あらら（oh no）」などの音声ジェスチャを含み得る。
以下の開示では、「単語」という用語は、１つ又は２つ以上の単語、音節などを含む任意の単語又は句を網羅するように広く解釈されるべきである。単語は、任意の言語又は方言であり得、単一の音節若しくは組み合わせ、又は「ううん（uh-uh）」、「あらら（oh no）」などの音声ジェスチャを含み得る。
【0014】
以下の開示では、「ストリーム」という用語は、オーディオストリームに関連付けられているか又は別のデータストリームに関連付けられているかにかかわらず、任意の周波数又は時間分解能及び任意のフォーマットでソースから受信されたデジタルデータの任意のシーケンスを網羅するように広く解釈されるべきである。データは、それが受信されているときにオンラインで処理されるか又は他の方法で使用され得るか、あるいは記憶デバイスに記憶され、例えば受信されたデータの全て又は一部を含むファイルとして後で処理され得る。
【0015】
多くの医療動作では、医師などのユーザが、複雑な機器を使用する。２つのそのような実施例は、電気生理学マッピング及びアブレーションシステム、並びに水晶体超音波乳化吸引システムを含む。
【0016】
以下の開示では、「問題」という用語は、医師又は他のスタッフメンバーによって使用され、開発者によって調査され得るシステム及び機器に関する任意の技術的、ソフトウェア、又は他の問題を網羅するように広く解釈されるべきである。「問題」という用語は、「トラブルシューティングイベント」という用語と互換的に使用され得る。
【0017】
測定値、ユーザアクション、システムアクション、基礎となるコンピューティングシステムのイベント、中間処理結果及び最終処理結果などを含む膨大な量のデータが、動作中に収集され得る。典型的には、情報は、ユーザのアクションを監視又は評価するため、例えば、医師が正しい決定を行い、正しい時間に正しいアクションを実行したことを確認するために使用される。
【0018】
医療システムは概して複雑であるので、それらは、特に新しいシステム又はその新しいバージョンの開発若しくは展開中に、バグ、誤用問題などを含む問題が自然に生じやすい。したがって、そのような問題をトラブルシュートすることが必要とされ得る。
【0019】
しかしながら、上で詳述したように、問題が発生したかどうか、及びいつ発生したか、又はそれがいつユーザによって気付かれたのかは、概して不明であるので、膨大な量の収集されたデータは、トラブルシューティングを困難にする。
【0020】
本開示のいくつかの実施形態によれば、現在行われているようにシステムからの全てのデータストリームを記録することに加えて、マイクロフォン、オーディオレコーダ、及びユーザアクションレコーダが、医師及び場合によっては臨床助手（clinical assistants、ＣＡＳ）などの追加スタッフメンバーを含むユーザによって入力されたオーディオ及び他のデータをキャプチャ及び記録するために使用され得る。オーディオは、動作全体を通して、又はその１つ又は２つ以上の部分において記録され得る。
【0021】
記録されたオーディオは、記録された人員メンバーのうちの１人によって、トラブルシューティングインジケータを検出するために分析され得る。
【0022】
インジケータは、「ううん」、「問題」、「不能」、「動作していない」、「画面がフリーズした」、「マウスを動かすことができない」、「システムが非常に遅い」、「システムが応答しない」、「そのボタンをクリックすることができない」、「そのオプション／ボタンを見つけることができない」、「ボタンが使用不能である」、「ボタン／オプションが消えた」、「クリックしても何も起こらない」、「ウィンドウ／ダイアログが閉じた／消えた」、「ウィンドウ／ペインを移動／最小化／最大化することができない」、「エラー／警告は何の意味もない」、「性能が悪い」、「そのエラー／警告をどのように消去／除去／解決することができるか」、「システムは動作せず、エラーは表示されない」、「システムを再起動する」などのような、任意の問題の存在を示す単語であり得る。
【0023】
１つ又は２つ以上の単語はまた、ドメイン固有であり得、特定のシステムに関する問題を示し得る。例えば、以下の単語又は句は、電気生理学的マッピング及びアブレーションシステム又はその動作に関連し得る：「アブレーション時間／温度／電力は間違っているように思われる」、「力の指示は間違っている」、「カテーテルはつっかかっている（stuttering）」、ｐｉｕ／超音波機械／記録システムとの接続なし」、「おそらく我々はｐｉｕをオフにすべきである」、「アノテーションは間違っている」、「ＥＣＧモニタはフリーズ／停止した」、「点が欠落している」、「輪郭が欠落している」、「カテーテル可視化は機能しない」、「研究を保存／アーカイブ／復元することができない」など。
【0024】
更なる指示は、ストレス、怒り、心配などといった、オーディオ内の問題のある感情状態の識別を含み得る。
【0025】
いくつかの実施形態では、不適切な単語も検索され得、なぜなら、そのような単語は、システムへのフラストレーションを示し得るからである。
【0026】
いくつかの実施形態では、単語は、キャプチャされたオーディオを完全に転記し、一般的であるか特定であるかにかかわらず、問題を示す単語の集まりについて転記を検索することによって認識され得る。
【0027】
更なる実施形態では、単語は、特定の単語のみが検索される小語彙音声認識技術を使用して認識され得る。
【0028】
単語は、例えば、「私（I）」ではなく「私たち（we）」、句内の単語の異なる順序などを使用して、類似の単語又は句も検出され得るように、あいまいな方法で検索され得る。例えば、検出された各単語は、確信度に関連付けられ得、閾値を超える確信度で識別された単語のみが、更なる処理のために出力され得る。
【0029】
インジケータが検出されると、単語又は感情状態が検出された第１の時間窓と、第１の時間窓に先行する第２の時間窓と、任意選択的に、第１の時間窓に続く第３の時間窓とを含むタイムスロットは、調査のためにマークされ得る。いくつかの実施形態では、第１の時間窓、第２の時間窓、及び第３の時間窓の各々は、所定の（及び場合によっては異なる）長さのもの、例えば、１秒、１０秒、１分、１０分、１５分などであり得る。いくつかの実施形態では、第２の時間窓は、第１の時間窓から、静脈へのカテーテルの挿入、カテーテルの心臓への到達、アブレーション適用、動作の開始などのような所定のイベントまで戻り得る。いくつかの実施形態では、第３の時間窓は、第１の時間窓から、カテーテルが心臓から引き抜かれる、動作の終了などのような所定のイベントまで延在し得る。所定のイベントのタイミングは、動作のログから、別の記録から、オーディオ記録において検出された１つ又は２つ以上の単語などから取得され得る。いくつかの実施形態では、先行するイベントは、スレッドの生成、モジュールを起動することなどのような、基礎となる実行されたプログラムに関連し得る。第３のタイムスロットは、ａまで続き得る。
【0030】
第１の時間窓、第２の時間窓、及び第３の時間窓を含むタイムスロットが判定されると、そのタイムスロットに対応するセグメントのみが更に処理されるように、例えば、進行中の測定、ユーザアクション、システムアクション、システムイベント、ネットワークイベントなどを含む他のキャプチャされたストリームにも適用され得る。
【0031】
いくつかの実施形態では、動作の対象の任意の識別詳細は、タイムスロット内で、オーディオストリーム及びデータストリームから隠匿され得る。例えば、患者の、又は医師の名前は、彼らの匿名性及びプライバシーを保護するために、オーディオセグメント内で言及されている場合には隠匿され得、任意のデータセグメント又は画面キャプチャなどから除去され得る。いくつかの実施形態では、対象の性別又は年齢（例えば、「彼」又は「彼女」としての患者への参照）などの有益な詳細は、規制、感度などに従って、維持又は隠匿され得る。
【0032】
次いで、タイムスロットに対応するオーディオストリーム及びデータストリームの部分は、例えば、直ちに又は後の任意の時間に、問題をトラブルシューティングする、例えば、実際に問題があったかどうか、何が問題につながったか、状況がどのように防止されるべきかなどを判定することを担当する別のシステム又は人に提供され得る。いくつかの実施形態では、システムは、そのような状況を防止するために修理及び更新され得る。他の実施形態では、ユーザは、状況がどのように防止されるべきかなどに関するガイダンスを受け取る場合がある。
【0033】
したがって、本開示は、動作中のトラブルシューティング状況の自動検出を提供し、状況は、使用される機器に関する問題を含み得、関連するオーディオ及びデータ情報を、トラブルシューティングを担当する人又はシステムに提供する。したがって、本開示は、問題のある状況が、システムを修理することによって、又はユーザを教育することによってのどちらかで、排除又は修正され得るように、状況のトラブルシューティングを可能にする。
【0034】
本開示はまた、動作中に収集されたデータの全体を再検討する必要がないので、効果的かつ効率的なトラブルシューティングを提供する。トラブルシューティングを担当する人又はシステムは、ユーザが問題に気付いたときの関連する時間期間、並びに先行する及び／又は後続の時間窓を再検討するだけでよい。
【0035】
システムの説明
例示的なカテーテルベースの電気生理学マッピング及びアブレーションシステム１０を示す図１を参照する。しかしながら、本開示は、そのようなシステムに限定されず、水晶体超音波乳化吸引システムなどのような任意の他のタイプの医療システムとともに使用することもできることを理解されたい。
例示的なカテーテルベースの電気生理学マッピング及びアブレーションシステム１０を示す図１を参照する。しかしながら、本開示は、そのようなシステムに限定されず、水晶体超音波乳化吸引システムなどのような任意の他のタイプの医療システムとともに使用することもできることを理解されたい。
【0036】
例示的なシステム１０は、患者２３の血管系を通って、心臓１２の心腔又は血管構造内に医師２４によって経皮的に挿入され得る１つ又は２つ以上のカテーテルを含み得る。典型的には、送達シースカテーテルは、心臓１２の所望の位置の近くの左心房又は右心房内に挿入される。その後、１つ又は２つ以上のカテーテルを、送達シースカテーテルに挿入して、心臓１２内の所望の場所に到達させることができる。例えばカテーテル１４を含む複数のカテーテルは、心内電位図（Intracardiac Electrogram、ＩＥＧＭ）信号の検知専用のカテーテル、アブレーション専用のカテーテル、並びに／又は検知及びアブレーション双方のためのカテーテルを含み得る。医師２４は、心臓１２における標的部位をアブレーションするために、カテーテル１４の遠位先端２８を心臓壁と接触させて設置し得る。
【0037】
カテーテル１４は、不可逆電気穿孔（irreversible electroporation、ＩＲＥ）／パルスフィールドアブレーション（pulsed field ablation、ＰＦＡ）システムとともに使用される例示的なカテーテルであり得る。カテーテル１４の遠位先端部分２８は、カテーテル１４を通ってコンソール３０に延びるワイヤによって接続された１つ又は２つ以上の電極を備え得る。
【0038】
カテーテル１４の遠位端が心臓１２内の標的位置に到達すると、医師２４は、遠位先端２８の上に配置された１つ又は２つ以上の電極を肺静脈口などの標的位置に接触させて設置するために、カテーテル１４を更に操作し得る。
【0039】
カテーテル１４の近位端は、制御コンソール３０を介してＩＲＥアブレーションエネルギー生成器５０からエネルギーを受け取る。ＩＲＥ電源５０は、限定されるものではないが、不可逆電気穿孔（ＩＲＥ）を達成するために使用され得るような、高電圧ＤＣパルスの単極、双極、又はそれらの組み合わせを含むＰＦＡエネルギーを生成し得る。双極パルスは、１つ又は２つ以上の電極対の間に適用され得る。
【0040】
遠位先端２８部分は、電極によって心臓壁に適用される力を検知するために、力センサなどの１つ又は２つ以上のセンサを備え得る。力センサは、心臓壁上の心臓壁に接触する各電極によって適用される力に基づいて計算され得る、心臓壁上の遠位先端２８の電極によって適用される総力を検知及び報告し得る。
【0041】
遠位先端２８部分は、遠位又は他のセンサの位置及び向きを追跡するための位置センサを備え得る。位置センサは、三次元（three-dimensional、３Ｄ）位置及び向きを検知するための３つの磁気コイルを含む磁気ベースの位置センサであり得る。磁気ベースの位置センサは、事前定義された作業体積内に磁場を生成するように構成された複数の磁気コイル３２を含む位置パッド２５と一緒に動作し得る。カテーテル１４の遠位先端２８又は電極のいずれかのリアルタイム位置は、位置パッド２５を用いて生成され、磁気ベースの位置センサによって検知される磁場に基づいて追跡され得る。磁気ベースの位置検知技術の詳細は、米国特許第５，５３９１，１９９号、同第５，４４３，４８９号、同第５，５５８，０９１号、同第６，１７２，４９９号、同第６，２３９，７２４号、同第６，３３２，０８９号、同第６，４８４，１１８号、同第６，６１８，６１２号、同第６，６９０，９６３号、同第６，７８８，９６７号、同第６，８９２，０９１号に記載されている。
【0042】
力センサ、位置センサ、又は他のセンサからの読取値は、例えばデジタルストリームとして連続的に報告され得る。
【0043】
システム１０は、位置パッド２５の位置基準及び電極のインピーダンスベースの追跡を確立するために、患者２３上の皮膚接触のために位置決めされた１つ又は２つ以上の電極パッチ３８を含み得る。インピーダンスベースの追跡の場合、各電極の位置が電極パッチ３８を介して三角測量され得るように、電流が電極に向けられ、電極皮膚パッチ３８において検知される。インピーダンスベースの位置追跡技術の詳細は、米国特許第７，５３６，２１８号、同第７，７５６，５７６号、同第７，８４８，７８７号、同第７，８６９，８６５号、及び同第８，４５６，１８２号に記載されている。
【0044】
レコーダ１１は、体表面ＥＣＧ電極１８を用いてキャプチャされた電位図２１、並びに対応するカテーテルを用いてキャプチャされた心内電位図（ＩＥＧＭ）を記録及び表示し得る。レコーダ１１は、心臓の律動をペーシングするためのペーシング能力を含み得、及び／又は独立型ペーサに電気的に接続され得る。
【0045】
患者インターフェースユニット（patient interface unit、ＰＩＵ）３０は、カテーテルと、他の電気生理学的機器と、電源と、システム１０の動作を制御するためのワークステーション５５との間の電気通信を確立するように構成されたインターフェースである。システム１０の電気生理学的機器は、例えば、複数のカテーテル、位置パッド２５、体表面ＥＣＧ電極１８、電極パッチ３８、アブレーションエネルギー生成器５０、及びレコーダ１１を含んでもよい。任意選択的に、かつ好ましくは、ＰＩＵ３０は、カテーテルの位置のリアルタイム計算を実装し、ＥＣＧ計算を実行するための処理能力を追加的に含む。
【0046】
ワークステーション５５は、メモリと、適切なオペレーティングソフトウェアがその中に記憶されたメモリ又は記憶装置を有するプロセッサユニットと、ユーザインターフェース機能とを含み得る。ワークステーション５５は、任意選択的に、（１）心内膜解剖学的構造を三次元（３Ｄ）でモデリングし、モデル又は解剖学的マップ２０をディスプレイデバイス２７上に表示するためにレンダリングすることと、（２）記録された電位図２１からコンパイルされた起動シーケンス（又はその他のデータ）を、レンダリングされた解剖学的マップ２０上に重ね合わされた代表的な視覚的表示又は画像でディスプレイデバイス２７上に表示することと、（３）心腔内の複数のカテーテルのリアルタイムの位置及び向きを表示することと、（４）アブレーションエネルギーが適用された箇所などの関心部位をディスプレイデバイス２７上に表示することと、（５）カテーテル１４の力及び位置に基づいて計算された現在のＰＦＡ指数５１をディスプレイデバイス２７上に表示することと、を含む複数の機能を提供し得る。上述の機能は例示的なものに過ぎず、異なる機能のセットがユーザに提供され得ることが理解される。システム１０の要素を具現化する１つの市販製品は、Ｂｉｏｓｅｎｓｅ Ｗｅｂｓｔｅｒ，Ｉｎｃ．、３１Ａ Ｔｅｃｈｎｏｌｏｇｙ Ｄｒｉｖｅ，Ｉｒｖｉｎｅ，ＣＡ ９２６１８から入手可能なＣＡＲＴＯ（商標）３ Ｓｙｓｔｅｍとして入手可能である。
【0047】
システム１０は、医師２４による発話をキャプチャするための１つ又は２つ以上のマイクロフォン５６を含み得る。マイクロフォン５６は、医師２４の頭部に頭部装着され得るか、ワークステーション５５内に埋め込まれ得るか、室内に固定され得るか、又はシステム若しくはその環境内の他のどこかに位置し得る。マイクロフォン５６は、マイクロフォン５６によってキャプチャされたオーディオを記録するように適合されたワークステーション５５又は別のデバイスなどのデバイスに有線又は無線で接続され得る。
【0048】
ここで図２を参照すると、本開示のいくつかの例示的な実施形態による、動作中に収集されたデータの部分的な例示的な描写図が示されている。
【0049】
図２は、ヘッドセット２０４に接続されていても接続されていなくてもよく、ワークステーション５５内に埋め込まれていても埋め込まれていなくてもよいなどの、マイクロフォン５６を示す。マイクロフォン５６は、デジタル信号２０８を出力し得る。
【0050】
カテーテルの１つ又は２つ以上の電極２１２は、各々、例えば、電極によって組織壁に及ぼされる進行中の圧力、進行中の位置測定などを示す、１つ又は２つ以上のデジタルストリーム２１６を出力し得る。
【0051】
ワークステーション５５又はそれに関連付けられた別のコンピュータプラットフォームのハードウェア又はソフトウェアは、システムイベント、割込みなどを含むデジタルストリーム２２４を出力し得る。
【0052】
ワークステーション５５に関連付けられた、キーボード２２８及びマウス、タッチスクリーン、ジョイスティックなどのポインティングデバイス２３６の各々はまた、それぞれデジタルストリーム２３２及び／又は２４０を出力し得る。
【0053】
表示されたオーディオストリームは例示的なものに過ぎず、より少ない、追加の、又は異なるデータストリームが提供及び使用され得ることが理解される。
【0054】
次いで、問題は、オーディオストリーム内で、又はデータストリームのいずれか内で検索され得る。例えば、ワークステーション５５内に、又は別のリモート若しくはコロケートコンピューティングデバイス内に埋め込まれ得るオーディオ分析モジュールは、問題を示す単語を検索するために、オーディオストリーム２０８を受信及び分析し得る。
【0055】
オーディオ分析モジュールは、オーディオストリーム２０８に完全なトランスクリプションを適用し、所定の単語のリストについてトランスクリプションを検索し得る。追加的又は代替的に、オーディオ分析モジュールは、小語彙音声認識を実行し、具体的には、所定のリストからの単語を検索し得る。
【0056】
追加的又は代替的に、オーディオ分析モジュールは、話者の感情状態が、ストレスが多い、心配している、怒っているなどと思われる時点を認識するために、オーディオストリーム２０８の感情状態分析を実行し得る。
【0057】
図２の実施例では、単語「問題（problem）」は、時間Ｔ１と時間Ｔ２との間にオーディオ分析モジュールによって検出されている。
【0058】
単語（又は感情状態）の検出に応答して、少なくともＴ１よりも早い時点、例えばＴ０が判定され得る。
【0059】
いくつかの実施形態では、Ｔ０は、任意に選択され得、例えば、Ｔ１の前の所定の期間であり得る。
【0060】
更なる実施形態では、Ｔ０は、カテーテルの挿入などのＴ１に先行する認識可能なイベント、ネットワーク問題などのワークステーション５５によって報告されるコンピュータ化されたイベント、ユーザインターフェースイベントなどに際し、選択され得る。
【0061】
先行するイベントは、オーディオストリーム内、データストリーム２２４、２３２、若しくは２４０などのデータストリームのいずれか内で検索され得、又は外部ソースから受信され得る。
【0062】
同様に、Ｔ２に続く時点Ｔ３が、選択され得る。Ｔ３は、例えばＴ２の１分後、１０分後、１５分後など、任意に選択され得る。代替的に、Ｔ３は、上で詳述したようにイベントが発生したとき、動作の終了時などに識別される。
【0063】
任意選択的に、患者、医師、又は別のエンティティの識別詳細は、オーディオ内及びＴ０とＴ３との間のデータストリーム内に隠匿され得る。例えば、言われている患者の名前は、オーディオ内に隠匿され得、患者の印刷された名前は、データストリームのいずれか内に隠匿され得る、などである。患者及び医師の名前、又は動作の参加者のいずれかの任意の他の識別詳細は、動作の開始時に入力され、組織又は動作のコンピュータ化されたシステムにおいても利用可能であり得ることが理解される。したがって、詳細は、オーディオ内、キーボードを通した入力として記録されたテキスト内、記録された画面内、又は任意の他の記録された情報内で取り出され、検索され、及び隠匿され得る。隠匿は、医師、患者、並びに任意の他の関係者のプライバシー及び匿名性を確実にするのに役立ち得る。
【0064】
Ｔ０からＴ３までのオーディオストリーム及びデータストリームのセグメントは、次いで、ユーザ、システムなどに提供され得る。
【0065】
図２に示されたデバイス及びストリームは例示的なものに過ぎず、実際のシステムは異なる複数のストリームを出力し得ることが理解される。いくつかの例示的なデータストリームは、以下のうちの１つ又は２つ以上を含み得る。
・患者の体表面に（例えば、四肢、胸又は背中において）取り付けられたＥＣＧ電極１８から、及び心臓内電極カテーテルから収集された生の心電図（ＥＣＧ）デジタルサンプル記録、
・正常又は異常な心拍リズムＥＣＧにおける特定の時間に関連する、「アノテーション」と呼ばれる、自動的に検出されたＥＣＧ形態学的特殊などのＥＣＧ処理済みデータ、
・例えば、心臓内のカテーテルによって訪問された三次元位置の、心臓内カテーテルナビゲーション記録、
・心臓内カテーテルシャフトの可視化（例えば、三次元幾何曲線として）、
・中間であろうと最終であろうと、アルゴリズム最適化、デバッギング、及び研究のための、カテーテル位置特定及び可視化アルゴリズム計算結果、
・例えば、患者テーブルの下に設置された低周波信号発生器によって生成される人工電磁場から生じる電磁信号に基づく位置特定、
・電流、例えば、体表面パッチとカテーテル電極との間で人工的に生成された合成マイクロに基づく位置特定、
・時間、持続時間、及び反復情報記録を含む、治療無線周波数アブレーション及びパルスフィールドアブレーション適用、
・適用された力、例えば、ＥＣＧを測定するために、又はアブレーションを実行するために、心臓の内側壁に対してカテーテルを押している間に医師によって適用された機械力の測定値の記録、
・医師によって開始されたペーシングイベントの記録。すなわち、潜在性不整脈を誘発するための、又は不整脈を根絶するためのアブレーション有効性を検証するための電気パルスの適用による心臓刺激、
・システムユーザインタフェースを用いてユーザによって実行されたアクションの記録を含む、ユーザアクションロガー、
・ユーザ超音波フレーム又は解剖学的マーカー、例えば、ユーザによってシステムにタイプされた短いテキストブックマークの記録、
・デバッギング又はシステム計算パフォーマンス監視目的のためにソフトウェア開発者によってプログラムされたコード実行トレースの記録を含む、ソフトウェア内部ロガー、
・事前定義されたシステムエラーの発生及び消失の記録、並びに医師又は臨床助手などのユーザに表示される警告、
・例えば、計算リソース消費に関連する、オペレーティングシステムイベントログ、
・オペレーティングシステム適用又はカーネルクラッシュイベント記録、
・カテーテルが超音波トランスデューサを装備しているシステムにおいて、ユーザによって手動で、又はソフトウェアによって自動的に適用される、超音波フレーム及び解剖学的マーカー（輪郭）の記録。
・患者の体表面に（例えば、四肢、胸又は背中において）取り付けられたＥＣＧ電極１８から、及び心臓内電極カテーテルから収集された生の心電図（ＥＣＧ）デジタルサンプル記録、
・正常又は異常な心拍リズムＥＣＧにおける特定の時間に関連する、「アノテーション」と呼ばれる、自動的に検出されたＥＣＧ形態学的特殊などのＥＣＧ処理済みデータ、
・例えば、心臓内のカテーテルによって訪問された三次元位置の、心臓内カテーテルナビゲーション記録、
・心臓内カテーテルシャフトの可視化（例えば、三次元幾何曲線として）、
・中間であろうと最終であろうと、アルゴリズム最適化、デバッギング、及び研究のための、カテーテル位置特定及び可視化アルゴリズム計算結果、
・例えば、患者テーブルの下に設置された低周波信号発生器によって生成される人工電磁場から生じる電磁信号に基づく位置特定、
・電流、例えば、体表面パッチとカテーテル電極との間で人工的に生成された合成マイクロに基づく位置特定、
・時間、持続時間、及び反復情報記録を含む、治療無線周波数アブレーション及びパルスフィールドアブレーション適用、
・適用された力、例えば、ＥＣＧを測定するために、又はアブレーションを実行するために、心臓の内側壁に対してカテーテルを押している間に医師によって適用された機械力の測定値の記録、
・医師によって開始されたペーシングイベントの記録。すなわち、潜在性不整脈を誘発するための、又は不整脈を根絶するためのアブレーション有効性を検証するための電気パルスの適用による心臓刺激、
・システムユーザインタフェースを用いてユーザによって実行されたアクションの記録を含む、ユーザアクションロガー、
・ユーザ超音波フレーム又は解剖学的マーカー、例えば、ユーザによってシステムにタイプされた短いテキストブックマークの記録、
・デバッギング又はシステム計算パフォーマンス監視目的のためにソフトウェア開発者によってプログラムされたコード実行トレースの記録を含む、ソフトウェア内部ロガー、
・事前定義されたシステムエラーの発生及び消失の記録、並びに医師又は臨床助手などのユーザに表示される警告、
・例えば、計算リソース消費に関連する、オペレーティングシステムイベントログ、
・オペレーティングシステム適用又はカーネルクラッシュイベント記録、
・カテーテルが超音波トランスデューサを装備しているシステムにおいて、ユーザによって手動で、又はソフトウェアによって自動的に適用される、超音波フレーム及び解剖学的マーカー（輪郭）の記録。
【0066】
ここで図３を参照すると、本開示のいくつかの例示的な実施形態による、医療システムをトラブルシューティングするための方法におけるステップのフロー図である。
【0067】
ステップ３０４において、対象に対して実行される動作中の医師又は臨床助手などの１人又は２人以上のユーザによる発話を表すオーディオを含むオーディオストリームが、コンピューティングデバイスによって受信され得る。オーディオストリームは、例えばマイクロフォンなどのオーディオキャプチャデバイスからリアルタイムで、又はストリームが、例えばファイルの形式で記憶デバイスに記憶された後に受信され得る。オーディオストリームは、ヘッドセット、イヤーポッドの形態であるか、室内のどこかに位置するか、又は医療システムに関連付けられたワークステーションに埋め込まれているかにかかわらず、マイクロフォンによってキャプチャされ得る。
【0068】
ステップ３０８において、１つ又は２つ以上のデータストリームは、動作に関連付けられた１つ又は２つ以上のソースから受信され得る。上記で詳述したように、データストリームは、１つ又は２つ以上のセンサから、受信データを処理した結果を含むコンピューティングプラットフォームから、コンピューティングプラットフォーム又はその周辺機器及び環境に関連付けられたイベントなどから受信され得る。
【0069】
ステップ３１２において、オーディオストリームは、分析され得る。いくつかの例示的な実施形態では、分析は、いくつかの前処理、例えば、雑音低減、無音又はトーン除去、異なる話者による発話への音声分離などを含み得る。前処理に続いて、１つ又は２つ以上のトラブルシューティングインジケータは、例えば、第１の時間窓中に生じるオーディオストリームにおいて検出され得る。いくつかのインジケータは、所定のリスト、例えば、問題、特に医療システムの機器に関する問題を示す単語のリストからの単語の出現を含み得る。単語は、オーディオストリームを完全に転記し、転記内の単語のリストを検索することによって、又は単語のリストに対して小語彙音声認識を適用することによって検出され得る。単語は、開始時間に、及び第１の時間窓中に最後に検出され得る。他のインジケータは、オーディオストリームの感情状態分析によって識別されるストレスの多い、怒った、又は同様の感情状態を含み得、これはまた、問題を示し得る。いくつかの実施例では、データストリームはまた、そのような単語について検索され得、単語が発見される時間が、示され得る。
【0070】
ステップ３１６において、オーディオセグメントは、オーディオストリームから選択され得、オーディオセグメントに時間的に対応する１つ又は２つ以上のデータセグメントは、データストリームのうちの１つ又は２つ以上から選択され得る。オーディオセグメント及びデータセグメントは、第１の時間窓上でそれぞれキャプチャされたオーディオ及びデータを含み得る。オーディオセグメント及びデータセグメントは、第１の時間窓に先行する第２の時間窓上でキャプチャされたオーディオ及びデータを更に含み得る。第２の時間窓は、第１の時間窓の直前にあり得る。第２の時間窓は、上記で詳述したように、動作の開始時に又は所定のイベントにおいて開始し得る。
【0071】
オーディオセグメント及びデータセグメントはまた、第１の時間窓に続く第３の時間窓上でそれぞれキャプチャされたオーディオ及びデータを含み得る。第３の時間窓は、第１の時間窓の直後に続き得る。第３の時間窓は、上記で詳述したように、動作の終了時に又は所定のイベントにおいて終了し得る。いくつかの実施形態では、ユーザは、トラブルシューティングのための情報を見つけることが予想される場所をユーザが示すように、第１、第２、又は第３の時間窓の境界のうちの１つ又は２つ以上を示し得る。
【0072】
ステップ３２０において、オーディオ及びデータセグメントは、適用可能な場合、オーディオにおいて言及された、又はデータストリームのいずれかにおいてコード化された対象の名前又はＩＤなど、動作の対象の全ての識別詳細を隠匿するために処理され得る。いくつかの実施形態では、性別又は年齢などの更なる詳細はまた、隠匿され得る。患者の話された名前は、オーディオセグメントに隠匿され得、印刷された名前、性別、年齢などのテキスト又はバイナリ識別詳細は、データセグメントから隠匿され得る。
【0073】
ステップ３２４において、オーディオセグメント及び少なくとも１つのデータセグメントは、出力され得る。セグメントは、１つ又は２つ以上のファイルとして記憶され、通信チャネルを介してストリームとして提供され、開発者などのユーザに通信チャネルを介して送信され得る。
【0074】
いくつかの実施形態では、カスタマイズされたソフトウェアは、オーディオストリームのセグメントを再生すること、キーボード、マウス、タッチスクリーン又は他のイベントなどのユーザアクションを再現すること、データストリームを可視化すること、例えば、イベントを示すこと、又はテキストデータを表示すること、グラフを表示することなどによって、開発者が状況を分析するのを支援し得る。
【0075】
問題がユーザによって示される前及び後に行われた、ユーザアクションを含む、フロー及びイベントの再生は、そうでなければ再現不可能と見なされ得るバグを再現する開発者の能力を増加させ得る。次いで、開発者は、状況をより良く分析し得、解決策を提供することができ得る。
【0076】
ここで図４を参照すると、本開示のいくつかの例示的な実施形態による、医療システムをトラブルシューティングするためのコンピューティングプラットフォーム４００のブロック図が示されている。
【0077】
コンピューティングプラットフォーム４００は、ワークステーション５５又はシステムの別のコンピューティングプラットフォーム内に埋め込まれ得るが、また独立型コンピューティングプラットフォームであり得、又は構内、若しくはリモートに他の場所に埋め込まれ得、ワークステーション５５と動作可能に通信し得ることが理解されよう。
【0078】
コンピューティングプラットフォーム４００は、互いに動作可能に接続され得る１つ又は２つ以上のコンピューティングプラットフォームとして実施され得る。例えば、１つ又は２つ以上のリモートコンピューティングプラットフォームは、例えばクラウドコンピュータ上に実施され得る。他のコンピューティングプラットフォームは、関連する組織のコンピュータネットワークの一部であってもよい。他の実施形態では、全ての機能は、全てが組織ネットワークの一部である１つ又は２つ以上のコンピューティングプラットフォームによって提供されてもよい。
【0079】
コンピューティングプラットフォーム４００は、１つ又は２つ以上の中央処理装置（central processing unit、ＣＰＵ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、電子回路、集積回路（Integrated Circuit、ＩＣ）などであり得る、同じコンピューティングプラットフォーム上に位置する、又は位置しない、１つ又は２つ以上のプロセッサ４０４を備え得る。プロセッサ４０４は、例えば、以下に詳述する記憶デバイス４１２に格納されたソフトウェアモジュールをメモリにロードし、及びアクティブ化することによって、必要とされる機能性を提供するように構成され得る。
【0080】
コンピューティングプラットフォーム４００は、マイクロフォン、ディスプレイ、キーボード、タッチスクリーン、マウス又は別のポインティングデバイス、スピーカなどの入出力（Input/output、Ｉ／Ｏ）デバイス４０６を備え得る。Ｉ／Ｏデバイス４０６は、システム開発者、システム管理者、医師、臨床助手などのユーザから入力を受信し、ユーザに出力を提供するために、又は、例えば、テキスト又はオーディオとして提供される検出されるべき単語を受信し、データストリームを表示し、オーディオストリームを再生するなどのために利用され得る。
【0081】
コンピューティングプラットフォーム４００は、他のデバイス又は他のコンピューティングプラットフォームと通信する、例えば、１つ又は２つ以上のセンサから情報を取得する、医療システムのコントローラから動作情報を取得する、リモート記憶デバイス上にデータを記憶するなどのための通信デバイス４０８を備え得る。通信モジュール４０８は、ローカルエリアネットワーク（Local Area Network、ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network、ＷＡＮ）、セルラーネットワークなどの任意の通信チャネルとインターフェースし、任意の関連する通信プロトコルを使用するように適合され得る。
【0082】
コンピューティングプラットフォーム４００は、ハードディスクドライブ、フラッシュディスク、ランダムアクセスメモリ（Random Access Memory、ＲＡＭ）、メモリチップなどの記憶デバイス４１２を備え得る。いくつかの例示的な実施形態では、記憶デバイス４１２は、以下に列挙されるモジュールのいずれかに関連付けられた動作、又は上記の図３の方法のステップをプロセッサ４０４に実行させるように動作可能なプログラムコードを保持し得る。プログラムコードは、以下に詳述する命令を実行するように適合された、関数、ライブラリ、独立型プログラムなどの１つ又は２つ以上の実行可能ユニットを含んでもよい。
【0083】
代替的又は追加的に、提供される命令は、磁気メモリ、光メモリ、又は電子メモリなどの非一時的な有形のコンピュータ可読媒体上に記憶されていてもよい。
【0084】
記憶デバイス４１２は、通信デバイス４０８を通して、制御システム、１つ又は２つ以上のセンサ、外部記憶デバイス、ディスプレイシステムなどの他のシステム又は構成要素との間でデータを送受信するための通信モジュール４１６を備え得る。特に、通信モジュール４１６は、電極に関連付けられたセンサからの測定値及び／又はそれぞれの電極の位置情報、その処理結果などを受信する際に動作可能であり得る。
【0085】
記憶デバイス４１２は、上記の図３のステップ３０４及び３０８に詳述されるように、ユーザの音声を含むオーディオストリームと、医療システム又はコンピューティングシステムに関連付けられたデータを含む１つ又は２つ以上のデータストリームとを受信するためのオーディオ及びデータ受信モジュール４２０を備え得る。
【0086】
記憶デバイス４１２は、上記の図３のステップ３１２に関連して詳述したように、所定の単語のリストから１つ又は２つ以上の単語を検出するための１つ又は２つ以上のオーディオ分析モジュール４２４を備え得る。オーディオ分析モジュール４２４はまた、オーディオストリーム内の問題を示すことができるストレスの多い又は他の感情状態を検出するための感情状態分析モジュールを備え得る。
【0087】
記憶デバイス４１２は、単語、感情状態、又は別のインジケータが検出されたセグメントに先行する時間窓を判定するための１つ又は２つ以上の時間窓判定モジュール４２８を備え得る。時間窓は、動作の開始又は別の所定のイベントまで戻り得る。時間窓判定モジュール４２８はまた、単語、感情状態、又は別のインジケータが検出されたセグメントの結果として生じる時間窓を判定する際に動作可能であり得る。時間窓は、動作の終了まで、又は別の所定のイベントまで進み得る。
【0088】
記憶デバイス４１２は、上記の図３のステップ３２０に関連して記載されたように、選択されたセグメント内の対象の識別詳細を隠匿するための患者詳細隠匿モジュール４３２を備え得る。
【0089】
記憶デバイス４１２は、上記の図３のステップ３２４に関連して記載されたように、第１の時間窓、第２の時間窓、及び第３の時間窓のオーディオ及びデータを含む判定されたオーディオセグメント及びデータセグメントを出力するためのセグメント出力モジュール４３６を備え得る。
【0090】
記憶デバイス４１２は、正しい順序で、及び必要とされる入力を用いて、上記のモジュールを起動するための、例えば、オーディオ及びデータストリームの受信に続く、インジケータが見つかった後の時間窓を判定するための、データ及び制御フロー管理モジュール４４０を備え得る。
【0091】
記憶デバイス４１２は、システム開発者、システム管理者、医師、臨床助手などのユーザから入力を受信し、ユーザに出力を提供するためのユーザインターフェース４４４を備え得る。ユーザインターフェース４４４は、例えば、テキスト又はオーディオとして提供され得る検出されるべき単語をユーザから受信し、データストリームを表示し、オーディオストリームを再生するなどし得る。
【0092】
記憶デバイス４１２は更に、受信されたオーディオ及びデータストリーム、第１の時間窓、第２の時間窓、及び第３の時間窓を含むオーディオ及びデータストリームの部分、検出された問題などを記憶する記憶空間を備えるか、又は記憶空間と動作可能に通信し得る。
【0093】
本発明は、システム、方法、及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含むことができる。
【0094】
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持及び記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又は前述の任意の好適な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（digital versatile disk、ＤＶＤ）、メモリスティック、フロッピーディスク、命令が記録されたパンチカード又は溝内の隆起構造などの機械的に符号化されたデバイス、及び上記の任意の適切な組み合わせを含む。本明細書で使用するコンピュータ可読記憶媒体とは、電波又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバーケーブルを通過する光パルス）、又は動線を通って伝送される電気信号などの、それ自体が一過性の信号であるものとして解釈されるべきではない。
【0095】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれの計算／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、及び／又は無線ネットワークを介して外部コンピュータ又は外部記憶デバイスに、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含むことができる。各コンピューティング／処理デバイスのネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために転送する。
【0096】
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は２つ以上のプログラミング言語、Ｊａｖａ、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎなどのプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、又は完全にリモートコンピュータ若しくはサーバ上で実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、又は（例えばインターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータ接続されてもよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、又はプログラマブルロジックアレイ（programmable logic array、ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することによって、コンピュータ可読プログラム命令を実行してもよい。
【0097】
本発明の態様は、本発明の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフロー図及び／又はブロック図を参照して本明細書に記載されている。フロー図及び／又はブロック図の各ブロック、並びにフロー図及び／又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装可能であることは理解されるであろう。
【0098】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理機器のプロセッサに提供されて、命令がコンピュータ又は他のプログラム可能データ処理機器のプロセッサを介して実行され、フロー図及び／又はブロック図のブロックで指定された機能／動作を実施するための手段を創出することができるように、機械を生成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラマブルデータ処理装置、及び／又は他のデバイスを特定の方法で機能させることができるコンピュータ可読記憶媒体に記憶されてもよく、その結果、命令が記憶されたコンピュータ可読記憶媒体は、フロー図及び／又はブロック図のブロックで指定された機能／作用の態様を実装する命令を含む製造物品を含む。
【0099】
このコンピュータ可読プログラムの命令をコンピュータ、他のプログラマブルデータ処理機器、又は他のデバイス上にロードして、一連の操作工程をそのコンピュータ、他のプログラマブル機器、又は他のデバイス上で実施させ、コンピュータ実施プロセスを生成させて、そのコンピュータ、他のプログラマブル機器、又は他のデバイス上で実行される命令が、フロー図及び／又はブロック図のブロックに定められている機能／動作を実施するようにしてもよい。
【0100】
図中のフロー図及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の考えられる実装形態の構造、機能性、及び動作を示すものである。この点に関して、フロー図又はブロック図における各ブロックは、示された論理機能を実施するための１つ又は２つ以上の実行可能な命令を含むモジュール、セグメント、又は命令の部分を表し得るものである。いくつかの代替的な実装形態において、ブロックに示される機能は、図に示される順序以外の順序で行われてもよい。例えば、連続して示す２つのブロックは、実際に、実質的に同時に実行されてもよく、あるいはそれらのブロックは、ときには、関連する機能性に応じて、逆の順序で実行されてもよい。また留意されたい点として、ブロック図及び／又はフロー図の各ブロック、並びにブロック図及び／又はフロー図のブロックの組み合わせは、特定の機能又は動作を実行する専用のハードウェアベースシステムによって実施されてもよく、あるいは、専用のハードウェアとコンピュータ命令との組み合わせを動作させること又は実行することもできる。
【実施例0101】
（実施例１）
方法であって、
医療システムを伴う動作中に、動作を実行するために医療システムを使用するユーザによる発話を含むオーディオストリームを取得することであって、動作は、対象に対して実行される、取得することと、
医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
オーディオストリーム内で問題に対するインジケータを検出することであって、インジケータは、少なくとも時間窓中に発生する、検出することと、
オーディオストリーム内のオーディオセグメントと少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、少なくとも１つのデータセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及び少なくとも１つのデータセグメントは、少なくとも時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
オーディオセグメント及び少なくとも１つのデータセグメントを出力することと、を含む、方法。
方法であって、
医療システムを伴う動作中に、動作を実行するために医療システムを使用するユーザによる発話を含むオーディオストリームを取得することであって、動作は、対象に対して実行される、取得することと、
医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
オーディオストリーム内で問題に対するインジケータを検出することであって、インジケータは、少なくとも時間窓中に発生する、検出することと、
オーディオストリーム内のオーディオセグメントと少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、少なくとも１つのデータセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及び少なくとも１つのデータセグメントは、少なくとも時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
オーディオセグメント及び少なくとも１つのデータセグメントを出力することと、を含む、方法。
【0102】
（実施例２）
問題に対するインジケータは、所定の単語のリストから選択された少なくとも１つの単語をオーディオストリーム内で認識することによって検出される、実施例１の方法。
問題に対するインジケータは、所定の単語のリストから選択された少なくとも１つの単語をオーディオストリーム内で認識することによって検出される、実施例１の方法。
【0103】
（実施例３）
問題に対するインジケータは、問題を示す感情状態をオーディオストリーム内で認識することによって検出される、実施例１の方法。
問題に対するインジケータは、問題を示す感情状態をオーディオストリーム内で認識することによって検出される、実施例１の方法。
【0104】
（実施例４）
オーディオセグメント及び少なくとも１つのデータセグメントは、それぞれ、時間窓に先行する第２の時間窓中にキャプチャされたオーディオ及びデータを含む、実施例１の方法。
オーディオセグメント及び少なくとも１つのデータセグメントは、それぞれ、時間窓に先行する第２の時間窓中にキャプチャされたオーディオ及びデータを含む、実施例１の方法。
【0105】
（実施例５）
第２の時間窓は、所定のイベントにおいて開始する、実施例４の方法。
第２の時間窓は、所定のイベントにおいて開始する、実施例４の方法。
【0106】
（実施例６）
第２の時間窓は、動作の開始時間に開始する、実施例４の方法。
第２の時間窓は、動作の開始時間に開始する、実施例４の方法。
【0107】
（実施例７）
オーディオセグメント及び少なくとも１つのデータセグメントは、それぞれ、時間窓に連続する第３の時間窓中にキャプチャされたオーディオ及びデータを含む、実施例１の方法。
オーディオセグメント及び少なくとも１つのデータセグメントは、それぞれ、時間窓に連続する第３の時間窓中にキャプチャされたオーディオ及びデータを含む、実施例１の方法。
【0108】
（実施例８）
第３の時間窓は、所定のイベントにおいて又は動作の終了時間に終了する、実施例７の方法。
第３の時間窓は、所定のイベントにおいて又は動作の終了時間に終了する、実施例７の方法。
【0109】
（実施例９）
オーディオセグメント及び少なくとも１つのデータセグメント内の対象又はユーザの識別詳細を隠匿することを更に含む、実施例１の方法。
オーディオセグメント及び少なくとも１つのデータセグメント内の対象又はユーザの識別詳細を隠匿することを更に含む、実施例１の方法。
【0110】
（実施例１０）
少なくとも１つのデータストリームは、ユーザによって実行されたアクションに関連するデータを含む、実施例１の方法。
少なくとも１つのデータストリームは、ユーザによって実行されたアクションに関連するデータを含む、実施例１の方法。
【0111】
（実施例１１）
ユーザによって実行されたアクションは、ユーザインターフェース起動アクションを含む、実施例１０の方法。
ユーザによって実行されたアクションは、ユーザインターフェース起動アクションを含む、実施例１０の方法。
【0112】
（実施例１２）
少なくとも１つのデータストリームは、システムによって取られたアクションに関連するデータを含む、実施例１の方法。
少なくとも１つのデータストリームは、システムによって取られたアクションに関連するデータを含む、実施例１の方法。
【0113】
（実施例１３）
アクションは、ユーザアクションに応答してシステムによって取られる、実施例１２の方法。
アクションは、ユーザアクションに応答してシステムによって取られる、実施例１２の方法。
【0114】
（実施例１４）
少なくとも１つのデータストリームは、システムによって取られた測定値に関連するデータを含む、実施例１３の方法。
少なくとも１つのデータストリームは、システムによって取られた測定値に関連するデータを含む、実施例１３の方法。
【0115】
（実施例１５）
システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施例１の方法。
システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施例１の方法。
【0116】
（実施例１６）
少なくとも１つのデータストリームは、心電図（ＥＣＧ）電極から収集された生のＥＣＧデジタルサンプル記録と、ＥＣＧ処理済みデータと、心臓内カテーテルナビゲーション記録と、心臓内カテーテルシャフト可視化と、カテーテル位置特定及び可視化アルゴリズム計算結果と、電磁信号に基づく位置特定と、電流に基づく位置特定と、持続時間又は反復情報記録を含む、治療無線周波数アブレーション又はパルスフィールドアブレーション適用と、適用された力の測定値の記録と、ユーザインターフェースモジュールを用いてユーザによって実行されたアクションの記録を含む、ユーザアクションログと、キーボード、マウス、又はタッチスクリーンアクションと、超音波フレーム又は解剖学的マーカーと、からなる群から選択される少なくとも１つのタイプのデータを含む、実施例１の方法。
少なくとも１つのデータストリームは、心電図（ＥＣＧ）電極から収集された生のＥＣＧデジタルサンプル記録と、ＥＣＧ処理済みデータと、心臓内カテーテルナビゲーション記録と、心臓内カテーテルシャフト可視化と、カテーテル位置特定及び可視化アルゴリズム計算結果と、電磁信号に基づく位置特定と、電流に基づく位置特定と、持続時間又は反復情報記録を含む、治療無線周波数アブレーション又はパルスフィールドアブレーション適用と、適用された力の測定値の記録と、ユーザインターフェースモジュールを用いてユーザによって実行されたアクションの記録を含む、ユーザアクションログと、キーボード、マウス、又はタッチスクリーンアクションと、超音波フレーム又は解剖学的マーカーと、からなる群から選択される少なくとも１つのタイプのデータを含む、実施例１の方法。
【0117】
（実施例１７）
システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施例１の方法。
システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施例１の方法。
【0118】
（実施例１８）
動作は、水晶体超音波乳化吸引動作である、実施例１の方法。
動作は、水晶体超音波乳化吸引動作である、実施例１の方法。
【0119】
（実施例１９）
メモリユニットに結合されたプロセッサを有するコンピュータ化された装置であって、プロセッサは、医療システムを伴う動作中に、医療システムのユーザによる発話を含むオーディオストリームを取得するステップであって、動作は、対象に対して実行される、ステップと、医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得するステップと、オーディオストリーム内で問題に対するインジケータを検出するステップであって、インジケータは、少なくとも第１の時間窓中に発生する、ステップと、オーディオストリーム内のオーディオセグメントと少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択するステップであって、少なくとも１つのデータセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及び少なくとも１つのデータセグメントは、少なくとも時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、ステップと、オーディオセグメント及び少なくとも１つのデータセグメントを出力するステップと、を実行するように適合されている、コンピュータ化された装置。
メモリユニットに結合されたプロセッサを有するコンピュータ化された装置であって、プロセッサは、医療システムを伴う動作中に、医療システムのユーザによる発話を含むオーディオストリームを取得するステップであって、動作は、対象に対して実行される、ステップと、医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得するステップと、オーディオストリーム内で問題に対するインジケータを検出するステップであって、インジケータは、少なくとも第１の時間窓中に発生する、ステップと、オーディオストリーム内のオーディオセグメントと少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択するステップであって、少なくとも１つのデータセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及び少なくとも１つのデータセグメントは、少なくとも時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、ステップと、オーディオセグメント及び少なくとも１つのデータセグメントを出力するステップと、を実行するように適合されている、コンピュータ化された装置。
【0120】
（実施例２０）
プログラム命令を保持する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品であって、命令は、プロセッサによって読み取られると、プロセッサに、医療システムを伴う動作中に、医療システムのユーザによる発話を含むオーディオストリームを取得することであって、動作は、対象に対して実行される、取得することと、医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、オーディオストリーム内で問題に対するインジケータを検出することであって、インジケータは、少なくとも第１の時間窓中に発生する、検出することと、オーディオストリーム内のオーディオセグメントと少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、少なくとも１つのデータセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及び少なくとも１つのデータセグメントは、少なくとも時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、オーディオセグメント及び少なくとも１つのデータセグメントを出力することと、を実行させる、コンピュータプログラム製品。
プログラム命令を保持する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品であって、命令は、プロセッサによって読み取られると、プロセッサに、医療システムを伴う動作中に、医療システムのユーザによる発話を含むオーディオストリームを取得することであって、動作は、対象に対して実行される、取得することと、医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、オーディオストリーム内で問題に対するインジケータを検出することであって、インジケータは、少なくとも第１の時間窓中に発生する、検出することと、オーディオストリーム内のオーディオセグメントと少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、少なくとも１つのデータセグメントは、オーディオセグメントに時間的に対応し、オーディオセグメント及び少なくとも１つのデータセグメントは、少なくとも時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、オーディオセグメント及び少なくとも１つのデータセグメントを出力することと、を実行させる、コンピュータプログラム製品。
【0121】
本明細書に記載の実施例は、主に心臓診断用途に対処するものであるが、本明細書に記載の方法及びシステムは、他の医療用途にも使用することができる。
【0122】
上に記載される実施例は例として挙げたものであり、本開示は本明細書の上記で特に図示及び記載されるものに限定されない点が理解されよう。むしろ、本開示の範囲は、本明細書の上記した様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の記載を読むと当業者に着想されるであろう、先行技術に開示されていないその変形及び修正を含む。
【0123】
〔実施の態様〕
（１） 方法であって、
医療システムを伴う動作中に、前記動作を実行するために前記医療システムを使用するユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を含む、方法。
（２） 前記問題に対する前記インジケータは、所定の単語のリストから選択された少なくとも１つの単語を前記オーディオストリーム内で認識することによって検出される、実施態様１に記載の方法。
（３） 前記問題に対する前記インジケータは、問題を示す感情状態を前記オーディオストリーム内で認識することによって検出される、実施態様１に記載の方法。
（４） 前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、それぞれ、前記時間窓に先行する第２の時間窓中にキャプチャされたオーディオ及びデータを含む、実施態様１に記載の方法。
（５） 前記第２の時間窓は、所定のイベントにおいて開始する、実施態様４に記載の方法。
（１） 方法であって、
医療システムを伴う動作中に、前記動作を実行するために前記医療システムを使用するユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を含む、方法。
（２） 前記問題に対する前記インジケータは、所定の単語のリストから選択された少なくとも１つの単語を前記オーディオストリーム内で認識することによって検出される、実施態様１に記載の方法。
（３） 前記問題に対する前記インジケータは、問題を示す感情状態を前記オーディオストリーム内で認識することによって検出される、実施態様１に記載の方法。
（４） 前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、それぞれ、前記時間窓に先行する第２の時間窓中にキャプチャされたオーディオ及びデータを含む、実施態様１に記載の方法。
（５） 前記第２の時間窓は、所定のイベントにおいて開始する、実施態様４に記載の方法。
【0124】
（６） 前記第２の時間窓は、前記動作の開始時間に開始する、実施態様４に記載の方法。
（７） 前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、それぞれ、前記時間窓に連続する第３の時間窓中にキャプチャされたオーディオ及びデータを含む、実施態様１に記載の方法。
（８） 前記第３の時間窓は、所定のイベントにおいて又は前記動作の終了時間に終了する、実施態様７に記載の方法。
（９） 前記オーディオセグメント及び前記少なくとも１つのデータセグメント内の前記対象又は前記ユーザの識別詳細を隠匿することを更に含む、実施態様１に記載の方法。
（１０） 前記少なくとも１つのデータストリームは、前記ユーザによって実行されたアクションに関連するデータを含む、実施態様１に記載の方法。
（７） 前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、それぞれ、前記時間窓に連続する第３の時間窓中にキャプチャされたオーディオ及びデータを含む、実施態様１に記載の方法。
（８） 前記第３の時間窓は、所定のイベントにおいて又は前記動作の終了時間に終了する、実施態様７に記載の方法。
（９） 前記オーディオセグメント及び前記少なくとも１つのデータセグメント内の前記対象又は前記ユーザの識別詳細を隠匿することを更に含む、実施態様１に記載の方法。
（１０） 前記少なくとも１つのデータストリームは、前記ユーザによって実行されたアクションに関連するデータを含む、実施態様１に記載の方法。
【0125】
（１１） 前記ユーザによって実行された前記アクションは、ユーザインターフェース起動アクションを含む、実施態様１０に記載の方法。
（１２） 前記少なくとも１つのデータストリームは、前記システムによって取られたアクションに関連するデータを含む、実施態様１に記載の方法。
（１３） 前記アクションは、ユーザアクションに応答して前記システムによって取られる、実施態様１２に記載の方法。
（１４） 前記少なくとも１つのデータストリームは、前記システムによって取られた測定値に関連するデータを含む、実施態様１３に記載の方法。
（１５） 前記システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施態様１に記載の方法。
（１２） 前記少なくとも１つのデータストリームは、前記システムによって取られたアクションに関連するデータを含む、実施態様１に記載の方法。
（１３） 前記アクションは、ユーザアクションに応答して前記システムによって取られる、実施態様１２に記載の方法。
（１４） 前記少なくとも１つのデータストリームは、前記システムによって取られた測定値に関連するデータを含む、実施態様１３に記載の方法。
（１５） 前記システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施態様１に記載の方法。
【0126】
（１６） 前記少なくとも１つのデータストリームは、心電図（ＥＣＧ）電極から収集された生のＥＣＧデジタルサンプル記録と、ＥＣＧ処理済みデータと、心臓内カテーテルナビゲーション記録と、心臓内カテーテルシャフト可視化と、カテーテル位置特定及び可視化アルゴリズム計算結果と、電磁信号に基づく位置特定と、電流に基づく位置特定と、持続時間又は反復情報記録を含む、治療無線周波数アブレーション又はパルスフィールドアブレーション適用と、適用された力の測定値の記録と、ユーザインターフェースモジュールを用いて前記ユーザによって実行されたアクションの記録を含むユーザアクションログと、キーボード、マウス、又はタッチスクリーンアクションと、超音波フレーム又は解剖学的マーカーと、からなる群から選択される少なくとも１つのタイプのデータを含む、実施態様１に記載の方法。
（１７） 前記システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施態様１に記載の方法。
（１８） 前記動作は、水晶体超音波乳化吸引動作である、実施態様１に記載の方法。
（１９） メモリユニットに結合されたプロセッサを有するコンピュータ化された装置であって、前記プロセッサは、
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得するステップであって、前記動作は、対象に対して実行される、ステップと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得するステップと、
前記オーディオストリーム内で問題に対するインジケータを検出するステップであって、前記インジケータは、少なくとも第１の時間窓中に発生する、ステップと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択するステップであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、ステップと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力するステップと、を実行するように適合されている、コンピュータ化された装置。
（２０） プログラム命令を保持する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品であって、前記命令は、プロセッサによって読み取られると、前記プロセッサに、
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも第１の時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を実行させる、コンピュータプログラム製品。
（１７） 前記システムは、電気生理学的（ＥＰ）マッピング及びアブレーションシステムである、実施態様１に記載の方法。
（１８） 前記動作は、水晶体超音波乳化吸引動作である、実施態様１に記載の方法。
（１９） メモリユニットに結合されたプロセッサを有するコンピュータ化された装置であって、前記プロセッサは、
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得するステップであって、前記動作は、対象に対して実行される、ステップと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得するステップと、
前記オーディオストリーム内で問題に対するインジケータを検出するステップであって、前記インジケータは、少なくとも第１の時間窓中に発生する、ステップと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択するステップであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、ステップと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力するステップと、を実行するように適合されている、コンピュータ化された装置。
（２０） プログラム命令を保持する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品であって、前記命令は、プロセッサによって読み取られると、前記プロセッサに、
医療システムを伴う動作中に、前記医療システムのユーザによる発話を含むオーディオストリームを取得することであって、前記動作は、対象に対して実行される、取得することと、
前記医療システムに関連付けられた機器から少なくとも１つのデータストリームを取得することと、
前記オーディオストリーム内で問題に対するインジケータを検出することであって、前記インジケータは、少なくとも第１の時間窓中に発生する、検出することと、
前記オーディオストリーム内のオーディオセグメントと前記少なくとも１つのデータストリームのうちの各データストリームにおける少なくとも１つのデータセグメントとを選択することであって、前記少なくとも１つのデータセグメントは、前記オーディオセグメントに時間的に対応し、前記オーディオセグメント及び前記少なくとも１つのデータセグメントは、少なくとも前記時間窓中にそれぞれキャプチャされたオーディオ及びデータを含む、選択することと、
前記オーディオセグメント及び前記少なくとも１つのデータセグメントを出力することと、を実行させる、コンピュータプログラム製品。
【図1】
【図2】
【図3】
【図4】
【外国語明細書】