IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジーイー・プレシジョン・ヘルスケア・エルエルシーの特許一覧

特許7487064デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法
<>
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図1
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図2
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図3
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図4
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図5
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図6
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図7
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図8
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図9
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図10
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図11
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図12
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図13
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図14
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図15
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図16
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図17
  • 特許-デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-10
(45)【発行日】2024-05-20
(54)【発明の名称】デジタルアシスタントを使用して医療装置を設定し、プログラムし、パーソナライズするためのシステムおよび方法
(51)【国際特許分類】
   A61B 90/00 20160101AFI20240513BHJP
   G06F 16/90 20190101ALI20240513BHJP
【FI】
A61B90/00
G06F16/90 100
【請求項の数】 16
【外国語出願】
(21)【出願番号】P 2020168969
(22)【出願日】2020-10-06
(65)【公開番号】P2021074528
(43)【公開日】2021-05-20
【審査請求日】2021-03-17
【審判番号】
【審判請求日】2023-01-26
(31)【優先権主張番号】16/596,313
(32)【優先日】2019-10-08
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】319011672
【氏名又は名称】ジーイー・プレシジョン・ヘルスケア・エルエルシー
(74)【代理人】
【識別番号】100105588
【弁理士】
【氏名又は名称】小倉 博
(74)【代理人】
【識別番号】100151286
【弁理士】
【氏名又は名称】澤木 亮一
(72)【発明者】
【氏名】アドリアン・エフ・ワーナー
(72)【発明者】
【氏名】ダン・アール・シュナイデウェンド
(72)【発明者】
【氏名】ニコラス・ピー・ネキック
(72)【発明者】
【氏名】ダニエル・ピー・マビニ
【合議体】
【審判長】佐々木 一浩
【審判官】安井 寿儀
【審判官】井上 哲男
(56)【参考文献】
【文献】米国特許出願公開第2018/0144465(US,A1)
【文献】特表2008-508616(JP,A)
【文献】米国特許出願公開第2018/0330818(US,A1)
【文献】米国特許出願公開第2019/0087544(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 90/00
H16H 40/00- 40/60
H16H 50/00
G06N 3/02
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
命令を含んでいるメモリと、
少なくとも1つのプロセッサ(580)と
を備えており、前記少なくとも1つのプロセッサ(580)は、少なくとも
医療機器(120)デジタルモデルを形成し、
前記モデルを、タスクを実行するための前記医療機器(120)の設定へと変換し、
ユーザデバイスまたは前記医療機器からの入力に基づいて前記設定を調整し、
前記設定を前記医療機器(120)へと提供し、
前記医療機器(120)による前記タスクの実行を監視し、
前記監視した実行に基づいて、前記医療機器(120)の設定を調整する、
ために前記命令を実行し、
前記モデルが前記医療機器のデジタルツインに含まれ、前記デジタルツインが前記医療機器のデジタルモデルを表し、前記医療機器が複数の種類の医療機器を含み、複数のデジタルツインは複数の医療機器のデジタルモデルを表し、
前記命令は、実行時に、前記少なくとも1つのプロセッサ(580)に、州および国のうちの少なくとも1つを含む場所に基づいて前記モデルに含まれる情報を調整させる、デジタルアシスタント装置(110)。
【請求項2】
前記モデルは、前記デジタルツイン(230)へのプラグイン(570、572)として提供される、請求項1に記載の装置(110)。
【請求項3】
前記入力は、場所、ユーザ、患者、または前記医療機器(120)のバージョンのうちの少なくとも1つを含む、請求項1に記載の装置(110)。
【請求項4】
前記装置は、前記医療機器をモデル化し、バージョン間および/またはベンダー間の差異を識別し、プロトコル、プラン、ならびに/あるいは機器設定に関するユーザプリファレンスおよび情報に基づいて、モデルを或るバージョン/ベンダーから別のバージョン/ベンダーへと変換する、請求項1に記載の装置(110)。
【請求項5】
前記モデルは、人工知能モデルである、請求項1に記載の装置(110)。
【請求項6】
前記場所は、病院よび病棟/診療科うちの少なくとも1つを更に含む、請求項1に記載の装置(110)。
【請求項7】
前記命令は、実行時に、前記少なくとも1つのプロセッサ(580)に、グラフィカルユーザインターフェースを介した対話的表示および承認のために前記設定を提供させる、請求項1に記載の装置(110)。
【請求項8】
前記グラフィカルユーザインターフェースを介したフィードバックは、前記設定を調整するための前記入力を形成する、請求項に記載の装置(110)。
【請求項9】
命令を含んでいる少なくとも1つの有形のコンピュータ可読記憶媒体であって、前記命令は、実行時に、少なくとも1つのプロセッサ(580)に、少なくとも
医療機器(120)デジタルモデルを形成すること、
前記モデルを、タスクを実行するための前記医療機器(120)の設定へと変換すること、
ユーザデバイスまたは前記医療機器からの入力に基づいて前記設定を調整すること、
前記設定を前記医療機器(120)へと提供すること、
前記医療機器(120)による前記タスクの実行を監視すること、および
前記監視した実行に基づいて、前記医療機器(120)の設定を調整すること、
を実行させ、
前記モデルが前記医療機器のデジタルツインに含まれ、前記デジタルツインが前記医療機器のデジタルモデルを表し、前記医療機器が複数の種類の医療機器を含み、複数のデジタルツインは複数の医療機器のデジタルモデルを表し、
前記命令は、実行時に、前記少なくとも1つのプロセッサ(580)に、州および国のうちの少なくとも1つを含む場所に基づいて前記モデルに含まれる情報を調整させる、少なくとも1つの有形のコンピュータ可読記憶媒体。
【請求項10】
前記モデルは、前記デジタルツイン(230)へのプラグイン(570、572)として提供される、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
【請求項11】
前記入力は、場所、ユーザ、患者、または前記医療機器(120)のバージョンのうちの少なくとも1つを含む、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
【請求項12】
前記命令は、少なくとも1つのプロセッサ(580)に、前記医療機器をモデル化すること、バージョン間および/またはベンダー間の差異を識別すること、プロトコル、プラン、ならびに/あるいは機器設定に関するユーザプリファレンスおよび情報に基づいて、モデルを或るバージョン/ベンダーから別のバージョン/ベンダーへと変換することを実行させる、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
【請求項13】
前記モデルは、人工知能モデルである、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
【請求項14】
前記場所は、病院よび病棟/診療科うちの少なくとも1つを更に含む、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
【請求項15】
前記命令は、実行時に、前記少なくとも1つのプロセッサ(580)に、グラフィカルユーザインターフェースを介した対話的表示および承認のために前記設定を提供することを実行させる、請求項に記載の少なくとも1つのコンピュータ可読記憶媒体。
【請求項16】
少なくとも1つのプロセッサを含むデジタルアシスタント(110)を使用して医療機器(120)を設定するためのコンピュータによって実現される方法であって、
前記少なくとも1つのプロセッサによって、医療機器(120)デジタルモデルを形成するステップと、
前記少なくとも1つのプロセッサによって、前記モデルを、タスクを実行するための前記医療機器(120)の設定へと変換するステップと、
前記少なくとも1つのプロセッサによって、ユーザデバイスまたは前記医療機器からの入力に基づいて前記設定を調整するステップと、
前記少なくとも1つのプロセッサによって、前記設定を前記医療機器(120)へと提供するステップと、
前記少なくとも1つのプロセッサによって、前記医療機器(120)による前記タスクの実行を監視するステップと、
前記少なくとも1つのプロセッサによって、前記監視した実行に基づいて、前記医療機器(120)の設定を調整するステップと、
を含み、
前記モデルが前記医療機器のデジタルツインに含まれ、前記デジタルツインが前記医療機器のデジタルモデルを表し、前記医療機器が複数の種類の医療機器を含み、複数のデジタルツインは複数の医療機器のデジタルモデルを表し、
前記モデルに含まれる情報は、州および国のうちの少なくとも1つを含む場所に基づいて調整される、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、広くには、医療機器の設定に関し、より詳細には、デジタルアシスタントを使用して医療機器を設定し、プログラムし、パーソナライズするための装置、システム、および方法に関する。
【背景技術】
【0002】
この箇所における記述は、あくまでも本開示に関連する背景情報を提供するにすぎず、必ずしも先行技術を構成しない。
【0003】
臨床環境またはヘルスケア環境は、撮像システム、データストレージシステム、およびヘルスケア環境において使用される他の機器の整理および使いやすさの向上から恩恵を受けると考えられる込み入った要求の厳しい環境である。病院またはクリニックなどのヘルスケア環境は、多数の専門家、患者、機器、およびコンピュータ化された情報システムを包含する。ヘルスケア施設の職員は、複数の患者、システム、およびタスクを管理して、患者に質の高いサービスを提供する必要がある。ヘルスケア職員が、ワークフローにおいて多くの困難または障害に遭遇する可能性がある。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第9,585,562号明細書
【発明の概要】
【0005】
デジタルアシスタントを使用して医療機器を設定および制御するためのシステム、装置、命令、および方法が開示される。
【0006】
特定の例は、命令を含んでいるメモリと、少なくとも1つのプロセッサとを含むデジタルアシスタント装置を提供する。典型的な少なくとも1つのプロセッサは、少なくとも医療機器の少なくとも1つの態様のデジタルモデルを形成し、モデルをタスクの実行のための医療機器の設定へと変換し、入力を処理して設定を調整し、設定を医療機器へと提供し、医療機器によるタスクの実行を監視し、監視した実行に基づいて医療機器の設定を調整するために、命令を実行する。
【0007】
特定の例は、命令を含んでいる少なくとも1つの有形のコンピュータ可読記憶媒体を提供し、命令は、実行時に、少なくとも1つのプロセッサに、少なくとも医療機器の少なくとも1つの態様のデジタルモデルを形成すること、モデルをタスクの実行のための医療機器の設定へと変換すること、入力を処理して設定を調整すること、設定を医療機器へと提供すること、医療機器によるタスクの実行を監視すること、および監視した実行に基づいて医療機器の設定を調整することを実行させる。
【0008】
特定の例は、デジタルアシスタントを使用して医療機器を設定するためのコンピュータによって実現される方法を提供する。典型的な方法は、医療機器の少なくとも1つの態様のデジタルモデルを形成することを含む。典型的な方法は、モデルをタスクの実行のための医療機器の設定に変換することを含む。典型的な方法は、入力を処理して設定を調整することを含む。典型的な方法は、設定を医療機器に提供することを含む。典型的な方法は、医療機器によるタスクの実行を監視することを含む。典型的な方法は、監視された実行に基づいて医療機器の設定を調整することを含む。
【図面の簡単な説明】
【0009】
図1】デジタルアシスタントおよび医療機器を含む典型的な装置のブロック図である。
図2】医療機器と医療機器のデジタルツインとの間の典型的な関係を示している。
図3】複数のモデルを含む典型的なデジタルツインを示している。
図4】複数の特定プラグインを備えた一般スキルプラグインを含む典型的なプラグイン階層を示している。
図5】医療機器と通信する図1のデジタルアシスタントと、ユーザインターフェースと、スケジューリング/サポートシステムとを含む典型的なシステムである。
図6図1の装置の別の実装を示しており、この実装においては、デジタルアシスタントの少なくとも一部が、デジタルアシスタントとは別個であるが、デジタルアシスタントによってアクセス可能なクラウドサブシステムに位置している。
図7図5のプロセッサの典型的な実装のブロック図である。
図8】デジタルアシスタントと医療機器との間の典型的なデータフローのデータフロー図である。
図9】デジタルアシスタントと医療機器との間の典型的なデータフローのデータフロー図である。
図10】デジタルアシスタントと医療機器との間の典型的なデータフローのデータフロー図である。
図11図1図7の典型的な装置を使用して医療機器、ユーザデバイス、などと対話し、医療機器、ユーザデバイス、などから学習し、医療機器、ユーザデバイス、などを設定する典型的な方法のフロー図である。
図12図1図7の典型的な装置を使用して医療機器、ユーザデバイス、などと対話し、医療機器、ユーザデバイス、などから学習し、医療機器、ユーザデバイス、などを設定する典型的な方法のフロー図である。
図13図1図7の典型的な装置を使用して医療機器、ユーザデバイス、などと対話し、医療機器、ユーザデバイス、などから学習し、医療機器、ユーザデバイス、などを設定する典型的な方法のフロー図である。
図14図1図7の典型的な装置を使用して医療機器、ユーザデバイス、などと対話し、医療機器、ユーザデバイス、などから学習し、医療機器、ユーザデバイス、などを設定する典型的な方法のフロー図である。
図15図1図7の典型的な装置を使用して医療機器、ユーザデバイス、などと対話し、医療機器、ユーザデバイス、などから学習し、医療機器、ユーザデバイス、などを設定する典型的な方法のフロー図である。
図16図1図7のデジタルアシスタントとの対話を容易にするインターフェースを備えた典型的なユーザデバイスを示している。
図17図1図7のデジタルアシスタントとの対話を容易にするインターフェースを備えた典型的なユーザデバイスを示している。
図18】本明細書で開示および説明される典型的なシステムおよび方法を実現するための命令を実行することができる典型的なプロセッサプラットフォームのブロック図である。
【発明を実施するための形態】
【0010】
以下の詳細な説明において、本明細書の一部を形成する添付の図面を参照するが、図面には、実施され得る具体的な例が例示として示されている。これらの例は、本主題の実施を当業者にとって可能にするように充分に詳細に説明されているが、他の例も利用可能であり、本開示の主題の範囲から逸脱することなく論理的、機械的、電気的、および他の変更が可能であることを理解すべきである。したがって、以下の詳細な説明は、典型的な実施態様を説明するために提示されており、本開示に記載される主題の範囲を限定するものと解釈されるべきではない。以下の説明の異なる態様からの特定の特徴を組み合わせて、以下で説明する主題のさらに新たな態様を形成することが可能である。
【0011】
本開示の種々の実施形態の要素を紹介する場合に、冠詞「1つの(a)」、「1つの(an)」、および「前記(the)」は、その要素が1つ以上存在することを意味するように意図される。「第1の」、「第2の」、などの用語は、何らかの順序、量、または重要性を示すものではなく、むしろ或る要素を別の要素から区別するために使用される。「備える(comprising)」、「含む(including)」、および「有する(having)」という用語は、包括的であることを意図し、列挙された要素以外のさらなる要素が存在してもよいことを意味する。本明細書において「接続される」、「結合する」、などの用語が使用されるとき、或るオブジェクト(例えば、材料、要素、構造物、部材、など)を別のオブジェクトに接続し、あるいは結合させることが、或るオブジェクトと別のオブジェクトとの接続または結合が直接的であるか、あるいは或るオブジェクトと他のオブジェクトとの間に1つ以上の介在のオブジェクトが存在するかにかかわらず、可能である。
【0012】
本明細書において使用されるとき、「システム」、「ユニット」、「モジュール」、「エンジン」、などという用語は、1つ以上の機能を実行するよう動作するハードウェアおよび/またはソフトウェアシステムを含むことができる。例えば、モジュール、ユニット、またはシステムは、コンピュータメモリなどの有形の非一時的なコンピュータ可読記憶媒体に格納された命令に基づいて動作を実行するコンピュータプロセッサ、コントローラ、および/または他の論理ベースのデバイスを含むことができる。あるいは、モジュール、ユニット、エンジン、またはシステムは、デバイスの配線によるロジックに基づいて動作を実行する配線によるデバイスを含むことができる。添付の図面に示される種々のモジュール、ユニット、エンジン、および/またはシステムは、ソフトウェアまたは配線による命令に基づいて動作するハードウェア、動作を実行するようにハードウェアを導くソフトウェア、あるいはそれらの組み合わせを表すことができる。
【0013】
本明細書において使用されるとき、単数形での言及(例えば、「a」、「an」、「第1の」、「第2の」、など)は、複数であることを除外しない。本明細書において使用されるとき、「或る(a)」または「或る(an)」エンティティという用語は、そのエンティティが1つ以上であることを指す。「a」(または、「an」)、「1つ以上」、および「少なくとも1つ」という用語は、本明細書において互換的に使用することができる。さらに、個別に挙げられた複数の手段、要素、または方法のアクションは、例えば、単一のユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が別々の例または請求項に含まれているかもしれないが、これらを、おそらくは、組み合わせることが可能であり、別々の例または請求項に含まれているとしても、特徴の組み合わせが実現不可能および/または不利であるという意味ではない。
【0014】
「および/または」という用語は、例えば、A、B、および/またはCなどの形態で使用される場合、(1)Aのみ、(2)Bのみ、(3)Cのみ、(4)AとB、(5)AとC、(6)BとC、および(7)AとBとCなど、A、B、Cの任意の組み合わせまたは部分集合を指す。本明細書において、構造、構成要素、アイテム、オブジェクト、および/または事物を説明する文脈において使用される場合、「AおよびBのうちの少なくとも1つ」という句は、(1)少なくとも1つのA、(2)少なくとも1つのB、ならびに(3)少なくとも1つのAおよび少なくとも1つのBのいずれかを含む実施態様を指すように意図される。同様に、本明細書において、構造、構成要素、アイテム、オブジェクト、および/または事物を説明する文脈において使用される場合、「AまたはBのうちの少なくとも1つ」という句は、(1)少なくとも1つのA、(2)少なくとも1つのB、ならびに(3)少なくとも1つのAおよび少なくとも1つのBのいずれかを含む実施態様を指すように意図される。本明細書において、プロセス、命令、アクション、活動、および/またはステップの実施または実行を説明する文脈において使用される場合、「AおよびBのうちの少なくとも1つ」という句は、(1)少なくとも1つのA、(2)少なくとも1つのB、ならびに(3)少なくとも1つのAおよび少なくとも1つのBのいずれかを含む実施態様を指すように意図される。同様に、本明細書において、プロセス、命令、アクション、活動、および/またはステップの実施または実行を説明する文脈において使用される場合、「AまたはBのうちの少なくとも1つ」という句は、(1)少なくとも1つのA、(2)少なくとも1つのB、ならびに(3)少なくとも1つのAおよび少なくとも1つのBのいずれかを含む実施態様を指すように意図される。
【0015】
さらに、本開示の「一実施形態」、「実施形態」、「例」、「一例」、「いくつかの例」、「特定の例」、などへの言及が、そこで述べられる特徴をやはり備えるさらなる実施形態/例の存在を除外すると解釈されるようには意図されていないことを、理解すべきである。
【0016】
本明細書で開示および説明される態様は、デジタルアシスタントの動作および/または構造を、カテーテル検査室機器(例えば、血流力学の記録器具、電気生理学の記録器具、マッピング器具、など)、撮像装置(例えば、X線、磁気共鳴(MR)、コンピュータ断層撮影(CT)、超音波、など)、他の医療装置、などの医療機器と統合するためのシステムおよび関連の方法を提供する。特定の例は、臨床医のプリファレンス、使用理由、スケジュール/今後の予定、患者、環境、などに基づいてデジタルアシスタントによって調整された医療機器の設定およびカスタマイズを容易にする。デジタルアシスタントを使用して、医療機器を1つ以上の規定された限界ならびに/あるいは環境的/状況的限界に適合するように調整することができ、例えば使用される機器の限界を伝えるためのユーザ(例えば、医師、他のヘルスケア実行者、など)との対話を容易にすることができる。1つ以上のセッティングを、医療製品を例えば同等の競合製品の最も近い近似にセットできるように、デジタルアシスタントによって機器の種類をまたいで調整することができる。セッティングを、例えばユーザによる最終的な承認に応じて、より良い品質の信号記録、画像キャプチャ、などを達成するために、デジタルアシスタントによって提案することも可能である。
【0017】
したがって、特定の例は、画像のキャプチャ、特定の種類の信号の表示、などの目的または機能を達成するために、マシンセッティングの知識を維持するための機械学習、ディープラーニング、および/または他の人工知能(AI)構築物/デジタルツインを提供する。特定の例は、医療装置/機器の機能を或るベンダー設定から別のベンダー設定へと変換する。特定の例は、医療装置/機器の機能を或るバージョンおよび/またはモデルから別のバージョンおよび/またはモデルへと変換する。特定の例は、言葉によるクエリ、自動化されたマシン識別、などが可能なデジタルアシスタントを通じて専門知識を提供することによって、或る種類の機器に関する専門知識を可能にし、かつ/または転送する。デジタルアシスタントの使用は、エキスパートユーザからの大量の知識をプールし、この知識を、医師、管理者、他のユーザ、などの指示において、手順の種類などに基づいて、マシンごとに利用できるようにすることによって、新規ユーザまたは未熟なユーザの急峻な学習曲線を軽減することができる。
【0018】
特定の例は、デジタルアシスタントに登録されているユーザアカウントに関連するマシンセッティングのキャプチャを可能にする。特定の例は、このようなセッティングを、ユーザが定義した一連の状況下で機器と一緒に使用したときに、ユーザ固有の個人プロファイルの一部とすることを可能にする。特定の例は、デジタルアシスタントが保持するセッティングを、ユーザの介入なしに、リビジョンおよび機能レベルが異なる同様の機器において使用できるようにする。特定の例は、使用中の機器の種類、リビジョン、などにおいては存在せず、あるいは利用できない機能に関するフィードバックをユーザに提供する。特定の例は、ユーザが典型的に使用する装置/ベンダー以外の別のベンダーによって製造された別の装置をユーザが動作させているときに、デジタルアシスタントが別の機器において同じセッティングの同一または近い近似を達成する代替のセッティング一式を提案できるように、ベンダーをまたぐセッティングを提供する。特定の例は、ユーザ定義の手順に関連するセッティングを確立させることができ、さらには/あるいはユーザの検討および採用のためにセッティングを提案することができる。特定の例は、ユーザがセッティング/手順の種類を使用してデジタルアシスタントにクエリを行い、装置へのセッティング/手順の自動インストールをトリガできるように、セッティングおよび手順の種類を保持または保存することができる。
【0019】
特定の例において、デジタルアシスタントは、ヒューマンマシン補足インターフェースとして機能する(例えば、マシンインターフェースが、通常のキープレス、マクロ制御タイプの動作、などのために常に利用可能である一方で)。デジタルアシスタントは、例えば、製造元による機器に関する知識で「シード」することができ、初期の訓練を、例えば機器の専門家によって提供することができる。セッティングの知識および用途の知識が、適用可能な医療機器のユーザエクスペリエンスを形成するための基礎として使用される。
【0020】
特定の例においては、ユーザプロファイルが、ユーザによる医療機器の使用をキャプチャする。ユーザは、事例の種類およびシステム機能を基本構成および動的相互作用シーケンスの両方の静的ブロックとして生成し、事例の種類およびシステム機能は、ヘルスケアワークフローに関する。デジタルアシスタントによるこれらのさまざまなデータ種類の保存は、動作の基盤を提供する。さまざまなマシンモデル種類およびソフトウェアリビジョンレベルに関連するデータ種類の周りの追加の知識シーケンスが、動作の基盤の知識を増強する。さらなる増強を、例えばデータセットを使用して装置をまたぐ機能の変換を提供できるように、競合する機器種類の間のマッピングのために提供することができる。
【0021】
特定の例においては、デジタルアシスタントにおいて使用されるAIエンジンに、機械学習エクスペリエンスを開始させるために、一般ユーザのための初期クエリ状態がロードされる。例えば、初期クエリ状態を、ユーザクエリの論理的な基盤を形成するためのツリーとしてロードすることができる。機械学習アルゴリズムを使用して、システムの使用は、マシンセッティングにおける知識の成長のためにデジタルアシスタントをさらにトレーニングする。
【0022】
特定の例において、デジタルアシスタントは、登録された機器を操作する登録されたユーザからの命令を受信し、デフォルト状態が既知でない場合、最初に機器のデフォルト状態を記録する。ユーザとの対話が、提案されるアクションが示され、機器へとマシンセッティングをダウンロードする前にユーザの許可が要求されるような対話である。例えば、許可の要求および承認は、典型的な制御ダイアログ型のアクションである。
【0023】
デジタルアシスタントは、例えば、機器のセッティング、アクション、マクロ、および/または他の機械可読形式のデータの解釈に基づく進行中のワークフローの医療機器による通知を受けることもできる。データを、デジタルアシスタントによって解釈および使用して、追加の機器アクションを提案し、さらには/あるいは手元のタスクを支援できるさらなる設定を提案することができる。
【0024】
デジタルアシスタントは、物理的および計算的に医療機器から独立しているため、ユーザは、デジタルアシスタントをインターネット接続が何らかのかたちで利用できるほぼすべての場所で利用することができる。したがって、例えば、ユーザのプリファレンスおよびユーザ主導のワークフローの知識が、デジタルアシスタントによって取り込まれ、任意の場所でユーザが利用することができる。
【0025】
特定の例において、デジタルアシスタントは、複数のユーザおよび機器にサービスを提供することができる。したがって、デジタルアシスタントは、デジタルアシスタントが医療機器の使用に関する自身の知識をすべてのユーザへと急速に成長させることができるように、ユーザ集団およびエキスパートユーザグループ間で機能を相関付けることもできる。デジタルアシスタントは、特定の種類の医療機器において特定の機能を実行できないことを知らせることも可能である。さらに、デジタルアシスタントは、新しいユーザへとヒントおよびコツを共有するだけでなく、例えば医療機器に関する日常的なタスクにおいて医師および/または他のユーザを助けるために製品機能の立ち稽古を提供することによって、機器の使用学習を容易にすることもできる。
【0026】
したがって、特定の例は、機器の動作を簡単にする。特定の例は、エキスパートユーザおよび初心者ユーザにおける新たな機器の有効性までの時間を短縮する。特定の例は、ユーザを表す機械学習モデル/デジタルツインとしてデジタルアシスタントを設定し、場所、ベンダー、バージョン、などに関係なく、マシンを設定したり、他のユーザを指導したり、問題をトラブルシューティングしたりすることをユーザにとって可能にする。例えば、機器の種類および/またはベンダーの種類の間の変換が、ベンダーをまたぐ用途において混乱を最小限にし、あるいは他の方法で軽減する。異なるモデルおよび/またはソフトウェアのバージョンの種類の間の変換は、病院グループ、移動するユーザ、混合使用のシナリオ、などのマルチ機器の状況における混乱を最小限に抑え、あるいは他の方法で軽減する役に立つ。特定の例において、機器の設定および使用は、或るデバイス製造者を別のデバイス製造者と比較して強調できる知識通貨になる。このように、特定の例は、ユーザのための医療機器のポータブルで適応可能な動的設定のためのユーザと機器との関係をモデル化する。
【0027】
特定の例は、システムの設定、セッティング、手続き型ワークフローの知識、などに基づいて、デジタルアシスタントを介して高度なユーザエクスペリエンスを提供する。特定の例において、デジタルアシスタントモデルは、デジタルアシスタントを機器自体の外部に実装でき、したがって例えばユーザが推奨事項を使用し、使用せず/無視し、かつ/あるいは変更できるため、マシンの機能に対して透過的である。特定の例は、文書化が難しく、本来であればかなりのユーザ訓練を必要とすると考えられるより高度なユーザインタラクションの知識を通じてユーザの文書化を増補する。特定の例は、製品のエンジニアリングを変更することなく、ユーザコミュニティの関与およびベストプラクティスの共有を通じて使用における改善を達成する。
【0028】
図1が、デジタルアシスタント110および医療機器120を含む典型的な装置またはシステム100のブロック図である。医療機器120を、撮像システム(例えば、X線、MR、CT、超音波、陽電子放出断層撮影(PET)、など)、医療装置(例えば、輸液ポンプ、インプラント、カテーテル挿入機器、モニタ、センサ、など)、医療情報システム(例えば、画像アーカイブおよび通信システム(PACS)、放射線情報システム(RIS)、電子カルテ(EMR)システム、健康情報システム(HIS)、研究室情報システム(LIS)、心血管情報システム(CVIS)、など)、などとして実装することができる。デジタルアシスタント110を、専用ハードウェアデバイス、ポータブルコンピューティングデバイス(例えば、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、スマートウォッチ、など)などのコンピューティングデバイス上で実行されるアプリケーション、クラウドベースのシステム、などとして実装することができる。特定の例において、デジタルアシスタント110は、これらの種類のデバイス/システムのうちの2つ以上を介してユーザにとってアクセス可能であってよい。例えば、デジタルアシスタント110は、複数のポータブルコンピューティングデバイスおよび専用ハードウェアデバイスを介してユーザにとってアクセス可能なクラウドベースのシステムであってよい。一例において、デジタルアシスタント110はクラウドに配置され、ユーザが自身の電話機、ユーザのラップトップ、ユーザのタブレット、および撮像スイート内のデスクトップコンピュータを介してアクセス可能であってよい。別の例において、デジタルアシスタント110は、ユーザのタブレットコンピュータをカスタマイズするために使用され、タブレットコンピュータにローカルに常駐する。
【0029】
デジタルアシスタント110は、医療機器120にアクセスし、医療機器120を設定し、医療機器120の制御を容易にするために使用される。典型的なデジタルアシスタント110は、医療機器120の1つ以上の設定、医療機器120を使用する1つ以上のプロトコル、などを格納および適用するために使用することが可能である。典型的なデジタルアシスタント110は、プロトコル、ケアプラン、機器設定、機器種類、ユーザプリファレンス、などをモデル化することができ、モデルの結果/出力に基づく設定、制御、および/または実行のために機器120および/または他のシステムと通信することができる。特定の例において、ユーザおよび/または他のアプリケーション、システム、デバイス、などは、モデル化された出力を承認し、モデル化された出力をオーバーライドし、モデル化された出力を調整することができる。
【0030】
特定の例において、デジタルアシスタント110は、特定の医療機器120でシードされる。例えば、デジタルアシスタント110を、GE CTスキャナのための設定および/または他のセッティングでシードすることができる。デジタルアシスタント110を、例えば、他のバージョンのCTスキャナ、および/または他のベンダーバージョンのCTスキャナの設定/セッティング情報でシードすることができる。いくつかの例において、デジタルアシスタント110は、GE CTスキャナをモデル化し、後に別のベンダーのスキャナの設定を任されたときにモデルを調整する。例えば、デジタルアシスタント110は、GE CTスキャナv1のモデルを、GE CTスキャナv2の設定/セッティングを反映するように調整することができる。これに代え、あるいはこれに加えて、デジタルアシスタント110は、GE CTスキャナのモデルを、Philips CTスキャナの設定/セッティングを反映するように調整することができる。このように、デジタルアシスタント110は、(例えば、デジタルツイン、人工知能モデル、などを使用して)医療機器120をモデル化し、バージョンおよび/またはベンダー間の差異を識別し、例えばプロトコル、プラン、ならびに/あるいは機器設定に関するユーザプリファレンスおよび情報に基づいて、モデルを或るバージョン/ベンダーから別のバージョン/ベンダーへと変換することができる。
【0031】
特定の例において、医療機器のデジタルモデルまたは「ツイン」を作成して、その医療機器の機能、制約、セッティング、物理学ベースのモデル、および/または他の設定情報に関する情報を表現し、さらには/あるいはそのような情報と対にすることができる。例えば、デジタル表現、デジタルモデル、デジタル「ツイン」、またはデジタル「シャドウ」は、物理システムに関するデジタル情報構造物である。すなわち、デジタル情報を、物理的なデバイス/システム/人物、ならびに物理的なデバイス/システム/人物に関連付けられ、さらには/あるいは埋め込まれた情報の「ツイン」として実装することができる。デジタルツインは、物理的なオブジェクトのライフサイクルの全体を通して物理的なオブジェクトにリンクされる。特定の例において、デジタルツインは、実空間の物理的患者、仮想空間に存在するその物理的患者のデジタルツイン、および物理的患者をこの患者のデジタルツインにリンクする情報を含む。デジタルツインは、実空間に対応する仮想空間に存在し、実空間から仮想空間へのデータフローのリンクと、仮想空間から実空間および仮想サブ空間への情報フローのリンクとを含む。
【0032】
機械学習技術を、深層学習ネットワークであっても、あるいは他の経験的/観察的学習システムであっても、例えば、患者から得られた医療データ、医療機器の能力/セッティング、ワークフロー、環境的制約、および/または他のコンテクストの特徴を明らかにし、あるいは他のやり方で解釈し、外挿し、結論付け、さらには/あるいは完成させるために使用することができる。深層学習は、一連のアルゴリズムを使用して、線形および非線形変換を含む複数の処理層を有する深層グラフを使用して、データにおける高レベル抽象化をモデル化する機械学習のサブセットである。多くの機械学習システムが、機械学習ネットワークの学習および更新によって修正されるべき初期の特徴および/またはネットワーク重みでシードされる一方で、深層学習ネットワークは、分析のための「良好な」特徴を識別するように自ら訓練する。多層のアーキテクチャを使用して、深層学習技術を用いるマシンは、従来の機械学習技術を使用するマシンよりも良好に生データを処理することができる。高度に相関する値または弁別的テーマのグループのデータの調査が、異なる評価または抽象化の層を使用して容易にされる。
【0033】
深層学習は、マシンに生データを与え、データ分類に必要な表現を決定させることを可能にする表現学習法を用いる機械学習技術の一種である。深層学習は、深層学習マシンの内部パラメータ(例えば、ノード重み)を変更するために使用される逆伝搬アルゴリズムを使用してデータセット内の構造を確認する。深層学習マシンは、さまざまな多層アーキテクチャおよびアルゴリズムを利用することができる。例えば、機械学習は、ネットワークの訓練に使用されるべき特徴の識別を必要とするが、深層学習は、外部の識別を必要とすることなく、生データを処理して関心特徴を識別する。
【0034】
ニューラルネットワーク環境における深層学習は、ニューロンと呼ばれる多数の相互接続されたノードを含む。入力ニューロンが外部のソースから活性化され、マシンパラメータによって支配される他のニューロンへの接続に基づいて、他のニューロンを活性化させる。ニューラルネットワークは、自身のパラメータに基づく特定の様相で挙動する。学習によってマシンパラメータ、したがってネットワーク内のニューロン間の接続がリファインされ、ニューラルネットワークが所望の様相で挙動するようになる。
【0035】
入力データを処理するために、さまざまな人工知能ネットワークを展開することができる。例えば、畳み込みニューラルネットワーク(CNN)を利用する深層学習は、畳み込みフィルタを使用してデータをセグメント化し、データ内の学習された観察可能な特徴を位置特定および識別する。CNNアーキテクチャの各フィルタまたは層は、入力データを変換してデータの選択性および不変性を向上させる。このデータの抽象化により、マシンは、分類を試みているデータ内の特徴に集中し、無関係な背景情報を無視することができる。
【0036】
深層学習は、多くのデータセットが低レベルの特徴を含む高レベルの特徴を含むという理解に基づいて動作する。例えば、画像を検査する際、対象物を探すよりもむしろ、探している対象物を形成する各部分を形成するモチーフを形成するエッジを探す方が効率的である。特徴のこれらの階層を、音声およびテキストなどの多数のさまざまなデータ形式において見ることができる。
【0037】
学習された観察可能な特徴には、教師あり学習においてマシンによって学習されたオブジェクトおよび定量化可能な規則が含まれる。充分に分類されたデータの大きなセットが提供されたマシンは、新たなデータの成功裏の分類に関する特徴の識別および抽出へと良好に準備されている。
【0038】
転移学習を利用する深層学習マシンは、データの特徴を人間の専門家によって確認された特定の分類に適切に結び付けることができる。反対に、同じマシンは、人間の専門家による誤った分類が与えられたとき、分類のためのパラメータを更新することができる。例えば、セッティングおよび/または他の設定情報を、セッティングおよび/または他の設定情報の学習された使用によって導くことができ、システムがより多く使用される(例えば、繰り返し使用され、かつ/または複数のユーザによって使用される)場合、所与の状況において、セッティングおよび/または他の設定情報に関するいくつかの変動および/または他の可能性を減らすことができる。
【0039】
典型的な深層学習ニューラルネットワークは、例えば、専門家によって分類されたデータセットについてトレーニング可能である。このデータセットは、ニューラルネットワークの第1のパラメータを構築し、これは教師あり学習の段階であると考えられる。教師あり学習の段階の間、所望の挙動が達成されたかどうか、ニューラルネットワークを試験することができる。
【0040】
所望のニューラルネットワーク挙動が達成される(例えば、マシンが特定のしきい値に従って動作するように訓練される)と、マシンを使用(例えば、「本物の」データを有するマシンを試験するなど)のために展開することができる。動作中、ニューラルネットワークの分類を、ニューラルネットワークの挙動を改善し続けるために(例えば、専門家ユーザ、エキスパートシステム、参照データベースなどによって)確認または拒否することができる。次いで、典型的なニューラルネットワークは、転移学習の状態になり、ニューラルネットワークの挙動を決定する分類のためのパラメータが進行中の相互作用に基づいて更新される。特定の例では、ニューラルネットワークは、直接的なフィードバックを別のプロセスに提供することができる。特定の例では、ニューラルネットワークは、別のプロセスへの提供前に(例えば、クラウドなどを介して)バッファおよび検証されるデータを出力する。
【0041】
深層学習マシンは、教師ありトレーニングにおいて利用することができる小さなデータセットに対処するために、医師との対話時に転移学習を利用することができる。これらの深層学習マシンは、訓練および転移学習を通じて、時間の経過につれてコンピュータ支援診断を改善することができる。しかしながら、より大きなデータセットは、異なる医療データをアクション可能な結果(例えば、システム設定/セッティング、コンピュータ支援診断結果、画像改善、など)へと変換するために適用することができるより正確でより堅牢な深層ニューラルネットワークモデルの展開をもたらす。
【0042】
特定の例は、医療機器120をモデル化し、デジタルアシスタント110に関連付けられたユーザのプリファレンス/行動をモデル化し、医療機器120のセッティング/設定を提供し、或るバージョンおよび/またはベンダーから他のバージョンおよび/またはベンダーへとセッティング/設定/行動を外挿する、などのために、1つ以上の深層学習構築物を利用して、1つ以上のデジタルツインを形成することができるデジタルアシスタント110を提供する。したがって、デジタルアシスタント110は、デジタルツインを使用して、単独ならびに/あるいは1つ以上の深層学習および/または他の機械学習モデル、構築物、装置、などとの組み合わせにおいて、医療機器120の設定、使用、治療プロトコル、ケアプラン、などを駆動することができる。
【0043】
デジタルアシスタント110ならびにそのデジタルツインおよび/または他の人工知能(AI)モデルを使用して、医療機器の設定およびカスタマイズを、臨床医のプリファレンス、使用の理由、スケジュール/今後の予約、患者、環境、ベストプラクティス、他のフィードバック、補間、予測、他のモデリング、などに基づいて調整することができる。デジタルアシスタント110を使用して、医療機器120を1つ以上の規定された限界ならびに/あるいは環境的/状況的限界に適合するように調整することができ、例えば使用される機器の限界を伝えるためのユーザ(例えば、医師、他のヘルスケア実行者、など)との対話を促進することができる。1つ以上のセッティングを、医療機器120を例えば同等の競合製品の最も近い近似にセットできるように、デジタルアシスタント110によって機器の種類をまたいで調整することができる。セッティングを、例えばユーザによる最終的な承認に応じて、より良い品質の信号記録、画像キャプチャ、などを達成するために、デジタルアシスタント110によって提案することも可能である。
【0044】
図2が、医療機器120と医療機器のデジタルツインとの間の典型的な関係を示している。デジタルツインは、例えば、医療機器120の設定、クエリ、動作、統合、などを駆動することができる。図2は、仮想空間235内のデジタルツイン230にデータ220を提供する実空間215内の医療機器120を示している。デジタルツイン230および/またはその仮想空間235も、実空間215に情報240を提供する。さらに、デジタルツイン230および/または仮想空間235は、1つ以上の仮想サブ空間250、252、254に情報を提供することができる。図2の例に示されるように、仮想空間235は、デジタルツイン230の1つ以上の部分および/または全体的なデジタルツイン230のサブシステム/サブ部分をモデル化するデジタル「サブツイン」をモデル化するために使用することができる1つ以上の仮想サブ空間250、252、254を含むことができ、かつ/あるいはそのような仮想サブ空間250、252、254に関連付けられてよい。
【0045】
特定の例においては、1つ以上の健康情報システム、ユーザ、および/またはセンサが、データを収集し、収集したデータ220をデジタルツイン230に送ることができる(例えば、自己報告を介し、さらには/あるいはPACS、RIS、EMR、LIS、CVIS、HIS、X線撮像システム、CT撮像システム、MR撮像システム、超音波撮像システム、PET撮像システム、および/またはこれらの組み合わせなどの臨床または他の健康情報システムを使用する、など)。デジタルツイン230と医療機器120との間のインタラクションは、設定、動作、フィードバック、などの改善に役立つことができる。医療機器120の正確なデジタル記述230により、デジタルアシスタント110は、医療機器120の適切な設定および動作を決定し、例えば機器120が患者の診断および/または治療のプロトコル、ケアプラン、などにどのように適合するかを決定することができる。
【0046】
したがって、一般的なモデルよりもむしろ、デジタルツイン230は、医療機器120、およびその関連のセッティング/パラメータ、動作条件、使用の事例、好ましい設定、などを反映する実際の物理ベースのモデルの集合である。図3の例に示されるように、デジタルツイン230は、さまざまな医療機器310、個人のプリファレンス320、プロトコル/シナリオ330、マクロおよび/またはルーチン340、場所350、患者モデル360、などを表す複数のモデルを含むことができる。デジタルツイン230を、医療機器120、その設定、および/または特定のシナリオにおける使用をモデル化し、1つ以上のモデル310~360を使用して、或るベンダーおよび/またはバージョンから別のベンダーおよび/またはバージョンなどへと設定を変換するために使用することができる。デジタルツイン230は、そのモデル310~360のうちの1つ以上を活用して、例えば患者に撮像プロトコルを適用するためのシナリオ/使用事例において医療機器120の設定を形成することができる。特定の例においては、デジタルツイン230を使用して、さまざまな設定、シナリオ、プロトコル、などをモデル化し、或る場所において機器120およびそのユーザならびに関連の患者にとって最良に機能する設定、シナリオ、プロトコル、などを決定することができる。これらの例ではデジタルツイン230が1つだけ使用されているが、複数のデジタルツインを実装して、複数の医療機器120、医療機器120のサブシステム/サブコンポーネント、ワークフロー/プロトコル、環境/場所、ユーザ、患者、などを表すことができると理解される。
【0047】
特定の例においては、さらなるモデルをプラグインおよび/または他のアプリケーションアドオンを介してデジタルツイン230に追加して、デジタルツイン230および関連のデジタルアシスタント110に新たな機能をもたらすことができる。デジタルツイン230は、例えば医療機器120を設定して動作させるためのドメイン固有のスキルのフレームワークを提供することを、デジタルアシスタント110にとって可能にする。スキルは、例えば医療機器120をさまざまな状況においてさまざまなユーザによって動作させることができるようにインタラクティブかつ柔軟であってよい。図4の例に示されるように、一般スキルプラグイン410は、複数の特定プラグイン420~444を有することができる。プラグイン420~428は、場所420~424、ユーザ430~434、コンテクスト(例えば、プロトコル/シナリオ)440~444、などに固有であってよい。したがって、特定のプラグイン420~444を、場所、ユーザ、コンテクスト、などの1つ以上の基準に従って、一般スキルプラグイン410から選択することができる。デジタルアシスタント110は、デジタルツイン230を活用してスキルプラグイン420~444を識別およびアクティベートし、例えば関連の医療機器120を設定して動作させることができる。
【0048】
したがって、特定の例は、画像のキャプチャ、特定の種類の信号の表示、などの目的または機能を達成するために、マシンセッティングの知識を維持するための機械学習、ディープラーニング、および/または他の人工知能(AI)デジタルツイン230を提供する。特定の例は、医療装置/機器の機能を或るベンダー設定から別のベンダー設定へと変換する。特定の例は、医療装置/機器の機能を或るバージョンおよび/またはモデルから別のバージョンおよび/またはモデルへと変換する。特定の例は、特定の場所の機能、制約、などへの医療機器120および/または関連のユーザの適応を可能にする。特定の例は、言葉によるクエリ、自動化されたマシン識別、などによってデジタルアシスタント110およびそのデジタルツイン230を介して専門知識を提供することによって、或る種類の機器に関する専門知識を可能にし、かつ/または転送する。デジタルアシスタント110の使用は、デジタルツイン230にエキスパートユーザからの大量の知識をプールし、この知識を、システム、医師、管理者、他のユーザ、などの指示において、例えば手順、プロトコル、場所、種類、などに基づいて、機器固有のやり方で利用できるようにすることによって、新規ユーザまたは未熟なユーザの急峻な学習曲線を軽減することができる。
【0049】
図5は、医療機器120と通信するデジタルアシスタント110と、ユーザインターフェース510と、スケジューリング/サポートシステム520とを含む典型的なシステム500である。図5の例に示されるように、典型的なデジタルアシスタント110は、医療機器データベース531、ユーザデータベース533、スケジュールデータベース535、タスクデータベース537、プラグインおよび/または他のアドオンデータストア539、などの1つ以上のデータベースおよび/または他のデータストアを含むデータストア530を含む。
【0050】
医療機器データベース531は、機器の種類、ベンダー、バージョン、操作マニュアル、コマンド、セッティング、他の設定情報、などといった医療機器120に関する情報を格納する。医療機器データベース531内の情報は、例えば、動作のために医療機器120をモデル化および設定するためにデジタルツイン230によって活用され得る。ユーザデータベース533は、デジタルアシスタント110に関連する1名以上のユーザのプリファレンス、プロファイル、などに関する情報を格納する。ユーザデータベース533内の情報は、例えば、特定のユーザのために医療機器120をカスタマイズするためにデジタルツイン230によって使用され得る。スケジュールデータベース535は、手順および/または他のプロトコル持続時間情報、カレンダー情報、他のスケジューリング情報、などを格納するために使用され得る。スケジュールデータベース535は、例えば、医療機器の手順および関連の設定をスケジュールするためにデジタルツイン230によって活用され得る。タスクデータベース537は、医療機器120によって実行され、さらには/あるいは他のかたちでプロトコル、手順、ケアプラン、などに含まれるタスクに関する情報を格納するために使用され得る。タスクデータベース537は、医療機器120および関連のプロトコル、手順、ケアプラン、などを設定するためにデジタルツイン230によって活用され得る。プラグインデータストア539は、デジタルアシスタント110に追加されたプラグインに関する情報を格納するために使用され得る。例えば、プラグインは、医療機器120を設定し、さらには/あるいは他のかたちでヘルスケアプロトコル、手順、ケアプラン、などの実行を容易にするために、デジタルアシスタント110によって活用されるデジタルツイン230に追加/デジタルツイン230によって学習されるスキルを表すことができる。
【0051】
デジタルアシスタント110は、AIエンジン565からの出力を使用して医療機器120のためのセッティング/設定を生成するためのセッティング生成部560を含むデジタルツイン230をさらに含む。デジタルツイン230は、デジタルツイン230の能力および知識を拡張するために、追加されたスキル、変更、および/または他のモデル構造物を表す1つ以上のプラグインおよび/または他のアドオン570~572とやり取りすることができる。例えば、1つ以上のスキルマクロが、プラグイン570~572を介して、デジタルツイン230へと学習、追加、キャプチャ、および/または他のかたちで提供され得る。
【0052】
図5の典型的なデジタルアシスタント110は、デジタルツイン230、データストア530、などを活用して、ユーザの音声コマンド、グラフィカルユーザインターフェース510の項目選択、アプリケーション出力、その他の条件、などのトリガに応答して、医療機器120についてクエリ、設定、制御、などを行うプロセッサ580をさらに含む。プロセッサ580は、例えば、医療機器120ならびにスケジューリングおよび/または他のサポートシステム520との相互作用を駆動することができる。プロセッサ580は、例えば、ユーザインターフェース510から入力を受け取ること、およびユーザインターフェース510へと出力をもたらすことが可能である。例えば、プロセッサ580は、インターフェース510を介して医療機器120の設定の入力クエリまたは要求を受信し、データストア530およびデジタルツイン230を活用して、意図された患者、意図されたユーザ、検査および/または関連のケアプラン/プロトコルの理由、などに鑑みて医療機器120の適切な設定を取得する。
【0053】
図6は、装置600の別の実装を示しており、この実装においては、デジタルアシスタント110の少なくとも一部が、デジタルアシスタント110とは別個であるが、デジタルアシスタント110によってアクセス可能なクラウドサブシステム610に位置している。図6の例に示されるように、クラウド610は、機器データベース531、ユーザデータベース533、タスクデータベース537、プラグインデータストア539、などのデータストアを収容する。データベース531~539のうちの1つ以上を、例えば、クラウド610内の1つ以上のソースによって更新することができる。図6の典型的なデジタルアシスタント110は、ユーザデバイス620(例えば、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、スマートウォッチ、など)上に具現化され、例えば医療機器120のセッティング630を生成し、デジタルアシスタント110に関するユーザのユーザプロファイル640を維持するために、クラウドサブシステム610とやり取りする。例えば、ユーザの識別/認証、役割、特権/許可、プリファレンス、履歴、などを、ユーザプロファイル640として維持することができる。データベース531~539の情報およびユーザプロファイル640のプリファレンスは、例えば、医療機器120の設定を駆動するために、デジタルアシスタント110のプロセッサ580によって使用され得る。設定をトリガし、設定を医療機器120へと提供するための入力は、例えば、ユーザインターフェース510を介して生じることができる。
【0054】
図7が、プロセッサ580の典型的な実装のブロック図である。図7の例において、プロセッサ580は、入力分析部710、スキル選択部720、スキル生成部730、アシスタンス形成部740、および出力生成部750を含む。入力分析部710は、例えばデジタルアシスタント110が受信し、あるいはデジタルアシスタント110内で開始されたクエリ、要求、トリガ、および/または他の入力を処理する。入力分析部710は、英数字入力、キー選択、アイコン選択、ジェスチャ入力、オーディオ入力、アプリケーショントリガ、などを、プロセッサ580による実行のためにアクション可能なコマンドおよび/または関連のクエリ用語へと変換する。例えば、GE CTスキャナを設定するための音声コマンドを、入力分析部710によって、CTスキャナを特定のユーザ、患者、タスク、などに向けて設定すべくデジタルツイン230からのGE CTスキャナのモデルおよび/または1つ以上の関連のデータストア530(例えば、機器データベース531、ユーザデータベース533、およびタスクデータベース537、など)へとアクセスするための一連のコマンドおよびキーワードに変換することができる。さらに、入力分析部710は、例えば入力をプロセッサ580によって学習される新規スキルへと変換することができる。
【0055】
入力分析部710は、入力分析部710によって生成されたコマンド/キーワードを使用してデジタルツイン230のモデルに関連した1つ以上のスキルおよび/またはデジタルアシスタント110の1つ以上のプラグイン570、572を選択するようにスキル選択部720をトリガする。スキル選択部720は、デジタルツイン230をアクティベートし、マイニングし、さらには/あるいは他のやり方でトリガして、介入カテーテル挿入手順の設定および/または文書化を自動化するスキル、診断カテーテル挿入手順の設定および/または文書化を自動化するスキル、事前の設定および/または文書化のためのスキル、事後の設定および/または文書化のスキル、X線マシンの設定のためのスキル、輸液ポンプの設定のためのスキル、などのスキルを取得することができる。スキル選択部720および/または出力生成部750は、特定の目的、ユーザ、シナリオ、などに適するように、デジタルツイン230から取得したスキルおよび/または関連のプラグイン570、572を設定および/または他のやり方でカスタマイズし、さらに発展させることが可能である。
【0056】
さらに、入力分析部710は、スキル生成部730をトリガして、デジタルツイン230のモデルおよび/またはデジタルアシスタント110の1つ以上のプラグイン570、572などに関連付けられるスキルを生成または更新することができる。例えば、入力分析部710によってキャプチャされたコマンド/キーワードを、プラグイン570、572などとして格納されるデジタルツイン230によって学習される新規スキルを形成するために使用することができる。特定の例において、医療機器120とのユーザインタラクションを、プラグイン570、572および/または他のスキルモデルを形成するために記録し、さらには/あるいは他のやり方でキャプチャすることができる。
【0057】
アシスタンス形成部740は、スキル選択部720によって選択され、スキル生成部730などによって学習された1つ以上のスキルを得て、医療機器120の設定および/または他の出力(例えば、グラフィカルユーザインターフェースの表示、オーディオ出力、別の記録システム、情報システム、処理システムなどへのファイル転送)を形成する。アシスタンス形成部740は、例えばスキルを組み合わせ、スキルをカスタマイズし、配備のためにスキルをパッケージすることによって、アシスタンスを形成することができる。出力生成部750は、アシスタンス形成部740によって形成されたアシスタンスを利用して、医療機器120、ユーザ、別のシステムおよび/またはアプリケーション、などへの出力を生成する。例えば、出力生成部750は、アシスタンス形成部740の出力を処理し、医療機器120のためのセッティング/パラメータ値、命令/コマンド、などを形成する。出力生成部750は、例えば、医療機器120への送信のための出力をもたらす。したがって、典型的なプロセッサ580は、入力を処理してスキルを更新すること、スキルを利用して設定出力を生成すること、などが可能である。
【0058】
図8が、デジタルアシスタント110と医療機器120との間の典型的なデータフロー800のデータフロー図を示している。805において、デジタルアシスタント110は、スケジュールを処理する。例えば、デジタルアシスタント110は、今後の予定、手順、他のイベント、などのスケジュールを保存する。例えば、デジタルアシスタント110は、次の撮像スキャンを示すスケジュールを保存する。撮像スキャンは、例えばCTスキャナを使用する。
【0059】
810において、デジタルアシスタント110は、医療機器120へとクエリを行う。例えば、デジタルアシスタント110は、医療機器120に対して自身の種類、ベンダー、バージョン、設定可能パラメータ、などを決定するようにクエリを行う。815において、医療機器120は、クエリ/要求に応答する。例えば、CTスキャナが、自身の種類、ベンダー、バージョン、設定可能パラメータ、などをデジタルアシスタント110に提供する。
【0060】
820において、デジタルアシスタント110は、医療機器120からの情報に基づいてスキルまたは設定を生成する。例えば、デジタルアシスタント110は、CTスキャナからの情報に基づいてCTスキャナ設定スキルを生成する。スキルは、例えば、機器の種類、ベンダー、バージョン、設定可能パラメータのセッティング、などをデジタルアシスタント110に保存する。825において、デジタルアシスタント110は、承認のためにユーザおよび/または他のシステムにスキルを提供することができる。例えば、スキルの設定を、ユーザの承認、調整、削除、などのために、グラフィカルユーザインターフェースを介して表示することができる。830において、スキルは、ユーザ/システムからの入力に基づいて承認、削除、または調整される。例えば、1つ以上のパラメータを、ユーザのオーバーライド、別のアプリケーション/システムからの入力、などに基づいて調整することができる。次いで、調整された設定を、デジタルアシスタント110によってスキルとして(例えば、デジタルツイン230の一部として、プラグイン570、572として、など)保存することができる。
【0061】
835において、デジタルアシスタント110は、医療機器120を設定する。例えば、スケジュールに基づいて、デジタルアシスタント110は、(例えば、デジタルツイン230、プラグイン570~572、などに保存されたスキルから)保存済みの設定を医療機器120へと送信して、医療機器120をユーザによる使用のためにセットアップする。例えば、デジタルアシスタント110は、特定の患者などにおける或る種類の画像検査のためにCTスキャナを設定することができる。
【0062】
840において、医療機器120は、デジタルアシスタント110からの情報および/またはコマンドに従って設定される。例えば、CTスキャナが、患者がスキャナに対して位置決めされたときにCTスキャナが画像をすぐに取得できるように、デジタルアシスタントからの情報/コマンドに基づいて自身を設定する。845において、医療機器120は、設定に従って動作する。例えば、CTスキャナが、デジタルアシスタント110によって設定されたとおりに患者から画像を取得する。
【0063】
850において、医療機器120は、デジタルアシスタント110にフィードバックを提供する。例えば、放射線曝露情報、持続時間、画像品質、などが、CTスキャナによってデジタルアシスタント110に提供され得る。855において、デジタルアシスタント110は、フィードバックを処理して、医療機器120のスキル、モデル、および/または設定情報を更新する。例えば、デジタルアシスタント110は、フィードバックに基づいてデジタルツイン230、プラグイン570~572、などを更新して、例えば曝露時間を減少/増加させ、線量を変更し、画像取得を追加/削除し、画像品質を向上/低下させるようにセッティングを調整することができる。860において、デジタルアシスタント110は、更新に基づいて医療機器120に調整を提供することができる。例えば、医療機器120の設定を調整するために、デジタルアシスタント110によって曝露時間、線量、取得数、他のセッティング、などの変更を提供することができる。
【0064】
データフロー800は、デジタルアシスタント110と医療機器120とがやり取りをしているときに継続することができ、デジタルアシスタント110は、医療機器120からの学習およびモデルの更新などを続け、例えば今回または次回の機器120の使用における設定の変更をもたらすことができる。したがって、典型的なデジタルアシスタント110は、手順の選択肢、現在の手順、機器の設定、などの分析に基づいて、「最良」の手順/設定の選択肢をユーザに提案することができる。
【0065】
図9が、医療機器120の設定および動作を駆動するためのユーザデバイス620、デジタルアシスタント110、および医療機器120の間の典型的なデータフロー900のデータフロー図を示している。905において、デジタルアシスタント110に対する要求がユーザデバイス620から生成される。例えば、ユーザデバイス620は、デジタルアシスタント110への接続を開始し、ユーザは、ユーザデバイス620を介して医療機器120の設定の要求を開始する。910において、デジタルアシスタント110は、デフォルト状態を記録する。例えば、ユーザデバイス620のデフォルト状態、デジタルアシスタント110、ユーザデバイス620上で実行中のアプリケーション、接続された医療機器120、スケジュールされた手順および/または医療機器120の他の状態、などをデジタルアシスタント110によってデフォルト状態として記録することができる。
【0066】
915において、1つ以上の提案されるアクションが、デジタルアシスタント110によってユーザデバイス620に提供される。例えば、状態に基づいて、デジタルアシスタント110は、医療機器120をアクティブにする、手順のために医療機器120を設定する、などの1つ以上のアクションを提供することができる。920において、ユーザは、ユーザデバイス620を介して、1つ以上の提案されたアクションを承諾し、拒絶し、あるいは変更する。例えば、ユーザは、医療機器120の設定を承認すること、医療機器120の設定をキャンセルすること、医療機器120の提案された設定の1つ以上のセッティングを調整すること、などが可能である。925において、ユーザ応答が、ユーザデバイス620からデジタルアシスタント110に提供される。例えば、ユーザデバイス620のマイクロフォンによってキャプチャされたユーザからの可聴応答を、デジタルアシスタント110へと伝えることができる。例えば、ユーザの選択による応答および/またはタイピングによる応答を、ユーザデバイス620からデジタルアシスタント110へと伝えることができる。
【0067】
930において、ユーザ応答はデジタルアシスタント110によって記録される。デジタルアシスタント110は、ユーザデバイス620からのユーザ応答を処理し、応答を保存して、将来のためにその状態および提案されるアクションを学習および調整する。ユーザが要求を拒絶した場合、935において、制御はユーザデバイス620へと戻る。提案されたアクションが承認された(さらには/あるいは、修正されたが承認された)場合、940において、デジタルアシスタント110は、対応するマシンセッティングを医療機器120へと提供する。例えば、デジタルアシスタント110は、医療機器120を患者の画像取得に向けて設定するためのマシンセッティングを提供する。945において、医療機器は、マシンセッティングをダウンロードし、それに従って自身を設定する。マシンセッティングは、例えば、セッティングに従った医療機器120の動作をトリガする/開始させることができる。したがって、画像取得のためのセッティングのダウンロードは、例えば、医療機器120における画像取得を開始させることができる。
【0068】
950において、医療機器120は、ワークフロー進捗アラート950をデジタルアシスタント110に提供する。例えば、医療機器120は、状態、進捗レポート(例えば、撮像進捗レポート、など)、アラート/警告、他のフィードバック、などをデジタルアシスタント110に提供することができる。955において、デジタルアシスタント110は、医療機器120によって提供されたワークフローデータを分析する。例えば、デジタルアシスタント110は、検査の進行、タイミング、線量、画像品質、他のフィードバックをプロトコル、基準値、などと比較して評価し、ワークフローが期待/計画/提案/要求/などのとおりに進んでいるか否かを評価する。
【0069】
ワークフローの評価に基づいて、960において、デジタルアシスタント110は、1つ以上の提案されるアクションをユーザデバイス620に提供することができる。例えば、デジタルアシスタント110は、例えば医療機器120の設定/動作を調整し、ワークフローを調整し、プロトコルを切り替えるために、提案されるアクションを提供することができる。965において、ユーザは、ユーザデバイス620を介して、提案されたアクションを承諾し、拒絶し、あるいは変更することができる。970において、ユーザ応答が、ユーザデバイス620からデジタルアシスタント110に提供される。975において、ユーザ応答が記録および処理される。応答に基づいて、980において、要求が拒絶され、制御がユーザデバイス620へと戻るか、あるいは985において、要求が許可され、更新されたマシンセッティングが医療機器120に提供される。990において、医療機器120は、マシンセッティングをダウンロードし、更新されたマシンセッティングに基づいて自身の設定/動作/などを更新する。
【0070】
図10が、バージョン、ベンダー、などに基づいて医療機器120の設定を調整するためのユーザデバイス620、デジタルアシスタント110、および医療機器120の間の典型的なデータフロー1000のデータフロー図を示している。1005において、ユーザデバイス620は、医療機器120の別のバージョン、ベンダー、などに関するデジタルアシスタント110への通知を生成する。例えば、A社のCTスキャナに慣れているが、B社のCTスキャナに不慣れなユーザが、B社のCTスキャナを使用するとする。ユーザは、ユーザデバイス620からデジタルアシスタント110にアクセスし、B社のCTスキャナの設定を取得する。1010において、デジタルアシスタント110は、要求に基づいて修正されたアクションを生成する。例えば、デジタルアシスタント110は、CTスキャナAの構設定情報を調べ、変換し、さらには/あるいは他のやり方でCTスキャナBの設定情報に変更することができる。したがって、ユーザはCTスキャナBに不慣れであってよく、デジタルアシスタント110が、CTスキャナAに関するユーザのプリファレンス、基準、設定/セッティング、などを取得して、それらをデジタルツイン230、プラグイン570~572、などを使用してCTスキャナBに関する設定/セッティングに変換/変更することができる。
【0071】
1015において、提案されるアクション/設定が、ユーザによる確認、修正、キャンセル、などのために、デジタルアシスタント110によってユーザデバイス620へと送り返される。1020において、ユーザは、ユーザデバイス620を介して、提案されたアクションを承諾し、拒絶し、変更することができる。例えば、ユーザは、CTスキャナBに関して、提案されたセッティング、アクション、他の設定、などをオーバーライドすること、提案された設定を受け入れること、提案された設定をキャンセル/拒絶すること、などが可能である。
【0072】
1025において、ユーザ応答が、ユーザデバイス620からデジタルアシスタント110に送り返される。1030において、ユーザ応答はデジタルアシスタント110において記録される。応答を、例えば、デジタルツイン230、プラグイン570~572、他のモデル、などを調整するために使用することができる。応答を、例えばCTスキャナBに関する将来の使用のために保存することができる。1035において、ユーザが提案されたアクション/設定を拒絶した場合、制御はユーザデバイス620に戻る。1040において、ユーザが提案されたアクション/設定を受け入れた(さらには/あるいは、修正して受け入れた)場合、関連のマシンセッティングが医療機器120に提供される。1045において、医療機器120は、デジタルアシスタント110からセッティングをダウンロードし、医療機器120を設定する。
【0073】
図11が、デジタルアシスタント110を使用して医療機器120を設定および/または制御するための典型的な方法1100のフロー図である。ブロック1105において、デジタルアシスタント110がトリガされ、さらには/あるいは他のやり方でアクティベートされる。例えば、デジタルアシスタント110を、ウェイクワード、ボタン操作、選択肢の選択、コマンド入力、アラート/アラーム信号、医療機器120および/または他の外部システム/アプリケーションからのトリガ、などを使用してアクティベートすることができる。ブロック1110において、デジタルアシスタント110は、自身の状態を決定する。例えば、デジタルアシスタント110は、動作モード、デジタルツイン230、などに基づいて、スキルの学習、モデルの更新、などのためのプログラミングまたは設定モードにある、医療機器120などを設定するための動作モードにある、ユーザデバイス620などを介してユーザ、アプリケーション、および/または他のシステムとやり取りするためのインタラクティブモードにある、など、デジタルアシスタント110の状態を決定する。特定の例において、デジタルアシスタント110は、自身が特定のやり取り(例えば、ユーザへのスケジュールの提供、撮像システムの設定、輸液ポンプの操作、など)に向けてプログラムされていると決定する。特定の例において、デジタルアシスタント110は、医療機器120の種類/ベンダー/バージョン、患者の種類、手順の更新、などにおける変化をモデル化する必要があると判断する。
【0074】
ブロック1115において、デジタルアシスタント110は、入力および/または他のやり取りを待ち、さらには/あるいはチェックする。例えば、更新情報が受信された場合、ブロック1120において、デジタルアシスタント110はモデル更新を生成する。例えば、デジタルアシスタント110およびそのプロセッサ580は、入力スキルプラグイン570~572、キャプチャされた設定/ワークフロー情報、医療機器120および/またはユーザデバイス620からのフィードバック、などを取得し、デジタルツイン230などを更新するためのAIモデル、トレーニング/テストデータセット、などを形成する。ブロック1122において、デジタルアシスタント110は、モデル更新を使用してデジタルツイン230を更新する。例えば、デジタルアシスタント110は、プラグイン570~572を介して新規スキルを追加でき、AIモデルを使用してデジタルツイン230をトレーニングすることによって既存のスキルを更新することができる。次いで、制御はブロック1110に戻り、デジタルアシスタント110の状態が決定される。
【0075】
ユーザデバイス620などからユーザインターフェース入力が受信され、さらには/あるいはモードがコンテンツをユーザデバイス620へと出力するモードである場合、ブロック1130において、グラフィカルユーザインターフェース出力が生成される。例えば、医療機器120のための提案/推奨される設定を、グラフィカルユーザインターフェース510を介した表示およびやり取りのために生成することができる。ブロック1132において、出力は、ユーザデバイス620のグラフィカルユーザインターフェース510などのインターフェースに提供される。例えば、生成されたインターフェースコンテンツが、ユーザインターフェース510を介したやり取りのために表示されるようにユーザデバイス620に提供される。ブロック1134において、ユーザデバイス620および/または他のユーザインターフェースは、デジタルアシスタント110に関して生成される応答および/または他のフィードバックについて評価される。応答および/または他のフィードバックが提供された場合、ブロック1136において、フィードバックおよび/または他の応答が、次のアクション(例えば、医療機器120の設定、セッティングの調整、キャンセル要求、など)をトリガする、デジタルツイン230および/またはそのプラグイン570~572を更新する、などのためにデジタルアシスタント110に提供される。次いで、制御はブロック1110に戻り、デジタルアシスタント110の状態が決定される。
【0076】
デジタルアシスタントが医療機器120を設定し、さらには/あるいは医療機器120にクエリを行う場合、ブロック1140において、医療機器120の設定が生成される。例えば、医療機器120のセッティングおよび/または他の設定を、デジタルツイン230および/またはユーザ入力を使用して生成することができる。ブロック1142において、設定/セッティングが医療機器120に出力される。例えば、生成された設定は、特定の用途のために医療機器120を設定するために医療機器120に提供される。これに代え、あるいはこれに加えて、出力は、医療機器120からセッティング、設定、および/または他の識別情報を取得して、例えばデジタルツイン230および/または関連のプラグイン570~572における機器120のモデルを形成および/または更新するためのクエリであってよい。ブロック1144において、医療機器120は、デジタルアシスタント110に関して生成される応答および/または他のフィードバックについて評価される。応答および/または他のフィードバックが提供された場合、ブロック1146において、フィードバックおよび/または他の応答が、次のアクション(例えば、医療機器120の設定、セッティングの調整、キャンセル要求、など)をトリガする、デジタルツイン230および/またはそのプラグイン570~572を更新する、などのためにデジタルアシスタント110に提供される。次いで、制御はブロック1110に戻り、デジタルアシスタント110の状態が決定される。
【0077】
図12が、デジタルツイン230のモデル更新を生成(例えば、図11の例のブロック1120)する典型的な方法のフロー図である。ブロック1205において、更新の種類が評価される。更新が新規プラグインである場合、ブロック1210において、新たなプラグインが追加される。例えば、文書化、血流力学的および電気生理学的記録、診断カテーテル挿入、撮像システムの設定、介入カテーテル挿入、輸液ポンププログラミング、などのために設定されたマクロまたはスキルを、デジタルアシスタント110のデジタルツイン230と協働するプラグイン570~572として追加することができる。
【0078】
更新がモデルに対する更新である場合、ブロック1215において、更新が評価され、新規モデルであるか、あるいは既存のモデルの変更であるかが判断される。更新が新規AIモデルである場合、ブロック1220において、新たなモデルが作成される。例えば、ニューラルネットワーク、ランダムフォレスト、他のデジタルツイン、などのAIモデルが、更新で定義されたルール、パラメータ、挙動、境界、使用事例、などに従って作成される。ブロック1222において、モデルが例えば正確であり、堅牢であり、再現性があることを保証するのを助けるために、新規モデルは訓練され、テストされ、さらには/あるいは検証される。ブロック1224において、新規モデルは(例えば、デジタルツイン230などとともに)使用するために配備される。
【0079】
更新が既存のAIモデルの更新である場合、ブロック1230において、既存のモデルが更新される。例えば、ニューラルネットワーク、ランダムフォレスト、他のデジタルツイン、などのAIモデルを、更新で定義されているように、新たなパラメータ/セッティング、新たなバージョン、ルール、使用事例、などで更新することができる。ブロック1232において、更新されたモデルは、モデルが例えば正確であり、堅牢であり、再現性があることを保証するのを助けるために、訓練され、テストされ、さらには/あるいは検証される。ブロック1234において、更新されたモデルは(例えば、デジタルツイン230などとともに)使用するために配備される。
【0080】
次いで、制御はブロック1122に戻り、デジタルツイン230がプラグイン、モデル、などによって相応に更新される。
【0081】
図13が、デジタルアシスタント110を使用してユーザインターフェース出力を生成(例えば、図11の例のブロック1130)する典型的な方法のフロー図である。ブロック1305において、情報が、デジタルアシスタント110のデジタルツイン230などから取得される。例えば、デジタルアシスタント110のデジタルツイン230、プラグイン570~572、および/またはデータストア530に格納されたモデル、データ、セッティング、プリファレンス、および/または他の情報が、図11の例のブロック1115において入力としてもたらされるトリガ、要求、スケジュール、などの1つ以上の基準に従い、かつ/またはデジタルアシスタント110の状態(図11の例のブロック1110)に従って取得される。
【0082】
ブロック1310において、情報は、アクション可能データおよび/または制約にオーガナイズされる。例えば、デジタルツイン230から取得された患者のカテーテル挿入に関するワークフローまたはプロトコルが、格納されたモデル化された情報から、ユーザインターフェース510を駆動するためにアクション可能な一連のデータおよび関連の制約に変換される。ブロック1315において、アクション可能なデータおよび制約を使用して、対話型表示要素が形成される。例えば、1つ以上のセル、ウインドウ、選択ボックス、トリガ、アイコン、入力、グラフィック表現、などが形成されて、情報を表示し、フィードバック/応答を受け付ける。表示要素は、例えば、ブロック1132において、グラフィカルユーザインターフェース510への出力として提供される。表示要素を、提案されるアクションの提示、アクションを選択するための入力の要求、セッティングの調整、クエリの開始、などに使用することができる。
【0083】
図14が、デジタルアシスタント110を使用して医療機器120の設定を生成(例えば、図11の例のブロック1140)する典型的な方法のフロー図である。ブロック1405において、情報がデジタルツイン230、プラグイン570~572、データストア530、および/または医療機器120、などから取得され、医療機器120の設定が形成される。例えば、心臓血管の撮像のためのカテーテルベースの超音波システムの設定に関する情報が、デジタルツイン230から取得される。プラグイン570~572は、例えば、特定の製造元のバージョンの超音波システムの設定をカスタマイズすることができる。
【0084】
ブロック1410において、設定は、医療機器を設定および/または制御するために形成される。例えば、デジタルツイン230のモデルの出力、プラグイン570~572の情報、などを組み合わせて、動作のために医療機器120をプログラムするために使用することができるパラメータおよび/または他のセッティングを生成することができる。例えば、カテーテルベースの超音波システムのデジタルツインのモデルからの設定セッティングを、特定のブランド/種類の超音波システム(例えば、GEのカテーテルベースの超音波システム、など)のためのプラグイン570~572によって変更し、その特定のカテーテルベースの超音波システムのための設定を形成することができる。
【0085】
ブロック1415において、ユーザデバイス620、医療機器120、などからのフィードバックおよび/または他の入力が検証される。例えば、医療機器120は、機器120のセッティングを調整するために使用することができる(例えば、利用可能なリソース、タイミング、強度、品質、などに関する)状態更新を有することができる。これに代え、あるいはこれに加えて、例えば、ユーザプリファレンスがデフォルト設定に優先することができる。フィードバックおよび/または他の入力が存在する場合、ブロック1420において、フィードバック/入力に基づいて設定が調整される。例えば、設定セッティングは、医療機器120からの更新/状態/他のフィードバック、ユーザのプリファレンス/オーバーライド、などに基づいて調整される。次いで、ブロック1142において、調整/更新された設定を医療機器120に提供することができる。
【0086】
したがって、1つ以上のモデル、データ構造物、などを組み合わせて、医療機器120の設定を生成することができ、その設定を、例えば医療機器をセットアップして動作させるために送信する前に、ユーザ入力、機器の状態、アプリケーション、システム、などからの他のフィードバックなどの1つ以上の追加の因子に基づいて調整することができる。
【0087】
図15が、デジタルアシスタント110を使用してヘルスケアワークフローを動的に実施するための支援フレームワークを駆動する典型的なプロセス1500のフロー図である。ブロック1505において、デジタルアシスタント110は、スケジュールにアクセスして、スケジュールにおける次のイベントを決定する。スケジュールは、ユーザ、場所、医療機器120、などに関連付けられていてよい。例えば、スケジュールは、アブレーション手順がユーザに関して計画されていることを示すことができる。
【0088】
ブロック1510において、イベントに関するスキルおよび/または他のモデルが取得される。例えば、イベントは、医療機器120、ユーザデバイス620、他のシステム、などに関連付けられていてよく、各々のデバイス/システムは、それを駆動するための関連スキルを有することができる。例えば、アブレーション手順は、スキルに関連付けられていてよいプロトコルと、アブレーションデバイスとを含み、アブレーションデバイスについて、製造業者がアブレーションデバイスを設定するためのスキルプラグイン570~572を有することができる。手順の特定の場所は、例えば、場所(例えば、病院、病棟/診療科、州、国、など)に関連付けられたデジタルツイン230の追加のモデルを有することができる。
【0089】
ブロック1515において、取得されたスキルおよび/またはモデルは、ユーザのプリファレンス、他の制約(例えば、規制による制約、使用に基づく制約、場所に基づく制約、など)、などとのスキルおよび/またはモデルの組み合わせに基づいて調整され、イベントのための設定が形成される。例えば、アブレーションプロトコルスキル、アブレーションデバイススキル、および場所モデルを組み合わせにて調整して、イベントのための設定が形成される。したがって、アブレーションデバイスを、特定のプロトコル、場所の制約、ユーザのプリファレンス、などに合わせて調整されたプラグイン570~572に従って設定することができる。
【0090】
ブロック1520において、設定が、対話およびフィードバックのために表示される。例えば、設定がユーザインターフェース510に提供され、ユーザが承諾、キャンセル、編集、などを行うことができる。編集/調整フィードバックがもたらされた場合、ブロック1525において、設定がフィードバックに基づいて調整される。例えば、ユーザがアブレーションデバイスの温度または強度のセッティングを調整し、それに応じてアブレーションデバイスの設定が更新される。
【0091】
ブロック1530において、設定がイベントのために実装される。例えば、アブレーションデバイスを設定に従ってセットアップすることができ、ユーザを、アブレーション手順において、設定に従ってユーザインターフェース510によって案内することができる。ブロック1535において、イベントの実行が監視される。例えば、デジタルアシスタント110は、アブレーション手順の進捗を監視し、手順に反応して、次のアクションの提案、次のアクションの調整、設定の調整、などを行う。したがって、ブロック1540において、デジタルアシスタント110は、修正、調整、次のアクション、などを提案することができる。例えば、デジタルアシスタント110は、手順におけるアブレーションデバイスの使用から収集されるフィードバックなどに基づいて、アブレーションデバイスのセッティングを変更するようにユーザに提案し、さらには/あるいは他のやり方でユーザを促すことができる。
【0092】
ブロック1545において、デジタルアシスタント110は、提案へのフィードバックに基づいて動作を調整する。例えば、提案が受け入れられた場合、ブロック1550において、提案が実装され、設定が調整される。提案について編集が存在する場合、ブロック1555において、提案は、ブロック1550におけるイベント設定への適用に先立って編集される。提案が拒絶された場合、イベント設定は続行される。イベントが完了すると、プロセスは終了する。
【0093】
したがって、特定の例は、デジタルアシスタント110を使用して医療機器120および関連のワークフローの設定および動作を駆動するためのスキル、モデル、プラグイン、などの生成を可能にする。特定の例は、さまざまなワークフロー、ユーザ、場所、患者、規制環境、などに合わせたさまざまな医療機器120の動的な設定のためのフレームワークを提供する。デジタルアシスタント110およびそのデジタルツイン230は、場所/環境、ユーザについて学習し、ベストプラクティスを活用する、などのためのデジタルインテリジェンスを提供する。例えば、場所に基づいて、デジタルアシスタント110は、同じ質問に対して異なる回答を提供することができる。例えば、天気、利用可能な機器、距離、などは場所によって異なる可能性があるが、プロトコル/手順のスケジュールは同じままである。類似点および相違点が、特定のイベント/使用事例についてカスタマイズされた設定および案内を駆動することができる。インタラクティブなワークフロー体験を、ユーザのために機器120およびタスクをパーソナライズするためにデジタルアシスタント110によって仕立てることができる。
【0094】
ユーザへの情報(例えば、セッティング/設定情報、プログラムの選択肢、スキル、など)の表示、デジタルツイン230のモデル開発、医療機器120の設定/動作のためのフィードバックおよび/または他の対話の促進、などのために、出力を典型的なユーザインターフェース510を介して提供することができる。図16が、グラフィカルユーザインターフェース510を備えたスマートフォンとしてのユーザデバイス620の典型的な実装を示している。図16の例に示されるように、典型的なインターフェース510は、ユーザがインターフェース510を介して承諾、キャンセル、および/または編集することができる撮像システムの設定1610を提供する。
【0095】
図17が、グラフィカルユーザインターフェース510を備えたスマートウォッチとしてのユーザデバイス620の別の典型的な実装を示している。ユーザは、提案1710を選択して、スマートウォッチを介してデジタルアシスタント110の対応するスキルをトリガすることができる。
【0096】
したがって、特定の例は、スキル、マクロ、およびモデルによってユーザのワークフロー、医療機器の設定および動作、検査の文書化、などを駆動することができるデジタルアシスタントを提供する。例えば、スキルは、血流力学の設定および監視、診断カテーテル挿入、冠状動脈の処置、末梢の処置、電気生理学的処置、処置前および処置後の文書化、などを含むことができる。例えば、典型的なスキルは、複数の処置段階を順番に組み合わせることができる。例えば、いくつかのスキルを互いにリンクさせることができる。
【0097】
例えば、血流力学的および電気生理学的記録に関連するスキルは、患者が処置用のテーブルに対して配置される前に始まる事例前のセットアップを提供することができる。典型的なスキルは、その事例について作業する者や事例の種類を設定すること、患者のバイタルのキャプチャを開始すること、ECGベースラインをキャプチャすること、などを自動的に行うことができる。典型的な事例後のアクションは、患者の医療記録に関する結果のキャプチャおよびデータのフォーマット、使用した消耗品、関係したスタッフ、投薬の文書化、などを含むことができる。典型的な診断カテーテル挿入スキルは、圧力ラベルの自動設定(左心室の左心カテーテル挿入のために左心室に圧力1を設定する、など)、スケールの設定、測定の実行、などを含むことができる。典型的な介入カテーテル挿入スキルは、自動文書化、ガイドカテーテル挿入、介入ガイドワイヤー挿入、大動脈測定(AO)、冠動脈可視化、ガイドステントカテーテル挿入、開放冠動脈介入ウインドウ、開放グラフト介入ウインドウ、除去ステント展開システム、などを含むことができる。
【0098】
典型的な実装が本明細書において開示および説明されているが、本明細書において開示および説明されるプロセスおよび/またはデバイスは、任意の他のやり方で組み合わせ、分割し、再構成し、省略し、排除し、さらには/あるいは実装することが可能である。さらに、本明細書で開示および説明される構成要素は、ハードウェア、機械可読命令、ソフトウェア、ファームウェア、ならびに/あるいはハードウェア、機械可読命令、ソフトウェア、および/またはファームウェアの任意の組み合わせによって実現することができる。したがって、例えば、本明細書で開示および説明される構成要素は、アナログおよび/またはデジタル回路、論理回路、プログラマブルプロセッサ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、および/またはフィールドプログラマブル論理デバイス(FPLD)によって実現することができる。本特許の装置またはシステムの請求項のいずれかを、純粋にソフトウェアおよび/またはファームウェアの実施態様をカバーするように理解するとき、構成要素の少なくとも1つは、ソフトウェアおよび/またはファームウェアを保存するメモリ、デジタル多用途ディスク(DVD)、コンパクトディスク(CD)、ブルーレイディスク、などの有形のコンピュータ可読記憶デバイスまたは記憶ディスクを含むように、本明細書によって明確に定義される。
【0099】
構成要素を実現するための典型的な機械可読命令を表すフローチャートが、本明細書において開示および説明される。いくつかの例において、機械可読命令は、プロセッサによる実行のためのプログラムを含む。このプログラムは、CD-ROM、フロッピーディスク、ハードドライブ、デジタル多用途ディスク(DVD)、ブルーレイディスク、またはプロセッサに関連付けられたメモリなどの有形のコンピュータ可読記憶媒体に保存された機械可読命令で具現化することができるが、あるいは、プログラム全体および/またはその一部をプロセッサ以外のデバイスによって実行すること、および/またはファームウェアもしくは専用ハードウェアで具現化することも可能である。さらに、典型的なプログラムがフローチャートを参照して説明されるが、本明細書で開示および説明される構成要素について、それらを実現する多数の他の方法を代わりに使用してもよい。例えば、ブロックの実行順序を変更してもよく、さらには/あるいは記載されたブロックのいくつかを変更したり、排除したり、または組み合わせたりしてもよい。フローチャートは典型的な動作を例示の順序で示しているが、これらの動作は、すべてを網羅したものではなく、例示の順序に限定されない。加えて、当業者であれば、本開示の精神および範囲において、さまざまな変更および修正を行うことができる。例えば、フローチャートに示されたブロックは、別の順序で行われてもよいし、並列に行われてもよい。
【0100】
上述したように、典型的なプロセスを、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ(ROM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、キャッシュ、ランダムアクセスメモリ(RAM)、および/または任意の他の記憶デバイスもしくは情報が任意の期間(例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および/または情報をキャッシュする間)で記憶されている記憶ディスクなどの有形のコンピュータ可読記憶媒体に記憶されるコード化された命令(例えば、コンピュータおよび/または機械可読命令)を使用して実施することができる。本明細書で使用される場合、有形のコンピュータ可読記憶媒体という用語は、任意の種類のコンピュータ可読記憶デバイスおよび/または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書で使用される場合、「有形のコンピュータ可読記憶媒体」および「有形の機械可読記憶媒体」は、互換的に使用される。これに加え、あるいはこれに代えて、典型的なプロセスを、ハードディスクドライブ、フラッシュメモリ、読み取り専用メモリ、コンパクトディスク、デジタル多用途ディスク、キャッシュ、ランダムアクセスメモリ、および/または任意の他の記憶デバイスもしくは情報が任意の期間(例えば、長期間、恒久的、短時間、一時的にバッファリングする間、および/または情報をキャッシュする間)で記憶されている記憶ディスクなどの非一時的コンピュータおよび/または機械可読媒体に記憶されるコード化された命令(例えば、コンピュータおよび/または機械可読命令)を使用して実施することができる。本明細書で使用される場合、非一時的コンピュータ可読媒体という用語は、任意の種類のコンピュータ可読記憶デバイスおよび/または記憶ディスクを含み、伝搬する信号を除外し、伝送媒体を除外するように明示的に定義される。本明細書で使用される場合、「少なくとも」という表現は、請求項の前文における遷移の用語として使用されるとき、「備える(comprising)」という用語がオープンエンドであるのと同様の様相でオープンエンドである。加えて、「含む(including)」という用語は、「備える(comprising)」という用語がオープンエンドであるのと同様の様相でオープンエンドである。
【0101】
図18は、例えば、図1図7の典型的なデジタルアシスタント110および他のシステム、装置、などを実装するために図8図15の命令を実行するように構成された典型的なプロセッサプラットフォーム1800のブロック図である。プロセッサプラットフォーム1800は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、自己学習マシン(例えば、ニューラルネットワーク)、モバイルデバイス(例えば、携帯電話機、スマートフォン、iPad(登録商標)などのタブレット)、携帯情報端末(PDA)、インターネット家電、ゲームコンソール、パーソナルビデオレコーダ、セットトップボックス、ヘッドセットまたは他のウェアラブルデバイス、あるいは任意の他の種類のコンピューティングデバイスであってよい。
【0102】
図示の例のプロセッサプラットフォーム1800は、プロセッサ1812を含む。図示の例のプロセッサ1812は、ハードウェアである。例えば、プロセッサ1812を、任意の所望のファミリまたは製造業者からの1つ以上の集積回路、論理回路、マイクロプロセッサ、GPU、DSP、またはコントローラによって実現することができる。ハードウェアプロセッサは、半導体ベースの(例えば、ケイ素ベースの)デバイスであってよい。この例において、プロセッサ1812は、典型的なデジタルアシスタント110を実現するが、本明細書で開示される他のシステムおよび/またはサブシステム(例えば、医療機器120、デジタルアシスタント110の一部、など)を実現するために使用することもできる。
【0103】
図示の例のプロセッサ1812は、ローカルメモリ1813(例えば、キャッシュ)を含む。図示の例のプロセッサ1812は、バス1818を介して揮発性メモリ1814および不揮発性メモリ1816を含む主メモリと通信する。揮発性メモリ1814は、SDRAM、DRAM、RDRAM(登録商標)、および/または任意の他の種類のランダムアクセスメモリデバイスによって実現されてよい。不揮発性メモリ1816は、フラッシュメモリおよび/または任意の他の所望の種類のメモリデバイスによって実現されてよい。主メモリ1814、1816へのアクセスは、メモリコントローラによって制御される。
【0104】
図示の例のプロセッサプラットフォーム1800は、インターフェース回路1820をさらに含む。インターフェース回路1820を、イーサネット(登録商標)インターフェース、USB、Bluetooth(登録商標)インターフェース、NFCインターフェース、および/またはPCIエクスプレスインターフェースなどの任意の種類のインターフェース規格によって実現することができる。
【0105】
図示の例においては、1つ以上の入力装置1822がインターフェース回路1820に接続される。入力装置1822は、ユーザがデータおよび/またはコマンドをプロセッサ1812に入力することを可能にする。入力装置を、例えば、オーディオセンサ、マイクロフォン、カメラ(静止画または動画)、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイント、および/または音声認識システムによって実現することができる。
【0106】
さらに、1つ以上の出力装置1824が、図示の例のインターフェース回路1820に接続される。出力装置1824を、例えば、表示装置(例えば、LED、OLED、LCD、CRTディスプレイ、IPSディスプレイ、タッチスクリーン、など)、触覚出力装置、プリンタ、および/またはスピーカによって実現することができる。したがって、図示の例のインターフェース回路1820は、典型的には、グラフィックスドライバカード、グラフィックスドライバチップ、および/またはグラフィックスドライバプロセッサを含む。
【0107】
さらに、図示の例のインターフェース回路1820は、ネットワーク1826を介した外部機器(例えば、任意の種類のコンピューティングデバイス)とのデータの交換を容易にするために、送信機、受信機、トランシーバ、モデム、住宅用ゲートウェイ、無線アクセスポイント、および/またはネットワークインターフェースなどの通信デバイスを含む。通信は、例えば、イーサネット(登録商標)接続、DSL接続、電話回線接続、同軸ケーブルシステム、衛星システム、見通し無線システム、セルラー電話システム、などを介することができる。
【0108】
さらに、図示の例のプロセッサプラットフォーム1800は、ソフトウェアおよび/またはデータを記憶するための1つ以上の大容量記憶装置1828を含む。そのような大容量記憶装置1828の例は、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、RAIDシステム、およびDVDドライブを含む。
【0109】
図8図15の機械実行可能命令1832を、大容量記憶装置1828、揮発性メモリ1814、不揮発性メモリ1816、ならびに/あるいはCDまたはDVDなどの取り外し可能な非一時的コンピュータ可読記憶媒体に記憶することができる。
【0110】
上記から、新規な技術的に改善されたインターフェースおよびデジタルツイン/AIモデルを使用して医療機器の設定および対話を生成および駆動する典型的な方法、装置、および製品が開示されたことを、理解できるであろう。したがって、特定の例は、人工知能モデル、機器設定の変換および拡張、ヘルスケアプロトコル、ベストプラクティス/プリファレンスの比較分析、などを活用して、プロセッサシステム、メモリ、および他の関連回路の機能、効率、および効果を向上させる。したがって、開示された方法、装置、および製品は、コンピュータならびに/あるいは他のプロセッサおよび関連のインターフェースの機能の1つ以上の改善に関する。本明細書で開示される装置、方法、システム、命令、および媒体は、人間の心の中には実装できず、人間のユーザが手動で実装することはできない。
【0111】
上記で開示したように、特定の例は、スマートフォン、スマートウォッチ、タブレット、ラップトップ、ポータブルストレージ(例えば、フラッシュドライブ、サムドライブ、など)、などの1つ以上のプラットフォーム上に実装できるポータブルデジタルアシスタントを提供する。特定の例において、デジタルアシスタントは、クラウドインフラストラクチャを活用し、スマートフォン、スマートウォッチ、持ち運んでローカルのラップトップ/デスクトップ/タブレットなどに挿入できるポータブルストレージドライブによってモバイル化されてよい。その場合、デジタルアシスタントは、その場所および/または状況に動的に反応して、関連する設定および/または命令をユーザ、医療機器、などに提供することができる。デジタルアシスタントは、分析に基づいて構築された計算エンジンおよび/またはセマンティックエンジンを提供して、保存された情報およびもたらされる情報を処理し、情報を同じまたは類似のタスク/イベントの以前のデータと比較し、インタラクティブな医療機器の設定および関連のワークフローの実行を動的に駆動することができる。
【0112】
特定の例は、デジタルアシスタントを介した医療機器の設定階層を提供する。例えば、或る種類の医療機器のスキル/セッティング/機能の一般的なモデルを含む一般的なプラグインを提供することができる。その種類の医療機器の追加の特定のプラグインが、デジタルアシスタントが特定の場所、特定のプロトコル/ワークフロー、特定のユーザプリファレンス、などに関してより精密にユーザのために医療機器を動的に設定できるように、場所固有の変種、アプリケーション固有の変種、ユーザ固有の変種、他のコンテクスト固有の変種を含むことができる。
【0113】
したがって、課題領域固有のスキル(例えば、アブレーション、X線撮像、波形分析、スタディ設定、など)のフレームワークが、スキルをインタラクティブかつ柔軟な目的に適したものにするために、デジタルアシスタントと対話するように結び付けられる。デジタルアシスタントおよびそのモデル/スキルは、ポータブルであり、機器に依存しないが、ユーザ固有である。したがって、デジタルアシスタントは、特定のユーザに関して、しかしながらさまざまな機器、プロトコル、計画、環境、などに対して柔軟に、設定を行うためのパーソナルアシスタントとして機能する。
【0114】
特定の例は、スケジュール情報を処理し、スケジュール内のイベントに関係する機器の設定/セッティングを決定する。デジタルアシスタントは、関係するリソースおよびタスクを識別し、モデルおよび/または他の保存されたデータストア情報を活用して、設定、シーケンス、などを決定する。1つ以上の以前の設定を利用することができるが、機器の種類/バージョン、場所、目的、ユーザ、などに合わせて調整することができる。
【0115】
特定の例は、セッティングをキャプチャし、アクション、結果、フィードバック、などから学習し、パターンを構築および解釈して、設定/セッティング、シーケンス/ワークフロー、などを表すモデルおよび/または構造物を形成する適応型の学習デジタルアシスタントを提供する。したがって、デジタルアシスタントは、医療機器の設定および関連のワークフローを駆動する動的なフレームワークを提供する。スキル、マクロ、モデル、などが、機器を設定し、事例/プロトコル/ワークフロー、などを実行するための青写真を形成し、ユーザ、場所、患者、機器、検査/処置の理由、などのコンテクストに基づいてデジタルアシスタントによって選択および利用される。デジタルアシスタントは、個別に、または組み合わせて、スキルを選択/アクティベートすることができる。
【0116】
例えば、デジタルアシスタントは、機械学習およびアルゴリズムの組み合わせを使用して、心電図(ECG)などのデータを受信して処理する波形分析サーバを形成するようにコンピュータを設定することができる。デジタルアシスタントは、波形データ(例えば、ECGデータ、など)の分析をトリガし、例えば、波形分析スキルと波形比較スキルとの組み合わせに基づいて比較を実行する。
【0117】
特定の典型的な方法、装置、および製品を本明細書において説明したが、本特許の対象範囲は、これらに限定されない。むしろ反対に、本特許は、本特許の特許請求の範囲の技術的範囲に正当に含まれるすべての方法、装置、および製品を包含する。
【符号の説明】
【0118】
100 システム
110 デジタルアシスタント
120 医療機器
215 実空間
220 データ
230 デジタルツイン、デジタル記述
235 仮想空間
240 情報
250 仮想サブ空間
252 仮想サブ空間
254 仮想サブ空間
310 医療機器
320 プリファレンス
330 プロトコル/シナリオ
340 マクロ、ルーチン
350 場所
360 患者モデル
410 一般スキルプラグイン
420 特定プラグイン
422 特定プラグイン
424 特定プラグイン
430 特定プラグイン
432 特定プラグイン
434 特定プラグイン
440 特定プラグイン
442 特定プラグイン
444 特定プラグイン
500 システム
510 グラフィカルユーザインターフェース
520 スケジューリング/サポートシステム
530 データストア
531 医療機器データベース
533 ユーザデータベース
535 スケジュールデータベース
537 タスクデータベース
539 プラグインストア、アドオンデータストア
560 セッティング生成部
565 AIエンジン
570 入力スキルプラグイン
572 入力スキルプラグイン
580 プロセッサ
600 装置
610 クラウド、クラウドサブシステム
620 ユーザデバイス
630 マシンセッティング
640 ユーザプロファイル
710 入力分析部
720 スキル選択部
730 スキル生成部
740 アシスタント形成部
750 出力生成部
800 データフロー
900 データフロー
1000 データフロー
1100 データフロー、方法
1105 ブロック
1110 ブロック
1115 ブロック
1120 ブロック
1122 ブロック
1130 ブロック
1132 ブロック
1134 ブロック
1136 ブロック
1140 ブロック
1142 ブロック
1144 ブロック
1146 ブロック
1205 ブロック
1210 ブロック
1215 ブロック
1220 ブロック
1222 ブロック
1224 ブロック
1230 ブロック
1232 ブロック
1234 ブロック
1305 ブロック
1310 ブロック
1315 ブロック
1405 ブロック
1410 ブロック
1415 ブロック
1420 ブロック
1500 プロセス
1505 ブロック
1510 ブロック
1515 ブロック
1520 ブロック
1525 ブロック
1530 ブロック
1535 ブロック
1540 ブロック
1545 ブロック
1550 ブロック
1610 設定
1710 提案
1800 プロセッサプラットフォーム
1812 プロセッサ
1813 ローカルメモリ
1814 揮発性メモリ、主メモリ
1816 不揮発性メモリ、主メモリ
1818 バス
1820 インターフェース回路
1822 入力装置
1824 出力装置
1826 ネットワーク
1828 大容量記憶装置
1832 機械実行可能命令
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18