知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-23
(54)【発明の名称】医用イメージングシステム用のチャットボット
(51)【国際特許分類】
A61B 8/00 20060101AFI20240416BHJP
【ＦＩ】
A61B8/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023564427
(86)(22)【出願日】2022-04-25
(85)【翻訳文提出日】2023-10-20
(86)【国際出願番号】 EP2022060878
(87)【国際公開番号】W WO2022229088
(87)【国際公開日】2022-11-03
(31)【優先権主張番号】63/180,920
(32)【優先日】2021-04-28
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】100122769
【弁理士】
【氏名又は名称】笛田 秀仙
(74)【代理人】
【識別番号】100163809
【弁理士】
【氏名又は名称】五十嵐 貴裕
(74)【代理人】
【識別番号】100145654
【弁理士】
【氏名又は名称】矢ヶ部 喜行
(72)【発明者】
【氏名】キャンフィールド ２世 アール エム
(72)【発明者】
【氏名】トラームス ロバート ジー
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601EE11
4C601JB34
4C601JC06
4C601KK42
4C601KK47
4C601LL21
(57)【要約】
超音波イメージングシステムは、ユーザがシステムを操作している間に支援を提供するためにテキスト又は音声を介して自然言語でシステムと対話することを可能にする、ディープラーニングニューラルネットチャットボット特徴を含むことができる。ユーザは、チャットボットと対話して、システム操作、設定支援、臨床支援、トレーニング、マーケティング、及びフィールドサービスを含む質問に対する自然言語回答を受信することができる。
【特許請求の範囲】
【請求項1】
ユーザが、チャットボットを介して医用イメージングシステムと対話することを可能にするように構成される医用イメージングシステムであって、前記医用イメージングシステムは、自然言語ユーザ入力を受信するように構成されるユーザインターフェースと、
前記チャットボットを実装するための命令で符号化され、前記医用イメージングシステムに関連するデータを記憶するように構成される非一時的コンピュータ可読媒体と、
前記チャットボットを実装するための命令を実行するように構成される前記非一時的コンピュータ可読媒体と通信する少なくとも1つのプロセッサと
を有し、前記命令は前記少なくとも1つのプロセッサに、
前記自然言語ユーザ入力の意図を決定するステップと、
前記意図に応答して、前記非一時的コンピュータ可読媒体に記憶されたデータの少なくとも一つの部分を取り出すか、又は前記医用イメージングシステムによって実行されるべきコマンドを発行するステップと、
前記コマンド又はデータの部分に少なくとも部分的に基づいて、自然言語応答を前記ユーザインターフェースに提供するステップと
を実行させる、医用イメージングシステム。
【請求項2】
前記命令は前記少なくとも1つのプロセッサに、機械学習モデルを実装させて、前記自然言語ユーザ入力の意図を決定させる、請求項1に記載の医用イメージングシステム。
【請求項3】
前記機械学習モデルは、畳み込みニューラルネットワークを含む、請求項2に記載の医用イメージングシステム。
【請求項4】
モバイル装置をさらに備え、前記ユーザインターフェースは、前記モバイル装置の少なくとも一つの部分を備える、請求項1に記載の医用イメージングシステム。
【請求項5】
患者医療記録を記憶するように構成されるコンピューティングシステムをさらに備え、前記命令は前記少なくとも1つのプロセッサに、前記意図に応答して前記コンピューティングシステムから少なくとも1つの患者医療記録を取り出させ、前記自然言語応答は、前記少なくとも1つの患者医療記録にさらに基づく、請求項1に記載の医用イメージングシステム。
【請求項6】
前記命令は前記少なくとも1つのプロセッサに、前記意図に応答して前記医用イメージングシステムによって取得される画像内の解剖学的特徴を識別するように訓練される機械学習モデルから出力を取り出させ、前記自然言語応答は前記出力にさらに基づく、請求項1に記載の医用イメージングシステム。
【請求項7】
前記自然言語ユーザ入力はテキスト入力である、請求項1に記載の医用イメージングシステム。
【請求項8】
前記自然言語ユーザ入力は口頭入力である、請求項1に記載の医用イメージングシステム。
【請求項9】
前記コマンドは前記医用イメージングシステムに、画像取得設定を変更させる、請求項1に記載の医用イメージングシステム。
【請求項10】
前記ユーザインターフェースは、前記医用イメージングシステムが前記自然言語ユーザ入力を受信することを可能にするように構成されるテキストボックスと、前記医用イメージングシステムが前記少なくとも1つのプロセッサに前記自然言語ユーザ入力を提供することを可能にするように構成される送信アイコンとを有するダイアログボックスを備える、請求項1に記載の医用イメージングシステム。
【請求項11】
前記ユーザインターフェースは、ユーザが前記医用イメージングシステムと対話することを可能にするように構成されるカーソルと、前記医用イメージングシステムに、前記チャットボットアイコンの上にホバリングする前記カーソルに応答して前記ダイアログボックスを表示させるように構成されるチャットボットアイコンとをさらに備える、請求項10に記載の医用イメージングシステム。
【請求項12】
チャットボットを備える医用イメージングシステムと対話するための方法であって、ユーザインターフェースを介して自然言語ユーザ入力を受信するステップと、
前記チャットボットを実装するように構成される少なくとも1つのプロセッサを用いて、前記自然言語ユーザ入力の意図を決定するステップと、
前記意図に応答して、
非一時的コンピュータ可読媒体上に記憶される、前記医用イメージングシステムに関連するデータを取り出すステップ、又は前記医用イメージングシステムによって実行されるべきコマンドを発行するステップと、
前記データ又はコマンドに少なくとも部分的に基づいて、自然言語応答を前記ユーザインターフェースに提供するステップと
を有する、方法。
【請求項13】
前記ユーザインターフェースは、前記自然言語ユーザ入力を受信するように構成される前記医用イメージングシステムと通信するモバイル装置を含む、請求項12に記載の方法。
【請求項14】
前記意図に応答して機械学習モデルから出力を取り出すステップをさらに有し、前記自然言語応答は前記出力に基づいており、前記機械学習モデルは、前記医用イメージングシステムによって取得される画像に含まれる解剖学的特徴を識別するように構成される、請求項12に記載の方法。
【請求項15】
前記自然言語応答は、前記医用イメージングシステムの構成設定又は画像取得設定に関する情報を有する、請求項12に記載の方法。
【請求項16】
前記コマンドは、前記医用イメージングシステムにアプリケーションを実行させる、請求項12に記載の方法。
【請求項17】
前記アプリケーションは、検査プロトコル又は測定ツールセットのうちの少なくとも1つを有する、請求項16に記載の方法。
【請求項18】
前記決定するステップは機械学習モデルによって実行される、請求項12に記載の方法。
【請求項19】
前記機械学習モデルは畳み込みニューラルネットワークを有する、請求項18に記載の方法。
【請求項20】
前記自然言語ユーザ入力の意図を決定するように前記機械学習モデルを訓練するステップをさらに有する、請求項18に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、超音波医用イメージングシステム撮像システムのためのチャットボットに関する。
【背景技術】
【0002】
チャットボットは生きた人間と対話する代わりに、テキスト又はスピーチを介してユーザと会話するために使用されるソフトウェアアプリケーションである。チャットボットアプリケーションは長年にわたって存在し、製品ウェブサイト上のポップアップテキストウィンドウを使用して、ユーザが購入決定を行うのを助け、又は軽微な問題を解決するのを助ける支援を提供してきた。最近まで、これらのチャットボットアプリケーションのほとんどは、ロボット的で繰り返しの応答を提供し、その結果、生きている人間に問題を解決するために話すことを要求するフラストレートなユーザをもたらした。ニューラルネットワークを含む人工知能(AI)における技術の進歩に伴い、チャットボットはユーザの意図（インテント）(例えば、問題、要求)を理解し、人間を模倣する会話を生み出すことがはるかに良くなっている。ニューラルネットチャットボットは大きい単語分類処理を使用してタイプされた単語又は発話された単語を構文解析し、必須の鍵及び意味を抽出することによって、ユーザの意図を解釈する。次いで、このデータは、ニューラルネットワークモデルを訓練するために使用され、その結果、多種多様な単語の組み合わせ及び方言からユーザの意図を推測することができるアルゴリズムが得られる。AIベースのチャットボットの例は米国特許出願公開第2020／0143265号に記載されており、これは、任意の目的のために基準により本明細書に組み込まれる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
超音波イメージングシステム上で及び／又は超音波イメージングシステムと併せてチャットボットを実施するシステム及び方法が開示される。チャットボットは、超音波イメージングシステムの設定及び／又はリソースに関する情報にアクセスすることができる。チャットボットは他のAIアプリケーション(たとえば、機械学習モデル)を含む、超音波イメージングシステム上の1つ又は複数の他のアプリケーションと通信することができる。例えば、超音波画像内の解剖学的特徴を認識するためのAIモデルはチャットボットと通信することができ、これにより、チャットボットは、超音波イメージングシステムのディスプレイ上に提供される画像に関する情報をユーザに提供することができる。いくつかの例では、チャットボットが少なくとも部分的に、超音波イメージングシステムと通信するスマートフォンなどの別のデバイス上に実装され得る。いくつかの例では、これはユーザが超音波イメージングシステムと遠隔で対話することを可能にし得る。
【課題を解決するための手段】
【0004】
本開示の少なくとも1つの例によれば、医用イメージングシステムはユーザがチャットボットを介して医用イメージングシステムと対話することを可能にするように構成され得、自然言語ユーザ入力を受信するように構成されたユーザインターフェースと、チャットボットを実装するための命令で符号化され、医用イメージングシステムに関連するデータを記憶するように構成された非一時的コンピュータ可読媒体と、チャットボットを実装するための命令を実行するように構成された非一時的コンピュータ可読媒体と通信する少なくとも1つのプロセッサとを含み得、命令は少なくとも1つのプロセッサに、自然言語ユーザ入力の意図を決定させ、意図に応答して、非一時的コンピュータ可読媒体に記憶されたデータの少なくとも一部を取り出し、又は医用イメージングシステムによって実行されるべきコマンドを発行し、データ又はコマンドの一部に少なくとも部分的に基づいて、ユーザインターフェースに自然言語応答を提供する。
【0005】
本開示の少なくとも1つの例によれば、チャットボットと医用イメージングシステムと対話するための方法は、ユーザインターフェースを介して、自然言語ユーザ入力を受信することと、チャットボットを実装するように構成された少なくとも1つのプロセッサを用いて、自然言語ユーザ入力の意図を決定することと、意図に応答して、非一時的コンピュータ可読媒体上に記憶された医用イメージングシステムに関連するデータを取り出すことと、医用イメージングシステムによって実行されるべきコマンドを発行することと、データ又はコマンドに少なくとも部分的に基づいて、ユーザインターフェースに自然言語応答を与えることとを含み得る。
【図面の簡単な説明】
【0006】
【図1】本開示の原理による超音波システムのブロック図である。
【図2】本開示の原理による例示的なプロセッサを示すブロック図である。
【図3】本開示の原理による、医用イメージングシステム上のチャットボットの異なる適用例の概要を提供する図である。
【図4】本開示の原理による、チャットボットにアクセスする例を図示する。
【図5】本開示の原理による、チャットボットとユーザとの間の例示的なテキスト対話である。
【図6】本開示の原理による、チャットボットとのユーザ対話の例を図示する。
【図7】本開示の原理による、チャットボットとのユーザ対話の一例を示す。
【図8】本開示の原理による、超音波イメージングマシン上のチャットボットの機能ブロック図である。
【図9】本開示の説明による、ユーザ意図を分析するために使用され得るニューラルネットワークの図である。
【図10】本開示の原理による、ニューラルネットワークのトレーニング及び展開のためのプロセスのブロック図である。
【図11】本開示の原理による方法のフローチャートである。
【発明を実施するための形態】
【0007】
特定の実施形態の以下の説明は本質的に単なる例示であり、本発明又はそのアプリケーションもしくは使用を限定することは決して意図されない。本システム及び方法の実施形態の以下の詳細な説明では、本明細書の一部を形成し、説明されるシステム及び方法が実施され得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は当業者が発明開示されているシステム及び方法を実施できるように十分に詳細に説明されており、他の実施形態が利用されてもよく、本システムの趣旨及び範囲から逸脱することなく構造的及び論理的変化が行われてもよいことを理解されたい。さらに、明確にするために、特定の特徴の詳細な説明は本システムの説明を不明瞭にしないように、それらが当業者に明らかである場合には説明されない。したがって、以下の詳細な説明は限定的な意味で解釈されるべきではなく、本システムの範囲は添付の特許請求の範囲によってのみ定義される。
【0008】
超音波イメージングシステムに関する質問（クエリ）又は問題がある場合、ユーザは現在、2つのオプション、すなわち、1)ヘルプファイルにアクセスし、関連するトピックを検索するためのメニュー内のヘルプオプションを見つけること、又は2)テクニカルサポートに電話すること、を有する。ヘルプドキュメントを検索すると、多くのユーザーの質問に答えることができるが、ユーザーは通常の検索画面やインデックスを使用して関連情報を手動で検索する必要がある。これは面倒で、ユーザーの貴重な時間がかかる。テクニカルサポートに電話をかけると、ほとんどの問題が解決される可能性があるが、ユーザーはテクニカルサービスやフィールドサービスの担当者に電話をかけて待機する必要がある。これはユーザーが回答を求めている場合でも、本質的に非常に単純な場合がある。さらに、検査中に問題が発生した場合には、どちらの選択肢も実行可能ではない可能性がある。
【0009】
超音波システム上のチャットボット機能を用いて、ユーザはテキスト及び／又は音声を介して迅速に対話し、テキスト及び／又は音声を介して即時応答を得ることができる。チャットボットインターフェースを使用して、ユーザは質問／回答FAQフォーマットに類似する単一の回答で特定の質問を尋ねることができ、又はユーザは質問を尋ねることができ、その結果、診断ツリー応答が得られ、ここで、チャットボットはさらなる質問で回答して、問題を分離し、トラブルシューティングする。ユーザはまた、超音波イメージングシステムの製造業者によって維持される多数のサイト上で利用可能な関連するシステム又は訓練材料へのリンクを受け取ることができる。表示されるコンテンツリンクは少なくとも部分的に、チャットボットがユーザの意図を解釈し、特定の主題コンテンツへの関心がどのようなものであるかに基づくことができる。
【0010】
本開示の例によれば、チャットボットはユーザの超音波システムモデル、購入されたオプション、ハードウェア、リソース、設定、及び／又は他の特徴の「知識」(たとえば、関連するデータ／情報へのアクセス)を有し得る。ユーザは無線／ネットワーク接続問題、IPアドレス、検査エクスポートステータス、特定の設定質問、及び／又は他の問題などの、ユーザのシステム上の特定の問題についての自然言語(例えば、コンピュータコードではなく人間の使用のために自然に開発された言語)を使用してチャットボットと対話することができる。本開示の例によれば、チャットボットはユーザが超音波イメージングシステムで現在何を行っているか(例えば、選択された検査タイプ、現在の取得設定)、及び／又はユーザがスクリーン上で何を見ているか(例えば、心臓の4腔ビューの超音波画像)についての知識をさらに有することができる。したがって、いくつかの例では、チャットボットが検査タイプ又は超音波イメージングシステムによって現在取得されている画像についての特定の質問に答えることができる。
【0011】
いくつかの例では、特定の焦点領域における問題に回答するための特定の知識を有する複数のチャットボット知識ベース(たとえば、データベース)が存在し得る。いくつかの例では、超音波イメージングシステム上の他のアプリケーションがチャットボットと通信して、ユーザの問い合わせに応答するための知識を提供することができる。例えば、超音波画像内の解剖学的特徴を識別するように構成されたアプリケーション(例えば、機械学習モデル)は、任意の識別された解剖学的特徴に関する情報を提供することができる。いくつかの例では、超音波システム上で、典型的なテキストウィンドウが画面の隅に表示されてもよく、ユーザが領域の上にホバリングすると、チャットボットは挨拶で応答する。以下の図では、チャットボットを「フィリパ」又は他のフィリップスのマーケティング名と呼ぶ。ユーザが自然言語で問題をタイプする(又は話す)と、フレーズは機械学習モデルによって解析及び解釈され、応答を決定するために、別の機械学習モデルであり得る適切なアプリケーションに渡され得る。いくつかの例では、ユーザがいつでも、さらなる支援のために、生の支援者に話すことを要求することができる。
【0012】
図1は、本開示の原理に従って構成された超音波イメージングシステム100のブロック図を示す。本開示による超音波イメージングシステム100はトランスデューサアレイ114を含むことができ、これは、超音波プローブ112、例えば、外部プローブ、又は心臓内エコー検査(ICE)プローブ又は経食道エコー検査(TEE)プローブなどの内部プローブに含まれ得る。他の実施形態では、トランスデューサアレイ114が撮像される被検体(例えば、患者)の表面に適合可能に適用されるように構成された可撓性アレイの形態であってもよい。トランスデューサアレイ114は超音波信号(例えば、ビーム、波)を送信し、超音波信号に応答してエコーを受信するように構成される。様々なトランスデューサアレイ、例えば、線形アレイ、湾曲アレイ、又はフェーズドアレイを使用することができる。トランスデューサアレイ114は例えば、2D及び／又は3D撮像のための仰角及び方位角次元の両方でスキャンすることができるトランスデューサ素子の2次元アレイ(図示されるよう)を含むことができる。一般に知られているように、軸方向はアレイの面に垂直な方向であり(湾曲アレイの場合、軸方向は扇形に広がる)、方位角方向は一般に、アレイの長手方向によって画定され、仰角方向は方位角方向を横断する。
【0013】
いくつかの実施形態では、トランスデューサアレイ114が超音波プローブ112内に配置することができ、アレイ114内のトランスデューサ素子による信号の送信及び受信を制御することができるマイクロビームフォーマ116に結合することができる。いくつかの実施形態では、マイクロビームフォーマ116がアレイ114内の能動素子(例えば、一時点に能動開口を定義するアレイの素子の能動サブセット)による信号の送信及び受信を制御することができる。
【0014】
いくつかの実施形態ではマイクロビームフォーマ116がたとえば、プローブケーブルによって、又はワイヤレスで、送信／受信(T／R)スイッチ118に結合され得、それは送信と受信との間で切り替わり、主ビームフォーマ122を高エネルギー送信信号から保護する。いくつかの実施形態では例えば、ポータブル超音波システムではシステム内のT／Rスイッチ118及び他の要素が画像処理電子機器を収容することができる超音波システムベース内ではなく、超音波プローブ112内に含まれることができる。超音波システムベースは典型的には信号処理及び画像データ生成のための回路、ならびにユーザインターフェース(例えば、処理回路150及びユーザインターフェース124)を提供するための実行可能命令を含むソフトウェア及びハードウェア構成要素を含む。
【0015】
マイクロビームフォーマ116の制御下のトランスデューサアレイ114からの超音波信号の送信は送信コントローラ120によって方向付けられ、送信コントローラはT／Rスイッチ218及び主ビームフォーマ122に結合され得る。送信コントローラ120は、ビームがステアリングされる方向を制御することができる。ビームはトランスデューサアレイ114から(直交して)真っ直ぐ前方に、又はより広い視野に対して異なる角度でステアリングされてもよい。送信コントローラ120はまた、ユーザインターフェース124に結合され、ユーザ制御のユーザ操作から入力を受信し得る。ユーザインターフェース124は1つ又は複数の機械的制御(例えば、ボタン、エンコーダなど)、タッチ感知制御(例えば、トラックパッド、タッチスクリーンなど)、及び／又は他の既知の入力デバイスを含み得る、コントロールパネル152などの1つ又は複数の入力デバイスを含み得る。
【0016】
いくつかの実施形態ではマイクロビームフォーマ116によって生成された部分的にビームフォーミングされた信号が主ビームフォーマ122に結合され得、ここで、トランスデューサ素子の個々のパッチからの部分的にビームフォーミングされた信号は完全にビームフォーミングされた信号に合成され得る。いくつかの実施形態ではマイクロビームフォーマ116は省略され、トランスデューサアレイ114は信号のすべてのビームフォーミングを実行する主ビームフォーマ122の制御下にある。マイクロビームフォーマ116を伴う実施形態及び伴わない実施形態では、主ビームフォーマ122のビームフォーミングされた信号がビームフォーミングされた信号(たとえば、ビームフォーミングされたRFデータ)から超音波画像を生成するように構成された1つ又は複数のプロセッサ(たとえば、信号プロセッサ126、Bモードプロセッサ128、ドップラプロセッサ160、及び1つ又は複数の画像生成及び処理コンポーネント168)を含み得る処理回路150に結合される。
【0017】
信号プロセッサ126は、受信されたビームフォーミングされたRFデータを、帯域通過フィルタリング、デシメーション、I及びQ成分分離、及び高調波信号分離などの様々な方法で処理するように構成され得る。信号プロセッサ126はまた、スペックル低減、信号合成、及び雑音除去などの追加の信号拡張を実行し得る。処理された信号(I及びQコンポーネント又はIQ信号とも呼ばれる)は、画像生成のための追加の下流信号処理回路に結合され得る。IQ信号は、システム内の複数の信号経路に結合され得、その各々は異なるタイプの画像データ(例えば、Bモード画像データ、ドップラー画像データ)を生成するのに適した信号処理構成要素の特定の配列に関連付けられ得る。例えば、システムは、Bモード画像データを生成するために信号プロセッサ126からの信号をBモードプロセッサ128に結合するBモード信号経路158を含むことができる。
【0018】
Bモードプロセッサは、体内の構造の画像のために振幅検出を用いることができる。Bモードプロセッサ128によって生成された信号は、スキャンコンバータ130及び／又はマルチプレーナリフォーマッタ132に結合され得る。スキャンコンバータ130は、エコー信号が受信された空間関係から所望の画像フォーマットにエコー信号を配置するように構成され得る。例えば、スキャンコンバータ130は、エコー信号を2次元(2D)扇形フォーマット、又はピラミッド形もしくは他の形状の3次元(3D)フォーマットに配置することができる。多面体改質物132は体積領域内の共通平面内の点から受信されたエコーを、例えば米国特許第6，443，896号(Detmer)に記載されているように、その平面の超音波画像(例えば、Bモード画像)に変換することができる。スキャンコンバータ130及びマルチプレーナリフォーマッタ132は、いくつかの実施形態では1つ又は複数のプロセッサとして実装され得る。
【0019】
ボリュームレンダラ134は例えば米国特許第6，530，885号(Entrekinら)に記載されているように、与えられた基準点から見た3Dデータセットの画像(投影、レンダリング、又はレンダリングとも呼ばれる)を生成することができる。ボリュームレンダラ134は、いくつかの実施形態では1つ又は複数のプロセッサとして実装され得る。ボリュームレンダラ134は、表面レンダリング及び最大強度レンダリングなどの任意の既知の又は将来の既知の技法によって、ポジレンダリング又はネガレンダリングなどのレンダリングを生成することができる。
【0020】
いくつかの実施形態では、システムが信号プロセッサ126からの出力をドップラプロセッサ160に結合するドップラー信号経路162を含むことができる。ドップラプロセッサ160はドップラーシフトを推定し、ドップラ画像データを生成するように構成され得る。ドップラー画像データは表示のためにBモード(すなわち、グレースケール)画像データとオーバーレイされるカラーデータを含むことができる。ドップラプロセッサ160は例えば壁フィルタを使用して、不要な信号(すなわち、非移動組織に関連する雑音又はクラッタ)をフィルタ除去するように構成され得る。ドップラプロセッサ160は、公知技術に従って速度及び電力を推定するようにさらに構成され得る。例えば、ドップラプロセッサは速度(ドップラー周波数)推定がラグワン自己相関関数の引数に基づき、ドップラー電力推定がラグゼロ自己相関関数の大きさに基づく、自己相関器などのドップラー推定器を含むことができる。動きは、既知の位相領域(例えば、MUSIC、ESPRITなどのパラメトリック周波数推定器)又は時間領域(例えば、相互相関)信号処理技術によって推定することもできる。速度推定器の代わりに、又は速度推定器に加えて、加速度の推定器又は時間的及び／又は空間的速度微分の推定器などの速度の時間的又は空間的分布に関連する他の推定器を使用することができる。いくつかの実施形態では、速度及び／又は電力推定値がノイズをさらに低減するためのさらなる閾値検出、ならびに充填及び平滑化などのセグメント化及び後処理を受けることができる。次いで、速度及び／又は電力推定値は、カラーマップに従って、所望の範囲の表示色にマッピングされ得る。次いで、ドップラー画像データとも呼ばれるカラーデータはスキャンコンバータ130に結合され得、ここで、ドップラー画像データは所望の画像フォーマットに変換され、組織構造のBモード画像上にオーバーレイされて、カラードップラー又はパワードップラー画像を形成し得る。いくつかの例では、スキャンコンバータ130がドップラー画像とBモード画像とを位置合わせすることができる。
【0021】
スキャンコンバータ130、マルチプレーナリフォーマッタ132、及び／又はボリュームレンダラ134からの出力は画像ディスプレイ138上に表示される前に、さらなる強調、バッファリング、及び一時記憶のために画像処理装置136に結合され得る。グラフィックスプロセッサ140は、画像と共に表示するためのグラフィックオーバーレイを生成することができる。これらのグラフィックオーバーレイは例えば、患者名、画像の日付及び時間、撮像パラメータなどの標準識別情報を含むことができる。これらの目的のために、グラフィックスプロセッサは、タイプされた患者名又は他の注釈などの入力をユーザインターフェース124から受信するように構成され得る。ユーザインターフェース124はまた、複数のマルチプレーナリフォーマット(MPR)画像のディスプレイの選択及び制御のために、マルチプレーナリフォーマッタ132に結合され得る。
【0022】
超音波イメージングシステム100は、ローカルメモリ142を含むことができる。ローカルメモリ142は任意の適切な非一時的コンピュータ可読媒体(例えば、フラッシュドライブ、ハードディスクドライブ)として実装され得る。ローカルメモリ142は、超音波画像、実行可能命令、訓練データセット、及び／又は超音波イメージングシステム100の動作に必要な任意の他の情報を含む、超音波イメージングシステム100によって生成されたデータを記憶することができる。図1の難読化を回避するためにすべての接続が示されているわけではないが、ローカルメモリ142はスキャンコンバータ130、マルチプレーナリフォーマッタ132、及び画像処理装置136以外の追加成分によってアクセス可能であり得る。たとえば、ローカルメモリ142は、グラフィックスプロセッサ140、送信コントローラ120、信号プロセッサ126、ユーザインターフェース124などにアクセス可能であり得る。
【0023】
前述のように、超音波イメージングシステム100は、ユーザインターフェース124を含む。ユーザインターフェース124は、ディスプレイ138及び制御パネル152を含むことができる。ディスプレイ138は、LCD、LED、OLED、又はプラズマディスプレイ技術などの様々な既知のディスプレイ技術を使用して実装される表示装置を含み得る。いくつかの実施形態では、ディスプレイ138が複数のディスプレイを備え得る。制御パネル152はユーザ入力(例えば、予め設定された数のフレーム、検査タイプ、撮像モード)を受信するように構成され得る。制御パネル152は1つ以上のハード制御(例えば、マイクロフォン／スピーカ、ボタン、ノブ、ダイヤル、エンコーダ、マウス、トラックボールなど)を含んでもよい。ハード機械的制御コントロールと呼ばれることもある。いくつかの実施形態では、制御パネル152が追加又は代替として、タッチセンシティブディスプレイ上に提供されるソフト制御(たとえば、GUI制御要素、又は単にボタン及びスライダなどのGUI制御)を含み得る。いくつかの実施形態では、ディスプレイ138が制御パネル152の1つ以上のソフトコントロールを含むタッチセンシティブディスプレイであってもよい。
【0024】
いくつかの実施形態では、図1に示す様々なコンポーネントを組み合わせることができる。たとえば、いくつかの例では、単一のプロセッサが処理回路150(たとえば、画像処理装置136、グラフィックスプロセッサ140)の複数コンポーネント、ならびにチャットボット170を実装し得る。いくつかの実施形態では、図1に示される様々なコンポーネントが別個のコンポーネントとして実装され得る。たとえば、信号プロセッサ126は各撮像モード(たとえば、Bモード、ドップラー、SWE)のための別々の信号プロセッサとして実装され得る。いくつかの実施形態では、図1に示す様々なプロセッサのうちの1つ又は複数が指定されたタスクを実行するように構成された汎用プロセッサ及び／又はマイクロプロセッサによって実装され得る。いくつかの実施形態では、様々なプロセッサのうちの1つ又は複数が特定用途向け回路として実装され得る。いくつかの実施形態では様々なプロセッサ(たとえば、画像処理装置136)のうちの1つ又は複数は1つ又は複数のグラフィカル処理ユニット(GPU)を用いて実装され得る。
【0025】
本開示の例によれば、超音波イメージングシステム100は、ユーザインターフェース124を介して自然言語を使用してユーザと対話することができるチャットボット170を含むことができる。たとえば、ユーザインターフェース124は、チャットボット170をアクティブ化するための専用のソフト又はハード制御を有し得る。いくつかの例では、テキストウィンドウ又はアイコンがディスプレイ138のコーナーに提供され得る。ユーザが領域をクリック、タップ、及び／又はホバリングすると、チャットボット170は挨拶で応答することができ、及び／又は、アイコンがユーザがテキストを入力することができるウィンドウを示すように拡張することができる。ユーザが自然言語入力(例えば、質問又はコマンド)を入力すると、入力フレーズを解析し、解釈して、ユーザが入力(例えば、意図)において何を要求したかを決定することができる。処理されたフレーズはユーザの入力に対する出力(たとえば、自然言語応答及び／又は動作)を決定するために、1つ又は複数のニューラルネットワークに提供され得る。追加又は代替として、ユーザは、音声によってチャットボット170と対話することができる。たとえば、チャットボット170は、ユーザがアイコンをクリック、タップ、又はホバリングするのを待つのではなく、「やあ、フィリパ」などの活性化フレーズを「聴く」ことができる。次いで、ユーザは起動フレーズを述べた後に、入力を口頭で提供することができる。
【0026】
いくつかの例では、チャットボット170が1つ又は複数のプロセッサを含み得、及び／又は1つ又は複数のプロセッサ及び／又は特定用途向け集積回路によるコンピュータ可読命令(たとえば、ローカルメモリ142上に記憶されたコンピュータ可読命令など)の実行によって実装され得る。チャットボット170は、ユーザによって提供されるユーザ入力に応答することができる。いくつかの例では、チャットボット170がユーザインターフェース124に含まれるキーボード及び／又はタッチスクリーンを介して入力を受信し得る。いくつかの例では、チャットボット170がマイクロフォンを介してユーザから入力を受信し得る。ユーザからの入力は、質問及び／又は要求であってもよい。いくつかの例では、チャットボット170がディスプレイ138及び／又はユーザインターフェース124に含まれるスピーカ／マイクロフォン172を介して、自然言語出力をユーザに提供し得る。出力は、質問に対する回答、要求の実行、及び／又は要求が実行されたコンフォメーションであってもよい。
【0027】
図1を難読化することを回避するために接続は示されていないが、チャットボット170は超音波イメージングシステム100の1つ又は複数の構成要素から情報を受信すること、及び／又はそれらに命令を与えることが可能であり得る。たとえば、チャットボット170は、ローカルメモリ142から命令及び／又はデータを受信することができる。別の例では、チャットボット170がユーザ入力に基づいて送信コントローラ120に命令を与え得る。さらなる例では、チャットボット170がディスプレイ138上に提供された超音波画像に関する情報を画像処理装置136から受信することができる。図1ではユーザインターフェース124内に示されているが、チャットボット170はユーザインターフェース124内に物理的に配置される必要はなく、又はそのすぐ隣に配置される必要もない。例えば、チャットボット170は、処理回路150と共に配置されてもよい。
【0028】
いくつかの例では、チャットボット170がユーザの意図を決定するために自然言語ユーザ入力を分析し得る、任意の1つ又は複数の機械学習モデル、深層学習モデル、人工知能アルゴリズム、及び／又はニューラルネットワーク(まとめて、モデル)を含み、及び／又は実装し得る。いくつかの例では、チャットボット170がユーザの意図(たとえば、問題、要求)を決定するために、長期短期(LSTM)モデル、ディープニューラルネットワーク(DNN)、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、オートエンコーダニューラルネットワークなどを含み得る。モデル及び／又はニューラルネットワークはハードウェア(たとえば、ニューロンは物理的コンポーネントによって表される)及び／又はソフトウェア(たとえば、ソフトウェアアプリケーションにおいて実装されるニューロン及び経路)構成要素において実装され得る。本開示に従って実装されるモデル及び／又はニューラルネットワークは所望の出力を生成するために、モデル及び／又はニューラルネットワークを訓練するための様々なトポロジー及び学習アルゴリズムを使用し得る。たとえば、ソフトウェアベースのニューラルネットワークは命令を実行するように構成されたプロセッサ(たとえば、シングルコア又はマルチコアCPU、シングルGPU又はGPUクラスタ、又は並列処理のために構成された複数のプロセッサ)を使用して実装され得、命令はコンピュータ可読媒体に記憶され得、実行されると、プロセッサに、ユーザの意図を判断し、それに応答する(たとえば、問題を受信し、問題に対する適切な回答を与える)ための訓練されたアルゴリズムを実行させる。いくつかの実施形態では、チャットボット170が他のデータ処理方法(例えば、統計的分析)と組み合わせてモデル及び／又はニューラルネットワークを実装することができる。
【0029】
様々な実施形態では、モデル(複数可)がユーザ入力(例えば、タイプされたか又は話されたかにかかわらず、文及びその部分)を分析するように構成されたモデル(例えば、訓練されたアルゴリズム、伝達関数、又はノードのハードウェアベースのシステム)を取得するために、様々な現在知られているか又は後に開発される学習技術のいずれかを使用して訓練され得る。いくつかの実施形態では、モデルは静的に訓練されてもよい。すなわち、モデルは、データセットを用いて訓練され、チャットボット170上に展開され得る。いくつかの実施形態では、モデルは動的に訓練されてもよい。これらの実施形態では、モデルが初期データセットを用いて訓練され、超音波システム100上に展開され得る。しかしながら、モデルは、超音波イメージングシステム100上にモデルを配備した後にチャットボット170によって取得された入力に基づいて、訓練し続け、修正され得る。
【0030】
任意選択で、いくつかの例では、超音波イメージングシステム100が1つ又は複数の通信チャネル110を介して1つ又は複数のデバイスと通信することができる。通信チャネル110は有線(たとえば、イーサネット(登録商標)、USB)又はワイヤレス(たとえば、Bluetooth(登録商標)、WiFi)であり得る。いくつかの例では、超音波イメージングシステム100が1つ又は複数のコンピューティングシステム107と通信することができる。コンピューティングシステム107は、患者の電子医療記録を含み得る病院サーバを含み得る。医療記録は、以前の検査からの画像を含むことができる。コンピューティングシステム107は、画像アーカイブコンピュータシステム(PACS)を含むことができる。いくつかの例では、チャットボット170がユーザ入力に応答するために、通信チャネル110を介してコンピューティングシステム107(又はコンピューティングシステム107と対話する超音波イメージングシステム100上の別のアプリケーション)と対話することができる。
【0031】
いくつかの例では、超音波イメージングシステム100がスマートフォン、タブレット、及び／又はラップトップなどのモバイル装置105と通信し得る。いくつかの例では、モバイル装置105がチャットボット170のいくつかを実装するアプリケーションを含み得る。たとえば、モバイル装置105は自然言語入力を受信し、及び／又は自然言語出力を提供するために、チャットボット170がモバイル装置105のスピーカ109、マイクロフォン111、及び／又はディスプレイ113(タッチスクリーンであり得る)を利用することを可能にするアプリケーションを含み得る。いくつかの例ではモバイル装置105が受信されたユーザ入力を超音波イメージングシステム100に与え得、超音波イメージングシステム100は入力に対する応答をモバイル装置105に与え得る。言い換えれば105は、ユーザインターフェース124の拡張であり得る。別の例では、モバイル装置105がチャットボット170が遠隔に位置するサーバ及び／又は他のリソースと通信することを可能にする(たとえば、超音波イメージングシステム100の製造業者の技術サポート部門にデータを送信し、及び／又はそれに電話をかける)アプリケーションを含み得る。
【0032】
いくつかの実施形態では、図1に示す様々なコンポーネントを組み合わせることができる。たとえば、いくつかの例では、単一のプロセッサが処理回路150(たとえば、画像処理装置136、グラフィックスプロセッサ140)の複数コンポーネント、ならびにチャットボット170を実装し得る。いくつかの実施形態では、図1に示される様々なコンポーネントが別個のコンポーネントとして実装され得る。たとえば、信号プロセッサ126は各撮像モード(たとえば、Bモード、ドップラー、SWE)のための別々の信号プロセッサとして実装され得る。いくつかの実施形態では、図1に示す様々なプロセッサのうちの1つ又は複数が指定されたタスクを実行するように構成された汎用プロセッサ及び／又はマイクロプロセッサによって実装され得る。いくつかの実施形態では、様々なプロセッサのうちの1つ又は複数が特定用途向け回路として実装され得る。いくつかの実施形態では様々なプロセッサ(たとえば、画像処理装置136)のうちの1つ又は複数は1つ又は複数のグラフィカル処理ユニット(GPU)を用いて実装され得る。
【0033】
図2は、本開示の原理による例示的なプロセッサ200を示すブロック図である。プロセッサ200は本明細書で説明する1つ又は複数のプロセッサ及び／又はコントローラ、例えば、画像処理装置136、グラフィックプロセッサ140、及び／又はチャットボット170及び／又は図1に示す任意の他のプロセッサ又はコントローラを実装する1つ又は複数のプロセッサを実装するために使用され得る。プロセッサ200は限定はしないが、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)、FPGAがプロセッサを形成するようにプログラムされているフィールドプログラマブルゲートアレイ(FPGA)、グラフィカル処理ユニット(GPU)、ASICがプロセッサを形成するように設計されている特定用途向け回路(ASIC)、又はそれらの組合せを含む、任意の適切なプロセッサタイプであり得る。
【0034】
プロセッサ200は、1つ又は複数のコア202を含み得る。コア202は、1つ又は複数の演算論理ユニット(ALU)204を含み得る。いくつかの実施形態では、コア202がALU 204に加えて、又はその代わりに、浮動小数点論理ユニット(FPLU)206及び／又はデジタル信号処理ユニット(DSPU)208を含み得る。
【0035】
プロセッサ200は、コア202に通信可能に結合された1つ又は複数のレジスタ212を含み得る。レジスタ212は専用論理ゲート回路(たとえば、フリップフロップ)及び／又は任意のメモリ技術を使用して実装され得る。いくつかの実施形態では、レジスタ212がスタティックメモリを使用して実装され得る。レジスタは、データ、命令、及びアドレスを中核202に提供することができる。
【0036】
いくつかの実施形態では、プロセッサ200がコア202に通信可能に結合された1つ又は複数のレベルのキャッシュメモリ210を含み得る。キャッシュメモリ210は、コンピュータ可読命令を実行のためにコア202に提供することができる。キャッシュメモリ210は、コア202による処理のためのデータを提供し得る。いくつかの実施形態では、コンピュータ可読命令がローカルメモリ、例えば、外部バス216に取り付けられたローカルメモリによってキャッシュメモリ210に提供されていてもよい。キャッシュメモリ210は任意の適切なキャッシュメモリタイプ、たとえば、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、及び／又は任意の他の適切なメモリ技術などの金属酸化膜半導体(MOS)メモリを用いて実装され得る。
【0037】
プロセッサ200はシステムに含まれる他のプロセッサ及び／又は構成要素(たとえば、図1に示される制御パネル152及びスキャンコンバータ130)からのプロセッサ200への入力、及び／又はプロセッサ200からシステムに含まれる他のプロセッサ及び／又は構成要素(たとえば、図1に示されるディスプレイ138及びボリュームレンダラ134)への出力を制御し得るコントローラ214を含み得る。コントローラ214は、ALU 204、FPLU 206、及び／又はDSPU 208内のデータパスを制御することができる。コントローラ214は、1つ又は複数の状態マシン、データパス、及び／又は専用制御論理として実装され得る。コントローラ214のゲートは、スタンドアロンゲート、FPGA、ASIC、又は任意の他の適切な技術として実装され得る。
【0038】
レジスタ212及びキャッシュメモリ210は、内部接続220A、220B、220C、及び220Dを介してコントローラ214及びコア202と通信することができる。内部接続は、バス、マルチプレクサ、クロスバースイッチ、及び／又は任意の他の適切な接続技術として実装され得る。
【0039】
プロセッサ200のための入力及び出力は、1つ又は複数の導電線を含み得るバス216を介して提供され得る。バス216はプロセッサ200の1つ又は複数のコンポーネント、たとえば、コントローラ214、キャッシュメモリ210、及び／又はレジスタ212に通信可能に結合され得る。バス216は、前述のディスプレイ138及び制御パネル152など、システムの1つ又は複数の構成要素に結合され得る。
【0040】
バス216は、1つ又は複数の外部メモリに結合され得る。外部メモリは、ROM(Read Only Memory)232を含み得る。ROM 232は、マスクされたROM、電子フィールドプログラマブルゲートアレイ読み出し専用メモリ(EPROM)、又は任意の他の適切な技術であり得る。外部メモリは、ランダムアクセスメモリ(RAM)233を含むことができる。RAM 233は、スタティックRAM、バッテリバックアップスタティックRAM、ダイナミックRAM(DRAM)、又は任意の他の適切な技術であり得る。外部メモリは、EEPROM(Electrically Erasable Programmable Read Only Memory)235を含んでもよい。外部メモリは、フラッシュメモリ234を含んでもよい。外部メモリは、ディスク236などの磁気記憶デバイスを含むことができる。いくつかの実施形態では、外部メモリが図1に示される超音波イメージングシステム100、例えばローカルメモリ142などのシステムに含まれてもよい。
【0041】
図3は、本開示の原理による、医用イメージングシステム上のチャットボットの異なる適用例の概要を提供する図である。図300に示すように、超音波イメージングシステム100上のチャットボット170などの医用イメージングシステム上のチャットボット302は、ユーザを異なるリソースに向け、及び／又は異なるリソースにアクセスして、自然言語を使用するユーザを支援することができる「受付係」として働くことができる。いくつかの例では複数のチャットボット知識ベース304があり得、各々は特定の焦点領域における問題に回答するための特定の知識を有する。図示の例では、領域がシステム動作、設定支援、臨床支援、トレーニング／マーケティング、及びサービスを含む。しかしながら、より少ない、追加の、及び／又は異なる知識ベースが、他の例に含まれ得る。知識ベース304はファイル、データベースに含まれる、及び／又は別のアプリケーション(例えば、解剖学的特徴識別機械学習モデル、測定ツールセット)から渡されるデータを含み得る。いくつかの例では、データの一部又は全部がチャットボット302にアクセス可能なローカルメモリ142などの非一時的コンピュータ可読媒体に記憶され得る。
【0042】
図4は、本開示の原理による、チャットボットにアクセスする例を図示する。ディスプレイ400は、いくつかの例では超音波イメージングシステム100などの超音波イメージングシステムに含まれ得る。いくつかの例では、ディスプレイ400がディスプレイ138に含まれ得る。いくつかの例では、ディスプレイ400がカーソル402などの様々なGUI要素と、チャットボットアイコン404などの選択可能なアイコンとを提供し得る。ユーザは、トラックボール、矢印キー、マウス、タッチパッド、ジョイスティック、及び／又は任意の他の任意の適切な技術を使用して、カーソル402を移動させることができる。ユーザは、カーソル402を使用して、超音波イメージングシステムと対話することができる。例えば、ユーザは、超音波画像内の特徴を測定するために測定ツールにアクセスすることができる。別の例ではユーザがパネルAに示されるように、カーソル402をチャットボットアイコン404に移動させることによって、チャットボット170などのチャットボットにアクセスすることができる。ユーザがパネルBに示されるように、チャットボットアイコン404の上でカーソル402をクリック、タップ、及び／又はホバリングすると、チャットボットアイコン404はダイアログボックス406に展開することができる。ダイアログボックス406は、グリーティング408、ユーザがテキストを入力できるテキストボックス410、及び／又はユーザが処理のために任意の入力されたテキストをチャットボットに提出することを可能にする送信アイコン412を含むことができる。いくつかの例では、ダイアログボックス406がユーザがテキストではなく音声を介してチャットボットに入力を提供することを可能にするアイコン(図示せず)などの追加の特徴を含み得る。
【0043】
図5は、本開示の原理による、チャットボットとユーザとの間の例示的なテキスト対話である。ダイアログボックス500は、いくつかの例ではディスプレイ138及び／又はディスプレイ400などのディスプレイ上に提供され得る。ダイアログボックス500は、いくつかの例ではダイアログボックス406を実装し得る。ダイアログボックス500は例えば図4を参照して説明したように、ユーザがチャットボットアイコンをクリックすることに応答して提供されてもよい。あるいは、ダイアログボックス500がユーザによって発行された口頭コマンド(例えば、「やあ、フィリパ」)に応答して提供されていてもよい。
【0044】
図示の例では、ユーザが初期問い合わせ502「私のソフトウェアバージョンは何か？」を入力している チャットボットは応答504を提供し、「あなたのシステムはEPIQ 7G、ソフトウェアバージョン7．02、シリアル番号320328923である。」いくつかの例では、チャットボットのニューラルネットワークなどの訓練された機械学習モデルがユーザの意図(たとえば、ソフトウェアバージョンを知りたい)を推測するために、初期問い合わせ502の自然言語を分析している場合がある。機械学習モデルによって出力された意図に基づいて、チャットボットは応答504を提供するために、超音波イメージングシステムから適切な情報(例えば、ソフトウェアバージョン情報)(例えば、データベース、ファイル、又はローカルメモリ142上に記憶された他のデータ構造からの情報)を取り出す(例えば、ローカルメモリなどの超音波イメージングシステムの適切な構成要素にクエリを送信し、構成要素からクエリに対する応答を受信する)ことができる。
【0045】
ユーザは、問題の形成で入力を提供する必要はない。図5に示されるように、第2の入力506は、「無線検査転送に問題がある」と述べ、チャットボットはユーザの入力を分析し、ユーザがWIFIに問題があると推測する。チャットボットは次いで、現在のWIFI設定を検索し、応答508によって示されるように、WIFI設定が正しくない可能性があることを示し、「あなたのwifi ipアドレスは192．168．0．0であり、これはローカルipアドレスであり、問題であり得る。」いくつかの例ではIPアドレスがローカルであり、無線検査転送のための問題であり得るという決定はチャットボットによって決定され得ない。むしろ、無線通信を制御するための超音波イメージングシステム(例えば、超音波イメージングシステム100)上の別のアプリケーションは、チャットボットによる問い合わせに応答して、情報及び決定を提供し得る。
【0046】
図6は、本開示の原理による、チャットボットとのユーザ対話の例を図示する。ディスプレイ600は、いくつかの例では超音波イメージングシステム100などの超音波イメージングシステムに含まれ得る。いくつかの例では、ディスプレイ600がディスプレイ138に含まれ得る。いくつかの例では、ディスプレイ600が超音波プローブ112などの超音波プローブによって取得された超音波画像602を提供することができる。いくつかの例では、ディスプレイ600を含む超音波イメージングシステムがディスプレイ604をさらに含み得る。いくつかの例では、ディスプレイ604がチャットボット170などのチャットボットのためのダイアログボックス606など、様々なGUI要素を提供し得る。いくつかの例では、ディスプレイ604はタッチスクリーンであり得る。いくつかの例では、ディスプレイ604がディスプレイ600よりも小さくてもよい。もちろん、他の例では、ディスプレイ600及び604は同じサイズであってもよく、又はディスプレイ604はディスプレイ600よりも大きくてもよい。いくつかの例では、ディスプレイ600及び604の両方がタッチスクリーンであってもよい。いくつかの例では、ディスプレイ600及び604の両方が超音波画像及びGUI要素を提供し得る。いくつかの例では、ディスプレイ604がモバイル装置105などの超音波イメージングシステムと通信するモバイル装置のディスプレイであり得る。
【0047】
図6に示す例では、ユーザが超音波画像602について問い合わせる自然言語入力608を提供する。チャットボットは、画像602が被検体の右腎臓を含むことを示す応答610を提供する。超音波画像602はレビュー中にディスプレイ600上に表示される画像(例えば、検査後に画像ファイルから取り出される)であってもよく、又は超音波画像602は「ライブ」であってもよく、すなわち、検査中に超音波プローブによって取得されたばかりであり、及び／又は現在取得されている。いくつかの例では、例えば、超音波画像602が検査後にユーザによってレビューされているとき、チャットボットは超音波画像602に何が含まれているかを決定するために、ラベル及び／又は注釈を画像ファイルに問い合わせることができる。チャットボットは、応答610を提供するためにラベル及び／又は注釈を使用することができる。いくつかの例では例えば、超音波画像602がライブであり、及び／又はレビューされているとき、チャットボットは超音波画像602内の解剖学的特徴を識別するように訓練された機械学習モデルに問い合わせることができる。機械学習モデルは超音波画像602を分析し、超音波画像602に存在する解剖学的特徴に関する推定をチャットボットに提供することができる。チャットボットは、推定を使用して応答610を提供することができる。したがって、チャットボットは、ユーザがディスプレイ600上で何を見ているかを「知っている」ことがある。
【0048】
【0049】
図7は、本開示の原理による、チャットボットとのユーザ対話の一例を示す。ディスプレイ700は、いくつかの例では超音波イメージングシステム100などの超音波イメージングシステムに含まれ得る。いくつかの例では、ディスプレイ700がディスプレイ138に含まれ得る。いくつかの例では、ディスプレイ700が超音波プローブ112などの超音波プローブによって取得された超音波画像702を提供することができる。いくつかの例では、ディスプレイ700を含む超音波イメージングシステムがディスプレイ704をさらに含み得る。いくつかの例では、ディスプレイ704がチャットボット170などのチャットボットのためのダイアログボックス706など、様々なGUI要素を提供し得る。いくつかの例では、ディスプレイ704はタッチスクリーンであり得る。いくつかの例では、ディスプレイ704がディスプレイ700よりも小さくてもよい。もちろん、他の例では、ディスプレイ700及び704は同じサイズであってもよく、又はディスプレイ704はディスプレイ700よりも大きくてもよい。いくつかの例では、ディスプレイ700及び704の両方がタッチスクリーンであってもよい。いくつかの例では、ディスプレイ700及び704の両方が超音波画像及びGUI要素を提供し得る。いくつかの例では、ディスプレイ704がモバイル装置105などの超音波イメージングシステムと通信するモバイル装置のディスプレイであり得る。
【0050】
いくつかの例では、チャットボットが超音波イメージングシステム上の活動(例えば、ユーザ入力、設定)を監視することができる。チャットボットは、ユーザ及び／又は超音波イメージングシステムによって行われる特定の動作に応答して、ユーザに自然言語プロンプトを提供することができる。いくつかの例では、超音波イメージングシステム上の他のアプリケーションがアプリケーションがユーザから特定の入力を受信するとき、及び／又は別の所定のイベントが発生するとき、チャットボットをトリガしてプロンプトを提供することができる。
【0051】
図7に示す例では心エコー図が実行されており、超音波画像702は被検体の心臓のビューを含む。いくつかの例では、チャットボットがユーザによって選択された検査タイプに関する指標を受信(又は要求及び受信)することができる。いくつかの例では、チャットボットが超音波画像702が機械学習モデルから心臓のビューを含むという決定を受信(又は要求及び受信)し得る。超音波画像702内の心臓の検査タイプ及び／又は含めることに基づいて、チャットボットは、撮像されている検査タイプ及び／又は解剖学的構造に特有の支援をユーザに提供するプロンプト708を提供することができる。図示の例では、チャットボットが心エコー検査のためのプロトコルを開始することを提案する。ユーザは、支援の提供を受け入れる入力710を提供する。次いで、チャットボットは支援を開始する(例えば、心エコー検査プロトコルを開始する)ために、超音波イメージングシステム上の適切なアプリケーションにコマンドを送信することができる。コマンドが送信されると、チャットボットはユーザに確認712を提供することができる。チャットボットが提供する支援の他の例としてはGUI上で適切な測定ツールを提供すること、テクニカルサポートに連絡すること、及びトラブルシューティングウィザードを開始することが挙げられるが、これらに限定されない。
【0052】
図8は、本開示の原理による、超音波イメージングマシン上のチャットボットの機能ブロック図である。いくつかの例では、チャットボット800が1つ又は複数のプロセッサによって実装され得る。いくつかの例では、1つ又は複数のプロセッサが1つ又は複数の非一時的コンピュータ可読媒体によって提供される命令を実行することによってチャットボット800を実装し得る。チャットボット800は、超音波イメージングシステム100などの超音波イメージングシステムに含まれ得る。いくつかの例では、チャットボット800が機械学習モデル802及び応答生成器804を含み得る。いくつかの例では、機械学習モデル802及び応答生成器804が別個のプロセッサによって実装され得る。他の例では、それらは同じプロセッサ又は同じグループのプロセッサによって実装され得る。いくつかの例では、チャットボット800がチャットボット170を実装するために使用され得る。
【0053】
機械学習モデル802は、ユーザインターフェース806を介して受信された自然言語ユーザ入力に基づいてユーザ意図を推定するための訓練であり得る。いくつかの例では、ユーザインターフェース806がユーザインターフェース124に含まれ得る。いくつかの例では、ユーザインターフェース806の少なくとも一つの部分がモバイル装置105などのモバイル装置上に含まれ得る。機械学習モデル802によって決定された意図は、応答生成器804に提供され得る。応答生成器804は、ユーザインターフェース806を介してユーザに提供するための自然言語応答を生成することができる。いくつかの例では、応答生成器804が機械学習モデル802によって出力された意図に基づいて、1つ又は複数のクエリ及び／又はコマンドを提供することができる。クエリ及び／又はコマンドは、超音波イメージングシステムの他のコンポーネント808に提供されてもよい。図示の例では、他のコンポーネント808が超音波イメージングシステムの他の機械学習モデル810、ローカルメモリ812、及び／又は他のアプリケーション814を含むことができる。
【0054】
例えば、応答生成器804はユーザが被検体の以前の検査を検索することを望んでいることを意図が示すとき、ローカルメモリ812にクエリを送信することができる。別の例では、応答生成器804がユーザがどの解剖学的特徴が現在超音波イメージングシステムのディスプレイ上に表示されているかを知りたいときに、機械学習モデル810に照会することができる。別の例では、応答生成器804がユーザが取得設定を変更する(例えば、利得を増加させる、ドップラー撮像モードにスイッチ)ことを望むときなどに、他のアプリケーション814にコマンドを送信することができる。
【0055】
クエリに対する応答及び／又はコマンドが実装されたことの確認に基づいて、応答生成器804はユーザの問題に答えるために、及び／又はユーザの要求が完了又は開始されたことを確認するために、ユーザの入力に自然言語応答を提供し得る。あるいはユーザのクエリに回答できない、又は要求が完了できない場合、応答生成器804はそのような表示を提供する(例えば、「申し訳ないが、ジェーンドゥの検査を見つけることができない」、「申し訳ないが、その設定はあなたが使用しているプローブと互換性がない」)。図7を参照して述べたように、いくつかの例では、応答生成器804が機械学習モデル802によって提供される意図に応答するのではなく、コンポーネント808のうちの1つからのトリガに応答するプロンプトを提供することができる。
【0056】
いくつかの実施形態では、機械学習モデル802が入力からユーザの意図を推定できない場合、又は推定に関連する信頼レベル(たとえば、推定が正しい確率)が閾値を下回る場合、応答生成器804はそのような指標(たとえば、「すみません、私は理解していない」)を提供することができる。他の実施形態では、応答生成器804が信頼レベルが閾値未満であるとき、より多くの情報をユーザに促すことができる。
【0057】
例えば、機械学習モデル802がユーザ入力がBluetoothを参照するが、そうでなければユーザの意図を推定することができないことを認識した場合、応答生成器804は「Bluetoothデバイスを接続するのを助けたいか？」というプロンプトを提供することができる。
【0058】
図9は本開示の原理に従ってユーザ意図を分析するために使用され得るニューラルネットワークの図である。いくつかの例では、ニューラルネットワーク900が機械学習モデル(たとえば、機械学習モデル802)を実装するために、超音波イメージングシステム(たとえば、超音波イメージングシステム100)の1つ又は複数のプロセッサによって実装され得る。機械学習モデルは、チャットボット170及び／又はチャットボット800などのチャットボットに含まれ得る。いくつかの例では、ニューラルネットワーク900が単一及び／又は多次元層を有する畳み込みネットワークであり得る。ニューラルネットワーク900は、1つ又は複数の入力ノード902を含み得る。いくつかの例では、入力ノード902がニューラルネットワーク900の層に編成され得る。入力ノード902は、重み904によって隠れユニット906の1つ又は複数の層908に結合され得る。いくつかの例では、隠れユニット906が関連する重み904に少なくとも部分的に基づいて、入力ノード902からの1つ又は複数の入力に対してオペレーションを実行する。いくつかの例では、隠れユニット906が重み910によって隠れユニット912の1つ又は複数の層914に結合され得る。隠れユニット912は、重み910に少なくとも部分的に基づいて、隠れユニット906からの1つ又は複数の出力に対して動作を実行し得る。隠れユニット912の出力はニューラルネットワーク900の出力(例えば、推定)を提供するために、出力ノード916に提供され得る。図9には1つの出力ノード916が示されているが、いくつかの例ではニューラルネットワークは複数の出力ノード916を有し得る。いくつかの例では、出力が信頼性レベルを伴い得る。信頼レベルは0乃至1を含む値であってもよく、ここで、信頼レベル0はニューラルネットワーク900が出力が正しいという信頼性を有さないことを示し、1の信頼レベルはニューラルネットワーク900が出力が正しいという100％の信頼性であることを示す。
【0059】
いくつかの例では、1つ又は複数の入力ノード902において提供されるニューラルネットワーク900への入力がユーザ入力テキスト、(デジタル化された形態の)ユーザ入力音声、ログファイル、ライブキャプチャ使用データ、現在のシステム設定、及び／又は超音波プローブによって取得された画像を含み得る。いくつかの例では、出力ノード916において提供される出力がユーザ意図の予測(たとえば、推定)を含み得る。
【0060】
ニューラルネットワーク900の出力は超音波イメージングシステムによって使用されて、1つ以上のタスク(例えば、イメージングセットの変化、病院サーバからの患者ファイルの検索、電話技術サポート)を実行し、及び／又は1つ以上の出力(例えば、現在のソフトウェアバージョン、どの解剖学的ビューが現在表示されているか)を提供することができる。
【0061】
いくつかの例では、応答生成器804などの別のプロセッサ、アプリケーション、又はモジュールは決定された(たとえば、予測された、推定された)ユーザ意図に応答するために使用され得るニューラルネットワーク900及び／又は他のニューラルネットワークから複数の出力を受信し得る。例えば、応答発生器は超音波イメージングシステムの超音波プローブ(例えば、超音波プローブ112)によって現在撮像されている解剖学的特徴を示す出力を受信することができる。応答生成器はまた、測定ツールを要求するユーザ意図を示す出力を受信してもよい。これらの出力に基づいて、応答発生器は、コマンドを実行させて、ディスプレイ上の特定の解剖学的構造と共に使用される測定ツールを提供することができる。
【0062】
ここでは畳み込みニューラルネットワークについて説明したが、この機械学習モデルは一例として提供されたに過ぎず、本開示の原理はこの特定のモデルに限定されない。例えば、自然言語処理のためにしばしば使用される長期短期記憶モデルなどの他の及び／又は追加のモデルが使用されてもよい。
【0063】
図10は、本開示の原理による、モデルの訓練及び展開のためのプロセスのブロック図を示す。図10に示されるプロセスは超音波システムに含まれるモデル(例えば、人工知能アルゴリズム、ニューラルネットワーク)、例えば、超音波システムのプロセッサ(例えば、チャットボット170)によって実装されるモデルを訓練するために使用され得る。図10のフェーズ1の左側は、モデルの訓練を示す。モデルを訓練するために、入力アレイの複数のインスタンス及び出力分類を含む訓練セット、モデルの訓練アルゴリズム(複数可)に提示され得る(例えば、Krizhevsky, A., Sutskever, I. and Hinton, G. E. “ImageNet Classification with Deep Convolutional Neural Networks,” NIPS 2012又はその派生)。訓練は、開始アルゴリズム及び／又はネットワークアーキテクチャ1012の選択と、訓練データ1014の準備とを含むことができる。開始アーキテクチャ1012はブランクアーキテクチャ(例えば、定義された層及びノードの配置を有するが、いかなる以前に訓練された重みも有さないアーキテクチャ、設定された数の回帰係数を有するか又は有さない定義されたアルゴリズム)、又は開始ネットワークなどの部分的に訓練されたモデルであってもよく、次いで、超音波データの分析のためにさらに調整されてもよい。開始アーキテクチャ1012(たとえば、ブランク重み)及び訓練データ1014は、モデルを訓練するためにトレーニングエンジン1010に提供される。十分な反復回数(例えば、モデルが許容可能な誤差内で一貫して実行するとき)に応じて、モデル1020は図10のフェーズ2の中央に示されるように、訓練され、展開の準備ができていると言われる。図10の右側、すなわちフェーズ3では、訓練されたモデル1020が(推定エンジン1030を介して)初期訓練中にモデルに提示されなかったデータである新しいデータ1032の分析に適用される(フェーズ1において)。例えば、新しいデータ1032は患者のスキャン中(例えば、心エコー検査中)のユーザからの質問を含むことができる。エンジン1030を介して実施される訓練されたモデル1020はモデル1020の訓練に従って未知のデータを分析して、出力1034(例えば、ユーザの意図)を提供するために使用される。次いで、出力1034はその後の処理1040(例えば、設定を変更し、所望のアプリケーションを開く)のためにシステムによって使用され得る。任意選択で、モデル1020が動的に訓練される例ではフィールド訓練データ1038が提供され得、これはエンジン1030によって実装されるモデル1020を精緻化し得る。
【0064】
図11は、本開示の原理による方法のフローチャートである。方法1100は、いくつかの例ではイメージングシステム100などのイメージングシステムによって実行され得る。いくつかの例では、方法1100のいくつか又はすべてはチャットボット170及び／又はチャットボット800などのチャットボットを実装するものなど、撮像システムに含まれるプロセッサ200などの1つ又は複数のプロセッサによって実行され得る。方法1100は、ユーザがチャットボットを介して医用イメージングシステムと対話することを可能にし得る。チャットボットはユーザが様々な情報(例えば、患者の医療記録、イメージングシステムの構成設定、規格検査プロトコル、現在見られている画像に関する情報)を取得すること、及び／又は、ユーザがイメージングシステムに様々なタスク(例えば、コールテク二カルサポート、画像取得設定の変更、測定ツールセットなどのアプリケーションを開くことなど)を実行させることを可能にし得る。
【0065】
ユーザインターフェース124などのユーザインターフェースはブロック1102によって示されるように、自然言語ユーザ入力を受信することができる。いくつかの例では、ユーザインターフェースの一つの部分がモバイル装置105などのモバイル装置上に含まれ得る。たとえば、モバイル装置105は、ユーザ入力を受信することができるダイアログボックス及びテキストボックスを含み得る。モバイル装置を介して受信されたユーザ入力は、医用イメージングシステムに提供され得る。少なくとも1つのプロセッサはブロック1104によって示されるように、ユーザ入力の意図を決定することができる。少なくとも1つのプロセッサは、いくつかの例ではチャットボットを実装し得る。ブロック1104で決定されたユーザ意図に応答して、少なくとも1つのプロセッサは非一時的コンピュータ可読媒体上に記憶された医用イメージングシステムに関連するデータを取り出すことができ、又は少なくとも1つのプロセッサはブロック1106で示されるように、医用イメージングシステムによって実行されるべきコマンドを発行することができる。いくつかの例では、意図を決定するプロセッサがデータを取り出し、及び／又はコマンドを発行する少なくとも1つのプロセッサとは異なり得る。取り出されたデータ及び／又はコマンドに基づいて、少なくとも1つのプロセッサはブロック1108によって示されるように、ユーザインターフェースを介してユーザに自然言語応答を提供することができる。応答は、テキスト、オーディオ、グラフィカル、及び／又は他の方法として提供されてもよい。いくつかの例では、応答を提供するプロセッサが意図を決定する少なくとも1つのプロセッサ、及び／又はデータを取り出し、及び／又はコマンドを発行する少なくとも1つのプロセッサとは異なり得る。
【0066】
本明細書に開示されるシステム及び方法は、ユーザがテキスト又は音声を介してシステムと対話してシステムを動作させている間に支援を提供することを可能にするチャットボット機能を含む超音波イメージングシステムを提供することができる。ユーザは、チャットボットと対話して、システム動作、設定支援、臨床支援、トレーニング、マーケティング、及び／又はフィールドサービスを含む多くのタイプの質問を解決することができる。
【0067】
構成要素、システム及び／又は方法がコンピュータベースのシステム又はプログラマブルロジックなどのプログラマブルデバイスを使用して実装される様々な実施形態では、上述のシステム及び方法が「C」、「C＋＋」、「C＃」、「Java」、「Python」などの種々の公知の又は後に開発されるプログラミング言語のいずれかを使用して実装され得ることを諒解されたい。したがって、上述のシステム及び／又は方法を実施するために、コンピュータなどのデバイスに指示することができる情報を含むことができる、磁気コンピュータディスク、光ディスク、電子メモリなどの様々な記憶媒体を準備することができる。適切なデバイスが記憶媒体上に含まれる情報及びプログラムにアクセスすると、記憶媒体は情報及びプログラムをデバイスに提供することができ、したがって、デバイスが本明細書で説明するシステム及び／又は方法の機能を実行することを可能にする。例えば、ソースファイル、オブジェクトファイル、実行可能ファイルなどの適切な材料を含むコンピュータディスクがコンピュータに提供された場合、コンピュータは情報を受信し、それ自体を適切に構成し、様々な機能を実装するために上記の図及びフローチャートに概説された様々なシステム及び方法の機能を実行することができる。すなわち、コンピュータは上述のシステム及び／又は方法の異なる要素に関する情報の様々な部分をディスクから受信し、個々のシステム及び／又は方法を実装し、上述の個々のシステム及び／又は方法の機能を調整することができる。
【0068】
本開示を考慮して、本明細書で説明される様々な方法及びデバイスは、ハードウェア、ソフトウェア、及びファームウェアで実装され得ることに留意されたい。さらに、様々な方法及びパラメータは、例としてのみ含まれ、いかなる限定的な意味でも含まれない。本開示を考慮して、当業者は本発明の範囲内に留まりながら、これらの技法に影響を及ぼすための独自の技法及び必要とされる機器を決定する際に、本教示を実施することができる。本明細書で説明するプロセッサのうちの1つ又は複数の関数はより少ない数又は単一の処理ユニット(たとえば、CPU)に組み込まれ得、本明細書で説明する関数を実行するために実行可能命令に応答してプログラムされる特定用途向け集積回路(ASIC)又は汎用処理回路を使用して実装され得る。
【0069】
本システムは超音波イメージングシステムを特に参照して説明されてきたが、本システムは1つ又は複数の画像が系統的な方法で取得される他の医用撮像システムに拡張され得ることも想定される。さらに、本システムは本システムの特徴及び利点を提供することができるように、従来の撮像システムと共に使用することができる1つ又は複数のプログラムを含むこともできる。本開示の特定の追加の利点及び特徴は、本開示を研究する際に当業者に明らかであり得るか、又は本開示の新規なシステム及び方法を使用する人によって経験され得る。本システム及び方法の別の利点は、従来の医用画像システムが本システム、装置、及び方法の特徴及び利点を組み込むように容易にアップグレードされ得ることであり得る。
【0070】
もちろん、本明細書に記載される例、実施形態、又はプロセスのいずれか1つは、本システム、デバイス、及び方法に従って、1つ又は複数の他の例、実施形態、及び／又はプロセスと組み合わされてもよく、又は別個の装置又はデバイス部分の間で分離及び／又は実行されてもよいことを理解されたい。
【0071】
最後に、上記の説明は本システムの単なる例示を意図するものであり、添付の特許請求の範囲を任意の特定の実施形態又は実施形態のグループに限定するものとして解釈されるべきではない。したがって、本システムは例示的な実施形態を参照して特に詳細に発明されてきたが、以下の特許請求の範囲に記載される本システムのより広範かつ意図された趣旨及び範囲から逸脱することなく、当業者によって多数の修正及び代替の実施形態が考案され得ることも理解されたい。したがって、明細書及び図面は例示的な方法で見なされるべきであり、添付の特許請求の範囲を限定することを意図するものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】