特開 2024-116145 タッチレス入力超音波制御法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024116145

(43)【公開日】2024-08-27

(54)【発明の名称】タッチレス入力超音波制御法

(51)【国際特許分類】

   A61B 8/00 20060101AFI20240820BHJP

【ＦＩ】

A61B8/00

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024079985

(22)【出願日】2024-05-16

(62)【分割の表示】P 2021530926の分割

【原出願日】2019-11-14

(31)【優先権主張番号】16/206,806

(32)【優先日】2018-11-30

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】519019791

【氏名又は名称】フジフイルム ソノサイト インコーポレイテッド

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ダット ダヴィンダー エス

(57)【要約】      （修正有）

【課題】超音波機械を制御するための動作を少なくとも一部生成するために読唇術を用いる超音波機械を提供する。
【解決手段】１又は２以上のタッチレス入力を用いて超音波機械を制御する方法及び装置が本明細書で開示される。一実施形態では、超音波機械の動作を制御する方法は、１又は２以上のタッチレス入力を取得するステップ、１又は２以上のタッチレス入力及び超音波機械の機械状態に基づいて超音波機械を制御するための１又は２以上の動作を決定するステップ、及び１又は２以上の動作を用いて超音波機械を制御するステップを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

超音波機械の動作を制御する方法であって、
１又は２以上のタッチレス入力を取得するステップと、
前記１又は２以上のタッチレス入力及び前記超音波機械の機械状態に基づいて、前記超音波機械を制御するための１又は２以上の動作を決定するステップと、
前記１又は２以上の動作の少なくとも１つを用いて前記超音波機械を制御するステップと、
を含む方法。

【請求項2】

少なくとも１つのカメラを用いて個人の唇の動きを取り込むステップを含む、読唇術を実行するステップを更に含み、前記超音波機械を制御するための前記１又は２以上の動作を決定するステップは、前記読唇術を実行した結果に基づく、
請求項１に記載の方法。

【請求項3】

前記１又は２以上の動作を決定するステップは更に、超音波データに基づく、
請求項１に記載の方法。

【請求項4】

超音波データは、超音波画像データ、前記超音波機械によって実行されている検査タイプ、及び前記超音波機械によって実行されている動作のリストのうちの１又は２以上を含む、
請求項１に記載の方法。

【請求項5】

前記１又は２以上の動作を決定するステップは、履歴データに基づいて個人が実行する可能性のある動作を予測するステップを含む、
請求項１に記載の方法。

【請求項6】

前記１又は２以上の動作を決定するステップは更に、個人の取り込まれた音声情報に基づいており、前記超音波機械が存在する環境に基づいて読唇術認識及び音声認識の結果に関連付けられる加重を動的に調節して、前記超音波機械を制御するための前記１又は２以上の動作を決定するステップを含む、
請求項１に記載の方法。

【請求項7】

前記読唇術を実行するステップは、個人が前記１又は２以上のカメラのうちの１つのカメラを直接見ているという決定に応答して、又は前記個人が事前に決められた時間期間に少なくとも１つの眼を閉じた、ウィンクした、頷いた、或いは別の顔キュー又は他のジェスチャを実行したという決定に応答してトリガされる、
請求項１に記載の方法。

【請求項8】

１又は２以上の画像特性を識別するステップを更に含み、前記１又は２以上の動作を決定するステップは更に、動作パラメータと前記１又は２以上の画像特性との相関関係に基づいており、前記１又は２以上の動作の少なくとも１つを用いて前記超音波機械を制御するステップは、前記動作パラメータを変更して画像を変えるステップを含む、
請求項１に記載の方法。

【請求項9】

ニューラルネットワークにおいて、超音波イメージングサブシステムからの超音波データのフィードバックの１又は２以上、超音波制御サブシステムからの機械状態のフィードバック、前記１又は２以上のタッチレス入力の少なくとも１つを受信するステップを更に含み、前記１又は２以上のタッチレス入力及び前記超音波機械の機械状態に基づいて前記超音波機械を制御するための１又は２以上の動作を決定するステップは、前記ニューラルネットワークによって実行される、
請求項１に記載の方法。

【請求項10】

前記超音波機械を制御するための１又は２以上の動作を決定するステップは、
１又は２以上の選択可能なコマンドを生成及び表示するステップと、
個人から情報を取り込むステップと、
前記少なくとも１つの動作を用いて前記超音波機械を制御する前に前記１又は２以上の選択可能なコマンドの少なくとも１つのコマンドの選択を確認するステップとして、前記取り込まれた情報を解釈するステップと、
を含む請求項１に記載の方法。

【請求項11】

前記１又は２以上の動作は、利得を調節するステップ、深度を調節するステップ、前記超音波機械によって表示されている画像をフリーズするステップ、前記超音波機械によって表示されている画像をセーブするステップ、前記超音波機械によって表示されている画像上のユーザ指定の位置に注釈を追加するステップ、及び前記超音波機械によって表示された１又は２以上の画像を備えたレポートを作成するステップからなるグループから選択された少なくとも１つを含む、
請求項１に記載の方法。

【請求項12】

前記超音波機械を制御するための１又は２以上の動作を決定するステップは、前記１又は２以上のタッチレス入力のうちの少なくとも１つに基づいて前記超音波機械によって表示されている画像に注釈を付けるステップを含む、
請求項１に記載の方法。

【請求項13】

前記超音波機械を制御するための１又は２以上の動作を決定するステップは、少なくとも１つのタッチレス入力に基づいて、注釈コマンドの開始、注釈コマンドの終了及び１又は２以上の注釈移動コマンドを認識するステップを更に含む、
請求項１２に記載の方法。

【請求項14】

前記１又は２以上の注釈移動コマンドが、アイトラッキング情報から認識される、
請求項１２に記載の方法。

【請求項15】

ユーザ識別動作に基づいて前記超音波機械に近接して位置付けられた個人を個人のグループから識別するステップと、
タッチレス入力の使用を介した前記超音波機械の制御を前記識別された個人に提供するステップと、
を更に含む請求項１に記載の方法。

【請求項16】

ディスプレイ画面と、
前記ディスプレイ画面に超音波画像を生成するために前記ディスプレイに結合された超音波イメージングサブシステムと、
前記イメージングサブシステムを制御するために結合された超音波制御サブシステムと、
個人の唇の動きの画像を取り込むための１又は２以上のカメラと、
音声を取り込むためのマイクロフォンと、
前記１又は２以上のカメラから取り込まれた画像に唇認識ルーチンを行い読唇術を実行するために前記１又は２以上のカメラに結合されたレコグナイザと、
前記レコグナイザ及び前記制御サブシステムに結合され、前記レコグナイザ及びマイクロフォンからの１又は２位以上のタッチレス入力及び前記超音波制御サブシステムから受信された超音波機械の機械状態に基づいて１又は２以上の動作を決定し、前記１又は２以上の動作の少なくとも１つを送信して前記超音波制御サブシステムを制御するコマンド生成器と、
を備える装置。

【請求項17】

前記コマンド生成器は、ニューラルネットワークを含む、
請求項１６に記載の装置。

【請求項18】

前記コマンド生成器は、更に超音波データに基づいて前記１又は２以上の動作を決定するよう動作する、
請求項１６に記載の装置。

【請求項19】

前記超音波データは、超音波画像データ、前記超音波機械によって実行される検査タイプ、及び前記超音波機械によって実行される動作のリストのうちの１又は２以上を含む、
請求項１８に記載の装置。

【請求項20】

前記コマンド生成器は、履歴データに基づいて前記個人が実行する可能性のある動作を予測することによって前記１又は２以上の動作を決定するよう動作する、
請求項１６に記載の装置。

【請求項21】

前記コマンド生成器は、前記個人の取り込まれた音声情報に更に基づいて前記１又は２以上の動作を決定し、前記超音波機械が存在する環境に基づいて、読唇術認識及び音声認識の結果に関連付けられる加重を動的に調節して、前記超音波機械を制御するための１又は２以上の動作を決定するよう動作する、
請求項１６に記載の装置。

【請求項22】

前記レコグナイザは、前記個人が前記１又は２以上のカメラのうちの１つのカメラを見ているという決定に応答して又は顔キューに応答して、前記個人によって用いるタッチレス入力制御をトリガするよう動作し、前記顔キューは、事前に決められた時間期間に少なくとも１つの眼を閉じる、ウィンクする、頷くからなるグループの１つを含む、
請求項１６に記載の装置。

【請求項23】

前記コマンド生成器は、前記超音波イメージングサブシステムからの超音波データのフィードバック、前記超音波制御サブシステムからの機械状態のフィードバック、及び前記レコグナイザからの前記個人の１又は２以上のタッチレス入力の少なくとも１つを受信するよう動作するニューラルネットワークを含み、これに応答して、前記コマンド生成器は、前記超音波制御サブシステムを制御するための１又は２以上の動作を決定するよう動作する、
請求項１６に記載の装置。

【請求項24】

前記１又は２以上の動作は、利得を調節するステップ、深度を調節するステップ、前記超音波機械によって表示されている画像をフリーズするステップ、前記超音波イメージングサブシステムによって表示されている画像をセーブするステップ、前記超音波イメージングサブシステムによって表示されている画像上のユーザ指定の位置に注釈を追加するステップ、及び前記超音波イメージングサブシステムによって表示された１又は２以上の画像を備えたレポートを作成するステップからなるグループから選択された少なくとも１つを含む、
請求項１６に記載の装置。

【請求項25】

前記１又は２以上の動作は、前記個人から取り込まれた情報に基づいて、注釈コマンドの開始、注釈コマンドの終了及び１又は２以上の注釈移動コマンドを認識するステップを含む、前記１又は２以上のタッチレス入力に基づいて前記超音波イメージングサブシステムによって表示されている画像に注釈を付けるステップを含む、
請求項１６に記載の装置。

【請求項26】

システムによって実行された時に、前記システムに超音波機械の動作を制御する方法を実行させる命令を格納している１又は２以上のコンピュータ可読ストレージ媒体を有する製造物品であって、
前記方法が、
１又は２以上のタッチレス入力を取得するステップと、
前記１又は２以上のタッチレス入力及び前記超音波機械の機械状態に基づいて、前記超音波機械を制御するための１又は２以上の動作を決定するステップと、
前記１又は２以上の動作の少なくとも１つを用いて前記超音波機械を制御するステップと、
含む、製造物品。

【発明の詳細な説明】

【技術分野】

【0001】

１又は２以上の例示的な実施形態は、超音波機械及び超音波機械を動作する方法に関し、より詳細には、超音波機械を制御するための動作を少なくとも一部生成するために読唇術を用いる超音波機械に関する。

【背景技術】

【0002】

超音波システムは、超音波プローブから生成される超音波信号を患者などの被検体に放射し、被検体の内部部分から反射されるエコー信号を受信する。受信されたエコー信号を用いて、被検体の内部の画像が生成される。より詳細には、超音波診断機械は、超音波プローブから取得された超音波画像データを用いることによって超音波画像を生成し、生成された超音波画像を画面上に表示して、ユーザに超音波画像を提供する。超音波機械は、超音波機械を制御し様々な機能を設定するための制御パネルを含むことができる。

【0003】

一般的には、超音波機械は、ユーザ入力を受信する複数の機能キーと、制御パネルの一部であるキーボードなどの入力デバイスとを有する。超音波プローブを含む超音波システムをユーザが制御するためには、制御パネル上の様々な入力ユニットをユーザによって操作する必要があり、これは超音波システムを用いる時に不便さを感じさせることになる。詳細には、臨床医が超音波プローブを用いることによって患者の診断を行う時に、ユーザから離れて置かれ且つ操作に長い時間がかかる制御パネルをユーザが操作するのは不便であることがある。

【0004】

更にまた、臨床医は、無菌手術中に超音波機械を調節する必要があることが多い。しかしながら、臨床医は、無菌ではない超音波機械を用いて無菌フィールドで作業しており、且つ超音波機械に触れることで無菌状態を壊すことになるので、調節を容易に行うことができない。また、両手が塞がっていることが多く、片方の手でプローブを握り片方の手で注射又は生検の針などの器具を握っており、これによって機械制御に届く空いた手がないことになる。臨床医は、医師のために看護師又はアシスタントに機械を調節させることによってこのことに対処していることが多いが、これは非効率的で、また常に可能であるとは限らない。臨床医は、超音波機械を調節するために消毒綿などの無菌デバイスを用いことがあるが、これは扱い難く、各調節の度に綿棒の廃棄を必要とする（汚れた綿棒を無菌フィールドに戻してはならないので）。

【0005】

一部の超音波機械は、この問題に対処するために、超音波機械の音声制御を用いている。一般的には、これは、病院は極めて騒音が多いスペースである傾向であることから、適切に動作せず、音声制御が背景雑音又は他の会話からコマンドを抽出することが困難である。ユーザは、具体的に指令していない時、特に手術の重要な時に超音波機械の状態を変えたくないので、これは、病院設定において特に重要である。

【0006】

一部の超音波機械は、超音波機械を制御するためにプローブ上にボタンを有する。これらは、提示されるボタンによって要求される様々なグリップ位置、及びプローブが無菌シートで被われる可能性があることに起因して、扱い難い可能性がある。

【発明の概要】

【課題を解決するための手段】

【0007】

本明細書において、１又は２以上のタッチレス入力を用いて超音波機械を制御する方法及び装置が開示される。一実施形態では、超音波機械の動作を制御する方法は、１又は２以上のタッチレス入力を取得するステップと、１又は２以上のタッチレス入力及び超音波機械の機械状態に基づいて、超音波機械を制御する１又は２以上の動作を決定するステップと、１又は２以上の動作の少なくとも１つを用いて超音波機械を制御するステップと、を含む。

【0008】

本発明は、以下に示す詳細な説明から及び本発明の様々な実施形態の添付図面から完全に理解されるであろうが、これらは、本発明を特定の実施形態に制限するものではなく、単に説明及び理解の目的のものと解釈すべきである。

【図面の簡単な説明】

【0009】

【図1】タッチレス入力を用いて超音波機械を制御するプロセスの１つの実施形態を示す流れ図である。

【図2】読唇術をトリガするプロセスの１つの実施形態を示す流れ図である。

【図3】コマンド生成器を有する超音波システムの１つの実施形態を示すブロック図である。

【図4】１又は２以上の認識ルーチンを実行するための１又は２以上の認識構成要素を有するレコグナイザの１つの実施形態を示すブロック図である。

【図5】人工知能又は機械学習を含むコマンド生成器を有する超音波システムの実施形態を示すブロック図である。

【図6】ニューラルネットワークを用いて超音波機械を制御するプロセスの１つの実施形態を示す流れ図である。

【発明を実施するための形態】

【0010】

以下の説明では、本発明のより完全な解説を提供するために多数の詳細が示されている。しかしながら、本発明がこれらの特定の詳細なしに実施できることは当業者には明らかであろう。他の事例では、公知の構造及びデバイスは、本発明を曖昧にしないために、詳細にではなくブロック図形式で示している。

【0011】

読唇術及び超音波機械の機械状態情報を用いて超音波機械を制御するコマンドを生成する方法及び装置が開示される。超音波機械を制御するための読唇術の使用は、ハンズフリー動作を可能にし、これは特に無菌機械環境で極めて有利である。一実施形態では、コマンドはタッチレスコマンドを用いて決定される。タッチレスコマンドは、ビデオ画像及び／又は音声を用いて識別することができる。一実施形態では、タッチレスコマンドは、限定ではないが、超音波機械によって実行される検査タイプ、超音波画像からの特徴、ユーザが超音波機械によって次に行うことができる予測などの１又は２以上などの読唇術と追加の情報の組み合わせを含む。一実施形態では、ニューラルネットワーク（例えば、深層学習ニューラルネットワーク）又は他の人工知能機能を含むコマンド生成器を用いてコマンドが決定される。

【0012】

図１は、タッチレス入力を用いて超音波機械を制御するプロセスの１つの実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用論理回路など）、ソフトウェア（汎用コンピュータシステム又は専用機械などで実行される）、ファームウェア、又はこれら３つの組み合わせを含むことができる処理論理回路によって実行される。

【0013】

図１に関して、このプロセスは、１又は２以上のカメラで唇の動きを取り込むステップ及びこれらの唇の動きにおける唇認識を実行するステップを含む読唇術を実行することによって開始する（処理ブロック１０１）。唇の画像を取り込む、画像を分析する（例えば、カメラによって取り込まれた画像からの唇の高さ及び幅並びに唇の輪郭を作る楕円の形状などの他の特徴を測定する）ことによって読唇術を実行し、唇の動きを決定して、口によって形成される形状のシーケンスを認識し次にこれを特定の言葉又は言葉のシーケンスに一致させる幾つかの技術が存在する。一実施形態では、読唇術がニューラルネットワーク（例えば、深層学習ニューラルネットワーク）を用いて行われる。

【0014】

次に処理論理回路は、１又は２以上のタッチレス入力及び超音波機械の機械状態情報に基づいて超音波機械を制御する動作を決定する（処理ブロック１０２）。一実施形態では、これらの動作は、超音波機械のコマンド生成器を用いて決定される。一実施形態では、ハードウェア（回路、専用論理回路など）、ソフトウェア（汎用コンピュータシステム又は専用機械などで実行される）、ファームウェア、又はこれら３つの組み合わせを含むことができる処理論理回路によってコマンド生成器が実施される。

【0015】

一実施形態では、コマンド生成器が様々な入力を受信しこれらの入力に基づいてコマンドを決定する。一実施形態では、コマンド生成器は、レコグナイザ又は認識エンジンを含み、入力データに１又は２以上の認識ルーチンを実行して、認識結果を生成して、これに応じてユーザが実行したい又は実行するつもりであるコマンドを決定する。一実施形態では、コマンド生成器は、超音波機械によって実行される動作を決定するプロセスの一部としてニューラルネットワーク（例えば、深層学習ニューラルネットワーク）を用いる。１つのこのような実施形態を以下に詳しく記述する。

【0016】

一実施形態では、生成された動作が、例えば、限定ではないが、利得を調節するステップ（例えば、利得を上げるステップ、利得を下げるステップ）及び深度を調節するステップ（例えば、深度を上げるステップ、深度を下げるステップ）などの動作パラメータを制御するコマンドを含む。トランスデューサ選択、ターンオン／オフモード（例えば、Ａモード、Ｂモード又は２Ｄモード、Ｂフロー、Ｃモード、Ｍモード、ドップラーモード（例えば、カラードップラー、連続波（ＣＷ）ドップラー、パルス波（ＰＷ）ドップラー、デュプレックス、トリプレックスなど）、パルスインバージョンモード、ハーモニックモードなど）、その他などの他の動作パラメータも生成することができる。

【0017】

一実施形態では、動作は、超音波機械によって表示されている超音波画像をフリーズするステップ、超音波機械によって表示されている画像をセーブするステップ、超音波機械によって表示されている画像に注釈（例えば、ラベル）又はピクトグラムを追加及び／又は移動するステップ、及び超音波機械に格納されるか又は超音波機械によって受信される情報を用いてレポート（例えば、請求記録、医療レポートなど）を作成又は記入するステップを含む。

【0018】

一実施形態では、１又は２以上のタッチレス入力が、読唇認識の結果、取り込まれた音声情報、超音波機械によって表示されている超音波画像の画像情報、超音波機械を用いている個人によって実行されている検査の検査タイプ、超音波機械のユーザによって実行されている動作のリスト（例えば、ワークフロー）、及び／又は超音波機械のユーザによって実行される次の動作を含む。一実施形態では、このような入力の１又は２以上が、コマンド生成に用いる超音波機械の超音波制御サブシステムからフィードバックされた状態情報に含まれる。

【0019】

一実施形態では、超音波システムは、発話データと組み合わされた読唇術認識の結果を用いて制御の精度を改良する。一実施形態では、音声（例えば、ユーザの声）がマイクロフォンで取り込まれ、取り込まれた音声は、変更する動作パラメータを決定する場合の読唇術認識の結果又はユーザが実行したい他の動作と組み合わせて用いるために認識される。一実施形態では、音声は超音波機械のユーザによって発話される。従って、この方式では、コマンドを口述するユーザに関連付けられる音声及び画像認識の両方が、調節する動作パラメータ又はユーザが実行したい別の動作を決定するために用いられる。

【0020】

一実施形態では、使用する入力（例えば、タッチレス入力）の選択又はコマンド決定のためのこれらの入力全ての影響は１又は２以上の要因に基づいて変わる。これらの要因は、環境要因又は環境に関して取得された（例えば、環境から感知された）他の情報とすることができる。例えば一実施形態では、読唇術認識及び音声認識からの出力に、各々が環境に関する情報に基づいて識別される動作の決定に同じ影響又は寄与を持たないように重み付けされる。一実施形態では、環境における雑音に基づいて、本発明のシステムは、ユーザが音声認識の結果よりも読唇術動作の結果に重く基づいて実行したい動作を決定するか、又は逆もまた同様である。一実施形態では、これは、読唇術認識及び音声認識からの出力における重みを動的に調節することによって達成される。従って、環境に雑音が多すぎると決定された（例えば、雑音レベルが閾値より上である）場合、次に読唇術認識の結果は、ユーザが実行したい動作を決定する時に音声認識の結果より高く重み付けすることができる（又は単独に用いることができる）。

【0021】

一実施形態では、超音波システムは、タッチレス入力を受け付けるよう起動された時に起動モードになるまで超音波システムへのタッチレス入力を無視する。超音波システムが起動モードになるまで、超音波システムはユーザがカメラを直接覗き込んでいると判断する。この場合、超音波システムは、超音波システムが話しかけられた時にユーザが直接カメラを覗き込まない限り何れの発話の発言も無視する。ユーザがコマンドに基づく調節を行っている時にユーザが一般的に機械を見ているので、これは臨床医への何れの現実の制限も示さない。別の実施形態では、超音波システムの起動モードは、例えば、読唇術のために発話の発言の聴取及び／又は視覚データの学習を開始するための顔キューなどのジェスチャを必要とする。このような顔キューの例は、限定ではないが、特定の事前に決められた時間期間に両眼を閉じる（すなわち、長いまばたき）、ウィンク、頷きなどを含む。

【0022】

検査タイプ、ワークリスト、システムログイン情報、又は超音波システムに格納され超音波システムで利用可能な他の状態情報などの他のデータを読唇術認識ルーチンによって用いて、ユーザが実行したい動作を決定するよう動作する点に留意されたい。同様に、超音波機械によって表示されている画像に関連付けられる画像情報を読唇術認識ルーチンによって用いてユーザが実行したい動作を決定することもできる。

【0023】

読唇術認識の結果及び超音波機械の機械状態に基づいて１又は２以上の動作を決定した後に、一実施形態では、処理論理回路が生成され超音波機械によって実行できる１又は２以上のユーザ選択可能動作を表示させる（処理ブロック１０３）。これは、超音波機械が実行するはずの動作をユーザが選択及び／又は確認するのを可能にする確認モードプロセスを開始する。コマンド生成器がユーザが実行したい動作を確実に確かめられない状況でこれは特に有利とすることができる。不確実性は、決定における１００％未満の信頼度である読唇術認識結果のせい、決定における１００％未満の信頼度である一部の他の認識（例えば、音声認識）結果のせい、及び／又はコマンド生成プロセスに用いられる入力の精度における他の何れかの制限（例えば、音声に基づくコマンドと読唇術に基づくコマンドの間のミスマッチなど）のせいとすることができる。

【0024】

一実施形態では、選択可能な動作は、超音波イメージングサブシステムの制御下の超音波機械のディスプレイに及び／又は音声（例えば、コンピュータ生成発話）を用いて提示される。一実施形態では、この選択可能な動作が、超音波機械のコマンド生成器によって決定されたユーザの要求する動作に一致させる場合に選択可能な動作の同一性（例えば、信頼）に従うリストに提示される。一実施形態では、選択可能な動作のリストは、各動作又は他の情報に対してコマンド生成器によって生成された信頼因子を含み、超音波機械による動作の決定に関連付けられる信頼のレベルの指示をユーザに提供する。

【0025】

提示及び／又は確認動作は任意的であり且つ要求されない点に留意されたい。代替の実施形態では、単一の動作が決定され且つコマンドが選択及び／又は確認なしに超音波機械による実行に対して生成される。

【0026】

次に一実施形態では、処理論理回路が、読唇術及び制御状態情報に基づいて生成された動作を用いて超音波機械を制御する（処理ブロック１０４）。別の実施形態では、動作はまた音声情報に基づいて生成される。一実施形態では、制御が、必要に応じて動作の選択及び／又は確認に応答して実施される。一実施形態では、制御は、超音波機械の制御サブシステムによって実行される。

【0027】

上述のように、コマンドの決定は、読唇術及び唇の動きの認識を実行することに基づく。一実施形態では、読唇術プロセスが起動モードに応答してトリガされ、起動モードは、１又は２以上の動作の発生を伴う。一実施形態では、動作の１つが、超音波機械によって実行されるコマンドを発話するか又は唇を動かす時にユーザがカメラを見ているという決定である。別の実施形態では、唇の動きの認識が、超音波機械によって認識されるジェスチャを実行するユーザに応答して起こる。一実施形態では、このジェスチャは、顔キューの実行を含む。一実施形態では、顔キューは、事前に決められた時間期間にユーザによって閉じられる両眼、ユーザによるウィンク、ユーザによる頷き、又は何れかの他の顔のジェスチャを含む。図２は、上記で実行される読唇術をトリガするためのプロセスの一実施形態の流れ図である。一実施形態では、このプロセスは、超音波機械のコマンド生成器のレコグナイザ又は認識エンジンによって実行される。

【0028】

図２に関して、プロセスは、タッチレスコマンドをそこから受信するユーザを決定することによって開始する（処理ブロック２０１）。１又は２以上の実施形態では、この決定は、以下のステップ、すなわち、ユーザがカメラを見ている（例えば、直接見ている）と決定するステップ、ユーザがジェスチャを実行したと決定するステップの少なくとも１つによって、且つユーザ識別の使用又は認証プロセスを介して行われる。

【0029】

ユーザがカメラを見ている（例えば、直接見ている）と決定するステップ又はユーザがジェスチャを実行したと決定するステップはカメラからの画像データを必要とする。このようなカメラは、システム上に置くか又はシステムに組み込む、超音波システムのプローブ上に位置付ける、又は超音波システムに取り付けることができる。一実施形態では、超音波機械は、ユーザがアイトラッキングを用いてカメラを見ていることを決定する。アイトラッキングはカメラを用いて眼の動きを記録し、これらの画像を処理してユーザが当技術で公知の方式で凝視していることを決定する。一実施形態では、アイトラッキングを実行するために用いられるカメラは、読唇術の目的で唇の動きを取り込むためにも用いられるカメラであるが、別のカメラを用いることもできる。一実施形態では、アイトラッキングを増補して、本発明のシステムが検査エリアにおける追跡する個人を決定するのを可能にする。一実施形態では、この増補は、顔の向きを決定するステップ、検査を開始した人に基づく顔認証、及び／又は、検査に超音波機械を使用するはずである超音波診断士、医師、又は他のヘルスケア医師を指示するワークリストからの情報にアクセスするステップを含む。同じ検査に対する超音波機械の１人より多いユーザをこの方式で識別できる点に留意されたい。

【0030】

一実施形態では、識別された医師が新生児学者である場合、超音波システムの設定は、一般的な新生児検査に共通である小さな骨格を視覚化するよう最適化される。一実施形態では、検査が開始された後に、医師のアイデンティティが機械学習プロセスの一部として用いられ、臨床医又はユーザが調節を求める可能性がある設定を正確に予測する。初期システム設定はまた、ユーザログインに関連付けられるプロファイルを用いて決定される。

【0031】

一実施形態では、読唇術認識プロセスをトリガするためにユーザがジェスチャを実行したかどうかの決定は、例えば、限定ではないが、ユーザによって実行された事前に決められた時間期間に両眼を閉じること（すなわち、長いまばたき）、ウィンク、頷きなどの顔キュー又は他のウェークジェスチャに基づく。

【0032】

ユーザがカメラを見ていると決定するステップ又はユーザがジェスチャを実行したと決定するステップの何れかに応答して、処理論理回路は読唇術（処理ブロック２０２）及び本明細書で説明するコマンド生成プロセスの残りを実行する。

【0033】

代替の実施形態では、本発明のシステムは、個人における顔認識又は他の何れかのユーザ識別／認証プロセスを実行して、検査を開始した個人の顔からのコマンドだけに応答する。すなわち、本発明のシステムは、本システムに近接して位置付けられた個人を恐らく個人のグループから識別する。これは、ユーザ識別動作（例えば、顔認識、検査を与えている個人を識別するワークリスト又は他の情報などの超音波データの取得など）を用いて行われる。

【0034】

ユーザがカメラを見ている（例えば直接見ている）と決定し、ユーザがジェスチャを実行したと決定した後、及びユーザ識別／認証プロセスの使用を介して、本発明のシステムは、識別された個人にタッチレス入力の使用を介した超音波機械の制御を提供する。換言すると本発明のシステムは、個人が本発明のシステムのタッチレス入力を用いる本発明のシステムの制御を提供するのを可能にする。

【0035】

一実施形態では、超音波システムが特定の検査のタッチレスコマンドを受け付けるつもりである個人を決定した状態で、超音波システムは、検査に存在する可能性の他の何れかの個人からのタッチレスコマンドを受け付けない。

【0036】

図３は、上述したコマンド生成器を有する超音波システムの１つの実施形態のブロック図である。一実施形態では、超音波機械が、超音波画像を生成するために処理される音波（エコー）を当技術で公知の方式で送信及び受信するトランスデューサプローブを含む。このトランスデューサプローブは、本明細書で開示する技術を曖昧にしないために図３には図示していない。

【0037】

図３に関して、超音波制御サブシステム３３２は１又は２以上のプロセッサを含む。１つのプロセッサが、トランスデューサプローブに電流を送り音波を発生させ且つ戻りエコーから生成されたプローブからの電気パルスも受信する。プロセッサは、受信した電気パルスに関連付けられる生データを処理して画像を形成する。プロセッサは画像データを超音波イメージングサブシステム３３２に送信して、超音波イメージングサブシステム３３２がディスプレイ３４０に画像を表示する。従ってディスプレイ画面３４０は、超音波制御サブシステム３３２のプロセッサによって処理された超音波データからの超音波画像を表示する。

【0038】

図３の超音波システムはまた、１又は２以上のカメラ３０１を含みメモリ３０４に格納された画像又はビデオ情報を取り込む。代替の実施形態では、マイクロフォン３０２がメモリ３０４にも格納された音声情報を記録する。一実施形態では、１又は２以上の他の音声以外の入力をコマンド生成器３０６によって受信することができる。一実施形態では、これらの他の音声以外の入力が超音波機械の超音波画像化システム３３１からの画像情報のフィードバック３１０及び超音波機械の超音波制御サブシステム３３２からの機械状態のフィードバック３１１の１又は２以上を含む。一実施形態では、他の音声以外の入力データが、検査又は手順の次のコマンド又はステップを予測する又は予測を支援する場合に用いる所与のユーザ又は手順又は検査の所与のタイプのワークフロー情報を含む。これらはまたメモリ３０４に格納することもできる。メモリ３０４は図３のストレージの単一のブロックとして示されているが、代替の実施形態では、カメラ３０１、マイクロフォン３０２及び音声以外の入力３０３からのデータが１つより多いメモリに格納される。追加の代替の実施形態では、データが、ネットワーク通信インタフェースを介して、本明細書で説明する動作を実行しているクラウド又はローカルサーバ（例えば、クラウドサーバ３４０）のプロセッサに直接ストリーミングされる。代替の実施形態では、データは処理のためのニューラルネットワーク（例えば、深層学習ニューラルネットワークなど）に直接送信される。

【0039】

コマンド生成器３０６はメモリ３０４にアクセスし、これに応答して、超音波機械を制御する１又は２以上の動作（例えばコマンド）３２０を生成する。一実施形態では、コマンド生成器３０６が超音波機械に統合される。別の実施形態では、コマンド生成器３０６は、有線及び／又は無線接続を介して超音波機械に結合することができる独立型デバイスである。更に別の実施形態では、コマンド生成器３０６は、有線及び／又は無線接続を介して超音波機械に結合することができるクラウドベースのコンピュータ資源の一部である。

【0040】

一実施形態では、コマンド生成器３０６が、１又は２以上のプロセッサ、ニューラルネットワーク（例えば、深層学習ニューラルネットワークなど）を含み、制御選択肢又は動作の生成を介して超音波システムの動作を制御する。
一実施形態では、コマンド生成器３０６が、それぞれが動作を生成するステップの一部としてカメラ３０１及びマイクロフォン３０２によって取り込まれた画像データ及び音声データに認識を実行するレコグナイザ又は認識エンジン３０５を含む。例えば、レコグナイザ３０５は１又は２以上のカメラ３０１から取り込まれた画像情報にメモリ３０４でアクセスして、カメラ３０１によって取り込まれた唇の動きに読唇術認識を実行し超音波機械を使用している個人からの特定のコマンドを決定する。例えば、ユーザはコマンドを唇を動かして伝えて、超音波イメージングサブシステム３３１によって表示されている画像の利得を上げることができる。コマンドはレコグナイザ３０５によって認識され、且つこれに応答して、コマンド生成器３０６は機械状態情報３１１で提供される現在の利得値にアクセスし現在の値から増加した値へ超音波機械の利得を上げるコマンドを生成する。一実施形態では、利得増加は事前設定量である。別の実施形態では、ユーザによって提供されるコマンドは、「１０％だけ利得を上げる」ことが要求されたパラメータ変化の量を含む。別の実施形態では、コマンドを実行した時に起こる利得増加はユーザによって指定され且つレコグナイザ３０５によって認識される。更に別の実施形態では、ネットワーク機械学習画像認識特徴のせいで、最適化デルタが識別され正しい利得の量が適用され、これによって表示されている超音波画像が最適化される。コマンドを生成した後に、コマンドは、超音波イメージングサブシステム３３１を制御する超音波制御サブシステム３３２に送信され、超音波イメージングサブシステム３３１によって表示されている画像の利得を上げる。一実施形態では、同じ処理が利得を下げるため、深度を上げる又は下げる、又は何れかの他の動作パラメータを制御するために実行される。

【0041】

超音波イメージングサブシステム３３１によって表示されている画像をフリーズする場合、コマンドを指示する唇の動きがレコグナイザ３０５によって認識され、これに応答してコマンド生成器３０６が、ディスプレイ画面３４０に表示されている画像をフリーズするよう超音波イメージングサブシステム３３１に信号送信する超音波制御サブシステム３３２へのコマンドを生成する。超音波画像をフリーズするステップは超音波画像をセーブするプロセスの一部とすることができる点に留意されたい。

【0042】

超音波イメージングサブシステム３３１によって表示されている画像をセーブする場合、コマンドを指示する唇の動きがレコグナイザ３０５によって認識され、これに応答してコマンド生成器３０６がディスプレイ画面３４０に表示されている画像をセーブするよう超音波イメージングサブシステム３３１に信号送信する超音波制御サブシステム３３２へのコマンドを生成する。一実施形態では、超音波イメージングサブシステム３３１によって表示される画像データは超音波制御サブシステム３３２からである点に留意されたい。従って、ディスプレイ画面３４０に表示されている画像をセーブするための超音波制御サブシステム３３２へのコマンドに応答して、超音波制御サブシステム３３２は、メモリ（例えば、メモリ３０４）にディスプレイ画面３４０に表示されている画像の画像データを格納する。

【0043】

一実施形態では、コマンドがレコグナイザ３０５によって認識され、これに応答してコマンド生成器３０６はまた、機械状態情報３１１で提供される履歴、ワークフロー及び／又は検査データにアクセスしてコマンドを生成する。例えば、ユーザ又は医師は、画像の深度を調節した後で画像フレームをフリーズするか又はセーブする習慣を持つことができる。例えば上述のように臨床医又はユーザのアイデンティティを用いて、指示又はコマンドを自動的に実施してコマンドが画像の深度を変えるために与えられた後に画像をセーブ又はフリーズすることができ、これによって最適化デルタを履歴データと組み合わせる。履歴データは、１人の特定の臨床医（すなわち、個人）によってのみ実行される動作に制限されず且つ個人のグループ（例えば、他の臨床医、医師、医療施設の個人など）の動作とすることができる。更にまた、履歴データは、本発明のシステムの以前に使用された設定、パラメータ、及び／又は構成、本発明のシステム又は他のシステムによって学習されたデータ（例えば、機械学習又は人工知能プロセスからのデータなど）などを含むことができる。

【0044】

注釈の場合、レコグナイザ３０５はユーザによるコマンドとして唇の動きを認識して、超音波イメージングサブシステム３３１によって表示されている画像に配置する注釈を生成する。一実施形態では、コマンド生成器３０６によって認識された唇の動きは、イメージングサブシステム３３１によって表示されている画像に注釈を追加するコマンドを含むだけでなく、実際の注釈も含む。２又は３以上のタッチレス入力の組み合わせ（例えば、読唇術及び発話）を共に用いて口述認識の精度を上げることができる点に留意されたい。一実施形態では、注釈の開始及び終了もまたレコグナイザ３０５によって認識される。一実施形態では、レコグナイザ３０５はユーザが唇を動かして発話する開始と停止の言葉を認識することによって注釈の開始及び終了を決定する。代替の実施形態では、レコグナイザ３０５は、ユーザによって行われた１又は２以上のジェスチャ（例えば、顔キュー）を認識して注釈の始まりと停止を指示する。

【0045】

一実施形態では、レコグナイザ３０５はまた、ユーザが唇を動かして発話したコマンドを認識して、ディスプレイ上に超音波イメージングサブシステム３３１によって表示されている注釈を動かす。一実施形態では、レコグナイザ３０５は１又は２以上のコマンドを指示する唇の動きを認識して、表示されている画像上の上、下、左、及び右に注釈を動かす。

【0046】

一実施形態では、レコグナイザ３０５はまた、唇の動きを認識してレポートを作成するコマンドを生成する。一実施形態では、このレポートを作成される請求記録とすることができ、且つ請求が処理され支払われたことを保証するのに必要な事前に決められた情報のセットを含む。別の実施形態では、このレポートは、実行される超音波検査からの情報を含む医療記録レポートを含む。一実施形態では、レポートの作成がレポートに注記を口述するステップを含む。一実施形態では、注記の口述が、超音波画像サブシステム３３１によってディスプレイ画面３４０にレポートの画像を表示させ且つ、レポートの特定の位置に表示されている画像の上、下、左、及び右に注記を動かす１又は２以上のコマンドを指示するためにレコグナイザ３０５を用いて唇の動きを認識することをレコグナイザ３０５に指示するよう超音波制御サブシステムに命じることによって実行される。また一実施形態では、レコグナイザ３０５は、ユーザが唇を動かして発話する開始及び停止の言葉を認識することによって口述された注記の開始及び終了を決定する。

【0047】

一実施形態では、コマンド生成器３０６は、超音波機械の他の部分から受信された認識結果及び情報に応答して、動作３２０（例えば、利得を上げる、利得を下げる、深度を上げる、深度を下げる、画像をフリーズする、画像をセーブするなど）を生成する。一実施形態では、フィードバックは、超音波制御サブシステム３３２からの機械状態情報のフィードバック３０１を含む。別の実施形態では、このフィードバックは、超音波イメージングサブシステム３３１からの画像情報のフィードバック３１０を含む。この画像情報は、ディスプレイ画面３４０に表示されている画像に対応することができる。この情報を用いて、ユーザが実行したい動作を決定するよう動作する。例えば、超音波システムは、制御状態情報３１１で指示されたワークリスト又は検査タイプに基づいてユーザが閲覧に関心がある可能性のある特徴を決定することができる。画像におけるこの特徴の出現に基づいて、超音波システムは、読唇術の結果に基づいて生成されるコマンドをバイアスするためにこの情報を用いることができる。すなわち、読唇術の結果は、超音波システムにある画像特徴又は他の画像情報によって影響される。

【0048】

一実施形態では、本発明の超音波システムはまた、データを入力し超音波ディスプレイサブシステムのディスプレイから測定値の取得を可能にする１又は２以上のユーザ入力デバイス（例えば、キーボード、カーソル制御デバイスなど）、取得した画像を格納するためのディスクストレージデバイス（例えば、ハード、フロッピー、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ））、及び表示されたデータからの画像をプリントするプリンタを有する。これらはまた、本明細書で開示する技術を曖昧にしないために図３には図示していない。

【0049】

図４は、レコグナイザ４００の１つの実施形態のブロック図を示す。一実施形態では、レコグナイザ４００は、ハードウェア（回路、専用論理回路など）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア、又はこれら３つの組み合わせを有する処理論理回路を含む。

【0050】

図４に関して、レコグナイザ４００は、超音波システムのカメラによって取り込まれた唇の動きに応答して読唇術認識を実行する読唇術認識構成要素４０１を含む。

【0051】

一実施形態では、レコグナイザ４００は、超音波システムのマイクロフォンによって取り込まれた音声に音声認識を実行する音声認識構成要素４０２を含む。

【0052】

任意選択的には、一実施形態でのレコグナイザ４００は、アイトラッキングを実行するアイトラッキング構成要素４０３を含む。一実施形態では、アイトラッキング構成要素４０３は、読唇術認識構成要素４０１をトリガするカメラをユーザが直接見ていると決定し、超音波システムのカメラによって取り込まれた唇の動きの認識を動作及び実行する。

【0053】

別の実施形態では、レコグナイザ４００は、ジェスチャ認識を実行し読唇術認識構成要素４０１及び／又は音声認識構成要素４０２の動作をトリガするジェスチャ認識構成要素４０４を含む。一実施形態では、ジェスチャ認識構成要素４０４は、１又は２以上の顔キューを認識して読唇術認識構成要素４０１の動作をトリガする。一実施形態では、これらの顔キューは、事前に決められた時間期間にユーザがユーザの両眼を閉じる、ユーザのウィンク、ユーザの頷き、又は何れかの他の事前に決められた顔の動きを含む。

【0054】

図５は、人工知能又は機械学習を含むコマンド生成器を有する超音波システムの実施形態のブロック図である。図５に関して、人工知能又は機械学習を用いてコマンドを生成するコマンド生成器５０１を曖昧にしないために、カメラ３０１、マイクロフォン３０２、超音波イメージングサブシステム３３１及び超音波制御サブシステム３３２などの図３の超音波システムの構成要素のサブセットだけしか図示していない。一実施形態では、人工知能は、例えば、限定ではないが、深層学習ニューラルネットワークなどのニューラルネットワークを含む。

【0055】

一実施形態では、コマンド生成器５０１は、カメラ３０１から取り込まれた画像データを受信し、任意選択的には、取り込み音声データ３０２、超音波イメージングサブシステム３３１からの画像情報３１０フィードバック及び超音波制御サブシステム３３２からの機械状態情報３１１フィードバックを受信し、ニューラルネットワークを用いて超音波機械を使用する個人の唇の動きに相関付ける動作又はコマンドの決定をバイアスする。

【0056】

一実施形態では、コマンド生成器５０１が深層学習ニューラルネットワーク又は他のニューラルネットワークを用いて動作を生成する。深層学習は、機械が生データを与えるのを可能にし且つデータ分類に必要な代理を決定する代理学習方法を用いる１つの機械学習技術である。深層学習は、深層学習機械の内部パラメータ（例えば、ノード重み）を変えるのに使用される逆伝播アルゴリズムを用いてデータセットの構造を確定する。深層学習機械は多種多様な多層アーキテクチャ及びアルゴリズムを利用して関心の特徴を指定する外部入力なしで生データを処理し関心の特徴を識別することができる。

【0057】

ニューラルネットワーク環境における深層学習はニューロンと呼ばれる多数の相互接続ノードを含む。起動時に、入力ニューロンが機械パラメータによって管理されるこれらの他のニューロンとの接続に基づいて他のニューロンを起動する。学習はネットワークにおけるこれらの機械パラメータ並びにニューロン間の接続を調整して、これによって要求される方式でニューラルネットワークを行動させる。一実施形態では、深層学習ネットワークが、畳み込みフィルタを用いてデータを処理してデータにおける学習された観察可能な特徴を位置付け且つ識別する畳み込みニューラルネットワーク（ＣＮＮ）を用いる。ＣＮＮアーキテクチャの各フィルタ又は層は入力データを変換してデータの選択可能性及び不変性を増加させる。このデータのアブストラクションは、ネットワークが分類を試みているデータの特徴にフォーカスし且つ無関係の背景情報を無視するのを可能にする。

【0058】

一実施形態では、深層学習ネットワークは、読唇術及び／又は医用画像分析のための認識の一部として画像分析のために畳み込みニューラルネットワークを用いて超音波画像の特徴を識別する。一実施形態では、ＣＮＮアーキテクチャは、自然画像における顔認識に用いられ、アイトラッキングの目的で超音波機械のユーザを識別しユーザが上述のように超音波機械を見ているかどうか決定する。一実施形態では、ＣＮＮアーキテクチャはまた、音声（例えば、発話）及びビデオ（例えば、読唇術）処理に用いられる。

【0059】

一実施形態では、深層学習ニューラルネットワークは、ニューラルネットワークに接続された複数の層を含む。データは入力層から出力層へ、次に深層学習ニューラルネットワークの出力に入力を介して前方に流れる。複数のノードを含む入力層の次にノードを含む１又は２以上の隠れ層が続く。隠れ層の後に出力層があり、出力層が出力を備えた少なくとも１つのノードを含む。一実施形態では、各入力が入力層のノードに対応し、入力層の各ノードが隠れ層の各ノードとの接続を有する。１つの隠れ層の各ノードは、次の隠れ層の各ノードとの接続を有し、各ノードの最後の隠れ層は出力層との接続を有する。出力層は出力を提供するための出力を有する。

【0060】

深層学習ニューラルネットワークのＣＮＮアーキテクチャは一時的情報を保存するための構造をフィードして、これによってＣＮＮアーキテクチャによって識別された特徴情報が情報のシーケンスとして処理される。例えば、読唇術及び音声情報は、異なる長さを有する情報のシーケンスを含むことができ、以前に識別された情報は、現在の情報の文脈情報として用いられユーザのコマンドの識別を可能にする。一実施形態では、この構造は、再帰ニューラルネットワーク（ＲＮＮ）、長短期メモリ（ＬＳＴＭ）、及びゲート再帰ユニット（ＧＲＵ）の１又は２以上を含む。

【0061】

一実施形態では、ノードは、超音波システムのカメラによって取り込まれた唇の動きから取得された特徴データと共にフィードされる。

【0062】

特定の例示的接続に追加の加重を与えることができ同時に他の例示的接続にはニューラルネットワークにおける小さな加重を与えることができる。入力ノードは入力を介した入力データの受信を介して起動される。隠れ層のノードは、接続を介したネットワークを経由したデータの前方への流れによって起動される。出力層のノードは、隠れ層で処理されたデータが接続を介して送信された後に起動される。出力層の出力ノードが起動された時に、出力ノードは、ニューラルネットワークの隠れ層で達成された処理に基づいて適切な値を出力する。

【0063】

一実施形態では、ニューラルネットワークは、超音波画像の１又は２以上の特徴を読唇する及び／又は決定するために、ＲＮＮ、ＬＳＴＭ、ＧＲＵ、又は他のこのようなメモリベースの構造と共に、画像分析畳み込みニューラルネットワーク（ＣＮＮ）を含む。畳み込みニューラルネットワークは入力画像を受信し、ベクトルの形態で画像特徴を生成する。ＬＳＴＭ、ＲＮＮ、ＧＲＵ又は他のこのような構造のネットワークはＣＮＮから画像特徴ベクトルを受信して、文字に復号される状態及び出力ベクトルを生成する。文字は、画像における唇の動きがコマンドを表すかどうか決定するために用いられる。

【0064】

従って、超音波機械のカメラと共に人工知能の使用は、ユーザが超音波機械にコマンドを与えているかどうか決定するために本発明のシステムがユーザの唇を読み取るのを可能にする。

【0065】

一実施形態では、コマンド生成器５０１は、深層学習ニューラルネットワークを用いて超音波画像サブシステム３３１を生成して超音波画像サブシステム３３１に１又は２以上の選択可能なコマンドを表示させる。選択可能なコマンドは、１又は２以上のコマンドの各々が要求されるコマンドであるという信頼のレベルを指示する関連付けられる信頼指示情報を有する。一実施形態では、この信頼指示情報が信頼レベルを含む。このような信頼レベルは、当技術で既知である方式でニューラルネットワークを用いて生成される。信頼レベルは、コマンドを生成するために用いられる様々なタッチ入力の動的重み付けによって影響を受ける。

【0066】

一実施形態では、人工知能は単に、ユーザがコマンドを与えているかどうか決定するだけでなく、ユーザが将来本システムに与える可能性があるコマンドを予測する場合にも用いられる。従って、超音波イメージングサブシステムからの機械状態及び画像情報３１０フィードバックを用いて、コマンド生成器５０１のニューラルネットワークは動作を決定するか、又は生成されるコマンドの選択をバイアスする。

【0067】

例えば、超音波画像内の神経がディスプレイ画面の中心になく臨床医が麻酔を注入するために神経の近くに針を挿入している場合、ニューラルネットワークは、画像の針及び超音波制御システムからフィードバックされた機械状態情報３１１に指示された検査タイプを認識する。神経が識別された状態で、ニューラルネットワークは、コマンド決定を深度を変更しディスプレイ画面の中央に神経を置くコマンドにバイアスし、これによって麻酔エリアでの使い易さを提供する。すなわち、読唇術コマンド認識は、超音波画像に表示されるものに、読唇術を介して認識されるものを相関付けて、深度を変更するコマンドに向けてコマンド生成プロセスをバイアスする。このように、ワークフローの知識が読唇術の精度を改良するために用いられる。

【0068】

図６は、ニューラルネットワークを用いて超音波機械を制御するプロセスの１つの実施形態の流れ図である。一実施形態では、このプロセスは、ハードウェア（回路、専用論理回路など）、ソフトウェア（汎用コンピュータシステム又は専用機械などで実行される）、ファームウェア、又はこれら３つの組み合わせを含むことができる処理論理回路によって実施されるニューラルネットワークを含む処理論理回路によって実行される。

【0069】

図６に関して、このプロセスは、１又は２以上のカメラで唇の動きを取り込むステップ及び唇の動きに認識を実行するステップを含む読唇術を実行するステップによって開始する（処理ブロック６０１）。

【0070】

処理論理回路はまた、最適化されていない超音波イメージングサブシステムによって表示されている画像の１又は２以上の画像特性を識別し（処理ブロック６０２）改良を助けるために画像を変更することになる動作パラメータを相関付け、任意選択的に画像特性を最適化する（処理ブロック６０３）。これは、読唇術の前に又は読唇術と同時に起こすことができる。

【0071】

読唇術の実行に応答して画像を変更することになる動作パラメータを相関付けた後に、処理論理回路はニューラルネットワーク（例えば、深層学習ニューラルネットワーク）を用いて、超音波機械を制御する動作を決定する（処理ブロック６０４）。ニューラルネットワークは、読唇術認識の結果、超音波機械の機械状態情報に基づいて及び画像を変えるための動作パラメータの相関付けに基づいて動作を決定する。一実施形態では、画像の変化は、最適化、改良、画像の固定又は他の修正である。すなわち、一実施形態では、ニューラルネットワークは、動作を決定するプロセスの一部として、画像の最適化、改良、固定又は他の修正の動作パラメータを相関付ける。

【0072】

一実施形態では、読唇術認識の結果、超音波機械の機械状態情報、及び画像を変えるための動作パラメータの相関付けに基づいて１又は２以上の動作を決定した後に、処理論理回路は、超音波機械によって実行することができる１又は２以上のユーザ選択可能な動作を表示する（処理ブロック６０５）。これは任意的ステップであり要求されない点に留意されたい。代替の実施形態では、単一の動作が決定され選択又は確認なしに超音波機械による実行に対するコマンドが生成される。

【0073】

入力に基づいて決定された動作を表示することで、ユーザは超音波機械が実行するつもりである動作を選択及び／又は確認するのを可能にし、これは、ユーザが実行したかった動作をコマンド生成器が確実に確かめられない状況で有利である。これが確認モードである。

【0074】

一実施形態では、選択可能な動作が超音波イメージングサブシステムの制御下で超音波機械のディスプレイに提示される。一実施形態では、選択可能な動作は、超音波機械のコマンド生成器によって決定されたユーザが要求する動作に一致する可能性に従うリストで提示される。一実施形態では、選択可能な動作のリストは、各動作又は他の情報に対してコマンド生成器によって生成された信頼因子を含み、ユーザに超音波機械による動作の決定に関連付けられる信頼度のレベルの指示を提供する。

【0075】

次に、処理論理回路は動作を用いて超音波機械を制御する（処理ブロック６０６）。一実施形態では、この制御は、必要に応じて動作の選択及び／又は確認に応答する。一実施形態では、この制御は、超音波機械の制御サブシステムによって実行される。

【0076】

図６に指示した動作以外の動作を決定して、例えば上述されたように超音波機械を制御するために用いることができる点に留意されたい。

【0077】

本明細書で記載される複数の例示的な実施形態がある。

【0078】

実施例１は、超音波機械の動作を制御する方法であり、この方法は、１又は２以上のタッチレス入力を取得するステップと、超音波機械の１又は２以上のタッチレス入力及び機械状態に基づいて超音波機械を制御するための１又は２以上の動作を決定するステップと、及び１又は２以上の動作の少なくとも１つを用いて超音波機械を制御するステップと、を含む。

【0079】

実施例２は、少なくとも１つのカメラを用いて個人の唇の動きを取り込むステップを含む、読唇術を実行するステップを任意選択的に含むことができる実施例１の方法であり、超音波機械を制御するための１又は２以上の動作を決定するステップは、読唇術を実行した結果に基づいている。

【0080】

実施例３は、１又は２以上の動作を決定するステップが更に超音波データに基づくことを任意選択的に含むことができる実施例１の方法である。

【0081】

実施例４は、超音波データが、超音波画像データ、超音波機械によって実行されている検査タイプ、及び超音波機械によって実行されている動作のリストのうちの１又は２以上を含むことを任意選択的に含むことができる実施例１の方法である。

【0082】

実施例５は、１又は以上の動作を決定するステップが更に、履歴データに基づいて個人が実行する可能性のある動作を予測するステップを含むことを任意選択的に含むことができる実施例１の方法である。

【0083】

実施例６は、１又は２以上の動作を決定するステップが更に、個人の取り込まれた音声情報に基づいており、超音波機械が存在する環境に基づいて、読唇術認識及び音声認識の結果に関連付けられる加重を動的に調節して、超音波機械を制御するための１又は２以上の動作を決定するステップを含むことを任意選択的に含むことができる実施例１の方法である。

【0084】

実施例７は、読唇術を実行するステップが、１又は２以上のカメラのうちの１つのカメラを個人が直接見ているという決定に応答して、又は個人が事前に決められた時間期間に少なくとも１つの眼を閉じた、ウィンクした、頷いた、又は別の顔キュー又は他のジェスチャを実行したという決定に応答してトリガされることを任意選択的に含むことができる実施例１の方法である。

【0085】

実施例８は、１又は２以上の画像特性を識別するステップを任意選択的に含むことができる実施例１の方法であり、１又は２以上の動作を決定するステップは、動作パラメータと１又は２以上の画像特性の相関関係に更に基づいており、更に１又は２以上の動作の少なくとも１つを用いて超音波機械を制御するステップは、動作パラメータを変更して画像を変えるステップを含む。

【0086】

実施例９は、ニューラルネットワークにおいて、超音波イメージングサブシステムからの超音波データのフィードバックの１又は２以上、超音波制御サブシステムからの機械状態のフィードバック、１又は２以上のタッチレス入力の少なくとも１つを受信するステップを任意選択的に含むことができる実施例１の方法であり、１又は２以上のタッチレス入力及び超音波機械の機械状態に基づいて超音波機械を制御するための１又は２以上の動作を決定するステップは、ニューラルネットワークによって実行される。

【0087】

実施例１０は、超音波機械を制御するための１又は２以上の動作を決定するステップが、１又は２以上の選択可能なコマンドを生成及び表示するステップと、個人から情報を取り込むステップと、少なくとも１つの動作を用いて超音波機械を制御する前に１又は２以上の選択可能なコマンドの少なくとも１つのコマンドの選択を確認するステップとして、取り込んだ情報を解釈するステップを含むことを任意選択的に含むことができる実施例１の方法である。

【0088】

実施例１１は、１又は２以上の動作が、利得を調節するステップ、深度を調節するステップ、超音波機械によって表示されている画像をフリーズするステップ、超音波機械によって表示されている画像をセーブするステップ、超音波機械によって表示されている画像上のユーザ指定の位置に注釈を追加するステップ、及び超音波機械によって表示された１又は２以上の画像を備えたレポートを作成するステップからなるグループから選択された少なくとも１つのステップを含むことを任意選択的に含むことができる実施例１の方法である。

【0089】

実施例１２は、超音波機械を制御するための１又は２以上の動作を決定するステップが、１又は２以上のタッチレス入力のうちの少なくとも１つに基づいて超音波機械によって表示されている画像に注釈を付けるステップを含むことを任意選択的に含むことができる実施例１の方法である。

【0090】

実施例１３は、超音波機械を制御するための１又は２以上の動作を決定するステップが、少なくとも１つのタッチレス入力に基づいて、注釈コマンドの開始、注釈コマンドの終了及び１又は２以上の注釈移動コマンドを認識するステップを更に含むことを任意選択的に含むことができる実施例１２の方法である。

【0091】

実施例１４は、１又は２以上の注釈移動コマンドが、アイトラッキング情報から認識されることを任意選択的に含むことができる実施例１２の方法である。

【0092】

実施例１５は、ユーザ識別動作に基づいて超音波機械に近接して位置付けられた個人を個人のグループから識別するステップと、タッチレス入力の使用を介した超音波機械の制御を識別された個人に提供するステップとを任意選択的に含むことができる実施例１の方法である。

【0093】

実施例１６は、ディスプレイ画面と、ディスプレイ画面に超音波画像を生成するためにディスプレイに結合された超音波イメージングサブシステムと、イメージングサブシステムを制御するために結合された超音波制御サブシステムと、個人の唇の動きの画像を取り込むための１又は２以上のカメラと、音声を取り込むためのマイクロフォンと、１又は２以上のカメラからの取り込まれた画像に読唇術ルーチンを行い読唇術を実行するために１又は２以上のカメラに結合されたレコグナイザと、レコグナイザ及び制御サブシステムに結合され、レコグナイザ及びマイクロフォンからの１又は２以上のタッチレス入力及び超音波制御サブシステムから受信された超音波機械の機械状態に基づいて１又は２以上の動作を決定し、１又は２以上の動作の少なくとも１つを送信して超音波制御サブシステムを制御するコマンド生成器と、を備える装置である。

【0094】

実施例１７は、コマンド生成器がニューラルネットワークを含むことを任意選択的に含むことができる実施例１６の装置である。

【0095】

実施例１８は、コマンド生成器が更に超音波データに基づいて１又は２以上の動作を決定するよう動作することを任意選択的に含むことができる実施例１６の装置である。

【0096】

実施例１９は、超音波データが、超音波画像データ、超音波機械によって実行されている検査タイプ、及び超音波機械によって実行されている動作のリストのうちの１又は２以上を含むことを任意選択的に含むことができる実施例１８の装置である。

【0097】

実施例２０は、コマンド生成器が、履歴データに基づいて個人が実行する可能性が高い動作を予測することによって１又は２以上の動作を決定するよう動作することを任意選択的に含むことができる実施例１６の装置である。

【0098】

実施例２１は、コマンド生成器が、個人の取り込まれた音声情報に更に基づいて１又は２以上の動作を決定し、超音波機械が存在する環境に基づいて、読唇術認識及び音声認識の結果に関連付けられる加重を動的に調節して、超音波機械を制御するための１又は２以上の動作を決定するよう動作することを任意選択的に含むことができる実施例１６の装置である。

【0099】

実施例２２は、個人が１又は２以上のカメラの少なくとも１つを見ているという決定に応答して又は顔キューに応答して個人が使用するタッチレス入力制御をレコグナイザがトリガするよう動作し、顔キューが、事前に決められた時間期間に少なくとも１つの眼を閉じる、ウィンクする、頷くからなるグループの１つを含むことを任意選択的に含むことができる実施例１６の装置である。

【0100】

実施例２３は、コマンド生成器が、超音波イメージングサブシステムからの超音波データのフィードバック、超音波制御サブシステムからの機械状態のフィードバック、及びレコグナイザからの個人の１又は２以上のタッチレス入力の少なくとも１つを受信するよう動作するニューラルネットワークを含み、これに応答して、コマンド生成器が、超音波制御サブシステムを制御するための１又は２以上の動作を決定するよう動作することを任意選択的に含むことができる実施例１６の装置である。

【0101】

実施例２４は、１又は２以上の動作が、利得を調節するステップ、深度を調節するステップ、超音波機械によって表示されている画像をフリーズするステップ、超音波イメージングサブシステムによって表示されている画像をセーブするステップ、超音波イメージングサブシステムによって表示されている画像のユーザ指定の位置に注釈を追加するステップ、及び超音波イメージングサブシステムによって表示された１又は２以上の画像を備えたレポートを作成するステップからなるグループから選択された少なくとも１つを含むことを任意選択的に含むことができる実施例１６の装置である。

【0102】

実施例２５は、１又は２以上の動作が、個人から取り込まれた情報に基づいて、注釈コマンドの開始、注釈コマンドの終了及び１又は２以上の注釈の移動コマンドを認識するステップを含む、１又は２以上のタッチレス入力に基づいて超音波イメージングサブシステムによって表示されている画像に注釈を付けるステップを含むことを任意選択的に含むことができる実施例１６の装置である。

【0103】

実施例２６は、システムによって実行された時に、システムに超音波機械の動作を制御する方法を実行させる命令を格納している１又は２以上のコンピュータ可読ストレージ媒体を有する製造物品であって、この方法は、１又は２以上のタッチレス入力を取得するステップと、１又は２以上のタッチレス入力及び超音波機械の機械状態に基づいて超音波機械を制御するための１又は２以上の動作を決定するステップと、１又は２以上の動作の少なくとも１つを用いて超音波機械を制御するステップと、を含む。

【0104】

上記の詳細な説明の一部分は、コンピュータメモリ内のデータビットにおけるアルゴリズム及び動作の記号表現に関して提示されている。これらのアルゴリズムの記述及び表現は、当技術に精通した他者にこの作業の内容を最も効率よく伝えるためにデータ処理技術に精通した業者によって用いられる手段である。本明細書におけるアルゴリズムは、一般的には、所望の結果に至る自己矛盾のないステップのシーケンスであると考えられる。これらのステップは、物理的量の物理的操作を必要とするものである。通常、必須ではないが、これらの量は、格納、転送、組み合わせ、比較、及び他の方法で操作することができる電気又は磁気信号の形態を取る。原則として共通使用の理由から、これらの信号をビット、値、要素、記号、文字、項、数字又は同様のものとして示すことが好都合であることが分かっている。

【0105】

しかしながら、これら及び類似の用語の全てが適切な物理的量に関連付けられ、これらの量に適用される単に好都合なラベルであることは想起されるはずである。以下の論議から明らかなように、他に具体的に明記されない限り、本明細書全体を通して、「処理する」又は「コンピュータ計算する」又は「計算する」又は「決定する」又は「表示する」などの用語を用いた論議は、コンピュータシステム、又はコンピュータシステムのレジスタ及びメモリ内の物理的（電気）量として表されるデータを、コンピュータシステムメモリ又はレジスタ又は他のこのような情報ストレージ、送信又はディスプレイデバイス内の物理的量として同様に表される他のデータに操作及び変換する類似の電子コンピュータデバイスの動作及びプロセスを指すことを理解されたい。

【0106】

本発明はまた、本明細書の動作を実行する装置に関する。この装置は、要求される目的のために特に構成することができ、又はコンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピュータを含むことができる。このようなコンピュータプログラムは、限定ではないが、フロッピーディスク、光学ディスク、ＣＤ‐ＲＯＭ、及び磁気光学ディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、又は電子命令を格納するのに適した媒体の何れかのタイプを含む何れかのタイプのディスクなどのコンピュータ可読ストレージ媒体に格納することができ、各々がコンピュータシステムバスに結合される。

【0107】

本明細書に提示するアルゴリズム及びディスプレイは、何れかの特定のコンピュータ又は他の装置に本質的に関係付けられるものではない。様々な汎用システムを本明細書の教示に従うプログラムと共に用いることができ、又は要求される方法ステップを実行するために専用の装置を構成することが好都合であることが分かっている。多種多様なこれらのシステムに対して要求される構造は以下の説明から明らかであろう。加えて、本発明は、何れかの特定のプログラミング言語に関して記述していない。多種多様なプログラミング言語を用いて本明細書に記述する本発明の教示を実施できることが理解されるであろう。

【0108】

機械可読媒体は、機械（例えば、コンピュータ）によって可読の形態の情報を格納又は送信するための何れかの機構を含む。例えば、機械可読媒体は、読取専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスクストレージ媒体、光学ストレージ媒体、フラッシュメモリデバイスなどを含む。

【0109】

本発明の多くの代替及び修正は、前述の説明を読んだ後に疑いなく当業者に明らかになるであろうが、例証として図示及び記述した何れの特定の実施形態も限定としてみなされるべきでないことを理解されたい。従って、様々な実施形態の詳細の引用は、本発明に必須のものとして見なされる特徴のみを列挙する請求項の範囲を限定するものではない。

【符号の説明】

【0110】

１０１ 読唇術を実行する（１又は２以上のカメラによって唇の動きを取り込むステップを含む）
１０２ １又は２以上のタッチレス入力（例えば、読唇術認識の結果、取り込まれた音声の１又は２以上、超音波画像情報、検査タイプ、ワークフロー、予想されるユーザ動作など）及び超音波機械の機械状態に基づいて超音波機械を制御するための動作（例えば、利得の調節、深度の調節、画像のフリーズ、画像のセーブ、注釈の追加／移動、レポートの作成など）を決定する
１０３ ユーザが選択及び／又は確認する動作から実行される１又は２以上の動作（例えば、コマンド）を生成及び表示する（任意選択的）
１０４ 動作を用いて（必要に応じて、選択／確認に応答して）超音波機械を制御する

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-06-13

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

超音波機械を制御するシステムであって、
メモリと、
前記メモリに結合されたプロセッサであって、１又は２以上のタッチレス入力を取得し、前記１又は２以上のタッチレス入力及び前記超音波機械の機械状態に基づいて、前記超音波機械を制御するための１又は２以上の動作を決定し、前記１又は２以上の動作の少なくとも１つを用いて前記超音波機械を制御するように構成され、前記１又は２以上の動作を決定することが、履歴データに基づいて個人が実行する可能性のある動作を予測することを含む、プロセッサと、
を備える、システム。

【請求項2】

前記プロセッサは更に、少なくとも１つのカメラを用いて個人の唇の動きを取り込むことを含む読唇を実行するように更に構成されており、前記超音波機械を制御するための前記１又は２以上の動作を決定することが、前記読唇を実行した結果に基づく、
請求項１に記載のシステム。

【請求項3】

前記プロセッサは、超音波データに基づいて前記１又は２以上の動作を決定するように更に構成されている、
請求項１に記載のシステム。

【請求項4】

前記超音波データは、超音波画像データ、前記超音波機械によって実行されている検査タイプ、及び前記超音波機械によって実行されている動作のリストのうちの１又は２以上を含む、
請求項３に記載のシステム。

【請求項5】

前記プロセッサは、個人の取り込まれた音声情報に基づいて前記１又は２以上の動作を決定するように更に構成され、前記超音波機械が存在する環境に基づいて読唇認識及び音声認識の結果に関連付けられる加重を動的に調節して、前記超音波機械を制御するための前記１又は２以上の動作を決定するように更に構成されている、
請求項１に記載のシステム。

【請求項6】

前記プロセッサは、個人が前記１又は２以上のカメラのうちの１つのカメラを直接見ている、又は前記個人が事前に決められた時間中に少なくとも１つの眼を閉じた、ウィンクした、頷いた、或いは別の顔キュー又は他のジェスチャを実行した、という１又は２以上のアクションを判定するように更に構成されている、
請求項１に記載のシステム。

【請求項7】

前記プロセッサは、１又は２以上の画像特性を識別し、動作パラメータと前記１又は２以上の画像特性との相関関係に基づいて前記１又は２以上の動作を決定し、前記動作パラメータを変更して画像を変えるように更に構成されている、
請求項１に記載のシステム。

【請求項8】

前記プロセッサは、ニューラルネットワークにおいて、超音波イメージングサブシステムからの超音波データのフィードバック、超音波制御サブシステムからの機械状態のフィードバック、前記１又は２以上のタッチレス入力の少なくとも１つ、のうちの１又は２以上を受信し、前記１又は２以上のタッチレス入力及び前記超音波機械の機械状態に基づいて前記超音波機械を制御するための１又は２以上の動作を前記ニューラルネットワークによって決定するように更に構成されている、
請求項１に記載のシステム。

【請求項9】

前記プロセッサは、
１又は２以上の選択可能なコマンドを生成及び表示し、
個人から情報を取り込み、
前記少なくとも１つの動作を用いて前記超音波機械を制御する前に前記１又は２以上の選択可能なコマンドのうちの少なくとも１つの選択の確認として前記取り込まれた情報を解釈する、
ように更に構成されている、請求項１に記載のシステム。

【請求項10】

前記１又は２以上の動作は、利得を調節すること、深度を調節すること、前記超音波機械によって表示されている画像をフリーズすること、前記超音波機械によって表示されている画像をセーブすること、前記超音波機械によって表示されている画像上のユーザ指定の位置に注釈を追加すること、及び前記超音波機械によって表示された１又は２以上の画像を備えたレポートを作成すること、からなるグループから選択される少なくとも１つを含む、
請求項１に記載のシステム。

【請求項11】

前記プロセッサは、前記１又は２以上のタッチレス入力のうちの少なくとも１つに基づいて前記超音波機械によって表示されている画像に注釈を付けるように更に構成されている、
請求項１に記載のシステム。

【請求項12】

前記プロセッサは、ユーザ識別動作に基づいて前記超音波動作に近接して位置付けられた個人を個人のグループから識別するように更に構成されている、
請求項１に記載のシステム。

【請求項13】

超音波機械を制御するシステムであって、
メモリと、
１又は２以上のタッチレス入力を取得するように前記メモリに結合されたプロセッサと、
前記プロセッサに結合されたニューラルネットワークであって、超音波データのフィードバック、機械状態のフィードバック、又は前記１又は２以上のタッチレス入力の少なくとも１つ、のうちの１又は２以上を受信し、前記１又は２以上のタッチレス入力の少なくとも１つ及び前記超音波機械の機械状態に基づいて前記超音波機械を制御する１又は２以上の動作を決定して、前記１又は２以上の動作のうちの少なくとも１つを用いて前記超音波機械を制御する、ように構成されたニューラルネットワークと、
を備える、システム。

【請求項14】

前記プロセッサは、超音波画像を生成し、ディスプレイ装置に前記超音波画像を生成する、ように更に構成されており、前記システムは、個人の唇の動きを取り込むように前記プロセッサに結合された少なくとも１つのカメラと、音声を取り込むように前記プロセッサに結合されたマイクロフォンと、を更に備え、前記プロセッサは、前記少なくとも１つのカメラから取り込まれた画像に対して読唇ルーチンを実行して読唇を実行するように更に構成されている、
請求項１３に記載のシステム。

【請求項15】

前記プロセッサは、超音波データに基づいて前記１又は２以上の動作を決定するように更に構成されている、
請求項１３に記載のシステム。

【請求項16】

超音波機械を制御するシステムであって、
メモリと、
前記メモリに結合されたプロセッサであって、１又は２以上のタッチレス入力を取得し、前記１又は２以上のタッチレス入力及び前記超音波機械の機械状態に基づいて、前記超音波機械を制御するための１又は２以上の動作を決定し、前記１又は２以上の動作のうちの少なくとも１つを用いて前記超音波機械を制御するように構成され、前記１又は２以上の動作のうちの少なくとも１つを用いて前記超音波機械を制御する前に、１又は２以上の選択可能なコマンドを生成及び表示し、個人から情報を取り込み、前記１又は２以上の選択可能なコマンドのうちの少なくとも１つの選択の確認として前記取り込まれた情報を解釈する、ように構成されたプロセッサと、
を備える、システム。

【請求項17】

前記プロセッサは、超音波データに基づいて前記１又は２以上の動作を決定するように更に構成されており、前記超音波データが、超音波画像データ、前記超音波機械によって実行されている検査タイプ、及び前記超音波機械によって実行されている動作のリストのうちの１又は２以上を含む、
請求項１６に記載のシステム。

【請求項18】

前記プロセッサは、履歴データに基づいて個人が実行する可能性のある動作を予測することによって前記１又は２以上の動作を決定するように更に構成されている、
請求項１６に記載のシステム。

【請求項19】

前記１又は２以上の動作は、利得を調節すること、深度を調節すること、前記超音波機械によって表示されている画像をフリーズすること、前記超音波機械によって表示されている画像をセーブすること、前記超音波機械によって表示されている画像上のユーザ指定の位置に注釈を追加すること、及び前記超音波機械によって表示された１又は２以上の画像を備えたレポートを作成すること、からなるグループから選択される少なくとも１つを含む、
請求項１６に記載のシステム。

【請求項20】

前記プロセッサは、音声情報に基づいて前記１又は２以上の動作を決定するように更に構成されている、
請求項１６に記載のシステム。

【外国語明細書】