特開 2024-1146 超音波イメージングシステムにおける自動障害検出および修正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001146

(43)【公開日】2024-01-09

(54)【発明の名称】超音波イメージングシステムにおける自動障害検出および修正

(51)【国際特許分類】

   A61B 8/14 20060101AFI20231226BHJP

【ＦＩ】

A61B8/14

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023172629

(22)【出願日】2023-10-04

(62)【分割の表示】P 2021514126の分割

【原出願日】2019-09-11

(31)【優先権主張番号】16/132,262

(32)【優先日】2018-09-14

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

２．ＴＥＮＳＯＲＦＬＯＷ

３．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】519019791

【氏名又は名称】フジフイルム ソノサイト インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100170209

【弁理士】

【氏名又は名称】林 陽和

(72)【発明者】

【氏名】ランドバーグ アンドリュー

(72)【発明者】

【氏名】クック ジョン

(57)【要約】      （修正有）

【課題】超音波イメージングおよび特にシステム障害を検出および調整することができる超音波システムを提供する。
【解決手段】超音波イメージングシステムのプロセッサは、システムの障害またはエラーを識別する。一実施形態において、障害またはエラー状態は、セルフテスト中にシステムパラメータを監視することによって検出される。別の実施形態において、プロセッサは、トランスデューサまたはイメージングシステムの障害状態を識別するために超音波画像データをトレーニング済みニューラルネットワークに提供。いくつかの実施形態において、プロセッサは、検出された障害状態でシステムが動作および画像の生成を継続するように識別された障害状態を補償するために１以上の動作パラメータを調整する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象に超音波信号を供給し、前記対象から超音波エコー信号を受信するように構成されたトランスデューサと、
受信された前記超音波エコー信号から超音波画像データを生成し、提供された前記画像データに基づいて前記トランスデューサまたはイメージングシステムの１以上の障害状態を検出するように構成されたニューラルネットワークに前記超音波画像データを供給するインストラクションを実行するように構成されたプロセッサであって、検出された障害状態を補償するように１以上の動作パラメータを調整するインストラクションを実行するようにさらに構成されたプロセッサと、
前記１以上の調整されたパラメータで取得された超音波画像データを表示するように構成されたディスプレイと、
を備える、超音波イメージングシステム。

【請求項2】

前記プロセッサは、セルフテストモード中または検査中に前記超音波画像データを前記ニューラルネットワークに供給するインストラクションを実行するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項3】

前記プロセッサは、前記検出された障害状態を補償するために動作パラメータに１以上の変更を加えるようにユーザに警告するインストラクションを実行するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項4】

前記プロセッサは、前記検出された障害状態を補償するために動作パラメータに加えられた変更の標示とともに超音波画像データを記憶するインストラクションを実行するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項5】

前記プロセッサは、前記検出された障害状態を補償するために前記動作パラメータに加えられた前記変更がある場合と無い場合とで画像を表示するインストラクションを実行するように構成されている、
請求項４に記載の超音波イメージングシステム。

【請求項6】

検出された障害状態に関連付けられた１以上の動作パラメータの変更を記憶するためにプロセッサによってアクセス可能なデータベースをさらに備える、
請求項１に記載の超音波イメージングシステム。

【請求項7】

前記データベースは、検出された障害状態の後に１以上の動作パラメータに加えられた変更の後に検出されたシステムステータスの記録を記憶する、
請求項６に記載の超音波イメージングシステム。

【請求項8】

前記データベースは、前記検出された障害状態を補償するためにユーザによって動作パラメータに加えられた変更の記録を記憶する、
請求項６に記載の超音波イメージングシステム。

【請求項9】

前記プロセッサは、前記検出された障害状態に応じて取られるべき１以上のアクションのリスト、または前記検出された障害状態でイメージングが継続すべきか否かの指示のためのプロンプトを提供するインストラクションを実行するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項10】

対象に超音波信号を供給し、前記対象から超音波エコー信号を受信するように構成されたトランスデューサと、
イメージングシステムにおける送信／受信回路に前記トランスデューサを選択的に接続するように構成されたマルチプレクサと、
前記トランスデューサから対象に超音波を伝達するために前記送信／受信回路に電力を供給する電源と、
前記送信／受信回路から前記トランスデューサを切断し、前記トランスデューサにテストパルスを伝達し、前記トランスデューサまたはイメージングシステムにおける１以上の障害状態を検出するために前記テストパルス中に前記トランスデューサが切断された状態で前記電源から流れる電流を監視するように前記マルチプレクサを構成するインストラクションを実行するように構成されたプロセッサであって、識別された障害状態を補償するように１以上の動作パラメータを調整するインストラクションを実行するようにさらに構成されたプロセッサと、
前記１以上の調整されたパラメータで取得された超音波画像データを表示するように構成されたディスプレイと、
を備える、超音波イメージングシステム。

【請求項11】

前記プロセッサは、前記検出された障害状態に応じて動作パラメータに１以上の変更を加えるようにユーザに警告するインストラクションを実行するように構成されている、
請求項１０に記載の超音波イメージングシステム。

【請求項12】

前記プロセッサは、前記検出された障害状態を補償するために動作パラメータに加えられた変更の標示とともに超音波画像データを記憶するインストラクションを実行するように構成されている、
請求項１０に記載の超音波イメージングシステム。

【請求項13】

識別された障害状態に関連付けられた１以上の動作パラメータの変更を記憶するためにプロセッサによってアクセス可能なデータベースをさらに備える、
請求項１０に記載の超音波イメージングシステム。

【請求項14】

前記プロセッサは、前記検出された障害状態を補償するために加えられた前記変更がある場合とない場合とで画像を表示するインストラクションを実行するように構成されている、
請求項１０に記載の超音波イメージングシステム。

【請求項15】

前記プロセッサは、前記検出された障害状態でイメージングが継続すべきか否かをユーザに促すインストラクションを実行するように構成されている、
請求項１０に記載の超音波イメージングシステム。

【請求項16】

対象に超音波信号を供給し、前記対象から超音波エコー信号を受信するように構成された複数のトランスデューサ要素を有するトランスデューサと、
イメージングシステムにおける送信／受信回路に前記トランスデューサを選択的に接続するように構成されたスイッチと、前記トランスデューサ要素に対するスイッチが開いている場合にトランスデューサ要素を接地する接地クランプと、を有するマルチプレクサと、
前記トランスデューサから対象に超音波を伝達するために前記送信／受信回路に電力を供給する電源と、
前記イメージングシステムにおける前記送信／受信回路から前記トランスデューサを切断し、前記トランスデューサにおける１以上の障害状態を検出するために前記電源が通電されている場合に前記電源から流れる電流を監視するように前記マルチプレクサを構成するインストラクションを実行するように構成されたプロセッサであって、識別された障害状態を補償するように１以上の動作パラメータを調整するインストラクションを実行するようにさらに構成されたプロセッサと、
前記１以上の調整されたパラメータで取得された超音波画像データを表示するように構成されたディスプレイと、
を備える、超音波イメージングシステム。

【請求項17】

前記プロセッサは、前記検出された障害状態を補償するために動作パラメータに１以上の変更を加えるようにユーザに警告するインストラクションを実行するように構成されている、
請求項１６に記載の超音波イメージングシステム。

【請求項18】

前記プロセッサは、前記検出された障害状態を補償するために動作パラメータに加えられた変更の標示とともに超音波画像データを記憶するインストラクションを実行するように構成されている、
請求項１６に記載の超音波イメージングシステム。

【請求項19】

識別された障害状態に関連付けられた１以上の動作パラメータの変更を記憶するためにプロセッサによってアクセス可能なデータベースをさらに備える、
請求項１６に記載の超音波イメージングシステム。

【請求項20】

前記プロセッサは、前記検出された障害状態を補償するために加えられた前記変更がある場合とない場合とで画像を表示するインストラクションを実行するように構成されている、
請求項１６に記載の超音波イメージングシステム。

【請求項21】

前記プロセッサは、前記検出された障害状態でイメージングが継続すべきか否かをユーザに促すインストラクションを実行するように構成されている、
請求項１６に記載の超音波イメージングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

開示技術は、超音波イメージングおよび特にシステム障害を検出および調整することができる超音波システムに関する。

【背景技術】

【0002】

使用の容易さおよび非電離放射線のために、超音波は、人および動物の対象のためにますます使用されるイメージングモダリティである。超音波は、体内組織の画像を提供することに加えて、研究者または医療提供者による生理学的機能の定量的評価を提供するために使用される。特に超音波システムおよび超音波トランスデューサに共通する課題の１つは、それらが比較的持ち運び可能であるため乱用しやすいことである。トランスデューサを落とすこと、または相互接続ケーブルを物理的に損傷することは、１以上のチャネルが働かなくなること、または不安定に動作することを引き起こしうる。特定のタイプのトランスデューサの障害を伴って動作すると機器のシステム部分が損傷しうるため、ある超音波画像システムは、障害が検出されると、イメージングをすべて一緒に停止する。これは、障害が機器をさらに損傷するまたは対象を潜在的に傷つけるタイプではない場合に、画像が得られないことよりも最適ではない画像が得られることの方をユーザが好むであろう緊急事態またはその他のシチュエーションにおいてフラストレーションを起こさせうる。他のシチュエーションにおいて、システムは、イメージングを継続するが、画像が最適ではないことをユーザに通知せず、ユーザは、誤った超音波データを実際のデータとして解釈する可能性がある。

【発明の概要】

【0003】

上記の課題などに対処するために、開示技術は、システム障害またはエラーを検出し、システムの動作を止めること、システムが中断無しで画像を生成することを可能にするように検出された障害を調整すること、および検出された障害を伴って画像が取得されたことをオペレータに警告すること、のような１以上のプログラムされたアクションを実行する超音波システムである。

【0004】

一実施形態において、いくつかの送信／受信チャネル用のビームフォーミング回路は、プログラマブルマルチプレクサを介してトランスデューサ要素に接続される。プロセッサは、１以上のトランスデューサプローブをビームフォーミング回路から切断するようにマルチプレクサが設定されるセルフテストを制御する。テストパルスは、トランスデューサが切断されている間に生成される。障害は、テストパルスにより電源から流れる測定電流に基づいて検出される。電流が検出された場合、送信パルサは、障害のあるチャネルを分離するように選択的に無効にされうる。障害の程度に応じて、プロセッサは、その後補償しうる。

【0005】

別の実施形態において、プロセッサは、マルチプレクサがトランスデューサを接続または切断したときにチャネルで受信された信号を解析する。切断されていると思われるチャネルで受信される音響エコー情報は、システムマルチプレクサ障害が存在する可能性があることを示す。同様に、完全に接続されたトランスデューサのチャネルで受信される音響エコー情報は、隣接するチャネルと比較される。異常な信号は、障害のある要素を示す。障害が検出されると、プロセッサは、特定の障害を補償するようにプログラムされたアクションを行う。

【0006】

さらに別の実施形態において、プロセッサは、トランスデューサをビームフォーミング回路から切断するようにマルチプレクサを制御する。同時に、トランスデューサ要素ごとにマルチプレクサの接地クランプが設定され、バイアス電源が有効化および監視される。トランスデューサ内のバイアス電圧障害を示す過剰な電流が検出された場合、プロセッサは、このトランスデューサを使用せず、その代わりに取り外して修理することを推奨しうる。

【0007】

さらに別の実施形態において、超音波イメージングシステムのプロセッサは、画像データからシステムの障害またはエラーを識別するようにトレーニングされたニューラルネットワークに超音波画像データを提供するようにプログラムされる。一実施形態において、ニューラルネットワークは、検出された障害またはエラーの確率をプロセッサに返す。識別された障害またはエラーが検出されると、プロセッサは、システムの動作を止めること、システムが中断無しで画像を生成することを可能にするように検出された障害を調整すること、および検出された障害を伴って画像が取得されたことをオペレータに警告すること、のような１以上のアクションを行うようにプログラムされる。

【図面の簡単な説明】

【0008】

【図1】図１は、開示技術の実施形態にかかる超音波画像を生成するための代表的な超音波システムを示す。

【0009】

【図2A】図２Ａは、正常に動作する超音波イメージングシステムにより生成される超音波画像を示す。

【0010】

【図2B】図２Ｂは、ノイズ問題および失敗した受信チャネルを伴う超音波イメージングシステムにより生成される超音波画像を示す。

【0011】

【図3】図３は、開示技術の実施形態にかかる障害／エラーをプロセッサが検出することを可能にする超音波イメージングシステムにおけるビームフォーミング送信／受信回路のブロック図である。

【0012】

【図4】図４は、開示技術の実施形態にかかるいくつかのテスト画像によりニューラルネットワークがどのようにトレーニングされるかを示す。

【0013】

【図5】図５は、開示技術の実施形態にかかる、超音波イメージングシステムの障害またはエラーを検出するようにトレーニング済みニューラルネットワークを使用し、検出された障害またはエラーを補償するためにプログラムされたプロセッサによって行われるステップのロジック図である。

【発明を実施するための形態】

【0014】

上記のように、多くの超音波システムは、デバイスの最初の電源投入時に診断セルフテストを実行する。障害が検出された場合、システムは、認定された技術者によって検査および修理されるまで、システムのさらなる動作または使用をたびたび妨げる。このアプローチは、システムの損傷および場合によっては誤った画像の生成を防ぐことができるが、画像無しよりも対象の何らかの画像がある方が良い場合がある緊急事態においてたびたびユーザにフラストレーションを起こさせる。

【0015】

これらの欠陥を克服するために、開示技術は、超音波イメージングシステムにおける障害またはエラー状態を自動的に検出するためのシステムに向けられる。障害またはエラーが検出されると、プロセッサは、１以上のアクションを行うようにプログラムされる。いくつかの実施形態において、プロセッサは、システムにさらなる損傷を与えることなくイメージングが継続できるとプロセッサが判断した場合に超音波画像を取得および表示し続けるようにプログラムされる。他の実施形態において、プロセッサは、検出された障害またはエラーがシステムにさらに損傷を与える場合には動作を停止するようにプログラムされる。他の実施形態において、プロセッサは、イメージングを継続し、検出された障害またはエラーを補償するようにプログラムされる。さらに他の実施形態において、プロセッサは、イメージングを続行し、障害またはエラーが検出されたことをオペレータに警告するようにプログラムされる。

【0016】

図１は、開示技術が実施されうる代表的な超音波イメージングシステムを示す。超音波イメージングシステム５０は、手持ち式、携帯型、またはカートベースのイメージングシステムを含むことができる。超音波システム５０は、超音波音響信号を対象（図示せず）に送信し、対応する音響エコー信号を対象から受信する１以上の超音波トランスデューサ５４と接続する。いくつかの実施形態において、超音波システム５０は、ＳＰＯ₂センサ、ＥＫＧセンサ、呼吸センサなどのような１以上の追加の外部センサ５６から信号を受信することができる。超音波イメージングシステム５０は、超音波データが表示される１以上のディスプレイを含む。ディスプレイは、ユーザがタッチコマンドでシステムを操作できるように、タッチ感応スクリーンを含みうる。いくつかの実施形態では、追加のコントロール（トラックボール、ボタン、キー、トラックパッド、音声起動コントロール、モーションセンサなど）も、ユーザが操作できるように提供されうる。超音波イメージングシステム５０は、システムが有線または無線のデータ通信リンクを介して離れた場所にある１以上のシステム（図示せず）に接続することを可能にするように、通信回路（たとえばモデム、ＮＩＣ、Ｂｌｕｅｔｏｏｔｈまたは８０２．１１無線など）も含む。

【0017】

超音波イメージングシステム５０は、返ってきたアナログエコー信号から画像データを生成するように構成された１以上のプロセッサ（たとえばＣＰＵ、ＤＳＰ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡまたはそれらの組み合わせ）を有する信号および画像処理回路を含む。以下で詳細に説明するように、イメージングシステムは、システムの障害またはエラーを検出し、正しい動作のモードを決定するように構成されている。一実施形態において、データベース６２は、いくつかの異なる障害またはエラー状態に関する情報、およびプロセッサによって行われるべき対応する修正アクションについての情報を記憶する。データベースは、コード、特定の障害またはエラー状態（「障害状態」とも呼ばれる）の数字の識別子または記述を受け取り、提供される特定の障害またはエラー状態に対してプロセッサが行うべきアクションに関する情報を返す。いくつかの実施形態において、イメージングシステムは、障害またはエラー状態を検出するためにイメージングシステム内の動作状態を測定することによってセルフテストを実行する。他の実施形態において、プロセッサは、イメージングシステムの障害またはエラー状態を識別するために超音波画像データを解析するようにトレーニングされたニューラルネットワーク１７０を実装するために、プロセッサ可読メモリに記憶されたプログラムされたインストラクションを実行するか、または所定の論理演算を実行する。開示される実施形態において、障害またはエラー状態は、超音波イメージングシステム自体、トランスデューサ５４、またはその両方内にありうる。このようなエラー状態または障害の例は、限定はされないが、トランスデューサ要素の短絡または開放、Ａ／Ｄコンバータの量子化エラー、受信アンプまたはフィルタのエラー、ビームフォーマーＦＰＧＡエラー、ＦＰＧＡ送信回路、マルチプレクサ、パワーアンプのエラーなどを含む。

【0018】

図２Ａは、完全動作超音波イメージングシステムから得られる代表的な超音波画像８０を示し、図２Ｂは、ノイズ問題および動作不良受信チャネルを有する画像８２を示す。画像８２は、動作不良の受信チャネルに対応する暗いビームライン８４のパターンおよびノイズが増加している白い縞のパターンのようないくつかのアーティファクトを持っている。訓練された超音波技術者にとって、そのようなアーティファクトは、超音波イメージングシステムに障害またはエラー状態が発生している場所を示唆する。これらのタイプのエラーを検出することにより、開示技術の超音波システムのプロセッサは、アーティファクトを補償することができる。このような補償は、ビームラインの不連続性を減らす中間データ（ｃｏｍｐｒｏｍｉｓｅｄ ｄａｔａ）を近似するように、隣接する要素（ビームフォーミング前）からまたは隣接するビーム（ビームフォーミング後）からのデータを利用してアーティファクト線のデータを埋めることを含む。アーティファクトの原因となる障害がイメージングシステムにさらに損傷を与える可能性があるとプロセッサが判断した場合、プロセッサは、障害を修復できるまで、これ以上のイメージングを無効にすることがある。

【0019】

図３は、開示技術の一実施形態にかかる超音波イメージングシステムにおける送信／受信経路のブロック図である。イメージングシステムは、プロセッサおよびビームフォーミング制御回路１００を含む。プロセッサは、超音波システムの動作を制御するプログラムステップを実行し、ビームフォーミング制御回路１００は、ビームを特定の方向に操作（ｓｔｅｅｒ）するまたは特定のタイプのイメージング（たとえばＢモード、Ｍモード、ドップラーなど）を実行するためにトランスデューサ要素に提供されるパルスのタイミングおよび大きさを制御する。パルサ回路１０２は、送信／受信スイッチ１０４およびマルチプレクサ１０６を介して個々のトランスデューサ要素に高電圧パルスを提供する。一実施形態において、マルチプレクサは、スイッチ１０８を介して、１個、２個、または０個のトランスデューサ要素に信号を向けることができる。一実施形態において、マルチプレクサ（ＨＤＬ６Ｍ０６５０２Ｂ）は、マルチプレクサの出力ごとに接地クランプ１１０を含む。接地クランプ１１０は、対応するスイッチ１０８が閉じている場合に開いており、接地クランプ１１０は、対応するスイッチ１０８が開いているときに閉じている。示される実施形態において、マルチプレクサ１０６は、各々がいくつかの個別のトランスデューサ要素を有する一対のトランスデューサ１２０、１２４に結合されている。

【0020】

パルサ１０２の電力は、パルサ電源１３０によって提供される。トランスデューサバイアス電源１３６は、トランスデューサ１２０、１２４のための電圧レールを提供する。受信機１４０（たとえば低ノイズアンプ、Ａ／Ｄコンバータなど）は、送信／受信スイッチ１０４に接続されている。送信中、送信／受信スイッチ１０４は、マルチプレクサ１０６をパルサ１０２に接続する。受信中、送信／受信スイッチは、受信機１４０をマルチプレクサ１０６に接続する。受信機１４０の出力は、画像処理ハードウェア１４４に給電（ｆｅｅｄ）する。

【0021】

送信／受信経路における障害またはエラーをテストするために、プロセッサ１００は、パルサ１０２がトランスデューサ１２０、１２４から切断されて接地クランプ１１０がセットされるように、マルチプレクサ１０２のスイッチ１０８を開位置に設定するようにプログラムされる。この構成では、すべてのトランスデューサ要素がパルサから切断されている。プロセッサは、トランスデューサ要素にテストパルスを提供する。プロセッサ１００は、パルサ電源１３０によって提供される電流を感知する電流センサから信号を受信する。すべてのトランスデューサ要素が切断されている場合、電流は最小であるべきである。マルチプレクサのスイッチ１０８がある種の障害に起因して閉位置にある場合、電流の流れ（ｃｕｒｒｅｎｔ ｄｒａｗ）は、ある最小閾値を超えて検出されうる。この場合、続いて、プロセッサは、どのチャネルが電流の流れの増加に関連付けられるかを判定するために個々のチャネルにテストパルスを適用するようにプログラムされる。障害の程度が判定されると、プロセッサは、障害の影響を軽減するステップを行うようにプログラムされる。一例において、プロセッサ１００は、信号が障害のあるチャネル上で送信されるのを防止し、障害のあるチャネルで受信されるべきデータを隣接する要素によって受信されたデータ信号と平均化するようにプログラムされる。

【0022】

いくつかの実施形態において、マルチプレクサ１０６は、接地クランプ１１０を欠いていてもよい。この実施形態において、プロセッサ１００は、チャネルのマルチプレクサが「開」に設定された場合に各チャネル上の信号を解析するようにプログラムされる。ノイズ以外の信号が受信された場合、プロセッサは、マルチプレクサスイッチまたは受信チャネルにおける他のどこかに障害があると判定する。そして、プロセッサは、たとえばそのチャネルで送信しないことと、障害のあるチャネルのデータを隣接チャネルからのデータで埋めることと、によって、障害を補償するようにプログラムされる。

【0023】

別の実施形態において、プロセッサは、トランスデューサ１２０、１２４がシステムに接続されている場合にバイアス電源１３６によって供給されるバイアス電流を監視する。マルチプレクサ１０６のスイッチ１０８が開いて接地クランプ１１０が閉じた状態において、トランスデューサは、超音波システムのビームフォーミング回路から切断されるべきである。トランスデューサのバイアス電源が通電しているときに異常な電流スパイクが発生した場合、プロセッサは、トランスデューサに障害があると判定する。バイアス電源１３６によって提供される電流を監視することによって、送信／受信スイッチ１０４に電流を流してそれを極力損傷することなく、短絡が検出できる。

【0024】

上記のように、いくつかの実施形態において、プロセッサは、障害／エラーを検出するためにトレーニング済みニューラルネットワークを使用するようにプログラムされる。特定の障害またはエラー状態は、トレーニング済みニューラルネットワーク１７０によって検出可能な対応する超音波画像内にアーティファクトを生成しうる。ニューラルネットワーク１７０がトレーニングされた後、プロセッサは、イメージング処理電子機器によって生成された画像データをニューラルネットワークに提供し、ニューラルネットワークは、既知の障害またはエラー状態を持つイメージングシステムにより画像データが取得された確率（パーセンテージ）を返す。たとえば、動作しない要素を伴うトランスデューサは、画像内のビームラインに沿って暗い領域を有する画像に関連付けられうる。図２Ｂに示されるように、不良な受信チャネルは、画像に暗い線または領域を生成することがある。いくつかの実施形態において、ニューラルネットワーク１７０は、画像データを解析し、０．９６のような確率またはパーセンテージと、障害／エラー状態を診断するためにプロセッサによって読み取られる「＃４－トランスデューサ要素３８が機能していない」のような関連付けられたエラー識別子と、を返す。

【0025】

一実施形態において、データベース６２（図１）は、既知の障害およびエラー状態の記録と、障害／エラー状態またはイメージングを継続できるかを補償するために行われるべき１位以上のアクションと、を記憶する。障害またはエラー状態が識別されると、プロセッサは、検出された障害／エラー状態に対する応答を決定するためにデータベース６２を使用するようにプログラムされる。

【0026】

ニューラルネットワークから結果を受信すると、プロセッサは、障害を修正するために１以上のパラメータを補償または調整するようにプログラムされる。たとえば、機能していないトランスデューサ要素は、隣接する要素からの信号からの寄与を増やすことによって補償されうる。欠陥のあるアンプまたは他の信号処理コンポーネントのエラーは、不良なＴＸまたはＲＸチャネルからのデータを処理しないことか、またはデータを他のチャネルからのデータと結合して画像を生成するのに先立って完全に機能するコンポーネントによって受信されたデータと一致させるように受信された超音波データを調整すること、によって補償されうる。他の実施形態において、プロセッサは、検出された障害／エラーにシステムがどのように応答すべきかを選択するためのオプションのリストをユーザに提供する。そのようなリストは、検出された障害を伴う継続的な動作がイメージングシステムまたはトランスデューサに害を及ぼし、保証保護などを無効にする可能性がある、という警告を含むことがある。他の実施形態において、ユーザは、障害のあるチャネルについてデータをどのように調整または置き換えたいか（隣接するビームラインの平均化、障害のある受信チャネルのデータのコピーなど）の選択を与えられうる。いくつかの実施形態において、検出された障害を有するチャネルのデータは、データが組織から受信されるのではなく合成されることをオペレータが確認できるように色分けまたは他の方法でマーキングされうる。他の実施形態において、調整または補償されたデータは、完全に機能するチャネルからのデータとシームレスに融合するように合成される。

【0027】

図４に示されるように、ニューラルネットワーク１７０をトレーニングするために、複数のテスト画像１８０がニューラルネットワークトレーニングエンジン２００に提供される。テスト画像１８０は、既知の障害を伴うイメージングシステムまたはトランスデューサにより得られた画像または画像の一部である。一実施形態において、画像データは、各ピクセルが８ビットの黒白輝度値を有する幅２５６ピクセル×高さ１２８ピクセルのような均一なサイズである。幅２５６ピクセル×高さ２５６ピクセルまたは幅５１２ピクセル×高さ６４ピクセルなどのような他の画像サイズも使用されうる。ここでは、「画像」という用語が、超音波エコーデータの画像を広く意味することを意図する。画像は、スキャン後の変換データ、スキャン前の変換データ、または生のＲＦデータを含みうる。また、画像のすべてのデータが使用されるとは限らない。また、システムは、チャネル分離（１つの要素上でのみ送信および／または受信すること）、深度依存周波数フィルタリング、ビーム発射順序の制御、システムおよびトランスデューサマルチプレクサの選択、のような方法を介して、画像データのエラーをよりよく分離するように構成されうる。既知のサイズのデータの一部またはセクションは、ニューラルネットワークをトレーニングすることに使用されうる。

【0028】

機械学習、ニューラルネットワークおよび人工知能の分野の当業者によって理解されるように、多数（たとえば１，０００～１４，０００またはそれ以上）のトレーニング画像は、特定の障害またはエラー状態を有する超音波イメージングシステムまたはトランスデューサにより画像が取得された確率を重みおよびバイアス値を使用する畳み込みニューラルネットワークが返すようにエンジンが複数のフィルタの重みおよびバイアス値を決定することを可能にするようにニューラルネットワークトレーニングエンジン２００に供給される。当業者は、データ拡張を使用してトレーニング画像の総数を増やすことができることによって画像の初期の基本セットが線形および非線形の修正によって増加し、それにより追加のトレーニングデータが生成される、ということも理解できる。たとえば、拡張は、線形および非線形の両方のスケーリング、または明るさまたはコントラストの変化を含みうる。

【0029】

一実施形態において、トレーニングデータ画像は、修理のために返されたイメージングシステムまたはトランスデューサから、または製造プロセス中に発見されたエラーから障害または他のエラー状態を診断する超音波修理技術者によって収集および分類される。画像は、分類され、メタデータ、または障害またはエラー状態の説明とともにデータベースに記憶される。画像データは、ニューラルネットワークをトレーニングするのに使用される標準の寸法に準拠するようにクロップさもなければ編集される。

【0030】

当業者にとっては、多くの異なる機械学習モデルが適用されうることが理解されうる。たとえば、ＶＧＧ５、ＶＧＧ１６（オックスフォードのビジュアルジオメトリグループ）、モバイルネット（グーグル）のような無料で入手できるモデルの変種が使用されうる。カスタムモデルも開発されうる。異なるモデルを使用するトレードオフは、組み込みデバイスの推論速度に影響を与える予測精度およびサイズを含みうる。

【0031】

ＫｅｒａｓおよびＴｅｎｓｏｒｆｌｏｗを使用するＰｙｔｈｏｎフレームワークは、準備および拡張されたデータを使用してモデルをトレーニングするために使用されうる。学習率が可変のＡｄａｍオプティマイザは、約１００万のトレーニング例に対して適用されうる。他のオプティマイザ、たとえばＳＧＤ（確率的勾配降下法）、が使用されうる。さまざまなオプティマイザを使用することのトレードオフは、収束時間およびトレーニング速度を含む。２以上の異なるオプティマイザの組み合わせも使用されうる。

【0032】

ニューラルネットワークモデル自体は一般に交換可能であり、いくつかは他のものに対して利点がある。たとえば、計算の複雑さおよび出力精度が考慮すべき事項である。変形は、別のモデルを使用すること、層の数を変更すること、またはＤｅｎｓｅ層または追加畳み込み層のような追加層を追加すること、を含みうる。

【0033】

モデルがトレーニングされると、識別された障害を有するシステム／トランスデューサにより得られた画像データを使用して精度がテストされうる。ニューラルネットワーク１７０は、正常に動作しているトランスデューサ／超音波システムからの画像データに対する超音波画像データの変化に基づいて障害を識別すべきである。

【0034】

トレーニング済みニューラルネットワーク１７０は、使用中において、ニューラルネットワークが訓練されたのと同じサイズ（たとえば２５６×１２８×１）の入力画像データを受け取り、特定の障害またはエラー状態を有するイメージングシステムまたはトランスデューサにより得られた画像の確率を示す出力データを生成するように構成される。一実施形態において、ニューラルネットワークからの出力（トレーニング済みニューラルネットワークからの戻り値）は、ニューラルネットワーク１７０が検出するようにトレーニングされた障害またはエラー状態と、特定の障害／エラー状態を有するトランスデューサまたはイメージングシステムによって入力画像が取得された確率または見込みと、のリストである。たとえば、一実施形態において、システムは、２００個の既知の障害またはエラー状態を検出するようにトレーニングされる。したがって、ニューラルネットワーク１７０は、既知の２００個の障害／エラー状態のうちの１以上を有するトランスデューサまたはイメージングシステムにより画像が取得される確率（たとえばパーセンテージ）を伴う２００要素アレイまたはリストを返す。

【0035】

イメージングシステム内のプロセッサは、アレイを受け取り、閾値を超えるリスト確率をスキャンする。たとえば、エントリ［４，０．７８］は、定義されたエラー状態＃４（たとえばトランスデューサ要素３８が開回路になっている）を有するイメージングトランスデューサから画像が得られたという見込みが７８％であることを示し、または、たとえば［１６，０．８６］はエラー状態＃１６（マルチプレクサが短絡された）が発生した見込みが８６％である。リストにおいて２以上のエラー状態／障害が識別される可能性がある。いくつかの実施形態において、ニューラルネットワークによって識別される確率はすべて合計して１．０になる。戻りデータにおける１つのエントリは、トランスデューサ／イメージングシステムが正常に動作していることを示してもよい。

【0036】

いくつかの実施形態において、イメージングシステムのプロセッサは、セルフテストの初期電源投入時に、トレーニング済みニューラルネットワーク１７０に画像データを提供する。スキャン手順が開始する前に、イメージングパラメータの修正または調整が行われうる。他の実施形態において、プロセッサは、スキャン手順中に画像データをトレーニング済みニューラルネットワーク１７０に提供し、イメージングパラメータの修正または調整は、スキャン中に行われる。たとえば、ニューラルネットワーク１７０は、スキャンが生じているときに画像（または画像の一部）とともに提供され、ニューラルネットワーク１７０は、システムが使用されているときに起こりうる障害またはエラー状態を識別する。たとえば、ニューラルネットワークが画像を調査し、受信チャネルのアンプに問題があると判定した場合、プロセッサは、エラーを修正するためにアンプのゲインを補償しうる。

【0037】

上に示されるように、ニューラルネットワーク１７０がトレーニングされると、プロセッサは、ネットワークの出力を受け取り、１以上の動作パラメータを調整して、検出された障害またはエラー状態を補償する。プロセッサは、障害のあるチャネルで受信された信号のゲインを調整したり、欠陥があると発見されたトランスデューサ要素から送信しなかったり、障害のある要素に隣接する要素から受信された信号を平均化したりしうる。ある場合において、プロセッサは、イメージングシステムに対して内部のパラメータを調整する（アンプのゲイン、不良なチャネルのデータの平均化、不良なチャネルのデータのコピー、特定のトランスデューサ要素での送信の省略など）。その他の場合、プロセッサは、より多くの超音波ゲルを適用したり手動でゲインを調整したりするようにユーザに指示するなど、検査手順の調整を行うようにユーザに促しうる。他の実施形態において、ユーザは、検出された障害／エラー状態について警告され、検出された障害/エラー状態を伴って検査を行うことをユーザが継続したいか否かを判定するように促される。このような促しは、継続使用によるトランスデューサまたはイメージングシステムの損傷に関する警告を含みうるし、継続使用により別のエラーまたは障害が発生しうるという予測を提供しうる。この場合、ユーザは、システムの継続運用に関連するリスクを取りたいか否かを自分で決定することができる。

【0038】

図５は、開示技術の一実施形態にかかる超音波システムにおいてプログラムされたプロセッサによって実行されるロジックのフローチャートである。５００で始まり、プロセッサは、接続されたトランスデューサから超音波画像データを取得する。ニューラルネットワークをトレーニングするのに使用されたのと同じサイズの画像データが、ニューラルネットワークが１以上の障害またはエラー状態を検出できるか否かを確認するために、５０２でニューラルネットワークに提供される。５０４で、プロセッサは、特定の障害またはエラー状態を有するトランスデューサまたはイメージングシステムを使用して画像が取得されたか否かを示すニューラルネットワークからの結果を解析する。エラーまたは障害が検出された場合、プロセッサは、５０６で、検出された障害またはエラー状態を補償するように１以上の動作パラメータを調整し（またはユーザに調整を行うように促し）、５０８で、補償を伴う画像を表示する。５０６では、障害又はエラーが検出されない場合、画像データは、５０８で、調整無しで表示される。

【0039】

示されるように、プロセッサは、障害を検出し、検出された障害／エラーを補償するための調整を行うようにプログラムされているので、イメージングシステムは、検出された障害またはエラーがあったとしても画像を生成し続けることができる。これは、ファーストレスポンダー、救急治療室の医師、兵士、およびメーカーの仕様から外れている場合であってもシステムを操作し続けることが可能なイメージングシステムを必要とするその他の個人にとって利益である。

【0040】

一実施形態において、検出された障害／エラー状態で生成された画像は、障害を修正するために超音波データに適用された補償の記録とともに記憶される。ある場合において、観察者は、修正がある場合とない場合とで画像を見て、好みの方の画像を選択することができる。選択が決定されると、ニューラルネットワークへの各画像の提供の有無に関係なく、追加の画像が取得されうる。いくつかの実施形態において、検出された障害またはエラー状態に適用される補償は、最適ではない場合があるが、ユーザが好む場合がある。いくつかの実施形態において、検出された障害またはエラーの修正または調整を記憶するデータベース６２は、予め定義された修正または調整の代わりに、ユーザが好む変更の記録を記憶することができる。いくつかの実施形態において、データベース６２は、行われた変更が検出された障害またはエラー状態を補償するのに有効であったか否かをシステムが記録できるように、障害またはエラーが検出された後のシステム動作の記録および動作パラメータに対して行われた変更を記憶する。いくつかの実施形態において、複数のイメージングシステムからのデータベースは、ユーザによって最も頻繁に選択される変更を反映して、またはエラーをよりよく補償することが発見された更新された変更またはパラメータで、結合および更新されうる。いくつかの実施形態において、データベース６２は、イメージングシステム上にローカルで記憶される。イメージングシステムとリモートコンピュータ（サーバ）との間に通信リンクが存在する場合、データベース６２は、リモートでホストされる場合があり、イメージングシステムのプロセッサは、検出された障害／エラーに適用されるべき修正または調整についてリモートデータベースに問い合わせるようにプログラムされる。

【0041】

この明細書に記載される主題事項および動作の実施形態は、この明細書に開示される構造およびそれらの構造的同等物を含む、デジタル電子回路によって、またはソフトウェア、ファームウェア、またはハードウェアによって、またはそれらの１以上の組み合わせによって実装されることができる。この明細書に記載される主題事項の実施形態は、１以上のコンピュータプログラム、すなわち、データ処理装置による実行のためまたはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化されるコンピュータプログラムインストラクションの１以上のモジュールとして実装することができる。

【0042】

コンピュータ記憶媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいはそれらの１以上の組み合わせでありうるか、またはそれらに含まれうる。さらに、コンピュータ記憶媒体は伝播信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝播信号に符号化されたコンピュータプログラムインストラクションの送信元または送信先でありうる。また、コンピュータ記憶媒体は、１以上の別々の物理的構成要素または媒体（たとえばＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ－ＲＯＭ、磁気ディスク、または他の記憶装置）でありうるか、またはそれに含まれうる。この明細書に記載される動作は、１以上のコンピュータ可読記憶装置に記憶されているか、または他の送信元から受信されたインストラクションに対してデータ処理装置によって実行される動作として実施されることができる。

【0043】

「プロセッサ」という用語は、たとえばプログラマブルプロセッサ、マイクロコントローラ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｏｒ）、コンピュータ、システム・オン・チップ、またはこれらのうち複数のものあるいは組み合わせを含む、データを処理するための全ての種類の装置、デバイス、およびマシンを包含する。装置は、特別な目的の論理回路、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）またはハードワイヤード論理回路、を含むことができる。

【0044】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている）は、コンパイルまたはインタプリットされた言語、宣言型または手続型言語を含む任意の形式のプログラミング言語で記述されることができ、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境での使用に適したその他のユニットとして、を含む任意の形式で展開されることができる。コンピュータプログラムは、必要ではないが、ファイルシステム内のファイルに対応しうる。プログラムは、他のプログラムまたはデータを保持するファイルの一部（たとえばマークアップ言語ドキュメントに保存された１以上のスクリプト）、本プログラム専用の単一のファイル、または複数の調整されたファイル（たとえば１以上のモジュール、サブプログラム、またはコードの一部を記憶するファイル）内に記憶される。コンピュータプログラムは、超音波イメージングシステム内の１つのプロセッサまたは複数のプロセッサ上で実行されるように展開されうる。

【0045】

コンピュータプログラムの実行に適したプロセッサは、例として、一般的および特別な目的の両方のマイクロプロセッサを含む。一般に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリあるいはその両方からインストラクションおよびデータを受信する。コンピュータプログラムインストラクションおよびデータを記憶するのに適したデバイスは、半導体記憶デバイス、たとえばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス；磁気ディスク、たとえば内臓ハードディスクまたはリムーバブルディスク；光磁気ディスク；およびＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを例として含む全ての形式の不揮発性メモリ、媒体および記憶デバイス、を含む。プロセッサおよびメモリは、特別な目的の論理回路によって補完されるまたは特別な目的の論理回路内に組み込まれることができる。

【0046】

ユーザとの相互作用を提供するために、この明細書に記載される主題事項の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、たとえばＬＤＣ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）、またはＯＬＥＤ（有機発光ダイオード）モニタと、ユーザがシステムにインプットを提供することが可能なキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールと、を有する超音波イメージングシステム上に実装されうる。いくつかの実装において、タッチスクリーンは、情報を表示し、ユーザからの入力を受け取るために使用されることができる。他の種類のデバイスは、ユーザとの対話を提供するために使用されることができ、たとえばユーザに提供されるフィードバックは、任意の形式の感覚的フィードバック、たとえば視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック、でありうるし、ユーザからの入力は、音響、音声、または触覚の入力を含む任意の形式で受け取ることができる。

【0047】

上記のことから、発明の特定の実施形態は、例示の目的でここに記載されているが、発明の範囲から逸脱することなく様々な変形を行うことができることが理解されよう。したがって、発明は、添付の特許請求の範囲による場合を除いて限定されない。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2023-11-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

超音波イメージングシステムであって、
対象に超音波信号を供給し、前記対象から超音波エコー信号を受信するように構成されたトランスデューサと、
前記イメージングシステムにおける送信／受信回路に前記トランスデューサを選択的に接続するように構成されたマルチプレクサと、
前記送信／受信回路に電力を供給する電源と、
プロセッサであって、
前記送信／受信回路から前記トランスデューサを切断するよう前記マルチプレクサを開位置に設定し、
前記マルチプレクサが前記開位置に設定された後に前記トランスデューサにテストパルスを伝達し、
前記テストパルス中に前記マルチプレクサが前記開位置にある状態で前記電源から流れる電流を監視し、
前記マルチプレクサが前記開位置にある間において前記電源から流れる電流が閾値を超える場合に、前記トランスデューサまたは前記イメージングシステムにおける１以上の障害状態のうちの１つの障害状態を検出する、
ように構成されたプロセッサと、
を備える、超音波イメージングシステム。

【請求項2】

前記プロセッサは、前記障害状態に応じて動作パラメータに１以上の変化を加えるようユーザに警告するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項3】

前記プロセッサは、前記障害状態を補償するよう動作パラメータに加えられた変化の標示とともに超音波画像データを記憶するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項4】

障害状態と、前記障害状態を補償するよう動作パラメータを変化するために行われた対応するアクションと、を記憶するデータベースをさらに備え、前記プロセッサは、前記データベースに記憶されたアクションから、前記障害状態に基づいて前記超音波イメージングシステムの１以上の動作パラメータに対するアクションを識別し、前記データベースから識別されたアクションを実行することによって前記障害状態を補償するよう前記１以上の動作パラメータを調整する、ようにさらに構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項5】

前記プロセッサは、前記障害状態を補償するために加えられた変化がある場合も無い場合も画像を表示するように構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項6】

前記トランスデューサは、複数のトランスデューサ要素を有し、
前記超音波イメージングシステムは、
前記イメージングシステムにおける送信／受信回路に前記トランスデューサを選択的に接続するように構成されたスイッチと、前記トランスデューサ要素に対するスイッチが開いている場合にトランスデューサ要素を接地する接地クランプと、を有するマルチプレクサと、
前記トランスデューサにバイアス電力を供給するバイアス電源と、
をさらに備え、
前記プロセッサは、
前記イメージングシステムにおける前記送信／受信回路から前記トランスデューサを切断するよう前記マルチプレクサを構成し、
前記バイアス電源が通電している場合に前記バイアス電源から流れる電流を監視し、
前記トランスデューサにおける１以上の障害状態を検出する、
ようにさらに構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項7】

前記プロセッサは、識別された障害状態に関連付けられた１以上の動作パラメータに対する変化を記憶するようにさらに構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項8】

前記プロセッサは、識別された障害状態に関連付けられた１以上の動作パラメータに対する変化を記憶するようにさらに構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項9】

前記プロセッサは、
前記超音波エコー信号から超音波画像データを生成し、
前記超音波画像データをニューラルネットワークに提供し、
前記超音波画像にもとづちえ少なくとも前記トランスデューサまたは前記超音波イメージングシステムにおける障害状態を検出し、
前記ニューラルネットワークから障害状態の識別子を受け取り、
前記データベースに記憶されたアクションから、前記障害状態の前記識別子に基づいて、行われるべきアクションを識別する、
ようにさらに構成されている、
請求項１に記載の超音波イメージングシステム。

【請求項10】

前記プロセッサは、セルフテストモード中または検査中に前記ニューラルネットワークに前記超音波画像データを提供するように構成されている、
請求項９に記載の超音波イメージングシステム。

【請求項11】

前記プロセッサは、
データベースに記憶されたアクションから識別されたアクションを実行することによって１以上の調整された動作パラメータを形成するよう前記超音波イメージングシステムの１以上の動作パラメータを調整し、
前記１以上の調整された動作パラメータを使用して障害状態を補償し、
前記障害状態が検出された場合に中断無しで超音波画像の生成を継続するよう前記１以上の調整された動作パラメータにより取得された超音波画像を表示する、
ようにさらに構成されている、
請求項９に記載の超音波イメージングシステム。

【外国語明細書】