▶ フジフイルム ソノサイト インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-13
(45)【発行日】2024-02-21
(54)【発明の名称】自動画像保存を備える超音波イメージングシステム
(51)【国際特許分類】
A61B 8/14 20060101AFI20240214BHJP
【ＦＩ】
A61B8/14
【請求項の数】
19
(21)【出願番号】P 2020570697
(86)(22)【出願日】2019-06-18
(65)【公表番号】
(43)【公表日】2021-11-04
(86)【国際出願番号】 US2019037816
(87)【国際公開番号】W WO2019246162
(87)【国際公開日】2019-12-26
【審査請求日】2022-04-01
(31)【優先権主張番号】16/012,627
(32)【優先日】2018-06-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519019791
【氏名又は名称】フジフイルム ソノサイト インコーポレイテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】スワン ウェンディ
(72)【発明者】
【氏名】シェルトン ダニエル
(72)【発明者】
【氏名】バニク ソムナート
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００２１０２２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０２１０５１１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ８／００－８／１５
(57)【特許請求の範囲】
【請求項1】
超音波イメージングシステムであって、針注射手順の間に関心領域に超音波信号を送信し、そこからエコー信号を受信するように構成されたトランスデューサと、
前記受信したエコー信号を超音波画像データに変換するように構成された受信回路と、
前記超音波画像データの画像フレームを格納するためのバッファメモリと、
プロセッサと、
前記プロセッサに結合された第一のメモリと、
を備え、
前記プロセッサは、
前記バッファメモリから前記画像フレームの第一のサブセットを取得し、
前記画像フレームの前記第一のサブセットを互いに比較し、
前記第一のサブセットから針注射手順に使用される針がターゲットにアプローチしていることを示す第一の画像フレームおよび前記比較に基づいて前記針が前記ターゲットにおいて移動を停止したことを示す第二の画像フレームを識別し、
前記バッファメモリから前記画像フレームの第二のサブセットを取得し、前記バッファメモリ内で前記第一のサブセットに続いて前記画像フレームの前記第二のサブセットが生成および格納され、
前記第二のサブセットから機械学習アルゴリズムを使用して前記針の針先を示す第三の画像フレームを識別し、
前記バッファメモリから前記針の前記針先の周辺の領域を描写する前記画像フレームの第三のサブセットを取得し、前記バッファメモリ内で前記第二のサブセットに続いて前記画像フレームの前記第三のサブセットが生成および格納され、
前記第三のサブセットからカラーフローイメージングを使用して前記針の前記針先からの液体の注射を示す第四の画像フレームを識別し、
前記システムの処理負担を低減するために前記第一の画像フレーム、前記第二の画像フレーム、前記第三の画像フレームおよび前記第四の画像フレームを含む三以上の異なる画像フレームを前記第一のメモリに保存する、
ように構成される、
超音波イメージングシステム。
【請求項2】
前記画像フレームを表示するためのディスプレイをさらに備え、前記プロセッサは前記バッファメモリ内の前記画像フレームのうち少なくとも一つが前記針注射手順を描写するという通知を前記ディスプレイ上に生成するように構成される、請求項１に記載の超音波イメージングシステム。
【請求項3】
前記プロセッサは前記針注射手順を描写する画像フレームのうち少なくとも一つを前記バッファメモリから患者記録に含めるように構成される、請求項１に記載の超音波イメージングシステム。
【請求項4】
前記プロセッサは動きを検出するために前記機械学習アルゴリズムを使用して前記バッファメモリ内の前記画像フレームを分析するようにさらに構成され、前記動きは前記針、前記針により輸送される前記液体、および前記針により除去される材料のうち少なくとも一つに関連付けられる、請求項１に記載の超音波イメージングシステム。
【請求項5】
前記針注射手順は前記関心領域内のターゲット位置に位置している前記針および前記関心領域内の前記ターゲット位置に近付いている前記針のうち少なくとも一つであり、前記プロセッサは前記針の動きを検出するために前記バッファメモリに格納された前記画像フレームを分析するようにさらに構成される、請求項１に記載の超音波イメージングシステム。
【請求項6】
前記画像フレームを表示するためのディスプレイをさらに備え、前記プロセッサは前記バッファメモリ内で前記識別に応答して患者記録に含めるための前記針注射手順を描写する可能性の高い前記画像フレームのうち少なくとも一つを自動的にマークするように構成される、請求項１に記載の超音波イメージングシステム。
【請求項7】
前記針注射手順は前記関心領域内の前記注射が行われているところである、請求項１に記載の超音波イメージングシステム。
【請求項8】
前記プロセッサは前記バッファメモリに格納された前記画像フレームを分析し、前記分析に基づいて前記液体の動きを検出するようにさらに構成される、請求項７に記載の超音波イメージングシステム。
【請求項9】
前記トランスデューサは二以上のパルスで前記超音波信号を送信するように構成され、前記受信回路は前記エコー信号を超音波画像データに変換するように構成され、
前記プロセッサはＬｕｃａｓ－Ｋａｎａｄｅ法またはＨｏｒｎ－Ｓｃｈｕｎｃｋ法であるオプティカルフロー法を使用して前記針注射手順に関連付けられた動きを検出するために前記超音波画像データを分析するように構成される、
請求項１に記載の超音波イメージングシステム。
【請求項10】
関心領域への針注射の間に対象の関心領域をイメージングするための超音波システムであって、前記関心領域に超音波信号を送信し、そこからエコー信号を受信するように構成されたトランスデューサと、
前記エコー信号を超音波データの画像フレームに変換するように構成された受信回路と、
前記画像フレームを格納するように構成されたバッファメモリと、
プロセッサでと、
を備え、
前記プロセッサは、
前記バッファメモリから前記画像フレームの第一のサブセットを取得し、
前記画像フレームの前記第一のサブセットを互いに比較し、
前記第一のサブセットから針注射手順に使用される針がターゲットにアプローチしていることを示す第一の画像フレームおよび前記比較に基づいて前記針が前記ターゲットにおいて移動を停止したことを示す第二の画像フレームを識別し、
前記バッファメモリから前記画像フレームの第二のサブセットを取得し、前記バッファメモリ内で前記第一のサブセットに続いて前記画像フレームの前記第二のサブセットが生成および格納され、
前記第二のサブセットから機械学習アルゴリズムを使用して前記針の針先を示す第三の画像フレームを識別し、
前記バッファメモリから前記針の前記針先の周辺の領域を描写する前記画像フレームの第三のサブセットを取得し、前記バッファメモリ内で前記第二のサブセットに続いて前記画像フレームの前記第三のサブセットが生成および格納され、
前記第三のサブセットからカラーフローイメージングを使用して前記針の前記針先からの液体の注射を示す第四の画像フレームを識別し、
前記針注射を描写する前記第一の画像フレーム、前記第二の画像フレーム、前記第三の画像フレームおよび前記第四の画像フレームを含む三以上の異なる画像フレームをアーカイブ目的で第一のメモリに格納する、
ように構成される、
超音波システム。
【請求項11】
前記プロセッサは前記針が停止したことを検出するまで前記バッファメモリに格納された前記画像フレームの前記第一のサブセットを比較するようにさらに構成される、請求項１０に記載の超音波システム。
【請求項12】
前記プロセッサは前記針注射に使用される前記針の周辺の前記液体を検出するために前記バッファメモリに格納された前記画像フレームの前記第三のサブセットを分析するようにさらに構成される、請求項１０に記載の超音波システム。
【請求項13】
前記プロセッサは前記針注射に使用される前記針および前記針からの前記液体のうち少なくとも一つの動きを検出するために前記バッファメモリに格納された二以上の画像フレームを比較するようにさらに構成される、請求項１０に記載の超音波システム。
【請求項14】
前記プロセッサはＬｕｃａｓ－Ｋａｎａｄｅ法またはＨｏｒｎ－Ｓｃｈｕｎｃｋ法であるオプティカルフロー法を使用して前記針注射に関連付けられた動きを検出するために前記バッファメモリに格納された前記画像フレームを分析するようにさらに構成される、請求項１０に記載の超音波システム。
【請求項15】
プロセッサを含む超音波システムの作動方法であって、前記プロセッサが、関心領域から超音波信号を受信することと、
前記プロセッサが、前記超音波信号を超音波データの画像フレームに変換することと、
前記プロセッサが、前記画像フレームをバッファメモリに格納することと、
前記プロセッサが、前記バッファメモリから前記画像フレームの第一のサブセットを取得することと、
前記プロセッサが、前記画像フレームの前記第一のサブセットを互いに比較することと、
前記プロセッサが、前記第一のサブセットから針注射手順に使用される針がターゲットにアプローチしていることを示す第一の画像フレームおよび前記比較に基づいて前記針が前記ターゲットにおいて移動を停止したことを示す第二の画像フレームを識別することと、
前記プロセッサが、前記バッファメモリから前記画像フレームの第二のサブセットを取得することであって、前記バッファメモリ内で前記第一のサブセットに続いて前記画像フレームの前記第二のサブセットが生成および格納される、取得することと、
前記プロセッサが、前記第二のサブセットから機械学習アルゴリズムを使用して前記針の針先を示す第三の画像フレームを識別することと、
前記プロセッサが、前記バッファメモリから前記針の前記針先の周辺の領域を描写する前記画像フレームの第三のサブセットを取得することであって、前記バッファメモリ内で前記第二のサブセットに続いて前記画像フレームの前記第三のサブセットが生成および格納される、取得することと、
前記プロセッサが、前記第三のサブセットからカラーフローイメージングを使用して前記針の前記針先からの液体の注射を示す第四の画像フレームを識別することと、
前記プロセッサが、前記針注射手順を描写する前記第一の画像フレーム、前記第二の画像フレーム、前記第三の画像フレームおよび前記第四の画像フレームを含む三以上の異なる画像フレームを第一のメモリに保存することと、
を含む、方法。
【請求項16】
前記針注射手順を描写する一または二以上の前記画像フレームを前記バッファメモリから患者チャートに挿入することをさらに含む、請求項１５に記載の方法。
【請求項17】
前記針の動きを検出するために、前記バッファメモリに格納された前記画像フレームの前記第一のサブセットを比較することをさらに含む、請求項１５に記載の方法。
【請求項18】
前記針注射手順は前記関心領域への注入物の輸送であり、前記方法はＬｕｃａｓ－Ｋａｎａｄｅ法またはＨｏｒｎ－Ｓｃｈｕｎｃｋ法であるオプティカルフロー法を使用して前記注入物の動きを検出するために前記バッファメモリからの二以上の前記画像フレームを分析することをさらに含む、請求項１５に記載の方法。
【請求項19】
前記バッファメモリからの一または二以上の前記画像フレームが前記針注射手順を描写するという通知をオペレータに提供することをさらに含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示技術は超音波イメージングシステムに関し、特には、超音波イメージングシステムを使用する臨床現場におけるワークフローを改善するためのシステムに関する。
【背景技術】
【0002】
超音波イメージングにおいて、システムのオペレータは検査の間に患者の超音波画像を取得するためにトランスデューサプローブを使用する。システムによりキャプチャされた画像は診断および記録保持のために観察され、印刷され、および／または患者レポートに含まれ得る。加えて、選択された画像は発生したサービスに対して患者または彼らの保険に請求するために使用される書面および／または電子レポートに含まれ得る。実行される検査手順に応じて、検査のレポートにおいて必要な画像の数および対象は標準化または定義され得る。例えば、超音波ガイドによる局所麻酔注射等の針注射手順ではターゲット位置における針の画像、注射の間の針の画像等が必要とされ得る。
【0003】
典型的な一人のオペレータの検査において、医師または超音波技術者はイメージングシステムを使用して検査を完了させるために必要な全ての画像を取得する。しかしながら、ケアの提供者が手順の途中で停止できない、またはシステムを制御するための自由な手がない一部の針手順の間、二人目の人物がシステム設定の制御および手順の間に必要な画像の収集を支援する場合がある。取得された画像は典型的にバッファメモリに格納され、検査の記録の作成において使用される画像をマークあるいは識別するために検査が完了した後に再検討する必要がある。しばしば、臨床医は画像のループを収集（「クリップ」）し、検査の記録の作成において使用される画像を選択するために検査が完了した後にループを再検討する。この追加のステップは余分な時間を必要とする。ループではなく単一の画像が収集される場合、検査に必要な画像がキャプチャされたかどうかを手順の時点でオペレータが知ることは困難である場合がある。
【図面の簡単な説明】
【0004】
【図1】本技術の一実施形態による、超音波イメージングシステムの単純化した図である。
【図3】本技術の一実施形態による、注射事象を描写するバッファメモリに格納された画像フレームを識別する方法またはプロセスのフローダイアグラムである。
【図4】本技術の別の実施形態による、注射事象を描写するバッファメモリに格納された画像フレームを識別する方法またはプロセスのフローダイアグラムである。
【発明を実施するための形態】
【0005】
介入デバイスを使用して超音波イメージング手順の間に生成される超音波画像を自動的に保存するための超音波システムのいくつかの実施形態の特定の詳細ならびに関連するデバイスおよび方法が、以下で図１－４を参照して説明される。一実施形態では、例えば、超音波イメージングシステムは超音波ガイド針注射手順の間に関心領域に超音波信号を送信し、そこから超音波信号を受信するように構成されたトランスデューサを含む。超音波イメージングシステムは受信した超音波信号を超音波データの画像フレームに変換するように構成された受信回路、および画像フレームが格納されるバッファメモリをさらに含む。超音波イメージングシステムはまたバッファメモリに格納された画像フレームを分析し、針注射手順の事象、例えば、手順の間に使用される針からの液体の輸送を描写する画像フレームのうち一または二以上を識別およびマークするように構成されたプロセッサを含む。いくつかの実施形態では、プロセッサは、アーカイブ目的で－バッファメモリ以外の－メモリに注入事象を描写する画像フレームを保存するようにさらに構成することができる。
【0006】
以下で説明する実施形態の多くは針が麻酔薬または他の薬を所望の位置に輸送するために使用される針注射手順の間に超音波画像を自動的に保存するためのデバイス、システム、および方法に関連して説明されるが、本明細書に記載されるこれらのものに加え、他の用途および他の実施形態は本技術の範囲内にある。例えば、本技術の少なくともいくつかの実施形態は他の侵襲性の医療機器を用いる手順に有用であり得る。本明細書に記載されるこれらのものに加え、他の実施形態は本技術の範囲内にあることに留意されるべきである。
【0007】
さらに、本技術の実施形態は本明細書において示され、または説明されるこれらのものとは異なる構成、構成要素、および／または手順を有することができる。さらに、当業者は、本技術の実施形態は本明細書において示され、または説明されるこれらのものに加えて構成、構成要素、および／または手順を有することができ、またこれらおよび他の実施形態は本技術から逸脱することなく本明細書において示され、または説明される構成、構成要素、および／または手順のうちいくつかがなくてもよいことを理解されるだろう。「いくつかの実施形態では」、「いくつかの実施形態によると」、「所定の実施形態では」、「例示される実施形態では」、「他の実施形態では」等の句は、一般に、句に続く特定の特徴、構造、または特性が本技術の少なくとも一実施形態に含まれ、また二以上の実施形態に含まれ得ることを意味する。加えて、このような句は必ずしも同一の実施形態または異なる実施形態を指さない。
【0008】
以下で使用される用語は、本技術の実施形態の所定の例の詳細な説明と併せて使用されている場合であっても、最も広く合理的な方法で解釈されるべきである。確かに、所定の用語は以下で強調されることさえある。しかしながら、制限される方法で解釈されることを意図された用語はこの発明を実施するための形態のセクションにおいてそのように明確かつ具体的に定義される。
【0009】
図１は、対象または患者１の組織をイメージングするための本技術を実行する代表的な超音波イメージングシステム１００（「システム１００」）を示している。一実施形態では、システム１００はスキャンされている組織の画像を生成するために超音波信号を関心領域に送信して対応するエコー信号を受信するためのトランスデューサプローブ１０２を使用する、手持ち式、ポータブルまたはカートベースのシステムとすることができる。トランスデューサプローブ１０２は、一次元もしくは二次元の線形もしくは湾曲したトランスデューサ、フェーズドアレイトランスデューサ、または当該技術分野においてよく知られるような別のタイプの超音波トランスデューサとすることができる。システム１００は受信したエコー信号の特性（例えば、それらの振幅、位相、パワー、周波数シフト等）を、定量化され、ビデオモニタ、スクリーン、または他のディスプレイ１０４（「ディスプレイ１０４」）上の画像としてユーザに表示されるデータに変換する。以下で詳細に説明されるように、作成された画像はデジタル記録保持のために電子的に格納されるか、または有線または無線通信リンクを介して別のデバイスまたは場所に送信されることもできる。
【0010】
いくつかの実施形態では、システム１００は、システム１００のオペレータが一方の手で針３等の介入器具を患者１にガイドし、他方の手でトランスデューサプローブ１０２を保持する針注入手順の間に使用することができる。所定の実施形態では、オペレータは組織の合成画像１０６および針３が組織内のどこに位置するかの表現１０７を観察することができる。合成画像１０６は針３が患者１内のターゲット領域内にガイドされる間、ディスプレイ１０４上で更新することができる。ターゲット位置は特定の神経部位（例えば、針注射手順が局所麻酔手順である場合）または結果もしくは特定の器官（例えば、子宮、前立腺、腫瘍、心臓血管等）であり得る。いくつかの実施形態では、針３および針３を介して輸送される注入物（例えば、薬）の両方が合成画像１０６中に見られる。例えば、注入が低抵抗の位置で行われる場合（例えば、合成画像１０６では暗く見える）、注入物は特徴的な流体の動きが合成画像１０６中で見えるようにスペースを充填することができる。いくつかの実施形態では、（例えば、生検処置の間に）針３により除去される材料は合成画像１０６中に見られる。
【0011】
図２は、本技術の実施形態により構成されたシステム１００の単純化されたブロックダイアグラムである。当業者により理解されるように、システム１００は図２に示される構成要素とは異なる構成要素を用いて構築され得る。加えて、システム１００は論じられない構成要素（例えば、電源）および本技術をどのように作成および使用するかについて理解するために必要でない構成要素を含むことができる。
【0012】
例示される実施形態では、トランスデューサプローブ１０２はトランスデューサプローブ１０２内の個々の、または一群のトランスデューサ素子を選択するために使用される高電圧マルチプレクサ／デマルチプレクサ（ＨＶ ｍｕｘ／ｄｅｍｕｘ）２０８に接続される。トランスデューサプローブ１０２により送信される信号は、信号を特定の方向に向け、組織内の特定の深さに信号を集束させるために信号のタイミングを調整する送信（ＴＸ）ビームフォーマ２１０により生成される。あるいは、集束されていない（平面）波はトランスデューサプローブ１０２により送信することができる。ＴＸビームフォーマ２１０からの信号はＨＶ ｍｕｘ／ｄｅｍｕｘ２０８およびトランスデューサプローブ１０２に印加される前に一または二以上の高電圧増幅器（ＨＶアンプ）２１２により増幅される。しかしながら、他の実施形態では、ＴＸビームフォーマ２１０からの信号は介在するマルチプレクサ／デマルチプレクサを用いることなく直接トランスデューサプローブ１０２に渡すことができる。
【0013】
送信／受信（Ｔ／Ｒ）スイッチ２１４はより高出力の送信パルスが送信されている時にトランスデューサプローブ１０２からシステム１００の電子機器を切断するために動作する。Ｔ／Ｒスイッチ２１４はシステム１００が戻りエコー信号を検出すると閉じられる。Ｔ／Ｒスイッチ２１４により受信された信号は、典型的にエコー信号が発生する深さに応じて変化する利得関数を実装する低ノイズ受信増幅器（ＲＸアンプ）２１６により増幅される。システム１００が指向性超音波システムである場合、ＲＸアンプ２１６の出力は増幅された受信エコー信号を遅延させ、合計する受信（ＲＸ）ビームフォーマ２１８に給電する。いくつかの実施形態では、アナログ受信信号は増幅後、ＲＸアンプ２１６とＲＸビームフォーマ２１８との間に位置するいくつかのアナログ－デジタル変換器（図示されていない）を用いて対応するデジタル信号に変換される。
【0014】
いくつかの実施形態では、一または二以上のプログラムされたマイクロプロセッサとして実装することのできるシステムプロセッサ２２０はシステム１００の動作を制御するために内部または外部のコンピュータ可読メモリ（図示されていない）に格納されたプログラム命令を実行するように構成される。図２にさらに示されるように、ＲＸビームフォーマ２１８により生成されたビーム形成された超音波信号は画像プロセッサ２２２に届けられる。（システムプロセッサ２２０を含む）一または二以上の汎用マイクロプロセッサ、一または二以上のデジタル信号プロセッサ（ＤＳＰ）、一または二以上のグラフィックプロセッサユニット（ＧＰＵ）、特定用途集積回路（ＡＳＩＣ）等を含み得る画像プロセッサ２２２は、生のビーム形成された信号をメモリに格納し、ディスプレイ１０４上でユーザに示すことのできる画素データの二次元画像フレームに変換する。
【0015】
画像プロセッサ２２２により生成された画像フレームは（シネバッファとしても知られる）バッファメモリ２２４に格納され、一実施形態では、システム１００を使用する超音波イメージング手順の間に生成される時に選択された数の画像フレームを格納するメモリ要素の循環バッファとして動作する。画像フレームは当該技術分野において知られる遡及的または将来的なキャプチャモードのいずれかを使用してキャプチャすることができる。一実施形態では、バッファメモリ２２４は２－５分のデータまたは３６００－９０００画像フレーム以上の超音波データを格納することができる。一実施形態では、バッファメモリ２２４がいっぱいになると、バッファメモリ２２４に格納された最も古い画像フレームが循環的に新しい画像フレームで上書きされる。例示される実施形態では、メモリ２２８はアーカイブ目的で画像フレームを格納するために使用される。メモリ２２８のコンテンツはイメージング手順が完了した後にリモート患者記録保持システムに転送され得る。いくつかの実施形態では、メモリ２２８に格納される画像フレームのうち少なくともいくつかはスペースを節約するために圧縮されているため、バッファメモリ２２４に格納されている画像フレームと比較していくつかの詳細が欠落している可能性がある。一実施形態では、画像フレーム以外の画像データ（例えば、生の画像データ、変換前の画像データ等）はバッファメモリ２２４に格納することができる。
【0016】
例示される実施形態では、システム１００はキー、ボタン、ノブ、音声コマンドを受信するためのマイクロフォン、ジェスチャをキャプチャするためのカメラ、またはタッチスクリーン制御部等のソフトウェアで構成される制御部等のいくつかのオペレータ入力部２３０を含む。オペレータ入力部２３０により、オペレータがシステム１００の動作特性を変更し、システムプロセッサ２２０にコマンドを入力することが可能になる。
【0017】
いくつかの実施形態では、ディスプレイ１０４上に示されているか、またはキーボードもしくはシステム１００の他の入力デバイス上の専用の制御部を有し得るいくつかの予め定義された手順タイプから手順タイプを選択するためにオペレータ入力部２３０を使用することにより超音波イメージング手順（例えば、検査）を開始する。例えば、イメージング手順は局所麻酔注射または他の超音波ガイド針注射手順とすることができる。各手順タイプは特定の手順の間にオペレータによりキャプチャされる特定の画像および／または測定結果に関連付けられ得る。例えば、いくつかの針注射手順は患者のターゲット領域における針の画像、薬または他の注入物の注射の間の針の画像等を必要とし得る。例えば、神経ブロック手順では（ｉ）ターゲット神経にアプローチしている針、（ｉｉ）ターゲット神経の位置における針、および（ｉｉｉ）ターゲット神経の周りに輸送された麻酔薬の画像を含む三以上の異なる画像フレームが記録されることが必要とされ得る。このような画像は保険請求目的で医療施設またはオペレータにより格納（例えば、アーカイブ）されることが必要とされ得る。例示される実施形態では、様々な手順タイプにより必要な画像および／または測定結果はシステムプロセッサ２２０にアクセス可能なナレッジベース２３２（例えば、メモリ、データベース等）に格納される。いくつかの実施形態では、ナレッジベース２３２は以下で詳細に説明されるように例えばバッファメモリ２２４に格納される画像フレームと比較されることのできる、一もしくは二以上のパラメータ、画像フレーム、または以前の検査からの他のデータをさらに格納することができる。
【0018】
特定のイメージング手順の選択後、オペレータはシステム１００を使用する超音波画像フレームのキャプチャを開始するためにオペレータ入力部２３０（例えば、画面上のボタン、フットスイッチ、イメージングプローブの制御部等）のうち一または二以上を使用することができる。これらの画像フレームはオペレータが画像キャプチャプロセスを停止するためにオペレータ入力部２３０のうち一または二以上を使用するまで生成され、バッファメモリ２２４に格納される。いくつかの実施形態では、画像キャプチャプロセスは例えばタイマー、心電図信号等の他の基準に基づいて停止することができる。理解されるように、バッファメモリ２２４は超音波データの数千の画像フレームを格納するように構築することができる。
【0019】
これまで、従来の超音波システムを使用すると、オペレータはどのフレームを患者の記録に含めるか、および／または請求目的で提出するかを選択するために格納された画像フレームの全てを再検討／検索するための時間をとることが必要とされた。さらに、関連する画像の再検討／検索は画像手順が終了した後に実行された。すなわち、オペレータは針注射手順の間に（例えば、請求目的で）必要な画像を彼らがキャプチャしたかどうかを確実に知ることは不可能だった。いくつかの他の従来の超音波システムでは、オペレータは超音波プローブのボタンを押すか、または手順の間に特定の画像、例えばほぼ注射の時に取得された画像を印刷または保存するために音声制御を使用することができた。このようなシステムは関連する画像フレームを識別するためにオペレータにより必要とされる再検討の量を減少させ得るが、ボタンが誤って押されたり、ノイズの多い環境では音声制御が誤ってアクティブになったりすることがある。さらに、針注射手順を実行すると同時に手順の間に所定の画像を保存するために超音波システムをトリガすることはオペレータにとってはしばしば煩わしい。
【0020】
従来のシステムとは対照的に、本技術のシステム１００は針注射手順（本明細書において「注射事象」と呼ばれる）に関連する、またはそれにより必要な画像フレーム、例えば特定の事象、トリガ、または状況を描写する画像フレームを自動的に識別（例えば、選択、決定等）し、保存するように構成される。例えば、システム１００は針がターゲット位置、注射が行われてる位置に位置するかまたはそれに近付く等の特定の注射事象を描写する画像フレームを自動的に識別するように構成することができる。具体的には、システムプロセッサ２２０、画像プロセッサ２２２、および／またはＤＳＰもしくはＧＰＵ等の別の好適なプロセッサは、バッファメモリ２２４に格納された画像フレームを分析し、特定の注射事象を描写する可能性の高い画像フレームのうち一または二以上を識別するためにいくつかのプログラム命令を実行することができる。他の実施形態では、画像フレーム以外の画像データ（例えば、変換前の画像データ）は特定の注射事象を描写するかまたはそれに関連する画像データの一部を識別するために分析することができる。
【0021】
識別された画像フレームはアーカイブまたは他の目的でメモリ２２８に保存することができる。いくつかの実施形態では、より多くの画像の詳細を保持するために検査の間に生成された選択されていない画像フレームと比較してロスレス圧縮で、または圧縮がほとんどもしくは全くない状態で識別された画像フレームがメモリ２２８に格納される。所定の実施形態では、識別された画像フレームは検査の患者レポートに含まれるか、または自動的に入力されるようにマークされる。いくつかの実施形態では、システム１００は、特定の注射事象を示す画像フレームが正常にキャプチャされたというフィードバックをリアルタイムに、またはほぼリアルタイムにオペレータに提供するための指示（例えば、音、ディスプレイ等）を生成することができる。
【0022】
システムプロセッサ２２０（または別のプロセッサ）は、バッファメモリ２２４に格納された、いくつかの異なる方法で特定の注射事象を描写する可能性の高い画像フレームを自動的に識別することができる。例えば、図３は、本技術の実施形態による、フレーム間の比較を使用して注射事象を描写する画像フレームを識別するためにシステム１００内のプロセッサのうち一または二以上により実行される方法３００のプロセスまたは方法のフローダイアグラムである。ブロック３０２で開始し、上記で詳細に説明されたように、方法３００は超音波信号を生成することおよび針注射手順に対応するエコー信号を受信することおよび手順に関する超音波データの画像フレームをバッファメモリ２２４に格納することを含む。ブロック３０４において、方法は特定の注射事象を描写する画像フレームを識別するためにバッファメモリ２２４に格納された画像フレームを比較することおよび／または分析することを含む。例えば、いくつかの実施形態では、システムプロセッサ２２０は、針の動きおよび／または針から注射される液体により引き起こされるような画像フレーム間の変化を検出するためにバッファメモリ２２４に格納された画像フレームを相互に関連付け、および／または比較する。
【0023】
例えば、システムプロセッサ２２０は針の近くの一つの画像フレームから次の画像フレームへの点の対応を推定し特徴付けるために周知の画像処理方法を使用することができる。例えば、システムプロセッサ２２０は、バッファメモリ２２４に格納された各画像フレームについて問題の点を中心とする一つの画像フレームのパッチと次の画像フレームのスライディングウィンドウとの間の一致の性能指数を最大化することにより各関心点の対応（または動き）を推定することができる。すなわち、システムプロセッサ２２０は二以上の画像フレーム間の画素の各々またはサブセットのフローベクトルを推定することができる。潜在的な性能指数には２Ｄ相間、相互情報量、または構造的類似性が含まれる。いくつかの実施形態では、各関心点の対応を推定することを支援する（例えば、処理コストを下げる）ために正則化または前処理を適用し得る。他の実施形態では、Ｌｕｃａｓ－ＫａｎａｄｅまたはＨｏｒｎ－Ｓｃｈｕｎｃｋ等のオプティカルフロー法が点の対応（例えば、フローベクトル）を確立するために用いられ得る。いずれの場合も、フローベクトルの特性を分類して針および／または注入物を示すことができる。
【0024】
用いられる特定の画像処理方法に関係なく、システムプロセッサ２２０は、バッファメモリ２２４に格納された所定の画像フレームが画像フレーム間の推定されたオプティカルフロー／動きに基づいて特定の注射事象を描写する可能性が高いことを識別することができる。例えば、いくつかの実施形態では、システムプロセッサ２２０は針が所定の画像フレームで静止しているかまたは概して静止していること、したがって針がターゲット位置に位置していることおよび／またはそれらの画像フレームで注射が行われていることを決定することができる。同様に、所定の画像フレームでの針先の周辺の液体の動きの検出は注射がこれらのフレームで描写されていることを示すことができる。
【0025】
他の実施形態では、システムプロセッサ２２０は特定の注射事象を描写する画像フレームを識別するためにバッファメモリ２２４に格納された画像フレームを分析／比較するための訓練されたニューラルネットワークまたは機械学習アルゴリズムを実装する命令を実行し得る。機械学習アルゴリズムは画像フレーム内の注射事象を示す動き（例えば、針の先端の周辺の注射液の渦巻きまたは膨張）を認識するように訓練された人工ニューラルネットワークまたはディープラーニングアルゴリズムとすることができる。例えば、いくつかの実施形態では、ニューラルネットワークはバッファメモリ２２４内の画像フレーム間の差異に基づいて（例えば、画像フレームの時系列に基づいて）注射事象を検出するために使用することができる。いくつかの実施形態では、機械学習アルゴリズムは一または二以上の以前の検査で生成および保存され、現在の検査で保存されることが必要な画像フレームに類似する一または二以上の画像フレームに基づいて訓練することができる。これら以前の画像は、例えばナレッジベース２３２に格納することができる。以前の画像に基づいて、機械学習アルゴリズムは、例えば以前の画像に最も近い類似性を有し、したがって注射事象を描写する可能性が高いバッファメモリ２２４内の画像フレームを決定することができる。このようにして、システムプロセッサ２２０は以前の検査からの履歴データ／例に基づいて注射事象を描写する可能性の高い画像フレームを識別することができる。
【0026】
所定の実施形態では、システムプロセッサ２２０は注射を描写する可能性の高い画像フレームのうち一または二以上内の特定の領域（例えば、サブ領域）をさらにマークまたは識別することができる。例えば、システムプロセッサ２２０は画像フレームに対して計算または決定されたフローベクトルの分類に基づいて注射の可能性のある領域の周辺の境界ボックスを自動的に決定することができる。
【0027】
いくつかの実施形態では、システムプロセッサ２２０は特定の注射事象を検出するために画像フレームの一部（例えば、特定の領域）および／または画像フレームの総数のサブセットのみを分析するように構成することができる。例えば、システムプロセッサ２２０は針の決定された位置に近接する画像フレームの一部（例えば、領域）のみを分析するように構成することができる。同様に、システムプロセッサ２２０はバッファメモリ２２４に格納された画像フレームの異なるサブセットに異なるレベルまたはタイプの画像処理方法を用いることができる。例えば、システムプロセッサは、針周辺の注射からの液体を描写するこれらの画像フレームを描写するために、針が移動を停止したことを検出するまでバッファメモリ２２４に格納された画像フレームを分析し、次に、その後に生成／格納された画像フレームを分析することができる。このような実施形態は、画像処理ステップのいくつかをバッファメモリ２２４に格納された画像フレームのサブセットに局所化することによりシステム１００の処理負担を有利に低減することができる。
【0028】
ブロック３０６において、方法３００はアーカイブ目的で（例えば、患者レポート、請求記録、または他の報告に含めるために）注射事象を描写するものと識別された画像フレームをメモリに自動的に格納することを含む。例えば、画像フレームはメモリ２２８および／またはシステムプロセッサ２２０にアクセス可能な別のメモリに格納することができる。いくつかの実施形態では、識別された画像フレームはアーカイブ目的でメモリに格納されることに加え、またはその代わりに、バッファメモリ２２４内でマークされるかまたはフラグを立てることができる。
【0029】
いくつかの実施形態では、システムプロセッサ２２０は他の方法（例えば、フレーム間の比較以外の方法）でバッファメモリ２２４に格納された画像フレームを自動的に識別することができる。例えば、図４は、本技術の実施形態による、画像フレーム内のフロー情報に基づいて注射事象を描写する画像フレームを識別するためシステム１００内のプロセッサのうち一または二以上により実行されるプロセスまたは方法４００のフローダイアグラムである。ブロック４０２で開始し、方法４００は、上記で詳細に説明されたように、超音波信号を生成すること、および針注射手順の対応するエコー信号を受信すること、および手順に関する超音波データの画像フレームをバッファメモリ２２４に格納することを含む。より具体的には、いくつかの実施形態では、システム１００は、当該技術分野において知られるように、ドップラーモード、または一般に複数の超音波信号パルスを動きまたはフロー情報（しばしばカラーで表示される）を含む単一の画像フレームに相関させる別のカラーフローイメージングモードで動作することができる。いくつかの実施形態では、カラーフローイメージングはカラーフロー処理チェーン全体を用いる必要はなく、代わりにフロー情報を生成するために信号のサブセットのセグメンテーションおよび分類（例えば、ラグ０の相関、ラグ１の相関等）を使用することができる。ブロック３０４において、システムプロセッサ２２０はバッファメモリ２２４に格納された画像フレームのフロー情報の分析に進み、特定の注射事象を描写するこれらの画像フレームを識別することができる。
【0030】
いくつかの実施形態では、方法４００は、複数の超音波信号パルスが各画像フレームを生成するために使用されるため、図３に示される方法３００よりもプロセッサによる比較的大きな量のフロントエンド処理を必要とする。したがって、システム１００のフレームレートは方法４００を実行する場合は方法３００と比較して遅くなる可能性がある。所定の実施形態では、方法４００を事項しながらシステム１００のフレームレートを改善するために、システム１００は（例えば、複数の超音波信号パルスを生成、検出、および相関させるように）各画像フレームの一部または領域のみのフロー情報をキャプチャするように構成することができる。例えば、いくつかの実施形態では、システム１００は境界ボックス（例えば、仮想カラーボックス）または画像フレーム全体よりも小さい特定の注射事象を検索するための他の領域を決定することができる。例えば、システムプロセッサ２２０は（例えば、静止または移動している明るい反射板を検出することにより）針の位置および／または（例えば、明るい反射板からの遷移を検出することにより）針先の位置を検出するために画像分類アルゴリズム（例えば、検出、訓練されたニューラルネットワーク、または機械学習アルゴリズム）を実装する命令を実行することができる。システムプロセッサ２２０は次に小さな領域のフロー情報を生成することにより針からの液体の注射を検索するために針の周辺の小さな領域を指定することができる。いくつかの実施形態では、一つの画像フレーム内の検出された針の位置を使用して別の画像フレーム（例えば、後続の画像フレーム）内の針の検索を促進することができる。すなわち、針が一つの画像フレームで検出されると、そこから先は後続の各画像フレーム全体を分類する必要がない。最後にブロック４０６において、方法４００はアーカイブ目的で注射事象を描写するものとして識別された画像フレームをメモリに格納すること、あるいは、バッファメモリ２２４内の画像フレームをマークすることまたはフラグを立てることを含む。
【0031】
一般に、システム１００は、フレーム間画像処理、訓練されたニューラルネットワークもしくは機械学習アルゴリズムを使用する画像処理、オプティカルフロー（例えば、針構造の運動の停止および／または注入物のフローパターンの渦巻きもしくは膨張を示すフローベクトルの分類）、カラーフローイメージング、またはそれらの組合せのいずれかを使用して特定の注射事象を描写する可能性の高いバッファメモリ２２４内に格納された画像フレームを自動的に識別することができる。例えば、画像フレーム間の針の動きを検出するため、具体的には、針の動きが停止したことを検出するために単純なフレーム間比較方法を使用することができる。次に、訓練されたニューラルネットワークまたは機械学習アルゴリズムを用いてその後に生成される画像フレーム内の針先を検出することができる。最後に、識別された針先の周辺の領域は針先からの液体の注射を検出するためにカラーフローイメージングを使用して調べることができる。このようにして、システム１００は、例えば手順の間に生成される各完全な画像フレームのフロー情報を生成することと比較して、システム１００の処理要件を低減しながらも特定の注射事象を描写する画像フレームを自動的に正確に識別することができる。
【0032】
いくつかの実施形態では、システム１００はバッファメモリ２２４に格納された画像フレームがバッファメモリ２２４に生成され追加される際、リアルタイムまたはほぼリアルタイムにそれらを分析するように構成される。このような実施形態では、画像フレームのうち一または二以上が特定の注射事象を描写することを識別した後、システム１００は画像フレームのうち少なくとも一つが注射事象を描写するという通知または表示を生成するように構成することができる。例えば、いくつかの実施形態では、システムプロセッサ２２０はディスプレイ２２６に通知を表示させるか、またはシステム１００のスピーカーを介して音声を再生させることができる。したがって、システム１００は検査の間に必要な画像フレームがキャプチャされたことをシステム１００のオペレータに警告するフィードバックを有利に提供することができる。他の実施形態では、超音波手順全体からの画像フレームは手順が完了した後にアクセスおよび分析され、特定の注射事象を描写する画像フレームを自動的に決定し保存することができる。
【0033】
いくつかの実施形態では、画像フレームは画像フレームに関するメタデータ（例えば、ナラティブな情報）に関連付けられる。メタデータは画像を取得するために使用される撮像されている組織のタイプおよびシステム１００の一または二以上のパラメータを含み得る。このようなパラメータには超音波マシンの動作モード（例えば、Ｂモード、ドップラーモード、パワーモード等）だけでなく、パワー設定、パルス繰返し率、焦点深度、使用するプローブ、針の存在／動きの可能性を含むことができる。いくつかの実施形態では、システムプロセッサ２００は識別された画像フレームのうち一または二以上を患者記録（例えば、ＰＡＣＳシステム、ナレッジリポジトリ等）、患者のカルテ、または他の記録に挿入し、同時に、オペレータがそれらを手動で入力する必要がないように画像フレームおよび／または他のメタデータを取得するために使用された超音波マシンの対応する動作パラメータを挿入（例えば、自動入力）することができる。
【0034】
本明細書に記載の主題および動作の実施形態はデジタル電子回路、または本明細書で開示される構造およびそれらの構造等価物を含むコンピュータソフトウェア、ファームウェア、もしくはハードウェア、もしくはそれらのうち一または二以上の組合せで実装することができる。本明細書に記載の主題の実施形態は一または二以上のコンピュータプログラム、すなわち、データ処理装置による実行のために、またはその動作を制御するためにコンピュータストレージ媒体上でエンコードされたコンピュータプログラム命令の一または二以上のモジュールとして実装することができる。
【0035】
コンピュータストレージ媒体はコンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうち一または二以上の組合せとするか、またはそれに含むことができる。さらに、コンピュータストレージ媒体は伝搬信号ではないが、コンピュータストレージ媒体は人工的に生成された信号にエンコードされたコンピュータプログラム命令の送信元または送信先とすることができる。コンピュータストレージ媒体は一または二以上の別個の物理的構成要素または媒体（例えば、複数のＣＤ、ディスク、または他のストレージデバイス）とするか、またはそれに含むことができる。本明細書に記載の動作は一または二以上のコンピュータ可読ストレージデバイスに格納されているか、または他の送信元から受信したデータに対してデータ処理装置により実行される動作として実装することができる。
【0036】
「プロセッサ」という用語はデータを処理するためのあらゆる種類の装置、デバイス、および機械を包含し、例としてプログラム可能なプロセッサ、コンピュータ、システムオンチップ、もしくは複数の前述のそれら、または前述のそれらの組合せを含む。装置は特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途集積回路）を含むことができる。装置はまた、ハードウェアに加えて問題のコンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうち一もしくは二以上の組合せを構成するコードを含むことができる。装置および実行環境はウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャ等の様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
【0037】
（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）コンピュータプログラムは、コンパイラ型言語またはインタプリタ型言語、宣言型言語または手続き型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラムまたはモジュール、構成要素、サブルーチン、オブジェクト、またはコンピューティング環境で使用するのに好適な他のユニットを含む任意の形態で展開することができる。コンピュータプログラムはファイルシステム内のファイルに対応し得るが、必須ではない。プログラムは他のプログラムまたはデータ（例えば、マークアップ言語ドキュメントに格納された一または二以上のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、または複数の調製されたファイル（例えば、一または二以上のモジュール、サブプログラム、もしくはコードの一部を格納するファイル）に格納することができる。コンピュータプログラムは一台のコンピュータ、または一つのサイトに配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークにより相互接続される複数台のコンピュータで実行するように展開することができる。
【0038】
本明細書に記載のプロセスおよび論理フローは入力データを操作して出力を生成することによって動作を実行するために一または二以上のコンピュータプログラムを実行する一または二以上のプログラム可能なプロセッサにより実行することができる。プロセスおよび論理フローは特殊用途集論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途集積回路）により実行することもでき、装置もまたそれらとして実装することができる。
【0039】
コンピュータプログラムの実行に好適なプロセッサは、例として、汎用および特殊用途マイクロプロセッサ、ならびにあらゆる種類のデジタルコンピュータのうち任意の一または二以上のプロセッサの両方を含む。一般に、プロセッサは読取り専用メモリもしくはランダムアクセスメモリ、またはその両方から命令およびデータを受信する。コンピュータの本質的な要素は命令に従って動作を実行するためのプロセッサならびに命令およびデータを格納するための一または二以上のメモリデバイスである。一般に、コンピュータはまたデータを格納するための一または二以上のマスストレージデバイス、例えば、磁気ディスク、磁気光学ディスク、もしくは光学ディスクからデータを受信し、そこにデータ転送し、またはその両方のための一または二以上のマスストレージデバイスを含むか、またはそれに動作可能に結合される。コンピュータプログラム命令およびデータを格納するのに好適なデバイスは、例としてＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスクまたはリムーバブルディスク等の磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の磁気光学ディスクを含む、あらゆる形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは特殊用途論理回路により補われるか、またはそれに組み込むことができる。
【0040】
ユーザとの相互作用を提供するために本明細書に記載の主題の実施形態は、オペレータに情報を表示するためのＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）またはＯＬＥＤ（有機発光ダイオード）モニタ等のディスプレイデバイス、ならびにオペレータがコンピュータに入力を提供することのできるキーボードおよびマウスまたはトラックボール等のポインティングデバイスを有するイメージングシステムに実装することができる。いくつかの実施形態では、情報を表示するため、およびユーザからの入力を受け取るためにタッチスクリーンを使用することができる。ユーザとの相互作用を提供するために他の種類のデバイスを使用することができる。例えば、オペレータに提供されるフィードバックは視覚フィードバック、聴覚フィードバック、または触覚フィードバック等の任意の形態の感覚フィードバックとすることができ、またオペレータからの入力は音響、音声または触覚入力を含む任意の形態で受け取ることができる。加えて、コンピュータは、ユーザにより使用されるデバイスに文書を送ること、およびそこから文書を受け取ることにより、例えばウェブブラウザから受信したリクエストに応答してユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することにより、オペレータと相互作用することができる。
【0041】
前述より、技術の特定の実施形態が例示する目的で本明細書に記載されているが、本開示から逸脱することなく様々な修正がなされ得ることを理解されたい。したがって、本発明は添付の特許請求の範囲による場合を除いて限定されない。さらに、特定の実施形態の文脈において説明される新技術の所定の態様は組み合わせるか、または他の実施形態において排除することができる。その上、新技術の所定の実施形態に関連付けられた利点がこれらの実施形態の文脈において説明されてきたが、他の実施形態もそのような利点を示す場合があり、全ての実施形態が本技術の範囲に入るために必ずしもこのような利点を示す必要はない。したがって、本開示および関連する技術は本明細書に明示的に示されていないか、または記載されない他の実施形態を包含することができる。
【図1】
【図2】
【図3】
【図4】