▶ フジフィルム ソノサイト インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-18
(54)【発明の名称】超音波画像における血管の識別
(51)【国際特許分類】
A61B 8/14 20060101AFI20240411BHJP
【ＦＩ】
A61B8/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023565272
(86)(22)【出願日】2022-04-25
(85)【翻訳文提出日】2023-10-23
(86)【国際出願番号】 US2022026087
(87)【国際公開番号】W WO2022226394
(87)【国際公開日】2022-10-27
(31)【優先権主張番号】17/239,314
(32)【優先日】2021-04-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】399043060
【氏名又は名称】フジフィルム ソノサイト インコーポレイテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】ダット、ダービンダー エス．
(72)【発明者】
【氏名】ホワイト、クリストファー アレクサンダー
(72)【発明者】
【氏名】ペリー、アダム ベンジャミン
(72)【発明者】
【氏名】ダフィー、トーマス マイケル
(72)【発明者】
【氏名】ダンセット、ポール トモタロ
(72)【発明者】
【氏名】マンダヴィア、ディク プラナヴ
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601DD01
4C601DD14
4C601EE11
4C601FF11
4C601GA18
4C601GA21
4C601JC09
4C601JC16
4C601KK02
4C601KK28
4C601KK31
(57)【要約】
超音波画像内の血管を識別して超音波画像内の血管を表示するための方法及び装置が記載される。幾つかの実施形態において、方法は、コンピューティングデバイスによって実施されると共に、コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、静脈分類及び動脈分類のうちの一方を超音波画像内の１つ以上の血管に割り当てるステップを含む。また、方法は、ニューラルネットワークが、静脈分類及び動脈分類の一方を１つの超音波画像内の１つの血管に割り当てると共に、静脈分類及び動脈分類の他方を更なる超音波画像内の１つの血管に割り当てることを示す１つの血管における誤分類を決定するステップも含む。方法は、１つの血管における静脈分類及び動脈分類の他方の表示を１つの超音波画像に表示するステップを含む。
【特許請求の範囲】
【請求項1】
血管識別のためのコンピューティングデバイスによって実施される方法において、前記コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、静脈分類及び動脈分類のうちの一方を超音波画像内の１つ以上の血管に割り当てるステップと、
前記１つ以上の血管のうちの１つの血管における誤分類を決定するステップであって、前記ニューラルネットワークが、前記静脈分類及び前記動脈分類のうちの一方を前記超音波画像の１つの超音波画像内の前記１つの血管に割り当てると共に、前記静脈分類及び前記動脈分類の他方を前記超音波画像の更なる超音波画像内の前記１つの血管に割り当てることを、前記誤分類が示す、ステップと、
前記１つの血管における前記静脈分類及び前記動脈分類のうちの前記他方の表示を前記１つの超音波画像内に表示するステップと、
を含む方法。
【請求項2】
前記１つの超音波画像及び前記更なる超音波画像が超音波ビデオ内のフレームを表わし、前記１つの超音波画像は、前記更なる超音波画像によって表わされる前のフレームよりも後の、前記超音波ビデオ内のフレームを表わす、請求項１に記載の方法。
【請求項3】
前記更なる超音波画像によって表わされる前記前のフレームが前記超音波ビデオ内で連続している、請求項２に記載の方法。
【請求項4】
前記静脈分類及び前記動脈分類のうちの一方を前記１つの超音波画像において割り当てる前記ステップは、前記更なる超音波画像のうちの少なくとも１つにおいて前記静脈分類及び前記動脈分類のうちの前記一方を割り当てることに基づく、請求項２に記載の方法。
【請求項5】
前記静脈分類及び前記動脈分類のうちの一方を前記１つの超音波画像において割り当てる前記ステップは、前記１つの超音波画像と前記更なる超音波画像のうちの少なくとも１つとに基づく、請求項２に記載の方法。
【請求項6】
前記１つの超音波画像と前記更なる超音波画像の前記少なくとも１つとがグレースケール画像であり、前記静脈分類及び前記動脈分類の一方を前記１つの超音波画像において割り当てる前記ステップは、前記ニューラルネットワークの別々のカラーチャネルで前記グレースケール画像を受信することを含む、請求項５に記載の方法。
【請求項7】
時間間隔を示すユーザ選択を受信するステップを更に含み、前記１つの超音波画像及び前記更なる超音波画像が超音波ビデオ内のフレームを表わし、誤分類を決定する前記ステップは、前記時間間隔に対応する前記フレームの数に基づく、
請求項１に記載の方法。
【請求項8】
前記ニューラルネットワークを用いて、前記超音波画像内の前記１つ以上の血管の直径を決定するステップを更に含み、表示する前記ステップは、前記１つの血管に関して前記ニューラルネットワークにより決定された直径に基づいて前記１つの血管におけるカテーテルサイズに対応する色で前記１つの血管における前記表示を表示することを含む、
請求項１に記載の方法。
【請求項9】
前記誤分類に基づいて少なくとも１つのニューラルネットワーク係数を調整するステップを更に含む、請求項１に記載の方法。
【請求項10】
血管を識別するための超音波システムであって、超音波エコー信号に基づいて超音波画像を生成する画像モジュールと、
前記超音波画像の第１の画像内の前記血管を識別するためのニューラルネットワークモジュールと、
前記ニューラルネットワークモジュールによって識別された前記第１の画像内の前記血管の位置を示すマップ画像を生成するマップモジュールと、
前記超音波画像の第２の画像内の前記血管を、前記マップ画像と前記第２の画像とに基づいて識別するためのニューラルネットワークモジュールと、
を備える、超音波システム。
【請求項11】
前記マップモジュールは、境界容器を伴う前記第１の画像内の前記血管の前記位置を示すために前記マップ画像を生成するように構成される、請求項１０に記載の超音波システム。
【請求項12】
前記境界容器が前記血管の輪郭を含む、請求項１１に記載の超音波システム。
【請求項13】
前記マップモジュールは、第１の画素値を伴う前記血管の前記位置と、第２の画素値を伴う前記血管に対応しない前記マップ画像内の更なる位置とを示すマスクとして前記マップ画像を生成するように構成される、請求項１０に記載の超音波システム。
【請求項14】
前記ニューラルネットワークモジュールは、特徴空間内の前記第２の画像の内容を表わす特徴マップを前記第２の画像から生成し、
前記特徴マップと前記マップ画像とを連結し、
前記連結の結果に基づいて前記第２の画像内の前記血管を識別する、
ように構成される、請求項１０に記載の超音波システム。
【請求項15】
前記ニューラルネットワークモジュールは、前記第１の画像内の前記血管の前記位置及び前記第２の画像内の前記血管の更なる位置の損失関数に基づいて少なくとも１つのニューラルネットワーク係数を調整するように構成される、請求項１０に記載の超音波システム。
【請求項16】
血管識別のためのコンピューティングデバイスによって実施される方法において、前記コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、超音波画像内の血管の境界容器を決定するステップと、
前記境界容器に基づいて前記血管の圧迫量を決定するためのステップと、
前記ニューラルネットワークを用いて、前記超音波画像内の前記血管に静脈分類又は動脈分類の分類を割り当てるステップと、
前記圧迫量及び前記分類に基づいて前記血管におけるラベルを決定するためのステップであって、前記ラベルが前記血管を静脈又は動脈として示す、ステップと、
を含む方法。
【請求項17】
前記超音波画像の少なくとも１つにおいて前記血管における前記ラベルを表示するステップを更に含む、請求項１６に記載の方法。
【請求項18】
前記超音波画像の前記少なくとも１つに関する前記圧迫量の決定及び前記分類の割り当ては、一連の前記超音波画像内の更なる超音波画像に関する前記圧迫量の決定及び前記分類の割り当てに基づく、請求項１７に記載の方法。
【請求項19】
前記血管の圧迫量を決定するための前記ステップは、前記境界容器の第１の長さを決定することと、
前記境界容器の第２の長さを決定することと、
前記第２の長さに対する前記第１の長さの比を決定することと、
を含む請求項１６に記載の方法。
【請求項20】
前記血管におけるラベルを決定するための前記ステップは、前記圧迫量を圧迫閾値と比較することと、前記比較に基づいて前記分類に従って前記ラベルを決定することとを含む、請求項１６に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
関連出願
この出願は、２０２１年４月２３日に出願された「Ｉｄｅｎｔｉｆｙｉｎｇ Ｂｌｏｏｄ Ｖｅｓｓｅｌｓ ｉｎ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｅｓ（超音波画像における血管の識別）」という名称の米国非仮出願第１７／２３９，３１４号の優先権の利益を主張し、該米国非仮出願の開示はその全体が参照により本願に組み入れられる。
この出願は、２０２１年４月２３日に出願された「Ｉｄｅｎｔｉｆｙｉｎｇ Ｂｌｏｏｄ Ｖｅｓｓｅｌｓ ｉｎ Ｕｌｔｒａｓｏｕｎｄ Ｉｍａｇｅｓ（超音波画像における血管の識別）」という名称の米国非仮出願第１７／２３９，３１４号の優先権の利益を主張し、該米国非仮出願の開示はその全体が参照により本願に組み入れられる。
【0002】
１つ以上の典型的な実施形態は、超音波機械及びその動作方法に関し、より詳細には、超音波画像内の血管を識別し、超音波機械の操作者に有用な血管に関する情報を含めることによって血管を強調して表示する超音波機械に関する。
【背景技術】
【0003】
超音波システムは、超音波プローブから生成された超音波信号を患者などの対象物に放射し、対象物の内部から反射されたエコー信号を受信する。受信したエコー信号を用いて、対象物の内部の画像が生成される。より具体的には、超音波診断機械は、超音波プローブから取得された超音波画像データを用いることにより超音波画像を生成し、生成された超音波画像をスクリーンに表示してユーザに超音波画像を提供する。超音波機械は、超音波機械を制御して利得又は周波数設定などの様々な機能を設定するための制御パネルを含むことができる。
【0004】
超音波機械がしばしば使用される処置としては、末梢静脈内（ＰＩＶ）カテーテル法などの介入器具の超音波誘導挿入が挙げられる。超音波誘導ＰＩＶカテーテル法を実行する際に、臨床医は、最初に超音波機械を使用して身体のサーベイスキャンを実行して、カニューレ挿入にとって適した静脈を探すことができる。適した静脈は、以下の特徴、すなわち、一般に直径０．３ｍｍを超える；一般に、カニューレ挿入中に偶発的に損傷を受ける可能性がある動脈の近くに位置しない；カテーテルと静脈との直径比が０．４５よりも大きくなるように十分に大きい（ただし、０．３３などの他の経験則が存在する）；静脈は比較的真っ直ぐであって蛇行していない；静脈はカテーテルが当たる弁を含んでいない、という特徴を有する。
【0005】
被検体内の静脈の直径及び深度を決定するために、臨床医は、測定値をじっと見つめる（例えば、推定する）可能性があり、これは、エラーを起こし易い、或いはより正確な直径及び深度を得るためにカリパスをオンにして測定する可能性がある。実際には、臨床医は、（無菌性とワークフローの両方のために）この処置を実行している間、時間がかかり、超音波機械にタッチしたくないため、カリパスを使用することは殆どない。したがって、臨床医は、カテーテル、針などを挿入するのに適した血管を容易に見て識別することができる必要がある。
【発明の概要】
【0006】
超音波画像内の血管を識別して超音波画像内の血管を表示するための方法、システム、及び装置が記載される。
【0007】
幾つかの実施形態において、方法は、超音波機械又は超音波機械に結合されるタブレットなどの血管を識別するためのコンピューティングデバイスによって実施され、コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、静脈分類及び動脈分類のうちの一方を超音波画像内の１つ以上の血管に割り当てるステップと、１つ以上の血管のうちの１つの血管の誤分類を決定するステップとを含む。幾つかの実施形態において、誤分類は、ニューラルネットワークが、静脈分類及び動脈分類の一方を超音波画像のうちの１つの超音波画像内の１つの血管に割り当てると共に、静脈分類及び動脈分類の他方を超音波画像の更なる超音波画像内の１つの血管に割り当てることを表わす。また、方法は、１つの血管における静脈分類及び動脈分類の他方の表示を１つの超音波画像内に表示するステップも含む。
【0008】
幾つかの実施形態において、血管を識別するための超音波システムは、超音波エコー信号に基づいて超音波画像を生成する画像モジュールと、超音波画像の第１の画像内の血管を識別するニューラルネットワークモジュールと、ニューラルネットワークモジュールによって識別された第１の画像内の血管の位置を示すマップ画像を生成するマップモジュールとを含む。ニューラルネットワークモジュールは、マップ画像及び第２の画像に基づいて超音波画像の第２の画像内の血管を識別する。
【0009】
幾つかの実施形態において、方法は、超音波機械又は超音波機械に結合されるタブレットなどの血管を識別するためのコンピューティングデバイスによって実施され、コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、超音波画像内の血管の境界容器を決定するステップと、境界容器に基づいて血管の圧迫量を決定するステップとを含む。また、方法は、ニューラルネットワークによって、静脈分類又は動脈分類の分類を超音波画像内の血管に割り当てるステップ、及び圧迫量及び分類に基づいて血管におけるラベルを決定するステップであって、ラベルが血管を静脈又は動脈として示すステップも含む。
【0010】
本発明は、本発明の様々な実施形態の以下に与えられる詳細な説明及び添付図面からより完全に理解されるが、これらは、本発明を特定の実施形態に限定するものと解釈されるべきではなく、説明及び理解のためのものである。
【図面の簡単な説明】
【0011】
【図1A】２つの血管を検出してそれらをボックスで識別する一例を示す。
【図1B】２つの血管を検出してそれらをボックスで識別する一例を示す。
【図2A】静脈の輪郭の検出を示す。
【図2B】静脈の輪郭の検出を示す。
【図3】交差する直径を有する楕円の一例を示す。
【図4A】プローブ圧力（圧迫）が加えられていない１つの画像を表わす。
【図4B】プローブ圧力（圧迫）が加えられた１つの画像を表わす。
【図5A】検出された静脈における強調を示す。
【図5B】検出された静脈における強調を示す。
【図6】計算のために使用される静脈直径の一例を示す。
【図7】超音波画像上に静脈を表示するためのプロセスの一実施形態のフロー図を示す。
【図8】血管を表示するためのプロセスの一例を示す。
【図9】モニタ上の血管（又は他の身体構造）の表示を操作するためのプロセスの一実施形態のフロー図である。
【図10】検出結果の突然の消失に応じて以前の検出結果の画像を表示するプロセスの一実施形態を示す。
【図11A】プローブが動いているときに生成される超音波画像の強調表示の一例を示す。
【図11B】プローブが動いているときに生成される超音波画像の強調表示の一例を示す。
【図11C】プローブが動いているときに生成される超音波画像の強調表示の一例を示す。
【図11D】プローブが動いているときに生成される超音波画像の強調表示の一例を示す。
【図12】少なくとも１つの仮想的検出結果と共にモニタ上に検出結果として１つ以上の血管（又は他の身体構造）を表示するためのプロセスの一実施形態のフロー図を示す。
【図13A】プローブによる圧力が特定のレベルまで上昇し、血管の形状が正常な形状（例えば、楕円形）から別の形状（例えば、潰れた楕円形）に変化する（血管が潰れる）期間を示す。
【図13B】プローブによる圧力が特定のレベルまで上昇し、血管の形状が正常な形状（例えば、楕円形）から別の形状（例えば、潰れた楕円形）に変化する（血管が潰れる）期間を示す。
【図13C】プローブによる圧力が特定のレベルまで上昇し、血管の形状が正常な形状（例えば、楕円形）から別の形状（例えば、潰れた楕円形）に変化する（血管が潰れる）期間を示す。
【図13D】プローブによる圧力が特定のレベルまで上昇し、血管の形状が正常な形状（例えば、楕円形）から別の形状（例えば、潰れた楕円形）に変化する（血管が潰れる）期間を示す。
【図14A】プローブによる圧力が特定のレベルから解放状態に低下し、血管の形状が別の形状から元の正常な形状に変化する期間を示す。
【図14B】プローブによる圧力が特定のレベルから解放状態に低下し、血管の形状が別の形状から元の正常な形状に変化する期間を示す。
【図14C】プローブによる圧力が特定のレベルから解放状態に低下し、血管の形状が別の形状から元の正常な形状に変化する期間を示す。
【図14D】プローブによる圧力が特定のレベルから解放状態に低下し、血管の形状が別の形状から元の正常な形状に変化する期間を示す。
【図15】血管直径と時間との関係を示すグラフを含む。
【図16】ある期間の検出結果を使用して別の期間における検出結果を作成するためのプロセスの一実施形態のフロー図を示す。
【図17】検出された血管の最良の画像を画像に重ね合わせた画像の一例を示す。
【図18A】最良のプローブ位置に関する情報と共にガイド情報の一例を示す。
【図18B】最良のプローブ位置に関する情報と共にガイド情報の一例を示す。
【図19A】血管を識別するためのプロセスの別の実施形態のフロー図である。
【図19B】血管の誤分類が生じる血管を識別するためのプロセスの一実施形態のフロー図である。
【図19C】血管を識別するためのプロセスの別の実施形態のフロー図である。
【図19D】血管を識別するためのプロセスの更に別の実施形態のフロー図である。
【図20A】医療処置などの使用のための血管を識別するためのプロセスの更に別の実施形態のフロー図である。
【図20B】超音波機械を用いて器具挿入を案内するためのプロセスの別の実施形態のフロー図である。
【図21】器具挿入を案内するためのプロセスの一実施形態のフロー図である。
【図22】超音波機械の一実施形態のブロック図を示す。
【図23】ハンドヘルド超音波機械の一例を示す図である。
【図24】血管識別表示サブシステムのデータフロー図を示す。
【発明を実施するための形態】
【0012】
以下の説明では、本発明のより完全な説明を提供するために多くの詳細が記載される。しかしながら、当業者に明らかなように、本発明はこれらの特定の詳細を伴うことなく実施され得る。幾つかの例では、本発明を不明瞭にすることを避けるために、周知の構造及びデバイスが詳細ではなくブロック図形式で示される。
【0013】
概要
超音波画像内の血管を識別し、超音波画像内の血管を表示するための技術が開示される。幾つかの実施形態では、これらの技術は超音波機械によって実行される。そのような超音波機械の例は、以下により詳細に記載される。本明細書の目的のために、「超音波機械」、「超音波システム」、及び「超音波撮像システム」という用語は、互換的に使用され得る。
超音波画像内の血管を識別し、超音波画像内の血管を表示するための技術が開示される。幾つかの実施形態では、これらの技術は超音波機械によって実行される。そのような超音波機械の例は、以下により詳細に記載される。本明細書の目的のために、「超音波機械」、「超音波システム」、及び「超音波撮像システム」という用語は、互換的に使用され得る。
【0014】
幾つかの実施形態では、超音波機械は、検出ソフトウェアを実行して超音波画像の領域で血管検出を実行し、その検出結果は、例えば、超音波機械に結合された臨床ディスプレイ又はタブレットなどの超音波機械のモニタ又はディスプレイに表示される。実行は、１つ以上のプロセッサ又は実行エンジンによって行なうことができる。幾つかの実施形態において、超音波機械は、テンプレートマッチング、人工知能（ＡＩ）もしくは機械学習（例えば、順次フレーム情報を処理するための適応ブースティング（ａｄａｂｏｏｓｔ）、ディープラーニング、教師あり学習モデル、サポートベクターマシン（ＳＶＭ）、リカレントニューラルネットワーク（ＲＮＮ）を含むシーケンスモデル、ゲーティッドリカレントユニット（ＧＲＵ）、畳み込みＧＲＵ（ＣｏｎｖＧＲＵ）、長期短期記憶（ＬＳＴＭ）など）、及び／又は別の適切な検出方法を使用して血管検出を実行する。これに加えて又は代えて、超音波機械は、ＡＩアルゴリズムを実行し、及び／又はニューラルネットワークを使用して静脈及び動脈を識別し、それらを超音波画像内で位置決めすることができる。
【0015】
幾つかの実施形態では、検出ソフトウェアが血管を検出した後、超音波機械は、血管を超音波システムのモニタ又はディスプレイに表示する。幾つかの実施形態では、超音波機械は、検出された血管を強調態様で表示して、操作者、例えば超音波機械のユーザに情報を提供する。例えば、超音波機械は、血管の周り又はその近くに輪郭又は他の形態の血管表示（例えば、識別子）を描くことができる。
【0016】
血管を強調した形で表示することにより、追加の情報が操作者に提供される。例えば、静脈の輪郭は、カテーテル対静脈直径比（例えば、０．４５、又は０．３３）の程度までその静脈内に適合することができる最大のカテーテルの色分けに一致するように変更することができる。したがって、操作者は、血管及び表示されているそれらの印に基づいてカテーテルサイズを選択することができる。これに加えて又は代えて、超音波機械は、特定のカテーテルサイズに適した超音波画像内の全ての静脈を識別することができる。例えば、操作者は、超音波機械のユーザインタフェース上でカテーテルサイズを選択することができ、それに応答して、超音波機械は、カテーテルサイズに適した静脈の標識の色を変更すること、カテーテルサイズに適していない静脈の標識を除去すること、それらの組み合わせなどによって、カテーテルサイズに適した超音波画像内の静脈を指定することができる（例えば、静脈の直径に対するカテーテルサイズの比に基づく）。一例では、操作者は、超音波画像内の静脈にタッチし、超音波機械にその血管の直径及び深度を表示させることができる。これに加えて又は代えて、超音波機械は、最も中心の最も浅い静脈を自動的に識別し、その静脈の直径及び深度を超音波機械のディスプレイ上に自動的に提供することができる。
【0017】
幾つかの実施形態では、動脈及び静脈の特定の組織を一体化構造として検出することができる。例えば、三つ組は、中心動脈が静脈によって両側で密接に境界されている静脈－動脈－静脈集合である。一例では、ＡＩは、三つ組内の静脈及び動脈を個々の成分として明確に検出及び分類することができる。しかしながら、三つ組構造の固有の構成のために、このグループ化は、静脈及び動脈に沿った追加の固有の分類として検出することができる。そうすることによって、検出の全体的な精度は、三つ組が常に静脈－動脈－静脈構成で発生するため、高めることができる。３つの密接に検出された血管、例えば、静脈、静脈、動脈のグループであって、中心静脈が静脈と動脈によって境界付けられているものは、誤分類又は誤検出である可能性が高い。この基を三つ組として検出することにより、各血管の正確な分類を改善することができる。
【0018】
幾つかの実施形態では、超音波機械は、検出結果に関連する信頼レベルの表示として、検出された各血管の尤度値を計算する。例えば、尤度値は、血管の動脈又は静脈としての分類の信頼レベルを示す０と１との間の値を含むことができる。幾つかの実施形態では、超音波機械は、血管の標識（例えば、輪郭、円、楕円、ボックスなど）を生成し、その血管の予測の信頼度を表わす尤度値に基づいて標識の不透明度を調整する。不透明度のこの調整は、標識の信頼レベルに基づいて標識の不透明度を調整しない従来の超音波システムを超える改善をもたらす。一例では、超音波機械の臨床医又は操作者は、カテーテル法などの医療処置のための血管を選択するのに有用な追加情報に晒される。これに加えて又は代えて、不透明度の変化に基づいて、血管は、突然現れて消えるのではなく、経時的に徐々にフェードイン及びフェードアウトするので、不透明度調整は、ディスプレイをより視覚的に魅力的にし、混乱を少なくする。
【0019】
一例では、超音波機械は、複数のフレームにわたって血管を追跡する（例えば、フレームは、一連の超音波画像内の１つの超音波画像を表わすことができる）。例えば、超音波システムは、１つの超音波画像内の血管を決定し、一連の超音波画像内の後続の超音波画像内の血管を追跡することができる。追跡は、血管の位置、血管の直径、静脈又は動脈としての分類、それらの組み合わせなどの血管の特性に基づくことができる。例えば、超音波機械は、第１及び第２の超音波画像内の血管の特性の１つ以上に基づいて、第１の超音波画像内の血管が第２の超音波画像内の同じ血管であると決定することができる。
【0020】
幾つかの実施形態では、超音波機械は、血管検出がいつ失敗するかを決定し、超音波画像上に血管を表示するために仮想的検出結果を生成する。例えば、超音波機械は、複数の超音波画像で血管を検出し、その後、後続の超音波画像（例えば、ビデオシーケンス内の複数の超音波画像に続く超音波画像）で血管を検出できない可能性がある。超音波機械は、ビデオシーケンス内の超音波画像の検出結果を比較し、比較に基づいて後続の超音波画像の検出失敗を宣言することができる。検出失敗に基づいて、超音波システムは、例えば境界ボックスなどの仮想的検出結果を生成し、後続の超音波画像内で血管が検出されなかったにもかかわらず、後続の超音波画像内に仮想的検出結果を表示して血管の位置を指定することができる。
【0021】
一例では、超音波機械は、介入器具の所望の入口点を決定する。次いで、超音波機械は、トランスデューサ面（例えば、プローブの縁部）から所望の入口点までの距離を計算し、超音波機械のディスプレイに距離の標識を表示することができる。例えば、超音波機械は、距離を含むテキスト、及び／又は距離に従ってプローブを移動させる方向を示す矢印を有するメッセージを表示することができる。
【0022】
したがって、本明細書に開示される技術は、超音波画像内の血管を識別し、有用な情報を操作者に伝達するために幾つかの方法で血管を表示することを提供する。したがって、本明細書に開示される超音波システムは、従来の超音波システムが不快感、複数の穿刺からの血液の喪失、感染のリスクなどを含む患者にとって望ましくない結果をもたらす可能性があるため、従来の超音波システムが適していない医療処置に適し得る。
【0023】
本明細書の説明は血管に焦点を当てているが、本明細書に開示される技術及びシステムは血管に限定されず、神経、筋肉、骨格部分などの他の身体構造と共に使用することができることに留意されたい。更に、本明細書の説明は末梢静脈内カテーテル法に焦点を当てているが、本明細書に開示される技術及びシステムはカテーテルに限定されず、針、ステント、クランプ、ガイドなどの任意の適切な介入器具と共に使用することができる。
【0024】
強調表示
本明細書に開示される技術及びシステムは、超音波画像内の血管を検出し、様々な方法で血管に関する有用な情報を生成することができる。幾つかの実施形態では、超音波システムは、１つ以上の以前の超音波画像に基づいて血管の直径を決定する。例えば、超音波システムは、複数の前のフレーム（例えば、前の２、３、４又はそれ以上のフレーム）のそれぞれにおける血管の直径を決定し、複数の前のフレームからの血管の直径に基づいて現在のフレームにおける血管の直径を生成することができる。したがって、超音波システムは、血管の標識（例えば、カテーテルサイズに対応することができる血管の境界ボックスの色）の望ましくない高速変化を防止することができ、これにより、操作者は血管の真のサイズを理解し、カテーテルの適切なサイズを選択するなどの適切なアクションをとることができる。
本明細書に開示される技術及びシステムは、超音波画像内の血管を検出し、様々な方法で血管に関する有用な情報を生成することができる。幾つかの実施形態では、超音波システムは、１つ以上の以前の超音波画像に基づいて血管の直径を決定する。例えば、超音波システムは、複数の前のフレーム（例えば、前の２、３、４又はそれ以上のフレーム）のそれぞれにおける血管の直径を決定し、複数の前のフレームからの血管の直径に基づいて現在のフレームにおける血管の直径を生成することができる。したがって、超音波システムは、血管の標識（例えば、カテーテルサイズに対応することができる血管の境界ボックスの色）の望ましくない高速変化を防止することができ、これにより、操作者は血管の真のサイズを理解し、カテーテルの適切なサイズを選択するなどの適切なアクションをとることができる。
【0025】
幾つかの実施形態では、超音波システムは、１つ以上の血管を含む超音波画像を生成し、超音波画像内の血管の直径を決定する。直径は、超音波画像（例えば、超音波ビデオストリーム）の各超音波画像内の各血管のそれぞれの直径を含むことができる。超音波システムは、血管のサイズ及び位置を決定するニューラルネットワークを含むことができる。ニューラルネットワークは、少なくとも部分的にコンピューティングデバイス（例えば、超音波機械、タブレットなどの超音波機械に結合されたコンピューティングデバイス、それらの組み合わせなど）のハードウェアに実装することができる。超音波システムは、血管の直径に基づいて血管直径を計算することができる。複数の画像内の同じ血管の血管直径に基づいて、超音波システムは、血管の表示に使用するための血管直径を生成することができる。超音波機械は、血管直径に基づいて色を選択し、次いで、血管直径及び選択された色に基づいて標識を生成して、少なくとも１つの超音波画像に表示を提供し、血管が色を有する標識で表示されるようにすることができる。図１Ａ～図６は、このプロセスの例を示す。
【0026】
一例では、プロセスは、超音波画像に対して画像解析を実行するために画像解析アルゴリズムを実行する超音波機械のプロセッサによって開始され、その結果、超音波画像内の血管が検出される。プロセッサは、２つのアルゴリズムを実行することができ、１つは血管を検出するためのものであり、もう１つは検出された血管の種類を（例えば、血管が静脈であるか動脈であるかどうかを）決定するためのものである。アルゴリズムは、血管の位置を検出するように訓練された第１のニューラルネットワーク、及び第１のニューラルネットワークの検出結果に基づいて血管を静脈又は動脈として分類するように訓練された第２のニューラルネットワークなどの１つ以上のニューラルネットワークを含むことができる。或いは、これら２つのニューラルネットワークを単一のアルゴリズムに組み込むこともできる。一例では、検出の第１のヘッド及び分類の第２のヘッドを含む単一のニューラルネットワークが単一のアルゴリズムに含まれ、それにより、プロセッサは、単一のアルゴリズムを含み、それを実行することができる。
【0027】
図１Ａは、２つの血管を検出し、色、線幅、線形状（例えば、実線又は破線）などの特性を有するボックス１０１及び１０２で血管をそれぞれ識別する例を示す。ボックス１０１及び１０２は、図１Ａの血管の境界容器の例であり、ニューラルネットワークからの情報を使用して超音波システムのプロセッサで生成することができる。次いで、超音波システムは、追加のニューラルネットワークなどを用いて、血管を静脈又は動脈として分類することができる。血管を静脈又は動脈として分類した後、超音波システムは、分類の標識として機能するようにボックス１０１及び１０２の一方又は両方の特性を変更することができる。図１Ｂの例では、超音波システムが両方の血管を静脈として分類した後、超音波機械は、図１Ａのボックス１０１及び１０２の色と比較して、図１Ｂのボックス１０１及び１０２の色を変更する（ハッシュで表わされる）。
【0028】
一例では、超音波システムは、検出された血管の輪郭を決定し、決定された輪郭を楕円形として近似する。例えば、超音波システムは、楕円形をボックス１０１及び１０２の一方又は両方に一致させることができる。これに加えて又は代えて、超音波システムは、血管の輪郭を決定するための二値化技術、輪郭検出技術、又はセグメント化技術の実装を含むことができる。
【0029】
図２Ａ及び図２Ｂは、血管（例えば、静脈）の輪郭の検出を示す。図２Ａを参照すると、２つの血管２０１及び２０２が示されている。二値化／エッジ検出による輪郭付けは、図２Ａの画像で選択されたボックス形状領域（図示せず）の内側で実行することができる。これに加えて又は代えて、超音波システムは、図２Ｂに示すように、内側楕円２１１及び２１２をボックスに一致させることができる。これらの例では、超音波システムは、血管（例えば、静脈）の境界容器として卵形を生成する。
【0030】
超音波システムは、境界容器として生成された楕円を使用して血管の直径を決定することができる。図３は、長軸及び短軸を（２つの血管のそれぞれの長軸／短軸３０１及び３０２を一緒に）示す。超音波システムは、長軸／短軸３０１から一方の血管の直径、及び長軸／短軸３０２から他方の血管の直径を決定することができる。例えば、超音波システムは、長軸／短軸３０１の長径及び短径を平均して、血管直径として図３の左側の血管の直径を決定し、長軸／短軸３０２の長径及び短径を平均して、血管直径として図３の右側の血管の直径を決定することができる。これに加えて又は代えて、超音波システムは、血管の境界容器を表わす楕円形（例えば、楕円）の長軸及び短軸の加重平均から血管の直径を血管直径として生成することができる。例えば、超音波システムは、平均を形成するときに、軸の一方を軸の他方よりも重く重み付けすることができる。
【0031】
一例では、超音波システムは、楕円の性質を円の性質に一致させることによって、楕円の長軸及び短軸から血管の直径を血管直径として決定する。例えば、超音波システムは、血管の境界容器を表わす楕円と同じ面積を有する円の直径として血管の直径を決定することができる。楕円の長径をｄ１、短径をｄ２とする。超音波システムは、血管の直径ｄを、楕円と同じ面積を有する円の直径として、すなわち、
のように決定することができる。
したがって、血管の直径は、
に従って設定され得る。
【数1】
のように決定することができる。
したがって、血管の直径は、
【数2】
に従って設定され得る。
【0032】
これに加えて又は代えて、超音波システムは、血管直径として、血管の境界容器を表わす楕円と同じ円周を有する円の直径から血管の直径を決定することができる。この例では、超音波システムは、
から血管の直径を決定することができる。
したがって、超音波システムは、
に従って血管の直径を設定することができる。
【数3】
から血管の直径を決定することができる。
したがって、超音波システムは、
【数4】
に従って血管の直径を設定することができる。
【0033】
幾つかの実施形態では、超音波システムは、動脈を検出し、静脈を識別するために使用される標識とは異なる標識を用いて動脈を強調して表示する。例えば、動脈に使用される標識は、静脈が望まれる処置のために動脈を選択しないように操作者に通知するために、円を横切る赤色線を有する赤色円とすることができる。幾つかの実施形態では、動脈の検出後、超音波機械の操作者は、動脈直径の計算をオフにすることができ、したがって、動脈の血管直径の計算をオフにすることができる。これに加えて又は代えて、操作者は、最初に静脈又は動脈分類の指示子を無効にし、続いて静脈又は動脈の表示された直径を無効にすることなどによって、静脈又は動脈の強調を個別に（例えば、連続して次々に）有効又は無効にすることができる。
【0034】
幾つかの実施形態では、超音波システムは、検出された血管に追跡技術を適用して、同じ血管が複数の超音波画像に現れるかどうかを決定する。例えば、追跡技術は、検出された血管の直径及び位置を使用することができる。このような場合には、追跡までに血管直径を予め算出しておく。しかしながら、他の実施形態では、検出された血管の追跡は、血管直径を計算する前に行なわれる。なお、血管直径は、２つの交差直径に基づいて算出されるため、追跡の前後で算出可能であり、追跡は、少なくともこれら２つの直径を算出できればよく、必ずしも血管直径を必要としない。
【0035】
また、追跡技術を用いることで、予め定められた血管直径から血管の現在の径値を算出することができる。例えば、超音波システムは、血管の現在の血管直径を、以前の３つから５つの画像などの複数の以前の超音波画像に現れた血管の以前に決定された血管直径の最大値に設定することができる。追跡技術は、一連の超音波画像（フレーム）（例えば、超音波）を通して持続する同じ血管の決定を可能にするので、幾つかの実施形態では、最大値は同じ血管に対して計算される。図４Ａ及び図４Ｂは、時系列におけるプローブの圧力中の２つの画像を表わす。図４Ａには、静脈４０１及び静脈４０２の２つの静脈が存在する。プローブによる圧力に起因して、静脈４０１は図４Ｂでは消失し、その結果、超音波システムは、静脈４０２のみを図４Ａと図４Ｂとの間の同じ静脈として識別する。したがって、超音波システムは、図４Ａを含む所定数の以前の画像における識別された静脈４０２の血管直径の１つ以上の値から、図４Ｂの静脈４０２の血管直径の現在の値を決定することができる。例えば、図４Ｂの静脈４０２の血管直径が１．５ｍｍであり、以前の画像（例えば、図４Ａ）における静脈４０２の最大血管直径が２．０ｍｍである場合、超音波システムは、図４Ｂの静脈４０２の現在の直径を２．０ｍｍに設定することができる。新しい静脈４０３も図４Ｂに示されており、図４Ａには現れていない。したがって、超音波システムは、以前の画像の静脈４０３の血管直径を使用せずに、図４Ｂの静脈４０３の血管直径を決定することができる。
【0036】
幾つかの実施形態では、追跡は、血管領域の点、線、又は面積に関する少なくとも１つ以上の種類の情報を使用する。例えば、幾つかの実施形態では、血管の点がフレーム間で追跡され、超音波システムは点の動きを測定する。点の場合、点に関する情報は、血管領域の中心、上、下、左、右、又は重心点を含んでもよく、２つの超音波画像間の同じ点の位置の差が評価される。追跡には、地点情報以外の情報を用いてもよい。追跡に使用できる他の情報の例には、線に関する情報（例えば、血管領域の直径、又は輪郭の長さなど）及び領域に関する情報（例えば、血管領域の形状、面積、照明情報（テクスチャ情報）など）が含まれる。動きが閾値距離内（例えば、２ｍｍ未満）にある場合、超音波システムは、フレームの血管を同じ血管と見なす。幾つかの実施形態では、閾値距離は、直前のフレーム（又は別の以前に生成されたフレーム）における血管の直径のパーセンテージ（例えば、半分）、又は２つ以上の以前に生成された連続フレームのセットにおける血管の血管直径（例えば、直径の平均）に等しい。
【0037】
幾つかの実施形態では、超音波システムは、色強調などの強調と重ね合わされた検出された血管を表示する。超音波システムは、血管用の超音波システムによって決定された直径値に従って色強調のための色を決定することができる。図５Ａ及び図５Ｂは、超音波システムのディスプレイ上の検出された静脈上の異なる色強調を伴う同じ超音波画像を示す。画像は、例えば、プローブによる圧力下で得られた。具体的には、図５Ａは、現在の画像の血管直径のみを考慮した場合の検出された静脈の表示を示し、図５Ｂは、幾つかの実施形態に従って算出された血管直径に係る色強調を伴う検出された静脈を示す。（ｉ）静脈５０１Ａ及び５０１Ｂの計算された血管直径が１．５ｍｍであり、（ｉｉ）超音波システムにおける強調規則の構成が、血管直径の現在の値が２．０ｍｍ以上である場合、静脈が色で囲まれ（例えば、ピンク）、その値が２．０ｍｍ未満である場合、静脈が別の色で囲まれる（例えば、オレンジ色）と仮定する。図５Ａでは、静脈５０１Ａがオレンジ色で強調されている（中実の白い楕円で表わされている）が、図５Ｂでは、静脈５０１Ｂがピンク色で強調されている（ハッチングで表わされている）。静脈５０１Ｂがピンク色で囲まれている理由は、一実施形態では、超音波システムが、２．０ｍｍの血管直径の最大値を含む以前の画像から血管直径を計算するように構成されているためである。このような最大血管直径を含む画像では、例えば５０１Ａ、５０１Ｂと同じ静脈の形状がより円形になる。したがって、図５Ｂの強調表示は、図５Ａのものよりも良好な血管の形状の変化に対応する。言い換えれば、図５Ｂのような実施形態は、例えば、プローブが、血管の形状が徐々に又は急激に変化するように、超音波スキャン下で対象物を解放及び／又は圧迫する場合に有効である。
【0038】
幾つかの実施形態では、超音波システムは、過去の画像（例えば、以前に生成され表示された超音波画像）を使用して、静脈サイズなどの血管の特性を決定する。過去の画像を使用することにより、超音波システムは、血管が正常状態にあるとき（例えば、プローブによって圧迫されていない）を決定することができる。例えば、超音波システムは、複数の超音波画像から最大直径を有する血管を含む画像を決定し、最大直径を使用して血管直径を決定することができ、したがって、その血管直径を決定するときにその正しいサイズで血管を選択することができる。これに加えて又は代えて、少なくとも３つの過去のフレーム又は少なくとも１／２に相当するフレームを使用して、血管がその正しいサイズにあるときを決定することができる。なお、これらのフレーム数より多くても少なくてもよい。したがって、超音波システムは、その正常状態における血管直径の実際の（又は真の）値を決定することができ、したがって、血管を指定するために正しい色（例えば、直径に応じてピンク色）を選択することができる。これにより、プローブによる圧力の影響を緩和することができる。
【0039】
幾つかの実施形態では、血管直径は、後続の画像（フレーム）について計算される。一例では、超音波システムは、静脈を検出し、後続の画像（フレーム）のために静脈の血管直径のみの計算を実行し、次に静脈のみの強調表示を行ない、したがって超音波画像内の血管の特性の理解を促進することができる。図６は、計算に使用される血管直径の例を示す図である。図６を参照すると、超音波システムは静脈を識別し、示されている軸を使用して１フレーム（画像）の静脈４０２の直径を計算する。動脈４０３は直径を有し、静脈４０２及び動脈４０３の血管直径は後続のフレームについては計算されない。
【0040】
図７は、超音波画像上に静脈を表示するためのプロセスの一実施形態のフロー図を示す。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、超音波機械のプロセッサによって実行される。図７は、超音波画像上に静脈を表示することを示しているが、このプロセスは、これに加えて又は代えて、動脈を表示するために使用することができる。
【0041】
図７を参照すると、プロセスは、処理ロジックが、超音波画像などの画像フレームを取得して（処理ブロック７０１）、画像フレームに対して静脈（又は血管）検出を実行する（処理ブロック７０２）ことによって始まる。静脈検出の結果を使用して、処理ロジックは、静脈の境界を抽出し（処理ブロック７０３）、検出された静脈の血管直径を計算する（処理ブロック７０４）。
【0042】
血管直径を計算した後、処理ロジックは追跡を実行する（処理ブロック７０５）。追跡中、処理ロジックは、検出された個々の静脈が過去のフレームに存在するかどうかを決定する（処理ブロック７０６）。そうでない場合、プロセスは処理ブロック７０８に移行する。そうである場合、処理ロジックは、前のフレーム（処理ブロック７０７）におけるその血管直径に基づいてその静脈の最大血管直径を血管直径の現在値として計算し、処理ブロック７０８に移行する。
【0043】
処理ブロック７０８において、処理ロジックは、全ての静脈が追跡されたかどうか、及び追跡されているそれらの静脈について最大血管直径が計算されたかどうかを決定する。そうでない場合、プロセスは処理ブロック７０５に戻り、プロセスは継続する。そうである場合、プロセスは処理ブロック７０９に移行し、処理ロジックは、その最大直径に基づいて選択された色又は他の標識で超音波画像内の各静脈を表示する。
【0044】
幾つかの実施形態では、血管直径の現在値は、幾つかの異なる方法のうちの１つで計算される。例えば、検出された血管の血管直径の現在値は、過去数フレームにおける同一静脈の血管直径からの最大値、最小値、平均値、中央値、最頻値、標準偏差、最大－最小値から求めることができる。幾つかの実施形態では、超音波機械は、検査の前に、又は血管を撮像する前に、又は画像内の血管の任意の強調（例えば、標識、色など）を使用して計算アルゴリズムを決定する。この決定は、超音波機械の構成又はブートアッププロセスの一部とすることができる。幾つかの実施形態では、計算アルゴリズム（例えば、最大値、最小値、平均値など）は、超音波機械の操作者によって選択される。
【0045】
標準偏差又は最大－最小値を選択することの１つの利点は、正常な静脈がプローブによる圧力中に容易に圧迫及び回復することができ、静脈が健康な状態にない場合、それはそれほど弾性的ではないことである。平均値、中央値、又は最頻値を選択することの１つの利点は、１つ以上のフレーム中に意図せず又は誤って現れる異常な値を排除することである。平均値、中央値、又は最頻値を選択することの別の利点は、２つの点、すなわち、（ｉ）より小さなゲージのカテーテルは血管への損傷を少なくするが、（ｉｉ）より小さなゲージのカテーテルもより少ない液体を輸送する、ということの間の妥協点である。更に、平均値、中央値、及び最頻値は常に血管の最大値未満であるため、例えば、限定はしないが、針又はカテーテルなどの医療器具／器具は、血管の直径よりも小さい。
【0046】
一例では、プロセッサは、計算アルゴリズムを自動的に決定するように構成される（例えば、計算アルゴリズムの明示的なユーザ選択を伴わない）。幾つかの実施形態では、選択は、（例えば、プローブ内の圧力センサによって決定されるように）プローブが検査されている被検体を圧迫しており、それによって血管のサイズを縮小しているかどうかに基づく。そのような一実施形態では、（ｉ）プローブが対象物の同じ部分を押圧している場合、プロセッサは最大計算アルゴリズムを選択し、（ｉｉ）プローブが血管に沿って移動している場合（例えば、長手方向）、プロセッサは平均計算アルゴリズムを選択する。幾つかの実施形態では、（ｉ）と（ｉｉ）を区別するために、超音波機械は、検出された血管の周辺が変化したか否かを決定するために画像解析を実行する。これに加えて又は代えて、プローブ内の位置センサ（例えば、磁気センサ、加速度計、ジャイロセンサなど）を使用して、（ｉ）と（ｉｉ）を区別することができる。
【0047】
幾つかの実施形態では、超音波機械は、表示された血管を色付き標識（例えば、円、楕円など）でマークする。そのような場合、幾つかの実施形態では、色は、検出された血管が動脈であるか静脈であるかに基づくことができる。例えば、超音波機械は、動脈を赤色標識（例えば、赤い円、又は横に引かれた円のアイコン）でマークすることができる。これに加えて又は代えて、超音波システムは、針又はカテーテルのどのサイズ（例えば、ゲージ）が血管に挿入され得るかに基づく色を有する標識で血管をマークすることができる。色は、計器ゲージに固有の色を割り当てる標準的なカラーチャートに従うことができる。したがって、幾つかの実施形態では、異なる範囲の直径（例えば、血管直径）を有する血管は、異なる色を使用することによって強調される。更に、一例では、異なる範囲の直径（例えば、血管直径）を有する静脈のみが、動脈に使用される強調の色とは異なる色を使用することによって強調されるが、これは、超音波システムの一構成では、血管直径が静脈のみに対して計算されるためである。
【0048】
前述したように、幾つかの実施形態では、超音波機械は、どの血管が超音波機械の操作者にとって関心があるかに関係なく、血管上のいくらかの強調を検出して表示する。例えば、血管上の強調表示は、操作者が見ることに関心を示していない１つ以上の他の強調された血管と共に、操作者が見ることを望む１つ以上の強調された血管を含むことができる。操作者は、超音波機械のユーザインタフェースを介して特定の血管を見たい、又は見たくないという要望を入力することができる。
【0049】
幾つかの実施形態では、操作者は、ディスプレイから不要な血管の強調を除去することができる。例えば、操作者は、検出された血管を選択して、検出された血管に強調を引き起こし、血管が強調（例えば、境界容器、色、種類（例えば、静脈又は動脈）に基づく色、血管に挿入可能な針のサイズに基づく色、直径を示すテキスト、停止サイン、サムズアップ、サムズダウンなどのアイコン、それらの組み合わせなど）を伴って表示されるＯＮ状態と、強調を何ら伴うことなく検出された血管が表示されるＯＦＦ状態とを切り替えてもよい。
【0050】
図８Ａ～図８Ｄは、血管上の強調表示のためのプロセスの一例を示す。図８Ａを参照すると、静脈８１１、動脈８１２、及び静脈８１３を含む血管がモニタ８００に示され、強調されている。幾つかの実施形態では、モニタ８００は、タッチセンサ式スクリーン型ディスプレイ又はタッチ面ディスプレイデバイスを含む。一例では、３つの血管８１１～８１３は、人工知能（ＡＩ）によって検出される。これに加えて又は代えて、検出された血管は、ＡＩによって着色標識（例えば、円又は楕円）でマークすることができる。操作者が図８Ａの静脈８１３などの３つの血管のうちの１つの位置でモニタ８００にタッチすると、図８Ｂに示すように色付きの円が消える。更に、図８Ｃに示すように、操作者が、円を消失させるために以前にタッチした一方の血管の位置でモニタ８００にタッチすると、図８Ｄに示すように、円が再び血管上に現れる。
【0051】
図９は、モニタ上の血管（又は他の身体構造）の強調表示を操作するためのプロセスの一実施形態のフロー図を示す。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、超音波機械のプロセッサによって実行される。
【0052】
図９を参照すると、プロセスは、処理ロジックが、色付きの円で（又は他の強調態様の別の表示で）超音波機械のモニタ上の１つ以上の血管（又は他の身体構造）における強調を表示することによって開始する（処理ブロック９０１）。幾つかの実施形態では、モニタは、タッチセンシティブスクリーンタイプのモニタ又はタッチ面ディスプレイデバイスである。
【0053】
１つ以上の血管が強調表示された後、処理ロジックは、ユーザがモニタをタッチしたという表示を受信する（処理ブロック９０２）。これに加えて又は代えて、ユーザは、カーソル制御デバイスを有するカーソルをモニタ上の位置に移動させ、選択ボタンを押すことによって、モニタ上で選択を行なうことができる。
【0054】
ユーザがモニタにタッチしたという表示の受信に応答して、処理ロジックは、タッチの位置、及びタッチが行なわれたときにモニタ上のその位置で血管が強調されていたかどうかを決定する（処理ブロック９０３）。そうである場合、処理ロジックは、血管と共に表示されている着色円（又は血管の表示と併せて使用されている任意の他の標識／強調）をディスプレイから除去させる（処理ブロック９０４）。
【0055】
タッチが行なわれたときに血管がモニタ上のその位置に表示されていなかった場合、処理ロジックは、血管がタッチの位置で検出されているが、その強調がディスプレイから抑制されているかどうかを決定し（処理ブロック９０５）、そうである場合、色付き円（又は他の印／強調）をモニタ上に再表示させる（処理ブロック９０６）。
【0056】
幾つかの実施形態では、血管がモニタに表示され、操作者がモニタにタッチすると、図９のプロセスを繰り返すことができる。例えば、操作者が超音波プローブを動かすと、新しい血管が現れ、以前の血管が視界から消える可能性がある。超音波機械は、操作者がモニタにタッチすると、新たに表示された血管に対して図９のプロセスを繰り返すことができる。超音波システムの１つの典型的な実装形態では、超音波システムは、超音波画像を連続的に生成し、強調のオン状態又はオフ状態に関係なく、生成された画像上で血管の検出プロセス及び追跡技術（更に、血管直径の計算）を継続し、その結果、操作者が以前にモニタ上で強調されていなかった血管にタッチする場合、血管に適切な色の円が表示され、色は、計算された血管直径及び／又はカテーテルサイズに対応する標準色に更に基づく。
【0057】
幾つかの実施形態では、超音波画像に対する強調は、検出されなかった血管を示す形態で行なわれる。例えば、超音波画像内で血管が検出された場合、検査状況が急変すると、検出結果（例えば、超音波画像の検出された血管上の色付きの円）が急峻に消失する可能性がある。例えば、検査中の被検体にプローブが突然押し込まれると、超音波画像の血管が突然潰れ、検出結果がモニタに表示されなくなる可能性がある。この検出表示の欠如は、ユーザがＢモード画像内の潰れた血管の実際の位置を依然として見る可能性があるため、ユーザにとって問題となり得る。
【0058】
幾つかの実施形態では、超音波機械の処理ロジックが現在の画像内の血管を検出できない場合、１つ又は幾つかの以前の超音波画像の検出結果が検索される。処理ロジックは、それらの以前の超音波画像のうちの１つ以上の検出結果に基づいて仮想的検出結果を決定することができ、仮想的検出結果は、現在の画像に重ね合わせて超音波機械によって表示することができる。一実施形態では、超音波機械は、ちらつきを防止するために、２～３フレームの仮想的検出結果のみを表示する。
【0059】
幾つかの実施形態では、超音波機械は、超音波画像のサブセット内の血管の直径及び位置を決定する。前述したように、この決定は、超音波機械自体、超音波機械に結合されたコンピューティングデバイス、又はそれらの組み合わせなどのコンピューティングデバイスのハードウェアに少なくとも部分的に実装されたニューラルネットワーク又は他の検出機構を使用して行なうことができる。これに代えて又は加えて、決定は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを使用して行なうことができる。
【0060】
各画像に見られる血管の直径及び位置に基づいて、超音波機械は、ニューラルネットワーク（又は他の検出機構）によって識別された血管に血管が存在しなかったために、超音波画像のうちの１つにおける血管のうちの１つに関する検出失敗が発生したかどうかを決定することができる。その決定に応答して、超音波機械は、代替手段によって以前に検出された血管を追跡し、超音波画像のうちの１つにおける血管のうちの１つの直径及び位置の標識を表示しようと試みることができる。幾つかの実施形態では、標識は、超音波画像のサブセットについてニューラルネットワークによって決定された直径及び位置に基づく。
【0061】
図１０Ａ～図１０Ｃは、検出結果の突然の消失に応答して以前の検出結果の画像を表示するプロセスの一実施形態を示す。この状況は、例えば、プローブが徐々に圧迫しているときに起こり得る。血管が更に圧迫されると、血管の形状が潰れてしまう。このような場合、現在の画像のみからこのような血管の潰れを検出することは、より一層困難になる。
【0062】
図１０Ａを参照すると、検出プロセスがそれらの存在を決定した結果として、血管１００１及び１００２がモニタ８００上に表示されている。図１０Ｂに示すように、検出が継続している間、血管１００１及び１００２はモニタ８００上に表示され続けるが、血管１００２は楕円形で示されている（図１０Ａの血管１００２の円形とは対照的）。図１０Ｃは、血管１００２が表示されていないので、検出が表示されている血管１００１のみを示していることを例示する。言い換えれば、図１０Ｃは、血管１００２の最後に成功した検出の結果を反映している。例えば、超音波機械は、図１０Ｃの血管１００２を検出することができない可能性がある。そのような場合、システムは、たとえ検出プロセスが血管１００２についての結果をもたらさなかったとしても、仮想的検出結果を表わす破線の楕円として血管１００２を表示する。仮想的結果を、成功した結果（例えば、実線の楕円対破線の楕円、又は実線のボックス対破線のボックス）と同じ形状であるが異なる種類の輪郭で表示することの利点は、操作者が不快に感じることを防止することである。幾つかの実施形態では、実線（実際の）及び破線（仮想的な）の楕円の色は、以前の画像における血管直径の計算結果から選択することができる。以前の画像に基づいて血管直径の現在値を算出するため、色の変動を抑制することができ、形状の線のみを変更することで、操作者が同じ血管（静脈）を識別しやすくなる。
【0063】
より具体的には、幾つかの実施形態では、仮想的検出結果は、実際の検出結果とは異なる方法で表示される。図１０Ｃに示すように、例えば、仮想的検出結果は破線の楕円で表示されるが、実際の検出結果は、図１０Ａ及び図１０Ｂの血管１００２に示すように、実線の境界容器に表示される。これに加えて又は代えて、実際の検出結果を仮想的検出結果から区別するために、異なる色、境界容器の異なる種類の充填、色、ラベル、アイコン、テキスト、又は他の種類の区別する特徴を使用することができる。また、血管１００１は動脈であるため、静脈の形状が変化するほどその形状は変化しないことに留意されたい。
【0064】
図１１Ａ～図１１Ｄは、プローブが動いているときに生成される超音波画像の強調表示の一例を示す。図１１Ａを参照すると、血管１１０１～１１０３が超音波画像上に示されている。血管１１０１は、第１の色の円を有する静脈として示されており、血管１１０２は、動脈として示されており、血管１１０３は、静脈又は動脈のいずれかとして識別されない（例えば、点線の円で識別される）。図１１Ｂは、血管１１０１の形状が図１１Ａのものとは異なる強調（例えば、異なる色）を伴うより楕円形の形状で表わされる同じ位置の別の超音波画像を示す。血管１１０１の形状は、操作者がその位置でプローブを体内により強く押し込むことに起因し得る。図１１Ｃは、血管１１０１の形状が図１１Ｂのものとは異なる強調（例えば、異なる色）を伴うより小さい楕円形状で表わされる同じ位置の別の超音波画像を示す。図１１Ｄは、血管１１０１の形状が図１１Ｃのものとは異なる強調（例えば、異なる色）及び点線を有する更に小さい楕円形状で表わされる同じ位置の別の超音波画像を示す。したがって、図１１Ａ～図１１Ｄは、プローブの動き及び／又は圧力に起因して血管の強調がどのように変化し得るかを示す。
【0065】
図１２は、少なくとも１つの仮想的検出結果を有するモニタ上に検出結果として１つ以上の血管（又は他の身体構造）を表示するためのプロセスの一実施形態のフロー図を示す。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、超音波機械のプロセッサによって実行される。
【0066】
図１２を参照すると、プロセスは、処理ロジックが超音波画像から１つ以上の血管を検出することによって開始する（処理ブロック１２０１）。幾つかの実施形態では、処理ロジックは、ニューラルネットワーク、テンプレートマッチング、機械学習（例えば、シーケンス内のフレーム情報を処理するための、ａｄａｂｏｏｓｔ、ディープラーニング、ＳＶＭ、ＲＮＮ、ＧＲＵ、ＣｏｎｖＧＲＵ、ＬＳＴＭなどを含むシーケンスモデルなど）などを使用して血管を検出する。これに加えて又は代えて、処理ロジックは、検出結果が血管であるという信頼性のレベルを示す各血管の尤度値を計算することができる（処理ブロック１２０２）。尤度値は０と１との間となることができ、１は検出結果の高い信頼度を表わし、０は検出結果の低い信頼度を表わす。
【0067】
処理ロジックはまた、フレーム間で検出された血管を追跡し、異なる画像内の同じ検出された血管を識別する（処理ブロック１２０３）。幾つかの実施形態では、処理ロジックは、追跡及び／又は識別プロセスのために位置情報及び／又は血管の種類を使用する。
【0068】
処理ロジックは、尤度値を０．７などの閾値と比較する（処理ブロック１２０４）。同じ血管に対する尤度値が閾値未満になったと処理ロジックが決定する場合、処理ロジックは、血管の検出が失敗したと決定し（処理ブロック１２０５）、表示のために仮想的検出結果を生成する（処理ブロック１２０６）。幾つかの実施形態では、仮想的検出結果を生成するために、処理ロジックは、１つ以上の以前の超音波画像の結果を検索し、その結果を仮想的検出結果の表示の基礎として使用する。仮想的検出結果は、幾つかの方法で実行される計算方法（アルゴリズム）を使用して計算することができる。幾つかの実施形態では、処理ロジックは、最新の成功した検出結果を取得し、それを仮想的検出結果に使用する。これに加えて又は代えて、処理ロジックは、前の２つ、３つ、４つ、又はそれ以上のフレームからなど、所定数の前のフレームから最も高い尤度値を有する検出結果を仮想的検出結果として選択することができる。フレームの数は、取得フレームレートに少なくとも部分的に依存することができ、より高いフレームレートは、より多くのフレームを選択することを可能にすることができる。一例では、処理ロジックは、画像フレームの前の５００ｍｓｅｃからなど、過去の所定の時間長の間に生成された１つ以上の前のフレームの結果に基づいて血管の形状及び／又は位置を推定する。一例では、この推定は、動きベクトル技術を使用することによって行なわれる。これに加えて又は代えて、この推定は、光フロー技術を使用することによって行なうことができる。その後、処理ロジックは、超音波画像内の仮想的検出結果を、実際の又は仮想的な任意の他の検出結果と共に表示する（処理ブロック１２０７）。
【0069】
幾つかの実施形態では、超音波機械のプローブは、その動きを検出するためのセンサを有する。プローブの移動が特定の速度を上回る場合、処理ロジックは、仮想的検出結果をモニタに表示しない。この仮想的検出結果の表示の抑制は、プローブが移動しているとき、例えば、プローブが移動しているときの血管の形状及び／又は位置の対称的な変化を推定することができないため、処理ロジックが仮想的検出結果を推定することがより困難であるためである。
【0070】
関心領域が超音波システムのプローブで圧迫及び緩和される間、血管の形状は変化し得る。例えば、図１３Ａ～図１３Ｄは、プローブによる圧力が特定のレベルまで増大し、血管の形状が通常の形状（通常は円形楕円）から更なる形状（例えば、潰れた楕円形）に変化する（例えば、潰れる）期間（ｉ）を示す。図１４Ａ～図１４Ｄは、プローブによる圧迫が特定のレベルから解放状態に減少し、血管の形状が追加の形状から正常な形状に戻る期間（ｉｉ）を示す。期間（ｉ）及び（ｉｉ）の間、超音波画像が収集され、血管が検出される。幾つかの実施形態では、血管の検出は、ＡＩ（例えば、ニューラルネットワークを実装するＡＩソフトウェア）を使用して実行される。
【0071】
幾つかの実施形態では、期間（ｉ）中に取得された超音波画像の検出結果が解析され、結果が作成され、期間（ｉｉ）中の超音波画像の検出／解析に使用される。例えば、超音波システムは、期間（ｉ）の検出結果をニューラルネットワークへの条件付き入力として使用して、期間（ｉｉ）の追加の検出結果を生成することができる。これに加えて又は代えて、超音波システムは、期間（ｉ）中に検出された各血管の位置及びサイズを使用して、期間（ｉｉ）中に血管を探索するための領域を予測（例えば、限界）することができ、それにより、期間（ｉｉ）中の同じ血管の迅速かつ正確な検出に寄与する。一例では、超音波システムは、期間（ｉ）中に検出された血管のそれぞれの位置及びサイズに基づいて関心領域を生成し、この関心領域をニューラルネットワークへの条件付き入力として提供することができ、ニューラルネットワークはその後、期間（ｉｉ）の関心領域に従って血管の位置及びサイズについての推論を生成することができる。
【0072】
一例では、超音波機械は、期間（ｉ）の検出結果に基づいて期間（ｉｉ）の検出結果を決定する際に、血管の潰れ速度と回復速度との差を調整する。例えば、プローブを用いた超音波検査では、期間（ｉ）ではプローブが被検部位を徐々に押圧し、期間（ｉｉ）では操作者がプローブを離す。したがって、潰れ速度は、一般に、操作者による押圧動作に基づくプローブによって引き起こされる圧力に依存する。一方、回復速度は、主に血管自体の性質（すなわち、ほぼ一定の速度）に依存する。発明者らが観察したように、血管自体の回復速度は、通常、潰れ速度よりも遅い。したがって、プロセッサは、期間（ｉ）の検出結果を（例えば、回復機能を遅延させるために期間（ｉ）の検出結果に適切な係数を乗算することによって）血管の実際の回復速度に一致するように修正することができる。図１５は、血管直径と時間との関係を示すグラフを含む。図１５を参照すると、遅延１５０１は、実際の回復速度と、潰れ速度と同じであると仮定され、満たされなければならない予測速度との間のギャップを表わす。幾つかの実施形態では、超音波システムは、血管の検出、直径の決定、及び追跡技術を使用することによって潰れ速度を計算し、次いで、期間（ｉ）及び期間（ｉｉ）からの移行のタイミングを検出し、次いで、最初の幾つかの期間フレーム（ｉｉ）を使用することによって（実際の）回復速度を計算し、次いで、実際の速度と予測速度との間の係数が生成される。したがって、当該係数の値を用いることにより、期間（ｉ）における検出結果が、期間（ｉｉ）における検出処理に適切に反映される。詳細はまた、以下の図１６のフローチャートを使用して説明される。一例では、検出処理が進むにつれて同じ血管量の実際の結果（すなわち、直径）が進み、それによってギャップがより正確になるため、時間が進むにつれて期間（ｉｉ）の検出結果を本質的に反映することによって、そのような係数を更新することができる。一例では、図１５及び図１６の直径の代わりに血管直径を使用することができる。更に、図１５及び図１６を参照して説明した技術は、期間（ｉ）が潰れ速度を指し、期間（ｉｉ）が回復速度を指す場合に基づくことができるが、期間（ｉ）が回復速度を指し、期間（ｉｉ）が潰れ速度を指す場合にも適用することができることに留意すべきである。
【0073】
図１６は、例えば、図１３Ａ～図１５に関して前述したように、別の期間の検出結果を作成するためにある期間の検出結果を使用するためのプロセスの一実施形態のフロー図を示す。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、超音波機械のプロセッサによって実行される。
【0074】
図１６を参照すると、プロセスは、処理ロジックが超音波画像から血管を検出することによって開始する（処理ブロック１６０１）。前述したように、テンプレートマッチング、機械学習（例えば、シーケンス内のフレーム情報を処理するための、ａｄａｂｏｏｓｔ、ディープラーニング、ＳＶＭ、ＲＮＮ、ＧＲＵ、ＣｏｎｖＧＲＵ、ＬＳＴＭなどを含むシーケンスモデルなど）などを含むがこれらに限定されない多くの異なるアルゴリズムを使用して血管を検出することができる。
【0075】
処理ロジックはまた、フレーム（画像）間で検出された血管を追跡して、これらのフレーム内の同じ血管を識別する（処理ブロック１６０２）。プローブによる圧力の間、検出された血管の形状は変化し、処理ロジックは、フレームごとに同じ血管の形状、位置、サイズ、それらの組み合わせなどの変化を解析する（処理ブロック１６０３）。解析に応答して、処理ロジックは、形状が通常の楕円（圧力なし）から最も潰れた楕円（最大圧力）に移行する最初の期間（ｉ）を決定する（処理ブロック１６０４）。フレームレートが超音波機械によって予め決定される（例えば、３０フレーム／秒）ので、処理ロジックは、第１の期間の時間及び血管の潰れ速度を計算する（処理ブロック１６０５）。したがって、処理ブロック１６０１～１６０５から、処理ロジックは、期間（ｉ）中の血管の情報を取得する。
【0076】
プロセッサは、血管の回復の開始フレームであるフレームを決定する（処理ブロック１６０６）。例えば、処理ロジックは、血管の回復速度を血管の潰れ速度と同等にすることができる。次に、プロセッサは、血管の回復の開始フレームであるフレームを決定することができ、例えば、この開始フレームから、期間（ｉｉ）に入る。次いで、プロセッサは、期間（ｉ）中の検出結果及び現在時刻と開始フレームの時刻との間の時間間隔に基づいて、現在フレーム内の血管の位置、直径、又は他の情報を推定することができる。言い換えれば、処理ブロック１６０６において、期間（ｉ）から期間（ｉｉ）への変化の時間が決定されるように、期間（ｉｉ）の幾つかのフレームも取得される。また、処理ブロック１６０６において、プロセッサは、期間（ｉｉ）の同じフレームが既に取得されているので、これらのフレームを使用して回復速度を計算することができ、それによって、期間（ｉ）の検出結果に適用されるべき係数（図１５の遅延１５０１に対応する）が、期間（ｉｉ）の幾つかのフレームに基づいて計算される。
【0077】
処理ブロック１６０７において、（期間（ｉｉ）に属する）新しい現在の画像が取得される。現在時刻と、期間（ｉ）から期間（ｉｉ）への変化の時刻との間の時間間隔及び係数は既知であるため、適切な期間（ｉ）の血管に関する情報は、新しい画像を作成する際に使用するために取得される。より具体的には、プロセッサは、血管の回復速度と潰れ速度との間の差を考慮することができる。例えば、幾つかの実施形態では、プロセッサは、血管の実際の回復速度に一致するように、回復機能を遅延させるために期間（ｉ）の検出結果に適切な係数を乗算することなどによって、期間（ｉ）の検出結果を変更する（処理ブロック１６０７）。したがって、期間（ｉ）の適切な時点の検出結果がプロセッサ（例えば、ＡＩアルゴリズム）に入力され、新しい現在の画像における血管の検出が強調される。一例では、期間（ｉ）の適切な時点での血管の位置及び／又は直径がプロセッサ（例えば、ＡＩアルゴリズム）に入力され、それによって、探索のために指定された領域を制限することができ、及び／又は探索のための血管のサイズを制限することができ、それによってプロセッサの負担を軽減する。
【0078】
幾つかの実施形態では、超音波画像内の血管を識別した後、ユーザは、針又は他の介入器具を挿入することができる血管の最適な位置を検索したい場合がある。例えば、血管は、肘から手首、上腕から肘などに延びることができ、操作者は、針挿入のために血管の特定の位置又は位置を探索することができることを望む場合がある。しかしながら、血管の最良の位置を探索するとき、操作者は、プローブをある位置から別の位置に移動させ、それによって、チェックされ得る多数の超音波画像を連続的に取得する。そのような場合、操作者は、プローブが移動しているときに検査及び／又は介入のための最良の位置を見逃す可能性がある。
【0079】
幾つかの実施形態では、超音波プローブが動いている間に、血管を含む超音波画像が取得される。例えば、超音波機械は、超音波プローブによって受信された超音波エコー信号に基づいて超音波画像を生成することができる。超音波機械は、超音波画像が受信されたときの血管に対する超音波プローブの位置に基づいて超音波画像の少なくとも１つの超音波画像を決定し、超音波画像内の血管の１つ以上の特徴を決定する。超音波機械は、更なる超音波画像において（例えば、現在の超音波画像において）血管の各特徴の標識を表示する。
【0080】
幾つかの実施形態では、ユーザが過去に行なった挿入のための最良の、又はより望ましい位置を示すために、幾つかの過去の超音波画像が取得され、血管の検出を含む画像解析が各画像に対して実行される。幾つかの実施形態では、超音波機械は、解析に基づいて、過去の画像から１つの画像を選択する（以下、選択された１つの画像は「最良の画像」とも呼ばれる）。幾つかの実施形態では、選択される画像は、プローブが挿入のために血管の所望の部分に配置されたときに得られた超音波画像である。どの位置が最良であるか又は望ましいかの決定は、所定の基準に基づくことができる。そのような所定の基準ｉは、血管の直径のサイズ、所定の血管の位置が所定の深度よりも浅いことなどを含むことができる。そのような所定の基準の例は、以下により詳細に説明される。
【0081】
検出された最良の画像の血管に関する情報は、現在の（ライブ）画像に重畳することができる。この重畳は、画像に重畳されているグラフィックのように行なうことができる。図１７は、そのような重畳を伴う現在の（ライブ）画像の一例を示す。図１７を参照すると、静脈１７０１は、Ｌ字形の深度標識の追加と共に楕円で強調されている。一例では、Ｌ字形深度標識は、検出された血管の位置が所定の深度よりも浅い場合に追加的に表示することができる。ただし、血管の最良画像の血管に関する情報として、他の血管１７０２が現在画像に重畳して示されている。血管１７０３も、画像上に示されており、動脈を表わす。したがって、血管１７０３は、血管１７０３を静脈ではなく動脈として強調するために、裏抜けがない円又は楕円とは対照的に、裏抜けで示される。
【0082】
血管の最良の画像である最良の画像に関連する情報を識別して重ね合わせるために、超音波機械は、プロセッサが解析する位置情報を提供するための位置センサを有するプローブを含むことができる。幾つかの実施形態では、位置センサは、ジャイロセンサ又は加速度計を含む。幾つかの実施形態では、画像は、プローブの位置情報と共にメモリに記憶される。
【0083】
また、超音波機械は、以下のうちの少なくとも１つに基づいて、超音波画像から血管を検出し、複数の画像の中から最良の画像として１つの画像を選択することができるプロセッサも含む。
１）血管直径が大きい（例えば、閾値よりも大きいか、又は複数の画像の中で最大である）；
２）検出された血管は、所定の深度よりも浅い位置にある；
３）検出された血管は、針又はカテーテルを挿入するときに損傷又は妨害される解剖学的構造（例えば、限定されないが、神経又は動脈など）に近すぎて（例えば、横方向に２ｍｍ以内、又は深度３～４ｍｍ以内）配置されていない；
４）血管の検出に関する尤度値が高い；
５）血管の内部構造が明瞭であると決定される。換言すれば、血管壁又は血管内膜が超音波画像において明確に見える；
６）超音波画像の血管に異常な構造（例えば、血栓、浮腫など）が観察されない；及び
７）血管の直径は、血管の位置の周辺で安定している。幾つかの実施形態では、超音波機械は、血管の位置がその位置の周辺の周りで安定していることを考慮した選択を行なう。幾つかの実施形態では、「安定」という単語は、直径の偏差が閾値直径（例えば、血管の最大直径の１０～２０％）未満であることを意味する。「安定」という単語はまた、位置の変化のずれが閾値未満であることを意味し得る。器具（例えば、カテーテル）が血管の長手方向に沿って挿入されるので、そのようなずれは、器具と血管との間の摩擦による静脈炎を防止するために好ましくは小さい。換言すれば、血管が狭窄される挿入のための良好な位置ではなく、その結果、直径は局所的に大きいが、位置は大きく変化している。
１）血管直径が大きい（例えば、閾値よりも大きいか、又は複数の画像の中で最大である）；
２）検出された血管は、所定の深度よりも浅い位置にある；
３）検出された血管は、針又はカテーテルを挿入するときに損傷又は妨害される解剖学的構造（例えば、限定されないが、神経又は動脈など）に近すぎて（例えば、横方向に２ｍｍ以内、又は深度３～４ｍｍ以内）配置されていない；
４）血管の検出に関する尤度値が高い；
５）血管の内部構造が明瞭であると決定される。換言すれば、血管壁又は血管内膜が超音波画像において明確に見える；
６）超音波画像の血管に異常な構造（例えば、血栓、浮腫など）が観察されない；及び
７）血管の直径は、血管の位置の周辺で安定している。幾つかの実施形態では、超音波機械は、血管の位置がその位置の周辺の周りで安定していることを考慮した選択を行なう。幾つかの実施形態では、「安定」という単語は、直径の偏差が閾値直径（例えば、血管の最大直径の１０～２０％）未満であることを意味する。「安定」という単語はまた、位置の変化のずれが閾値未満であることを意味し得る。器具（例えば、カテーテル）が血管の長手方向に沿って挿入されるので、そのようなずれは、器具と血管との間の摩擦による静脈炎を防止するために好ましくは小さい。換言すれば、血管が狭窄される挿入のための良好な位置ではなく、その結果、直径は局所的に大きいが、位置は大きく変化している。
【0084】
最良の画像を決定した後、最良の画像に関する情報を、現在ライブＢモード画像を表示しているモニタに重ね合わせることができる。幾つかの実施形態では、情報は、以下のうちの１つ以上を含む。
１）検出された最良の画像の血管に関する情報（例えば、血管の位置及び／又は血管のサイズ）。このような情報を表示する例は、過去の最良画像における血管の直径を示す破線の円である。別の例は、過去の最良画像における血管の位置を指し示す矢印を表示することである。更に別の例は、検出された現在の画像の血管が最良の画像の血管と同じである場合、同じ血管を強調するための色は同じである（例えば、破線の緑色の円を最良の画像の血管として表示することができ、実線の緑色の円を現在の画像の同じ血管として表示することができる）。前述のように、一例では、円の色は、少なくとも血管直径及び／又はカテーテルサイズに対応する標準色に基づいて選択することができる。これに加えて又は代えて、同じ色の代わりに、血管の識別情報を使用することができる；
２）時刻情報（例えば、最良の画像が得られた時間、現在からの相対時間など）；
３）案内情報（例えば、プローブの位置を使用することによって）。最良の画像がスキャンされた位置に関する位置情報がメモリに記憶されるので、最良の画像がスキャンされた位置と現在位置（例えば、プローブの位置への移動を促進するためにモニタ上に方向を示すこと、又は相対距離を表示すること）とを比較することによってガイド情報が決定される。幾つかの実施形態では、ガイド情報がスキーマ（人体全体又は身体の一部のイラスト）上に示される。例えば、アームがスクリーンに表示されている場合、プローブ移動方向標識（例えば、矢印）をアーム図に重ねることができる。
１）検出された最良の画像の血管に関する情報（例えば、血管の位置及び／又は血管のサイズ）。このような情報を表示する例は、過去の最良画像における血管の直径を示す破線の円である。別の例は、過去の最良画像における血管の位置を指し示す矢印を表示することである。更に別の例は、検出された現在の画像の血管が最良の画像の血管と同じである場合、同じ血管を強調するための色は同じである（例えば、破線の緑色の円を最良の画像の血管として表示することができ、実線の緑色の円を現在の画像の同じ血管として表示することができる）。前述のように、一例では、円の色は、少なくとも血管直径及び／又はカテーテルサイズに対応する標準色に基づいて選択することができる。これに加えて又は代えて、同じ色の代わりに、血管の識別情報を使用することができる；
２）時刻情報（例えば、最良の画像が得られた時間、現在からの相対時間など）；
３）案内情報（例えば、プローブの位置を使用することによって）。最良の画像がスキャンされた位置に関する位置情報がメモリに記憶されるので、最良の画像がスキャンされた位置と現在位置（例えば、プローブの位置への移動を促進するためにモニタ上に方向を示すこと、又は相対距離を表示すること）とを比較することによってガイド情報が決定される。幾つかの実施形態では、ガイド情報がスキーマ（人体全体又は身体の一部のイラスト）上に示される。例えば、アームがスクリーンに表示されている場合、プローブ移動方向標識（例えば、矢印）をアーム図に重ねることができる。
【0085】
図１８Ａ及び図１８Ｂは、ガイド情報の一例を最良位置に関する情報と共に示す。図１８Ａ及び図１８Ｂを参照すると、実線の楕円は現在の画像で検出された静脈を表わし、破線の楕円は過去の最良の画像で検出された（同じ）静脈を表わす。矢印１８０１及び１８０２は、案内情報を表わす。
【0086】
図１８Ａでは、矢印１８０１が破線の楕円の中に入り、矢印の先端部分が狭くなっている。この矢印構成は、プローブがモニタに対して背面側に移動すべきであることを示している。図１８Ｂでは、矢印１８０２が破線の楕円から出ており、矢印の先端部分が広くなっている。この矢印携帯は、プローブがモニタに対して前方に移動すべきであることを示している。
【0087】
幾つかの実施形態では、ガイド情報は、最良の画像の検出された血管に関する情報と共に表示される。例えば、超音波機械は、検出された血管の直径及び／又は血管の静脈又は動脈としての分類の表示と共にガイド情報を注釈として表示することができる。別の例として、超音波機械は、少なくとも血管直径及び／又はカテーテルサイズに対応する標準色に基づいて選択することができる色の破線円と共にガイド情報を表示することができる。
【0088】
上記の情報を表示することに加えて又は代えて、超音波機械は、超音波機械の操作者に可聴情報及び／又は触覚情報を提供することができる。例えば、幾つかの実施形態では、可聴情報として、周波数及び／又は音量は、最良の画像の位置と現在位置との間の相対距離に従って変更される。したがって、操作者がプローブを最良の画像の位置に近づけたり遠ざけたりしているとき、可聴情報は、近づいていることをユーザに警告するための１つ以上の方法（例えば、より大きくなる）、又は遠ざかっていることをユーザに警告するための１つ以上の他の方法（例えば、より静かになる）で変化する。一例では、触覚情報として、プローブの本体部（例えば、スマートフォン又はタブレット）による振動のパワー及び／又は振動のパターンを変化させて、最良の画像の位置にプローブが近接していることを示す。
【0089】
ガイド情報がモニタに表示されている場合には、プローブの移動を追跡することで、ガイド情報に従ってプローブが移動したか否かを決定することができる。例えば、可聴情報が操作者に提供される場合、超音波機械は、プローブの動きを追跡して、プローブが可聴情報に従って移動したか否かを決定することができる。別の例として、操作者がガイド情報及び／又は可聴情報に対してプローブを誤った方向に移動させると、超音波システムは、停止標識アイコン、注意アイコン、逆方向アイコンなどを表示すること、及び／又は「停止」、「誤った方向」などの言葉、又は不快なビープ音を伴うトーンなど、操作者に不快ではない音声信号を再生することなどによって、誤った方向の標識を提供することができる。これに加えて又は代えて、操作者がガイド情報及び／又は可聴情報に対して正しい方向にプローブを移動させると、超音波システムは、進行アイコン、緑色のライトが点灯した信号機アイコンなどを表示すること、及び／又は「進む」、「正しい方向」などの言葉、拍手、万歳、又は心地よいハーモニを伴う一連のトーンなど、操作者にとって満足のいく音声信号を再生することなどによって、正しい方向の標識を提供することができる。
【0090】
典型的なフロー図
幾つかの実施形態では、超音波システムは、血管を識別し、器具の挿入を案内する。幾つかの実施形態では、超音波システムは、超音波エコー信号に基づいて１つ以上の超音波画像を生成する画像モジュールと、血管識別を実行し、及び／又は器具挿入のための案内情報を生成及び表示するように共に動作するニューラルネットワークモジュール及びプロセッサと、血管の位置を示すマップ画像を生成するマップモジュールとを含む。これらのモジュールは、ソフトウェア（例えば、処理システムで実行可能なソフトウェア命令として、）、ハードウェア、又はそれらの組み合わせにおける任意のタイプのモジュール又はコンポーネントとして、スタンドアロンアプリケーションとして、又は別のデバイスアプリケーションのモジュール又はコンポーネントとして、及び任意のタイプのコンピューティングデバイスにおいて実装することができる。前述のように、器具は、カテーテル、針、又は別の医療器具であり得る。
幾つかの実施形態では、超音波システムは、血管を識別し、器具の挿入を案内する。幾つかの実施形態では、超音波システムは、超音波エコー信号に基づいて１つ以上の超音波画像を生成する画像モジュールと、血管識別を実行し、及び／又は器具挿入のための案内情報を生成及び表示するように共に動作するニューラルネットワークモジュール及びプロセッサと、血管の位置を示すマップ画像を生成するマップモジュールとを含む。これらのモジュールは、ソフトウェア（例えば、処理システムで実行可能なソフトウェア命令として、）、ハードウェア、又はそれらの組み合わせにおける任意のタイプのモジュール又はコンポーネントとして、スタンドアロンアプリケーションとして、又は別のデバイスアプリケーションのモジュール又はコンポーネントとして、及び任意のタイプのコンピューティングデバイスにおいて実装することができる。前述のように、器具は、カテーテル、針、又は別の医療器具であり得る。
【0091】
幾つかの実施形態では、前述したように、ニューラルネットワークモジュールは、１つ以上の超音波画像内の血管を識別し、各血管に静脈又は動脈としての分類を割り当てる。一実施形態では、ニューラルネットワークモジュールは、１つ以上の人工知能（ＡＩ）アルゴリズム（例えば、ニューラルネットワーク）を実装して、画像内の血管を識別し、それらを静脈又は動脈として分類する。
【0092】
幾つかの実施形態では、ニューラルネットワークモジュールは、超音波画像内の血管を識別するために超音波システムのマップモジュールと共に動作する。マップモジュールは、超音波システムのプロセッサによって実行され、ニューラルネットワークモジュールによって識別された画像内の血管の位置を示すマップ画像を生成することができる。すなわち、ニューラルネットワークモジュールは、画像内の血管を識別し、次いで、マップモジュールは、それらの位置を示すマップ画像を生成する。
【0093】
幾つかの実施形態では、ニューラルネットワークモジュールは、特徴空間内の画像の内容を表わす画像から特徴マップを生成するように構成される。次いで、ニューラルネットワークモジュールは、特徴マップとマップモジュールからのマップ画像とを連結して、画像内の血管を識別することができる。マップ画像は、ニューラルネットワークモジュールが血管を識別した一連の超音波画像内の以前の画像に対応することができる。例えば、ニューラルネットワークモジュールは、１つの超音波画像からのマップ画像を使用して、別の超音波画像内の血管を識別することができる。
【0094】
幾つかの実施形態では、マップモジュールは、血管の輪郭を含むことができる境界容器を使用して血管の位置を示すためにマップ画像を生成するように構成される。例えば、マップ画像は、血管の位置を指定する境界容器のみを含み、超音波画像データを含まないことができる。これに加えて又は代えて、マップモジュールは、第１の色又は画素値（例えば、白色）を有する血管の位置、及び別の色又は第２の画素値（例えば、黒色）を有する血管に対応しないマップ画像内の更なる位置を示すマスクとしてマップ画像を生成するように構成することができる。
【0095】
幾つかの実施形態では、ニューラルネットワークモジュールは経時的に適合する。例えば、ニューラルネットワークモジュールによって実行されるＡＩアルゴリズムは、１つ以上のニューラルネットワーク係数を変更することなどによって修正することができる。これらの係数は、関数（例えば、損失関数、Ｌ２ノルムなど）に基づいて調整することができ、係数調整は、１つ以上の画像（例えば、同じ映像内の画像、同じ検査、同じ手順など）内の血管の位置を識別及び／又は決定した結果に基づくことができる。
【0096】
【0097】
図１９Ａは、血管を識別するためのプロセスの別の実施形態のフロー図である。このプロセスは、図１Ａ及び図１Ｂに関連して説明した技術に関連し得る。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、ニューラルネットワーク及び／又は超音波機械のプロセッサによって実行される。
【0098】
図１９Ａを参照すると、プロセスは、処理ロジックが超音波画像内の血管の境界容器を決定することによって開始する（処理ブロック１９０１）。図１Ａのボックス１０１及び１０２は、処理ブロック１９０１内の処理ロジックによって決定された境界容器の例である。一実施形態では、処理ロジックは、ニューラルネットワークモジュールのニューラルネットワークを使用して超音波画像内の血管の境界容器を決定する。一実施形態では、ニューラルネットワークは、コンピューティングデバイスの少なくとも部分的なハードウェアに実装される。しかしながら、ニューラルネットワークは、少なくとも部分的にソフトウェア、ハードウェア、及び／又はファームウェアで実装することができる。
【0099】
超音波画像内の血管の境界容器を決定した後、処理ロジックは、境界容器に基づいて血管が圧迫された量を決定する（処理ブロック１９０２）。一実施形態では、処理ロジックは、境界容器の第１の長さ（例えば、境界容器を横切る水平長さ）、境界容器の第２の長さ（例えば、境界容器を横切る垂直長さ）、及び第２の長さに対する第１の長さの比を決定することによって血管の圧迫量を決定する。一例として、処理ロジックは、血管を表わす楕円（例えば、境界容器）の長軸と短軸との比として血管の圧迫量を決定することができる。
【0100】
境界容器に基づいて血管が圧迫された量を決定した後、処理ロジックは、静脈分類又は動脈分類を割り当てて、超音波画像内の各血管を分類する（処理ブロック１９０３）。一実施形態では、処理ロジックは、ニューラルネットワークを使用して静脈又は動脈分類を割り当てる。一実施形態では、処理ロジックは、血管が圧迫された量を決定し、１つの超音波画像内の血管の静脈／動脈分類を割り当てる。決定及び割り当ては、１つ以上の更なる超音波画像（例えば、１つの超音波画像内の超音波画像の同じシーケンス又はビデオ内の画像）における血管の圧迫量及び割り当てられた静脈／動脈分類に基づくことができる。
【0101】
静脈／動脈分類を割り当てた後、処理ロジックは、血管の圧迫量及びそれらの静脈／動脈分類に基づいて血管のラベルを決定する（処理ブロック１９０４）。一実施形態では、ラベルは、各血管について、それらが静脈又は動脈として分類されるかどうかを示す。一実施形態では、処理ロジックは、圧迫量を圧迫閾値と比較することによって血管のラベルを決定する。圧迫量が圧迫閾値以上である場合、処理ロジックは血管に静脈分類を割り当てることができる。そうではなく、血管の圧迫量が圧迫閾値未満である場合、処理ロジックは、血管に動脈分類を割り当てることができる。
【0102】
圧迫量及び静脈又は動脈としての血管の分類に基づいて血管のラベルを決定した後、処理ロジックは、少なくとも１つの超音波画像に血管のラベルを表示する（処理ブロック１９０５）。処理ロジックは、境界容器を静脈／動脈分類に基づく色で色分けすることなどによって、ラベルを別の指示子の一部として表示することができる。これに加えて又は代えて、処理ロジックは、動脈の「Ａ」及び静脈の「Ｖ」など、境界容器とは別個のラベルを表示することができる。
【0103】
幾つかの実施形態では、超音波機械は、テンプレートマッチング、重心追跡、又は他の対象物追跡方法を使用して、超音波画像のビデオシーケンス全体で行なわれる検出（例えば、血管検出）を監視する。幾つかの実施形態では、走査中に行なわれる漸進的な動きに起因して、連続するフレームが超音波ビデオ内で高度に相関する必要があることを考えると、超音波機械は、フレームごとに検出を追跡することができる。一例では、そのような追跡技術は、ブロック１９０１とブロック１９０２との間で実行することができ、又は処理ロジックによってブロック１９０１もしくは１９０２に組み込むことができる。多くのフレームにわたって検出を追跡することにより、数フレームの範囲にわたって検出の誤分類を回避することができる。例えば、超音波機械が血管の検出が１０フレームの間静脈であったと決定し、その後血管が突然動脈として分類された場合、動脈分類は誤分類である可能性があり、静脈としての分類を優先して覆すべきである。この方法を数フレームにわたって適用することにより、連続ベッセルのクラス間のちらつきが防止される。
【0104】
幾つかの実施形態では、ニューラルネットワークが血管に静脈又は動脈として分類を割り当てた後、ニューラルネットワークは、以前に静脈として分類された血管を動脈として分類する（又はその逆にする）別の決定を行なうことができ、これは誤分類である。この状況に対処するために、超音波システムは、ディスプレイ内の超音波画像内に静脈／動脈分類を表示する目的で誤分類を補正することができる。
【0105】
図１９Ｂは、血管の誤分類が発生する血管を識別するためのプロセスの一実施形態のフロー図である。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、ニューラルネットワーク及び／又は超音波機械のプロセッサによって実行される。
【0106】
図１９Ｂを参照すると、幾つかの実施形態では、プロセスは、処理ロジックが境界容器を決定し（処理ブロック１９０８）と、同じ血液を識別するために追跡を実行し（処理ブロック１９０８）と、圧迫量を決定する（処理ブロック１９０８）ことで始まる。これらの動作は全ての実施形態で実行されるわけではなく、したがって図１９Ｂの残りの動作の前に実行されなくてもよいことに留意されたい。
【0107】
その後、処理ロジックは、静脈としての分類又は動脈としての分類を１つ以上の血管に割り当てる（処理ブロック１９１１）。一実施形態では、超音波画像内の１つの血管に静脈又は動脈の分類を割り当てることは、少なくとも１つの更なる超音波画像内の静脈又は動脈として分類を割り当てることに基づく。幾つかの実施形態では、血管に１つの超音波画像内の静脈又は動脈としての分類を割り当てることは、超音波画像自体及び少なくとも１セットの更なる超音波画像に基づく。幾つかの実施形態では、これらの更なる超音波画像がグレースケール画像であり、１つの超音波画像内の１つの血管に静脈／動脈分類を割り当てることは、ニューラルネットワークによって別々のカラーチャネルでグレースケール画像を受信することと、ニューラルネットワークにそれらの画像を使用させて静脈／動脈分類を行なうこととを含む。
【0108】
静脈／動脈分類を割り当てた後、処理ロジックは、１つ以上の血管のうちの１つの血管に関する誤分類を決定する（処理ブロック１９１２）。幾つかの実施形態では、誤分類は、ニューラルネットワークが、静脈分類及び動脈分類の一方を超音波画像の１つの超音波画像内の１つの血管に割り当てると共に、静脈分類及び動脈分類の他方を超音波画像の更なる超音波画像内の１つの血管に割り当てることを表わす。一実施形態では、誤分類は、ニューラルネットワークが、１つの超音波画像内の静脈又は動脈として血管分類を割り当てており、分類が１つ以上の更なる画像で発生した分類に基づいて反対であるべきであったことを表わす。一実施形態では、誤分類が発生したという決定は、処理ロジックが複数の超音波画像で血管を検出し、その後、後続の超音波画像（例えば、ビデオシーケンス内の複数の超音波画像に続く超音波画像）で血管を検出できなかった結果であり得る。後続の画像で血管を検出できないことは、以前の画像のように分類するために達成する必要がある閾値を下回る血管の分類に関連する尤度値に基づいて決定することができる。幾つかの実施形態では、処理ロジックは、ヒステリシス方法を使用することができ、それによって血管がある時点で非常に確信的に検出され、次いでその確率閾値が、もはや有効な検出と見なされないように到達しなければならない時点まで低下する。別の実施形態では、誤分類の決定は、動脈又は静脈の一方の尤度値が複数の画像で他方の尤度値よりも高く（及び任意選択で閾値よりも高く）、その後の超音波画像で突然低くなる（及び任意選択で閾値よりも低くなる）という条件に基づくことができる。１つの超音波画像及び更なる超音波画像は、超音波ビデオ内のフレームを表わすことができる。一例では、１つの超音波画像は、超音波ビデオ内の前のフレームを表わす更なる超音波画像よりも、超音波ビデオ内の後のフレームを表わす。一実施形態では、更なる超音波画像によって表わされる前のフレームは、超音波ビデオ内の連続フレームである。
【0109】
幾つかの実施形態では、プロセスは、血管決定が行なわれるべき時間間隔を示すユーザ選択を受信することを含む。そのような場合、ニューラルネットワークは、時間間隔に対応するか又は時間間隔によってカバーされるフレームの数に基づいて誤分類を決定する際に、超音波ビデオ内のフレームを表わす１つの超音波画像及び更なる超音波画像を使用することができる。
【0110】
血管の誤分類を決定した後、処理ロジックは、１つの超音波画像内に、１つの血管における静脈分類及び動脈分類の他方の表示を示す（処理ブロック１９１３）。言い換えれば、処理ロジックは、誤分類された血管の正しい分類を表示画像内の静脈又は動脈として表示する。一例では、処理ロジックは、分類の網掛け、ハッシュ、点線などの標識を用いて、分類が誤分類された血管に対して補正されたことを示すように、誤分類された血管に対する正しい分類を指定する。一例では、補正された分類のそのような表示は、信頼できる分類のものとは異なるものであり得る。
【0111】
これに加えて又は代えて、従来の追跡は、追跡が連続フレーム内の同じ血管を識別することができるので、検出漏れがあったフレームを補償するのに役立つことができる。例えば、血管がスクリーンの中心にあり、１０フレームにわたって圧迫されていないように見え、次のフレームではそれがもはや検出されない場合、テンプレートマッチング、他の検出された血管からの情報、又は従来の追跡を使用してその位置を推定し、検出器が血管の検出を再び開始する時間を与えるように、数フレームにわたって検出を持続することが可能である。持続すべきでない血管の持続を防止するために、圧迫されたアスペクト比を有するフレーム又はエッジに非常に近いフレームを持続させないなどの特定の規則を実装することができる。別の例として、追跡は、同じ血管の尤度値を検索するのに役立ち得る。
【0112】
静脈及び動脈の性質を考慮すると、より圧迫する血管は静脈である可能性が高いと予想することができる。したがって、プロセッサが血管の検出に基づいてビデオの持続時間にわたって血管を追跡することができる場合、プロセッサは、以前に圧迫された血管が引き続き静脈として分類されるようにすることができ、血管の性質に関する以前のフレームからの情報の要素を後続のフレームにおける検出に追加する。
【0113】
図１９Ｃは、血管を識別するためのプロセスの別の実施形態のフロー図である。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセス又はその一部は、ニューラルネットワーク及び／又は超音波機械のプロセッサによって実行される。
【0114】
図１９Ｃを参照すると、プロセスは、処理ロジックが超音波エコー信号に基づいて１つ以上の超音波画像を生成することによって開始する（処理ブロック１９２１）。一実施形態では、超音波エコー信号に基づいて超音波画像を生成することは、画像モジュールによって実行される。
【0115】
処理ロジックは、１つ以上の超音波画像内の血管を識別し（処理ブロック１９２２）、血管の各血管に静脈分類又は動脈分類の一方を割り当てる（処理ブロック１９２３）。幾つかの実施形態では、これらの動作は、ニューラルネットワークモジュールを用いて実行される。
【0116】
幾つかの実施形態では、処理ロジックは、各血管について、静脈分類又は動脈分類の信頼レベルを決定する（処理ブロック１９２４）。幾つかの実施形態では、静脈分類又は動脈分類の信頼レベルの決定は、プロセッサを用いて実行される。これに加えて又は代えて、ニューラルネットワークは、正しい分類の確率を生成し、正しい分類の確率に基づいて信頼レベルを決定することなどによって、分類の信頼レベルを決定することができる。
【0117】
処理ロジックは、少なくとも１つの血管について決定された信頼レベルに基づく不透明度で血管の少なくとも１つの血管の輪郭の表示を１つ以上の超音波画像内に引き起こす（処理ブロック１９２５）。幾つかの実施形態では、信頼レベルに基づく不透明度で血管の少なくとも１つの血管の輪郭の表示を１つ以上の超音波画像内に引き起こすことは、プロセッサによって実行される。
【0118】
幾つかの実施形態では、プロセスは、処理ロジックが血管の直径及び深度を決定すること（処理ブロック１９２６）と、血管のうちの１つの血管について、血管の直径に基づいて血管に挿入されるべきカテーテルの閾値挿入長さを決定すること（処理ブロック１９２７）とを含む。閾値挿入長さは、血管内のカテーテルの量を示す。幾つかの実施形態では、血管の直径及び深度を決定することは、ニューラルネットワークモジュールを用いて実行され、一方、プロセッサは、カテーテルの閾値挿入長さを決定する。
【0119】
また、このプロセスは、閾値挿入長さ及び血管の深度に基づいてカテーテルの長さを決定する（処理ブロック１９２８）と共に、血管に挿入されるべきカテーテルの長さを示す表示を１つ以上の超音波画像引き起こす（処理ブロック１９２９）処理ロジックも含む。幾つかの実施形態では、これらの動作はプロセッサで実行される。
【0120】
また、このプロセスは、カテーテルの挿入角度を決定する（処理ブロック１９３０）と共に、挿入角度に基づいてカテーテルの長さを決定する（処理ブロック１９３１）処理ロジックも含む。例えば、プロセッサは、閾値挿入長さと血管の深度との合計を決定し、この合計に、挿入角度のコサインの逆数を乗算することなどによって、挿入角度を説明する係数を重み付けすることができる。次いで、プロセッサは、カテーテルの長さを、少なくとも重み付け結果と同じ長さになるように決定することができる。
【0121】
また、このプロセスは、血管の深度及びカテーテルの挿入角度に基づいてカテーテルの針の挿入点を決定すること（処理ブロック１９３２）、及びトランスデューサ（任意）からの距離として挿入点を示すこと（処理ブロック１９３３）とも含む。一実施形態では、これらの動作はプロセッサで実行される。幾つかの実施形態では、プロセッサは、血管の直径又は深度以外の情報を使用してカテーテルの挿入角度を決定する。例えば、プロセッサは、デフォルトレジスタに設定された４５度などのデフォルト設定から挿入角度を読み取ることができる。幾つかの実施形態では、プロセスは、トランスデューサの面からの距離を決定することを更に含む。
【0122】
図１９Ｄは、血管を識別するためのプロセスの更に別の実施形態のフロー図である。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセス又はその一部は、ニューラルネットワーク及び／又は超音波機械のプロセッサによって実行される。
【0123】
図１９Ｄを参照すると、プロセスは、処理ロジックが超音波エコー信号に基づいて超音波画像を生成することによって開始する（処理ブロック１９４１）。幾つかの実施形態では、超音波エコー信号に基づいて超音波画像を生成することは、画像モジュールによって実行される。
【0124】
超音波画像を生成した後、処理ロジックは、超音波画像の第１の画像内の血管を識別する（処理ブロック１９４２）。幾つかの実施形態では、超音波画像の第１の画像内の血管を識別することは、ニューラルネットワークモジュールを用いて実行される。
【0125】
処理ロジックはまた、ニューラルネットワークモジュールによって識別された第１の画像内の血管の位置を示すマップ画像を生成する（処理ブロック１９４３）。幾つかの実施形態では、マップ画像の生成は、マップモジュールを用いて実行される。マップモジュールは、境界容器を有する第１の画像内の血管の位置を示すためにマップ画像を生成するように構成することができる。境界容器は、血管の輪郭を含むことができる。幾つかの実施形態では、マップモジュールは、第１の画素値を有する血管の位置と、第２の画素値を有する血管に対応しないマップ画像内の更なる位置とを示すマスクとしてマップ画像を生成するように構成される。
【0126】
その後、処理ロジックは、マップ画像及び第２の画像に基づいて超音波画像の第２の画像内の血管を識別する（処理ブロック１９４４）。幾つかの実施形態では、マップ画像及び第２の画像に基づいて超音波画像の第２の画像内の血管を識別することは、ニューラルネットワークモジュールで実行される。幾つかの実施形態では、ニューラルネットワークモジュールは、第１の画像内の血管の位置及び第２の画像内の血管の更なる位置の損失関数に基づいて、少なくとも１つのニューラルネットワーク係数を調整するように構成される。
【0127】
幾つかの実施形態では、プロセスは、特徴空間内の第２の画像の内容を表わす特徴マップを第２の画像から生成することと、特徴マップとマップ画像とを連結することと、連結の結果に基づいて第２の画像内の血管を識別することとを更に含む。幾つかの実施形態では、これらの動作は、ニューラルネットワークモジュールによって実行される。
【0128】
幾つかの実施形態では、ニューラルネットワークモジュールのニューラルネットワークは、医療処置で使用するための血管及びそれらの位置を識別する。ニューラルネットワークは、血管の深度及びサイズ（例えば、直径、半径、面積など）、医療処置で使用するための適切又は適切な器具、並びに医療処置中にユーザを支援するための案内情報の決定などの他の決定と併せて血管の識別を実行する。
【0129】
図２０Ａは、医療処置などの使用のための血管を識別するためのプロセスの更に別の実施形態のフロー図である。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、ニューラルネットワーク及び／又は超音波機械のプロセッサによって実行される。
【0130】
図２０Ａを参照すると、プロセスは、処理ロジックが血管を含む超音波画像を受信することから始まる（処理ブロック２００１）。超音波画像を受信した後、処理ロジックは、超音波画像内の血管の位置及び深度を決定する（処理ブロック２００２）。一実施形態では、超音波システムは、ニューラルネットワークを使用して超音波画像内の血管の位置及び深度を決定する。ニューラルネットワークは、少なくとも部分的にハードウェアで実施することができる。これに加えて又は代えて、ニューラルネットワークは、少なくとも部分的にソフトウェア及び／又はファームウェアに実装することができる。一実施形態では、血管の位置及び深度を決定することは、更なる超音波画像に基づく。例えば、これらの更なる超音波画像内の超音波画像は、超音波ビデオのフレームを表わすことができる。幾つかの実施形態では、血管の位置及び深度を決定することは、更なる超音波画像に基づいており、更なる超音波画像の少なくとも１つは、ニューラルネットワークによって決定された血管の１つの以前に決定された位置及び深度を示す。
【0131】
超音波画像内の血管の位置及び深度に基づいて、処理ロジックは、血管のうちの１つが、決定された血管の他の血管よりも超音波画像内に中心付けられると決定する（処理ブロック２００３）。幾つかの実施形態では、血管の１つが超音波画像内に中心付けられると決定することは、血管が超音波画像の左右両側の間の中心に位置すると決定することによって行なわれる。これに加えて又は代えて、超音波システムは、血管のうちの１つが、位置合わせ閾値に基づいて、超音波画像の中心線と位置合わせされていると決定することによって、画像内の他の血管よりも血管のうちの１つが中心にあると決定することができる。幾つかの実施形態では、超音波システムは、画像の左側と右側との間の中心線を上から下に描き、１つの血管がその線を横切るかどうかを決定する。血管がラインを横切るかどうかの決定は、超音波画像内の血管の位置を示すために使用される境界ボックスがラインを横切るかどうかに基づくことができ、これは境界容器（例えば、隣接するボックスのｘ、ｙ個の端点）の座標とラインの点との比較に基づいて超音波システムによって行なうことができる。更なる情報については、図１１Ａ～図１１Ｄ及び図１７、並びにそれらの添付の説明を参照されたい。
【0132】
これに加えて又は代えて、プロセスは、１つの血管が、超音波画像内の１つの血管と同じ水平位置に位置する他の血管によって遮られていないかどうかを決定することができる。一実施形態では、１つの血管が他方の血管によって遮られていないかどうかを決定することは、１つの血管が他方の血管の深度よりも浅い深度を有すると決定することによってプロセッサによって実行される。
【0133】
血管のうちの１つが他の血管よりも超音波画像内の中心にあると決定した後、処理ロジックは、超音波画像内の血管を示す（処理ブロック２００４）。幾つかの実施形態では、処理ロジックは、図１１Ａ～図１１Ｄ及び図１７を参照して説明したように、超音波画像内の血管の表示を提供することによって１つの血管を示す。
【0134】
図２０Ａのプロセスは、任意選択的に、ニューラルネットワークを用いて、超音波画像内の１つの血管の直径を決定する（処理ブロック２００５）ことと、決定された直径に基づいて器具サイズを決定する（処理ブロック２００６）ことと、超音波画像内の器具サイズに関する表示を提供する（処理ブロック２００７）こととを含む。幾つかの実施形態では、処理ロジックは、そのサイズの直径を有する血管に最も大きい適切な器具を決定することに基づいて器具サイズを決定する。例えば、処理ロジックは、閾値比サイズに対する血管の直径に対する器具サイズの比を比較した結果に基づいて、適切なサイズの器具を決定することができる。これらの比は、超音波機械のプロセッサによって決定することができる。したがって、プロセッサは、特定の血管のための適切なサイズの器具が、血管の直径の５０％以下など、血管の直径のパーセンテージにゲージで制限されると決定することができる。プロセスは、任意選択的に、器具サイズの決定が血管直径に基づくように、血管直径を計算するための処理ロジックを含むことができる。幾つかの実施形態では、この計算は、処理ブロック２００５と処理ブロック２００６との間で実行することができる。
【0135】
幾つかの実施形態では、器具サイズを示すことは、器具サイズに対応する色で血管の境界容器を表示することを含む。一実施形態では、境界容器は、血管の輪郭として、円、楕円、ハイライトなどを含む。幾つかの実施形態では、超音波システム内のプロセッサは、器具サイズに基づいて色を選択し、１つ以上の超音波画像内の色で１つ以上の血管を示す。例えば、プロセッサは、器具サイズに基づいて色を選択し、次いで、その色を有する血管を１つ以上の超音波画像に表示する。
【0136】
一例では、ニューラルネットワークは、超音波画像内の血管の深度を決定し、プロセッサシステムは、最も浅い深度を有する血管のうちの１つを決定する。次いで、プロセッサシステムは、ニューラルネットワークによって決定されるように、ユーザの介入なしに自動的に超音波画像内に１つの血管の深度及び直径を表示させることができる。
【0137】
幾つかの実施形態では、プロセスは、血管の少なくとも１つのユーザ選択を受信することも含む。例えば、ユーザは、血管を示すために血管の位置でタッチスクリーンディスプレイをタッチし、プルダウンタブの選択などを可能にすることができる。ユーザ選択に応答して、プロセッサは、その選択された血管の直径の１つ以上の超音波画像で表示を行なわせることができる。
【0138】
図２０Ｂは、超音波機械を用いて器具挿入を案内するためのプロセスの別の実施形態のフロー図である。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセス又はその一部は、超音波機械のニューラルネットワーク及び／又はプロセッサによって実行される。
【0139】
図２０Ｂを参照すると、プロセスは、処理ロジックが１つ以上の超音波画像を維持することによって開始する（処理ブロック２０１１）。これらの超音波画像を使用して、処理ロジックは、１つ以上の超音波画像内の血管を識別し、血管の直径を決定する（処理ブロック２０１２）。幾つかの実施形態では、超音波画像の第１の画像内の血管を識別することは、ニューラルネットワークモジュールを用いて実行される。
【0140】
次に、処理ロジックは、１つ以上の血管について、１つ以上の血管の直径に基づいて器具サイズを決定し（処理ブロック２０１３）、器具サイズに基づいて色を選択する（処理ブロック２０１４）。幾つかの実施形態では、これらの動作はプロセッサシステムによって実行される。
【0141】
プロセスはまた、任意選択的に、１つ以上の超音波画像内で、１つ以上の血管を色で示す処理ロジックを含む（処理ブロック２０１５）。プロセスはまた、血管の少なくとも１つのユーザ選択を受信すること（処理ブロック２０１６）と、血管のうちの少なくとも１つの直径又は血管のうちの少なくとも１つの深度の表示を１つ以上の超音波画像において引き起こすこと（処理ブロック２０１７）とを含むことができる。幾つかの実施形態では、これらの動作はプロセッサシステムによって実行される。一実施形態では、図２０Ｂの直径の代わりに血管直径に関連するパラメータを使用することができる。そのような場合、例えば、処理ロジックは、ブロック２０１２内の血管直径を決定することができ、ブロック２０１３内の血管のうちの１つ以上の血管の血管直径に基づいて、血管のうちの１つ以上について器具サイズを決定することができる。
【0142】
このプロセスはまた、任意選択的に、処理ロジックが、１つ以上の超音波画像内の血管の深度を決定する（処理ブロック２０１８）ことと、血管のうちの１つを最も浅い深度を有するものとして決定する（処理ブロック２０１９）ことと、ユーザの介入を伴うことなく、自動的に、血管のうちの１つの深度及び直径の表示を１つ以上の超音波画像において引き起こす（処理ブロック２０２０）こととを含む。幾つかの実施形態では、１つ以上の超音波画像内の血管の深度を決定することはニューラルネットワークによって実行され、他の動作はプロセッサシステムによって実行される。
【0143】
図２１は、器具挿入を案内するためのプロセスの一実施形態のフロー図である。このプロセスは、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で実行されるものなど）、ファームウェア（例えば、読み取り専用メモリにプログラムされたソフトウェア）、又はそれらの組み合わせを含むことができる処理ロジックによって実行することができる。幾つかの実施形態では、プロセスは、ニューラルネットワーク及び／又は超音波機械のプロセッサによって実行される。
【0144】
図２１を参照すると、プロセスは、処理ロジックが１つ以上の血管を含む超音波画像を受信することによって開始する（処理ブロック２１０１）。幾つかの実施形態では、処理ロジックはまた、超音波画像内の血管の位置を決定し、血管を静脈又は動脈として分類する。一例では、ニューラルネットワークがこれらの位置を決定し、分類を実行する。幾つかの実施形態では、ニューラルネットワークはまた、割り当てられた静脈／動脈分類に関連する信頼レベルを決定する。超音波機械は、血管に対して決定された静脈／動脈分類に関連する信頼レベルに基づく不透明度で各血管（例えば、境界容器）の輪郭を表示することができる。一実施形態では、処理ロジックは、超音波画像の縁部までの少なくとも１つの血管の距離を決定し、次いで、その距離に基づく不透明度で輪郭を表示することによって、少なくとも１つの血管の輪郭を表示する。
【0145】
超音波画像の受信に応答して、処理ロジックは、超音波画像内の血管のうちの１つ（又は複数）の直径を決定する（処理ブロック２１０２）。本明細書で開示される技術は、血管の直径として血管のサイズを決定することに限定されない。例えば、幾つかの実施形態では、処理ロジックは、半径、面積、円周、比などのそれらの組み合わせなどの他のサイズ測定値を決定して使用する。他の実施形態では、処理ロジックは、前述の血管直径を血管の直径として決定する。一実施形態では、ニューラルネットワークは、超音波画像と、同じ血管を含む１つ以上の更なる超音波画像とに基づいて血管のサイズ測定値を決定する。更なる画像は、同じ超音波ビデオの一部又は同じ超音波検査／手順の一部であってもよい。血管のサイズを決定するために使用されるこれらの画像は、連続画像又は非連続画像であってもよい。超音波システムは、処理中の超音波画像を生成するために使用される撮像パラメータの値とは異なる値に設定された撮像パラメータに基づいて更なる超音波画像を生成することができる。例えば、超音波システムは、処理されている超音波画像を生成するために使用される超音波信号を生成するために使用される追加のビーム形成角度とは異なるビーム形成角度に基づいて、１つ以上の更なる超音波画像を生成することができる。超音波システムは、例えば、１つ以上の境界容器を使用して、１つ以上の血管に対応する位置を示す情報を有するこれらの更なる画像を生成することができる。
【0146】
超音波画像内の血管の直径を決定した後、処理ロジックは、器具サイズのユーザ選択を受信する（処理ブロック２１０３）。器具サイズは、血管に挿入されることになる器具、例えば、カテーテル、針などに対応する。
【0147】
器具サイズのユーザ選択を受信した後、処理ロジックは、超音波画像内で、器具サイズ及び１つ以上の血管の直径に基づいて、１つ以上の血管の少なくとも１つの血管を示す（処理ブロック２１０４）。幾つかの実施形態では、処理ロジックは、１つ以上の血管のそれぞれに対する適切な器具サイズを示す超音波画像内の少なくとも１つの血管を有する表示を提供することによって１つの血管を示す（例えば、その直径の血管、その半径の血管、その領域の血管について）。処理ロジックは、超音波機械の操作者によって実行される医療処置に使用される器具に基づいて適切な器具サイズを決定することができる。幾つかの実施形態では、処理ロジックは、超音波画像内に識別された血管の輪郭を表示することによって血管の表示を提供する。処理ロジックは、器具サイズに関連する特定の色で輪郭を表示することによって、血管の少なくとも１つの輪郭を表示することができる。幾つかの実施形態では、処理ロジックは、比と閾値比サイズとの比較の結果に基づいて、使用する少なくとも１つの血管及び適切なサイズの器具に関する表示を提供することができ、比は、器具サイズと血管の直径との比に対応する。そのような場合、処理ロジックは、血管の直径に対する器具サイズの比を決定し、それらの比を閾値比サイズと比較することができる。なお、直径以外の測定値（例えば、半径、面積など）を用いて比較してもよい。
【0148】
上記の説明は単一の画像フレーム推論を行なうことに焦点を当てているが、幾つかの実施形態では、ニューラルネットワークは複数のフレームに基づいて推論を行なうように構成される。そのようなマルチフレーム推論は、ニューラルネットワークモデルの全体的なフレーム間モデルの一貫性を改善し、圧迫によって静脈を監視するのを助けるために使用することができる。幾つかの実施形態では、マルチフレーム推論は、前のフレームからの推論を追加の入力（例えば、条件入力）としてモデルに供給して、血管が見つかる可能性のあるモデル及び血管のサイズのヒントを提供することによって実行される。追加の入力の一例は、前述したように、マップモジュールによって生成されたマップ画像を含む。前の画像フレームのマップ画像モジュールによって生成されたマップ画像は、現在又は後続の画像フレームの推論を生成するための条件付き入力としてニューラルネットワークに提供することができる。
【0149】
本明細書に記載の処置は、強調された超音波画像に血管を表示しない処置に対する改善を構成する。むしろ、本明細書に記載の処置は、有用な、場合によっては重要な情報を含む強調をもたらし、操作者がリアルタイムで超音波処置に情報を適用できるように、情報を超音波システムの操作者に表示する。したがって、本明細書に記載の処置は、介入器具が患者に挿入される回数を減らすか、又は最小限に抑えることを含む、患者の経験の有意な改善をもたらし、患者の痛み及び感染症のリスクをもたらし、並びに器具の望ましくない挿入、例えば静脈ではなく動脈への挿入を防ぐことができる。したがって、患者は、不必要な痛み及び不快感を知覚せず、強調された血管を表示しない従来の超音波処置と比較して、感染、大きすぎるカテーテルの挿入による血栓、血管外漏れ、及び血管壁の損傷の１つ以上のリスクが低減される。したがって、本明細書に記載の処置は、従来の超音波処置が適していない医療処置及び検査に適し得る。
【0150】
超音波機械の例
図２２は、超音波機械の一実施形態のブロック図である。本明細書に記載の血管識別及び強調表示技術を実行するために、固定式、可搬式、手持ち式、及びそれらの組み合わせを含む任意のタイプの超音波機械を使用することができることに留意されたい。ブロック図は、図２２のブロックを使用して構築することができる超音波機械の一例である。例えば、信号を再定義することができ、ブロック図の機能を変更することなく、ブロックを修正、結合、分割、追加、又は削除して修正されたシステムを形成することができる。したがって、そのような修正されたシステムは、本開示の範囲内であると考えられる。更に、図２２に示す超音波機械などの超音波機械のブロック、モジュール、及びユニットは、ソフトウェア（例えば、処理システムで実行可能なソフトウェア命令として）、ハードウェア、又はそれらの組み合わせにおける任意のタイプのモジュール又は構成要素として、スタンドアロンアプリケーションとして、又は別のデバイスアプリケーションのモジュール又は構成要素として、及び任意のタイプのコンピューティングデバイスにおいて実装することができる。
図２２は、超音波機械の一実施形態のブロック図である。本明細書に記載の血管識別及び強調表示技術を実行するために、固定式、可搬式、手持ち式、及びそれらの組み合わせを含む任意のタイプの超音波機械を使用することができることに留意されたい。ブロック図は、図２２のブロックを使用して構築することができる超音波機械の一例である。例えば、信号を再定義することができ、ブロック図の機能を変更することなく、ブロックを修正、結合、分割、追加、又は削除して修正されたシステムを形成することができる。したがって、そのような修正されたシステムは、本開示の範囲内であると考えられる。更に、図２２に示す超音波機械などの超音波機械のブロック、モジュール、及びユニットは、ソフトウェア（例えば、処理システムで実行可能なソフトウェア命令として）、ハードウェア、又はそれらの組み合わせにおける任意のタイプのモジュール又は構成要素として、スタンドアロンアプリケーションとして、又は別のデバイスアプリケーションのモジュール又は構成要素として、及び任意のタイプのコンピューティングデバイスにおいて実装することができる。
【0151】
図２２を参照すると、超音波機械は、超音波デバイス２２０２に結合された超音波トランスデューサプローブ２２０１を含む。超音波トランスデューサプローブ２２０１は、受信機２２０１Ｂ及び送信機２２０１Ｃに電気的に結合された超音波トランスデューサ２２０１Ａを含む。超音波トランスデューサ２２０１Ａは、１つ以上のトランスデューサ素子を有し、動作中、送信機２２０１Ｃからの送信信号に応答して１つ以上のトランスデューサ素子から被検体に向けて超音波エネルギーを送信し、受信機２２０１Ｂを使用して被検体から超音波エコーを受信する。受信機２２１０Ｂ及び送信機２２１０Ｃは、後述するように、任意のタイプの回路、又はプロセッサなどの任意のタイプの他の形態を含むことができる。受信機２２１０Ｂ及び送信機２２１０Ｃは、別々に形成されてもよく、又は単一の形態に統合されてもよい。受信機２２１０Ｂ及び送信機２２１０Ｃは、後述するプロセッサ２２０２Ｃなどの他の機能を有するプロセッサに組み込むことができる。超音波エコーは、受信機２２０１Ｂによって電気信号に変換され、電気信号を処理し、１つ以上の超音波画像を形成するように構成された超音波デバイス２２０２内の電子機器（例えば、アナログ／デジタル（Ａ／Ｄ）変換器２２０２Ａ、１つ以上のプロセッサ２２０２Ｃ、メモリモジュール２２０２Ｂ、ビームフォーマ、ＦＰＧＡなど）に電気的に結合される。
【0152】
一例では、超音波プローブ２２０１は、超音波エコーに基づく受信機２２０１Ｂによって生成された電気信号をデジタル化するように構成することができるＡ／Ｄ変換器（図２２には図示せず）を含む。更に、超音波プローブ２２０１はまた、位相補正された方法で電気信号を合計するように構成された部分的又は完全なビーム形成器（図２２には図示せず）を含むことができる。したがって、超音波プローブ２２０１は、有線又は無線通信リンクなどを介してデジタル信号を超音波デバイス２２０２に結合するように実装することができる。例えば、超音波プローブ２２０１及び超音波デバイス２２０２はそれぞれ、デジタル信号に基づいてデジタル変調された通信信号を使用して通信する送受信機（図２２には図示せず）を含むことができる。
【0153】
プロセッサ２２０２Ｃは、部分的又は全体的に、任意のタイプ又は任意の数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、集積回路（ＩＣ）、論理などを含むことができる。幾つかの実施形態では、プロセッサ２２０２Ｃは、ビーム形成器を含み、超音波画像を形成するための処理を含む。また、本明細書で説明される処理は、クラウド、取り付けられた又はネットワーク化された処理デバイス、ディスクリート又は外部ＧＰＵ、又はＵＳＢ接続デバイスなどのカスタム固有の接続されたハードウェアで少なくとも部分的に実行することができることに留意されたい。
【0154】
超音波プローブ２２０１を使用して被検体から超音波データを捕捉することは、一般に、超音波を生成することと、被検体内に超音波を送信することと、被検体によって反射された超音波を受信することとを含む。例えば、低周波超音波（例えば、１５ＭＨｚ未満）及び／又は高周波超音波（例えば、１５ＭＨｚ以上）を使用することができるなど、広範囲の周波数の超音波を使用して超音波データを捕捉することができる。当業者は、例えば、これらに限定されないが、撮像の深度及び／又は所望の解像度などの要因に基づいて、どの周波数範囲を使用するかを容易に決定することができる。
【0155】
幾つかの実施形態では、超音波デバイス２２０２は、電流を超音波プローブ２２０１に送信させて音波を放出させ、戻ってくるエコーから生成された電気パルスをプローブ２２０１から受信する１つ以上のプロセッサ２２０２Ｃを含む。Ａ／Ｄ変換器２２０２Ａは、受信機２２０１Ｂからアナログ信号を受信し、メモリ２２０２Ｂに記憶されたデジタルデータに変換する。メモリ２２０２Ｂはまた、血管（例えば、静脈、動脈、及び毛細血管）の検出に関連するソフトウェア及び他のデータ（例えば、テンプレート、強調のためのユーザプリファレンスなど）、並びに超音波画像及びそれに関連する他のデータと共に解析結果を記憶する。
【0156】
プロセッサ２２０２Ｃは、受信した電気パルスに関連する生データを処理し、表示デバイス２２０３に送信される画像を形成し、表示デバイスは画像をモニタ２２０３Ａに表示する。したがって、モニタ２２０３Ａは、超音波デバイス２２０２のプロセッサ２２０２Ｃによって処理された超音波データからの超音波画像を表示することができる。モニタ２２０３Ａはまた、本明細書で説明するように、血管検出結果、並びにプローブのガイド情報を表示することができる。一例では、モニタ２２０３Ａは臨床用表示デバイスを含む。これに加えて又は代えて、モニタ２２０３Ａは、タブレットなどの超音波機械に結合されたコンピューティングデバイスのディスプレイを含むことができる。
【0157】
幾つかの実施形態では、プロセッサ２２０２Ｃは、テンプレートマッチング、人工知能もしくは機械学習（例えば、適応ブースティング（ａｄａｂｏｏｓｔ）、ディープラーニング、サポートベクター機械（ＳＶＭ）、シーケンス内のフレーム情報を処理するためのＲＮＮ、ＧＲＵ、ＣｏｎｖＧＲＵ、ＬＳＴＭなどを含むシーケンスモデルなど）、及び／又は別の検出方法を使用して血管検出を実行する。幾つかの実施形態では、プロセッサ２２０２Ｃは、ＡＩアルゴリズムを実行し、及び／又はニューラルネットワークを使用して静脈及び動脈を識別し、それらを超音波画像内で位置決めする。
【0158】
幾つかの実施形態では、プロセッサ２２０２Ｃが血管を検出した後、プロセッサ２２０２Ｃは、血管を超音波システムのモニタ又はディスプレイに表示する。一例では、検出された血管は、操作者又は超音波機械のユーザに情報を提供するために、プロセッサ２２０２Ｃによって強調態様で表示される。幾つかの実施形態では、プロセッサ２２０２Ｃは、血管の周囲又は近傍に血管表示（例えば、識別子）の輪郭又は他の形態を描く。
【0159】
血管を強調した形で表示することにより、操作者が追加情報を利用できるようにすることができる。例えば、幾つかの実施形態では、静脈の輪郭は、その静脈内に適合することができる最大のカテーテルの色分けに一致するように変更される。色分けは、カテーテルの業界標準の色分けであってもよい。このようにして、操作者は、特定の血管と共に使用され得るカテーテルを迅速に知ることができる。このようにして、操作者は、表示されている血管に基づいてカテーテルサイズを選択する。或いは、最大のカテーテルに従って血管を色分けすることができることにより、操作者は、カテーテルサイズを選択し、超音波システムにそのカテーテルサイズに適した画像内の全ての血管（例えば、静脈）を識別させることができる。
【0160】
これに加えて又は代えて、プロセッサ２２０２Ｃは、特定のカテーテルサイズに適した画像内の全ての静脈を識別することができる。幾つかの実施形態では、操作者は、画像内の静脈にタッチすることができ、プロセッサ２２０２Ｃにその血管の直径及び深度を表示させることができる。幾つかの実施形態では、プロセッサ２２０２Ｃは、最も中心の最も浅い静脈を自動的に識別し、その静脈の直径及び深度を超音波機械のディスプレイ上に自動的に提供する。
【0161】
幾つかの実施形態では、プロセッサ２２０２Ｃは、検出結果に関連する信頼レベルの表示として、検出された各血管の尤度値を計算する。一例では、プロセッサ２２０２Ｃは、その血管の予測の信頼性を示すために、多かれ少なかれ不透明にされた静脈／動脈の輪郭を生成する。幾つかの実施形態では、プロセッサ２２０２Ｃは、輪郭（例えば、楕円形の輪郭）をｂモード画像とアルファブレンディングすることによって行なうことができるフェージングによって不透明度を調整する。幾つかの実施形態では、使用されるフェージングの量は、信頼度に対して直線ではなく、むしろ、ユーザにとって満足のいくものであると決定されたものに基づいて経験的に導出された曲線であり得る。フェージングの使用は、ユーザに最終決定を行なう際に使用する情報をより多く与えるという二重の目的を達成し、また、血管が突然現れて消えるのではなくフェードイン及びフェードアウトするため、ディスプレイをより視覚的に魅力的にする。幾つかの実施形態では、プロセッサ２２０２Ｃは、ベッセルサイズに基づいてフェージングを実行する。特定のサイズまでの血管のみが検出され、最小サイズに近い血管がより大きな血管よりも臨床的重要性が低い幾つかの実施形態では、超音波機械は、検出されたサイズが最小サイズに近づくにつれて血管をフェードアウトさせることができる。幾つかの実施形態では、訓練データに注釈を付け、モデルを訓練する方法に起因して、底部及び側部に向かって検出された血管について、モデルの精度が低下する。これは、部分的には、血管が画像から遠すぎて注釈付け又は検出することができないときを決定するという曖昧さに起因する。そのような場合、プロセッサ２２０２Ｃは、画像の側面及び底部への近接度に基づいてフェージングを実行することができる。
【0162】
幾つかの実施形態では、プロセッサ２２０２Ｃは、フレームにわたって検出された血管を追跡し、複数の画像内の同じ検出された血管を識別する。プロセッサ２２０２Ｃは、追跡及び／又は識別のために血管位置情報又は血管のタイプを使用することができる。
【0163】
幾つかの実施形態では、プロセッサ２２０２Ｃは、ニューラルネットワークから出力された血管識別情報及び静脈／動脈分類情報を使用して、ＰＩＶ又は他の医療処置のための情報を生成及び表示する。情報は、提案されたカテーテルゲージ、針入口点情報、案内情報（例えば、トランスデューサ面又はエッジからＰＩＶ針の所望の入口点までの計算された距離など）、血管に挿入されるカテーテルの閾値挿入長さ、カテーテル又は他の医療器具の長さ、それらの組み合わせなどを含むことができる。幾つかの実施形態では、この情報は、ニューラルネットワーク又はプロセッサ２２０２Ｃによって決定された血管の直径及び深度、閾値発揮長さ、カテーテルの挿入角度に基づいてプロセッサ２２０２Ｃによって決定される。なお、プロセッサ２２０２Ｃは、血管の直径や深度以外に基づいてカテーテルの挿入角度を決定することもできる。例えば、プロセッサ２２０２Ｃは、プロセッサ２２０２Ｃがメモリ２２０２ｂから読み出し、超音波機械によって決定された血管の直径又は深度に依存しない、４５度などのデフォルトの挿入角度として挿入角度を決定することができる。この情報を生成した後、プロセッサは、ユーザへの情報の任意の部分又は全てを超音波画像又は超音波機械のユーザインタフェースの別の部分に表示することができる。
【0164】
幾つかの実施形態では、超音波システムは、少なくとも１つの操作ユニット２２０４Ａからデータを入力する１つ以上のユーザ入力デバイス２２０４（例えば、キーボード、カーソル制御装置など）を有する。メモリ２２０２Ｂと共に、超音波システムは、取得された画像（例えば、過去の画像、現在の画像など）を記憶するための記憶装置２２０５Ａ（例えば、ハード、フロッピー（登録商標）、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ））を含む記憶デバイス２２０５も有し、取得された画像は、血管直径を計算し、挿入に最適な画像を選択し、本明細書で説明する他の動作のために使用することができる。超音波システムは、超音波デバイス２２０２と外部サーバ２２０７との間の通信を提供するためのデータ通信インタフェース２２０６Ａを有するデータ通信デバイス２２０６を更に含む。幾つかの実施形態では、超音波機械のプローブは、加速度計又は６自由度（６ＤＯＦ）慣性測定ユニット（ＩＭＵ）などの追加のセンサを含む。追加のセンサは、例えば、プローブポーズの推定及びユーザガイダンス（例えば、ユーザをカニューレ挿入のために最良の静脈に戻すように指示するため）の提供などの機能を実行し、四肢に沿った動脈及び静脈構造のより良い理解を提供するために、操作者によって使用され得る。例えば、適切な深度及び直径を有する静脈が見つかると、超音波システムは、静脈が蛇行していないとともにカテーテルの長さに適した長さにわたって弁を有さないようにするために、プローブの位置を追跡することができる。
【0165】
幾つかの実施形態では、超音波機械は、互いに接続されたプローブ及びタブレット又はスマートフォンを有するハンドヘルド超音波装置を含む。接続は、無線であっても有線であってもよい。図２３は、そのような超音波機械の一例を示す。図２３を参照すると、無線超音波プローブ２３００はスマートフォン２３０２と無線通信する。幾つかの実施形態では、プローブ２３００は、トランスデューサのアレイによる送信／受信、Ａ／Ｄ変換、；ビーム形成；直交検波；及び無線伝送を実行するべく機能するハードウェア及びソフトウェアを含む。幾つかの実施形態では、スマートフォン２３０２は、超音波画像（例えば、Ｂモード画像）を生成し、そのディスプレイに画像を表示するように機能するハードウェア及びソフトウェアを含む。スマートフォン２３０２のハードウェア及びソフトウェアは、静脈を検出し、血管直径を計算し、複数の血管直径を用いて値（例えば、最大値）を算出し、及び検出された静脈の色強調を生成してモニタに適用することができる。
【0166】
図２４は、血管識別表示サブシステムのデータフロー図を示す。幾つかの実施形態では、サブシステムは、図２２で前述したような超音波機械の一部である。これに加えて又は代えて、サブシステムは、使用及び／又は表示のために超音波機械に情報を提供し、超音波機械から情報を受信することによって、超音波機械と連携して動作することができる。
【0167】
図２４を参照すると、メモリ２４０１は超音波画像２４０２を記憶する。ニューラルネットワーク（又は他の血管検出機構）２４０３は、超音波画像２４０２を受信又は取得する。幾つかの実施形態では、ニューラルネットワーク２４０３は、ＡＩ又は他の機械学習アルゴリズムを使用して超音波画像２４０２内の血管位置及び直径を決定し、この情報を血管位置／直径情報２４０４として表示生成器２４０６に出力する。
【0168】
幾つかの実施形態では、ニューラルネットワーク２４０３はまた、ＡＩ又は他の機械学習アルゴリズムを使用して血管検出失敗があったときを決定し、この情報を血管検出失敗情報２４０５として表示生成器２４０６に出力する。幾つかの実施形態では、ニューラルネットワーク２４０３は、１つ以上のプロセッサを含む。
【0169】
血管位置／直径情報２４０４及び／又は血管検出失敗情報２４０５に応答して、表示生成器２４０６は、１つ以上の超音波画像上に重畳するための血管グラフィックス又は他の表示を生成する。
【0170】
ニューラルネットワーク２４０３のニューラルネットワークの一例は、例えばＲｅｔｉｎａＮｅｔなどであるがこれに限定されない畳み込みニューラルネットワーク（ＣＮＮ）である。ニューラルネットワークはまた、ネットワークの１つのインスタンスから別のインスタンスに状態情報を渡すメモリユニットを含むことができ、したがってネットワークが過去及び将来の入力から学習することを可能にする。
【0171】
幾つかの実施形態では、ニューラルネットワークは、非最大抑制（Ｎｏｎ－Ｍａｘｉｍａｌ Ｓｕｐｐｒｅｓｓｉｏｎ：ＮＭＳ）で使用される「ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ（ユニオン交差）」（ＩＯＵ）の代わりに「ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｍｉｎ ａｒｅａ（最小面積交差）」（ＩＯＭＡ）を使用する。従来、画像内の対象物検出に対する深層学習アプローチは、非最大抑制（ＮＭＳ）を使用して、検出中に画像の周りの余分なボックスをフィルタ除去する。前述したように、対象物検出のために、幾つかの実施形態では、超音波システムは、血管を表わす楕円として最もよく近似されるものの周りに長方形のボックスを使用する。血管自体は、他の血管を物理的に囲むことができず、他の検出によって完全に又はほとんど囲まれている検出をより良好に抑制するアルゴリズムであるため、幾つかの従来のニューラルネットワークは、ＮＭＳを使用して「ユニオン交差」（ＩＯＵ）を計算し、矩形ボックス間の重複量を決定する。これに関する１つの問題は、２つの血管が互いに４５度の角度にあり、それらが接触している場合、血管自体がそうでなくても、それらのボックスが重なり合うことである。したがって、ＮＭＳを使用する場合、ニューラルネットワークは、対角線上にあるこれらの血管を除外しないように、一定量のオーバーラップを可能にする。同時に、ニューラルネットワークは、真に重なり合う血管を除外したい。これらの血管のうちの１つが大きく、他の血管が小さい場合、問題は悪化する可能性がある。ユニオン交差を計算する場合、たとえ船舶が重なり合っていなくても、かなり高いＩＯＵが存在する場合がある。
【0172】
ＩＯＭＡの使用は、ボックスのサイズがかなり異なる場合のＩＯＵからの改善である。この方法は、大きな容器の内側又は大部分の内側に小さな容器を有する全ての場合を排除する。幾つかの実施形態では、ニューラルネットワークは、ボックスの面積を計算する代わりに、ボックス内に含まれる楕円の面積を計算する。ＩＯＭＡ内の計算された楕円領域を使用して、ニューラルネットワークは、血管の重なりを可能にするための非常に小さい閾値を使用することができ、したがってそれらの偽陽性を除去する。実際の楕円領域を計算する計算負荷を低減するために、ニューラルネットワークは楕円領域の近似を使用することができる。
【0173】
幾つかの実施形態では、ニューラルネットワークは、（それらの中心と交差する線上の）２つの楕円の半径を計算し、半径の合計を２つの中心を結ぶ線分の長さと比較する。合計がセグメント長未満である場合、ニューラルネットワークは、血管が重なっていると決定する。この方法を使用すると、ニューラルネットワークは、楕円／ボックスのいずれかの面積を計算する必要がなく、この面積計算の欠如は処理を高速化することができる。
【0174】
別の実施形態
幾つかの実施形態では、超音波機械は、異なる視角度で取得された追加のエコーフレームを取得する。一実施形態では、追加の視角度は、血管壁の側面に関するより多くの情報をＡＩモデルに提供するために、かなり急な角度で行なわれる。幾つかの実施形態では、超音波機械は、血管壁の側面に関するこの追加情報を使用して、モデル（例えば、ニューラルネットワーク）が血管の位置をより良好に決定し、動脈と静脈との間の識別を支援するのを助ける。幾つかの実施形態では、これらの追加のフレームは、ユーザに表示される超音波画像フレームと比較して品質及び解像度が低いが、代わりに、エコーデータに対応し、ユーザに表示される画像フレームと共に追加のフレームをモデルに供給することができる。解像度が低いほど、フレームレートへの影響が少なくなる。
幾つかの実施形態では、超音波機械は、異なる視角度で取得された追加のエコーフレームを取得する。一実施形態では、追加の視角度は、血管壁の側面に関するより多くの情報をＡＩモデルに提供するために、かなり急な角度で行なわれる。幾つかの実施形態では、超音波機械は、血管壁の側面に関するこの追加情報を使用して、モデル（例えば、ニューラルネットワーク）が血管の位置をより良好に決定し、動脈と静脈との間の識別を支援するのを助ける。幾つかの実施形態では、これらの追加のフレームは、ユーザに表示される超音波画像フレームと比較して品質及び解像度が低いが、代わりに、エコーデータに対応し、ユーザに表示される画像フレームと共に追加のフレームをモデルに供給することができる。解像度が低いほど、フレームレートへの影響が少なくなる。
【0175】
幾つかの実施形態では、超音波機械は、エコーフレームと共にカラーフレームを取得し、それらをニューラルネットワークのモデルに提供して血管血流のモデルを通知する。幾つかの実施形態では、カラーフレームは、ユーザに示されない可能性がある低解像度の低品質の画像であるが、代わりに、エコーデータに対応し、ユーザに表示される画像フレームと共にモデルに供給することができる。追加のカラーフロー情報をフレーム動脈／静脈検出モデルに追加すると、学習すべきデータにモデルの別の次元が提供される。解像度が低いほど、フレームレートへの影響が少なくなる。幾つかの実施形態では、色情報は、検出を強化又は修正するために推論後検出情報と結合される。
【0176】
本明細書に記載のシステムは、強調された超音波画像に血管を表示しないシステムに対する改善を構成する。むしろ、本明細書に記載のシステムは、有用な、場合によっては重要な情報を含む強調を生成し、操作者が実際のリアルタイムで超音波処置に情報を適用できるように、情報を超音波システムの操作者に表示する。したがって、本明細書に記載のシステムは、介入器具が患者に挿入される回数を減らすか、又は最小限に抑えることを含む、患者の経験を大幅に改善することができ、患者の痛み及び感染症のリスクをもたらし、並びに器具の望ましくない挿入、例えば静脈ではなく動脈への挿入を防ぐ。したがって、患者は、不必要な痛み及び不快感を知覚せず、強調された血管を表示しない従来の超音波システムと比較して、感染、大きすぎるカテーテルの挿入による血栓、血管外漏れ、及び血管壁の損傷の１つ以上のリスクが低減される。したがって、本明細書に記載のシステムは、従来の超音波システムが適していない医療処置及び検査に適し得る。
【0177】
本明細書には、実施形態の幾つかの例が記載される。
【0178】
例１は、血管識別のためのコンピューティングデバイスによって実施される方法であり、該方法は、コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、静脈分類及び動脈分類のうちの一方を超音波画像内の１つ以上の血管に割り当てるステップと、１つ以上の血管のうちの１つの血管における誤分類を決定するステップであって、ニューラルネットワークが、静脈分類及び動脈分類のうちの一方を超音波画像の１つの超音波画像内の１つの血管に割り当てると共に、静脈分類及び動脈分類の他方を超音波画像の更なる超音波画像内の１つの血管に割り当てることを、誤分類が示す、ステップと、１つの血管における静脈分類及び動脈分類のうちの他方の表示を１つの超音波画像内に表示するステップとを含む。
【0179】
例２は、任意選択で、１つの超音波画像及び更なる超音波画像が超音波ビデオ内のフレームを表わし、１つの超音波画像が、更なる超音波画像によって表わされる前のフレームよりも後の超音波ビデオ内のフレームを表わす、ことを含み得る例１の方法である。
【0180】
例３は、任意選択で、更なる超音波画像によって表わされる前のフレームが超音波ビデオ内で連続している、ことを含み得る例２の方法である。
【0181】
例４は、任意選択で、静脈分類及び動脈分類のうちの一方を１つの超音波画像において割り当てるステップが、更なる超音波画像のうちの少なくとも１つにおいて静脈分類及び動脈分類のうちの一方を割り当てることに基づく、ことを含み得る例２の方法である。
【0182】
例５は、任意選択で、静脈分類及び動脈分類のうちの一方を１つの超音波画像において割り当てるステップが、１つの超音波画像と更なる超音波画像のうちの少なくとも１つとに基づく、ことを含み得る例２の方法である。
【0183】
例６は、任意選択で、１つの超音波画像と更なる超音波画像の少なくとも１つとがグレースケール画像であり、静脈分類及び動脈分類の一方を１つの超音波画像において割り当てるステップが、ニューラルネットワークの別々のカラーチャネルでグレースケール画像を受信するステップを含む、ことを含み得る例５の方法である。
【0184】
例７は、任意選択で、時間間隔を示すユーザ選択を受信するステップを含むことができ、１つの超音波画像及び更なる超音波画像が超音波ビデオ内のフレームを表わし、誤分類を決定するステップが、時間間隔に対応するフレームの数に基づく、例１の方法である。
【0185】
例８は、任意選択で、ニューラルネットワークを用いて、超音波画像内の１つ以上の血管の直径を決定するステップを含むことができ、表示するステップが、１つの血管に関してニューラルネットワークにより決定された直径に基づいて１つの血管におけるカテーテルサイズに対応する色で１つの血管における表示を表示するステップを含む、例１の方法である。
【0186】
例９は、任意選択的で、誤分類に基づいて少なくとも１つのニューラルネットワーク係数を調整するステップを含むことができる例１の方法である。
【0187】
例１０は、血管を識別するための超音波システムであり、該超音波システムは、超音波エコー信号に基づいて超音波画像を生成する画像モジュールと、超音波画像の第１の画像内の血管を識別するためのニューラルネットワークモジュールと、ニューラルネットワークモジュールによって識別された第１の画像内の血管の位置を示すマップ画像を生成するマップモジュールと、超音波画像の第２の画像内の血管をマップ画像と第２の画像とに基づいて識別するためのニューラルネットワークモジュールとを備える。
【0188】
例１１は、任意選択で、マップモジュールが、境界容器を伴う第１の画像内の血管の位置を示すためにマップ画像を生成するように構成される、ことを含み得る例１０の超音波システムである。
【0189】
例１２は、任意選択で、境界容器が血管の輪郭を含む、ことを含み得る例１１の超音波システムである。
【0190】
例１３は、任意選択で、マップモジュールが、第１の画素値を伴う血管の位置と、第２の画素値を伴う血管に対応しないマップ画像内の更なる位置とを示すマスクとしてマップ画像を生成するように構成される、ことを含み得る例１０の超音波システムである。
【0191】
例１４は、任意選択で、ニューラルネットワークモジュールが、特徴空間内の第２の画像の内容を表わす特徴マップを第２の画像から生成し、特徴マップとマップ画像とを連結し、連結の結果に基づいて第２の画像内の血管を識別するように構成される、ことを含み得る例１０の超音波システムである。
【0192】
例１５は、任意選択で、ニューラルネットワークモジュールが、第１の画像内の血管の位置及び第２の画像内の血管の更なる位置の損失関数に基づいて少なくとも１つのニューラルネットワーク係数を調整するように構成される、ことを含み得る例１０の超音波システムである。
【0193】
例１６は、血管識別のためのコンピューティングデバイスによって実施される方法であり、該方法は、コンピューティングデバイスのハードウェアに少なくとも部分的に実装されるニューラルネットワークを用いて、超音波画像内の血管の境界容器を決定するステップと、境界容器に基づいて血管の圧迫量を決定するためのステップと、ニューラルネットワークを用いて、超音波画像内の血管に静脈分類又は動脈分類の分類を割り当てるステップと、圧迫量及び分類に基づいて血管におけるラベルを決定するためのステップであって、ラベルが血管を静脈又は動脈として示す、ステップとを含む。
【0194】
例１７は、任意選択的で、超音波画像の少なくとも１つに血管におけるラベルを表示するステップを含むことができる、例１６の方法である。
【0195】
例１８は、超音波画像の少なくとも１つに関する圧迫量の決定及び分類の割り当てが、一連の超音波画像内の更なる超音波画像に関する圧迫量の決定及び分類の割り当てに基づく、ことを含み得る例１７の方法である。
【0196】
例１９は、任意選択で、血管の圧迫量を決定するためのステップが、境界容器の第１の長さを決定するステップと、境界容器の第２の長さを決定するステップと、第２の長さに対する第１の長さの比を決定するステップとを含む、ことを含み得る例１６の方法である。
【0197】
例２０は、任意選択で、血管におけるラベルを決定するためのステップが、圧迫量を圧迫閾値と比較するステップと、比較に基づいて分類に従ってラベルを決定するステップとを含む、ことを含み得る例１６の方法である。
【0198】
上記の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表示に関して提示される。これらのアルゴリズムの記述及び表示は、データ処理技術の当業者によって、それらの研究の内容を他の当業者に最も効果的に伝えるために使用される手段である。アルゴリズムは、ここでは、一般に、所望の結果をもたらす自己矛盾のない一連のステップであると考えられる。ステップは、物理量の物理的操作を必要とするものである。通常、必ずしもそうとは限らないが、これらの量は、記憶、転送、結合、比較、及び他の方法で操作することができる電気信号又は磁気信号の形態をとる。これらの信号をビット、値、要素、シンボル、文字、用語、数字などとして参照することは、主に一般的な使用の理由から、時には便利であることが判明している。
【0199】
しかしながら、これら及び類似の用語の全ては、適切な物理量に関連付けられるべきであり、これらの量に適用される便利なラベルにすぎないことに留意すべきである。以下の説明から明らかなように特に明記しない限り、説明全体を通して、「処理」又は「コンピューティング」又は「計算」又は「決定」又は「表示」などの用語を利用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表わされるデータを操作し、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記憶装置、伝送装置又は表示デバイス内の物理量として同様に表わされる他のデータに変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及びプロセスを指すことが理解される。
【0200】
また、本発明は、本明細書の動作を実行するための装置に関する。この装置は、必要な目的のために特別に構成されてもよく、又はコンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、限定はしないが、電子命令を記憶するのに適しており、それぞれがコンピュータシステムバスに結合される、フロッピー（登録商標）ディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、又は任意のタイプの媒体を含む任意のタイプのディスクなどのコンピュータ可読記憶媒体に記憶され得る。
【0201】
本明細書に提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連しない。様々な汎用システムは、本明細書の教示に従ってプログラムと共に使用されてもよく、又は必要な方法ステップを実行するためのより特殊化された装置を構築することが好都合であることが判明し得る。様々なこれらのシステムに必要な構造は、以下の説明から明らかになる。更に、本発明は、いかなる特定のプログラミング言語を参照しても説明されない。本明細書に記載の本発明の教示を実施するために、様々なプログラミング言語が使用され得ることが理解され得る。
【0202】
機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式で情報を格納又は送信するための任意の機構を含む。例えば、機械可読媒体は、リードオンリーメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響的又は他の形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号など）などを含む。
【0203】
本発明の多くの変更及び修正は、前述の説明を読んだ後に当業者に明らかになるであろうが、例示として示され説明される任意の特定の実施形態は、決して限定的であると見なされることを意図しないことが理解されるべきである。したがって、様々な実施形態の詳細への言及は、それ自体が本発明に必須であると考えられる特徴のみを列挙する特許請求の範囲を限定することを意図するものではない。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14A】
【図14B】
【図14C】
【図14D】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図19A】
【図19B】
【図19C】
【図19D】
【図20A】
【図20B】
【図21】
【図22】
【図23】
【図24】
【国際調査報告】