6796085 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6796085

(24)【登録日】2020年11月17日

(45)【発行日】2020年12月2日

(54)【発明の名称】医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20201119BHJP

   A61B 5/055 20060101ALI20201119BHJP

   A61B 6/00 20060101ALI20201119BHJP

   A61B 6/03 20060101ALI20201119BHJP

   G06N 3/04 20060101ALI20201119BHJP

   G06T 7/00 20170101ALI20201119BHJP

【ＦＩ】

   A61B8/14

   A61B5/055 380

   A61B5/055 390

   A61B6/00 350D

   A61B6/00 370

   A61B6/03 360J

   A61B6/03 377

   G06N3/04

   G06T7/00 350C

   G06T7/00 612

【請求項の数】25

【全頁数】22

(21)【出願番号】特願2017-564130(P2017-564130)

(86)(22)【出願日】2017年6月29日

(65)【公表番号】特表2019-508072(P2019-508072A)

(43)【公表日】2019年3月28日

(86)【国際出願番号】US2017039928

(87)【国際公開番号】WO2018101985

(87)【国際公開日】20180607

【審査請求日】2017年12月8日

【審判番号】不服2019-9517(P2019-9517/J1)

【審判請求日】2019年7月17日

(31)【優先権主張番号】62/429,150

(32)【優先日】2016年12月2日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】514300557

【氏名又は名称】アヴェント インコーポレイテッド

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】アベンディ、マイケル・アール

(72)【発明者】

【氏名】ダッフィー、シェーン・エー

(72)【発明者】

【氏名】スー、ケニス・シー

【合議体】

【審判長】 森 竜介

【審判官】 福島 浩司

【審判官】 伊藤 幸仙

(56)【参考文献】

【文献】 特開２０１６−１９００３２（ＪＰ，Ａ）

【文献】 特開２０１０−０１７５５６（ＪＰ，Ａ）

【文献】 特開２００５−１９９４０３（ＪＰ，Ａ）

【文献】 特表２００３−５３３７８５（ＪＰ，Ａ）

【文献】 特開２００３−２９６７３７（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０９２５８２（ＷＯ，Ａ１）

【文献】 特開２００８−０１７９９７（ＪＰ，Ａ）

【文献】 特表２０１５−５２３８７４（ＪＰ，Ａ）

【文献】 特開２０１４−２１３２０２（ＪＰ，Ａ）

【文献】 特表２０１１−５００２１７（ＪＰ，Ａ）

【文献】 ＳＥＵＮＧＨＯＯＮ ＨＯＮＧ ＥＴ ＡＬ： ”Ｄｅｃｏｕｐｌｅｄ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ”， ＡＤＶＡＮＣＥＳ ＩＮ ＮＥＵＲＡＬ ＩＮＦＯＲＭＡＴＩＯＮ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭＳ ２８ （ＮＩＰＳ ２０１５）， ２０１５年１２月７日， ｐａｇｅｓ １ − ９

【文献】 ＤＡＩ ＪＩＦＥＮＧ ＥＴ ＡＬ： ”Ｉｎｓｔａｎｃｅ−Ａｗａｒｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｖｉａ Ｍｕｌｔｉ−ｔａｓｋ Ｎｅｔｗｏｒｋ Ｃａｓｃａｄｅｓ”， ２０１６ ＩＥＥＥ ＣＯＮＦＥＲＥＮＣＥ ＯＮ ＣＯＭＰＵＴＥＲ ＶＩＳＩＯＮ ＡＮＤ ＰＡＴＴＥＲＮ ＲＥＣＯＧＮＩＴＩＯＮ （ＣＶＰＲ）， ＩＥＥＥ， ２７ Ｊｕｎｅ ２０１６ （２０１６−０６−２７）， ｐａｇｅｓ ３１５０ − ３１５８

(58)【調査した分野】（Int.Cl.，ＤＢ名）

IPC A61B 8/00

(57)【特許請求の範囲】

【請求項1】

医用の撮像システムを介して医療処置中に標的の解剖学的対象物を位置特定するためにユーザにナビゲーション方向を提供する方法であって、
前記方法は、コンピュータにより実施され、
前記方法は、
前記標的の解剖学的対象物を取り囲む解剖学的領域を選択するステップと、
前記標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム２次元画像を生成し、前記複数のリアルタイム２次元画像をコントローラに提供するステップと、
グランドトゥルースデータを介して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練するステップであって、複数の患者のそれぞれからの前記標的の解剖学的対象物を取り囲む前記解剖学的領域からの前記シーンの複数の画像のデータセットをスキャンして収集し、前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けし、前記画像のデータセットおよび前記グランドトゥルースデータを、訓練データセットおよび妥当性検証データセットに分割し、前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用することによって実施する、該ステップと、
前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム２次元画像のそれぞれを自動的にマッピングするステップと、
前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定するためにユーザに方向を提供するステップであって、前記標的の解剖学的対象物および１つ以上の追加の解剖学的対象物が、ユーザディスプレイ上にその輪郭を描かれる、該ステップと、
前記標的の解剖学的対象物の位置特定の信頼レベルを決定し、決定された前記信頼レベルをユーザに提供するステップとを含み、
前記ディープラーニングネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、またはそれらの組み合わせを含むことを特徴とする方法。

【請求項2】

請求項１に記載の方法であって、
前記医療処置は神経ブロックであり、前記標的の解剖学的対象物は標的神経であることを特徴とする方法。

【請求項3】

請求項２に記載の方法であって、
前記神経ブロックは、首の斜角筋間の腕神経叢ブロック、鎖骨上神経ブロック、鎖骨下神経ブロック、腋窩神経ブロック、大腿神経ブロック、坐骨神経ブロック、内転筋管神経ブロック、膝窩神経ブロック、伏在神経ブロック、腸骨筋膜下神経ブロック、胸郭腰椎神経ブロック、横隔膜腹部平面（ＴＡＰ）神経ブロック、肋間神経ブロック、または胸部脊椎神経ブロックのいずれかであることを特徴とする方法。

【請求項4】

請求項１に記載の方法であって、
前記ディープラーニングネットワークは、コンボリューショナルニューラルネットワークを含むことを特徴とする方法。

【請求項5】

請求項１に記載の方法であって、
前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用する前記ステップが、
前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小にするようにコスト関数を最適化するステップを含むことを特徴とする方法。

【請求項6】

請求項５に記載の方法であって、
誤差を最小にするように前記コスト関数を前記最適化するステップが、
前記グランドトゥルースデータの部分を反復処理し、前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差に基づいて前記ディープラーニングネットワークの１つ以上のパラメータを調整する確率的勾配降下（ＳＧＤ）アルゴリズムを利用するステップを含むことを特徴とする方法。

【請求項7】

請求項６に記載の方法であって、
前記コスト関数を最適化した後、リアルタイムで前記ディープラーニングネットワークを利用して妥当性検証データの予測を自動的に提供し、前記予測を前記グランドトゥルースデータと比較するステップを含むことを特徴とする方法。

【請求項8】

請求項１に記載の方法であって、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けする前記ステップが、
前記標的の解剖学的対象物、前記１つ以上の追加の解剖学的対象物、ランドマーク、組織、またはそれらの組み合わせを、データセットの各画像内で手動で特定し注釈付けするステップをさらに含むことを特徴とする方法。

【請求項9】

請求項１に記載の方法であって、
オフラインで前記ディープラーニングネットワークを最初に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するステップをさらに含むことを特徴とする方法。

【請求項10】

請求項１に記載の方法であって、
オンラインで前記ディープラーニングネットワークを継続的に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するステップをさらに含むことを特徴とする方法。

【請求項11】

請求項１に記載の方法であって、
前記方向は、プローブが関心対象の解剖学的領域をスキャンするときに、前記撮像システムの前記ユーザディスプレイを介して注釈付きの形態でユーザに提供され、前記撮像システムは複数のリアルタイム２次元画像を同時に生成することを特徴とする方法。

【請求項12】

請求項１に記載の方法であって、
前記方向は、プローブが関心対象の解剖学的領域をスキャンするときに、音声形式でユーザに提供され、前記撮像システムは複数のリアルタイム２次元画像を同時に生成することを特徴とする方法。

【請求項13】

請求項１に記載の方法であって、
前記医用の撮像システムは、超音波撮像システム、コンピュータ断層撮影（ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システム、または蛍光透視撮像システムを含むことを特徴とする方法。

【請求項14】

医療処置において使用するための医用の撮像システムであって、
１つ以上の操作を実行するように構成された少なくとも１つのコントローラと、
複数のリアルタイム２次元画像をユーザに表示するように構成されたユーザディスプレイとを含み、
前記１つ以上の操作は、
標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム２次元画像を受け取ることと、
グランドトゥルースデータを介して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することと、
前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム２次元画像のそれぞれを自動的にマッピングすることと、
前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定するためにユーザに方向を提供することと、
前記標的の解剖学的対象物の位置特定の信頼レベルを決定し、決定された前記信頼レベルをユーザに提供することとを含み、
前記標的の解剖学的対象物および１つ以上の追加の解剖学的対象物が、前記ユーザディスプレイ上にその輪郭を描かれ、
前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することが、
複数の患者のそれぞれからの前記標的の解剖学的対象物を取り囲む前記解剖学的領域からの前記シーンの複数の画像のデータセットをスキャンして収集することと、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けすることと、
前記画像のデータセットおよび前記グランドトゥルースデータを、訓練データセットおよび妥当性検証データセットに分割することと、
前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用することとを含み、
前記ディープラーニングネットワークは、フィードフォワードニューラルネットワーク、リカレントニューラルネットワーク、またはそれらの組み合わせを含むことを特徴とする撮像システム。

【請求項15】

請求項１４に記載の撮像システムであって、
前記医療処置は神経ブロックであり、前記標的の解剖学的対象物は標的神経であることを特徴とする撮像システム。

【請求項16】

請求項１４に記載の撮像システムであって、
前記ディープラーニングネットワークは、コンボリューショナルニューラルネットワークを含むことを特徴とする撮像システム。

【請求項17】

請求項１４に記載の撮像システムであって、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けすることが、
前記標的の解剖学的対象物、前記１つ以上の追加の解剖学的対象物、ランドマーク、組織、またはそれらの組み合わせを、データセットの各画像内で手動で特定し注釈付けすることをさらに含むことを特徴とする撮像システム。

【請求項18】

請求項１４に記載の撮像システムであって、
前記コントローラが、オフラインで前記ディープラーニングネットワークを最初に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するように構成されることを特徴とする撮像システム。

【請求項19】

請求項１４に記載の撮像システムであって、
前記コントローラが、オンラインで前記ディープラーニングネットワークを継続的に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するように構成されることを特徴とする撮像システム。

【請求項20】

請求項１４に記載の撮像システムであって、
前記コントローラが、プローブが関心対象の解剖学的領域をスキャンするときに、前記方向を、ユーザディスプレイを介して注釈付きの形態でユーザに提供し、前記撮像システムは複数のリアルタイム２次元画像を同時に生成することを特徴とする撮像システム。

【請求項21】

請求項１４に記載の撮像システムであって、
前記コントローラが、プローブが関心対象の解剖学的領域をスキャンするときに、前記方向を、音声形式でユーザに提供し、前記撮像システムは複数のリアルタイム２次元画像を同時に生成することを特徴とする撮像システム。

【請求項22】

請求項１４に記載の撮像システムであって、
前記撮像システムは、コンピュータ断層撮影（ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システム、または蛍光透視撮像システムを含むことを特徴とする撮像システム。

【請求項23】

請求項１４に記載の撮像システムであって、
前記撮像システムは、医用の他の撮像システムによってインストールされホストされるソフトウェアパッケージとして構成され、前記撮像システムは、ホストの医用の撮像システムから画像を受け取り、前記ホストの医用の撮像システムによって分配される出力を提供可能に構成されることを特徴とする撮像システム。

【請求項24】

請求項１４に記載の撮像システムであって、
前記ディープラーニングネットワークは、限られた計算能力しか利用可能でない場合等に、メモリ使用を低減し、実行時間を加速するために、量子化された重み、バイナリ化された重み、および他の圧縮方法を使用することを特徴とする撮像システム。

【請求項25】

請求項１４に記載の撮像システムであって、
前記撮像システムは、異なる設定、仕様、および画像品質を有する異なる医用の撮像システムで動作することができるように、変換、等化、および正規化技術を使用することを特徴とする撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１６年１２月２日出願の米国仮特許出願第６２／４２９，１５０号に基づく優先権を主張する。該出願は、全文を引用することを以て本明細書の一部となす。

【0002】

本発明は、医用撮像の視野内における解剖学的対象物の検出および特定に関し、より詳細には、医用撮像をベースにした手法（例えば、標的の解剖学的構造の周囲からのシーンから撮像された複数の画像内に含まれる解剖学的対象物の検出および特定に基づく超音波誘導麻酔）において標的の解剖学的対象物に到達するためのナビゲーション方向を提供するためのシステムおよび方法に関する。

【背景技術】

【0003】

超音波、コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、およびＸ線透視撮像システムのような、標的の解剖学的対象物の総領域を特定する際に医療従事者を支援するための従来のアプローチに基づく様々な撮像システムが存在する。しかし、このようなシステムを使用する解剖学的対象物の検出は安定的に行えるものとはいえず、特に、医用画像におけるノイズおよびアーチファクトとともに、解剖学的対象物が、解剖学的形状および／または外観に大きな変動を示すことを含むいくつかの困難な検出上の問題に関連した不安定さがある。その結果、医療専門家が、そのような撮像システムを使用するとき、標的の解剖学的対象物の総領域を迅速かつ正確に特定することは困難になることが多い。例えば、神経ブロックまたは末梢神経ブロック（ＰＮＢ）は、標的の解剖学的対象物（例えば、標的神経）を正確に位置特定することが望ましい、術後および非外科鎮痛の両方に使用され、また外科麻酔に使用される一種の局所麻酔である。ＰＮＢ中、医療専門家は、標的神経または神経束の近傍に麻酔薬を注入して、身体の特定の領域からの痛みの感覚を遮断する。しかし、現在利用可能な撮像システムを使用する場合、医療専門家が標的神経の総領域を迅速かつ正確に特定することは困難となることがある。例えば、ある種の神経ブロック処置では、医師が、超音波撮像システムを介して標的神経束を迅速かつ正確に位置特定することが困難になることが多くなる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本開示は、標的解剖学的対象物（例えば、標的神経）を取り囲む解剖学的領域から採取された複数の場面のリアルタイム画像から、解剖学的対象物の自動的な検出、特定、およびマッピングのためのシステムおよび方法であって、既存の撮像システムを介して実装できるディープラーニングネットワークを使用しており、ユーザ（例えば、医療専門家）に方向を提供し、ユーザが関心対象の標的の解剖学的対象物に迅速かつ正確に到達することを可能にすることを目的とした、該システムおよび方法を提供しようとするものである。

【0005】

本発明の目的および利点は、以下の説明に部分的に記載されているか、または明細書の記載から明白であるか、または本発明の実施を通してより明白に理解されよう。

【課題を解決するための手段】

【0006】

一態様では、本発明は、医用の撮像システムを介して医療処置中に標的の解剖学的対象物を位置特定するためのナビゲーション方向をユーザに提供する方法に関する。前記方法は、前記標的の解剖学的対象物を取り囲む解剖学的領域を選択するステップと、前記標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム２次元画像を生成し、前記複数のリアルタイム２次元画像をコントローラに提供するステップと、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練するステップと、前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム２次元画像のそれぞれを自動的にマッピングするステップと、前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定するためにユーザに方向を提供するステップとを含む。

【0007】

１つの特定の実施形態では、前記医療処置は、前記標的の解剖学的対象物が標的神経である神経ブロックであり得る。さらに、前記神経ブロックは、首の斜角筋間の腕神経叢ブロック、鎖骨上神経ブロック、鎖骨下神経ブロック、腋窩神経ブロック、大腿神経ブロック、坐骨神経ブロック、内転筋管神経ブロック、膝窩神経ブロック、伏在神経ブロック、腸骨筋膜下神経ブロック、胸郭腰椎神経ブロック、横隔膜腹部平面（ＴＡＰ）神経ブロック、肋間神経ブロック、または胸部脊椎神経ブロックのいずれかであり得る。

【0008】

別の実施形態では、前記ディープラーニングネットワークは、１つ以上のコンボリューショナル（重畳型）ニューラルネットワーク、または１つ以上のリカレントニューラルネットワークの少なくとも１つを含み得る。

【0009】

さらに別の実施形態では、前記方法は、グランドトゥルースデータを介して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練するステップをさらに含むことができる。さらに、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練する前記ステップは、複数の患者のそれぞれからの前記標的の解剖学的対象物を取り囲む前記解剖学的領域からの前記シーンの複数の画像のデータセットをスキャンして収集するステップと、前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けするステップと、前記画像のデータセットおよび前記グランドトゥルースデータを、訓練データセットおよび妥当性検証データセットに分割するステップと、前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用するステップとを含み得る。

【0010】

さらに別の実施形態では、前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用する前記ステップが、前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小にするようにコスト関数を最適化するステップを含み得る。さらに、誤差を最小にするように前記コスト関数を前記最適化するステップが、前記グランドトゥルースデータの部分を反復処理し、前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差に基づいて前記ディープラーニングネットワークの１つ以上のパラメータを調整する確率的勾配降下（ＳＧＤ）アルゴリズムを利用するステップを含み得る。

【0011】

さらなる一実施形態では、前記方法は、前記コスト関数を最適化した後、リアルタイムで前記ディープラーニングネットワークを利用して妥当性検証データの予測を自動的に提供し、前記予測を前記グランドトゥルースデータと比較するステップを含み得る。

【0012】

別の実施形態では、前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けする前記ステップが、前記標的の解剖学的対象物、追加の解剖学的対象物、ランドマーク、組織、またはそれらの組み合わせを、データセットの各画像内で手動で特定し注釈付けするステップをさらに含み得る。

【0013】

別の実施形態では、前記方法は、オフラインで前記ディープラーニングネットワークを最初に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するステップをさらに含み得る。

【0014】

さらに別の実施形態では、前記方法は、オンラインで前記ディープラーニングネットワークを継続的に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するステップをさらに含み得る。

【0015】

さらに別の実施形態では、前記方向は、プローブが関心対象の解剖学的領域をスキャンするときに、前記撮像システムのユーザディスプレイを介して注釈付きの形態でユーザに提供され得、前記撮像システムは複数のリアルタイム２次元画像を同時に生成する。

【0016】

もう１つの実施形態では、前記方向は、プローブが関心対象の解剖学的領域をスキャンするときに、音声形式でユーザに提供され得、前記撮像システムは複数のリアルタイム２次元画像を同時に生成する。

【0017】

さらなる実施形態では、前記医用の撮像システムは、超音波撮像システム、コンピュータ断層撮影（ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システム、または蛍光透視撮像システムを含み得る。

【0018】

別の態様では、本発明は、医療処置において使用するための医用の撮像システムに関する。前記医用の撮像システムは、１つ以上の操作を実行するように構成された少なくとも１つのコントローラと、複数のリアルタイム２次元画像をユーザに表示するように構成されたユーザディスプレイとを含む。前記１つ以上の操作は、標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム２次元画像を受け取ることと、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することと、前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム２次元画像のそれぞれを自動的にマッピングすることと、前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定するためにユーザに方向を提供することとを含む。

【0019】

特定の一実施形態では、前記医療処置は、前記標的の解剖学的対象物が標的神経である神経ブロックであり得る。

【0020】

別の実施形態では、前記ディープラーニングネットワークは、１つ以上のコンボリューショナルニューラルネットワーク、または１つ以上のリカレントニューラルネットワークの少なくとも１つを含み得る。

【0021】

さらに別の実施形態では、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することが、グランドトゥルースデータを介して達成され得る。例えば、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することが、複数の患者のそれぞれからの前記標的の解剖学的対象物を取り囲む前記解剖学的領域からの前記シーンの複数の画像のデータセットをスキャンして収集することと、前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けすることと、前記画像のデータセットおよび前記グランドトゥルースデータを、訓練データセットおよび妥当性検証データセットに分割することと、前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用することとを含み得る。

【0022】

さらに、前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けすることが、前記標的の解剖学的対象物、追加の解剖学的対象物、ランドマーク、組織、またはそれらの組み合わせを、データセットの各画像内で手動で特定し注釈付けすることをさらに含み得る。

【0023】

さらに別の実施形態では、前記コントローラが、オフラインで前記ディープラーニングネットワークを最初に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するように構成され得る。

【0024】

さらなる実施形態では、前記コントローラが、オンラインで前記ディープラーニングネットワークを継続的に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するように構成され得る。

【0025】

さらに別の実施形態では、前記コントローラが、プローブが関心対象の解剖学的領域をスキャンするときに、前記方向を、ユーザディスプレイを介して注釈付きの形態でユーザに提供でき、前記撮像システムは複数のリアルタイム２次元画像を同時に生成する。

【0026】

もう１つの実施形態では、前記コントローラが、プローブが関心対象の解剖学的領域をスキャンするときに、前記方向を、音声形式でユーザに提供でき、前記撮像システムは複数のリアルタイム２次元画像を同時に生成する。

【0027】

別の実施形態では、前記撮像システムは、コンピュータ断層撮影（ＣＴ）撮像システム、磁気共鳴（ＭＲ）撮像システム、または蛍光透視撮像システムを含み得る。

【0028】

本発明の上記のおよび他の特徴、態様および利点は、以下の説明および特許請求の範囲の記載を参照することにより、よりよく理解されよう。添付の図面は、本願の開示内容の一部を構成し、本発明の実施形態を示し、説明とともに本発明の原理を説明する役割を果たす。

【0029】

別の実施形態では、前記撮像システムは、医用の他の撮像システムによってインストールされホストされるソフトウェアパッケージとして構成され、前記撮像システムは、ホストの医用の撮像システムから画像を受け取り、前記ホストの医用の撮像システムによって分配される出力を提供可能に構成され得る。

【0030】

別の実施形態では、前記ディープラーニングネットワークは、限られた計算能力しか利用可能でない場合等に、メモリ使用を低減し、実行時間を加速するために、量子化された重み、バイナリ化された重み、および他の圧縮方法を使用できる。

【0031】

別の実施形態では、前記撮像システムは、異なる設定、仕様、および画像品質を有する異なる医用の撮像システムで動作することができるように、変換、等化、および正規化技術を使用できる。

【0032】

当業者を対象とした本発明の最良の形態を含む本発明の十分かつ実施可能な開示は、添付の図面を参照して本明細書においてなされる。

【図面の簡単な説明】

【0033】

【図1】図１は、本開示の方法およびシステムが、超音波ガイダンスによって医療従事者を正確な位置にナビゲートするために利用され得る様々な神経ブロックの位置を示す図である。

【図2】図２は、図１のインタースケーラ神経ブロック（首の斜角筋間の腕神経叢ブロック）の位置を示す図である。

【図3】図３は、本開示による撮像システムの一実施形態の斜視図である。

【図4】図４は、本開示による撮像システムのコントローラの一実施形態のブロック図である。

【図5】図５は、本開示による超音波撮像システムの一実施形態の概略図であり、特に、患者の標的神経へのニードルの移動を容易にするためにニードルガイドと関連して使用される超音波プローブを示す。

【図6】図６は、本開示のシステムおよび方法を使用して関心対象の標的の解剖学的対象物を取り囲む解剖学的領域から収集された複数のリアルタイム２次元画像を示す図であり、ここでは、関心対象の解剖学的対象物、追加の解剖学的対象物、および画像に含まれるシーンにおけるランドマークが特定されラベル付けされ得る。

【図7】図７は、複数の２次元スライス画像を含むデータセットを示し、このデータセットは、ディープラーニングネットワークを訓練するために使用され、ディープラーニングネットワークは、図６のリアルタイム超音波画像に含まれる関心対象の解剖学的対象物、追加の解剖学的対象物、およびランドマークを検出、特定、ラベル付けおよびマッピングするために使用される。

【図8】図８は、医療処置中に標的の解剖学的対象物の位置を特定するためにユーザに方向を提供するために、関心対象の標的の解剖学的対象物を取り囲む解剖学的領域からのシーンの自動検出およびマッピングのための方法を示す概略図である。

【図9】図９は、医療処置中に関心対象の標的の解剖学的対象物を特定するためにユーザに方向を提供するために、リカレント・コンボリューショナルニューラルネットワーク（リカレント・コンボリューショナルニューラルネットワーク）を使用した、関心対象の標的の解剖学的対象物を取り囲む解剖学的領域からのシーンの自動検出およびマッピングのための方法を示す概略図である。

【図10】図１０は、医療処置中に関心対象の標的の解剖学的対象物の位置を特定するためにユーザに方向を提供するために、関心対象の標的の解剖学的対象物を取り囲む解剖学的領域からのシーンの自動検出およびマッピングのための方法の一実施形態を示す流れ図である。

【図11】図１１は、本開示による撮像システムによって生成されたインタースケーラ神経ブロック（腕神経叢ブロック）周辺の解剖学的領域のシーンのリアルタイム超音波画像を示す概略図であり、ここでは関心対象の解剖学的対象物および周辺組織が検出され、輪郭および番号付けによって特定されている。

【図12】図１２は、本開示による撮像システムによって生成されたインタースケーラ神経ブロック周辺の解剖学的領域のシーンのリアルタイム超音波画像の別の実施形態の概略図であり、ここでは関心対象の解剖学的対象物および周辺組織が検出され、輪郭で特定されている。

【図13】図１３は、本開示による撮像システムによって生成されたインタースケーラ神経ブロック周辺の解剖学的領域のシーンのリアルタイム超音波画像のさらに別の実施形態の概略図であり、ここでは関心対象の解剖学的対象物および周囲組織が検出され、陰影付け、輪郭付け、およびラベル付けによって特定されている。

【図14】図１４は、本開示による撮像システムによって生成されたインタースケーラ神経ブロック周辺の解剖学的領域のシーンのリアルタイム超音波画像のさらに別の実施形態の概略図であり、ここでは関心対象の解剖学的対象物および周囲組織が検出され、陰影付け、輪郭付けおよびレベル付けによって特定されている。

【発明を実施するための形態】

【0034】

以下、本発明の１つ以上の実施形態、すなわち図示されている実施例である本発明の実施形態を詳細に参照する。各実施例および実施形態は、本発明の説明のために提供され、本発明の限定を意味するものではない。例えば、一実施形態の一部として図示または説明された特徴は、別の実施形態とともに使用されて、さらに別の実施形態を生み出すことができる。本発明は、本発明の技術範囲および趣旨内で行われるこれらおよび他の変更および変形を含むことが意図されている。

【0035】

一般的に本開示は、医用の撮像システムを介して医療処置中に標的の解剖学的対象物を位置特定するために、ユーザ（例えば、医療専門家）にナビゲーション方向を提供するためのシステムおよび方法に関する。前記方法は、前記標的の解剖学的対象物を取り囲む解剖学的領域を選択するステップと、前記標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム２次元画像を生成し、前記複数のリアルタイム２次元画像をコントローラに提供するステップと、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練するステップと、前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム２次元画像のそれぞれを自動的にマッピングするステップと、前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定する、すなわち外科用器具（例えば、ニードルガイドアセンブリ、カテーテル、ニードル（針）、メス、ナイフ、プローブなど）を用いて前記標的の解剖学的対象物に到達するためにユーザに方向を提供するステップとを含む。

【0036】

１つの特定の実施形態では、本開示は、患者に神経ブロックを施行するために、撮像システム（例えば、超音波撮像システム）によって標的の神経を取り囲む解剖学的領域から生成された複数のリアルタイム２次元画像を使用して関心対象の標的の神経を位置特定し、そこに到達させるために、ユーザ（例えば、医療従事者）にナビゲーション方向を提供するための撮像システムおよび方法に関する。図１を参照すると、標的神経は、患者８０への神経ブロックの施行に関連し得る。本開示によって企図される神経ブロックの例として、首の斜角筋間の腕神経叢ブロック（インタースケーラ腕神経ブロック）５２、鎖骨上神経ブロック５４、鎖骨下神経ブロック５６と、腋窩神経ブロック５８、大腿神経ブロック６０、坐骨神経ブロック６２、内転筋管神経ブロック６４と、膝窩神経ブロック６６、伏在神経ブロック６８と、腸骨筋膜下神経ブロック７０、胸郭腰椎神経ブロック７２、横隔膜腹部平面（ＴＡＰ）神経ブロック７４と、肋間神経ブロック７６と、胸部脊椎神経ブロック７８などが挙げられる。

【0037】

例えば、インタースケーラ腕神経ブロック５２を取り囲む解剖学的領域の詳細図を参照用として図２に示す。具体的には、解剖学的領域には、輪状軟骨２９、内頸静脈３１、外頸静脈３３、腕神経叢３４、胸鎖乳突筋３６、前斜角筋３７、中斜角筋３８、および後斜角筋４１が含まれる。本開示のシステムおよび方法を使用して、上述した様々な解剖学的対象物または構造は、以下により詳細に述べるように、検出、特定／ラベル付けおよびマッピングされ、それにより医療専門家が方向を提供されて、麻酔薬を送達するためにニードル挿入部位４７でニードル４５を標的神経４９に迅速かつ正確に挿入し、インタースケーラ腕神経ブロック５２を実施することが可能となる。

【0038】

図３および図４を参照すると、それがリアルタイムで生成された複数の個別画像１４を受け取り、編成するように構成された撮像システム１０の一実施形態が示されている。本明細書において、撮像システム１０は、超音波撮像システム（図示）、コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴撮像（ＭＲＩ）スキャナ、または本技術から利益を得ることができる任意の他の適切な撮像システムのいずれにも対応する。より具体的には、図示のように、撮像システム１０は、撮像システム１０によって生成された複数の画像１４を受信して編成するように構成されたコントローラ１７を含むことができる。コントローラ１７は、一般的に、様々なコンピュータ実装機能（例えば、所定の方法などを実施する機能、本明細書に開示されているような関連データを格納する機能など）を実行するように構成された１つ以上のプロセッサ１６および関連するメモリデバイス１８を、ユーザディスプレイ２０とともに含む。例えば、プロセッサ１６は、複数のリアルタイム２次元超音波画像４６から撮像システム１０によって生成された各画像１４内に含まれる複数のシーン１２を検出し、特定し、マッピングするように構成することができる。さらに、撮像システム１０は、個々の画像１４内に含まれる複数のシーン１２を生成および／または操作する際にユーザを補助するように構成された、コンピュータおよび／またはキーボードなどのユーザインタフェース２２を含むことができる。

【0039】

図４に示すように、コントローラ１７は、コントローラ１７と撮像システム１０の様々な要素（例えば、図３および図４の要素のいずれか）との間の通信を容易にする通信モジュール２４を含むこともできる。さらに、通信モジュール２４は、１つ以上の撮像システムプローブ２８（例えば、超音波プローブ）から送信された信号を、コントローラ１７および／またはプロセッサ１６によって理解され処理され得る信号に変換するセンサインタフェース２６（例えば、１つ以上のＡ／Ｄ変換器）を含むことができる。プローブ２８は、任意の適切な手段を使用して通信モジュール２４に通信可能に結合されてもよいことを理解されたい。例えば、図４に示すように、プローブ２８は、有線接続を介してセンサインタフェース２６に結合され得る。しかし、他の実施形態では、プローブ２８は、当技術分野で知られている任意の適切な無線通信プロトコルを使用するなどして、無線接続を介してセンサインタフェース２６に結合されてもよい。したがって、コントローラ１７は、プローブ２８から１つ以上の信号を受信するように構成され得る。

【0040】

本明細書で使用される「コントローラ」という用語は、コンピュータに含まれるものとして当技術分野で参照される集積回路を指すだけでなく、マイクロコントローラ、マイクロコンピュータ、プログラマブル論理コントローラ（ＰＬＣ）、特定用途向け集積回路 、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、および他のプログラマブル回路を含む。コントローラ１７はまた、高度な制御アルゴリズムを計算し、様々なイーサネット（登録商標）またはシリアルベースのプロトコル（Ｍｏｄｂｕｓ、ＯＰＣ、ＣＡＮなど）と通信するように構成されている。さらに、ある実施形態では、コントローラ１７は、クラウドコンピューティングのためにインターネットを介してサーバと通信して、ローカルデバイスの計算時間を短縮し、負担を軽減することができる。さらに、メモリデバイス１８は、一般に、コンピュータ可読媒体（例えば、ランダムアクセスメモリ（ＲＡＭ））、コンピュータ可読不揮発性媒体（例えば、フラッシュメモリ）、フロッピーディスク、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光磁気ディスク（ＭＯＤ）、デジタル多用途ディスク（ＤＶＤ）および／または他の適切な記憶素子を含むことができる。そのようなメモリデバイス１８は、一般に、コントローラ１７によって実装されたときに本明細書に記載のような様々な機能を実行するようにプロセッサ１６を構成する適切なコンピュータ可読命令を格納するように構成することができる。

【0041】

次に図５を参照すると、撮像システム１０が超音波撮像システムである場合、撮像システム１０のプローブ２８（例えば、超音波プローブ）は、トランスデューサハウジング２７と、トランスデューサトランスミッタ２３とを含み得る。一般に理解されるように、トランスデューサトランスミッタ２３は、超音波ビームを放射および／または受信するように構成される。したがって、トランスデューサトランスミッタ２３は、患者の標的の解剖学的対象物１４９（例えば、標的神経）を取り囲む解剖学的領域をスキャンするように、内部空洞（符合なし）内に構成することができる。撮像システム１０はまた、任意の適切な医療処置中に使用される器具１４５を含むことができ、器具１４５は、コントローラ１７を介して任意の適切な方法（例えば、無線、有線など）でプローブ２８に接続され、器具１４５の位置は、本明細書に記載の方法によって決定することができる。医療処置が神経ブロック処置である場合、器具１４５は、コントローラ１７を介して超音波プローブ２８に通信可能に連結されたニードルガイドアセンブリ８２であってもよく、この場合、コントローラ１７は、ニードル４５を介して麻酔薬を送達するためにニードルガイドアセンブリ８２が標的解剖学的対象物１４９（例えば、標的神経）に向かって動かされているときに、そのニードルガイドアセンブリ８２の位置特定をするように構成され得る。しかし、医療従事者によって実行される手順に応じて、ニードルガイドアセンブリ８２の代わりにメス、ナイフ、腹腔鏡または関節鏡プローブなどの任意の器具を使用することも可能なことを理解されたい。

【0042】

より具体的には、図示のように、ニードルガイドアセンブリ８２は、少なくともニードル４５およびカテーテル８３を含み得る。したがって、ニードル４５およびニードルガイドアセンブリ８２のカテーテル８３は、ある一定の順序で、または同時に、患者８０の皮膚８１に挿入され得ることが理解されよう。例えば、一実施形態では、超音波撮像システム１０は、カテーテル８３がニードル４５の上に同軸に取り付けられたオーバー・ザ・ニードル（ＯＴＮ）カテーテルアセンブリを含むことができる。あるいは、ニードル４５をカテーテル８３上に取り付けることができる。そのような実施形態では、ニードル４５は、カテーテル８３を標的神経４９に配置し、後で除去するように導入器として機能することができる。

【0043】

ここで図６〜図１４を参照すると、撮像システム１０によって生成された複数のリアルタイム２次元画像４６から取られた複数のシーン１２内に含まれる解剖学的対象物の自動検出、特定、およびマッピングしてユーザに方向を提供するための方法１００の一実施形態の概略図（図６〜図９）および流れ図（図１０）が示されており、前記リアルタイム２次元画像は、超音波撮像システムが使用されるときに複数のリアルタイム２次元画像４６の１つから生成されるシーン１２を含む画像１４を示す、ユーザディスプレイ２０からのスクリーンショット（図１１〜図１４）の様々な形態のように提供される。特定の実施形態では、関心対象の標的の解剖学的対象物３０および周囲の付加的な解剖学的対象物３２は、患者の任意の解剖学的構造および／または解剖学的構造の周囲組織を含み得る。より具体的には、図１１〜図１４に示す実施形態に示すように、神経ブロック手順が行われるべき場合、より具体的には神経ブロック手順がインタースケーラ腕神経ブロックである場合、検出、特定、およびマッピングされ得る関心対象の解剖学的対象物３０は、患者の斜角筋間の腕神経叢３４、即ち下側の４つの頸神経と第１の前胸神経の前枝によって形成される、脊髄から走っている神経のネットワークに概ね対応する。このように、腕神経叢３４は、頚部の頸同軸筋管を通過し、第１の肋骨を超えて、腋窩（すなわち、腋窩領域）の中に入る形で延びており、腋窩領域において上肢および頚／肩の筋肉の一部を支配する。さらに、腕神経叢３４の周囲の付加的な解剖学的対象物３２（例えば、組織）は、胸鎖乳突筋（ＳＭ）３６、中斜角筋（ＭＣＭ）３８、前斜角筋（ＡＳＭ）４０および／またはその類似物に対応する。医師が正しい標的神経に麻酔剤を適用するために、このような解剖学的対象物３０および３２の視野すなわちシーン１２によってリアルタイムでナビゲートすることは一般的に困難である。したがって、本開示のシステムおよび方法は、関心対象の標的の解剖学的対象物３０に関連する神経をブロックするために麻酔薬を迅速かつ正確に送達することができるように、画像１４で取り込まれた様々なシーン１２中の関心対象の標的の解剖学的対象物３０を検出し、特定し、マッピングするための改良された方法を提供し、それによって周辺の追加の解剖学的対象物３２、ランドマーク、組織などの周囲をナビゲートするためにユーザに方向が提供される。

【0044】

しかし、本開示のシステムおよび方法は、腕神経叢３４に関連するものに加えて、任意の解剖学的構造を含む任意の様々な医療処置にも使用され得ることを理解されたい。例えば、関心対象の標的の解剖学的対象物３０および周囲の付加的な解剖学的対象物３２または組織は、図１に記載された神経ブロックに関して上で説明した任意の解剖学的領域からのもの、または医療処置が行われるべき他の解剖学的領域からのものでもよい。また、図１１および１２を参照すると、撮像システム１０によって生成される画像１４は、関心対象の標的の解剖学的対象物３０を取り囲む解剖学的領域からのシーン１２を、それに隣接して配置されるオプションのタスクバー１５とともに含んでいる。加えて、タスクバー１５は、日付および時刻の他に、オープンボタン、スタートボタン、ストップボタンなどの他の適切な制御機能を含むことができる。他の実施形態では、タスクバー１５を省略することができる。画像１４は、任意の他の適切な制御および／または表示機能をさらに含み、ユーザインタフェース２２またはタッチスクリーン機能を介して制御されてもよいことも理解されたい。

【0045】

特に図６〜図９を参照すると、本発明の方法は、本開示のシステムを使用して、関心対象の解剖学的対象物３０（例えば、標的神経）を取り囲む解剖学的領域から収集された複数のリアルタイムの２次元スライス画像４６ａ、４６ｂ、４６ｃ、４６ｄ、４６ｅ、４６ｆ、４６ｇ、４６ｈ、４６ｉを生成することを含む。また、図７に示すように、複数の２次元スライス画像８４ａ、８４ｂ、８４ｃ、８４ｄ、８４ｅ、８４ｆ、８４ｇ、８４ｈ、８４ｉ、８４ｊを含むデータセット８４を予め取得しておき、データセット８４は、ディープラーニングネットワークを訓練するために使用され、ディープラーニングネットワークを使用して、標的の解剖学的対象物を取り囲む解剖学的領域からシーンを検出および特定／標識し、次いで、図６のリアルタイム２次元超音波画像４６ａ〜４６ｊに含まれる解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、標的解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム２次元画像のそれぞれをマッピングする。次に、図８を参照すると、ブロック４８において、リアルタイムの２次元超音波画像４６のシーン内に含まれる標的の解剖学的対象物３０または１４９および追加の解剖学的対象物３２および他のランドマーク／組織（図示せず）を自動的に検出し、次いでブロック５０で、医療専門家によって実行されている任意の医療処置中に連続的なナビゲーション追跡を提供するために、画像８４のデータセットによって既に訓練済みのディープラーニングネットワークを利用して、マッピングおよび継続的な追跡を行う。図６では１０個のリアルタイム２次元画像４６ａ〜４６ｊが生成され、１０個の画像８４ａ〜８４ｊを用いて図７の訓練されたデータセットを形成しているが、医療処置が行われている特定の標的の解剖学的対象物を取り囲む関心対象の解剖学的領域のサイズおよび複雑さに応じて、任意の数のリアルタイム２次元画像４６および／またはデータセット８４の画像を得ることが可能であることを理解されたい。例えば、最大約１００，０００個、例えば約５〜５０，０００個、約１０〜約１０，０００個、または他の適切な個数の異なるシーン画像を利用することができる。ブロック５０において、ディープラーニングネットワークを介して、解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいてリアルタイムの２次元画像４６がマッピングされた後、結果として得られるマッピングされた位置は、ブロック５１において、医療処置（例えば、神経ブロックの実施）の間、関心対象の標的の解剖学的対象物（例えば標的神経）の位置特定をするため、方向／連続ナビゲーション追跡をユーザに提供するために使用され得る。

【0046】

図９参照すると、連続ナビゲーション追跡は、反復重畳型ニューラルネットワーク、即ちリカレント・コンボリューショナルニューラルネットワーク９０の使用に基づいて行うことができる。リカレント・コンボリューショナルニューラルネットワーク９０は、時間スパン８８にわたってリアルタイム画像４６を処理することができ、テキスト、発話、数字等の形態でナビゲーションシステム９４に出力することができる、画像４６から特定されたシーンに存在する主要なランドマークを特定することができる。リカレント・コンボリューショナルニューラルネットワーク９０を使用することにより、より正確な検出および追跡のためにビデオ／画像の時間的相関関係を抽出可能とするために以前に処理されたフレーム（画像８４のデータセットなど）の履歴を保存することが確実に行える。図９に示すように、追跡システムの出力９２は、テキスト、音声／発話、または割り当てられたラベルおよび番号の形式であり得る。次いで、ナビゲーションシステム９４は、プローブ、器具などの現在の位置をナビゲーションシステムが知ることを決定するために、追跡システムから出力９２を受信する。標的の解剖学的対象物１４９、およびプローブ２８および／または器具１４５の現在位置に基づいて、ナビゲーションシステム９４は、ランドマークの予めプログラムされたルックアップテーブル９６を使用して、標的の解剖学的対象物１４９に向かう正しい経路を計算することができる。次に、ナビゲーションシステム９４は、撮像プローブ２８および／または器具１４５を上下左右に移動させる、角度を変えるなど、ユーザに案内および方向９８を提供する。そのような方向９８は、ユーザディスプレイ上に重ね合わされたテキストまたは矢印の形態で提供され得るか、または音声／発話の形態であり得る。

【0047】

次に、特に図１０を参照すると、符合１０２に示すように、方法１００は、一般的に関心対象の標的の解剖学的対象物（例えば、標的神経）を取り囲む解剖学的領域を選択することを含む。次に、符合１０４に示すように、方法１００は、関心対象の標的の解剖学的対象物を取り囲む解剖学的領域から複数のシーン１２の複数のリアルタイム２次元画像４６を生成し、複数のリアルタイム２次元画像１４をコントローラ１７に送信することを含む。

【0048】

符合１０６に示すように、方法１００はまた、複数の患者から受け取った２次元画像８４のデータセットを使用して、リアルタイム２次元超音波画像４６に含まれる標的の解剖学的対象物（例えば、追加の解剖学的対象物、ランドマーク、周囲組織など）を取り囲む解剖学的領域からのシーン１２を自動的に検出し特定するディープラーニングネットワークを開発し訓練することを含み、画像８４のデータセットは、関心対象の標的の解剖学的対象物を取り囲む解剖学的領域からの複数の画像からのシーンを、複数の患者のそれぞれについてスキャンして収集することによって生成される。したがって、各患者の複数のリアルタイム２次元画像４６に含まれる各シーン１２からの標的の解剖学的対象物、追加の解剖学的対象物、ランドマーク、周囲組織、またはそれらの組み合わせにラベル付けまたは注釈付けをして、複数の画像１４を形成することができる。より具体的には、特定の実施形態では、ディープラーニングネットワークは、１つ以上のディープコンボリューショナルニューラルネットワーク（ＣＮＮ）、１つ以上のリカレントニューラルネットワーク、または任意の他の適切なニューラルネットワーク構成を含み得る。機械学習では、ディープコンボリューショナルニューラルネットワークは、一般的に、そのニューロン間の接続パターンが、動物の視覚野（その個々のニューロンが、視野をタイリングする重複領域に応答するように配置されている）の構成に影響されるフィードフォワード人工ニューラルネットワークのタイプを指す。対照的に、リカレントニューラルネットワーク（ＲＮＮ）は、一般的に、ユニット間の接続が有向サイクルを形成する人工ニューラルネットワークのクラスを指す。そのような接続は、ネットワークが動的な時間的挙動を示すことを可能にするネットワークの内部状態を生成する。フィードフォワードニューラルネットワーク（コンボリューショナルニューラルネットワークなど）とは異なり、ＲＮＮは内部メモリを使用して任意の入力シーケンスを処理できる。したがって、ＲＮＮは、リアルタイムで解剖学的対象物をよりよく特定して追跡するために画像フレーム間の相関を抽出することができる。

【0049】

特定の実施形態では、コントローラ１７は、標的の解剖学的対象物３０または１４９、ランドマーク４２、および／または追加の解剖学的対象物（例えば、組織）３２を含むリアルタイム２次元画像４６のシーン１２を自動的に検出し特定するために、グランドトゥルースデータを使用してディープニューラルネットワークを訓練および／または開発することができる。例えば、特定の実施形態では、コントローラ１７は、標的の解剖学的対象物３０または１４９、追加の解剖学的対象物３２、ランドマーク４２などを含むシーン１２を自動的に検出および特定するために、ディープニューラルネットワークを最初に訓練するように構成することができる。より具体的には、特定の実施形態では、コントローラ１７がオフラインの間に初期訓練を完了することができる。別の実施形態では、コントローラ１７は、初期訓練が完了した後、標的の解剖学的対象物３０または１４９、追加の解剖学的対象物３２、ランドマーク４２などを含むシーン１２を自動的に検出するために、ディープニューラルネットワークをオンラインで連続的に訓練するように構成することができる。

【0050】

より具体的には、特定の実施形態では、コントローラ１７は、複数の患者からの標的の解剖学的対象物３０または１４９、付加的な解剖学的対象物３２、ランドマーク４２などの画像８４のデータセットをスキャンして収集することによって、視野内の新たに取り込まれたデータからディープニューラルネットワークを連続的に訓練して、シーン１２に存在する標的の解剖学的対象物３０または１４９、追加の解剖学的対象物３２、ランドマーク４２などを自動的に検出する。例えば、特定の実施形態では、数百および／または数千の画像を複数の患者からスキャンして収集し、メモリデバイス１８を介して画像８４のデータセットに格納することができる。さらに、格納する前に、画像８４のデータセットに、ユーザの入力に基づいて注釈付けをして、グランドトゥルースデータを作成することができる。例えば、特定の実施形態では、医師は、専門家としての知識に基づいて画像８４のデータセットに注釈付けして手動で特定して、データセットの各画像内の標的の解剖学的対象物３０、追加の解剖学的対象物３２、ランドマーク４２等を検出して特定する際にディープラーニングネットワークを助けることができる。このように、本明細書においてグランドトゥルースデータとは、一般的に、推論によって提供される情報とは対照的に、現場の専門家が直接観察することによって提供される情報を指す。したがって、本開示のディープラーニングネットワークは、動作中に人間の脳を模倣するように構成される。

【0051】

特定の実施形態では、画像８４のデータセットを複数のグループに分割することができる。例えば、一実施形態では、グラウンドトゥルースデータは、訓練データセットおよび妥当性検証データセットを含む少なくとも２つのグループに分割され得る。このように、特定の実施形態では、コントローラ１７は、訓練データセットを利用して、パラメータ空間のディープニューラルネットワークを訓練するように構成される。より具体的には、特定の実施形態では、コントローラ１７は、ディープニューラルネットワークの出力とグランドトゥルースデータとの間の誤差を最小にするべくコスト関数を最適化するように構成することができる。例えば、一実施形態では、誤差を最小化するべくコスト関数を最適化するステップは、グランドトゥルースデータの部分を反復的に処理し、ディープニューラルネットワークの出力とグランドトゥルースデータとの間の誤差に基づいて、ディープニューラルネットワークの１つ以上のパラメータを調整する確率的近似（確率的勾配降下（ＳＧＤ）アルゴリズムなど）を利用することを含む。本明細書において、確率的勾配降下は、一般に、微分可能な関数の和として書かれた目的関数を最小化するための勾配降下最適化方法の確率的近似を指す。より具体的には、一実施形態では、コントローラ１７は、ディープニューラルネットワークの出力とグランドトゥルースデータとの間の誤差を最小にするための教師付き学習を実施するように構成することができる。本明細書において、「教師付き学習」は、一般的に、ラベル付けされた訓練データから関数を推論する機械学習タスクを指す。

【0052】

しかし、コスト関数は、平均二乗誤差、ダイス係数、カテゴリ交差エントロピーなどの異なる方法で定義することができ、ＳＧＤおよびその亜種（Adam、Adadelta、Nestrovなど）を含むさまざまな方法を使用して最適化することができることを理解されたい。他の実施形態では、プロセッサ１６が、さらなるディープラーニング技術を実装することができ、そのような技術として、例えば、医療画像中の解剖学的対象物を検出するコンピュータエージェントを訓練するための強化学習、未ラベル付けデータを用いてニューラルネットワークおよびクラスタ対象物を事前に訓練するための教師なし学習、および／または当技術分野で現在公知であるかまたは後に開発された他の技術が挙げられる。そのような方法は、必要な訓練データが少ない、および／または報酬・処罰機能に依拠し、システムが特にラベル付けされたデータを提供する必要はない方法であり得る。

【0053】

別の実施形態では、方法１００は、コスト関数を最適化した後に、リアルタイムでディープラーニングネットワークを利用して、新しく捕捉されたデータとともに妥当性検証データに関する予測を自動的に提供することも含み得る。したがって、そのような実施形態では、コントローラ１７は、ディープニューラルネットワークが一般化できることを保証するために、予測をグラウンドトゥルースデータと比較するように構成されてもよい。言い換えると、コントローラ１７は、ディープニューラルネットワークが、訓練データに入っていない場合でも正確な予測を提供できることを確実にするように構成することができる。

【0054】

さらに図１０を参照すると、符合１０８で示すように、前記方法１００はまた、複数のリアルタイム２次元超音波画像４６のそれぞれを、解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的時間に基づいて関心対象の標的の解剖学的対象物を取り囲む解剖学的領域から自動的にマッピングすることを含む。マッピングは、図９に関して前に説明したように、追跡システムからの特定されたシーンとシステムにプログラムされたルックアップテーブルとに基づくことができる。

【0055】

さらに図１０を参照すると、符合１１０に示すように、方法は、医療処置（例えば、図５に示すニードル４５を介した神経ブロックの実施）中に、複数のリアルタイム２次元画像４６において特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、関心対象の標的の解剖学的対象物（例えば、標的神経）を位置特定するためにユーザ（例えば、医療専門家）に方向を提供することをさらに含む。ユーザが器具１４５（例えば、図２のニードル４５）を標的の解剖学的対象物１４９（例えば、図２の標的神経４９）に向かって動かすと、プローブ２８は同時に関心対象の解剖学的領域をスキャンし、撮像システム１０は同時に複数のリアルタイム２次元画像４６を生成して、前記方向が撮像システム１０のユーザディスプレイ２０上に注釈付きの形態でユーザに提供され得る。方向は、単独で、または撮像システム１０のユーザディスプレイ２０上に存在する注釈付きの方向と組み合わせて音声命令の形式で提供することもできることは理解されよう。医療専門家／ユーザが標的の解剖学的対象物３０または１４９の近くの領域をスキャンするとき、その現在の位置は、図９に記載されたリカレント・コンボリューショナルニューラルネットワーク（追跡システム）を使用して特定することができ、標的の解剖学的対象物３０または１４９（すなわち、図５参照）に到達する経路は、図９のナビゲーションシステム９４によって計算することができる。その経路に基づいて、医療従事者／ユーザに対して、プローブ２８および／または器具１４５を現在の位置から上下左右などに移動させ、また表面（患者の皮膚８１）に対するプローブ角度または器具角度を変更するように指示する矢印、テキスト、または音声／発話の形式で指示が与えられることになり、標的の解剖学的対象物３０または１４９が医療処置（例えば、神経ブロック）の撮像または実施のために正確に位置特定され得る。

【0056】

ここで図１１〜図１４を参照すると、医療処置が神経ブロックであり、撮像システムが超音波撮像システムである場合に、リアルタイム超音波画像４６から得られた様々な画像１４が示されており、この際にコントローラ１７は、画像１４上の解剖学的対象物３０、ランドマーク４２および／または周囲の組織３２にラベル付けするように構成されていた。より具体的には、特定の実施形態では、コントローラ１７は、画像１４上の標的の解剖学的対象物３０、追加の解剖学的対象物３２などの輪郭を描くように構成されてもよい。例えば、図１１および図１２に示すように、腕神経叢３４（すなわち、標的の解剖学的対象物３０）が、第１の厚さまたはパターンを有する境界線で輪郭が描かれる。加えて、図示されているように、様々な周囲の付加的な解剖学的対象物／組織３２は、腕神経叢３４の輪郭を描くために使用される第１の厚さまたはパターンとは異なる、第２の厚さを有する境界線で輪郭を描くことができる。したがって、ユーザは、解剖学的領域内の追加の解剖学的対象物／組織３２から関心対象の標的の解剖学的対象物３０を容易に特定して区別することができる。

【0057】

さらなる実施形態では、コントローラ１７は、リアルタイム２次元超音波画像４６上の標的の解剖学的対象物３０および／または周囲の付加的解剖学的対象物／組織３２の上に記述的ラベルを重ね合わせて、様々な注釈付き画像１４を得るように構成することができる。例えば、図１１に示すように、周囲の解剖学的対象物／組織３２は、医師による容易な特定のためにランドマーク４２（例えば、画像１４の右側）に番号を付けてラベル付けすることができる。あるいは、図１２に示すように、周囲の解剖学的対象物／組織３２は、線の種類によって、特に患者の体内の位置を示すランドマーク４２として特定され区別され得る。さらに別の実施形態では、図１３に示すように、周囲の解剖学的対象物／組織３２は、記述的な医学的名称を用いてラベル付けおよび陰影付けされ得る。さらに別の実施形態では、図１３に示すように、標的の解剖学的対象物３０をさらに画定し、および／またはセグメント化してもよい。このように、腕神経叢３４の場合、ユーザは、神経ブロック処置中に、別個の神経または神経束を容易に特定することができる。

【0058】

別の実施形態では、図１１〜図１４に示すように、コントローラ１７は、標的の解剖学的対象物３０および／または周囲の解剖学的対象物／組織３２の信頼レベル４４を決定するように構成することもできる。例えば、図１１および図１２に示すように、腕神経叢３４の位置の信頼レベル４４は、画像１４のタスクバー１５上に位置する。あるいは、図１３および１４を参照すると、腕神経叢３４の位置の信頼レベル４４の表示は、画像１４の特定されたシーン１２内に、例えば、標的の解剖学的対象物３０に隣接する位置に配置され得る。

【0059】

以上の説明では、本発明を開示するため、および当業者が、任意の装置またはシステムを製造および使用し、組み込まれた方法を実行することを含む本発明の実施を行えるようにするために最良の形態を含む実施形態を用いている。本発明の範囲は、特許請求の範囲の請求項の記載によって定義され、当業者が想到し得る他の実施形態を含むことができる。そのような他の実施形態は、特許請求の範囲の請求項の記載の表現と同じ要素を含む場合、または請求項の記載の表現との実質的に異なるが均等の要素を含む場合のいずれも本発明の範囲内に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】