特許 7134985 血管の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-02

(45)【発行日】2022-09-12

(54)【発明の名称】血管の検出

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220905BHJP

   A61B 1/045 20060101ALI20220905BHJP

   A61B 1/313 20060101ALI20220905BHJP

【ＦＩ】

G06T7/00 612

A61B1/045 618

A61B1/045 622

A61B1/313

【請求項の数】 17

(21)【出願番号】P 2019544690

(86)(22)【出願日】2018-03-19

(65)【公表番号】

(43)【公表日】2020-05-21

(86)【国際出願番号】 US2018023173

(87)【国際公開番号】W WO2018175339

(87)【国際公開日】2018-09-27

【審査請求日】2019-10-16

【審判番号】

【審判請求日】2021-09-24

(31)【優先権主張番号】62/474,774

(32)【優先日】2017-03-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516035068

【氏名又は名称】ヴェリリー ライフ サイエンシズ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】バラール，ジョエル ケー．

(72)【発明者】

【氏名】エロフェーエフ，ミハイル

【合議体】

【審判長】五十嵐 努

【審判官】田中 啓介

【審判官】川崎 優

(56)【参考文献】

【文献】国際公開第２０１６／１９４７１８号（ＷＯ，Ａ１）

【文献】井上 知紀 外４名、モルフォロジーフィルタバンクとニューラルネットワークを用いた眼底画像からの血管抽出、電子情報通信学会技術報告、一般社団法人電子情報通信学会、２０１５年 ２月２３日、ＭＩ２０１４－８３、ｐｐ．１３７－１４１

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T7/00-7/90

A61B1/045

A61B1/313

(57)【特許請求の範囲】

【請求項1】

血管検出のためのシステムであって、
前記血管の一連の画像を含むビデオデータを生成するために結合された画像センサーと、
患者の心拍数を測定し、前記心拍数に基づいて心拍数データを生成するための心拍数モニターと、
前記ビデオデータを受信するために前記画像センサーに結合され、前記心拍数データを受信するために前記心拍数モニターに結合されたコントローラであって、前記コントローラは、前記コントローラによって実行される場合に、前記コントローラに、
前記ビデオデータにおいて前記心拍数データを使用して前記血管の局所的な動きを分離することであって、前記局所的な動きは、前記患者の前記心拍数と実質的に同じである時間的周期性をもつ動きを含む、前記血管の局所的な動きを分離することと、
前記ビデオデータのうち前記血管の前記局所的な動きに相当する部分を示す血管マスクを計算することと、
前記血管の前記局所的な動きにおける異常を除去するために前記血管マスクをニューラルネットを適用してフィルタリングすることであって、前記ニューラルネットは、前記血管の樹状構造特性を認識するように訓練されている、前記血管マスクをフィルタリングすることと、
前記ビデオデータと前記血管マスクを含む結合されたビデオデータを計算することと
を含む操作を実行させる、論理を含む、コントローラと
を備える、システム。

【請求項2】

前記結合されたビデオデータを受信し、前記結合されたビデオデータの受信に応答して、前記血管マスクを前記一連の画像上に重ね合わせて前記一連の画像を表示するために前記コントローラに結合されたディスプレイをさらに備える、請求項１に記載のシステム。

【請求項3】

前記画像センサーは、ロボット手術用システムまたは内視鏡システムの少なくとも１つ内に含まれる、請求項１に記載のシステム。

【請求項4】

前記コントローラは、前記コントローラによって実行される場合に、前記コントローラに、
前記ビデオデータからバルク運動を除去すること
を含む操作を実行させる、論理をさらに含む、請求項１に記載のシステム。

【請求項5】

前記ビデオデータからバルク運動を除去することは、
前記一連の画像内の連続的画像を比較して、閾値振幅よりも大きい振幅を有する連続的画像間の動きを除去すること、または
前記ビデオデータを前記血管の前記局所的な動きを示さない低解像度のビデオデータに変換すること、および前記低解像度のビデオデータに示されている動きを前記ビデオデータから除去すること
の少なくとも１つを含む、請求項４に記載のシステム。

【請求項6】

前記コントローラは、前記コントローラによって実行される場合に、前記コントローラに、
前記血管の前記局所的な動きを分離する前に、前記局所的な動きを、ラグランジュ動き検出またはオイラー動き検出の少なくとも１つで拡大すること
を含む操作を実行させる、論理をさらに含む、請求項１に記載のシステム。

【請求項7】

前記画像センサーは、血管を含む前記一連の画像を収集するために非可視光を吸収する、請求項１に記載のシステム。

【請求項8】

血管の動きベース検出の方法であって、
患者の血管の一連の画像を含むビデオデータを受信することと、
前記患者の心拍数に基づいて生成される心拍数データを受信することと、
前記ビデオデータ内の前記血管の局所的な動きを、前記心拍数データを使用して、プロセッサで分離することであって、前記局所的な動きは、前記患者の前記心拍数と実質的に同じである時間的周期性をもつ動きを含む、前記血管の局所的な動きを分離することと、
血管マスクを前記プロセッサで計算することであって、前記血管マスクは、前記ビデオデータのうち前記血管の前記局所的な動きに相当する部分を示す、血管マスクを計算することと、
前記血管の前記局所的な動きにおける異常を除去するために前記血管マスクをニューラルネットを適用してフィルタリングすることであって、前記ニューラルネットは、前記血管の樹状構造特性を認識するように訓練されている、前記血管マスクをフィルタリングすることと、
結合されたビデオデータを計算することであって、前記結合されたビデオデータは前記ビデオデータおよび前記血管マスクを含む、結合されたビデオデータを計算することとを含む、方法。

【請求項9】

前記結合されたビデオデータをディスプレイに出力することをさらに含み、前記ディスプレイが前記結合されたビデオデータを受信するのに応答して、前記ディスプレイは、前記血管マスクを前記一連の画像上に重ね合わせて前記一連の画像を示す、請求項８に記載の方法。

【請求項10】

ユーザーからの入力に応答して、前記ディスプレイ上に表示される前記一連の画像から前記血管マスクを除去することをさらに含む、請求項９に記載の方法。

【請求項11】

前記一連の画像を捕捉することは、内視鏡または手術ロボットの少なくとも１つ内に配置された画像センサーを使用することを含む、請求項８に記載の方法。

【請求項12】

前記ビデオデータからバルク運動を除去することをさらに含む、請求項８に記載の方法。

【請求項13】

バルク運動を除去することは、
前記一連の画像内の連続的画像を比較して、閾値振幅よりも大きい振幅を有する動きを除去すること、または
前記ビデオデータを前記血管の前記局所的な動きを示さない低解像度のビデオデータに変換すること、および前記低解像度のビデオデータに示されている動きを前記ビデオデータから除去すること
の少なくとも１つを含む、請求項１２に記載の方法。

【請求項14】

前記結合されたビデオデータはアルファブレンディングを使用して計算される、請求項８に記載の方法。

【請求項15】

少なくとも１つの機械可読記録媒体であって、機械によって実行される場合、前記機械に、
患者の血管の一連の画像を含むビデオデータを受信することと、
前記患者の心拍数に基づいて生成される心拍数データを受信することと、
前記ビデオデータ内の前記血管の局所的な動きを、前記心拍数データを使用して、プロセッサで分離することであって、前記局所的な動きは、前記患者の前記心拍数と実質的に同じである時間的周期性をもつ動きを含む、前記血管の局所的な動きを分離することと、
血管マスクを計算することであって、前記血管マスクは、前記ビデオデータのうち前記血管の前記局所的な動きに相当する部分を示す、血管マスクを計算することと、
前記血管の前記局所的な動きにおける異常を除去するために前記血管マスクをニューラルネットを適用してフィルタリングすることであって、前記ニューラルネットは、前記血管の樹状構造特性を認識するように訓練されている、前記血管マスクをフィルタリングすることと、
結合されたビデオデータを計算することであって、前記結合されたビデオデータは前記ビデオデータおよび前記血管マスクを含む、結合されたビデオデータを計算することとを含む操作を実行させる命令を提供する、機械可読記録媒体。

【請求項16】

少なくとも１つの機械可読記録媒体であって、機械によって実行される場合、前記機械に、
患者の血管の一連の画像を含むビデオデータを受信することと、
前記患者の心拍数データを受信することと、
前記血管の局所的な動きを分離する前に、前記ビデオデータにおける前記血管の前記局所的な動きを、ラグランジュ動き検出またはオイラー動き検出の少なくとも１つで拡大すること、
前記心拍数データを用いて前記ビデオデータにおける前記血管の前記局所的な動きを分離することと、
血管マスクを計算することであって、前記血管マスクは、前記ビデオデータのうち前記血管の前記局所的な動きに相当する部分を示す、血管マスクを計算することと、
前記血管の前記局所的な動きにおける異常を除去するために前記血管マスクをニューラルネットを適用してフィルタリングすることであって、前記ニューラルネットは、前記血管の樹状構造特性を認識するように訓練されている、前記血管マスクをフィルタリングすることと、
結合されたビデオデータを計算することであって、前記結合されたビデオデータは前記ビデオデータおよび前記血管マスクを含む、結合されたビデオデータを計算することと
を含む操作を実行させる命令を提供する、機械可読記録媒体。

【請求項17】

少なくとも１つの機械可読記録媒体であって、機械によって実行される場合、前記機械に、
患者の血管の一連の画像を含むビデオデータを受信することと、
前記患者の心拍数データを受信することと、
前記ビデオデータを前記血管の局所的な動きを示さない低解像度のビデオデータに変換すること、および前記低解像度のビデオデータに示されている動きを前記ビデオデータから除去することによって、前記ビデオデータからバルク運動を除去することと、
前記ビデオデータから前記バルク運動を除去した後、前記心拍数データを用いて前記ビデオデータにおける前記血管の前記局所的な動きを分離することと、
血管マスクを計算することであって、前記血管マスクは、前記ビデオデータのうち前記血管の前記局所的な動きに相当する部分を示す、血管マスクを計算することと、
前記血管の前記局所的な動きにおける異常を除去するために前記血管マスクをニューラルネットを適用してフィルタリングすることであって、前記ニューラルネットは、前記血管の樹状構造特性を認識するように訓練されている、前記血管マスクをフィルタリングすることと、
結合されたビデオデータを計算することであって、前記結合されたビデオデータは前記ビデオデータおよび前記血管マスクを含む、結合されたビデオデータを計算することと
を含む操作を実行させる命令を提供する、機械可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
［0001］ 本出願は２０１７年３月２２日に出願された、米国仮出願第６２／４７４，７７４号の利益を主張し、それは参照により全体として組み込まれる。本出願は、２０１８年３月１６日に出願された、米国出願第１５／９２３，３９９号にも関連し、それは参照により全体として組み込まれる。

【0002】

［0002］ 本開示は一般に、手術システムに関し、詳細には、コンピュータ支援手術に関するが、それに限らない。

【背景技術】

【0003】

［0003］ 近年では、コンピュータ支援手術は、既存の外科手術の限界を克服するためによく行われる方法になっており、場合によっては、手術を行っている医師の能力を向上させる。例えば、コンピュータ制御機器がなければ、医師は、自身の手のサイズおよびツールの限られた動きのために手術/観察できる範囲が限られ得る。これは、小さい、または深部の内部組織を手術する医師の能力を妨げる。

【0004】

［0004］ 開腹手術では、コンピュータ誘導式機器は、コンピュータ誘導式機器のより円滑なフィードバックアシスト動作によって、肋骨を広げるような手術を行う従来の（偶発的なミス）ツールに取って代わることができる。これらのようなロボットシステムは、侵襲的手術と一般的に関連付けられる組織損傷を低減または排除することが示されている。その上、これらの機器は、医師が手術中に偶発的なミスを犯すのを防ぎ得る。

【0005】

［0005］ しかし、手術における全ての進歩が必ずしも機械的なものである必要はなく、執刀中に外科医に通知するための診断方法が使用できる。例えば、特定の組織タイプが蛍光色素または同様のものでフラグを付けられ得る。しかし、多くの場合、これらの色素は非特異的（様々な組織を照らす）で、身体にとって幾分、有害であり得る。従って、コンピュータ誘導手術の分野に進歩の余地がある。

【0006】

［0006］ 本発明の非限定的で、包括的でない実施形態が、以下の図面を参照して説明され、図中、同様の参照番号は、特別の定めのない限り、様々な図を通して同様の部品を指す。図面は必ずしも原寸に比例しておらず、代わりに、説明されている原理の例示に重点が置かれている。

【図面の簡単な説明】

【0007】

【図1A】［0007］本開示の一実施形態に従った、血管を検出するための手術システム例である。

【図1B】［0008］本開示の一実施形態に従った、血管を検出するための手術システム例である。

【図2】［0009］本開示の一実施形態に従い、図１Ｂの手術システムで使用され得る内視鏡例である。

【図3】［0010］本開示のいくつかの実施形態に従った、血管の動きベース検出の方法を説明する流れ図である。

【発明を実施するための形態】

【0008】

［0011］ 血管を検出するための装置および方法の実施形態が本明細書で説明される。以下の記述では、多数の特定の詳細が、実施形態の完全な理解を提供するために記載される。しかし、当業者は、ここで説明される技術は特定の詳細の１つまたは複数がなくても、または他の方法、構成要素、材料などを用いて、実施できることを認識するであろう。他の場合には、周知の構造、材料、または操作は、ある態様が曖昧になるのを避けるために詳細に示されていないか、または説明されていない。

【0009】

［0012］ 本明細書全体を通して「１つの実施形態」または「一実施形態」への言及は、その実施形態に関連して説明される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態内に含まれることを意味する。従って、本明細書全体を通して様々な場所における句「１つの実施形態では」または「一実施形態では」の出現は、必ずしも全てが同じ実施形態に言及しているわけではない。さらに、特定の特徴、構造、または特性は、１つまたは複数の実施形態で任意の適切な方法で組み合わされ得る。

【0010】

［0013］ 表面の場合でさえ、血管（動脈、毛細血管、および静脈）は外科手術中に常に明確に視認できるわけではない。外科医が血管に近接して手術する場合、偶発的出血のリスクがある。かかる損傷は、手術を危うくする可能性があり、結果は悲惨であり得る。外科医がすぐに損傷に気付けば、外科医は凝固またはクリッピングを使用できるが、これらの選択肢の両方とも時間がかかり、凝固（例えば、単極または双極装置を使用）はチャーリング（ｃｈａｒｒｉｎｇ）を引き起こす。本開示は、血管を、内視鏡、手術ロボット、または他の手術支援装置から（外科医が見る）ビデオストリーム上に強調表示し、従って、血管に対する偶発的損傷のリスクを低減することを目的とする。

【0011】

［0014］ 一般に、本システムはここで、入力として（１）内視鏡からのビデオストリーム、および（２）手術を受けている患者の心拍数（例えば、心拍数モニターから）をとり、同じビデオストリームであるが血管が強調表示されたビデオストリームを出力する。多くの実施形態では、別の方法では知覚されない血管の動きが増幅され、心拍数ではない周波数の他の動き（手振れ、患者の動きなど）は増幅されないので、血管が視認できるようになる。増幅された血管の動きは次いで、血管のマスクを形成するために使用され得、そのマスクは、医師が手術を実施するために使用しているビデオストリーム上に重ね合わされる。かかる拡張されたビデオは、生ビデオの代わりに、手術中に外科医に提示され、従って、血管に対する偶発的損傷のリスクを低減することを意図する。

【0012】

［0015］血管マスクをソースビデオ上に重ね合わせることの１つの利点は、真陽性のアラート（ｔｒｕｅ ｐｏｓｉｔｉｖｅ ａｌｅｒｔ）の場合（すなわち、本方法は血管を正しく強調表示している）、外科医は静脈／動脈を無視しないであろう。偽陰性の場合（すなわち、血管は強調表示されなかった）でも、外科医は通常の手術野を見て、拡張現実がない場合に行っているように状況を評価できる－すなわち、本開示で説明する方法は、外科医が視覚的に利用可能な情報を除去することも隠すこともしていない。偽陽性の場合（すなわち、存在していない血管が強調表示された）、外科医はマスクをありそうにないと解釈して、それを無視し、かつ／または重ね合わせを無効にできる。従って、本システムは新しいリスクを生み出さず、同時に既存の手術リスクを低減する。一般に、外科医は結果を自身の解剖学的構造の知識の観点から見ることができ、本システムは指針として使用される。

【0013】

［0016］ 図１Ａは、本開示の一実施形態に従った、血管を検出するための手術システム例１００Ａである。手術システム１００Ａは、手術ロボット１０１、画像センサー１０３（例えば、ビデオカメラ）、心拍数モニター１０５、コンピュータ１０７（いくつかの実施形態では、プロセッサおよびメモリを含み得るコントローラをもつ）、およびディスプレイ１０９（強調表示された血管を示している画像１１１を表示している）を含む。

【0014】

［0017］ 図のように、画像センサー１０３は、手術を受けている患者の開胸部の上に位置付けられ、血管の一連の画像を含むビデオデータを生成するように結合されている。従って、画像センサー１０３は、外科医および手術ロボット１０１が見るものの画像をリアルタイムで捕捉する。しかし、好都合であれば、いくつかの実施形態では、画像センサー１０３は、視認できない一連の画像を収集するために非可視光を吸収し得る。これは、例えば、色素を放出するＩＲが患者に注入される場合に、血管を識別するのに役立ち得る。心拍数モニター１０５は、患者の心拍数を受信して心拍数データを生成するために結合される。図示している実施形態では、心拍数モニター１０５は患者の指に結合されて、心拍数を光学的に（例えば、光電脈波信号を）測定するが、他の実施形態では、心拍数は、心臓の拍動を見ることにより心拍数モニター１０５として機能する画像センサー１０３を使用するか、または電気インパルス（心臓の電気インパルスを測定する）によるなど、他の方法でモニターされ得る。

【0015】

［0018］ （コンピュータ１０７内に配置された）コントローラは、ビデオデータを受信するために画像センサー１０３に結合され、心拍数データを受信するために心拍数モニター１０５に結合される。図示されている実施形態では、画像センサー１０３および心拍数モニター１０５はコンピュータ１０７に直接（有線）結合されているが、他の実施形態では、介在する回路があり得、信号は無線でブロードキャストされ得る。同様に、いくつかの実施形態では、コントローラは分散システムの一部であり得る（例えば、多数のプロセッサおよびメモリ装置が画像処理を扱う計算において使用され得る）。図示されている実施形態では、コントローラは、心拍数データを使用して、ビデオデータ内の血管の局所的な動きを分離する。いくつかの実施形態では、局所的な動きは、患者の心拍数と実質的に同じである時間的周期性をもつ動きを含む。コントローラは次いで、（画像センサー１０３によって捕捉された）ビデオデータと血管の局所的な動きとの間の差を含む、血管マスクを計算し得る。次いで、コントローラは、ビデオデータと血管マスクを含む、結合されたビデオデータを計算し得る。

【0016】

［0019］ 図のように、結合されたビデオデータは次いで、ディスプレイ１０９に送信され、ディスプレイ１０９は、結合されたビデオデータを受信するためにコントローラ（コンピュータ１０７内）に結合される。結合されたビデオデータの受信に応答して、ディスプレイ１０９は、一連の画像上に血管マスクを重ね合わせて、一連の画像（ビデオストリーム）を示し得る。これは、血管が明瞭に示されている（実線）が臓器は見えにくい（破線）、画像１１１として示されている。血管マスクは一連の画像上に重ね合わされ、（人体内では一般に見られない）緑などのような鮮やかな色を使用することによって強調され得る。当業者は、本開示の教示に従い、血管を強調するための任意の数の方法があることを理解するであろう。

【0017】

［0020］ いくつかの実施形態（例えば、手術されている患者が完全にはじっとしていない）では、コントローラは、コントローラによって実行される場合に、コントローラにビデオデータからバルク運動（例えば、局所的な動きよりも大きな振幅を有する動き）を除去させる論理をさらに含み得る。これは、（時間的近隣を構築する）一連の画像内の連続的画像を比較して、閾値振幅よりも大きい振幅を有する連続的画像間の動きを除去することによって行われ得る。（バルク運動（例えば、呼吸、カメラの動き）を入力ストリームから除去する）ために、例えば、入力ビデオストリームの各フレームに対して、（１）その時間的近隣を構築することができる。全てのリアルタイム用途に対して、最小限の待ち時間しか導入されないように左側の近隣が使用できる（すなわち、対象のフレームより前のフレームだけが使用される）。心拍数は典型的には６０～１００ｂｐｍであるので、数秒の時間的近隣で十分なはずである。そして、大きなブロック（例えば、＞１６×１６ピクセル）をもつビデオエンコーダで使用される動き推定法に倣って、（２）現在のフレームの近隣の全てのフレームをワープする。これは、バルク運動を除去するが、もっと小さい規模で生じている動きは保持する。代替または追加として、プロセッサはビデオデータを（血管の局所的な動きを示さない）低解像度のビデオデータに変換し、低解像度のビデオデータに示されている動きをビデオデータから除去し得る。

【0018】

［0021］ いくつかの実施形態では、コントローラは、血管の局所的な動きにおける異常を除去するために血管マスクをフィルタリングもし得る。例えば、フィルタリングは、ニューラルネットによって（例えば、放射基底関数、自己組織化ネットワーク、学習ベクトル量子化、または同様のものを利用して）実行され得、ニューラルネットは、血管（例えば、血管の樹状構造特性）を認識するように訓練されている。

【0019】

［0022］ 図示される実施形態では、手術ロボット１０１の一部だけが示されている（ページ外に置かれた他の部分があり得る）。また、手術ロボット１０１は２本のアームを持ち、１本は画像センサー１０３を備え、１本は外科用メスを備える。しかし、他の実施形態では、手術ロボット１０１は、様々な器具（鉗子、ピンセットなど）を備えた任意の数のアームを有し得る。図のように、アームは、複数の自由度を備えたいくつかの関節を有し得、そのため本システムは外科医と同じか、またはそれ以上の自由度で自由に動くことができる。追加として、手術ロボット１０１は、ロボット１０１のアーム／器具内に配置された圧力／歪み／応力センサーによって外科医に触覚フィードバックを提供し得る。その上、複数の画像センサー１０３が一連の画像を形成するために使用され得、画像はつなぎ合わされるか、または同様にされ得る。心拍数の測定値に明らかな誤りがある場合には（または複数の測定値を平均化してデータの安定性を確実にするために）、複数の心拍数モニター、または異なるタイプの心拍数モニターが、冗長データをシステムに提供するために使用され得る。

【0020】

［0023］ 図１Ｂは、本開示の一実施形態に従った、血管を検出するための手術システム例１００Ｂである。手術システム１００Ｂは、図１Ａの手術システム１００Ａに多くの点で類似しているが、１つの大きな違いは、患者の血管の画像を提供するために、手術ロボットの代わりに内視鏡１２１が使用されることである。その上、内視鏡１２１は、外科医の可動性／器用さを向上させるために画像をコントローラ（コンピュータ１０７内）に無線で転送し得る。内視鏡１２１は、狭い領域を撮像して小手術を実施するために患者に挿入され得る（図示のとおり）。システム１００Ｂでは、開示する血管検出システムおよび方法は、当業者が認識するように、様々な外科手術および器具と互換性があることを例示する。

【0021】

［0024］ 図２は、本開示の一実施形態に従い、図１Ｂの手術システム１００Ｂで使用され得る内視鏡例２２１である。内視鏡２２１は、光ファイバーケーブル２２３、本体２２５、画像センサー２２７、光源２３１、および電力変換器２３３を含む。

【0022】

［0025］ 内視鏡システム２２１は、近位端（手持ち側）、および遠位端（画像センサー２２７に最も近い光ファイバーケーブル２２３の端部）を含む。光源２３１は、光ファイバーケーブル２２３の近位端に光学的に結合されて、可視光２２９を遠位端から出力するために光ファイバーケーブル２２３内に放出する。画像センサー２２７は、光ファイバーケーブル２２３の遠位端に結合されて、可視光２２９の反射を反射可視光として受信するように位置付けられる。画像センサー２２７は次いで、ビデオデータを形成し得る一連の画像を生成する。このビデオデータは次いで、プロセッサ２４３を備えたコントローラを含み得るコンピュータシステム２４１に送信される。コンピュータシステム２４１は、内視鏡２２１の内部または外部であり得る。内視鏡２２１はまた、（画像データを送信するために）データ入力／出力２４５に、かつ内視鏡２２１に電力を供給するために電力入力２４３にも結合される。

【0023】

［0026］ 図３は、本開示のいくつかの実施形態に従った、血管の動きベース検出の方法を説明する流れ図である。プロセスブロックの一部または全部が方法３００内に出現する順序は、限定と見なされるべきではない。むしろ、本開示の利益を得る当業者は、方法３００の一部は、例示されていない様々な順序で、または並行してさえ、実行され得ることを理解するであろう。その上、プロセスブロックは、本開示の他の実施形態では追加または除去され得る。方法３００は、例示するように、少なくとも一部、循環的であり得る。

【0024】

［0027］ ブロック３０１は、ビデオストリームをコントローラ／プロセッサに入力することを示す。一実施形態では、これは、（血管を含む）一連の画像をビデオカメラで捕捉することを含み得、ビデオカメラは一連の画像からビデオデータを生成する。ビデオデータは次いで、処理装置に送信される。

【0025】

［0028］ ブロック３０３は、患者の心拍数を入力することを例示する。一実施形態では、これは患者の心拍数を心拍数モニターで記録することを含み得、心拍数モニターは患者の心拍数から心拍数データを生成する。心拍数モニターは心拍数データをプロセッサに送信し得る。

【0026】

［0029］ ブロック３０５はバルク運動削除を記述する。多くの実施形態では、患者またはカメラが動いて、血管の見え方が変わり得る可能性があるので、バルク運動削除は有用である。一般に、バルク運動は局所的な動きよりも大きい振幅の動きを有する（例えば、カメラがぶつかると、画像は、血管が脈動しているよりも大きく動く）。バルク運動削除は、捕捉されたビデオ内の連続的フレームのサブセット間で動きを解析するか、またはビデオデータを（血管の局所的な動きを示さない）低解像度のビデオデータに変換して、低解像度のビデオデータに示される動きをビデオデータから除去することを含むがそれらに制限されない、いくつかの方法で達成できることを当業者は理解し得る。他の既知のビデオ安定化技術も使用され得る。

【0027】

［0030］ ブロック３０７は、局所的な血管の動きの分離を示す。それぞれ、ビデオカメラおよび心拍数モニターからそれぞれ、ビデオデータおよび心拍数データがプロセッサで受信された後、ビデオデータ内の血管の局所的な動きが、患者の心拍数を使用して、プロセッサにより分離され得る。例えば、心拍数は、実質的に患者の心拍と同じ速度で脈打っている／動いている画像の部分を識別するために使用され得る。言い換えれば、局所的な動きは、実質的に患者の心拍数と同じである時間的周期性をもつ動きを含む。

【0028】

［0031］ 図のように、ブロック３０５は、拡大ブロック３２３を含む。いくつかの実施形態では、局所的な血管の動きは、正確な血管マップを作成するために拡大され得る。例えば、局所的な動きを分離する前に、局所的な動きは、ラグランジュ動き検出（Ｌａｇｒａｎｇｉａｎ ｍｏｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）またはオイラー動き検出の少なくとも１つで拡大され得る。従って、別の方法では知覚されない血管の動きが増幅されるので、血管が視認できるようになる。周波数拡大（ｆｒｅｑｕｅｎｃｙ ｍａｇｎｉｆｉｃａｔｉｏｎ）範囲は、患者の心拍数＋／－心拍数モニターの精度、＋／－患者の心拍数の予期される変動、または何らかの他のマージンに設定され得る。これは、心臓の拍動によって生じなかった動きの拡大を回避する。

【0029】

［0032］ ブロック３０９は、血管マスクを計算することを例示する。いくつかの実施形態では、血管マスクは、ビデオデータと血管の局所的な動きとの間の差であり得る。従って、血管マスクを計算するために、プロセッサは、実質的に患者の心拍数と調和して脈打っているビデオデータの部分を取得し、脈動している画像の部分だけを示しているマスクを作成するために画像の他の部分を取り去り得る。一実施形態では、脈拍は約６０～８０ｂｐｍ（人のおおよその心拍数）で生じ得るが、これは投与された薬物、患者の健康状態、または同様のものに応じて変わり得る。

【0030】

［0033］ ブロック３１１は、血管マスクのフィルタリングを記述する。患者の心拍数に近い周期性で動く（血管以外の）画像の部分、または画像センサーからの画像アーチファクトさえあり得るので、血管マスクがフィルタリングされる。いくつかの実施形態では、これはニューラルネット３２１によって達成され得、そのためニューラルネット３２１は血管の樹状構造に似ていない画像の部分を除去する。同様に、適切な速度で脈動していない／動いていない画像の部分を除去するために高域通過または低域通過フィルタが使用され得、このフィルタリングは、空間的（例えば、血管であるには大き過ぎる構造）領域および時間的（例えば、血管であるにはあまりに遅く脈打っている構造）領域の両方で生じ得る。しかし、本開示の教示に従い、血管マスクをフィルタリングするために他のフィルタリング技術が使用され得ることを当業者は理解するであろう。その上、処理効率などを改善するために様々なフィルタリング技術が同時に使用できる。例えば、高域通過および低域通過フィルタは、ニューラルネット３２１を適用する前に使用され得、そのため明らかに誤ったアーチファクトが非常に少ないコンピューティング能力を使用して除去される。さらに、ニューラルネット３２１は、他の外科手術からの血管の画像で訓練して、血管の部分ビューだけを見るようにニューラルネット３２１を適応させ得る。その上、血管を認識するようにニューラルネット３２１を訓練する際に、人間がニューラルネット３２１を訂正し得る。

【0031】

［0034］ ブロック３１３は、血管マスクをビデオストリーム上に重ね合わせることを示す。一実施形態では、これは、結合されたビデオデータ（結合されたビデオデータはビデオデータおよび血管マスクを含む）を計算すること、および結合されたビデオデータをＵＳＢ、ＨＤＭＩ（登録商標）、または同様のものを介して、ディスプレイに出力することを伴い得る。一実施形態では、結合されたビデオデータはアルファブレンディングを使用して計算される。ディスプレイが結合されたビデオデータを受信するのに応答して、ディスプレイは、血管マスクを一連の画像上に重ね合わせた一連の画像を示す。いくつかの実施形態では、重ね合わせが、外科手術の部分に関して気が散る／煩わしい場合、外科医は画像表示から重ね合わせを除去するオプションを選択し得る。外科医からのこの入力に応答して、ディスプレイ上に示される一連の画像（ビデオ）から血管マスクが除去され得る。いくつかの実施形態では、本システムは音声応答であり得、そのため外科医はコマンドを叫び出すことができ、システムは応答する。例えば、外科医が「ＯＫ手術システム、血管の重ね合わせを止めてくれ」と叫び得、システムは重ね合わせを止める。これは外科医が、自分の手を使用することなく、ディスプレイの設定を変更するのを可能にし得る。

【0032】

［0035］ いくつかの実施形態では、リアルタイムを確実にするために、短期間の動きに対応するために従来のオプティカルフローまたは他の動き推定法を使用して（「過去」の近隣について計算した後）「過去」のマスクを現在のフレームに適用することができる。これは、リアルタイム画像捕捉はしばしば６０ｆｐｓで生じるが、心拍数は約７０ｂｐｍだけであるためである。

【0033】

［0036］ 上で説明したプロセスは、コンピュータソフトウェアおよびハードウェアに関して説明される。説明する技術は、有形的または持続的機械（例えば、コンピュータ）可読記憶媒体内に具現化された機械実行可能命令を構成し得、それは、機械によって実行される場合に機械に説明した操作を実行させる。追加として、本プロセスは、特定用途向け集積回路（「ＡＳＩＣ」）またはその他などの、ハードウェア内で具現化され得る。

【0034】

［0037］ 有形的機械可読記憶媒体には、機械（例えば、コンピュータ、ネットワーク装置、携帯情報端末、製造ツール、１つまたは複数のプロセッサのセットを備えた任意の装置など）によってアクセス可能な持続的形式で情報を提供する（すなわち、格納する）任意の機構を含む。例えば、機械可読記憶媒体には、記録可能／非記録可能媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置など）を含む。

【0035】

［0038］ 要約の記述を含め、本発明の例示する実施形態の前述の説明は、包括的であることも、本発明を開示する正確な形式に限定することも意図していない。本発明の特定の実施形態、およびそれに対する例は、本明細書では例示目的で説明されており、当業者が認識するように、様々な修正が本発明の範囲内で可能である。

【0036】

［0039］ これらの修正は、前述の発明を実施するための形態を踏まえて、本発明に行うことができる。以下の特許請求の範囲で使用される用語は本発明を本明細書で開示する特定の実施形態に限定すると解釈されるべきではない。むしろ、本発明の範囲は、以下の特許請求の範囲によって完全に決定され、それらはクレーム解釈の確立された原則に従って解釈されるものとする。

【0037】

独占的な財産または特権がクレームされる本発明の実施形態は次のように定義される。

【図1A】

【図1B】

【図2】

【図3】