特許 7395125 手術ツールの先端及び向きの決定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】手術ツールの先端及び向きの決定

(51)【国際特許分類】

   A61B 34/30 20160101AFI20231204BHJP

   A61B 34/20 20160101ALI20231204BHJP

【ＦＩ】

A61B34/30

A61B34/20

【請求項の数】 16

(21)【出願番号】P 2021564314

(86)(22)【出願日】2020-06-10

(65)【公表番号】

(43)【公表日】2022-07-01

(86)【国際出願番号】 IB2020055457

(87)【国際公開番号】W WO2020254920

(87)【国際公開日】2020-12-24

【審査請求日】2021-10-28

(31)【優先権主張番号】16/447,514

(32)【優先日】2019-06-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】チェン シャオジン

(72)【発明者】

【氏名】ホアン コ－カイ アルバート

(72)【発明者】

【氏名】リュウ ミン－チャン

【審査官】滝沢 和雄

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０２４１５７７（ＵＳ，Ａ１）

【文献】特表２０１８－５１３７５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２９７３１３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００７８３１５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１５８２０９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０１２２０７０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／３０

Ａ６１Ｂ ３４／２０

(57)【特許請求の範囲】

【請求項1】

システムであって、
１又は２以上のプロセッサと、
前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読記憶媒体に符号化され、かつ実行時に動作を実行するように作動可能であるロジックと、
を含み、前記動作は、
複数の画像フレームのうちの少なくとも１つの画像フレームを受け取るステップと、
前記少なくとも１つの画像フレーム内の手術ツールを検出するステップと、
手術ツールの１又は２以上の属性を決定するステップであって、１又は２以上の属性は、手術ツールの１又は２以上の構成要素、手術ツールの配置、手術ツールの１又は２以上の構成要素の配置、そして手術ツールの形状を含むステップと、
手術ツールの１又は２以上の属性に基づいて複数のキーポイントを生成するステップであって、複数のキーポイントの各々は手術ツールの異なる部分に対応し、少なくとも１つのキーポイントは手術ツールの先端に対応し、少なくとも１つのキーポイントは手術ツールの軸に対応するステップと、
前記複数のキーポイントに基づいて前記手術ツールの先端及び軸の位置を決定するステップと、
前記複数のキーポイントに基づいて前記手術ツールの先端及び軸の向きを決定するステップであって、前記向きは、軸の末端及び軸の基端にそれぞれ対応する前記複数のキーポイントを結ぶ直線の向きを含むステップと、
を含む、
ことを特徴とするシステム。

【請求項2】

前記動作はさらに、
手術ツールの複数の対応する部分の複数の向きを決定するステップと、
手術ツールの長さ及び／又は手術ツールの部分の長さを決定するステップと、
手術ツールの２又は３以上の部分の間の角度を決定するステップと、
を含むことを特徴とする、請求項１に記載のシステム。

【請求項3】

前記動作はさらに、妥当性検査プロセスを実行して不正確なキーポイントをなくすことを含むことを特徴とする、請求項１に記載のシステム。

【請求項4】

前記動作は、複数のキーポイントに基づいて前記手術ツールの向きを決定するステップを含むことを特徴とする請求項１に記載のシステム。
記載のシステム。

【請求項5】

前記動作は、実時間で手術ツールの先端の位置を決定するステップと手術ツールの向きを決定するステップを含むことを特徴とする、請求項１に記載のシステム。

【請求項6】

前記動作は、前記手術ツールの複数のキーポイントの各々に対するキーポイント信頼スコアを決定するステップを含み、各々のキーポイント信頼スコアは対応するキーポイントの決定の精度レベルを示し、所定の信頼閾値を下回るスコアを有するキーポイントは前記不正確なキーポイントと見なされることを特徴とする、請求項３に記載のシステム。

【請求項7】

前記動作は、ディープラーニングに基づいて手術ツールの先端の位置を決定するステップと手術ツールの向きを決定するステップを含むことを特徴とする請求項１に記載のシステム。

【請求項8】

プログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記プログラム命令は、１又は２以上のプロセッサによって実行された時に、動作を実行するように作動可能であり、前記動作は、
複数の画像フレームのうちの少なくとも１つの画像フレームを受け取るステップと、
前記少なくとも１つの画像フレーム内の手術ツールを検出するステップと、
手術ツールの１又は２以上の属性を決定するステップであって、１又は２以上の属性は、手術ツールの１又は２以上の構成要素、手術ツールの配置、手術ツールの１又は２以上の構成要素の配置、そして手術ツールの形状を含むステップと、
手術ツールの１又は２以上の属性に基づいて複数のキーポイントを生成するステップであって、複数のキーポイントの各々は手術ツールの異なる部分に対応し、前記複数のキーポイントのうちの少なくとも１つのキーポイントは手術ツールの先端に対応し、前記複数のキーポイントのうちの少なくとも１つのキーポイントは手術ツールの軸に対応するステップと、
前記複数のキーポイントに基づいて前記手術ツールの先端及び軸の位置を決定するステップと、
前記複数のキーポイントに基づいて前記手術ツールの先端及び軸の向きを決定するステップであって、前記向きは、軸の末端及び軸の基端にそれぞれ対応するキーポイントを結ぶ直線の向きを含むステップと、
を含む、
ことを特徴とするコンピュータ可読記憶媒体。

【請求項9】

前記動作は、前記手術ツールの先端に対応する少なくとも１つのキーポイントに基づいて手術ツールの先端の位置を決定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読記憶媒体。

【請求項10】

前記動作は、前記複数のキーポイントに基づいて、前記手術ツールの前記向きを決定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読記憶媒体。

【請求項11】

前記動作は、実時間で手術ツールの先端の位置を決定するステップと手術ツールの向きを決定するステップを含むことを特徴とする請求項８に記載のコンピュータ可読記憶媒体。

【請求項12】

前記動作は、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップとを、ディープラーニングに基づいて実行するステップを含むことを特徴とする請求項８に記載のコンピュータ可読記憶媒体。

【請求項13】

コンピュータによって実行する方法であって、
複数の画像フレームのうちの少なくとも１つの画像フレームを受け取るステップと、
前記少なくとも１つの画像フレーム内の手術ツールを検出するステップと、
手術ツールの１又は２以上の属性を決定するステップであって、１又は２以上の属性は、手術ツールの１又は２以上の構成要素、手術ツールの配置、手術ツールの１又は２以上の構成要素の配置、そして手術ツールの形状を含むステップと、
手術ツールの１又は２以上の属性に基づいて複数のキーポイントを生成するステップであって、複数のキーポイントの各々は手術ツールの異なる部分に対応し、少なくとも１つのキーポイントは手術ツールの先端に対応し、少なくとも１つのキーポイントは手術ツールの軸に対応するステップと、
前記複数のキーポイントに基づいて前記手術ツールの先端及び軸の位置を決定するステップと、
前記複数のキーポイントに基づいて前記手術ツールの先端及び軸の向きを決定するステップであって、前記向きは、軸の末端及び軸の基端にそれぞれ対応するキーポイントを結ぶ直線の向きを含むステップと、
を含む、
ことを特徴とする方法。

【請求項14】

更に前記手術ツールの前記先端に対応する前記少なくとも１つのキーポイントに基づいて、前記手術ツールの前記先端の前記位置を決定するステップを含むことを特徴とする請求項１３に記載の方法。

【請求項15】

更に前記複数のキーポイントに基づいて、前記手術ツールの前記向きを決定するステップを含むことを特徴とする、請求項１３に記載の方法。

【請求項16】

更に、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップを実時間で実行するステップを含むことを特徴とする請求項１３に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

[01] コンピュータ支援手術は、コンピュータ技術を使用して、内視鏡手術、腹腔鏡手術等を含む処置などの医療処置を誘導又は実行する。手術中に、外科医は、様々なツールを使用して、手術を行う必要がある場合がある。カメラ及びモニタは、外科医がロボットアームを使用して、複数の手術ツールを操作するのを助けることができる。しかしながら、手術中に手術ツールをモニタ上でよく見ることが困難である可能性がある。

【発明の概要】

【課題を解決するための手段】

【0002】

[02] 実装は、一般に、手術器具のツールの先端の位置及び手術器具の向きを決定することに関する。いくつかの実装では、システムは、１又は２以上のプロセッサを含み、前記１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読記憶媒体に符号化されるロジックを含む。前記ロジックは、実行時に、前記１又は２以上のプロセッサに動作を実行させるように作動可能であり、前記動作は、複数の画像フレームのうちの少なくとも１つの画像フレームを受け取るステップと、前記少なくとも１つの画像フレーム内の手術ツールを検出するステップと、前記手術ツールの先端の位置を決定するステップと、前記手術ツールの向きを決定するステップと、を含む。

【0003】

[03] 更に、前記システムについて、いくつかの実装では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップを含み、前記複数のキーポイントのうちの各キーポイントは、前記手術ツールの異なる部分に対応する。いくつかの実装では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップであって、前記複数のキーポイントのうちの少なくとも１つのキーポイントは、前記手術ツールの前記先端に対応する、ステップと、前記手術ツールの前記先端に対応する前記少なくとも１つのキーポイントに基づいて、前記手術ツールの前記先端の前記位置を決定するステップと、を含む。いくつかの実装では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップと、前記複数のキーポイントに基づいて、前記手術ツールの前記向きを決定するステップと、を含む。いくつかの実装では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップとを、実時間で実行するステップを含む。いくつかの実装では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップと、前記手術ツールの各キーポイントのキーポイント信頼スコアを決定するステップと、を含む。いくつかの実装では、前記ロジックは、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップとを、ディープラーニングに基づいて実行するステップを含む。

【0004】

[04] いくつかの実施形態では、プログラム命令を記憶した非一時的コンピュータ可読記憶媒体が提供される。前記命令は、１又は２以上のプロセッサによって実行された時に、前記１又は２以上のプロセッサに動作を実行させるように作動可能であり、前記動作は、複数の画像フレームのうちの少なくとも１つの画像フレームを受け取るステップと、前記少なくとも１つの画像フレーム内の手術ツールを検出するステップと、前記手術ツールの先端の位置を決定するステップと、前記手術ツールの向きを決定するステップと、を含む。

【0005】

[05] 更に、前記コンピュータ可読記憶媒体について、いくつかの実装では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップを含み、前記複数のキーポイントのうちの各キーポイントは、前記手術ツールの異なる部分に対応する。いくつかの実装では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップであって、前記複数のキーポイントのうちの少なくとも１つのキーポイントは、前記手術ツールの前記先端に対応する、ステップと、前記手術ツールの前記先端に対応する前記少なくとも１つのキーポイントに基づいて、前記手術ツールの前記先端の前記位置を決定するステップと、を含む。いくつかの実装では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップと、前記複数のキーポイントに基づいて、前記手術ツールの前記向きを決定するステップと、を含む。いくつかの実装では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップとを、実時間で実行するステップを含む。いくつかの実装では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの複数のキーポイントを生成するステップと、前記手術ツールの各キーポイントのキーポイント信頼スコアを決定するステップと、を含む。いくつかの実装では、前記命令は、実行時に動作を実行するように更に作動可能であり、前記動作は、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップとを、ディープラーニングに基づいて実行するステップを含む。

【0006】

[06] いくつかの実装では、方法は、複数の画像フレームのうちの少なくとも１つの画像フレームを受け取るステップを含む。前記方法は、更に、前記少なくとも１つの画像フレーム内の手術ツールを検出するステップを含む。前記方法は、更に、前記手術ツールの先端の位置を決定するステップを含む。前記方法は、更に、前記手術ツールの向きを決定するステップを含む。

【0007】

[07] 更に、前記方法について、いくつかの実装では、前記方法は、更に、前記手術ツールの複数のキーポイントを生成するステップを含み、前記複数のキーポイントのうちの各キーポイントは、前記手術ツールの異なる部分に対応する。いくつかの実装では、前記方法は、更に、前記手術ツールの複数のキーポイントを生成するステップであって、前記複数のキーポイントのうちの少なくとも１つのキーポイントは、前記手術ツールの前記先端に対応する、ステップと、前記手術ツールの前記先端に対応する前記少なくとも１つのキーポイントに基づいて、前記手術ツールの前記先端の前記位置を決定するステップと、を含む。いくつかの実装では、前記方法は、更に、前記手術ツールの複数のキーポイントを生成するステップと、前記複数のキーポイントに基づいて、前記手術ツールの前記向きを決定するステップと、を含む。いくつかの実装では、前記方法は、更に、前記手術ツールの前記先端の前記位置を決定するステップと、前記手術ツールの前記向きを決定するステップとを、実時間で実行するステップを含む。いくつかの実装では、前記方法は、更に、前記手術ツールの複数のキーポイントを生成するステップと、前記手術ツールの各キーポイントのキーポイント信頼スコアを決定するステップと、を含む。

【0008】

[08] 本明細書の残りの部分及び添付図面の参照により、本明細書に開示する特定の実装の特質及び利点の更なる理解を達成することができる。

【図面の簡単な説明】

【0009】

【図1】本明細書で説明する実装のために使用することができる例示的な作業環境のブロック図である。

【図2】いくつかの実装による、手術器具のツールの先端の位置及び手術器具の向きを決定するための例示的なフロー図である。

【図3】いくつかの実装による、手術ツール及び境界ボックスを含む例示的な画像フレームを示す図である。

【図4】いくつかの実装による、手術ツール及びキーポイントを含む例示的な画像フレームを示す図である。

【図5】いくつかの実装による、手術器具のツールの先端の位置及び手術器具の向きを決定するための例示的なフロー図である。

【図6】いくつかの実装による、手術器具のツールの先端の位置を決定するための例示的なフロー図である。

【図7】本明細書で説明するいくつかの実装のために使用することができる例示的なネットワーク環境のブロック図である。

【図8】本明細書で説明するいくつかの実装のために使用することができる例示的なコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0010】

[17] 実装は、一般に、手術器具のツールの先端の位置及び手術器具の向きを決定することに関する。本明細書でより詳細に説明するように、システムは、カメラから画像フレームを受け取る。様々な実装では、画像フレームは、ビデオストリームの一連の画像フレームのうちの１つとすることができる。システムは、画像フレームのうちの少なくとも１つの画像フレーム内の手術器具又はツールを検出する。システムは、更に、手術ツールの先端の位置を決定する。システムは、また、手術ツールの向きを決定する。

【0011】

[18] 図１に、本明細書で説明する実装のために使用することができる例示的な作業環境１００のブロック図を示す。本明細書で説明する様々な実装を実行するシステム１０２が示されている。システム１０２は、カメラ１０４を制御し、カメラ１０４は、作業領域１０６、すなわち手術領域のビデオを取り込む。ビデオは、カメラ１０４によって記録される手術ビデオとすることができる。システム１０２は、カメラ１０４に、ネットワーク１１０を介してカメラ１０４からビューアクライアント１０８にビデオストリームを送らせる。様々な実装では、ビデオを使用して、腹腔鏡手術中に外科医などのユーザを楽にすることができる。例えば、外科医が、組織と相互に作用するように作業領域１０６内に示される手術ツール１１２を操作している時に、外科医は、組織と相互に作用する手術ツール１１２の視覚画像を見ることができる。様々な実装では、外科医は、その手で直接的に及び／又はロボットアームで手術ツール１１２を操作していようと、手術ツール１１２の視覚画像を見ることもできる。本明細書でより詳細に説明するように、システム１０２は、カメラ１０４によって取り込まれる手術ツール１１２の特性を分析する。

【0012】

[19] 図２に、いくつかの実装による、手術器具のツールの先端の位置及び手術器具の向きを決定するための例示的なフロー図を示す。以下により詳細に説明するように、システムは、手術器具のツールの先端の位置を決定することを含む様々な機能を実行する。図１及び図２の両方を参照すると、ブロック２０２において、方法を開始して、システム１０２などのシステムが、少なくとも１つの画像フレームを受け取る。様々な実装では、受け取られた画像フレームは、システムがビデオストリームからアクセス又は取得する一連の画像フレームからのものである。ビデオストリームは、例えば、手術ビデオとすることができる。

【0013】

[20] ブロック２０４において、システム１０２は、画像フレーム内の手術ツール１１２などの手術ツールを検出する。いくつかの実装では、システムは、まず、受け取られた画像フレーム内の１又は２以上のオブジェクトを検出する。システム１０２は、オブジェクト認識技術を使用して、受け取られた画像内の特定のオブジェクトを検出することができる。

【0014】

[21] 図３に、いくつかの実装による、手術ツール１１２及び境界ボックス３０４を含む例示的な画像フレーム３０２を示す。図示のように、様々な実装では、システムは、最初に、画像フレーム３０２に示される場面において境界ボックス３０４内の手術ツール１１２又は対象の画像を検出する。

【0015】

[22] 境界ボックス３０４は、手術ツール１１２の境界を画定する視覚インジケータである。境界ボックス３０４は矩形として示されているが、境界ボックス３０４の実際の形状及びサイズは、手術ツールの形状及びサイズに応じて変えることができる。

【0016】

[23] ブロック２０６において、システム１０２は、手術ツールの先端の位置を決定する。様々な実装では、システムは、システムが生成するキーポイントに基づいて、手術ツールの先端の位置を決定する。

【0017】

[24] 図４に、いくつかの実装による、手術ツール１１２及びキーポイントを含む例示的な画像フレーム３０２を示す。手術ツール１１２上の様々な位置にキーポイント４０２、４０４、４０６、及び４０８を示す。キーポイント４０２及び４０４は、手術ツール１１２の先端に位置決めされる又は位置する。この特定の例では、手術ツール１１２はハサミ４１０を含み、キーポイント４０２及び４０４は、ハサミ４１０の先端に位置する。

【0018】

[25] ４つのキーポイントが示されているが、キーポイントの特定の数は、手術ツールの構成要素の数、構成、及び形状に応じて変えることができる。また、キーポイントの特定の数及び位置は、手術ツールの構成要素の数、構成、及び形状に応じて変えることができる。手術ツールの先端の位置を決定することを対象とする例示的な実装について、図５に関連して以下により詳細に説明する。

【0019】

[26] ブロック２０８において、システム１０２は、手術ツール１１２の向きを決定する。様々な実装では、システムは、システムが生成するキーポイントに基づいて、手術ツールの先端の位置を決定する。図４を更に参照すると、キーポイント４０６及び４０８は、手術ツール１１２の向き４１２を規定する。手術ツールの先端の向きを決定することを対象とする例示的な実装について、図６に関連して以下により詳細に説明する。

【0020】

[27] ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装では変更することができる。特定の実装に応じて、ステップの他の順番が可能である。いくつかの特定の実装では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。

【0021】

[28] 手術ツールの先端の位置及び向きは、外科医にとって重要な情報であり、多くの用途に使用することができる。例えば、手術ツールの先端及び向きは、安全性の目的のために、外科医に視覚フィードバックを提供することができる。いくつかの実装では、システムは、手術ツールの先端の位置を知って、関連する作業領域上にズームインして、外科医が手術ツールと対象組織との間の相互作用をより良く見るようにすることができる。換言すれば、実装は、外科医に最適な視角を提供する。これにより、非対象組織などの他のオブジェクト、作業又は手術領域内の補助ツールなどの他のツールによって、手術ツールの先端が妨げられるのを最小限にする又はなくす。いくつかの実装では、システムは、手術ツールの先端の動きを追跡している時に、ツールの手術ツールの先端の周囲の画像の品質を局部的に向上させることができる。

【0022】

[29] 実装は、また、トレーニング中の外科医のパフォーマンスの評価を容易にする。例えば、情報を使用して、手術中の外科医の精度及び／又は効率を判定することができる。このような情報を使用して、トレーニング中の外科医のパフォーマンスを、経験を積んだ外科医のパフォーマンスと比較することができる。更に、手術ツールの先端の位置特定は、例えば、光コヒーレンス断層撮影（ＯＣＴ）などの用途において断面図を位置合わせすることによって、手術対象（例えば、眼の網膜等）の近接推定を可能にする。他の例示的な用途分野は、自然ユーザインターフェイス設計、自動警告システム、意味的フィードバックシステム、スキル評価システム等を含むことができる。

【0023】

[30] 図５に、いくつかの実装による、手術器具のツールの先端の位置及び手術器具の向きを決定するための例示的なフロー図を示す。図４及び図５の両方を参照すると、ブロック５０２において、方法を開始して、システム１０２などのシステムが、画像フレーム３０２内の手術ツール１１２などのオブジェクトを検出する。いくつかの実装では、システムは、まず、受け取られた画像フレーム内の１又は２以上のオブジェクトを検出する。システム１０２は、オブジェクト認識技術を使用して、画像フレーム３０２内のオブジェクトを検出することができる。

【0024】

[31] ブロック５０４において、システムは、手術ツール１１２の属性又は特性を決定する。例えば、手術ツール１１２の属性は、手術ツール１１２の構成要素、手術ツール１１２及びその構成要素の配置、手術ツール１１２の形状等を含むことができる。システムが決定する手術ツール１１２の特定の属性は、画像フレーム内で検出及び識別される手術ツール又は対象のオブジェクトに応じて変えることができる。

【0025】

[32] ブロック５０６において、システムは、手術ツールのキーポイント４０２、４０４、４０６、及び４０８を生成する。様々な実装では、システムは、手術ツール１１２の属性に基づいてキーポイントを生成する。様々な実装では、各キーポイントは、手術ツールの異なる部分に対応する。例えば、図４に示すように、キーポイント４０２、４０４、４０６、及び４０８は、手術ツール１１２のポイント又は位置に対応する。いくつかの実装では、システムは、キーポイント４０２～４０８を、既知のタイプの手術ツールの予め規定されたキーポイントと照合し、キーポイントの数及びキーポイントの相対位置が、既知の手術ツールの予め規定されたポイント又は位置に対応する。

【0026】

[33] ブロック５０８において、システムは、キーポイント４０２、４０４、４０６、及び４０８に基づいて、手術ツール１１２の先端の位置を決定する。例えば、キーポイントのうちの少なくとも１つが、手術ツールの先端に対応する。システム１０２は、手術ツールの先端に対応する１つのキーポイントに基づいて、手術ツールの先端の位置を決定する。

【0027】

[34] ツールの先端の数は、特定の実装に応じて変えることができる。例えば、図示の実装では、手術ツール１１２はハサミ４１０を含む。システムは、手術ツール１１２の当該部分の形状に基づいて、ハサミ４１０を識別することができる。システムは、キーポイント４０２がツールの先端であること、及びキーポイント４０４がツールの先端であることを決定することもできる。

【0028】

[35] ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装では変更することができる。特定の実装に応じて、ステップの他の順番が可能である。いくつかの特定の実装では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。

【0029】

[36] 図６に、いくつかの実装による、手術器具のツールの先端の位置を決定するための例示的なフロー図を示す。図４及び図６の両方を参照すると、ブロック６０２において、方法を開始して、システム１０２などのシステムが、画像フレーム３０２内の手術ツール１１２などのオブジェクトを検出する。いくつかの実装では、システムは、まず、受け取られた画像フレーム内の１又は２以上のオブジェクトを検出する。システム１０２は、オブジェクト認識技術を使用して、画像フレーム３０２内のオブジェクトを検出することができる。

【0030】

[37] ブロック６０４において、システムは、手術ツール１１２の属性又は特性を決定する。システムは、図５のブロック５０４に関連して説明した実装と同様の方法で、このような属性又は特性を決定することができる。

【0031】

[38] ブロック６０６において、システムは、手術ツール１１２の属性に基づいて、キーポイント４０２、４０４、４０６、及び４０８を生成する。システムは、図５のブロック５０６に関連して説明した実装と同様の方法で、このような属性又は特性を決定することができる。様々な実装では、キーポイントは、手術ツールの部分をマッピングするランドマークとして機能することができる。

【0032】

[39] ブロック６０８において、システムは、キーポイント４０２、４０４、４０６、及び４０８の相対位置を決定する。例えば、システムは、異なるキーポイントペア間の距離を決定することができる。

【0033】

[40] ブロック６１０において、システムは、手術ツール１１２の向きを決定する。様々な実装では、システムは、複数のキーポイントに基づいて、手術ツールの向きを決定する。システムは、キーポイント（例えば、キーポイント４０６とキーポイント４０８）の間の直線状の線を決定して、手術ツールの２つのキーポイント間の部分が柄又は軸であると決定することができる。例えば、システムは、キーポイント４０６が手術ツール１１２の軸の末端にあること、及びキーポイント４０８が手術ツール１１２の軸の基端にあることを決定することができる。

【0034】

[41] 図示を容易にするために、手術ツール１１２の向きを、全体として軸の向きで示す。様々な実装では、システムは、また、手術ツール１１２の複数の部分の向きを決定する。例えば、システムは、ハサミ４１０が開閉している時に、及び手術ツール１１２が一般に動いている時に、ハサミ４１０の各刃の向きを決定することができる。

【0035】

[42] システムは、手術ツールの長さ及び／又は手術ツールの部分の長さを決定するために、一連の又は一列のキーポイントを決定することもできる。手術ツールが本体及び専門部分（例えば、ハサミ、グラバー等）などの複数の部分を有する場合、システムは、手術ツールの２又は３以上の部分の間の角度を決定することもできる。

【0036】

[43] ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、特定の実装では変更することができる。特定の実装に応じて、ステップの他の順番が可能である。いくつかの特定の実装では、本明細書で順次示される複数のステップは、同時に実行することができる。また、いくつかの実装は、示されるステップの全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のステップを有することができる。

【0037】

[44] 様々な実装では、手術ツールの先端の場所又は位置及び手術ツールの向きは、画像フレーム及び他のオブジェクト（例えば、組織、補助又は副ツール等）に対して２次元（２Ｄ）である。これにより、外科医が手術ツール１１２を操作して、手術ツール１１２の先端が他のオブジェクトによって妨げられるのを最小限にする又はなくすのを助ける。いくつかの実装では、システムは、対象手術ツールの３次元（３Ｄ）の向きを決定するために、第２のカメラ及び／又はディープラーニングを利用することができる。様々な実装では、システム１０２は、実時間で、手術ツールの先端の位置を決定し、手術ツールの向きを決定する。

【0038】

[45] システムは、キーポイント間のトポロジ関係及びキーポイントの妥当性検査を使用して、不正確なキーポイント予測をなくすことによって、高精度を達成する。例えば、様々な実装では、システムは、不正確なキーポイント予測をなくすために実行される妥当性検査プロセスを実行する。システムは、キーポイント間のトポロジ関係に基づいて、このような妥当性検査プロセスを実行することができる。例えば、システムは、２又は３以上のキーポイント間の距離を決定することができる。所与のキーポイントが他のキーポイントの一群又は一列から実質的に遠く離れている場合、システムは、所与のキーポイントをアウトライアとして見なすことができ、所与のキーポイントを無視することができる。システムは、これらの及び同様の技術を、対象手術ツールの異なる部分（例えば、ツールの先端、ツールの軸などのツールの構成要素等）に適用することができる。

【0039】

[46] いくつかの実装では、システムは、手術ツールの各キーポイントのキーポイント信頼スコアを決定することができる。様々な実装では、各キーポイント信頼スコアは、対応するキーポイントの決定の精度レベルを示す。信頼スコアは、低から高（例えば、０．０～１．０、０％～１００％、等）の範囲とすることができる。いくつかの実装では、所定の信頼閾値を下回る信頼スコアに関連するキーポイントは、アウトライアとして見なして無視することができる。所定の信頼閾値は、特定の実装に応じて変えることができる。いくつかの実装では、システムは、キーポイントの信頼スコアをランク付けして、所定のランク閾値を下回る信頼スコアに関連するキーポイントを削除することができる。所定のランク閾値は、特定の実装に応じて変えることができる。

【0040】

[47] 様々な実装では、システムは、ツール検出及び手術ツールのキーポイント推定のためにディープラーニングを使用する。ツール検出及び手術ツールのキーポイント推定に関連する情報から、システムは、更に、手術ツールの先端の位置を決定し、手術ツールの向きを決定する。いくつかの実装では、システムは、ディープラーニングに少なくとも部分的に基づいて手術ツールの先端の位置及び手術ツールの向きを決定することができる。様々な実装では、システムは、実時間で対象手術ツールの特徴を検出及び識別するためのトレーニングデータセットを構築するために、何千もの画像フレームを処理することができる。これにより、キーポイント予測の妥当性検査のためのトポロジ情報を統合することによって最適な結果を達成する。

【0041】

[48] 様々な実装では、システムは、ディープラーニングネットワークを利用して、画像フレーム内の対象手術ツールを含むオブジェクトを検出及び分類する。システムは、ディープラーニング技術を使用してツールを分類することができ、これにより、精度及び速度のために軽量モデルを提供する。システムは、ディープラーニングを使用して、ハサミなどの主要又は利き手手術ツールとグラスパーなどの副又は補助手術ツールとを区別することもできる。例えば、外科医は、グラスパーを使用して、特定の組織を掴んで、ハサミ又はクリッパーによって切断されるべき組織から引き離すことができる。

【0042】

[49] 様々な実装では、システムは、ディープラーニングネットワークを利用して、オブジェクトを様々なツール分類に分類する。いくつかの実装では、システムは、ディープラーニングネットワークによって学習された既知の特徴を使用してトレーニングされる分類器を使用する。システムは、既知の特徴を使用して、システムが画像フレーム内で認識する特徴に基づいて、ツールのタイプ又はツール分類を決定する。

【0043】

[50] 例示的な手術ツールがハサミ又はクリッパーである文脈において、様々な実装を説明するが、これらの実装及び他の実装は、他の様々なタイプのツールにも適用される。例えば、ツールは、メス、ハサミ、ノコギリ等などの切断又は切開器具を含むことができる。ツールは、バイポーラ鉗子及びイルリガートルを含むことができる。ツールは、平滑鉗子及び歯付き鉗子、タオルクランプ、血管クランプ、臓器保持器等などの把持又は保持器具を含むことができる。ツールは、クランプ、止血鉗子、非外傷性止血鉗子等などの止血器具を含むことができる。ツールは、Ｃ字形層状フック、鈍歯付きフック、鋭歯付きフック、溝付きプローブ、タンプ（ｔａｍｐ）鉗子等などの開創器具を含むことができる。ツールは、針保持器、外科用縫合針、ステープラー、クリップ、粘着テープ等などの組織統合器具及び材料を含むことができる。検出される特定のツールは、変わる場合があり、特定の実装に依存する。手術ツールの文脈において、実装を本明細書で説明するが、これらの実装及び他の実装を、他のツール（例えば、非手術ツール）に適用することもできる。

【0044】

[51] 利き手ツール（例えば、利き手手術ツール）を実時間で検出して識別することは、様々な自然ユーザインターフェイスにとって有益である。例えば、利き手ツールの位置が与えられると、カメラは自動的にツールの方に移動して、ツールが再び中心に位置するようにすることができる。これにより、ユーザ（例えば、外科医等）により良く見える。様々な実装では、ビデオのフレーム毎に利き手ツールを位置決めするために、異なるタイプのモデルをトレーニングすることができる。したがって、全ての予測を規則的に組み合わせて、最終結果を生成することができる。

【0045】

[52] 本明細書で説明する実装は、様々な利益を提供する。例えば、実装は、手術中に１又は２以上の手術ツールの先端の位置又は場所を決定する。実装は、また、手術中に手術ツールの様々な構成要素の向きを含む手術ツールの向きを決定する。

【0046】

[53] 本明細書で説明する実装は、異なる種類の手術のためのコンピュータベースの支援における様々な用途に使用することができる。例えば、実装は、内視鏡手術及び腹腔鏡手術を含む処置に適用することができる。実装を使用して、手術中にカメラを自動的に調整する（例えば、オートフォーカス等のために、手術ツールの先端を画像の中心に配置する）ことができる。実装は、手術中にロボットアームと共に使用することができる（例えば、カメラホルダ、ツールホルダ等）。実装を使用して、警告を与えることもできる（例えば、手術ツールの先端が臓器の特定の部分に近すぎる場合等）。

【0047】

[54] 図７に、本明細書で説明するいくつかの実装のために使用することができる例示的なネットワーク環境７００のブロック図を示す。いくつかの実装では、ネットワーク環境７００は、サーバ装置７０４及びネットワークデータベース７０６を含むシステム７０２を含む。ネットワーク環境７００は、また、直接又はシステム７０２を介して互いに通信することができるクライアント装置７１０、７２０、７３０及び７４０を含む。クライアント装置７１０、７２０、７３０及び７４０は、ビューアクライアント、カメラ、及び他の手術関連装置を含むことができる。ネットワーク環境７００は、また、ネットワーク７５０を含む。

【0048】

[55] 図示を容易にするために、図７は、システム７０２、サーバ装置７０４及びネットワークデータベース７０６の各々に対して１つのブロックを示し、クライアント装置７１０、７２０、７３０及び７４０については４つのブロックを示す。１つのクライアント装置を使用して手術処置のビデオを見る（例えば１人の外科医がビデオを見る）文脈において、いくつかの実装を説明するが、これらの実装及び他の実装は、複数のクライアント装置に適用することができる。例えば、他の内科医、及び／又は他の臨床医、及び／又は学生がビデオを見ることができる。

【0049】

[56] ブロック７０２、７０４及び７０６は、複数のシステム、サーバ装置及びネットワークデータベースを表すことができる。また、任意の数のクライアント装置が存在することができる。他の実装では、ネットワーク環境７００は、示される構成要素の全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のタイプの要素を含む他の要素を有することができる。様々な実装では、ユーザＵ１、Ｕ２、Ｕ３及びＵ４は、それぞれのクライアント装置７１０、７２０、７３０及び７４０を使用して、互いに又はシステム７０２と対話することができる。

【0050】

[57] 本明細書で説明する様々な実装では、システム７０２のプロセッサ及び／又は任意のクライアント装置７１０、７２０、７３０及び７４０のプロセッサが、本明細書で説明する要素（例えば、情報等）を、１又は２以上のディスプレイ画面上のユーザインターフェイスに表示させる。

【0051】

[58] 実装は、任意のネットワークシステムに適用することができ、かつ／又は個別ユーザに対してローカルに適用することができる。例えば、本明細書で説明する実装は、システム７０２及び／又は任意のクライアント装置７１０、７２０、７３０及び７４０によって実装することができる。システム７０２は、スタンドアロンコンピュータ、タブレットコンピュータ、スマートフォン等上で、本明細書で説明する実装を実行することができる。システム７０２及び／又はクライアント装置７１０、７２０、７３０及び７４０のいずれかは、個別に又は他の装置と組み合わせて、本明細書で説明する実装を実行することができる。

【0052】

[59] 図８に、本明細書で説明するいくつかの実装のために使用することができる例示的なコンピュータシステム８００のブロック図を示す。例えば、コンピュータシステム８００を使用して、図１のシステム１０２及び／又は図７のシステム７０２を実装するとともに、本明細書で説明する実装を実行することができる。いくつかの実装では、コンピュータシステム８００は、プロセッサ８０２と、オペレーティングシステム８０４と、メモリ８０６と、入力／出力（Ｉ／Ｏ）インターフェイス８０８とを含むことができる。様々な実装では、プロセッサ８０２を使用して、本明細書で説明する様々な機能及び特徴を実装するとともに、本明細書で説明する方法の実装を実行することができる。プロセッサ８０２は、本明細書で説明する実装を実行するものとして説明されているが、コンピュータシステム８００の任意の適切な構成要素又は構成要素の組み合わせ、又はコンピュータシステム８００又は任意の適切なシステムに関連する任意の適切な単複のプロセッサは、説明されるステップを実行することができる。本明細書で説明する実装は、ユーザ装置上、サーバ上、又はこれらの両方の組み合わせにおいて実行することができる。

【0053】

[60] コンピュータシステム８００は、また、ソフトウェアアプリケーション８１０を含み、ソフトウェアアプリケーション８１０は、メモリ８０６に又は他の任意の適切な記憶位置又はコンピュータ可読媒体に記憶することができる。ソフトウェアアプリケーション８１０は命令を与え、この命令によって、プロセッサ８０２は、本明細書で説明する実装及び他の機能を実行することができる。ソフトウェアアプリケーションは、１又は２以上のネットワーク及びネットワーク通信に関連する様々な機能を実行するためのネットワークエンジンなどのエンジンを含むこともできる。コンピュータシステム８００の構成要素は、１又は２以上のプロセッサ又はハードウェア装置の任意の組み合わせ、及びハードウェア、ソフトウェア、ファームウェア等の任意の組み合わせによって実装することができる。

【0054】

[61] 図示を容易にするために、図８は、プロセッサ８０２、オペレーティングシステム８０４、メモリ８０６、Ｉ／Ｏインターフェイス８０８及びソフトウェアアプリケーション８１０の各々に対して１つのブロックを示す。これらのブロック８０２、８０４、８０６、８０８及び８１０は、複数のプロセッサ、オペレーティングシステム、メモリ、Ｉ／Ｏインターフェイス及びソフトウェアアプリケーションを表すことができる。様々な実装では、コンピュータシステム８００は、示される構成要素の全てを有さなくてもよく、かつ／又は本明細書で示されるものの代わりに又はそれらに加えて、他のタイプの構成要素を含む他の要素を有することができる。

【0055】

[62] 特定の実施形態に関連して説明してきたが、これらの特定の実施形態は単なる例示であり、限定的なものではない。例に示される概念は、他の例及び実装に適用することができる。

【0056】

[63] 様々な実装では、ソフトウェアは、１又は２以上のプロセッサによって実行するための１又は２以上の非一時的コンピュータ可読媒体に符号化される。ソフトウェアは、１又は２以上のプロセッサによって実行された時に、本明細書で説明する実装及び他の機能を実行するように作動可能である。

【0057】

[64] 特定の実施形態のルーチンを実装するために、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語等を含む任意の適切なプログラミング言語を使用することができる。手続き型又はオブジェクト指向などの異なるプログラミング技術を使用することができる。ルーチンは、単一の処理デバイス又は複数のプロセッサ上で実行することができる。ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、異なる特定の実施形態では変更することができる。いくつかの特定の実施形態では、本明細書で順次示される複数のステップは、同時に実行することができる。

【0058】

[65] 特定の実施形態は、命令実行システム、装置、又はデバイスによって又はこれに関連して使用するための非一時的コンピュータ可読記憶媒体（機械可読記憶媒体とも呼ばれる）に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの両方の組み合わせにおいて制御ロジックの形態で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、本明細書で説明する実装及び他の機能を実行するように作動可能である。例えば、ハードウェア記憶装置などの有形媒体を使用して、実行可能命令を含むことができる制御ロジックを記憶することができる。

【0059】

[66] 特定の実施形態は、プログラマブル汎用デジタルコンピュータを使用することによって、及び／又は特定用途向け集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノ工学システム、構成要素及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、本技術分野で公知の任意の手段によって達成することができる。分散型、ネットワーク型システム、構成要素、及び／又は回路を使用することができる。データの通信又は転送は、有線、無線、又は任意の他の手段によるものとすることができる。

【0060】

[67] 「プロセッサ」は、データ、信号又は他の情報を処理する任意の適切なハードウェア及び／又はソフトウェアシステム、機構又は構成要素を含むことができる。プロセッサは、汎用中央処理装置を有するシステム、複数の処理装置、機能を実現するための専用回路、又は他のシステムを含むことができる。処理は、地理的位置に限定されるか又は時間的制約を有する必要はない。例えば、プロセッサは、「実時間」、「オフライン」、「バッチモード」等で、その機能を実行することができる。処理の一部は、異なる（又は同じ）処理システムによって、異なる時間及び異なる場所で実行することができる。コンピュータは、メモリと通信する任意のプロセッサとすることができる。メモリは、プロセッサによって実行するための命令（例えば、プログラム又はソフトウェア命令）を記憶するのに適した、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気記憶装置（ハードディスクドライブ等）、フラッシュ、光学記憶装置（ＣＤ、ＤＶＤ等）、磁気又は光ディスク、又は他の有形媒体などの電子記憶装置を含む、任意の適切なデータストレージ、メモリ及び／又は非一時的コンピュータ可読記憶媒体とすることができる。例えば、ハードウェア記憶装置などの有形媒体を使用して、実行可能命令を含むことができる制御ロジックを記憶することができる。命令は、例えば、サーバ（例えば、分散型システム及び／又はクラウドコンピューティングシステム）から配信されるサービス（ＳａａＳ）としてソフトウェアの形態で、電子信号に含まれて、電子信号として供給することもできる。

【0061】

[68] 図面／図に示す要素の１又は２以上は、より分離された又は一体化された方法で、又は特定用途に応じて有用であるような特定の場合には更に取り外されるか又は作動不能にされて実装することもできることも理解されるであろう。上記の方法のいずれかをコンピュータに実行させるために機械可読媒体に記憶することができるプログラム又はコードを実装することも本発明の精神及び範囲内である。

【0062】

[69] 本明細書の説明及び以下に続く特許請求の範囲で使用される「ａ、ａｎ（英文不定冠詞）」及び「ｔｈｅ（英文定冠詞）」は、文脈によって別途明確に指定しない限り、複数の参照物を含む。また、本明細書の説明及び以下に続く特許請求の範囲で使用される「内（ｉｎ）」の意味は、文脈によって別途明確に指定しない限り、「内（ｉｎ）」及び「上（ｏｎ）」を含む。

【0063】

[70] したがって、本明細書で特定の実施形態を説明したが、修正、様々な変更、及び置換の自由が、以上の開示において意図されており、場合によっては、説明する範囲及び精神から逸脱することなく、特定の実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用されることは理解されるであろう。したがって、特定の状況又は内容を実質的な範囲及び精神に適合させるように、多くの修正を行うことができる。

【符号の説明】

【0064】

１００ 作業環境
１０２ システム
１０４ カメラ
１０６ 作業領域
１０８ ビューアクライアント
１１０ ネットワーク
１１２ 手術ツール
２０２ 少なくとも１つの画像フレームを受け取る
２０４ 画像フレーム内の手術ツールを検出
２０６ 手術ツールの先端の位置を決定
２０８ 手術ツールの向きを決定
３０２ 画像フレーム
３０４ 境界ボックス
４０２，４０４，４０６，４０８ キーポイント
４１０ ハサミ
４１２ 向き
５０２ 画像フレーム内の手術ツールを検出
５０４ 手術ツールの属性又は特性を決定
５０６ キーポイントを生成
５０８ 手術ツールの先端の位置を決定
６０２ 画像フレーム内の手術ツールを検出
６０４ 手術ツールの属性又は特性を決定
６０６ キーポイントを生成
６０８ キーポイントの相対位置を決定
６１０ 手術ツールの向きを決定
７００ ネットワーク環境
７０２ システム
７０４ サーバ装置
７０６ ネットワークデータベース
７１０，７２０，７３０，７４０ クライアント装置
７５０ ネットワーク
８００ コンピュータシステム
８０２ プロセッサ
８０４ オペレーティングシステム
８０６ メモリ
８０８ 入力／出力（Ｉ／Ｏ）インターフェイス
８１０ ソフトウェアアプリケーション
Ｕ１，Ｕ２，Ｕ３，Ｕ４ ユーザ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】