▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022172134
(43)【公開日】2022-11-15
(54)【発明の名称】出血検出ユニットを有する手術用のシステム及び方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20221108BHJP
【ＦＩ】
A61B1/045 618
A61B1/045 622
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022127861
(22)【出願日】2022-08-10
(62)【分割の表示】P 2020104180の分割
【原出願日】2013-07-22
(31)【優先権主張番号】61/675,484
(32)【優先日】2012-07-25
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ザオ，ウェニイ
(72)【発明者】
【氏名】モーア，キャサリン ジェイ
(72)【発明者】
【氏名】ソージャー，ジョナサン エム
(57)【要約】 （修正有）
【課題】出血検出ユニットを有する手術用システムを提供する。
【解決手段】手術用システム２００の出血検出ユニット２４０Ｒ、２４０Ｌは、場面が手術室のディスプレイユニット２５１に提示される前に、取得された場面の情報を処理する。例えば、出血検出ユニットは、取得された場面の画素データを分析し、場面において血液の１つ以上の初期の部位が存在するか否かを決定する。血液の初期の部位の検出の際に、領域は、ディスプレイユニットに表示される場面において初期部位アイコンにより識別される。一態様では、処理はリアルタイムで行われ、これは、取得された場面を外科医に提示する際に実質的な遅延がないことを意味する。
【選択図】図２
【解決手段】手術用システム２００の出血検出ユニット２４０Ｒ、２４０Ｌは、場面が手術室のディスプレイユニット２５１に提示される前に、取得された場面の情報を処理する。例えば、出血検出ユニットは、取得された場面の画素データを分析し、場面において血液の１つ以上の初期の部位が存在するか否かを決定する。血液の初期の部位の検出の際に、領域は、ディスプレイユニットに表示される場面において初期部位アイコンにより識別される。一態様では、処理はリアルタイムで行われ、これは、取得された場面を外科医に提示する際に実質的な遅延がないことを意味する。
【選択図】図２
【特許請求の範囲】
【請求項1】
命令を格納するメモリと；
前記メモリに通信可能に結合されるプロセッサであって：
外科処置中に画像取得システムから、手術部位の場面の第１の画像を受信し；
前記外科処置中に前記第１の画像に基づいて、前記場面における血液の領域を識別し；
前記外科処置中かつ前記第１の画像の受信に続いて前記画像取得システムから、前記手術部位の前記場面の第２の画像を受信し、前記第２の画像は、前記場面における前記血液の領域を含み；
前記第１の画像及び前記第２の画像に基づいて、前記場面の前記血液の領域における血流の動きを推定し；
前記外科処置中に、前記第２の画像と前記場面の前記血液の領域における前記血流の動きを示す視覚的指標とを含む合成画像を表すデータを生成し；
前記外科処置中に、前記合成画像を、前記合成画像の表示のためにディスプレイユニットに送信する；
前記命令を実行するように構成される、プロセッサと；
を有する、システム。
前記メモリに通信可能に結合されるプロセッサであって：
外科処置中に画像取得システムから、手術部位の場面の第１の画像を受信し；
前記外科処置中に前記第１の画像に基づいて、前記場面における血液の領域を識別し；
前記外科処置中かつ前記第１の画像の受信に続いて前記画像取得システムから、前記手術部位の前記場面の第２の画像を受信し、前記第２の画像は、前記場面における前記血液の領域を含み；
前記第１の画像及び前記第２の画像に基づいて、前記場面の前記血液の領域における血流の動きを推定し；
前記外科処置中に、前記第２の画像と前記場面の前記血液の領域における前記血流の動きを示す視覚的指標とを含む合成画像を表すデータを生成し；
前記外科処置中に、前記合成画像を、前記合成画像の表示のためにディスプレイユニットに送信する；
前記命令を実行するように構成される、プロセッサと；
を有する、システム。
【請求項2】
前記視覚的指標は、前記血流の方向を示す１つ又は複数の矢印を含む、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項3】
前記プロセッサはさらに、所定のユーザ入力に応答して前記視覚的指標の前記ディスプレイユニットによる表示をオンにすること又はオフにすることの１つ又は複数を実行する前記命令を実行するように構成される、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項4】
前記プロセッサはさらに、血液検出処理から除外されることになる前記第２の画像の領域を選択する前記命令を実行するように構成され、
前記血流の動きを推定することは、前記第２の画像の選択された前記領域に基づかない、
請求項１に記載のシステム。
前記血流の動きを推定することは、前記第２の画像の選択された前記領域に基づかない、
請求項１に記載のシステム。
【請求項5】
前記第２の画像の前記選択された領域は、ユーザ入力又は前記外科処置を行うために使用される手術システムから受信される情報のうちの少なくとも１つに基づいて選択される、
請求項４に記載のシステム。
請求項４に記載のシステム。
【請求項6】
前記プロセッサはさらに、前記場面の前記血液の領域における前記血流のシミュレーションされた血流を表示するように前記ディスプレイユニットに指示する前記命令を実行するように構成される、
請求項１に記載のシステム。
請求項１に記載のシステム。
【請求項7】
前記プロセッサはさらに：
前記場面の前記血液の領域における複数の位置に含まれるそれぞれの位置における全体の動きを推定し；
それぞれの位置の前記血流の動きを推定するためにそれぞれの位置における前記全体の動きを補正する；
前記命令を実行するように構成される、
請求項１に記載のシステム。
前記場面の前記血液の領域における複数の位置に含まれるそれぞれの位置における全体の動きを推定し；
それぞれの位置の前記血流の動きを推定するためにそれぞれの位置における前記全体の動きを補正する；
前記命令を実行するように構成される、
請求項１に記載のシステム。
【請求項8】
前記プロセッサはさらに、それぞれの位置における平均の組織の動きを補うようにそれぞれの位置における推定された前記全体の動きを補正することによってそれぞれの位置における前記血流の動きを推定する前記命令を実行するように構成される、
請求項７に記載のシステム。
請求項７に記載のシステム。
【請求項9】
方法であって：
出血検出システムが、外科処置中に画像取得システムから、手術部位の場面の第１の画像を受信するステップと；
前記出血検出システムが、前記外科処置中に前記第１の画像に基づいて、前記場面における血液の領域を識別するステップと；
前記出血検出システムが、前記外科処置中かつ前記第１の画像の受信に続いて前記画像取得システムから、前記手術部位の前記場面の第２の画像を受信するステップであって、前記第２の画像は、前記場面における前記血液の領域を含む、ステップと；
前記出血検出システムが、前記第１の画像及び前記第２の画像に基づいて、前記場面の前記血液の領域における血流の動きを推定するステップと；
前記出血検出システムが、前記外科処置中に、前記第２の画像と前記場面の前記血液の領域における前記血流の動きを示す視覚的指標とを含む合成画像を表すデータを生成するステップと；
前記出血検出システムが、前記外科処置中に、前記合成画像を、前記合成画像の表示のためにディスプレイユニットに送信するステップと；
を含む、方法。
出血検出システムが、外科処置中に画像取得システムから、手術部位の場面の第１の画像を受信するステップと；
前記出血検出システムが、前記外科処置中に前記第１の画像に基づいて、前記場面における血液の領域を識別するステップと；
前記出血検出システムが、前記外科処置中かつ前記第１の画像の受信に続いて前記画像取得システムから、前記手術部位の前記場面の第２の画像を受信するステップであって、前記第２の画像は、前記場面における前記血液の領域を含む、ステップと；
前記出血検出システムが、前記第１の画像及び前記第２の画像に基づいて、前記場面の前記血液の領域における血流の動きを推定するステップと；
前記出血検出システムが、前記外科処置中に、前記第２の画像と前記場面の前記血液の領域における前記血流の動きを示す視覚的指標とを含む合成画像を表すデータを生成するステップと；
前記出血検出システムが、前記外科処置中に、前記合成画像を、前記合成画像の表示のためにディスプレイユニットに送信するステップと；
を含む、方法。
【請求項10】
前記視覚的指標は、前記血流の方向を示す１つ又は複数の矢印を含む、
請求項９に記載の方法。
請求項９に記載の方法。
【請求項11】
前記出血検出システムが、前記外科処置中に、所定のユーザ入力に応答して前記視覚的指標の前記ディスプレイユニットによる表示をオンにすること又はオフにすることの１つ又は複数を実行するステップをさらに含む、
請求項９に記載の方法。
請求項９に記載の方法。
【請求項12】
前記出血検出システムが、前記外科処置中に、血液検出処理から除外されることになる前記第２の画像の領域を選択するステップをさらに含み、
前記血流の動きを推定するステップは、前記第２の画像の選択された前記領域に基づかない、
請求項９に記載の方法。
前記血流の動きを推定するステップは、前記第２の画像の選択された前記領域に基づかない、
請求項９に記載の方法。
【請求項13】
前記出血検出システムが、前記場面の前記血液の領域における前記血流のシミュレーションされた血流を表示するように前記ディスプレイユニットに指示するステップをさらに含む、
請求項９に記載の方法。
請求項９に記載の方法。
【請求項14】
前記出血検出システムが、前記場面の前記血液の領域における複数の位置に含まれるそれぞれの位置における全体の動きを推定するステップと；
前記出血検出システムが、それぞれの位置の前記血流の動きを推定するためにそれぞれの位置における前記全体の動きを補正するステップと；
をさらに含む、
請求項９に記載の方法。
前記出血検出システムが、それぞれの位置の前記血流の動きを推定するためにそれぞれの位置における前記全体の動きを補正するステップと；
をさらに含む、
請求項９に記載の方法。
【請求項15】
前記それぞれの位置における前記全体の動きを補正するステップは、それぞれの位置における平均の組織の動きを補うために実行される、
請求項１４に記載の方法。
請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の態様は、内視鏡撮像に関し、特に、リアルタイムの出血の動きを外科医のビデオディスプレイに提供する出血の検出に関する。
【背景技術】
【0002】
カリフォルニア州のSunnyvaleのIntuitive Surgical, Inc.により商品化されているda Vinci（登録商標） Surgical Systemは、身体に対する外傷の低減、早い回復及び短い入院のように、患者に多くの利点を提供する低侵襲遠隔操作手術用システムである。da Vinci（登録商標） Surgical Systemの１つの主な構成要素は、外科医に立体視を提供するための可視画像の２チャンネル（すなわち、左側及び右側）のビデオキャプチャ及びディスプレイを提供する機能にある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
このような電子立体撮像システムは、高解像度のビデオ画像を外科医に出力し、外科医が特定の組織の種別及び特徴を識別し、向上した精度で作業することを可能にする“拡大”図のような機能を可能にし得る。出血が生じるときの典型的な外科分野では、主要な色は赤になり、結果としての血液は、出血元自体を不明瞭にすることがある。このため、出血及び／又は出血の位置は、外科医にとって直ちに明らかにならないことがある。更に、外科医は、重要な作業又は場面（シーン）内の異なる特定の領域に集中している可能性がある。これらの要因のいずれか１つは、出血元を確認及び診断する際に遅延を生じる可能性がある。
【課題を解決するための手段】
【0004】
一態様では、手術部位の一場面は、ロボット手術用システムのような手術用システムの画像取得ユニットにより画素データのフレームとして取得される。手術用システムの出血検出ユニットは、場面が手術室のディスプレイユニットに提示される前に、取得された画素データのフレームの情報を処理する。例えば、出血検出ユニットは、画素データのフレームを分析し、場面において血液の１つ以上の新たなインスタンス（instance）が存在するか否かを決定する。一態様では、血液の１つ以上の新たなインスタンスの検出の際に、１つ又は複数の初期部位アイコンが、ディスプレイユニットに表示される場面に含まれる。それぞれの初期部位アイコンは、血液の新たなインスタンスの位置を識別する。
【0005】
それぞれ後のフレームで取得された画素データは、出血検出ユニットにより分析される。血液の１つ又は複数の領域が識別され、初期部位アイコンと共にディスプレイユニットに表示される。従って、観察者は、初期部位アイコンを見て、初期部位からの血液の経過を見ることが可能になる。初期部位が血液の貯留（pool）で覆われるようになっても、初期部位アイコンは、出血部位の指標を提供する。従って、初期部位アイコンの表示は、実際の出血部位を見つけるのを助ける。
【0006】
一態様では、出血検出ユニットにより実行される処理は、リアルタイムで行われる。これは、取得された場面を外科医に提示するのに実質的に遅延がないことを意味する。従って、外科医は、血液が場面において検出されるとすぐに初期部位アイコンにより出血を認識し、外科医は時間による出血の経過に追随することができる。
【0007】
出血検出ユニットは、例えば、画像取得ユニットにより低侵襲手術において通常通り取得された場面を使用する。検出処理は、超音波又はドップラー技術のような特別なカメラ又は他の特別な機器を必要としない。
【0008】
より具体的には、一態様では、手術用システムの出血検出ユニットは、手術場面の取得されたフレームを受信する。画素データのフレームは、複数の位置を含む。それぞれの位置は、複数の色成分の画素を含む。
【0009】
出血検出ユニットは、それぞれの位置の複数の色成分がその位置における血液を示す情報を含むか否かを検出する。場面における血液の領域は、血液を示す情報を含むものとして検出された位置に基づいて決定される。
【0010】
これが所定のイベント（事象）（例えば、初期設定イベント又は吸引イベント）に続く場面における血液の初期の検出である場合、出血検出ユニットは、場面における出血部位の位置を示すために、少なくとも初期部位アイコンを生成する。初期部位はまた、他の方法で（例えば、場面の初期部位をハイライトすることにより）示されてもよい。これが場面における血液の初期の検出でない場合、任意選択で、場面における血液の領域は、初期部位アイコンとは異なる血液マーカー（例えば、異なるアイコン、異なる擬似色、異なる輪郭等）を使用して示される。
【0011】
初期部位アイコン及び任意選択の血液マーカーは、合成画像を取得するために、手術場面と合成される。一態様では、合成画像は、手術室のディスプレイユニットに表示される。従って、まず、初期部位アイコンが提示され、次に時間と共に、初期部位アイコンは場面に残り、出血の経過は血液マーカーにより示される。或る態様では、血液マーカーは使用されず、初期部位アイコンのみが使用される。初期部位アイコンと時間による出血の経過の表示との組み合わせは、出血部位の位置を決定する際に手術室の外科医及び／又は他の人を助ける。
【0012】
一態様では、それぞれの位置の複数の色成分の画素がその位置において血液を示す情報を含むか否かの決定は、比における第１の量がその位置における第１の色成分の画素値を含み、比における第２の量がその位置における第２の色成分の値を含む際の比を生成することを含む。位置は、比が血液指標閾値に対して所定の関係を有する場合（例えば、比が血液指標閾値より大きい場合）、血液を示す情報を含むものとして識別される。
【0013】
他の態様では、出血検出ユニットは、血液の領域において血流を推定する。血流の指標は、取得された場面に合成され、いずれかの血液マーカー及び初期部位アイコンと共にディスプレイユニットに表示される。
【0014】
この態様では、出血検出ユニットは、複数のフレームにおけるオプティカルフロー分析を使用して、領域におけるそれぞれの位置の全体の動きを推定する。位置における血流の推定は、その位置における平均の組織の動きを補うように、位置の推定された全体の動きを補正することにより生成される。場面におけるシミュレーションされた血流は、複数の位置の血流から生成される。
【0015】
他の態様では、インタラクティブな方法は、外科手術の間にディスプレイユニットにおいて出血の自動生成された警告を受信することを含む。警告に続いて、ディスプレイユニットに提示された血液の領域に対応する物理範囲は、手術器具の操作により清浄される。次に、局所化された出血元の位置は、ディスプレイユニットに提示された情報から決定される。出血元は、低侵襲手術システムに搭載された手術器具の操作により出血を弱めるように処置される。最後に、処置がディスプレイユニットに提示された情報を使用することにより出血を弱めたか否かが決定される。
【0016】
システムは、手術場面のデータのフレームを取得するように構成された画像取得システムを含む。データのフレームは、複数の位置を含む。それぞれの位置は、複数の色成分の画素を含む。出血検出ユニットは、システムに、領域分割モジュールと、血液領域識別モジュールとを含む。システムはまた、出血検出ユニットに結合され、合成された場面を受信し、合成された場面を表示するディスプレイユニットを含む。
【0017】
領域分割モジュールは、データのフレームを受信し、それぞれの位置の複数の色成分の画素がその位置における血液を示す情報を含むか否かを検出し、血液を示す情報を含むものとして検出された位置に基づいて、場面における血液の領域を決定するように構成される。
【0018】
血液領域識別モジュールは、領域分割モジュールに結合される。血液領域識別モジュールは、場面における血液の領域を示す初期部位アイコンを生成し、初期部位アイコンを場面と合成し、合成された場面を生成するように構成される。
【0019】
出血検出ユニットはまた、血流推定モジュールを含む。血流推定モジュールは、領域のいずれかの動きに対する血液の領域における血流を生成する。血流推定モジュールは、領域におけるそれぞれの位置の全体の動きを推定する動き推定モジュールを含む。血流推定モジュールはまた、動き推定モジュールに結合された動き補正モジュールを含む。動き補正モジュールは、領域のそれぞれの位置の全体の動きを補正し、領域の動きに対するそれぞれの位置の血流を生成する。
【図面の簡単な説明】
【0020】
【図1】出血検出ユニットを含む手術用システムのハイレベルな概略図
【図2】出血検出ユニットを含む手術用システムのハードウェア及びソフトウェアの態様を示す概略図
【図3B】出血検出ユニットにより提供される情報を使用するインタラクティブな方法の処理フローチャート
【図5】領域分割モジュールにより実行される処理の詳細な処理フローチャート
【図8A】ユーザが出血検出の範囲を指定することを可能にするために場面に重ね合わされるグリッドの例
【図8B】出血検出がオフにされた手術用システムにより選択された範囲の例
【図9】血液検出及び血流推定の制御を備えた出血検出システムの図
【発明を実施するための形態】
【0021】
図面において、参照符号の最初の桁は、その参照符号を備えた要素が最初に現れる図面を示す。
【0022】
図１は、出血検出ユニット135を含む手術用システム100（例えば、da Vinci（登録商標） Surgical System）のハイレベルな概略図である。（da Vinci（登録商標）は、カリフォルニア州SunnyvaleのIntuitive Surgical, Inc.の登録商標である。）この例では、外科医のコンソール114におけるマスター制御を使用して、外科医は、カート（cart）110に搭載されたロボット操作アーム113に搭載された内視鏡112を遠隔で操作する。外科医はまた、カート110に結合された１つ以上の手術器具を操作する。da Vinci（登録商標） Surgical Systemに関連する他の部分（ケーブル等）が存在するが、これらは、この開示を損なうことを回避するために図１には示されていない。低侵襲手術システムに関する更なる情報は、例えば、米国特許出願11/762,165号（2007年6月23日出願、低侵襲手術システムの開示）、米国特許第6,837,883 B2号（2001年10月5日出願、遠隔ロボット手術用システムのアームカートの開示）、米国特許第6,331,181 号（2001年12月28日出願、手術用ロボットツール、データアーキテクチャ及び用途の開示）に存在し得る。これらの全内容を援用する。遠隔操作低侵襲手術用システムの用途は、単なる例示であり、本発明をこの特定のシステムに限定することを意図するものではない。この開示を鑑みて、ここに記載の態様は、ここに記載の態様を実施するのに必要な要素を含むロボット手術用システム又は他の手術用システムに組み込まれてもよい。
【0023】
一態様では、内視鏡112は、組織からの光（例えば、反射光及び／又は蛍光）を通過させる２つの光チャンネルを含む。それぞれの光チャンネルにおいて患者111の組織103から反射した光は、場面として取得され、これにより、それぞれの時点において２つの場面（左側場面及び右側場面）が取得される。それぞれ取得された場面は、データ121のフレームに含まれる。データの２つのフレーム（左側フレーム及び右側フレーム）は、特定の時点に画像取得システム120により取得される。データの２つのフレームは処理され、結果の場面が、外科医の制御コンソール114（場合によっては外科医のコンソール114又は単にコンソール114と呼ばれる）の立体ディスプレイユニットに提示される。
【0024】
立体内視鏡及び立体ディスプレイの使用は単なる例示であり、限定的であることを意図するものではない。ここに記載の態様は、単眼（monoscopic）内視鏡及び／又は通常のディスプレイユニットのような立体機能を含まないシステムにも適用可能である。
【0025】
一態様では、所定のイベント（例えば、外科医が表示画像コントローラ130の出血検出ユニット135を使用可能にすること、出血検出ユニット135の初期設定イベント、吸引イベント（図３Ｂ参照）等）に続いて、出血検出ユニット135は、場面が外科医のコンソール114に立体場面の一部として提示される前に、取得された場面の情報を処理する。例えば、出血検出ユニット135は、左側及び右側の取得されたフレームの画素データを分析し、取得された場面において血液の１つ以上の初期のインスタンスが存在するか否かを決定する。このような初期のインスタンスを検出すると、出血検出ユニット135は、血液の初期部位が初期部位アイコンにより識別される場面140の対（左側場面及び右側場面）を生成し、場面の対140を外科医のコンソール114の立体ディスプレイユニットに送信する。初期部位アイコンを有する立体場面150は、外科医のコンソール114に表示される。
【0026】
一態様では、左側及び右側の取得されたフレームの処理は、リアルタイムで行われる。これは、取得された場面を外科医に提示するのに実質的に遅延がないことを意味する。外科医は、血液の初期のインスタンスが場面において検出されるとすぐに出血を認識する。従って、フレームの系列のそれぞれのフレームが処理され、これらのフレームの場面は、出血が手術部位で生じるのと基本的に同時にディスプレイ上で外科医に提示される。これは、外科医が表示された場面で出血を見ずに、続いて、表示された場面において出血の指標を見ることを意味する。この態様では、外科医により見られる２つのイベントが同時に生じる。この態様では、出血検出機能は、次のフレームの取得後までフレームの提示を遅延させる必要はない。
【0027】
例えば、外科医の出血の認識を上げるために、一態様では、点滅する矢印又は他のアイコンが、外科医のコンソール114のディスプレイユニットにおいて初期部位を示す。更に又は或いは、アイコンは、初期部位の周囲に描かれた輪郭でもよく、初期部位の周囲に描かれた輪郭を含んでもよく、又は、初期部位は、血液が最初に検出された位置を外科医が容易に視覚化することができるように擬似色にされてもよい。或る態様では、視覚的な警告に加えて、聴覚による警告が生成されてもよい。これらの例は、通知の可能な手段のいくつかの単なる例示であり、外科手術に関与する外科医及び／又は他の人に通知するためのこれらの特定の方法に限定することを意図するものではない。
【0028】
フレームにおける血液の初期部位の検出の後に、それぞれの次のフレームにおいて取得された画素データは、出血検出ユニット135により分析され、そのフレームにおける血液の１つ又は複数の部位が、初期部位アイコンと共にそのフレームについてコンソール114に表示される場面で識別されてもよい。例えば、血液マーカーが血液の領域を示すために使用される。例えば、血液マーカーは、何らかの方法（例えば、輪郭、擬似色等）で領域をハイライトする。一態様では、血液のインスタンスが初期部位アイコンの周囲の血液の部分でない次のフレームで検出された場合、初期部位アイコンは、血液のインスタンスに関連付けられる。
【0029】
従って、観察者は、ディスプレイユニットで少なくとも初期部位アイコンを見て、血液が初期部位から増加するのを見ることができる。一態様では、場面における血液の量が出血のため増加しているときに、血液が存在しても存在しなくても、フレームのそれぞれのセットについて行われる処理は静止しているが、取得された場面の時系列の提示は、出血の血流及び量の情報を提供する。更に、初期部位が血液の貯留で覆われるようになっても、初期部位アイコンは、血液が検出された初期部位の指標を提供する。従って、初期部位アイコンは、出血している実際の部位を見つけるのを助ける。例えば、外科医は、バイポーラグラスパー（bipolar grasper）で血液の貯留に到達し、（外科医が場所を見ることができなくても）出血している場所を見つけ、出血を止めることができる。
【0030】
初期部位アイコンの支援は、単眼内視鏡からの２次元画像と、立体内視鏡からの３次元画像との双方に使用される。当業者に既知のように、３次元画像は、左側及び右側場面が立体ディスプレイユニットに提示されたときに外科医により認識される。初期部位アイコンが左側及び右側の表示された場面に提示された場合、結果の３次元画像は、２次元画像よりもグラスパーを出血部位にどのように動かすかのより良い案内を外科医に提供する。
【0031】
血液が検出された初期部位を識別することは、外科医に出血を迅速に警告するが、一態様では、場面における動きに対する推定された血流も画像の視覚表示に提示される。推定された血流は、出血の部位を局所化する情報を提供することにより、出血部位を見つける際に外科医を更に助ける。
【0032】
従って、出血検出ユニット135は、信頼性の高い血液検出及び動き推定に基づいて自動的に出血部位を検出して局所化する。一態様では、自動検出は、外科手術中に出血の表示を見る人に警告するために、絶えず適用される。検出された血液の領域への動き検出の適用は、出血部位を見つける時間を節約するだけでなく、検出を更にロバストにする。出血の検出及び局所化は、手術器具の動きを検出又は監視せずに行われる。以下に更に完全に説明するように、出血検出ユニット135は、呼吸又は他の組織の動きが存在する場合であっても、出血部位からの血液及び血液の動きのロバストな検出を提供する。
【0033】
図２は、図１の手術用システムの一例の態様を更に詳細に示している。図３Ａは、出血検出ユニット240R、240Lの動作の態様を表す処理フローチャートである。出血検出ユニット240R、240Lは、出血検出ユニット135の１つの実装の例である。図３Ｂは、出血検出ユニット240L、240Rにより提供された情報の使用の態様を表す処理フローチャートである。図４Ａ～４Ｆは、図３Ａ及び３Ｂの処理に基づく場面の例である。図２では、処理検出ユニット240R、240Lは２つの別のユニットとして示されているが、或る態様では、２つのユニットは単一の出血検出ユニットに組み合わされてもよい。また、或る態様では、以下に更に完全に説明するように、出血検出ユニット240R、240Lは完全に独立して機能しない。
【0034】
図２に示す低侵襲手術用システム200の実施例では、照明器210が立体内視鏡202に結合される。照明器210は、少なくとも白色光源を含み、任意選択で１つ以上の蛍光励起光源（例えば、近赤外線照明）を含んでもよい。照明器210は、組織203を照らすために立体内視鏡202の少なくとも１つの照明チャンネルと共に使用される。或いは、一般性を失うことなく、照明器210は、内視鏡202の先端の又は先端近くの照明源により置換されてもよい。このような先端の照明は、例えば、発光ダイオード（LED：light emitting diode）又は他の照明源により提供されてもよい。
【0035】
一例では、照明器210は、組織203を照らす白色照明を提供する。或る実装では、照明器210はまた、他の種類の照明（例えば、蛍光を励起する不可視光及び白色光を構成する可視色成分の一部）を提供してもよい。
【0036】
照明器210からの光は、照明器210を内視鏡202の照明チャンネルに結合する照明チャンネル226に向けられる。立体内視鏡の照明チャンネルは、光を組織203に向ける。照明チャンネルは、例えば、光ファイバ束、単一の硬い又は柔軟なロッド又は光ファイバで実装されてもよい。
【0037】
一態様では、画像取得ユニット225R、225Lのそれぞれは、組織203から反射された光を取得する（すなわち、データのフレームを取得する）。データのフレームは手術場面を表す。例えば、画像取得ユニット225R、225Lの画像取得センサは、異なる可視色成分をそれぞれ取得する複数のCCDでもよく、特定の可視色成分等を取得する異なる範囲のCCDを備えた単一のCCDでもよく、３チップCCDセンサでもよく、カラーフィルタアレイを備えた単一のCMOS画像センサでもよく、３COMSカラー画像センサアセンブリでもよい。
【0038】
画像取得ユニット225Lは、左側カメラ制御ユニット（CCU：camera control unit）230Lを介して外科医のコンソール250の立体ディスプレイユニット251に結合される。画像取得ユニット225Rは、右側カメラ制御ユニット（CCU）230Rを介して外科医のコンソール250の立体ディスプレイユニット251に結合される。カメラ制御ユニット230L、230Rは、例えば、利得を制御し、画像の取得を制御し、出血検出ユニット240R、240Lへのデータフレームの伝送を制御するシステム処理モジュール263から信号を受信する。システム処理モジュール263は、システム200の視覚システムコントローラを含む様々なコントローラを表す。カメラ制御ユニット230L、230は別のユニットでもよく、単一のデュアルコントローラユニットに組み合わされてもよい。
【0039】
ディスプレイモード選択スイッチ252は、信号をユーザインタフェース262に提供し、次に、ユーザインタフェース262は、選択されたディスプレイモードをシステム処理モジュール263に渡す。システム処理モジュール263内の様々な視覚システムコントローラは、照明器210が所望の照明を生成するように構成し、左側及び右側カメラ制御ユニット230L及び230Rが所望のデータを取得するように構成し、外科医が要求された画像を立体ディスプレイユニット251に提示されるように、取得されたフレームを処理するのに必要な他の要素を構成する。この態様では、外科医のコンソールに表示される場面について説明したが、場面はまた、手術室又は他の場所にある他のモニタに表示されてもよい。
【0040】
図２に示すように、ユーザインタフェース262、システム処理モジュール263及び出血検出ユニット240L、240Rは、説明の目的で中央コントローラ260としてグループ化される。典型的には、中央コントローラ260はまた、場面の色をシステム処理モジュール263により決定された新たな所望のカラーバランスに変換する色補正モジュールを含む。任意選択の画像処理モジュール264は、中央コントローラ260からビデオを受信し、外科医のコンソール250の立体ディスプレイユニット251に表示する前に、色補正モジュールからの場面を処理する。色補正モジュール及び任意選択の画像処理モジュール264は、従来技術の低侵襲手術用システムの画像処理モジュールと同等であるため、更に詳細に検討されない。
【0041】
出血検出ユニット240R、240Lのそれぞれは同じように機能するため、１つのみのユニット（出血検出ユニット240R）が詳細に検討される。この説明は、他のユニット（出血検出ユニット240L）にも直接適用可能であるため、繰り返されない。しかし、以下に更に完全に説明するように、システム200の左側及び右側チャンネルで取得された場面の立体の制約は、誤った血液検出を排除するのを助けるために使用される。
【0042】
また、単一の取得されたフレームに関連する処理が記載される。しかし、この処理は、それぞれの取得されたフレーム又は取得されたフレームの或る一部に適用されるため、場面の連続ストリームが、外科医のコンソール250の立体ディスプレイユニット251に提供される。更に、血流推定が実行される場合、血流推定が時間tのフレームに関して説明される場合であっても、２つの異なる時点（例えば、時間(t-1)及び時間t）のフレームのデータが使用される。また、従来技術の立体処理と同等の立体処理が、出血検出ユニット240R、240Lにより処理及び生成された場面に関して行われる。立体処理は既知であるため、出血検出に適用可能な場合を除き、更に詳細には検討されない。
【0043】
一態様では、出血検出ユニット240Rは、プロセッサ131の出血検出モジュール136を実行することにより、処理300（図３Ａ）を実行する。この態様では、出血検出モジュール136は、メモリ132に格納される。しかし、これは単なる例示であり、限定的であることを意図するものではない。出血検出モジュール136は、ハードウェア、ファームウェア、実行ソフトウェア又はこれら３つのいずれかの組み合わせで実装されてもよい。
【0044】
血液の監視処理301において、取得されたフレームの画素データ330が処理される。取得された画素データのフレームは、複数の(i,j)位置を含む。例えば、フレームは、1920個の水平位置(i)及び1080個の垂直位置(j)を有してもよい。
【0045】
典型的には、フレームのそれぞれの位置(i,j)は、画素のセットを有する。ここで、画素の値は、色空間における色成分の値である。典型的な赤・緑・青の成分の色空間では、それぞれの位置(i,j)について赤の画素、緑の画素及び青の画素が存在する。ここで、取得された画素データのフレームにおけるそれぞれの位置(i,j)は、複数の色成分の画素データを有するものとして規定される。代わりの定義は、位置(i,j)において複数の色成分を含むカラー画素(i,j)が存在することである。
【0046】
位置(i,j)について、血液の監視処理301は、位置(i,j)を含む位置のグループの画素データを分析し、位置(i,j)の血液測定値BMを決定する。例えば、血液の監視処理301は、テクスチャパターンにおいて位置を示すもの又はテクスチャパターンにおいて位置を示さないものとして位置を特徴付けるために、テクスチャ検出処理を使用してもよい。血液は、領域上の色の滑らかな変化を有するが、テクスチャパターンは、領域上の色の統計的な変化を有する。特定の領域は明確なテクスチャパターン（例えば、処理301で使用され得る領域上の色の既知の統計的な変化）を有する。例えば、肝臓の色の変化は大きく、赤と白との間で変化するが、血液の色の変化は赤色の小さい変化に制限される。
【0047】
或いは又はテクスチャ処理に加えて、血液の監視処理301において、位置(i,j)の色成分のセットを使用して比が形成されてもよく、比の値が血液測定値BM(i,j)になる。血液測定値BM(i,j)が位置(i,j)について生成された後に、血液の監視処理301は、血液検査処理302に移る。
【0048】
血液検査処理302は、血液測定値BM(i,j)と既知の標準値とを比較し、血液測定値BM(i,j)が位置(i,j)において血液を示すか否かを決定する。例えば、テクスチャ検出処理が血液の監視処理301で使用された場合、血液検査処理302は、血液測定値が組織のテクスチャパターンを示すか血液を示すかを決定する。血液測定値が組織のテクスチャパターンを示す場合、血液は位置(i,j)にないと考えられ、血液検査処理302は、最終位置検査処理304に移る。逆に血液測定値が位置(i,j)において血液を示す場合、血液検査処理302は、位置データの保存処理303に移る。
【0049】
一態様では、位置データの保存処理303は、位置(i,j)の画素データを時間tにおける血液の領域データ315に保存し、最終位置検査処理304に移る。処理303は、位置(i,j)の画素データをバッファに保存することを必要とするものとして解釈されるべきではない。血液を示すものとして位置(i,j)を識別するために如何なる所望の技術が使用されてもよい。例えば、位置(i,j)が血液を示すことを示すために、取得画素データ330において１つ又は複数のビットが構成されてもよい。取得画素データ330において血液を示す位置を選択するために、ビットマスクも生成されてもよい。従って、位置データの保存処理303は、血液を示すものとして画素データのフレームにおける位置(i,j)を識別する情報を保存する。
【0050】
同様に、血液測定値BM(i,j)が比であり、テクスチャ処理が使用されていない場合、血液検査処理302は、血液測定値BM(i,j)の値を血液指標閾値と比較する。一態様では、血液測定値BM(i,j)が血液指標閾値より大きい場合、血液は位置(i,j)に存在すると考えられる。逆に、血液測定値BM(i,j)が血液指標閾値より小さい場合、血液は位置(i,j)に存在しないと考えられる。
【0051】
血液測定値BM(i,j)が血液を示す場合、血液検査処理302は、位置データの保存処理303に移る。この態様では、位置データの保存処理303は、位置(i,j)における取得されたフレームの画素データを時間tにおける血液の領域データ315に保存し、最終位置検査処理304に移る。血液が位置(i,j)に存在しないと考えられる場合、検査処理302は、最終位置検査処理304に移る。
【0052】
他の態様では、血液検査処理302は、テクスチャパターンの検査と比の検査との組み合わせを使用する。テクスチャパターンの検査が血液を示す場合、位置(i,j)における画素データをデータ315に保存するか否かを決定するために、比の検査が位置(i,j)について実行される。この態様では、位置(i,j)における画素データは、テクスチャパターンの検査及び比の検査の双方が位置(i,j)において血液を示す場合にのみ、データ315に保存される。
【0053】
更に他の態様では、左側及び右側チャンネルで取得された場面の間の立体関係が、血液検査処理302において血液の擬陽性の指標を検出するのを助けるために使用される。しかし、画像取得センサから位置(i,j)までの距離は未知である。左側及び右側チャンネルの双方で位置(i,j)の血液を検査することは、左側及び右側チャンネルにおける場面のマッチングを必要とする。自動的にマッチングを実行するための１つの技術は、米国特許出願公開第US2010/0166323 A1（ロボット手術のためのロバストな散在する画像のマッチングの開示）に記載されており、この全内容を援用する。このマッチングを用いて、血液が左側及び右側場面の一方の位置で検出され、左側及び右側場面の他方の対応する位置で検出されない場合、血液検出は、擬陽性と考えられるため、血液検査処理302は位置(i,j)において血液を見つけない。
【0054】
最終位置検査処理304は、取得画素データ330の全ての関心のある位置が血液の監視処理301により処理されたか否かを決定する。全ての位置が処理された場合、検査処理304は、領域検査処理305に移り、そうでない場合、血液の監視処理301に移る。
【0055】
或る態様では、血液が存在するか否かを決定するために、フレームの全ての位置は検査されるとは限らない。例えば、取得された場面の外周の領域が非常に暗い場合、外周の位置の画素データは、血液の検出を実現するための十分な情報を伝達しないことがある。従って、取得画素データ330におけるそれぞれの位置の画素データはフィルタリングされてもよく、外周閾値未満の輝度を有する位置は血液の存在のために処理されない。
【0056】
同様に、手術器具からの反射光は、取得画素データ330の画素データを飽和させる可能性がある。飽和した画素データを有する位置は、血液検出に関して意味のある情報を伝達しないため、一態様では処理されない。一態様では、鏡面反射の効果を最小化するため、組織203から反射された光は、鏡面反射効果が取得されたデータにおいて減少するように、このような反射光をブロックする偏光器を通過させる。
【0057】
或る臨床の設定において、フレームの選択された位置（例えば、外科医の中心窩（fovea）内にある領域、組織が切断されている領域、又は外科医が血液検出をオフにした領域）は、血液の検出に関して関心がない可能性がある。以下に更に完全に説明するように、このような領域は血液検出から除外されてもよい。それにも拘わらず、ここに記載の自動血液及び出血検出処理は、外科医の小さい中心窩の外側の領域において、且つ、暗さ、飽和又は他の基準のため血液検出から除外されていない領域において、血液を検出するための強力なツールである。
【0058】
取得画素データ330における全ての関心のある位置が処理301、302、303及び304により処理されると、データ315は、血液を示す取得画素データ330の１つ又は複数の領域の画素データを含む。血液の領域が検出されない場合、データ315は初期化状態のままである。従って、取得された場面に血液の１つ又は複数の領域が存在するか否かが決定される。
【0059】
領域検査処理305は、データ315に少なくとも１つの血液の領域が存在するか否かを決定する。データ315に少なくとも１つの血液の領域が存在する場合、領域検査処理305は動き検出有効検査処理306に移り、そうでない場合、血液の監視処理301に戻る。
【0060】
方法300の初期設定中の一態様では、複数のフラグが初期化される。例えば、初期部位フラグは所定の状態（例えば、真）に設定され、表示血液領域フラグは初期設定状態（例えば、表示血液領域無効状態）に設定され、動き推定フラグは初期設定状態（例えば、動き検出無効）に設定される。一態様では、ユーザは、ユーザインタフェース262のようなユーザインタフェースを通じて、これらのフラグの１つ以上の状態を指定してもよい。フラグの使用は単なる例示であり、限定的であることを意図するものではない。この開示を鑑みて、記載の態様は、それぞれの態様に関連する結果を実現するために様々な方法で実施可能である。
【0061】
動き検出有効検査処理306は、動き推定フラグの状態（すなわち、動き検出有効であること）を決定する。血液の動きの推定を行うために、画素データの２つのデータ（時間tにおける１つのフレーム及び時間(t-1)における１つのフレーム）が必要になる。最初のフレームについて、第２のフレームのデータは利用可能でないため、時間tの動き推定のためのデータは利用可能でない。第２のフレームのデータが利用可能になっても、動き推定は、既知の時間の後（例えば、血液の領域が吸引又は洗浄される後）まで要求されないことがある。従って、吸引が完了して動き推定フラグが第２の状態（例えば、有効）に設定されるまで、動き推定フラグは第１の状態（無効）のままになる。
【0062】
動き推定フラグの状態は、２つの方法で使用されてもよい。第１の態様では、血流推定モジュール708（図７）は、動き推定フラグが第２の状態を有するまで実行しない。第２の態様では、血流推定モジュール708（図７）は、例えば、システムの初期設定のときに開始され、動き推定フラグが第２の状態に変化したときに血流推定が使用のために準備されて利用可能であるようにバックグラウンドで動作している。第２の態様では、動き推定フラグは、ディスプレイユニットに送信される情報を制御する（例えば、動き推定データを含める又は動き推定データを含めない）ために使用される。
【0063】
動き推定フラグが第１の状態を有する場合、動き検出有効検査処理306は、血液の領域の識別処理307に移る。一態様では、血液の領域の識別処理307は、まず、初期部位フラグが第１の状態（真）であるか否かを決定する。初期部位フラグが第１の状態を有する場合、これは、取得された画素データのフレームが部位の初期設定イベント（例えば、出血検出ユニットの初期設定イベント、吸引イベント、洗浄イベント、又はユーザにより規定された他のイベント）の後の第１のフレームであることを意味する。従って、一態様では、血液の領域の識別処理307は、初期部位フラグが真である場合、部位を特徴付ける情報を初期部位データ325に保存し、初期部位フラグを第２の状態（例えば、偽）に設定する。フレームにおける血液の初期のインスタンス（例えば、フレームにおいて血液の他の部位に接続されていない血液の部位）を検出するために、血液の領域の識別処理307において他の技術が使用されてもよい。
【0064】
血液の領域の識別処理307は、初期部位データ325の情報を使用し、初期部位アイコンを手術場面のどこに配置するかを決定する。血液の領域の識別処理307は、初期部位アイコンを取得された画素データと合成し、任意選択の画像処理モジュール264を介して合成された情報をディスプレイユニット251に送信する。処理307は、取得された画素データの初期フレームにおいて血液のそれぞれ異なる部位を識別する。処理307は、他の部位の初期設定イベントが生じるまで、ディスプレイユニットに送信されるデータのそれぞれの次のフレームに初期部位アイコンを含める。
【0065】
一態様では、初期部位アイコンは、内視鏡ディスプレイユニット251に表示される場面において血液の領域を示す矢印である。更に又は或いは、初期部位アイコンは、血液の初期の領域の周辺に描かれた輪郭を含んでもよく、又はそれぞれの初期の領域は、血液が最初に検出された場面の位置を外科医が容易に識別することができるように擬似色にされてもよい。或る態様では、視覚的な警告に加えて、ステップ307により、聴覚による警告が生成されてもよい。この場合も同様に、これらの例は、通知の可能な手段のいくつか及び可能な部位アイコンのいくつかの単なる例示である。これらの例は、限定的であることを意図するものではなく、出血の検出の動作に関与する外科医及び／又は他の人に通知する方法の例である。
【0066】
血液の領域の識別処理307はまた、領域の更新処理309に移る。一態様では、領域の更新処理309は、時間tにおける血液の領域データ315が時間(t-1)における血液の領域データ320になるように、時間tにおける血液の領域データ315を指定する現在領域ポインタを前領域ポインタに変更する。領域の更新処理309が時間tにおける血液の領域データ315を時間(t-1)における血液の領域データ320として保存した後に、領域の更新処理309は、血液の監視処理301に戻る。
【0067】
時間tにおける血液の領域データ315を時間(t-1)における血液の領域データ320として保存するための領域の更新処理309により使用される特定の方法は必須ではない。選択される方法は、例えば、利用可能なメモリ、処理機能等により決定される。
【0068】
図４Ａは、立体ディスプレイユニットに表示される手術場面400Aである。場面400Aは、２つの遠隔操作低侵襲手術器具420、421を含む。場面400Aに出血が存在し、これは、網掛け領域450により表される。従来技術では、外科医又は助手は、網掛け領域450を血液として気付いて識別する必要がある。しかし、外科医の視点が手術器具の１つの近くの領域にある場合、外科医が出血に気付くのに或る程度の時間がかかることがあり、このときには、出血元は血液により不明瞭にされることがある。
【0069】
しかし、出血検出ユニット135により、場面400Aの取得された画素データが処理301、302、303、304、306及び307により処理された場合、血液が検出される。従って、処理307は、初期部位アイコン460B（例えば、矢印460B（図４Ｂ））を場面400Bの血液451の領域に重ね合わせる。また、この例では、血液の領域451を表示された場面の残りから目立たせるために、血液451の領域は擬似色にされる（例えば、緑として表示される）。図４Ｂにおいて、擬似色を表すために、点描が使用される。矢印460B及び領域415の擬似色は、外科医の周辺視野において少なくとも検出されるため、出血は場面400Aより比較的かなり早く検出される。
【0070】
方法300（図３Ａ）に戻り、領域の更新処理309は、取得された画素データの次のフレームの処理を始めるために、血液の監視処理301に移る。処理301、302、303、304が取得された画素データの次のフレームの処理を完了すると、血液の１つ又は複数の領域が時間tにおける血液の領域データ315において利用可能になる。
【0071】
動き推定フラグが依然として第１の状態を有する場合、動き検出有効検査処理306は、血液の領域の識別処理307に移り、これは前述のように機能するため、血液の領域は図４Ｃに示すように更新される。出血は、元の部位451（図４Ｂ）を不明瞭にする血液の貯留を生成している。従って、外科医が場面400Bを見失った場合、血液の貯留は、出血が生じているという情報のみを提供する。しかし、外科医が出血が元々検出された部位の指標を有するように、初期部位アイコン460Bが場面400Cに重ね合わされる。これは、外科医が出血部位の位置を決定するのを助ける。
【0072】
外科医が出血部位を見つけることを更に助けるために、動き推定が有効にされてもよく、有効にされていてもよい。例えば、動き推定フラグが第２の状態に設定される。動き推定フラグが第２の状態を有する場合、動き検出有効検査処理306（図３）は、血流推定処理308に移る。
【0073】
一態様では、血流推定処理308は、全体場面の代わりに検出された血液の領域について動き検出を実行するため、時間を節約し、動き検出を更にロバストにする。血流推定処理308は、血液のそれぞれの領域においてシミュレーションされた血流を生成する。しかし、血液の領域の動き検出は単なる例示であり、限定的であることを意図するものではない。或る態様では、全体の場面の動き検出が使用されてもよい。
【0074】
また、一態様では、血流推定処理308はまた、(t-1)における血液の領域の情報を使用して、第１部位アイコンの位置を決定する機能と、初期部位325における情報にアクセスする機能と含む。血流推定処理308は、出血部位の位置を局所化するために、動きを使用する。
【0075】
一態様では、時間tにおける血液の領域データ315における位置の情報と、時間(t-1)における血液の領域データ320における位置の情報を使用して、それぞれの位置の動きが推定される。この推定は、時間(t-1)から時間tまでの位置(i,j)における全体の動きを与える。全体の動きは、例えば、呼吸又は吸引によるいずれかの組織の動きを含む。一態様では、動き推定で使用される実際の領域は、血液を示すものとして記された位置を構成する領域よりわずかに大きい。実際の領域のサイズは、血液を示す位置の動き推定が特に輪郭に沿って確実に行えるように選択される。更に、以下に更に完全に説明するように、血液の領域のわずかに外側で推定された動きは、血流を推定するのを助けるために使用されてもよい。
【0076】
血液の領域の出血部位を局所化するために、血流推定処理308の一態様において、領域における動きの統計が使用されてもよい。領域の動きは、領域の平均の動きを生成するために、領域の全ての位置の動きをグループ化及び平均化することにより推定される。それぞれの位置において、領域の平均の動きは、その位置における相対的な血液の動きを取得するために、位置における動きから減じられる。一態様では、全ての相対的な動きは、出血元から（すなわち、局所化された出血部位から）広がる。血液の動き（すなわち、領域におけるシミュレーションされた血流）を取得すると、血流推定処理308は、血流及び場面の合成処理310に処理を移す。
【0077】
血流及び場面の合成処理310は、一態様では、血液のそれぞれの領域の指標、血流の動きの指標（例えば、血流の方向を示す矢印）及び初期部位アイコンと合成された、取得された画素データを含む。一態様では、動きの指標は、血液の相対的な流れのみを示す。他の態様では、平均の組織の動きは、第１の色及び第１の形の指標で示され、血液の相対的な流れは、第２の色及び第２の形の指標で示される。生成された場面は、ディスプレイユニットに送信される。更に、或る態様では、血液のそれぞれの領域の印は任意選択である。
【0078】
血流及び場面の合成処理310は、領域の更新処理309に移る。領域の更新処理309は、前述と同じ処理を実行し、時間tにおける血液の領域データ315を時間(t-1)における血液の領域データ320として保存する。領域の更新処理309は、血液の監視処理301に戻る。
【0079】
処理300における連続的な推移は単なる例示であり、限定的であることを意図するものではない。記載の処理は、処理により必要な情報が利用可能になる前にその処理が実行されない限り、異なる順序及び／又は平行で実行されてもよい。
【0080】
前述の処理300に関して説明した例は、単なる例示であり、限定的であることを意図するものではない。或る状況では、血液の領域と血液の動きを有する領域の双方が表示されてもよい。例えば、血液の静的な領域は第１の色で表示され、血液の動きの領域は第２の異なる色で表示されてもよい。或いは、血液のいずれかの領域は、擬似色（例えば、緑）で表示され、矢印が血液の動きの領域において擬似色で重ね合わされてもよい。矢印はその領域における血液の動きを表す。この場合、擬似色、矢印又は双方は、外科医によりディスプレイにおいてオン及びオフされてもよい。局所化された出血部位は、ディスプレイにおいて点滅する点により示されてもよい。一態様では、血液が検出された初期部位は、血液のそれぞれの領域において初期部位アイコンにより示される。ここに提示される例は単なる例示であり、記載の特定の実施例に限定することを意図するものではない。
【0081】
更に、処理300は、出血の複数の異なる部位について使用されてもよい。複数の出血部位が検出されたばあい、それぞれの部位は、ここに記載のように別々に監視及び把握される。出血部位が全て所定の距離内にある場合、部位は結合されて単一の部位として処理されてもよい。所定の距離は、例えば、処理300の位置分解能により決定される。
【0082】
一態様では、処理300は、観察者がビデオストリームを見るように一連のフレームで実行される。動きの指標がフレーム毎に変化する場合、動きの指標は観察者にとって動いているように見える。
【0083】
他の態様では、処理300は、インタラクティブな処理350（図３Ｂ）と組み合わせて使用される。処理350において、人は手術室のディスプレイユニット上の表示を観察している。ディスプレイユニットは、外科医のコンソール250の立体ディスプレイユニット251でもよく、助手のディスプレイユニットでもよく、手術室の他のディスプレイユニットでもよい。他の外科行為が進行中でもよい間に、出血の警告がディスプレイユニットに生成される。図４Ｂでは、血液の領域の警告は、初期部位アイコン460Bである。初期部位アイコン460が手術室の誰かにより検出された場合、出血の指標検査処理351が完了し、動作は吸引処理352に続く。
【0084】
出血の指標検査処理351は、一定のポーリングを必要とするものとして解釈されるべきではない。検査処理351は、出血を警告するイベントが生じるまで、未知の出血元を見つけることに関して動作が行われないことを意味する。
【0085】
吸引処理352において、表示された場面において血液の領域451に対応する物理的な領域は、手術室の人（例えば、外科医又は外科医の助手）による手術器具の操作により吸引される。場面400D（図４Ｄ）は、吸引処理352の終了時にディスプレイユニットに提示される。ディスプレイを見る人（観察者）は、立体ビデオ系列を見て、場面400Dは、ある時点で処理300が血液を検出しないほど十分に血液を吸引することができたことを示す。
【0086】
処理300が場面において血液を検出しない場合、領域検査処理305は、初期部位フラグを真に設定する。或いは又は更に、低侵襲手術用システム100のシステムは、吸引及び／又は洗浄を検出し、初期部位フラグを真に設定してもよい。また、低侵襲手術用システム100のユーザは、手術用システム100のユーザインタフェースを介して初期部位フラグを特定の状態に設定してもよい。
【0087】
吸引処理352は、２つの目的を提供する。処理352は、外科医が手術部位を見ることができるように血液を除去する。処理352はまた、貯留の下の出血部位が明らかにされ、出血元を見つけるのが容易になるように、表面にたまった血液を除去する。このことは、血液の量が増加したときに血液を観察することを可能にする。
【0088】
次に、血流の観察処理353において、手術室の１人以上の人は、方法300により生成されたディスプレイユニットで場面を観察する。表示された場面は、真の血液の動きの動きの指標及び少なくとも１つの初期部位アイコンと合成された手術部位の取得された場面を含む。場面400E（図４Ｅ）は、動きの指標453及び初期部位アイコン460Eを有する場面の例である。一態様では、動きの指標453が表示されているときに、初期部位アイコン460Eはオフにされる。この例では、動きの指標453は、初期部位アイコン460Eによっても示される血液の領域の中心近くの位置から広がるように見える。場面400Eを観察することにより、観察者は局所化された出血部位の位置を決定する。
【0089】
出血部位の位置が場面に提示された情報を使用して観察者により識別された場合、手術室の動作は修復処理355に移り、そうでない場合、吸引処理352に戻る。修復処理355では、観察者又は他の人は、他の手術器具を操作し、出血部位を修復して出血を弱める。
【0090】
修復処理355の完了のときに、修復が成功したか否かを決定するためにディスプレイが観察される。場面400F（図４Ｆ）では、１つの出血部位の修復が成功したが、場面400Fは、修復された部位からの血液によりマスクされた血液の第２の領域が存在することを示している。従って、処理350において、動作は、場面400Fが出血の位置を決定するのに十分な情報を提供するか否かに応じて、吸引処理352に戻るか修復処理355に戻ってもよい。この例では、場面400Fは、ハイライトされた（例えば、擬似色にされた）血液の領域を有し、動きの指標454及び初期部位アイコン460Fを含む。出血検出モジュール136は処理350を通じて実行し続けるため、更なる血液及び／又は血液の動きを検出することができる点に留意すべきである。方法350の処理は、修復が成功し、従って、外科手術が続けられることができるまで繰り返される。これは、方法350の成功検査処理357により表される。
【0091】
インタラクティブな処理350はまた、複数の出血部位が検出された場合にも使用される。この状況では、吸引処理352が１つの部位で実行されたときに、離れている他の部位は、吸引処理352がこれらの部位に影響を与えないため、再初期化されない。
【0092】
ロボット手術用システムでは、手術器具の位置は知られている。吸引される出血部位の位置も知られている。この距離情報と、他の出血部位の位置とを使用して、処理は、存在する場合にはどの部位が吸引器具の範囲外にあり、これらの部位が再初期化されないかを決定してもよい。
【0093】
一態様では、図４Ａ～４Ｆに提示する場面は、３次元の場面である。従って、方法300は、外科医が３次元で出血を把握することを可能にする。アイコンは、３次元のリアルタイムビデオにおける３次元の場面に重ねられ、外科医が血液の存在を認識し、１つ又は複数の局所化された出血部位を決定するのを助ける。正確な立体アイコンを有する立体視を生成するために、出血部位が立体画像で使用される２つの視野の一方のみに検出されるという誤った検出シナリオを除外する米国特許出願公開US2010/0166323 A1（ロボット手術のためのロバストな散在する画像のマッチングの開示）に記載の処理が使用される。
【0094】
出血検出処理自体は、手術器具の位置又はツール把握機能を必要としないが、手術器具の位置及びツール把握機能は、ロボット手術用システムにより提供され、出血検出処理を補うために使用されてもよい。例えば、初期部位アイコンは、内視鏡の動き及び位置に関してロボット手術用システムにより提供される情報を使用して、外科医が内視鏡を動かす場面に適切に配置されてもよい。
【0095】
【0096】
位置(i,j)について、位置データの取得処理510は、第１の色成分の画素の第１のブロック（場合によってウィンドウと呼ばれる）と、第２の色成分の画素の第２のブロックとを取得する。第１及び第２の色成分は異なる色成分である。例えば、第１の色成分は赤色成分であり、第２の色成分は緑色成分である。
【0097】
第１のブロック及び第２のブロックの双方は位置(i,j)を含む。例えば、それぞれの画素のブロックは、ブロックの中心に位置(i,j)を有する５画素×５画素である。ここで、iは0から水平方向の位置の数から１を引いた数までの範囲であり、jは0から垂直方向の位置の数から１を引いた数までの範囲である。
【0098】
位置データの取得処理510が実際にいずれかのデータを動かすことは必要ない。処理510は、位置(i,j)をそれぞれ含む２つの画素のセットについての情報を血液測定値の生成処理511に提供する。それぞれの画素のセットは、異なる色成分についてのものである。前述の例では、それぞれの画素のセットは画素のブロックと呼ばれている。
【0099】
血液測定値の生成処理511は、第１の画素のブロックを処理し、位置(i,j)における第１の色成分の画素についてフィルタリングされた値Rを生成する。血液測定値の生成処理511は、第２の画素のブロックを処理し、位置(i,j)における第２の色成分の画素についてフィルタリングされた値Gを生成する。一態様では、フィルタリングされた値Rを生成し、フィルタリングされた値Gを生成するために、５×５ガウスフィルタが使用される。
【0100】
血液測定値BM(i,j)を生成するこの態様では、血液測定値の生成処理511は、比（R/G）を生成する。血液測定値BM(i,j)を生成する他の態様では、血液測定値の生成処理511は、比((R+0.5)/(G+0.5))を生成する。一態様では、フィルタリングされた値R及びフィルタリングされた値Gは、0から255の範囲になる。いずれの態様でも、血液測定値BM(i,j)は、比の値に等しくなるように設定される。一般的な用語では、血液測定値の生成処理511は、比における第１の量が位置(i,j)における第１の色成分の画素値を使用して決定された値を含み、比における第２の量が位置(i,j)における第２の色成分の値を使用して決定された値を含む際の比を生成する。
【0101】
血液測定値BM(i,j)が血液指標閾値より大きい場合、血液が位置(i,j)に存在する確率が非常に高いことが実験的に決定されている。逆に言えば、血液測定値BM(i,j)が血液指標閾値より小さい場合、位置(i,j)に血液は存在しない。従って、この態様では、血液検査処理302は、血液測定値BM(i,j)を血液指標閾値を比較し、血液測定値BM(i,j)が位置(i,j)における血液を示すか否かを決定する。慎重にするために、血液の検出を見失う機会を最小化する血液指標閾値が選択される。
【0102】
一態様では、赤色成分及び緑色成分を含む色モデル及び手術場面では、血液測定値の生成処理511は、血液測定値BM(i,j)として比（R/G）を生成する。この態様では、３の血液指標閾値が使用されている。また、この態様では、赤色成分及び緑色成分の値の範囲は0～255である。
【0103】
領域分割処理511の他の処理は、図３Ａの同じ参照符号を有する処理に関して説明したものと同じである。従って、これらの処理の説明は繰り返し行われない。
【0104】
図６は、血流推定処理308の一態様の更に詳細な処理フローチャートである。領域データの取得処理601は、時間t及び(t-1)における血液の領域の画素データにアクセスし、処理を動きの推定処理602に移す。
【0105】
一態様では、動きの推定処理602は、時間(t-1)から時間tへの領域の動きを生成するために、階層的動き推定を利用するオプティカルフローモデルを実施する。動き推定フレームワークは、(i)ピラミッド構成（pyramid construction）、(ii)動き推定、(iii)画像ワーピング（image warping）及び(iv)徐々の高精度化（coarse-to-fine refinement）を含む。オプティカルフローモデルは、フレーム毎に色の一致を有し、フレーム毎に輝度の一致を有する場面に最も良く機能する。
【0106】
領域の動きを推定するためのオプティカルフローモデルの使用は知られているため、更に詳細に検討されない。例えば、J. R. Bergen, P. Anandan, K. J. Hanna, and R. Hingorani, “Hierarchical Model-Based Motion Estimation,” European Conference on Computer Vision, pages 237-252, (1992)を参照のこと。この全内容を援用する。一態様では、動きの推定処理602は、例えば、当該位置について中心の５個の位置×５個の位置であるウィンドウを使用することにより、領域のそれぞれの位置(i,j)の時間tにおける動きを提供する。
【0107】
動きの推定処理602により提供される動きは、組織のいずれかの動き及び血液のいずれかの動きを含む領域の全体の動きである。動きの補正処理603は、処理602から全体の動きを受信し、組織の動きを除去し、血液の動きを取得する。前述のように、一態様では、組織の動きを除去するために統計的評価が使用される。位置(i,j)における動きは、
M(i,j)=MTissue(i,j)+MBlood(i,j)
として規定される。ただし、M(i,j)は、処理602からの位置(i,j)における全体の動きであり、MTissue(i,j)は、位置(i,j)におえる組織の動きであり、MBlood(i,j)は、位置(i,j)における血液の動きである。
M(i,j)=MTissue(i,j)+MBlood(i,j)
として規定される。ただし、M(i,j)は、処理602からの位置(i,j)における全体の動きであり、MTissue(i,j)は、位置(i,j)におえる組織の動きであり、MBlood(i,j)は、位置(i,j)における血液の動きである。
【0108】
位置(i,j)における組織の動きMTissue(i,j)は、領域における平均の動きとして推定される。同様に、血液の動きMBlood(i,j)は、領域における平均の動きとして推定される。
【0109】
【数1】
【0110】
しかし、広がっている出血元の周囲の中心では、血液の動きは全ての方向に等しいと仮定されるため、血液の平均の動きは0である。この仮定を用いて、位置(i,j)における平均の動きは、単に組織の平均の動きになる。従って、位置(i,j)における血液の動きは、
MBlood(i,j)=M(i,j)-Mavg
である。
MBlood(i,j)=M(i,j)-Mavg
である。
【0111】
この補正処理は、重力の効果を含まず、等方性の血流を仮定するが、この処理は、外科医が出血部位を見つけるのを助けるのに十分な詳細を提供する。出血部位を確認して出血元を局所化する際に外科医を助けるために、完全な精度は必要ない。
【0112】
一般的に、目的が単に出血部位を局所化するだけでない場合、動き補正処理は、平均の組織の動きが血液の領域のちょうど外側の輪郭領域から決定され得ることを仮定してもよい。この仮定を用いて、血流は、全体の動きから平均の組織の動きを減じることにより取得されてもよい。
【0113】
図７は、出血検出モジュール136の一態様の詳細な図である。出血検出モジュール136は、領域分割モジュール760を含み、次に、領域分割モジュール760は、血液監視モジュール701と、血液検査モジュール702と、位置データ保存モジュール703と、最終位置検査モジュール704とを含む。
【0114】
血液監視モジュール701は、位置データ取得モジュール761と、血液測定値生成モジュール762とを含む。血液監視モジュール701は、血液の監視処理301（図３Ａ）を実行する。位置データ取得モジュール761（図７）は、位置データの取得処理510（図５）を実行し、血液測定値生成モジュール762は、血液測定値の生成処理511を実行する。血液検査モジュール702、位置データ保存モジュール703及び最終位置検査モジュール704は、それぞれ血液検査処理302、位置データの保存処理303、最終位置検査処理304を実行する。
【0115】
出血検出モジュール136はまた、領域検出モジュール705と、動き検出有効モジュール706と、血液領域識別モジュール707と、領域更新モジュール709とを含む。領域検出モジュール705は、領域検査処理305を実行する。動き検出有効モジュール706及び血液領域識別モジュール707は、それぞれ動き検出有効検査処理306及び血液の領域の識別処理307を実行する。領域更新モジュール709は、領域更新処理309を実行する。
【0116】
出血検出モジュール136はまた、血流推定モジュール708と、血流及び場面合成モジュール710とを含む。血流推定モジュール708は、血流推定処理308を実行する。血流及び場面合成モジュール310は、血流及び場面の合成処理310を実行する。
【0117】
血流推定モジュール708は、領域データ取得モジュール761と、動き推定モジュール762と、動き補正モジュール763とを含む。領域データ取得モジュール761、動き推定モジュール762及び動き補正モジュール763は、それぞれ領域データの取得処理601、動きの推定処理602及び動きの補正処理603を実行する。
【0118】
前述のように、図７のモジュールのそれぞれは、プロセッサ、ファームウェア、ハードウェア又はこれら３つのいずれかの組み合わせで実行するコンピュータプログラム命令により実装されてもよい。コンピュータプログラム命令が使用される場合、命令は、メモリに格納され、プロセッサで実行される。従って、モジュールが動作を実行し、モジュールがコンピュータ命令を含むと言及される場合、当業者は、これがコンピュータ命令がプロセッサで実行されることを意味することを認識する。
【0119】
図７に提示されるモジュールは単なる例示であり、図示の特定のモジュールのセットに限定することを意図するものではない。例えば、モジュールがコンピュータ命令を使用して実装される場合、全てのモジュールは、単一のコンピュータプログラムの一部でもよく、そのプログラムの１つ以上の命令の実行がモジュールの機能を実行してもよい。
【0120】
前述の態様では、手術部位の場面に血液の１つ以上の領域が存在するか否かを決定し、１つ以上の領域のそれぞれにおいて血液の相対的な動きを決定するために、出血検出ユニット135が使用されている。この自動的な検出は、外科医がいずれかの新たな出血元に対して迅速に対応することを可能にすることにより、外科医に新たな機能を提供する。
【0121】
しかし、手術中に常に血液が存在し、或る態様では、出血検出ユニット135の動作は、低侵襲手術用システムの様々な構成要素の状態、外科医の視野、及び場合によっては外科医の嗜好のような１つ以上の要因に基づく。これは、外科医に無用な情報で負担をかけないことにより、出血検出ユニット135により提供される情報が適切になることを可能にする。例えば、外科医が切除する領域に注目して切開を始めた場合、その領域の出血の警告は、外科医にとって特に有用ではない。外科医は領域に注目しており、出血は予想される。しかし、注目している領域の外側の領域（すなわち、視野の中心窩又は中央の外側）における出血の検出は、外科医にとって有用になる。
【0122】
一態様では、血液が出血検出ユニット135により検出される領域の提示は、血流推定が実行される領域の提示と同様に制御可能である。例えば、血液の検出が望まれない手術場面の領域が指定される。血液の領域がこの領域内に入る場合、血液の領域は、表示される場面において識別されない。逆に、血液の領域がこの領域の外側である場合、血液の領域は、表示される場面において識別される。このような領域は、ユーザ入力に基づいて決定されてもよく、手術用システムからの入力に基づいて自動的に決定されてもよく、これら２つの組み合わせに基づいて決定されてもよい。
【0123】
一態様では、ユーザは、ユーザインタフェース262の出血検出モード選択入力インタフェース253を活性化する。これに応じて、ユーザは、出血検出処理を制御する選択肢を提示される。例えば、図８Ａに示すように、手術部位の表示された場面にグリッド800が重ね合わされ、ユーザは、出血検出が望まれる領域を選択する。これは、出血検出が特に心配事になる領域と、出血検出が心配事にならない領域とをユーザが指定することを可能にする。異なる領域を指定するためのグリッド800の使用は、単なる例示であり、限定的であることを意図するものではない。
【0124】
また、出血検出は、初期設定では全体の場面でオンにされ、外科医は、手術中のいずれかの時点で出血検出が完全に又は部分的にオフにされる領域を示すために、出血検出モード選択入力インタフェース253を使用してもよい。出血検出を部分的にオフにすることは、例えば、血流推定器308がオフにされるが、血液の検出及び指標が通常通り機能し続けることを意味する。また、血流推定器308はバックグラウンドで実行し続けるが、出血検出が部分的にオフにされているときに、血流推定器308の出力が使用されなくてもよい。
【0125】
他の態様では、手術用システム100は、血液について監視されていない手術場面における１つ又は複数の領域を自動的に決定する。例えば、内視鏡が112が焦点を維持するために必要な量だけ動いており、使用中の１つ又は複数の手術器具が出血を生じることが分かっている場合、出血検出は、手術用システム100により、外科医の中心窩の外側（例えば、図８の円803により示す中心の視野の外側）の領域に制限される。当然に、血液検出及び／又は血流推定のための領域を指定するために、ユーザ入力とシステム入力との組み合わせが使用されてもよい。
【0126】
図９は、出血検出モジュール135による制御を可能にする方法900の処理フローチャートである。図９の態様では、領域分割モジュール760A及び血流推定モジュール708Aの動作は、出血検出有効モジュール911により制御される。出血検出有効信号は、モジュール911に提供される。
【0127】
一態様では、出血検出有効信号の状態は、ユーザインタフェース262を介した出血検出モード選択253からの入力により決定される。或いは、出血検出有効信号の状態は、手術用システムの制御システムからの１つ又は複数の入力により決定される。出血検出有効信号が第１の状態を有する場合、出血検出有効検査処理901は、有効信号を領域分割モジュール760A及び血流推定モジュール708Aに渡さない。しかし、出血検出有効信号が第２の状態を有する場合、出血検出有効検査処理901は、分割モジュール760A及び血流推定モジュール708を有効にする。したがって、この態様では、有効にされた分割モジュール760A及び血流推定モジュール708Aは常に実行している。
【0128】
図９において、モジュール760A、705A、707A、708A、709A及び710Aは、それぞれモジュール760、705、707、708、709及び710と同等であるため、これらのモジュールにより実行される処理は、前述のものと同等である。従って、これらの処理はここでは繰り返し行われない。
【0129】
この態様では、動き検出有効モジュール706は、血液がディスプレイにおいて識別される領域と、血流推定が表示される領域との双方の制御を可能にするモジュール706Aにより置換される。処理がモジュール706Aに移ったときに、血液の少なくとも１つの領域は、手術部位の取得された場面において検出される。モジュール706Aは、検出されたそれぞれの血液の領域について血液検出が有効であるか否かを決定する。
【0130】
特に、領域分割モジュール706Aにより見つかった血液の領域のそれぞれについて、領域の検出有効検査処理903は、血液検出領域選択モジュール902から受信した入力がその領域の血液検出を許可するか否かを決定する。この態様では、血液検出領域選択モジュール902は、ユーザ入力920とシステム入力921との双方を受信する。
【0131】
前述のように、ユーザ入力920は、血液検出が望まれる場面の領域と、血液検出が望まれない他の領域とを指定する。システム入力921は、手術用システムの状態（例えば、内視鏡112の速度、外科医により現在制御されている１つ又は複数の手術器具、及び制御された手術器具のそれぞれの動きを特徴付けるデータ）を識別する手術用システム内のシステムからの信号である。血液検出領域選択モジュール902は、入力情報を分析し、血液検出が望まれる取得された手術場面における領域を示すために、１つ又は複数の信号を領域の検出有効検査処理903に送信する。
【0132】
例えば、血液検出が領域において望まれないことをユーザ入力が示すが、カメラが焦点を合わせることができないため内視鏡が112が動いていることを内視鏡のデータが示す場合、カメラが焦点を合わせるようになるまで、モジュール902は、全体の場面の血液検出を有効にし、後にユーザ選択に戻る。内視鏡112の動きにより示されるように手術は過渡期であるため、いずれかの血液ができるだけ早い時点で検出されるように血液検出は有効にされる。逆に、内視鏡112が急速に動いておらず、出血を生じる手術器具が使用されている場合、血液検出はユーザ入力により示された領域についてオフにされる。更に、システム入力921は、外科医の中心窩の領域について血液検出をオフにしてもよい。従って、入力920、921に基づいて、モジュール902は、血液検出について有効にされていない１つ又は複数の特定の領域を識別する検査処理903に情報を提供する。逆に、モジュール902は、血液検出について有効である領域を識別する検査処理903に情報を提供してもよい。
【0133】
従って、領域分割モジュール760Aからの血液のそれぞれの領域について、領域の検出有効検査処理903は、血液検出が有効でないモジュール902により指定された領域に対してその領域を比較する。血液の領域のそれぞれについて、検査処理903は、血液検出がその領域について有効であるか否かを示す。血液検出が血液の領域のいずれかで有効でない場合、検査処理903は、領域分割モジュール760Aに戻る。血液検出が１つ以上の血液の領域で有効である場合、検査処理903は、これらの領域を領域の動き検出有効検出処理904に渡す。領域が渡されたと言及される場合、領域が物理的に渡されたと解釈されるべきではない。むしろ、血液検出がその領域で有効であるか否かを示す１つ又は複数の指標が提供される。例えば、血液検出有効ビットがその領域について真に設定される。
【0134】
前述の説明と同様に、動き推定フラグの状態は、領域の動き検出有効検査処理904により決定される動作を決定する。この態様では、血流領域選択モジュール905は、血液検出が有効になっているそれぞれの領域について動き推定フラグの状態を決定する。この態様では、血流領域選択モジュール905は、ユーザ入力923とシステム入力922との双方を受信する。
【0135】
例えば、ユーザは、出血検出モジュール選択入力インタフェース253を介して、或る領域について血液検出が望まれるが、血流推定が不要であることを示してもよい。システム入力922として提供される状態情報は、外科手術がちょうど始まったため、ユーザ入力に拘わらず、血流領域選択モジュール905が全ての領域の血流推定をオフにすることを示してもよい。モジュール905は、いずれかの出血ができるだけ早く検出され得るように、出血を生じさせ得る手術器具が最初に活性化されたときに、血流推定をオンにしてもよい。
【0136】
出血検出が有効にされている領域分割モジュール760Aからのそれぞれの血液の領域について、領域の動き検出有効検査処理904は、その領域の動き推定フラグの状態を使用し、領域を血液領域識別モジュール707Aに渡すか、領域を血流及び場面合成モジュール710Aに渡すかを決定する。従って、血流は、或る血液の領域について推定され得るが、同じ取得された場面の他の血液の領域について推定され得ない。この場合、モジュール707A及び710Aの動作は、表示される場面を生成するように連携される。
【0137】
図９に関して使用される例は、単なる例示であり、限定的であることを意図するものではない。この例では、分割及び血流推定は有効であり、絶えず実行することが許可されており、ディスプレイユニットへの出力が制御される。或いは、分割及び血流推定は、開始時に開始され、出血検出機能を有することが望まれる場合にのみ、取得された画素データが提供されてもよい。同様に、出血検出及び血液領域分割並びに血流推定処理は、外科医の嗜好、実行されている外科手術、又はこれら２つの組み合わせに基づいて構成されてもよい。一態様では、分割及び血流推定は、ユーザインタフェースを介してオフにされている場合であっても、分割及び／又は血流推定がユーザインタフェースを介してオンになったときに即時の情報が利用可能になるように、バックグラウンドで絶えず実行している。
【0138】
ここで使用される“第１”、“第２”及び“第３”は、異なる構成要素の間を区別するために使用される形容詞である。従って、“第１”、“第２”及び“第３”は、構成要素の順序を示すことを意図するものではない。
【0139】
本発明の態様及び実施例を示す前述の説明及び添付図面は、限定として受け取られるべきではなく、特許請求の範囲が保護される発明を規定する。この開示の要旨及び範囲並びに特許請求の範囲を逸脱することなく、様々な機械的、配置的、構造的、電気的、動作的な変更が行われてもよい。或る場合には、周知の回路、構成及び技術は、本発明を曖昧にしないように詳細に図示又は記載されていない。
【0140】
更に、この説明の用語は、本発明を限定することを意図しない。例えば、図面に示す他の要素又は機能に対する１つの要素又は機能の関係を記述するために、“下方”、“下”、“より下”、“上”、“より上”、“近い”、“先端”等のような空間関係のある用語が使用されることがある。これらの空間関係のある用語は、図面に示す場所及び方向に加えて、使用中又は動作中にデバイスの異なる場所（すなわち、位置）及び方向（すなわち、回転の配置）を含むことを意図する。例えば、図面のデバイスが回転すると、他の要素又は機能の“下”又は“下方”として記述された要素は、他の要素又は機能の“上”又は“上方”になる。従って、“下”という例示的な用語は、上及び下の双方の場所及び方向を含み得る。デバイスは、別の方法で方向が変えられ（90度又は他の方向の回転）、ここで使用される空間関係のある記述子は、相応して解釈される。同様に、様々な軸に沿った動き又は様々な軸の周辺の動きの記述は、様々な特別なデバイスの場所及び方向を含む。
【0141】
文脈が別のものを示さない限り、単数形は複数形も同様に含むことを意図する。“有する”、“有している”、“含む”等の用語は、言及する機能、ステップ、動作、要素及び／又は構成要素の存在を示すが、１つ以上の他の機能、ステップ、動作、要素、構成要素及び／又はグループの存在又は追加を除外するものではない。結合されたものとして記載された構成要素は、電気的又は機械的に直接に結合されてもよく、１つ以上の中間の構成要素を介して間接に結合されてもよい。
【0142】
メモリは、揮発性メモリ、不揮発性メモリ、又はこれら２つのいずれかの組み合わせを示す。プロセッサは、プロセッサにより実行される命令を含むメモリに結合される。これは、コンピュータシステム内で実現されてもよく、或いはモデム及びアナログ線を介して、又はデジタルインタフェース及びデジタル搬送線を介した他のコンピュータへの接続を介して実現されてもよい。
【0143】
ここでは、コンピュータプログラムプロダクトは、出血検出システムに関して記載した動作のいずれか１つ又はいずれかの組み合わせに必要なコンピュータ読み取り可能コードを格納するように構成された過渡的でない媒体、或いは、出血検出システムに関して記載した動作のいずれか１つ又はいずれかの組み合わせのためのコンピュータ読み取り可能コードが格納された過渡的でない媒体を有する。コンピュータプログラムプロダクトのいくつかの例は、CD-ROMディスク、DVDディスク、フラッシュメモリ、ROMカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバ、及びコンピュータ読み取り可能コードを表すネットワーク上で送信される信号を有する。過渡的でない有形のコンピュータプログラムプロダクトは、出血検出システムに関して記載した動作のいずれか１つ又はいずれかの組み合わせのためのコンピュータ読み取り可能命令を格納するように構成された過渡的でない有形の媒体、或いは、出血検出システムに関して記載した動作のいずれか１つ又はいずれかの組み合わせのためのコンピュータ読み取り可能命令が格納された過渡的でない有形の媒体を有する。過渡的でない有形のコンピュータプログラムプロダクトは、CD-ROMディスク、DVDディスク、フラッシュメモリ、ROMカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、及び他の過渡的でない物理記憶媒体を有する。
【0144】
この開示を鑑みて、出血検出システムに関して記載した説明のいずれか１つ又はいずれかの組み合わせで使用される命令は、ユーザに関心のあるコンピュータプログラミング言語及びオペレーティングシステムを使用した様々なコンピュータシステム構成に実装されてもよい。
【0145】
全ての例及び例示的な言及は、非限定的であり、特許請求の範囲をここに記載の特定の実装及び実施例並びにその等価物に限定するために使用されるべきではない。見出しは単に形式的なものであり、１つの見出しの本文は、１つ以上の見出しの本文に対して相互参照又は適用し得るため、対象を限定するために使用されるべきではない。最後に、この開示を鑑みて、一態様又は実施例に関して記載した特定の機能は、特に図面に図示又は本文に記載されていなくても、本発明の他の開示の態様又は実施例に適用されてもよい。
【0146】
なお、本発明の実施形態による方法は、システムにより、手術部位の場面を含むフレームを受信するステップであり、前記フレームは、複数の位置を含み、それぞれの位置は、複数の色成分の画素を含むステップと、
前記システムにより、それぞれの位置の前記複数の色成分の画素が当該位置における血液を示す情報を含むか否かを検出するステップと、
前記システムにより、血液を示す情報を含むものとして検出された位置に基づいて、前記場面における血液の領域を決定するステップと、
前記システムにより、前記血液の領域が血液の初期の領域である場合、前記血液の領域を初期部位アイコンで識別するステップであり、前記初期部位アイコンは、前記場面における血液の初期の位置を識別するステップと
を有する。
前記システムにより、それぞれの位置の前記複数の色成分の画素が当該位置における血液を示す情報を含むか否かを検出するステップと、
前記システムにより、血液を示す情報を含むものとして検出された位置に基づいて、前記場面における血液の領域を決定するステップと、
前記システムにより、前記血液の領域が血液の初期の領域である場合、前記血液の領域を初期部位アイコンで識別するステップであり、前記初期部位アイコンは、前記場面における血液の初期の位置を識別するステップと
を有する。
【0147】
また、前記識別するステップは、
前記システムにより、前記初期部位アイコンを前記場面と合成し、合成された画像を取得するステップを更に有してよい。
前記システムにより、前記初期部位アイコンを前記場面と合成し、合成された画像を取得するステップを更に有してよい。
【0148】
また、前記合成された画像をディスプレイユニットに表示するステップを更に有してよい。
【0149】
また、ユーザ入力に基づいて前記表示するステップを実行するか否かを決定するステップを更に有してよい。
【0150】
また、手術用システムの情報に基づいて前記表示するステップを実行するか否かを決定するステップを更に有してよい。
【0151】
また、前記初期部位アイコンは、矢印を有してよい。
【0152】
また、前記血液の領域を血液マーカーで識別するステップであり、前記血液マーカーは、前記初期部位アイコンと異なるステップを更に有してよい。
【0153】
また、前記検出するステップは、
比における第１の量がある位置における第１の色成分の画素値を使用して決定された値を含み、前記比における第２の量が前記位置における第２の色成分の画素値を使用して決定された値を含む際の比を生成するステップと、
前記比が血液指標閾値に対して所定の関係を有する場合、血液を示す情報を含むものとして前記位置を識別するステップと
を更に有してよい。
比における第１の量がある位置における第１の色成分の画素値を使用して決定された値を含み、前記比における第２の量が前記位置における第２の色成分の画素値を使用して決定された値を含む際の比を生成するステップと、
前記比が血液指標閾値に対して所定の関係を有する場合、血液を示す情報を含むものとして前記位置を識別するステップと
を更に有してよい。
【0154】
また、前記所定の関係は、前記比が前記血液指標閾値より大きいことであってよい。
【0155】
また、前記検出するステップは、
前記フレームの前記複数の位置について、前記比を生成するステップと、前記位置を識別するステップとを繰り返すステップを更に有してよい。
前記フレームの前記複数の位置について、前記比を生成するステップと、前記位置を識別するステップとを繰り返すステップを更に有してよい。
【0156】
また、前記システムにより、前記領域におけるシミュレーションされた血流を生成するステップと、
前記シミュレーションされた血流をディスプレイユニットに表示するステップと
を更に有してよい。
前記シミュレーションされた血流をディスプレイユニットに表示するステップと
を更に有してよい。
【0157】
また、ユーザ入力に基づいて前記表示するステップを実行するか否かを決定するステップを更に有してよい。
【0158】
また、前記システムからの情報に基づいて前記表示するステップを実行するか否かを決定するステップを更に有してよい。
【0159】
また、出血検出ユニットにより、複数のフレームを使用したオプティカルフロー分析に基づいて、前記領域におけるそれぞれの位置の全体の動きを推定するステップを更に有してよい。
【0160】
また、ある位置における平均の組織の動きを補うように前記位置における前記推定された全体の動きを補正することにより、前記位置における血流の推定を生成するステップを更に有してよい。
【0161】
また、前記複数の位置の前記推定された血流から、前記場面におけるシミュレーションされた血流を生成するステップを更に有してよい。
【0162】
また、ディスプレイにおいて外科医に提示される場面が出血が前記手術部位で生じているときと基本的に同時に現れるように、フレームの系列のそれぞれのフレームで、前記受信するステップ、検出するステップ、決定するステップ及び識別するステップを実行するステップを更に有すしてよい。
【0163】
また、前記受信するステップ、検出するステップ、決定するステップ及び識別するステップを実行するステップは、画像取得ユニットにより取得された全てのフレーム未満のもので実行されてよい。
【0164】
本発明の別の実施形態による方法では、外科手術中に出血の警告をディスプレイユニットで受信するステップと、
手術器具の操作により、前記ディスプレイユニットに提示された血液の領域に対応する物理領域を洗浄するステップと、
前記ディスプレイユニットに提示された少なくとも１つの初期部位アイコンから、出血元の位置を決定するステップと、
手術用システムに搭載された手術器具の操作により、前記出血を弱めるように前記出血元を処置するステップと、
前記ディスプレイユニットに提示された情報から、前記処置が前記出血を弱めたか否かを決定するステップと
を有する。
手術器具の操作により、前記ディスプレイユニットに提示された血液の領域に対応する物理領域を洗浄するステップと、
前記ディスプレイユニットに提示された少なくとも１つの初期部位アイコンから、出血元の位置を決定するステップと、
手術用システムに搭載された手術器具の操作により、前記出血を弱めるように前記出血元を処置するステップと、
前記ディスプレイユニットに提示された情報から、前記処置が前記出血を弱めたか否かを決定するステップと
を有する。
【0165】
また、本発明のさらに別の実施形態によるシステムは、手術部位の場面のデータのフレームを取得するように構成された画像取得システムであり、前記フレームは、複数の位置を含み、それぞれの位置は、複数の色成分の画素を含む画像取得システムと、
出血検出ユニットと
を有し、
前記出血検出ユニットは、
前記データのフレームを受信し、それぞれの位置の前記複数の色成分の画素が当該位置における血液を示す情報を含むか否かを検出し、血液を示す情報を含むものとして検出された位置に基づいて、前記場面における血液の領域を決定するように構成された領域分割モジュールと、
前記領域分割モジュールに結合され、前記場面における血液の初期の位置を識別する初期部位アイコンを生成し、前記初期部位アイコンを前記場面と合成し、合成された場面を生成するように構成された血液領域識別モジュールと、
前記出血検出ユニットに結合され、前記合成された場面を受信し、前記合成された場面を表示するように構成されたディスプレイユニットと
を有する。
出血検出ユニットと
を有し、
前記出血検出ユニットは、
前記データのフレームを受信し、それぞれの位置の前記複数の色成分の画素が当該位置における血液を示す情報を含むか否かを検出し、血液を示す情報を含むものとして検出された位置に基づいて、前記場面における血液の領域を決定するように構成された領域分割モジュールと、
前記領域分割モジュールに結合され、前記場面における血液の初期の位置を識別する初期部位アイコンを生成し、前記初期部位アイコンを前記場面と合成し、合成された場面を生成するように構成された血液領域識別モジュールと、
前記出血検出ユニットに結合され、前記合成された場面を受信し、前記合成された場面を表示するように構成されたディスプレイユニットと
を有する。
【0166】
また、前記出血検出ユニットは、前記血液の領域における血流をシミュレーションする血流推定モジュールを更に有してよい。
【0167】
また、前記血流推定モジュールは、前記領域においてそれぞれの位置における全体の動きを推定する動き推定モジュールを含んでよい。
【0168】
また、前記血流推定モジュールは、前記動き推定モジュールに結合され、それぞれの位置における前記全体の動きを補正し、当該位置における血液の動きを生成する動き補正モジュールを含んでよい。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【外国語明細書】