特許 7412528 外科用ロボットシステムからのデータの修正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-28

(45)【発行日】2024-01-12

(54)【発明の名称】外科用ロボットシステムからのデータの修正

(51)【国際特許分類】

   A61B 34/35 20160101AFI20240104BHJP

【ＦＩ】

A61B34/35

【請求項の数】 22

(21)【出願番号】P 2022500997

(86)(22)【出願日】2020-07-10

(65)【公表番号】

(43)【公表日】2022-09-14

(86)【国際出願番号】 GB2020051677

(87)【国際公開番号】W WO2021005380

(87)【国際公開日】2021-01-14

【審査請求日】2022-02-16

(31)【優先権主張番号】1909992.8

(32)【優先日】2019-07-11

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】2002390.9

(32)【優先日】2020-02-20

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】516210894

【氏名又は名称】シーエムアール・サージカル・リミテッド

【氏名又は名称原語表記】ＣＭＲ ＳＵＲＧＩＣＡＬ ＬＩＭＩＴＥＤ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】ステーブン、ビショップ

(72)【発明者】

【氏名】ステーブン、ベル

(72)【発明者】

【氏名】リカルド、ミカエル、ヘンダーソン、ダ、シルバ

【審査官】槻木澤 昌司

(56)【参考文献】

【文献】特表２０１５－５３２０４０（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１９－００００１０７（ＫＲ，Ａ）

【文献】特開２０１８－０４７０８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２４９４３２（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１３３０５９（ＷＯ，Ａ１）

【文献】特開２００５－１３５３４４（ＪＰ，Ａ）

【文献】特開２０１４－１６６２９８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２７１６１５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０３７２１８０（ＵＳ，Ａ１）

【文献】欧州特許出願公開第０３５０６２９９（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／００－３４／３７

Ａ６１Ｂ ９０／００－９０／９８

(57)【特許請求の範囲】

【請求項1】

外科用ロボットシステムにおけるデータストリームのデータ量を低減する方法であって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成を変更することができ、前記方法が、
前記外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、前記データストリームが、外科処置に関するデータを含み、かつ第１のデータ量を有する、受信することと、
前記外科用ロボットシステムの状態に依存して、前記受信されたデータストリーム内の特徴を識別することであって、前記識別された特徴が前記外科処置におけるイベントを示す、識別することと、
前記識別された特徴に依存して、前記受信されたデータストリームを修正して、前記第１のデータ量よりも小さい第２のデータ量を有する、修正されたデータストリームを生成することと、を含む、方法。

【請求項2】

前記識別された特徴の前の前記受信されたデータストリームの第１のデータ部分と、
前記識別された特徴の後の前記受信されたデータストリームの第２のデータ部分と、のうちの１つ以上を修正することによって、修正されたデータストリームを生成することを含む、請求項１に記載の方法。

【請求項3】

前記第１のデータ部分および前記第２のデータ部分のうちの一方または両方が、所定の期間に関連する、請求項２に記載の方法。

【請求項4】

前記外科処置におけるさらなるイベントを示す前記受信されたデータストリーム中のさらなる特徴を識別することと、前記受信されたデータストリームのさらなる期間に関連するさらなるデータ部分を修正することによって前記修正されたデータストリームを生成することと、を、
前記識別された特徴と前記識別されたさらなる特徴との間に、または
前記識別された特徴および前記識別されたさらなる特徴の第１のものの前、ならびに前記識別された特徴および前記識別されたさらなる特徴の第２のものの後に、含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記特徴を識別することは、ルールセットのうちのあるルールが満たされているか否かを判定することと、前記ルールが満たされる特徴を識別することと、を含む、請求項１～４のいずれかに記載の方法。

【請求項6】

前記ルールが、前記外科用ロボットシステムおよび／または前記外科処置のパラメータグループのうちのあるパラメータが所定の基準に合致する場合に満たされる、請求項５に記載の方法。

【請求項7】

前記受信されたデータストリームが、前記パラメータを含むか、または前記パラメータが、前記受信されたデータストリームの分析から判定される、請求項６に記載の方法。

【請求項8】

前記受信されたデータストリームが、データチャネルグループからの１つ以上のデータチャネルを含み、前記データチャネルグループが、
前記外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、
前記外科処置に関して記録された音声データと、
前記外科用ロボットシステムに対応するテレマティクスデータと、
前記外科用ロボットシステムの少なくとも一部分の状態を含む状態データと、
ローカルネットワーク上の追加の装置によって送信されるさらなるデータと、を含み、
前記方法が、前記データチャネルグループからの１つ以上のデータチャネルに依存して、前記特徴を識別することを含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記方法が、前記データチャネルグループの第１のデータチャネルに依存して、前記特徴を識別することを含み、前記修正されたデータストリームを生成することが、
前記第１のデータチャネルと、
前記データチャネルグループの第２のデータチャネルと、のうちの１つ以上を修正することを含む、請求項８に記載の方法。

【請求項10】

前記識別された特徴が、
器具の取り付け状態と、
前記アームに取り付けられた器具の動作状態と、
前記外科用ロボットシステムの動作状態または動作モードと、
前記アームおよび／または前記アームに取り付けられた器具の構成と、
制御コンソールの制御状態と、のうちの１つ以上の値または変化を示す、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記識別された特徴が、
前記ビデオデータ内で検出された特徴を示す、請求項８、９、または、請求項８に従属する請求項１０に記載の方法。

【請求項12】

前記識別された特徴が、
センサーデータと、
外部に接続されたシステムによって報告されたデータと、のうちの１つ以上を示す、請求項１～１１のいずれかに記載の方法。

【請求項13】

前記方法が、
前記ビデオデータの少なくとも一部分のビデオ精細度と、
前記ビデオデータの少なくとも一部分のビデオチャネルの数と、
前記ビデオデータの少なくとも一部分のフレームレートと、
前記ビデオデータの少なくとも一部分の色域と、
前記外科用ロボットシステムの状態の表現と、
前記音声データの少なくとも一部分の音声精細度と、
前記データチャネルグループ内のデータチャネルの数と、のうちの１つ以上を修正することによって、修正されたデータストリームを生成することを含む、請求項８または請求項８に従属する請求項９～１２のいずれか一項に記載の方法。

【請求項14】

前記方法は、前記修正されたデータストリームが、
第１の解像度を有するビデオデータの一部分、および第２のより低い解像度を有するビデオデータの一部分と、
第１のチャネル数を有するビデオデータの一部分、および第２のより少ないチャネル数を有するビデオデータの一部分と、
第１のフレームレートを有するビデオデータの一部分、および第２のより低いフレームレートを有するビデオデータの一部分と、
第１の色域を有するビデオデータの一部分、および第２のより小さい色域を有するビデオデータの一部分と、
前記状態が変化しない間の複数の時点における前記外科用ロボットシステムの状態に関連するデータの代わりに、前記外科用ロボットシステムの状態の変化に関するデータと、
既知の形状に関連する完全なビデオまたはグラフィックレンダリングデータの代わりに前記ビデオデータ内の前記既知の形状のワイヤフレームモデルと、
構造に関連する完全なビデオデータの代わりに前記ビデオデータ内の前記構造の説明と、
完全なビデオデータまたは完全なテレマティクスデータの代わりに、絶対場所および／または相対場所の説明、ならびに速度および／または運動の軌道の説明と、のうちの１つ以上を含むように、前記受信されたデータストリームを修正することを含む、請求項８または請求項８に従属する請求項９～１３のいずれか一項に記載の方法。

【請求項15】

前記構造の前記説明が、解剖学的構造、器具、およびエンドエフェクタのうちの１つ以上の説明を含む、請求項１４に記載の方法。

【請求項16】

前記方法が、前記データチャネルグループからの１つ以上のデータチャネルの少なくとも一部分を圧縮することによって、前記修正されたデータストリームを生成することを含む、請求項８または請求項８に従属する請求項９～１５のいずれか一項に記載の方法。

【請求項17】

前記方法が、前記外科処置が実施されている際に、前記修正されたデータストリームを生成することを含む、請求項１～１６のいずれか一項に記載の方法。

【請求項18】

前記方法が、
前記修正されたデータストリームをリアルタイムまたは実質的にリアルタイムに生成することと、
前記修正されたデータストリームを遠隔プロセッサに送信し、それによって、前記遠隔プロセッサが、前記修正されたデータストリームのリアルタイムまたは実質的にリアルタイムの分析を実施することを可能にすることと、
前記遠隔プロセッサから、前記外科用ロボットシステムのオペレータを支援するための前記分析の結果をリアルタイムまたは実質的にリアルタイムに受信することと、を含む、請求項１～１７のいずれか一項に記載の方法。

【請求項19】

外科用ロボットシステムにおけるデータストリームのデータ量を低減するための外科用ロボットシステムのためのデータ量修正システムであって、前記外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成が変更され得、前記システムが、
前記外科用ロボットシステムによってキャプチャされたデータストリームを受信するように構成された受信器であって、前記データストリームが、外科処置に関するデータを含み、かつ第１のデータ量を有する、受信器と、
前記外科用ロボットシステムの状態に依存して、前記受信されたデータストリーム内の特徴を識別するように構成され、前記識別された特徴が前記外科処置におけるイベントを示す、特徴検出器と、
前記識別された特徴に依存して、前記受信されたデータストリームを修正して、前記第１のデータ量よりも小さい第２のデータ量を有する、修正されたデータストリームを生成するように構成されたデータ修正器と、を備える、システム。

【請求項20】

請求項１～１８のいずれか一項に記載の方法を実施するように構成された外科用ロボットシステムのためのデータ量修正システム。

【請求項21】

基部、および前記基部から器具用の取り付け部へ延在するアームを有するロボットと、請求項１～１８のいずれか一項に記載の方法を実施するように構成されたデータ量修正システムと、を備える、外科用ロボットシステム。

【請求項22】

コンピュータシステムで実行されると、前記コンピュータシステムに、請求項１～１８のいずれか一項に記載の方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外科用ロボットシステムにおけるデータストリームのデータ量を低減するために外科用ロボットシステムからのデータを修正することに関する。

【背景技術】

【0002】

手術を補助および実施するためにロボットを使用することが知られている。図１は、基部１０８およびアーム１０２からなる、典型的な外科用ロボット１００を例示する。器具１０５は、アームに結合される。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーに堅固に取り付けられている。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科用器具を患者に対して所望の場所に位置特定するために使用される複数の可撓性関節１０３によって関節式に連結されている。外科用器具は、ロボットアームの遠位端１０４に取り付けられる。外科用器具は、外科手術部位にアクセスするように、ポート１０７で患者１０１の身体を貫通する。例示されるように、その遠位端において、器具は、医療的手技で係合するためのエンドエフェクタ１０６を含む。「器具」という用語は、外科手術部位を撮像するための内視鏡を包含する。

【0003】

外科用ロボット１００は、図２に示されるオペレータコンソール２００を介して、オペレータ（例えば、外科医）によって遠隔制御される。オペレータコンソール２００は、外科用ロボット１００と同じ部屋（例えば、手術室）内、またはそこから遠隔に位置してもよい。オペレータコンソール２００は、アーム１０２および／またはそれに取り付けられた器具１０５の状態を制御するための入力装置２０２、２０４を含む。入力装置２０２、２０４は、ハンドグリップ、または平行グラムリンケージに装着されたハンドコントローラであってもよい。制御システムは、ハンドコントローラの動きを制御信号に変換して、外科用ロボットのアーム、関節および／または器具エンドエフェクタを移動させる。オペレータコンソール２００はまた、ディスプレイ２０６を含む。ディスプレイ２０６は、入力装置２０２、２０４を操作するユーザに対して可視的であるように配設される。ディスプレイは、外科手術部位のビデオストリーム（例えば、内視鏡ビデオ）を表示するために使用される。

【0004】

いくつかの外科処置は、いくつかの外科用ロボットを必要とする場合があり、各々が、外科手術部位で他のものと同時に使用される器具または他の器具を担持する。図３は、患者３０８上の共通のワークスペースで動作する複数のロボット３０２、３０４、３０６を有する外科用ロボットシステム３００を例示している。例えば、外科用ロボットは、内視鏡外科手術（例えば、腹腔鏡手術）でしばしば使用され、これはまた、低侵襲性手術と呼ばれ得る。当業者に既知であるように、外科医は、内視鏡手技中に、口または鼻孔などであるがこれに限定されない、身体の小さな切開または自然な開口部を通して内視鏡を挿入する。内視鏡は、外科医が、同じ切開／開口部を通して、または異なる切開／開口部を通して、自身のツールを誘導するのを助けるために使用される、ビデオモニタ（例えば、ディスプレイ２０６）にリアルタイム画像を送信する、取り付けられたカメラを有する剛直または可撓性の管である。内視鏡は、外科医が、関連エリアを切開して露出させることを必要とせずに、身体の関連エリアを詳細に視認することを可能にする。この技術は、外科医が、患者の体内を見ること、および従来の切開手術に別途必要とされるよりもはるかに小さい切開部を通して手術することを可能にする。したがって、典型的なロボット内視鏡手術では、１つの外科用ロボットアームに取り付けられた内視鏡、ならびに１つ以上の他の外科用ロボットアームに取り付けられた、一対の把持器および／またはハサミなどの、１つ以上の他の外科用器具が存在する。

【0005】

図４は、低侵襲性手術で使用するためにロボットアームの端に取り付け可能である例示的な内視鏡４００を例示する。内視鏡４００は、患者の外科手術部位への挿入のための遠位端４０２と、近位端４０４と、を有する。遠位端４０２は、細長いシャフト４０６によって近位端４０４に接続されている。近位端４０４は、ロボットアームの端部と係合するためのインターフェース４０８を含む。内視鏡４００は、外科手術部位を照射するための電源および光源を有する。内視鏡４００はまた、外科手術部位から画像データを抽出するためのデータラインを有する。これらは、すべて、図４に示されるように、ロボットアームから独立して外部に、内視鏡４００の近位端４０４に取り付けられ得る。図４では、ステム４１２を通じて電力が印加され、ステム４１２を通じて画像データが抽出され、光源ステム４１０を通じて光が印加される。代替的な実装形態では、光入力、電力入力、およびデータ出力のうちのいずれか１つ以上を、ロボットアームを通して内視鏡に加えられ得る／抽出され得る。内視鏡４００は、ロボットアームの端部に装着される。内視鏡インターフェース４０８は、ロボットアームの相補的インターフェースと係合する。内視鏡４００は、ロボットアームおよび内視鏡インターフェースを介して、ロボットアームに取り付け可能であり、ロボットアームから取り外し可能である。一部の場合に、内視鏡４００は、ロボットアームから独立してその取り外された状態で動作可能である。言い換えれば、これらの場合、内視鏡４００は、ロボットアームから取り外されたときに、手術室スタッフのメンバーによって手動で操作することができる。

【0006】

手術中に使用される内視鏡によってキャプチャされる画像（本明細書では、まとめて内視鏡ビデオと称され得る）に加えて、内視鏡によってキャプチャされる画像は、記録され、その後、限定されるものではないが、外科処置の学習および／または教育、ならびに外科医のパフォーマンスの評価および／またはレビュー（第三者または外科医自身による）などの様々な目的のために使用され得る。

【0007】

内視鏡ビデオに加えて、ロボットシステムからのテレメトリ、ロボットシステムの状態に関するデータ、ならびに手術室および／または制御コンソールに隣接する音声がキャプチャされ得る。さらに、キャプチャされたデータは、患者のバイタルサインおよび／またはヘルスケア（例えば、既往歴）を含み得る。キャプチャされたデータは、オペレータの身元、オペレータが操作した時間、実施された処置などの、オペレータデータを含み得る。キャプチャされたデータは、ロボットシステムおよび／またはロボットシステムに連結された設備を取り囲む環境から、またはそれに関連してキャプチャされたデータを含み得る。そのようなキャプチャされたデータは、学習および／または教育の目的で処置をレビューするのを支援するために、別個にまたは組み合わせて使用され得る。そのようなキャプチャされたデータは、少なくとも一時的にローカルに記憶され、後の分析のために遠隔転送され得る。データストレージおよび／または転送の効率を向上することが有用であろう。

【発明の概要】

【0008】

この概要は、以下で詳細な説明でさらに記述される概念の選択を紹介するために提供される。この概要は、特許請求された主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求された主題の範囲を制限するために使用することも意図していない。

【0009】

本発明の別の態様によると、外科用ロボットシステムにおけるデータストリームのデータ量を低減する方法が提供され、外科用ロボットシステムが、基部、および基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成が変更され得、方法は、
外科用ロボットシステムによってキャプチャされたデータストリームを受信することであって、データストリームが、外科処置に関するデータを含み、かつ第１のデータ量を有する、受信することと、
外科処置におけるイベントを示す受信されたデータストリーム内の特徴を識別することと、
識別された特徴に依存して、受信されたデータストリームを修正して、第１のデータ量よりも小さい第２のデータ量を有する、修正されたデータストリームを生成することと、を含む。

【0010】

方法は、識別された特徴の前の受信されたデータストリームの第１のデータ部分と、識別された特徴の後の受信されたデータストリームの第２のデータ部分と、のうちの１つ以上を修正することによって、修正されたデータストリームを生成することを含み得る。第１のデータ部分および第２のデータ部分のうちの一方または両方が、所定の期間に関連し得る。

【0011】

方法は、外科処置におけるさらなるイベントを示す受信されたデータストリーム内のさらなる特徴を識別することと、受信されたデータストリームの第３の期間を修正することによって修正されたデータストリームを生成することと、を、識別された特徴と識別されたさらなる特徴との間に、または識別された特徴および識別されたさらなる特徴の第１のものの前、ならびに識別された特徴および識別されたさらなる特徴の第２のものの後に、含み得る。

【0012】

特徴を識別することは、ルールセットのうちのあるルールが満たされているか否かを判定することと、ルールが満たされる特徴を識別することと、を含み得る。ルールは、外科用ロボットシステムおよび／または外科処置のパラメータグループのうちのあるパラメータが所定の基準に合致する場合に満たされ得る。受信されたデータストリームは、パラメータを含み得る。パラメータは、受信されたデータストリームの分析から判定され得る。方法は、修正されたデータストリームを保存および／または転送することを含み得る。

【0013】

受信されたデータストリームは、データチャネルグループからの１つ以上のデータチャネルを含み得、データチャネルグループは、外科用ロボットシステムに連結された内視鏡から受信されたビデオデータと、外科処置に関して記録された音声データと、外科用ロボットシステムに対応するテレマティクスデータと、外科用ロボットシステムの少なくとも一部分の状態と、ローカルネットワーク上の追加の装置によって送信されるさらなるデータと、を含み、方法が、データチャネルグループからの１つ以上のデータチャネルに依存して、特徴を識別することを含み得る。方法が、データチャネルグループの第１のデータチャネルに依存して、特徴を識別することを含み、修正されたデータストリームを生成することが、第１のデータチャネルと、データチャネルグループの第２のデータチャネルと、のうちの１つ以上を修正することを含み得る。

【0014】

識別された特徴が、器具の取り付け状態と、アームに取り付けられた器具の動作状態と、ロボットシステムの動作状態または動作モードと、アームおよび／またはアームに取り付けられた器具の構成と、制御コンソールの制御状態と、のうちの１つ以上の値または変化を示し得る。識別された特徴は、ビデオデータ、センサデータ、および外部に接続されたシステムによって報告されたデータのうちの１つ以上を示し得る。

【0015】

方法は、ビデオデータの少なくとも一部分のビデオ精細度と、ビデオデータの少なくとも一部分のビデオチャネルの数、ビデオデータの少なくとも一部分のフレームレート、ビデオデータの少なくとも一部分の色域、ロボットシステムの状態の表現、音声データの少なくとも一部分の音声精細度、データチャネルグループ内のデータチャネルの数を修正すること、のうちの１つ以上によって、修正されたデータストリームを生成することを含み得る。方法は、修正されたデータストリームが、第１の解像度を有するビデオデータの一部分、および第２のより低い解像度を有するビデオデータの一部分と、第１のチャネル数を有するビデオデータの一部分、および第２のより少ないチャネル数を有するビデオデータの一部分と、第１のフレームレートを有するビデオデータの一部分、および第２のより低いフレームレートを有するビデオデータの一部分と、第１の色域を有するビデオデータの一部分、および第２のより小さい色域を有するビデオデータの一部分と、状態が変化しない間の複数の時点におけるロボットシステムの状態に関連するデータの代わりに、ロボットシステムの状態の変化に関するデータと、既知の形状に関連する完全なビデオまたはグラフィックレンダリングデータの代わりにビデオデータ内の既知の形状のワイヤフレームモデルと、構造に関連する完全なビデオデータの代わりにビデオデータ内の構造の説明と、完全なビデオデータまたは完全なテレマティクスデータの代わりに、絶対場所および／または相対場所の説明、ならびに速度および／または運動の軌道の説明と、のうちの１つ以上を含むように、受信されたデータストリームを修正することを含み得る。構造の説明が、解剖学的構造、器具、およびエンドエフェクタのうちの１つ以上の説明を含み得る。

【0016】

方法が、受信されたデータストリームの少なくとも一部分を圧縮することによって、修正されたデータストリームを生成することを含み得る。方法が、データチャネルグループからの１つ以上のデータチャネルの少なくとも一部分を圧縮することによって、修正されたデータストリームを生成することを含み得る。

【0017】

方法が、受信されたデータストリームの少なくとも一部分をダウンサンプリングすることによって、修正されたデータストリームを生成することを含み得る。方法が、外科処置が実施されている際に、修正されたデータストリームを生成することを含み得る。

【0018】

方法は、リアルタイムまたは実質的にリアルタイムに、修正されたデータストリームを生成することと、遠隔プロセッサに修正されたデータストリームを送信して、それによって、遠隔プロセッサが、修正されたデータストリームのリアルタイムまたは実質的にリアルタイムの分析を実施することを可能にすることと、遠隔プロセッサから、外科用ロボットシステムのオペレータを支援するための分析の結果をリアルタイムまたは実質的にリアルタイムに受信することと、を含み得る。

【0019】

本発明の別の態様によると、外科用ロボットシステムにおけるデータストリームのデータ量を低減するための外科用ロボットシステムのためのデータ量修正システムが提供され、外科用ロボットシステムが、基部、および前記基部から器具の取り付け部まで延在するアーム、を有するロボットを備え、アームが、複数のジョイントを備え、それによって、アームの構成が変更され得、システムは、
外科用ロボットシステムによってキャプチャされたデータストリームを受信するように構成された受信器であって、データストリームが、外科処置に関するデータを含み、かつ第１のデータ量を有する、受信器と、
外科処置におけるイベントを示す受信されたデータストリーム内の特徴を識別するように構成された特徴検出器と、
識別された特徴に依存して、受信されたデータストリームを修正して、第１のデータ量よりも小さい第２のデータ量を有する、修正されたデータストリームを生成するように構成されたデータ修正器と、を備える。

【0020】

本発明の別の態様によると、本明細書に説明される方法を実施するように構成された外科用ロボットシステムのためのデータ量修正システムが提供される。

【0021】

本発明の別の態様によると、基部、および基部から器具の取り付け部まで延在するアームを有するロボットと、本明細書に説明される方法を実施するように構成されたデータ量修正システムと、を備える、外科用ロボットシステムが提供される。

【0022】

本発明の別の態様によると、非一時的コンピュータ可読記憶媒体であって、そこに記憶されているコンピュータ可読命令が、コンピュータシステムで実行されると、コンピュータシステムに、本明細書に説明される方法を実施させる、非一時的コンピュータ可読記憶媒体が提供される。

【0023】

上の任意の態様のいずれかの特徴を、上の任意の態様のいずれか１つ以上の他の特徴と組み合わせることができる。任意の方法の特徴を、装置の特徴として書き変えることができ、逆もまた同様である。

【図面の簡単な説明】

【0024】

ここで、添付図面を参照して、本発明を例として説明する。

【0025】

図は、以下のとおりである。

【図1】例示的な外科処置を実施する例示的な外科用ロボットを概略的に例示する。

【図2】例示的なオペレータコンソールを概略的に例示する。

【図3】複数の外科用ロボットを有する例示的な外科用ロボットシステムを概略的に例示する。

【図4】外科用ロボットアームに取り付け可能である例示的な内視鏡を概略的に例示する。

【図5】例示的なデータ量修正システムのブロック図である。

【図6】例示的な外科用ロボットシステムを概略的に例示する。

【図7】データストリームを修正する例示的な方法のブロック図である。

【図8】例示的なコンピューティングベースの装置のブロック図である。

【発明を実施するための形態】

【0026】

以下の説明は、当業者が本発明を作製および使用することができるようにするための実施例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、開示される実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、例としてのみ記載されている。

【0027】

データは、外科用ロボットシステムによってキャプチャされ得る。そのようなデータは、セットアップデータ、解体データ、模擬された訓練環境データ、およびロボットアームに連結された器具の数、タイプ、さらには個々の部品番号および使用時間などの、システムの構成に関するデータを含み得る。データはまた、処置が実施される病院の詳細、処置を実施する外科手術チームの詳細、および処置自体の詳細を含み得る。データは、システムが一晩または２４時間、週７日間放置されているか否か、システムが保守を受けるか否か、および保守を受けるとき、ならびにその保守の性質を含み得る。外科用ロボットシステムによってキャプチャされたデータは、患者の体腔内の内部外科手術部位などの外科手術部位を視認するために使用される内視鏡によってキャプチャされたビデオデータ、外科用ロボットシステムよってキャプチャされた音声データ、外科用ロボットシステムに関連するテレマティクスデータ、および外科用ロボットシステムの状態に関連する状態データのうちの１つ以上を含む、処置が実施される際の処置に関連するデータを含むことになる。状態データは、ジョイントもしくは複数のジョイント上もしくはその周囲のトルクに関連するデータ、および／またはロボットアームのすべてもしくは一部の動きに関連する加速度計データを含み得る。状態データは、ＣＰＵ負荷データおよび／またはＣＰＵからのデバッグ出力などの、システムプロセッサに関連するデータを含み得る。

【0028】

外科用ロボットシステムによってキャプチャされたデータは、外科用ロボットシステムのロボットアームに対するロボット制御を可能にし得る。例えば、内視鏡によってキャプチャされたビデオは、外科医によって視認され得る画面に表示され得、外科医がアームに連結されたか、またはアーム自体の器具の適切な制御を行うことを可能にする。データは、教育および訓練の目的でも使用され得る。データは、例えば、表示のために、外科医のコンソールに転送されたデータと同時に、またはその後で追加のコンソールに渡され得、生徒が、処置、例えば、処置中に外科医によってとられた措置をレビューすることを可能にする。データは、後で転送するためにローカルに保存され得る。データは、病院内でデータサーバに転送され得る。データは、オフサイト、すなわち、病院の内部ネットワーク外に転送され得る。データは、病院内または外部レビュー委員会による外部における処置のレビューを可能にし得る。

【0029】

外科用ロボットシステムによってキャプチャされたデータ量は、データを転送するためのデータリンクのデータ帯域幅が考慮すべき事柄になるほど十分に大きい場合がある。データストレージサイズもまた、考慮すべき事柄になり得る。データを保存および／または転送する場合、本発明者らは、データの重要な態様の忠実性または品質に影響を与えないやり方で、データのデータ量を低減することが有利であると認識した。例えば、データ量を低減するために、データ全体の品質が単純にダウングレードされることが可能であるが、これは、そのダウングレードされたデータを使用する教育およびレビュープロセスに悪影響を与えることになる。本発明者らは、データを選択的に修正して、より効率的にそのデータを保存および転送することを可能にすることが望ましいことを認識した。そのようにデータを修正することは、データサイズおよび帯域幅の要件を低減し得る。

【0030】

本明細書では、外科用ロボットシステムにおけるデータストリームのデータ量を低減するための方法および装置が説明される。外科用ロボットシステムによってキャプチャされたデータ、例えば、処置が実施される際にシステムによって生成および／または記録されたデータは、データ量修正システムで受信され得る。データ量修正システムは、好適には、外科用ロボットシステムの一部であるが、別個に提供されてもよい。データ量修正システムの特徴検出器は、例えば、そのようなイベントが発生したこと、およびそのイベントが発生したデータ内の場所またはタイミングを判定するために、外科処置におけるイベントを示す、受信されたデータストリーム内の特徴を識別するために使用される。次いで、データ修正器は、受信されたデータストリームおよび識別された特徴を使用して、修正されたデータストリームを生成するために使用される。修正されたデータストリームは、受信されたデータストリームよりも小さいデータ量を有する。

【0031】

まず、外科用ロボットシステム５０２によって実施される外科処置に関連するデータを自動的に修正するための例示的なデータ量修正システム５００を例示する、図５を参照する。外科用ロボットシステムは、基部、および基部から器具の取り付け部まで延在するアームを有する、少なくとも１つの外科用ロボットを含む。アームは、複数のジョイントを備え、それによって、アームの構成が変更され得る。例示的な外科用ロボットシステム５０２は、図６を参照して以下に説明される。

【0032】

データ量修正システム５００は、受信器５０４、特徴検出器５０６、およびデータ量修正器５０８を備える。受信器５０４、特徴検出器５０６およびデータ量修正器のうちの１つ以上は、限定されるものではないが、図８を参照して本明細書に説明される例示的なコンピューティングベースの装置などの、１つ以上のコンピューティングベースの装置によって実装され得る。受信器５０４は、外科処置に関連するデータを含むデータストリームを受信するように構成されている。受信器は、受信されたデータストリームを特徴検出器５０６に渡し、特徴検出器５０６は、データストリーム内の特徴を識別するように構成されている。データ量修正器５０８は、識別された特徴およびデータストリームに依存して、受信されたデータストリームよりも小さいデータ量を有する修正されたデータストリームを生成するように構成されている。修正されたデータストリームの生成は、以下でより詳細に説明されることになる。

【0033】

受信器によって受信されたデータストリームは、内視鏡ビデオデータ、すなわち、内視鏡５１０によるビデオまたは画像キャプチャを含み得る。受信器５０４は、例えば、ローカルネットワーク５１２を介して、内視鏡からビデオデータを受信するように構成されている。ローカルネットワークは、ＨＤＭＩインターフェース、ＳＤＩインターフェース、および他のビデオインターフェースのうちの１つ以上を含み得る。いくつかの場合、受信器は、ＨＤＭＩインターフェース、ＳＤＩインターフェース、および他のビデオインターフェースのうちの１つ以上を含み得る、直接カップリングを介して、内視鏡からビデオデータを受信するように構成され得る。ローカルネットワーク５１２は、好適には、病院施設内にある。ローカルネットワークは、大容量データネットワークを含み得る。ローカルネットワークは、例えば、帯域幅の制限に起因して、データスロットリングなしで、外科用ロボットシステムからデータを転送するのに十分な容量を有し得る。ビデオデータは、外科手術部位に向かってポートを通して内視鏡先端が挿入される前に内視鏡によってキャプチャされる、手術室自体のビデオまたは画像を含む可能性が高い。（用語「ポート」は、本明細書の他の箇所に説明されるように、物理ポートおよび／または仮想ポートを含むとみなされ得る。）アームに連結されている間の内視鏡の視野は、機密データをキャプチャすることを回避するために、十分に特徴付けられ、潜在的に制御され得る。一方で、内視鏡は、動作可能である可能性が高く、すなわち、手で保持されるか、またはロボットアームに装着されている間に、ビデオをキャプチャする可能性が高い。手で保持されている間、視野は、処置をレビューするとき、または教育の目的で、典型的には有用ではない画像またはビデオを含む可能性が高い。したがって、そのような画像またはビデオを転送および／または記憶することは、記憶空間および／またはデータ帯域幅を無駄にし得る。

【0034】

データストリームはまた、外科用ロボットシステム５０２の一部を任意選択的に形成するマイクロフォン５１４によってキャプチャされた音声データを含み得る。マイクロフォンは、ロボットアームに、もしくはそれに隣接して、および／または外科用ロボットシステムの制御コンソール５１６に、もしくはそれに隣接して位置し得る。このようにして、マイクロフォンは、外科処置を支援する手術室スタッフから、および外科医などの制御コンソールのオペレータからを含む、外科処置からの音声をキャプチャし得る。受信器５０４は、例えば、ローカルネットワーク５１２を介して、マイクロフォンから音声データを受信するように構成されている。音声データは、外科処置自体に関連がない可能性がある外科手術の前の議論を含み得る。したがって、音声データは、処置をレビューするとき、または教育の目的で有用ではない可能性があるデータを含み得る。そのような音声データを転送および／または記憶することは、記憶空間および／またはデータ帯域幅を無駄にし得る。

【0035】

データストリームはまた、テレメトリ／テレマティクスデータおよび／または状態データを含み得る。状態データは、外科用ロボットシステムの少なくとも一部分の状態を示し得る。テレマティクスデータおよび／または状態データは、ロボットのアーム５１８の制御に影響を与えるため、制御コンソール５１６によって生成され得る。テレマティクスデータおよび／または状態データは、アームジョイントの各々の構成を感知するように構成されているアームのジョイントセンサ５２０などのアーム自体上のセンサによって生成され得る。追加のデータは、温度センサ、電流センサ（それからバッテリレベルが導出され得る）、および／または加速度計などの、さらなるセンサによってキャプチャされたデータを含み得る。受信器５０４は、例えば、ローカルネットワーク５１２を介して、外科用ロボットシステムから（例えば、制御コンソールおよび／またはアームから）、テレマティクスデータおよび／または状態データを受信するように構成されている。テレマティクスデータおよび／または状態データのすべてまたは一部分（例えば、外科用ロボットアーム、それに取り付けられた器具、およびロボットアームの移動を制御する任意のハンドコントローラの位置および／または移動に関連するデータ）は、外科用ロボットシステム５０２自体によって生成されてもよい。外科処置の開始前に生成される、外科用ロボットシステムからのテレマティクスデータおよび／または状態データは、教育および／または訓練の目的に関連がない場合がある。例えば、セットアップ段階中にデータがキャプチャされ得る。このデータは、処置の内部レビューに関連があり得るが、教育または訓練にはあまり関連がない場合がある。したがって、テレマティクスデータおよび／または状態データのすべてを転送および／または保存することは、記憶空間および／またはデータ帯域幅を無駄にし得る。

【0036】

受信器５０４によって受信されたデータは、タブレットコンピュータ、携帯電話、および特殊医療装置などのローカルネットワーク上の追加の装置によって送信されるさらなるデータを含み得る。これらまたは他の装置は、特定のイベントを定義またはマークするようにフラグが設定され得るデータパケットを送信するように構成され得る。例えば、外科医が携帯電話を使用して制御コンソールにログオンする場合、その携帯電話は、ログオンイベントを示すデータパケットをシステムに送信し得る。さらなるデータは、患者のバイタルサインデータ（例えば、心拍数、呼吸数）、ヘルスケアデータ（例えば、既往歴）、オペレータの身元、オペレータがそのセッションで操作した時間、実施された処置、ロボットシステムおよびロボットシステムに連結された設備を取り囲む環境から、またはそれらに関連してキャプチャされたデータなどのオペレータデータを含み得る。

【0037】

ビデオデータ、音声データ、テレマティクスデータ、状態データ、およびさらなるデータの各々は、システムによってキャプチャされた処置に関連するデータの別個のデータチャネルであるとみなされ得る。データチャネルは、好適に互いに時間同期される。データチャネルは、１つのデータチャネルの特徴またはイベントが、特定の時間もしくは期間、および／または別のデータチャネル内の特定の特徴もしくはイベントに相関されることを可能にする、任意の好適な様式で時間同期され得る。例えば、複数のデータチャネルは、共通のタイムスタンプまたは共通のタイムラインを含み得るか、またはそれらにリンクされ得る。

【0038】

ビデオデータおよび／または音声データは、複数のチャネルデータを含み得る。例えば、ビデオデータは、３Ｄ画像を表すのに好適な、「右」チャネルおよび「左」チャネルを含み得る。音声データは、ステレオ音声を表すのに好適な、「右」チャネルおよび「左」チャネルを含み得る。いくつかの場合、２つよりも多いビデオおよび／または音声チャネルが存在し得る。

【0039】

ビデオデータ、オーディオデータ、テレマティクスデータ、状態データ、およびさらなるデータのうちの１つ以上のデータ量を低減することによって、修正されたデータストリームを生成することが望ましい場合がある。

【0040】

特定のチャネルのデータ量が増加するが、全体的なデータ量を依然として低減することができる。これは、他の箇所でより詳細に説明されている。

【0041】

好適には、修正されたデータストリームを生成することは、次のうちの１つ以上を修正することを含む。
・音声データの少なくとも一部分の音声精細度。例えば、ビデオデータの比較的高い精細度（例えば、超高精細度）部分は、精細度を比較的低い精細度（例えば、高精細度または標準精細度）に低減するように修正され得る。
・ビデオデータの少なくとも一部分のビデオチャネルの数。例えば、３Ｄデータは、２つのビデオチャネルのうちの１つを省略することによって、２Ｄデータに修正され得る。
・ビデオデータの少なくとも一部分の撮像モダリティの数。例えば、ハイパースペクトル撮像では、画像データセットは、複数の波長範囲でキャプチャされ得る。そのような画像データセットのうちの１つ以上が省略され得る。
・ビデオデータの少なくとも一部分のフレームレート。受信されたデータストリームは、６０Ｈｚなどの比較的高いフレームレートのデータを含み得る。修正されたデータストリームは、３０Ｈｚなどの比較的低いフレームレートでデータの一部分を含むように修正されてもよい。
・画像フレームのシーケンス内のフレームの数。画像またはフレームのサブセットは、ビデオストリームからキャプチャされ得、その画像またはフレームのサブセットが、ビデオストリームの代わりに転送される。例えば、静止画像がビデオストリームからキャプチャされ得、その静止画像がビデオストリームの代わりに転送され得る。これは、経時的なビデオストリーム内の画像データの変動がないか、またはほとんどない場合に有用であり得る。サブセットは、ビデオストリームから周期的にキャプチャされ得る、２～９フレーム、好ましくは、２または３フレームの程度の、少数のフレームを含み得る。フレームは、連続的、または非連続的、例えば、シーケンス内のフレーム１、２、３、またはシーケンス内のフレーム１、３、５とすることができる（他の非連続フレームグループが可能である）。サブセットは、所与の期間に１回キャプチャされ得る。期間は、１秒、５秒、１０秒、１５秒、２０秒などとすることができる。ビデオストリーム内の残りのフレームは、破棄され得る。（フレームレートが６０Ｈｚである場合、１秒毎に３フレームをキャプチャすると、結果的に残りの５７フレームが破棄されることになる。）キャプチャされたフレームのサブセットは、変化率情報および位置情報を取得するのに十分である。非連続フレームをキャプチャすることは、フレーム間の変化をより明白にすることを助け得る。キャプチャされるフレームの数は、特徴またはイベントに依存し得る。これらの例は、フレームレートの代替的な修正として考慮され得る。
・ビデオデータの少なくとも一部分の色域。修正されたデータは、データストリームの一部分の色調または色域を低減するように修正され得る。例えば、カラービデオは、モノクロビデオとなるように修正され得る。
・ロボットシステムの状態の表現。ロボットシステムの状態の変化に関するデータが、状態が変化しない間の複数の時点におけるロボットシステムの状態に関連するデータの代わりに保持され得る。
・例えば、音声データの周波数範囲を低減することによる、音声データの少なくとも一部分の音声精細度、
・例えば、修正されたデータ内のデータチャネルのうちの１つ以上を省略することによる、データチャネルグループ内のデータチャネルの数。

【0042】

方法は、修正されたデータストリームが、次のうちの１つ以上を含むように、受信されたデータストリームを修正することを含み得る。
・既知の形状に関連する完全なビデオまたはグラフィックレンダリングデータの代わりのビデオデータ内の既知の形状のワイヤフレームモデル。
・構造に関連する完全なビデオデータの代わりのビデオデータ内の構造の説明。構造の説明は、解剖学的構造、器具、およびエンドエフェクタのうちの１つ以上の説明を含み得る。
・完全なビデオデータまたは完全なテレマティクスデータの代わりの、絶対場所および／または相対場所の説明、ならびに速度および／または運動の軌道の説明。
・ダウンサンプリングされた音声／ビデオなどの、受信されたデータストリームのダウンサンプリングされた部分。
・受信されたデータストリームのバンドパスフィルタ処理された部分。
・受信されたデータストリームの間引きされた部分。例えば、一連のデータ点内の１０番目のデータ点毎に破棄され得る。より小さい割合のデータ点が保持され得る。別の例では、１０個のデータ点のうち１個が保持され得、残りの９個が破棄され得る。
・受信されたデータストリームの間引きされた部分。そのようなアプローチは、離散的コサイン変換およびウェーブレット変換を使用することを含み得る。
・第１のコーディング方式を使用してエンコードされたデータの代わりの第２のコーディング方式を使用してエンコードされたデータ。第１のコーディング方式は、ビデオストリームであってもよく、第２のコーディング方式は、標準的な外科手術オントロジーに基づき得る、座標系の並進および／または外科手術イベントの説明（例えば、英語）であってもよい。

【0043】

データストリームは、外科用ロボットシステムを通して、またはそれによって、例えば、外科用ロボットシステムのロボットアームを通して、またはそれによって送信され得る。したがって、データストリームは、ロボットシステムのアームからデータ量修正システムで受信され得る。好適には、データストリームは、ロボットシステムのアームからのデータフィードなどの、外科用ロボットシステムからのデータフィードを含む。

【0044】

受信器５０４は、任意の好適な手段を介して外科処置に関連するデータストリームを受信し得る。例えば、いくつかの場合、外科用ロボットシステム５０２は、限定されるものではないが、イーサネット接続、Ｗｉ－Ｆｉ（登録商標）接続、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、近距離通信（ＮＦＣ）接続、ＨＤＭＩ接続、ＳＤＩ接続、他のビデオインターフェース接続などの、無線または有線通信接続５１２を介して、データを受信器５０４に提供し得る。これらの例では、状態データのすべてまたは一部分は、外科処置が実施されている間に、リアルタイム（または実質的にリアルタイム）に受信器５０４に提供され得る。

【0045】

他の場合、処置に関するデータは、処置中に別の装置（例えば、コンピューティングベースの装置）によってキャプチャされ、記憶装置５２４（例えば、メモリ）に記憶され、その後、通信接続５１２を介して、または任意の他の好適な手段を介して、受信器５０４に提供され得る。いくつかの場合、データのすべてまたは一部分は、処置が実施される場所で、限定されるものではないが、ＵＳＢ（ユニバーサルシリアルバス）メモリスティックまたはＳＤカードなどのポータブル記憶媒体上に記憶され得、受信器５０４がポータブル記憶媒体からデータを読み出し得るように受信器５０４に連結されている受信器５０４の場所に物理的に移送され得る。

【0046】

特徴検出器５０６は、外科処置におけるイベントを示す特徴を、受信されたデータストリーム内で識別するように構成されている。イベントは、処置の段階または外科医もしくは手術室スタッフの別のメンバーによって講じられる措置などの処置の任意の所望の態様を含み得る。イベントは、システムが一晩または２４時間、週７日間放置されているか否かを特徴付け得る。イベントは、システムが保守を受けるか否か、およびそれがいつか、ならびにその保守の性質を特徴付け得る。

【0047】

例えば、イベントは、縫合処置、焼灼処置、把持処置、切断処置、１つ以上の器具のエンドエフェクタを外科手術部位の所望の場所に移動させる処置、吹送処置などの開始および／または終了を識別することを含み得る。

【0048】

イベントは、システムに連結された器具の動作状態、および／またはシステムの動作状態を識別することを含み得る。例えば、システムは、モードグループのうちのあるモードであり得る。モードグループは、器具がシステムに取り付けられ得るセットアップモードを含み得るが、外科医による器具の動作制御は、そのモードで有効化されない場合がある。モードグループは、システムに取り付けられた器具が外科医の制御コンソールに動作可能に連けるされ、器具の制御が外科医によって行われることを可能にする、外科手術モードを含み得る。したがって、イベントは、システムがいつ外科手術モードなどの特定のモードに入るかおよび／またはそれを出るかを識別することを含み得る。器具が動作状態ではない、例えば、器具が外科医によって能動的に制御されていない、および／または器具が制御コンソールに動作可能に接続されていないと判定される場合、対応するデータ部分は、処置に関連がないと示され、完全に保持される必要はない可能性がある。そのような判定は、テレメトリデータを使用して、またはビデオ画像分析から行われ得る。

【0049】

イベントは、データストリームの任意の他の所望の態様または特徴を識別することを含み得る。例えば、本明細書の別の箇所でより詳細に論じられるように、システムは、その器具のエンドエフェクタなどの器具の一部分が、外科手術部位に向かって、または外科手術部位から離れてポートを通過するときを検出するように構成され得る。システムは、内視鏡が外科手術部位に向かってポートを通して挿入されるとき、または外科手術部位から離れてポートから引き抜かれるときを検出するように構成され得る。そのような検出は、ビデオデータなどのデータストリームの態様に基づき得る（例えば、ビデオデータの色または色の変化、ビデオデータの強度／輝度または強度／輝度の変化、ビデオデータ内の物体の追跡、ビデオデータの識別された部分の変化の追跡などの、ビデオデータの分析からであり、追加の詳細については、本明細書の他の箇所を参照されたい）。

【0050】

識別された特徴は、アームおよび／またはアームに取り付けられた器具の構成のうちの１つ以上の値、またはその変化、ならびに制御コンソールの制御状態を示し得る。識別された特徴は、ビデオデータ、センサデータ（トルクデータ、加速度計データ、温度データ、バッテリ電圧データなどを含む）、および外部に接続されたシステムによって報告されるデータ内で検出される特徴のうちの１つ以上を示し得る。

【0051】

特徴は、本明細書に説明されるイベントの任意の１つまたは任意の組み合わせの検出に依存して識別され得る。

【0052】

識別された特徴は、外科処置、または外科処置の特定の態様もしくは段階の開始および／または終了を示し得る。処置開始前または処置終了後に、すべてのデータを完全正確に保存するか、または転送することは、すべての状況において必要ではない。したがって、処置が実施されるとき以外のデータストリームの一部は、データストリームのデータ量を低減するために修正され得る。そのような修正は、処置自体に関するデータを失うことなく実施され得る。イベントは、外科処置の開始を示し得る。例えば、イベントは、内視鏡が内部外科手術部位に向かってポートを通して挿入されたことを検出することを含み得る。別のイベントは、外科手術処置の終了を示し得、例えば、イベントは、内視鏡がポートから除去されたことを検出することを含み得る。処置、例えば、２つのイベントの間の期間に関する完全なデータを保持し、この期間外のデータストリームのデータ量を低減することが望ましい場合がある。

【0053】

いくつかの場合、処置の一部のみが関連し得る。例えば、処置が電気焼灼ステップを含み、データストリームが電気焼灼教材の一部として保存されている場合、電気焼灼ステップに関連しない処置の他の態様の完全な詳細を保存または転送する必要はない。したがって、電気焼灼ステップに関連しないデータストリームの部分は、それらの部分の関連付けられたデータ量を低減するために修正され得る。

【0054】

データストリームのデータ量を低減するための１つのアプローチは、完全なデータ品質を保持することが望ましいデータストリームの一部分（複数可）を識別し、データストリームの他の部分を修正して、それらの他の部分のデータ量を低減することである。別のアプローチは、完全なデータ品質を保持する必要がないデータストリームの一部分（複数可）を識別し、それらの識別された部分を修正して、それらの部分のデータ量を低減することである。

【0055】

例として、内視鏡ビデオを考慮する。内視鏡がロボットアームに取り付けられると、それがポートを通して挿入される前に、それは、手術室のビデオ（すなわち、手術野外からのビデオ）をキャプチャすることになる。このビデオは、レビューまたは訓練にとって関連性の低いデータを含み得る。内視鏡がポートを通して挿入されると、それは、内部外科手術部位のビデオ（すなわち、手術野内からのビデオ）をキャプチャすることになり、これは、レビューまたは訓練のために保持することが望ましいデータに関連する可能性が高い、すなわち、そのようなデータは、より関連性が高い可能性が高い。これは、次いで、再び関連性がより低いデータを伴う、手術室のビデオを再びキャプチャし始めることになるときに、内視鏡がポートから退避されるまで（ビデオが手術野の内側にある状態から手術野の外側にある状態に遷移することになるとき）、そのケースのままになる。それゆえに、「関連」データは、ポートを通した内視鏡の挿入と、ポートからの内視鏡の退避との間でキャプチャされたビデオ、すなわち、標的手術野のビデオを含み得、好適には他には何も含まない。したがって、このアプローチは、いつ内視鏡がポートを通して挿入されるか、およびいつそれがポートから退避されるかを判定することと、これらの識別された時間の間、すなわち、内視鏡がポートを通して挿入されるときにキャプチャされたビデオデータの任意の部分のデータストリームを完全に保持することと、を伴い得る。他の時間（すなわち、内視鏡がポートを通って挿入されないとき）のデータストリーム内のデータは、データストリームのデータ量を低減するために、除去または別様に修正され得る。

【0056】

第１および第２のアプローチの組み合わせが使用されてもよい。

【0057】

データストリーム内の特徴を識別することに応答して、特徴検出器５０６は、出力を生成するように構成され得、出力は、
・特徴が検出されたことと、
・検出された特徴のタイプと、
・特徴の時点（すなわち、特徴が発生した時点）と、
・特徴が関連するデータストリームの一部分（例えば、静止画像もしくはビデオ画像の一部、または一連の画像の連続部、またはより一般的には、データチャネルのうち、特徴を含むものなど）と、
・特徴の持続時間と、のうちの１つ以上を示す。

【0058】

出力は、データ修正器５０８に提供される。

【0059】

データ修正器は、特徴検出器から出力を受信し、かつ、例えば、受信器から、任意の好適な手段を介してデータストリームを受信するように構成されている。データ修正器はまた、ローカルネットワーク５１２を介してデータストリームを受信するように構成され得る。データ修正器は、受信されたデータストリームおよび識別された特徴に基づいて、修正されたデータストリームを生成するように構成されている。修正されたデータは、ローカルまたは遠隔ストレージ、例えば、記憶装置５２４に保存され得る。修正されたデータは、インターネットなどの遠隔ネットワーク５２６を介して送信され得る。修正されたデータは、有線リンクを介して、または無線接続を介して、遠隔ネットワークに接続するローカルアクセスポイントへなどの、任意の好適な方法によって送信され得る。

【0060】

データ量修正システム５００は、外科用ロボットシステム５０２から遠隔であってもよい。例えば、外科用ロボットシステム５０２は、手術室内に位置し得、データ量修正システム５００は、病院または治療センター内の別の部屋にあり得る。他の場合、データ量修正システムは、例えば、制御コンソールにおいて、外科用ロボットシステムと統合され得る。

【0061】

好適には、データ量修正システム５００は、データストリームをリアルタイム（または実質的にリアルタイム）に処理するように構成されている。データ量修正システムは、メモリ５２８、例えば、受信されたデータストリームを一時的に記憶するためのバッファメモリを含み得る。データ修正器５０８は、保存されたデータストリームをメモリ５２８から読み出し得る。データストリームを（実質的に）リアルタイムに処理することは、修正されたデータが遠隔ネットワークを介して、同様にリアルタイム（または実質的にリアルタイム）に送信されることを可能にする。修正されたデータは、クラウドに位置するサーバに、例えば、サーバにおける支援モジュールに、送信され得る。支援モジュールは、修正されたデータを分析して、パフォーマンスまたは他の測定基準を抽出し得る、および／または分析に応答して助言または提案を生成し得る。助言は、特定の処置における次のステップに関する助言、所与のステップを最も効果的に実施する仕方、実施されている処置または実施されている処置におけるステップに関する提案などを含み得る。この助言は、遠隔サーバによって、遠隔ネットワーク５２６を介して、外科用ロボットシステム５０２に、例えば、ディスプレイ５３０に提供され得る。このようにして、外科用ロボットシステムを動作させる外科医は、患者に処置を実施する際に、（実質的に）リアルタイムに助言／提案を受信し得る。

【0062】

このようにして、データ量修正システムは、外科医によって実施されている処置を強化するために、遠隔ベースの支援モジュールの使用を可能にする。いくつかの場合、修正されたデータは、別の外科医などの遠隔に位置する人物に送信され得る。このようにして、より経験の多い外科医は、同じ場所にいることを必要とせずに、より経験の少ない同僚に適時に助言を提案し得る。

【0063】

いくつかの場合、受信器によって受信されるデータストリームは、修正されたデータストリームの生成と同時に、リアルタイムに外科用ロボットシステムのオペレータ（例えば、外科医）に提示される。これは、修正されたデータの生成における遅延の問題が、手術の性能に影響を与えることを回避するのを助け得る。

【0064】

好適には、受信されたデータストリームは、それが、保存されるか、または遠隔場所、例えば、処置が実施される手術室（または病院）から遠隔の場所に転送される前に修正される。データストリームは、それが、記憶装置５２４などのローカルストレージに保存される前に修正され得る。記憶装置は、修正されていないデータストリーム、および修正されたデータストリームの両方を記憶し得る。

【0065】

好適には、外科医などの外科用ロボットシステムのオペレータ、または病院の別のスタッフのメンバーは、データまたは修正されたデータが保存および／または転送されるか否かを制御することができる。したがって、データ量修正システムは、データストリームをローカルに保存する選択肢をユーザに提示し得る。データ量修正システムは、ローカルまたは遠隔場所のいずれかに、修正されたデータストリームを保存および／または転送する選択肢をユーザに提示し得る。このようにして、外科医または病院スタッフの別のメンバーなどのユーザは、データまたは修正されたデータがどのように使用されるかを監視する。

【0066】

データ量修正システムは、修正されたデータストリームを生成する際に、データストリームの少なくとも一部分を圧縮するように構成された圧縮モジュール５３２を備え得る。圧縮モジュールは、データ修正器５０８において、またはその一部として提供され得る。圧縮モジュールは、内視鏡がポートを通して挿入されていないときに、受信されたデータを圧縮するように構成され得る（例えば、受信されたデータのビデオチャネルを、任意選択的に、受信されたデータの追加データと一緒に圧縮することによってなど）。圧縮モジュールは、例えば、損失圧縮アルゴリズムなどの従来の圧縮アルゴリズムを使用することによって、任意の好適な様式でデータを圧縮し得る。それゆえに、圧縮されたデータは、非圧縮データよりも小さいデータ量を有し得る。

【0067】

いくつかの場合、受信されたデータの異なるセグメントまたはチャプタが、異なるレベルの圧縮によって圧縮され得る。例えば、データストリームは、データストリームの１つ以上の特徴（またはより広くは、外科処置に関連する情報）に基づいてセグメント化され得る。このように、データストリームは、アームの構成、取り付けられた器具のタイプおよび／またはその動作状態、ロボットシステムの動作状態、処置の段階、ロボットを制御する外科医などのうちの１つ以上に従ってセグメント化され得る。処置の各段階、または段階群は、異なる圧縮レベルと関連付けられ得る。これは、段階間で異なるようにデータ量の低減を可能にし得る。

【0068】

データ量修正システムは、受信されたデータストリームおよび修正されたデータストリームの一方または両方に「透かし」を追加するように構成された、透かしモジュール５３４を含み得る。透かしモジュールは、データ修正器５０８において、またはその一部として提供され得る。透かしは、デジタル署名および／または指紋を含み得る。透かしは、透かしの少なくとも一部が「隠された」とみなされ得るように、データに追加され得、すなわち、透かし（または透かしの隠された部分）が追加されたことは必ずしも明白ではない。これは、透かし（または透かしの隠された部分）が第三者によって意図的に除去されるリスクを低減し得る。例えば、透かしモジュールは、データの最下位ビットにおける透かしをエンコードすること、データに関して離散的コサイン変換を行うことの一部として透かしをエンコードすること（例えば、データを圧縮するとき）、ウェーブレット変換を使用して透かしをエンコードすること、スペクトル拡散技術を使用して透かしをエンコードすること、周波数および／または時間マスキングを使用して透かしをエンコードすることなどのうちの１つ以上によって透かしを適用するように構成され得る。

【0069】

透かしモジュールは、データが修正されたときに透かしを追加するように構成され得る。他の実施態様では、透かしモジュールは、例えば、さらなる修正プロセスにおいて、修正されたデータが遠隔で転送されるときに、修正されたデータに透かしを追加するように構成され得る。したがって、透かしモジュールは、データ量修正システムの一部として提供する必要はないが、別個に提供されてもよい。例えば、透かしモジュールは、修正されたデータが記憶されるデータストア５２４に連結されることなどによって、修正されたデータへのアクセスを有し得る。修正されたデータが遠隔で送信されるとき、透かしモジュールは、転送前に、その段階で透かしを追加するように構成され得る。意図される受信者および／または修正されたデータの意図される使用に関する詳細は、透かしに含められ得る。

【0070】

透かしモジュールの提供は、データ（例えば、遠隔サーバに転送される修正されたデータ）が追跡および／または識別されることを可能にする。例えば、透かしは、処置が実施された病院、処置を実施した外科医／手術チーム、処置を実施するために使用されたロボットシステム（制御コンソール、ロボットアーム、および器具のうちの１つ以上の固有のシリアル番号によって識別され得る）、処置のタイプ、処置が実施された日時、データの公開を許可する責任者、公開されたデータの有効期限などのうちの１つ以上の識別を含み得る。任意の望ましいメタデータが透かしに含められ得る。透かし入りの修正されたデータは、それによって、処置が実施された病院に遡ることができる。したがって、修正されたデータのレビューにおいて、レビューの任意の結論または結果（透かしに含まれる詳細を知らなくても行われ得る）は、関連する病院／手術チームにフィードバックされ得る。

【0071】

透かしは、修正されたデータが公開された使用の表示を含み得る。例えば、特定の処置についての修正されたデータは、その処置のレビューのために公開され得るが、教育のためには承認されず、これは、例えば、その処置がまだ実験的であるためである。透かしモジュールは、データがレビューのために（おそらくは、個人または病院であり得る、選択された受信者によるレビューのために）使用され得ることを示す透かし、およびデータが公開された人物／組織の詳細を追加するよう構成され得る。そのデータが後で別の個人によって使用されること、または別の使用が見出された場合、公開チャネルおよびオリジナルの承認された使用は、透かしから判定され得る。これらの目的のために、そのような情報が透かしの隠された部分に含まれており、そのため、意図的に除去されない（または除去することができない）場合、有用であり得る。

【0072】

いくつかの場合、データストリームがセグメント化されている場合、異なる透かしが、異なるセグメントまたはセグメントグループに適用され得る。これは、異なる器具が使用されたため（そのため、透かしの器具ＩＤが異なり得る）、異なる外科医が処置の一部を実施したため（そのため、透かしの外科医ＩＤが異なり得る）、セグメントが別のセグメントとは異なる目的のために公開されたため（そのため、透かしの受信者／使用目的などに関する詳細が異なり得る）であることを含む、いくつかの理由から行われ得る。

【0073】

データがローカルデータストア５２４および／または遠隔データストアに記憶される場合、そのようなデータは、所与の時間の間、保持され得る。法律上または規制上の要件を満たすために、最低限の時間のデータの保持が必要とされ得る。好適には、データは、データが保持されることになる時間の長さを示す寿命値、および／またはデータが削除され得る日付を示す有効期限と関連付けられる。システムは、寿命値または有効期限に達すると、データを自動的に削除するように構成されてもよい。例えば、病院は、例えば、７日間など、一定の日数の間、外科用ロボット処置からのデータを保持する方針を有し得る。それゆえに、寿命値は、７日に設定され得る。処置の完了から７日が経過すると、その処置に関連するデータは、ローカルおよび／または遠隔ストレージから自動的に削除され得る。データを自動的に削除する代わりに、ユーザは、データの削除を確認するプロンプトを受信し得る。

【0074】

いくつかの場合、データ量修正システムは、寿命値または有効期限に達すると、データを自動的に修正するように構成されてもよい。このように、データストリームが修正されることなく保持される場合、寿命値に対応する期間（または有効期限まで）、データストリームが利用可能であり得る。この時間の間、例えば、処置が行われた病院内の全データがレビューに利用可能である。そのようなレビューは、処置を行った外科医および／または手術チームによって行われ得る。好適には、寿命値／有効期限は、標準的な処置後レビューが完全なデータに対して行われ得るほど十分に長い持続時間の間、完全なデータが保持されるように、選択され得る。例えば、処置から７日以内にそのようなレビューを実施することが病院の方針である場合、寿命値は、７日に設定され得る。次いで、データは、この期間の終了時に自動的に修正され得、修正されたデータストリームは、より長い期間にわたって利用可能なままであり得る。

【0075】

いくつかの場合、データストリームは、第１の寿命値（または第１の有効期限）と関連付けられ得る。この寿命値は、完全なデータが利用可能なままである時間の長さを判定し得る。この期間の終了時に、データは、データ量修正システムによって修正され得る。修正されたデータ（および任意選択的にデータストリーム）は、第２の寿命値（または第１の有効期限よりも後の第２の有効期限）と関連付けられ得る。この第２の寿命値は、修正されたデータが利用可能なままである時間の長さを判定し得る。例えば、第１の寿命は、３日間であるように選択され得、第２の寿命は、１４日間であるように選択され得る。この例では、完全なデータは、処置の後、３日間保存され得る。この時間の間に、完全なデータがレビューされ得る。３日後、データは、自動的に修正される。修正されたデータは、さらに１４日間保持され、その後、自動的に削除される。他の期間が、必要に応じて選択され得る。第２の寿命値（第２の有効期限）は、修正されたデータが決して自動的に削除されないことを示し得る。自動的に修正／削除されるデータの代わりに、ユーザは、関連する段階でデータを修正および／または削除するように促され得る。そのように促すことは、権限のある人物がデータの管理に引き続き責任を負うことを確保し得る。

【0076】

典型的には、完全なデータは、ローカルに保持されることになる。いくつかの場合、修正されたデータは、ローカルに保持され得る。いくつかの場合、修正されたデータは、遠隔に保持されることになる。修正後、システムは、修正されたデータを遠隔ストアに転送し、ローカルストアからデータを削除するように構成され得る。したがって、このような場合、完全なデータは、所定の期間にわたってローカルに利用可能であり得、その後、修正されたデータは、さらに所定の期間にわたって遠隔で利用可能であり得る。

【0077】

いくつかの場合、データストリームが満了するか、その寿命の終わりに達すると、削除前に自動的に修正され得る。このようにして、削除されたデータの任意の復元は、受信されたデータストリームではなく、修正されたデータを明らかにすることになる。いくつかの場合、データストリームまたは修正されたデータストリームは、削除前に透かし（またはさらなる透かし）が付けられ得る。好適には、透かしは、データが削除されることを示す。したがって、削除されたデータが復元される場合、そのデータが意図的に削除されたと判定され得る。いくつかの場合、データを再生するための再生システムは、データが削除された（または削除されるべき）ことを示す透かしを有するデータの再生を防止するように構成され得る。

【0078】

ここで、例示的な外科用ロボットシステム５０２を例示する図６を参照する。この例では、外科用ロボットシステム５０２は、制御ユニット６０６によって駆動される２つの外科用ロボット６０２および６０４を備える。制御ユニット６０６は、第１および第２のコントローラ６１２、６１４からの入力を含む、オペレータコンソール６１０（図２のオペレータコンソール２００などであるが、これに限定されない）からの入力６０８を受信する。制御ユニット６０６は、オペレータコンソール６１０から、フットペダル入力、音声認識入力、ジェスチャ認識入力、視線認識入力などのような他の入力を受信し得る。制御ユニット６０６はまた、外科用ロボット６０２、６０４から入力６１６を受信する。これらの入力には、ロボットアームのジョイント上に位置する、位置センサおよびトルクセンサからのセンサデータが含まれる。制御ユニット６０６は、各ロボットから、力フィードバック、外科用器具からのデータ、または外科用器具についてのデータなど、他の入力６１６を受信してもよい。制御ユニット６０６は、ロボット６０２、６０４およびオペレータコンソール６１０から受信する入力に応答して、ロボット６０２、６０４を駆動する。制御ユニット６０６は、１つ以上のプロセッサ６１８およびメモリ６２０を含む。メモリ６２０は、１つ以上のプロセッサ６１８によって実行されてドライバを制御することができる、ソフトウェアコードを非一時的に記憶する。

【0079】

図６の例示的な外科用ロボットシステム５０２は、２つの外科用ロボットを含むが、本明細書に説明される方法および技術は、１つのみの外科用ロボットを有する外科用ロボットシステム、および３つ以上の外科用ロボットを有する外科用ロボットシステムに等しく適用可能であることは、当業者には明白であろう。

【0080】

上記の説明は、複数のチャネルを含む受信されたデータストリーム内の識別可能なイベントの例を説明し、その識別は、データストリームが修正されることにつながり得る。そのような場合、所与のデータチャネル（例えば、ビデオデータ）の特徴が識別され得、それに応答して、データ修正器は、同じデータチャネル（ビデオデータ）内でデータを修正し得る。いくつかの場合、１つのデータチャネルにおける１つ以上の特徴が識別され得、それに応答して、データ修正器は、特徴が識別されたデータチャネルにおけるデータと共に、またはそれに代えて、１つ以上の他のデータチャネル内のデータを修正し得る。

【0081】

識別可能なイベントは、外科用ロボットシステムの状態を含むか、またはそれに依存して判定され得る。外科用ロボットシステムの状態（すなわち、システムの少なくとも一部分の状態を含む状態データ）は、器具の取り付け状態、器具の動作状態、ロボットの動作状態、アームおよび／またはアームに取り付けられた器具の構成、ならびに制御コンソールの制御状態のうちの１つ以上を含み得る。

【0082】

内視鏡などの器具がアームに取り付けられていない場合、その時点では処置が開始していない可能性が高いため、データストリーム内のデータが外科処置の実施に関連しない可能性が高い。したがって、内視鏡の取り付け状態は、処置中のイベントを示す特徴としてとられ得、ここで、処置自体は、内視鏡が取り付けられていない場所では開始されていない可能性が高い。したがって、そのような特徴を識別することは、内視鏡がアームに取り付けられていないこの例では、この状態で内視鏡によってキャプチャされたビデオデータが、例えば、レビューおよび／または教育の目的に対する関連性が低い可能性が高いため、ビデオデータのその部分のデータ量を低減するためにデータ修正器によって修正されるようにマークされるか、または別様に示され得ることを意味する。この例では、特徴（内視鏡の取り付け状態）は、内視鏡が取り付けられていない期間全体を通して検出されることになる。それゆえに、データストリームは、特徴が識別可能である期間、例えば、内視鏡がアームに取り付けられるまで、修正され得る。

【0083】

識別可能な特徴は、アームへの内視鏡の取り付け（すなわち、内視鏡が取り付けられている／取り付けられているままの状態ではなく、内視鏡を取り付けるイベント）を含み得る。したがって、そのような場合、データが修正されるために、特徴が常に存在する必要はない。そのような場合、アームへの内視鏡の取り付けが発生すると判定される場合、内視鏡がアームに取り付けられていなかった間に先行するデータストリームがキャプチャされたことが知られることになる。そのような特徴の判定に応答して、データ修正器は、特徴に先行するデータを修正し得る。取り付けイベントが取り外しイベントに先行される（すなわち、内視鏡がアームに再び取り付けられる前にアームから取り外されるか、または別のアームに取り付けられる）場合、両方のイベントは、特徴として識別され得、それに応答して、データ修正器は、特徴（イベントの発生）間のデータストリームを修正するように構成され得る。このようにして、データ修正器は、内視鏡がアームに取り付けられていない期間、ビデオデータを修正し得る。修正されたデータストリームは、修正された部分が、修正されていない部分よりも小さいデータ量を有することになるため、受信されたデータストリームよりも小さいデータ量を有することになる。これは、データストレージ（修正されたデータストリームが、修正されていないデータストリームの代わりに保存される場合）および／またはデータ帯域幅要件（修正されたデータストリームが、修正されていないデータストリームの代わりに転送される場合）における保存を有用に可能にする。

【0084】

上記の場合は、別のデータチャネルの特徴を識別することに応答して、１つのデータチャネルを修正するデータ修正器の例である。ここで、特徴が状態データ内で判定され、ビデオデータが修正される。

【0085】

器具の動作状態は、外科用ツールが外科医によって現在制御されているか否かを示し得る。例えば、把持器ツールがアームに取り付けられる場合、ツールの動作状態は、把持器ツールが起動されているか否か、すなわち、外科医によって移動／使用されているか否かを示し得る。外科医が外科手術部位のビューを有していない限り、ツールは、外科医によって使用されないため、ロボットのアームに取り付けられた少なくとも１つのツールが能動的制御下にあるとき、内視鏡が外科手術部位の画像をキャプチャすることになるため、患者の体腔内に位置することになると判定され得る。したがって、ツールが動作状態にある場合、そのような特徴は、後続するビデオデータが、実施される外科処置に関連することを示し得、例えば、データは、レビューおよび／または訓練に関連性があり、完全に保持されるべきである。そのような特徴の識別に応答して、データ修正器は、受信されたデータストリーム内の先行データを修正するように構成され得る。すなわち、ツールが動作状態に入る場合、以前の状態（例えば、非動作状態）に関連するデータは、関連性が低いと判定され得、それゆえに、これが、処置自体に関連するデータストリームの、またはレビューおよび／もしくは訓練の目的で、より重要である可能性が高い、データの品質に影響を与えることなく、以前の状態に関連するデータのデータ量を低減するように修正するためにマークされ得る。

【0086】

ロボットの動作状態は、例えば、内視鏡がポートを通して挿入されているか否かを示すことによって、データストリーム内のデータを特徴化またはセグメント化するために使用され得る。ロボットの動作状態は、ロボットシステム、または制御コンソールのモードを含み得る。ロボットシステムは、「ポート訓練」モードに初期化されるか、またはそのモードにされ得る。このモードでは、器具（内視鏡または把持器器具などの他のタイプの器具であり得る）がアームに取り付けられ、ポート内に部分的に位置付けられ得る（ポートは、仮想ポートとすることができ、すなわち、物理ポートである必要はなく、これは、以下でより詳細に論じられる）。アームは、アームを押すユーザによって動かされて、システムがポートの場所を判定することを可能にし得る。このようにして、システムは、仮想ピボット点（ＶＰＰ）の位置を確立し得、それを中心として、器具は、ポートを通して挿入されたときに枢動するように制限される。次いで、システムは、器具の外科的制御が開始され得る位置に向かって、器具がポートを通してさらに挿入され得る、「器具調整」モードに移動され得る。例えば、器具が内視鏡である場合、器具の先端（内視鏡撮像装置を収容し得る）が所望の外科手術部位に隣接して位置するまで、器具が挿入され得る。他の場合では、器具は、器具のエンドエフェクタが外科手術部位に位置する内視鏡の視野内に入るまで、挿入され得る。システムは、器具調整モードと、手術器具の制御がオペレータ（例えば、外科医）によって有効化され得る「外科手術」モードとの間で動かされ得る。システムはまた、外科手術モードと、器具が取り外され、かつ交換され得る「器具変更」モードとの間で好適に動かされ得る。システムが外科手術モードにある場合、内視鏡がポートを通して挿入されていると判定され得る。したがって、いくつかの場合、システムが外科手術モードにある場合、データストリームは、「より関連性が高い」（例えば、他の用途の中でも、レビューおよび／または訓練に関連性のあるデータを含む可能性が高い）と示され得る。他のとき（システムが他のモードにあるとき）には、キャプチャされたデータは、患者のビューも含み得る、手術室のビューなどの非外科手術データを含み得る。したがって、データ修正器は、外科手術モードに入る前にキャプチャされたデータ、および／またはシステムが外科手術モードを終了した後にキャプチャされたデータを修正し得る。

【0087】

上述のように、ポートは、仮想ポートを含み得る。いくつかの場合、ポートは、器具が通過し得る物理ポートを備える。いくつかの場合、ポートは、「仮想ポート」であってもよく、物理ポートが存在する必要はない。これは、例えば、器具が、患者の鼻孔または口などの、患者の開口部を通して挿入される場合であり得る。仮想ポートは、上記のものと同様の様式で定義され得る。例えば、内視鏡などの器具は、仮想ポート（例えば、患者の鼻孔の中）を通して少なくとも部分的に挿入され得、アームは、ユーザによって動かされて、システムが仮想ポートの空間内の場所を判定することを可能にする。このようにして、システムは、仮想ピボット点（ＶＰＰ）の位置を確立し得、それを中心として、器具は、仮想ポートを通して挿入されたときに枢動するように制限される。

【0088】

いくつかの場合、外科用ロボットシステムの状態は、アームおよび／またはアームに取り付けられた器具の構成を含み得る。これは、器具／アームがどのように位置付けられるかについての情報を提供し得、そこから、例えば、処置が実施されているか、および／または内視鏡が患者の体腔内に挿入される可能性があるか否かが判定され得る。

【0089】

外科用ロボットシステムの状態は、内視鏡などの器具の仮想ピボット点（ＶＰＰ）が設定されるか否かを含み得る。ＶＰＰの設定は、器具がポートを通して挿入されていることを示し得る。システムは、ＶＰＰの場所、ならびに器具のエンドエフェクタおよび器具シャフトの場所の知識（例えば、アーム運動学からの）に基づいて、ポートを通して挿入される器具の有無を判定し得る。外科用ロボットシステムの状態は、器具または器具の一部分の位置および／または移動、例えば、器具の先端が患者の体腔の内側にあるか否か、または先端がポート、もしくはそのポートと関連付けられた画定されたＶＰＰを通過したか否かを含み得る。

【0090】

いくつかの場合、外部ソースがシステムの状態を示し得る。例えば、ポートは、器具、または器具の特定の部分がポートを通過するときに感知するように構成された器具センサを備え得る。器具センサは、器具を磁気的に感知するように構成された磁気センサを備え得る。例えば、器具センサは、ホール効果センサを含み得る。器具は、少なくとも部分的に磁気または磁気化され得る。器具先端は、ホール効果センサによって感知するための磁石を含み得る。

【0091】

同じ事柄を判定するために異なるやり方、例えば、内視鏡先端が患者の体腔内に挿入されているか否かが存在し得ることが理解されるであろう。データ修正器は、識別された特徴の任意の１つまたは任意の組み合わせに依存して、データストリームを修正するように構成され得る。このようにして、データ量修正器システムは、システム障害が１つの特徴を不正確に判定または識別させ得る場合でも、受信されたデータストリームの一部分（複数可）が修正されることになる精度をより良好に確保するために、冗長性を有して動作し得る。これは、完全に保持されることを所望される、受信されたデータストリームのそれらの部分のみが、例えば、それらの部分が臨床的に最も関連性があるため、修正されず、データストリームの他の部分が修正されることを確保するのを助けることによって、修正されたデータストリームのデータ量を低減することを支援し得る。データストリームの他の部分は、多かれ少なかれ修正され得る。例えば、受信されたデータストリームの異なる部分は、修正されたデータ量に対する修正されていないデータ量の比率が、修正される異なる部分の間で異なるように、修正されてもよい。データが修正される量、すなわち、修正されていないデータ量に対する修正されたデータ量の比率は、識別された特徴に依存して選択され得る。

【0092】

いくつかの実施態様では、識別可能特徴は、次のうちの１つ以上を含むか、それに依存して判定される。

【0093】

（ｉ）ビデオデータが拡大または縮小する円を含むか否か。
内視鏡が外科手術部位に向かってポートを通過すると、ポートの外周は、画面の境界を越えて広がる内視鏡ビデオの円として見えることになる。内視鏡がポートから退避されると、ポートの外周は、画面の境界を越えて収縮する内視鏡ビデオの円として見えることになる。円は、内視鏡がポートから離れて移動される際に、内視鏡の視野を一方側に残し得る。したがって、例えば、画像認識によって、ビデオ画像が拡大円および収縮円のうちの一方または他方（あるいは両方）を含むか否かを検出することは、内視鏡先端がポートを通して内向きまたは外向き（あるいは両方）に通過するか否かの検出を可能にし得る。それゆえに、この特徴の判定は、内視鏡先端が手術野内またはそこから外に遷移しているかをデータ修正器が判定することを可能にし得る。したがって、この判定は、データ修正器が、それに応じて修正されたデータを生成することを可能にし得る。内視鏡挿入前および／または内視鏡退避後にキャプチャされたデータは、そのデータ量を低減するために修正され得る。これらのイベント間のデータは、比較的関連性が高く、修正されないことを示され得る。

【0094】

（ｉｉ）ビデオデータがポート識別特徴を含むか否か。
ポートは、画像検出モジュールによって検出され得る視覚的インジケータを用いてマークされ得る。この視覚的インジケータの検出時に、内視鏡先端がポートを通過したと判定され得る。内視鏡がポートを通過した方向は、視覚的インジケータがビデオデータ内でどのように動くか、および／または内視鏡の以前の状態が「挿入」または「退避」であったかに基づいて判定され得る。

【0095】

（ｉｉｉ）画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの１つ以上の尺度、ならびに／または画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの１つ以上の尺度の変化
外科手術部位からキャプチャされたビデオデータは、手術室からキャプチャされたビデオデータよりもはるかに赤色である可能性が高い。外科手術部位からキャプチャされたビデオデータは、手術室からキャプチャされたビデオデータよりも、中心から縁までのより大きい画像勾配を有する可能性が高い。したがって、これらの画像（または一連の画像）の尺度のうちの１つ以上は、内視鏡が挿入されるか否かを示し得る。いくつかの場合、例えば、ビデオフレームのシーケンス内のフレーム間の１つ以上の尺度の変化は、遷移が発生したと判定するために使用され得る。例えば、シーケンス内のより早いフレームが、シーケンス内のより遅いフレームよりも低い赤色コンテンツを有する場合、手術室（手術野外）のビデオから患者の体腔（手術野内）のビデオへの遷移が発生したと判定され得る。

【0096】

画像スペクトルの尺度は、可視スペクトル内、可視スペクトルの外側、または可視スペクトルの内側および外側の両方で得られた尺度を含み得る。例えば、画像スペクトルは、可視スペクトルに及び得る。好適には、画像スペクトルは、スペクトルの赤外線部および紫外線部のうちの１つ以上を含む。画像スペクトルの尺度は、可視帯域幅、紫外線帯域幅、および赤外線帯域幅のうちの２つ以上などの、複数の帯域幅にわたって取得された尺度を含み得る。いくつか場合、フレーム間のＵＶ光のレベルの低下が存在する場合、手術室（より多くの／より明るいＵＶ源が存在し得る）から患者の体腔への遷移が発生したと判定され得る。フレーム間のＩＲ光のレベルの増加は、同様に、手術室から患者の体腔（比較的高いＩＲ放射が存在し得る）への遷移が発生したことを示し得る。

【0097】

フレームは、シーケンス内の連続フレームであってもよく、または１つ以上の他のフレームによって離間されてもよい。手術野内または手術野外への遷移の大まかな判定は、例えば、３０秒ほど時間的に互いに間隔を置いたフレームを比較することによって見出され得る。当業者に明らかであろうように、任意の他の好適な期間が使用され得る。指定された期間内に発生する遷移が識別されると、より短い期間によって分離されたフレームが比較され得る。いくつかの場合、フレームは、一連の連続するより短い時間分離で比較され得る。例えば、３０秒、１０秒、２秒、０．５秒である。より大きいおよび／またはより小さい時間分離値が使用され得る。多かれ少なかれ異なる時間分離が使用され得る。このようにして、より微細な判定が、より小さい処理コストおよび／または時間で反復的に達成され得る。

【0098】

尺度は、画像の増加割合が、比較的赤色の光、比較的少ないＵＶ光、比較的多いＩＲ光などのうちの１つ以上を含むことを含み得る。これは、内視鏡がポートまたは患者の体腔に近づいていることを示し得る。このようにして、尺度は、キャプチャされたビデオが手術野の外側から手術野の内側に遷移しているという指標であり得る。逆もまた真実であり得、画像の縮小割合が、比較的赤色の光、比較的少ないＵＶ光、比較的多いＩＲ光などのうちの１つ以上を含むことを尺度が含む場合、内視鏡が手術野の内側から手術野の外側に遷移していると判定され得る。

【0099】

尺度は、所与の周波数帯（複数可）における電磁放射の吸収の尺度を含み得る。例えば、差分吸収などの吸収の尺度は、患者の組織を検出するために使用され得る。これは、内視鏡が患者の体腔内にあること、またはおそらく患者が視野内で視認可能であることを示し得る。尺度は、視認される組織を識別するために、システムの状態などの異なる測定基準と共に使用され得る（識別された組織が内部または外部のどちらであるかを任意選択的に含む）。

【0100】

画像ホワイトバランス、画像スペクトル、および／または画像勾配の尺度は、画像に対する平均値を含み得る。

【0101】

（ｉｖ）ビデオデータが解剖学的特徴を含むか否か。
ビデオデータは、ビデオデータ内に示される物体を判定するために分析され得る。例えば、血管または内臓などの内部解剖学的構造が検出される場合、システムは、内視鏡が手術野の内側にあると判定し得る。データ修正器は、手術野内でキャプチャされていると定義されていないビデオデータの一部を選択的に修正し得る。したがって、ビデオセグメントが内臓の画像を含む場合、ビデオセグメントは、処置に関連する可能性が高く、そのため、修正されないものとしてマークされ得る。識別された器官が、例えば、画像スペクトルの尺度も考慮することによって、その時点で実際に患者の内部にあることを確認するために、さらなるチェックがなされてもよい。

【0102】

手術野の外側にある内視鏡を示す解剖学的特徴が検出され得る。例えば、ビデオデータの分析は、ビデオデータが患者の腹部、または腕の外部ビューを含むと判定し得る。そのような場合、ビデオデータの関連部分は、外科処置に対して比較的関連性が低いものとしてマークされ得る（例えば、腹部が全視野を占有する場合）。

【0103】

（ｖ）ビデオデータが、手術野の外部であることが知られている物体を含むか否か。
ビデオデータ分析は、手術室内の物体（手術テーブル、ロボットアーム、心拍モニタなど）が視認可能であると判定する場合、内視鏡が手術野の外側にあり、かつ手術室自体からビデオをキャプチャしていると判定され得る。ビデオデータのそのような部分は、修正のためにマークされ得る。ビデオデータは、既知の物体（例えば、手術台の脚）が視野全体の少なくとも一部分を占有する場合、修正のためにマークされ得る。

【0104】

（ｖｉ）実施されている処置。
異なる処置について、ビデオデータを形成するビデオは、異なる特性を含む可能性が高い。例えば、内視鏡がポートに挿入される／ポートから除去される処置の回数、挿入期間の持続時間、挿入された期間中に視認可能な外科手術部位などである。実施されている処置に対する特徴の識別に基づくことは、ビデオデータのビデオ分析が、何を予期するか、またはおよそ何を予期するかを知ることを可能にし得る。これは、結果的に、より高い精度でビデオの特徴の検出または識別を可能にし得る。

【0105】

（ｖｉｉ）１つ以上の既知の特徴を使用して訓練された機械学習システム。
オペレータは、特徴がデータストリーム内に存在するとき、システムに表示し得、この表示は、他のデータの同じまたは同様の特徴を認識することができるように入力表示から学習し得る機械学習システムに渡され得る。機械学習システムは、畳み込みニューラルネットワークを含み得る。機械学習システムは、リカレントニューラルネットワークを含み得る。

【0106】

個人識別可能特徴は、いくつかの場合、データストリームの一部分と関連付けられたマーカを含み得る。マーカは、データストリームの一部を形成し得、例えば、マーカは、処置中またはその後のいくつかの時点でデータストリームに追加されていてもよい。データストリームの１つ以上のデータチャネルは、マーカを含み得る。例えば、ビデオデータは、マーカを含み得る。マーカは、マーカが関連付けられているか、またはマーカが一部を形成する、データチャネルに依存し得る、任意の好適な形態をとり得る。いくつかの場合、マーカは、ビデオストリームに追加される拡張であり得る。拡張は、ビデオがキャプチャされる際、またはビデオがキャプチャされた後にいくつかの時点で追加され得る。マーカは、本明細書に説明される１つ以上の他の特徴（処置の段階、内部器官の視認性、システムの状態など）の存在を示し得る。マーカは、本明細書に説明される他のそのような特徴（ビデオが手術野の内側、手術野の外側などであるかどうか）に向かう、離れる、またはそれらの間の状態または遷移を示し得る。

【0107】

これらの特徴の組み合わせが有用に使用され得る。例えば、円が画像内で拡大し、その後に画像の赤みが増加することを検出することは、内視鏡先端がポートを通して挿入されたことを判定するために使用され得る。特徴の組み合わせは、有利には、そのような判定が行われ得る精度を向上させ得る。

【0108】

例示的な内視鏡は、図４に関して上記に説明された。他のタイプの内視鏡は、本技術と共に使用され得る。そのような内視鏡は、内視鏡が、端にカメラが装着され得るプローブであるとみなされ得る、「チップオンティップ」タイプ内視鏡を含む。カメラは、チップ、例えば、ＣＣＤチップ、および任意選択的にいくつかの関連する処理論理の形態をとり得る（少なくともいくつかの処理論理が別個に提供され得る）。図４を参照して説明される内視鏡は、外部光源と共に動作する。内部光源と共に動作する内視鏡を使用することもできる。例えば、光源は、内視鏡自体の一部として提供され得、光は、所望の光出力場所に導かれる。光ルーティングは、１つ以上の光ファイバケーブルによって達成され得る。いくつかの場合、光源は、内視鏡の先端に、またはそれに隣接して提供され得る。そのような光源は、ＬＥＤを含み得る。複数のＬＥＤが提供され得る。内部、外部、または内部と外部とのいくつかの組み合わせであるかにかかわらず、光源は、光出力の強度および／または光出力の周波数を変化させるために制御され得る。

【0109】

いくつかの場合、内視鏡は、可視範囲外の光（またはより一般的には、電磁放射）を出力するように構成された光源（またはより一般的には、照明源）を提供され得る。好適には、照明源は、スペクトルにわたって電磁放射を出力するように構成される。スペクトルは、可視光、紫外線、および赤外線のうちの１つ以上を含み得る。

【0110】

データを修正することは、データストリームから時間スライスを除去すること、またはデータストリームの少なくとも一部分をぼかすこと／マスクすることを含み得る。好適には、データを修正することは、データの少なくとも一部分の品質または忠実性を低減することを含む。好適には、データの修正は、必須ではないが、すべてのデータチャネルで実施される。データの修正は、必須ではないが、すべてのデータチャネルで一度に実施され得る。いくつかの場合、データ修正器は、データチャネルのサブセットを修正するように構成され得る。例えば、データ修正器は、ビデオデータチャネル、および場合により音声データチャネルも修正し得るが、テレマティクスデータおよび／または状態データを修正する必要はない。データ修正器が、データチャネルを別個に修正するように構成される場合、データ量修正システムは、好適には、修正されたデータストリームを保存または転送する前に、修正されたデータチャネルを任意の残りのデータチャネルと共に、修正されたデータストリームに組み合わせるように構成される。いくつかの場合、データチャネルは、別個に、またはデータチャネルのサブセットを含むグループ内に、保存および／または転送され得る。

【0111】

いくつかの場合、上記に論じられたように、データ修正器は、検出されたか、または識別された特徴の（時系列的に）前のある期間の受信されたデータストリーム、例えば、識別された特徴の前の受信されたデータストリームの第１のデータ部分を修正し得る。データ修正器は、検出された特徴の（時系列的に）後のある期間の受信されたデータストリーム、例えば、識別された特徴の後の受信されたデータストリームの第２のデータ部分を修正し得る。第１のデータ部分および第２のデータ部分のうちの一方または両方が、所定の期間に関連し得る。

【0112】

第１のデータ部分は、好適には、受信されたデータストリームの開始から、特徴が識別される、受信されたデータストリームの時点までの受信されたデータストリームの一部分であり得る。第１のデータ部分は、代わりに、３０秒、１分、２分、５分、１０分などの所与の期間に関連してもよい。所与の期間が、受信されたデータストリームの開始から、特徴が識別される時点までの総時間以上である場合、第１のデータ部分は、開始から、識別された特徴の時点までの、受信されたデータストリームの部分を含む。所与の期間は、識別された特徴が発生する時点で終了し得る。すなわち、第１の期間は、識別された特徴の発生で終了する期間であり得る。所与の期間は、例えば、ユーザによって選択可能であり得る。所与の期間は、自動的に選択されてもよい。所与の期間は、識別された特徴および／または実施されている処置に依存して選択可能であり得る。例えば、第１の識別された特徴に対して、所与の期間は、１分とすることができ、第２の識別された特徴に対して、所与の期間は、２分であるか、または受信されたデータストリームの開始から、識別された特徴が発生する時点までとすることができる。

【0113】

第２のデータ部分は、好適には、受信されたデータストリーム内の時点からの受信データストリームの部分であり得、その時点で、特徴は、受信されたデータストリームの終了まで識別される。第２のデータ部分は、代わりに、３０秒、１分、２分、５分、１０分などのさらなる所与の期間に関連してもよい。さらなる所与の期間が、特徴が識別された時点から受信されたデータストリームの終了までの総時間以上である場合、第２のデータ部分は、識別された特徴から受信されたデータストリームの終了までの受信されたデータストリームの部分を含む。さらなる所与の期間は、識別された特徴が発生する時点で開始し得る。すなわち、第２の期間は、識別された特徴の発生で開始する期間であり得る。さらなる所与の期間は、例えば、ユーザによって選択可能であり得る。さらなる所与の期間は、自動的に選択されてもよい。所与の期間は、識別された特徴および／または実施されている処置に依存して選択可能であり得る。例えば、第３の識別された特徴に対して、さらなる所与の期間は、１分とすることができ、第４の識別された特徴に対して、さらなる所与の期間は、２分であるか、または識別された特徴が発生する時点から、受信されたデータストリームの終了までとすることができる。

【0114】

第１の期間および第２の期間は、同一であってもよいが、そうである必要はない。第１の期間および第２の期間は、互いに関連してもよい。例えば、第１の期間は、第２の期間の半分、１０分の１などであってもよい。したがって、一例では、第１の期間は、１分であり、第２の期間は、２分である。別の例では、第１の期間は、１分であり、第２の期間は、１０分である。第１の期間と第２の期間との間の他の比率が可能であり、例えば、識別された特徴、実施されている手順などに依存して、例えば、自動的に、ユーザによって選択され得る。第１の期間は、第２の期間よりも長くてもよい。

【0115】

データ修正器は、検出された特徴間の受信されたデータストリームの期間（時系列的に）を修正し得る。いくつかの場合、データ修正器は、検出された特徴の周囲に（すなわち、そのいずれかの側に）位置する期間の間、受信されたデータストリームを修正するように構成され得る。

【0116】

データ修正は、外科処置におけるさらなるイベントを示す受信されたデータストリーム内のさらなる特徴を識別することと、受信されたデータストリームの第３の期間を修正することによって修正されたデータストリームを生成することと、を、識別された特徴と識別されたさらなる特徴との間に、または識別された特徴および識別されたさらなる特徴の第１のものの前、ならびに識別された特徴および識別されたさらなる特徴の第２のものの後に、行うように構成され得る。

【0117】

第３の期間が、識別された特徴と識別されたさらなる特徴との間である場合、第３の期間は、識別された特徴の発生と識別されたさらなる特徴との間の時間を厳密に制限される必要はない。いくつかの例では、第３の期間は、識別された特徴の発生とさらなる識別された特徴との間の時間よりも長くてもよい。例えば、第３の期間は、識別された特徴およびさらなる識別された特徴の前記第１のものの前の時点、ならびに識別された特徴およびさらなる識別された特徴の第２のものの後の時点を追加的にカバーし得る。

【0118】

特徴を識別することは、ルールセットのうちのあるルールが満たされているか否かを判定することと、ルールが満たされる特徴を識別することと、を含み得る。ルールは、外科用ロボットシステムおよび／または外科処置のパラメータグループのパラメータが、所定の基準に合致する場合に満たされ得る。受信されたデータストリームは、パラメータを含み得る。パラメータは、受信されたデータストリームの分析から判定され得る。

【0119】

好適には、パラメータ（またはパラメータグループの１つよりも多いパラメータ）は、受信されたデータストリームのメタデータに表され得る。例えば、メタデータは、パラメータを含み得る。パラメータを判定するための受信されたデータストリームの分析は、受信されたデータストリームのメタデータを判定することと、メタデータからパラメータ値を抽出することと、を含み得る。パラメータを判定するための受信されたデータストリームの分析は、受信されたデータストリームのビデオチャネル、またはビデオチャネルの一部分の画像分析を含み得る。分析は、ビデオ内のパラメータを識別するために、画像認識／画像マッチングを含み得る。パラメータを判定するための受信されたデータストリームの分析は、受信されたデータストリームのテレメトリデータ部分を分析することを含み得る。

【0120】

基準（複数可）は、好適には、器具のタイプ、器具の取り付け状態、外科用ロボットシステムの動作状態、受信されたデータストリームの少なくとも一態様または一部分の特性のうちの１つ以上、および上記の組み合わせを含む。例えば、基準は、器具が、システムに取り付けられ、かつ器具が外科医の動作可能な制御下にあることを示す「外科手術モード」にある、把持器器具であることを含み得る。パラメータが、この基準が満たされていることを示す場合、ルールが満たされ、特徴が識別される。

【0121】

特徴を識別するために使用される基準は、修正されたデータストリームの意図された使用、および／または修正されたデータストリームの意図された宛先に依存して好適に選択される。例えば、データが縫合に関する教育セッションに使用されるとき、データストリームを修正するために使用される特徴は、縫合器具の着脱、および縫合動作を示す器具の制御を含み得る。

【0122】

上述のように、特定のチャネルのデータ量が増加するが、全体的なデータ量を低減することができる。ここで、この例が議論される。受信されたデータストリームが２つのチャネルを含む場合、それらのチャネルの両方から単一のチャネルにデータのサブセットを組み合わせることが可能である。結果として得られる単一のチャネルは、受信されたチャネルのいずれか１つよりも大きいデータ量を有する可能性が高い（ただし、それは必要ではないが、各チャネルは、チャネルが組み合わせられる前に本明細書に説明されるように修正され得る）。しかしながら、結果として得られた単一のチャネルが、受信されたチャネルの組み合わせられたデータ量よりも小さいデータ量を有する場合、利益は、依然として得られ得る。第１のチャネルからのデータは、第２のチャネルに重ね合わせられ得る（または第２のチャネルにメタデータを追加することなどによって別様に組み合わせられる）。例として、ジョイントのサブセットのジョイントデータは、ビデオデータチャネル上に重ね合わせられ得る。重ね合わせられたジョイントデータを含む、結果として得られるビデオデータチャネルは、受信されたビデオデータチャネルよりも大きいデータ量を有することになる。次いで、受信された関節データが省略され得る。省略されたジョイントデータが、ジョイントデータのサブセットよりも大きいデータ量を有するため、全体的なデータ量の保存が実現される。

【0123】

ここで、外科用ロボットシステムによってキャプチャされたデータストリームに基づいて、修正されたデータストリームを自動的に生成するための例示的な方法７００を例示する図７を参照する。ブロック７０２では、システムによってキャプチャされたデータストリームが受信される。データストリームは、例えば、受信器５０４によって、上記に論じられたデータ量修正システム５００によって受信され得る。ブロック７０４では、受信されたデータストリームの特徴が識別される。例えば、特徴は、内視鏡が患者の体腔内に挿入されているなどの、処置におけるイベントまたは段階の判定を含み得る。ブロック７０６では、修正されたデータストリームが生成される。修正されたデータストリームは、ブロック７０２で受信されたデータストリームおよびブロック７０４で識別される特徴に依存して生成される。修正されたデータストリームは、データ量を低減するために、すなわち、修正されたデータストリームが受信されたデータストリームよりも少ないデータを含むように、生成される。

【0124】

いくつかの場合、ビデオデータは、外科用ロボットシステムのアームに取り付け可能である内視鏡によってキャプチャされる必要はない。例えば、ビデオデータは、ロボット内視鏡ではない内視鏡によってキャプチャされ得る。内視鏡は、手動で制御可能な内視鏡であってもよい。このように、ビデオデータ、またはより一般的には、データストリームは、外科用ロボットシステムの外部にある（その一部ではない）装置によってキャプチャされ得る。そのような装置は、内視鏡に限定されない。そのような装置は、患者および／または患者の状態を監視するための監視装置を備え得る。そのような装置は、内視鏡、心拍数モニタ、血圧モニタ、血流モニタ、呼吸モニタなどのうちの１つ以上を含み得る。

【0125】

データ量修正システムは、監視装置などの装置からキャプチャされたデータストリームを修正するために提供され得る。データストリームは、ビデオデータを含み得る。データ量修正システムは、好適には、データストリームを受信することと、イベントを示すデータストリームの特徴を識別することと、識別された特徴および受信されたデータストリームに依存して、受信されたデータストリームよりも小さいデータ量を有する修正されたデータストリームを生成することと、を行うように構成されている。

【0126】

データ量修正システムは、データストリームを受信するように構成された受信器を備え得る。データ量修正システムは、修正されたデータストリームを生成するように構成されたデータ修正器を備え得る。データ修正器は、特徴を識別するように構成され得る。特徴を識別することは、受信されたデータストリーム内の特徴を検出することを含み得る。

【0127】

装置は、手術野内の撮像のための撮像装置を含み得る。装置は、患者内の外科手術部位で撮像するための撮像装置を含み得る。データストリームは、手術野内からキャプチャされたデータを含み得る。データストリームは、患者内の外科手術部位からキャプチャされたデータを含み得る。データストリームは、ビデオデータを含み得る。データストリームは、手術野外からキャプチャされたデータを含み得る。

【0128】

装置は、外科用ロボットシステムから遠隔（その外部）であってもよい。データ修正器は、外科用ロボットシステムで、またはそれと共に使用するためのものであり得る。データ修正器は、外科用ロボットシステムの一部を形成し得る。データは、外科用ロボットシステムの外部（またはその遠隔から）の装置からキャプチャされ、外科用ロボットシステムで修正され得る。すなわち、外科用ロボットシステム（またはデータ量修正システムなどの外科用ロボットシステムの少なくとも一部分）は、システムから遠隔でキャプチャされたデータを修正するために使用され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、外科用ロボットシステムによってキャプチャされたデータと同期され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、外科用ロボットシステムによってキャプチャされたデータに依存して修正され得る。

【0129】

イベントを示すデータストリームの特徴は、本明細書の他の箇所に説明される特徴に依存して、含むか、または判定され得る（完全な詳細は、簡潔化のためにここでは繰り返さない）。例えば、データストリームの特徴は、ビデオデータが手術野の外側または内側からキャプチャされるという表示、および／または手術野の内側でキャプチャされることへ／からビデオデータが手術野の外側からキャプチャされることの間の遷移を含むという表示を含み得る。そのような特徴は、（本明細書の他の箇所でより詳細に説明されるように）ビデオデータが拡大または縮小する円を含むか否かと、ビデオデータがポート識別特徴を含むか否かと、画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの１つ以上の尺度、ならびに／または画像ホワイトバランス、画像スペクトル、および画像の中心から縁までの画像勾配のうちの１つ以上の尺度の変化と、ビデオデータが解剖学的特徴を含むか否かと、ビデオデータが、手術野の外部であることが知られている物体を含むか否かと、実施されている処置と、１つ以上の既知の特徴を使用して訓練された機械学習システムと、のうちの１つ以上（それらの組み合わせを含む）を含み得る。

【0130】

データストリームは、本明細書の他の箇所に説明されるように修正され得る（完全な詳細は、簡潔化のためにここでは繰り返されない）。

【0131】

このようにして、例えば、外科用ロボットシステムを使用して、外科用ロボットシステムから遠隔でキャプチャされたデータを修正することが可能である。外科用ロボットシステムから遠隔でキャプチャされたデータは、手術室を離れる前に修正され得る。外科用ロボットシステムから遠隔でキャプチャされたデータは、例えば、外科用ロボットシステムを通過するときに、外科用ロボットシステムで修正され得る。外科用ロボットシステムおよび／または修正されたデータから遠隔でキャプチャされたデータのさらなる処理が実施され得、本明細書の別の箇所に説明されるように、暗号化、透かし、寿命値との関連付けなどを含む。

【0132】

ここで図８を参照すると、計算および／または電子装置の任意の形態として実装され得る例示のコンピューティングベースの装置８００の様々な構成要素が例示され、本明細書に記述される方法および修正システムの実施形態が実装され得る。コンピューティングベースの装置８００は、コンピュータ実行可能命令を処理するためのマイクロプロセッサ、コントローラ、または任意の他の好適なタイプのプロセッサであり得る、１つ以上のプロセッサ８０２を含む。いくつかの実施例では、例えば、チップアーキテクチャ上のシステムが使用される場合、プロセッサ８０２は、ハードウェアにおいて（ソフトウェアまたはファームウェアではなく）、データストリームを修正する方法の一部を実装する、１つ以上の固定機能ブロック（加速器とも呼ばれる）を含み得る。オペレーティングシステム８０４または任意の他の好適なプラットフォームソフトウェアを含むプラットフォームソフトウェアは、コンピューティングベースの装置で提供され、それにより、図７の方法を実装するソフトウェア８０５などのアプリケーションソフトウェアが装置上で実行されることが可能になる。

【0133】

コンピュータ実行可能命令は、コンピューティングベースの装置８００によってアクセス可能である任意のコンピュータ可読媒体を使用して提供されてもよい。コンピュータ可読媒体は、例えば、メモリ８０６および通信媒体などのコンピュータ記憶媒体を含み得る。メモリ８０６などのコンピュータ記憶媒体（すなわち、非一時的機械可読媒体）は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術に実装された揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくは他の磁気記憶装置、またはコンピューティングベースの装置によるアクセスのために情報を記憶するために使用され得る任意の他の非送信媒体が含まれるが、これらに限定されない。対照的に、通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはキャリア波などの変調データ信号内の他のデータ、または他のトランスポート機構を具現化し得る。本明細書で定義されるように、コンピュータ記憶媒体は、通信媒体を含まない。コンピュータ記憶媒体（すなわち、非一時的機械可読媒体、例えば、メモリ８０６）は、コンピューティングベースの装置８００内に示されるが、記憶装置は、リモートで分配または位置し、（例えば、通信インターフェース８０８を使用して）ネットワークまたは他の通信リンクを介してアクセスされ得ることが理解されるであろう。

【0134】

コンピューティングベースの装置８００はまた、コンピューティングベースの装置８００から分離され、またはそれと統合され得る表示装置８１２に、表示情報を出力するように配置された入力／出力コントローラ８１０を含む。表示情報は、グラフィカルユーザインターフェースを提供し得る。入力／出力コントローラ８１０はまた、ユーザ入力装置８１４（例えば、マウスまたはキーボード）などの１つ以上の装置から入力を受信および処理するように配置される。このユーザ入力を使用して、検証を開始することができる。一実施形態では、表示装置８１２はまた、それがタッチセンサ式表示装置である場合に、ユーザ入力装置８１４として作用してもよい。入力／出力コントローラ８１０はまた、表示装置以外の装置、例えば、局所的に接続された印刷装置（図示せず）にデータを出力することができる。

【0135】

上述の説明では、説明を容易にするために、システムによって講じられた措置は機能ブロックまたはモジュールに分割されている。実際には、これらのブロックのうちの２つ以上を、建築的に組み合わせることができる。機能を異なる機能ブロックに分割することもできる。

【0136】

本技術を外科用ロボットシステムの文脈において説明してきたが、説明された少なくともいくつかの特徴は、かかるシステムに限定されるものではなく、より広くはロボットシステムに適用され得る。いくつかの例では、本技術は、遠隔で動作するロボットシステムに適用され得る。本技術が有用であり得る状況のいくつかの実施例には、探索、調査、または修理のために「ヘビのような」ロボットを使用する実施例が含まれる。外科用ロボットの場合、エンドエフェクタは、ハサミ、外科用カッタ、外科用ピンサ、または焼灼器（ｃａｕｔｅｒｉｓｅｒ）などの外科用ツールであってもよい。

【0137】

ロボットシステムには、車両製造システム、部品取り扱いシステム、実験室システムなどの製造システム、および危険物などのためのマニピュレータまたは外科用マニピュレータが含まれ得る。

【0138】

本明細書によって、本出願人は、本明細書に説明される各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者に共通する一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示する任意の問題を解決するかにかかわらず、かつ特許請求の範囲を限定することなく、分離して開示する。本出願人は、本発明の態様が、任意のかかる個々の特徴または特徴の組み合わせからなり得ることを示している。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明らかであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】