特許 6843926 ビデオ内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6843926

(24)【登録日】2021年2月26日

(45)【発行日】2021年3月17日

(54)【発明の名称】ビデオ内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20210308BHJP

   G06T 1/00 20060101ALI20210308BHJP

【ＦＩ】

   A61B1/045 618

   A61B1/045 622

   A61B1/045 616

   G06T1/00 510

【請求項の数】14

【外国語出願】

【全頁数】24

(21)【出願番号】特願2019-127642(P2019-127642)

(22)【出願日】2019年7月9日

(62)【分割の表示】特願2014-558895(P2014-558895)の分割

【原出願日】2013年2月22日

(65)【公開番号】特開2019-188223(P2019-188223A)

(43)【公開日】2019年10月31日

【審査請求日】2019年8月8日

(31)【優先権主張番号】61/602,106

(32)【優先日】2012年2月23日

(33)【優先権主張国】US

(31)【優先権主張番号】61/668,743

(32)【優先日】2012年7月6日

(33)【優先権主張国】US

(31)【優先権主張番号】61/708,157

(32)【優先日】2012年10月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032219

【氏名又は名称】スミス アンド ネフュー インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ゲオルゲ・ミハルカ

(72)【発明者】

【氏名】バオドゥイ・トラン

(72)【発明者】

【氏名】カルロス・エー・ロドリゲス

【審査官】 姫島 あや乃

(56)【参考文献】

【文献】 特開２０１０−１１５４１３（ＪＰ，Ａ）

【文献】 特開２００８−３０７２２９（ＪＰ，Ａ）

【文献】 特開平０３−００４８３２（ＪＰ，Ａ）

【文献】 特開２０１０−１８７７５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／０４５

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

ビデオ内視鏡デバイスと、コンピューティングデバイスと、表示デバイスとを備えるビデオ内視鏡システムの作動方法において、
前記コンピューティングデバイスによって、前記ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データにアクセスするステップであって、前記画像データが画像のキャプチャに適した第1の色空間で符号化される、ステップと、
前記コンピューティングデバイスによって、前記アクセスされた画像データを前記第1の色空間から領域のセグメント化に適した第2の色空間に変換するステップであって、前記第2の色空間が前記第1の色空間と異なり、色相値を有する、ステップと、
前記コンピューティングデバイスによって、前記第2の色空間での前記画像データを解析することによって、前記画像内の特徴の位置を識別するステップと、
前記コンピューティングデバイスによって、前記画像内の前記特徴の前記位置を示すセグメント化データを記憶するステップと、
前記表示デバイスによって、前記セグメント化データに基づいて、前記特徴の前記識別された位置の指標と共に前記画像を表示するステップと
を含み、
前記指標は、単一の色で表示され、
前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップと、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するステップと
を含み、前記セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、
ビデオ内視鏡システムの作動方法。

【請求項2】

前記画像を、前記特徴の識別された位置の指標と共に表示するステップが、
前記セグメント化データを含む画像データを前記第2の色空間から前記表示デバイスでの表示に適した第3の色空間に変換するステップと、
前記第3の色空間の前記セグメント化データを含む画像データに基づいて、前記特徴の前記識別された位置の指標と共に前記画像を表示するステップと
を含む、請求項1に記載のビデオ内視鏡システムの作動方法。

【請求項3】

前記特徴が、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含む、請求項1または2に記載のビデオ内視鏡システムの作動方法。

【請求項4】

前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化するステップと、
前記ピクセルのグループの中からピクセルの第1のグループを決定するステップと、
前記ピクセルのグループの中からピクセルの第2のグループを決定するステップと、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するステップと
を含み、前記セグメント化データが、前記選択されたピクセルのグループを示す、請求項1から3のいずれか一項に記載のビデオ内視鏡システムの作動方法。

【請求項5】

ピクセルをグループ化するステップが、前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップを含み、
ピクセルの第1のグループを決定するステップが、前記ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含み、
ピクセルの第2のグループを決定するステップが、前記ヒストグラム内の前記色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含み、
前記ピクセルの第1または第2のグループのうちの一方を選択するステップが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するステップを含む、請求項4に記載のビデオ内視鏡システムの作動方法。

【請求項6】

前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、請求項1から5のいずれか一項に記載のビデオ内視鏡システムの作動方法。

【請求項7】

前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、請求項1から5のいずれか一項に記載のビデオ内視鏡システムの作動方法。

【請求項8】

ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データを生成し、前記画像データが画像のキャプチャに適した第1の色空間で符号化され、
前記画像データをコンピューティングデバイスに送信するように構成されたビデオ内視鏡デバイスと、
前記ビデオ内視鏡デバイスによって送信された前記画像データを受信し、
前記受信した画像データを、前記第1の色空間から領域のセグメント化に適した第2の色空間に変換し、前記第2の色空間が前記第1の色空間と異なり、色相値を有し、
前記第2の色空間での前記画像データを解析することによって、前記画像内の特徴の位置を識別し、
前記画像内の前記特徴の前記位置を示すセグメント化データを記憶し、
前記セグメント化データに基づいて、表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するように構成されたコンピューティングデバイスと
を備え、
前記指標は、単一の色で表示され、
前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成し、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され、前記セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、
システム。

【請求項9】

前記表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するために、前記コンピューティングデバイスが、
前記セグメント化データを含む画像データを前記第2の色空間から前記表示デバイスでの表示に適した第3の色空間に変換し、
前記第3の色空間の前記セグメント化データを含む画像データに基づいて、前記表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するように構成された、請求項8に記載のシステム。

【請求項10】

前記特徴が、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含む、請求項8または9に記載のシステム。

【請求項11】

前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化し、
前記ピクセルのグループの中からピクセルの第1のグループを決定し、
前記ピクセルのグループの中からピクセルの第2のグループを決定し、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するように構成され、前記セグメント化データが、前記選択されたピクセルのグループを示す、請求項8から10のいずれか一項に記載のシステム。

【請求項12】

ピクセルをグループ化するために、前記コンピューティングデバイスが、前記第2の色空間での前記画像データに基づいて、前記画像データ内のピクセルの色相値のヒストグラムを生成するように構成され、
ピクセルの第1のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され、
ピクセルの第2のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され、
前記ピクセルの第1または第2のグループのうちの一方を選択するために、前記コンピューティングデバイスが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するように構成された、請求項11に記載のシステム。

【請求項13】

前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、請求項8から12のいずれか一項に記載のシステム。

【請求項14】

前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、請求項8から12のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2012年2月23日に出願した米国仮出願番号第61／602，106号、2012年7月6日に出願した米国仮出願番号第61／668，743号、および2012年10月1日に出願した米国仮出願第61／708，157号の優先権を主張するものである。

【0002】

この文書は、ビデオ内視鏡システムに関する。

【背景技術】

【0003】

医療用内視鏡は、小さな穿孔を介して、（腹腔鏡／胸腔鏡手術などの）手術中に、体（例えば、空洞、関節）内の領域を検査するために使用される。いくつかの場合、内視鏡は、内視鏡の近位ハンドルから挿入管を通って遠位観察先端（distal viewing tip）まで延在する光ファイバのセットを備えた剛性または可撓性の細長い挿入管を含む。光源は、検査すべき領域が照明されるように、光ファイバに光を提供する。

【発明の概要】

【課題を解決するための手段】

【0004】

一態様では、ビデオ内視鏡システムによってキャプチャされた画像を表す画像データがアクセスされる。画像データは、第1の色空間で符号化される。アクセスされた画像データは、第1の色空間から第2の色空間に変換される。第2の色空間は、第1の色空間と異なる。画像内の特徴の位置は、第2の色空間での画像データを解析することによって識別される。画像内の特徴の位置を示すセグメント化データは、記憶され、セグメント化データに基づいて、画像は、特徴の識別された位置の指標と共に表示される。

【0005】

実装態様は、以下の特徴の1つまたは複数を含むことができる。特徴の識別された位置の指標と共に画像を表示するステップは、画像データを第2の色空間から第3の色空間に変換するステップと、セグメント化データおよび第3の色空間の画像データに基づいて、特徴の識別された位置の指標と共に画像を表示するステップとを含むことができる。1つまたは複数の特徴は、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含むことができる。

【0006】

第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するステップは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するステップと、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するステップとを含むことができ、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。

【0007】

第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するステップは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化するステップと、ピクセルのグループの中からピクセルの第1のグループを決定するステップと、ピクセルのグループの中からピクセルの第2のグループを決定するステップと、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するステップとを含むことができ、セグメント化データは、選択されたピクセルのグループを示す。ピクセルをグループ化するステップは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するステップを含むことができる。ピクセルの第1のグループを決定するステップは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含むことができる。ピクセルの第2のグループを決定するステップは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含むことができる。ピクセルの第1または第2のグループのうちの一方を選択するステップは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するステップを含むことができる。

【0008】

第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。

【0009】

別の態様では、システムは、ビデオ内視鏡デバイスおよびコンピューティングデバイスを含む。ビデオ内視鏡デバイスは、ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データを生成するように構成され、画像データは、第1の色空間で符号化され、ビデオ内視鏡システムは、さらに、画像データをコンピューティングデバイスに送信するように構成される。コンピューティングデバイスは、ビデオ内視鏡デバイスによって送信された画像データを受信し、受信した画像データを第1の色空間から第2の色空間に変換するように構成され、第2の色空間は、第1の色空間と異なり、コンピューティングデバイスは、さらに、第2の色空間での画像データを解析することによって画像内の特徴の位置を識別し、画像内の特徴の位置を識別するセグメント化データを記憶し、セグメント化データに基づいて、表示デバイス上に、特徴の識別された位置の指標と共に画像を表示するように構成される。

【0010】

実装態様は、以下の特徴の1つまたは複数を含むことができる。例えば、表示デバイス上に、特徴の識別された位置の指標と共に画像を表示するために、コンピューティングデバイスは、画像データを第2の色空間から第3の色空間に変換し、セグメント化データおよび第3の色空間の画像データに基づいて、表示デバイス上に、特徴の識別された位置の指標と共に画像を表示するように構成され得る。1つまたは複数の特徴は、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含むことができる。

【0011】

第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成し、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され得、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。

【0012】

第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化し、ピクセルのグループの中からピクセルの第1のグループを決定し、ピクセルのグループの中からピクセルの第2のグループを決定し、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するように構成され得、セグメント化データは、選択されたピクセルのグループを示す。

【0013】

ピクセルをグループ化するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するように構成され得る。ピクセルの第1のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され得る。ピクセルの第2のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され得る。ピクセルの第1または第2のグループのうちの一方を選択するために、コンピューティングデバイスは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するように構成され得る。

【0014】

第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。

【0015】

別の態様では、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データがアクセスされる。画像データは、第1の色空間で符号化される。アクセスされた画像データは、第1の色空間から第2の色空間に変換され、第2の色空間は、第1の色空間と異なる。目印の特徴の位置は、第2の色空間での画像データを解析することによってビデオ内で識別される。目印の特徴の位置は、画像データの複数のフレームにわたって追跡される。解剖学的モデルは、追跡された目印の特徴に基づいて生成される。ビデオ内のターゲットの解剖学的特徴の位置は、解剖学的モデルに基づいて決定される。ビデオは、ターゲットの特徴の位置の指標と共に表示される。

【0016】

実装態様は、以下の特徴の1つまたは複数を含むことができる。例えば、ターゲットの解剖学的特徴の位置を決定するステップは、解剖学的モデル、ならびに、モデルおよびターゲットの解剖学的特徴の外観（aspect）間の既知の解剖学的関係に基づいて、ターゲットの解剖学的特徴の位置を決定するステップを含むことができる。追跡された目印の特徴に基づいて解剖学的モデルを生成するステップは、複数のフレーム間の目印の特徴の位置の変化に基づいて目印の特徴の移動を決定するステップと、目印の特徴の移動に基づいて解剖学的モデルを生成するステップとを含むことができる。

【0017】

第2の色空間での画像データを解析することによって画像内の目印の特徴の位置を識別するステップは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成するステップと、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するステップとを含むことができ、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。

【0018】

第2の色空間での画像データを解析することによって画像内の目印の特徴の位置を識別するステップは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化するステップと、ピクセルのグループの中からピクセルの第1のグループを決定するステップと、ピクセルのグループの中からピクセルの第2のグループを決定するステップと、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するステップとを含むことができ、セグメント化データは、選択されたピクセルのグループを示す。

【0019】

ピクセルをグループ化するステップは、第2の色空間での画像データに基づいて、画像データ内のピクセルの色相値のヒストグラムを生成するステップを含むことができる。ピクセルの第1のグループを決定するステップは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含むことができる。ピクセルの第2のグループを決定するステップは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含むことができる。ピクセルの第1または第2のグループのうちの一方を選択するステップは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するステップを含むことができる。

【0020】

第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。

【0021】

別の態様では、システムは、ビデオ内視鏡デバイスおよびコンピューティングデバイスを含む。ビデオ内視鏡デバイスは、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データを生成するように構成され、画像データは、第1の色空間で符号化され、ビデオ内視鏡デバイスは、さらに、画像データをコンピューティングデバイスに送信するように構成される。コンピューティングデバイスは、ビデオ内視鏡デバイスによって送信された画像データを受信し、受信した画像データを第1の色空間から第2の色空間に変換するように構成され、第2の色空間は、第1の色空間と異なり、コンピューティングデバイスは、さらに、第2の色空間での画像データを解析することによってビデオ内の目印の特徴の位置を識別し、画像データの複数のフレームにわたって目印の特徴の位置を追跡し、追跡された目印の特徴に基づいて解剖学的モデルを生成し、解剖学的モデルに基づいてビデオデータ内のターゲットの解剖学的特徴の位置を決定し、表示デバイス上に、ターゲットの特徴の位置の指標と共にビデオを表示するように構成される。

【0022】

実施態様は、以下の特徴の1つまたは複数を含むことができる。例えば、ターゲットの解剖学的特徴の位置を決定するために、コンピューティングデバイスは、解剖学的モデル、ならびに、モデルおよびターゲットの解剖学的特徴の外観間の既知の解剖学的関係に基づいて、ターゲットの解剖学的特徴の位置を決定するように構成され得る。追跡された目印の特徴に基づいて解剖学的モデルを生成するために、コンピューティングデバイスは、複数のフレーム間の目印の特徴の位置の変化に基づいて目印の特徴の移動を決定し、目印の特徴の移動に基づいて解剖学的モデルを生成するように構成され得る。

【0023】

第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて画像データ内のピクセルの色相値のヒストグラムを生成し、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され得、セグメント化データは、特徴に対応するヒストグラム内の色相の範囲内に入るピクセルを示す。

【0024】

第2の色空間での画像データを解析することによって画像内の特徴の位置を識別するために、コンピューティングデバイスは、第2の色空間での画像データ内のピクセルを、ピクセルの色相値に基づいてグループにグループ化し、ピクセルのグループの中からピクセルの第1のグループを決定し、ピクセルのグループの中からピクセルの第2のグループを決定し、ピクセルの第1および第2のグループ間の相対的な色差に基づいて、ピクセルの第1または第2のグループのうちの一方を選択するように構成され得、セグメント化データは、選択されたピクセルのグループを示す。

【0025】

ピクセルをグループ化するために、コンピューティングデバイスは、第2の色空間での画像データに基づいて、画像データ内のピクセルの色相値のヒストグラムを生成するように構成され得る。ピクセルの第1のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され得る。ピクセルの第2のグループを決定するために、コンピューティングデバイスは、ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され得る。ピクセルの第1または第2のグループのうちの一方を選択するために、コンピューティングデバイスは、色相の第1の範囲と色相の第2の範囲との間の相対的な色差に基づいて、ピクセルの第1または第2のセットのうちの一方を選択するように構成され得る。

【0026】

第1の色空間は、RGB、YUV、YPrPbまたはYcrCbのうちの1つであり得る。第2の色空間は、HSV、LabまたはHSYのうちの1つであり得る。

【0027】

1つまたは複数の実装態様の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、説明および図面から、ならびに、特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0028】

【図1】医療システムの一例を示すブロック図である。

【図2A】図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。

【図2B】図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。

【図2C】図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。

【図2D】図1のシステムで使用され得るビデオ関節鏡の一例を示す図である。

【図3】図1のシステムで使用され得るビデオ関節鏡の代替例を示す図である。

【図4】画像データ内の特徴をセグメント化し、対応する画像をセグメント化と共に表示するための処理の一例を示す図である。

【図5A】RGB空間でキャプチャされた自家蛍光画像の一例を示す図である。

【図5B】画像が代替色空間に変換された後に図5Aの画像に基づいて生成されたヒストグラムの一例を示す図である。

【図5C】図5Bの集団に由来するセグメント化マスクを有する画像の一例を示す図である。

【図6】画像データ内の特徴を識別し、解剖学的モデル内でこれらの特徴を使用するためのプロセスの一例を示す図である。

【発明を実施するための形態】

【0029】

図1は、医療システム100の一例を示すブロック図である。医療システム100は、ビデオ関節鏡および画像キャプチャデバイスなどのビデオ内視鏡デバイス102と、コンピューティングデバイス104と、表示デバイス106とを含む。一般に、ビデオ内視鏡デバイス102は、内部解剖学的構造の画像データをコンピューティングデバイス104に送り、コンピューティングデバイス104は、画像データ103を（例えばビデオ／フレームキャプチャデバイスを介して）受信する。コンピューティングデバイス104は、画像データ内のターゲットの組織または解剖学的構造を他の組織または構造からセグメント化するために、画像データに対して処理を実行し、外科医などのユーザにセグメント化を伝える方法で、表示デバイス106上に対応する画像を表示する。

【0030】

特に、ビデオ内視鏡デバイス102は、内視鏡の近位ハンドルから挿入管を通って遠位観察先端まで延在する光ファイバのセットを備えた剛性または可撓性の細長い挿入管を含む。ビデオ内視鏡デバイスは、ビデオ内視鏡デバイスは、患者の小さな開口部を介して挿入管を挿入することによって、（腹腔鏡／胸腔鏡手術などの）手術中に、患者の体（例えば、空洞、関節）内の領域を検査するために使用される。1つまたは複数の光源は、ビデオ内視鏡デバイス102の本体内に含まれ、光ファイバに光を提供し、光ファイバは、光を観察先端まで運ぶ。光源は、広帯域の可視光の提供と、組織または物体の自家蛍光を生じさせるのに適した狭帯域光の提供との間で切り替えられ得る。いずれの場合でも、ビデオ内視鏡デバイスの光学系は、結果として生じる画像をカメラアセンブリに運び、カメラアセンブリは、画像を、画像に対応する画像データを含むビデオ信号に変換する。

【0031】

コンピューティングデバイス104は、ビデオ内視鏡デバイス102からビデオ信号を受信するカメラインターフェース104aを含み、ビデオ内視鏡デバイス102に電力を提供し、ビデオ内視鏡デバイス102との双方向通信を提供する。コンピューティングデバイス104は、パーソナルコンピュータ、ワークステーション、ポータブルコンピューティングデバイス、コンソール、ラップトップ、ネットワーク端末、組み込みデバイス、などの任意の適切なタイプのコンピューティングデバイスであり得る。コンピューティングデバイス104は、ビデオ入力部104aをメモリシステム104b、プロセッサ104c、および入力／出力インターフェース114に一緒に結合するデータバスまたは他の回路網などの相互接続メカニズムを含む。

【0032】

メモリシステム104bは、例えば、フロッピー（登録商標）ディスク、ハードディスク、読み取り専用メモリ（ROM：Read Only Memory）、またはランダムアクセスメモリ（RAM：Random Access Memory）を含むことができる任意の適切なタイプのコンピュータ可読デバイスである。メモリシステム104bは、視覚化アプリケーション108aを記憶する。記憶された視覚化アプリケーション108bは、プロセッサ104cによって実行されたときに、プロセッサに以下に説明する動作を実行させる命令を含むことができる。コンピューティングデバイス104の動作中、プロセッサ104cは、視覚化アプリケーション108aを実行するために、相互接続を介してメモリシステム104bにアクセスする。他の実装態様では、プロセッサ104cおよびメモリシステム104bは、視覚化アプリケーション108bのロジックを実行するようにプログラムされ得るフィールドプログラマブルゲートアレイ（FPGA：Field Programmable Gate Array）で置き換えられ得る。

【0033】

実行している視覚化アプリケーション108bは、ビデオ信号内の画像内のターゲットの組織または解剖学的構造を他の組織または構造からセグメント化するように、プロセッサ104cにビデオ信号を処理させる。例えば、プロセッサ104cは、画像データを、第1の色空間（例えば、内視鏡デバイス102によって生成されるRGB色空間）から、セグメント化に適した第2の色空間（例えば、HSV色空間）に変換し、セグメント化を実行するために、変換された画像データに対する処理を実行する。プロセッサ104cは、次いで、セグメント化データを維持しながら、画像データを第1の色空間（または、表示に適した異なる色空間）に変換し戻し、ターゲットの組織または構造を他の組織または構造からセグメント化する方法でビデオを表示デバイス106上に表示するために、画像データおよびセグメント化データを使用する。

【0034】

別の例では、プロセッサ104cは、画像データを、第1の色空間から、セグメント化に適した第2の色空間に変換し、目印の特徴を識別するためにセグメント化を実行するために、変換された画像データに対して処理を実行する。プロセッサ104cは、次いで、目印の特徴を追跡し、解剖学的モデルを生成するために、目印の特徴の動きを使用する。プロセッサ104cは、モデルに基づいてターゲットの特徴を識別し、ターゲットの特徴の位置の指標と共にビデオを表示する。

【0035】

図2A〜図2Dは、例えば、ビデオ内視鏡デバイス102のような、システム100で使用され得るビデオ関節鏡200の一例を示す。ビデオ関節鏡200は、剛性の挿入管202と、近位本体204とを含む。近位本体204は、挿入アセンブリ206と、フォーカスアセンブリ208と、カメラアタッチメントアセンブリ210とを含む。カメラアタッチメントアセンブリは、ビデオカメラアセンブリ212（あるいは、カメラヘッドと呼ばれる）を、例えば、Cマウントカップリング214を介して結合する。Cマウントカップリングを使用することは、ビデオ関節鏡200およびカメラヘッド212が別々に取り外され、滅菌されることを可能にすることができる。他の実装態様では、関節鏡200は、Cマウントではなく関節鏡カプラによってカメラヘッド212に結合される。

【0036】

挿入アセンブリ206は、挿入アセンブリ206およびフォーカスアセンブリ208がジョイント216の周りに互いに対して回転され得るように、フォーカスアセンブリ208に結合される。挿入アセンブリ206の回転は、挿入管202の遠位端の配向を変化させることによって、視野を変化させる。

【0037】

挿入アセンブリ206は、照明ポスト218を含み、照明ポスト218は、光を生成するための固体光源220を収容し、光は、照明光ファイバ222によって挿入管202の遠位端におよびその外に運ばれる。固体光源220は、例えば、2つのLED光源220aおよび220bを含む。

【0038】

第1のLED光源220aは、例えば、蛍光変換を使用して可視広帯域で発光する広帯域LED光源である。例えば、広帯域LED光源220aは、白色光を発光することができる。可視光は、例えば、ガラス繊維束222aを、可視域において高い透過率で透過する。繊維束222aは、例えば、広帯域LED光源220aに突き合わせ結合され、高い結合効率および視野全体の照明を提供することができる約．86NAの高い開口数を含む。

【0039】

第2のLED光源は、自動蛍光イメージングで使用され得る狭帯域の励起光（例えば、395nm）を発光する狭帯域LED光源である。低波長の光は、より低い波長での透過のために最適化されたプラスチックの単一または複数の繊維束222bを透過する。

【0040】

照明は、必要に応じて、ユーザによって可視と蛍光励起との間で切り替えられ得る。切り替え可能な光源を有することは、デバイスが組織のタイプを区別するために外科手術で使用されることを可能にすることができる。例えば、前十字靭帯（ACL：anterior cruciate ligament）断裂の患者において、ドリルトンネルが復元のために骨に入るべき場所を決定する目的のために、対象の組織（挿入時のACLの残遺物）が識別され得るように、デバイス200は、狭帯域自家蛍光（AF：autofluorescence）モードに切り替えられ得る。切り替え可能な光モードでは、デバイス200は、所望の挿入部位におけるドリルガイド／カニューレの正確な位置決めを可能にするために、可視光と自家蛍光モードとの間で前後に切り替えられ得る。例えば、外科医は、最初に、自家蛍光を使用して、対象の組織を視覚化し、（ドリルガイド端は、可視光で視覚化することが容易であるので）可視光を用いてガイドを配置しようとすることができ、次いで、自家蛍光を使用して、対象の組織に対するドリルガイドの位置決めをチェックすることができる（ガイドが適切に配置されるまで繰り返すことができる）。損傷を受けた軟骨および／または半月板組織を含む他のタイプの組織も、以降の手順が実行され得るように、自家蛍光モードを使用して識別され得る。

【0041】

フォーカスアセンブリ208は、シャンク（shank）部223と、フォーカス光学系224のセットと、フォーカスリング226とを含む。フォーカスリング226は、シャンク部223およびカメラアタッチメントアセンブリ210に対して回転するように構成される。フォーカスリング226の回転は、フォーカス光学系228をデバイス200の長手方向軸に沿って軸方向に調整し、照明された画像の焦点を合わせる。

【0042】

動作中、選択された光源220aまたは220bは、照明光ファイバ222を介して作業領域に照明を提供する。作業領域からの照明された画像は、光路を介してカメラアセンブリ212に運ばれる。光路は、挿入管202の遠位端から、挿入管202内の画像光ファイバ224を介し、フォーカスアセンブリ208内のフォーカス光学系228のセットを介して、ビデオカメラアセンブリ212まで延在し、ビデオカメラアセンブリ212は、画像を画像データに変換するために、電荷結合素子（CCD：charged coupled device）アセンブリ230を含む。CCDアセンブリは、例えば、RGB画像データを生成するために、赤色CCD、緑色CCD、および青色CCDを含むことができる。他の場合には、CCDアセンブリは、例えば、RGBデータを送達するために、ベイヤーパターン構成を有する単一のセンサを含むことができる。画像データは、ビデオ信号内でコンピューティングデバイス104に運ばれる。

【0043】

デバイス200は、電力をカメラヘッド212から光源220に供給するために、スリップリングおよびワイヤのセットも含む。特に、ビデオ関節鏡200は、Cマウントスリップリング232と、フォーカスアセンブリスリップリング234と、挿入アセンブリスリップリング236とを含む。ビデオ関節鏡200は、また、Cマウントスリップリング232とフォーカスアセンブリスリップリング234との間に延在するワイヤ238と、フォーカスアセンブリスリップリング234と挿入アセンブリスリップリング240との間に延在するワイヤ240とを含む。ワイヤの最終的なセットは、挿入アセンブリスリップリング240および光源220から延在する。電流は、カメラヘッド212から、Cマウントスリップリング232を越えて、ワイヤ234を介して、フォーカスアセンブリスリップリング234を越えて、ワイヤ240を介して、挿入アセンブリスリップリング236を越えて、最終的にワイヤ242を介して、光源220に供給される。スリップリング232、234、および236の使用は、カメラヘッド212、フォーカスリング208、シャンク部223、および挿入アセンブリ206が、カメラヘッド212から光源220に運ばれる電力を依然として有しながら、必要に応じて互いに対して回転することを可能にする。

【0044】

図3は、例えば、ビデオ関節鏡デバイス102のような、システム100で使用され得るビデオ関節鏡300の代替例を示す。この代替例では、電力は、カメラヘッドから、ワイヤレス電力伝送システムを介して、ビデオ関節鏡に伝送される。特に、ビデオ関節鏡300では、Cマウントスリップリング232は、2つのコイル302および304に置き換えられる。第1のコイル302（エミッタ）は、カメラヘッド312内に配置され、第2のコイル304（レシーバ）は、カメラアタッチメントアセンブリ310内のビデオ関節鏡内に配置される。第1のコイル302は、近接場を用いる誘導結合を介して、第2のコイル304に電力を伝送する。電力は、次いで、デバイス200に関して説明したのと同様に、第2の（受信）コイル304から、電気ワイヤおよびスリップリングを介して、光源に伝送される。

【0045】

代替例では、第2のコイル304は、照明ポスト218内または挿入アセンブリ208内の他の場所に配置され得る。この代替例では、電力は、遠距離場結合を介して第2のコイル304に伝送される。第2のコイル304は、挿入アセンブリ内に配置されるので、フォーカスアセンブリ208内のスリップリングおよびワイヤは、必要とされない。

【0046】

図4は、画像データ内の特徴をセグメント化し、対応する画像をセグメント化と共に表示するためのプロセス400の一例を示す。プロセス400は、例えば、視覚化アプリケーション108bを実行するとき、プロセッサ104cによって実装されるが、他のシステムまたは構成は、プロセス400を実行することができる。プロセス400は、視野に導入された解剖学的外観または外部物体である画像フィールド内の対象の領域をよりよく視覚化するために、ビデオ内視鏡デバイスによってキャプチャされた画像を強調する。

【0047】

プロセッサ104cは、ビデオ関節鏡などのビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データにアクセスする（402）。画像データは、例えば、狭帯域光源220bを使用してキャプチャされた自家蛍光画像、または、例えば、広帯域光源220aを使用してキャプチャされた可視光画像に対応し得る。画像は、患者の内部組織または解剖学的構造のものであり得る。画像データは、画像のキャプチャに適した第1の色空間（キャプチャ色空間）を使用して符号化される。例えば、第1の色空間は、RGB、YUV、YPrPb、またはYcrC色空間のうちの1つである。

【0048】

プロセッサ104cは、アクセスした画像データを、第1の色空間から、第1の色空間とは異なる第2の色空間に変換する（404）。第2の色空間は、対象の1つまたは複数の領域のセグメント化に適している（セグメント化色空間）。セグメント化色空間としての色空間の妥当性は、個々の色を区別し、色メタメリズム（metamerism）アーティファクトを低減し、リアルタイム処理ユニットでのサポートのための最も便利な実装態様を考慮に入れるその能力によって決定される。第2の色空間は、例えば、HSV、Lab、またはHSYであり得る。

【0049】

プロセッサ104cは、第2の色空間での画像データを解析することによって、画像データ内の特徴の位置を識別する（406）。特徴は、組織、解剖学的構造、または、患者内に導入される外部物体を含むことができる。特徴を決定するために、プロセッサ104cは、例えば、特徴を決定するために、第2の色空間での画像データに対して色セグメント化を実行することができる。一例として、蛍光画像が第2の色空間（例えば、HSV）に変換された後、プロセッサ104cは、例えば、第2の色空間での画像データ内のピクセルの色相値のヒストグラムを生成することによって、画像内の色相の分布を解析することができる。ヒストグラム内の異なる集団（すなわち、色相の異なる範囲）に対応するピクセルのグループは、画像内の異なる組織に対応することができる。プロセッサ104cは、対象の組織（または、他の特徴）に対応するヒストグラムデータ内の集団（色相の範囲）内に入るピクセルを識別することができ、その集団内に入るピクセルを示すセグメント化データを生成することができる。

【0050】

別の例では、プロセッサ104cは、特定の組織を識別するために、または、画像の他の領域から対象の組織に対応する画像の領域を分離するために、相対的な色差を使用することができる。例えば、特定の場合には、大腿のACL組織の色相は、典型的には、画像の背景部分および他の組織の色相と異なる。自家蛍光画像では、例えば、ACLに対応する領域は、しばしば、一般的に青色を有し、背景領域は、典型的には、より紫に見える。したがって、画像の背景領域は、典型的には、ACL組織を示す領域に対して赤色にシフトされる。プロセッサ104cは、ACL組織を背景から区別するために、この情報を使用することができる。

【0051】

例えば、自家蛍光の膝の画像内のピクセルは、（例えば、ヒストグラムまたは他の技法を使用して）ピクセルの色相値に従ってグループ化され得る。ピクセルの第1のグループおよび第2のグループが、次いで、グループの中から識別される。例えば、ヒストグラムが使用されるとき、プロセッサ104cは、ヒストグラム内の、それぞれ色相の第1および第2の範囲内に入るピクセルの第1および第2のセットを決定することができる。第1および第2のグループは、例えば、最初に、最小飽和値ならびに最小強度値を満たさない無関係な情報を排除し、次いで、ヒストグラム内の別個の集団を識別するために、残りの集団をガウス分布に相関させることによって、または、代替的に、ローパスフィルタリングおよび外れ値除去を含む多段検出アルゴリズムを用い、次いで、処理された色相ヒストグラム分布内の別個の集団を識別する目的で、第1および第2の導関数のしきい値処理によって集団を検出することによって、識別され得る。第1および第2のグループの中から、プロセッサ104cは、ACL組織に対応するように（他のグループと比較して）より青色のピクセルを有するグループを選択し、これらのピクセルを示すセグメント化データを生成する。ヒストグラムが使用されるとき、プロセッサ104cは、より青色の色相の範囲内に入るピクセルのセットを選択することができる。

【0052】

同様の方法で、色相によるピクセルの分布の解析は、画像内の追加のまたは異なる領域を示すことができる。いくつかの実施態様では、背景は、典型的には、画像の最も大きい領域であるので、最も多くのピクセルを含むピクセルのグループは、背景として指定され得る。

【0053】

いくつかの状況では、異なる光学系、カメラセンサ、および処理システムの相互運用性は、画像内の色相の分布を解析することによって増強される。同じ照明条件の下で、異なるデバイスおよびデバイス構成は、異なる絶対的な色相の範囲を生成する可能性がある。それにもかかわらず、画像内の色相の分布（画像の異なる領域間の色相の差）の解析は、これらの変動にかかわらず、信頼できる精度を可能にすることができる。

【0054】

プロセッサ104cは、特徴の位置を示すセグメント化データを画像データ内に格納し（408）、画像データを第2の色空間から第3の色空間に変換する（410）。第3の色空間は、表示デバイスでの表示に適しており、例えば、RGB、YUV、YPrPb、またはYcrCbのうちの1つであり得る。

【0055】

セグメント化データ、および第3の色空間での画像データに基づいて、プロセッサ104cは、特徴の識別された位置の指標と共に画像を表示する（412）。特徴の位置は、例えば、処理の前に元の画像のグレースケール表現上に疑似カラーをオーバレイするために使用されるバイナリマスクによって識別され得る。別の例として、セグメント化データは、セグメント化が表示チャネルのうちの1つのみに現れるように、標準RGBチャネルの1つに直接マッピングされ、残りのチャネルから除外されるマスクを生成するために使用され得る。また、例えば、セグメント化データは、オーバレイとして元の画像上にブレンドされるアルファであるようなアウトライン領域を作成するために、さらに処理され得る。

【0056】

システム100に関して上記で説明したが、プロセス400は、自家蛍光、蛍光、または可視エネルギー画像をキャプチャするための特定の媒介物（vehicle）とは独立して実行され得る。いくつかの実装態様では、組織の境界（例えば、縁）、または対象の他の領域は、検出され、ビデオ関節鏡200などのビデオ内視鏡からのライブビデオ出力をオーバレイされる。

【0057】

いくつかの場合には、プロセス400は、予め定義されたキャリブレーションなしに対象の特徴を視覚化する際に支援するために実行され得る。他のプロセスは、励起照明下での光学系、カメラセンサ、任意の既存の処理パイプラインを介するシステムの信号応答の先験的な知識を必要とする可能性があり、ターゲットの組織または物体の信号応答を背景のシステム応答の信号応答から適切に分離するために、各個々のシステムの光学的および電子的応答の変動を補正するために、キャリブレーションをサポートする必要がある可能性がある。プロセス400は、適切な状況下では、そのようなキャリブレーションを必要としない可能性がある。

【0058】

図5Aは、RGB空間でキャプチャされた自家蛍光画像500の一例を示す図である。画像500は、例えば、狭帯域光源220bを使用してキャプチャされ得る。画像は、大腿のACLフットプリント（footprint）領域502aおよび502bと、大腿顆からの軟骨504aおよび504bとを含む、人間の膝からの組織標本のものである。これらの構造の両方は、コラーゲンを有するが、ACLは、異なるタイプのコラーゲンを有し、結果として、薄青色で蛍光を発する大腿フットプリント502aおよび502bをもたらすが、軟骨504aおよび504bは、紫色の蛍光を発する。この例でのACLフットプリントは、対象の解剖学的構造である。

【0059】

図5Bは、画像500がHSVなどの代替の色空間に変換された後に、画像500に基づいて生成されたヒストグラム520の一例を示す。ヒストグラムは、ピクセルの3つの主要なグループを有する。第1のグループ522は、約200度を中心とする。第2のグループ524は、約275度を中心とする。第3のグループ526は、約315度を中心とする。第3のグループ526は、ピクセルの最も高いカウントを含み、したがって、背景として指定され得る（いくつかの実装態様では、これらのピクセルは、ヒストグラムを形成する前に、フィルタ除去され得る）。この場合には、第1および第2のグループ522および524は、2つのタイプの組織に対応する。ACL組織は、大腿顆の軟骨に対してより青色であるので、ピクセルのより青色のグループ（第1のグループ522）は、ACL組織に対応するように選択される。

【0060】

図5Cは、ヒストグラム520の集団から得られたセグメント化マスク532を有する画像530の一例を示す図である。セグメント化マスクは、ACLフットプリント（対象の解剖学的特徴）の位置を示す。この場合、元の画像は、ディスプレイの緑色チャネルで送られ、セグメント化マスクは、ディスプレイの赤色チャネルで送られる。この結果、対象の特徴（ACLフットプリント）上に示されている赤色セグメント化マスク532がもたらされ、解剖学的特徴の残りは、緑色で示される。

【0061】

図6は、画像データ内の特徴を識別し、これらの特徴を解剖学的モデルで使用するためのプロセス600の一例を示す。プロセス600は、例えば、視覚化アプリケーション108bを実行するときにプロセッサ104cによって実装されるが、他のシステムまたは構成は、プロセス400を実行することができる。

【0062】

一般に、プロセス600は、既知の解剖学的ポイントから構成される特徴ベースのモデルを構築するために、画像化された解剖学的構造内の目印の特徴を識別し、これらの目印の特徴を、潜在的には他の目印の特徴と共に使用するために、プロセス400に関して説明したようなセグメント化のための色空間変換を使用する。このモデルは、次いで、視野内のターゲットの解剖学的特徴または領域を識別し、ターゲットの特徴または領域を、それらを他の領域から区別する方法で表示するために使用され得る。いくつかの場合では、自家蛍光イメージングデータは、画像化された組織を表す特徴ベースのモデルの性能を向上させることができる。

【0063】

プロセッサ104cは、例えば、関節鏡からのライブビデオの形態の、第1の色空間で符号化された画像データにアクセスする（602）。画像データは、例えば、狭帯域光源220bを使用してキャプチャされた自家蛍光画像、または、例えば、広帯域光源220aを使用してキャプチャされた可視光画像に対応することができる。画像は、患者の内部組織または解剖学的構造のものであり得る。画像データは、画像のキャプチャに適した第1の色空間（表示色空間）を使用して符号化される。例えば、第1の色空間は、RGB、YUV、YPrPb、またはYcrCb色空間のうちの1つである。

【0064】

プロセッサ104cは、アクセスした画像データを、第1の色空間から、第1の色空間とは異なる第2の色空間に変換する（604）。第2の色空間は、アクション404に関して上記で説明したように、対象の1つまたは複数の領域のセグメント化に適している（セグメント化色空間）。

【0065】

プロセッサ104cは、第2の色空間での画像データを解析することによって、画像データ内の1つまたは複数の目印の特徴の位置を識別する（606）。プロセッサ104cは、例えば、アクション406に関して上記で説明した技法のいずれかを使用してそれを行う。プロセッサ104cは、第1または第2の色空間での画像データを使用して、点または縁などの追加の目印の特徴の位置を識別することもできる。

【0066】

プロセッサは、ビデオの複数のフレームにわたって目印の特徴の位置を追跡する（608）。ビデオの複数のフレームは、被写体に対して異なる位置で目印の特徴をキャプチャすることができる（例えば、ビデオは、複数の視点からキャプチャされる）。追跡された特徴の位置の変化に基づいて、プロセッサは、例えば、特徴が移動した様子を推定するために、動き推定技法を使用する。例えば、プロセッサは、追跡された特徴が移動した様子を記述する動きベクトルを決定する。

【0067】

プロセッサは、追跡された特徴の移動に基づいて、三次元（3D）特徴ベースの解剖学的モデルを生成する（610）。3Dモデルが生成されると、プロセッサは、ターゲットの解剖学的特徴の位置を決定する（612）。例えば、モデルが大腿の一部を表すとき、ACLまたはPCL位置は、モデルの外観に基づいて決定され得る。プロセッサは、解剖学的特徴の比率、割合、および他の特徴などの既知の解剖学的関係を考慮することによって、解剖学的特徴の位置を推定することができる。例えば、大腿顆の曲率は、3Dモデルに基づいて決定され得る。この曲率値を使用して、ACL、PCL、または他の特徴の位置は、3Dモデルに対する膝の特徴のサイズおよび配置を記述する既知の比率に基づいて決定され得る。

【0068】

プロセッサは、次いで、ターゲットの解剖学的特徴の位置の指標と共に、画像データに対応する画像を表示する（614）。例えば、対象の解剖学的特徴の位置は、関節鏡からのライブビデオフィード上に、オーバレイとして示される。プロセッサは、追跡された特徴の位置を追跡し続ける。被写体のビューが変化するにつれて、プロセッサは、対象の解剖学的特徴の位置の変化を示すために、ビデオ表示を更新する。その全体が参照により本明細書に組み込まれる、2010年12月14日に出願した（米国特許出願公開第2011／0141140号として公開された）米国特許出願第12，967，435号で説明されたものを含む、追加の特徴配置および視覚化技法が使用され得る。

【0069】

いくつかの実装態様が説明された。それにもかかわらず、様々な修正がなされ得ることが理解されるであろう。例えば、画像処理およびモデル化技法の例は、ビデオ関節鏡と共に使用するために説明されているが、同じ技法は、画像キャプチャの他の装置および形態と共に使用され得る。

【0070】

さらに、自家蛍光イメージングは、任意の適切なデバイスまたはデバイスの組み合わせを使用して実行され得、説明した特徴のデバイスに限定されない。例えば、図2Dは、可視光源、および励起用の狭帯域光源が、両方ともサイドアームに取り付けられた別個のLEDから形成されている構成を示す。異なる色で発光する多数のチップで作られた1つの光源が、サイドアームまたは内視鏡の任意の他の位置に配置され、可視光と自家蛍光に適した光との間で切り替えられ得ることが可能である。そのようなLED光源は、調整可能な白色LEDと呼ばれ得、可視光または蛍光励起光の間を必要に応じて切り替えるために使用され得る。広帯域から狭帯域の発光に切り替えられ得るまたは変更され得るLED（または、他の固体技術）が利用可能になる場合、図2Dに示す2つのLEDの代わりに使用され得る。

【0071】

可視および蛍光励起の両方のための照明は、内視鏡の照明チャネル以外の方法で送達され得る。例えば、蛍光励起は、ビデオ関節鏡とは別のプローブを介して送達され得る。この場合には、可視光源は、ビデオ関節鏡に取り付けられ得、蛍光用のLED光源は、別個のプローブまたは器具に配置される。蛍光用のLED光源は、個々のプローブの遠位または近位端に配置され得る。蛍光用のLED光源が近位端に配置される場合、励起エネルギーは、ファイバを通って遠位方向に送達され得る。蛍光用のLEDおよび／または蛍光のための励起エネルギーを送達するファイバは、ドリルガイド、手持ち器具（hand instrument）、または、ドリルガイド、内視鏡、もしくは別個のプローブの周りに適合する再利用可能もしくは使い捨てのカニューレなどの、関節鏡手順で使用される他のタイプの器具内に組み込まれ得る。加えて、照明は、独立した自己給電デバイスで生成され得、送達デバイス上のポストに結合された可撓性光ガイドを介して、送達デバイスに送達され得る。この最後の実施形態では、励起エネルギーは、独立型デバイス内の単色レーザ、LED、またはフィルタ処理した白色光源によって生成され得る。

【0072】

したがって、他の実装態様は、特許請求の範囲内にある。

【0073】

本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データにアクセスするステップであって、前記画像データが第1の色空間で符号化される、ステップと、
前記アクセスされた画像データを前記第1の色空間から第2の色空間に変換するステップであって、前記第2の色空間が前記第1の色空間と異なる、ステップと、
前記第2の色空間での前記画像データを解析することによって、前記画像内の特徴の位置を識別するステップと、
前記画像内の前記特徴の前記位置を示すセグメント化データを記憶するステップと、
前記セグメント化データに基づいて、前記特徴の前記識別された位置の指標と共に前記画像を表示するステップと
を含む方法である。

【0074】

本願の一態様は、前記画像を、前記特徴の識別された位置の指標と共に表示するステップが、
前記画像データを前記第2の色空間から第3の色空間に変換するステップと、
前記セグメント化データおよび前記第3の色空間の前記画像データに基づいて、前記特徴の前記識別された位置の指標と共に前記画像を表示するステップと
を含む、方法である。

【0075】

本願の一態様は、前記1つまたは複数の特徴が、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含む、方法である。

【0076】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップと、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するステップと
を含み、前記セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、方法である。

【0077】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化するステップと、
前記ピクセルのグループの中からピクセルの第1のグループを決定するステップと、
前記ピクセルのグループの中からピクセルの第2のグループを決定するステップと、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するステップと
を含み、前記セグメント化データが、前記選択されたピクセルのグループを示す、方法である。

【0078】

本願の一態様は、ピクセルをグループ化するステップが、前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップを含み、
ピクセルの第1のグループを決定するステップが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含み、
ピクセルの第2のグループを決定するステップが、前記ヒストグラム内の前記色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含み、
前記ピクセルの第1または第2のグループのうちの一方を選択するステップが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するステップを含む、方法である。

【0079】

本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、方法である。

【0080】

本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、方法である。

【0081】

本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされた画像を表す画像データを生成し、前記画像データが第1の色空間で符号化され、
前記画像データをコンピューティングデバイスに送信するように構成されたビデオ内視鏡デバイスと、
前記ビデオ内視鏡デバイスによって送信された前記画像データを受信し、
前記受信した画像データを、前記第1の色空間から第2の色空間に変換し、前記第2の色空間が前記第1の色空間と異なり、
前記第2の色空間での前記画像データを解析することによって、前記画像内の特徴の位置を識別し、
前記画像内の前記特徴の前記位置を示すセグメント化データを記憶し、
前記セグメント化データに基づいて、表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するように構成されたコンピューティングデバイスと
を備えるシステムである。

【0082】

本願の一態様は、前記表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するために、前記コンピューティングデバイスが、
前記画像データを前記第2の色空間から第3の色空間に変換し、
前記セグメント化データおよび前記第3の色空間の前記画像データに基づいて、前記表示デバイス上に、前記特徴の前記識別された位置の指標と共に前記画像を表示するように構成された、システムである。

【0083】

本願の一態様は、前記1つまたは複数の特徴が、組織のタイプ、解剖学的構造、または、患者に導入される外部物体を含む、システムである。

【0084】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成し、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され、前記セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、システムである。

【0085】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化し、
前記ピクセルのグループの中からピクセルの第1のグループを決定し、
前記ピクセルのグループの中からピクセルの第2のグループを決定し、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するように構成され、前記セグメント化データが、前記選択されたピクセルのグループを示す、システムである。

【0086】

本願の一態様は、ピクセルをグループ化するために、前記コンピューティングデバイスが、前記第2の色空間での前記画像データに基づいて、記画像データ内のピクセルの色相値のヒストグラムを生成するように構成され、
ピクセルの第1のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され、
ピクセルの第2のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され、
前記ピクセルの第1または第2のグループのうちの一方を選択するために、前記コンピューティングデバイスが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するように構成された、システムである。

【0087】

本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、システムである。

【0088】

本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、システムである。

【0089】

本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データにアクセスするステップであって、前記画像データが第1の色空間で符号化される、ステップと、
前記アクセスされた画像データを、前記第1の色空間から第2の色空間に変換するステップであって、前記第2の色空間が前記第1の色空間と異なる、ステップと、
前記第2の色空間での前記画像データを解析することによって、前記ビデオ内の目印の特徴の位置を識別するステップと、
前記画像データの複数のフレームにわたって、前記目印の特徴の位置を追跡するステップと、
前記追跡された目印の特徴に基づいて、解剖学的モデルを生成するステップと、
前記解剖学的モデルに基づいて、ビデオデータ内のターゲットの解剖学的特徴の位置を決定するステップと、
前記ターゲットの特徴の前記位置の指標と共に前記ビデオを表示するステップと
を含む方法である。

【0090】

本願の一態様は、前記ターゲットの解剖学的特徴の前記位置を決定するステップが、前記解剖学的モデル、ならびに、前記モデルおよび前記ターゲットの解剖学的特徴の外観間の既知の解剖学的関係に基づいて、前記ターゲットの解剖学的特徴の前記位置を決定するステップを含む、方法である。

【0091】

本願の一態様は、前記追跡された目印の特徴に基づいて解剖学的モデルを生成するステップが、前記複数のフレーム間の前記目印の特徴の位置の変化に基づいて前記目印の特徴の移動を決定するステップと、前記目印の特徴の前記移動に基づいて前記解剖学的モデルを生成するステップとを含む、方法である。

【0092】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記目印の特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成するステップと、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するステップと
を含み、セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、方法である。

【0093】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記目印の特徴の前記位置を識別するステップが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化するステップと、
前記ピクセルのグループの中からピクセルの第1のグループを決定するステップと、
前記ピクセルのグループの中からピクセルの第2のグループを決定するステップと、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するステップと
を含み、セグメント化データが、前記選択されたピクセルのグループを示す、方法である。

【0094】

本願の一態様は、ピクセルをグループ化するステップが、前記第2の色空間での前記画像データに基づいて、前記画像内のピクセルの色相値のヒストグラムを生成するステップを含み、
ピクセルの第1のグループを決定するステップが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するステップを含み、
ピクセルの第2のグループを決定するステップが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するステップを含み、
前記ピクセルの第1または第2のグループのうちの一方を選択するステップが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するステップを含む、方法である。

【0095】

本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、方法である。

【0096】

本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、方法である。

【0097】

本願の一態様は、ビデオ内視鏡デバイスによってキャプチャされたビデオを表す画像データを生成し、前記画像データが第1の色空間で符号化され、
前記画像データをコンピューティングデバイスに送信するように構成されたビデオ内視鏡デバイスと、
前記ビデオ内視鏡デバイスによって送信された前記画像データを受信し、
前記受信した画像データを前記第1の色空間から第2の色空間に変換し、前記第2の色空間が前記第1の色空間と異なり、
前記第2の色空間での前記画像データを解析することによって前記ビデオ内の目印の特徴の位置を識別し、
前記画像データの複数のフレームにわたって前記目印の特徴の位置を追跡し、
前記追跡された目印の特徴に基づいて解剖学的モデルを生成し、
前記解剖学的モデルに基づいてビデオデータ内のターゲットの解剖学的特徴の位置を決定し、
前記ターゲットの特徴の前記位置の指標と共に前記ビデオを表示デバイス上に表示するように構成されたコンピューティングデバイスと
を備えるシステムである。

【0098】

本願の一態様は、前記ターゲットの解剖学的特徴の前記位置を決定するために、前記コンピューティングデバイスが、前記解剖学的モデル、ならびに、前記モデルおよび前記ターゲットの解剖学的特徴の外観間の既知の解剖学的関係に基づいて、前記ターゲットの解剖学的特徴の前記位置を決定するように構成された、システムである。

【0099】

本願の一態様は、前記追跡された目印の特徴に基づいて解剖学的モデルを生成するために、前記コンピューティングデバイスが、前記複数のフレーム間の前記目印の特徴の位置の変化に基づいて前記目印の特徴の移動を決定し、前記目印の特徴の前記移動に基づいて前記解剖学的モデルを生成するように構成された、システムである。

【0100】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データに基づいて前記画像データ内のピクセルの色相値のヒストグラムを生成し、
前記特徴に対応する前記ヒストグラム内の色相の範囲内に入るピクセルを識別するように構成され、セグメント化データが、前記特徴に対応する前記ヒストグラム内の前記色相の範囲内に入る前記ピクセルを示す、システムである。

【0101】

本願の一態様は、前記第2の色空間での前記画像データを解析することによって前記画像内の前記特徴の前記位置を識別するために、前記コンピューティングデバイスが、
前記第2の色空間での前記画像データ内のピクセルを、前記ピクセルの色相値に基づいてグループにグループ化し、
前記ピクセルのグループの中からピクセルの第1のグループを決定し、
前記ピクセルのグループの中からピクセルの第2のグループを決定し、
前記ピクセルの第1および第2のグループ間の相対的な色差に基づいて、前記ピクセルの第1または第2のグループのうちの一方を選択するように構成され、セグメント化データが、前記選択されたピクセルのグループを示す、システムである。

【0102】

本願の一態様は、ピクセルをグループ化するために、前記コンピューティングデバイスが、前記第2の色空間での前記画像データに基づいて、前記画像データ内のピクセルの色相値のヒストグラムを生成するように構成され、
ピクセルの第1のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の前記色相の第1の範囲内に入るピクセルの第1のセットを決定するように構成され、
ピクセルの第2のグループを決定するために、前記コンピューティングデバイスが、前記ヒストグラム内の色相の第2の範囲内に入るピクセルの第2のセットを決定するように構成され、
前記ピクセルの第1または第2のグループのうちの一方を選択するために、前記コンピューティングデバイスが、前記色相の第1の範囲と前記色相の第2の範囲との間の相対的な色差に基づいて、前記ピクセルの第1または第2のセットのうちの一方を選択するように構成された、システムである。

【0103】

本願の一態様は、前記第1の色空間が、RGB、YUV、YPrPbまたはYcrCbのうちの1つである、システムである。

【0104】

本願の一態様は、前記第2の色空間が、HSV、LabまたはHSYのうちの1つである、システムである。

【符号の説明】

【0105】

102 ビデオ内視鏡デバイス
104 コンピューティングデバイス
104a カメラインターフェース、ビデオ入力部
104b メモリシステム
104c プロセッサ
104d I/Oインターフェース
106 表示デバイス
108a 記憶された視覚化アプリケーション
108b 実行している視覚化アプリケーション

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】