特開 2024-101548 視覚化デバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101548

(43)【公開日】2024-07-29

(54)【発明の名称】視覚化デバイス

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240722BHJP

   A61B 1/303 20060101ALI20240722BHJP

【ＦＩ】

A61B1/045 623

A61B1/303

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023220357

(22)【出願日】2023-12-27

(31)【優先権主張番号】23152022

(32)【優先日】2023-01-17

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】592245823

【氏名又は名称】エルベ エレクトロメディジン ゲーエムベーハー

【氏名又は名称原語表記】Ｅｒｂｅ Ｅｌｅｋｔｒｏｍｅｄｉｚｉｎ ＧｍｂＨ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】ヤニック・ダニエル

(72)【発明者】

【氏名】アドリアン・ミヒェルマン

(72)【発明者】

【氏名】オヴィディウ・ジュルジュト

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA16

4C161HH55

4C161WW02

4C161WW04

4C161WW13

(57)【要約】      （修正有）

【課題】処置を必要とする特定の領域を識別し、カメラ位置または組織の動きから独立してより長い期間にわたり、それらを位置特定する視覚化デバイスを提供する。
【解決手段】視覚化デバイスは、生体組織の処置中の診断、治療監視を行うように機能し、カメラと画像処理デバイスとを備える。画像処理デバイスは、カメラによって作成された画像内で組織上に存在する基準構造を検出し、染色試験において、検査によって作成された光インジケータを検出、追跡する。光インジケータは、染色された領域とすることができる。画像処理デバイスは、構造の検出および追跡により、視点の変化を決定しそれぞれの変換規則を作成し、変換規則により、カメラ、患者の位置変化または組織の歪みに関係なく、インジケータ、表現、処置点を正しい位置で基準画像に挿入する。処置を必要とする組織を特徴付ける光インジケータは、正しい位置で検出され、患者の動きから独立している。
【選択図】図１

【特許請求の範囲】

【請求項1】

特に子宮頸部組織または他の生体組織（２）の処置中の診断および治療監視のための視覚化デバイス（１）であって、
組織（２）の検査中に複数の画像（Ｂ１，Ｂ２．．．）を取得するためのカメラ（４）を有し、
基準構造（７，８）の位置に基づいて光インジケータ（９）またはそのグラフィック表現（１０）を基準画像（Ｏ、Ｏ’、Ｏ^ｎ）に転写するために、前記画像（Ｂ１、Ｂ２．．．）内で前記組織（２）上に存在する前記基準構造および前記検査中に得られた前記光インジケータ（９）を検出および／または追跡するように構成された画像処理デバイス（５）を有し、
画像処理デバイス（５）は、前記処置中に前記検出された光インジケータ（９）またはそのグラフィック表現（１０）を前記基準画像（Ｏ、Ｏ’、Ｏ^ｎ）から処置者の視野に転写する、
視覚化デバイス。

【請求項2】

前記カメラ（４）は、前記組織（２）の前記検査中に複数の画像を取得する間、不動に配置される、
請求項１に記載の視覚化デバイス。

【請求項3】

前記カメラ（４）は、前記組織（２）の前記検査中に複数の画像を取得する間、移動可能に支持される、
請求項１に記載の視覚化デバイス。

【請求項4】

前記組織（２）の前記処置中に複数の画像（Ｂ１，Ｂ２．．．）を取得するためのカメラ（４，１５）が提供される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項5】

前記組織（２）の前記処置中に複数の画像（Ｂ１，Ｂ２．．．）を取得するための前記カメラ（１５）は、前記組織（２）の前記検査中に複数の画像を取得するための前記カメラ（４）と同一である、
請求項４に記載の視覚化デバイス。

【請求項6】

前記画像処理デバイス（５）は、前記画像の視点変化を特徴付ける前記画像（Ｂ１，Ｂ２．．．）内の基準構造（７，８）の位置の変化に基づいて変換規則（Ｔ１０，Ｔ０１．．．）を決定するように構成される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項7】

前記画像処理デバイス（５）は、組織変形を特徴付ける前記画像（Ｂ１，Ｂ２．．．）内の基準構造（７，８）の位置の変化に基づいて変換規則（Ｔ１０，Ｔ０１．．．）を決定するように構成される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項8】

前記画像処理デバイス（５）は、前記基準構造（７，８）の変化を検出し、前記変化を前記基準画像（Ｏ、Ｏ’、Ｏ^ｎ）に転写するように構成される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項9】

前記画像処理デバイス（５）は、前記画像（Ｂ１，Ｂ２．．．）の視点の変化および組織の変形を特徴付ける前記画像（Ｂ１，Ｂ２．．．）内の基準構造（７，８）の位置の変化に基づいて変換規則（Ｔ１０，Ｔ０１．．．）を決定するように構成される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項10】

前記画像処理デバイス（５）は、前記検査によって生成された光インジケータ（９）またはそのグラフィック表現（１０）を前記基準画像（Ｏ、Ｏ’、Ｏ^ｎ）から、前記組織（２）上に存在する前記基準構造（７，８）の位置に基づいて、前記処置中に前記処置者が光学的に知覚可能な画像に転写するように構成される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項11】

前記画像処理デバイス（５）は、前記基準画像（Ｏ、Ｏ’、Ｏ^ｎ）からの、前記検査によって作成された光インジケータ（９）またはそのグラフィック表現（１０）を、前記処置中に取り込まれた画像（Ｂ１，Ｂ２．．．）と重ね合わせて画像表示デバイス（６）上に表示する、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項12】

前記画像処理デバイスは、前記検査によって取得された光インジケータ（９）またはそれらのグラフィック表現（１０）を前記基準画像（Ｏ、Ｏ’、Ｏ^ｎ）から、前記処置者によって見える実画像と重ね合わせるためにＶＲ眼鏡に出力するように構成され、
前記ＶＲ眼鏡は、前記画像処理デバイス（５）に接続されたカメラ（１５）を備えることができる、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項13】

前記画像処理デバイス（５）は、前記処置中の前記組織（２）に対する器具（１２）の影響のトレース（１５）を記録するように構成される、
請求項１から３のいずれか一項に記載の視覚化デバイス。

【請求項14】

前記画像処理デバイス（５）は、前記組織（２）に対する前記器具（１２）の影響中に記録された前記トレース（１５）を処置者の視野に転写するように構成される、
請求項１３に記載の視覚化デバイス。

【請求項15】

前記画像処理デバイス（５）は、前記組織（２）に対する前記器具（１２）の影響中に記録された前記トレース（１５）を、処置者によってとられた前記視点に対応して、および／または組織変形に対応して前記処置者の前記視野に転写するように構成される、
請求項１４に記載の視覚化デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、組織変化の診断および処置、特に子宮頸部新形成の診断および処置のためのデバイスに関する。本発明による視覚化デバイスは、他の同様の状況でも使用可能である。

【背景技術】

【0002】

子宮頸部組織（子宮頸部）の処置は、ビデオ支援を用いて行うことができる。

【0003】

この目的のために、論文「Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ａｎａｔｏｍｉｃａｌ Ｌａｎｄｍａｒｋｓ ｉｎ Ｕｔｅｒｉｎｅ Ｃｅｒｖｉｘ Ｉｍａｇｅｓ」、Ｈａｙｉｔ Ｇｒｅｅｎｓｐａｎ，Ｓｈｉｒｉ Ｇｏｒｄｏｎ，Ｇａｌｉ Ｚｉｍｍｅｒｍａｎ，Ｓｈｅｌｌｙ Ｌｏｔｅｎｂｅｒｇ，Ｊｏｓｅ Ｊｅｒｏｎｉｍｏ，Ｓａｍｅｅｒ Ａｎｔａｎｉ，ｕｎｄ Ｒｏｄｎｅｙ Ｌｏｎｇ，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＭＥＤＩＣＡＬ ＩＭＡＧＩＮＧ，ＶＯＬ．２８，ＮＯ．３，２００９年３月は、悪性子宮頸部組織形成と相関する病変の発生に関するウェブベースのデータベースを確立することができるように、子宮頸部組織上の特徴点の自動認識を記載している。

【0004】

特徴フィルタリングおよび画像処理は、「ＫＡＺＥ Ｆｅａｔｕｒｅｓ」 Ｐａｂｌｏ Ｆ．Ａｌｃａｎｔａｒｉｌｌａ、Ａｄｒｉｅｎ Ｂａｒｔｏｌｉ、およびＡｎｄｒｅｗ Ｊ．Ｄａｖｉｓｏｎ Ｃｏｎｆｅｒｅｎｃｅ Ｐａｐｅｒ ２０１２年１０月ＤＯＩ：１０．１００７／９７８－３－６４２－３３７８３－３＿１６から、ならびに「Ｆａｓｔ Ｅｘｐｌｉｃｉｔ Ｄｉｆｆｕｓｉｏｎ ｆｏｒ Ａｃｃｅｌｅｒａｔｅｄ Ｆｅａｔｕｒｅｓ ｉｎ Ｎｏｎ－Ｌｉｎｅａｒ Ｓｃａｌｅ Ｓｐａｃｅｓ」、Ｐａｂｌｏ Ｆｅｒｎａｎｄｅｚ Ａｌｃａｎｔａｒｉｌｌａ Ｃｏｎｆｅｒｅｎｃｅ Ｐａｐｅｒ ２０１３年９月 ＤＯＩ：１０．５２４４／Ｃ．２７．１３および「Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ（ＳＵＲＦ）」、Ｈｅｒｂｅｒｔ Ｂａｙ、Ａｎｄｒｅａｓ Ｅｓｓ、Ｔｉｎｎｅ ＴｕｙｅｔｅｌａａｒｓおよびＬｕｃ Ｖａｎ Ｇｏｏｌ、ＥＴＨ Ｚｕｒｉｃｈ ＢＩＷＩ、Ｓｔｅｒｎｗａｒｔｓｔｒａβｅ ７、ＣＨ－８０９２ Ｚｕｒｉｃｈ、Ｓｗｉｔｚｅｒｌａｎｄ（２００８年９月１０日にＥｌｓｅｖｉｅｒに提出されたプレプリント）からも知られており、またｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０１６／ｊ．ｃｖｉｕ．２００７．０９．０１４も参照されている。

【0005】

加えて、マレーシア特許出願公開第１８１１５７号明細書からは、超音波による子宮頸部位置検出の方法およびシステムが知られている。子宮頸部位置検出のために、Ｘ、ＹおよびＺ方向に直線的に移動可能に支持され、さらに旋回可能に支持された超音波トランスデューサが使用される。自動子宮頸部識別アルゴリズムは、超音波画像内の子宮頸部のユーザ独立検出を可能にする。

【0006】

加えて、独国特許出願公開第１０２０１９１１６３８１号明細書は、画像シーケンスの画像内のマークされた点の画像位置を決定するための方法を開示している。この目的のために、第１の画像において、マークされた点が定義され、第１の画像の対応するサブエリアと画像シーケンスの第２の画像との間の変換が決定される。この変換により、第１の画像の少なくともサブ領域が変換される。変換された画像では、マークされたスポットは、再び局所化され、変換によって第２の画像に転写される。

【0007】

子宮頸部組織の処置では、診断のためにとられる措置の間、ならびに実際の処置措置の間に、組織とカメラとの間の相対位置が変更され得ることを予想しなければならない。さらに、子宮頸部組織は、行われる操作に起因して、また筋反応の結果として運動を行う可能性がある。組織の処置が組織表面全体にわたって均一に拡張される限り、これは問題ではない。しかしながら、処置を必要とする特定の領域のみに限定された影響が望まれる場合、そのような領域を識別し、カメラ位置または組織の動きから独立してより長い期間にわたってそれらを位置特定する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

上述を起点として、本発明の目的は、改善された視覚化デバイスを提供することである。

【課題を解決するための手段】

【0009】

この目的は、請求項１に記載の視覚化デバイスによって解決される。

【0010】

本発明による視覚化デバイスは、特に、子宮頸部組織または他の生体組織、特に変形可能な組織の処置中の診断および処置の監視を行うように機能する。変形は、例えば、手術中の機械的影響から、または処置されるべき筋組織または処置されるべき組織と機械的に関連する筋組織の動きからも生じ得る。

【0011】

組織の検査中に複数の画像またはビデオストリームを取り込むための少なくとも１つのカメラは、視覚化デバイスの一部である。検査は、特に、染色試験による検査など、組織の光学的外観の変化を伴う検査とすることができる。染色試験中、検査されるべき組織は、組織に影響を及ぼす適切な液体、例えば酢酸溶液またはルゴール溶液と接触させられる。その後、組織表面に変色が形成され、これは、組織の特徴を特徴付ける。例えば、子宮頸部上皮内新生物は、染色試験によってこの様式で視覚化され得る。

【0012】

染色試験の画像または別の組織検査中の画像を取り込むための少なくとも１つのカメラは、例えば、固定されて設置されたカメラ、または処置者が携帯するカメラ、したがって可動カメラとすることができる。可動カメラは、例えば、ヘルメットカメラ、処置者のＶＲグラスに組み込まれたカメラ、または肩もしくは頭部に担持された別のカメラとすることができる。

【0013】

別の実施形態では、検査は、ビデオベースおよび／または自動化のみで実行することもできる。例えば、任意選択的に設けられた分析ユニットが、カメラ画像のみに基づいて処置領域を認識することができ、またはユーザが、例えばタッチスクリーンまたは他の入力デバイスによってカメラ画像内に処置領域を手動で画定することができる。光インジケータとして、画定された処置領域の座標は、次いで、この画像領域が視覚化デバイスのカメラ画像内のグラフィカル表現としてマークされるように使用することができる。これは、例えば、処置されるべき領域を囲む境界線によって、または処置されるべき領域の着色によっても行うことができる。同様に、処置されるべき領域をマーキングするために、輪郭マップまたは偽色マップの形態の投薬量推奨を使用することが可能である。

【0014】

カメラによって提供された画像またはビデオシーケンスは、画像処理デバイスに送信され、画像処理デバイスは、画像内の組織上に存在する基準構造、ならびに検査によって作成または取得された追加の光インジケータを検出および追跡するように構成される。

【0015】

基準構造は、解剖学的構造および／または器具によって形成された構造とすることができる。そのような器具は、例えば、画像に見える検鏡などとすることができる。その器具は、手術野を開いたままにするか、または手術野内に配置される器具とすることができる。基準構造は、特に解剖学的構造の場合、時間的変化を受け得る。例えば、組織は、機械的変形、熱的影響、出血、膨潤などによって変化を受け得る。

【0016】

画像処理デバイスはまた、特定の、例えば光インジケータのグラフィック表現を作成するように構成することもできる。光インジケータは、例えば、検査中に識別され、周囲の組織と光学的に区別することができる組織領域とすることができる。そのような光インジケータは、グラフィック表現によって補完または置換することができる。グラフィック表現は、組織領域を囲む線、組織領域を覆う領域などとすることができる。

【0017】

構造の追跡により、画像処理デバイスは、カメラまたは患者の動きから生じ得る視点の変化とは無関係に、検査されるべき組織に対するカメラの相対位置を決定することができる。画像処理デバイスは、加えて、検査によって作成された光インジケータを、決定された視点の変化に基づいてビデオシーケンスの各画像内の正しい位置に挿入するように構成される。そうすることで、光インジケータまたはそのグラフィック表現は、基準構造の位置に基づいて基準画像内に転写することができる。

【0018】

基準画像は、患者の位置およびカメラの位置から独立した空間に関する位置にある検査された組織のデータ表現である。基準画像は、画像処理デバイスによって識別された（静的にまたは時間的に変化する）基準構造を含む。画像処理デバイスは、識別された基準構造の位置に基づいて画像シーケンスの画像の変換を決定するように構成され、その変換によって、画像シーケンスの画像の内容を正しい位置で基準画像内に転写することができる。そうすることで、基準画像は、カメラもしくは患者の動きから、または組織の歪みから独立している。画像処理デバイスは、視点から独立して、基準画像への画像シーケンスまたはビデオの画像を計算する。

【0019】

画像シーケンスまたはビデオの各画像は、処置を必要とする組織領域を特徴付ける検査によって作成されたインジケータを含むことができる。例えば、インジケータは、色で区別できる領域である。インジケータに加えて、またはそれらの代わりに、グラフィック表現は、例えば、染色試験または別の検査で特定された処置を必要とする組織切片を他の方法で封入またはマークする線とすることができる。

【0020】

検出されたインジケータまたはそのグラフィック表現は、基準画像に関連する。画像処理デバイスは、構造に基づいて決定された変換規則によってインジケータまたはそのグラフィック表現を基準画像内に転写するように構成される。また、画像処理デバイスは、基準画像内の基準構造を、これらが変動を受ける場合に更新するように構成することができる。この目的のために、画像処理デバイスは、現在の基準構造に基づいて、または他の表示に基づいて、例えば位置検出デバイスによって、視点の変化を検出するように構成することができ、さらに、形状または他の外観（例えば、基準構造の色またはコントラストの変動）の変動を基準画像内に転写するように構成される。

【0021】

加えて、画像処理デバイスは、組織の処置中に処置を必要とする領域のインジケータまたはグラフィック表現を基準画像から処置者の視野に転写するように構成される。それにより、光インジケータまたはそのグラフィック表現は、正しい位置で、実際にはそれぞれのライブ画像に存在するそれぞれ認識された基準構造を参照しながら正しい位置で処置者の視野に転写される。例えば、インジケータまたはグラフィック表現は、それらがライブ画像内の正しい位置、すなわち処置者によって知覚される画像内で見えるようにＶＲグラス内に表示することができる。

【0022】

あるいは、インジケータまたはそのグラフィック表現は、モニタ上のガイド画像に重ねて表示することができる。ライブ画像は、処置中に、処置者の静止した、または例えば肩で支持されたカメラによって取り込むことができる。処置者は、その処置を監視するために、または時々それをチェックするために、患者の近くにモニタを設定することができる。

【0023】

本発明による視覚化デバイスは、カメラ位置の直接検出を必要とせず、すなわち、カメラ位置検出システムを必要としない。視点適合が、診断中にカメラによって、ならびに処置中にカメラによって提供された画像だけで、画像内に取り込まれた基準構造に基づいて行われる。

【0024】

視覚化デバイスまた、特に、組織上に目に見える痕跡を残さない、すなわち組織の光学的外観がその間に変化しない影響によって、子宮頸部組織の処置および処置の監視を可能にする。そのような影響は、例えば、光もしくは非熱プラズマ、例えば低温プラズマ、または別のエネルギー形態もしくは物質、例えば薬用影響、超音波影響などによる子宮頸部組織への影響とすることができる。視覚化デバイスは、医療処置中の影響の位置および組織上のその動きを検出し、それをトレースの形態で取り込むように構成することができる。視覚化デバイスは、このトレースをモニタ表現または別のライブ画像、例えばＶＲグラスで視覚化するようにさらに構成することができる。視点の連続的な適合により、検査中だけでなく処置中にも、処置を必要とする組織領域を処置者が排他的かつ十分に処置し、他の組織領域を保存することが保証され得る。

【0025】

診断中に使用されるカメラおよび組織の処置中に使用されるカメラは、一般に異なるように構成することができる。しかしながら、構造が同一のカメラを使用することも可能である。加えて、検査および診断のために、ならびに処置のために、まったく同じカメラ、例えば処置者の肩に支持されたカメラを使用することが可能である。カメラはまた、例えば支持デバイスによって診断中に不動に配置することができ、その後処置中に処置者によって携帯または移動され得る。

【0026】

画像処理デバイスは、画像内の解剖学的構造の位置の変化に基づいて、例えば行列などの形態の変換規則を決定するように構成することができる。これらの変換規則は、画像および／または組織変形の視点における変化を特徴付けることができる。視点の変化は、例えば、患者に対するカメラ位置の変化または患者の位置の変化から生じ得る。視点の適合に使用される構造は、特に検鏡の位置、子宮頸部組織の縁部、および／または子宮頸部チャネルもしくはその開口周囲領域などの他の解剖学的構造の位置とすることができる。組織の変形もしくは歪み、または表示された子宮頸部組織に対するカメラの変位もしくはピボットの場合でも、診断中に認識された正しい位置で光インジケータをライブ画像に結合することができる。

【0027】

本発明の有利な実施形態のさらなる詳細は、従属請求項ならびに明細書および関連する図面の主題である。

【図面の簡単な説明】

【0028】

【図1】子宮頸部検査中の子宮頸部および接続されたカメラを有する画像処理デバイスの概略図である。

【図2】プラズマ器具による子宮頸部の処置中の接続された画像表示デバイスおよびカメラを有する画像処理デバイスの概略図である。

【図3】画像処理デバイスの機能ブロックの概略図である。

【図4】子宮頸部検査中の視点の適合のためのその機能ブロックに基づく画像処理デバイスを示す図である。

【図5】診断中の基準画像の変動を示す図である。

【図6】診断中の基準画像の変動を示す別の図である。

【図7】診断中の基準画像の変動を示す別の図である。

【図8】組織の処置中の必須の機能ブロックに基づく画像処理デバイスを示す図である。

【図9】組織の処置中の必須の機能ブロックに基づく、改変された実施形態における画像処理デバイスを示す図である。

【発明を実施するための形態】

【0029】

図１には、カメラ４で見える検鏡３によって保持されている生体組織、例えば子宮頸部の検査中の視覚化デバイス１が示されている。カメラ４は、画像処理デバイス５に接続されている。画像処理デバイスは、モニタまたは別の画像表示デバイス６を備えることができる。

【0030】

視覚化デバイス１は、ここでは子宮頸部組織の検査を行うように機能するため、他の組織２の検査中にも同様の設定を使用することができる。

【0031】

この場合、組織検査は、適切なエッセンス、例えば酢酸溶液またはルゴール溶液を組織２上に塗布する染色試験を含む。特に、上皮内新生物は子宮頸部組織において変色する。

【0032】

しかしながら、蛍光着色剤による染色およびＵＶ／ＶＩＳ光によるそれらの励起、または適切な方法を使用することによる組織認識によるカメラ画像からの直接の処置を必要とする領域の決定も可能である。

【0033】

染色試験中、カメラ４は、画像またはビデオシーケンスを取り込み、それを画像処理デバイス５に供給する。これにより、画像処理デバイス５は、カメラ４と組織２との間の潜在的な相対運動に関係なく、画像シーケンスの画像に発生する変色、ならびに変色の時間的進行およびその緩和進行を検出し、それらを正しい位置で組織２またはそのモデルに割り当てるように機能する。数分かかる可能性がある診断中、組織２に対するカメラ４の位置が変化する場合があるだけでなく、組織２が、例えば筋肉の作用に起因して歪むたは変形する場合がある。

【0034】

画像処理デバイス５は、組織２の潜在的な変形、および組織２とカメラ４との間の相対運動の両方を考慮するように構成される。画像処理デバイス５は、子宮頸部チャネル７または子宮頸部縁部８などの画像内の組織２上に存在する解剖学的構造を検出し、それらをカメラ４によって供給される画像シーケンス内の画像の視点の適合および歪みの適合のための配向点または配向構造として使用するように構成することができる。しかしながら、非解剖学的構造もまた、検鏡の縁部などの配向点または構造として使用することができる。

【0035】

構造の認識には、特徴検出および特徴抽出のための２つの部分からなる方法を使用することができ、その方法は、例えば、古典的なセグメンテーションならびにピクセル、エッジ、領域、クラスタ、テクスチャ、モデルまたは形状に基づく物体認識に基づく。

【0036】

同様に、構造の認識は、セマンティックセグメンテーションなどの機械学習の方法によって、ならびに異なる方法の組み合わせによって行うことができる。

【0037】

加えて、画像処理デバイス５は、診断中（すなわち、例えば、染色試験中）に視覚化された光インジケータ９（図２参照）またはそのグラフィック表現１０を検出し、必要に応じてそれらを画像表示デバイス６に表示するように構成される（この目的のために図２を参照）。例えば、そのようなインジケータ９は、染色試験中に作成された、残りの組織２から色によって区別可能な領域とすることができる。例えば、グラフィック表現１０は、エッジ検出ルーチンまたは同様のルーチンによって作成されたインジケータ９のエッジとすることができ、エッジは、ポリラインによって画像表示デバイス６の画像内に表すことができる。

【0038】

診断プロセスは、図３に概略的に示されている。検査の開始時に取り込まれた画像から、基準画像Ｏが得られる。そこでは、検査された組織の修正された基準画像Ｏ’を取得するために、その後に取り込まれた画像のインジケータ９またはグラフィック表現１０が変換ブロック１１によって挿入される。

【0039】

変換ブロック１１は、画像処理デバイス５の一部であり、カメラ４によって供給される画像シーケンス内に含まれるインジケータ９を正しい位置に転写するように機能する。図４は、この目的のための画像シーケンスＦを示し、画像シーケンスＦは、実施形態に応じて、数枚の個々の画像、または数百もしくは数千枚の画像を含むことができる。

【0040】

第１の画像において、または第１の画像から作成された初期画像Ｂ０および後続の画像Ｂ１から、変換Ｔ１０が決定される。画像Ｂ０に対して、画像Ｂ１は、組織２とカメラ４との間の相対運動に起因して変位する可能性があり、または傾斜によって歪む可能性がある。加えて、画像Ｂ１は、組織２の筋肉運動に起因して生じた歪みを含む可能性がある。ここで、画像処理デバイス５は、特に配向点として機能する構造の位置から、画像の変位および画像の歪みを決定する。例えば、構造は、組織２の縁部８またはチャネル７または組織２の別の特徴点とすることができる。そこから変換Ｔ１０が生じる。ここで、染色試験中に組織２の色変動が発生した場合、それらは変換Ｔ１０によって正しい位置で基準画像Ｏ’に転写される。同様に、Ｔ２０からＴ８０ならびに各追加画像に対する変換とともに処理が継続される。

【0041】

解剖学的構造または光学的構造の追跡は、位相相関および周波数範囲、オプティカルフローおよびブロックマッチングに基づく方法などの画素ベースの方法によって、または統計的方法およびフィルタベースの方法などの特徴ベースの方法によって実現することができる。加えて、追跡は、物体追跡または機械学習と古典追跡との組み合わせなどの機械学習の方法に基づくことができる。しかし、「機械学習」という用語は、データ分析の分野における他の技術に加えて、人工ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、敵対的生成ネットワーク（ＧＡＮ）、ベイズ回帰、単純ベイズ分類器、最近傍分類、サポートベクターマシン（ＳＶＭ）を含むことができるが、それらに限定されない。

【0042】

染色試験の終了後、基準画像Ｏ’は、組織とカメラ４との間の相対運動または組織２の歪みに関係なく、正しい位置にあるインジケータ９および／またはグラフィック表現１０を含む。

【0043】

図５から図７は、染色試験中に作成された個々の画像を示しており、これらの画像は、それぞれ正しい位置で基準画像Ｏ’に転写される。図５では、図６および図７に示すように染色試験のさらなる進行中により明確になっていく、出現するインジケータ９が明らかである。それぞれの画像の視点およびその歪みに関して連続的に実行される基準画像Ｏへの変換の結果、染色試験中の位置変化はいかなる役割も果たさない。

【0044】

好ましくは、上述の視点の適合は、組織検査中だけでなく、組織処置中にも視覚化デバイス１によって行うことができる。例えば、検査中に、インジケータ９またはそのグラフィック表現１０によって表示される、処置を必要とする少なくとも１つの組織領域が存在すると決定された場合、処置者は、成功した治療を達成するために、組織２に化学的または物理的に影響を与えることができる。特に、処置者は、それにより、組織２上に目に見える痕跡を残さない影響を行うことができる。これにより、視覚化デバイス１は、処置を、インジケータ９または表現１０によって制限された処置を必要とする領域に制限し、そこで今後十分な処置を引き起こすことに寄与することができる。

【0045】

処置のために、器具１２が処置者に提供され、それによって組織２を局所的に処置しなければならない。例えば、器具１２は、レーザ、プラズマ器具、特に低温プラズマ器具、物質ジェットを放出する器具などとすることができる。

【0046】

図２に示す例では、器具１２は低温プラズマのジェット１３を生成する。器具１２は、好ましくは手動で案内される。低温プラズマ１３は、点１４に衝突し、したがって、処置者によって設定された速度で、処置者によって選択された組織２上の経路に沿って移動する。

【0047】

処置の種類および器具とは無関係に、処置を監視するためのカメラ１５を設けることができ、カメラは画像処理デバイス５に接続される。カメラ１５は、染色試験中に使用されたカメラ４と同じカメラとすることができる。しかしながら、図１による検査中および図２による処置中に異なるカメラ４、１５を使用することも可能である。特に、カメラ１５は、処置者の頭部支持カメラまたは肩支持カメラとすることができる。

【0048】

画像処理デバイス５は、処置中にカメラ１５によって供給された画像シーケンスおよび画像に表示された器具１２の位置から点１４を再構成するか、または－プラズマが十分に点灯した場合、点１４を直接決定し、それを基準画像に挿入するように構成することができる。このようにして、基準画像Ｏ’および組織２上の点１４の経路の監視から生じる処置のトレース１５を画像表示デバイス６上に表示することができる。

【0049】

これにより、画像表示デバイス６を患者の近くに配置することができ、その結果、処置者は時々モニタ画像を見ることができ、そこで自らの処置を制御することができる。しかしながら、画像表現のために、インジケータ９（またはそのグラフィック表現１０）およびトレース１５はまた、別の方法で、例えばＶＲ眼鏡での表現によって処置者の視野内にもたらすこともでき、ＶＲ眼鏡での表現では、インジケータ９（またはそのグラフィック表現１０）ならびに処置のトレース１５は、処置者によって知覚される実際の画像内に正しい位置で送られる。

【0050】

例えば、カメラ１５は、別個の位置決定なしにＶＲグラスに接続されたカメラとすることができる。画像処理デバイス５は、カメラによって取り込まれた画像Ｂ１、Ｂ２、Ｂ３等と基準画像Ｏ’とを比較して、そこから変換Ｔ０１を決定する。この変換により、検査中に検出されたインジケータ９（またはそのグラフィック表現１０）は、基準画像Ｏ’から第１の画像Ｂ１に転写される。

【0051】

画像Ｂ１において既に処置が行われている場合、処置の最初の点１４の位置を変換Ｔ０１によって基準画像Ｏ’に転写して戻すことができる。同じことを画像シーケンスの追加の画像Ｂ２、Ｂ３などに当てはめ、その結果、点１４の基準画像Ｏ’への再転写によって、処置トレース１５がそこに作成される。

【0052】

これにより、変換Ｔ０１、Ｔ０２、Ｔ０３などは視点および歪みの補正を達成し、その結果、すべての点１４、したがってトレース１５は歪みなく正しい位置で基準画像Ｏ’に転写される。しかしながら、順方向変換Ｔ０１、Ｔ０２、Ｔ０３などにより、基準画像Ｏ’は、処置者の頭部の動きとは無関係に、そして処置者のライブ画像内で静止しているという意味でカメラの動きとは無関係にＶＲ眼鏡内に、または図２に示すように、モニタまたは別の画像表示デバイス６上に表示される。

【0053】

図９に示す別の実施形態では、初期画像Ｏ’が、より最新の基準画像Ｏ^ｎによって時々置き換えられ、後続の変換Ｔ０１、Ｔ０２、．．．は、この基準画像Ｏ^ｎに戻って参照されるようになされ得る。逆変換ＲＴ１、ＲＴ２、．．．による新しい基準画像Ｏ^ｎ＋１による現在の基準画像Ｏ^ｎの置換は、ユーザの手動入力によって、または非可変時間間隔に従って自動的に行うことができる。同様に、基準画像Ｏ’またはＯ^ｎと現在画像Ｂｎとの適合性が決定され、規定の適合性に達しない場合に基準画像Ｏ^ｎの更新が行われることが可能である。同様に、基準画像Ｏ^ｎの必要な更新に対する特性として、逆変換ＲＴｎによって規定される画像の変動の度合いを監視することも可能である。画像変動の程度が所定の程度を超える場合にのみ、基準画像Ｏ^ｎが更新されるようになされ得る。

【0054】

本発明による視覚化デバイス１は、特に、生体組織２の処置中の診断および治療監視を行うように機能する。視覚化デバイスは、カメラ４と、これに接続された画像処理デバイス５とを備える。画像処理デバイスは、カメラ４によって作成された画像内に存在する組織２上の基準構造７、８を検出するように構成される。加えて、例えば染色試験において、検査によって作成された光インジケータ９を検出および追跡するように構成される。光インジケータは、染色された領域とすることができる。構造７、８の検出および追跡により、画像処理デバイス５は、視点の変化を決定し、それぞれの変換規則を作成する。これらにより、画像処理デバイスは、カメラ４、患者の位置変化に関係なく、または組織の歪みに関係なく、インジケータ９、表現１０、および処置点１４を基準画像Ｏ、Ｏ’、Ｏ^ｎの正しい位置に挿入する。処置を必要とする組織を特徴付ける光インジケータは、このようにして正しい位置で検出され、実際には患者の動きまたは処置者もしくはカメラの動きから独立している。

【0055】

同様に、画像処理デバイス５は、組織２のその後の処置中に処置のトレース１５を検出し、そのトレース１５を基準画像Ｏ、Ｏ’、Ｏ^ｎに取り込むことができる。これにより、画像処理デバイス５は、例えばカメラの位置変化によって引き起こされる画像歪みを均等化するという点で、配向点として機能する基準構造７、８に基づいて視点の適合を行う。画像処理デバイスは、診断中に、構造７、８の位置に基づいてインジケータ９および／または表現１０を基準画像Ｏ、Ｏ’、Ｏ^ｎに転写する。処置中、画像処理デバイスは、構造７、８の位置に基づいてインジケータ９および／または表現１０をライブ画像内に転写する。したがって、本発明による視覚化デバイス１は、診断または処置中にカメラ４、１５の位置検出を必要とせずに、安全で快適な処置を可能にする。

【符号の説明】

【0056】

１ 視覚化デバイス
２ 組織（例えば子宮頸部）
３ 検鏡
４ カメラ
５ 画像処理デバイス
６ 画像表示デバイス
７ 子宮頸部チャネル
８ 子宮頸部縁
９ インジケータ
１ インジケータ９のグラフィック表現
Ｆ 画像シーケンス
Ｂ０－Ｂｎ 画像シーケンスＦまたはビデオの画像
Ｏ 元画像
Ｏ’ 修正された元画像／基準画像
Ｏ^ｎ ｎ回目の実現後の基準画像
Ｔ１０－Ｔｎ０ 実際の画像の詳細を基準画像Ｏ、Ｏ’またはＯ^ｎに転写するための変換（検査中）
Ｔ０１－Ｔ０ｎ 基準画像Ｏ、Ｏ’またはＯ^ｎの詳細を実際の画像に転写するための変換（処置中）
ＲＴ１－ＲＴｎ 実際の画像の詳細を基準画像Ｏ、Ｏ’またはＯ^ｎに転写するための変換（処置中）
１１ 変換ブロック
１２ 器具
１３ 低温プラズマ
１４ プラズマ１３が組織２に衝突する点
１５ トレース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】