特開 2024-105192 処理方法、腹腔鏡システム、および不揮発性記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024105192

(43)【公開日】2024-08-06

(54)【発明の名称】処理方法、腹腔鏡システム、および不揮発性記憶媒体

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240730BHJP

   G06T 7/00 20170101ALI20240730BHJP

   G16H 30/00 20180101ALI20240730BHJP

   A61B 34/10 20160101ALI20240730BHJP

【ＦＩ】

A61B34/20

G06T7/00 614

G16H30/00

A61B34/10

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2024003443

(22)【出願日】2024-01-12

(31)【優先権主張番号】63/440,939

(32)【優先日】2023-01-25

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】516236908

【氏名又は名称】オリンパス・ヴィンター・ウント・イベ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＯＬＹＭＰＵＳ ＷＩＮＴＥＲ ＆ ＩＢＥ ＧｍｂＨ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】サシャ ヤスコラ

【テーマコード（参考）】

5L096

5L099

【Ｆターム（参考）】

5L096BA06

5L096BA13

5L096CA02

5L096DA01

5L096FA02

5L096FA06

5L096FA69

5L096HA11

5L096KA04

5L096KA15

5L099AA26

(57)【要約】

【課題】観察に適した画像を生成すること。
【解決手段】腹腔鏡システムは、ビデオ腹腔鏡と、ビデオ腹腔鏡を制御するカメラコントローラと、ビデオ腹腔鏡から腹腔鏡画像をキャプチャするフレームグラバを有するコンピュータと、コンピュータに接続されたスクリーンとを備える。コンピュータは、対象物の視認性に関して腹腔鏡画像を分析し、腹腔鏡画像内の対象物の位置に対する対象物の事前生成された３Ｄモデルの配置を計算し、３Ｄモデルの視覚的表現を生成し、３Ｄモデルの視覚的表現および３Ｄモデルの位置における腹腔鏡画像の色情報および輝度情報のうちの少なくとも一方を比較し、その差が所定の閾値を下回る領域における比較の結果に基づいて３Ｄモデルの視覚的表現を調整し、腹腔鏡画像および３Ｄモデルの調整された視覚的表現を使用して合成画像を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

ビデオ腹腔鏡を使用して腹腔鏡処置中に撮影された腹腔鏡画像を処理する処理方法であって、
対象物の視認性に関して前記腹腔鏡画像を分析するステップと、
前記腹腔鏡画像内の前記対象物の位置に対する前記対象物の事前生成された３Ｄモデルの配置を計算するステップと、
前記３Ｄモデルの視覚的表現を生成するステップと、
前記３Ｄモデルの前記視覚的表現および前記３Ｄモデルの位置における前記腹腔鏡画像の色情報および輝度情報のうちの少なくとも一方を比較するステップと、
比較した差が所定の閾値を下回る領域における前記比較の結果に基づいて前記３Ｄモデルの前記視覚的表現を調整するステップと、
前記腹腔鏡画像および前記３Ｄモデルの調整された前記視覚的表現を使用して合成画像を生成するステップとを含む、処理方法。

【請求項2】

前記合成画像をスクリーン上に表示するステップをさらに含む、請求項１に記載の処理方法。

【請求項3】

前記腹腔鏡画像をリアルタイムで処理するステップをさらに含む、請求項１に記載の処理方法。

【請求項4】

前記対象物が、１つまたは複数の臓器および有機構造のうちの少なくとも１つである、請求項１に記載の処理方法。

【請求項5】

前記３Ｄモデルの前記比較するステップおよび前記調整するステップの少なくとも一方が、前記腹腔鏡画像の画素および複数画素から構成されるセグメントの少なくとも一方に対して行われる、請求項１に記載の処理方法。

【請求項6】

前記３Ｄモデルの前記視覚的表現の前記調整するステップにおけるセグメントと、前記比較するステップにおけるセグメントは異なる、請求項５に記載の処理方法。

【請求項7】

前記３Ｄモデルの前記視覚的表現の前記調整するステップにおける前記セグメントが、円形もしくは楕円形であり、前記調整するステップにおける前記セグメントが、前記比較するステップにおける前記セグメントを完全に包含することを含む、請求項６に記載の処理方法。

【請求項8】

前記腹腔鏡画像の輝度を低減すること、および前記３Ｄモデルの前記視覚的表現の輝度を高めることの少なくとも一方を含む、請求項１に記載の処理方法。

【請求項9】

前記腹腔鏡画像内の外科用器具を検出するステップと、
前記外科用器具を不明瞭にしないように前記３Ｄモデルの前記視覚的表現を調整するステップとをさらに含む、請求項１に記載の処理方法。

【請求項10】

前記腹腔鏡画像内の前記外科用器具を検出するステップでは、前記対象物の認識およびエッジ検出のうちの少なくとも一方によって前記外科用器具を検出する、請求項９に記載の処理方法。

【請求項11】

前記対象物の前記３Ｄモデルの内側領域から細部を除外するステップと、前記３Ｄモデルの外側輪郭のみをレンダリングするステップと、前記３Ｄモデルの前記外側輪郭を含む前記３Ｄモデルの所定のエッジをレンダリングするステップのうちの少なくとも１つを含む、請求項１に記載の処理方法。

【請求項12】

前記少なくとも１つの前記３Ｄモデルの前記外側輪郭のみをレンダリングするステップまたは前記３Ｄモデルの前記所定のエッジをレンダリングするステップでは、前記３Ｄモデルの前記外側輪郭を２つの対照的な色もしくは輝度で輪郭付ける、請求項１１に記載の処理方法。

【請求項13】

ビデオ腹腔鏡を使用して腹腔鏡処置中に撮影された腹腔鏡画像を処理するための腹腔鏡システムであって、
前記ビデオ腹腔鏡と、
前記ビデオ腹腔鏡を制御するように構成されたカメラコントローラと、
前記ビデオ腹腔鏡から前記腹腔鏡画像をキャプチャするように構成されたフレームグラバを有するコンピュータと、
前記コンピュータに接続されたスクリーンと、を備え、
ここで、前記コンピュータは、
対象物の視認性に関して前記腹腔鏡画像を分析し、
前記腹腔鏡画像内の前記対象物の位置に対する前記対象物の事前生成された３Ｄモデルの配置を計算し、
前記３Ｄモデルの視覚的表現を生成し、
前記３Ｄモデルの前記視覚的表現および前記３Ｄモデルの位置における前記腹腔鏡画像の色情報および輝度情報のうちの少なくとも一方を比較するステップと、
比較した差が所定の閾値を下回る領域における前記比較の結果に基づいて前記３Ｄモデルの前記視覚的表現を調整し、
前記腹腔鏡画像および前記３Ｄモデルの調整された前記視覚的表現を使用して合成画像を生成する
ように構成される、腹腔鏡システム。

【請求項14】

前記コンピュータが、前記腹腔鏡画像の画素および複数画素から構成されるセグメントの少なくとも一方に対して、前記３Ｄモデルの前記視覚的表現の前記比較するステップおよび前記調整するステップの少なくとも一方を行うように構成される、請求項１３に記載の腹腔鏡システム。

【請求項15】

前記コンピュータが、前記腹腔鏡画像の輝度を低減すること、および前記３Ｄモデルの前記視覚的表現の輝度を高めることのうちの少なくとも一方を行うように構成されている、請求項１３に記載の腹腔鏡システム。

【請求項16】

前記コンピュータが、前記腹腔鏡画像内の外科用器具を検出し、前記外科用器具を不明瞭にしないように前記３Ｄモデルの前記視覚的表現を調整するように構成される、請求項１３に記載の腹腔鏡システム。

【請求項17】

前記コンピュータは、前記対象物の認識およびエッジ検出のうちの少なくとも一方によって前記外科用器具の前記検出を行うように構成される、請求項１６に記載の腹腔鏡システム。

【請求項18】

前記コンピュータが、前記対象物の前記３Ｄモデルの内側領域から細部を除外するように構成される、請求項１３に記載の腹腔鏡システム。

【請求項19】

前記コンピュータが、前記３Ｄモデルの外側輪郭、および前記３Ｄモデルの前記外側輪郭を含む前記３Ｄモデルの所定のエッジのうちの少なくとも１つをレンダリングするように構成される、請求項１３に記載の腹腔鏡システム。

【請求項20】

前記コンピュータが、前記３Ｄモデルの外側輪郭を２つ以上の対照的な色もしくは輝度で輪郭付けるように構成される、請求項１３に記載の腹腔鏡システム。

【請求項21】

請求項１に記載の処理方法をコンピュータに実行させるように構成された前記コンピュータ用の命令を含む、不揮発性記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ビデオ腹腔鏡を使用して腹腔鏡処置中に撮影された腹腔鏡画像を処理するための処理方法および腹腔鏡システム、ならびにコンピュータ用の命令を含む不揮発性記憶媒体に関する。

【背景技術】

【0002】

ビデオ腹腔鏡を使用する腹腔鏡処置では、操作者は、ビデオ腹腔鏡によって生成された画像を、一次ＯＰモニタであってもよいスクリーン上で見る。いくつかの場合、操作者に提示される腹腔鏡画像は、手術されている臓器または他の有機構造の３Ｄモデルのレンダリングで腹腔鏡画像をオーバーレイすることによって強調される。このような３Ｄモデルは、処置中の配向および移動に役立ち、患者の事前の放射線検査に基づいてあらかじめ生成される。

【0003】

３Ｄモデルのこのようなオーバーレイは、その位置および配向に応じて、ライブ手術画像の部分を覆う。合成画像の２つの部分に示された構造の間の類似性が過度な場合、オーバーレイは、実際の腹腔鏡画像と区別するには困難な場合がある。

【0004】

透明もしくは半透明のオーバーレイの場合、臓器のオーバーレイされた３Ｄモデルは腹腔鏡画像と視覚的に混ざり合う。これは、細部の損失につながる可能性があり、または極端な場合には、背景のライブ手術画像と特定の細部のオーバーレイ表示との間の混同につながる可能性がある。

【0005】

オーバーレイの別の影響は、臓器の３Ｄモデルのオーバーレイ画像が腹腔鏡画像内の外科用器具の視野を遮る可能性があることである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許第１０１５４２３９号明細書

【特許文献2】米国特許第１０４６０４５７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、観察に適した画像を生成することができる処理方法および腹腔鏡システムを提供することである。

【課題を解決するための手段】

【0008】

このような目的は、ビデオ腹腔鏡を使用して、対象物の視認性に関して腹腔鏡画像を分析するステップと、腹腔鏡画像内の対象物の位置に対する対象物の事前生成された３Ｄモデルの配置を計算するステップと、３Ｄモデルの視覚的表現を生成するステップと、３Ｄモデルの視覚的表現および３Ｄモデルの位置における腹腔鏡画像の色情報および輝度情報のうちの少なくとも一方を比較するステップと、比較した差が所定の閾値を下回る領域における比較の結果に基づいて３Ｄモデルの視覚的表現を調整するステップと、腹腔鏡画像および３Ｄモデルの調整された視覚的表現を使用して合成画像を生成するステップとによって、腹腔鏡処置中に撮影された腹腔鏡画像を処理する処理方法によって解決することができる。

【0009】

合成画像は、スクリーン上に表示されてもよい。

【0010】

実施形態では、腹腔鏡画像はリアルタイムで処理される。

【0011】

３Ｄモデルが使用される対象物は、１つまたは複数の臓器および有機構造のうちの少なくとも１つであってもよい。

【0012】

本明細書に記載の処理方法では、対象物の３Ｄモデルは、腹腔鏡画像上のオーバーレイとしてレンダリングされるだけでなく、下にある画像に対してより大きなコントラストを有するように調整され、したがって、３Ｄモデルの視覚化と実際の腹腔鏡画像との間の混乱のリスクを低減することによって操作者をより良好に支援するという目標を達成する。これは、色もしくは輝度のコントラストが不十分な領域を識別し、それらの領域における３Ｄモデルの視覚化を調整することによって、特に色および／または輝度に関するコントラストを増加させることによって行われる。

【0013】

実施形態では、３Ｄモデルの視覚的表現の比較および調整の少なくとも一方は、腹腔鏡画像の画素レベルおよび複数画素のセグメントの少なくとも一方で行われる。画素レベルの比較および／または調整は、最も詳細な合成画像をもたらすが、複数画素のセグメントの使用は、計算に時間がかからず、とりわけ、強調された腹腔鏡画像の繰り返し率を高めるために使用されてもよい。

【0014】

比較におけるセグメント化は、３Ｄモデルの視覚的表現の調整におけるセグメント化とは異なっていてもよい。例えば、３Ｄモデルの視覚的表現の調整におけるセグメントは、円形もしくは楕円形であってもよく、比較に使用されるセグメントを完全に包含する。この後者の特徴は、３Ｄモデルのレンダリングをより自然にし、任意のラスタ効果を回避するのに役立つ。

【0015】

実施形態では、腹腔鏡画像の輝度が低減されてもよく、および／または３Ｄモデルの視覚的表現の輝度が高められてもよい。腹腔鏡画像の輝度を低減させ、かつ、３Ｄモデルの視覚的表現の輝度を高めた場合には、３Ｄモデルの視覚化と腹腔鏡画像との間のコントラストをさらに増加させる。

【0016】

さらなる実施形態は、腹腔鏡画像内の外科用器具を検出することと、外科用器具を不明瞭にしないように３Ｄモデルの視覚的表現を調整することとをさらに含む。これは、外科用器具を含む腹腔鏡画像の領域において３Ｄモデルの視覚化をより透明にすることによって、または外科用器具によって不明瞭になる臓器の部分を対象物の３Ｄモデルのレンダリングから切り出すことによって行われてもよい。これにより、外科用器具は、遠近法で対象物の３Ｄモデルの前にあるように見える。外科用器具の検出は、例えば、対象物の認識およびエッジ検出のうちの少なくとも一方によって行われてもよい。

【0017】

さらなる実施形態では、例えば、さらなる表示モードで、対象物の３Ｄモデルの内側領域からの細部が除外されてもよく、３Ｄモデルの外側輪郭のみがレンダリングされてもよく、または３Ｄモデルの外側輪郭を含む３Ｄモデルの所定のエッジがレンダリングされてもよい。

【0018】

３Ｄモデルの外側輪郭は、２つの極めて対照的な色もしくは輝度で輪郭が描かれてもよい。これにより、明るい背景、暗い背景および中間調の背景に対して輪郭が等しく見えるようになる。色画像では、対比色は、補色、具体的には腹腔鏡画像の主な色との最大のコントラストを有する色を表すように選択されてもよい。

【0019】

本発明のさらなる態様は、ビデオ腹腔鏡を使用して腹腔鏡処置中に撮影された腹腔鏡画像を処理するための腹腔鏡システムにあり、当該腹腔鏡システムは、ビデオ腹腔鏡と、ビデオ腹腔鏡を制御するように構成されたカメラコントローラと、ビデオ腹腔鏡から腹腔鏡画像をキャプチャするように構成されたフレームグラバを有するコンピュータと、コンピュータに接続されたスクリーンとを備え、コンピュータは、対象物の視認性に関して腹腔鏡画像を分析し、腹腔鏡画像内の対象物の位置に対する対象物の事前生成された３Ｄモデルの配置を計算し、３Ｄモデルの視覚的表現を生成し、３Ｄモデルの視覚的表現および３Ｄモデルの位置における腹腔鏡画像の色情報および輝度情報のうちの少なくとも一方を比較するステップと、比較した差が所定の閾値を下回る領域における比較の結果に基づいて３Ｄモデルの表現を調整し、腹腔鏡画像および３Ｄモデルの調整された視覚的表現を使用して合成画像を生成するように構成される。

【0020】

それによって、腹腔鏡システムは、前述の処理方法と同じ特徴、特性および解決策を具現化する。

【0021】

実施形態では、コンピュータは、３Ｄモデルの視覚的表現の比較および調整の少なくとも一方を、腹腔鏡画像の画素レベルおよび複数画素のセグメントの少なくとも一方で行うように構成される。

【0022】

一実施形態では、コンピュータは、腹腔鏡画像の輝度を低減すること、および３Ｄモデルの視覚的表現の輝度を高めることのうちの少なくとも一方を行うように構成される。

【0023】

一実施形態では、コンピュータは、腹腔鏡画像内の外科用器具を検出し、外科用器具を不明瞭にしないように３Ｄモデルの視覚的表現を調整するように構成される。

【0024】

一実施形態では、コンピュータは、対象物の認識およびエッジ検出のうちの少なくとも一方によって外科用器具の検出を行うように構成される。

【0025】

コンピュータは、対象物の３Ｄモデルの内側領域から細部を除外するように構成されてもよい。

【0026】

一実施形態では、コンピュータは、３Ｄモデルの外側輪郭、および３Ｄモデルの外側輪郭を含む３Ｄモデルの所定のエッジのうちの少なくとも１つをレンダリングするように構成される。

【0027】

別の実施形態では、コンピュータは、３Ｄモデルの外側輪郭を２つの極めて対照的な色もしくは輝度で輪郭付けてもよい。

【0028】

上述の実施形態および機能は、特にフレームグラバに画像処理機能が設けられている場合、それぞれの目的のためにコンピュータのフレームグラバの構成にあってもよい。

【0029】

本発明の別の態様は、コンピュータに上述の処理方法を実行させるように構成されたコンピュータ用の命令を含む不揮発性記憶媒体にある。このような命令は、上述の腹腔鏡システムのコンピュータもしくはそのフレームグラバにロードされてもよい。

【0030】

さらなる特徴は、特許請求の範囲および添付の図面と共に、実施形態の説明から明らかになるであろう。実施形態は、個々の特徴またはいくつかの特徴の組合せを満たすことができる。

【0031】

例示的な実施形態に基づいて、本発明の一般的な意図を制限することなく、以下に説明する実施形態では、本文でより詳細に説明されていない全ての詳細の開示に関して図面を明示的に参照する。

【図面の簡単な説明】

【0032】

【図1】既知の方法に従って生成された腹腔鏡処置の合成画像を示す図である。

【図2】第１の実施形態に従って生成された腹腔鏡処置の合成画像を示す図である。

【図3】腹腔鏡画像を処理するための腹腔鏡システムの一実施形態の概略図である。

【図4】第２の実施形態に従って生成された腹腔鏡処置の合成画像を示す図である。

【図5】第３の実施形態に従って生成された腹腔鏡処置の合成画像を示す図である。

【図6】本発明で使用するための機械学習モデルの概略図である。

【発明を実施するための形態】

【0033】

図面において、同一もしくは類似の種類の要素またはそれぞれ対応する部分には、項目を再導入する必要がないように同じ参照番号が付されている。

【0034】

図１では、手術室の中央手術モニタに示すことができるように、既知の方法に従って生成された腹腔鏡処置の合成画像６が示されている。有機構造の３Ｄモデル４がレンダリングされ、ライブ腹腔鏡画像２上にオーバーレイされ、それによって手術範囲の重要な有機構造が強調表示される。３Ｄモデル４は、例えば、患者の事前の放射線検査に基づいて生成される。

【0035】

３Ｄモデル４のレンダリングが行われた方法の欠点に起因する２つの領域が図１の合成画像６内の正方形の枠によって強調表示されている。数字「１」を有する領域は、背景腹腔鏡画像２のうち、有機構造の３Ｄモデル４のレンダリングと非常に類似した色値および／または輝度値を有する部分を含み、３Ｄモデル４と実際の腹腔鏡画像２とを区別することを困難にする。数字「２」を有する他の領域は、３Ｄモデル４のレンダリングが、手術領域内の有機構造を操作するために現在使用されている外科用器具８の視界を遮ることを示している。この類の影響はいずれも、外科医を刺激する可能性がある。

【0036】

図２は、第１の実施形態に従って生成された腹腔鏡処置の合成画像６を示している。この第１の標準的な実施形態では、腹腔鏡画像２と臓器および他の有機構造のオーバーレイ３Ｄモデル４との合成画像６が示されている。３Ｄモデル４では、異なる有機構造が異なる色で表現され、互いの区別が強調される。

【0037】

３Ｄモデル４のレンダリングは、腹腔鏡処置に先立つ放射線検査で得られた臓器および有機構造の放射線データに基づく。３Ｄモデル４のレンダリングは本発明の方法に従って生成されており、３Ｄモデル４のレンダリングは画素単位で腹腔鏡画像２と比較され、色および／または輝度の視覚的表現は、色および／または輝度の差が元々小さすぎる領域においてより明確に識別するために調整された。この強調により、外科医は、合成画像６のどの部分がライブ腹腔鏡画像２を表し、どの部分が３Ｄモデル４を表すかを明確に把握する。

【0038】

なお、３Ｄモデル４と腹腔鏡画像２との比較は、画素単位に限らず、複数画素から構成されるセグメント単位で行われても構わない。また、３Ｄモデル４の視覚的表現の調整も同様である。ここで、当該調整におけるセグメントは、当該比較におけるセグメントとは異なっていても構わない。そして、当該調整におけるセグメントが円形もしくは楕円形であり、当該比較におけるセグメントを完全に包含しても構わない。

【0039】

図３は、腹腔鏡画像２を処理するための腹腔鏡システム１０の一実施形態の概略図を示している。腹腔鏡システム１０は、腹腔鏡画像２のソース、すなわちビデオ腹腔鏡１１を備え、ビデオ腹腔鏡１１の動作を制御し、ビデオ腹腔鏡１１から腹腔鏡画像２の画像データを受信するように設計および構成されたカメラコントローラ１２に接続される。カメラコントローラ１２はまた、コンピュータ１４に接続されたソフトウェア内で、または挿入されたハードウェアカードとして実装されてもよい、フレームグラバ１６を有するコンピュータ１４に接続される。フレームグラバ１６は、腹腔鏡画像２の個々のフレームを処理するように設計および構成される。腹腔鏡画像２の個々のフレームの処理は、場合によっては、フレームグラバ１６もしくはコンピュータ１４の内部で行われてもよい。

【0040】

コンピュータ１４、または場合によってはフレームグラバ１６は、そのメモリ内に、ビデオ腹腔鏡１１を用いて検査されている患者の臓器または有機構造の３Ｄモデル４を有し、３Ｄモデル４の位置および配向をライブ手術腹腔鏡画像２と一致させるように構成される。腹腔鏡画像２に対する３Ｄモデル４の位置および配向が確立されると、場合によっては、コンピュータ１４もしくはフレームグラバ１６上で実行されるソフトウェアは、腹腔鏡画像２を３Ｄモデル４のレンダリングと組み合わせて合成画像６を形成し、次いで、これがスクリーン１８上に表示される。

【0041】

図４は、本発明による方法の第２の実施形態に従って生成された腹腔鏡処置の合成画像６を示している。図２に関して説明した方法で行われる基本的なステップは同じままであるが、腹腔鏡画像２において外科用器具８が検出されている。外科医に完全で遮られない視界を与えるために、外科用器具８の近傍は、切欠き領域２０が画定され、３Ｄモデル４のレンダリングから除去され、したがって外科用器具８およびその周辺の視界を明確にする。３Ｄモデル４のレンダリングの残りの部分は、腹腔鏡画像２に表示される手術領域の配向および位置に関する視覚情報を外科医に提供する。

【0042】

図５は、第３の実施形態に従って生成された腹腔鏡処置の合成画像６を示している。この場合、有機構造の３Ｄモデル４は、単に輪郭として、この場合は高コントラスト輪郭２２としてリアルタイム腹腔鏡画像２にオーバーレイする。高コントラスト輪郭２２は異なる色の二重線の形態を有し、この二本の線は互いに直接隣接している。この場合、白色および黒色が可能な限り最も鮮明なコントラストを提供するので、線の一方は白色であり、他方は黒色である。このような高コントラスト輪郭２２は、低輝度の領域では白線が目立つが、高輝度の領域では黒線が目立つので、任意の背景構造上に見える。黒線および白線に加えて、またはこれらに代えて、色のコントラストが高い着色線が使用されてもよい。色はまた、典型的な腹腔鏡画像２の赤色背景に対して可能な限り最良の色コントラストを有するように選択されてもよい。

【0043】

図５に示す第３の実施形態の高コントラスト輪郭２２は、図２および図４に示すものに対する３Ｄモデル４の代替表現であってもよい。

【0044】

図２、図４および図５はまた、３Ｄモデル４のレンダリングの輝度を高めること、背景腹腔鏡画像２の輝度を減少させること、または３Ｄモデル４のレンダリングなどの２つの画像のうちの一方におけるコントラストおよび／または色コントラストを増加させることなど、３Ｄモデル４の表現と背景腹腔鏡画像２との間のコントラストを向上させるために使用することができるさらなる違いおよび変形を示している。

【0045】

図６は、ビデオ腹腔鏡１１によって入力特徴として提供される腹腔鏡画像２内の臓器、有機構造または手術道具などの対象物を認識するように構成された機械学習モデル３０の例示的な概略図を示す。様々な実施形態では、機械学習モデル３０は、患者に固有の３Ｄモデルデータが人工知能（以下、ＡＩと記載）モデル３４への入力機能として提供される入力インタフェース３２と、腹腔鏡画像２および３ＤモデルデータがＡＩモデル３４に適用されて、３Ｄモデル４内に表される臓器または有機構造、および場合によっては腹腔鏡画像２内で見ることができる外科用器具８の位置および配向を生成する推論動作を行うプロセッサとを含む。ＡＩモデル３４の出力に基づいて、３Ｄモデル４のレンダリングでオーバーレイされた腹腔鏡画像２の合成画像６を生成し、スクリーン１８上でユーザ、例えば臨床医に示すことができ、３Ｄモデル４は、腹腔鏡画像２内の外科用器具８を検出した際に精緻化されてもよい。

【0046】

いくつかの実施形態では、入力インタフェース３２は、機械学習モデル３０と入力特徴の少なくともいくつかを生成する１つまたは複数の医療機器との間の直接データリンクであってもよい。例えば、入力インタフェース３２は、治療および／または診断医療処置中に腹腔鏡画像２を機械学習モデル３０に直接送信してもよい。追加的または代替的に、入力インタフェース３２は、ユーザと機械学習モデル３０との間の対話を容易にする古典的なユーザインタフェースであってもよい。例えば、入力インタフェース３２は、ユーザが手動で腹腔鏡画像２を入力してもよいユーザインタフェースで構成してもよい。追加的または代替的に、入力インタフェース３２は、そこから１つまたは複数の腹腔鏡画像もしくは３Ｄモデルデータが入力特徴として抽出されてもよい電子患者記録へのアクセスを機械学習モデル３０に提供してもよい。これらの場合のいずれにおいても、入力インタフェース３２は、臓器、有機構造および／または外科用器具の存在、位置および配向を評価するために機械学習モデル３０が使用される時点またはその前に、特定の患者に関連付けられた入力特徴のうちの１つまたは複数を収集するように構成される。

【0047】

上述の入力特徴のうちの１つまたは複数に基づいて、プロセッサは、ＡＩモデル３４を使用して推論演算を行って、上述のシステム出力を生成する。例えば、入力インタフェース３２は、これらの入力特徴をＡＩモデル３４を介して出力層に伝搬するＡＩモデル３４の入力層に腹腔鏡特徴を送達してもよい。ＡＩモデル３４は、データの分析において発見されたパターンに基づいて推論することによって、明示的にプログラムされることなくタスクを実行する能力を腹腔鏡システム１０に提供することができる。ＡＩモデル３４は、既存のデータから学習し、新しいデータに関する予測を行ってもよいアルゴリズム（例えば、機械学習アルゴリズム）の研究および構築を探索する。このようなアルゴリズムは、出力または評価として表されるデータ駆動型の予測もしくは決定を行うために、例示的な訓練データからＡＩモデル３４を構築することによって動作する。

【0048】

機械学習（以下、ＭＬと記載）には、教師ありＭＬと教師なしＭＬの２つの一般的なモードがある。教師ありＭＬは、事前知識（例えば、入力を出力もしくは結果に相関させる例）を使用して、入力と出力との間の関係を学習する。教師ありＭＬの目的は、いくつかの訓練データが与えられると、訓練入力と出力との間の関係に最も近似する関数を学習することであり、その結果、ＭＬモデルは、対応する出力を生成するために入力が与えられた場合に同じ関係を実装することができる。教師なしＭＬは、分類もラベル付けもされていない情報を使用し、アルゴリズムが案内なしにその情報に作用することを可能にするＭＬアルゴリズムの訓練である。教師なしＭＬは、データ内の構造を自動的に識別できるため、探索的分析に有用である。

【0049】

教師ありＭＬの一般的なタスクは、分類問題および回帰問題である。分類問題は、カテゴリ化問題とも呼ばれ、項目をいくつかのカテゴリ値のうちの１つに分類すること（この対象物はリンゴかオレンジか？など）を目的とする。回帰アルゴリズムは、（例えば、何らかの入力値にスコアを提供することによって）いくつかの項目を定量化することを目的とする。一般的に使用される教師ありＭＬアルゴリズムのいくつかの例は、ロジスティック回帰（ＬＲ）、ナイーブベイズ、ランダムフォレスト（ＲＦ）、ニューラルネットワーク（ＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、行列因子分解、およびサポートベクターマシン（ＳＶＭ）である。

【0050】

教師なしＭＬのためのいくつかの一般的なタスクは、クラスタリング、表現学習、および密度推定を含む。一般的に使用される教師なしＭＬアルゴリズムのいくつかの例は、Ｋ平均クラスタリング、主成分分析、およびオートエンコーダである。

【0051】

別の種類のＭＬは、データを交換することなく、ローカルデータを保持する複数の非中央集権型デバイスにわたってアルゴリズムを訓練する（協調学習としても知られる）連合学習である。この手法は、全てのローカルデータセットが１つのサーバにアップロードされる従来の集中型機械学習技術、ならびにローカルデータサンプルが同一に分散されることを仮定することが多い古典的な非中央集権型手法とは対照的である。連合学習は、複数の当事者がデータを共有することなく共通の堅牢な機械学習モデルを構築することを可能にし、したがって、データプライバシー、データセキュリティ、データアクセス権、および異種データへのアクセスなどの重要な問題に対処することを可能にする。

【0052】

いくつかの例では、ＡＩモデル３４は、ＡＩモデル３４を実行するプロセッサによる推論動作の実行に先立って継続的または定期的に訓練されてもよい。次に、推論動作中に、ＡＩモデル３４に提供される患者固有の入力特徴は、入力層から、１つまたは複数の隠れ層を介して、最終的に腹腔鏡画像内で発見される構造の位置、配向および種類に対応する出力層に伝搬されてもよい。例えば、ＡＩモデル３４は、患者固有の３Ｄモデル４で表される特定の臓器または有機構造の種類、位置および配向、または腹腔鏡画像２内の外科用器具８の位置および、適用可能であれば、種類および／または配向を識別してもよい。

【0053】

推論動作の間および／または推論動作に続いて、このようにして見つけられた対象物の位置、種類および／または配向は、特に対応して配置されかつ配向された３Ｄモデル４をレンダリングすることによって、ユーザインタフェース（ＵＩ）を介してユーザに通信されてもよい。ＡＩモデル３４はまた、外科用器具８の存在下での合成画像６の３Ｄモデル４のレンダリングにおいて切欠き領域２０を画定するのに役立つ出力情報を有してもよい。

【0054】

本発明の実施形態と考えられるものが示されかつ説明されてきたが、当然のことながら、本発明の精神から逸脱することなく、形態または詳細の様々な修正および変更を容易に行うことができることが理解されよう。したがって、本発明は、説明されかつ図示された正確な形態に限定されるものではなく、添付の特許請求の範囲内に含まれてもよい全ての修正を包含するように構成されるべきであることが意図される。

【符号の説明】

【0055】

２ 腹腔鏡画像
４ ３Ｄモデル
６ 合成画像
８ 外科用器具
１０ 腹腔鏡システム
１１ ビデオ腹腔鏡
１２ カメラコントローラ
１４ コンピュータ
１６ フレームグラバ
１８ スクリーン
２０ 切欠き領域
２２ 高コントラスト輪郭
３０ 機械学習モデル
３２ 入力インタフェース
３４ ＡＩモデル
３６ 出力インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】