▶ ボストン サイエンティフィック サイムド，インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023126283
(43)【公開日】2023-09-07
(54)【発明の名称】濁度解析のためのシステム、装置及び方法
(51)【国際特許分類】
A61B 1/12 20060101AFI20230831BHJP
A61B 1/045 20060101ALI20230831BHJP
【ＦＩ】
A61B1/12 522
A61B1/045 618
A61B1/045 615
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023109724
(22)【出願日】2023-07-04
(62)【分割の表示】P 2022515015の分割
【原出願日】2020-08-27
(31)【優先権主張番号】62/904,882
(32)【優先日】2019-09-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】506192652
【氏名又は名称】ボストン サイエンティフィック サイムド，インコーポレイテッド
【氏名又は名称原語表記】ＢＯＳＴＯＮ ＳＣＩＥＮＴＩＦＩＣ ＳＣＩＭＥＤ，ＩＮＣ．
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100130937
【弁理士】
【氏名又は名称】山本 泰史
(74)【代理人】
【識別番号】100144451
【弁理士】
【氏名又は名称】鈴木 博子
(72)【発明者】
【氏名】ラウニヤール ニラジ プラサド
(72)【発明者】
【氏名】ライカー ロバート ジェイ
(72)【発明者】
【氏名】ハラー ティモシー ポール
(57)【要約】
【課題】イメージング環境に曇り又は濁りがあると、イメージャによって提供される生体構造のビューが制限される。
【解決手段】内視鏡システムが、生体内の標的部位の画像を取り込むように構成された内視鏡イメージャと、ある期間にわたって取り込まれた複数の画像フレームの各画像フレームの１又は２以上の画像メトリクスを決定し、期間にわたる画像メトリクスの変化を解析し、解析された画像メトリクスの変化に基づいて、標的部位の濁度メトリックを決定するように構成されたプロセッサとを含む。
【選択図】図５
【解決手段】内視鏡システムが、生体内の標的部位の画像を取り込むように構成された内視鏡イメージャと、ある期間にわたって取り込まれた複数の画像フレームの各画像フレームの１又は２以上の画像メトリクスを決定し、期間にわたる画像メトリクスの変化を解析し、解析された画像メトリクスの変化に基づいて、標的部位の濁度メトリックを決定するように構成されたプロセッサとを含む。
【選択図】図５
【特許請求の範囲】
【請求項1】
内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサと、を備え、
前記プロセッサは、
ある期間にわたって取り込まれた複数の画像フレームの各画像フレームの１又は２以上の画像メトリクスを決定し、
前記期間にわたる前記画像メトリクスの変化を解析し、
解析された前記画像メトリクスの変化に基づいて、前記標的部位の濁度メトリックを決定する、
ように構成された内視鏡システム。
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
プロセッサと、を備え、
前記プロセッサは、
ある期間にわたって取り込まれた複数の画像フレームの各画像フレームの１又は２以上の画像メトリクスを決定し、
前記期間にわたる前記画像メトリクスの変化を解析し、
解析された前記画像メトリクスの変化に基づいて、前記標的部位の濁度メトリックを決定する、
ように構成された内視鏡システム。
【請求項2】
前記画像メトリクスは、赤色エントロピーメトリック及びシアンエントロピーメトリックを含む画像エントロピーメトリクスである、請求項１に記載の内視鏡システム。
【請求項3】
前記プロセッサは、
現在の画像フレーム内の血液内容物を推定し、
前記現在の画像フレームを、前記血液内容物の視覚的効果を軽減して前記現在の画像フレームの残り部分を強化するように変更する、ようにさらに構成される、請求項２に記載の内視鏡システム。
現在の画像フレーム内の血液内容物を推定し、
前記現在の画像フレームを、前記血液内容物の視覚的効果を軽減して前記現在の画像フレームの残り部分を強化するように変更する、ようにさらに構成される、請求項２に記載の内視鏡システム。
【請求項4】
前記プロセッサは、現在の画像フレーム内の粒子を識別し分類するようにさらに構成される、請求項１～３のいずれか１項に記載の内視鏡システム。
【請求項5】
前記現在の画像フレームに前記濁度メトリックを注釈付けするように構成されたディスプレイをさらに備える、請求項４に記載の内視鏡システム。
【請求項6】
前記ディスプレイは、
識別された前記粒子を括弧で囲み、
前記現在の画像フレームに粒子分類を注釈付けする、
ようにさらに構成される、請求項５に記載の内視鏡システム。
識別された前記粒子を括弧で囲み、
前記現在の画像フレームに粒子分類を注釈付けする、
ようにさらに構成される、請求項５に記載の内視鏡システム。
【請求項7】
前記識別された粒子は腎臓結石であり、前記分類は前記腎臓結石のサイズに関する、請求項６に記載の内視鏡システム。
【請求項8】
内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
前記内視鏡イメージャの視野を明確にするように前記標的部位に洗浄流体を供給する流体送出機構と、
プロセッサと、を備え、
前記プロセッサは、
前記内視鏡イメージャからの少なくとも１つの画像の濁度メトリックを決定し、
前記濁度メトリックに基づいて前記洗浄流体の流体送出調整を決定し、
決定された流体送出調整に基づいて、前記流体送出機構によって供給される流体送出を調整するように前記流体送出機構を制御する、
ように構成された内視鏡システム。
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
前記内視鏡イメージャの視野を明確にするように前記標的部位に洗浄流体を供給する流体送出機構と、
プロセッサと、を備え、
前記プロセッサは、
前記内視鏡イメージャからの少なくとも１つの画像の濁度メトリックを決定し、
前記濁度メトリックに基づいて前記洗浄流体の流体送出調整を決定し、
決定された流体送出調整に基づいて、前記流体送出機構によって供給される流体送出を調整するように前記流体送出機構を制御する、
ように構成された内視鏡システム。
【請求項9】
前記プロセッサは、介入器具を識別する特徴検出に基づいて介入活動のタイプを決定するようにさらに構成される、請求項８に記載の内視鏡システム。
【請求項10】
前記プロセッサは、
前記介入活動のフェーズを決定し、
前記介入活動のフェーズに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項９に記載の内視鏡システム。
前記介入活動のフェーズを決定し、
前記介入活動のフェーズに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項９に記載の内視鏡システム。
【請求項11】
前記プロセッサは、
現在の画像フレーム内の粒子を識別し分類し、
粒子分類に基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項８～１０のいずれか１項に記載の内視鏡システム。
現在の画像フレーム内の粒子を識別し分類し、
粒子分類に基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項８～１０のいずれか１項に記載の内視鏡システム。
【請求項12】
前記粒子は腎臓結石であり、前記粒子分類は前記腎臓結石のサイズに関する、請求項１１に記載の内視鏡システム。
【請求項13】
前記プロセッサは、
前記少なくとも１つの画像の血液メトリックを決定し、
前記血液メトリックに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項８～１１のいずれか１項に記載の内視鏡システム。
前記少なくとも１つの画像の血液メトリックを決定し、
前記血液メトリックに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項８～１１のいずれか１項に記載の内視鏡システム。
【請求項14】
前記プロセッサは、前記少なくとも１つの画像の画像エントロピーメトリクスを決定するようにさらに構成される、請求項１３に記載の内視鏡システム。
【請求項15】
前記濁度メトリック及び前記血液メトリックは、前記画像エントロピーメトリクスに部分的に基づいて決定される、請求項１４に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
〔優先権の主張〕
本開示は、２０１９年９月２４日に出願された米国仮特許出願第６２／９０４，８８２号の優先権を主張するものであり、この文献の開示は引用により本明細書に組み入れられる。
本開示は、２０１９年９月２４日に出願された米国仮特許出願第６２／９０４，８８２号の優先権を主張するものであり、この文献の開示は引用により本明細書に組み入れられる。
【0002】
本開示は、内視鏡的処置、とりわけ内視鏡イメージング環境の濁度解析を実行するシステム、装置及び方法に関する。
【背景技術】
【0003】
様々な医学的介入中には内視鏡イメージャが使用されることがある。イメージング環境に曇り又は濁りがあると、イメージャによって提供される生体構造のビューが制限される。濁りは、血液、尿又はその他の粒子によって生じることがある。いくつかの内視鏡的処置（例えば、尿管鏡的処置）では、濁った画像環境を、撮像空洞内で流体を循環させる流体管理システムによって管理することができる。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示は、生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、プロセッサとを含む内視鏡システムに関する。プロセッサは、ある期間にわたって取り込まれた複数の画像フレームの各画像フレームについて１又は２以上の画像メトリクスを決定し、その期間にわたる画像メトリクスの変化を解析し、解析された画像メトリクスの変化に基づいて、標的部位の濁度メトリックを決定するように構成される。
【0005】
ある実施形態では、画像メトリクスが、赤色エントロピーメトリック及びシアンエントロピーメトリックを含む画像エントロピーメトリクスである。
【0006】
ある実施形態では、プロセッサが、現在の画像フレーム内の血液内容物を推定し、現在の画像フレームを、血液内容物の視覚的効果を軽減して現在の画像フレームの残り部分を強化するように変更するようにさらに構成される。
【0007】
ある実施形態では、プロセッサが、現在の画像フレーム内の粒子を識別及び分類するようにさらに構成される。
【0008】
ある実施形態では、内視鏡システムが、現在の画像フレームに濁度メトリックを注釈付けするように構成されたディスプレイをさらに含む。
【0009】
ある実施形態では、ディスプレイが、識別された粒子を括弧で囲み、現在の画像フレームに粒子分類を注釈付けするようにさらに構成される。
【0010】
ある実施形態では、識別された粒子が腎臓結石であり、分類が腎臓結石のサイズに関連する。
【0011】
本開示は、生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、内視鏡イメージャの視野を明確にするように標的部位に洗浄流体を供給する流体送出機構と、イメージャからの少なくとも１つの画像の濁度メトリックを決定し、濁度メトリックに基づいて洗浄流体の流体送出調整を決定し、決定された流体送出調整に基づいて、流体送出機構によって供給される流体送出を調整するように流体送出機構を制御するように構成されたプロセッサとを含む内視鏡システムにも関する。
【0012】
ある実施形態では、プロセッサが、介入器具を識別する特徴検出に基づいて介入活動のタイプを決定するようにさらに構成される。
【0013】
ある実施形態では、プロセッサが、介入活動のフェーズを決定し、介入活動のフェーズに基づいて、流体送出機構によって供給される流体送出を調整するようにさらに構成される。
【0014】
ある実施形態では、プロセッサが、現在の画像フレーム内の粒子を識別及び分類し、粒子分類に基づいて、流体送出機構によって供給される流体送出を調整するようにさらに構成される。
【0015】
ある実施形態では、粒子が腎臓結石であり、粒子分類が腎臓結石のサイズに関連する。
【0016】
ある実施形態では、プロセッサが、少なくとも１つの画像の血液メトリックを決定し、血液メトリックに基づいて、流体送出機構によって供給される流体送出を調整するようにさらに構成される。
【0017】
ある実施形態では、プロセッサが、少なくとも１つの画像の画像エントロピーメトリクスを決定するようにさらに構成される。
【0018】
ある実施形態では、濁度メトリック及び血液メトリックが、画像エントロピーメトリクスに部分的に基づいて決定される。
【0019】
また、本開示は、ある期間にわたって取り込まれた生体内の標的部位の複数の画像フレームの各画像フレームの１又は２以上の画像メトリクスを決定することと、その期間にわたる画像メトリクスの変化を解析することと、解析された画像メトリクスの変化に基づいて、標的部位の濁度メトリックを決定することとを含む方法にも関する。
【0020】
ある実施形態では、画像メトリクスが、赤色エントロピーメトリック及びシアンエントロピーメトリックを含む画像エントロピーメトリクスである。
【0021】
ある実施形態では、方法が、現在の画像フレーム内の血液内容物を推定することと、現在の画像フレームを、血液内容物の視覚的効果を軽減して現在の画像フレームの残りの部分を強化するように変更することとをさらに含む。
【0022】
ある実施形態では、方法が、現在の画像フレーム内の粒子を識別及び分類することをさらに含む。
【0023】
ある実施形態では、方法が、現在の画像フレームに濁度メトリックを注釈付けすることをさらに含む。
【図面の簡単な説明】
【0024】
【図1】本開示の様々な例示的な実施形態による、内視鏡的処置を実行するシステムを示す図である。
【図2】本発明の様々な例示的な実施形態による、閉ループフィードバックシステムにおいて洗浄流体流を管理する方法を示す図である。
【図3】第１の例示的な実施形態による、血液によって曇った液体媒体を通じた視認性を高める方法を示す図である。
【図4】第２の例示的な実施形態による、血液によって曇った液体媒体を通じた視認性を高める方法を示す図である。
【発明を実施するための形態】
【0025】
本開示は、以下の説明、及び同様の要素を同じ参照数字で参照する添付図面を参照することでさらに理解することができる。例示的な実施形態は、内視鏡イメージング環境内で濁りを管理するアルゴリズム的改善について説明する。典型的な泌尿器科的処置は、撮像装置（例えば、尿管鏡又は他の内視鏡イメージャ）、（視野をクリアにするため及び／又は体腔を広げる又は膨らませるための）流体送出機構、及び治療機構（例えば、Ｂｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ社のＬｉｔｈｏＶｕｅ（商標）装置、及び／又はレーザー又はＲＦエネルギー源など）を利用する。
【0026】
本明細書で説明する改善は、例えば内視鏡画像を解析して濁度を決定し、この情報を流体管理システムに提供して視野内の明瞭性を管理する方法を含む。他の改善は、とりわけ泌尿器科的処置のために、内視鏡画像から血液特徴をアルゴリズム的に減算し、血液で不明瞭になった画像特徴を増幅することを含む。いくつかの一般的な泌尿器科的処置としては、腎結石管理（例えば、砕石術）、ＢＰＨ（すなわち、前立腺肥大症）治療（例えば、ＧｒｅｅｎＬｉｇｈｔ（商標）レーザー手術）、前立腺切除術、膀胱腫瘍切除術、子宮筋腫対策、診断などが挙げられるが、当業者であれば、画像を改善する装置及び技術は、濁りが問題となる様々な処置（すなわち、非泌尿器科的処置も含む）において使用することができると理解するであろう。
【0027】
図１に、本開示の様々な例示的な実施形態による、内視鏡的処置を行うためのシステム１００を示す。システム１００は、内視鏡的処置中に生体内の解剖学的部位の画像フレームを取得するイメージャ１０４を有する内視鏡１０２と、イメージャ１０４の視界を損なう恐れがある血液及びデブリを除去するために生体構造に流体（例えば、生理食塩水）を供給する流体送出機構１０６とを含む。また、流体送出機構１０６は、同時に生体構造から流体を除去するために吸引も行う。このように、生体構造は、よりクリアな画像を生成できるように実質的に透明な流体で継続的にリフレッシュされる。
【0028】
システム１００は、内視鏡的処置の性質に応じて選択された治療装置１０８をさらに含むことができる。治療装置１０８は、内視鏡１０２を通じて動作することも、又は内視鏡１０２の外部に存在することもできる。例えば、治療装置１０８は、例えば腎臓結石を砕くためのレーザー又は衝撃波発生器、或いは前立腺組織を除去するためのレゼクトスコープ（ｒｅｓｅｃｔｏｓｃｏｐｅ）とすることができる。泌尿器科的処置が診断、すなわち症状を治療することではなく生体構造を検査することを目的とする場合には、治療装置が使用されない場合もある。例示的な実施形態は、泌尿器科的イメージングに関して説明しているが、これに限定されるものではない。いくつかの実施形態は、流体送出機構を含まない内視鏡的処置を含む、例えば消化器系などにおける内視鏡的処置などの幅広い範囲の処置にも同様に適用可能である。
【0029】
システム１００は、イメージャ１０４から提供された画像フレームを処理し、処理された画像をディスプレイ１１２に提供するコンピュータ１１０を含む。コンピュータ１１０及びディスプレイ１１２は、本実施形態では内視鏡コンソールなどの統合ステーションに設けられる。内視鏡コンソールには、例えば流体送出機構１０６を通じて供給される流体の流量、圧力又は供給方法を制御するアクチュエータを含む、泌尿器科処置を実行するための他の機能を実装することもできる。例示的な実施形態は、表示画像を一般に連続的に又は他のいずれかの所望の形で変更して強化するアルゴリズム的プロセスについて説明する。
【0030】
１つの実施形態では、取り込まれた画像フレームから決定される画像メトリクスを使用して、濁ったイメージング又は撮像環境によってビデオシーケンスが隠されている又はオクルードされている度合いを推定する。画像メトリクスは、画像エントロピーメトリクスを含む。画像エントロピーは、一般に画像内の情報量の尺度又は情報の量として定義され、画像内の強度値の頻度を評価することによって近似させることができる。高エントロピーは、例えばクリアな画像に関連する多くの量の解剖学的細部を反映し、或いは生体構造を不明瞭にする粒子の渦巻き雲などを反映し、クリアでない画像に関連することができる。エントロピー測定の経時的変化は、例えば高エントロピーのクリアな画像と高エントロピーのクリアでない画像とを区別するのに役立つことができる。例えば、一連の画像のエントロピー測定の経時的経過は、クリアでない画像におけるエントロピーの変動性を通じてこれらの２つのタイプの画像を区別する。
【0031】
一方で、低エントロピーは、コントラストの損失及び／又は細部の曖昧さを反映する。低エントロピーは、非常に単純なシーン（例えば、真っ白な壁）から生じ得る。画像エントロピーの量は、画像内の総エントロピー、又は、画像内のシアンエントロピーに対する赤色エントロピーの比率などを含む画像エントロピーメトリクスを使用して測定することができる。ある実施形態では、シアンエントロピーに対する赤色エントロピーの比率が、（シアンエントロピーによって表される）他の流体に対する（赤色エントロピーによって表される）血液の寄与を強調し、血液寄与を強調することができる。いくつかの実施形態では、画像エントロピーメトリクスが、一連の画像内の特定の時間周波数帯におけるエントロピー変動をさらに含むことができる。上述したように、エントロピー変動は、クリアな画像とクリアでない画像とを区別するために時間にわたって測定することができる。具体的には、観察画像の高エントロピー測定値の急激な変化は、渦巻く粒子の雲に関連するカオス的なエントロピーを反映し、従って観察画像がクリアでない画像であることを意味する。
【0032】
画像間の変化するシーンを特徴付けるために、オプティカルフロー解析が利用される。一般に、オプティカルフロー解析は、前の画像内の近隣地域に対応する所与の画像内の近隣地域を識別し、これらの位置の違いを識別する。このような位置ずれを推定する１つのこのようなアルゴリズムはファーンバック（Ｆａｒｎｅｂａｃｋ）アルゴリズムである。このような解析は、視野内の静止物体及び移動物体に関する情報、並びに系統的な視野の動き、すなわちカメラのパン、回転、前進及び後退に関する情報を提供する。
【0033】
オクルージョンレベル又はシーン内容に応じてビデオセグメントの特徴付け及び分類を行うために機械学習システムを採用することもできる。例えば、ニューラルネットワーク、畳み込みニューラルネットワーク、オプティマイザ、線形回帰及び／又はロジスティック回帰分類器などの機械学習法を使用して新規画像解析及び／又は上述したエントロピーメトリクスの組み合わせを発見し、ビデオセグメントの特徴付け及び分類を行うことができる。機械学習法は、濁度のスカラー推定値、並びに血液と粒子の場確率（ｂｌｏｏｄ ａｎｄ ｐａｒｔｉｃｌｅ－ｆｉｅｌｄ ｐｒｏｂａｂｉｌｉｔｙ）を生成することができる。
【0034】
別の実施形態では、ビデオセグメントを分類するために、例えば空間及び時間周波数分解などの他のメトリクスを使用することもできる。空間周波数解析は、画像の鮮明さを効果的に測定して画像明瞭性を直接明らかにすることができる。粒子の濁った視野を含む画像は、比較的高い空間周波数を示す場合があり、この空間周波数は、高い解剖学的細部を含む画像の空間周波数に類似する。濁った視野を含む高い空間周波数の画像と高い解剖学的細部を含む画像との区別は、時間周波数解析を使用して行うことができる。上述したように、時間周波数解析は、期間にわたってメトリクスの変化を追跡することを意味する。
【0035】
以下で詳細に説明するように、機械学習システムは、非線形結合器と、粒子／結石評価、血液評価及び明瞭性評価を含む様々な評価とを最適化することができる。様々なメトリクスは、画素値、強度ヒストグラム値、これらの非線形関数（例えば、対数）、及びこれらの値の経時的シーケンスの線形結合を通じて導出することができる。機械学習システムは、空間周波数又はエントロピーには直接対応せずに観察者による濁りの印象に効果的に対応する上記の値の別の組み合わせを発見するアルゴリズムを使用することができる。
【0036】
機械学習システムは、それらが提示する特徴空間上で動作する（すなわち、システムの値が分類を決定する）。ある実施形態では、ビデオ機械学習システムが、システムに直接入力されたビデオ画素を有する。一般的な機械学習モデルでは、これらの値から画像メトリクス（例えば、空間周波数スペクトル）が計算される。特徴空間は、有用ではあるが機械学習システムにおける計算には適していないシステム解析を与えることによって増補することができる。例えばこの計算に役立つと考えられるエントロピーは、多くの一般的なビデオ処理ニューラルネットワークのアーキテクチャでは、容易に計算することができない。この結果、機械学習システムは、未加工画素に加えて他の解析を提供された時により良い性能を発揮することができる。対数を含む強度ヒストグラムデータを与えることは、ニューラルネットワークにエントロピー及びエントロピー的な測定値を取り込むことを許容し、これによって素早くより良い結果に収束することができる。システムは、メトリクスの数学的バリエーションを優れたものとして識別することができる。従って、特徴空間を慎重に強化することによって劇的に性能を改善することができる。
【0037】
画像データから直接導出可能な特定のメトリックは、画像背景が常に変化する臨床環境で濁度を推定する好適なジョブをそれ自体で行わない。例示的な実施形態は、例えば画像データから濁度レベルを評価するエントロピー関連メトリクスをニューラルネットワークに通知して調整する方法について説明する。
【0038】
上述したメトリクス及び解析は、表示された画像フレームに注釈付けするためにディスプレイに出力され及び／又はさらなる解析を通知することができる複数の評価を実行する適切に設計された機械学習アルゴリズムに入力することができる。
【0039】
第１の例では、粒子又は結石評価を実行する。粒子／結石評価は、流体中に懸濁している粒子の特性を決定する。特徴検出は、粒子の性質を決定するために使用することができる。例えば、このようなものとして腎臓結石を識別し、結石のサイズなどのメトリクス、並びに深さ推定値（すなわち、イメージャからの距離）を決定することができる。また、上述したオプティカルフロー解析に部分的に基づいて結石の動きを推定することもできる。他の粒子は、例えばタンパク質、組織、突起物、血栓などを含むことができる。粒子／結石評価は、粒子を識別し、これを画像フレーム内でセグメント化し、サイズ決定する。
【0040】
この粒子の識別及び分類を使用して、現在の画像フレームに注釈付けすることができる。例えば、粒子を括弧で囲んで関連するメトリクスを表示して手術中の医師に情報を提供し、素早い意思決定を可能にすることができる。粒子／結石解析は、流体送出機構１０６による洗浄流体の送出を管理するために使用することもできる。例えば、通常、濁った視野は流体流を高める必要性を示唆するが、移動性の結石の識別は、結石の位置をイメージャの視野内に維持するために流体流を弱めることを示唆することができる。また、粒子／結石評価は、治療の性質に応じて治療装置１０８の使用に直接的又は間接的に影響を与えることもできる。例えば、結石破砕術では、例えば大きすぎて回収できないもの、大きすぎて自然に通過できないもの、又は自然に通過できるほど十分に小さいものとしての結石の分類は、残りの介入中におけるシステムの動作を自動的に（又は医師の指導下で）駆動し又は動作に影響を与えることができる。
【0041】
第２の例では、明瞭性評価を実行する。明瞭性評価は、画像内の総濁度尺度を決定する。上述したように、例えば画像エントロピーメトリクスを入力として利用する機械学習プロセスは、新規の濁度尺度又は測定値を生成することができる。濁度尺度は、例えば濁度のスカラー推定値、又は機械学習アルゴリズムによって開発された他の何らかのメトリックとすることができる。明瞭性評価は、現在表示されている画像に注釈付けするために使用することも、洗浄液の供給を管理するために使用することもできる。
【0042】
第３の例では、血液評価を実行する。血液評価は、空洞内の血液量又は血液内容物の合計測定値を例えば百万分の一（ＰＰＭ）の単位で推定するが、他のメトリクスを使用することもできる。血液評価は、現在表示されている画像に注釈を付けるために使用することも、洗浄液の供給を管理するために使用することもできる。また、血液評価は、例えば血栓解析、ＢＰＨ処置のレーザー設定などを通知することもできる。
【0043】
上述した粒子評価、明瞭性評価及び血液評価に加えて、撮像された空洞内の流体循環をインビボで管理するために第４の評価を使用することもできる。第４の評価は、内視鏡的処置中に実行される介入のタイプに関する。例えば、この介入は、腎臓結石管理、前立腺切除、子宮筋腫管理などとすることができる。現在の画像フレームに特徴検出器を適用して、進行中の介入活動のタイプを決定することができる。例えば、レーザー前立腺切除術中にはレーザー装置がイメージャのＦＯＶ内に存在し、これを特徴検出器によってレーザー装置として識別することができる。
【0044】
別の例では、特徴検出器などによって結石回収バスケット装置を識別することができる。識別されると、介入のフェーズが評価される。例えば、システムは、結石が粉砕された度合い又は別様にサイズが縮小した度合いを測定することができ、及び／又は回収のために結石がいつバスケットに受け取られたかなどを決定することができる。従って、介入評価は、望ましい流れ特性に影響を与える得る介入のフェーズ（例えば、視野内に結石なし、視野内に結石あり、レーザー照射中）を識別するために、レーザー結石破砕処置中に少なくとも粒子／結石評価などと組み合わせて使用することができる。介入のタイプは、洗浄システムの流体の最適な流量に影響を与える場合がある。例えば、レーザー前立腺切除術では、組織の加熱に起因して、例えば腎結石処置よりも高い流量が要求されることがある。組織の加熱は、空洞内の流体の相補的加熱を引き起こすことがある。より素早い流体の流入及び流出は、空洞内のより安定した温度を維持し、健康な組織の損傷を防ぐように作用することができる。
【0045】
図２に、本発明の様々な例示的な実施形態による、閉ループフィードバックシステムで洗浄流体の供給を管理する方法２００を示す。方法２００は、上述したメトリクスの一部又は全部を採用することができる。説明したメトリクスには、単一の画像フレームから導出できるものもあれば、一連の画像フレームから導出できるものもある。従って、流体送出の閉ループ調整は、複数の画像フレームに基づいて実行することができる。しかしながら、当業で通常使用されているイメージャの高速フレームレートを考慮すると、手術中の医師の視点からは、流体送出調整が実質的に連続して見えるほど十分に迅速に適用される。
【0046】
２０５において、イメージャ１０４が一連の画像フレームを取り込む。上述したように、所与の計算を実行するのに必要な総画像数は異なることができ、従ってシーケンス内の画像の数も異なることができる。
【0047】
２１０において、シーケンスにおける１又は２以上の画像フレームから、いくつかの又は全ての上述したメトリクスを決定する。例えば、画像が取り込まれるときに、各画像から画像エントロピーメトリクスを導出してこれらから決定することができる。別の例では、画素メトリクスがこれら画像から直接決定される。
【0048】
２１５において、機械学習コンバイナアルゴリズム／関数を使用して種々のメトリクス及び解析を処理し、オクルージョンレベル及びシーン内容に応じて画像又はビデオセグメントを特徴付けて分類する。上述したように、機械学習アルゴリズムは、種々の方法でメトリクスを組み合わせ、発見された解析に応じてメトリックの重み付け又は使用を自己調整することができる。なお、上述したメトリクス／解析は、治療特徴検出及び介入フェーズ評価を除いて、全て機械学習コンバイナアルゴリズムに入力されるのに対し、治療特徴／フェーズ検出／評価は画像フレームから直接決定され、粒子評価、血液評価又は明瞭性評価を通知しない。
【0049】
２２０において、フロー管理アルゴリズムは、粒子評価、血液評価、明瞭性評価及び介入フェーズ評価を処理して、洗浄流体の流体送出調整が必要であるかどうかを判定し、そうである場合には調整値を決定する。
【0050】
２２５において、調整値をプロセッサにフィードバックし、流体送出機構によって供給される流れを調整する。
【0051】
方法ステップ２０５～２２５は、実質的に連続して実行されて、内視鏡の介入中に流体流を管理する閉ループフィードバックシステムを提供する。
【0052】
上述したメトリクスのうち、特に血液評価及び明瞭性評価に関連するものは、内視鏡の介入における血性視野（ｂｌｏｏｄｙ ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を補償するための画像強化をアルゴリズム的に提供するために使用することができる。血液による濁りは、画像から血液特徴をアルゴリズム的に減算し、血液で隠された特徴を増幅することによって管理することができる。後述する方法３００及び４００は、単独で又は組み合わせて適用することができる。
【0053】
図３に、第１の例示的な実施形態による、血液によって曇った液体媒体を通じた視認性を高める方法３００を示す。方法３００は、洗浄流体の供給を管理する方法２００のいくつかのステップ（又は方法２００のものと類似のステップ）を含み、単独で又はこれと組み合わせて使用することができる。
【0054】
３０５において、方法２００のステップ２０５に従って、イメージャ１０４が一連の画像を取り込む。３１０において、各画像を固定サイズの領域に分割する。各領域は、例えば２０×２０画素とすることができる。
【0055】
３１５において、方法２００のステップ２１０～２１５と同様に、上述した機械学習コンバイナアルゴリズムを使用して、上述したいくつかのメトリクスを各領域について計算して処理する。このようにして、各領域を血液量又は血液内容物について評価し、血液の存在に従って、各領域を特徴付ける「血液マップ」を生成する。具体的には、血液評価のための機械学習コンバイナアルゴリズムに提供するメトリクスを決定し、これを処理して各領域を分類する。粒子／結石評価又は明瞭性評価を実行する必要も、或いは方法３００のためにいずれかの介入装置の特徴を決定する必要もない。しかしながら、別の実施形態では、例えば血液以外の粒子によって濁った視野が生じる場合、明瞭性評価を実行することができる。
【0056】
３２０において、血液マップ値に、コンバイナにおいて血液検出に関連する各メトリックのフレーム間の局所的な変動をオプティカルフローで調整して乗算する。このように、個々の画像サブ領域を利用して、血液によって隠された領域を特定し、選択的又は比例的に画像強化を適用して、血液によって生じる画像細部の損失を緩和することができる。
【0057】
３２５において、３２０から得られた値を使用して、各メトリックを補完するように計算された畳み込みカーネル又は色変換をスケーリングし、その領域で適用して、領域境界でシグモイド減少させる。エントロピー関連カーネルは、関連するカラーチャンネルに適用される（正のエントロピー相関のための）ローパスフィルタカーネル、又は（負のエントロピー相関のための）ハイパスフィルタカーネルのいずれかを使用する。
【0058】
３３０において、位相及び変化した振幅から成る各領域の空間周波数表現から、血液を含む前景を強調せずに関心のある背景を強調するように画像フレームを再構成する。血液の視覚効果は、畳み込みカーネルのスケーリングに応じて画像全体にわたって様々な程度に軽減することができる。この強化を空間周波数の振幅成分（ｍａｇｎｉｔｕｄｅ ｃｏｍｐｏｎｅｎｔｓ）に適用した後に、これを位相成分と再結合して従来の画像に逆変換することができる。
【0059】
図４に、第２の例示的な実施形態による、血液によって曇った液体媒体を通じた視認性を高める方法４００を示す。
【0060】
４０５において、変形可能非線形変換を使用して、現在の画像フレームを超解像画像マップに相関付ける。超解像画像マップは、一般に低解像画像の融合から生成される改善された解像度の画像として定義することができる。現在の画像は、現在の画像の解像度を高めるために超解像画像マップと融合することができる。
【0061】
４１０において、上述した血液検出に関連するメトリクスに基づいて、「血液マスク」を作成し、血液マスクは所与の画像フレームにおける推測される血液濁度の空間分布を反映する。
【0062】
４１５において、現在の画像フレームを変形超解像マップと融合して、現在のフレームと超解像マップとの加重平均である強化フレームを生成する。血液マスク値が低い時には、画素は元々の画像フレームの画素に向かって促され、マスク値が高い時には、画素は超解像マップの画素に向かって促される。
【0063】
図５は、方法２００、３００及び４００の要素を含む複合的実施形態を表すフローチャート５００である。当業者であれば、上述した様々なメトリクス及び解析は、単独で又は様々な方法で組み合わせて使用することができると理解するであろう。
【0064】
５０５において、内視鏡イメージングフィードから画像を抽出する。上述したように、例えばオプティカルフロー解析などのメトリクス／解析の中には、決定のために多くの画像を必要とするものもある。しかしながら、フローチャート５００では、各計算を実行するのに十分な以前の画像が取り込まれていると想定することができる。
【0065】
５１０において、種々のメトリクスを計算するために画像を赤色成分とシアン成分とに分離する。例えば、５１５において、赤色エントロピー値及びシアンエントロピー値を計算する。シアンに対する赤色エントロピー比などのメトリクスを計算することも、又は赤色シアン値を直接使用することもできる。５２０において、赤色スペクトル成分及びシアンスペクトル成分について空間周波数解析を行う。５２５において、赤色／シアンエントロピー値及び空間周波数解析が時間周波数解析に提供される。当業者であれば、時間周波数解析では、写真間の差異を解析するために一連の写真が必要であると理解するであろう。例えば、一定期間にわたってエントロピー変動が測定される。５３０において、赤色成分及びシアン成分を比較するカラーバランスを実行する。５３５において、画像間の画素値を比較する画素変化率解析を実行する。５４０において、連続画像を相関付けて一定期間にわたる物体又は組織の動きなどの情報を導出するオプティカルフロー解析を実行する。
【0066】
５４５において、機械学習システムが上述したメトリクス／解析を様々な方法で組み合わせて、粒子情報（粒子／結石評価５５０）、血液量情報又は血液内容物情報（血液評価５５５）、及び濁度情報（明瞭性評価５６０）を生成する。画像内の介入特徴を識別し（治療装置特徴検出５６５）、介入のフェーズを評価する（治療フェーズ評価５７０）介入評価も実行する。粒子、血液、明瞭性及び介入解析は、洗浄システムの流体流５７５を制御するために使用される。上述したように、流体流管理５７５は、流量、圧力又は流体供給方法の調整を含むことができる。
【0067】
５８０において、方法３００又は４００に従って画像の血液成分を除去又は軽減することによって、現在の画像を強化することができる。５８５において、方法２００に従って現在の画像に注釈付けすることができる。現在の画像には、血液／明瞭性評価において導出された血液又は濁度メトリクスをさらに注釈付けすることができる。５９０において、強化／注釈付けされた画像を表示する。さらなる画像が取り込まれると、上述したステップ／メトリクス／解析が実行又は決定される。
【0068】
別の実施形態では、コンピュータ可読媒体が、コンピュータによって実行された時に濁度メトリックの決定などの上述した様々な画像処理ステップ／解析をコンピュータに実行させる命令を含む。
【0069】
当業者であれば、発明概念から逸脱することなく、上述した実施形態に変更を行うことができると理解するであろう。さらに、１つの実施形態に関連する構造的特徴及び方法を他の実施形態に組み込むこともできると理解されたい。従って、本発明は、開示した特定の実施形態に限定されるものではなく、むしろ添付の特許請求の範囲によって定められる本発明の範囲には修正も含まれると理解される。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2023-07-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
内視鏡システムであって、
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
前記内視鏡イメージャの視野を明確にするように前記標的部位に洗浄流体を供給する流体送出機構と、
プロセッサと、を備え、
前記プロセッサは、
前記内視鏡イメージャからの少なくとも１つの画像の濁度メトリックを決定し、
前記濁度メトリックに基づいて前記洗浄流体の流体送出調整を決定し、
決定された流体送出調整に基づいて、前記流体送出機構によって供給される流体送出を調整するように前記流体送出機構を制御する、
ように構成された内視鏡システム。
生体内の標的部位の画像フレームを取り込むように構成された内視鏡イメージャと、
前記内視鏡イメージャの視野を明確にするように前記標的部位に洗浄流体を供給する流体送出機構と、
プロセッサと、を備え、
前記プロセッサは、
前記内視鏡イメージャからの少なくとも１つの画像の濁度メトリックを決定し、
前記濁度メトリックに基づいて前記洗浄流体の流体送出調整を決定し、
決定された流体送出調整に基づいて、前記流体送出機構によって供給される流体送出を調整するように前記流体送出機構を制御する、
ように構成された内視鏡システム。
【請求項2】
前記プロセッサは、介入器具を識別する特徴検出に基づいて介入活動のタイプを決定するようにさらに構成される、請求項１に記載の内視鏡システム。
【請求項3】
前記プロセッサは、
前記介入活動のフェーズを決定し、
前記介入活動のフェーズに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項２に記載の内視鏡システム。
前記介入活動のフェーズを決定し、
前記介入活動のフェーズに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項２に記載の内視鏡システム。
【請求項4】
前記プロセッサは、
現在の画像フレーム内の粒子を識別し分類し、
粒子分類に基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項１～３のいずれか１項に記載の内視鏡システム。
現在の画像フレーム内の粒子を識別し分類し、
粒子分類に基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項１～３のいずれか１項に記載の内視鏡システム。
【請求項5】
前記粒子は腎臓結石であり、前記粒子分類は前記腎臓結石のサイズに関する、請求項４に記載の内視鏡システム。
【請求項6】
前記プロセッサは、
前記少なくとも１つの画像の血液メトリックを決定し、
前記血液メトリックに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項１～４のいずれか１項に記載の内視鏡システム。
前記少なくとも１つの画像の血液メトリックを決定し、
前記血液メトリックに基づいて、前記流体送出機構によって供給される流体送出を調整する、ようにさらに構成される、請求項１～４のいずれか１項に記載の内視鏡システム。
【請求項7】
前記プロセッサは、前記少なくとも１つの画像の画像エントロピーメトリクスを決定するようにさらに構成される、請求項６に記載の内視鏡システム。
【請求項8】
前記濁度メトリック及び前記血液メトリックは、前記画像エントロピーメトリクスに部分的に基づいて決定される、請求項７に記載の内視鏡システム。
【外国語明細書】