特許 7569393 コンピュータを利用した支援システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-08

(45)【発行日】2024-10-17

(54)【発明の名称】コンピュータを利用した支援システム及び方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241009BHJP

   A61B 1/00 20060101ALI20241009BHJP

   A61B 34/10 20160101ALI20241009BHJP

【ＦＩ】

A61B1/045 618

A61B1/00 551

A61B1/00 513

A61B1/045 622

A61B34/10

【請求項の数】 42

【外国語出願】

(21)【出願番号】P 2023016329

(22)【出願日】2023-02-06

(65)【公開番号】P2023119573

(43)【公開日】2023-08-28

【審査請求日】2023-07-07

(31)【優先権主張番号】63/310,653

(32)【優先日】2022-02-16

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】591228476

【氏名又は名称】オリンパス ビンテル ウント イーベーエー ゲーエムベーハー

【氏名又は名称原語表記】ＯＬＹＭＰＵＳ ＷＩＮＴＥＲ ＆ ＩＢＥ ＧＥＳＥＬＬＳＣＨＡＦＴ ＭＩＴ ＢＥＳＣＨＲＡＮＫＴＥＲ ＨＡＦＴＵＮＧ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際弁理士法人

(72)【発明者】

【氏名】トルシュテン ユルゲンス

【審査官】北島 拓馬

(56)【参考文献】

【文献】国際公開第２０２０／１９４５６８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０３１６４２１（ＵＳ，Ａ１）

【文献】特開２０２２－００２７０１（ＪＰ，Ａ）

【文献】特開２０１６－０８７３７０（ＪＰ，Ａ）

【文献】特表２０２０－５０６０１４（ＪＰ，Ａ）

【文献】国際公開第２０２１／１４５２６５（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１６３６４４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｂ ３４／００ －３４／２０

Ａ６１Ｂ ４２／００ －９０／９８

(57)【特許請求の範囲】

【請求項1】

大腸内視鏡的処置で使用するためのコンピュータを利用した支援システム（１０）であって、
少なくとも１つのビデオ内視鏡器具（１２）と、
前記少なくとも１つのビデオ内視鏡器具（１２）に接続された制御ユニット（１４）と、
前記制御ユニット（１４）と接続又は一体化された表示装置（１６）と、を備え、
前記制御ユニット（１４）は、前記ビデオ内視鏡器具（１２）が示す病変（２４）の寸法と分類との組み合わせに基づいて処置ガイドラインを自動的に選択し、選択した前記処置ガイドラインを前記表示装置（１６）に表示するように構成される、コンピュータを利用した支援システム（１０）。

【請求項2】

前記制御ユニット（１４）は、供給機能及びビデオ処理機能を提供する内視鏡制御サブユニット（１４ａ）と、画像解析サブユニット（１４ｂ）と、を備え、
前記内視鏡制御サブユニット（１４ａ）と前記画像解析サブユニット（１４ｂ）は、互いに接続された個別の装置として、又は単一の装置における複数のソフトウェアユニットとして、又は単一の装置における複数のハードウェアユニットとして、又は単一の装置における複数のソフトウェアユニット及び複数のハードウェアユニットとして構成される、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項3】

前記制御ユニット（１４）は、画像認識機能を備え、前記ビデオ内視鏡器具（１２）によって提供される画像（２２）に対して、
－大腸内における病変（２４）の認識
－病変（２４）の寸法の決定
－病変（２４）の分類の決定
の動作のうち少なくとも１つを自動的に行うように構成される、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項4】

前記病変（２４）の寸法の決定、及び前記病変（２４）の分類の決定のうち少なくとも
一方は、画像処理、又はオペレータによる音声入力、又はオペレータによるヒューマンインターフェース装置を介した手動入力や手動選択に基づいて行われる、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項5】

前記画像処理は狭帯域光観察（ＮＢＩ）を利用する、
請求項４に記載のコンピュータを利用した支援システム（１０）。

【請求項6】

前記画像処理は前記病変（２４）の表面のピットパターンを考慮する、
請求項４に記載のコンピュータを利用した支援システム（１０）。

【請求項7】

前記ヒューマンインターフェース装置は、前記表示装置（１６）又は前記制御ユニット（１４）に実装される、
請求項４に記載のコンピュータを利用した支援システム（１０）。

【請求項8】

前記制御ユニット（１４）は、前記病変（２４）の位置の特定及び前記病変（２４）の位置の記録のうち少なくとも一方を行うように構成される、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項9】

提案される前記処置ガイドラインは、
－前記病変（２４）をそのまま放置するという提案、
－ホットスネアポリープ切除術／内視鏡的粘膜切除術によるポリープ切除術を行うという提案、
－コールドポリープ切除術を行うという提案、
－手術によって前記病変（２４）を除去するという提案、
のうち１つまたは複数を含む、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項10】

前記コールドポリープ切除術は、コールドスネアポリープ切除術及びコールドフォーセプスポリープ切除術のうち少なくとも一方を含む、
請求項９に記載のコンピュータを利用した支援システム（１０）。

【請求項11】

前記制御ユニット（１４）は、
－病変（２４）の寸法及び病変（２４）の分類のうち少なくとも一方の入力、
－処置中の報告、
－コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち少なくとも一方の訂正、
－コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴリズムで取り上げられなかった発見の文書化
のうちの少なくとも１つのための構造化音声対話機能及び非構造化音声対話機能のうち、少なくとも一方を提供するように構成される、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項12】

前記処置中の報告は、切除された粘膜領域及び切除結果の文書化を含む、
請求項１１に記載のコンピュータを利用した支援システム（１０）。

【請求項13】

前記制御ユニット（１４）は、
－内視鏡治療器具を検知する検知アルゴリズム、及び内視鏡治療器具検知時の自動的なＣＡＤオーバーレイの抑制を提供すること、
－粘膜表面の撮像範囲が不十分であることをオペレータに示すこと、
－比較のため、以前の報告書又は発見をオペレータに提示すること、
－症例概要を自動的に作成すること、
のうち、少なくとも１つを提供するように構成される、
請求項１に記載のコンピュータを利用した支援システム（１０）。

【請求項14】

大腸内視鏡的処置のためのコンピュータを利用した支援方法であって、
大腸内視鏡的処置の最中に、請求項１から１３のいずれか１項に記載のコンピュータを利用した支援システム（１０）の制御ユニット（１４）は、前記コンピュータを利用した支援システム（１０）の前記ビデオ内視鏡器具（１２）が示す病変（２４）の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択し、選択された前記処置ガイドラインを、前記コンピュータを利用した支援システム（１０）の前記表示装置（１６）に表示する、
コンピュータを利用した支援方法。

【請求項15】

前記制御ユニット（１４）は、画像処理及び画像認識によって前記ビデオ内視鏡器具（１２）が提供する画像（２２）に対して、
－大腸内における病変（２４）の認識
－病変（２４）の寸法の決定
－病変（２４）の分類の決定
の動作のうちの少なくとも１つを、自動的に行う、
請求項１４に記載のコンピュータを利用した支援方法。

【請求項16】

前記自動的に行うことは、狭帯域光観察（ＮＢＩ）を利用する、
請求項１５に記載のコンピュータを利用した支援方法。

【請求項17】

前記自動的に行うことは、前記病変（２４）の表面のピットパターンを考慮する、
請求項１５に記載のコンピュータを利用した支援方法。

【請求項18】

前記制御ユニット（１４）は、前記病変（２４）の位置の特定及び前記病変（２４）の位置の記録のうち少なくとも一方を行なう、
請求項１４に記載のコンピュータを利用した支援方法。

【請求項19】

－病変（２４）の寸法及び病変（２４）の分類のうち少なくとも一方の入力、
－処置中の報告、
－コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち少なくとも一方の訂正、
－コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴリズムで取り上げられなかった発見の文書化、
のうちの少なくとも１つが、前記制御ユニット（１４）によって提供される構造化音声対話機能及び非構造化音声対話機能のうち少なくとも一方を利用して行われる、
請求項１４に記載のコンピュータを利用した支援方法。

【請求項20】

前記処置中の報告は、切除された粘膜領域及び切除結果の文書化を含む、
請求項１９に記載のコンピュータを利用した支援方法。

【請求項21】

前記制御ユニット（１４）は、
－内視鏡治療器具を検知する検知アルゴリズム、及び内視鏡治療器具検知時の自動的なＣＡＤオーバーレイの抑制を提供すること、
－粘膜表面の撮像範囲が不十分であることをオペレータに示すこと、
－比較のため、以前の報告書又は発見をオペレータに提示すること、
－症例概要を自動的に作成すること、
のうちの少なくとも１つを行う、
請求項１４に記載のコンピュータを利用した支援方法。

【請求項22】

コンピュータコード手段を有するコンピュータプログラムであって、
請求項１に記載のコンピュータを利用した支援システム（１０）の制御ユニット（１４）において実行されると、
コンピュータを利用した支援システム（１０）の前記ビデオ内視鏡器具（１２）が示す病変（２４）の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択する機能と、
選択された前記処置ガイドラインを、コンピュータを利用した支援システム（１０）の前記表示装置（１６）に表示する機能と、を、
前記制御ユニット（１４）に提供する、コンピュータコード手段を有するコンピュータプログラム。

【請求項23】

前記制御ユニット（１４）において実行されると、請求項３から１３のいずれか一項に記載の機能を前記制御ユニット（１４）に提供する、コンピュータコード手段を有する請求項２２に記載のコンピュータプログラム。

【請求項24】

前記画像解析サブユニット（１４ｂ）は、画像認識機能を備え、前記ビデオ内視鏡器具（１２）によって提供される画像（２２）に対して、
－大腸内における病変（２４）の認識
－病変（２４）の寸法の決定
－病変（２４）の分類の決定
の動作のうち少なくとも１つを自動的に行うように構成される、
請求項２に記載のコンピュータを利用した支援システム（１０）。

【請求項25】

前記病変（２４）の寸法の決定、及び前記病変（２４）の分類の決定のうち少なくとも一方は、画像処理、又はオペレータによる音声入力、又はオペレータによるヒューマンインターフェース装置を介した手動入力や手動選択に基づいて行われる、
請求項２に記載のコンピュータを利用した支援システム（１０）。

【請求項26】

前記画像処理は狭帯域光観察（ＮＢＩ）を利用する、
請求項２５に記載のコンピュータを利用した支援システム（１０）。

【請求項27】

前記画像処理は前記病変（２４）の表面のピットパターンを考慮する、
請求項２５に記載のコンピュータを利用した支援システム（１０）。

【請求項28】

前記ヒューマンインターフェース装置は、前記表示装置（１６）又は前記画像解析サブユニット（１４ｂ）に実装される、
請求項２５に記載のコンピュータを利用した支援システム（１０）。

【請求項29】

前記画像解析サブユニット（１４ｂ）は、前記病変（２４）の位置の特定及び前記病変（２４）の位置の記録のうち少なくとも一方を行うように構成される、
請求項２に記載のコンピュータを利用した支援システム（１０）。

【請求項30】

前記画像解析サブユニット（１４ｂ）は、
－病変（２４）の寸法及び病変（２４）の分類のうち少なくとも一方の入力、
－処置中の報告、
－コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち少なくとも一方の訂正、
－コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴリズムで取り上げられなかった発見の文書化
のうちの少なくとも１つのための構造化音声対話機能及び非構造化音声対話機能のうち、少なくとも一方を提供するように構成される、
請求項２に記載のコンピュータを利用した支援システム（１０）。

【請求項31】

前記処置中の報告は、切除された粘膜領域及び切除結果の文書化を含む、
請求項３０に記載のコンピュータを利用した支援システム（１０）。

【請求項32】

前記画像解析サブユニット（１４ｂ）は、
－内視鏡治療器具を検知する検知アルゴリズム、及び内視鏡治療器具検知時の自動的なＣＡＤオーバーレイの抑制を提供すること、
－粘膜表面の撮像範囲が不十分であることをオペレータに示すこと、
－比較のため、以前の報告書又は発見をオペレータに提示すること、
－症例概要を自動的に作成すること、
の付加的機能のうち、少なくとも１つを提供するように構成される、
請求項２に記載のコンピュータを利用した支援システム（１０）。

【請求項33】

大腸内視鏡的処置のためのコンピュータを利用した支援方法であって、
大腸内視鏡的処置の最中に、請求項２および２４から３２のいずれか１項に記載のコンピュータを利用した支援システム（１０）の画像解析サブユニット（１４ｂ）は、前記コンピュータを利用した支援システム（１０）の前記ビデオ内視鏡器具（１２）が示す病変（２４）の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択し、選択された前記処置ガイドラインを、前記コンピュータを利用した支援システム（１０）の前記表示装置（１６）に表示する、
コンピュータを利用した支援方法。

【請求項34】

前記画像解析サブユニット（１４ｂ）は、画像処理及び画像認識によって前記ビデオ内視鏡器具（１２）が提供する画像（２２）に対して、
－大腸内における病変（２４）の認識
－病変（２４）の寸法の決定
－病変（２４）の分類の決定
の動作のうちの少なくとも１つを自動的に行う、
請求項３３に記載のコンピュータを利用した支援方法。

【請求項35】

前記自動的に行うことは、狭帯域光観察（ＮＢＩ）を利用する、
請求項３４に記載のコンピュータを利用した支援方法。

【請求項36】

前記自動的に行うことは、前記病変（２４）の表面のピットパターンを考慮する、
請求項３４に記載のコンピュータを利用した支援方法。

【請求項37】

前記画像解析サブユニット（１４ｂ）は、前記病変（２４）の位置の特定及び前記病変（２４）の位置の記録のうち少なくとも一方を行なう、
請求項３３に記載のコンピュータを利用した支援方法。

【請求項38】

－病変（２４）の寸法及び病変（２４）の分類のうち少なくとも一方の入力、
－処置中の報告、
－コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち少なくとも一方の訂正、
－コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴ
リズムで取り上げられなかった発見の文書化、
のうちの少なくとも１つが、前記画像解析サブユニット（１４ｂ）によって提供される構造化音声対話機能及び非構造化音声対話機能のうち少なくとも一方を利用して行われる、
請求項３３に記載のコンピュータを利用した支援方法。

【請求項39】

前記処置中の報告は、切除された粘膜領域及び切除結果の文書化を含む、
請求項３８に記載のコンピュータを利用した支援方法。

【請求項40】

前記画像解析サブユニット（１４ｂ）は、
－内視鏡治療器具を検知する検知アルゴリズム、及び内視鏡治療器具検知時の自動的なＣＡＤオーバーレイの抑制を提供すること、
－粘膜表面の撮像範囲が不十分であることをオペレータに示すこと、
－比較のため、以前の報告書又は発見をオペレータに提示すること、
－症例概要を自動的に作成すること、
のうちの少なくとも１つを行う、
請求項３３に記載のコンピュータを利用した支援方法。

【請求項41】

コンピュータコード手段を有するコンピュータプログラムであって、
請求項２に記載のコンピュータを利用した支援システム（１０）の画像解析サブユニット（１４ｂ）において実行されると、
コンピュータを利用した支援システム（１０）の前記ビデオ内視鏡器具（１２）が示す病変（２４）の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択する機能と、
選択された前記処置ガイドラインを、コンピュータを利用した支援システム（１０）の前記表示装置（１６）に表示する機能と、を、
前記画像解析サブユニット（１４ｂ）に提供する、コンピュータコード手段を有するコンピュータプログラム。

【請求項42】

前記画像解析サブユニット（１４ｂ）において実行されると、請求項２４から３２のいずれか一項に記載の機能を前記画像解析サブユニット（１４ｂ）に提供する、コンピュータコード手段を有する請求項４１に記載のコンピュータプログラム。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

［発明の分野］
本発明は、大腸内視鏡的処置にて使用する、コンピュータを利用した支援システムに関するものであり、当該支援システムは、少なくとも１つのビデオ内視鏡器具と、当該少なくとも１つのビデオ内視鏡器具に接続された制御ユニットと、当該制御ユニットに接続された表示装置と、当該コンピュータを利用した支援システムの制御ユニット用のソフトウェアプログラムと、を備える。

【0002】

本発明は、内視鏡的処置において使用されるコンピュータを利用した支援システム、又は、コンピュータを利用した検知システム（ＣＡＡ、ＣＡＤ）用のユーザインターフェース作成の構想に関する。提供される構想が求めるアイデアは、内視鏡的処置の安全性の向上、並びに、ＣＡＡ及びＣＡＤ装置によるコンピュータを利用した検知の有用性及びユーザ体験の向上を図るためのものである。本発明の文脈内において、コンピュータを利用した支援システムという用語は、コンピュータを利用した検知システムを含む。

【0003】

内視鏡的処置において、コンピュータを利用した検知（ＣＡＤｅ）及びコンピュータを利用した診断（ＣＡＤｘ）を展開するための現状の装置及びソフトウェアアプリケーションは、互いに、また、文書化システムとうまく接続していない。このようなシステムと相互に作用する方法は非常に限られている。そのために扱いが難しく、このようなシステムによって実行される処置の安全性や診断の確実性が低下する傾向にある。

【0004】

大腸内視鏡検査、つまり、大腸、結腸の内視鏡検査の分野では、オペレータは、大腸内視鏡検査の間に内視鏡画像において目視可能なあらゆる病変を見極めなければならない。病変は、ポリープ、アデノーマ（がん化する可能性のある病変）、又はがん性の組織として存在し得る。それら病変の寸法及び特徴に応じて、執刀医は病変を除去するか否かや、どの処置を使用するかを決めなければならない。除去処置の正しい選択は、術後の合併症の発生の有無に直ちに影響を及ぼす。

【0005】

いかなる状況でどの処置を適用するのかという問題は、精力的に研究されている。日本消化器病学会のＪ．Ｇａｓｔｒｏｅｎｔｅｒｏｌ（２０２１）５６：３２３－３３５に掲載のＳ．Ｔａｎａｋａらによる「Ｅｖｉｄｅｎｃｅ―ｂａｓｅｄ ｃｌｉｎｉｃａｌ ｐｒａｃｔｉｃｅ ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ ｍａｎａｇｅｍｅｎｔ ｏｆ ｃｏｌｏｒｅｃｔａｌ ｐｏｌｙｐｓ」に、模範的な概要が記載されている。これらの処置ガイドラインは、大腸の病変を治療する一般臨床医によって使用されることを意図したものである。これは、最終的には標準的基準として、各患者の意向、年齢、合併症、及び社会的状況の慎重な検討と合わせて利用されるべきである。処置ガイドラインの内容の基礎として、術後の観察を含む、大腸ポリープの処置に関する臨床的な問題が紹介されている。提案されているものの中には、寸法６ｍｍ以上の病変、寸法５ｍｍ以下の微小ポリープ状アデノーマ、寸法５ｍｍ以下であっても平坦及び凹状である腫瘍性病変においては、内視鏡的除去を行うことが含まれている。また、中でも、過形成性ポリープの管理、コールドスネアポリープ切除の適応、並びに、鋸刃状大腸病変、及び自然に拡散した腫瘍について言及している。

【0006】

また、処置ガイドラインが大腸の病変の治療における処置の安全性及び臨床結果の向上に効果をもたらすか否かを判断することが可能か否かを判断する研究も行われている。この局面に関する研究は、Ｅｎｄｏｓｃｏｐｙ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｐｅｎ ２０１８；０６：Ｅ９３４-Ｅ９４０に掲載の、Ｍ．Ｋａｔｏらによる「Ｖａｌｉｄａｔｉｏｎ ｏｆ ｔｒｅａｔｍｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｔｈｅ Ｊａｐａｎ ｎａｒｒｏｗ－ｂａｎｄ ｉｍａｇｉｎｇ ｅｘｐｅｒｔ ｔｅａｍ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ ｓｕｂ－ｃｅｎｔｉｍｅｔｅｒ ｃｏｌｏｒｅｃｔａｌ ｐｏｌｙｐｓ」に公開されている。この研究には、拡大内視鏡を用いた狭帯域光観察（ＮＢＩ－ＭＥ）を含む、内視鏡診断に基づく数千件の微小ポリープの治療の遡及的研究が含まれている。この研究のために、上述したような初期の処置で発見及び記録された病変は、先ず専門家によって、病変の肉眼型に基づいて０－Ｉｐ、０－Ｉｓ、０－Ｉｓｐ、０－ＩＩａ、又は、０－ＩＩｃに分類された。肉眼型が０－Ｉｓ、０－Ｉｓｐ、及び、０－ＩＩａの病変は、さらにＪＮＥＴ分類法に基づいて、Ｔｙｐｅ１、Ｔｙｐｅ２Ａ、Ｔｙｐｅ２Ｂ、又は、Ｔｙｐｅ３に分類された。ＪＮＥＴ分類でＴｙｐｅ１及びＴｙｐｅ２Ａの場合、病変の寸法も考慮された。それに対して、肉眼型が０－ＩＩｃの場合、病変の表面におけるピットパターンが考慮された。専門家は、病変の分類（肉眼型、ＮＩＣＥ又はＪＮＥＴ分類、病変の寸法、及び／又は、ピットパターン）に応じて、こうした分類のために着手されたワークフロー又はアルゴリズムに従って、そのまま放置、コールドスネアポリープ切除術（ＣＳＰ）による切除、コールドフォーセプスポリープ切除術（ＣＦＰ）による切除、ホットスネアポリープ切除術（ＨＳＰ）による切除、内視鏡的粘膜切除術（ＥＭＲ）による切除、又は、手術による除去など、異なる治療提案に到達した。この研究における各病変に対して、専門家が従ったワークフロー／アルゴリズムによって到達した提案に従って、実際に切除術が行われたか否かが分析された。スキームに従って実施された切除術は、スキームに従わずに実施された切除術よりも合併症のリスクが非常に低かったことが分かった。

【0007】

本発明の目的は、大腸内視鏡的処置において、処置の安全性を向上させ、術後の合併症の発生を低減させることである。

【0008】

この目的は、大腸内視鏡的処置用のコンピュータを利用した支援システムによって達成される。支援システムは、少なくとも１つのビデオ内視鏡器具と、少なくとも１つのビデオ内視鏡器具に接続された制御ユニットと、制御ユニットと接続又は一体化された表示装置とを備え、制御ユニットは、ビデオ内視鏡器具が示す病変の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択し、選択した処置ガイドラインを表示装置に表示するように構成される。

【0009】

大腸内視鏡検査を行う外科医は、大腸の病変を診断し、治療計画を決定する際に、最終的には常に自身の判断に依存するが、本発明によるコンピュータを利用した支援システムは、診断及び治療決定プロセスを援助するように設計されている。具体的には、病変の寸法及び特徴に基づいて治療オプションの標準的な参考枠組みを提供することにより、様々な病変に対して規格化された十分に実績のある治療オプションをオペレータに提供する。この治療オプションのベースラインは、病変の寸法及び分類がシステムに既知となるとすぐに利用可能になり、長時間にわたる潜在的に危険な処置の停滞を回避するのに役立つ。次に、オペレータは、患者の年齢や、患者の全体的な状態、大腸周辺の状態など、治療方法の提案を変更させる可能性のある他のパラメータを計算に入れることができる。

【0010】

コンピュータを利用した支援システムは、例えば外科医などのオペレータによる、様々な大腸の病変に対する大腸内視鏡検査の実施、及び的確な治療の選択を支援するように構成された、コンピュータによる臨床支援システム（ＣＤＳＳ）の実践である。

【0011】

病変の分類は、ＪＮＥＴ又はＮＩＣＥに準拠した方法、又はコンピュータを利用した支援システムの製造業者によって使用されている所有権のある方法を含む他のあらゆる分類方法など、すでに確立されたあらゆる分類方法に従ってもよい。

【0012】

ビデオ内視鏡器具は、遠位カメラユニット、近位カメラユニット、又は独立したカメラヘッドのいずれかによってビデオ撮像を提供するあらゆる内視鏡装置であってよい。病変を切除するために、ビデオ内視鏡器具は、内視鏡治療器具を遠位端に供給するための１つ又は複数の独立した経路を有してもよい。

【0013】

実施形態において、制御ユニットは、供給機能及びビデオ処理機能を提供する内視鏡制御サブユニットと、画像解析サブユニットとを備え、内視鏡制御サブユニットと画像解析サブユニットは、互いに接続された個別の装置として、又は、単一の装置における複数のソフトウェアユニット及び／又はハードウェアユニットとして構成される。サブユニットが互いに接続された個別の装置として提供される場合、既存の内視鏡制御ユニットを変更せずに再利用することができる。

【0014】

更なる局面では、制御ユニット、特に画像解析サブユニットは、画像認識機能を備え、ビデオ内視鏡器具によって提供された画像に対して、
－大腸内における病変の認識
－病変の寸法の決定
－病変の分類の決定
の動作のうち少なくとも１つを自動的に行うように構成される。

【0015】

画像認識機能は既知の方法で実装されてもよく、既知の画像認識アルゴリズムによって、又は、様々なタイプの大腸の病変画像を予め分類した多数の画像に対するニューラルネットワーククライアントとして、又はその他の既知の方法によって実装されてもよい。こうすることで、コンピュータを利用した支援システムは、制御ユニットによって自動的に獲得された寸法及び／又は分類などの病変の詳細を、部分的に又は完全にオペレータに提供する。これにより、オペレータによる目視評価とは独立した、処置ガイドラインの自動選択の基礎が提供され、病変の診断、及び、病変の的確な治療の選択のロバスト性が向上する。

【0016】

更なる局面では、病変の寸法の決定、及び病変の分類の決定のうち少なくとも一方は、特に狭帯域光観察（ＮＢＩ）を利用した、とりわけ病変の表面のピットパターンを考慮した画像処理、又はオペレータによる音声入力、又はオペレータによるヒューマンインターフェース装置を介した手動入力や手動選択に基づいて行われ、特にヒューマンインターフェース装置は、表示装置又は制御ユニットに実装される。これにより、オペレータは、病変の寸法及び病変の分類のうちの一方又は両方を、音声入力又は手動入力のいずれかによって提供してもよい。このため、システムは、制御ユニット、特に画像解析サブユニットに接続又は実装された、マイク装置を備えてもよい。

【0017】

更なる局面では、制御ユニット、特に画像解析サブユニットは、病変の位置の特定及び病変の位置の記録のうち少なくとも一方を行なうように構成される。つまり、制御ユニットは、大腸内における調査用内視鏡装置の遠位端の位置を認識し、オペレータを手動による病変の位置の特定及び／又は病変の位置の記録から解放する。これは、制御ユニット内に目印検出機能を備えることで支持されてもよく、目印は、人間の大腸の特定のネットワークであり、中でも、肝湾曲部、脾弯曲部、直腸、又は盲腸（回盲弁）などである。自動目印検知に代えて、目印への到着は、音声コマンドで入力されてもよい。この位置情報は、ビデオ内視鏡が患者の大腸内でどれだけ延伸したかを示す距離測定と組み合わされてもよい。

【0018】

目印検知又は目印入力が実装された場合、現在位置は、例えば目印のためのマーカーがあるプログレスバーの形状で表示装置上に表示されてもよく、又は、患者の大腸の概略図上に表示されてもよい。病変の発見位置は、目印間に予測としてグループ化することができ、或いは、目印間の位置決め／位置特定は、例えば、内視鏡の挿入深度を音声入力によって提供するなど、音声コメントで強化したり、電磁追跡器などの別の機器との組み合わせで強化したりすることができる。

【0019】

システムの一局面では、提案される処置ガイドラインは、
－病変をそのまま放置するという提案、
－ホットスネアポリープ切除術／内視鏡的粘膜切除術によるポリープ切除術を行うという提案、
－コールドポリープ切除術、特にコールドスネアポリープ切除術及びコールドフォーセプスポリープ切除術のうち少なくとも一方を行なうという提案、
－手術によって病変を除去するという提案、
のうち１つ又は複数を含む。

【0020】

システムの更なる局面では、制御ユニット、特に画像解析サブユニットは、
－病変の寸法及び分類のうち少なくとも一方の入力、
－処置中の報告、特に切除された粘膜領域及び切除結果の文書化、
－コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち少なくとも一方の訂正、
－コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴリズムで取り上げられなかった発見の文書化、
のうちの少なくとも１つで用いる構造化音声対話機能及び非構造化音声対話機能のうち、少なくとも一方を提供するように構成される。

【0021】

これらのうち、処置中の報告は非構造化音声対話機能によって行ってもよいが、構造化音声対話機能により、さらに規格化された方法で行ってもよく、構造化音声対話機能においては、大腸内視鏡検査における病変の発見の全て又はほとんどに共通する一定の規格化されたフィールドが、フィールド名又はカテゴリー名、及びフィールドが選択されると提供される情報によって呼ばれる。病変の寸法及び病変の分類のうち少なくとも一方の入力は、構造化音声対話機能によって行われるのが好ましい。コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち少なくとも一方の訂正についても同様である。コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴリズムで取り上げられなかった発見の文書化については、非構造化音声対話機能を用いるのがより典型的である。この場合、オペレータの音声入力が記録されてもよく、又はテキストに起こされてもよい。書き起こされたテキストに重ねられた音声記録は、自動的に撮影されるビデオセグメント及び／又は位置画像と共に保存されてもよい。

【0022】

システムの更なる局面では、制御ユニット、特に画像解析サブユニットは、
－内視鏡治療器具を検知する検知アルゴリズム、及び内視鏡治療器具検知時の自動的なＣＡＤオーバーレイの抑制を提供すること、
－粘膜表面の撮像範囲（カバレッジ、網羅率）が不十分であることをオペレータに示すこと、
－比較のため、以前の報告書又は発見をオペレータに提示すること、
－症例概要を自動的に作成すること、
の付加的機能のうち、少なくとも一つを提供するように構成される。

【0023】

内視鏡治療器具を検知する検知アルゴリズムの提供は、スネア、フォーセプス、バスケット、キュレット、又はナイフなどの内視鏡治療器具を検知するように特別に設計又は訓練された画像認識アルゴリズムによって自動的に行われる。内視鏡治療器具の存在は、オペレータが病変の切除をしている最中であることを示すため、追加のＣＡＤオーバーレイは処置中にオペレータが病変の全容とその周囲を正確に見る妨げとなり、オペレータの認知負荷を増大させる。そのため、オーバーレイの解除は、表示された画像から視覚的障害物を除去し、内視鏡治療器具がユニット内にある限り、処置の安全性を高める。

【0024】

粘膜表面の撮像範囲が不十分であることをオペレータに示すことは、大腸壁の撮像範囲において死角が生じることを防ぐのに有益である。オペレータは、例えば矢印の表示によって、死角であった部分を範囲に含めるように、内視鏡を具体的な方向に動かすように促されてもよい。これは、画像において周辺部が十分に可視化されていない領域の輪郭を描く形で行われてもよく、テキスト情報の形で行われてもよい。不十分な撮像範囲が満たされなかった場合には、プログレスバー又は同様の進捗表示手段に、死角の存在が記録及び／又は表示されてもよい。

【0025】

比較のために以前の報告書又は発見をオペレータに提示することは、制御ユニット、特に画像解析サブユニットがケースファイルにアクセスできるようにすることで実行できる。これは、以前に検出された病変又は以前に除去された病変の位置がビデオ内視鏡の遠位端の現在位置と一致し、以前の処置において一致する発見が、比較のため、オペレータに表示されるか又は読み上げられると特に有益である。この特徴により、現在及び以前の発見の位置について、前後関係が意識されることとなる。例えば、現在の発見、例えばＣＡＤアルゴリズムによって検知されたポリープ、の位置を、例えば、小規模な過形成性病変の進行を確認するために、以前の処置での発見と比較することができる。これにより、オペレータは、以前発見され除去されなかった病変の更なる進行、又は、以前病変が除去された場所の治癒過程を評価することができる。以前の発見もまた、例えば、プログレスバー又は大腸の概略図上において、オペレータに表示することができる。さらに、以前の発見があった場所に到達すると、以前の発見、つまり、その画像及び／又は映像を表示することができる。再生及び表示は、例えば音声対話を介して制御されてもよい。

【0026】

制御ユニット、特に画像解析サブユニットは、症例概要を自動的に作成する機能を備えてもよい。大腸内視鏡検査の日時や長さ、患者及びオペレータの身元、使用器具などの、症例概要の通常のデータに加えて、自動症例概要には、大腸内視鏡検査中に撮影されたビデオセグメント及び／又は静止画像、病変に関する発見、あらゆる音声入力、病変の位置に関する情報、自動的に検知された寸法及び分類、手動入力又は音声コマンドによる入力、自動発見に対するあらゆる訂正、選択された処置ガイドライン及び病変の切除、切除に使用された方法及び器具が含まれてもよい。また、症例概要には、以前の発見の位置メタデータや、寸法及び分類メタデータなど、以前の発見のデータが含まれてもよい。

【0027】

症例概要は、処置後にオペレータによってレビューされ、ＣＡＤシステムとのピアツーピア接続、又は、ＣＡＤシステムが症例概要を格納している第三格納位置のいずれかを介して、例えば、デスクトップＰＣ、タブレット、又は携帯電話など、様々な装置からアクセスされてもよい。症例概要のユーザインターフェースは、アルゴリズムによる発見を訂正するため、欠落した情報を追加するため、又は過剰な情報を削除するために使用されてもよい。症例概要は、完成後に、別の文書化ツール及びデータベースにエクスポートされてもよい。

【0028】

また、本発明の根底にある目的は、大腸内視鏡的処置のためのコンピュータを利用した支援方法によって達成される。大腸内視鏡的処置の最中に、コンピュータを利用した支援システムの制御ユニット、特に画像解析サブユニットは、コンピュータを利用した支援システムのビデオ内視鏡器具が示す病変の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択し、選択された処置ガイドラインを、コンピュータを利用した支援システムの表示装置に表示する。ソフトウェアプログラムは、このようにして、コンピュータを利用した支援システムと同様の特徴、利点、及び特性を備える。

【0029】

更なる局面では、制御ユニット、特に画像解析サブユニットは、画像処理及び画像認識によってビデオ内視鏡器具が提供する画像に対して、
－大腸内における病変の認識
－病変の寸法の決定
－病変の分類の決定
の動作のうちの少なくとも１つを、特に狭帯域光観察（ＮＢＩ）を利用して、とりわけ病変の表面のピットパターンを考慮して自動的に行う。

【0030】

制御ユニット、特に画像解析サブユニットは、病変の位置の特定及び病変の位置の記録のうち少なくとも一方を行なってもよい。

【0031】

さらに、
－病変の寸法及び病変の分類のうち少なくとも一方の入力
－処置中の報告、特に切除された粘膜領域及び切除結果の文書化
－コンピュータを利用した検知アルゴリズムによる発見及びコンピュータを利用した診断アルゴリズムによる発見のうち、少なくとも一方の訂正
－コンピュータを利用した検知アルゴリズム及びコンピュータを利用した診断アルゴリズムで取り上げられなかった発見の文書化
のうちの少なくとも１つが、制御ユニット、特に画像解析サブユニットによって提供される構造化音声対話機能及び非構造化音声対話機能のうち少なくとも一方を利用して行われてもよい。

【0032】

更なる局面では、制御ユニット、特に画像解析サブユニットは、
－内視鏡治療器具を検知する検知アルゴリズム、及び内視鏡治療器具検知時の自動的なＣＡＤオーバーレイの抑制を提供すること
－粘膜表面の撮像範囲が不十分であることをオペレータに示すこと
－比較のため、以前の報告書又は発見をオペレータに提示すること
－症例概要を自動的に作成すること
のうちの少なくとも１つを行なってもよい。

【0033】

これらの機能について、コンピュータを利用した支援システムという観点から議論した。

【0034】

また、本発明の目的は、コンピュータコード手段を有するコンピュータプログラムによって実現される。コンピュータプログラムは、上述したコンピュータを利用した支援システムの制御ユニット、特に画像解析サブユニットにおいて実行されると、コンピュータを利用した支援システムのビデオ内視鏡器具が示す病変の寸法と分類との組み合わせに基づいて自動的に処置ガイドラインを選択する機能と、選択された処置ガイドラインをコンピュータを利用した支援システムの表示装置に表示する機能と、特に付加的に、上述したコンピュータを利用した支援システム及び方法の制御ユニット、特に画像解析サブユニットのさらなる機能とを、制御ユニット、特に画像解析サブユニットに提供する。

【0035】

本発明の更なる特徴は、本発明による実施形態の記載、請求項、及び添付の図面から明らかとなるであろう。本発明による実施形態は、個々の特徴又はいくつかの特徴の組み合わせを実現し得る。

【図面の簡単な説明】

【0036】

本発明を、その一般的な意図を制限することなく、模範的な実施形態に基づいて以下に記載する。本発明による全詳細の開示のうち、本明細書中に詳細に説明されていないものについては、明確に図面を参照する。

【図1】図１は、本開示によるコンピュータを利用した支援システムの概略図である。

【図2】図２は、本開示によるコンピュータを利用した支援システムのビジュアルユーザインターフェースの表示画面図である。

【図3】図３は、本発明による、処置ガイドラインを選択するワークフローの実施形態の概略図である。

【図4】図４は、本開示によるコンピュータを利用した支援システムのビジュアルユーザインターフェースの別の表示画面図である。

【図5】図５は、コンピュータを利用した模範的な臨床決定支援システムの概略図である。

【発明を実施するための形態】

【0037】

［発明の詳細な説明］
図面において、繰り返しの説明が不要になるよう、同一又は同様の種類の要素、又は互いに対応する部品には、同一の参照番号を付した。

【0038】

図１に、本開示によるコンピュータを利用した支援システム１０の概略図を示す。基本的な構成では、ビデオ内視鏡器具１２を備え、ビデオ内視鏡器具１２は、大腸内視鏡検査用に、遠位端部にカメラユニットと、可能性として、スネア又はフォーセプスなどの内視鏡ツールを案内する１つ又は複数のチャネルとを有する大腸内視鏡であってもよい。ビデオ内視鏡器具１２は制御ユニット１４と接続され、制御ユニット１４はビデオ内視鏡器具１２の電気部品に動力を供給し、ビデオ内視鏡器具１２から画像データストリームを受け取ってもよい。制御ユニット１４で実行されるソフトウェアプログラム又はソフトウェアプログラム一式は、制御ユニット１４に、コンピュータを利用した支援システム１０としてのタスクを実行する機能を提供し、大腸内視鏡検査中に病変が認識された場合に、制御ユニット１４が適切な処置ガイドラインを選択する支援ができるようにする。

【0039】

制御ユニット１４は２つのサブユニットを備えてもよく、２つのサブユニットは、１つ又は複数の内視鏡の制御及び動力の提供をし、内視鏡映像電子信号を画像のストリームに変換する映像処理を提供する内視鏡供給サブユニット１４ａ、及び、画像解析サブユニット１４ｂである。画像解析サブユニット１４ｂは、画像解析機能、とりわけ画像認識機能を提供し、本開示で説明する付加的な機能を実行するのに必要なロジックを有する。サブユニット１４ａ及びサブユニット１４ｂが異なる装置に存在する場合、標準的な内視鏡供給及び映像処理ユニットは変更せずに使用されてもよく、画像分析機能及び決定機能は、プログラマブルコンピュータなどの別の装置に存在してもよい。この場合の制御ユニット１４を、図１において点線で示す。代替的に、画像解析サブユニット１４ｂは、内視鏡供給及び制御装置の演算部に実装されるソフトウェアとして備えられてもよい。

【0040】

制御ユニット１４、より具体的には、制御ユニット１４の画像解析サブユニット１４ａは、表示装置１６と接続又は一体化される。表示装置１６は、制御ユニット１４の供給及び映像処理サブユニット１４ａによって処理された、ビデオ内視鏡器具１２からの画像フィードを表示するように構成される。表示装置１６は、制御ユニット１４と接続された個別の独立型ビデオスクリーンであってもよく、又は、制御ユニット１４、特に画像解析サブユニット１４ｂと一体化されたスクリーンであってもよい。表示装置１６又は制御ユニット１４又はその画像解析サブユニット１４ｂは、コマンド又はデータを入力するための、例えば、キーボード、マウス装置、スイッチ又はその他の手動入力手段、又は音声対話機能用のマイクロフォンなどの、適切な入力手段を有してもよい。

【0041】

また、システム全体として、熱器具に動力を供給する装置を含む、コールドスネア及びホットスネア、又は、コールドフォーセプス及びホットフォーセプスなどの内視鏡ツールを備えてもよい。

【0042】

更に拡張した形態において、図１に記載のコンピュータを利用した支援システム１０の制御ユニット１４又はその画像解析サブユニット１４ｂは、過去及び現在の大腸鏡検査処置、及びそれによる発見についてのデータベースを実行する、図５に記載したようなセントラルサーバーコンピュータシステムと接続されてもよい。

【0043】

図２に、本開示によるビジュアルユーザインターフェースのディスプレイ２０を示す。ディスプレイ２０は、コンピュータを利用した支援システム１０の表示装置１６のスクリーンに表示される。スクリーン上のディスプレイ２０はいくつかの領域に分割される。右側の最も大きな領域には、ビデオ内視鏡器具１２から供給され、制御ユニット１４又はその供給及び映像処理サブユニット１４ａによって処理された、大腸内視鏡検査の画像フィード２２が含まれる。画像は、特定されたポリープ状の病変２４を有する患者の大腸壁の一部を表示する。病変２４は、ＣＡＤオーバーレイ２６によって、境界ボックスを用いて強調される。右下の隅にある「ＣＡＤ」という小さな印は、ＣＡＤオーバーレイ機能がオンであることを示す。右上の隅にある「ＷＬＩ」という小さな印は、表示されている画像が白色光観察（ＷＬＩ）を用いて撮影されていることを示す。画像２２の左上の隅にある「ＲＥＣ」という印は、表示されている画像ストリームが録画されていることを示す。

【0044】

ディスプレイ２０の左側にある小さな領域には、大腸内視鏡的処置自体、及び、現在観察されている右の画像２２に表示された病変２４についての情報が含まれる。ディスプレイ上のこの領域の一番上の部分には、現在時刻（「Ｔ」）、患者名（「Ｐ」）、大腸内視鏡を完全に挿入するのに要した時間（「ＴＴ」）、及び回収時間（「ＷＴ」）などの、患者及び処置データ３０が含まれる。患者及び処置データ３０の直下には、大腸内視鏡検査の進捗及び大腸内視鏡の遠位端の位置を示すプログレスバー３２が表示される。盲腸、肝湾曲部、及び脾弯曲部などといった大腸内の目印は、ダイヤ型の記号で表示される。その他のマッシュルーム型の記号などの記号は、今回、又は以前の大腸内視鏡検査で発見された病変の位置を示す。

【0045】

プログレスバー３２の下方には、現在観察されている病変の周方向における位置を可視化する、周方向位置表示器３４が表示される。病変自体はヒートマップとして表示される。

【0046】

周方向位置表示器３４の下方には、４つの領域に病変情報３６が表示される。左上のフィールドには８－１０ｍｍというポリープの寸法と共に、３本のバーのうち２本が強調（ハイライト）された小さな記号が表示され、この記号は、ポリープが中程度の大きさであることを示す。右上のフィールドには、病変２４が、アデノーマの特徴であるＮＩＣＥ２型に分類されることが表示される。アデノーマはがん化する可能性があるため、切除が望ましい。

【0047】

左下のフィールドにはポリープの記号が表示され、右下のフィールドには処置ガイドラインの提案、つまりＲＤＩ（赤色光観察）による検査を行って発見を裏付け、ポリープを除去し、切除したポリープの組織を病理検査に送ること、が表示される。

【0048】

ディスプレイ２０の左側の下部領域には、器具及びモード情報３８が表示される。ここには、例えば、拡大係数（「ｘ１．５ ノーマル」）、現在までに録画された動画像列及び静止画の数、又は入力装置のファンクションキーに割り当てられた設定（「ＦＲＺ」、「ＮＢＩ」など）が表示される。

【0049】

ユーザインターフェースは、オペレータの好みに合わせて構成されてもよい。例えば、ユーザは、ビデオ内視鏡器具１２から提供される画像がスクリーンの右側ではなく左側に表示されるのを好んでもよく、種々の領域の寸法を変更することを好んでもよい。フィールド２８に表示される追加情報の数及びその選択は、大腸内視鏡検査の背景事情や現況によって決定されてもよい。例えば、患者及び処置データ３０、プログレスバー３２、及び、可能性として器具及びモード情報３８は、常時表示されてもよく、一方で、病変情報３６、及び、周方向位置表示器３４は、病変が観察されている間、又は少なくとも病変がビデオ内視鏡器具１２の視野に入っている間だけ表示されてもよい。

【0050】

ディスプレイ２０に表示される情報の選択は、背景事情によって、制御ユニット１４、特にその画像解析サブユニット１４ｂが自動で行ってもよい。画像認識アルゴリズムが、大腸のある部分において、大腸壁の撮像範囲（カバレッジ、網羅率）が３６０度に満たないと検知した場合は、オペレータは、ビデオ内視鏡器具１２を欠落した方向に動かして補う、つまり、死角であった部分の画像を獲得するよう促されてもよい。死角の表示は、例えば、ＣＡＤオーバーレイを利用してビデオ画像フィード上に死角の方向を指す矢印を表示する方法や、プログレスバー３２と周方向位置表示器３４との組み合わせに似た表示方法によって行われてもよい。

【0051】

病変２４の観察中、オペレータは、病変２４について表示される情報が自らの発見と異なることに気が付くこともあり得る。その場合、オペレータは音声コマンド又は手動でその発見を修正してもよい。例えば、オペレータが異なる分類に到達した場合、オペレータは、コンピュータを利用した支援システム１０に、「ヘイ、システム」などと音声で呼びかけ、続いて「ポリープ型を修正して」及び「ＮＩＣＥ１」と呼びかけてもよい。それに対して、制御ユニット１４、特にその画像解析サブユニット１４ｂは、当該パラメータにおける以前の値とオペレータにより修正された値との両方を記録してもよい。

【0052】

オペレータが、例えばマウスなどの手動入力手段を用いたグラフィック計測器を利用して、病変２４を計測する機能があってもよい。画像認識機能を利用して自動でポリープの寸法を決定する場合、寸法の決定を可能とする１つ又は複数の軸を描いたＣＡＤオーバーレイを生成してもよく、必要であれば、次にオペレータによって修正されてもよい。

【0053】

図３に、本発明による、処置ガイドライン２３０を選択するための処置ガイドライン選択スキーム１００の実施形態の概略図を示す。処置ガイドライン選択スキーム１００は、工程１０２において、ビデオ内視鏡器具１２から提供されるビデオフィード又は静止画において病変を特定することから始まる。病変の特定は、オペレータの視覚によって、又は、制御ユニット１４、特にその画像解析サブユニット１４ｂに実装された画像認識機能によって行われてもよく、画像認識機能は、種々の大腸病変の視覚的特徴に対応した標準的な画像認識アルゴリズム、及び／又は、例えば、多数の大腸病変の画像を使って当該タスク用に訓練されたニューラルネットワーク、若しくは、他の適切な機械学習アルゴリズムを用いた機械学習方法によって実装されてもよい。

【0054】

病変が特定されると、工程１０４において、病変の肉眼型が決定される。肉眼型は、分類よりも先に決定される。ここではパリ分類が用いられ、パリ分類における病変の肉眼型は、例えば、ポリポイド０－Ｉｐ型及び０－Ｉｓ型、若干の隆起（０－ＩＩａ）から若干の陥没（０－ＩＩｃ）までの範囲の非ポリポイド０－ＩＩａ型、０－ＩＩｂ型、及び０－ＩＩｃ型、並びに開孔型の病変（潰瘍）である０－ＩＩＩ型である。肉眼型の決定は、オペレータによって、又は、画像検知機能を用いて行われ、画像検知機能においても、標準的な画像検知アルゴリズム、又は、ニューラルネットワーク若しくは他の適切なアルゴリズムを用いた機械学習が利用される。

【0055】

例えばがん性潰瘍の場合など、更なる分類の必要がないケースがある。工程１１０で病変のピットパターンを考慮した後、更なる中間工程を挟まずに処置ガイドライン１１２に到達してもよい。処置ガイドライン１１２は、手術又はＥＭＲ（内視鏡的粘膜切除術）によって病変を除去することと、除去した組織を更なる検査のため病理に送ることとを含んでもよい。

【0056】

これ以外の全てのケースでは、次の工程１０６において、ＮＩＣＥ分類又はＪＮＥＴ分類などの既知の分類法に基づく等により、病変の分類が決定される。この分類もまた、オペレータによって、又は標準的なもしくは機械学習ベースの画像認識機能によって実行される。限定的でない例として、Ｍ．ＫａｔｏらによるＥｎｄｏｓｃｏｐｙ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｐｅｎ ２０１８；０６：Ｅ９３４-Ｅ９４０に掲載の「Ｖａｌｉｄａｔｉｏｎ ｏｆ ｔｒｅａｔｍｅｎｔ…」が提案する治療方策アルゴリズムによると、ＪＮＥＴ分類で２Ｂ型及び３型に分類される病変は、場合により病変の寸法に関係なくＥＭＲ及び手術による除去を促してもよく、一方で、ＪＮＥＴ分類で１型及び２Ａ型に分類される病変は、病変の寸法、場合によっては大腸における病変の位置によって、工程１０８でさらにグループ分けされてもよい。大腸の右側（上行側）に位置し、５ｍｍ以上の寸法を有するＪＮＥＴ分類で１型の病変については、コールドスネアポリープ切除術による除去が提案されてもよく、一方で、その他のＪＮＥＴ分類で１型の病変は除去せずに放置されてもよい。ＪＮＥＴ分類で２Ａ型の病変においては、病変の寸法によって、コールドフォーセプスポリープ切除術又はコールドスネアポリープ切除術の適用が提案されてもよい。

【0057】

また、処置ガイドライン１１２は、病変のＮＢＩ画像又はＲＤＩ画像を確認することや、除去した病変を病理に送ることや、他の適切な行動など、その他の提案を行ってもよい。

【0058】

スキームによって処置ガイドラインが生成されると、図２に示したように、生成された処置ガイドラインはオペレータに提示される。

【0059】

図３に示す概略図は、実現可能なワークフローを説明する目的で記載されており、決して本開示の範囲を限定する目的で記載されたものではない。処置ガイドラインに到達するための他のスキームを代替的に実施してもよく、実践においてスキームを適応させる必要があると分かったときに、又は、新しい治療方法や器具が利用可能になったときに、スキームを変更してもよい。

【0060】

さらに、畳み込みニューラルネットワーク又は他の適切な「人工知能」のアルゴリズムに基づくものなどの最新の機械学習アルゴリズムが、全スキームを実施するように訓練されてもよい。これは、ニューラルネットワーク又は他のアルゴリズムを、ワークフローを経たトレーニング画像で訓練することにより実行されるもので、適切な処置ガイドラインは、このスキームによって決定された。分類訓練段階では、ニューラルネットワークに、実際の、又は、疑似的な大腸内視鏡検査で得た病変の画像と、望ましいアウトプットとして、対応する処置ガイドラインとを提示する。この訓練方法は、トレーニング画像を準備することを通して、図３に示す工程１０２から１１２を組み入れる。

【0061】

図４に、本開示によるコンピュータを利用した支援システム１０のビジュアルユーザインターフェースの別の表示画面を示す。図２とは異なり、図４に示す大腸内視鏡検査画像には、ディスプレイ２０の左側の病変情報３６´及び内視鏡ツール情報４２に表示されているように、ＮＩＣＥ２型の病変２４を除去する処置中の、１５ｍｍのコールドスネア（４０）内視鏡ツールが表示されている。図示された状況においては、オペレータの精神的負荷を軽減するために、ＣＡＤボックス又は他のインジケータのオーバーレイは解除されている。制御ユニット１４、特にその画像解析サブユニット１４ｂは、この目的のために適応又は訓練された画像認識機能によって自動的にコールドスネア４０を特定する。

【0062】

病変情報３６´は、図２に記載のものと若干異なり、縮小された周方向位置表示器を含む。この寸法の適応は、実施中の病変を除去する処置にかかる情報、つまり使用中の術具、について視覚的重みを持たせるために実施される。これは、コールドスネアの場合、比較的単純である。ＥＭＲ又はＨＳＰの場合、器具の作動状態についての追加情報が目立つように表示されてもよい。

【0063】

図５に、コンピュータを利用した支援システム１０の特徴を実施するように構成された、典型的な、コンピュータによる臨床決定支援システム２００の概略図を示す。種々の実施形態において、ＣＤＳＳ２００は入力インターフェース２０２を備え、入力インターフェースを通じて、患者固有のデータ又は以前の発見などの入力特徴が、人工知能（ＡＩ）モデル２０４、入力特徴をＡＩモデルに適応して、表示される情報や、大腸内視鏡検査中に発見された病変に対して選択される適切な処置ガイドラインなどの出力を生成する推論演算を実行するプロセッサ、及び、出力を臨床医などのユーザに伝える出力インターフェース２０６への入力特徴として提供される。

【0064】

いくつかの実施形態において、入力インターフェース２０２は、ＣＤＳＳ２００と、入力特徴の少なくともいくつかを生成する１つ又は複数の医療装置との間の直接データリンクであってもよい。例えば、入力インターフェース２０２は、大腸内視鏡検査中に、ビデオ内視鏡器具１２の設定データを直接ＣＤＳＳ２００に伝送してもよい。付加的に、又は代替的に、入力インターフェース２０２は、ユーザとＣＤＳＳ２００との間のやりとりを促進する標準的なユーザインターフェースであってもよい。例えば、入力インターフェース２０２は、ＡＩモデルへの入力として、ユーザが病変の寸法又は分類を手動で入力するユーザインターフェースを促進してもよい。付加的に、又は代替的に、入力インターフェース２０２は、ＣＤＳＳ２００が患者の電子記録にアクセスできるようにし、そこから１つ又は複数の入力特徴が抽出されてもよい。これらのいずれの場合においても、臨床医に提示すべき適切な処置ガイドラインに到達するためにＣＤＳＳ２００が病変の大腸内視鏡検査画像の評価に用いられるとき又はそれ以前に、入力インターフェース２０２は、特定の患者に関する以下の入力特徴、つまり、病変の寸法、病変の分類、表面構造、位置、の１つ又は複数を、それらが別の処置データソース又は画像認識によって既知でない場合、収集するように構成される。

【0065】

上記入力特徴の１つ又は複数に基づいて、プロセッサはＡＩモデルを用いて推論演算を実行し、処置ガイドラインの生成、及び、可能性として、オペレータに対して状況に応じた情報の表示の生成を行う。例えば、入力インターフェース２０２は、データベース２１０、ユーザによる入力、器具類、及び／又は、画像認識から収集された、検出された病変２２０などの入力特徴を、ＡＩモデルの入力層に伝送してもよく、入力層はこれらの入力特徴を出力層へ向かってＡＩモデル中を伝播させる。ＡＩモデルは、明確にプログラムされなくとも、データ解析で発見されたパターンをもとに推論してタスクを実行する能力を、コンピュータシステムに付与することができる。ＡＩモデルは、既存のデータから学び、新たなデータについて予測し得るアルゴリズム（例えば、機械学習アルゴリズム）の学習及び構造を探査する。このようなアルゴリズムは、訓練データ例からＡＩモデルを作り上げることによって動作し、出力又は評価として表現されるデータ駆動型の予測又は決定をする。

【0066】

機械学習（ＭＬ）には、教師付きＭＬ、及び、教師なしＭＬという２つの一般的なモードがある。教師付きＭＬでは、予備知識（例えば、入力を出力又は結果と相互に関連付ける例）を使って、入力と出力との関係を学習する。教師付きＭＬの目標は、ある訓練データを与えられたときに、訓練入力と訓練出力との間の関係を最善に見積もる機能を学び、それによって、対応する出力を生成するように入力を与えられた際に、ＭＬモデルが、同様の関係を実現し得ることである。教師なしＭＬは、分類もラベル付けもされていない情報を使ったＭＬアルゴリズムの訓練であり、その情報に基づいてガイダンスなしで行動することをアルゴリズムに許容するものである。教師なしＭＬは、データ内の構造を自動的に特定するため、予備解析に有用である。

【0067】

教師付きＭＬの一般的なタスクは、分類問題及び回帰問題である。分類問題は、カテゴリー化問題とも呼ばれ、アイテムをいくつかのカテゴリー値（例えば、この物体はリンゴですか？オレンジですか？など）に分類することを目的とする。回帰アルゴリズムは、アイテムを（例えば、ある入力値にスコアを与えることにより）数値化することを目的とする。一般的に用いられる教師付きＭＬアルゴリズムの例には、ロジスティック回帰分析（ＬＲ）、ナイーブベイズ、ランダムフォレスト（ＲＦ）、ニューラルネットワーク（ＮＮ）、ディープニューラルネットワーク（ＤＮＮ）、行列因子分解、及び、サポートベクターマシン（ＳＶＭ）が含まれる。

【0068】

教師なしＭＬの一般的なタスクには、クラスタリング、表現学習、及び、密度推定が含まれる。一般的に用いられる教師なしＭＬアルゴリズムの例には、ｋ平均法、主成分分析、及び、オートエンコーダが含まれる。

【0069】

別のタイプのＭＬに、連合学習（協調学習としても知られる）があり、連合学習では、ローカルデータを保持する複数の分散した装置間で、データを交換することなくアルゴリズムを訓練する。このアプローチは、全てのローカルデータセットが１つのサーバにアップロードされる従来の集中型機械学習技術や、ローカルデータサンプルが一様に分布していると仮定する場合が多い、より伝統的な分散型アプローチとは対照的である。連合学習により、複数の当事者が、データを共有せずに、共通の堅固な機械学習モデルを構築することが可能となるため、データプライバシー、データセキュリティ、データアクセス権、及び異種のデータへのアクセスなどの重要な問題に対処することができる。

【0070】

いくつかの例では、ＡＩモデルは、推論演算の実行前に、継続的又は定期的に訓練されてもよい。その後、推論演算中に、ＡＩモデルに提供された患者固有の入力特徴が、入力層から、１つ又は複数の隠れ層を経て、最終的に処置ガイドラインに対応する出力層へと伝播されてもよい。例えば、特有のピットパターンを有する潰瘍の画像の入力は、ニューラルネットの入力層に供給され、ニューラルネットはそれをニューラルネット内で伝播させ、一定の強度を有した状態で種々の処置ガイドラインを表す出力層のニューロンに到達してもよい。最も強い反応を示す出力層ニューロンに対応する処置ガイドラインが選択される。他の出力層ニューロンの反応に対する優位性の高さ、又は優位性の無さを考慮して、信頼スコアも計算され得る。信頼スコアが低すぎる場合、これもまた表示されてもよく、患者の健康及び他のパラメータの観点から、臨床医は問題の病変を更に調べるよう促される。

【0071】

推論演算の間、及び／又は、推論演算に続いて、処置ガイドラインがユーザインターフェース（ＵＩ）を介してユーザに伝えられてもよい。例えば、ＣＤＳＳは、推奨される診断及び治療オプション、並びに、可能性として、ＡＩによって生成されたそれぞれの信頼レベルについて、ＡＩによって生成された患者固有の出力を、図２又は図４に記載の方法で臨床医に知らせる。

【0072】

図面のみに記載されたものを含む名称を有する全ての特徴、及び、別の特徴と組み合わせて開示される個々の特徴は、単独で、及び、組み合わせて、本発明に重要なものと見なされる。本発明による実施形態は、個々の特徴によって、又は、いくつかの特徴を組み合わせて完成され得る。「とりわけ」又は「特に」という表現と組み合わされた特徴は、好適な実施形態として捉えられるものである。
［符号の説明］
１０…システム、１２…ビデオ内視鏡器具、１４…制御ユニット、１４ａ…内視鏡制御サブユニット、１４ｂ…画像解析サブユニット、１６…グラフィカルユーザインターフェース付き表示装置、２０…ディスプレイ、２２…内視鏡からビデオフィードされた画像、２４…病変、２６…ＣＡＤオーバーレイ、２８…追加情報を含む表示フィールド、３０…患者及び処置データ、３２…プログレスバー、３４…周方向位置表示器、３６…病変情報、３６′…病変情報、３８…器具及びモード情報、４０…コールドスネア、４２…内視鏡ツール情報、１００…処置ガイドライン選択スキーム、１０２…ビデオ又は静止画で病変を特定する、１０４…肉眼型の決定、１０６…分類の決定、１０８…寸法の決定、１１０…その他の特徴の決定、１１２…治療ガイドラインの選定、２００…臨床決定支援システム、２０２…入力インターフェース、２０４…ＡＩモデル、２０６…出力インターフェース、２１０…データベース、２２０…検出された病変、２３０…治療ガイドライン。

【図1】

【図2】

【図3】

【図4】

【図5】