特表 2024-533110 機械的に強化した内部撮像のための人工知能ベース制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-12

(54)【発明の名称】機械的に強化した内部撮像のための人工知能ベース制御システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20240905BHJP

   A61B 1/01 20060101ALI20240905BHJP

【ＦＩ】

A61B1/045 614

A61B1/01 513

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024513700

(86)(22)【出願日】2021-09-02

(85)【翻訳文提出日】2024-04-24

(86)【国際出願番号】 US2021071358

(87)【国際公開番号】W WO2023033859

(87)【国際公開日】2023-03-09

(81)【指定国・地域】

(71)【出願人】

【識別番号】506272769

【氏名又は名称】スマート・メディカル・システムズ・リミテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100161908

【弁理士】

【氏名又は名称】藤木 依子

(72)【発明者】

【氏名】ターリウク，ガド

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA04

4C161CC06

4C161FF36

4C161HH51

4C161JJ13

4C161JJ17

4C161LL02

(57)【要約】

機械的に強化された組織、または他の方法で機械的に変更された組織が関わる内部撮像手順中において、発生する手順異常を検出するように人工知能システムを訓練および使用する。組織上の対象領域が、周囲の組織から一層明確に区別できるように、機械的強化エレメントを有する内部撮像デバイス（例えば、内視鏡）が、組織をその自然な状態または方位から変更する。組織の変更(alteration)および／または内部撮像デバイスの使用に関連する異常手順(anomaly procedures)を、人工知能システムによって検出することができ、是正措置を自動的に変更および／または講ずることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

内視鏡手順の機械学習ベースの分析システムであって、前記システムが、
可視化エレメントと膨張可能バルーンとを含むバルーン内視鏡であって、前記バルーン内視鏡が、前記膨張可能バルーンを停留未達圧力まで膨張させて患者の腸管腔内を移動するとき、組織の可視化を機械的に強化するように構成され、前記膨張可能バルーンが、前記腸管腔の組織の軸方向伸長を発生させて、前記組織の自然な起伏形状を少なくとも部分的に平らにするまたは広げる、バルーン内視鏡と、
１つ以上のプロセッサとコンピュータ読み取り可能メモリとを含むコンピューティング・デバイスであって、少なくとも、
前記可視化エレメントを使用して、前記組織の一部の画像を得て、
手順異常分類を表す分類出力データを生成するように訓練された機械学習モデルを使用して、 前記画像を分析し、
少なくとも部分的に前記分類出力データに基づいて、前記画像が手順異常に対応すると判定し、
前記手順異常に基づいて、フィードバック・データを生成し、前記フィードバック・データが前記バルーン内視鏡に関して講ずる是正措置を表し、
前記フィードバック・データをユーザ・インターフェース・サブシステムまたは制御サブシステムの内少なくとも１つに送るように実行可能命令によってプログラミングされる、コンピューティング・デバイスと、
を備える、内視鏡手順の機械学習ベースの分析システム

【請求項2】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、
前記手順異常が過小膨張異常または過剰膨張異常の内１つであることに基づいて、前記是正措置が前記バルーンの膨張圧力に対する変更を含むと判断し、
ユーザ・インターフェース上に、前記膨張圧力を変更する行為を示すメッセージを表示する、
ようにプログラミングされる、システム。

【請求項3】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が低退行速度異常または高退行速度異常の内１つであることに基づいて、前記是正措置が前記バルーン内視鏡の退行速度に対する変更を含むと判断し、
ユーザ・インターフェース上に、前記退行速度を変更する行為を示すメッセージを表示する、
ようにプログラミングされる、システム。

【請求項4】

請求項３記載のシステムにおいて、前記手順異常が、低退行速度異常を含み、前記退行速度を変更する行為が、前記退行速度の上昇を含む、システム。

【請求項5】

請求項３記載のシステムにおいて、前記手順異常が、高退行速度異常を含み、前記退行速度を変更する行為が、前記退行速度の低下を含む、システム。

【請求項6】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が組織異常の検出を含むことに基づいて、前記是正措置が前記バルーン内視鏡の退行を停止することを含むと判断し、ユーザ・インターフェース上に、前記バルーン内視鏡の退行を停止することを示すメッセージを表示するようにプログラミングされる、システム。

【請求項7】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が過小膨張異常を含むことに基づいて、前記バルーンの膨張を確認することを決定し、
ユーザ・インターフェース上に、バルーンの膨張を確認することを示すメッセージを表示するようにプログラミングされる、システム。

【請求項8】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が偏向率異常を含むことに基づいて、前記是正措置がバルーン内視鏡の偏向率の低下を含むと判断し、
ユーザ・インターフェース上に、前記バルーン内視鏡の偏向率を低下させることを示すメッセージを表示するようにプログラミングされる、システム。

【請求項9】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が、過剰膨張異常または低退行速度異常の内１つであることに基づいて、前記是正措置が前記バルーンの膨張圧力の低下を含むと判断し、
前記バルーンの膨張圧力を低下させるコマンドを、前記制御サブシステムに生成するようにプログラミングされる、システム。

【請求項10】

請求項９記載のシステムにおいて、前記バルーンの膨張圧力を低下させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力を、より低い圧力レベルに切り替えさせる、システム。

【請求項11】

請求項９記載のシステムにおいて、前記バルーンの膨張圧力を低下させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力を、特定の圧力レベルの圧力範囲以内において、より低い目標圧力メトリックに調整させる、システム。

【請求項12】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が過小膨張異常または高退行速度異常の内１つであることに基づいて、前記是正措置が前記バルーンの膨張圧力の上昇を含むと判断し、
前記バルーンの膨張圧力を高めるコマンドを、前記制御サブシステムに生成するようにプログラミングされる、システム。

【請求項13】

請求項１２記載のシステムにおいて、前記バルーンの膨張圧力を上昇させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力をより高い圧力レベルに切り替えさせる、システム。

【請求項14】

請求項１２記載のシステムにおいて、前記バルーンの膨張圧力を上昇させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力を、特定の圧力レベルの圧力範囲内において、より高い目標圧力メトリックに調整させる、システム。

【請求項15】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が組織異常関連手順異常を含むことに基づいて、前記是正措置が前記バルーンの膨張圧力の停留圧力までの上昇を含むと判断し、
前記バルーンの膨張圧力を前記停留圧力まで上昇させるコマンドを、前記制御サブシステムに生成するようにプログラミングされる、システム。

【請求項16】

請求項１５記載のシステムにおいて、前記組織異常が、腫瘍、大出血、腸組織における穿孔または破断、および組織の深刻な悪条件の内少なくとも１つを含む、システム。

【請求項17】

請求項１５または１６記載のシステムにおいて、前記制御サブシステムにコマンドを生成するために、前記コンピューティング・デバイスが、他の実行可能命令によって、コマンドをバルーン膨張／収縮システムに生成するように、プログラミングされる、システム。

【請求項18】

請求項１～１６のいずれか１項記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
前記可視化エレメントを使用して、第２画像を得て、
前記機械学習モデルを使用して前記第２画像を分析し、第２分類出力データを生成し、
少なくとも部分的に、前記第２分類出力データに基づいて、前記第２画像がいずれの手順異常にも対応しないことを判定し、
前記手順異常の修復に関するメッセージを明示させる(presentation)
ように、プログラミングされる、システム。

【請求項19】

請求項１～１６のいずれか１項記載のシステムであって、更に、１つ以上のプロセッサとコンピュータ読み取り可能メモリとを含む訓練コンピューティング・デバイスを備え、
前記訓練コンピューティング・デバイスが、実行可能命令によって、少なくとも、
複数の画像を得て、
前記複数の画像を使用して、複数の訓練データ画像を生成し、前記複数の訓練データ画像の内第１部分集合における画像が、前記手順異常の存在について陰性分類を表すラベル・データと関連付けられ、前記複数の訓練データ画像の内第２部分集合における画像が、前記手順異常の存在について陽性分類を表すラベル・データと関連付けられ、
前記複数の訓練データ画像を使用して、前記機械学習モデルを訓練し、
前記機械学習モデルを１つ以上の内視鏡システムに配布する、
ようにプログラミングされる、システム。

【請求項20】

請求項１～１６のいずれか１項記載のシステムにおいて、前記手順異常が、前記コンピューティング・デバイスが、前記機械学習モデルを使用して、検出するように構成された複数の手順異常の内の１つである、システム。

【請求項21】

コンピュータ実装方法であって、特定のコンピュータ実行可能命令を実行するように構成された１つ以上のプロセッサを備えるコンピュータ・システムの制御の下で、
機械的に組織を強化するように構成された内部撮像システムからの機械的強化組織の一部の画像を得るステップと、
手順異常分類を表す分類データを生成するように訓練された前記機械学習モデルを使用して、前記画像を分析するステップと、
少なくとも部分的に、前記分類データに基づいて、前記画像が手順異常に対応すると判定するステップと、
前記手順異常に基づいて、フィードバック・データを生成するステップであって、前記フィードバック・データが、講ずる措置を表す、ステップと、
前記フィードバック・データを、前記内部撮像デバイスと関連付けられたユーザ・インターフェース・サブシステムまたは制御サブシステムの内少なくとも１つに送るステップと、
を含む、コンピュータ実装方法。

【請求項22】

請求項２１記載のコンピュータ実装方法において、前記画像が前記手順異常に対応すると判定するステップが、
前記画像が、膨張可能バルーンに関連する過小膨張異常、前記膨張可能バルーンに関連する過剰膨張異常、低後退速度異常、高後退速度異常、または偏向率(deflection rate)異常の内１つに対応すると判定するステップを含む、コンピュータ実装方法。

【請求項23】

請求項２１または２２記載のコンピュータ実装方法であって、更に、少なくとも部分的に、前記手順異常に基づいて、講ずる措置を決定するステップを含み、前記フィードバック・データが、前記講ずる措置に関してユーザ・インターフェースに表示されるメッセージを含む、コンピュータ実装方法。

【請求項24】

請求項２１または２２記載のコンピュータ実装方法であって、更に、少なくとも部分的に、前記手順異常に基づいて、講ずる措置を決定するステップを含み、前記フィードバック・データが、前記手順異常に対処するために、前記制御サブシステムが前記措置を実行するための命令を含む、コンピュータ実装方法。

【請求項25】

請求項２４記載のコンピュータ実装方法において、前記講ずる措置を決定するステップが、
前記内部撮像デバイスの膨張可能バルーンの膨張度合いを、より低い度合いの停留未達圧力に低下させる、
前記内部撮像デバイスの膨張可能バルーンの膨張度合いを、より高い度合いの停留未達圧力に上昇させる、
前記内部撮像デバイスの膨張可能バルーンの膨張度合いを、停留圧力に上昇させる、または、
前記内部撮像デバイスの膨張可能バルーンを収縮させる、
の内少なくとも１つを、前記制御サブシステムが実行することを決定するステップを含む、コンピュータ実装方法。

【請求項26】

請求項２１記載のコンピュータ実装方法であって、更に、
前記内部撮像デバイスから、前記機械的強化組織の第２部分の第２画像を得るステップと、
組織異常を検出するように訓練された第２機械学習モデルを使用して、前記第２画像を分析するステップと、
少なくとも部分的に、前記第２機械学習モデルを使用して前記第２画像を分析した結果に基づいて、前記第２画像が組織異常に対応すると判定するステップと、
是正措置を実行するステップであって、前記是正措置が、
前記内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させるコマンドを、前記制御サブシステムに生成する、および
ユーザ・インターフェース上に、前記内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させることを操作者に命令するメッセージを表示する、
の内少なくとも１つを含む、ステップと、
を含む、コンピュータ実装方法。

【請求項27】

請求項２１記載のコンピュータ実装方法であって、更に、
前記内部撮像デバイスから、前記機械的強化組織の第２部分の第２画像を得るステップと、
組織異常を検出するように訓練された第２機械学習モデルを使用して、前記第２画像を分析するステップと、
少なくとも部分的に、前記第２機械学習モデルを使用して前記第２画像を分析した結果に基づいて、前記第２画像が組織異常に対応すると判定するステップと、
是正措置を実行するステップであって、前記是正措置が、
前記内部撮像デバイスの機械的強化エレメントを停留状態に切り替えるコマンドを、前記制御サブシステムに生成すること、および
ユーザ・インターフェース上に、前記内部撮像デバイスの機械的強化エレメントを停留状態に切り替えることを操作者に命令するメッセージを表示すること、
の内少なくとも１つを含む、ステップと、
を含む、コンピュータ実装方法。

【請求項28】

請求項２７記載のコンピュータ実装方法において、前記第２画像が組織異常に対応すると判定するステップが、前記第２画像が、腫瘍、大出血、組織における穿孔または断裂、および組織の深刻な悪条件の内少なくとも１つに対応すると判定するステップを含む、コンピュータ実装方法。

【請求項29】

請求項２１記載のコンピュータ実装方法であって、更に、
前記内部撮像デバイスから、前記機械的強化組織の第２部分の第２画像を得るステップと、
組織異常を検出するように訓練された第２機械学習モデルを使用して、前記第２画像を分析するステップと、
少なくとも部分的に、前記第２機械学習モデルを使用して前記第２画像を分析した結果に基づいて、前記第２画像が組織異常に対応すると判定するステップと、
是正措置を実行するステップであって、前記是正措置が、
前記内部撮像デバイスの膨張可能バルーンを収縮させるコマンドを、前記制御サブシステムに生成すること、および
ユーザ・インターフェース上に、前記内部撮像デバイスの膨張可能バルーンを収縮させることを操作者に命令するメッセージを表示すること、
の内、少なくとも１つを含む、ステップと、
を含む、コンピュータ実装方法。

【請求項30】

請求項２９記載のコンピュータ実装方法において、前記第２画像が前記組織異常に対応すると判定するステップが、前記第２画像が、組織の穿孔、大量出血、および組織の深刻な悪条件の内少なくとも１つに対応すると判定するステップを含む、コンピュータ実装方法。

【請求項31】

システムであって、
可視化エレメントと機械的強化エレメントとを含む内部撮像デバイスであって、前記機械的強化エレメントが、組織を機械的に変更するように構成され、前記可視化エレメントが、機械的に変更した組織の画像を生成するように構成される、内部撮像デバイスと、
１つ以上のプロセッサと、コンピュータ読み取り可能メモリとを含むコンピューティング・デバイスであって、前記コンピューティング・デバイスが、実行可能命令によって、少なくとも、
前記可視化エレメントを使用して、組織の一部の画像を得て、
手順異常分類を表す分類出力データを生成するように訓練された機械学習モデルを使用して、前記画像を分析し、
少なくとも部分的に、前記分類出力データに基づいて、前記画像が手順異常に対応すると判定し、
前記手順異常に基づいて、フィードバック・データを生成し、前記フィードバック・データが、前記手順異常に基づいて講ずる措置を表す、
ようにプログラミングされる、コンピューティング・デバイスと、
を備える、システム。

【請求項32】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、講ずる措置を判定するようにプログラミングされ、前記講ずる措置が、少なくとも部分的に、前記手順異常が過小膨張異常または過剰膨張異常の内１つであることに基づいて、前記機械的強化エレメントの膨張圧力の調節を含み、前記フィードバック・データが、前記膨張圧力を変更する方法を示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む、システム。

【請求項33】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、講ずる措置を判定するようにプログラミングされ、前記講ずる措置が、少なくとも部分的に、前記手順異常が低退行速度異常または高退行速度異常の内１つであることに基づいて、前記内部撮像デバイスの退行速度の調節を含み、前記フィードバック・データが、前記退行速度を調節する行為を示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む、システム。

【請求項34】

請求項３３記載のシステムにおいて、前記手順異常が、低退行速度異常を含み、前記退行速度を調節する行為が、前記退行速度の上昇を含む、システム。

【請求項35】

請求項３３記載のシステムにおいて、前記手順異常が、高退行速度異常を含み、前記退行速度を調節する行為が、前記退行速度の低下を含む、システム。

【請求項36】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、前記講ずる措置を決定するようにプログラミングされ、前記講ずる措置が、前記機械的強化エレメントの膨張の確認を含み、フィードバック・データが、前記機械的強化エレメントの膨張を確認することを示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む、システム。

【請求項37】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、前記講ずる措置を決定するようにプログラミングされ、前記講ずる措置が、少なくとも部分的に、前記手順異常が偏向率異常であることに基づいて、前記内部撮像デバイスの偏向率の低下を含み、フィードバック・データが、前記内部撮像デバイスの偏向率を低下させることを示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む、システム。

【請求項38】

請求項３１記載のシステムにおいて、前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、前記手順異常が過剰膨張異常または低退行速度異常の内１つであることに基づいて、前記機械的強化エレメントの膨張圧力を低下させることを決定するようにプログラミングされ、
前記フィードバック・データが、制御サブシステムが前記機械的強化エレメントの膨張圧力を自動的に低下させるためのコマンドを含む、システム。

【請求項39】

請求項３１記載のシステムにおいて、前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、前記手順異常が、過小膨張異常または高退行速度異常の内１つであることに基づいて、前記機械的強化エレメントの膨張圧力を上昇させることを決定するようにプログラミングされ、
前記フィードバック・データが、制御サブシステムが前記機械的強化エレメントの膨張圧力を自動的に上昇させるためのコマンドを含む、システム。

【請求項40】

請求項３１記載のシステムにおいて、前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、前記手順異常が組織異常の検出を含むことに基づいて、前記機械的強化エレメントの圧力を停留圧力まで上昇させることを決定するようにプログラミングされ、
前記フィードバック・データが、制御サブシステムが前記膨張圧力を前記停留圧力まで自動的に上昇させるためのコマンドを含む、システム。

【請求項41】

請求項３１記載のシステムにおいて、前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、前記手順異常が組織異常の検出を含むことに基づいて、前記機械的強化エレメントを停留状態に切り替えることを決定するようにプログラミングされ、
前記フィードバック・データが、制御サブシステムが前記機械的強化エレメントを前記停留状態に自動的に切り替えるためのコマンドを含む、システム。

【請求項42】

請求項３１記載のシステムにおいて、前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、前記手順異常が組織異常関連手順異常を含むことに基づいて、前記機械的強化エレメントを停留状態に切り替え、更に前記内部撮像デバイスを少なくとも部分的に後退させることを決定するようにプログラミングされ、
前記フィードバック・データが、前記機械的強化エレメントを前記停留状態に切り替えること、および前記内部撮像デバイスを少なくとも部分的に後退させることを示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む、システム。

【請求項43】

請求項４２記載のシステムにおいて、前記フィードバック・データが、更に、制御サブシステムが前記機械的強化エレメントを前記停留状態に自動的に切り替えるためのコマンドを含む、システム。

【請求項44】

請求項３１記載のシステムにおいて、前記機械的強化エレメントが、少なくとも停留未達圧力範囲および停留圧力範囲内において動作するように構成された膨張可能バルーンを含み、
前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、前記手順異常が組織異常関連手順異常を含むことに基づいて、前記膨張可能バルーンを、前記停留圧力範囲内の第１停留圧力よりは高い第２停留圧力まで膨張させることを決定するようにプログラミングされ、
前記フィードバック・データが、制御サブシステムが前記膨張圧力を前記第２停留圧力まで自動的に上昇させるためのコマンドを含む、システム。

【請求項45】

請求項４２～４４のいずれか１項記載のシステムにおいて、前記組織異常関連手順異常が、少なくとも部分的に遮られた組織異常の検出に基づく、システム。

【請求項46】

請求項３１～４４のいずれか１項記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
前記可視化エレメントを使用して第２画像を得て、
前記機械学習モデルを使用して前記第２画像を分析して、第２分類出力データを生成し、
少なくとも部分的に、前記第２分類出力データに基づいて、前記第２画像がいずれの手順異常にも対応しないことを判定し、
前記手順異常の修復に関するメッセージを明示させるようにプログラミングされる、システム。

【請求項47】

請求項３１記載のシステムにおいて、前記機械的強化エレメントが、膨張可能バルーンを含み、前記講ずる措置を決定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、制御サブシステムが、前記膨張可能バルーンの膨張度合いを、
より低い度合いの停留未達圧力、
より高い度合いの停留未達圧力、
停留圧力、または
収縮状態の内少なくとも１つに変化させることを決定するようにプログラミングされる、システム。

【請求項48】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
前記内部撮像デバイスから、前記機械的強化組織の第２部分の第２画像を得て、
組織異常を検出するように訓練された第２機械学習モデルを使用して、前記第２画像を分析し、
少なくとも部分的に、前記第２機械学習モデルを使用して前記第２画像を分析した結果に基づいて、前記第２画像が組織異常に対応すると判定し、
是正措置を実行するようにプログラミングされ、前記是正措置が、
前記内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させるコマンドを、制御サブシステムに生成すること、および
前記内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させることを操作者に命令するメッセージを表示すること、
の内少なくとも１つを含む、システム。

【請求項49】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
前記内部撮像デバイスから、前記機械的強化組織の第２部分の第２画像を得て、
組織異常を検出するように訓練された第２機械学習モデルを使用して、前記第２画像を分析し、
少なくとも部分的に、前記第２機械学習モデルを使用して前記第２画像を分析した結果に基づいて、前記第２画像が組織異常に対応すると判定し、
是正措置を実行するようにプログラミングされ、前記是正措置が、
前記機械的強化エレメントを停留状態に切り替えるコマンドを、制御サブシステムに生成すること、および
前記内部撮像デバイスの機械的強化エレメントを停留状態に切り替えることを操作者に命令するメッセージを表示する、
の内、少なくとも１つを含む、システム。

【請求項50】

請求項３１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
前記内部撮像デバイスから、前記機械的強化組織の第２部分の第２画像を得て、
組織異常を検出するように訓練された第２機械学習モデルを使用して、前記第２画像を分析し、
少なくとも部分的に、前記第２機械学習モデルを使用して前記第２画像を分析した結果に基づいて、前記第２画像が組織異常に対応すると判定し、
是正措置を実行するようにプログラミングされ、前記是正措置が、
前記内部撮像デバイスの膨張可能バルーンを収縮させるコマンドを、制御サブシステムに生成すること、および
前記内部撮像デバイスの膨張可能バルーンを収縮させることを操作者に命令するメッセージを表示すること、
の内少なくとも１つを含む、システム。

【請求項51】

請求項５０または５１記載のシステムにおいて、前記第２画像が組織異常に対応すると判定するために、前記コンピューティング・デバイスが、他の実行可能命令によって、前記第２画像が、前記組織の一部の穿孔、大量出血、および前記組織の一部の深刻な悪条件の内少なくとも１つに対応すると判定するようにプログラミングされる、システム。

【請求項52】

請求項３１記載のシステムにおいて、前記手順異常が、前記組織の一部の無起伏構造に関連する組織異常関連手順異常を含む、システム。

【発明の詳細な説明】

【技術分野】

【0001】

引用による援用
[0001] 本出願人の公開ＰＣＴ特許出願ＷＯ２００５／０７４３７７、ＷＯ２００７／０１７８５４、ＷＯ２００７／１３５６６５、ＷＯ２００８／００４２２８、ＷＯ２００８／１４２６８５、ＷＯ２００９／１２２３９５、ＷＯ２０１０／０４６８９１、ＷＯ２０１０／１３７０２５、ＷＯ２０１１／１１１０４０、およびＷＯ２０１２／１２０４９２を引用する。これらの特許出願をここで引用したことにより、その開示内容は本願にも含まれ、本明細書の一部をなすものとする。また、本出願人のＰＣＴ特許出願ＰＣＴ／ＵＳ２１／２３１３９も引用する。この特許出願をここで引用したことにより、その開示内容は本願にも含まれ、本明細書の一部をなすものとする。
分野
[0002] 本開示は、一般的には、内部撮像に関し、更に特定すれば、内部画像分析およびフィードバックのための人工知能ベースのシステムに関する。

【従来技術】

【0002】

[0003] 内視鏡は、内部身体組織の画像(imagery)を生成する。医療従事者は、画像(image)を使用して、ポリープまたは他の病変のような、組織における対象領域を特定することができる。対象領域を特定するときに医療従事者を補助するために、人工知能ベースの画像分析システムのような種々の補助装置(aids)を採用することができる。

【発明の概要】

【0003】

[0004] 以下に示すのは、１つ以上の態様の基本的理解を得るために、このような態様の簡略化した摘要である。この摘要は、全ての考えられる態様の広範な全体像ではなく、全ての態様の主要なまたは肝要なエレメントを特定することも、任意のまたは全ての態様の範囲を明確に定めることも意図していない。その唯一の目的は、後に提示する更に詳細な説明の前置きとして、１つ以上の態様のいくつかの概念を簡略化した形態で紹介することである。

【0004】

[0005] 本開示の一態様では、内視鏡手順の機械学習ベースの分析システムを提供する。このシステムは、可視化エレメントと、膨張可能なバルーンとを含むバルーン内視鏡を備え、このバルーン内視鏡は、膨張可能なバルーンを停留未達圧力(sub-anchoring pressure)まで膨張させて、患者の腸管腔内を移動するとき、組織の可視化を機械的に強化するように構成され、膨張可能なバルーンが、組織の自然な起伏形状(topography)を、少なくとも部分的に、腸管腔の組織を軸方向に伸ばして、平らにするまたは広げる。更に、１つ以上のプロセッサとコンピュータ読み取り可能メモリとを含むコンピューティング・デバイスを備える。このコンピューティング・デバイスは、実行可能命令によって、少なくとも、可視化エレメントを使用して組織の一部の画像を得て、手順異常分類を表す分類出力データを生成するように訓練された機械学習モデルを使用してこの画像を分析し、少なくとも部分的に、分類出力データに基づいて、画像が手順異常に対応すると判定し、この手順異常に基づいて、フィードバック・データを生成し、このフィードバック・データがバルーン内視鏡に関して講ずる是正措置を表し、フィードバック・データをユーザ・インターフェース・サブシステムまたは制御サブシステムの内少なくとも１つに送るようにプログラミングされる。

【0005】

[0006] 直前の章のシステムは、ある実施形態では、以下の特徴の内任意のもの、または以下の特徴の任意のコンビネーションもしくはサブコンビネーションを含むことができる。コンピューティング・デバイスは、更に他の実行可能命令によって、手順異常が過小膨張(under-inflation)異常または過剰膨張(over-inflation)異常の内１つであることに少なくとも部分的に基づいて、是正措置がバルーンの膨張圧力の変更を含むと判断し、ユーザ・インターフェース上に、膨張圧力を変更しようとするときの方法を示すメッセージを表示するようにプログラミングされる。コンピューティング・デバイスは、更に他の実行可能命令によって、手順異常が低退行速度異常または高退行速度異常の内１つであることに少なくとも部分的に基づいて、是正措置が、バルーン内視鏡の退行速度変更を含むと判断し、ユーザ・インターフェース上に、退行速度を変更しようとするときの方法を示すメッセージを表示するようにプログラミングされる。手順異常は、低退行速度異常を含み、退行速度を変更しようとするときの方法は、退行速度の上昇を含む。手順異常は、高退行速度異常を含み、退行速度を変更しようとするときの方法は、退行速度の低下を含む。コンピューティング・デバイスは、更に他の実行可能命令によって、手順異常が組織検出異常を含むことに少なくとも部分的に基づいて、是正措置が、バルーン内視鏡の退行を停止することを含むと判定し、ユーザ・インターフェース上に、バルーン内視鏡の退行を停止することを示すメッセージを表示するようにプログラミングされる。コンピューティング・デバイスは、更に他の実行可能命令によって、手順異常が過小膨張異常を含むことに少なくとも部分的に基づいて、バルーンの膨張を確認することを決定し、ユーザ・インターフェース上に、バルーンの膨張を確認することを示すメッセージを表示するようにプログラミングされる。（**前記、改行、請求項番号、見直し後削除、が→は検討）コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が偏向率異常を含むことに基づいて、是正措置がバルーン内視鏡の偏向率の低下を含むと判断し、ユーザ・インターフェース上に、バルーン内視鏡の偏向率を低下させることを示すメッセージを表示するようにプログラミングされる。コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が過剰膨張異常または低退行速度異常の内１つであることに基づいて、是正措置がバルーンの膨張圧力の低下を含むと判断し、バルーンの膨張圧力を低下させるコマンドを、制御サブシステム生成するようにプログラミングされる。バルーンの膨張圧力を低下させるために、コマンドは、制御サブシステムに、バルーンの膨張圧力をより低い圧力レベルに切り替えさせる。バルーンの膨張圧力を低下させるために、コマンドは、制御サブシステムに、バルーンの膨張圧力を、特定の圧力レベルの圧力範囲以内において、より低い目標圧力メトリックに調整させる。コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が過小膨張異常または高退行速度異常の内１つであることに基づいて、是正措置がバルーンの膨張圧力の上昇を含むと判断し、バルーンの膨張圧力を高めるコマンドを、制御サブシステムに生成するようにプログラミングされる。バルーンの膨張圧力を上昇させるために、コマンドは、制御サブシステムに、バルーンの膨張圧力をより高い圧力レベルに切り替えさせる。バルーンの膨張圧力を上昇させるために、コマンドは、制御サブシステムに、バルーンの膨張圧力を、特定の圧力レベルの圧力範囲内において、より高い目標圧力メトリックに調整させる。コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が組織異常関連手順異常を含むことに基づいて、是正措置がバルーンの膨張圧力の停留圧力までの上昇を含むと判断し、バルーンの膨張圧力を停留圧力まで上昇させるコマンドを、制御サブシステムに生成するようにプログラミングされる。組織異常は、腫瘍、大出血、腸組織における穿孔または破断、および組織の深刻な悪条件の内少なくとも１つを含む。制御サブシステムにコマンドを生成するために、コンピューティング・デバイスは、他の実行可能命令によって、コマンドをバルーン膨張／収縮システムに生成するように、プログラミングされる。コンピューティング・デバイスは、他の実行可能命令によって、可視化エレメントを使用して第２画像を得て、機械学習モデルを使用して第２画像を分析し、第２分類出力データを生成し、少なくとも部分的に、第２分類出力データに基づいて、第２画像がいずれの手順異常にも対応しないことを判定し、手順異常の修復に関するメッセージを明示させる(cause presentation)ように、プログラミングされる。訓練コンピューティング・デバイスは、１つ以上のプロセッサとコンピュータ読み取り可能メモリとを含み、この訓練コンピューティング・デバイスが、実行可能命令によって、少なくとも、複数の画像を得て、複数の画像を使用して、複数の訓練データ画像を生成し、複数の訓練データ画像の内第１部分集合における画像が、手順異常の存在について陰性分類を表すラベル・データと関連付けられ、複数の訓練データ画像の内第２部分集合における画像が、手順異常の存在について陽性分類を表すラベル・データと関連付けられ、複数の訓練データ画像を使用して、機械学習モデルを訓練し、機械学習モデルを１つ以上の内視鏡システムに配布するようにプログラミングされる。手順異常は、コンピューティング・デバイスが機械学習モデルを使用して検出するように構成された、複数の手順異常の内の１つである。

【0006】

[0007] 本開示の他の態様は、コンピュータ実装方法を提供する。この方法は、特定のコンピュータ実行可能命令を実行するように構成された１つ以上のプロセッサを備えるコンピュータ・システムの制御の下で、
機械的に組織を強化するように構成された内部撮像デバイスからの機械的強化組織の一部の画像を得るステップと、
手順異常分類を表す分類データを生成するように訓練された機械学習モデルを使用して、画像を分析するステップと、
少なくとも部分的に、分類データに基づいて、画像が手順異常に対応すると判定するステップと、
手順異常に基づいて、フィードバック・データを生成するステップであって、フィードバック・データが、講ずる措置を表す、ステップと、
フィードバック・データを、内部撮像デバイスと関連付けられたユーザ・インターフェース・サブシステムまたは制御サブシステムの少なくとも１つに送るステップとを含む。

【0007】

[0008] 直前の章のコンピュータ実装方法は、ある実施形態では、以下の特徴の内任意のもの、または以下の特徴の任意のコンビネーションもしくはサブコンビネーションを含むことができる。画像が手順異常に対応すると判定するステップは、画像が、膨張可能バルーンに関連する過小膨張異常、膨張可能バルーンに関連する過剰膨張異常、低後退(retraction)速度異常、高後退速度異常、または偏向率(deflection rate)異常の内１つに対応すると判定するステップと、少なくとも部分的に、手順異常に基づいて、講ずる措置を決定するステップであって、フィードバック・データが、講ずる措置に関して、ユーザ・インターフェースに表示されるメッセージを含む、ステップと、少なくとも部分的に、手順異常に基づいて、講ずる措置を決定するステップであって、フィードバック・データが、制御サブシステムが手順異常に対処するための措置を実行するためのコマンドを含む、ステップとを含む。講ずる措置を決定するステップは、内部撮像デバイスの膨張可能バルーンの膨張度合いを、より低い度合いの停留未達圧力に低下させる、内部撮像デバイスの膨張可能バルーンの膨張度合いを、より高い度合いの停留未達圧力に上昇させる、内部撮像デバイスの膨張可能バルーンの膨張度合いを、停留圧力に上昇させる、または、内部撮像デバイスの膨張可能バルーンを収縮させるの内少なくとも１つを、制御サブシステムが実行することを決定するステップを含む。コンピュータ実装方法は、内部撮像デバイスから、機械的強化組織の第２部分の第２画像を得るステップと、組織異常を検出するように訓練された第２機械学習モデルを使用して、第２画像を分析するステップと、少なくとも部分的に、第２機械学習モデルを使用して第２画像を分析した結果に基づいて、第２画像が組織異常に対応すると判定するステップと、是正措置を実行するステップであって、是正措置が、内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させるコマンドを、制御サブシステムに生成すること、およびユーザ・インターフェース上に、内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させることを操作者に命令するメッセージを表示することの内少なくとも１つを含む、ステップとを含む。コンピュータ実装方法は、内部撮像デバイスから、機械的強化組織の第２部分の第２画像を得るステップと、組織異常を検出するように訓練された第２機械学習モデルを使用して、第２画像を分析するステップと、少なくとも部分的に、第２機械学習モデルを使用して第２画像を分析した結果に基づいて、第２画像が組織異常に対応すると判定するステップと、是正措置を実行するステップであって、是正措置が、内部撮像デバイスの機械的強化エレメントを停留状態に切り替えるコマンドを、制御サブシステムに生成すること、およびユーザ・インターフェース上に、内部撮像デバイスの機械的強化エレメントを停留状態に切り替えることを操作者に命令するメッセージを表示することの内少なくとも１つを含む、ステップとを含む。第２画像が組織異常に対応すると判定するステップは、第２画像が、腫瘍、大出血、組織における穿孔または断裂、および組織の深刻な悪条件の内少なくとも１つに対応すると判定するステップを含む。コンピュータ実装方法は、内部撮像デバイスから機械的強化組織の第２部分の第２画像を得るステップと、組織異常を検出するように訓練された第２機械学習モデルを使用して、第２画像を分析するステップと、少なくとも部分的に、第２機械学習モデルを使用して第２画像を分析した結果に基づいて、第２画像が組織異常に対応すると判定するステップと、是正措置を実行するステップであって、是正措置が、内部撮像デバイスの膨張可能バルーンを収縮させるコマンドを、制御サブシステムに生成すること、およびユーザ・インターフェース上に、内部撮像デバイスの膨張可能バルーンを収縮させることを操作者に命令するメッセージを表示することの内、少なくとも１つを含む、ステップとを含む。 第２画像が組織異常に対応すると判定するステップは、第２画像が、組織の穿孔、大量出血、および組織の深刻な悪条件の内少なくとも１つに対応すると判定するステップを含む。

【0008】

[0009] 本開示の更に他の態様は、システムを提供する。このシステムは、可視化エレメントと機械的強化エレメントとを含む内部撮像デバイスであって、機械的強化エレメントが、組織を機械的に変更するように構成され、可視化エレメントが、機械的に変更した組織の画像を生成するように構成される、内部撮像デバイスと、１つ以上のプロセッサと、コンピュータ読み取り可能メモリとを含むコンピューティング・デバイスとを備える。コンピューティング・デバイスは、実行可能命令によって、少なくとも、可視化エレメントを使用して、組織の一部の画像を得て、手順異常分類を表す分類出録データを生成するように訓練された機械学習モデルを使用して画像を分析し、少なくとも部分的に、分類出力データに基づいて、画像が手順異常に対応すると判定し、手順異常に基づいて、フィードバック・データを生成するようにプログラミングされ、フィードバック・データが、手順異常に基づいて講ずる措置を表す。

【0009】

[0010] 直前の章のシステムは、ある実施形態では、以下の特徴の内任意のもの、または以下の特徴の任意のコンビネーションもしくはサブコンビネーションを含むことができる。コンピューティング・デバイスは、他の実行可能命令によって、講ずる措置を判定するようにプログラミングされ、講ずる措置が、少なくとも部分的に、手順異常が過小膨張異常または過剰膨張異常の内１つであることに基づいて、機械的強化エレメントの膨張圧力の調節を含み、フィードバック・データが、膨張圧力を変更する方法を示すメッセージを、ユーザ・インターフェースを通じて明示する(present)ために、含む。コンピューティング・デバイスは、他の実行可能命令によって、講ずる措置を判定するようにプログラミングされ、講ずる措置が、少なくとも部分的に、手順異常が低退行速度異常または高退行速度異常の内１つであることに基づいて、内部撮像デバイスの退行速度の調節を含み、フィードバック・データが、退行速度を調節する行為を示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む。手順異常は、低退行速度異常を含み、退行速度を調節する行為が退行速度の上昇を含む。手順異常は、高退行速度異常を含み、退行速度を調節する行為が退行速度の低下を含む。コンピューティング・デバイスは、他の実行可能命令によって、講ずる措置を決定するようにプログラミングされ、講ずる措置が、機械的強化エレメントの膨張の確認を含み、フィードバック・データが、機械的強化エレメントの膨張を確認することを示すメッセージを、ユーザ・インターフェースを通じて表示するために含む。コンピューティング・デバイスは、他の実行可能命令によって、講ずる措置を決定するようにプログラミングされ、講ずる措置が、少なくとも部分的に、手順異常が偏向率異常であることに基づいて、内部撮像デバイスの偏向率の低下を含み、フィードバック・データが、内部撮像デバイスの偏向率を低下させることを示すメッセージを、ユーザ・インターフェースを通じて表示するために、含む。講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が過剰膨張異常または低退行速度異常の内１つであることに基づいて、機械的強化エレメントの膨張圧力を低下させることを決定するようにプログラミングされ、フィードバック・データが、制御サブシステムが機械的強化エレメントの膨張圧力を自動的に低下させるためのコマンドを含む。講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が過小膨張異常または高退行速度異常の内１つであることに基づいて、機械的強化エレメントの膨張圧力を上昇させることを決定するようにプログラミングされ、フィードバック・データが、制御サブシステムが機械的強化エレメントの膨張圧力を自動的に上昇させるためのコマンドを含む。講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が組織異常の検出を含むことに基づいて、機械的強化エレメントの圧力を停留圧力まで上昇させることを決定するようにプログラミングされ、フィードバック・データが、制御サブシステムが膨張圧力を停留圧力まで自動的に上昇させるためのコマンドを含む。講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が組織異常の検出を含むことに基づいて、機械的強化エレメントを停留状態に切り替えることを決定するようにプログラミングされ、フィードバック・データが、制御サブシステムが機械的強化エレメントを停留状態に自動的に切り替えるためのコマンドを含む。講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が組織異常関連手順異常を含むことに基づいて、機械的強化エレメントを停留状態に切り替えること、および内部撮像デバイスを少なくとも部分的に退行させることを決定するようにプログラミングされ、フィードバック・データが、機械的強化エレメントを停留状態に切り替えること、および内部撮像デバイスを少なくとも部分的に退出させることを示すメッセージを、ユーザ・インターフェースを通じて表示するために含む。フィードバック・データは、更に、制御サブシステムが機械的強化エレメントを停留状態に自動的に切り替えるためのコマンドを含む。機械的強化エレメントは、少なくとも停留未達圧力範囲および停留圧力範囲内において動作するように構成された膨張可能バルーンを含み、講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、少なくとも部分的に、手順異常が組織異常関連手順異常を含むことに基づいて、膨張可能バルーンを、停留圧力範囲内の第１停留圧力よりは高い第２停留圧力まで膨張させることを決定するようにプログラミングされ、フィードバック・データが、制御サブシステムが膨張圧力を第２停留圧力まで自動的に上昇させるためのコマンドを含む。組織異常関連手順異常は、少なくとも部分的に遮られた組織異常の検出に基づく。コンピューティング・デバイスは、他の実行可能命令によって、可視化エレメントを使用して第２画像を得て、機械学習モデルを使用して第２画像を分析して、第２分類出力データを生成し、少なくとも部分的に、第２分類出力データに基づいて、第２画像がいずれの手順異常にも対応しないことを判定し、手順異常の修復に関するメッセージを明示させるようにプログラミングされる。機械的強化エレメントは、膨張可能バルーンを含み、講ずる措置を決定するために、コンピューティング・デバイスは、他の実行可能命令によって、制御サブシステムが、膨張可能バルーンの膨張度合いを、より低い度合いの停留未達圧力、より高い度合いの停留未達圧力、停留圧力、または収縮状態の内少なくとも１つに変化させることを決定するようにプログラミングされる。コンピューティング・デバイスは、他の実行可能命令によって、内部撮像デバイスから、機械的強化組織の第２部分の第２画像を得て、組織異常を検出するように訓練された第２機械学習モデルを使用して、第２画像を分析し、少なくとも部分的に、第２機械学習モデルを使用して第２画像を分析した結果に基づいて、第２画像が組織異常に対応すると判定し、是正措置を実行するようにプログラミングされ、是正措置が、内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させるコマンドの制御サブシステムへの生成、および内部撮像デバイスの膨張可能バルーンの圧力を停留圧力まで上昇させることを操作者に命令するメッセージの表示の内少なくとも１つを含む。コンピューティング・デバイスは、他の実行可能命令によって、内部撮像デバイスから、機械的強化組織の第２部分の第２画像を得て、組織異常を検出するように訓練された第２機械学習モデルを使用して、第２画像を分析し、 少なくとも部分的に、第２機械学習モデルを使用して第２画像を分析した結果に基づいて、第２画像が組織異常に対応すると判定し、是正措置を実行するようにプログラミングされ、是正措置が、機械的強化エレメントを停留状態に切り替えるコマンドの制御サブシステムへの生成、および内部撮像デバイスの機械的強化エレメントを停留状態に切り替えることを操作者に命令するメッセージの表示の内、少なくとも１つを含む。コンピューティング・デバイスは、他の実行可能命令によって、内部撮像デバイスから、機械的強化組織の第２部分の第２画像を得て、組織異常を検出するように訓練された第２機械学習モデルを使用して、第２画像を分析し、少なくとも部分的に、第２機械学習モデルを使用して第２画像を分析した結果に基づいて、第２画像が組織異常に対応すると判定し、是正措置を実行するようにプログラミングされ、是正措置が、内部撮像デバイスの膨張可能バルーンを収縮させるコマンドの制御サブシステムへの生成、および内部撮像デバイスの膨張可能バルーンを収縮させることを操作者に命令するメッセージの表示の内少なくとも１つを含む。第２画像が組織異常に対応すると判定するために、コンピューティング・デバイスは、他の実行可能命令によって、第２画像が、組織の一部の穿孔、大量出血、および組織の一部の深刻な悪条件の内少なくとも１つに対応すると判定するようにプログラミングされる。手順異常は、組織の一部の無起伏構造(non-topographical feature)に関連する組織異常関連手順異常を含む。

【図面の簡単な説明】

【0010】

[0011] これより、以下の図面を参照して実施形態について説明する。図面は一例として示すのであり、限定ではない。同様の参照番号は、同一のまたは機能的に同様のエレメントを示す。

【図1】[0012] ある実施形態による機械的強化エレメントを有する内部撮像システムを示す。

【図2】[0013] 図１の内部撮像システムにおいて、ある実施形態にしたがって、機械学習モデルを使用して画像を分析し、異常の検出に応答して是正措置を開始するサブシステムを示す。

【図3】[0014] ある実施形態にしたがって、手順分析モデルを使用して内部撮像手順を動的に管理する例示的なルーチンの流れ図である。

【図4】[0015] ある実施形態にしたがって、横行結腸において未伸長および伸長状態で内部撮像システムを使用する場合を示す。

【図5】[0016] もとのままの腸管腔、およびある実施形態による種々の機械的変更状態にある腸管腔の図を示す。

【図6】[0017] ある実施形態にしたがって、腸管腔内において種々の速度で退行する内部撮像システムの図を示す。

【図7】[0018] ある実施形態にしたがって、横行結腸において停留圧力の自動加圧を行う内部撮像システムの図を示す。

【図8A】[0019] ある実施形態にしたがって、内部撮像システムからの種々の警報(alert)および画像を明示するユーザ・インターフェースを示す。

【図8B】ある実施形態にしたがって、内部撮像システムからの種々の警報(alert)および画像を明示するユーザ・インターフェースを示す。

【図9A】[0020] ある実施形態にしたがって、内部撮像システムからの種々の警報および画像を表示するユーザ・インターフェースを示す。

【図9B】ある実施形態にしたがって、内部撮像システムからの種々の警報および画像を表示するユーザ・インターフェースを示す。

【図9C】ある実施形態にしたがって、内部撮像システムからの種々の警報および画像を表示するユーザ・インターフェースを示す。

【図10】[0021] ある実施形態にしたがって、撮像デバイスを機械的強化エレメントと共に使用して生成された画像を使用して、人工知能ベースの検出システムを訓練するための例示的なプロセスの流れ図である。

【図11】[0022] ある実施形態による、撮像システムと人工知能訓練システムとの間における例示的なデータ流および相互作用のブロック図である。

【図12】[0023] ある実施形態にしたがって、組織画像を分析するための例示的な機械学習モデルのブロック図である。

【図13】[0024] ある実施形態にしたがって、機械学習モデルの訓練を実施するように構成された例示的なコンピューティング・システムのブロック図である。

【発明を実施するための形態】

【0011】

[0025] 本開示は、機械的に組織を変更する(alter)内部撮像デバイスを使用して実行される内部撮像手順を分析および管理するための、人工知能ベース・システムを対象とする。

【0012】

[0026] 内視鏡のような、従来の内部撮像システムの中には、内部身体組織の画像(imagery)を生成するものがある。実例をあげると、内視鏡は、患者の大腸または小腸の管腔、もしくは消化管の他の部分の画像を生成することができる。例えば、ドイツ国、ハンブルグ、ＡｍｓｉｎｃｋｓｔｒａＢｅ６３，２００９７のＯｌｙｍｐｕｓ Ｅｕｒｏｐｅ ＧｍｂＨから市販されている、ビデオ・システム・センタＯＬＹＭＰＵＳ ＣＶ－１９０と共に動作するＣＦ－ＱＨ１９０Ｌ／Ｉ結腸鏡、またはドイツ国、ハンブルグ、Ｊｕｌｉｕｓ Ｖｏｓｓｅｌｅｒ ｓｔ．１０４，２２５２７のＰｅｎｔａｘ Ｍｅｄｉｃａｌ ＧｍｂＨから市販されている、内視鏡システムＥＰＫ－ｉ５０００と共に動作するＥＣ３８－ｉＩＯＬ結腸鏡、またはドイツ国、デュッセルドフル、Ｈｅｅｓｅｎｓｔｒａｓｓｅ３１Ｄ－４０５４９のＦＵＪＩＦＩＬＭ Ｅｕｒｏｐｅ ＧｍｂＨから市販されている、内視鏡システムＥＬＵＸＥＯ７０００と共に動作するＥＣ－７６０Ｒ－Ｖ／Ｍ結腸鏡のようなビデオ結腸鏡は、消化管を目視しそのビデオ画像を記録することができる光学可視化デバイスである。

【0013】

[0027] 医療従事者は、ポリープまたは他の病変、炎症、消化管出血、潰瘍等のような組織異常を含む、組織上の対象領域を特定するために、画像を使用することがある。対象領域を特定するときに医療従事者を支援する(aid)ために、種々の支援具(aids)を採用して、撮像しようとする組織を機械的に強化することもできる。結腸鏡または他の内視鏡のような、内部撮像デバイスの中には、バルーンまたは他の構造のような、機械的強化エレメントを含むものもあり、組織を規制するまたはそれ以外の操作を行うために、組織上に圧力をかけることができる（例えば、内視鏡に加えられる力によって、内腔に対して構造が軸方向に変位するときに、組織の伸長を生ずる）。例えば、イスラエル国、Ｓｔ．Ｒａａｎａｎａ、５ ＨａｎｏｆａｒのＳｍａｒｔ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ Ｌｔｄ．から市販されているＧ－ＥＹＥ（登録商標）内視鏡の膨張可能なバルーン、またはイスラエル国、Ｃａｅｓａｒｅａ、３０８８９００、４３Ｈａｅｓｈｅｌ Ｓｔ．のＥｎｄｏＡｉｄ，Ｌｔｄ．から市販されているＥｎｄｏＲｉｎｇｓ（商標）内視鏡先端アタッチメント、またはドイツ国、Ｈａｍｂｕｒｇ、２００９７、Ａｍｓｉｎｃｋｓｔｒａsｅ６３のＯｌｙｍｐｕｓ Ｅｕｒｏｐｅ ＧｍｂＨから市販されているＥｎｄｏＣｕｆｆ（登録商標）内視鏡先端アタッチメントのような、機械的強化エレメントを有する内部撮像デバイスを、結腸鏡において使用すると、腸管腔を機械的に強化することができる。腸管腔、そして特に結腸内腔のような、折れ曲がった起伏形状または他の凸凹な起伏形状がある組織では、このような伸長および／または他の組織の機械的操作によって、組織を平らにし、広げ、伸ばすことができ、更にポリープ、病変、および他の対象領域の視認性を向上させることができる。バルーンまたは他の機械的強化エレメントからの加圧、およびその移動によって、組織を機械的に強化したままで、その画像を撮影する(capture)ことができる。この画像を医療従事者が分析すれば、組織異常または他の対象領域を特定することができる。

【0014】

[0028] 機械的強化エレメントを有する内部撮像デバイスを使用するには、医療従事者または他のユーザもしくは操作者（ここでは、纏めて、医療従事者と呼ぶ）が、機械的強化エレメントの種々の動作パラメータ（例えば、膨張度）を設定および調節し、内部撮像デバイス自体の種々の動作パラメータを実装する（例えば、内部撮像デバイスを前進および／または退行させるために適切な速度を決定し設定する(implement)）ことが必要になる場合もある。これらの動作パラメータの管理は、内部撮像デバイスによって生成される生の画像または実質的に生の画像の検討と同時に行わなければならない場合もある。

【0015】

[0029] 本開示の態様は、組織上の対象領域を周囲の組織から一層明確に区別できるように、組織をその自然な状態または方位から変更する機械的強化エレメントと共に内部撮像デバイスを使用する、結腸内視鏡検査のような、内部撮像手順の動的な人工知能ベースの分析および管理に関する。このような内部撮像手順の画像は、手順の間に異常を検出するように、人工知能システムを訓練するために使用される。このような異常の検出に基づいて、内部撮像デバイスおよび／または機械的強化コンポーネントに関して、種々の是正措置を実施することができる。概略的に説明すると、内部撮像デバイスおよび／または機械的強化コンポーネントに関して実施される是正措置には、内部撮像デバイスおよび／または機械的強化コンポーネントの動作パラメータおよび／または使用の変更を行わせる、または変更させることを意図する措置(action)が含まれる。例えば、このような是正措置には、内部撮像デバイスを操作する医療従事者にフィードバックを提供して、動作パラメータまたは使用法(manner of use)を変更すること、および／または異常に対処するために、制御システムに、内部撮像システムの動作パラメータを自動的に調節させることを含んでもよい。

【0016】

[0030] ある実施形態では、内部撮像デバイスを機械的強化エレメントと共に使用して、内部撮像手順を実行し、その間に画像（静止画像および／またはビデオを含む）を撮影することができる。ある画像は、バルーンまたは他の機械的強化エレメントからの最適な圧力または他の望ましい程度の圧力の加圧、およびその移動速度によって機械的に強化された組織の画像でもよい。他の画像は、機械的に強化されていない組織、あるいは最適よりもまたは他の所望よりも多いもしくは少ない程度で機械的に強化された組織の画像でもよい。更に他の画像は、機械的強化エレメントの最適な移動速度または他の望ましい移動速度よりも高いもしくは低い移動速度に応答した組織の画像でもよい。他の画像は、組織異常（例えば、ポリープまたは他の病変、出血等）の画像であってもよく、組織異常を評価するために、内部撮像デバイスは停止されていない。更に別の画像は、手順の一部において、最適なもしくは他の所望よりも大きな割合で(at a greater rate)および／または多い回数だけ、真っ直ぐからまたはデフォルトの方位から内部撮像システムの可視化エレメントを操作した(maneuver)あるいは偏向させた際の画像であってもよい。バルーンの膨張度を表す膨張メトリックのような、それぞれの画像の撮影中における内部撮像デバイスの動作パラメータに関するデータを記録することもできる。

【0017】

[0031] 画像には、注釈を付ける、即ち、「ラベルを付ける」(label)ことによって種々のクラスに分けることができ、これらのクラスには、「組織の伸長が少なすぎる」、「組織の伸長が多すぎる」、「退行速度が速すぎる」、「退行速度が遅すぎる」、「可視化エレメントの偏向が大きすぎる」、「機械的強化エレメントの誤動作」（例えば、バルーンの穴）、「特定の異常（例えば、大量出血、大きなポリープ等）を通過する間退行を止めなかった」、「容認できる量の組織伸長」、「容認できる退行速度」、他のクラス、またはこれらの何らかの組み合わせ等があげられる。ここで記載したラベルおよびクラスの例は、例示に過ぎず、限定であることも、必須であることも、網羅的であることも意図していない。ある実施形態では、もっと少ない、更に他の、および／または代わりのラベルならびにクラスを使用してもよい。次いで、ラベル付き画像を使用して、手順異常を自動的に検出するときに使用する機械学習モデルを訓練することができる。

【0018】

[0032] 例示的な実施形態を参照すると、内視鏡をバルーンまたは他の機械的強化エレメントと共に使用して、複数の内視鏡手順を実行することができる。ある内視鏡手順またはその一部は全く異常を含まない場合もあり（例えば、組織変更量が最適であるかまたは他の望ましい範囲内に収まっており、内視鏡の退行速度が、最適であるかまたは他の望ましい範囲内にある等も可能性があり）、一方他の内視鏡手順またはその一部は、１つ以上の異常を含む場合もある（例えば、伸長のような組織変更の量が、最適でないまたは他の望ましい範囲を外れている可能性もあり、退行速度が、最適でないまたは他の望ましい範囲を外れている可能性もあり、可視化エレメントが、所望の割合よりも大きく偏向されている等）。これらの手順からの注釈付き画像は、機械学習モデル（例えば、従来のニューラル・ネットワーク、即ち、「ＣＮＮ」）を組み込んだシステムのような、人工知能システムのための訓練データとして使用することができる。機械学習モデルのパラメータを初期化することができ、そして訓練データ画像を処理し、検出出力を生成することによって、機械学習モデルを繰り返し訓練することができる。検出出力は、どの画像および／またはビデオの一部が異常を示す可能性が高いかを示す分類出力となることができる。画像についての注釈と照らし合わせて検出出力を評価し、検出出力が、注釈によって表された所望の出力からどの程度異なるのか判定することができる。１つ以上の画像についてのこの評価に基づいて、機械学習モデルのパラメータを修正することができる。例えば、最急降下法を使用して、訓練出力および所望の出力に基づいて計算された損失関数の勾配を判定することができる。次いで、同じ画像の後続の処理によって、所望の出力に一層近い検出出力を生成するように、勾配を使用して、機械学習モデルのパラメータ、具体的には、方向および／または大きさを調節することができる。所望の停止点に達するまで、このプロセスを反復的に繰り返すこともできる。例えば、所望の停止点は、精度メトリックの満足、訓練時間量または訓練反復量の枯渇等に対応するのでもよい。

【0019】

[0033] ある実施形態では、高度に習熟した医療従事者が、内部撮像デバイスを機械的強化エレメントと共に使用することによって、複数の内視鏡手順を実行することもできる。このような手順からの画像は、最適な組織変更または他の望ましい組織変更、退行速度等の一貫した達成を描写することができる。このような手順からの画像は、組織変更の所望度合い、後退させる速度等に関して、機械学習モデルを訓練するために、単独で、または手順異常の画像（例えば、訓練目的で発生させた意図的な手順異常、および／またはそれ以外で手順中に撮影された手順異常）と共に使用することができる。組織変更の所望度合い、後退速度等から逸脱する画像が提示されたときに、モデルが異常状態の検出を示す出力を生成するように、このモデルを異常検出モデルとして実装することができる。

【0020】

[0034] 本開示の更に他の態様は、機械的強化エレメントが装備された内部撮像デバイスを使用して実行される内部撮像手順の間に、人工知能ベース・システムにおいて、先に説明し以下で更に詳しく説明するように、訓練されるモデルのような、機械学習モデルの使用に関する。このような人工知能ベース・システムを、動的手順管理システム、またはもっと大きな内部撮像システムのサブシステムと呼ぶこともできる。臨床手順において、バルーン内視鏡のような機械的強化エレメントを有する内部撮像デバイスと共に、動的手順管理システムを使用することによって、動的手順管理システムは、ユーザまたは内部撮像システムの動作パラメータを自動的に調節する制御システムに、フィードバックを供給することができる。例えば、組織の伸長が少なすぎるというような、特定の手順異常が検出された場合、是正措置を発動する(trigger)ことができる。ある実施形態では、是正措置が警報または他のメッセージの提示であってもい。警報は、組織が所望の程度まで伸ばされていないことを示すのでもよく、および／または異常に対処するために医療従事者によって講ずる特定の措置（例えば、バルーンの膨張度を高める、バルーンが膨張しているかまたは穴があいているかチェックする）を示すのでもよい。ある実施形態では、是正措置は、制御サブシステムに対する、異常に対処する（例えば、バルーンの膨張度を高める）命令のような、内部撮像システムの動作パラメータの変更でもよい。

【0021】

[0035] 本開示の更に他の態様は、手順異常を検出するように構成された機械学習モデルと併せて、機械学習モデルまたは他の組織異常検出方法を使用することに関する。例えば、機械的に強化された組織または他の方法で機械的に変更された組織の画像を使用して、組織異常（例えば、ポリープまたは他の病変、穿孔等）を他の組織領域から区別する特徴を学習するように、機械学習モデルを訓練することができる。組織異常モデルは、内部撮像手順の間に、組織異常を検出するために使用することができる。特定の組織異常（例えば、大きなポリープ、腫瘍、大量出血、穿孔）が検出され、内部撮像デバイスが組織異常を検査するために停止しない（例えば、内部撮像デバイスを退行させ続ける）場合、手順異常を誘発するおそれがあり、是正措置を実行することもできる。ある実施形態では、是正措置は、潜在的な組織異常を検査するように、警報の提示を含むこともできる。ある実施形態では、是正措置は、撮像デバイスの退行を停止し、組織異常の評価、またはバルーンの収縮(deflation)を可能にするための、バルーンの停留圧力までの膨張のような、撮像デバイスの動作パラメータの自動調節を含むことができる。ある実施形態では、手順異常および組織異常の双方を検出するように、１つの機械学習モデルを訓練することもできる。

【0022】

[0036] これより、特定の例および実施形態に関して、本開示の種々の態様について説明するが、これらの例および実施形態は、本開示を限定するのではなく例示することを意図している。システム、方法、およびコンポーネントは、異なる実施形態において使用することができる。いくつかの実施形態を添付図面に図示する。しかしながら、図は説明の便宜上提供されるに過ぎず、本発明を、図示する特徴の特定の組み合わせに限定するように解釈してはならない。逆に、本明細書において説明および／または図示するいずれの実施形態でも、いずれの特徴、構造、材料(material)、ステップ、またはコンポーネントも、それ自体によって使用することができ、または本明細書において説明および／または図示するいずれの他の実施形態のいずれの他の特徴、構造、材料、ステップ、またはコンポーネントと共に使用することもでき、あるいはその代わりに使用することもできる。本明細書において、必須のものや不可欠なものはない。

【0023】

[0037] これより図１を参照すると、図１は、本開示の態様を実施することができる、内部撮像システムの簡略図である。図示する例において、内部撮像システムは内視鏡システムである。「内視鏡」(endoscope)および「内視鏡検査」(endoscopy)という用語は、明細書全体を通じて使用され、例えば、小腸および大腸のような、身体の空洞、通路等の内部において動作する装置および方法を指す。「前方」(forward)という用語は、内視鏡、アクセサリ、またはツールの操作者から最も遠い遠端、もしくはこのような遠端に面する方向を指す。「後方」(backward)という用語は、通例、対象の臓器または身体部分の外部であり、内視鏡、アクセサリ、またはツールの操作者に最も近い端部、またはこのような端部に面する方向を指す。「圧力」(pressure)という用語は、一般に、周囲（大気）圧よりも上の、ミリバール単位で示す、測定値を指す。

【0024】

[0038] 図１は、組織の機械的強化（例えば、伸長）を提供し、可視化エレメント（例えば、カメラおよび照明源）を介して組織の画像を供給する内視鏡の実施形態の概略的な構造および動作を示す。図示のように、ある実施形態では、このような内視鏡はバルーン内視鏡である。

【0025】

[0039] 図１に示す内視鏡１００は、電荷結合デバイス（「ＣＣＤ」）１０１として実装された、可視化エレメントを内視鏡１００の前端に有する。ＣＣＤ１０１は、モニタ１０４を含むことができる、内視鏡システムのような、内部撮像システム１０２に接続されている。あるいは、ＣＣＤ１０１を任意の他の適した可視化エレメントと置き換えてもよい。内視鏡システム１０２には、動的手順管理サブシステム２０４のような、人工知能ベースの画像分析機能を搭載する(configure with)ことができる。動的手順管理サブシステム２０４は、撮像サブシステム２０２からの機械的に強化された組織の画像において手順異常を検出するように訓練された機械学習モデルを含む。画像を分析し、手順異常を検出した結果に基づいて、動的手順管理サブシステム２０４は、ユーザ・インターフェース・サブシステム２０６に警報または他の通知を明示させることができ、および／または動的手順管理サブシステム２０４は、制御サブシステム２０８に、内視鏡１００の動作パラメータを自動的に調節させることもできる。

【0026】

[0040] ある実施形態では、内視鏡１００は、ＥＣ３８－ｉｌＯＬビデオ結腸鏡、Ｇ－ＥＹＥ３８－ｉｌＯＬバルーン－結腸鏡、ＥＧ３４－ｉｌＯ胃カメラ、またはＶＳＢ－２９９０ｉビデオ腸鏡であってもよく、内視鏡システム１０２は、ＥＰＫ－ｉ５０１０ビデオ・プロセッサのような、１つ以上のコンピューティング・デバイスを含むコンソールであってもよく、そしてモニタ１０４は、ＳＯＮＹ ＬＭＤ－２１４０ＭＤ医療グレードのフラット・パネルＬＣＤモニタであってもよい。これらは全て、ドイツ国、ハンブルグ、Ｊｕｌｉｕｓ Ｖｏｓｓｅｌｅｒ ｓｔ．１０４，２２５２７のＰｅｎｔａｘ Ｅｕｒｏｐｅ ＧｍｂＨから市販されている。

【0027】

[0041] ある実施形態では、２０１１年９月１５日に公開された、公開ＰＣＴ出願ＷＯ２０１１／１１１０４０に記載されているように、内視鏡１００は外装１０６を有し、この外装１０６には少なくとも１つのバルーン膨張／収縮アパーチャ１０８を設けることができる。この特許出願をここで引用したことにより、その内容が本願にも含まれるものとする。アパーチャ１０８は、外装１０６に密封可能に取り付けられた膨張可能／収縮可能バルーン１１０の内部と、および内視鏡１００の内部空間(interior volume)と連通することができる。内視鏡の中には、内視鏡１００の内部空間が、内視鏡の後部にある漏れ検査ポートを通じて以外では、外部から密閉されているものもある。ある実施形態では、この内部空間は、貫通する導管およびその他のエレメントによって占有されていない内視鏡１００の内部をほぼ埋め尽くす。

【0028】

[0042] 尚、内視鏡の後部と、膨張可能／収縮可能バルーン１１０内部におけるバルーン空間までの間に、ガス連通路が延在できることは認められよう。内部空間がガス・リザーバとなり(provide)、バルーン１１０の素早い加圧および減圧を可能にするのは、本実施形態に特有な特徴であり、直接結合された圧力バッファは、バルーン空間における対応する変化の結果生ずる、バルーン１１０内側における圧力変化の振幅を減らすように動作する。尚、本明細書において説明するように、膨張するバルーン１１０の近くに(in inflation propinquity to)、内部空間のようなガス・リザーバを有することにより、バルーン１１０のために膨張圧力緩衝も備わり、膨張したバルーン空間の加圧において、安定性および精度の向上が達成可能になることは認められよう。ある実施形態では、膨張可能バルーン１１０は、膨張したバルーン空間よりも通例３～７倍広い立体空間を有するガス・リザーバに、直接結合される。

【0029】

[0043] あるいは、バルーン１１０の内部は、例えば、流体導管のような、内視鏡１００の内部空間以外の流体流通路、または従来の専用バルーン膨張／収縮チャネルのような他の導管と連通することもでき、アパーチャ１０８を不要にすることもできる。

【0030】

[0044] 膨張可能／収縮可能バルーン１１０は、バルーン内視鏡１００の内部空間を介して、バルーン膨張／収縮システム１３０によって、膨張および／または収縮させることができる。バルーン膨張／収縮システム１３０は、図１の内視鏡システムのバルーン膨張および／または収縮サブシステムを構成する。このようなバルーン膨張／収縮システム１３０の一例に、イスラエル国、Ｒａａｎａｎａ、５Ｈａｎｏｆａｒ ｓｔｒｅａｔのＳｍａｒｔ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍ Ｌｔｄ．から入手可能な、ＮａｖｉＡｉｄ ＳＰＡＲＫＣ膨張システム製品がある。

【0031】

[0045] 図示のように、バルーン１１０は、内視鏡１００の前方部分上に、外装１０６上に重なって、密閉可能に取り付けることができる。ある実施形態では、外装１０６は補強メッシュ上に重なる管状密閉シース１３２を含む。補強メッシュは、内視鏡１００の内部空間を、その折り曲げの間圧崩(collapse)に対抗して維持する役割を果たす。計器チャネル(instrument channel)１２０は、内視鏡１００の内部空間を貫通して内側に向かって延びることができる。また、他の導管および他のエレメントもこの内部空間を貫通することができる。更に、種々の導管が内部空間１０６を貫通できるという事実にも拘わらず、それらの存在の結果、内部空間と貫通するいずれの導管の内部との間にも流体連通が生じないことも認められよう。

【0032】

[0046] 管状密封シース１３２の先に(forwardly of)、管状密閉曲げラバー・シースによって外装１０６を形成することもでき、これも内部空間を内視鏡１００の外部から密封する。実例をあげると、曲げラバー・シースは、部品番号ＳＰＲＢＳＳ１１のシリコーン曲げラバー・シース、部品番号ＳＰＲＢＳＰ１１のＰＶＣ曲げラバー・シース、または部品番号ＳＰＲＢＳＶ１１のＶｉｔｏｎ曲げラバー・シースでもよく、これらは全て、ＵＳＡ８５３０８、ＡＺ州、Ｇｌｅｎｄａｌｅ、１８２０５Ｎｏｒｔｈ ５１ｓｔ Ａｖｅｎｕｅ、Ｓｕｉｔｅ１０７のＥｎｄｏｓｃｏｐｅ Ｒｅｐａｉｒｓ Ｉｎｃ．から市販されている。アパーチャ１０８は、シース内に形成することもできる。尚、膨張可能／収縮可能バルーン１１０の内部と、内視鏡１００の内部空間との間におけるガス連通のために、複数のアパーチャ１０８を設けてもよいことは認められよう。

【0033】

[0047] 曲げラバー・シースは、選択的に屈曲可能な補強メッシュ上に重ねることができる。この補強メッシュは、内視鏡１００の後方部分における操作者の操作ノブ(steering knob)（図示せず）の操作に応答して、選択的に屈曲可能であり、内視鏡１００の前方に選択可能に屈曲可能な部分を、その曲げの間における圧壊から(against)保護する。計器チャネル１２０および／または他のエレメントは、内視鏡の内部空間を貫通して、選択可能に屈曲可能な補強メッシュの内側に広がる。

【0034】

[0048] 尚、ガス連通路が、内部空間およびアパーチャ１０８を貫通して、膨張可能／収縮可能バルーン１１０の内部においてバルーン空間まで延在できることは認められよう。

【0035】

[0049] 有利なこととして、図示する構成(arrangement)は、内視鏡の既存の硬い取り付けエレメント上への、バルーン１１０の安全で安定した取り付けを可能にし、内視鏡の可撓性を制限する可能性がある余分な硬い取り付けエレメントを必要としない。以上で説明した最終的な構造によって、従来の再処理に適しており、更に通常バルーンの交換を必要としない、バルーン装備内視鏡(balloon-equipped endoscope)が得られる。

【0036】

[0050] ある実施形態では、膨張可能／収縮可能バルーン１１０は、バルーン内視鏡１００の内部空間を介して、膨張および／または収縮する。バルーン１１０の膨張／収縮に利用可能な内部空間の断面積は、１５～５０平方ミリメートルであればよく、ある実施形態では、先行技術において採用されるバルーン膨張チャネルの断面積よりも約６～３０倍大きくてもよい。このため、内視鏡１００の内部空間は、バルーンに直接結合されたガス・リザーバとして機能することができ、バルーン１１０の膨張および収縮を行わせることを可能にし、更にバルーン圧力の高速で動的な変更も可能にする。

【0037】

[0051] ある実施形態では、膨張可能／収縮可能バルーン１１０の構成は、概略的に以下のように特徴付けられる。バルーン１１０は、厚さが１０～７５ミクロンの範囲、そして潜在的には２０～５０ミクロンの範囲の生体適合性ポリマーで形成される。ある実施形態では、バルーン１１０の伸縮可能性は、バルーン内圧の非線形関数として記述することもできる。

【0038】

[0052] バルーン１１０は、低い動作内圧の下では比較的非伸縮性であり、高い動作内圧の下では比較的伸縮性であるとよい。例えば、バルーンは、それぞれ、約１０ミリバールまでの比較的低い内圧の下では、３％を超える伸縮性はなく、約６０～８０ミリバールの比較的高い内圧の下では、６％～２０％を超える伸縮性となる。バルーン内圧の関数として前述の非線形伸縮性が生じるバルーンの一例には、吹き込み成型によって形成され、１０ミリバールの圧力まで膨張したときに、１１０ミリメートルの長さ、および４８ミリメートルの直径を有し、２５～３５ミクロンの壁厚を有するバルーンがある。バルーン１１０の好ましい材料には、生体適合性があるポリマー配合、ナイロン、またはシリコンが含まれる。

【0039】

[0053] バルーン１１０の厚さおよび寸法は、バルーン１１０を収縮させたときに、曲げ性および前進の容易性(ease of advancement)というような、内視鏡の性能パラメータとの干渉を最小限に抑えつつ、内視鏡検査手順および従来の再処理サイクルを繰り返す間、バルーン１１０の交換を必要とせずに、バルーン装備内視鏡の長期使用可能性を提供するように構成することができる。

【0040】

[0054] バルーン１１０は、全長が５０～１３０ｍｍであってもよい。バルーン１１０の後端および前端は、概略的に円筒状であり、バルーン内視鏡１００の一部を形成するときは、固定の断面内径(inner cross-sectional radius)Ｒ１を有してもよい。ある実施形態では、Ｒ１は、内視鏡の隣接部分と堅く噛み合うように、好ましくは、４および７ｍｍの間である。

【0041】

[0055] 動作において、バルーン１１０を収縮状態にして、患者の大腸のような、身体通路内に内視鏡１００を挿入することができる。図１におけるステージＡは、バルーン１１０が収縮状態で患者の横行結腸内に位置する、内視鏡１００を示し、ステージＢは、バルーン１１０が収縮状態で、患者の結腸を抜け、盲腸の直後の位置まで進んだ内視鏡を示す。結腸内部の内視鏡検査は、内視鏡の挿入中に行うことができる。

【0042】

[0056] ステージＣにおいて、内視鏡をステージＢにおけるその位置から未だ動かさない間に、中間圧力状態までバルーン１１０を膨張させることができる。このような中間圧力状態は、停留未達(sub-anchoring)圧力、滑り摩擦係合可能な圧力(slidable frictional engagement pressure)とすればよく、この圧力は、バルーン１１０の外面とバルーン１１０が圧着する(engage)結腸の内面との間に摩擦係合を得るには十分であるが、バルーン１１０をそこに停留させる圧力よりは低い。ある実施形態では、バルーン１１０は、バルーン膨張／収縮システム１３０によって、停留圧力および複数の選択可能な中間圧力を含む種々の圧力に膨張可能である。

【0043】

[0057] その後、操作者は、前述の停留には満たない、滑り摩擦係合可能な圧力がバルーン１１０にかかっている間に、内視鏡１００を後方に引っ張ることによって、結腸を軸方向に、その長さに沿って、伸ばし、少なくとも部分的に結腸の自然な襞を広げる。前述のような内視鏡の後退中、内視鏡の前端に隣接する結腸がその軸方向前方に伸ばされている間に、結腸の視覚的検査を行うことができる。内視鏡を後退させ、そうして結腸を伸ばし、結腸を伸ばしている間にその内部を視覚的に検査するという前述の方法論は、検査される各部分が伸長状態にある間に、結腸全体を系統的に視覚検査できるように、結腸に沿って盲腸から肛門までの全域において繰り返し実行することができる。

【0044】

[0058] この検査を図１に概略的に示す。ステージＣでは、内視鏡１００の前端が上行（右）結腸内に位置し、その後ステージＤでは、内視鏡１００の前端が横行結腸内に位置し、その後ステージＥでは、内視鏡１００の前端は下行（左）結腸内に位置する。系統的に軸方向に結腸を伸ばして、少なくとも部分的に開き、平らにし、および／または襞を伸ばす間に結腸の視覚的検査を行うことによって、そうしなければ未検出のままであったかもしれない、ポリープならびに他の潜在的なおよび実際の病状の検出が可能になる。

【0045】

[0059] また、組織の伸長は、無起伏な(non-topographical)特徴の視覚面を強化するのを支援することもできる。このような無起伏組織の強化は、無起伏組織の特徴がもっと目立つようになり、初めて視認可能になるのを支援する(help)ことができる。この効果によって、機械的に強化されない組織の画像では実用的でないまたは可能でない視覚的検査にも、好機を広げることができる。例えば、色、表面模様、透明性、輪郭等のような形貌(visual aspects)は、機械的に強化した組織の画像において、一層容易に変更または可視化することができる。このような無起伏組織の強化は、起伏がないポリープまたは凹んだ(depressed)ポリープの可視化を補助することができる。ある実施形態では、血管のような表面下の特徴が、機械的強化の適用後には、明らかに区別可能になる。

【0046】

[0060] 本開示に限って言えば、視覚的検査とは、明確な見通し線が必要なまたは望ましい検査であり、例えば、ＩＲまたは可視光線帯域における検査であり、ある型式のＸ線検査のような、明確な見通し線が関係ない検査とは区別される。

【0047】

[0061] バルーン１１０は、概略的に円周方向に均一に滑り摩擦係合可能な圧力まで膨張され、前記身体通路に沿って軸方向に変位されると、身体通路の内壁、通例、結腸のような管状身体部分と、概略的に円周方向に均一に滑り摩擦係合可能に構成することができる。この円周方向に均一な滑り摩擦係合を、例えば、図１における断面Ａ－Ａに示す。

【0048】

[0062] バルーンが身体通路の内壁と滑り摩擦係合しているとき、そして身体通路の内壁と概略的に円周方向に均一に滑り摩擦係合しているとき、検査対象の身体通路内においてバルーン１１０を後方に軸方向に変位させると、その視覚的検査の直前に、身体通路内にある物質(material)および流体が、内壁から少なくとも部分的に除去される。このような物質および流体には、例えば、食べ物、糞便、体液、血液、および内視鏡１００によって注入される灌漑液を含むことができ、除去されないと、視覚-的検査の邪魔になる(interfere with)可能性がある。

【0049】

[0063] バルーン１１０の材料および厚さは、検査対象の身体通路とバルーン１１０との概略的に円周方向に均一な滑り摩擦係合を可能にするように、バルーン１１０が、バルーン係合位置において、身体通路の内周面輪郭に対して、半径方向に従順で(compliant)順応する(conformable)ように選択および構成することができる。このような半径方向に従順で順応するバルーンの例には、壁厚が２０～５０ミクロンのバルーンがある。

【0050】

[0064] ある実施形態では、概略的に円周方向に均一な滑り摩擦係合圧力は、５～５０ミリバールの範囲であり、もっと狭い範囲では２０～５０ミリバールであり、更に狭い範囲では３５～４５ミリバールである。

【0051】

[0065] 結腸の所望の軸方向伸長を達成するためには、結腸の内部との概略的に円周方向に均一な滑り摩擦係合において、内視鏡バルーンの軸方向変位は、１０～１００ミリメートルの範囲にすればよく、もっと狭い範囲では１５～７０ミリメートル、場合によっては更に狭い３０～６０ミリメートルの範囲でもよい。

【0052】

[0066] ある実施形態では、内視鏡１００のＣＣＤ１０１の前方において結腸において生み出される(produce)軸方向伸長は、少なくとも２５％、少なくとも３５％、少なくとも６０％、または少なくとも１００％であってもよい。

【0053】

[0067] これより図２～図７、図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、および図９Ｃ（纏めて「図２～図９Ｃ」）を参照して、内視鏡システム１０２の動的手順管理サブシステム２０４およびその他のサブシステムの動作の様々な例ならびに図について説明する。

【0054】

[0068] 図２は、内視鏡システム１０２の簡略図である。撮像サブシステム２０２は、内視鏡１００の可視化エレメントによって生成された画像を処理する。動的手順管理サブシステム２０４は、異常を検出するために、画像およびその他のデータを分析する。ユーザ・インターフェース・サブシステム２０６は、講ずる措置に関する画像および変更を明示する。制御サブシステム２０８は、内視鏡システムの動作パラメータを制御し、検出された異常に基づいて調節を実施する。撮像サブシステム２０２、動的手順管理サブシステム２０４、ユーザ・インターフェース・サブシステム２０６、および制御サブシステム２０８は、各々、ハードウェア、またはハードウェアおよびソフトウェアの組み合わせを使用して、実装することができる。例えば、内視鏡システム１０２は、筐体内に１つ以上のコンピュータ・プロセッサとメモリとを含むことができ、撮像サブシステム２０２、動的手順管理サブシステム２０４、ユーザ・インターフェース・サブシステム２０６、および制御サブシステム２０８は、メモリに格納されている命令をプロセッサ（１つまたは複数）が実行することによって、実装することができる。

【0055】

[0069] ある実施形態では、撮像サブシステム２０２、動的手順管理サブシステム２０４、ユーザ・インターフェース・サブシステム２０６、および／または制御サブシステム２０８の内１つ以上を、他のサブシステムとは別に実装することもできる。例えば、内視鏡システムは、２つ以上の物理的に離れたデバイスを含むこともでき、別個のデバイスの各々が筐体を含み、その中に１つ以上のプロセッサおよびコンピュータ読み取り可能メモリを含ませてもよい。１つのデバイスが、サブシステム（例えば、撮像サブシステム２０２、動的手順管理サブシステム２０４、ユーザ・インターフェース・サブシステム２０６、および／または制御サブシステム２０８）の内１つ以上を実装し、第２のデバイスが、残りのサブシステムの内１つ以上を実装する等としてもよい。

【0056】

[0070] 撮像サブシステム２０２は、内視鏡１００の可視化エレメントから画像データを受信することができる。例えば、内視鏡１００は手順の間に撮影されたストリーミング・ビデオおよび／または画像を供給することができる。撮像サブシステム２０２は、ユーザ・インターフェース・サブシステム２０６を通じた明示(presentation)のために画像データを用意することによってというようにして、この画像データを用いて、種々の格納、処理、および／またはルーティング・タスクを実行することができる。図２に示すように、撮像サブシステム２０２は、異常の分析および検出、是正措置の実施等のために、画像データを動的手順管理サブシステム２０４に供給することができる。

【0057】

[0071] 動的手順管理サブシステム２０４は、本明細書において説明する種々の特徴を設けるために１つ以上のコンポーネントを含むことができる。ある実施形態では、図示のように、動的手順管理サブシステム２０４は、分析コンポーネント２１０を含むことができる。分析コンポーネント２１０は、機械学習モデル２１２を使用して、撮像サブシステム２０２から受け取った画像データ、および随意に、画像が撮影されたときの制御サブシステム２０８の現在の動作パラメータ／メトリックのような、追加のデータを分析する。

【0058】

[0072] 分析の結果は、フィードバック・コンポーネント２１４に供給することができ、フィードバック・コンポーネント２１４は、この分析の結果に基づいて、是正措置（１つまたは複数）を講ずるのであれば、どれを開始するか決定する。ある実施形態では、フィードバック・コンポーネント２１４は、分析コンポーネント２１０によって下される分類判定を関連付ける１組の規則２１６を使用することができる。例えば、組織の伸長過小という分類をユーザ・インターフェース・サブシステム２０６に送られるメッセージと関連付け、バルーンにおける圧力の度合いを高めるように、および／または内視鏡１００の退行速度を高めるように、医療従事者に警告することができる。他の例として、組織の伸長過大という分類を、制御サブシステム２０８にバルーンにおける圧力の度合いを低下させるコマンドと関連付けることができる。画像分析結果および対応する是正措置の例について、以下で更に詳しく説明する。

【0059】

[0073] ユーザ・インターフェース・サブシステム２０６は、モニタ１０４に何を表示するか制御するように構成することができる。例えば、ユーザ・インターフェース・システム２０６は、内視鏡１００からの画像データ、動的手順管理サブシステム２０４からの警報および／またはユーザ命令、制御サブシステム２０８のパラメータに関するデータ等の明示(presentation)を行わせることができる。

【0060】

[0074] 制御サブシステム２０８は、内視鏡１００、バルーン１１０、バルーン膨張／収縮システム１３０等の動作パラメータを管理するように構成することができる。例えば、制御サブシステム２０８は、バルーン１１０の膨張を強める／弱めるコマンドを動的手順管理サブシステム２０４から受け取るように構成することもできる。他の例として、制御サブシステム２０８は、バルーン１１０の膨張を強める／弱める、内視鏡の可視化エレメントの方位を調節する等のコマンドを、操作者から受け取ることもできる。

【0061】

[0075] 図３は、内部撮像デバイスを機械的強化エレメントと共に使用して実行される内部撮像手順を管理するために実行することができる、例示的なルーチン３００の流れ図である。有利なこととして、ルーチン３００は、機械学習モデル、例えば、図２の機械学習モデル２１２を使用して、内部撮像手順中に異常を検出し、是正措置を実施する。是正措置は、手順の間医療従事者に警告し、および／または検出された異常に対処するために、内部撮像ルーチンの動作パラメータを自動的に調節することができる。

【0062】

[0076] ルーチン３００について、機械学習モデルを使用して個々の画像を分析することを参照して説明するが、このルーチンは、ビデオも使用して実行する、または代わりにビデオを使用して実行するのでもよいことは認められよう。例えば、ビデオの個々のフレームを、実質的に画像に関して説明するように、処理する(handle)こともできる。

【0063】

[0077] ルーチン３００の一部については、図４～図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、および図９Ｃ（纏めて「図４～図９Ｃ」）に示す例示的な手順条件、異常、および是正措置を更に参照して説明する。

【0064】

[0078] ルーチン３００は、ブロック３０２において開始する。ルーチン３０２は、内部撮像システム１０２が動作を開始したとき、または何らかの他のイベントに応答してというように、イベントに応答して開始するのでもよい。ルーチン３００を開始するとき、１つ以上の非一時的コンピュータ読み取り可能媒体（例えば、ハード・ドライブ、フラッシュ・メモリ、リムーバブル媒体等）に格納されている１組の実行可能プログラム命令を、図１３に示し以下で更に詳しく説明する撮像システム・コンピューティング・デバイス１２５０のような、内部撮像システムのコンピューティング・デバイスのメモリ（例えば、ランダム・アクセス・メモリ、即ち、「ＲＡＭ」）にロードすることができる。ある実施形態では、ルーチン３００またはその一部を複数のプロセッサに、シリアルにまたはパラレルに実装することもできる。

【0065】

[0079] ブロック３０４において、分析コンポーネント２１０または動的手順管理サブシステム２０４の何らかの他のモジュールもしくはコンポーネントは、撮像サブシステム２０２から受け取った画像データを分析することができる。画像データは、内視鏡１００の可視化エレメントによって生成された画像を起源としても、またはその画像から導出されたものでもよい。

【0066】

[0080] 図４は、結腸の内腔画像を撮影するために使用される内視鏡１００の一例を示す。図示のように、内視鏡１００を結腸内に進ませることができ、次いでバルーン１１０を少なくとも部分的に膨張させる（例えば、停留未達圧力に）ことができる。次いで、内視鏡１００を後退させる(retract)と、結腸の内腔の起伏形状を平らにすることができる。ＣＣＤ１０１は、組織異常４００のような対象領域を含む、平らにした起伏形状の画像を撮影することができる。ＣＣＤ１０１によって生成された画像データは、撮像サブシステム２０２が受信することができ、ある実施形態では、分析コンポーネント２１０に供給される前に、前処理（写真調節、拡縮調整、圧縮、グレースケールへの変換等）を実行することもできる。

【0067】

[0081] 画像データの分析は、機械学習モデル２１２を使用して、実行することができ、例示的なルーチン３００の例では、手順異常検出モデルとすればよい。手順異常検出モデル２１２は、バルーン内視鏡のような、機械的強化エレメントを使用して実行される内部撮像手順の間に、種々の異常を検出するように訓練することができる。先に説明したように、機械的強化エレメントを使用することによって、組織を有利に変更させる（例えば、伸ばす、広げる、平らにする等）ことができ、これによって、ポリープ、病変、異常血管形成、出血のエリア、穿孔等のような組織異常の検出を改善することが可能になる。しかしながら、場合によっては、機械的強化が最適なものまたは望ましいものの範囲から外れることもある。

【0068】

[0082] 例えば、内部撮像手順は、組織異常検出モジュールを使用して、実行することができる。組織異常検出モジュールは、最適な度合いまたは他の望ましい度合いまで機械的に強化された組織において組織異常を検出するように、機械的強化組織の画像に対して訓練されている。このようなモデルの訓練および使用の一例が、ＰＣＴ特許出願ＰＣＴ／ＵＳ２１／２３１３９に記載されている。この特許出願をここで引用したことにより、その開示内容が本願にも含まれ、本明細書の一部をなすものとする。現在の内部撮像手順において、組織が、最適な度合いまたは他の望ましい度合いまで、機械的に強化されていない場合、このような組織異常検出モデルを使用して組織の画像を分析した結果は、容認可能でないおそれがある。

【0069】

[0083] ある実施形態において、バルーン内視鏡を使用するとき、最適でない組織の機械的強化または他の望ましくない組織の機械的強化には、バルーンの膨張が少なすぎる、バルーンの膨張が多すぎる、内視鏡の退行速度が遅すぎる、内視鏡の退行速度が速すぎる、視覚エレメントの方向調節が多すぎる、および／またはこれらのいずれかの組み合わせというような、複数の異なる事例をあげることができる。

【0070】

[0084] 最適でない度合いの機械的組織強化および／または他の手順異常を検出してこれに対処するために、少なくとも部分的に、手順の間に撮影された画像に基づいて、手順異常を検出するように、手順異常検出モデル２１２を訓練することができる。ある実施形態では、手順に関連する追加のデータを使用して、内部撮像デバイスの動作パラメータ（例えば、膨張メトリック）に関するデータのような、手順異常を検出することができる。手順異常検出モデル２１２は、現在の手順の一部に関する入力の分類を、手順異常に関連するものとして示す出力を生成することができる。例えば、手順異常検出モデル２１２は、現在の手順の一部に関する入力が、組織の伸長が多すぎること、組織の伸長が少なすぎること、内視鏡の退行速度が速すぎること、退行の速度が遅すぎること、可視化エレメントの調節が頻繁過ぎること（例えば、内視鏡の遠端屈曲区間の折り曲げ(angulation)が頻繁過ぎることによる、および／または大きすぎる折り曲げ角度までの調節）等を示すか否かについて示す出力を生成することができる。本明細書において説明する手順異常検出モデル２１２を使用して検出される手順異常の代表例は、例示に過ぎず、 限定であることも、必須であることも、網羅的であることも意図していない。ある実施形態では、更に他の手順異常、もっと少ない手順異常、および／または代わりの手順異常を検出することもできる。

【0071】

[0085] 図５は、種々の組織伸長度合いの例を示す。その一部は手順異常を示し、一部は手順異常を示さない場合もある。画像５００は、組織の機械的強化が全く行われない結腸の区間を示す（例えば、内視鏡退行の間バルーンを膨張させない）。内部撮像手順の間、組織を機械的に変更することができる（例えば、バルーンを停留未達圧力まで膨張させ、バルーンをこの停留未達の膨張状態に維持したまま、内視鏡を退行させることによって）。

【0072】

[0086] 画像５０４は、画像５００と同じ結腸の区間を示すが、望ましい量の機械的強化を適用する。例えば、バルーンを望ましい度合いまで膨張させることができ、および／またはバルーン内視鏡を所望の速度で退行させ、組織を伸ばし、更にこの組織の起伏形状を広げる、あるいはそれ以外では、平らにする、伸ばす、および／または滑らかにすることができる。画像５０４に示すように、組織異常５１０は、所望の度合いの機械的強化によって、直ぐにわかるようになる。

【0073】

[0087] 画像５０２は、画像５００および５０４と同じ結腸の区間を示すが、望ましい量よりも少ない機械的強化を適用する。例えば、望ましい度合い未満にバルーンを膨張させるのでもよく、または全く膨張させないのでもよい。画像５０２に示すように、組織の起伏形状は、画像５０４に描写された結腸の同じ区間の起伏形状程平らではない。このために、組織異常５１０は明白でなく、および／または画像５０４におけるように、周囲の組織から差別化されない。

【0074】

[0088] 画像５０６は、画像５００、５０２、および５０４と同じ結腸の区間を示すが、望ましい量よりも多い機械的強化を適用する。例えば、望ましい度合いよりも多くバルーンを膨張させるのでもよく、および／またはバルーン内視鏡を、所望よりも速い速度で退行させ、組織を伸ばし、更に組織の起伏形状を広げる、あるいはそれ以外では、平らにする、伸ばす、および／または滑らかにすることができる。画像５０６に示すように、組織の起伏形状は、画像５００および５０２に示す起伏形状よりも遙かに平らになっており、画像５０４における起伏形状よりも更に平らである。この起伏形状は、他の画像では異常５１０が視認できる組織の部分に対応する、画像内のエリア５１２にはもはや明白な異常がない程に平らになっている。

【0075】

[0089] 手順異常検出モデル２１２は、図５に示すような画像を分析し、画像を、特定の手順異常を描写する可能性があるもの、または異常がないものに分類する出力を生成するように訓練することもできる。例えば、画像５０２が表示されたとき、手順異常検出モデル２１２は、過小膨張または未膨張(un-inflation)異常の存在を示す出力を生成することができる。画像５０４が表示されたとき、手順異常検出モデル２１２は、手順異常が存在しないことを示す出力を生成することができる。画像５０６が表示されたとき、手順異常検出モデル２１２は、過剰膨張異常の存在を示す出力を生成することができる。

【0076】

[0090] 図６は、内部撮像デバイスの種々の度合いの退行速度の例を示す。退行速度は、後退速度とも呼ぶ。その一部は、手順異常を示し、更に一部は手順異常を示さない場合もある。手順タイムライン６００は、時点６０２および後続時点６０４を含む。手順異常検出モデル２１２は、時点６０２、６０４において撮影された画像に基づいて、退行速度異常を検出するように構成することができる。

【0077】

[0091] 例６２０は、時点６０２において起伏形状の特徴６１０から距離Ｄ１に位置付けられた内部撮像デバイスのＣＣＤ１０１を示す。

【0078】

[0092] 例６２２は、時点６０４において起伏形状の特徴６１０から距離Ｄ２に位置付けられた内部撮像デバイスのＣＣＤ１０１を示す。Ｄ２＞Ｄ１であり、これは内部撮像デバイスが、時点６０２と６０４との間の時間期間において後退させられたことを示すが、後退距離は所望よりも少ないと見てもよい。これは、後退を進めるのが遅すぎることを示す。

【0079】

[0093] 例６２６は、時点６０４において起伏形状の特徴６１０から距離Ｄ４に位置付けられた内部撮像デバイスのＣＣＤ１０１を示す。Ｄ４＞Ｄ２であり、これは内部撮像デバイスが、時点６０２と６０４との間の時間期間において、例６２２におけるよりも高い速度で後退させられたことを示すが、後退距離が所望よりも多いと見てよい。これは、後退を進めるのが素早すぎたことを示す。

【0080】

[0094] 例６２４は、時点６０４において起伏形状の特徴６１０から距離Ｄ３に位置付けられた内部撮像デバイスのＣＣＤ１０１を示す。ここで、Ｄ４＞Ｄ３＞Ｄ２＞Ｄ１である。この例では、距離Ｄ３は所望の距離であると見てよく、内部撮像デバイスが所望の後退速度で後退させられたことを示すことができる。

【0081】

[0095] 手順異常検出モデル２１２は、図６に示すような時点６０２および６０４のような、異なる時点において画像を分析し、特定の異常を描写する可能性がある画像、または異常がない画像に分類する出力を生成するように訓練することもできる。例えば、時点６０４において距離Ｄ２のところで撮影された画像が表示されたとき、手順異常検出モデル２１２は、低速後退異常の存在を示す出力を生成することができる。低速後退異常を、低速退行速度異常とも呼ぶ。時点６０４において距離Ｄ３のところで撮影された画像が表示されたとき、手順異常検出モデル２１２は、手順異常が存在しないことを示す出力を生成することができる。時点６０４において距離Ｄ４のところで撮影された画像が表示されたとき、手順異常検出モジュール２１２は、高速後退異常の存在を示す出力を生成することができる。高速後退異常を、高速退行速度異常とも呼ぶ。

【0082】

[0096] 図７は、組織異常の検出を示す。これは、是正措置だけを発動すること、または手順異常の検出と組み合わせて是正措置を発動することができる。図示のように、内視鏡１００のバルーン１１０は、停留未達圧力まで膨張されている。ＣＣＤ１０１によって撮影された画像は、組織異常検出モデルを使用して分析することができ、その結果、組織異常４００の検出を得ることができる。組織異常検出モデルを、組織分析モデルとも呼ぶ。手順異常検出モデル２１２は、内視鏡１００が後退させ続けられていることを示す出力を生成することができる。この組み合わせは、手順異常の検出を誘起する。何故なら、組織異常４００は検出されているが、組織異常４００を評価するために内視鏡１００の後退が停止されていないからである。このような手順異常を、組織異常関連手順異常と呼ぶ。

【0083】

[0097] 図３に戻り、判断ブロック３０６において、分析コンポーネント２１０または動的手順管理サブシステム２０４の何らかの他のモジュールもしくはコンポーネントは、画像および随意に他のデータを分析した結果に基づいて、手順異常検出モジュール２１２を使用して、手順異常が検出されたか否か判定することができる。例えば、先に説明した分析に基づいて、分析コンポーネント２１０は、記載した異常の１つが検出されたか否か判定することができ、検出された場合、ルーチン３００はブロック３０８に進むことができる。そうでない場合、ルーチン３００はブロック３０４に戻り、内部撮像手順の分析を継続することができる。

【0084】

[0098] ブロック３０８において、フィードバック・コンポーネント２１４、または動的手順管理サブシステム２０４の何らかの他のモジュールもしくはコンポーネントは、手順異常に応答して実行する是正措置を決定することができる。ある実施形態では、フィードバック・コンポーネントは、是正措置を手順異常と関連付ける(associated)１組の規則２１６を含むことができる。異なる手順異常の検出は、異なる是正措置を発動することができる。加えて、是正措置は、異なる様式(modality)で実施することができ、操作者への視覚的警報および／または命令、操作者への可聴警報および／または命令、動作パラメータの自動修正、またはこれらの何らかの組み合わせ等がある。是正措置が医療従事者への明示(presentation)である場合、または講ずる是正措置に関するメッセージを医療従事者に提示しようとする場合、ルーチン３００はブロック３１０に進むことができる。加えてまたは代わりに、是正措置が１つ以上の動作パラメータの変更を含む場合、ルーチン３００は、加えてまたは代わりに、ブロック３１２に進むことができる。

【0085】

[0099] 図５は、手順異常の例を示し、この場合、機械的変更過多が、撮像された組織（例えば、画像５０６における組織）に適用され、機械的変更の不十分が、撮像された組織（例えば、画像５０２における組織）に適用される。

【0086】

[0100] ある実施形態において、フィードバック・コンポーネント２１４は、是正措置が、検出された異常に対処するための、動作パラメータの自動調節であると判断することができる。例えば、画像５０２におけるように、組織伸長過小が観察された場合、フィードバック・コンポーネント２１４は、バルーン１１０の膨張度合いを増やすコマンドを、制御サブシステム２０８に生成することができる。他の例として、画像５０６におけるように、組織伸長過多が観察された場合、フィードバック・コンポーネント２１４は、バルーン１１０の膨張度合いを減らすコマンドを、制御サブシステム２０８に生成することができる。実例をあげると、圧力変更（上昇または低下）は、膨張メトリック（例えば、組織変更または抵抗の所望レベルに合わせた圧力範囲以内における、異なる、もっと低い、またはもっと高い目標圧力メトリックへの変更）の特定範囲内に収まる変更として決定されるのがもっともであり、または膨張レベルのはしご上における異なるレベルの膨張への切り替えとして決定することもできる（例えば、各膨張レベルがそれ自体の圧力メトリック目標および／または圧力範囲を有する場合）。例えば、モデル２１２は、制御サブシステム２０８からの情報（例えば、バルーンに対する目標圧力または圧力レベルのような、膨張パラメータ）を使用して、伸長または他の組織変更の度合いが予想できるか、あるいは手順異常を示すか否か判定することができる。特定のレベルに対する伸長過剰または伸長過小の場合、是正措置は、現在のレベルに対する範囲以内でバルーン圧力を変更すること、即ち、異なるレベルへの変更とすることができる。現在の圧力が停留圧力であり、組織が過剰に伸ばされているようである場合、是正措置は、組織への損傷を予防するために、部分的または完全にバルーンを収縮させることができる。

【0087】

[0101] 異なるレベルの停留未達圧力および停留圧力を供給し、バルーン膨張状態を任意のレベルから異なるレベルに切り替え、膨張メトリックの特定の範囲内で目標圧力を変更するように動作する制御サブシステムの例が、本出願人の公開ＰＣＴ特許出願ＷＯ２０１２／１２０４９２に記載されている。この特許出願をここで引用したことにより、その開示内容が本願にも含まれ、本明細書の一部をなすものとする。有利なこととして、このような制御サブシステムは、２０から５０ミリバール、そして好ましくは３０から５０ミリバールの圧力範囲を有する停留未達圧力レベルを供給することができる。好ましくは、制御サブシステムは、３０～５０ミリバールの圧力レベル以内に目標圧力メトリック範囲を設けるように動作する。

【0088】

[0102] ある実施形態では、フィードバック・コンポーネント２１４は、膨張を調節する行為に関するメッセージのような、是正措置に関するメッセージ（例えば、警報、命令、推奨、またはその他の通知）を明示する決定を下すことができる。例えば、画像５０２におけるように、組織伸長過小が観察された場合、フィードバック・コンポーネント２１４は、医療従事者にバルーン１１０の膨張度合いを高めさせるメッセージ、またはバルーン１１０が予測通りに膨張しているか否か確認するように医療従事者に促すメッセージのような、ユーザ・インターフェース・サブシステム２０６に表示する通知を生成することができる。他の例として、画像５０６におけるように、組織伸長過大が観察された場合、フィードバック・コンポーネント２１４は、医療従事者にバルーン１１０の膨張度合いを低めさせるメッセージのような、ユーザ・インターフェース・サブシステム２０６に表示する通知を生成することができる。ある実施形態では、圧力変化（上昇または低下）に関するメッセージは、膨張メトリックの特定範囲以内の変更（例えば、組織変更または抵抗の所望レベルに対する圧力範囲以内における異なる目標圧力メトリックへの変更）を指定することができ、または膨張レベルのはしご上における異なるレベル（例えば、各膨張レベルがそれ自体の圧力メトリック目標または圧力範囲を有する場合）の膨張への変更として指定することもできる。このような医療従事者によって行われる圧力変更に関するメッセージは、ノブ／ボタンのような、制御サブシステム２０８の利用可能な表示要素(control)およびユーザ・インターフェースの選択肢と適合するように、生成することができ、圧力レベル以内で圧力を調整すること(tune)、および／または異なる圧力レベル間で切り替えることを可能にする。例えば、モデル２１２は、制御サブシステム２０８からの情報（例えば、バルーンの目標圧力または圧力レベルのような、膨張パラメータ）を使用して、伸長または他の組織変更の度合いが予想できるか、あるいは手順異常を示すか、判定することができる。特定のレベルに対して伸長過大または過小の場合、メッセージは、現在のレベルに合わせた範囲でバルーン圧力を変更すること、または異なるレベルに切り替えることを推奨することができる。現在の圧力が停留圧力であり、組織が過剰に伸ばされているようである場合、現在停留圧力になっているため、バルーン内視鏡を退行させないことを医療従事者に命令する警報またはメッセージを明示することができる。

【0089】

[0103] 図６は、内部撮像デバイスを後退させるのが素早すぎる（例えば、例６２６における）場合、および内部撮像デバイスを後退させるのが十分に素早くない（例えば、例６２２における）場合という手順異常の例を示す。

【0090】

[0104] ある実施形態では、フィードバック・コンポーネント２１４は、是正措置が、検出された異常に対処するための動作パラメータの自動調節であると判断することができる。例えば、例６２２におけるように、内部撮像デバイスが十分に素早く後退させられていない場合、フィードバック・コンポーネント２１４は、後退を遅くしているおそれがある抵抗を減らすために、バルーン１１０の膨張度合いを低めるコマンドを、制御サブシステム２０８に生成することができる。他の例として、例６２６におけるように、内部撮像デバイスを後退させるのが素早すぎる場合、フィードバック・コンポーネント２１４は、抵抗を増やし後退を遅くするために、バルーン１１０の膨張度合いを高めるコマンドを、制御サブシステム２０８に生成することができる。

【0091】

[0105] ある実施形態では、フィードバック・コンポーネント２１４は、退行速度を調節しようとするときの方法に関するメッセージのような、是正措置に関するメッセージ（例えば、警報または他の通知）を明示する決定を下すことができる。例えば、例６２２におけるように、内部撮像デバイスが十分に素早く後退させられていない場合、フィードバック・コンポーネント２１４は、後退を速くするおよび／またはバルーン１１０の膨張度合いを低めるメッセージというような、ユーザ・インターフェース・サブシステム２０６に明示する通知を、医療従事者に生成することができる。他の例として、画像６２６におけるように、内部撮像デバイスの後退させるのが素早すぎる場合、フィードバック・コンポーネント２１４は、後退させる速度を下げる、またはバルーン１１０の膨張度合いを高めるメッセージのように、ユーザ・インターフェース・サブシステム２０６に明示する通知を、医療従事者に生成することができる。

【0092】

[0106] 図７は、先に説明したような、組織異常に基づく手順異常の例を示す。ある実施形態では、フィードバック・コンポーネント２１４は、是正措置が、検出された異常に対処するための、動作パラメータの自動調節であると判断することができる。例えば、組織異常４００が検出されているが、停留未達圧力で内視鏡１００を後退させ続ける場合、フィードバック・コンポーネント２１４は、バルーン１１０の膨張の度合いを停留圧力まで高めるコマンドを、制御サブシステム２０８に生成することができる。この停留圧力までの膨張、および内視鏡１００のそれ以上の退行の防止は、特定の組織異常の検出を可能にするにあたって、特に有利であるとして差し支えない。この組織異常を見失って検出されなかった場合、組織異常が腫瘍、重大な出血、腸組織における穿孔または断裂(tear)、または組織のいずれかのその他の重大な悪条件である場合等には、患者の健康に重大な悪影響が生ずるおそれがある。尚、内視鏡１００のバルーン１１０の代わりに、停留状態を有するのであれば、異なる機械的強化エレメントを使用してもよく、分析コンポーネント２１０およびモデル２１２によって検出された組織異常に関連する手順異常に対する是正措置として、フィードバック・コンポーネント２１４によって生成されたコマンドに続いて、停留状態に切り替えればよい。

【0093】

[0107] ある実施形態では、フィードバック・コンポーネント２１４が、講ずる是正措置に関して、メッセージ（例えば、警報または他の通知）を明示する決定を下すこともできる。例えば、フィードバック・コンポーネント２１４は、組織異常の検出に関する医療従事者に対するメッセージ、および／または退行を停止し組織異常を評価するメッセージのような、ユーザ・インターフェース・サブシステム２０６に明示する通知を生成することができる。内視鏡１００の更なる退行を停止し、組織を評価するこの警報通知は、特定の組織異常の検出を可能にするにあたって、特に有利であるとして差し支えない。この組織異常を見失って検出されなかった場合、組織異常が腫瘍、重大な出血、腸組織における穿孔または断裂(tear)、または組織の任意のその他の重大な悪条件である場合等には、患者の健康に重大な悪影響が生ずるおそれがある。

【0094】

[0108] 図８Ａは、内部撮像手順の間に、医療従事者に画像および／または情報を明示することができるユーザ・インターフェース８００の例を示す。ユーザ・インターフェース８００は、ユーザ・インターフェース・サブシステム２０６によって生成する、またそうでなければ管理することができ、モニタ１０４または内部撮像システムの他のディスプレイ・コンポーネント上に明示することができる。

【0095】

[0109] ある実施形態では、ユーザ・インターフェース８００上に種々の通知を明示することができる。図７を参照して先に説明した例に戻り、組織異常の検出に応答して、ユーザ・インターフェース・サブシステム２０６は、組織異常の検出、および医療従事者によって講ぜられる推奨措置を示すメッセージ８０２を明示させることができる。加えて、または代わりに、フィードバック・コンポーネント２１４によって決定された是正措置（１つまたは複数）が、制御サブシステム２０８がバルーン１１０の膨張を停留圧力まで高めるためのコマンドを含む場合、ユーザ・インターフェース・サブシステム２０６は、自動的に講ぜられる措置または講ぜられようとしている措置について警告するメッセージ８０４のようなメッセージを、医療従事者に明示させることができる。加えて、または代わりに、フィードバック・コンポーネント２１４によって決定された是正措置（１つまたは複数）が、制御サブシステム２０８がバルーン１１０の膨張を停留圧力まで高めるためのコマンドを含む場合、ユーザ・インターフェース・サブシステム２０６は、自動的に講ぜられるまたは講ぜられようとしている措置について、医療従事者に警告するメッセージ８０４のような、メッセージを明示させることができる。

【0096】

[0110] ある実施形態では、図示のように、インターフェース８００は、内部撮像デバイスの可視化エレメントによって撮影された画像の表示(presentation)のために画像部分８０６を含むことができる。画像は、内部撮像デバイスが位置する内腔を医療従事者が精度高く進み(navigate)、組織異常およびその他の対象領域を見ることができるように、リアル・タイム画像または実質的にリアル・タイム画像にするとよい。組織異常が検出された場合（例えば、組織分析モデルを使用して）、医療従事者の注意を、組織異常が検出された画像のエリアに向けさせるために、視覚指示８０８を明示することができる。

【0097】

[0111] 図８Ｂは、無起伏組織異常の検出、およびそれに関するフィードバックを示す。ユーザ・インターフェース８１０は、画像部分８１６において患者の組織の無起伏な特徴の画像を表示している様子が描かれている。図示する例では、無起伏な特徴は、組織の機械的強化の使用によって、一層明らかとなった血管８２０である。無起伏な特徴の画像において、組織異常の可能性を検出することができる（例えば、組織分析モデルを使用して）。組織異常の可能性の検出に基づいて、そしてある場合では、内視鏡１００を後退させ続けていることの検出に基づいて、動的手順管理サブシステム２０４は、組織異常関連手順異常の検出を誘起することができ、ユーザ・インターフェース・サブシステム２０６は、医療従事者の注意を、組織異常が検出されている画像のエリアに向けさせるために、視覚指示８１８を表示させることができる。更に、または代わりに、ユーザ・インターフェース・サブシステム２０６は、無起伏組織異常の検出、および医療従事者によって講ぜられる推奨措置を示すメッセージ８１２を明示させることもできる。加えて、または代わりに、フィードバック・コンポーネント２１４によって決定された是正措置（１つまたは複数）が、制御サブシステム２０８がバルーン１１０の膨張を停留圧力まで高めるためのコマンドを含む場合、ユーザ・インターフェース・サブシステム２０６は、自動的に講ぜられるまたは講ぜられようとしている措置について、医療従事者に警告するメッセージ８１４のような、メッセージを明示させることができる。

【0098】

[0112] 図９Ａは、他の組織異常関連手順異常の検出、および講ずる是正措置に関するフィードバックの明示(presentation)を示す。図示の例では、組織異常（例えば、ポリープ）が患者の結腸のうねまたは撓みの真上に、離れて示されている。組織異常の可能性は、組織分析モデルを使用して検出されたのでもよい。組織異常の可能性の検出に基づいて、そしてある場合には、内視鏡１００が後退させられ続け、組織異常が最終的に視野から消失することの検出に基づいて、または組織異常の可能性が腸の起伏形状によって（例えば、うね、撓み、皺等によって）部分的に遮られている(obscure)、および／または覆い隠されている(mask)ことの検出に基づいて、動的手順管理サブシステム２０４は、組織異常関連手順異常の検出を誘起し、ユーザ・インターフェース・サブシステム２０６は、医療従事者の注意を、組織異常が検出された画像のエリアに向けさせるために、視覚的指示８５８を表示させることができる。ユーザ・インターフェース・サブシステム２０６は、更に、または代わりに、組織異常の検出を示すメッセージ８５２を明示させることもできる。

【0099】

[0113] 図９Ａに示す例では、フィードバック・コンポーネント２１４は、検出された組織異常関連手順異常に応答して講ぜられる是正措置が、バルーン１１０の膨張の停留圧力までの上昇、および内視鏡１１０の僅かな後退であると判断したとしてよい。内視鏡１００の僅かな後退、およびバルーン１１０の停留圧力までの膨張によって、バルーン１１０を停留未達圧力まで膨張させることによって組織を伸ばした度合いを超えて、組織の伸長度合いを付加させることができる。伸長度合いの付加により、組織異常を下地組織と共に引っ張ることができ、組織異常を障害物（例えば、結腸におけるうねまたは撓み）の周囲に引き出すおよび／または障害物が組織異常を遮る度合いを減らすという視覚的効果を得ることができる。この場合、インターフェース・サブシステム２０６は、講ずる措置について医療従事者に警告するメッセージ８５４のような、メッセージを明示させることができる。

【0100】

[0114] 図９Ｂは、図９Ａに示し先に説明した検出およびメッセージの後における、内視鏡１００のわずかな後退および停留圧力となったバルーン１１０の効果を示す。図９Ｂにおけるユーザ・インターフェース８５０の画像部分８５６に示すように、視覚的表示８５８によって示されるポリープは、もはや結腸のうねにも撓みにも遮られていない。代わりに、停留圧力にあるバルーンによって組織が伸ばされているので、平らになったエリアにおいてポリープが見える。ある実施形態では、検出に応答して確認メッセージ８６４を明示することもできる。例えば、動的手順管理サブシステム２０４は、組織の画像において、この伸長を、停留圧力にあるバルーンと共に検出することができる。

【0101】

[0115] 図９Ｃは、図９Ａに示し先に説明したもののような、検出の後における是正措置の自動的な実施を示す。バルーン１１０を停留圧力にして内視鏡１００をわずかに後退させることを医療従事者に命令する代わりに、フィードバック・コンポーネント２１４は、バルーン１１０の膨張を停留圧力まで高めるコマンドを、制御サブシステム２０８に生成することができる。ある実施形態では、このような場合に使用される停留圧力は、他の場面において使用される停留圧力よりも高いが、なおも停留圧力の安全な範囲内に入る圧力にしてもよい。バルーン１１０を比較的高い停留圧力まで膨張させると、組織（例えば、結腸の壁）にかかる外向力(outward force)が、図９Ｂに関して先に説明した伸長と同様の伸長を発生させることができる。例えば、この伸長は、検出されたポリープを中心に位置付け、撓み、うね、またはその他の障害物の効果を軽減または除去するように作用することができる。つまり、医療従事者のポリープの映像(view)は、制御サブシステム２０８に送られ実行されるコマンドによって、自動的に強化することができる。加えて、既に講じた措置またはこれから講ずる是正措置について医療従事者に警告するメッセージ８７４を明示することもできる。

【0102】

[0116] ある実施形態では、図９Ｃに示すように、正確な視覚的効果は、バルーン１１０を停留圧力にして内視鏡１００を後退させたときの視覚的効果とは、何らかの観点において異なる場合もある。図示のように、図９Ｃにおいて視覚指示８５８によって示されるポリープは、その元の位置から、図９Ｂにおいて視覚指示８５８によって示されるポリープ程遠くまで引っ張られてはいない。この効果が生ずるのは、図９Ｃにおいて、外向きのバルーン圧力だけを使用することによって実現された組織の伸長は、図９Ｂにおける後退に基づく伸長の追加と比較すると、異なるからである。

【0103】

[0117] 尚、障害物を除去／縮小することによって、潜在的な組織異常を画像の中心に向けて移動させることによって、潜在的な組織異常から内視鏡先端までの距離を増減して、最適な距離または他の望ましい距離にすることによって、あるいは潜在的な組織異常に対する接近のし易さ(better access)を支援するために、結腸内腔の機械的操作を他の型式にすることによって、停留圧力の範囲内で目標停留圧力をこのように変更および調整すれば、評価および／または治療および／または除去しようとする潜在的な組織異常に増々接近し易くなることは認められよう。更に、バルーン圧力調整によるこのような機械的操作は、動的手順管理サブシステム２０４によって自動的に行うことができ、医療従事者の関与なく、動的手順管理サブシステム２０４が、フィードバック・コンポーネント２１４からのフィードバックに応答して、圧力変更命令を制御サブシステム２０８に供給すればよいことも認められよう。内視鏡の評価および／または介入（例えば、ポリープの除去、出血する血管の切除(clipping)または凝固等）が必要ないくつかの場合(some cases)、バルーン圧力変更の効果、特に、停留圧力範囲以内の目標停留圧力の変更は、内視鏡先端の偏向度合い、湾曲、潜在的な組織異常の近傍における結腸内腔の断面直径およびその他の特性等というような、特定の条件に依存するのはもっともである。したがって、動的手順管理サブシステム２０４は、反復プロセスにおいて、バルーン圧力を調整してもよい。反復プロセスでは、圧力の増分変更を行い、フィードバック・コンポーネント２１４からフィードバックを受け、フィードバックにしたがって更に圧力を変更し、結果（例えば、画像における組織異常の位置、画像からの先端分離等）が満足のいくものになるまで、または圧力変更によって一層の改善が得られなくなるまで、このシーケンスを反復的に繰り返す。このようなアクションは、一旦組織異常が検出されたなら、介入（例えば、ポリープ除去、出血位置の切除または凝固等）を開始する前に、実行することができ、または介入の最中にリアル・タイムで実行することができ、これによって、評価、治療、または除去対象の組織異常の最適な位置決めまたは他の望ましい位置決めを行うことができる(provide)。

【0104】

[0118] 図３に戻り、判断ブロック３１４において、動的手順管理サブシステム２０４は、内部撮像手順が終了したか否か判定することができる。この手順が続いている場合、ルーチン３００はブロック３０４に戻り、追加の画像を分析することができる。それ以外の場合、ルーチン３００はブロック３１６において終了することができる。

【0105】

[0119] ある実施形態では、動的手順管理システム２０４が、後続の画像を分析し、是正措置によって手順異常の解明に成功したことを検証することもできる。例えば、ルーチン３００の反復が、手順異常の検出、および動作パラメータを変更するメッセージおよび／またはコマンドの生成を含んだ後、データを格納することができ、または手順異常の検出を示すフラグを立てることもできる。ルーチン３００の後続の反復では、手順異常を検出できないおそれがある。この場合、ユーザ・インターフェースを介して、手順異常の修復を確認するために、メッセージを生成し明示する(presentation)ことができる。

【0106】

[0120] 動的手順管理システム２０４は、先に説明した手順異常に加えた手順異常に対処することができ、またその他では、先に説明した手順異常とは異なる手順異常にも対処することができる。

【0107】

[0121] ある実施形態では、分析コンポーネント２１０およびモデル２１２は、内部撮像デバイスの可動部分（例えば、屈曲区間、および／または可視化エレメントを含む、バルーン内視鏡の先端）が真っ直ぐ前から、または他のデフォルト方位から操作されたとき、あるいはそうでなければ偏向されたときを検出するように構成することができる。例えば、第１基準点（例えば、内腔の壁上）が第２基準点（例えば、画像の中心点）と交差したように見えた場合、偏向イベントを検出することができる。分析コンポーネント２１０は、内部撮像手順の間中、および／または時間のスライディング・ウィンドウにわたって、このような偏向イベントの量を追跡するように構成することができる。このデータは、偏向率(deflection rate)のようなメトリックとして表すことができる。偏向率が閾値を超えた場合、偏向率異常を検出することができ、是正措置を決定することができる。

【0108】

[0122] ある実施形態では、分析コンポーネント２１０およびモジュール２１２は、組織の穿孔、大量出血、あるいは任意の他の生命を脅かす状態または他の悪条件の発見が、画像において描写されたときを検出するように構成することができる。このような穿孔、大量出血、または他の悪条件の発見が検出された場合、是正措置を決定することができる。例えば、フィードバック・コンポーネント２１４は、バルーン内視鏡１００のバルーン１１０を偏向させるコマンドを、制御サブシステム２０８に生成することができる。他の例として、フィードバック・コンポーネント２１４は、ユーザ・インターフェース・サブシステム２０６に、内視鏡の退行を停止させる、および／またはバルーンを収縮させる警告もしくは他のメッセージを明示させることができる。尚、バルーンを収縮させる是正措置は、自動的にバルーンを収縮させるための制御サブシステムへのコマンドによるのであっても、また手作業でバルーンを収縮させるための医療従事者に対する命令であっても、過剰な圧力、および／または穿孔もしくは出血組織の伸長、あるいはそれ以外の悪条件の発見を軽減するのに有利であり、これによって穿孔の潜在的な拡大、出血の増加、悪条件の悪化、および／または組織に対するその他の損傷を防止できることは認められよう。更に、医療従事者が、分析コンポーネント２１０およびモデル２１２による穿孔または大量出血の検出後も、内部撮像デバイスを退行させ続ける場合、このような継続する退行は、穿孔、大量出血、またはその他の悪条件の存在にも拘わらず、分析コンポーネント２１０およびモデル２１２によって検出し、手順異常として分類することができ、これに対して、フィードバック・コンポーネント２１４は、制御サブシステム２０８に、図７を参照して先に説明したように、バルーン内視鏡１００のバルーン１１０を停留圧力まで膨張させるコマンドを生成して、バルーン内視鏡１００の更なる退行を防止し、更に穿孔、大量出血、またはその他の悪条件の発見が可視化エレメント１０１の視野から消失するのも防止できることが認められよう。

【0109】

[0123] 図１０は、機械的に強化された内部撮像手順異常検出モデル２１２が検出出力を生成するように訓練するために実行することができる例示的なルーチン９００の流れ図である。ルーチン９００の一部については、図１１に示した例示の機械学習モデル２１２も参照して説明する。

【0110】

[0124] 有利なこととして、ルーチン９００は、内部撮像デバイスを、バルーン内視鏡のような、機械的強化エレメントと共に使用して、訓練データを生成する。ある実施形態では、訓練データは、このような撮像デバイスおよび結果的に機械的に強化された組織の最適な使用または他の望ましい使用を描写する画像を使用して、生成される。また、訓練データは、組織の機械的強化の最適でない度合いまたは他の望ましくない度合いを結果的に生じた手順異常を含む、種々の手順異常を描写する画像を使用して、生成することもできる。このような画像を使用して機械学習モデルを訓練することによって、訓練された機械学習モデルは、組織異常を検出するために機械的に強化された組織の画像を使用して訓練された組織分析モデルを使用する分析のような、機械的に強化された組織の分析を妨げるおそれがある手順異常の特徴を組み込み、使用する。例えば、内部撮像手順における組織が、最適な程度または他の望ましい程度に機械的に強化されていない場合、このような組織異常検出モデルを使用して組織の画像を分析した結果は、容認できないのはもっともである。

【0111】

[0125] 画像を使用した機械学習モデルの訓練を参照して、ルーチン９００について説明するが、訓練は、更にまたは代わりに、ビデオを使用して実行してもよいことは認められよう。例えば、ビデオの個々のフレームは、実質的に画像に関して説明したように処理することができる。更に、訓練された機械学習モデルが、内視鏡システムまたは他の撮像システムにおける使用のためにデプロイされるとき、入力はビデオの形態であってもよい。このビデオの個々のフレームは、実質的に画像に関して説明したように処理することができる。

【0112】

[0126] ルーチン９０の一部については、図１１に示す例示的なデータ・フロー、ならびに人工知能訓練システム１０００のコンポーネントと内部撮像システム１００２および１００４との間における相互作用も更に参照して説明する。ルーチン９００の他の一部については、図１２に示す例示的な機械学習モデル２１２も更に参照して説明する。

【0113】

[0127] ルーチン９００は、ブロック９０２において開始する。ルーチン９００は、人工知能訓練システム１０００が動作を開始したときのように、イベントに応答して、または何らかの他のイベントもしくはトリガに応答して、開始することもできる。ルーチン９００を開始するとき、１つ以上の非一時的コンピュータ読み取り可能媒体（例えば、ハード・ドライブ、フラッシュ・メモリ、リムーバブル媒体等）に格納されている１組の実行可能プログラム命令を、図１３に示し以下で更に詳しく説明するＡＩ訓練システム・コンピューティング・デバイス１２００のような、人工知能訓練システムのコンピューティング・デバイスのメモリ（例えば、ランダム・アクセス・メモリ、即ち、「ＲＡＭ」）にロードすることができる。ある実施形態では、ルーチン９００またはその一部を複数のプロセッサに、シリアルにまたはパラレルに実装することもできる。

【0114】

[0128] ブロック９０４において、人工知能訓練システム１０００（ここでは、便宜上、単に「訓練システム」とも呼ぶ）は、訓練データを生成する元になる、機械的強化組織観察手順から、画像を得ることができる。

【0115】

[0129] 図１１に示すように、訓練システム１０００は、機械学習モデル訓練機能を設けるために、種々のサブシステムおよびデータ・ストアを含むことができる。例えば、訓練システム１０００は、内部撮像デバイスを機械的強化エレメントと共に使用して生成された画像を格納するために、画像データ・ストア１０１０を含むことができる。また、訓練システム１０００は、画像にラベルを付け、ラベル付き画像を使用して訓練データを生成するために、訓練データ生成サブシステム１０１２と、訓練データを格納するために、訓練データ・ストア１０１４とを含むことができる。また、訓練システム１０００は、訓練データ・ストア１０１４からの訓練データを使用して機械学習モデル２１２を訓練するために、モデル訓練サブシステム１０１６も含むことができる。

【0116】

[0130] ある実施形態では、訓練システム１０００（またはその個々のコンポーネント）は、ブレード・サーバ、中位のコンピューティング・デバイス、メインフレーム・コンピュータ、デスクトップ・コンピュータ、またはコンピューティング・サービスおよびリソースを提供するように構成された任意の他のコンピューティング・デバイスのような、１つ以上のホスト・デバイス上に実装することができる。例えば、１つのホスト・デバイスが、１つ以上の画像データ・ストア１０１０、訓練データ生成サブシステム１０１２、訓練データ・ストア１０１４、モデル訓練サブシステム１０１６、これらの何らかの組み合わせ等を実行することもできる。訓練システム１０００は、任意の数のこのようなホストを含むことができる。

【0117】

[0131] ある実施形態では、訓練システム１０００によって供給される特徴およびサービスは、１つ以上の通信ネットワークを通じて消費可能なウェブ・サービスとして実装することができる。更に他の実施形態では、訓練システム１０００（またはその個々のコンポーネント）は、ホストされたコンピューティング環境において実装された１つ以上の仮想機械によって提供される。ホストされたコンピューティング環境は、コンピューティング・デバイス、ネットワーキング・デバイス、および／または記憶デバイスのような、１つ以上の素早くプロビジョニングされ解放されるコンピューティング・リソースを含むことができる。また、ホストされたコンピューティング環境を、「クラウド」コンピューティング環境と呼ぶこともできる。

【0118】

[0132] 訓練システム１０００は、１つ以上の撮像システム１００２から画像１０２２を得ることができる。撮像システム１００２は、撮像のために機械的強化を組織に適用するように構成された機械的強化エレメントを有する種々の撮像システムの内任意のものを含むことができる。ある実施態様では、撮像システム１００２は、図１に示すような、選択的に膨張可能／収縮可能なバルーン１１０を有する内視鏡１００を含む、または内視鏡１００と通信する内視鏡システム１０２としてもよい。内視鏡１００を患者の空洞内に挿入し、腸内腔（例えば、患者の結腸の内部）のような、撮像する位置まで前進させることができる。先に非常に詳しく説明したように、バルーン１１０は、停留未達圧力まで選択的に膨張させ、そして後退させる(retract)ことができる。有利なこととして、バルーン１１０を停留未達圧力に膨張させて内視鏡１００を後退させることにより、腸内腔の内部組織を伸ばし、ＣＣＤ１０１のような可視化エレメントを使用して、伸ばした組織の画像（例えば、静止画像、ビデオ、またはこれらの組み合わせ）を撮ることができる。

【0119】

[0133] 機械的に強化された（伸ばされた）組織の撮影画像は、このような望ましい条件が存在するときを判定するようにモデル２１２を訓練できるようするために、最適な度合いまたは他の望ましい度合いまで機械的に強化された組織の画像を含むことができる。例えば、非常に熟練した医療従事者であれば、画像を撮る手順を実行することができ、これらの画像を、手順異常を描写しない正常な手順条件の画像であると見なすことができる。また、最適でない度合いまたは他の望ましくない度合いに機械的に強化された組織の画像も撮ることができるので、このような望ましくない条件が存在するときを判定するように、モデル２１２を訓練することができる。ある実施形態では、機械的に強化されていない組織の画像を撮り、このような条件が存在するときを判定するように、モデル２１２を訓練することもできる。

【0120】

[0134] 本明細書において説明する特定の例は、バルーンを使用する(based)機械的強化エレメントを有する内視鏡に言及するが、これらの例は例示に過ぎず、限定することは意図していない。ある実施形態では、他の撮像システムおよび／または機械的強化エレメントは均一にまたは種々の組み合わせで使用される。

【0121】

[0135] 撮像システム１００２は、画像が生成されるに連れて（例えば、撮像手順中に）、撮像手順の後に（例えば、バッチ処理で）、訓練システム１０００からの要求後に要求に応じて(on demand)、スケジュールに沿って、または何らかの他のイベントに応答して、画像１０２２を訓練システム１０００に送ることができる。訓練システム１０００は、画像１０２２を画像データ・ストア１０１０に格納することもできる。ある実施形態では、全ての画像が、１組の複数の撮像システム１００２ではなく、１つの撮像システム１００２から得られてもよい。

【0122】

[0136] ある実施形態では、機械学習モデルを訓練する対象となる訓練データを生成する前に、または訓練データを生成するプロセスの一部として、画像１０２２を前処理することもできる。例えば、画像の解像度は、機械学習モデルが動作するように構成される解像度に標準化することもできる（例えば、モデル２１２の種々の層のサイズに基づいて）。他の例として、撮像システム１００２からの画像全体を使用する代わりに、またはそれに加えて、プロセスのために、画像をもっと小さい部分にセグメント化することもできる。

【0123】

[0137] ブロック９０６において、訓練データ生成サブシステム１０１２は、画像１０２２の内、機械学習モデル２１２によって検出される手順異常を含まない部分にラベルを付けることができる。ある実施形態では、画像１０２２の部分集合に、手順異常の存在について陰性であるとして、前もってタグ付けしてもよい。例えば、画像を生成するプロセスの間またはその後に、撮像システム１００２のユーザが、手順異常の存在について陰性である画像を指示してもよい。タグ・データは、このような画像に組み込むことができ、または訓練システム１００２に、画像とは別個のメタデータとして供給することもできる。タグ・データは、対応する画像内に手順異常があるか否かについてのフラグまたはその他の指標(indicator)を含むことができる。訓練データ生成サブシステム１０１２は、タグ・データにアクセスし、これに基づいて、画像１０２２の一部に、手順異常を含まないというラベルを付けることができる。ラベル付けされた画像は、訓練データ・ストア１０１４に、訓練データとして格納することができる。

【0124】

[0138] ある実施形態では、画像１０２２の一部には、手順異常の存在について陰性であるとして前もってタグ付けされていなくてもよい。このような画像に対して、訓練データ生成サブシステム１０１２は、これらの画像１０２２のために、手順異常の存在について陰性であるというラベルを生成する、または他の方法で得ることができる。例えば、訓練データ生成サブシステム１０１２が、ユーザ・インターフェースを医療従事者またはその他の専門家に提供してもよい。このユーザ・インターフェースは、ウェブ・ページ、移動体アプリケーション・インターフェース、デスクトップ・アプリケーション・インターフェースとして配信されるグラフィカル・ユーザ・インターフェース、または何らかの他の配信メカニズムによって配信されるグラフィカル・ユーザ・インターフェースであってもよい。ユーザは、このインターフェースを使用して、画像を見て、どの画像が手順異常を含むかおよび／または含まないか、個々の画像内のどこに手順異常が位置するか、手順異常に関する更に詳細な情報（例えば、これらが、過剰に変更された組織、不適切に変更された組織、過剰な退行速度、不適切な退行速度、組織異常が存在するがこの組織異常を評価するために停止しないこと、多すぎる画像デバイス操作、または何らかの他の具体的な手順異常に関連するか否か）等の内１つ以上を指示することができる。手順異常の有無（または他の関連情報）を指示するための相互作用は、タグ・データを生成するために使用することができ、タグ・データは、画像に組み込むこと、または訓練システム１００２に、画像とは別個のメタデータとして供給することもできる。タグ・データは、対応する画像内に手順異常があるか否かについてのフラグまたはその他の指標を含むことができる。訓練データ生成サブシステム１０１２は、タグ・データにアクセスし、これに基づいて、画像１０２２の一部に、手順異常を含まないというラベルを付けることができる。ラベル付けされた画像は、訓練データ・ストア１０１４に、訓練データとして格納することができる。

【0125】

[0139] ブロック９０８において、訓練データ生成サブシステム１０１２は、画像１０２２の内、機械学習モデル２１２によって検出される手順異常を含む部分にラベルを付けることができる。ある実施形態では、画像１０２２の一部に、手順異常の存在について陽性であるとして、前もってタグ付けしてもよい。例えば、画像を生成するプロセスの間またはその後に、撮像システム１００２のユーザが、手順異常の存在について陽性である画像を指示してもよい。タグ・データは、このような画像に組み込むことができ、または訓練システム１００２に、画像とは別個のメタデータとして供給することもできる。タグ・データは、対応する画像内に手順異常があるか否か、画像内のどこに手順異常が位置する可能性があるか、手順異常の特質(nature)に関する追加情報（例えば、 これらが、過剰に変更された組織、不適切に変更された組織、過剰な退行速度、不適切な退行速度、組織異常が存在するがこの組織異常を評価するために停止しないこと、多すぎる画像デバイス操作、または何らかの他の具体的な手順異常に関連するか否か）等についてのフラグまたはその他の指標を含むことができる。訓練データ生成サブシステム１０１２は、タグ・データにアクセスし、これに基づいて、画像１０２２の一部に、手順異常を含むというラベルを付けることができ、更に随意に、個々の画像のどの部分が手順異常を示すかについてラベルを付けることができる。実例をあげると、手順異常を示すための画像のラベル付けは、手順異常の座標位置、手順異常の基準位置からのオフセット、手順異常の位置範囲、または訓練システム１０００が、画像において手順異常を検出するように、機械学習モデル２１２を訓練することができる何らかの他のデータを示すために、タグ・データからラベリング・データ(labelling data)を生成すること、あるいはタグ・データをコピーすることを含んでもよい。ラベル付けされた画像は、訓練データ・ストア１０１４に、訓練データ画像として格納することができる。

【0126】

[0140] ある実施形態では、画像１０２２の一部が、手順異常の存在について陽性であるとして前もってタグ付けされていない場合もある。このような画像に対して、訓練データ生成サブシステム１０１２は、これらの画像１０２２に、手順異常の存在について陽性であるというラベルを生成する、または他の方法で得ることができる。例えば、手順異常の存在について陽性である画像に関して先に説明したように、訓練データ生成サブシステム１０１２は、画像を見て、どの画像が手順異常を含むかおよび／または含まないか、個々の画像のどの部分が手順異常を示すか、手順異常に関する更に詳細な情報（例えば、これらが、過剰に変更された組織、不適切に変更された組織、過剰な退行速度、不適切な退行速度、組織異常が存在するがこの組織異常を評価するために停止しないこと、多すぎる画像デバイス操作、または何らかの他の具体的な手順異常に関連するか否か）等 の内１つ以上を指示するためのユーザ・インターフェースを、医療従事者またはその他の専門家に提供することもできる。手順異常の有無（または他の関連情報）を指示するための相互作用は、タグ・データを生成するために使用することができ、タグ・データは、対応する画像内に手順異常があるか否かについてのフラグまたはその他の指標を含むことができる。訓練データ生成サブシステム１０１２は、タグ・データにアクセスし、これに基づいて、画像１０２２の一部に、手順異常、その手順異常の特質等を含むというラベルを付けることができる。ラベル付けされた画像は、訓練データ・ストア１０１４に、訓練データ画像として格納することができる。

【0127】

[0141] ブロック９０６および９０８は、実行の並列経路における別個のブロックとして示されているが、この図示は例示に過ぎず、限定することは意図していない。ある実施形態では、ブロック９０６および９０８に関連する動作は、一方のブロックが他方のブロックの前に来て、連続して実行してもよい。ある実施形態では、ブロック９０６および９０８に関連する動作は、１つのステップで実行してもよく、その間に、それぞれの画像が処理される順序には関係なく、画像を分析し、一部の画像には、手順異常について陰性であるとしてラベルを付け、他の画像には手順異常について陽性であるとしてラベルを付ける。

【0128】

[0142] ブロック９１０において、訓練データ生成サブシステム１０１２または訓練システム１０００の何らかの他のサブシステムは、機械学習モデル２１２を訓練するために、ルーチン９００の現在のインスタンス中に使用する訓練データを選択することができる。ある実施形態では、訓練データ生成サブシステム１０１２は、訓練データ・ストア１０１４内にあるラベル付き訓練画像を、訓練集合と検査集合とに分離することができる。訓練集合は、機械学習モデル２１２を訓練するために、以下で更に詳しく説明するように使用することができる。検査集合は、訓練された機械学習モデル２１２を検査するために使用することができる。有利なこととして、機械学習モデル２１２の性能を検査するために別個の検査画像集合を使用することにより、訓練された機械学習モデル２１２が、訓練中に（または検査の反復中に）機械学習モデルに渡されていなかった新たな画像に、訓練を一般化することができるか否か判定し易くすることができる。

【0129】

[0143] ブロック９１２において、モデル訓練サブシステム１０１６は、訓練される機械学習モデル２１２のパラメータを初期化することができる。ある実施形態では、機械学習モデルをニューラル・ネットワーク（「ＮＮ」）として実装してもよい。

【0130】

[0144] 概略的に説明すると、ＮＮは、深層ニューラル・ネットワーク（「ＤＮＮ」）、畳み込みニューラル・ネットワーク（「ＣＮＮ」）、回帰型ニューラル・ネットワーク（「ＲＮＮ」）、その他のＮＮ、およびこれらの組み合わせを含み、「ニューロン」とも呼ばれる、複数層のノードを有する。実例をあげると、ＮＮは、入力層、出力層、ならびに入力および出力層間に任意の数の中間、内部、または「隠れ」層を含むことができる。個々の層は、任意の数の別個のノードを含むことができる。隣接する層のノードは、論理的に互いに接続することができ、隣接する層の種々のノード間における各論理接続には、それぞれの重みと関連付けることができる。概念的に、ノードは、複数の異なる入力値の関数として出力値を計算する計算ユニットと考えてもよい。ノードが「接続されている」と考えてもよいのは、現在のノードと関連付けられた関数に対する入力値が、直前の層におけるノードと関連付けられた関数の出力に、現在のノードと直前の層におけるノードとの間における個々の「接続」と関連付けられた重みを乗算したものを含むときである。入力データを入力ベクトルまたは入力ベクトルの行列の形態（例えば、画像の個々の画素の値のような、画像を表すデータ）で処理するためにＮＮを使用するとき、ＮＮは、出力ベクトルまたは出力ベクトルの行列をそれぞれ生成するために、「フォワード・パス」(forward pass)を実行することができる。入力ベクトルは、各々、ＮＮ入力層のｎ個のノードに対応する、ｎ個の別個のデータ・エレメントまたは「次元」を含むことができる（ここで、ｎは入力画像における画素の総数のような、何らかの正の整数である）。各データ・エレメントは、浮動小数点数または整数（例えば、画素のグレースケール値または赤－青－緑、即ち、「ＲＧＢ」値）のような値にすることができる。フォワード・パスは、通例、入力ベクトルを、入力層のノードと次の層のノードとの間における接続と関連付けられた重みを表す行列と乗算し、バイアス項を適用し、更に活性化関数を結果に適用する処理を含む。次いで、後続のＮＮ層毎に、このプロセスを繰り返す。ＮＮによっては、隣接層の全てのノード間における接続のために、１０万または１００万個単位のノードと、１００万個単位の重みとを有するものもある。

【0131】

[0145] ＮＮの訓練可能なパラメータには、フォワード・パスの間に適用される、層毎の重み（そして、ある実施形態では、バイアス項）が含まれる。ある実施形態では、機械学習モデルのパラメータを初期化するために、モデル訓練サブシステム１０１６は、擬似乱数発生器を使用して、擬似乱数値をパラメータに割り当てることができる。ある実施形態では、他の方法を使用して、パラメータを初期化することもできる。例えば、ルーチン９００または何らかの他のプロセスを使用して以前に訓練された機械学習モデル２１２が、ルーチン９００の現在の反復の開始点として機能する(serve)こともできる。

【0132】

[0146] ブロック９１４において、モデル訓練サブシステム１０１６は、訓練データ出力を生成するために、モデル２１２を使用して、訓練データ画像を分析することができる。実例をあげると、訓練データ出力は、訓練データ画像が手順異常について陰性かまたは陽性か、画像のどの部分が陰性または陽性である可能性があるか、および／または手順異常の特質に関する分類判定に対応することができる。ルーチン９００の後続ブロックにおいて、訓練データ出力は、モデル２１２の性能を評価し、訓練可能なパラメータにアップデートを適用するために使用される。

【0133】

[0147] 図１２を参照して、 訓練データ出力（そして、同様に、訓練された機械学習モデル２１２の生産実施(production implementation)における予測出力）を生成する 機械学習モデル２１２の例示的な実施形態の構造および動作について説明する。例示的な機械学習モデル２１２は、ＣＮＮとして実装され、 便宜上単に「モデル」とも呼ばれるが、図示のように、モデル２１２は、１つ以上の畳み込み層１１０２、１つ以上の最大値プーリング層１１０４、および出力層１１０８の前における１組の全結合層(fully-connected layer)１１０６を含む。畳み込み層１１０２および最大値プーリング層１１０４は、入力画像１１１０を繰り返し「畳み込み」（例えば、入力画像１１１０の部分を処理するためにスライディング・ウィンドウを使用する）、特定の「特徴」（例えば、検出されるオブジェクトのエッジまたはその他の様相(aspect)）が入力画像１１１０の異なる部分に存在する度合いを判定するために使用される。この手順の態様(aspect)を「特徴マッピング」(feature mapping)と呼んでもよい。この手順は、任意の組数の畳み込み層１１０２および最大値プーリング層１１０４（例えば、１、２、５、１０、またはそれ以上の組）を使用して実行することができる。これらの組の畳み込み層１１０２および最大値プーリング層１１０４によって生成された結果は、浮動小数点数のような数値の行列となることができる。次いで、この行列は、１組の全結合層１１０６によって、処理のためにベクトルに変換することができる。全結合層１１０６は、入力画像１１１０が手順異常について陽性かまたは陰性かを示す分類出力を生成することができる。例えば、特定の出力値、または特定の１組の出力値は、陽性または陰性であるとする分類を表すことができる（例えば、値≧０．５は陽性分類を示し、値＜０．５は陰性分類を示す）。ある実施形態では、全結合層１１０６の出力、または畳み込み層１１０２および最大値プーリング層１１０４によって生成された別個の出力、あるいは他の方法で畳み込み層１１０２および最大値プーリング層１１０４によって生成された出力から導き出された別個の出力は、手順異常、この手順異常の特質等を表す、入力画像１１１０内における位置（１つまたは複数）を示すことができる。

【0134】

[0148] これより、モデル２１２によって実行される処理の一例について、最初に、モデル２１２の最後にある全結合層１１０６の動作を参照し、次いでモデル２１２の先頭にある畳み込み層１１０２および最大値プーリング層１１０４を参照して、説明する。１組の全結合層１１０６は、畳み込み層（１つまたは複数）１１０２および最大値プーリング層（１つまたは複数）１１０４の出力を受け取る入力層を含むことができる。１組の全結合層１１０６は、複数のノードを有する入力層と、各々複数のノードを有する１つ以上の内部層と、複数のノードを有する出力層とを含む。図１２に示す具体的な層の数は、例示に過ぎず、限定することは意図していない。あるモデル２１２では、１組の全結合層１１０６が、入力層、内部層、および／または出力層において、異なる数の内部層および／または異なる数のノードを含むこともできる。例えば、あるモデル２１２では、層が数百または数千のノードを有することもできる。他の例として、あるモデル２１２では、１、２、４、５、１０、５０、またはそれ以上の内部層があってもよい。ある実施態様では、各層が、同じ数または異なる数のノードを有してもよい。例えば、入力層または出力層が、各々、内部層よりも多いまたは少ないノードを含んでもよい。入力層および出力層は、互いに、同じ数または異なる数のノードを含んでもよい。内部層は、互いに、同じ数または異なる数のノードを含んでもよい。

【0135】

[0149] １組の全結合層１１０６の隣接する層の個々のノード間の接続は、各々、重みおよび／またはバイアス項のような、訓練可能なパラメータと関連付けられ、このパラメータは、直前の層のノードから、後続の層のノードの活性化関数に受け渡される値に適用される。例えば、入力層から、それが接続された内部層への接続と関連付けられた重みを、ｍ×ｎのサイズを有する重み行列Ｗに配列することができる。ここで、ｍは内部層におけるノードの数を示し、ｎは入力層の次元(dimensionality)を示す。重み行列Ｗにおける個々の行は、入力層における個々のノードに対応することができ、重み行列Ｗにおける個々の列は、内部層における個々のノードに対応することができる。入力層における任意のノードから内部層における任意のノードまでの接続と関連付けられた重みｗは、重み行列Ｗにおける対応する交差位置に配置することができる。

【0136】

[0150] 実例をあげると、畳み込み層（１つまたは複数）１１０２および最大値プーリング層（１つまたは複数）１１０４の出力を表すベクトルを、コンピュータ・プロセッサによって計算する、または他の方法で得ることができ、コンピュータ・プロセッサは、重み行列Ｗを格納するか、またそうでなければ重み行列Ｗにアクセスすることができる。次いで、プロセッサは、このベクトルと重み行列Ｗを乗算して、中間ベクトルを生成する。プロセッサは、内部層と関連付けられたオフセットまたはバイアスを使用して（例えば、適用される重みとは別の値を加算または減算することによって）、中間ベクトルにおける個々の値を調節することができる。加えて、プロセッサは、中間ベクトルにおける個々の値に活性化関数を適用することができる（例えば、個々の値を、正規化線形ユニット（「ＲｅＬＵ」：Rectified Linear Unit）関数またはシグモイド関数への入力として使用することによって）。

【0137】

[0151] ある実施形態では、複数の内部層があってもよく、各内部層は、他の各内部層と同じ数のノードを有しても、有さなくてもよい。１つの内部層（「直前の内部層」とも呼ぶ）から次の内部層（「直後の内部層」とも呼ぶ）への接続と関連付けられた重みは、重み行列Ｗと同様の重み行列に配列することができる。この行列の行数は直後の内部層におけるノード数に等しく、列数は直前の内部層におけるノード数に等しい。重み行列は、入力層および第１内部層に関して先に説明したプロセスを使用して、他の中間ベクトルを生成するために使用することができる。中間ベクトルを重み行列と乗算し、その結果得られた中間ベクトルにおける個々の値に活性化関数を適用するプロセスは、全結合層１１０６の最初の内部層に続く全結合層１１０６の内部層毎に実行することができる。

【0138】

[0152] モデル２１２の出力層は、最後の中間ベクトルから出力判定(output determination)を行う。最後の内部層から出力層への接続と関連付けられた重みは、重み行列Ｗと同様の重み行列に配列することができる。この重み行列の行数は、出力層におけるノード数に等しく、列数は最後の内部層におけるノード数に等しい。この重み行列は、入力層および第１内部層に関して先に説明したプロセスを使用して、出力ベクトル１１０８を生成するために使用することができる。

【0139】

[0153] 出力ベクトル１１０８は、モデル２１２によって入力画像１１１０に対して行われた分類または回帰判定(regression determination)を表すデータを含むことができる。一部のモデル２１２は、ｕ通りの異なる分類に対応するｕ通りの分類判定を行うように構成される（ここで、ｕは出力層におけるノード数に対応する数値である）。出力ベクトルのｕ個の異なる次元の各々におけるデータは、入力画像１１１０が対応する分類に適正に分類されている確率を示す信頼度スコアとしてもよい。一部のモデル２１２は、分類判定ではなく回帰判定に基づいて、または分類判定に対応する回帰判定に基づいて、値を生成するように構成される。

【0140】

[0154] 訓練画像１１１０が描かれる元となる訓練データは、基準データ出力ベクトルも含むことができる。各基準データ出力ベクトルは、訓練画像１１１０に対応することができ、更にモデル２１２が対応する訓練画像１１１０のために生成するはずの「正しい」出力または他の望ましい出力を含むことができる。例えば、基準データ出力ベクトルは、対応する訓練画像１１１０に対する適正な分類（１つまたは複数）を示すスコアを含むことができる（例えば、適正な分類（１つまたは複数）に対して１．０のスコア、そして不適正な分類（１つまたは複数）に対して０．０のスコア）。他の例として、基準データ出力ベクトルは、対応する訓練データ入力ベクトルに対する適正な回帰出力（１つまたは複数）を示すスコアを含むこともできる。訓練の目標は、モデル出力１１１２と対応する基準データ出力ベクトルとの間の差を最小限に抑えることにしてもよい。

【0141】

[0155] １組の全結合層１１０６に先だって、１つ以上の畳み込み層１１０２および１つ以上の最大値プーリング層１１０４を使用して、画像１１１０を分析することができる。１組の全結合層１１０６と同様、畳み込み層１１０２は、画像１１１０の部分、直前の畳み込み層１１０２の出力の部分、または最大値プーリング層１１０４の出力の部分のような、層入力の部分に適用される訓練可能なパラメータ（例えば、重み、バイアス）と関連付けられる。しかしながら、全結合層１１０６とは異なり、畳み込み層１１０２におけるノードは、全結合状にニューロンの全ての代わりに、直前の層の小さな領域のみに接続されればよい。

【0142】

[0156] 例示として、訓練画像１１１０は、値の行列（例えば、グレースケール画像に対して）、またはテンソル（例えば、３つのカラー・チャネルを有するＲＧＢ画像に対して）として表され、個々の値が画像１１１０の個々の画素値を表すことができる。畳み込み層１１０２は、入力画像１１１０における特定の領域に接続されたノードに対して、層出力を生成することができる。例えば、畳み込み層１１０２の各ノードは、その関連する重みおよび直前の層（または入力画像１１１０）の領域のドット積に対応する。入力についての特徴は、１つよりも多くを検出のために評価することもでき、１組の重みによって表された別個の「フィルタ」を使用して、各特徴の存在を評価することができる。つまり、ある実施形態では、所与の畳み込み層１１０２の出力を、三次元テンソルとして表すこともでき、２つの次元が入力画像１１１０の空間次元に対応し、第３の次元がフィルタ数に対応する。ＲｅＬＵのような活性化関数も、エレメント毎に各ノードに適用することができる。これらの動作は、実質的に一般的なＮＮおよび１組の全結合層１１０６に関して先に説明した通りに実行することができるが、畳み込み層の接続性が限られているために、調節を伴う。最大値プーリング層１１０４は、直前の畳み込み層１１０２の出力に対して効果的に圧縮処理(operation)を実行することができ、その結果、最大値プーリング層の出力は、入力画像１１１０のサイズに関して、空間次元が縮小する。

【0143】

[0157] 先に図示し説明したように実装されるモデル２１２は、したがって、入力画像１１１０を、画像の画素値から、モデル２１２によって出力される最終的な検出スコア（例えば、分類または回帰スコア）に変換する。このようにする際、畳み込み層１１０２および全結合層１１０６は、それらのそれぞれの入力（例えば、以前の層からの入力）だけでなく、層のパラメータ（ニューロンの重みおよびバイアス）の関数でもある変換を実行する。モデル２１２の他の部分は、別個の訓練可能なパラメータを有さなくてもよい。例えば、最大値プーリング層１１０４および任意のＲｅＬＵ関数は、それらのそれぞれの入力のみに依存し必ずしも訓練可能ではない、固定関数を実装することもできる。

【0144】

[0158] 図１０に示すルーチン９００に戻り、ブロック９１６において、モデル訓練サブシステム１０１６は、モデル２１２を使用して、１つ以上の訓練入力画像１１１０を処理した結果を評価することができる。ある実施形態では、モデル訓練サブシステム１０１６は、損失関数を使用して、結果を評価することができ、損失関数には、二値交差エントロピ損失関数、重み付け交差エントロピ損失関数、二乗誤差損失関数、ソフトマックス(softmax)損失関数、何らかのその他の損失関数、またはこれらの関数の複合体等がある。損失関数は、モデル２１２を使用して生成された訓練データ出力ベクトルが、対応する訓練データ画像に対する所望の出力（例えば、基準データ出力ベクトル）とは異なる度合いを評価することができる。

【0145】

[0159] ブロック９１８において、モデル訓練サブシステム１０１６は、モデル２１２を使用して１つ以上の訓練入力画像１１１０を処理した結果の評価に基づいて、モデル２１２のパラメータを更新することができる。これらのパラメータの更新は、同じ訓練データ画像が再度処理された場合、モデル２１２によって生成される出力が、訓練データ画像に対応する基準データ出力ベクトルによって表される所望の出力に一層近くなるように、行うことができる。ある実施形態では、モデル訓練サブシステム１０１６は、訓練データ出力ベクトルと基準データ出力ベクトルとの間の差に基づいて、勾配を計算することもできる。例えば、損失係数の勾配（例えば、派生関数(derivative)）を計算することができる。勾配は、モデル出力を改善するために（例えば、所与の入力に対する正しい出力または所望の出力により近い出力を生成するために）、モデル２１２の個々のパラメータを調節する方向を決定するために使用することができる。個々のパラメータを調節する度合いは、予め決めておいても、または動的に決定してもよい（例えば、勾配および／またはハイパー・パラメータに基づいて）。例えば、学習率(learning rate)のようなハイパー・パラメータは、モデル２１２の個々のパラメータに適用する調節の大きさを指定する、または決定するために使用することができる。

【0146】

[0160] ある実施形態では、モデル訓練サブシステム１０１６は、１組の訓練データ全体ではなく、訓練データの部分集合について勾配を計算することができる。したがって、この勾配を「部分的勾配」と呼ぶこともできる。何故なら、これは訓練データのコーパス(corpus)全体に基づくのではないからである。代わりに、これは、訓練データの特定の部分集合だけを処理するときの、訓練データ出力ベクトルと基準データ出力ベクトルとの間の差に基づく。

【0147】

[0161] 例示的な実施形態を参照すると、モデル訓練サブシステム１０１６は、勾配降下法を逆伝搬と共に使用して、機械学習モデル２１２の一部または全部のパラメータ（例えば、モデルの重み）を更新することができる。逆伝搬では、損失関数（例えば、先に説明したような）を使用して、訓練誤差を判定する。訓練誤差を減らすためには、訓練誤差を使用して、モデル２１２の個々のパラメータを更新することができる。例えば、誤差を減らすためには、損失関数に対して勾配を計算して、重み行列における重みをどのように調節すればよいか決定することもできる。この調節を、層から層に、モデル２１２全体にわたって逆方向に伝搬させることができる。

【0148】

[0162] 判断ブロック９２０において、モデル訓練サブシステム１０１６は、ある実施形態では、１つ以上の停止判断基準を満たすか否か判定することができる。例えば、停止判断基準は、損失関数、検査集合、または双方を使用して判定されるような、機械学習モデル２１２の精度に基づくことができる。他の例として、停止判断基準は、実行された訓練の反復回数（例えば、「エポック」）、経過した訓練時間等に基づくことができる。１つ以上の停止判断基準を満たす場合、ルーチン９００はブロック９２２に進むことができ、その他の場合、ルーチン９００はブロック９１４またはルーチン９００の何らかの他の以前のブロックに戻ることができる。

【0149】

[0163] ブロック９２２において、モデル訓練サブシステム１０１６は、訓練済みモデル２１２を格納および／または配布することができる。ルーチン９００は、ブロック９２４において終了することができる。

【0150】

[0164] 図１１に示すように、撮像手順において使用する１つ以上の撮像システム１００４に、訓練済みモデル２１２を配布することができる。ある実施形態では、加えてまたは代わりに、訓練システム１０００がモデル２１２を訓練するための画像１０２２を得た元の撮像システム１００２に、訓練済みモデル２１２を配布することができる。

【0151】

[0165] ある実施形態では、先に説明したように、撮像システム１００２または１００４は、図１に示すような内視鏡システム１０２を含むこともできる。内視鏡システム１０２は、１つ以上のコンピュータ・プロセッサを有するコンピューティング・デバイスを含むことができ、コンピュータ・プロセッサは、とりわけ、バルーン内視鏡１００の可視化エレメントから得られた画像データ（例えば、静止画像、ビデオ等）を処理し、この画像データをモニタ１０４上に明示するように、実行可能命令によってプログラミングされている。訓練済みモデル２１２が供給されると、内視鏡システム１０２は、訓練済みモデル２１２を使用して画像データを分析し、手順異常を検出し、是正措置を実施することができる。例えば、特定の画像またはビデオの一部に対して訓練されたモデル２１２の出力が、手順異常の存在について陽性分類を示す場合、陽性分類、手順異常の種類等を示すために、モニタ１０４上の表示(presentation)を更新することができる。ある実施形態では、モニタ１０４による表示(presentation)に加えて、またはその代わりに、先に更に詳しく説明したように、制御サブシステム２０８による動作パラメータに対する変更を決定および実施するために、モデル２１２の出力を使用することができる。

【0152】

[0166] 図１３は、ある実施形態において、プロセスを実行し、先に説明した訓練システム１０００の特徴を実装するために使用することができる訓練システム・コンピューティング・デバイス１２００の一例を示す。ある実施形態では、コンピューティング・デバイス１２００は、物理中央処理ユニット（「ＣＰＵ」）またはグラフィクス処理ユニット（「ＧＰＵ」）のような１つ以上のコンピュータ・プロセッサ１２０２と、ネットワーク・インターフェース・カード（「ＮＩＣ」）のような１つ以上のネットワーク・インターフェース１２０４と、高密度ディスク（「ＨＤＤ」）、ソリッド・ステート・ドライブ（「ＳＳＤ」）、フラッシュ・ドライブ、および／または他の永続的非一時的(persistent non-transitory)コンピュータ読み取り可能媒体のような、１つ以上のコンピュータ読み取り可能媒体ドライブ１２０６と、ランダム・アクセス・メモリ（「ＲＡＭ」）および／またはその他の揮発性非一時的コンピュータ読み取り可能媒体のような、１つ以上のコンピュータ読み取り可能メモリ１２１０とを含むことができる。ネットワーク・インターフェース１２０４は、１つ以上のネットワークまたはコンピューティング・デバイスに接続(connectivity)を設けることができる。コンピュータ・プロセッサ１２０２は、ネットワーク・インターフェース１２０４を介して、情報および命令を他のコンピューティング・デバイスまたはサービスから受信することができる。また、ネットワーク・インターフェース１２０４は、データを直接コンピュータ読み取り可能メモリ１２１０に格納することもできる。コンピュータ・プロセッサ１２０２は、コンピュータ読み取り可能メモリ１２１０と双方向で通信し、命令を実行し、コンピュータ読み取り可能メモリ１２１０内にあるデータを処理すること等が可能である。

【0153】

[0167] コンピュータ読み取り可能メモリ１２１０は、１つ以上の実施形態を実施するためにコンピュータ・プロセッサ１２０２が実行するコンピュータ・プログラム命令を含むことができる。コンピュータ読み取り可能メモリ１２１０は、オペレーティング・システム１２１２を格納することができる。オペレーティング・システム１２１２は、コンピューティング・デバイス１２００の全体的な管理および動作において、コンピュータ・プロセッサ１２０２が使用するコンピュータ・プログラム命令を供給する。また、コンピュータ読み取り可能メモリ１２１０は、機械学習モデルの訓練を実施するための機械学習モデル訓練命令１２１４も含むことができる。更に、コンピュータ読み取り可能メモリ１２１０は、訓練対象の手順分析モジュール２１２（またはその一部）のような本開示の態様を実施するために、コンピュータ・プログラム命令およびその他のデータも含むことができる。

【0154】

[0168] また、図１３は撮像システムのコンピューティング・デバイス１２５０の一例も示す。撮像システムのコンピューティング・デバイス１２５０は、ある実施形態において、プロセスを実行し、先に説明した撮像システム１００２、１００４等の機構(feature)を実装するために使用することができる。撮像システムのコンピューティング・デバイス１２５０は、先に説明した訓練システムのコンピューティング・デバイス１２００のコンポーネントと、一部または全部の態様において、同様のコンポーネントを含むことができる。例えば、コンピューティング・デバイス１２５０は、１つ以上のコンピュータ・プロセッサ１２５２、１つ以上のネットワーク・インターフェース１２５４、１つ以上のコンピュータ読み取り可能媒体ドライブ１２５６、および１つ以上のコンピュータ読み取り可能メモリ１２６０を含むことができる。コンピュータ読み取り可能メモリ１２６０は、コンピュータ・プロセッサ１２５２が１つ以上の実施形態を実施するために実行するコンピュータ・プログラム命令を含むことができる。コンピュータ読み取り可能メモリ１２６０は、オペレーティング・システム１２６２を格納することができる。オペレーティング・システム１２６２は、コンピューティング・デバイス１２５０の全体的な管理および動作において、コンピュータ・プロセッサ１２５２が使用するコンピュータ・プログラム命令を供給する。また、コンピュータ読み取り可能メモリ１２６０は、撮像手順を実装し画像を分析するための撮像手順管理命令１２６４も含むことができる。更に、コンピュータ読み取り可能メモリ１２６０は、手順異常を検出するために、コンピューティング・デバイス１２５０が、撮像手順の間に生成される画像を分析するときに使用する手順分析モデル２１２、および組織異常を検出するために、コンピューティング・デバイス１２５０が画像を分析するときに使用する組織分析モデル１２７０のような、 本開示の態様を実装するために、コンピュータ・プログラム命令およびその他のデータも含むことができる。

【0155】

[0169] 実施形態によっては、本明細書において説明したプロセスまたはアルゴリズムは、そのいずれも、その特定のアクト、イベント、または機能を異なるシーケンスで実行することができ、纏めて追加、融合、または除外することができる（例えば、説明した動作またはイベントの全てが、アルゴリズムの実施のために必要な訳ではない）。更に、特定の実施形態では、動作またはイベントを順次ではなく、同時に、例えば、マルチスレッド型処理、割り込み処理によって、または複数のプロセッサもしくはプロセッサ・コア、あるいは他の並列アーキテクチャ上で実行することができる。

【0156】

[0170] 本明細書において説明した実施形態と関連付けて記載した種々の例示的な論理ブロック、モジュール、ルーチン、およびアルゴリズム・ステップは、電子ハードウェア、または電子ハードウェアとコンピュータ・ソフトウェアとの組み合わせで実装することができる。この相互交換可能性を明白に例示するために、種々の例示的なコンポーネント、ブロック、モジュール、およびステップについて、それらの機能に関して以上で総合的に説明した。このような機能がハードウェアとして実行されるか、またはハードウェア上で実行するソフトウェアとして実装されるかは、システム全体に強いられる特定の用途および設計制約によって異なる。説明した機能は、個々の用途毎に、種々の方法で実装することができるが、このような実装の判断は、本開示の範囲からの逸脱の原因となると解釈してはならない。

【0157】

[0171] 更に、本明細書において開示した実施形態と関連付けて記載した種々の例示的な論理ブロックおよびモジュールは、プロセッサ・デバイス、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、ディスクリート・ゲートまたはトランジスタ・ロジック、ディスクリート・ハードウェア・コンポーネント、あるいは本明細書において説明した機能を実行するように設計された、これらの任意の組み合わせというような機械によって、実装または実行することができる。プロセッサ・デバイスは、マイクロプロセッサでも可能であるが、代わりに、プロセッサ・デバイスは、コントローラ、マイクロコントローラ、または状態機械、これらの組み合わせ等でも可能である。プロセッサ・デバイスは、コンピュータ実行可能命令を処理するように構成された電子回路を含むことができる。他の実施形態では、プロセッサ・デバイスは、ＦＰＧＡ、またはコンピュータ実行可能命令を処理することなく、論理動作を実行する他のプログラマブル・デバイスを含む。また、プロセッサ・デバイスは、コンピューティング・デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、１つのＤＳＰコアと併せた１つ以上のマイクロプロセッサ、または任意の他のこのような構成として実装することもできる。本明細書では主にデジタル技術に関して説明したが、プロセッサ・デバイスは主にアナログ・コンポーネントを含んでもよい。例えば、本明細書において説明したアルゴリズムの一部または全部を、アナログ回路またはアナログおよびデジタルの混合回路で実装することもできる。コンピューティング環境は、任意の種類のコンピュータ・システムを含むことができ、いくつかあげると、マイクロプロセッサに基づくコンピュータ・システム、メインフレーム・コンピュータ、デジタル信号プロセッサ、可搬型コンピューティング・デバイス、デバイス・コントローラ、またはアプライアンス内の計算エンジンが含まれるが、これらに限定されるのではない。

【0158】

[0172] 本明細書において開示した実施形態と関連付けて記載した方法、プロセス、ルーチン、またはアルゴリズムのエレメントは、直接ハードウェアで、プロセッサ・デバイスによって実行されるソフトウェア・モジュールで、またはこれら２つの組み合わせで具体化することができる。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハード・ディスク、リムーバブル・ディスク、ＣＤ－ＲＯＭ、または非一時的コンピュータ読み取り可能記憶媒体の任意の他の形態で常駐する(reside)ことができる。典型的な記憶媒体は、プロセッサ・デバイスが情報を記憶媒体から読み出し、情報を記憶媒体に書き込むことができるように、プロセッサ・デバイスに結合することができる。代わりに、記憶媒体をプロセッサ・デバイスに統合することもできる。プロセッサ・デバイスおよび記憶媒体がＡＳＩＣに常駐することもできる。ＡＳＩＣは、ユーザ端末に常駐することができる。代わりに、プロセッサ・デバイスおよび記憶媒体がディスクリート・コンポーネントとしてユーザ端末内に常駐することもできる。

【0159】

[0173] とりわけ、「できる」(can)、「できた」(could)、「かもしれない」(might)、「でもよい」(may)、「等」(e.g.)等のような、条件付き文言が本明細書において使用されるとき、特に別段の 定めのない限り、または使用される文脈において他の理解がなされない限り、通常、特定の実施形態は、特定の特徴、エレメント、および／またはステップを含むが、他の実施形態はこれらを含まないことを伝えるという意図がある。つまり、このような条件付き文言は、通常、特徴、エレメント、および／またはステップが１つ以上の実施形態に何としても必要とされることを含意する意図は全くなく、更に、これらの特徴、エレメント、および／またはステップが、任意の特定の実施形態に含まれるか、あるいは任意の特定の実施形態において実行されるか否かについて、１つ以上の実施形態が、他の入力または催促(prompting)を伴ってまたは伴わずに、判断するロジックを必然的に含むことを含意する意図もない。「備えている」(comprising)、「含んでいる」(including)、「有している」(having)等の用語は、同義語であり、包含的に、制限なく使用され、追加のエレメント、特徴、アクト、動作等を除外しない。また、「または」(or)という用語は、その包含的な意味（その除外的意味ではなく）で使用されるので、例えば、一覧のエレメントをつなぐために使用されるとき、「または」という用語は、その一覧内にあるエレメントの内１つ、いくつか、または全てを意味する。

【0160】

[0174] 「Ｘ、Ｙ、Ｘの内少なくとも１つ」という語句のような選言的(disjunctive)文言は、特に別段の定めのない限り、項目、条件等が、Ｘ、Ｙ、またはＺのいずれか、またはこれらの任意の組み合わせでよい（例えば、Ｘ、Ｙ、および／またはＺ）ことを文中で表すために一般に使用されると、理解されるものとする。つまり、このような選言的文言は、特定の実施形態には、Ｘの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つが、各々、必要であることを、一般には含意する意図はなく、そして含意すべきではない。

【0161】

[0175] 明確に別段の定めがない限り、「ａ」または「ａｎ」というような冠詞は、一般に、１つ以上の記載した項目を含むように解釈されてしかるべきである。したがって、「～のように構成されたデバイス」(a device configured to)というような語句は、１つ以上の明記したデバイスを含むことを意図している。このような１つ以上の明記されたデバイスは、規定された列挙項目(stated recitations)を実行するように、集合的に構成することもできる。例えば、「列挙項目Ａ、Ｂ、およびＣを実行するように構成されたプロセッサ」は、列挙項目ＢおよびＣを実行するように構成された第２プロセッサと協働して、列挙項目Ａを実行するように構成された第１プロセッサを含むことができる。

【0162】

[0176] 以上の詳細な説明では、新規の特徴を、種々の実施形態に適用されるものとして、図示し、説明し、指摘したが、図示したデバイスまたはアルゴリズムの形態および詳細において、種々の省略、置換、および変更も、本開示の主旨から逸脱することなく、可能であることは理解できよう。認めることができるであろうが、本明細書において説明した特定の実施形態は、本明細書において明記した特徴および利点の全てを提供するのではない形態内においても、具体化することができる。これは、一部の特徴は、他の特徴とは別個に使用または実施できるからである。本明細書において開示した特定の実施形態の範囲は、以上の説明によって示されるのではなく、添付する請求項によって示されるものとする。請求項の均等の意味および範囲に該当する全ての変更は、請求項の範囲に包含されるものとする。

【符号の説明】

【0163】

１００ 内視鏡
１０１ 電荷結合デバイス
１０２ 可視化エレメント
１０４ モニタ
１０６ 外装
１０８ アパーチャ
１１０ 膨張可能／収縮可能バルーン
１２０ 計器チャネル
１３０ バルーン膨張／収縮システム
１３２ 管状密閉シース
２０２ 撮像サブシステム
２０４ 動的手順管理サブシステム
２０６ ユーザ・インターフェース・サブシステム
２０８ 制御サブシステム
２１０ 分析コンポーネント
２１２ 機械学習モデル
２１４ フィードバック・コンポーネント
４０４ 組織異常
５００～５０６ 画像
５１０ 組織異常
６００ 手順タイムライン
６１０ 起伏形状の特徴
８００ ユーザ・インターフェース
８０２～８０４ メッセージ
８０８ 視覚指示
８１４ メッセージ
８１８ 視覚指示
８５０ ユーザ・インターフェース
８５８ 視覚的表示
８６４ 確認メッセージ
１０００ 人工知能訓練システム
１００２ 撮像システム
１０１０ 画像データ・ストア
１０１２ 訓練データ生成サブシステム
１０１４ 訓練データ・ストア
１０１６ モデル訓練サブシステム
１１０２ 畳み込み層
１１０４ 最大値プーリング層
１１０６ 全結合層
１１０８ 出力層
１１１０ 入力画像
１２００ コンピューティング・デバイス
１２０２ コンピュータ・プロセッサ
１２０４ ネットワーク・インターフェース
１２０６ コンピュータ読み取り可能媒体ドライブ
１２１０ コンピュータ読み取り可能メモリ
１２５０ 撮像システムのコンピューティング・デバイス
１２５２ コンピュータ・プロセッサ
１２５４ ネットワーク・インターフェース
１２５６ コンピュータ読み取り可能媒体ドライブ
１２６０ コンピュータ読み取り可能メモリ
１２６２ オペレーティング・システム
１２６４ 撮像手順管理命令
１２７０ 組織分析モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2024-05-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

内視鏡手順の機械学習ベースの分析システムであって、前記システムが、
可視化エレメントと膨張可能バルーンとを含むバルーン内視鏡であって、前記バルーン内視鏡が、前記膨張可能バルーンを停留未達圧力まで膨張させて患者の腸管腔内を移動するとき、組織の可視化を機械的に強化するように構成され、前記膨張可能バルーンが、前記腸管腔の組織の軸方向伸長を発生させて、前記組織の自然な起伏形状を少なくとも部分的に平らにするまたは広げる、バルーン内視鏡と、
１つ以上のプロセッサとコンピュータ読み取り可能メモリとを含むコンピューティング・デバイスであって、少なくとも、
前記可視化エレメントを使用して、前記組織の一部の画像を得て、
手順異常分類を表す分類出力データを生成するように訓練された機械学習モデルを使用して、 前記画像を分析し、
少なくとも部分的に前記分類出力データに基づいて、前記画像が手順異常に対応すると判定し、
前記手順異常に基づいて、フィードバック・データを生成し、前記フィードバック・データが前記バルーン内視鏡に関して講ずる是正措置を表し、
前記フィードバック・データをユーザ・インターフェース・サブシステムまたは制御サブシステムの内少なくとも１つに送るように実行可能命令によってプログラミングされる、コンピューティング・デバイスと、
を備える、内視鏡手順の機械学習ベースの分析システム

【請求項2】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、少なくとも部分的に、
前記手順異常が過小膨張異常または過剰膨張異常の内１つであることに基づいて、前記是正措置が前記バルーンの膨張圧力に対する変更を含むと判断し、
ユーザ・インターフェース上に、前記膨張圧力を変更する行為を示すメッセージを表示する、
ようにプログラミングされる、システム。

【請求項3】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が低退行速度異常または高退行速度異常の内１つであることに基づいて、前記是正措置が前記バルーン内視鏡の退行速度に対する変更を含むと判断し、
ユーザ・インターフェース上に、前記退行速度を変更する行為を示すメッセージを表示する、
ようにプログラミングされる、システム。

【請求項4】

請求項３記載のシステムにおいて、前記手順異常が、低退行速度異常を含み、前記退行速度を変更する行為が、前記退行速度の上昇を含む、システム。

【請求項5】

請求項３記載のシステムにおいて、前記手順異常が、高退行速度異常を含み、前記退行速度を変更する行為が、前記退行速度の低下を含む、システム。

【請求項6】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が組織異常の検出を含むことに基づいて、前記是正措置が前記バルーン内視鏡の退行を停止することを含むと判断し、ユーザ・インターフェース上に、前記バルーン内視鏡の退行を停止することを示すメッセージを表示するようにプログラミングされる、システム。

【請求項7】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が過小膨張異常を含むことに基づいて、前記バルーンの膨張を確認することを決定し、
ユーザ・インターフェース上に、バルーンの膨張を確認することを示すメッセージを表示するようにプログラミングされる、システム。

【請求項8】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が偏向率異常を含むことに基づいて、前記是正措置がバルーン内視鏡の偏向率の低下を含むと判断し、
ユーザ・インターフェース上に、前記バルーン内視鏡の偏向率を低下させることを示すメッセージを表示するようにプログラミングされる、システム。

【請求項9】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が、過剰膨張異常または低退行速度異常の内１つであることに基づいて、前記是正措置が前記バルーンの膨張圧力の低下を含むと判断し、
前記バルーンの膨張圧力を低下させるコマンドを、前記制御サブシステムに生成するようにプログラミングされる、システム。

【請求項10】

請求項９記載のシステムにおいて、前記バルーンの膨張圧力を低下させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力を、より低い圧力レベルに切り替えさせる、システム。

【請求項11】

請求項９記載のシステムにおいて、前記バルーンの膨張圧力を低下させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力を、特定の圧力レベルの圧力範囲以内において、より低い目標圧力メトリックに調整させる、システム。

【請求項12】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が過小膨張異常または高退行速度異常の内１つであることに基づいて、前記是正措置が前記バルーンの膨張圧力の上昇を含むと判断し、
前記バルーンの膨張圧力を高めるコマンドを、前記制御サブシステムに生成するようにプログラミングされる、システム。

【請求項13】

請求項１２記載のシステムにおいて、前記バルーンの膨張圧力を上昇させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力をより高い圧力レベルに切り替えさせる、システム。

【請求項14】

請求項１２記載のシステムにおいて、前記バルーンの膨張圧力を上昇させるために、前記コマンドが、前記制御サブシステムに、前記バルーンの膨張圧力を、特定の圧力レベルの圧力範囲内において、より高い目標圧力メトリックに調整させる、システム。

【請求項15】

請求項１記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
少なくとも部分的に、前記手順異常が組織異常関連手順異常を含むことに基づいて、前記是正措置が前記バルーンの膨張圧力の停留圧力までの上昇を含むと判断し、
前記バルーンの膨張圧力を前記停留圧力まで上昇させるコマンドを、前記制御サブシステムに生成するようにプログラミングされる、システム。

【請求項16】

請求項１５記載のシステムにおいて、前記組織異常が、腫瘍、大出血、腸組織における穿孔または破断、および組織の深刻な悪条件の内少なくとも１つを含む、システム。

【請求項17】

請求項１５または１６記載のシステムにおいて、前記制御サブシステムにコマンドを生成するために、前記コンピューティング・デバイスが、他の実行可能命令によって、コマンドをバルーン膨張／収縮システムに生成するように、プログラミングされる、システム。

【請求項18】

請求項１～１６のいずれか１項記載のシステムにおいて、前記コンピューティング・デバイスが、他の実行可能命令によって、
前記可視化エレメントを使用して、第２画像を得て、
前記機械学習モデルを使用して前記第２画像を分析し、第２分類出力データを生成し、
少なくとも部分的に、前記第２分類出力データに基づいて、前記第２画像がいずれの手順異常にも対応しないことを判定し、
前記手順異常の修復に関するメッセージを明示させる(presentation)
ように、プログラミングされる、システム。

【請求項19】

請求項１～１６のいずれか１項記載のシステムであって、更に、１つ以上のプロセッサとコンピュータ読み取り可能メモリとを含む訓練コンピューティング・デバイスを備え、
前記訓練コンピューティング・デバイスが、実行可能命令によって、少なくとも、
複数の画像を得て、
前記複数の画像を使用して、複数の訓練データ画像を生成し、前記複数の訓練データ画像の内第１部分集合における画像が、前記手順異常の存在について陰性分類を表すラベル・データと関連付けられ、前記複数の訓練データ画像の内第２部分集合における画像が、前記手順異常の存在について陽性分類を表すラベル・データと関連付けられ、
前記複数の訓練データ画像を使用して、前記機械学習モデルを訓練し、
前記機械学習モデルを１つ以上の内視鏡システムに配布する、
ようにプログラミングされる、システム。

【請求項20】

請求項１～１６のいずれか１項記載のシステムにおいて、前記手順異常が、前記コンピューティング・デバイスが、前記機械学習モデルを使用して、検出するように構成された複数の手順異常の内の１つである、システム。

【国際調査報告】