(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-10-24
(45)【発行日】2024-11-01
(54)【発明の名称】処理システム、内視鏡システム及び画像処理システムの作動方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20241025BHJP
A61B 1/273 20060101ALI20241025BHJP
【ＦＩ】
A61B1/045 623
A61B1/273
A61B1/045 614
A61B1/045 618
【請求項の数】
20
(21)【出願番号】P 2024014165
(22)【出願日】2024-02-01
【審査請求日】2024-02-01
(31)【優先権主張番号】63/534,537
(32)【優先日】2023-08-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(72)【発明者】
【氏名】▲高▼澤 直裕
(72)【発明者】
【氏名】西村 英敏
【審査官】渡戸 正義
(56)【参考文献】
【文献】中国特許第１１４１７６７７５（ＣＮ，Ｂ）
【文献】国際公開第２０１９／０４９２２９（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２３／０２５５４６１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０３７５６５６（ＵＳ，Ａ１）
【文献】特開２０００－２３７２０２（ＪＰ，Ａ）
【文献】特開２００８－０１２０４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００ － １／３２
Ａ６１Ｂ １８／００ － １８／２８
(57)【特許請求の範囲】
【請求項1】
ハードウェアを含むプロセッサを含み、前記プロセッサは、
口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得し、
前記十二指腸乳頭部を含む領域の深度マップを前記内視鏡画像から推定し、
推定された前記深度マップから前記口側隆起の頂上ラインを推定し、
推定された前記頂上ラインに基づくガイド表示を、前記内視鏡画像に重畳して表示する処理を行うことを特徴とする処理システム。
【請求項2】
請求項１の処理システムにおいて、前記ガイド表示は、
ＥＳＴにおける切開ガイド表示であることを特徴とする処理システム。
【請求項3】
請求項１の処理システムにおいて、入力された画像から前記深度マップを推定するように学習された学習済みモデルを記憶するメモリを含み、
前記プロセッサは、
前記学習済みモデルに前記内視鏡画像を入力することで、前記深度マップを推定することを特徴とする処理システム。
【請求項4】
請求項１の処理システムにおいて、前記プロセッサは、
処置具が挿入されていない状態の第１内視鏡画像と、前記処置具が挿入された状態の第２内視鏡画像とに基づいて、前記頂上ラインを推定することを特徴とする処理システム。
【請求項5】
請求項４の処理システムにおいて、前記プロセッサは、
前記第１内視鏡画像から推定された第１深度マップと、前記第２内視鏡画像から推定された第２深度マップとの差分に基づいて、前記頂上ラインを推定することを特徴とする処理システム。
【請求項6】
請求項４の処理システムにおいて、入力された画像から前記深度マップを推定するように学習された学習済みモデルを記憶するメモリを含み、
前記プロセッサは、
前記学習済みモデルに前記第１内視鏡画像を入力することで、第１深度マップを推定し、
前記学習済みモデルに前記第２内視鏡画像を入力することで、第２深度マップを推定し、
前記第１深度マップと前記第２深度マップとに基づいて、前記頂上ラインを推定することを特徴とする処理システム。
【請求項7】
請求項６の処理システムにおいて、前記プロセッサは、
前記第１内視鏡画像に写る前記十二指腸乳頭部の位置と、前記第２内視鏡画像に写る前記十二指腸乳頭部の位置とが位置合わせされた状態において、前記第１深度マップと前記第２深度マップとの差分に基づいて前記頂上ラインを推定することを特徴とする処理システム。
【請求項8】
請求項１の処理システムにおいて、前記プロセッサは、
前記内視鏡画像に基づいて乳頭開口部を検出し、
前記乳頭開口部を起点として前記頂上ラインを推定することを特徴とする処理システム。
【請求項9】
請求項１の処理システムにおいて、前記プロセッサは、
前記内視鏡画像に基づいて、処置具のうち前記内視鏡画像に写る部分を検出し、
検出された前記部分の先端を起点として前記頂上ラインを推定することを特徴とする処理システム。
【請求項10】
請求項１の処理システムにおいて、前記プロセッサは、
推定された前記頂上ラインの乳頭開口部側の一端を中心として、推定した前記頂上ラインを１２時方向にしたときにおける、前記１２時方向から１１時方向の間を示す前記ガイド表示を前記内視鏡画像に重畳表示することを特徴とする処理システム。
【請求項11】
請求項１の処理システムにおいて、前記プロセッサは、
ハチマキひだの位置情報を推定し、
推定した前記ハチマキひだの前記位置情報に基づいて切開長の情報を推定し、
推定した前記切開長に基づく長さの前記ガイド表示を前記内視鏡画像に重畳表示することを特徴とする処理システム。
【請求項12】
請求項１の処理システムにおいて、前記プロセッサは、
前記内視鏡画像に基づいて十二指腸管腔内の圧力が適正圧力の範囲内であるか否かを推定し、
前記十二指腸管腔内の圧力が前記適正圧力の範囲外である場合、前記十二指腸管腔内の圧力を前記適正圧力の範囲内になるように送気または脱気する処理を行うことを特徴とする処理システム。
【請求項13】
請求項１乃至１２のいずれか一項の処理システムと、内視鏡と、
を含むことを特徴とする内視鏡システム。
【請求項14】
画像処理システムの作動方法であって、
前記画像処理システムは、
口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得し、
前記十二指腸乳頭部を含む領域の深度マップを前記内視鏡画像から推定し、
推定された前記深度マップから前記口側隆起の頂上ラインを推定し、
推定された前記頂上ラインに基づくガイド表示を、前記内視鏡画像に重畳して表示することを特徴とする画像処理システムの作動方法。
【請求項15】
請求項１４の画像処理システムの作動方法において、前記画像処理システムは、
ＥＳＴにおける切開ガイド表示であって、推定された前記頂上ラインに基づく前記ガイド表示を、前記内視鏡画像に重畳して表示することを特徴とする画像処理システムの作動方法。
【請求項16】
請求項１４の画像処理システムの作動方法において、前記画像処理システムは、
処置具が挿入されていない状態の第１内視鏡画像と、前記処置具が挿入された状態の第２内視鏡画像とに基づいて、前記頂上ラインを推定することを特徴とする画像処理システムの作動方法。
【請求項17】
請求項１６の画像処理システムの作動方法において、前記画像処理システムは、
前記第１内視鏡画像から推定された第１深度マップと、前記第２内視鏡画像から推定された第２深度マップとの差分に基づいて、前記頂上ラインを推定することを特徴とする画像処理システムの作動方法。
【請求項18】
請求項１７の画像処理システムの作動方法において、前記画像処理システムは、
前記第１内視鏡画像に写る前記十二指腸乳頭部の位置と、前記第２内視鏡画像に写る前記十二指腸乳頭部の位置とが位置合わせされた状態において、前記第１深度マップと前記第２深度マップとの差分に基づいて前記頂上ラインを推定することを特徴とする画像処理システムの作動方法。
【請求項19】
請求項１４の画像処理システムの作動方法において、前記画像処理システムは、
前記内視鏡画像に基づいて乳頭開口部をさらに検出し、
前記乳頭開口部を起点として前記頂上ラインを推定することを特徴とする画像処理システムの作動方法。
【請求項20】
請求項１４の画像処理システムの作動方法において、前記画像処理システムは、
ハチマキひだの位置情報を推定し、
推定した前記ハチマキひだの前記位置情報に基づいて切開長の情報をさらに推定し、
推定した前記切開長に基づく長さの前記ガイド表示を前記内視鏡画像に重畳表示することを特徴とする画像処理システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理システム、内視鏡システム及び画像処理システムの作動方法等に関する。
【背景技術】
【0002】
内視鏡を用いて胆管がん等の処置を行う手法が知られている。特許文献１には、立体視できる内視鏡を用いて十二指腸乳頭部の立体形状を推定する手法について開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００１－１６７２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
胆管への処置については、どの方向に切開等を行うべきかについて支援する等、更なる利便性の向上が求められている。特許文献１は、切開のガイド表示を行う手法を開示するものではない。
【課題を解決するための手段】
【0005】
本開示の一態様は、ハードウェアを含むプロセッサを含み、前記プロセッサは、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得し、前記十二指腸乳頭部を含む領域の深度マップを前記内視鏡画像から推定し、推定された前記深度マップから前記口側隆起の頂上ラインを推定し、推定された前記頂上ラインに基づくガイド表示を、前記内視鏡画像に重畳して表示する処理を行う処理システムに関係する。
【0006】
本開示の他の態様は、上記した処理システムと、内視鏡と、を含む内視鏡システムに関係する。
【0007】
本開示の他の態様は、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得する処理と、前記十二指腸乳頭部を含む領域の深度マップを前記内視鏡画像から推定する処理と、推定された前記深度マップから前記口側隆起の頂上ラインを推定する処理と、推定された前記頂上ラインに基づくガイド表示を、前記内視鏡画像に重畳して表示する処理を行う処理方法に関係する。
【図面の簡単な説明】
【0008】
【図1】処理システム等の構成例を説明する図。
【図2】ＥＳＴ等の処置に関係する臓器及び組織を示す図。
【図3】十二指腸乳頭部を模式的に説明する図。
【図4】十二指腸乳頭部を模式的に説明する別の図。
【図5】ＥＳＴを行うときの十二指腸乳頭部等を模式的に説明する図。
【図6】ＥＳＴナイフの先端部を概念的に説明する図。
【図7】ＥＳＴで切開すべき方向を説明する図。
【図8】本実施形態の処理例を説明するフローチャート。
【図9】頂上ライン推定処理の処理例を説明するフローチャート。
【図10】処理部の構成例を説明する図。
【図11】処理システムの別の構成例を説明する図。
【図12】頂上ラインの推定を説明する図。
【図13】本実施形態の手法の作用効果を説明する図。
【図14】処理システム等の別の構成例を説明する図。
【図15】圧力判定部が行う処理例を説明するフローチャート。
【図16】処理部の別の構成例を説明する図。
【図17】内視鏡画像取得処理の処理例を説明するフローチャート。
【図18】頂上ライン推定処理の別の処理例を説明するフローチャート。
【図19】第１深度マップと第２深度マップについて説明する図。
【図20】処理部の別の構成例を説明する図。
【図21】頂上ライン推定処理の別の処理例を説明するフローチャート。
【図22】処理部の別の構成例を説明する図。
【図23】頂上ライン推定処理の別の処理例を説明するフローチャート。
【図24】点群データの生成について説明する図。
【図25】第１点群データと第２点群データについて説明する図。
【図26】処理部の別の構成例を説明する図。
【図27】頂上ライン推定処理の別の処理例を説明するフローチャート。
【図28】乳頭開口部を起点とする頂上ラインについて説明する図。
【図29】処理部の別の構成例を説明する図。
【図30】頂上ライン推定処理の別の処理例を説明するフローチャート。
【図31】処置具の一端を起点とする頂上ラインについて説明する図。
【図32】処理部の別の構成例を説明する図。
【図33】頂上ライン推定処理の別の処理例を説明するフローチャート。
【図34】切開領域について説明する図。
【図35】臓器の構造が変更されている例を説明する図。
【図36】臓器の構造と切開領域の表示との関係を説明する図。
【図37】処理部の別の構成例を説明する図。
【図38】切開長推定部が行う処理例を説明するフローチャート。
【図39】切開長推定部が行う処理による作用効果を説明する図。
【図40】切開長推定部の別の構成例を説明する図。
【図41】切開長推定部が行う別の処理例を説明するフローチャート。
【図42】切開長推定部の別の構成例を説明する図。
【図43】切開長推定部が行う別の処理例を説明するフローチャート。
【図44】処理部の別の構成例を説明する図。
【発明を実施するための形態】
【0009】
以下、本開示の好適な実施形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
【0010】
図１は、本実施形態の内視鏡システム１及び内視鏡システム１に含まれる処理システム３の構成例を説明するブロック図である。本実施形態の処理システム３は、プロセッサ１０を含む。本実施形態のプロセッサ１０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。
【0011】
また、例えば本実施形態の処理システム３は、図１に不図示のメモリ２０と、メモリ２０に記憶された情報に基づいて動作するプロセッサ１０を含んで構成されてもよい。これにより、プロセッサ１０は、表示制御部５０、処理部１００等として機能できる。情報は、例えばプログラムと各種のデータ等である。なお、プログラムは、例えば図１１で後述する学習済みモデル２２を含んでもよい。プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を用いることができる。メモリ２０は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリ２０はコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサ１０により実行されることで、各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサ１０のハードウェア回路に対して動作を指示する命令であってもよい。また、メモリ２０は記憶装置とも呼ぶ。なお、説明の便宜上、本実施形態の手法に係る処理等の主体は、断りが無い限りプロセッサ１０で統一しているが、ソフトウェアとしての処理部１００等に適宜読み替えることができる。また、図１では処理システム３は一のプロセッサ１０を含むように図示しているが、本実施形態の手法を複数のプロセッサ１０によって実現することを妨げるものではない。つまり、表示制御部５０と処理部１００は別々のプロセッサ１０で構成してもよい。処理部１００に含まれる各部についても同様である。例えば図１０で後述する深度推定部１１０と頂上ライン推定部１２０を別々のプロセッサ１０で実現してもよい。図１４、図１６、図２０、図２２、図２６、図２９、図３２、図３７、図４０、図４２、図４４についても同様である。
【0012】
表示制御部５０は、内視鏡５の先端部に設けられた不図示のイメージャからの画像信号を受信し、その画像信号から表示画像を生成して図１に不図示の表示装置９に表示する処理を行う。本実施形態において、内視鏡５の先端部に設けられた不図示のイメージャにより撮像された画像を内視鏡画像という。また、内視鏡画像は、当該カメラで撮像された映像を静止画にしたものであってもよい。本実施形態においては、図２で後述するように、当該撮像装置は、口側隆起を含む十二指腸乳頭部を撮像する。つまり、本実施形態のプロセッサ１０は、表示制御部５０として機能し、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得する。十二指腸乳頭部は、詳細は後述するが、十二指腸において、乳頭開口部及びその周辺構造を含む部分をいう。周辺構造とは例えば口側隆起、ハチマキひだ、輪状ひだ、小帯等をいう。また、本実施形態では、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像とは、上記した周辺構造のうち少なくとも口側隆起が写っている内視鏡画像をいう。
【0013】
処理部１００は、処理システム３の各部を制御する。また、詳細は後述するが、処理部１００は、本実施形態の手法に係る処理を実行する各部として機能する。例えば処理部１００は、表示制御部５０が生成した表示画像データを受信し、処理部１００に含まれる各部によって各種データを生成し、生成した各種データを表示制御部５０に送信する。これにより、表示制御部５０は、イメージャで撮像した画像データと、処理部１００から受信した各種データに基づいて表示装置９を制御する。これにより、内視鏡画像と後述のガイド表示ＧＭ等が重畳して表示装置９に表示されることが実現する。処理部１００に含まれる各部は、例えば後述する頂上ライン推定部１２０、切開領域生成部１６０、切開長推定部１７０等である。
【0014】
内視鏡５は、例えば医療向けの軟性内視鏡である。以下に述べるように、本実施形態はＥＲＣＰを行った後のＥＳＴを行う際のガイド表示ＧＭを表示する手法に係るものである。この場合における内視鏡５は、詳細には図示していないが、内視鏡先端部の側面にイメージャの対物レンズ、照明レンズ及び処置具チャネルの開口が設けられた側視型内視鏡が主に用いられる。なお、ＥＲＣＰは内視鏡的逆行性胆管膵管造影（Endoscopic Retrograde Cholangio Pancreatography）の略であり、ＥＳＴは内視鏡的乳頭括約筋切開術（Endoscopic Sphincterotomy）の略である。
【0015】
図２に、上記した手技に関係する臓器及び組織を示す。なお、臓器は、複数種類の組織が集まって独自の構造を構成すると共に特定の機能を有するものである。例えば図２では、肝臓、胆のう、膵臓、食道、胃及び十二指腸が、臓器に該当する。組織は、血管、筋肉及び皮膚等のように、関連する細胞が結合して構成されたものである。例えば図２では、胆管及び膵管が、組織に該当する。なお、図２に示す臓器の構造の例は、図３５で後述する外科的治療等によって変更されていない一般的な例を示している。臓器の構造とは、消化管の解剖学的構造とも言うことができる。なお消化管とは、胃および腸管である。ここでの胃は、胃切除を行った場合、残胃部を含む。また腸管とは小腸、大腸等を含む。また小腸は十二指腸、空腸、回腸を含む。図２に示す臓器の構造の場合、ＥＲＣＰの手技において、胃側から十二指腸に向かって内視鏡先端部が挿入される。
【0016】
そして、内視鏡５のイメージャに乳頭部がおおまかに写る位置まで挿入部が挿入され、十二指腸乳頭部に対して内視鏡５を位置合わせする。具体的には、例えば内視鏡５のイメージャの対物レンズが十二指腸乳頭部に正対し、かつイメージャの撮像領域の中央に当該十二指腸乳頭部が位置するように、内視鏡先端部の位置の調整が行われる。
【0017】
図３は、十二指腸乳頭部を正対して見たときの十二指腸乳頭部の形態を模式的に示す図である。図３に示すように口側隆起、ハチマキひだ、輪状ひだ、小帯と呼ばれる構造が、乳頭開口部の周辺に存在している。口側隆起は、乳頭開口部から尾根状に伸びる隆起である。なお、図３において、互いに直交する方向として方向ＤＲ１１、方向ＤＲ１２、方向ＤＲ１３を説明の便宜上図示している。本実施形態では、方向ＤＲ１２が向かう側を「上側」と呼ぶことがある。また、図３に示した十二指腸乳頭部の右側面を模式的に示すと、図４のようになる。また、以降の説明において、方向ＤＲ１３が向かう側を「奥側」と呼ぶことがある。一方、方向ＤＲ１３が向かう側と反対側、すなわち内視鏡５のイメージャの対物レンズ側を「手前側」と呼ぶことがある。
【0018】
ＥＲＣＰにおいて、内視鏡５の不図示の処置具チャネルにカニューラを挿入して内視鏡先端部のチャネル開口からカニューラを突出させ、そのカニューラの先端を、乳頭開口部を介して胆管に差し込む。カニューラは、体内に挿入され医療用に用いられる医療用チューブのことである。カニューラに造影剤を注入してカニューラ先端から胆管内に造影剤を流し込む。この状態でＸ線撮影又はＣＴ撮影を行うことで、胆管、胆のう及び膵管が写るＸ線画像又はＣＴ（Computed Tomography）画像を取得する。その後、カニューラにガイドワイヤを挿入してカニューラ先端からガイドワイヤを突出させ、胆管内にガイドワイヤを挿入する。そしてガイドワイヤを胆管内に留置したままカニューラを抜去する。これにより、図５に示すように、ガイドワイヤのみが不図示の内視鏡先端部から突出して胆管内に留置された状態となる。なお、図示はしていないが、当該ガイドワイヤは内視鏡５の処置具チャネルを通り処置具挿入口の外側まで延びている。これにより、種々の内視鏡処置具等を処置具挿入口から挿入し、当該内視鏡処置具を胆管まで通すことができる。
【0019】
ＥＳＴの処置においては、例えばＥＳＴナイフが留置されたガイドワイヤに沿って胆管に挿入される。図６は、本実施形態のＥＳＴナイフの先端部を概念的に示した図である。なお、本実施形態においては、公知のＥＳＴナイフに係る手法を幅広く適用でき、図６は単なる例示に過ぎない。ＥＳＴナイフは例えば絶縁性チューブに複数のルーメンが設けられるように構成されている。例えばＡ１に示すルーメンは前述のガイドワイヤを通すために設けられている。Ａ２に示すルーメンにはナイフワイヤが通り、ナイフワイヤに張力がかかっていない場合ナイフワイヤは絶縁性チューブに収納された状態をとる。ＥＳＴナイフの処置具挿入口側には不図示のハンドルが設けられ、当該ハンドルを処置具挿入口側に引くことでナイフワイヤに張力がかかり、Ａ３に示すように、絶縁性チューブの開口部からナイフワイヤが露出した状態になる。そこで、例えば乳頭開口部を切開拡張したい場合は、Ａ３に示す状態を作り、ナイフワイヤに高周波電流を流すことで、乳頭開口部周辺の組織が焼失切開される。なおＡ４に示すルーメンは例えば造影剤の注入に用いることができる。また、Ａ５に示す先端部の面は、ＥＳＴナイフに複数のルーメンが設けられることと、ナイフワイヤがＥＳＴナイフの先端部から突出しないこととを概念的に示しているに過ぎず、現実のＥＳＴナイフの先端部の面と同様とは限らない。
【0020】
ＥＳＴナイフを用いる処置の例として胆石の摘出が挙げられる。例えば図示は省略するが、胆管に有る胆石を摘出する場合、ガイドワイヤに通したバスケット処置具を胆管に挿入し、当該胆石をバスケットに捕獲した状態でバスケット処置具を引き抜く処置が行われる。胆石のサイズが大きい場合、胆石を粉砕する手法も有るが、乳頭開口部を切開拡張しておいて胆石を摘出する方法が処置の時間を短くする点で望ましい観点から、ＥＳＴナイフを用いる処置が多くの症例で採用されている。処置の時間が短い方が、合併症等が発症する可能性を低くできるからである。
【0021】
ＥＳＴナイフで乳頭開口部を切開するにあたり、胆管に沿った方向に切開することが極めて重要である。胆管に沿った方向以外の方向を切開すると、動脈の損傷、後腹膜穿孔等の合併症を引き起こす可能性があり、それらを回避する必要がある。しかし図５から明らかなように胆管は乳頭開口部に対して奥側に位置することから、ユーザは内視鏡画像から胆管の経路を直接認識することができない。より具体的には例えば図７のＡ１０の点線領域で示す方向が胆管に沿った方向である場合、当該領域がＥＳＴで切開すべき方向となるが、内視鏡画像のみを手がかりにＡ１０で示す領域を認識することは困難である。そこで本実施形態では、以下に述べる手法によってＥＳＴナイフで切開すべき方向を推定し、推定される方向をガイドするガイド表示ＧＭを表示する。
【0022】
図８のフローチャートを用いて、本実施形態の手法にかかる処理例を説明する。先ず管腔内圧力を適正化する処理（ステップＳ１００）が行われる。例えば十二指腸の管腔が委縮している状態は、内視鏡５のイメージャによる十二指腸乳頭部の明確な撮像、ＥＳＴによる切開処置等を妨げることから、管腔内圧力を上げて十二指腸の管腔を伸展させる。一方、十二指腸の腸壁は薄いため、十二指腸の管腔を過度に伸展させないようにすることも要する。ステップＳ１００は、例えばユーザが内視鏡画像を観察しながら後述の送気・脱気装置７を手動で操作してもよいし、後述するように処理システム３が自動で行ってもよい。なお、フローの図示は省略するが、ステップＳ１００によって管腔内圧力が適正化された後も、ユーザは内視鏡画像から管腔内圧力が所望の範囲内であるかについて定期的に確認する。
【0023】
その後プロセッサ１０は、内視鏡画像取得処理（ステップＳ２００）を行う。例えば前述したように、プロセッサ１０は表示制御部５０として機能し、内視鏡５の先端のイメージャが撮像した内視鏡画像の画像データを取得する。その後プロセッサ１０は、図９で後述する頂上ライン推定処理（ステップＳ３００）を行う。その後プロセッサ１０は、ステップＳ３００で推定された頂上ラインに基づくガイド表示ＧＭを、内視鏡画像に重畳して表示する処理を行う（ステップＳ４００）。頂上ラインとは、口側隆起のうち最も手前側に位置する部分を含むライン状の領域をいい、頂上ラインは一定の幅があってもよい。或いは、口側隆起の尾根の稜線に該当するライン状の領域を頂上ラインと考えてもよい。頂上ラインは胆管の経路に対応していることが経験的に知られているが、内視鏡画像から頂上ラインを直接把握することは困難である。なお前述のように十二指腸乳頭部はハチマキひだ、輪状ひだが有るが、これらの構造は個人差が大きく頂上ラインとの相関は無いとされている。
【0024】
図９は、頂上ライン推定処理（ステップＳ３００）のより詳細なフローチャートである。プロセッサ１０は、内視鏡画像から口側隆起及びその周辺の深度マップを推定する処理（ステップＳ３０２）を行う。深度マップは、マップの各点に対して、その各点における被写体の深度が割り当てられた情報をいう。本実施形態の深度マップは、例えば内視鏡画像の各画素において、その各画素における被写体の深度が割り当てられている。
【0025】
その後プロセッサ１０は、深度マップから口側隆起の頂上ラインを推定する処理（ステップＳ３０４）を行う。なお、以降の説明または図示において、内視鏡画像から口側隆起及びその周辺の深度マップを推定することを、単に内視鏡画像から深度マップを推定することと簡略して記載することがある。また、以降の説明または図示において、深度マップから口側隆起の頂上ラインを推定することを、単に深度マップから頂上ラインを推定することと簡略して記載することがある。
【0026】
図９のフローチャートに示す処理は、例えば処理部１００を図１０のように構成することで実現できる。図１０において処理部１００は、深度推定部１１０と頂上ライン推定部１２０を含む。つまり、プロセッサ１０は、図１０の深度推定部１１０として機能することで図９のステップＳ３０２を実行し、図１０の頂上ライン推定部１２０として機能することで図９のステップＳ３０４を実行する。
【0027】
より具体的には、例えば処理システム３を図１１に示す構成例のようにすることで、プロセッサ１０を深度推定部１１０として機能させることができる。図１１において、処理システム３は、メモリ２０と入力部３０と出力部４０とをさらに含む。メモリ２０には学習済みモデル２２が記憶されている。
【0028】
入力部３０は、外部からのデータを受信するインターフェースである。出力部４０は、後述する推論段階より推論されたデータを外部に送信するインターフェースである。入力部３０と出力部４０の具体的なハードウェアは、プロセッサ１０が果たす機能に応じて適宜決定される。また、一のプロセッサ１０が異なる種類の推論を行う場合は、一の推論によって出力部４０から出力されたデータが入力部３０に再度入力され、再度入力されたデータに基づいてプロセッサ１０が他の推論を行うこともある。例えば図１０で後述する深度推定部１１０と頂上ライン推定部１２０が同一のプロセッサ１０によって機能する場合があるとする。この場合、プロセッサ１０が深度推定部１１０として機能して出力部４０から出力された深度マップは、再度入力部３０に入力され、プロセッサ１０は頂上ライン推定部１２０として機能し、頂上ラインアノテーションデータが出力部４０から出力される。なお以降の学習済みモデル２２を用いる処理の説明においては、入力部３０と出力部４０の図示及び説明を便宜上省略する。
【0029】
学習済みモデル２２は、教師あり学習としての機械学習を行うことにより生成されたプログラムモジュールである。学習済みモデル２２は入力データと正解ラベルとを対応付けたデータセットに基づいた教師あり学習によって生成されている。より具体的には例えば学習済みモデル２２は、学習段階において不図示の学習装置により生成される。学習装置は、後述の重み係数が初期値として設定されている未学習モデルを不図示の記憶装置に記憶している。そして入力データと正解ラベルとを対応付けたデータセットとしての訓練データを未学習モデルに入力し、その推論結果に基づいて未学習モデルにフィードバックを行うことで重み係数が最適化され、学習済みモデル２２として生成される。
【0030】
なお図１１では一の学習済みモデル２２がメモリ２０に記憶されているように図示しているが、メモリ２０は複数の学習済みモデル２２を記憶してもよい。例えばプロセッサ１０が、深度推定部１１０として機能し、かつ後述する圧力判定部６０としても機能する場合は、それぞれの機能に対応する学習済みモデル２２がメモリ２０に記憶され、実行される処理に対応した学習済みモデル２２が適宜選択される。
【0031】
本実施形態の学習済みモデル２２において、モデルの少なくとも一部にニューラルネットワークが含まれている。ニューラルネットワークは、図示は省略するが、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。中間層の数は特に限定されない。また、中間層における各層に含まれるノードの数は特に限定されない。中間層において所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み係数が設定されている。各ノードは、前段のノードの出力と重み係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。
【0032】
また、既存の学習済みモデルに対して、追加学習を行うことで学習済みモデル２２を生成してもよい。追加学習は、例えばファインチューニング等の手法が用いられる。具体的には例えば既存の学習済みモデルの出力層を追加する等の再構築を行い、上記した訓練データを用いた機械学習を行うことで、重み係数が最適化される。
【0033】
深度推定部１１０として機能させる場合に読み出される学習済みモデル２２は、例えば内視鏡画像を入力データとし、深度マップを正解ラベルとするデータセットとして学習されている。そして推論段階では内視鏡画像が入力部３０に入力され、プロセッサ１０はメモリ２０から対応する学習済みモデル２２を読み出し、当該学習済みモデル２２に内視鏡画像を入力する。これにより、推論された深度マップが、学習済みモデル２２から出力部４０を介して出力される。
【0034】
なお、オープンソースとして公開されている単眼深度推定モデルを、深度推定部１１０として機能させるための学習済みモデル２２としてもよい。このようにすることで、上記した学習段階を設ける必要が無いことから、訓練データを用意する負担を削減できる。訓練データを用意する負担とは、例えば正解ラベルとしての十二指腸乳頭部の深度マップを作成するために、深度センサ等を搭載した内視鏡５を用意する負担等である。なお、上記した単眼深度推定モデルに対して、上記した追加学習を行う等の改変を行ってもよい。
【0035】
このように、プロセッサ１０が深度推定部１１０として機能することで図９のステップＳ３０２が行われ、例えば図１２のＡ２１に示した領域の内視鏡画像が入力されると、Ａ２２に示す深度マップが出力される。Ａ２２に示す深度マップを構成するピクセル毎に深度値が含まれている。なお、本実施形態の深度マップは、便宜上、４～５階調からなる階調分けで表示しているが、より多くの階調で表示してもよい。また、発明の要旨を分かりやすくするため、Ａ２２に示す深度マップは、ハチマキひだ、輪状ひだ、小帯による凹凸等を除外して表現している。後述する深度マップについても同様である。また、説明の便宜上、Ａ２１は処置具が挿入されていない十二指腸乳頭部を示しているが、例えば前述したガイドワイヤが胆管に留置された段階における十二指腸乳頭部の内視鏡画像であってもよいし、ＥＳＴ処置具がさらに挿入された段階における十二指腸乳頭部の内視鏡画像であってもよく、適宜決定される。
【0036】
図９のステップＳ３０４は、プロセッサ１０が対応する学習済みモデル２２を読み出すことによって行われ、頂上ライン推定部１２０として機能する。この場合の学習済みモデル２２は、深度推定部１１０から出力された深度マップを入力データとし、頂上ラインアノテーションデータを正解ラベルとするデータセットとして機械学習が行われている。なお、推論段階での精度を向上させるために、深度マップに対応する内視鏡画像をさらに入力データとして追加してもよい。
【0037】
なお、図９のステップＳ３０４は、機械学習を用いない手法でも実現できる。例えば深度推定部１１０から出力された深度マップを入力データとし、所定のピクセル数毎に深度値の平均値を算出し、算出された値に基づいて頂上ラインを推定する。
【0038】
このように、プロセッサ１０は、頂上ライン推定部１２０として機能することで、例えば図１２のＡ２３に示す領域に基づいて、Ａ２４に示す領域を頂上ラインとして推定する。Ａ２３に示す領域は、深度マップにおいて手前側を示す階調からなる領域である。そして、プロセッサ１０は、推定した頂上ラインに基づいてガイド表示ＧＭの画像データを生成し、生成したガイド表示ＧＭの画像データを出力する。
【0039】
このような頂上ライン推定処理（ステップＳ３００）が行われることで、ステップＳ４００により図１３のＡ３１に示すような内視鏡画像が後述の表示装置９に表示される。Ａ３１に示す内視鏡画像には、十二指腸乳頭部にガイド表示ＧＭが重畳して表示される。
【0040】
以上のことから、本実施形態の処理システム３は、ハードウェアを含むプロセッサ１０を含む。プロセッサ１０は、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得し、十二指腸乳頭部を含む領域の深度マップを内視鏡画像から推定し、推定された深度マップから口側隆起の頂上ラインを推定し、推定された頂上ラインに基づくガイド表示ＧＭを、内視鏡画像に重畳して表示する処理を行う。十二指腸乳頭部が写る内視鏡画像からは胆管の経路を直接把握することはできない。また、胆管の経路は口側隆起の形状と相関関係があることが知られているが、内視鏡画像は奥行方向に関する情報を持たない二次元画像であることから、十二指腸乳頭部を撮像した内視鏡画像から口側隆起の形状を直接把握することは困難である。その点、本実施形態の処理システム３は、内視鏡画像から深度マップを推定することから、深度マップに基づいて口側隆起の形状を推定できる。また、深度マップから口側隆起の頂上ラインを推定し、推定された頂上ラインに基づくガイド表示ＧＭを内視鏡画像に重畳して表示することから、ユーザはガイド表示ＧＭを見ることで口側隆起の頂上ラインを把握できる。これにより、胆管に対する処置の利便性を向上させることができる。
【0041】
また、例えば内視鏡先端に立体視をするための撮像装置を搭載する手法についても提案されているが、このような撮像装置を内視鏡先端部に実際に搭載することは、内視鏡先端部のサイズを増大させる等により難しい問題がある。その点、本実施形態の手法を適用することで、通常の内視鏡画像から深度マップを推定し、口側隆起の頂上ラインを推定していることから、立体視をするための撮像装置を搭載することなく、十二指腸乳頭部における胆管の経路を推定することができる。
【0042】
また、本実施形態の手法は内視鏡システム１として実現してもよい。つまり、本実施形態の内視鏡システム１は、上記した処理システム３と内視鏡５とを含む。このようにすることで、上記と同様の効果を得ることができる。
【0043】
また、本実施形態の手法は処理方法として実現してもよい。つまり、本実施形態の処理方法は、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得する処理（ステップＳ２００）と、十二指腸乳頭部を含む領域の深度マップを内視鏡画像から推定する処理（ステップＳ３０２）と、推定された深度マップから口側隆起の頂上ラインを推定する処理（ステップＳ３０４）とを行う。また、本実施形態の処理方法は、推定された頂上ラインに基づくガイド表示を、内視鏡画像に重畳して表示する処理（ステップＳ４００）をさらに行う。このようにすることで、上記と同様の効果を得ることができる。
【0044】
また、本実施形態の処理システム３において、ガイド表示ＧＭは、ＥＳＴにおける切開ガイド表示であってもよい。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、ガイド表示ＧＭは、ＥＳＴにおける切開ガイド表示であってもよい。このようにすることで、ユーザは、口側隆起の頂上ラインを推定しながらＥＳＴを行うことができる。具体的には例えばユーザはＥＳＴナイフのナイフワイヤを通電しながらガイド表示ＧＭに沿ってナイフワイヤを移動させることで、図１３のＡ３２に示すように、所望の方向に切開を行うことができる。
【0045】
また、本実施形態の処理システム３は、入力された画像から深度マップを推定するように学習された学習済みモデル２２を記憶するメモリ２０を含んでもよい。また、プロセッサ１０は、学習済みモデル２２に内視鏡画像を入力することで、深度マップを推定してもよい。このようにすることで、機械学習された学習済みモデル２２を用いて深度マップを推定する処理システム３を構築できる。
【0046】
本実施形態の手法は上記に限らず、特徴を追加する等、種々の変形実施が可能である。例えば、本実施形態の処理システム３は、図８のステップＳ１００を自動で行ってもよい。具体的には例えば処理システム３を図１４に示す構成例のようにし、図１５のフローチャートに示す処理例を図８のステップＳ１００に組み入れることで、ステップＳ１００に相当する処理の自動化を実現できる。また、図８のステップＳ２００以降が行われた後に、例えばタイマー割込み処理等によって図１５の処理を定期的に行ってもよい。このようにすることで、本実施形態の手法を行うのに適した管腔内圧力を維持できる。
【0047】
図１４は、本実施形態の内視鏡システム１をより詳細に示したブロック図である。内視鏡システム１は、前述の処理システム３、内視鏡５の他、送気・脱気装置７、表示装置９をさらに含む。処理システム３に含まれるプロセッサ１０は、前述の表示制御部５０、処理部１００の他、圧力判定部６０をさらに含む。
【0048】
圧力判定部６０は、内視鏡５から表示制御部５０を介して受信した内視鏡画像に基づいて十二指腸管腔内圧力の判定を行い、当該判定の判定結果に基づいて送気・脱気装置７を制御する。送気・脱気装置７は、不図示の挿入部の内部チャネルを介して内視鏡先端部と繋がっている。これにより、内視鏡先端部を介して十二指腸管腔に対して送気または脱気を行うことができる。なお送気・脱気装置７は公知の装置であり、詳細な説明は省略する。
【0049】
図１５のフローチャートの処理例について説明する。プロセッサ１０は、内視鏡画像から十二指腸管腔内の圧力を推定し（ステップＳ１０２）、推定した十二指腸管腔内の圧力は所定範囲より高いか否かについて判断する処理を行う（ステップＳ１１０）。ステップＳ１０２の実現手段については後述する。所定範囲は、過去の症例等に基づいてユーザが適宜決定する。プロセッサ１０は、推定した十二指腸管腔内の圧力が所定範囲より高い場合（ステップＳ１１０でＹＥＳ）、十二指腸管腔内を脱気する処理（ステップＳ１１２）を行い、フローを終了する。これにより、十二指腸管腔内の圧力をより低くすることができる。一方、プロセッサ１０は、推定した十二指腸管腔内の圧力が所定範囲より高くないと判断した場合（ステップＳ１１０でＮＯ）、推定した当該圧力が所定範囲より低いか否かを判断する処理（ステップＳ１２０）を行う。プロセッサ１０は、推定した当該圧力が所定範囲より低いと判断した場合（ステップＳ１２０でＹＥＳ）、十二指腸管腔内を送気する処理（ステップＳ１２２）を行い、フローを終了する。これにより、十二指腸管腔内の圧力をより高くすることができる。一方、推定した当該圧力が所定範囲より低くないと判断した場合（ステップＳ１２０でＮＯ）、フローを終了する。言い換えれば、ステップＳ１１０でＮＯの場合かつステップＳ１２０でＮＯの場合は、推定した当該圧力が所定範囲内であり、送気も脱気も行う必要が無いと判断される。
【0050】
プロセッサ１０を圧力判定部６０として機能させる場合に読み出される学習済みモデル２２は、例えば十二指腸管腔内が撮像された内視鏡画像と、当該内視鏡画像に対して十二指腸管腔内のしわの数、しわの深さ等の特徴量と、十二指腸管腔内の圧力判定結果とが関連付けられたデータセットにより機械学習されている。十二指腸管腔内の圧力判定結果とは、例えば「十二指腸管腔内の圧力は、所定範囲内の圧力である」「十二指腸管腔内の圧力は、所定範囲より高い圧力である」「十二指腸管腔内の圧力は、所定範囲より低い圧力である」等により分類された判断結果であり、正解ラベルとしての役割を果たす。
【0051】
そして推論段階では、十二指腸管腔内が撮像された内視鏡画像が入力データとして入力部３０に入力される。そしてプロセッサ１０はメモリ２０から学習済みモデル２２を読み出す。これによりプロセッサ１０は、圧力判定部６０として機能し、入力された内視鏡画像に対してしわの数、しわの深さ等の特徴量を抽出する処理と、抽出した特徴量に対応する正解ラベルを選択する処理と、選択された正解ラベルを出力データとして出力部４０を介して出力する処理を行う。これにより、図１５のステップＳ１０２が実現できる。そして選択された正解ラベルの内容に応じてステップＳ１０２以降の処理が行われる。
【0052】
このように、本実施形態の処理システム３において、プロセッサ１０は、内視鏡画像に基づいて十二指腸管腔内の圧力が適正圧力の範囲内であるか否かを推定し（ステップＳ１０２）、十二指腸管腔内の圧力が適正圧力の範囲外である場合、十二指腸管腔内の圧力を適正圧力の範囲内になるように送気または脱気する処理（ステップＳ１１２、ステップＳ１２２）を行う。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法は、内視鏡画像に基づいて十二指腸管腔内の圧力が適正圧力の範囲内であるか否かを推定する処理と、十二指腸管腔内の圧力が適正圧力の範囲外である場合、十二指腸管腔内の圧力を適正圧力の範囲内になるように送気または脱気する処理とを、さらに行う。このようにすることで、十二指腸の管腔内を、頂上ラインの推定、ＥＳＴの切開等に適した状態にすることができる。
【0053】
なお、例えば上記した正解ラベルのうち、「十二指腸管腔内の圧力は、所定範囲より高い圧力である」のラベルをさらに複数段階にランク分けしてもよい。また、プロセッサ１０は、出力されたランクに対応するように、圧力判定部６０から送気・脱気装置７に出力するコマンドを選択し、選択したコマンドを送気・脱気装置７に出力してもよい。「十二指腸管腔内の圧力は、所定範囲より低い圧力である」のラベルについても同様である。これにより、送気・脱気装置７の制御をより正確に行うことができる。
【0054】
【0055】
また、例えば本実施形態は、十二指腸乳頭部の形状が異なり得る内視鏡画像を複数取得し、それぞれの内視鏡画像から推定した深度マップに基づいて頂上ラインを推定する手法としてもよい。例えば処理部１００を図１６に示す構成例のようにし、図８のステップＳ２００を図１７のフローチャートに示す処理例のようにし、図８のステップＳ３００を図１８のフローチャートに示す処理例のようにすることで、上記した手法が実現できる。図１６に示す処理部１００は、頂上ライン推定部１２０が深度推定結果減算部１２２をさらに含む点で、図１０に示す処理部１００と異なる。
【0056】
図１７に示す内視鏡画像取得処理（ステップＳ２００）について説明する。プロセッサ１０は、第１内視鏡画像を取得し（ステップＳ２０２）、その後第２内視鏡画像を取得する（ステップＳ２０４）。その後、図８のフローチャートに戻り、頂上ライン推定処理（ステップＳ３００）とステップＳ４００の処理が行われる。
【0057】
第１内視鏡画像と第２内視鏡画像の組み合わせは、十二指腸乳頭部の形状が異なり得る内視鏡画像同士であれば、特に問わない。例えば第１内視鏡画像は、図１９のＡ４１に示すように、口側隆起を含み、処置具が挿入されていない状態における十二指腸乳頭部の内視鏡画像を採用できる。また、第２内視鏡画像は、例えば図１９のＡ４２に示すように、口側隆起を含み、かつ処置具が挿入されている状態における十二指腸乳頭部の内視鏡画像を採用できる。Ａ４２に示す第２内視鏡画像が撮像される状態は、例えば処置具としてのガイドワイヤが挿入された状態であるが、前述のカニューラが挿入された状態であってもよいし、ＥＳＴナイフを挿入してＥＳＴを開始する直前の状態であってもよい。このように、本実施形態の処理システム３において、プロセッサ１０は、処置具が挿入されていない状態の第１内視鏡画像と、処置具が挿入された状態の第２内視鏡画像とに基づいて、頂上ラインを推定する。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、処置具が挿入されていない状態の第１内視鏡画像と、処置具が挿入された状態の第２内視鏡画像とに基づいて、頂上ラインを推定する処理（ステップＳ２０２、ステップＳ２０４、ステップＳ３００）を行う。このようにすることで、胆管の経路をより精度良く推定することができる。処置具は胆管に挿入されていることから、頂上ラインの変化は胆管の経路の変化に対応していると考えられる。
【0058】
なお、ステップＳ２０２はリアルタイムで内視鏡５のイメージャが撮像したことにより第１内視鏡画像を取得する処理に限らず、例えば既にメモリ２０等に記憶された第１内視鏡画像を選択する処理であってもよい。ステップＳ２０４についても同様である。例えば上記したように第１内視鏡画像を処置具が挿入されていない状態における十二指腸乳頭部の内視鏡画像とする場合は、例えばＥＲＣＰを行うときに内視鏡先端のイメージャが十二指腸乳頭部と位置合わせしたときに撮像した内視鏡画像を別途メモリ２０等に記憶しておけばよい。また、ガイドワイヤが胆管に初めて挿入されたタイミングにおける十二指腸乳頭部の内視鏡画像を第２内視鏡画像とする場合は、当該タイミングで撮像した内視鏡画像を別途メモリ２０等に記憶しておけばよい。或いは、ＥＳＴを開始する直前のタイミングにおける十二指腸乳頭部の内視鏡画像を第２内視鏡画像とする場合は、リアルタイムで内視鏡５のイメージャが撮像した内視鏡画像を取得する処理をステップＳ２０４とすればよい。
【0059】
図１８に示す頂上ライン推定処理（ステップＳ３００）について説明する。プロセッサ１０は、第１内視鏡画像から第１深度マップを推定し（ステップＳ３１０）、第２内視鏡画像から第２深度マップを推定し（ステップＳ３２０）、第１深度マップと第２深度マップとの差分に基づいて頂上ラインを推定する（ステップＳ３５０）。図１８のステップＳ３１０とステップＳ３２０は、図９のステップＳ３０２に対応する処理であり、例えばステップＳ３１０により図１９のＡ４１に示す第１内視鏡画像に基づいて、Ａ６１に示す第１深度マップが生成される。同様に、ステップＳ３２０により図１９のＡ４２に示す第２内視鏡画像に基づいて、Ａ６２に示す第２深度マップが生成される。なお、説明の便宜上、図１９のＡ６１に示す第１深度マップは、Ａ４１に示す第１内視鏡画像のうち点線枠内の内視鏡画像に対応する部分を表示している。同様に、Ａ６２に示す第２深度マップは、Ａ４２に示す第２内視鏡画像のうち点線枠内の内視鏡画像に対応する部分を表示している。
【0060】
その後プロセッサ１０は、深度推定結果減算部１２２として機能し、Ａ６２に示す第２深度マップとＡ６１に示す第１深度マップとの差分を求める。つまり、それぞれの深度マップのピクセル毎に階調値の差分を求め、差分値が相対的に高いピクセルの集合が処置具の挿入に伴い深度が変化した領域と推定される。処置具がガイドワイヤの場合、図５で前述したように当該ガイドワイヤは胆管を通っていることから、上記した深度が変化した領域は胆管が通っている領域と推定できる。
【0061】
このように、本実施形態の処理システム３において、プロセッサ１０は、第１内視鏡画像から推定された第１深度マップと、第２内視鏡画像から推定された第２深度マップとの差分に基づいて、頂上ラインを推定する。このようにすることで、状態が異なる深度マップの差分に基づいて頂上ラインを推定する処理システム３を構築できる。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、第１内視鏡画像から推定された第１深度マップと、第２内視鏡画像から推定された第２深度マップとの差分に基づいて、頂上ラインを推定する処理（ステップＳ３１０、ステップＳ３２０、ステップＳ３５０）を行う。このようにすることで、状態が異なる深度マップの差分に基づいて頂上ラインを推定する処理方法を構築できる。
【0062】
なお、図１１等で前述したように、図９のステップＳ３０２は、機械学習された学習済みモデル２２を用いて行われることから、図１８のステップＳ３１０、ステップＳ３２０も同様に学習済みモデル２２を用いて行われる。つまり、本実施形態の処理システム３は、入力された画像から深度マップを推定するように学習された学習済みモデル２２を記憶するメモリ２０を含む。プロセッサ１０は、学習済みモデル２２に第１内視鏡画像を入力することで、第１深度マップを推定し、学習済みモデル２２に第２内視鏡画像を入力することで、第２深度マップを推定し、第１深度マップと第２深度マップとに基づいて、頂上ラインを推定する。このようにすることで、機械学習された学習済みモデル２２を用いて、二つの深度マップに基づいて頂上ラインを推定する処理システム３を構築できる。
【0063】
また、例えば本実施形態は、位置合わせを行ってから頂上ラインを推定する手法としてもよい。例えば処理部１００を図２０に示す構成例のようにし、図８のステップＳ２００を前述の図１７のフローチャートに示す処理例のようにし、図８のステップＳ３００を図２１のフローチャートに示す処理例のようにすることで、上記した手法が実現できる。図２０の処理部１００の構成例は、図１６の処理部１００の構成例に対して、キーポイント検出部１３０と、第１深度推定結果位置合わせ部１４１とをさらに含む点で異なる。なお、既に説明した処理については説明を省略する。
【0064】
図２１の頂上ライン推定処理（ステップＳ３００）について説明する。プロセッサ１０は、図１８と同様の第１内視鏡画像から第１深度マップを推定する処理（ステップＳ３１０）を行うとともに、キーポイント検出部１３０として機能して第１内視鏡画像からキーポイントを検出する処理（ステップＳ３１２）を行う。ここでのキーポイントは、第１深度マップと第２深度マップとを位置合わせするための基準となる位置情報をいい、具体的には乳頭開口部、ハチマキひだ、小帯等である。キーポイントは特徴点またはランドマークとも言うことができる。プロセッサ１０をキーポイント検出部１３０として機能させる処理が、ステップＳ３１２に相当する。
【0065】
ステップＳ３１２は、機械学習された学習済みモデル２２を用いて行われる。例えばプロセッサ１０をキーポイント検出部１３０として機能させる場合に読み出される学習済みモデル２２は、例えば十二指腸乳頭部が撮像されている内視鏡画像が入力されると、キーポイントとなる乳頭開口部等を当該内視鏡画像にセグメンテーション等して出力するように機械学習されている。ステップＳ３１２に係る学習済みモデル２２は、画像認識分野で用いられるＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、またはこれらをさらに発展させたモデルを少なくとも一部に用いてもよい。ＣＮＮ等をさらに発展させたモデルとは例えばＳｅｇＮｅｔ（Segmentation Network）、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）等である。
【0066】
その後プロセッサ１０は、図１８と同様の第２内視鏡画像から第２深度マップを推定する処理（ステップＳ３２０）を行うとともに、第２内視鏡画像からキーポイントを検出する処理（ステップＳ３２２）を行う。ステップＳ３２２は、前述したステップＳ３１２と同様に、機械学習された学習済みモデル２２を用いて行われる。
【0067】
その後プロセッサ１０は、第１深度推定結果位置合わせ部１４１として機能し、検出したキーポイントを基準に第１深度マップと第２深度マップを位置合わせする処理（ステップＳ３３０）を行う。例えば前述の図１９のＡ５１に示すように、ステップＳ３１２によって第１内視鏡画像からキーポイントとして乳頭開口部が検出される。同様に、例えば図１９のＡ５２に示すように、ステップＳ３２２によって第２内視鏡画像からキーポイントとして乳頭開口部が検出される。
【0068】
そしてプロセッサ１０は、第１深度推定結果位置合わせ部１４１として機能し、Ａ５１で検出したキーポイントの座標情報に基づいて、例えば図１９のＡ７１に示す位置が第１深度マップにおける乳頭開口部の位置と特定する。なおＡ５１に示すキーポイントが領域として検出されている場合は、示された領域の重心の位置をＡ７１に示す位置として特定すればよい。同様に、プロセッサ１０は、Ａ５２で検出したキーポイントの座標情報に基づいて、例えば図１９のＡ７２に示す位置が第２深度マップにおける乳頭開口部の位置と特定する。そしてプロセッサ１０は、Ａ７１に示す位置座標とＡ７２に示す位置座標を同一座標となるように、第１深度マップまたは第２深度マップのいずれか一方の位置座標を変換する。その後、プロセッサ１０は前述のステップＳ３５０を行い、頂上ラインを推定する。
【0069】
なお、ステップＳ３３０は、学習済みモデル２２を用いて行うこともできる。例えば内視鏡画像と、当該内視鏡画像におけるキーポイントと、異なる内視鏡画像同士におけるキーポイントの対応関係の情報とを関連付けたデータセットで学習済みモデル２２を学習させればよい。
【0070】
また、例えば処理部１００を図２２に示す構成例のようにし、図８のステップＳ２００を前述の図１７のフローチャートに示す処理例のようにし、図８のステップＳ３００を図２３のフローチャートに示す処理例のようにすることで、上記した手法を同様に実現できる。図２２の処理部１００の構成例は、図１６の処理部１００の構成例に対して、点群データ生成部１３２と、第２深度推定結果位置合わせ部１４２とをさらに含む点で異なる。
【0071】
図２３の頂上ライン推定処理（ステップＳ３００）について説明する。プロセッサ１０は、図１８と同様の第１内視鏡画像から第１深度マップを推定する処理（ステップＳ３１０）を行った後、第１深度マップから第１点群データを生成する処理（ステップＳ３１４）を行う。例えばプロセッサ１０は、点群データ生成部１３２として機能し、第１深度マップとして図２４のＡ６３に示すような深度マップを深度推定部１１０から取得し、所定のアルゴリズムに基づいてＡ８３に示すような点群データを生成する。所定のアルゴリズムは、深度マップから点群データを生成する公知の手法であればよい。
【0072】
その後プロセッサ１０は、図１８と同様の第２内視鏡画像から第２深度マップを推定する処理（ステップＳ３２０）を行った後、第２深度マップから第２点群データを生成する処理（ステップＳ３２４）を行う。ステップＳ３２４は、上記したステップＳ３１４と同様の処理である。
【0073】
図２３の処理例における第１内視鏡画像と第２内視鏡画像は、図２１の処理例の場合と同様である。つまり、図２３の処理における第１内視鏡画像は、例えば図２５のＡ４４に示すように処置具が挿入されていない状態における十二指腸乳頭部の内視鏡画像であり、図２３の処理における第２内視鏡画像は、例えば図２５のＡ４５に示すように処置具が挿入された状態における十二指腸乳頭部の内視鏡画像である。これにより、Ａ４４に示す第１内視鏡画像は、ステップＳ３１０により図２５に不図示の第１深度マップが生成され、ステップＳ３１４により当該第１深度マップに基づいてＡ８４に示す第１点群データが生成される。同様に、Ａ４５に示す第２内視鏡画像は、ステップＳ３２０により図２５に不図示の第２深度マップが生成され、ステップＳ３２４により当該第２深度マップに基づいてＡ８５に示す第２点群データが生成される。
【0074】
その後プロセッサ１０は、第２深度推定結果位置合わせ部１４２として機能し、第１点群データと第２点群データに基づいて第１深度マップと第２深度マップを位置合わせする処理（ステップＳ３４０）を行う。ＩＣＰアルゴリズムは、公知の手法につき詳細な説明は省略するが、一方の点群データの各点について、他方の点群データから最も近傍となる点を探索して対応づけ、対応付けた点の差を最小化するように、第１点群データの座標系と第２点群データの座標系との位置姿勢を調整する。これにより、例えばＡ９４に示す輪郭部分を構成する各点と、Ａ９５に示す輪郭部分を構成する各点との差が最小化され、第１点群データと第２点群データとのマッチングが行われる。そして、プロセッサ１０は、点群データの座標系の調整に対応するように、第１深度マップと第２深度マップとの位置関係を調整する。
【0075】
なお、ステップＳ３４０は、学習済みモデル２２を用いて行うこともできる。例えば対応する位置座標が異なる点群データの組み合わせを入力データとし、位置関係を調整した際に用いられた座標変換データを正解ラベルとデータセットで学習済みモデル２２を学習させればよい。その後プロセッサ１０は、位置関係を調整した第１深度マップと第２深度マップとの差分に基づいて、頂上ラインを推定する（ステップＳ３５０）。
【0076】
以上のことから、本実施形態の処理システム３において、プロセッサ１０は、第１内視鏡画像に写る十二指腸乳頭部の位置と、第２内視鏡画像に写る十二指腸乳頭部の位置とが位置合わせされた状態において、第１深度マップと第２深度マップとの差分に基づいて頂上ラインを推定する。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、第１内視鏡画像に写る十二指腸乳頭部の位置と、第２内視鏡画像に写る十二指腸乳頭部の位置とが位置合わせされた状態において、第１深度マップと第２深度マップとの差分に基づいて頂上ラインを推定する処理（ステップＳ３３０、ステップＳ３４０、ステップＳ３５０）を行う。このようにすることで、頂上ラインの推定の精度をより向上させることができる。処置具を挿入する過程で内視鏡先端部が動き、第１内視鏡画像における十二指腸乳頭部の位置と第２内視鏡画像における十二指腸乳頭部の位置が一致しなくなる可能性がある。その点、本実施形態の手法を適用することで、処置具の挿入前後における十二指腸乳頭部の位置を一致させることができるので、第１深度マップと第２深度マップとの差分をより正確に求めることができる。
【0077】
また、例えば本実施形態は、ガイド表示ＧＭの一端の位置を設定する手法としてもよい。例えば処理部１００を図２６に示す構成例のようにし、図８のステップＳ３００を図２７のフローチャートに示す処理例のようにすればよい。図２６の処理部１００の構成例は、図１６の処理部１００の構成例に対して、乳頭開口部検出部１５０をさらに含む点で異なる。
【0078】
図２７の頂上ライン推定処理（ステップＳ３００）について説明する。プロセッサ１０は、前述と同様に内視鏡画像から深度マップを推定する処理（ステップＳ３０２）を行うとともに、乳頭開口部検出部１５０として機能し、内視鏡画像上の乳頭開口部を検出する処理（ステップＳ３６０）を行う。
【0079】
ステップＳ３６０は、機械学習された学習済みモデル２２を用いて行われる。つまりプロセッサ１０を乳頭開口部検出部１５０として機能させる場合に読み出される学習済みモデル２２は、例えば十二指腸乳頭部が撮像されている内視鏡画像が入力されると、乳頭開口部を当該内視鏡画像にセグメンテーション等して出力するように機械学習されている。
【0080】
そしてプロセッサ１０は、検出した乳頭開口部を基準に頂上ラインを推定する処理を行う（ステップＳ３６２）。例えば図２８において、例えばＢ１に示す領域が、ステップＳ３６０によって検出された乳頭開口部の領域であり、Ｂ２に示す領域が、ステップＳ３０２により生成された深度マップで最も手前側と推定されている領域とする。この場合、プロセッサ１０は、例えばＢ１の領域の重心座標を算出し、Ｂ３に示すような重心座標点を設定する。その後プロセッサ１０は、Ｂ４に示すように、Ｂ３の重心座標と、Ｂ２の領域の中央部分を通過する仮想上の線を頂上ラインとして設定する処理を行う。なお説明の便宜上、Ｂ４に示す線の方向は、紙面の縦方向に一致するものとする。後述する図３４についても同様である。そしてプロセッサ１０は、図示はしていないが、Ｂ４に示す線のうち、Ｂ３に示す点を始点としてＢ２の領域を含むラインを頂上ラインと推定し、推定した頂上ラインに対応するガイド表示ＧＭを表示する。
【0081】
このように、本実施形態の処理システム３において、プロセッサ１０は、内視鏡画像に基づいて乳頭開口部を検出し、乳頭開口部を起点として頂上ラインを推定する。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、内視鏡画像に基づいて乳頭開口部を検出する処理（ステップＳ３６０）をさらに行い、乳頭開口部を起点として頂上ラインを推定する処理（ステップＳ３６２）を行う。このようにすることで、乳頭開口部を起点とするガイド表示ＧＭを表示できる。頂上ラインが乳頭開口部を含むとは限らないが、ＥＳＴは乳頭開口部を切開拡張する手技であるから、乳頭開口部を起点とするガイド表示ＧＭが表示されることはユーザにとって便宜である。
【0082】
また、例えば処理部１００を図２９に示す構成例のようにし、図８のステップＳ３００を図３０のフローチャートに示す処理例のようにすることで、同様の手法が実現できる。図２９の処理部１００の構成例は、図１６の処理部１００の構成例に対して、処置具検出部１５２をさらに含む点で異なる。
【0083】
図３０の頂上ライン推定処理（ステップＳ３００）について説明する。プロセッサ１０は、深度推定部１１０として機能し、前述のステップＳ３０２を行うとともに、処置具検出部１５２として機能し、内視鏡画像上の処置具を検出する処理（ステップＳ３７０）を行う。
【0084】
ステップＳ３７０は、ステップＳ３６０と同様に、機械学習された学習済みモデル２２を用いて行われる。つまりプロセッサ１０を処置具検出部１５２として機能させる場合に読み出される学習済みモデル２２は、例えば処置具が挿入されている十二指腸乳頭部が撮像されている内視鏡画像が入力されると、撮像されている処置具の領域をセグメンテーション等して出力するように機械学習されている。
【0085】
そしてプロセッサ１０は、検出した処置具を基準に頂上ラインを推定する処理を行う（ステップＳ３７２）。例えば図３１において、例えばＢ１１が、ステップＳ３７０によって検出された、処置具のうち内視鏡画像に写る部分の先端の領域であり、Ｂ１２に示す領域が、ステップＳ３０２により生成された深度マップで最も手前側と推定されている領域とする。この場合、プロセッサ１０は、Ｂ１３に示すように、Ｂ１１に示す領域の中央部分と、Ｂ１２に示す領域の中央部分を通過する仮想上の線を設定する処理を行う。そしてプロセッサ１０は、図示はしていないが、Ｂ１３に示す線のうち、Ｂ１１に示す領域を始点としてＢ１２の領域を含むラインを頂上ラインと推定し、推定した頂上ラインに対応するガイド表示ＧＭを表示する。
【0086】
このように、本実施形態の処理システム３において、プロセッサ１０は、内視鏡画像に基づいて、処置具のうち内視鏡画像に写る部分を検出し、検出された部分の先端を起点として頂上ラインを推定する。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、内視鏡画像に基づいて、処置具のうち内視鏡画像に写る部分を検出する処理（ステップＳ３７０）をさらに行い、検出された部分の先端を起点として頂上ラインを推定する処理（ステップＳ３７２）を行う。このようにすることで、処置具の一端を起点とするガイド表示ＧＭを表示できる。ＥＳＴを行うにあたり、処置具としてのＥＳＴナイフ起点とするガイド表示ＧＭが表示されることはユーザにとって便宜である。処置具によって内視鏡画像から乳頭開口部自体を明確に視認できないことがあるが、処置具のうち内視鏡画像に写る部分の先端の位置は、乳頭開口部の位置に対応しているので、図２９～図３１で述べた手法は、図２６～図２８で述べた手法と同等の効果が期待できる。
【0087】
また、本実施形態は例えばガイド表示ＧＭに一定の幅をもたせるように表示する手法としてもよい。具体的には、例えば処理部１００を図３２に示す構成例のようにし、図８のステップＳ３００を図３３のフローチャートに示す処理例のようにすることで、上記した手法が実現できる。図３２の処理部１００の構成例は、図２６の処理部１００の構成例に対して、切開領域生成部１６０をさらに含む点で異なる。なお、図示は省略するが、図３２の処理部１００は図２９の処理部１００に切開領域生成部１６０を追加して構成してもよい。この場合、図３０のフローチャートに、後述するステップＳ３６４に相当する処理を追加すればよい。
【0088】
図３３の頂上ライン推定処理（ステップＳ３００）について説明する。なお、図２７と同様の処理については説明を省略する。プロセッサ１０は、図２７のステップＳ３０２、ステップＳ３６０、ステップＳ３６２を行った後、切開領域生成部１６０として機能し、推定した頂上ラインを１２時の方向としたときに１１時から１２時の間を示す領域を切開領域として生成する処理（ステップＳ３６４）を行う。なお、ここでの１２時の方向は、推定した頂上ラインの乳頭開口部側の一端を中心とした場合における１２時の方向である。
【0089】
例えばステップＳ３０２によって頂上ラインが推定される。そしてステップＳ３６０、ステップＳ３６２が行われた結果として、図３４に示すようにガイド表示ＧＭが乳頭開口部の重心位置を始点とし、紙面の縦方向に一致する方向に表示される。そして、プロセッサ１０は、切開領域生成部１６０として機能し、Ｂ２１に示す仮想上のラインを生成する処理と、Ｂ２２に示す領域を切開領域として生成する処理を行う。
【0090】
なお、図３３等の処理は、所定の外科的治療により臓器の構造が変更されている場合においても適用できる。言い換えれば、臓器の構造が変更されると内視鏡画像の見え方も異なるが、内視鏡画像の見え方に関わらず図３３等の処理を適用できる。
【0091】
図３５、図３６を用いて具体的に説明する。所定の外科的治療として例えば図３５に示すようなビルロート２法によって臓器の構造が変更されている場合、ＥＳＴ等を行うにあたり内視鏡先端部は空腸側から十二指腸の乳頭部に向かって挿入される点で、図２に示した場合と異なる。なおビルロート２法においては、図３５のＣ１に示すように、肥満治療、胃がんの切除等を目的に胃の幽門側を切除した後、残胃部の断端と空腸が吻合されることで食物の通り道がバイパスされる。また、Ｃ２に示すように十二指腸の端部が縫合閉鎖される。なお肥満とは、平均余命の短縮、健康上の問題等を生じさせ得る程度に、過剰な体脂肪が蓄積された状態のことをいう。肥満手術は例えばＢＭＩが一定値を超えている場合またはＢＭＩが一定値を超えるとともに併存疾患を有している場合に行われる。ＢＭＩはボディマス指数（Body Mass Index）の略である。なお、所定の外科的治療としては他にルーワイ胃バイパス術等が挙げられる。
【0092】
そして例えば図３６のＣ１１に示す管腔の側壁に十二指腸乳頭部が存在し、十二指腸乳頭部はＣ１２に示す構造をしているものとし、Ｃ２２に示す位置に乳頭開口部が位置しているものとする。なお、図３６において、方向ＤＲ１は、胃側から十二指腸側へ向かう方向に沿う方向であるものとし、方向ＤＲ２は、方向ＤＲ１と逆の方向即ち空腸側から十二指腸側へ向かう方向に沿う方向であるものとする。方向ＤＲ３及び方向ＤＲ４は方向ＤＲ１に垂直な方向でかつ管腔の壁面に沿う方向であるものとし、方向ＤＲ３が紙面に対して上向きとする。
【0093】
図２のように臓器の構造が変更されていない場合は、内視鏡先端部は方向ＤＲ１に向かうように挿入される。そして内視鏡先端部のイメージャによって撮像される内視鏡画像は、方向ＤＲ１が上向きになることから、Ｃ１３に示す画像となる。一方、図３５のように臓器の構造が変更されている場合は、内視鏡先端部は方向ＤＲ２に向かうように挿入される。方向ＤＲ２に向かうように挿入された内視鏡先端部のイメージャによって撮像される内視鏡画像は、方向ＤＲ２が上向きになることから、Ｃ１４に示すような画像となる。つまりＣ１３に示す内視鏡画像と、Ｃ１４に示す内視鏡画像は、内視鏡画像に垂直な方向を軸にして１８０度回転した関係になる。
【0094】
図２のように臓器の構造が変更されていない場合は、ガイド表示ＧＭの一端を中心として、ガイド表示ＧＭが向く方向を１２時としたときの１１時の方向は、Ｃ２３の点線に示す方向となり、ガイド表示ＧＭとＣ２３の点線の間の領域が切開領域となる。一方、図３５のように臓器の構造が変更されている場合、ガイド表示ＧＭの一端を中心として、ガイド表示ＧＭが向く方向を１２時としたときの１１時の方向は、Ｃ２４の点線に示す方向となり、ガイド表示ＧＭとＣ２４の点線の間の領域が切開領域となる。
【0095】
このように、Ｃ１４の内視鏡画像だけを見ると、ガイド表示ＧＭの方向とＣ２４の点線の方向は１２時と１１時の関係ではないようにも見えるが、本実施形態においては、頂上ラインの乳頭開口部側の一端を１２時の中心と規定していることから、切開領域を正確に表示することができる。以上のことから、本実施形態の処理システム３において、プロセッサ１０は、推定された頂上ラインの乳頭開口部側の一端を中心として、推定した頂上ラインを１２時方向にしたときにおける、１２時方向から１１時方向の間を示すガイド表示を内視鏡画像に重畳表示する（ステップＳ３６４、ステップＳ４００）。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、推定された頂上ラインの乳頭開口部側の一端を中心として、推定した頂上ラインを１２時方向にしたときにおける、１２時方向から１１時方向の間を示すガイド表示を内視鏡画像に重畳表示する（ステップＳ３６４、ステップＳ４００）処理を行う。このようにすることで、ＥＳＴによる切開処置を行うにあたり、より安全な切開処置を行うことを促進できる。例えばＥＳＴの切開作業はマニュアル作業となるため、誤差が生じ得る。しかし上記した１２時方向に対して１時方向に切開方向がずれることは動脈を損傷させる可能性がある。その点、本実施形態の手法を適用することで、切開方向を１１時側に誘導させることができるので、ＥＳＴの切開作業に誤差が生じても動脈が損傷する可能性を低くすることができる。
【0096】
また、本実施形態は、ガイド表示ＧＭの長さをさらに規定する手法をさらに含んでもよい。具体的には、例えば処理部１００を図３７に示す構成例のようにし、図２７の処理例に図３８のフローチャートに示す処理例を追加することで、上記した手法が実現できる。図３７の処理部１００の構成例は、図２６の処理部１００の構成例に対して、切開長推定部１７０をさらに含む点で異なる。また、切開長推定部１７０は、ハチマキひだ推定部１８０をさらに含む。なお、図示は省略するが、図３７の処理部１００は図２９の処理部１００に切開長推定部１７０等を追加して構成してもよい。この場合、図３０の処理例に図３８のフローチャートに示す処理例を追加すればよい。
【0097】
図３８のフローチャートに示す処理例について説明する。プロセッサ１０は、ハチマキひだ推定部１８０として機能し、ハチマキひだを推定する処理（ステップＳ３８０）を行う。
【0098】
ステップＳ３８０は、機械学習された学習済みモデル２２を用いて行われる。つまりプロセッサ１０をハチマキひだ推定部１８０として機能させる場合に読み出される学習済みモデル２２は、例えば深度推定部１１０が生成した深度マップを入力データとし、当該深度マップにおいてハチマキひだに相当する領域を正解ラベルとして出力するように機械学習されている。なお、図示はしていないが、例えば切開長推定部１７０は表示制御部５０から内視鏡画像を受信し、学習済みモデル２２は、内視鏡画像を入力データとし、当該内視鏡画像におけるハチマキひだに相当する領域を正解ラベルとして出力するように機械学習してもよい。
【0099】
そしてプロセッサ１０は、切開長推定部１７０として機能し、ハチマキひだの位置情報から切開長の目安を推定する処理（ステップＳ３９０）を行う。その後プロセッサ１０は、図８のステップＳ４００を行う。これにより、例えば図３９のＢ３１に示すような内視鏡画像を得ることができる。Ｂ３１に示す内視鏡画像において、ステップＳ３８０により、Ｂ３２に示すようにハチマキひだと推定される領域がセグメンテーションされる。また、ステップＳ３９０によって、Ｂ３３に示す乳頭開口部からＢ３２に示すハチマキひだの領域までの長さで、ガイド表示ＧＭが表示されている。
【0100】
このように、本実施形態の処理システム３において、プロセッサ１０は、ハチマキひだの位置情報を推定し（ステップＳ３８０）、推定したハチマキひだの位置情報に基づいて切開長の情報を推定し（ステップＳ３９０）、推定した切開長に基づく長さのガイド表示ＧＭを内視鏡画像に重畳表示する。本実施形態の手法を処理方法として実現する場合においても同様である。つまり、本実施形態の処理方法において、ハチマキひだの位置情報を推定する処理（ステップＳ３８０）と、推定したハチマキひだの位置情報に基づいて切開長の情報を推定する処理（ステップＳ３９０）とをさらに行い、推定した切開長に基づく長さのガイド表示ＧＭを内視鏡画像に重畳表示する処理（ステップＳ４００）を行う。このようにすることで、ユーザは、推定されたハチマキひだの位置情報を参考にして、ＥＳＴを行うことができる。これにより、ユーザは、ＥＳＴの切開範囲を、大切開を避けて小切開または中切開に留めるようにＥＳＴを行うことができる。これにより、過剰な出血、穿孔等を防止できる。なお、小切開はハチマキひだを超えない切開範囲をいい、大切開は口側隆起の上側の縁までの切開範囲をいい、中切開は小切開と大切開の中間の切開範囲をいう。
【0101】
また、図４０に示すように、切開長推定部１７０は、ハチマキひだ推定可否判断部１８２、アラーム情報生成部１８４をさらに含んでもよい。この場合、図３８の処理例を図４１のフローチャートに示す処理例に変形してもよい。
【0102】
図４１のフローチャートに示す処理例について説明する。なお、図３８と同様の処理については説明を適宜省略する。プロセッサ１０は、前述のステップＳ３８０を行った後、ハチマキひだ推定可否判断部１８２として機能し、ハチマキひだの推定確率が所定値以上であるか否かについて判断する処理（ステップＳ３８２）を行う。
【0103】
そしてプロセッサ１０は、ハチマキひだの推定確率が所定値未満である場合（ステップＳ３８２でＮＯ）、アラーム情報生成部１８４として機能し、アラーム情報を生成する（ステップＳ３８４）。例えばプロセッサ１０は、図３９のＢ３４に示すようなハチマキひだの推定確率を表示するとともに、当該推定確率が所定値未満である旨の表示処理をさらに行ってもよいし、所定のアラーム音を発する処理を行ってもよく、公知の手法を幅広く適用できる。ハチマキひだと推定される確率が所定値以上でない場合は、Ｂ３２に示す領域と異なる領域が実際のハチマキひだである可能性が高くなる。そのため、表示されるガイド表示ＧＭの切開長だけＥＳＴを行っても、所望の範囲よりも大きな範囲で切開されてしまう可能性がある。その点、本実施形態の手法を適用することで、意図しない範囲で切開されることを防止できる。一方、プロセッサ１０は、ハチマキひだの推定確率が所定値以上であった場合（ステップＳ３８２でＹＥＳ）、前述のステップＳ３９０を行う。
【0104】
また、切開長推定部１７０は、図４２に示すようにアラーム情報生成部１８４に替えて切開長短縮化部１８６を含むようにしてもよい。この場合、図３８の処理例を図４３のフローチャートに示す処理例に変形してもよい。
【0105】
図４３のフローチャートに示す処理例について説明する。なお、図３８、図４１と同様の処理については説明を適宜省略する。プロセッサ１０は、前述のステップＳ３８０、ステップＳ３８２の処置を行う。そしてプロセッサ１０は、ハチマキひだの推定確率が所定値未満である場合（ステップＳ３８２でＮＯ）、切開長短縮化部１８６を含む切開長推定部１７０として機能し、ハチマキひだの位置情報から切開長の目安を推定し、推定した切開長の目安を短縮する処理（ステップＳ３８６）を行う。そしてプロセッサ１０は、図８のステップＳ４００を行う。図４１で前述したように、ステップＳ３８２でＮＯとなる場合、図３９のＢ３２に示す、推定されたハチマキひだ領域より広い領域が、実際のハチマキひだの領域である可能性が高い。そこで、図示は省略するが、例えばプロセッサ１０は、乳頭開口部からハチマキひだまでの長さを求め、さらに当該長さに一定の割合で短縮した長さからなるガイド表示ＧＭを表示する。このようにすることで、ハチマキひだの領域の推定精度が十分ではない場合に、所望の範囲よりも大きな範囲で切開されてしまう可能性を低くすることができる。
【0106】
なお、図２６、図３２、図３７の処理部１００による手法を個別に説明しているが、これらの手法は適宜組み合わせることができる。例えば図４４に示すように、処理部１００は、深度推定部１１０、頂上ライン推定部１２０の他、乳頭開口部検出部１５０、切開領域生成部１６０、切開長推定部１７０を含む構成とすることもできる。同様に、図示は省略するが、処理部１００は、深度推定部１１０、頂上ライン推定部１２０の他、処置具検出部１５２、切開領域生成部１６０、切開長推定部１７０を含む構成とすることもできる。
【0107】
以上、本開示を適用した実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、開示の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の開示を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0108】
１…内視鏡システム、３…処理システム、５…内視鏡、７…脱気装置、９…表示装置、１０…プロセッサ、２０…メモリ、２２…学習済みモデル、３０…入力部、４０…出力部、５０…表示制御部、６０…圧力判定部、１００…処理部、１１０…深度推定部、１２０…頂上ライン推定部、１２２…深度推定結果減算部、１３０…キーポイント検出部、１３２…点群データ生成部、１４１…第１深度推定結果位置合わせ部、１４２…第２深度推定結果位置合わせ部、１５０…乳頭開口部検出部、１５２…処置具検出部、１６０…切開領域生成部、１７０…切開長推定部、１８０…推定部、１８２…推定可否判断部、１８４…アラーム情報生成部、１８６…切開長短縮化部、ＤＲ１，ＤＲ２，ＤＲ３，ＤＲ４，ＤＲ１１，ＤＲ１２，ＤＲ１３…方向、ＧＭ…ガイド表示
【要約】
【課題】胆管の処置の利便性を向上させる処理システム等の提供。
【解決手段】処理システム３は、ハードウェアを含むプロセッサ１０を含む。プロセッサ１０は、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得し、十二指腸乳頭部を含む領域の深度マップを内視鏡画像から推定し、推定された深度マップから口側隆起の頂上ラインを推定し、推定された頂上ラインに基づくガイド表示ＧＭを、内視鏡画像に重畳して表示する処理を行う。このようにすることで、ユーザはガイド表示ＧＭを見ることで口側隆起の頂上ラインを把握できる。
【選択図】 図１
【解決手段】処理システム３は、ハードウェアを含むプロセッサ１０を含む。プロセッサ１０は、口側隆起を含む十二指腸乳頭部を撮像した内視鏡画像を取得し、十二指腸乳頭部を含む領域の深度マップを内視鏡画像から推定し、推定された深度マップから口側隆起の頂上ラインを推定し、推定された頂上ラインに基づくガイド表示ＧＭを、内視鏡画像に重畳して表示する処理を行う。このようにすることで、ユーザはガイド表示ＧＭを見ることで口側隆起の頂上ラインを把握できる。
【選択図】 図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】
【図44】