(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024132834
(43)【公開日】2024-10-01
(54)【発明の名称】内視鏡システム及び内視鏡システムの作動方法
(51)【国際特許分類】
A61B 8/12 20060101AFI20240920BHJP
【ＦＩ】
A61B8/12
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023189263
(22)【出願日】2023-11-06
(11)【特許番号】
(45)【特許公報発行日】2024-09-03
(31)【優先権主張番号】63/452,536
(32)【優先日】2023-03-16
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(72)【発明者】
【氏名】稲垣 原理
(72)【発明者】
【氏名】▲高▼澤 直裕
(72)【発明者】
【氏名】小川 量平
(72)【発明者】
【氏名】翠川 匡道
(72)【発明者】
【氏名】西村 英敏
(72)【発明者】
【氏名】ジョーダン ミルフォード
(72)【発明者】
【氏名】堀尾 大和
(72)【発明者】
【氏名】美濃 宏行
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601EE09
4C601EE11
4C601FE01
4C601FF03
4C601GA19
4C601GA21
4C601JC06
4C601KK24
4C601KK31
4C601LL33
(57)【要約】
【課題】生検針の可動範囲を考慮し、生検針をどの角度に調整するかを支援する内視鏡システム等の提供。
【解決手段】内視鏡システム１は、プロセッサ１０を含む。プロセッサ１０は、生検針４１０を有する超音波内視鏡１００の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、生検針４１０の可動範囲と領域マーカー情報に基づいて、病変部に生検針４１０を刺すための生検針４１０の角度を算出する。これにより、ユーザは、超音波画像を見ながら生検針４１０を刺す作業を容易に行うことができる。
【選択図】 図１
【解決手段】内視鏡システム１は、プロセッサ１０を含む。プロセッサ１０は、生検針４１０を有する超音波内視鏡１００の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、生検針４１０の可動範囲と領域マーカー情報に基づいて、病変部に生検針４１０を刺すための生検針４１０の角度を算出する。これにより、ユーザは、超音波画像を見ながら生検針４１０を刺す作業を容易に行うことができる。
【選択図】 図１
【特許請求の範囲】
【請求項1】
プロセッサを含み、
前記プロセッサは、
生検針を有する超音波内視鏡の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、
前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする内視鏡システム。
前記プロセッサは、
生検針を有する超音波内視鏡の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、
前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする内視鏡システム。
【請求項2】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度に基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度に基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
【請求項3】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度に基づいてユーザに対して前記超音波内視鏡の操作支援情報の提示処理を行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度に基づいてユーザに対して前記超音波内視鏡の操作支援情報の提示処理を行うことを特徴とする内視鏡システム。
【請求項4】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする内視鏡システム。
前記プロセッサは、
前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする内視鏡システム。
【請求項5】
請求項４に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度と深さに基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度と深さに基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
【請求項6】
請求項４に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度と深さに基づいてユーザに対して前記超音波内視鏡の操作支援情報の提示処理を行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度と深さに基づいてユーザに対して前記超音波内視鏡の操作支援情報の提示処理を行うことを特徴とする内視鏡システム。
【請求項7】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記可動範囲に前記病変部が含まれるか否かを判定し、
前記可動範囲に前記病変部が含まれない場合、前記超音波内視鏡のプローブの角度を変更する指示情報を出力することを特徴とする内視鏡システム。
前記プロセッサは、
前記可動範囲に前記病変部が含まれるか否かを判定し、
前記可動範囲に前記病変部が含まれない場合、前記超音波内視鏡のプローブの角度を変更する指示情報を出力することを特徴とする内視鏡システム。
【請求項8】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記可動範囲に前記病変部と重要組織が含まれるか否かを判定し、
前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織に含まれない場合、前記生検針を前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
前記プロセッサは、
前記可動範囲に前記病変部と重要組織が含まれるか否かを判定し、
前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織に含まれない場合、前記生検針を前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
【請求項9】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記生検針の突出位置と前記病変部の間に重要組織が含まれるか否かを判定し、
前記生検針の前記突出位置と前記病変部の間に前記重要組織が含まれる場合、前記超音波内視鏡のプローブの位置を変更する指示情報を出力することを特徴とする内視鏡システム。
前記プロセッサは、
前記生検針の突出位置と前記病変部の間に重要組織が含まれるか否かを判定し、
前記生検針の前記突出位置と前記病変部の間に前記重要組織が含まれる場合、前記超音波内視鏡のプローブの位置を変更する指示情報を出力することを特徴とする内視鏡システム。
【請求項10】
請求項１に記載の内視鏡システムにおいて、
前記領域マーカー情報は、
前記病変部の領域に対応するマーカー情報と、重要組織の領域に対応するマーカー情報を含むことを特徴とする内視鏡システム。
前記領域マーカー情報は、
前記病変部の領域に対応するマーカー情報と、重要組織の領域に対応するマーカー情報を含むことを特徴とする内視鏡システム。
【請求項11】
請求項１に記載の内視鏡システムにおいて、
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルを記憶するメモリを含み、
前記プロセッサは、
前記超音波画像と前記学習済みモデルに基づいて、前記領域マーカー情報を検出することを特徴とする内視鏡システム。
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルを記憶するメモリを含み、
前記プロセッサは、
前記超音波画像と前記学習済みモデルに基づいて、前記領域マーカー情報を検出することを特徴とする内視鏡システム。
【請求項12】
生検針を有する超音波内視鏡の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、
前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする情報処理方法。
前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする情報処理方法。
【請求項13】
請求項１２に記載の情報処理方法において、
算出された前記生検針の角度に基づいてユーザに対して前記超音波内視鏡の操作支援情報を提示することを特徴とする情報処理方法。
算出された前記生検針の角度に基づいてユーザに対して前記超音波内視鏡の操作支援情報を提示することを特徴とする情報処理方法。
【請求項14】
請求項１２に記載の情報処理方法において、
前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする情報処理方法。
前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする情報処理方法。
【請求項15】
請求項１４に記載の情報処理方法において、
算出された前記生検針の角度と深さに基づいてユーザに対して前記超音波内視鏡の操作支援情報を提示することを特徴とする情報処理方法。
算出された前記生検針の角度と深さに基づいてユーザに対して前記超音波内視鏡の操作支援情報を提示することを特徴とする情報処理方法。
【請求項16】
請求項１２に記載の情報処理方法において、
前記可動範囲に前記病変部が含まれるか否かを判定し、
前記可動範囲に前記病変部が含まれない場合、前記超音波内視鏡のプローブの角度を変更する指示情報を出力することを特徴とする情報処理方法。
前記可動範囲に前記病変部が含まれるか否かを判定し、
前記可動範囲に前記病変部が含まれない場合、前記超音波内視鏡のプローブの角度を変更する指示情報を出力することを特徴とする情報処理方法。
【請求項17】
請求項１２に記載の情報処理方法において、
前記可動範囲に前記病変部と重要組織が含まれるか否かを判定し、
前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織が含まれない場合、前記生検針を前記病変部に刺すための情報を出力することを特徴とする情報処理方法。
前記可動範囲に前記病変部と重要組織が含まれるか否かを判定し、
前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織が含まれない場合、前記生検針を前記病変部に刺すための情報を出力することを特徴とする情報処理方法。
【請求項18】
請求項１２に記載の情報処理方法において、
前記生検針の突出位置と前記病変部の間に重要組織が含まれるか否かを判定し、
前記生検針の前記突出位置と前記病変部の間に前記重要組織が含まれる場合、前記超音波内視鏡のプローブの位置を変更する指示情報を出力することを特徴とする情報処理方法。
前記生検針の突出位置と前記病変部の間に重要組織が含まれるか否かを判定し、
前記生検針の前記突出位置と前記病変部の間に前記重要組織が含まれる場合、前記超音波内視鏡のプローブの位置を変更する指示情報を出力することを特徴とする情報処理方法。
【請求項19】
請求項１２に記載の情報処理方法において、
前記領域マーカー情報は、
前記病変部の領域に対応するマーカー情報と、重要組織の領域に対応するマーカー情報とを含むことを特徴とする情報処理方法。
前記領域マーカー情報は、
前記病変部の領域に対応するマーカー情報と、重要組織の領域に対応するマーカー情報とを含むことを特徴とする情報処理方法。
【請求項20】
請求項１２に記載の情報処理方法において、
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルと、前記超音波画像とに基づいて、前記領域マーカー情報を検出することを特徴とする情報処理方法。
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルと、前記超音波画像とに基づいて、前記領域マーカー情報を検出することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡システム及び情報処理方法等に関する。
【背景技術】
【0002】
内視鏡を用いる手技において、内視鏡により撮像された画像に基づいて診断支援情報を生成し、ユーザを支援する内視鏡システムが知られている。特許文献１には、超音波内視鏡により撮像された超音波画像に表示された組織等を認識し、認識した組織の情報を超音波画像に重畳して表示する手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】米国特許出願公開第２０１９／０２４７１２７号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１は、生検針の可動範囲を考慮し、生検針をどの角度に調整するかを支援することを開示しているものではない。
【課題を解決するための手段】
【0005】
本開示の一態様は、プロセッサを含み、前記プロセッサは、生検針を有する超音波内視鏡の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度を算出する内視鏡システムに関係する。
【0006】
本開示の他の態様は、生検針を有する超音波内視鏡の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度を算出する情報処理方法に関係する。
【図面の簡単な説明】
【0007】
【図1】内視鏡システムの構成例を説明する図。
【図2】内視鏡システムの別の構成例を説明する図。
【図3】内視鏡システムの別の構成例を説明する図。
【図4】先端部等の例を説明する図。
【図5】プローブ及び処置具起上台の例を説明する図。
【図6】超音波画像と可動範囲画像の例を説明する図。
【図7】本実施形態に係る手技の例を説明するフローチャート。
【図8】生検針の角度を算出する手法の例を説明する図。
【図9】可動範囲画像の別の例を説明する図。
【図10】内視鏡システムの別の構成例を説明する図。
【図11】ニューラルネットワークの例を説明する図。
【図12】ニューラルネットワークの別の例と領域マーカー情報の例を説明する図。
【図13】領域マーカー情報の別の例を説明する図。
【図14】領域マーカー情報の別の例を説明する図。
【図15】学習装置の構成例を説明する図。
【図16】押し付け圧力について説明する図。
【図17】内視鏡システムの別の構成例を説明する図。
【図18】生検において行われる処理例を説明するフローチャート。
【図19】判定処理の処理例を説明するフローチャート。
【図20】適正圧力であるか否かを判断する手法を説明する図。
【図21】電動化された内視鏡システムの構成例を説明する図。
【図22】駆動制御装置の構成例を説明する図。
【図23】湾曲部とその駆動機構の例を説明する図。
【図24】進退駆動装置の構成例を説明する図。
【図25】ロール駆動装置を含む連結部の構成例を説明する図。
【図26】推論部の構成例を説明する図。
【図27】推論部の別の構成例を説明する図。
【図28】先端部の位置情報及び方向情報の例を説明する図。
【図29】推論部の別の構成例を説明する図。
【図30】推論部の別の構成例を説明する図。
【図31】操作支援情報の提示処理の処理例を説明するフローチャート。
【図32】第１報知の処理例を説明するフローチャート。
【図33】第１報知による報知の例を説明する図。
【図34】第２報知の処理例を説明するフローチャート。
【図35】第２報知による報知の例を説明する図。
【図36】第３報知の処理例を説明するフローチャート。
【図37】第３報知による報知の例を説明する図。
【図38】操作支援情報の変形例を説明する図。
【発明を実施するための形態】
【0008】
以下の開示において、提示された主題の異なる特徴を実施するための多くの異なる実施形態や実施例を提供する。もちろんこれらは単なる例であり、限定的であることを意図するものではない。さらに、本開示では、様々な例において参照番号および／または文字を反復している場合がある。このように反復するのは、簡潔明瞭にするためであり、それ自体が様々な実施形態および／または説明されている構成との間に関係があることを必要とするものではない。さらに、第１の要素が第２の要素に「接続されている」または「連結されている」と記述するとき、そのような記述は、第１の要素と第２の要素とが互いに直接的に接続または連結されている実施形態を含むとともに、第１の要素と第２の要素とが、その間に介在する１以上の他の要素を有して互いに間接的に接続または連結されている実施形態も含む。
【0009】
図１を用いて本実施形態の内視鏡システム１の構成例について説明する。なお、以降詳細に説明するように、本実施形態において、超音波内視鏡１００を用いて被検体内の超音波診断を行う、医療用超音波内視鏡システムとして機能する内視鏡システム１について例示しているが、例えば超音波診断機能を有さない内視鏡、工業用内視鏡等に本実施形態の手法の全部または一部を適用してもよい。また、被検体とは例えば患者であるが、本実施形態では超音波診断を受ける主体を被検体で統一して表記する。また、以降の説明において、超音波診断に用いる超音波収束ビームを単に超音波または単にビームということがある。また、本実施形態の手法を適用する超音波内視鏡１００の種類は、ビームを凸面に沿って走査させる走査方式に基づくコンベックス型を例示するが、セクタ型、リニア型及びラジアル型等の超音波内視鏡１００に本実施形態の手法の適用を妨げるものではない。なお、コンベックス型の超音波内視鏡１００については図４、図５で後述する。
【0010】
本実施形態の内視鏡システム１は、プロセッサ１０を含む。本実施形態のプロセッサ１０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシタ等である。
【0011】
また、例えば本実施形態の内視鏡システム１は、図１に不図示のメモリ１２と、メモリ１２に記憶された情報に基づいて動作するプロセッサ１０を含んでもよい。これにより、プロセッサ１０は処理部２０として機能できる。情報は、例えばプログラムと各種のデータ等である。プログラムは、例えば図２で後述する学習済みモデル２２を含む。プロセッサ１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等を用いることができる。メモリ１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリ１２はコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサ１０により実行されることで、処理部２０の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサ１０のハードウェア回路に対して動作を指示する命令であってもよい。また、メモリ１２は記憶装置とも呼ぶ。なお、説明の便宜上、本実施形態の手法に係る処理等の主体は、断りが無い限り内視鏡システム１で統一しているが、当該主体はハードウェアとしてのプロセッサ１０に適宜読み替えることができるし、ソフトウェアとしての処理部２０または処理部２０に含まれる各部に適宜読み替えることもできる。
【0012】
超音波内視鏡１００は、挿入部１１０と、操作装置３００と、操作装置３００の側部から延出するユニバーサルケーブル９０と、コネクタ部９２とを含む。なお、以降の説明において、被検体の管腔内に挿入部１１０が挿入される側を「先端側」と呼び、挿入部１１０が操作装置３００に装着される側を「基端側」と呼ぶ。なお、図２１等で後述する電動化された内視鏡システム１の場合、挿入部１１０が後述の制御装置６００に装着される側を「基端側」と呼ぶ。また、後述する生検針４１０の場合、挿入口１９０から図４で後述する先端開口部１３４に向かう側を「先端側」と呼び、先端開口部１３４から挿入口１９０に向かう側を「基端側」と呼ぶ。また、挿入部１１０を先端側に移動させることを「前進」と呼び、挿入部１１０を基端側に移動させることを「後退」と呼び、前進後退を単に「進退」と簡略して呼ぶことがある。生検針４１０についても同様である。
【0013】
挿入部１１０は、被検体内に挿入される部分である。挿入部１１０は先端側に設けられ、後述する超音波振動子ユニット１５２を保持する硬性の先端部１３０と、先端部１３０の基端側に連結され湾曲可能とする湾曲部１０２と、湾曲部１０２の基端側に連結され可撓性を有する軟性部１０４を含む。なお、湾曲部１０２は電動で湾曲させてもよく、詳細は図２１等で後述する。また、挿入部１１０の内部には、電気信号等を伝達する複数の信号線、照明光用の光ファイバーケーブル束、送気吸引チューブ或いは図５で後述する超音波ケーブル１５９等が引き回されているとともに、処置具挿通路等が形成されている。なお、ここでの挿入部１１０の内部は、図２１で後述する内部経路１０１に対応する。
【0014】
操作装置３００は、後述する挿入口１９０の他、複数の操作部材を含む。操作部材は例えば後述する起上台操作ワイヤ１３６を牽引する起上台操作部、湾曲部１０２の湾曲角度を制御する一対のアングルノブ、送気送水ボタン及び吸引ボタン等である。
【0015】
ユニバーサルケーブル９０は、その内部に電気信号等を伝達する複数の信号線、照明光用の光ファイバーケーブル束、送気吸引チューブ或いは図５で後述する超音波ケーブル１５９等が挿通されている。ユニバーサルケーブル９０の端部には、コネクタ部９２が設けられている。コネクタ部９２は、不図示の内視鏡観察装置、超音波観測装置、光源装置、送気送水装置等と接続する。つまり、図１において内視鏡システム１は、不図示の内視鏡観察装置、超音波観測装置、光源装置、送気送水装置等を含む。なお、例えばこれらの装置のうち少なくとも１つは内視鏡システム１の外部に存在してもよく、コネクタ部９２は複数有ってもよい。
【0016】
超音波内視鏡１００は、後述する先端部１３０に設けられたプローブ１５０によって、不図示の超音波観測装置から受信した電気的なパルス型の信号をパルス型の超音波に変換して被検体へ照射するとともに、被検体で反射された超音波を、電圧変化で表現された電気的な信号であるエコー信号に変換して出力する。例えば超音波内視鏡１００は、消化管または呼吸器の周囲の組織に対して超音波を送信し、該組織で反射した超音波を受信する。消化管は、例えば食道、胃、十二指腸または大腸等である。呼吸器は、例えば気管、気管支等である。組織は例えば膵臓、胆嚢、胆管、胆道、リンパ節、縦隔臓器または血管等である。不図示の超音波観測装置は、プローブ１５０から受信したエコー信号に所定の処理を施して超音波画像データを生成する。所定の処理とは例えばバンドパスフィルタ、包絡線検波、対数変換等である。
【0017】
また、本実施形態の超音波内視鏡１００は、図４で後述する撮像光学系をさらに有してもよい。このようにすることで、被検体の消化管または呼吸器へ挿入され、消化管または呼吸器等を撮像できる。
【0018】
また、本実施形態の内視鏡システム１は、図２に示す構成例のようにしてもよい。つまり、本実施形態の内視鏡システム１は、学習済みモデル２２を記憶するメモリ１２をさらに含んでもよい。本実施形態の学習済みモデル２２は、詳細は後述するが、超音波内視鏡１００により撮像される超音波画像に対して、超音波画像における検出対象の領域マーカー情報を出力するように学習されている。
【0019】
本実施形態における学習とは、例えば教師あり学習としての機械学習である。教師あり学習において、学習済みモデル２２は入力データと正解ラベルとを対応付けたデータセットに基づいた教師あり学習によって生成されている。つまり本実施形態の学習済みモデル２２は、例えば超音波画像からなる入力データと、領域マーカー情報からなる正解ラベルを対応づけたデータセットに基づいた教師あり学習によって生成されている。なお、データセットの例はこれに限らず、詳細は後述する。
【0020】
また、本実施形態の内視鏡システム１は、図３に示す構成例のようにしてもよい。つまり、本実施形態の内視鏡システム１に接続する超音波内視鏡１００は、処置具４００としての生検針４１０を含んでもよい。なお、以降の説明において、生検針４１０を例示するが、本実施形態の内視鏡システム１に対し他の処置具４００の適用を妨げるものではない。前述のように挿入部１１０の内部には処置具挿通路が設けられており、挿入口１９０は処置具挿通路と接続されている。これにより、挿入口１９０から挿入された生検針４１０は、処置具挿通路及び後述の先端開口部１３４を介して、先端部１３０から導出される。なお生検針４１０の詳細は図４で後述する。また、本実施形態の内視鏡システム１は、図２の構成例と図３の構成例を組み合わせることもできる。
【0021】
図４、図５、図６を用いて超音波内視鏡１００の先端部１３０の構成例について説明する。なお本実施形態の先端部１３０における各部の構成は以下に説明するものに限らず、種々の変形実施が可能である。また、説明の便宜上、互いに直交する３つの軸として、Ｘ軸、Ｙ軸及びＺ軸を、図４以降、適宜図示している。Ｘ軸に沿った方向をＸ軸方向といい、先端部１３０の長手方向に沿った方向であり、先端側が＋Ｘ方向で基端側が－Ｘ方向とする。また、Ｙ軸に沿った方向をＹ軸方向といい、Ｚ軸に沿った方向をＺ軸方向という。また、図５で例示する、一次元配列からなる超音波振動子アレイ１５５によって超音波診断を行う場合、図４、図５のＸ軸方向、Ｙ軸方向、Ｚ軸方向は各々走査方向、スライス方向、距離方向とも呼ぶことができる。また「直交」は、９０°で交わっているものの他、９０°から若干傾いた角度で交わっている場合も含むものとする。
【0022】
図４の斜視図に示すように、先端部１３０は、本体部１３１と、本体部１３１の先端側に突出するプローブ１５０を含む。本体部１３１は、対物レンズ１３２、照明レンズ１３３、先端開口部１３４を含む。対物レンズ１３２は、撮像光学系の一部をなし、外部からの光を取り込む。ここでの撮像光学系とは、ＣＣＤ（Charge-Coupled Device）又はＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサ等からなる撮像センサ、光学部材等を含む撮像モジュールであり、イメージャ、イメージセンサ、或いはカメラモジュールとも呼ぶことができる。また、本実施形態において、当該撮像光学系により撮像された内視鏡画像を生体画像とも呼ぶことができる。照明レンズ１３３は、照明光を集光して外部に出射する。先端開口部１３４は、処置具挿通路の導出口である。なお、図４では図示していないが、先端部１３０は他に送気送水ノズル等を含んでもよい。
【0023】
図５を用いて、プローブ１５０と起上台１３５について説明する。なお図５は、説明の便宜上、先端部１３０のＹ軸方向の中央における断面図に対し、説明に必要な構成を適宜追加し、説明に不要な構成を適宜削除している。図５に示すように、本体部１３１における先端開口部１３４には起上台１３５が配設されている。なお、図５では、起上台１３５の基本位置において、起上台１３５の長手方向は、先端部１３０の長手方向と一致せず、先端部１３０の長手軸に対してＲ１に示す角度だけ傾斜しているように図示しているが、例えば起上台１３５の基本位置において、起上台１３５の長手方向と先端部１３０の長手方向は平行であってもよい。ここでの平行は略平行を含み、以降も同様である。先端部１３０の長手軸とは、先端部１３０の長手方向に沿った軸であり、図４等に示すＸ軸に平行な軸である。また、本実施形態において、生検針４１０の突出方向は、起上台１３５の長手方向と平行として扱えるものとする。つまり、図５において、起上台１３５の基本位置に基づいて生検針４１０が突出する方向は、先端部１３０の長手軸に対してＲ１に示す角度だけ傾斜している。また、以降の説明において、起上台１３５の長手方向と先端部１３０の長手方向のなす角を、起上台１３５の傾倒角度と呼ぶ。また、先端部１３０の長手方向を基準に、生検針４１０の突出方向の角度を、単に生検針４１０の角度と呼ぶ。つまり、生検針４１０の角度は、起上台１３５の傾倒角度と同じであることから、内視鏡システム１は、起上台１３５の傾倒角度を測定等することで、生検針４１０の角度を把握することができる。
【0024】
起上台１３５には、起上台操作ワイヤ１３６が接続されている。ユーザが不図示の起上台操作部を操作することよって、起上台操作ワイヤ１３６は、Ｂ１１に示す方向に牽引される。その結果、起上台１３５の傾倒角度がＢ１２に示す方向に変化する。このようにすることで、ユーザは生検針４１０の導出角度を調整できる。不図示の起上台操作部は、例えば操作装置３００等に含まれる。なお、以降の説明において、操作装置３００等を操作する主体である術者等をユーザと統一して表記する。図５の場合、ユーザが不図示の起上台操作部を操作することよって、起上台１３５の傾倒角度はＲ１に示す角度よりも大きい角度に変化する。
【0025】
また、本実施形態の内視鏡システム１は、起上台１３５の傾倒角度を把握できるようにしてもよい。例えば不図示の角度センサにより起上台１３５の傾倒角度を測定することで起上台１３５の傾倒角度を把握できる。また、不図示の位置センサを用いて起上台操作ワイヤ１３６の操作量を測定し、起上台操作ワイヤ１３６の操作量と起上台１３５の傾倒角度を対応付けた第１テーブルを用いて起上台１３５の傾倒角度を把握してもよい。なお、不図示の起上台操作部は、起上台操作ワイヤ１３６を牽引するステッピングモータを制御するように構成し、当該ステッピングモータのステップ数と起上台１３５の傾倒角度を対応付けたテーブルを第１テーブルとしてもよい。このようにすることで、内視鏡システム１は、起上台操作ワイヤ１３６の制御に関連づけて起上台１３５の傾倒角度すなわち生検針４１０の角度を把握できる。
【0026】
プローブ１５０は、図５に示すように、ハウジング１５１と超音波振動子ユニット１５２を含む。超音波振動子ユニット１５２は、ハウジング１５１に嵌合して固定されている。超音波振動子ユニット１５２は、配線基板１５３と、バッキング材１５４と、超音波振動子アレイ１５５と、音響整合層１５７と、音響レンズ１５８を含む。超音波振動子アレイ１５５は、複数の超音波振動子１５６を含む。このように構成された超音波振動子ユニット１５２は、プローブ１５０として機能する。なお、図示はしていないが、ハウジング１５１内に内部空間が有る場合は、当該内部空間を埋める充填部をさらに含んでもよい。当該充填部は例えばバッキング材１５４と同じ材料を用いてもよいし、放熱性を有する他の部材を用いてもよい。
【0027】
配線基板１５３は、不図示の超音波観測装置と超音波振動子アレイ１５５の間を中継する中継基板として機能する。つまり、配線基板１５３は、超音波ケーブル１５９に含まれるそれぞれの配線と不図示の電極を介して電気的に接続されているとともに、それぞれの超音波振動子１５６と不図示の電極、信号線等を介して電気的に接続されている。配線基板１５３は、リジット基板であってもよいし、フレキシブル基板であってもよい。
【0028】
バッキング材１５４は、超音波振動子アレイ１５５を機械的に支持するとともに、超音波振動子アレイ１５５からプローブ１５０の内側に伝播した超音波を減衰させる。バッキング材１５４は、例えば硬質ゴムなどの剛性を有する材料から形成されるが、例えばフェライト、セラミックス等をさらに含んでバッキング材１５４を形成してもよい。これにより、プローブ１５０の内側に伝播する超音波をより効率的に減衰させることができる。
【0029】
超音波振動子アレイ１５５は、Ｘ軸方向に沿って凸湾曲状に、複数の超音波振動子１５６を一次元アレイ状に等間隔で配列させることにより構成されている。超音波振動子アレイ１５５を構成する超音波振動子１５６は、例えばチタン酸ジルコン酸鉛（Lead Titanate Zirconate;ＰＺＴ）に代表される圧電セラミックや、ポリフッ化ビニリデン（PolyVinylidene Di Fluoride;ＰＶＤＦ）に代表される高分子圧電材料等からなる圧電素子によって実現できる。それぞれの超音波振動子１５６には、不図示の第１電極と第２電極が形成されている。第１電極は配線基板１５３上の不図示の信号線等を介して、対応する超音波ケーブル１５９の配線と電気的に接続されている。また、第２電極は配線基板１５３上の不図示のグランド電極と接続されている。このようにすることで、マルチプレクサ等の電子スイッチで入力される駆動信号に基づいて超音波振動子１５６を順次駆動させることができる。これにより、超音波振動子１５６を構成する圧電素子が振動して超音波を順次発生させることができる。なお、超音波振動子アレイ１５５は、例えば複数の超音波振動子１５６を二次元アレイ状等に配列させてもよく、種々の変形実施が可能である。
【0030】
音響整合層１５７は、超音波振動子アレイ１５５の外側に積層される。音響整合層１５７の音響インピーダンスの値は、超音波振動子１５６の音響インピーダンスの値と被検体の音響インピーダンスの値との間の範囲内である。これにより、被検体に効率よく超音波を透過させることができる。音響整合層１５７は、例えばエポキシ系樹脂、シリコンゴム、ポリイミド又はポリエチレン等の有機材料により形成される。なお、音響整合層１５７は、図５では便宜的に１層で示しているが、複数の層で構成してもよい。
【0031】
音響レンズ１５８は、音響整合層１５７の外側に設けられる。音響レンズ１５８は、プローブ１５０が押し当たる胃壁等との摩擦を小さくさせる他、超音波振動子アレイ１５５から送信されたビームのＹ軸方向のビーム径を収束させる。これにより、超音波画像をより鮮明に表示させることができる。音響レンズ１５８は、例えばシリコン系樹脂、ブタジエン系樹脂又はポリウレタン系樹脂によって形成されるが、酸化チタン、アルミナ又はシリカ等の粉末をさらに含んで音響レンズ１５８を形成してもよい。また、音響レンズ１５８の音響インピーダンスの値は、音響整合層１５７の音響インピーダンスの値と被検体の音響インピーダンスの値との間の範囲内であることが望ましい。
【0032】
生検針４１０は、シース部４１１と、シース部４１１の内部を挿通する針部４１２を含む。シース部４１１は、例えばコイル状のシースから構成され、柔軟性を有する。シース部４１１の長さは、挿入部１１０の長さに応じて適宜調整できる。針部４１２は例えばニッケル－チタン合金等から形成され、先端が鋭利に加工されている。このようにすることで、固い病変部に対して針部４１２を刺すことができる。また、針部４１２の表面に対してサンドブラスト処理、ディンプル加工等の表面処理を行ってもよい。このようにすることで、針部４１２の表面で超音波をより反射させることができる。これにより、後述の超音波画像において針部４１２をより明確に表示させることができる。
【0033】
なお、図示は省略するが、針部４１２は種々の構成が提案されており、本実施形態の内視鏡システム１に用いられる生検針４１０はいずれの構成を適用してもよい。例えば針部４１２は円筒状のニードルと当該ニードルの円筒内部を挿通するスタイレットで構成され、ニードルとスタイレットの少なくとも一方の先端は鋭利な形状をしているが、例えば１本の針で針部４１２を構成してもよい。なお、ニードルは外針等ということがある。また、スタイレットは内針等ということがある。針部４１２はいずれの構成においても、病変に係る細胞組織を採取するための所定のスペースを作ることができる。そして例えば図７で後述する生検（ステップＳ５）によって、病変に係る細胞組織は当該所定のスペースに取り込まれる。
【0034】
例えばユーザは、針部４１２をシース部４１１に収納した状態で、生検針４１０を挿入口１９０から挿入させる。ユーザが挿入を進めていくと、先端開口部１３４よりも基端側の所定位置に位置する不図示の第１ストッパー機構と、シース部４１１の先端とが接触する。これによりシース部４１１は、当該所定位置より先端側への移動できなくなる。或いは、挿入口１９０より基端側にシース部４１１の前進を止める機構を設けることで第１ストッパー機構としてもよい。シース部４１１をこの状態においてユーザは、不図示の第１スライダを用いて、針部４１２のみをシース部４１１の先端側から突出させる。なお、針部４１２がニードルとスタイレットを含む場合、ユーザはニードルとスタイレットを一体化させた状態で、針部４１２を突出できるようにしてもよい。このようにすることで、図４に示すように、針部４１２が先端開口部１３４から突出される。また、例えば不図示の第２スライダを用いて、ニードルの位置を変えないままにスタイレットのみを後退させてもよい。このようにすることで、ニードルとスタイレットの間に後述のスペースを形成することができる。
【0035】
なお、前述の針部スライダ機構は第２ストッパー機構をさらに含み、針部４１２の最大ストローク量を調節できるようにしてもよい。針部４１２の最大ストローク量とは、シース部４１１から針部４１２が突出できる最大の長さである。このようにすることで、針部４１２がシース部４１１から過度に突出することを防止できる。
【0036】
また、図７で後述する生検（ステップＳ５）の作業では、生検針４１０を構成する各部を、ユーザが手動により進退させることができるが、電動で生検針４１０を進退できるようにしてもよく、詳細は図２１等で後述する。
【0037】
このように構成された先端部１３０を含む超音波内視鏡１００をユーザが用いることにより、内視鏡システム１は超音波画像を取得する。なお以降の説明において、Ｂモード（Brightness mode）による超音波画像を例示するが、本実施形態の内視鏡システム１が他のモードによる超音波画像の表示を更にできることを妨げるものではない。他のモードとは例えばＡモード（Amplitude mode）、Ｃモード（coronal mode）、Ｍモード（Motion mode）等である。
【0038】
Ｂモードとは、超音波の振幅を輝度に変換して断層画像を表示する表示モードである。超音波画像の中央上部はプローブ１５０に対応する領域である。例えば図６の上段図に示すようにプローブ１５０の曲面に沿った走査範囲、例えば当該曲面の曲率中心から所定距離の範囲で超音波が走査される。また、当該走査範囲に、突出した生検針４１０が含まれている場合、例えばＣ０に示すように、生検針４１０に対応した画像を含むように超音波画像が描出される。
【0039】
なお、実際の超音波画像はグレースケール画像であるが、図６では説明の便宜上、生検針４１０に対応する画像と後述する領域マーカー情報に係る画像を模式的に図示し、他を省略している。また、図６の超音波画像は画像左側が先端側で、画像右側が基端側であり、画像上側中央がプローブ１５０の曲面となるように表示される。以降に図示する超音波画像についても同様である。
【0040】
また、図５で前述したように、生検針４１０長手方向が先端部１３０の長手方向と一致しないことから、超音波画像において、生検針４１０に対応する画像は、超音波画像の上辺の右側からＲ２に示す角度だけ傾いて表示される。図６のＲ２に示す角度は、図５で前述したＲ１に示す角度、すなわち生検針４１０の角度に対応する。言い換えれば、図６のＲ２に示す角度は、超音波画像上における生検針４１０の角度である。図６のＲ２に示す角度は、画像処理を行っているため、図５のＲ１に示す起上台１３５の傾倒角度と一致するとは限らない。そこで、例えば図５のＲ１に示す角度と、図６のＲ２に示す角度の対応関係を示す第２テーブルをメモリ１２に記憶させ、Ｒ２に示す超音波画像上の生検針４１０の角度を、第２テーブルを用いて変換する手法等を用いることで、超音波画像上の生検針４１０の角度を、実際の生検針４１０の角度として扱うことができる。
【0041】
また、本実施形態においては、例えば超音波画像上に生検針４１０が描出可能な範囲を図示してもよい。先端部１３０を構成する各部の構造、起上台１３５の傾倒角度の範囲は図６のＲ３に示すように設計上決まっている。また、プローブ１５０と先端開口部１３４の位置関係が変わることは無い。そのため、超音波画像において生検針４１０が表示される領域の範囲は図６のＲ４に示すように予め求めることができる。そこで当該範囲を示す可動範囲画像を予めメモリ１２に記憶させ、超音波内視鏡１００から取得した超音波画像と当該可動範囲画像を重畳表示する画像処理を行うことで、図６のＣ３、Ｃ４に示すような可動範囲画像の表示が実現できる。図６のＣ３の点線とＣ４の点線との間が、超音波画像上に生検針４１０が表示され得る範囲である。言い換えれば、可動範囲画像は、超音波画像上に表示され得る生検針４１０の画像の集合からなる領域の外郭を示した画像である。
【0042】
なお、内視鏡システム１は、当該可動範囲画像の表示位置を調整できるようにしてもよい。このようにすることで、所定の誤差を修正し、可動範囲画像に対応する生検針４１０の可動範囲と、実際の生検針４１０の可動範囲を精度よく一致させることができる。所定の誤差は、例えば先端部１３０の加工上の公差に基づく誤差、生検針４１０のシース部４１１の湾曲の仕方に基づく誤差等である。例えば以下の手法により、可動範囲画像の表示位置を調整が実現できる。
【0043】
例えばユーザがタッチパネルのドローイング機能等を用いて、図６のＣ１に示すように表示されている生検針４１０の画像に重畳するように直線をドローイングする等によって、内視鏡システム１は、図６のＣ２に示すように超音波画像上の座標に基づく第１直線の情報を取得する。そして内視鏡システム１は、当該第１直線の傾きと前述の第２テーブルに基づいて得られる生検針４１０の角度と、前述の角度センサまたは起上台操作ワイヤ１３６に基づいて把握している生検針４１０の角度を比較し、これらの角度が一致するよう、第２テーブルの値を補完する処理等を行う。これにより、可動範囲画像をより正確に表示することができる。なお、Ｃ２に示す第１直線は画像として表示できるようにしてもよい。また、例えば第１直線の画像が超音波画像上に表示されているときに起上台１３５の傾倒角度を調整した場合、当該調整に連動するように、第１直線の画像を回転移動してもよい。また、以降の説明において、可動範囲画像は正確に表示されているものとする。
【0044】
図７は、本実施形態の内視鏡システム１を用いた手技の例を説明するフローチャートである。図７のフローに関する手技は、ＥＵＳ－ＦＮＡ（超音波内視鏡下穿刺吸引細胞診）とも呼ばれる。なお、ＥＵＳ－ＦＮＡは、Endoscopic UltraSound-guided Fine Needle Aspirationの略である。なお、図７のフローは、ユーザが超音波内視鏡１００の各器具を手動で動作させることを想定しているが、例えば後述する電動化された内視鏡システム１によって超音波内視鏡１００の各器具を動作させてもよい。電動とは、器具動作を制御するための電気信号に基づいてアクチュエータ等により医療器具が駆動されることをいう。より具体的には、例えば超音波内視鏡１００の挿入部１１０等の進退、湾曲部１０２の湾曲及びロール回転のうち少なくとも１つを電動駆動により動作させてもよい。生検針４１０を代表とする処置具４００の進退、ロール回転等についても同様である。
【0045】
先ずユーザは超音波内視鏡１００を挿入する（ステップＳ１）。具体的には例えばユーザは、挿入部１１０を例えば所定の部位まで挿入する。所定の部位は胃または十二指腸等であるが、検査対象となる部位に応じて適宜決定される。なお、図示等は省略するが、例えばユーザは、挿入部１１０がオーバーチューブ内に挿入された状態で、挿入部１１０とオーバーチューブを一緒に所定の部位まで挿入することで、ステップＳ１を実現してもよい。このようにすることで、オーバーチューブ内に、挿入部１１０以外に他の処置具４００を挿入させることができる。
【0046】
その後ユーザは、気腹を行う（ステップＳ２）。具体的には例えばユーザは、超音波内視鏡１００を不図示の気腹装置と接続し、所定の気体を所定の部位内に供給する。所定の気体は例えば空気であるが、例えば炭酸ガスであってもよい。ここでの空気は大気と同等の成分割合からなる気体である。炭酸ガスは空気に比べて生体内に早く吸収されるため、被検者に対する手技後の負担を軽減できる。なお、所定の気体は、例えば先端部１３０の不図示の送気ノズルから供給されるが、例えば上記したオーバーチューブ内に挿入した送気用チューブから供給してもよい。これにより、詳細は後述するが、供給された所定の気体により、萎縮している胃壁等が伸展すること等により、超音波内視鏡１００を用いた検査に適した状態となる。なお超音波内視鏡１００を用いた検査に適した状態についての詳細は後述する。
【0047】
その後ユーザは、プローブ１５０を走査させる（ステップＳ３）。例えばユーザはプローブ１５０を胃壁等に当接させ、所望の観察対象部位に向かって超音波を送信する。プローブ１５０は当該超音波の反射波を受信し、内視鏡システム１はその受信信号に基づいて超音波画像を生成する。ユーザはこの状態を維持しながらプローブ１５０を所定の範囲で動かし、当該観察対象部位において病変の有無を確認する。
【0048】
その後ユーザは、病変が認識できたか否かを判断する（ステップＳ４）。具体的には、ステップＳ３で得られた超音波画像の輝度情報等から、観察対象部位に病変が存在するかを判断する。ユーザが病変を認識できなかった場合（ステップＳ４でＮＯ）、フローを終了する。一方、ユーザは、病変を認識できた場合（ステップＳ４でＹＥＳ）、生検（ステップＳ５）を行う。なお、以降の説明では、吸引により採取する吸引生検（fine-needle aspiration biopsy）に生検針４１０が用いられる場合について例示するが、生検針４１０を他の生検に用いることを妨げるものではない。
【0049】
生検（ステップＳ５）において、ユーザは、生検針４１０の種類に応じた吸引生検を行う。なお、以降の説明は全ての生検針４１０に対して適用されるものではなく、あくまで一例である。例えばユーザは、図示は省略するが、超音波画像を観察しながら、ニードルとスタイレットを一体化した針部４１２が病変に係る細胞組織に十分刺さるまで、針部４１２を先端側へ移動させる。そして針部４１２が当該細胞組織に刺さっている状態でスタイレットだけを基端側へ引く動作を行うことで、所定のスペースを形成するとともに、陰圧した状態を作る。これにより、当該細胞組織は所定のスペースに吸い込まれる。その後ユーザは、生検針４１０全体を基端側へ引き抜くことで、所望の量の細胞組織を採取することができる。
【0050】
本実施形態の内視鏡システム１は、生検（ステップＳ５）において、病変部の領域マーカー情報が設定された画像を取得することができる。例えばユーザはＣ１０に示す超音波画像を観察し、Ｃ１１に示す生検針４１０に対応する画像付近に可動範囲内と予想される範囲内に病変部を発見する。そしてユーザは、タッチパネルのドローイング機能等を用いて、当該病変部を示す領域に対応するように、Ｃ１２に示すランドマークを画面上に描く。つまり内視鏡システム１は、タッチパネルのセンサ等を介して当該ランドマークに対応した領域に含まれる各座標情報を領域マーカー情報として取得する。
【0051】
また、本実施形態の内視鏡システム１は、病変部の領域マーカー情報に基づいて、生検針４１０の角度を算出する。例えば以下の手法を用いることで、生検針４１０の角度の算出が実現できるが、他の手法で実現してもよい。先ず内視鏡システム１は、当該ランドマーク上で、生検針４１０を刺すための特定位置を算出する。特定位置は、例えばランドマークの重心であるが、中心、縁端等であってもよいし、ユーザがタッチパネル等によって指示した位置であってもよい。Ｃ２０に示す超音波画像において、内視鏡システム１は、Ｃ２１に示す目印に係る位置を特定位置として算出したものとする。
【0052】
そして内視鏡システム１は病変部に生検針４１０を刺すための生検針４１０の角度を算出する。例えば前述のように、可動範囲画像は設計上決まった領域であるから、生検針４１０の角度を決めると、超音波画像上に表示される生検針４１０の画像に含まれる座標の集合は一義的に決まる。そこで、例えば内視鏡システム１は、生検針４１０の角度と、生検針４１０の画像の座標を関連付けた第３テーブルを参照し、特定位置の座標に対応する生検針４１０の角度を探索する処理を行う。これにより、例えば内視鏡システム１は、Ｃ２３に示すように、特定位置を通過する第２直線と、当該第２直線に基づいてＲ２２に示す生検針４１０の角度を算出する。
【0053】
以上のことから、本実施形態の内視鏡システム１は、プロセッサ１０を含む。プロセッサ１０は、生検針４１０を有する超音波内視鏡１００の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、生検針４１０の可動範囲と領域マーカー情報に基づいて、病変部に生検針４１０を刺すための生検針４１０の角度を算出する。
【0054】
生検（ステップＳ５）等においては病変部の所望の位置に生検針４１０を確実に刺すことが望まれる。しかし実際に超音波画像を見ながら生検針４１０を所望の位置に刺すには、病変部が生検針４１０の可動範囲内であることを考慮しながら生検針４１０の角度を調整する等の配慮を要することから、習熟性が求められる。
【0055】
その点、本実施形態の内視鏡システム１は、病変部の領域マーカー情報が設定された画像を取得することから、超音波画像上で病変部を視覚的に把握することができる。また、生検針４１０の可動範囲と領域マーカー情報に基づいて生検針４１０の角度を算出することから、生検針４１０を刺したい位置が生検針４１０の可動範囲内であることを確認できていることを前提に、生検針４１０を所望の位置に向けることができる。これにより、ユーザは、超音波画像を見ながら生検針４１０を刺す作業を容易に行うことができる。上記した米国特許出願公開第２０１９／０２４７１２７号明細書には、病変部等をマーキングする手法は開示されているが、生検針４１０の可動範囲を考慮し、生検針４１０をどの角度に調整するかを支援することを開示しているものではない。
【0056】
また、本実施形態の手法は算出方法によって実現してもよい。つまり、本実施形態の算出方法は、生検針４１０を有する超音波内視鏡１００の超音波画像に対して病変部の領域マーカー情報が設定された画像を取得し、生検針４１０の可動範囲と領域マーカー情報とに基づいて、病変部に生検針４１０を刺すための生検針４１０の角度を算出する。このようにすることで、上記と同様の効果を得ることができる。
【0057】
なお、内視鏡システム１は、Ｃ２１に示す目印、Ｃ２３に示す第２直線を画像として表示し、ユーザに対する操作支援情報として表示してもよい。また、Ｃ２２に示す第１直線を画像として表示し、第１直線の画像を第２直線の画像に合わせるように指示する表示を操作支援情報として表示してもよい。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、算出された生検針４１０の角度に基づいてユーザに対して超音波内視鏡１００の操作支援情報の提示処理を行う。このようにすることで、ユーザは、超音波画像のみを観察する場合と比較して、生検針４１０の角度の調整を容易に行うことができる。これにより、ユーザは、病変部の所望の位置に生検針４１０を容易に向けることができる。なお、本実施形態の操作支援情報はこれに限らず、詳細は図３１等で後述する。
【0058】
なお上記は生検針４１０の角度のみを算出する手法についての説明であるが、本実施形態の手法はこれに限らず、例えば生検針４１０の深さをさらに算出できるようにしてもよい。生検針４１０の深さとは、例えばシース部４１１の先端から針部４１２が突出できる長さである。前述のように、シース部４１１の先端が固定される位置、針部４１２の最大ストローク量は予め分かること等から、生検針４１０の角度の場合と同様に、針部４１２の最大ストローク量に基づき超音波画像上で表示される針部４１２の最大の長さを併せて求めることができる。これにより、Ｃ３０に示す超音波画像において、Ｃ３１に示すように可動範囲画像が、円弧状の図形の一部として表示される。なお当該円弧の中心は超音波画像上には表示されない。当該円弧の中心は先端開口部１３４の位置に対応し、当該位置に超音波が及ばないからである。
【0059】
例えば図示は省略するが、ユーザは超音波画像を観察し、図９のＣ３１の可動範囲画像の内側に病変部が存在していることを確認した後に図８で前述した手法を適用し、前述の特定位置を求める。そして内視鏡システム１は、前述の第３テーブルから第１直線に対応する生検針４１０の角度を選択する処理と、特定位置の座標から第１直線の長さを求める処理と、当該第１直線の長さに基づいて、病変部に生検針４１０を刺すために必要な針部４１２のストローク長を求める処理を行う。以上のことから、本実施形態の内視鏡システム１において、プロセッサ１０は、生検針４１０の可動範囲と領域マーカー情報とに基づいて、病変部に生検針４１０を刺すための生検針４１０の角度と深さを算出する。このようにすることで、生検針４１０を所望の位置に向け、かつ生検針４１０を刺す為に必要な深さを把握することができる。これにより、ユーザは、超音波画像を見ながら前述のシリンダー等を操作し、生検針４１０を適切な深さで刺す作業を容易に行うことができる。
【0060】
なお、上記はユーザの入力作業によって内視鏡システム１が領域マーカー情報を取得する例についての説明であるが、本実施形態の手法はこれに限定されない。例えば、図２で前述した学習済みモデル２２を用いて領域マーカー情報を取得できるようにしてもよい。具体的には例えば、本実施形態の内視鏡システム１を、図１０に示す構成例のようにすることで、学習済みモデル２２を用いた領域マーカー情報の検出を実現できる。図１０において、学習済みモデル２２は、学習済みモデル２２を記憶するメモリ１２と、入力部１４と、処理部２０を含むプロセッサ１０と、出力部１６を含む内視鏡システム１に用いられる。
【0061】
また、図１０において、処理部２０は推論部３０を含む。具体的には例えば、処理部２０は、メモリ１２から学習済みモデル２２を読み出し、学習済みモデル２２に係るプログラムを実行することによって、推論部３０として機能する。
【0062】
入力部１４は、外部から入力データを受信するインターフェースである。具体的には、超音波画像を処理対象画像として受信する画像データインターフェースである。例えば入力部１４は、受信した超音波画像を、学習済みモデル２２への入力データとし、推論部３０が図１８で後述する推論処理（ステップＳ７０）等を行うことで、入力部１４としての機能が果たされる。
【0063】
出力部１６は推論部３０が推定したデータを外部に送信するインターフェースである。例えば学習済みモデル２２からの出力データを、図１０のＣ４０に示す超音波画像を出力することで、出力部１６としての機能を果たす。Ｃ４０に示す超音波画像において、Ｃ４１に示す領域マーカー情報が重畳して表示されている。つまり図８で前述した場合と異なり、ユーザが入力作業を行うことなく、Ｃ４１に示す領域マーカー情報が自動的に表示される。出力データの出力先は、例えば内視鏡システム１に接続された所定の表示装置であり、例えば出力部１６を当該所定の表示装置と接続可能なインターフェースとすることで、当該所定の表示装置に超音波画像と領域マーカー情報を重畳した画像が表示され、出力部１６としての機能が果たされる。なお、図２１等で後述するように、内視鏡システム１が電動化されている場合は、表示装置９００が所定の表示装置に対応する。
【0064】
領域マーカー情報の取得方法としては、例えばセマンティックセグメンテーションにより超音波画像を複数の領域にセグメンテーションし、セグメンテーション結果に基づき病変と読み取れる領域を領域マーカー情報とする手法などを用いることができる。また、例えば物体検知により超音波画像から読み取れる病変等を検知したバウンディングボックスを領域マーカー情報としてもよい。
【0065】
本実施形態の学習済みモデル２２において、モデルの少なくとも一部にニューラルネットワークＮＮが含まれている。ニューラルネットワークＮＮは、図１１に図示するように、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。図１１においては、中間層が２層であるネットワークを例示するが、中間層は１層であってもよいし、３層以上であってもよい。また各層に含まれるノードの数は図１１の例に限定されない。図１１に示すように、所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み付け係数が設定されている。各ノードは、前段のノードの出力と重み付け係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークＮＮの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。
【0066】
ニューラルネットワークＮＮには種々の構成のモデルが知られており、本実施形態ではそれらを広く適用可能である。例えばニューラルネットワークＮＮは、画像認識分野で用いられるＣＮＮ（Convolutional Neural Network）であってもよいし、ＲＮＮ（Recurrent Neural Network）等の他のモデルであってもよい。ＣＮＮは、例えば図１２に示すように、中間層は、畳み込み層とプーリング層とを１セットとする複数セットと、全結合層を含む。畳み込み層は、前の層で近くにあるノードに対してフィルタを使用した畳み込み演算を行い、入力データである超音波画像からのエッジ抽出等の特徴抽出を行い、特徴マップを取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとするとともに、抽出された特徴にロバスト性を与える。全結合層は、直前の層のノードの全てを結合する。このようなモデルからなる学習済みモデル２２を用いることで、最終的にＣ５０に示すような超音波画像が出力される。Ｃ５０に示す超音波画像において、セグメンテーションによりＣ５１に示す領域と、Ｃ５２に示す領域とＣ５３に示す領域が検出され、これらは領域マーカー情報として超音波画像に重畳して表示される。
【0067】
なお、図１２のＣ５０に示す超音波画像において、Ｃ５１に示す領域と、Ｃ５２に示す領域と、Ｃ５３に示す領域に対し、それぞれ異なる色によるセグメンテーションを行ったように表示しているが、出力される画像の例はこれに限られない。例えば図１２のＣ５０に示す超音波画像に代えて、図１３のＣ６０に示す超音波画像が出力されてもよい。Ｃ６０に示す超音波画像において、Ｃ６１に示す領域と、Ｃ６２に示す領域と、Ｃ６３に示す領域が、それぞれセグメンテーションされるとともに、名称が付されている。これらの名称は、例えば図１５で後述する出力データに関連付けられたクラスの名称である。
【0068】
また、例えば図１４のＣ７０に示す超音波画像が出力されてもよい。Ｃ７０に示す超音波画像において、セグメンテーションした領域が等高線状に表示されている。このようにすることで、検出された領域の特徴を段階的に示すことができる。例えばＣ７１に示す領域は、腫瘍であることが極めて高い領域であり、Ｃ７２に示す領域は、腫瘍の可能性が中程度であることを示す領域であり、Ｃ７３に示す領域は、腫瘍であることが疑われる領域である。
【0069】
また、本実施形態のニューラルネットワークＮＮは、ＣＮＮをさらに発展させたモデルであってもよい。例えばセグメンテーション用のモデルとしてはＳｅｇＮｅｔ（Segmentation Network）、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）等が挙げられる。また、物体検出用のモデルとしてはＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）等が挙げられる。これらの詳細な図示は省略するが、ニューラルネットワークＮＮの中間層はこれらのモデルに応じた変形実施が行われる。例えば中間層において畳み込み層が連続してもよいし、中間層は他の層をさらに含んでもよい。他の層とは、逆プーリング層、転置畳み込み層等である。これらのモデルを採用することで、セグメンテーションの精度を向上させることができる。
【0070】
学習済みモデル２２の機械学習は例えば学習装置３によって行われる。図１５は、学習装置３の構成例を示すブロック図である。学習装置３は、例えばプロセッサ７０とメモリ７２と通信部７４を含み、プロセッサ７０は機械学習部８０を含む。
【0071】
通信部７４は内視鏡システム１と所定の通信方式で通信可能な通信インターフェースである。所定の通信方式は例えばＷｉ－Ｆｉ（登録商標）等の無線通信規格に準拠した通信方式であるが、これに限らずＵＳＢ等の有線通信規格に準拠した通信方式であってもよい。これにより、学習装置３は、機械学習した学習済みモデル２２を内視鏡システム１に送信し、内視鏡システム１は学習済みモデル２２を更新することができる。なお、図１５は、学習装置３と内視鏡システム１を別々にした例であるが、内視鏡システム１が学習装置３に相当する学習サーバを含む構成例にすることを妨げるものではない。
【0072】
プロセッサ７０は、メモリ７２、通信部７４等の各機能部との間でデータの入出力制御を行う。プロセッサ７０は、図１で前述したプロセッサ１０と同様のハードウェア等で実現できる。プロセッサ７０は、メモリ７２から読みだした所定のプログラム、図１５に不図示の操作部からの操作入力信号等に基づいて、各種の演算処理を実行し、内視鏡システム１へのデータ出力動作等を制御する。ここでの所定のプログラムは、不図示の機械学習プログラムを含む。つまり、プロセッサ７０は、メモリ７２から機械学習プログラムと必要なデータ等を適宜読み出して実行することで、機械学習部８０として機能する。
【0073】
メモリ７２には、不図示の機械学習プログラムのほか、訓練モデル８２、訓練データ８４が記憶されている。メモリ７２は、前述のメモリ１２と同様の半導体メモリ等により実現できる。訓練データ８４は、例えば超音波画像であるが、他のデータを含んでもよく、詳細は都度後述する。メモリ７２には、入力データとなり得る被写体の種類の数だけ、訓練データ８４としての超音波画像が記憶されている。
【0074】
学習装置３は、訓練データ８４のうちの入力データを訓練モデル８２に入力し、そのときの重み付け係数を用いてモデル構成に従った順方向演算を行うことによって出力を求める。当該出力と、正解ラベルとに基づいて誤差関数が算出され、当該誤差関数を小さくするように、重み付け係数の更新が行われる。
【0075】
訓練モデル８２の出力層は、例えばＮ個のノードを有する。Ｎは、領域マーカー情報となりえる領域の種類の数である。第１ノードは、入力となったデータが、第１クラスに属する確率を表す情報である。同様に、第Ｎノードは、入力となったデータが、第Ｎクラスに属する確率を表す情報である。第１クラス～第Ｎクラスは、少なくとも重要組織、病変部に基づくクラスを含む。ここでの重要組織は例えば肝臓、腎臓、膵臓、脾臓、胆嚢等の臓器または血管等、生検針４１０が触れることを避けるべき組織であって、外観上正常な状態と思われる部分をいう。また、ここでの病変部とは、外観上正常な状態とは異なる状態と思われる部分をいい、必ずしも病気が原因のものに限定されない。つまり病変部は例えば腫瘍であるが、これに限らずポリープ、炎症、憩室等であってもよい。また、病変部は腫瘍性であるか否かは問わず、腫瘍性の病変部である場合、良性であるか悪性であるかは問わない。これらを考慮して、重要組織と病変部のカテゴリが適宜決定される。
【0076】
このように構成された訓練モデル８２により、例えばセマンティックセグメンテーションの場合、超音波画像のある１ドットが入力データとして入力されると、第１クラスとしての肝臓が出力データとして出力される。そして、別の１ドットが入力データとして入力されると、第Ｎクラスとしての悪性腫瘍が出力データとして出力される等の処理が、超音波画像を構成するドットの数だけ行われる。その結果、肝臓、悪性腫瘍等がセグメンテーションされた超音波画像が最終的に出力される。これにより、領域マーカー情報の検出が実現される。なお、全てのクラスにおいてセグメンテーションを行わなくてもよい。生検針４１０が触れて問題無い組織についてセグメンテーションを行う必要は無いからである。
【0077】
このように、本実施形態の内視鏡システム１は、超音波内視鏡１００により撮像される超音波画像に対して、超音波画像における検出対象の領域マーカー情報を出力するように学習された学習済みモデル２２を記憶するメモリ１２を含み、プロセッサ１０は、超音波画像と学習済みモデル２２に基づいて、領域マーカー情報を検出する。このようにすることで、超音波内視鏡１００より撮像された超音波画像に対して、自動的に領域マーカー情報を重畳した表示を行うことができる。
【0078】
また、本実施形態の内視鏡システム１は、領域マーカー情報の精度を保証する適正圧力が生体に対して加えられているときの超音波画像と、上記のように学習された学習済みモデル２２に基づいて、領域マーカー情報を検出してもよい。例えばユーザは、前述のプローブ走査（ステップＳ３）を実際に行う前に、以下に述べる手法で適正圧力が生体に加えられているときの超音波画像であることを確認する。
【0079】
例えば、図７で前述したように、胃壁等はもともと萎縮していること、胃壁にひだ等が存在していることから、図７のプローブ走査（ステップＳ３）において、図１６のＤ１に示すように、超音波内視鏡１００のプローブ１５０を胃壁に対して十分に押し付けていない状況が生じ得る。このような状況においては、プローブ１５０と胃壁との間に空隙ができ、当該空隙が、プローブ１５０から送信された超音波を反射することになる。このため、プローブ１５０は本来得られる筈の反射波と異なる反射波を受信する可能性が有る。これにより内視鏡システム１は、本来得られる筈の超音波画像と異なる超音波画像を取得する可能性が有る。このような超音波画像を学習済みモデル２２に入力した場合、本来得られる筈の超音波画像を学習済みモデル２２に入力した場合と比べて、検出される領域マーカー情報が異なる可能性がある。このように、プローブ１５０を胃壁に対して十分に押し付けていないと、領域マーカー情報の精度は保証されない。領域マーカー情報の精度とは、領域マーカー情報の真の検出対象領域と、実際に領域マーカー情報として検出された領域との間のばらつきの尺度の大きさをいう。ここでの尺度は、例えば分散等である。具体的には例えば、病変部の領域マーカー情報の精度が保証されないとは、真の病変部の領域と、実際に病変部の領域マーカー情報として検出された領域とのばらつきに関する分散値が、一定の基準を満たしていないことをいう。
【0080】
そこで、本実施形態の内視鏡システム１は、後述する手法によって押し付け圧力が適正であるか否かを判断している。適正な押し付け圧力でプローブ１５０が胃壁等を押し付けているときは、図１６のＤ２に示すように、プローブ１５０と胃壁等の間に空隙ができないことから、内視鏡システム１は適切な超音波画像を取得することができる。これにより、領域マーカー情報の精度を保証することができる。
【0081】
なお、プローブ１５０の押し付け圧力が適正であるか否かを判断するには、例えばハウジング１５１の所定の位置に不図示の第１圧力センサを配設し、当該第１圧力センサの測定値から判断する手法が挙げられる。当該第１圧力センサは例えばＭＥＭＳ（Micro Electro Mechanical Systems）センサ等により実現できる。また、超音波振動子アレイ１５５を構成する複数の超音波振動子１５６のうちの一部を、第１圧力センサとして用いてもよい。超音波振動子１５６を構成する圧電素子は、第１圧力センサとしても利用可能だからである。
【0082】
また、本実施形態の内視鏡システム１は、図７で前述した気腹（ステップＳ２）において、管腔内圧力が適正であるか否かを判断してもよい。管腔内圧力が適正であるか否かは、例えば先端部１３０の所定の位置にＭＥＭＳセンサ等から第２圧力センサを配設し、当該第２圧力センサの測定値から判断する手法が挙げられる。
【0083】
また、内視鏡システム１は、先端部１３０の撮像センサで撮像された生体画像をさらに用いて適正圧力であるか否かを判断してもよい。例えば胃は、前述の所定の気体の供給に伴い、萎縮していた胃が膨らむ第１状態と、胃が膨らみかつ胃壁を伸展するように張力が加わる第２状態と、胃が膨らみかつ胃壁がこれ以上伸展できなくなる第３状態を経る。この第３状態がプローブ１５０を当接するのに適した状態と考えられる。そこで、例えば所定の気体を供給しながら管腔内を撮像センサで撮像し、撮像した生体画像と第２圧力センサの測定値を対応づけ、生体画像から第３状態であることを確認できた時点の第２圧力センサの測定値を適正圧力として判断する。
【0084】
また、例えば生体画像を観察することで適正圧力であるか否かを判断してもよい。例えば気腹（ステップＳ２）において、所定の気体を供給しながら撮像される生体画像を比較することで、前述の第１状態、第２状態及び第３状態における生体画像を予め取得する。そして、プローブ走査（ステップＳ３）において、ユーザは撮像される生体画像が第３状態における生体画像であることを確認しながらプローブ１５０を操作する。なお、このように取得した生体画像は、前述したプローブ１５０の押し付け圧力が適正であるか否かを判断するために使用してもよい。
【0085】
このように、本実施形態の内視鏡システム１は、超音波内視鏡１００により撮像される超音波画像に対して、超音波画像における検出対象の領域マーカー情報を出力するように学習された学習済みモデル２２を記憶するメモリ１２と、プロセッサ１０と、を含む。プロセッサ１０は、領域マーカー情報の精度を保証する適正圧力が生体に対して加えられているときの超音波画像と学習済みモデル２２に基づいて検出された領域マーカー情報を、超音波画像に重畳して出力する。
【0086】
超音波画像はエコー信号に基づく画像であるから、プローブ１５０が胃壁に密着していないと、プローブ１５０が正確なエコーを受信できず、例えば本来病変部等が存在する箇所に病変部等に対応する輝度で表示されていない超音波画像が描出される可能性が有る。このため、上記した米国特許出願公開第２０１９／０２４７１２７号明細書に開示された手法を適用しても、重要組織、病変部等が精度良くマーキングされない可能性が有る。
【0087】
その点、本実施形態の手法を適用することで、適正圧力が加えられているときの超音波画像と学習済みモデル２２を用いて領域マーカー情報を検出していることから、領域マーカー情報を精度よく検出することができる。これにより、より適切に病変部等の領域マーカー情報が重畳した超音波画像を取得することができる。上記した米国特許出願公開第２０１９／０２４７１２７号明細書には、生体に適正圧力が加えられていることにより領域マーカー情報の検出精度が保証されていることについては開示されていない。
【0088】
また、本実施形態の手法は、情報出力方法として実現してもよい。つまり、本実施形態の情報出力方法は、超音波内視鏡１００により撮像される超音波画像に対して、超音波画像における検出対象の領域マーカー情報を出力するように学習された学習済みモデル２２に基づく。学習済みモデル２２は、領域マーカー情報の精度を保証する適正圧力が生体に対して加えられているときの超音波画像と学習済みモデル２２に基づいて検出された領域マーカー情報を、超音波画像に重畳して出力する。このようにすることで、上記と同様の効果を得ることができる。
【0089】
また、適正圧力は、超音波内視鏡１００のプローブ１５０の押し付け圧力に基づいて設定される圧力であってもよい。このようにすることで、内視鏡システム１は、プローブ１５０の押し付け圧力に基づいて適正圧力が生体に加えられているときの超音波画像を取得できる。
【0090】
また、適正圧力は、圧力センサとしての第２圧力センサにより検出される管腔内圧力に基づいて設定される圧力であってもよい。このようにすることで、内視鏡システム１は、管腔内圧力に基づいて適正圧力が生体に加えられているときの超音波画像を取得できる。
【0091】
また、プロセッサ１０は、超音波内視鏡１００の撮像センサにより撮像された生体画像に基づく推定処理によって、適正圧力であるか否かを推定してもよい。このようにすることで、内視鏡システム１は、生体画像に基づいて、適正圧力が生体に加えられているときの超音波画像が取得できているか否かを判断できる。
【0092】
また、領域マーカー情報は、病変部の領域に対応するマーカー情報と、重要組織の領域に対応するマーカー情報を含んでもよい。このようにすることで、内視鏡システム１は、入力データである超音波画像に対して、病変部の領域と重要組織の領域に対応する領域マーカー情報を検出して表示することができる。これにより、ユーザは超音波画像を見ながら生検針４１０の操作について適切に判断することができる。
【0093】
また、本実施形態の内視鏡システム１は、適正圧力であるかをリアルタイムに判定しながら、超音波画像を取得してもよい。また、適正圧力でないことをユーザ等にフィードバックできるようにしてもよい。この場合、例えば内視鏡システム１を図１７に示す構成例とし、例えば図１８のフローチャートに示す処理例を生検（ステップＳ５）と併せて実行することで実現できる。図１７の構成例は、図１０の構成例と比較して、制御部１８をさらに含む点、処理部２０が圧力判定部３２をさらに含む点で異なる。
【0094】
制御部１８は、後述する圧力判定部３２の判定結果に対応する制御を、超音波内視鏡１００に対して行う。制御部１８は、プロセッサ１０と同様のハードウェアで実現できる。例えば内視鏡システム１が電動化されている場合は、図２１等で後述する駆動制御装置２００に対応する。また、例えば内視鏡システム１が電動化されていない場合は、制御部１８は、プロセッサ１０からの指示に基づき、所定の表示装置に適正圧力であるか否かを示す表示を行う表示制御部として機能してもよく、詳細は図２０で後述する。なお、図１７では制御部１８はプロセッサ１０と別々に示しているが、プロセッサ１０と同一のハードウェアで実現してもよい。
【0095】
図１８のフローチャートについて説明する。内視鏡システム１は、判定処理（ステップＳ５０）を行う。判定処理（ステップＳ５０）は、具体的には例えば図１９のフローチャートに示すように、生体に対して適正圧力が加えられているか否かを判定（ステップＳ５２）している。つまり、内視鏡システム１は、前述の圧力判定部３２を機能させることで、ステップＳ５２を実行している。以上のことから、本実施形態の内視鏡システム１において、プロセッサ１０は、生体に対して領域マーカー情報の精度を保証する適正圧力が加えられているか否かの判定処理を行う（ステップＳ５０）。
【0096】
そして内視鏡システム１は、判定処理（ステップＳ５０）の判定結果がＯＫの場合（ステップＳ６０でＹＥＳ）、推論処理（ステップＳ７０）を行う。推論処理（ステップＳ７０）は、例えば図１０等で前述したように、推論部３０が、入力データである超音波画像と学習済みモデル２２に基づいて、検出した領域マーカー情報を超音波画像に重畳した画像を出力する処理である。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、判定処理（ステップＳ５０）により適正圧力が生体に対して加えられていると判定されたとき（ステップＳ６０でＹＥＳのとき）の超音波画像と学習済みモデルに基づいて検出された領域マーカー情報を、超音波画像に重畳して出力する（ステップＳ７０）。
【0097】
一方、内視鏡システム１は、判定処理（ステップＳ５０）の判定結果がＮＧの場合（ステップＳ６０でＮＯ）、圧力適正化処理（ステップＳ８０）を行う。例えば、超音波内視鏡１００によって図７のフローに係る手技が開始されると、図４で前述した対物レンズ１３２を通じて撮像センサによる撮像が開始される。そして例えば図２０のＥ１０に示す画面が所定の表示装置に表示されたとする。このとき内視鏡システム１は、圧力判定部３２を機能させ、Ｅ１１に示す撮像画像に基づき、適正圧力が生体に加えられているか否かを判断する。圧力判定部３２は、Ｅ１１に示す撮像画像からは胃壁がまだ十分伸展していないと判断するため、判定処理（ステップＳ５０）の結果はＮＧとなる。
【0098】
そして内視鏡システム１は圧力適正化処理（ステップＳ８０）を行う。例えば内視鏡システム１が電動化されていない場合、内視鏡システム１は制御部１８を機能させ、プロセッサ１０からの指示に基づいて、例えば図２０のＥ１２に示すように、生体により圧力を加えることを促す表示を行う。つまりこの場合における制御部１８は、所定の表示装置を制御する表示制御部として機能する。また、図示は省略するが例えば内視鏡システム１が電動化されている場合は、制御部１８は例えば不図示の気腹装置に対して気体の流量を上げるフィードバック制御等を行う。このように、本実施形態の内視鏡システム１において、プロセッサ１０は、適正圧力が加えられるように、超音波内視鏡１００の電動制御を行う。
【0099】
その後、例えば図２０のＥ２０に示す画面が所定の表示装置に表示されたとする。圧力判定部３２は、再度の判定処理（ステップＳ５０）でＥ２１に示す撮像画像からは胃壁が十分伸展していると判断する。これにより、判定処理（ステップＳ５０）の結果はＯＫとなる。この場合、内視鏡システム１は、制御部１８を前述と同様に機能させ、例えば図２０のＥ２２に示すように、生体に適正圧力が加わっていることを示す表示を行う。以上のことから、本実施形態の内視鏡システム１において、プロセッサ１０は、判定処理の結果をユーザに提示する提示処理を行う。このようにすることで、ユーザは、生体に適正圧力が加わっているか否かを判断できる。
【0100】
また、本実施形態の手法は、電動化された内視鏡システム１に対して適用してもよい。言い換えれば、前述した手法において超音波内視鏡１００の各部、生検針４１０等の操作を電動で行ってもよい。図２１に、電動化された内視鏡システム１の構成例を示す。内視鏡システム１は、手術台Ｔに横たわる被検者の体内を観察又は処置するためのシステムである。内視鏡システム１は、超音波内視鏡１００と制御装置６００と操作装置３００と進退駆動装置８００と処置具用進退駆動装置４６０と表示装置９００を含む。制御装置６００は、駆動制御装置２００と映像制御装置５００とを含む。
【0101】
超音波内視鏡１００は、前述の挿入部１１０、連結部１２５、体外軟性部１４５の他に、コネクタ２０１及び２０２を含む。挿入部１１０と、連結部１２５と、体外軟性部１４５と、コネクタ２０１及び２０２とは、その順に先端側から接続されている。
【0102】
挿入部１１０は、図１等と同様に被検者の管腔内に挿入される部分であり、軟性で細長い形状に構成されている。図２１の挿入部１１０は、湾曲部１０２と、湾曲部１０２の基端と連結部１２５を接続する体内軟性部１１９と、湾曲部１０２の先端に設けられる先端部１３０とを含む。挿入部１１０と連結部１２５と体外軟性部１４５の内部には内部経路１０１が設けられており、当該内部経路１０１を後述の湾曲ワイヤ１６０が通り湾曲部１０２に接続される。駆動制御装置２００がコネクタ２０１を介して湾曲ワイヤ１６０を駆動することで、湾曲部１０２が湾曲動作する。また図５で前述の起上台操作ワイヤ１３６が内部経路１０１を通ってコネクタ２０１に接続される。つまり、駆動制御装置２００が起上台操作ワイヤ１３６を駆動することで、起上台１３５の傾倒角度が変わる。
【0103】
また、先端部１３０に含まれる不図示の撮像装置とコネクタ２０２を接続する画像信号線が内部経路１０１を通り、当該画像信号線を介して当該撮像装置から映像制御装置５００に画像信号が伝送される。映像制御装置５００は、当該画像信号から生成した生体画像を表示装置９００に表示する。また、図５で前述した超音波ケーブル１５９が内部経路１０１を通り、当該超音波ケーブル１５９を介してプローブ１５０から映像制御装置５００にエコー信号が伝送される。映像制御装置５００は、前述の超音波観測装置として機能し、当該エコー信号に基づき生成した超音波画像を表示装置９００に表示する。なお、表示装置９００は複数有ってもよく、生体画像と超音波画像を別々の表示装置９００に表示してもよい。
【0104】
また、図５で前述したように、角度センサ、位置センサ、圧力センサ等からなる各種センサが先端部１３０に設けられる場合、当該各種センサとコネクタ２０１を接続する各種信号線が内部経路１０１に設けられ、当該各種信号線を介して各種センサから駆動制御装置２００に各種検出信号が伝送される。
【0105】
連結部１２５には、挿入口１９０と、ロール操作部１２１とが設けられる。ロール操作部１２１は、挿入部１１０の軸線方向を中心に回転可能に連結部１２５に取り付けられており、ロール操作部１２１が回転操作されることで、挿入部１１０がロール回転する。また、後述するように、ロール操作部１２１は電動駆動可能である。
【0106】
進退駆動装置８００は、詳細は図２４で後述するが、挿入部１１０を電動駆動により進退させる駆動装置である。体外軟性部１４５が進退駆動装置８００に着脱可能になっており、体外軟性部１４５が進退駆動装置８００に装着された状態で進退駆動装置８００が体外軟性部１４５を軸線方向にスライドさせることで、挿入部１１０が進退する。なお、後述する図２４では体外軟性部１４５と進退駆動装置８００が着脱可能な例を示すが、これに限定されず、連結部１２５と進退駆動装置８００が着脱可能に構成されてもよい。
【0107】
処置具用進退駆動装置４６０は、生検針４１０等の処置具４００を電動駆動により進退させる駆動装置であり、例えば前述の進退駆動装置８００と同様に構成される。つまり、例えば生検針４１０のシース部４１１が処置具用進退駆動装置４６０に対して着脱可能になっており、当該シース部４１１が処置具用進退駆動装置４６０に装着された状態で処置具用進退駆動装置４６０がシース部４１１を軸線方向にスライドさせることで、シース部４１１が前進後退する。
【0108】
操作装置３００は、操作ケーブル３０１を経由して駆動制御装置２００と着脱可能に接続される。操作装置３００は、有線通信ではなく無線通信により駆動制御装置２００と通信してもよい。ユーザは操作装置３００を操作すると、その操作入力の信号が操作ケーブル３０１を介して駆動制御装置２００に伝送され、駆動制御装置２００が操作入力の信号に基づいて操作入力に応じた動作が行われるように超音波内視鏡１００を電動駆動する。操作装置３００は、超音波内視鏡１００の進退、２方向の湾曲動作及びロール回転と、起上台１３５の動作等に対応した操作入力部を有する。なお、これらのうち電動化されない動作がある場合には、その操作入力部が省略されてもよい。
【0109】
駆動制御装置２００は、操作装置３００に入力された操作に基づき、内蔵するモータ等のアクチュエータを駆動して超音波内視鏡１００を電動駆動する。或いは、アクチュエータが駆動制御装置２００の外部にある場合には、駆動制御装置２００は、操作装置３００に入力された操作に基づき、外部のアクチュエータに制御信号を送信して電動駆動を制御する。また、駆動制御装置２００は、操作装置３００に入力された操作に基づき、内蔵するポンプ等を駆動して超音波内視鏡１００に送気吸引を実施させてもよい。送気吸引は、内部経路１０１を通る送気吸引チューブを介して行われる。送気吸引チューブの一端は超音波内視鏡１００の先端部１３０に開口し、他端はコネクタ２０１を介して駆動制御装置２００に接続される。
【0110】
図２２に、駆動制御装置２００の詳細構成例を示す。駆動制御装置２００は、アダプタ２１０と操作受信部２２０と送気吸引駆動部２３０と通信部２４０とワイヤ駆動部２５０と駆動コントローラ２６０と画像取得部２７０と記憶部２８０とセンサ検出部２９０を含む。
【0111】
アダプタ２１０は、操作ケーブル３０１が着脱可能に接続される操作装置用アダプタ２１１と、超音波内視鏡１００のコネクタ２０１が着脱可能に接続される内視鏡用アダプタ２１２を有する。
【0112】
ワイヤ駆動部２５０は、駆動コントローラ２６０からの制御信号に基づいて、超音波内視鏡１００の湾曲部１０２の湾曲動作、又は起上台１３５の動作を駆動する。ワイヤ駆動部２５０は、超音波内視鏡１００の湾曲部１０２を駆動する湾曲動作用モータユニットと、起上台１３５を駆動する起上台用モータユニットとを含む。内視鏡用アダプタ２１２は、超音波内視鏡１００側の湾曲ワイヤにカップリングするための湾曲動作用カップリング機構を有し、湾曲動作用モータユニットがカップリング機構を駆動することで、その駆動力が超音波内視鏡１００側の湾曲ワイヤに伝達される。また、内視鏡用アダプタ２１２は、超音波内視鏡１００側の起上台操作ワイヤ１３６にカップリングするための起上台用カップリング機構を有し、起上台用モータユニットがカップリング機構を駆動することで、その駆動力が超音波内視鏡１００側の起上台操作ワイヤ１３６に伝達される。
【0113】
送気吸引駆動部２３０は、駆動コントローラ２６０からの制御信号に基づいて、超音波内視鏡１００の送気吸引を駆動する。送気吸引駆動部２３０は、内視鏡用アダプタ２１２を介して超音波内視鏡１００の送気吸引チューブに接続される。送気吸引駆動部２３０は、気腹装置等を含み、送気吸引チューブに空気を送気したり、送気吸引チューブから空気を吸引したりする。
【0114】
通信部２４０は、駆動制御装置２００の外部に設けられる駆動装置との通信を行う。通信は無線通信又は有線通信のいずれでもよい。外部に設けられる駆動装置は、進退を行う進退駆動装置８００、図２５で後述する、ロール回転を行うロール駆動装置８５０等である。
【0115】
駆動コントローラ２６０は、超音波内視鏡１００の進退、湾曲動作及びロール回転と、起上台１３５による生検針４１０の傾倒角度と、超音波内視鏡１００による送気吸引とを制御する。駆動コントローラ２６０は、図１等のプロセッサ１０に対応するハードウェアである。
【0116】
また、駆動コントローラ２６０は、操作受信部２２０からの操作入力の信号に基づいて電動駆動を制御する。具体的には、湾曲部１０２の湾曲操作が行われたとき、駆動コントローラ２６０は、湾曲方向又は湾曲角度を示す制御信号をワイヤ駆動部２５０に出力し、ワイヤ駆動部２５０は、その湾曲方向又は湾曲角度で湾曲部１０２が湾曲するように湾曲ワイヤ１６０を駆動する。また、進退操作が行われたとき、駆動コントローラ２６０は、進退方向又は進退移動量を示す制御信号を、通信部２４０を介して進退駆動装置８００に送信し、進退駆動装置８００は、その進退方向又は進退移動量で超音波内視鏡１００が進退するように体外軟性部１４５を進退させる。また、ロール回転操作が行われたとき、駆動コントローラ２６０は、ロール回転方向又はロール回転角度を示す制御信号を、通信部２４０を介して後述のロール駆動装置８５０に送信し、当該ロール駆動装置８５０は、そのロール回転方向又はロール回転角度で挿入部１１０をロール回転させる。他の電動駆動についても同様な制御が行われる。
【0117】
センサ検出部２９０は、例えば前述した角度センサ、位置センサ、圧力センサ等の各種センサからの出力信号から前述の適正圧力か否かを判断するための信号を検出する。センサ検出部２９０は、例えば、各種センサ等の出力信号を増幅するアンプ回路と、アンプ回路の出力信号をＡ／Ｄ変換して検出データを駆動コントローラ２６０へ出力するＡ／Ｄ変換器とを含む。駆動コントローラ２６０は、検出データに基づいて、例えば図５で前述した起上台１３５の傾倒角度の制御を行う。
【0118】
また、駆動コントローラ２６０は、画像取得部２７０から取得した超音波画像と操作受信部２２０からの操作入力の信号に基づいて、前述した生検針４１０の制御を行う。また、前述の機械学習を用いる場合には、前述の学習済みモデル２２は記憶部２８０に記憶される。つまり、図２２の記憶部２８０は図２等のメモリ１２に対応する。
【0119】
図２３に、湾曲部１０２とその駆動機構を含む超音波内視鏡１００を模式的に示す。超音波内視鏡１００は、前述の湾曲部１０２と軟性部１０４とコネクタ２０１を含む。なお、軟性部１０４は前述の体内軟性部１１９と体外軟性部１４５に対応し、図２３では連結部１２５の図示を省略している。
【0120】
湾曲部１０２と軟性部１０４はアウターシース１１１に覆われる。このアウターシース１１１のチューブ内が図２１の内部経路１０１に相当する。湾曲部１０２は、複数の湾曲駒１１２と、湾曲駒１１２の先端に連結された先端部１３０と、を含む。複数の湾曲駒１１２と先端部１３０は、各々、回動可能な連結部１１４によって基端側から先端側に直列的に連結されており、多関節構造となっている。コネクタ２０１には、駆動制御装置２００側のカップリング機構に接続される内視鏡側のカップリング機構１６２が設けられる。このコネクタ２０１が駆動制御装置２００に装着されることで、湾曲動作の電動駆動が可能になる。またアウターシース１１１内には湾曲ワイヤ１６０が設けられる。湾曲ワイヤ１６０の一端は先端部１３０に接続され、湾曲ワイヤ１６０は複数の湾曲駒１１２を貫通して軟性部１０４を通り、カップリング機構１６２内で折り返して再び軟性部１０４を通り、複数の湾曲駒１１２を貫通し、湾曲ワイヤ１６０の他端が先端部１３０に接続される。ワイヤ駆動部２５０からの駆動力はカップリング機構１６２を介して湾曲ワイヤ１６０の牽引力として湾曲ワイヤ１６０に伝達される。
【0121】
Ｂ２の実線矢印に示すように図面上の上側ワイヤが牽引されると下側ワイヤが押され、それにより湾曲駒１１２の多関節が図面上の上方向に屈曲する。これにより、Ａ２の実線矢印に示すように、図面上の上方向に湾曲部１０２が湾曲する。Ｂ２の点線矢印に示すように図面上の下側ワイヤが牽引された場合、同様にして、Ａ２の点線矢印に示すように、図面上の下方向に湾曲部１０２が湾曲する。なお、湾曲部１０２は直交する２方向に独立に湾曲可能である。図２３には１方向分の湾曲機構を示しているが、実際には湾曲ワイヤが２組設けられ、各湾曲ワイヤが独立にカップリング機構１６２により牽引されることで、２方向に独立に湾曲可能となっている。
【0122】
なお、湾曲を電動化する機構は上記に限らない。例えば、カップリング機構１６２に変えてモータユニットを設けてもよい。具体的には、駆動制御装置２００がコネクタ２０１を介してモータユニットに制御信号を送信し、モータユニットが制御信号に基づいて湾曲ワイヤ１６０を牽引又は弛緩することで湾曲動作を駆動してもよい。
図２４に、進退駆動装置８００の構成例を示す。進退駆動装置８００は、モータユニット８１６とベース８１８とスライダ８１９とを含む。
図２４に、進退駆動装置８００の構成例を示す。進退駆動装置８００は、モータユニット８１６とベース８１８とスライダ８１９とを含む。
【0123】
上段図と中段図に示すように、超音波内視鏡１００の体外軟性部１４５には、モータユニット８１６に着脱可能なアタッチメント８０２が設けられる。中段図に示すように、アタッチメント８０２がモータユニット８１６に装着されることで、進退の電動駆動が可能になる。下段図に示すように、スライダ８１９は、ベース８１８に対して直線移動可能にモータユニット８１６を支持する。このスライダ８１９は、図２１の手術台Ｔに固定されている。Ｂ１に示すように、駆動制御装置２００がモータユニット８１６に対して無線通信により前進又は後退の制御信号を送信し、その制御信号に基づいてモータユニット８１６とアタッチメント８０２がスライダ８１９上を直線移動する。これにより、挿入部１１０の進退が実現できる。なお、駆動制御装置２００とモータユニット８１６は有線接続されてもよい。
【0124】
また、図示は省略するが、処置具用進退駆動装置４６０についても同様に、モータユニット、ベース、スライダを含むように構成してもよい。また、生検針４１０のシース部４１１に当該モータユニットに着脱可能なアタッチメントを設けてもよい。また、図示は省略するが、生検針４１０に含まれる針部４１２のニードル、スタイレットをそれぞれ電動で制御してもよい。例えば前述ニードル、スタイレットをそれぞれ電動シリンダーと接続し、そして駆動制御装置２００が当該電動シリンダーに対して所定の制御信号を送信し、当該制御信号に基づき、ニードルとスタイレットが動作する。なお、ニードル、スタイレットのいずれか一方を電動で制御してもよい。
【0125】
このように電動で制御された超音波内視鏡１００、生検針４１０に対し、例えば図８で前述した手法を組み合わせてもよい。これにより、例えば図８のＣ２０に示す超音波画像における、Ｃ２１に示した位置に対応する病変部の位置に向かって、生検針４１０の針部４１２を電動で刺すことができる。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、算出された生検針４１０の角度に基づいて生検針４１０を電動により病変部に刺す制御を行う。このようにすることで、病変部に対して生検針４１０を最適な角度に向けつつ、電動により生検針４１０を病変部に刺すシステムを構築できる。
【0126】
また、同様に、電動で制御された超音波内視鏡１００、生検針４１０に対し、例えば図９で前述した手法を組み合わせてもよい。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、算出された生検針４１０の角度と深さに基づいて生検針４１０を電動により病変部に刺す制御を行う。このようにすることで、病変部に対して生検針４１０を最適な角度に向けつつ、適切なストローク量で生検針４１０を病変部に電動で刺すシステムを構築できる。
【0127】
図２５に、ロール駆動装置８５０を含む連結部１２５の斜視図を示す。連結部１２５は、連結部本体１２４とロール駆動装置８５０とを含む。挿入口１９０は連結部本体１２４に設けられており、連結部本体１２４の内部で図２５に不図示の処置具挿通路に接続されている。連結部本体１２４は円筒状であり、その円筒と同軸の円筒部材が連結部本体１２４の内部に回転可能に設けられている。その円筒部材の外側に体内軟性部１１９の基端部が固定されており、その基端部がロール操作部１２１となっている。これにより、体内軟性部１１９と円筒部材が、体内軟性部１１９の軸線方向を中心として連結部本体１２４に対して回転可能となっている。ロール駆動装置８５０は、連結部本体１２４の内部に設けられたモータユニットである。Ｂ３に示すように、駆動制御装置２００がロール駆動装置８５０に対して無線通信によりロール回転の制御信号を送信し、その制御信号に基づいてロール駆動装置８５０が体内軟性部１１９の基端部を連結部本体１２４に対して回転させることで、体内軟性部１１９がロール回転する。なお、ロール駆動装置８５０がクラッチ機構を含み、クラッチ機構によりロール回転の非電動と電動が切り替えられてもよい。また、駆動制御装置２００とロール駆動装置８５０は、内部経路１０１を通る信号線により有線接続されてもよい。
【0128】
また、本実施形態の手法は、上記に限らず、例えば超音波画像と他のデータを入力データとして、領域マーカー情報を検出してもよい。より具体的には例えば、図１０等で前述した推論部３０は、図２６に示す構成例としてもよい。推論部３０は、先端部情報推定部４０と、領域マーカー情報推定部６０を含む。なお、図２６の説明において、処理の主体は、図２６に示す各部が行うものとしているが、当該主体は内視鏡システム１またはプロセッサ１０が行うものとして適宜読み替えることができる。図２７、図２９等についても同様である。
【0129】
先端部情報推定部４０は、先端部１３０の姿勢情報を受信し、当該姿勢情報に基づいて取得した、先端部１３０の位置情報及び方向情報を領域マーカー情報推定部６０へ送信する。先端部１３０の姿勢情報とは、例えば先端部１３０の所定位置に配設したＩＭＵ（Inertial Measurement Unit）による測定データである。ＩＭＵは、速度センサ及びジャイロセンサを有する慣性センサユニットである。速度センサ及びジャイロセンサは例えばＭＥＭＳ（Micro Electro Mechanical Systems）センサ等により実現できる。先端部情報推定部４０は、例えばＩＭＵによる測定データに基づき、先端部１３０の位置情報及び方向情報としての６ＤｏＦ（six degrees of freedom）情報を取得する。また、例えば先端部１３０を含む挿入部１１０等に対して所定の位置関係で配設させたコイルから発生した磁界を、不図示のアンテナにより検出し、当該アンテナからの検出信号に基づく情報を先端部１３０の姿勢情報としてもよい。例えば先端部情報推定部４０はＵＰＤ装置として機能し、当該検出信号の振幅、位相等から、挿入部１１０等の位置情報及び方向情報としての、先端部１３０を含む挿入部１１０等の姿勢情報を取得する。なお、ＵＰＤ装置は内視鏡挿入形状観測装置ともいう。
【0130】
領域マーカー情報推定部６０は、メモリ１２から学習済みモデル２２を読み出し、超音波画像と、先端部１３０の位置情報及び方向情報を入力データとし、図１８の推論処理（ステップＳ７０）を行うことで領域マーカー情報を検出し、検出した領域マーカー情報を重畳した超音波画像を出力する。つまり、先端部１３０の位置情報及び方向情報は推論の精度を上げるためのメタデータである。このように、本実施形態の内視鏡システム１において、プロセッサ１０は、超音波内視鏡１００のプローブ１５０の位置情報及び方向情報と、超音波画像と、学習済みモデル２２に基づいて、領域マーカー情報を検出する。このようにすることで、プローブ１５０の位置情報及び方向情報に基づき領域マーカー情報を検出する内視鏡システム１を構築することができる。これにより、領域マーカー情報の検出の精度を向上させることができる。
【0131】
なお、本実施形態では超音波内視鏡１００を用いていることから、上記の説明において先端部１３０の姿勢情報等は、プローブ１５０の姿勢情報等と言い換えることができる。以降においても同様である。
【0132】
また、これらの入力データは、学習段階に用いてもよい。つまり図２６の推論部３０によって推論処理（ステップＳ７０）を行う場合、図１５の学習装置３における訓練データ８４は、プローブ１５０の位置情報及び方向情報と、超音波画像である。
【0133】
また、例えば推論部３０は、図２７に示す構成例としてもよい。図２７における先端部情報推定部４０は、先端部姿勢推定部５２と、３次元再構築部５４を含む点で、図２５の構成例と異なる。なお、図２７において、図２６と重複する構成、処理等の説明は適宜省略する。図２７の先端部姿勢推定部５２は、図２６で前述したＩＭＵ等を用いて先端部１３０の姿勢情報に基づいて先端部１３０の位置情報及び方向情報を取得する。
【0134】
３次元再構築部５４は、３次元画像情報に基づき３次元再構築データを取得する。３次元画像情報とは、各画素の位置が３次元座標系によって定義されている画像情報をいい、例えばＣＴ（Computerized Tomography）、ＭＲＩ（Magnetic Resonance Imaging）或いはＰＥＴ（Positron Emission Tomography）等の手法により撮影、取得した画像情報である。３次元画像情報は被検体である生体に対して上記の手法等で予め取得されている。３次元画像情報は、例えばメモリ１２に記憶されていてもよいし、例えば外部装置のデータベース等に記憶されていてもよい。３次元再構築部５４は、ボリュームレンダリング等の手法により３次元画像情報から生体の３次元形状情報を再構築する。
【0135】
なお、先端部姿勢推定部５２と３次元再構築部５４によって統合した先端部１３０の位置情報及び方向情報を用いて、例えば図２８のＤ１０に示すようなモデルを構築してもよい。また、図２８のＤ１０に示すモデルを、所定の表示装置に超音波画像と並べて表示してもよい。このようにすることで、例えば図２８のＤ１１に示す対象物を含む箇所に対して超音波診断を行っているとユーザが想定しているときに、Ｄ１２に示す位置に先端部１３０が位置していること、プローブ１５０がＤ１１に示す対象物に向かう方向等を向いていること等をユーザは確認できる。これにより、ユーザは、表示されている超音波画像が所望の部位を描出していることを確信できる。これにより、ユーザの心理的負担を軽減できる。
【0136】
このように、図２７の先端部情報推定部４０は、先端部１３０の姿勢情報と３次元画像情報に基づいて先端部１３０の位置情報及び方向情報を領域マーカー情報推定部６０に送信する。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、生体の３次元形状情報と、超音波内視鏡１００のプローブ１５０の姿勢情報に基づいて超音波内視鏡１００の位置情報及び方向情報を求める。 このようにすることで、生体の３次元画像情報とプローブ１５０の姿勢情報に基づいて、プローブ１５０の位置情報及び方向情報を取得するシステムを構築できる。これにより、領域マーカー情報の検出の精度を向上させることができる。
【0137】
また、例えば推論部３０は、図２９に示す構成例としてもよい。図２９における先端部情報推定部４０は、部位認識部５６をさらに含む点で、図２７の構成例と異なる。なお、図２９において、図２６、図２７と重複する構成、処理等の説明は適宜省略する。
【0138】
図２９の部位認識部５６は、生体画像に基づいて先端部１３０の位置、先端部１３０が向いている方向に関する情報を取得する。生体画像は、被検体である生体の管腔内を、先端部１３０に含まれる撮像装置によって撮像された画像である。撮像される部位によって管腔内壁のテクスチャが異なることから、先端部１３０の位置、方向に関する情報となる。このように、図２９の先端部情報推定部４０は、先端部１３０の姿勢情報と３次元画像情報と生体情報に基づいて、先端部１３０の位置情報及び方向情報を取得し、領域マーカー情報推定部６０に送信する。以上のことから、本実施形態の内視鏡システム１において、プロセッサ１０は、生体の３次元形状情報と、超音波内視鏡１００のプローブ１５０の姿勢情報と、超音波内視鏡１００の撮像センサにより撮像された生体画像に基づいて超音波内視鏡１００の位置情報及び方向情報を求める。このようにすることで、プローブ１５０の姿勢情報、生体の３次元形状情報及び生体画像に基づきプローブ１５０の位置情報及び方向情報を求めるシステムを構築できる。そして領域マーカー情報推定部６０は、取得した先端部１３０の位置情報及び方向情報と超音波画像を入力データセットとし、図２５、図２６と同様の手法により領域マーカー情報を検出し、検出した領域マーカー情報を重畳した超音波画像を出力する。
【0139】
また、本実施形態の推論部３０は、図３０の構成例のようにしてもよい。図３０の構成例は、図２６の構成例と比較すると、図２９で前述した生体画像が領域マーカー情報推定部６０にさらに入力されるメタデータとなっている特徴を有する点で、図２６と異なる。なお、この特徴は、図２７の構成例に追加してもよいし、図２９の構成例に追加してもよい。このように、本実施形態の内視鏡システム１において、プロセッサ１０は、超音波内視鏡１００のプローブ１５０の位置情報及び方向情報と、超音波画像と、超音波内視鏡１００の撮像センサにより撮像された生体画像と、学習済みモデル２２に基づいて、領域マーカー情報を検出する。このようにすることで、プローブ１５０の位置情報及び方向情報、超音波画像及び生体画像に基づき領域マーカー情報を検出する内視鏡システム１を構築することができる。これにより、領域マーカー情報の検出の精度を向上させることができる。
【0140】
また、これらの入力データは、学習段階に用いてもよい。つまり図３０の推論部３０によって推論処理（ステップＳ７０）を行う場合、図１５の学習装置３における訓練データ８４は、プローブ１５０の位置情報及び方向情報と、超音波画像と、生体画像である。
【0141】
なお、推論部３０の構成例の図示等は省略するが、本実施形態の内視鏡システム１は、超音波画像とメタデータとしての生体画像を入力データセットして、推論処理（ステップＳ７０）等を行ってもよい。この場合、学習段階における訓練データ８４は超音波画像と、生体画像である。つまり本実施形態の内視鏡システム１において、学習済みモデル２２は、超音波画像と、超音波内視鏡１００の撮像センサにより撮像された生体画像が入力され、領域マーカー情報を出力するように学習される。このようにすることで、超音波画像及び生体画像に基づき領域マーカー情報を検出する学習済みモデル２２を構築できる。これにより、領域マーカー情報の検出の精度を向上させることができる。
【0142】
また、本実施形態の内視鏡システム１は、生検針４１０を刺すために必要な操作の支援情報を提示できるようにしてもよい。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、算出された生検針４１０の角度と深さに基づいて、ユーザに対して超音波内視鏡１００の操作支援情報の提示処理を行う。このようにすることで、ユーザが病変部に生検針４１０を刺す作業負担を軽減することができる。
【0143】
図３１は、超音波内視鏡１００の操作支援情報の提示処理の処理例に係るフローチャートである。内視鏡システム１は、病変部、重要組織を認識出来たか否かを判断する（ステップＳ１０）。内視鏡システム１は、病変部、重要組織を認識出来た場合（ステップＳ１０でＹＥＳ）はステップＳ２０以降の処理を行う。一方、内視鏡システム１は、病変部、重要組織を認識出来ない場合（ステップＳ１０でＮＯ）はステップＳ１０を再度行う。具体的には例えば内視鏡システム１は、領域マーカー情報が超音波画像に重畳されたか否かを判断し、領域マーカー情報が超音波画像に重畳されたタイミングで、ステップＳ１０でＹＥＳと判断する。
【0144】
内視鏡システム１は、ステップＳ１０でＹＥＳと判断した後、病変部、重要組織の位置と、生検針４１０の可動範囲を比較する（ステップＳ２０）。内視鏡システム１は、当該可動範囲内に病変部が存在しないと判断した場合（ステップＳ３０でＮＯ）、第１報知（ステップＳ１１０）を行い、フローを終了する。一方、内視鏡システム１は、当該可動範囲内に病変部が存在すると判断した場合（ステップＳ３０でＹＥＳ）、当該可動範囲内に重要組織が存在するか否かを判断する（ステップＳ４０）。内視鏡システム１は、当該可動範囲内に重要組織が存在すると判断した場合（ステップＳ４０でＹＥＳ）、第２報知（ステップＳ１２０）を行い、フローを終了する。一方、内視鏡システム１は、当該可動範囲内に重要組織が存在しないと判断した場合（ステップＳ４０でＮＯ）、第３報知（ステップＳ１３０）を行い、フローを終了する。
【0145】
第１報知（ステップＳ１１０）は、具体的には図３２のフローチャートに示すように、プローブ１５０の角度を変更する指示を報知する（ステップＳ１１２）。例えば図３３のＦ１０に示す画面に、Ｆ１１に示す超音波画像が表示されたものとする。Ｆ１１に示す超音波画像において、Ｆ１２に示す可動範囲画像とＦ１３に示す領域マーカー情報が表示されている。ここで、Ｆ１３に示す領域マーカー情報は病変部に対応する領域マーカー情報であるものとする。
【0146】
Ｆ１２に示す可動範囲画像は、Ｆ１３に示す領域マーカー情報と重畳していないことから、内視鏡システム１は、ステップＳ１１２を実行する。これにより、例えばＦ１０に示す画面において、Ｆ１４に示すメッセージが表示される。この場合、例えばユーザは湾曲部１０２を紙面上方向に湾曲させる操作を行うことで、Ｆ１２に示す可動範囲画像がＦ１３に示す病変部の領域マーカー情報と重畳するようになる。このように、本実施形態の内視鏡システム１において、プロセッサ１０は、生検針４１０の可動範囲に病変部が含まれるか否かを判定し、当該可動範囲に病変部が含まれない場合、超音波内視鏡１００のプローブ１５０の角度を変更する指示情報を出力する。このようにすることで、ユーザは、生検針４１０の可動範囲に病変部が含まれていない場合に、プローブ１５０の角度を変更することで適切な対処ができることを認識できる。
【0147】
第２報知（ステップＳ１２０）は、具体的には図３４のフローに示すように、プローブ１５０の位置の変更指示を報知する（ステップＳ１２２）。例えば図３５のＦ２０に示す画面に、Ｆ２１に示す超音波画像が表示されたものとする。Ｆ２１に示す超音波画像において、Ｆ２２に示す可動範囲画像と、Ｆ２３に示す領域マーカー情報と、Ｆ２４に示す領域マーカー情報と、Ｆ２５に示す領域マーカー情報が表示されている。ここで、Ｆ２３に示す領域マーカー情報は、病変部に対応する領域マーカー情報であり、Ｆ２４に示す領域マーカー情報と、Ｆ２５に示す領域マーカー情報は、重要組織に対応する領域マーカー情報であるものとする。
【0148】
Ｆ２２に示す可動範囲画像は、Ｆ２３に示す領域マーカー情報と重畳していることから、生検針４１０を突出させることで、生検針４１０を病変部に刺すことが可能な状況である。しかし、Ｆ２２に示す可動範囲画像は、Ｆ２４に示す領域マーカー情報及びＦ２５に示す領域マーカー情報とも重畳している。特に、Ｆ２４に示す領域マーカー情報は、生検針４１０の突出位置とＦ２３に示す領域マーカー情報の間に位置している。このような状況で生検針４１０を突出させると、重要組織に生検針４１０を刺すことになり、重要組織が損傷する可能性がある。
【0149】
このような状況においては、内視鏡システム１はステップＳ１２２を実行する。これにより、例えばＦ２０に示す画面において、Ｆ２６に示すメッセージが表示される。図３５の状況においては、図３３の状況と異なり、プローブ１５０の角度を変更させても、病変部に対応する領域マーカー情報のみを可動範囲画像と重畳させるようにできない場合がある。そこで、ユーザに対し、挿入部１１０を一旦後退させ、病変部に対するアプローチ方法を変更させることを促すように、Ｆ２６に示す報知が行われる。以上のことから、本実施形態の内視鏡システム１において、プロセッサ１０は、生検針４１０の突出位置と病変部の間に重要組織が含まれるか否かを判定し、生検針４１０の突出位置と病変部の間に重要組織が含まれる場合、超音波内視鏡１００の位置を変更する指示情報を出力する。このようにすることで、ユーザは、生検針４１０の突出位置と病変部の間に重要組織が含まれる場合は、病変部に対するプローブ１５０のアプローチの仕方を変更しないと、生検針４１０を突出させることが難しい状況であることを認識できる。これにより、生検針４１０を用いる処置をより適切に行うことができる。
【0150】
第３報知（ステップＳ１３０）は、具体的には図３６のフローチャートに示すように、生検針４１０を刺す角度の決定を促すことをユーザに報知する（ステップＳ１３２）。例えば図３７のＦ３０に示す画面に、Ｆ３１に示す超音波画像が表示されたものとする。Ｆ３１に示す超音波画像において、Ｆ３２に示す可動範囲画像と、Ｆ３３に示す領域マーカー情報とが表示されている。ここで、Ｆ３３に示す領域マーカー情報は病変部に対応する領域マーカー情報であるものとする。
【0151】
Ｆ３２に示す可動範囲画像は、Ｆ３３に示す領域マーカー情報と重畳していることから、生検針４１０を突出させることで、生検針４１０を病変部に刺すことが可能な状況である。また、図３７における状況は、図３５における状況と異なり、Ｆ３２に示す可動範囲画像と、重要組織に対応する領域マーカー情報は重畳していない。したがって、生検針４１０を突出させれば、重要組織を損傷させることなく、病変部に生検針４１０が刺さる状況にある。このような状況においては、内視鏡システム１はステップＳ１３２を実行する。これにより、例えばＦ３０に示す画面において、Ｆ３４に示すように、生検針４１０の角度を決定する旨のメッセージが表示される。その後ユーザは、図８、図９等で前述した手法等により、生検針４１０の角度を決定すればよい。つまり、本実施形態の内視鏡システム１において、プロセッサ１０は、生検針４１０の可動範囲に病変部と重要組織が含まれるか否かを判定し、可動範囲内に病変部が含まれ、かつ、可動範囲内に重要組織に含まれない場合、生検針４１０を病変部に刺す制御を行う。このようにすることで、ユーザは、生検針４１０を突出させて問題無い状況であることを認識できる。
【0152】
また、本実施形態の内視鏡システム１は、他の操作支援情報を表示してもよい。他の操作支援情報は、例えば生検針４１０を複数回刺すための操作支援情報である。操作支援情報の変形例として例えば、病変部の所定の箇所に生検針４１０を刺し、病変部の異なる箇所に生検針４１０を再度刺す場合、図３８のＦ４０に示すような画面を表示してもよい。Ｆ４０の画面には、Ｆ４１に示す超音波画像と、Ｆ４５に示す凡例が表示されている。Ｆ４１に示す超音波画像において、Ｆ４２に示す領域マーカー情報と、Ｆ４３に示すアイコンと、Ｆ４４に示す点線状のアイコンが表示されている。ユーザは１回目の生検（ステップＳ５）において、Ｆ４３に示すアイコンに対応する位置に生検針４１０を刺したことを示し、Ｆ４４に示すアイコンは生検針４１０が通った経路を示している。これにより、ユーザは、Ｆ４４に示す点線に基づく生検針４１０の角度と異なるように、生検針４１０の角度を決定すればよいことを認識できる。なお、Ｆ４３に示すアイコンは例えば図８で前述した特定位置の座標に基づき作成する処理により実現できる。同様に、Ｆ４４に示すアイコンは、図８で前述した第２直線に基づくアイコンを作成する処理等により実現できる。
【0153】
また、図示は省略するが、例えば内視鏡システム１は、生検針４１０が病変部に刺さったか否かについて判断してもよい。例えば内視鏡システム１は、病変部に対応する領域マーカー情報の他に、生検針４１０に対応する領域マーカー情報を検出する処理を行う。そして内視鏡システム１は、生検針４１０に対応する領域マーカー情報と、病変部に対応する領域マーカー情報が重畳しているか否かを判断する処理を行うことで、画像処理により生検針４１０が病変部に刺さったか否かを判断できる。なお、生検針４１０に対応する領域マーカー情報の代わりに、前述の第１直線を針部４１２が突出する長さの分だけ画像化して表示してもよく、当該画像化した第１直線を、針部４１２のストローク量に連動して移動するように表示しても同様の効果を得ることができる。
【0154】
以上、本開示を適用した実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、開示の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の開示を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0155】
１…内視鏡システム、３…学習装置、１０…プロセッサ、１２…メモリ、１４…入力部、１６…出力部、１８…制御部、２０…処理部、２２…モデル、３０…推論部、３２…圧力判定部、４０…先端部情報推定部、５２…先端部姿勢推定部、５４…３次元再構築部、５６…部位認識部、６０…領域マーカー情報推定部、７０…プロセッサ、７２…メモリ、７４…通信部、８０…機械学習部、８２…訓練モデル、８４…訓練データ、９０…ユニバーサルケーブル、９２…コネクタ部、１００…超音波内視鏡、１０１…内部経路、１０２…湾曲部、１０４…軟性部、１１０…挿入部、１１１…アウターシース、１１２…湾曲駒、１１４…連結部、１１９…体内軟性部、１２１…ロール操作部、１２４…連結部本体、１２５…連結部、１３０…先端部、１３１…本体部、１３２…対物レンズ、１３３…照明レンズ、１３４…先端開口部、１３５…起上台、１３６…起上台操作ワイヤ、１４５…体外軟性部、１５０…プローブ、１５１…ハウジング、１５２…超音波振動子ユニット、１５３…配線基板、１５４…バッキング材、１５５…超音波振動子アレイ、１５６…超音波振動子、１５７…音響整合層、１５８…音響レンズ、１５９…超音波ケーブル、１６０…湾曲ワイヤ、１６２…カップリング機構、１９０…挿入口、２００…駆動制御装置、２０１…コネクタ、２０２…コネクタ、２１０…アダプタ、２１１…操作装置用アダプタ、２１２…内視鏡用アダプタ、２２０…操作受信部、２３０…送気吸引駆動部、２４０…通信部、２５０…ワイヤ駆動部、２６０…駆動コントローラ、２７０…画像取得部、２８０…記憶部、２９０…センサ検出部、３００…操作装置、３０１…操作ケーブル、４００…処置具、４１０…生検針、４１１…シース部、４１２…針部、４６０…処置具用進退駆動装置、５００…映像制御装置、６００…制御装置、８００…進退駆動装置、８０２…アタッチメント、８１６…モータユニット、８１８…ベース、８１９…スライダ、８５０…ロール駆動装置、９００…表示装置、ＮＮ…ニューラルネットワーク、Ｔ…手術台
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【手続補正書】
【提出日】2024-07-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
プロセッサを含み、
前記プロセッサは、
生検針を有する超音波内視鏡の超音波画像に対して、病変部の領域に対応するマーカー情報と重要組織の領域に対応するマーカー情報を含む領域マーカー情報が設定された画像を取得し、
前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すことができるか否かの判断を支援する第１操作支援情報をユーザに提示し、
前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報が提示された場合、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする内視鏡システム。
前記プロセッサは、
生検針を有する超音波内視鏡の超音波画像に対して、病変部の領域に対応するマーカー情報と重要組織の領域に対応するマーカー情報を含む領域マーカー情報が設定された画像を取得し、
前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すことができるか否かの判断を支援する第１操作支援情報をユーザに提示し、
前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報が提示された場合、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする内視鏡システム。
【請求項2】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記可動範囲に前記病変部が含まれるか否かを判定し、
前記可動範囲に前記病変部が含まれないと判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの角度を変更する指示情報をユーザに提示することを特徴とする内視鏡システム。
前記プロセッサは、
前記可動範囲に前記病変部が含まれるか否かを判定し、
前記可動範囲に前記病変部が含まれないと判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの角度を変更する指示情報をユーザに提示することを特徴とする内視鏡システム。
【請求項3】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記生検針の突出位置と前記病変部の間に前記重要組織が含まれるか否かを判定し、
前記生検針の突出位置と前記病変部の間に前記重要組織が含まれると判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの位置を変更する指示情報をユーザに提示することを特徴とする内視鏡システム。
前記プロセッサは、
前記生検針の突出位置と前記病変部の間に前記重要組織が含まれるか否かを判定し、
前記生検針の突出位置と前記病変部の間に前記重要組織が含まれると判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの位置を変更する指示情報をユーザに提示することを特徴とする内視鏡システム。
【請求項4】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度に基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度に基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
【請求項5】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度に基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度に基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システム。
【請求項6】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする内視鏡システム。
前記プロセッサは、
前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする内視鏡システム。
【請求項7】
請求項６に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度と深さに基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度と深さに基づいて前記生検針を電動により前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
【請求項8】
請求項６に記載の内視鏡システムにおいて、
前記プロセッサは、
算出された前記生検針の角度と深さに基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システム。
前記プロセッサは、
算出された前記生検針の角度と深さに基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システム。
【請求項9】
請求項１に記載の内視鏡システムにおいて、
前記プロセッサは、
前記可動範囲に前記病変部と前記重要組織が含まれるか否かを判定し、
前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織に含まれない場合、前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報をユーザに提示し、前記生検針を前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
前記プロセッサは、
前記可動範囲に前記病変部と前記重要組織が含まれるか否かを判定し、
前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織に含まれない場合、前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報をユーザに提示し、前記生検針を前記病変部に刺す制御を行うことを特徴とする内視鏡システム。
【請求項10】
請求項１に記載の内視鏡システムにおいて、
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルを記憶するメモリを含み、
前記プロセッサは、
前記超音波画像と前記学習済みモデルに基づいて、前記領域マーカー情報を検出することを特徴とする内視鏡システム。
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルを記憶するメモリを含み、
前記プロセッサは、
前記超音波画像と前記学習済みモデルに基づいて、前記領域マーカー情報を検出することを特徴とする内視鏡システム。
【請求項11】
超音波内視鏡から取得された超音波画像に基づいて生検針の角度を算出する内視鏡システムの作動方法であって、
前記内視鏡システムが、前記生検針を有する前記超音波内視鏡の前記超音波画像に対して、病変部の領域に対応するマーカー情報と重要組織の領域に対応するマーカー情報を含む領域マーカー情報が設定された画像を取得し、
前記内視鏡システムが、前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すことができるか否かの判断を支援する第１操作支援情報をユーザに提示し、
前記内視鏡システムが、前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報が提示された場合、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、前記生検針を有する前記超音波内視鏡の前記超音波画像に対して、病変部の領域に対応するマーカー情報と重要組織の領域に対応するマーカー情報を含む領域マーカー情報が設定された画像を取得し、
前記内視鏡システムが、前記生検針の可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すことができるか否かの判断を支援する第１操作支援情報をユーザに提示し、
前記内視鏡システムが、前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報が提示された場合、前記病変部に前記生検針を刺すための前記生検針の角度を算出することを特徴とする内視鏡システムの作動方法。
【請求項12】
請求項１１に記載の内視鏡システムの作動方法において、
前記内視鏡システムが、前記可動範囲に前記病変部が含まれるか否かを判定し、
前記内視鏡システムが、前記可動範囲に前記病変部が含まれないと判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの角度を変更する指示情報をユーザに提示することを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、前記可動範囲に前記病変部が含まれるか否かを判定し、
前記内視鏡システムが、前記可動範囲に前記病変部が含まれないと判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの角度を変更する指示情報をユーザに提示することを特徴とする内視鏡システムの作動方法。
【請求項13】
請求項１１に記載の内視鏡システムの作動方法において、
前記内視鏡システムが、前記生検針の突出位置と前記病変部の間に前記重要組織が含まれるか否かを判定し、
前記内視鏡システムが、前記生検針の突出位置と前記病変部の間に前記重要組織が含まれると判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの位置を変更する指示情報をユーザに提示することを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、前記生検針の突出位置と前記病変部の間に前記重要組織が含まれるか否かを判定し、
前記内視鏡システムが、前記生検針の突出位置と前記病変部の間に前記重要組織が含まれると判定した場合、前記第１操作支援情報として前記超音波内視鏡のプローブの位置を変更する指示情報をユーザに提示することを特徴とする内視鏡システムの作動方法。
【請求項14】
請求項１１に記載の内視鏡システムの作動方法において、
前記内視鏡システムが、算出された前記生検針の角度に基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、算出された前記生検針の角度に基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システムの作動方法。
【請求項15】
請求項１１に記載の内視鏡システムの作動方法において、
前記内視鏡システムが、前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、前記生検針の前記可動範囲と前記領域マーカー情報に基づいて、前記病変部に前記生検針を刺すための前記生検針の角度と深さを算出することを特徴とする内視鏡システムの作動方法。
【請求項16】
請求項１５に記載の内視鏡システムの作動方法において、
前記内視鏡システムが、算出された前記生検針の角度と深さに基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、算出された前記生検針の角度と深さに基づいて、前記病変部に前記生検針を刺すために必要な操作の支援情報である第２操作支援情報の提示処理を、ユーザに対して行うことを特徴とする内視鏡システムの作動方法。
【請求項17】
請求項１１に記載の内視鏡システムの作動方法において、
前記内視鏡システムが、前記可動範囲に前記病変部と前記重要組織が含まれるか否かを判定し、
前記内視鏡システムが、前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織に含まれない場合に前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報をユーザに提示し、前記生検針を前記病変部に刺す制御を行うことを特徴とする内視鏡システムの作動方法。
前記内視鏡システムが、前記可動範囲に前記病変部と前記重要組織が含まれるか否かを判定し、
前記内視鏡システムが、前記可動範囲内に前記病変部が含まれ、かつ、可動範囲内に前記重要組織に含まれない場合に前記第１操作支援情報として前記病変部に前記生検針を刺すことが可能な情報をユーザに提示し、前記生検針を前記病変部に刺す制御を行うことを特徴とする内視鏡システムの作動方法。
【請求項18】
請求項１１に記載の内視鏡システムの作動方法において、
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルと、前記超音波画像とに基づいて、前記領域マーカー情報を検出することを特徴とする内視鏡システムの作動方法。
前記超音波内視鏡により撮像される前記超音波画像に対して、前記超音波画像における検出対象の前記領域マーカー情報を出力するように学習された学習済みモデルと、前記超音波画像とに基づいて、前記領域マーカー情報を検出することを特徴とする内視鏡システムの作動方法。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は、内視鏡システム及び内視鏡システムの作動方法等に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【0052】
そして内視鏡システム１は病変部に生検針４１０を刺すための生検針４１０の角度を算出する。例えば前述のように、可動範囲画像は設計上決まった領域であるから、生検針４１０の角度を決めると、超音波画像上に表示される生検針４１０の画像に含まれる座標の集合は一義的に決まる。そこで、例えば内視鏡システム１は、生検針４１０の角度と、生検針４１０の画像の座標を関連付けた第３テーブルを参照し、特定位置の座標に対応する生検針４１０の角度を探索する処理を行う。これにより、例えば内視鏡システム１は、Ｃ２３に示すように、特定位置を通過する第２直線を算出する。また、内視鏡システム１は、当該第２直線に基づいてＲ２２に示すように、生検針４１０の角度を算出する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【0059】
例えば図示は省略するが、ユーザは超音波画像を観察し、図９のＣ３１の可動範囲画像の内側に病変部が存在していることを確認した後に図８で前述した手法を適用し、前述の特定位置を求める。そして内視鏡システム１は、前述の第３テーブルから第１直線に対応する生検針４１０の角度を選択する処理と、特定位置の座標から第１直線の長さを求める処理と、当該第１直線の長さに基づいて、病変部に生検針４１０を刺すために必要な針部４１２のストローク長を求める処理を行う。以上のことから、本実施形態の内視鏡システム１において、プロセッサ１０は、生検針４１０の可動範囲と領域マーカー情報とに基づいて、病変部に生検針４１０を刺すための生検針４１０の角度と深さを算出する。このようにすることで、生検針４１０を所望の位置に向け、かつ生検針４１０を刺す為に必要な深さを把握することができる。これにより、ユーザは、超音波画像を見ながら電動シリンダー等を操作し、生検針４１０を適切な深さで刺す作業を容易に行うことができる。