(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】制御装置及び制御装置の作動方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20241227BHJP
A61B 1/015 20060101ALI20241227BHJP
【FI】
A61B1/045 618
A61B1/015 512
(21)【出願番号】P 2023518574
(86)(22)【出願日】2021-05-07
(86)【国際出願番号】 JP2021017474
(87)【国際公開番号】W WO2022234641
(87)【国際公開日】2022-11-10
【審査請求日】2023-10-31
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100166523
【氏名又は名称】西河 宏晃
(74)【代理人】
【識別番号】100090479
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100124682
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100104710
【氏名又は名称】竹腰 昇
(72)【発明者】
【氏名】深津 尚希
(72)【発明者】
【氏名】藤田 浩正
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開2010-088572(JP,A)
【文献】特開平05-103746(JP,A)
【文献】国際公開第2011/158792(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
(57)【特許請求の範囲】
【請求項1】
プロセッサを含み、
前記プロセッサは、
内視鏡により撮像された画像である内視鏡画像を取得し、
前記内視鏡の先端部と前記内視鏡画像
に写る被検体の粘膜との距離、前記内視鏡の先端部の位置、及び前記内視鏡画像に写る管腔内の状態のいずれかに基づいて、吸引が必要であるか否かを判定し、
前記吸引が必要であると判定された場合、前記吸引を実施する制御を行い、
前記吸引を実施したときの前記内視鏡画像の変化に基づいて
前記被検体の状態を判定し、
前記被検体の状態に基づいて吸引に関する制御を行うことを特徴とする制御装置。
【請求項2】
請求項1において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記被検体の粘膜と前記内視鏡の先端部との距離に応じて、前記吸引が必要であるか否かを判定することを特徴とする制御装置。
【請求項3】
請求項2において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記被検体の粘膜と前記内視鏡の先端部との前記距離が所定距離より遠いか否かの判定を行い、前記距離が前記所定距離より遠いと判定した場合、前記吸引が必要であると判定することを特徴とする制御装置。
【請求項4】
請求項3において、
前記所定距離は、軸保持短縮法において前記内視鏡のアングル操作とトルク操作により大腸のヒダをめくることが可能な至適距離であることを特徴とする制御装置。
【請求項5】
請求項1において、
前記プロセッサは、
前記吸引を実施したときの前記内視鏡画像の変化に基づいて、前記吸引が必要であるか否かを判定することを特徴とする制御装置。
【請求項6】
請求項5において、
前記プロセッサは、
前記吸引を実施したときの前記内視鏡画像の変化に基づいて、前記被検体の粘膜と前記内視鏡の先端部との距離が所定距離より近くならないと判定した場合、前記吸引を実施しないと判定することを特徴とする制御装置。
【請求項7】
請求項5において、
前記プロセッサは、
前記吸引を実施したときの前記内視鏡画像の変化に基づいて、前記被検体における癒着の有無を判定し、前記癒着が有ると判定した場合、前記吸引を実施しないと判定することを特徴とする制御装置。
【請求項8】
請求項5において、
前記プロセッサは、
前記吸引を実施したときの前記内視鏡画像の変化に基づいて、前記内視鏡の操作手順を示す操作プランを決定し、決定した前記操作プランに応じて、前記吸引が必要であるか否かを判定することを特徴とする制御装置。
【請求項9】
請求項1において、
前記プロセッサは、
前記内視鏡画像に基づいて、管腔内における前記内視鏡の位置に応じて、前記吸引が必要であるか否かを判定することを特徴とする制御装置。
【請求項10】
請求項9において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記内視鏡が前記管腔内における所定部位に位置すると判定した場合、前記吸引が必要であると判定することを特徴とする制御装置。
【請求項11】
請求項10において、
前記所定部位は、S状結腸、又は横行結腸においてミットトランスを超えた部分であることを特徴とする制御装置。
【請求項12】
請求項1において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記内視鏡の先端部が前記被検体の粘膜に接した状態である赤玉状態であると判定した場合、前記吸引を実施しないと判定することを特徴とする制御装置。
【請求項13】
請求項1において、
前記プロセッサは、
前記内視鏡画像に基づいて、管腔が送気により所定以上に膨らんだ過送気状態であると判定した場合、前記吸引を実施すると判定することを特徴とする制御装置。
【請求項14】
請求項1において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記吸引の強弱を判定し、
判定された前記強弱で前記吸引を実施する制御を行うことを特徴とする制御装置。
【請求項15】
請求項14において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記被検体の粘膜と前記内視鏡の先端部との距離に応じて、前記吸引の強弱を判定することを特徴とする制御装置。
【請求項16】
請求項15において、
前記プロセッサは、
前記被検体の粘膜と前記内視鏡の先端部との前記距離が前記吸引によって近づくほど、前記吸引を弱くすることを特徴とする制御装置。
【請求項17】
請求項14において、
前記プロセッサは、
前記内視鏡画像に基づいて、残渣、水、切除された組織、又は散布された薬液の少なくとも1つを認識し、認識した結果に応じて、前記吸引が必要であるか否かを判定すると共に前記吸引の強弱を判定することを特徴とする制御装置。
【請求項18】
請求項1において、
前記プロセッサは、
前記内視鏡の挿入部の形状を表す情報である挿入形状情報を取得し、
前記内視鏡画像と前記挿入形状情報とに基づいて、前記吸引が必要であるか否かを判定することを特徴とする制御装置。
【請求項19】
請求項1において、
前記プロセッサは、
前記内視鏡画像に基づいて、前記内視鏡を用いた内視鏡検査の状況に関する検査状況情報を取得し、前記検査状況情報に基づいて、前記吸引が必要であるか否かを判定することを特徴とする制御装置。
【請求項20】
制御装置が、内視鏡により撮像された画像である内視鏡画像を取得することと、
前記制御装置が、前記内視鏡の先端部と前記内視鏡画像
に写る被検体の粘膜との距離、前記内視鏡の先端部の位置、及び前記内視鏡画像に写る管腔内の状態のいずれかに基づいて、吸引が必要であるか否かを判定することと、
前記制御装置が、前記吸引が必要であると判定された場合、前記吸引を実施する制御を行うことと、
前記制御装置が、前記吸引を実施したときの前記内視鏡画像の変化に基づいて
前記被検体の状態を判定することと、
前記制御装置が、前記被検体の状態に基づいて吸引に関する制御を行うことと、
を含むことを特徴とする
制御装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置及び制御装置の作動方法等に関する。
【背景技術】
【0002】
特許文献1には、体腔内圧を一定に制御する内視鏡の体腔内圧調整装置が開示されている。この体腔内圧調整装置は、内視鏡の鉗子チャンネルに着脱自在に連通する吸引チューブと、その吸引チューブに連通接続された吸引手段と、その吸引チューブ内の圧力を検出する圧力検出手段と、その圧力検出手段からの出力信号により動作して吸引手段の動作を制御する吸引制御手段と、を含む。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
内視鏡挿入時の吸引において、状況に応じた適切な吸引を実現したいという課題がある。上記特許文献1のように体腔内圧を一定に制御するだけの吸引制御では、状況に応じた適切な吸引が実現できない場合がある。例えば、挿入時に管腔が開きすぎている場合には自動で吸引するのが望ましい。或いは、挿入時に吸引により内視鏡先端と管腔内壁が近づいてきた場合には吸引をオフする又は弱めることが望ましい。或いは、内視鏡先端と粘膜の距離が近すぎて画像が赤くなる赤玉状態の場合には、吸引をオフすることが望ましい。これらの吸引制御は、内圧を一定にする制御だけでは実現が困難である。
【課題を解決するための手段】
【0005】
本開示の一態様は、内視鏡により撮像された画像である内視鏡画像を取得する情報取得部と、前記内視鏡画像に基づいて、吸引が必要であるか否かを判定する吸引要否判定を行う判定部と、前記判定部により前記吸引が必要であると判定された場合、前記吸引を実施する制御を行う制御部と、を含む制御装置に関係する。
【0006】
本開示の他の態様は、上記に記載された制御装置と、前記内視鏡と、を含む内視鏡システムに関係する。
【0007】
本開示の更に他の態様は、内視鏡により撮像された画像である内視鏡画像を取得することと、前記内視鏡画像に基づいて、吸引が必要であるか否かを判定する吸引要否判定を行うことと、前記吸引要否判定において前記吸引が必要であると判定された場合、前記吸引を実施する制御を行うことと、を含む制御方法に関係する。
【図面の簡単な説明】
【0008】
【
図4】S状結腸において軸保持短縮法を行うときの自動吸引制御の一例を示すフローチャート。
【
図6】距離以外の検査状況に基づく自動吸引制御の一例を示すフローチャート。
【
図10】内視鏡、吸引装置及び送気装置の詳細構成例。
【
図12】管腔方向提示の一例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。
【0010】
1.構成例
図1は、制御装置100の構成例である。制御装置100は、情報取得部140と判定部160と制御部170とを含む。ここでは、吸引制御を行う制御装置の基本的な構成例について説明する。制御装置の詳細構成例、及び詳細構成例と基本的な構成例との対応については、後述する。
【0011】
情報取得部140は、内視鏡10により撮影された画像である内視鏡画像IMGを取得する。内視鏡10はスコープとも呼ばれ、患者の体内に挿入され、患者の体内を撮影する。内視鏡画像IMGは、具体的には、内視鏡10により撮影された動画の各フレーム画像である。なお、内視鏡10の体内への挿入は、医師により実施されてもよいし、自動挿抜装置により自動又は半自動に実施されてもよい。
【0012】
判定部160は、内視鏡画像IMGに基づいて、吸引が必要であるか否かを判定する吸引要否判定を行う。具体的には、判定部160は、吸引が必要な状況であるか不要な状況であるかを判定するための画像認識処理を、内視鏡画像IMGに対して行い、その認識結果に基づいて、吸引の要否を示す判定信号DTRを出力する。例えば、判定部160は画像認識処理により挿入状況を判定した後に、その挿入状況に基づいて吸引要否判定を行ってもよい。或いは、判定部160は、画像認識処理により内視鏡画像IMGから直接的に判定信号DTRを得てもよい。なお、ここでは吸引要否判定について説明したが、後述するように、判定部160は更に吸引強弱を判定してもよい。
【0013】
制御部170は、判定部160により吸引が必要であると判定された場合、吸引を実施する制御を行う。具体的には、制御部170は、吸引が必要であることを示す判定信号DTRが入力された場合、吸引をオンする制御信号CNTを吸引装置30へ出力し、吸引が不要であることを示す判定信号DTRが入力された場合、吸引をオフする制御信号CNTを吸引装置30へ出力する。内視鏡10は、体腔内の気体、液体又は組織片を吸引するための吸引管を有する。吸引装置30は、その吸引管に接続されており、吸引オンの制御信号CNTが入力された場合には吸引を実施し、吸引オフの制御信号CNTが入力された場合には吸引を実施しない。
【0014】
本実施形態によれば、内視鏡画像に基づいて吸引要否判定が行われるので、内視鏡画像から認識される状況に応じて適切に吸引のオンオフを自動制御することが可能になる。これにより、内圧を一定にする制御のみでは実現が困難な吸引制御が可能となる。本実施形態は種々の状況に適用可能であるが、一例としては、挿入時に管腔が開きすぎている状況が内視鏡画像から認識される場合には、吸引を実施できる。或いは、挿入時に吸引により内視鏡先端と管腔内壁が近づいてきた状況、又は内視鏡先端と粘膜の距離が近すぎて画像が赤くなる赤玉状態が、内視鏡画像から認識される場合には、吸引をオフできる。
【0015】
判定部160は、内視鏡画像IMGに基づいて、被検体の粘膜と内視鏡10の先端部との距離に応じて吸引要否判定を行う。具体的には、判定部160は、内視鏡画像IMGに基づいて、被検体の粘膜と内視鏡10の先端部との距離が所定距離より遠いか否かの判定を行い、その距離が所定距離より遠いと判定した場合、吸引が必要であると判定する。但し、判定部160は、距離そのものを求めずに、距離に応じて吸引要否の判定結果が変わる画像認識処理を内視鏡画像IMGに対して実施することで、内視鏡画像IMGから直接的に吸引要否の判定結果を得てもよい。所定距離は、例えば、軸保持短縮法において内視鏡10のアングル操作とトルク操作により大腸のヒダをめくることが可能な至適距離である。
【0016】
本実施形態によれば、内視鏡画像IMGから認識される、被検体の粘膜と内視鏡10の先端部との距離に応じて、適切に吸引を自動制御できる。大腸検査における軸保持短縮法のように被検体の粘膜と内視鏡10の先端部との距離を適切に保ちながら操作していく場合において、その適切な距離を保つための吸引を自動制御できる。
【0017】
判定部160は、吸引を実施したときの内視鏡画像IMGの変化に基づいて吸引要否判定を行う。「吸引を実施したときの内視鏡画像IMGの変化」とは、吸引を実施する前後、吸引中、或いは、それら両方における経時的な内視鏡画像IMGの変化のことである。具体的には、判定部160は、内視鏡画像IMGに対する画像認識処理によって、内視鏡画像IMGにどのような変化が生じたかを認識し、その認識された変化の内容に応じて吸引要否を判定する。但し、判定部160は、変化そのものを認識せずに、内視鏡画像IMGにどのような変化が生じたかに応じて吸引要否の判定結果が変わる画像認識処理を内視鏡画像IMGに対して実施することで、内視鏡画像IMGから直接的に吸引要否の判定結果を得てもよい。
【0018】
本実施形態によれば、吸引を実施したときの内視鏡画像IMGの変化に応じて、適切に吸引を自動制御できる。一例としては、大腸検査における軸保持短縮法のように被検体の粘膜と内視鏡10の先端部との距離を適切に保ちながら操作していく場合において、吸引しても適切な距離にならない又は癒着等があると判断されるときに、吸引を自動オフできる。
【0019】
一例として、判定部160は、吸引を実施したときの内視鏡画像IMGの変化に基づいて、被検体の粘膜と内視鏡10の先端部との距離が所定距離より近くならないと判定した場合、吸引を実施しないと判定する。これにより、何らかの要因で、吸引により至適距離を実現できない場合において、吸引をオフできる。
【0020】
また、他の例として、判定部160は、吸引を実施したときの内視鏡画像IMGの変化に基づいて、被検体における癒着の有無を判定し、癒着が有ると判定した場合、吸引を実施しないと判定する。これにより、癒着により至適距離を実現できない場合において、吸引をオフできる。
【0021】
また、他の例として、判定部160は、吸引を実施したときの内視鏡画像IMGの変化に基づいて、内視鏡10の操作手順を示す操作プランを決定し、決定した操作プランに応じて吸引要否判定を行う。これにより、例えば軸保持短縮法、癒着等を考慮した軸保持短縮法、及びループ法等の複数の操作プランを切り替え、各操作プランにおいて適切な自動吸引制御を行うことが可能となる。
【0022】
判定部160は、内視鏡画像IMGに基づいて、管腔内における内視鏡10の位置に応じて吸引要否判定を行う。ここでの内視鏡10の位置は、内視鏡10の先端部の位置のことである。具体的には、管腔が複数の部位に分かれている場合において、内視鏡10の位置は、内視鏡10の先端部が位置する部位のことであり、或いは部位内の更に詳細な位置であってもよい。判定部160は、内視鏡画像IMGに対する画像認識処理によって、内視鏡10の先端部が位置する部位を判定し、その部位に応じた吸引要否判定を行う。但し、判定部160は、部位そのものを判定せずに、内視鏡10の先端部が位置する部位に応じて吸引要否の判定結果が変わる画像認識処理を内視鏡画像IMGに対して実施することで、内視鏡画像IMGから直接的に吸引要否の判定結果を得てもよい。
【0023】
本実施形態によれば、管腔内における内視鏡10の位置に応じて、適切に吸引を自動制御できる。一例としては、大腸検査において軸保持短縮法を用いてS状結腸を進む場合には、内視鏡10がS状結腸に位置するとき、吸引の自動制御によって、内視鏡10の先端部との距離を適切に保つことができる。
【0024】
一例として、判定部160は、内視鏡画像IMGに基づいて、内視鏡10が管腔内における所定部位に位置すると判定した場合、吸引が必要であると判定する。所定部位は、S状結腸、又は横行結腸においてミットトランスを超えた部分である。
【0025】
自由結腸の挿入法として、軸保持短縮法等の、痛みの少ない挿入法がある。このような挿入法では吸引により内視鏡10の先端部と腸壁との距離を適切に保ちながら挿入を進めていく。本実施形態によれば、自動吸引制御により内視鏡10の先端部と腸壁との距離が適切に保たれるため、熟練者の吸引技術を再現できる、或いは、挿入の手技に集中することが可能となる。
【0026】
判定部160は、内視鏡画像IMGに基づいて、内視鏡10の先端部が被検体の粘膜に接した状態である赤玉状態であると判定した場合、吸引を実施しないと判定する。
【0027】
赤玉状態で吸引を行うと粘膜又は腸壁を傷付ける可能性がある。本実施形態によれば、赤玉状態のとき吸引がオフされるため、吸引によって粘膜又は腸壁が傷つくことを防止できる。
【0028】
判定部160は、内視鏡画像IMGに基づいて、管腔が送気により所定以上に膨らんだ過送気状態であると判定した場合、吸引を実施すると判定する。
【0029】
過送気状態では、患者に痛み又は不快感が生じる可能性がある。本実施形態によれば、過送気状態のとき吸引がオフされるため、過送気による患者の痛み又は不快感を防止できる。
【0030】
判定部160は、内視鏡画像IMGに基づいて、内視鏡10を用いた内視鏡検査の状況に関する検査状況情報を取得し、検査状況情報に基づいて吸引要否判定を行ってもよい。検査状況情報は、現在の検査状況、現在の検査状況を含む時系列の検査状況、又は過去の検査状況を示す情報であり、例えば内視鏡の挿入状況を示す情報、操作状況を示す情報、或いは腸の状態を示す情報等を含む。第1詳細構成例で後述するように、検査状況情報は、例えば検査状況を示す複数のパラメータの組み合わせパターンとして得られ、判定部160は、そのパターンと吸引の制御判定とを対応付けた制御テーブルを参照することで、吸引要否判定を行う。
【0031】
本実施形態によれば、内視鏡の挿入状況、操作状況、或いは腸の状態を含む検査状況が、内視鏡画像から認識される。これにより、検査状況に応じた適切な自動吸引制御が実現される。
【0032】
以上では自動吸引制御として吸引要否判定を行う場合を説明したが、更に吸引強弱判定を行ってもよい。即ち、判定部160は、内視鏡画像IMGに基づいて、吸引の強弱を判定する吸引強弱判定を行う。制御部170は、判定部160により判定された強弱で吸引を実施する制御を行う。具体的には、判定部160は、吸引を強くすべき状況であるか吸引を弱くすべき状況であるかを判定するための画像認識処理を、内視鏡画像IMGに対して行い、その認識結果に基づいて、吸引の強弱を示す判定信号DTRを出力する。例えば、判定部160は画像認識処理により挿入状況を判定した後に、その挿入状況に基づいて吸引強弱判定を行ってもよい。但し、判定部160は、挿入状況を判定せずに、画像認識処理により内視鏡画像IMGから直接的に吸気強弱の判定結果を得てもよい。
【0033】
本実施形態によれば、内視鏡画像に基づいて吸引強弱判定が行われるので、内視鏡画像から認識される状況に応じて適切に吸引の強弱を自動制御することが可能になる。これにより、内圧を一定にする制御のみでは実現が困難な吸引制御が可能となる。本実施形態は種々の状況に適用可能であるが、一例としては、挿入時に内視鏡先端と管腔内壁が遠い状況が、内視鏡画像から認識される場合には、吸引を強めることができる。そして、吸引により内視鏡先端と管腔内壁が近づいてきた状況が、内視鏡画像から認識される場合には、吸引を弱めることができる。
【0034】
一例として、判定部160は、内視鏡画像IMGに基づいて、被検体の粘膜と内視鏡10の先端部との距離に応じて吸引強弱判定を行う。具体的には、判定部160は、被検体の粘膜と内視鏡10の先端部との距離が吸引によって近づくほど、吸引を弱くする。
【0035】
本実施形態によれば、吸引オンオフのみによる腸のコントロールに比べて、吸引の強弱を用いることで、より適切な腸のコントロールが可能になる。これにより、より熟練者の吸引技術に近い自動吸引制御が実現される。
【0036】
また、他の例として、判定部160は、内視鏡画像IMGに基づいて、残渣、水、切除された組織、又は散布された薬液の少なくとも1つを認識し、認識した結果に応じて吸引要否判定と吸引強弱判定を行う。
【0037】
本実施形態によれば、残渣、水、切除された組織、又は散布された薬液が存在する場合に、吸引をオンすることで、それらを吸引できる。また、残渣、水、切除された組織、又は散布された薬液の量に応じて吸引強弱を自動制御できる。
【0038】
以上では内視鏡画像IMGに基づく自動吸引制御を説明したが、更に他の情報を用いて自動吸引制御が行われてもよい。一例として、情報取得部140は、内視鏡10の挿入部の形状を表す情報である挿入形状情報を取得してもよい。判定部160は、内視鏡画像IMGと挿入形状情報とに基づいて、吸引要否判定を行ってもよい。
【0039】
本実施形態によれば、検査状況の判定において、挿入部の位置と形状、或いはそれらの変化を直接的に判断できる。例えば、内視鏡10が位置する部位、医師が行っている操作、その操作量、操作時の手順、及び操作時の挿入部形状等を、判断できる。これにより、検査状況の判定精度を向上できる。
【0040】
以上では自動吸引制御について説明したが、第3詳細構成例で後述するように、更に自動送気制御を行ってもよい。即ち、判定部160は、内視鏡画像IMGに基づいて、送気が必要であるか否かを判定してもよい。制御部170は、判定部160により送気が必要であると判定された場合、送気を実施する制御を行ってもよい。
【0041】
患者にとって負担の少ない検査を行うため吸引で腸のコントロール等を行うが、状況によっては吸引のしすぎで腸がつぶれ、操作しにくくなることもある。本実施形態によれば、自動送気制御を行うことで、操作に最も適した状況を作ることが可能である。
【0042】
なお、以上に説明した制御装置100が行う処理は、以下のように制御方法として実施されてもよい。制御方法の実施主体は制御装置100に限らず、後述する内視鏡システム等、様々なシステム又は装置であってよい。制御方法は、内視鏡10により撮像された画像である内視鏡画像IMGを取得することと、内視鏡画像IMGに基づいて、吸引が必要であるか否かを判定する吸引要否判定を行うことと、吸引要否判定において吸引が必要であると判定された場合、吸引を実施する制御を行うことと、を含む。
【0043】
また、以上に説明した制御装置100の一部又は全部が、プロセッサによって実現されてもよい。その場合、制御装置100は下記のように構成されてもよい。
【0044】
制御装置100は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プログラムには、情報取得部140、判定部160及び制御部170の一部又は全部の機能が記述される。プロセッサは、そのプログラムを実行することで、情報取得部140、判定部160及び制御部170の一部又は全部の機能を実現する。
【0045】
プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子で構成することができる。1又は複数の回路装置は例えばIC等である。1又は複数の回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただし、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASIC(Application Specific Integrated Circuit)又はFPGA(Field Programmable Gate Array)等の集積回路装置でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、制御装置100の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0046】
また、上記プログラムは、例えばコンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、HDD、或いは半導体メモリなどにより実現できる。半導体メモリは例えばROM又は不揮発性メモリである。
【0047】
2.第1詳細構成例
以下、制御装置100を大腸の内視鏡検査に適用する例を説明するが、制御装置100の適用対象は大腸の内視鏡検査に限定されない。
【0048】
図2は、大腸の部位の説明図である。大腸の部位は、盲腸から肛門までの間に、上行結腸、肝彎曲、横行結腸、脾彎曲、下行結腸、SDJ、S状結腸、及び直腸がある。肝彎曲付近は右結腸部とも呼ばれ、脾彎曲付近は左結腸部とも呼ばれる。SDJは、Sigmoid Descending colon Junctionの略であり、S状結腸と下行結腸の境界部分である。上行結腸、下行結腸及び直腸は固定結腸であり、横行結腸及びS状結腸は自由結腸である。
【0049】
内視鏡検査において、患者への負担が少ない質の高い内視鏡検査を行うためには、非常に高度な技術が必要である。そのような検査を行うための重要な内視鏡操作の1つとして吸引操作がある。吸引操作は、腸管内の空気や水を吸うためだけでなく、(1)腸状態の認識と(2)腸のコントロールの役割も担っている。
【0050】
(1)の例としては、S状結腸において管腔が土管状に見えた場合、まず吸引を行い腸が吸引により近づくかどうかの状態を認識する。腸が近づく場合は、腸を短縮しながら挿入する軸保持短縮法を選択し、腸が近づかない場合は、スコープを押し操作しながら挿入するループ法を選択する。
【0051】
(2)の例としては、S状結腸を短縮しながらひだを越えて挿入していく際に、吸引しながら内視鏡を進めていくことで、内視鏡の先端と腸壁とを相対的に近づける。これにより、押し操作、トルク操作又はアングル操作により腸壁が遠ざかってしまう又は伸びてしまうことを、防いでいる。さらに、腸のコントロールにおいては、ベテランの医師は吸引ボタンを全押しだけでなく半押し、1/4押しを行うなど細かく吸引量の調節を行っている。
【0052】
これらの目的における吸引操作は、若手の医師にとっては非常に難しい。本実施形態の制御装置100は、吸引機能のアシストを行うことで若手の医師でもベテランの医師と同じような操作を実現でき、患者に負担の少ない質の高い検査を提供できる。なお、大腸の内視鏡検査においては、直腸から盲腸まで内視鏡を挿入した後、送気により腸管を膨らませ、内視鏡を抜去しながら観察を行う。本実施形態の制御装置100は、挿入時と観察時の両方において吸引制御を行う、或いは、挿入時のみにおいて吸引制御を行ってもよい。
【0053】
以下、本実施形態の制御装置100の詳細構成例を説明する。
図3は、制御装置100の第1詳細構成例である。制御装置100は、画像取得部141と検査状況判定部161と制御判定部162と制御部170とを含む。本構成例において、画像取得部141が
図1の情報取得部140に対応し、検査状況判定部161と制御判定部162が
図1の判定部160に対応する。なお、既に説明した構成要素と同じ構成要素については、その説明を適宜に省略する。
【0054】
画像取得部141は、内視鏡10が送信した内視鏡画像IMGを受信することで、内視鏡画像IMGを取得する。内視鏡画像IMGは、情報IFINとして検査状況判定部161へ入力される。なお、吸引装置から取得した吸引状況の情報が更に情報IFINとして検査状況判定部161へ入力されてもよい。
【0055】
検査状況判定部161は、情報IFINから直近状況と時系列状況を判定し、直近状況情報TYKと時系列状況情報JIKを出力する。検査状況判定部161は、直近状況判定部121と時系列状況判定部122とを含む。
【0056】
直近状況判定部121は、情報IFINから直近の内視鏡の挿入状況と腸の状況を認識し、その結果を直近状況情報TYKとして出力する。直近の状況とは、内視鏡10により撮影される動画のうち1枚の内視鏡画像IMGから認識される状況である。
【0057】
時系列状況判定部122は、情報IFINから時系列的な内視鏡の挿入状況と腸の状況を認識し、その結果を時系列状況情報JIKとして出力する。時系列的な状況とは、内視鏡10により撮影される動画のうち時系列の複数枚の内視鏡画像IMGから認識される状況である。
【0058】
制御判定部162は、直近状況情報TYK、時系列状況情報JIK、又はそれら両方に基づいて、吸引動作の制御を判定する。吸引動作の制御とは、吸引のオン/オフ、吸引の強弱、又は吸引経路の切り替えのうち少なくとも1つの制御である。吸引経路の切り替えとは、時系列状況判定部122からの情報に基づいて自動で吸引制御する自動吸引モードと、医師が手動で吸引操作するマニュアル吸引モードとの切り替えである。内視鏡10に吸引ボタンが設けられ、制御判定部162は、医師が意図的に吸引ボタンを押したことを検出したときに、自動吸引モードからマニュアル吸引モードに切り替える。マニュアル吸引モードにおいては、制御装置100による自動吸引制御が無効になり、吸引ボタンによる手動制御によって吸引装置30が動作する。
【0059】
以上のように、制御装置100は、現在の検査状況と腸の状況を内視鏡画像IMGから認識し、その状況に合わせて吸引の有無、又は吸引の有無及び吸引量の調整を行うことで挿入を支援する。内視鏡検査において、吸引は、挿入中において腸のコントロール、操作プランの決定、残渣の除去又は過送気の防止に関係し、観察又は治療中において水の除去、薬液の除去、又は腫瘍の除去に関係している。腸のコントロールとは、自由結腸の伸展防止、又は痛み発生の防止等である。制御装置100は、これらの吸引を支援することで、より患者に痛みのない適切な検査が提供できるとともに、医師への負担を減らした検査環境を提供できる。
【0060】
一例としては、制御装置100は、軸保持短縮法の際、内視鏡画像から内視鏡先端と腸壁との距離を判定し、その距離が最適になるように自動で吸引を行う。これにより、内視鏡先端と腸壁との距離が最適に保たれる。また、制御装置100は、吸引を適切なタイミングで行うだけでなく、吸引量も自動で調節する。これにより、吸引オンオフのみによる制御に比べて、より熟練者の吸引操作に近い自動吸引制御が実現される。また、制御装置100は、軸保持短縮法の際だけでなく、様々な吸引が必要な場面において吸引の有無、又は吸引の有無及び吸引量の調整を行う。様々な吸引が必要な場面とは、例えば、腸液が溜まっている、又は過送気になっている場面等である。これにより、軸保持短縮法において内視鏡先端と腸壁との距離を最適に保つだけでなく、様々な吸引が必要な場面において自動吸引制御が実現される。
【0061】
上述した特許文献1においては、鉗子チャンネル内に圧力センサを設置されており、内視鏡の体腔内圧調整装置は、その圧力センサの出力値に応じて自動で吸引を行い、体腔内圧を一定に保つ。本実施形態によれば、圧力センサの出力値ではなく、内視鏡画像から吸引の要否、又は吸引の要否及び強弱を判定する。これにより、軸保持短縮法における内視鏡先端と腸壁との最適な距離、又は腸液が溜まっている場面などの、圧力センサの出力値からでは分からない吸引が必要な状況においても、自動吸引制御が実現される。
【0062】
大腸内視鏡検査において吸引操作は欠かせない操作であり、その吸引のタイミングと吸引量が自動で調整されることで、腸の状態を適切に保つことができ、患者の苦痛度の低減、又は検査の質の向上が期待される。例えば、自由結腸に対する挿入時においては、吸引により腸を引き寄せ、内視鏡先端と腸壁との適切な距離を保つことにより、患者の苦痛につながる操作を低減する。また、吸引が自動化されることで、医師が他の操作に集中でき、また、送気による患者の痛みを防止できる。或いは、抜去時においては送気により腸管を膨らませるが、自動吸引制御によって、観察に適しており且つ患者の苦痛とならない腸管の状態を保ち、質の高い観察ができる。また、観察が完了した場合に、腸の空気を吸引して観察の支援と患者不快の低減を行うことも可能である。
【0063】
検査状況判定部161は、一例としては、ニューラルネットワーク等を用いた機械学習により実現される。具体的には、不図示のメモリは、推論アルゴリズムが記述されたプログラムと、その推論アルゴリズムに用いられるパラメータと、を学習済みモデルの情報として記憶する。そして、プロセッサは、学習済みモデルの情報に基づく処理を行う。即ち、プロセッサは、メモリに記憶されたパラメータを用いて、プログラムを実行することで、検査状況判定部161の処理を実行する。なお、検査状況判定部161の全体が1つの学習済みモデルにより実現されてもよいし、直近状況判定部121と時系列状況判定部122の各々が、個別の学習済みモデルにより実現されてもよい。
【0064】
推論アルゴリズムとしては、例えばニューラルネットワークを採用できる。ニューラルネットワークにおけるノード間接続の重み係数がパラメータである。ニューラルネットワークは、入力データが入力される入力層と、入力層を通じて入力されたデータに対し演算処理を行う中間層と、中間層から出力される演算結果に基づいて認識結果を出力する出力層と、を含む。推論アルゴリズムはニューラルネットワークに限らず、認識処理に用いられる様々な機械学習技術を採用できる。入力データは情報IFINであり、認識結果は、直近状況情報TYKと時系列状況情報JIKである。学習処理を実行する学習装置は例えばPC等の情報処理装置である。学習装置は、教師データを学習モデルに入力し、その認識結果に基づいて学習モデルにフィードバックを行うことで、学習済みモデルを生成する。教師データは、複数セットのデータを含み、各セットは、入力データと正解データとを含む。正解データは、入力データに対して得られるべき認識結果であり、予め医療従事者等により用意される。
【0065】
なお、検査状況判定部161だけでなく制御判定部162を含めて機械学習により実現されてもよい。この場合、ニューラルネットワークの出力層が出力する認識結果は、判定信号DTRである。或いは、認識結果は、判定信号DTR、直近状況情報TYK及び時系列状況情報JIKであってもよい。
【0066】
制御判定部162が機械学習以外のアルゴリズムにより制御判定を行う場合の一例としては、制御テーブルを用いる手法がある。具体的には、制御判定部162は、検査状況を示す複数のパラメータの組み合わせパターンと吸引の制御判定とを対応付けた制御テーブルを記憶している。検査状況判定部161が、情報IFINから各パラメータについて判定結果を出力し、制御判定部162が、検査状況判定部161が出力した複数のパラメータの判定結果に対応した制御判定結果をテーブルから参照することで、吸引の制御判定を行う。
【0067】
検査状況を示す複数のパラメータは、直近状況情報TYKと時系列状況情報JIKに対応するものであり、一例としては、内視鏡先端が位置する部位、内視鏡先端と腸壁との距離、その距離の変化、現在実施されている内視鏡の挿入方法、現在行われている内視鏡操作、癒着の有無、水の有無、残渣の有無、又は赤玉状態か否か、等を示す。例えば、制御テーブルにおいて、部位がS状結腸であり、挿入方法が軸保持短縮法であり、距離が所定値より大きいというパラメータパターンに対して、吸引オンの制御判定が対応付けられている。これに限らず、所望の吸引制御が実現されるように制御テーブルが構成されている。
【0068】
3.第2詳細構成例
第2詳細構成例として、自動吸引制御の具体例を示す。制御装置100の構成は
図3と同様である。
【0069】
図4は、S状結腸において軸保持短縮法を行うときの自動吸引制御の一例を示すフローチャートである。
【0070】
ステップS1において、画像取得部141が内視鏡10から内視鏡画像IMGを取得する。ステップS2において、検査状況判定部161が内視鏡画像IMGから部位を判定する。検査状況判定部161は、部位に応じて画像の特徴が異なることを利用して、内視鏡画像IMGから部位を認識する。なお、後述する挿入形状情報を用いる場合には、検査状況判定部161は、内視鏡挿入部のうち患者に挿入されている部分の長さを、挿入形状情報から取得し、その挿入長から部位を推定してもよい。
【0071】
ステップS2において、検査状況判定部161が、内視鏡10がS状結腸以外の部位に位置すると判定した場合、ステップS9において、制御判定部162が吸引オフと判定し、制御部170が吸引オフの制御信号CNTを出力する。
【0072】
ステップS2において、検査状況判定部161が、内視鏡10がS状結腸以外に位置すると判定した場合、ステップS3において、検査状況判定部161が、内視鏡画像IMGから、内視鏡10の先端部と腸壁との距離が至適距離であるか否かを判定する。至適距離は、アングル操作、トルク操作、又はそれら両方でヒダをめくることができる最適な挿入部と腸壁との距離である。
【0073】
ステップS3において、検査状況判定部161が、内視鏡10の先端部と腸壁との距離が至適距離であると判定したとき、ステップS4において、制御判定部162が吸引オフと判定し、制御部170が吸引オフの制御信号CNTを出力する。その後、ステップS1に戻る。
【0074】
ステップS3において、検査状況判定部161が、内視鏡10の先端部と腸壁との距離が至適距離でないと判定したとき、ステップS5において、制御判定部162が吸引オンと判定し、制御部170が吸引オンの制御信号CNTを出力する。
【0075】
ステップS6において、制御判定部162が吸引強弱判定を行う。
図5に、吸引強弱判定の第1例を示す。制御判定部162は、挿入部14の先端部と腸壁との距離が至適距離に近づくほど吸引を徐々に弱くするように判定し、制御部170は、その判定結果に応じた吸引量を指示する制御信号CNTを出力する。
図5には吸引の強弱を2段階に制御する例が示されており、土管状において距離Aのとき吸引が強に設定され、土管状において距離Aより小さい距離Bのとき、吸引が弱に設定される。
図5に示すように、吸引により腸管が萎むように畳み込まれていき、その萎む程度に応じて腸管の写り方が変化する。土管状のときには、腸管が管腔状に写り、至適距離のときには、畳み込まれた腸壁が写る状態となる。この腸管の写り方から挿入部14の先端部と腸壁との距離が推定可能である。例えば、距離は、撮像部の光軸方向における挿入部先端と腸壁との距離である。或いは、距離は、様々な方向における挿入部先端と腸壁との距離から総合的に判断されてもよい。吸引により至適距離となった場合には、ステップS4において吸引がオフされる。
【0076】
ステップS7において、検査状況判定部161が、吸引中における内視鏡画像IMGの変化から癒着の有無を判定する。腸管の癒着部分は吸引しても変化が生じにくいため、画像から癒着の有無を認識可能である。
【0077】
ステップS7において、検査状況判定部161が癒着無しと判定した場合、ステップS1に戻る。
【0078】
ステップS7において、検査状況判定部161が癒着有りと判定した場合、ステップS8において、検査状況判定部161が軸保持短縮法からループ法に操作プランを変更する。ステップS9において、操作プランがループ法に変更されたことを受けて、制御判定部162が吸引オフと判定する。
【0079】
図6は、距離以外の検査状況に基づく自動吸引制御の一例を示すフローチャートである。
【0080】
ステップS20において、画像取得部141が内視鏡10から内視鏡画像IMGを取得する。ステップS21において、検査状況判定部161が内視鏡画像IMGから赤玉状態か否かを判定する。赤玉状態とは、内視鏡10の先端部に設けられた対物レンズが粘膜に接触したことで、画像の一部又は全部が赤くなった状態であり、検査状況判定部161は、その画像から赤玉状態を認識可能である。
【0081】
ステップS20において、検査状況判定部161が赤玉状態であると判定した場合、ステップS22において、制御判定部162が吸引オフと判定し、制御部170が吸引オフの制御信号CNTを出力する。その後、ステップS20に戻る。
【0082】
ステップS20において、検査状況判定部161が赤玉状態でないと判定した場合、ステップS23において、検査状況判定部161が過送気であるか否かを判定する。管腔の太さによる画像の写り方、或いは画像に写るヒダの伸びた状態によって、過送気を認識可能である。
【0083】
ステップS23において、検査状況判定部161が過送気であると判定した場合、ステップS25において、制御判定部162が吸引オンと判定し、制御部170が吸引オンの制御信号CNTを出力する。
【0084】
ステップS23において、検査状況判定部161が過送気でないと判定した場合、ステップS24において、検査状況判定部161は水等が存在するか否かを判定する。水等とは、水、残渣、薬液又は組織片である。組織片は、観察又は治療において切除されたポリープ又は腫瘍等である。水又は薬液は、例えば内視鏡に設けられたポートからシリンジにより管腔内に注入される。或いは、水は、フットスイッチにより制御されるウォータージェットにより管腔内に注入される。
【0085】
ステップS24において、検査状況判定部161が水、残渣又は組織片が存在すると判定した場合、ステップS25において、制御判定部162が吸引オンと判定し、制御部170が吸引オンの制御信号CNTを出力する。
【0086】
ステップS26において、制御判定部162が吸引強弱判定を行う。
図7に、吸引強弱判定の第2例を示す。検査状況判定部161は、内視鏡画像から組織片の存在と、その組織片のサイズとを認識する。制御判定部162は、検査状況判定部161が認識した組織片のサイズが大きいほど吸引を強くするように判定する。制御部170は、判定結果に応じた吸引量を指示する制御信号CNTを出力する。なお、組織片のサイズが所定以上の場合には、組織片が吸引管を通過できないため、制御判定部162が吸引オフと判定する。吸引強弱判定の他の一例としては、制御判定部162は、内視鏡画像に写る水又は残渣の量が多いほど吸引を強くするように判定する。
【0087】
ステップS26の次に、又はステップS24において制御判定部162が水、残渣又は組織片が存在しないと判定したとき、ステップS27において、検査状況判定部161は検査が終了したか否かを判定する。検査状況判定部161は、医師からの入力情報に基づいて、或いは内視鏡画像から所定の状態を認識したとき、検査終了と判定する。所定の状態は、内視鏡10が直腸まで抜去されたこと、又は体外に内視鏡10が出たこと、である。
【0088】
ステップS27において、検査状況判定部161が、検査が終了していないと判定した場合、ステップS20に戻る。
【0089】
ステップS27において、検査状況判定部161が、検査が終了したと判定した場合、ステップS28において、制御判定部162が吸引オンと判定し、制御部170が吸引オンの制御信号CNTを出力する。ステップS29において、送気による腸管の膨らみが吸引により解除された後、制御判定部162が吸引オフと判定し、制御部170が吸引オフの制御信号CNTを出力する。
【0090】
以上のように本実施形態の制御装置100は、非固定部の腸に内視鏡10が挿入されているときに、吸引により腸壁を引き付けることで腸の伸展又は痛みを防止できる。また、制御装置100は、吸引のコントロールにより赤玉を防止すること、或いは、空気量を調整することで挿入性を改善できる。また、制御装置100は、非固定部または固定部の腸に内視鏡が挿入されているときに、水又は残渣等によって視界が不良になり挿入に支障が生じると判断した時に、吸引の自動コントロールを行うことで、挿入性を改善できる。
【0091】
なお、以上に説明した吸引制御は一例である。他の一例としては、検査状況判定部161が、横行結腸のミットトランス操作時において、内視鏡10の先端部がミットトランスを越えたと判定したとき、制御判定部162は、吸引オンと判定する。吸引により内視鏡10の先端部に腸壁を近づけ、ミットトランス操作に適した距離にできる。
【0092】
4.第3詳細構成例
図8は、制御装置100の第3詳細構成例である。本構成例では、制御装置100が自動吸引制御だけでなく自動送気制御も行う。自動吸引制御については上述した通りであり、以下では主に自動送気制御について説明する。
【0093】
図9は、自動送気制御の一例を示すフローチャートである。
【0094】
ステップS40において、画像取得部141が内視鏡10から内視鏡画像IMGを取得する。ステップS41において、検査状況判定部161が内視鏡画像IMGから部位を判定する。
【0095】
ステップS41において、検査状況判定部161が、内視鏡10がS状結腸以外の部位に位置すると判定した場合、ステップS42において、制御判定部162が送気オフと判定し、制御部170が送気オフの制御信号CNTを出力する。送気装置40は制御信号CNTを受けて送気をオフする。なお、吸気用の制御信号と送気用の制御信号をまとめてCNTと記載しているが、吸気と送気は独立に制御される。
【0096】
ステップS41において、検査状況判定部161が、内視鏡10がS状結腸以外に位置すると判定した場合、ステップS44において、検査状況判定部161が、内視鏡画像IMGから、内視鏡10の先端部と腸壁との距離が至適距離であるか否かを判定する。
【0097】
ステップS44において、検査状況判定部161が、内視鏡10の先端部と腸壁との距離が至適距離であると判定したとき、ステップS46において、制御判定部162が送気オフと判定し、制御部170が送気オフの制御信号CNTを出力する。送気装置40は制御信号CNTを受けて送気をオフする。その後、ステップS1に戻る。
【0098】
ステップS44において、検査状況判定部161が、内視鏡10の先端部と腸壁との距離が至適距離でないと判定したとき、ステップS45において、制御判定部162が送気オンと判定し、制御部170が送気オンの制御信号CNTを出力する。送気装置40は制御信号CNTを受けて送気をオンする。その後、ステップS1に戻る。
【0099】
患者にとって負担の少ない検査を行うため吸引で腸のコントロールを行うが、状況によっては吸引のしすぎで腸がつぶれ、操作しにくくなることもある。本実施形態では、自動送気制御を行うことで、操作に最も適した状況を作ることが可能である。
【0100】
5.内視鏡、吸引装置、及び送気装置
図10は、内視鏡10、吸引装置30及び送気装置40の詳細構成例である。
図10では、吸引と送気に関しない構成の図示を適宜に省略している。例えば、内視鏡10の照明装置、撮像装置及びアングル操作ダイヤル等の図示を省略している。なお、
図10に示す構成は一例であって、内視鏡10、吸引装置30及び送気装置40の構成、或いは構成要素間の接続関係は、
図10に限定されるものでない。
【0101】
内視鏡10は、吸引操作ボタン54と、吸引操作検出センサ55と、送気操作ボタン64と、送気操作検出センサ65と、ポート53と、挿入部14と、吸引口51と、吸引管52と、送気口61と、送気管62と、を含む。
【0102】
吸引管52は挿入部14内に設けられ、その一端は、挿入部14の先端に設けられた吸引口51に接続され、他端は、ポート53に接続されている。ポート53は、鉗子等の処置具を、吸引管52を経由して吸引口51から体腔内に挿入するため、或いはシリンジを用いて薬液等を、吸引管52を経由して吸引口51から体腔内に散布するために、設けられている。吸引管52はポート53付近で分岐し、その分岐した吸引管52は吸引装置30に接続されている。
【0103】
送気管62は、挿入部14、内視鏡把持部及びユニバーサルコード内に設けられ、その一端は、挿入部14の先端に設けられた送気口61に接続され、他端は、送気装置40に接続されている。
【0104】
吸引操作ボタン54、送気操作ボタン64、吸引操作検出センサ55及び送気操作検出センサ65は、内視鏡把持部に設けられている。吸引操作検出センサ55は、吸引操作ボタン54の押下を検出し、検出信号を制御判定部162に出力する。送気操作検出センサ65は、送気操作ボタン64の押下を検出し、検出信号を制御判定部162に出力する。
【0105】
吸引装置30は、吸引制御回路31と、吸引ポンプ32と、吸引槽34と、電磁弁35と、吸引量計測部37と、圧力センサ36と、を含む。
【0106】
ポート53付近から分岐した吸引管52は、吸引量計測部37、電磁弁35及び吸引槽34を経由して吸引ポンプ32に接続される。吸引制御回路31は、吸引ポンプ32の駆動回路と電磁弁35の駆動回路とを含み、制御部170が出力した制御信号CNTに応じて吸引ポンプ32と電磁弁35を駆動することで吸引オンオフと吸引強弱とを制御する。吸引量計測部37は、吸引ポンプ32により吸引される気体又は液体の吸引量を計測し、その計測値を検査状況判定部161に出力する。吸引量計測部37は、例えば流量センサである。
【0107】
圧力センサ36は、ポート53付近から分岐した吸引管52に接続される。圧力センサ36は、吸引管52内の圧力を計測し、その計測値を検査状況判定部161に出力する。
【0108】
送気装置40は、送気制御回路41と、送気ポンプ42と、電磁弁45と、を含む。
【0109】
送気管62は、電磁弁45を経由して送気ポンプ42に接続される。送気制御回路41は、送気ポンプ42の駆動回路と電磁弁45の駆動回路を含み、制御部170が出力した制御信号CNTに応じて送気ポンプ42と電磁弁45を駆動することで送気オンオフを制御する。
【0110】
経路切り替えにおいては、制御判定部162が、吸引操作検出センサ55からの検出信号に基づいて吸引操作ボタン54が操作されたことを認識したとき、自動吸引モードからマニュアル吸引モードに切り替える。マニュアル吸引モードにおいて、制御部170は、吸引操作検出センサ55からの検出信号を制御信号CNTとして吸引制御回路31に出力する。
【0111】
更に、制御判定部162が、送気操作検出センサ65からの検出信号に基づいて送気操作ボタン64が操作されたことを認識したとき、自動送気モードからマニュアル送気モードに切り替えてもよい。マニュアル送気モードにおいて、制御部170は、送気操作検出センサ65からの検出信号を制御信号CNTとして送気制御回路41に出力する。なお、第1、第2詳細構成例においては、送気の経路切り替えが省略されてもよく、マニュアル送気モードのみの構成としてもよい。即ち、送気操作検出センサ65からの検出信号が、直接に送気制御回路41に入力されてもよい。
【0112】
6.第4詳細構成例
図11は、制御装置100の第4詳細構成例である。本構成例では、制御装置100が更に支援情報生成部150を含む。自動吸引制御については上述した通りであり、以下では主に支援情報生成について説明する。なお、第3詳細構成例のように更に自動送気制御を組み合わせてもよい。
【0113】
支援情報生成部150は、情報IFINに応じた支援情報ASTを生成する。支援情報ASTは、患者への内視鏡の挿入を支援する情報である。具体的には、支援情報ASTは、患者に内視鏡を挿入する操作を行う医療従事者又は挿抜装置に対して提示又は通知される情報であって、現在の挿入状況に対して次にどのような操作を行うべきかを示す情報、或いは、医師が現在の挿入状況を把握するための情報等である。支援情報生成部150は、直近状況情報TYKと時系列状況情報JIKから内視鏡の挿入状況を把握し、その挿入状況に応じて支援情報ASTを生成する。挿入状況とは、内視鏡検査を進める手順において現れる所定の挿入状況であり、例えば所定の挿入部位置、所定の挿入部位置の変化、所定の挿入部形状、所定の挿入部形状の変化、所定の内視鏡操作、又は、それらのうち任意の2以上の組み合わせによって特定される。なお、挿入部形状、挿入部形状の変化、及び内視鏡操作の情報は、後述する挿入形状情報等によって取得されてもよい。
【0114】
図11には、支援情報生成部150が、支援情報ASTとして文字、記号又は画像等を表示装置220に表示させる例を示す。但し、支援情報ASTの提示手法は画像に限らず、音、音声、光又は振動等であってもよい。或いは、自動挿抜装置が用いられる場合には、自動挿抜装置の動作又は処理を行わせる制御信号が支援情報ASTとして自動挿抜装置に入力されてもよい。なお、支援情報ASTの提示と自動吸引制御は同時に行われてもよいし、或いは、場面に応じて支援情報ASTの提示と自動吸引制御の片方のみが稼働してもよい。
【0115】
支援情報提示の具体例を説明する。S状結腸又は横行結腸等の腸の非固定部に挿入する際の挿入方法があるが、各々の挿入方法において挿入手順を進めるときに現れる挿入部形状又は操作等の挿入状況がある。その各挿入状況において次に行うべき操作が決まっている。支援情報生成部150は、その挿入手順に従って支援情報ASTを生成する。
【0116】
本実施形態では、S状結腸又は横行結腸等の腸の非固定部に挿入が進んだ時に、自動吸引による腸のコントロールを行うだけでなく、操作支援情報も提示できる。これにより、更なる挿入性の改善と挿入支援を行うことができる。支援情報は、吸引により初めて判明する状況の情報を用いて生成及び提示されてもよい。吸引により初めて判明する状況は、例えば、癒着の有無又は使用可能な挿入法等であり、その状況に応じた挿入プラン等が支援情報として提示されてもよい。使用可能な挿入法は、例えばループ法又は軸保持短縮法等である。
【0117】
支援情報提示の第1例として、S状結腸における内視鏡操作において、制御装置100は以下のような支援情報ASTの提示又は自動吸引制御を行う。検査状況判定部161が、軸保持短縮法など吸引操作が必要な操作と判断した時、制御判定部162及び制御部170が自動吸引を行うとともに、支援情報生成部150が操作支援情報を提示する。検査状況判定部161が、内視鏡10がS状結腸に入ったことを認識したとき、支援情報生成部150が吸引操作を提示する、或いは、制御判定部162及び制御部170が吸引を自動実施する。
【0118】
また、支援情報生成部150は、吸引の状況を見て、次に提示する支援情報ASTの内容を変更する。吸引で腸壁が近づき、至適距離を保てた場合、支援情報生成部150は軸保持短縮法ガイドを呈示する。吸引により土管状から至適距離になるまでは、支援情報生成部150は、軸保持操作に加えて吸引操作のガイドを提示する。この時、自動吸引してもよい。赤玉になった場合は、支援情報生成部150は吸引中止を提示する、又は制御判定部162及び制御部170が吸引を自動停止する。吸引でも腸壁が近づかない場合は、支援情報生成部150は、Nループ法等のPush法のガイドを提示する。支援情報生成部150は、その時の状況に応じてガイド内容を逐次変更する。
【0119】
支援情報提示の第2例としては、検査状況判定部161が、横行結腸ショートニング操作など、吸引による腸のコントロールが必要な操作と判断した時、制御判定部162と制御部170が自動吸引を行うとともに、支援情報生成部150が操作支援情報を呈示する。検査状況判定部161が、ミットトランスを通過したと判定したとき、支援情報生成部150が吸引操作を提示する、又は制御判定部162及び制御部170が吸引を自動実施する。
【0120】
また、支援情報生成部150は、吸引の状況を見て、次に提示する支援情報ASTの内容を変更する。吸引で腸壁が近づき、至適距離を保てた場合、支援情報生成部150は吸引を用いたショートニング操作ガイドを呈示する。吸引でも腸壁が近づかない場合は、支援情報生成部150は、吸引を用いないショートニング操作ガイドを提示する。支援情報生成部150は、その時の状況に応じてガイド内容を逐次変更する。
【0121】
支援情報提示の第3例として管腔方向の提示がある。支援情報生成部150は、吸引の有無に応じて専用の管腔方向提示を行う。
図12は、管腔方向提示の一例を示すフローチャートである。
【0122】
ステップS60において、吸引が行われる。この吸引は、自動吸引制御による吸引であってもよいし、マニュアル操作による吸引であってもよい。ステップS61において、画像取得部141が内視鏡10から内視鏡画像IMGを取得する。
【0123】
ステップS62において、検査状況判定部161が、内視鏡画像IMGから管腔方向を判定する。ステップS63において、管腔方向を判定できたか否かを判断する。管腔方向を判定できなかった場合にはステップS60に戻り、管腔方向を判定できた場合には、ステップS64において、支援情報生成部150は、判定された管腔方向を表示装置220に表示する。
【0124】
吸引をしながらの操作時には、内視鏡画像IMGが吸引時特有の管腔画像又は赤玉状態になりやすいため、管腔の方向が分かりにくくなる。そこで、吸引時における管腔の内視鏡画像を予め学習させた学習済みモデルを生成しておき、検査状況判定部161は、その学習済みモデルを用いた推論処理によって吸引時専用の管腔認識を行う。そして、検査状況判定部161は、その認識結果とオプティカルフロー技術等を用いて管腔方向の推定と追跡を行い、支援情報生成部150は、その結果である管腔方向を逐次画面上に提示する。管腔追跡において、検査状況判定部161は、オプティカルフローなど画像を使って管腔方向を推定してもよいし、UPDなどの挿入形状情報から把握した内視鏡の動きを使用して管腔方向を推定してもよいし、医師に付されたセンサから取得した情報を基に管腔方向を推定してもよい。UPDと、医師に付すセンサについては後述する。また、吸引時は腸内の水分も一緒に吸引される。そのため、検査状況判定部161は、吸引による水の流れを内視鏡画像から推定し、その推定結果から管腔方向を予測し、支援情報生成部150は、その予測された管腔方向を提示してもよい。
【0125】
図13に、管腔方向提示画面の一例を示す。支援情報生成部150は、内視鏡画像と共に管腔方向を示す矢印を表示画像として表示装置220に表示させる。管腔方向を示す矢印が支援情報ASTに相当する。
図13では内視鏡画像と矢印を別個に示しているが、矢印が内視鏡画像上に重畳されてもよい。
【0126】
支援情報提示のその他の例として、検査状況判定部161は、管腔が開いていたら過送気の可能性もあると判断し、支援情報生成部150が吸引を提示する、又は制御判定部162及び制御部170が吸引を自動実施する。
【0127】
また、検査状況判定部161は、吸引時の腸壁の動きから癒着の判定をし、その結果を基に操作プランを変更する。例えば、検査状況判定部161は、S状結腸で癒着があると判断した場合、一般的な軸保持短縮法による挿入は困難であると判断する。軸保持短縮法における引き操作により癒着箇所を刺激してしまうと痛みが発生してしまうためである。このとき、支援情報生成部150は、癒着考慮を考慮した軸保持短縮法ガイド、又はPush法ガイドを呈示する。
【0128】
また、検査状況判定部161は、治療時においてポリープを取った際に、そのポリープの大きさと場所を判断し、ポリープを吸引で取るべきか、処置具を使用して取るべきかを判断する。支援情報生成部150は、その判断結果を支援情報ASTとして提示する。検査状況判定部161が、ポリープを吸引で取ると判断した場合、制御判定部162及び制御部170は、ポリープの大きさ又は状態に応じて吸引量を調節する。また、ポリープ吸引時、水も自動で内視鏡の吸引管内を流れるようにすることで、ポリープをキャッチするところにポリープが行きやすくする。
【0129】
7.内視鏡システム及び第5詳細構成例
以下、制御装置100が内視鏡画像IMG以外の情報を更に用いて自動吸引制御する場合の構成例を説明する。
【0130】
図14は、制御装置100を含む内視鏡システム400の構成例である。内視鏡システム400は、内視鏡装置300と挿入形状観測装置200とを含む。なお、制御装置100が挿入形状情報を用いない場合には、挿入形状観測装置200が設けられなくてもよい。
【0131】
内視鏡装置300は、内視鏡10と吸引装置30と送気装置40と光源装置330と信号処理装置310と表示装置320とを含む。光源装置330は照明光の発生と制御を行い、その照明光が内視鏡10の先端までライトガイドにより導光され、内視鏡10の先端から出射される。信号処理装置310は、内視鏡10が出力する画像信号を処理することで内視鏡画像を生成する。また信号処理装置310は、内視鏡10のID等を内視鏡種類情報として取得する。表示装置320は、信号処理装置310が生成した内視鏡画像を表示する。
【0132】
挿入形状観測装置200は、内視鏡形状取得センサ20と本体装置210と表示装置220とを含む。内視鏡形状取得センサ20は、内視鏡挿入部に設けられたソースコイルの磁界を検出する。本体装置210は、内視鏡形状取得センサ20からの検出信号に基づいて内視鏡挿入部の位置と形状を取得し、内視鏡挿入部の位置と形状を示す画像を表示装置220に出力する。表示装置220は、本体装置210が出力した画像を表示する。表示装置220と表示装置320はモニターとも呼ばれ、液晶表示装置等である。なお、内視鏡システム400に1つの表示装置が設けられ、内視鏡装置300と挿入形状観測装置200が、その1つの表示装置を共有してもよい。
【0133】
制御装置100は、信号処理装置310に設けられる。制御装置100には、信号処理装置310からの内視鏡画像と内視鏡種類情報、及び本体装置210が取得した内視鏡挿入部の位置と形状の情報等が入力される。なお、制御装置100は内視鏡システム400内のどこに設けられてもよい。
【0134】
図15は、内視鏡10と内視鏡形状取得センサ20の構成例である。
図15に示すように、内視鏡10は、操作部12と挿入部14とソースコイル18とを含む。
【0135】
挿入部14は可撓性のある細長い形状を有しており、その先端に設けられる硬質部16と、アングル操作可能な湾曲部15とを含む。硬質部16には撮像装置、照明レンズ、送水口、送気口及び鉗子口等が設けられる。
【0136】
操作部12は、ユーザが内視鏡10を操作するための装置であり、例えば把持部、アングル操作ダイヤル、及び送気送水ボタン等を含む。内視鏡操作について説明する。ユーザが把持部を挿入部14の長手方向に押すことで、挿入部14が挿入される。これを、押し操作と呼ぶ。また、ユーザが把持部を挿入部14の長手方向に引くことで、挿入部14が引き抜かれる。これを、引き操作と呼ぶ。ユーザが把持部を挿入部14の円周方向に回すことで、挿入部14が円周方向に回転する。これを、トルク操作と呼ぶ。ユーザがアングル操作ダイヤルを操作することで、挿入部14の湾曲部15が上下左右に屈曲する。これを、アングル操作と呼ぶ。
【0137】
ソースコイル18は、磁界を発生する。例えば、複数のソースコイル18が所定間隔で挿入部14に設けられる。内視鏡形状取得センサ20は、各ソースコイル18からの磁界を検出し、挿入形状観測装置200の本体装置210が、その検出信号に基づいて各ソースコイル18の位置を検出することで、挿入部14の各部の位置を検出する。また本体装置210は、検出された複数のソースコイル18の位置に基づいて、挿入部14の形状を検出する。なお、挿入形状観測のセンシング方式は、磁界を用いた方式に限定されず、例えば電磁波、超音波又は光等を用いた方式であってもよい。
【0138】
図16は、制御装置100の第5詳細構成例である。本構成例では、制御装置100が更に内視鏡形状取得部142と患者情報取得部143と操作観測情報取得部144と吸引量取得部145と圧力取得部146とを含む。本構成例において、画像取得部141、内視鏡形状取得部142、患者情報取得部143、操作観測情報取得部144、吸引量取得部145及び圧力取得部146が
図1の情報取得部140に対応する。なお、既に説明した構成要素と同じ構成要素については、その説明を適宜に省略する。
【0139】
なお、内視鏡形状取得部142、患者情報取得部143、操作観測情報取得部144、吸引量取得部145及び圧力取得部146の全てが設けられる必要はなく、これらのうち任意の1~5つの部が省略されてもよい。また、支援情報生成部150が省略されてもよいし、或いは第3詳細構成例のように更に自動送気制御を組み合わせてもよい。
【0140】
内視鏡形状取得部142は、内視鏡形状取得センサ20からの検出信号に基づいて挿入形状情報を取得する。患者情報取得部143は、電子カルテ600から患者情報を取得する。操作観測情報取得部144は、操作観測センサ700から操作観測情報を取得する。画像取得部141は、内視鏡10から内視鏡画像を取得する。吸引量取得部145は、吸引量計測部37から吸引量の計測値を取得する。圧力取得部146は、圧力センサ36から圧力の計測値を取得する。
【0141】
挿入形状情報、患者情報、操作観測情報、内視鏡画像、吸引量の計測値、及び圧力の計測値は、情報IFINとして検査状況判定部161に入力される。検査状況判定部161は、情報IFINに基づいて複数の検査状況のうちいずれの検査状況に該当するかを判定する。検査状況は、例えば内視鏡の挿入状況、操作状況、或いは腸の状態等を含む。具体的には、検査状況判定部161は、情報IFINに基づいて検査状況を分類し、その分類結果に基づいて直近状況情報TYKと時系列状況情報JIKを出力する。
【0142】
挿入形状情報は、内視鏡挿入部の位置と形状の情報であり、上述した挿入部形状観測装置により取得される。検査状況判定部161は、内視鏡挿入部の位置と形状から、それらの変化を認識し、その認識結果を上記分類において用いてもよい。
【0143】
検査状況の判定において挿入形状情報を用いることで、挿入部の位置と形状、或いはそれらの変化を直接的に判断できる。例えば、内視鏡10が位置する部位、医師が行っている操作、その操作量、操作時の手順、及び操作時の挿入部形状等を、判断できる。これにより、検査状況の判定精度を向上できる。
【0144】
操作観測センサ700は、内視鏡10を操作する医師等の動きを計測できるセンサであり、例えばモーションキャプチャセンサである。操作観測センサ700は、医師等に装着されるセンサであってもよいし、医師等から離れた場所から医師等の動きを計測するセンサであってもよい。操作観測情報取得部144は、計測された医師等のモーション情報を操作観測情報として取得する。
【0145】
検査状況の判定において操作観測情報を用いることで、医師等が行っている操作を直接的に判断できる。例えば、医師等が行っている操作、その操作量、操作時の手順、現在採用されている操作法において正しい手順であるか否か等を、判断できる。これにより、検査状況の判定精度を向上できる。
【0146】
電子カルテ600は、患者の属性に関する情報である患者情報を蓄積する。電子カルテ600は、例えば内視鏡システム400の外部に設けられた記憶装置に格納されており、患者情報取得部143は、その記憶装置から患者情報を取得する。患者情報は、例えば、患者の体格、性別、年齢、既往歴、体脂肪率、CT画像又はそれらのうち任意の2以上の組み合わせである。体格は、BMI、身長、体重又はそれらのうち任意の2以上の組み合わせである。また、患者情報は、過去の検査情報を含んでもよい。過去の検査情報は、例えば、どの挿入法が用いられたか、どのスコープが使用されたか、挿入時の吸引の履歴、痛みが発生したか、又はそれらのうち任意の2以上の組み合わせである。
【0147】
検査状況の判定において患者情報を用いることで、検査を受けている患者の情報に基づく支援情報の提示又は自動吸引制御を実現できる。例えば、CT画像を使用した場合は、患者の腸形状が分かるため、この情報を基に理想の挿入プランを作成できる。このとき、その挿入プランにおいて最適な自動吸引制御が行われてもよい。また、作成した腸MAPと各取得情報を比較し、逐次最適なガイドを提示できる。観察時又は治療時において、CT画像にポリープの場所をあらかじめ重畳することで、ポリープを逐一探す時間を短縮し、スムーズに治療に移行できる。また、発見したポリープが以前にもあったものか、新規のものかも判断できる。
【0148】
圧力センサ36については、
図10で上述した通りである。検査状況の判定において圧力の計測値を用いることで、管腔内圧に基づく管腔状況を判断できる。これにより、検査状況の判定精度を向上できる。例えば、管腔内圧から過送気等を判断できる。或いは、吸引管が詰まる等により吸引できていない場合に、それを圧力センサの計測値から推定できるため、吸引しても腸壁が近づかない場合に、癒着等が原因か故障が原因かを、判別可能となる。
【0149】
吸引量計測部37については、
図10で上述した通りである。検査状況の判定において吸引量の計測値を用いることで、吸引量に基づく検査状況を判断できる。これにより、検査状況の判定精度を向上できる。例えば、適切なタイミングで吸引がオン又はオフされているか、或いは適切な吸引強弱で吸引されているか否か等を判断できる。
【0150】
以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【0151】
10 内視鏡、12 操作部、14 挿入部、15 湾曲部、16 硬質部、18 ソースコイル、20 内視鏡形状取得センサ、30 吸引装置、31 吸引制御回路、32 吸引ポンプ、34 吸引槽、35 電磁弁、36 圧力センサ、37 吸引量計測部、40 送気装置、41 送気制御回路、42 送気ポンプ、45 電磁弁、51 吸引口、52 吸引管、53 ポート、54 吸引操作ボタン、55 吸引操作検出センサ、61 送気口、62 送気管、64 送気操作ボタン、65 送気操作検出センサ、100 制御装置、121 直近状況判定部、122 時系列状況判定部、140 情報取得部、141 画像取得部、142 内視鏡形状取得部、143 患者情報取得部、144 操作観測情報取得部、145 吸引量取得部、146 圧力取得部、150 支援情報生成部、160 判定部、161 検査状況判定部、162 制御判定部、170 制御部、200 挿入形状観測装置、210 本体装置、220 表示装置、300 内視鏡装置、310 信号処理装置、320 表示装置、330 光源装置、400 内視鏡システム、600 電子カルテ、700 操作観測センサ、AST 支援情報、CNT 制御信号、IMG 内視鏡画像