(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022132940
(43)【公開日】2022-09-13
(54)【発明の名称】内視鏡及び内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20220906BHJP
A61B 1/00 20060101ALI20220906BHJP
G02B 23/24 20060101ALI20220906BHJP
G01S 17/89 20200101ALI20220906BHJP
【FI】
A61B1/045 618
A61B1/00 553
A61B1/045 622
G02B23/24 A
G01S17/89
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021031697
(22)【出願日】2021-03-01
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】西村 哲矢
(72)【発明者】
【氏名】吉森 悠
(72)【発明者】
【氏名】増野 進吾
(72)【発明者】
【氏名】鈴木 裕章
(72)【発明者】
【氏名】原田 高志
【テーマコード(参考)】
2H040
4C161
5J084
【Fターム(参考)】
2H040DA12
2H040DA15
2H040DA22
2H040DA52
2H040DA54
2H040GA02
4C161AA00
4C161BB01
4C161BB08
4C161CC06
4C161DD03
4C161FF35
4C161HH52
4C161HH53
4C161LL02
4C161NN01
4C161NN05
4C161WW02
4C161WW04
4C161WW08
4C161WW13
5J084AA04
5J084AA13
5J084AB07
5J084AD01
5J084BA03
5J084BA36
5J084BA40
5J084BB40
5J084CA03
5J084CA31
5J084CA65
5J084EA07
5J084EA40
(57)【要約】
【課題】疾病の見逃しのリスクの低減、病変部の見えていないところに対する事前の報知及び検査時間の増加を抑え、生体内の組織表面へのダメージリスクを低減できる内視鏡及び内視鏡システムを提供する。
【解決手段】内視鏡は、先端側に先端部を有し、被検体内に挿入される挿入部と、先端部に配置され被検体内の光学画像を取得可能な撮像ユニットと、挿入部に配置され被検体内の三次元情報を取得可能なLiDARユニットと、を備える内視鏡であって、LiDARユニットは、被検体内の三次元情報として、撮像ユニットによって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
先端側に先端部を有し、被検体内に挿入される挿入部と、
前記先端部に配置され前記被検体内の光学画像を取得可能な撮像ユニットと、
前記挿入部に配置され前記被検体内の三次元情報を取得可能なLiDARユニットと、を備える内視鏡であって、
前記LiDARユニットは、前記被検体内の三次元情報として、前記撮像ユニットによって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得する、内視鏡。
【請求項2】
前記特異形状は、病変部に関する形状である、請求項1に記載の内視鏡。
【請求項3】
前記LiDARユニットは、前記被検体内の三次元情報として、前記挿入部が挿入された前記被検体の体腔に関する体腔情報を取得する、請求項1又は2に記載の内視鏡。
【請求項4】
請求項1から3のいずれか一項に記載の内視鏡と、
前記撮像ユニット及び前記LiDARユニットの間で信号の送受信を行う、プロセッサ及びメモリを備えるプロセッサ装置と、
を備える内視鏡システムであって、
前記プロセッサは、前記LiDARユニットにより取得された前記特異形状情報に基づき前記特異形状を検出する、内視鏡システム。
【請求項5】
前記メモリは、病変部の形状に関する情報を記憶し、
前記プロセッサは、前記LiDARユニットにより取得された前記三次元情報の中から、前記メモリに記憶された前記病変部の形状に関する情報との類似度を求めて前記特異形状を検出する、請求項4に記載の内視鏡システム。
【請求項6】
前記プロセッサは、前記特異形状を検出したことを報知する報知処理を実行する、請求項4又は5に記載の内視鏡システム。
【請求項7】
前記プロセッサは、前記特異形状を検出したことを前記メモリに記憶し、かつ、任意のタイミングで前記特異形状を検出したことを報知する報知処理を実行する、請求項6に記載の内視鏡システム。
【請求項8】
前記プロセッサは、前記特異形状を検出した際、音による報知処理を実行する、請求項6又は7に記載の内視鏡システム。
【請求項9】
前記プロセッサ装置に接続される表示装置を備え、
前記プロセッサは、前記表示装置に前記光学画像を表示し、前記特異形状を検出した際、前記表示装置への表示による報知処理を実行する、請求項6から8のいずれか一項に記載の内視鏡システム。
【請求項10】
前記プロセッサ装置に接続される表示装置を備え、
前記LiDARユニットは、前記被検体内の三次元情報として、前記挿入部が挿入された前記被検体の体腔に関する体腔情報を取得し、
前記プロセッサは、前記LiDARユニットが取得した前記体腔情報に基づいて前記被検体の体腔の三次元モデルを作成する、請求項4から9のいずれか一項に記載の内視鏡システム。
【請求項11】
前記プロセッサは、前記三次元モデルにおける前記特異形状の位置を位置情報として前記メモリに記憶する、請求項10に記載の内視鏡システム。
【請求項12】
前記プロセッサは、前記表示装置に、前記メモリに記憶された位置情報に基づき前記特異形状の位置を含む前記三次元モデルを表示する、請求項11に記載の内視鏡システム。
【請求項13】
前記プロセッサは、前記表示装置に、前記三次元モデルの中に前記先端部の位置を表示する、請求項12に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡及び内視鏡システムに関する。
【背景技術】
【0002】
一般的に、多くの内視鏡は、先端部に撮像ユニットを備え、被検体に挿入されると、撮像ユニットにより、先端部の長軸方向前方を観察する。近年、内視鏡において、観察対象までの距離を取得することが行われており、特許文献1では撮像ユニット以外に距離センサを備える内視鏡が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2014-117446号公報
【特許文献2】特許5993370号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、生体内の組織表面の一例である、大腸をはじめとする消化管は特有のひだを有している。そのため、撮像ユニットにより、先端部の長軸方向前方を観察する場合、さらに距離センサで距離を測定する場合において、ひだが病変を内視鏡から隠すことがある。すなわち、ひだの裏側等の死角に存在する病変部が見逃す恐れがある。
【0005】
一方で、特許文献2には先端にバルーンや複数突起形状を持たせた内視鏡によって、ひだを物理的に引き延ばし観察可能な領域を拡大する手法も知られている。しかしながら、ひだを物理的に引き延ばすことによる検査時間の増加、消化管へのダメージリスクなどが懸念され、結果的に患者への負担が増加する恐れがある。
【0006】
本発明はこのような事情に鑑みてなされたものであり、病変部の見逃しリスクの低減、病変部の見えていないところに対する事前の報知及び検査時間の増加を抑え、生体内の組織表面へのダメージリスクを低減できる内視鏡及び内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
第1形態の内視鏡は、先端側に先端部を有し、被検体内に挿入される挿入部と、先端部に配置され被検体内の光学画像を取得可能な撮像ユニットと、挿入部に配置され被検体内の三次元情報を取得可能なLiDARユニットと、を備える内視鏡であって、LiDARユニットは、被検体内の三次元情報として、撮像ユニットによって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得する。
【0008】
第2形態の内視鏡において、特異形状は、病変部に関する形状である。
【0009】
第3形態の内視鏡において、LiDARユニットは、被検体内の三次元情報として、挿入部が挿入された被検体の体腔に関する体腔情報を取得する。
【0010】
第4形態の内視鏡システムは、上記の内視鏡と、撮像ユニット及びLiDARユニットの間で信号の送受信を行う、プロセッサ及びメモリを備えるプロセッサ装置と、を備え、プロセッサは、LiDARユニットにより取得された特異形状情報に基づき特異形状を検出する。
【0011】
第5形態の内視鏡システムにおいて、メモリは、病変部の形状に関する情報をメモリに記憶し、プロセッサは、LiDARユニットにより取得された三次元情報の中から、メモリに記憶された病変部の形状に関する情報との類似度を求めて特異形状を検出する。
【0012】
第6形態の内視鏡システムにおいて、プロセッサは、特異形状を検出したことを報知する報知処理を実行する。
【0013】
第7形態の内視鏡システムにおいて、プロセッサは、特異形状を検出したことをメモリに記憶し、かつ、任意のタイミングで特異形状を検出したことを報知する報知処理を実行する。
【0014】
第8形態の内視鏡システムにおいて、プロセッサは、特異形状を検出した際、音による報知処理を実行する。
【0015】
第9形態の内視鏡システムにおいて、プロセッサ装置に接続される表示装置を備え、プロセッサは、表示装置に光学画像を表示し、特異形状を検出した際、表示装置への表示による報知処理を実行する。
【0016】
第10形態の内視鏡システムにおいて、プロセッサ装置に接続される表示装置を備え、LiDARユニットは、被検体内の三次元情報として、挿入部が挿入された被検体の体腔に関する体腔情報を取得し、プロセッサは、LiDARユニットが取得した体腔情報に基づいて被検体の体腔の三次元モデルを作成する。
【0017】
第11形態の内視鏡システムにおいて、プロセッサは、三次元モデルにおける特異形状の位置を位置情報としてメモリに記憶する。
【0018】
第12形態の内視鏡システムにおいて、プロセッサは、表示装置に、メモリに記憶された位置情報に基づき特異形状の位置を含む三次元モデルを表示する。
【0019】
第13形態の内視鏡システムにおいて、プロセッサは、表示装置に、三次元モデルの中に先端部の位置を表示する。
【発明の効果】
【0020】
本発明によれば、病変部の見逃しリスクの低減、病変部の見えていないところに対する事前の報知及び検査時間の増加を抑え、生体内の組織表面へのダメージリスクを低減できる。
【図面の簡単な説明】
【0021】
【
図1】
図1は内視鏡システムの構成の一例を示す概略構成図である。
【
図4】
図4はCPUで実現される処理機能を示すブロック図である。
【
図5】
図5は内視鏡による被検体内の観察を説明する図である。
【
図6】
図6は
図5の位置P1での観察画像を説明するための図である。
【
図7】
図7は
図5の位置P2での観察画像を説明するための図である。
【
図8】
図8は
図5の位置P3での観察画像を説明するための図である。
【
図9】
図9は内視鏡によるひだの裏側の観察状態を説明する図である。
【
図10】
図10は観察画像と三次元モデルとを表示装置に表示させた場合の模式図である。
【
図12】
図12は超音波内視鏡システムの構成の一例を示す概略構成図である。
【
図14】
図14は超音波内視鏡による被検体内の観察を説明する図である。
【
図15】
図15は超音波画像と三次元モデルとを表示装置に表示させた場合の模式図である。
【発明を実施するための形態】
【0022】
以下、添付図面にしたがって、実施形態の内視鏡及び内視鏡システムの好ましい実施形態について説明する。
【0023】
<内視鏡システムの構成図>
図1は、内視鏡10を備えた内視鏡システム1の構成図である。内視鏡システム1は、内視鏡10、光源装置14、プロセッサ装置16及び表示装置18を備える。
【0024】
内視鏡10は、操作部材が配置された操作部22と、操作部22の先端側に設けられ、被検体内に挿入される挿入部24と、を備える。挿入部24は、基端から先端に向かう長軸方向Axを有し、基端から先端に向って順に軟性部26と、湾曲部28と、先端部30とを備えている。
【0025】
操作部22は、全体として略円筒状に構成される。操作部22は、操作部本体34と、操作部本体34に連接された把持部36と、を有する。把持部36の先端側に、挿入部24の基端が、折れ止め管38を介して設けられる。
【0026】
操作部本体34には、操作部材の一つして湾曲部28を湾曲操作する一対のアングルノブ40、40及びロックレバー42、42が設けられる。操作部本体34には、送気送水ボタン44と、吸引ボタン46と、複数の操作ボタン48とが長軸方向Axに沿って並列して配置される。操作ボタン48は、観察した光学画像の静止や記録等の操作及びその機能を切り替えるためのボタンである。
【0027】
操作部22の把持部36には、処置具を導入する処置具導入口52が配置される。処置具導入口52から導入された処置具(不図示)は、処置具チャンネルに挿通され、先端部30の先端から外部に導出される。
【0028】
操作部本体34には、ユニバーサルケーブル54が備えられる。ユニバーサルケーブル54の先端側には、コネクタ装置56が設けられる。コネクタ装置56は光源装置14に着脱自在に接続される。光源装置14はプロセッサ装置16と電気的に接続しており、内視鏡10のコネクタ装置56は光源装置14を介してプロセッサ装置16と接続する。光源装置14とコネクタ装置56とは制御信号、画像信号等を光通信の送受信できる。光源装置14は、コネクタ装置56を介して光通信で送受信した制御信号等をプロセッサ装置16に伝送する。光源装置14はコネクタ装置56を介して内視鏡10を駆動するための電力を無線で供給する。
【0029】
<内視鏡の先端部>
図2は内視鏡の先端部の拡大図である。内視鏡10の先端部30は平面視で略円形の形状を有する。先端部30の先端面には、観察窓70と、観察窓70の両側に配置される2個の照明窓72と、鉗子口74と、送気送水ノズル75とが配置される。
【0030】
操作部本体34の送気送水ボタン44(
図1参照)を操作することにより、送気送水ノズル75にエア又は水を供給できる。送気送水ボタン44は、2段階操作可能なボタンであり、1段目の操作によってエアを供給し、2段目の操作によって水を供給する。処置具導入口52から導入された処置具が鉗子口74から突出される。吸引ボタン46を操作すると、鉗子口74から血液等の体液が吸引される。
【0031】
内視鏡10において、LiDAR(light detection and ranging)ユニット76が配置される。LiDARユニット76は、レーザ光源78と、光センサ80と、後述する制御回路とを備える。LiDARユニット76は、レーザ光源78からレーザ光を対象物に照射し、対象物に当たって跳ね返ってくるレーザ光を光センサ80で検出することにより、対象物に当たって跳ね返ってくるまでの時間を計測する。これにより対象物までの距離や方向が測定される。LiDARユニット76は、対象物までの距離の情報を点群として取得することで、三次元情報を取得できる。
【0032】
<内視鏡システムのブロック図>
図3は、内視鏡システム1のブロック図である。
図3に示すように、内視鏡10の先端部30に、撮像ユニット100及びLiDARユニット76が配置され、プロセッサ装置16との間で信号の送受信可能に構成される。
【0033】
撮像ユニット100は、撮像レンズ101と、撮像レンズ101に対し基端の側に配置される撮像素子102と、AFE(Analog Front End)103と、制御回路104とを備える。
【0034】
撮像ユニット100は、観察窓70に対応する位置に撮像レンズ101が配置される。撮像素子102は、例えば、CMOS(Complementary MOS)型のカラー撮像素子である。
【0035】
長軸方向Axから前方を直視した観察像が撮像レンズ101を介して撮像素子102に取り込まれる。撮像素子102は観察像を電気信号に変換する。AFE103により撮像素子102からのアナログ信号が調整される。制御回路104は撮像素子102の動作を制御する。内視鏡10の挿入部24(
図1参照)を被検体内に挿入することにより、撮像ユニット100は被検体内の光学画像を取得できる。撮像ユニット100は光学画像を取得できれば、その構成は適宜変更でき、
図3の構成に限定されない。
【0036】
内視鏡10の先端部30の先端面の側に、LiDARユニット76が配置される。LiDARユニット76は、レーザ光源78及び光センサ80と、レーザ光源78及び光センサ80の基端の側に配置される制御回路82と、を備える。
【0037】
LiDARユニット76のレーザ光源78は、例えば、垂直共振面発光レーザ(VCSEL:Vertical Cavity Surface Emitting Laser)を適用できる。光センサ80は、例えば、単一光子アバランシェダイオード(SPAD:Single Photon Avalanche Diode)を適用できる。また、図示しない回折光学素子(DOE:Diffractive Optical Element)をレーザ光源78の照射面の配置することにより、レーザ光源78からのレーザ光が所定の方向、また所定のパターンで照射される。
【0038】
制御回路82はLiDARユニット76の全体を制御する。LiDARユニット76の制御回路82は、レーザ光源78からレーザ光を対象物に照射し、対象物に当たって跳ね返ってくるレーザ光を光センサ80で検出することにより、対象物に当たって跳ね返ってくるまでの時間を計測する。これにより対象物までの距離や方向が測定される。LiDARユニット76は、対象物までの三次元情報を点群として取得する。内視鏡10を被検体内に挿入することにより、LiDARユニット76は被検体内の三次元情報を取得できる。LiDARユニット76は三次元情報を取得できれば、その構成は適宜変更でき、
図3の構成に限定されない。LiDARユニット76により取得される被検体内の三次元情報は、被検体の体腔に関する体腔情報及び病変部に関する形状に代表される特異形状に関する特異形状情報を含むことができる。
【0039】
先端部30には、2個のライトガイド110が配置される。2個のライトガイド110の出射面が2個の照明窓72のそれぞれに対応するように位置決めされる。
【0040】
光源装置14は、照明用の光源140と、光源制御回路141とを備える。光源装置14は、光源140からの光をライトガイド110の入射端に入射させる。光源140の照明光の照度は、光源制御回路141により制御される。
【0041】
プロセッサ装置16は、画像入力コントローラ161とCPU(Central Processing Unit;中央処理装置)162とを備える。撮像ユニット100から出力された光学画像が画像入力コントローラ161を介して、CPU162に入力される。CPU162は光学画像に必要な画像処理を実行する。表示制御部163はCPU162により画像処理された光学画像を表示装置18に表示する。術者は、表示装置18に表示された被検体内の光学画像を視認できる。
【0042】
CPU162は、光学画像に対して画像処理の他、表示装置18に表示する光学画像の切替や重畳処理、電子ズーム処理、操作モードに応じた光学画像の表示切替、光学画像からの特定成分(例えば、輝度信号)の抽出等を行う。
【0043】
LiDARユニット76により取得された被検体内の三次元情報はCPU162に入力される。CPU162は、被検体内の三次元情報に対し各種の処理を実行する。CPU162は、被検体内の三次元情報に含まれる特異形状情報に基づき特異形状を検出できる。また、CPU162は、被検体内の三次元情報の体腔情報に基づき三次元モデルを作成できる。
【0044】
CPU162が特異形状を検出したことを示す存在情報、及び/又は作成された三次元モデルが、表示制御部163を介して表示装置18に表示される。CPU162は、特異形状の存在情報と光学画像との重畳処理、光学画像と特異形状及び三次元モデルとの分離処理等を実行する。CPU162による処理結果が、表示制御部163を介して表示装置18に表示される。
【0045】
メモリ165は、CPU162が行う処理に必要な情報、例えば、プログラム、光学画像、三次元情報、CPU162等の処理に伴って生成される情報、入力された任意の情報等を記憶する。メモリ165の記憶されていない情報は、内視鏡システム1の外部から記録媒体、ネットワークを介して取得できる。ネットワーク上のデータベース等の外部メモリが、内視鏡システム1のメモリの一部として使用される。
【0046】
音処理部166は、CPU162のからの信号に基づいてスピーカ167から音を出力させる。音は、警告音、音声等、術者が認識できる限りにおいて、その種類は限定されない。音処理部166は、音を生成してもよいし、メモリ165に記憶された音を利用してもよい。
【0047】
プロセッサ装置16は、操作部168を備える。操作部168は図示しない操作モード設定切替スイッチを備える。光源装置14の照射を操作できる。術者等は、操作部168及び入力インターフェイス(I/F)169を介して、CPU162に各処理を指示できる。
【0048】
CPU162は、撮像ユニット100の制御回路104と、LiDARユニット76の制御回路82と、光源装置14の光源制御回路141等、内視鏡システム1の全体を制御できる。
【0049】
図4は、CPU162で実現される処理機能を示すブロック図である。CPU162は、例えば、画像処理部170と、検出処理部171と、報知処理部172と、三次元モデル作成部173と、位置検出処理部174とを備えることができる。画像処理部170、検出処理部171、報知処理部172、三次元モデル作成部173及び位置検出処理部174はCPU162の一部であり、プロセッサであるCPU162が各部の処理を実行する。
【0050】
<内視鏡による観察>
図5は内視鏡の挿入部を被検体内に挿入した状態を示す図である。
図5においては、内視鏡10が、例えば、消化管の一つである大腸200に挿入され、位置P1、位置P2及び位置P3で観察を行うことを示す。位置P1、位置P2及び位置P3は、内視鏡10を大腸200に沿って矢印に示す前進方向F、又は矢印に示す後退方向Bに移動することにより変更できる。
図5では、位置P1、位置P2及び位置P3における内視鏡10は重ねて表示されている。生体内の組織表面として消化管の内壁を例示したが、呼吸器(気管、気管支等)等の生体内の組織表面を含むことができる。
【0051】
大腸200は、内面に複数のひだ201を有している。ひだ201の表側(内視鏡10の後退方向Bを向く側)にポリープ等の病変部202、又はひだ201の裏側(内視鏡10の前進方向Fを向く側)に病変部202が存在し得る。ひだ201の表側の存在する病変部202は、内視鏡10の撮像ユニット100により比較的容易に観察できる。一方で、ひだ201の裏側に存在する病変部202は、死角となるため撮像ユニット100により観察することが難しくなる。
【0052】
実施形態の内視鏡10は、先端部30には、撮像ユニット100と、LiDARユニット76とを備え、大腸200の内面を観察する。視野範囲V1は撮像ユニット100の視野範囲であり、視野範囲V2はLiDARユニット76の視野範囲である。LiDARユニット76が取得する三次元情報には、撮像ユニット100によって撮像可能な撮像領域以外に存在する特異形状に関する情報(以下、「特異形状情報」という。)が含まれる。すなわち、LiDARユニット76は、被検体内の三次元情報として、視野範囲V1で示される撮像ユニット100によって撮像可能な撮像領域における、視認可能領域及び視認不能領域に存在する特異形状に関する特異形状情報を取得可能である。なお、本例における特異形状情報は、特異形状を特定する点群までの距離を示す距離情報であるが、特異形状を特定できるものであれば他の情報であってもよい。LiDARユニット76の視野範囲V2は、撮像領域における、視認可能領域及び視認不能領域を含む。ここで、
図5において、被検体内の三次元情報は、例えば、大腸200の内面の三次元情報である。
【0053】
撮像ユニット100における、視認不能領域は、
図5において、撮像領域の観察対象の裏面、例えば、ひだ201に隠れた領域である。視認不能領域として、ひだ201に隠れた領域の他、経路の先で曲がってブラインドになっている領域、内視鏡10を後退方向Bに移動する際の手前側等を例示できる。
【0054】
したがって、内視鏡10は、撮像ユニット100以外に、LiDARユニット76を備えることにより、ひだ201の裏側等の視認不能領域に存在する病変部202の存在を検出することが可能になる。LiDARユニット76を備えることにより、視認能領域に存在する病変部202の存在を検出することも可能になる。
【0055】
図6から
図8は、
図5の位置P1、位置P2及び位置P3に対応する観察画像を示す。
図6の観察画像は位置P1に対応し、
図7の観察画像は位置P2に対応し、
図8の観察画像は位置P3に対応する。なお、
図6、
図7及び
図8には光学画像DP1、DP2及びDP3が示されるが、位置P1、P2及びP3と対応付けされない場合、単に光学画像DPと称する場合がある。
【0056】
図6に示すように、観察画像として、内視鏡10が位置P1に位置する場合において、視野範囲V1の撮像ユニット100により取得された光学画像DP1が表示される。撮像ユニット100により取得される光学画像DP1は、画像処理部170(
図4参照)により画像処理等が実行され、表示装置18に表示される。光学画像DP1は、大腸200の内面に存在するひだ201と、ひだ201の表側に存在する病変部202とを含んでいる。
【0057】
LiDARユニット76は、撮像ユニット100が光学画像DP1を取得する間、視野範囲V2における三次元情報を取得する。被検体内の三次元情報はCPU162(
図5参照)に入力され、検出処理部171が検出処理を実行する。後述するように、検出処理部171はLiDARユニット76により取得された三次元情報の中から、特異形状に関する特異形状情報を抽出することで、特異形状を検出する。ここで、LiDARユニット76が取得した三次元情報には、撮像ユニット100の視認不能領域であるひだ201の裏側に存在する病変部202に代表される特異形状に関する特異形状情報が含まれない。一方で、視認能領域であるひだ201の表側に存在する病変部202に関する特異形状情報が含まれている。この場合、検出処理部171ではひだ201の裏側に存在する特異形状の検出は行われないが、ひだ201の表側に存在する特異形状の検出が行われる。
図6において、検出処理部171が特異形状を検出した際、報知処理部172は、例えば、報知画像WIを表示装置18に表示するよう画像処理部170に指示する。画像処理部170は光学画像DP1に報知画像WIを重畳し、表示制御部163を介して表示装置18に表示させる。
図6の光学画像DP1では、病変部202に楕円形状の報知画像WIを重畳して表示し、さらに光学画像DP1の外周に円弧状の報知画像WIを表示する。報知画像WIは、術者が認識できれば、特に限定されず、色、文字、アイコンの有無などを適用することができる。
【0058】
報知画像WIは、術者に病変部202が存在する可能性があることを認識させるだけでもよく、また、
図6に示すように、報知画像WIは、病変部202が存在する可能性と、その位置の両方を認識させてもよい。
【0059】
LiDARユニット76により取得された被検体内の三次元情報は、検出処理部171による検出処理と並列して、メモリ165に記憶してもよい。記憶された被検体内の三次元情報に基づいて、CPU162の三次元モデル作成部173は、三次元モデルを作成できる。また、作成された三次元モデルは画像処理部170に加工され、表示制御部163を介して、表示装置18に表示できる。
【0060】
検出処理部171の処理方法は特に限定されない。例えば、メモリ165に、実際の病変部の形状に関する情報(以下、「病変部形状情報」)記憶させる。病変部形状情報は観察する被検体の部位ごとに複数種類を記憶してもよい。検出処理部171は、メモリ165に記憶された病変部の形状に関する情報を参照し、LiDARユニット76から取得された三次元情報の中から、所定の領域(判定領域)毎に、メモリ165に記憶された病変部形状情報との類似度を求め、予め設定した類似度の閾値より高い領域の情報を特異形状情報として抽出し、抽出した特異形状情報に基づいて特異形状を検出してもよい。
【0061】
また、検出処理部171は、LiDARユニット76により取得された三次元情報から三次元形状を特定し、他の部分と異なる形状を特異形状として検出してもよい。
【0062】
検出処理部171は特異形状を検出すると、リアルタイムで特異形状を検出したことを報知できる。また、検出したことを検出情報としてメモリ165に記憶してもよい。報知処理部172は、メモリ165に記憶された検出情報に基づいて、任意のタイミングで特異形状を検出したことを報知できる。
【0063】
図7に示すように、観察画像として、内視鏡10が位置P2に位置する場合において、撮像ユニット100により取得された光学画像DP2が表示装置18に表示される。
図6と同様に、光学画像DP2は、大腸200の内面に存在するひだ201を含んでいる。
【0064】
内視鏡10が、前進方向Fに移動したことにより、ひだ201の表側の病変部202はDP2には表示されていない。また、光学画像DP2の位置において、ひだ201の裏側に存在する病変部202は視認能領域に存在しないので、ひだ201の裏側の病変部202は表示されていない。
【0065】
内視鏡10が位置P2に位置する場合、位置P1と異なり、LiDARユニット76が取得した三次元情報には、撮像ユニット100の視認不能領域であるひだ201の裏側に存在する病変部202に代表される特異形状に関する特異形状情報が含まれているので、検出処理部171はひだ201の裏側に存在する特異形状を検出する。この場合、
図7において、検出処理部171が特異形状を検出した際、報知処理部172は、例えば、報知画像WIを表示装置18に表示するよう画像処理部170に指示する。画像処理部170は光学画像DP1に報知画像WIを重畳し、表示制御部163を介して表示装置18に表示させる。表示装置18の光学画像DP2には、裏側に存在する病変部202は表示されないが、病変部202に対応する位置に、病変部202の存在が検出されたことを報知する報知画像WIが重畳して表示される。
図7の光学画像DP2では、破線の楕円曲線の報知画像WIと、矢印形状の報知画像WIが表示されている。
【0066】
図8に示すように、観察画像として、内視鏡10が位置P3に位置する場合において、撮像ユニット100により取得された光学画像DP3が表示装置18に表示される。光学画像は、大腸200の内面に存在するひだ201を含んでいる。一方で、光学画像は、ひだ201の表側及び裏側に存在する病変部202を含んでいない。
【0067】
内視鏡10が位置P3に位置する場合、LiDARユニット76が取得した三次元情報には、撮像ユニット100の視認不能領域である経路の先で曲がってブラインドになっている領域における病変部202に関する特異形状情報が含まれる。被検体内の三次元情報はCPU162(
図5参照)に入力され、検出処理部171が検出処理を実行する。三次元情報が特異形状情報を含んでいるので、検出処理部171は特異形状が存在することを検出している。
【0068】
図8において、検出処理部171が特異形状を検出した際、報知処理部172は、例えば、報知画像WIを表示装置18に表示するよう画像処理部170に指示する。画像処理部170は光学画像DP3に報知画像WIを重畳し、表示制御部163を介して表示装置18に表示させる。経路の先で曲がってブラインドになっている領域のひだ201の表側に存在する病変部202の位置に対応する。報知画像WIを光学画像DP3と合わせて表示することにより、術者は、経路の先で曲がってブラインドになっている領域に病変部202が存在する可能性を認識できる。報知画像WIは病変部202の見えていないところに対する事前の報知を行う。
図8の表示装置18では、光学画像DP3の外周に円弧状の報知画像WIを表示し、さらに光学画像DP3の外側に破線の楕円曲線の報知画像WIを重畳して表示する。光学画像DP3の外周に円弧状の報知画像WIは、
図6の光学画像DP1の外周に円弧状の報知画像WIと異なる色であることが好ましい。
【0069】
図9に示すように、報知画像WIが表示されたタイミングで、術者は、表示装置18に表示された光学画像を確認しながら、アングルノブ40、40(
図1参照)を操作し、撮像ユニット100によりひだ201の裏側を直接観察する。撮像ユニット100が病変部202の光学画像を取得する。術者が病変部202の光学画像を視認でき、診断等が可能になる。
【0070】
なお、
図6から
図8において、報知画像WIにより報知処理が実施された場合を説明した。しかしながら、検出処理部171が特異形状を検出した際、報知処理部172は、スピーカ167から音を出力させるように音処理部166に指示してもよい。また、報知画像WIと音とにより報知処理を同時に実行してもよい。スピーカ167の設置位置は、特に限定されず、表示装置18に接続されていても、内蔵されていてもよい。
【0071】
図6から
図8では、内視鏡10が前進方向Fに移動するのに合わせて、任意のタイミングとして、光学画像DP3に報知画像WIをリアルタイムで表示する場合を示す。しかしながら、光学画像DP3に報知画像WIをリアルタイムとは異なるタイミングで表示してもよい。
【0072】
例えば、内視鏡10を前進方向Fに移動させた際に、特定位置において、LiDARユニット76が取得した三次元情報に含まれる特異形状情報に基づいて、検出処理部171が特異形状を検出し、検出情報(特異形状に示す情報)をメモリ165に記憶する。さらに内視鏡10を前進方向Fに移動させて観察を続ける。観察を終えて内視鏡10を後退方向Bに移動させて内視鏡10が特定位置に到達した際、メモリ165に記憶された検出情報に基づいて、報知処理部172が処理を実行する。光学画像DP3に報知画像WIが表示される。このように任意のタイミングで報知処理が可能である。任意のタイミングで、術者が病変部202の光学画像を視認でき、診断等が可能になる。
【0073】
上述したように実施形態によれば、病変部202が見逃がされるリスクを低減できる。特異形状である病変部202が検出されない場合、内視鏡10による観察は通常の手順で行われる。その結果、検査時間を短縮でき、また消化管へのダメージリスクを低減できる。
【0074】
上述において、ひだ201の裏側に存在する病変部202を特異形状として検出し、光学画像DP3に報知画像WIを表示させる場合を説明した。ただし、これに限定されず、ひだ201の表側に存在する病変部202を特異形状として検出した場合においても、報知画像WIを光学画像DPに重畳表示してもよい。病変部202を見逃すリスクを低減できる。
【0075】
次に、LiDARユニット76から取得される被検体内の三次元情報から三次元モデルを作成する場合を説明する。
【0076】
図5に示すように、内視鏡10の撮像ユニット100により光学画像が取得され、LiDARユニット76により被検体内の三次元情報が取得される。三次元モデル作成部173は、三次元情報に基づいて三次元モデルを作成する。三次元情報は被検体内の体腔に関する体腔情報を含んでおり、三次元モデル作成部173は、被検体の体腔の三次元モデルを作成できる。
【0077】
内視鏡10は消化管に挿入され、前進方向Fに移動しながら観察する。内視鏡10は被検体内の三次元情報を順次取得する。したがって、内視鏡10が前進方向Fに進むにしたがって、三次元モデル作成部173は被検体の体腔の三次元モデルを順次作成する。作成された三次元モデルを表示装置18に順次表示してもよい。
【0078】
検出処理部171が、LiDARユニット76により取得された三次元情報に含まれる特異形状情報に基づいて特異形状を検出すると、三次元モデル作成部173は、三次元モデルにおける特異形状の位置を位置情報としてメモリ165に記憶する。体腔の三次元モデル及び特異形状の位置情報は、画像処理部170により画像処理等が実行され、表示装置18に表示できる。
【0079】
内視鏡10が前進方向Fに移動し、最前方位置に到達すると、三次元モデル作成部173は、被検体内の全体における特異形状の位置情報と体腔の三次元モデルとを作成できる。被検体の体腔の三次元モデルと特異形状の位置情報とをメモリ165に記憶してもよい。
【0080】
図4に示されるCPU162の位置検出処理部174が、内視鏡10の先端部30の位置情報を取得する。
【0081】
位置検出処理部174は、内視鏡10の先端部30の位置及び方向を位置情報として取得する。位置検出処理部174により取得された先端部30の位置情報は、画像処理部170により画像処理等が実行され、表示装置18において、先端部30の位置情報は、特異形状の位置情報と体腔の三次元モデルとに重畳して表示できる。
【0082】
位置検出処理部174は、例えば、内視鏡10の先端部30に搭載された検出センサ(不図示)から位置情報を取得してもよい。検出センサとして磁気センサを利用した内視鏡位置検出システムを適用できる。
【0083】
位置検出処理部174は、三次元モデル作成部173により順次作成された三次元モデルから内視鏡10の先端部30の位置情報を取得してもよい。例えば、作成された三次元モデルの一つを基準とし、次に作成された三次元モデルと比較する。基準となる三次元モデルの特徴部分が、次に作成された三次元モデルにおいて、どの程度拡大又は縮小されたかを算出し、移動量を求め。先端部30の位置情報を推定できる。
【0084】
三次元モデル作成部173は、取得された三次元情報と光学画像と先端部30の位置情報とを対応付けて三次元モデルを作成し、メモリ165に記憶してもよい。内視鏡10による処置後において、三次元モデルを利用できる。例えば、高品質の光学画像と三次元情報に含まれる特異形状情報を利用することにより、質の高い機械学習用の教師データとして利用可能である。
【0085】
図10は、観察画像と三次元モデルとを表示装置に表示させた場合の模式図である。
図10に示すように、表示装置18には光学画像DPと三次元モデルMDとが並列して一画面に表示される。なお、
図10において、一回挿入した内視鏡10を盲腸付近まで前進させた後、後退させた場合であり、大腸の末端までの大腸モデル300の画像が作成されている。
【0086】
光学画像DPは内視鏡10の撮像ユニット100から得られた光学画像である。三次元モデルMDは三次元モデル作成部173により作成される。三次元モデルMDは大腸モデル300と、ひだモデル301と、特異形状モデルである病変部モデル302と、を含んでいる。さらに、内視鏡モデル310と先端モデル330とが含まれる。先端モデル330は、位置検出処理部174の位置情報に基づいて、大腸モデル300における相対位置を示す。術者は、内視鏡10の先端部30の実際の位置を三次元モデルMDにより確認できる。
【0087】
光学画像DPは、大腸200の内面を表示する。光学画像DPは、ひだ201と、特異形状の病変部202(不図示)に対応する位置に報知画像WIとを表示する。
【0088】
術者は、光学画像DPの報知画像WIと三次元モデルMDの病変部モデル303とを確認できるので、ひだ201の裏側の病変部202を見逃すリスクを低減できる。
【0089】
図2の内視鏡10の先端部30の先端面にLiDARユニット76を配置する場合を例示した。ただし、この位置に限定されない。
図11は、内視鏡10の先端部30の拡大図である。
図11に示すように、LiDARユニット76を先端部30の外周面(側面)に配置してもよい。
【0090】
図2及び
図11の内視鏡10において、1個のLiDARユニット76を先端部30に配置する場合を示したが、少なくとも1個のLiDARユニット76が先端部30に配置されればよい。例えば、複数のLiDARユニット76を配置する場合、先端部30の外周面(側面)に、長軸方向Axを中心とする周方向に沿って等間隔にLiDARユニット76を配置できる。同様に、少なくとも1個の撮像ユニット100が先端部30に配置されればよく、複数の撮像ユニット100を配置できる。
【0091】
次に、トランスデューサを備える超音波内視鏡にLiDARユニットを適用した場合について説明する。
図12は超音波内視鏡システムの構成の一例を示す概略構成図である。なお、
図1に示す内視鏡システムと同様の構成には同様の符号を付して説明を省略する場合がある。
【0092】
<超音波内視鏡システムの構成図>
内視鏡システム1は、コンベックス型の超音波内視鏡11、光源装置14、プロセッサ装置16、超音波用プロセッサ装置17及び表示装置18を備える。
【0093】
超音波内視鏡11は、操作部材が配置された操作部22と、操作部22の先端側に設けられ、被検体内に挿入される挿入部24と、を備える。挿入部24は、基端から先端に向って順に軟性部26と、湾曲部28と、先端部30とを備えている。トランスデューサ90が先端部30に配置される。
【0094】
操作部本体34は、
図1の内視鏡10とは異なり、起立台35(
図13参照)を起立させる起立レバー50を備える。また、ユニバーサルケーブル54の先端には光源用コネクタ57及び超音波用コネクタ59を備える。光源用コネクタ57には、プロセッサ用コネクタ58が分岐して設けられる。光源用コネクタ57は光源装置14に着脱自在に接続される。プロセッサ用コネクタ58はプロセッサ装置16に着脱自在に接続される。超音波用コネクタ59が超音波用プロセッサ装置17に着脱自在に接続される。
【0095】
超音波用プロセッサ装置17はトランスデューサ90に超音波を発生させる。また、超音波用プロセッサ装置17は、トランスデューサ90が受信した観察対象からのエコー信号に基づいて超音波画像を生成する。超音波画像は表示装置18に表示される。
【0096】
<超音波内視鏡の先端部>
図13は超音波内視鏡の先端部の拡大図である。
図13に示すように、先端部30は、先端部本体31と、先端部本体31の先端の側にトランスデューサ90と、を備える。トランスデューサ90は、コンベックス型の超音波振動子91を備える。
【0097】
先端部本体31の傾斜面32には、観察窓70と、2個の照明窓72と、送気送水ノズル75とが配置される。傾斜面32は、長軸方向Axに対して観察窓70が照明窓72より基端の側に近づく方向に傾斜する。
【0098】
処置具導出口33が、先端部本体31の基端の側に設けられる。処置具導出口33に連通する凹状の起立台収容部37が先端部本体31に設けられる。起立台35が、処置具導出口33からの導出方向を変更する回動可能に、起立台収容部37に配置される。
【0099】
起立台35は、操作ワイヤ(不図示)を介して操作部本体34の起立レバー50(
図12参照)に連結される。起立レバー50の操作によって操作ワイヤが押し引き操作されると、起立台35が軸を介して回動し、起立台35の起立角度が変更される。
【0100】
内視鏡10と同様の撮像ユニット100(
図3参照)が先端部本体31の観察窓70に対応する位置に配置される。さらに、超音波内視鏡11は、先端部本体31の傾斜面32に内視鏡10と同様のLiDARユニット76が配置される。LiDARユニット76はレーザ光源78と、光センサ80と、を備える。
【0101】
超音波内視鏡11は、トランスデューサ90により被検体内の超音波画像を取得でき、撮像ユニット100により被検体内の光学画像を取得でき、LiDARユニット76により被検体内の三次元情報を取得できる。
図12に示すプロセッサ装置16は、
図1に示すプロセッサ装置16と同様に光学画像及び三次元情報を処理するためのCPU162等を備える。
【0102】
図14は、超音波内視鏡11により消化管を観察する状態を示すである。
図14には、被検体内の胃220と十二指腸222と膵臓224とが示される。一般的に、超音波内視鏡11のトランスデューサ90を胃220の内壁に押し当てて擦るようにして引きながら、つまりトランスデューサ90を走査しながら、膵臓224の超音波画像を観察する。トランスデューサ90を押し当てている間、光学画像は胃220の内壁しか見えず、超音波画像のみでトランスデューサ90の位置を把握する必要がある。超音波画像での位置把握は難易度が高く、手技の長時間化や医師の早期育成の妨げとなる。
【0103】
実施形態の超音波内視鏡11はLiDARユニット76により被検体内の三次元情報を取得できるので、プロセッサ装置16のCPU162等により、被検体の体腔の三次元モデルを作成できる。さらに、被検体の体腔の三次元モデルに、位置検出処理部174により取得された超音波内視鏡11の先端部30の位置を重畳して表示できる。
【0104】
図15は超音波画像と三次元モデルとを表示装置に表示させた場合の模式図である。
図15に示すように、表示装置18には超音波画像UIと三次元モデルMDとが並列して一画面に表示される。
【0105】
超音波画像UIは超音波内視鏡11のトランスデューサ90から得られた超音波画像である。三次元モデルMDは、三次元モデル作成部173(
図4参照)により作成される。三次元モデルMDは、胃モデル320と、十二指腸モデル322とを含んでいる。さらに、内視鏡モデル311と先端モデル330とが含まれる。先端モデル330は、位置検出処理部174(
図4参照)の位置情報に基づいて、胃モデル320及び十二指腸モデル322における相対位置を示す。術者は、超音波内視鏡11の先端部30の実際の位置を三次元モデルMDにより確認できる。
【0106】
超音波内視鏡11の先端部30の位置をリアルタイムで術者が確認できるので、トランスデューサ90を容易に走査できる。
【0107】
実施形態の超音波内視鏡11は、CT(Computed Tomography)から三次元情報を取得する必要がないので、CTを備えない小規模な病院で特に有用である。CTを利用しない場合、被検者の被爆リスクが低減される。さらに、手技時間の短縮、医師の育成の促進及びEUSの普及の促進が期待される。
【0108】
以上、本発明について説明したが、本発明は、上述の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
【0109】
<その他>
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0110】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部は1つのプロセッサで構成できる。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0111】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【符号の説明】
【0112】
1 内視鏡システム
10 内視鏡
11 超音波内視鏡
14 光源装置
16 プロセッサ装置
17 超音波用プロセッサ装置
18 表示装置
22 操作部
24 挿入部
26 軟性部
28 湾曲部
30 先端部
31 先端部本体
32 傾斜面
33 処置具導出口
34 操作部本体
35 起立台
36 把持部
37 起立台収容部
38 折れ止め管
40 アングルノブ
42 ロックレバー
44 送気送水ボタン
46 吸引ボタン
48 操作ボタン
50 起立レバー
52 処置具導入口
54 ユニバーサルケーブル
56 コネクタ装置
57 光源用コネクタ
58 プロセッサ用コネクタ
59 超音波用コネクタ
70 観察窓
72 照明窓
74 鉗子口
75 送気送水ノズル
76 LiDARユニット
78 レーザ光源
80 光センサ
82 制御回路
90 トランスデューサ
91 超音波振動子
100 撮像ユニット
101 撮像レンズ
102 撮像素子
103 AFE
104 制御回路
110 ライトガイド
140 光源
141 光源制御回路
161 画像入力コントローラ
162 CPU
163 表示制御部
165 メモリ
166 音処理部
167 スピーカ
168 操作部
169 入力インターフェイス
170 画像処理部
171 検出処理部
172 報知処理部
173 三次元モデル作成部
174 位置検出処理部
200 大腸
201 ひだ
202 病変部
220 胃
222 十二指腸
224 膵臓
300 大腸モデル
301 ひだモデル
302 病変部モデル
310 内視鏡モデル
311 内視鏡モデル
320 胃モデル
322 十二指腸モデル
330 先端モデル
Ax 長軸方向
DP 光学画像
DP1 光学画像
DP2 光学画像
DP3 光学画像
MD 三次元モデル
P1 位置
P2 位置
P3 位置
UI 超音波画像
V1 視野範囲
V2 視野範囲
WI 報知画像