特許 7133828 内視鏡画像処理プログラム及び内視鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-01

(45)【発行日】2022-09-09

(54)【発明の名称】内視鏡画像処理プログラム及び内視鏡システム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220902BHJP

   G02B 23/24 20060101ALI20220902BHJP

【ＦＩ】

A61B1/045 615

A61B1/045 623

G02B23/24 B

【請求項の数】 6

(21)【出願番号】P 2017201270

(22)【出願日】2017-10-17

(65)【公開番号】P2019072259

(43)【公開日】2019-05-16

【審査請求日】2020-09-09

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100127465

【弁理士】

【氏名又は名称】堀田 幸裕

(74)【代理人】

【識別番号】100196047

【弁理士】

【氏名又は名称】柳本 陽征

(72)【発明者】

【氏名】五十嵐 辰男

(72)【発明者】

【氏名】石井 琢郎

(72)【発明者】

【氏名】湯澤 拓矢

【審査官】佐藤 秀樹

(56)【参考文献】

【文献】国際公開第２００８／１５５８２８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００９／０２９７０１０（ＵＳ，Ａ１）

【文献】特開２０１５－１８８５７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータに、内視鏡カメラにより観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した前記画像情報から前記観察対象組織の３次元形状情報を生成する３次元形状情報生成ステップと、前記３次元形状情報生成ステップで生成された前記３次元形状情報に含まれる点群の密度を均一化する点群密度均一化ステップと、前記点群密度均一化ステップで前記点群の密度が均一化された前記３次元形状情報の主成分分析を行う主成分分析ステップと、前記内視鏡カメラの向きに関する情報を取得する内視鏡姿勢情報取得ステップと、前記主成分分析ステップにより分析された前記観察対象組織内の主成分分析結果及び前記内視鏡姿勢情報取得ステップにより取得された前記内視鏡カメラの向きに関する情報に基づき、前記観察対象組織に対する前記内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得ステップを実行させるための内視鏡画像処理プログラム。

【請求項2】

コンピュータに、内視鏡カメラにより観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した前記画像情報から前記観察対象組織の３次元形状情報を生成する３次元形状情報生成ステップと、前記３次元形状情報生成ステップで生成された前記３次元形状情報に含まれる点群の密度を均一化する点群密度均一化ステップと、前記点群密度均一化ステップで前記点群の密度が均一化された前記３次元形状情報の第１主成分ベクトルを算出する主成分分析ステップと、前記内視鏡カメラの向きに関する情報を取得する内視鏡姿勢情報取得ステップと、前記主成分分析ステップにより算出された前記観察対象組織内の画像の第１主成分ベクトル及び前記内視鏡姿勢情報取得ステップにより取得された前記内視鏡カメラの向きに関する情報に基づき、前記観察対象組織に対する前記内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得ステップを実行させるための内視鏡画像処理プログラム。

【請求項3】

前記主成分分析ステップで得られた第１主成分ベクトル及び第２主成分ベクトル並びに前記内視鏡カメラの向きを同一の表示画像に表示する表示ステップをさらに実行させる、請求項１又は２に記載の内視鏡画像処理プログラム。

【請求項4】

前記表示ステップにおいて、前記第１主成分ベクトルの方向と前記内視鏡カメラが向いている方向がなす角度の余弦の値を前記表示画像に表示する、請求項３に記載の内視鏡画像処理プログラム。

【請求項5】

観察対象組織内の画像情報を取得する内視鏡カメラと、前記内視鏡カメラにより取得した前記画像情報から前記観察対象組織の３次元形状情報を生成する３次元形状情報生成部と、前記３次元形状情報生成部で生成された前記３次元形状情報に含まれる点群の密度を均一化する点群密度均一化部と、前記点群密度均一化部で前記点群の密度が均一化された前記３次元形状情報の主成分分析を行う主成分分析部と、前記内視鏡カメラの向きに関する情報を取得する内視鏡姿勢情報取得部と、前記主成分分析部により分析された前記観察対象組織内の主成分分析結果及び前記内視鏡姿勢情報取得部により取得された前記内視鏡カメラの向きに関する情報に基づき、前記観察対象組織に対する前記内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得部を備える内視鏡システム。

【請求項6】

観察対象組織内の画像情報を取得する内視鏡カメラと、前記内視鏡カメラにより取得した前記画像情報から前記観察対象組織の３次元形状情報を生成する３次元形状情報生成部と、前記３次元形状情報生成部で生成された前記３次元形状情報に含まれる点群の密度を均一化する点群密度均一化部と、前記点群密度均一化部で前記点群の密度が均一化された前記３次元形状情報の第１主成分ベクトルを算出する主成分分析部と、前記内視鏡カメラの向きに関する情報を取得する内視鏡姿勢情報取得部と、前記主成分分析部により算出された前記観察対象組織内の画像の第１主成分ベクトル及び前記内視鏡姿勢情報取得部により取得された前記内視鏡カメラの向きに関する情報に基づき、前記観察対象組織に対する前記内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得部を備える内視鏡システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、内視鏡により撮像した食道等の対象物の画像データを取り込み、前処理した後、各画素に対応する対象物上の３次元位置の算出を行って、３次元形状の中心を通る直線を推定し、さらに直線を基準とした座標系の変換パラメータを算出する等して、撮像面の画素を対象物のサイズに近い円柱体の表面に投影して、展開図を生成する医療画像処理装置が記載されている。

【0003】

また、特許文献２には、超音波内視鏡２と、超音波内視鏡２の位置及び方向を検出するコイル２１ｂと、被検体の振動に基づく位置情報を取得する腹部センサ（体表検出用コイル１０）と、実空間上における位置および前記体表検出用コイル１０における経時変化に基づいて、位相を算出する位置検出装置３Ｂと、位置検出装置３Ｂの位置算出結果および位相算出結果に基づいて、所定の範囲内の位相における前記所定の対象物の位置情報を算出し、この算出結果に基づいて超音波内視鏡２を誘導位置及び方向に誘導する医用ガイドシステムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－１８７４７０号公報

【文献】特開２０１４－２０４９０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方で、例えば腸管のような軟性臓器は内視鏡観察中に変形し続けるため、腸管の全体的な形態は取得、予測困難であり、内視鏡先端部の位置姿勢が把握できたとしても、内視鏡先端部と管腔構造物の相対的位置関係の推定（例えば内視鏡が壁面を見ているか、管腔長軸方向を見ているか）は一般に困難である。

【0006】

本発明は、上記課題を解決しようとするものであり、軟性臓器内を内視鏡で観察した場合でも、内視鏡先端部と管腔構造物の相対的位置関係を推定し、診断者や術者が、管腔構造物の構造を把握しやすくする内視鏡画像処理方法および内視鏡システムを提供することを目的とするものである。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の一つの観点によれば、内視鏡画像処理プログラムを、コンピュータに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の主成分分析を行う主成分分析ステップと、内視鏡カメラの向きに関する情報を取得する内視鏡位置姿勢情報取得ステップと、主成分分析ステップにより分析された観察対象組織内の主成分分析結果及び内視鏡姿勢情報取得ステップにより取得された内視鏡カメラの向きに関する情報に基づき、観察対象組織に対する内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得ステップを実行させるものとした。

【0008】

また、本発明の他の観点によれば、内視鏡画像プログラムを、コンピュータに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の第１主成分ベクトルを算出する主成分分析ステップと、内視鏡カメラの向きに関する情報を取得する内視鏡位置姿勢情報取得ステップと、主成分分析ステップにより算出された観察対象組織内の画像の第１主成分ベクトル及び内視鏡姿勢情報取得ステップにより取得された内視鏡カメラの向きに関する情報に基づき、観察対象組織に対する前記内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得ステップを実行させるものとした。

【0009】

また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡画像カメラと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の主成分分析を行う主成分分析部と、内視鏡カメラの向きに関する情報を取得する内視鏡位置姿勢情報取得部と、主成分分析部により分析された観察対象組織内の主成分分析結果及び内視鏡姿勢情報取得部により取得された内視鏡カメラの向きに関する情報に基づき、観察対象組織に対する内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得部を備えるものとした。

【0010】

また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の第１主成分ベクトルを算出する主成分分析部と、内視鏡カメラの向きに関する情報を取得する内視鏡位置姿勢情報取得部と、主成分分析部により算出された観察対象組織内の画像の第１主成分ベクトル及び前記内視鏡姿勢情報取得部により取得された前記内視鏡カメラの向きに関する情報に基づき、観察対象組織に対する内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得部を備えるものとした。

【0011】

また、本発明の他の観点によれば、内視鏡画像処理方法を、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の主成分分析を行う主成分分析ステップと、前記内視鏡カメラの向きに関する情報を取得する内視鏡位置姿勢情報取得ステップと、前記主成分分析ステップにより分析された観察対象組織内の主成分分析結果及び前記内視鏡姿勢情報取得ステップにより取得された前記内視鏡カメラの向きに関する情報に基づき、前記観察対象組織に対する前記内視鏡カメラの相対的な姿勢に関する情報を求める内視鏡カメラ相対姿勢情報取得ステップを有するものとした。

【発明の効果】

【0012】

本発明によれば、軟性臓器内を内視鏡で観察した場合でも、内視鏡先端部と管腔構造物の相対的位置関係を推定し、診断者や術者が、管腔構造物の構造を把握しやすくする内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】内視鏡画像を構成する点群の第１主成分と内視鏡カメラが向いている方向がなす角度を示す図である。

【図2】内視鏡が壁に対面している場合と内視鏡が管腔奥側を見ている場合の第一主成分、第二主成分、カメラ方向を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施例を説明するが、本発明の実施形態は以下に説明する実施例に限定されるものではない。

【0015】

本発明は内視鏡と挿入中の管腔構造物との相対的な位置、姿勢関係を推定する方法である。本発明は、内視鏡視野内の対象物の３次元形状を、主成分分析を用いて解析することにより、その点群の第１主成分が管腔の長軸方向を示す特性を利用し、さらに内視鏡の実空間での位置姿勢関係との相関によって、実空間及び仮想空間内における内視鏡と臓器との相対位置関係を指標化する。これらの指標を用いることにより、上記課題を解決する手法を提供する。

【0016】

本発明の実施例として、管腔臓器内に挿入された軟性内視鏡と、その先端部に取り付けられた位置姿勢情報を取得するセンサと、内視鏡映像及びセンサ値を同期して記録する記録装置及び、画像処理と相対位置姿勢計算に用いる計算機で構成されるシステムが挙げられる。

【0017】

上記計算機は、記録装置内の（時間軸上の）ある一点における内視鏡画像情報およびセンサ値を呼び出す。次に、内視鏡画像に記録された対象物の３次元画像を生成する。例えば、特許文献１に記載されている技術を用いて一枚の画像から対象物の３次元形状情報の取得が可能である。あるいは、内視内に別途実装した３次元測量センサによって、対象物の３次元形状を取得する方法も考えられる。位置姿勢情報を取得するセンサとしては、例えば特許文献２などで提案された装置が利用可能である。

【0018】

上記計算機は、得られた３次元形状情報（点群情報）に対し、主成分分析を実行する。さらに、第1主成分を算出する。上記計算機は、内視鏡画像と同時に取得された内視鏡位置姿勢センサから、内視鏡の姿勢ベクトルを抽出する。このベクトルと上記３次元形状点群の第１主成分ベクトルとの内積を計算することにより、内視鏡と対象物との相対位置姿勢関係を推定し、表示する。内視鏡画像の第１主成分ベクトルの方向は、概ね管腔臓器の中心軸の方向と一致する。したがって、内視鏡画像を構成する点群の第１主成分ベクトルの方向と内視鏡カメラの向いている方向のなす角が、管腔臓器の中心軸と内視鏡カメラの向いている方向のなす角と概ね一致する。

【0019】

なお、３次元形状情報抽出に、特許文献１を用いる場合、その原理上内視鏡から対象部までの実距離に応じて生成される点群密度にバラつきが生じる。この特性は、主成分分析実行時において結果の正確性を低下させる要因となる。そこで、推定された形状情報を、内視鏡から対象物までの距離推定に応用し、生成された点群密度が均一となるように重みづけ及び点群密度の均一化処理を実行することにより、提案手法の安定性を向上することが可能であると考えられる。

【0020】

本発明によると、事前に（管腔ではあるが）形態情報の未知な対象物の内部を移動するカメラと、対象物との相対的な位置、姿勢関係を推定することが可能である。本発明により内視鏡が臓器内でどのような姿勢状態にあるのかの判別が可能であり、様々な画像診断や治療支援において内視鏡ステータスの一指標となりうる。特にこれらの技術における自動化において重要な要素であると考えられる。

【0021】

図１は、内視鏡画像を構成する点群の第１主成分と内視鏡カメラが向いている方向がなす角度を示す図である。図１の左側の図では、内視鏡カメラが壁面を向いており、内視鏡カメラが向いている方向と点群の第１主成分ベクトルの方向がなす角度θ1が大きな値となる。このような場合、診断あるいは手術時において、診断者又は術者にとって意味のある情報が得られにくい。

【0022】

他方、図１の右側の図では、管腔の軸の方向と内視鏡カメラの向いている方向が近い方向を向いており、内視鏡カメラが向いている方向と点群の第１主成分ベクトルの方向がなす角度θ2が小さくなる。このような場合、診断あるいは手術時において、診断者又は術者にとって意味のある情報が得られる場合が多い。したがって、内視鏡画像の第１主成分ベクトルの向きと内視鏡カメラの撮影面と垂直な方向がなす角度を内視鏡操作者に表示すれば、内視鏡カメラが適切な向きを向いているか否かを判断する指標となりうる。すなわち、内視鏡画像の第１主成分ベクトルの向きと内視鏡カメラの撮影面と垂直な方向がなす角度が大きいのは基本的には好ましくなく、通常はこの角度が小さい方が内視鏡カメラが適切な向きを向いている場合が多い。

【0023】

図２は、内視鏡が壁に対面している場合と内視鏡が管腔奥側を見ている場合の第１主成分、第２主成分、カメラ方向を示す図である。図２において、２０１は内視鏡画像を構成する点群の第１主成分、２０２は内視鏡画像を構成する点群の第２主成分、２０３は内視鏡カメラが向いている方向である。

【0024】

図２の上の図は、内視鏡が壁に対面している場合である。本図において、内視鏡画像を構成する点群の第１主成分ベクトルの方向と内視鏡カメラが向いている方向がなす角度をθとすると、cosθの値は0.46となる。このような場合、診断又は手術を行う際に有用な情報が得られにくい。

【0025】

図２の下の図は、内視鏡が管腔奥側を見ている例である。本図において、cosθの値は、0.97となる。このような場合、診断又は手術を行う際に有用な情報が得られる場合が多い。

【0026】

内視鏡カメラの向きが壁面に垂直な方向を向いている場合は、cosθの値が0となり、内視鏡カメラが壁面に水平な方向（管腔臓器の軸方向）を向いている場合は、cosθの値は1となる。

【産業上の利用可能性】

【0027】

本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法として産業上利用可能である。

【符号の説明】

【0028】

２０１ 第１主成分
２０２ 第２主成分
２０３ カメラ方向

【図1】

【図2】