特許 7014509 医用画像処理装置および内視鏡装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-24

(45)【発行日】2022-02-01

(54)【発明の名称】医用画像処理装置および内視鏡装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220125BHJP

   A61B 1/00 20060101ALI20220125BHJP

【ＦＩ】

A61B1/045 622

A61B1/00 511

A61B1/00 V

【請求項の数】 8

(21)【出願番号】P 2016165659

(22)【出願日】2016-08-26

(65)【公開番号】P2018029880

(43)【公開日】2018-03-01

【審査請求日】2019-07-22

【前置審査】

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】特許業務法人東京国際特許事務所

(72)【発明者】

【氏名】中野 史樹

【審査官】佐藤 秀樹

(56)【参考文献】

【文献】特開２００５－１７７４７７（ＪＰ，Ａ）

【文献】特開２０１２－１７０６４１（ＪＰ，Ａ）

【文献】国際公開第２０１２／１６５５５３（ＷＯ，Ａ１）

【文献】特開２０１２－０５０６０６（ＪＰ，Ａ）

【文献】国際公開第２０１５／０４６１５２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

複数時相について撮影された、薬剤の投与によって生体組織の蛍光領域を所定期間蛍光させた、生体組織の内視鏡画像を入力する第１入力部と、
前記生体組織に対応するボリュームデータを入力する第２入力部と、
前記内視鏡画像と前記ボリュームデータとの位置合わせを行って、前記複数時相それぞれにおける前記蛍光領域を、前記ボリュームデータに累積的にマッピングする合成部と、
を備え、
前記合成部は、内視鏡の先端部の中心である視点から前記内視鏡画像の範囲内の位置に向かう視線ベクトルであって、前記内視鏡画像の範囲の中心方向である視線方向とは異なる方向に向かう視線ベクトルと、前記視線ベクトルが前記ボリュームデータの壁面と交わる位置における前記壁面とがなす角が所定の角度より小さい領域では、前記蛍光領域を前記ボリュームデータにマッピングしない、
医用画像処理装置。

【請求項2】

前記第１入力部は、
前記複数時相の複数の位置または複数の方向からの前記内視鏡画像を入力し、
前記合成部は、
前記複数時相のそれぞれに対応する前記蛍光領域を、それぞれ対応する前記ボリュームデータにマッピングする
請求項１に記載の医用画像処理装置。

【請求項3】

前記ボリュームデータにおいてレンダリング処理が施されたボリューム画像を表示するディスプレイを、さらに備え、
前記合成部は、
前記蛍光領域が前記ボリューム画像上の他の生体組織と区別される態様で、前記ボリュームデータにマッピングする
請求項１または２に記載の医用画像処理装置。

【請求項4】

前記内視鏡画像から、前記生体組織の蛍光領域を抽出する抽出部を、さらに備え、
前記合成部は、
抽出した前記蛍光領域を、前記ボリュームデータに累積的にマッピングする
請求項１乃至３のいずれか１項に記載の医用画像処理装置。

【請求項5】

前記抽出部は、
前記内視鏡画像から、隣接する周囲の画素値との差分が第１の閾値以上の画素値の領域であって、各画素の画素値自体が第２の閾値以上の画素値を有する領域を、前記蛍光領域として抽出する
請求項４に記載の医用画像処理装置。

【請求項6】

前記合成部は、
前記内視鏡画像を観察する視点からその内視鏡画像上の蛍光領域までのベクトルを前記ボリュームデータ上で延長し、その延長した前記ベクトルと前記ボリュームデータの組織表面と接触する位置に基づいて、前記蛍光領域をマッピングする
請求項１乃至５のいずれか１項に記載の医用画像処理装置。

【請求項7】

前記合成部は、
前記蛍光領域の中心領域、または、前記蛍光領域を構成する各画素の中心画素を、前記ボリュームデータにマッピングする
請求項１乃至６のいずれか１項に記載の医用画像処理装置。

【請求項8】

薬剤の投与によって生体組織の蛍光領域を所定期間蛍光させた白色光画像と、その蛍光画像とを撮影する内視鏡と、前記内視鏡で撮影された前記白色光画像と前記蛍光画像とに基づく内視鏡画像を入力する医用画像処理装置と、を備えた内視鏡装置であって、
前記医用画像処理装置は、
複数時相について撮影された前記内視鏡画像を入力する第１入力部と、
前記生体組織に対応するボリュームデータを入力する第２入力部と、
前記内視鏡画像と前記ボリュームデータとの位置合わせを行って、前記複数時相それぞれにおける前記蛍光領域を、前記ボリュームデータに累積的にマッピングする合成部と、
を備え、
前記合成部は、内視鏡の先端部の中心である視点から前記内視鏡画像の範囲内の位置に向かう視線ベクトルであって、前記内視鏡画像の範囲の中心方向である視線方向とは異なる方向に向かう視線ベクトルと、前記視線ベクトルが前記ボリュームデータの壁面と交わる位置における前記壁面とがなす角が所定の角度より小さい領域では、前記蛍光領域を前記ボリュームデータにマッピングしない、
内視鏡装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様としての本実施形態は、医用画像処理装置および内視鏡装置に関する。

【背景技術】

【0002】

近年、癌細胞を光らせて癌の領域を検出するスプレー式の蛍光試薬の研究が進められている。例えば、外科手術時や内視鏡手術時または腹腔鏡手術時に癌と疑われる部分に蛍光試薬をスプレーすることにより、癌の部位のみを数分間光らせることができ、癌の分布状態や癌の進行を検出することができる。

【0003】

例えば、蛍光試薬を用いた内視鏡癌手術では、内視鏡の先端部から蛍光試薬を広範囲に散布する。そして、癌が蛍光状態になるまで待機した後、内視鏡画像において蛍光領域を確認する。術者は、内視鏡画像における蛍光領域を癌の部位と判断し、その蛍光領域を切除する。

【0004】

一方、癌の部位が蛍光試薬によって蛍光している時間は限られている。そのため、術者は、限られた蛍光時間内に手技を行う必要があり、手技自体を優先せざるを得ない。その結果、癌の部位よりも広い範囲の分布状態を把握することが疎かになりがちである。

【0005】

また、複数の癌の部位が存在するような場合には、術者は先に発見した癌の部位の切除を先に行う傾向があり、複数の癌の部位に対する処置の優先順位の策定が疎かになってしまう。

【先行技術文献】

【特許文献】

【0006】

【文献】国際公開２０１２／１３２７９０号

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、蛍光試薬による蛍光状態が限られた時間であっても、癌の分布状態を把握し、切除する癌の部位の優先順位を策定することができる医用画像処理装置および内視鏡装置を提供することである。

【課題を解決するための手段】

【0008】

実施形態の医用画像処理装置は、上述した課題を解決するために、複数時相について撮影された、薬剤の投与によって生体組織の蛍光領域を所定期間蛍光させた、生体組織の内視鏡画像を入力する第１入力部と、前記生体組織に対応するボリュームデータを入力する第２入力部と、前記内視鏡画像と前記ボリュームデータとの位置合わせを行って、前記複数時相それぞれにおける前記蛍光領域を、前記ボリュームデータに累積的にマッピングする合成部と、を備える。

【図面の簡単な説明】

【0009】

【図1】実施形態の内視鏡装置を示す構成例を示す図。

【図2】処理回路がプログラムを実行することにより実現する各機能を、より詳細に示した機能ブロック図。

【図3】実施形態の内視鏡装置の動作を示すフローチャート。

【図4】術者が位置合わせの操作を行う際、ディスプレイに表示される内視鏡表示画面と、合成画像表示画面とを示した説明図。

【図5】処理回路が、内視鏡画像の蛍光領域を、同一被検体のボリュームデータに累積的にマッピングして、ボリューム画像を表示させる概念を示した説明図。

【図6】内視鏡の先端部が移動して内視鏡画像が変化する場合でも、ボリューム画像が内視鏡画像の変化にリアルタイムで追従する概念を示した説明図。

【図7】蛍光領域をボリュームデータにマッピングする際に、考えられるマッピングの具体例を示した説明図。

【図8】視線方向に対して平行に近い視線ベクトルは、誤差を生じる可能性があることを示した説明図。

【図9】内視鏡範囲を構成する内視鏡画像の中心部分に、マッピングをしない範囲を示すマスク領域を設定する概念を示した説明図。

【発明を実施するための形態】

【0010】

実施形態に係る医用画像処理装置について、添付図面を参照して説明する。

【0011】

なお、実施形態の医用画像処理装置は、内視鏡装置の構成に含まれるため、以下では、内視鏡装置について説明する。

【0012】

図１は、実施形態の内視鏡装置１００を示す構成例を示す図である。

【0013】

内視鏡装置１００は、内視鏡１１０、医用画像管理装置２００およびセンスコイル装置３００を備えている。

【0014】

内視鏡１１０は、挿入部１２０と先端部１３０とを備えている。挿入部１２０は、被検体の体内に挿入される細長い部材である。先端部１３０は、挿入部１２０の先端に設けられた部材であって、観察対象の生体組織の画像情報を取得するための各種の撮影光学系部材が設けられている。

【0015】

先端部１３０は、例えば、ライトガイド照明窓１３１、鉗子口１３３、ライトガイド照明窓１３５、対物レンズ１３７および内蔵するソースコイル１３９を備えている。

【0016】

ライトガイド照明窓１３１とライトガイド照明窓１３５は、被検体の体内を照らす照明を構成する。ライトガイド照明窓１３１とライトガイド照明窓１３５は、挿入部１２０にそれぞれライトガイドを有し、図示しない光源から各種レンズやフィルタを介して白色光や励起光が入射され、それぞれ被検体の体内の観察対象に対して照射する。

【0017】

鉗子口１３３は、例えば、癌の部位を切除するための鉗子を出し入れするための開口部である。鉗子口１３３は、被検体の体内の生体組織の採取や異物回収の際に鉗子を出し入れするだけでなく、粘液などの吸引を行うこともできる。また、本実施形態では、鉗子口１３３は、被検体の癌と疑われる領域に、蛍光試薬をスプレーするようになっている。

【0018】

対物レンズ１３７は、被検体の体内の臓器の状態をカラー映像で集光するようになっている。先端部１３０は、対物レンズ１３７によって集光された光のうち、白色光と蛍光とに分けて、白色光による白色光画像情報と、蛍光による蛍光画像情報とを、それぞれ取得する。

【0019】

ソースコイル１３９とセンスコイル装置３００とで位置センサを構成する。ソースコイル１３９は、磁場を発生する。

【0020】

一方、センスコイル装置３００は、先端部１３９に設けられているソースコイル１３９から発信される磁場をアンテナで受信することによって、先端部１３０の位置と、先端部１３０の向き（即ち、方向）を検出する。センスコイル装置３００で検出された先端部１３０の位置と方向は、医用画像処理装置２００に入力される。

【0021】

医用画像処理装置２００は、処理回路２１０、入力回路２２０、ディスプレイ２３０、記憶回路２４０、画像記憶回路２５０および内部バス２６０を備えている。

【0022】

処理回路２１０は、プログラムをメモリ（記憶回路２４０）から読み出し、実行することにより、プログラムに対応する機能を実現するプロセッサである。具体的には、処理回路２１０（プロセッサ）は、読み出したプログラムを実行することによって、検出機能ＤＴ、第１入力機能２１２、第２入力機能２１９、抽出機能２１４、位置合わせ機能２１６及び合成機能２１８を、実現する。

【0023】

なお、第１入力機能２１２、第２入力機能２１９及び抽出機能２１４は、特許請求の範囲の第１入力部、第２入力部、抽出部の具体例である。位置合わせ機能２１６及び合成機能２１８は、特許請求の範囲の合成部の具体例である。

【0024】

検出機能ＤＴ、第１入力機能２１２、第２入力機能２１９、抽出機能２１４、位置合わせ機能２１６及び合成機能２１８の各機能の詳細については、後述する。

【0025】

ここで、「プロセッサ」という文言は、例えば、専用又は汎用のＣＰＵ（Central Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）などの回路を意味する。

【0026】

プロセッサは、メモリに保存された、もしくはプロセッサの回路内に直接組み込まれたプログラムを読み出し、実行することで各機能を実現する。プロセッサが複数設けられ場合、プログラムを記憶するメモリは、プロセッサごとに個別に設けられるものであっても構わないし、或いは、図１の記憶回路２４０が各プロセッサの機能に対応するプログラムを記憶するものであっても構わない。

【0027】

入力回路２２０は、医師や検査技師などの操作者（術者のことである。）によって操作が可能なポインティングデバイス（マウスなど）やキーボードなどの入力デバイスからの信号を入力する回路であり、ここでは入力デバイス自体も入力回路２２０に含まれるものとする。この場合、操作に従った入力信号が、入力回路２２０から処理回路２１０に送られる。また、入力回路２１０は、内視鏡１１０の操作部（図示せず）からの信号も入力することができるようになっている。

【0028】

ディスプレイ２３０は、被検体の体内の観察対象を撮影した内視鏡画像を表示する機能を備える表示装置である。ディスプレイ２３０は、図示しない画像合成回路、ＶＲＡＭ（Video Random Access Memory）および画面等を含んでいる。画像合成回路は、画像データに種々のパラメータの文字データ等を合成した合成データを生成する。ＶＲＡＭは、合成データをディスプレイに展開する。ディスプレイ２３０は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）等によって構成され、例えば、検出機能ＤＴで生成された内視鏡画像や、被検体のボリュームデータにおいてレンダリング処理が施されたレンダリング画像（以下、これをボリューム画像ともいう。）を表示することができる。

【0029】

記憶回路２４０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＨＤＤ（Hard Disk Drive）等を含む記憶装置により構成されている。記憶回路２４０は、ＩＰＬ（Initial Program Loading）、ＢＩＯＳ（Basic Input／Output System）及びデータを記憶したり、処理回路２１０のワークメモリとして使用されたり、または、データを一時的に記憶する場合に用いられる。ＨＤＤは、医用画像処理装置２００にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる。）やデータを記憶する記憶装置である。また、医師や検査技師などの操作者に対するディスプレイ２３０への情報の表示にグラフィックを多用し、基礎的な操作を入力回路２２０によって行なうことができるＧＵＩ（Graphical User Interface）を、ＯＳに提供することもできる。また、記憶回路２４０は、被検体のボリュームデータを記憶する。

【0030】

画像記憶回路２５０は、例えば、被検体のボリュームデータに蛍光領域をマッピングした合成ボリュームデータを記憶するようになっている。画像記憶回路２５０は、例えば、ＲＯＭ、ＲＡＭ及びＨＤＤ等を含む記憶回路によって構成される。画像記憶回路２５０は、被検体の合成ボリュームデータを３次元データとして記憶する。そして、例えば、合成ボリュームデータにおいてレンダリング処理が施された被検体の観察対象の３次元画像（上述したボリューム画像のことである。）が、ディスプレイ２３０に表示される。

【0031】

内部バス２６０は、処理回路２１０によって医用画像処理装置２００が統括制御されるように、各構成要素に接続されている。内部バス２６０は、例えば、医用画像処理装置２００内で、データや信号を伝達するための回路により構成される。

【0032】

図２は、処理回路２１０がプログラムを実行することにより実現する各機能を、より詳細に示した機能ブロック図である。以下、図２を用いて、各機能を順に説明する。

【0033】

図２に示すように、検出機能ＤＴは、蛍光画像生成機能２１１、蛍光領域検出機能２１３、白色画像生成機能２１５および内視鏡画像生成機能２１７を備えている。

【0034】

蛍光画像生成機能２１１は、内視鏡１１０から入力される画像信号から蛍光画像を生成する。撮影対象部位に癌の部位が存在する場合、蛍光試薬の散布により、所定の期間だけ、癌の部位から蛍光が発光される。したがって、蛍光画像には、所定の期間だけ癌の部位が抽出されることになる。

【0035】

蛍光領域検出機能２１３は、蛍光画像生成機能２１１において生成された蛍光画像から、所定の処理条件により蛍光領域を検出し、検出画像を生成する。検出画像は、蛍光画像の画素値に対して所定の閾値判定を行い、画素値が所定の閾値以上となる領域を、蛍光領域（即ち、癌の部位の領域）として検出した２値化画像である。

【0036】

白色画像生成機能２１５は、内視鏡１１０から入力される画像信号から白色光画像を生成する。内視鏡画像生成機能２１７は、白色画像生成機能２１５によって生成された白色光画像に、蛍光領域検出機能２１３によって生成された検出画像を重畳して、内視鏡画像を生成する。内視鏡画像は、白色光画像のみで構成することもできるが、以下の説明では、白色光画像と検出画像とが重畳された画像を、内視鏡画像と呼ぶものとする。

【0037】

なお、白色光画像とは、薬剤の投与によって生体組織の蛍光領域を所定期間蛍光させた白色光の画像のことであり、また、白色光とは、可視光線の全ての波長の光が均等に混ざった光であって、色合いの感覚を与えない光のことである。

【0038】

内視鏡画像生成機能２１７は、生成した内視鏡画像をディスプレイ２３０の内視鏡表示画面２３１に表示させるとともに、その生成した内視鏡画像を入力機能２１２に出力する。

【0039】

第１入力機能２１２は、複数時相について撮影された、薬剤の投与によって生体組織の蛍光領域を所定期間蛍光させた、生体組織の内視鏡画像を入力する。即ち、第１入力機能２１２は、内視鏡画像生成機能２１７から入力された内視鏡画像を、抽出機能２１４と位置合わせ機能２１６とに出力する。なお、第１入力機能２１２は、検出画像と白色画像とが重畳された内視鏡画像に換えて、検出画像と白色光画像とをそれぞれ別個に入力することもできる。この場合、第１入力機能２１２は、検出画像を抽出機能２１４に出力する一方、白色光画像を位置合わせ機能２１６出力する。

【0040】

抽出機能２１４は、入力された内視鏡画像内（或いは検出画像内）の蛍光領域を抽出する。

【0041】

第２入力機能２１９は、生体組織に対応するボリュームデータを入力する。例えば、第２入力機能２１９は、記憶回路２４０からボリュームデータを取得して、そのボリュームデータを位置合わせ機能２１６に出力する。

【0042】

位置合わせ機能２１６は、第１入力機能２１２から入力された内視鏡画像と、第２入力機能２１９から入力されたボリュームデータとの位置合わせを行う。より具体的には、内視鏡画像と、ボリュームレンダリングしたボリューム画像との位置合わせを行う。

【0043】

例えば、術者は、内視鏡表示画面２３１に表示された内視鏡画像と、ボリュームデータのボリューム画像とを見比べて、手動で位置合わせを行うことができる。例えば、位置合わせ機能２１６は、術者の操作によって設定されるボリュームデータのレンダリング情報（例えば、レンダリング処理のために視点位置や視線方向に関する情報）に基づいて、ボリューム画像を生成する。術者は、このボリューム画像と内視鏡画像とが合致するように、レンダリング情報を手動で設定する。

【0044】

一方、位置合わせ機能２１６は、内視鏡１１０の先端部１３０の位置情報と方向情報とをセンスコイル装置３００から取得することができる。したがって、一旦、位置合わせが完了すると、その後は、内視鏡１１０の先端部１３０が移動しても、内視鏡１１０の先端部１３０の位置と方向の変化に応じて、レンダリング情報を更新することにより、内視鏡画像とボリューム画像とを連動させることができる。また、内視鏡１１０の先端部１３０が移動しても、ボリュームデータと内視鏡１１０の先端部１３０との空間的な位置関係を継続的に特定することができる。

【0045】

なお、被検体のボリュームデータ中の管状構造物の３次元的な構造と、内視鏡１１０の先端部１３０の通過軌跡のマッチングにより自動的に画像の位置合わせを設定することができる場合には、手動ではなく自動でボリューム画像の位置合わせを設定するようにしてもよい。

【0046】

合成機能２１８は、複数時相それぞれにおける蛍光領域を、ボリュームデータに累積的にマッピングする。例えば、合成機能２１８は、被検体のボリュームデータに、抽出機能２１４により抽出した蛍光領域を累積的にマッピングする。ここで、「累積的にマッピングする」とは、時間経過に伴う蛍光の消滅によって、当初あった蛍光領域が消えた場合であっても、その蛍光領域がボリュームデータ内で保持されるように蛍光領域をボリュームデータ内に配置することである。なお、以下では、蛍光領域が累積的にマッピングされたボリュームデータを、合成ボリュームデータと呼ぶ。

【0047】

また、合成機能２１８は、複数時相それぞれにおける蛍光領域を、ボリュームデータにマッピングする。この場合、合成機能２１８は、時間経過に伴う蛍光の消滅を、複数時相それぞれにおける蛍光領域として、マッピングすることができる。

【0048】

合成機能２１８は、合成ボリュームデータを画像記憶回路２５０に記憶させるとともに、その合成ボリュームデータに対してレンダリング処理を施して、合成ボリュームデータのボリューム画像を、ディスプレイ２３０の合成画像表示画面２３３に表示させることができる。

【0049】

なお、処理回路２１０は、検出機能ＤＴ、第１入力機能２１２、第２入力機能２１９、抽出機能２１４、位置合わせ機能２１６および合成機能２１８をリアルタイムに実行することができるので、内視鏡表示画面２３１に内視鏡画像を表示させるとともに、合成画像表示画面２３３に合成ボリュームデータに基づくボリューム画像を、同時に表示させることができる。

【0050】

続いて、図３に示すフローチャートを用いて、実施形態の内視鏡装置１００の動作をさらに詳しく説明する。

【0051】

最初に、医用画像処理装置２００の処理回路２１０は、センスコイル装置３００から、内視鏡１１０の先端部１３０の位置情報と方向情報とを取得するとともに、検出機能ＤＴによって生成された内視鏡画像を、第１入力機能２１２によって、抽出機能２１４と位置合わせ機能２１６とに入力する（ステップＳ００１）。

【0052】

次に、処理回路２１０は、第２入力機能２１９によって、記憶回路２４０から被検体のボリュームデータを取得して、位置合わせ機能２１６に入力する（ステップＳ００３）。なお、取得するボリュームデータは、例えば、Ｘ線ＣＴ（Computed Tomography）装置で事前に撮影された同一被検体のボリュームデータとする。

【0053】

術者は、内視鏡表示画面２３１に表示された内視鏡画像と、ボリュームデータをレンダリング処理が施されたボリューム画像とを見比べて、レンダリングの視点や視線方向等のレンダリング情報を変えながら、手動で位置合わせの操作を行う。処理回路２１０の位置合わせ機能２１６は、術者によって設定されたレンダリング情報に基づいて、内視鏡画像とボリュームデータのボリューム画像の位置合わせをする（ステップＳ００５）。

【0054】

図４は、術者が位置合わせの操作を行う際、ディスプレイ２３０に表示される内視鏡表示画面２３１と、合成画像表示画面２３３とを示した説明図である。

【0055】

図４に示すように、図４（ａ）では、ディスプレイ２３０の内視鏡表示画面２３１に、内視鏡画像が表示されている。なお、術者が位置合わせの操作を行う際は、蛍光領域が表示されている必要はないため、白色画像生成機能２１５で生成された白色光画像を表示させてもよい。一方、図４（ｂ）では、ディスプレイ２３０の合成画像表示画面２３３に、同一被検体のボリューム画像が表示されている。

【0056】

図４（ｂ）の内視鏡範囲ＥＲは、内視鏡表示画面２３１に表示された内視鏡画像の範囲を示している。術者は、入力回路２２０を操作することにより、合成画像表示画面２３３のボリューム画像の表示される位置や方向を変更することができるので、内視鏡表示画面２３１の内視鏡画像と、ボリューム画像の位置合わせを行うことができる。

【0057】

なお、位置合わせが実行されると、処理回路２１０は、内視鏡１１０の先端部１３０の移動に伴って、合成画像表示画面２３３のボリューム画像の位置や向きを変化させることができる。つまり、処理回路２１０は、内視鏡表示画面２３１の内視鏡画像の変化に追従させて、ボリューム画像の位置や向きを変化させることができる。

【0058】

処理回路２１０の蛍光領域検出機能２１３は、蛍光画像から蛍光領域を検出して検出画像を生成する。または、処理回路２１０の抽出機能２１４は、白色光画像と検出画像とが重畳された内視鏡画像から蛍光領域を抽出する（ステップＳ００７）。

【0059】

なお、ステップＳ００７の処理は、蛍光試薬を内視鏡１１０の先端部１３０から散布した後、所定の期間だけ待機した後に行われる。ここで、所定の期間とは、癌の部位が存在した場合、蛍光試薬によって癌の部位から蛍光が発生する（即ち、癌の部位が蛍光状態となる）までの期間である。

【0060】

処理回路２１０の蛍光領域検出機能２１３は、例えば、蛍光画像から、隣接する周囲の画素値との差分が第１の閾値以上の画素値の領域であって、各画素値自体が第２の閾値以上の画素値を有する領域を、蛍光領域として検出する。この場合、蛍光領域検出機能２１３は、画素値に対して第１の閾値を設けることにより、第１の判定を行うことができると共に、画素値に対して第２の閾値を設けることにより、第２の判定を行うことができる。また、第１の閾値および第２の閾値を設けて、第１の判定および第２の判定を行う機能は、抽出機能２１４に設け、内視鏡画像から蛍光領域を抽出するようにしてもよい。

【0061】

処理回路２１０の合成機能２１８は、抽出機能２１４によって抽出した蛍光領域を、被検体のボリュームデータに累積的にマッピングする（ステップＳ００９）。これにより、処理回路２１０は、合成ボリュームデータのボリューム画像を、合成画像表示画面２３３に表示させることができる。

【0062】

図５は、処理回路２１０が、内視鏡画像の蛍光領域を、同一被検体のボリュームデータに累積的にマッピングして、ボリューム画像を表示させる概念を示した説明図である。

【0063】

図５に示すように、図５（ａ）では、ディスプレイ２３０の内視鏡表示画面２３１に、検出された蛍光領域ＦＥ１、ＦＥ３と、白色光画像とが重畳された内視鏡画像が表示されている。図５（ａ）は、蛍光領域ＦＥ１、ＦＥ３が、内視鏡１１０の視野内に在る状態、即ち、蛍光領域ＦＥ１、ＦＥ３がフレームインの状態を示す図である。

【0064】

図５（ｂ）は、抽出した蛍光領域ＦＥ１、ＦＥ３などの蛍光領域を合成機能２１８によりボリュームデータに累積的にマッピングし、レンダリング処理が施されたボリューム画像を示している。ここで、図５（ｂ）において、蛍光領域ＦＥ１、ＦＥ３は、図５（ａ）と同一の蛍光領域を示している。

【0065】

一方、蛍光領域ＦＥ４は、内視鏡１１０の先端部１３０の移動に伴い、内視鏡範囲ＥＲからフレームアウトした蛍光領域を示している。即ち、蛍光領域ＦＥ４は、過去のある時点では、内視鏡１１０の視野内にあったものの、現時点では内視鏡１１０の視野外になってしまった蛍光領域である。本実施形態では、蛍光領域が累積的にボリュームデータにマッピングされる。したがって、本実施形態では、内視鏡範囲ＥＲからフレームアウトした場合でも、蛍光領域ＦＥ４をボリュームデータに継続的にマッピングすることができる。

【0066】

また、蛍光領域ＦＥ５は、現在の内視鏡範囲ＥＲでは死角になっているため、内視鏡表示画面２３１の内視鏡画像には映っていないが、過去に内視鏡範囲ＥＲに存在していた蛍光領域である。そのため、本実施形態では、現在の内視鏡範囲ＥＲでは死角として見えなくなっている蛍光領域ＦＥ５であっても、ボリュームデータ上に継続的にマッピングすることができる。

【0067】

また、蛍光領域ＦＥ６は、薬剤の投与による蛍光は有限時間であるため、時間の経過によりすでに発光しなくなった領域である。本実施形態では、蛍光状態が終了した蛍光領域ＦＥ６であっても、ボリュームデータ上に継続的にマッピングすることができる。

【0068】

なお、処理回路２１０の蛍光領域検出機能２１３や抽出機能２１４は、２値化画像である検出画像から蛍光領域を抽出するため、蛍光領域ＦＥ６がボリューム画像上の他の生体組織と区別される態様で、ボリュームデータにマッピングすることができる。

【0069】

本実施形態では、処理回路２１０は、抽出した蛍光領域をマッピングするとともに、内視鏡１１０の先端部１３０の移動に伴い、内視鏡表示画面２３１の内視鏡画像の変化に追従しながらマッピングすることができるので、合成画像表示画面２３３のボリューム画像の位置や向きを変化させることができる。即ち、処理回路２１０は、複数時相それぞれにおける蛍光領域を、ボリュームデータにマッピングすることができる。

【0070】

図６は、内視鏡１１０の先端部１３０が移動して内視鏡画像が変化する場合でも、ボリューム画像が内視鏡画像の変化にリアルタイムで追従する概念を示した説明図である。

【0071】

図６（ａ）は、内視鏡１１０の先端部１３０の移動に伴って、図５（ａ）で示した蛍光領域ＦＥ１、ＦＥ３の位置が変化すると共に、内視鏡画像に蛍光領域ＦＥ２が新たに表示されてくる様子を示している。蛍光領域ＦＥ２は、内視鏡１１０の先端部１３０の移動により現れた蛍光領域であり、例えば、組織の裏側や内壁の段差などによって現れ、処理回路２１０は、蛍光領域を３次元的に抽出することができる。

【0072】

図６（ｂ）では、図５（ｂ）で示した蛍光領域ＦＥ１、ＦＥ２、ＦＥ３や領域ＦＥ６が、内視鏡１１０の先端部１３０の移動に伴って、ボリューム画像がリアルタイムに追従する概念を示している。図６（ｂ）においても、処理回路２１０は、抽出した蛍光領域ＦＥ１、ＦＥ２、ＦＥ３などの蛍光領域を、合成機能２１８によりボリュームデータに累積的にマッピングすることを示している。

【0073】

内視鏡装置１００は、内視鏡１１０の検査を終了するか否かを待ち受けており（ステップＳ０１１）、終了しない場合には（ステップＳ０１１のＮＯ）、内視鏡１１０の先端部１３０の移動に伴って、内視鏡画像から蛍光領域を継続的に抽出する（ステップＳ００７）。

【0074】

この場合、処理回路２１０は、複数時相の複数の位置または複数の方向から撮影した、内視鏡１１０の先端部１３０による内視鏡画像が入力され、その複数の内視鏡画像から、複数時相のそれぞれに対応する蛍光領域を抽出して、複数時相のそれぞれに対応する蛍光領域を、それぞれ対応するボリュームデータにマッピングする。

【0075】

これにより、処理回路２１０は、内視鏡画像における蛍光領域を、相対的な位置関係を保持しつつ、３次元的に抽出することができる。

【0076】

一方、内視鏡装置１００は、内視鏡１１０の検査を終了する場合は（ステップＳ０１１のＹＥＳ）、処理回路２１０は、内視鏡画像の蛍光領域をボリュームデータにマッピングする処理を中止し、蛍光領域自動マッピング処理を終了する。

【0077】

以上説明したように、実施形態の内視鏡装置１００は、複数時相について撮影された、薬剤の投与によって生体組織の蛍光領域を所定期間蛍光させた、生体組織の内視鏡画像を入力するとともに、生体組織に対応するボリュームデータを入力する。内視鏡装置１００は、内視鏡画像とボリュームデータとの位置合わせを行って、複数時相それぞれにおける蛍光領域を、ボリュームデータに累積的にマッピングする。

【0078】

これにより、内視鏡装置１００の医用画像処理装置２００は、内視鏡１１０の先端部１３０の移動に伴って、内視鏡画像の蛍光領域を抽出して、累積的にマッピングするとともに、リアルタイムに追従したボリューム画像を表示することができる。

【0079】

本実施形態では、合成画像表示画面２３３を表示するディスプレイ２３０を備えているため、処理回路２１０の合成機能２１８は、マッピングした蛍光領域が、ボリューム画像上で継続的に蛍光するように、ディスプレイ２３０に表示させることができる。

【0080】

これにより、本実施形態は、蛍光試薬による蛍光状態が限られた時間であっても、癌の分布状態を把握し、切除する癌の部位の優先順位を策定することができる。

【0081】

また、本実施形態の内視鏡装置１００を、術前だけでなく術後にも適用することにより、切除すべき癌の部位が適切に処置されたか否かを確認することができる。例えば、術後において、被検体における切除すべき癌の部位に蛍光試薬をスプレーし、合成ボリュームデータのボリューム画像に蛍光領域が存在する場合には、癌の未切除や転移が考えられ、再手術の検討を行うことができる。

【0082】

また、実施形態では、処理回路２１０の合成機能２１８は、抽出機能２１４によって抽出した蛍光領域を、ボリュームデータにマッピングするようになっていた。

【0083】

この場合、例えば、処理回路２１０の合成機能２１８は、内視鏡画像を観察する視点からその内視鏡画像上の蛍光領域までのベクトルをボリュームデータ上で延長し、その延長したベクトルとボリュームデータの組織表面と接触する位置に基づいて、蛍光領域をマッピングすることができる。

【0084】

図７は、蛍光領域をボリュームデータにマッピングする際に、考えられるマッピングの具体例を示した説明図である。

【0085】

図７に示すように、例えば、２種類のマッピング方法が考えられる。図７（ａ）では、抽出した蛍光領域ＦＥ７の中心領域ＣＥを、ボリュームデータ上の壁面にマッピングする例を示している。また、図７（ｂ）では、蛍光領域ＦＥ７を構成する全ての画素において、各画素の中心画素のそれぞれを、ボリュームデータ上の壁面にマッピングする例を示している。なお、ボリュームデータ上の壁面とは、ボリュームデータ上の組織表面のことである。

【0086】

図７(ａ)において、ボリュームデータにおける内視鏡範囲ＥＲは、内視鏡画像に相当する。また、内視鏡１１０の先端部１３０の中心を視点とした場合、内視鏡範囲ＥＲの中心方向を視線方向と定義する。この場合、例えば、視点から内視鏡範囲ＥＲ上の所定の点までを視線ベクトルとして、視点から蛍光領域ＦＥ７の中心領域ＣＥまでのベクトルを視線ベクトルＬＳ１とする。

【0087】

処理回路２１０は、内視鏡画像における蛍光領域ＦＥ７を、内視鏡範囲ＥＲの蛍光領域ＦＥ７と判定し、視点から中心領域ＣＥまでの視線ベクトルＬＳ１をボリュームデータ上でボリュームデータの壁面にぶつかるまで投影パスＰ１として延長して、蛍光領域ＦＥ７の中心領域ＣＥのみをボリュームデータ上にマッピングしている。

【0088】

また、図７（ｂ）では、内視鏡画像における蛍光領域ＦＥ７において、蛍光領域ＦＥ７を構成する全ての画素について、それぞれ中心画素の視線ベクトルを延長して、各画素の中心画素をその画素ごとにボリュームデータの壁面にぶつかる投影パスＰ２、Ｐ３、Ｐ４を算出する。これにより、処理回路２１０は、中心画素ごとにそれぞれボリュームデータにマッピングすることができる。

【0089】

図７（ａ）、図７（ｂ）のいずれのマッピング方法であっても、処理回路２１０の合成機能２１８は、内視鏡１１０の先端部１３０が移動する度に、蛍光領域をリアルタイムにマッピングすることができるので、隣合う画素を補完しながら蛍光領域をマッピングすることができる。

【0090】

なお、図７において、視線方向に対して平行に近い視線ベクトルは、ボリュームデータ上で投影パスを生成した際に、マッピングする領域が拡大されてしまい、投影パスに誤差を生じる可能性がある。

【0091】

図８は、視線方向に対して平行に近い視線ベクトルは、誤差を生じる可能性があることを示した説明図である。

【0092】

図８に示すように、図８（ａ）では、視線ベクトルをボリュームデータの壁面にぶつかるまで延長した投影パスＰ１の周辺壁面において、視線方向と壁面の角度によっては誤差を生じる可能性があることを示している。また、図８（ｂ）では、内視鏡１１０の先端部１３０の視点から遠い位置にある領域は、誤差を生じる可能性があることを示している。

【0093】

図８（ａ）の領域ＦＥ８について、例えば、壁面と視線方向のなす角を角度θＡとする。図８（ａ）では、この角度θＡが小さいほど、視線ベクトルが視線方向に近づき、視線方向に対して平行に近い状態になる。この場合、角度θＡが小さいほど、領域ＦＥ８は、誤差を生じる可能性が高くなること示している。

【0094】

そこで、例えば、角度θＡが所定の角度θ１より小さい場合には、処理回路２１０は、ボリュームデータ上に蛍光領域をマッピングしないようにしてもよい。

【0095】

一方、図８（ｂ）の領域ＦＥ９について、例えば、内視鏡の先端部の中心である視点から内視鏡画像の範囲内の位置に向かう視線ベクトルと、前記視線ベクトルが壁面と交わる位置における前記壁面とがなす角を角度θＢとする。図８（ｂ）では、この角度θＢが小さいほど、領域ＦＥ９は、視点から遠い位置になる。また、視線ベクトルは視線方向に近づき、投影パスは、視線方向に対して平行に近い状態になる。この場合、角度θＢが小さいほど、領域ＦＥ９は、誤差を生じる可能性が高くなること示している。

【0096】

そこで、例えば、角度θＢが所定の角度θ２より小さい場合には、処理回路２１０は、内視鏡範囲ＥＲにおいて、ボリュームデータ上に蛍光領域をマッピングしないようにマスク領域ＭＫを設定することができる。

【0097】

図９は、内視鏡範囲ＥＲを構成する内視鏡画像の中心部分に、マッピングをしない範囲を示すマスク領域ＭＫを設定する概念を示した説明図である。

【0098】

図９に示すように、図９（ａ）では、内視鏡範囲ＥＲにマッピングをしない範囲を示すマスク領域ＭＫを設定し、処理回路２１０は、内視鏡画像においてマスク領域ＭＫ以外の領域をボリュームデータ上にマッピングすることを示している。

【0099】

処理回路２１０の合成機能２１８は、マスク領域ＭＫを設定することによりマッピング対象領域ＴＡを設定することができ、内視鏡範囲ＥＲの中心部分は、ボリュームデータにおいてマッピングをしない一方、内視鏡範囲ＥＲの中心部分以外の部分を、ボリュームデータにおいてマッピングすることができる。

【0100】

これにより、処理回路２１０は、誤差を生じやすい蛍光領域ＦＥ９のマッピングを回避して、ボリュームデータ上でのマッピング精度を高めることができる。

【0101】

図９（ｂ）は、マスク領域ＭＫ以外の領域をボリュームデータにマッピングする概念を示している。

【0102】

図９（ｂ）に示すように、処理回路２１０の合成機能２１８は、マスク領域ＭＫを設定したことによって、誤解を生じる可能性のある領域ＦＥ１０へのマッピングを回避して、マッピング領域ＭＡのみにマッピングすることを示している。

【0103】

特に、図９（ｂ）では、領域ＦＥ１０が、内視鏡１１０の先端部１３０の視点から遠い位置にあり、また、領域ＦＥ１０の壁面の形状も段差を生じていることが多い。領域ＦＥ１０の壁面の形状に段差が含まれる場合には、蛍光領域をマッピングすると誤差の範囲がより大きくなりやすい。

【0104】

そのため、内視鏡範囲ＥＲを構成する内視鏡画像の中心部分にマッピングをしない範囲を示すマスク領域ＭＫを設定することにより、合成ボリュームデータ上の誤差を取り除くことができるため、マッピング精度を高めることができる。

【0105】

また、内視鏡１１０の先端部１３０は、被検体の体内で観察対象を移動して撮影することができるので、視線方向の中心部分をマスクしても、蛍光領域のマッピングは補完することができる。

【0106】

以上説明した少なくともひとつの実施形態によれば、蛍光試薬による蛍光状態が限られた時間であっても、癌の分布状態を把握し、切除する癌の部位の優先順位を策定することができる。

【0107】

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行なうことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0108】

１００…内視鏡装置
１１０…内視鏡
１３０…先端部
１３１、１３５…ライトガイド照明窓
１３９…ソースコイル
２００…医用画像処理装置
２１０…処理回路
２１２…第１入力機能
２１４…抽出機能
２１６…位置合わせ機能
２１８…合成機能
２１９…第２入力機能
２３０…ディスプレイ
２３１…内視鏡表示画面
２３３…合成画像表示画面
２４０…記憶回路
２５０…画像記憶回路
３００…センスコイル装置
ＤＴ…検出機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】