(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】内視鏡システム及びその作動方法
(51)【国際特許分類】
A61B 1/00 20060101AFI20221031BHJP
【FI】
A61B1/00 551
(21)【出願番号】P 2021542889
(86)(22)【出願日】2020-08-24
(86)【国際出願番号】 JP2020031845
(87)【国際公開番号】W WO2021039718
(87)【国際公開日】2021-03-04
【審査請求日】2022-01-24
(31)【優先権主張番号】P 2019155553
(32)【優先日】2019-08-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】特許業務法人小林国際特許事務所
(72)【発明者】
【氏名】宇都宮 大介
【審査官】北島 拓馬
(56)【参考文献】
【文献】特開平05-203882(JP,A)
【文献】特開2010-175579(JP,A)
【文献】国際公開第2018/180249(WO,A1)
【文献】国際公開第2018/051680(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
G02B 23/24 -23/26
(57)【特許請求の範囲】
【請求項1】
被写体に対して計測用ビーム光を
出射するビーム光出射部、及び、先端部において前記ビーム光出射部とは異なる位置に設けられ、前記被写体からの光を受光する撮像光学系を有し、前記計測用ビーム光は前記撮像光学系の光軸に対して斜めに出射する内視鏡と、
プロセッサ装置を備え、
前記プロセッサ装置は、
前記撮像光学系にて受光した光に基づいて得られる被写体画像であって前記計測用ビーム光の
出射により前記被写体に現れるビーム
出射領域を含む被写体画像を取得し、
前記被写体画像から前記ビーム
出射領域を認識し、
前記ビーム
出射領域に基づいて、前記被写体のサイズを計測するための計測用マーカを前記被写体画像上に表示させた計測用画像をディスプレイにて表示するプロセッサを有し、
前記被写体画像における前記ビーム
出射領域は、白色の中心領域と、前記中心領域の周囲を覆い、前記計測用ビーム光に基づく特徴量を持つ周辺領域とを含む特定形状のパターンを有し、
前記プロセッサは、前記特定形状のパターンを有する前記ビーム
出射領域を認識する内視鏡システム。
【請求項2】
前記プロセッサは、前記被写体画像の入力に対して、前記ビーム
出射領域を出力する学習モデルにより、前記ビーム
出射領域を認識する請求項1記載の内視鏡システム。
【請求項3】
前記プロセッサは、予め定められた前記ビーム
出射領域のテンプレート画像を用いて、前記被写体画像に対してパターンマッチング処理を行うことによって、前記ビーム
出射領域を認識する請求項1記載の内視鏡システム。
【請求項4】
前記プロセッサは、前記特定形状が変形したパターンの前記ビーム
出射領域を認識可能である請求項1ないし3いずれか1項記載の内視鏡システム。
【請求項5】
前記特徴量は、前記計測用ビーム光の色、前記計測用ビーム光の色以外の色、前記計測用ビーム光の輝度、明度、彩度、色相のうち少なくともいずれかである請求項1ないし4いずれか1項記載の内視鏡システム。
【請求項6】
前記特定形状は、円状である請求項1ないし5いずれか1項記載の内視鏡システム。
【請求項7】
前記特定形状は、ライン状である請求項1ないし5いずれか1項記載の内視鏡システム。
【請求項8】
前記プロセッサは、複数の色画像を含む前記被写体画像を受信し、
前記計測用ビーム光の光量を特定光量にして、前記各色画像の画素値を最大画素値にすることにより、前記ビーム
出射領域の中心領域を白色にする請求項1ないし7いずれか1項記載の内視鏡システム。
【請求項9】
前記プロセッサは、前記ビーム
出射領域の位置に対応する前記計測用マーカを前記計測用画像に表示させる請求項1ないし8いずれか1項記載の内視鏡システム。
【請求項10】
前記プロセッサは、前記ビーム
出射領域のパターンに対応する前記計測用マーカを前記計測用画像に表示させる請求項1ないし8いずれか1項記載の内視鏡システム。
【請求項11】
被写体に対して計測用ビーム光を
出射するビーム光出射部、及び、先端部において前記ビーム光出射部とは異なる位置に設けられ、前記被写体からの光を受光する撮像光学系を有し、前記計測用ビーム光は前記撮像光学系の光軸に対して斜めに出射する内視鏡、及び、プロセッサを有するプロセッサ装置を備える内視鏡システムの作動方法において、
前記プロセッサが、
前記撮像光学系にて受光した光に基づいて得られる被写体画像であって前記計測用ビーム光の
出射により前記被写体に現れるビーム
出射領域を含む被写体画像を取得し、
前記被写体画像から前記ビーム
出射領域を認識するステップと、
前記ビーム
出射領域に基づいて、前記被写体のサイズを計測するための計測用マーカを前記被写体画像上に表示させた計測用画像をディスプレイにて表示するステップとを有し、
前記被写体画像における前記ビーム
出射領域は、白色の中心領域と、前記中心領域の周囲を覆い、前記計測用ビーム光に基づく特徴量を持つ周辺領域とを含む特定形状のパターンを有し、
前記プロセッサは、前記特定形状のパターンを有する前記ビーム
出射領域を認識する内視鏡システムの作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の大きさを測定するための計測用マーカを表示する内視鏡システム及びその作動方法に関する。
【背景技術】
【0002】
光源装置、内視鏡、及び、プロセッサ装置を有する内視鏡システムでは、被写体までの距離又は被写体の大きさなどを取得することが行われている。例えば、特許文献1では、照明光及び計測用ビーム光を被写体に照射し、ビーム光の照射により被写体に、スポットなどのビーム照射領域を出現させる。そして、スポットの位置に対応させて、被写体のサイズを計測するための計測用マーカを被写体画像上に表示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
スポットの位置を被写体画像から正しく検出する方法として、RGB/HSVなどの映像の色/明度/彩度などを用いた色分離の方式がある。しかしながら、被写体において、生体内乱反射や残渣、変質(変色)した組織が含まれている場合は、それら生体内乱反射等によって映像の色等は変化するため、スポットの位置を検出することが難しい場合がある。したがって、生体内乱反射等が有る場合であっても、スポットの位置など計測用ビーム光の照射領域を安定して検出することが求められていた。
【0005】
本発明は、計測用ビーム光の照射領域を安定して検出することができる内視鏡システム及びその作動方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の内視鏡システムは、被写体に対して計測用ビーム光を出射するビーム光出射部、及び、先端部においてビーム光出射部とは異なる位置に設けられ、被写体からの光を受光する撮像光学系を有し、計測用ビーム光は撮像光学系の光軸に対して斜めに出射する内視鏡と、プロセッサ装置を備え、プロセッサ装置は、撮像光学系にて受光した光に基づいて得られる被写体画像であって計測用ビーム光の出射により被写体に現れるビーム出射領域を含む被写体画像を取得し、被写体画像からビーム出射領域を認識し、ビーム出射領域に基づいて、被写体のサイズを計測するための計測用マーカを被写体画像上に表示させた計測用画像をディスプレイにて表示するプロセッサを有し、被写体画像におけるビーム出射領域は、白色の中心領域と、中心領域の周囲を覆い、計測用ビーム光に基づく特徴量を持つ周辺領域とを含む特定形状のパターンを有し、プロセッサは、特定形状のパターンを有するビーム出射領域を認識する。
【0007】
プロセッサは、被写体画像の入力に対して、ビーム出射領域を出力する学習モデルにより、ビーム出射領域を認識することが好ましい。プロセッサは、予め定められたビーム出射領域のテンプレート画像を用いて、被写体画像に対してパターンマッチング処理を行うことによって、ビーム出射領域を認識することが好ましい。
【0008】
プロセッサは、特定形状が変形したパターンのビーム照射領域を認識可能であることが好ましい。特徴量は、計測用ビーム光の色、計測用ビーム光の色以外の色、計測用ビーム光の輝度、明度、彩度、色相のうち少なくともいずれかであることが好ましい。
【0009】
特定形状は、円状であることが好ましい。特定形状は、ライン状であることが好ましい。プロセッサは、複数の色画像を含む被写体画像を受信し、計測用ビーム光の光量を特定光量にして、各色画像の画素値を最大画素値にすることにより、ビーム出射領域の中心領域を白色にすることが好ましい。
【0010】
プロセッサは、ビーム出射領域の位置に対応する計測用マーカを計測用画像に表示させることが好ましい。プロセッサは、ビーム出射領域のパターンに対応する計測用マーカを計測用画像に表示させることが好ましい。
【0011】
本発明は、被写体に対して計測用ビーム光を出射するビーム光出射部、及び、先端部においてビーム光出射部とは異なる位置に設けられ、被写体からの光を受光する撮像光学系を有し、計測用ビーム光は撮像光学系の光軸に対して斜めに出射する内視鏡、及び、プロセッサを有するプロセッサ装置を備える内視鏡システムの作動方法において、プロセッサが、撮像光学系にて受光した光に基づいて得られる被写体画像であって計測用ビーム光の出射により被写体に現れるビーム出射領域を含む被写体画像を取得するステップと、被写体画像から前記ビーム出射領域を認識し、ビーム出射領域に基づいて、被写体のサイズを計測するための計測用マーカを被写体画像上に表示させた計測用画像をディスプレイにて表示するステップを有し、被写体画像におけるビーム出射領域は、白色の中心領域と、中心領域の周囲を覆い、計測用ビーム光に基づく特徴量を持つ周辺領域とを含む特定形状のパターンを有し、プロセッサは、特定形状のパターンを有するビーム出射領域を認識する。
【発明の効果】
【0012】
本発明によれば、計測用ビーム光によって被写体上に形成されるビーム照射領域を、白色の中心領域と周辺領域を含む特定形状のパターンとして認識することにより、計測用ビーム光の照射領域を安定して検出することができる。
【図面の簡単な説明】
【0013】
【
図3】内視鏡システムの機能を示すブロック図である。
【
図4】赤色のカラーフィルタRF、緑色のカラーフィルタGF、及び青色のカラーフィルタBFの透過分布を示すグラフである。
【
図5】ビーム光出射部の機能を示すブロック図である。
【
図6】スポットSP及び計測用マーカを示す画像図である。
【
図7】計測用ビーム光の光軸と撮像光学系の光軸との関係を示す説明図である。
【
図9】スポットSPの中心領域CR1及び周辺領域SR1とを示す説明図である。
【
図10】赤色画像RP、緑色画像GP、及び青色画像BPの画素値の分布を示すグラフである。
【
図11】計測用ビーム光の波長域WMBにおける透過率を示すグラフである。
【
図12】学習モデルを有する照射領域認識部の機能を示すブロック図である。
【
図13】円形から変形したスポットSPのパターンを示す説明図である。
【
図14】パターンマッチング処理部を有する照射領域認識部の機能を示すブロック図である。
【
図15】観察距離が近端Pxである場合のスポット及び第1の計測用マーカを示す画像図である。
【
図16】観察距離が中央付近Pyである場合のスポット及び第1の計測用マーカを示す画像図である。
【
図17】観察距離が遠端Pzである場合のスポット及び第1の計測用マーカを示す画像図である。
【
図18】十字型、目盛り付き十字型、歪曲十字型、円及び十字型、及び計測用点群型の第1の計測用マーカを示す説明図である。
【
図19】色がそれぞれ同じ3つの同心円状のマーカを示す画像図である。
【
図20】色がそれぞれ異なる3つの同心円状のマーカを示す画像図である。
【
図21】歪曲同心円状のマーカを示す画像図である。
【
図22】交差ライン及び目盛りを示す画像図である。
【
図23】交差ラインの中心領域CR2及び周辺領域SR2を示す説明図である。
【
図24】スポットSPの中心領域CR1の直径DMを示す説明図である。
【
図25】本発明の一連の流れを示すフローチャートである。
【発明を実施するための形態】
【0014】
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、ディスプレイ18と、ユーザーインターフェース19と、を有する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、ユニバーサルケーブル12cと、を有する。ユニバーサルケーブル12cは、光源装置14が発する照明光を導光するライトガイド28(
図3参照)や、内視鏡12の制御に使用する制御信号を伝送するための制御線、観察対象を撮像して得られた画像信号を送信する信号線、内視鏡12の各部に電力を供給する電力線等が一体になったケーブルである。ユニバーサルケーブル12cの先端には光源装置14に接続するコネクタ29が設けられている。
【0015】
光源装置14は、例えば、LED(Light Emitting Diode)やLD(Laser Diode)等の半導体光源やキセノンランプ等のハロゲンランプによって照明光を発生する。コネクタ29を光源装置14に接続した場合、照明光はコネクタ29のライトガイド28(
図3参照)に入射し、挿入部12aの先端から観察対象に照射される。
【0016】
また、光源装置14はプロセッサ装置16と電気的に接続しており、内視鏡12のコネクタ29は光源装置14を介してプロセッサ装置16と接続する。光源装置14とコネクタ29の制御信号や画像信号等の送受信は無線通信である。このため、光源装置14は、無線でコネクタ29と送受信した制御信号等をプロセッサ装置16に伝送する。さらに、光源装置14はコネクタ29に内視鏡12を駆動するための電力を供給するが、この電力の供給も無線で行う。
【0017】
プロセッサ装置16は、光源装置14が発する照明光の光量や発光タイミング、内視鏡12の各部を制御し、照明光が照射された観察対象を撮像して得る画像信号を用いて内視鏡画像を生成する。また、プロセッサ装置16は、ディスプレイ18及びユーザーインターフェース19と電気的に接続する。ディスプレイ18は、プロセッサ装置16が生成した内視鏡画像や、内視鏡画像に関する情報等を表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付ける機能を有する。
【0018】
内視鏡12は、通常観察モードと、特殊観察モードと、測長モードとを備えており、これら3つのモードは内視鏡12の操作部12bに設けられたモード切替スイッチ13aによって切り替えられる。通常観察モードは、照明光によって観察対象を照明するモードである。特殊観察モードは、照明光と異なる特殊光によって観察対象を照明するモードである。測長モードは、照明光及び計測用ビーム光を観察対象に照明し、且つ、観察対象の撮像により得られる被写体画像上に、観察対象の大きさなどの測定に用いられる計測用マーカを表示する。なお、照明光は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる光である。特殊光は、観察対象のうち特定領域を強調するために用いられる光である。計測用ビーム光は、計測用マーカの表示に用いられる光である。
【0019】
また、内視鏡12の操作部12bには、被写体画像の静止画の取得を指示する静止画取得指示を操作するためのフリーズスイッチ13bが設けられている。ユーザーがフリーズスイッチ13bを操作することにより、ディスプレイ18の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、フリーズスイッチ13bの操作タイミング前後に得られる被写体画像の静止画が、プロセッサ装置16内の静止画保存部42(
図3参照)に保存される。なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置16がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に被写体画像の静止画を保存するようにしてもよい。
【0020】
なお、フリーズスイッチ13b以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置16にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてのフットペダルで行うようにしてもよい。また、プロセッサ装置16に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
【0021】
また、ディスプレイ18の近くに設けた視線入力部(図示しない)をプロセッサ装置16に接続し、視線入力部が、ディスプレイ18のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置16に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置16に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
【0022】
図2に示すように、内視鏡12の先端部12dは略円形となっており、被写体からの光を受光する撮像光学系21と、被写体に対して照明光を照射するための照明光学系22と、被写体に対して計測用ビーム光を
出射するビーム光出射部23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とが設けられている。
【0023】
撮像光学系21の光軸Axは、紙面に対して垂直な方向に延びている。縦の第1方向D1は、光軸Axに対して直交しており、横の第2方向D2は、光軸Ax及び第1方向D1に対して直交する。撮像光学系21とビーム光出射部23とは、それぞれ先端部12dの異なる位置に設けられており、第1方向D1に沿って配列されている。
【0024】
図3に示すように、光源装置14は、光源部26と、光源制御部27とを備えている。光源部26は、被写体を照明するための照明光又は特殊光を発生する。光源部26から出射された照明光又は特殊光は、ライトガイド28に入射され、照明レンズ22aを通って被写体に照射される。光源部26としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。また、光源部26としては、特殊光の光源として、表層血管など表層情報を強調するための青色狭帯域光を含む広帯域光を発する光源が用いられる。光源制御部27は、プロセッサ装置16のシステム制御部41と接続されている。なお、照明光としては、青色光、緑色光、及び赤色光をそれぞれ組み合わせた白色の混色光としてもよい。この場合には、赤色光の照射範囲に比べて緑色光の照射範囲のほうが大きくなるように、照明光学系22の光学設計を行うことが好ましい。
【0025】
光源制御部27は、システム制御部41からの指示に基づいて光源部26を制御する。システム制御部41は、光源制御部27に対して、光源制御に関する指示を行う他に、ビーム光出射部23の光源23a(
図5参照)も制御する。システム制御部41は、通常観察モードの場合は、照明光を点灯し、計測用ビーム光を消灯する制御を行う。特殊観察モードの場合は、特殊光を点灯し、計測用ビーム光を消灯する制御を行う。測長モードの場合には、システム制御部41は、照明光を点灯し、計測用ビーム光を点灯する制御を行う。
【0026】
照明光学系22は照明レンズ22aを有しており、この照明レンズ22aを介して、ライトガイド28からの光が観察対象に照射される。撮像光学系21は、対物レンズ21a、ズームレンズ21b、及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21a及びズームレンズ21bを介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
【0027】
ズームレンズ21bは、テレ端とワイド端との間で移動することによって、ズーム機能として、被写体を拡大又は縮小する光学ズーム機能を有する。光学ズーム機能のONとOFFは、内視鏡の操作部12bに設けられたズーム操作部13c(
図1参照)により切り替えることが可能であり、光学ズーム機能がONの状態で、さらにズーム操作部13cを操作することにより、特定の拡大率で被写体を拡大又は縮小する。
【0028】
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色の赤色画像、緑色画像、及び青色画像を得るためのカラーの撮像センサである。赤色画像は、撮像素子32において赤色のカラーフィルタが設けられた赤色画素から出力される画像である。緑色画像は、撮像素子32において緑色のカラーフィルタが設けられた緑色画素から出力される画像である。青色画像は、撮像素子32において青色のカラーフィルタが設けられた青色画素から出力される画像である。撮像素子32は、撮像制御部33によって制御される。
【0029】
図4に示すように、赤色のカラーフィルタRFは、600~700nmの赤色帯域に高い透過率を有していることから、赤色画素は赤色帯域に高い感度を有している。緑色のカラーフィルタGFは、500~600nmの緑色帯域に高い透過率を有していることから、緑色画素は緑色帯域に高い感度を有している。青色のカラーフィルタBFは、400~500nmの青色帯域に高い透過率を有していることから、青色画素は青色帯域に高い感度を有している。なお、赤色画素は、緑色帯域又は青色帯域にも感度を有している。また、緑色画素は、赤色帯域又は青色帯域にも感度を有している。また、青色画素は、赤色帯域又は緑色帯域にも感度を有している。
【0030】
撮像素子32から出力される画像信号は、CDS/AGC回路34に送信される。CDS/AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、光源装置14の通信I/F(Interface)37に入力される。
【0031】
プロセッサ装置16には、各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサによって構成されるシステム制御部41によってプログラム用メモリ内のプログラムが動作することによって、プロセッサ装置16は、受信部38と、信号処理部39と、表示制御部40との機能が実現する。
【0032】
受信部38は、光源装置14の通信I/F(Interface)37と接続される。受信部38は、通信I/F37から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、受信部38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、被写体画像を生成する。なお、受信部38は、光源制御部27に関連する制御信号については、システム制御部41に直接送るようにしてもよい。また、プロセッサ装置16のうち、測長モードに関連する処理部又は記憶部(例えば、照射領域認識部58又はマーカ用テーブル62)については、プロセッサ装置16とは別体の測長用プロセッサ(図示しない)に設けてもよい。この場合、測長用プロセッサとプロセッサ装置16とは、画像又は各種情報が送受信可能なように、互いに通信可能な状態にしておく。
【0033】
信号処理部39では、通常観察モードに設定されている場合には、被写体画像の青色画像はディスプレイ18のBチャンネルに、被写体画像の緑色画像はディスプレイ18のGチャンネルに、被写体画像の赤色画像はディスプレイ18のRチャンネルにそれぞれ割り当てる信号割り当て処理を行うことによって、カラーの被写体画像がディスプレイ18に表示する。測長モードについても、通常観察モードと同様の信号割り当て処理を行う。一方、信号処理部39では、特殊観察モードに設定されている場合には、被写体画像の赤色画像はディスプレイ18の表示には使用せず、被写体画像の青色画像をディスプレイ18のBチャンネルとGチャンネルに割り当て、被写体画像の緑色画像をディスプレイ18のRチャンネルに割り当てることによって、疑似カラーの被写体画像をディスプレイ18に表示する。なお、信号処理部39では、測長モードに設定されている場合には、被写体画像に対して、血管などの構造を強調する構造強調処理や、観察対象のうち正常部と病変部などとの色差を拡張した色差強調処理を施すようにしてもよい。
【0034】
表示制御部40は、信号処理部39によって生成された被写体画像をディスプレイ18に表示する。システム制御部41は、内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC回路34及びA/D変換器35の制御も行う。
【0035】
図5に示すように、ビーム光出射部23は、撮像光学系21の光軸Ax(
図7参照)に対して斜めに計測用ビーム光Lmを出射する。ビーム光出射部23は、光源23aと、回折光学素子DOE23b(Diffractive Optical Element)と、プリズム23cと、出射部23dとを備える。光源23aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。なお、光源23aはスコープエレキ基板(図示しない)に設けられている。スコープエレキ基板は、内視鏡の先端部12dに設けられており、光源装置14又はプロセッサ装置16から電力の供給を受けて、光源23aに電力を供給している。
【0036】
本実施形態では、光源23aが出射する光の波長は、例えば、600nm以上650nm以下の赤色(ビーム光の色)のレーザー光を使用するが、その他の波長帯域の光、例えば、495nm以上570nm以下の緑色光、又は、青色光を用いてもよい。光源23aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。DOE23bは、光源から出射した光を、計測情報を得るための計測用ビーム光に変換する。なお、計測用ビーム光は、人体、目、内臓保護の観点に基づいて光量が調整され、且つ、内視鏡12の観察範囲では十分に白飛び(画素飽和)する程度の光量に調整されることが好ましい。
【0037】
プリズム23cは、DOE23bで変換後の計測用ビーム光の進行方向を変えるための光学部材である。プリズム23cは、対物レンズ21aを含む撮像光学系21の視野と交差するように、計測用ビーム光の進行方向を変更する。計測用ビーム光の進行方向の詳細についても、後述する。プリズム23cから出射した計測用ビーム光Lmは、光学部材で形成される出射部23dを通って、被写体へと照射される。
【0038】
計測用ビーム光が被写体に照射されることにより、
図6に示すように、被写体において、ビーム照射領域
(ビーム出射領域)としてのスポットSPが形成される。このスポットSPの位置は、照射領域認識部58(
図8参照)によって認識され、また、スポットSPの位置に応じて、被写体のサイズを表す計測用マーカが設定される。表示制御部40は、被写体画像上において、設定された計測用マーカを表示させた計測用画像をディスプレイ18に表示する。
【0039】
スポットSPの位置と観察距離(内視鏡の先端部12dと観察対象との間の距離)とは関連性があり、スポットSPの位置が下方に位置する場合には観察距離が小さく、スポットSPの位置が上方に位置する程、観察距離が大きくなる。設定された計測用マーカMaは、被写体画像上に表示される。計測用マーカMaにおけるスポットSPからの半径は被写体の実寸のサイズ(例えば、5mm)を表している。また、計測用マーカMaのサイズ(半径)は、スポットSPの位置、即ち、観察距離に対応して、変化する。例えば、スポットSPの位置が下方にある場合には、計測用マーカMaのサイズは大きく、スポットSPの位置が上方になるほど、計測用マーカMaのサイズは小さくなる。
【0040】
なお、計測用マーカには、後述するように、第1の計測用マーカ、第2の計測用マーカなど複数の種類が含まれ、いずれの種類の計測用マーカを被写体画像上に表示するかについては、ユーザーの指示によって選択が可能となっている。ユーザーの指示としては、例えば、ユーザーインターフェース19が用いられる。
【0041】
なお、出射部23dを光学部材で構成することに代えて、内視鏡の先端部12dに形成される計測補助用スリットとしてもよい。また、出射部23dを光学部材で構成する場合には、反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測用ビーム光が出射部23dを透過せずに反射して、被写体に照射される計測用ビーム光の割合が低下すると、後述する照射領域認識部58が、計測用ビーム光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
【0042】
なお、ビーム光出射部23は、計測用ビーム光を撮像光学系21の視野に向けて出射できるものであればよい。例えば、光源23aが光源装置に設けられ、光源23aから出射された光が光ファイバによってDOE23bにまで導光されるものであってもよい。また、プリズム23cを用いずに、光源23a及びDOE23bの向きを、撮像光学系21の光軸Axに対して斜めに設置することで、撮像光学系21の視野を横切る方向に計測用ビーム光Lmを出射させる構成としてもよい。
【0043】
計測用ビーム光の進行方向については、
図7に示すように、計測用ビーム光の光軸Lmが撮像光学系21の光軸Axと交差する状態で、計測用ビーム光を出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測用ビーム光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。なお、撮像光学系21の撮影画角は2つの実線101で挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線102で挟まれる領域)で計測を行うようにしている。
【0044】
以上のように、計測用ビーム光の光軸Lmを光軸Axと交差する状態で、計測用ビーム光Lmを出射することによって、観察距離の変化に対するスポット位置の移動から、被写体の大きさを計測することができる。そして、計測用ビーム光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む被写体画像が得られる。被写体画像では、スポットSPの位置は、撮像光学系21の光軸Axと計測用ビーム光Lmの光軸Lmとの関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
【0045】
図8に示すように、プロセッサ装置16の信号処理部39は、照射領域認識部58と、計測用マーカ設定部61と、マーカ用テーブル62とを備えている。なお、信号処理部39には、通常観察モードに設定されている場合には、照明光によって照明された被写体の被写体画像が入力される。特殊観察モードに設定されている場合には、特殊光によって照明された被写体の被写体画像が入力される。測長モードに設定されている場合には、照明光及び計測用ビーム光によって照明された被写体の被写体画像が入力される。
【0046】
照射領域認識部58は、被写体画像から特定形状のパターンを有するビーム照射領域を認識する。具体的には、特定形状のパターンは、白色中心領域CR1と、中心領域の周囲を覆い、計測用ビーム光に基づく特徴量を持つ周辺領域SR1とを含んでいる。ビーム照射領域が、上記したスポットSPの場合であれば、
図9に示すように、特定形状のパターンは円状を有している。この場合には、白色の中心領域CR1は円状であり、周辺領域SR1はリング状である。
【0047】
図10は、複数の色画像として赤色画像RP、緑色画像GP、及び青色画像BPを含む被写体画像における各色画像の画素値の分布を示している。中心領域CR1における赤色画像RP、緑色画像GP、及び青色画像BPの画素値は最大画素値(例えば、255)に達していることにより、中心領域CR1は白色になっている。この場合、計測用ビーム光が撮像素子32に入射した場合には、
図11に示すように、計測用ビーム光の波長域WMBにおいて、撮像素子32の赤色のカラーフィルタRFだけでなく、緑色のカラーフィルタGF及び青色のカラーフィルタBF全て100%の透過率で、計測用ビーム光を透過させている。一方、周辺領域SR1においては、赤色画像RPの画素値は、緑色画像GP又は青色画像BPの画素値よりも大きくなっている。そのため、周辺領域SR1は赤味を帯びている。なお、光源部26では、計測用ビーム光の光量を特定光量で発光することにより、中心領域CR1における赤色画像RP、緑色画像GP、及び青色画像BPの画素値を最大画素値にしている。
【0048】
照射領域認識部58では、上記のような特定形状と特徴量を有するスポットSPを認識することが可能である。具体的には、
図12に示すように、照射領域認識部58は、被写体画像の入力に対して、ビーム照射領域であるスポットSPを出力することによって、スポットSPを認識する学習モデル59を有することが好ましい。学習モデル59は、被写体画像と、既に認識済みのビーム照射領域とを関連付けた多数の教師データによって、機械学習されている。機械学習としては、CNN(Convolutional Neural Network)を用いることが好ましい。
【0049】
学習モデル59を用いて、スポットSPを認識することで、円状の中心領域CR1とリング状の周辺領域SR1とで構成される円状のスポットSP(
図9参照)だけでなく、特定形状である円状から変形したパターンのスポットSPも認識することが可能である。例えば、
図13(A)に示すように、縦方向に変形したスポットSPも認識可能である。また、
図13(B)に示すように、円状の一部が欠けて変形したスポットSPも認識可能である。また、学習モデル59にて認識可能な周辺領域SR1の特徴量としては、計測用ビーム光の色である赤色の他、青色、緑色がある。また、学習モデル59にて認識可能な周辺領域SR1の特徴量としては、計測用ビーム光の輝度、明度、彩度、色相がある。なお、計測用ビーム
光の輝度、明度、彩度、色相については、被写体画像に含まれるスポットSPの周辺領域を、輝度変換処理、又は、明度、彩度、色相変換処理することによって、取得することが好ましい。
【0050】
また、
図14に示すように、照射領域認識部58は、予め定められたビーム照射領域のテンプレート画像として、スポットSPのテンプレート画像を用いて、被写体画像に対してパターンマッチング処理を行うことによって、スポットSPを認識するパターンマッチング処理部60を有していてもよい。スポットSPのテンプレート画像については、テンプレート画像記憶部60aに記憶されている。テンプレート画像記憶部60aには、円状の中心領域CR1とリング状の周辺領域SR1とで構成される円状のスポットSPのテンプレート画像だけでなく、特定形状である円状から変形したパターンのスポットSPのテンプレート画像も記憶されている。また、パターンマッチング処理部60では、周辺
領域SRの特徴量のパターンによっても、パターンマッチング処理が可能である。パターンマッチング処理が可能な特徴量としては、計測用ビーム光の色である赤色の分布の他、青色、緑色の分布がある。また、パターンマッチング処理が可能な特徴量としては、計測用ビーム光の輝度、明度、彩度、色相の分布がある。
【0051】
計測用マーカ設定部61は、スポットSPの位置に基づいて、被写体のサイズを計測するための計測用マーカとして、被写体の実寸サイズ(実際の寸法と同じサイズ)を表す第1の計測用マーカを設定する。計測用マーカ設定部61は、スポットSPの照射位置によって表示態様が異なる計測用マーカ画像と、スポットSPの位置とを関連付けて記憶するマーカ用テーブル62を参照して、スポットSPの位置に対応する計測用マーカ画像を設定する。なお、マーカ用テーブル62には、スポットSPの位置に加え、第1の計測用マーカをディスプレイ18に表示するマーカ表示位置によって表示態様が異なる計測用マーカ画像を、スポットSPの位置及びマーカ表示位置に関連付けて記憶してもよい。
【0052】
計測用マーカ画像は、スポットSPの照射位置によって、例えば、大きさ、又は、形状が異なっている。計測用マーカ画像の表示に関しては、後述する。また、マーカ用テーブル62については、プロセッサ装置16の電源をOFFにした場合であっても、保存内容が維持される。なお、マーカ用テーブル62は、計測用マーカ画像と照射位置とを関連付けて記憶するが、照射位置に対応する被写体との距離(内視鏡12の先端部12dと被写体との距離)と計測用マーカ画像とを関連付けて記憶してもよい。
【0053】
表示制御部40は、ビーム照射領域であるスポットSPの位置に基づいて、計測用マーカを被写体画像上に表示させた計測用画像をディスプレイ18にて表示する。具体的には、表示制御部40は、スポットSPを中心として、第1の計測用マーカを重畳した計測用画像をディスプレイ18に表示する。第1の計測用マーカとしては、例えば、円型の計測マーカを用いる。この場合、
図15に示すように、観察距離が近端Pxに近い場合には、被写体の腫瘍tm1上に形成されたスポットSP1の中心に合わせて、実寸サイズ5mm(被写体画像の水平方向及び垂直方向)を示すマーカM1が表示される。なお、計測用マーカをディスプレイ18に表示する場合には、観察距離も合わせてディスプレイ18に表示してもよい。
【0054】
また、
図16に示すように、観察距離が中央付近Pyに近い場合、被写体の腫瘍tm2上に形成されたスポットSP2の中心に合わせて、実寸サイズ5mm(被写体画像の水平方向及び垂直方向)を示すマーカM2が表示される。マーカM2のマーカ表示位置は、撮像光学系21によ
る歪みの影響を受けにくい被写体画像の中心部に位置しているため、マーカM2は、歪み等の影響を受けることなく、円状となっている。
【0055】
また、
図17に示すように、被写体の腫瘍tm3上に形成されたスポットSP3の中心に合わせて、実寸サイズ5mm(被写体画像の水平方向及び垂直方向)を示すマーカM3が表示される。以上の
図15~
図17に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対応する第1の計測用マーカの大きさが小さくなっている。また、マーカ表示位置によって、撮像光学系21による歪みの影響に合わせて、第1の計測用マーカの形状も異なっている。
【0056】
なお、
図15~
図17では、スポットSPの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットSPから離れた位置に第1の計測用マーカを表示してもよい。ただし、この場合にもスポットの近傍に第1の計測用マーカを表示することが好ましい。
【0057】
また、
図15~
図17では、被写体の実寸サイズ5mmに対応する第1の計測用マーカを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、
図15~
図17では、第1の計測用マーカを、略円型としているが、
図18に示すように、縦線と横線が交差する十字型としてもよい。また、十字型の縦線と横線の少なくとも一方に、目盛りMxを付けた目盛り付き十字型としてもよい。また、第1の計測用マーカとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の計測用マーカを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の計測用マーカを、スポットから実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の計測用マーカの数は一つでも複数でもよいし、実寸サイズに応じて第1の計測用マーカの色を変化させてもよい。
【0058】
なお、第1の計測用マーカとして、
図19に示すように、大きさが異なる3つの同心円状のマーカM4A、M4B、M4C(大きさはそれぞれ直径が2mm、5mm、10mm)を、腫瘍tm4上に形成されたスポットSP4を中心として、被写体画像上に表示するようにしてもよい。この3つの同心円状のマーカは、マーカを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状のマーカを複数表示する場合には、大きさや色をマーカ毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。
【0059】
図19では、3つの同心円状のマーカを全て同じ色(黒)で表示しているが、複数の同心円状のマーカを表示する場合、マーカによって色を変えた複数の色付き同心円状のマーカとしてもよい。
図20に示すように、マーカM5Aは赤色を表す点線、マーカM5Bは青色を表す実線、マーカM5Cは白を表す一点鎖線で表示している。このようにマーカの色を変えることで識別性が向上し、容易に計測を行うことができる。
【0060】
また、第1の計測用マーカとしては、複数の同心円状のマーカの他、
図21に示すように、各同心円を歪曲させた複数の歪曲同心円状のマーカを用いてもよい。この場合、歪曲同心円状のマーカM6A、マーカM6B、マーカM6Cが、腫瘍tm5に形成されたスポットSP5を中心に被写体画像に表示されている。
【0061】
なお、計測用ビーム光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、
図22に示すように、被写体上に交差ライン80として形成される平面状の計測用ビーム光を用いるようにしてもよい。平面状の計測用ビーム光が被写体に照射されることで、被写体上にはライン状のビーム照射領域である交差ライン80が形成される。この場合には、計測用マーカとして、交差ライン80及び交差ライン80上に被写体の大きさ(例えば、ポリープP)の指標となる目盛り82からなる第2の計測用マーカを生成する。
【0062】
平面状の計測用ビーム光を用いる場合には、照射領域認識部58は、特定形状のパターンを有するビーム照射領域として、交差ライン80の位置(計測用ビーム光の照射位置)を認識する。交差ライン80は、
図23に示すように、白色の中心領域CR2と、白色の中心領域R2を覆い、計測用ビーム光に基づく特徴量持つ周辺領域SR2とを含んでいる。中心領域CR2はライン状であり、周辺領域SR2は、特定の間隔で離間している2本のライン状で構成される。照射領域認識部58は、以上のパターン及び特徴量を有する交差ライン80を認識可能である。なお、ラインの一部等が欠けているなどライン状から変形している交差ライン80についても、照射領域認識部58にて認識が可能である。
【0063】
照射領域認識部58にて認識した交差ライン80については、スポットSPと同様、下方に位置する程、観察距離が近く、交差ライン80が上方に位置する程、観察距離が遠くなる。そのため、第2の計測用マーカを計測用画像に表示する場合には、交差ライン80が下方に位置する程、目盛り82の間隔は大きくなり、交差ライン80が上方に位置する程、目盛り82の間隔は小さくなる。
【0064】
なお、上記では、スポットSP又は交差ライン80などビーム照射領域の位置に対応する計測用マーカを計測用画像に表示しているが、これに代えて、ビーム照射領域のパターンに対応する計測用マーカを計測用画像に表示してもよい。例えば、ビーム照射領域がスポットSPである場合には、
図24に示すように、スポットSPのうち白色の中心領域CR1の直径DMを求め、直径DMに対応する計測用マーカを計測用画像に表示する。観察距離が小さい場合には、直径DMは大きく、観察距離が大きくなる程、直径は小さくなることが分かっている。この直径DMと観察距離との関係を用いて、直径DMによって大きさ、形状等が異なる計測用マーカ画像を決定する。
【0065】
次に、本発明の一連の流れについて、
図25に示すフローチャートを用いて説明する。モード切替スイッチ13aを操作して、測長モードに切り替えられると、被写体に対して照明光及び計測用ビーム光が照射される。被写体においては、計測用ビーム光によってスポットSPが形成される。スポットSPを含む被写体を撮像することにより、スポットSPを含む被写体画像が得られる。
【0066】
受信部38は、内視鏡12から出力される被写体画像を受信する。照射領域認識部58は、被写体画像からスポットSPの位置を認識する。この場合、照射領域認識部58は、白色の中心領域CR1と、中心領域CR1の周囲を覆い、計測用ビーム光に基づく特徴量を持つ周辺領域SR1とを含むスポットSPの位置を認識する。表示制御部40は、照射領域認識部58にて認識したスポットSPの位置に基づいて、被写体のサイズを計測するための計測用マーカを被写体画像上に表示した計測用画像をディスプレイ18に表示する。計測用マーカは、スポットSPの位置に対応しており、スポットSPの位置によって大きさ、形状が変化する。
【0067】
上記実施形態において、受信部38、信号処理部39、表示制御部40、システム制御部41、静止画保存部42、照射領域認識部58、学習モデル59、パターンマッチング処理部60、テンプレート画像記憶部60a、計測用マーカ設定部61、マーカ用テーブル62といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0068】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0069】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
【0070】
本発明の別の形態としては以下がある。
被写体に対して計測用ビーム光を照射するビーム光出射部、及び、先端部において前記ビーム光出射部とは異なる位置に設けられ、前記被写体からの光を受光する撮像光学系を有し、前記計測用ビーム光は前記撮像光学系の光軸に対して斜めに出射する内視鏡と、前記撮像光学系にて受光した光に基づいて得られる被写体画像であって前記計測用ビーム光の照射により前記被写体に現れるビーム照射領域を含む被写体画像を取得する受信部、前記被写体画像から前記ビーム照射領域の位置を認識する照射領域認識部、及び、前記ビーム照射領域の位置に基づいて、前記被写体のサイズを計測するための計測用マーカを前記被写体画像上に表示させた計測用画像を表示部にて表示する表示制御部を有するプロセッサ装置とを備える内視鏡システムにおいて、
プロセッサ装置が、
前記照射領域認識部によって、白色の中心領域と、前記中心領域の周囲を覆い、前記計測用ビーム光に基づく特徴量を持つ周辺領域とを含む特定形状のパターンを有する前記ビーム照射領域を認識する内視鏡システム。
【符号の説明】
【0071】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a モード切替スイッチ
13b フリーズスイッチ
13c ズーム操作部
14 光源装置
16 プロセッサ装置
18 ディスプレイ
19 ユーザーインターフェース
21 撮像光学系
21a 対物レンズ
21b ズームレンズ
22 照明光学系
22a 照明レンズ
23 ビーム光出射部
23a 光源
23b DOE
23c プリズム
23d 出射部
24 開口
25 送気送水ノズル
26 光源部
27 光源制御部
28 ライトガイド
29 コネクタ
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D変換器
36 通信I/F
37 通信I/F
38 受信部
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
58 照射領域認識部
59 学習モデル
60 パターンマッチング処理部
60a テンプレート画像記憶部
61 計測用マーカ設定部
62 マーカ用テーブル
80 交差ライン
82 目盛り
BF 青色のカラーフィルタ
GF 緑色のカラーフィルタ
RF 赤色のカラーフィルタ
BP 青色画像
GP 緑色画像
RP 赤色画像
CR1、CR2 中心領域
M1、M2、M3 十字型のマーカ
Ma 計測用マーカ
tm1、tm2、tm3、tm4、tm5 腫瘍
SP スポット
SP1、SP2、SP3、SP4、SP5 スポット
SR1、SR2 周辺領域
M4A、M4B、M4C、M5A、M5B、M5C 同心円状のマーカ
M6A、M6B、M6C 歪曲同心円状のマーカ
P ポリープ
WMB (計測用マーカの)波長域