IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024177468
(43)【公開日】2024-12-19
(54)【発明の名称】内視鏡システム及びその作動方法
(51)【国際特許分類】
   A61B 1/00 20060101AFI20241212BHJP
   A61B 1/06 20060101ALI20241212BHJP
【FI】
A61B1/00 551
A61B1/06 611
A61B1/00 510
【審査請求】有
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2024175066
(22)【出願日】2024-10-04
(62)【分割の表示】P 2022546878の分割
【原出願日】2021-03-08
(31)【優先権主張番号】P 2020147691
(32)【優先日】2020-09-02
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】弁理士法人小林国際特許事務所
(72)【発明者】
【氏名】吉岡 将人
(72)【発明者】
【氏名】坂口 雄一
(72)【発明者】
【氏名】杉▲崎▼ 誠
(72)【発明者】
【氏名】猪俣 一彰
(57)【要約】
【課題】内視鏡の接続によって、測長モードの実行可否を判断することができる内視鏡システム及びその作動方法を提供する。
【解決手段】プロセッサは、内視鏡12がプロセッサ装置14に接続された場合に、内視鏡12が測長対応内視鏡であるか否かを判断し、内視鏡12が測長対応内視鏡である場合に、内視鏡12から計測光を照射して計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、計測光を消灯する。
【選択図】図14
【特許請求の範囲】
【請求項1】
内視鏡と、
前記内視鏡が接続されるプロセッサ装置と、
プロセッサとを備え、
前記プロセッサは、
内視鏡が前記プロセッサ装置に接続された場合に、前記内視鏡が測長対応内視鏡であるか否かを判断し、
前記内視鏡が前記測長対応内視鏡である場合に、前記内視鏡から計測光を照射して前記計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、
観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、前記計測光を消灯する制御を行う内視鏡システム。
【請求項2】
前記プロセッサは、
前記特殊観察モードが設定されている状態において、前記測長モードへの切り替え操作が行われた場合には、前記測長モードへの切り替えを禁止する請求項1記載の内視鏡システム。
【請求項3】
前記プロセッサは、
前記特殊観察モードが設定されている状態において、前記測長モードへの切り替え操作が行われた場合には、前記特殊観察モードを解除して前記測長モードに切り替える請求項1記載の内視鏡システム。
【請求項4】
前記プロセッサは、
前記特殊観察モードでは、被写体画像の色を、異なる色のチャンネルに割り当てた疑似カラー画像を前記ディスプレイに表示する請求項1記載の内視鏡システム。
【請求項5】
前記測長モードに設定されている場合に、前記内視鏡から前記特殊光と異なる照明光及び前記計測光が照射される請求項1記載の内視鏡システム。
【請求項6】
前記プロセッサは、
前記測長モードへの切り替え操作に従って、スケール表示中アイコンを前記ディスプレイに表示する請求項1記載の内視鏡システム。
【請求項7】
前記プロセッサは、
前記測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、前記仮想スケールが表示中でないことを示す測長機能可動状況不可表示をONにする請求項1記載の内視鏡システム。
【請求項8】
前記モード切替時条件は、前記内視鏡、前記プロセッサ装置、及び前記プロセッサに関する設定条件で測長モードの実行に用いられる条件である請求項7記載の内視鏡システム。
【請求項9】
前記測長モードでは、前記仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われる請求項1記載の内視鏡システム。
【請求項10】
前記プロセッサは、
前記測長モードへの切り替えが有効化された状態において、前記測長モードへの切り替え操作によって、前記計測光のON又はOFFの切替、前記仮想スケールを表示する測長画像に関する測長画像表示設定のON又はOFFの切替、前記仮想スケールが前記ディスプレイで表示中であることを示す測長機能稼働状況表示のON又はOFFの切替、及び、前記仮想スケールの表示のON、OFF、又は表示態様変更の切替のうちの少なくともいずれかを行う請求項1記載の内視鏡システム。
【請求項11】
前記プロセッサは、
前記測長モードへの切り替え操作により、前記計測光をON、前記測長画像表示設定をON、前記測長機能稼働状況表示をON、及び、前記仮想スケールの表示をONに切り替える請求項10記載の内視鏡システム。
【請求項12】
前記プロセッサは、
前記測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、前記計測光をON、前記測長画像表示設定をON、前記測長機能稼働状況表示をON、及び、前記仮想スケールの表示をONに切り替えることを禁止する請求項11記載の内視鏡システム。
【請求項13】
前記測長機能稼働状況表示をONに切り替えることを禁止する代わりに、前記仮想スケールが表示中でないことを示す測長機能稼働状況不可表示をONにする請求項12記載の内視鏡システム。
【請求項14】
前記プロセッサは、
前記測長画像表示設定をONにする場合には、前記測長モードへの切替前の画像表示設定を保存する請求項11記載の内視鏡システム。
【請求項15】
前記仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われる請求項10記載の内視鏡システム。
【請求項16】
前記プロセッサは、
前記測長モードから他のモードへの切り替え操作により、前記計測光をOFF、前記測長画像表示設定をOFF、前記測長機能稼働状況表示をOFF、及び、前記仮想スケールの表示をOFFに切り替える請求項10記載の内視鏡システム。
【請求項17】
前記プロセッサは、
前記測長画像表示設定をOFFにする場合には、前記測長モードへの切替前に保存した画像表示設定に切り替える請求項10又は16記載の内視鏡システム。
【請求項18】
内視鏡と、前記内視鏡が接続されるプロセッサ装置と、プロセッサと備える内視鏡システムの作動方法において、
前記プロセッサは、
内視鏡が前記プロセッサ装置に接続された場合に、前記内視鏡が測長対応内視鏡であるか否かを判断し、
前記内視鏡が前記測長対応内視鏡である場合に、前記内視鏡から計測光を照射して前記計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、
観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、前記計測光を消灯する内視鏡システムの作動方法。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体の大きさを測定するための仮想スケールを表示する内視鏡システム及びその作動方法に関する。
【背景技術】
【0002】
光源装置、内視鏡、及び、プロセッサ装置を有する内視鏡システムでは、被写体までの距離又は被写体の大きさなどを取得することが行われている。例えば、特許文献1では、照明光及び計測光を被写体に照射し、計測光の照射により被写体に、スポット光などの計測光照射領域を出現させる。そして、スポット光の位置に対応させて、被写体のサイズを計測するための仮想スケールを画像上に表示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2018/051680号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のように、計測光を用いて仮想スケールを表示する場合には、計測光の照射等が可能な測長対応内視鏡が必要となる。内視鏡システムにおいては、仮想スケールを表示する測長モードを実行するためには、測長対応内視鏡が接続されたかどうかの判断が必要となる。
【0005】
本発明は、内視鏡の接続によって、測長モードの実行可否を判断することができる内視鏡システム及びその作動方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の内視鏡システムは、内視鏡と、内視鏡が接続されるプロセッサ装置と、プロセッサとを備え、プロセッサは、内視鏡がプロセッサ装置に接続された場合に、内視鏡が測長対応内視鏡であるか否かを判断し、内視鏡が測長対応内視鏡である場合に、内視鏡から計測光を照射して計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、計測光を消灯する制御を行う。
【0007】
プロセッサは、特殊観察モードが設定されている状態において、測長モードへの切り替え操作が行われた場合には、測長モードへの切り替えを禁止することが好ましい。プロセッサは、特殊観察モードが設定されている状態において、測長モードへの切り替え操作が行われた場合には、特殊観察モードを解除して前記測長モードに切り替えることが好ましい。
【0008】
プロセッサは、特殊観察モードでは、被写体画像の色を、異なる色のチャンネルに割り当てた疑似カラー画像をディスプレイに表示することが好ましい。測長モードに設定されている場合に、内視鏡から特殊光と異なる照明光及び計測光が照射されることが好ましい。プロセッサは、測長モードへの切り替え操作に従って、スケール表示中アイコンをディスプレイに表示することが好ましい。
【0009】
プロセッサは、測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、仮想スケールが表示中でないことを示す測長機能可動状況不可表示をONにすることが好ましい。モード切替時条件は、内視鏡、プロセッサ装置、及びプロセッサに関する設定条件で測長モードの実行に用いられる条件であることが好ましい。測長モードでは、仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われることが好ましい。
【0010】
プロセッサは、測長モードへの切り替えが有効化された状態において、測長モードへの切り替え操作によって、計測光のON又はOFFの切替、仮想スケールを表示する測長画像に関する測長画像表示設定のON又はOFFの切替、仮想スケールがディスプレイで表示中であることを示す測長機能稼働状況表示のON又はOFFの切替、及び、仮想スケールの表示のON、OFF、又は表示態様変更の切替のうちの少なくともいずれかを行うことが好ましい。
【0011】
プロセッサは、測長モードへの切り替え操作により、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び、仮想スケールの表示をONに切り替えることが好ましい。プロセッサは、測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び、仮想スケールの表示をONに切り替えることを禁止することが好ましい。測長機能稼働状況表示をONに切り替えることを禁止する代わりに、仮想スケールが表示中でないことを示す測長機能稼働状況不可表示をONにすることが好ましい。
【0012】
プロセッサは、測長画像表示設定をONにする場合には、測長モードへの切替前の画像表示設定を保存することが好ましい。仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われることが好ましい。プロセッサは、測長モードから他のモードへの切り替え操作により、計測光をOFF、測長画像表示設定をOFF、測長機能稼働状況表示をOFF、及び、仮想スケールの表示をOFFに切り替えることが好ましい。プロセッサは、測長画像表示設定をOFFにする場合には、測長モードへの切替前に保存した画像表示設定に切り替えることが好ましい。
【0013】
本発明は、内視鏡と、内視鏡が接続されるプロセッサ装置と、プロセッサと備える内視鏡システムの作動方法において、プロセッサは、内視鏡がプロセッサ装置に接続された場合に、内視鏡が測長対応内視鏡であるか否かを判断し、内視鏡が測長対応内視鏡である場合に、内視鏡から計測光を照射して計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、計測光を消灯する。
【発明の効果】
【0014】
本発明によれば、内視鏡の接続によって、測長モードの実行可否を判断することができる。
【図面の簡単な説明】
【0015】
図1】内視鏡システムの概略図である。
図2】バルーンの斜視図である。
図3】バルーンの正面図である。
図4】腸管内における収縮状態のバルーンを示す説明図である。
図5】腸管内における膨張状態のバルーンを示す説明図である。
図6】内視鏡の先端部の正面図である。
図7】内視鏡の先端部の斜視図である。
図8】内視鏡システムの機能を示すブロック図である。
図9】デジタルズーム機能がOFFの状態(A)とONの状態(B)を示す画像図である。
図10】計測光出射部を示す概略図である。
図11】計測光出射部を有する内視鏡の先端部の断面図である。
図12】透明蓋を示す平面図である。
図13】計測光の進行方向を示す概略図である。
図14】システム制御部の機能を示すブロック図である。
図15】スケール表示中アイコン又はスケール非表示中アイコンなどが表示された画像図である。
図16】システム制御部の機能を示すブロック図である。
図17】第1制御を示す説明図である。
図18】第1制御が行われた場合に表示されるメッセージを示す画像図である。
図19】特殊観察モードを解除して測長モードに切り替えることを示す説明図である。
図20】第2制御を示す説明図である。
図21】第2制御が行われた場合に表示されるメッセージを示す画像図である。
図22】第3制御を示す説明図である。
図23】第3制御が行われた場合に表示されるメッセージを示す画像図である。
図24】システム制御部の機能を示すブロック図である。
図25】第1発光制御用テーブルを示す説明図である。
図26】座標エリア1~5を示す説明図である。
図27】第2発光制御用テーブルを示す説明図である。
図28】測長モードにおける発光制御を示す説明図である。
図29】測長モードにおける第1パターンの発光及び撮像制御を示す説明図である。
図30】測長モードにおける第2パターンの発光及び撮像制御を示す説明図である。
図31】信号処理部の機能を示すブロック図である。
図32】近端Pxの場合に表示される仮想スケールを示す画像図である。
図33】中央付近Pyの場合に表示される仮想スケールを示す画像図である。
図34】遠端Pzの場合に表示される仮想スケールを示す画像図である。
図35】各種形状の仮想スケールを示す説明図である。
図36】大きさがそれぞれ異なる仮想スケールを示す説明図である。
図37】色がそれぞれ異なる仮想スケールを示す説明図である。
図38】歪曲同心円状の仮想スケールを示す説明図である。
図39】代表点データを示す説明図である。
図40】テーブル更新部の処理を示す説明図である。
図41】平面状の計測光を照射する場合に表示される仮想スケールを示す画像図である。
図42】2つの第1特徴線を含む平面状の光を示す説明図である。
図43】信号処理部の機能を示す説明図である。
図44】2つの第1特徴線を含む平面状の光を照射した場合に表示される画像を示す画像図である。
図45】2つの第1特徴線を含む平面状の光を照射した場合における平面状の光の進行方向を示す説明図である。
図46】回折スポットを示す説明図である。
図47】回折スポットを用いる場合における被写体の2次元情報、3次元情報の算出方法に関する説明図である。
図48】信号処理部の機能を示すブロック図である。
図49】ノイズ除去済みの第1撮像画像を得るための処理を示す説明図である。
図50】二値化第1色情報画像を示す説明図である。
図51】二値化第2色情報画像を示す説明図である。
図52】二値化第2色情報画像を示す説明図である。
図53】二値化第1色情報画像を示す説明図である。
図54】信号処理部の機能を示すブロック図である。
図55】第1差分画像又は第2差分画像を得るための処理を示す説明図である。
図56】第1差分処理を示す説明図である。
図57】第2差分処理を示す説明図である。
図58】信号処理部の機能を示すブロック図である。
図59】白色中心領域及び周辺領域を含むスポットを示す概略図である。
図60】撮像画像における各種画像の画素値の分布を示すグラフである。
図61】各色のカラーフィルタの透過分布と計測光の波長域との関係性を示すグラフである。
図62】照射領域認識部の機能を示すブロック図である。
図63】円形から変形したスポットのパターンの例を示す説明図である。
図64】信号処理部の機能を示すブロック図である。
図65】凸状のポリープを示す概略図である。
図66】スポットの高さを表す説明図である。
図67】オフセット距離D6の算出に関する説明図である。
図68】線の幅がそれぞれ異なる仮想スケールの概略図である。
図69】同心円型の仮想スケールを示す概略図である。
図70】線に対してグラデーションを付加した仮想スケールの概略図である。
図71】破線の隙間がそれぞれ異なる仮想スケールの概略図である。
図72】線の数がそれぞれ異なる仮想スケールの概略図である。
図73】信号処理部の機能を示すブロック図である。
図74】ポリープの周縁に照射されたスポットを示す画像図である。
図75】基端をスポットの位置に合わせた仮想スケールを示す説明図である。
図76】基端をスポットの位置に合わせた2つの仮想スケールを示す説明図である。
図77】基端をスポットの位置に合わせた円形と線分の仮想スケールを示す説明図である。
図78】基端をスポットの位置に合わせた仮想スケールを示す説明図である。
図79】信号処理部の機能を示すブロック図である。
図80】基準スケール設定部の機能を示すブロック図である。
図81】ポリープに対して重畳表示された仮想スケールを示す画像図である。
図82】計測値スケール生成部の機能を示すブロック図である。
図83】注目領域を示す画像図である。
図84】計測部分を示す説明図である。
図85】計測値スケールに関する画像図である。
図86】ポリープに対して重畳表示された計測値スケールを示す画像図である。
図87】歪曲格子領域を示す説明図である。
図88】正方格子領域を示す説明図である。
図89】計測有効領域の範囲内と範囲外で異なる形状の仮想スケールを表示する例を示す説明図である。
図90】計測有効領域の範囲内と範囲外で異なる線種の仮想スケールを表示する例を示す説明図である。
図91】測長モードにおける静止画取得に関する説明図である。
図92】第1~第3撮像画像を示す説明図である。
図93】静止画取得時に表示される第2、3撮像画像を示す画像図である。
図94】測長モードにおける静止画取得に関する説明図である。
図95】測長モードにおける静止画取得に関する説明図である。
図96】信号処理部の機能を示すブロック図である。
図97】キャリブレーション装置の機能を示すブロック図である。
図98】検査システムの概略図である。
図99】テストチャートを示す平面図である。
図100】検査画像上に表示される検査基準位置、スポット、及び仮想スケールを示す画像図である。
図101】検査画像上に表示される検査基準位置、スポット、及び仮想スケールを示す画像図である。
図102】5mm罫のチャート画像である。
図103】5mm罫のチャート画像(図102よりも遠端側で撮像)である。
図104】スポットのX方向ピクセル位置を示す説明図である。
図105】スポットのY方向ピクセル位置を示す説明図である。
図106】スポットのX方向ピクセル位置を示す説明図である。
図107】スポットのY方向ピクセル位置を示す説明図である。
図108】縞状パターン光ZPLを示す説明図である。
図109】位相X、Y、Zの縞状パターン光ZPLの発光パターンを示す説明図である。
図110】格子状パターンの計測光LPLを示す説明図である。
図111】格子状パターンの計測光を間欠的に照射する発光パターンを示す説明図である。
図112】3次元平面光TPLを示す説明図である。
図113】3次元平面光TPLを間欠的に照射する発光パターンを示す説明図である。
【発明を実施するための形態】
【0016】
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置13と、プロセッサ装置14と、ディスプレイ15と、ユーザーインターフェース16と、拡張プロセッサ装置17と、拡張ディスプレイ18とを有する。内視鏡12は、光源装置13と光学的に接続され、且つ、プロセッサ装置14と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
【0017】
また、操作部12bには、観察モードの切り替え操作に用いる観察モード切替スイッチ12fと、観察対象の静止画の取得指示に用いられる静止画取得指示スイッチ12gと、ズームレンズ21bの操作に用いられるズーム操作部12hとが設けられている。
【0018】
プロセッサ装置14は、ディスプレイ15及びユーザーインターフェース16と電気的に接続される。ディスプレイ15は、プロセッサ装置14で処理された観察対象の画像又は情報等を出力表示する。ユーザーインターフェース16は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。拡張プロセッサ装置17は、プロセッサ装置14に電気的に接続されている。拡張ディスプレイ18は、拡張プロセッサ装置17で処理された画像又は情報等を出力表示する。
【0019】
内視鏡12は、通常観察モードと、特殊観察モードと、測長モードとを備えており、観察モード切替スイッチ12fによって切り替えられる。通常観察モードは、照明光によって観察対象を照明するモードである。特殊観察モードは、照明光と異なる特殊光によって観察対象を照明するモードである。測長モードは、照明光又は計測光を観察対象に照明し、且つ、観察対象の撮像により得られる被写体画像上に、観察対象の大きさなどの測定に用いられる仮想スケールを表示する。仮想スケールが重畳表示されない被写体画像はディスプレイ15に表示される一方、仮想スケールが重畳表示された被写体画像は拡張ディスプレイ18に表示される。
【0020】
なお、照明光は、観察対象全体に明るさを与えて観察対象全体を観察するために用いられる光である。特殊光は、観察対象のうち特定領域を強調するために用いられる光である。計測光は、仮想スケールの表示に用いられる光である。また、本実施形態では、画像上に表示する仮想スケールについて説明を行うが、実際の管腔内に実スケールを設け、実スケールを画像を通して確認できるようにしてもよい。この場合には、実スケールは、内視鏡12の鉗子チャンネルを通して、挿入し、先端部12dから実スケールを突出させることが考えられる。
【0021】
ユーザーが静止画取得指示スイッチ12gを操作することにより、ディスプレイ15の画面がフリーズ表示し、合わせて、静止画取得を行う旨のアラート音(例えば「ピー」)を発する。そして、静止画取得指示スイッチ12gの操作タイミング前後に得られる被写体画像の静止画が、プロセッサ装置14内の静止画保存部42(図8参照)に保存される。なお、静止画保存部42はハードディスクやUSB(Universal Serial Bus)メモリなどの記憶部である。プロセッサ装置14がネットワークに接続可能である場合には、静止画保存部42に代えて又は加えて、ネットワークに接続された静止画保存サーバ(図示しない)に被写体画像の静止画を保存するようにしてもよい。
【0022】
なお、静止画取得指示スイッチ12g以外の操作機器を用いて、静止画取得指示を行うようにしてもよい。例えば、プロセッサ装置14にフットペダルを接続し、ユーザーが足でフットペダル(図示しない)を操作した場合に、静止画取得指示を行うようにしてもよい。モード切替についてもフットペダルで行うようにしてもよい。また、プロセッサ装置14に、ユーザーのジェスチャーを認識するジェスチャー認識部(図示しない)を接続し、ジェスチャー認識部が、ユーザーによって行われた特定のジェスチャーを認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、ジェスチャー認識部を用いて行うようにしてもよい。
【0023】
また、ディスプレイ15の近くに設けた視線入力部(図示しない)をプロセッサ装置14に接続し、視線入力部が、ディスプレイ15のうち所定領域内にユーザーの視線が一定時間以上入っていることを認識した場合に、静止画取得指示を行うようにしてもよい。また、プロセッサ装置14に音声認識部(図示しない)を接続し、音声認識部が、ユーザーが発した特定の音声を認識した場合に、静止画取得指示を行うようにしてもよい。モード切替についても、音声認識部を用いて行うようにしてもよい。また、プロセッサ装置14に、タッチパネルなどのオペレーションパネル(図示しない)を接続し、オペレーションパネルに対してユーザーが特定の操作を行った場合に、静止画取得指示を行うようにしてもよい。モード切替についても、オペレーションパネルを用いて行うようにしてもよい。
【0024】
図2に示すように、先端部12dには、被写体からの光を受光する撮像光学系21と、被写体に対して照明光を照射するための照明光学系22と、測長モードで用いる計測光を被写体に対して放射する計測光出射部23と、処置具を被写体に向けて突出させるための開口24と、送気送水を行うための送気送水ノズル25とを備えている。
【0025】
挿入部12aには、固定部材としてのバルーン19が着脱可能に取り付けられる。バルーン19は、ディスポーザブル(使い捨て)タイプのバルーンであり、1回、あるいは少ない使用回数で廃棄され、新品に交換される。なお、ここでいう回数は、症例数のことであり、少ない使用回数とは、10回以下のことをいう。
【0026】
バルーン19は、ゴム等の弾性材によって端部が絞られた略筒状に形成されている。バルーン19は、小径の先端部19a及び基端部19bと、中央の膨出部19cとを有する。バルーン19は、内部に挿入部12aを挿通させて所定位置に配置した後、例えば、先端部19a及び基端部19bにゴム製のリング20a、20bを嵌め込むことによって、挿入部12aに固定される。
【0027】
図3に示すように、バルーン19が挿入部12aに固定される所定位置は、湾曲部12cよりも挿入部12aの基端側であり、バルーン19の先端部19aにおける先端と、湾曲部12cの基端とが一致する位置であることが好ましい。これにより、バルーン19が湾曲部12cの湾曲動作を妨げることがなく、かつ、湾曲部12cがバルーン19の膨張又は収縮を妨げることもない。バルーン19は、後述するように、バルーン制御装置BLCによって膨張又は収縮が制御される。バルーン制御装置BLCは、ユーザーインターフェース16によって操作されることが好ましい。
【0028】
図4に示すように、バルーン19が収縮した状態では、腸管26に対して挿入部12aが固定されていない状態であり、バルーンを収縮した状態のまま、計測光の照射及び撮像を行うと、先端部12dの位置が上下左右方向に動いて、ユーザーが測定したい観察対象に対して正確に計測光を照射できない場合がある。
【0029】
そこで、図5に示すように、バルーン制御装置BLCの制御により、バルーン19を膨張状態にする。膨張状態のバルーン19は、外径が腸管26の内径に合わせて形成されているため、挿入部12aは、腸管26内に位置を固定した状態となる。これにより、挿入部12aが腸管26に対して固定されるため、ユーザーが測定した観察対象に対して正確に計測光を照射することができる。なお、ここでいう「固定した状態」とは、挿入部12aの挿入方向に対する位置は固定されているが、先端部12dの向きは微調整可能な状態を含んでいる。
【0030】
図6に示すように、内視鏡の先端部12dは略円形となっており、第1方向D1に沿って、撮像光学系21及び照明光学系22と、開口24及び送気送水ノズル25が設けられている。撮像光学系21の両側には、第1方向と直交する第2方向に対して、2つの照明光学系22が設けられている。計測光出射部23は、第1方向に対して、撮像光学系21と送気送水ノズル25との間に設けられている。したがって、送気送水ノズル25の送気送水口は、撮像光学系21及び計測光出射部23に向けられているため、撮像光学系21及び計測光出射部23の両方を送気又は送水により洗浄することができる。
【0031】
図7に示すように、先端部12dには先端キャップ27が装着されている。先端キャップ27には、先端面28が設けられている。先端面28は、平面28aと、平面28bと、ガイド面28cとを有する。平面28aは、軸方向Zと直交する平面である。平面28bは、平面28aと平行、且つ、軸方向Zにおいて平面28aよりも先端側に位置する。ガイド面28cは、平面28aと平面28bとの間に配される。
【0032】
平面28bには、撮像光学系21の先端面21cを露呈させる貫通孔27aと、一対の照明光学系22の先端面22bを露呈させる貫通孔27bが設けられている。先端面21cと先端面22bと平面28と同一面上に配されている。
【0033】
平面28aには、貫通孔27c、27dが配置されている。貫通孔27cから送気送水ノズル25が露呈している。すなわち、平面28aは、軸方向Zにおける送気送水ノズル25の取付位置である。送気送水ノズル25の先端側には、噴射筒部25aが形成されている。噴射筒部25aは、送気送水ノズル25の基端部から、例えば90度に曲折する方向に突出された筒状に形成されており、先端に噴射口25bを有している。噴射筒部25aは、貫通孔52cから軸方向Zの先端側に突出して配置される。
【0034】
噴射口25bは、撮像光学系21の方向に向けて配置されている。これにより、送気送水ノズル25は、撮像光学系21の先端面21c及びその周辺部に、流体である洗浄液又は気体を噴射する。
【0035】
送気送水ノズル25から撮像光学系21に洗浄水又は気体が噴射された場合、撮像光学系21に到達した位置、即ち撮像光学系21の外周縁における洗浄水の流速F1は、2m/s以上であり、撮像光学系21の外周縁における気体の流速F2は、40m/s以上であることが好ましい。なお、流速F1、F2は、先端部12dの向きに関わらず、上記の値を満たしていることが好ましく、例えば、撮像光学系21に対して鉛直下方に送気送水ノズル25が位置する場合、洗浄水又は気体の重力の影響を受けて流速が低下するが、この場合でも、上記の値を満たしていることが好ましい。
【0036】
平面28aには、貫通孔27dから露呈した計測光出射部23の先端面が配置されている。すなわち、送気送水ノズル25の取付位置と、計測光出射部23の先端面とは、軸方向Zにおける同一の位置に配置されている。計測光出射部23は、送気送水ノズル25の流体噴射範囲内、かつ撮像光学系21と送気送水ノズル25の間に配される。本実施形態では、先端面28を軸方向Zから見た場合に、送気送水ノズル25の噴射口25bと、撮像光学系21の外周縁とを繋ぐ領域内に計測光出射部23が配されている。これにより、送気送水ノズル25から撮像光学系21へ流体を噴射する際に、同時に、計測光出射部23にも流体を噴射させることができる。
【0037】
ガイド面28cは、平面28aと平面28bとの間を接続する連続面で形成されている。ガイド面28cは、計測光出射部23の外周縁と接する位置から、撮像光学系21の外周縁に接する位置まで、平坦状に形成された傾斜面である。ガイド面28cは、送気送水ノズルの流体噴射範囲に配されているため、送気送水ノズル25から流体が噴射された場合、ガイド面28cにも流体が噴射される。ガイド面28cに噴射された流体が拡散して撮像光学系21に吹き付けられる。なお、この場合、送気送水ノズルの流体噴射範囲に、ガイド面28cの全てが含まれてもよいし、ガイド面28cの一部のみが含まれてもよい。本実施形態では、送気送水ノズル25の噴射口25bと、撮像光学系21の外周縁とを繋ぐ領域内にガイド面28cが全て含まれている。
【0038】
図8に示すように、光源装置13は、光源部30と、光源用プロセッサ31とを備えている。光源部30は、被写体を照明するための照明光又は特殊光を発生する。光源部30から出射された照明光又は特殊光は、ライトガイドLGに入射され、照明レンズ22aを通って被写体に照射される。光源部30としては、照明光の光源として、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。また、光源部30としては、特殊光の光源として、表層血管など表層情報を強調するための青色狭帯域光を含む広帯域光を発する光源が用いられる。なお、照明光としては、紫色光、青色光、緑色光、又は赤色光の少なくともいずれかを組み合わせた白色の混色光としてもよい。この場合には、赤色光の照射範囲に比べて緑色光の照射範囲のほうが大きくなるように、照明光学系22の光学設計を行うことが好ましい。
【0039】
光源用プロセッサ31は、システム制御部41からの指示に基づいて光源部30を制御する。システム制御部41は、光源用プロセッサ31に対して、光源制御に関する指示を行う他に、計測光出射部23の光源23a(図10参照)も制御する。通常観察モードの場合には、システム制御部41は、照明光を点灯し、計測光を消灯する制御を行う。特殊観察モードの場合は、特殊光を点灯し、計測光を消灯する制御を行う。測長モードの場合には、システム制御部41は、照明光又は計測光を点灯又は消灯する制御を行う。
【0040】
照明光学系22は照明レンズ22aを有しており、この照明レンズ22aを介して、ライトガイドLGからの光が観察対象に照射される。撮像光学系21は、対物レンズ21a、ズームレンズ21b、及び撮像素子32を有している。観察対象からの反射光は、対物レンズ21a及びズームレンズ21bを介して、撮像素子32に入射する。これにより、撮像素子32に観察対象の反射像が結像される。
【0041】
ズームレンズ21bは、テレ端とワイド端との間で移動することによって、ズーム機能として、被写体を拡大又は縮小する光学ズーム機能を有する。光学ズーム機能のONとOFFは、内視鏡の操作部12bに設けられたズーム操作部12h(図1参照)により切り替えることが可能であり、光学ズーム機能がONの状態で、さらにズーム操作部12hを操作することにより、特定の拡大率で被写体を拡大又は縮小する。
【0042】
撮像素子32はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像素子32は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像素子32は、R(赤)、G(緑)B(青)の3色の青色画像、緑色画像、及び赤色画像を得るためのカラーの撮像センサである。赤色画像は、撮像素子32において赤色のカラーフィルタが設けられた赤色画素から出力される画像である。緑色画像は、撮像素子32において緑色のカラーフィルタが設けられた緑色画素から出力される画像である。青色画像は、撮像素子32において青色のカラーフィルタが設けられた青色画素から出力される画像である。撮像素子32は、撮像制御部33によって制御される。
【0043】
撮像素子32から出力される画像信号は、CDS/AGC回路34に送信される。CDS/AGC回路34は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路34を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)35により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、通信I/F(Interface)36を介して、光源装置13の通信I/F(Interface)37に入力される。
【0044】
プロセッサ装置14は、各種処理又は制御などに関するプログラムがプログラム格納メモリ(図示しない)に組み込まれている。画像制御用プロセッサによって構成されるシステム制御部41は、プログラム格納メモリに組み込まれたプログラムを動作することによって、光源装置13の通信I/F(Interface)37と接続される受信部38と、信号処理部39と、表示制御部40の機能が実現する。
【0045】
受信部38は、通信I/F37から伝送されてきた画像信号を受信して信号処理部39に伝達する。信号処理部39は、受信部38から受けた画像信号を一時記憶するメモリを内蔵しており、メモリに記憶された画像信号の集合である画像信号群を処理して、被写体画像を生成する。なお、受信部38は、光源用プロセッサ31に関連する制御信号については、システム制御部41に直接送るようにしてもよい。
【0046】
信号処理部39では、通常観察モードに設定されている場合には、被写体画像の青色画像はディスプレイ15のBチャンネルに、被写体画像の緑色画像はディスプレイ15のGチャンネルに、被写体画像の赤色画像はディスプレイ15のRチャンネルにそれぞれ割り当てる信号割り当て処理を行うことによって、カラーの被写体画像がディスプレイ15に表示する。測長モードについても、通常観察モードと同様の信号割り当て処理を行う。
【0047】
一方、信号処理部39では、特殊観察モードに設定されている場合には、被写体画像の赤色画像はディスプレイ15の表示には使用せず、被写体画像の青色画像をディスプレイ15のBチャンネルとGチャンネルに割り当て、被写体画像の緑色画像をディスプレイ15のRチャンネルに割り当てることによって、疑似カラーの被写体画像をディスプレイ15に表示する。また、信号処理部39では、測長モードに設定されている場合には、計測光の照射位置を含む被写体画像をデータ送受信部43に送信する。データ送受信部43は、被写体画像に関するデータを拡張プロセッサ装置17に送信する。なお、データ送受信部43は、拡張プロセッサ装置17からのデータ等の受信が可能である。受信したデータは、信号処理部39又はシステム制御部41にて処理が可能である。
【0048】
信号処理部39は、ズーム機能として、ユーザーインターフェース16によってデジタルズーム機能がONに設定されている場合には、被写体画像の一部を切り取って拡大又は縮小することによって、特定の倍率で被写体を拡大又は縮小する。図9(A)は、デジタルズーム機能がOFFの状態の被写体画像を示しており、図9(B)は、図9(A)の被写体画像のうち中心部分を切り取って拡大したデジタルズーム機能がONの被写体画像を示している。なお、デジタルズーム機能がOFFの場合には、被写体画像の切り取りによる被写体の拡大又は縮小は行われない。
【0049】
表示制御部40は、信号処理部39によって生成された被写体画像をディスプレイ15に表示する。システム制御部41は、内視鏡12、光源装置13、プロセッサ装置14、及び拡張プロセッサ装置17に対して、各種の制御を行う。システム制御部41は、内視鏡12に設けられた撮像制御部33を介して、撮像素子32の制御を行う。撮像制御部33は、撮像素子32の制御に合わせて、CDS/AGC回路34及びA/D変換器35の制御も行う。
【0050】
拡張プロセッサ装置17は、プロセッサ装置14から送信されたデータをデータ送受信部44にて受信する。信号処理部45は、データ送受信部44で受信したデータに基づいて、測長モードに関連する処理を行う。具体的には、計測光の照射位置を含む被写体画像から仮想スケールのサイズを決定し、決定した仮想スケールを被写体画像に重畳表示させる処理を行う。表示制御部46は、仮想スケールが重畳表示された被写体画像を拡張ディスプレイ18に表示させる。なお、データ送受信部44は、プロセッサ装置14にデータ等を送信することが可能である。
【0051】
図10に示すように、計測光出射部23は、撮像光学系21の光軸Ax(図13参照)に対して斜めに計測光を出射する。計測光出射部23は、光源23aと、回折光学素子DOE23b(Diffractive Optical Element)と、プリズム23cと、出射部23dとを備える。光源23aは、撮像素子32の画素によって検出可能な色の光(具体的には可視光)を出射するものであり、レーザー光源LD(Laser Diode)又はLED(Light Emitting Diode)等の発光素子と、この発光素子から出射される光を集光する集光レンズとを含む。なお、光源23aはスコープエレキ基板(図示しない)に設けられている。スコープエレキ基板は、内視鏡の先端部12dに設けられており、光源装置13又はプロセッサ装置14から電力の供給を受けて、光源23aに電力を供給している。なお、光源23aは内視鏡の先端部12dに設けているが、内視鏡12とプロセッサ装置14とを接続するためのコネクタの内部に設けてもよい。この場合であっても、計測光出射部23のうち光源23aを除く部材(回折光学素子DOE23b、プリズム23c、及び出射部23d)は内視鏡の先端部12dに設けられる。
【0052】
本実施形態では、光源23aが出射する光の波長は、例えば、600nm以上650nm以下の赤色(ビーム光の色)のレーザー光を使用するが、その他の波長帯域の光、例えば、495nm以上570nm以下の緑色光を用いてもよい。光源23aはシステム制御部41によって制御され、システム制御部41からの指示に基づいて光出射を行う。DOE23bは、光源から出射した光を、計測情報を得るための計測光に変換する。なお、計測光は、人体、目、内臓保護の観点に基づいて光量が調整され、且つ、内視鏡12の観察範囲では十分に白飛び(画素飽和)する程度の光量に調整されることが好ましい。
【0053】
プリズム23cは、DOE23bで変換後の計測光の進行方向を変えるための光学部材である。プリズム23cは、対物レンズ21aを含む撮像光学系21の視野と交差するように、計測光の進行方向を変更する。計測光の進行方向の詳細についても、後述する。プリズム23cから出射した計測光Lmは、被写体へと照射される。
【0054】
図11に示すように、計測光出射部23は、内視鏡の先端部12dに設けられた計測光出射部用収納部47に収納されている。計測光出射部用収納部47は、計測光出射部23のサイズに対応する孔部を有している。計測光出射部用収納部47は、透明蓋48によって塞がれている。透明蓋48は、透明の板状を有し、一端面が平坦部48aとなっている。透明蓋48は、平坦部48aが先端部12dの先端面28と面一になるように配置されている。先端面28と面一になる透明蓋48を設けることにより、計測光の出射を遮ることがある異物などが挟まることがなくなる。
【0055】
図12に示すように、透明蓋48とプリズム23cとの間には、プリズム49が配置されている。プリズム49は、第1密着面49a、第2密着面49bを有し、第1密着面49aをプリズム23cに密着させ、第2密着面49bを透明蓋48に密着させている。プリズム49により、透明蓋48とプリズム23cとの間から気体が排除されて気密となる。このように気密にすることで、結露を防ぐことができる。すなわち、結露による計測光の減衰、拡散、収束、及び屈折などの問題が生じることを防ぐことができる。
【0056】
なお、プリズム23cの屈折率を「n1」、プリズム49の屈折率を「n2」としたときに、「n1<n2」を満たしており、プリズム23cの光出射面が光軸Ax側に傾いている例を説明したが、これと逆の構成にしてもよい。「n1>n2」とし、プリズム23cの光出射面を光軸Axと反対側に設けてもよい。ただし、この場合は、プリズム23cの光出射面にて全反射する可能性があるため、プリズム23cの光出射面に制限を設ける必要がある。
【0057】
なお、プリズム23cを光学部材で構成することに代えて、内視鏡の先端部12dに形成される計測補助用スリットとしてもよい。また、プリズム23cを光学部材で構成する場合には、出射面に反射防止コート(AR(Anti-Reflection)コート)(反射防止部)を施すことが好ましい。このように反射防止コートを設けるのは、計測光がプリズム23cの出射面を透過せずに反射して、被写体に照射される計測光の割合が低下すると、後述する照射位置検出部61が、計測光により被写体上に形成されるスポットSPの位置を認識し難くなるためである。
【0058】
なお、計測光出射部23は、計測光を撮像光学系21の視野に向けて出射できるものであればよい。例えば、光源23aが光源装置に設けられ、光源23aから出射された光が光ファイバによってDOE23bにまで導光されるものであってもよい。また、プリズム23cを用いずに、光源23a及びDOE23bの向きを、撮像光学系21の光軸Axに対して斜めに設置することで、撮像光学系21の視野を横切る方向に計測光Lmを出射させる構成としてもよい。
【0059】
図13に示すように、計測光の進行方向については、計測光Lmの光軸が撮像光学系21の光軸Axと交差する状態で、計測光を出射する。観察距離の範囲Rxにおいて観察可能であるとすると、範囲Rxの近端Px、中央付近Py、及び遠端Pzでは、各点での撮像範囲(矢印Qx、Qy、Qzで示す)における計測光Lmによって被写体上に形成されるスポットSPの位置(各矢印Qx、Qy、Qzが光軸Axと交わる点)が異なることが分かる。なお、撮像光学系21の撮影画角は2つの実線101Xで挟まれる領域内で表され、この撮影画角のうち収差の少ない中央領域(2つの点線102Xで挟まれる領域)で計測を行うようにしている。また、第3方向D3は、第1方向D1及び第2方向D2に直交する方向である(図45も同様)。
【0060】
以上のように、計測光Lmの光軸を光軸Axと交差する状態で、計測光Lmを出射することによって、観察距離の変化に対するスポット位置の移動から、被写体の大きさを計測することができる。そして、計測光が照明された被写体を撮像素子32で撮像することによって、スポットSPを含む被写体画像が得られる。被写体画像では、スポットSPの位置は、撮像光学系21の光軸Axと計測光Lmの光軸との関係、及び観察距離に応じて異なるが、観察距離が近ければ、同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。
【0061】
図14に示すように、システム制御部41は、測長対応内視鏡可否判断部140、計測光ON、OFF切替部141、測長画像表示設定ON、OFF切替部142、測長機能稼働状況表示ON、OFF切替部143、仮想スケール表示切替制御部144、及び切替前画像表示設定保存部149を備えている。
【0062】
測長対応内視鏡可否判断部140は、内視鏡12がプロセッサ装置14に接続された場合に、内視鏡12が測長対応内視鏡か否かを判断する。内視鏡12が測長対応内視鏡である場合には、測長モードへの切り替えが有効化される。測長対応内視鏡とは、計測光の照射及び受光が可能であり、且つ、計測光に基づく仮想スケールを表示する測長画像を拡張ディスプレイ18(ディスプレイ15であってもよい)に表示することが可能な内視鏡のことをいう。なお、測長対応内視鏡可否判断部140は、内視鏡12に設けられたスコープIDと測長対応内視鏡の有無のフラグ(例えば、測長対応内視鏡の場合を「1」と、それ以外の内視鏡の場合は「0」とする)とを関連付けたスコープIDテーブル(図示しない)を備えている。そして、測長対応内視鏡可否判断部140は、内視鏡12が接続された場合に、内視鏡スコープIDを読み出す。読み出したスコープIDが、スコープIDテーブルのフラグを参照して、測長対応内視鏡か否かを判断する。
【0063】
計測光ON,OFF切替部141は、光源23aを制御して、計測光の点灯(ON)又は消灯(OFF)を切り替える。測長画像表示設定ON、OFF切替部142は、ユーザーインターフェース16などによって、測長画像の表示設定(色調など)など測長モードにおける各種画像表示設定の実行を可能(ON)又は不可能(OFF)にする。仮想スケール表示切替制御部144は、拡張ディスプレイ18において仮想スケールを表示(ON)、非表示(OFF)、又は、表示態様変更のいずれかに切り替える。
【0064】
システム制御部41は、測長モードへの切り替えが有効化された状態において、観察モード切替スイッチ12fによる測長モードへの切り替え操作によって、計測光のON又はOFFの切替、測長画像表示設定のON又はOFFの切替、測長機能稼働状況表示のON又はOFFの切替、仮想スケールの表示のON、OFF、又は表示態様変更の切り替えのうち少なくともいずれかを行う。
【0065】
例えば、システム制御部41は、測長モードへの切り替え操作により、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び仮想スケールの表示をONに切り替えることが好ましい。一方、測長モードから他のモード(通常観察モード、特殊観察モード)への切り替え操作により、計測光をOFF、測長画像表示設定をOFF、測長機能稼働状況表示をOFF、及び仮想スケールの表示をOFFに切り替えることが好ましい。
【0066】
図15に示すように、測長機能稼働状況表示は、拡張ディスプレイ18の付帯情報表示領域18aに、スケール表示中アイコン146で表示することが好ましい。測長モードへの切り替え操作に従って、スケール表示中アイコン146が表示され、測長モードから他のモードへの切り替え操作に従って、スケール表示中アイコン146が非表示となる。また、仮想スケール147は、拡張ディスプレイ18の観察画像表示領域18bに、表示することが好ましい。仮想スケール147の表示態様の変更は、仮想スケール表示切替制御部144によって行われる。
【0067】
仮想スケール147は、5mmの仮想スケール147a、10mmの仮想スケール147b、20mmの仮想スケール147cを備えている。仮想スケール147a、147b、147cは、円形のスケール(点線で表示)と線分のスケール(実線で表示)をそれぞれ有している。仮想スケール147aの「5」は5mmのスケールであることを、仮想スケール147bの「10」は10mmのスケールであることを、仮想スケール147cの「20」は20mmのスケールであることを、それぞれ表している。
【0068】
仮想スケールの表示態様の変更は、例えば、予め定められた複数のスケールパターンの中からの選択によって行われる。例えば、複数のスケールパターンとしては、図15に示すように、円形のスケール及び線分のスケールを有する3つの仮想スケール147a、147b、147cを組み合わせたスケールパターンの他、円形のスケール及び線分のスケールを有する2つの仮想スケール147b、147cを組み合わせたスケールパターン、仮想スケール147a、147b、147cのうち線分のみを有する3つの仮想スケールを組み合わせたスケールパターンなどがある。スケールパターンは、複数のスケールサイズ、円形のスケール及び線分スケールなど複数のスケールの形状の中から1又は複数の組み合わせで表される。
【0069】
また、測長画像表示設定をONにする場合には、測長モードへの切り替え前の画像表示設定を切替前画像表示設定保存部149に保存することが好ましい。例えば、測長モードへの切り替え前の観察モードが通常観察モードであれば、信号処理部39で設定されている通常観察モードの画像表示設定を切替前画像表示設定保存部149に保存することが好ましい。また、測長画像表示設定をOFFにする場合には、切替前画像表示設定保存部149に保存した画像表示設定に切り替えることが好ましい。例えば、切替前画像表示設定保存部149に通常観察モードの画像表示設定が保存されている場合には、信号処理部39は、通常観察モードへの切り替えに従って、切替前画像表示設定保存部149に保存されている通常観察モードの画像表示設定に設定する。
【0070】
一方、システム制御部41は、測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、計測光をON、測長画像表示設定をON、測長機能稼働状況表示をON、及び仮想スケールの表示をONに切り替えることを禁止する。モード切替時条件は、内視鏡12、光源装置13、プロセッサ装置14、及び拡張プロセッサ装置17に関する設定条件で測長モードの実行に適した条件である。モード切替時条件は、下記の禁止設定条件に該当しない条件であることが好ましい。なお、モード切替時条件を満たしていない場合には、スケール表示中アイコン146を表示することを禁止する代わりに、仮想スケール147が拡張ディスプレイ18で表示中でないことを示す測長機能稼働状況不可表示を表示(ON)にすることが好ましい。測長機能稼働状況不可表示は、付帯情報表示領域18aに、スケール非表示中アイコン148で表示することが好ましい。
【0071】
図16に示すように、システム制御部41には、測長モードの実行の可否等に関する制御を行う測長モード制御部50が設けられている。測長モード制御部50は、観察モード切替スイッチ12fによって測長モードへの切り替え操作が行われた場合において、内視鏡12、光源装置13、及び、プロセッサ装置14に関する現在設定中の設定条件が、予め定められた禁止設定条件に該当する場合には、測長モードへの切り替えを禁止する第1制御、測長モード中において、ユーザーインターフェース16によって設定条件の設定変更操作が行われた場合において、設定変更操作によって変更しようとする設定条件が禁止設定条件に該当する場合には、設定変更操作を無効化する第2制御、又は、測長モード中において、ユーザーインターフェース16によって設定条件の設定変更操作が行われた場合において、設定変更操作によって変更しようとする設定条件が禁止設定条件に該当する場合には、測長モードから他のモードへ自動的に切り替える第3制御の少なくともいずれかを行う。
【0072】
光源装置13に関する設定条件としては、通常観察モード又は測長モードにて用いる照明光の照明条件、特殊観察モードにて用いる特殊光の照明条件、又は、測長モードに用いる計測光の照明条件が含まれる。照明条件には、例えば、照明光量などが含まれる。内視鏡12に関する設定条件としては、被写体の撮像に関する撮像条件が含まれる。撮像条件としては、例えば、シャッタースピードなどが含まれる。プロセッサ装置14に関する設定条件としては、被写体画像に関する画像処理などの処理条件が含まれる。処理条件には、例えば、カラーバランス、明るさ補正、各種強調処理などが含まれる。なお、測長モードにおいては、スポットSPの位置検出を最適化し、ユーザーの寸法測定時の視認性を満たす設定条件(照明光量、シャッタースピード、カラーバランス、明るさ補正、各種強調処理)に設定することが好ましい。
【0073】
禁止設定条件には、測長モードにおいて被写体画像から計測光の照射位置の検出を妨げる第1禁止設定条件と、測長画像において観察距離に対応した仮想スケールを正確に表示することを妨げる第2禁止設定条件が含まれる。第1禁止設定条件としては、例えば、特殊観察モード、被写体画像に対する明るさ強調又は赤色強調などが含まれる。特殊観察モードでは、測長モードでスポットSP等の検出に用いられる赤色画像は、画像表示に用いられないため、計測光の照射位置の検出が困難である。なお、測長モードでは、通常観察モード又は特殊観察モードと比較して、被写体画像における明るさを低くし、また、赤味を抑えることが好ましい。
【0074】
また、第2禁止設定条件としては、例えば、光学ズーム機能又はデジタルズーム機能などのズーム機能の使用(ON)が含まれる。これは、計測用画像で表示する仮想スケールは、スポットSPの位置に応じて定められ、ズーム機能の倍率に応じては定められていないことから、ズーム機能がONの場合、仮想スケールが観察距離に対応して表示することが難しいためである。
【0075】
例えば、特殊観察モードに設定されている状態において、観察モード切替スイッチ12fにより測長モードへの切り替え操作が行われた場合には、図17に示すように、測長モード制御部50は、測長モードへの切り替えを禁止して、特殊観察モードの状態を維持する第1制御を行う。第1制御が行われた場合には、測長モード制御部50は、図18に示すように、測長モードへの切り替えが禁止されたことを報知するメッセージを拡張ディスプレイ18に表示する(警告音を発してもよい)。なお、測長モード制御部50は、測長モードへの切り替えを禁止することに代えて、図19に示すように、特殊観察モードを解除して、測長モードに切り替える制御を行ってもよい。
【0076】
また、測長モード中において、ズーム操作部12hによる操作によりズーム機能をONにする設定変更操作が行われた場合には、図20に示すように、測長モード制御部50は、ズーム機能をONにする設定変更操作を無効化する第2制御を行う。第2制御が行われた場合には、測長モード制御部50は、図21に示すように、ズーム機能をONにする設定変更操作が無効化されたことを報知するメッセージを拡張ディスプレイ18に表示する(警告音を発してもよい)。
【0077】
また、測長モード中において、ズーム操作部12hによる操作によりズーム機能をONにする設定変更操作が行われた場合には、図22に示すように、測長モード制御部50は、測長モードを解除して、他のモードとして、通常観察モードに切り替える第3制御を行う。第3制御が行われた場合には、測長モード制御部50は、図23に示すように、測長モードが解除(仮想スケールの非表示化)されて通常観察モードに切り替えられたことを報知するメッセージを拡張ディスプレイ18に表示する(警告音を発してもよい)。なお、第3制御が行われた場合は、ズーム機能をONにする設定変更操作を有効化して、ズーム機能により被写体画像上での被写体を拡大又は縮小する。
【0078】
図24に示すように、システム制御部41には、明るさ情報算出部53、照明光光量レベル設定部54、第1発光制御用テーブル55、及び第2発光制御用テーブル56を設けてもよい。明るさ情報算出部53は、通常観察モードで得られる画像又は測長モードで得られる第1撮像画像(照明光及び計測光に基づく画像)に基づいて、被写体の明るさに関する明るさ情報を算出する。照明光光量レベル設定部54は、明るさ情報に基づいて、照明光の光量レベルを設定する。照明光の光量レベルとしては、Level1、Level2、Level3、Level4、Level5の5段階とする。照明光の光量レベルに関する情報は、光源用プロセッサ31に送られる。光源用プロセッサ31は、照明光の光量レベルに照明光の光量がなるように、光源部30を制御する。
【0079】
第1発光制御用テーブル55は計測光の光量制御に用いられ、スポットSPの座標情報と計測光の光量レベルとの第1関係を記憶している。具体的には、図25に示すように、スポットSPの座標情報が属する5つの座標エリアに対して、計測光の光量レベルLevel1、Level2、Level3、Level4、Level5がそれぞれ定められている。システム制御部41は、第1発光制御用テーブル55を参照して、スポットSPの位置が属する座標エリアに対応する光量レベルを特定する。システム制御部41は、光源23aを制御して、特定した光量レベルになるように、計測光の光量を制御する。なお、計測光の光量制御を、第1発光制御用テーブル55と第2発光制御用テーブル56のいずれを用いて行うかは、ユーザーインターフェース16を操作して適宜設定される。
【0080】
図26に示すように、座標エリア1は、第1撮像画像において一番下方に設定されたエリアであり、座標エリア1にスポットSPが属している場合には観察距離が一番近い位置にある。したがって、座標エリア1に対しては、計測光の効用レベルとして一番小さいLevel1が割り当てられている。また、座標エリア2は、座標エリア1よりも上方に設定されたエリアであり、座標エリア2にスポットSPが属している場合には、観察距離が座標エリア1の場合よりも遠い位置にあるため、計測光の光量レベルとしてLevel1よりも大きいLevel2が割り当てられている。なお、スポットSPの移動方向は、撮像光学系21の光軸Axと計測光Lmの光軸の交差方向に従って変化する。
【0081】
同様にして、座標エリア3については座標エリア2よりも上方に設けられている。座標エリア3にスポットSPが属している場合には、観察距離が座標エリア2の場合よりも遠い位置にあるため、計測光の光量レベルとしてLevel2よりも大きいLevel3が割り当てられている。また、座標エリア4については座標エリア3よりも上方に設けられている。座標エリア4にスポットSPが属している場合には、観察距離が座標エリア3の場合よりも遠い位置にあるため、計測光の光量レベルとしてLevel3よりも大きいLevel4が割り当てられている。また、座標エリア5は一番上方に設定されたエリアである。座標エリア5にスポットSPが属している場合には、観察距離が他の座標エリア1~4の場合よりの一番遠い位置にあるため、計測光の光量レベルとして最も高いLevel5が割り当てられている。
【0082】
第2発光制御用テーブル56は計測光の光量制御に用いられ、スポットSPの座標情報及び照明光の光量レベルと計測光の光量レベルとの第2関係を記憶している。具体的には、図27に示すように、スポットSPの座標情報が属する5つの座標エリア及び照明光の光量レベルLevel1、Level2、Level3、Level4、Level5に対して、計測光の光量レベルがそれぞれ定められている。例えば、スポットSPが座標エリア1に属し、且つ、照明光の光量レベルがLevel3である場合には、計測光の光量レベルとしてLevel3が割り当てられる。
【0083】
システム制御部41は、第2発光制御用テーブル56を参照して、スポットSPの位置が属する座標エリアと、照明光の光量レベルとから、計測光の光量レベルを特定する。システム制御部41は、光源23aを制御して、特定した光量レベルとなるように、計測光の光量を制御する。
【0084】
第2発光制御用テーブル56においては、照明光の光量レベルと計測光の光量レベルとは、スポットSPの位置を特定可能にするための比率に設定されている。これは、照明光の光量と計測光の光量との比率が適切でないと、スポットSPのコントラストが低くなって、スポットSPの位置を特定することが難しくなるためである。
【0085】
測長モードでは、光源用プロセッサ31は、観察対象の全体的な照明に用いる照明光は連続発光する一方、計測光Lmはパルス発光する。したがって、測長モードにおいて光を発光するフレームとしては、図28に示すように、計測光を発光せず、照明光を単独で発光する照明光単独発光フレームFLxと、照明光と計測光を発光する計測光発光フレームFLyとが含まれる。そして、測長モードでは、計測光発光フレームFLyに得られた第1撮像画像からスポットSPの位置を検出する一方、照明光単独発光フレームFLxに得られた第2撮像画像に対して、仮想スケールの表示を行う。なお、図28の照明光又は計測光に対応する部分に示された実線は、あるフレームにおける発光状態を表している。実線が「on」に対応する部分にある期間は、照明光又は計測光を発光する期間を示しており、実線が「off」に対応する部分にある期間は、照明光又は計測光を発光しない期間を示している。
【0086】
測長モードにおける発光及び撮像のパターンについては、以下の通りである。第1パターンとしては、撮像素子32として、各画素において同一のタイミングで露光及び電荷の読み出しを行って画像信号を出力するCCD(グローバルシャッター方式の撮像素子)を用いる場合である。また、第1パターンでは、計測光を、特定のフレーム間隔として、2フレーム間隔毎に発光を行う。
【0087】
第1パターンでは、図29に示すように、通常観察モード時のタイミングT1における照明光の露光に基づき、通常観察モードと測長モードの切り替え時(タイミングT1からタイミングT2への切替時)に、電荷の一斉読出しが行われること(グローバルシャッター)により、照明光の成分のみを有する第2撮像画像Nが得られる。この第2撮像画像Nは、タイミングT2において拡張ディスプレイ18に表示される。なお、図29の「CCD(フレーム期間)グローバルシャッター」については、タイミングT1からタイミングT2の切替時において、縦方向に立ち上がっている立ち上がり線57が、グローバルシャッターが行われたことを表している。これは、他の立ち上がり線57についても同様である。
【0088】
また、タイミングT2においては、照明光及び計測光が発光される。このタイミングT2における照明光及び計測光の露光に基づき、タイミングT2からタイミングT3への切替時に、電荷の一斉読出しが行われることにより、照明光及び計測光の成分が含まれる第1撮像画像N+Lmが得られる。この第1撮像画像N+Lmに基づいて、スポットSPの位置検出が行われる。スポットSPの位置に対応する仮想スケールを、タイミングT2のときに表示した第2撮像画像Nに対して表示する。これにより、タイミングT3において、タイミングT2の第2撮像画像Nに対して、仮想スケールを表示した測長画像Sが表示される。
【0089】
なお、タイミングT2(第1タイミング)の第2撮像画像Nは、タイミングT2だけでなく、タイミングT3においても、拡張ディスプレイ18に表示されることになる。即ち、タイミングT2の第2撮像画像は、次の第2撮像画像が得られるタイミングT4(第2タイミング)まで、2フレーム連続して表示されることになる(タイミングT2、T3では同じ被写体像が表示される)。なお、タイミングT3においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。ここで、通常観察モードでは、第2撮像画像Nを1フレーム毎に変えて表示しているのに対して、測長モードの第1パターンでは、上記のように、同一の第2撮像画像Nを連続して2フレーム分表示することで、測長モードの第1パターンのフレームレートは通常観察モードの実質1/2となる。
【0090】
タイミングT4以降についても、同様にして、行われる。即ち、タイミングT4、T5においては、測長画像Sに対して、タイミングT4の第2撮像画像が連続して表示され、タイミングT6、T7においては、測長画像Sに対して、タイミングT6の第2撮像画像Nが連続して表示される。これに対して、タイミングT4、T5、T6、T7においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。このように、測長画像Sの表示に、計測光の成分が含まれない第2撮像画像Nが表示されることで、フレームレートは多少低下するものの、計測光の発光によって生じる可能性がある観察対象の視認性を妨げることが無くなる。
【0091】
第2パターンとしては、撮像素子32として、照明光又は計測光にて照明された観察対象を撮像するための複数のラインを有し、ラインごとに異なる露光タイミングで露光を行い、ライン毎に異なる読出タイミングで電荷を読み出して画像信号を出力するCMOS(ローリングシャッター方式の撮像素子)を用いる場合である。また、第2パターンでは、計測光を、特定のフレーム間隔として、3フレーム間隔毎に発光を行う。
【0092】
第2パターンでは、図30に示すように、タイミングT1において照明光の露光及び電荷の読出しをライン毎に行い、通常観察モードから測長モードへの切替時(タイミングT1からタイミングT2への切替時)にて電荷の読出しを完了すること(ローリングシャッター)により、照明光の成分のみを有する第2撮像画像Nが得られる。この第2撮像画像Nは、タイミングT2において拡張ディスプレイ18に表示される。なお、図30の「CMOS(フレーム期間)ローリングシャッター」については、斜め線58が光の露光と電荷の読出しタイミングを表しており、ラインLsで露光及び電荷の読出しを開始し、ラインLtで露光及び電荷の読み出しを完了することを表している。
【0093】
また、タイミングT2においては、照明光及び計測光が発光される。タイミングT1からタイミングT2における照明光の照明、及びタイミングT2における計測光の照明に基づいて、ローリングシャッターを行うことにより、タイミングT2からタイミングT3に切り替わるタイミングにおいて、照明光及び計測光の成分が含まれる第1撮像画像N+Lmが得られる。また、タイミングT3からタイミングT4に切り替わるタイミングにおいても、照明光及び計測光の成分が含まれる第1撮像画像N+Lmが得られる。以上の第1撮像画像N+Lmに基づいて、スポットSPの位置検出が行われる。タイミングT3、T4においては、計測光の発光は行われない。
【0094】
スポットSPの位置に対応する仮想スケールを、タイミングT2のときに表示した第2撮像画像Nに対して表示する。これにより、タイミングT3、T4において、タイミングT2の第2撮像画像Nに対して、仮想スケールが表示された測長画像Sが表示される。なお、タイミングT2(第1タイミング)の第2撮像画像Nは、タイミングT2だけでなく、タイミングT3、T4においても、拡張ディスプレイ18に表示されることになる。即ち、タイミングT2の第2撮像画像は、次の第2撮像画像が得られるタイミングT5(第2タイミング)まで、3フレーム連続して表示されることになる(タイミングT2、T3、T4では同じ被写体像が表示される)。これに対して、タイミングT3、T4においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。なお、測長モードの第2パターンでは、同一の第2撮像画像N2を連続して3フレーム分表示することで、測長モードの第2パターンのフレームレートは通常観察モードの実質1/3となる。
【0095】
タイミングT5以降についても、同様にして、行われる。タイミングT5、T6、T7においては、測長画像Sに対して、タイミングT5の第2撮像画像が表示される。これに対して、タイミングT5、T6、T7においては、第1撮像画像N+Lmは拡張ディスプレイ18に表示されない。このように、測長画像Sの表示に、計測光の成分が含まれない第2撮像画像を表示することで、フレームレートは低下するものの、平面状の計測光の発光によって生じる可能性がある観察対象の視認性を妨げることが無くなる。
【0096】
図31に示すように、拡張プロセッサ装置17の信号処理部45は、スポットSPの位置認識、及び仮想スケールの設定を行うために、撮像画像におけるスポットSPの位置を検出する第1信号処理部59と、スポットSPの位置に応じて仮想スケールを設定する第2信号処理部60とを備えている。なお、撮像画像には、照明光及び計測光を常時点灯する場合に得られる撮像画像の他、照明光を常時点灯する一方、計測光を点灯又は消灯する場合において、照明光及び計測光の両方の点灯時に得られる第1撮像画像が含まれる。
【0097】
第1信号処理部59は、撮像画像からスポットSPの照射位置を検出する照射位置検出部61を備えている。照射位置検出部61では、スポットSPの照射位置として、スポットSPの重心位置座標を取得することが好ましい。
【0098】
第2信号処理部60は、スポットSPの照射位置に基づいて、被写体のサイズを計測するための仮想スケールとして、第1の仮想スケールを設定し、第1の仮想スケールのスケール表示位置を設定する。第2信号処理部60は、スポットSPの照射位置及びスケール表示位置によって表示態様が異なる仮想スケール画像と、スポットの照射位置とのを関連付けて記憶するスケール用テーブル62を参照して、スポットSPの照射位置に対応する仮想スケールを設定する。仮想スケールは、スポットSPの照射位置及びスケール表示位置によって、例えば、大きさ、又は、形状が異なっている。仮想スケール画像の表示に関しては、後述する。また、スケール用テーブル62については、拡張プロセッサ装置17の電源をOFFにした場合であっても、保存内容が維持される。なお、スケール用テーブル62は、仮想スケール画像と照射位置とを関連付けて記憶するが、照射位置に対応する被写体との距離(内視鏡12の先端部12dと被写体との距離)と仮想スケール画像とを関連付けて記憶してもよい。
【0099】
なお、仮想スケールの画像については、照射位置毎に必要になり、データ容量が大きくなることから、内視鏡12における保存可能なメモリの容量、起動、及び処理時間などの観点を考慮し、内視鏡12内のメモリ(図示しない)に保持するよりも、拡張プロセッサ装置17(又はプロセッサ装置14)内に保持したほうが好ましい。また、仮想スケールの画像は、後述するように、キャリブレーションによって得られた仮想スケール画像の代表点から作成しているが、測長モード時に代表点から仮想スケール画像を作成すると、ロスタイムが発生し、処理のリアルタイム性が損なわれる。そのため、内視鏡12を内視鏡接続部に接続し、一度、代表点から仮想スケール画像を作成してスケール用テーブル62を更新した後は、代表点から仮想スケールを作成するのではなく、更新後のスケール用テーブル62を用いて、仮想スケール画像の表示を行うようにする。また、第2信号処理部60においては、画像の重畳表示などが困難になる非常時には、測長画像に重畳表示する仮想スケール画像の代わりに、スポットSPの照射位置と被写体の実寸サイズに対応するピクセル数との関係から、仮想スケールの大きさを定める基準マーカが、測長画像に表示される。
【0100】
また、第2信号処理部60は、内視鏡12を内視鏡接続部に接続した場合には、スケール用テーブル62を更新するためのテーブル更新部64を備えている。このようにスケール用テーブル62を更新できるようにしているのは、内視鏡12は、機種及びシリアル番号によって、計測光Lmの光軸と撮像光学系21との位置関係が異なり、それに従って、仮想スケール画像の表示態様も変わってくるためである。テーブル更新部64では、仮想スケール画像から抽出された代表点に関する代表点データと、照射位置とを関連付けて記憶する代表点データテーブル66が用いられる。テーブル更新部64及び代表点データテーブル66の詳細については、後述する。なお、代表点データテーブル66については、照射位置に対応する被写体との距離(内視鏡12の先端部12dと被写体との距離)と代表点データとを関連付けて記憶してもよい。
【0101】
表示制御部46は、仮想スケールを撮像画像に重畳した測長画像を拡張ディスプレイ18に表示する場合において、仮想スケールを、スポットSPの照射位置及びスケール表示位置に応じて表示態様が異なる制御を行う。具体的には、表示制御部46は、スポットSPを中心として、第1の仮想スケールを重畳した測長画像を拡張ディスプレイ18に表示する。第1の仮想スケールとしては、例えば、円型の計測マーカを用いる。この場合、図32に示すように、観察距離が近端Px(図13参照)に近い場合には、被写体の腫瘍tm1上に形成されたスポットSP1の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す仮想スケールM1が表示される。
【0102】
仮想スケールM1のスケール表示位置は、撮像光学系21による歪みの影響を受ける撮像画像の周辺部に位置しているため、仮想スケールM1は、歪み等の影響に合わせて、楕円状となっている。以上の仮想スケールM1は腫瘍tm1の範囲とはほぼ一致しているため、腫瘍tm1は5mm程度と計測することができる。なお、撮像画像に対しては、スポットを表示せず、第1の仮想スケールのみを表示するようにしてもよい。
【0103】
また、図33に示すように、観察距離が中央付近Pyに近い場合、被写体の腫瘍tm2上に形成されたスポットSP2の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す仮想スケールM2が表示される。仮想スケールM2のスケール表示位置は、撮像光学系21によって歪みの影響を受けにくい撮像画像の中心部に位置しているため、仮想スケールM2は、歪み等の影響を受けることなく、円状となっている。
【0104】
また、図34に示すように、被写体の腫瘍tm3上に形成されたスポットSP3の中心に合わせて、実寸サイズ5mm(撮像画像の水平方向及び垂直方向)を示す仮想スケールM3が表示される。仮想スケールM3のスケール表示位置は、撮像光学系21による歪みの影響を受ける撮像画像の周辺部に位置しているため、仮想スケールM3は、歪み等の影響に合わせて、楕円状となっている。以上の図32図34に示すように、観察距離が長くなるにつれて同一の実寸サイズ5mmに対応する第1の仮想スケールの大きさが小さくなっている。また、スケール表示位置によって、撮像光学系21による歪みの影響に合わせて、第1の仮想スケールの形状も異なっている。
【0105】
なお、図32図34では、スポットSPの中心とマーカの中心を一致させて表示しているが、計測精度上問題にならない場合には、スポットSPから離れた位置に第1の仮想スケールを表示してもよい。ただし、この場合にもスポットの近傍に第1の仮想スケールを表示することが好ましい。また、第1の仮想スケールを変形して表示するのではなく、撮像画像の歪曲収差を補正し変形させない状態の第1の仮想スケールを補正後の撮像画像に表示するようにしてもよい。
【0106】
また、図32図34では、被写体の実寸サイズ5mmに対応する第1の仮想スケールを表示しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してもよい。また、図32図34では、第1の仮想スケールを、略円型としているが、図35に示すように、縦線と横線が交差する十字型としてもよい。また、十字型の縦線と横線の少なくとも一方に、目盛りMxを付けた目盛り付き十字型としてもよい。また、第1の仮想スケールとして、縦線、横線のうち少なくともいずれかを傾けた歪曲十字型としてもよい。また、第1の仮想スケールを、十字型と円を組み合わせた円及び十字型としてもよい。その他、第1の仮想スケールを、スポットから実寸サイズに対応する複数の測定点EPを組み合わせた計測用点群型としてもよい。また、第1の仮想スケールの数は一つでも複数でもよいし、実寸サイズに応じて第1の仮想スケールの色を変化させてもよい。
【0107】
なお、第1の仮想スケールとして、図36に示すように、大きさが異なる3つの同心円状の仮想スケールM4A、M4B、M4C(大きさはそれぞれ直径が2mm、5mm、10mm)を、腫瘍tm4上に形成されたスポットSP4を中心として、撮像画像上に表示するようにしてもよい。この3つの同心円状の仮想スケールは、仮想スケールを複数表示するので切替の手間が省け、また、被写体が非線形な形状をしている場合でも計測が可能である。なお、スポットを中心として同心円状の仮想スケールを複数表示する場合には、大きさや色を仮想スケール毎に指定するのではなく、複数の条件の組合せを予め用意しておきその組み合わせの中から選択できるようにしてもよい。
【0108】
図36では、3つの同心円状の仮想スケールを全て同じ色(黒)で表示しているが、複数の同心円状のマーカを表示する場合、仮想スケールによって色を変えた複数の色付き同心円状のマーカとしてもよい。図37に示すように、仮想スケールM5Aは赤色を表す点線、仮想スケールM5Bは青色を表す実線、仮想スケールM5Cは白を表す一点鎖線で表示している。このように仮想スケールの色を変えることで識別性が向上し、容易に計測を行うことができる。
【0109】
また、第1の仮想スケールとしては、複数の同心円状の仮想スケールの他、図38に示すように、各同心円を歪曲させた複数の歪曲同心円状の仮想スケールを用いてもよい。この場合、歪曲同心円状の仮想スケールM6A、仮想スケールM6B、仮想スケールM6Cが、腫瘍tm5に形成されたスポットSP5を中心に撮像画像に表示されている。
【0110】
テーブル更新部64は、内視鏡12が内視鏡接続部に接続された場合において、代表点データテーブル66を参照して、内視鏡12の機種及び/又はシリアル番号に対応する仮想スケール画像を作成し、スケール用テーブル62を更新する。
【0111】
代表点データテーブル66は、キャリブレーション時に得られた仮想スケール画像の代表点に関する代表点データと、スポットSPの照射位置とを関連付けて記憶している。代表点データテーブル66は、後述のキャリブレーション方法によって作成される。図39に示すように、代表点データとしては、仮想スケール画像のである円型の仮想スケールの画像Mのうち、いくつかの点を抽出した代表点RPの座標情報(X座標、Y座標)が含まれている。代表点データテーブル66に記憶されている代表点データは、計測光Lmの光軸と撮像光学系21との位置関係がデフォルトの位置関係である場合のデータである。
【0112】
テーブル更新部64は、内視鏡12が内視鏡接続部に接続された場合に、計測光Lmの光軸と撮像光学系21との位置関係に関する情報を取得し、前記位置関係と代表点データテーブル66を用いて、スケール用テーブル62を更新する。具体的には、内視鏡接続部に接続された内視鏡12における計測補助光Lmの光軸と撮像光学系29bとの位置関係とデフォルトの位置関係との違いから、代表点RPの座標情報の差分値を算出する。そして、テーブル更新部64は、図40に示すように、デフォルトの代表点RPを、算出した差分値だけ座標をシフトさせた代表点RPに基づいて、仮想スケール画像Mを作成する。仮想スケール画像の作成は、代表点RP間をつなぎ合わせる補間処理を行うことが好ましい。作成された補間処理後の仮想スケール画像は、テーブル更新部64によって照射位置と関連付けされる。これにより、スケール用テーブル62の更新が完了する。なお、図40においては、代表点RP、RPの一部のみに符号を付している。
【0113】
なお、計測光については、被写体に照射された場合に、スポットとして形成される光を用いているが、その他の光を用いるようにしてもよい。例えば、被写体に照射された場合に、図41に示すように、被写体上に交差ライン67として形成される平面状の計測光を用いるようにしてもよい。この場合には、仮想スケールとして、交差ライン67及び交差ライン67上に被写体の大きさ(例えば、ポリープP)の指標となる目盛り68からなる第2の仮想スケールを生成する。平面状の計測光を用いる場合には、照射位置検出部61は、交差ライン67の位置(計測光の照射位置)を検出する。交差ライン67が下方に位置する程、観察距離が近く、交差ライン67が上方に位置する程、観察距離が遠くなる。そのため、交差ライン67が下方に位置する程、目盛り68の間隔は大きくなり、交差ライン67が上方に位置する程、目盛り68の間隔は小さくなる。
【0114】
また、計測光については、図42に示すように、少なくとも2つの第1特徴線CLを含む平面状の光で構成してもよい。計測光が被写体に照射されると、被写体上の起伏に合わせて交差曲線CCが形成され、且つ、交差曲線CC上において2つの第1特徴線CL1に対応する位置にそれぞれ第1スポットSPk1が形成される。また、計測光には、2つの第1特徴線CL1の間に、第1特徴線CL1と異なる複数の第2特徴線CL2が含まれる。第1特徴線CL1及び第2特徴線CL2を含む計測光が被写体に照射されると、複数の第2特徴線CL2に対応する位置にそれぞれ第2スポットSPk2が形成される。第2スポットSPk2は、第1スポットSPk1よりも小さく、また、第2スポットSPk2の間隔は小さい。そのため、複数の第2スポットSPk2によって、交差曲線上に特定交差曲線SCCが形成される。特定交差曲線SCCの位置に基づいて、計測情報が算出される。
【0115】
図43に示すように、拡張プロセッサ装置17の信号処理部45は、第1スポットSPk1又は第2スポットSPk2の位置認識、及び計測情報の算出を行うために、位置特定部69と、計測情報処理部70とを有している。位置特定部69は、撮像画像から、第1スポットSPk1又は第2スポットSPk2の位置を特定する。位置の特定方法としては、例えば、撮像画像を二値化し、二値化画像のうち白部分(信号強度が二値化用閾値よりも高い画素)の重心を、第1スポットSPk1又は第2スポットSPk2の位置として特定する。
【0116】
計測情報処理部70は、第1スポットSPk1又は第2スポットSPk2の位置から、計測情報を算出する。算出された計測情報は、表示制御部46によって、撮像画像上に表示される。計測情報について2つの第1スポットSPk1の位置に基づいて算出する場合、被写体が3次元形状を有している状況下においても、正確に計測情報を算出することができる。
【0117】
計測情報には、図44に示すように、2つの第1スポットSPk1、第2スポットSPk2間の直線距離を示す第1直線距離が含まれる。計測情報処理部70は、以下の方法で、第1直線距離を算出する。計測情報処理部70では、図45に示すように、第1スポットSPk1の位置に基づいて、第1スポットSPk1における実寸サイズを示す座標(xp1、yp1、zp1)を求める。xp1、yp2は、それぞれ撮像画像における第1スポットSPk1の位置の座標から、実寸サイズに対応する座標を得る。zp1は、第1スポットSPk1の位置の座標と、予め定められた特定スポットSPkの位置の座標から、実寸サイズに対応する座標を得る。同様にして、第2スポットSPk2の位置に基づいて、第2スポットSPk2における実寸サイズを示す座標(xp2、yp2、zp2)を求める。また、xp2、yp2は、それぞれ撮像画像における第2スポットSPk2の位置の座標から、実寸サイズに対応する座標を得る。zp2は、第2スポットSPk2の位置の座標と、予め定められた特定スポットSPkの位置の座標から、実寸サイズに対応する座標を得る。そして、下記式)により、第1直線距離を算出する。
式)第1直線距離=
((xp2-xp1)+(yp2-yp1)+(zp2-zp1)0.5
算出された第1直線距離は、撮像画像上に、計測情報71(図44では「20mm」)として表示される。なお、特定スポットSPkは拡張ディスプレイ18に表示してもよく、表示しなくてもよい。
【0118】
また、計測光については、縦方向と横方向に所定の間隔で格子状に配列された複数のスポット光を用いてもよい。格子状配列のスポット光で被写体内の腫瘍tmなどを撮像することにより、図46に示すように、回折スポットDS1の画像を取得する。拡張プロセッサ装置17の信号処理部45は、回折スポットDS1の間隔DTを測定する。間隔DTは、撮像素子32の結像面の画素数に対応している。なお、複数の回折スポットDS1のうち特定部分における間隔(例えば、結像面の中心付近における間隔)を測定するようにしてもよい。
【0119】
回折スポットDS1の間隔が測定されると、測定結果に基づき、被写体までの方向及び距離が算出される。この処理は、回折スポットDS1の間隔(画素数)と被写体までの距離との関係が用いられる。具体的には、図47に示すように、測定対象の回折スポットDS1の方向(α、β)と距離(r)が算出される。被写体までの方向及び距離が算出されると、算出した方向及び距離に基づいて被写体の2次元情報または3次元情報を算出する。被写体の2次元情報、3次元情報としては、被写体の2次元空間(図47のXY平面)内、あるいは3次元空間(図47のXYZ空間)内での形状や大きさ、面積等を算出することができる。なお、(α、β、r)から(X、Y、Z)への変換は以下の式A)、式B)、式C)により行うことができ、被写体の各点の(X、Y、Z)座標から形状や大きさ、面積等を算出することができる。
式A)X=r×cosα×cosβ
式B)Y=r×cosα×sinβ
式C)Z=r×sinα
【0120】
図48に示すように、拡張プロセッサ装置17の信号処理部45は、スポットの位置認識、及び、仮想スケールの設定を行うために、第1撮像画像(計測光及び照明光に基づく画像)におけるスポットSPの位置を特定する位置特定部72と、スポットSPの位置に基づいて、第1撮像画像又は第2撮像画像(照明光に基づく画像)を加工して測長画像を生成する画像加工部73とを備えている。
【0121】
位置特定部72は、スポットSPの位置の特定の妨げになるノイズ成分を除去するノイズ成分除去部74を有している。第1撮像画像中において、スポットSPを形成する計測光の色とは異なるものの、計測光の色に近い色(計測光近似色)が含まれている場合には、スポットSPの位置を正確に特定できないことがある。そこで、ノイズ成分除去部74は、計測光近似色の成分をノイズ成分として第1撮像画像から除去する。位置特定部72は、ノイズ成分が除去されたノイズ除去済みの第1撮像画像に基づいて、スポットSPの位置を特定する。
【0122】
ノイズ成分除去部74は、色情報変換部75と、二値化処理部76と、マスク画像生成部77と、除去部78を備えている。ノイズ除去済みの第1撮像画像を得るための処理の流れについて、図49を用いて説明する。色情報変換部75は、RGB画像である第1撮像画像を第1色情報画像に変換し、RGB画像である第2撮像画像を第2色情報画像に変換する。色情報としては、例えば、HSV(H(Hue(色相))、S(Saturation(彩度))、V(Value(明度)))とすることが好ましい。その他、色情報として、色差Cr、Cbとしてもよい。
【0123】
二値化処理部76は、第1色情報画像を二値化して二値化第1色情報画像にし、第2色情報画像を二値化して二値化第2色情報画像にする。二値化するための閾値は、計測補助光の色を含む二値化用閾値とする。図50図51に示すように、二値化第1色情報画像には、計測光の色情報79の他に、ノイズ成分の色情報80が含まれる。
【0124】
マスク画像生成部77は、二値化第1色情報画像と二値化第2色情報画像とに基づいて、第1撮像画像から、ノイズ成分の色情報を除去し、また、計測光の色情報を抽出するためのマスク画像を生成する。マスク画像生成部77は、図52に示すように、二値化第2撮像画像に含まれるノイズ成分から、ノイズ成分を有するノイズ成分の領域81を特定する。ノイズ成分の領域81は、ノイズ成分の色情報80が占める領域よりも大きくすることが好ましい。これは、手ぶれ等が生ずる場合には、ノイズ成分の色情報80の領域は、手ぶれ等が無い場合と比較して大きくなるためである。そして、マスク画像生成部77は、図53に示すように、二値化第1色情報画像のうち、計測光の色情報79の領域について色情報を抽出する抽出領域とし、ノイズ成分の領域81について色情報を抽出しない非抽出領域とするマスク画像を生成する。なお、図50図53は、二値化第1色情報画像、二値化第2色情報画像、ノイズ成分の領域、マスク画像の説明のために模式的に記載したものである。
【0125】
除去部78は、マスク画像を用いて第1色情報画像から色情報の抽出を行うことによって、ノイズ成分の色情報が除去され、且つ、計測光の色情報が抽出されたノイズ除去済み第1色情報画像が得られる。ノイズ除去済み第1色情報画像は、色情報をRGB画像に戻すRGB変換処理を行うことによって、ノイズ除去済み第1撮像画像となる。位置特定部72は、ノイズ除去済み第1撮像画像に基づいて、スポットSPの位置の特定を行う。ノイズ除去済み第2撮像画像は、ノイズ成分が除かれているため、スポットSPの位置を正確に特定することができる。
【0126】
画像加工部73は、画像選択部82とスケール用テーブル62とを有している。画像選択部82は、第1撮像画像又は第2撮像画像のうち、スポットSPの位置に基づく加工を行う対象画像である加工対象画像を選択する。画像加工部73は、加工対象画像として選択された画像に対して、スポットSPの位置に基づく加工を行う。画像選択部82は、スポットSPの位置に関する状態に基づいて、加工対象画像の選択を行う。なお、画像選択部82は、ユーザーによる指示により、加工対象画像の選択を行うようにしてもよい。ユーザーによる指示には、例えば、ユーザーインターフェース16を用いられる。
【0127】
具体的には、スポットSPが特定期間中、特定範囲内に入っている場合には、被写体又は内視鏡の先端部12dに動きが少ないと考えられるため、第2撮像画像を加工対象画像として選択する。このように動きが少ない場合には、スポットSPが無くとも、被写体に含まれる病変部に容易に位置合わせすることができると考えられる。また、第2撮像画像には、計測光の色成分が含まれないため、被写体の色再現性を損ねることがない。一方、スポットSPの位置が特定期間中、特定範囲内に入っていない場合には、被写体又は内視鏡の先端部12dの動きが大きいと考えられるため、第1撮像画像を加工対象画像として選択する。このように動きが大きい場合には、ユーザーは、スポットSPが病変部に位置するように、内視鏡12を操作する。これにより、病変部への位置合わせがし易くなる。
【0128】
画像加工部73は、第1撮像画像におけるスポットSPの位置に基づいて、仮想スケールとして、被写体の実寸サイズを示す第1の仮想スケールを生成する。画像加工部73は、第1撮像画像におけるスポットSPの位置と被写体の実寸サイズを示す第1の仮想スケールとの関係を記憶したスケール用テーブル62を参照して、スポットSPの位置から仮想スケールの大きさを算出する。そして、画像加工部73では、仮想スケールの大きさに対応する第1の仮想スケールを生成する。
【0129】
図54に示すように、拡張プロセッサ装置17の信号処理部45は、スポットSPの位置認識、及び仮想スケールの設定を行うために、撮像画像におけるスポットSPの位置を検出する第1信号処理部84と、スポットSPの位置に応じて仮想スケールを設定する第2信号処理部85とを備えている。
【0130】
第1信号処理部84は、マスク処理部86と、二値化処理部87と、ノイズ成分除去部88と、照射位置検出部89とを備えている。第1信号処理部84においてノイズ成分を除去する処理について、図55図57を用いて説明する。マスク処理部86は、撮像画像のうち赤色画像、緑色画像、及び青色画像に対して、被写体上での計測光の照明位置の移動可能範囲内を示す略平行四辺形状の照明位置移動可能範囲Wxを抜き出すマスク処理を施す。これにより、図56図57に示すように、照明位置移動可能範囲Wxが抜き出されたマスク処理後の赤色画像PRx、緑色画像PGx、及び青色画像PBxが得られる。照明位置移動可能範囲内の画素に対して、ノイズ成分を除去し、且つ、スポットSPの照射位置の検出が行われる。
【0131】
次に、二値化処理部87は、マスク処理後の赤色画像PRxのうち照明位置移動可能範囲の画素に対して、第1二値化処理を施すことにより、二値化赤色画像PRy(二値化第1分光画像)を得る。第1二値化処理では、第1二値化処理用の閾値条件として、画素値が「225」以上の画素を「1」とし、画素値が「225」を下回る画素を「0」とする。この第1二値化処理により、計測光の成分であるスポットSPが検出される。ただし、第1二値化処理では、照明光のうち赤色成分の高輝度成分である第1ノイズ成分N1の他、照明光によって生ずる白とび(画素飽和)である第2ノイズ成分N2も検出される。これら第1及び第2ノイズ成分は、スポットSPの照射位置の検出を妨げる要因となる。なお、閾値条件とは、二値化によって「0」とする画素の画素値と、二値化によって「1」とする画素の画素値の境界を示す閾値に関する条件の他、二値化によって「0」とする画素の画素値の範囲、二値化によって「1」とする画素の画素値の範囲を定める条件のことをいう。
【0132】
そこで、第1ノイズ成分を除去するために、ノイズ成分除去部88は、二値化赤色画像PRyと、緑色画像PGxを第2二値化処理で二値化した二値化緑色画像PGy(二値化第2分光画像)との第1差分処理を行う。第1差分処理によって得られる第1差分画像PD1は、第1ノイズ成分N1が除去されている。ただし、第1差分画像PD1において、第2ノイズ成分N2は残って除去されないことが多い。第1差分処理により「0」以下となる画素については、画素値を「0」にする。なお、第2二値化処理では、第2二値化処理用の閾値条件として、画素値が「30」から「220」の範囲内にある画素を「1」とし、それ以外の範囲、即ち、「0」から「30」未満、又は、「220」を超える画素を「0」とする。また、二値化赤色画像と二値化緑色画像との第1差分処理により、第1ノイズ成分を除去するが、その他の第1演算処理によって第1ノイズ成分を除去してもよい。
【0133】
また、第2ノイズ成分を除去するために、図57に示すように、ノイズ成分除去部88は、第1差分画像PD1と、青色画像PBxを第3二値化処理で二値化した二値化した二値化青色画像PByとの第2差分処理を行う。第2差分処理によって得られる第2差分画像PD2は、第1差分処理による除去が難しかった第2ノイズ成分が除去されている。第1差分処理と同様に、第2差分処理により「0」以下となる画素については、画素値を「0」にする。なお、第3二値化処理では、第3二値化処理用の閾値条件として、画素値が「160」以上の画素を「1」とし、画素値が「160」を下回る画素を「0」とする。また、第1差分画像と二値化青色画像との第2差分処理により、第2ノイズ成分を除去するが、その他の第2演算処理によって第2ノイズ成分を除去してもよい。
【0134】
照射位置検出部89は、第1差分画像又は第2差分画像から、スポットSPの照射位置を検出する。照射位置検出部89では、スポットSPの照射位置として、スポットSPの重心位置座標を取得することが好ましい。
【0135】
第2信号処理部85は、スポットSPの位置に基づいて、仮想スケールとして、被写体の実寸サイズを示す第1の仮想スケールを設定する。第2信号処理部85は、スポットSPの位置と被写体の実寸サイズを示す第1の仮想スケールとの関係を記憶したスケール用テーブル62を参照して、スポットの位置から仮想スケールの大きさを算出する。そして、第2信号処理部85では、仮想スケールの大きさに対応する第1の仮想スケールを設定する。
【0136】
図58に示すように、拡張プロセッサ装置17の信号処理部45は、照射領域認識部90と、第2信号処理部60とを備えている。照射領域認識部90は、撮像画像から特定形状のパターンを有する計測光照射領域を認識する。具体的には、図59に示すように、特定形状のパターンは、白色中心領域CR1と、中心領域の周囲を覆い、計測光に基づく特徴量を持つ周辺領域SR1とを含んでいる。計測光照射領域が、上記のスポットSPの場合であれば、特定形状のパターンは円状を有している。この場合には、白色の中心領域CR1は円状であり、周辺領域SR1はリング状である。
【0137】
図60は、複数の色画像として赤色画像RP、緑色画像GP、及び青色画像BPを含む撮像画像における各色画像の画素値の分布を示している。中心領域CR1における赤色画像RP、緑色画像GP、及び青色画像BPの画素値は最大画素値(例えば、255)に達していることにより、中心領域CR1は白色になっている。この場合、計測光が撮像素子32に入射した場合には、図61に示すように、計測光の波長域WMBにおいて、撮像素子32の赤色のカラーフィルタRFだけでなく、緑色のカラーフィルタGF及び青色のカラーフィルタBFの最大透過率で、計測光を透過させている。一方、周辺領域SR1においては、赤色画像RPの画素値は、緑色画像GP又は青色画像BPの画素値よりも大きくなっている。そのため、周辺領域SR1は赤みを帯びている。なお、光源23aでは、計測光の光量を特定光量で発光することにより、中心領域CR1における赤色画像RP、緑色画像GP、及び青色画像BPの画素値を最大画素値にしている。
【0138】
照射領域認識部90では、上記のような特定形状と特徴量を有するスポットSPを認識することが可能である。具体的には、図62に示すように、照射領域認識部90は、撮像画像の入力に対して、計測光照射領域であるスポットSPを出力することによって、スポットSPを認識する学習モデル91を有することが好ましい。学習モデル91は、撮像画像と、既に認識済みの計測光照射領域とを関連付けた多数の教師データによって、機械学習されている。機械学習としては、CNN(Convolutional Neural Network)を用いることが好ましい。
【0139】
学習モデル91を用いて、スポットSPを認識することで、円状の中心領域CR1とリング状の周辺領域SR1とで構成される円状のスポットSP(図59参照)だけでなく、特定形状である円状から変形したパターンのスポットSPも認識することが可能である。例えば、図63(A)に示すように、縦方向に変形したスポットSPも認識可能である。また、図63(B)に示すように、円状の一部が欠けて変形したスポットSPも認識可能である。また、学習モデル91にて認識可能な周辺領域SR1の特徴量としては、計測光の色である赤色の他、青色、緑色がある。また、学習モデル91にて認識可能な周辺領域SR1の特徴量としては、計測光の輝度、明度、彩度、色相がある。なお、計測光の輝度、明度、彩度、色相については、撮像画像に含まれるスポットSPの周辺領域を、輝度変換処理、又は、明度、彩度、色相変換処理することによって、取得することが好ましい。
【0140】
図64に示すように、拡張プロセッサ装置17の信号処理部45は、スポットSPの位置認識及び被写体との観察距離の算出、並びに仮想スケールの設定を行うために、撮像画像におけるスポットSPの位置を特定し、観察距離を算出する位置特定部92と、観察距離に基づいて、各種の仮想スケールを設定し、各種の仮想スケールを用いて撮像画像を加工した測長画像を生成する画像加工部93とを備えている。
【0141】
位置特定部92は、距離算出部94を有する。位置特定部92は、照明光及び計測光により被写体を照明した撮像画像に基づいて、計測光により被写体上に形成されるスポットSPの位置の特定を行う。距離算出部94は、スポットSPの位置から観察距離を求める。
【0142】
画像加工部93は、画像選択部95、スケール用テーブル62、オフセット設定部97、オフセット距離算出部98、及びオフセット用仮想スケール生成部99を有する。画像選択部95は、スポットSPの位置に基づく加工を行う対象となる画像を選択する。オフセット設定部97は、観察距離に対して、凸形状のポリープ100のスポットSPの高さに応じたオフセット量を設定する。オフセット距離算出部98は、観察距離にオフセット量を加えてオフセット距離を算出する。オフセット用仮想スケール生成部99は、オフセット距離に基づいて、オフセット用の仮想スケールを生成する。
【0143】
オフセットについて以下説明する。まず、被写体の凸形状とは、被写体において、周囲から張り出た形状をいう。したがって、一部でも周囲から張り出た形状であればよく、大きさ、形状の広さ、張り出た部分の高さ及び/または数、高さ等の連続性など、その他の形状は問わない。
【0144】
より具体的には、例えば、図65に示すように、被写体は、凸形状としてポリープ100を有する。ポリープ100は、周囲の被写体から張り出た形状を有する。ポリープ100は、頂部100aと平坦部100bとを有する。図65では、ポリープ100の高さ方向を垂直方向としたときに、水平方向からポリープ100を見た場合を示すが、ポリープ100は立体であるため、紙面手前方向と紙面奥行き方向とにも存在している。ポリープ100の周囲の被写体の平坦な部分が形成する平面であって、ポリープ100が形成されている部分をポリープ100の平坦部100bとする。ポリープ100の周囲の平坦な部分が形成する平面は、平坦部100bの延長面101である。
【0145】
次に、凸形状のポリープ100のスポットSPの高さについて説明する。本実施形態では、ポリープ100のスポットSPの高さは、ポリープ100のスポットSPからポリープ100の平坦部100bまでの垂直方向の距離である。より具体的には、図66に示すように、スポットSP1が、ポリープ100の頂部100aに形成されている。したがって、延長面101と平行であり、かつ、ポリープ100の頂部100aが、ポリープ100の頂部100aを通る面を平行面102とすると、平行面102と延長面101との距離が、ポリープ100のスポットSPの高さHT1(ポリープ100の頂部100aから平坦部100bまでの垂直方向の距離)となる。なお、ポリープ100及び高さHT1(下記の高さHT2も同様)は、模式的に示したものであり、周囲の部分から突出した部分であれば、凸形状の種類、形状、大きさ等は問わない。
【0146】
また、図66では、スポットSP2が、ポリープ100の頂部100aでない領域に形成されている。つまり、ポリープ100の頂部100aからポリープ100の端部までの間に形成されている。したがって、延長面101と平行であり、かつ、ポリープ100のスポットSP2を通る面を平行面103とすると、平行面103と延長面101との距離が、ポリープ100のスポットSP2の高さHT2である。したがって、ポリープ100のスポットSP2の高さHT2は、ポリープ100のスポットSP2から平坦部100bまでの垂直方向の距離となる。
【0147】
観察距離とオフセット量について、以下に説明する。図67に示すように、計測光Lmにより、スポットSP1がポリープ100の頂部100aに形成されている。スポットSP1から求められる観察距離は、内視鏡の先端部12dの位置P1とスポットSP1の位置P2の距離D5である。距離D5に応じた仮想スケールは、平行面102上での実測に合致した仮想スケールである。したがって、スポットSP1がポリープ100の頂部100aに形成される場合には、距離D5に応じた仮想スケールを生成して表示すると、平行面102にある被写体の実測に合う仮想スケールが表示される。したがって、延長面101にある被写体の実測値に対して目盛り等が大きいほうにずれた仮想スケールが表示される。
【0148】
そこで、オフセット設定部97は、観察距離D5に対して、オフセット量としてポリープ100のスポットSPの高さHT1を設定する。次に、オフセット距離算出部98は、観察距離D5に対して、オフセット量であるポリープ100のスポットSP1の高さHT1を加えてオフセット距離D6を算出する。したがって、オフセット距離算出部98は、オフセット距離D6を、以下の式OS)により算出する。なお、HT1は、位置P2とP3との距離である。
式OS)D6=D5+HT1
【0149】
次に、オフセット用仮想スケール生成部99は、観察距離D6に基づいた仮想スケールを、オフセット用の仮想スケールとして生成する。より具体的には、オフセット用仮想スケール生成部99は、スケール用テーブル62を参照し、観察距離が距離D6である場合の仮想スケールを用いて、これをオフセット用の仮想スケールとする。オフセット用の仮想スケールは、延長面101上の被写体の実際の距離または大きさを示すものとなる。
【0150】
画像加工部93は、生成されたオフセット用の仮想スケールを、撮像画像に重畳する加工を行って、測長画像を生成する。オフセット用の仮想スケールは、より正確な計測のために、スポットSPが形成される位置に表示するように重畳することが好ましい。したがって、スポットSPから離れた位置に表示する場合は、なるべくスポットSPの近くに表示する。オフセット用の仮想スケールが重畳された測長画像は、表示制御部46によって拡張ディスプレイ18に表示される。
【0151】
なお、図68に示すように、仮想スケールについては、観察距離が小さくなるほど仮想スケールを構成する線の幅のピクセル数を大きく設定し、観察距離が大きくなるほど仮想スケールを構成する線の幅のピクセル数を小さくしてもよい。
【0152】
図68(A)に示す例では、範囲Rxにおける遠端Pxであり観察距離が21mm以上の場合、仮想スケールM11を構成する線の幅W11を最も小さい設定値である1ピクセルに設定する。図68(B)に示す例では、範囲Rxにおける遠端Pzと中央付近Pyの間であり観察距離が13mm~20mmの場合、仮想スケールM12を構成する線の幅W12を2ピクセルに設定する。図68(C)に示す例では、範囲Rxにおける中央付近Pyであり観察距離が8~12mmの場合、仮想スケールM13を構成する線の幅W13を設定の中間値である3ピクセルに設定する。
【0153】
図68(D)に示す例では、範囲Rxにおける中央付近Pyと近端Pxの間であり観察距離が4~7mmの場合、仮想スケールM14を構成する線の幅W14を4ピクセルに設定する。図68(E)に示す例では、範囲Rxにおける近端Pxであり観察距離が3mm以下の場合、仮想スケールM15を構成する線の幅W15を最も大きい設定値である5ピクセルに設定する。
【0154】
上述したように、仮想スケールM11~M15を構成する線を、観察距離に応じて変更しているので、ユーザーである医師は、被写体の正確な寸法を計測しやすくなっている。さらに、仮想スケールM11~M15を構成する線の幅W11~W15を、観察距離に反比例する値に設定しているので、線の幅から、寸法の誤差の大きさを認識することが可能となる。例えば、認識した誤差を考慮して、腫瘍tmが仮想スケールM11~M15を構成する線の内側部分にあれば、設定された実寸サイズよりも確実に小さい(図68に示す例であれば、5mm以内である)ことが分かる。
【0155】
また、図69に示すように、1つのスポットSPの位置に基づいて、大きさが異なる3つの同心円から構成する同心円型の仮想スケールM2を設定してもよい。仮想スケールM2を構成する3つの同心円M21、M22、M23は、例えば「5mm」、「10mm」、「20mm」の実寸サイズを表している。また、仮想スケールM2を構成する同心円M21、M22、M23は、図示の都合上、円形状を構成する線にクロスハッチングを施しているが、実際は、1つの線に対して1色で塗り潰されている。
【0156】
最内に位置する同心円M21の1つ外側に位置する同心円M22の幅W22は、同心円M21の幅W21よりも大きく、最外に位置する同心円M23の幅W23は、同心円M22の幅W22よりも大きく設定する。図69に示す例では、幅W23は、幅W22の√2倍、かつ幅W21の2倍の値に設定している。
【0157】
幅W21~W23の比率(図69に示す例では、W21:W22:W23=1:√2:2の比率)を保ったまま、観察距離に反比例する値に設定する。これにより、線の幅から、寸法の誤差の大きさを認識することが可能となる。例えば、認識した誤差を考慮して、腫瘍tmが同心円M22を構成する線の内側かつ、同心円M23を構成する線の外側であれば、設定された実寸サイズの範囲内(図69に示す例であれば、10mm以上、20mm以内)であることが確実に分かる。
【0158】
図70に示すように、仮想スケールM3を構成する線に対して、線の幅方向中央から外側に向かって濃度が徐々に低くなるグラデーションを付けてもよい。そして、上記本実施形態と同様に、グラデーションを付けた線の幅を観察距離に応じて変更する。
【0159】
図71に示すように、仮想スケールM41~M43を構成する線を破線とし、破線を構成する隙間を観察距離に反比例する値に設定する。なお、図71においては、観察距離の範囲Rxにおける遠端Pz、中央付近Py、及び近端Pxの各点で撮像した場合における円形状の仮想スケールM41、M42、M43をそれぞれ示している。
【0160】
図71(A)に示す例では、範囲Rxにおける遠端Pzの場合、仮想スケールM41を構成する破線の隙間G1を最も小さい設定値に設定する。なお、図71(A)に示す例では、仮想スケールM41を破線から構成しているが、遠端Pzの場合のみ、隙間G1を0、すなわち仮想スケールM41を実線から構成してもよい。図71(B)に示す例では、範囲Rxにおける中央付近Pyの場合、仮想スケールM42を構成する破線の隙間G2を設定の中間値にする。図71(C)に示す例では、範囲Rxにおける近端Pxの場合、仮想スケールM43を構成する破線の隙間G3を最も大きい設定値に設定する。
【0161】
以上のように、仮想スケールM41~M43を構成する破線の隙間G1~G3を、観察距離に反比例する値に設定しているので、破線の隙間から、寸法の誤差の大きさを認識することが可能となる。
【0162】
仮想スケールを構成する線は、観察距離に寄らず、同じ数で構成されている。図72に示すように、仮想スケールM51~M53を構成する線の数を、観察距離に応じて変更する。なお、図72においては、観察距離の範囲Rxにおける遠端Pz、中央付近Py、及び近端Pxの各点で撮像した場合における仮想スケールM51、M52、M53をそれぞれ示している。
【0163】
図72(A)に示す例では、範囲Rxにおける遠端Pzの場合、仮想スケールM51を3つの線、すなわち大きさの異なる3つの同心円から構成する。3つの同心円は、例えば「5mm」、「10mm」、「20mm」の実寸サイズを表している。図72(B)に示す例では、範囲Rxにおける中央付近Pyの場合、仮想スケールM52を2つの線、すなわち、大きさの異なる2つの同心円から構成する。2つの同心円は、例えば「5mm」、「10mm」の実寸サイズを表している。図72(C)に示す例では、範囲Rxにおける近端Pxの場合、仮想スケールM53を1つの線、すなわち、1つの円形状から構成する。1つの円形状は、例えば「5mm」の実寸サイズを表している。以上のように、仮想スケールM51~M53を構成する線の数を、観察距離に比例する値に設定しているので、線の数から、寸法の誤差の大きさを認識することが可能となる。
【0164】
図73に示すように、拡張プロセッサ装置17の信号処理部45は、距離算出部94を含む位置特定部92と、画像加工部104とを備えている。画像加工部104は、画像選択部95、スケール用テーブル62、仮想スケール設定部105、仮想スケール切替受付部106、及び測長画像作成部107を有する。仮想スケール設定部105は、スポットSPの位置に応じて被写体上の観察対象の実寸サイズを表し、かつ、端部を基点とする目盛りを有する仮想スケールを設定する。仮想スケール切替受付部106は、複数の仮想スケールを切り替えて設定する指示を受け付ける。測長画像作成部107は、撮像画像に、仮想スケール設定部105により設定された仮想スケールを、スポットSPの位置と仮想スケールの目盛りの基点とが重なるように重畳した測長画像を作成する。
【0165】
仮想スケール設定部105及び測長画像作成部107の機能について以下説明する。図74に示すように、ポリープ108を含む被写体が照明された撮像画像109が、信号処理部45に入力される。例えば、ポリープ108が球状の立体形状を有するため、撮像画像109は、ポリープ108と、スポットSPと、場合により影110とを含む。
【0166】
信号処理部45に入力された撮像画像109に基づき、位置特定部92は、スポットSPの位置を特定する。仮想スケール設定部105は、スケール用テーブル62を参照して、スポットSPの位置に対応した、観察対象の実寸サイズを表し、かつ、端部を基点とする目盛りを有する仮想スケールを設定する。端部とは、仮想スケールの形状において、中央部分よりも外側部分に近い部分又は始点若しくは終点等である。
【0167】
図75に示すように、測長画像作成部107は、撮像画像109に、仮想スケール設定部105により設定された仮想スケール111を、スポットSPの位置と仮想スケール111の目盛りの基点とが重なるように重畳した撮像画像109を作成する。仮想スケール111は、より正確な計測のために、スポットSPの位置に表示するように重畳することが好ましい。したがって、スポットSPから離れた位置に表示する場合であっても、なるべくスポットSPの近くに表示することが好ましい。仮想スケール111は、直線の線分であり、線分の始点と終点とに、直線の線分と垂直な線分である目盛りを有する。仮想スケール111が線分等であり、始点と終点を有する場合は、始点及び/又は終点自体を目盛りとしてもよく、この場合は、例えば、直線の線分と垂直な線分の形状の目盛りはなくてもよい。また、仮想スケール111は、目盛りの基端の近傍に「10」との数字を有してもよい。この数字の「10」は、仮想スケール111の目盛りラベル111aであり、仮想スケール111の線分が、実寸サイズの10mmであることを容易に認識できるように付したものである。以下、仮想スケールが有する数字は、同様の意味を有する。目盛りラベル111aの数値は、設定により変更が可能であり、また、目盛りラベル111a自体を表示しない仮想スケール111であってもよい。
【0168】
仮想スケールは、設定により様々な種類を使用する。例えば、形状が直線の線分又は直線の線分の組み合わせ、形状が円又は円の組み合わせ、又は、直線の線分と円の組み合わせ等を使用する。
【0169】
図76に示すように、例えば、撮像画像113は、形状が直線の線分の組み合わせである仮想スケール112を含む。仮想スケール112は、直線の線分をL字型に組み合わせた形状であり、L字の角部を基点として、紙面上方向と紙面方向とに線分が延びており、基点を始点としてそれぞれ終点に目盛りを有する。また、仮想スケール112は、仮想スケール111と同様に、目盛りの基点の近傍に、目盛りラベル112aである「10」との数値を有する。
【0170】
図77に示すように、例えば、撮像画像114は、形状が直線の線分と円の組み合わせである仮想スケール115を含む。仮想スケール115は、円と、この円の直径である線分とを組み合わせた形状であり、線分と円との交点をそれぞれの目盛りとする。線分を2分の1とする点又は円の中心に、目盛り116を有してもよい。また、仮想スケール115は、仮想スケール111又は仮想スケール112と同様に、目盛りの基点の近傍に、目盛りラベル116aである「10」との数字を有する。目盛りラベル116bは、目盛りラベル116aの半分を表している。
【0171】
図78に示すように、仮想スケールは、これら以外にも、例えば、基点から紙面左方向に線分が伸びる、目盛りラベル117aを含む仮想スケール117(図78(A))、基点から紙面下方向に線分が伸びる、目盛りラベル118aを含む仮想スケール118(図78(B))、又は、基点から紙面右斜め上方向に線分が伸びる、目盛りラベル119aを含む仮想スケール119(図78(C))等、様々な形状を取り得る。
【0172】
図79に示すように、拡張プロセッサ装置17の信号処理部45は、位置特定部92、基準スケール設定部120、計測値スケール生成部121、及び測長画像生成部122を備える。基準スケール設定部120は、スポットSPの位置に基づいて、被写体の実寸サイズを示す基準スケールを設定する。計測値スケール生成部121は、設定された基準スケールに基づいて、注目領域の計測部分を計測した計測値を示す計測値スケールを生成する。なお、基準スケール及び計測値スケールは、撮像画像上に表示する仮想的なものであるため、仮想スケールに対応する。
【0173】
注目領域とは、被写体に含まれるユーザーが注目すべき領域である。注目領域は、例えば、ポリープ等であり、計測が必要とされる可能性が高い領域である。また、計測部分とは、注目領域において、長さ等を計測する部分である。例えば、注目領域が発赤部である場合、計測部分は発赤部の最も長い部分等であり、また、注目領域が円形である場合、計測部分は注目領域の直径部分等である。
【0174】
測長画像生成部122は、撮像画像に計測値スケールを重畳した測長画像を作成する。計測値スケールは、注目領域の計測部分に合わせた状態で撮像画像に重畳する。測長画像は拡張ディスプレイ18に表示される。
【0175】
図80に示すように、基準スケール設定部120は、基準スケール用テーブル121aを備える。基準スケール用テーブル121aは、スポットSPの位置と被写体の実寸サイズに対応する計測情報とを対応付けた対応情報である。測長モードにおいて、観察対象であるポリープ123を含む被写体が撮影された撮像画像114が信号処理部45に入力される。図81に示すように、撮像画像124において、ポリープ123は、例えば、球が重なったような立体形状を有する。例えば、ポリープ123上の端部にスポットSPを形成する。撮像画像124に基づき、位置特定部92は、スポットSPの位置を特定する。基準スケール設定部120は、基準スケール用テーブル121aを参照して、特定したスポットSPの位置に対応した、被写体の実寸サイズを示す基準スケール131を設定する。
【0176】
基準スケール131は、例えば、実寸サイズにおける20mmに対応するピクセル数を有する線分並びに実寸サイズを示す数値及び単位である。基準スケール131は、通常は拡張ディスプレイ18に表示しないが、基準スケール131を拡張ディスプレイ18に表示する場合は、撮像画像124のように表示する。
【0177】
図82に示すように、計測値スケール生成部121は、注目領域抽出部125と、計測部分決定部126と、計測内容受付部127と、計測値算出部128とを備える。図83に示すように、注目領域抽出部125は、撮像画像124のように、ハッチングされた領域を注目領域129として抽出する。次に、図84に示すように、計測部分決定部126は、例えば、予め設定した基準が、スポットSPを基点とした水平方向における注目領域の部分を計測するときの基準である場合、撮像画像124のように、スポットSPを基点として、水平方向エッジ位置130を抽出する。スポットSPと水平方向エッジ位置130との間が計測部分となる。
【0178】
計測値算出部128は、例えば、基準スケールの実寸サイズをL0、撮像画像124における基準スケール131のピクセル数をAa、撮像画像124において注目領域129に基準スケール131を重畳した場合の計測部分のピクセル数をBa、及び計測値スケール132の実寸サイズをL1とした場合、以下の式(K1)を満たすように計測値スケール132を生成する。
式(K1)L1=L0×Ba/Aa
【0179】
図85に示すように、計測値算出部128は、撮像画像124aに示す基準スケール131に対応するピクセル数Aaと、撮像画像124bに示すスポットSPと水平方向エッジ位置130との間の計測部分に対応するピクセル数Bbにより、例えば、Ba/Aaが0.7であった場合、基準スケール131の実寸サイズが20mmである場合には、撮像画像124dのように、計測値スケール132の実寸サイズを13mmと算出する。
【0180】
測長画像生成部122は、撮像画像124に計測値スケール132を重畳した測長画像133を生成する。例えば、図86に示すように、計測値スケール132は、直線の線分の形状である矢印等の図形により、撮像画像124に重畳する。測長画像133には、計測値スケール132の実寸サイズの数値を含んでもよい。計測値スケール132の実寸サイズの数値は、矢印等の図形と離れた状態で撮像画像124に重畳してもよい。
【0181】
計測値スケール132の種類は、複数の中から選択が可能である。計測内容受付部127が計測値スケールの内容の設定を受け付けて計測値スケール生成部121にその内容を送り、計測値スケール生成部121がその内容に基づいて生成した計測値スケール132を用いて、測長画像生成部122が測長画像133を生成する。
【0182】
なお、注目領域抽出部125は、過去に取得された撮像画像により学習した学習済みモデルを用いて注目領域を抽出することが好ましい。学習済みモデルに用いるモデルは、機械学習による画像認識において好適な各種のモデルを用いることができる。画像上の注目領域を認識する目的から、ニューラルネットワークを用いたモデルが好ましく使用できる。これらのモデルに対し学習させる場合は、教師データとして、注目領域の情報を持つ撮像画像を用いて学習させる。注目領域の情報としては、注目領域の有無、注目領域の位置又は範囲等が挙げられる。なお、モデルに応じて、注目領域の情報を持たない撮像画像により学習させてもよい。
【0183】
また、計測部分決定部126も、過去に取得された撮像画像により学習した学習済みモデルを用いて計測部分を決定することが好ましい。学習済みモデルに用いるモデル等は、注目領域抽出部と同様であるが、これらのモデルに対し学習させる場合は、計測部分の情報を持つ撮像画像により学習させる。計測部分の情報としては、計測値とその計測部分が挙げられる。なお、モデルに応じて、計測部分の情報を持たない撮像画像により学習させてもよい。なお、注目領域抽出部125が用いる学習済みモデルと、計測部分決定部126が用いる学習済みモデルとは共通としてもよい。計測部分を抽出するとの目的の場合は、1つの学習済みモデルにより、撮像画像124から注目領域を抽出せずに、計測部分を抽出するようにしてもよい。
【0184】
なお、第2信号処理部60では、計測光の照射位置と仮想スケールの代表点を記憶した代表点データテーブル66から、スポットSPの位置に合わせて変形させた仮想スケールを表示するためのスケール用テーブル62を更新しているが(図39図40参照)、その他の方法で、スケール用テーブル62を作成してもよい。例えば、正方格子状のチャートを撮像した場合に得られる画像から、図87に示すように、スポットSPを中心とする円形の仮想スケールを包接する歪曲格子領域QNを取得する。歪曲格子領域QNは、画面中央から離れるほど、撮像光学系21の歪曲収差によって、格子が歪曲している。歪曲格子領域QNをアフィン変換行列によって、図88に示すような正方格子領域SQに変換する。正方格子領域SQにおいて、円形の仮想スケールを示す点の座標を算出する。そして、正方格子領域SQにおける仮想スケールの点の座標を、アフィン変換行列の逆行列によって、撮像光学系21によって歪曲させた歪曲円形の仮想スケールに変換する。この歪曲円形の仮想スケールの座標とスポットSPの位置とを関連付けてスケール用テーブル62に記憶する。
【0185】
なお、撮像光学系21の歪曲収差を考慮して、仮想スケールによる計測が有効な領域とそれ以外の領域とで、仮想スケールの表示態様を変えるようにしてもよい。具体的には、図89(a)に示すように、スポットSPが計測有効領域の範囲外(近端Px側)に存在する場合、及び図89(c)に示すように、スポットSPが計測有効領域の範囲外(遠端Pz側)に存在する場合には、仮想スケールによる腫瘍tmの計測が有効でないので、十字型の仮想スケールMN、MFをそれぞれ表示している。一方、図89(b)に示すように、スポットSPが円形の仮想スケールMによる計測が有効な領域に存在する場合には、円形の仮想スケールMを表示する。
【0186】
また、スポットSPが計測有効領域の範囲内と範囲外とで、仮想スケールの線種を変えてもよい。この場合には、仮想スケールの線種の変化が分かるように、図90に示すように、スポットSPの移動軌跡MTを表示することが好ましい。図90(a)に示すように、スポットSPが計測有効領域の範囲外(近端Px側)に存在する場合、及び図90(c)に示すように、スポットSPが計測有効領域の範囲外(遠端Pz側)に存在する場合には、仮想スケールによる腫瘍tmの計測が有効でないので、円形の仮想スケールMpN、MpFをそれぞれ点線で表示している。一方、図90(b)に示すように、スポットSPが円形の仮想スケールMpによる計測が有効な領域に存在する場合には、円形の仮想スケールMpを実線で表示する。なお、スポットSPが計測有効領域の範囲外と範囲内とで仮想スケールの線種を点線と実線で変えているが、その他、別々の色彩としてもよい。例えば、スポットSPが計測有効領域の範囲外の場合は仮想スケールの線種を青とし、範囲内の場合には仮想スケールの線種を白とする。
【0187】
測長モードにおける静止画取得の詳細について説明する。システム制御部41は、静止画取得指示が行われていない場合には、光源装置13に対して、照明光及び計測光を発光するように制御する。図91に示すように、静止画取得指示スイッチ12gが操作されて静止画取得指示が行われた場合には、静止画取得指示を含む第1タイミングにおいては、照明光は点灯(on)にする一方で、計測光は消灯(off)にする。第1タイミングが経過した後の第2タイミング及び第3タイミングにおいては、照明光の点灯は維持したままで、再び計測光を点灯する。なお、第2タイミングと第3タイミングは同じタイミングとするが、異なるタイミングとしてもよい。
【0188】
第1タイミングにおいては、計測光で照明された被写体を撮像して得られる第2撮像画像が得られる。第2タイミング及び第3タイミングにおいては、照明光及び計測光で照明された被写体を撮像して得られる第1撮像画像が得られる。そして、システム制御部41は、図91及び図92に示すように、静止画保存部42に保存する保存画像として、第1撮像画像の静止画と第2撮像画像の静止画を保存する。また、拡張プロセッサ装置17の信号処理部45では、第1撮像画像に対して、スポットSPの位置に応じて設定される仮想スケールMxmを表示した第3撮像画像の静止画を取得する。第3撮像画像の静止画は、プロセッサ装置14に送られて、静止画保存部42に保存される。また、静止画が保存されてから一定時間の間は、静止画が記録されていることを報知するために、図93に示すように、表示制御部46は、第2撮像画像と第3撮像画像を拡張ディスプレイ18に表示する。なお、1回の静止画取得指示により、第1撮像画像、第2撮像画像、第3撮像画像のうち少なくとも2つを静止画保存部42に保存することが好ましい。例えば、第2撮像画像と第3撮像画像の2つを保存することが好ましい。また、第3撮像画像は、上記したように、仮想スケールが重畳表示された測長画像のうち、静止画保存部42に保存する保存用画像に対応する。
【0189】
なお、図94に示すように、第2タイミング又は第3タイミングについて第1タイミングよりも前としてもよい。この場合には、測長モード時においては、第2タイミング又は第3タイミングに対応する数フレーム分の第1撮像画像をプロセッサ装置14の一時保存記憶部(図示しない)に保存しておく必要がある。静止画取得指示が行われた場合には、一時保存記憶部に保存された第1撮像画像を、第2タイミングの第1撮像画像として静止画保存部42に保存し、また、一時保存記憶部に保存された第1撮像画像に対して仮想スケールを付加した第3撮像画像を静止画保存部42に保存する。
【0190】
また、図95に示すように、第2タイミングと第3タイミングとは異なるタイミングとしてもよい。この場合は、第2タイミングで得られる第1撮像画像は、上記と同様にして、静止画保存部42に保存する。また、第3タイミングで得られる第1撮像画像は、静止画保存部42に保存する前に、仮想スケールを付加して第3撮像画像にしてから静止画保存部42に保存する。
【0191】
図96に示すように、拡張プロセッサ装置17の信号処理部45には、第1信号処理部59及び第2信号処理部60の他に、病変認識部135、診断情報取得部136、及び学習部137を設けてもよい。病変認識部135は、第1撮像画像(照明光及び計測光に基づく画像)を画像処理し、認識処理を行う。病変認識部135が行う認識処理としては、第1撮像画像から、病変部などの関心領域を検出する検出処理を行う。認識処理には、機械学習された学習モデルを用いることが好ましい。即ち、学習モデルに対する第1撮像画像の入力に対して、学習モデルから関心領域の検出結果を出力する。学習モデルは、畳み込みニューラルネットワーク(Convolutional Neural Network(CNN))などの機械学習済みの学習モデルであることが好ましい。なお、病変認識部135が行う認識処理としては、第1撮像画像から認識した病変部に対して病変の進行度などを鑑別する鑑別処理であてもよい。また、病変認識部135は、第2撮像画像(照明光のみに基づく画像)を画像処理して、認識処理を行ってもよい。
【0192】
診断情報取得部136は、第1撮像画像又は第2撮像画像に関する診断情報を診断情報管理装置138から取得する。診断情報としては、検査対象である患者のカルテを取得する。カルテとは、患者に関して診療または検査の経過等を記録した情報であり、例えば、患者の氏名、性別及び年齢、病名、主要な症状、処方もしくは処置の内容、または既往歴等の記録を含む。病変認識部135が認識処理した病変部の情報、及び診断情報取得部136が取得した第1撮像画像又は第2撮像画像に関する診断情報は、データセットDSの付属データとして、静止画保存部42で第1撮像画像又は第2撮像画像と関連付けて保存される。
【0193】
学習部137は、静止画保存部42に保存された第1撮像画像又は第2撮像画像とこれら第1、第2撮像画像と関連付けられた付属データ(データセット)を用いて、機械学習を行う。具体的には、学習部137は、病変認識部135の学習モデルを機械学習する。機械学習の教師データ候補としては、第2撮像画像のほうが好ましい。第2撮像画像は、腫瘍tmなどの計測時に静止画取得指示により得られた画像であるため、観察対象となる関心領域が含まれる可能性が高い画像である。また、第2撮像画像は、計測光が照射されていない通常の内視鏡画像であることから、機械学習の教師データとして有用性が高い。また、付属データとして、病変部の情報及び診断情報なども付属されているため、機械学習を行う際、ユーザーが入力しなくてもよい。教師データ候補としての第2撮像画像が蓄積され、機械学習を行うほど、病変認識部135での認識処理の精度が向上する。なお、第1撮像画像を機械学習の教師データ候補として用いる場合には、そのまま第1撮像画像を用いてもよいが、計測光の照射領域以外の部分を教師データ候補として用いることがより好ましい。
【0194】
図97に示すキャリブレーション装置200を用いて、代表点データテーブル66を作成するためのキャリブレーション方法について、以下説明を行う。キャリブレーション装置200は、キャリブレーション用ディスプレイ201、移動機構202、キャリブレーション用表示制御部204、キャリブ画像取得部206、及び、キャリブレーション部208を備えている。キャリブレーション用表示制御部204、キャリブ画像取得部206、及びキャリブレーション部208は、キャリブ画像処理装置210に設けられている。キャリブ画像処理装置210は、プロセッサ装置14、キャリブレーション用ディスプレイ201、及び移動機構202と電気的に接続されている。
【0195】
移動機構202は、内視鏡12の先端部12dをキャリブレーション用ディスプレイ201に向けて保持する保持部(図示しない)を有しており、保持部を特定の間隔で動かすことによって、内視鏡10の先端部12dとキャリブレーション用ディスプレイ201との間の距離Zを変える。キャリブレーション用表示制御部204は、移動機構202によって距離Zを変える毎に、キャリブレーション用ディスプレイ201において、計測光の照射位置に対して、撮像光学系21の影響を受けていない第1の表示態様の仮想スケールの画像を表示する。第1の表示態様の仮想スケールの画像は、撮像光学系21による歪み等の影響を考慮していないため、拡張ディスプレイ18で表示する場合のスケール表示位置に対応した大きさ又は形状等で表示していない。
【0196】
キャリブ画像取得部206は、内視鏡12によって、キャリブレーション用ディスプレイ201に表示された第1の表示態様の仮想スケールを撮像して得られるキャリブ画像を取得する。キャリブ画像は、距離Zを変える毎に、即ち、第1の表示態様の仮想スケールが表示される毎に、内視鏡12が撮像を行うことによって、取得される。例えば、第1の表示態様の仮想スケールがn回表示された場合には、n枚のキャリブ画像が得られる。
【0197】
キャリブ画像には、計測光の照射位置に対して、撮像光学系21の影響を受けた第2の表示態様の仮想スケールの画像が含まれている。第2の表示態様の仮想スケールの画像は、撮像光学系21による歪み等の影響を考慮しているため、スケール表示位置に対応した大きさ又は形状等で表示されている。
【0198】
キャリブレーション部208は、キャリブ画像取得部206が取得したキャリブ画像に基づいて、仮想スケールの拡張ディスプレイ18での表示に関するキャリブレーションを行う。具体的には、キャリブレーション部208では、キャリブ画像に含まれる第2の表示態様の仮想スケールの画像から代表点を抽出する代表点抽出処理と、代表点に関する代表点データと、キャリブ画像を取得したタイミングの照射位置とを関連付けて代表点データテーブルを作成するテーブル作成処理とを行う作成された代表点データテーブルは、拡張プロセッサ装置17に送られ、代表点データテーブル66に格納される。
【0199】
図98に示すように、検査システム300は、仮想スケールが所定の形状を有しているかなどのスケールの精度検査に用いられる。検査システム300は、テストチャート302と、ディスプレイ15と、移動機構部304とを備えている。ディスプレイ15は、内視鏡システム10と共用するが、別途、精度検査用のディスプレイを設けてもよい。
【0200】
図99に示すように、テストチャート302は、チャート本体305を有し、チャート本体305には、特定形状の検査領域を有する検査領域部306と、精度検査時に、計測光の照射位置を合わせる基準となる検査基準位置308とが設けられている。検査領域部306は、特定形状の検査領域として、3つの円形の検査領域306a、306b、306cを備えている。これら3つの検査領域306a、306b、306cは、検査基準位置308を中心として、同心状に設けられている。検査領域306a、306b、306cは、それぞれ5mmの仮想スケール(直径が「5mm」であることを示す)、10mmの仮想スケール(直径が「10mm」であることを示す)、20mmの仮想スケール(直径が「20mm」であることを示す)の確認検査に用いられる内視鏡12からの計測光(例えば、スポットSP)をチャート本体205に対して照明して撮像することにより、検査画像を取得する。
【0201】
図100に示すように、検査画像は、ディスプレイ15に表示される。検査画像には、検査領域部306及び検査基準位置308に加えて、計測光の照射位置(スポットSPの位置)に対応する仮想スケールMが表示される。精度検査時には、移動機構部304によって、計測光の照射位置(スポットSPの位置)が検査基準位置に合うように、テストチャート302を動かす。計測光の照射位置が検査基準位置に一致した場合に、ユーザーは、仮想スケールMが適正に表示されているか否かの判断を行う。
【0202】
例えば、検査画像において、計測光の照射位置が検査基準位置308にあった場合において、仮想スケールMが検査領域306に入っている場合には、ユーザーは、仮想スケールMが適正に表示されていると判断する。これに対して、図101に示すように、仮想スケールMが検査領域306から一部でもはみ出している場合など仮想スケールMの一部でも検査領域306に入っていない場合には、ユーザーは、5mmの仮想スケールMが適正に表示されていないと判断する。
【0203】
スケール用テーブル62については、以下のように作成してもよい。スポットの位置と仮想スケールの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、スポット状の計測光をチャートに向けて出射し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm)もしくはそれより細かい罫(例えば1mm)の方眼紙状のチャートを撮像し、スポットの位置(撮像素子32の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。
【0204】
図102に示すように、(x1、y1)は、撮像素子32の撮像面におけるスポットSP4のX、Y方向のピクセル位置(左上が座標系の原点)である。スポットSP4の位置(x1、y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このような測定を、観察距離を変えながら繰り返す。図103は、図102と同じ5mm罫のチャートを撮像した状態を示しているが、図102の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図103の状態において、撮像素子32の撮像面におけるスポットSP5の位置(x2、y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。そして、観察距離を変えながら、図102、103のような測定を繰り返し、結果をプロットする。なお、図102、103では、撮像光学系21の歪曲収差を考慮せず表示している。
【0205】
図104は、スポットの位置のX座標とLx(第1の仮想スケールのX方向ピクセル数)との関係を示しており、図105は、スポットの位置のY座標とLxとの関係を示している。Lxは図104の関係よりX方向位置の関数として、Lx=g1(x)と表され、また、Lyは、図105の関係より、Y方向位置の関数として、Ly=g2(y)として表される。g1、g2は上述のプロット結果から、例えば、最小二乗法により求めることができる。
【0206】
なお、スポットのX座標とY座標とは一対一に対応しており、関数g1、g2のいずれを用いても、基本的に同じ結果(同じスポット位置に対しては同じピクセル数)が得られるため、第1の仮想スケールの大きさを算出する場合には、どちらの関数を用いてもよく、g1、g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1、g2の値が大きく異なる場合には、「スポットの位置を認識できなかった」と判断してもよい。
【0207】
図106は、スポット位置のX座標とLy(Y方向ピクセル数)との関係を表しており、図107は、スポット位置のY座標とLyとの関係を表している。図106の関係より、LyはX方向位置の座標としてLy=h1(x)と表され、図108の関係より、LyはY方向位置の座標としてLy=h2(y)として表される。Lyについても、Lxと同様に関数h1、h2のいずれを用いてもよい。
【0208】
以上のように得られた関数g1、g2、h1、h2については、ルックアップテーブル形式によってスケール用テーブル62に記憶される。なお、関数g1、g2については、関数形式でスケール用テーブル62に記憶するようにしてもよい。
【0209】
なお、計測光については、被写体に照射された場合に、図108に示すように、被写体上に縞状のパターンの光として形成される縞状パターン光ZPLを用いてもよい(例えば、特開2016-198304号公報参照)。縞状パターン光ZPLは、透過率可変の液晶シャッター(図示しない)に特定のレーザー光を照射することによって得られ、液晶シャッタによって特定のレーザー光を透過する領域(透過領域)と特定のレーザー光を透過しない領域(非透過領域)とが水平方向に周期的に繰り返す2つの異なる縦縞のパターンから形成される。計測光として縞状パターン光を用いる場合には、被写体との距離によって、縞状パターン光の周期が変化することから、液晶シャッタによって縞状パターン光の周期又は位相をシフトして複数回照射し、周期又は位相をシフトして得られる複数の画像に基づいて、被写体の3次元形状の測定が行われている。
【0210】
例えば、位相Xの縞状パターン光と、位相Yの縞状パターン光と、位相Zの縞状パターン光とを交互に被写体に照射する。位相X、Y、Zの縞状パターン光は、縦縞のパターンを120°(2π/3)ずつ位相シフトしている。この場合には、各縞状パターン光に基づいて得られる3種類の画像を用いて、被写体の3次元形状を測定する。例えば、図109に示すように、位相Xの縞状パターン光と、位相Yの縞状パターン光と、位相Zの縞状パターン光とを、それぞれ1フレーム単位(又は数フレーム単位)で切り替えて被写体に照射することが好ましい。なお、照明光は常時被写体に照射することが好ましい。
【0211】
なお、計測光については、被写体に照射された場合に、図110に示すように、格子状のパターンとして形成される格子状パターンの計測光LPLを用いてもよい(例えば、特開2017-217215号公報参照)。この場合は、格子状パターンの計測光LPLを被写体に照射した場合の格子状パターンの変形状態によって被写体の3次元形状を測定することから、格子状パターンを正確に検出することが求められる。そのため、格子状パターンの計測光LPLは完全な格子状ではなく、格子状パターンの検出精度を高めるように、波状にするなど格子状から若干変形させている。また、格子状のパターンには、左右の横線分の端点が連続であることを示すSのコードが設けられている。格子状パターンの検出時には、パターンだけでなく、Sのコードも合わせて検出することによって、パターンの検出精度を高めている。なお、格子状パターンとしては、縦線と横線が規則的に配列されたパターンの他、複数のスポットが縦と横に格子状に配列されたパターンであってもよい。
【0212】
計測光として格子状パターンの計測光LPLを用いる場合においては、測長モード中に、照明光と格子状パターンの計測光LPLを常時被写体に照射してもよく、また、図111に示すように、照明光は常時被写体に照射する一方で、格子状パターンの計測光LPLは1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、格子状パターンの計測光LPLを間欠的に被写体に照射してもよい。この場合には、格子状パターンの計測光LPLを点灯するフレームにおいて、格子状パターンの計測光LPLに基づく3次元形状の計測を行う。そして、照明光のみを照射するフレームにおいて得られた画像に対して、3次元形状の計測結果を重畳表示することが好ましい。
【0213】
なお、計測光については、図112示すように、被写体画像上において網線によって表される3次元平面光TPLを用いてもよい(例えば、特表2017-508529号公報参照)。この場合には、3次元平面光TPLが測定対象に合うように先端部12dを動かす。そして、3次元平面光TPLが測定対象に交差した場合に、3次元平面光TPLと被写体との交差曲線CCの距離を、ユーザーインターフェース等の手動操作に基づく処理又は自動処理によって、算出する。
【0214】
計測光として3次元平面光TPLを用いる場合においては、測長モード中に、照明光と3次元平面光TPLを常時被写体に照射してもよく、また、図113に示すように、照明光は常時被写体に照射する一方で、3次元平面光TPLは1フレーム毎(又は数フレーム毎)に、点灯と消灯(又は減光)を繰り返すことによって、3次元平面光TPLを間欠的に被写体に照射してもよい。
【0215】
上記実施形態において、受信部38、信号処理部39、表示制御部40、システム制御部41、静止画保存部42、データ送受信部43、データ送受信部44、信号処理部45、表示制御部46(これら制御部等に設けられた各種の制御部又は処理部を含む(例えば、測長モード制御部50、第1信号処理部59等))といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0216】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0217】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
【符号の説明】
【0218】
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12f 観察モード切替スイッチ
12g 静止画取得指示スイッチ
12h ズーム操作部
13 光源装置
14 プロセッサ装置
15 ディスプレイ
16 ユーザーインターフェース
17 拡張プロセッサ装置
18 拡張ディスプレイ
18a 付帯情報表示領域
18b 観察画像表示領域
19 バルーン
19a 先端部
19b 基端部
19c 膨出部
20a、20b リング
21 撮像光学系
21a 対物レンズ
21b ズームレンズ
21c 先端面
22 照明光学系
22a 照明レンズ
22b 先端面
23 計測光出射部
23a 光源
23b DOE
23c プリズム
24 開口
25 送気送水ノズル
25a 噴射筒部
25b 噴射口
26 腸管
27 先端キャップ
27a、27b、27c、27d 貫通孔
28 先端面
28a、28b 平面
30 光源部
31 光源用プロセッサ
32 撮像素子
33 撮像制御部
34 CDS/AGC回路
35 A/D変換器
36 通信I/F
37 通信I/F
38 受信部
39 信号処理部
40 表示制御部
41 システム制御部
42 静止画保存部
43 データ送受信部
44 データ送受信部
45 信号処理部
46 表示制御部
47 計測光出射部用収納部
48 透明蓋
49 プリズム
50 測長モード制御部
53 明るさ情報算出部
54 照明光光量レベル設定部
55 第1発光制御用テーブル
56 第2発光制御用テーブル
57 立ち上がり線
58 斜め線
59 第1信号処理部
60 第2信号処理部
61 照射位置検出部
62 スケール用テーブル
64 テーブル更新部
66 代表点データテーブル
67 交差ライン
68 目盛り
69 位置特定部
70 計測情報処理部
71 計測情報
72 位置特定部
73 画像加工部
74 ノイズ成分除去部
75 色情報変換部
76 二値化処理部
77 マスク画像生成部
78 除去部
79 計測光の色情報
80 ノイズ成分の色情報
81 ノイズ成分の領域
82 画像選択部
83 スケール用テーブル
84 第1信号処理部
85 第2信号処理部
86 マスク処理部
87 二値化処理部
88 ノイズ成分除去部
89 照射位置検出部
90 照射領域認識部
91 学習モデル
92 位置特定部
93 画像加工部
94 距離算出部
95 画像選択部
97 オフセット設定部
98 オフセット距離算出部
99 オフセット用仮想スケール生成部
100 ポリープ
100a 頂部
100b 平坦部
101 延長面
101X 実線
102、103 平行面
102X 点線
104 画像加工部
105 仮想スケール設定部
106 仮想スケール切替受付部
107 測長画像作成部
108 ポリープ
109 撮像画像
110 影
111、112 仮想スケール
111a 目盛りラベル
113、114 撮像画像
115 仮想スケール
116 目盛り
116a 目盛りラベル
116b 目盛りラベル
118 仮想スケール
118a 目盛りラベル
119 仮想スケール
119a 目盛りラベル
120 基準スケール設定部
121 計測値スケール生成部
121a 基準スケール用テーブル
122 測長画像生成部
123 ポリープ
124 撮像画像
125 注目領域抽出部
126 計測部分決定部
127 計測内容受付部
128 計測値算出部
129 注目領域
130 水平方向エッジ位置
131 基準スケール
132 計測値スケール
133 測長画像
135 病変認識部
136 診断情報取得部
137 学習部
138 診断情報管理装置
140 測長対応内視鏡可否判断部
141 計測光ON、OFF切替部
142 測長画像表示設定ON、OFF切替部
143 測長機能稼働状況表示ON、OFF切替部
144 仮想スケール表示切替制御部
146 スケール表示中アイコン
147 仮想スケール
147a、147b、147c 仮想スケール
148 スケール非表示中アイコン
149 切替前画像表示設定保存部
200 キャリブレーション装置
201 キャリブレーション用ディスプレイ
202 移動機構
204 キャリブレーション用表示制御部
206 キャリブ画像取得部
208 キャリブレーション部
210 キャリブ画像処理装置
300 検査システム
302 テストチャート
304 移動機構部
305 チャート本体
306 検査領域部
306a、306b、306c 検査領域
308 検査基準位置
Aa、Ba ピクセル数
Ax 光軸
BLC バルーン制御装置
BF 青色のカラーフィルタ
CL1 第1特徴線
CL2 第2特徴線
CC 交差曲線
CR1 白色中心領域
D1 第1方向
D2 第2方向
D3 第3方向
D5 距離
D6 オフセット距離
DS1 回折スポット
DT 間隔
EP 測定点
G1、G2、G3 隙間
GF 緑色のカラーフィルタ
HT1、HT2 高さ
LG ライトガイド
Ls、Lt ライン
Lm 計測光
Lx1、Lx2 X方向ピクセル数
Ly1、Ly2 Y方向ピクセル数
LPL 格子状パターンの計測光
M 円形の仮想スケール
M1、M2、M3 十字型の仮想スケール
M11、M12、M13、M14、M15 仮想スケール
M21、M22、M23 同心円
M41、M42、M43 仮想スケール
M4A、M4B、M4C、M5A、M5B、M5C 同心円状のマーカ
M5A、M5B、M5C 仮想スケール
M6A、M6B、M6C 歪曲同心円状の仮想スケール
MN、MF 十字の仮想スケール
MpN、Mp、MpF 円形の仮想スケール
MT 移動軌跡
Mx 目盛り
Mxm 仮想スケール
N1 第1ノイズ成分
N2 第2ノイズ成分
P ポリープ
P1、P2、P3 位置
Px 近端
Py 中央付近
Pz 遠端
RP、PRx 赤色画像
PRy 二値化赤色画像
GP、PGx 緑色画像
PGy 二値化緑色画像
BP、PBx 青色画像
PBy 二値化青色画像
PD1 第1差分画像
Qx、Qy、Qz 矢印
QN 歪曲格子領域
RP、RP 代表点
RF 赤色のカラーフィルタ
SCC 特定交差曲線
SP スポット
SP1、SP2、SP3、SP4、SP5 スポット
SPk1 第1スポット
SPk2 第2スポット
SQ 正方格子領域
SR1 周辺領域
tm、tm1、tm2、tm3、tm4、tm5 腫瘍
TPL 3次元平面光
W11、W12、W13、W14、W15 幅
W21、W22、W23 幅
Wx 照射位置移動可能範囲
WMB 計測光の波長域
ZPL 縞状パターン光

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
図47
図48
図49
図50
図51
図52
図53
図54
図55
図56
図57
図58
図59
図60
図61
図62
図63
図64
図65
図66
図67
図68
図69
図70
図71
図72
図73
図74
図75
図76
図77
図78
図79
図80
図81
図82
図83
図84
図85
図86
図87
図88
図89
図90
図91
図92
図93
図94
図95
図96
図97
図98
図99
図100
図101
図102
図103
図104
図105
図106
図107
図108
図109
図110
図111
図112
図113
【手続補正書】
【提出日】2024-10-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
内視鏡と、
前記内視鏡が接続されるプロセッサ装置と、
プロセッサとを備え、
前記プロセッサは、
内視鏡が前記プロセッサ装置に接続された場合に、前記内視鏡が測長対応内視鏡であるか否かを判断し、
前記内視鏡が前記測長対応内視鏡である場合に、前記内視鏡から計測光を照射して前記計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、
観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、前記計測光を消灯する制御を行う内視鏡システム。
【請求項2】
前記プロセッサは、
前記特殊観察モードが設定されている状態において、前記測長モードへの切り替え操作が行われた場合には、前記測長モードへの切り替えを禁止する請求項1記載の内視鏡システム。
【請求項3】
前記プロセッサは、
前記特殊観察モードが設定されている状態において、前記測長モードへの切り替え操作が行われた場合には、前記特殊観察モードを解除して前記測長モードに切り替える請求項1記載の内視鏡システム。
【請求項4】
前記プロセッサは、
前記特殊観察モードでは、被写体画像の色を、異なる色のチャンネルに割り当てた疑似カラー画像を前記ディスプレイに表示する請求項1ないし3のうちいずれか1項記載の内視鏡システム。
【請求項5】
前記測長モードに設定されている場合に、前記内視鏡から前記特殊光と異なる照明光及び前記計測光が照射される請求項1ないし4のうちいずれか1項記載の内視鏡システム。
【請求項6】
前記プロセッサは、
前記測長モードへの切り替え操作に従って、スケール表示中アイコンを前記ディスプレイに表示する請求項1ないし5のうちいずれか1項記載の内視鏡システム。
【請求項7】
前記プロセッサは、
前記測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、前記仮想スケールが表示中でないことを示す測長機能可動状況不可表示をONにする請求項1ないし6のうちいずれか1項記載の内視鏡システム。
【請求項8】
前記モード切替時条件は、前記内視鏡、前記プロセッサ装置、及び前記プロセッサに関する設定条件で測長モードの実行に用いられる条件である請求項7記載の内視鏡システム。
【請求項9】
前記測長モードでは、前記仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われる請求項1ないし8のうちいずれか1項記載の内視鏡システム。
【請求項10】
前記プロセッサは、
前記測長モードへの切り替えが有効化された状態において、前記測長モードへの切り替え操作によって、前記計測光のON又はOFFの切替、前記仮想スケールを表示する測長画像に関する測長画像表示設定のON又はOFFの切替、前記仮想スケールが前記ディスプレイで表示中であることを示す測長機能稼働状況表示のON又はOFFの切替、及び、前記仮想スケールの表示のON、OFF、又は表示態様変更の切替のうちの少なくともいずれかを行う請求項1ないし9のうちいずれか1項記載の内視鏡システム。
【請求項11】
前記プロセッサは、
前記測長モードへの切り替え操作により、前記計測光をON、前記測長画像表示設定をON、前記測長機能稼働状況表示をON、及び、前記仮想スケールの表示をONに切り替える請求項10記載の内視鏡システム。
【請求項12】
前記プロセッサは、
前記測長モードへの切り替え操作において、モード切替時条件を満たしていない場合には、前記計測光をON、前記測長画像表示設定をON、前記測長機能稼働状況表示をON、及び、前記仮想スケールの表示をONに切り替えることを禁止する請求項11記載の内視鏡システム。
【請求項13】
前記測長機能稼働状況表示をONに切り替えることを禁止する代わりに、前記仮想スケールが表示中でないことを示す測長機能稼働状況不可表示をONにする請求項12記載の内視鏡システム。
【請求項14】
前記プロセッサは、
前記測長画像表示設定をONにする場合には、前記測長モードへの切替前の画像表示設定を保存する請求項11記載の内視鏡システム。
【請求項15】
前記仮想スケールの表示態様変更は、複数のスケールパターンの中からの選択によって行われる請求項10記載の内視鏡システム。
【請求項16】
前記プロセッサは、
前記測長モードから他のモードへの切り替え操作により、前記計測光をOFF、前記測長画像表示設定をOFF、前記測長機能稼働状況表示をOFF、及び、前記仮想スケールの表示をOFFに切り替える請求項10記載の内視鏡システム。
【請求項17】
前記プロセッサは、
前記測長画像表示設定をOFFにする場合には、前記測長モードへの切替前に保存した画像表示設定に切り替える請求項10又は16記載の内視鏡システム。
【請求項18】
内視鏡と、前記内視鏡が接続されるプロセッサ装置と、プロセッサと備える内視鏡システムの作動方法において、
前記プロセッサは、
内視鏡が前記プロセッサ装置に接続された場合に、前記内視鏡が測長対応内視鏡であるか否かを判断し、
前記内視鏡が前記測長対応内視鏡である場合に、前記内視鏡から計測光を照射して前記計測光に基づく仮想スケールをディスプレイに表示する測長モードへの切り替えを有効化し、
観察モードが特殊観察モードに設定されている場合に、観察対象のうち特定領域を強調するために用いられる特殊光を点灯し、前記計測光を消灯する内視鏡システムの作動方法。