特開 2023-99679 内視鏡システム及び、データ作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023099679

(43)【公開日】2023-07-13

(54)【発明の名称】内視鏡システム及び、データ作成方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20230706BHJP

【ＦＩ】

A61B1/00 551

A61B1/00 553

【審査請求】有

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2023084343

(22)【出願日】2023-05-23

(62)【分割の表示】P 2017114615の分割

【原出願日】2017-06-09

(71)【出願人】

【識別番号】516096313

【氏名又は名称】株式会社ＯＫファイバーテクノロジー

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】岡 潔

(57)【要約】

【課題】内視鏡システム導入時のコストを抑え、従来の内視鏡の操作を維持しつつ、より精度よく撮像対象物の大きさを測定可能とする技術を提供する。
【解決手段】対象物に照射した光の反射光の強度から内視鏡と対象物の間の距離である対象間距離を取得する距離取得手段と、対象間距離に基づいて、対象物の大きさの指標となる目盛を生成する目盛生成手段と、目盛生成手段により生成された目盛と対象物の画像とを合成する画像合成手段と、画像合成手段によって合成された前記目盛と前記対象物の画像を表示する表示手段と、を備え、距離取得手段は、人の口腔内の粘膜における光の反射率に基づく、反射光の強度と対象間距離との関係を格納したテーブルを記憶した記憶部と、テーブルから、対象物に照射した光の反射光の強度に対応する対象間距離を取得する取得部と、を有する。
【選択図】図１３

【特許請求の範囲】

【請求項1】

内視鏡を体内に挿入して該体内における対象物の画像を取得する内視鏡システムであって、
前記対象物に照射した光の反射光の強度から前記内視鏡と前記対象物の間の距離である対象間距離を取得する距離取得手段と、
前記距離取得手段が取得した前記対象間距離に基づいて、前記対象物の画像中における該対象物の大きさの指標となる目盛を生成する目盛生成手段と、
前記目盛生成手段により生成された前記目盛と前記対象物の画像とを合成する画像合成手段と、
前記画像合成手段によって合成された前記目盛と前記対象物の画像を表示する表示手段と、を備え、
前記距離取得手段は、
人の口腔内の粘膜における光の反射率に基づく、前記反射光の強度と前記対象間距離との関係を格納したテーブルを記憶した記憶部と、
前記テーブルから、前記対象物に照射した光の反射光の強度に対応する対象間距離を取得する取得部と、を有することを特徴とする、内視鏡システム。

【請求項2】

前記内視鏡システムで使用可能な複数の内視鏡の光学系の光学特性情報を記憶する第二記憶部と、
前記第二記憶部に記憶された光学特性情報から、実際に使用中の前記内視鏡についての光学特性情報を取得し、取得された光学特性情報に基づいて前記目盛の形状を補正する目盛補正手段と、をさらに備えることを特徴とする、請求項１に記載の内視鏡システム。

【請求項3】

前記目盛生成手段は、
前記内視鏡システムで使用可能な複数の内視鏡の光学系の収差により歪曲した目盛画像である補正目盛画像を、前記対象間距離毎に有し、
前記距離取得手段により測定された対象間距離と、実際に使用中の内視鏡とに応じた前記補正目盛画像を選択することで、前記目盛を生成することを特徴とする、請求項１に記載の内視鏡システム。

【請求項4】

前記目盛は升目を有し、
前記表示手段に表示された前記目盛における所望の前記升目の表示を変化させる表示変換手段と、
前記表示変換手段の機能によって表示が変化した前記升目により構成される領域のうち、所定の輝度以上の輝度を有する領域の面積を算出する面積算出手段と、
をさらに備えることを特徴とする、請求項１から３のいずれか一項に記載の内視鏡システム。

【請求項5】

内視鏡を体内に挿入して該体内における対象物の画像を取得する内視鏡画像取得方法であって、
前記内視鏡で前記対象物の画像を撮像する対象物撮像工程と、
前記対象物に照射した光の反射光の強度から前記内視鏡と前記対象物の間の距離である対象間距離を取得する距離取得工程と、
前記距離取得工程において取得した前記対象間距離に基づいて、前記対象物の画像中における該対象物の大きさの指標となる目盛を生成する目盛生成工程と、
前記目盛生成工程において生成された前記目盛と、前記対象物撮像工程において撮像された前記対象物の画像とを合成する画像合成工程と、
前記画像合成工程において合成された前記目盛と前記対象物の画像を表示する表示工程と、を有し、
前記距離取得工程の前に実行され、所定の反射板に照射された光の反射光の強度と、該反射板と前記内視鏡との間の距離と、の関係を求める関係取得工程と、
人の口腔内の粘膜における反射率を測定する口内反射率測定工程と、
前記口内反射率測定工程において測定された人の口腔内の粘膜における反射率によって、前記関係取得工程において求められた前記関係を補正する、反射率補正工程と、
をさらに有することを特徴とする、内視鏡画像取得方法。

【請求項6】

請求項５に記載の内視鏡画像取得方法に使用可能な複数の内視鏡を用いて、格子画像を前記対象間距離を変化させつつ撮像することで、前記複数の内視鏡の光学系の光学特性情報を取得する光学特性情報取得工程と、
前記光学特性情報取得工程において取得された複数の光学特性情報の中から実際に使用される内視鏡の光学特性情報を選択する光学特性情報選択工程と、
前記光学特性情報選択工程において選択された光学特性情報を用い、前記目盛生成工程で生成された目盛の形状を補正する目盛補正工程と、
をさらに有することを特徴とする、内視鏡画像取得方法。

【請求項7】

請求項５に記載の内視鏡画像取得方法に使用可能な複数の内視鏡を用いて、格子画像を前記対象間距離を変化させつつ撮像する格子画像取得工程をさらに有し、
前記目盛生成工程では、前記格子画像取得工程において取得された各内視鏡に対する格子画像の中から、実際に使用される内視鏡に対する格子画像を選択することで、前記目盛を生成することを特徴とする、内視鏡画像取得方法。

【請求項8】

前記目盛は升目を有し、
前記表示工程において表示された前記目盛において前記対象物と重なる前記升目の表示を変化させる表示変換工程と、
前記表示変換工程において表示が変化した升目により構成される領域のうち、所定の輝度以上の輝度を有する領域の面積を算出する面積算出工程と、
をさらに備えることを特徴とする、請求項５から７のいずれか一項に記載の内視鏡画像取得方法。

【請求項9】

請求項６または７に記載の内視鏡画像取得方法に使用され、内視鏡を用いて格子画像を、前記対象間距離を変化させつつ撮像する格子画像撮像装置であって、
前記内視鏡の先端部分を固定する固定手段と、
格子が表示された部材である格子表示部材と、
前記格子表示部材を前記固定手段に固定された内視鏡の光軸方向に移動可能に保持する格子移動手段と、
前記格子表示部材と前記内視鏡との距離を測定する格子距離測定手段と、
前記格子移動手段によって前記格子表示部材を移動させつつ、前記格子表示部材の各位置において前記内視鏡を用いて前記格子表示部材に表示された前記格子を撮像する撮像手段と、
を備えることを特徴とする、格子画像撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、消化器等の体内の画像を撮像し、撮像した撮像画像を表示する内視鏡システムにおいて、撮像画像に対象物の大きさの指標となる目盛を重ねて表示する技術に関する。

【背景技術】

【0002】

近年、消化器等の体内の対象物を撮像画像として撮像し、撮像した撮像画像をディスプレイにリアルタイムに表示する内視鏡システムが普及している。このような内視鏡システムでは、内視鏡に備えられたレンズ等からなる撮像光学部によって、対象物で反射した反射光を被写体像としてＣＣＤやＣＭＯＳ等のイメージセンサに結像し、結像した被写体像を撮像画像として撮像する。

【0003】

通常、撮像光学部を用いてイメージセンサに結像された被写体像は、撮像光学部を構成するレンズの収差により実際の対象物と比較して歪む場合があった。図１７は、撮像光学部の収差による被写体像の歪みを示す図である。ここで、図１７（ａ）は実際の対象物の例としての格子画像を示す。また、図１７（ｂ）は、樽型の歪曲収差を持つ撮像光学部を用いて図１７（ａ）に示した格子画像を結像した場合の被写体像を示す。このように、撮像光学部により結像される被写体像は実際の対象物と比較して歪んでいるため、最終的にディスプレイに表示される対象物の撮像画像も実際の対象物と比較して歪んでしまう。

【0004】

なお、図１７（ｂ）に示したような樽型歪みは、撮像光学部として焦点距離の短い所謂広角レンズを用いた場合に生じ易く、また、近距離にある対象物を撮影した場合に顕著に現れることが分かっている。内視鏡においては焦点距離が短いレンズが使用されることが多く、また、数ｍｍ～数十ｃｍ程度の比較的近距離に存在する対象物を撮像する場合が多い。このような理由により、内視鏡システムにおける撮像画像においては、上述した樽型歪みが顕著に現れる場合が多い。なお、撮像光学部を構成するレンズの収差による歪みとしては、上述のような、格子の各辺の中央部が凸状に曲がる樽型歪の他、格子の各辺の中央部が凹状に曲がる糸巻型歪、格子の各辺が波打つ陣笠型歪を挙げることができる。

【0005】

ところで、このような内視鏡システムを用いて対象物を撮像する場合、ディスプレイに表示された画像から対象物の大きさを測定したいという要望がある。このような要望を満たすために、（１）大きさが既知の比較対象を対象物に近づけ、直接大きさを比較する方法、（２）内視鏡の焦点調整機構を利用して対象物までの距離を計測する方法、（３）撮影距離を実測し、対象物の拡大率から計測する方法、（４）回折格子によるパターン光を対象物に投影して計測する方法、（５）立体内視鏡の視差を利用して計測する方法を含め、様々な方法が提案されている。

【0006】

しかしながら、（１）の方法では、大きさの比較対象を対象物の近傍に配置する作業が煩雑で、検査時間が長びく場合があるという不都合があった。また、（２）の方法では、操作者の視度の違いや焦点合わせのばらつきによる誤差が生じ易いという不都合があった。また、（３）の方法では、測定時に電極を組織に接触させて測定する手法がとられることが多いため、組織の変形によって精度が低下したり、電極の接触により臓器が損傷する危険性があるという不都合があった。また、（４）の方法では、レーザ光を投影するための回折格子やミラーを内視鏡に組み込む必要があり、装置構成が複雑になり実用性が低いという不都合があった。また、（５）の方法では、２つのレンズから得られた映像間における特徴点の探索の困難性や、それに要する計算時間が長期化するという不都合があった。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００２－１５６２１２号公報

【特許文献2】特開２０００－２１０２４８号公報

【特許文献3】特開平５－０４１９０１号公報

【特許文献4】特開２００５－０８７４６８号公報

【特許文献5】特開２０１１－６９９６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、上記の実情を鑑みてなされたものであり、その目的は、内視鏡システム導入時のコストを抑え、従来の内視鏡の操作を維持しつつ、より精度よく撮像対象物の大きさを測定可能とする技術を提供することである。

【課題を解決するための手段】

【0009】

上記の課題を解決するための本発明は、内視鏡を体内に挿入して該体内における対象物の画像を取得する内視鏡システムであって、
前記対象物に照射した光の反射光の強度から前記内視鏡と前記対象物の間の距離である対象間距離を取得する距離取得手段と、
前記距離取得手段が取得した前記対象間距離に基づいて、前記対象物の画像中における該対象物の大きさの指標となる目盛を生成する目盛生成手段と、
前記目盛生成手段により生成された前記目盛と前記対象物の画像とを合成する画像合成手段と、
前記画像合成手段によって合成された前記目盛と前記対象物の画像を表示する表示手段と、を備え、
前記距離取得手段は、
人の口腔内の粘膜における光の反射率に基づく、前記反射光の強度と前記対象間距離との関係を格納したテーブルを記憶した記憶部と、
前記テーブルから、前記対象物に照射した光の反射光の強度に対応する対象間距離を取得する取得部と、を有することを特徴とする。

【0010】

本発明によれば、距離取得手段が、人の体内（例えば消化器内）と同等の反射率を有する、人の口腔内の粘膜における光の反射率に基づいて校正された反射光の強度と、対象間距離の関係を格納したテーブルと、実際に人の体内における対象物に照射した光の反射光の強度から、対象間距離を取得するので、反射面の反射率の影響を排除でき、より正確に、対象間距離を取得することが可能となる。その結果、目盛生成手段より高精度な目盛を生成することが可能となり、より精度よく、対象物の大きさを測定することが可能となる。

【0011】

また、本発明においては、前記内視鏡システムで使用可能な複数の内視鏡の光学特性情報を記憶する第二記憶部と、
前記第二記憶部に記憶された光学特性情報から、実際に使用中の前記内視鏡についての光学特性情報を取得し、取得された光学特性情報に基づいて前記目盛の形状を補正する目盛補正手段と、をさらに備えるようにしてもよい。

【0012】

そうすれば、内視鏡システムに実際に使用される内視鏡毎の光学特性情報に基づいて、目盛の形状を補正することが可能となり、さらに精度のよい目盛により、対象物の大きさを測定することが可能となる。

【0013】

また、本発明においては、前記目盛生成手段は、
前記内視鏡システムで使用可能な複数の内視鏡の光学系の収差により歪曲した目盛画像である補正目盛画像を、前記対象間距離毎に有し、
前記距離取得手段により測定された対象間距離と、実際に使用中の内視鏡とに応じた前記補正目盛画像を選択することで、前記目盛を生成するようにしても良い。

【0014】

これによれば、内視鏡の光学系の収差により歪曲した目盛画像である補正目盛画像を、内視鏡毎、対象間距離毎に有することとし、これに基づいて、実際に使用される内視鏡に対する対象間距離毎の目盛画像を生成することが可能となる。すなわち、先ず、実際に使用する内視鏡で歪みのない格子画像を撮影し、撮影された格子画像に基づいて目盛を作成する（あるいは、撮影された格子画像をそのまま目盛として利用する）ので、実際の内視鏡の光学特性（収差）を反映した目盛を生成することが可能である。よって、内視鏡の光学特性に拘わらず、より精度よく、対象物の大きさを測定することが可能である。

【0015】

また、本発明においては、前記目盛は升目を有し、
前記表示手段に表示された前記目盛における所望の前記升目の表示を変化させる表示変換手段と、
前記表示変換手段の機能によって表示が変化した前記升目により構成される領域のうち、所定の輝度以上の輝度を有する領域の面積を算出する面積算出手段と、
をさらに備えるようにしてもよい。

【0016】

そうすれば、使用者は、例えば、対象物と少なくとも一部において重なっている升目の表示を変化させ、表示が変化した升目により構成される領域のうち、所定の輝度以上の輝度を有する領域の面積を算出することで、より容易に、対象物の面積を測定することが可能となる。

【0017】

また、本発明は、内視鏡を体内に挿入して該体内における対象物の画像を取得する内視鏡画像取得方法であって、
前記内視鏡で前記対象物の画像を撮像する対象物撮像工程と、
前記対象物に照射した光の反射光の強度から前記内視鏡と前記対象物の間の距離である対象間距離を取得する距離取得工程と、
前記距離取得工程において取得した前記対象間距離に基づいて、前記対象物の画像中における該対象物の大きさの指標となる目盛を生成する目盛生成工程と、
前記目盛生成工程において生成された前記目盛と、前記対象物撮像工程において撮像された前記対象物の画像とを合成する画像合成工程と、
前記画像合成工程において合成された前記目盛と前記対象物の画像を表示する表示工程と、を有し、
前記距離取得工程の前に実行され、所定の反射板に照射された光の反射光の強度と、該反射板と前記内視鏡との間の距離と、の関係を求める関係取得工程と、
人の口腔内の粘膜における反射率を測定する口内反射率測定工程と、
前記口内反射率測定工程において測定された人の口腔内の粘膜における反射率によって、前記関係取得工程において求められた前記関係を補正する、反射率補正工程と、
をさらに有することを特徴とする、内視鏡画像取得方法であってもよい。

【0018】

本発明によれば、人の体内（例えば、消化器内）と同等の反射率を有する、人の口腔内の粘膜における光の反射率によって、関係取得工程によって求められた、所定の反射板に照射された光の反射光の強度と、該反射板と前記内視鏡との間の距離と、の関係を補正することが可能となる。よって、目盛の生成時における反射面の反射率の影響を排除でき、より正確に、対象間距離を取得することが可能となる。その結果、より高精度な目盛を生成することが可能となり、より精度よく、対象物の大きさを測定することが可能となる。

【0019】

また、本発明においては、上記の内視鏡画像取得方法に使用可能な複数の内視鏡を用いて、格子画像を前記対象間距離を変化させつつ撮像することで、前記複数の内視鏡の光学系の光学特性情報を取得する光学特性情報取得工程と、
前記光学特性情報取得工程において取得された複数の光学特性情報の中から実際に使用される内視鏡の光学特性情報を選択する光学特性情報選択工程と、
前記光学特性情報選択工程において選択された光学特性情報を用い、前記目盛生成工程で生成された目盛の形状を補正する目盛補正工程と、
をさらに有するようにしてもよい。

【0020】

これによれば、内視鏡システムに実際に使用される内視鏡の光学特性情報に基づいて、目盛の形状を補正することが可能となり、さらに精度のよい目盛により、対象物の大きさを測定することが可能となる。

【0021】

また、本発明においては、上記の内視鏡画像取得方法に使用可能な複数の内視鏡を用いて、格子画像を前記対象間距離を変化させつつ撮像する格子画像取得工程をさらに有し、
前記目盛生成工程では、前記格子画像取得工程において取得された各内視鏡に対する格子画像の中から、実際に使用される内視鏡に対する格子画像を選択することで、前記目盛を生成するようにしてもよい。

【0022】

これによれば、実際に使用される内視鏡の光学系の収差により歪曲した格子画像を、対象間距離毎に有することとし、これに基づいて、対象距離毎の目盛を生成することが可能となる。すなわち、実際に使用される内視鏡で歪のない格子を撮像し、実際に使用される内視鏡の収差で歪んだ撮像画像に基づいて目盛を作成するので、実際に使用される内視鏡の光学特性（収差）を反映した目盛を直接生成することが可能である。よって、内視鏡の光学特性に拘わらず、より精度よく、対象物の大きさを測定することが可能である。

【0023】

また、本発明においては、前記目盛は升目を有し、
前記表示工程において表示された前記目盛において前記対象物と重なる前記升目の表示を変化させる表示変換工程と、
前記表示変換工程において表示が変化した升目により構成される領域のうち、所定の輝度以上の輝度を有する領域の面積を算出する面積算出工程と、
をさらに備えるようにしてもよい。これによれば、より容易に、対象物の面積を測定することが可能となる。

【0024】

また、本発明は、上記の内視鏡画像取得方法に使用され、内視鏡を用いて格子画像を、前記対象間距離を変化させつつ撮像する格子画像撮像装置であって、
前記内視鏡の先端部分を固定する固定手段と、
格子が表示された部材である格子表示部材と、
前記格子表示部材を前記固定手段に固定された内視鏡の光軸方向に移動可能に保持する格子移動手段と、
前記格子表示部材と前記内視鏡との距離を測定する格子距離測定手段と、
前記格子移動手段によって前記格子表示部材を移動させつつ、前記格子表示部材の各位置において前記内視鏡を用いて前記格子表示部材に表示された前記格子を撮像する撮影手段と、
を備えることを特徴とする、格子画像撮像装置であってもよい。

【0025】

これによれば、自動的または半自動的に、実際に使用される内視鏡についての、格子画像と対象間距離との関係を取得することが可能となる。その結果、実際に使用される内視
鏡についての、光学系の特性に関連する収差情報を取得したり、実際に使用される内視鏡の光学特性（収差）を反映した目盛を直接生成することが可能である。

【0026】

なお、本発明における課題を解決するための手段は、可能な限り組み合わせて使用することができる。

【発明の効果】

【0027】

本発明によれば、内視鏡システム導入時のコストを抑え、従来の内視鏡の操作を維持しつつ、より精度よく撮像対象物の大きさを測定することが可能となる。

【図面の簡単な説明】

【0028】

【図1】本発明の実施例１における内視鏡システムの機能ブロック図である。

【図2】本発明の実施例１における距離計算部と目盛生成部の機能ブロック図である。

【図3】対象間距離とレーザ光成分の受光量の関係について説明するための図である。図３（ａ）は各対象間距離におけるレーザ光成分の受光量を計測した結果のグラフである。図３（ｂ）は白い紙からの反射光量に、人の口腔内の粘膜の反射率γを乗じた値Ｉｎと、対象間距離Ｄｎの関係を格納したテーブルのイメージ図である。

【図4】本発明の実施例１における目盛補正部の作動の結果を説明する図である。

【図5】本発明の実施例１により生成されるグリッドイメージ及びグリッドイメージ合成後の内視鏡画像と、対象物までの距離の関係を示す図である。

【図6】本発明の実施例１における内視鏡システムの動作を説明するフローチャートである。

【図7】本発明の実施例１における白い紙からの反射光量に、人の口腔内の粘膜の反射率γを乗じた値Ｉｎと、対象間距離Ｄｎの関係を格納したテーブルを作成する処理のフローチャートである。

【図8】本発明の実施例１における面積算出処理ルーチンのフローチャートである。

【図9】本発明の実施例１における内視鏡システムで、５００円硬貨の画像と歪曲目盛とを合成した撮像画像に対し、格子を白黒反転させることで対象物の面積を測定した場合の結果を示す図である。

【図10】本発明の実施例１において格子を白黒反転させることで対象物の面積を測定する場合の内視鏡システムの機能ブロック図の一部である。

【図11】本発明の実施例２における内視鏡システムの機能ブロック図である。

【図12】本発明の実施例２におけるキャリブレーションシステムの概略構成について示す図である。

【図13】本発明の実施例３における応用例１の概略構成を示す図である。

【図14】本発明の実施例３における応用例２の概略構成を示す図である。

【図15】本発明の実施例３における応用例３の概略構成を示す図である。

【図16】本発明の実施例３における応用例４の概略構成を示す図である。

【図17】撮像光学部の収差による被写体像の歪みを示す図である。

【発明を実施するための形態】

【0029】

以下に図面を参照して、この発明を実施するための最良の形態を例示的に詳しく説明する。

【0030】

＜実施例１＞
図１は、本発明の実施例１に係る内視鏡システム１００の機能ブロック図である。図１に示すように、本実施例の内視鏡システム１００は、照明光源１１０と、レーザ光源１２０と、受光部１３０と、光分離部１４０と、撮像光学部１５０と、撮像部１６０と、距離計算部１７０と、目盛生成部１８０と、目盛補正部１９０と、データ記憶部２００と、画像合成部２１０と、表示部２２０と、操作部２３０とを有している。

【0031】

図１において、照明光源１１０は、操作部２３０からの照明光照射の指示を受けて、少なくとも可視光の波長領域（３８０ｎｍ～７５０ｎｍ）の一部もしくは全ての領域を含む光を照明光３００として対象物に照射する。照明光源１１０としてはキセノンランプやハロゲンランプの他、ＬＥＤ光源等を用いることができる。

【0032】

また、レーザ光源１２０は、操作部２３０からのレーザ光照射の指示を受けて、対象物に対してレーザ光３１０を照射する。ここでは、レーザ光源１２０は、波長７８０ｎｍのレーザ光３１０を照射する。このように、レーザ光３１０として可視光の波長領域を外れた波長領域を用いることで、撮像部１６０が対象物を撮像した際に撮像画像にレーザ光３１０が映り込むことを回避している。なお、レーザ光源１２０が照射するレーザ光３１０の波長はこれに限定されるものではなく、他の波長領域に属するものであってもよい。

【0033】

また、受光部１３０は、対象物によって反射された照明光３００とレーザ光３１０とを含む反射光３２０を受光する。受光部１３０は、例えば、内視鏡システム１００における内視鏡の先端部に相当する。また、光分離部１４０は、受光部１３０で受光された反射光３２０を、レーザ光３１０の成分（レーザ光成分）と、照明光３００の成分を含むそれ以外の成分（照明光成分）とに分離する。光分離部１４０により分離された照明光成分は撮像光学部１５０に、レーザ光成分は距離計算部１７０にそれぞれ入射される。なお、光分離部１４０としては、ダイクロイックプリズム等のビームスプリッタを使用することができる。

【0034】

撮像光学部１５０は、光分離部１４０から入射された照明光成分を用いて、対象物の被写体像を撮像部１６０に結像する。撮像光学部１５０はレンズ等の光学系を含んで構成され収差を有している。これにより、撮像光学部１５０によって結像される対象物の被写体像は実際の対象物と比較して歪んだものになる。撮像部１６０は、操作部２３０からの撮像開始の指示を受けて、撮像光学部１５０により結像された対象物の被写体像を撮像画像として撮像する。ここでは、撮像部１６０は、あらかじめ設定された撮像フレームレートに基づいて、結像された対象物の被写体像の撮像を繰り返す。撮像部１６０としては、ＣＣＤやＣＭＯＳ等のイメージセンサが用いられる。

【0035】

距離取得手段に含まれる距離計算部１７０は、操作部２３０からの目盛生成開始の指示を受けて、光分離部１４０から入射されたレーザ光成分に基づいて受光部１３０と対象物との間の距離である対象間距離を計算する。ここでは、距離計算部１７０は、撮像部１６０の撮像フレームレートに基づいて対象間距離の計算を繰り返す。目盛生成手段としての目盛生成部１８０は、距離計算部１７０で計算された対象間距離に基づいて、撮像部１６０で撮像された撮像画像中の対象物の大きさの指標となる目盛の目盛幅を計算し、計算した目盛幅に応じた目盛を生成する。目盛生成部１８０は、距離計算部１７０で対象間距離が計算されるたびに目盛の生成を行う。

【0036】

目盛補正手段としての目盛補正部１９０は、目盛生成部１８０により生成された目盛に撮像光学部１５０の収差による歪みと同等の歪みを与える補正を行う。ここでは、目盛補正部１９０は、目盛生成部１８０で目盛が生成されるたびに当該目盛に対する補正を行う。記憶部及び第二記憶部としてのデータ記憶部２００は、距離計算部１７０における対象間距離の計算値、目盛生成部１８０における目盛幅の計算値、目盛補正部１９０における目盛の補正に用いられる補正用データである補正パラメータや補正マトリクス等を記憶している。これらの値は、距離計算部１７０や目盛生成部１８０、目盛補正部１９０等を介して、操作部２３０から変更することが可能になっている。

【0037】

ここで、本実施例においては、データ記憶部２００は、内視鏡システム１００において使用可能な複数の内視鏡について、上記の補正パラメータや補正マトリックス等を記憶している。これは、個別の内視鏡毎に撮像光学部１５０の光学特性は異なっているからである。本実施例においては、補正パラメータや補正マトリックスを、内視鏡システム１００において使用可能な内視鏡毎にデータ記憶部２００に記憶しているため、目盛補正部１９０において、実際に使用している内視鏡に応じてより精度良く、目盛の補正を行うことが可能である。なお、ここにおける補正パラメータ及び、補正マトリックスは、例えば、内視鏡の光学系における焦点距離、倍率、Ｆ値（明るさ）、照度分布、収差（球面、コマ、非点、像面湾曲、歪曲）に基づくものである。

【0038】

画像合成手段としての画像合成部２１０は、目盛補正部１９０において補正され歪曲された目盛を撮像部１６０において撮像された撮像画像に重ねて合成し、合成した撮像画像を表示部２２０に出力する。なお、画像合成部２１０は、操作部２３０において目盛生成の開始を指示する使用者の操作が受け付けられていない場合、歪曲された目盛の合成を行わずに撮像部１６０から出力された撮像画像をそのまま表示部２２０に出力する。表示手段としての表示部２２０は、画像合成部２１０から出力された撮像画像を表示する。操作部２３０は、使用者による上述した各種操作を受け付け、その旨を各構成要素に指示する。

【0039】

次に、図２を参照して、距離計算部１７０と目盛生成部１８０の構成について詳細に説明する。図２は、図１に示した距離計算部１７０と目盛生成部１８０の機能ブロック図である。

【0040】

まず、距離計算部１７０の構成について説明する。図２に示すように、距離計算部１７０は、結像光学部１７１と、距離センサ１７２と、反射距離計算部１７３とを有している。結像光学部１７１は、光分離部１４０から入射されたレーザ光成分を距離センサ１７２に集光する。距離センサ１７２は、結像光学部１７１により集光されたレーザ光成分の強度である受光量を計測する。距離センサ１７２としては、撮像部１６０と同様に、ＣＣＤやＣＭＯＳ等のイメージセンサを用いることができる。

【0041】

反射距離計算部１７３は、操作部２３０からの目盛生成開始の指示を受けて、距離センサ１７２で計測されたレーザ光成分の受光量とデータ記憶部２００に記憶されている距離キャリブレーションパラメータとに基づいて対象間距離を計算する。なお、反射距離計算部１７３は、撮像部１６０の撮像フレームレートに基づいて対象間距離の計算を繰り返し行う。

【0042】

レーザ光成分の受光量から対象間距離を計算する際には、対象間距離が長くなるほどレーザ光成分の受光量が減少することを利用している。レーザ光成分の受光量は対象間距離に対して指数関数的に減少するため、予め各対象間距離でのレーザ光成分の受光量を計測し、近似曲線から距離キャリブレーションパラメータを算出しておくことで、レーザ光成分の受光量から対象間距離を逆算することができるようになる。

【0043】

図３は、対象間距離とレーザ光成分の受光量の関係について説明するための図である。図３（ａ）は、各対象間距離におけるレーザ光成分の受光量を計測した結果のグラフを示す。この図は、レーザ光３１０を白い紙に照射して反射光量を取得し、対象間距離と反射光量の関係をプロットしたものである。そして、以下の式（１）に近似することで距離キャリブレーションパラメータに含まれるα、βが算出される。
対象間距離Ｌ_ＤＢＯ＝α・Ｖ^β・・・・・（１）

【0044】

そして、本実施例では、さらに（１）の式に、予め測定した人の口腔内の粘膜の反射率
γを乗じることで、近似曲線の式（２）を算出する。これにより対象間距離と反射光量との関係を、実際に体内（例えば、消化器内）の壁面にレーザ光３１０を照射した場合の対象間距離を、より精度よく測定することが可能となる。
対象間距離Ｌ_ＤＢＯ＝α・γ・Ｖ^β・・・・・（２）

【0045】

図３（ｂ）には、レーザ光３１０を白い紙に照射して得られた反射光量に、人の口腔内の粘膜の反射率γを乗じた値Ｉｎと、その値に対応する対象間距離Ｄｎの関係を格納したテーブルのイメージ図を示す。本実施例においては、このテーブルをデータ記憶部２００に格納しておき、このテーブルと、実際に距離センサ１７２で計測されたレーザ光成分の受光量とから、反射距離計算部１７３において対象間距離を求めるようにする。この場合、データ記憶部２００は記憶部に相当し、反射距離計算部１７３は取得部に相当する。この場合、距離取得手段は距離計算部１７０とデータ記憶部２００を含んで構成される。

【0046】

ここで、反射率γを求めるために人の口腔内の粘膜を利用したのは、人の口腔内の粘膜における光の反射率が、人の体内における光の反射率に近いことによる。そして、人の口腔内の粘膜としては、例えば、舌と舌下部を含む口腔底、口唇の裏の部分、上唇歯肉、下唇歯肉、軟口蓋と硬口蓋を含む口蓋、頬粘膜などを利用することが適切である。これらの部分における壁面の色合い、濡れ度合いが、実際の体内の壁面と類似しているからである。

【0047】

次に、目盛生成部１８０の構成について説明する。図２に示すように、目盛生成部１８０は、面内目盛計算部１８１と、生成部１８２とを有している。面内目盛計算部１８１は、反射距離計算部１７３で計算された対象間距離と、データ記憶部２００に記憶されている面内目盛幅パラメータとに基づいて、撮像部１６０で撮像された撮像画像中の対象物の大きさの指標となる目盛の目盛幅を計算する。

【0048】

ここで目盛幅パラメータは、対象間距離と生成する目盛の目盛幅の関係を示すパラメータであり、各対象間距離における実空間での一定の幅が撮像画像中の何ピクセル分に相当するかをキャリブレーションすることで求めることができる。この目盛幅パラメータは、各内視鏡における光学系の焦点距離や倍率の他、撮像画像における対象物の大きさに影響を及ぼすＦ値や照度分布を含んだものであってもよい。なお、面内目盛計算部１８１で計算される目盛幅は、撮像画像中の奥行きが対象間距離と等しい面内における対象物の大きさを示す目盛である面内目盛の目盛幅である。以降、この目盛幅を面内目盛幅と呼ぶ。生成部１８２は、面内目盛計算部１８１にて計算された面内目盛幅に基づいて面内目盛を生成し、目盛補正部１９０に出力する。

【0049】

図４は、図１に示した目盛補正部１９０の動作を説明する図である。ここで、図４（ａ）は目盛生成部１８０により生成された目盛の一例を、図４（ｂ）は目盛補正部１９０により補正された歪曲目盛の一例をそれぞれ示している。目盛補正部１９０は、データ記憶部２００にあらかじめ記憶されている補正用データである補正パラメータおよび補正マトリクスを用いて図４（ａ）に示すような目盛生成部１８０が生成した目盛に対して、形状補正として幾何学変換を行うことで、図４（ｂ）に示すような歪んだ目盛である歪曲目盛を生成する。ここで補正用データである補正パラメータおよび補正マトリクスは、撮像光学部１５０の歪曲収差による被写体像の歪みと同様の歪みを生成した目盛に与えるための幾何学変換を示すパラメータおよびマトリクスである。

【0050】

補正パラメータおよび補正マトリクスは、所定の格子の画像、例えば市松模様の画像等を撮像光学部１５０によって撮像し、格子画像の歪み具合から計算することができる。より具体的には、所定の格子画像を撮像光学部１５０によって撮像した画像から、Zhangの
手法等の公知の技術により撮像光学部１５０の歪曲収差による歪みをなくす幾何学補正を
行うための補正用パラメータおよび補正用マトリクスを求め、その逆変換を行う補正パラメータおよび補正マトリクスを求めることで計算することができる。

【0051】

なお、補正パラメータおよび補正マトリクスを用いた幾何学変換方法は、上述したZhangの手法等の公知の技術における幾何学変換方法と同様の方法を用いることができる。ま
た、補正用データである補正パラメータおよび補正マトリクスは撮像光学部１５０特有のものになるため、本実施例の内視鏡システム１００の製造時等に計算し、初期設定としてデータ記憶部２００に記憶させておけば良い。

【0052】

このようにして生成した歪曲目盛を、画像合成部２１０にて撮像画像に重ねて合成し、合成した撮像画像を表示部２２０にて表示することで、撮像画像中の対象物の大きさを歪曲目盛に基づいて求めることができる。なお、ここでは、図４（ａ）に示すように目盛生成部１８０は計算した目盛幅に応じて格子状の目盛を生成するものとしているが、十字や直線等の他の形状の目盛を生成してもよい。また、図４（ｂ）に示すように撮像光学部１５０は樽型収差を持つものとしているが、糸巻型収差や陣笠型収差等の他の収差を持つものであってもよい。

【0053】

図５には、本実施例で算出された、対象間距離毎の目盛（グリッド）の例を示す。図５における上段は、対象間距離が各々５ｍｍ、１０ｍｍ、１５ｍｍの場合の目盛の画像（グリッドイメージ）である。この目盛の各々の格子は、１ｍｍの寸法に対応している。また、図５における下段は、得られた目盛を、対象間距離を各々５ｍｍ、１０ｍｍ、１５ｍｍとして実際に撮影した１ｍｍ間隔の格子画像に、上記の目盛の画像（グリッドイメージ）を合成した場合の内視鏡画像を示す。

【0054】

図５より、各々の対象間距離において、実際に撮影した格子画像と目盛の画像（グリッドイメージ）が精度よく合致していることが分かる。すなわち、本実施例によれば、対象間距離に拘らず、対象物の大きさを精度よく計測することが可能である。

【0055】

次に、図６を参照して図１に示した内視鏡システム１００の動作について説明する。図６は、図１に示した内視鏡システム１００の動作を説明するフローチャートである。このフローチャートは、内視鏡システム１００が備える記憶部（不図示）に記憶されたプログラムである。

【0056】

まず、内視鏡システム１００の使用者により操作部２３０にて照明光３００およびレーザ光３１０の照射を指示する操作が行われると、ステップＳ１０１において、照明光源１１０およびレーザ光源１２０は照明光３００およびレーザ光３１０の照射をそれぞれ開始する。

【0057】

また、使用者により、操作部２３０にて撮像開始を指示する操作と、目盛生成開始を指示する操作が行われると、ステップＳ１０２において、撮像部１６０は撮像画像の撮像を、距離計算部１７０は対象間距離の計算をそれぞれ開始する。照明光３００とレーザ光３１０の照射が開始されると、対象物にそれらが反射した反射光３２０が受光部１３０で受光される。ステップＳ１０２の処理が終了するとステップＳ１０３に進む。

【0058】

ステップＳ１０３においては、受光部１３０で受光された反射光３２０は、光分離部１４０にて、照明光成分とレーザ光成分とに分離され、照明光成分は撮像光学部１５０に、レーザ光成分は距離計算部１７０の結像光学部１７１にそれぞれ入射される。ステップＳ１０３の処理が終了すると、ステップＳ１０４及びステップＳ１０７の処理が並行して進められる。

【0059】

ステップＳ１０４においては、撮像光学部１５０は、照明光成分が入射されると、照明光成分に基づいて対象物を被写体像として撮像部１６０に結像する。この際、撮像光学部１５０の歪曲収差により被写体像は実際の対象物と比べて歪んでいる。ステップＳ１０４が終了するとステップＳ１０５に進む。

【0060】

ステップＳ１０５においては、操作部２３０からの指示に応じて撮像画像の撮像を開始している撮像部１６０は、結像された被写体像を撮像画像として撮像する。ステップＳ１０５は本実施例において対象物撮像工程に相当する。そして、ステップＳ１０６において、撮像画像を画像合成部２１０に出力する。ステップＳ１０６の処理が終了するとステップＳ１１２に進む。

【0061】

一方、ステップＳ１０７において、結像光学部１７１は、レーザ光成分が入射されると、レーザ光成分を距離センサ１７２に集光する。距離センサ１７２は、結像光学部１７１により集光されたレーザ光成分の受光量を計測し、反射距離計算部１７３に出力する。操作部２３０からの指示に応じて対象間距離の計算を開始している反射距離計算部１７３は、距離センサ１７２で計算された受光量に基づいて対象間距離を計算し、目盛生成部１８０の面内目盛計算部１８１に出力する。ステップＳ１０７は本実施例において距離取得工程に相当する。ステップＳ１０７の処理が終了するとステップＳ１０８に進む。

【0062】

ステップＳ１０８において、面内目盛計算部１８１は、反射距離計算部１７３で計算された対象間距離と、データ記憶部２００に記憶されている目盛幅パラメータとに基づいて面内目盛幅を計算する。ステップＳ１０８の処理が終了するとステップＳ１０９に進む。

【0063】

ステップＳ１０９においては、生成部１８２は、面内目盛計算部１８１で計算された面内目盛幅に基づいて、面内目盛を目盛として生成する。ステップＳ１０９は本実施例において目盛生成工程に相当する。ステップＳ１０９の処理が終了するとステップＳ１１０に進む。

【0064】

ステップＳ１１０において、目盛補正部１９０は、生成部１８２にて生成された目盛に対して、データ記憶部２００に記憶されている補正マトリクスに基づいて形状補正を行うことで歪曲目盛を生成する。そして、ステップＳ１１１において、画像合成部２１０に出力する。ステップＳ１１１の処理が終了すると、ステップＳ１１２に進む。

【0065】

次に、ステップＳ１１２においては、画像合成部２１０は、目盛補正部１９０から出力された歪曲目盛を撮像部１６０から出力された撮像画像に重ねて合成する。そして、ステップＳ１１３において、合成した撮像画像を表示部２２０に出力する。ステップＳ１１２及びステップＳ１１３は、本実施例において画像合成工程に相当する。ステップＳ１１３の処理が終了するとステップＳ１１４に進む。

【0066】

次に、ステップ１１４においては、表示部２２０は、画像合成部２１０から出力された、歪曲目盛と合成された撮像画像を表示する。ステップＳ１１４は本実施例において表示工程に相当する。ステップＳ１１４の処理が終了するとステップＳ１１５に進む。

【0067】

以降、使用者により操作部２３０にて撮像および目盛生成の終了を指示する操作が行われるまで、撮像部１６０の撮像フレームレートに基づいてステップＳ１０４～ステップＳ１１４の処理が繰り返される。使用者により、操作部２３０にて撮像および目盛生成の終了を指示する操作が行われると、ステップＳ１１５に進む。ステップＳ１１５においては、撮像部１６０は撮像画像の撮像を、反射距離計算部１７３は対象間距離の計算を終了する。その後、使用者により、操作部２３０にて照明光３００およびレーザ光３１０の照射停止の指示が行われるとステップＳ１１６に進む。

【0068】

ステップＳ１１６においては、照明光源１１０およびレーザ光源１２０は照明光３００およびレーザ光３１０の照射をそれぞれ停止する。ステップＳ１１６の処理が終了すると本フローチャートを一旦終了する。

【0069】

次に、図７には、上記した内視鏡システム１００の動作の前に実行され、図３（ｂ）に示したテーブルを作成する処理のフローチャートを示す。このフローは、内視鏡システム１００の製造時に行われてもよいし、内視鏡システム１００の製造後の適時（例えば、毎回の使用前）に行われてもよい。この処理が実行されると、先ず、ステップＳ１１において、予め準備された白板からなる反射板に内視鏡のレーザ光源１２０からレーザ光３１０が照射される。そして、ステップＳ１２では受光部１３０において反射光３２０が受光され、光分離部１４０を経由して、距離計算部１７０の距離センサ１７２によって受光量が計測される。

【0070】

次に、ステップＳ１３において、反射板と内視鏡との距離（対象間距離に相当する）が変更される。そして、ステップＳ１４において、距離の変更が終了したか、すなわち、図３（ｂ）のテーブルにおいてＤｎまでの全ての距離において反射光の計測が終了したか否かが判定される。そして、終了していないと判定された場合には、ステップＳ１１の処理の前に戻り、距離の変更と反射板による反射光の計測が継続される。一方、ステップＳ１４において距離の変更と反射板による反射光の計測が終了したと判定された場合には、ステップＳ１５に進む。

【0071】

ステップＳ１５においては、オフラインで、人の口腔内の粘膜の反射率が測定される。この測定については、本実施例における内視鏡システム１００を用いて、レーザ光を人の口腔内の粘膜に照射し、出射光量と反射光の受光量の比を計算することで測定してもよい。あるいは、内視鏡システム１００のレーザ光源１２０と同波長を有する他のレーザ光源を用いて、レーザ光を人の口腔内の粘膜に照射し、出射光量と反射光の受光量の比を計算しても構わない。ステップＳ１５の処理が終了するとステップＳ１６に進む。

【0072】

ステップＳ１６においては、ステップＳ１５で取得された人の口腔内の粘膜の反射率を、ステップＳ１２で得られた反射光の受光量に乗じることで、反射光量の値を補正する。これにより、図３（ｂ）に示したテーブルを得ることができる。すなわち、人の体内（例えば消化器内）で、内視鏡システム１００を用いて対象物を撮像した場合の、対象間距離と、反射光の受光量との関係を等価的に取得することができる。

【0073】

上記のフローにおいて、ステップＳ１１からステップＳ１４までの処理は、本実施例において関係取得工程に相当する。また、ステップＳ１５の処理は口内反射率測定工程に相当する。また、ステップＳ１６の処理は反射率補正工程に相当する。

【0074】

なお、本実施例においては、目盛補正部１９０から出力された目盛を撮像部１６０から出力された撮像画像に重ねて合成した場合に、目盛における各格子の表示を白黒反転可能にし、且つ、合成された画像において白黒反転された格子により構成される領域のうち、所定の輝度以上の輝度を有する領域の面積を算出する機能を設けても構わない。

【0075】

図８には、上記の機能に関する面積算出処理フローの例を示す。本フローが実行されると、先ず、ステップＳ２１において、例えば図６のステップＳ１１３で出力された、撮像画像と歪曲目盛の合成画像が取得される。ステップＳ２１の処理が終了するとステップＳ２２に進む。ステップＳ２２においては、計測領域が設定される。すなわち、撮像画像と重ねて合成された目盛の格子のうち、対象物に重なっている格子をマウス等のポインタで
指定することで、白黒反転させる。この白黒反転された領域が計測領域として設定される。ステップＳ２２の処理が終了するとステップＳ２３に進む。ステップＳ２３においては、設定された計測領域における各画素のＲＧＢ値から各画素の輝度を演算し、そのヒストグラム（度数分布）を作成する。ステップＳ２３の処理が終了するとステップＳ２４に進む。

【0076】

ステップＳ２４においては、対象物の面積算出のための閾値を設定する。その際、対象物の態様によって閾値の設定手法を変えてもよい。例えば、対象物の輝度が周囲よりも高い場合には、閾値を輝度分布における平均＋標準偏差と設定する。対象物の輝度が周囲より低い場合には、閾値を輝度分布における平均－標準偏差と設定する。ステップＳ２４の処理が終了するとステップＳ２５に進む。ステップＳ２５においては、輝度が閾値を超える画素を判定する。すなわち、対象物の輝度が周囲よりも高い場合には、輝度が閾値より高い画素を判定する。対象物の輝度が周囲より低い場合には、輝度が閾値より低い画素を判定する。ステップＳ２５の処理が終了するとステップＳ２６に進む。

【0077】

ステップＳ２６においては、ノイズ除去を行う。すなわち、フィルタ処理等によって、孤立した画素を除去する。ステップＳ２６の処理が終了するとステップＳ２７に進む。ステップＳ２７においては、既に取得されている対象物の距離と、ノイズ除去後の、輝度が閾値を超える画素の数より、対象物の面積を算出する。ステップＳ２７の処理が終了すると一旦、本ルーチンを終了する。

【0078】

以上の面積算出処理によれば、画像合成部２１０から出力された、歪曲目盛と合成された撮像画像における対象物に重なる格子を白黒反転させて計測領域を設定し、設定された領域の画素うち、閾値を超える画素の数を数えることで、対象物の面積を測定することが可能となる。図９には、例として５００円硬貨の歪曲目盛と合成された撮像画像に対し、この面積算出処理を適用した場合の結果を示す。図９の例では５００円硬貨の中央の０の数字の面積を、当該数字に重なる格子の白黒を反転させて計測領域を設定し、計測領域の画素中、閾値を超える画素の数を求めることで、面積が４６ｍｍ^２であることを算出できた。この４６ｍｍ^２というのは、充分実用に耐える精度であると考えられる。

【0079】

図１０には、この場合の画像合成部２１０付近の機能ブロック図を示す。この場合には、操作部２３０からの指令に従い、表示変換手段としての表示変換部２１２によって対象物に重なる格子の表示が白黒反転された上で、表示部２２０において表示される。また、操作部２３０からの指令に従い、面積算出のための輝度の閾値が設定される。さらに、面積算出手段としての面積算出部２１３によって、白黒反転された格子による計測領域における各画素のヒストグラムが作成され、その中で、閾値を超える画素の数が判定され、ノイズ除去の後、対象物の面積が算出される。また、本実施例において、操作部２３０からの指令に基づき、表示変換部２１２によって対象物に重なる格子の表示を白黒反転する工程は表示変換工程に相当する。また、操作部２３０からの指令に基づき、面積算出部２１３によって、計測領域のうち、閾値を超える輝度を有する領域の面積が算出される工程は面積算出工程に相当する。

【0080】

次に、本実施例に係る内視鏡システム１００の効果について説明する。上述したように本実施例の内視鏡システム１００によれば、撮像画像中の対象物の大きさの指標となる目盛を生成し、生成した目盛に対して撮像光学部１５０の歪曲収差による歪みと同等の歪みを与える形状補正を行い、補正を行った歪曲目盛を撮像画像に合成して表示する。

【0081】

このように本実施例の内視鏡システム１００では、生成した目盛に対して形状補正を行うため、撮像画像に対して補正を行う場合と比較して少量の計算で済み、ＰＣ等の汎用計算機でもリアルタイムに目盛を撮像画像に重ねて表示することができる。

【0082】

また、本実施例の内視鏡システム１００では、特殊なセンサを必要としないため撮像装置を安価に提供することができる。また、物理的な位置を精密に制御する機構等の複雑な構成が不要なため、簡潔な構成で実現することができる。さらに、レーザ光３１０の反射光であるレーザ光成分に基づいて対象間距離を計算し、計算した対象間距離に基づいて面内目盛幅を計算することで対象間距離に応じた目盛を生成するため、対象間距離が変化し、撮像画像中の対象物の大きさが変化しても適切は目盛幅の目盛を撮像画像に重ねて表示することができる。

【0083】

さらに、本実施例の内視鏡システム１００では、対象間距離を算出する際に、人の口腔内の粘膜における反射率に基づいて、対象間距離と反射光量との関係を算出している。これによって、内視鏡システム１００においてレーザ光３１０を消化器等の体内の壁面における対象物に照射し、その反射光を用いて対象間距離を求める際に、より精度よく対象間距離を算出することができる。その結果、より高精度な目盛を撮像画像に重ねて表示することが可能となる。

【0084】

＜実施例２＞
次に、本発明の実施例２について説明する。本実施例においては、目盛の画像を、内視鏡システムに使用可能な各内視鏡の受光部の特性に対し、対象間距離毎に準備しておく例について説明する。

【0085】

図１１には、本実施例における内視鏡システム３５０について示す。本実施例においては、目盛補正部１９０は備えていない。すなわち、本実施例では、目盛生成部１８０で生成した、対象間距離毎の目盛を目盛補正部１９０で補正するのではない。データ記憶部２００には、補正パラメータおよび補正マトリクスを記憶しておくのではなく、本内視鏡システム３５０で用いられる各内視鏡（受光部１３０のレンズ特性（収差等の光学特性））に対し、各対象間距離毎の目盛の画像を直接、記憶しておく。そして、内視鏡システム３５０の使用時においては、目盛生成部１８５は、使用している内視鏡の種類及び対象間距離に相当する目盛を呼び出して、画像合成部２１０に出力する。

【0086】

これによれば、目盛生成に関わる処理をより単純化することができ、より迅速に目盛生成を行うことができる。また、使用する内視鏡毎に目盛を準備しておくことで、使用する内視鏡の受光部１３０のレンズ特性（収差等の光学特性）に拘らず、正確な目盛を生成することが可能で、より正確に対象物の大きさの測定が可能となる。

【0087】

図１２には、本実施例で、データ記憶部２００に記憶しておくべき目盛画像を予め準備するための格子画像撮像装置としてのキャリブレーションシステム４００の概略構成について示す。キャリブレーションシステム４００は、キャリブレーション装置４１０と、プローブ４２０、計測システム４３０、内視鏡装置４４０、コントロールボックス４５０及び、ＰＣ４６０を備えている。

【0088】

キャリブレーション装置４１０は、キャリブレーション用の格子画像または市松模様が描かれた格子表示部材としてのチェッカボード４１１と、チェッカボード４１１が固定され、レール４１３に沿って移動可能な格子移動手段としての可動台４１２と、内視鏡の先端部を固定可能な固定手段としてのファイバスコープ固定台４１４を有する。格子距離測定手段としての計測システム４３０は、プローブ４２０の先端からチェッカボード４１１に対してレーザ光を照射する機能を有する。撮像手段としての内視鏡装置４４０では、プローブ４２０の先端から対象物に照射光を照射するとともに、計測システム４３０から出射したレーザ光と自ら出射した照射光を含む、対象物からの反射光を受光する。そして、得られた内視鏡画像及び、レーザ光の反射光強度をＰＣ４６０に出力する。

【0089】

また、ＰＣ４６０からは、コントロールボックス４５０に指令を出力し、可動台４１２を、プローブ４２０の先端に接近または離間するように、１ｍｍずつ移動させることが可能となっている。

【0090】

そして、ＰＣからの指令により、自動的または半自動的に、あるいはマニュアルで、可動台４１２を移動させながら、可動台４１２とプローブ４２０の対象間距離と、当該対象間距離におけるチェッカボード４１１の画像を取り込んで、その画像の歪曲状態に合うように目盛を作成し、記憶する。

【0091】

このキャリブレーションシステム４００の作動により、内視鏡システム３５０に使用される内視鏡毎に、各対象間距離毎の目盛の画像を生成することが可能となる。これにより、本実施例における内視鏡システム３５０における目盛の画像をより容易に作成することが可能となる。なお、キャリブレーションシステム４００においては、内視鏡装置４４０で、撮像し記憶した格子画像の歪曲状態を維持したまま加工して、内視鏡システム３５０に使用可能な目盛の画像を生成しても構わないし、格子画像を直接、目盛の画像として使用しても構わない。キャリブレーションシステム４００で生成された目盛の画像は本実施例において補正目盛画像に相当する。

【0092】

上記において、キャリブレーションシステム４００が、可動台４１２を移動させながら、可動台４１２とプローブ４２０の対象間距離と、当該対象間距離におけるチェッカボード４１１の画像を取り込んで、その画像の歪曲状態に合うように目盛を作成し、記憶する工程は、格子画像取得工程に相当する。

【0093】

なお、ここで説明したキャリブレーションシステム４００は、内視鏡システム３５０におけるデータ記憶部２００に記憶させる目盛の画像データのみならず、実施例１の内視鏡システム１００におけるデータ記憶部２００に記憶させる補正パラメータおよび補正マトリクス（内視鏡毎の焦点距離、倍率、Ｆ値、照度分布、収差（球面、コマ、非点、像面歪曲、歪曲）等に基づく）の算出のために適用されても構わない。このような場合においては、キャリブレーションシステム４００が、可動台４１２を移動させながら、可動台４１２とプローブ４２０の対象間距離と、当該対象間距離におけるチェッカボード４１１の画像を取り込んで、その画像の歪曲状態に合うように目盛を作成し、記憶する工程は、収差情報取得工程に相当する。

【0094】

さらに、内視鏡システム１００において、キャリブレーションシステム４００で取得されデータ記憶部２００に記憶された補正パラメータおよび補正マトリクスの中から、実際に使用される内視鏡に関する補正パラメータおよび補正マトリクスを選択する工程は、収差情報選択工程に相当する。さらに、選択された補正パラメータおよび補正マトリックスを用いて、目盛補正部１９０において、目盛生成部１８０で生成された目盛の形状を補正する工程は、目盛補正工程に相当する。

【0095】

＜実施例３（応用例）＞
次に、本発明の実施例３として、上記の実施例における内視鏡システム１００または内視鏡システム３５０を、実際に装置として組み上げた場合の具体例について説明する。

【0096】

（応用例１）
図１３には、本発明の応用例１の概略構成を示す。図１３に示すように、応用例１における内視鏡システムは、距離計測システム本体５００、イメージプロセッサ５５０、消化器内視鏡５６０、内視鏡映像用ディスプレイ５８０、グリッド合成映像用ディスプレイ５９０を有している。距離計測システム本体５００は、ＦＰＧＡ（Field Programmable Gate Array）ボード５１０、レーザ光源５２０、光学フィルター５３０、計測機器５４０を有している。

【0097】

ここで、ＦＰＧＡボード５１０は、図１における距離計測部、メモリ生成部、目盛補正部、データ記憶部、画像合成部として機能する。光学フィルター５３０は、対象物からの反射光のうちレーザ光の波長のみを分離する光分離部として機能する。計測機器５４０は、距離計算部の一部として反射光中のレーザ成分の強度を計測する機能を有する。また、イメージプロセッサ５５０は撮像部として機能し、消化器内視鏡５６０は、受光部、照明光源、撮像光学部として機能する。内視鏡映像用ディスプレイ５８０、グリッド合成映像用ディスプレイ５９０は表示部として機能する。なお、上記の構成の他、内視鏡システムは操作部、データ記憶部として機能するＰＣ（不図示）を有している。

【0098】

この応用例１では、消化器内視鏡５６０が有する照明光源から照射された照明光の対象物からの反射光のうち照明光成分は、イメージプロセッサ５５０に入力され内視鏡映像用ディスプレイ５８０に対象物の映像が表示される。一方、レーザ光源５２０から出射されたレーザ光は、処置具用ガイド孔（不図示）を介して消化器内視鏡５６０の先端まで延びたプローブ５７０から対象物に照射される。そして、対象物からの反射光の一部は、消化器内視鏡５６０の受光光学系を介して消化器内視鏡５６０が有する撮像素子上で結像され画像データに変換される。

【0099】

そして、画像データは、イメージプロセッサ５５０において処理された後、内視鏡映像用ディスプレイ５８０に表示されるとともに映像入力端子５１０ｂからＦＰＧＡボード５１０に入力される。一方、対象物からの反射光のうち、光学フィルター５３０に入射された部分については、レーザ光の波長成分を有するレーザ光成分が分離され計測機器５４０で強度が計測される。そして、そのレーザ光成分の強度データはＦＰＧＡボード５１０のアナログ入力端子５１０ｃからＦＰＧＡボードに入力される。

【0100】

ＦＰＧＡボードにおいて予めプログラムされた処理ルーチンによって、対象間距離及び、消化器内視鏡５６０に応じた目盛（グリッド）の生成及び補正が行われる。生成及び補正が行われた目盛（グリッド）の画像は、映像入力端子５１０ｂから入力された内視鏡映像と合成され、映像出力端子５１０ａから出力され、グリッド合成映像用ディスプレイ５９０に表示される。

【0101】

（応用例２）
図１４には、本発明の応用例２の概略構成を示す。応用例２の内視鏡システムにおける応用例１との相違点は、グリッド合成映像用ディスプレイ６９０としてタブレット端末を使用し、距離計測システム本体６００との接続には、ＵＳＢ、有線ＬＡＮ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの汎用の接続手法を用いた点である。この場合には、ＵＳＢホスト、ＬＡＮ制御、Ｂｌｕｅｔｏｏｔｈ制御の機能を有するＰＣのＣＰＵボード６１０が必要となる。また、目盛（グリッド）生成及び補正の処理の少なくとも一部はＰＣ上で行うことも可能となり、処理能力の向上も期待できる。なお、タブレット端末の接続アプリ、表示アプリは市販のものを使用することが可能である。

【0102】

（応用例３）
図１５には、本発明の応用例３の概略構成を示す。応用例３における応用例１との相違点は、グリッド合成映像用ディスプレイ７９０としてタッチパネルモニタを用いた点である。本応用例では、グリッド合成映像用ディスプレイ７９０のタッチパネルと距離計測システム本体７００との接続及び制御をＷＩＮＤＯＷＳ（登録商標）アプリ等を用いている。この場合には、グリッド合成映像はＣＰＵボード７１０からグリッド合成映像用ディスプレイ７９０に出力され、ＵＳＢを介してタッチパネルとの情報の授受が行われる。また、この場合においても、目盛（グリッド）生成及び補正の処理の少なくとも一部はＰＣ上で行うことも可能であり、処理能力の向上も期待できる。

【0103】

（応用例４）
図１６には、本発明の応用例４の概略構成を示す。応用例４における応用例１との相違点は、グリッド合成映像用ディスプレイ６９０としてタブレット端末を使用し、さらにこれをタッチパネルモニタとして利用する点と、距離計測システム本体８００においては、ＰＦＧＡボードの代わりに、ビデオキャプチャデバイス８２０、アナログ入力デバイス８３０とスティックＰＣ等の小型ＰＣ８１０の組み合わせを用いた点である。この場合には、民生品の組み合わせで容易にシステム構築が可能となる反面、量産には不向きという特徴がある。

【0104】

なお、上述した実施例（応用例を含む）の内視鏡システムは各々一例を示しており、その構成及び動作は、発明の主旨を逸脱しない範囲で、適宜に変更可能である。

【符号の説明】

【0105】

１００、３５０・・・内視鏡システム
１１０・・・照明光源
１２０・・・レーザ光源
１３０・・・受光部
１４０・・・光分離部
１５０・・・撮像光学部
１６０・・・撮像部
１７０・・・距離計算部
１７１・・・結像光学部
１７２・・・距離センサ
１７３・・・反射距離計算部
１８０・・・目盛生成部
１８１・・・面内目盛計算部
１８２・・・生成部
１９０・・・目盛補正部
２００・・・データ記憶部
２１０・・・画像合成部
２１２・・・表示変換部
２１３・・・面積算出部
２２０・・・表示部
２３０・・・操作部
４００・・・キャリブレーションシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2023-06-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

内視鏡を体内に挿入して該体内における対象物の画像を取得する内視鏡システムであって、
前記対象物に照射した光の反射光の強度から前記内視鏡と前記対象物の間の距離である対象間距離を取得する距離取得手段を備え、
前記距離取得手段は、
人の舌と舌下部を含む口腔底、口唇の裏の部分、上唇歯肉、下唇歯肉、軟口蓋と硬口蓋を含む口蓋、及び頬粘膜のうち少なくともいずれかの粘膜における光の反射率及び、所定の反射板に照射された光の反射光の強度と、該反射板と前記内視鏡との間の距離との関係に基づく、前記反射光の強度と前記対象間距離との関係を格納したテーブルを記憶した記憶部と、
前記テーブルから、前記対象物に照射した光の反射光の強度に対応する対象間距離を取得する取得部と、を有することを特徴とする、内視鏡システム。

【請求項2】

請求項１に記載の内視鏡システムにおいて使用可能な前記テーブルのデータ作成方法であって、
前記対象間距離を変更しながら前記所定の反射板に前記光を照射して、前記反射光の強度を測定することで、該所定の反射板に照射された該光の該反射光の強度と、該反射板と前記内視鏡との間の距離と、の関係を求める関係取得工程と、
人の舌と舌下部を含む口腔底、口唇の裏の部分、上唇歯肉、下唇歯肉、軟口蓋と硬口蓋を含む口蓋、及び頬粘膜のうち少なくともいずれかの粘膜における反射率を測定する口内反射率測定工程と、
前記口内反射率測定工程において測定された前記粘膜における反射率によって、前記関係取得工程において求められた前記関係を補正する、反射率補正工程と、
を有することを特徴とする、データ作成方法。