(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-20
(45)【発行日】2022-01-17
(54)【発明の名称】内視鏡システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20220107BHJP
A61B 1/04 20060101ALI20220107BHJP
G02B 23/24 20060101ALI20220107BHJP
【FI】
A61B1/045 610
A61B1/04 540
G02B23/24 B
(21)【出願番号】P 2017157489
(22)【出願日】2017-08-17
【審査請求日】2020-07-20
(73)【特許権者】
【識別番号】313009556
【氏名又は名称】ソニー・オリンパスメディカルソリューションズ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】小磯 学
(72)【発明者】
【氏名】山田 雄一
【審査官】▲高▼ 芳徳
(56)【参考文献】
【文献】特開平08-029701(JP,A)
【文献】国際公開第2017/072950(WO,A1)
【文献】特開2013-165380(JP,A)
【文献】特開2005-057605(JP,A)
【文献】特開2009-043060(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00 - 1/32
G02B 23/24 - 23/26
H04N 5/225 - 5/247
(57)【特許請求の範囲】
【請求項1】
被検体内に挿入される複数種類の内視鏡の接眼部に着脱自在に接続され、接続した前記内視鏡にて取り込まれた被写体像を撮像する撮像部を有するカメラヘッドと、
前記撮像部による撮像で得られた撮像画像における画素毎の輝度信号に基づいて、当該撮像画像内の前記被写体像の大きさを検出する検知部と、
互いに異なる複数の前記被写体像の大きさにそれぞれ関連付けられ、前記撮像画像の光学歪みを補正するための複数の既存補正パラメータ
が出荷前に予め記録された記録部と、
前記記録部から前記複数の既存補正パラメータのうち前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータを読み出すパラメータ読出部と、
前記パラメータ読出部にて読み出された前記既存補正パラメータを用いて前記撮像画像の光学歪みを補正する歪み補正処理部とを備える
ことを特徴とする内視鏡システム。
【請求項2】
前記パラメータ読出部は、
前記記録部に前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータが記録されているか否かを判断し、
当該内視鏡システムは、
前記パラメータ読出部にて前記記録部に前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータが記録されていないと判断された場合に、
前記複数の既存補正パラメータのうち前記検知部にて検出された前記被写体像の大きさを挟み、かつ、当該被写体像の大きさに近接した2つの前記被写体像の大きさがそれぞれ関連付けられた2つの前記既存補正パラメータから、補間により、前記検知部にて検出された前記被写体像の大きさに応じた新生補正パラメータを算出するパラメータ算出部をさらに備え、
前記歪み補正処理部は、
前記パラメータ読出部にて前記記録部に前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータが記録されていないと判断された場合には、前記新生補正パラメータを用いて前記撮像画像の光学歪みを補正する
ことを特徴とする請求項1に記載の内視鏡システム。
【請求項3】
前記被写体像の一部を拡大表示するユーザ操作を受け付ける操作受付部と、
前記ユーザ操作に応じて、前記撮像画像から前記被写体像の一部を切り出す拡大処理部とをさらに備え、
前記歪み補正処理部は、
前記ユーザ操作に応じて、前記被写体像の一部のみの光学歪みを補正する
ことを特徴とする請求項1
または2に記載の内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検体内を観察する内視鏡システムに関する。
【背景技術】
【0002】
従来、医療分野や工業分野において、人や機械構造物等の被検体内を観察する内視鏡システムが知られている(例えば、特許文献1参照)。
特許文献1に記載の内視鏡システム(内視鏡装置)は、被検体内に挿入され、先端から当該被検体内の被写体像を取り込む内視鏡と、当該内視鏡の接眼部に着脱自在に接続され、当該被写体像を撮像して撮像画像を生成するカメラヘッドと、当該撮像画像を処理して表示用の映像信号を生成する制御装置と、当該表示用の映像信号に基づく画像を表示する表示装置とを備える。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、内視鏡(硬性鏡)としては、内部に設けられる光学系が異なる(例えば、レンズ径が異なる)もの等、複数種類の内視鏡が存在する。すなわち、複数種類の内視鏡毎に、内部に設けられる光学系による光学歪み(歪曲収差)の歪み量(収差量)が異なるものである。このため、表示用の映像信号を生成する際には、カメラヘッドに接続された内視鏡に応じた適切な補正パラメータを用いて撮像画像の光学歪みを補正する構成が必要となる。しかしながら、従来の内視鏡システムでは、当該構成が設けられていない。
そこで、複数種類の内視鏡のいずれの内視鏡がカメラヘッドに接続された場合であっても当該内視鏡に応じた適切な補正パラメータを用いて撮像画像の光学歪みを補正し、利便性の向上を図ることができる技術が要望されている。
【0005】
本発明は、上記に鑑みてなされたものであって、利便性を向上することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体内に挿入される複数種類の内視鏡の接眼部に着脱自在に接続され、接続した前記内視鏡にて取り込まれた被写体像を撮像する撮像部を有するカメラヘッドと、前記撮像部による撮像で得られた撮像画像における画素毎の輝度信号に基づいて、当該撮像画像内の前記被写体像の大きさを検出する検知部と、互いに異なる複数の前記被写体像の大きさにそれぞれ関連付けられ、前記撮像画像の光学歪みを補正するための複数の既存補正パラメータが出荷前に予め記録された記録部と、前記記録部から前記複数の既存補正パラメータのうち前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータを読み出すパラメータ読出部と、前記パラメータ読出部にて読み出された前記既存補正パラメータを用いて前記撮像画像の光学歪みを補正する歪み補正処理部とを備えることを特徴とする。
【0007】
また、本発明に係る内視鏡システムでは、上記発明において、前記パラメータ読出部は、前記記録部に前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータが記録されているか否かを判断し、当該内視鏡システムは、前記パラメータ読出部にて前記記録部に前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータが記録されていないと判断された場合に、前記複数の既存補正パラメータのうち前記検知部にて検出された前記被写体像の大きさを挟み、かつ、当該被写体像の大きさに近接した2つの前記被写体像の大きさがそれぞれ関連付けられた2つの前記既存補正パラメータから、補間により、前記検知部にて検出された前記被写体像の大きさに応じた新生補正パラメータを算出するパラメータ算出部をさらに備え、前記歪み補正処理部は、前記パラメータ読出部にて前記記録部に前記検知部にて検出された前記被写体像の大きさと同一の前記被写体像の大きさが関連付けられた前記既存補正パラメータが記録されていないと判断された場合には、前記新生補正パラメータを用いて前記撮像画像の光学歪みを補正することを特徴とする。
【0009】
また、本発明に係る内視鏡システムでは、上記発明において、前記被写体像の一部を拡大表示するユーザ操作を受け付ける操作受付部と、前記ユーザ操作に応じて、前記撮像画像から前記被写体像の一部を切り出す拡大処理部とをさらに備え、前記歪み補正処理部は、前記ユーザ操作に応じて、前記被写体像の一部のみの光学歪みを補正することを特徴とする。
【発明の効果】
【0010】
ところで、内視鏡内に設けられた光学系による光学歪み(歪曲収差)の歪み量(収差量)と撮像画像内の被写体像の大きさとは相関関係がある。そして、本発明は、当該相関関係に着目した発明である。
具体的に、本発明に係る内視鏡システムでは、互いに異なる複数の被写体像の大きさにそれぞれ関連付けられ、撮像画像の光学歪みを補正するための複数の既存補正パラメータが予め記録されている。そして、内視鏡システムでは、撮像画像における画素毎の輝度信号に基づいて、当該撮像画像内の被写体像の大きさを検出する。また、内視鏡システムでは、予め記録された複数の既存補正パラメータのうち、検出した被写体像の大きさと同一の被写体像の大きさが関連付けられた既存補正パラメータを用いて、撮像画像の光学歪みを補正する。
したがって、本発明に係る内視鏡システムによれば、複数種類の内視鏡のいずれの内視鏡がカメラヘッドに接続された場合であっても、当該内視鏡に応じた適切な補正パラメータを用いて撮像画像の光学歪みを補正し、利便性の向上を図ることができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、本実施の形態に係る内視鏡システムの概略構成を示す図である。
【
図2】
図2は、カメラヘッド及び制御装置の構成を示すブロック図である。
【
図3】
図3は、マスク径検出処理を説明する図である。
【
図4】
図4は、マスク径検出処理を説明する図である。
【
図8】
図8は、内視鏡システムの動作を示すフローチャートである。
【
図9】
図9は、本実施の形態の変形例1を説明する図である。
【
図10】
図10は、本実施の形態の変形例2を説明する図である。
【
図11】
図11は、本実施の形態の変形例2を説明する図である。
【発明を実施するための形態】
【0012】
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【0013】
〔内視鏡システムの概略構成〕
図1は、本実施の形態に係る内視鏡システムの概略構成を示す図である。
内視鏡システム1は、医療分野において用いられ、生体内を観察するシステムである。この内視鏡システム1は、複数種類の内視鏡(本実施の形態では、第1,第2内視鏡2a,2bの2種類)と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
【0014】
第1,第2内視鏡2a,2bは、硬性鏡でそれぞれ構成されている。すなわち、第1,第2内視鏡2a,2bは、硬質または少なくとも一部が軟質で細長形状をそれぞれ有し、生体内にそれぞれ挿入される。これら第1,第2内視鏡2a,2b内には、1または複数のレンズを用いて構成され、被写体像を集光する光学系がそれぞれ設けられている。なお、第1,第2内視鏡2a,2bは、径寸法が異なる(第1内視鏡2Aが第2内視鏡2Bよりも径寸法が大きい)。また、第1,第2内視鏡2a,2b内には、当該径寸法に応じた光学系がそれぞれ設けられている。そして、内視鏡システム1では、生体内の観察対象等に応じて、第1,第2内視鏡2a,2bの一方が用いられる。
【0015】
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が第1内視鏡2aまたは第2内視鏡2bに着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、第1内視鏡2aまたは第2内視鏡2bに供給する。第1内視鏡2aまたは第2内視鏡2bに供給された光は、当該第1内視鏡2aまたは第2内視鏡2bの先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、第1内視鏡2aまたは第2内視鏡2b内の光学系により集光される。
【0016】
カメラヘッド5は、第1,第2内視鏡2a,2bの接眼部21にそれぞれ着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、第1内視鏡2aまたは第2内視鏡2bにて集光された被写体像を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
【0017】
第1伝送ケーブル6は、一端がコネクタCN1を介して制御装置9に着脱自在に接続され、他端がコネクタCN2を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
【0018】
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイを用いて構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
【0019】
制御装置9は、CPU(Central Processing Unit)等を含んで構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
【0020】
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、
図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、レンズユニット51と、撮像部52と、通信部53とを備える。
【0021】
レンズユニット51は、1または複数のレンズを用いて構成され、第1内視鏡2aまたは第2内視鏡2bにて集光された被写体像を撮像部52の撮像面に結像する。
撮像部52は、制御装置9による制御の下、生体内を撮像する。この撮像部52は、具体的な図示は省略したが、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子と、当該撮像素子からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する信号処理部とを備える。
通信部53は、第1伝送ケーブル6を介して、撮像部52から出力される画像信号(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部53は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
【0022】
〔制御装置の構成〕
次に、制御装置9の構成について
図2を参照しつつ説明する。
制御装置9は、通信部91と、検知部92と、画像処理部93と、表示制御部94と、制御部95と、入力部96と、出力部97と、記録部98とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部53)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部53との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
【0023】
図3及び
図4は、マスク径検出処理を説明する図である。具体的に、
図3(a)は、撮像部52にて撮像された撮像画像CIの一例を示す図である。
図3(b)は、
図3(a)に示した撮像画像CI中の水平ラインL5での輝度値の分布を示す図である。
図4(a)は、カメラヘッド5に第1内視鏡2aが接続された状態で撮像部52にて撮像された撮像画像CIを示す図である。
図4(b)は、カメラヘッド5に第2内視鏡2bが接続された状態で撮像部52にて撮像された撮像画像CIを示す図である。
ここで、生体内で反射され、第1内視鏡2aまたは第2内視鏡2b内に集光された光(被写体像)は、断面略円形である。このため、撮像画像CI内の被写体像SIは、
図3(a)及び
図4に示すように、略円形となる。すなわち、撮像画像CIは、被写体像SIと、当該被写体像SI以外のマスク領域MA(
図3(a)の黒塗りの部分、
図4の斜線の部分)とを含む。また、被写体像SIの大きさは、第1,第2内視鏡2a,2bの径寸法によって異なる。すなわち、カメラヘッド5に第1内視鏡2aが接続されている際での被写体像SI(
図4(a))の大きさは、カメラヘッド5に第2内視鏡2bが接続されている際での被写体像SI(
図4(b))の大きさよりも大きい。
【0024】
そして、検知部92は、撮像画像CI内での被写体像SIの大きさを検出するマスク径検出処理を実行する。本実施の形態では、検知部92は、撮像画像CI内での被写体像SIの大きさとして、当該被写体像SIの直径DM(
図3(a),
図4、以下、マスク径DMと記載)を検出する。
具体的に、検知部92は、画像処理部93にて処理された画像信号(Y,C
B/C
R信号)のうち輝度信号(Y信号)を取得する。そして、検知部92は、当該輝度信号(Y信号)に基づいて、撮像画像CI内の複数本(本実施の形態では14本)の水平ラインL1~L14(
図3(a))での輝度値の分布をそれぞれ検出する。ここで、撮像画像CIにおいて、被写体像SIの領域は、マスク領域MAよりも輝度値が高い。すなわち、例えば、水平ラインL5での輝度分布は、
図3(b)に示すように、被写体像SIとマスク領域MAとの2つの境界点BP間で輝度値が高くなり、その他の部分で輝度値が低くなる。このため、検知部92は、水平ラインL1~L14での輝度分布を検出することにより、被写体像SIとマスク領域MAとの複数の境界点BPを認識する。そして、検知部92は、当該複数の境界点BPの曲率中心を算出することで、撮像画像CI内での被写体像SIの中心位置SIOを検出する。また、検知部92は、当該中心位置SIOといずれかの境界点BPとの距離(画素数)を算出することで、マスク径DMを検出する。以下、説明の便宜上、マスク径検出処理により検出されたマスク径DMを検出マスク径DMと記載する。
【0025】
画像処理部93は、制御部95による制御の下、カメラヘッド5(通信部53)から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))を処理する。
例えば、画像処理部93は、画像信号(RAW信号(デジタル信号))に対して、オプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。また、画像処理部93は、当該RGB信号(画像信号)に対して、ホワイトバランス調整処理、ガンマ補正、及びYC変換(RGB信号を輝度信号及び色差信号(Y,CB/CR信号)に変換)等のRGB処理を施す。さらに、画像処理部93は、当該Y,CB/CR信号(画像信号)に対して、色差補正及びノイズリダクション等のYC処理を実行する。
【0026】
また、画像処理部93は、YC処理後のY,C
B/C
R信号(画像信号)に対して、歪み補正処理を実行する。
図5及び
図6は、歪み補正処理を説明する図である。具体的に、
図5(a)は、縦横に直交する格子状の被写体を示す図である。
図5(b)は、
図5(a)に示した被写体を撮像した撮像画像CIを示す図である。なお、
図5(b)では、第1内視鏡2a内または第2内視鏡2b内に設けられた光学系による樽型の歪曲収差が生じている状態を示している。
図6は、
図5(b)に示した樽型の歪曲収差が生じた撮像画像CIに対して当該歪曲収差を補正するための補正パラメータ(既存補正パラメータ及び新生補正パラメータ)の一例を示す図である。
ここで、第1内視鏡2a内または第2内視鏡2b内に設けられた光学系により樽型の歪曲収差が生じた場合には、撮像画像CI中の被写体は、本来、直交している縦横の直線(
図5(a))がレンズ中心から外側に向かって樽のように丸く膨らんだ状態となる(
図5(b))。そして、画像処理部93は、制御部95から出力された補正パラメータ(既存補正パラメータまたは新生補正パラメータ)を用いて歪み補正処理を実行することにより、撮像画像CIの光学歪み(歪曲収差)を補正する。
【0027】
具体的に、補正パラメータ(既存補正パラメータまたは新生補正パラメータ)は、
図6に示すように、撮像画像CI内の複数の既定位置(座標値)にそれぞれ設けられた複数の補正ベクトルVEで構成されている。これら複数の補正ベクトルVEは、レンズ中心(撮像画像CIの中心位置)から外側に向く方向を有するとともに、レンズ中心からの距離が大きくなるほどその大きさが大きくなる。そして、画像処理部93は、歪み補正処理において、撮像画像CI内の複数の既定位置の各画素を補正ベクトルVEの方向及び大きさだけ外側に拡大する。また、画像処理部93は、複数の既定位置以外の他の位置(座標値)については、当該位置に近接する例えば4つの既定位置の各補正ベクトルVEから当該位置での補正ベクトルを算出する。そして、画像処理部93は、当該位置の画素を当該算出した補正ベクトルの方向及び大きさだけ外側に拡大する。
【0028】
さらに、画像処理部93は、YC処理後のY,C
B/C
R信号(画像信号)に対して、拡大処理を実行する。
図7は、拡大処理を説明する図である。具体的に、
図7(a)は、拡大処理を実行する前に表示装置7に表示された表示画像DI(撮像画像CI)を示している。
図7(b)は、拡大処理を実行した後に表示装置7に表示された表示画像DIを示している。
画像処理部93は、被写体像SIの一部の領域(例えば、
図7(a)に示した領域Ar1)を拡大表示するユーザ操作が行われた場合に、拡大処理を実行する。
具体的に、画像処理部93は、拡大処理において、撮像画像CIからユーザにて選択された領域Ar1を切り出す。そして、画像処理部93は、当該領域Ar1の左右両側に黒レベルの領域Ar2,Ar3(
図7(b))を付加し、表示装置4の画面と同一のアスペクト比となる画像を生成する。そして、当該画像は、表示画像DIとして表示装置7に表示される。
そして、画像処理部93は、本発明に係る歪み補正処理部及び拡大処理部に相当する。
【0029】
表示制御部94は、制御部95による制御の下、画像処理部93による処理(RAW処理、RGB処理、YC処理、歪み補正処理、及び拡大処理)後の画像信号に基づいて、表示用の映像信号を生成する。そして、表示制御部94は、第2伝送ケーブル8を介して、当該映像信号を表示装置7に出力する。
【0030】
制御部95は、例えば、CPU等を用いて構成され、第1~第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部95は、
図2に示すように、パラメータ読出部951と、パラメータ算出部952とを備える。
パラメータ読出部951は、記録部98に検知部92にて検出された検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されているか否かを判断する。そして、パラメータ読出部951は、記録部98に検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていると判断した場合には、当該既存補正パラメータを記録部98から読み出して画像処理部93に出力する。
パラメータ算出部952は、パラメータ読出部951にて記録部98に検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていないと判断された場合に、記録部98に記録されたN(Nは2以上の整数)個の既存補正パラメータの少なくともいずれかを読み出す。そして、パラメータ算出部952は、当該少なくともいずれかの既存補正パラメータを用いて検出マスク径DMに応じた新生補正パラメータを算出し、当該新生補正パラメータを画像処理部93に出力する。
【0031】
入力部96は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作(例えば、被写体像SIの一部の領域(例えば、
図7(a)に示した領域Ar1)を拡大表示するユーザ操作)を受け付ける。そして、入力部96は、ユーザ操作に応じた操作信号を制御部95に出力する。すなわち、入力部96は、本発明に係る操作受付部としての機能を有する。
出力部97は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
【0032】
記録部98は、制御部95が実行するプログラム、及び画像処理部93や制御部95の処理に必要な情報等(例えば、上述した既存補正パラメータ等)を記録する。
ここで、歪曲収差の収差量は、光学系によって異なるものである。すなわち、第1内視鏡2a内に設けられた光学系による歪曲収差の収差量と、第2内視鏡2b内に設けられた光学系による歪曲収差の収差量とは異なるものである。また、当該歪曲収差の収差量と被写体像SIの大きさ(マスク径DM)との間には相関関係がある。そして、本実施の形態では、記録部98は、互いに異なるN個のマスク径DM(第1~第Nマスク径DM1~DMN)にそれぞれ関連付けられたN個の既存補正パラメータを記録する。当該N個の既存補正パラメータは、マスク径DMに応じた収差量から予め算出された複数の補正ベクトルVEをそれぞれ含む。また、N個の既存補正パラメータは、第1内視鏡2aのマスク径DMに応じた既存補正パラメータ、及び第2内視鏡2bのマスク径DMに応じた既存補正パラメータの他、他のマスク径DMに応じた既存補正パラメータを複数含む。
【0033】
〔内視鏡システムの動作〕
次に、上述した内視鏡システム1の動作について説明する。
図8は、内視鏡システム1の動作を示すフローチャートである。
先ず、制御装置9は、カメラヘッド5及び表示装置7の動作を制御し、当該カメラヘッド5に接続された内視鏡(例えば、第1内視鏡2aまたは第2内視鏡2b)にて集光された被写体像SIの撮像を開始させる(ステップS1)とともに、当該撮像による撮像画像CIを表示装置7に表示させる(ステップS2)。
【0034】
ステップS2の後、制御部95は、入力部96に対して医師等のユーザによる被写体像SIの一部の領域(例えば、
図7(a)に示した領域Ar1)を拡大表示するユーザ操作が行われたか否かを常時、監視する(ステップS3)。
当該ユーザ操作が行われたと判断された場合(ステップS3:Yes)には、検知部92は、マスク径検出処理を実行する(ステップS4)。
ステップS4の後、パラメータ読出部951は、ステップS4のマスク径検出処理で検出された検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録部98に記録されているか否かを判断する(ステップS5)。
【0035】
検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていると判断した場合(ステップS5:Yes)には、パラメータ読出部951は、当該既存補正パラメータを記録部98から読み出して画像処理部93に出力する(ステップS6)。
一方、検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていないと判断された場合(ステップS5:No)には、パラメータ算出部952は、例えば、以下に示すように新生補正パラメータを算出して画像処理部93に出力する(ステップS7)。
ここで、記録部98に記録されたN個の既存補正パラメータにそれぞれ関連付けられたN個の第1~第Nマスク径DM1~DMNは、第1マスク径DM1の大きさが最も小さく、序数が大きくなるにしたがって大きさが大きくなるものとする。また、検出マスク径DMは、第3マスク径DM3と第4マスク径DM4との間の大きさを有するものとする。
パラメータ算出部952は、記録部98に記録されたN個の既存補正パラメータのうち検出マスク径DMを挟み、かつ、当該検出マスク径DMに近接した2つのマスク径DM(上記の場合には、第3,第4マスク径DM3,DM4)がそれぞれ関連付けられた2つの既存補正パラメータを読み出す。そして、パラメータ算出部952は、当該読み出した2つの既存補正パラメータから、補間(例えば、線形補間)により、検出マスク径DMに応じた新生補正パラメータを算出する。
【0036】
ステップS6またはステップS7の後、画像処理部93は、制御部95から出力された補正パラメータ(既存補正パラメータまたは新生補正パラメータ)を用いて、撮像画像CIにおけるステップS3で指示された領域(例えば、
図7(a)に示した領域Ar1)に対してのみ歪み補正処理を実行する(ステップS8)。そして、画像処理部93は、当該歪み補正処理の後、拡大処理を実行する(ステップS9)。
【0037】
以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係る内視鏡システム1では、内視鏡(例えば、第1,第2内視鏡2a,2b)内に設けられた光学系による歪曲収差の収差量とマスク径DMとの相関関係に着目して以下の構成を採用している。
内視鏡システム1では、互いに異なる複数のマスク径DMにそれぞれ関連付けられ、撮像画像CIの光学歪みを補正するための複数の既存補正パラメータが予め記録されている。そして、内視鏡システム1では、撮像画像CIにおける画素毎の輝度信号に基づいて、撮像画像CI内のマスク径DMを検出する。また、内視鏡システム1では、予め記録された複数の既存補正パラメータのうち、検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータを用いて、撮像画像CIの光学歪みを補正する。
したがって、本実施の形態に係る内視鏡システム1によれば、複数種類の内視鏡(例えば、第1,第2内視鏡2a,2b)のいずれの内視鏡がカメラヘッド5に接続された場合であっても、当該内視鏡に応じた適切な補正パラメータを用いて撮像画像CIの光学歪みを補正し、利便性の向上を図ることができる。
【0038】
また、本実施の形態に係る内視鏡システム1では、検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていない場合には、記録されている複数の既存補正パラメータを用いて検出マスク径DMに応じた新生補正パラメータを算出する。そして、内視鏡システム1では、当該新生補正パラメータを用いて、撮像画像CIの光学歪みを補正する。
したがって、新たに開発された内視鏡や他社製品である内視鏡等がカメラヘッド5に接続された場合であっても、当該内視鏡に応じた適切な補正パラメータを用いて撮像画像CIの光学歪みを補正することができる。
【0039】
また、本実施の形態に係る内視鏡システム1では、撮像画像CIにおいて、拡大表示で指示された一部の領域(例えば、
図7(a)に示した領域Ar1)に対してのみ歪み補正処理を実行する。
したがって、撮像画像CI全体に対して歪み補正処理を実行する構成と比較して、画像処理部93の処理負荷を軽減することができる。
【0040】
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
図9は、本実施の形態の変形例1を説明する図である。
上述した実施の形態に係る内視鏡システム1では、制御装置9(制御部95)は、マスク径検出処理により検出マスク径DMを検出し、当該検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータを記録部98から読み出していたが、これに限らない。例えば、
図9に示した本変形例1に係る内視鏡システム1Aのように構成しても構わない。すなわち、当該内視鏡システム1Aでは、制御装置9A(制御部95A)は、カメラヘッド5Aに接続された内視鏡2Aから当該内視鏡2Aの識別情報を取得し、当該取得した識別情報と同一の識別情報が関連付けられた既存補正パラメータを記録部98Aから読み出す。
【0041】
具体的に、内視鏡2Aでは、
図9に示すように、上述した実施の形態で説明した第1,第2内視鏡2a,2bに対して、タグ22が追加されている。
タグ22は、例えば、RFID(Radio Frequency Identification)タグ等で構成され、接眼部21等に設けられている。そして、タグ22は、内視鏡2A固有の識別情報を記録する。
【0042】
カメラヘッド5Aでは、
図9に示すように、上述した実施の形態で説明したカメラヘッド5に対して、検出部54が追加されている。
検出部54は、例えば、RFID検出回路等で構成され、制御装置9A(制御部95A)による制御の下、タグ22に記録された識別情報を取得する。そして、検出部54は、第1伝送ケーブル6を介して、当該取得した識別情報を制御部95Aに出力する。
【0043】
制御装置9Aでは、
図9に示すように、上述した実施の形態で説明した制御装置9に対して、検知部92が省略されているとともに、制御部95及び記録部98の代わりに制御部95A及び記録部98Aが採用されている。
記録部98Aは、上述した実施の形態で説明した記録部98に対して、記録したN個の既存補正パラメータに関連付けられた情報が異なる。具体的に、記録部98Aに記録されたN個の既存補正パラメータには、互いに異なるN個の内視鏡の各識別情報がそれぞれ関連付けられている。当該N個の既存補正パラメータは、N個の内視鏡内にそれぞれ設けられた各光学系による歪曲収差の収差量から予め算出された複数の補正ベクトルVEをそれぞれ含む。
【0044】
制御部95Aでは、
図9に示すように、上述した実施の形態で説明した制御部95に対して、パラメータ算出部952が省略されているとともに、パラメータ読出部951の代わりにパラメータ読出部951Aが採用されている。
パラメータ読出部951Aは、第1伝送ケーブル6を介して、検出部54に制御信号を出力し、タグ22に記録されている識別情報を取得させる。そして、パラメータ読出部951Aは、記録部98Aに記録されたN個の既存補正パラメータから、当該取得した識別情報と同一の識別情報が関連付けられた既存補正パラメータを読み出して画像処理部93に出力する。
【0045】
なお、上述した変形例1において、内視鏡2から取得した識別情報と同一の識別情報が関連付けられた既存補正パラメータが記録部98Aに記録されていない場合に、上述した実施の形態と同様に、新生補正パラメータを算出するように構成しても構わない。
具体的に、記録部98Aに記録されたN個の既存補正パラメータに対して、識別情報の他、上述した実施の形態と同様に、マスク径DMを関連付けておく。また、制御装置9Aに、上述した実施の形態で説明した検知部92を追加する。さらに、制御部95Aに、上述した実施の形態で説明したパラメータ算出部952を追加する。そして、パラメータ算出部952は、内視鏡2から取得した識別情報と同一の識別情報が関連付けられた既存補正パラメータが記録部98Aに記録されていない場合に、上述した実施の形態1と同様に、N個の既存補正パラメータの少なくともいずれかを用いて検出マスク径DMに応じた新生補正パラメータを算出し、当該新生補正パラメータを画像処理部93に出力する。
【0046】
なお、上述した変形例1では、タグ22に内視鏡2A固有の識別情報を記録していたが、これに限らず、歪み補正処理で用いる補正パラメータ自体を記録しても構わない。すなわち、パラメータ読出部951Aは、検出部54を介してタグ22に記録されている補正パラメータを取得し、当該補正パラメータを画像処理部93に出力する。
【0047】
図10及び
図11は、本実施の形態の変形例2を説明する図である。
上述した実施の形態に係る内視鏡システム1において、
図10に示した本変形例2に係る内視鏡システム1Bのように、焦点や画角を調整可能とする構成としても構わない。
具体的に、内視鏡システム1Bを構成するカメラヘッド5Bでは、
図10に示すように、上述した実施の形態で説明したカメラヘッド5に対して、レンズユニット51の代わりにレンズユニット51Bが採用されるとともに、レンズ駆動部55及びレンズ位置検出部56が追加されている。
レンズユニット51Bは、光軸に沿って移動可能な複数のレンズを用いて構成され、第1内視鏡2aまたは第2内視鏡2bにて集光された被写体像SIを撮像部52の撮像面に結像する。このレンズユニット51Bは、
図10に示すように、フォーカスレンズ511と、ズームレンズ512とを備える。
【0048】
フォーカスレンズ511は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、焦点を調整する。
ズームレンズ512は、1または複数のレンズを用いて構成され、光軸に沿って移動することにより、画角を調整する。
また、レンズユニット51Bには、フォーカスレンズ511を光軸に沿って移動させるフォーカス機構(図示略)やズームレンズ512を光軸に沿って移動させる光学ズーム機構(図示略)が設けられている。
レンズ駆動部55は、制御装置9Bによる制御の下、上述したフォーカス機構や光学ズーム機構を動作させ、レンズユニット51Bの焦点や画角を調整する。
レンズ位置検出部56は、フォトインタラプタとの位置センサを用いて構成され、フォーカスレンズ511のレンズ位置(以下、フォーカス位置と記載)やズームレンズ512のレンズ位置(以下、ズーム位置と記載)を検出する。そして、レンズ位置検出部56は、第1伝送ケーブル6を介して、フォーカス位置及びズーム位置に応じた検出信号を制御装置9Bに出力する。
【0049】
また、内視鏡システム1Bを構成する制御装置9Bは、
図10に示すように、上述した実施の形態で説明した制御装置9に対して、制御部95及び記録部98の代わりに制御部95B及び記録部98Bが採用されている。
ここで、ズーム位置が変更されると、
図11に示すように、被写体像SIの大きさも変更される。なお、
図11の例では、
図11(a)から
図11(e)まで順次、ズーム位置を変更してズーム倍率を増加させた撮像画像CIをそれぞれ例示している。すなわち、例えば、基準となるズーム位置で撮像された被写体像SIの検出マスク径DMに対応する既存補正パラメータや新生補正パラメータを用いて歪み補正処理を実行している際に、ズーム位置が変更された場合には、当該既存補正パラメータや新生補正パラメータは、適切な補正パラメータではなく、ズーム倍率が変更された後の撮像画像CIの光学歪みを適切に補正することができない。このため、ズーム位置に応じて、既存補正パラメータや新生補正パラメータを変更する必要がある。なお、フォーカス位置を変更した場合でも同様に、既存補正パラメータや新生補正パラメータを変更する必要がある。
【0050】
そして、記録部98Bは、上述した実施の形態で説明した記録部98に対して、記録したN個の既存補正パラメータに関連付けられた情報が異なる。具体的に、記録部98Bに記録されたN個の既存補正パラメータには、フォーカス位置、ズーム位置、及びマスク径DMを1組の関連情報とした場合に、互いに異なる複数組の関連情報がそれぞれ関連付けられている。
【0051】
また、制御部95Bでは、
図10に示すように、上述した実施の形態で説明した制御部95に対して、パラメータ読出部951及びパラメータ算出部952の代わりにパラメータ読出部951B及びパラメータ算出部952Bが採用されている。
パラメータ読出部951Bは、レンズ位置検出部56からの検出信号に応じて、現状のフォーカス位置及びズーム位置を認識する。また、パラメータ読出部951Bは、検知部92によるマスク径検出処理により検出された現状の検出マスク径DMを認識する。そして、パラメータ読出部951Bは、記録部98Bに現状のフォーカス位置、ズーム位置、及び検出マスク径DMと同一の関連情報が関連付けられた既存補正パラメータが記録されているか否かを判断する。そして、パラメータ読出部951Bは、記録部98Bに現状のフォーカス位置、ズーム位置、及び検出マスク径DMと同一の関連情報が関連付けられた既存補正パラメータが記録されていると判断した場合には、当該既存補正パラメータを記録部98Bから読み出して画像処理部93に出力する。
【0052】
パラメータ算出部952Bは、パラメータ読出部951Bにて記録部98Bに現状のフォーカス位置、ズーム位置、及び検出マスク径DMと同一の関連情報が関連付けられた既存補正パラメータが記録されていないと判断された場合に、以下の処理を実行する。
すなわち、パラメータ算出部952Bは、記録部98Bに記録されたN個の既存補正パラメータから、当該現状のフォーカス位置、ズーム位置、及び検出マスク径DMに近接する少なくとも2つの関連情報がそれぞれ関連付けられた少なくとも2つの既存補正パラメータを読み出す。そして、パラメータ算出部952Bは、当該少なくとも2つの既存補正パラメータを用いて現状のフォーカス位置、ズーム位置、及び検出マスク径DMに応じた新生補正パラメータを算出し、当該新生補正パラメータを画像処理部93に出力する。
【0053】
なお、上述した変形例2において、記録部98Bに記録したN個の既存補正パラメータに対して、上述した実施の形態と同様に、互いに異なるN個のマスク径DMのみをそれぞれ関連付けても構わない。ここで、当該N個のマスク径DMは、基準となるズーム位置で撮像された場合での被写体像SIのマスク径DMにそれぞれ相当する。そして、記録部98Bに上記のような情報を記録した場合には、パラメータ読出部951B及びパラメータ算出部952Bは、以下に示す第1の機能または第2の機能で機能する。
【0054】
第1の機能は、以下の通りである。
パラメータ読出部951Bは、レンズ位置検出部56からの検出信号に応じて、現状のフォーカス位置及びズーム位置を認識する。また、パラメータ読出部951Bは、検知部92によるマスク径検出処理により検出された現状の検出マスク径DMを認識する。さらに、パラメータ読出部951Bは、現状のフォーカス位置、ズーム位置、及び検出マスク径DMに基づいて、基準となるズーム位置で撮像した場合での被写体像SIのマスク径DMを推定する。以下、説明の便宜上、当該推定したマスク径DMを推定マスク径DMと記載する。また、パラメータ読出部951Bは、記録部98Bに推定マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されているか否かを判断する。そして、パラメータ読出部951Bは、記録部98Bに推定マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていると判断した場合に、当該既存補正パラメータを記録部98Bから読み出してパラメータ算出部952Bに出力する。
【0055】
パラメータ算出部952Bは、パラメータ読出部951Bにて記録部98Bに推定マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていると判断された場合には、以下の処理を実行する。
すなわち、パラメータ算出部952Bは、現状のフォーカス位置及びズーム位置に応じて、パラメータ読出部951Bから出力された既存補正パラメータを調整し、当該調整した既存補正パラメータを画像処理部93に出力する。
一方、パラメータ算出部952Bは、パラメータ読出部951Bにて記録部98Bに推定マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていないと判断された場合に、以下の処理を実行する。
すなわち、パラメータ算出部952Bは、記録部98Bに記録されたN個の既存補正パラメータから、推定マスク径DMに近接する少なくとも2つのマスク径DMがそれぞれ関連付けられた少なくとも2つの既存補正パラメータを読み出す。そして、パラメータ算出部952Bは、当該少なくとも2つの既存補正パラメータを用いて推定マスク径DMに応じた新生補正パラメータを算出する。また、パラメータ算出部952Bは、現状のフォーカス位置及びズーム位置に応じて、当該新生補正パラメータを調整し、当該調整した新生補正パラメータを画像処理部93に出力する。
【0056】
第2の機能は、以下の通りである。
パラメータ読出部951Bは、第1伝送ケーブル6を介してレンズ駆動部55に制御信号を出力し、ズーム位置を基準となるズーム位置に変更する。また、パラメータ読出部951Bは、検知部92にマスク径検出処理を実行させ、当該マスク径検出処理にて検出された検出マスク径DM(基準となるズーム位置で撮像された撮像画像CIのマスク径DM)を認識する。さらに、パラメータ読出部951Bは、記録部98Bに検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されているか否かを判断する。そして、パラメータ読出部951Bは、記録部98Bに検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていると判断した場合に、当該既存補正パラメータを記録部98Bから読み出してパラメータ算出部952Bに出力する。また、パラメータ読出部951Bは、第1伝送ケーブル6を介してレンズ駆動部55に制御信号を出力し、ズーム位置を基準となるズーム位置に変更する前の元のズーム位置に変更する。
【0057】
パラメータ算出部952Bは、パラメータ読出部951Bにて記録部98Bに検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていると判断された場合には、以下の処理を実行する。
すなわち、パラメータ算出部952Bは、現状のフォーカス位置及びズーム位置(ズーム位置を基準となるズーム位置に変更する前の元のズーム位置)に応じて、パラメータ読出部951Bから出力された既存補正パラメータを調整し、当該調整した既存補正パラメータを画像処理部93に出力する。
一方、パラメータ算出部952Bは、パラメータ読出部951Bにて記録部98Bに検出マスク径DMと同一のマスク径DMが関連付けられた既存補正パラメータが記録されていないと判断された場合には、以下の処理を実行する。
すなわち、パラメータ算出部952Bは、記録部98Bに記録されたN個の既存補正パラメータから、検出マスク径DMに近接する少なくとも2つのマスク径DMがそれぞれ関連付けられた少なくとも2つの既存補正パラメータを読み出す。そして、パラメータ算出部952Bは、当該少なくとも2つの既存補正パラメータを用いて検出マスク径DMに応じた新生補正パラメータを算出する。また、パラメータ算出部952Bは、現状のフォーカス位置及びズーム位置(ズーム位置を基準とするズーム位置に変更する前の元のズーム位置)に応じて、当該新生補正パラメータを調整し、当該調整した新生補正パラメータを画像処理部93に出力する。
【0058】
なお、上述した変形例2において、ズーム倍率が所定値以上の場合、あるいは、検出マスク径DMが所定値以上の場合、歪み補正処理を実行しないように構成しても構わない。例えば、
図11(d)に示す状態では、ズーム倍率が所定値以上、あるいは、検出マスク径DMが所定値以上となっており、検出マスク径DMの検出精度が悪いものとなる。このため、当該場合には、歪み補正処理を実行しない。
【0059】
上述した実施の形態及び変形例1,2において、検知部92は、本発明に係る被写体像SIの大きさとしてマスク径DMを検出していたが、これに限らず、被写体像SIやマスク領域MAの面積を検出するように構成しても構わない。
上述した実施の形態及び変形例1,2において、ステップS4~S8の処理をステップS3の処理の前に実行しても構わない。すなわち、ステップS8において、ステップS3で指示された領域(例えば、
図7(a)に示した領域Ar1)ではなく、撮像画像CI全体に対して歪み補正処理を実行しても構わない。
【0060】
上述した実施の形態及び変形例1,2において、被写体像SIの一部を拡大表示するユーザ操作を受け付ける本発明に係る操作受付部は、制御装置9,9A,9B(入力部96)に限らず、例えば、カメラヘッド5,5A,5Bに設けても構わない。
上述した実施の形態及び変形例1,2において、カメラヘッド5,5A,5Bの一部の構成や制御装置9,9A,9Bの一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
上述した実施の形態及び変形例1,2において、内視鏡システム1,1A,1Bは、工業分野で用いられ、機械構造物等の被検体内を観察する内視鏡システムとしてもよい。
【符号の説明】
【0061】
1,1A,1B 内視鏡システム
2a 第1内視鏡
2b 第2内視鏡
2A 内視鏡
3 光源装置
4 ライトガイド
5,5A,5B カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9,9A,9B 制御装置
10 第3伝送ケーブル
21 接眼部
22 タグ
51,51B レンズユニット
52 撮像部
53 通信部
54 検出部
55 レンズ駆動部
56 レンズ位置検出部
91 通信部
92 検知部
93 画像処理部
94 表示制御部
95,95A,95B 制御部
96 入力部
97 出力部
98,98A,98B 記録部
511 フォーカスレンズ
512 ズームレンズ
951,951A,951B パラメータ読出部
952,952B パラメータ算出部
Ar1~Ar3 領域
BP 境界点
CI 撮像画像
CN1,CN2 コネクタ
DI 表示画像
DM マスク径
DM1~DMN マスク径
L1~L14 水平ライン
MA マスク領域
SI 被写体像
SIO 中心位置
VE 補正ベクトル