(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】画像処理方法、撮像装置及び画像処理装置
(51)【国際特許分類】
H04N 5/243 20060101AFI20221206BHJP
H04N 5/225 20060101ALI20221206BHJP
H04N 7/18 20060101ALI20221206BHJP
A61B 1/00 20060101ALI20221206BHJP
A61B 1/045 20060101ALI20221206BHJP
G02B 23/24 20060101ALI20221206BHJP
G02B 23/26 20060101ALI20221206BHJP
【FI】
H04N5/243
H04N5/225 500
H04N7/18 M
A61B1/00 732
A61B1/045 610
G02B23/24 B
G02B23/26
(21)【出願番号】P 2020082525
(22)【出願日】2020-05-08
【審査請求日】2021-07-27
(73)【特許権者】
【識別番号】502109050
【氏名又は名称】ファイバーテック株式会社
(74)【代理人】
【識別番号】110000176
【氏名又は名称】一色国際特許業務法人
(72)【発明者】
【氏名】山田 耕司
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2014-241580(JP,A)
【文献】特開平06-343134(JP,A)
【文献】特開平04-069615(JP,A)
【文献】特開2000-350193(JP,A)
【文献】特開平06-324222(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/243
H04N 5/225
H04N 7/18
A61B 1/00
A61B 1/045
G02B 23/24
G02B 23/26
(57)【特許請求の範囲】
【請求項1】
観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、
前記内視鏡を接続可能であり、接眼レンズを介して前記光を検知し、電気信号に変換するイメージセンサ及び前記電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部を有する撮像装置と、を備える内視鏡システムにおける画像処理方法であって、
基準面を撮影して基準画像データを生成するステップと、
前記基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、
観察対象を撮影して観察画像データを生成するステップと、
前記観察画像データを構成する複数の画素データの各々に、前記輝度ムラ補正演算を施すステップと
を含む画像処理方法。
【請求項2】
前記基準面は、無彩色であり、前記画像処理方法は、
前記基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出するステップと、
前記観察画像データを構成する複数の画素データの各々に、前記色ムラ補正演算を施すステップと、
を含む請求項1に記載の画像処理方法。
【請求項3】
前記観察画像データを構成する複数の画素データの各々を、前記コアの径、前記コアの密度、前記接眼レンズの像倍率及び前記イメージセンサの画素密度に基づいて決定された平滑化フィルタを用いて平滑化するステップを含む請求項1又は2に記載の画像処理方法。
【請求項4】
観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、
前記内視鏡を接続可能であり、接眼レンズを介して光を検知して電気信号に変換するイメージセンサと、
前記イメージセンサによって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部と、
基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、
観察対象を撮影して得られた観察画像データを構成する複数の画素データの各々に前記輝度ムラ補正演算を施す画像処理部と、
を
有する撮像装置
と
を備えた内視鏡システム。
【請求項5】
前記画像処理部は、
前記基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、
前記観察画像データを構成する複数の画素データの各々に前記色ムラ補正演算を施すことを特徴とする請求項4に記載の
内視鏡システム。
【請求項6】
前記画像処理部は、
前記観察画像データを構成する複数の画素データの各々を平滑化することを特徴とする請求項4又は5に記載の
内視鏡システム。
【請求項7】
観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、
前記内視鏡を接続可能であり、接眼レンズを介して光を検知して電気信号に変換するイメージセンサと、前記イメージセンサによって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部とを有する撮像装置と、
前記撮像装置に接続可能であり、
基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、
観察対象を撮影して得られた観察画像データを構成する複数の画素データの各々に前記輝度ムラ補正演算を施す画像処理装置
と
を備えた内視鏡システム。
【請求項8】
前記画像処理装置は、
前記基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、
前記観察画像データを構成する複数の画素データの各々に前記色ムラ補正演算を施すことを特徴とする請求項7に記載の
内視鏡システム。
【請求項9】
前記画像処理装置は、
前記観察画像データを構成する複数の画素データの各々を平滑化することを特徴とする請求項7又は8に記載の
内視鏡システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理方法、撮像装置及び画像処理装置に関する。
【背景技術】
【0002】
複数のコアを含むイメージガイドファイバを有する内視鏡が知られている。複数のコアの各々は、観察対象の表面で反射した後に入射した光を伝送する。複数のコアの隙間はクラッドで充填されている。入射した光はコアとクラッドの界面で全反射を繰り返しながら伝送され、コア内に閉じ込められる。一方、クラッドは光を殆ど伝送しないため、内視鏡に接続された表示装置に表示される観察対象の画像の領域において、クラッドに対応する領域の輝度が低くなる。これによって、観察者は、所謂網目模様を視認する。
【0003】
特許文献1には、このような網目模様を除去する技術が開示されている。具体的には、表示される観察対象の画像において、コアに対応する領域及びその外側のクラッドに対応する領域の色を、当該コアに対応する領域の一点の色に置き換える。これによって、クラッドに対応する領域の色がコアに対応する領域の色に基づいて補完され、網目模様を除去又は低減することができるとされている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に開示された方法では、コアに対応する領域及びその外側のクラッドに対応する領域の色を、当該コアに対応する領域の一点の色に置き換えることにより、当該コアに対応する領域に各点の異なる輝度と色度の情報が単一の輝度と色度に置き換えられるため、表示される画像の解像度が劣化する。
【0006】
本発明の目的は、内視鏡システムによって表示される画像の解像度の劣化を抑えた上で、網目模様を実質的に除去することが可能な画像処理方法を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するための主たる発明は、観察対象の表面で反射した後に入射した光を伝送する複数のコアを含むイメージガイドファイバを有する内視鏡と、前記内視鏡を接続可能であり、前記光を検知して電気信号に変換するイメージセンサ及び前記イメージセンサによって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部を有する撮像装置と、を備える内視鏡システムにおける画像処理方法であって、基準面を撮影して基準画像データを生成するステップと、前記基準画像データに施すと、前記基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、観察対象を撮影して観察画像データを生成するステップと、前記観察画像データを構成する複数の画素データの各々に、前記輝度ムラ補正演算を施すステップとを含む画像処理方法である。本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
【発明の効果】
【0008】
本発明によれば、内視鏡システムによって表示される画像の解像度の劣化を抑えた上で、網目模様を実質的に除去することが可能な画像処理方法を提供することができる。
【図面の簡単な説明】
【0009】
【
図1】実施形態の内視鏡システムの全体構成を説明する概略図である。
【
図3】実施形態の内視鏡における挿入部の断面を示す図である。
【
図4】実施形態の内視鏡における挿入部の断面を示す図である。
【
図5】実施形態の撮像装置の機能ブロック図である。
【
図6】実施形態のイメージセンサに到達する光の経路を説明する図である。
【
図7】実施形態の画像処理方法のフローチャートである。
【
図8】実施例の画像処理条件及び評価結果を示す表である。
【
図9A】実施例1の条件で基準画像に画像処理を施した場合の表示画像である。
【
図9B】実施例1の条件で観察画像に画像処理を施した場合の表示画像である。
【
図10A】実施例2の条件で基準画像に画像処理を施した場合の表示画像である。
【
図10B】実施例2の条件で観察画像に画像処理を施した場合の表示画像である。
【
図11A】比較例1の条件で基準画像に画像処理を施した場合の表示画像である。
【
図11B】比較例1の条件で観察画像に画像処理を施した場合の表示画像である。
【
図12A】比較例2の条件で基準画像に画像処理を施した場合の表示画像である。
【
図12B】比較例2の条件で観察画像に画像処理を施した場合の表示画像である。
【
図13A】実施例3の条件で基準画像に画像処理を施した場合の表示画像である。
【
図13B】実施例3の条件で観察画像に画像処理を施した場合の表示画像である。
【
図14A】比較例3の条件で基準画像に画像処理を施した場合の表示画像である。
【
図14B】比較例3の条件で観察画像に画像処理を施した場合の表示画像である。
【
図15A】比較例4の条件で基準画像に画像処理を施した場合の表示画像である。
【
図15B】比較例4の条件で観察画像に画像処理を施した場合の表示画像である。
【
図16A】比較例5の条件で基準画像に画像処理を施した場合の表示画像である。
【
図16B】比較例5の条件で観察画像に画像処理を施した場合の表示画像である。
【発明を実施するための形態】
【0010】
<実施形態>
==内視鏡システム==
図1は、本実施形態の内視鏡システム1の構成を説明する図である。内視鏡システム1は、内視鏡2と、撮像装置3と、光源装置4と、表示装置5とを備えている。
【0011】
[内視鏡]
図2は、本実施形態の内視鏡2の構成を説明する図である。内視鏡2は、たとえば、涙道のような生体内部(すなわち、観察対象)を観察することを目的とした医療機器である。本実施形態の内視鏡2は、挿入部21と、把持部22と、リード部23とを有している。
【0012】
挿入部21は、観察対象に挿入される細長の部材である。挿入部21は、
図1及び
図2示すように、その基端部が把持部22に接続される。
【0013】
図3は、挿入部21の長さ方向と垂直な面であって、イメージガイドファイバ212が通る面における断面図である。
図4は、挿入部21の軸心を通る面の断面図である。挿入部21は、対物レンズ211と、イメージガイドファイバ212と、ライトガイドファイバ213と、外装パイプ214とを有している。
【0014】
対物レンズ211は、観察対象の表面で反射した光を集光するためのレンズである。対物レンズ211は、挿入部21の先端部に設けられている。
【0015】
イメージガイドファイバ212は、対物レンズ211を介して入射した光を、撮像装置3に伝送する。イメージガイドファイバ212は、複数のコア212a、クラッド212b及びジャケット212cを含んでいる。複数のコア212aの各々は、観察対象の表面で反射し、対物レンズ211を介して入射した光を伝送する。複数のコア212aの各々の材質は、例えば、石英、ガラス、プラスチック等である。
【0016】
クラッド212bは、複数のコア212aの外側の隙間を充填する。クラッド212bの材質は、例えば石英、ガラス、プラスチック等であって、コア212aに比べて屈折率が小さい材質である。ジャケット212cは、複数のコア212a及びクラッド212bを被覆する。
【0017】
ライトガイドファイバ213は、観察対象を照明する。本実施形態では、挿入部21は、5本のライトガイドファイバ213を有している。本実施形態のライトガイドファイバ213は、コア213a及びクラッド213bを含んでいる。コア213aは、光源装置4からの光を伝送する。クラッド213bは、コア213aの外側を充填する。コア213a及びクラッド213bの材質は特に限定されない。たとえば、コア212a及びクラッド212bと同様の材質で形成される。
【0018】
外装パイプ214は、管状の部材であって、その内部に、イメージガイドファイバ212及びライトガイドファイバ213が配置される。外装パイプ214は、ステンレス鋼等の金属で構成される。外装パイプ214の内部において、対物レンズ211、イメージガイドファイバ212及びライトガイドファイバ213の外側は充填剤214aで充填されている。
【0019】
把持部22は、内視鏡2を使用する際に観察者が把持する部分である。把持部22の一端には、挿入部21の基端部が接続されている。把持部22の他端には、リード部23が接続されている。
【0020】
リード部23は、把持部22に連結されている。リード部23は、分岐部23aを介して2つに分岐している。分岐した一方の末端にはイメージガイドプラグ23bが設けられ、他方の末端にはライトガイドプラグ23cが設けられている。
【0021】
イメージガイドプラグ23bには、挿入部21から把持部22及び分岐部23aを通って延出するイメージガイドファイバ212の端部が接続されている。ライトガイドプラグ23cには、挿入部21から把持部22及び分岐部23aを通って延出するライトガイドファイバ213の端部が接続されている。
【0022】
[撮像装置]
図5は、本実施形態の撮像装置3の機能ブロック図である。
図6は、本実施形態のイメージセンサ31に到達する光の経路を説明する図である。撮像装置3は、内視鏡2からの光を検知して観察対象の画像データを生成し、当該画像データに画像処理を施す。そして、画像処理が施された画像データに対応する出力信号を表示装置5に出力する。撮像装置3には、内視鏡端子3aが設けられている(
図1参照)。内視鏡端子3aに内視鏡2のイメージガイドプラグ23bを接続することにより、撮像装置3に対して内視鏡2が接続される。撮像装置3は、接眼レンズ30と、イメージセンサ31と、画像生成部32と、画像処理部33と、出力信号生成部34とを有している。
【0023】
(接眼レンズ)
接眼レンズ30は、
図6に示すように、イメージガイドファイバ212に伝送された光を集光し、観察対象の拡大された像をイメージセンサ31上に結像させる。
【0024】
(イメージセンサ)
イメージセンサ31は、接眼レンズ30を介して光を検知し、当該光の強度に応じた電気信号に変換する。イメージセンサ31としては、例えば、CMOS、CCD等を用いることができる。
【0025】
イメージセンサ31には、複数の画素が設けられている。複数の画素は、行列状に配列されている。本実施形態では、複数の画素の各々には、赤、緑又は青の光を検知する受光素子が、それぞれ1つずつ配置されている。受光素子としては、例えばフォトダイオード等を用いることができる。
【0026】
(画像生成部)
画像生成部32は、イメージセンサ31によって変換された電気信号に基づいて、画像データを生成する。画像データは、画像を表現するためのデータである。画像データは、複数の画素データから構成される。複数の画素データの各々は、画素情報と、色情報とを有している。
【0027】
画素情報は、複数の画素データの各々に対応する画素を特定する情報である。画素情報は、例えば一の整数i(i=1~Np)で表現さてもよい。Npは、イメージセンサ31に設けられた画素の数に対応する値である。または、画素情報は、画素が配置された行及び列を示す二の整数m及びn(m=1~Nr、n=1~Nc)で表現されてもよい。Nr及びNcはそれぞれ、イメージセンサ31に行列状に配置された複数の画素の行及び列の数に対応する値である。
【0028】
色情報は、画素情報によって特定される画素に配置された受光素子が検知した光の色を表現する情報である。色情報は、RGB空間を用いた表現(以下、RGB表現)を用いる。具体的に、RGB表現による色情報は、R、G及びBそれぞれの輝度値で示される。R、G及びBの輝度値はそれぞれ、例えば、0~1の範囲で、256階調で表される。
【0029】
本実施形態では、複数の画素データの各々は、RGB表現による色情報(R(i)、G(i)、B(i))を有している。iは、対応する画素情報である。R(i)、G(i)及びB(i)はそれぞれ、画素情報iで特定される画素に配置された、赤、緑及び青の光を検知する受光素子が出力した電気信号に基づいて定められる。
【0030】
後述する本実施形態の画像処理方法において、画像生成部32が生成する画像データは、基準画像データ及び観察画像データである。基準画像データは、内視鏡システム1に対してキャリブレーションを施すための画像データである。基準画像データは、予め用意された基準面を撮影して生成された画像データである。基準面は、単色且つ無彩色である色が施された平板等の表面である。
【0031】
観察画像データは、観察対象を撮影して生成された画像データである。観察画像データは、所定の時間間隔で、複数生成される。複数の観察画像データの各々は、表示装置5に観察対象の動画を表示するためのフレームのもとになる画像データである。
【0032】
以下、単に「画像データ」と呼称する場合、基準画像データ及び観察画像データのいずれも当てはまる。
【0033】
(画像処理部)
画像処理部33は、画像生成部32によって生成された画像データに対し、輝度ムラ補正、色ムラ補正、及び平滑化を施す。
【0034】
輝度ムラ補正は、輝度ムラを除去又は低減させるために画像データに施す処理である。輝度ムラとは、表示装置5に表示された画像(以下、表示画像)の各所における明るさのばらつきをいう。以下、輝度ムラが生じる原因について説明する。
【0035】
コア212aに入射した光は、コア212aとクラッド212bとの界面で全反射を繰り返しながら伝搬する。しかし、イメージガイドファイバ212の製造工程において生じるばらつきや、長期間の使用に伴う変形や劣化等により、コア212aを伝搬する光が、コア212aとクラッド212bとの界面で全反射せず、その一部がクラッド212b側へ入射する場合がある。このような場合、基準面や観察対象が単色であっても、その表面で反射し、コア212aに入射して伝搬し、イメージセンサ31へ到達する光の量は、コア212a毎にばらつきがある。
【0036】
このため、画像データに対して、輝度ムラ補正を施さないと、表示画像に輝度ムラが生じる場合がある。輝度ムラ補正の具体的な処理の手順については後述する。
【0037】
尚、本実施形態の輝度ムラ補正によって、所謂網目模様を実質的に除去することができる。網目模様とは、クラッド212bに起因して、表示画像に生じる網目状の模様をいう。以下、網目模様が生じる原因について説明する。
【0038】
クラッド212b側へ入射した光の一部は、クラッド212bを伝搬してイメージセンサ31へ到達する。クラッド212bを伝搬してイメージセンサ31へ到達する光の量は、複数のコア212aを伝搬してイメージセンサ31へ到達する光の量に比べて微小である。このため、表示装置5に表示される観察対象の画像において、クラッド212bに対応する領域の輝度が他の領域の輝度に比べて低くなる。これにより、クラッド212bに対応する領域が、網目模様として視認される。
【0039】
また、色ムラ補正は、色ムラを除去又は低減させるために、画像データに施す処理である。色ムラとは、表示画像の各所における色彩のばらつきをいう。以下、色ムラが生じる原因について説明する。
【0040】
前述のように、コア212aを伝搬する光が、コア212aとクラッド212bとの界面で全反射せず、その一部がクラッド212b側へ入射する場合がある。このとき、一部の波長領域の光のみがクラッド212b側へ入射する場合がある。このような場合、観察対象の表面が無彩色であっても、当該観察対象の表面で反射し、コア212aに入射して伝搬し、イメージセンサ31へ到達する光は、有彩色となる場合がある。
【0041】
このため、画像データに対して、色ムラ補正を施さないと、表示装置5に表示される観察対象の画像に色ムラが生じる場合がある。色ムラ補正の具体的な処理の手順については後述する。
【0042】
平滑化は、表示装置5に表示される観察対象の画像からノイズを除去したり、当該画像をぼかしたりするための処理である。平滑化は、例えば、行列状に配列された複数の画素の各々に対応する画素データの色情報を、その画素を中心とした複数の画素(例えば、9個又は25個)の画素データの色情報の平均値に置き換えることによって実現できる。平滑化は、所定の平滑化フィルタを用いて実行する。所定の平滑化フィルタは、コア212aの径、コア212aの密度、接眼レンズ30の像倍率及びイメージセンサ31の画素の密度に基づいて決定される。
【0043】
コア212aの密度とは、ジャケット212cの内部におけるコア212aの数密度であり、具体的には、コア212aの本数を、ジャケット212cの内部の断面積で除した数である。画素の密度とは、例えば1インチあたりに配置される画素の数(ppi)で定義される密度である。
【0044】
平滑化において、平均値を取るための画素の数が大きいほど、網目模様の低減具合は大きくなるが、表示画像の解像度の劣化具合が大きくなる。
【0045】
特に、平滑化において、平均値を取るための画素の数を増加させることにより、網目模様を実質的に除去することができるが、表示画像の解像度が著しく劣化する。
【0046】
一方、表示画像の解像度の劣化が肉眼で視認することができない条件での平滑化(弱い平滑化)を実行した場合、肉眼で容易に視認できる程度の網目模様が残る。しかし、弱い平滑化とともに、輝度ムラ補正を実行した場合、表示画像の解像度の劣化を抑えた上で、網目模様を除去することができる。平滑化の具体的な処理の手順については後述する。
【0047】
尚、本明細書において、画像生成部32によって生成された直後の画像データに対して画像処理を施した後の画像データについて、「画像処理が施された画像データ」等と呼称する。ここでの「画像処理」は、輝度ムラ補正、色ムラ補正又は平滑化のいずれか一以上の画像処理を含む。
【0048】
画像処理部33が輝度ムラ補正及び色ムラ補正を実行する手順について説明する前に、YUV表現について説明する。なお、輝度ムラ補正と色ムラ補正を実行する手順について、以下の説明ではYUV色空間を用いた方法で説明を行うが、用いられる色空間についてはこれに限定されるものではない。輝度の指標と彩度の指標を数値的に表現可能な色空間であればどのような色空間を用いても良く、たとえば、RGB空間、CIE-XYZ表色系、CIE-L*a*b色空間、HSI空間6角錐モデル(HSV)、HSI空間双6角錐モデル(HSL)などを用いても良い。また、各々の色空間での色情報の線形もしくは非線形変換を行った色空間を用いても良い。画像処理部33は、輝度ムラ補正及び色ムラ補正を実行する際に、YUV表現を用いて処理を実行する。具体的に、画像処理部33は、先ず、RGB表現による画像データの色情報を、YUV表現による色情報に変換する。
【0049】
YUV表現による色情報は、Y、U及びVで示される。Y、U及びVは、RGB表現による色情報に、所定の線形変換を施すことによって得られる。所定の線形変換の定義は幾つか提案されている。以下の説明では、ITU-R BT.709の定義を用いて説明を行うが、これに限定されるものではなく、ITU-R BT.601やPAL規格、などを用いても良い。ITU-R BT.709の定義によるYUV表現による色情報は、RGB表現による色情報に対して以下の線形変換を施すことにより得られる。
【0050】
Y=0.2126R+0.7152G+0.0722B
U=0.5389(B-Y)=-0.1146R-0.3854G+0.5000B
V=0.6350(R-Y)=0.5000R-0.4542G-0.0458B
【0051】
また、RGB表現による色情報は、ITU-R BT.709の定義によれば、YUV表現による色情報に対して以下の線形変換を施すことにより得られる。
R=Y+1.575V
G=Y-0.187U-0.468V
B=Y+1.856U
【0052】
Yは、色情報が表現する色の輝度を示す値である。U及びVが0である場合のYUV表現での色情報(Y,U,V)=(Y,0,0)は、輝度がYである無彩色に対応する。また、Yが0である場合のYUV表現での色情報(Y,U,V)=(0,U,V)は、RGB表現では(R,G,B)=(0,0,0)となることから、黒に対応する。
【0053】
Uは、それが0である場合の色情報(Y,0,V)と比べた場合の、相対的なBの輝度を示す値である。Vは、それが0である場合の色情報(Y,U,0)と比べた場合の、相対的なRの輝度を示す値である。
【0054】
本明細書において、YUV表現による色情報(Y,U,V)のYを「輝度成分」と呼称し、U及びVを「色差成分」と呼称することがある。
【0055】
輝度ムラ補正及び色ムラ補正の処理において、基準画像データを構成する複数の画素データの各々の色情報(Yc(i),Uc(i),Vc(i))を用いる。ここで、iは画素を特定するための番号であり、前述のように、iは1~Npの整数である(以下、同様)。
【0056】
単色である基準面で反射する光の色情報は、当該基準面に亘って均一である。しかし、当該基準面で反射し、複数のコア212aを伝搬してイメージセンサ31に到達した光の輝度は、前述の理由により、均一になるとは限らない。
【0057】
従って、基準面が単色であっても、イメージセンサ31に到達した光の輝度成分Yc(i)は、全てのi(i=1~Np)について一定であるとは限らない。
【0058】
また、無彩色である基準面で反射する光の色情報は、色差成分が0となる。しかし、前述のように、基準面で反射し、複数のコア212aを伝搬してイメージセンサ31に到達した光は、有彩色になる場合がある。
【0059】
従って、基準面が無彩色であっても、イメージセンサ31に到達した光の色差成分Uc(i)及びVc(i)は、0であるとは限らない。
【0060】
以下、画像処理部33が実行する輝度ムラ補正の具体的な処理の手順について説明する。輝度ムラ補正は、画像処理部33が、輝度ムラ補正演算を導出し、画像データに対し、当該輝度ムラ補正演算を施すことによって実現される。
【0061】
輝度ムラ補正演算は、それを基準画像データに対して施した場合に、当該基準画像データを構成する複数の画素データの各々の色情報の輝度成分を均一にする演算である。
【0062】
以下、画像処理部33が、輝度ムラ補正演算を導出する処理について説明し、次いで、輝度ムラ補正演算を画像データに施す処理について説明する。
【0063】
輝度ムラ補正演算は、輝度ムラ補正値を用いた演算である。輝度ムラ補正演算を導出するために、先ず、輝度ムラ補正値を取得する。
【0064】
輝度ムラ補正値は、予め設定された輝度値であるY0、及び基準画像データを構成する複数の画素データの各々の色情報(Yc(i),Uc(i),Vc(i))の輝度成分Yc(i)である。
【0065】
輝度ムラ補正演算は、具体的には、任意の画像データを構成する複数の画素データの各々の色情報(Y(i),U(i),V(i))の輝度成分に、Y0/Yc(i)を乗じることにより、色情報(Y(i)Y0/Yc(i),U(i),V(i))に変換する演算である。
【0066】
輝度ムラ補正演算を、基準画像データを構成する複数の画素データの各々に施すと、その色情報(Yc(i),Uc(i),Vc(i))が、(Y0,Uc(i),Vc(i))に変換される。つまり、前述のように、輝度ムラ補正演算によって、基準画像データを構成する複数の画素データの全ての色情報の輝度成分は均一になる。
【0067】
次いで、画像処理部33が実行する色ムラ補正の具体的な処理の手順について説明する。色ムラ補正は、画像処理部33が、色ムラ補正演算を導出し、画像データに対し、当該色ムラ補正演算を施すことによって実現される。
【0068】
色ムラ補正演算は、それを基準画像データに対して施した場合に、基準画像データを構成する複数の画素データの各々の色情報の色差成分を除去する演算である。
【0069】
以下、画像処理部33が、色ムラ補正値演算を導出する処理について説明し、次いで、色ムラ補正演算を画像データに施す処理について説明する。
【0070】
色ムラ補正演算は、色ムラ補正値を用いた演算である。色ムラ補正演算を導出するために、先ず、色ムラ補正値を取得する。
【0071】
色ムラ補正値は、基準画像データを構成する複数の画素データの各々の色情報(Yc(i),Uc(i),Vc(i))の色差成分Uc(i)及びVc(i)である。
【0072】
色ムラ補正演算は、具体的には、画像データを構成する複数の画素データの各々の色情報(Y(i),U(i),V(i))のU(i)を、色差補正値Uc(i)だけ減じ、V(i)を、色差補正値Vc(i)だけ減じる演算である。
【0073】
色ムラ補正演算を、基準画像データを構成する複数の画素データの各々に施すと、その色情報(Yc(i),Uc(i),Vc(i))を、(Yc(i),0,0)と変換する。つまり、前述のように、色ムラ補正演算によって、基準画像データを構成する複数の画素データの全ての色情報の色差成分は除去される。
【0074】
以上、輝度ムラ補正、色ムラ補正及び平滑化について説明したが、画像処理部33は、輝度補正、コントラスト補正、ホワイトバランス補正、ガンマ補正のような画像処理を施すこともできる。これらの処理については公知の手法を用いることが可能である。
【0075】
(出力信号生成部)
出力信号生成部34は、画像処理部33によって処理された画像データに基づく出力信号を生成し、当該出力信号を表示装置5に出力する。
【0076】
[光源装置]
光源装置4は、観察対象を照明するための光をライトガイドファイバ213に供給する。光源装置4には、ソケット4aが設けられている(
図1参照)。ソケット4aに内視鏡2のライトガイドプラグ23cを接続することにより、光源装置4に対して内視鏡2が接続される。これによって、光源装置4は、観察対象を照明するための光をライトガイドファイバ213に供給することができる。光源装置4は、光を発生させるLEDもしくはハロゲンランプ等の光源を有する。
【0077】
[表示装置]
表示装置5は、出力信号生成部34が出力した出力信号に基づいて、観察対象の画像を表示する。
【0078】
<画像処理方法>
本実施形態の撮像装置3が実行する画像処理方法について、詳細に説明する。
図7は、本実施形態の画像処理方法を説明するフローチャートである。
【0079】
本実施形態の画像処理方法は、基準画像データを生成するステップS1と、輝度ムラ補正演算を導出するステップS2と、色ムラ補正演算を導出するステップS3と、観察画像データを生成するステップS4と、輝度ムラ補正演算を施すステップS5と、色ムラ補正演算を施すステップS6と、平滑化するステップS7と、表示画面に表示するステップS8とを含む。以下、それぞれについて詳述する。
【0080】
1.基準画像データを生成するステップS1
ステップS1において、画像生成部32は、基準画像データを生成する。
【0081】
具体的に、内視鏡2が接続された状態で観察者が光源装置4のスイッチをオンに切り替えた場合、光源装置4は光を発生させ、ライトガイドファイバ213に供給する。ライトガイドファイバ213は、供給された光を伝播し、内視鏡2の先端部から出射するので、観察者は、内視鏡2を基準面に向ける。これによって、光源装置4は、ライトガイドファイバ213を介して基準面を照明する。この状態で、観察者は、撮像装置3のキャリブレーションボタン(図示せず)を押す。これに応じて、画像生成部32は、基準画像データを生成する。つまり、画像生成部32は、基準画像データを構成する複数の画素データの各々の画素情報及び色情報(Rc(i),Gc(i),Bc(i))を生成する。
【0082】
2.輝度ムラ補正演算を導出するステップS2
ステップS2において、画像処理部33は、輝度ムラ補正演算を導出する。
【0083】
具体的に、先ず、ステップS1で画像生成部32によって生成された基準画像データを構成する複数の画素データの各々の色情報(Rc(i),Gc(i),Bc(i))を、YUV空間で表現される色情報(Yc(i),Uc(i),Vc(i))に変換する。
【0084】
そして、画像処理部33は、輝度ムラ補正値として、予め設定された輝度値Y0、及び色情報の輝度成分Yc(i)を取得する。
【0085】
3.色ムラ補正演算を導出するステップS3
ステップS3において、画像処理部33は、色ムラ補正演算を導出する。
【0086】
先ず、画像処理部33は、色ムラ補正値として、基準画像データを構成する複数の画素データの各々の色情報(Yc(i),Uc(i),Vc(i))の色差成分Uc(i)及びVc(i)を取得する。
【0087】
4.観察画像データを生成するステップS4
ステップS4において、画像生成部32は、観察画像データを生成する。
【0088】
具体的に、ステップS4では、観察者は、光源装置4のスイッチをオンに維持する。そうすると、光源装置4からの光が、内視鏡2のライトガイドファイバ213を伝搬し、内視鏡2の先端部から出射する状態が維持されるので、観察者は、内視鏡2を観察対象に向ける。これによって、光源装置4は、ライトガイドファイバ213を介して観察対象を照明する。この状態で、観察者が、撮像装置3の撮影ボタン(図示せず)を押すことによって、撮像装置3は、観察を開始する。これに応じて、画像生成部32は、観察対象の画像データを生成する。つまり、観察画像データを構成する複数の画素データの各々の画素情報及び色情報(Y´(i),U´(i),V´(i))が得られる。
【0089】
5.輝度ムラ補正演算を施すステップS5
ステップS5において、画像処理部33は、観察対象の画像データを構成する複数の画素データの各々に、輝度ムラ補正演算を施す。
【0090】
具体的に、画像処理部33は、画素データの各々の色情報(Y´(i),U´(i),V´(i))に対し、ステップS2で導出した輝度ムラ補正演算を施し、(Y´(i)Y0/Yc(i),U´(i),V´(i))に変換する。
【0091】
6.色ムラ補正演算を施すステップS6
ステップS6において、画像処理部33は、観察対象の画像データを構成する複数の画素データの各々に、色ムラ補正演算を施す。
【0092】
具体的に、観察対象の画像データを構成する複数の画素データの各々の色情報(Y´(i),U´(i),V´(i))に、ステップS3で導出した色ムラ補正演算を施し、以下のように変換する。
(Y´(i),U´(i),V´(i))→(Y´(i),U´(i)-Uc(i),V´(i)-Vc(i))
【0093】
7.平滑化するステップS7
ステップS7において、画像処理部33は、観察対象の画像データを構成する複数の画素データの各々を平滑化する。
【0094】
8.表示装置に表示するステップS8
ステップS8において、出力信号生成部34は、ステップS5~S7までの画像処理が施された観察画像データに基づく出力信号を生成し、当該出力信号を表示装置5に出力する。ステップS5~S7までの画像処理が施された観察画像データを、観察対象の一フレームの画像データとする。表示装置5は、当該出力信号に基づいて、観察対象の一フレームの画像を表示する。
【0095】
以上のステップにより、一フレームの画像データについて、本実施形態の画像処理方法が実行される。観察対象の観察を終了せずに継続する場合(ステップS9:No)は、ステップS4に戻り、後続するフレームの画像データについて同様の処理を行う。つまり、後続するフレームの画像データに対しても、ステップS2で導出した色ムラ補正演算及びステップS3で導出した色ムラ補正演算を用いた画像処理を施す。
【0096】
尚、本実施形態の内視鏡システム1による画像処理方法の各ステップは、上記の順番に限定されるものではない。例えば、輝度ムラ補正演算を施すステップS5、色ムラ補正演算を施すステップS6、及び平滑化するステップS7を実行する順番は任意である。
【0097】
また、色ムラ補正演算を施すステップS6及び平滑化するステップS7は任意のステップである。
【0098】
以上から明らかなように、本実施形態の画像処理方法は、観察対象の表面で反射した後に入射した光を伝送する複数のコア212aを含むイメージガイドファイバ212を有する内視鏡2と、内視鏡2を接続可能であり、接眼レンズ30を介して光を検知して電気信号に変換するイメージセンサ31及びイメージセンサ31によって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部32を有する撮像装置3と、を備える内視鏡システム1における画像処理方法であって、基準面を撮影して基準画像データを生成するステップと、基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出するステップと、観察対象を撮影して観察画像データを生成するステップと、観察画像データを構成する複数の画素データの各々に、輝度ムラ補正演算を施すステップとを含む。
【0099】
このような画像処理方法によれば、複数の画素データの内、クラッド212bに対応する領域の複数の画素データの各々に対しても輝度ムラ補正が施される。クラッド212bに対応する領域の複数の画素データの補正前の輝度は、コア212aに対応する領域の複数の画素データの補正前の輝度に比べて低い。しかし、輝度ムラ補正によって、クラッド212bに対応する領域の複数の画素データの補正後の輝度は、コア212aに対応する領域の複数の画素データの補正後の輝度と同程度になる。その結果、表示装置5に表示される表示画像の網目模様が実質的に除去される。また、複数の画素データの各々に輝度ムラ補正演算を施しているため、表示画像の解像度の劣化を抑えることができる。
【0100】
つまり、このような画像処理方法によれば、内視鏡システム1によって表示される画像の解像度の劣化を抑えた上で、網目模様を実質的に除去することができる。なお、網目模様を実質的に除去するとは、網目模様を肉眼で視認することが困難な程度に低減することをいう。
【0101】
また、上記画像処理方法において、基準面は、無彩色であり、画像処理方法は、基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出するステップと、観察画像データを構成する複数の画素データの各々に、色ムラ補正演算を施すステップと、を含む。
【0102】
このような画像処理方法によれば、更に、内視鏡システム1によって表示される画像の色ムラを除去することができる。
【0103】
また、上記画像処理方法において、観察画像データを構成する複数の画素データの各々を、コア212aの径、コア212aの密度、接眼レンズ30の像倍率及びイメージセンサ31の画素密度に基づいて決定された平滑化フィルタを用いて平滑化するステップを含む。
【0104】
このような画像処理方法によれば、更に、内視鏡システム1によって表示される画像の網目模様を除去することができる。
【0105】
本実施形態の撮像装置3は、各々が光を検知して電気信号に変換するイメージセンサ31と、イメージセンサ31によって変換された電気信号に基づいて、複数の画素データから構成される画像データを生成する画像生成部32と、基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、観察対象を撮影して得られた観察対象の画像データを構成する複数の画素データの各々に輝度ムラ補正演算を施す画像処理部33と、を備える。
【0106】
このような撮像装置3によれば、表示装置5に表示される画像の画質の劣化を抑えた上で、輝度ムラを除去し、網目模様を実質的に除去することができる。
【0107】
また、上記撮像装置3において、画像処理部33は、基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、観察対象の画像データを構成する複数の画素データの各々に色ムラ補正演算を更に施す。
【0108】
このような撮像装置3によれば、更に、表示装置5に表示される画像の色ムラを除去することができる。
【0109】
また、上記撮像装置3において、画像処理部33は、観察対象の画像データを構成する複数の画素データの各々を平滑化する。
【0110】
このような撮像装置3によれば、更に、表示装置5に表示される画像の網目模様を除去することができる。
【0111】
<変形例>
本実施形態では、撮像装置3が画像処理部33を備える態様を示したが、これに限られない。変形例として、撮像装置3とは別の構成として、撮像装置3に接続可能な画像処理装置を備え、当該画像処理装置が本実施形態の画像処理部33と同様の機能を有する画像処理部を備える態様としてもよい。
【0112】
変形例の画像処理装置は、基準面を撮影して得られた基準画像データを構成する複数の画素データの各々の輝度成分を均一にする輝度ムラ補正演算を導出し、観察対象を撮影して得られた観察画像データを構成する複数の画素データの各々に輝度ムラ補正演算を施す。
【0113】
このような画像処理装置によれば、表示装置5に表示される画像の画質の劣化を抑えた上で、輝度ムラを除去し、網目模様を実質的に除去することができる。
【0114】
また、上記画像処理装置において、基準画像データを構成する複数の画素データの各々の色差成分を除去する色ムラ補正演算を導出し、観察対象の画像データを構成する複数の画素データの各々に色ムラ補正演算を更に施す。
【0115】
このような画像処理装置によれば、更に、表示装置5に表示される画像の色ムラを除去することができる。
【0116】
また、上記画像処理装置において、観察対象の画像データを構成する複数の画素データの各々を平滑化する。
【0117】
このような画像処理装置によれば、更に、表示装置5に表示される画像の網目模様を除去することができる。
【実施例】
【0118】
観察対象を撮影して、表示装置5に表示された当該観察対象の画像(以下、表示画像)について評価を行った。具体的には、いずれの画像処理も施さない場合の表示画像と比較し、各画像処理条件による表示画像の、輝度ムラの低減具合、色ムラの低減具合、網目模様の低減具合及び解像度の劣化具合について評価を行った。
【0119】
これらの評価は、観察者の目視により行った。
図8は、実施例1~3及び比較例1~5の画像処理条件及び得られた表示画像についての評価結果をまとめた表である。以下、詳細に説明する。
【0120】
[共通条件]
実施例1~3及び比較例1~5に共通する条件について説明する。基準画像を得るための基準面としては、白色の板の表面を用いた。観察対象としては、人間の手のひらを用いた。手のひらを開いた状態で、その手のひらの中央部に内視鏡の挿入部を正対させた状態で、手のひらを観察した。
【0121】
本実施例では、内視鏡としては、ファイバーテック社製涙道ファイバースコープを用いた。撮像装置としては、ファイバーテック社製3CMOS HDカメラ FC-304を用い、画像処理部を制御するプログラムを、上記実施形態と同様の制御を実行させるよう調整した。光源装置としてはファイバーテック社製 光源装置 FL-301を用いた。表示装置としては、池上通信機社製MLW-2425Cを用いた。
【0122】
内視鏡において、イメージガイドファイバの径は、0.35mmである。イメージガイドファイバが有するコアは10000本である。コアの各々の径は3.5±0.5μmである。コアの密度は、100000本/mm2である。
【0123】
撮像装置において、イメージセンサには、3mm×5.4mmの領域に複数の画素が配列されている。複数の画素は、1080行1920列の行列状に、計2073600個配列されている。画素密度は、900~920ppiである。また、イメージガイドファイバとイメージセンサの間には接眼レンズがあり、イメージガイドファイバに伝送された光による像を拡大してイメージセンサに結像しており、その接眼レンズの像倍率は5.5±1倍とした。
【0124】
[個別条件]
図8に、各実施例及び各比較例における、輝度ムラ補正及び色ムラ補正の有無を示した。具体的に、処理を実行した場合を「有」で示し、処理を実行しなかった場合を「無」で示している。平滑化については、処理を実行しなかった場合を「無」で示し、実行した場合を「強」または「弱」で示している。「弱」及び「強」はそれぞれ、複数の画素の各々に対応する画素データの色情報を、その画素を中心とした25個及び49個の画素の画素データの色情報の平均値に置き換える平滑化に対応する。「弱」及び「強」をそれぞれ、「弱い平滑化」及び「強い平滑化」と呼称する。
【0125】
[評価方法]
網目模様の低減具合、輝度ムラの低減具合、色ムラの低減具合及び解像度の劣化具合について、二重丸、一重丸、三角又はバツの4段階で評価した。
【0126】
ここで、網目模様の低減具合、輝度ムラの低減具合及び色ムラの低減具合については、以下の基準で評価を行った。バツは、顕著に視認できると評価された結果を示す。三角は、バツに比べて低減されているが、肉眼で容易に視認できると評価された結果を示す。一重丸は、実質的に除去されたと評価された結果を示す。実質的に除去されたとは、除去されたわけではないが、肉眼で視認することが困難な程度に低減されたと評価された結果を示す。二重丸は、除去されたと評価された結果を示す。除去されたとは、肉眼で視認することができない程度に低減されたと評価された結果を示す。
【0127】
また、解像度の劣化具合については、平滑化が施されていない条件の一つであり、解像度が良好であると評価された比較例1を二重丸とし、これを基準に評価を行った。二重丸は、比較例1に比べて劣化していないと評価された結果を示す。ここで、劣化していないとは、肉眼で劣化を視認することができないことを示す。一重丸は、比較例1に比べて実質的に劣化していないと評価された結果を示す。ここで、実質的に劣化していないとは、劣化はしたが、肉眼で劣化を視認することは困難であることを示す。三角は、肉眼で容易に視認できる程度に劣化したと評価された結果を示す。バツは、著しく劣化したと評価された結果を示す。
【0128】
[評価結果]
図8には、網目模様、輝度ムラ及び色ムラの低減具合並びに解像度の劣化具合についての評価結果が示されている。
図9A~16Bには、実施例1~3及び比較例1~5の条件で得られた、基準面及び観察対象の、表示画像を示している。
【0129】
(輝度ムラ補正の効果)
実施例1と比較例1との評価結果を比較して、輝度ムラ補正の効果について考察する。
図9Aは、実施例1の条件で基準画像に画像処理を施した場合の表示画像である。
図9Bは、実施例1の条件で観察画像に画像処理を施した場合の表示画像である。
図11Aは、比較例1の条件で基準画像に画像処理を施した、つまりいずれの画像処理も施していない場合の表示画像である。
図11Bは、比較例1の条件で観察画像に画像処理を施した、つまりいずれの画像処理も施していない場合の表示画像である。
【0130】
実施例1及び比較例1の表示画像を比較すると、基準画像及び観察画像について、輝度ムラ補正を画像データに施すことによって、輝度ムラの除去のみならず、網目模様が実質的に除去されていることがわかる。
【0131】
(色ムラ補正の効果)
実施例2と実施例1との評価結果を比較して、色ムラ補正の効果について考察する。
図10Aは、実施例2の条件で基準画像に画像処理を施した場合の表示画像である。
図10Bは、実施例2の条件で観察画像に画像処理を施した場合の表示画像である。
【0132】
実施例2及び実施例1の表示画像を比較すると、基準画像及び観察画像について、色ムラ補正を画像データに施すことによって、色ムラが除去されることがわかる。また、基準画像及び観察画像について、色ムラ補正を画像データに施しても、網目模様は除去又は低減されないことがわかる。
【0133】
(輝度ムラ補正と弱い平滑化との相乗効果)
実施例2、実施例3、比較例3及び比較例4の評価結果を比較することによって、輝度ムラ補正と弱い平滑化との相乗効果について考察する。
図10Aは、実施例2の条件で基準画像に画像処理を施した場合の表示画像である。
図10Bは、実施例2の条件で観察画像に画像処理を施した場合の表示画像である。
図13Aは、実施例3の条件で基準画像に画像処理を施した場合の表示画像である。
図13Bは、実施例3の条件で観察画像に画像処理を施した場合の表示画像である。
図14Aは、比較例3の条件で基準画像に画像処理を施した場合の表示画像である。
図14Bは、比較例3の条件で観察画像に画像処理を施した場合の表示画像である。
図15Aは、比較例4の条件で基準画像に画像処理を施した場合の表示画像である。
図15Bは、比較例4の条件で観察画像に画像処理を施した場合の表示画像である。
【0134】
実施例2及び比較例3から、輝度ムラ補正又は弱い平滑化の一方を画像データに施すことのみによっては、網目模様は除去されたと評価できないことがわかる。つまり、これらのいずれか一方の画像処理のみによっては、網目模様を肉眼で視認することができない程度に低減された(つまり、二重丸)とは評価できないことがわかる。
【0135】
一方、比較例4から、強い平滑化を画像データに施すことによって、網目模様が除去されることがわかる。しかし、強い平滑化を画像データに施すことによって、画像の解像度が劣化することがわかる。
【0136】
実施例3から、輝度ムラ補正及び弱い平滑化を画像データに施すことによって、画像の解像度の劣化を伴わずに、網目模様が除去されることがわかる。
【符号の説明】
【0137】
1:内視鏡システム
2:内視鏡
21:挿入部
211:対物レンズ
212:イメージガイドファイバ
212a:コア
212b:クラッド
212c:ジャケット
213:ライトガイドファイバ
213a:コア
213b:クラッド
214:外装パイプ
214a:充填剤
22:把持部
23:リード部
23a:分岐部
23b:イメージガイドプラグ
23c:ライトガイドプラグ
3:撮像装置
3a:内視鏡端子
30:接眼レンズ
31:イメージセンサ
32:画像生成部
33:画像処理部
34:出力信号生成部
4:光源装置
4a:ソケット
5:表示装置