(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022133968
(43)【公開日】2022-09-14
(54)【発明の名称】画像キャリブレーション装置
(51)【国際特許分類】
A61B 1/00 20060101AFI20220907BHJP
G02B 23/24 20060101ALI20220907BHJP
G02B 23/26 20060101ALI20220907BHJP
H04N 5/225 20060101ALI20220907BHJP
【FI】
A61B1/00 630
A61B1/00 731
G02B23/24 B
G02B23/26 C
H04N5/225 400
H04N5/225 600
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021032945
(22)【出願日】2021-03-02
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100123962
【弁理士】
【氏名又は名称】斎藤 圭介
(72)【発明者】
【氏名】露木 浩
【テーマコード(参考)】
2H040
4C161
5C122
【Fターム(参考)】
2H040BA01
2H040CA23
2H040CA24
2H040GA02
2H040GA06
2H040GA11
4C161CC06
4C161FF40
4C161JJ11
4C161JJ18
4C161LL02
4C161PP13
4C161TT12
5C122DA26
5C122EA12
5C122EA22
5C122EA58
5C122FB15
5C122GG01
5C122HA82
5C122HA88
5C122HB01
5C122HB06
(57)【要約】
【課題】内視鏡システムにおいて2つの画像を合成する際、合成した画像の画質の劣化やアーチファクトを低減する画像キャリブレーション装置を提供すること。
【解決手段】第1のチャートと、第2のチャートと、第3のチャートと、第1、2、3のチャートへ照明光を照射する光源と、第1、2、3のチャートを載置するステージと、キャリブレーションプロセッサと、を有し、キャリブレーションプロセッサは、第1のチャートを撮像して得られる第1の2つの画像それぞれの空間周波数特性値を算出する第1の算出部と、第2のチャートを光学装置により撮像して得られる第2の2つの画像の相対的な位置関係の差異を算出する第2の算出部と、第3のチャートの2つの画像の相対的な明るさ比率の差異をRGB信号ごとに算出する第3の算出部と、第1の補正パラメータと、第2の補正パラメータを算出するパラメータ算出部と、を有する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
物体側から順に、対物光学系と、前記対物光学系で得られた被写体像を光路差の異なる2つの光学像に分割する光路分割部と、前記2つの光学像から2つの画像を取得する撮像素子と、を有する光学装置のための画像キャリブレーション装置であって、
第1のチャートと、
第2のチャートと、
第3のチャートと、
前記第1のチャートと前記第2のチャートと前記第3のチャートへ照明光を照射する光源と、
前記第1のチャート、前記第2のチャート及び前記第3のチャートを載置するステージと、
キャリブレーションプロセッサと、を有し
前記キャリブレーションプロセッサが、
前記第1のチャートを撮像して得られる第1の2つの画像それぞれの空間周波数特性値を算出する第1の算出部と、
前記第1の2つの画像の前記空間周波数特性値が、同等となる第1のチャートの位置に、前記第2のチャートを配置した状態で、前記第2のチャートを前記光学装置により、撮像して得られる第2の2つの画像の相対的な位置関係の差異を算出する第2の算出部と、
前記光源によって照明された前記第3のチャートを前記光学装置により、撮像して得られる第3の2つの画像の相対的な明るさ比率の差異をRGB信号ごとに算出する第3の算出部と、
前記位置関係の差異を補正する第1の補正パラメータと、前記明るさ比率の差異を補正する第2の補正パラメータを算出するパラメータ算出部と、
を有することを特徴とする画像キャリブレーション装置。
【請求項2】
前記キャリブレーションプロセッサは、さらに、前記ステージを、前記光学装置に対して、第1のチャートの観察距離を任意のステップで変更する駆動部と、
前記観察距離毎に第1のチャートの静止画像を格納された格納部と、を有し、
前記第1の算出部は、前記格納部に格納された前記第1のチャートの静止画像から算出した前記第1のチャートの2つの画像の各々の空間周波数特性値を算出し、かつ該空間周波数特性値が前記第1のチャートの2つの画像で同一となる観察距離を算出し、
前記ステージは、前記第1の算出部が算出した前記観察距離に前記第2のチャートを配置するホルダを有し、
前記格納部は、前記第2のチャートの静止画像を格納し、
前記パラメータ算出部は、前記第2のチャートの静止画像と、前記第2の算出部が算出した前記位置関係の差異とに基づいて前記第1の補正パラメータを算出することを特徴とする請求項1に記載の画像キャリブレーション装置。
【請求項3】
前記第1のチャートは、空間周波数特性値を求めるチャートであって、前記第1のチャートは白黒エッジ稜線を含むチャートパターンを有し、
前記第1のチャートは、前記2つの画像の視野中心と前記白黒エッジ稜線とが交わる様に配置されることを特徴とする請求項2に記載の画像キャリブレーション装置。
【請求項4】
前記第2のチャートは、少なくとも2以上の異なるの階調を有する領域をランダムに配置したグレースケールチェッカパターンであることを特徴とする請求項1に記載の画像キャリブレーション装置。
【請求項5】
前記パラメータ算出部は、前記第1の補正パラメータに関して、前記第2のチャートの2つの画像のうちの一方の画像を基準として算出することを特徴とする請求項1に記載の画像キャリブレーション装置。
【請求項6】
前記第3のチャートは積分球であって、前記積分球へ導光される照明光の分光特性は、前記光学装置を使用するときの光源の分光特性と同じであることを特徴とする請求項1に記載の画像キャリブレーション装置。
【請求項7】
前記光学装置は、異なる観察モードを切り替えられる内視鏡システムであり、前記内視鏡システムの前記観察モード毎に前記光源からの照明光が切り替わり、
前記パラメータ算出部は、前記観察モード毎に、前記第2の補正パラメータを算出することを特徴とする請求項1の画像キャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像キャリブレーション装置に関するものである。例えば、医療用分野や工業用分野などで用いられる内視鏡の画像合成における画像キャリブレーション装置に関する。
【背景技術】
【0002】
内視鏡は、医療用分野及び工業用分野で広く使用されている装置である。特に、医療用分野においては、体腔内に挿入された内視鏡により得られる画像で、観察部位の診断や治療に利用されている。
【0003】
一般に、内視鏡システムを始め、撮像素子を備えた機器において、撮像素子の高画素化に伴い、被写界深度が狭くなることが知られている。すなわち、撮像素子において、画素数を増やすために画素ピッチ(1画素の縦横の寸法)を小さくすると、これに伴って許容錯乱円も小さくなるため、撮像装置の被写界深度が狭くなる。
【0004】
以下の特許文献1、2、3、4には、ピントが異なる2つの画像を同時に取得して画像合成する深度拡大内視鏡が提案されている。
【0005】
内視鏡対物光学系からの像を偏光ビームスプリッター(PBS)で2つに分割し、分割した2画像を合成して、深度拡大やダイナミックレンジ拡大、解像力向上をする内視鏡がある。この際、画像合成処理を行う事前処理として、2画像の幾何学的な位置合わせをし、併せて明るさや色調を略同一に補正するキャリブレーション処理が実施される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第2013/027459号
【特許文献2】国際公開第2013/061819号
【特許文献3】国際公開第2014/002740号
【特許文献4】国際公開第2016/043107号
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1は、2つの画像の位置、倍率、回転、色調、明るさの差異を画像処理にて補正して、画像を合成する深度拡大内視鏡システムが提案されている。特許文献2、3では、補正値を固有の補正パラメータとして保持し、画像処理部に対象の内視鏡が接続されると連動して、前述の補正パラメータを読み出してリアルタイムに補正する内視鏡システムが提案されている。特許文献4は、狭帯域観察においても最適な合成被写界深度が得られるように、内視鏡の観察モードに応じて補正パラメータを切替える内視鏡システムが提案されている。
【0008】
特許文献1、2、3、4は、補正パラメータ自体の具体的な取得方法や構成は開示していない。このため、2つの画像を合成する際、最適な補正が行われない場合、合成画像の画質の劣化やアーチファクト(ノイズ)が生じるという課題がある。
【0009】
2つの画像の位置合わせにおいて、内視鏡対物光学系に対して位置合わせ用のチャートを配置して撮像し、キャリブレーションを実施するが、適切でない観察距離にチャートを配置すると、精密な位置合わせが出来ないという課題がある。また、明るさや色調を補正する際に、適切でないチャートや光源を対象にすると偏光依存、波長依存の影響で、正しいキャリブレーションが出来ず、合成画像ではアーチファクトが生じ易くなるという課題がある。更に内視鏡システムには、様々な観察モードがあり、明るさや色調の特性が各々で異なることから、観察モードを切替えると最適な補正状態から外れてしまうという課題がある。
【0010】
本発明は、このような問題点に鑑みてなされたものであり、内視鏡システムにおいて2つの画像を合成する際、予め最適な補正パラメータを取得することで、合成した画像の画質の劣化やアーチファクト(ノイズ)を低減する画像キャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【0011】
上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態の画像キャリブレーション装置は、物体側から順に、対物光学系と、対物光学系で得られた被写体像を光路差の異なる2つの光学像に分割する光路分割部と、2つの光学像から2つの画像を取得する撮像素子と、を有する光学装置のための画像キャリブレーション装置であって、
第1のチャートと、
第2のチャートと、
第3のチャートと、
第1のチャートと第2のチャートと第3のチャートへ照明光を照射する光源と、
第1のチャート、第2のチャート及び第3のチャートを載置するステージと、
キャリブレーションプロセッサと、を有し
キャリブレーションプロセッサは、
第1のチャートを撮像して得られる第1の2つの画像それぞれの空間周波数特性値を算出する第1の算出部と、
第1の2つの画像の空間周波数特性値が、同等となる第1のチャートの位置に、第2のチャートを配置した状態で、第2のチャートを光学装置により、撮像して得られる第2の2つの画像の相対的な位置関係の差異を算出する第2の算出部と、
光源によって照明された第3のチャートを光学装置により、撮像して得られる第3の2つの画像の相対的な明るさ比率の差異をRGB信号ごとに算出する第3の算出部と、位置関係の差異を補正する第1の補正パラメータと、明るさ比率の差異を補正する第2の補正パラメータを算出するパラメータ算出部と、
を有する。
【発明の効果】
【0012】
本発明は、内視鏡システムにおいて2つの画像を合成する際、予め最適な補正パラメータを取得することで、合成した画像の画質の劣化やアーチファクト(ノイズ)を低減する画像キャリブレーション装置を提供できるという効果を奏する。
【図面の簡単な説明】
【0013】
【
図1】実施形態に係る画像キャリブレーション装置の斜視構成図である。
【
図2】実施形態に係る画像キャリブレーション装置の構成図である。
【
図3】画像キャリブレーション装置に設置する光学装置が有する対物光学系、光路分割部及び撮像素子の断面構成を示す図(通常観察状態)である。
【
図4】光学装置が有する偏光解消板と、光路分割部と撮像素子との概略構成図である。
【
図5】光学装置が有する撮像素子の概略構成図である。
【
図6】実施形態に係る画像キャリブレーション装置のキャリブレーション工程を示すフローチャートである。
【
図7】(a)は、第1のチャートを示す図である。(b)は、撮像素子が撮像した第1のチャートの2つの画像を示す図である。
【
図8】第1のチャートの2つの画像の空間周波数特性値を示す図である。
【
図9】実施形態に係る画像キャリブレーション装置の他の斜視構成図である。
【
図11】撮像素子が撮像した第2のチャートの2つの画像を示す図である。
【
図12】実施形態に係る画像キャリブレーション装置の別の斜視構成図である。
【
図13】撮像素子が撮像した第3のチャートの2つの画像を示す図である。
【
図14】第3のチャートの分光分布特性を示す図である。
【
図15】内視鏡システムの構成を示す機能ブロック図である。
【0014】
以下に、実施形態に係る画像キャリブレーション装置を図面に基づいて詳細に説明する。なお、この実施形態により、この発明が限定されるものではない。
【0015】
図1は、実施形態に係る画像キャリブレーション装置100の斜視構成図である。
図2は、画像キャリブレーション装置100の他の構成図である。
【0016】
画像キャリブレーション装置100は、物体側から順に、対物光学系OBL(
図3)と、対物光学系OBLで得られた被写体像を光路差の異なる2つの光学像に分割する光路分割部120と、2つの光学像から2つの画像を取得する撮像素子122と、を有する光学装置200のための画像キャリブレーション装置100である。光学装置200は、被写界深度を拡大できる内視鏡システム1(
図15)が有している。内視鏡システム1の構成と、光学装置200の構成とは後述する。
【0017】
図2に示すように、画像キャリブレーション装置100は、第1のチャート101(
図7)と、第2のチャート102(
図10)と、第3のチャート103(
図2)と、これらのチャート101、102、103へ導光路116を介して照明光を照射する光源115と、第1のチャート101、第2のチャート102及び第3のチャート103を載置するステージ104と、キャリブレーションプロセッサ108(
図2)と、を有する。
【0018】
後述するプロセッサ装置4は、光源115を有する。光源115は、第1、第2、第3のチャート101、102、103を照明するための光を供給する。光源115からの光は、導光路116により、第1のチャート101、第2のチャート102、第3のチャート103が載置されている方向へ導光される。
【0019】
導光路116は、光ファイバ等で構成できる。第1のチャート101、第2のチャート102は、透過型のチャートである。導光路116aから射出する光は、第1のチャート101または第2のチャート102を紙面左方側から照射する。導光路116bから射出する光は、第3のチャート103(積分球)内へ導かれる。
【0020】
例えば、光源115からの光は、導光路116で導光され、バックライトを点灯させる。導光された光は、バックライトに併設される透過型の第1のチャート101、または第2のチャート102を照射する。
【0021】
光学装置200は、バックライトで照射された第1のチャート101、第2のチャート102を撮像する。
【0022】
第3のチャート103(積分球)に関しては、光源115から導光路116bで導光された照明光は、積分球内を照射する。
【0023】
光学装置200は、積分球内部を撮像する。なお、変形例として、光源115を外付けで別途設置する構成でも良い。さらに、光源115として、内視鏡システム1が有する内視鏡用照明光学系のための光源装置3(
図15)からの照明光を用いることもできる。
【0024】
図2に戻って説明を続ける。キャリブレーションプロセッサ108は、第1の算出部110と、第2の算出部111と、第3の算出部112と、パラメータ算出部113と、を有する。
【0025】
第1の算出部110は、第1のチャート101を撮像して得られる第1の2つの画像101a、101b(
図7(b))それぞれの空間周波数特性値を算出する。
【0026】
次に、第2の算出部111は、第1の2つの画像101a、101bの空間周波数特性値が、同等となる位置Lに、第2のチャート102を配置した状態で、第2のチャート102を光学装置200により撮像して得られる第2の2つの画像102a、102b(
図11)の相対的な位置関係の差異を算出する、
【0027】
第3の算出部112は、光源によって照明された第3のチャート103を光学装置200により、撮像して得られる第3の2つの画像103a、103b(
図13)の相対的な明るさ比率の差異をRGB信号ごとに算出する。
【0028】
パラメータ算出部113は、2つの画像102a、102bの位置関係の差異を補正する第1の補正パラメータと、明るさ比率の差異を補正する第2の補正パラメータを算出する。
【0029】
まず、画像キャリブレーション装置100のキャリブレーションの対象となる光学装置200の例を説明する。
図3は、画像キャリブレーション装置100に設置する光学装置200が有する対物光学系OBL、光路分割部120及び撮像素子122の断面構成を示す図(通常観察状態)である。
【0030】
対物光学系OBLは、レンズL1-L10を有する第1群G1、第2群G2、第3群G3の3群構成である。
【0031】
光学装置200は、物体側から順に、対物光学系OBLと、偏光解消板121aと、対物光学系OBLからの光を2つに分割する光路分割部120と、分割した2つの像を撮像する撮像素子122と、を有する。偏光解消板121aは、対物光学系OBLと光路分割部120との間の光路中に配置される。偏光解消板121aは、偏光を解消する機能を有する。
【0032】
図4は、光学装置200が有する偏光解消板121aと、光路分割部120と撮像素子との概略構成図である。
【0033】
対物光学系OBLを射出した光は、偏光解消板121aを経て、光路分割部120に入射する。偏光解消板121aは、
図4を用いて後述するように、簡易な構成で偏光を解消する機能を有する。
【0034】
光路分割部120は、被写体像をピントの異なる2つの光学像に分割する偏光ビームスプリッター121と、2つの光学像を撮像して2つの画像を取得する撮像素子122と、を有する。
【0035】
偏光ビームスプリッター121は、
図5に示すように、物体側のプリズム121b、像側のプリズム121e、ミラー121c、及びλ/4板121dを備えている。物体側のプリズム121b及び像側のプリズム121eは共に光軸AXに対して45度の斜度であるビームスプリット面を有する。
【0036】
物体側のプリズム121bのビームスプリット面には偏光分離膜121fが形成されている。そして、物体側のプリズム121b及び像側のプリズム121eは、互いのビームスプリット面を偏光分離膜121fを介して当接させて偏光ビームスプリッター121を構成している。
【0037】
また、ミラー121cは、物体側のプリズム121bの端面近傍にλ/4板121dを介して設けられている。像側のプリズム121eの端面には、カバーガラスCGを介して撮像素子122が取り付けられている。Iは、結像面(撮像面)である。
【0038】
対物光学系OBLからの被写体像は、物体側のプリズム121bにおいてビームスプリット面に設けられた偏光分離膜121fによりP偏光成分(透過光)とS偏光成分(反射光)とに分離され、反射光側の光学像と透過光側の光学像との2つの光学像に分離される。
【0039】
S偏光成分の光学像は、偏光分離膜121fで撮像素子122に対して対面側に反射されA光路を通り、λ/4板121dを透過後、ミラー121cで反射され、撮像素子122側に折り返される。折り返された光学像は、λ/4板121dを再び透過する事で偏光方向が90°回転し、偏光分離膜121fを透過して撮像素子122に結像される。
【0040】
P偏光成分の光学像は、偏光分離膜121fを透過してB光路を通り、撮像素子122に向かって垂直に折り返す像側のプリズム121eのビームスプリット面と反対側に設けられたミラー面によって反射され、撮像素子122に結像される。この際、A光路とB光路で、例えば、数十μm程度の所定の光路差を生じさせるように、プリズム硝路を設定しておき、ピントが異なる2つの光学像を撮像素子122の受光面に結像させる。
【0041】
すなわち、物体側のプリズム121b及び像側のプリズム121eが、被写体像をピント位置が異なる2つの光学像に分離できるように、物体側のプリズム121bにおける撮像素子122に至る透過光側の光路長(硝路長)に対して反射光側の光路長が短く(小さく)なるように配置する。
【0042】
また、2つの光学像のそれぞれの光路長(硝路長)において、任意の光路長差を得られる構成であれば本実施形態の構成に限られない。例えば、物体側のプリズム121bにおける撮像素子122に至る透過光側の光路長(硝路長)に対して反射光側の光路長が長く(大きく)なるように配置しても良い。
【0043】
図5は、撮像素子122の概略構成図である。撮像素子122は、
図5に示すように、ピント位置が異なる2つの光学像を各々個別に受光して撮像するために、撮像素子122の全画素領域の中に、2つの受光領域(有効画素領域)122a、122bが設けられている。
【0044】
図6は、実施形態に係る画像キャリブレーション装置100のキャリブレーション工程を示すフローチャートである。
【0045】
ステップS1において、第1のチャート101をステージ104上のホルダ106に設置する。
図7(a)は、第1のチャート101の正面図である。
【0046】
第1のチャート101は、空間周波数特性値を求めるチャートであって、第1のチャート101は、白黒エッジ稜線101bkを含むチャートパターンを有する。第1のチャート101は、2つの画像101a、101bの視野中心122ac、122bcと、白黒エッジ稜線101abk、101bbkとがそれぞれ交わる様に配置される。
【0047】
一般的に空間周波数特性値(ここでは解像度と同義とする)の評価には、ISO12233で定義されている視覚解像度や限界解像度(SIN波チャート)、SFR(Spatial Frequency Response)チャート等が用いられる。本実施形態における第1のチャート101は、特にSFRチャートである事が望ましい。理由を以下に述べる。
【0048】
後述する第2のチャート102の観察距離Lを求めるために、A、B光路夫々において、任意のステップ幅で観察距離毎の空間周波数特性値を得る必要がある。視覚解像度や限界解像度を評価するチャートを用いる場合、観察距離毎にピッチパターンを変えたチャートを用意するか、観察倍率に応じた補正係数を考慮する必要がある。その場合、画像キャリブレーション装置100の構成が複雑化することや、コストが高くなり好ましくない。そのため、本実施形態では、観察倍率の影響を受けないSFRチャートを用いる。
【0049】
ステップS2において、撮像素子122は、近点にピントが合った画像(以下、「近点画像」という)である画像101aを撮像する。撮像素子122は、遠点にピントが合った画像(以下、「遠点画像」という)である画像101bを撮像する。
【0050】
また、画像キャリブレーション装置100は、駆動部114と、格納部109と、を有する。
【0051】
被写界深度を拡大する内視鏡は、フォーカスレンズ(
図3の第2群G2)を駆動する事で、通常フォーカス(遠点物体観察)モードと近接フォーカス(近点物体観察)モードとを切替える事ができる。本実施形態では通常フォーカスモード側で、キャリブレーションを行う方が望ましい。近接フォーカスモード側でキャリブレーションを行う場合、第1のチャートと光学装置200との観察距離設定を、通常フォーカスモードに比べて相対的に高精度とする必要があり、アクチュエータや制御ソフトウェアが高コストになり易いからである。
【0052】
駆動部114は、ステージ104を、光学装置200に対して、第1のチャート101の観察距離を任意のステップで変更する(ステップS5)。駆動部114は、例えば、モータ、アクチュエータである。
【0053】
なお、光学装置200に対して、第1のチャート101の観察距離を相対的に変化させれば良い。このため、ステージ104の代わりにステージ105を駆動することで、ホルダ107に保持された光学装置200の位置を変化させても良い。
【0054】
格納部109は、観察距離毎に第1のチャート101の静止画像を格納する。第1の算出部110は、格納部109に格納された第1のチャート101の静止画像から算出した第1の2つの画像の各々の空間周波数特性値を算出する。第1の算出部110は、空間周波数特性値が2つの画像101a、101bで同一となる観察距離Lを算出する(ステップS3、S4)。
【0055】
図8は、第1のチャート101の2つの画像101a(近点画像、三角印でプロット)の空間周波数特性値と、画像101b(遠点画像、丸印でプロット)の空間周波数特性値を示す。第1の算出部110は、空間周波数特性値が2つの画像101a、101bで同一となる観察距離Lを算出する。横軸はデフォーカス量(単位mm)、縦軸は空間周波数特性値(単位%)である。空間周波数特性値は、SFR(Spatial Frequency Reponse)によって求められる。
【0056】
第1の算出部110が算出した観察距離Lで、ステージ104のホルダ106に、第2のチャート102を配置する(ステップS6)。尚、第1のチャート101と第2のチャート102がチャート基板の同一平面上に配置されていれば、ホルダ106に改めて第2のチャート102を配置する必要はない。格納部109は、第2のチャートの静止画像102a、102bを格納する(ステップS7)。パラメータ算出部113は、第2のチャートの静止画像102a、102bと、第2の算出部111が算出した位置関係の差異とに基づいて第1の補正パラメータを算出する(ステップS8、S9)。
【0057】
光学装置200において、画像の空間周波数特性値に応じて画像合成を行う場合、2つの画像の位置合わせ補正を高精度で行う必要がある。ここで、2つの画像で一方の空間周波数特性値が低い(即ち、ピントが合っていない)と、位置合わせの補正精度が低下する。この結果、合成画像の解像力が劣化することや、アーチファクト(ノイズ)が生じてしまうので望ましくない。
【0058】
これに対して、本実施形態では、第1のチャート101の2つの画像101a、101bの空間周波数特性値が同じになる観察距離Lを算出する。そして、算出した観察距離Lに位置合わせ用の第2のチャート102を配置する。これにより、位置合わせの補正パラメータ(第1の補正パラメータ)を得ることができるという効果を奏する。
【0059】
図9は、画像キャリブレーション装置100に第2のチャートを配置した構成を示す。
図10は、第2のチャート102を示す図である。
図11は、光学装置200が撮像した第2のチャートの2つの画像102a、102bを示す図である。
【0060】
第2のチャート102は、少なくとも2以上の異なるの階調を有する領域をランダムに配置したグレースケールチェッカパターンである。
【0061】
通常の白黒パターンチャートは、2階調のみを使ったエッジマッチングである。これに対して、本実施形態では、多段階の階調をランダム配置したパターンを用いる。具体的には、第2のチャート102の2つの画像102a、102b間の複数の階調パターンの輝度差の誤差関数を演算する。そして、誤差関数の演算値を最小化して、2つの画像の位置合わせをする。これにより、高精度の位置合わせが可能となる。
【0062】
また、本実施形態の望ましい態様では、パラメータ算出部113は、第1の補正パラメータに関して、第2の2つの画像102a、102bのうちの一方の画像を基準として算出する。
【0063】
本実施形態におけるキャリブレーションの目的は、相対的に2つの画像間の差異を無くすことで合成画像のアーチファクトや重像を回避することである。このため、2つの画像間の差異の絶対値を求めることは大きな意味を有していない。2つの画像間の差異の絶対値(座標の正解値)を導き出すことは、その計測手段や製造誤差を考慮すると非常に困難であって、仮に基準パラメータを設定出来たとしても、位置合わせアルゴリズムが非常に複雑で、規模が大きくなるため好ましくない。従って、本実施形態では、2つの画像うち1つを基準画像とすることが望ましい。
【0064】
また、本実施形態の望ましい態様では、第3のチャート103は積分球である。積分球へ導光される照明光の分光特性は、光学装置200を使用するときの分光特性と同じである。
【0065】
図12は、本実施形態に係る画像キャリブレーション装置100に第3のチャート103(積分球)の別の斜視構成図である。
図13は、光学装置200が撮像した第3のチャート103の2つの画像103a、103bを示す図である。
【0066】
2つの画像の相対的な明るさ差異を補正する場合、内視鏡システム1の製品に用いる光源特性(分光特性)と同等の特性を有する照明光で補正する事が望ましい。例えば、市販のLED照明装置を使うと、内視鏡光源とは全く異なる色調や明るさをしているため、最適な第2の補正パラメータから逸脱してしまう。仮に、画像処理部で更なる色調や明るさの補正を行ったとしても、回路規模増大や画像のノイズ増加が生じてしまい好ましくない。
【0067】
第3のチャート103である積分球の内面は完全拡散面に相当する。このため、積分球から放出される光は、偏光依存が略存在しない。光路分割部120に偏光ビームスプリッターを用いた光学装置200において、色調、明るさの補正を行う場合、偏光依存がある被写体を基準(衝)にすると、均等な像分割ができない。このため、2つの画像において正しい補正が難しい。従って、本実施形態では、偏光依存が極めて少ない積分球を被写体とする(ステップS10)。
【0068】
上述したように、第3の算出部112は、光源によって照明された第3のチャート103を光学装置200により撮像して得られる第3のチャート103の2つの画像103a、103bの相対的な明るさ比率の差異をRGB信号ごとに算出する(ステップS11)。
【0069】
パラメータ算出部113は、2つの画像103a、103bに関する明るさ比率の差異を補正する第2の補正パラメータを算出する(ステップS12)。
【0070】
図14(a)、(b)、(c)は、光源115から出射される分光分布特性のイメージ図である。横軸は、波長帯域(nm)、縦軸は、任意の強度Isを示す。上述したように、第3のチャート103(積分球)に関して、光源115から導光路116bで導光された照明光は、積分球内を照射する。光学装置200は、積分球内部を撮像する。従って、
図14(a)、(b)、(c)で示すような分光分布特性を有する光を、導光路116bにより積分球へ導くように構成する。
【0071】
光学装置200は、異なる観察モードを切り替えられる内視鏡システム1(
図15
)である。内視鏡システム1の観察モード毎に光源からの照明光が切り替わる。パラメータ算出部113は、観察モード毎に、第2の補正パラメータを算出する。
【0072】
内視鏡の観察モードには、白色光を用いる観察モード以外に、狭帯域の波長を用いた観察モードがある。明るさや色調のキャリブレーションで、白色光のみを対象とした補正パラメータではマッチングが適切でない場合がある。このため、本実施形態では、観察モード毎に用いる照明光で各々補正パラメータを算出、保有することができる。
【0073】
明るさと色調のキャリブレーションに用いられる照明光は、内視鏡の各観察モードに対応した照明光であって、少なくとも通常観察モードに用いる400~700nmの広帯域光と、狭帯域観察モードに用いられる狭帯域光の、複数の照明光を用いて各々の観察モード毎に、明るさと色調のキャリブレーションが実施できる。
【0074】
一般的に、偏光ビームスプリッター、位相差板、偏光解消板という偏光素子は、波長依存性を有する。このため、観察モード毎に補正パラメータを設定することで、より良好な画像品質を得ることができる。尚、光学素子や組立時の製造誤差により、被写界深度を拡大する内視鏡で個体差が存在する。このため、本実施形態のように個体(光学装置200)毎に固有の補正パラメータが必要となる。
【0075】
キャリブレーションにて得られた明るさ、色調の補正パラメータは、内視鏡の各観察モードに連動して切り替わり、画像を補正する。
【0076】
明るさ、色調合わせのキャリブレーションは、偏光依存や波長依存が少ない積分球を被写体とし、光源は製品相当の分光特性を有する光源である。光を導光するライトガイドも併せて製品相当の分光透過特性を有するものを用いることが望ましい。
【0077】
上述したように、本実施形態では、高精度の位置合わせと、波長や偏光に依存しない明るさ色調のキャリブレーションが可能であって、且つ、各種観察モードで最適な合成画像が得られるという効果がある。
【0078】
図15は、上述の補正パラメータを格納している内視鏡システムの構成を示す機能ブロック図である。本実施形態の内視鏡システム1は、被検体内に挿入される内視鏡2と、この内視鏡2に照明光を供給する光源装置3と、プロセッサ装置4と、画像表示部5と、を有する。
【0079】
プロセッサ装置4は、画像処理を行う機能を有するが、それ以外の機能も有する。プロセッサ装置4は、アクチュエータ制御部25と、画像プロセッサ30と、制御部39と、を有する。画像表示装置5は、プロセッサ装置4により生成された画像信号を内視鏡画像として表示する。
【0080】
内視鏡2は、被検体内に挿入される細長の挿入部6と、この挿入部6の後端に設けられた操作部7とを有する。操作部7からは、ライトガイドケーブル8が外側に向かって延びている。ライトガイドケーブル8の一端は、接続部8aを介して、光源装置3に着脱自在に接続されている。ライトガイドケーブル8は、内側にライトガイド9を有する。ライトガイド9の一部は挿入部6内に配置されている。
【0081】
光源装置3は、光源として例えばキセノンランプ等のランプ11を内蔵する。なお、光源として、キセノンランプ等のランプ11に限定されるものでなく、発光ダイオード(LEDと略記)を用いても良い。ランプ11により発生した照明光、例えば、白色光は、絞り12により通過光量が調整される。そして、照明光は、コンデンサレンズ13により集光されて、ライトガイド9の入射端面に入射する。絞り12の開口径は、絞り駆動部14によって変えることができる。
【0082】
ライトガイド9は、光源装置3で生成された照明光を、挿入部6の先端部6aに伝送する。伝送された照明光は、ライトガイド9の先端面から出射する。先端部6aには、先端面に対向して照明レンズ15が配置されている。照明レンズ15は照明光を照明窓15aから出射する。これにより、被検体内部の観察対象部位が照明される。
【0083】
先端部6aには、観察窓20が、照明窓15aの隣に設けられている。観察対象部位からの光は、観察窓20を通過して、先端部6a内に入射する。観察窓20の後方には、対物光学系OBLが配置されている。対物光学系OBLは、レンズ群16と光路分割部120とで構成されている。
【0084】
レンズ群16は、レンズ16aやレンズ21を有する。レンズ21は光軸に沿って移動可能になっている。これにより、合焦が行われる。レンズ21を移動させるために、アクチュエータ22が配置されている。
【0085】
光路分割部120には、1つの撮像素子122(不図示)が配置されている。撮像素子122の受光面に、2つの光学像が同時に形成される。2つの光学像は、撮像素子122によって撮像される。
【0086】
操作部7は、ケーブル24を介して、プロセッサ装置4と接続されている。プロセッサ装置4との接続箇所には、信号コネクタ24aが設けられている。様々な情報の伝達が、ケーブル24を介して、内視鏡2とプロセッサ装置4との間で行われる。信号コネクタ24aは、補正パラメータ格納部37を有する。
【0087】
補正パラメータ格納部37には、画像の補正に使用する補正パラメータ(の情報)が格納されている。補正パラメータは、個々の内視鏡で異なる。固有の内視鏡識別情報を有する内視鏡が、プロセッサ装置4に接続されたとする。この場合、内視鏡識別情報に基づいて、接続された内視鏡に固有の補正パラメータが、補正パラメータ格納部37から読み出される。読み出された補正パラメータに基づいて、画像補正処理部32において、画像の補正が行われる。補正の有無は、制御部39によって行われる。
【0088】
アクチュエータ22の制御は、アクチュエータ制御部25によって行われる。そのために、アクチュエータ22とアクチュエータ制御部25とは、信号線23を介して接続されている。また、撮像素子は、信号線27aを介して、画像プロセッサ30と接続されている。撮像素子からの信号は、画像プロセッサ30に入力される。また、操作部7に設けられたスイッチ26の情報も、信号線27aを介して、プロセッサ装置4に送信される。
【0089】
第1の光路における光路長が、第2の光路における光路長と僅かに異なる場合、撮像面の前後に、ピントの合った光学像が2つ形成される。撮像面に対する光学像のズレ量は僅かである。そのため、撮像面には、一部の領域だけにピントが合っている状態の光学像が、2つ形成される。
【0090】
2つの光学像は撮像素子で撮像される。撮像で得られた画像信号は、信号線27aを介して画像プロセッサ30に入力される。この画像プロセッサ30は、画像読出部31と、画像補正処理部32と、画像合成処理部33と、後段画像処理部34と、画像出力部35と、調光部36と、を有する。
【0091】
画像読出部31では、入力された画像信号から、複数の画像の画像信号を読み出す。ここでは、光学像の数と画像の数は、共に2つとする。
【0092】
2つの光学像を形成する光学系では、幾何的な差異が生じる場合がある。幾何的な差異としては、2つの光学像における相対的ズレ(差異)、例えば、倍率のズレ(差異)、位置ズレ(差異)及び回転方向のズレ(差異)、がある。これらの差異を、対物光学系OBLの製造時などにおいて、完全に無くす事は難しい。しかし、それらのズレ(差異)量が大きくなると、例えば、合成画像が2重に見えてしまう。このため、画像補正処理部32にて上述した幾何的な差異を補正することが好ましい。
【0093】
画像補正処理部32は、読み出された2つの画像に対する画像補正を行う。画像補正処理部32では、例えば、2つの画像における相対的な倍率の差異、位置の差異、回転の差異のうち、少なくとも1つの差異を合致させる処理が行われる。
【0094】
更に、画像補正処理部32では、色調補正を行う。そのために、画像補正処理部32は、色調補正部(不図示)を有する。色調補正では、2つの画像の相対的な輝度と彩度を、少なくとも1つの任意の特定波長帯域において略一致させる処理を行う。色調補正部を設けずに、画像補正処理部32で色調補正を行っても良い。
【0095】
画像補正処理部32では、2つの画像のうち、一方の画像における輝度を、他方の画像における輝度と略一致するように変更する。また、画像補正処理部32では、一方の画像における彩度を、他方の画像における彩度と略一致するように変更する。
【0096】
上述のように、被写界深度の大きな画像を取得する方法では、複数の画像からピントが合っている領域だけを抽出し、抽出した領域の合成が行われる。本実施形態の内視鏡システムでは、複数の画像における明るさの差や色調の差を少なくすることができる。よって、合成した画像において明るさのムラや色調の違いを少なくすることができる。
【0097】
また、画像の色再現性を向上させる方法では、2つの画像を用いた画像合成が行われる。2つの光学像において明るさの差や色調の差が生じていると、撮像で得られた2つの画像にも、明るさの差や色調の差が生じる。本実施形態の内視鏡システムでは、複数の画像において明るさの差や色調の差が生じていても、明るさの差や色調の差を少なくすることができる。よって、合成した画像の色再現性をより向上させることができる。
【0098】
画像合成処理部33では、まず、2つの画像を用いて空間周波数特性値の比較が行われる。この比較は、2つの画像における空間的に同一の画素領域それぞれについて行われる。続いて、相対的に空間周波数特性値が高い方の画素領域の選択が行われる。そして、選択した画素領域を用いて1つの画像を生成する。このように、2つの画像から1つの合成画像を生成する。なお、2つの画像の空間周波数特性値差が小さい場合は、各画像に所定の重み付けして加算する合成画像処理を行った後、合成画像を生成すれば良い。
【0099】
後段画像処理部34では、合成画像に対して、例えば、輪郭強調、ガンマ補正等の画像処理が行われる。画像出力部35は、画像処理された画像を画像表示装置5に出力する。
【0100】
調光部36では、画像読出部31により読み出された画像から、基準の明るさに調光するための調光信号が生成される。調光信号は、光源装置3の絞り駆動部14に出力される。絞り駆動部14は、調光信号に従って、基準の明るさを維持するように絞り12の開口量を調整する。
【0101】
なお、上述の画像キャリブレーション装置は、複数の構成を同時に満足してもよい。このようにすることが、良好な内視鏡用光学系を得る上で好ましい。また、好ましい構成の組み合わせは任意である。
【0102】
また、本実施形態は、被写界深度を拡大する内視鏡システムのキャリブレーション装置に限られない。例えば、左目画像と右目画像とから立体視を行う光学装置の画像キャリブレーション装置にも有用である。
【0103】
以上、本発明の種々の実施形態について説明したが、本発明は、これらの実施形態のみに限られるものではなく、その趣旨を逸脱しない範囲で、これら実施形態の構成を適宜組合せて構成した実施形態も本発明の範疇となるものである。
【0104】
(付記)
なお、これらの実施例から以下の構成の発明が導かれる。
(付記項1)
物体側から順に、対物光学系と、前記対物光学系で得られた被写体像を光路差の異なる2つの光学像に分割する光路分割部と、前記2つの光学像から2つの画像を取得する撮像素子と、を有する光学装置のための画像キャリブレーション方法であって、
第1のチャートと、第2のチャートと、第3のチャートとを供給する工程と、
前記第1のチャートと前記第2のチャートと第3のチャートへ照明光を照射する工程と、
前記第1のチャート、前記第2のチャート及び前記第3のチャートを載置する工程と、
前記第1のチャートを撮像して得られる第1の2つの画像それぞれの空間周波数特性値を算出する第1の算出工程と、
前記第1の2つの画像の前記空間周波数特性値が、同等となる位置に前記第2のチャートを配置した状態で、前記第2のチャートを前記光学装置により、撮像して得られる第2の2つの画像の相対的な位置関係の差異を算出する第2の算出工程と、
前記光源によって照明された前記第3のチャートを前記光学装置により、撮像して得られる第3の2つの画像の相対的な明るさ比率の差異をRGB信号ごとに算出する第3の算出工程と、
前記位置関係の差異を補正する第1の補正パラメータと、前記明るさ比率の差異を補正する第2の補正パラメータを算出するパラメータ算出工程と、
を有することを特徴とする画像キャリブレーション方法。
(付記項2)
付記項1に記載の前記位置関係の差異を補正する第1の補正パラメータと、前記明るさ比率の差異を補正する第2の補正パラメータを格納する補正パラメータ格納部を有する内視鏡システム。
【産業上の利用可能性】
【0105】
以上のように、本発明は、内視鏡システムにおいて2つの画像を合成する際、予め最適な補正パラメータを取得することで、合成した画像の画質の劣化やアーチファクト(ノイズ)を低減する画像キャリブレーション装置に有用である。
【符号の説明】
【0106】
L1~L10 レンズ
AX 光軸
I 像面
OBL 対物光学系
1 内視鏡システム
4 プロセッサ装置
5 画像表示装置
100 画像キャリブレーション装置
101 第1のチャート
102 第2のチャート
103 第3のチャート
104、105 ステージ
106、107 ホルダ
108 キャリブレーションプロセッサ
109 格納部
110 第1の算出部
111 第2の算出部
112 第3の算出部
113 パラメータ算出部
114 駆動部
115 光源
116,116a、116b 導光路
120 光路分割部
122 撮像素子
200 光学装置