(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086059
(43)【公開日】2023-06-21
(54)【発明の名称】光束分離光学系および撮像装置
(51)【国際特許分類】
H04N 23/55 20230101AFI20230614BHJP
A61B 1/04 20060101ALI20230614BHJP
H04N 23/45 20230101ALI20230614BHJP
H04N 23/741 20230101ALI20230614BHJP
H04N 23/60 20230101ALI20230614BHJP
G02B 5/04 20060101ALI20230614BHJP
【FI】
H04N5/225 400
A61B1/04 530
H04N5/225 800
H04N5/235 500
H04N5/232 290
G02B5/04 B
G02B5/04 A
G02B5/04 C
【審査請求】未請求
【請求項の数】10
【出願形態】書面
(21)【出願番号】P 2021213374
(22)【出願日】2021-12-09
(71)【出願人】
【識別番号】515333271
【氏名又は名称】株式会社三井光機製作所
(72)【発明者】
【氏名】河野 景三
(72)【発明者】
【氏名】三井 辰郎
【テーマコード(参考)】
2H042
4C161
5C122
【Fターム(参考)】
2H042CA07
2H042CA08
2H042CA10
2H042CA14
2H042CA17
4C161AA00
4C161BB00
4C161CC06
4C161LL01
4C161MM02
4C161NN01
4C161PP06
4C161PP11
4C161SS07
5C122DA11
5C122DA14
5C122DA16
5C122EA20
5C122EA21
5C122EA38
5C122FA18
5C122FB15
5C122FH18
5C122GE11
5C122HB06
(57)【要約】
【課題】 画像の高ダイナミックレンジを取得するのに適した光束分離プリズム構成およびそれを利用した撮像装置を提供する。
【解決手段】
入射した画像光束を反射膜なしに硝材の内部反射により反射光成分として取得する第一プリズムと、前記第一プリズムとエアギャップを介して配置された第二プリズムであって、前記第一プリズムからの残余光成分を取得する第二プリズムと、前記第一プリズムにより取得した前記反射光成分を光電変換し、第一画像信号を出力する第一撮像素子と、前記第二プリズムにより取得した前記残余光成分を光電変換し、第二画像信号を出力する第二撮像素子と、を備え、前記第一画像信号と前記第二画像信号とを合成処理し、ダイナミックレンジを拡張した画像信号を取得し、併せ画素ずらしによる高解像度またはP/S偏光波の画像信号を取得する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
レンズにより集光された画像光束を入射し、該画像光束を反射膜なしに硝材の内部反射により反射光成分として取得する第一プリズムと、
前記第一プリズムとエアギャップを介して配置された第二プリズムであって、前記第一プリズムからの残余光成分を取得する第二プリズムと、
前記第一プリズムにより取得した前記反射光成分を光電変換し、第一画像信号を出力する第一撮像素子と、
前記第二プリズムにより取得した前記残余光成分を光電変換し、第二画像信号を出力する第二撮像素子と、を備え、
前記第一画像信号と前記第二画像信号とを合成処理し、ダイナミックレンジを拡張した画像信号を取得することを特徴とする光束分離光学系。
【請求項2】
前記反射光成分は、第二プリズム入射面の外面反射成分を追加的に含むことを特徴とする請求項1記載の光束分離光学系。
【請求項3】
前記エアギャップは、エアギャップ内に空気または窒素ガスで構成されていることを特徴とする請求項1記載の光束分離光学系。
【請求項4】
前記第一撮像素子に入射する反射光成分は、前記第二撮像素子に入射する透過光成分より入射光量が少ない可視光成分であり、前記反射光成分を副画像成分とし、前記透過光成分を主画像成分として合成処理されてダイナミックレンジを拡張した画像信号を取得することを特徴とする請求項1記載の光束分離光学系。
【請求項5】
前記第一プリズムの画像光束入射側に赤外光分離プリズムが配置され、
前記赤外光分離プリズムにより出射された赤外光成分を光電変換し、赤外光画像信号を出力する赤外光用撮像素子を備え、
前記赤外光用撮像素子により出力された赤外光画像信号と前記ダイナミックレンジを拡張した画像信号とを取得することを特徴とする請求項5記載の光束分離光学系。
【請求項6】
前記第二プリズムは、複数のプリズムの組み合わせにより構成され、
前記複数のプリズムのそれぞれに対応して設けられ、前記複数のプリズムにより出射された前記残余光成分を光電変換し、画像信号を出力する複数の撮像素子を備え、
前記複数の撮像素子のいずれか一つは他の撮像素子と画素ピッチが半画素ピッチだけずらして前記複数のプリズムに固着されていることを特徴とする請求項1記載の光束分離光学系。
【請求項7】
前記複数のプリズムは、赤色光分離プリズム、青色光分離プリズム、緑色光分離プリズムからなり、
前記赤色用分離プリズムにより取得された赤色光画像を出力する赤色用撮像素子と、前記青色用分離プリズムにより取得された青色光画像を出力する青色用撮像素子と、前記緑色用分離プリズムにより取得された緑色光画像を出力する緑色用撮像素子との組み合わせにより構成され、
前記緑色用撮像素子は、前記赤色用撮像素子および前記青色用撮像素子に対し画素ピッチが半画素ピッチだけずらして対応するプリズムに固着されており、
前記緑色用撮像素子、前記赤色用撮像素子および前記青色用撮像素子の画像信号を用いて輝度信号をサンプリング取得することにより、解像度を向上させた画像信号を取得することを特徴とする請求項6記載の光束分離光学系。
【請求項8】
前記第二プリズムは、更なる緑色光用プリズムを追加的に備え、
前記更なる緑色光用プリズムにより取得された緑色光画像を出力する更なる緑色用撮像素子を追加的に備え、
前記緑色用撮像素子は、前記更なる緑色用撮像素子に対して画素ピッチが半画素ピッチだけずらして対応するプリズムに固着されており、
前記緑色用撮像素子および前記更なる緑色用撮像素子の画像信号を用いて輝度信号をサンプリング取得することにより、解像度を向上させた画像信号を取得することを特徴とする請求項7記載の光束分離光学系。
【請求項9】
前記第二プリズムは、P偏光波およびS偏光波分離プリズムにより構成され、
前記P偏光波分離プリズムに対応し、P偏光波画像信号を出力するP波撮像素子と、
前記S偏光波分離プリズムに対応し、S偏光波画像信号を出力するS波撮像素子と、を備えていることを特徴とする請求項1記載の光束分離光学系。
【請求項10】
前記請求項1ないし請求項9に記載する光束分離光学系のいずれかを備えた撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光束分離プリズム、撮像素子等を備えた光束分離光学系およびそれを適用した撮像装置であって、特に画像の高ダイナミックレンジを取得し、併せ高解像度を取得するのに適した光束分離プリズム構成およびそれを利用した画像撮像装置に関するものである。
【背景技術】
【0002】
ビデオカメラや静止画カメラなどに使用される固体撮像素子の進歩により多種類の小型化された撮像装置が可能となり、種々の広帯域のマルチスペクトルカメラが種々開発されている。これらのマルチスペクトルカメラは、FAカメラ、監視カメラ、車載カメラ、医療用内視鏡カメラ、皮膚疾患観察カメラなど多種多様な用途に利用されている。
【0003】
このようにマルチスペクトルカメラの利用が多様化するため、種々の利用環境や条件下での使用に対応できる性能特性が求められるようになってきている。監視カメラや車載カメラでは、昼夜を問わず明瞭な画像が必要であり、内視鏡やダーモスコープなどの医療用観察、診断カメラでは高解像度で小型化された装置により明暗部を見分けられる画像が求められている。特に、夜間や低照度の撮像画像に照明などの高輝度発光部がある場合、トンネルの出入り口の画像撮影、内視鏡などでの照明反射部の画像取得などでは照明ライト部分が白飛びしたり、暗部の黒つぶれが生じたりするためダイナミックレンジをより拡大させる必要がある。
【0004】
ダイナミックレンジを拡張するには、低照度(低輝度)画像と高照度(高輝度)画像とを取得し、合成する手法が一般的にとられている。低照度画像および高照度画像を取得するには、複数枚画像のフレーム毎、ライン毎または画素毎に照度または露光量を変えて低照度、高照度の2画像を取得する方法が考えられている。特許文献1では、低露光画像と高露光画像を1フレーム毎に交互に撮影取得し、合成する際の時間的ズレ位置を補正している。また、特許文献2では、取得した画像の画素毎にDMD(Digital Mirror Device)を用いて反射量を変化させ、変化した光量で低輝度および高輝度の画像を取得する技術が開示されている。このような画像フレームや画素毎に低照度画像と高照度画像を取得して合成する技術においては、時間的な解像度や空間解像度が低下するなどの問題を含んでいる。
【0005】
特許文献3では、撮像素子の画素上にマイクロレンズを交互に配置し、入射光をマイクロレンズにより集光し高感度画素とマイクロレンズ非搭載の受光部を低感度画素として画像合成することで低照度画像と高照度画像を確保している。しかし、この構成では撮像素子とマイクロレンズの構成が複雑となるだけでなく、高解像度の多画素には製造上の難しさがある。
【0006】
また、撮像素子の画素数を変えて低輝度画像と高輝度画像を取得したり、ND(Neutral Density)フィルターなどの光透過量を変えて照度の異なる画像を取得したりして、画像合成によりダイナミックレンジを拡張する方法も具体化されている。しかしいずれの方法においてもダイナミックレンジを拡張するために複雑な回路や部品構成を要求されたり、撮像素子の性能や特性を低下させたり、画像処理の過程で解像度やS/N比に影響を与えたりするため、高解像度でノイズの少ない高度な色再現性を求めるには満足すべきものでなく、高解像度で拡張されたダイナミックレンジを確保する方法が望まれている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2013-118513号公報
【特許文献2】特開2003-8987号公報
【特許文献3】特開2005-259750号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
この発明は、上述の状況に鑑みて提供されるものであって、主として以下のような画像を取得しうる光束分離光学系および画像処理装置ならびに撮像装置の提供を目的とする。
(1)簡易な光束分離光学系の構成で、ダイナミックレンジを拡張した画像を取得するのに適した光束分離光学系を提供する。
(2)低照度、高照度、夜間、昼間、変化する気象状況など種々の撮像環境においても高ダイナミックレンジおよび高解像度の画像信号を取得し、視認性に優れた画像を取得しうる監視カメラ、車載カメラ、医療用カメラなど広範囲の分野での利用を可能とする光束分離光学系およびそれを適用した撮像装置を提供する。
【課題を解決するための手段】
【0009】
本発明における光束分離光学系は、レンズにより集光された画像光束を入射し、該画像光束を反射膜なしに硝材の内部反射により反射光成分として取得する第一プリズムと、前記第一プリズムとエアギャップを介して配置された第二プリズムであって、前記第一プリズムからの残余光成分を取得する第二プリズムと、前記第一プリズムにより取得した前記反射光成分を光電変換し、第一画像信号を出力する第一撮像素子と、前記第二プリズムにより取得した前記残余光成分を光電変換し、第二画像信号を出力する第二撮像素子と、を備え、前記第一画像信号と前記第二画像信号とを合成処理し、ダイナミックレンジを拡張した画像信号を取得することを特徴とする。
【0010】
また、本発明における光束分離光学系は、前記反射光成分が、第二プリズム入射面の外面反射成分を追加的に含むように構成することもできる。
【0011】
また、本発明における光束分離光学系は、前記エアギャップが、エアギャップ内に空気または窒素ガスで構成されているように構成することもできる。
【0012】
また、本発明における光束分離光学系は、前記第一撮像素子に入射する反射光成分が、前記第二撮像素子に入射する透過光成分より入射光量が少ない可視光成分であり、前記反射光成分をサブ画像成分とし、前記透過光成分をメイン画像成分として合成処理されてダイナミックレンジを拡張した可視光画像信号を取得するように構成することもできる。
【0013】
また、本発明における光束分離光学系は、前記第一プリズムの画像光束入射側に赤外光分離プリズムが配置され、前記赤外光分離プリズムにより出射された赤外光成分を光電変換し、赤外光画像信号を出力する赤外光用撮像素子を備え、前記赤外光用撮像素子により出力された赤外光画像信号とダイナミックレンジを拡張した可視光画像信号とを取得するように構成することもできる。
【0014】
また、本発明における光束分離光学系は、前記第二プリズムが、複数のプリズムの組み合わせにより構成され、前記複数のプリズムのそれぞれに対応して設けられ、前記複数のプリズムにより出射された前記残余光成分を光電変換し、画像信号を出力する複数の撮像素子を備え、前記複数の撮像素子のいずれか一つは他の撮像素子と画素ピッチが半画素ピッチだけずらして前記複数のプリズムに固着されているように構成することもできる。
【0015】
また、本発明における光束分離光学系は、前記複数のプリズムが、赤色光分離プリズム、青色光分離プリズム、緑色光分離プリズムからなり、前記赤色用分離プリズムにより取得された赤色光画像を出力する赤色用撮像素子と、前記青色用分離プリズムにより取得された青色光画像を出力する青色用撮像素子と、前記緑色用分離プリズムにより取得された緑色光画像を出力する緑色用撮像素子との組み合わせにより構成され、前記緑色用撮像素子は、前記赤色用撮像素子および前記青色用撮像素子に対し画素ピッチが半画素ピッチだけずらして対応するプリズムに固着されており、前記緑色用撮像素子、前記赤色用撮像素子および前記青色用撮像素子の画像信号を用いて輝度信号をサンプリング取得することにより、解像度を向上させた画像信号を取得するように構成することもできる。
【0016】
また、本発明における光束分離光学系は、前記第二プリズムが、更なる緑色光用プリズムを追加的に備え、前記更なる緑色光用プリズムにより取得された緑色光画像を出力する更なる緑色用撮像素子を追加的に備え、前記緑色用撮像素子は、前記更なる緑色用撮像素子に対して画素ピッチが半画素ピッチだけずらして対応するプリズムに固着されており、
前記緑色用撮像素子および前記更なる緑色用撮像素子の画像信号を用いて輝度信号をサンプリング取得することにより、解像度を向上させた画像信号を取得するように構成することもできる。
【0017】
また、本発明における光束分離光学系は、前記第二プリズムが、P偏光波およびS偏光波分離プリズムにより構成され、前記P偏光波分離プリズムに対応し、P偏光波画像信号を出力するP波撮像素子と、前記S偏光波分離プリズムに対応し、S偏光波画像信号を出力するS波撮像素子とを備えているように構成することもできる。
【0018】
また、上述のいずれかの光束分離光学系を備えた撮像装置として構成することもできる。なお、上記した課題を解決する手段は、可能な限り組合せて使用することができる。
【発明の効果】
【0019】
主画像成分と副画像成分とをダイナミックレンジ拡張用に異なる照度で取得するのに光束分離プリズムの反射膜(または分離膜)なしに主画像成分を取得することで、主画像は反射膜によるロスやノイズなしに画像取得が可能となる。光束分離プリズム硝材の内面反射により取得した低照度の副画像を取得し、高照度の主画像と合成することで、拡張されたダイナミックレンジの画像の確保を可能とする。また、フィールド毎や画素毎に違う照度の画像を交互に取得するのに比べ光束分離プリズムによりリアルタイムで主画像と副画像を分離し、取得しうるため、時間的ずれがなく、空間解像度減少が少ないカラーまたは白黒(B/W)画像が取得できる。更に、複数枚の主画像撮像素子との間で画素ずらしによる信号取得を併せ行うことでダイナミックレンジを拡張した高解像度の画像を取得することができる。
【図面の簡単な説明】
【0020】
【
図1】本発明による実施例1の光束分離光学系の構成例を示す説明図である。
【
図2】本発明による撮像素子の照度に対するセンサー出力特性の説明図である。
【
図3】本発明による実施例2の光束分離光学系の構成例を示す説明図である。
【
図4】本発明による実施例3の光束分離光学系の構成例を示す説明図である。
【
図5】本発明による実施例3の光束分離光学系のダイナミックレンジ拡張ブロック回路構成例を示す説明図である。
【
図6】本発明による実施例3の光束分離光学系において画素ずらし処理によるブロック回路構成例を示す説明図である。
【
図7】本発明による実施例4の光束分離光学系の構成例を示す説明図である。
【
図8】本発明による実施例4の光束分離光学系の変形構成例を示す説明図である。
【
図9】本発明による実施例5の光束分離光学系の構成例を示す説明図である。
【
図10】本発明による実施例5の光束分離光学系の変形構成例を示す説明図である。
【発明を実施するための形態】
【0021】
以下、本発明に係る光束分離光学系およびそれらを備えた撮像装置の実施形態について、図面を参照して詳細に説明する。なお、以下の実施例に記載されているいずれの説明図や図面も本発明の説明用に概略的または模式図として描かれており、実際の寸法や形状は特に限定するものではない。また、実施例で用いているシステム構成、ブロック図、寸法、材質、形状、その相対配置および使用例は特に記載がない限り発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【0022】
本発明では、第一プリズム(副画像用プリズム)とその後段にエアギャップを介して配置された第二プリズム(主画像用プリズム)により構成されている。第一プリズムにおいては、入射光束を分離する反射膜なしにプリズムの内部反射を利用して入射光成分を取得し、撮像素子により副画像光出力を取得する。第二プリズムでは、第一プリズムを透過した残余光成分を取得し、撮像素子により主画像光出力を取得する。第一プリズムにより取得される反射光成分は、波長選択特性を有する反射膜(光学薄膜)を使用せずプリズムとエアギャップとの屈折率の相違を利用した内部反射(内面反射)による反射光成分を取得するため、入射光束の一部(約4%から10%強)が反射成分として反射され、残りの残余光成分である約90%以上が第二プリズムへ透過する。
【0023】
第一プリズムの内部反射光成分による画像は、第二プリズムで取得した画像に対し、入射光束量が少なく、撮像素子の飽和レベルを高く取得できる。この入射光束量の相違を利
て取得画像のダイナミックレンジを拡張する。以下、便宜上、第一プリズムを副画像用プリズム、第二プリズムを主画像用プリズムとも称する。本発明において、主画像および副画像は、可視光画像であるカラー画像または白黒(B/W)画像を想定しているが、特に明示しない限りこれらに限定されるものでない。また、副画像および主画像は、カラー画像であっても白黒画像であっても、またそれらの組み合わせであってもかまわない。
【実施例0024】
図1は、本発明による光束分離光学系(光束分離プリズム)1の実施例1を示す説明図である。レンズ部2から入射した画像光束は、第一プリズムとしての副画像用プリズム3(P1)へ入射し、入射光束の一部は、プリズム3の反射面4により反射し、プリズム3の全反射面5により全反射され、副画像用プリズム3より出射し、その後補正フィルタ6を介して副画像用撮像素子7に入射する。撮像素子7では取得した画像光束を光電変換し、
膜や誘電体多層膜などの反射用光電薄膜は一切施しておらず、プリズム硝材の内面反射に
【0025】
副画像用プリズム3(P1)の後段には、第二プリズムとしての主画像用プリズム8(P2)がエアギャップ9を介して設けられている。主画像用プリズム8(P2)の外面(エアギャップ側入射面)10においても入射光束の反射が生じ、この反射画像も副画像用撮
ズム3(P1)を透過した入射光束成分は主画像用プリズム8(P2)より出射し、補正フィルター11を介して主画像用撮像素子12へ入射する。撮像素子12では取得した画像を光電変換し、主画像信号Vを出力する。
【0026】
このエアギャップ9は、プリズム相互の光路干渉を防止すると共に、副画像用プリズム3(P1)の内部反射光束を効果的に取得するために設けられている。副画像用プリズム3(P1)と主画像用プリズム8(P2)とが密着している場合は、プリズム硝材の屈折率が同じかまたは屈折率の差は僅かなものとなり反射が微小なものとなるが、エアギャップ9を設けることで空気の屈折率(真空中で1.0)とプリズム硝材の屈折率の違いにより反射率が異なってくることを利用して内面反射率を高くしている。通常の屈折率ガラスでは、入射光束に対し約4%強の反射光束を取得し、反射比率を上げる場合は、高屈折率(ハイインデックス)ガラス(屈折率1.67以上)により約10%強の表面反射を取得しうることを確認している。このため反射光束対透過光束の分離比率は、ハイインデックスでない通常ガラス硝材では、略4%:96%、ハイインデックスタイプと称される高屈折率硝材では、略10%:90%が取得できる。
【0027】
このエアギャップ9により副画像用プリズム3に入射した光束成分は、そのプリズム3の反射面4により内面反射した反射成分に加えて、主画像用プリズム8の入射面10(外側)の外面からの外面反射も反射成分として追加されて取得することができる。このエアギャップ9の間隔は、5~30μm程度で良好な結果を得ているが、副画像用プリズム3の内面反射像と主画像用プリズム8(P2)の外面反射像とにより相互干渉(ビート)や二重画像が影響しない程度のエアギャップが望ましい。また、主画像用プリズム8(P2)の入射面10(エアギャップ側)に反射防止膜(ARC)を施すことで、このビートや二重画像を軽減させることができる。このように蒸着やコーティングによる反射膜を形成することなく副画像用プリズム3の内面反射および主画像用プリズム8の入射側外面反射により、光束分離プリズム1に入射した入射光束成分の約4%以上の反射成分を取得し、撮
【0028】
また、このエアギャップ9に窒素ガスを充填することでプリズムガラス表面の酸化を防止するように構成することもできる。この場合、窒素の屈折率は、1.000297であり、大気の屈折率は、1.000293であり、ほぼ同様の屈折率であるため反射率は空気の場合と同様であるとみなすことができる。
【0029】
このような構成により、プリズムの内面反射により得られた反射光成分の画像(副画像
した残余光成分(主画像信号V)は、約90%以上を取得することができる。詳細後述の
の異なる低照度画像と高照度画像により主画像の飽和が生じる部分を副画像により合成補完することでダイナミックレンジを拡大したカラー画像をリアルタイムで時間ズレなく取得することが可能となる。また、取得した主画像は、金属膜やコーティング干渉膜などを有していないためにこれら光学薄膜の影響を受けることなく、光学薄膜により低照度画像を取得する方式に比べ光学薄膜によるノイズやロスが無く、視認性に優れた主画像Vを取得することができる。
【0030】
次に、上述した光束分離光学系を用いたダイナミックレンジの拡張につき説明する。本
取得したものとして説明する。
図2は、主画像信号と副画像信号のそれぞれの可視光撮像素子の照度に対する出力センサーレベルを示した説明図である。それぞれの可視光撮像素子は同じ特性を有するものとし、その飽和レベルは一例として300%とする。これは白色光のみを入力することもなく通常ビデオ信号の規格化された信号振幅内におさえるためニー処理を施すため、規定レベル(100%レベル)に対して飽和レベルを数倍(300%)に設定した場合(曲線V主画像特性)を例示している。
【0031】
であり、それぞれの撮像素子に入力される照度も90:10である。そのため撮像素子の性能が同じであり、主画像V信号で設定された撮像素子の飽和レベルが300%とすると、
副画像特性)。つまり主画像出力が飽和レベルに達しても照度の低い副画像出力は主画像の10倍程度の照度までは飽和していないこととなる。
【0032】
補正やガンマ処理により規定レベルである100%に圧縮することで圧縮信号(曲線V+
画像信号と合成処理したりして取得したセンサー画像の飽和(白飛び現象等)が生じないようにセンサーの規定100%レベルに設定する。
【0033】
本発明による光束分離プリズムでは、金属薄膜の蒸着膜やコーティング膜が存在せず、プリズム硝材の内部反射のみにより副画像成分を取得している。つまり、主画像成分は金属薄膜や誘電体多層膜などの反射膜を透過せず主画像取得用プリズムへ入射するため、画像信号取得用反射膜の影響を受けることなく分離膜によるノイズやロスの少ないダイナミックレンジが拡張された画像を取得することが可能となる。当然に、それぞれの画像信号は、同期信号発生手段(図示せず)により画像位相の同期を確保し、タイミングエラーなどを少なくしている。