特開 2019-213022 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-213022(P2019-213022A)

(43)【公開日】2019年12月12日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20191115BHJP

   H04N 5/232 20060101ALI20191115BHJP

【ＦＩ】

   H04N9/07 A

   H04N5/232 290

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

【全頁数】10

(21)【出願番号】特願2018-106734(P2018-106734)

(22)【出願日】2018年6月4日

(71)【出願人】

【識別番号】000131326

【氏名又は名称】株式会社シグマ

(72)【発明者】

【氏名】谷本 裕子

【テーマコード（参考）】

5C065

5C122

【Ｆターム（参考）】

5C065BB13

5C065BB19

5C065BB30

5C065CC01

5C065EE12

5C065GG02

5C065GG26

5C122EA12

5C122EA30

5C122FB20

5C122FH02

5C122HA65

5C122HB01

(57)【要約】

【課題】 特定の光源下における撮影で発生する色付きを好適に補正することが可能な撮像装置を提供する。
【解決手段】 異なる主光線角を有する撮影レンズを用いて取得した画像データから生成した、少なくとも２つの補正テーブルを保持する補正テーブル保持手段と、撮影時における撮影レンズの主光線角情報を取得する光線角情報取得手段と、補正テーブルを撮影レンズの主光線角情報に応じて混合する補正テーブル設定手段と、混合された補正テーブルを画像データに適用して出力する補正処理手段と、を有し、補正テーブルは、色付きの発生しやすい注目光源の環境下で取得した画像データに対して、発生した色付きを打ち消すように生成されたデータテーブルであることを特徴とする。
【選択図】 図３

【特許請求の範囲】

【請求項1】

撮影レンズの主光線角と撮影環境の光源とに依存して発生する色付きを補正可能な撮像装置であって、
異なる主光線角を有する前記撮影レンズを用いて取得した画像データから生成した、少なくとも２つの補正テーブルを保持する補正テーブル保持手段と、
撮影時における前記撮影レンズの主光線角情報を取得する光線角情報取得手段と、
前記補正テーブルを前記撮影レンズの主光線角情報に応じて混合する補正テーブル設定手段と、
混合された前記補正テーブルを画像データに適用して出力する補正処理手段と、
を有し、
前記補正テーブルは、色付きの発生しやすい注目光源の環境下で取得した画像データに対して、発生した色付きを打ち消すように生成されたデータテーブルであることを特徴とする撮像装置。

【請求項2】

撮影環境の光源推定値を取得する光源推定値取得手段と、
前記光源推定値に応じて補正係数を算出し、混合された前記補正テーブルに掛け合わせて補正値を決定する補正値決定手段と、
をさらに有し、
前記補正処理手段は、前記補正値を画像データに適用して出力することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記補正係数は、光源を推定するためのマップにおいて、前記マップ上にあらかじめ設定された各光源の代表値のうち、前記注目光源の代表値と、前記マップ上にプロットされた前記光源推定値との間の距離に応じて算出されることを特徴とする請求項２に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定の光源下における撮影で発生し、撮影レンズの主光線に依存する色付きを好適に補正することが可能な撮像装置に関する。

【背景技術】

【0002】

従来、撮像素子を用いて撮影画像データを取得する撮像装置においては、撮影画像データの周辺部に色ムラが生じる問題が発生していた。以下、このような撮影画像データに色ムラが生じる現象を、撮影画像データの色シェーディングということがある。

【0003】

撮影画像データの周辺部に色ムラを生じさせる主な原因としては、例えばＩＲカットフィルタへの入射角依存性がある。ＩＲカットフィルタへの入射角依存性は、ＩＲカットフィルタに入射する光束の入射角が大きいほど、その光束についてカットされる波長が短波長側にシフトするという性質である。

【0004】

このような現象は、撮影レンズからの光束の入射角の大きさが大きくなる撮影画像データの周辺部で顕著となる。これにより、撮影画像データの周辺部においてＲＧＢ値のバランスが崩れて、撮影画像データに色シェーディングが生じてしまう。

【0005】

このような色シェーディングを補正するための技術は数多く検討されており、本願出願人の技術も特許文献１において開示されている。

【0006】

ところで、本願出願人は、特定の光源下で顕著に発生する特殊な色付き現象を発見した。図５は当該色付き現象を説明するためのイメージ図である。本図に示すように、この色付き現象では、撮影画像データの上下左右の辺の近傍に、概ね辺と平行な形で色付き領域が発生していることがわかる。

【0007】

本願出願人による解析によれば、この色付き現象は、上述した色シェーディングと異なり、ＩＲカットフィルタの射入射特性に非依存であること、撮像素子に入射する撮影レンズの主光線角が緩いほど強く発生すること、及び、特定光源の環境下において顕著に発生することが判明している。

【0008】

特定の光源下において、この色付き現象が顕著に発生することについて検討する。現在、撮影画像データを取得する撮像素子としてはＣＭＯＳイメージセンサーが用いられるのが主流となっている。このＣＭＯＳイメージセンサーを製造する工程においては多くの場面で高い平面度（平坦度）が要求される。

【0009】

半導体製造工程において平面化を行う技術としてＣＭＰ（Ｃｈｅｍｉｃａｌ Ｍｅｃｈａｎｉｃａｌ Ｐｌａｎａｒｉｚａｔｉｏｎ）がある。これは、研磨液の化学的作用と機械的研磨を組み合わせた手法であり、広く採用されている。しかしながら、平坦にする面の範囲が広いほど精度が悪くなる傾向があり、イメージセンサーのような広範囲な面を完全に平坦にすることは難しく、除去しきれなかった厚みのムラを適切に評価することが求められる。

【0010】

特許文献２には、半導体表面の不均一（膜厚ムラ）を検出するために、特定の狭い波長範囲に高い強度ピークを持ち、干渉縞の見えやすい光源を照射する膜厚検査装置が開示されている。この膜厚検査装置によれば、膜表面で反射した光と基板表面で反射した光の干渉性を向上させ、膜厚ムラを精度よく目視で検査することができる、としている。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２０１６−１３９９５５号公報

【特許文献2】特許３１１４９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

ところで、膜厚ムラに対して強度ピークを持つ光を照射することで干渉縞が発生するのと同様のことが、表面に平面度ムラが存在する半導体素子に同様の光が入射した場合にも起こり得る。

【0013】

上述したように、イメージセンサーのような広範囲にわたって完全な平坦面を形成することは非常に難しく、ある程度の平面度ムラを内包することは避けられない。そのようなイメージセンサーに対して高い強度ピークの光が照射されれば、そのような光源下で撮影された撮影画像データには干渉縞に似た色付きが発生し得る。これが、上述した特殊な色付き現象の原因であると考えられる。

【0014】

そして、発生メカニズムの異なるこのような色付きに対して、上述したような一般的な色シェーディング補正を施しても、好適な補正結果は得られなかった。

【0015】

本発明はこのような状況に鑑みてなされたものであり、特定の光源下における撮影で発生する色付きを好適に補正することが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0016】

上記目的を達成するために、本発明を実施の撮像装置は、撮影レンズの主光線角と撮影環境の光源とに依存して発生する色付きを補正可能な撮像装置であって、異なる主光線角を有する前記撮影レンズを用いて取得した画像データから生成した、少なくとも２つの補正テーブルを保持する補正テーブル保持手段と、撮影時における前記撮影レンズの主光線角情報を取得する光線角情報取得手段と、前記補正テーブルを前記撮影レンズの主光線角情報に応じて混合する補正テーブル設定手段と、混合された前記補正テーブルを画像データに適用して出力する補正処理手段と、を有し、前記補正テーブルは、色付きの発生しやすい注目光源の環境下で取得した画像データに対して、発生した色付きを打ち消すように生成されたデータテーブルであることを特徴とする。

【0017】

また、本発明を実施の撮像装置は、好ましくは、撮影環境の光源推定値を取得する光源推定値取得手段と、前記光源推定値に応じて補正係数を算出し、混合された前記補正テーブルに掛け合わせて補正値を決定する補正値決定手段と、をさらに有し、前記補正処理手段は、前記補正値を画像データに適用して出力することを特徴とする。

【0018】

また、本発明を実施の撮像装置は、好ましくは、前記補正係数は、光源を推定するためのマップにおいて、前記マップ上にあらかじめ設定された各光源の代表値のうち、前記注目光源の代表値と、前記マップ上にプロットされた前記光源推定値との間の距離に応じて算出されることを特徴とする。

【発明の効果】

【0019】

本発明を実施の撮像装置によれば、特定の光源下における撮影で発生し、撮影レンズの主光線角に依存する色付きを好適に補正することが可能になる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。

【図2】撮影レンズに保存される各種光線角情報の一例である。

【図3】色付き補正処理ブロックの主要な構成を示したブロック図である。

【図4】色付き補正処理ブロックにおける主要な処理の流れを示したフローチャートである。

【図5】画像データの色付きを説明するためのイメージ図である。

【発明を実施するための形態】

【0021】

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

【0022】

図１は、本発明の一実施形態である撮像装置１００の主要な構成を示したブロック図である。撮像装置１００は、カメラ本体２００と、カメラ本体２００に着脱可能な交換レンズである撮影レンズ３００と、で構成されている。

【0023】

カメラ本体２００は、撮像素子２１０と、信号処理部２２０と、画像処理部２３０と、メインＣＰＵ２４０と、記録媒体インターフェース（Ｉ／Ｆ）２４１と、ユーザインターフェース（Ｉ／Ｆ）２４２と、画像表示部２５０と、を備えている。

【0024】

また、撮影レンズ３００は、ズーム制御部３１０と、ズームレンズ３１１と、フォーカス制御部３２０と、フォーカスレンズ３２１と、絞り制御部３３０と、絞りユニット３３１と、レンズＣＰＵ３４０と、を備えている。

【0025】

撮像素子２１０は、撮影レンズ３００により集光された光線を受光して光電変換し、画像信号を出力する。本実施形態の撮像素子２１０としては、ＣＭＯＳイメージセンサーが用いられている。撮像素子２１０の受光面は多数の画素から構成されている。撮像素子２１０は内部に不図示のゲイン可変アンプ、Ａ／Ｄコンバータを備えており、画像信号はデジタルデータとして出力される。

【0026】

上述したゲイン可変アンプ、Ａ／Ｄコンバータを内蔵していない撮像素子２１０を採用する場合には、これらのデバイスを個別に搭載すればよい。

【0027】

信号処理部２２０は撮像素子２１０から読み出された画像信号に対して各種の信号処理を施す。信号処理としては、例えば、画素受光量と出力値との間の線形性を確保するための補正処理や、読み出した画像信号を増幅するための増幅処理がある。

【0028】

画像処理部２３０は、信号処理部２２０から送られてきた画像信号に対して各種の画像処理を施す。画像処理として、例えば、ホワイトバランス処理、色再現処理、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理等がある。また、色シェーディング補正や、後述する特定光源に由来する色付きの補正も行う。

【0029】

メインＣＰＵ２４０は、撮像装置１００全体の包括的な制御を行う。例えば、撮像素子２１０の読み出し制御を行う。メインＣＰＵ２４０が撮像素子２１０の駆動タイミングを決定する信号を出力することで、画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの画像信号が読み出される。

【0030】

メインＣＰＵ２４０は後述するレンズＣＰＵ３４０と電気的に接続されており、協働して撮影レンズ３００の制御を行う。ライブビュー画像取得時や通常撮影時には、レンズＣＰＵ３４０からの各種情報を取得して撮影条件の決定に利用する。

【0031】

記録媒体Ｉ／Ｆ２４１は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

【0032】

ユーザＩ／Ｆ２４２は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、メインＣＰＵ２４０は所定の動作を行う指示を出す。

【0033】

画像表示部２５０は、撮影画像や不図示の記録媒体から読み出された画像等を表示する。

【0034】

撮影レンズ３００の光学系の一部であるズームレンズ３１１及びフォーカスレンズ３２１は、それぞれズーム制御部３１０及びフォーカス制御部３２０に接続されており、レンズの駆動や位置検出等の制御が行われる。ズームレンズ３１１及びフォーカスレンズ３２１は図中において簡単のためにそれぞれ１枚のレンズで描写しているが、これに限らない。また、ズームレンズ３１１を有さない単焦点レンズであってもよい。

【0035】

絞りユニット３３１は、絞り制御部３３０に接続されている。絞り制御部３３０は絞りユニット３３１の絞り値（Ｆ値）を制御する。

【0036】

レンズＣＰＵ３４０は、上述したようにメインＣＰＵ２４０と協働して各種制御部の制御内容を決定し、指示を出す。また、レンズＣＰＵ３４０は撮影レンズ３００のズーム位置、フォーカス位置、Ｆ値等の撮影条件を各種制御部から取得し、メインＣＰＵ２４０に出力する。

【0037】

レンズＣＰＵ３４０は不図示のメモリ部と接続されており、必要に応じて、格納されたイメージサークル情報やレンズＩＤを読み出してメインＣＰＵ２４０に出力する。

【0038】

不図示のメモリ部には、撮影レンズ３００の各種光線角情報も格納されている。図２はこの光線角情報の一例である。本図からわかるように、下光線角度、主光線角度、上光線角度のそれぞれが撮影領域中心からの所定の像高に応じたテーブル形式で格納されている。像高は１０分割されて格納されているので、それらの中間にあたる光線角度については、前後の角度から適宜補間演算して利用する。

【0039】

これらの光線角情報は、撮影レンズ３００の設計データから作成してもいいし、レンズを測定して作成してもいい。

【0040】

次に、上述した画像処理部２３０において行われる色付き補正処理について説明する。図３は、色付き補正処理ブロック２３１の主要な構成を説明するブロック図である。色付き補正処理ブロック２３１は、画像処理部２３０を構成する複数の処理ブロックのうちの一つである。

【0041】

色付き補正処理ブロック２３１は内部に、補正テーブル設定部２３２と、光源推定値取得部２３３と、補正値決定部２３４と、補正処理部２３５と、を有している。

【0042】

大まかには、補正テーブル設定部２３２において設定された補正テーブルと、光源推定値取得部２３３で取得された撮影環境の光源推定値とを用いて、補正値決定部２３４において補正値が決定される。そして、補正処理部２３５において画像データに対してこの補正値を適用することで、特殊な色付きを補正することができる。

【0043】

図４は色付き補正処理ブロック２３１で行われる補正処理の流れを説明するフローチャートである。以降では、このフローチャートを用いながら各処理について詳しく説明する。

【0044】

まず、撮像装置１００においてユーザ操作によって撮影がなされ、信号処理部２２０から画像信号が画像処理部２３０に入力され、そこで上流の各種処理工程が終了すると本フローチャートが開始する。

【0045】

Ｓ１０１では、補正テーブル設定部２３２が補正テーブルと主光線角情報とを取得する。

【0046】

本発明における補正テーブルとは、上述してきた特殊な色付きを補正して打ち消すためのデータテーブルを指す。補正テーブル設定部２３２には、この補正テーブルを格納した不図示のメモリ部が接続されている。

【0047】

ここで、この補正テーブルを生成する流れを説明する。なお、本工程は撮像装置１００の組み立て完了後、工場における調整工程で行われるのが一般的である。まず、撮像装置１００を用いて実際に色付きの発生した画像データを取得する。

【0048】

図５は、本発明で補正の対象としている、特定の光源下で発生する特殊な色付きの例を示したイメージ図である。なお、この模式図では画像データの上下左右の辺の近傍に、概ね辺と平行な形で色付き領域が顕著に発生しているが、色付きの仕方はこれに限られるものではなく、撮像素子２１０の構造的な要因等によって様々な形状で発生し得る。

【0049】

本発明の色付き補正では、特定の光源とレンズの主光線角とに依存する色付きであれば、どのような色付きの仕方に対しても好適な補正が可能である。

【0050】

上述したように、この色付きの強弱は、撮像素子２１０に入射する撮影レンズ３００の主光線角に依存することがわかっている。そのため、色付き画像の取得に際しては、異なる主光線角の撮影レンズ３００を２本用意して撮影する。

【0051】

図５（ａ）は主光線角がきつい撮影レンズ３００で発生する例、図５（ｂ）は主光線角が緩い撮影レンズ３００で発生する例をそれぞれ表している。

【0052】

このときの撮影で用いる光源は、例えば蛍光灯が考えられる。これは、一般的に蛍光灯のスペクトルが鋭いピークを有するためであり、このため、本発明の対象とする特殊な色付きが発生しやすいからである。なお、以降では、上述した蛍光灯のように、本発明で補正対象となる色付きを発生する光源のことを特に注目光源と呼ぶこともある。

【0053】

取得した色付きの各画像データを逆数にすることで、発生した色付きを補正するための補正テーブルが得られる。実際には、データ量を削減するために、画像データを複数のブロックに分割し、全てのブロックについてブロック毎に平均値を算出して、それらをまとめて補正テーブルとしている。

【0054】

主光線角毎に生成された補正テーブルは、補正テーブル設定部２３２内の不図示のメモリ部に格納される。

【0055】

補正テーブル設定部２３２は、不図示のメモリ部に格納された２つの補正テーブルを読み出す。

【0056】

また、補正テーブル設定部２３２は、Ｓ１０１において、撮影レンズ３００の主光線角度に関する情報を撮影レンズ３００内の不図示のメモリ部から取得する。この主光線角度情報の取得に際しては、メインＣＰＵ２４０やレンズＣＰＵ３４０も光線角情報取得手段として機能する。

【0057】

次に、補正テーブル設定部２３２は、Ｓ１０２において、入力された撮影レンズ３００の主光線角情報に基づいて、２つの補正テーブルを混合する。混合に際しては、主光線角度と混合率の対応表をあらかじめ設定及び格納しておき、それを参照することで２つの補正テーブルを混合する。

【0058】

このときの混合率は、主光線角度がきついほど、主光線角度のきつい撮影レンズ３００で生成した補正テーブルの割合が多くなるように設定する。

【0059】

このように、撮影レンズ３００の主光線角度に応じて混合割合を変化させることによって、様々な主光線角度を持つ撮影レンズ３００に対応することが可能となる。

【0060】

次に、光源推定値取得部２３３は、Ｓ１０３において、撮影環境の光源推定値を取得する。この光源推定値の取得方法としては、カメラ本体２００内部に設けた不図示の光源推定手段であってもいいし、撮影者が任意に選択可能な光源モードに対応したプリセット値であってもいい。光源推定値取得部２３３は、メインＣＰＵ２４０を介してこれらの手段から光源推定値を取得し、補正値決定部２３４に出力する。

【0061】

次に、補正値決定部２３４は、Ｓ１０４において、光源推定値取得部２３３から取得した撮影環境の光源推定値に基づいて補正係数αを算出する。この補正係数αは、光源推定値がホワイトマップ上で２つの異なる光源の間に分布した場合に、注目光源からの距離に応じて補正テーブルに乗算される０〜１の間の値である。

【0062】

ここで、ホワイトマップについて説明する。ホワイトマップとは、撮影画像データを所定のブロック数で分割したときの各ブロックにおける色信号値の比（Ｒ／Ｇ、Ｂ／Ｇ）を算出し、それらをプロットして得られる分布図であって、あらかじめ取得したデータサンプルに基づいて設定された白色と判定することができる領域のことを指している。そして、このホワイトマップを用いることで、撮影時の光源環境であったのかを推測することができる。

【0063】

詳しくは、本出願人による特開２０１６−１３９９５５号公報に開示されている。

【0064】

このホワイトマップ上の推定光源の分布を用いて、補正係数αを算出する。例えば、あらかじめ設定したホワイトマップにおいて、晴天の光源環境の代表値を（ｘ１，y１）、蛍光灯の光源環境の代表値を（ｘ２，y２）、白熱灯の光源環境の代表値を（ｘ３，y３）、とそれぞれ設定し、それらの代表値と取得した光源推定値のプロットとの距離の比の形で補正係数αを算出する。

【0065】

光源推定値のプロットが晴天と蛍光灯の各代表値の間に位置していれば、当該プロットと２つの代表値との間の距離の比として補正係数αが算出できる。

【0066】

上述したように、補正係数αは注目光源からの距離に応じて０〜１の間で算出される値であり、注目光源に近いほど大きく、注目光源から遠いほど小さい値を取る。本実施例においては、上述したように、蛍光灯が注目光源となる。

【0067】

次に、補正値決定部２３４は、Ｓ１０５において、撮影環境の光源に即した補正係数αと混合された補正テーブルとを掛け合わせて、最終的な補正値を決定する。具体的には、
（１−α）×「補正値1のテーブル」＋α×「混合補正テーブル」
のような形で、補正値を調節する。

【0068】

次に、補正処理部２３５は、Ｓ１０６において、補正値決定部２３４で決定された補正値を適用して画像データを補正処理し、特定光源に由来する色付きを補正する。これにより、色付き補正に関する本フローチャートが終了する。

【0069】

これ以降では、メインＣＰＵ２４０により、補正後の画像データを記憶媒体Ｉ／Ｆ２４１に送ったり、画像表示部２５０に表示したりする制御が行われる。

【0070】

以上で説明したように、特定の光源下で顕著に発生する特殊な色付きに対して、撮影レンズの主光線角に注目して補正テーブルを生成し、推定光源値に基づいて補正テーブルを調節することによって、好適な色付き補正を行うことが可能となる。

【0071】

なお、上述した実施例においては、色付きが発生する光源、すなわち注目光源として蛍光灯を例に説明したが、これに限られるものではない。その他の特定の光源に対して顕著な色付きを示すケースがあれば、当該光源を注目光源として本発明を適用可能である。

【符号の説明】

【0072】

１００ 撮像装置、２００ カメラ本体、２１０ 撮像素子、２２０ 信号処理部、２３０ 画像処理部、２３１ 色付き補正処理ブロック、２３２ 補正テーブル設定部、２３３ 光源推定値取得部、２３４ 補正値決定部、２３５ 補正処理部、２４０ メインＣＰＵ、２４１ 記録媒体インターフェース（Ｉ／Ｆ）、２４２ ユーザインターフェース（Ｉ／Ｆ）、２５０ 画像表示部、３００ 撮影レンズ、３１０ ズーム制御部、３１１ ズームレンズ、３２０ フォーカス制御部、３２１ フォーカスレンズ、３３０ 絞り制御部、３３１ 絞りユニット、３４０ レンズＣＰＵ

【図1】

【図2】

【図3】

【図4】

【図5】