特許 6222297 撮像装置および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6222297

(24)【登録日】2017年10月13日

(45)【発行日】2017年11月1日

(54)【発明の名称】撮像装置および画像処理装置

(51)【国際特許分類】

   H04N 5/243 20060101AFI20171023BHJP

   H04N 5/232 20060101ALI20171023BHJP

   G03B 7/16 20140101ALI20171023BHJP

   G03B 15/05 20060101ALI20171023BHJP

   G03B 15/03 20060101ALI20171023BHJP

【ＦＩ】

   H04N5/243

   H04N5/232

   G03B7/16

   G03B15/05

   G03B15/03 X

【請求項の数】14

【全頁数】10

(21)【出願番号】特願2016-127392(P2016-127392)

(22)【出願日】2016年6月28日

(62)【分割の表示】特願2014-265795(P2014-265795)の分割

【原出願日】2011年2月7日

(65)【公開番号】特開2016-195423(P2016-195423A)

(43)【公開日】2016年11月17日

【審査請求日】2016年6月28日

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100084412

【弁理士】

【氏名又は名称】永井 冬紀

(74)【代理人】

【識別番号】100078189

【弁理士】

【氏名又は名称】渡辺 隆男

(72)【発明者】

【氏名】荻野 泰

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２００６−２７９５４６（ＪＰ，Ａ）

【文献】 特開２００６−０３３５１９（ＪＰ，Ａ）

【文献】 特開平０４−３３１５８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２４３

Ｇ０３Ｂ ７／１６

Ｇ０３Ｂ １５／０３

Ｇ０３Ｂ １５／０５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

第１被写体までの距離と第２被写体までの距離とに基づいて、所定の上限値までの範囲で前記第１被写体の明るさと前記第２被写体の明るさとの差が低減されるようにゲインを設定するゲイン設定部と、
前記ゲイン設定部によって設定されたゲインに基づいて画像を生成する画像生成部と、を備え、
前記ゲイン設定部は、前記第１被写体の明るさと前記第２被写体の明るさとを異ならせるゲインを設定する撮像装置。

【請求項2】

前記ゲイン設定部は、前記第１被写体までの距離が前記第２被写体までの距離より小さい場合、前記第１被写体が前記第２被写体より明るくなるようにゲインを設定する請求項１に記載の撮像装置。

【請求項3】

前記ゲイン設定部は、前記第１被写体までの距離が前記第２被写体までの距離より大きい場合、前記第１被写体が前記第２被写体より暗くなるようにゲインを設定する請求項１に記載の撮像装置。

【請求項4】

前記ゲイン設定部は、ゲインを設定し、被写体毎に異なるＩＳＯ感度を適用する請求項１から請求項３のいずれか一項に記載の撮像装置。

【請求項5】

前記ゲイン設定部は、照明装置からの照明光で照明された被写体までの距離に基づいてゲインを設定する請求項１から請求項４のいずれか一項に記載の撮像装置。

【請求項6】

前記ゲイン設定部は、前記所定の上限値にゲインが達した場合、前記所定の上限値以上のゲインを設定しない請求項１から請求項５のいずれか一項に記載の撮像装置。

【請求項7】

前記ゲイン設定部は、所定の距離範囲の被写体に対してゲインを設定する請求項１から請求項６のいずれか一項に記載の撮像装置。

【請求項8】

撮像された第１被写体の第１信号と撮像された第２被写体の第２信号とに対して画像処理を行う画像処理装置であって、
第１被写体までの距離と第２被写体までの距離とに基づいて、所定の上限値までの範囲で前記第１被写体の明るさと前記第２被写体の明るさとの差が低減されるように前記第１信号及び前記第２信号に対してゲインを設定するゲイン設定部と、
前記ゲイン設定部によって設定されたゲインに基づいて前記第１信号及び前記第２信号から画像を生成する画像生成部と、を備え、
前記ゲイン設定部は、前記第１被写体の明るさと前記第２被写体の明るさとを異ならせるゲインを設定する画像処理装置。

【請求項9】

前記ゲイン設定部は、前記第１被写体までの距離が前記第２被写体までの距離より小さい場合、前記第１被写体が前記第２被写体より明るくなるようにゲインを設定する請求項８に記載の画像処理装置。

【請求項10】

前記ゲイン設定部は、前記第１被写体までの距離が前記第２被写体までの距離より大きい場合、前記第１被写体が前記第２被写体より暗くなるようにゲインを設定する請求項８に記載の画像処理装置。

【請求項11】

前記ゲイン設定部は、ゲインを設定し、被写体毎に異なるＩＳＯ感度を適用する請求項８から請求項１０のいずれか一項に記載の画像処理装置。

【請求項12】

前記ゲイン設定部は、照明装置からの照明光で照明された被写体までの距離に基づいてゲインを設定する請求項８から請求項１１のいずれか一項に記載の画像処理装置。

【請求項13】

前記ゲイン設定部は、前記所定の上限値にゲインが達した場合、前記所定の上限値以上のゲインを設定しない請求項８から請求項１２のいずれか一項に記載の画像処理装置。

【請求項14】

前記ゲイン設定部は、所定の距離範囲の被写体に対してゲインを設定する請求項８から請求項１３のいずれか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および画像処理装置に関する。

【背景技術】

【0002】

次のようなストロボ撮影装置が知られている。このストロボ撮影装置では、ある距離に存在する特定の被写体の明るさが適正となるように発光量を制御していた（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２８８６５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来のストロボ撮影装置では、撮影時にストロボ等の補助光を使用すると、カメラが適正露光に再現しようとした距離にある被写体は適正露光になるが、それより前側にある被写体は露光オーバーになり、それより後側にある被写体は露光アンダーになるという問題があった。

【課題を解決するための手段】

【0005】

本発明による撮像装置は、第１被写体までの距離と第２被写体までの距離とに基づいて、所定の上限値までの範囲で前記第１被写体の明るさと前記第２被写体の明るさとの差が低減されるようにゲインを設定するゲイン設定部と、前記ゲイン設定部によって設定されたゲインに基づいて画像を生成する画像生成部と、を備え、前記ゲイン設定部は、前記第１被写体の明るさと前記第２被写体の明るさとを異ならせるゲインを設定する。
本発明による画像処理装置は、撮像された第１被写体の第１信号と撮像された第２被写体の第２信号とに対して画像処理を行う画像処理装置であって、第１被写体までの距離と第２被写体までの距離とに基づいて、所定の上限値までの範囲で前記第１被写体の明るさと前記第２被写体の明るさとの差が低減されるように前記第１信号及び前記第２信号に対してゲインを設定するゲイン設定部と、前記ゲイン設定部によって設定されたゲインに基づいて前記第１信号及び前記第２信号から画像を生成する画像生成部と、を備え、前記ゲイン設定部は、前記第１被写体の明るさと前記第２被写体の明るさとを異ならせるゲインを設定する。

【発明の効果】

【0006】

本発明によれば、距離の異なる被写体に対して、適正露光を得ることができる。

【図面の簡単な説明】

【0007】

【図1】カメラの一実施の形態の構成を示すブロック図である。

【図2】照明装置２００を発光させて撮影を行うストロボ撮影時の被写体距離と明るさの関係を示す図である。

【図3】被写体までの距離に応じたゲイン制御の方法を示す図である。

【図4】補正の前後での被写体の明るさの違いを模式的に示した図である。

【図5】補正方法と撮影画像の具体例を示す図である。

【図6】ゲイン補正を、定常光照明環境下での撮影に適用した場合の具体例を示す図である。

【発明を実施するための形態】

【0008】

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、撮像素子１および２と、偏光分離プリズム３と、瞳分割フィルタ４と、対物レンズ５と、ＡＦ駆動部６と、位置センサ７と、撮像駆動部８と、画像処理部９と、カメラ制御部１０と、記憶媒体１１と、操作部材１２と、表示素子１３とを備えている。また、カメラ１００には、被写体を照明する閃光装置である照明装置２００、例えばストロボが接続されている。照明装置２００は、電源２０１と、発光駆動部２０２と、照明制御部２０３とを備えている。なお、ここでは、照明装置２００は、不図示の接続部を介してカメラ１００と着脱可能に取り付けられる例について説明するが、カメラ１００が照明装置２００を内蔵する場合にも本発明は適用可能である。

【0009】

本実施の形態におけるカメラ１００では、対物レンズ５の瞳位置には、互いに透過偏光軸の直交する透過特性を有する瞳分割フィルタ４が配置されている。瞳分割フィルタ４を透過したそれぞれの光は、偏光分離プリズム３によって２方向に分離され、それぞれ撮像素子１と２に結像する。撮像素子１と２で撮像される像は、異なる瞳領域を透過しているため、焦点がずれていると結像位置にずれが生じ、そのずれ量から被写界の距離情報を取得することができる。

【0010】

２つの撮像素子１、２で撮像された視差画像は、撮像駆動部８に伝送された後、画像処理部９に入力される。画像処理部９では、入力された画像を画像処理して表示素子１３に表示可能な形態にすると同時に、２像の像ズレを検出し対物レンズ５のデフォーカス量を算出する。このデフォーカス量に基づいてＡＦ駆動部６によって対物レンズ５の位置を調整し、焦点合わせ動作を行う。このときの対物レンズ５のレンズ位置を位置センサ７で検出することで、焦点を合わせた物体の絶対距離を算出できる。

【0011】

カメラ制御部１０は、この絶対距離を基準にして、デフォーカス量から画面全体の距離分布を算出する。そして、カメラ制御部１０は、算出された距離分布によって特定される被写体距離に基づいて、照明装置２００の発光量を決定する。決定された発光量のデータは、カメラ制御部１０から照明制御部２０３へ送信され、照明制御部２０３は、発光駆動部２０２を制御して発光させる。

【0012】

図２は、照明装置２００を発光させて撮影を行うストロボ撮影時の被写体までの距離（被写体距離）と明るさの関係を示す図である。なお、ここでは、図２（ａ）に示すように、カメラ１００の光軸上に４つの被写体２ａ〜２ｄが配置されているものとする。また、ここでは、説明の簡略化のために、環境光の影響は考えず、全露光が照明装置２００から照明されるストロボ光による場合を考える。

【0013】

カメラ１００に装着された照明装置２００からのストロボ光の光量は、カメラ１００からの距離の二乗に反比例して低下する。このため、図２（ｂ）に示すように、カメラ１００からの距離Ｘにある被写体２ｂに対して適正露光となるようにストロボ光の光量を決定した場合、０．７Ｘの距離にある被写体２ａは、光量が約２倍となるため、露出は１段オーバー（＋１ＥＶ）となる。１．４Ｘの距離にある被写体２ｃは、光量が約１／２倍となるため、露出は１段アンダー（−１ＥＶ）となる。２．０Ｘの距離にある被写体２ｄは、光量が約１／４倍となるため、露出は２段アンダー（−２ＥＶ）となる。その結果、図２（ｂ）に示すように、撮影される画像においては、撮影距離が遠くなるに従って被写体が暗くなり、近距離にあるものは明るくなる。このため、奥行き方向に並んだ人物などを撮影すると、カメラ１００からの距離によって被写体の明るさが異なってしまうという問題が生じていた。

【0014】

そこで、本実施の形態では、画像処理部９は、ストロボ撮影時に、被写体までの距離に応じた異なるゲインをかけることによって、上述した被写体の明るさ変化を低減させる。具体的には、以下のように処理を行う。

【0015】

図３は、本実施の形態における被写体までの距離に応じたゲイン制御（距離別ゲイン制御）の方法を示す図である。図３（ａ）は、従来のストロボ撮影時のストロボ光量と被写体距離の関係を示している。すなわち、この図３（ａ）からは、上述したように、距離Ｘにある被写体２ｂに対して適正露光（１００％）となるように撮影した場合には、距離の二乗に反比例して光量が低下していくことがわかる。

【0016】

図３（ｂ）は、距離Ｘにある被写体２ｂに対して適正露光（１００％）となるようにストロボを発光させて撮影した場合に生成される画像の濃度（縦軸）と被写体距離（横軸）との関係を示す図である。図３（ｂ）において、実線は、本発明適用前の従来の階調、すなわち被写体距離によって被写体の明るさが異なってしまう場合の例を示している。ここでは、距離Ｘにおける適正露光時の濃度を、８ビット２５６階調の中間であるレベル１２８とする。被写体距離が１．４Ｘの場合、光量は距離Ｘの１／２となるから、画像濃度は距離Ｘの半分のレベル６４として再現されている。被写体距離が２Ｘの場合、光量は距離Ｘの１／４となるから、画像濃度も１／４のレベル３２となっている。ただしこれは一例であり、画像の階調再現特性（＝ガンマの設定）によって変化する。

【0017】

ここで、被写体の距離がわかっていれば、距離に応じてゲイン（増幅倍率）を変えることで、距離によって明るさが異ならないようにすることができる。例えば、距離１．４Ｘの被写体には２倍のゲインをかけることにより、画像濃度を距離Ｘにおける画像濃度と同じレベル１２８に補正することができる。また、距離２Ｘの被写体には４倍のゲインを与えることにより、画像濃度を距離Ｘにおける画像濃度と同じレベル１２８に補正することができる。

【0018】

具体的には、カメラの設定感度がＩＳＯ４００だった場合には、距離１．４Ｘの被写体にはＩＳＯ８００を、距離２Ｘの被写体にはＩＳＯ１６００をそれぞれ適用することによって、ストロボ光の距離による光量差を補正することができる。なお、ここではストロボ光で全ての露光を行うものとして考えているが、定常光との混合で露光する場合、定常光は被写体とカメラとの距離によって変わらないので、ストロボ光の寄与分についてのみゲイン調整を行えばよい。例えば距離Ｘでの定常光とストロボ光の混合比が１：１で適正だった場合、距離２Ｘでは１：１／４となるから、距離Ｘとの露光差３／４分だけゲインを上げればよい。一方で、定常光を含めた露光量全体について補正を行うと、遠距離被写体が過剰に明るく補正されてしまい好ましい結果は得られない。

【0019】

画像処理部９は、このように被写体距離に応じて異なるゲインをかけることにより、図３（ｂ）の点線で示すように、全ての被写体距離において、画像濃度をレベル１２８に補正する。これによって、被写体距離に応じた明るさの変化を低減させることができる。

【0020】

図４は、上述した補正の前後での被写体２ａ〜２ｄの明るさの違いを模式的に示した図である。補正を行う前の画像においては、図４（ａ）に示すように、被写体２ａ〜２ｂの明るさは異なっている。図４（ａ）における被写体距離に応じた階調を図５（ａ）に示し、そのときに撮影される画像の具体例を図５（ｂ）に示す。なお、図５（ａ）に示す階調は、図３（ｂ）の実線で示した階調と同一であり、図５（ｂ）に示す画像例は、図２（ｂ）に示した画像例と同一である。図５（ｂ）において、各被写体の上に表示されている＋１ＥＶ等は、距離Ｘの被写体２ｂとの露出の差を表している。これは、後述する図５（ｄ）、（ｆ）、（ｈ）においても同様である。

【0021】

一方、補正を行った後の画像においては、図４（ｂ）に示すように、被写体２ａ〜２ｂの明るさは同じになっている。図４（ｂ）における被写体距離に応じた階調を図５（ｃ）に示し、そのときに撮影される画像の具体例を図５（ｄ）に示す。なお、図５（ｃ）に点線で示す階調は、図３（ｂ）の点線で示した階調と同一である。この場合、図５（ｄ）に示すように、被写体２ａ〜２ｂの間に露出の差はなく、全ての被写体の明るさは同じになっている。

【0022】

上述した処理では、画像処理部９は、図５（ｃ）に示したように、全ての被写体距離にある被写体の明るさが一定になるように、距離に応じたゲインをかけるようにした。しかしながら、図５（ｅ）や図５（ｇ）に示すような階調となるようにゲインをかけることによって、距離による被写体の明るさの変化を低減させるようにしてもよい。例えば、図５（ｃ）に示したように、距離による露光量差を完全に補正した場合には、距離による画像明るさの差は補正できるが、遠距離が過剰に高感度の設定になってノイズが目立ってしまう可能性がある。また、画像全体の明るさが均一になることによって奥行き感が減少してしまう可能性もある。これが好ましくない場合には、図５（ｅ）や図５（ｇ）に示すように補正を行ってもよい。

【0023】

図５（ｅ）に示す補正方法は、明るさ補正を行う距離に制限を持たせた方法を示している。図５（ｅ）に示すように、一定距離までは図５（ｃ）と同じように補正を行うが、それ以上の距離ではそれ以上に感度設定を上げないようにする。図５（ｆ）は、このようにゲイン補正を行った結果得られる画像の具体例を示している。このように、所定の距離範囲内を対象としてゲインを設定するようにして、遠距離側の感度上昇を制限すれば、ノイズの発生を抑えることができる。また、遠距離側を若干暗めにすることで、画像に奥行き感を出すことができる。あるいは、上限感度を設定して、その感度に達する距離までは補正を行い、それ以上の距離では上限感度以上に感度は上げないようにしてもよい。このような方法でも同様の効果が得られるため、撮影者側がどちらを優先して制限するかを選択できるようにしてもよい。

【0024】

図５（ｇ）に示す補正方法は、距離による明るさの差を一定割合で補正する方法を示している。具体的には、距離による被写体の奥行き感を出すために、明るさの距離差を完全には補正せず、図５（ｃ）に示した被写体の明るさを一定とするゲインよりも少ない比率となるようにゲインを設定して補正している。これにより被写体の奥行き感を保ちつつ、距離による露光オーバー・アンダーを抑制し、遠距離での過剰な高感度設定の使用も抑えることができる。図５（ｈ）は、このようにゲイン補正を行った結果得られる画像の具体例を示している。

【0025】

図６は、本実施の形態における被写体距離に応じたゲイン補正を、定常光照明環境下での撮影に適用した場合の具体例を示す図である。なお、図６（ａ）は、定常光照明環境下で照明装置２００を発光させて静止画撮影を行う場合の具体例を示しており、図６（ｂ）は、定常光照明環境下で照明装置２００を発光させて動画撮影を行う場合の具体例を示している。

【0026】

定常光照明環境で照明装置２００（ストロボ）を発光させて静止画撮影を行う場合には、図６（ａ）に示すように、レリーズボタンが半押しされてから全押しされるまで（半押しＯＮからレリーズＯＮまで）の間に定常光の測光を行う。その後、レリーズＯＮを検出すると、ストロボをプリ発光させて、そのときのストロボ光を測光し、プリ発光時の測光結果に基づいて、ストロボの発光量を決定し、ストロボを本発光させて静止画撮影を行う。

【0027】

これに対して、定常光照明環境下で照明装置２００を発光させて動画撮影を行う場合、動画の撮影中（録画中）は、継続して照明装置２００から照明する必要がある。しかし、定常光照明環境下で照明装置２００を発光させながら測光を行った場合には、環境光と照明光とのそれぞれの状態や比率がどうなっているかを判別することができない。そこで、本実施の形態では、図６（ｂ）に示すように、録画中に照明光をわずかな時間だけ停止（ＯＦＦ）し、その間に環境光の測光を行う。これにより定常光の状態が測定でき、適切なホワイトバランス設定ができる。なお、この場合、ストロボとして用いる照明は、ＬＥＤなど高速に点滅可能なものが必要である。

【0028】

また、録画中の画像の状態から、画面が大きく変わって環境光状態が変化したと判断される場合は、通常より環境光測光頻度を増やして、変化に対応すればよい。例えば、図６（ｂ）では、「照明状態変動」と記されている期間内だけ照明を停止する回数が増やすことにより対応している。これにより、環境光の照明状態が変動したときには、環境光の測光タイミングを増やして、環境光の測光精度を向上することができる。また、環境光測光タイミングでは照明状態が変わってしまうため、環境光を測光するために照明光をＯＦＦしている間に撮影したフレームは記録画像に残さないか、その前後のフレームから補間するなどで、照明光ＯＦＦによる影響が目立たないようにする必要がある。

【0029】

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）照明装置２００からの照明光で照明された被写体までの距離情報を取得し、取得した被写体までの距離情報に基づいて、距離に応じた被写体の明るさの変化を低減するように、被写体までの距離ごとに異なるゲインを設定し、設定したゲインを適用して画像を生成するようにした。これによって、画像内の被写体の明るさの変化を低減することができる。

【0030】

（２）図５（ｃ）に示したように、全ての被写体距離にある被写体の明るさが一定になるように、距離に応じたゲインをかけるようにした。これによって、画像内の被写体の明るさを一定にすることができる。

【0031】

（３）所定の上限値までの範囲内でゲインを設定するようにした。これによって、遠距離側の感度上昇を制限すれば、ノイズの発生を抑えることができる。また、遠距離側を若干暗めにすれば、画像に奥行き感を出すことができる。

【0032】

（４）図５（ｅ）に示したように、所定の距離範囲内を対象としてゲインを設定するようにした。これによって、遠距離側の感度上昇を制限すれば、ノイズの発生を抑えることができる。また、遠距離側を若干暗めにすれば、画像に奥行き感を出すことができる。

【0033】

（５）図５（ｇ）に示したように、被写体の明るさを一定とするゲインよりも少ない比率となるようにゲインを設定して補正するようにした。これによって、被写体の奥行き感を保ちつつ、距離による露光オーバー・アンダーを抑制し、遠距離での過剰な高感度設定の使用も抑えることができる。

【0034】

（６）動画の撮影中に継続して照明装置２００から被写体を照明する場合には、所定のタイミングで照明装置２００からの照明を停止し、照明の停止中に測光した結果に基づいて、被写体までの距離情報を取得するようにした。これによって、動画の撮影中でも精度高く被写体までの距離に応じたゲイン設定を行うことが可能となる。

【0035】

（７）環境光の照明状態が変化したときに、照明装置２００からの照明を停止させる回数を変化させるようにした。これにより、環境光の照明状態が変動したときには、環境光の測光タイミングを増やして、環境光の測光精度を向上することができる。

【0036】

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）図６（ｂ）に示す例では、録画中に照明光をわずかな時間だけ停止（ＯＦＦ）し、その間に環境光の測光を行う例について説明した。しかしながら、録画中は常に測光を継続しておき、照明光を停止している間の測光データのみを用いて環境光の測光を行うようにしてもよい。

【0037】

（２）上述した実施の形態では、図５（ｃ）、（ｅ）、（ｇ）に示した方法によりゲイン補正を行う例について説明した。しかしながら、図５（ｃ）、（ｅ）、（ｇ）に示した方法を組み合わせて使用するようにしてもよい。例えば、図５（ｇ）のように一定割合で補正しつつ、上限感度設定で過剰な高感度の使用を避けるといった使い方をしてもよい。

【0038】

（３）上述した実施の形態では、本発明をカメラ１００に適用する例について説明した。しかしながら、照明装置を備えた他の撮影装置にも本発明を適用することができる。

【0039】

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

【符号の説明】

【0040】

１００ カメラ、１、２ 撮像素子、３ 偏光分離プリズム、４ 瞳分割フィルタ、５ 対物レンズ、６ ＡＦ駆動部、７ 位置センサ、８ 撮像駆動部、９ 画像処理部、１０ カメラ制御部、１１ 記憶媒体、１２ 操作部材、１３ 表示素子、２００ 照明装置、２０１ 電源、２０２ 発光駆動部、２０３ 照明制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】