特許第6604297号(P6604297)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社デンソーの特許一覧

<>
  • 特許6604297-撮影装置 図000002
  • 特許6604297-撮影装置 図000003
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6604297
(24)【登録日】2019年10月25日
(45)【発行日】2019年11月13日
(54)【発明の名称】撮影装置
(51)【国際特許分類】
   H04N 5/232 20060101AFI20191031BHJP
   H04N 5/235 20060101ALI20191031BHJP
【FI】
   H04N5/232
   H04N5/235 500
【請求項の数】5
【全頁数】10
(21)【出願番号】特願2016-195723(P2016-195723)
(22)【出願日】2016年10月3日
(65)【公開番号】特開2018-61086(P2018-61086A)
(43)【公開日】2018年4月12日
【審査請求日】2018年12月14日
(73)【特許権者】
【識別番号】000004260
【氏名又は名称】株式会社デンソー
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際特許業務法人
(72)【発明者】
【氏名】小林 和彦
(72)【発明者】
【氏名】村尾 俊和
(72)【発明者】
【氏名】西川 雅人
【審査官】 ▲徳▼田 賢二
(56)【参考文献】
【文献】 特開2009−245429(JP,A)
【文献】 特開2015−192222(JP,A)
【文献】 特開2006−014117(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
H04N 5/235
(57)【特許請求の範囲】
【請求項1】
撮像素子(12)により撮影を行う撮影装置(1)であって、
予め定められた露光時間にわたる露光を行うことで撮影を行う撮影部(10)と、
2以上のいずれかの整数をNとし、連続的に前記N回の撮影処理を行う部位であって、これらの撮影処理の各々にて、前記撮影部により前記露光時間の異なる複数回の撮影を連続的に行う制御部(23)と、
前記N回の撮影処理の各々について、該撮影処理における前記複数回の撮影により得られた複数の撮影画像に基づき、HDR合成により、ダイナミックレンジが拡大された撮影画像である合成画像を生成する合成部(21)と、を備え、
前記N回の撮影処理の各々により生成された各々の前記合成画像は、該合成画像に対応して定められた画質を有しており、前記N回の撮影処理の各々における各撮影の前記露光時間の最大値である最大露光時間は、該撮影処理により生成される前記合成画像の前記画質に応じて定められており、
前記N回の撮影処理の各々は、前記N回にわたって定期的に到来する同期タイミング(50〜53)の各々に対応しており、
前記制御部は、前記N回の撮影処理の各々において、該撮影処理に対応する前記同期タイミングの前後にわたって前記複数回の撮影を連続的に行い、いずれかの撮影を、該同期タイミングが到来した時に前記露光が終了するように行うと共に、該撮影に続く他の撮影を、該同期タイミングが到来した時に前記露光が開始されるように行い、
前記N回の撮影処理にて行われる各々の撮影の前記露光時間が重複しないよう、これらの撮影の前記最大露光時間に基づき、これらの撮影における前記露光のタイミングが定められている
撮影装置。
【請求項2】
請求項1に記載の撮影装置において、
前記合成画像は、車両における運転支援に用いられ、
前記運転支援において、前記N回の撮影処理により生成される各々の前記合成画像から、異なる撮影対象が認識され、
前記N回の撮影処理により生成される各々の前記合成画像の前記画質は、該撮影画像から認識される前記撮影対象に基づき定められる、
撮影装置。
【請求項3】
請求項2に記載の撮影装置において、
前記撮影装置は、前記車両に搭載される
撮影装置。
【請求項4】
請求項1から請求項3のうちのいずれか1項に記載の撮影装置において、
前記N回の撮影処理の各々における前記複数回の撮影として、長露光撮影と短露光撮影との2種類の撮影が行われ、前記長露光撮影は、前記短露光撮影に比べて前記露光時間が長く、
前記N回の撮影処理の各々において、一方の前記種類の撮影における前記露光を該撮影処理に対応する前記同期タイミングよりも前に行い、他方の前記種類の撮影における前記露光を該同期タイミングよりも後に行うことで、これらの撮影処理にて行われる各々の撮影の前記露光時間が重複しないようにした
撮影装置。
【請求項5】
請求項4に記載の撮影装置において、
前記制御部は、前記N回の撮影処理の各々にて、前記種類の異なる2回の撮影を行う
撮影装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮影装置に関する。
【背景技術】
【0002】
特許文献1における車載用の画像処理システムは、異なる運転支援機能に対応する複数の撮影を連続的に行う。これらの撮影は、対応する運転支援機能に応じたシャッタースピードで行われる。そして、各運転支援機能に用いられるパラメータが、該運転支援機能に対応する撮影画像から取得される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−118767号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の画像処理システムによる撮影では、十分なダイナミックレンジを有する撮影画像が得られない可能性がある。ここで、ハイダイナミックレンジ合成(以後、HDR合成と記載)を行うことで、ダイナミックレンジが拡大された撮影画像が得られる。
【0005】
これに対し、車両の運転支援では、リアルタイムな撮影画像が必要となる。このため、HDR合成による合成画像を運転支援に用いる場合、短時間で、露光時間の異なる撮影を複数回行う必要がある。したがって、画質の異なる複数の合成画像を運転支援に提供するため、複数回にわたってHDR合成を行うとなると、各撮影の露光時間が重複する可能性が生じる。そして、これを回避するため、露光時間の長さが制限されたり、合成画像の生成が遅延したりする恐れがある。
【0006】
本開示は、HDR合成により、画質の異なる複数の合成画像を、円滑且つ適切に生成するためのする技術を提供する。
【課題を解決するための手段】
【0007】
本開示の撮影装置(1)は、撮像素子(12)により撮影を行う。撮像装置は、撮影部(10)と、制御部(23)と、合成部(21)と、を備える。
撮影部は、予め定められた露光時間にわたる露光を行うことで撮影を行う。また、制御部は、2以上のいずれかの整数をNとし、連続的にN回の撮影処理を行う部位であって、これらの撮影処理の各々にて、撮影部により露光時間の異なる複数回の撮影を連続的に行う。また、合成部は、N回の撮影処理の各々について、該撮影処理における複数回の撮影により得られた複数の撮影画像に基づき、HDR合成により、ダイナミックレンジが拡大された撮影画像である合成画像を生成する。
【0008】
また、N回の撮影処理の各々により生成された各々の合成画像は、該合成画像に対応して定められた画質を有している。また、N回の撮影処理の各々における各撮影の露光時間の最大値である最大露光時間は、該撮影処理により生成される合成画像の画質に応じて定められている。また、N回の撮影処理の各々は、N回にわたって定期的に到来する同期タイミング(50〜53)の各々に対応している。
【0009】
そして、制御部は、N回の撮影処理の各々において、該撮影処理に対応する同期タイミングの前後にわたって複数回の撮影を連続的に行い、いずれかの撮影を、該同期タイミングが到来した時に露光が終了するように行うと共に、該撮影に続く他の撮影を、該同期タイミングが到来した時に露光が開始されるように行う。また、N回の撮影処理にて行われる各々の撮影の露光時間が重複しないよう、これらの撮影の最大露光時間に基づき、これらの撮影における露光のタイミングが定められている。
【0010】
このような構成によれば、N回の撮影処理の各々では、同期タイミングの前後にわたって複数回の撮影が行われる。これにより、各撮影処理における複数回の撮影の総露光時間として、同期タイミングの周期よりも長い時間を確保することが可能となる。また、先行する撮影処理における複数回の撮影と、これに続く撮影処理における複数回の撮影との間のインターバルを、短縮可能となる。
【0011】
このため、N回の撮影処理における各撮影について、適切な露光時間を確保することが可能となる。これにより、各撮影処理により得られた撮影画像に基づくHDR合成にて、適切な画質の合成画像を生成可能となる。また、これらの撮影に要する時間を抑制することが可能となる。したがって、HDR合成により、画質の異なる複数の合成画像を、円滑且つ適切に生成することが可能となる。
【0012】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【0013】
図1】本実施形態の撮影装置のブロック図である。
図2】本実施形態の撮影装置による撮影処理の説明図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.構成]
図1における本実施形態の撮影装置1は、車両に搭載される。以後、撮影装置1が搭載された車両を、自車両とも記載する。撮影装置1は、自車両の周辺(一例として、自車両の前方)を撮影する。撮影装置1による撮影画像は、自車両に搭載されたECU2により行われる自車両の運転支援に用いられる。
【0015】
ここで、運転支援とは、例えば、自動運転であっても良い。自動運転とは、自車両の加速、制動、及び、操舵等の運転操作を自動的に行うものである。具体例を挙げると、自動運転とは、自車両を目的地まで完全に自動的に走行させるものや、自車両を先行する他の車両に追従して走行させるものであっても良い。この他にも、自動運転には、自車両の加速及び制動のみを自動的に行い、速度を自動的に制御した状態で自車両を走行させるもの、及び、自車両の操舵のみを自動的に行い、進路を自動的に制御した状態で自車両を走行させるものが含まれても良い。また、この他にも、運転支援とは、例えば、衝突回避,速度警報,追突警報,車間警報,車線逸脱警報等であっても良い。なお、衝突回避とは、自車両が物体と衝突する可能性がある場合に制動制御や操舵制御を行い、衝突を回避するものであっても良い。
【0016】
撮影装置1は、カメラとしての構成を有する。具体的には、撮影装置1は、撮影部10とメイン制御部20とを有する。
撮影部10は、光学系11と複数の撮像素子12とを有する。
【0017】
光学系11は、図示しないレンズ,絞り部,シャッター等を有する。レンズは、入射した可視光線を複数の撮像素子12に結像させる。また、絞り部は、絞り値に応じて、レンズを通過した可視光線の光量を調整する。絞り部を通過した可視光線は、複数の撮像素子12に入射する。また、シャッターは、予め定められたシャッター速度で撮影時に開閉する。これにより、シャッター速度に応じた露光時間にわたって露光が行われる。換言すれば、該露光時間にわたって、可視光線が複数の撮像素子12に入射する。
【0018】
複数の撮像素子12は、例えば、複数のCMOSセンサ又は複数のCCDセンサ等を有する。これらの撮像素子12は、格子状(換言すれば、アレイ状)に配置されている。各撮像素子12は、入射した可視光線の強さを示すアナログ信号を出力する。該アナログ信号は、所定のゲインで増幅され、メイン制御部20に出力される。
【0019】
一方、メイン制御部20は、合成部21と、信号処理部22と、制御部23とを有する。
信号処理部22は、複数の撮像素子12から入力されたアナログ信号に基づき、RGB形式又はYUV形式の撮影画像データ(以後、RAWデータとも記載)を生成する。
【0020】
合成部21は、信号処理部22により生成された複数のRAWデータに基づき、ハイダイナミックレンジ合成(以後、HDR合成とも記載)を行う。以後、HDR合成により得られた撮影画像を、合成画像とも記載する。合成画像は、車内LAN3等を介してECU2に提供される。ECU2は、合成画像に基づき上述した運転支援を行う。
【0021】
HDR合成により、複数のRAWデータが示す撮影画像よりもダイナミックレンジが拡大された撮影画像が生成される。より詳しくは、HDR合成により、白飛び及び黒濡れといった現象が抑制され、より詳細な階調を有する撮影画像が生成される。このため、ECU2による運転支援において、合成画像に基づきより高い精度で画像認識を行うことが可能となる。なお、HDR合成のための撮影を行う処理については、後述する。
【0022】
制御部23は、撮影部10を制御して撮影を行う。制御部23は、撮影部10における撮影パラメータを設定する。撮影パラメータとは、例えば、シャッター速度(換言すれば、露光時間),絞り値,アナログ信号を増幅するゲイン等である。撮影部10は、制御部23により設定された撮影パラメータに従って撮影を行う。
【0023】
なお、合成部21、信号処理部22、及び制御部23は、CPU,RAM,ROM,フラッシュメモリ等の半導体メモリを有する周知のマイクロコンピュータを中心に構成されていても良い。つまり、これらの部位は、CPUが半導体メモリに記憶されたプログラムを実行することで、上記機能を実現しても良い。なお、半導体メモリは、非遷移的実態的記録媒体に相当する。また、これらの部位は、多数の論理回路を含むデジタル回路等により構成されていても良い。そして、上記機能が、ソフトウェアではなくハードウェアを用いて実現されても良い。
【0024】
[2.撮影について]
次に、HDR合成のための撮影について詳しく説明する。
撮影装置1のメイン制御部20における制御部23は、上述したHDR合成を行うための撮影処理を行う。撮影処理では、撮影部10により、長露光撮影と短露光撮影との2種類の撮影が、連続的に2回行われる。長露光撮影は、短露光撮影よりも露光時間が長い。また、長露光撮影及び短露光撮影は、露光時間以外の撮影パラメータが相違していても良い。そして、合成部21は、長露光撮影及び短露光撮影により生成された2つのRAWデータに基づき、HDR合成を行う。
【0025】
また、撮影装置1は、HDR合成により、合成画像1〜4の4種類の合成画像を生成する。合成画像1〜4は、異なる撮影対象に対応している。合成画像1〜4の各々は、運転支援において、該合成画像に対応する撮影対象を認識するのに好適な画質を有する。換言すれば、各合成画像の画質は、該合成画像に対応する撮影画像に基づき定められている。運転支援では、各合成画像から、該合成画像に対応する撮影対象が認識される。
【0026】
なお、撮影処理での各撮影において、自車両周辺の環境(例えば、明るさ等)に応じて露光時間が調整されても良い。以後、このような撮影における露光時間の最大値を、最大露光時間と記載する。一方、撮影処理での各撮影における露光時間は、固定されていても良い。以後、このような撮影における露光時間の固定値を、最大露光時間と記載する。
【0027】
ここで、合成画像1〜4を生成するための撮影処理を、それぞれ、第1〜第4撮影処理と記載する。制御部23は、合成画像の画質(換言すれば、撮影対象)に応じて、該合成画像を生成するための撮影処理での各撮影における撮影パラメータを調整する。特に、上述した各撮影対象を合成画像から好適に認識可能とするには、第1〜第4撮影処理の各々における各撮影の露光時間を、該撮影処理に対応する撮影対象に応じて定める必要がある。このため、各撮影処理における各撮影は、該撮影対象に対応する撮影対象に応じて、少なくとも最大露光時間が固有に定められる。無論、これらの撮影は、さらに、露光時間以外の撮影パラメータが固有に定められても良い。
【0028】
そして、制御部23は、定期的に到来する同期タイミングに従い、合成画像1〜4を生成するため、第1〜第4撮影処理を連続的に行う。同期タイミングは、一例として、25msec間隔で到来する。ここで、図2に示すように、連続的に到来する4つの同期タイミングを、第1〜第4同期タイミング50〜53とする。第1〜第4同期タイミング50〜53は、連続的に繰り返し到来する。つまり、第4同期タイミング53が到来した後には、次の第1〜第4同期タイミング50〜53が到来する。
【0029】
第1〜第4撮影処理は、それぞれ、第1〜第4同期タイミング50〜53に対応している。つまり、制御部23は、第1同期タイミング50に同期して、合成画像1を生成するための第1撮影処理を行う。また、制御部23は、第2同期タイミング51に同期して、合成画像2を生成するための第2撮影処理を行う。また、制御部23は、第3同期タイミング52に同期して、合成画像3を生成するための第3撮影処理を行う。また、制御部23は、第4同期タイミング53に同期して、合成画像4を生成するための第4撮影処理を行う。
【0030】
また、長露光時間101,111,121,131は、第1〜第4撮影処理における長露光撮影の露光のタイミングを示している。なお、長露光時間101,111,121,131は、一例として、これらの長露光撮影にて最大露光時間にわたる露光が行われた場合の、露光のタイミングを示している。また、短露光時間102,112,122,132は、第1〜第4撮影処理における短露光撮影の露光のタイミングを示している。なお、短露光時間102,112,122,132は、一例として、これらの短露光撮影にて最大露光時間にわたる露光が行われた場合の、露光のタイミングを示している。また、図2における総露光時間100〜130は、第1〜第4撮影処理における2回の撮影における露光のタイミングを示している。
【0031】
つまり、各撮影処理では、長露光撮影が短露光撮影に先行して行われる。すなわち、各撮影処理における長露光撮影は、該撮影処理が同期する同期タイミングの前に行われる。より詳しくは、該同期タイミングが到来した時に露光が終了するように、長露光撮影が行われる。一方、各撮影処理における短露光撮影は、該撮影処理が同期する同期タイミングの後に行われる。より詳しくは、該同期タイミングが到来した時に露光が開始されるように、短露光撮影が行われる。
【0032】
このため、同期タイミングが到来した後から、次の同期タイミングが到来するまでの各周期においては、先行する撮影処理の短露光撮影が行われた後に、後続の撮影処理における長露光撮影が行われる。
【0033】
なお、各撮影処理において、短露光撮影が長露光撮影に先行して行われるようにしても良い。つまり、各撮影処理では、同期タイミング50〜53が到来した時に露光が終了するように、短露光撮影が行われ、同期タイミング50〜53が到来した時に露光が開始されるように、長露光撮影が行われても良い。
【0034】
また、第1〜第4撮影処理における複数回の撮影の露光時間が重複しないよう、これらの撮影の最大露光時間に基づき、これらの撮影における露光のタイミングが調整されている。
【0035】
具体的には、第1撮影処理における短露光撮影の最大露光時間(換言すれば、短露光時間102)は、他の撮影処理における短露光撮影の最大露光時間(換言すれば、短露光時間112,122,123)よりも短い。このため、第2撮影処理における長露光撮影の最大露光時間(換言すれば、長露光時間111)は、他の撮影処理における長露光撮影の最大露光時間(換言すれば、長露光時間101,121,131)よりも長くなっている。換言すれば、長露光撮影の最大露光時間が最も長い撮影処理が、第2撮影処理となる。
【0036】
また、第2,第3撮影処理における短露光撮影の最大露光時間(換言すれば、短露光時間112,122)は、他の撮影処理における短露光撮影の最大露光時間(換言すれば、短露光時間102,132)と比較すると長い。このため、第3,第4撮影処理における長露光撮影の最大露光時間(換言すれば、長露光時間121,131)は、他の撮影処理における長露光撮影の最大露光時間(換言すれば、長露光時間101,111)よりも短くなっている。換言すれば、長露光撮影の最大露光時間が短い撮影処理が、第3及び第4撮影処理となる。
【0037】
[3.効果]
本実施形態によれば、以下の効果を奏する。
(1)本実施形態の撮影装置1によれば、第1〜第4撮影処理の各々では、同期タイミングの前後にわたって複数回の撮影が行われる。これにより、各撮影処理における複数回の撮影の総露光時間として、同期タイミングの周期よりも長い時間を確保することが可能となる。また、先行する撮影処理における複数回の撮影と、これに続く撮影処理における複数回の撮影との間のインターバルを、短縮可能となる。
【0038】
このため、第1〜第4撮影処理における各撮影について、適切な露光時間を確保することが可能となる。これにより、各撮影処理により得られた撮影画像に基づくHDR合成にて、適切な画質の合成画像を生成可能となる。また、これらの撮影に要する時間を抑制することが可能となる。したがって、HDR合成により、画質の異なる複数の合成画像を、円滑且つ適切に生成することが可能となる。
【0039】
(2)また、第1〜第4撮影処理により生成された合成画像1〜4は、ECU2に提供される。そして、ECU2は、合成画像1〜4に基づき運転支援を行う。また、各合成画像は、異なる撮影対象に対応しており、対応する撮影対象を認識するのに適した画質を有する。このため、ECU2は、合成画像1〜4に基づき、好適に運転支援を行うことができる。
【0040】
(3)また、撮影装置1は、車両に搭載される。このため、撮影装置1により生成された合成画像1〜4を、好適に運転支援に用いることができる。
(4)また、第1〜第4撮影処理では、長露光撮影と短露光撮影とが行われる。そして、各撮影処理では、長露光撮影は同期タイミングの前に行われ、短露光撮影は同期タイミングの後に行われる。このため、各撮影処理における各撮影について、適切な露光時間を確保することが可能となる。
【0041】
(5)また、第1〜第4撮影処理では、長露光撮影及び短露光撮影の2回の撮影が行われる。このため、各撮影処理における各撮影について、より確実に、適切な露光時間を確保することが可能となる。
【0042】
[4.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
【0043】
(1)上記実施形態の撮影装置1は、第1〜第4撮影処理を連続的に行い、4種類の合成画像を生成する。しかしながら、撮影装置1は、HDR合成のため、同様にしてN回の撮影処理を行っても良い。そして、撮影装置1は、これらの撮影処理により、画質の異なるN種類の合成画像を生成しても良い。なお、Nは、2、3、又は5以上のいずれかの整数である。
【0044】
(2)また、上記実施形態の撮影装置1は、撮影処理において、HDR合成のため、2回の撮影を連続的に行う。しかしながら、撮影装置1は、撮影処理において、露光時間の異なる3回以上の撮影を連続的に行っても良い。なお、該3回以上の撮影には、長露光撮影及び短露光撮影の2種類の撮影が含まれていても良い。この場合において、長露光撮影とは、最大露光時間が予め定められた水準に達する撮影であっても良い。また、短時間撮影とは、最大露光時間が該水準に達しない撮影であっても良い。そして、上記実施形態と同様にして、一方の種類の撮影が同期タイミングの前に、他方の種類の撮影が同期タイミングの後に行われても良い。
【0045】
さらに、撮影処理では、撮影の種類に関わらず、該撮影処理にて連続的に行われる各撮影のタイミングが定められても良い。
なお、これらの場合においても、上記実施形態と同様に、同期タイミングの直前に行われる撮影は、同期タイミングが到来した時に露光が終了する。また、同期タイミングの直後に行われる撮影は、同期タイミングが到来した時に露光が開始される。また、撮影処理における各撮影の露光のタイミングは、他の撮影と露光時間が重複しないように定められる。
【0046】
(3)また、上記実施形態における撮影装置1を、車両に搭載されない装置(例えば、携帯装置等)として構成しても良い。この場合、各撮影処理により生成される合成画像の画質は、撮影対象とは無関係に定められても良い。また、この場合、撮影装置1により生成された合成画像は、運転支援以外の用途に用いられても良い。また、携帯装置である撮影装置1を、必要に応じて車両に搭載しても良い。そして、該撮影装置1は、生成した合成画像を、該車両にて運転支援を行うECUに提供しても良い。
【0047】
(4)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【0048】
(5)上述した撮影装置1の他、当該撮影装置1を構成要素とするシステム、当該撮影装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、撮影装置1による撮影処理に相当する方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【0049】
1…撮影装置、2…ECU、10…撮影部、11…光学系、12…撮像素子、20…メイン制御部、21…合成部、22…信号処理部、23…制御部、50…第1同期タイミング、51…第2同期タイミング、52…第3同期タイミング、53…第4同期タイミング。
図1
図2