特許 6244986 カメラ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6244986

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】カメラ装置

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171204BHJP

   H04N 5/232 20060101ALI20171204BHJP

   H04N 5/225 20060101ALI20171204BHJP

【ＦＩ】

   H04N7/18 J

   H04N7/18 K

   H04N5/232 290

   H04N5/225 600

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2014-42810(P2014-42810)

(22)【出願日】2014年3月5日

(65)【公開番号】特開2015-170901(P2015-170901A)

(43)【公開日】2015年9月28日

【審査請求日】2017年1月25日

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100100712

【弁理士】

【氏名又は名称】岩▲崎▼ 幸邦

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】松野 洋介

(72)【発明者】

【氏名】沖 孝彦

(72)【発明者】

【氏名】三ツ石 広喜

(72)【発明者】

【氏名】松本 淳

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００９−１４７８２２（ＪＰ，Ａ）

【文献】 特開２００９−０８２７０３（ＪＰ，Ａ）

【文献】 特開２０１１−０１４９５５（ＪＰ，Ａ）

【文献】 特開２０１３−２２２９８０（ＪＰ，Ａ）

【文献】 特開２０１３−２１４９３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮影範囲の画像を撮像して画像情報を出力する画像撮像部と、
前記画像撮像部の露光を制御する露光制御部と、
前記画像撮像部の露光に同期して前記撮影範囲の少なくとも一部に投光する投光部と、
前記画像情報及び該画像情報の撮像時の前記投光部の投光情報を相互に関連付けて記憶する画像記憶部と、
車両情報を取得する車両情報取得部と、
前記車両情報に基づいて車両挙動の大きさを算出する車両挙動算出部と、
前記車両挙動の大きさに基づいて同期検波処理に使用するフレーム数を設定する使用フレーム数設定部と、
前記画像記憶部に記憶された各画像情報に対して、前記使用フレーム数設定部が設定したフレーム数を使用して同期検波処理を行う同期検波処理部と、
前記同期検波処理された画像情報を出力する画像出力部と、
を備えたことを特徴とするカメラ装置。

【請求項2】

前記車両情報取得部は、
車両の速度情報、ヨーレート情報、ロールレート情報、ピッチレート情報のうち、少なくとも一つの情報を取得することを特徴とする請求項１に記載のカメラ装置。

【請求項3】

前記車両挙動算出部は、
前記車両情報取得部が取得した情報のうち、少なくとも一つの情報に基づいて前記車両挙動の大きさを算出することを特徴とする請求項１または請求項２に記載のカメラ装置。

【請求項4】

前記使用フレーム数設定部は、
前記車両挙動算出部が算出した車両挙動の大きさに基づいて、車両挙動が小さい場合には使用フレーム数が多くなるように設定し、車両挙動が大きい場合には使用フレーム数が少なくなるように設定することを特徴とする請求項１乃至請求項３の何れか１項に記載のカメラ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に搭載して実時間三次元計測に利用可能なカメラ装置に関する。

【背景技術】

【0002】

従来より、撮像対象に周期的に強度変化する照明光を照射し、撮像した複数の画像フレームに対して、照明光の変化に同期した同期検波を行うことにより、背景光の影響やノイズを低減する同期検波技術が知られている（特許文献１、非特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−１０３４６４号公報

【非特許文献】

【0004】

【非特許文献1】“Smart Image Sensor with High-Speed and High-Sensitivity ID Beacon Detection for Augmented Reality System".Journal of Image Information and Television Engineers,Vol.58,No.6,pp.835-841,Jun.2004,Y.Oike,M.Ikeda,and K.Asada.

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、移動体に搭載したカメラで撮影を行うと、撮影した画像には、撮影対象物の相対的な動きによるいわゆる「動きノイズ」と、主として固体撮像デバイスの電荷読出時のノイズや熱雑音に由来する「ランダムノイズ」が含まれることが知られている。

【0006】

しかしながら上記従来技術によれば、撮影対象物の動きや、カメラから撮影対象物までの距離に関係なく、一定の画像フレーム数を使用して同期検波を行っていた。このため、画像内の動きの遅い領域に合わせて同期検波に使用する画像フレーム数を多くすると、ランダムノイズを低減できるものの、動きの速い領域での動きノイズが増加する。逆に、画像内の動きの速い領域に合わせて同期検波に使用する画像フレーム数を少なくすると、動きノイズを低減できるものの、動きの遅い領域でのランダムノイズの低減度が低下する。このように、従来技術では、同期検波に使用する画像フレーム数を一定としているため、動きノイズの低減と、ランダムノイズの低減とが両立しないという問題点があった。

【課題を解決するための手段】

【0007】

上記問題点を解決するために本発明のカメラ装置は、露光制御部の制御に従って画像撮像部が撮像した画像情報を出力し、画像撮像部の露光に同期して投光部が投光し、画像情報及び投光部の投光情報を相互に関連付けて画像記憶部に記憶する。そして、車両情報に基づいて車両挙動を算出し、車両挙動に基づいて同期検波に使用するフレーム数を設定し、設定したフレーム数を用いて同期検波処理を行うことを特徴とする。

【発明の効果】

【0008】

本発明によれば、動きノイズとランダムノイズとの双方のノイズを低減した同期検波画像が得られるカメラ装置を提供することができるという効果がある。

【図面の簡単な説明】

【0009】

【図1】本発明に係るカメラ装置の実施形態の構成を説明する制御ブロック図である。

【図2】同期検波に使用するフレーム数を説明する図である。

【図3】（ａ）車両情報のうちヨーレートＹ、ピッチレートＰ、ロールレートＲを説明する図、（ｂ）ヨーレートＹの絶対値｜Ｙ｜と車両速度Ｖとに基づく、同期検波に使用するフレーム数設定方法を示す制御マップの例である。

【図4】実施形態の動作を説明するフローチャートである。

【図5】同期検波に使用するフレーム数に対するランダムノイズのノイズ強度と動きノイズのノイズ強度を説明する図である。

【発明を実施するための形態】

【0010】

次に、図面を参照して、本発明の実施の形態を詳細に説明する。図１は、本発明に係るカメラ装置の実施形態の構成を説明する制御ブロック図である。図１において、カメラ装置１は、撮影範囲の画像を撮像して画像情報を出力する画像撮像部７と、画像撮像部７の露光を制御する露光制御部５と、画像撮像部７の露光に同期して撮影範囲の少なくとも一部に照射する投光部３とを備える。また、カメラ装置１は、画像撮像部７が出力する画像情報及び投光部３の投光情報を関連付けて記憶する画像記憶部９と、車両の情報を取得する車両情報取得部１１と、車両情報に基づいて車両挙動を算出する車両挙動算出部１３とを備える。

【0011】

さらに、カメラ装置１は、車両挙動に基づいて同期検波に使用するフレーム数を設定する使用フレーム数設定部１５と、使用フレーム数設定部１５が設定したフレーム数を用いて同期検波処理を行う同期検波処理部１７を備える。画像出力部１９は、同期検波された画像を出力するものである。

【0012】

本実施形態では、カメラ装置１は、車両前方の画像を撮像して出力する場合を説明するが、車両側方の画像或いは車両後方の画像を撮像するカメラ装置へ適用できることは明らかである。投光部３は、車両の前部、例えば、車両のフロントバンパーに設けられ、車両前方の撮影範囲の少なくとも一部を照射する。投光部３が撮影範囲へ照射する光の強度（或いは光量、以下、投光強度と略す）は、露光制御部５から与えられる制御信号により、投光強度が時間経過に従って一定の周期で変化する光である。投光部３が照射する光は、連続光であってもよいし、パルス光であってもよいが、連続光の場合、画像撮像部７が露光していない時間帯にも光を照射するために、光のエネルギー効率が低下する。本実施形態では、画像撮像部７が撮像する各フレームの露光時間に同期したパルス光としている。

【0013】

投光部３の具体的な光源としては、キセノンランプ、水銀灯、発光ダイオード等が光源として利用可能である。光源の寿命の長さ、光源を駆動する電源の小型軽量化、投光強度の制御性、投光部３全体の車両への搭載の容易性からは、発光ダイオードが好ましい。

【0014】

図２（ａ）は、画像撮像部７が撮像する動画像の連続する６フレームに相当する期間に投光部３が照射する投光強度の変化が１周期分（Ｔ1 ）に対応する例を示している。図２（ｂ）は、画像撮像部７が撮像する動画像の連続する１２フレームに相当する期間に投光部３が照射する投光強度の変化が２周期分（Ｔ2 ＝２Ｔ1 ）に対応する例を示している。実際には、投光部３の投光強度は、最小値が０なので、正弦波に、この正弦波のピークツーピーク値の１／２の直流分を加算した式（１）に示すような投光強度の波形となる。

【0015】

投光強度＝Ａ（１＋sin（ωｔ＋α）） …（１）
ただし、ω＝２π／Ｔ1
同期検波によるランダムノイズの抑制効果は、同期検波に使用するフレーム数を多くするほど高まるが、フレーム数を多くするほど動きノイズが大きくなり、従来の技術では、同期検波に使用するフレーム数を一定としていた。本発明では、車両情報を取得し、車両情報に基づいて車両挙動を算出し、車両挙動に基づいて、同期検波に使用するフレーム数を設定している。そして、車両挙動が相対的に小さい場合には、使用フレーム数が多くなるように、逆に、車両挙動が相対的に大きい場合には、使用フレーム数が少なくなるように、同期検波に使用するフレーム数を設定している。これにより、ランダムノイズと動きノイズの双方を低減した同期検波画像を得ることができる。

【0016】

画像撮像部７は、ＣＣＤやＣＭＯＳ等の２次元に光電変換素子が配列された半導体撮像素子を用いて、車両前方の画像を撮像して画像情報を出力する画像撮像部である。画像撮像部７は、例えば、車両のフロントガラス（ウインドシールド）上端部の車内側、或いは、ルーフの前端部の車外に設けられ、車両前方の画像を撮影可能となっている。

【0017】

図３（ａ）は、車両の前後軸をｘ方向、車両の左右軸をｙ方向、車両の垂直軸をｚ方向としたときの、ヨーレートＹ、ピッチレートＰ、ロールレートＲを説明する図である。ｚ軸周りの角速度がヨーレートＹ、ｙ軸周りの角速度がピッチレートＰ、ｘ軸周りの角速度がロールレートＲである。

【0018】

車両情報取得部１１は、内蔵する３軸ジャイロセンサの信号に基づいて、ヨーレートＹ、ピッチレートＰ、ロールレートＲを算出する。車両情報取得部１１は、本発明のカメラ装置用に新設してもよいが、横滑り防止装置を搭載している車両では、横滑り防止装置にヨーレート信号等を供給するために設置されたヨーレートセンサや３軸ジャイロセンサと共用してもよい。通常、ヨーレートセンサや３軸ジャイロセンサの車両搭載位置は、車両の中心位置または重心位置に近接して配置されている。例えば、運転席と助手席との中間にあるセンタコンソールに配置される。

【0019】

車両情報取得部１１は、図示しない車両の速度センサから車両速度Ｖを取り込む。そして、車両情報取得部１１は、車両速度Ｖ、ヨーレートＹ、ピッチレートＰ及びロールレートＲを車両挙動算出部１３へ出力する。ここで、ヨーレートＹ、ピッチレートＰ及びロールレートＲは、方向を示すために符号付きのデータとして出力される。

【0020】

露光制御部５、画像記憶部９、車両挙動算出部１３、使用フレーム数設定部１５、同期検波処理部１７及び画像出力部１９は、ＣＰＵとプログラムＲＯＭとＲＡＭと入出力インタフェースとを備えた図示しないマイクロコンピュータで構成されている。そして、露光制御部５、画像記憶部９、車両挙動算出部１３、使用フレーム数設定部１５、同期検波処理部１７及び画像出力部１９の機能は、ＣＰＵが制御プログラムを実行することにより実現される。尚、比較的低速のプログラムＲＯＭに記憶された制御プログラムは、リセット時に比較的高速のＲＡＭのプログラムエリアに読み出されて実行が開始される。画像記憶部９は、ＲＡＭ内に同期検波に使用するフレーム数より多いフレーム数の画像を記憶するエリアとして確保され、エリアが満杯となると、最も古いフレームが順次新しいフレームの画像情報で上書きされる領域である。

【0021】

露光制御部５は、画像撮像部７のフレーム毎の露光を制御するとともに、投光部３の投光タイミング及び投光強度、言い換えれば投光時の光量を制御する。さらに、露光制御部５は、画像撮像部７が撮像したフレーム毎の画像情報に対する、そのフレームが撮影されたときの投光部３の投光情報として、例えば、図２に示した投光強度の変化の位相情報をフレーム毎に画像記憶部９へ出力する。

【0022】

画像記憶部９は、画像撮像部７で撮像されたフレーム毎の画像情報に、露光制御部５が出力した投光情報を関連付けてフレーム毎に順次記憶する。

【0023】

車両挙動算出部１３は、車両情報取得部１１から入力した車両速度Ｖ、ヨーレートＹ、ピッチレートＰ及びロールレートＲを使用して、車両挙動の大きさを算出する。使用フレーム数設定部１５は、少なくとも一つの車両挙動の大きさに基づいて、同期検波に使用するフレーム数を設定する。

【0024】

次に図３（ｂ）を参照して、車両速度ＶとヨーレートＹの絶対値である｜Ｙ｜との二つの車両挙動に基づいて、同期検波に使用するフレーム数を設定する制御マップの例を説明する。車両挙動算出部１３は、車両速度Ｖと、ヨーレートＹの絶対値である｜Ｙ｜とを使用フレーム数設定部１５へ出力する。使用フレーム数設定部１５は、予め図３（ｂ）に示したような制御マップを記憶したり、図３（ｂ）の３つの領域Ａ，Ｂ，Ｃを区切る直線の式を記憶している。そして、使用フレーム数設定部１５は、車両挙動算出部１３から得た車両速度ＶとヨーレートＹの絶対値である｜Ｙ｜が図３（ｂ）の３つの領域Ａ、Ｂ、Ｃの何れの領域に相当するかを判定する。本実施形態では、車両挙動の大きさが小さい領域Ａの使用フレーム数を１８、車両挙動の大きさが中程度の領域Ｂの使用フレーム数を１２、車両挙動の大きさが大きい領域Ｃの使用フレーム数を６としている。次いで、使用フレーム数設定部１５は、判定した領域に対応する使用フレーム数を同期検波処理部１７へ設定する。

【0025】

同期検波処理部１７は、使用フレーム数設定部１５が設定したフレーム数を使用して、画像の同期検波処理を行う。画像の同期検波処理そのものは、先行技術文献欄で紹介した特許文献１や非特許文献１等に記載されている周知技術であるので、説明を省略する。画像出力部１９は、同期検波処理部１７が処理した同期検波画像を出力する。

【0026】

次に、図４のフローチャートを参照して、本実施形態のカメラ装置１の動作を説明する。図４のフローチャートは、上述したＣＰＵが実行する制御プログラムの概略である。まず、カメラ装置１の電源が投入されると、図示しないリセット動作が行われ、図４のフローチャートの実行が開始される。

【0027】

まずステップＳ１０２において、画像撮像部７に対して１つのフレームの露光開始を指示する。次いでステップＳ１０４において、投光周期の位相に応じた投光パルスを生成する。この投光パルスは、図２に示したように、例えば、式（１）で示した投光強度に応じてパルス振幅変調（ＰＡＭ）するか、或いは、パルス幅変調（ＰＷＭ）したものとなる。ＰＡＭとＰＷＭのいずれの変調方式をとるかは、投光部３に使用する光源に応じて設定すればよい。一般に、光源がキセノンランプのような放電管であれば、放電管に印加する電圧を変化させるＰＡＭが適し、発光ダイオードのような光源では、電流のパルス幅を変化させるＰＷＭが適している。

【0028】

次いでステップＳ１０６において、この投光パルスを投光部３へ出力して投光部３から投光し、画像撮像部７の撮影範囲を照射する。次いでステップＳ１０８において、１つのフレームの露光時間が経過するまで待機する。１つのフレームの露光時間が経過すると、ステップＳ１１０へ制御を進める。ステップＳ１１０では、画像撮像部７に対して露光終了を指示する。次いでステップＳ１１２において、ステップＳ１０４で投光パルスを生成したときの投光周期の位相情報を画像記憶部９へ出力する。次いでステップＳ１１４において、画像記憶部９に１フレーム分の画像情報と、この画像情報が撮像されたときの投光周期の位相情報を相互に関連付けて記憶させる。

【0029】

次いでステップＳ１１６において、同期検波に使用するフレーム数の画像が画像記憶部９に有るか否かを判定する。同期検波に使用するフレーム数の画像がなければ、新たなフレームを取得するためにステップＳ１０２へ戻る。ステップＳ１１６の判定において、同期検波に使用するフレーム数の画像が画像記憶部９に有れば、制御をステップＳ１１８へ進める。

【0030】

ステップＳ１１８では、車両情報を取得する。次いでステップＳ１２０においては、車両挙動の大きさを算出する。図３（ｂ）の二次元制御マップの例では、ヨーレートＹの絶対値｜Ｙ｜を算出する。図３（ｂ）の例では、車両速度ＶとヨーレートＹの絶対値｜Ｙ｜との二つの車両挙動の大きさに基づいて、同期検波に使用するフレーム数を設定している。しかしながら、本発明では、少なくとも一つの車両挙動に基づいて同期検波に使用するフレーム数を設定するので、車両速度Ｖ、ヨーレートＹの絶対値｜Ｙ｜、ピッチレートＰの絶対値｜Ｐ｜及びロールレートＲの絶対値｜Ｒ｜の内、一つを単独で使用してもよい。

【0031】

また、二つの車両挙動の組み合わせでフレーム数を設定するには、図３（ｂ）に示した例以外に、車両速度ＶとピッチレートＰの絶対値｜Ｐ｜との組み合わせや、車両速度ＶとロールレートＲの絶対値｜Ｒ｜との組み合わせが考えられる。また、車両速度Ｖ、ヨーレートＹの絶対値｜Ｙ｜、ピッチレートＰの絶対値｜Ｐ｜、ロールレートＲの絶対値｜Ｒ｜のなかから、三つの車両挙動を選択して、三次元制御マップを参照して使用フレーム数を設定してもよい。

【0032】

さらに、車両速度Ｖ、ヨーレートＹの絶対値｜Ｙ｜、ピッチレートＰの絶対値｜Ｐ｜、及びロールレートＲの絶対値｜Ｒ｜の四つの車両挙動を入力とする四次元制御マップを参照して使用フレーム数を設定してもよい。また、四つの車両挙動の組み合わせで二次元制御マップを参照して使用フレーム数を設定する例として、ヨーレートＹ、ピッチレートＰ、ロールレートＲから計算した√（Ｙ² ＋Ｐ² ＋Ｒ² ）と車両速度Ｖとを使用することも考えられる。

【0033】

次いでステップＳ１２２において、少なくとも一つの車両挙動の大きさに基づいて、同期検波に使用するフレーム数を設定する。次いでステップＳ１２４において、画像情報を読み出す。次いでステップＳ１２６において、画像の同期検波処理を行う。次いでステップＳ１２８においては、同期検波処理された画像を出力する。次いでステップＳ１３０において、電源オフか否かを判定し、電源オフであれば、動作を終了する。ステップＳ１３０の判定において、電源オフでなければ、次のフレーム画像を取得するために、ステップＳ１０２へ戻る。

【0034】

このように、本実施形態では、例えば、図３（ｂ）に示したように、車両挙動の小さい領域Ａ、即ち、画像フレーム毎の画像上での撮影対象の動き量が少ない領域では、同期検波に使用するフレーム数を多くし、１８フレームとしている。逆に、車両挙動の大きい領域Ｃ、即ち、画像フレーム毎の画像上での撮影対象の動き量が大きい領域では、同期検波に使用するフレーム数を少なくし、６フレームとしている。そして、領域Ａと領域Ｃとの中間の領域Ｂでは、両者の中間のフレーム数である１２フレームとしている。このため、従来例の同期検波に使用するフレーム数を固定した場合に対して、動きノイズとランダムノイズとの双方のノイズを低減した同期検波画像が得られるという効果がある。

【0035】

次に、図５を参照して、本実施形態の効果を定量的に説明する。ランダムノイズの強度をＮｒ，動きノイズ強度をＮｍ，同期検波に使用するフレーム数に相当する時間をＴ、撮影対象とカメラ装置の相対速度をＶｐとする。

【0036】

ランダムノイズＮｒは、次の式（２）で示される。即ち、ランダムノイズＮｒは、同期検波に使用するフレーム数に相当する時間Ｔの平方根の逆数に比例する。

【0037】

Ｎｒ∝１／√Ｔ …（２）
動きノイズＮｍは、次の式（３）で示される。即ち、動きノイズＮｍは、相対速度Ｖｐと同期検波に使用するフレーム数に相当する時間Ｔとの積に比例する。従って、動きノイズＮｍは、相対速度Ｖｐが大きいほど傾きが大きい直線となる。

【0038】

Ｎｍ∝Ｖｐ・Ｔ …（３）
例えば、従来例では、撮影対象の動きに係わらず一律に６フレームを使用して同期検波していた。本実施形態では、車両挙動が大きく動きの大きい領域Ｃでは、６フレームを使用して同期検波し、車両挙動が小さく動きの小さい領域Ａでは、１８フレームを使用して同期検波している。そして、車両挙動が中間で、動きも中間の領域Ｂでは、１２フレームを使用して同期検波している。これにより、車両挙動の小さい領域で、ランダムノイズを従来比約３０％低減することができる。

【0039】

以上、好ましい実施形態を説明したが、これは本発明を限定するものではない。本発明の権利範囲は、特許請求の範囲の記載に基づいて判断されるべきものである。

【符号の説明】

【0040】

１ カメラ装置
３ 投光部
５ 露光制御部
７ 画像撮像部
９ 画像記憶部
１１ 車両情報取得部
１３ 車両挙動算出部
１５ 使用フレーム数設定部
１７ 同期検波処理部
１９ 画像出力部

【図1】

【図2】

【図3】

【図4】

【図5】