ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024164863
(43)【公開日】2024-11-28
(54)【発明の名称】動画ノイズ低減装置及び動画ノイズ低減方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20241121BHJP
H04N 23/54 20230101ALI20241121BHJP
H04N 25/70 20230101ALI20241121BHJP
H04N 25/707 20230101ALI20241121BHJP
【ＦＩ】
H04N23/60 500
H04N23/54
H04N25/70
H04N25/707
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023080527
(22)【出願日】2023-05-16
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】小林 敏秀
【テーマコード（参考）】
5C024
5C122
【Ｆターム（参考）】
5C024CX03
5C024CY17
5C024CY26
5C024EX12
5C024GX03
5C024HX29
5C024JX09
5C024JX46
5C122DA13
5C122EA22
5C122FC06
5C122FH12
5C122FH13
5C122FH16
5C122FH23
5C122HB02
(57)【要約】
【課題】高精度の動画ノイズ低減技術を提供する。
【解決手段】フィルタ部は、所定のフレームレートで撮像するイメージセンサからの画像データを低周波数成分と第１の高周波数成分とに分離する。動きベクトル推定部３４は、輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する。動き補償部３２は、動きベクトルに基づいて動き補償を行う。フィルタ部は、第１の高周波数成分と動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、低周波数成分と第３の高周波数成分とを加算することによって画像データのノイズを低減する。
【選択図】図３
【解決手段】フィルタ部は、所定のフレームレートで撮像するイメージセンサからの画像データを低周波数成分と第１の高周波数成分とに分離する。動きベクトル推定部３４は、輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する。動き補償部３２は、動きベクトルに基づいて動き補償を行う。フィルタ部は、第１の高周波数成分と動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、低周波数成分と第３の高周波数成分とを加算することによって画像データのノイズを低減する。
【選択図】図３
【特許請求の範囲】
【請求項1】
所定のフレームレートで撮像するイメージセンサからの画像データを低周波数成分と第１の高周波数成分とに分離するフィルタ部と、
輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを前記所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する動きベクトル推定部と、
前記動きベクトルに基づいて動き補償を行う動き補償部とを含み、
前記フィルタ部は、前記第１の高周波数成分と前記動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、前記低周波数成分と前記第３の高周波数成分とを加算することによって前記画像データのノイズを低減することを特徴とする動画ノイズ低減装置。
輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを前記所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する動きベクトル推定部と、
前記動きベクトルに基づいて動き補償を行う動き補償部とを含み、
前記フィルタ部は、前記第１の高周波数成分と前記動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、前記低周波数成分と前記第３の高周波数成分とを加算することによって前記画像データのノイズを低減することを特徴とする動画ノイズ低減装置。
【請求項2】
動きベクトルを推定する画像データのブロック範囲は、動き補償を行う画像データのブロック範囲よりも大きいことを特徴とする請求項１に記載の動画ノイズ低減装置。
【請求項3】
前記動きベクトルの推定の時、動きベクトルの算出開始タイミングを前記イメージセンサのシャッタスピードによって変更することを特徴とする請求項１または２に記載の動画ノイズ低減装置。
【請求項4】
前記フィルタ部は、被写体までの距離を検出する距離センサからの測距画像データに対してノイズ低減を行う場合、前記測距画像データを低周波数成分と高周波数成分とに分離することなく、前記距離センサからの全周波数帯域の測距画像と前記動き補償により得られた全周波数帯域の測距画像とを所定の割合で加算することによって前記測距画像データのノイズを低減することを特徴とする請求項１に記載の動画ノイズ低減装置。
【請求項5】
所定のフレームレートで撮像するイメージセンサからの画像データを低周波数成分と第１の高周波数成分とに分離するフィルタリングステップと、
輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを前記所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて動き補償を行う動き補償ステップとを含み、
前記フィルタリングステップは、前記第１の高周波数成分と前記動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、前記低周波数成分と前記第３の高周波数成分とを加算することによって前記画像データのノイズを低減することを特徴とする動画ノイズ低減方法。
輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを前記所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する動きベクトル推定ステップと、
前記動きベクトルに基づいて動き補償を行う動き補償ステップとを含み、
前記フィルタリングステップは、前記第１の高周波数成分と前記動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、前記低周波数成分と前記第３の高周波数成分とを加算することによって前記画像データのノイズを低減することを特徴とする動画ノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画ノイズ低減装置及び動画ノイズ低減方法に関する。
【背景技術】
【0002】
撮像された動画のノイズを低減するために、従来技術では、例えば単純にフレーム間の映像を数フレーム分加算し、フレーム数で割り算して平均化することで、ランダムノイズを低減する。この平均を算出するフレームの区間をフレームごとに更新する移動平均によって平均化を行う。この場合、動きのある被写体に対しては、ブレが発生するため、平均化によって得られる映像はノイズの乗ったブラーが生じるという課題がある。一方、ＴＯＦ（Time Of Flight）センサによって静止物の距離を精密に測る場合はブレの問題がないため、このノイズ除去方法は有効であり、平均するフレーム数が増えるほど効果が上がり、測距カメラのノイズ除去においてよく使われている。
【0003】
画像の各画素の輝度変化を非同期に検出し、輝度変化のある画素の座標を時間の情報とともに出力する高速かつ低遅延なイベントベースビジョンセンサ（ＥＶＳ（Event-based Vision Sensor））（「イベントベースセンサ」とも呼ぶ）が開発されている。特許文献１には、非同期のイベントベースセンサによって生成された信号の処理技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表２０２１－５０８９７５号
【発明の概要】
【発明が解決しようとする課題】
【0005】
動画のノイズ低減の精度を上げるためには、ブレのある動画に対して高速フレームレートで被写体の動きを捉え、高精度で動きベクトルを推定し、動き補償された画像を用いてノイズ低減を行うことが必要である。特許文献１には、イベントベースセンサを用いて画像の動き情報を取得する技術は開示されておらず、また、イベントベースセンサから出力される非同期データから生成レートを推定するが、生成レートを高フレームに対応させるために必要となるメモリの読み出し、書き込みの高速化を図る方法は開示されていない。
【0006】
本発明はこうした状況に鑑みてなされたものであり、その目的は、高精度の動画ノイズ低減技術を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある態様の動画ノイズ低減装置は、所定のフレームレートで撮像するイメージセンサからの画像データを低周波数成分と第１の高周波数成分とに分離するフィルタ部と、輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを前記所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する動きベクトル推定部と、前記動きベクトルに基づいて動き補償を行う動き補償部とを含む。前記フィルタ部は、前記第１の高周波数成分と前記動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、前記低周波数成分と前記第３の高周波数成分とを加算することによって前記画像データのノイズを低減する。
【0008】
本発明の別の態様は、動画ノイズ低減方法である。この方法は、所定のフレームレートで撮像するイメージセンサからの画像データを低周波数成分と第１の高周波数成分とに分離するフィルタリングステップと、輝度が変化した画素の情報を非同期で出力するイベントセンサからのデータを前記所定のフレームレートよりも高いフレームレートで読み出して動きベクトルを推定する動きベクトル推定ステップと、前記動きベクトルに基づいて動き補償を行う動き補償ステップとを含む。前記フィルタリングステップは、前記第１の高周波数成分と前記動き補償により得られた画像から取り出された第２の高周波数成分とを所定の割合で加算することによって第３の高周波数成分を生成し、前記低周波数成分と前記第３の高周波数成分とを加算することによって前記画像データのノイズを低減する。
【0009】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によれば、高精度の動画ノイズ低減技術を提供することができる。
【図面の簡単な説明】
【0011】
【図1】イベントベースセンサの構成図である。
【図3】実施の形態１の動画ノイズ低減装置の基本構成図である。
【図4】動きベクトル推定に用いるブロック範囲を説明する図である。
【図5】動きベクトル推定部のブロック図である。
【図6】動きベクトル推定部の動作を説明するタイミングチャートである。
【図7】より高速のシャッタスピードの場合の動きベクトル推定部の動作を説明するタイミングチャートである。
【図8】画像のピクセルの水平方向及び垂直方向の読み出し方法を説明する図である。
【図9】フレーム内の被写体の動きを説明する図である。
【図11A】画像のブロックの各ピクセルの縦方向係数と周辺係数を示す図である。
【図11B】画像のブロックの各ピクセルの縦動き量の重みづけ係数を示す図である。
【図13A】画像のブロックの各ピクセルの横方向係数と周辺係数を示す図である。
【図13B】画像のブロックの各ピクセルの横動き量の重みづけ係数を示す図である。
【図15】１フレーム前の被写体の動きを説明する図である。
【図19】動きベクトルによって動き探索対象のブロックを移動させる方法を示す図である。
【図20A】探索１回目における８×８ピクセルのエリアの１ピクセル単位探索を説明する図である。
【図20B】探索２回目における１／４ピクセル単位で補間して探索する方法を示す。
【図21】従来のブロッキングマッチングを説明する図である。
【図22】プリズムを用いたＥＶＳとＲＧＢセンサの配置を説明する図である。
【図24】実施の形態５の動画ノイズ低減装置の基本構成図である。
【発明を実施するための形態】
【0012】
（実施の形態１）
実施の形態１において、ＥＶＳの出力データを使用することによって高速フレームレートで被写体の動きを捉え、高精度で動きベクトルを推定し、動き補償された画像を用いてノイズ低減を行う構成を説明する。
実施の形態１において、ＥＶＳの出力データを使用することによって高速フレームレートで被写体の動きを捉え、高精度で動きベクトルを推定し、動き補償された画像を用いてノイズ低減を行う構成を説明する。
【0013】
本実施の形態では、ＲＧＢセンサで画像のＲ、Ｇ、Ｂデータを取得すると同時に、イベントベースセンサ（ＥＶＳ）によって画像の輝度変化データを取得し、輝度変化データを用いることで、ＲＧＢセンサの１フレーム以内に動きベクトルを演算し、動き補償を行い、動き補償された画像を用いてフレーム間移動平均によるノイズ低減を行う。
【0014】
図１は、ＥＶＳ１０の構成図である。ＥＶＳ１０は、受光部１２と輝度変化検出部１６を含む。受光部１２は、電流電圧変換器１３とフォトダイオード１４を含む。輝度変化検出部１６は、非同期差分検出器１７と比較器１８を含む。
【0015】
受光部１２において、フォトダイオード１４はピクセル毎に入射光を電流に変換し、電流電圧変換器１３に与える。電流電圧変換器１３は、各ピクセルで検出された電流を電圧に変換し、輝度変化検出部１６に与える。
【0016】
輝度変化検出部１６において、非同期差分検出器１７は、各ピクセルの検出された電圧と基準電圧の差分を非同期で検出し、比較器１８に与える。比較器１８は、電圧差分がプラスの閾値を超えた場合、プラスイベント信号を出力し、マイナスの閾値を超えた場合、マイナスイベント信号を出力し、それ以外の場合は、ゼロを出力する。
【0017】
このように、ＥＶＳ１０は、ピクセル毎に検出された光を電圧に変換し、その変換電圧を任意の幅と電圧レベルを設定したスレッシュホールド（threshold）レベル（以下、簡単に「スレッシュレベル」と呼ぶ）で比較し、光がプラスのスレッシュレベルより明るいとプラスイベント信号に１を立て、光がマイナスのスレッシュレベルより暗いとマイナスイベント信号に１を立て、それ以外はどちらも０を出す。プラス、マイナスいずれかのスレッシュレベルを超えると、基準スレッシュレベルの電圧レベルをその時の電圧レベルに再設定する。どちらも０のときは、そのピクセルのデータは出力しない。０のときは何も出力しないため、画像内であるスレッシュレベル幅の明るさの変化があったピクセルだけ１個の極性を表すデータを出力すればよく、つまり１ビットのデータが出力される。またその出力が画面のｘ、ｙ座標のどのアドレス位置であるかを示すデータも併せて出力する。
【0018】
図２（ａ）～図２（ｃ）は、ＥＶＳ１０が出力するイベント信号を説明する図である。被写体が図中の矢印に沿って移動したとする。図２（ａ）では符号１５ａの位置のピクセルの輝度が閾値を超え、ピクセルの座標、時刻、明暗極性を含むイベント信号（ｘ１，ｙ１，ｔ１，±１）が出力される。図２（ｂ）では符号１５ｂの位置のピクセルの輝度が閾値を超え、ピクセルの座標、時刻、明暗極性を含むイベント信号（ｘ２，ｙ２，ｔ２，±２）が出力される。図２（ｃ）では符号１５ｃの位置のピクセルの輝度が閾値を超え、ピクセルの座標、時刻、明暗極性を含むイベント信号（ｘ３，ｙ３，ｔ３，±３）が出力される。
【0019】
このように、ＥＶＳ１０では、各ピクセルについて通常のセンサの１２ビットＡ／Ｄデータのように多ビットで出力せず、輝度変化のあるスレッシュレベルを超えたタイミング時点のピクセルのデータだけを出力するため、非常に高速にマイクロ秒のオーダーで非同期にイベント信号を出力することができる。本実施の形態は、このように高速に輝度変化を検出することができるＥＶＳ１０の出力データを用いる。
【0020】
図３は、実施の形態１の動画ノイズ低減装置２００の基本構成図である。
【0021】
カメラなどのＲＧＢセンサから取得されたＲＡＷ信号は、カメラプロセスを施されＲ、Ｇ、ＢもしくはＹ、Ｃｂ、Ｃｒの動画像のデータになり、動画ノイズ低減装置２００に入力される。あるいはＢＡＹＥＲパターンのＲ、Ｇｒ、Ｇｂ、Ｂ信号のそれぞれを動画ノイズ低減装置２００に入力してもよい。さらにはＴＯＦセンサから得られる情報から出力される測距画像を動画ノイズ低減装置２００に入力してもよい。ここでは説明をわかりやすくするためにＹ信号が入力された場合の例を説明する。入力されたＹ信号は、ローパスフィルタ（ＬＰＦ（Low Pass Filter））部２０に入力される。
【0022】
ＬＰＦ部２０は、例えば０．２５Ｚ＾（－２）＋０．５Ｚ＾（－１）＋０．２５Ｚ＾０のような水平方向のローパスフィルタを含む。ここでＺは１ピクセルのスキャン時間である。さらにＬＰＦ部２０は、例えば０．２５Ｌ＾（－２）＋０．５Ｌ＾（－１）＋０．２５Ｌ＾０のような垂直方向のローパスフィルタを含む。ここでＬは１ラインのスキャン時間である。
【0023】
Ｙ信号は同時にｄｌｙ（遅延）回路２２において遅延され、減算部２３においてＬＰＦ出力と遅延量を合わせて、Ｙ信号からＬＰＦ信号を引き算し、高周波数信号を得る。この高周波数信号を除算部２４において係数Ｘで割り算する。このＸはフレーム間移動平均のゲイン調整になり、このＸでノイズの低減量を調整する。加算部２５において、この１／Ｘ倍した高周波数信号ＮＨＰＦと後述する１フレーム遅延して動き補償したフィードバックの高周波数信号ＦＤＲとを足し算する。加算部２７において、この足し算した結果を上記のＬＰＦ部２０の出力結果に足し算し、フレーム間で移動平均されたノイズの低減されたＹＤＮＲ信号を得る。ＹＤＮＲ信号は同時にフレームメモリ３０に蓄積される。
【0024】
動きベクトル推定部３４は、ＥＶＳ１０のデータから動いている被写体の動きベクトルを算出し予想し、動き補償部３２に与える。動き補償部３２は、動きベクトルに合わせてブロック毎に動きベクトル量分だけずらして動き補償し、予測画像を生成する。
【0025】
動きベクトル推定部３４は、探索開始点を決定し、後述の動き探索を行う。図４は、動きベクトル推定に用いるブロック範囲を説明する図である。ここでは、図４に示すように、動き補償対象ブロック範囲４０に対して、動きベクトル推定ブロック範囲４２を広くとるようにする。図４の例では、動き補償対象ブロック範囲４０を８×８とし、動きベクトル推定ブロック範囲４２を２４×２４とする。
【0026】
図５は、動きベクトル推定部３４のブロック図である。動きベクトル推定部３４は、カメラの同期の時間間隔で動きベクトルを読み出す。
【0027】
ＥＶＳからスレッシュレベルを超えた明暗の変化のあったピクセルの座標アドレスのｙ座標ＥＶＳ＿ｙ、ｘ座標ＥＶＳ＿ｘと明暗の符号ＥＶＳ＿ｐｍが非同期タイミングでバッファリングブロックに入力される。バッファリングブロックは非同期に入力されたＥＶＳ信号を内部のクロックに置き換え、ブロック内部の処理のディレー（delay）を吸収するためのメモリであり、例えばＦＩＦＯメモリを用いる。
【0028】
バッファリング出力のＥＶＳ＿ｙｂ、ＥＶＳ＿ｘｂからフレームメモリＡ＋、フレームメモリＢ＋、フレームメモリＡ－、フレームメモリＢ－に明暗符号を一時的に保存するためのこれらのメモリのライトアドレスＥＶＳ＿ＷＡＤＲＳを作成する。フレームメモリＡ＋、フレームメモリＢ＋は後述する任意の期間にＥＶＳが明るい方向に変化したピクセルを保存するためのメモリである。フレームメモリＡ－、フレームメモリＢ－は後述する任意の期間にＥＶＳが暗い方向に変化したピクセルを保存するためのメモリである。
【0029】
ＲＧＢセンサが例えば１／６０秒のフレームレートで動作しているとして、それに対してＥＶＳは最高でマイクロ秒のオーダーで非同期にてデータを出力するため、このフレームメモリにおいて任意の周期に更新するように読み出しＲＧＢセンサのデータと同期がとれるようにする。そのためＥＶＳのデータはこれらのフレームメモリにおいてアドレスに対応したメモリ領域に保存する。フレームメモリは例えばＲＧＢセンサの１／２４倍の周期で速く読み出して出力データの更新を行うことにより、ＲＧＢデータの１／２４倍周期のデータとして取り出せるようになる。この１／２４倍周期は、図４の２４×２４ピクセルのブロック分割に回路構成上都合が良い周期であるが、ブロック分割のピクセルやフレームメモリの構成で任意の周期に変更してもよい。ここではわかりやすくするためにＲＧＢの１／２４倍周期で説明する。
【0030】
ＲＧＢセンサの１／２４倍周期であるので非常に高速な処理を行う必要があるが、通常のＦＰＧＡのハードウェア構成では処理スピードの制約で実現が難しいため、本実施の形態では次のような工夫をして実現する。
【0031】
図６は、動きベクトル推定部３４の動作を説明するタイミングチャートである。図５のＳＳＧでＲＧＢセンサの１／２４倍の周期にあたるｘ２４ｆｒｍパルスを発生する。図６のＲＧＢセンサＶＳＹＮＣは、１／６０秒周期に１回ＨＩＧＨ信号になる。それに対してｘ２４ｆｒｍ信号は、図６のように１／２４倍の１／１４４０秒周期でＨＩＧＨ、ＬＯＷを繰り返すパルスになる。明るい方向に変化したピクセルを保存するフレームメモリＡ＋とフレームメモリＢ＋はこのｘ２４ｆｒｍのＨＩＧＨ、ＬＯＷに合わせて片側がＥＶＳデータを書き込んでいる間に、もう片方は読み出して０を書き込む作業を行う。同様に暗い方向に変化したピクセルを保存するフレームメモリＡ－とフレームメモリＢ－はこのｘ２４ｆｒｍのＨＩＧＨ、ＬＯＷに合わせて片側がＥＶＳデータを書き込んでいる間に、もう片方は読み出して０を書き込む作業を行う。
【0032】
図６に示すように、フレームメモリＡ＋、フレームメモリＡ－はｘ２４ｆｒｍがＬＯＷの時にセンサの明るさの符号に対応したアドレスに書き込み、ＨＩＧＨの時は書き込んだデータを画面上部のアドレス０から順番に読み出す。通常１ピクセルずつメモリから読み出すにはＲＧＢ信号の２４倍のクロックスピードで読み出す必要があるが、ＥＶＳの明るさデータは１ビットであることに注目し、２４ライン分を２４ビットデータとして扱う工夫をすることで、２４ライン分を一度に読み出すことができるようにする。このことで通常のＲＧＢで扱うクロックスピードと同等のスピードで読み出しが可能となる。このデータを２４ビット化する方法を次に示す。
【0033】
ＥＶＳのピクセルサイズが例えば１２８０（ｘ軸）×７２０（ｙ軸）の場合、ＥＶＳ＿ｙｂは１０ＢＩＴでＥＶＳ＿ｙｂ［９：０］、ＥＶＳ＿ｘｂは１１ＢＩＴでＥＶＳ＿ｘｂ［１０：０］で表され、その時のライトアドレスＥＶＳ＿ＷＡＤＲＳは動きベクトル推定ブロック範囲を２４×２４とした場合、次式で求められる。
ＥＶＳ＿ＷＡＤＲＳ＝ＩＮＴ（ＥＶＳ＿ｙｂ／２４）×２＾１１＋ＥＶＳ＿ｘｂ
・・・・（１）
ＥＶＳ＿ＷＡＤＲＳ＝ＩＮＴ（ＥＶＳ＿ｙｂ／２４）×２＾１１＋ＥＶＳ＿ｘｂ
・・・・（１）
【0034】
ＥＶＳ＿ｐｍはピクセルが明るくなった場合は１、暗くなった場合は０で入力される。バッファを通ってブロック内部のクロックで読み出されたＥＶＳ＿ｐｍをＥＶＳ＿ｐｍｂとする。（２）式のようにＥＶＳ＿ｙｂからＢＩＴＳＨＩＦＴを求め、（３）式のようにＥＶＳ＿ｐｍｂをＢＩＴＳＨＩＦＴ分だけシフトレジスタでビットシフトした値を出力する。
ＢＩＴＳＨＩＦＴ＝ＥＶＳ＿ｙｂ－ＩＮＴ（ＥＶＳ＿ｙｂ／２４）×２４
・・・・（２）
ＳｈｉｆｔＲｅｇｉｓｔｅｒ＝２＾ＢＩＴＳＨＩＦＴ×ＥＶＳ＿ｐｍｂ
・・・（３）
ＢＩＴＳＨＩＦＴ＝ＥＶＳ＿ｙｂ－ＩＮＴ（ＥＶＳ＿ｙｂ／２４）×２４
・・・・（２）
ＳｈｉｆｔＲｅｇｉｓｔｅｒ＝２＾ＢＩＴＳＨＩＦＴ×ＥＶＳ＿ｐｍｂ
・・・（３）
【0035】
例えばＥＶＳ＿ｙｂが１０００の場合、ＢＩＴＳＨＩＦＴ＝１６になり、ＳｈｉｆｔＲｅｇｉｓｔｅｒ＝２＾１６になる。この値はＥＶＳ＿ＷＡＤＲＳと同期して明るい方向検出用のフレームメモリＡ＋、フレームメモリＢ＋のブロックに出力される。ＥＶＳ＿ｐｍｂをインバータした信号は、暗くなった場合が１、明るくなった場合が０であり、シフトレジスタに入力され、ＥＶＳ＿ＷＡＤＲＳに従い、（２）式、（３）式の出力信号をフレームメモリＡ－、フレームメモリＢ－のブロックに出力する。このようにすることでフレームメモリの１アドレスに２４ライン分書き込むことができる。シフトレジスタは同時にイベントが発生したＥＶＳ＿ｙｂのラインアドレスが２４ＢＩＴの何ビット目かを表すＹＡＤＲ信号を発生する。次式のＹＡＤＲ信号を出力する。
ＹＡＤＲ＝２＾ＢＩＴＳＨＩＦＴ ・・・（４）
ＹＡＤＲ＝２＾ＢＩＴＳＨＩＦＴ ・・・（４）
【0036】
上記で述べたようにｘ２４ｆｒｍパルスに従いフレームメモリＡ、フレームメモリＢに書き込むが、ｘ２４ｆｒｍの書き込み期間に、隣接する２４ラインのデータが複数個入力されることもあるので、書き込みフェーズ時にＥＶＳ＿ＷＡＤＲＳのアドレスを一度保存された状態のものを読み出し、読み出した２４ビットデータを新たにシフトレジスタで発生した信号とＯＲ（論理和）をとる。この時に読み出した２４ビットのうちＹＡＤＲで示す１の立っているビットの値が１で、新たにシフトレジスタで発生したＹＡＤＲで示すビットが０であった場合、そのビットはＯＲを取らずに０にする。このように一度保存されていた２４ビットデータを読み出すためにＥＶＳ＿ＷＡＤＲＳは１クロック（ＣＬＫ）分ディレーさせるレジスタを通し、フレームメモリのアドレスに入力する。このようにすることでｘ２４ｆｒｍの書き込みパルス期間に最新の明暗それぞれの符号データが書き込まれるようになる。
【0037】
フレームメモリＡ＋、フレームメモリＡ－はｘ２４ｆｒｍがＬＯＷの時に、フレームメモリＢ＋、フレームメモリＢ－はｘ２４ｆｒｍがＨＩＧＨの時に、上記の書き込みが行われ、フレームメモリＡ＋、フレームメモリＡ－はｘ２４ｆｒｍがＨＩＧＨの時に、フレームメモリＢ＋、フレームメモリＢ－はｘ２４ｆｒｍがＬＯＷの時に、下記の読み込み及び０の書き込みが行われる。読み込みアドレスＥＶＳ＿ＲＡＤＲＳは図５のＲアドレス発生部で発生され、ピクセルサイズが例えば１２８０（ｘ）×７２０（ｙ）の場合、１２８０×７２０の全てのピクセルに対するアドレスを、アドレス０から順に（１）式の法則に合うように（５）式のアドレスを発生し、フレームメモリのデータをｘ２４ｆｒｍの示す読みだし期間に読み出す。
ＥＶＳ＿ＲＡＤＲＳ＝ＩＮＴ（ｙａｄｒｓ／２４）×２＾１１＋ｘａｄｒｓ
・・・・（５）
ｘａｄｒｓ＝０～１２７９、ｙａｄｒｓ＝０～２９
ＥＶＳ＿ＲＡＤＲＳ＝ＩＮＴ（ｙａｄｒｓ／２４）×２＾１１＋ｘａｄｒｓ
・・・・（５）
ｘａｄｒｓ＝０～１２７９、ｙａｄｒｓ＝０～２９
【0038】
１アドレス読み出ししたらただちに、そのアドレスに２４ビットの０の書き込みを行う。０の書き込みは、１２８０×７２０の全てのピクセルに対するアドレスを、ＥＶＳ＿ＲＡＤＲＳと同様にアドレス０から順に発生させることで行う。フレームメモリＡ＋とフレームメモリＢ＋の読み込みデータを、またフレームメモリＡ－とフレームメモリＢ－の読み込みデータをｘ２４ｆｒｍパルスで切り替えることで全ての６０フレームの２４倍のフレーム分のプラス符号データとマイナス符号データを読み出す。
【0039】
この読み出しデータは１データ２４ライン分の符号データであるが、動きベクトル算出は８ピクセル×８ライン単位で行うためディレー調整４８ラインメモリで、図８のように水平方向は２４ピクセルを８ピクセルずつずらして読み出していき、垂直方向は２４ラインデータを８ラインずつずらして読み出す。読み出しは書き込みの３倍以上のクロックスピードで読み出す。同時に６０フレームの２４倍のフレーム分のプラス符号データとマイナス符号データを読み出したデータは、１／（２４×６０）秒のフレーム単位のフレームメモリで遅延させて、同様に図８のように２４ピクセルを８ピクセルずつ、２４ラインデータを８ラインずつずらして読み出す。このようにすることで、各ブロックのベクトル計算は隣り合うブロックとオーバーラップ部分を含んで計算することができる。
【0040】
続いて動きベクトルの算出方法を説明する。図９に２４×２４ピクセル範囲にある円の被写体が１／（２４×６０）秒のフレーム単位で右上に動いている様子を示している。図の中の数字はＹ信号のコード値になる。図１０は、図９の２個目の円と３個目の円の動きによる明るさ変化を示すＥＶＳ信号の符号データになる。
【0041】
動き方向の検出は、Ｙ軸の縦方向の重みづけ係数とＸ軸の横方向の重みづけ係数をそれぞれプラス側符号とマイナス側符号に掛け合わせて、下記に説明するように２４×２４ピクセルの総和を２４×６０フレーム単位の現在のフレームに対して求め、１フレーム前のフレームに対して同様の総和を求め、両者の差分を取ることで、Ｙ軸、Ｘ軸方向の動き量を求める。
【0042】
図１１Ａは、２４×２４ピクセルのブロックに対して１ライン毎に１だけ増える縦方向係数を示す。図１１Ａのブロックの周囲にはブロックの四隅に行くほど小さくなる数字が書かれており、これを８で割った数が周辺係数である。すなわち２の場合は、２／８が周辺係数であり、８の場合は、８／８＝１が周辺係数である。縦動き量の重みづけ係数は、図１１Ｂに示すように、図１１Ａの各ピクセルの縦方向係数に周辺係数をかけた値である。たとえば、Ｘ＝１、Ｙ＝３のピクセルの場合、縦方向係数は３であり、Ｘ方向の周辺係数は２／８であり、Ｙ方向の周辺係数は６／８であるから、縦動き量の重みづけ係数は、３×（２／８）×（６／８）≒０．６となる。周辺係数をかける理由は、ブロックの境界にまたがるような動きの場合、そのデータの動き推定への寄与度を小さくするためである。
【0043】
図１３Ａは、２４×２４ピクセルのブロックに対して水平方向１ピクセル毎に１だけ増える横方向係数を示す。図１３Ａのブロックの周囲にはブロックの四隅に行くほど小さくなる数字が書かれており、これを８で割った数が周辺係数である。横動き量の重みづけ係数は、図１３Ｂに示すように、図１３Ａの各ピクセルの横方向係数に周辺係数をかけた値である。
【0044】
図１２Ａは、図１０のＥＶＳ出力の明るい側（プラス側）の符号データに図１１Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。この計算は、図５の垂直方向プラス側の重みづけ部で行われ、その結果をＶＰとする。図１０のＥＶＳ出力でプラスとなったピクセルは２０個あり、このプラスとなったピクセルについて図１２Ａの重みづけ値を合計すると１８５であり、平均すると１８５／２０≒９．２５である。
【0045】
図１２Ｂは、図１０のＥＶＳ出力の暗い側（マイナス側）の符号データに図１１Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。この計算は、図５の垂直方向マイナス側の重みづけ部で行われ、その結果をＶＭとする。図１０のＥＶＳ出力でマイナスとなったピクセルは１９個あり、このマイナスとなったピクセルについて図１２Ｂの重みづけ値を合計すると－２３５となり、平均すると－２３５／１９≒－１２．３７となる。
【0046】
図１４Ａは、図１０のＥＶＳ出力の明るい側（プラス側）の符号データに図１３Ｂの横動き量の重みづけ係数を掛け算した結果を示す。この計算は、図５の水平方向プラス側の重みづけ部で行われ、その結果をＨＰとする。図１０のＥＶＳ出力でプラスとなったピクセルは２０個あり、このプラスとなったピクセルについて図１４Ａの重みづけ値を合計すると３５９であり、平均すると３５９／２０≒１７．９５である。
【0047】
図１４Ｂは、図１０のＥＶＳ出力の暗い側（マイナス側）の符号データに図１３Ｂの横動き量の重みづけ係数を掛け算した結果を示す。この計算は、図５の水平方向マイナス側の重みづけ部で行われ、その結果をＨＭとする。図１０のＥＶＳ出力でマイナスとなったピクセルは１９個あり、このマイナスとなったピクセルについて図１４Ｂの重みづけ値を合計すると－２９０となり、平均すると－２９０／１９≒－１５．２６となる。
【0048】
このように、縦動き方向の２４×２４ピクセルのブロックのプラス側の重みづけされた値を２４×２４ピクセルのすべてについて合計した値を求め、２４×２４ピクセルのブロックのプラス側の数で割り、平均値を求める。図１２Ａおよび図１２Ｂの例では縦プラス側の平均が９．２５、縦マイナス側の平均が－１２となる。この平均値の計算は、図５の垂直方向Ｐ１ＢＬＯＣＫ平均部、垂直方向Ｍ１ＢＬＯＣＫ平均部で行われ、ＶＰＳＵＭ信号、ＶＭＳＵＭ信号が出力される。ＶＰＳＵＭ＝９．２５、ＶＭＳＵＭ＝－１２．３７である。
【0049】
横動き方向の２４×２４ピクセルのブロックのプラス側の重みづけされた値を２４×２４ピクセルのすべてについて合計した値を求め、２４×２４ピクセルのブロックのプラス側の数で割り、平均値を求める。図１４Ａおよび図１４Ｂの例では横プラス側の平均が１８、縦マイナス側の平均が－１５となる。この計算は、図５の水平方向Ｐ１ＢＬＯＣＫ平均のブロック、水平方向Ｍ１ＢＬＯＣＫ平均のブロックで行われ、ＨＰＳＵＭ信号、ＨＭＳＵＭ信号が出力される。ＨＰＳＵＭ＝１７．９５、ＨＭＳＵＭ＝－１５．２６である。
【0050】
上記の２４×２４ピクセルのブロックの明るさ変化の平均の計算を１フレーム前の状態でも行う。図５のディレー調整フレームメモリにおいて６０フレームの１／２４倍の周期単位で１フレーム前の映像について同様に行う。
【0051】
図１５は、１フレーム前の被写体の動きとＹ信号の状態を示す。図１６は、図１５の１個目の円と２個目の円の動きによる明るさ変化によるＥＶＳ信号の符号データを示す。プラスの符号データは１８ピクセルあり、マイナスの符号データは１８ピクセルある。
【0052】
図１７Ａは、図１６の明るさ変化のプラスの符号データに図１１Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。プラスのピクセルの重みづけ値は、合計すると２１７であり、平均すると２１７／１８≒１２．０６である。
【0053】
図１７Ｂは、図１６の明るさ変化のマイナスの符号データに図１１Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。マイナスのピクセルの重みづけ値は、合計すると－２８８であり、平均すると－２８８／１８≒－１６．０である。
【0054】
図５では、縦方向プラス側の平均値がＶＰＳＵＭ１ｆ信号、縦方向マイナス側の平均値がＶＭＳＵＭ１ｆ信号である。ＶＰＳＵＭ１ｆ＝１２．０６、ＶＭＳＵＭ１ｆ＝－１６．０である。
【0055】
図１８Ａは、図１６の明るさ変化のプラスの符号データに図１３Ｂの横動き量の重みづけ係数を掛け算した結果を示す。プラスのピクセルの重みづけ値は、合計すると２７８であり、平均すると２７８／１８≒１５．４４である。
【0056】
図１８Ｂは、図１６の明るさ変化のマイナスの符号データに図１３Ｂの横動き量の重みづけ係数を掛け算した結果を示す。マイナスのピクセルの重みづけ値は、合計すると－２４０であり、平均すると－２４０／１８≒－１３．３３である。
【0057】
図５では、横方向プラス側の平均値がＨＰＳＵＭ１ｆ信号、横方向マイナス側の平均値がＨＭＳＵＭ１ｆ信号になる。ＨＰＳＵＭ１ｆ＝１５．４４、ＨＭＳＵＭ１ｆ＝－１３．３３である。
【0058】
縦方向の動きベクトルは、現在のフレームの縦方向の動き量の重みづけ平均値と、１フレーム前の縦方向の動き量の重みづけ平均値の差により求められる。この差が２４×２４ブロック内の被写体の平均的な縦方向の移動量になる。これをプラス、マイナスの両方で求め、その平均を２４×６０フレーム周期の１フレームの縦方向の動きベクトル量ＶＶＥＣＴ１Ｆｒとする。
【0059】
マイナス側の平均はマイナス値として扱い、垂直動きベクトル量ＶＶＥＣＴ１Ｆｒを次式で求める。
ＶＶＥＣＴ１Ｆｒ＝（（ＶＰＳＵＭ－ＶＰＳＵＭ１ｆ）＋（－１）×（ＶＭＳＵＭ－ＶＭＳＵＭ１ｆ））／２
・・・（６）
ＶＶＥＣＴ１Ｆｒ＝（（ＶＰＳＵＭ－ＶＰＳＵＭ１ｆ）＋（－１）×（ＶＭＳＵＭ－ＶＭＳＵＭ１ｆ））／２
・・・（６）
【0060】
図１７Ａ及び図１７Ｂの例では、ＶＶＥＣＴ＝（（９．２５－１２．０６）－（－１２．３７＋１６．０））／２≒－３．２となる。この値がマイナスの時は画面上方に移動していることを示し、プラスの時は画面下方に移動していることを示す。
【0061】
横方向の動きベクトルは、現在のフレームの横方向の動き量の重みづけ平均値と、１フレーム前の横方向の動き量の重みづけ平均値の差により求められる。この差が２４×２４ブロック内の被写体の平均的な横方向の移動量になる。これをプラス、マイナスの両方で求め、その平均を２４×６０フレーム周期の１フレームの横方向の動きベクトル量ＨＶＥＣＴ１Ｆｒとする。
【0062】
マイナス側の平均はマイナス値として扱い、水平動きベクトル量ＨＶＥＣＴ１Ｆｒを次式で求める。
ＨＶＥＣＴ１Ｆｒ＝（（ＨＰＳＵＭ－ＨＰＳＵＭ１ｆ）＋（－１）×（ＨＭＳＵＭ－ＨＭＳＵＭ１ｆ））／２
・・・（７）
ＨＶＥＣＴ１Ｆｒ＝（（ＨＰＳＵＭ－ＨＰＳＵＭ１ｆ）＋（－１）×（ＨＭＳＵＭ－ＨＭＳＵＭ１ｆ））／２
・・・（７）
【0063】
図１８Ａ及び図１８Ｂの例では、ＨＶＥＣＴ＝（（１７．９５－１５．４４）－（－１５．２６＋１３．３３））／２＝２．２２となる。この値がマイナスの時は画面左方向に移動していることを示し、プラスの時は画面右方向に移動していることを示す。
【0064】
ＶＶＥＣＴ１ＦｒとＨＶＥＣＴ１Ｆｒのベクトル量は２４×６０＝１４４０ｆｐｓという非常に短い時間の動き量であるから、通常被写体の動きは１２８０×７２０ピクセルのセンサであれば２４×２４ピクセル以内の数ピクセル以内の動き量で収まる。このベクトル計算を８×８ブロック毎に順番に行い、ブロックナンバーカウンタが出力するブロックナンバー値をアドレスとしてブロック別動きベクトル２４Ｆｒ足し算メモリに保存される。１４４０ｆｐｓ単位でブロック別動きベクトル２４Ｆｒ足し算メモリに垂直方向、水平方向のベクトルが足されるように計算し、２４フレーム分足し算したら、その総和ＶＶＥＣＴ２４Ｆｒ、ＨＶＥＣＴ２４Ｆｒを出力し、次のブロック別動きベクトルメモリに保存する。出力後、ブロック別動きベクトル２４Ｆｒ足し算メモリの足し算値を０にリセットする。この２４フレーム分足し算した結果のベクトルが、６０ＦＰＳ単位のベクトルとなり、Ｒ、Ｇ、Ｂの画像の動きベクトルとなる。
【0065】
ここでブロック別動きベクトル２４Ｆｒ足し算メモリの足し算を０にリセットするタイミングは、６０ＦｒｍＶｒｓｔパルスがＨＩＧＨの時に行うが、そのタイミングは、ＲＧＢセンサのシャッタ蓄積時間に応じて変えることでより正確な動きベクトルを得ることができる。
【0066】
図６は、ＲＧＢセンサが１／６０秒のシャッタスピードの場合のリセットタイミング６０ＦｒｍＶｒｓｔを示している。図６の最上部に８×８ピクセル内の被写体の動きを示す。ＲＧＢセンサはこの例では６０ＦＰＳで動き、その同期信号ＶＳＹＮＣが図６のタイミングになる。ここではＲＧＢセンサは、全画素同時タイミングで映像を取得するグローバルシャッタのセンサであるとする。シャッタスピードが１／６０秒の場合、ＶＳＹＮＣのタイミングの被写体から次のＶＳＹＮＣのタイミングまで露光されるので、図６のＲＧＢ１／６０秒蓄積の欄のＶＳＹＮＣ手前の状態のように、１／６０秒の動き分、ＲＧＢセンサが捉えた被写体が右上方向にぶれている。さらに次のＶＳＹＮＣでは被写体が下がってきた場合、右下方向にぶれている。一方ＥＶＳは非同期に高速に輝度変化を検出するのでぶれがない。このぶれがないＥＶＳ出力データから動きベクトルを算出するとき、ベクトルを算出する開始点と終点の時間がＲＧＢセンサの被写体のブレの中心のタイミングになることがよい。
【0067】
図６の被写体の黒丸で表示する部分から開始し、次の黒丸で表示する部分までの間でベクトル算出すると、ＲＧＢセンサの被写体のブレの中心タイミングでのベクトルを求めることになり、フレーム間ノイズ除去において次のフレームのブレの中心との比較ができるようになる。そのため６０ＦｒｍＶｒｓｔのリセットタイミングを図６のようにＶＳＹＮＣ間の中点に１フレーム分のディレーを足したタイミングにする。この１フレーム分のディレーは内部の処理のメモリによるディレーを考慮している。この６０ＦｒｍＶｒｓｔのリセットタイミングは、ＶＳＹＮＣから次式のディレー量で発生させる。ＲＧＢセンサのフレームレートをＲＧＢＦＰＳ、イベントセンサ用のフレームメモリの蓄積周期をＥＶＳＦＰＳ、シャッタスピードをＲＧＢＳＨとすると、６０ＦｒｍＶｒｓｔのリセットタイミング６０ＦｒｍＶｒｓｔＴｉｍｉｎｇは、次式で求められる。
６０ＦｒｍＶｒｓｔＴｉｍｉｎｇ＝ＩＮＴ（（ＲＧＢＳＨ／２）／（１／ＥＶＳＦＰＳ））×（１／ＥＶＳＦＰＳ）＋１／ＥＶＳＦＰＳ
・・・（８）
６０ＦｒｍＶｒｓｔＴｉｍｉｎｇ＝ＩＮＴ（（ＲＧＢＳＨ／２）／（１／ＥＶＳＦＰＳ））×（１／ＥＶＳＦＰＳ）＋１／ＥＶＳＦＰＳ
・・・（８）
【0068】
例えば、ＲＧＢセンサのフレームレートＲＧＢＦＰ＝６０（ＦＰＳ）、シャッタスピードＲＧＢＳＨ＝１／６０（秒）、イベントセンサ用のフレームメモリの蓄積レートＥＶＳＦＰＳ＝２４×ＲＧＢＦＰであれば、（８）式より、０．００９０２７７７８秒になる。これはｘ２４ｆｒｍの変化周期の１３フレーム分になる。
【0069】
図７は、シャッタスピードＲＧＢＳＨが１／１５００秒の時の例である。シャッタスピードに合わせて（８）式でディレー量を求める。これはｘ２４ｆｒｍのパルス変化周期の１フレーム分になる。
【0070】
このシャッタスピードで変化させる６０ＦｒｍＶｒｓｔのタイミングで、１４４０ＦＰＳ単位の２４フレーム分のベクトルをブロック別動きベクトル２４Ｆｒ足し算メモリにおいて足し算し、この足し算されたベクトル値をブロック別動きベクトルメモリに書き込み、そのメモリのデータをＶＳＹＮＣのタイミングでブロック毎に読み出しＶＶＥＣＴ、ＨＶＥＣＴの動きパラメータを得る。
【0071】
このように動きベクトル推定部３４において動きパラメータを取得し、その動きパラメータを図３の動き補償部３２に入力する。動き補償部３２は、ＲＧＢセンサのフレームレートで１フレーム遅れたＹ信号に対して、８×８ピクセルのブロック分割の範囲を動きパラメータのマイナス値で移動させ、新たに入力されたＹ信号差分をとる。
【0072】
図１９は、動きベクトルによって動き探索対象のブロックを移動させる方法を示す図である。図１９の場合、動きベクトルは、水平方向ＨＶＥＣＴが１０．２、垂直方向ＶＶＥＣＴが－１０．５である。１フレーム前のＹ信号にその動きベクトル分をマイナスした８×８ピクセルのエリアのデータを図３の１フレームのフレームメモリから取り出す。動きベクトルが小さい場合は、１／４ピクセルの位相精度で補間して求める。このデータと新たに入って来たＹ信号の８×８ピクセルのエリア間で図２０Ａのような順番で１フレーム遅れの動きベクトルで得られた８×８エリアをずらして相関を求めデータを探索する。
【0073】
図２０Ａは、探索１回目における８×８ピクセルのエリアの１ピクセル単位探索を示し、図２０Ｂは、探索２回目における１／４ピクセル単位でピクセルデータを補間して探索する方法を示す。相関値があるスレッシュ以下になった時点でさらに１／４ピクセル単位でデータ補間して探索することにより、相関度の高い位相を求める。もし全ての探索を行い相関がスレッシュ以下の場合は、移動は行わず同じブロックのフレーム差分をとる。
【0074】
この探索はフレーム間ノイズ除去を行う際により高い精度で行うことができるが、処理の遅延にもつながるので、必要ない場合は行わなくてもよい。
【0075】
この探索は図２１のような従来のブロックマッチングで用いられる広い探索よりも探索範囲が狭い。これは動きベクトルを求める際に２４×６０ＦＰＳの高速で被写体に追従してベクトルを求めているので、動きベクトル時点で精度が良いためである。
【0076】
このように探索を行い１フレーム前とマッチングが取れた時点の８×８エリアについて図３のＨＰＦ部２８においてハイパスフィルタ（ＨＰＦ（High Pass Filter））を行う。
【0077】
ＨＰＦ部２８は、例えば－０．２５Ｚ＾（－２）＋０．５Ｚ＾（－１）－０．２５Ｚ＾０のような水平方向のハイパスフィルタを含む。ここでＺは１ピクセルのスキャン時間である。さらにＨＰＦ部２８は、例えば－０．２５Ｌ＾（－２）＋０．５Ｌ＾（－１）－０．２５Ｌ＾０のような垂直方向のハイパスフィルタを含む。ここでＬは１ラインのスキャン時間である。
【0078】
ＨＰＦ部２８は、上記のような３ＴＡＰの場合、８×８エリアのハイパスフィルタが正確に行われるように実際は８×８エリアよりも上下左右１ピクセル広い１０×１０エリアのデータを用いて行う。
【0079】
ＨＰＦ部２８で取り出された高周波数成分に対して図３の乗算部２６において（１－１／Ｘ）を掛け算し、ＦＤＲを得る。このＦＤＲを毎フレーム計算し、加算部２５において１／Ｘ倍したＮＨＰＦと足し算することで巡回型の移動平均された高周波数成分が得られる。この移動平均された高周波数成分を図３の加算部２７においてＬＰＦに足し算する。このようにすることで動き補償のとれたフレーム単位の移動平均値が得られ、フレーム間に相関のないランダムノイズに対してノイズの低減が行われる。
【0080】
（実施の形態２）
ＥＶＳは特殊なセンサであるためセンサのラインアップが少なく、ＥＶＳの画素数とＲＧＢセンサの画素数が一致しないことがある。実施の形態２では、ＥＶＳとＲＧＢセンサの有効画素数に違いがある場合、実施の形態１で説明した水平動きベクトル、垂直動きベクトルの値にイベントセンサとＲＧＢセンサの有効画素数の比をかける。
ＥＶＳは特殊なセンサであるためセンサのラインアップが少なく、ＥＶＳの画素数とＲＧＢセンサの画素数が一致しないことがある。実施の形態２では、ＥＶＳとＲＧＢセンサの有効画素数に違いがある場合、実施の形態１で説明した水平動きベクトル、垂直動きベクトルの値にイベントセンサとＲＧＢセンサの有効画素数の比をかける。
【0081】
例えば、ＥＶＳが１２８０×７２０ピクセルであり、ＲＧＢセンサが１９２０×１０８０ピクセルであり、両者は同じ画角の有効ピクセルであるとすると、水平方向の比ＨＰＩＸ＿Ｒａｔｉｏ及び垂直方向の比ＶＰＩＸ＿Ｒａｔｉｏは次式で求められる。
ＨＰＩＸ＿Ｒａｔｉｏ＝１９２０／１２８０＝１．５
ＶＰＩＸ＿Ｒａｔｉｏ＝１０８０／７２０＝１．５
ＨＰＩＸ＿Ｒａｔｉｏ＝１９２０／１２８０＝１．５
ＶＰＩＸ＿Ｒａｔｉｏ＝１０８０／７２０＝１．５
【0082】
動きベクトル推定部３４は、水平方向の比ＨＰＩＸ＿Ｒａｔｉｏ、垂直方向の比ＶＰＩＸ＿Ｒａｔｉｏをそれぞれ水平方向の動きベクトルＨＶＥＣＴ、垂直方向の動きベクトルＶＶＥＣＴに掛け合わせ、補正後の水平方向の動きベクトルＨＶＥＣＴ’、垂直方向の動きベクトルＶＶＥＣＴ’を求め、出力する。
ＨＶＥＣＴ’＝ＨＶＥＣＴ×ＨＰＩＸ＿Ｒａｔｉｏ ・・・（９）
ＶＶＥＣＴ’＝ＶＶＥＣＴ×ＶＰＩＸ＿Ｒａｔｉｏ ・・・（１０）
ＨＶＥＣＴ’＝ＨＶＥＣＴ×ＨＰＩＸ＿Ｒａｔｉｏ ・・・（９）
ＶＶＥＣＴ’＝ＶＶＥＣＴ×ＶＰＩＸ＿Ｒａｔｉｏ ・・・（１０）
【0083】
（実施の形態３）
実施の形態３では、実施の形態１及び実施の形態２においてＥＶＳとＲＧＢセンサが同光軸になるようにプリズムを用いて配置する。ＲＧＢセンサはイメージセンサの一例である。ＲＧＢセンサの代わりに白黒の画像データを取得するセンサを用いてもよい。
実施の形態３では、実施の形態１及び実施の形態２においてＥＶＳとＲＧＢセンサが同光軸になるようにプリズムを用いて配置する。ＲＧＢセンサはイメージセンサの一例である。ＲＧＢセンサの代わりに白黒の画像データを取得するセンサを用いてもよい。
【0084】
図２２は、プリズムを用いたＥＶＳとＲＧＢセンサの配置を説明する図である。レンズから入射した像光をプリズムで分光し、ＥＶＳとＲＧＢセンサの像が同光軸となるように配置する。この構成により得られるＲＧＢセンサの出力データとＥＶＳの出力データを用いて、実施の形態１または実施の形態２のノイズ低減処理を行う。ノイズ低減処理は、ＲＧＢセンサのＲ、Ｇ、Ｂ信号のそれぞれに対して行ってもよく、Ｒ、Ｇ、ＢをＹ、Ｃｂ、Ｃｒに変換したＹ、Ｃｂ、Ｃｒ信号のそれぞれに対して行ってもよく、Ｒ、Ｇｒ、Ｇｂ、Ｂ信号のベイヤ（Ｂａｙｅｒ）パターンの信号のそれぞれのチャンネルに対して行ってもよい。
【0085】
（実施の形態４）
実施の形態４では、実施の形態１及び実施の形態２においてＥＶＳとＲＧＢセンサとＴＯＦ（Time Of Flight）センサを同光軸になるようにプリズムを用いて配置する。ＴＯＦセンサは距離センサの一例である。
実施の形態４では、実施の形態１及び実施の形態２においてＥＶＳとＲＧＢセンサとＴＯＦ（Time Of Flight）センサを同光軸になるようにプリズムを用いて配置する。ＴＯＦセンサは距離センサの一例である。
【0086】
図２３（ａ）及び図２３（ｂ）は、プリズムを用いたＥＶＳとＲＧＢセンサとＴＯＦセンサの配置を説明する図である。レンズにより可視光の環境光とレーザーダイオードアレイのＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser）から発光された近赤外光、ここでは例えば波長が９４０ｎｍの赤外光が被写体に当たって反射した光がプリズムに入射される。プリズムは、例えば図２３のように可視光反射ダイクロイック膜で可視光と近赤外光に分け、近赤外光をＴＯＦセンサに入射する。可視光はさらにプリズムによって分光され、ＲＧＢセンサとＥＶＳに入射される。
【0087】
プリズムの構造は図２３（ａ）の配置、図２３（ｂ）の配置のいずれでもよい。ＲＧＢセンサとＥＶＳとＴＯＦセンサは同光軸上に配置される。ＴＯＦセンサは内部にプロセッサを持っており、距離データＤを出力する。ＲＧＢセンサの出力データとＥＶＳの出力データとＴＯＦセンサの距離データを用いて実施の形態１または実施の形態２のノイズ低減処理を行う。ノイズ低減処理は、ＲＧＢセンサのＲ、Ｇ、Ｂ信号のそれぞれに対して行ってもよく、Ｒ、Ｇ、ＢをＹ、Ｃｂ、Ｃｒに変換したＹ、Ｃｂ、Ｃｒ信号のそれぞれに対して行ってもよく、Ｒ、Ｇｒ、Ｇｂ、Ｂ信号のベイヤ（Bayer）パターンの信号のそれぞれのチャンネルに対して行ってもよい。また同時にＴＯＦセンサの距離データＤに対しても、実施の形態１または実施の形態２のノイズ低減を行う。この時、図３の動きベクトル推定部３４はＲＧＢ映像に対しても、測距映像に対しても共通でよい。
【0088】
（実施の形態５）
実施の形態５では、実施の形態４の配置において、ＴＯＦセンサから出力される距離データに対して上記の動き補償を用いたフレーム間移動平均によるノイズ低減を行うが、その際、距離データを低周波数成分と高周波数成分に分離せずに、全周波数帯域で行う。
実施の形態５では、実施の形態４の配置において、ＴＯＦセンサから出力される距離データに対して上記の動き補償を用いたフレーム間移動平均によるノイズ低減を行うが、その際、距離データを低周波数成分と高周波数成分に分離せずに、全周波数帯域で行う。
【0089】
図２４は、実施の形態５の動画ノイズ低減装置２１０の構成図である。図３の動画ノイズ低減装置２００の構成から高周波数成分を取り出す構成と高周波数成分を低周波成分に足し算する構成が省かれている。それ以外は実施の形態１で説明した通りである。
【0090】
ＴＯＦセンサからの距離画像データは、動画ノイズ低減装置２１０に入力されると、低周波数成分と高周波数成分に分離されることなく、除算部２４において係数Ｘで割り算され、全周波数帯域のＮＨＰＦが得られる。動き補償部３２から出力される１フレーム遅延して動き補償された全周波数帯域の距離画像データが乗算部２６において（１－１／Ｘ）倍され、ＦＤＲが得られる。加算部２５において、１／Ｘ倍した全周波数帯域のＮＨＰＦと（１－１／Ｘ）倍された動き補償された全周波数帯域のＦＤＲとが足し算され、フレーム間で移動平均されたノイズの低減された全周波数帯域のＹＤＮＲ信号が得られる。
【0091】
測距センサの距離データは、周波数の低い部分でのノイズ除去を行った方が、距離データを利用して点群化して３Ｄモデリング化する際に効果が得られることがある。そのため、ＬＰＦとＨＰＦで周波数帯域を分離することなく、全周波数帯域でノイズ低減を行う。一方ＲＧＢセンサからの映像信号に対しては、実施の形態１と同様に周波数帯域を分けて高周波数成分に対してノイズ低減を行う。この時、図３の動きベクトル推定部３４はＲＧＢ映像に対しても、測距映像に対しても共通でよい。
【0092】
以上説明した動画ノイズ低減装置２００、２１０の各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
【0093】
動画ノイズ低減装置２００、２１０によれば、ＥＶＳで高フレームレートの動きベクトルを算出し、その後ブロックマッチングを行うことで、動きのある被写体の追従性を向上でき、ブロックマッチングを広範囲に広げなくてもよいというメリットがある。またＥＶＳはシャッタの概念がなく、ＥＶＳは暗いところから明るいところまでダイナミックレンジが広いため、暗い被写体でも追従性が良い。
【0094】
また輝度変化が起きた画素の明暗２種類の１ビットの信号で動き推定することができるため、演算スピードが向上し、高速のデータ更新が可能になる。これによって動いている物体の追従性も良くなり、フレーム間の探索範囲が抑えられる。その結果、動いている物体に対するノイズ低減の精度が向上し、フレーム間の残像が抑えられる。したがって、高品位な映像および測距データが得られ、また装置全体の回路規模と処理時間を抑えることができる。
【0095】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【0096】
１０ ＥＶＳ、 １２ 受光部、 １３ 電流電圧変換器、 １４ フォトダイオード、 １６ 輝度変化検出部、 １７ 非同期差分検出器、 １８ 比較器、 ２０ ＬＰＦ部、 ２２ ｄｌｙ回路、 ２３ 減算部、 ２４ 除算部、 ２５ 加算部、 ２６ 乗算部、 ２７ 加算部、 ２８ ＨＰＦ部、 ３０ フレームメモリ、 ３２ 動き補償部、 ３４ 動きベクトル推定部、 ３６ ＳＳＧ、 ２００、２１０ 動画ノイズ低減装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20A】
【図20B】
【図21】
【図22】
【図23】
【図24】
