特開 2024-135187 動きベクトル算出装置、動画圧縮装置及び動きベクトル算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024135187

(43)【公開日】2024-10-04

(54)【発明の名称】動きベクトル算出装置、動画圧縮装置及び動きベクトル算出方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240927BHJP

   H04N 23/68 20230101ALI20240927BHJP

   H04N 19/51 20140101ALI20240927BHJP

   H04N 25/707 20230101ALI20240927BHJP

   H04N 25/70 20230101ALI20240927BHJP

【ＦＩ】

H04N23/60 500

H04N23/68

H04N19/51

H04N25/707

H04N25/70

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023045750

(22)【出願日】2023-03-22

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】小林 敏秀

【テーマコード（参考）】

5C024

5C122

5C159

【Ｆターム（参考）】

5C024CY26

5C024EX52

5C024HX29

5C024HX51

5C122DA03

5C122EA41

5C122EA68

5C122FB15

5C122FC06

5C122FH08

5C122FH12

5C122FH13

5C122FH15

5C122HA88

5C122HB02

5C122HB10

5C159MA04

5C159MA05

5C159MA19

5C159MA21

5C159MC11

5C159ME01

5C159NN03

5C159NN14

5C159NN21

5C159NN29

5C159NN40

5C159PP05

5C159PP06

5C159PP14

5C159UA02

5C159UA05

5C159UA33

(57)【要約】

【課題】低遅延かつ高圧縮の動画圧縮技術を提供する。
【解決手段】ブロック分割部２０は、イメージセンサから取得された画像データを複数のブロックに分割する。動きベクトル推定部３４は、イメージセンサのフレームレートよりも速いレートで画像の輝度変化を検出するイベントベースセンサから取得された輝度のプラス変化またはマイナス変化の符号情報及び位置情報に基づいて画像データのブロック単位で被写体の動きベクトルを推定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

画像データのブロック毎に画像の輝度のプラス変化またはマイナス変化の符号情報に重みづけ係数を掛けて垂直方向及び水平方向の動き量を計算し、前記垂直方向及び水平方向の動き量から動きベクトルを推定することを特徴とする動きベクトル算出装置。

【請求項2】

請求項１に記載の動きベクトル算出装置を用いた動画圧縮装置であって、
イメージセンサから取得された画像データを複数のブロックに分割するブロック分割部をさらに含み、
前記動きベクトル算出装置は、前記イメージセンサのフレームレートよりも速いレートで画像の輝度変化を検出するイベントベースセンサから取得された輝度のプラス変化またはマイナス変化の符号情報及び位置情報に基づいて画像データのブロック単位で被写体の動きベクトルを推定する動きベクトル推定部を含むことを特徴とする動画圧縮装置。

【請求項3】

前記動きベクトルに基づいて前記イメージセンサから取得された１フレーム前の画像データの前記ブロック毎に動き補償を行う動き補償部と、
フレーム間の差分を取り、所定数のフレーム間符号化フレームに１回の割合でフレーム内符号化フレームを挟んで画像データを圧縮する符号化部とを含むことを特徴とする請求項２に記載の動画圧縮装置。

【請求項4】

動きベクトルを推定するブロック範囲は、動き補償を行うブロック範囲よりも広いことを特徴とする請求項３に記載の動画圧縮装置。

【請求項5】

前記イベントベースセンサから取得された輝度のプラス変化またはマイナス変化の符号情報を所定ライン数または所定ピクセル数だけ保存する２個のフレームメモリをさらに含み、
前記イメージセンサのフレームレートよりも速いレートで一方のフレームメモリに所定ライン数分または所定ピクセル数分のデータを書き込み、他方のフレームメモリから保存されたデータを読み出し、読み出しの後、直ちに０を書き込み、フレーム毎に書き込み動作と読み出し動作を２個のフレームメモリ間で交互に行うことを特徴とする請求項２に記載の動画圧縮装置。

【請求項6】

前記動きベクトルの推定の時、動きベクトルの算出開始タイミングをカメラのシャッタスピードによって変更することを特徴とする請求項５に記載の動画圧縮装置。

【請求項7】

前記動きベクトル推定部は、前記イメージセンサと前記イベントベースセンサの画素数が異なる場合、前記イベントベースセンサの画素数に対する前記イメージセンサの画素数の比率を、前記イベントベースセンサの出力値に基づいて推定された動きベクトルに掛けることを特徴とする請求項２から６のいずれかに記載の動画圧縮装置。

【請求項8】

前記イメージセンサと前記イベントベースセンサをプリズム分光して同光軸上に配置した構成をさらに含むことを特徴とする請求項２から６のいずれかに記載の動画圧縮装置。

【請求項9】

前記イメージセンサと前記イベントベースセンサと距離センサをプリズム分光して同光軸上に配置した構成をさらに含むことを特徴とする請求項２から６のいずれかに記載の動画圧縮装置。

【請求項10】

画像データのブロック毎に画像の輝度のプラス変化またはマイナス変化の符号情報に重みづけ係数を掛けて垂直方向及び水平方向の動き量を計算し、前記垂直方向及び水平方向の動き量から動きベクトルを推定することを特徴とする動きベクトル算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動きベクトル算出装置、動画圧縮装置及び動きベクトル算出方法に関する。

【背景技術】

【0002】

ＭＰＥＧ２、Ｈ．２６４、Ｈ．２６５のような従来の動画圧縮技術では、フレーム内圧縮だけでなくフレーム間情報を用いて圧縮することで高い圧縮率を得ることができる。しかし、フレーム間の動き補償を行うには、数フレームにまたがるデータを蓄積し、動きベクトルの精度を上げる必要がある。数フレーム分のデータを蓄積し、幅広い範囲のフレーム間の相関探索を行うために、処理時間による画像遅延及び処理回路の巨大化が課題になっている。

【0003】

近年、ネットワークを経由して会話や楽器演奏やゲームの動画通信を行うことが増えている中で、低遅延圧縮技術が注目されている。ところが、低遅延圧縮技術は、例えばＴＩＣＯ（Tiny Codec）圧縮のように、フレーム内の圧縮にとどまっているために圧縮率が低い。

【0004】

画像の各画素の輝度変化を非同期に検出し、輝度変化のある画素の座標を時間の情報とともに出力する高速かつ低遅延なイベントベースビジョンセンサ（ＥＶＳ（Event-based Vision Sensor））（「イベントベースセンサ」とも呼ぶ）が開発されている。特許文献１には、非同期のイベントベースセンサによって生成された信号の処理技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０２１－５０８９７５号

【発明の概要】

【発明が解決しようとする課題】

【0006】

ネットワークで動画を送受信するためには、高精度の動きベクトル推定技術、及び低遅延かつ高圧縮の動画圧縮技術が求められている。特許文献１には、イベントベースセンサを用いて画像の動き情報を取得する技術は開示されておらず、また、イベントベースセンサから出力される非同期データから生成レートを推定するが、生成レートを高フレームに対応させるために必要となるメモリの読み出し、書き込みの高速化を図る方法は開示されていない。

【0007】

本発明はこうした状況に鑑みてなされたものであり、その目的は、高精度の動きベクトル算出技術、及び低遅延かつ高圧縮の動画圧縮技術を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある態様の動きベクトル算出装置は、画像データのブロック毎に画像の輝度のプラス変化またはマイナス変化の符号情報に重みづけ係数を掛けて垂直方向及び水平方向の動き量を計算し、前記垂直方向及び水平方向の動き量から動きベクトルを推定する。本発明の別の態様は、動きベクトル算出装置を用いた動画圧縮装置である。動画圧縮装置は、イメージセンサから取得された画像データを複数のブロックに分割するブロック分割部をさらに含む。動きベクトル算出装置は、前記イメージセンサのフレームレートよりも速いレートで画像の輝度変化を検出するイベントベースセンサから取得された輝度のプラス変化またはマイナス変化の符号情報及び位置情報に基づいて画像データのブロック単位で被写体の動きベクトルを推定する動きベクトル推定部を含む。

【0009】

本発明の別の態様は、動きベクトル算出方法である。この方法は、画像データのブロック毎に画像の輝度のプラス変化またはマイナス変化の符号情報に重みづけ係数を掛けて垂直方向及び水平方向の動き量を計算し、前記垂直方向及び水平方向の動き量から動きベクトルを推定する。

【0010】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0011】

本発明によれば、高精度の動きベクトル算出技術、及び低遅延かつ高圧縮の動画圧縮技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】従来のフレーム間動画圧縮を行う動画圧縮装置の構成図である。

【図2】従来のブロッキングマッチングを説明する図である。

【図3】従来のフレーム間圧縮のためのＬＯＮＧ ＧＯＰ構造を示す図である。

【図4】イベントベースセンサの構成図である。

【図5】図５（ａ）～図５（ｃ）は、イベントベースセンサが出力するイベント信号を説明する図である。

【図6】実施の形態１の動画像圧縮装置の基本構成図である。

【図7】動きベクトル推定に用いるブロック範囲を説明する図である。

【図8】動きベクトル推定部のブロック図である。

【図9】動きベクトル推定部の動作を説明するタイミングチャートである。

【図10】より高速のシャッタスピードの場合の動きベクトル推定部の動作を説明するタイミングチャートである。

【図11】画像のピクセルの水平方向及び垂直方向の読み出し方法を説明する図である。

【図12】フレーム内の被写体の動きを説明する図である。

【図13】図１２の被写体の動きによる明るさ変化を示すイベントベースセンサの符号データを説明する図である。

【図14A】画像のブロックの各ピクセルの縦方向係数と周辺係数を示す図である。

【図14B】画像のブロックの各ピクセルの縦動き量の重みづけ係数を示す図である。

【図15A】図１３のＥＶＳ出力の明るい側（プラス側）の符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す図である。

【図15B】図１３のＥＶＳ出力の暗い側（マイナス側）の符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す図である。

【図16A】画像のブロックの各ピクセルの横方向係数と周辺係数を示す図である。

【図16B】画像のブロックの各ピクセルの横動き量の重みづけ係数を示す図である。

【図17A】図１３のＥＶＳ出力の明るい側（プラス側）の符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す図である。

【図17B】図１３のＥＶＳ出力の暗い側（マイナス側）の符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す図である。

【図18】１フレーム前の被写体の動きを説明する図である。

【図19】図１８の被写体の動きによる明るさ変化を示すイベントベースセンサの符号データを説明する図である。

【図20A】図１９の明るさ変化のプラスの符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す図である。

【図20B】図１９の明るさ変化のマイナスの符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す図である。

【図21A】図１９の明るさ変化のプラスの符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す図である。

【図21B】図１９の明るさ変化のマイナスの符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す図である。

【図22】動きベクトルによって動き探索対象のブロックを移動させる方法を示す図である。

【図23A】探索１回目における８×８ピクセルのエリアの１ピクセル単位探索を説明する図である。

【図23B】探索２回目における１／４ピクセル単位で補間して探索する方法を示す。

【図24】本実施の形態の方法で構成されるＧＯＰを説明する図である。

【図25】プリズムを用いたＥＶＳとＲＧＢセンサの配置を説明する図である。

【図26】図２６（ａ）及び図２６（ｂ）は、プリズムを用いたＥＶＳとＲＧＢセンサとＴＯＦセンサの配置を説明する図である。

【発明を実施するための形態】

【0013】

（実施の形態１）
実施の形態１において、ＥＶＳの出力データを用いて、ＲＧＢセンサで取得された画像の動きベクトルを算出し、フレーム間圧縮を行う構成を説明する。

【0014】

動画圧縮で圧縮率を高めるには、フレーム１枚毎の画像圧縮のみだけではなく、フレーム間での差分をとり相関のある部分のデータ量を減らすフレーム間圧縮が必要であり、これまでＭＰＥＧ２、Ｈ．２６４、Ｈ．２６５などの圧縮方法が開発されてきた。実施の形態１を説明するに当たって前提として従来の動画圧縮技術について説明する。

【0015】

図１は、従来のフレーム間動画圧縮を行う動画圧縮装置１００の構成図である。

【0016】

カメラなどのＲＧＢセンサから取得されたＲＡＷ信号は、カメラプロセスが施されてＲ、Ｇ、ＢもしくはＹ、Ｃｂ、Ｃｒの動画像のデータになり、ブロック分割部２０に入力される。ブロック分割部２０は、入力された動画の１フレーム目をまずフレーム内で圧縮するため、ブロック別に分割し、イントラ予測部２２に与える。

【0017】

イントラ予測部２２は、イントラ予測を行い、フレーム内で２次元空間的に相関のある周波数の高いデータの空間的な差分をとり、変換・量子化部２４に与える。変換・量子化部２４は、差分データの量子化ビットを調整しデータを圧縮し、エントロピー符号化部２６と逆量子化・逆変換部２８に与える。エントロピー符号化部２６は、量子化された差分データをエントロピー符号化して出力する。逆量子化・逆変換部２８は、量子化された差分データを逆量子化し、元の映像に逆変換し、ループ内フィルタ２９は、復元された映像にデブロッキングフィルタ、ブロックまたぎの視覚劣化抑制を行い、フレームメモリ３０に蓄積する。フレームメモリ３０には数フレーム分の差分データが蓄積される。

【0018】

動きベクトル推定部３４は、数フレーム分の画像から動いている被写体の動きベクトルを算出し予想し、動き補償部３２に与える。動き補償部３２は、動きベクトルに合わせてブロック毎に動きベクトル量分だけずらして動き補償し、予測画像を生成する。一例として動き補償部３２は８タップ内挿フィルタによって１／４画素精度の動き補償をおこなう。入力画像と動き補償部３２による予測画像の差分は変換・量子化部２４に供給される。

【0019】

動きベクトル推定部３４は、予測ベクトルなどを用いて探索開始点を決定し、探索開始点から２の累乗の距離の点を探索点とする拡大型ダイヤモンド探索を行う。このような動き探索動作を通常ブロッキングマッチングと呼ぶ。

【0020】

図２は、従来のブロッキングマッチングを説明する図である。図２では、拡大型ダイヤモンド探索において、距離８まで拡大した探索点の例を示す。最適なマッチング（相関）を満たさない場合、探索ポイントを変え、新たにダイヤモンド探索を行いマッチングしたところの過去フレームの画像のＲ、Ｇ、Ｂ信号と、入力された現在フレーム画像のＲ、Ｇ、Ｂ信号とのそれぞれの差分をとり、その差分を圧縮することでデータ量を抑える。このように従来の圧縮では、より精度の高い動き補償の圧縮を行うために広い範囲の探索が必要になり、処理遅延の増大につながる。

【0021】

図３は、従来のフレーム間圧縮のためのＬＯＮＧ ＧＯＰ構造を示す図である。参照フレームの位置と数によって、各フレームはＩ（intra）フレーム、Ｐ（predictive）フレーム、Ｂ（bidirectinally predictive）フレームに分類され、Ｉフレームを含む連続するフレームの集合をＧＯＰと呼ぶ。イントラ予測とフレーム差分の演算は、ＳＳＧ３６で管理されたＬＯＮＧ ＧＯＰ構成のフレーム単位で切り替えられ、出力される。

【0022】

ここでＰ１フレームは、過去の１フレームから前述の動き補償を行い、予測フレームを構成するフレーム間符号化フレームであり、図３のＰ１はＩを参照フレームとしている。

【0023】

Ｂフレームは、過去と未来の二つのフレームからの動き補償によって予測フレームを構成するフレーム間符号化フレームであり、双方向からの参照を行うことによって、予測精度の向上が見込める。図３では、Ｐ１とＰ２がＢ３の参照フレームとなっている。

【0024】

Ｉフレームはフレーム間予測を行わないフレーム内符号化フレームであり、Ｉフレームを適当な間隔で挿入することにより、伝送誤りなどで正確な復号ができない状態が続くことを防ぐ。また、Ｉフレームはランダムアクセスの際の再生開始点や編集を行う際の編集点としても使用できる。

【0025】

予測フレームは符号化済みのフレームである必要がある一方、Ｂフレームは時間的に未来のフレームを参照フレームとしているため、各フレームは時間順と異なる順序で符号化処理を行う必要がある。すなわち、図３では符号化の順序はＩ、Ｐ１、Ｂ１、Ｂ２、Ｐ２、Ｂ３、…となる。そのため、符号化／復号時には複数のフレームをバッファに蓄えてから処理を行う必要があり、これは処理遅延の増大を意味する。このように従来の技術では、広い範囲の探索を行うブロッキングマッチと、ベクトル予測を行うＬＯＮＧ ＧＯＰのために、動画圧縮エンコードを行うために非常に大きい遅延が発生し、また非常に大きい容量のフレームメモリを必要とし、回路規模も大きくなる。

【0026】

本実施の形態では、ＲＧＢセンサで画像のＲ、Ｇ、Ｂデータを取得すると同時に、イベントベースセンサ（ＥＶＳ）によって画像の輝度変化データを取得し、輝度変化データを用いることで、ＲＧＢセンサの１フレーム以内に動きベクトルを演算し、動画圧縮に用いる。

【0027】

図４は、ＥＶＳ１０の構成図である。ＥＶＳ１０は、受光部１２と輝度変化検出部１６を含む。受光部１２は、電流電圧変換器１３とフォトダイオード１４を含む。輝度変化検出部１６は、非同期差分検出器１７と比較器１８を含む。

【0028】

受光部１２において、フォトダイオード１４はピクセル毎に入射光を電流に変換し、電流電圧変換器１３に与える。電流電圧変換器１３は、各ピクセルで検出された電流を電圧に変換し、輝度変化検出部１６に与える。

【0029】

輝度変化検出部１６において、非同期差分検出器１７は、各ピクセルの検出された電圧と基準電圧の差分を非同期で検出し、比較器１８に与える。比較器１８は、電圧差分がプラスの閾値を超えた場合、プラスイベント信号を出力し、マイナスの閾値を超えた場合、マイナスイベント信号を出力し、それ以外の場合は、ゼロを出力する。

【0030】

このように、ＥＶＳ１０は、ピクセル毎に検出された光を電圧に変換し、その変換電圧を任意の幅と電圧レベルを設定したスレッシュホールド（threshold）レベル（以下、簡単に「スレッシュレベル」と呼ぶ）で比較し、光がプラスのスレッシュレベルより明るいとプラスイベント信号に１を立て、光がマイナスのスレッシュレベルより暗いとマイナスイベント信号に１を立て、それ以外はどちらも０を出す。プラス、マイナスいずれかのスレッシュレベルを超えると、基準スレッシュレベルの電圧レベルをその時の電圧レベルに再設定する。どちらも０のときは、そのピクセルのデータは出力しない。０のときは何も出力しないため、画像内であるスレッシュレベル幅の明るさの変化があったピクセルだけ１個の極性を表すデータを出力すればよく、つまり１ビットのデータが出力される。またその出力が画面のｘ、ｙ座標のどのアドレス位置であるかを示すデータも併せて出力する。

【0031】

図５（ａ）～図５（ｃ）は、ＥＶＳ１０が出力するイベント信号を説明する図である。被写体が図中の矢印に沿って移動したとする。図５（ａ）では符号１５ａの位置のピクセルの輝度が閾値を超え、ピクセルの座標、時刻、明暗極性を含むイベント信号（ｘ_１，ｙ_１，ｔ_１，±_１）が出力される。図５（ｂ）では符号１５ｂの位置のピクセルの輝度が閾値を超え、ピクセルの座標、時刻、明暗極性を含むイベント信号（ｘ_２，ｙ_２，ｔ_２，±_２）が出力される。図５（ｃ）では符号１５ｃの位置のピクセルの輝度が閾値を超え、ピクセルの座標、時刻、明暗極性を含むイベント信号（ｘ_３，ｙ_３，ｔ_３，±_３）が出力される。

【0032】

このように、ＥＶＳ１０では、各ピクセルについて通常のセンサの１２ビットＡ／Ｄデータのように多ビットで出力せず、輝度変化のあるスレッシュレベルを超えたタイミング時点のピクセルのデータだけを出力するため、非常に高速にマイクロ秒のオーダーで非同期にイベント信号を出力することができる。本実施の形態は、このように高速に輝度変化を検出することができるＥＶＳ１０の出力データを用いる。

【0033】

図６は、実施の形態１の動画圧縮装置２００の基本構成図である。

【0034】

カメラなどのＲＧＢセンサから取得されたＲＡＷ信号は、カメラプロセスを施されＲ、Ｇ、ＢもしくはＹ、Ｃｂ、Ｃｒの動画像のデータになり、動画圧縮装置２００に入力される。あるいはＢＡＹＥＲパターンのＲ、Ｇｒ、Ｇｂ、Ｂ信号のそれぞれを動画圧縮装置２００に入力してもよい。ここでは説明をわかりやすくするためにＹ信号が入力された場合の例を説明する。入力されたＹ信号は、ブロック分割部２０に入力される。

【0035】

図７は、動きベクトル推定に用いるブロック範囲を説明する図である。ここでは、図７に示すように、動き補償対象ブロック範囲４０に対して、動きベクトル推定ブロック範囲４２を広くとるようにする。

【0036】

図７の例では、動き補償対象ブロック範囲４０を８×８とし、動きベクトル推定ブロック範囲４２を２４×２４とした場合に都合の良い８×８ピクセル単位に画像をブロック分割してイントラ圧縮する。イントラ圧縮で使用するこのブロック分割は、例えばＨ．２６５のように被写体を分析して、そのブロックの大きさを可変にしてもよい。

【0037】

ブロック分割部２０は、入力された動画の１フレーム目はまずフレーム内で圧縮するため、ブロック別に分割し、イントラ予測部２２に与える。

【0038】

イントラ予測部２２は、イントラ予測を行い、フレーム内で２次元空間的に相関のある周波数の高いデータは空間的に差分をとり、変換・量子化部２４に与える。変換・量子化部２４は、差分データの量子化ビットを調整しデータを圧縮し、エントロピー符号化部２６と逆量子化・逆変換部２８に与える。エントロピー符号化部２６は、量子化された差分データをエントロピー符号化して出力する。逆量子化・逆変換部２８は、量子化された差分データを逆量子化し、元の映像に逆変換し、ループ内フィルタ２９は、復元された映像にデブロッキングフィルタ、ブロックまたぎの視覚劣化抑制を行い、フレームメモリ３０に蓄積する。フレームメモリ３０には数フレーム分の差分データが蓄積される。

【0039】

動きベクトル推定部３４は、ＥＶＳ１０のデータから動いている被写体の動きベクトルを算出し予想し、動き補償部３２に与える。動き補償部３２は、動きベクトルに合わせてブロック毎に動きベクトル量分だけずらして動き補償し、予測画像を生成する。入力画像と動き補償部３２による予測画像の差分は変換・量子化部２４に供給される。

【0040】

動きベクトル推定部３４は、予測ベクトルなどを用いて探索開始点を決定し、通常ブロッキングマッチングによる動き探索を行う。最適なマッチング量（相関量）を決め、相関がそれを満たさない場合、探索ポイントを変え、新たに新たにダイヤモンド探索を行いマッチングした位置で入力されたＲ、Ｇ、Ｂ信号とのそれぞれの差分をとり、その差分をデータ化することでデータ量を抑える。探索で最適な相関が得られない場合は、探索を終了し、動き補償部分は１フレーム前の同じブロックのデータと差分をとる。このように基本的な流れは従来の圧縮ブロックを用いているが、動き補償、ＥＶＳからのデータ入力、ＥＶＳの検出データからの動きベクトル推定、フレームメモリに保存されたフレームとＳＳＧからのイントラとの切り替えが従来とは異なる。以下、本実施の形態の動きベクトル推定部３４の構成と動作を詳しく説明する。なお、動きベクトル推定の機能を含む論理ブロックを「動きベクトル推定部」と呼び、動きベクトル推定の機能を含む装置を「動きベクトル算出装置」と呼ぶ。

【0041】

図８は、動きベクトル推定部３４のブロック図である。動きベクトル推定部３４は、カメラの同期の時間間隔で動きベクトルを読み出す。

【0042】

ＥＶＳからスレッシュレベルを超えた明暗の変化のあったピクセルの座標アドレスのｙ座標ＥＶＳ＿ｙ、ｘ座標ＥＶＳ＿ｘと明暗の符号ＥＶＳ＿ｐｍが非同期タイミングでバッファリングブロックに入力される。バッファリングブロックは非同期に入力されたＥＶＳ信号を内部のクロックに置き換え、ブロック内部の処理のディレー（delay）を吸収するためのメモリであり、例えばＦＩＦＯメモリを用いる。

【0043】

バッファリング出力のＥＶＳ＿ｙｂ、ＥＶＳ＿ｘｂからフレームメモリＡ＋、フレームメモリＢ＋、フレームメモリＡ－、フレームメモリＢ－に明暗符号を一時的に保存するためのこれらのメモリのライトアドレスＥＶＳ＿ＷＡＤＲＳを作成する。フレームメモリＡ＋、フレームメモリＢ＋は後述する任意の期間にＥＶＳが明るい方向に変化したピクセルを保存するためのメモリである。フレームメモリＡ－、フレームメモリＢ－は後述する任意の期間にＥＶＳが暗い方向に変化したピクセルを保存するためのメモリである。

【0044】

ＲＧＢセンサが例えば１／６０秒のフレームレートで動作しているとして、それに対してＥＶＳは最高でマイクロ秒のオーダーで非同期にてデータを出力するため、このフレームメモリにおいて任意の周期に更新するように読み出しＲＧＢセンサのデータと同期がとれるようにする。そのためＥＶＳのデータはこれらのフレームメモリにおいてアドレスに対応したメモリ領域に保存する。フレームメモリは例えばＲＧＢセンサの１／２４倍の周期で速く読み出して出力データの更新を行うことにより、ＲＧＢデータの１／２４倍周期のデータとして取り出せるようになる。この１／２４倍周期は、図７の２４×２４ピクセルのブロック分割に回路構成上都合が良い周期であるが、ブロック分割のピクセルやフレームメモリの構成で任意の周期に変更してもよい。ここではわかりやすくするためにＲＧＢの１／２４倍周期で説明する。

【0045】

ＲＧＢセンサの１／２４倍周期であるので非常に高速な処理を行う必要があるが、通常のＦＰＧＡのハードウェア構成では処理スピードの制約で実現が難しいため、本実施の形態では次のような工夫をして実現する。

【0046】

図９は、動きベクトル推定部３４の動作を説明するタイミングチャートである。図８のＳＳＧでＲＧＢセンサの１／２４倍の周期にあたるｘ２４ｆｒｍパルスを発生する。図９のＲＧＢセンサＶＳＹＮＣは、１／６０秒周期に１回ＨＩＧＨ信号になる。それに対してｘ２４ｆｒｍ信号は、図９のように１／２４倍の１／１４４０秒周期でＨＩＧＨ、ＬＯＷを繰り返すパルスになる。明るい方向に変化したピクセルを保存するフレームメモリＡ＋とフレームメモリＢ＋はこのｘ２４ｆｒｍのＨＩＧＨ、ＬＯＷに合わせて片側がＥＶＳデータを書き込んでいる間に、もう片方は読み出して０を書き込む作業を行う。同様に暗い方向に変化したピクセルを保存するフレームメモリＡ－とフレームメモリＢ－はこのｘ２４ｆｒｍのＨＩＧＨ、ＬＯＷに合わせて片側がＥＶＳデータを書き込んでいる間に、もう片方は読み出して０を書き込む作業を行う。

【0047】

図９に示すように、フレームメモリＡ＋、フレームメモリＡ－はｘ２４ｆｒｍがＬＯＷの時にセンサの明るさの符号に対応したアドレスに書き込み、ＨＩＧＨの時は書き込んだデータを画面上部のアドレス０から順番に読み出す。通常１ピクセルずつメモリから読み出すにはＲＧＢ信号の２４倍のクロックスピードで読み出す必要があるが、ＥＶＳの明るさデータは１ビットであることに注目し、２４ライン分を２４ビットデータとして扱う工夫をすることで、２４ライン分を一度に読み出すことができるようにする。このことで通常のＲＧＢで扱うクロックスピードと同等のスピードで読み出しが可能となる。このデータを２４ビット化する方法を次に示す。

【0048】

ＥＶＳのピクセルサイズが例えば１２８０（ｘ軸）×７２０（ｙ軸）の場合、ＥＶＳ＿ｙｂは１０ＢＩＴでＥＶＳ＿ｙｂ［９：０］、ＥＶＳ＿ｘｂは１１ＢＩＴでＥＶＳ＿ｘｂ［１０：０］で表され、その時のライトアドレスＥＶＳ＿ＷＡＤＲＳは動きベクトル推定ブロック範囲を２４×２４とした場合、次式で求められる。
ＥＶＳ＿ＷＡＤＲＳ＝ＩＮＴ（ＥＶＳ＿ｙｂ／２４）×２＾１１＋ＥＶＳ＿ｘｂ
・・・・（１）

【0049】

ＥＶＳ＿ｐｍはピクセルが明るくなった場合は１、暗くなった場合は０で入力される。バッファを通ってブロック内部のクロックで読み出されたＥＶＳ＿ｐｍをＥＶＳ＿ｐｍｂとする。（２）式のようにＥＶＳ＿ｙｂからＢＩＴＳＨＩＦＴを求め、（３）式のようにＥＶＳ＿ｐｍｂをＢＩＴＳＨＩＦＴ分だけシフトレジスタでビットシフトした値を出力する。
ＢＩＴＳＨＩＦＴ＝ＥＶＳ＿ｙｂ－ＩＮＴ（ＥＶＳ＿ｙｂ／２４）×２４
・・・・（２）
ＳｈｉｆｔＲｅｇｉｓｔｅｒ＝２＾ＢＩＴＳＨＩＦＴ×ＥＶＳ＿ｐｍｂ
・・・（３）

【0050】

例えばＥＶＳ＿ｙｂが１０００の場合、ＢＩＴＳＨＩＦＴ＝１６になり、ＳｈｉｆｔＲｅｇｉｓｔｅｒ＝２＾１６になる。この値はＥＶＳ＿ＷＡＤＲＳと同期して明るい方向検出用のフレームメモリＡ＋、フレームメモリＢ＋のブロックに出力される。ＥＶＳ＿ｐｍｂをインバータした信号は、暗くなった場合が１、明るくなった場合が０であり、シフトレジスタに入力され、ＥＶＳ＿ＷＡＤＲＳに従い、（２）式、（３）式の出力信号をフレームメモリＡ－、フレームメモリＢ－のブロックに出力する。このようにすることでフレームメモリの１アドレスに２４ライン分書き込むことができる。シフトレジスタは同時にイベントが発生したＥＶＳ＿ｙｂのラインアドレスが２４ＢＩＴの何ビット目かを表すＹＡＤＲ信号を発生する。次式のＹＡＤＲ信号を出力する。
ＹＡＤＲ＝２＾ＢＩＴＳＨＩＦＴ ・・・（４）

【0051】

上記で述べたようにｘ２４ｆｒｍパルスに従いフレームメモリＡ、フレームメモリＢに書き込むが、ｘ２４ｆｒｍの書き込み期間に、隣接する２４ラインのデータが複数個入力されることもあるので、書き込みフェーズ時にＥＶＳ＿ＷＡＤＲＳのアドレスを一度保存された状態のものを読み出し、読み出した２４ビットデータを新たにシフトレジスタで発生した信号とＯＲ（論理和）をとる。この時に読み出した２４ビットのうちＹＡＤＲで示す１の立っているビットの値が１で、新たにシフトレジスタで発生したＹＡＤＲで示すビットが０であった場合、そのビットはＯＲを取らずに０にする。このように一度保存されていた２４ビットデータを読み出すためにＥＶＳ＿ＷＡＤＲＳは１クロック（ＣＬＫ）分ディレーさせるレジスタを通し、フレームメモリのアドレスに入力する。このようにすることでｘ２４ｆｒｍの書き込みパルス期間に最新の明暗それぞれの符号データが書き込まれるようになる。

【0052】

フレームメモリＡ＋、フレームメモリＡ－はｘ２４ｆｒｍがＬＯＷの時に、フレームメモリＢ＋、フレームメモリＢ－はｘ２４ｆｒｍがＨＩＧＨの時に、上記の書き込みが行われ、フレームメモリＡ＋、フレームメモリＡ－はｘ２４ｆｒｍがＨＩＧＨの時に、フレームメモリＢ＋、フレームメモリＢ－はｘ２４ｆｒｍがＬＯＷの時に、下記の読み込み及び０の書き込みが行われる。読み込みアドレスＥＶＳ＿ＲＡＤＲＳは図８のＲアドレス発生部で発生され、ピクセルサイズが例えば１２８０（ｘ）×７２０（ｙ）の場合、１２８０×７２０の全てのピクセルに対するアドレスを、アドレス０から順に（１）式の法則に合うように（５）式のアドレスを発生し、フレームメモリのデータをｘ２４ｆｒｍの示す読みだし期間に読み出す。
ＥＶＳ＿ＲＡＤＲＳ＝ＩＮＴ（ｙａｄｒｓ／２４）×２＾１１＋ｘａｄｒｓ
・・・・（５）
ｘａｄｒｓ＝０～１２７９、ｙａｄｒｓ＝０～２９

【0053】

１アドレス読み出ししたらただちに、そのアドレスに２４ビットの０の書き込みを行う。０の書き込みは、１２８０×７２０の全てのピクセルに対するアドレスを、ＥＶＳ＿ＲＡＤＲＳと同様にアドレス０から順に発生させることで行う。フレームメモリＡ＋とフレームメモリＢ＋の読み込みデータを、またフレームメモリＡ－とフレームメモリＢ－の読み込みデータをｘ２４ｆｒｍパルスで切り替えることで全ての６０フレームの２４倍のフレーム分のプラス符号データとマイナス符号データを読み出す。

【0054】

この読み出しデータは１データ２４ライン分の符号データであるが、動きベクトル算出は８ピクセル×８ライン単位で行うためディレー調整４８ラインメモリで、図１１のように水平方向は２４ピクセルを８ピクセルずつずらして読み出していき、垂直方向は２４ラインデータを８ラインずつずらして読み出す。読み出しは書き込みの３倍以上のクロックスピードで読み出す。同時に６０フレームの２４倍のフレーム分のプラス符号データとマイナス符号データを読み出したデータは、１／（２４×６０）秒のフレーム単位のフレームメモリで遅延させて、同様に図１１のように２４ピクセルを８ピクセルずつ、２４ラインデータを８ラインずつずらして読み出す。このようにすることで、各ブロックのベクトル計算は隣り合うブロックとオーバーラップ部分を含んで計算することができる。

【0055】

続いて動きベクトルの算出方法を説明する。図１２に２４×２４ピクセル範囲にある円の被写体が１／（２４×６０）秒のフレーム単位で右上に動いている様子を示している。図の中の数字はＹ信号のコード値になる。図１３は、図１２の２個目の円と３個目の円の動きによる明るさ変化を示すＥＶＳ信号の符号データになる。

【0056】

動き方向の検出は、Ｙ軸の縦方向の重みづけ係数とＸ軸の横方向の重みづけ係数をそれぞれプラス側符号とマイナス側符号に掛け合わせて、下記に説明するように２４×２４ピクセルの総和を２４×６０フレーム単位の現在のフレームに対して求め、１フレーム前のフレームに対して同様の総和を求め、両者の差分を取ることで、Ｙ軸、Ｘ軸方向の動き量を求める。

【0057】

図１４Ａは、２４×２４ピクセルのブロックに対して１ライン毎に１だけ増える縦方向係数を示す。図１４Ａのブロックの周囲にはブロックの四隅に行くほど小さくなる数字が書かれており、これを８で割った数が周辺係数である。すなわち２の場合は、２／８が周辺係数であり、８の場合は、８／８＝１が周辺係数である。縦動き量の重みづけ係数は、図１４Ｂに示すように、図１４Ａの各ピクセルの縦方向係数に周辺係数をかけた値である。たとえば、Ｘ＝１、Ｙ＝３のピクセルの場合、縦方向係数は３であり、Ｘ方向の周辺係数は２／８であり、Ｙ方向の周辺係数は６／８であるから、縦動き量の重みづけ係数は、３×（２／８）×（６／８）≒０．６となる。周辺係数をかける理由は、ブロックの境界にまたがるような動きの場合、そのデータの動き推定への寄与度を小さくするためである。

【0058】

図１６Ａは、２４×２４ピクセルのブロックに対して水平方向１ピクセル毎に１だけ増える横方向係数を示す。図１６Ａのブロックの周囲にはブロックの四隅に行くほど小さくなる数字が書かれており、これを８で割った数が周辺係数である。横動き量の重みづけ係数は、図１６Ｂに示すように、図１６Ａの各ピクセルの横方向係数に周辺係数をかけた値である。

【0059】

図１５Ａは、図１３のＥＶＳ出力の明るい側（プラス側）の符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。この計算は、図８の垂直方向プラス側の重みづけ部で行われ、その結果をＶＰとする。図１３のＥＶＳ出力でプラスとなったピクセルは２０個あり、このプラスとなったピクセルについて図１５Ａの重みづけ値を合計すると１８５であり、平均すると１８５／２０≒９．２５である。

【0060】

図１５Ｂは、図１３のＥＶＳ出力の暗い側（マイナス側）の符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。この計算は、図８の垂直方向マイナス側の重みづけ部で行われ、その結果をＶＭとする。図１３のＥＶＳ出力でマイナスとなったピクセルは１９個あり、このマイナスとなったピクセルについて図１５Ｂの重みづけ値を合計すると－２３５となり、平均すると－２３５／１９≒－１２．３７となる。

【0061】

図１７Ａは、図１３のＥＶＳ出力の明るい側（プラス側）の符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す。この計算は、図８の水平方向プラス側の重みづけ部で行われ、その結果をＨＰとする。図１３のＥＶＳ出力でプラスとなったピクセルは２０個あり、このプラスとなったピクセルについて図１７Ａの重みづけ値を合計すると３５９であり、平均すると３５９／２０≒１７．９５である。

【0062】

図１７Ｂは、図１３のＥＶＳ出力の暗い側（マイナス側）の符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す。この計算は、図８の水平方向マイナス側の重みづけ部で行われ、その結果をＨＭとする。図１３のＥＶＳ出力でマイナスとなったピクセルは１９個あり、このマイナスとなったピクセルについて図１７Ｂの重みづけ値を合計すると－２９０となり、平均すると－２９０／１９≒－１５．２６となる。

【0063】

このように、縦動き方向の２４×２４ピクセルのブロックのプラス側の重みづけされた値を２４×２４ピクセルのすべてについて合計した値を求め、２４×２４ピクセルのブロックのプラス側の数で割り、平均値を求める。図１５Ａおよび図１５Ｂの例では縦プラス側の平均が９．２５、縦マイナス側の平均が－１２となる。この平均値の計算は、図８の垂直方向Ｐ１ＢＬＯＣＫ平均部、垂直方向Ｍ１ＢＬＯＣＫ平均部で行われ、ＶＰＳＵＭ信号、ＶＭＳＵＭ信号が出力される。ＶＰＳＵＭ＝９．２５、ＶＭＳＵＭ＝－１２．３７である。

【0064】

横動き方向の２４×２４ピクセルのブロックのプラス側の重みづけされた値を２４×２４ピクセルのすべてについて合計した値を求め、２４×２４ピクセルのブロックのプラス側の数で割り、平均値を求める。図１７Ａおよび図１７Ｂの例では横プラス側の平均が１８、縦マイナス側の平均が－１５となる。この計算は、図８の水平方向Ｐ１ＢＬＯＣＫ平均のブロック、水平方向Ｍ１ＢＬＯＣＫ平均のブロックで行われ、ＨＰＳＵＭ信号、ＨＭＳＵＭ信号が出力される。ＨＰＳＵＭ＝１７．９５、ＨＭＳＵＭ＝－１５．２６である。

【0065】

上記の２４×２４ピクセルのブロックの明るさ変化の平均の計算を１フレーム前の状態でも行う。図８のディレー調整フレームメモリにおいて６０フレームの１／２４倍の周期単位で１フレーム前の映像について同様に行う。

【0066】

図１８は、１フレーム前の被写体の動きとＹ信号の状態を示す。図１９は、図１８の１個目の円と２個目の円の動きによる明るさ変化によるＥＶＳ信号の符号データを示す。プラスの符号データは１８ピクセルあり、マイナスの符号データは１８ピクセルある。

【0067】

図２０Ａは、図１９の明るさ変化のプラスの符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。プラスのピクセルの重みづけ値は、合計すると２１７であり、平均すると２１７／１８≒１２．０６である。

【0068】

図２０Ｂは、図１９の明るさ変化のマイナスの符号データに図１４Ｂの縦動き量の重みづけ係数を掛け算した結果を示す。マイナスのピクセルの重みづけ値は、合計すると－２８８であり、平均すると－２８８／１８≒－１６．０である。

【0069】

図８では、縦方向プラス側の平均値がＶＰＳＵＭ１ｆ信号、縦方向マイナス側の平均値がＶＭＳＵＭ１ｆ信号である。ＶＰＳＵＭ１ｆ＝１２．０６、ＶＭＳＵＭ１ｆ＝－１６．０である。

【0070】

図２１Ａは、図１９の明るさ変化のプラスの符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す。プラスのピクセルの重みづけ値は、合計すると２７８であり、平均すると２７８／１８≒１５．４４である。

【0071】

図２１Ｂは、図１９の明るさ変化のマイナスの符号データに図１６Ｂの横動き量の重みづけ係数を掛け算した結果を示す。マイナスのピクセルの重みづけ値は、合計すると－２４０であり、平均すると－２４０／１８≒－１３．３３である。

【0072】

図８では、横方向プラス側の平均値がＨＰＳＵＭ１ｆ信号、横方向マイナス側の平均値がＨＭＳＵＭ１ｆ信号になる。ＨＰＳＵＭ１ｆ＝１５．４４、ＨＭＳＵＭ１ｆ＝－１３．３３である。

【0073】

縦方向の動きベクトルは、現在のフレームの縦方向の動き量の重みづけ平均値と、１フレーム前の縦方向の動き量の重みづけ平均値の差により求められる。この差が２４×２４ブロック内の被写体の平均的な縦方向の移動量になる。これをプラス、マイナスの両方で求め、その平均を２４×６０フレーム周期の１フレームの縦方向の動きベクトル量ＶＶＥＣＴ１Ｆｒとする。

【0074】

マイナス側の平均はマイナス値として扱い、垂直動きベクトル量ＶＶＥＣＴ１Ｆｒを次式で求める。
ＶＶＥＣＴ１Ｆｒ＝（（ＶＰＳＵＭ－ＶＰＳＵＭ１ｆ）＋（－１）×（ＶＭＳＵＭ－ＶＭＳＵＭ１ｆ））／２
・・・（６）

【0075】

図２０Ａ及び図２０Ｂの例では、ＶＶＥＣＴ＝（（９．２５－１２．０６）－（－１２．３７＋１６．０））／２≒－３．２となる。この値がマイナスの時は画面上方に移動していることを示し、プラスの時は画面下方に移動していることを示す。

【0076】

横方向の動きベクトルは、現在のフレームの横方向の動き量の重みづけ平均値と、１フレーム前の横方向の動き量の重みづけ平均値の差により求められる。この差が２４×２４ブロック内の被写体の平均的な横方向の移動量になる。これをプラス、マイナスの両方で求め、その平均を２４×６０フレーム周期の１フレームの横方向の動きベクトル量ＨＶＥＣＴ１Ｆｒとする。

【0077】

マイナス側の平均はマイナス値として扱い、水平動きベクトル量ＨＶＥＣＴ１Ｆｒを次式で求める。
ＨＶＥＣＴ１Ｆｒ＝（（ＨＰＳＵＭ－ＨＰＳＵＭ１ｆ）＋（－１）×（ＨＭＳＵＭ－ＨＭＳＵＭ１ｆ））／２
・・・（７）

【0078】

図２１Ａ及び図２１Ｂの例では、ＨＶＥＣＴ＝（（１７．９５－１５．４４）－（－１５．２６＋１３．３３））／２＝２．２２となる。この値がマイナスの時は画面左方向に移動していることを示し、プラスの時は画面右方向に移動していることを示す。

【0079】

ＶＶＥＣＴ１ＦｒとＨＶＥＣＴ１Ｆｒのベクトル量は２４×６０＝１４４０ｆｐｓという非常に短い時間の動き量であるから、通常被写体の動きは１２８０×７２０ピクセルのセンサであれば２４×２４ピクセル以内の数ピクセル以内の動き量で収まる。このベクトル計算を８×８ブロック毎に順番に行い、ブロックナンバーカウンタが出力するブロックナンバー値をアドレスとしてブロック別動きベクトル２４Ｆｒ足し算メモリに保存される。１４４０ｆｐｓ単位でブロック別動きベクトル２４Ｆｒ足し算メモリに垂直方向、水平方向のベクトルが足されるように計算し、２４フレーム分足し算したら、その総和ＶＶＥＣＴ２４Ｆｒ、ＨＶＥＣＴ２４Ｆｒを出力し、次のブロック別動きベクトルメモリに保存する。出力後、ブロック別動きベクトル２４Ｆｒ足し算メモリの足し算値を０にリセットする。この２４フレーム分足し算した結果のベクトルが、６０ＦＰＳ単位のベクトルとなり、Ｒ、Ｇ、Ｂの画像の動きベクトルとなる。

【0080】

ここでブロック別動きベクトル２４Ｆｒ足し算メモリの足し算を０にリセットするタイミングは、６０ＦｒｍＶｒｓｔパルスがＨＩＧＨの時に行うが、そのタイミングは、ＲＧＢセンサのシャッタ蓄積時間に応じて変えることでより正確な動きベクトルを得ることができる。

【0081】

図９は、ＲＧＢセンサが１／６０秒のシャッタスピードの場合のリセットタイミング６０ＦｒｍＶｒｓｔを示している。図９の最上部に８×８ピクセル内の被写体の動きを示す。ＲＧＢセンサはこの例では６０ＦＰＳで動き、その同期信号ＶＳＹＮＣが図９のタイミングになる。ここではＲＧＢセンサは、全画素同時タイミングで映像を取得するグローバルシャッタのセンサであるとする。シャッタスピードが１／６０秒の場合、ＶＳＹＮＣのタイミングの被写体から次のＶＳＹＮＣのタイミングまで露光されるので、図９のＲＧＢ１／６０秒蓄積の欄のＶＳＹＮＮＣ手前の状態のように、１／６０秒の動き分、ＲＧＢセンサが捉えた被写体が右上方向にぶれている。さらに次のＶＳＹＮＣでは被写体が下がってきた場合、右下方向にぶれている。一方ＥＶＳは非同期に高速に輝度変化を検出するのでぶれがない。このぶれがないＥＶＳ出力データから動きベクトルを算出するとき、ベクトルを算出する開始点と終点の時間がＲＧＢセンサの被写体のブレの中心のタイミングになることがよい。

【0082】

図９の被写体の黒丸で表示する部分から開始し、次の黒丸で表示する部分までの間でベクトル算出すると、ＲＧＢセンサの被写体のブレの中心タイミングでのベクトルを求めることになり、フレーム間圧縮で次のフレームのブレの中心との比較ができるようになる。そのため６０ＦｒｍＶｒｓｔのリセットタイミングを図９のようにＶＳＹＮＣ間の中点に１フレーム分のディレーを足したタイミングにする。この１フレーム分のディレーは内部の処理のメモリによるディレーを考慮している。この６０ＦｒｍＶｒｓｔのリセットタイミングは、ＶＳＹＮＣから次式のディレー量で発生させる。ＲＧＢセンサのフレームレートをＲＧＢＦＰＳ、イベントセンサ用のフレームメモリの蓄積周期をＥＶＳＦＰＳ、シャッタスピードをＲＧＢＳＨとすると、６０ＦｒｍＶｒｓｔのリセットタイミング６０ＦｒｍＶｒｓｔＴｉｍｉｎｇは、次式で求められる。
６０ＦｒｍＶｒｓｔＴｉｍｉｎｇ＝ＩＮＴ（（ＲＧＢＳＨ／２）／（１／ＥＶＳＦＰＳ））×（１／ＥＶＳＦＰＳ）＋１／ＥＶＳＦＰＳ
・・・（８）

【0083】

例えば、ＲＧＢセンサのフレームレートＲＧＢＦＰ＝６０（ＦＰＳ）、シャッタスピードＲＧＢＳＨ＝１／６０（秒）、イベントセンサ用のフレームメモリの蓄積レートＥＶＳＦＰＳ＝２４×ＲＧＢＦＰであれば、（８）式より、０．００９０２７７７８秒になる。これはｘ２４ｆｒｍの変化周期の１３フレーム分になる。

【0084】

図１０は、シャッタスピードＲＧＢＳＨが１／１５００秒の時の例である。シャッタスピードに合わせて（８）式でディレー量を求める。これはｘ２４ｆｒｍのパルス変化周期の１フレーム分になる。

【0085】

このシャッタスピードで変化させる６０ＦｒｍＶｒｓｔのタイミングで、１４４０ＦＰＳ単位の２４フレーム分のベクトルをブロック別動きベクトル２４Ｆｒ足し算メモリにおいて足し算し、この足し算されたベクトル値をブロック別動きベクトルメモリに書き込み、そのメモリのデータをＶＳＹＮＣのタイミングでブロック毎に読み出しＶＶＥＣＴ、ＨＶＥＣＴの動きパラメータを得る。

【0086】

このように動きベクトル推定部３４において動きパラメータを取得し、その動きパラメータを図６の動き補償部３２に入力する。動き補償部３２は、ＲＧＢセンサのフレームレートで１フレーム遅れたＹ信号に対して、８×８ピクセルのブロック分割の範囲を動きパラメータのマイナス値で移動させ、新たに入力されたＹ信号差分をとる。

【0087】

図２２は、動きベクトルによって動き探索対象のブロックを移動させる方法を示す図である。図２２の場合、動きベクトルは、水平方向ＨＶＥＣＴが１０．２、垂直方向ＶＶＥＣＴが－１０．５である。１フレーム前のＹ信号にその動きベクトル分をマイナスした８×８ピクセルのエリアのデータを図６の１フレームのフレームメモリから取り出す。動きベクトルが小さい場合は、１／４ピクセルの位相精度で補間して求める。このデータと新たに入って来たＹ信号の８×８ピクセルのエリア間で図２３Ａのような順番で１フレーム遅れの動きベクトルで得られた８×８エリアをずらして相関を求めデータを探索する。

【0088】

図２３Ａは、探索１回目における８×８ピクセルのエリアの１ピクセル単位探索を示し、図２３Ｂは、探索２回目における１／４ピクセル単位でピクセルデータを補間して探索する方法を示す。相関値があるスレッシュ以下になった時点でさらに１／４ピクセル単位でデータ補間して探索することにより、相関度の高い位相を求める。もし全ての探索を行い相関がスレッシュ以下の場合は、移動は行わず同じブロックのフレーム差分をとる。

【0089】

この探索はフレーム間動画圧縮を行う際により高い精度で行うことができるが、処理の遅延にもつながるので、必要ない場合は行わなくてもよい。

【0090】

この探索は図２３ＡのようなＨ．２６４やＨ．２６５で用いられる広い探索よりも探索範囲が狭い。これは動きベクトルを求める際に２４×６０ＦＰＳの高速で被写体に追従してベクトルを求めているので、動きベクトル時点で精度が良いためである。

【0091】

このように探索を行い１フレーム前とマッチングが取れた時点で引き算をしてその差分を周波数変換し量子化し符号化する。このようにすることで動き補償のデータ圧縮が行われる。図９のＲＧＢセンサ出力、ＲＧＢセンサフレームメモリ、動き補償、差分変換、符号化のタイミングで行われる。

【0092】

図２４は、本実施の形態の方法で構成されるＧＯＰを説明する図である。ここでは４フレームでＧＯＰを構成する場合を説明する。図２４のように、ＥＶＳ信号の符号データを用いて動き補償してフレーム間の差分を符号化するフレームをＢフレームとし、フレーム間で差分をとらないイントラフレームを数フレームに１回入れる。参照フレームは過去のＩフレームとする。動きベクトルは、ＥＶＳ信号の符号データを用いて高速フレームで移動物体に追従して求めたものであるから、あらかじめ未来の情報を溜めておく必要がなくなり、ＲＧＢセンサの１フレーム以内でフレーム間圧縮が可能となる。

【0093】

（実施の形態２）
ＥＶＳは特殊なセンサであるためセンサのラインアップが少なく、ＥＶＳの画素数とＲＧＢセンサの画素数が一致しないことがある。実施の形態２では、ＥＶＳとＲＧＢセンサの有効画素数に違いがある場合、実施の形態１で説明した水平動きベクトル、垂直動きベクトルの値にイベントセンサとＲＧＢセンサの有効画素数の比をかける。

【0094】

例えば、ＥＶＳが１２８０×７２０ピクセルであり、ＲＧＢセンサが１９２０×１０８０ピクセルであり、両者は同じ画角の有効ピクセルであるとすると、水平方向の比ＨＰＩＸ＿Ｒａｔｉｏ及び垂直方向の比ＶＰＩＸ＿Ｒａｔｉｏは次式で求められる。
ＨＰＩＸ＿Ｒａｔｉｏ＝１９２０／１２８０＝１．５
ＶＰＩＸ＿Ｒａｔｉｏ＝１０８０／７２０＝１．５

【0095】

動きベクトル推定部３４は、水平方向の比ＨＰＩＸ＿Ｒａｔｉｏ、垂直方向の比ＶＰＩＸ＿Ｒａｔｉｏをそれぞれ水平方向の動きベクトルＨＶＥＣＴ、垂直方向の動きベクトルＶＶＥＣＴに掛け合わせ、補正後の水平方向の動きベクトルＨＶＥＣＴ’、垂直方向の動きベクトルＶＥＣＴ’を求め、出力する。
ＨＶＥＣＴ’＝ＨＶＥＣＴ×ＨＰＩＸ＿Ｒａｔｉｏ ・・・（９）
ＶＶＥＣＴ’＝ＶＶＥＣＴ×ＶＰＩＸ＿Ｒａｔｉｏ ・・・（１０）

【0096】

（実施の形態３）
実施の形態３では、実施の形態１及び実施の形態２においてＥＶＳとＲＧＢセンサが同光軸になるようにプリズムを用いて配置する。ＲＧＢセンサはイメージセンサの一例である。ＲＧＢセンサの代わりに白黒の画像データを取得するセンサを用いてもよい。

【0097】

図２５は、プリズムを用いたＥＶＳとＲＧＢセンサの配置を説明する図である。レンズから入射した像光をプリズムで分光し、ＥＶＳとＲＧＢセンサの像が同光軸となるように配置する。この構成により得られるＲＧＢセンサの出力データとＥＶＳの出力データを用いて、実施の形態１または実施の形態２の動画圧縮を行う。動画圧縮は、ＲＧＢセンサのＲ、Ｇ、Ｂ信号のそれぞれに対して行ってもよく、Ｒ、Ｇ、ＢをＹ、Ｃｂ、Ｃｒに変換したＹ、Ｃｂ、Ｃｒ信号のそれぞれに対して行ってもよく、Ｒ、Ｇｒ、Ｇｂ、Ｂ信号のベイヤ（Ｂａｙｅｒ）パターンの信号のそれぞれのチャンネルに対して行ってもよい。

【0098】

（実施の形態４）
実施の形態４では、実施の形態１及び実施の形態２においてＥＶＳとＲＧＢセンサとＴＯＦ（Time Of Flight）センサを同光軸になるようにプリズムを用いて配置する。ＴＯＦセンサは距離センサの一例である。

【0099】

図２６（ａ）及び図２６（ｂ）は、プリズムを用いたＥＶＳとＲＧＢセンサとＴＯＦセンサの配置を説明する図である。レンズにより可視光の環境光とレーザーダイオードアレイのＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser）から発光された近赤外光、ここでは例えば波長が９４０ｎｍの赤外光が被写体に当たって反射した光がプリズムに入射される。プリズムは、例えば図２６のように可視光反射ダイクロイック膜で可視光と近赤外光に分け、近赤外光をＴＯＦセンサに入射する。可視光はさらにプリズムによって分光され、ＲＧＢセンサとＥＶＳに入射される。

【0100】

プリズムの構造は図２６（ａ）の配置、図２６（ｂ）の配置のいずれでもよい。ＲＧＢセンサとＥＶＳとＴＯＦセンサは同光軸上に配置される。ＴＯＦセンサは内部にプロセッサを持っており、距離データＤを出力する。ＲＧＢセンサの出力データとＥＶＳの出力データとＴＯＦセンサの距離データを用いて実施の形態１または実施の形態２の動画圧縮を行う。動画圧縮は、ＲＧＢセンサのＲ、Ｇ、Ｂ信号のそれぞれに対して行ってもよく、Ｒ、Ｇ、ＢをＹ、Ｃｂ、Ｃｒに変換したＹ、Ｃｂ、Ｃｒ信号のそれぞれに対して行ってもよく、Ｒ、Ｇｒ、Ｇｂ、Ｂ信号のベイヤ（Bayer）パターンの信号のそれぞれのチャンネルに対して行ってもよい。また同時にＴＯＦセンサの距離データＤに対しても、実施の形態１または実施の形態２の動画圧縮を行う。

【0101】

以上説明した動画圧縮装置２００の各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

【0102】

動画圧縮装置２００によれば、ＥＶＳとＲＧＢセンサを同光軸上に配置いて、ＥＶＳから得られるＲＧＢセンサよりも高速で画像の輝度変化を捕らえ、輝度変化の符号情報とＲＧＢセンサの画像情報を組み合わせて動きベクトルをＲＧＢ信号の１フレーム以内に計算し、その動きベクトルに基づいて動き補償を行い、動画のデータ圧縮を行う。

【0103】

このように動画圧縮装置２００によれば、ＥＶＳの輝度変換データを用いて高速フレームレートで被写体の動きをブロック毎に精度良く動きベクトルとして算出することにより、低遅延かつ高圧縮で動画を圧縮することができる。高品質の動画を低遅延で伝送することにより、リアルタイムで高品質な動画通信ができるようになる。また、輝度変化が起きた画素の明暗２種類の１ビットの信号で動き推定することができるため、演算スピードが向上し、高速のデータ更新が可能になる。これによって動いている物体の追従性も良くなり、フレーム間の探索範囲が抑えられ、画像データ蓄積のメモリが大幅に削減でき、消費電力の削減と回路規模の削減につながる。

【0104】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0105】

１０ ＥＶＳ、 １２ 受光部、 １３ 電流電圧変換器、 １４ フォトダイオード、 １６ 輝度変化検出部、 １７ 非同期差分検出器、 １８ 比較器、 ２０ ブロック分割部、 ２２ イントラ予測部、 ２４ 変換・量子化部、 ２６ エントロピー符号化部、 ２８ 逆量子化・逆変換部、 ２９ ループ内フィルタ、 ３０ フレームメモリ、 ３２ 動き補償部、 ３４ 動きベクトル推定部、 ３６ ＳＳＧ、 ２００ 動画圧縮装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14A】

【図14B】

【図15A】

【図15B】

【図16A】

【図16B】

【図17A】

【図17B】

【図18】

【図19】

【図20A】

【図20B】

【図21A】

【図21B】

【図22】

【図23A】

【図23B】

【図24】

【図25】

【図26】