知財求人 - 知財ポータルサイト「IP Force」
特許6483370イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6483370
(24)【登録日】2019年2月22日
(45)【発行日】2019年3月13日
(54)【発明の名称】イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置
(51)【国際特許分類】
G06T 7/246 20170101AFI20190304BHJP
【ＦＩ】
G06T7/246
【請求項の数】31
【全頁数】33
(21)【出願番号】特願2014-153621(P2014-153621)
(22)【出願日】2014年7月29日
(65)【公開番号】特開2015-28780(P2015-28780A)
(43)【公開日】2015年2月12日
【審査請求日】2017年6月27日
(31)【優先権主張番号】10-2013-0089254
(32)【優先日】2013年7月29日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2013-0098273
(32)【優先日】2013年8月20日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
(74)【代理人】
【識別番号】110000051
【氏名又は名称】特許業務法人共生国際特許事務所
(72)【発明者】
【氏名】李 俊 行
(72)【発明者】
【氏名】柳 賢 錫
(72)【発明者】
【氏名】李 圭 彬
【審査官】
▲広▼島 明芳
(56)【参考文献】
【文献】
韓国公開特許第１０−２０１３−００４０５１７（ＫＲ，Ａ）
【文献】
特開２０１２−１０８６５６（ＪＰ，Ａ）
【文献】
米国特許出願公開第２０１２／００６１５６８（ＵＳ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００ − ７／９０
(57)【特許請求の範囲】
【請求項1】
イベント基盤ビジョンセンサの少なくとも１つのピクセルに対応するイベント信号を受信し、前記少なくとも１つのピクセル及び該少なくとも１つのピクセルに隣接する複数の隣接ピクセルを含むピクセル群のパターンを分類する分類部と、
前記ピクセル群のパターンに基づいてオブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析する分析部と、を備え、
前記分類部は、
前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定する類型決定部と、
前記複数の隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するパターン決定部と、を含むことを特徴とする映像分析装置。
前記ピクセル群のパターンに基づいてオブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析する分析部と、を備え、
前記分類部は、
前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定する類型決定部と、
前記複数の隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するパターン決定部と、を含むことを特徴とする映像分析装置。
【請求項2】
前記イベント信号は、前記イベント基盤ビジョンセンサによって前記少なくとも１つのピクセルの位置でイベントの発生を示すことを特徴とする請求項１に記載の映像分析装置。
【請求項3】
前記分類部は、前記ピクセル群が予め設定された複数のエッジパターンのいずれか１つに対応するか否かを判断し、該判断に基づいて前記ピクセル群のパターンを対応するエッジパターンとして決定することを特徴とする請求項１に記載の映像分析装置。
【請求項4】
前記分類部は、前記判断に基づいて前記ピクセル群のうちの前記予め設定された複数のエッジパターンのいずれにも対応しないピクセル群を処分することを特徴とする請求項３に記載の映像分析装置。
【請求項5】
前記複数の隣接ピクセルの類型は、タイムスタンプの差が第１閾値以下である第１類型及びタイムスタンプの差が第２閾値以上である第２類型のいずれか１つを含むことを特徴とする請求項１に記載の映像分析装置。
【請求項6】
前記分析部は、前記ピクセル群のパターンに基づいて該ピクセル群に対応する外形線の方向を決定する外形分析部を含むことを特徴とする請求項１に記載の映像分析装置。
【請求項7】
前記分析部は、
前記ピクセル群のパターンに基づいて該ピクセル群に対応する速度を算出する算出部と、
前記ピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析する動き分析部と、を含むことを特徴とする請求項１に記載の映像分析装置。
前記ピクセル群のパターンに基づいて該ピクセル群に対応する速度を算出する算出部と、
前記ピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析する動き分析部と、を含むことを特徴とする請求項１に記載の映像分析装置。
【請求項8】
前記オブジェクトの動きは、該オブジェクトの移動速度成分、該オブジェクトの回転速度成分、及び該オブジェクトのスケーリング速度成分のうちの少なくとも１つを含むことを特徴とする請求項７に記載の映像分析装置。
【請求項9】
前記分析部は、観測領域に含まれるピクセル群のパターンの多様性に基づいて複数の観測領域のうちの前記オブジェクトの動き分析のための少なくとも１つの観測領域を選択する選択部を更に含むことを特徴とする請求項７に記載の映像分析装置。
【請求項10】
前記オブジェクトの動きに基づいてユーザ入力のためのポイントの相対座標の変化量を算出し、該相対座標の変化量に基づいてユーザ入力を処理する処理部を更に含むことを特徴とする請求項１に記載の映像分析装置。
【請求項11】
イベント基盤ビジョンセンサの第１ピクセルに対応する第１イベント信号及び前記イベント基盤ビジョンセンサの第２ピクセルに対応する第２イベント信号を受信し、前記第１ピクセル及び該第１ピクセルに隣接する複数の第１隣接ピクセルを含む第１ピクセル群のパターンを分類し、前記第２ピクセル及び該第２ピクセルに隣接する複数の第２隣接ピクセルを含む第２ピクセル群のパターンを分類する分類部と、
前記第１ピクセル群のパターンに基づいてオブジェクトの第１位置を検出し、前記第２ピクセル群のパターンに基づいて前記オブジェクトの第２位置を検出し、前記第１位置及び前記第２位置に基づいて前記オブジェクトの深度を分析する分析部と、を備え、
前記分類部は、
前記第１ピクセルのタイムスタンプと前記複数の第１隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の第１隣接ピクセルの類型を決定し、前記第２ピクセルのタイムスタンプと前記複数の第２隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の第２隣接ピクセルの類型を決定する類型決定部と、
前記複数の第１隣接ピクセルの類型及び前記複数の第２隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するパターン決定部と、を含むことを特徴とする映像分析装置。
前記第１ピクセル群のパターンに基づいてオブジェクトの第１位置を検出し、前記第２ピクセル群のパターンに基づいて前記オブジェクトの第２位置を検出し、前記第１位置及び前記第２位置に基づいて前記オブジェクトの深度を分析する分析部と、を備え、
前記分類部は、
前記第１ピクセルのタイムスタンプと前記複数の第１隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の第１隣接ピクセルの類型を決定し、前記第２ピクセルのタイムスタンプと前記複数の第２隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の第２隣接ピクセルの類型を決定する類型決定部と、
前記複数の第１隣接ピクセルの類型及び前記複数の第２隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するパターン決定部と、を含むことを特徴とする映像分析装置。
【請求項12】
前記第１イベント信号は、前記イベント基盤ビジョンセンサによって前記第１ピクセルの第１位置で第１イベントの発生を示し、
前記第２イベント信号は、前記イベント基盤ビジョンセンサによって前記第２ピクセルの第２位置で第２イベントの発生を示すことを特徴とする請求項１１に記載の映像分析装置。
前記第２イベント信号は、前記イベント基盤ビジョンセンサによって前記第２ピクセルの第２位置で第２イベントの発生を示すことを特徴とする請求項１１に記載の映像分析装置。
【請求項13】
前記第１イベント信号は、前記第１位置で前記オブジェクトの動きが検出された信号であり、
前記第２イベント信号は、前記第１位置と空間的に離隔された前記第２位置で前記オブジェクトの動きが検出された信号であることを特徴とする請求項１１に記載の映像分析装置。
前記第２イベント信号は、前記第１位置と空間的に離隔された前記第２位置で前記オブジェクトの動きが検出された信号であることを特徴とする請求項１１に記載の映像分析装置。
【請求項14】
前記分析部は、前記第１位置と前記第２位置との間の距離を算出し、前記第１位置と前記第２位置との間の距離が遠いほど前記オブジェクトの深度を浅く推定し、前記第１位置と前記第２位置との間の距離が近いほど前記オブジェクトの深度を深く推定することを特徴とする請求項１１に記載の映像分析装置。
【請求項15】
前記オブジェクトの深度に対応する動作モードを決定し、該動作モードに基づいてユーザ入力を処理する処理部を更に含むことを特徴とする請求項１１に記載の映像分析装置。
【請求項16】
イベント基盤ビジョンセンサの少なくとも１つのピクセルに対応するイベント信号を受信し、前記少なくとも１つのピクセル及び該少なくとも１つのピクセルに隣接する複数の隣接ピクセルを含むピクセル群のパターンを分類するステップと、
前記ピクセル群のパターンに基づいてオブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析するステップと、を有し、
前記ピクセル群のパターンを分類するステップは、
前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定するステップと、
前記複数の隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するステップと、を含むことを特徴とする映像分析方法。
前記ピクセル群のパターンに基づいてオブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析するステップと、を有し、
前記ピクセル群のパターンを分類するステップは、
前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定するステップと、
前記複数の隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するステップと、を含むことを特徴とする映像分析方法。
【請求項17】
前記イベント信号は、前記イベント基盤ビジョンセンサによって前記少なくとも１つのピクセルの位置でイベントの発生を示すことを特徴とする請求項１６に記載の映像分析方法。
【請求項18】
前記ピクセル群のパターンを決定するステップは、
前記複数の隣接ピクセルの類型に基づいて前記ピクセル群が予め設定された複数のエッジパターンのいずれか１つに対応するか否かを判断するステップと、
前記判断に基づいて前記ピクセル群のうちの前記予め設定された複数のエッジパターンのいずれにも対応しないピクセル群を処分するステップと、
前記判断に基づいて前記ピクセル群のパターンを対応するエッジパターンとして決定するステップと、を含むことを特徴とする請求項１６に記載の映像分析方法。
前記複数の隣接ピクセルの類型に基づいて前記ピクセル群が予め設定された複数のエッジパターンのいずれか１つに対応するか否かを判断するステップと、
前記判断に基づいて前記ピクセル群のうちの前記予め設定された複数のエッジパターンのいずれにも対応しないピクセル群を処分するステップと、
前記判断に基づいて前記ピクセル群のパターンを対応するエッジパターンとして決定するステップと、を含むことを特徴とする請求項１６に記載の映像分析方法。
【請求項19】
前記オブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析するステップは、前記ピクセル群のパターンに基づいて前記ピクセル群に対応する外形線の方向を決定するステップを含むことを特徴とする請求項１６に記載の映像分析方法。
【請求項20】
前記オブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析するステップは、
観測領域に含まれるピクセル群のパターンの多様性に基づいて複数の観測領域のうちの前記オブジェクトの動き分析のための少なくとも１つの観測領域を選択するステップと、
前記少なくとも１つの観測領域に含まれる複数のピクセル群に対応する速度を算出するステップと、
前記複数のピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析するステップと、を含むことを特徴とする請求項１６に記載の映像分析方法。
観測領域に含まれるピクセル群のパターンの多様性に基づいて複数の観測領域のうちの前記オブジェクトの動き分析のための少なくとも１つの観測領域を選択するステップと、
前記少なくとも１つの観測領域に含まれる複数のピクセル群に対応する速度を算出するステップと、
前記複数のピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析するステップと、を含むことを特徴とする請求項１６に記載の映像分析方法。
【請求項21】
前記オブジェクトの動きに含まれる該オブジェクトの移動速度に基づいてユーザ入力のためのポイントの相対座標の変化量を算出するステップと、
前記相対座標の変化量に基づいてユーザ入力を処理するステップと、を更に含むことを特徴とする請求項１６に記載の映像分析方法。
前記相対座標の変化量に基づいてユーザ入力を処理するステップと、を更に含むことを特徴とする請求項１６に記載の映像分析方法。
【請求項22】
イベント基盤ビジョンセンサのピクセルに対応してオブジェクトの動きを示すイベント信号の入力を受信するステップと、
前記イベント信号に対応するピクセルに隣接する複数の隣接ピクセルを選択するステップと、
予め設定されたパターンのうちから前記複数の隣接ピクセルに格納された情報に該当するパターンを分類するステップと、
前記分類されたパターンを用いて前記オブジェクトの外形を決定するステップと、を有し、
前記パターンを分類するステップは、
前記複数の隣接ピクセルに格納されたタイムスタンプと前記イベント信号に対応するピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定するステップと、
前記複数の隣接ピクセルの類型に基づいて前記予め設定されたパターンのうちからパターンを決定するステップと、を含むことを特徴とする映像分析方法。
前記イベント信号に対応するピクセルに隣接する複数の隣接ピクセルを選択するステップと、
予め設定されたパターンのうちから前記複数の隣接ピクセルに格納された情報に該当するパターンを分類するステップと、
前記分類されたパターンを用いて前記オブジェクトの外形を決定するステップと、を有し、
前記パターンを分類するステップは、
前記複数の隣接ピクセルに格納されたタイムスタンプと前記イベント信号に対応するピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定するステップと、
前記複数の隣接ピクセルの類型に基づいて前記予め設定されたパターンのうちからパターンを決定するステップと、を含むことを特徴とする映像分析方法。
【請求項23】
前記イベント信号は、前記イベント基盤ビジョンセンサによって少なくとも１つのピクセルの位置でイベントの発生を示すことを特徴とする請求項２２に記載の映像分析方法。
【請求項24】
前記パターンを分類するステップは、前記複数の隣接ピクセルに格納された情報が前記予め設定されたパターンのいずれにも該当しない場合、前記イベント信号に対応するピクセルを処分するステップを含むことを特徴とする請求項２２に記載の映像分析方法。
【請求項25】
前記オブジェクトの外形を用いて該オブジェクトの動きを分析するステップを更に含むことを特徴とする請求項２２に記載の映像分析方法。
【請求項26】
請求項１６乃至２５のいずれか一項に記載の映像分析方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項27】
イベント基盤ビジョンセンサの少なくとも１つのピクセルに対応してオブジェクトの動きを示すイベント信号を含む入力映像に基づいて該オブジェクトの動きを認識する認識部と、
前記オブジェクトの動きに基づいてユーザ入力のための相対座標を更新する処理部と、を備え、
前記認識部は、
前記入力映像に基づいて前記イベント信号に対応する少なくとも１つのピクセル及び該少なくとも１つのピクセルに隣接する複数の隣接ピクセルを含む少なくとも１つのピクセル群のパターンを分類する分類部と、
前記少なくとも１つのピクセル群のパターンに基づいて前記オブジェクトの動きを分析する分析部と、を含み、
前記分類部は、
前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定する類型決定部と、
前記複数の隣接ピクセルの類型に基づいて前記少なくとも１つのピクセル群のパターンを決定するパターン決定部と、を含むことを特徴とするユーザ入力処理装置。
前記オブジェクトの動きに基づいてユーザ入力のための相対座標を更新する処理部と、を備え、
前記認識部は、
前記入力映像に基づいて前記イベント信号に対応する少なくとも１つのピクセル及び該少なくとも１つのピクセルに隣接する複数の隣接ピクセルを含む少なくとも１つのピクセル群のパターンを分類する分類部と、
前記少なくとも１つのピクセル群のパターンに基づいて前記オブジェクトの動きを分析する分析部と、を含み、
前記分類部は、
前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定する類型決定部と、
前記複数の隣接ピクセルの類型に基づいて前記少なくとも１つのピクセル群のパターンを決定するパターン決定部と、を含むことを特徴とするユーザ入力処理装置。
【請求項28】
前記イベント信号は、前記イベント基盤ビジョンセンサによって前記少なくとも１つのピクセルの位置でイベントの発生を示すことを特徴とする請求項２７に記載のユーザ入力処理装置。
【請求項29】
前記オブジェクトの動きは、該オブジェクトの移動速度成分、該オブジェクトの回転速度成分、及び該オブジェクトのスケーリング速度成分のうちの少なくとも１つを含むことを特徴とする請求項２７に記載のユーザ入力処理装置。
【請求項30】
前記分析部は、
前記少なくとも１つのピクセル群のパターンに基づいて前記少なくとも１つのピクセル群に対応する速度を算出する算出部と、
前記少なくとも１つのピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析する動き分析部と、を含むことを特徴とする請求項２７に記載のユーザ入力処理装置。
前記少なくとも１つのピクセル群のパターンに基づいて前記少なくとも１つのピクセル群に対応する速度を算出する算出部と、
前記少なくとも１つのピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析する動き分析部と、を含むことを特徴とする請求項２７に記載のユーザ入力処理装置。
【請求項31】
前記処理部は、前記オブジェクトの動きに基づいて前記相対座標の変化量を算出し、該相対座標の変化量に基づいて前記相対座標を更新し、該更新された相対座標に基づいてユーザ入力を処理することを特徴とする請求項２７に記載のユーザ入力処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像分析装置に関し、より詳細には、入力映像に含まれるオブジェクトを分析する映像分析装置及び方法並びにユーザ入力処理装置に関する。
【背景技術】
【0002】
イメージプロセシング（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）は、広義に入出力が映像である全ての形態の情報処理を指し、例えば、写真や動画を分析したり処理したりする作業などを含む。
【0003】
ビジョンセンサは、イメージプロセシングのための入力データをセンシングする装置として、例えば、半導体素子の製造技術を用いて集積回路化された光電変換素子などを含む。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、イベント基盤ビジョンセンサの出力を用いてオブジェクトの形態やオブジェクトの動きを推定する映像分析装置及び方法並びにユーザ入力処理装置を提供することにある。
【課題を解決するための手段】
【0005】
上記目的を達成するためになされた本発明の一態様による映像分析装置は、イベント基盤ビジョンセンサの少なくとも１つのピクセルに対応するイベント信号を受信し、前記少なくとも１つのピクセル及び該少なくとも１つのピクセルに隣接する複数の隣接ピクセルを含むピクセル群のパターンを分類する分類部と、前記ピクセル群のパターンに基づいてオブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析する分析部と、を備える。
【0006】
前記イベント信号は、前記イベント基盤ビジョンセンサによって前記少なくとも１つのピクセルの位置でイベントの発生を示し得る。前記分類部は、前記ピクセル群が予め設定された複数のエッジパターンのいずれか１つに対応するか否かを判断し、該判断に基づいて前記ピクセル群のパターンを対応するエッジパターンとして決定し得る。
前記分類部は、前記判断に基づいて前記ピクセル群のうちの前記予め設定された複数のエッジパターンのいずれにも対応しないピクセル群を処分し得る。
前記分類部は、前記少なくとも１つのピクセルのタイムスタンプと前記複数の隣接ピクセルのタイムスタンプとの間の差に基づいて前記複数の隣接ピクセルの類型を決定する類型決定部と、前記複数の隣接ピクセルの類型に基づいて前記ピクセル群のパターンを決定するパターン決定部と、を含み得る。
前記複数の隣接ピクセルの類型は、タイムスタンプの差が第１閾値以下である第１類型及びタイムスタンプの差が第２閾値以上である第２類型のいずれか１つを含み得る。
前記分析部は、前記ピクセル群のパターンに基づいて該ピクセル群に対応する外形線の方向を決定する外形分析部を含み得る。
前記分析部は、前記ピクセル群のパターンに基づいて該ピクセル群に対応する速度を算出する算出部と、前記ピクセル群に対応する速度に基づいて前記オブジェクトの動きを分析する動き分析部と、を含み得る。
前記オブジェクトの動きは、該オブジェクトの移動速度成分、該オブジェクトの回転速度成分、及び該オブジェクトのスケーリング速度成分のうちの少なくとも１つを含み得る。
前記分析部は、観測領域に含まれるピクセル群のパターンの多様性に基づいて複数の観測領域のうちの前記オブジェクトの動き分析のための少なくとも１つの観測領域を選択する選択部を更に含み得る。
前記映像分析装置は、前記オブジェクトの動きに基づいてユーザ入力のためのポイントの相対座標の変化量を算出し、該相対座標の変化量に基づいてユーザ入力を処理する処理部を更に含むことができる。
【0007】
上記目的を達成するためになされた本発明の他の態様による映像分析装置は、イベント基盤ビジョンセンサの第１ピクセルに対応する第１イベント信号及び前記イベント基盤ビジョンセンサの第２ピクセルに対応する第２イベント信号を受信し、前記第１ピクセル及び該第１ピクセルに隣接する複数の第１隣接ピクセルを含む第１ピクセル群のパターンを分類し、前記第２ピクセル及び該第２ピクセルに隣接する複数の第２隣接ピクセルを含む第２ピクセル群のパターンを分類する分類部と、前記第１ピクセル群のパターンに基づいてオブジェクトの第１位置を検出し、前記第２ピクセル群のパターンに基づいて前記オブジェクトの第２位置を検出し、前記第１位置及び前記第２位置に基づいて前記オブジェクトの深度を分析する分析部と、を備える。
【0008】
上記目的を達成するためになされた本発明の一態様による映像分析方法は、イベント基盤ビジョンセンサの少なくとも１つのピクセルに対応するイベント信号を受信し、前記少なくとも１つのピクセル及び該少なくとも１つのピクセルに隣接する複数の隣接ピクセルを含むピクセル群のパターンを分類するステップと、前記ピクセル群のパターンに基づいてオブジェクトの外形及び該オブジェクトの動きのうちの少なくとも１つを分析するステップと、を有する。
【0009】
上記目的を達成するためになされた本発明の他の態様による映像分析方法は、イベント基盤ビジョンセンサのピクセルに対応してオブジェクトの動きを示すイベント信号の入力を受信するステップと、前記イベント信号に対応するピクセルに隣接する複数の隣接ピクセルを選択するステップと、予め設定されたパターンのうちから前記複数の隣接ピクセルに格納された情報に該当するパターンを分類するステップと、前記分類されたパターンを用いて前記オブジェクトの外形を決定するステップと、を有する。
【0010】
上記目的を達成するためになされた本発明の一態様によるユーザ入力処理装置は、イベント基盤ビジョンセンサの少なくとも１つのピクセルに対応してオブジェクトの動きを示すイベント信号を含む入力映像に基づいて該オブジェクトの動きを認識する認識部と、前記オブジェクトの動きに基づいてユーザ入力のための相対座標を更新する処理部と、を備える。
【発明の効果】
【0011】
本発明によると、イベント基盤ビジョンセンサの出力を用いてオブジェクトの形態やオブジェクトの動きを推定する技術を提供することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の一実施形態による映像分析装置を示すブロック図である。
【図2A】本発明の一実施形態による予め設定された複数のエッジパターンを説明するための図である。
【図2B】本発明の他の実施形態による予め設定された複数のエッジパターンを説明するための図である。
【図2C】本発明の更に他の実施形態による予め設定された複数のエッジパターンを説明するための図である。
【図3A】本発明の一実施形態によるピクセル群のパターンを分類する方式を説明するための図である。
【図3B】本発明の一実施形態によるピクセル群のパターンを分類する方式を説明するための図である。
【図4】本発明の一実施形態によるピクセル群の外形線方向を決定する方式を説明するための図である。
【図5A】本発明の一実施形態による入力映像に基づいてオブジェクトの外形を分析する方式を説明するための図である。
【図5B】本発明の一実施形態による入力映像に基づいてオブジェクトの外形を分析する方式を説明するための図である。
【図6】本発明の一実施形態によるピクセル群に対応する速度を算出する方式を説明するための図である。
【図7】本発明の一実施形態によるリジッドボディモデル（ｒｉｇｉｄ ｂｏｄｙ ｍｏｄｅｌ）を用いてオブジェクトの動きを分析する方式を説明するための図である。
【図8A】本発明の一実施形態によるオブジェクトの動き分析の正確度を向上させる方式を説明するための図である。
【図8B】本発明の他の実施形態によるオブジェクトの動き分析の正確度を向上させる方式を説明するための図である。
【図8C】本発明の実施形態によるオブジェクトの動き分析の正確度を向上させる方式を説明するための図である。
【図8D】本発明の実施形態によるオブジェクトの動き分析の正確度を向上させる方式を説明するための図である。
【図9】本発明の一実施形態によるオブジェクトの移動速度に基づいてユーザ入力を処理する方式を説明するための図である。
【図10】本発明の一実施形態によるオブジェクトの深度に基づいてユーザ入力を処理する方式を説明するための図である。
【図11】本発明の一実施形態による映像分析方法を示した動作フローチャートである。
【図12】本発明の一実施形態による３次元映像分析装置を示すブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【0014】
図１は、本発明の一実施形態による映像分析装置を示すブロック図である。
【0015】
図１を参照して本実施形態による映像分析装置を説明する前に、映像分析装置によって用いられる入力映像を簡略に説明する。本実施形態による入力映像は、オブジェクトを撮影するイベント基盤ビジョンセンサの出力映像である。イベント基盤ビジョンセンサは、予め設定されたイベントを検出することによって時刻非同期的にイベント信号を出力する。予め設定されたイベントは、入射する光の明暗変化を含む。例えば、イベント基盤ビジョンセンサは、特定ピクセルで光が明るくなるイベントを検出した場合、当該ピクセルに対応するＯＮイベントを出力する。また、イベント基盤ビジョンセンサは、特定ピクセルで光が暗くなるイベントを検出した場合、当該ピクセルに対応するＯＦＦイベントを出力する。
【0016】
イベント基盤ビジョンセンサは、フレーム基盤ビジョンセンサとは異なって、各ピクセルのフォトダイオードの出力をフレーム単位でスキャンすることなく、光の変化のある部分のピクセルデータのみを出力する。イベント基盤ビジョンセンサに入射する光の明暗変化は被写体の動きに基づく。例えば、時間の流れにより光源が実質的に固定され、被写体は自ら発光しない場合を仮定する。この場合、イベント基盤ビジョンセンサに入射する光は光源で発生して被写体によって反射した光である。被写体が動かない場合に動きのない状態の被写体によって反射する光は実質的に変わらないため、イベント基盤ビジョンセンサに入射する光の明暗変化も発生しない。一方、被写体が動く場合、動く被写体によって反射する光は被写体の動きに応じて変わるため、イベント基盤ビジョンセンサに入射する光の明暗変化が発生する。
【0017】
イベント基盤ビジョンセンサは、動的ビジョンセンサ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）を含む。動的ビジョンセンサは、人の網膜視神経の動作原理を用いた受動ビジョンセンサを含む。動的ビジョンセンサは、イベント基盤ビジョンセンサとして、オブジェクトの動きに反応してイベント信号を出力する。イベント信号は、オブジェクトの動きに反応して時刻非同期的に生成された情報を含む。イベント信号は、人の網膜から脳に伝えられる視神経信号のような情報を含む。例えば、イベント信号は、停止した事物に対して発生せず、動く事物が検出された場合に限って発生する。イベント信号に含まれる少なくとも１つのピクセルは、動きが検出されたオブジェクトに対応する。
【0018】
図１を参照すると、映像分析装置１００は分類部１１０及び分析部１２０を含む。分類部１１０は、オブジェクトの動きが検出されたイベント信号を含む入力映像に基づいて少なくとも１つのピクセル群のパターンを分類する。ピクセル群は、イベント信号に対応するピクセル及び当該ピクセル周辺の複数の隣接ピクセルを含む。
【0019】
以下、説明の便宜のためにイベント信号に対応するピクセルがピクセル群の中央に位置し、当該ピクセルの周辺に配置された８個の隣接ピクセルがピクセル群に含まれる場合を仮定する。勿論、このようなピクセル群の構成方式は例示的な事項に過ぎず、ピクセル群の構成方式は様々に変形され得る。
【0020】
分類部１１０は、イベント信号に対応するピクセル群が予め設定された複数のエッジパターンに対応するか否かを判断する。イベント信号は、イベントの発生が検出されたピクセルによって時刻非同期的に出力される。例えば、図２Ａを参照すると、予め設定された複数のエッジパターンは２４個のエッジパターンＰ１〜Ｐ２４を含む。２４個のエッジパターンＰ１〜Ｐ２４はオブジェクトの外形線に関するパターンである。分類部１１０は、イベント信号に対応するピクセル群が予め設定された複数のエッジパターンのいずれか１つに対応すると判断された場合、そのピクセル群のパターンを対応するエッジパターンとして決定する。例えば、分類部１１０は、イベント信号に対応するピクセル群が図２Ａに示すエッジパターンＰ１に対応するとの判断に応じて、そのピクセル群をエッジパターンＰ１に分類する。分類部１１０は、イベント信号に対応するピクセル群が予め設定された複数のエッジパターンのいずれにも対応しないと判断した場合、そのピクセル群は、オブジェクトの外形線と関連しないピクセル群であると判断して処分（ｄｉｓｃａｒｄ）する。
【0022】
分析部１２０は、分類部１１０によって分類された少なくとも１つのピクセル群のパターンに基づいて、オブジェクトの外形及びオブジェクトの動きのうちの少なくとも１つを分析する。オブジェクトの外形は、外形（ｓｈａｐｅ）、アウトライン（ｏｕｔｌｉｎｅ）、又はイベント基盤ビジョンセンサの位置に基づく相対的なオブジェクトの位置などを含む。分析部１２０は、ピクセル群のパターンを用いてそのピクセル群に対応する外形線の方向を決定することによってオブジェクトの外形を分析する。或いは、分析部１２０は、オブジェクトの外形線に関するピクセル群に対応する速度を算出し、算出された速度に基づいてオブジェクトの動きを分析する。分析部１２０は、オブジェクトの移動速度成分、オブジェクトの回転速度成分、及びオブジェクトのスケーリング速度成分のうちの少なくとも１つを決定することで、オブジェクトの動きを分析する。
【0024】
図２Ａ〜図２Ｃは、本発明の実施形態による予め設定された複数のエッジパターンを説明するための図である。図２Ａを参照すると、複数のエッジパターンはオブジェクトの外形線に関連して予め設定される。
【0025】
イベント信号は、予め設定されたイベントが検出された時刻を含むタイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）、イベントの類型を示す指示子、及び当該イベントが検出されたピクセルのインデックスを含む。ピクセルの解像度に対応するタイムスタンプはメモリ内テーブルに格納され、これによってピクセルのそれぞれのタイムスタンプが活用される。
【0026】
映像分析装置は、イベントが検出されたピクセルのタイムスタンプと隣接ピクセルのタイムスタンプとの間の差に基づいてピクセル群のパターンを分類する。映像分析装置は、ピクセル群のパターンを分類するため、隣接ピクセルの類型を決定する。映像分析装置は、イベントが検出されたピクセルのタイムスタンプと隣接ピクセルのそれぞれのタイムスタンプとの差を算出し、算出結果に応じて隣接ピクセルのそれぞれの類型を決定する。現在のイベントが検出された場合、映像分析装置は、現在のイベントに対応する現在のピクセルのタイムスタンプの値を現在の時刻に更新する。映像分析装置は、現在のイベントに対応する現在のピクセルの更新されたタイムスタンプと隣接ピクセルのタイムスタンプとの間の差を算出することによって、隣接ピクセルのピクセル類型を判断する。ここで、隣接ピクセルに対応するイベントは現在の時刻より前の時刻に発生し、これによって隣接ピクセルのタイムスタンプは、隣接ピクセルに対応するイベントが発生した過去時点に更新されたものである。
【0027】
映像分析装置は、全体ピクセルに対応するタイムスタンプを管理するためのデータ構造を用いる。映像分析装置は、イベント信号を検出した場合、イベント信号に含まれるピクセルのタイムスタンプを更新する。この場合、映像分析装置は、既に格納された情報を廃棄し、新しく更新される情報のみを格納する。
【0028】
映像分析装置は、数式（１）を用いて隣接ピクセルの類型を決定する。
【0029】
【数1】
【0030】
ここで、ｔｅｖはイベントが発生したピクセルのタイムスタンプであり、ｔｎｘは隣接ピクセルのタイムスタンプである。ｔｅｖとｔｎｘとの間の差異はエッジの方向的動き（ｄｉｒｅｃｔｉｏｎａｌ ｍｏｖｅｍｅｎｔ）を示すピクセルイベントの時間的関連（ｔｅｍｐｏｒａｌ ｃｏｒｒｅｌａｔｉｏｎ）を示す。ＴＥはＥ−タイプを決定するための閾値であり、Ｅ−タイプは遅いイベント（ｓｌｏｗ ｅｖｅｎｔ）に該当する。ＴＳはＳ−タイプを決定するための閾値であり、Ｓ−タイプは速いイベント（ｆａｓｔ ｅｖｅｎｔ）に該当する。ＴＥとＴｓはピクセルの敏感度或いは適用アプリケーションにより設定される。例えば、動きを検出しようとするオブジェクトがユーザの手である場合、ＴＥとＴｓは数ミリ秒から数十ミリ秒に設定される。或いは、動きを検出しようとするオブジェクトがユーザの手よりもはるかに速い物体の場合、ＴＥとＴｓは数マイクロ秒単位以下に設定される。ＴＥとＴｓは、数式（１）に示したように、互いに異なる値に設定され、場合に応じて同じ値に設定される。
【0031】
映像分析装置は、隣接ピクセルで最後にイベントが検出された時刻から現在のイベントが検出された時刻まで、所定の時間以上経過した場合に、その隣接ピクセルをＥ−タイプとして決定する。例えば、現在のイベントが検出されたピクセル周辺の隣接ピクセルのうち、過去の所定時間（例えば、ＴＥ）の間に新しいイベントが検出されない隣接ピクセルはＥ−タイプの隣接ピクセルに分類される。
【0032】
映像分析装置は、隣接ピクセルで最後にイベントが検出された時刻から所定の時間以内に現在のイベントが検出された場合、その隣接ピクセルをＳ−タイプとして決定する。例えば、現在のイベントが検出されたピクセル周辺の隣接ピクセルのうち、過去の所定の時間（例えば、ＴＳ）以内に新しいイベントが検出された隣接ピクセルはＳ−タイプの隣接ピクセルに分類される。
【0033】
予め設定されたエッジパターンは隣接するピクセルを含む。例えば、イベント発生ピクセルに最も近接する上下左右のピクセルのみを用いる場合、図２Ａに示すように、予め設定されたエッジパターンはｎ１からｎ８の隣接ピクセルを含む。予め設定されたエッジパターンを構成する隣接ピクセルの類型の組合せはそれぞれ異なる。
【0034】
例えば、エッジパターンＰ１は、Ｅ−タイプのｎ１、ｎ２、及びｎ４（２１０）を含み、Ｓ−タイプのｎ３及びｎ６（２２０）を含む。映像分析装置は、所定時間（例えば、ＴＥ）の間に新しいイベントが検出されないｎ１、ｎ２、及びｎ４（２１０）方向の隣接ピクセル、及び所定時間（例えば、ＴＳ）以内に新しいイベントが検出されたｎ３及びｎ６（２２０）方向の隣接ピクセルを含むピクセル群をエッジパターンＰ１に分類する。この場合、映像分析装置は、所定時間（例えば、ＴＳ）以内に新しいイベントが検出されたＳ−タイプのｎ３及びｎ６（２２０）を用いて当該ピクセル群による外形線の方向を分析する。その理由は、オブジェクトの動きに応じて新しいイベントが発生した場合、オブジェクトの外形線に含まれるピクセル位置のイベントは実質的に同一の時刻に検出されるためである。図４を参照して後述するが、エッジパターンＰ１はｎ３及びｎ６（２２０）を連結する線方向の外形線にマッピングされる。
【0035】
同様に、エッジパターンＰ２４はＥ−タイプのｎ５、ｎ７及びｎ８（２４０）を含み、Ｓ−タイプのｎ３及びｎ６（２５０）を含んでもよい。映像分析装置は、所定時間（例えば、ＴＥ）の間に新しいイベントが検出されないｎ５、ｎ７及びｎ８（２４０）方向の隣接ピクセル、及び所定時間（例えば、ＴＳ）以内に新しいイベントが検出されるｎ３及びｎ６（２５０）方向の隣接ピクセルを含むピクセル群をエッジパターンＰ２４に分類してもよい。この場合、映像分析装置は、所定時間（例えば、ＴＳ）以内に新しいイベントが検出されたＳ−タイプのｎ３及びｎ６（２５０）を用いて当該ピクセル群による外形線の方向を分析してもよい。図４を参照して後述するが、エッジパターンＰ２４はｎ３及びｎ６（２５０）を連結する線方向の外形線にマッピングされる。
【0036】
他の実施形態による映像分析装置は、図２Ａに示す実施形態のような周辺８個の隣接ピクセルを用いる代わりに、更に多い隣接ピクセルを用いる。例えば、映像分析装置は、図２Ｂに示すように２４個の隣接ピクセルを用いるか、又は図２Ｃに示すように４８個の隣接ピクセルを用いる。勿論、図２Ａ、図２Ｂ、及び図２Ｃの実施形態は例示的な事項に過ぎず、図２Ａ、図２Ｂ、及び図２Ｃの実施形態は様々に変形され得る。
【0037】
映像分析装置は、ピクセル群に含まれる隣接ピクセルの類型を予め設定された複数のエッジパターンに含まれる隣接ピクセルの類型と比較することによって、ピクセル群のパターンをエッジパターンのいずれか１つに決定する。映像分析装置は、ピクセル群に含まれる隣接ピクセルの類型に一致する構成の隣接ピクセルを有するエッジパターンをそのピクセル群のパターンとして決定する。
【0038】
場合によって、予め設定されたエッジパターンに含まれる隣接ピクセルのうちの一部はドントケア（ｄｏｎ’ｔ−ｃａｒｅ）タイプである。例えば、エッジパターンＰ１は、ドントケアタイプのｎ５、ｎ７、及びｎ８（２３０）を含む。エッジパターンＰ２４は、ドントケアタイプのｎ１、ｎ２、及びｎ３（２６０）を含む。
【0039】
映像分析装置は、エッジパターンに含まれる隣接ピクセルのうちのドントケアタイプではない隣接ピクセルのみを用いることによって、ピクセル群のパターンを分類する。例えば、映像分析装置は、ピクセル群がエッジパターンＰ１に対応するか否かを判断するとき、ｎ５、ｎ７及びｎ８（２３０）は考慮されない。同様に、映像分析装置は、ピクセル群がエッジパターンＰ２４に対応するか否かを判断するとき、ｎ１、ｎ２、及びｎ４（２６０）は考慮されない。
【0040】
予め設定された複数のエッジパターンは様々な方式で格納される。例えば、２４個のエッジパターンＰ１〜Ｐ２４のそれぞれに含まれるＥ−タイプの隣接ピクセル及びＳ−タイプの隣接ピクセルは、表１のようなビット値形式で格納される。
【0041】
【表1】
【0042】
ここで、ＰｎＥはエッジパターンＰｎに含まれるＥ−タイプの隣接ピクセルを示す。８個の隣接ピクセルが用いられる場合を仮定すると、ＰｎＥは８ビットで構成され、８個のビットはそれぞれｎ１〜ｎ８に対応する。８個のビットのうちのＥ−タイプの隣接ピクセルに対応するビットは「１」に設定され、そうではないビットは「０」に設定される。例えば、エッジパターンＰ１は、Ｅ−タイプの隣接ピクセルとしてｎ１、ｎ２、及びｎ４（２１０）を含むため、Ｐ１Ｅのビット値は、１番目ビット、２番目ビット、及び４番目ビットが「１」である「１１０１００００」に設定される。Ｐ１Ｅのビット値「１１０１００００」は１６進数に表現され、この場合にＰ１Ｅのビット値は「Ｄ０」で表現される。勿論、他の実施形態によって、２４個の隣接ピクセルが用いられる場合にＰｎＥは２４ビットで構成され、４８個の隣接ピクセルが用いられる場合にＰｎＥは４８ビットで構成される。
【0043】
また、ＰｎＳはエッジパターンＰｎに含まれるＳ−タイプの隣接ピクセルを示す。８個の隣接ピクセルが用いられる場合を仮定すると、ＰｎＳは８ビットで構成され、８個のビットはそれぞれｎ１〜ｎ８に対応する。８個のビットのうちのＳ−タイプの隣接ピクセルに対応するビットは「１」に設定され、そうではないビットは「０」に設定される。例えば、エッジパターンＰ１は、Ｓ−タイプの隣接ピクセルとしてｎ３及びｎ６（２２０）を含むため、Ｐ１Ｓのビット値は３番目目ビット及び６番目ビットが「１」である「００１００１００」に設定される。Ｐ１Ｓのビット値「００１００１００」は、１６進数に表現され、この場合にＰ１Ｓのビット値は「２４」で表現される。勿論、他の実施形態により、２４個の隣接ピクセルが用いられる場合にＰｎＳは２４ビットで構成され、４８個の隣接ピクセルが用いられる場合にＰｎＳは４８ビットで構成される。
【0044】
映像分析装置は、ＰｎＥによって示される隣接ピクセルがＥ−タイプであるか否か、及びＰｎＳによって示される隣接ピクセルがＳ−タイプであるか否かを確認することで、ピクセル群がどのエッジパターンＰｎに該当するかを判断する。
【0045】
映像分析装置は、ピクセル群のパターンを分類するとき、ドントケアタイプの隣接ピクセルは考慮しない。そのため、映像分析装置は、ドントケアタイプの隣接ピクセルを明らかに示す情報を別途に利用しない。例えば、エッジパターンＰｎでドントケアタイプの隣接ピクセルに対応するビットは、ＰｎＥ及びＰｎＳで全て「０」に設定する。但し、ＰｎＥとＰｎＳをビット単位ＯＲ演算させた結果が「０」であるビットは、ドントケアタイプの隣接ピクセルを示す。例えば、Ｐ１Ｅ＝「１１０１００００」とＰ１Ｓ＝「００１００１００」をビット単位ＯＲ演算させると、Ｐ１Ｅ ＯＲ Ｐ１Ｓ＝「１１１１０１００」である。Ｐ１Ｅ ＯＲ Ｐ１Ｓが「０」であるビットは５番目ビット、７番目ビット、及び８番目ビットであるため、Ｐ１Ｅ ＯＲ Ｐ１Ｓ＝「１１１１０１００」はエッジパターンＰ１に含まれるドントケアタイプの隣接ピクセルがｎ５、ｎ７、及びｎ８（２３０）であることを示す。
【0046】
表１は、エッジパターンＰｎに含まれるＥ−タイプ隣接ピクセルとＳ−タイプ隣接ピクセルを表現するための一実施形態である。当該分野で通常の知識を有する者であれば、エッジパターンＰｎに含まれるＥ−タイプ隣接ピクセルとＳ−タイプ隣接ピクセルを表現するために表１を様々に変形し得る。
【0048】
図３Ａを参照すると、２４個のエッジパターンＰ１〜Ｐ２４は、６個のグループ（３１０、３２０、３３０、３４０、３５０、３６０）にグループ化される。例えば、２４個のエッジパターンＰ１〜Ｐ２４は、Ｅ−タイプの隣接ピクセルが共通するか否かに応じて、６個のグループ（３１０、３２０、３３０、３４０、３５０、３６０）にグループ化される。グループ３１０は、Ｅ−タイプのｎ１、ｎ２、及びｎ４を含むエッジパターンＰ１、Ｐ２、Ｐ６、Ｐ７、Ｐ８で構成される。グループ３２０は、Ｅ−タイプのｎ２、ｎ３、及びｎ５を含むエッジパターンＰ４、Ｐ５、Ｐ９、Ｐ１０、Ｐ１３で構成される。図２でＥ−タイプに表現されたピクセルのうち、グループに共通したピクセルは、図３Ａで【0049】
６個のグループ及びそれぞれのグループに含まれるエッジパターンは、表２のようにマスキングビット値（Ｅ）及び追加ビット値（Ｇ）に区分される。
【0050】
【表2】
【0051】
映像分析装置は、ピクセル群の隣接ピクセルのうちのマスキングビット値（Ｅ）に対応する位置の隣接ピクセルがＥ−タイプであるか否かを確認することによって、ピクセル群のパターンが属するグループを判断する。映像分析装置は、当該グループの追加ビット値（Ｇ）に対応する位置の隣接ピクセルがＥ−タイプであるか否かを確認することで、ピクセル群のパターンを判断する。
【0052】
例えば、グループ３１０に含まれるエッジパターンＰ１、Ｐ２、Ｐ６、Ｐ７、Ｐ８は、全てＥ−タイプのｎ１、ｎ２、及びｎ４を含むため、グループ３１０を代表するマスキングビットＥ１の１番目ビット、２番目ビット、及び４番目ビットは「１」に設定される。映像分析装置は、Ｅ１を用いてｎ１、ｎ２、及びｎ４がＥ−タイプの隣接ピクセルであるか否かを確認することによって、ピクセル群がグループ３１０に含まれるか否かを判断する。
【0053】
また、映像分析装置は、Ｇ１１、Ｇ１２、及びＧ１３を用いてグループ３１０に分類されたピクセル群が正確にどのようなエッジパターンに対応するかを判断する。例えば、Ｇ１１は６番目ビットが「１」に設定された追加ビット値である。映像分析装置は、Ｇ１１を用いてピクセル群のｎ６がＥ−タイプであるか否かを確認する。
【0054】
映像分析装置は、ピクセル群のｎ６がＥ−タイプであるとの判断に応じて、ピクセル群がエッジパターンＰ６又はエッジパターンＰ７に該当すると判断する。更に、映像分析装置は、Ｇ１２を用いてピクセル群のｎ３がＥ−タイプであるか否かを確認することによって、ピクセル群がエッジパターンＰ６及びエッジパターンＰ７のいずれのパターンに該当するかを判断する。例えば、ピクセル群のｎ３がＥ−タイプである場合、映像分析装置はピクセル群がエッジパターンＰ７に該当すると判断する。一方、ピクセル群のｎ３がＥ−タイプではない場合、映像分析装置はピクセル群がエッジパターンＰ６に該当すると判断する。
【0055】
映像分析装置は、ピクセル群のｎ６がＥ−タイプではないとの判断に応じて、ピクセル群がエッジパターンＰ１、エッジパターンＰ２、又はエッジパターンＰ８に該当すると判断する。更に、映像分析装置は、Ｇ１２を用いてピクセル群のｎ３がＥ−タイプであるか否かを確認し、ピクセル群のｎ３がＥ−タイプではない場合、ピクセル群がエッジパターンＰ１に該当すると判断する。映像分析装置は、ピクセル群のｎ３がＥ−タイプではない場合、Ｇ１３を用いてピクセル群のｎ５がＥ−タイプであるか否かを確認する。ピクセル群のｎ５がＥ−タイプである場合、映像分析装置は、ピクセル群をエッジパターンＰ８に該当すると判断し、ピクセル群のｎ５がＥ−タイプではない場合、映像分析装置は、ピクセル群をエッジパターンＰ２に該当すると判断する。
【0056】
映像分析装置は、Ｅ１〜Ｅ４のマスキングビット値に対応する位置の隣接ピクセルがＥ−タイプではない場合、ピクセル群のパターンがグループ３５０又はグループ３６０に属すると判断する。映像分析装置は、Ｇ５１及びＧ５２の追加ビット値に対応する位置の隣接ピクセルがＳ−タイプであるか否かを確認することによって、ピクセル群がグループ３５０及びグループ３６０のいずれのグループに属するかを判断する。
【0057】
例えば、映像分析装置は、Ｇ５１を用いてピクセル群がグループ３６０に属するか否かを判断する。Ｇ５１は２番目ビット及び７番目ビットが「１」に設定された追加ビット値である。映像分析装置は、Ｇ５１を用いてピクセル群のｎ２及びｎ７がＳ−タイプであるか否かを確認することによって、ピクセル群がグループ３６０に属するか否かを判断する。更に、映像分析装置は、ｎ２及びｎ７を除いた残り１つの隣接ピクセルがＥ−タイプであるか否かを更に確認することで、ピクセル群がエッジパターンＰ１１及びエッジパターンＰ１４のいずれのパターンに分類されるかを判断する。
【0058】
また、映像分析装置は、Ｇ５２を用いてピクセル群がグループ３５０に属するか否かを判断する。Ｇ５２は、４番目ビット及び５番目ビットが「１」に設定された追加ビット値である。映像分析装置は、Ｇ５２を用いてピクセル群のｎ４及びｎ５がＳ−タイプであるか否かを確認することによって、ピクセル群がグループ３５０に属するか否かを判断する。更に、映像分析装置は、ｎ４及びｎ５を除いた残り１つの隣接ピクセルがＥ−タイプであるか否かを更に確認することによって、ピクセル群がエッジパターンＰ３及びエッジパターンＰ２２のいずれのパターンに分類されるかを判断する。
【0059】
図３Ｂを参照すると、映像分析装置は、ピクセル群に含まれるＥ−タイプ隣接ピクセルを用いて当該ピクセル群のエッジパターンを分類する。映像分析装置は、Ｅ−タイプ隣接ピクセルのための閾値ＴＥ及びＳ−タイプ隣接ピクセルのための閾値ＴＳが同一である場合、後述する方法を用いてピクセル群のエッジパターンを分類する。
【0060】
より具体的に、映像分析装置は、隣接ピクセルｂ０〜ｂ７がＥ−タイプ隣接ピクセルであるか否かを確認する。映像分析装置は、それぞれの隣接ピクセルがＥ−タイプである場合、当該ピクセルに対応するビットを「１」に設定し、そうではない場合、当該ピクセルに対応するビットを「０」に設定する。映像分析装置は、数式（２）を用いてＰ−ｖａｌを算出する。
【0061】
【数2】
【0062】
ここで、Ｂは、８ビットのビット値として、ｂ０ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７である。（Ｂ＜＜１）は、Ｂをビット単位で左側に１ビットだけサイクリックシフトした値として、ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６ｂ７ｂ０である。（Ｂ＞＞１）は、Ｂをビット単位で右側に１ビットだけサイクリックシフトした値として、ｂ７ｂ０ｂ１ｂ２ｂ３ｂ４ｂ５ｂ６である。ＡＮＤは（Ｂ＜＜１）、Ｂ、及び（Ｂ＞＞１）をビット単位でＡＮＤ演算した結果ビット値である。
【0063】
映像分析装置は、表３のようなルックアップテーブルを用いて算出されたＰ−ｖａｌからエッジパターンを判断する。例えば、算出されたＰ−ｖａｌが「０００００００１」である場合、映像分析装置は当該ピクセル群がエッジパターンＰ１１に該当すると判断する。映像分析装置は、算出されたＰ−ｖａｌが表３のルックアップテーブルに存在しない値である場合、予め設定されたエッジパターンのいずれにも該当しないと判断する。
【0064】
【表3】
【0065】
Ｐ−ｖａｌが十進数として１７、３４、６８、及び１３６である場合、２つのエッジパターンが候補になる。これはドントケアタイプの隣接ピクセルがＥ−タイプの隣接ピクセルである場合に発生し、映像分析装置は予め設定されたルールに応じていずれか１つのエッジパターンを選択する。例えば、映像分析装置は、追加的に予め設定された隣接ピクセルの類型を判断することによって２つのエッジパターン候補のいずれか１つのエッジパターンを選択する。或いは、映像分析装置は任意にいずれか１つのエッジパターンを選択する。
【0066】
図４は、本発明の一実施形態によるピクセル群の外形線方向を決定する方式を説明するための図である。図４を参照すると、予め設定された複数のエッジパターンは特定方向を有する外形線にマッピングされる。
【0067】
複数のエッジパターンは、Ｓ−タイプの隣接ピクセルが配置された主方向を有する外形線にマッピングされる。例えば、エッジパターンＰ１、Ｐ７、Ｐ１８、Ｐ２４４１０は、Ｅ２番目の方向を有する外形線４１５にマッピングされる。また、エッジパターンＰ１１、Ｐ１２、Ｐ１３、Ｐ１４４２０は、Ｅ４番目の方向を有する外形線４２５にマッピングされる。同一の方式で、２４個のエッジパターンは、表４のように８個の方向の外形線にマッピングされる。
【0068】
【表4】
【0069】
映像分析装置は、イベントが検出されたピクセルに対応するピクセル群のパターンを分類する。分類されたパターンのそれぞれは、表４のような外形線にマッピングされるため、映像分析装置はイベントが検出されたピクセルのそれぞれにおける外形線方向を認知する。例えば、表４を用いてマッピングされたエッジパターンは、各イベントピクセルにおけるエッジとして格納され、映像分析装置は複数のピクセルに対して格納されたエッジ情報を組み合わせることでオブジェクトの外形を判断する。
【0070】
より具体的に、映像分析装置が、動く人の手によって発生したイベント信号を受信する場合を仮定する。この場合、イベントピクセルは、人の手の外形線に対応するピクセル及び人の手の内部に対応するピクセルを全て含む。映像分析装置は、図２Ａ〜図２Ｃを参照して上述した方法を用いて、イベントピクセルのそれぞれのピクセル群がどのエッジパターンに対応するかを判断する。ここで、予め設定されたエッジパターンは、外形線に該当するエッジパターンのみを含む。従って、映像分析装置は、人の手の内部に対応するピクセルが予め設定されたエッジパターンのいずれにも該当しないと判断し、人の手の外形線に対応するピクセルが予め設定されたエッジパターンのいずれか１つに該当すると判断する。人の手の外形線に対応するピクセルのそれぞれが予め設定されたエッジパターンのいずれか１つに該当すると判断されると、映像分析装置は表４を用いて人の手の外形線に対応するピクセルのそれぞれで当該エッジパターンに対応する外形線の方向を判断する。従って、映像分析装置は、人の手の外形線に対応するピクセルのそれぞれにおける外形線方向を判断し、複数の外形線方向を総合して人の手の外形を判断する。
【0072】
図５Ａを参照すると、入力映像は、円筒形の中心部周辺に位置する８個の棒が同じ回転速度で時計方向に回転するものを撮影したイベント基盤ビジョンセンサの出力映像である。この場合、イベント基盤ビジョンセンサは、明るくなるイベント及び暗くなるイベントを検出してイベント信号を出力する。イベント基盤ビジョンセンサは、時計方向に回転する８個の棒によって、イメージ内の複数のピクセルの明暗が予め設定された数値以上に明るくなるか又は暗くなることを検出してイベント信号を出力する。図５Ａにおいて、黒い点（■）に表示される部分が暗くなるイベントを検出したセンサの出力であり、白い点（□）に表示される部分が明るくなるイベントを検出したセンサの出力である。図５Ｂを参照すると、映像分析装置は、図５Ａに示す入力映像を用いてオブジェクトの外形を分析する。
【0073】
映像分析装置は、図１〜図４を参照して説明した方式を用いて、予め設定されたエッジパターンに対応するピクセル群を選別し、選別されたピクセル群に対応する外形線の方向に応じてオブジェクトの外形を推定する。そのため、映像分析装置は、入力映像に含まれるトレイル効果（ｔｒａｉｌｉｎｇ ｅｆｆｅｃｔ）などによるノイズを効率よく除去できる。
【0074】
映像分析装置は、オブジェクトの外形だけではなく、オブジェクトの動きも分析する。上述した方式を用いてイベント信号からオブジェクトの外形を分析した後、映像分析装置は、オブジェクトの外形線に対応するピクセルのそれぞれの速度を算出し、外形線に対応するピクセルのそれぞれの速度を用いてオブジェクトの動きを分析する。以下、図６を参照して映像分析装置がオブジェクトの外形線に対応するピクセルのそれぞれの速度を算出する動作を説明し、図７を参照して映像分析装置がオブジェクトの動きを分析する動作を詳細に説明する。
【0075】
図６は、本発明の一実施形態によるピクセル群に対応する速度を算出する方式を説明するための図である。図６を参照すると、ピクセル群は動き方向情報を含み、映像分析装置は隣接ピクセルを用いてピクセル群に対応する速度を算出する。
【0076】
ここで、映像分析装置は、オブジェクトの外形線に対応するピクセル群の速度を算出する。例えば、映像分析装置は、イベント信号に含まれる複数のピクセルの全てに対して当該ピクセル群の速度を算出する代わりに、図２Ａ〜図２Ｃに示す予め設定されたエッジパターンＰ１〜Ｐ２４に分類されたピクセル群についてのみ当該ピクセル群の速度を算出する。上述したように、予め設定されたエッジパターンＰ１〜２４は、オブジェクトの外形線に対応するエッジパターンのみを含むため、映像分析装置はオブジェクトの外形線に対応するピクセル群の速度のみを算出する。
【0077】
映像分析装置は、数式（３）を用いてピクセル群に対応するｘ軸方向速度Ｖｘとｙ軸方向速度Ｖｙを算出する。
【0078】
【数3】
【0079】
θｉ、ａ及びθｉ、ｂはピクセル群の中心を基準としてＳ−タイプであるｉ番目の隣接ピクセルをカバーする範囲の境界角度である。例えば、ｎ５がＳ−タイプである場合、θ５、ａ６２０及びθ５、ｂ６１０はピクセル群の中心を基準としてｎ５をカバーする範囲の境界角度である。
【0080】
映像分析装置は、数式（４）を用いてタイムスタンプのノイズに対する敏感度を緩和させる。
【0081】
【数4】
【0082】
ここで、＜ｄｔ＞は数式（５）の通りである。
【0083】
【数5】
【0084】
映像分析装置は、数式（３）〜数式（５）によって算出されたｘ軸方向速度Ｖｘとｙ軸方向速度Ｖｙをピクセル群に対応する速度として格納する。勿論、ピクセル群に対応する速度は、当該ピクセル群の中心に位置するイベントピクセルの速度として理解される。上述したように、映像分析装置は、予め設定されたエッジパターンを用いて、オブジェクトの外形線に対応するイベントピクセルについてのみｘ軸方向速度Ｖｘとｙ軸方向速度Ｖｙを算出する。以下、図７を参照してオブジェクトの外形線に対応するイベントピクセルの速度を用いてオブジェクトの動きを分析する方法を説明する。
【0085】
図７は、本発明の一実施形態によるリジッドボディモデル（ｒｉｇｉｄ ｂｏｄｙ ｍｏｄｅｌ）を用いてオブジェクトの動きを分析する方式を説明するための図である。図７を参照すると、映像分析装置は、オブジェクト７００の４−ＤＯＦ（ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ）動きを分析する。
【0086】
例えば、オブジェクト７００の動きが検出された入力映像を分析する場合を仮定する。オブジェクト７００は、２次元平面上の移動速度Ｖｐ７４０で移動する。又は、オブジェクト７００は、回転中心Ｏｃ７２０を基準として角速度ω７２１で回転する。或いは、オブジェクト７００は、スケーリング中心Ｏｚ７３０を基準としてスケーリングの速度Ｖｚで拡大又は縮小される。
【0087】
映像分析装置は、オブジェクト７００の移動速度成分、回転速度成分、スケーリング速度成分を分析する。図１〜図６を参照して説明した方式を用いて、映像分析装置はオブジェクト７００の外形線に存在する任意の点Ｐｉ７１０の速度Ｖｉを算出する。例えば、速度Ｖｉは数式（３）〜数式（５）によって算出されたｘ軸方向速度Ｖｘとｙ軸方向速度Ｖｙである。
【0088】
映像分析装置は、Ｖｉを数式（６）のようにモデリングする。
【0089】
【数6】
【0090】
ここで、Ｖｚｉ７３１、Ｖｒｉ７２２、Ｖｐ７４０は、それぞれＰｉ７１０におけるスケーリング速度成分、回転速度成分、移動速度成分である。映像分析装置は、Ｖｉを数式（６）のようにモデリングすることで、オブジェクト７００の外形線上に位置する点Ｐｉ７１０における速度Ｖｉをスケーリング速度成分、回転速度成分、及び移動速度成分に分割する。ここで、数式（６）は数式（７）のように表現される。
【0091】
【数7】
【0092】
ここで、ｔＰｉは、スケーリング速度成分として、スケーリング中心Ｏｚ７３０を原点とする座標Ｐｉ７１０のベクトルＶｚｉ７３１の方向と大きさを示し、パラメータｔはベクトルＶｚｉ７３１の大きさをスケーリングする。ωＡ（Ｐｉ−Ｏｃ）は、回転速度成分として、座標差（Ｐｉ−Ｏｃ）が回転中心Ｏｃ７２０から座標Ｐｉ７１０に向かうベクトルの方向と大きさを示し、マトリックスＡは回転中心Ｏｃ７２０から座標Ｐｉ７１０に向かうベクトルを回転させる回転マトリックスである。例えば、マトリックス【0093】
映像分析装置は、オブジェクト７００の外形線上に位置する複数の点などの座標Ｐｉ及び当該点などでの速度Ｖｉを把握しているため、数式（７）を用いてスケーリング速度成分パラメータｔ、回転速度成分パラメータω、回転中心Ｏｃ、及び移動速度成分Ｖｐを算出することができる。このような実施形態による映像分析装置は、オブジェクトの４−ＤＯＦである移動速度成分、回転速度成分、及びスケーリング速度成分のうちの少なくとも１つを分析する。
【0094】
数式（７）を用いてスケーリング速度成分パラメータｔ、回転速度成分パラメータω、回転中心Ｏｃ、及び移動速度成分Ｖｐを算出する方法は様々に実現され得る。一実施形態により数式（７）を整理すると、数式（８）が導き出される。
【0095】
【数8】
【0096】
ここで、Ｐｉはオブジェクト７００の外形線上に位置するｉ番目の点の座標であり、【0097】
【数9】
【0098】
【数10】
【0099】
【数11】
【0100】
【数12】
【0101】
映像分析装置は、数式（３）〜数式（５）を用いてｘ軸方向速度Ｖｘとｙ軸方向速度Ｖｙを算出してピクセルＰｉにおける速度Ｖｉとして格納する。映像分析装置は、各ピクセルの座標Ｐｉ及び各ピクセルにおける速度Ｖｉを用いて【0102】
【数13】
【0103】
【数14】
【0104】
ここで、σ２（Ｐ）＝σ２（ｘ）＋σ２（ｙ）であり、σ（・）は標準偏差（ｓｔａｎｄａｒｄ ｄｅｖｉａｔｉｏｎ）を算出する演算子である。σ（ｘ、ｙ）＝Ｅ［（ｘ−Ｅ［ｘ］）（ｙ−Ｅ［ｙ］）］であり、Ｅ［・］は期待値（ｅｘｐｅｃｔａｔｉｏｎ ｖａｌｕｅ）又は平均を算出する演算子である。映像分析装置は、数式（１３）及び数式（１４）を用いてスケーリング速度成分パラメータｔ及び回転速度成分パラメータωを算出する。
【0106】
図８Ａを参照すると、一実施形態による映像分析装置は、ピクセル群よりも大きい観測領域を用いて動き分析の正確度を向上させる。観測領域は、複数のピクセル群を含むピクセル群の集合であり、例えば、オブジェクトの外形線に沿ってオブジェクトが所定の大きさに分割された領域を含む。
【0107】
観測領域の選択において、映像分析装置は、含まれるピクセル群のパターンの多様性を考慮する。例えば、映像分析装置は、ピクセル群のパターンの様々な観測領域を選択して動き分析を行う。
【0108】
例えば、オブジェクト８００が回転、縮小、及び拡大されずに右側方向８２０に移動する場合を仮定する。ここで、オブジェクト８００は、長方形形状の事物として、斜めに傾いた状態で移動する。観測領域８１０は同一であるか又は類似のパターンを有するピクセル群８１１のみを含む。観測領域８１０に含まれるピクセル群８１１に基づいて動き分析を行う場合、実際の移動方向が右側方向８２０にも拘わらず右側下方向８１２に移動するものと分析される。映像分析装置は、オブジェクト８００の外形線のうちの直線部分のみを含む観測領域８１０ではない直角に折れた部分を含む観測領域８３０を選択する。映像分析装置は、様々なパターンのピクセル群を含む観測領域を選択することによって、動き分析の正確度を向上させる。
【0109】
他の実施形態による映像分析装置は、ＬＯＨ（Ｌｅｖｅｌ ｏｆ Ｈｏｍｏｇｅｎｅｉｔｙ）を用いて動き分析の正確度を向上させる。例えば、映像分析装置は、数式（１５）を用いてパッチのＬＯＨを算出し、低いＬＯＨを有するパッチを選択する。ここで、パッチは３×３の大きさ以上のピクセルを含むピクセル群を含む。
【0110】
【数15】
【0111】
ここで、θｒｅｆ及びθｉはそれぞれパッチの中心に位置するピクセルの外形線角度及びｉ番目の隣接ピクセルの外形線角度である。例えば、外形線角度は、方向性（ｏｒｉｅｎｔａｔｉｏｎ）に対応する。ＬＯＨが低い場合は当該パッチに含まれるピクセル群のパターンが類似することを示し、ＬＯＨが高い場合は当該パッチに含まれるピクセル群のパターンが互いに異なることを示す。映像分析装置は、ＬＯＨが低いパッチを選択することによって、様々なパターンのピクセル群を含む観測領域を選択する。エッジが分類されることで、エッジの方向性はイメージの主要特徴を決定するために使用される。イメージの主要特徴は、オブジェクトの外形及び／又はオブジェクトの動きを決定するために使用される。
【0112】
図８Ｂは、ＬＯＨを用いた動き分析の正確度の向上を示す一例である。例えば、オブジェクト８００が右側方向８２０に動く場合を仮定する。観測領域８１０でオブジェクト８００の動きを観測する場合、オブジェクト８００の外形線は、時刻ｔでエッジ８３１のように観測され、時刻ｔ＋Δｔでエッジ８３２のように観測される。この場合、オブジェクト８００が右側方向８２０にだけ動いたため、オブジェクト８００の実際の動き速度は速度ベクトル８４０で表現される。もし、ＬＯＨを用いた動き分析を利用しなければ、オブジェクト８００の動き速度は速度ベクトル８５０で算出される。速度ベクトル８５０は、オブジェクト８００の実際の動き速度を示す速度ベクトル８４０と方向及び大きさの両方が異なる。
【0113】
ＬＯＨを用いた動き分析を用いる場合、オブジェクト８００の動き速度は速度ベクトル８６０で算出される。速度ベクトル８６０は、オブジェクト８００の実際の動き速度を示す速度ベクトル８４０と同じ方向を有するものの、依然として速度ベクトル８６０の大きさは速度ベクトル８４０の大きさと互いに異なる。
【0114】
図８Ｃを参照すると、オブジェクトが同じ速度及び方向を有する実際の速度８７２で動いたとしても、オブジェクトの外形８７１に応じて算出される速度８７３の大きさがそれぞれ異なる。例えば、実際に移動する方向（例えば、ｘ軸方向）へのベクトル成分が小さい外形を有するほど、算出される速度の大きさは小さくなる。
【0115】
図８Ｄを参照すると、映像分析装置は、以下の数式（１６）及び数式（１７）を用いてオブジェクト８００の動き速度の大きさを補正する。より具体的に、映像分析装置は、ステップ８８１でエッジイベントとしてＶｉを受信する。映像分析装置は、Ｖｉを用いてＶｐ、Ｏｃ、ｔ、ωを算出する。ステップ８８１及びステップ８８２には、図１〜図７を参照して上述した方式がそのまま適用されるため、より詳細な説明を省略する。映像分析装置は、ステップ８８３でＬＯＨを用いた動き分析によってＶｐを算出する。同様に、ステップ８８３では、図８Ａを参照して上述した方式がそのまま適用される。
【0116】
映像分析装置は、ステップ８８４で数式（１６）を用いてＶｉｇｅｎを算出する。数式（１６）に用いられるパラメータの意味は、数式（７）に用いられるパラメータの意味と同一である。
【0117】
【数16】
【0118】
映像分析装置は、ステップ８８５で数式（１７）を用いてＶｉｃｏｒを算出する。ここで、θは、ＶｉとＶｉｇｅｎとの間の角度差として、図８Ｂの角度８５５に該当する。
【0119】
【数17】
【0120】
Ｖｉは、オブジェクトの実際の動き方向と異なる方向を有するが、ＬＯＨを考慮せずに全ての外形線に対して動き速度を算出したものであるため、実際の動き速度と類似の大きさを有する。一方、Ｖｉｇｅｎは、オブジェクトの実際の動き方向と同じ方向を有するが、低いＬＯＨの観測範囲にある外形線についてのみ動き速度を算出したものであるため、実際の動き速度よりも小さい大きさを有する。従って、映像分析装置は、数式（１７）を用いて、Ｖｉからベクトルの大きさを取得し、Ｖｉｇｅｎからベクトルの方向を取得することによって、Ｖｉｃｏｒを算出する。
【0121】
他の実施形態によると、映像分析装置は、ステップ８８２〜ステップ８８５を２回以上繰り返す（ｉｔｅｒａｔｉｏｎ）。例えば、θが９０度である場合にｔａｎ９０°は無限大であるため、Ｖｉｃｏｒが算出され難い場合もある。この場合、映像分析装置は２回以上に亘ってＶｉを回転させることでＶｉｃｏｒを算出する。ここで、【0122】
図９は、本発明の一実施形態によるオブジェクトの移動速度に基づいてユーザ入力を処理する方式を説明するための図である。
【0123】
図９を参照すると、映像分析装置は、オブジェクトの動きに基づいてユーザ入力を処理する。
【0124】
映像分析装置は、図１〜図８を参照して説明した方式を用いてオブジェクト９１０の移動速度９１５を算出する。映像分析装置は、算出された移動速度９１５を用いてユーザ入力のためのポイントの相対座標の変化量を算出する。
【0125】
映像分析装置は、相対座標の変化量に基づいてユーザ入力を処理する。例えば、映像分析装置は、算出された相対座標の変化量に応じてディスプレイ９２０に表示されたカーソルの位置を既存位置９２１から新規位置９２２に移動させる。
【0126】
相対座標は、ユーザインターフェースのためのインジケータ（ｉｎｄｉｃａｔｏｒ）の相対的位置を示す。ユーザ入力処理装置は、オブジェクトの動きに基づいてユーザインターフェースのためのインジケータの相対的な位置の変化量を算出する。例えば、オブジェクトが右側に１秒の間に１ｍ（１ｍ／ｓ）動く場合、ユーザインターフェースのためのインジケータの相対的位置の変化量は、その方向が右側で、大きさが１ｍであるベクトルとして算出される。
【0127】
ユーザ入力処理装置は、インジケータの現在の位置からインジケータの相対的位置の変化量だけ移動した新しい位置を算出することによって、インジケータの新しい位置を判断する。ユーザ入力処理装置は、ユーザインターフェースのためのインジケータを現在の位置から新しい位置に移動させる。
【0128】
図示していないが、ユーザ入力処理装置は、認識部及び処理部を含む。認識部は、オブジェクトの動きが検出されたイベント信号を含む入力映像に基づいてオブジェクトの動きを認識する。例えば、認識部は、図１〜図８を参照して説明した方式を用いてオブジェクト９１０の移動速度９１５を算出する。処理部は、認識部によって認識されたオブジェクトの動きに基づいてユーザ入力のための相対座標を更新する。例えば、処理部は、認識部によって算出された移動速度９１５を用いて、ユーザ入力のための相対座標の変化量を算出する。処理部は、相対座標の変化量に応じて相対座標を更新し、更新された相対座標を用いてユーザ入力を処理する。
【0129】
図１０は、本発明の一実施形態によるオブジェクトの深度に基づいてユーザ入力を処理する方式を説明するための図である。
【0130】
図１０を参照すると、映像分析装置は、同一のオブジェクトの動きに対して空間的に離隔した２つの位置で検出された互いに異なる２つのイベント信号を用いてオブジェクトの深度を追加的に分析する。例えば、センサ１０２０は、左側の目に対応する第１センサ及び右側の目に対応する第２センサを含む。映像分析装置は、両側の目に対応する２つのセンサから出力された映像の差を用いてオブジェクトまでの深度を測定する。
【0131】
以下の表５を参照すると、映像分析装置は、左側の目と右側の目に対応するそれぞれのパッチのＬＯＳ（Ｌｅｖｅｌ ｏｆ Ｓｉｍｉｌａｒｉｔｙ）を極大化させる方式を用いて２つの映像の差（ｄｉｓｐａｒｉｔｙ）を算出する。より具体的に、映像分析装置は、左側の目に対応するセンサから出力されるイベント信号と右側の目に対応するセンサから出力されるイベント信号の両方を処理する。例えば、映像分析装置は、２つのイベント信号のそれぞれを用いてエッジパターンを分類することによって外形線に対応するピクセルを検出し、検出されたピクセルのエッジパターンに基づいて当該ピクセルにおける外形線の方向を判断する。この場合、映像分析装置は、オブジェクトの輪郭の２つが所定間隔だけ離れたまま重なる映像を取得する。映像分析装置は、オブジェクトの輪郭の２つが所定間隔だけ離れたまま重なる映像に表５のアルゴリズムを適用することで、オブジェクトの輪郭の２つが離れた間隔、即ち２つの映像の差を算出する。
【0132】
【表5】
【0133】
ここで、（ｘ、ｙ）は映像内のパッチの座標であり、パッチには複数の点が含まれる。（ｘｉ、ｙｉ）は（ｘ、ｙ）座標のパッチに含まれるｉ番目の点の座標であり、ｄは２つの映像の差である。２つの映像はそれぞれ左側の目に対応するセンサと右側の目に対応するセンサから受信されるため、２つの映像は主にｘ軸方向に離れる。従って、ｄは２つの映像がｘ軸方向に離隔した程度を示す。θ（ｘｉ、ｙｉ）は、オリエンテーション角度（ｏｒｉｅｎｔａｔｉｏｎ ａｎｇｌｅ）であり、（ｘｉ、ｙｉ）座標の点で算出された外形線の方向に対応する。
【0134】
ｌＬＯＳ（ｘ、ｙ、ｄ）は（ｘ、ｙ）座標の単一パッチにおけるＬＯＳを評価するための数式であり、ｒＬＯＳ（ｙ、ｄ）はｙ座標の１次元ラインにおけるＬＯＳを評価するための数式であり、ｇＬＯＳ（ｄ）は映像全体の２次元領域におけるＬＯＳを評価するための数式である。
【0135】
映像分析装置は、ＬＯＳ（ｘ、ｙ、ｄ）を最大にするｄを算出する。ＬＯＳ（ｘ、ｙ、ｄ）が最大になるためには、θ（ｘｉ、ｙｉ）とθ（ｘｉ＋ｄ、ｙｉ）との差が最小にならなければならないため、映像分析装置は、θ（ｘｉ、ｙｉ）とθ（ｘｉ＋ｄ、ｙｉ）との差を最小にするｄを算出する。
【0136】
映像分析装置は、算出された２つの映像の差が大きいほどオブジェクトの深度を浅く推定し、２つの映像の差が小さいほどオブジェクトの深度を深く推定する。映像分析装置は、推定されたオブジェクトの深度に基づいてユーザ入力を処理する。
【0137】
映像分析装置は、センサ１０２０からのオブジェクト１０１０の深度に対応する動作モードを判断する。例えば、センサ１０２０からの深度に応じて第１動作モード領域１０３１、第２動作モード領域１０３２、第３動作モード領域１０３３、及び背景領域１０３４が予め設定される。
【0138】
映像分析装置は、オブジェクト１０１０の深度が第２動作モード領域１０３２に対応すると判断された場合、オブジェクト１０１０を用いた入力を第２動作モード領域１０３２に対応するユーザ入力処理方式で処理する。
【0139】
図１１は、本発明の一実施形態による映像分析方法を示した動作フローチャートである。
【0140】
図１１を参照すると、映像分析装置は、ステップＳ１１１０でイベント情報を読み込む。映像分析装置は、ステップＳ１１２０で、発生したイベントの位置及び発生時刻に基づいてイベント発生時刻マップを更新する。映像分析装置は、ステップＳ１１３０で、イベント発生時刻マップを参照して発生したイベントの周辺イベント発生時刻のパターンを分析する。
【0141】
映像分析装置は、ステップＳ１１４０でイベント発生パターンによりエッジ方向性を分類する。映像分析装置は、ステップＳ１１５０でエッジ方向パターン及びイベント発生パターンにより速度成分を抽出する。
【0142】
映像分析装置は、ステップＳ１１６０で、物体の動きを分析するためにイベント情報を累積する。映像分析装置は、ステップＳ１１７０で、累積したイベントの数が充分であるか否かを判断する。判断結果、累積したイベントの数が充分ではない場合、映像分析装置は、ステップＳ１１７５で、累積時間が充分であったか否かを判断する。累積時間が充分ではない場合、映像分析装置はステップＳ１１１０に戻って新しいイベント情報を累積する。
【0143】
累積したイベントの数が充分であるか又は累積したイベントの数が充分でなくても累積時間が十分である場合に、映像分析装置は、ステップＳ１１８０で物体位置及び動き速度を要素ごとに分離する。映像分析装置は、動きの速度要素として移動速度、膨張又は収縮速度、回転速度を取得する。
【0144】
映像分析装置は、ステップＳ１１９０で物体の主な動き要素を判断する。例えば、映像分析装置は、移動速度、膨張又は収縮速度、回転速度のうちの物体の動きに大きい比重を占める少なくとも１つの動き要素を判断する。
【0146】
図１２は、本発明の一実施形態による３次元映像分析装置を示すブロック図である。
【0147】
図１２を参照すると、３次元映像分析装置１２００は、少なくとも２組の映像変化検出部１２１０、１２１５、エッジ方向情報抽出部１２２０、１２２５、速度情報抽出部１２３０、１２３５、及び平均エッジ方向情報抽出部１２４０、１２４５を含む。
【0148】
また、３次元映像分析装置１２００は、視差マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）抽出部１２５０、距離情報マッピング部１２６０、及び３次元位置／動き分析部１２７０を更に含む。
【0150】
本発明の実施形態による方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録され得る。コンピュータ読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などのうちの１つ又はその組合せを含む。記録媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気記録媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気記録媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行される高級言語コードが含まれる。ハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【0151】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【0152】
１００ 映像分析装置１１０ 分類部
１２０ 分析部
２１０、２４０ Ｅ−タイプのエッジパターン
２２０、２５０ Ｓ−タイプのエッジパターン
２３０、２６０ ドントケアタイプのエッジパターン
３１０〜３６０ エッジパターンのグループ
４１０、４２０ エッジパターン
４１５、４２５ 外形線
６１０、６２０ 境界角度
７００、８００、９１０、１０１０ オブジェクト
７１０ 点Ｐｉ
７２０ 回転中心Ｏｃ
７２１ 角速度ω
７２２ 回転速度Ｖｒｉ
７３０ スケーリング中心Ｏｚ
７３１ スケーリング速度Ｖｚｉ
７４０ 移動速度Ｖｐ
８１０、８３０ 観測領域
８１１ ピクセル群
８１２ 右側下方向
８２０ 右側方向
８３１、８３２ エッジ
８４０、８５０、８６０ 速度ベクトル
８５５ 角度
８７１ 外形
８７２ 実際の速度
８７３ 算出される速度
９２０ ディスプレイ
９１５ 移動速度
９２１ 既存位置
９２２ 新規位置
１０２０ センサ
１０３１ 第１動作モード領域
１０３２ 第２動作モード領域
１０３３ 第３動作モード領域
１０３４ 背景領域
１２００ ３次元映像分析装置
１２１０、１２１５ 映像変化検出部
１２１１、１２１６ イベント基盤ビジョンセンサ
１２２０、１２４５ エッジ方向情報抽出部
１２３０、１２３５ 速度情報抽出部
１２４０、１２４５ 平均エッジ方向情報抽出部
１２５０ 視差マップ抽出部
１２６０ 距離情報マッピング部
１２７０ ３次元位置／動き分析部