知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-05
(45)【発行日】2024-02-14
(54)【発明の名称】エゴモーション情報推定装置及び方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20240206BHJP
【ＦＩ】
G06T7/20 100
【請求項の数】
23
(21)【出願番号】P 2019223018
(22)【出願日】2019-12-10
(65)【公開番号】P2020170500
(43)【公開日】2020-10-15
【審査請求日】2022-11-18
(31)【優先権主張番号】10-2019-0038508
(32)【優先日】2019-04-02
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】姜 納▲ひょぷ▼
(72)【発明者】
【氏名】張 現盛
(72)【発明者】
【氏名】鄭 景夫
(72)【発明者】
【氏名】河 仁友
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開２００７－２７２４６１（ＪＰ，Ａ）
【文献】国際公開第２０１５／１８６３４１（ＷＯ，Ａ１）
【文献】Emilio Parisotto et al.，"Global Pose Estimation with an Attention-Based Recurrent Network"，2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)，米国，IEEE，2018年06月18日，pp.350-359
【文献】友納 正裕，“エッジ点追跡に基づくステレオカメラを用いた三次元ＳＬＡＭ”，日本ロボット学会誌，日本，社団法人日本ロボット学会，2009年09月15日，Vol.27, No.7，pp.57-65
【文献】日浦 慎作、外２名，“入力画像と生成画像の差の最小化に基づく実時間運動追跡”，情報処理学会論文誌 コンピュータビジョンとイメージメディア，日本，社団法人情報処理学会，2009年04月15日，Vol.2, No.1，pp.14-31
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００，７／００－７／９０
Ｇ０６Ｖ １０／００－１０／９８
(57)【特許請求の範囲】
【請求項1】
エゴモーション情報推定装置が実行するエゴモーション情報推定方法であって、
１つ以上のセンサから取得された連続するフレームのフレームイメージから、前記１つ以上のセンサの短期運動情報を推定するステップと、
前記フレームイメージから前記１つ以上のセンサの長期運動情報を推定するステップと、
前記短期運動情報及び前記長期運動情報からアテンション情報を決定するステップと、
前記長期運動情報及び前記アテンション情報に基づいて、前記連続するフレームのうち、現在フレームに対する最終長期運動情報を決定するステップと、
前記決定するステップで決定された最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定するステップと
を含むエゴモーション情報推定方法。
【請求項2】
前記最終長期運動情報を決定するステップは、前記アテンション情報を用いて前記長期運動情報を補正するステップを含む、請求項１に記載のエゴモーション情報推定方法。
【請求項3】
前記最終長期運動情報を決定するステップは、長期基準フレームから前記現在フレームまで前記１つ以上のセンサのエゴモーションの変化量を決定するステップを含み、前記長期基準フレームは、前記現在フレームから予め決定されたフレーム個数以前のフレームとして決定される、請求項１に記載のエゴモーション情報推定方法。
【請求項4】
前記アテンション情報を決定するステップは、前記短期運動情報に対応するキーデータ（Ｋ）及び前記長期運動情報に対応する（Ｑ）からアテンション要素を導出し、前記短期運動情報から抽出されたアテンション加重値（Ｖ）及び前記アテンション要素の行列積に基づいて前記アテンション情報を決定するステップをさらに含む、請求項１－３のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項5】
前記最終短期運動情報を決定するステップは、前記連続するフレームのうち前記現在フレームに対して以前フレームの最終長期運動情報、長期基準フレームの最終短期運動情報、及び前記現在フレームの最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定するステップを含む、請求項４に記載のエゴモーション情報推定方法。
【請求項6】
前記現在フレームに対して以前フレームは、前記連続するフレームのうち前記現在フレームに直接的に隣接する、請求項５に記載のエゴモーション情報推定方法。
【請求項7】
前記短期運動情報を推定するステップは、前記現在フレームの現在フレームイメージを受信する場合に応答して、前記現在フレームと短期基準フレームとの間の短期運動情報を、エゴモーションモデルを用いて推定するステップと、
前記現在フレームと前記短期基準フレームとの間の前記推定された短期運動情報に基づいて、前記１つ以上のセンサの前記短期運動情報を推定するステップと、
を含む、請求項１－６のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項8】
前記長期運動情報を推定するステップは、前記現在フレームの現在フレームイメージを受信する場合に応答して、前記現在フレームと長期基準フレームとの間の長期運動情報を、エゴモーションモデルを用いて推定するステップと、
前記現在フレームと前記長期基準フレームとの間の前記推定された長期運動情報に基づいて前記１つ以上のセンサの前記長期運動情報を推定するステップと、
を含む、請求項１－７のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項9】
前記短期運動情報を推定するステップは、前記フレームイメージのうち連続するフレームイメージの対から短期エゴモーションモデルを用いて前記短期運動情報を推定するステップを含み、前記長期運動情報を推定するステップは、前記フレームイメージのうち前記現在フレームの対象フレームイメージ及び基準フレームイメージから長期エゴモーションモデルを用いて前記長期運動情報を推定するステップを含み、
前記短期エゴモーションモデルは、少なくともそれぞれ相違にトレーニングされたパラメータを有することに対して、前記長期エゴモーションモデルと異なる構成を有する、請求項１－６のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項10】
前記アテンション情報を決定するステップは、前記短期運動情報及び前記長期運動情報から、アテンションモデルを用いて前記アテンション情報を抽出するステップを含む、請求項１に記載のエゴモーション情報推定方法。
【請求項11】
前記アテンション情報を抽出するステップは、前記短期運動情報及び前記長期運動情報からアテンション要素を抽出するステップと、
前記短期運動情報からアテンション加重値を抽出するステップと、
前記アテンション要素及び前記アテンション加重値に基づいて前記アテンション情報を生成するステップと、
を含む、請求項１０に記載のエゴモーション情報推定方法。
【請求項12】
最初フレームから現在フレームまで収集されたフレームイメージの個数が決定されたフレーム個数未満である場合に応答して、前記短期運動情報を最終短期運動情報として決定するステップを含む、請求項１－１１のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項13】
エゴモーションモデルを用いて、前記フレームイメージのうち現在フレーム以前の以前フレームイメージ及び前記現在フレームの現在フレームイメージから前記１つ以上のセンサの短期運動特徴を抽出するステップと、イメージ変形モデルを用いて、前記以前フレームイメージを前記短期運動特徴に基づいて変形することによって、前記現在フレームの復元フレームイメージを生成するステップと、
前記エゴモーションモデルを用いて、前記現在フレームイメージ及び前記復元フレームイメージから補正情報を算出するステップと、
現在フレームに対する短期運動情報に前記補正情報を適用することによってイメージ基盤短期運動情報を生成するステップと、
をさらに含む、請求項１－１２のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項14】
前記補正情報は、前記復元フレームイメージと前記現在フレームイメージとの間の微細姿勢誤差に対応する、請求項１３に記載のエゴモーション情報推定方法。
【請求項15】
前記最終長期運動情報から算出されたアテンション基盤短期運動情報及び前記イメージ基盤短期運動情報に基づいて最終短期運動情報を決定するステップを含む、請求項１３に記載のエゴモーション情報推定方法。
【請求項16】
エゴモーションモデルを用いて、前記フレームイメージのうち現在フレーム以前の以前フレームイメージ及び前記現在フレームの現在フレームイメージから前記１つ以上のセンサの短期運動特徴を抽出するステップと、前記以前フレームイメージから前記現在フレームの以前フレームの深度イメージを生成するステップと、
前記以前フレームに対する深度イメージを前記短期運動特徴を用いて変形することで前記現在フレームに対応する深度イメージを生成するステップと、
前記現在フレームに対応する深度イメージを復元フレームイメージに変換するステップと、
前記現在フレームイメージ及び前記復元フレームイメージから前記エゴモーションモデルを用いて補正情報を算出するステップと、
現在フレームに対する短期運動情報に前記補正情報を適用することによって深度基盤短期運動情報を生成するステップと、
をさらに含む、請求項１－１２のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項17】
前記最終長期運動情報から算出されたアテンション基盤短期運動情報及び前記深度基盤短期運動情報に基づいて最終短期運動情報を決定するステップを含む、請求項１６に記載のエゴモーション情報推定方法。
【請求項18】
前記最終長期運動情報及び前記最終長期運動情報から算出された最終短期運動情報のうち少なくとも１つに基づいて、前記１つ以上のセンサが装着された装置の移動経路を追跡するステップと、前記装置の追跡された移動経路を出力するステップと、
を含む、請求項１－１７のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項19】
トレーニングイメージから深度モデルを用いて前記現在フレームの以前フレームの臨時深度情報を生成するステップと、前記トレーニングイメージからエゴモーションモデル及びアテンションモデルを用いて臨時長期運動情報を生成し、前記臨時長期運動情報から臨時短期運動情報を算出するステップと、
前記以前フレームの臨時深度情報及び前記臨時短期運動情報に基づいて、現在フレームのワーピングイメージを生成するステップと、
前記トレーニングイメージのうち現在フレームイメージ及び前記ワーピングイメージから算出された損失に基づいて、前記エゴモーションモデル、前記アテンションモデル、及び前記深度モデルのうちの１つ又は２以上の組合をトレーニングさせるステップと、
をさらに含む、請求項１－１２のうち何れか一項に記載のエゴモーション情報推定方法。
【請求項20】
前記ワーピングイメージを生成するステップは、前記臨時深度情報から前記以前フレームに対応する３次元座標イメージを生成するステップと、
前記臨時長期運動情報から算出された前記臨時短期運動情報を用いて前記以前フレームに対応する３次元座標イメージを変換することによって、現在フレームに対応する３次元座標イメージを復元するステップと、
前記現在フレームに対応する３次元座標イメージを２次元に投影することによって、２次元にワーピングされた前記ワーピングイメージを生成するステップと、
を含む、請求項１９に記載のエゴモーション情報推定方法。
【請求項21】
請求項１ないし請求項２０のうち何れか一項に記載の方法を実行するための命令語を含む１つ以上のコンピュータプログラムを格納したコンピュータで読み出し可能な記録媒体。
【請求項22】
連続するフレームのフレームイメージを取得する１つ以上のセンサと、前記１つ以上のセンサの短期運動情報を推定し、前記フレームイメージから前記１つ以上のセンサの長期運動情報を推定し、前記短期運動情報及び前記長期運動情報からアテンション情報を算出し、前記長期運動情報を前記アテンション情報に基づいて補正することによって現在フレームに対する最終長期運動情報を決定する１つ以上のプロセッサと、
を含み、前記プロセッサにより決定された最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定する、エゴモーション情報推定装置。
【請求項23】
前記１つ以上のセンサは１つ以上のイメージセンサを含み、前記１つ以上のプロセッサは、前記決定された最終長期運動情報に基づいて前記１つ以上のイメージセンサの走行経路を決定するようにさらに構成される、請求項２２に記載のエゴモーション情報推定装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下、エゴモーション情報を推定する技術が提供される。
【背景技術】
【0002】
自律走行車両、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）が適用された車両、移動ロボット、及びドローン等は、装置自体の位置を認識することができる。例えば、そのような装置は、ＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）などを介して収集される情報を用いて自身の位置を決定することができる。しかしながら、ＧＮＳＳ信号が収集されない陰影区間では、自身の位置を装置が正確に決定することは困難である。
【0003】
ＧＮＳＳの陰影地域でも動作を保障するために、自律走行車両などはオドメトリ（ｏｄｏｍｅｔｒｙ）によって装置自体の相対的な位置に関する情報を追跡することができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、エゴモーション情報推定装置において、短期運動情報だけで装置の位置及び姿勢を追跡する場合、時間の経過につれて生じる累積誤差を長期運動情報を活用して補正することにある。
【課題を解決するための手段】
【0005】
一実施形態に係るエゴモーション情報推定方法は、１つ以上のセンサから取得された連続するフレームのフレームイメージから、前記一つ以上のセンサの短期運動情報を推定するステップと、前記フレームイメージから前記一つ以上のセンサの長期運動情報を推定するステップと、前記短期運動情報及び前記長期運動情報からアテンション情報を決定するステップと、前記長期運動情報及び前記アテンション情報に基づいて、前記連続するフレームのうち、現在フレームに対する最終長期運動情報を決定するステップとを含む。
【0006】
前記最終長期運動情報を決定するステップは、前記アテンション情報を用いて前記長期運動情報を補正するステップを含み得る。
【0007】
前記最終長期運動情報を決定するステップは、長期基準フレームから前記現在フレームまで前記一つ以上のセンサのエゴモーションの変化量を決定するステップを含み、前記長期基準フレームは、前記現在フレームから予め決定されたフレーム個数以前のフレームとして決定され得る。
【0008】
前記決定された最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定するステップをさらに含み得る。
【0009】
前記最終短期運動情報を決定するステップは、前記連続するフレームのうち前記現在フレームに対して以前フレームの最終長期運動情報、長期基準フレームの最終短期運動情報、及び前記現在フレームの最終長期運動情報に基づいて、前記現在フレームに対する最終短期運動情報を決定するステップを含み得る。
【0010】
エゴモーション情報推定方法は、前記現在フレームに対して以前フレームは、前記連続するフレームのうち前記現在フレームに直接的に隣接し得る。
【0011】
前記短期運動情報を推定するステップは、前記現在フレームの現在フレームイメージを受信する場合に応答して、前記現在フレームと短期基準フレームとの間の短期運動情報を、エゴモーションモデルを用いて推定するステップと、前記現在フレームと前記短期基準フレームとの間の前記推定された短期運動情報に基づいて、前記一つ以上のセンサの前記短期運動情報を推定するステップとを含み得る。
【0012】
前記長期運動情報を推定するステップは、前記現在フレームの現在フレームイメージを受信する場合に応答して、前記現在フレームと長期基準フレームとの間の長期運動情報を、エゴモーションモデルを用いて推定するステップと、前記現在フレームと前記長期基準フレームとの間の前記推定された長期運動情報に基づいて前記一つ以上のセンサの前記長期運動情報を推定するステップとを含み得る。
【0013】
前記短期運動情報を推定するステップは、前記フレームイメージのうち連続するフレームイメージの対から短期エゴモーションモデルを用いて前記短期運動情報を推定するステップを含み、前記長期運動情報を推定するステップは、前記フレームイメージのうち前記現在フレームの対象フレームイメージ及び基準フレームイメージから長期エゴモーションモデルを用いて前記長期運動情報を推定するステップを含み、前記短期エゴモーションモデルは、少なくともそれぞれ相違にトレーニングされたパラメータを有することに対して、前記長期エゴモーションモデルと異なる構成を有し得る。
【0014】
前記アテンション情報を決定するステップは、前記短期運動情報及び前記長期運動情報から、アテンションモデルを用いて前記アテンション情報を抽出するステップを含み得る。
【0015】
前記アテンション情報を抽出するステップは、前記短期運動情報及び前記長期運動情報からアテンション要素を抽出するステップと、前記短期運動情報からアテンション加重値を抽出するステップと、前記アテンション要素及び前記アテンション加重値に基づいて前記アテンション情報を生成するステップとを含み得る。
【0016】
エゴモーション情報推定方法は、最初フレームから現在フレームまで収集されたフレームイメージの個数が決定されたフレーム個数未満である場合に応答して、前記短期運動情報を最終短期運動情報として決定するステップを含み得る。
【0017】
エゴモーション情報推定方法は、エゴモーションモデルを用いて、前記フレームイメージのうち前記現在フレームイメージの以前フレームイメージ及び前記現在フレームの現在フレームイメージから前記一つ以上のセンサの短期運動特徴を抽出するステップと、イメージ変形モデルを用いて、前記以前フレームイメージを前記短期運動特徴に基づいて変形することによって、前記現在フレームの復元フレームイメージを生成するステップと、前記エゴモーションモデルを用いて、前記現在フレームイメージ及び前記復元フレームイメージから補正情報を算出するステップと、現在フレームに対する短期運動情報に前記補正情報を適用することによってイメージ基盤短期運動情報を生成するステップとをさらに含み得る。
【0018】
前記補正情報は、前記復元フレームイメージと前記現在フレームイメージとの間の微細姿勢誤差に対応し得る。
【0019】
エゴモーション情報推定方法は、前記最終長期運動情報から算出されたアテンション基盤短期運動情報及び前記イメージ基盤短期運動情報に基づいて最終短期運動情報を決定するステップを含み得る。
【0020】
エゴモーション情報推定方法は、エゴモーションモデルを用いて、前記フレームイメージのうち前記現在フレームイメージの以前フレームイメージ及び前記現在フレームの現在フレームイメージから前記一つ以上のセンサの短期運動特徴を抽出するステップと、前記以前フレームイメージから前記現在フレームの以前フレームの深度イメージを生成するステップと、前記以前フレームに対する深度イメージを前記短期運動特徴を用いて変形することで前記現在フレームに対応する深度イメージを生成するステップと、前記現在フレームに対応する深度イメージを復元フレームイメージに変換するステップと、前記現在フレームイメージ及び前記復元フレームイメージから前記エゴモーションモデルを用いて補正情報を算出するステップと、現在フレームに対する短期運動情報に前記補正情報を適用することによって深度基盤短期運動情報を生成するステップとをさらに含み得る。
【0021】
エゴモーション情報推定方法は、前記最終長期運動情報から算出されたアテンション基盤短期運動情報及び前記深度基盤短期運動情報に基づいて最終短期運動情報を決定するステップを含み得る。
【0022】
エゴモーション情報推定方法は、前記最終長期運動情報及び前記最終長期運動情報から算出された最終短期運動情報のうち少なくとも１つに基づいて、前記一つ以上のセンサが装着された装置の移動経路を追跡するステップと、前記装置の追跡された移動経路を出力するステップとを含み得る。
【0023】
エゴモーション情報推定方法は、トレーニングイメージから深度モデルを用いて前記現在フレームの以前フレームの臨時深度情報を生成するステップと、前記トレーニングイメージからエゴモーションモデル及びアテンションモデルを用いて臨時長期運動情報を生成し、前記臨時長期運動情報から臨時短期運動情報を算出するステップと、前記以前フレームの臨時深度情報及び前記臨時短期運動情報に基づいて、現在フレームのワーピングイメージを生成するステップと、前記トレーニングイメージのうち現在フレームイメージ及び前記ワーピングイメージから算出された損失に基づいて、前記エゴモーションモデル、前記アテンションモデル、及び前記深度モデルのうちの１つ又は２以上の組合をトレーニングさせるステップとをさらに含み得る。
【0024】
前記ワーピングイメージを生成するステップは、前記臨時深度情報から前記以前フレームに対応する３次元座標イメージを生成するステップと、前記臨時長期運動情報から算出された前記臨時短期運動情報を用いて前記以前フレームに対応する３次元座標イメージを変換することによって、現在フレームに対応する３次元座標イメージを復元するステップと、前記現在フレームに対応する３次元座標イメージを２次元に投影することによって、２次元にワーピングされた前記ワーピングイメージを生成するステップとを含み得る。
【0025】
一実施形態に係るエゴモーション情報推定方法は、エゴモーションモデルを用いて、現在フレームイメージ及び以前フレームイメージから短期運動特徴を抽出するステップと、変形モデルを用いて前記抽出された短期運動特徴に基づいて、前記以前フレームイメージ及び前記以前フレームから生成された深度イメージのうち少なくとも１つのイメージから現在フレームに対応する復元フレームイメージを生成するステップと、前記復元フレームイメージ及び前記現在フレームイメージから補正情報を算出するステップと、前記エゴモーションモデルを用いて推定された現在フレームに対する短期運動情報に前記補正情報を適用することによって、最終短期運動情報を算出するステップとを含む。
【0026】
一実施形態に係るエゴモーション情報推定装置は、連続するフレームのフレームイメージを取得する１つ以上のセンサと、前記一つ以上のセンサの短期運動情報を推定し、前記フレームイメージから前記一つ以上のセンサの長期運動情報を推定し、前記短期運動情報及び前記長期運動情報からアテンション情報を算出し、前記長期運動情報を前記アテンション情報に基づいて補正することによって現在フレームに対する最終長期運動情報を決定する１つ以上のプロセッサとを含む。
【0027】
前記一つ以上のセンサは１つ以上のイメージセンサを含み、前記一つ以上のプロセッサは、前記決定された最終長期運動情報に基づいて前記一つ以上のイメージセンサの走行経路を決定するようにさらに構成され得る。
【発明の効果】
【0028】
本発明によると、エゴモーション情報推定装置は、短期運動情報及び長期運動情報を活用して位置及び姿勢を推定することで、微細な誤差まで補正することができる。
【図面の簡単な説明】
【0029】
【図1】一実施形態に係るエゴモーションモデルの例示的な構造を説明する図である。
【図2】一実施形態に係るエゴモーション情報推定方法を説明するフローチャートである。
【図3】一実施形態に係るエゴモーション情報推定過程を説明する図である。
【図4】一実施形態に係るエゴモーションモデルを用いたエゴモーション情報推定演算を説明する図である。
【図5】一実施形態に係るアテンションモデルを用いたアテンション演算を説明する図である。
【図6】一実施形態に係るエゴモーションモデル及びアテンションモデルをトレーニングさせる方法を説明するフローチャートである。
【図7】一実施形態に係るエゴモーションモデル及びアテンションモデルのトレーニング過程を説明する図である。
【図8】他の一実施形態に係るエゴモーション情報推定方法を説明するフローチャートである。
【図9】他の一実施形態に係るエゴモーション情報推定過程を説明する図である。
【図10】他の一実施形態に係るエゴモーション情報推定過程を説明する図である。
【図13】更なる一実施形態に係るエゴモーション情報推定過程を説明する図である。
【図14】一実施形態に係るエゴモーション情報推定装置の構成を説明するブロック図である。
【図15】一実施形態に係るエゴモーション情報推定装置の構成を説明するブロック図である。
【図16】一実施形態に係るエゴモーション情報推定装置が車両に装着された状況を説明する図である。
【発明を実施するための形態】
【0030】
下記で説明する実施形態は様々な変更が加えられ得る。特許出願の範囲はこのような実施形態によって制限も限定もされない。各図面に提示した同じ参照符号は同じ部材を示す。
【0031】
本明細書で開示する特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示したものであり、実施形態は様々な異なる形態で実施され、本発明は本明細書で説明した実施形態に限定されるものではない。
【0032】
本明細書で用いる用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、一つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0033】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本発明が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0034】
また、図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【0035】
図１は、一実施形態に係るエゴモーションモデルの例示的な構造を説明する図である。
【0036】
本明細書における「モデル」は、後述するプロセッサのうちの１つ又はその組合せによって実際に実行される演算モデルを示す。一実施形態に係るエゴモーション情報推定装置は、エゴモーションモデル及びアテンションモデルに基づいて入力イメージからエゴモーション情報を推定する。入力イメージは、複数のフレームに対応するフレームイメージを含む。本明細書においてフレームは、時間を分割する単位フレームを示す。入力イメージの個別フレームイメージはカラーイメージであって、カラーイメージの各ピクセルは色値を示す。ただし、フレームイメージをカラーイメージに限定されるものではなく、他のフォーマットのイメージが使用されてもよい。
【0037】
本明細書において、エゴモーション情報（ｅｇｏ－ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、センサ自体の運動に関する情報として、基準フレームから対象フレームまでセンサのエゴモーション（又は自体運動）の変化量を示す。例えば、エゴモーション情報は、基準フレームから対象フレームまでのセンサの回転変化量及び平行移動変化量を含む。言い換えれば、エゴモーション情報は、基準フレームでセンサの姿勢（ｐｏｓｅ）及び位置を基準にして、対象フレームでセンサが回転した程度及び移動した程度を示す。センサが任意の機器（例えば、車両、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）など）に装着された場合、エゴモーション情報は、機器のエゴモーションの変化量を示してもよい。以下では、エゴモーション情報はセンサに関する情報として主に説明するが、これに限定されるものではなく、センサのエゴモーション情報の代わりに機器のエゴモーション情報が適用されてもよい。
【0038】
例えば、エゴモーション情報は、長期エゴモーション情報（ｌｏｎｇ－ｔｅｒｍ ｅｇｏ－ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）及び短期エゴモーション情報（ｓｈｏｒｔ－ｔｅｒｍ ｅｇｏ－ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を含む。長期エゴモーション情報は、現在フレーム（例えば、ｋ番目のフレーム）及び長期基準フレーム（例えば、ｋ－ｎ番目のフレーム）の間でセンサのエゴモーションの変化量を示す。ここで、ｎは１以上の整数であり、ｋはｎ以上の整数である。ｋがｎ未満である場合については後述する。短期エゴモーション情報は、主に、現在フレーム（例えば、ｋ番目のフレーム）及び短期基準フレーム（例えば、ｋ－１番目のフレーム）の間のセンサのエゴモーションの変化量を示す。ただし、短期エゴモーション情報の短期基準フレームを直前のフレーム（例えば、ｋ－１番目のフレーム）に限定されるものではない。短期基準フレームと現在フレームとの間のフレーム個数は、長期基準フレームと現在フレームとの間のフレーム個数であるｎよりも小さくてもよい。以下、長期エゴモーション情報は長期運動情報に示し、短期エゴモーション情報は短期運動情報に示す。
【0039】
対象フレームは、エゴモーション情報推定の対象となるフレームとして、例えば、以下では主に対象フレームが現在の時点に対応する現在フレームであると説明する。基準フレームは、対象フレームに対して基準となるフレームとして、時間的に対象フレームよりも以前フレームを示す。
【0040】
エゴモーションモデルは、入力イメージで様々なフレーム間隔のフレームイメージから対象フレームに対応する初期エゴモーション情報を推定するためのモデルを示す。フレーム間隔は、例えば、長期フレーム間隔（ｌｏｎｇ－ｔｅｒｍ ｆｒａｍｅ ｉｎｔｅｒｖａｌ）及び短期フレーム間隔（ｓｈｏｒｔ－ｔｅｒｍ ｆｒａｍｅ ｉｎｔｅｒｖａｌ）を含む。エゴモーションモデルは、フレームイメージから特徴データを抽出し、抽出された特徴データから初期エゴモーション情報を出力するように設計される。特徴データは、イメージが抽象化されたデータとして、例えば、ベクトル又は異なる多次元形態（ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌ ｆｏｒｍｓ）のように示す。特徴データは、例えば、下記のニューラルネットワーク１００のうちの畳み込みレイヤに基づいて実行される畳み込みフィルタリングを介して抽出されたデータであり得る。
【0041】
アテンションモデルは、エゴモーションモデルに基づいて推定された初期エゴモーション情報からアテンション情報を推定するためのモデルを示す。アテンション情報は、レイヤを介して抽出されるデータのうち、特定目的のためにアテンションされなければならないデータを指示したり、強調するための情報として、例えば、本明細書では、初期エゴモーション情報から抽出された特徴データのうち、長期エゴモーション情報を補正するために抽出された情報を示す。アテンションモデルも図１を参照して説明されたニューラルネットワーク１００に対応する構造を含む。ただし、アテンションモデルでは畳み込みフィルタリングが排除されるが、アテンションモデルを通したアテンション情報の抽出については、下記の図５を参照してより詳細に説明する。
【0042】
エゴモーションモデル及びアテンションモデルは、例えば、機械学習構造であってもよく、ニューラルネットワーク１００を含む。
【0043】
ニューラルネットワーク１００は、ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の例示に該当する。ＤＮＮは、完全接続ネットワーク（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｎｅｔｗｏｒｋ）、ディープ畳み込みネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）及びリカレントニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などを含む。ニューラルネットワーク１００は、ディープランニングに基づいて非線形の関係にある入力データ及び出力データを互いにマッピングすることで、オブジェクト分類、オブジェクト認識、音声認識、イメージ認識、及びエゴモーション情報推定などを行う。ディープランニングは、ビッグデータセットからエゴモーション情報推定のような問題を解決するための機械学習方式として、指導式（ｓｕｐｅｒｖｉｓｅｄ）又は非指導式（ｕｎｓｕｐｅｒｖｉｓｅｄ）学習を介して、入力データ及び出力データを互いにマッピングすることができる。
【0044】
図１を参照すると、ニューラルネットワーク１００は、入力レイヤ１１０、隠れレイヤ１２０、及び出力レイヤ１３０を含む。入力レイヤ１１０、隠れレイヤ１２０、及び出力レイヤ１３０はそれぞれ複数の人工ノードを含む。
【0045】
図１には、説明の便宜のために隠れレイヤ１２０が３つのレイヤを含むものとして示されているが、隠れレイヤ１２０は様々な数のレイヤを含んでもよい。また、図１には、ニューラルネットワーク１００は、入力データを受信するための別途の入力レイヤを含むものとして示されているが、入力データが隠れレイヤ１２０に直接入力されてもよい。例えば、隠れレイヤ１２０の１番目のレイヤに入力データが入力されてもよい。ニューラルネットワーク１００で出力レイヤ１３０を除いたレイヤの人工ノードは、出力信号を送信するためのリンクを介して次のレイヤの人工ノードに接続される。リンクの数は、次のレイヤに含まれた人工ノードの数に対応する。
【0046】
以前隠れレイヤ１２０の人工ノードの活性関数出力は、以前隠れレイヤ１２０の人工ノードの加重された入力に関連し、それぞれが個別的に次の現在隠れレイヤ１２０の人工ノードに入力される。ここで、以前隠れレイヤ１２０の人工ノードからの入力活性出力は、例えば、以前隠れレイヤ１２０及び入力レイヤ１１０、又はさらに前の隠れレイヤ１２０の間の個別加重された接続又はリンクであり、以前隠れレイヤ１２０の個別人工ノード又は以前隠れレイヤ１２０の人工ノードに先行して加重されたものであってもよい。したがって、加重された結果は、以前隠れレイヤ１２０の人工ノードのそれぞれに対して、人工ノードの該当入力（例えば、入力レイヤ１１０又はさらに前の隠れレイヤ１２０からの入力）のそれぞれに該当の加重値を乗算することにより取得される。この加重値は、ニューラルネットワーク１００のパラメータと称されてもよく、例えば、ニューラルネットワーク１００のトレーニングパラメータは、ニューラルネットワーク１１０のトレーニングされた前に依存的であり得る。個別的に実現される活性関数は、シグモイド（ｓｉｇｍｏｉｄ）、双曲線タンジェント（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ；ｔａｎｈ）及びＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）の１つ又は組合わせを含み、活性関数によってニューラルネットワーク１００に非線形性が導入される。したがって、例示的に、以前隠れレイヤ１２０に含まれた人工ノードの加重された入力が、現在隠れレイヤ１２０の人工ノードの全て又は一部のそれぞれに個別的に、以前隠れレイヤ１２０に含まれた人工ノードのこのような個別的に加重された入力を介して入力される。図１の例示において、現在隠れレイヤ１２０が最終階層の隠れレイヤ１２０である場合、最終隠れレイヤ１２０の個別人工ノードの活性結果は、最終隠れレイヤ１２０及び出力レイヤ１３０の人工ノードのそれぞれの間の各連結に対して個別的に類似に加重される。ここで、ニューラルネットワーク１２０の数多くの加重値又はパラメータは、隠れレイヤ及び出力レイヤの人工ノード間の各連結又はリンクに対して個別化される。例えば、数多くの加重値又はパラメータは、特定の目的のためにニューラルネットワーク１００の特定のトレーニングを介して予め設定されてもよいし、あるいは予め決定されていてもよい。
【0047】
エゴモーション情報推定装置は、各隠れレイヤ１２０に以前隠れレイヤ１２０に含まれた以前隠れノードの出力を連結加重値又は加重された連結を有する接続線を介して入力し、以前隠れノードの出力に連結加重値の適用された値及び活性化関数に基づいて隠れレイヤ１２０に含まれた隠れノードの出力を生成する。ニューラルプロセッサ（ＮＰＵ）の例示において、このような出力活性は電気的パルス又はスパイク又は特定するようにタイミングされたパルス又はスパイク又は一連のパルス又はスパイクの形態であってもよく、各隠れノードは、後続隠れレイヤ又は出力レイヤの次の隠れノードへの電気的な接続により運搬される出力パルス又はスパイクを発火（ｆｉｒｅ）又は生成するように構成される。例えば、各隠れノードは、結果が現在の隠れノードの設定された閾値を超過する場合、該当の活性化関数の結果を伝搬するように構成される。ここで、設定された閾値は、以前レイヤの様々な隠れノードから現在の隠れノードまでの個別接続のトレーニングされた連結加重値、及び以前隠れレイヤの様々な隠れノードから現在の隠れノードまでの入力活性に依存的である。この場合、ノードは、入力ベクトルを介して特定の閾値活性化の強度に達する前には、次のノードへ信号を発火又は伝搬せず、不活性化状態を保持するものと見なす。例えば、入力ベクトルは、以前の時間で自体生成されたものとして、又は１つ以上の以前レイヤ及び／又は他のレイヤから活性として生成された入力特徴ベクトルであってもよい。エゴモーションモデル及びアテンションモデルについても接続線、例えば、エゴモーションモデルの出力接続線及びアテンションモデルの入力接続線によって接続されてもよい。エゴモーションモデル及びアテンションモデルの接続は、下記の図５を参照して説明する。
【0048】
一実施形態によれば、エゴモーションモデルは、隠れレイヤ１２０として少なくとも１つの畳み込みレイヤを含む。エゴモーション情報推定装置は、エゴモーションモデルの畳み込みレイヤに基づいて、エゴモーションモデルに入力されるフレームイメージに対して畳み込みフィルタリングを行う。エゴモーション情報推定装置は、カーネルマスク（ｋｅｒｎｅｌ ｍａｓｋ）及びフレームイメージの間に畳み込み演算を適用することで、畳み込みフィルタリングを行うことができる。カーネルマスクの形態、大きさ、及び構造は、トレーニングされたエゴモーションモデルを生成するために実行されたトレーニングに応じて変わり、カーネルマスクの様々な形態、大きさ、及び構造が存在する。エゴモーション情報推定装置は、エゴモーションモデルに基づいて畳み込みフィルタリングを行うことで、フレームイメージから特徴データを抽出することができる。その後、エゴモーション情報推定装置は、抽出された特徴データをエゴモーションモデルの残りのレイヤに順次伝搬し、エゴモーションモデルの出力レイヤ１３０で、初期エゴモーション情報（例えば、長期エゴモーション情報及び短期エゴモーション情報）を生成する。
【0049】
ニューラルネットワーク１００の幅と深度が十分大きければ、任意の関数を実現する程の容量を有することができる。ニューラルネットワーク１００は、例えば、センサによって撮影されたフレームイメージからセンサのエゴモーション情報を出力する関数を実現する。ニューラルネットワーク１００の構造を有するトレーニングのうち、ニューラルネットワークが適切なトレーニング過程を介して十分に多いトレーニングデータを学習すれば、その結果、トレーニングされたニューラルネットワーク１００は、最適な推定性能を達成することができる。例えば、トレーニングは、所定の最適な性能を正確度及び／又は不正確度が充足するまで、トレーニングのうちのニューラルネットワークのパラメータの調整を含む。参考として、一実施形態に係るエゴモーションモデル及びアテンションモデルは、非指導方式でトレーニングされることができ、それについては図６及び図７を参照して説明する。
【0050】
【0051】
【0052】
まず、エゴモーション情報推定装置は、現在フレームのフレームイメージを取得する。例えば、センサが車両の前方に向かうように装着された場合、センサは、車両の前方視野に対応する場面を含んでいるフレームイメージを生成する。図３において、フレームイメージ３０１は、０番目のフレームイメージＩ０ないしｋ番目のフレームイメージＩｋを含む。ここで、ｋ＞ｎである場合について説明し、ｋがｎ以下である場合は下記で後述する。ｎは１以上の整数であり、ｋはｎを超過する整数である。
【0053】
参考として、ｋ番目のフレームまで、エゴモーション情報推定装置はその以前フレーム（例えば、０番目ないしｋ－１番目のフレーム）に対応するフレームイメージ３０１を累積する。例えば、エゴモーション情報推定装置は、ｋ番目のフレームからその以前のｎ個のフレームまでのフレームイメージ３０１（例えば、ｋ－ｎ番目のフレームないしｋ番目のフレームのフレームイメージ）を累積する。
【0054】
そして、ステップＳ２１０において、エゴモーション情報推定装置は、短期運動情報を推定する。一実施形態に係るエゴモーション情報推定装置は、連続するフレームのフレームイメージ３０１からフレームイメージ３０１を取得したセンサの短期運動情報（ｓｈｏｒｔ－ｔｅｒｍ ｅｇｏ－ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を推定する。例えば、エゴモーション情報推定装置は、エゴモーションモデル３１０に基づいてフレームイメージ３０１から短期運動情報を推定する。エゴモーション情報推定装置は、短期基準フレームから現在フレームまでセンサのエゴモーションの変化量を推定する。エゴモーション情報推定装置は、短期基準フレームに対応するフレームイメージ及び現在フレームに対応するフレームイメージからエゴモーションモデル３１０に基づいて短期運動情報を推定する。例えば、エゴモーション情報推定装置は、現在フレームとしてｋ番目のフレーム、及びその直前のフレームとしてｋ－１番目のフレームに対応するフレームイメージ３０１からエゴモーションモデル３１０に基づいて、現在フレームに対応する初期短期運動情報ＳＰｋ、ｋ－１を推定する。
【0055】
参考として、エゴモーション情報推定装置は、以前フレームまで推定された初期短期運動情報を累積する。例えば、エゴモーション情報推定装置は、ｋ－ｎ＋１番目のフレームに対応する短期運動情報ＳＰｋ－ｎ＋１、ｋ－ｎ、ｋ－ｎ＋２番目のフレームに対応する短期運動情報ＳＰｋ－ｎ＋２、ｋ－ｎ＋１ないしｋ－１番目のフレームに対応する短期運動情報ＳＰｋ－１、ｋ－２を累積して格納する。ＳＰｉ、ｊはｉ番目のフレームに対応する短期運動情報として、ｊ番目のフレームからｉ番目のフレームまでの短期運動変化量を示す。ｉ及びｊは０以上の整数であり、ｉはｊよりも大きくてもよい。
【0056】
次に、ステップＳ２２０において、エゴモーション情報推定装置は、長期運動情報を推定する。一実施形態に係るエゴモーション情報推定装置は、フレームイメージ３０１からセンサの長期運動情報（ｌｏｎｇ－ｔｅｒｍ ｅｇｏ－ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を推定する。例えば、エゴモーション情報推定装置は、エゴモーションモデル３１０に基づいてフレームイメージ３０１から短期運動情報を推定する。エゴモーション情報推定装置は、長期基準フレームから現在フレームまでセンサのエゴモーションの変化量を推定する。エゴモーション情報推定装置は、長期基準フレームに対応するフレームイメージ及び現在フレームイメージに対応するフレームイメージからエゴモーションモデル３１０に基づいて長期運動情報を推定する。例えば、エゴモーション情報推定装置は、ｋ番目のフレーム及び長期基準フレームとしてｋ－ｎ番目のフレームに対応するフレームイメージ３０１からエゴモーションモデル３１０に基づいて現在フレームに対応する初期長期運動情報ＬＰｋ、ｋ－ｎを推定する。ＬＰｉ、ｊはｉ番目のフレームに対応する長期運動情報として、ｊ番目のフレームからｉ番目のフレームまでの長期運動変化量を示す。
【0057】
上述したステップＳ２１０，Ｓ２２０では、エゴモーションモデル３１０が２枚のフレームイメージ３０１から、対象フレーム（例えば、現在フレーム）に対応するエゴモーション情報を出力するように設計された構造について説明したが、これに限定することはない。設計に応じて、エゴモーションモデル３１０は、複数のフレームイメージ３０１から対象フレームに対応するエゴモーション情報を出力するように設計されてもよい。
【0058】
そして、ステップＳ２３０において、エゴモーション情報推定装置は、短期運動情報及び長期運動情報からアテンション情報を算出する。例えば、エゴモーション情報推定装置は、アテンションモデル３２０に基づいて、短期運動情報及び長期運動情報から、アテンション情報を算出する。
【0059】
次に、ステップＳ２４０において、エゴモーション情報推定装置は、長期運動情報をアテンション情報に基づいて補正する。エゴモーション情報推定装置は、長期運動情報にアテンション情報を適用することで、現在フレームに対する最終長期運動情報３０９ＬＰ’’ｋ、ｋ－ｎを決定する。補正動作３３０は、現在フレームに対応する初期長期運動情報ＬＰｋ、ｋ－ｎにアテンション情報を適用する動作を示す。例えば、初期長期運動情報ＬＰｋ、ｋ－ｎ及びアテンション情報が互いに同じ次元の行列データで算出される場合、補正動作３３０は、初期長期運動情報ＬＰｋ、ｋ－ｎにアテンション情報を行列の積にして適用してもよいし、加算して適用する動作であってもよい。ただし、補正動作３３０がこれに限定されるものではなく、初期長期運動情報ＬＰｋ、ｋ－ｎ及びアテンション情報のデータ形態に応じて変わり得る。上述した補正動作３３０を介して、エゴモーション情報推定装置は、長期基準フレーム（ｌｏｎｇ－ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）から現在フレームまでセンサの最終エゴモーションの変化量を決定する。ここで、長期基準フレームは、現在フレームから予め決定されたフレーム個数ｎの以前フレームとして決定される。ｎは、１以上の整数であり得る。
【0060】
その後、一実施形態に係るエゴモーション推定装置は、決定された最終長期運動情報３０９に基づいて、現在フレームに対する最終短期運動情報を決定する。例えば、エゴモーション推定装置は、以前フレームで決定された最終長期運動情報ＬＰ’ｋ－１、ｋ－ｎ－１、長期基準フレーム（例えば、ｋ－ｎ番目のフレーム）に対応する最終短期運動情報ＳＰ’ｋ－ｎ、ｋ－ｎ－１、及び現在フレームの最終長期運動情報３０９ＬＰ’ｋ、ｋ－ｎに基づいて、現在フレームに対する最終短期運動情報ＳＰ’ｋ、ｋ－１を決定する。例えば、最終短期運動情報ＳＰ’ｋ、ｋ－１は下記の数式（３）のように表現される。
【0061】
【数1】
まず、上述した数式（１）は任意のエゴモーション情報のデータ形式を示す。例えば、Ｒ（３×３）は３×３次元の行列として、センサの３次元空間で３つの軸に対する回転変化量を示し、Ｔ（３×１）は３×１次元の行列として、平行移動変化量を示す。したがって、エゴモーション情報は、回転行列及び平行移動行列を含むエゴモーション行列（例えば、ＳＥ３フォーマットの行列）として表現される。ただし、以下では、説明及び算出の便宜のために、エゴモーション情報を行列として説明するものであり、他の形式のデータが使用されてもよい。
【0062】
上述した数式（２）は、ｋ－ｎ番目のフレームからｋ番目のフレームまでのエゴモーション情報Ｐｋ、ｋ－ｎを示す。数式（２）に上述したように過去フレームに対応するエゴモーション行列に、その次フレームに対応するエゴモーション行列を行列の積にして適用することで併合する。したがって、数式（２）に示されるようにｋ－ｎ番目のフレームからｋ番目のフレームまでのエゴモーション情報Ｐｋ、ｋ－ｎは、ｋ－ｎ番目のフレームからｋ－１番目のフレームまでのエゴモーション情報Ｐｋ－１、ｋ－ｎ及びｋ－１番目のフレームからｋ番目のフレームまでのエゴモーション情報Ｐｋ、ｋ－１の行列の積のように表現される。
【0063】
数式（２）の両辺にエゴモーション情報Ｐｋ－１、ｋ－ｎの逆行列を乗算する場合、数式（３）に示されるように、ｋ－１番目のフレームからｋ番目のフレームまでの最終短期運動情報ＳＰ’ｋ、ｋ－１が算出される。エゴモーション情報推定装置は、以前フレームであるｋ－１番目のフレームで、ｋ－ｎ番目のフレームに対する最終短期運動情報ＳＰ’ｋ－ｎ、ｋ－ｎ－１、ｋ－１番目のフレームに対応する最終長期運動情報ＬＰ'k-1,k-n-1、現在フレームであるｋ番目のフレームのステップＳ２４０でｋ番目のフレームに対応する最終長期運動情報３０９ＬＰ’ｋ、ｋ－ｎを算出したため、現在フレームに対する最終短期運動ＳＰ’ｋ、ｋ－１を上述した数式（３）により算出することができる。
【0064】
ここまで、ｋ＞ｎである場合について主に説明したが、以下ではｋ＜ｎである場合、及びｋ＝ｎである場合の動作について説明する。表１は、ｋに応じて各動作で算出される情報を示す。
【0065】
【表1】
【0066】
したがって、ｋ＜ｎであるｋ番目のフレームでは、エゴモーション情報推定装置は、最初フレームから現在フレームまで収集されたフレームイメージ３０１の個数がフレーム個数（ｆｒａｍｅ ｎｕｍｂｅｒ）ｎ未満の場合に応答して、短期運動情報ＳＰｋ、ｋ－１を最終短期運動情報として決定する。ｋ＜ｎである間、エゴモーション情報推定装置は、ステップＳ２１０で、ｋ番目のフレームに対応する短期運動情報ＳＰｋ、ｋ－１を推定する動作を繰り返すことができる。
【0067】
ｋ＝ｎであるｋ番目のフレームでは、初めてｎ番目のフレームに対応する最終長期運動情報ＬＰ'n.0をエゴモーション情報推定装置が算出することができる。ただし、ｎ－１番目のフレームに対応する長期運動情報は推定されていないため、エゴモーション情報推定装置は、０番目のフレームないしｎ－１番目のフレームに対応するエゴモーション情報Ｐｎ－１、０を１番目のフレームないしｎ－１番目のフレームに対応する短期運動情報ＳＰ１、０、…、ＳＰｎ－１、ｎ－２の行列の積に代替できる。したがって、エゴモーション情報は、ｎ番目のフレームで下記の数式（４）によりｎ番目のフレームに対する最終短期運動情報ＳＰ’ｎ、ｎ－１を算出する。
【0068】
【数2】
【0069】
図４は、一実施形態に係るエゴモーションモデルを用いたエゴモーション情報推定演算を説明する図である。
【0070】
一実施形態によれば、エゴモーション情報推定装置は、エゴモーションモデルに基づいて短期運動情報（例えば、ＳＰｋ－ｎ＋１、ｋ－ｎないしＳＰｋ、ｋ－１）及び長期運動情報（例えば、ＬＰｋ、ｋ－ｎ）を算出する。
【0071】
エゴモーション情報推定装置は、例えば、現在フレームに対する現在フレームイメージが受信される場合に応答して、現在フレーム（例えば、ｋ番目のフレーム）及び短期基準フレーム（例えば、ｋ－１番目のフレーム）の間の短期運動情報ＳＰｋ、ｋ－１をエゴモーションモデル（ｅｇｏ－ｍｏｔｉｏｎ ｍｏｄｅｌ）に基づいて推定する。エゴモーション情報推定装置は、フレームごとに算出された短期運動情報を累積して格納する。エゴモーション情報推定装置は、現在フレームからｎ個の以前フレーム（例えば、ｋ－ｎ番目のフレームないしｋ番目のフレーム）に対応する短期運動情報を保管する。エゴモーション情報推定装置は、ｎ個のフレームに関する情報（例えば、短期運動情報及び長期運動情報など）を保管し、その以前フレームに関する情報を削除してもよい。
【0072】
また、エゴモーション情報推定装置は、現在フレームイメージが受信される場合に応答して、現在フレーム（例えば、ｋ番目のフレーム）及び長期基準フレーム（例えば、ｋ－ｎ番目のフレーム）の間の長期運動情報ＬＰｋ、ｋ－ｎをエゴモーションモデルに基づいて推定する。
【0073】
一実施形態によれば、短期運動情報及び長期運動情報は、互いに同じエゴモーションモデルに基づいて推定される。この場合、エゴモーション情報推定装置は、固定された構造及び固定されたパラメータのエゴモーションモデルをフレームごとに順次実施し、フレームごとに対応するエゴモーション情報をフレームイメージ３０１から算出する。
【0074】
ただし、これに限定されるものではなく、図４に示すように、エゴモーション情報推定装置は、ｎ＋１個のエゴモーションモデルＰｏｓｅＮｅｔ－１ないしＰｏｓｅＮｅｔ－ｎ、及びＰｏｓｅＮｅｔ－Ｌを含んでもよい。エゴモーションモデルＰｏｓｅＮｅｔ－１ないしＰｏｓｅＮｅｔ－ｎ、及びＰｏｓｅＮｅｔ－Ｌのそれぞれは、各フレームに対応する短期運動情報及び長期運動情報を算出するために使用される。ここで、エゴモーションモデルＰｏｓｅＮｅｔ－１ないしＰｏｓｅＮｅｔ－ｎ、及びＰｏｓｅＮｅｔ－Ｌのそれぞれは、互いに異なる構造及びそれぞれ異なるようにトレーニングされたパラメータ（例えば、連結加重値）を含む。
【0075】
また、エゴモーション情報推定装置は、フレームイメージ３０１のうち、連続するフレームイメージの対（ｆｒａｍｅ ｉｍａｇｅ ｐａｉｒ）から短期エゴモーションモデル４１１に基づいて短期運動情報を推定することができる。連続するフレームイメージの対は、時間的に離隔した２つのフレームイメージを示す。エゴモーション情報推定装置は、フレームイメージ３０１のうち、対象フレームイメージ及び基準フレームイメージから長期エゴモーションモデル４１２に基づいて長期運動情報を推定する。ここで、短期エゴモーションモデル４１１のパラメータ及び長期エゴモーションモデル４１２のパラメータはそれぞれ異なってもよい。
【0076】
図５は、一実施形態に係るアテンションモデルを用いたアテンション演算を説明する図である。
【0077】
一実施形態に係るエゴモーション情報推定装置は、短期運動情報及び長期運動情報から、アテンションモデル３２０に基づいてアテンション情報を抽出する。例えば、エゴモーション情報推定装置は、短期運動情報及び長期運動情報からアテンション要素を抽出し得る。アテンション要素は、短期運動情報に対応するキーデータＫで長期運動情報に対応するクエリデータＱに類似のキー（ｋｅｙ）に高い加重値が付与されたデータを示す。エゴモーション情報推定装置は、短期運動情報からアテンション加重値を抽出する。エゴモーション情報推定装置は、アテンション要素及びアテンション加重値Ｖに基づいてアテンション情報を生成する。アテンションモデル３２０は、畳み込みフィルタリングなしで、プーリング、スケーリング、及び行列の積演算などから構成される。
【0078】
例えば、図５に示すように、エゴモーションモデルの出力は、アテンションモデル３２０の入力に接続される。エゴモーション情報推定装置は、アテンションモデル３２０を介して、エゴモーションモデルで出力された短期運動情報からキーデータＫを抽出し、長期運動情報からクエリデータＱを抽出して行列の積５２１、スケーリング演算５２２、及びソフトマックス演算５２３を順次適用し、上述したアテンション要素を抽出する。アテンション要素は、キーデータ及びクエリデータでアテンションされなければならない情報を指示する。キーデータは、短期運動情報からプーリング動作５２９を介して抽出されたデータを示し、クエリデータは、長期運動情報から抽出されたデータを示す。エゴモーション情報推定装置は、短期運動情報からプーリング動作５２９を介して抽出されたアテンション加重値Ｖ及びアテンション要素に行列の積５２４を適用し、その結果に線形関数５２５を適用することでアテンション情報を算出することができる。したがって、アテンション情報は、キーデータＫでクエリデータＱに類似の情報の比重が増加した加重値を示す。
【0079】
また、図５では、エゴモーション情報がアテンションモデル３２０に入力されるものと説明したが、これに限定されるものではなく、エゴモーション情報から出力される以前の特徴データ、例えば、エゴモーション特徴がアテンションモデル３２０から入力されてもよい。
【0080】
エゴモーション情報特徴装置は、上述したように長期運動情報にアテンション情報を反映する補正動作３３０を介して最終長期運動情報３０９を決定する。
【0081】
参考として、本明細書では、図５に示された長期エゴモーションモデル５１１のように、入力レイヤから出力レイヤに行くほど、レイヤのノード個数が減少するように構成されたモデル（例えば、ニューラルネットワーク）を例に挙げて説明する。ただし、これに限定することはない。
【0082】
図６は、一実施形態に係るエゴモーションモデル及びアテンションモデルをトレーニングさせる方法を説明するフローチャートである。図７は、一実施形態に係るエゴモーションモデル及びアテンションモデルのトレーニング過程を説明する図である。
【0083】
まず、ステップＳ６１０において、エゴモーション情報推定装置は、トレーニングイメージ７０１からｎ個シーケンスのフレームイメージを抽出する。ここで、トレーニングイメージは、入力イメージと別個のイメージであってもよいが、これに限定することはない。一実施形態に係るトレーニングは、与えられるイメージに対して真の値（ｇｒｏｕｎｄ ｔｒｕｔｈ）がなくても実行されることができる非指導学習方法であるため、入力イメージがトレーニングイメージとして使用されてもよい。
【0084】
そして、ステップＳ６２０において、エゴモーション情報推定装置は、臨時深度情報７４９を生成する。例えば、エゴモーション情報推定装置は、トレーニングイメージ７０１から深度モデル７４０に基づいて以前フレームの臨時深度情報７４９を生成する。エゴモーション情報推定装置は、ｋ－１番目のフレームに対応するトレーニングイメージ７０１（例えば、トレーニングステレオイメージとしてＩｋ－１、ｌ、及びＩｋ－１、ｒ）から深度モデル７４０に基づいてｋ－１番目のフレームに対応する臨時深度情報７４９を生成する。深度モデル７４０は、ステレオイメージ（例えば、２つのカラーイメージ）から深度イメージを生成するように設計されたモデルを示す。
【0085】
深度情報はセンサの視野角に含まれる地点の深度に関する情報として深度イメージを含んでもよく、深度イメージは、センサから地点までの距離を示すイメージであってもよい。例えば、深度イメージで各ピクセルのピクセル値は、センサから各ピクセルが指示する地点の物理的位置までの距離値を示す。深度イメージは、一対のカメラセンサによって取得されたステレオイメージ（例えば、左映像及び右映像）から変換されたイメージであり得るが、これに限定されるものではなく、深度センサによって取得されたイメージであってもよい。
【0086】
トレーニングステレオイメージはステレオイメージとして、ｋ－１番目のフレームに対応する第１トレーニングイメージＩｋ－１、ｌは左映像（ｌｅｆｔ ｉｍａｇｅ）であり、第２トレーニングイメージＩｋ－１、ｒは右映像（ｒｉｇｈｔ ｉｍａｇｅ）である。左映像は、一対のカメラセンサのうち機器（例えば、車両）の中心から左側に配置されたカメラセンサから取得されたイメージを示し、右映像は、右側に配置されたカメラセンサから取得されたイメージを示す。ただし、ステレオイメージを上述したように左映像及び右映像に限定されることなく、ステレオイメージは、互いに離隔して配置された一対のカメラセンサから取得された２つのイメージを示す。
【0087】
深度モデル７４０は、図６を参照して説明するトレーニング過程の前に予めトレーニングが完了したモデルであって、ニューラルネットワークであり得る。ただし、これに限定されるものではなく、深度モデル７４０は、モデル及び図７で説明するトレーニング過程の間にトレーニングされてもよい。
【0088】
次に、ステップＳ６３０において、エゴモーション情報推定装置は、エゴモーションモデル３１０及びアテンションモデル３２０に基づいて臨時長期運動情報７０９を生成し、臨時短期運動情報７０８を算出する。例えば、エゴモーション情報推定装置は、トレーニングイメージ７０１からエゴモーションモデル３１０及びアテンションモデル３２０に基づいて臨時長期運動情報７０９を生成し、臨時長期運動情報７０９から臨時短期運動情報７０８を算出する。臨時短期運動情報７０８の算出は、図２～図５を参照して上述した通りである。
【0089】
そして、ステップＳ６４０において、エゴモーション情報推定装置は、臨時短期運動情報７０８に基づいて臨時深度情報７４９からワーピングイメージ（ｗａｒｐｅｄ ｉｍａｇｅ）Ｉｗ’（ｋ）を生成する。例えば、エゴモーション情報推定装置は、以前フレームの臨時深度情報７４９及び臨時短期運動情報７０８に基づいて、現在フレームのワーピングイメージＩｗ’（ｋ）を生成する。
【0090】
例えば、ステップＳ６４０でエゴモーション情報推定装置は、ワーピング動作７５０を介してワーピングイメージＩｗ’（ｋ）を生成する。エゴモーション情報推定装置は、３次元座標生成動作７５１を介して臨時深度情報７４９から以前フレームに対応する３次元座標イメージＴｅｍｐｋ－１を生成する。エゴモーション情報推定装置は、３次元回転動作７５２を介して臨時長期運動情報７０９から算出された臨時短期運動情報７０８を用いて、以前フレームに対応する３次元座標イメージＴｅｍｐｋ－１を変換することで、現在フレームに対応する３次元座標イメージＴｅｍｐ’ｋを復元する。３次元座標イメージＴｅｍｐｋ－１、Ｔｅｍｐ’ｋは、イメージ（例えば、深度イメージ又はカラーイメージ）に示されるオブジェクト又は背景を３次元情報に示すイメージであり、３次元座標イメージＴｅｍｐｋ－１、Ｔｅｍｐ’ｋの各ピクセルのピクセル値は、任意の基準点を原点にする３次元座標値を有する。エゴモーション情報推定装置は、２次元イメージに投影動作７５３を介して現在フレームに対応する３次元座標イメージＴｅｍｐ’ｋを２次元に投影することで、２次元にワーピングされたワーピングイメージＩｗ’（ｋ）を生成する。したがって、ワーピングイメージＩｗ’（ｋ）は、以前フレーム（例えば、ｋ－１番目のフレーム）で推定された情報を用いて、ｋ－１番目のフレームのイメージがｋ番目のフレームに対応する姿勢及び位置に変換されたイメージであり得る。
【0091】
次に、ステップＳ６５０において、エゴモーション情報推定装置は、ワーピングイメージＩｗ’（ｋ）及びフレームイメージから損失７９０を算出してモデルをトレーニングさせる。例えば、エゴモーション情報推定装置は、トレーニングイメージ７０１のうち、現在フレームイメージ及びワーピングイメージＩｗ’（ｋ）から算出された損失７９０に基づいて、エゴモーションモデル３１０、アテンションモデル３２０、及び深度モデル７４０のうち少なくとも１つのモデルをトレーニングさせる。参考として、ワーピングイメージＩｗ’（ｋ）及びトレーニングイメージのピクセルのピクセル値は色値を示す。
【0092】
例えば、エゴモーション情報推定装置は、ｋ番目のフレームに対応するトレーニングイメージＩｋ、ｒ及びｋ番目のフレームに対応するワーピングイメージＩｗ’（ｋ）に基づいて損失７９０を算出する。例えば、エゴモーション情報推定装置は、２つのイメージ間のピクセル値の差としてＬ１値を算出してもよい。したがって、別途の真の値が与えられなくても、一実施形態に係るエゴモーション情報推定装置は、ｋ番目のフレームに対応するトレーニングイメージＩｋ、ｒ及びｋ番目のフレームに対応するワーピングイメージＩｗ’（ｋ）から損失７９０を算出し、非指導学習を行うことができる。エゴモーション情報推定装置は、算出された損失７９０が減少するように逆伝搬を介してエゴモーションモデル３１０、アテンションモデル３２０、及び深度モデル７４０のパラメータをアップデートする。エゴモーション情報推定装置は、損失７９０が任意の値に収斂されるまで各モデルのパラメータを繰り返してアップデートする。また、エゴモーション情報推定装置は、予め決定した回数の間損失７９０が減少するようにモデルのパラメータをアップデートする。
【0093】
図８は、他の一実施形態に係るエゴモーション情報推定方法を説明するフローチャートである。
【0094】
まず、ステップＳ８１０において、エゴモーション情報推定装置は、現在フレームイメージ及び以前フレームイメージからエゴモーションモデルに基づいて短期運動特徴を抽出する。短期運動特徴は、エゴモーションモデルに基づいて抽出された特徴データとして、エゴモーションモデルで短期運動情報から出力される以前レイヤの出力であり得る。
【0095】
そして、ステップＳ８２０において、エゴモーション情報推定装置は、抽出された短期運動特徴及び変形モデルに基づいて、以前フレームイメージ及び以前フレームから生成された深度イメージのうち少なくとも１つのイメージから現在フレームに対応する復元フレームイメージを生成する。以下、図９は、以前フレームイメージから復元フレームイメージを生成する例示を説明し、図１０は、深度イメージから復元フレームイメージを生成する例示を説明する。入力イメージのフレームイメージがカラーイメージである場合、復元フレームイメージも入力イメージと同じ色界のカラーイメージであり得る。
【0096】
次に、ステップＳ８３０において、エゴモーション情報推定装置は、復元フレームイメージ及び現在フレームイメージから補正情報を算出する。例えば、エゴモーション情報推定装置は、復元フレームイメージ及び現在フレームイメージからエゴモーションモデルに基づいて補正情報を算出する。復元フレームイメージは、現在フレームイメージと同じフレームに対して復元されたイメージであるから現在フレームイメージと同一でなければならず、エゴモーションモデルに復元フレームイメージ及び現在フレームイメージが入力される場合、姿勢の差（例えば、姿勢の誤差）がないものと出力されることが理想的である。ただし、実際には誤差が発生するが、このような誤差は補正情報として用いられてもよい。
【0097】
そして、ステップＳ８４０において、エゴモーション情報推定装置は、エゴモーションモデルに基づいて推定された現在フレームに対する短期運動情報に補正情報を適用することで、最終短期運動情報を算出する。
【0098】
【0099】
図９において、エゴモーション情報推定装置は、ｋ－１番目のフレームイメージＩｋ－１及びｋ番目のフレームイメージＩｋからエゴモーションモデル９１１に基づいて短期運動情報ＳＰｋ、ｋ－１を算出する。ここで、エゴモーション情報推定装置は、短期運動情報ＳＰｋ、ｋ－１が出力される以前レイヤの出力である短期運動特徴９２９を姿勢エンコーダ９２０に基づいて符号化する。
【0100】
一方、エゴモーション情報推定装置は、変形モデル９３０に基づいて、ｋ－１番目のフレームイメージＩｋ－１から符号化された短期運動特徴９２９を用いてｋ番目のフレームに対する復元フレームイメージＩ’ｋを生成する。例えば、エゴモーション情報推定装置は、変形モデル９３０のイメージエンコーダを介してｋ－１番目のフレームイメージＩｋ－１に対するイメージ特徴を抽出し、抽出されたイメージ特徴を符号化された短期運動特徴９２９と結合したデータをイメージデフォーマ（ｉｍａｇｅ ｄｅｆｏｒｍｅｒ）を介して復元フレームイメージＩ’ｋに復元する。
【0101】
エゴモーション情報推定装置は、エゴモーションモデル９１２に基づいて、復元フレームイメージＩ’ｋ及びｋ番目のフレームイメージＩｋ間の微細な姿勢誤差に対応する補正情報を算出することができる。エゴモーション情報推定装置は、補正動作９９０として現在フレームに対する短期運動情報ＳＰｋ、ｋ－１に補正情報を適用することで、最終短期運動情報９０９を算出する。ここで、エゴモーションモデル９１１，９１２は、互いに同じ構造で同じパラメータであり得るが、これに限定することはない。
【0102】
図１０において、エゴモーション情報推定装置は、図９に類似に、ｋ－１番目のフレームイメージＩｋ－１及びｋ番目のフレームイメージＩｋからエゴモーションモデル１０１１に基づいて短期運動情報ＳＰｋ、ｋ－１を算出する。ここで、エゴモーション情報推定装置は、短期運動情報ＳＰｋ、ｋ－１が出力される以前レイヤの出力である短期運動特徴１０２９を姿勢エンコーダ１０２０に基づいて符号化する。
【0103】
一方、エゴモーション情報推定装置は、ｋ－１番目のフレームイメージＩｋ－１からｋ－１番目のフレームに対応する深度イメージＤｋ－１を生成する。エゴモーション情報推定装置は、深度変形モデル１０４０に基づいて、ｋ－１番目深度イメージＤｋ－１から短期運動特徴１０２９を用いてｋ番目のフレームに対する深度イメージＤｋを復元し、ｋ番目のフレームに対する深度イメージＤｋからｋ番目のフレームに対する復元フレームイメージＩ’’ｋを生成する。例えば、エゴモーション情報推定装置は、変形モデル１０３０の深度エンコーダを介してｋ－１番目の深度イメージＤｋ－１に対する深度特徴を抽出し、抽出された深度特徴を符号化された短期運動特徴１０２９と結合したデータを深度デフォーマを介して深度イメージＤ’ｋに復元する。
【0104】
エゴモーション情報推定装置は、エゴモーションモデル１０１２に基づいて、復元フレームイメージＩ’’ｋ及びｋ番目のフレームイメージＩｋ間の微細な姿勢誤差に対応する補正情報を算出する。エゴモーション情報推定装置は、補正動作１０９０として現在フレームに対する短期運動情報ＳＰｋ、ｋ－１に補正情報を適用することで、最終短期運動情報１００９を算出する。ここで、エゴモーションモデル１０１１，１０１２は、互いに同じ構造で同じパラメータであり得るが、これに限定されることはない。
【0105】
図１１は、図９及び図１０を参照して説明された構造が結合されたモデルのトレーニング方法を説明するフローチャートである。図１２は、図９及び図１０を参照して説明された構造が結合されたモデルをトレーニングする過程を説明する図である。
【0106】
まず、ステップＳ１１１０において、エゴモーション情報推定装置は、トレーニングイメージの対（例えば、Ｔｒｋ－１、Ｔｒｋ）からエゴモーションモデルに基づいて短期運動特徴を抽出する。トレーニングイメージの対は、例えば、ｋ－１番目のフレームに対するトレーニングイメージＴｒｋ－１及びｋ番目のフレームに対するトレーニングイメージＴｒｋを含む。
【0107】
そして、ステップＳ１１２０において、エゴモーション情報推定装置は、抽出された短期運動特徴及び変形モデルに基づいて、トレーニングイメージのうち以前フレームイメージ及び以前フレームから生成された深度イメージのうち少なくとも１つのイメージから現在フレームに対応する臨時復元フレームイメージを生成する。例えば、エゴモーション情報推定装置は、エゴモーションモデル１２１０に基づいてトレーニングイメージの対Ｔｒｋ－１、Ｔｒｋから短期運動特徴を抽出し、抽出された短期運動特徴を姿勢エンコーダ１２２０を介して符号化し、イメージ変形モデル１２３０及び深度変形モデル１２４０にフォワーディングする。エゴモーション情報推定装置は、深度モデル１２５０から抽出された深度イメージＤｋ－１を深度変形モデル１２４０及び短期運動特徴に基づいて次のフレームの深度イメージＤｋに変換し、第２臨時復元フレームイメージＩ’’ｋを生成する。同様に、エゴモーション情報推定装置は、トレーニングイメージからイメージ変形モデル１２３０及び短期運動特徴に基づいて次のフレームの第１臨時復元フレームイメージＩ’ｋを生成する。
【0108】
次に、ステップＳ１１３０において、エゴモーション情報推定装置は、臨時復元フレームイメージ及びトレーニングイメージのうち現在フレームイメージから損失を算出する。エゴモーション情報推定装置は、第１臨時復元フレームイメージＩ’ｋ及び第１トレーニングイメージＴｒｋの間の第１損失１２９１（例えば、ピクセル値の差であるＬ１損失）を算出する。また、エゴモーション情報推定装置は、第２臨時復元フレームイメージＩ’’ｋ及び第１トレーニングイメージＴｒｋの間の第２損失１２９２（例えば、ピクセル値の差であるＬ１損失）を算出する。
【0109】
そして、ステップＳ１１４０において、エゴモーション情報推定装置は、算出された損失に基づいてモデルをトレーニングさせる。例えば、エゴモーション情報推定装置は、算出された損失が任意の値に収斂されるまで、各モデルのパラメータを繰り返しアップデートすることができる。
【0110】
図１３は、更なる一実施形態に係るエゴモーション情報推定過程を説明する図である。
【0111】
【0112】
まず、エゴモーション情報推定装置は、図３を参照して説明したものと類似に、フレームイメージから第１エゴモーションモデル１３１１及びアテンションモデル１３２０に基づいて最終長期運動情報ＬＰ’ｋ、ｋ－ｎを算出する。エゴモーション情報推定装置は、上述した数式（３）により最終長期運動情報ＬＰ’ｋ、ｋ－ｎからアテンション基盤短期運動情報１３８１（例えば、ＳＰｋ、ｋ－１）を算出する。
【0113】
そして、エゴモーション情報推定装置は、第１エゴモーションモデル１３１１に基づいて、フレームイメージのうち以前フレームイメージＩｋ－１及び現在フレームイメージＩｋからセンサの短期運動特徴を抽出する。抽出された短期運動特徴は、イメージエンコーダ１３３０によって符号化されてイメージ変形モデル１３４０及び深度変形モデル１３６０に伝えられる。エゴモーション情報推定装置は、以前フレームイメージＩｋ－１を、イメージ変形モデル１３４０及び短期運動特徴に基づいて変形することで、現在フレームに対応する復元フレームイメージＩ’ｋを生成する。エゴモーション情報推定装置は、現在フレームイメージＩｋ及び復元フレームイメージＩ’ｋから第２エゴモーションモデル１３１２に基づいて第１補正情報１３４１を算出する。エゴモーション情報推定装置は、現在フレームに対する短期運動情報ＳＰｋ、ｋ－１に第１補正情報１３４１を適用する補正動作１３４５を介してイメージ基盤短期運動情報１３８２を生成する。
【0114】
また、エゴモーション情報推定装置は、第１エゴモーションモデル１３１１に基づいて、フレームイメージのうち以前フレームイメージＩｋ－１及び現在フレームイメージＩｋからセンサの短期運動特徴ＳＰｋ、ｋ－１を抽出する。エゴモーション情報推定装置は、深度モデル１３５０に基づいて以前フレームイメージＩｋ－１から以前フレームに対する深度イメージＤｋ－１を生成する。エゴモーション情報推定装置は、以前フレームに対する深度イメージＤｋ－１を短期運動特徴を用いて変形することで、現在フレームに対応する深度イメージＤ’ｋを生成する。エゴモーション情報推定装置は、現在フレームに対応する深度イメージＤ’ｋを復元フレームイメージＩ’’ｋに変換する。エゴモーション情報推定装置は、現在フレームイメージＩｋ及び復元フレームイメージＩ’’ｋから第３エゴモーションモデル１３１３に基づいて第２補正情報１３５１を算出する。エゴモーション情報推定装置は、現在フレームに対する短期運動情報ＳＰｋ、ｋ－１に第２補正情報１３５１を適用する補正動作１３５５を介して深度基盤短期運動情報１３８３を生成する。
【0115】
エゴモーション情報推定装置は、最終長期運動情報から算出されたアテンション基盤短期運動情報１３８１及びイメージ基盤短期運動情報１３８２に基づいて最終短期運動情報１３９０を決定する。また、エゴモーション情報推定装置は、最終長期運動情報から算出されたアテンション基盤短期運動情報１３８１及び深度基盤短期運動情報１３８３に基づいて最終短期運動情報１３９０を決定する。また、エゴモーション情報推定装置は、アテンション基盤短期運動情報１３８１、深度基盤短期運動情報１３８３、及びイメージ基盤短期運動情報１３８２に基づいて現在フレームに対する最終短期運動情報１３９０を決定してもよい。
【0116】
【0117】
エゴモーション情報推定装置１４００は、センサ１４１０、プロセッサ１４２０、及びメモリ１４３０を含む。
【0118】
センサ１４１０は、連続するフレームのフレームイメージを取得する。例えば、センサ１４１０は、カラーイメージを受信するカメラセンサ１４１０であってもよいが、これに限定されることはない。センサ１４１０は、ステレオイメージを取得してもよい。センサ１４１０は、深度イメージを受信する深度センサ１４１０をさらに含んでもよい。深度センサ１４１０とカメラセンサ１４１０で取得されるイメージのピクセルが互いに同じ地点を指示するように視野角などがマッチングされた場合、深度センサ１４１０によって取得された深度イメージをトレーニングの過程で使用されることができる。この場合、トレーニング過程で、深度モデルから生成される深度イメージの代わりに、深度センサ１４１０によって取得された深度イメージが使用されてもよい。
【0119】
プロセッサ１４２０は、センサ１４１０の短期運動情報を推定し、フレームイメージからセンサ１４１０の長期運動情報を推定し、短期運動情報及び長期運動情報からアテンション情報を算出し、長期運動情報をアテンション情報に基づいて補正することで、現在フレームに対する最終長期運動情報を決定することができる。プロセッサ１４２０は、図１～図１３を参照して上述した動作を行うことができる。
【0120】
メモリ１４３０は、エゴモーション情報を推定するために用いられるデータを臨時的又は永久的に格納する。例えば、メモリ１４３０は、センサ１４１０によって取得されるフレームイメージ、短期運動情報、及び長期運動情報を一定区間（例えば、ｎ個のフレーム）の間に格納することができる。
【0121】
図１５を参照すると、コンピューティング装置１５００は、上記で説明したエゴモーション情報推定方法を用いてセンサのエゴモーションを推定する装置である。一実施形態では、コンピューティング装置１５００は、図１４を参照して説明された装置１４００に対応する。コンピューティング装置１５００は、例えば、イメージ処理装置、スマートフォン、ウェアラブル機器、タブレットコンピュータ、ネットブック、ラップトップ、デスクトップ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）であり得る。
【0122】
図１５を参照すると、コンピューティング装置１５００は、プロセッサ１５１０、格納装置１５２０、カメラ１５３０、入力装置１５４０、出力装置１５５０及びネットワークインターフェース１５６０を含む。プロセッサ１５１０、格納装置１５２０、カメラ１５３０、入力装置１５４０、出力装置１５５０及びネットワークインターフェース１５６０は通信バス１５７０を介して通信する。
【0123】
プロセッサ１５１０は、コンピューティング装置１５００内で実行するための機能及び命令を実行する。例えば、プロセッサ１５１０は、格納装置１５２０に格納された命令を処理する。プロセッサ１５１０は、図１～図１４を参照して前述した１つ以上の動作を行ってもよい。
【0124】
格納装置１５２０は、プロセッサの実行に必要な情報ないしデータを格納する。格納装置１５２０は、コンピュータ読み出し可能な格納媒体又はコンピュータ読み出し可能な格納装置を含む。格納装置１５２０は、プロセッサ１５１０によって実行するための命令を格納し、コンピューティング装置１５００によってソフトウェア又はアプリケーションが実行される間に関連情報を格納する。
【0125】
カメラ１５３０は、複数のイメージフレームで構成されるイメージをキャプチャーする。例えば、カメラ１５３０は、フレームイメージを生成する。
【0126】
入力装置１５４０は、触覚、ビデオ、オーディオ又はタッチ入力によってユーザから入力を受信する。入力装置１５４０は、キーボード、マウス、タッチスクリーン、マイクロホン、又は、ユーザから入力を検出し、検出された入力を伝達できる任意の他の装置を含む。
【0127】
出力装置１５５０は、視覚的、聴覚的又は触覚的なチャネルを介してユーザにコンピューティング装置１５００の出力を提供する。出力装置１５５０は、例えば、ディスプレイ、タッチスクリーン、スピーカ、振動発生装置又はユーザに出力を提供できる任意の他の装置を含む。ネットワークインターフェース１５６０は、有線又は無線ネットワークを介して外部装置と通信する。一実施形態によれば、出力装置１５５０は、図１～図１３を参照して算出された最終短期運動情報、最終長期運動情報、位置情報、及び姿勢情報のうち少なくとも１つを出力する。出力装置１５５０は、最終短期運動情報、最終長期運動情報、位置情報、及び姿勢情報などを視覚情報、聴覚情報、及び触覚情報のうち少なくとも１つを用いてユーザに提供する。例えば、コンピューティング装置１５００が車両に装着された場合、コンピューティング装置１５００は、最終短期運動情報及び最終長期運動情報に基づいて車両の位置及び姿勢を推定し、推定された位置及び姿勢に対応するグラフィック表現（例えば、地図背景上の車両オブジェクト）を生成してディスプレイに視角化する。また、コンピューティング装置１５００は、モバイルユーザ装置、ロボット装置、又は、車両の推定された位置及び姿勢を位置的マッピング（例えば、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ））を制御し、これに基づいて車両又はロボット装置の自律移動を制御するために使用される。
【0128】
図１６は、一実施形態に係るエゴモーション情報推定装置が車両に装着された状況を説明する図である。
【0129】
エゴモーション情報推定装置が車両に装着される場合、センサ１６２１，１６２２は車両の内部から外部に向かうように配置される。例えば、センサの光軸（ｏｐｔｉｃａｌ ａｘｉｓ）及び視野角（ＦＯＶ、ｆｉｅｌｄ ｏｆ ｖｉｅｗ）は、車両の前方に向かってもよい。図１６において、車両が第１位置から第２位置に移動する状況（例えば、左折）１６０１を仮定する。車両の前方に任意のオブジェクト１６９０が存在する場合、第１位置１６１１において、センサ１６２１の第１視野角１６３１ではオブジェクト１６９０が第１フレームイメージ１６４１の左側に示される。第２位置１６１２において、はセンサ１６２２の第２視野角１６３２ではオブジェクト１６９０が第２フレームイメージ１６４２の右側に示される。したがって、エゴモーション情報推定装置は、このようにいずれかのフレームイメージから他のもの（例えば、第１フレームイメージ１６４１から第２フレームイメージ１６４２）に示されるオブジェクト又は静的背景などの変化から、センサ自体エゴモーション情報を推定できるようになる。
【0130】
エゴモーション情報推定装置は、図１～図１５を参照して上述したように、最終長期運動情報及び最終長期運動情報から算出された最終短期運動情報のうち少なくとも１つに基づいて、センサが装着された装置の移動経路を追跡することができる。一実施形態によれば、エゴモーション情報推定装置は基準位置として、例えば、任意の地理的位置又は物理的位置を原点に設定し、基準姿勢を設定し、基準位置及び基準姿勢に対する最終短期運動情報及び／又は最終長期運動情報の適用を累積することで、フレームごとにおける装置の位置及び姿勢を決定することができる。例えば、エゴモーション情報推定装置は、任意の初期化フレームで装置の位置及び姿勢を初期化する。エゴモーション情報推定装置は、該当初期化フレームでの装置の位置及び姿勢を基準位置（ｒｅｆｅｒｅｎｃｅ ｐｏｓｉｔｉｏｎ）及び基準姿勢（ｒｅｆｅｒｅｎｃｅ ｐｏｓｅ）に設定する。初期化フレームの次のフレームで、エゴモーション情報推定装置は、次のフレームで決定された最終短期運動情報を初期化フレームにおける基準位置及び基準姿勢に適用することで、次のフレームにおける位置及び姿勢を算出することができる。例えば、エゴモーション情報推定装置は、装置の位置及び姿勢を指示する行列及び最終短期運動情報を指示する行列（例えば、数式（１）のような形態の行列）間の行列の積の結果から、次のフレームにおける位置及び姿勢を指示する行列を取得することができる。その後、毎フレームごとにエゴモーション情報推定装置は、上述したものと類似に、以前フレームで決定された装置の位置及び姿勢に短期運動情報を適用することで、現在フレームに対応する装置の位置及び姿勢を決定できる。エゴモーション情報推定装置は、フレームごとに決定された装置の位置及び姿勢を累積することで、装置の移動経路及び各位置における姿勢を追跡することができる。
【0131】
ただし、装置の位置及び姿勢に関連する情報を行列形態に限定することなく、別の形態のデータが使用されてもよい。また、最終短期運動情報を以前フレームにおける位置及び姿勢に行列の積演算で反映するものと限定するものではなく、他の演算が使用されてもよい。また、最終短期運動情報を用いるものと説明したが、これに限定されるものではなく、現在フレームに対する長期基準フレームに対応する位置及び姿勢に最終長期運動情報を適用することで、エゴモーション情報推定装置は、現在フレームに対応する装置の位置及び姿勢を決定してもよい。
【0132】
エゴモーション情報推定装置は、装置の追跡された移動経路を出力する。例えば、エゴモーション情報推定装置は、ディスプレイを介して装置周辺地形に対する地理的マップを指示するグラフィック表現を出力し、地理的マップに対応するグラフィック表現上に追跡された移動経路に対応するグラフィック表現をオーバーレイして出力し得る。ただし、移動経路の出力を視角化がこれに限定されるものではなく、さらに、移動経路は聴覚又は触覚情報から出力されてもよい。
【0133】
更なる実施形態によれば、エゴモーション情報推定装置は、ＨＭＤ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｅｖｉｃｅ）で実現される。ＨＭＤは、拡張現実又は仮想現実状報を提供するように構成される。この場合、ＨＭＤ装置のディスプレイは、ユーザの目に向かうように配置され、センサは装置のハウジングを基準にしてディスプレイの反対側に向かうように配置される。したがって、センサは、ユーザの視線方向と同じ方向に向かうように配置される。エゴモーション情報推定装置は、ユーザの頭の動きに応じて動くため、エゴモーション情報推定装置は、センサのエゴモーション情報を介してユーザの頭の動きを推定することができる。エゴモーション情報推定装置は、図１～図１５を参照して上述した方法によりセンサのエゴモーション情報を推定し、推定されたエゴモーション情報をディスプレイに視角化されるコンテンツにフィードバックする。例えば、エゴモーション情報推定装置は、初期化フレームでＨＭＤの位置及び姿勢を基準位置及び基準姿勢に設定し、以後フレームで基準位置及び基準姿勢に対する最終短期運動情報及び／又は最終長期運動情報の適用を累積することで、毎フレームにおけるＨＭＤの位置及び姿勢を決定することができる。また、センサのエゴモーション情報からユーザが任意の方向（例えば、右側）に頭を回転させた動作が検出された場合、エゴモーション情報推定装置は、該当の方向に対応する仮想コンテンツがＨＭＤに表示されるように制御することができる。
【0134】
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、一つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される一つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は一つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことを把握する。例えば、処理装置は、複数のプロセッサ又は一つのプロセッサ及び一つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0135】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望通りに動作するように処理装置を構成するか、或いは独立的又は結合的に処理装置に命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されるか、或いは処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波により永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されるか又は実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読み取り可能な記録媒体に格納され得る。
【0136】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために一つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0137】
上述したように実施形態が、たとえ限定された図面によって説明されたが、当技術分野で通常の知識を有する者であれば、前述に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態に組合わせられたり、他の構成要素又は均等物によって置換されても適切な結果を達成することができる。
【0138】
したがって、本発明の範囲は、開示された実施形態に限定されて定められたものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】