知財求人 - 知財ポータルサイト「IP Force」
▶ 三星電子株式会社の特許一覧 ▶ 首▲爾▼市立大學 産學協力團の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023068632
(43)【公開日】2023-05-17
(54)【発明の名称】ＳＬＡＭを加速化させる装置、及びそれを含む電子装置
(51)【国際特許分類】
G01C 21/30 20060101AFI20230510BHJP
G06T 7/70 20170101ALI20230510BHJP
G06T 7/593 20170101ALI20230510BHJP
【ＦＩ】
G01C21/30
G06T7/70 Z
G06T7/593
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2022169969
(22)【出願日】2022-10-24
(31)【優先権主張番号】10-2021-0149020
(32)【優先日】2021-11-02
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(71)【出願人】
【識別番号】512288569
【氏名又は名称】首▲爾▼市立大學 産學協力團
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100154922
【弁理士】
【氏名又は名称】崔 允辰
(72)【発明者】
【氏名】全 明帝
(72)【発明者】
【氏名】金 起徹
(72)【発明者】
【氏名】權 南燮
(72)【発明者】
【氏名】金 容奎
(72)【発明者】
【氏名】李 泓錫
【テーマコード（参考）】
2F129
5L096
【Ｆターム（参考）】
2F129AA02
2F129AA03
2F129AA11
2F129BB03
2F129BB20
2F129BB22
2F129BB26
2F129BB33
2F129BB49
2F129EE02
2F129GG17
2F129GG18
2F129HH15
2F129HH18
2F129HH20
2F129HH21
5L096FA09
5L096FA52
5L096FA64
5L096FA69
5L096GA51
5L096HA05
(57)【要約】
【課題】ＳＬＡＭ（Simultaneous Localization And Mapping）を加速化させる装置、及びそれを含む電子装置を提供する。
【解決手段】ＳＬＡＭを加速化させる装置は、フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサを含み、フロントエンドプロセッサは、第１フレームから抽出された特徴点のうち、第１特徴点の第１フレームの次の第２フレームにおける位置を追跡し、バックエンドプロセッサは、フロントエンドプロセッサで追跡された第１特徴点の第２フレームにおける位置に基づき、第１特徴点のマップポイント及びカメラポーズに係わる第１測定値を獲得し、マップポイントとカメラポーズとに係わるヘッセ行列の要素のうち、第１測定値と関連し、最適化行列に影響を与える要素を計算し、マップポイント及びカメラポーズの状態に係わる最適化演算を行うことに利用される最適化行列に、計算された要素を累積することができる。
【選択図】図１６
【解決手段】ＳＬＡＭを加速化させる装置は、フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサを含み、フロントエンドプロセッサは、第１フレームから抽出された特徴点のうち、第１特徴点の第１フレームの次の第２フレームにおける位置を追跡し、バックエンドプロセッサは、フロントエンドプロセッサで追跡された第１特徴点の第２フレームにおける位置に基づき、第１特徴点のマップポイント及びカメラポーズに係わる第１測定値を獲得し、マップポイントとカメラポーズとに係わるヘッセ行列の要素のうち、第１測定値と関連し、最適化行列に影響を与える要素を計算し、マップポイント及びカメラポーズの状態に係わる最適化演算を行うことに利用される最適化行列に、計算された要素を累積することができる。
【選択図】図１６
【特許請求の範囲】
【請求項1】
ＳＬＡＭ（Simultaneous Localization And Mapping）を加速化させる装置において、
フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサを含み、
前記フロントエンドプロセッサは、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡し、前記バックエンドプロセッサは、
前記フロントエンドプロセッサで追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得し、
マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算し、
前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する、装置。
フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサを含み、
前記フロントエンドプロセッサは、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡し、前記バックエンドプロセッサは、
前記フロントエンドプロセッサで追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得し、
マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算し、
前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する、装置。
【請求項2】
前記ＳＬＡＭプロセッサは、
第１サイクルにおいて、前記第１特徴点の位置を追跡した後、連続するサイクルにわたり、前記追跡された前記第１特徴点の位置に基づき、前記第１測定値を獲得し、前記第１測定値と関連する第１演算を順次に遂行するパイプライン構造を含み、
前記パイプライン構造は、
前記第１サイクルの次の第２サイクルにおいて、前記第１特徴点と異なる第２特徴点の位置が追跡されれば、前記第１測定値と関連する第１演算に続き、前記第２特徴点の位置に基づき、第２測定値を獲得し、前記第２測定値と関連する第２演算を行う、請求項１に記載の装置。
第１サイクルにおいて、前記第１特徴点の位置を追跡した後、連続するサイクルにわたり、前記追跡された前記第１特徴点の位置に基づき、前記第１測定値を獲得し、前記第１測定値と関連する第１演算を順次に遂行するパイプライン構造を含み、
前記パイプライン構造は、
前記第１サイクルの次の第２サイクルにおいて、前記第１特徴点と異なる第２特徴点の位置が追跡されれば、前記第１測定値と関連する第１演算に続き、前記第２特徴点の位置に基づき、第２測定値を獲得し、前記第２測定値と関連する第２演算を行う、請求項１に記載の装置。
【請求項3】
前記フロントエンドプロセッサは、
前記第１フレームから抽出された特徴点の個数が指定された個数以下である場合、前記第１フレームから特徴点を追加して抽出する、請求項１に記載の装置。
前記第１フレームから抽出された特徴点の個数が指定された個数以下である場合、前記第１フレームから特徴点を追加して抽出する、請求項１に記載の装置。
【請求項4】
前記フロントエンドプロセッサは、
前記装置の慣性情報に基づき、前記第１フレームから抽出された特徴点の前記第２フレームにおける予想位置を推定し、
前記抽出された特徴点の不確実性に基づき、前記抽出された特徴点を追跡するためのパッチの大きさを決定し、
前記抽出された特徴点の前記第２フレームにおける予想位置に基づき、前記抽出された特徴点の位置追跡順序を決定する、請求項１に記載の装置。
前記装置の慣性情報に基づき、前記第１フレームから抽出された特徴点の前記第２フレームにおける予想位置を推定し、
前記抽出された特徴点の不確実性に基づき、前記抽出された特徴点を追跡するためのパッチの大きさを決定し、
前記抽出された特徴点の前記第２フレームにおける予想位置に基づき、前記抽出された特徴点の位置追跡順序を決定する、請求項１に記載の装置。
【請求項5】
前記バックエンドプロセッサは、
前記第１測定値を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記カメラポーズと前記マップポイントとの対応に係わる第３行列ブロックの要素を計算する、請求項１に記載の装置。
前記第１測定値を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記カメラポーズと前記マップポイントとの対応に係わる第３行列ブロックの要素を計算する、請求項１に記載の装置。
【請求項6】
前記バックエンドプロセッサは、
前記抽出された特徴点の全ての測定値について順次に計算された要素が、前記最適化行列に累積されれば、前記最適化行列を利用し、前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行う、請求項１に記載の装置。
前記抽出された特徴点の全ての測定値について順次に計算された要素が、前記最適化行列に累積されれば、前記最適化行列を利用し、前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行う、請求項１に記載の装置。
【請求項7】
前記第１測定値は、カメラ及び慣性測定ユニット（ＩＭＵ）を含むセンサから獲得されるデータに基づき、獲得されたマップポイント、及び前記マップポイントに対応する少なくとも１つのカメラポーズを含む、請求項１に記載の装置。
【請求項8】
前記バックエンドプロセッサは、
前記第１測定値を、前記カメラ及び前記慣性測定ユニットのいずれにも対応する第１部分と、前記カメラ及び前記慣性測定ユニットのうち、前記慣性測定ユニットだけに対応する第２部分に区分する、請求項７に記載の装置。
前記第１測定値を、前記カメラ及び前記慣性測定ユニットのいずれにも対応する第１部分と、前記カメラ及び前記慣性測定ユニットのうち、前記慣性測定ユニットだけに対応する第２部分に区分する、請求項７に記載の装置。
【請求項9】
前記バックエンドプロセッサは、
前記第１部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記カメラでポーズと前記マップポイントとの対応に係わる第３行列ブロックの要素を計算した後、前記第１部分を利用し、前記第１行列ブロック、前記第２行列ブロック及び前記第３行列ブロックの計算された要素を前記最適化行列に累積し、
前記第２部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素を計算した後、前記第２部分につき、前記第１行列ブロックの計算された要素を、前記最適化行列に二次的に累積する、請求項８に記載の装置。
前記第１部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記カメラでポーズと前記マップポイントとの対応に係わる第３行列ブロックの要素を計算した後、前記第１部分を利用し、前記第１行列ブロック、前記第２行列ブロック及び前記第３行列ブロックの計算された要素を前記最適化行列に累積し、
前記第２部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素を計算した後、前記第２部分につき、前記第１行列ブロックの計算された要素を、前記最適化行列に二次的に累積する、請求項８に記載の装置。
【請求項10】
前記第２部分に係わる演算を行うための変換プロセッサをさらに含み、
前記変換プロセッサは、
指定された行列に係わる演算を行うための行列演算部と、
指定されたベクトルに係わる演算を行うためのベクトル演算部と、
前記指定された行列を、前記指定されたベクトルに変換するためのリー代数演算を行うためのリー代数演算部と、を含む、請求項９に記載の装置。
前記変換プロセッサは、
指定された行列に係わる演算を行うための行列演算部と、
指定されたベクトルに係わる演算を行うためのベクトル演算部と、
前記指定された行列を、前記指定されたベクトルに変換するためのリー代数演算を行うためのリー代数演算部と、を含む、請求項９に記載の装置。
【請求項11】
ＳＬＡＭ（Simultaneous Localization And Mapping）を加速化させる方法において、
第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡する段階と、
追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得する段階と、
マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、
前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する段階と、を含む、方法。
第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡する段階と、
追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得する段階と、
マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、
前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する段階と、を含む、方法。
【請求項12】
第１サイクルにおいて、前記第１特徴点の位置を追跡した後、連続するサイクルにわたり、前記追跡された前記第１特徴点の位置に基づき、前記第１測定値を獲得し、前記第１測定値と関連する第１演算を順次に遂行する段階と、
前記第１サイクルの次の第２サイクルにおいて、前記第１特徴点と異なる第２特徴点の位置が追跡されれば、前記第１測定値と関連する演算に続き、前記第２特徴点の位置に基づき、第２測定値を獲得し、前記第２測定値と関連する第２演算を行う段階と、をさらに含む、請求項１１に記載の方法。
前記第１サイクルの次の第２サイクルにおいて、前記第１特徴点と異なる第２特徴点の位置が追跡されれば、前記第１測定値と関連する演算に続き、前記第２特徴点の位置に基づき、第２測定値を獲得し、前記第２測定値と関連する第２演算を行う段階と、をさらに含む、請求項１１に記載の方法。
【請求項13】
慣性情報に基づき、前記第１フレームから抽出された特徴点の前記第２フレームにおける予想位置を推定する段階と、
前記抽出された特徴点の不確実性に基づき、前記抽出された特徴点を追跡するためのパッチの大きさを決定する段階と、
前記抽出された特徴点の前記第２フレームにおける予想位置に基づき、前記抽出された特徴点の位置追跡順序を決定する段階と、をさらに含む、請求項１１に記載の方法。
前記抽出された特徴点の不確実性に基づき、前記抽出された特徴点を追跡するためのパッチの大きさを決定する段階と、
前記抽出された特徴点の前記第２フレームにおける予想位置に基づき、前記抽出された特徴点の位置追跡順序を決定する段階と、をさらに含む、請求項１１に記載の方法。
【請求項14】
前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階は、
前記第１測定値を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記マップポイントと前記カメラポーズとの対応に係わる第３行列ブロックの要素を計算する、請求項１１に記載の方法。
前記第１測定値を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記マップポイントと前記カメラポーズとの対応に係わる第３行列ブロックの要素を計算する、請求項１１に記載の方法。
【請求項15】
前記抽出された特徴点の全ての測定値について順次に計算された要素が、前記最適化行列に累積されれば、前記最適化行列を利用し、前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行う段階をさらに含む、請求項１１に記載の方法。
【請求項16】
前記第１測定値は、カメラ及び慣性測定ユニット（ＩＭＵ）を含むセンサから獲得されるデータに基づき、獲得されたマップポイント、及び前記マップポイントに対応する少なくとも１つのカメラポーズを含む、請求項１１に記載の方法。
【請求項17】
前記第１測定値を、前記カメラ及び前記慣性測定ユニットいずれもに対応する第１部分と、前記慣性測定ユニットにだけ対応する第２部分と、に区分する段階をさらに含む、請求項１６に記載の方法。
【請求項18】
前記第１部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素、前記マップポイントに係わる第２行列ブロックの要素、及び前記マップポイントとカメラポーズとの対応に係わる第３行列ブロックの要素を計算した後、前記第１部分を利用し、前記第１行列ブロック、前記第２行列ブロック及び前記第３行列ブロックの計算された要素を前記最適化行列に累積する段階と、
前記第２部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素を計算した後、前記第２部分につき、前記第１行列ブロック、前記第２行列ブロック及び前記第３行列ブロックの計算された要素を前記最適化行列に累積する段階と、をさらに含む、請求項１７に記載の方法。
前記第２部分を利用し、前記カメラポーズに係わる第１行列ブロックの要素を計算した後、前記第２部分につき、前記第１行列ブロック、前記第２行列ブロック及び前記第３行列ブロックの計算された要素を前記最適化行列に累積する段階と、をさらに含む、請求項１７に記載の方法。
【請求項19】
電子装置において、
イメージデータを獲得するためのカメラと、前記電子装置の慣性情報を獲得するための慣性測定ユニット（ＩＭＵ）と、を含むセンサと、
フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサと、を含み、
前記フロントエンドプロセッサは、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡し、
前記バックエンドプロセッサは、前記フロントエンドプロセッサで追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得し、
マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算し、
前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する、電子装置。
イメージデータを獲得するためのカメラと、前記電子装置の慣性情報を獲得するための慣性測定ユニット（ＩＭＵ）と、を含むセンサと、
フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサと、を含み、
前記フロントエンドプロセッサは、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡し、
前記バックエンドプロセッサは、前記フロントエンドプロセッサで追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得し、
マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算し、
前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する、電子装置。
【請求項20】
前記電子装置は、単一チップシステムである、請求項１９に記載の電子装置。
【請求項21】
カメラを含む装置のＳＬＡＭ（Simultaneous Localization And Mapping）を遂行するための方法において、
前記カメラからイメージを獲得する段階と、
前記イメージから、第１特徴点と第２特徴点とを抽出する段階と、
第１サイクルにおいて、第１特徴点の位置を追跡する段階と、
前記第１サイクルに後続するサイクルにおいて、前記追跡された前記第１特徴点の位置に基づき、前記第１特徴点のマップポイントとカメラポーズとに対応する第１測定値を獲得し、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、
前記第１サイクルの次の第２サイクルにおいて、前記第２特徴点の位置を追跡する段階と、
前記第２サイクルに後続するサイクルにおいて、前記追跡された前記第２特徴点の位置に基づき、前記第２特徴点のマップポイントとカメラポーズとに対応する第２測定値を獲得し、前記第２測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、を含む、方法。
前記カメラからイメージを獲得する段階と、
前記イメージから、第１特徴点と第２特徴点とを抽出する段階と、
第１サイクルにおいて、第１特徴点の位置を追跡する段階と、
前記第１サイクルに後続するサイクルにおいて、前記追跡された前記第１特徴点の位置に基づき、前記第１特徴点のマップポイントとカメラポーズとに対応する第１測定値を獲得し、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、
前記第１サイクルの次の第２サイクルにおいて、前記第２特徴点の位置を追跡する段階と、
前記第２サイクルに後続するサイクルにおいて、前記追跡された前記第２特徴点の位置に基づき、前記第２特徴点のマップポイントとカメラポーズとに対応する第２測定値を獲得し、前記第２測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＳＬＡＭを加速化させる装置、及びそれを含む電子装置に関する。
【背景技術】
【0002】
ＳＬＡＭ（Simultaneous Localization And Mapping）は、装置が任意の空間を移動しながら、周辺の情報を獲得し、獲得された周辺の情報に基づき、当該空間のマップ（map）、及び装置の現在位置を推定することができる技術を意味する。例えば、該ＳＬＡＭを遂行する装置は、カメラのようなセンサを介し、周辺空間に係わるイメージを獲得し、獲得されたイメージに対する分析及び座標設定を介し、当該空間のマップ、及び装置の現在位置を推定することができる。
【0003】
そのようなＳＬＡＭは、実際に存在する環境に、仮想の事物や情報を合成し、まさしく元来の環境に存在する事物のように見せる拡張現実（ＡＧ：augmented reality）分野において、核心技術として注目されている。特に、該拡張現実は、人体に着用可能な多様な形態のウェアラブルデバイス形態に開発されている。ウェアラブルデバイスにおいて、ガラスタイプのウェアラブルデバイスは、ユーザの頭に装着され、デバイス上のディスプレイを介し、ユーザに拡張現実サービスを提供することができる。
【0004】
該ウェアラブルデバイスは、ＳＬＡＭを介してユーザが着用しているウェアラブルデバイスのポーズを推定し、ディスプレイを介し、ウェアラブルデバイスのポーズと係わるイメージを提供することができる。このとき、ユーザに提供されるイメージと、ウェアラブルデバイスの実際ポーズとに誤差が生じる場合、ユーザが提供されるイメージと、実際空間との異質感を感じてしまう。
【0005】
ユーザに提供されるイメージと、ウェアラブルデバイスの実際ポーズとの誤差を減らすためには、迅速な演算を行うことができる高性能プロセッサが必要であるが、該プロセッサの性能が増大すればするほど、電力消耗量も増大し、プロセッサの全体的な大きさが増大することになり、ウェアラブルデバイスの着用感が低下してしまう状況が生じうる。それにより、電力消耗量を最小化させ、ウェアラブルデバイスの着用感を維持しながらも、迅速なＳＬＡＭ演算を行うことができるプロセッサの必要性が段々と求められている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明が解決しようとする課題は、低電力でもって、迅速なＳＬＡＭ演算を行うことができるＳＬＡＭを加速化させる装置、及びそれを含む電子装置を提供することである。
【0007】
本開示の実施形態を介して解決すべき課題は、前述のところに限定されるものではなく、言及されていない課題は、本開示、及び添付された図面から本実施形態が属する技術分野において当業者であるならば、明確に理解されうるであろう。
【課題を解決するための手段】
【0008】
前述の技術的課題を解決するための手段として、一実施形態によるＳＬＡＭを加速化させる装置は、フロントエンドプロセッサ及びバックエンドプロセッサを含むＳＬＡＭプロセッサを含み、前記フロントエンドプロセッサは、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡し、前記バックエンドプロセッサは、前記フロントエンドプロセッサで追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント（map point）、及びカメラポーズに対応する第１測定値（measurement）を獲得し、該マップポイントと該カメラポーズとに係わるヘッセ行列（Hessian matrix）の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算し、前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積することができる。
【0009】
他の実施形態によるＳＬＡＭを加速化させる方法は、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡する段階と、追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得する段階と、マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積する段階と、を含むものでもある。
【0010】
さらに他の実施形態による電子装置は、イメージデータを獲得するためのカメラと、前記電子装置の慣性情報を獲得するための慣性測定ユニットとを含むセンサ；及びフロントエンドプロセッサとバックエンドプロセッサとを含むＳＬＡＭプロセッサ；を含み、前記フロントエンドプロセッサは、第１フレームの次の第２フレームにおいて、前記第１フレームから抽出された複数の特徴点のうち、第１特徴点の位置を追跡し、前記バックエンドプロセッサは、前記フロントエンドプロセッサで追跡された前記第１特徴点の第２フレームにおける位置に基づき、前記第１特徴点のマップポイント及びカメラポーズに対応する第１測定値を獲得し、マップポイントとカメラポーズとに係わるヘッセ行列の複数の要素のうち、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算し、前記マップポイント及び前記カメラポーズの少なくとも１つの状態に係わる最適化演算を行うことに利用される前記最適化行列に、前記計算された少なくとも１つの要素を累積することができる。
【0011】
さらに他の実施形態によるカメラを含む装置のＳＬＡＭを遂行するための方法は、前記カメラからイメージを獲得する段階と、前記イメージから、第１特徴点と第２特徴点とを抽出する段階と、第１サイクルにおいて、第１特徴点の位置を追跡する段階と、前記第１サイクルに後続するサイクルにおいて、前記追跡された前記第１特徴点の位置に基づき、前記第１特徴点のマップポイントとカメラポーズとに対応する第１測定値を獲得し、前記第１測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、前記第１サイクルの次の第２サイクルにおいて、前記第２特徴点の位置を追跡する段階と、前記第２サイクルに後続するサイクルにおいて、前記追跡された前記第２特徴点の位置に基づき、前記第２特徴点のマップポイントとカメラポーズとに対応する第２測定値を獲得し、前記第２測定値と関連し、最適化行列に影響を与える少なくとも１つの要素を計算する段階と、を含むものでもある。
【図面の簡単な説明】
【0012】
【図1】一実施形態による電子装置の斜視図である。
【図3】一実施形態による、ＳＬＡＭを加速化させる装置の構成を示すブロック図である。
【図4】一実施形態による、イメージデータから特徴点を抽出し、該特徴点の位置を追跡する過程について説明するための図面である。
【図5】一実施形態による、イメージデータから特徴点を抽出し、該特徴点の位置を追跡する過程について説明するための図面である。
【図6】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図7】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図8】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図9】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図10】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図11】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図12】一実施形態による、マップポイント及びカメラポーズの状態に係わる最適化演算を行う過程について説明するための図面である。
【図13】一実施形態による、ＳＬＡＭを加速化させる方法を示すフローチャートである。
【図14】一実施形態による、単一測定値に基づき、最適化行列の要素を計算する過程について説明するための図面である。
【図15】一実施形態による、単一測定値に基づき、最適化行列の要素を計算する過程について説明するための図面である。
【図16】一実施形態による、ＳＬＡＭプロセッサのパイプライン構造を示す図面である。
【図17】一実施形態による、カメラヘッセ行列、ＩＭＵヘッセ行列及び最終Ｓ行列（Ｓ matrix）を示す図面である。
【図18】一実施形態による、カメラヘッセ行列、ＩＭＵヘッセ行列及び最終Ｓ行列を示す図面である。
【図19】一実施形態による、カメラヘッセ行列、ＩＭＵヘッセ行列及び最終Ｓ行列を示す図面である。
【図20】一実施形態による、ＳＬＡＭプロセッサのマップコントローラの全体的な動作について説明するためのフローチャートである。
【図21】一実施形態による、特徴点の予想位置を推定し、特徴点の追跡順序を決定する過程について説明するための図面である。
【図22】一実施形態による、特徴点の予想位置を推定し、特徴点の追跡順序を決定する過程について説明するための図面である。
【図23】一実施形態による、プロセッシングユニットの構成を示すブロック図である。
【図24】一実施形態による、ＳＬＡＭアクセラレータのパイプライン構造について説明するための図面である。
【図25】一実施形態による、電子装置の構成を示すブロック図である。
【図26】一実施形態による、電子装置の全般的な動作について説明するための図面である。
【発明を実施するための形態】
【0013】
本実施形態で使用される用語は、本実施形態における機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それらは、当技術分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、任意に選定された用語もあり、その場合、当該実施形態の説明部分において、詳細にその意味を記載する。従って、本実施形態で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本実施形態の全般にわたる内容とを基に定義されなければならない。
【0014】
本実施形態に係わる説明において、ある部分が他の部分と連結されているとするとき、それは、直接連結されている場合だけではなく、その中間に、他の構成要素を挟み、電気的に連結されている場合も含む。また、ある部分がある構成要素を含むとするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むものでもあるということを意味する。
【0015】
本実施形態で使用される「構成される」または「含む」というような用語は、本開示に記載されたさまざまな構成要素、またはさまざまな段階を必ずしもいずれも含むと解釈されるものではなく、そのうちの一部構成要素または一部段階は、含まれず、あるいは追加される構成要素または段階をさらに含むものでもあると解釈されなければならない。
【0016】
また、本開示で使用される「第１」または「第２」のように、序数を含む用語は、多様な構成要素についての説明に使用されうるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
【0017】
下記実施形態に係わる説明は、権利範囲を制限するものであると解釈されるものではなく、当該技術分野の当業者が容易に類推することができるところは、本実施形態の権利範囲に属すると解釈されなければならないのである。以下、添付図面を参照しながら、単に例示のための実施形態について詳細に説明する。
【0018】
図１は、一実施形態による電子装置の斜視図である。
【0019】
図１を参照すれば、一実施形態による電子装置１００は、レンズ１０１、ユーザの身体の一部（例：頭）に固定されるための連結部１０２、センサ１１０及び加速器１２０を含むものでもある。一実施形態によれば、電子装置１００は、電子装置１００の周辺マップ（map）及び／または電子装置１００のポーズ（pose）を推定することができる。
【0020】
センサ１１０は、電子装置１００の周辺環境に係わるデータをセンシングすることができ、センサ１１０でセンシングされたデータ（または、「センシングデータ」）は、センサ１１０と、電気的または作動的に連結された加速器１２０に伝達されうる。例えば、センサ１１０は、少なくとも１台のカメラ、慣性測定ユニット（ＩＭＵ：inertial measurement unit）、深さセンサ（例：ＬｉＤＡＲ（Light Detection And Ranging））、ＧＰＳ（Global Positioning System）及び走行距離計（odometer）のうち、少なくとも一つを含むものでもあるが、それらに限定されるものではない。
【0021】
加速器１２０は、ＳＬＡＭ（Simultaneous Localization And Mapping）演算を行うのに最適化された処理ユニットまたはプロセッサを意味し、本実施形態により、加速器１２０は、「ＳＬＡＭアクセラレータ」または「ＳＬＡＭを加速化させる装置」とも称される。例えば、加速器１２０は、多数の論理ゲートのアレイによって具現されるか、あるいは汎用的なマイクロプロセッサと、該マイクロプロセッサで実行されうるプログラムが保存されたメモリとの組み合わせによっても具現されうるが、それらに限定されるものではない。
【0022】
加速器１２０は、センサ１１０で獲得されたデータに基づき、ＳＬＡＭを遂行することにより、電子装置１００の周辺マップ、及び／または電子装置１００のポーズを推定することができる。
【0023】
本開示において「ＳＬＡＭ」は、装置が任意の空間を移動しながら、周辺の情報を獲得し、獲得された情報に基づき、当該空間のマップ、及び装置の現在ポーズを推定する技術を意味し、当該表現は、以下においても、同一の意味にも使用される。
【0024】
また、本開示において「電子装置のポーズ」は、電子装置の位置情報を含むデータを意味し、当該表現は、以下においても、同一意味に使用される。一実施形態によれば、電子装置の位置情報を含むデータは、ポーズデータとも称される。一実施形態によれば、該ポーズデータは６自由度（degree of freedom）ポーズ情報を含むものでもあり、６自由度ポーズ情報は、電子装置１００の位置（position）を示す情報と、電子装置１００の姿勢（orientation）を示す情報と、を含むものでもある。
【0025】
一実施形態によれば、加速器１２０は、センサ１１０を介して獲得されたデータに係わる特徴点（featureまたはkey point）の抽出、及び空間座標に係わる演算を行うことができる。例えば、加速器１２０は、特徴点抽出アルゴリズムに基盤づき、カメラを介して獲得されたイメージデータから、少なくとも１つの特徴点を抽出することができる。また、加速器１２０は、慣性測定ユニットから獲得された電子装置１００の慣性情報（例：速度、加速度、角速度、角加速度など）に係わるデータに基づき、電子装置１００の空間座標に係わる演算を行うことができる。言い換えれば、加速器１２０は、ＳＬＡＭのフロントエンド（front－end）演算を行うことができる。
【0026】
一実施形態によれば、加速器１２０は、抽出された特徴点と、空間座標に対する最適化（optimization）を行うことにより、電子装置１００の周辺マップ及びポーズを推定することができる。例えば、加速器１２０は、光束調節（ＢＡ：bundle adjustment）を介して抽出された特徴点と、空間座標とに対する最適化を行い、電子装置１００の周辺マップ及びポーズを推定することができる。言い換えれば、加速器１２０は、ＳＬＡＭのフロントエンド演算を行った後、該フロントエンド演算遂行結果に基づき、ＳＬＡＭのバックエンド（back－end）演算まで行うことができる。
【0027】
すなわち、一実施形態による電子装置１００は、ＳＬＡＭのフロントエンド演算及びバックエンド演算を行うのに最適化された加速器１２０を介し、低い電力でもＳＬＡＭ演算を高速に行うことができる。それにより、電子装置１００は、加速器１２０に対する電力供給のために、装置の全体的サイズを大きくせずに、高速のＳＬＡＭ演算を行うことができるので、電子装置１００の着用感を維持しながらも、ＳＬＡＭ演算を加速化させることができる。
【0028】
一実施形態によれば、電子装置１００は、加速器１２０を介して推定された周辺マップ、及び電子装置１００のポーズに基づき、拡張現実イメージ（ＡＲ（Augmented Reality） image）を生成し、例えば、ディスプレイ（レンズ１０１）を介して生成された拡張現実イメージを表示することができる。
【0029】
本開示において「拡張現実イメージ」は、電子装置１００の周辺の現実世界（real world）のイメージと、仮想イメージとが組み合わされたイメージを意味しうる。例えば、該拡張現実イメージは、現実世界のイメージに、仮想イメージがオーバレイ（overlay）されたイメージを意味しうるが、それに限定されるものではない。
【0030】
このとき、該現実世界のイメージは、ユーザが電子装置１００を介して見ることができる実際場面（real scene）を意味し、該現実世界のイメージには、現実客体（real world object）が含まれうる。また、該仮想イメージは、グラフィックスプロセッシングによって形成される現実世界に存在しないイメージを意味し、仮想イメージには、デジタルまたは仮想客体が含まれるものでもある。
【0031】
一例示において、電子装置１００は、図１に図示されているように、ユーザの耳に着用可能なめがねタイプのウェアラブル電子装置でもあるが、それに限定されるものではない。他の例示として、電子装置１００は、ユーザの頭に着用可能なヘッドマウントタイプ（head-mount type）のウェアラブル電子装置でもある。
【0032】
一実施形態によれば、センサ１１０及び加速器１２０は、連結部１０２に配されうるが、センサ１１０と加速器１２０との配置構造は、それに限定されるものではない。他の実施形態において、センサ１１０及び／または加速器１２０は、レンズ１０１の周辺領域（例：枠）にも配される。
【0033】
図面上に図示されていないが、電子装置１００は、拡張現実イメージに係わるデータが含まれた光を放出し、放出された光の移動経路を調節するための光学部品を含むものでもある。加速器１２０は、該光学部品を介し、拡張現実イメージに係わるデータが含まれた光を放出し、放出された光がレンズ１０１に達するのである。
【0034】
拡張現実イメージに係わるデータが含まれた光がレンズ１０１に達することにより、レンズ１０１には、拡張現実イメージが表示され、電子装置１００は、前述の過程を介し、ユーザ（または、「着用者」）に、拡張現実イメージを提供することができる。
【0035】
前述の実施形態においては、電子装置１００がウェアラブル電子装置である実施形態についてのみ記述したが、電子装置１００の適用分野は、それに限定されるものではない。一実施形態（図示せず）により、電子装置１００は、ＳＬＡＭを介し、周辺マップ及び自体ポーズを推定することができる無人飛行装置（ＵＡＶ：unmanned aerial vehicle）、ロボット及び／または自律走行車両にも適用される。
【0036】
以下においては、図２を参照し、電子装置１００の光学部品について具体的に説明する。
【0037】
【0038】
図２は、図１に図示された電子装置１００のユーザの右目と隣接した領域の断面を示す。また、図２に図示された電子装置１００は、ユーザの耳に着用可能なめがねタイプのウェアラブルデバイス（例：反射防止（ＡＲ）ガラス）でもあるが、電子装置１００の形態は、図示された実施形態に限定されるものではない。
【0039】
図２を参照すれば、一実施形態による電子装置１００は、レンズ１０１、連結部１０２、プロジェクタ１０３、ビームスプリッタ（beam splitter）１０４、鏡１０５、センサ１１０、加速器１２０及びプロセッサ１３０を含むものでもある。一実施形態による電子装置１００の構成要素のうち、少なくとも一つは、図１の電子装置１００の構成要素のうち、少なくとも一つと同一であるか、あるいは類似してもおり、以下で重複する説明は、省略する。
【0040】
加速器１２０は、センサ１１０を介して獲得された電子装置１００の周辺環境に係わるデータに基づき、ＳＬＡＭ演算を行うことにより、電子装置１００の周辺マップ及びポーズを推定することができる。
【0041】
プロセッサ１３０は、加速器１２０を介して推定された電子装置１００の周辺マップ及びポーズに基づき、拡張現実イメージを生成することができ、生成された拡張現実イメージに係わるデータをプロジェクタ１０３に伝送することができる。
【0042】
プロジェクタ１０３は、拡張現実イメージに係わるデータを含む光を、レンズ１０１に向けて放出することができる。例えば、プロセッサ１３０は、プロジェクタ１０３と、電気的または作動的に連結され、プロジェクタ１０３の作動を制御することができ、プロジェクタ１０３は、プロセッサ１３０により、拡張現実イメージに係わるデータを含む光がレンズ１０１に放出されるようにも制御される。
【0043】
一実施形態によれば、プロジェクタ１０３から放出された光は、ビームスプリッタ１０４及び／または鏡１０５によって反射され、レンズ１０１に達することができるが、それに限定されるものではない。一実施形態により、プロジェクタ１０３がレンズ１０１に対向するように配され、プロジェクタ１０３から放出された光は、ビームスプリッタ１０４及び／または鏡１０５を経ず、レンズ１０１に達することもできる。
【0044】
プロジェクタ１０３から放出された光がレンズ１０１に達することにより、レンズ１０１には、拡張現実イメージが表示され、その結果、レンズ１０１は、電子装置１００の拡張現実イメージを表示するディスプレイ（display）として動作することができる。
【0045】
レンズ１０１は、ユーザの電子装置１００着用時、例えば、ユーザの眼球（例：ユーザの右目）と対向するようにも配され、電子装置１００は、レンズ１０１を介し、ユーザに拡張現実イメージを提供することができる。
【0046】
【0047】
図３は、一実施形態による、ＳＬＡＭを加速化させる装置の構成を示すブロック図である。
【0048】
図３を参照すれば、ＳＬＡＭアクセラレータ３０は、ＳＬＡＭを加速化させる装置であり、ファクタグラフメモリ（factor graph memory）３１０及びＳＬＡＭプロセッサ３２０を含むものでもある。一実施形態によるＳＬＡＭアクセラレータ３０は、図１及び／または図２の加速器１２０と実質的に同一であるか、あるいは類似してもおり、以下で重複する説明は、省略する。
【0049】
また、図１及び／または図２には、ＳＬＡＭアクセラレータ３０が、ＡＲガラスまたはスマートガラスに採用される実施形態が図示されているが、それらに限定されるものではない。他の実施形態において、ＳＬＡＭアクセラレータ３０は、ロボット、ドローン、自律走行自動車のように、位置または空間に対する認識が必要な装置であるならば、制限なしにも採用される。
【0050】
ファクタグラフメモリ３１０は、ＳＬＡＭアクセラレータ３０内で処理される各種データを保存することができる。例えば、ファクタグラフメモリ３１０は、ＳＬＡＭプロセッサ３２０と、電気的または作動的に連結され、ＳＬＡＭプロセッサ３２０で処理されたデータ、及び／または処理されるデータを保存することができる。このとき、ファクタグラフメモリ３１０は、ＤＲＡＭ（Dynamic Random Access Memory）・ＳＲＡＭ（Static Random Access Memory）のようなＲＡＭ（Random Access Memory）、ＲＯＭ（Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ブルーレイまたは他の光学ディスクストレージ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはフラッシュメモリを含むものでもあるが、それらに限定されるものではない。
【0051】
ＳＬＡＭプロセッサ３２０は、ＳＬＡＭアクセラレータ３０の全般的な動作を制御することができる。例えば、ＳＬＡＭプロセッサ３２０は、ＳＬＡＭ最適化のためのフロントエンド演算及びバックエンド演算を行うことができる。このとき、ＳＬＡＭプロセッサ３２０は、多数の論理ゲートのアレイによって具現されるか、あるいは汎用的なマイクロプロセッサと、該マイクロプロセッサで実行されうるプログラムが保存されたメモリとの組み合わせによっても具現されるが、それらに限定されるものではない。
【0052】
一実施形態によれば、ＳＬＡＭプロセッサ３２０は、フロントエンド演算を行うためのフロントエンドプロセッサ３２１及びバックエンド演算を行うためのバックエンドプロセッサ３２２を含むものでもある。
【0053】
フロントエンドプロセッサ３２１は、ＳＬＡＭアクセラレータ３０外部のセンサ（例：図１のセンサ１１０）からセンシングデータを受信し、受信されたデータに基づき、少なくとも１つの特徴点を抽出し、抽出された特徴点の位置を追跡する（track）ことができる。一実施形態によれば、センサは、図１のセンサ１１０でもある。一実施形態によれば、フロントエンドプロセッサ３２１は、センサから受信されたイメージデータの第１フレームから特徴点を抽出し、該第１フレームから抽出された特徴点の第２フレームにおける位置を追跡することができる。このとき、該第２フレームは、第１フレームの次のフレームを意味し、フロントエンドプロセッサ３２１は、特徴点の抽出及び追跡を介し、連続するフレーム間における特徴点変化を感知することができる。一実施形態によれば、第２フレームは、第１フレームのすぐ次のフレームでもあるが、それに限定されるものではない。言い換えれば、フロントエンドプロセッサ３２１は、ＳＬＡＭを最適化させるためのフロントエンド演算を行うことができ、フロントエンドプロセッサ３２１で行われた演算結果は、ファクタグラフメモリ３１０に保存されるか、あるいはバックエンドプロセッサ３２２にも伝達される。
【0054】
バックエンドプロセッサ３２２は、フロントエンドプロセッサ３２１の演算結果に基づき、ＳＬＡＭを最適化させるためのバックエンド演算を行うことができる。例えば、バックエンドプロセッサ３２２は、フロントエンドプロセッサ３２１のフロントエンド演算を介して獲得されたデータを受信し、受信されたデータに係わる最適化演算を行うことができる。
【0055】
一実施形態によれば、バックエンドプロセッサ３２２は、ファクタグラフメモリ３１０及び／またはフロントエンドプロセッサ３２１から受信されたデータに係わる反復的な演算を行うことができる。例えば、バックエンドプロセッサ３２２は、反復的な行列及び／またはベクトルの演算を介し、電子装置（例：図１及び／または図２の電子装置１００）の周辺マップ作成のための演算を行うことができる。
【0056】
他の実施形態によれば、バックエンドプロセッサ３２２は、作成された周辺マップにおいて、電子装置のポーズを推定することができる。例えば、バックエンドプロセッサ３２２は、反復的に行われる演算を介して作成されたマップ上において、移動中である電子装置のポーズを推定することができる。このとき、バックエンドプロセッサ３２２は、リアルタイムで電子装置のポーズを推定することができ、推定された電子装置のポーズと係わるデータは、リアルタイムにアップデートされうる。
【0057】
バックエンドプロセッサ３２２によって行われる演算は、光束調節（ＢＡ：bundle adjustment）を含むものでもある。本開示において「光束調節」は、互いに異なる観点から、複数の三次元ポイントを図示するイメージの集合が与えられる場合、全てのポイントの対応するイメージ投影を伴う最適化基準により、場面ジオメトリ（scene geometry）、相対動きのパラメータ、及びカメラの光学特性について説明する三次元座標をリアルタイムで精製する（refine）ことを意味しうる。
【0058】
【0059】
図４及び図５は、一実施形態による、イメージデータから特徴点を抽出し、特徴点の位置を追跡する過程について説明するための図面である。図４及び図５は、センサ（例：カメラ）から獲得されたイメージデータのデータフレーム、及びデータフレームから抽出された特徴点を示す。
【0060】
図４を参照すれば、一実施形態によるＳＬＡＭアクセラレータ（例：図３のＳＬＡＭアクセラレータ３０）は、センサで獲得されたイメージデータから、周辺客体（object）に係わる特徴点を抽出することができる。
【0061】
一実施形態によれば、ＳＬＡＭアクセラレータのフロントエンドプロセッサ（例：図３のフロントエンドプロセッサ３２１）は、イメージデータを構成するデータフレームのうち、第１フレームに示される客体から特徴点を抽出することができる。例えば、フロントエンドプロセッサは、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）、ＯＲＢ（Oriented FAST and Rotated BRIEF）のような特徴点抽出アルゴリズムまたは機械学習アルゴリズム（例：ディープラーニング（deep learning））を介し、第１フレームに示される客体から特徴点を抽出することができるが、それに限定されるものではない。このとき、該特徴点は、図４に図示されているように、客体の端または角のように、特徴がある部分から抽出されることができるが、特徴点が抽出される位置が、客体のエッジまたはコーナーに限定されるものではない。
【0062】
図５を参照すれば、一実施形態による、ＳＬＡＭアクセラレータのフロントエンドプロセッサは、連続するフレームから抽出された特徴点の位置変化を追跡することができる。例えば、該フロントエンドプロセッサは、連続する第Ｎフレーム（ただし、Ｎは、自然数である）と第（Ｎ＋１）フレームとの間において、特徴点の位置変化を追跡することができる。該フロントエンドプロセッサは、ＫＬＴ追跡器（Kanade-Lucas Tomasi tracker）を介し、連続するフレームにおける特徴点の位置を追跡することができるが、それに限定されるものではない。
【0063】
【0064】
図６には、電子装置（例：図１及び／または図２の電子装置１００）が、カメラを利用し、該電子装置の周辺空間に係わるイメージを獲得する状況の例示が図示されている。該電子装置の動きなどにより、フレームごとにカメラポーズが変更されうる。また、カメラによって撮影されるマップポイント（または、「ランドマーク（landmark）」）のフレーム内位置も変更されうる。本開示において「マップポイント」は、三次元座標に表現される特徴点を意味し、イメージを獲得するカメラポーズにより、フレームに投影されるマップポイントの位置が変更されうる。
【0065】
図６に図示されているように、カメラポーズが、経時的に、Ｃ０、Ｃ１及びＣ２の順序に変更され、マップポイントＰ０のフレーム内位置も、ｐ０、ｐ１及びｐ２の順序に変更されうる。一方、カメラポーズによるマップポイントＰ０に係わる測定値ｐ０，ｐ１，ｐ２と別個に、マップポイントＰ０の三次元座標を利用した再投影（reprojection）により、推定値［数式１－２］、［数式１－３］及び［数式１－４］が獲得されうる。このとき、図６に図示された実施形態においては、ｐ０と［数式１－２］とが同一であり、［数式１－２］に係わる記載が省略されている。
【0066】
一実施形態によるＳＬＡＭアクセラレータ（例：図３のＳＬＡＭアクセラレータ３０）は、連続するフレームにおける特徴点の位置を追跡し、追跡された特徴点の位置に基づき、ＳＬＡＭのバックエンド演算を行うことができる。例えば、ＳＬＡＭアクセラレータのバックエンドプロセッサ（例：図３のバックエンドプロセッサ３２２）は、フロントエンドプロセッサ（例：図３のフロントエンドプロセッサ３２１）のフロントエンド演算遂行結果に基づき、ＳＬＡＭのバックエンド演算を行うことができる。
【0067】
ＳＬＡＭのバックエンド演算は、測定値「ｐ」と推定値［数式１－５］との差を示す誤差「ｅ」を目的関数として設定し、全ての測定値につき、目的関数を最小化させる状態を推定する演算を含む。そのようなＳＬＡＭのバックエンド演算は、下記［数式１－１］のように表現されうる。
【0068】
【数1】
【0069】
［数式１－１］において、ｉは、フレームナンバー、ｊは、マップポイントナンバーを示すことができ、最適化演算を介して推定する状態Ｘ（state Ｘ）は、フレーム別に、カメラポーズＣｉ及びマップポイントＰｊを含むということが分かる。
【0070】
図７を参照すれば、カメラポーズの個数がＮ個（Ｎは、任意の自然数であり）であり、マップポイントの個数がＭ個（Ｍは、任意の自然数である）である場合、時点ｋにおける状態ベクトルＸｋの例示が図示されている。このとき、カメラポーズＣｉ（ｉ＝１，…，Ｎ）は、３軸（例：ｘ軸、ｙ軸及びｚ軸）に対する回転（rotation）成分（例：Ｒｘｉ、Ｒｙｉ及びＲｚｉ）、３軸に係わる平行移動（translation）成分（例：Ｔｘｉ、Ｔｙｉ及びＴｚｉ）、３軸に対する速度成分（例：Ｖｘｉ、Ｖｙｉ及びＶｚｉ）、３軸に対する加速度成分（例：加速度計のバイアス成分である［数式１－６］、［数式１－７］及び［数式１－８］）、及び３軸に係わる角加速度成分（例：ジャイロスコプのバイアス成分である［数式１－９］、［数式１－１０］及び［数式１－１１］）を含むものでもある。また、マップポイントＰｊ（ｊ＝１，…，Ｍ）は、３軸に係わる位置成分（例：Ｐｘｊ、Ｐｙｊ及びＰｚｊ）を含むものでもある。
【0071】
図８には、ＳＬＡＭアクセラレータのフロントエンドプロセッサにおいて、カメラから獲得されたデータに対してフロントエンド演算を行った結果に対応するカメラ測定値（camera measurement）が入力されるとき、バックエンドプロセッサで行われるバックエンド演算の全体的な過程が図示されている。本開示において、「測定値（または、「カメラ測定値」）」は、フロントエンドプロセッサにおいて、抽出及び／または追跡された特徴点の二次元座標を含むものでもあり、当該表現は、以下においても、同一意味にも使用される。
【0072】
カメラ測定値が入力されれば、マップポイントの三次元座標を利用した再投影（reprojection）に基づき、推定値が獲得され、該測定値と該推定値との差に基づき、誤差ｅが計算されうる。誤差ｅが計算されれば、前述の［数式１－１］による目的関数の最適化のための演算が行われうる。
【0073】
前述の［数式１－１］による目的関数の最適化のために、下記［数式２－１］によるガウス・ニュトーン（Gauss-Newton）法が利用されうる。
【0074】
【数2】
【0075】
測定値が入力されるたびに、［数式１－１］によって誤差を低減させるための状態変化［数式２－２］が推定されうる。［数式２－１］によれば、状態変化［数式２－２］が推定されるためには、誤差の偏微分を示すヤコビ行列（Jacobian matrix）（［数式２－３］）と、ヤコビ転置行列（Jacobian transposed matrix）（［数式２－４］）とヤコビ行列（［数式２－３］）との積に該当するヘッセ行列（［数式２－５］）とが演算されなければならない。
【0076】
一例において、［数式２－６］及び［数式２－７］は、それぞれｘ軸及びｙ軸を基準にするカメラの焦点距離を示し、［数式２－８］は、カメラ座標系を基準にするマップポイントの三次元座標成分を示し、Ｒは、カメラの回転成分を示すとするとき、ヤコビ行列は、下記［数式３－１］によって計算されうる。
【0077】
【数3】
【0078】
数式３によれば、ヤコビ行列は、カメラポーズに係わるヤコビ行列ブロック［数式３－２］、及びマップポイントに係わるヤコビ行列ブロック［数式３－３］に、リー代数（Lie algebra）を適用して計算される。このとき、カメラポーズに係わるヤコビ行列ブロック［数式３－２］は、再投影誤差（reprojection error）をカメラポーズで偏微分した行列であり、マップポイントに係わるヤコビ行列ブロック［数式３－３］は、再投影誤差をマップポイントで偏微分した行列を示しうる。
【0079】
ヘッセ行列は、ヤコビ転置行列とヤコビ行列との積に該当するが、ヤコビ行列ブロックに基づいても計算される。例えば、該ヘッセ行列は、次のような［数式４－１］によっても計算される。
【0080】
【数4】
【0081】
［数式４－１］によれば、該ヘッセ行列は、４個のヘッセ行列ブロックＵ，Ｗ，ＷＴ及びＶにも区分される。また、［数式４－１］によれば、［数式２－１］のヘッセ行列Ｈ、状態変化（［数式４－２］）及びｂの関係は、下記［数式５－１］のようにも表現される。
【0082】
【数5】
【0083】
［数式５－１］を参照すれば、状態変化（［数式５－２］)は、カメラポーズに係わる状態変化である［数式５－３］、及びマップポイントに係わる状態変化である［数式５－４］によっても構成される。
【0084】
なお、前掲の図７を参照して説明したように、カメラポーズは、１５個の成分を含み、マップポイントは、３個の成分を含むが、該カメラポーズの個数がＮ個であり、該マップポイントの個数がＭ個である場合、ヘッセ行列は、（１５Ｎ＋３Ｍ）ｘ（１５Ｎ＋３Ｍ）の大きさを有する正方形行列でもある。ＳＬＡＭの特性上、多数のマップポイントに係わる測定が行われるので、該ヘッセ行列は、非常に大サイズを有することにもなる。従って、状態変化（［数式５－２］）を推定するために、該ヘッセ行列を即座に解く場合、相当な演算量が要求されるので、該ヘッセ行列を即座に解かず、状態変化（［数式５－２］）を推定することができる代案的な方法が要求される。
【0085】
代案としての方法の一例として、下記［数式６－１］のように、ヘッセ行列ブロックＵ，Ｗ，ＷＴ及びＶを利用したシュアコンプリメント（Schur-complement）演算を行い、状態変化（［数式６－２］）が推定されうる。
【0086】
【数6】
【0087】
数式６によれば、状態変化（［数式６－２］）を推定する演算が、カメラポーズだけの行列演算（すなわち、Ｓ行列及びｂベクトルに係わる演算）に変更され、変更された行列演算により、カメラポーズに係わる状態変化(［数式６－３］)がまず獲得されうる。
【0088】
カメラポーズに係わる状態変化(［数式６－３］)が獲得された後、後方代入（back substitution）を介し、マップポイントに係わる状態変化である［数式６－４］が獲得されうる。そのように、状態変化（［数式６－２］）を推定するために、シュアコンプリメント演算を利用する場合、ヘッセ行列を即座に解く場合と比較し、演算量が相当に低減されうる。
【0089】
図９を参照すれば、マップポイントとカメラポーズとのファクタグラフの一例が図示されている。図９において、Ｃ０ないしＣ１０は、連続するカメラポーズの状態を示し、Ｐ０ないしＰ１３は、当該カメラポーズで観測されたマップポイントの状態を示す。
【0090】
また、ｒは、マップポイントとカメラポーズとの関係を示し、ｒは、再投影誤差とも表される。例えば、ｒ００は、カメラポーズＣ０とマップポイントＰ０との関係を示し、ｒ０１は、カメラポーズＣ０とマップポイントＰ１との関係を示し、ｒ１０１３は、カメラポーズＣ１０とマップポイントＰ１３との関係を示す。併せて、ｒｂは、隣接するカメラポーズ間の関係を示す。例えば、ｒｂ０１は、カメラポーズＣ０とカメラポーズＣ１との関係を示す。
【0091】
図１０には、図９のファクタグラフによるヤコビ行列の例示が図示されている。このとき、該ヤコビ行列は、カメラポーズに係わるヤコビ行列ブロック［数式３－２］、及びマップポイントに係わるヤコビ行列ブロック［数式３－３］によっても構成される。
【0092】
図１０を参照すれば、マップポイントとカメラポーズとの関係により、ヤコビ行列の要素が決定されうる。図１０のヤコビ行列において、陰影処理された部分は、マップポイントとカメラポーズとの関係を示す要素に対応し、陰影処理されていない部分は、０に対応しうる。
【0093】
図１１には、図９のファクタグラフによるヘッセ行列の例示が図示されている。該ヘッセ行列は、カメラポーズに係わるヘッセ行列ブロックＵ、マップポイントに係わるヘッセ行列ブロックＶ、マップポイントに対応するカメラポーズに係わる行列ブロックＷ、及び行列ブロックＷの転置行列に該当する行列ブロックＷＴを含む。
【0094】
図１１を参照すれば、行列ブロックＷ及び行列ブロックＷＴは、マップポイントとカメラポーズとの関係性を示しうる。例えば、行列ブロックＷのマップポイントＰ０は、カメラポーズＣ０に対応する１個のフレームから獲得され、行列ブロックＷのマップポイントＰ３は、Ｃ０ないしＣ４に対応する５個のフレームから獲得されうるということを示す。
【0095】
行列ブロックＵ及び行列ブロックＶは、対角要素にのみデータを含み、該対角要素を除いた全ての要素には、データを含んでいない対角行列（diagonal matrix）に該当しうる。例えば、カメラポーズＣ０ないしＣ１０に係わる行列ブロックである行列ブロックＵは、カメラポーズＣ０、及びＣ０が接する地点、カメラポーズＣ１、及びＣ１が接する地点、…、カメラポーズＣ１０、及びＣ１０が接する地点にのみデータを含むものでもある。また、マップポイントＰ０ないしＰ１３に係わる行列ブロックである行列ブロックＶは、マップポイントＰ０、及びＰ０が接する地点、マップポイントＰ１、及びＰ１が接する地点、…、マップポイントＰ１３、及びＰ１３が接する地点にのみデータを含むものでもある。
【0096】
図１２には、図９のファクタグラフによるＳ行列の例示が図示されている。そのように、シュアコンプリメント演算のためのＳ行列は、カメラポーズだけの行列に該当し、Ｓ行列の要素は、数式６に基づいても計算される。
【0097】
【0098】
図１３は、一実施形態による、ＳＬＡＭを加速化させる方法を示すフローチャートである。このとき、図１３に図示されたＳＬＡＭを加速化させる方法は、図３に図示されたＳＬＡＭアクセラレータ３０で遂行される段階を示し、以下で重複する説明は、省略する。
図１３を参照すれば、１３０１段階において、ＳＬＡＭプロセッサは、連続するフレームにおける特徴点の位置を追跡することができる。一実施形態によれば、ＳＬＡＭプロセッサは、図３のＳＬＡＭアクセラレータ３０のＳＬＡＭプロセッサ３２０でもある。例えば、該ＳＬＡＭプロセッサのフロントエンドプロセッサ（例：図３のフロントエンドプロセッサ３２１）は、第１フレームから抽出された特徴点のうち、第１特徴点の第１フレームの次の第２フレームにおける位置を追跡することができる。
図１３を参照すれば、１３０１段階において、ＳＬＡＭプロセッサは、連続するフレームにおける特徴点の位置を追跡することができる。一実施形態によれば、ＳＬＡＭプロセッサは、図３のＳＬＡＭアクセラレータ３０のＳＬＡＭプロセッサ３２０でもある。例えば、該ＳＬＡＭプロセッサのフロントエンドプロセッサ（例：図３のフロントエンドプロセッサ３２１）は、第１フレームから抽出された特徴点のうち、第１特徴点の第１フレームの次の第２フレームにおける位置を追跡することができる。
【0099】
１３０２段階において、一実施形態による、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、１３０１段階で追跡された特徴点の位置に基づき、マップポイント及びカメラポーズに係わる測定値（measurement）を獲得することができる。例えば、該ＳＬＡＭプロセッサのバックエンドプロセッサ（例：図３のバックエンドプロセッサ３２２）は、追跡された第１特徴点の第２フレームにおける位置に基づき、マップポイント（例：図６のＰ０）及びカメラポーズ（例：図６のＣ０、Ｃ１、Ｃ２）に係わる第１測定値を獲得することができる。このとき、該第１測定値は、第１マップポイントの２Ｄ座標、及び第１マップポイントに対応する少なくとも１つのカメラポーズを含むものでもある。
【0100】
１３０３段階において、一実施形態による、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、第１測定値が獲得されれば、マップポイント及びカメラポーズに係わるヘッセ行列（Hessian matrix）の要素のうち、第１測定値と関連し、最適化行列に影響を与える要素を計算することができる。すなわち、ＳＬＡＭアクセラレータは、全ての測定値に基づき、ヘッセ行列全体を生成する代わりに、該ヘッセ行列の要素のうち、第１測定値と関連し、最適化行列に影響を与える要素を計算することができる。例えば、ＳＬＡＭプロセッサのバックエンドプロセッサは、第１測定値を利用し、カメラポーズに係わる行列ブロックの要素、マップポイントに係わる行列ブロックの要素、及びマップポイントに対応する少なくとも１以上のカメラポーズに係わる行列ブロックの要素を計算することができる。
１３０４段階において、一実施形態による、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、マップポイント及びカメラポーズの状態に係わる最適化演算を行うことに利用される最適化行列において計算された要素を累積することができる。
１３０４段階において、一実施形態による、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、マップポイント及びカメラポーズの状態に係わる最適化演算を行うことに利用される最適化行列において計算された要素を累積することができる。
【0101】
該ＳＬＡＭアクセラレータは、全ての測定値について順次に計算された要素が最適化行列に累積されれば、該最適化行列を利用し、マップポイント及びカメラポーズの状態に係わる最適化演算を行うことができる。該最適化演算は、シュアコンプリメント演算を含み、該最適化行列は、Ｓ行列を含むものでもある。
【0102】
なお、前掲の図７を参照して説明したように、カメラポーズは、１５個の成分を含み、マップポイントは、３個の成分を含むので、カメラポーズの個数がＮ個であり、マップポイントの個数がＭ個である場合、ヘッセ行列は、（１５Ｎ＋３Ｍ）ｘ（１５Ｎ＋３Ｍ）の大きさを有する正方形行列でもある。ＳＬＡＭの特性上、多数のマップポイントに係わる測定が行われるので、該ヘッセ行列は、非常に大きいサイズを有する。従って、ヘッセ行列全体を生成し、生成されたヘッセ行列を解くことは、高速及び低電力でもって遂行され難い。
【0103】
一実施形態によるＳＬＡＭアクセラレータは、前述の１３０１段階ないし１３０４段階を介し、全ての測定値に基づき、マップポイント及びカメラポーズに係わるヘッセ行列全体を生成する代わりに、ヘッセ行列の要素のうち、単一測定値と関連し、最適化行列に影響を与える要素を１回でいずれも計算することができる。言い換えれば、ＳＬＡＭアクセラレータは、中間のヤコビ行列またはヘッセ行列を生成せず、ヘッセ行列の要素のうち、第１測定値と関連し、Ｓ行列に影響を与える要素のみを選択的に計算することができる。
【0104】
それにより、一実施形態によるＳＬＡＭアクセラレータにおいては、ヤコビ行列またはヘッセ行列が生成及び保存される必要がないので、メモリサイズが低減されうる。また、一実施形態によるＳＬＡＭアクセラレータにおいては、１つの特徴点に係わる位置追跡が完了すれば、当該特徴点と係わる全ての演算が１回で処理され、当該特徴点に係わる測定値をさらにロードする必要がないので、ＳＬＡＭの全般的な演算速度が増大されることができる。
【0105】
単一測定値について計算された要素は、シュアコンプリメント演算のための最適化行列に累積されうる。例えば、ＳＬＡＭアクセラレータは、第１サイクルに第１測定値が入力された後、連続するサイクルに経て、第１測定値と関連する演算（例：１３０３段階ないし１３０４段階の演算）を順次に行い、第１測定値について計算された要素を最適化行列に累積することができる。また、ＳＬＡＭアクセラレータは、第１サイクルの次の第２サイクルに第２測定値が入力されれば、第１測定値に関連する演算に続き、第２測定値と関連する演算を行い、第２測定値について計算された要素を最適化行列に累積することができる。
【0106】
一実施形態によれば、ＳＬＡＭアクセラレータは、全ての測定値に係わる累積が完了した最適化行列を介し、最適化のための演算を行い、電子装置の周辺マップ及びポーズを推定することができる。
【0107】
【0108】
【0109】
図１４には、測定値が、カメラポーズＣ１ないしＣ５、及びマップポイントＰ１ないしＰ１０を含む例示が図示されている。
【0110】
一実施形態によるＳＬＡＭアクセラレータ（例：図３のＳＬＡＭアクセラレータ３０）のＳＬＡＭプロセッサ（例：図３のＳＬＡＭプロセッサ３２０）は、マップポイントＰ１が入力されれば、マップポイントＰ１を利用し、カメラポーズに係わる行列ブロックＵの要素、マップポイントに係わる行列ブロックＶの要素、及びマップポイントに対応する少なくとも１以上のカメラポーズに係わる行列ブロックＷの要素を計算することができる。また、該ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、ｒベクトル（例：数式５のｒｃ及びｒｐ）を計算することができる。
【0111】
例えば、マップポイントＰ１がカメラポーズＣ２ないしＣ５に対応する４つのフレームで観測される場合、ＳＬＡＭアクセラレータは、再投影誤差［数式７－１］を計算することができる。また、該ＳＬＡＭアクセラレータは、行列ブロックＵの要素である［数式７－２］を計算し、行列ブロックＶの要素である［数式７－３］を計算し、行列ブロックＷの要素である［数式７－４］を計算することができる。
【0112】
図１５には、ヘッセ行列１５１０及びＳ行列１５２０の例示が図示されている。ＳＬＡＭアクセラレータは、測定値それぞれについて行われた演算結果を累積し、ヘッセ行列１５１０を生成する代わりに、ヘッセ行列１５１０の要素うち、マップポイントＰ１と関連し、Ｓ行列１５２０に影響を与える要素（例：Ｕ，Ｖ，Ｗ及びｒ要素）だけを計算することができる。このとき、計算されたＳ行列１５２０に影響を与える要素は、シュアコンプリメント演算を行うためのシュアコンプリメント演算部（図示せず）にも伝達されるが、それに係わる具体的な説明は、後述する。
【0113】
ＳＬＡＭアクセラレータは、シュアコンプリメント演算により、行列ブロックＷ及び行列ブロックＶの要素と、行列ブロックＵの要素とを演算した後、行列ブロックＵと同一サイズを有するＳ行列１５２０を生成することができる。例えば、該ＳＬＡＭアクセラレータは、下記［数式７－５］により、Ｓ行列１５２０の要素を計算することができる。
【0114】
【数7】
【0115】
［数式７－５］で、ｉ１、ｉ２は、カメラポーズのインデックスを示し、ｊは、マップポイントのインデックスを示す。図１５の例示において、マップポイントＰ１は、カメラポーズＣ２ないしＣ５で観測されるので、シュアコンプリメントの適用時、Ｓ２２からＳ５５まで総１６個のＳ行列の要素が計算されうる。すなわち、該シュアコンプリメント演算は、他のマップポイントと係わりなく、マップポイントが観測されたカメラに該当するＳ行列位置においてのみ値を計算し、計算された値は、当該Ｓ行列位置に継続して累積されうる。
【0116】
なお、Ｓ行列は、対角線を基準に、転置（transpose）関係を有するので、ＳＬＡＭアクセラレータは、Ｓ行列の対角成分及び上三角成分のみを計算することもできる。本開示において、該上三角成分は、Ｓ行列の対角成分を基準に、右側上端の三角形成分を意味し、当該表現は、以下においても、同一意味に使用されうる。
【0117】
ＳＬＡＭアクセラレータは、全ての測定値に係わる累積が完了した最適化行列を介し、最適化のための演算を行い、電子装置の周辺マップ及びポーズを推定することができるが、それに係わる具体的な、説明は後述する。
【0118】
すなわち、一実施形態によるＳＬＡＭアクセラレータは、前述の動作を介し、カメラポーズ及びマップポイントに係わる状態の誤差を最小化させるための最適化演算を、高速でもって低電力で行うことができる。
【0119】
図１６は、一実施形態による、ＳＬＡＭプロセッサのパイプライン構造を示す図面である。また、図１７ないし図１９は、一実施形態による、カメラヘッセ行列、ＩＭＵヘッセ行列及び最終Ｓ行列（Ｓ matrix）を示す図面である。
【0120】
図１６を参照すれば、一実施形態によるＳＬＡＭアクセラレータ（例：図３のＳＬＡＭアクセラレータ３０）のＳＬＡＭプロセッサ（例：図３のＳＬＡＭプロセッサ３２０）は、多くの演算量が要求されるＳＬＡＭ演算を、低電力及び高速で行うためのパイプライン構造１６００を含むものでもある。すなわち、該ＳＬＡＭプロセッサは、ＳＬＡＭのフロントエンド演算とバックエンド演算とを順次に行うことができるパイプライン構造１６００を含むものでもある。
【0121】
ＳＬＡＭプロセッサのパイプライン構造１６００は、特徴点追跡部１６１０、マップコントローラ１６２０、カメラ制約生成器１６３０、シュアコンプリメント演算部１６４０及び線形ソルバ（linear solver）１６６０を含むものでもある。
【0122】
一実施形態によれば、パイプライン構造１６００の特徴点追跡部１６１０及びマップコントローラ１６２０は、センサ（例：図１のセンサ１１０）で獲得されたイメージデータから特徴点を抽出し、連続するフレームにおける抽出された特徴点の位置を追跡するフロントエンドプロセッサ（例：図３のフロントエンドプロセッサ３２１）の一部でもある。
【0123】
特徴点追跡部１６１０は、イメージデータから抽出された特徴点の位置を追跡する役割を行うことができる。すなわち、特徴点追跡部１６１０は、図１３の１３０１段階のような演算を行うことができる。フレームから特徴点を抽出する過程と異なり、特徴点の位置を推定する過程は、各特徴点別に、演算が並列にも行われる。それにより、特徴点追跡部１６１０は、抽出された特徴点の位置を並列に追跡することができる。
【0124】
一実施形態によれば、特徴点追跡部１６１０は、抽出された特徴点の個数により、追加して特徴点を抽出する動作（feature detection）を遂行することもできる。例えば、特徴点追跡部１６１０は、抽出された特徴点の個数が指定された個数である場合、イメージデータから、特徴点を追加して抽出することができる。本開示において「指定された個数」は、電子装置の周辺マップ及びポーズ推定結果の正確性を確保するために必要な特徴点の個数を意味しうる。
【0125】
抽出された特徴点の個数が指定された個数以下である場合には、推定された電子装置の周辺マップ及びポーズの正確性が落ちてしまうので、特徴点追跡部１６１０は、抽出された特徴点の個数が指定された個数以下である場合、特徴点の個数が指定された個数より多くなるように、特徴点を追加して抽出することができる。このとき、特徴点追跡部１６１０の特徴点を追加して抽出する動作は、所定の条件でのみ遂行されるが、全てのフレームから特徴点が追加して抽出されるものではないということは、当業者に当然のことであろう。
【0126】
マップコントローラ１６２０は、特徴点追跡部１６１０と、電気的または作動的に連結され、特徴点追跡部１６１０に、特徴点の位置追跡に必要なデータを伝達する役割を行うことができる。例えば、マップコントローラ１６２０は、センサのセンシングデータ（例：慣性情報）、及び以前のＳＬＡＭ演算結果に係わるデータに基づき、特徴点の位置、特徴点を追跡するためのパッチ（patch）サイズ、及び／または特徴点の追跡順序に係わるデータを、特徴点追跡部１６１０に伝達することができる。特徴点追跡部１６１０は、マップコントローラ１６２０から伝達されたデータに基づき、連続するフレームにおける特徴点の位置を追跡することができる。ただし、マップコントローラ１６２０に係わる具体的な説明は、後述する。
【0127】
一実施形態によれば、カメラ制約生成器１６３０及びシュアコムプリモント演算部１６４０は、ＳＬＡＭのフロントエンド演算結果に基づき、ＳＬＡＭのバックエンド演算を行うバックエンドプロセッサ（例：図３のバックエンドプロセッサ３２２）の一部でもある。
【0128】
カメラ制約生成器１６３０は、特徴点追跡部１６１０で追跡された特徴点の位置に基づき、マップポイント及びカメラポーズに係わる測定値を獲得し、マップポイント及びカメラポーズに係わるヘッセ行列の要素のうち、獲得された測定値と関連し、最適化行列に影響を与える要素を計算する役割を行うことができる。すなわち、カメラ制約生成器１６３０は、図１３の１３０２段階ないし１３０３段階のような演算を行うことができる。
【0129】
例えば、カメラ制約生成器１６３０は、特徴点追跡部１６１０で追跡された第１特徴点の位置に基づき、第１マップポイント及び第１マップポイントに対応する少なくとも１つのカメラポーズを含む第１測定値を獲得することができる。また、カメラ制約生成器１６３０は、全ての測定値に基づき、ヘッセ行列全体を生成する代わりに、ヘッセ行列の要素のうち、第１測定値と関連し、最適化行列に影響を与える要素を計算することができる。
【0130】
シュアコンプリメント演算部１６４０は、マップポイント及びカメラポーズの状態に係わる最適化演算を行うことに利用される最適化行列において計算された要素を累積する役割を行うことができる。例えば、シュアコンプリメント演算部１６４０は、カメラ制約生成器１６３０で計算されたヘッセ行列の要素のうち、第１測定値と関連し、最適化行列に影響を与える要素を累積することができる。すなわち、シュアコンプリメント演算部１６４０は、図１３の１３０４段階のような演算を行うことができる。
【0131】
一方、ＳＬＡＭアクセラレータは、カメラから獲得されるイメージデータのみを利用し、周辺マップ及びポーズを推定することもできるが、慣性測定ユニット（ＩＭＵ）のような他のセンサから獲得されるセンシングデータを共に利用し、周辺マップ及びポーズの推定精度を向上させることができる。そのような場合、一実施形態によるＳＬＡＭアクセラレータは、パイプライン構造１６００以外に、プロセッシングユニット１６５０（または、「変換プロセッシングユニット（transformation processing unit）」）をさらに含むものでもある。
【0132】
プロセッシングユニット１６５０は、慣性測定ユニット（ＩＭＵ）から獲得された慣性情報（ＩＭＵ measurement）に係わる最適化演算を行うことができる。例えば、プロセッシングユニット１６５０は、慣性測定ユニットから獲得された慣性情報に係わる最適化演算のための行列演算、ベクトル演算及び／またはリー代数（Lie algebra）演算などを遂行することができる。ただし、プロセッシングユニット１６５０の構成及び／または動作に係わる具体的な説明は、後述する。
【0133】
前掲の図７を参照して説明した、カメラポーズに係わる状態ベクトルＣの要素のうち、カメラ測定値（または、「イメージデータ」）を利用して推定される要素は、Ｒ及びＴを含み、慣性測定ユニットの測定値を利用して推定される要素は、Ｒ及びＴだけではなく、Ｖ、Ｂａ、Ｂｗをさらに含むものでもある。それにより、カメラポーズに係わる状態ベクトルＣは、カメラ測定値と慣性測定ユニット測定値とのいずれによっても影響を受けるファクタを含むＴと、慣性測定ユニットの測定値にだけ影響を受けるファクタ（ＩＭＵ factor）を含むＭとに分けられうる。
【0134】
図１７には、カメラ測定値に係わるヘッセ行列（または、カメラヘッセ行列）が図示されており、図１８には、慣性測定ユニットの測定値に係わるヘッセ行列（または、ＩＭＵヘッセ行列）が図示されている。図１７及び図１８を参照すれば、慣性測定ユニットの測定値が、マップポイントと関連がないファクタであるので、慣性測定ユニットの測定値に係わるヘッセ行列においては、カメラ測定値に係わるヘッセ行列と異なり、行列ブロックＵだけ含み、マップポイントと関連する行列ブロックＷ及び行列ブロックＶは、含まないのである。
【0135】
それにより、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、シュアコンプリメント演算部１６４０を介し、イメージデータに係わる第１ Ｓ行列を演算した後、プロセッシングユニット１６５０を介し、慣性情報に係わる第２ Ｓ行列を加え、図１９のような最終Ｓ行列を生成することができる。
【0136】
図１９には、シュアコンプリメント演算部を介して獲得されたＳ行列と、プロセッシングユニット１６５０を介して獲得されたＳ行列とが加えられて生成された最終Ｓ行列に図示されている。図１９に図示された最終Ｓ行列は、本開示の一実施形態であり、一実施形態により、最終Ｓ行列の形態が変更されうるということは、言うまでもない。
【0137】
このように、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサ（例：バックエンドプロセッサ）は、特徴点の測定値を、カメラ及び慣性測定ユニットのいずれによっても影響を受ける第１部分と、慣性測定ユニットによってのみ影響を受ける第２部分とに区分することができる。
【0138】
ＳＬＡＭプロセッサは、第１部分を利用し、カメラポーズに係わる行列ブロックの要素、マップポイントに係わる行列ブロックの要素、及びマップポイントに対応する少なくとも１以上のカメラポーズに係わる行列ブロックの要素を計算した後、該第１部分を利用して計算された要素を、最適化行列（例：Ｓ行列）に一次的に累積することができる。その後、該ＳＬＡＭプロセッサは、第２部分を利用し、カメラポーズに係わる行列ブロックの要素を計算した後、第２部分について計算された要素を、最適化行列に二次的に累積することができる。
【0139】
ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、最終最適化行列（例：Ｓ行列及びｂベクトル）が生成されれば、線形ソルバ１６６０を利用し、最終最適化行列に係わる方程式演算を行うことにより、累積されたエラーが最適化された状態変化を獲得することができる。例えば、線形ソルバ１６６０は、コレスキー分解（Cholesky decomposition）またはＰＣＧ（Pre-conditioned Conjugate Gradient）方式を介し、最終最適化行列に係わる方程式を解き、最適化された状態変化を獲得することができるが、それに限定されるものではない。それにより、ＳＬＡＭアクセラレータのＳＬＡＭプロセッサは、電子装置の周辺マップ及びポーズを推定することができる。
【0140】
慣性情報に係わる最適化演算の場合、イメージデータに係わる最適化演算に比べ、相対的にデータ量が少なく、演算量が多くなく、該慣性情報は、マップポイントに係わるファクタを含まないので、イメージデータから獲得される最適化行列と、慣性情報から獲得される最適化行列は、並列に演算されうる。それにより、一実施形態によるＳＬＡＭアクセラレータは、慣性情報に係わる最適化演算を行うプロセッシングユニット１６５０は、パイプライン構造１６００と別個に構成することができる。
【0141】
図面上には、プロセッシングユニット１６５０は、パイプライン構造１６００のマップコントローラ１６２０と区分される実施形態についてのみ図示されているが、本開示の実施形態は、図示された実施形態に限定されるものではない。他の実施形態において、プロセッシングユニット１６５０は、マップコントローラ１６２０の内部に配される低電力及び小型の構造でもある。
【0142】
一実施形態によるＳＬＡＭアクセラレータは、前述のパイプライン構造１６００を介し、全ての特徴点の位置追跡が完了しないとしても、特徴点のうちいずれか１つの特徴点に係わる位置が追跡されれば、ＳＬＡＭのフロントエンド演算とバックエンド演算とを連続して行うことができる。言い換えれば、該ＳＬＡＭアクセラレータは、各特徴点別にＳＬＡＭ演算を行うことにより、低い電力でも、高い演算量が要求されるＳＬＡＭ演算を迅速でもって効率的に遂行することができる。
【0143】
【0144】
図２０は、一実施形態による、ＳＬＡＭプロセッサのマップコントローラの全体的な動作について説明するためのフローチャートである。また、図２１及び図２２は、一実施形態による、特徴点の予想位置を推定し、特徴点の追跡順序を決定する過程について説明するための図面である。
【0145】
【0146】
図２０及び図２１を参照すれば、２００１段階において、一実施形態による、ＳＬＡＭアクセラレータ（例：図３のＳＬＡＭアクセラレータ３０）のマップコントローラ（例：図１６のマップコントローラ１３２０）は、連続するフレームにおいて、特徴点の予想位置を追跡することができる。例えば、マップコントローラは、第Ｎフレーム（例：第１フレーム）から抽出された特徴点の第（Ｎ＋１）フレーム（例：第２フレーム）における予想位置を追跡することができる。
【0147】
一実施形態によれば、マップコントローラは、ＳＬＡＭアクセラレータ、または電子装置（例：図１の電子装置１００）に含まれたＳＬＡＭアクセラレータのポーズ変化量、及び／または以前のＳＬＡＭ演算結果に基づき、連続するフレームにおいて、特徴点の予想位置を追跡することができる。本開示において「以前のＳＬＡＭ演算結果」は、現在を基準にして以前時点において、ＳＬＡＭプロセッサを介して推定された周辺マップ及びポーズに係わるデータを意味し、当該表現は、以下においても、同一の意味に使用される。
【0148】
例えば、ＳＬＡＭアクセラレータが、慣性測定ユニット（ＩＭＵ）で獲得された慣性情報を利用して最適化演算を行う場合、マップコントローラは、プロセッシングユニット（例：図１６のプロセッシングユニット１６５０）から、ＳＬＡＭアクセラレータのポーズ変化量に係わるデータを獲得し、獲得されたポーズ変化量、及び／または以前のＳＬＡＭ演算結果に基づき、特徴点の予想位置を追跡することができる。
【0149】
２００２段階において、一実施形態による、ＳＬＡＭアクセラレータのマップコントローラは、抽出された特徴点の位置を追跡するためのパッチの大きさを決定することができる。本開示において「パッチ」は、特徴点の位置分布によって設定される仮想の空間を意味し、当該表現は、以下においても、同一の意味にも使用される。
【0150】
一実施形態によれば、マップコントローラは、抽出された特徴点の不確実性（uncertainty）に基づき、特徴点の位置を追跡するためのパッチの大きさを決定することができる。例えば、特徴点の不確実性が高くなるほど、特徴点の位置することができる領域が広くなることになるので、該マップコントローラは、抽出された特徴点の不確実性が高いほど、パッチの大きさを広げることができる。
【0151】
図２０及び図２２を参照すれば、２００３段階において、一実施形態による、ＳＬＡＭアクセラレータのマップコントローラは、特徴点の予想位置に基づいて抽出された特徴点の位置追跡順序（tracking order）を決定することができる。例えば、該マップコントローラは、フレームのリードアウト（read-out）方向を基準に抽出された特徴点の第（Ｎ＋１）フレーム（例：第２フレーム）における位置追跡順序を決定することができる。
【0152】
図２２に図示された実施形態によれば、フレームのリードアウト方向は、上端から下端に向かう方向でもある。その場合、マップコントローラは、フレーム内において、最も上端に位置した第１特徴点の位置追跡順序を最初に決定し、第６特徴点、第２特徴点、第５特徴点、第３特徴点及び第４特徴点の順に位置が追跡されうるように、位置追跡順序を決定することができる。
【0153】
マップコントローラにおいて、前述の２００１段階ないし２００３段階を介して決定されたパッチの大きさ、及び抽出された特徴点の位置追跡順序に係わるデータは、特徴点追跡部（例：図１６の特徴点追跡部１６１０）にも伝達される。
【0154】
特徴点追跡部１６１０は、伝達されたデータに基づき、連続するフレームから抽出された特徴点の位置を追跡することができる。一実施形態によれば、特徴点追跡部は、マップコントローラで決定されたパッチを利用して抽出された特徴点の位置を順に追跡することができる。例えば、該特徴点追跡部は、第１特徴点の位置を優先して追跡することができ、追跡された第１特徴点の位置は、第１測定値として、カメラ制約生成器（例：図１６のカメラ制約生成器１６３０）にも入力される。
【0155】
図２３は、一実施形態による、プロセッシングユニットの構成を示すブロック図である。このとき、図２３に図示されたプロセッシングユニット１６５０は、図１６のプロセッシングユニット１６５０の一実施形態でもあり、以下において重複する説明は、省略する。
【0156】
図２３を参照すれば、一実施形態によるＳＬＡＭアクセラレータ（例：図３のＳＬＡＭアクセラレータ３０）は、周辺マップ及びポーズの推定時、カメラから獲得されたイメージデータだけではなく、慣性測定ユニット（ＩＭＵ）から獲得される慣性情報データまで共に利用するために、プロセッシングユニット１６５０を含むものでもある。
【0157】
ＳＬＡＭアクセラレータがプロセッシングユニット１６５０を含む場合、前掲の［数式１－１］による目的関数は、下記［数式８］にも拡張される。
【0158】
【数8】
【0159】
［数式８］において「ｅｖｉｓ」は、ビジョンファクタ（または、「イメージファクタ」）に係わる誤差を示し、下記［数式９］のようにも表現される。また、［数式８］において「ｅｉｍｕ」は、慣性情報ファクタ（または、「ＩＭＵファクタ」）に係わる誤差を示し、下記［数式１０］のようにも表現される。
【0160】
【数9】
【数10】
【0161】
［数式９］及び［数式１０］において、ｉ及びｊは、それぞれフレームナンバー（または、「カメラポーズのナンバー」）を示し、ｉ，ｊは、ｉ番目フレームからｊ番目フレームまでにおける前処理統合（pre-integration）を意味しうる。
【0162】
また、［数式１０］の慣性情報ファクタと係わる誤差は、下記［数式１１］に記載された慣性情報前処理統合係数（ＩＭＵ pre-integration factor）によっても表現される。
【0163】
【数11】
【0164】
［数式１１］において、Ｒは、回転変換行列を示し、ｐは、位置を示し、ｖは、速度を示し、ωは、角速度を示し、ａは、加速度を示しうる。また、ｂａは、加速度計のバイアスを示し、ｂｇは、角速度計のバイアス、ηａは、加速度計のノイズ、ηｇは、角速度計のノイズを示しうる。
【0165】
［数式９］ないし［数式１１］を参照すれば、慣性情報を示す回転行列（rotation matrix）に係わる最適化演算を行うためには、行列演算、ベクトル演算、並びに下記［数式１２］及び［数式１３］のようなリー代数演算が必要にもなる。
【0166】
【数12】
【数13】
【0167】
［数式１２］及び［数式１３］において、Ｒは、行列を示し、φは、ベクトルを示しうる。前述の［数式１２］及び［数式１３］のようなリー代数演算を介し、行列がベクトルにも変換される。
【0168】
慣性測定ユニットを介して獲得される慣性情報は、三次元空間の情報であるので、回転行列に係わる最適化演算を行うためには、主に、３Ｘ３サイズを有する行列演算、３Ｘ１サイズを有するベクトル演算、及び三次元リー代数演算が主に行われうる。
【0169】
プロセッシングユニット１６５０は、イメージデータに係わる最適化演算に比べ、相対的にデータ量が少なく、演算量が多くなり、マップポイントに係わる最適化演算と並列にも遂行される慣性情報または回転行列に係わる最適化演算を行うための構成を含むものでもある。
【0170】
一実施形態によれば、プロセッシングユニット１６５０は、行列演算部２３１０、ベクトル演算部２３２０、リー代数演算部２３３０、命令語メモリ２３４０、データメモリ２３５０及び制御部２３６０を含むものでもある。
【0171】
行列演算部２３１０は、慣性情報または回転行列に係わる最適化演算のうち、指定された行列に係わる演算を行うことができる。例えば、行列演算部２３１０は、回転行列の最適化演算過程において主に遂行される３Ｘ３サイズを有する行列に係わる演算を行うことができる。
【0172】
ベクトル演算部２３２０は、慣性情報または回転行列に係わる最適化演算のうち、指定されたベクトルに係わる演算を行うことができる。例えば、ベクトル演算部２３２０は、回転行列の最適化演算過程において主に遂行される３Ｘ１サイズを有するベクトルに係わる演算を行うことができる。一実施形態によれば、回転行列に係わる最適化演算を行うために、３Ｘ３行列演算、３Ｘ１ベクトル演算及び３Ｄリー代数演算が主に遂行されうる。
【0173】
リー代数演算部２３３０は、指定された行列を、指定されたベクトルに変換するリー代数演算を行うことができる。例えば、リー代数演算部２３３０は、３Ｘ３行列を、最適化行列の生成過程で使用される３Ｘ１サイズのベクトルに変換することができる。
【0174】
命令語メモリ２３４０は、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０の演算のための命令語が保存されうる。一実施形態によれば、命令語は、行列演算部２３１０の行列演算、ベクトル演算部２３２０のベクトル演算、及び／またはリー代数演算部２３３０のリー代数演算のための命令語（instructions）でもある。制御部２３６０は、命令語メモリ２３４０に保存された命令語に基づき、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０を制御することができる。
【0175】
データメモリ２３５０は、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０と、電気的または作動的に連結され、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０の演算結果を保存することができる。図面上には、命令語メモリ２３４０とデータメモリ２３５０とが別個の構成である実施形態についてのみ図示されているが、一実施形態により、命令語メモリ２３４０とデータメモリ２３５０は、一体にも形成される。
【0176】
制御部２３６０は、プロセッシングユニット１６５０の全般的な動作を制御することができる。一例示において、制御部２３６０は、命令語メモリ２３４０に保存された命令語に基づき、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０の動作を制御することができる。他の例示として、制御部２３６０は、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０の演算結果に基づき、慣性情報（または、回転行列）に係わる最適化演算を行うことにより、慣性情報から、最適化行列（例：Ｓ行列、ｂベクトル）を獲得することができる。
【0177】
ＳＬＡＭプロセッサのパイプライン構造（例：図１６のパイプライン構造１６００）は、制御部２３６０から、慣性情報から獲得された最適化行列に係わるデータを受信し、慣性情報から獲得された最適化行列と、シュアコンプリメント演算部（例：図１６のシュアコンプリメント演算部１６４０）を介し、イメージデータから獲得された最適化行列とを加え、最終最適化行列を生成することができる。
【0178】
図２４は、一実施形態による、ＳＬＡＭアクセラレータのパイプライン構造について説明するための図面である。
【0179】
【0180】
ＳＬＡＭアクセラレータは、抽出された特徴点のうち、Ｎ番目特徴点に係わる入力をＫ番目サイクル（cycle）にロードすることができる。該ＳＬＡＭアクセラレータは、Ｋ番目サイクルに、Ｎ番目特徴点に係わる入力がロードされれば、Ｎ番目特徴点の連続するフレームにおける位置を追跡し、Ｎ番目特徴点に係わるＮ番目測定値（Ｎｔｈ keypoint measurement）を獲得した後、連続するサイクル（すなわち、（Ｋ＋１）番目サイクルないし（Ｋ＋４）番目サイクル）にわたり、Ｎ番目測定値と関連する演算を順次に行うことができる。例えば、該ＳＬＡＭアクセラレータは、Ｎ番目測定値につ基、再投影誤差演算、ヤコビ行列またはヤコビ行列の要素の生成、ヘッセ行列またはヘッセ行列の要素の生成、及びシュアコンプリメント演算を順次に行うことができる。
【0181】
また、該ＳＬＡＭアクセラレータは、（Ｎ＋１）番目特徴点に係わる入力を、（Ｋ＋１）番目サイクルにロードすることができる。該ＳＬＡＭアクセラレータは、（Ｋ＋１）番目サイクルにおいて、（Ｎ＋１）番目特徴点の位置を追跡し、（Ｎ＋１）番目特徴点に係わる（Ｎ＋１）番目測定値を獲得した後、Ｎ番目測定値に関連する演算に続き、（Ｎ＋１）番目測定値に係わる演算を行うことができる。例えば、該ＳＬＡＭアクセラレータは、（Ｋ＋１）番目サイクルにおいて、Ｎ番目測定値に係わる再投影を行うと共に、（Ｎ＋１）番目特徴点の位置を追跡し、（Ｎ＋１）番目特徴点に係わる（Ｎ＋１）番目測定値を獲得することができる。その後、該ＳＬＡＭアクセラレータは、（Ｋ＋２）番目サイクルにおいて、Ｎ番目測定値に係わるヤコビ行列生成を遂行すると共に、（Ｎ＋１）番目測定値に係わる再投影を遂行することができる。
【0182】
それに加え、ＳＬＡＭアクセラレータは、（Ｎ＋２）番目特徴点に係わる入力を（Ｋ＋２）番目サイクルにロードすることができ、（Ｎ＋２）番目特徴点の位置を追跡し、（Ｎ＋２）番目特徴点に係わる（Ｎ＋２）番目測定値を獲得した後、Ｎ番目測定値に係わる演算及び（Ｎ＋１）番目測定値に係わる演算に続き、（Ｎ＋２）番目測定値に係わる演算を行うことができる。そのように、該ＳＬＡＭアクセラレータは、状態変数を最適化させる複数の演算それぞれを行うパイプライン構造を含むものでもあり、複数の測定値に係わる演算を並列に行うことができる。それにより、最適化演算が高速にも行われ、その結果、該ＳＬＡＭアクセラレータは、ＳＬＡＭのフロントエンド及びバックエンド演算速度を向上させることができる。
【0183】
【0184】
図２５及び図２６を参照すれば、一実施形態による電子装置２５００は、センサ２５１０、ＳＬＡＭプロセッサ２５２０及びイメージメモリ２５３０（または、「イメージデータベース（image ＤＢ）」）を含むものでもある。一実施形態による、電子装置２５００のＳＬＡＭプロセッサ２５２０は、図３のＳＬＡＭアクセラレータ３０を構成するＳＬＡＭプロセッサ３２０でもあり、以下で重複する説明は、省略する。
【0185】
センサ２５１０は、ＳＬＡＭプロセッサ２５２０と、電気的または作動的にも連結され、ＳＬＡＭ演算に必要なデータを獲得する役割を行うことができる。例えば、ＳＬＡＭプロセッサ２５２０は、センサ２５１０を介し、電子装置２５００の周辺客体に係わるイメージデータ、及び／または電子装置２５００の慣性情報に係わるデータを獲得することができる。
【0186】
一実施形態によれば、センサ２５１０は、周辺客体に係わるイメージデータを獲得するためのカメラ２５１１、及び電子装置２５００の慣性情報に係わるデータを獲得するための慣性測定ユニット（ＩＭＵ）２５１２を含むものでもある。ただし、センサ２５１０の構成要素は、前述の実施形態に限定されるものではなく、一実施形態により、センサ２５１０は、他の構成要素（例：イメージセンサ、ＧＰＳ（Global Positioning System）、走行距離計）をさらに含むか、あるいは前述の構成要素のうち、少なくとも１つの構成要素（例：慣性測定ユニット）を省略することもできる。
【0187】
ＳＬＡＭプロセッサ２５２０は、センサ２５１０からデータを受信し、受信されたデータに係わるＳＬＡＭ演算を行い、電子装置２５００のポーズ及び周辺マップを推定することができる。
【0188】
一実施形態によれば、ＳＬＡＭプロセッサ２５２０は、ＳＬＡＭのフロントエンド演算を行うフロントエンドプロセッサ２５２１（例：図３のフロントエンドプロセッサ３２１）、及びフロントエンド演算結果に基づき、ＳＬＡＭのバックエンド演算を行うバックエンドプロセッサ２５２２（例：図３のバックエンドプロセッサ３２２）を含むものでもある。
【0189】
フロントエンドプロセッサ２５２１は、特徴点抽出アルゴリズムを介し、センサ２５１０で獲得された周辺客体に係わるイメージデータから特徴点を抽出し、連続するフレームから抽出された特徴点の位置を追跡することができる。例えば、フロントエンドプロセッサ２５２１は、イメージデータの第１フレームから特徴点を抽出し、該特徴点のうち、少なくとも１つの特徴点の第２フレームにおける位置を追跡することができる。
【0190】
一実施形態によれば、フロントエンドプロセッサ２５２１は、イメージメモリ２５３０と、電気的または作動的にも連結され、イメージメモリ２５３０に保存されたイメージデータを利用し、特徴点の抽出及び追跡の正確度を向上させることができる。例えば、フロントエンドプロセッサ２５２１は、イメージメモリ２５３０に保存されたイメージデータ（例：周辺客体に係わるイメージ）に基づき、マップポイントの位置をさらに正確に判断することができ、その結果、該特徴点の抽出及び追跡の正確度が向上されうる。
【0191】
また、フロントエンドプロセッサ２５２１は、センサ２５１０で獲得された慣性情報に係わるデータを、最適化演算を行うためのデータに変換したり、それを処理したりすることができ、変換または処理されたデータは、ファクタグラフメモリ（ｆａｃｔｏｒｇｒａｐｈｍｅｍｏｒｙ）（例：図３のファクタグラフメモリ３１０）に保存されることができる。図２６には、ファクタグラフメモリがバックエンドプロセッサ２５２２に含まれた実施形態について図示されているが、該ファクタグラフメモリは、バックエンドプロセッサ２５２２に必ずしも含まれなければならないものではない。一実施形態（図示せず）により、該ファクタグラフメモリは、バックエンドプロセッサ２５２２と区分される構成でもある。
【0192】
バックエンドプロセッサ２５２２は、フロントエンドプロセッサ２５２１のフロントエンド演算結果に基づき、最適化演算を行うことにより、電子装置２５００のポーズ及び周辺マップを推定することができる。例えば、バックエンドプロセッサ２５２２は、光束調節（ＢＡ）を介し、フロントエンドプロセッサ２５２１で抽出され、かつ／あるいは追跡された特徴点と、慣性情報とに係わる最適化演算を行い、電子装置２５００のポーズ及び周辺マップを推定することができるが、それに限定されるものではない。
【0193】
ＳＬＡＭプロセッサ２５２０は、特徴点別またはマップポイント別に、フロントエンドプロセッサ２５２１のフロントエンド演算と、バックエンドプロセッサ２５２２のバックエンド演算とを連続して行うことができるパイプライン構造を含むものでもある。例えば、ＳＬＡＭプロセッサ２５２０は、図１６のパイプライン構造１６００を含むものでもあり、以下で重複する説明は、省略する。
【0194】
一実施形態によれば、電子装置２５００は、センサ２５１０、ＳＬＡＭプロセッサ２５２０及びイメージメモリ２５３０が１つのチップに集積された単一チップシステム（system on a chip）でもある。すなわち、一実施形態による電子装置２５００は、センサ２５１０、ＳＬＡＭプロセッサ２５２０及びイメージメモリ２５３０が一体化された単一チップシステムによって具現され、１つのチップ内において、ＳＬＡＭ演算のためのデータ獲得、及び獲得されたデータに係わるＳＬＡＭ演算を連続して行うことができる。
【0195】
ＳＬＡＭを遂行するウェアラブルデバイス（例：ＡＲガラス）またはロボットの小型化のためには、ＳＬＡＭを遂行するための構成要素の小型化が必要であり、一実施形態による電子装置２５００は、図１及び／または図２の電子装置１００（例：ウェアラブルデバイス）または自律走行ロボットに適用され、装置の全体的な大きさを小型化させながら、消費電力を最小化させることができる。
【0196】
一実施形態によれば、電子装置２５００は、外部電子装置と無線通信を行うための無線通信モジュールをさらに含むものでもある。一実施形態によれば、該無線通信モジュールは、少なくとも１つの電子回路によっても具現される。電子装置２５００は、少なくとも１つのアンテナを含む無線通信モジュールを介し、外部電子装置（例：モバイル電子装置またはサーバ）と、データを送信及び／または受信することができる。電子装置２５００が無線通信モジュールを含む場合、電子装置２５００は、センサ２５１０、ＳＬＡＭプロセッサ２５２０、イメージメモリ２５３０及び無線通信モジュールが一体化された単一チップシステムでもある。
【0197】
一実施形態によれば、ＳＬＡＭプロセッサのパイプライン構造１６００、プロセッシングユニット１６５０、及び／または電子装置２５００の少なくとも１つの構成要素は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの結合によっても具現される。例えば、ＳＬＡＭプロセッサのパイプライン構造１６００、プロセッシングユニット１６５０、及び／または電子装置２５００の少なくとも１つの構成要素は、少なくとも１つのメモリ、少なくとも１つのプロセッサによっても具現される。また、本開示において、「～ユニットまたは～部」及び「モジュール」は、メモリまたはプロセッサによっても具現される。
【0198】
一実施形態によれば、プロセッシングユニット１６５０は、少なくとも１つのメモリ、及び少なくとも１つのプロセッサによっても具現される。一実施形態によれば、行列演算部２３１０、ベクトル演算部２３２０及びリー代数演算部２３３０は、プロセッサによっても具現される。一実施形態によれば、同一プロセッサであるならば、プロセッシングユニット１６５０の少なくとも１つの構成要素を具現するようにも構成される。一実施形態によれば、該プロセッサは、プロセッシングユニット１６５０の少なくとも１つの他の構成要素（例：ハードウェア構成要素またはソフトウェア構成要素）を制御するために、ソフトウェア（例えば、プログラムコードまたは命令語）を実行することができる。データ処理またはデータ計算の一部として、該プロセッサは、他の構成要素（例えば、センサまたは通信モジュール）から受信された命令語及び／またはデータをメモリにロードし、該メモリに保存された命令語及び／またはデータを処理し、該メモリに、結果データを保存することができる。該メモリは、揮発性メモリまたは不揮発性メモリでもある。該不揮発性メモリは、内部メモリと外部メモリとを含むものでもある。該プロセッサは、メインプロセッサ（例えば、中央処理装置、アプリケーションプロセッサなど）でもあり、かつ独立して作動するか、あるいは該メインプロセッサと共に作動しうる補助プロセッサ（例：グラフィック処理装置、イメージ信号プロセッサ、センサハブプロセッサ、通信プロセッサ）を含むものでもある。
【0199】
なお、前述のＳＬＡＭを加速化させる方法は、その方法を実行する命令語を含む１以上のプログラムが記録されたコンピュータで読み取り可能な記録媒体にも記録される。該コンピュータで読み取り可能な可能記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれる。該プログラム命令語の例には、コンパイラによって作られるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行されうる高級言語コードを含む。
【0200】
以上、本実施形態について詳細に説明したが、本発明の権利範囲は、それらに限定されるものではなく、特許請求の範囲で定義されている本発明の基本概念を利用した当業者のさまざまな変形及び改良形態も、本発明の権利範囲に属するのである。
【符号の説明】
【0201】
３０ ＳＬＡＭアクセラレータ
１００，２５００ 電子装置
１１０，２５１０ センサ
１２０ 加速器
１３０ プロセッサ
３１０ ファクタグラフメモリ
３２０，２５２０ ＳＬＡＭプロセッサ
３２１，２５２１ フロントエンドプロセッサ
３２２，２５２２ バックエンドプロセッサ
１６００ ＳＬＡＭプロセッサのパイプライン構造
１６１０ 特徴点追跡部
１６２０ マップコントローラ
１６３０ カメラ制約生成器
１６４０ シュアコンプリメント演算部
１６５０ プロセッシングユニット
１６６０ 線形ソルバ
２５３０ イメージセンサ
１００，２５００ 電子装置
１１０，２５１０ センサ
１２０ 加速器
１３０ プロセッサ
３１０ ファクタグラフメモリ
３２０，２５２０ ＳＬＡＭプロセッサ
３２１，２５２１ フロントエンドプロセッサ
３２２，２５２２ バックエンドプロセッサ
１６００ ＳＬＡＭプロセッサのパイプライン構造
１６１０ 特徴点追跡部
１６２０ マップコントローラ
１６３０ カメラ制約生成器
１６４０ シュアコンプリメント演算部
１６５０ プロセッシングユニット
１６６０ 線形ソルバ
２５３０ イメージセンサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】