知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-14
(54)【発明の名称】位置姿勢決定方法及び装置、電子機器並びに記憶媒体
(51)【国際特許分類】
G06T 7/80 20170101AFI20220907BHJP
H04N 5/232 20060101ALI20220907BHJP
【ＦＩ】
G06T7/80
H04N5/232
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021578183
(86)(22)【出願日】2019-12-06
(85)【翻訳文提出日】2021-12-29
(86)【国際出願番号】 CN2019123646
(87)【国際公開番号】W WO2021017358
(87)【国際公開日】2021-02-04
(31)【優先権主張番号】201910701860.0
(32)【優先日】2019-07-31
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＳＭＡＬＬＴＡＬＫ
(71)【出願人】
【識別番号】519453342
【氏名又は名称】深▲せん▼市商▲湯▼科技有限公司
【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＥＮＳＥＴＩＭＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， Ｂｕｉｌｄｉｎｇ Ａ， Ｎｏ． １， Ｑｉａｎｗａｎ Ｒｏａｄ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇｋｏｎｇ Ｍｏｄｅｒｎ Ｓｅｒｖｉｃｅ Ｉｎｄｕｓｔｒｙ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８０００ （ＣＮ）
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】朱▲ちぇん▼▲かい▼
(72)【発明者】
【氏名】▲馮▼岩
(72)【発明者】
【氏名】武▲偉▼
(72)【発明者】
【氏名】▲閻▼俊杰
(72)【発明者】
【氏名】林思睿
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA11
5C122EA55
5C122FH04
5C122FH11
5C122GD06
5C122HA88
5C122HB01
5C122HB10
5L096CA04
5L096DA02
5L096FA09
5L096FA66
5L096FA67
5L096FA69
5L096HA08
5L096HA11
5L096JA09
5L096JA11
5L096KA04
(57)【要約】
本願は、位置姿勢決定方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、処理対象画像とマッチングする参照画像を取得することと、処理対象画像及び参照画像に対してそれぞれキーポイント抽出処理を行い、処理対象画像における第１キーポイント及び参照画像における、第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、第１キーポイントと第２キーポイントとの対応関係、及び参照画像に対応する参照位置姿勢に基づいて、処理対象画像を収集する時の画像取得装置のターゲット位置姿勢を決定することと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
位置姿勢決定方法であって、前記方法は、処理対象画像とマッチングする参照画像を取得することであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、ことと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することと、を含む、位置姿勢決定方法。
【請求項2】
処理対象画像とマッチングする参照画像を取得することは、前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることであって、前記少なくとも１つの第１画像は、前記画像取得装置により回転中で順次取得されたものである、ことと、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記方法は、第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、ことと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することと、を更に含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することは、前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することであって、前記複数のターゲット点は、前記第２画像における複数の非共線点である、ことと、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することは、前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することは、現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
請求項３に記載の方法。
【請求項7】
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することは、前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含むことを特徴とする
請求項６に記載の方法。
【請求項8】
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することは、前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
請求項６に記載の方法。
【請求項9】
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含むことを特徴とする
請求項１に記載の方法。
【請求項10】
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含むことを特徴とする
請求項９に記載の方法。
【請求項11】
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする請求項１－１０のうちいずれか一項に記載の方法。
【請求項12】
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、前記方法は、
前記畳み込みニューラルネットワークの畳み込み層により、サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得ることと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得ることと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練することと、を更に含むことを特徴とする
請求項１－１０のうちいずれか一項に記載の方法。
【請求項13】
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることは、前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
位置姿勢決定装置であって、前記装置は、処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュールと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュールと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュールと、を備える、位置姿勢決定装置。
【請求項15】
前記取得モジュールは更に、前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成されることを特徴とする
請求項１４に記載の装置。
【請求項16】
前記装置は、第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備えることを特徴とする
請求項１５に記載の装置。
【請求項17】
前記第２決定モジュールは更に、前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成されることを特徴とする
請求項１６に記載の装置。
【請求項18】
前記第３決定モジュールは更に、前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
請求項１７に記載の装置。
【請求項19】
前記第４決定モジュールは更に、現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
請求項１６に記載の装置。
【請求項20】
前記第４決定モジュールは更に、前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成されることを特徴とする
請求項１９に記載の装置。
【請求項21】
前記第４決定モジュールは更に、前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
請求項１９に記載の装置。
【請求項22】
前記第１決定モジュールは更に、前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成されることを特徴とする
請求項１４に記載の装置。
【請求項23】
前記第１決定モジュールは更に、前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成されることを特徴とする
請求項２２に記載の装置。
【請求項24】
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする請求項１４－２３のうちいずれか一項に記載の装置。
【請求項25】
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備えることを特徴とする
請求項１４－２３のうちいずれか一項に記載の装置。
【請求項26】
前記第２抽出モジュールは更に、前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成されることを特徴とする
請求項２５に記載の装置。
【請求項27】
電子機器であって、前記電子機器は、プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、前記メモリに記憶される命令を呼び出し、請求項１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項28】
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１－１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項29】
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサに、請求項１－１３のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０１９年７月３１日に中国特許局に提出された出願番号２０１９１０７０１８６０．０、名称「位置姿勢決定方法及び装置、電子機器並びに記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、２０１９年７月３１日に中国特許局に提出された出願番号２０１９１０７０１８６０．０、名称「位置姿勢決定方法及び装置、電子機器並びに記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
【0002】
本願は、コンピュータ技術分野に関し、特に位置姿勢決定方法及び装置、電子機器並びに記憶媒体に関する。
【背景技術】
【0003】
カメラキャリブレーションは、視覚的測位における基礎的な課題である。ターゲット地理的位置の算出、ビデオカメラの可視領域の取得は、いずれもカメラキャリブレーションを行う必要がある。関連技術において、一般的なキャリブレーションアルゴリズムは、カメラ位置が固定される場合のみを考慮した。しかしながら、現在の都市における監視カメラに多くの回転可能なカメラが含まれる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本願は、位置姿勢決定方法及び装置、電子機器並びに記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本願の一態様によれば、位置姿勢決定方法を提供する。前記方法は、
処理対象画像とマッチングする参照画像を取得することであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、ことと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することと、を含む。
処理対象画像とマッチングする参照画像を取得することであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、ことと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することと、を含む。
【0006】
本願の実施例の位置姿勢決定方法によれば、処理対象画像とマッチングする参照画像を取得し、参照画像の位置姿勢に基づいて、処理対象画像に対応する位置姿勢を決定することで、画像取得装置の回転又は変位が発生した時に、対応する位置姿勢をキャリブレーションすることができ、新たな監視シーンに迅速に適応することができる。
【0007】
可能な実現形態において、処理対象画像とマッチングする参照画像を取得することは、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることであって、前記少なくとも１つの第１画像は、前記画像取得装置により回転中で順次取得されたものである、ことと、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含む。
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることであって、前記少なくとも１つの第１画像は、前記画像取得装置により回転中で順次取得されたものである、ことと、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含む。
【0008】
可能な実現形態において、前記方法は、
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である、ことと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することと、を更に含む。
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である、ことと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することと、を更に含む。
【0009】
可能な実現形態において、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することは、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することであって、前記複数のターゲット点は、前記第２画像における複数の非共線点である、ことと、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含む。
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することであって、前記複数のターゲット点は、前記第２画像における複数の非共線点である、ことと、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含む。
【0010】
可能な実現形態において、前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することは、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含む。
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含む。
【0011】
可能な実現形態において、前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することは、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含む。
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含む。
【0012】
このような方式で、最初の画像の参照位置姿勢を得て、最初の第１画像の参照位置姿勢に基づいて、全ての第１画像の参照位置姿勢を反復的に決定することができる。複雑なキャリブレーション方法で各第１画像に対してキャリブレーション処理を行う必要がなく、処理効率を向上させる。
【0013】
可能な実現形態において、前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することは、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含む。
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含む。
【0014】
可能な実現形態において、前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することは、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含む。
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含む。
【0015】
可能な実現形態において、前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含む。
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含む。
【0016】
このような方式で、最初の画像の参照位置姿勢を得て、最初の第１画像の参照位置姿勢に基づいて、全ての第１画像の参照位置姿勢を反復的に決定することができる。複雑なキャリブレーション方法で各第１画像に対してキャリブレーション処理を行う必要がなく、処理効率を向上させる。
【0017】
可能な実現形態において、前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含む。
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含む。
【0018】
可能な実現形態において、前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含む。
【0019】
可能な実現形態において、前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記方法は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得ることと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得ることと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練することと、を更に含む。
前記方法は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得ることと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得ることと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練することと、を更に含む。
【0020】
可能な実現形態において、前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることは、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含む。
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含む。
【0021】
本願の一態様によれば、位置姿勢決定装置を提供する。前記装置は、
処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュールと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュールと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュールと、を備える。
処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュールと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュールと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュールと、を備える。
【0022】
可能な実現形態において、前記取得モジュールは更に、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成される。
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成される。
【0023】
可能な実現形態において、前記装置は、
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備える。
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備える。
【0024】
可能な実現形態において、前記第２決定モジュールは更に、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成される。
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成される。
【0025】
可能な実現形態において、前記第３決定モジュールは更に、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される。
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される。
【0026】
可能な実現形態において、前記第４決定モジュールは更に、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
【0027】
可能な実現形態において、前記第４決定モジュールは更に、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成される。
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成される。
【0028】
可能な実現形態において、前記第４決定モジュールは更に、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
【0029】
可能な実現形態において、前記第１決定モジュールは更に、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される。
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される。
【0030】
可能な実現形態において、前記第１決定モジュールは更に、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成される。
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成される。
【0031】
可能な実現形態において、前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含む。
【0032】
可能な実現形態において、前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
【0033】
可能な実現形態において、前記第２抽出モジュールは更に、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成される。
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成される。
【0034】
本願の一態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、上記位置姿勢決定方法を実行するように構成される。
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、上記位置姿勢決定方法を実行するように構成される。
【0035】
本願の一態様によれば、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記位置姿勢決定方法を実現させる。
【0036】
本願の一態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記位置姿勢決定方法を実行する。
【0037】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
【0038】
本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。
【図面の簡単な説明】
【0039】
【図1】本願の実施例による位置姿勢決定方法を示すフローチャートである。
【図2】本願の実施例による位置姿勢決定方法を示すフローチャートである。
【図3】本願の実施例によるターゲット点を示す概略図である。
【図4】本願の実施例による位置姿勢決定方法を示すフローチャートである。
【図5】本願の実施例によるニューラルネットワークの訓練を示す概略図である。
【図6】本願の実施例による位置姿勢決定方法の適用を示す概略図である。
【図7】本願の実施例による位置姿勢決定装置を示すブロック図である。
【図8】本願の実施例による電子機器を示すブロック図である。
【図9】本願の実施例による電子機器を示すブロック図である。
【0040】
ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。
【発明を実施するための形態】
【0041】
以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。
【0042】
ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。
【0043】
本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。
【0044】
なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。
【0045】
【0046】
ステップＳ１１において、処理対象画像とマッチングする参照画像を取得し、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである。
【0047】
ステップＳ１２において、前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得る。
【0048】
ステップＳ１３において、前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定する。
【0049】
本願の実施例の位置姿勢決定方法によれば、処理対象画像とマッチングする参照画像を取得し、参照画像の位置姿勢に基づいて、処理対象画像に対応する位置姿勢を決定することで、画像取得装置の回転又は変位が発生した時に、対応する位置姿勢をキャリブレーションすることができ、新たな監視シーンに迅速に適応することができる。
【0050】
可能な実現形態において、前記位置姿勢決定方法は、カメラ、ビデオカメラ、モニタなどの画像取得装置の位置姿勢の決定に適用可能である。例えば、モニタリングシステム、ゲートシステムなどのカメラの位置姿勢の決定に適用可能である。画像取得装置は、回転又は変位などのような位置姿勢変換が発生した時、例えば、モニタリングカメラが回転する時、位置姿勢変換された画像取得装置の位置姿勢を効果的に決定することができる。本願は、前記位置姿勢決定方法の適用分野を限定するものではない。
【0051】
可能な実現形態において、前記方法は、端末装置により実行されてもよい。端末装置は、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。前記方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。又は、前記方法は、サーバにより実行される。
【0052】
可能な実現形態において、所定の位置にある前記画像取得装置により少なくとも１つの第１画像を取得し、前記少なくとも１つの第１画像から、処理対象画像とマッチングする参照画像を選択する。前記画像取得装置は、例えば、モニタリング用スフィアカメラなどのような回転可能なカメラであってもよい。前記画像取得装置は、ピッチ方向及び／又はヨー方向に沿って回転することができる。回転中で、画像取得装置は、１つ又は少なくとも１つの第１画像を取得することができる。他の実施例において、画像取得装置により１つの参照画像を取得してもよく、ここでこれを限定しない。
【0053】
例において、画像取得装置がピッチ方向で１８０°回転可能であり、ヨー方向で３６０°回転可能であると、画像取得装置は、回転中で少なくとも１つの第１画像を取得することができる。例えば、所定の角度おきに、１つの第１画像を取得する。もう１つの例において、画像取得装置の、ピッチ方向及び／又はヨー方向での回転可能な角度は、所定の角度である。例えば、１０°、２０°、３０°等のみ回転可能であると、画像取得装置は、回転中で１つ又は少なくとも１つの第１画像を取得する。例えば、所定の角度おきに、１つの第１画像を取得する。例えば、画像取得装置は、ヨー方向で２０°のみ回転可能であり、回転中、５°おきに１つの第１画像を取得できると、画像取得装置は、それぞれ０°、５°、１０°、１５°及び２０°を回転する時に１つの第１画像をそれぞれ取得し、計５枚の第１画像を取得する。また、例えば、画像取得装置は、ヨー方向で１０°のみ回転可能であり、画像取得装置は、０°、５°、１０°を回転する時に１枚の第1画像をそれぞれ取得することができる。つまり、３枚の第１画像を取得する。前記各第１画像に対応する参照位置姿勢は、各第１画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含む。参照画像は、前記第１画像のうち、処理対象画像とマッチングする画像であり、前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含む。
【0054】
【0055】
ステップＳ１４において、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定し、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である。
【0056】
ステップＳ１５において、前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定する。
【0057】
ステップＳ１６において、前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定する。
【0058】
可能な実現形態において、ステップＳ１４において、画像取得装置をピッチ方向及び／又はヨー方向に沿って回転し、回転中で第１画像を順次取得することができる。例えば、画像取得装置をピッチ方向である角度（例えば、１°、５°、１０°等）と設定し、ヨー方向に沿って１回転し、回転中で所定の角度（例えば、１°、５°、１０°等）おきに、１枚の第１画像を取得する。１回転した後、画像取得装置をピッチ方向に沿って所定の角度（例えば、１°、５°、１０°等）調整し、ヨー方向に沿って１回転し、回転中で所定の角度おきに１枚の第１画像を取得する。上記方法で、引き続きピッチ方向での角度を調整し、ヨー方向に沿って１回転し、第１画像を取得し、ピッチ方向で１８０°調整するまで継続する。又は、画像取得装置は、ピッチ方向及び／又はヨー方向での回転可能な角度が所定の角度である場合、第１画像を順次取得することができる。
【0059】
可能な実現形態において、上記プロセスにおけるいずれか１枚の第１画像を第２画像と決定し、各第１画像の参照位置姿勢を順次決定する時、選択された第２画像を、少なくとも１つの第１画像の参照位置姿勢の決定処理における最初の処理対象画像とし、第２画像の参照位置姿勢を決定した後、第２画像の参照位置姿勢に基づいて、他の第１画像の参照位置姿勢を決定することができる。例えば、最初の第１画像を前記第２画像と決定し、第２画像に対してキャリブレーションを行い（つまり、第２画像を取得する時の画像取得装置位置姿勢をキャリブレーションする）、第２画像の参照位置姿勢を決定し、第２画像の参照位置姿勢に基づいて、他の第１画像の参照位置姿勢を順次決定することができる。
【0060】
可能な実現形態において、第２画像から、複数の非共線ターゲット点を選択し、第２画像における、前記複数のターゲット点の画像位置座標を注記し、前記複数のターゲット点の地理的位置座標を取得する。例えば、実際の地理的位置での、ターゲット点の緯度経度座標を取得する。
【0061】
図３は、本願の実施例によるターゲット点を示す概略図である。図３に示すように、図３における右側は、前記画像取得装置により取得された第２画像である。また、第２画像において、４つのターゲット点（即ち、点０、点１、点２及び点３）が選択された。例えば、スタジアムの４つの頂点をターゲット点として選択する。また、例えば、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）のような、第２画像における、前記４つのターゲット点の画像位置座標を取得することができる。
【0062】
可能な実現形態において、前記４つのターゲット点の緯度経度座標のような地理的位置座標を決定することができる。図３における左側は、前記スタジアムのライブマップである。例えば、衛星により撮影されたライブマップである。各ライブマップから、例えば、（ｘ１’，ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、（ｘ４’，ｙ４’）のような前記４つのターゲット点の緯度経度座標を取得することができる。
【0063】
可能な実現形態において、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することは、前記複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することと、前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含む。
【0064】
可能な実現形態において、前記複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定する。例において、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）及び（ｘ１’， ｙ１’）、（ｘ２’，ｙ２’）、（ｘ３’，ｙ３’）、（ｘ４’，ｙ４’）間の対応関係に基づいて、画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することができる。例えば、上記座標に基づいて各座標間の連立方程式を確立し、前記連立方程式に基づいて、前記第２ホモグラフィ行列を求めることができる。
【0065】
可能な実現形態において、ホモグラフィ行列に対して分解処理を行い、イメージング原理に基づいて、下記式（１）により、第２ホモグラフィ行列及び画像取得装置の内部パラメータ行列並びに第２画像の参照位置姿勢の間の関係を決定することができる。
【0066】
【数1】
【0067】
ただし、
【0068】
【化1】
【0069】
は、第２ホモグラフィ行列であり、
【0070】
【化2】
【0071】
の特徴値であり、
【0072】
【化3】
【0073】
は、画像取得装置の内部パラメータ行列であり、
【0074】
【化4】
【0075】
は、第２画像に対応する外部パラメータ行列であり、
【0076】
【化5】
【0077】
は第２画像の回転行列であり、
【0078】
【化6】
【0079】
は第２画像の変位ベクトルである。
【0080】
可能な実現形態において、式（１）における列ベクトルは、下記式（２）で表されてもよい。
【0081】
【数2】
【0082】
ただし、
【0083】
【化7】
【0084】
はそれぞれＨの列ベクトルであり、
【0085】
【化8】
【0086】
は、
【0087】
【化9】
【0088】
の列ベクトルであり、
【0089】
【化10】
【0090】
の列ベクトルである。
【0091】
可能な実現形態において、回転行列
【0092】
【化11】
【0093】
は、直交行列であるため、式（２）により下記連立方程式（３）を得ることができる。
【0094】
【数3】
【0095】
ただし、
【0096】
【化12】
【0097】
の転置行ベクトルであり、
【0098】
【化13】
【0099】
の転置行ベクトルであり、
【0100】
【化14】
【0101】
の転置行列であり、
【0102】
【化15】
【0103】
の逆行列である。
【0104】
可能な実現形態において、連立方程式（３）により、下記連立方程式（４）を得ることができる。
【0105】
【数4】
【0106】
ただし、
【0107】
【化16】
【0108】
（ｉ＝１、２又は３であり、ｊ＝１、２又は３である）である。
【0109】
可能な実現形態において、連立方程式（４）に対して特異値分解を行い、画像取得装置の内部パラメータ行列を得ることができる。例えば、前記内部パラメータ行列の最小二乗解を得ることができる。
【0110】
可能な実現形態において、ステップＳ１５において、前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、第２画像の参照位置姿勢を決定することができる。ステップＳ１５は、前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含んでもよい。
【0111】
可能な実現形態において、式（１）又は（２）により、第２画像に対応する外部パラメータ行列を決定することができる。例えば、式（１）の両側に同時に
【0112】
【化17】
【0113】
を乗算し、また同時に
【0114】
【化18】
【0115】
で除算することで、第２画像に対応する外部パラメータ行列
【0116】
【化19】
【0117】
を得ることができる。
【0118】
可能な実現形態において、前記外部パラメータ行列における回転行列
【0119】
【化20】
【0120】
及び変位ベクトル
【0121】
【化21】
【0122】
は、第２画像に対応する参照位置姿勢である。
【0123】
可能な実現形態において、ステップＳ１６において、第２画像の参照位置姿勢に基づいて、各第１画像に対応する参照位置姿勢を順次決定することができる。例えば、第２画像は、少なくとも１つの第１画像の参照位置姿勢の決定処理における最初の処理対象画像である。第２画像の参照位置姿勢に基づいて、その後の各第１画像の参照位置姿勢を順次決定することができる。ステップＳ１６は、現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含んでもよい。
【0124】
可能な実現形態において、畳み込みニューラルネットワークなどの深層学習ニューラルネットワークにより、現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得る。又は、現在の第１画像及び次の第１画像における画素点の輝度、色度などのパラメータに基づいて、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得る。前記第３キーポイント及び第４キーポイントは、同一のグループ点を表すことができるが、現在の第１画像及び次の第１画像における、該グループ点の位置は、異なってもよい。ここで、キーポイントは、画像におけるターゲット対象の輪郭、形状などの特徴を表す点であってもよい。例えば、現在の第１画像は、第２画像（例えば、最初の第１画像）である。第２画像と２番目の第１画像を前記畳み込みニューラルネットワークに入力してキーポイント抽出処理を行い、第２画像及び２番目の第１画像から、複数の第３キーポイント及び第４キーポイントを得る。例えば、第２画像は、画像取得装置により撮られたスタジアムの画像であり、第３キーポイントは、スタジアムの複数の頂点である。２番目の第１画像に含まれるスタジアムの頂点を前記第４キーポイントとすることができる。更に、第２画像における、第３キーポイントの第３位置座標及び２番目の第１画像における第４キーポイントの第４位置座標を取得することができる。画像取得装置は、第２画像を取得する時と２番目の第１画像を取得する時との間に、所定の角度を回転したため、前記第３位置座標と第４位置座標は異なる。例において、現在の第１画像はいずれか１枚の第１画像であってもよく、次の第１画像は、前記現在の第１画像に隣接する画像であり、本願は、現在の第１画像を限定するものではない。
【0125】
可能な実現形態において、画像取得装置は、現在の第１画像を取得する時と次の第１画像を取得する時との間に、所定の角度を回転し、つまり、画像取得装置の位置姿勢が変動した。第３キーポイントと第４キーポイントとの間の対応関係に基づいて、現在の第１画像と次の第１画像との間の第３ホモグラフィ行列を決定し、更に、現在の第１画像の参照位置姿勢及び第３ホモグラフィ行列に基づいて、次の第１画像の参照位置姿勢を決定することができる。
【0126】
可能な実現形態において、前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することは、前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含む。第３位置座標及び第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することができる。例において、第２画像と次の第１画像との間の第３ホモグラフィ行列を決定することができる。
【0127】
可能な実現形態において、前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することは、前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含む。
【0128】
可能な実現形態において、第３ホモグラフィ行列に対して分解処理を行うことができる。例えば、第３ホモグラフィ行列を分解して列ベクトルを得て、第３ホモグラフィ行列の列ベクトルに基づいて、線形連立方程式を決定し、前記線形連立方程式により、現在の第１画像と次の第１画像との間の第２位置姿勢変化量を求める。例えば、姿勢角の変化量を求める。例において、第２画像を撮影する時の画像取得装置の姿勢角と次の第１画像を撮影する時の画像取得装置の姿勢角との間の姿勢角変化量を決定することができる。
【0129】
可能な実現形態において、現在の第１画像に対応する参照位置姿勢及び第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することができる。例えば、現在の第１画像の参照位置姿勢及び姿勢角変化量に基づいて、次の第１画像に対応する姿勢角を決定することで、前記次の第１画像に対応する参照位置姿勢を決定することができる。例において、第２画像の参照位置姿勢及び第２画像と２番目の第１画像との間の姿勢角変化量に基づいて、２番目の第１画像に対応する参照位置姿勢を決定することができる。例にいて、上記方式で、２番目の第１画像及び３番目の第１画像の第２キーポイントに基づいて、第３ホモグラフィ行列を決定し、２番目の第１画像、第３ホモグラフィ行列及び２番目の第１画像の参照位置姿勢に基づいて、３番目の第１画像の参照位置姿勢を決定し、３番目の第１画像の参照位置姿勢に基づいて、４番目の第１画像の参照位置姿勢を得て、……、全ての第１画像の参照位置姿勢を得るまで継続することができる。すなわち、順番に応じて、最初の第１画像から、最後の第１画像まで反復を行い、全ての第１画像の参照位置姿勢を得る。
【0130】
もう１つの例において、第２画像は、第１画像のうちのいずれか１つであってもよい。第２画像の参照位置姿勢を得た後、第２画像に隣接する２つの第１画像の参照位置姿勢を得て、前記隣接する２つの第１画像の参照位置姿勢に基づいて、前記２つの第１画像にそれぞれ隣接する２つの第１画像の参照位置姿勢を得て、……、全ての第１画像的参照位置姿勢を得るまで継続する。例えば、第１画像の数は１０個であり、第２画像は、そのうちの５個であると、第２画像の参照位置姿勢に基づいて、４番目の第１画像及び６番目の第１画像の参照位置姿勢を得ることができる。更に、引き続き３番目の第１画像及び７番目の第１画像の参照位置姿勢を得て、……、全ての第１画像の参照位置姿勢を得るまで継続する。
【0131】
このような方式で、最初の画像の参照位置姿勢を得て、最初の第１画像の参照位置姿勢に基づいて、全ての第１画像の参照位置姿勢を反復的に決定することができる。複雑なキャリブレーション方法で各第１画像に対してキャリブレーション処理を行う必要がなく、処理効率を向上させる。
【0132】
可能な実現形態において、画像取得装置の取得したいずれか１つの処理対象画像のターゲット位置姿勢を決定することができる。つまり、処理対象画像に対応する回転行列及び変位ベクトルを取得する。例において、画像取得装置は、任意の処理対象画像を取得することができる。該処理対象画像に対応する位置姿勢は、未知のものである。つまり、処理対象画像を撮る時の画像取得装置の位置姿勢は未知のものである。前記第１画像から、処理対象画像とマッチングする参照画像を取得し、参照画像に対応する位置姿勢に基づいて、処理対象画像に対応する位置姿勢を決定することができる。ステップＳ１１は、前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることと、前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含む。
【0133】
可能な実現形態において、畳み込みニューラルネットワークにより、処理対象画像及び各第１画像に対してそれぞれ特徴抽出処理を行うことができる。例において、前記畳み込みニューラルネットワークは、各画像の特徴情報を抽出することができる。例えば、処理対象画像の第１特徴情報及び各第１画像の第２特徴情報を抽出することができる。前記第１特徴情報及び第２特徴情報は、特徴マップ、特徴ベクトルなどを含む。本願は、特徴情報を限定するものではない。もう１つの例において、各第１画像及び処理対象画像の画素点の色度、輝度などのパラメータに基づいて、処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を決定することができる。本願は、特徴抽出方式を限定するものではない。
【0134】
可能な実現形態において、第１特徴情報と各第２特徴情報との間の類似度（例えば、コサイン類似度）をそれぞれ決定することができる。例えば、第１特徴情報及び第２特徴情報は、いずれも特徴ベクトルであり、第１特徴情報と各第２特徴情報との間のコサイン類似度をそれぞれ決定し、第１特徴情報とのコサイン類似度が最も大きい第２特徴情報に対応する第１画像を決定する。つまり、前記参照画像を決定し、参照画像の参照位置姿勢を得ることができる。
【0135】
可能な実現形態において、ステップＳ１２において、処理対象画像及び参照画像に対してそれぞれキーポイント抽出処理を行うことができる。例えば、前記畳み込みニューラルネットワークにより、処理対象画像における第１キーポイントを抽出し、前記参照画像における、前記第１キーポイントに対応する第２キーポイントを得ることができる。又は、処理対象画像及び参照画像の画素点の輝度、色度などのパラメータにより、前記第１キーポイント及び第２キーポイントを決定することができる。本願は、第１キーポイント及び第２キーポイントの決定方式を限定するものではない。
【0136】
可能な実現形態において、ステップＳ１３において、第１キーポイントと第２キーポイントとの対応関係、及び参照画像に対応する参照位置姿勢に基づいて、処理対象画像に対応するターゲット位置姿勢を決定することができる。ステップＳ１３は、前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含む。つまり、第１キーポイントの位置座標、第２キーポイントの位置座標及び参照位置姿勢に基づいて、処理対象画像に対応するターゲット位置姿勢を決定することができる。
【0137】
可能な実現形態において、前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含んでもよい。
【0138】
可能な実現形態において、第１位置座標及び第２位置座標に基づいて、参照画像と処理対象画像との間の第１ホモグラフィ行列を決定することができる。例えば、第１キーポイントの第１位置座標と第２位置座標との間の対応関係に基づいて、参照画像と処理対象画像との間の第１ホモグラフィ行列を決定することができる。
【0139】
可能な実現形態において、第１ホモグラフィ行列に対して分解処理を行う。例えば、第１ホモグラフィ行列を分解して列ベクトルを得て、第１ホモグラフィ行列の列ベクトルに基づいて線形連立方程式を決定し、前記線形連立方程式により、参照画像と処理対象画像との間の第１位置姿勢変化量を求める。例えば、姿勢角の変化量を求める。例において、参照画像を撮影する時の画像取得装置の姿勢角と処理対象画像を撮影する時の画像取得装置の姿勢角との間の姿勢角変化量を決定することができる。
【0140】
可能な実現形態において、参照画像に対応する参照位置姿勢及び第１位置姿勢変化量に基づいて、処理対象画像に対応するターゲット位置姿勢を決定することができる。例えば、参照画像の参照位置姿勢及び姿勢角変化量により、処理対象画像に対応する姿勢角を決定することで、処理対象画像に対応するターゲット位置姿勢を得ることができる。
【0141】
このような方式により、処理対象画像とマッチングする参照画像の参照位置姿勢及び第１ホモグラフィ行列に基づいて、処理対象画像のターゲット位置姿勢を決定することができる。処理対象画像に対してキャリブレーションを行う必要がなく、処理効率を向上させる。
【0142】
可能な実現形態において、前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現される。前記畳み込みニューラルネットワークを利用して特徴抽出処理及びキーポイント抽出処理を行う前に、前記畳み込みニューラルネットワークに対してマルチタスク訓練を行うことができる。つまり、前記畳み込みニューラルネットワークによる特徴抽出処理及びキーポイント抽出処理の能力を訓練する。
【0143】
【0144】
ステップＳ２１において、前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得る。
【0145】
ステップＳ２２において、前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得る。
【0146】
ステップＳ２３において、前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得る。
【0147】
ステップＳ２４において、前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練する。
【0148】
【0149】
可能な実現形態において、ステップＳ２１において、畳み込みニューラルネットワークの畳み込み層により、サンプル画像に対して畳み込み処理を行い、サンプル画像の特徴マップを得ることができる。
【0150】
可能な実現形態において、サンプル画像からなる画像対を利用して前記畳み込みニューラルネットワークを訓練することができる。例えば、前記画像対のうちの２つのサンプル画像の類似度を注記し（例えば、全く異なる画像は、０と注記され、全く一致した画像は１と注記される）、畳み込みニューラルネットワークの畳み込み層により、サンプル画像対のうちの２つのサンプル画像の特徴マップを抽出する。また、ステップＳ２２において、前記特徴マップに対して畳み込み処理を行い、サンプル画像対の２つのサンプル画像の特徴情報（例えば、特徴ベクトル）をそれぞれ得る。
【0151】
可能な実現形態において、ステップＳ２３において、キーポイント注記情報（例えば、キーポイントの位置座標に対する注記情報）を有するサンプル画像を利用して、畳み込みニューラルネットワークによるキーポイント抽出処理の能力を訓練することができる。ステップＳ２３は、前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含んでもよい。
【0152】
例において、前記畳み込みニューラルネットワークは、候補領域ネットワーク（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ：ＲＰＮ）及び関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：ＲＯＩ）プーリング層を含んでもよい。領域候補ネットワークにより前記特徴マップを処理し、関心領域を得て、関心領域プーリング層により、サンプル画像における関心領域に対してプーリングを行う。更に、１×１畳み込み層により、畳み込み処理を行い、関心領域において、キーポイントの位置（例えば、位置座標）を決定する。
【0153】
可能な実現形態において、ステップＳ２４において、前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練する。
【0154】
例において、畳み込みニューラルネットワークの特徴抽出処理能力を訓練する時、サンプル画像対の２つのサンプル画像の特徴情報のコサイン類似度を決定することができる。更に、前記畳み込みニューラルネットワークから出力されたコサイン類似度（誤差が存在することがある）と注記された２つのサンプル画像の類似度に基づいて、前記畳み込みニューラルネットワークの、特徴抽出処理能力の点での第１損失関数を決定することができる。例えば、畳み込みニューラルネットワークから出力されたコサイン類似度と注記された２つのサンプル画像の類似度との差異に基づいて、畳み込みニューラルネットワークの、特徴抽出処理能力の点での第１損失関数を決定することができる。
【0155】
例において、畳み込みニューラルネットワークのキーポイント抽出処理能力を訓練する場合、畳み込みニューラルネットワークから出力されたキーポイントの位置座標及びキーポイント注記情報に基づいて、畳み込みニューラルネットワークの、キーポイント抽出処理能力の点での第２損失関数を決定することができる。畳み込みニューラルネットワークから出力されたキーポイントの位置座標に誤差が存在する可能性がある。例えば、畳み込みニューラルネットワークから出力されたキーポイントの位置座標とキーポイントの位置座標の注記情報との誤差に基づいて、畳み込みニューラルネットワークの、キーポイント抽出処理能力の点での第２損失関数を決定することができる。
【0156】
可能な実現形態において、畳み込みニューラルネットワークの、特徴抽出処理能力の点での第１損失関数及び畳み込みニューラルネットワークの、キーポイント抽出処理能力の点での第２損失関数に基づいて、畳み込みニューラルネットワークの損失関数を決定することができる。例えば、第１損失関数及び第２損失関数に対して加重加算を行うことができる。本願は、畳み込みニューラルネットワークの損失関数の決定方式を限定するものではない。更に、該損失関数に基づいて、畳み込みニューラルネットワークのネットワークパラメータを調整する。例えば、勾配降下法により、畳み込みニューラルネットワークのネットワークパラメータなどを調整することができる。上記処理を反復実行し、訓練要件を満たすまで継続する。例えば、所定の回数のネットワークパラメータ調整処理を反復実行し、ネットワークパラメータ調整回数が所定の回数に達する場合、特徴抽出の訓練要件を満たす。又は、畳み込みニューラルネットワークの損失関数が所定の区間に収束するか又は所定の閾値未満である場合、訓練要件を満たす。前記畳み込みニューラルネットワークが訓練要件を満たす場合、前記畳み込みニューラルネットワークの訓練が完了する。
【0157】
可能な実現形態において、畳み込みニューラルネットワークの訓練が完了した後、前記畳み込みニューラルネットワークをキーポイント抽出処理及び特徴抽出処理に用いることができる。畳み込みニューラルネットワークによりキーポイント抽出処理を行う過程において、畳み込みニューラルネットワークは、入力画像に対して畳み込み処理を行い、入力画像の特徴マップを得て、特徴マップに対して畳み込み処理を行い、入力画像の特徴情報を得ることができる。また、領域候補ネットワークにより特徴マップの関心領域を取得することができる。更に、関心領域プーリング層により関心領域をプーリングし、更に、関心領域において、キーポイントを得ることができる。領域候補ネットワーク及び関心領域プーリング層により、訓練過程又はキーポイント抽出処理過程において、畳み込みニューラルネットワークに入力された画像の関心領域を取得し、関心領域において、キーポイントを決定することができ、キーポイント決定の正確度を向上させ、処理効率を向上させることができる。
【0158】
本願の実施例の位置姿勢決定方法によれば、回転中で少なくとも１つの第１画像を取得し、第２画像の参照位置姿勢に基づいて、全ての第１画像の参照位置姿勢を反復的に決定することができる。各第１画像に対してキャリブレーション処理を行う必要がなく、処理効率を向上させる。更に、第１画像から、処理対象画像とマッチングする参照画像を選択し、参照画像の参照位置姿勢及び第１ホモグラフィ行列に基づいて、処理対象画像に対応する位置姿勢を決定することができる。画像取得装置が回転する時に、任意の処理対象画像に対応する位置姿勢を決定することができる。処理対象画像に対してキャリブレーションを行う必要がなく、処理効率を向上させる。また、訓練過程又はキーポイント抽出処理過程において、畳み込みニューラルネットワークは、入力画像の関心領域を取得し、関心領域において、キーポイントを決定することができ、キーポイント決定の正確度を向上させ、処理効率を向上させる。
【0159】
図６は、本願の実施例による位置姿勢決定方法の適用を示す概略図である。図６に示すように、処理対象画像は、画像取得装置により現在、取得された画像であってもよい。処理対象画像に基づいて、画像取得装置の現在の位置姿勢を決定することができる。
【0160】
可能な実現形態において、前記画像取得装置は予めピッチ方向及び／又はヨー方向に沿って回転し、回転中で少なくとも１つの第１画像を取得する。少なくとも１つの第１画像のうちの最初の第１画像（第２画像）に対してキャリブレーションを行い、第２画像において、複数の非共線のターゲット点を選択し、第２画像における、複数のターゲット点の画像位置座標と複数のターゲット点の地理的位置座標との間の対応関係に基づいて、第２ホモグラフィ行列を決定することができる。第２ホモグラフィ行列に対して分解を行い、式（４）により、画像取得装置の内部パラメータ行列の最小二乗解を得ることができる。
【0161】
可能な実現形態において、画像取得装置の内部パラメータ行列及び第２ホモグラフィ行列に基づいて、式（１）又は（２）により、前記第２画像に対応する参照位置姿勢を決定する。更に、畳み込みニューラルネットワークにより、第２画像及び２番目の第１画像に対してキーポイント抽出処理を行い、第２画像における第３キーポイント及び２番目の第１画像における第４キーポイントを得て、第３キーポイント及び第４キーポイントに基づいて、第２画像と２番目の第１画像との間の第３ホモグラフィ行列を得て、第２画像に対応する参照位置姿勢及び第３ホモグラフィ行列に基づいて、２番目の第１画像の参照位置姿勢を得ることができる。更に、２番目の第１画像の参照位置姿勢及び２番目の第１画像と３番目の第１画像との間の第３ホモグラフィ行列に基づいて、３番目の第１画像の参照位置姿勢を得ることができる。上記処理を反復実行することで、全ての第１画像の参照位置姿勢を決定することができる。
【0162】
可能な実現形態において、畳み込みニューラルネットワークにより、処理対象画像及び各第１画像に対してそれぞれ特徴抽出処理を行い、処理対象画像の第１特徴情報及び各第１画像の第２特徴情報を得て、第１特徴情報と各第２特徴情報との間のコサイン類似度をそれぞれ決定し、第１特徴情報とのコサイン類似度が最も大きい第２特徴情報に対応する第１画像を処理対象画像とマッチングする画像と決定することができる。
【0163】
可能な実現形態において、畳み込みニューラルネットワークにより、処理対象画像及び参照画像に対してそれぞれキーポイント抽出処理を行い、処理対象画像における第１キーポイント及び前記参照画像における、第１キーポイントに対応する第２キーポイントを得ることができる。また、第１キーポイント及び第２キーポイントに基づいて、参照画像と処理対象画像との間の第１ホモグラフィ行列を決定することができる。
【0164】
可能な実現形態において、参照画像の参照位置姿勢及び第１ホモグラフィ行列に基づいて、処理対象画像のターゲット位置姿勢を決定する。つまり、処理対象画像を撮る時の画像取得装置の位置姿勢（即ち、現在の位置姿勢）を決定する。
【0165】
可能な実現形態において、前記位置姿勢決定方法は、画像取得装置の、任意の時刻での位置姿勢を決定することができる。また、位置姿勢に基づいて、画像取得装置の可視領域を予測することもできる。更に、前記位置姿勢決定方法は、画像取得装置に対する、平面におけるいずれか１つの点の位置の予測及び平面におけるターゲット対象の運動速度の予測のために根拠を与えることができる。
【0166】
本願で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。
【0167】
なお、本願は、位置姿勢決定装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの位置姿勢決定方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。
【0168】
具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。
【0169】
図７は、本願の実施例による位置姿勢決定装置を示すブロック図である。図７に示すように、前記装置は、
処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュール１１と、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュール１２と、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュール１３と、を備える。
処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュール１１と、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュール１２と、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュール１３と、を備える。
【0170】
可能な実現形態において、前記取得モジュールは更に、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成される。
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成される。
【0171】
可能な実現形態において、前記装置は、
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備える。
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、前記複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備える。
【0172】
可能な実現形態において、前記第２決定モジュールは更に、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成される。
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成される。
【0173】
可能な実現形態において、前記第３決定モジュールは更に、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される。
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される。
【0174】
可能な実現形態において、前記第４決定モジュールは更に、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
【0175】
可能な実現形態において、前記第４決定モジュールは更に、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成される。
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成される。
【0176】
可能な実現形態において、前記第４決定モジュールは更に、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成される。
【0177】
可能な実現形態において、前記第１決定モジュールは更に、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される。
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される。
【0178】
可能な実現形態において、前記第１決定モジュールは更に、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成される。
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成される。
【0179】
可能な実現形態において、前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含む。
【0180】
可能な実現形態において、前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備える。
【0181】
可能な実現形態において、前記第２抽出モジュールは更に、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成される。
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成される。
【0182】
幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。
【0183】
本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体又は揮発性コンピュータ可読記憶媒体であってもよい。
【0184】
本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記方法を実行するように構成される。
【0185】
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
【0186】
図８は一例示的な実施例による電子機器８００を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。
【0187】
図８を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インターフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。
【0188】
処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。
【0189】
メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。
【0190】
電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。
【0191】
マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インターフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又は映像モードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。
【0192】
オーディオコンポーネント８１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。
【0193】
Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間のインターフェースを提供する。上記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。
【0194】
センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、収音音量制御用装置のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。
【0195】
通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現される。
【0196】
例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。
【0197】
例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような非一時的コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。
【0198】
本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、コンピュータ可読コードを含み、コンピュータ可読コードが機器で実行される時、機器におけるプロセッサは、上記いずれか１つの実施例で提供される方法を実現させるための命令を実行する。
【0199】
該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現する。１つの任意選択的な実施例において、前記コンピュータプログラム製品は、具体的にはコンピュータ記憶媒体として具現化される。もう１つの任意選択的な実施例において、コンピュータプログラム製品は、具体的には、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ：ＳＤＫ）などのようなソフトウェア製品として具現化される。
【0200】
図９は、一例示的な実施例による電子機器１９００を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１３を参照すると、電子機器１９００は、処理コンポーネント１９２２を備える。ぞれは1つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリースは、アプリケーションプログラムのような、処理コンポーネント１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント１９２２は、命令を実行して、上記方法を実行するように構成される。
【0201】
電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインターフェース１９５０と、入力出力（Ｉ／Ｏ）インターフェース１９５８を更に備えてもよい。電子機器１９００は、Ｗｉｎｄｏｗｓ（登録商標） ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、Ｕｎｉｘ（登録商標）， Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤＴＭ又は類似したものような、メモリ１９３２に記憶されているオペレーティングシステムを実行することができる。
【0202】
例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２により実行されて上記方法を完了する。
【0203】
本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。
【0204】
コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。
【0205】
ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。
【0206】
本願の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。
【0207】
ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。
【0208】
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。
【0209】
コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。
【0210】
図面におけるフローチャート及びブック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。
【0211】
以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2021-12-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
位置姿勢決定方法であって、前記方法は、処理対象画像とマッチングする参照画像を取得することであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、ことと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することと、を含む、位置姿勢決定方法。
【請求項2】
処理対象画像とマッチングする参照画像を取得することは、前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることであって、前記少なくとも１つの第１画像は、前記画像取得装置により回転中で順次取得されたものである、ことと、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記方法は、第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、ことと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することと、を更に含むことを特徴とする
請求項２に記載の方法。
【請求項4】
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することは、前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することであって、前記複数のターゲット点は、前記第２画像における複数の非共線点である、ことと、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することは、前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
請求項４に記載の方法。
【請求項6】
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することは、現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
請求項３に記載の方法。
【請求項7】
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することは、前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含むことを特徴とする
請求項６に記載の方法。
【請求項8】
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することは、前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
請求項６に記載の方法。
【請求項9】
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含むことを特徴とする
請求項１に記載の方法。
【請求項10】
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含むことを特徴とする
請求項９に記載の方法。
【請求項11】
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする請求項１－１０のうちいずれか一項に記載の方法。
【請求項12】
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、前記方法は、
前記畳み込みニューラルネットワークの畳み込み層により、サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得ることと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得ることと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練することと、を更に含むことを特徴とする
請求項１－１０のうちいずれか一項に記載の方法。
【請求項13】
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることは、前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含むことを特徴とする
請求項１２に記載の方法。
【請求項14】
位置姿勢決定装置であって、前記装置は、処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュールと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュールと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュールと、を備える、位置姿勢決定装置。
【請求項15】
電子機器であって、前記電子機器は、プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、前記メモリに記憶される命令を呼び出し、請求項１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
【請求項16】
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１－１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
【請求項17】
コンピュータプログラムであって、前記コンピュータプログラムが電子機器で実行される時、前記電子機器におけるプロセッサに、請求項１－１３のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【0037】
上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。
例えば、本願は以下の項目を提供する。
（項目１）
位置姿勢決定方法であって、前記方法は、
処理対象画像とマッチングする参照画像を取得することであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、ことと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することと、を含む、位置姿勢決定方法。
（項目２）
処理対象画像とマッチングする参照画像を取得することは、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることであって、前記少なくとも１つの第１画像は、前記画像取得装置により回転中で順次取得されたものである、ことと、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記方法は、
第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、ことと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することと、を更に含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することは、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することであって、前記複数のターゲット点は、前記第２画像における複数の非共線点である、ことと、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含むことを特徴とする
項目３に記載の方法。
（項目５）
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することは、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することは、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
項目３に記載の方法。
（項目７）
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することは、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含むことを特徴とする
項目６に記載の方法。
（項目８）
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することは、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
項目６に記載の方法。
（項目９）
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含むことを特徴とする
項目１に記載の方法。
（項目１０）
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする
項目１－１０のうちいずれか一項に記載の方法。
（項目１２）
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記方法は、
前記畳み込みニューラルネットワークの畳み込み層により、サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得ることと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得ることと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練することと、を更に含むことを特徴とする
項目１－１０のうちいずれか一項に記載の方法。
（項目１３）
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることは、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含むことを特徴とする
項目１２に記載の方法。
（項目１４）
位置姿勢決定装置であって、前記装置は、
処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュールと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュールと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュールと、を備える、位置姿勢決定装置。
（項目１５）
前記取得モジュールは更に、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記装置は、
第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備えることを特徴とする
項目１５に記載の装置。
（項目１７）
前記第２決定モジュールは更に、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成されることを特徴とする
項目１６に記載の装置。
（項目１８）
前記第３決定モジュールは更に、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記第４決定モジュールは更に、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
項目１６に記載の装置。
（項目２０）
前記第４決定モジュールは更に、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成されることを特徴とする
項目１９に記載の装置。
（項目２１）
前記第４決定モジュールは更に、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
項目１９に記載の装置。
（項目２２）
前記第１決定モジュールは更に、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成されることを特徴とする
項目１４に記載の装置。
（項目２３）
前記第１決定モジュールは更に、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成されることを特徴とする
項目２２に記載の装置。
（項目２４）
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする
項目１４－２３のうちいずれか一項に記載の装置。
（項目２５）
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備えることを特徴とする
項目１４－２３のうちいずれか一項に記載の装置。
（項目２６）
前記第２抽出モジュールは更に、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成されることを特徴とする
項目２５に記載の装置。
（項目２７）
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、前記メモリに記憶される命令を呼び出し、項目１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２８）
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１－１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目２９）
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサに、項目１－１３のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
例えば、本願は以下の項目を提供する。
（項目１）
位置姿勢決定方法であって、前記方法は、
処理対象画像とマッチングする参照画像を取得することであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、ことと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得ることと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することと、を含む、位置姿勢決定方法。
（項目２）
処理対象画像とマッチングする参照画像を取得することは、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得ることであって、前記少なくとも１つの第１画像は、前記画像取得装置により回転中で順次取得されたものである、ことと、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定することと、を含むことを特徴とする
項目１に記載の方法。
（項目３）
前記方法は、
第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、ことと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することと、を更に含むことを特徴とする
項目２に記載の方法。
（項目４）
前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定することは、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定することであって、前記複数のターゲット点は、前記第２画像における複数の非共線点である、ことと、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定することと、を含むことを特徴とする
項目３に記載の方法。
（項目５）
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することは、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定することと、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定することは、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得ることであって、前記現在の第１画像は、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像は、前記第２画像を含み、前記次の第１画像は、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像である、ことと、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することと、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
項目３に記載の方法。
（項目７）
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することは、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定することを含むことを特徴とする
項目６に記載の方法。
（項目８）
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することは、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定することと、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定することと、を含むことを特徴とする
項目６に記載の方法。
（項目９）
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することを含むことを特徴とする
項目１に記載の方法。
（項目１０）
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定することは、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定することと、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定することと、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定することと、を含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする
項目１－１０のうちいずれか一項に記載の方法。
（項目１２）
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記方法は、
前記畳み込みニューラルネットワークの畳み込み層により、サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得ることと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得ることと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練することと、を更に含むことを特徴とする
項目１－１０のうちいずれか一項に記載の方法。
（項目１３）
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得ることは、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得ることと、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定することと、を含むことを特徴とする
項目１２に記載の方法。
（項目１４）
位置姿勢決定装置であって、前記装置は、
処理対象画像とマッチングする参照画像を取得するように構成される取得モジュールであって、前記処理対象画像及び前記参照画像は、画像取得装置により取得されたものであり、前記参照画像は、対応する参照位置姿勢を有し、前記参照位置姿勢は、前記参照画像を収集する時の前記画像取得装置の位置姿勢を表すためのものである、取得モジュールと、
前記処理対象画像及び前記参照画像に対してそれぞれキーポイント抽出処理を行い、前記処理対象画像における第１キーポイント及び前記参照画像における、前記第１キーポイントに対応する第２キーポイントをそれぞれ得るように構成される第１抽出モジュールと、
前記第１キーポイントと前記第２キーポイントとの対応関係、及び前記参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成される第１決定モジュールと、を備える、位置姿勢決定装置。
（項目１５）
前記取得モジュールは更に、
前記処理対象画像及び少なくとも１つの第１画像に対してそれぞれ特徴抽出処理を行い、前記処理対象画像の第１特徴情報及び各前記第１画像の第２特徴情報を得て、前記少なくとも１つの第１画像が、前記画像取得装置により回転中で順次取得されたものであり、
前記第１特徴情報と各前記第２特徴情報との間の類似度に基づいて、各第１画像から、前記参照画像を決定するように構成されることを特徴とする
項目１４に記載の装置。
（項目１６）
前記装置は、
第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列、及び前記画像取得装置の内部パラメータ行列を決定するように構成される第２決定モジュールであって、前記第２画像は、前記少なくとも１つの第１画像のうちのいずれか一枚の画像であり、前記地理的平面は、複数のターゲット点の地理的位置座標の所在する平面である、第２決定モジュールと、
前記内部パラメータ行列及び前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成される第３決定モジュールと、
前記第２画像に対応する参照位置姿勢に基づいて、前記少なくとも１つの第１画像のうちの各第１画像に対応する参照位置姿勢を決定するように構成される第４決定モジュールと、を更に備えることを特徴とする
項目１５に記載の装置。
（項目１７）
前記第２決定モジュールは更に、
前記第２画像における複数のターゲット点の画像位置座標及び地理的位置座標に基づいて、前記第２画像を収集する時の前記画像取得装置のイメージング平面と地理的平面との間の第２ホモグラフィ行列を決定し、前記複数のターゲット点が、前記第２画像における複数の非共線点であり、
前記第２ホモグラフィ行列に対して分解処理を行い、前記画像取得装置の内部パラメータ行列を決定するように構成されることを特徴とする
項目１６に記載の装置。
（項目１８）
前記第３決定モジュールは更に、
前記画像取得装置の内部パラメータ行列及前記第２ホモグラフィ行列に基づいて、前記第２画像に対応する外部パラメータ行列を決定し、
前記第２画像に対応する外部パラメータ行列に基づいて、前記第２画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記第４決定モジュールは更に、
現在の第１画像及び次の第１画像に対してそれぞれキーポイント抽出処理を行い、現在の第１画像における第３キーポイント及び次の第１画像における、前記第３キーポイントに対応する第４キーポイントを得て、前記現在の第１画像が、前記少なくとも１つの第１画像のうちの参照位置姿勢が知られている画像であり、前記現在の第１画像が、前記第２画像を含み、前記次の第１画像が、前記少なくとも１つの第１画像のうち、前記現在の第１画像に隣接する画像であり、
前記第３キーポイントと前記第４キーポイントとの対応関係に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定し、
前記第３ホモグラフィ行列及び前記現在の第１画像に対応する参照位置姿勢に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
項目１６に記載の装置。
（項目２０）
前記第４決定モジュールは更に、
前記現在の第１画像における、前記第３キーポイントの第３位置座標及び次の第１画像における、前記第４キーポイントの第４位置座標に基づいて、前記現在の第１画像と前記次の第１画像との間の第３ホモグラフィ行列を決定するように構成されることを特徴とする
項目１９に記載の装置。
（項目２１）
前記第４決定モジュールは更に、
前記第３ホモグラフィ行列に対して分解処理を行い、前記現在の第１画像を取得する時の前記画像取得装置の位置姿勢と前記次の第１画像を取得する時の前記画像取得装置の位置姿勢との間の第２位置姿勢変化量を決定し、
前記現在の第１画像に対応する参照位置姿勢及び前記第２位置姿勢変化量に基づいて、前記次の第１画像に対応する参照位置姿勢を決定するように構成されることを特徴とする
項目１９に記載の装置。
（項目２２）
前記第１決定モジュールは更に、
前記処理対象画像における、前記第１キーポイントの第１位置座標、前記参照画像における、前記第２キーポイントの第２位置座標、及び参照画像に対応する参照位置姿勢に基づいて、前記処理対象画像を収集する時の前記画像取得装置のターゲット位置姿勢を決定するように構成されることを特徴とする
項目１４に記載の装置。
（項目２３）
前記第１決定モジュールは更に、
前記第１位置座標及び前記第２位置座標に基づいて、前記参照画像と前記処理対象画像との間の第１ホモグラフィ行列を決定し、
前記第１ホモグラフィ行列に対して分解処理を行い、前記処理対象画像を取得する時の前記画像取得装置の位置姿勢と前記参照画像を取得する時の前記画像取得装置の位置姿勢との間の第１位置姿勢変化量を決定し、
前記参照画像に対応する参照位置姿勢及び前記第１位置姿勢変化量に基づいて、前記ターゲット位置姿勢を決定するように構成されることを特徴とする
項目２２に記載の装置。
（項目２４）
前記参照画像に対応する参照位置姿勢は、前記参照画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含み、前記処理対象画像に対応するターゲット位置姿勢は、処理対象画像を取得する時の前記画像取得装置の回転行列及び変位ベクトルを含むことを特徴とする
項目１４－２３のうちいずれか一項に記載の装置。
（項目２５）
前記特徴抽出処理及び前記キーポイント抽出処理は、畳み込みニューラルネットワークにより実現され、
前記装置は、
前記畳み込みニューラルネットワークの畳み込み層により、前記サンプル画像に対して畳み込み処理を行い、前記サンプル画像の特徴マップを得るように構成される第１畳み込みモジュールと、
前記特徴マップに対して畳み込み処理を行い、前記サンプル画像の特徴情報をそれぞれ得るように構成される第２畳み込みモジュールと、
前記特徴マップに対してキーポイント抽出処理を行い、前記サンプル画像のキーポイントを得るように構成される第２抽出モジュールと、
前記サンプル画像の特徴情報及びキーポイントに基づいて、前記畳み込みニューラルネットワークを訓練するように構成される訓練モジュールと、を更に備えることを特徴とする
項目１４－２３のうちいずれか一項に記載の装置。
（項目２６）
前記第２抽出モジュールは更に、
前記畳み込みニューラルネットワークの領域候補ネットワークにより、前記特徴マップを処理し、関心領域を得て、
前記畳み込みニューラルネットワークの関心領域プーリング層により前記関心領域に対してプーリングを行い、畳み込み層により、畳み込み処理を行い、前記関心領域において前記サンプル画像のキーポイントを決定するように構成されることを特徴とする
項目２５に記載の装置。
（項目２７）
電子機器であって、前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと備え、
前記プロセッサは、前記メモリに記憶される命令を呼び出し、項目１から１３のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
（項目２８）
コンピュータ可読記憶媒体であって、該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、項目１－１３のうちいずれか一項に記載の方法を実現させる、コンピュータ可読記憶媒体。
（項目２９）
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサに、項目１－１３のうちいずれか一項に記載の方法を実行させる、コンピュータプログラム。
【国際調査報告】