特許7290599 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ＫＤＤＩ株式会社の特許一覧

特許7290599点群処理システム、方法及びプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-05

(45)【発行日】2023-06-13

(54)【発明の名称】点群処理システム、方法及びプログラム

(51)【国際特許分類】

G06T 7/70 20170101AFI20230606BHJP

G01B 11/00 20060101ALI20230606BHJP

【ＦＩ】

G06T7/70 Z

G01B11/00 H

【請求項の数】 11

(21)【出願番号】P 2020074106

(22)【出願日】2020-04-17

(65)【公開番号】P2021170299

(43)【公開日】2021-10-28

【審査請求日】2022-06-07

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉壽二

(72)【発明者】

【氏名】小森田賢史

(72)【発明者】

【氏名】田坂和之

【審査官】佐田宏史

(56)【参考文献】

【文献】国際公開第２０１９／２４２４１８（ＷＯ，Ａ１）

【文献】加藤裕也、外２名，“画像変換による全天球カメラ映像のＬＳＤ－ＳＬＡＭへの適用と点群合成”，映像情報メディア学会技術報告，日本，（一社）映像情報メディア学会，2019年06月06日，Vol.43, No.16，pp.77-78

【文献】Gerardo Carrera et al.，"SLAM-Based Automatic Extrinsic Calibration of a Multi-Camera Rig"，2011 IEEE International Conference on Robotics and Automation，米国，IEEE，2011年05月09日，pp.2652-2659

【文献】竹内音、外４名，“全方位バレットタイム映像の生成提示システム”，情報処理学会研究報告，日本，情報処理学会，2018年01月11日，Vol.2018-CVIM-210, No.40，pp.1-8

【文献】堀磨伊也、外２名，“複数の任意経路で撮影された全方位画像群からのステレオ画像生成”，ＦＩＴ２００７第６回情報科学技術フォーラム一般講演論文集第３分冊，日本，社団法人情報処理学会、社団法人電子情報通信学会，2007年08月22日，pp.171-174

【文献】Michael Kaess et al.，"Visual SLAM with a Multi-Camera Rig"，GVU Center Technical Reports，米国，Georgia Institute of Technology，2006年03月20日，pp.1-10，https://smartech.gatech.edu/handle/1853/8726?show=full

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ１／００，７／００－７／９０

Ｇ０６Ｖ１０／００－１０／９８

Ｇ０１Ｂ１１／００－１１／３０

(57)【特許請求の範囲】

【請求項1】

環境中を移動して位置及び回転を変化させながら撮影された各フレーム画像を、複数の視野範囲に分割した分割画像を得る分割部と、
各フレーム画像より特徴点を抽出して、異なるフレーム画像間において特徴点のマッチングを行い、
位置及び回転が未推定のフレーム画像が前記分割された分割画像の各々について、位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果を用いて、当該分割画像の各々が位置を共有するという条件を課して、当該分割画像の各々の位置及び回転を推定する推定部と、を備え、
前記複数の視野範囲は、基準画像及び当該基準画像から所定回転して設定される１つ以上の関連画像に対応するものとして設定されており、
前記分割部では基準画像及び関連画像として分割画像を得ており、
前記推定部では、基準画像及び関連画像が共有する位置と、基準画像を基準とした関連画像の回転と、を前記マッチングされた結果を用いて最適化したものとして、基準画像及び関連画像の位置及び回転を推定し、
前記推定部では、少なくとも、基準画像及び関連画像の特徴点のうち前記マッチングがなされたものの３次元世界座標と基準画像及び関連画像の位置及び回転とを、バンドル調整によって最適化することにより、基準画像及び関連画像の位置及び回転を推定し、
前記推定部では、前記バンドル調整によって前記最適化する際に、
基準画像の位置の初期値として、前記位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果により推定される基準画像及び関連画像の位置の平均（P _avg ）を採用し、
基準画像の回転の初期値として、前記位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果により推定される基準画像の回転（Q ₀ ）と、当該推定される関連画像の回転（Q _j ）を基準画像における回転に変換したもの（(invR _j )・Q _j ）と、の平均（Q _avg ）を採用することを特徴とする点群処理システム。

【請求項2】

環境中を移動して位置及び回転を変化させながら撮影された各フレーム画像を、複数の視野範囲に分割した分割画像を得る分割部と、
各フレーム画像より特徴点を抽出して、異なるフレーム画像間において特徴点のマッチングを行い、
位置及び回転が未推定のフレーム画像が前記分割された分割画像の各々について、位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果を用いて、当該分割画像の各々が位置を共有するという条件を課して、当該分割画像の各々の位置及び回転を推定する推定部と、を備え、
前記複数の視野範囲は、基準画像及び当該基準画像から所定回転して設定される１つ以上の関連画像に対応するものとして設定されており、
前記分割部では基準画像及び関連画像として分割画像を得ており、
前記推定部では、基準画像及び関連画像が共有する位置と、基準画像を基準とした関連画像の回転と、を前記マッチングされた結果を用いて最適化したものとして、基準画像及び関連画像の位置及び回転を推定し、
前記推定部では、少なくとも、基準画像及び関連画像の特徴点のうち前記マッチングがなされたものの３次元世界座標と基準画像及び関連画像の位置及び回転とを、バンドル調整によって最適化することにより、基準画像及び関連画像の位置及び回転を推定し、
前記推定部では、前記バンドル調整によって前記最適化する際に、
基準画像及び関連画像における共通位置（P _avg ）と、基準画像の回転（Q _avg ）と、前記基準画像の回転（Q _avg ）に対する相対的回転（R _j ）であって関連画像の回転（Q _j =R _j ・Q _avg ）を指定する相対的回転（R _j ）と、を変数とすることを特徴とする点群処理システム。

【請求項3】

【請求項4】

【請求項5】

各フレーム画像は、広角画像として構成されていることを特徴とする請求項１ないし４のいずれかに記載の点群処理システム。

【請求項6】

各フレーム画像は、魚眼画像として構成されており、
前記分割部は、当該魚眼画像として構成されるフレーム画像にカメラ視点からの中心射影方式を適用することにより、複数の視野範囲に分割した分割画像を透視投影モデルの画像として生成することを特徴とする請求項１ないし５のいずれかに記載の点群処理システム。

【請求項7】

環境中を移動して位置及び回転を変化させながら撮影された各フレーム画像を、複数の視野範囲に分割した分割画像を得る分割段階と、
各フレーム画像より特徴点を抽出して、異なるフレーム画像間において特徴点のマッチングを行い、
位置及び回転が未推定のフレーム画像が前記分割された分割画像の各々について、位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果を用いて、当該分割画像の各々が位置を共有するという条件を課して、当該分割画像の各々の位置及び回転を推定する推定段階と、を備え、
前記複数の視野範囲は、基準画像及び当該基準画像から所定回転して設定される１つ以上の関連画像に対応するものとして設定されており、
前記分割段階では基準画像及び関連画像として分割画像を得ており、
前記推定段階では、基準画像及び関連画像が共有する位置と、基準画像を基準とした関連画像の回転と、を前記マッチングされた結果を用いて最適化したものとして、基準画像及び関連画像の位置及び回転を推定し、
前記推定段階では、少なくとも、基準画像及び関連画像の特徴点のうち前記マッチングがなされたものの３次元世界座標と基準画像及び関連画像の位置及び回転とを、バンドル調整によって最適化することにより、基準画像及び関連画像の位置及び回転を推定し、
前記推定段階では、前記バンドル調整によって前記最適化する際に、
基準画像の位置の初期値として、前記位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果により推定される基準画像及び関連画像の位置の平均（P _avg ）を採用し、
基準画像の回転の初期値として、前記位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果により推定される基準画像の回転（Q ₀ ）と、当該推定される関連画像の回転（Q _j ）を基準画像における回転に変換したもの（(invR _j )・Q _j ）と、の平均（Q _avg ）を採用することを特徴とするコンピュータによって実行される点群処理方法。

【請求項8】

環境中を移動して位置及び回転を変化させながら撮影された各フレーム画像を、複数の視野範囲に分割した分割画像を得る分割段階と、
各フレーム画像より特徴点を抽出して、異なるフレーム画像間において特徴点のマッチングを行い、
位置及び回転が未推定のフレーム画像が前記分割された分割画像の各々について、位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果を用いて、当該分割画像の各々が位置を共有するという条件を課して、当該分割画像の各々の位置及び回転を推定する推定段階と、を備え、
前記複数の視野範囲は、基準画像及び当該基準画像から所定回転して設定される１つ以上の関連画像に対応するものとして設定されており、
前記分割段階では基準画像及び関連画像として分割画像を得ており、
前記推定段階では、基準画像及び関連画像が共有する位置と、基準画像を基準とした関連画像の回転と、を前記マッチングされた結果を用いて最適化したものとして、基準画像及び関連画像の位置及び回転を推定し、
前記推定段階では、少なくとも、基準画像及び関連画像の特徴点のうち前記マッチングがなされたものの３次元世界座標と基準画像及び関連画像の位置及び回転とを、バンドル調整によって最適化することにより、基準画像及び関連画像の位置及び回転を推定し、
前記推定段階では、前記バンドル調整によって前記最適化する際に、
基準画像及び関連画像における共通位置（P _avg ）と、基準画像の回転（Q _avg ）と、前記基準画像の回転（Q _avg ）に対する相対的回転（R _j ）であって関連画像の回転（Q _j =R _j ・Q _avg ）を指定する相対的回転（R _j ）と、を変数とすることを特徴とするコンピュータによって実行される点群処理方法。

【請求項9】

【請求項10】

【請求項11】

コンピュータを請求項１ないし６のいずれかに記載の点群処理システムとして機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、効果的にスケールドリフトに対処することのできる点群処理装置、方法及びプログラムに関する。

【背景技術】

【0002】

SLAM（Simultaneous Localization and Mapping, 自己位置推定とマップ作成の同時実行）やSfM（Structure from Motion）を用いて３次元点群構築等を行うことができ、関連技術として種々の従来手法が存在する。

【0003】

非特許文献１では、全天周画像を用いたSLAMが開示され、広い画角の画像を使うほどSLAMの結果が安定するとされる。非特許文献２では、複数のカメラの情報を連携させて点群地図を生成している。非特許文献３では、全天周画像においてランドマーク部分を複数に分割して中心射影に変換し、比較している。

【0004】

特許文献１（「カメラ姿勢推定装置・プログラム」）では、画像の位置推定に信頼度を設け、誤差が最小になるようにカメラのポーズを推定する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開2011-118724号公報

【非特許文献】

【0006】

【文献】" OpenVSLAM: A Versatile Visual SLAM Framework"、ACM Multimedia 2019 Open Source Software Competition, https://arxiv.org/abs/1910.01122,

【文献】"Collaborative monocular SLAM with multiple Micro Aerial Vehicles" 、 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems

【文献】"City-scale landmark identification on mobile devices"、 CVPR 2011

【発明の概要】

【発明が解決しようとする課題】

【0007】

SLAMやSfMによる点群構築においては、スケールドリフトが発生して精度が低下することが課題であるが、以上のような従来技術においてはこのスケールドリフトに効果的に対処することができなかった。スケールドリフトとは、SLAMやSfMを行う際に徐々にスケールが小さくなったり、大きくなってしまう現象であり、計算上の誤差が累積して起こりやすく、不可避な現象である。スケールドリフトは画像の視野が狭く、特徴点が不十分な場合に、計算に用いられる領域が偏ることによって起こりやすい。

【0008】

非特許文献１では、広い画角の画像を使うことでSLAMの結果を安定させるが、満遍なく特徴量が分布していることが前提であり、この前提が成立せず、偏りが大きい場合にはスケールドリフトを起こしてしまう。また広い画角を直接使うと、画像特徴量のゆがみが大きく、他の画像とのマッチング性能が低下してしまう。加え、広い画角の場合、通常の写真と類似するのは一部だけになるため、類似画像の検索性能も低下する。

【0009】

非特許文献２のように、複数のカメラの情報を連携させて点群地図を生成する方法もあるが、カメラを増設して画像量を増やすことにより、処理量が増えてしまう。ここで、複数のカメラを固定して測定しても、それぞれの位置がバラバラに出てしまい、地図の生成が安定しない。またカメラの位置は、完全に固定することは不可能であり、経時でずれるためキャリブレーションが難しい。

【0010】

非特許文献３では全天周画像から比較用に特定の場所を切り出しているが、あくまでクエリ画像の場所を絞り込むために使用されており、点群構築における位置計算を対象としたものではないため、非特許文献３でもスケールドリフトには対処できない。

【0011】

特許文献１の手法においても、１枚の画像で特徴量の分布が偏る場合にはスケールドリフトが発生し、位置の推定精度が下がってしまう。

【0012】

上記従来技術の課題に鑑み、本発明は、効果的にスケールドリフトに対処することのできる点群処理装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するため、本発明は点群処理システムであって、環境中を移動して位置及び回転を変化させながら撮影された各フレーム画像を、複数の視野範囲に分割した分割画像を得る分割部と、各フレーム画像より特徴点を抽出して、異なるフレーム画像間において特徴点のマッチングを行い、位置及び回転が未推定のフレーム画像が前記分割された分割画像の各々について、位置及び回転が推定済のフレーム画像との間での前記マッチングされた結果を用いて、当該分割画像の各々が位置を共有するという条件を課して、当該分割画像の各々の位置及び回転を推定する推定部と、を備えることを特徴とする。また、当該点群処理システムに対応する方法及びプログラムであることを特徴とする。

【発明の効果】

【0014】

本発明によれば、画像を複数の視野範囲に分割した分割画像を用いて、各分割画像が位置を共有する条件のもとで分割画像の各々の位置及び回転を推定することにより、単一の画像全体で位置及び回転を推定する場合と比べて効果的にスケールドリフトの影響を抑制することが可能となる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る点群処理システムの構成図である。

【図2】一実施形態に係る点群処理システムの機能ブロック図である。

【図3】一実施形態に係る点群処理システムの動作のフローチャートである。

【図4】フレーム画像が全天球画像として構成される場合に、分割部で適用する視野範囲の分割の例を示す図である。

【図5】フレーム画像が全天周画像として構成される場合に、分割部で適用する視野範囲の分割の例を示す図である。

【図6】分割部が分割した視野範囲において、透視投影モデル（ピンホールカメラ）により歪みのない通常の画像として基準画像I₀及び関連画像I_iを生成することと、対応する回転初期値R_iを取得する処理を説明するための図である。

【図7】本実施形態の効果を対比例と共に模式的に示す図である。

【図8】一般的なコンピュータ装置におけるハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0016】

図１は、一実施形態に係る点群処理システムの構成図であり、点群処理システム10はインターネット等のネットワークNWを介して相互に通信可能とされる端末1及びサーバ2を備える。端末1は、スマートフォン等のモバイルデバイス又は車載装置等として構成することができる移動体であり、点群処理システム10において処理する対象となる点群を、映像として撮影する等によって端末1の周辺環境から取得するものである。一実施形態では点群処理システム10には端末1のみが含まれサーバ2が含まれない構成により、端末1が単独で点群に関する処理を行うようにしてもよい。一実施形態では点群処理システム10は端末1及びサーバ2を含み、端末1及びサーバ2で処理を分担しながら点群に関する処理を担うようにしてもよい。

【0017】

図２は、一実施形態に係る点群処理システム10の機能ブロック図である。点群処理システム10は、映像取得部11、分割部12及び推定部13を備え、推定部13はさらにマッチング部31、位置回転推定部32、外れ値除外部33及び最適推定部34を備える。点群処理システム10は、端末1の周辺環境の点群を処理するものであり、当該周辺環境を撮影した映像を取得するのが映像取得部11であるため、端末1には少なくとも映像取得部11がカメラ（位置姿勢の推定対象となるカメラ）として設置されることで備わっていればよい。分割部12及び推定部13の全部又は一部は、端末1又はサーバ2のいずれかに備わっていればよい。

【0018】

図３は、一実施形態に係る点群処理システム10の動作のフローチャートである。図３のフローチャートの動作は、リアルタイムの各時刻t(t=1,2,3,…)において端末1の周辺環境を撮影したフレーム画像F(t)を取得し、この画像F(t)を１つ以上の過去時刻の画像F(t-k)(k≧1)と照合する（位置姿勢が推定済の過去時刻の画像と未推定の現時刻の画像から抽出される点群同士を照合する）ことにより、現時刻tにおける端末1の位置姿勢（後述する位置P_i=P_i(t)及び回転Q_i=Q_i(t)）を推定結果として出力するものである。

【0019】

以下、図３の各ステップを説明しながら、図２の各機能ブロックの処理内容に関して説明する。

【0020】

ステップS1では、端末1に設置されたカメラとして構成される映像取得部11が撮影を行うことにより、端末1が存在する環境（端末1の周辺にあるフィールド等）を現時刻tにおいて撮影したフレーム画像F(t)を取得して分割部12へと出力してから、ステップS2へと進む。

【0021】

映像取得部11のカメラは魚眼レンズ等を備えることにより、広角の撮影を行うことが可能なものとして構成されることが好ましい。当該撮影されるフレーム画像F(t)は例えば、全天球画像（全球のエリアを撮影した画像）又は全天周画像（半球のエリアを撮影した画像）であってよい。

【0022】

ステップS2では分割部12が、ステップS1で得たフレーム画像F(t)を複数の視野範囲に分割することにより、１つの基準画像I₀及び１つ以上の関連画像I_i(1≦i≦N-1, N≧2)を得て、且つ、各関連画像I_iに対応する回転初期値R_i(1≦i≦N-1)を求め、これら得られた基準画像I₀並びに関連画像I_i及び対応する回転初期値R_iを推定部13へと出力してから、ステップS3へと進む。

【0023】

フレーム画像F(t)は、透視射影、円周魚眼、正距円筒図法などの射影画像で、広範囲をカバーするために、1枚以上の画像（魚眼画像等）によって表現したものとして構成されている。分割部12では、魚眼画像等として構成されるフレーム画像F(t)における視野範囲を所定の複数の視野範囲（部分的に重複があってもよい）に分割し、所定の射影方式を適用することにより、透視投影モデル（ピンホールカメラ）により当該視野範囲を通常の画像（魚眼画像等のように歪んでいない通常の画像）として表現したものとして、基準画像I₀及び関連画像I_iを生成する。

【0024】

図４及び図５はそれぞれ、フレーム画像が全天球画像及び全天周画像として構成される場合に、分割部12で適用する視野範囲の分割の例を示す図である。図４及び図５において共に、紙面奥行方向が３次元空間における垂直下方向、紙面手前方向が垂直上方向を想定している。図４は、前方側の魚眼レンズFLが捉える水平前方範囲１８０°を、相互に重複を許容した３つの視野範囲f1,f2,f3に分割し、後方側の魚眼レンズBLが捉える水平後方範囲１８０°を、相互に重複を許容した３つの視野範囲f4,f5,f6に分割することにより、全天球を表す2枚（前方側及び後方側の2枚）の円周魚眼画像を、重複を許容した６つの視野範囲f1～f6に分割する例を示している。図５は、水平上方側の半球エリア（例えば地面上方の半球エリア）を撮影するように構成された全天周を表す円周魚眼画像において、水平方向の３６０°の視野範囲を、重複を許容してf11,f12,f13,f14,f15,f16の６つの視野範囲に分割する例を示している。なお、図４では２つの魚眼レンズFL,BLは水平前方及び後方に面しているのに対し、図５では１つの魚眼レンズが垂直上方に面している。

【0025】

なお、ステップS2において分割部12がフレーム画像F(t)を複数の視野範囲に分割する仕方は、時刻tによらない所定の分割方式を予め設定しておけばよい。

【0026】

図６は、分割部12が分割した視野範囲において、適切な画角（例えば対角90度程度）の透視投影モデル（ピンホールカメラ）により歪みのない（または歪みが少ないと判定できる）通常の画像として基準画像I₀及び関連画像I_iを生成することと、対応する回転初期値R_iを取得する処理を説明するための図である。

【0027】

図６では例EX1に、基準画像I₀及び関連画像I_iに対応する視野範囲S₀及びS_iが、カメラ視点Cを中心とする球面SP上に示されている。視野範囲S₀及びS_iにはそれぞれ、球面SP上における当該範囲の位置を示す回転R₀及びR_i（それぞれ回転行列として与えることができる）を定めることができるので、これらを回転初期値とすればよい。特に、基準画像I₀の視野範囲S₀の回転R₀を基準として、（つまり、回転R₀は無回転であるものとして、）相対的な回転として、１つ以上の関連画像I_iの視野範囲Siに対応する回転R_iを初期値として設定すればよい。例EX1においては、回転方向を表す矢印として、回転R_iが回転R₀を基準として定まることが模式的に示されている。（従って、分割部12がフレーム画像F(t)を複数の視野範囲に分割する所定の分割方式に応じた固定値として、回転初期値R_iも定まることとなる。）

【0028】

図６の例EX1,EX2に模式的に示される通り、透視投影モデル（ピンホールカメラ）により歪みのない（又は少ないと判定できる）適切な画角（例えば対角90度程度）の通常の画像として基準画像I₀及び関連画像I_iを生成するには、次のようにすればよい。例EX1に示される魚眼画像F1を球面SPに射影する（なお、F1を射影したのがF2である）ことにより、球面SP上における視野範囲S₀及びS_iに存在するものとして、球面画像S₀及びS_i（説明の便宜上、視野範囲と球面画像とに同一の符号を用いる）を得ることができる。そして、例EX2に示されるように、カメラ視点Cを中心とする中心射影の平面I₀及びI_iに球面画像S₀及びS_iを射影することにより、通常の画像としての基準画像I₀及び関連画像I_i（説明の便宜上、射影のための画像平面と射影された結果得られる画像とに同一の符号を用いる）を得ることができる。

【0029】

なお、射影方式には円周魚眼など様々なものが存在し、図６の例EX1に示される方式とは異なるものとして、例EX3に180度の円周魚眼の例も示す。分割部12ではフレーム画像F(t)に適用されている個別の射影方式に応じた手法により、基準画像I₀及び関連画像I_iを生成し、且つ、回転初期値R_iを取得することができる。なお、すでにステップS6でRiが最適化計算されている場合は、その値を回転初期値R_iとして利用するようにしてよい。（例えば、初期時刻t=1では、ステップS6の最適化計算は一度も行われていないため、射影方式に応じた所定の回転初期値R_i(t=1)を利用し、それよりも後の時刻t≧2では、例えば直前時刻t-1でのステップS6で最適化計算されている値R_i (t-1)を、当該時刻tでの回転初期値として利用してよい。）

【0030】

図３の各ステップの説明に戻り、ステップS3では、位置姿勢が未推定である現時刻tの画像（フレーム画像F(t)よりステップS2で得られた基準画像I₀及び関連画像I_i）と、位置姿勢が推定済である過去時刻t-k(k≧1)の画像（フレーム画像F(t-k)より過去時刻t-kに関してステップS2で得られた基準画像I₀及び関連画像I_i）との間でマッチング部31が特徴点マッチングを行ってから、ステップS4へと進む。

【0031】

上記の通り、マッチング部31による特徴点マッチングは、歪みのない（又は少ない）基準画像I₀及び関連画像I_iに関して、現時刻tと過去時刻t-kとの間において実施され、現時刻tの画像に対する１つ以上の過去画像におけるマッチング結果が保存される。当該マッチング結果は、後述するステップS4における位置回転推定部32の処理と、ステップS5における外れ値除外部33の処理と、ステップS6における最適推定部34の処理と、において参照して利用される。

【0032】

マッチング部31では、基準画像I₀及び関連画像I_iから特徴点及び特徴量（SIFT特徴など）を抽出したうえで、特徴点及び特徴量によるマッチングを行えばよい。例えば、現時刻tの各特徴点に対してある１つの過去時刻t-kの全ての特徴点との間でマッチングするものを、特徴量の類似度が最大となるものとしてマッチング結果を得るようにしてよい。この最大類似度が閾値判定で小さいと判定された場合には、マッチング結果を該当なしとしてもよい。

【0033】

ステップS4では、位置回転推定部32が、現時刻tの基準画像I₀及び関連画像I_iについて、その位置P_i及び回転Q_i（0≦i≦N-1、i=0の場合は基準画像I₀の位置及び回転、i≧1の場合は関連画像I_iの位置及び回転）を推定してから、ステップS5へと進む。（なお、当該推定する回転Q_iは、別の変数表記を割り当てていることからも明確なように、ステップS2で各関連画像I_iについて求めた回転初期値R_iとは別のものである。）

【0034】

位置回転推定部32では、ステップS3で求まっているマッチング結果（すなわち、現時刻tの画像が構成する点群と過去時刻t-kの画像が構成する点群とのマッチング結果）を利用して、エピポーラ幾何やバンドル調整といった任意の既存手法を用いることにより、一般的なSfM等においてなされているのと同様にして、各画像の位置P_i及び回転Q_iを推定することができる。（以下に説明するように、過去時刻t-kの画像に関しては、基準画像I₀及び関連画像I_iについて、その位置姿勢（位置及び回転）が過去時刻t-kのステップS6において推定済み（ステップS5で除外されなかった画像に関して推定済み）である。従って、ステップS4では位置及び回転が推定済の過去時刻の画像との間で照合を行うことにより、現時刻tの各画像の位置P_i及び回転Q_iを推定することができる。）

【0035】

ステップS5では、外れ値除外部33が、ステップS3で求まっているマッチング結果と、ステップS4で求まっている現時刻tの基準画像I₀及び関連画像I_iについての位置P_i及び回転Q_iと、を用いて、現時刻tの基準画像I₀及び関連画像I_iのうち、外れ値に相当する画像を判定し、当該判定される画像を、次のステップS6での最適推定部34による処理対象から除外して、ステップS6へと進む。（なお、ステップS5において除外判定がなされなかった場合は、除外する画像は発生しない。）

【0036】

外れ値除外部33では以下の（１）又は（２）に該当する画像を除外すべきものとして判定し、除外する。

【0037】

（１）各画像I_i（0≦i≦N-1、i=0の場合は基準画像I₀、i≧1の場合は関連画像I_i）について、当該N枚全体での平均位置P_avgを計算する。平均位置P_avgは、例えば相加平均ΣP_i/Nや各位置P_i=(x_i,y_i,z_i)の中央値などとして計算すればよい。当該平均位置P_avgからの乖離が大きいものを差分の絶対値|P_i-P_avg|に対する閾値判定により判定し、乖離が大きいと判定された画像を除外対象とする。

【0038】

（２）ステップS3で求まっているマッチング結果において、当該画像におけるマッチングした特徴点の個数が閾値判定で少ないと判定される画像を、除外対象とする。

【0039】

以下、説明のため、ステップS5により除外されなかった残りの画像を表すインデクス集合をU（U⊂{0,1,2,…,N-1}）とし、除外されずに残った画像をI_j(j∈U)と表記する。ステップS5による除外により、次のステップS6で得られる最終的な位置及び回転の推定精度を向上させることができる。

【0040】

ステップS6では、最適推定部34が、ステップS5で除外されずに残った各画像I_j(j∈U)について、以下の手順１～４により、最適化されたものとしてその位置及び回転を推定し、点群処理システム10からの出力とし、ステップS1へと戻る。当該戻ったステップS1では次の現時刻t+1について同様の処理が継続して実行される。

【0041】

（手順１）各画像I_j(j∈U)の回転Q_j（ステップS4で求まっている）に対し、回転初期値R_j（ステップS2で求まっている）の回転逆行列invR_j(=R_j ^-1)を乗じた(invR_j)・Q_j (j∈U)の集合U内での平均値（相加平均）を計算する。この平均値をQ_avgとする。なお、基準画像I₀（j=0）に関して、R₀が無回転であることから、(invR₀)・Q₀ =Q₀である。

【0042】

（手順２）平均位置P_avg（ステップS5により除外されなかった残りの画像に基づく位置の平均）及び平均回転Q_avg（手順１で求まっている）を、基準画像I₀の位置及び回転であるものとして設定（以降のバンドル調整のための初期値として設定）する。（なお、基準画像I₀がステップS5で外れ値として除外されている場合であっても、当該ステップS6の最適化計算は行われ、この設定を行う。この設定は、基準画像I₀自身のみに対する設定ではなく、基準画像I₀以外の画像についても設定の前提となるためである。）

【0043】

（手順３）変数をP_avg,Q_avg,R_j(j∈U, j≧1)としたバンドル調整による、非線形最小化問題を解く。当該解くにはCeresなどの一般的な手法やライブラリ等を利用してよい。この際、関連画像の位置をP_j=P_avg、回転Q_j=R_j・Q_avgとして計算する。この時の変数は、P_avg、R_j、Q_avg(j∈U, j≧1)であり、バンドル調整によって基準画像I₀との相対回転R_j(j≧1)も調整が行われる。なおR₀は無回転固定であり最適化計算対象外となる。

【0044】

（手順４）上記手順３で解いた結果として、最適化されたP_avg,Q_avg,R_j(j∈U, j≧1)が算出されるので、関連画像の位置P_j=P_avg、回転Q_j=R_j・Q_avg(0≦k≦N-1)として最終的な推定結果を得る。ここで、前述の通り、R₀は無回転固定であり最適化計算対象外であるため、回転Q₀＝Q_avgとなる。

【0045】

以上のように、ステップS6では最適推定部34が現時刻tでの各画像I_j(j∈U)に対して、各画像I_j(j∈U)においてステップS3でマッチングした特徴点の３次元世界座標の位置と、各画像I_j(j∈U)のカメラ位置及び向き（画像の位置及び回転）とを未知パラメータとして、既存手法であるバンドル調整により、特徴点の３次元世界座標を各画像平面座標に再投影した際の誤差を最小化するように、これら未知パラメータを推定する。この際、本実施形態のバンドル調整においては、各画像I_j(j∈U)のカメラ位置及び向きに関して、自由に変動させるのではなく、手順３で説明したような制約のもとで変動させて再投影誤差を最小化するものを算出することにより、手順４のように最終的な推定結果を得ることができる。また、本実施形態のバンドル調整においては、手順１，２において、手順３の変数の初期値を設定することで、安定的に計算を行うことができる。

【0046】

なお、ステップS6での最適推定部34によるバンドル調整は、現時刻tのみでの各画像I_j＝I_j(t)(j∈U=U(t))に対してではなく、１つ以上の過去時刻t-k(k≧1)における各画像I_j＝I_j(t-k)(j∈U=U(t-k))も追加したうえで、行うようにしてもよい。（この場合、１つ以上の過去時刻t-k(k≧1)における各画像I_j(j∈U)についても同様の制約（手順３）を課して最適化することにより、１つ以上の過去時刻t-k(k≧1)における各画像I_j(j∈U)のカメラの位置及び向きも再度、最適化して更新された値が得られることとなる。）

【0047】

なお、ステップS6ではさらに、定期的に（例えば所定フレーム間隔ごとに）位置及び回転が決まった全画像（現時刻tまでの全画像）を対象として、バンドル調整を行うことで、既に推定されている位置及び回転をさらに最適化するようにしてもよい。

【0048】

以上の図３のフローにより、スケールドリフトを効果的に抑制して、最適推定部34により位置及び回転を推定することができる。特に、最適推定部34においては広角画像を複数の視野範囲に分割したものとしての基準画像I₀及び関連画像I_iを利用する（特に、その位置（最終的にP_avgとして推定される位置）が基準画像I₀及び関連画像I_iにおいて共有され（同一位置を有し）、且つ、回転のみが相互に異なっているという条件を課して利用する）ことで、画像の広い範囲に渡って偏りなく特徴点を利用することにより、スケールドリフトを効果的に抑制することが可能である。図３では例としてリアルタイムの測位を行う場合に関して説明したが、この測位結果に基づき地図作成を行う場合にも本実施形態は適用可能である。（地図生成の場合、画像の位置を推定した後に、周囲の点群を地図として保存する動作を追加すればよい。）また、測位はリアルタイムではなくオフラインで行うようにしてもよい。（図３のフローを映像の各時刻t通りの順番ではなく、任意の順番に変更して実施してもよい。）

【0049】

図７は本実施形態の効果を対比例と共に模式的に示す図である。例EX11は対比例として、本来同じ位置となるべきものが、それぞれの画角でまとまり、別の位置として誤推定されてしまっている。例EX12は本実施形態の適用例であり、一つの場所から扇状に画像位置が計算されていることが分かる。また計算時間短縮の効果も得られる。なお、図６において、扇状の形状は、錐体として、推定した位置及び回転を表す（錐体の底面の四角形の開き具合が画角に相当する）ものである。例EX11及び例EX12では共通の６つの軌跡が存在するが、例EX11においては位置が異なる軌跡を描いている３本と、バラバラとなって線に見えない１本と、さらに位置が分からなかった２本と、の６本が存在し、例EX12においては、この６本分がきれいに扇状に重なり１本に見えている。（例EX12で２本分が見えるのは、１本の軌跡が１周していることによるものである。）例EX12では、安定した位置計算によってスケールドリフトの影響が低減されているのに対し、例EX11では、スケールドリフトの影響により、等間隔となるはずの位置計算が、等間隔ではなく徐々に狭まったり広がったりする挙動となっている。

【0050】

図８は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。点群処理システム10における端末1及びサーバ2はそれぞれ、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で点群処理システム10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、映像取得部11を構成するカメラ78と、これらの間でデータを授受するためのバスBSと、を備える。

【0051】

点群処理システム10における端末1及びサーバ2の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。点群処理システム10による推定結果等はディスプレイ76で表示して出力してよい。

【符号の説明】

【0052】

10…点群処理システム、1…端末、2…サーバ
11…映像取得部、12…分割部、13…推定部、31…マッチング部、32…位置回転推定部、33…外れ値除外部、34…最適推定部

【図1】