【解決手段】位置推定システム1において、単眼による撮像装置100と、現実空間を所定の特徴種別による特徴量で表した特徴量空間を示す特徴量地図を記憶する記憶部203及び撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、特徴量地図の特徴量空間に設定した投影中心に応じて生成される投影画像とを比較した結果に基づいて、撮像装置に対応する位置を推定する位置推定部221を含む位置推定装置200と、を備える。
単眼による撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、現実空間を所定の特徴種別による特徴量で表した特徴量地図が示す特徴量空間に設定した投影中心に応じて生成される投影画像とを比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定部と
を備える位置推定装置。
単眼による撮像装置により撮像して得られた撮像画像の特徴量を示す参照画像と、現実空間を所定の特徴種別による特徴量で表した特徴量地図が示す特徴量空間に設定した投影中心に応じて生成される投影画像とを比較した結果に基づいて、前記撮像装置に対応する位置を推定する位置推定ステップ
を備える位置推定方法。
【発明を実施するための形態】
【0012】
<第1実施形態>
図1は、本実施形態の位置推定システム1の構成例を示している。同図の位置推定システム1は、撮像装置100、位置推定装置200、及び情報出力装置300を備える。
本実施形態の位置推定システムは、例えば車両やロボット等の移動体に備えられる。また、例えば移動体には撮像装置100と情報出力装置300が備えられ、位置推定装置200としての機能がクラウドサーバ等に備えられた構成であってもよい。この場合には、移動体の撮像装置100と情報出力装置300とを、無線経由でクラウドサーバと通信可能に接続して構成される。また、情報出力装置300を、移動体とは別の場所に備えるようにしてもよい。
【0013】
撮像装置100は、撮像を行う。本実施形態の撮像装置100は、例えばステレオカメラなどのようなものではなく、単眼によるものである。
【0014】
位置推定装置200は、撮像装置100により撮像して得られた画像(撮像画像)を利用して位置を推定する装置である。本実施形態において推定の対象となる「位置」は、空間における点としての座標と、当該座標を基点とする方向を含む。
位置推定装置200は、機能部として、入出力インターフェース部201、情報処理部202、及び記憶部203を備える。
【0015】
入出力インターフェース部201は、位置推定装置200と外部との情報の入出力を行う部位である。撮像装置100が出力する撮像画像は、入出力インターフェース部201が入力し、情報処理部202に渡すようにされる。
また、情報処理部202が出力した画像、音声等の情報は、入出力インターフェース部201から情報出力装置300に出力される。
【0016】
情報処理部202は、自己の位置(自己位置)の推定に関する情報処理を実行する。情報処理部202としての機能は、位置推定装置200において備えられるCPU(Central Processing Unit)が、プログラムを実行することにより実現される。同図の情報処理部202は、位置推定部221を備える。
位置推定部221は、撮像装置100に対応する位置を推定する。つまり、位置推定部221は、撮像装置100が備えられる移動体の位置を推定する。
【0017】
記憶部203は、位置推定装置200に対応する各種の情報を記憶する。本実施形態の記憶部203は、第1特徴量地図記憶部231を備える。第1特徴量地図記憶部231は第1特徴量地図を記憶する。「特徴量地図」は、現実空間を所定の特徴量種別による特徴量で表した特徴量空間の情報である。本実施形態における第1特徴量地図がどのような特徴量種別の特徴量によるものであるのかについては後述する。
また、第2特徴量地図記憶部232は、第2実施形態に対応する記憶部であることから、ここでの説明は省略する。
【0018】
情報出力装置300は、位置推定装置200から出力された情報を出力する。情報出力装置300は、表示装置であってもよいし、音声出力装置であってもよいし、印刷装置であってもよい。
【0019】
図2を参照して、本実施形態の位置推定システム1による位置推定の手法例について説明する。
同図においては、現実空間RWSが示されている。同図では、街区環境を現実空間RWSとした例が示されている。このような街区環境としての現実空間RWSにおいては、建造物BL、看板、標識等のランドマークLM、街路樹や植栽された草木などとしての植栽物PL等が存在する。
【0020】
現実空間RWSにおいて、移動体に備えられる撮像装置100が、或る空間内の位置(座標)にて或る撮像方向により撮像を行う。これにより、撮像装置100の投影中心C1を原点とする投影面に対応する撮像画像PIが得られる。
【0021】
位置推定装置200における位置推定部221は、撮像画像PIを取得する。位置推定部221は、取得した撮像画像PIから所定の特徴種別による特徴量を抽出した特徴量画像を生成する。本実施形態における特徴量は、建造物BLのエッジである。建造物BLの形状は、一般に平面の組み合わせとなるものが多く、角部の輪郭も明確であることから、エッジとしての特徴量により表現しやすい。
位置推定部221は、撮像画像PIについて画像認識処理を行うことで撮像画像PIにおける建造物BLを認識し、認識した建造物BLを対象にエッジ検出を行うことで、撮像画像PIにおける建造物BLのエッジが示される特徴量画像を生成することができる。位置推定部221は、このように生成される特徴量画像を参照画像(基準画像)PRFとして扱う。
【0022】
本実施形態の第1特徴量地図記憶部231が記憶する第1特徴量地図は、例えば、同図の現実空間RWSとしての街区環境に存在する建造物BLについてエッジ検出を行い、検出されたエッジとしての特徴量により表される特徴量空間の情報として生成されたものである。
同図には、第1特徴量地図が反映された特徴量空間VRSが示されている。特徴量空間VRSにおいては、第1特徴量地図において示される建造物BLのエッジにより形成される特徴量群GFTが存在する。
位置推定部221は、同図の特徴量空間VRSにおいて、座標(x,y)と角度(θ)との組み合わせごとに対応して投影中心C2を設定し、特徴量空間VRSにおいて、設定された投影中心C2ごとの投影面に対応する投影画像PPRを生成する。このような投影画像PPRには、投影中心C2の座標(x,y)と角度(θ)に応じて投影面内に収まる建造物BLのエッジが含まれることになる。なお、投影中心C2の座標はx軸座標、y軸座標、及びz軸座標による三次元座標として表されてもよい。
位置推定部221は、このように生成された複数の投影画像PPRを、参照画像PRFと比較する比較対象画像PCMとして扱う。
【0023】
なお、第1特徴量地図記憶部231は、予め生成された投影画像PPRと、対応の投影中心C2(座標(x,y)、角度θ)とを紐付けた情報を、第1特徴量地図として記憶してもよい。
【0024】
位置推定部221は、参照画像PRFと複数の比較対象画像PCMとを比較し、比較結果に基づいて、撮像装置100が対応する位置を推定する。
このため、例えば位置推定部221は、参照画像PRFと比較対象画像PCMの相関についての分布を求めるようにされてよい。具体的例として、位置推定部221は、参照画像PRFと比較対象画像PCMのそれぞれとを比較することにより、比較対象画像PCMごとに参照画像PRFとの類似度を求める。位置推定部221は、比較対象画像PCMごとの投影中心C2(x,y,θ)に対する類似度のヒストグラム(確率分布)を生成する。位置推定部221は、生成された確率分布に基づいて、参照画像PRFに最も近似する比較対象画像PCMが対応する投影中心C2(x,y,θ)を選択する。
選択された投影中心C2は、特徴量空間VRS内の座標と方向を示す。特徴量空間VRS内の座標と方向は、現実空間RWSにおける座標と方向とに対応付けられている。そこで、位置推定部221は、選択された投影中心C2(x,y,θ)を、現実空間RWSにおける位置に変換する。このようにして求められた位置は、現実空間RWSにおける撮像装置100の投影中心C2の位置である。投影中心C2は、撮像装置100が搭載された移動体に対応する位置となる。このようにして本実施形態の位置推定システムは、移動体の自己位置を推定することができる。
【0025】
このような本実施形態の位置推定システム1による自己位置の推定手法であれば、参照画像PRFは立体視によるものでなくともよい。このため、撮像装置100については単眼のものを採用できる。
そのうえで、本実施形態の位置推定システム1では、特徴量地図を予め記憶しておき、撮像画像から生成した特徴量画像としての参照画像PRFと、特徴量地図から生成した投影画像による比較対象画像PCMとを比較するようにされている。即ち、本実施形態の位置推定システム1は、Visual SLAMのように三次元点群を用いない。単眼の撮像装置により撮像された画像から生成される三次元点群については精度が十分でないことから、位置推定の精度が低下する。これに対して、本実施形態の位置推定システム1は、特徴量地図を利用することで、三次元点群の利用を不要としている。これにより、本実施形態の位置推定システム1は、撮像装置100として単眼によるものを用いながらも、良好な精度で移動体の自己位置の推定を行うことが可能になる。
また、SLAM等の技術では、予め用意した三次元点群地図を用いるのであるが、三次元点群地図の作成、管理には相当のコストや手間を要する。本実施形態の位置推定システム1において予め用意される特徴量地図は、例えば建造物BLのエッジとしての特徴量を示すものであることから、三次元点群地図と比較して作成は容易であり、管理も簡易でよい。
【0026】
図3のフローチャートは、位置推定装置200が実行する処理手順例を示している。
ステップS101:位置推定装置200において、位置推定部221は、撮像装置100により撮像して得られた撮像画像PIを取得する。
ステップS102:位置推定部221は、ステップS101により取得した撮像画像PIから建造物BLのエッジを抽出して、参照画像PRFを生成する。
ステップS103:位置推定部221は、第1特徴量地図を利用して、所定の座標と角度による投影中心C2ごとに対応する投影画像PPRを生成し、生成された投影画像PPRを、比較対象画像PCMとする。
ステップS104:位置推定部221は、ステップS102により参照画像PRFと、ステップS103により生成された比較対象画像PCMとを比較する。
ステップS105:位置推定部221は、ステップS104による比較の結果に基づいて、現実空間RWSにおける投影中心C1を求め、求められた投影中心C1に応じた移動体の自己位置を決定する。
【0027】
<第2実施形態>
続いて、第2実施形態について説明する。先の第1実施形態においては、第1特徴量地図として、現実空間RWSにいて存在する建造物BLのエッジによる地図を用いた。本実施形態においては、第1特徴量地図に代えて、第2特徴量地図を用いる。
第2特徴量地図は、現実空間RWSにおいて存在するランドマークLMと植栽物PLの色を特徴量として表した特徴量空間(色空間)の情報である。
本実施形態の位置推定装置200の構成としては、記憶部203において第2特徴量地図記憶部232が備えられる。本実施形態においては、第1特徴量地図記憶部231は省略されてよい。
【0028】
図4を参照して、本実施形態の位置推定システム1による位置推定の手法例について説明する。
同図においては、
図2と同じ現実空間RWSが示されている。同図では、街区環境を現実空間RWSとした例が示されている。同図の現実空間RWSにおいても、移動体に備えられる撮像装置100が、或る空間内の位置(座標)にて或る撮像方向により撮像を行うことで、投影中心C1を原点とする投影面に対応する撮像画像PIが得られている。
【0029】
本実施形態の位置推定装置200の位置推定部221は、取得した撮像画像PIから、ランドマークLMと植栽物PLの色情報を特徴量として抽出した特徴量画像を生成し、生成された特徴量画像を参照画像PRFとする。ランドマークLMは、例えば看板等であるので周囲よりも目立たせるために特徴的な色彩を有するものが多い。また、植栽物PLは、例えば周囲の建造物BLとは異なる葉等の緑が特徴的である。このため、ランドマークLMや植栽物PLは、色情報としての特徴量により表現しやすい。
【0030】
本実施形態の第2特徴量地図記憶部232が記憶する第2特徴量地図は、同図の現実空間RWSに存在する物体のうちからランドマークLMと植栽物PLの色情報を抽出し、抽出された色情報としての特徴量により表される特徴量空間として生成されたものである。
同図には、第2特徴量地図が反映された特徴量空間VRSが示されている。特徴量空間VRSにおいては、第2特徴量地図において示されるランドマークLMと植栽物PLの色情報により形成される特徴量群GFTが存在する。
位置推定部221は、同図の特徴量空間VRSにおいて、座標(x,y)と角度(θ)との組み合わせごとに対応して投影中心C2を設定し、特徴量空間VRSにおいて、設定された投影中心C2ごとの投影面に対応する投影画像PPRを生成する。このような投影画像PPRには、投影中心C2の座標(x,y)と角度(θ)に応じて投影面内に収まるランドマークLMと植栽物PLの色情報が含まれることになる。
位置推定部221は、このように生成された複数の投影画像PPRを、参照画像PRFと比較する比較対象画像PCMとして扱う。
【0031】
位置推定部221は、参照画像PRFと複数の比較対象画像PCMとを比較し、比較結果に基づいて、撮像装置100が対応する位置を推定する。
本実施形態においても、位置推定部221は、第1実施形態と同様に参照画像PRFと比較対象画像PCMの相関についての分布を求めることで、移動体の自己位置を推定することができる。
【0032】
このような本実施形態の位置推定システム1による自己位置の推定手法によっても、第1実施形態と同様に、撮像装置100として単眼によるものを用いながらも、良好な精度で移動体の自己位置の推定を行うことが可能になる。
【0033】
<第3実施形態>
続いて、第3実施形態について説明する。本実施形態においては、位置推定にあたり第1特徴量地図と第2特徴量地図とを併用する。
本実施形態の位置推定装置200の構成としては、記憶部203において第1特徴量地図記憶部231と第2特徴量地図記憶部232とが備えられる。
【0034】
本実施形態の位置推定部221は、第1特徴量地図を利用して得られた確率分布と、第2特徴量地図を利用して得られた確率分布とを総合的に判断して、移動体の自己位置を決定する。ここでの総合的な判断の手法として、1つには、位置推定部221は、第1特徴量地図に対応する確率分布と第2特徴量分布に対応する確率分布とを統合して1つの確率分布とする。位置推定部221は、統合された確率分布に基づいて移動体の自己位置を決定するようにされてよい。
【0035】
また、1つには位置推定部221は、第1特徴量地図に対応する確率分布と第2特徴量分布に対応する確率分布とのそれぞれの分布状態に基づいて、信頼性の高いほうの確率分布を選択する。そのうえで、位置推定部221は、選択した確率分布に基づいて移動体の自己位置を決定するようにされてよい。
例えば、似たような形状の建造物BLが密集しているような場所では、第1特徴量地図を利用した位置推定精度が低下する場合がある。同様に、似たような植栽物PLが密集している場合には、第2特徴量地図を利用した位置推定精度が低下する場合がある。そこで、上記のような位置推定の手法とすることで、位置推定の精度の低下を抑止できる。
【0036】
<第4実施形態>
続いて、第4実施形態について説明する。本実施形態においても、第3実施形態と同様に、位置推定にあたり第1特徴量地図と第2特徴量地図とを併用する。
そのうえで、本実施形態においては、第1特徴量地図と第2特徴量地図とで、現実空間RWSにおいてそれぞれ異なる空間範囲を対応させたものを用意する。
【0037】
現実空間RWSにおける建造物BL、ランドマークLMや植栽物PLの存在状況から、第1特徴量を利用した位置推定の精度と第2特徴量を利用した位置推定の精度とのいずれが高いのかは事前に判断できる。そこで、現実空間RWSにおいて、第1特徴量を利用した位置推定の精度のほうが高いと判断された空間範囲については、第1特徴量地図を作成し、第1特徴量地図記憶部231に記憶させる。一方、現実空間RWSにおいて、第2特徴量を利用した位置推定の精度のほうが高いと判断された空間範囲については、第2特徴量地図を作成し、第2特徴量地図記憶部232に記憶させる。
【0038】
本実施形態における位置推定部221は、位置推定にあたり、撮像画像PIに基づいて、建造物BLのエッジを特徴量とする参照画像PRFと、ランドマークLMや植栽物PLの色情報を特徴量とする参照画像PRFとの双方を生成してよい。
そのうえで、位置推定部221は、第1特徴量地図から生成した比較対象画像PCMについては、建造物BLのエッジを特徴量とする参照画像PRFと比較する。また、位置推定部221は、第2特徴量地図から生成した比較対象画像PCMについては、ランドマークLMや植栽物PLの色情報を特徴量とする参照画像PRFと比較する。
この場合、位置推定部221は、第1特徴量地図に対応する比較結果により得られた分布確率と、第2特徴量地図に対応する比較結果により得られた分布確率とを統合した分布確率に基づいて、移動体の位置を決定してよい。
【0039】
なお、上記各実施形態において、特徴量地図に対応する特徴量の特徴種別は、エッジや色情報に限定されない。例えば、撮像により得られた撮像画像の内容(例えば、撮像画像における画素のパターン)そのものが特徴量であると捉えて、撮像画像をそのまま参照画像としてよい。この場合、第1特徴量地図については、現実空間RWSにおける建造物BLをできるだけ忠実に再現した三次元オブジェクトを含む空間を表す情報とされてよい。同様に、第2特徴量地図については、現実空間RWSにおけるランドマークLMや植栽物PLをできるだけ忠実に再現した三次元オブジェクトを含む空間を表す情報とされてよい。
【0040】
なお、本実施形態において、特徴量地図に対応して特徴量を抽出する対象となる物体については、建造物BL、もしくはランドマークLMや植栽物PLに限定されない。特徴量を抽出する対象となる物体については、例えば、地形等をはじめとして、現実空間の環境においてどのようなものが位置推定に好適であるのかについて考慮のうえで適宜変更されてよい。
【0041】
なお、位置推定システム1において、位置推定を行うにあたって併用する特徴量地図の数は3以上であってもよい。
【0042】
なお、上述の位置推定装置200としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の位置推定装置200としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。