特許 7361462 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-05

(45)【発行日】2023-10-16

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G01C 21/26 20060101AFI20231006BHJP

【ＦＩ】

G01C21/26 A

【請求項の数】 11

(21)【出願番号】P 2018193082

(22)【出願日】2018-10-12

(65)【公開番号】P2020060499

(43)【公開日】2020-04-16

【審査請求日】2021-09-17

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】下平 真武

(72)【発明者】

【氏名】松本 令司

(72)【発明者】

【氏名】伊藤 宏平

(72)【発明者】

【氏名】玉田 裕貴

【審査官】小林 勝広

(56)【参考文献】

【文献】特開２０１３－１８２５６２（ＪＰ，Ａ）

【文献】特開２０１５－１０２４４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００－２１／３６、２３／００－２５／００

Ｇ０５Ｄ １／００－ １／１２

Ｇ０６Ｔ １／００－ １／４０、 ３／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０、 ３０／４１８、

４０／１６、４０／２０

Ｇ０８Ｇ １／００－９９／００

Ｇ０９Ｂ ２３／００－２９／１４

(57)【特許請求の範囲】

【請求項1】

移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて点群データを生成する生成部と、
前記撮像情報を取得した際の前記移動体の位置と、前記撮像情報に含まれる地物の鉛直方向に沿って伸びる縁部の形状と、を用いて、当該地物の影の形状を推定し、当該推定された地物の影の形状に基づいて、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備え、
前記生成部は、前記抽出部が抽出した構成点に所定の情報を付与することを特徴とする情報処理装置。

【請求項2】

移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて点群データを生成する生成部と、
前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備え、
前記抽出部は、複数の前記構成点によって表される形状の複雑度が特定の複雑度を有する場合に、当該構成点を、影に対応する構成点として抽出し、
前記生成部は、前記抽出部が抽出した構成点に所定の情報を付与することを特徴とす
る情報処理装置。

【請求項3】

前記抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する構成点を抽出することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報を取得した際の前記移動体の位置と、前記撮像情報に含まれる地物の鉛直方向に沿って伸びる縁部の形状と、を用いて、当該地物の影の形状を推定し、当該推定された地物の影の形状に基づいて、前記撮像情報において影に対応する特徴点を抽出する抽出部と、
前記撮像情報に基づいて点群データを生成する生成部と、を備え、
前記生成部は、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴とする情報処理装置。

【請求項5】

移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報において影に対応する特徴点を抽出する抽出部と、
前記撮像情報に基づいて点群データを生成する生成部と、を備え、
前記抽出部は、複数の前記特徴点によって表される形状の複雑度が特定の複雑度を有する場合に、当該特徴点を、影に対応する特徴点として抽出し、
前記生成部は、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴とする情報処理装置。

【請求項6】

前記抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する特徴点を抽出することを特徴とする請求項４または５に記載の情報処理装置。

【請求項7】

前記点群データを出力する出力部をさらに備えることを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。

【請求項8】

コンピュータにより実行される情報処理方法であって、
移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、
前記撮像情報に基づいて点群データを生成する生成工程と、
前記撮像情報を取得した際の前記移動体の位置と、前記撮像情報に含まれる地物の鉛直方向に沿って伸びる縁部の形状と、を用いて、当該地物の影の形状を推定し、当該推定された地物の影の形状に基づいて、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含み、
前記生成工程において、前記抽出工程において抽出した構成点に所定の情報を付与することを特徴とする情報処理方法。

【請求項9】

コンピュータにより実行される情報処理方法であって、
移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、
前記撮像情報を取得した際の前記移動体の位置と、前記撮像情報に含まれる地物の鉛直方向に沿って伸びる縁部の形状と、を用いて、当該地物の影の形状を推定し、当該推定された地物の影の形状に基づいて、前記撮像情報において影に対応する特徴点を抽出する抽出工程と、
前記撮像情報に基づいて点群データを生成する生成工程と、を含み、
前記生成工程において、前記抽出工程において抽出した特徴点を除去して前記点群データを生成することを特徴とする情報処理方法。

【請求項10】

請求項８又は９に記載の情報処理方法を、コンピュータにより実行させることを特徴とする情報処理プログラム。

【請求項11】

請求項１０に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置に関する。

【背景技術】

【0002】

従来、移動体において自己位置推定と環境地図作成を同時に実行する方法（ＳＬＡＭ；Simultaneous Localization and Mapping）が知られている。このようなＳＬＡＭの一種として、レーザ装置に代えてビデオカメラを用いる方法（ＶＳＬＡＭ；Visual SLAM）が提案されている（例えば、特許文献１参照）。特許文献１に記載されたようなＶＳＬＡＭでは、ビデオカメラを用いることによりコスト低減を図っている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－２２２５５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されたようなＶＳＬＡＭにおいては、ビデオカメラによって撮像された各画像（フレーム）において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このように作成された環境地図に含まれる点群データは、自己位置推定等に活用されることがある。

【0005】

点群データを構成する複数の構成点には、例えば日時や天候によって変化する構成点が含まれている場合がある。このような場合、点群データの生成タイミングと自己位置推定のタイミングとが異なるため、点群データを構成する構成点と、自己位置推定時に検出される地物と、に齟齬が生じてしまい、点群データを活用しにくくなってしまう。

【0006】

したがって、本発明の課題は、活用しやすい点群データを生成することができる情報処理装置を提供することが一例として挙げられる。

【課題を解決するための手段】

【0007】

前述した課題を解決し目的を達成するために、請求項１に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて点群データを生成する生成部と、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備え、前記生成部は、前記抽出部が抽出した構成点に所定の情報を付与することを特徴としている。

【0008】

請求項４に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報において影に対応する特徴点を抽出する抽出部と、前記撮像情報に基づいて点群データを生成する生成部と、を備え、前記生成部は、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴としている。

【0009】

請求項８に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報に基づいて点群データを生成する生成工程と、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含み、前記生成工程においては、前記抽出部が抽出した構成点に所定の情報を付与することを特徴としている。

【0010】

請求項９に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報において影に対応する特徴点を抽出する抽出工程と、前記撮像情報に基づいて点群データを生成する生成工程と、を含み、前記生成工程において、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴としている。

【図面の簡単な説明】

【0011】

【図1】本発明の実施例に係る情報処理装置の概略を示すブロック図である。

【図2】前記情報処理装置が取得する撮像情報のフレームの一例を示す平面図である。

【図3】前記情報処理装置が生成する点群データの一例を示す平面図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報に基づいて点群データを生成する生成部と、点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備える。生成部は、抽出部が抽出した構成点に所定の情報を付与する。

【0013】

このような本実施形態の情報処理装置によれば、影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。

【0014】

尚、構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる（０にすることも含む）という情報であってもよい。また、情報処理装置によって生成された点群データは、そのまま活用されてもよいし、他の点群データと統合されてから活用されてもよい。また、撮像情報取得部と生成部と抽出部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。

【0015】

抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する構成点を抽出すればよい。地物のうち鉛直方向に沿って延びる縁部が影を形成する方向は、太陽高度情報と太陽方位情報と撮像方位情報とに基づいて推定することができる。

【0016】

抽出部は、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。例えば、フラクタル次元を概算することにより、植生の葉によって形成される影を特定してもよい。

【0017】

本発明の他の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報において影に対応する特徴点を抽出する抽出部と、撮像情報に基づいて点群データを生成する生成部と、を備える。生成部は、抽出部が抽出した特徴点を除去して点群データを生成する。

【0018】

このような本実施形態の情報処理装置によれば、影に対応する特徴点を除去して点群データを生成することで、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。尚、特徴点を抽出するタイミング及び除去するタイミングは任意であり、撮像情報に含まれる各フレームにおいて特徴点を抽出するとともに除去してもよいし、複数のフレームに基づいてＶＳＬＡＭによって点群データを生成する際に特徴点を抽出するとともに除去してもよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。

【0019】

抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する特徴点を抽出すればよい。地物のうち鉛直方向に沿って延びる縁部が影を形成する方向は、太陽高度情報と太陽方位情報と撮像方位情報とに基づいて推定することができる。
してもよい。

【0020】

抽出部は、複数の特徴点によって表される形状の複雑度に基づき影に対応する特徴点を抽出してもよい。例えば、フラクタル次元を概算することにより、植生の葉によって形成される影を特定してもよい。

【0021】

前記いずれの実施形態の情報処理装置においても、点群データを出力する出力部をさらに備えることが好ましい。これにより、出力先において点群データを活用することができる。

【0022】

本発明の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報に基づいて点群データを生成する生成工程と、点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含む。生成工程において、抽出部が抽出した構成点に所定の情報を付与する。このような情報処理方法によれば、影に対応する構成点に所定の情報を付与することで、点群データを活用しやすくすることができる。

【0023】

本発明の他の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報において影に対応する特徴点を抽出する抽出工程と、撮像情報に基づいて点群データを生成する生成工程と、を含む。生成工程において、抽出部が抽出した特徴点を除去して点群データを生成する。このような情報処理方法によれば、影に対応する特徴点を除去して点群データを生成することで、点群データを活用しやすくすることができる。

【0024】

また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、活用しやすい点群データを生成することができる。

【0025】

また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。

【実施例】

【0026】

以下、本発明の実施例について具体的に説明する。本実施例の情報処理ユニット１は、図１に示すように、移動体１０に搭載されたＶＳＬＡＭ装置である第１の情報処理装置１Ａと、外部サーバ１００に搭載された第２の情報処理装置１Ｂと、によって構成されている。第１の情報処理装置１Ａは、情報取得部２と、生成部３と、出力部４と、を備える。移動体１０は例えば車両であって、撮像部２０と、地図情報記憶部３０と、自己位置推定部４０と、走行情報センサ５０と、日時情報管理部６０と、が搭載されている。

【0027】

第２の情報処理装置１Ｂは、収集部１１と、生成部１２と、を備える。外部サーバ１００には、通信部１０１と、記憶部本体１０２と、が搭載されている。尚、外部サーバ１００は複数の第１の情報処理装置１Ａと通信するように構成されている。

【0028】

撮像部２０は、例えばビデオカメラであって、移動体１０の進行方向前方側を撮像するように配置されている。撮像部２０が撮像した動画は、複数の撮像情報（フレーム）によって構成されており、情報取得部２に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。

【0029】

地図情報記憶部３０は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部３０に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別（住宅と商業施設との区別や、商業施設の業種等）についての情報も含むものとする。

【0030】

自己位置推定部４０は、移動体１０の現在位置（絶対位置）を推定するものであって、例えば複数のＧＰＳ（Global Positioning System）衛星から発信される電波を受信するＧＰＳ受信部であればよい。自己位置推定部４０が推定した現在位置は、撮像部２０による撮像情報の撮像位置を示す位置情報として、情報取得部２に送信される。

【0031】

走行情報センサ５０は、移動体１０の変位量を測定するためのセンサであって、例えば、移動体１０の車速パルスを取得する車速パルス取得部と、移動体１０の方位変位量を測定するためのジャイロセンサと、移動体１０の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ５０が取得した変位量によって、移動体１０の進行方向が推定される。移動体１０の進行方向と、移動体１０における撮像部２０の取り付け方向と、によって、撮像時における撮像部２０の向きに関する撮像方位情報が決定される。撮像部２０が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ５０から情報取得部２に撮像方位情報が送信される。尚、走行情報センサ５０は、少なくとも移動体１０の進行方向を推定可能なものであればよい。

【0032】

日時情報管理部６０は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部６０から情報取得部２に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部２は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。

【0033】

情報取得部２は、上記のように撮像部２０から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部４０から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部３０から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ５０から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部６０から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。

【0034】

生成部３は、情報取得部２が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部３が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばＯＲＢ（Oriented fast and Rotated Brief）アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。

【0035】

出力部４は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ１００の通信部１０１と通信することにより、生成部３が生成した情報（点群データ）を送信する。これにより、外部サーバ１００の記憶部本体１０２に情報が記憶されるようになっている。

【0036】

第２の情報処理装置１Ｂの収集部１１は、通信部１０１を介し、第１の情報処理装置１Ａが生成した点群データ（個別点群データ）を取得する。収集部１１は、複数の移動体から個別点群データを取得したり、１つの移動体から個別点群データを複数回取得したりすることにより、個別点群データを収集する。

【0037】

生成部１２は、収集部１１が収集した複数の個別点群データに基づいて、総合点群データを生成する。総合点群データは、複数の個別点群データを重ね合わせたものであってもよいし、複数の個別点群データの構成点の位置平均を示すものであってもよい。

【0038】

このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ（いわゆるLIDAR; Laser Imaging Detection and Ranging）によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。

【0039】

［第１の情報処理装置における影の特定］
生成部３は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出してもよい（即ち、抽出部として機能してもよい）。このときの詳細な手順の一例を以下に説明する。まず、生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部２０の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向（影生成方向）を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。

【0040】

尚、影生成方向に並んだ構成点が影に対応するものであるか否かは、例えば、並んだ構成点の個数や、複数の構成点によって形成される直線の長さ等に基づいて判断すればよい。即ち、影生成方向に並んだ構成点の個数が少ない場合や、複数の構成点によって構成される直線の長さが短い場合、これらの構成点は偶然影生成方向に並んでいるだけであり、影に対応したものでない可能性が高い。

【0041】

生成部３は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去する。

【0042】

ここで、影生成方向に並んだ構成点を抽出する方法の具体例について図２、３を参照しつつ説明する。尚、図２、３では、対象とする道路及び地物以外は適宜省略して示している。

【0043】

図２に示すように、道路Ｒ沿いに建物Ｂが存在している場合、この建物Ｂによって、太陽の位置及び撮像部の向きに応じた影Ｓが地面に形成される。建物Ｂは、鉛直方向に沿って延びる縁部Ｂ１を有しており、影Ｓは縁部Ｂ１に対応した直線状の境界線Ｓ１を有する。図２のフレームにおいて境界線Ｓ１上の特徴点が抽出され、さらにこの前後のフレームにおいても境界線Ｓ１上の特徴点が抽出される。従って、図３に示すように生成部３が点群データを生成した際、点群データには、建物Ｂに対応した構成点ＰＢと、境界線Ｓ１に対応した構成点Ｐ１～Ｐ４と、が含まれる。

【0044】

生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向Ｌ１を特定する。図示の例では、太陽は南西に位置し、撮像部２０は北北西を向いている。生成部３は、影生成方向Ｌ１を特定することで、この方向に並んだ構成点Ｐ１～Ｐ４を抽出することができる。

【0045】

尚、生成部３は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去せずに、所定の情報をフラグとして付与してもよい。構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる（０にすることも含む）という情報であってもよい。

【0046】

また、生成部３は、上記のように影生成方向に並んだ構成点を抽出する際、自己位置推定部４０から取得した位置情報と、地図情報記憶部３０から取得した地図情報と、に基づき、撮像範囲に含まれる地物の影の形状を推定してもよい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決定される。例えば、道路沿いの地物が天然物である場合や複雑な形状の建物である場合、鉛直方向に沿って延びる縁部によって直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、この地物の影に対応した構成点ではないと判定することができる。

【0047】

また、生成部３は、地図情報に地物の高さ情報が含まれている場合、この高さ情報を利用してもよい。即ち、高さ情報と太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向だけでなく、影の境界線の長さを推定することができる。従って、構成点が影生成方向に沿って並んでいても、境界線の長さを超えた領域については、影に対応したものでないと判断することができる。

【0048】

上記の例では、地物のうち鉛直方向に沿って延びる縁部の影に対応した構成点を抽出するものとしたが、他の影に対応した構成点を抽出してもよい。例えば、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。このような方法として、フラクタル次元を概算することにより、植生の葉によって形成される影を特定する方法が例示される。

【0049】

また、生成部３は、ＶＳＬＡＭによって点群データを生成するよりも前に、撮像情報の各フレームの特徴点から、影に対応する特徴点を抽出してもよい。このとき、生成部３は、影に対応する特徴点を除去して点群データを生成すればよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。

【0050】

［点群データのデータ構造］
上記のように生成部３が、影に対応する構成点に所定の情報をフラグとして付与した場合、この点群データは以下に詳述するようなデータ構造を有する。構成点に付与される所定の情報は、上記のように、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる（０にすることも含む）という情報であってもよい。

【0051】

第２の情報処理装置１Ｂの生成部（処理部）１２は、収集部１１が収集した複数の個別点群データに基づいて総合点群データを生成する際、情報が付与された（即ち影に対応する）構成点の寄与度を下げて処理することができる。例えば、複数の個別点群データを重ね合わせて総合点群データを生成する際、ある点群データ含まれるフラグ付きの構成点の位置に、他の点群データに含まれる構成点が位置しない場合、この位置の構成点はないものとして処理することができる。

【0052】

また、構成点に付与される情報は、構成点が対応する影を生成する地物についての情報（例えば、当該構成点が、建物が生成した影に対応したものであるという情報や、植生が生成した影に対応したものであるという情報）を含んでいてもよい。このような点群データのデータ構造の一例を、表１に示す。

【0053】

【表1】

【0054】

即ち、各構成点にはＩＤが割り振られており、各構成点に、位置情報と、影フラグ情報（即ち情報が付与されているか否か）と、構成点が対応する影を生成する地物についての情報と、が付与されている。表１の例では、位置情報が二次元的な座標情報であるものとしたが、位置情報は三次元的な（ｘｙｚ空間における）座標情報であってもよい。

【0055】

影フラグ情報は、「０」の場合に情報が付与されていないことを示し、「１」の場合に情報が付与されていることを示す。構成点が対応する影を生成する地物についての情報は、影フラグ情報が０の場合にはブランクとなり、１の場合には、その地物の属性等を特定する情報となる。表１の例では、ＩＤ＝２の構成点とＩＤ＝３の構成点とは、異なるビルによって生成される影に対応している。尚、構成点が影に対応することは特定できているものの、その影を生成する地物が特定できていない場合には、地物についての情報をブランクとしてもよい。

【0056】

［総合点群データの生成］
上記のように、第２の情報処理装置１Ｂにおいて、収集部１１が、個別点群データを収集し、生成部１２が、複数の個別点群データに基づいて総合点群データを生成する。このとき、収集部１１は、個別点群データだけでなく、この個別点群データを各構成点のうち影に対応する構成点に付与された付与情報（上記の影フラグ情報、及び、構成点が対応する影を生成する地物についての情報）を取得する。

【0057】

生成部１２は、取得した付与情報に基づいてその構成点の寄与度を決定し、総合点群データを生成する。寄与度は、例えば、総合点群データの生成時に複数の個別点群データを重ね合わせたり位置平均を求めたりする際に、重みづけに用いられる値であればよい。

【0058】

生成部１２は、影フラグ情報を取得した場合、その構成点の寄与度を０とし、即ちこの構成点を除去して総合点群データを生成してもよい。

【0059】

また、生成部１２は、撮像条件の異なる複数の個別点群データにおいて、同一位置の構成点にフラグ情報が付与されている場合、これらの構成点の寄与度を低下させずに総合点群データを生成してもよい。昼間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、夜間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、が同一位置に存在する場合、これらの構成点は影ではない可能性がある。従って、ある構成点について影であると誤判定して付与情報を付与してしまった場合に、この構成点の寄与度を低下させないようにすることができる。

【0060】

また、生成部１２は、構成点の寄与度を決定する際、影フラグ情報だけでなく、影を生成する地物についての情報も参照してもよい。地物の形状が明確であるほど、構成点が影に対応しているか否かを正確に判断しやすい。即ち、影フラグ情報が付与された構成点であっても、影を生成する地物によって判定精度が異なる。そこで、例えば影を生成する地物の形状が明確であるほど構成点の寄与度を低下させるという処理を行うことにより、影の判定精度も考慮して総合点群データを生成することができる。

【0061】

上記の構成により、点群データを構成する構成点のうち影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。

【0062】

また、撮像情報において影に対応する特徴点を抽出するとともに除去して点群データを生成すれば、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。

【0063】

また、出力部４によって点群データを外部サーバ１００に出力することで、出力先の外部サーバ１００において点群データを活用することができる。

【0064】

また、点群データのデータ構造において、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データ（総合点群データ）を自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。

【0065】

また、影に対応する構成点に付与されたフラグ情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。

【0066】

なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。

【0067】

例えば、前記実施例では、情報取得部２と生成部３とが移動体に１０に搭載されているものとしたが、第１の情報処理装置を構成する撮像情報取得部と生成部と抽出部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。

【0068】

また、前記実施例では、収集部１１と生成部１２とが外部サーバ１００に搭載されているものとしたが、第２の情報処理装置を構成する収集部と生成部は、外部サーバに搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。

【0069】

その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。

【符号の説明】

【0070】

１Ａ 第１の情報処理装置
２ 情報取得部（撮像情報取得部）
３ 生成部（抽出部）
４ 出力部
１０ 移動体
２０ 撮像部
１Ｂ 第２の情報処理装置
１１ 収集部
１２ 生成部

【図1】

【図2】

【図3】