特開 2022-175900 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175900

(43)【公開日】2022-11-25

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221117BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021082675

(22)【出願日】2021-05-14

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110001357

【氏名又は名称】弁理士法人つばさ国際特許事務所

(72)【発明者】

【氏名】田中 裕崇

(72)【発明者】

【氏名】豊浦 雅貴

(72)【発明者】

【氏名】山本 こず恵

(72)【発明者】

【氏名】淺海 美哉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096AA09

5L096CA02

5L096CA18

5L096DA02

5L096EA37

5L096FA53

5L096FA69

5L096FA81

5L096MA07

(57)【要約】

【課題】自己位置推定の際の誤認識を抑制すると共に、計算負荷を低減することを可能にする。
【解決手段】本開示の情報処理装置は、第１のセンサからの出力データに基づいて、第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出する検出処理部と、物体検出領域内における第１の領域を除外した第２の領域に相当する出力データに基づいて、自己位置推定および環境地図作成を行うデータ処理部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１のセンサからの出力データに基づいて、前記第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出する検出処理部と、
前記物体検出領域内における前記第１の領域を除外した第２の領域に相当する前記出力データに基づいて、自己位置推定および環境地図作成を行うデータ処理部と
を備える
情報処理装置。

【請求項2】

前記検出処理部は、前記物体検出領域のうち動物体が存在する領域を前記第１の領域として検出する
請求項１に記載の情報処理装置。

【請求項3】

前記第１の領域に相当する前記出力データに基づいて、前記動物体を追跡するための演算および判断を行う追跡部、をさらに備える
請求項２に記載の情報処理装置。

【請求項4】

前記検出処理部は、速度情報に基づいて前記動物体が存在する領域を検出する
請求項２に記載の情報処理装置。

【請求項5】

前記第１のセンサは、前記出力データとして画像データを出力可能なイメージセンサであり、
前記検出処理部は、前記画像データをオプティカルフロー解析することによって前記速度情報を算出する
請求項４に記載の情報処理装置。

【請求項6】

前記第１のセンサは、前記速度情報を出力可能なＬｉＤＡＲ（Light Detection And Ranging）センサである
請求項４に記載の情報処理装置。

【請求項7】

前記検出処理部は、前記速度情報を第２のセンサから取得する
請求項４に記載の情報処理装置。

【請求項8】

前記検出処理部は、物体検出に基づいて前記動物体が存在する領域を検出する
請求項２に記載の情報処理装置。

【請求項9】

前記検出処理部は、前記物体検出領域内において検出された物体を少なくとも１つのクラスタにクラスタリングするクラスタ処理部を含み、前記クラスタ処理部によって生成された前記クラスタごとに、前記第１の領域であるか否かを判断する
請求項１に記載の情報処理装置。

【請求項10】

前記検出処理部は、前記クラスタ処理部によるクラスタリングを行うのに十分なデータが得られなかった領域については前記クラスタの生成を行わない
請求項９に記載の情報処理装置。

【請求項11】

前記情報処理装置は、移動体に設けられる
請求項１に記載の情報処理装置。

【請求項12】

第１のセンサからの出力データに基づいて、前記第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出することと、
前記物体検出領域内における前記第１の領域を除外した第２の領域に相当する前記出力データに基づいて、自己位置推定および環境地図作成を行うことと
を含む
情報処理方法。

【請求項13】

第１のセンサからの出力データに基づいて、前記第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出することと、
前記物体検出領域内における前記第１の領域を除外した第２の領域に相当する前記出力データに基づいて、自己位置推定および環境地図作成を行うことと
を含む処理をコンピュータに実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自己位置推定を行う情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

ロボットや自動車等の自己位置推定を行う技術としてＳＬＡＭ（Simultaneous Localization and Mapping）がある。ＳＬＡＭでは、イメージセンサやＬｉＤＡＲ（Light Detection And Ranging）センサからの出力データに基づいて、ロボット等の自己位置推定と環境地図作成とを行う。一方、センサからの出力データに基づいて、動物体の追跡（トラッキング）を行う技術がある（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２１１８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば動物体が存在する環境下においてＳＬＡＭを行うと、ドリフトと呼ばれる自己位置推定の誤認識が発生し得る。また、計算負荷が大きくなり得る。

【0005】

自己位置推定の際の誤認識を抑制すると共に、計算負荷を低減することが可能な情報処理装置、情報処理方法、およびプログラムを提供することが望ましい。

【課題を解決するための手段】

【0006】

本開示の一実施の形態に係る情報処理装置は、第１のセンサからの出力データに基づいて、第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出する検出処理部と、物体検出領域内における第１の領域を除外した第２の領域に相当する出力データに基づいて、自己位置推定および環境地図作成を行うデータ処理部とを備える。

【0007】

本開示の一実施の形態に係る情報処理方法は、第１のセンサからの出力データに基づいて、第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出することと、物体検出領域内における第１の領域を除外した第２の領域に相当する出力データに基づいて、自己位置推定および環境地図作成を行うこととを含む。

【0008】

本開示の一実施の形態に係るプログラムは、第１のセンサからの出力データに基づいて、第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出することと、物体検出領域内における第１の領域を除外した第２の領域に相当する出力データに基づいて、自己位置推定および環境地図作成を行うこととを含む処理をコンピュータに実行させる。

【0009】

本開示の一実施の形態に係る情報処理装置、情報処理方法、またはプログラムでは、第１のセンサからの出力データに基づいて、第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出し、物体検出領域内における第１の領域を除外した第２の領域に相当する出力データに基づいて、自己位置推定および環境地図作成を行う。

【図面の簡単な説明】

【0010】

【図1】本開示の第１の実施の形態に係る情報処理装置の一構成例を示すブロック図である。

【図2】第１の実施の形態に係る情報処理装置の第１の適用例を示すブロック図である。

【図3】第１の実施の形態に係る情報処理装置の第２の適用例を示すブロック図である。

【図4】第１の実施の形態に係る情報処理装置におけるＳＬＡＭを行う領域（ＳＬＡＭ領域）と動物体の追跡を行う領域（追跡領域）との一例を模式的に示す説明図である。

【図5】第１の実施の形態に係る情報処理装置においてＳＬＡＭと動物体の追跡とを行う際の処理動作の流れの一例を示すフローチャートである。

【図6】図５に続くフローチャートである。

【図7】第１の実施の形態の変形例１に係る情報処理装置の一構成例を示すブロック図である。

【図8】第１の実施の形態の変形例２に係る情報処理装置の一構成例を示すブロック図である。

【図9】第１の実施の形態の変形例３に係る情報処理装置の一構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（図１～図９）
１．０ 比較例
１．１ 構成
１．２ 動作
１．３ 変形例
１．４ 効果
２．その他の実施の形態

【0012】

＜１．第１の実施の形態＞
［１．０ 比較例］
通常、ＳＬＡＭと動物体の追跡（トラッキング）とを同時に行う場合、ＳＬＡＭのためのセンサと動物体の追跡を行うためのセンサは別々に設けられ、また、データ処理も別々に行われる。例えば、カメラを搭載したドローン等の移動体において、ステージ上で演じている前方のアーティストを撮影しつつ、左右および後方の障害物を回避したい場合、１台のカメラのみではＳＬＡＭと動物体としてのアーティストの追跡とを同時に実行することが困難である。また、ＳＬＡＭのための撮影と動物体の追跡のための撮影とでは、撮影の方向および範囲が異なる場合がある。このため、一般に、移動体にはＳＬＡＭ専用のカメラと追跡専用のカメラとを搭載していることが多い。複数台のカメラを用いてＳＬＡＭと動物体の追跡とを行う場合、各カメラの使い分けは、移動体の設計者やユーザが判断する。なお、本実施の形態において、「追跡」とは、現実世界で動物体を追跡する行為を意味する。ＳＬＡＭの内部演算でも、画素ごと、またはフレームごとの追跡を行うが、これは演算の中だけの追跡を指しており、現実世界で動物体を追跡する行為とは異なるものである。

【0013】

一方、動物体を撮影することにより得られた画像ピクセルや点群情報は、ＳＬＡＭには適さない。一般にＳＬＡＭの演算は、絶対座標ではなく相対座標を基準にして行うため、実際には移動していないにもかかわらず、自己位置が動いたと錯覚してしまう。このため、動物体が存在する環境下においてＳＬＡＭを行うと、ドリフトと呼ばれる自己位置推定の誤認識が発生し得る。また、計算負荷が大きくなり得る。従って、一般に動物体を追跡しながらのＳＬＡＭを行うことは難しい。

【0014】

そこで、本実施の形態では、動物体を除外しながらＳＬＡＭすることで、自己位置推定の際の誤認識を抑制すると共に、計算負荷を低減することが可能な技術を提供する。さらに、ＳＬＡＭを行いつつ、動物体を追跡することが可能な技術を提供する。

【0015】

［１．１ 構成］
図１は、本開示の第１の実施の形態に係る情報処理装置１００の一構成例を示している。図２は、第１の実施の形態に係る情報処理装置１００の第１の適用例を示している。図３は、第１の実施の形態に係る情報処理装置１００の第２の適用例を示している。

【0016】

第１の実施の形態に係る情報処理装置１００は、移動体２００に適用され得る。移動体２００は、図２および図３に示したように、例えば雲台３４によって姿勢制御可能なカメラ１と、移動体２００を移動させることが可能な移動機構２４とを備えている。情報処理装置１００は、図２に示したように移動体２００自体に設けられていてもよいし、図３に示したように移動体２００の外部に設けられていてもよい。移動体２００の外部に情報処理装置１００を設けた場合、移動体２００との間で有線または無線によって通信が可能に構成される。情報処理装置１００が適用される移動体２００としては、例えば、ロボット、ドローン、およびＡＧＶ（Automated Guided Vehicle）の他、ＡＤＡＳ（Advanced Driver Assistance System）を備えた車両等が挙げられる。
なお、本開示の技術は、移動体２００に限らず、移動しない各種機器にも適用され得る。例えば、工場における組み立てロボット等にも適用され得る。

【0017】

情報処理装置１００は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭを備えたコンピュータで構成されてもよい。この場合、情報処理装置１００による各種の処理は、ＲＯＭまたはＲＡＭに記憶されたプログラムに基づく処理をＣＰＵが実行することで実現し得る。また、情報処理装置１００による各種の処理は、例えば有線または無線によるネットワークにより外部から供給されたプログラムに基づく処理をＣＰＵが実行することで実現してもよい。

【0018】

情報処理装置１００は、検出処理部１０と、ＳＬＡＭ実行部２１と、経路計画部２２と、行動制御部２３と、オブジェクトトラッカー３１と、雲台計画部３２と、雲台制御部３３と、ユーザ入力部４１とを備えている。

【0019】

カメラ１は、本開示の技術における「第１のセンサ」の一具体例に相当する。カメラ１は、出力データとして画像データを出力可能なイメージセンサである。カメラ１は、画像データとして、例えばＲ（赤），Ｇ（緑），Ｂ（青）の各色の画像データを含むＲＧＢ画像データを出力する。

【0020】

検出処理部１０は、特徴点抽出部１１と、物体検出部１２と、クラスタ処理部１３と、ＳＬＡＭ制御部２０と、トラッカー制御部３０とを有する。

【0021】

検出処理部１０は、カメラ１からの画像データに基づいて、カメラ１によって検出された物体検出領域内における、移動体２００のＳＬＡＭ（自己位置推定および環境地図作成）に適さない第１の領域として、ＳＬＡＭ除外領域を検出する。

【0022】

図４は、カメラ１によって検出された物体検出領域内における、ＳＬＡＭを行う領域（ＳＬＡＭ領域５２）と動物体５０の追跡を行う領域（追跡領域５１）との一例を模式的に示している。

【0023】

第１の実施の形態では、図４に示したように、カメラ１によって検出された物体検出領域内におけるＳＬＡＭ除外領域を、オブジェクトトラッカー３１による動物体５０の追跡領域５１として使用可能となっている。検出処理部１０は、物体検出領域のうち動物体５０が存在する領域をＳＬＡＭ除外領域（追跡領域５１）として検出するようにしてもよい。検出処理部１０は、速度情報に基づいて動物体５０が存在する領域を検出するようにしてもよい。検出処理部１０は、画像データを特徴点抽出部１１においてオプティカルフロー解析することによって速度情報を算出するようにしてもよい。

【0024】

また、検出処理部１０は、形状認識等による物体検出に基づいて動物体５０が存在する領域を検出するようにしてもよい。例えば、動物体５０と推定される形状（人の顔や関節等）の形状が認識された領域を動物体５０が存在する領域として検出するようにしてもよい。また、形状に限らず、模様等の特徴量に基づいて動物体５０が存在する領域を検出するようにしてもよい。

【0025】

また、検出処理部１０は、クラスタ処理部１３によって生成されたクラスタごとに、ＳＬＡＭ除外領域であるか否かを判断するようにしてもよい。検出処理部１０は、クラスタ処理部１３によるクラスタリングを行うのに十分なデータが得られなかった領域についてはクラスタ処理部１３によるクラスタの生成を行わないようにしてもよい。例えば、カメラ１からの画像データのピクセル数が少なかったりノイズが多い等、信頼度が低い領域についてはクラスタの生成を行わないようにしてもよい。また、後述する変形例（図７～図９）に示すようにミリ波レーダ２やＬｉＤＡＲ（Light Detection And Ranging）センサを用いて点群情報を取得する場合において、十分な数の点群が得られなかった場合等、点群情報の信頼度が低い領域についてはクラスタの生成を行わないようにしてもよい。この場合、クラスタの生成が行われなかった領域については、オブジェクトトラッカー３１による動物体５０を追跡するための演算および判断の処理、およびＳＬＡＭ実行部２１によるＳＬＡＭの実行を共に行わないようにしてもよい。

【0026】

特徴点抽出部１１は、カメラ１からの画像データに基づいて、カメラ１によって検出された物体検出領域内における物体の特徴点の抽出とオプティカルフロー解析とを行い、特徴点の情報と速度情報とを出力する。

【0027】

物体検出部１２は、カメラ１からの画像データに基づいて、カメラ１によって検出された物体検出領域内における物体を検出し、物体の種別や構成を示す種別構成情報を出力する。

【0028】

クラスタ処理部１３は、特徴点抽出部１１からの特徴点の情報および速度情報と、物体検出部１２からの種別構成情報とに基づいて、物体検出領域内において検出された物体を少なくとも１つのクラスタにクラスタリング（グループ化）し、特徴点および速度を持つクラスタ情報を出力する。

【0029】

ＳＬＡＭ制御部２０は、クラスタ処理部１３からのクラスタ情報に基づいてＳＬＡＭ実行部２１によるＳＬＡＭの実行を制御する。

【0030】

ＳＬＡＭ実行部２１は、本開示の技術における「データ処理部」の一具体例に相当する。ＳＬＡＭ実行部２１は、カメラ１からのＲ，Ｇ，Ｂの各色の画像を統合し、ＳＬＡＭ制御部２０の制御に従ってＳＬＡＭを実行する。ＳＬＡＭ実行部２１は、物体検出領域内におけるＳＬＡＭ除外領域を除外した第２の領域としてのＳＬＡＭ領域５２に相当するカメラ１からの画像データに基づいて、移動体２００の自己位置推定および環境地図作成を行い、移動体２００の自己位置の情報および環境地図の情報を出力する。

【0031】

トラッカー制御部３０は、カメラ１からのＲ，Ｇ，Ｂの各色の画像を統合し、クラスタ処理部１３からのクラスタ情報に基づいてオブジェクトトラッカー３１による追跡するための演算および判断の処理を制御する。

【0032】

オブジェクトトラッカー３１は、本開示の技術における「追跡部」の一具体例に相当する。オブジェクトトラッカー３１は、トラッカー制御部３０の制御に従って動物体５０を追跡するための演算および判断を行い、追跡対象である動物体５０の位置の情報を出力する。オブジェクトトラッカー３１は、ＳＬＡＭ除外領域に相当するカメラ１からの画像データに基づいて、動物体５０を追跡するための演算および判断を行う。オブジェクトトラッカー３１は、複数、設けられていてもよい。複数のオブジェクトトラッカー３１によって複数の動物体５０を追跡するための演算および判断を行うようにしてもよい。

【0033】

ユーザ入力部４１は、ユーザによる経路の指示と追跡対象の指示とを受け付ける。ユーザ入力部４１は、ユーザによる経路の指示を経路計画部２２に出力する。ユーザ入力部４１は、ユーザによる追跡対象の指示を雲台計画部３２に出力する。ユーザによる追跡対象の指示は、例えば移動体２００の一番近くにある動物体５０を追跡対象にしたり、アーティストの撮影等を行う場合において撮影監督の意図する構図となるように動物体５０を追跡対象とすることなどが考えられる。

【0034】

経路計画部２２は、ユーザによる経路の指示と、ＳＬＡＭ実行部２１からの自己位置の情報および環境地図の情報とに基づいて、移動体２００の行動計画を行う。

【0035】

行動制御部２３は、経路計画部２２による行動計画に基づいて、移動体２００の移動機構２４を制御することによって、移動体２００の行動を制御する。

【0036】

雲台計画部３２は、ユーザによる追跡対象の指示と、オブジェクトトラッカー３１からの追跡対象の位置の情報とに基づいて、雲台３４の姿勢制御の計画を行う。

【0037】

雲台制御部３３は、雲台計画部３２による雲台３４の姿勢制御の計画に基づいて、雲台３４を姿勢制御する。

【0038】

［１．２ 動作］
図５は、第１の実施の形態に係る情報処理装置１００においてＳＬＡＭと動物体５０の追跡とを行う際の処理動作の流れの一例を示すフローチャートである。図６は、図５に続くフローチャートである。

【0039】

まず、検出処理部１０は、クラスタ処理部１３によって生成されるクラスタＣｘを判別するためのパラメータｘを１（ｘ＝１）とする（ステップＳ１１）。次に、検出処理部１０は、カメラ１によって検出された物体検出領域内の全体の特徴点を抽出する（ステップＳ１２）。次に、検出処理部１０は、抽出した特徴点の数Ｎをカウントする（ステップＳ１３）。

【0040】

次に、検出処理部１０は、特徴点の数Ｎが所定の閾値Ｎ_thを超えた（Ｎ_th＞Ｎ）か否かを判断する（ステップＳ１４）。なお、特徴点の数Ｎだけでなく、一般に画像認識の技術で用いられるスコア（Ｃｏｎｆｉｄｅｎｃｅ）の値を用いてもよい。これにより、例えば、動物体として人の認識を行う場合、「人の顔らしさのスコア」が検出されたか否かを判断してもよい。検出処理部１０は、特徴点の数Ｎが所定の閾値Ｎ_thを超えていないと判断した場合（ステップＳ１４；Ｎ）、次に、ステップＳ１２の処理に戻る。一方、特徴点の数Ｎが所定の閾値Ｎ_thを超えたと判断した場合（ステップＳ１４；Ｙ）、次に、検出処理部１０は、特徴点抽出部１１によって全体のオプティカルフローを解析する（ステップＳ１５）。次に、検出処理部１０は、特徴点抽出部１１によって特徴点の速度情報として速度ベクトルを計算する（ステップＳ１６）。なお、後述する変形例（図７～図９）に示すようにミリ波レーダ２やＬｉＤＡＲセンサを用いる場合には、ミリ波レーダ２やＬｉＤＡＲセンサから直接、特徴点の速度情報を取得可能となるため、オプティカルフロー解析は不要となる。

【0041】

次に、検出処理部１０は、全体の物体検出を実行する（ステップＳ１７）。次に、検出処理部１０は、検出した物体ごとに物体領域をクラスタリングする（ステップＳ１８）。なお、クラスタリングを行うのに十分なデータが得られなかった領域については、クラスタ処理部１３によるクラスタの生成を行わないようにしてもよい。次に、検出処理部１０は、クラスタの合計個数をｚとする（ステップＳ１９）。以降、情報処理装置１００は、ＳＬＡＭの処理と動物体５０の追跡処理とを同時並列的に行う。

【0042】

次に、トラッカー制御部３０は、クラスタＣｘが追跡対象のクラスタか否かを判断する（ステップＳ２０）。また、これと並行して、ＳＬＡＭ制御部２０は、クラスタＣｘがＳＬＡＭに適したクラスタか否かを判断する（ステップＳ２１）。

【0043】

ステップＳ２１において、クラスタＣｘがＳＬＡＭに適したクラスタではないと判断した場合（ステップＳ２１；Ｎ）、次に、ＳＬＡＭ制御部２０は、ステップＳ２８の処理に移行する。一方、ＳＬＡＭ制御部２０は、クラスタＣｘがＳＬＡＭに適したクラスタであると判断した場合（ステップＳ２１；Ｙ）、次に、ＳＬＡＭ対象領域を集約（ステップＳ２２）した後、ステップＳ２８の処理に移行する。

【0044】

また、ステップＳ２０において、クラスタＣｘが追跡対象のクラスタではないと判断した場合（ステップＳ２０；Ｎ）、次に、トラッカー制御部３０は、ステップＳ２８の処理に移行する。一方、トラッカー制御部３０は、クラスタＣｘが追跡対象のクラスタであると判断した場合（ステップＳ２０；Ｙ）、次に、クラスタＣｘが既に追跡中のクラスタか否かを判断する（ステップＳ２３）。

【0045】

ステップＳ２３において、クラスタＣｘが既に追跡中のクラスタであると判断した場合（ステップＳ２３；Ｙ）、次に、トラッカー制御部３０は、オブジェクトトラッカー３１を更新（ステップＳ２４）した後、ステップＳ２６の処理に移行する。一方、クラスタＣｘが既に追跡中（トラッキング中）のクラスタではないと判断した場合（ステップＳ２３；Ｎ）、次に、トラッカー制御部３０は、あらたなオブジェクトトラッカー３１を起動（ステップＳ２５）した後、ステップＳ２６の処理に移行する。

【0046】

ステップＳ２６では、検出処理部１０は、クラスタＣｘを判別するためのパラメータｘを＋１（ｘ＝ｘ＋１）とする。次に、検出処理部１０は、パラメータｘがクラスタの合計個数ｚ以上（ｘ≧ｚ）になったか否かを判断する（ステップＳ２７）。検出処理部１０は、パラメータｘがクラスタの合計個数ｚ以上になったと判断した場合（ステップＳ２７；Ｙ）、ステップＳ２８の処理に移行した後、処理を終了する。一方、検出処理部１０は、パラメータｘがクラスタの合計個数ｚ以上になっていないと判断した場合（ステップＳ２７；Ｎ）、ステップＳ２０，Ｓ２１の処理に戻る。ステップＳ２８では、ＳＬＡＭ実行部２１は、ＳＬＡＭ対象領域について、ＳＬＡＭ制御部２０の制御に従ってＳＬＡＭを実行する。

【0047】

［１．３ 変形例］
（変形例１）
図７は、第１の実施の形態の変形例１に係る情報処理装置１００Ａの一構成例を示している。

【0048】

変形例１に係る情報処理装置１００Ａは、移動体２００が第１のセンサとしてのカメラ１と第２のセンサとしてのミリ波レーダ２とを備えた構成である場合に適用され得る。情報処理装置１００Ａには、カメラ１からの出力データとミリ波レーダ２からの出力データとが入力される。ミリ波レーダ２からの出力データには、速度情報と点群データとが含まれている。このため、情報処理装置１００Ａにおける検出処理部１０Ａでは、速度情報を算出するための特徴点抽出部１１が構成から省かれている。クラスタ処理部１３には、ミリ波レーダ２からの出力データに含まれる速度情報と点群データとが入力される。クラスタ処理部１３は、ミリ波レーダ２からの出力データに含まれる速度情報および点群データと、物体検出部１２からの種別構成情報とに基づいて、カメラ１によって検出された物体検出領域内において検出された物体を少なくとも１つのクラスタにクラスタリング（グループ化）し、速度を持つクラスタ情報を出力する。

【0049】

（変形例２）
図８は、第１の実施の形態の変形例２に係る情報処理装置１００Ｂの一構成例を示している。

【0050】

変形例２に係る情報処理装置１００Ｂは、移動体２００がカメラ１に代えてＦＭＣＷ（Frequency Modulated Continuous Wave）－ＬｉＤＡＲ３を備えた構成である場合に適用され得る。情報処理装置１００Ｂには、ＦＭＣＷ－ＬｉＤＡＲ３からの出力データが入力される。ＦＭＣＷ－ＬｉＤＡＲ３からの出力データには、速度情報と点群データとが含まれている。このため、情報処理装置１００Ｂにおける検出処理部１０Ｂでは、速度情報を算出するための特徴点抽出部１１が構成から省かれている。物体検出部１２は、ＦＭＣＷ－ＬｉＤＡＲ３からの出力データに基づいて、出力データによって検出された物体検出領域内における物体を検出し、物体の種別や構成を示す種別構成情報を出力する。クラスタ処理部１３には、ＦＭＣＷ－ＬｉＤＡＲ３からの出力データに含まれる速度情報と点群データとが入力される。クラスタ処理部１３は、ＦＭＣＷ－ＬｉＤＡＲ３からの出力データに含まれる速度情報および点群データと、物体検出部１２からの種別構成情報とに基づいて、ＦＭＣＷ－ＬｉＤＡＲ３によって検出された物体検出領域内において検出された物体を少なくとも１つのクラスタにクラスタリング（グループ化）し、速度を持つクラスタ情報を出力する。

【0051】

（変形例３）
図９は、第１の実施の形態の変形例３に係る情報処理装置１００Ｃの一構成例を示している。

【0052】

変形例３に係る情報処理装置１００Ｃは、移動体２００が第１のセンサとしてカメラ１に代えてＴｏＦ（Time of Flight）方式ＬｉＤＡＲ４を備え、さらに第２のセンサとしてミリ波レーダ２を備えた構成である場合に適用され得る。情報処理装置１００Ｃには、ＴｏＦ方式ＬｉＤＡＲ４からの出力データとミリ波レーダ２からの出力データとが入力される。ミリ波レーダ２からの出力データには、速度情報と点群データとが含まれている。このため、情報処理装置１００Ｃにおける検出処理部１０Ｃでは、速度情報を算出するための特徴点抽出部１１が構成から省かれている。物体検出部１２は、ＴｏＦ方式ＬｉＤＡＲ４からの出力データに基づいて、出力データによって検出された物体検出領域内における物体を検出し、物体の種別や構成を示す種別構成情報を出力する。クラスタ処理部１３には、ミリ波レーダ２からの出力データに含まれる速度情報と点群データとが入力される。クラスタ処理部１３は、ミリ波レーダ２からの出力データに含まれる速度情報および点群データと、物体検出部１２からの種別構成情報とに基づいて、ＴｏＦ方式ＬｉＤＡＲ４によって検出された物体検出領域内において検出された物体を少なくとも１つのクラスタにクラスタリング（グループ化）し、速度を持つクラスタ情報を出力する。

【0053】

［１．４ 効果］
以上説明したように、第１の実施の形態に係る情報処理装置１００によれば、移動体２００の自己位置推定および環境地図作成に適さない第１の領域（ＳＬＡＭ除外領域）を検出し、物体検出領域内における第１の領域を除外した第２の領域（ＳＬＡＭ領域５２）に相当する出力データに基づいて、移動体２００の自己位置推定および環境地図作成を行う。これにより、例えば動物体５０が存在する環境下においても、移動体２００の自己位置推定の際の誤認識を抑制することが可能となると共に、計算負荷を低減することが可能となる。

【0054】

また、第１の実施の形態に係る情報処理装置１００によれば、動物体５０が存在する場合には、ＳＬＡＭ除外領域を動物体５０の追跡を行う領域（追跡領域５１）として用いることで、ＳＬＡＭを行いつつ、動物体５０を追跡することが可能となる。これにより、例えば動く物体かつ大きな物体のみを追跡対象として追跡し、それ以外は追跡する必要がないと見なしてＳＬＡＭを行わない、といった判断をユーザ自身で行わずに自動化することが可能となる。このようなユーザの判断が必要なくなるため、省人化に貢献できる。また、ＳＬＡＭと動物体５０の追跡とを少なくとも１つのセンサのみで実施可能であるため、移動体２００のコスト削減と省電力化に貢献できる。

【0055】

また、第１の実施の形態に係る情報処理装置１００を、移動体２００としてドローンやＡＧＶに適用した場合には、例えば、ステージ上のアーティストの自動撮影と自動追尾とが可能となる。また、移動体２００としてＡＤＡＳ（自動運転システム）に適用した場合には、例えば、人の判断ミスを未然に減らすことができる。

【0056】

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

【0057】

＜２．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

【0058】

例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、自己位置推定および環境地図作成に適さない第１の領域を検出し、物体検出領域内における第１の領域を除外した第２の領域に相当する出力データに基づいて、自己位置推定および環境地図作成を行う。
これにより、自己位置推定の際の誤認識を抑制すると共に、計算負荷を低減することが可能となる。

【0059】

（１）
第１のセンサからの出力データに基づいて、前記第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出する検出処理部と、
前記物体検出領域内における前記第１の領域を除外した第２の領域に相当する前記出力データに基づいて、自己位置推定および環境地図作成を行うデータ処理部と
を備える
情報処理装置。
（２）
前記検出処理部は、前記物体検出領域のうち動物体が存在する領域を前記第１の領域として検出する
上記（１）に記載の情報処理装置。
（３）
前記第１の領域に相当する前記出力データに基づいて、前記動物体を追跡するための演算および判断を行う追跡部、をさらに備える
上記（２）に記載の情報処理装置。
（４）
前記検出処理部は、速度情報に基づいて前記動物体が存在する領域を検出する
上記（２）または（３）に記載の情報処理装置。
（５）
前記第１のセンサは、前記出力データとして画像データを出力可能なイメージセンサであり、
前記検出処理部は、前記画像データをオプティカルフロー解析することによって前記速度情報を算出する
上記（４）に記載の情報処理装置。
（６）
前記第１のセンサは、前記速度情報を出力可能なＬｉＤＡＲ（Light Detection And Ranging）センサである
上記（４）に記載の情報処理装置。
（７）
前記検出処理部は、前記速度情報を第２のセンサから取得する
上記（４）に記載の情報処理装置。
（８）
前記検出処理部は、物体検出に基づいて前記動物体が存在する領域を検出する
上記（２）または（３）に記載の情報処理装置。
（９）
前記検出処理部は、前記物体検出領域内において検出された物体を少なくとも１つのクラスタにクラスタリングするクラスタ処理部を含み、前記クラスタ処理部によって生成された前記クラスタごとに、前記第１の領域であるか否かを判断する
上記（１）ないし（８）のいずれか１つに記載の情報処理装置。
（１０）
前記検出処理部は、前記クラスタ処理部によるクラスタリングを行うのに十分なデータが得られなかった領域については前記クラスタの生成を行わない
上記（９）に記載の情報処理装置。
（１１）
前記情報処理装置は、移動体に設けられる
上記（１）ないし（１０）のいずれか１つに記載の情報処理装置。
（１２）
第１のセンサからの出力データに基づいて、前記第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出することと、
前記物体検出領域内における前記第１の領域を除外した第２の領域に相当する前記出力データに基づいて、自己位置推定および環境地図作成を行うことと
を含む
情報処理方法。
（１３）
第１のセンサからの出力データに基づいて、前記第１のセンサによって検出された物体検出領域内における、自己位置推定および環境地図作成に適さない第１の領域を検出することと、
前記物体検出領域内における前記第１の領域を除外した第２の領域に相当する前記出力データに基づいて、自己位置推定および環境地図作成を行うことと
を含む処理をコンピュータに実行させる
プログラム。

【符号の説明】

【0060】

１…カメラ（第１のセンサ）、２…ミリ波レーダ（第２のセンサ）、３…ＦＭＣＷ（Frequency Modulated Continuous Wave）－ＬｉＤＡＲ（Light Detection And Ranging）（第１のセンサ）、４…ＴｏＦ（Time of Flight）方式ＬｉＤＡＲ（第１のセンサ）、１０，１０Ａ，１０Ｂ，１０Ｃ…検出処理部、１１…特徴点抽出部、１２…物体検出部、１３…クラスタ処理部、２０…ＳＬＡＭ制御部、２１…ＳＬＡＭ（Simultaneous Localization and Mapping）実行部（データ処理部）、２２…経路計画部、２３…行動制御部、２４…移動機構、３０…トラッカー制御部、３１…オブジェクトトラッカー（追跡部）、３２…雲台計画部、３３…雲台制御部、３４…雲台、４１…ユーザ入力部、５０…動物体、５１…追跡領域（第１の領域、ＳＬＡＭ除外領域）、５２…ＳＬＡＭ領域（第２の領域）、１００，１００Ａ，１００Ｂ，１００Ｃ…情報処理装置、２００…移動体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】