ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022173682
(43)【公開日】2022-11-22
(54)【発明の名称】移動体、移動制御方法、およびプログラム
(51)【国際特許分類】
G05D 1/02 20200101AFI20221115BHJP
【ＦＩ】
G05D1/02 H
G05D1/02 S
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2021079528
(22)【出願日】2021-05-10
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】元山 琢人
(72)【発明者】
【氏名】漆戸 航平
(72)【発明者】
【氏名】半田 正樹
(72)【発明者】
【氏名】豊吉 政彦
(72)【発明者】
【氏名】阿部 真一郎
【テーマコード（参考）】
5H301
【Ｆターム（参考）】
5H301GG09
5H301LL01
5H301LL06
5H301LL07
(57)【要約】
【課題】障害物検出における誤判定を抑制する。
【解決手段】法線ベクトル推定部は自機の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、制御情報推定部は、法線ベクトルに基づいて、自機の移動を制御するための制御情報を生成する。本開示に係る技術は、例えば、ドローンなどの移動体に適用することができる。
【選択図】図５
【解決手段】法線ベクトル推定部は自機の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、制御情報推定部は、法線ベクトルに基づいて、自機の移動を制御するための制御情報を生成する。本開示に係る技術は、例えば、ドローンなどの移動体に適用することができる。
【選択図】図５
【特許請求の範囲】
【請求項1】
自機の進行方向をセンシングしたセンサデータに基づいて、法線ベクトルを推定する法線ベクトル推定部と、
前記法線ベクトルに基づいて、前記自機の移動を制御するための制御情報を生成する制御情報生成部と
を備える移動体。
前記法線ベクトルに基づいて、前記自機の移動を制御するための制御情報を生成する制御情報生成部と
を備える移動体。
【請求項2】
前記法線ベクトルに基づいて、障害物との衝突リスクを算出する算出部をさらに備え、
前記制御情報生成部は、前記衝突リスクに基づいて、前記制御情報を生成する
請求項１に記載の移動体。
前記制御情報生成部は、前記衝突リスクに基づいて、前記制御情報を生成する
請求項１に記載の移動体。
【請求項3】
前記算出部は、前記自機からの距離に応じた点群データについての前記法線ベクトルに基づいて、前記衝突リスクを算出する
請求項２に記載の移動体。
請求項２に記載の移動体。
【請求項4】
前記進行方向の空間領域を前記進行方向に連続する衝突判定領域に分割する分割部をさらに備え、
前記算出部は、前記衝突判定領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記衝突判定領域毎の前記衝突リスクを算出する
請求項３に記載の移動体。
前記算出部は、前記衝突判定領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記衝突判定領域毎の前記衝突リスクを算出する
請求項３に記載の移動体。
【請求項5】
前記分割部は、前記自機からの測距精度に応じて、前記空間領域を前記衝突判定領域に分割する
請求項４に記載の移動体。
請求項４に記載の移動体。
【請求項6】
前記算出部は、前記衝突判定領域に含まれる前記点群データについて求められる、前記法線ベクトルと前記自機の速度ベクトルとの内積を用いて、前記衝突判定領域毎の前記衝突リスクを算出する
請求項４に記載の移動体。
請求項４に記載の移動体。
【請求項7】
前記算出部は、前記衝突判定領域に含まれる前記点群データそれぞれの、前記内積と前記点群データに対応する実空間の面積に比例する値との積の総和に応じた値を、前記衝突判定領域の前記衝突リスクとして算出する
請求項６に記載の移動体。
請求項６に記載の移動体。
【請求項8】
前記衝突リスクが所定の閾値より高く、かつ、前記自機から最も近い前記衝突判定領域を、前記障害物の存在可能性のある障害物領域に設定する設定部を備え、
前記制御情報生成部は、前記自機から前記障害物領域までの距離に基づいて、前記制御情報を生成する
請求項４に記載の移動体。
前記制御情報生成部は、前記自機から前記障害物領域までの距離に基づいて、前記制御情報を生成する
請求項４に記載の移動体。
【請求項9】
前記制御情報生成部は、前記自機から前記障害物領域までの距離が、前記自機の停止可能距離より短い場合、前記自機を減速させる前記制御情報を生成する
請求項８に記載の移動体。
請求項８に記載の移動体。
【請求項10】
前記障害物領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記障害物領域における代表法線ベクトルを算出する代表法線ベクトル算出部をさらに備え、
前記制御情報生成部は、前記自機が前記障害物領域に到達したときの予測速度ベクトルと、前記代表法線ベクトルが直交するように、前記自機の軌道を補正する前記制御情報を生成する
請求項８に記載の移動体。
前記制御情報生成部は、前記自機が前記障害物領域に到達したときの予測速度ベクトルと、前記代表法線ベクトルが直交するように、前記自機の軌道を補正する前記制御情報を生成する
請求項８に記載の移動体。
【請求項11】
前記制御情報生成部は、前記制御情報として、前記予測速度ベクトルと前記代表法線ベクトルが直交するような角加速度を算出する
請求項１０に記載の移動体。
請求項１０に記載の移動体。
【請求項12】
前記制御情報生成部は、前記角加速度が所定値を超えず、かつ、補正後の前記軌道上に衝突可能性のある物体に対応する前記点群データが存在しない場合に、前記軌道を補正する前記制御情報を生成する
請求項１１に記載の移動体。
請求項１１に記載の移動体。
【請求項13】
前記制御情報生成部は、前記角加速度が前記所定値を超えるか、または、補正後の前記軌道上に前記物体に対応する前記点群データが存在する場合、前記自機を減速させる前記制御情報を生成する
請求項１２に記載の移動体。
請求項１２に記載の移動体。
【請求項14】
前記法線ベクトルに基づいて、法線ベクトル画像を生成する法線ベクトル画像生成部と、
ＦＰＶ（First Person View）カメラにより撮像されたＲＧＢ画像に、前記法線ベクトル画像を重畳した重畳画像を生成する重畳部をさらに備える
請求項１に記載の移動体。
ＦＰＶ（First Person View）カメラにより撮像されたＲＧＢ画像に、前記法線ベクトル画像を重畳した重畳画像を生成する重畳部をさらに備える
請求項１に記載の移動体。
【請求項15】
法線ベクトル画像生成部は、前記法線ベクトルの向きに応じて色付けされた前記法線ベクトル画像を生成する
請求項１４に記載の移動体。
請求項１４に記載の移動体。
【請求項16】
法線ベクトル画像生成部は、前記ＦＰＶカメラの座標系に変換された前記法線ベクトル画像を生成する
請求項１４に記載の移動体。
請求項１４に記載の移動体。
【請求項17】
前記自機の制御信号を入力するためのコントローラに、前記重畳画像を送信する送信部をさらに備える
請求項１４に記載の移動体。
請求項１４に記載の移動体。
【請求項18】
前記センサデータは、偏光イメージセンサにより撮像された偏光画像である
請求項１に記載の移動体。
請求項１に記載の移動体。
【請求項19】
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
移動制御方法。
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
移動制御方法。
【請求項20】
コンピュータに、
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
処理を実行させるためのプログラム。
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、移動体、移動制御方法、およびプログラムに関し、特に、障害物検出における誤判定を抑制することができるようにする移動体、移動制御方法、およびプログラムに関する。
【背景技術】
【0002】
ドローンなどの移動体の中には、進行方向の軌道上に衝突可能性のある障害物を検出した場合、減速したり停止したりする機能を備えているものがある。
【0003】
しかしながら、ドローンが地面の近くを低空飛行した場合、地面が衝突可能性のある障害物として検出され、ドローンが意図せず停止してしまう。
【0004】
ところで、特許文献１には、偏光方向の異なる複数の偏光フィルタを透過した偏光画像から画素単位で法線ベクトルを検出する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１５－１１４３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
進行方向の軌道上で法線ベクトルを検出することができれば、障害物検出における判定の精度を高められると考えられる。
【0007】
本開示は、このような状況に鑑みてなされたものであり、障害物検出における誤判定を抑制することができるようにするものである。
【課題を解決するための手段】
【0008】
本開示の移動体は、自機の進行方向をセンシングしたセンサデータに基づいて、法線ベクトルを推定する法線ベクトル推定部と、前記法線ベクトルに基づいて、前記自機の移動を制御するための制御情報を生成する制御情報生成部とを備える移動体である。
【0009】
本開示の移動制御方法は、移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する移動制御方法である。
【0010】
本開示のプログラムは、コンピュータに、移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する処理を実行させるためのプログラムである。
【0011】
本開示においては、移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルが推定され、前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報が生成される。
【図面の簡単な説明】
【0012】
【図1】移動体の障害物の検出について説明する図である。
【図2】障害物の誤検出の例について説明する図である。
【図3】本開示に係る技術の概要について説明する図である。
【図4】移動体のハードウェア構成例を示すブロック図である。
【図5】第１の実施形態の移動体の機能構成例を示すブロック図である。
【図6】障害物検出処理の流れについて説明するフローチャートである。
【図7】障害物検出処理の流れについて説明するフローチャートである。
【図8】衝突判定領域の分割について説明する図である。
【図9】衝突判定領域毎の衝突リスクの算出について説明する図である。
【図10】点群データの実空間の面積について説明する図である。
【図11】障害物領域の設定について説明する図である。
【図12】軌道の補正について説明する図である。
【図13】第２の実施形態の移動体の機能構成例を示すブロック図である。
【図14】障害物検出処理の流れについて説明するフローチャートである。
【図15】軌道補正処理の流れについて説明するフローチャートである。
【図16】代表法線ベクトルの推定について説明する図である。
【図17】角加速度の算出について説明する図である。
【図18】第３の実施形態の移動体の機能構成例を示すブロック図である。
【図19】重畳画像送信処理の流れについて説明するフローチャートである。
【図20】法線ベクトル画像のＲＧＢ画像への重畳の例を示す図である。
【図21】センサの例を示す図である。
【図22】移動体制御システムの機能構成例を示すブロック図である。
【図23】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【0013】
以下、本開示を実施するための形態（以下、実施形態とする）について説明する。なお、説明は以下の順序で行う。
【0014】
１．従来技術の課題と本開示に係る技術の概要
２．移動体のハードウェア構成
３．第１の実施形態（法線ベクトルに基づいた移動制御）
４．第２の実施形態（法線ベクトルに基づいた軌道補正）
５．第３の実施形態（法線ベクトル画像のＲＧＢ画像への重畳）
６．変形例
７．コンピュータの構成例
２．移動体のハードウェア構成
３．第１の実施形態（法線ベクトルに基づいた移動制御）
４．第２の実施形態（法線ベクトルに基づいた軌道補正）
５．第３の実施形態（法線ベクトル画像のＲＧＢ画像への重畳）
６．変形例
７．コンピュータの構成例
【0015】
＜１．従来技術の課題と本開示に係る技術の概要＞
ドローンなどの移動体の中には、進行方向の軌道上に衝突可能性のある障害物を検出した場合、減速したり停止したりする機能を備えているものがある。
ドローンなどの移動体の中には、進行方向の軌道上に衝突可能性のある障害物を検出した場合、減速したり停止したりする機能を備えているものがある。
【0016】
例えば、図１に示されるように、ドローンとして構成される移動体１０が、ユーザの操縦により、速度ベクトルｖで空中を飛行しているとする。移動体１０は、ステレオカメラなどで構成される測距センサ１１を備えている。移動体１０は、測距センサ１１により点群データＰｃを取得することができる。
【0017】
図中、一点鎖線の枠で囲まれているように、将来の予測軌道に沿って移動体１０が通過する空間領域Ｓａ上に点群データＰｃが存在する場合、移動体１０は、衝突可能性のある障害物が検出されたと判定し、減速したり停止したりする。
【0018】
しかしながら、図２に示されるように、移動体１０が地面Ｇの近くを低空飛行した場合、測距誤差や精度による揺らぎによって、地面Ｇ近くの点群データＰｃが、障害物の検出を判定する衝突判定領域に含まれるおそれがある。また、移動体１０が地面Ｇの近くを低空飛行した場合、速度ベクトルｖの誤差などにより、衝突判定領域が地面Ｇと重なるおそれがある。その結果、地面Ｇが衝突可能性のある障害物として検出され、移動体１０が意図せず停止してしまう。これは、低空飛行時に限らず、高速飛行時にも起こり得る。
【0019】
そこで、図３に示されるように、本開示に係る技術を適用した移動体１０は、自機の進行方向をセンシングしたセンサデータに基づいて、点群データＰｃについての法線ベクトルｎを推定する。センサデータは、例えば偏光イメージセンサにより撮像される偏光画像とされる。そして、移動体１０は、推定された法線ベクトルｎに基づいて、各点群データＰｃについての衝突リスクを算出することで、減速したり停止したりするか否かを判定する。点群データＰｃについての衝突リスクは、点群データＰｃについての法線ベクトルｎと、移動体１０の速度ベクトルｖが、どの程度同じ方向を向いているかに応じて算出される。
【0020】
これにより、移動体１０が低空飛行している場合や高速飛行している場合であっても、障害物検出における誤判定を抑制することを実現する。
【0021】
＜２．移動体のハードウェア構成＞
図４は、移動体１０のハードウェア構成例を示すブロック図である。
図４は、移動体１０のハードウェア構成例を示すブロック図である。
【0022】
移動体１０には、ドローンや車両、船舶などの移動物体が含まれる。以下においては、本開示に係る技術を、空中を飛行するドローンに適用した例について説明する。本開示に係る技術は、ユーザの操縦（操作）により移動する移動体の他、自律飛行するドローン、陸上を移動する自律走行車両、水上または水中を移動する自律航行船舶、屋内を移動する自律移動掃除機などの自律移動ロボットに適用することが可能である。
【0023】
移動体１０は、センサ２０、通信部２１、制御部２２、移動制御部２３、移動機構２４、および記憶部２５を備えている。
【0024】
センサ２０は、上述した測距センサ１１をはじめとする各種のセンサを含み、移動体１０の進行方向を含む移動体１０の周囲の各方向をセンシングする。センシングにより得られたセンサデータは、制御部２２に供給される。
【0025】
通信部２１は、ネットワークインタフェースなどで構成され、移動体１０を操縦するためのコントローラや、その他の任意の装置との間で、無線または有線による通信を行う。例えば、通信部２１は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。
【0026】
制御部２２は、ＣＰＵ（Central Processing Unit）やメモリなどで構成され、所定のプログラムを実行することにより、通信部２１、移動制御部２３、および記憶部２５を制御する。例えば、制御部２２は、センサ２０からのセンサデータに基づいて、移動制御部２３を制御する。
【0027】
移動制御部２３は、専用ＩＣやＦＰＧＡ（Field-Programmable Gate Array）などの回路により構成され、制御部２２の制御に従い、移動機構２４の駆動を制御する。
【0028】
移動機構２４は、移動体１０を移動させるための機構であり、飛行機構、走行機構、推進機構などが含まれる。この例では、移動体１０はドローンとして構成され、移動機構２４は飛行機構としてのモータやプロペラなどから構成される。また、移動体１０が自律走行車両として構成される場合、移動機構２４は走行機構としての車輪などから構成され、移動体１０が自律航行船舶として構成される場合、移動機構２４は推進機構としてのスクリュープロペラなどから構成される。移動機構２４は、移動制御部２３の制御に従って駆動し、移動体１０を移動させる。
【0029】
移動体１０においては、制御部２２が、例えば、通信部２１で受信されたコントローラからの制御信号に従い、移動制御部２３を制御することにより、移動機構２４を駆動させる。これにより、移動体１０は、ユーザによるコントローラの操作に従って移動する。
【0030】
記憶部２５は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部２２の制御に従い、各種の情報を記憶する。
【0031】
以下、障害物検出における誤判定の抑制を実現する移動体１０の実施形態について説明する。
【0032】
【0033】
図５に示される移動体１０は、２台の偏光カメラ３０－１，３０－２を備える。偏光カメラ３０－１，３０－２は、それぞれ偏光イメージセンサ５１－１，５１－２を有しており、ステレオカメラとしても機能する。
【0034】
偏光イメージセンサ５１－１，５１－２は、複数方向の偏光子がそれぞれ画素のフォトダイオード上に形成されて構成される。例えば、偏光イメージセンサ５１－１，５１－２には４方向の偏光子が搭載されており、４方向の偏光画像を取得することができる。偏光イメージセンサ５１－１，５１－２は、図４のセンサ２０を構成する各種のセンサの１つとされる。以下において、偏光イメージセンサ５１－１，５１－２をそれぞれ区別しない場合、単に、偏光イメージセンサ５１という。
【0035】
移動体１０は、法線ベクトル推定部５２、輝度画像構成部５３－１，５３－２、平行化処理部５４－１，５４－２、キャリブレーションデータ５５、および法線ベクトル補正部５６をさらに備える。
【0036】
法線ベクトル推定部５２は、偏光イメージセンサ５１－１により取得された偏光画像に基づいて、偏光画像の画素位置毎に法線ベクトルを推定する。法線ベクトルの推定に用いられる偏光画像は、偏光イメージセンサ５１－２により取得された偏光画像であってもよい。
【0037】
具体的には、法線ベクトル推定部５２は、偏光方向が３方向以上の偏光画像に基づいて、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求め、最大輝度となる方位角φを判別する。また、法線ベクトル推定部５２は、輝度と偏光角の関係から得られた最大輝度と最小輝度を用いて偏光度ρを算出し、偏光度と天頂角の関係を示す特性曲線に基づいて、偏光度ρに対応する天頂角θを判別する。このようにして、法線ベクトル推定部５２は、偏光方向が３方向以上の偏光画像に基づいて、被写体の法線ベクトルとして、方位角φと天頂角θを画素位置毎に推定する。
【0038】
輝度画像構成部５３－１，５３－２は、それぞれ、偏光イメージセンサ５１－１，５１－２により取得された２視点の偏光画像の画素毎の輝度値に基づいて、２視点の輝度画像を構成する。
【0039】
平行化処理部５４－１，５４－２は、それぞれ、輝度画像構成部５３－１，５３－２により構成された２視点の輝度画像に対して、ステレオレクティフィケーションによる平行化処理を行う。平行化処理は、キャリブレーションデータ５５として保持されている、偏光カメラ３０－１，３０－２の内部パラメータ、外部パラメータ、および歪係数を用いて行われる。平行化処理により、２視点の輝度画像は、平行化された輝度画像に補正される。
【0040】
法線ベクトル補正部５６は、平行化処理部５４－１，５４－２による平行化処理による輝度画像の補正に応じて、偏光画像の画素位置毎に推定された法線ベクトルを補正する。法線ベクトルの補正にも、偏光カメラ３０－１，３０－２の内部パラメータ、外部パラメータ、および歪係数が用いられる。
【0041】
移動体１０は、視差推定部５７、ビジュアルオドメトリ部５８、ＧＰＳセンサ５９，ＩＭＵ６０、気圧計６１、地磁気センサ６２、および自己位置推定部６３をさらに備える。
【0042】
視差推定部５７は、平行化処理後の輝度画像を用いたステレオマッチングにより、輝度画像上の視差を推定する。視差推定部５７は、推定された視差に基づいて、被写体までの距離（デプス）を表す点群データから構成される視差マップを出力する。
【0043】
ビジュアルオドメトリ部５８は、平行化処理後の輝度画像に基づいて、ビジュアルオドメトリにより自機（移動体１０）の軌道を推定し、自己位置推定部６３に供給する。
【0044】
ＧＰＳ（Global Positioning System）センサ５９は、自機（移動体１０）のＧＰＳ情報を取得し、自己位置推定部６３に供給する。ＩＭＵ（Inertial Measurement Unit）６０は、自機（移動体１０）の三次元の角速度と加速度を検出し、自己位置推定部６３に供給する。気圧計６１は、気圧を計測し、自己位置推定部６３に供給する。地磁気センサ６２は、地磁気を検出し、自己位置推定部６３に供給する。ＧＰＳセンサ５９，ＩＭＵ６０、気圧計６１、地磁気センサ６２それぞれもまた、図４のセンサ２０を構成する各種のセンサの１つとされる。
【0045】
自己位置推定部６３は、ビジュアルオドメトリ部５８，ＧＰＳセンサ５９，ＩＭＵ６０、気圧計６１、地磁気センサ６２それぞれにより得られたデータに基づいて、拡張カルマンフィルタを用いたセンサフュージョンを行う。これにより、自己位置推定部６３は、自機（移動体１０）の自己位置と速度ベクトルを算出することができる。
【0046】
移動体１０は、障害物衝突判定部６４とフライトコントローラ６５をさらに備える。
【0047】
障害物衝突判定部６４は、法線ベクトル補正部５６からの法線ベクトル、視差推定部５７からの視差マップ（点群データ）、および自己位置推定部６３からの速度ベクトルに基づいて、移動体１０の障害物との衝突可能性を判定する。
【0048】
障害物衝突判定部６４は、分割部６４ａ、算出部６４ｂ、および設定部６４ｃを有している。
【0049】
分割部６４ａは、移動体１０の進行方向の空間領域を、その進行方向に連続する小領域に分割する。以下においては、分割された小領域を、衝突判定領域という。算出部６４ｂは、法線ベクトル、点群データ、および速度ベクトルに基づいて、分割部６４ａにより分割された衝突判定領域毎に、障害物との衝突リスクを算出する。設定部６４ｃは、算出部６４ｂにより算出された衝突判定領域毎の衝突リスクに基づいて、障害物の存在可能性のある障害物領域を設定する。
【0050】
そして、障害物衝突判定部６４は、自機（移動体１０）から障害物領域までの距離に基づいて、自機の移動を制御するための制御情報を生成する。すなわち、障害物衝突判定部６４は、衝突リスクに基づいて、移動体１０の移動を制御するための制御情報を生成する制御情報生成部としての機能を有する。
【0051】
フライトコントローラ６５は、図４の移動制御部２３に対応し、障害物衝突判定部６４（制御情報生成部）により生成された制御情報に基づいて、移動体１０の移動を制御する。
【0052】
なお、自機（移動体１０）を操縦するためのコントローラから入力される制御信号に基づいて、障害物衝突判定部６４が制御情報を生成したり、フライトコントローラ６５が移動体１０の移動を制御したりすることもできる。コントローラは、移動体１０の移動をリアルタイムに制御するための制御信号を入力するだけでなく、例えば、目的地や移動経路などを制御信号として入力することもできる。この場合、フライトコントローラ６５は、制御信号として入力された目的地や移動経路に基づいて、移動体１０を自律移動させるように、移動体１０の移動を制御する。
【0053】
【0054】
ステップＳ１１において、偏光カメラ３０－１，３０－２（偏光イメージセンサ５１－１，５１－２）は、偏光画像の撮像を開始する。
【0055】
ステップＳ１２において、法線ベクトル推定部５２は、偏光カメラ３０－１または偏光カメラ３０－２により撮像された偏光画像に基づいて法線ベクトルを推定する。
【0056】
ステップＳ１３において、輝度画像構成部５３－１，５３－２は、それぞれ、偏光カメラ３０－１，３０－２により撮像された２視点の偏光画像から輝度画像を構成する。
【0057】
ステップＳ１４において、平行化処理部５４－１，５４－２は、それぞれ、輝度画像構成部５３－１，５３－２により構成された２視点の輝度画像に対して平行化処理を行う。
【0058】
ステップＳ１５において、法線ベクトル補正部５６は、平行化処理部５４－１，５４－２による平行化処理に合わせて法線ベクトルを補正する。
【0059】
ステップＳ１６において、視差推定部５７は、平行化処理後の輝度画像から視差を推定する。
【0060】
ステップＳ１７において、自己位置推定部６３は、ビジュアルオドメトリ部５８，ＧＰＳセンサ５９，ＩＭＵ６０、気圧計６１、地磁気センサ６２それぞれにより得られたデータに基づいて、自機（移動体１０）の自己位置と速度ベクトルを算出する。
【0061】
図７のステップＳ１８に進み、障害物衝突判定部６４の分割部６４ａは、自機（移動体１０）からの測距精度に応じて、進行方向（速度ベクトル方向）の空間領域を衝突判定領域に分割する。
【0062】
図８を参照して、衝突判定領域の分割について説明する。
【0063】
例えば、分割部６４ａは、測距センサ（ステレオカメラとしての偏光カメラ３０－１，３０－２）の光軸方向Ａｘについての距離分解能に応じた距離Ｄｒに基づいて、移動体１０が通過する空間領域Ｓａを、衝突判定領域Ｃｄに分割する。測距センサの距離分解能は、自機から遠くなるほど精度が低くなることから、距離Ｄｒは、自機から遠くなるほど大きくなる。衝突判定領域Ｃｄの速度ベクトルｖ方向（奥行き方向）の長さは、距離Ｄｒに応じて設定される。すなわち、衝突判定領域Ｃｄの速度ベクトルｖ方向の長さは、自機から遠くなるほど大きくなる。
【0064】
図７のフローチャートに戻り、ステップＳ１９において、算出部６４ｂは、視差マップ（点群データ）から、進行方向（速度ベクトル方向）の空間領域に含まれる点群データを抽出する。
【0065】
ステップＳ２０において、算出部６４ｂは、抽出した点群データについての法線ベクトルに基づいて、衝突判定領域毎の衝突リスクを算出する。
【0066】
図９を参照して、衝突判定領域毎の衝突リスクの算出について説明する。
【0067】
図９においては、速度ベクトルｖ方向の空間領域Ｓａが、１，２，３，・・・，ｋ，ｋ＋１番目の衝突判定領域Ｃｄに分割されており、衝突判定領域Ｃｄそれぞれに含まれる点群データＰｃについての法線ベクトルｎが示されている。
【0068】
ここで、ｋ番目の衝突判定領域Ｃｄに含まれる点群データの数ｉをＮ個とすると、ｋ番目の衝突判定領域Ｃｄの衝突リスクＲｋは、以下の式（１）で表される。
【0069】
【数1】
【0070】
式（１）におけるＲareaは、各点群データ１画素に対応する実空間の面積に比例する値である。図１０に示されるように、点群データまでの距離をｄとし、偏光カメラ３０－１または偏光カメラ３０－２の水平方向・垂直方向の焦点距離をそれぞれｆｘ，ｆｙとすると、Ｒareaは、以下の式（２）で表される。
【0071】
【数2】
【0072】
式（２）において、ｄ／ｆｘとｄ／ｆｙの積が、点群データ１画素に対応する実空間の面積に比例し、ωareaは、固定の重みパラメータである。
【0073】
式（１）におけるＲcountは、各点群データに対して一律に設定された値（重み）であり、以下の式（３）で表される。
【0074】
【数3】
【0075】
式（３）において、ωcountは、衝突判定領域Ｃｄに含まれる点群データの総数であり、至近距離に障害物があった場合に、上述した実空間の面積に比例するＲareaが小さくなりすぎることを防ぐための値である。
【0076】
式（１）におけるＲnormalは、各点群データについての法線ベクトルｎに基づいて算出される値（ゲイン）であり、速度ベクトルｖと各点群データの法線ベクトルｎの内積を用いて、以下の式（４）で表される。
【0077】
【数4】
【0078】
式（４）において、ωnormalは、固定の重みパラメータである。また、速度ベクトルｖと各点群データの法線ベクトルｎの内積の絶対値は、移動体１０の進行方向と被写体の表面が向かい合うほど大きくなる。一方で、移動体１０が地面の近くを低空飛行している場合であっても、移動体１０の進行方向と地面表面の法線方向とは直交することから、速度ベクトルｖと各点群データの法線ベクトルｎの内積の絶対値は小さくなる。
【0079】
なお、速度ベクトルｖと各点群データの法線ベクトルｎは、いずれも移動体１０を基準とした固定座標系におけるベクトルとされる。
【0080】
以上のようにして、衝突判定領域毎の衝突リスクが算出されると、ステップＳ２０において、設定部６４ｃは、算出された衝突判定領域毎の衝突リスクに基づいて、障害物の存在可能性のある障害物領域を設定する。
【0081】
図１１を参照して、障害物領域の設定について説明する。
【0082】
図１１においては、１番目からｋ＋１番目の衝突判定領域Ｃｄに対して、移動体１０からの衝突判定領域Ｃｄそれぞれまでの距離Ｄと、衝突判定領域Ｃｄそれぞれの衝突リスクＲｋが示されている。
【0083】
設定部６４ｃは、衝突リスクＲｋが所定の閾値Ｒthより高く、かつ、自機（移動体１０）から最も近い衝突判定領域Ｃｄを、障害物領域Ｏｂに設定する。図１１の例では、衝突リスクＲｋが所定の閾値Ｒthより高く、かつ、自機（移動体１０）から最も近いｋ番目の衝突判定領域Ｃｄが、障害物領域Ｏｂに設定される。
【0084】
図７のフローチャートに戻り、ステップＳ２１において、障害物衝突判定部６４は、速度ベクトルｖに基づいて、現在の速度から、自機（移動体１０）の停止に必要な停止可能距離（制動距離）を算出する。停止可能距離には、例えば５ｍなどのマージンが含まれてもよい。
【0085】
ステップＳ２３において、障害物衝突判定部６４は、障害物領域までの距離が、算出した停止可能距離より短いか否かを判定する。障害物領域までの距離が停止可能距離より短いと判定された場合、ステップＳ２４に進む。
【0086】
例えば、図１１の例において、障害物領域Ｏｂまでの距離Ｄobが停止可能距離より短い場合、現状のままでは障害物領域Ｏｂに存在し得る障害物に衝突するおそれがある。そこで、障害物領域までの距離が停止可能距離より短いと判定された場合、障害物衝突判定部６４は、障害物より手前で停止可能な速度まで減速させるための制御情報を生成し、フライトコントローラ６５に出力する。
【0087】
ステップＳ２４において、フライトコントローラ６５は、障害物衝突判定部６４により生成された制御情報に基づいて、移動体１０を減速させる。ここでは、障害物より手前で停止可能な速度まで減速させるための制御情報が生成されることで、移動体１０を減速させるようにしたが、障害物より手前で停止させるための制御情報が生成され、移動体１０を停止させるようにしてもよい。
【0088】
一方、図１１の例において、障害物領域Ｏｂまでの距離Ｄobが停止可能距離より長い場合、障害物領域Ｏｂに存在し得る障害物より手前で停止可能であるので、ステップＳ２４はスキップされる。
【0089】
その後、ステップＳ１２に戻り、ステップＳ１２乃至Ｓ２４の処理が繰り返される。
【0090】
以上の処理によれば、自機の進行方向を撮像した偏光画像に基づいて推定された法線ベクトルを用いて、自機の移動が制御されるので、移動体１０が低空飛行している場合であっても、障害物検出における誤判定を抑制することが可能となる。その結果、ユーザはより自然なマニュアル操縦を行うことができるようになる。
【0091】
＜４．第２の実施形態＞
第２の実施形態においては、図１２に示されるように、高速飛行する移動体１０が通過する空間領域Ｓａにおいて、地面Ｇが障害物領域Ｏｂに含まれるような場合、単に減速させるだけでなく、補正軌道Ｃｔにより障害物との衝突を回避することを実現する。
第２の実施形態においては、図１２に示されるように、高速飛行する移動体１０が通過する空間領域Ｓａにおいて、地面Ｇが障害物領域Ｏｂに含まれるような場合、単に減速させるだけでなく、補正軌道Ｃｔにより障害物との衝突を回避することを実現する。
【0092】
（移動体の機能構成例）
図１２は、本開示に係る技術を適用した第２の実施形態の移動体１０の機能構成例を示すブロック図である。
図１２は、本開示に係る技術を適用した第２の実施形態の移動体１０の機能構成例を示すブロック図である。
【0093】
図１２に示される移動体１０Ａは、基本的には図５の移動体１０と同様の構成を備える。但し、図１２の移動体１０Ａにおいて、障害物衝突判定部６４は、分割部６４ａ、算出部６４ｂ、および設定部６４ｃに加え、代表法線ベクトル算出部６４ｄと角加速度算出部６４ｅを有している。
【0094】
代表法線ベクトル算出部６４ｄは、設定部６４ｃにより設定された障害物領域に含まれる点群データについての法線ベクトルに基づいて、その障害物領域における代表的な法線ベクトル（以下、代表法線ベクトルという）を算出する。
【0095】
角加速度算出部６４ｅは、自機（移動体１０Ａ）が障害物領域に到達したときの速度ベクトルを予測し、その速度ベクトル（予測速度ベクトル）と、代表法線ベクトル算出部６４ｄにより算出された代表法線ベクトルが直交するような角加速度を算出する。
【0096】
これにより、障害物衝突判定部６４は、予測速度ベクトルと代表法線ベクトルが直交するように、自機の軌道を補正する制御情報を生成することができる。
【0097】
【0098】
【0099】
すなわち、ステップＳ２３において、障害物領域までの距離が停止可能距離より短いと判定された場合、ステップＳ５０に進む。ステップＳ５０において、障害物衝突判定部６４は、軌道補正処理を実行する。
【0100】
図１５は、軌道補正処理の流れについて説明するフローチャートである。
【0101】
ステップＳ５１において、障害物衝突判定部６４の代表法線ベクトル算出部６４ｄは、障害物領域の代表法線ベクトルを算出する。
【0102】
図１６を参照して、代表法線ベクトルを算出について説明する。
【0103】
図１６のＡ図には、障害物領域Ｏｂに含まれる点群データＰｃについての法線ベクトルｎが示されている。
【0104】
同Ｂ図には、障害物領域Ｏｂにおける法線ベクトルｎの分布が示されている。代表法線ベクトル算出部６４ｄは、法線ベクトルｎの分布を解析し、障害物領域Ｏｂにおいて最も支配的な方向のベクトルを、同Ｃ図に示される代表法線ベクトルＲｎに決定する。
【0105】
以上のようにして、障害物領域の代表法線ベクトルが算出されると、ステップＳ５２において、角加速度算出部６４ｅは、自機（移動体１０Ａ）が障害物領域に到達したときの予測速度ベクトルと、代表法線ベクトルが直交する角加速度を算出する。
【0106】
具体的には、図１７に示されるように、障害物領域Ｏｂの中心から代表法線ベクトルＲｎの方向に一定距離ｐだけ離れた位置において、予測速度ベクトルＰｖと代表法線ベクトルＲｎが直交するような補正軌道Ｃｔの飛行を実現する角加速度が算出される。
【0107】
ステップＳ５３において、障害物衝突判定部６４は、角加速度算出部６４ｅにより算出された角加速度が、所定値を超えるか否かを判定する。算出された角加速度が所定値を超えないと判定された場合、ステップＳ５４に進む。
【0108】
ステップＳ５４において、障害物衝突判定部６４は、補正後の軌道（補正軌道）上に、衝突可能性のある物体に対応する点群データが存在するか否かを判定する。補正軌道上に衝突可能性のある物体に対応する点群データが存在しないと判定された場合、ステップＳ５５に進む。このとき、障害物衝突判定部６４は、角加速度算出部６４ｅにより算出された角加速度を、自機の軌道を補正する制御情報として、フライトコントローラ６５に出力する。
【0109】
ステップＳ５５において、フライトコントローラ６５は、障害物衝突判定部６４により制御情報として出力された角加速度に基づいて、移動体１０Ａの姿勢を制御することで、自機の軌道を補正する。その後、ステップＳ１２（図６）に戻り、ステップＳ１２乃至Ｓ２３，Ｓ５０の処理が繰り返される。
【0110】
一方、ステップＳ５３において、算出された角加速度が所定値を超えると判定されるか、ステップＳ５４において、補正軌道上に衝突可能性のある物体に対応する点群データが存在すると判定された場合、ステップＳ５６に進む。このとき、障害物衝突判定部６４は、障害物より手前で停止可能な速度まで減速させるための制御情報を生成し、フライトコントローラ６５に出力する。
【0111】
ステップＳ５６において、フライトコントローラ６５は、障害物衝突判定部６４により生成された制御情報に基づいて、移動体１０Ａを減速させる。その後、ステップＳ１２（図６）に戻り、ステップＳ１２乃至Ｓ２３，Ｓ５０の処理が繰り返される。ここでも、障害物より手前で停止させるための制御情報が生成され、移動体１０Ａを停止させるようにしてもよい。
【0112】
以上の処理によれば、自機の進行方向を撮像した偏光画像に基づいて推定された法線ベクトルを用いて、自機の軌道が補正されるので、移動体１０Ａが高速飛行している場合であっても、障害物との衝突を回避することが可能となる。
【0113】
＜５．第３の実施形態＞
ジンバル機構を有するＦＰＶ（First Person View）カメラをドローンに搭載し、ＦＰＶカメラにより撮像された画像を、ユーザが操作するコントローラに送信することで、ユーザがその画像を見ながらドローンを遠隔操作することができる。しかしながら、ＦＰＶカメラにより撮像された画像では、ドローンが飛行する周辺環境の凹凸を視認しづらい場合がある。
ジンバル機構を有するＦＰＶ（First Person View）カメラをドローンに搭載し、ＦＰＶカメラにより撮像された画像を、ユーザが操作するコントローラに送信することで、ユーザがその画像を見ながらドローンを遠隔操作することができる。しかしながら、ＦＰＶカメラにより撮像された画像では、ドローンが飛行する周辺環境の凹凸を視認しづらい場合がある。
【0114】
第３の実施形態においては、推定された法線ベクトルに基づいて生成された法線ベクトル画像を、ＦＰＶカメラにより撮像された画像に重畳することで、移動体１０の遠隔操作時のユーザの補助を実現する。
【0115】
（移動体の機能構成例）
図１８は、本開示に係る技術を適用した第３の実施形態の移動体１０の機能構成例を示すブロック図である。
図１８は、本開示に係る技術を適用した第３の実施形態の移動体１０の機能構成例を示すブロック図である。
【0116】
図１８に示される移動体１０Ｂは、図５の移動体１０と同様の構成に加え、ＲＧＢイメージセンサ１１１を有するＦＰＶカメラ１００、姿勢推定部１１２、座標変換部１１３、法線ベクトル画像生成部１１４、重畳部１１５、および送信部１１６を備える。なお、図１８の移動体１０Ｂにおいて、障害物衝突判定部６４が、分割部６４ａ、算出部６４ｂ、および設定部６４ｃに加え、代表法線ベクトル算出部６４ｄと角加速度算出部６４ｅを有していてもよい。
【0117】
ＦＰＶカメラ１００は、ジンバル機構を有し、様々なアングルで撮像することができる。ＦＰＶカメラ１００が有するＲＧＢイメージセンサ１１１は、画素上にＲ，Ｇ，Ｂのカラーフィルタが例えばベイヤ配列で配置されて構成され、ＲＧＢ画像を撮像する。
【0118】
姿勢推定部１１２は、ＲＧＢイメージセンサ１１１により撮像されたＲＧＢ画像に基づいて、ＦＰＶカメラ１００のカメラ座標系の原点位置を基準として、ＦＰＶカメラ１００の現在の姿勢を推定する。
【0119】
座標変換部１１３は、偏光画像の画素位置毎の法線ベクトルから構成される法線ベクトルマップの座標系を、ＦＰＶカメラ１００のカメラ座標系に変換する。法線ベクトルマップの座標変換には、視差推定部５７からの視差マップ、自己位置推定部６３からの自己位置、偏光カメラ３０－１，３０－２の姿勢情報、ＦＰＶカメラ１００の偏光カメラ３０－１，３０－２との相対位置と現在の姿勢情報が用いられる。
【0120】
法線ベクトル画像生成部１１４は、座標変換された法線ベクトルマップに基づいて、法線ベクトルの向きに応じて色付けされた法線ベクトル画像を生成する。すなわち、ＦＰＶカメラ１００のカメラ座標系に変換された法線ベクトル画像が生成される。
【0121】
重畳部１１５は、ＲＧＢイメージセンサ１１１により撮像されたＲＧＢ画像に、法線ベクトル画像生成部１１４により生成された法線ベクトル画像を重畳した重畳画像を生成する。
【0122】
送信部１１６は、図４の通信部２１に対応し、重畳部１１５により生成された重畳画像を、自機（移動体１０Ｂ）の制御信号を入力するためのコントローラに送信する。
【0123】
【0124】
ステップＳ１１１において、ＦＰＶカメラ１００（ＲＧＢイメージセンサ１１１）は、ＲＧＢ画像を撮像する。
【0125】
ステップＳ１１２において、姿勢推定部１１２は、撮像されたＲＧＢ画像に基づいて、ＦＰＶカメラ１００のカメラ座標系の原点位置を基準として、ＦＰＶカメラ１００の現在の姿勢を推定する。
【0126】
ステップＳ１１３において、座標変換部１１３は、法線ベクトルマップの座標系を、ＦＰＶカメラ１００のカメラ座標系に変換する。
【0127】
ステップＳ１１４において、法線ベクトル画像生成部１１４は、座標変換された法線ベクトルマップに基づいて、法線ベクトルの向きに応じて色付けされた法線ベクトル画像を生成する。
【0128】
ステップＳ１１５において、重畳部１１５は、ＲＧＢイメージセンサ１１１により撮像されたＲＧＢ画像に、法線ベクトル画像生成部１１４により生成された法線ベクトル画像を重畳する。
【0129】
図２０を参照して、重畳画像の生成について説明する。
【0130】
図２０に示されるＲＧＢ画像１３０が、暗い環境で撮像された画像や、コントラストの低い画像である場合、ＲＧＢ画像１３０を見ながら移動体１０Ｂを遠隔操作するユーザにとって、ＲＧＢ画像１３０に映る被写体の凹凸を視認しづらい。
【0131】
そこで、法線ベクトル画像生成部１１４が、法線ベクトルマップに基づいて、法線ベクトルの向きに応じて色付けされた法線ベクトル画像１４０を生成し、重畳部１１５が、ＲＧＢ画像１３０に法線ベクトル画像１４０を重畳した重畳画像１５０を生成する。
【0132】
これにより、被写体の凹凸を視認しやすい画像が得られる。
【0133】
図１９のフローチャートに戻り、ステップＳ１１６において、送信部１１６は、重畳部１１５により生成された重畳画像を、自機（移動体１０Ｂ）の制御信号を入力するためのコントローラに送信する。処理はステップＳ１１１に戻り、上述した処理が繰り返される。
【0134】
以上の処理によれば、被写体の凹凸を視認しやすい画像を得ることができ、移動体１０Ｂの遠隔操作時のユーザの補助を実現することが可能となる。
【0135】
なお、本実施形態において、ＦＰＶカメラ１００を設けず、法線ベクトル画像のみがコントローラに送信されるようにしてもよい。
【0136】
＜６．変形例＞
以下においては、上述した実施形態の変形例について説明する。
以下においては、上述した実施形態の変形例について説明する。
【0137】
上述した実施形態においては、法線ベクトルの推定と測距を実現するセンサ２０が、２視点のステレオカメラを構成する偏光イメージセンサ５１－１，５１－２により構成されるものとした。
【0138】
これに限らず、図２１のＡ図に示されるように、センサ２０が、偏光イメージセンサ５１と、２視点のステレオカメラを構成するＲＧＢイメージセンサ２１１－１，２１１－２により構成されてもよい。
【0139】
同様に、図２１のＢ図に示されるように、センサ２０が、偏光イメージセンサ５１と、ＬｉＤＡＲ（Light Detection and Ranging）やＴｏＦ（Time of Flight）センサなどの測距センサ２３１により構成されてもよい。
【0140】
いずれの構成であっても、センサ２０は、法線ベクトルの推定と測距を実現することができる。
【0141】
また、上述した実施形態においては、偏光イメージセンサにより取得された偏光画像に基づいて、法線ベクトルが推定されるものとした。
【0142】
これ以外にも、所定のセンサにより自機（移動体１０）の進行方向がセンシングされたセンサデータに基づいて、法線ベクトルを推定することもできる。例えば、一般的なステレオカメラやＬｉＤＡＲなどの測距用のデバイスにより取得されたデプス情報に対して所定の処理を施したデータに基づいて、法線ベクトルを推定することが可能である。
【0143】
上述した実施形態において、法線ベクトルを推定する構成（法線ベクトル推定部５２）から、障害物との衝突を判定する構成（障害物衝突判定部６４）までは、図４の制御部２２により実現される。
【0144】
これらの構成は、図２２に示される移動体制御システムにおいて、移動体３１０の移動が、例えばクラウド上に構成される情報処理装置３２０により制御される場合、情報処理装置３２０が備える制御部３３１により実現されてもよい。この場合、制御部３３１が、移動体３１０から送信されたセンサデータに基づいて法線ベクトルを推定し、その法線ベクトルに基づいて移動体３１０の移動を制御するための制御情報を生成する。生成された制御情報は、移動体３１０に送信される。
【0145】
以上の構成においても、移動体３１０が低空飛行している場合の、障害物検出における誤判定を抑制することが可能となる。
【0146】
本開示に係る技術を適用した移動体１０は、地面の近くを低空飛行している場合において、その効果を奏するものとして説明したが、本開示に係る技術を適用した移動体１０は、例えば壁面に沿って移動している場合においても、その効果を奏することができる。
【0147】
＜７．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0148】
図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0149】
コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【0150】
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、およびドライブ５１０が接続されている。
【0151】
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア５１１を駆動する。
【0152】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５およびバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【0153】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0154】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。
【0155】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0156】
本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0157】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0158】
さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
自機の進行方向をセンシングしたセンサデータに基づいて、法線ベクトルを推定する法線ベクトル推定部と、
前記法線ベクトルに基づいて、前記自機の移動を制御するための制御情報を生成する制御情報生成部と
を備える移動体。
（２）
前記法線ベクトルに基づいて、障害物との衝突リスクを算出する算出部をさらに備え、
前記制御情報生成部は、前記衝突リスクに基づいて、前記制御情報を生成する
（１）に記載の移動体。
（３）
前記算出部は、前記自機からの距離に応じた点群データについての前記法線ベクトルに基づいて、前記衝突リスクを算出する
（２）に記載の移動体。
（４）
前記進行方向の空間領域を前記進行方向に連続する衝突判定領域に分割する分割部をさらに備え、
前記算出部は、前記衝突判定領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記衝突判定領域毎の前記衝突リスクを算出する
（３）に記載の移動体。
（５）
前記分割部は、前記自機からの測距精度に応じて、前記空間領域を前記衝突判定領域に分割する
（４）に記載の移動体。
（６）
前記算出部は、前記衝突判定領域に含まれる前記点群データについて求められる、前記法線ベクトルと前記自機の速度ベクトルとの内積を用いて、前記衝突判定領域毎の前記衝突リスクを算出する
（４）または（５）に記載の移動体。
（７）
前記算出部は、前記衝突判定領域に含まれる前記点群データそれぞれの、前記内積と前記点群データに対応する実空間の面積に比例する値との積の総和に応じた値を、前記衝突判定領域の前記衝突リスクとして算出する
（６）に記載の移動体。
（８）
前記衝突リスクが所定の閾値より高く、かつ、前記自機から最も近い前記衝突判定領域を、前記障害物の存在可能性のある障害物領域に設定する設定部を備え、
前記制御情報生成部は、前記自機から前記障害物領域までの距離に基づいて、前記制御情報を生成する
（４）乃至（７）のいずれかに記載の移動体。
（９）
前記制御情報生成部は、前記自機から前記障害物領域までの距離が、前記自機の停止可能距離より短い場合、前記自機を減速させる前記制御情報を生成する
（８）に記載の移動体。
（１０）
前記障害物領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記障害物領域における代表法線ベクトルを算出する代表法線ベクトル算出部をさらに備え、
前記制御情報生成部は、前記自機が前記障害物領域に到達したときの予測速度ベクトルと、前記代表法線ベクトルが直交するように、前記自機の軌道を補正する前記制御情報を生成する
（８）または（９）に記載の移動体。
（１１）
前記制御情報生成部は、前記制御情報として、前記予測速度ベクトルと前記代表法線ベクトルが直交するような角加速度を算出する
（１０）に記載の移動体。
（１２）
前記制御情報生成部は、前記角加速度が所定値を超えず、かつ、補正後の前記軌道上に衝突可能性のある物体に対応する前記点群データが存在しない場合に、前記軌道を補正する前記制御情報を生成する
（１１）に記載の移動体。
（１３）
前記制御情報生成部は、前記角加速度が前記所定値を超えるか、または、補正後の前記軌道上に前記物体に対応する前記点群データが存在する場合、前記自機を減速させる前記制御情報を生成する
（１２）に記載の移動体。
（１４）
前記法線ベクトルに基づいて、法線ベクトル画像を生成する法線ベクトル画像生成部と、
ＦＰＶ（First Person View）カメラにより撮像されたＲＧＢ画像に、前記法線ベクトル画像を重畳した重畳画像を生成する重畳部をさらに備える
（１）乃至（１３）のいずれかに記載の移動体。
（１５）
法線ベクトル画像生成部は、前記法線ベクトルの向きに応じて色付けされた前記法線ベクトル画像を生成する
（１４）に記載の移動体。
（１６）
法線ベクトル画像生成部は、前記ＦＰＶカメラの座標系に変換された前記法線ベクトル画像を生成する
（１４）または（１５）に記載の移動体。
（１７）
前記自機の制御信号を入力するためのコントローラに、前記重畳画像を送信する送信部をさらに備える
（１４）乃至（１６）のいずれかに記載の移動体。
（１８）
前記センサデータは、偏光イメージセンサにより撮像された偏光画像である
（１）乃至（１７）のいずれかに記載の移動体。
（１９）
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
移動制御方法。
（２０）
コンピュータに、
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
処理を実行させるためのプログラム。
（１）
自機の進行方向をセンシングしたセンサデータに基づいて、法線ベクトルを推定する法線ベクトル推定部と、
前記法線ベクトルに基づいて、前記自機の移動を制御するための制御情報を生成する制御情報生成部と
を備える移動体。
（２）
前記法線ベクトルに基づいて、障害物との衝突リスクを算出する算出部をさらに備え、
前記制御情報生成部は、前記衝突リスクに基づいて、前記制御情報を生成する
（１）に記載の移動体。
（３）
前記算出部は、前記自機からの距離に応じた点群データについての前記法線ベクトルに基づいて、前記衝突リスクを算出する
（２）に記載の移動体。
（４）
前記進行方向の空間領域を前記進行方向に連続する衝突判定領域に分割する分割部をさらに備え、
前記算出部は、前記衝突判定領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記衝突判定領域毎の前記衝突リスクを算出する
（３）に記載の移動体。
（５）
前記分割部は、前記自機からの測距精度に応じて、前記空間領域を前記衝突判定領域に分割する
（４）に記載の移動体。
（６）
前記算出部は、前記衝突判定領域に含まれる前記点群データについて求められる、前記法線ベクトルと前記自機の速度ベクトルとの内積を用いて、前記衝突判定領域毎の前記衝突リスクを算出する
（４）または（５）に記載の移動体。
（７）
前記算出部は、前記衝突判定領域に含まれる前記点群データそれぞれの、前記内積と前記点群データに対応する実空間の面積に比例する値との積の総和に応じた値を、前記衝突判定領域の前記衝突リスクとして算出する
（６）に記載の移動体。
（８）
前記衝突リスクが所定の閾値より高く、かつ、前記自機から最も近い前記衝突判定領域を、前記障害物の存在可能性のある障害物領域に設定する設定部を備え、
前記制御情報生成部は、前記自機から前記障害物領域までの距離に基づいて、前記制御情報を生成する
（４）乃至（７）のいずれかに記載の移動体。
（９）
前記制御情報生成部は、前記自機から前記障害物領域までの距離が、前記自機の停止可能距離より短い場合、前記自機を減速させる前記制御情報を生成する
（８）に記載の移動体。
（１０）
前記障害物領域に含まれる前記点群データについての前記法線ベクトルに基づいて、前記障害物領域における代表法線ベクトルを算出する代表法線ベクトル算出部をさらに備え、
前記制御情報生成部は、前記自機が前記障害物領域に到達したときの予測速度ベクトルと、前記代表法線ベクトルが直交するように、前記自機の軌道を補正する前記制御情報を生成する
（８）または（９）に記載の移動体。
（１１）
前記制御情報生成部は、前記制御情報として、前記予測速度ベクトルと前記代表法線ベクトルが直交するような角加速度を算出する
（１０）に記載の移動体。
（１２）
前記制御情報生成部は、前記角加速度が所定値を超えず、かつ、補正後の前記軌道上に衝突可能性のある物体に対応する前記点群データが存在しない場合に、前記軌道を補正する前記制御情報を生成する
（１１）に記載の移動体。
（１３）
前記制御情報生成部は、前記角加速度が前記所定値を超えるか、または、補正後の前記軌道上に前記物体に対応する前記点群データが存在する場合、前記自機を減速させる前記制御情報を生成する
（１２）に記載の移動体。
（１４）
前記法線ベクトルに基づいて、法線ベクトル画像を生成する法線ベクトル画像生成部と、
ＦＰＶ（First Person View）カメラにより撮像されたＲＧＢ画像に、前記法線ベクトル画像を重畳した重畳画像を生成する重畳部をさらに備える
（１）乃至（１３）のいずれかに記載の移動体。
（１５）
法線ベクトル画像生成部は、前記法線ベクトルの向きに応じて色付けされた前記法線ベクトル画像を生成する
（１４）に記載の移動体。
（１６）
法線ベクトル画像生成部は、前記ＦＰＶカメラの座標系に変換された前記法線ベクトル画像を生成する
（１４）または（１５）に記載の移動体。
（１７）
前記自機の制御信号を入力するためのコントローラに、前記重畳画像を送信する送信部をさらに備える
（１４）乃至（１６）のいずれかに記載の移動体。
（１８）
前記センサデータは、偏光イメージセンサにより撮像された偏光画像である
（１）乃至（１７）のいずれかに記載の移動体。
（１９）
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
移動制御方法。
（２０）
コンピュータに、
移動体の進行方向の物体をセンシングしたセンサデータに基づいて、法線ベクトルを推定し、
前記法線ベクトルに基づいて、前記移動体の移動を制御するための制御情報を生成する
処理を実行させるためのプログラム。
【符号の説明】
【0159】
１０ 移動体， ２０ センサ， ２２ 制御部， ３０－１，３０－２ 偏光カメラ， ５１，５１－１，５１－２ 偏光イメージセンサ， ５２ 法線ベクトル推定部， ６４ 障害物衝突判定部， ６４ａ 分割部， ６４ｂ 算出部， ６４ｃ 設定部， ６４ｄ 代表法線ベクトル算出部， ６４ｅ 角加速度算出部， ６５ フライトコントローラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】