特許 7574799 情報処理装置、および情報処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-21

(45)【発行日】2024-10-29

(54)【発明の名称】情報処理装置、および情報処理方法、並びにプログラム

(51)【国際特許分類】

   G05D 1/00 20240101AFI20241022BHJP

   G08G 5/00 20060101ALI20241022BHJP

   G06T 7/60 20170101ALI20241022BHJP

【ＦＩ】

G05D1/00

G08G5/00 A

G06T7/60 150D

【請求項の数】 20

(21)【出願番号】P 2021551217

(86)(22)【出願日】2020-09-28

(86)【国際出願番号】 JP2020036520

(87)【国際公開番号】W WO2021070651

(87)【国際公開日】2021-04-15

【審査請求日】2023-08-03

(31)【優先権主張番号】P 2019186747

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】元山 琢人

(72)【発明者】

【氏名】豊吉 政彦

(72)【発明者】

【氏名】李 駿

(72)【発明者】

【氏名】漆戸 航平

【審査官】大古 健一

(56)【参考文献】

【文献】特開２０１９－１２５３４５（ＪＰ，Ａ）

【文献】特開２０１７－２１１９０９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０１８７７０３（ＵＳ，Ａ１）

【文献】特開２０１８－１６０２２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００ － １／８７

Ｇ０８Ｇ ５／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

移動体の周囲の画像内の、障害物を含む物体を認識する物体認識部と、
前記画像に対応する前記物体と前記移動体との距離の情報であるデプス情報からなるデプス画像に基づいて、前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出する特徴点抽出部と、
前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、前記障害物を表現するメッシュを作成するメッシュ作成部と、
前記メッシュ作成部により作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する行動計画部と
を含む情報処理装置。

【請求項2】

前記物体認識部は、セマンティックセグメンテーションにより、前記画像内の前記物体を認識し、
前記特徴点抽出部は、前記デプス画像の前記デプス情報と、前記セマンティックセグメンテーションを用いた前記物体認識結果であるセマンティクスラベルとを対応付けて、前記画像より前記特徴点を抽出する
請求項１に記載の情報処理装置。

【請求項3】

前記特徴点抽出部は、前記デプス画像の前記デプス情報と、前記セマンティクスラベルとに基づいて、前記障害物になり得る物体の近傍の特徴点を、前記セマンティクスラベルと対応付けて、前記画像より抽出する
請求項２に記載の情報処理装置。

【請求項4】

前記特徴点抽出部は、前記画像に対応する前記デプス画像における前記デプス情報が存在する位置に対応する、前記画像の画素を、前記セマンティクスラベルと対応付けて、前記特徴点として抽出する
請求項２に記載の情報処理装置。

【請求項5】

前記特徴点抽出部は、前記セマンティックセグメンテーションを用いた前記物体認識結果であるセマンティクスラベルと対応付けて、前記画像より前記特徴点を抽出し、さらに、抽出した前記特徴点のうち、隣接する特徴点のセマンティクスラベルが異なる場合、隣接する特徴点におけるデプス情報が所定値よりも大きく異なる場合、および隣接する特徴点との間にエッジが存在する場合のうちの、少なくともいずれかの条件を満たす特徴点を、前記セマンティクスラベルと対応付けて、選択的に抽出する
請求項４に記載の情報処理装置。

【請求項6】

前記メッシュ作成部は、前記物体認識結果に基づいて、同一の前記セマンティクスラベルの前記物体毎に、前記特徴点を接続することにより、前記障害物を表現する２次元の前記メッシュを生成する
請求項４に記載の情報処理装置。

【請求項7】

前記２次元の前記メッシュを、前記デプス画像のデプス情報に基づいて、３次元化して、３次元のメッシュを生成する３次元化部をさらに含み、
前記行動計画部は、前記３次元化部により生成された前記３次元のメッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する
請求項６に記載の情報処理装置。

【請求項8】

前記行動計画部は、前記３次元のメッシュにより表現される前記障害物に対して、前記セマンティクスラベルに応じた距離のマージンを設定して、前記障害物を回避して前記移動体が行動するための軌道を計画する
請求項７に記載の情報処理装置。

【請求項9】

前記行動計画部は、前記障害物を回避する行動するための軌道候補を計画し、前記軌道候補のそれぞれを評価する評価値を計算し、前記評価値に基づいて、前記軌道候補より前記軌道を選択する
請求項８記載の情報処理装置。

【請求項10】

前記行動計画部は、前記軌道候補のそれぞれを評価する評価値を、前記移動体から目的地への直線方向に対する、前記移動体の移動方向のなす角についての方向評価値、前記移動体の移動速度についての速度評価値、および前記移動体と前記障害物との距離についての距離評価値の、それぞれを計算する項からなる評価関数により計算し、前記評価値に基づいて、前記軌道候補より前記軌道を選択する
請求項９に記載の情報処理装置。

【請求項11】

前記評価関数には、前記方向評価値、前記速度評価値、および前記距離評価値のそれぞれについて、重みが設定されており、前記行動計画部は、前記方向評価値、前記速度評価値、および前記距離評価値と、それぞれの重みとの積和により前記評価値を計算し、前記評価値が最大となる前記軌道候補を前記軌道として選択する
請求項１０に記載の情報処理装置。

【請求項12】

前記距離評価値を計算する項においては、前記セマンティクスラベルに応じた距離の重みが設定される
請求項１０に記載の情報処理装置。

【請求項13】

前記デプス画像は、LiDARにより検出される
請求項４に記載の情報処理装置。

【請求項14】

前記デプス画像は、ステレオカメラにより撮像された２枚の画像に基づいて生成され、 前記画像は、前記ステレオカメラを構成する、いずれか１のカメラにより撮像される
請求項４に記載の情報処理装置。

【請求項15】

前記ステレオカメラにより撮像された２枚の画像に基づいて、視差を推定し、推定した視差に基づいて、前記デプス画像を生成する視差推定部をさらに含む
請求項１４に記載の情報処理装置。

【請求項16】

前記ステレオカメラにより撮像された２枚の画像に基づいて生成された前記デプス画像の時系列のデプス画像におけるデプス情報の差分であるデプス差分と、所定の閾値との比較により、前記デプス差分が前記所定の閾値よりも大きいデプス情報をフィルタリングするフィルタリング部をさらに含む
請求項１５に記載の情報処理装置。

【請求項17】

前記画像は、偏光カメラにより撮像された偏光画像であり、
前記偏光画像に基づいて、前記偏光画像内の物体の表面の法線方向を推定する法線推定部をさらに含み、
前記特徴点抽出部は、前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出し、さらに、隣接する特徴点におけるセマンティクスラベルが異なる場合、隣接する特徴点におけるデプス情報が異なる場合、隣接する特徴点との間にエッジが存在する場合、および、隣接する特徴点における法線方向が変化する場合の少なくともいずれかの条件を満たす特徴点を、前記セマンティクスラベルと対応付けて、選択的に抽出する 請求項１４に記載の情報処理装置。

【請求項18】

前記メッシュ作成部は、前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を頂点とする三角形を形成するように接続することにより、前記障害物を表現するドロネーメッシュを作成する
請求項１に記載の情報処理装置。

【請求項19】

移動体の周囲の画像内の、障害物を含む物体を認識し、
前記画像に対応する前記物体と前記移動体との距離の情報であるデプス情報からなるデプス画像に基づいて、前記物体の認識結果と対応付けて、前記画像より特徴点を抽出し、
前記物体の認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、前記障害物を表現するメッシュを作成し、
作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する
ステップを含む情報処理方法。

【請求項20】

移動体の周囲の画像内の、障害物を含む物体を認識する物体認識部と、
前記画像に対応する前記物体と前記移動体との距離の情報であるデプス情報からなるデプス画像に基づいて、前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出する特徴点抽出部と、
前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、前記障害物を表現するメッシュを作成するメッシュ作成部と、
前記メッシュ作成部により作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する行動計画部と
してコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、高速移動体における移動経路である軌道を計画する際に、障害物回避可能な軌道を適切に計画できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

【背景技術】

【0002】

自律移動する移動体は、目的地までの移動経路である軌道を計画するにあたり、周囲の障害物を回避するように軌道を計画する。

【0003】

このような軌道の計画手法として、周囲の状況を検出し、例えば、占有格子地図（Occupancy Grid Map）を生成し、障害物の位置を特定して、障害物を回避するように軌道を計画する技術が提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００５－０９２８２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、占有格子地図（Occupancy Grid Map）は、時間方向の畳み込みを前提として生成されるため、周囲の障害物の位置を特定するまでには、占有確率の収束に時間が掛かる。

【0006】

このため、低速で自律移動する移動体の場合には、障害物を回避する軌道を適切に計画することが可能であるが、高速で自律移動する移動体の場合には、占有格子地図（Occupancy Grid Map）の占有確率の収束が間に合わず、障害物を回避する軌道を適切に計画することができないことがあった。

【0007】

本開示は、このような状況に鑑みてなされたものであり、特に、高速で移動する移動体が障害物を回避できる移動経路である軌道を適切に計画できるようにするものである。

【課題を解決するための手段】

【0008】

本開示の一側面の情報処理装置、およびプログラムは、移動体の周囲の画像内の、障害物を含む物体を認識する物体認識部と、前記画像に対応する前記物体と前記移動体との距離の情報であるデプス情報からなるデプス画像に基づいて、前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出する特徴点抽出部と、前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、前記障害物を表現するメッシュを作成するメッシュ作成部と、前記メッシュ作成部により作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する行動計画部とを含む情報処理装置、およびプログラムである。

【0009】

本開示の一側面の情報処理方法は、移動体の周囲の画像内の、障害物を含む物体を認識し、前記画像に対応する前記物体と前記移動体との距離の情報であるデプス情報からなるデプス画像に基づいて、前記物体の認識結果と対応付けて、前記画像より特徴点を抽出し、前記物体の認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、前記障害物を表現するメッシュを作成し、作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画するステップを含む情報処理方法である。

【0010】

本開示の一側面においては、移動体の周囲の画像内の、障害物を含む物体が認識され、前記画像に対応する前記物体と前記移動体との距離の情報であるデプス情報からなるデプス画像に基づいて、物体認識結果と対応付けて、前記画像より特徴点が抽出され、前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点が接続されることにより、前記障害物を表現するメッシュが作成され、作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動が計画される。

【図面の簡単な説明】

【0011】

【図1】ドロネーメッシュを用いた軌道計画を説明する図である。

【図2】ドロネーメッシュを用いた軌道計画において軌道が適切に計画されない場合の例を説明する図である。

【図3】ドロネーメッシュを用いた軌道計画において軌道が適切に計画されない場合の例を説明する図である。

【図4】ドロネーメッシュを用いた軌道計画において軌道が適切に計画されない場合の例を説明する図である。

【図5】ドロネーメッシュを用いた軌道計画において軌道が適切に計画されない場合の例を説明する図である。

【図6】本開示の概要を説明する図である。

【図7】本開示の移動体の第１の実施の形態の構成例を説明するブロック図である。

【図8】図７の軌道計画部の構成例を説明するブロック図である。

【図9】セマンティックセグメンテーションを説明する図である。

【図10】デプスセンサにより検出されたデプス画像の座標系の、カメラにより撮像された画像の座標系への変換を説明する図である。

【図11】特徴点の抽出方法を説明する図である。

【図12】２次元のドロネーメッシュの生成方法を説明する図である。

【図13】２次元のドロネーメッシュを３次元化して３次元のドロネーメッシュする手法を説明する図である。

【図14】軌道候補の選択方法を説明する図である。

【図15】障害物のセマンティクスラベルに応じて設定されるマージンを説明する図である。

【図16】距離の評価値の計算方法を説明する図である。

【図17】図８の軌道計画部による軌道計画処理を説明するフローチャートである。

【図18】本開示の移動体の第２の実施の形態の構成例を説明するブロック図である。

【図19】図１８の軌道計画部の構成例を説明するブロック図である。

【図20】図１９のデプス信頼度フィルタリング部の構成例を説明するブロック図である。

【図21】図１９の軌道計画部による軌道計画処理を説明するフローチャートである。

【図22】図２０のデプス信頼度フィルタリング部によるフィルタリング処理を説明するフローチャートである。

【図23】偏光カメラを用いて撮像された偏光画像より法線方向を推定し、法線方向に基づいて、特徴点を抽出する第３の実施の形態の概要を説明する図である。

【図24】本開示の移動体の第３の実施の形態の構成例を説明するブロック図である。

【図25】図２４の軌道計画部の構成例を説明するブロック図である。

【図26】図２５の軌道計画部による軌道計画処理を説明するフローチャートである。

【図27】汎用のコンピュータの構成例を説明する図である。

【発明を実施するための形態】

【0012】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0013】

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．ソフトウェアにより実行させる例

【0014】

＜＜１．本開示の概要＞＞
本開示は、高速で自律移動する移動体においても、周囲の状況に応じて、障害物を回避する移動経路である軌道を適切に計画できるようにするものである。

【0015】

まず、本開示の概要について説明する。

【0016】

移動体の移動経路である軌道を計画するにあたっては、一般に、占有格子地図（Occupancy Grid Map）を生成して、周囲の障害物の位置や距離を特定し、障害物の位置や距離に応じた軌道が計画されていた。

【0017】

しかしながら、占有格子地図は、時間方向の畳み込みを前提として形成されるものであるため、占有格子地図を形成するのに時間が掛かる。

【0018】

このため、高速で自律的に移動する移動体の場合、占有格子地図の形成が間に合わず、障害物を回避する軌道を適切に計画できないことがあった。

【0019】

そこで、周辺の画像に基づいて、画像内から特徴点を抽出して、特徴点を頂点とする三角形の面からなるメッシュを形成し、形成されたメッシュにより表現される障害物を認識して、認識した障害物を回避するように軌道を計画する技術が提案されている。

【0020】

より詳細には、例えば、図１の画像Ｐ１（図１左部）で示されるように、雲が描かれた空Ｃ１、障害物Ｂ１，Ｂ２が撮像されている画像が撮像されると共に、対応する画角のデプス画像（距離画像）が検出される場合について考える。

【0021】

また、このような画像Ｐ１から特徴点が、例えば、画像Ｐ２の丸印で示されるように抽出されるものとする。

【0022】

まず、この画像Ｐ２（図１中央部）内における丸印で示される特徴点を頂点とする三角形の面が形成されることにより、２次元のドロネーメッシュにより障害物が表現されるようにする。

【0023】

そして、特徴点におけるデプス画像の画素のデプス情報（距離情報）に基づいて、２次元のドロネーメッシュで表現された障害物が３次元化されて、３次元のドロネーメッシュＤ１により障害物が表現されて（図１右部）、障害物を回避して、目的地Ｔに向けて移動可能な移動体Ｆの軌道が計画される。

【0024】

図１で示されるように、例えば、移動体Ｆがバツ印で示される目的地Ｔに向かって自律的に移動しようとしている場合、３次元のドロネーメッシュＤ１で表現される障害物がないときには、軌道Ｇ１が計画されることになるが、３次元のドロネーメッシュＤ１で表現される障害物が認識されることにより、認識された障害物を回避するように軌道Ｇ１ではなく、例えば、点線で示される軌道Ｇ２が計画される。

【0025】

結果として、移動体が目的地へ向かう軌道として、障害物を回避する移動経路からなる軌道が計画されることになる。

【0026】

このように、画像Ｐ１内における情報のうち、特徴点におけるデプス情報だけを用いて、３次元のドロネーメッシュＤ１により障害物を表現することで、障害物を回避する軌道を計画することができるので、占有格子地図を形成するよりも軽い情報量で（低レイテンシで）、高速に軌道を計画することが可能となる。

【0027】

しかしながら、このように形成される３次元のドロネーメッシュの場合、図２の画像Ｐ２、および３次元のドロネーメッシュＤ１で示されるように、本来、障害物Ｂ１，Ｂ２が存在しない領域にも、例えば、面Ｍ１，Ｍ２が形成されることにより、回避すべき障害物が存在するかのような情報が形成されることになる。

【0028】

これにより、図３で示されるように、移動体Ｆ１においては、障害物Ｂ１の上空を通過することが可能であるにもかかわらず、面Ｍ１が障害物として認識されることにより、面Ｍ１を回避するような遠回りの軌道Ｇ１１が計画される。

【0029】

また、同様に、図３で示されるように、移動体Ｆ２においては、本来は、障害物Ｂ１，Ｂ２の間を通過することが可能であるにも関わらず、障害物Ｂ１，Ｂ２の間の面Ｍ２が障害物として認識されることにより、面Ｍ２を回避するような遠回りの軌道Ｇ１２が計画される恐れがある。

【0030】

さらに、ドロネーメッシュを用いた軌道の計画においては、障害物の有無のみで軌道が計画されることになるので、例えば、図４の左部で示されるように、移動の恐れもなく、万が一接触があっても影響の小さい樹木Ｔのような障害物を回避するための軌道Ｇ２１と、移動の恐れがあり、万が一にも接触があってはならない人間Ｈのような障害物を回避する軌道Ｇ２２とが、障害物との距離が同一の軌道として計画される。

【0031】

すなわち、移動体１１は、風雨などの影響により、想定した軌道を移動できない可能性があり、大きく軌道から外れると障害物と接触してしまう恐れがある。

【0032】

このため、軌道を計画するにあたっては、接触しても影響の小さい、例えば、樹木Ｔ等が回避すべき障害物である場合には、比較的距離が近い位置に軌道が計画されてもよいが、接触したときの影響が大きい人間Ｈ等が回避すべき障害物である場合には、比較的遠く離れた位置に軌道が計画されるようにすることが望ましい。

【0033】

また、図５で示されるように、電柱Ｐｓが認識されるような場合、電柱Ｐｓを障害物として認識して回避するような軌道Ｇ３１が計画されてしまうと、電柱Ｐｓの付近に存在し得る、画像での認識が難しい電線Ｃｂ等の接触の恐れがあるため、画像内で認識される電柱Ｐｓから電線Ｃｂの存在が推定される範囲を考慮して、例えば、電柱Ｐｓから所定のマージンよりも大きなマージンを考慮した（所定の距離よりも離れた位置に）軌道Ｇ３２などが計画されることが望ましい。

【0034】

すなわち、単に、３次元のドロネーメッシュにより表現される障害物のみを考慮して軌道が計画されると、障害物の種別に応じた障害物との距離が考慮されない軌道が計画される恐れがあるので、必ずしも適切な軌道が計画されず、結果として、移動体の移動に伴って、危険な状態を引き起こしてしまう恐れがあった。

【0035】

そこで、本開示においては、撮像された画像に基づいて、画像内の物体認識処理を行い、認識結果に応じて、同一の種別の物体が存在する範囲の特徴点毎に２次元のドロネーメッシュを形成した上で、デプス情報を用いて、３次元のドロネーメッシュに３次元化して障害物を表現し、軌道を計画する。

【0036】

より具体的なケースとして、空Ｃ１０１、障害物Ｂ１０１，Ｂ１０２、および路面Ｒ１０１が画像内に存在する図６の画像Ｐ１０１が撮像され、同一の画角のデプス画像が検出される場合について考える。

【0037】

この場合、画像Ｐ１０１に基づいた物体認識処理により、空Ｃ１０１、障害物Ｂ１０１，Ｂ１０２、および路面Ｒ１０１の画像内の各領域が認識される。

【0038】

また、画像Ｐ１０２で示されるように、画像Ｐ１０１より特徴点を抽出する。

【0039】

さらに、画像Ｐ１０２で示されるように、物体認識処理により認識された物体の領域毎に、すなわち、障害物Ｂ１０１，Ｂ１０２、および路面Ｒ１０１の領域毎に特徴点を結んで２次元のドロネーメッシュを形成する。

【0040】

このとき、空Ｃ１０１の領域の近傍の特徴点については、障害物には成り得ないので、抽出しないようにして、ドロネーメッシュが形成されないようにする。換言すれば、障害物になり得る領域の近傍に存在する特徴点のみが、障害物の種別毎に接続されてドロネーメッシュが形成されるようにする。

【0041】

そして、デプス画像に基づいて、障害物Ｂ１０１，Ｂ１０２、および路面Ｒ１０１のそれぞれの物体毎の３次元のドロネーメッシュＤ１０１を生成する。

【0042】

このように、認識された物体の種別毎に特徴点が接続されてドロネーメッシュが形成されて、３次元のドロネーメッシュＤ１０１が形成されることにより、物体が存在しない空間にメッシュが形成されないので、障害物を回避する軌道を適切に計画することが可能となる。

【0043】

この際、占有格子地図のように時間方向の畳み込みを前提としない、特徴点のみを用いた処理で障害物の位置を認識することが可能となるので、処理負荷を低減しつつ、高精度に障害物の位置を認識して軌道を計画することが可能となるので、高速で自律移動する移動体における軌道であっても適切に計画することが可能となる。

【0044】

また、障害物の種別を認識することができるので、障害物の種別に応じて、障害物との距離を考慮して軌道を計画することが可能となり、障害物の種別に応じた安全性を確保して移動経路となる軌道を計画することが可能となる。

【0045】

＜＜２．第１の実施の形態＞＞
＜移動体の構成例＞
次に、図７のブロック図を参照して、本開示の技術を適用したドローン等に代表される移動体の構成例について説明する。

【0046】

尚、本明細書においては、移動体がドローンである場合の例について説明を進めるものとするが、移動体は、車両、飛行体、船舶、およびロボット等、移動可能な物体であればいずれであってもよいものである。

【0047】

図７の移動体１１は、制御部３１、カメラ３２、デプスセンサ３３、記憶部３４、および駆動部３５を備えている。

【0048】

制御部３１は、プロセッサやメモリからなり、記憶部３４等に記憶されている所定のプログラムやデータを読み出して、各種の処理を実行し、移動体１１の動作の全体を制御する。

【0049】

また、制御部３１は、軌道計画部５１、および動作制御部５２を備えている。

【0050】

軌道計画部５１は、カメラ３２により撮像された画像（RGB画像）、およびデプスセンサ３３により検出されたデプス画像（ポイントクラウド）に基づいて、移動体１１の移動経路を軌道として計画し、計画した軌道を動作制御部５２に出力する。尚、軌道計画部５１の詳細な構成については、図８を参照して詳細を後述する。

【0051】

動作制御部５２は、軌道計画部５１より供給される、移動体１１の移動経路となる軌道の情報に基づいて、駆動部３５を制御して、移動体１１を計画された軌道に沿って移動させる。

【0052】

カメラ３２は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等のイメージセンサからなり、移動体１１の周囲の画像（RGB画像）を撮像し、撮像した画像を制御部３１の軌道計画部５１に出力する。

【0053】

デプスセンサ３３は、例えば、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）やステレオカメラから構成されており、カメラ３２の画角に対応する範囲のデプス画像（ポイントクラウド）を検出して、検出したデプス画像を制御部３１の軌道計画部５１に出力する。尚、第１の実施の形態においては、デプスセンサ３３は、LiDARであるものとして説明を進める。

【0054】

記憶部３４は、例えば、HDD（Hard Disc Drive）やSSD（Solid State Drive）等からなり、制御部３１により制御されて、各種のプログラムやデータを記憶すると共に、プログラムやデータを供給する。

【0055】

駆動部３５は、ドローンからなる移動体１１の飛行に必要な各種のアクチュエータ、およびモータ等の駆動機構から構成され、動作制御部５２により制御されて、計画された移動経路となる軌道上を移動するように動作させる。

【0056】

尚、移動体１１が、ドローンである場合については、駆動部３５は、飛行に必要とされる駆動機構から構成されるが、車両であれば、走行に必要な駆動機構から構成され、船舶であれば、航行に必要な駆動機構から構成され、ロボットであれば、歩行や走行に必要な駆動機構から構成され、その他、移動体１１の形態に応じた駆動機構から構成される。

【0057】

＜軌道計画部の構成例＞
次に、図８のブロック図を参照して、軌道計画部５１の構成例について説明する。

【0058】

軌道計画部５１は、画像補正処理部７１、セマンティックセグメンテーション処理部７２、記憶部７３、位置補正処理部７４、記憶部７５、特徴点抽出部７６、ドロネーメッシュ作成部７７、メッシュ３次元化部７８、行動計画部７９、および記憶部８０を備えている。

【0059】

画像補正処理部７１は、カメラ３２により撮像された画像に対して、カメラ３２に含まれるレンズにより生じる歪の除去、デモザイク処理、およびガンマ補正処理等の一般的な画像補正処理を施してセマンティックセグメンテーション処理部７２、および特徴点抽出部７６に出力する。

【0060】

尚、画像補正処理部７１によりなされる処理は、セマンティックセグメンテーション処理部７２における具体的なセマンティックセグメンテーションの学習に使用された処理と同一であることが望ましく、同一の処理に近いほど、認識精度を向上させることができる。

【0061】

セマンティックセグメンテーション処理部７２は、例えば、記憶部７３に予め学習により記憶されている学習済みのニューラルネットワークを用いて、カメラ３２により撮像されたRGB画像に基づいて、セマンティックセグメンテーションにより、画素単位で、被写体の種別を分類する。

【0062】

そして、セマンティックセグメンテーション処理部７２は、画像内を同一の種別の領域毎に分割し、分割結果に対応するセマンティクスラベルをセマンティックセグメンテーションの処理結果として付与して特徴点抽出部７６に出力する。

【0063】

尚、セマンティックセグメンテーションにおいては、RGB画像でなくてもよく、例えば、白黒画像であってもよい。また、同一種別の領域で、さらに物体単位の領域にまで分割するインスタンスセグメンテーションであってもよい。

【0064】

また、記憶部７３は、例えば、図７の記憶部３４内の一部の領域により構成されるようにしてもよいし、別途、構成されるようにしてもよい。

【0065】

位置補正処理部７４は、記憶部７５に予め記憶されている、カメラ・デプスセンサ相対位置キャリブレーション情報に基づいて、デプスセンサ３３より供給されるデプス画像（ポイントクラウド）の座標系を、カメラ３２により撮像される画像の座標系に位置補正するように変換し、カメラ３２により撮像された画像に対応する座標系のデプス画像（ポイントクラウド）を生成する。

【0066】

これにより、デプスセンサ３３により検出されたデプス画像（ポイントクラウド）の各画素の座標系が、カメラ３２により撮像された画像の座標系に変換されて、カメラ３２により撮像されたRGB画像の画素と対応する位置に、距離情報が重畳されたデプス画像（ポイントクラウド）が生成されて、特徴点抽出部７６、およびメッシュ３次元化部７８に出力される。

【0067】

また、記憶部７５は、例えば、図７の記憶部３４内の一部の領域により構成されるようにしてもよいし、別途、構成されるようにしてもよい。

【0068】

特徴点抽出部７６は、画像補正処理部７１より供給されるRGB画像、セマンティックセグメンテーション処理部７２より供給されるセマンティックセグメンテーションの処理結果、およびRGB画像上に重畳されたデプス画像（ポイントクラウド）に基づいて、２次元のドロネーメッシュを形成する三角形の頂点となる特徴点を抽出し、ドロネーメッシュ作成部７７に出力する。

【0069】

この際、特徴点抽出部７６は、各特徴点に対して、対応するセマンティクスラベルを付与する。

【0070】

ここで、使用する特徴点は、例えば、カメラ３２の座標系に変換されたデプス画像におけるデプス情報を備えた画素位置としてもよい。

【0071】

すなわち、ここでは、デプスセンサ３３は、LiDARであり、カメラ３２により撮像される画像内の画素密度に対して、LiDARにより検出されるデプス情報を備えた画素の密度は希薄であるので、そのまま特徴点として使用するようにしてもよい。

【0072】

尚、以降においては、特徴点抽出部７６は、デプス画像におけるデプス情報を備えた画素位置の情報を、特徴点として抽出するものとして説明を進めるが、その他の条件からなる特徴点を抽出するようにしてもよい。

【0073】

ドロネーメッシュ作成部７７は、特徴点抽出部７６より供給された特徴点に基づいて、特徴点を頂点とする三角形の面を形成して、画像内における２次元のドロネーメッシュを作成し、メッシュ３次元化部７８に出力する。

【0074】

この際、ドロネーメッシュ作成部７７は、同一のセマンティクスラベルが付与された特徴点同士を頂点とする三角形の面を形成して、２次元のドロネーメッシュを作成する。

【0075】

メッシュ３次元化部７８は、ドロネーメッシュ作成部７７より供給される２次元のドロネーメッシュと、位置補正処理部７４より供給されるデプス画像（ポイントクラウド）とに基づいて、２次元のドロネーメッシュを３次元化して、３次元のドロネーメッシュを生成して行動計画部７９に出力する。

【0076】

この際、メッシュ３次元化部７８は、同一のセマンティクスラベルが付与された特徴点を頂点とする三角形の面が形成されるように接続された２次元のドロネーメッシュを、対応するデプス画像（ポイントクラウド）のデプス情報（距離情報）に基づいて、３次元化して、３次元のドロネーメッシュとして行動計画部７９に出力する。尚、三角形の一辺の長さが、３次元距離で極端に長い場合は、この時点でメッシュから極端に長い辺を含む三角形を除去しても良い。

【0077】

行動計画部７９は、メッシュ３次元化部７８より供給される３次元のドロネーメッシュに基づいて、移動体１１の移動経路である軌道を計画し、計画した軌道を動作制御部５２に出力する。

【0078】

この際、行動計画部７９は、記憶部８０に記憶されているセマンティクスラベル毎の距離に対する重み係数を用いて、障害物との距離を設定し、移動体１１の移動経路である軌道を計画する。

【0079】

また、記憶部８０は、例えば、図７の記憶部３４内の一部の領域により構成されるようにしてもよいし、別途、構成されるようにしてもよい。

【0080】

＜セマンティックセグメンテーション＞
次に、図９を参照して、セマンティックセグメンテーション処理部７２によるセマンティックセグメンテーションについて説明する。

【0081】

例えば、カメラ３２が、図９の左部で示されるように、静止構造物１１２－１，１１２－２に左右から挟まれた空間内に路面１１１があり、その路面１１１上に人１１４が存在し、その奥に空１１３が見えるような構図となる画角Ｚ１７１でRGB画像からなる画像Ｐ１７１を撮像することを考える。

【0082】

セマンティックセグメンテーション処理部７２は、記憶部７３に記憶された予めディープラーニング等の機械学習により学習済みのニューラルネットワークを読みだして用い、図９の右上部で示されるように、RGB画像からなる画像Ｐ１７１に基づいて、画像Ｐ１７１内の被写体の種別を画素単位で分類し、セマンティクスラベルとしてラベリングする。

【0083】

図９の右上部で示されるRGB画像からなる画像Ｐ１７１の場合、例えば、図９の右下部のラベリング画像Ｐ１８１で示されるように、セマンティックセグメンテーションにより物体の種別が分類されて分類結果に応じたセマンティクスラベルがラベリングされる。

【0084】

すなわち、ラベリング画像Ｐ１８１においては、画像内の下部における領域Ｚ１１１に属する各画素が、路面１１１として分類され、領域Ｚ１１２－１，Ｚ１１２－２に属する画素が、それぞれ左右の静止構造物１１２－１，１１２－２として分類され、領域Ｚ１１３に属する画素が、奥手の上方の空１１３として分類され、領域Ｚ１１４に属する画素が、人１１４として分類されている。

【0085】

セマンティックセグメンテーション処理部７２は、図９の例以外にも、RGB画像と距離画像とに基づいて、例えば、RGB画像内の路面、静止構造物（壁、ガードレール、木、電柱など）、車両（自動車、トラック、バスなど）、二輪車（バイク、自転車）、人、水平バー（踏切、ETCバー、駐車場ゲートのバー）、空を画素単位で識別し、ラベリングする。

【0086】

尚、セマンティックセグメンテーションは、機械学習により、RGB画像のみでも、デプス画像のみでも、両者を組み合わせても被写体を分類することは可能であるため、それらのいずれかにより実現されるようにしてもよい。

【0087】

＜デプスセンサの測定結果であるデプス画像のカメラにより撮像された画像への重畳＞
次に、図１０を参照して、位置補正処理部７４による、LiDARやステレオカメラ等からなるデプスセンサ３３により測定される３次元空間内における点群の情報からなるデプス画像（ポイントクラウド）の各画素を、カメラ３２により撮像された画像の座標系の画素に重畳してデプス画像を生成する処理について説明する。

【0088】

尚、ここでは、デプスセンサ３３がLiDARであるものとして説明を進めるものとするが、ステレオカメラ等であっても同様である。

【0089】

例えば、図１０の左上部で示される、カメラ３２の画像Ｐ１５１に対して、LiDAR３３の投光方向Ｌ_p毎の測距結果を重畳させることにより距離画像（デプス画像）が生成される。

【0090】

LiDAR３３とカメラ３２との相対位置、並びにカメラ３０２の画像中心および焦点距離の情報は、事前のキャリブレーションにより予め記憶部７５にカメラ・デプスセンサ相対位置キャリブレーション情報（事前情報）として記憶されている。そこで、位置補正処理部７４は、記憶部７５に記憶されているカメラ・デプスセンサ相対位置キャリブレーション情報を利用して、以下のような演算によりデプス画像を生成する。

【0091】

まず、位置補正処理部７４は、LiDARからなるデプスセンサ３３の座標系を、カメラ３２の座標系に統合する。

【0092】

すなわち、図１０の右上部で示されるように、LiDARからなるデプスセンサ３３の座標系である、座標X_LiDAR（＝［x_l,y_l,z_l］の転置行列）と、カメラ３０２の座標系の撮像面Ｄ上の座標X_cam（＝［x_c,y_c,z_c］の転置行列）との相対位置関係は、キャリブレーションにより事前情報として知られており、例えば、以下の式（１）として求められている。

【0093】

X_cam＝RX_LiDAR+T
・・・（１）

【0094】

ここで、Rは、LiDARからなるデプスセンサ３３とカメラ３２との間の予めキャリブレーションにより既知にされている回転を示す回転行列であり、Tは、やはりキャリブレーションにより予め既知にされている並進ベクトルである。

【0095】

上述した式（１）が演算されることにより、LiDARからなるデプスセンサ３３の座標系の情報として測定された測距結果の点Xの座標が、カメラ座標系に変換される。

【0096】

次に、位置補正処理部７４は、LiDAR３３の測距結果と、カメラ３２の撮像面上の座標系とを対応付ける。

【0097】

すなわち、LiDARからなるデプスセンサ３３により検出された障害物の座標X_cam（＝［x_c,y_c,z_c］転置）が求められると、図１０の右下部で示されるように、撮像面Ｄ内における障害物の撮像面Ｄの画像中心P_cを基準とした、像面内のx_i座標を以下の式（２）として求めることができる。

【0098】

x_i＝ｆ×x_c／z_c
・・・（２）

【0099】

ここで、fは、カメラ３２の焦点距離である。

【0100】

また、同様に、y_i座標を以下の式（３）により求めることができる。

【0101】

y_i＝ｆ×y_c／z_c
・・・（３）

【0102】

結果として、撮像面Ｄ上の障害物の位置を特定することができる。

【0103】

すなわち、LiDARからなるデプスセンサ３３で検出された３次元の点の座標X_LiDAR（＝[x_l,y_l,z_l]）は、投光方向に基づいて、カメラ３２の座標系における３次元の点の座標X_cam（＝[x_c,y_c,z_c]）に変換される。さらに、カメラ３２の座標系における３次元の点の座標X_cam（＝[x_c,y_c,z_c]）に対応する撮像面Ｄを中心とした撮像面上の座標（x_i，y_i）は、式（２），式（３）により、カメラ３２の焦点距離fに基づいて算出される。

【0104】

この処理により、位置補正処理部７４は、図１０の左下部で示されるような距離画像Ｐ１５２を生成する。

【0105】

距離画像Ｐ１５２は、カメラ３２の画像と同一の画素配置とされており、上述した座標系の変換により、各画素（x_i,y_i）のうち、LiDAR３３の投光方向であり測距結果がある場合については、対応付けて距離データ（図１０の右下部におけるz_c）が格納されており、投光方向ではなく測距結果がない場合、例えば、０が距離のデータとして格納されている。

【0106】

＜特徴点の抽出＞
次に、図１１を参照して、特徴点抽出部７６における特徴点の抽出方法について説明する。

【0107】

例えば、図１１の左部で示されるように、路面Ｒ１０１上に障害物Ｂ１０１，Ｂ１０２が存在し、さらに、その上に空Ｃ１０１が含まれる画像Ｐ２０１について考える。

【0108】

この画像Ｐ２０１内の丸印で示される位置が、図１０におけるLiDAR３３の投光方向Ｌ_p毎の測距結果が重畳されている。

【0109】

特徴点抽出部７６は、例えば、図１１の右上部で示されるように、LiDAR３３の投光方向Ｌ_p毎の測距結果からなる丸印の、セマンティクスラベルのうち、障害物となり得ない空Ｃ１０１以外の丸印の点を、セマンティクスラベルを付して特徴点として抽出する。

【0110】

このように、移動体１１の移動における障害物になり得るセマンティクスラベルが付された特徴点のみが抽出されることにより、抽出された特徴点により障害物として認識すべき物体が存在する領域にドロネーメッシュを形成することが可能となるので、障害物を回避する軌道を計画することが可能となる。

【0111】

また、抽出された特徴点により障害物として認識すべき物体が存在する領域にドロネーメッシュを形成することが可能となるように特徴点が抽出されればよいので、障害物となり得る物体の存在する領域の境界に存在する特徴点が抽出されるようにしてもよい。

【0112】

すなわち、図１１の右下部で示されるように、特徴点抽出部７６は、図１１の左部の丸印のうち、路面Ｒ１０１および空Ｃ１０１と障害物Ｂ１０１との境界、路面Ｒ１０１および空Ｃ１０１と障害物Ｂ１０２との境界、路面Ｒ１０１と空Ｃ１０１との境界のそれぞれに存在する丸印を特徴点として抽出するようにしてもよい。

【0113】

より詳細には、特徴点抽出部７６は、点線で示される特徴点の周囲の領域ＳＬで示されるように、各丸印（Ｌ_p）について、矢印で示される水平方向、および垂直方向に隣接する丸印におけるセマンティクスラベルが異なる場合、デプス画像に基づいたデプス情報（距離情報）の差分が所定値よりも大きい場合、または、隣接する特徴点との間にエッジが存在する場合の少なくともいずれかの条件を満たすとき、特徴点として抽出するようにしてもよい。

【0114】

このようにすることで、抽出される特徴点をより希薄にすることが可能となるので、処理負荷をさらに低減しつつ、適切に障害物の位置を特定することが可能となる。

【0115】

＜ドロネーメッシュの作成＞
次に、図１２を参照して、ドロネーメッシュ作成部７７による２次元のドロネーメッシュの作成について説明する。

【0116】

ドロネーメッシュ作成部７７は、特徴点抽出部７６より供給される特徴点を、付されているセマンティクスラベル毎に接続して、三角形状の面からなる２次元ドロネーメッシュを作成する。

【0117】

すなわち、例えば、図１２の画像Ｐ２３１で示されるように、黒丸印で示される障害物Ｂ１０１のセマンティクスラベルが付された特徴点、白丸印で示される障害物Ｂ１０２のセマンティクスラベルが付された特徴点、および、白の四角印で示される路面Ｒ１０１のセマンティクスラベルが付された特徴点が、それぞれ特徴点として抽出された場合について考える。

【0118】

このような場合、ドロネーメッシュ作成部７７は、図１２の画像Ｐ２３２で示されるように、黒丸印で示される障害物Ｂ１０１のセマンティクスラベルが付された特徴点を接続して、２次元のドロネーメッシュＭＢ１０１を作成する。

【0119】

また、ドロネーメッシュ作成部７７は、白丸印で示される障害物Ｂ１０２のセマンティクスラベルが付された特徴点を接続して、２次元のドロネーメッシュＭＢ１０２を作成する。

【0120】

さらに、ドロネーメッシュ作成部７７は、路面Ｒ１０１のセマンティクスラベルが付された特徴点を接続して、２次元のドロネーメッシュＭＲ１０１を作成する。

【0121】

すなわち、画像Ｐ２３１のような場合、ドロネーメッシュ作成部７７は、画像Ｐ２３２で示されるように、同一のセマンティクスラベル毎に特徴点を接続して、障害物Ｂ１０１のドロネーメッシュＭＢ１０１、障害物Ｂ１０２のドロネーメッシュＭＢ１０２、および、路面Ｒ１０１のドロネーメッシュＭＲ１０１を合成した２次元のドロネーメッシュを作成する。

【0122】

＜ドロネーメッシュの３次元化＞
次に、図１３を参照して、メッシュ３次元化部７８による、２次元のドロネーメッシュの３次元化処理について説明する。

【0123】

メッシュ３次元化部７８は、ドロネーメッシュ作成部７７より供給される２次元のドロネーメッシュを、デプス画像（ポイントクラウド）におけるデプス情報に基づいて、３次元化し、３次元のドロネーメッシュを生成する。

【0124】

例えば、図１３の左部で示されるように、図１２の画像Ｐ２３１に対応する障害物Ｂ１０１のドロネーメッシュＭＢ１０１、障害物Ｂ１０２のドロネーメッシュＭＢ１０２、および、路面Ｒ１０１のドロネーメッシュＭＲ１０１を合成した２次元のドロネーメッシュが供給された場合について考える。

【0125】

この場合、メッシュ３次元化部７８は、障害物Ｂ１０１のドロネーメッシュＭＢ１０１、障害物Ｂ１０２のドロネーメッシュＭＢ１０２、および、路面Ｒ１０１のドロネーメッシュＭＲ１０１のそれぞれの特徴点のデプス情報（距離情報）を用いて、例えば、図１３の右部で示されるように、デプス情報に応じた位置に特徴点を配置することで、３次元化してドロネーメッシュＤ１１１を生成する。

【0126】

より詳細には、３次元のドロネーメッシュＤ１１１においては、メッシュ３次元化部７８は、障害物Ｂ１０１のドロネーメッシュＭＢ１０１を、特徴点の距離情報に基づいて、３次元化することで３次元のドロネーメッシュＴＭＢ１０１を生成する。

【0127】

また、メッシュ３次元化部７８は、障害物Ｂ１０２のドロネーメッシュＭＢ１０２を、特徴点の距離情報に基づいて、３次元化することで３次元のドロネーメッシュＴＭＢ１０２を生成する。

【0128】

さらに、メッシュ３次元化部７８は、路面Ｒ１０１のドロネーメッシュＭＲ１０１を、特徴点の距離情報に基づいて、３次元化することで３次元のドロネーメッシュＴＭＲ１０１を生成する。

【0129】

このように、メッシュ３次元化部７８は、障害物Ｂ１０１の２次元のドロネーメッシュＭＢ１０１、障害物Ｂ１０２の２次元のドロネーメッシュＭＢ１０２、および、路面Ｒ１０１の２次元のドロネーメッシュＭＲ１０１を、それぞれ３次元化して、障害物Ｂ１０１の３次元のドロネーメッシュＴＭＢ１０１、障害物Ｂ１０２の３次元のドロネーメッシュＴＭＢ１０２、および、路面Ｒ１０１の３次元のドロネーメッシュＴＭＲ１０１を生成し、合成して、３次元のドロネーメッシュＤ１１１を生成する。

【0130】

このように３次元のドロネーメッシュＤ１１１が生成されることにより、異なる障害物間の特徴点が接続されることで面が形成されることがなくなるので、障害物がない空間に障害物が存在するかのようなドロネーメッシュにおける面が形成されないので、障害物の位置を適切に認識することが可能となる。

【0131】

障害物の種別を認識して、障害物の位置を適切に認識することが可能となる。

【0132】

＜行動計画＞
次に、図１４乃至図１６を参照して、行動計画部７９による移動体の移動経路からなる軌道を計画することによる行動計画について説明する。

【0133】

行動計画部７９は、記憶部８０に記憶されているセマンティクスラベル毎に設定された距離に対する重み係数を読みだして、最適な移動経路からなる軌道を計画する。

【0134】

より詳細には、行動計画部７９は、現在位置からの目的地に向けて、計画可能な軌道を軌道候補として計画する。そして、行動計画部７９は、計画した全ての軌道候補のそれぞれに評価関数を用いて評価値を計算して、最高の評価値となる軌道候補を最適な軌道として選択する。

【0135】

より具体的には、行動計画部７９は、まず、図１４で示されるように、現在位置となる移動体１１が、目的地Ｔｐに移動するために、軌道候補Ｇ５１乃至Ｇ５９を計画する場合について考える。

【0136】

行動計画部７９は、まず、障害物Ｂ１２１を回避可能な軌道候補を選択する。

【0137】

障害物Ｂ１２１を回避可能な軌道候補の選択に当たっては、障害物Ｂ１２１のセマンティクスラベルに応じた距離分だけマージンを取った、図中の障害物Ｂ１２１の周囲の点線で囲まれた範囲を回避可能な軌道候補を選択する。

【0138】

すなわち、図１４においては、軌道候補Ｇ５１乃至Ｇ５３、および軌道候補Ｇ５７乃至Ｇ５９が選択される。

【0139】

尚、マージンについては、障害物Ｂ１２１のセマンティクスラベルに応じて設定される。

【0140】

すなわち、図１５で示されるように、障害物Ｂ１３１が、例えば、樹木や建造物などの大きさが高精度に認識可能であって、接触に際しても大きな影響がないセマンティクスラベルが設定されている場合については、行動計画部７９は、例えば、マージンを距離ｒ１に設定し、軌道候補Ｇ７１を選択する。

【0141】

これに対して、障害物Ｂ１３２が、例えば、人間や動物、または、付近に電線などのカメラにより撮像される画像からでは認識精度が不十分な可能性があり、かつ、接触に際しても大きな影響が生じる恐れのある電柱などのセマンティクスラベルが設定されている場合については、行動計画部７９は、例えば、マージンを大きくして、例えば、距離ｒ２（＞ｒ１）に設定し、軌道候補Ｇ７２を選択する。

【0142】

このように障害物のセマンティクスラベル、すなわち、障害物の種別に応じてマージンの大きさを変化させることにより、接触による影響を考慮して移動経路からなる軌道候補を選択することが可能となり、安全性を考慮した軌道の計画が可能となる。

【0143】

また、行動計画部７９は、障害物の回避が可能な軌道候補Ｇ５１乃至Ｇ５３、および軌道候補Ｇ５７乃至Ｇ５９のそれぞれについて、軌道候補毎のHeading角度θ、移動速度ｖ、および障害物からの距離ｄに基づいた、以下の式（４）で示される評価関数を用いて評価値Ｆを計算する。

【0144】

Ｆ＝ω_θ・Ｅ_θ+ω_v・Ｅ_v+ω_d・Ｅ_d
・・・（４）

【0145】

ここで、ω_θ，ω_v，ω_dは、Heading角度θ、移動速度ｖ、および障害物からの距離ｄのそれぞれに対する重みである。

【0146】

また、Ｅ_θは、現在の移動体１１から目的地までの直線方向に対する移動方向の成す角である、Heading角度θの評価関数であり、目的地に対してなす角が小さい程、すなわち、目的地に向かっているほど大きな評価値となり、逆に、目的地に対する方向から離れて、遠回りになるほど小さな評価値となる。

【0147】

Ｅ_vは、移動速度ｖに対する評価値であり、移動速度ｖが大きい程、大きな評価値となり、逆に、移動速度ｖが小さい程、すなわち、目的地の到着に時間が掛かるほど小さな評価値となる。

【0148】

Ｅ_dは、障害物からの距離ｄに対する評価値であり、障害物からの距離が遠い程大きな評価値となり、逆に障害物からの距離が近い程、すなわち、接触の恐れが高い程、小さな評価値となる。

【0149】

ここで、障害物からの距離ｄに対する評価値Ｅ_dは、軌道上のサンプル点毎に求められる以下の式（５）で表される評価値の最小値とされる。

【0150】

Ｅ_d＝min（α_S・dist（Ｓ））
・・・（５）

【0151】

ここで、α_Sは、セマンティクスラベルＳに応じて事前に設定された重みであり、dist（Ｓ）は、各軌道上の各サンプル点からセマンティクスラベルＳが設定された障害物までの最短距離であり、minは、セマンティクスラベルＳに対して、α_Sとdist（Ｓ）の積の値を評価したときに、その最小値を出力するものである。最終的に、セマンティクスラベルＳに応じて事前に設定された重みα_Sは、小さいほど、セマンティクスラベルＳの障害物から、より離れた軌跡が選択されやすくなる。

【0152】

より具体的には、図１６で示されるように、障害物Ｂ１５１，Ｂ１５２が存在し、軌道Ｌ１５１が計画された場合、軌道上のサンプル点Ｓｐ１乃至Ｓｐ５が設定されるとき、それぞれのサンプル点Ｓｐ１乃至Ｓｐ５における障害物Ｂ１５１，Ｂ１５２との最短距離が距離Ｄ１５１－１乃至Ｄ１５１－５、および距離Ｄ１５２－１乃至Ｄ１５２－５として求められることになる。

【0153】

ここで、障害物Ｂ１５１に対する距離が最短となるのは、距離Ｄ１５１－５であり、障害物Ｂ１５２に対する距離が最短となるのは、距離Ｄ１５２－４である。

【0154】

このため、障害物Ｂ１５１のセマンティクスラベルがＬＢ１５１である場合、図１６の軌道Ｌ１５１における、障害物Ｂ１５１に対する評価値Ｅ_{d_B151}は、α_LB151・dist（ＬＢ１５１）＝α_LB151×距離Ｄ１５１－５となる。ここで、α_LB151は、セマンティクスラベルＬＢ１５１に応じて事前に設定された重みである。

【0155】

また、障害物Ｂ１５２のセマンティクスラベルがＬＢ１５２である場合、図１６の軌道Ｌ１５１における、障害物Ｂ１５２に対する評価値Ｅ_{d_B152}は、α_LB152・dist（ＬＢ１５２）＝α_LB152×距離Ｄ１５２－４となる。ここで、α_LB152は、セマンティクスラベルＬＢ１５２に応じて事前に設定された重みである。

【0156】

したがって、図１６における軌道Ｌ１５１の評価値Ｅ_dは、評価値Ｅ_{d_B151}と評価値Ｅ_{d_B152}とに基づいて求められ、例えば、評価値Ｅ_{d_B151}と評価値Ｅ_{d_B152}との最小値min（Ｅ_{d_B151,} Ｅ_{d_B152}）とされる。また、最小値でなく、平均値を用いても良い。

【0157】

すなわち、行動計画部７９は、障害物の回避が可能な軌道のうち、式（４）の評価関数により計算される評価値Ｆが最大となる軌道候補を軌道として選択する。

【0158】

図１４においては、障害物の回避が可能な軌道候補Ｇ５１乃至Ｇ５３、および軌道候補Ｇ５７乃至Ｇ５９の、それぞれについて、評価関数より評価値Ｆが計算されて、評価値Ｆが最大の軌道候補が軌道として選択され、例えば、一点鎖線で示される軌道候補Ｇ５３が、評価値が最大とされて、軌道として選択されるときの例が示されている。

【0159】

＜図８の軌道計画部による軌道計画処理＞
次に、図１７のフローチャートを参照して、図８の軌道計画部による軌道計画処理について説明する。

【0160】

ステップＳ１１において、カメラ３２は、画像を撮像し（キャプチャし）、画像補正処理部７１に出力する。

【0161】

ステップＳ１２において、画像補正処理部７１は、カメラ３２により撮像された画像に対して、カメラ３２に含まれるレンズにより生じる歪の除去、デモザイク処理、およびガンマ補正処理等の一般的な画像補正処理を施して、セマンティックセグメンテーション処理部７２、および特徴点抽出部７６に出力する。

【0162】

ステップＳ１３において、セマンティックセグメンテーション処理部７２は、記憶部７３に予め学習により記憶されている学習済みのニューラルネットワークを用いて、カメラ３２により撮像されたRGB画像に基づいて、セマンティックセグメンテーションにより、画素単位で、被写体の種別を分類し、分類結果に対応するセマンティクスラベルに応じて領域分割し、セマンティックセグメンテーションの処理結果として特徴点抽出部７６に出力する。

【0163】

ステップＳ１４において、デプスセンサ３３は、カメラ３２の撮像範囲を含む範囲のデプス画像（ポイントクラウド）を検出し、位置補正処理部７４に出力する。

【0164】

ステップＳ１５において、位置補正処理部７４は、記憶部７５に予め記憶されている、カメラ・デプスセンサ相対位置キャリブレーション情報に基づいて、デプスセンサ３３より供給されるデプス画像（ポイントクラウド）の座標系を、カメラ３２により撮像される画像の座標系に位置補正するように変換し、カメラ３２により撮像された画像に対応する座標系のデプス画像（ポイントクラウド）を生成して、特徴点抽出部７６、およびメッシュ３次元化部７８に出力する。

【0165】

ステップＳ１６において、特徴点抽出部７６は、画像補正処理部７１より供給されるRGB画像、セマンティックセグメンテーション処理部７２より供給されるセマンティックセグメンテーション処理結果（セマンティクスラベルの領域分割結果）、およびRGB画像上に重畳されたデプス画像（ポイントクラウド）に基づいて、ドロネーメッシュを形成する三角形の頂点となる特徴点を抽出し、ドロネーメッシュ作成部７７に出力する。

【0166】

この際、特徴点抽出部７６は、各特徴点に対して、対応するセマンティクスラベルを付与する。特徴点は、RGB画像上にデプス情報（距離情報）が重畳された画素位置の画素である。

【0167】

ステップＳ１７において、ドロネーメッシュ作成部７７は、特徴点抽出部７６より供給された特徴点に基づいて、同一のセマンティクスラベル毎に、特徴点を頂点とする三角形の面で分割して、画像内における２次元のドロネーメッシュを作成し、メッシュ３次元化部７８に出力する。

【0168】

ステップＳ１８において、メッシュ３次元化部７８は、ドロネーメッシュ作成部７７より供給される２次元のドロネーメッシュと、位置補正処理部７４より供給されるデプス画像（ポイントクラウド）とに基づいて、２次元のドロネーメッシュを３次元化して、３次元のドロネーメッシュとして行動計画部７９に出力する。

【0169】

ステップＳ１９において、行動計画部７９は、３次元のドロネーメッシュに基づいて、セマンティクスラベル毎に障害物までの距離を計算する。この際、障害物までの距離については、セマンティクスラベルに応じたマージンを含めて計算されるようにする。

【0170】

ステップＳ２０において、行動計画部７９は、目的地に向かう複数の軌道候補を計画する。

【0171】

ステップＳ２１において、行動計画部７９は、セマンティクスラベルに応じた重みを付して、軌道候補のそれぞれの評価関数を用いて評価値を算出し、軌道候補を評価する。

【0172】

ステップＳ２２において、行動計画部７９は、軌道候補のうち、評価値が最も高い軌道候補を選択し、選択した軌道候補を最適な軌道として動作制御部５２に出力する。

【0173】

以上の処理により、セマンティクスラベル毎に、ドロネーメッシュが形成され、さらに、デプス画像（ポイントクラウド）により３次元化されることにより、障害物の位置を適切に把握することが可能となる。

【0174】

これにより、障害物のない領域にもかかわらず、障害物があるかのようにメッシュが形成されることがなくなるので、障害物がない空間を回避するような、不要な遠回りの軌道が生成されることを防止することが可能となる。

【0175】

また、セマンティクスに応じて、障害物までの距離に応じたマージンを設定することが可能となるので、障害物の種別に応じた適切な距離だけ離れた軌道を計画することが可能となる。これにより、安全性を確保しつつ、適切な軌道を計画することが可能となる。

【0176】

さらに、評価関数に基づいて、Heading角度、移動速度、および障害物までの距離に応じた軌道候補の評価値を求め、求められた評価値に基づいて、最適な軌道を選択することが可能となる。

【0177】

尚、以上においては、特徴点を用いてドロネーメッシュにより障害物を表現する例について説明してきたが、特徴点を用いて障害物を表現することができればよいので、ドロネーメッシュ以外の手法でメッシュを構成するようにしてもよい。

【0178】

＜＜３．第２の実施の形態＞＞
以上においては、カメラ３２により撮像されるRGB画像と、デプスセンサ３３により検出されるデプス画像（ポイントクラウド）とを用いて、３次元のドロネーメッシュを生成することで、障害物の位置を適切に認識して、軌道を計画する例について説明してきた。

【0179】

しかしながら、デプスセンサ３３に代えて、さらにもう１つのカメラを設けて、合計２つのカメラから構成されるステレオカメラを用いて、デプス画像（ポイントクラウド）を取得して、軌道を計画するようにしてもよい。

【0180】

図１８は、デプスセンサ３３に代えて、さらにもう１つのカメラを設けて、合計２つのカメラから構成されるステレオカメラを用いて、軌道を計画するようにした移動体１１の構成例を示している。

【0181】

尚、図１８の移動体１１において、図７の移動体１１と同一の機能を備えた同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。

【0182】

すなわち、図１８の移動体１１において、図７の移動体１１と異なる点は、カメラ３２、およびデプスセンサ３３に代えて、ステレオカメラ２０１が設けられた点である。

【0183】

ステレオカメラ２０１は、視差が生じるように設けられたカメラ２１１－１，２１１－２を備えており、それぞれが画像を撮像して、軌道計画部５１に出力する。

【0184】

カメラ２１１－１，２１１－２は、いずれもカメラ３２と同一の機能を備えたカメラである。

【0185】

カメラ２１１－１，２１１－２により撮像される画像は、相互に視差画像とされ、視差により軌道計画部５１において、上述したデプスセンサ３３により取得されるデプス画像（ポイントクラウド）と対応するデプス画像が形成される。

【0186】

したがって、カメラ２１１－１，２１１－２のいずれか一方の画像が基準として用いられると共に、２枚の画像より得られるデプス画像（ポイントクラウド）が用いられることで、基本的には、図７の移動体１１における場合と同様の処理で３次元のドロネーメッシュが形成されて軌道が計画される。

【0187】

＜図１８の移動体における軌道計画部の構成例＞
次に、図１９を参照して、図１８の移動体１１における軌道計画部５１の構成例について説明する。

【0188】

尚、図１９の軌道計画部５１において、図８の軌道計画部５１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

【0189】

図１９の軌道計画部５１において、図８の軌道計画部５１と異なる点は、画像補正処理部７１、位置補正処理部７４、および記憶部７５に代えて、画像補正処理部２３１－１，２３１－２、記憶部２３２－１，２３２－２、視差推定部２３３、およびデプス信頼度フィルタリング部２３４を備えている点である。

【0190】

画像補正処理部２３１－１，２３１－２は、それぞれカメラ２１１－１，２１１－２により撮像された画像に対して、カメラ２１１－１，２１１－２のそれぞれに含まれるレンズにより生じる歪の除去、デモザイク処理、ガンマ補正処理等の一般的な画像補正処理を施す。

【0191】

また、画像補正処理部２３１－１，２３１－２は、予め記憶部２３２－１，２３２－２に記憶されている、視差を有するカメラ２１１－１，２１１－２により撮像される画像の相対的な位置関係を補正するためのステレオカメラキャリブレーション情報に基づいて、画像を補正する。

【0192】

そして、画像補正処理部２３１－１は、補正処理が施された画像を、セマンティックセグメンテーション処理部７２、および特徴点抽出部７６に出力すると共に、視差推定部２３３に出力する。

【0193】

画像補正処理部２３１－２は、補正処理が施された画像を、視差推定部２３３に出力する。

【0194】

尚、図１９の軌道計画部５１においては、図８の軌道計画部５１におけるカメラ３２に対応する基準となる画像をカメラ２１１－１により撮像される画像とする場合の構成例が示されているが、カメラ２１１－２により撮像される画像を基準とするようにしてもよい。

【0195】

視差推定部２３３は、画像補正処理部２３１－１，２３１－２より供給される２枚の画像の左右の視差を推定し、デプス画像（ポイントクラウド）を生成して、デプス信頼度フィルタリング部２３４に出力する。

【0196】

より詳細には、視差推定部２３３は、画像補正処理部２３１－１より供給される画像を基準として、パターンマッチング等により、画像補正処理部２３１－２より供給される画像との視差（画素のずれ）を求め、求められた視差に基づいてデプス画像を生成する。

【0197】

デプス信頼度フィルタリング部２３４は、視差推定部２３３より供給されるデプス画像（ポイントクラウド）を記憶するとともに、過去のデプス画像を取得したタイミングからの自己位置の変位に基づいて、現在のデプス画像を過去のデプス画像として投影し、過去のデプス画像とのデプス情報の差分であるデプス差分を画素単位で求め、デプス差分に基づいて、画素単位でデプス情報の信頼性を求める。

【0198】

そして、デプス信頼度フィルタリング部２３４は、画素毎に求めた信頼性に基づいて、後段に出力するデプス情報をフィルタリングし、信頼度の高いデプス情報のみからなるデプス画像（ポイントクラウド）を生成して特徴点抽出部７６、およびメッシュ３次元化部７８に出力する。

【0199】

一般的にステレオカメラ２０１によるデプス情報は、LiDAR等を用いたデプスセンサ３３と比べ、環境依存性が高く、誤マッチングによるエラーが多いことが知られている。

【0200】

したがって、そのままドロネーメッシュの作成に用いると、誤マッチングによるエラーの影響で、ドロネーメッシュの時間変動が激しくなり、軌道計画に悪影響が出てしまう恐れがある。

【0201】

そこで、ここでは、デプス情報の信頼性を評価し、信頼度が低いものはフィルタリング（除去）されるようにする。

【0202】

以上においては、信頼度フィルタリングの指標としてデプス差分を用いる例について説明しているが、これ以外の指標を用いるようにしてもよく、例えば、ステレオマッチング時のマッチング誤差を用いるようにしてもよい。

【0203】

また、視差推定の入力画像において、テクスチャやエッジが存在する範囲はデプス情報の精度が高くなることが知られているので、信頼度フィルタリングの指標として、テクスチャやエッジ強度を使用するようにしてもよい。

【0204】

さらに、信頼度フィルタリングの指標としては、Median Filter等を用いた空間的な分布や時間的安定性を用いるようにしてもよい。

【0205】

尚、デプス信頼度フィルタリング部２３４の詳細な構成について、図２０を参照して詳細を後述する。

【0206】

自己位置変位検出部２３５は、例えば、モーションセンサなどからなり、過去のデプス画像を取得したタイミングと、現在のデプス画像を取得したタイミングとの間の自己位置の変位を検出し、デプス信頼度フィルタリング部２３４に出力する。

【0207】

＜デプス信頼度フィルタリング部の構成例＞
次に、図２０を参照して、デプス信頼度フィルタリング部２３４の構成例について説明する。

【0208】

デプス信頼度フィルタリング部２３４は、バッファ２５１、プロジェクション部２５２、デプス差分計算部２５３、および閾値比較部２５４を備えている。

【0209】

バッファ２５１は、供給されたデプス画像を記憶し、新たなデプス画像が供給される度に、上書きして記憶する。その際、バッファ２５１は、新たなデプス画像を上書きして記憶する直前に、直前に記憶していたデプス画像をデプス差分計算部２５３に出力する。尚、バッファ２５１の画像を更新するかどうかは、自己位置の変位情報を用いて、ある一定距離、もしくは、角度の変化が発生したときにだけ、更新するようにしても良い。

【0210】

プロジェクション部２５２は、新たなデプス画像が供給されるとき、直前のデプス画像が供給されたタイミングから今現在までの自己位置変位情報を取得し、自己位置変位情報に基づいて、今現在のデプス画像を過去のデプス画像が供給されたタイミングにおける自己位置におけるデプス画像として投影し、取得した現在のデプス画像と共にデプス差分計算部２５３に出力する。

【0211】

デプス差分計算部２５３は、バッファ２５１より供給される直前に取得した過去のデプス画像と、今現在のデプス画像を自己位置変位情報に基づいて過去のタイミングのデプス画像として投影されたデプス画像との画素単位のデプス情報の差分であるデプス差分を計算して、取得した現在のデプス画像と共に閾値比較部２５４に出力する。

【0212】

閾値比較部２５４は、画素単位でデプス差分と閾値とを比較して、閾値よりも大きいデプス差分となる信頼性の低いデプス情報をフィルタリングして、閾値よりも小さいデプス差分となる信頼性の高いデプス情報からなるデプス画像（ポイントクラウド）のみを特徴点抽出部７６、およびメッシュ３次元化部７８に出力する。

【0213】

尚、視差推定部２３３により推定されるデプス画像は、LiDAR等からなるデプスセンサよりもデプス情報が高密度に生成されているため、LiDARなどのように密度の低いデプス情報の場合は、そのまま特徴点として利用することができるが、全てのデプス情報を使用すると特徴点が多すぎてしまう恐れがある。

【0214】

そこで、デプス信頼度フィルタリング部２３４の閾値比較部２５４において、例えば、デプス差分の閾値を０に近い値とすることで間引かれる割合を高めるようにして、特に信頼性の高い画素のデプス情報だけを、特徴点としてそのまま使用するようにしてもよい。

【0215】

＜図１９の軌道計画部による軌道計画処理＞
次に、図２１のフローチャートを参照して、図１９の軌道計画部による軌道計画処理について説明する。

【0216】

尚、図２１のフローチャートにおけるステップＳ５６乃至Ｓ６２の処理は、図１７におけるステップＳ１６乃至Ｓ２２の処理と同様であるので、その説明は省略する。

【0217】

すなわち、ステップＳ５１において、ステレオカメラ２０１のカメラ２１１－１，２１１－２は、それぞれ画像を撮像し（キャプチャし）、画像補正処理部２３１－１，２３１－２にそれぞれ出力する。

【0218】

ステップＳ５２において、画像補正処理部２３１－１，２３１－２は、それぞれカメラ２１１－１，２１１－２により撮像された画像に対して、カメラ２１１－１，２１１－２に含まれるレンズにより生じる歪の除去、デモザイク処理、ガンマ補正処理等の一般的な画像補正処理を施す。

【0219】

さらに、画像補正処理部２３１－１，２３１－２は、それぞれ記憶部２３２－１，２３２－２に記憶されているステレオカメラキャリブレーション情報に基づいて、処理を施す。

【0220】

そして、画像補正処理部２３１－１は、処理を施した画像をセマンティックセグメンテーション処理部７２、特徴点抽出部７６、および視差推定部２３３に出力する。

【0221】

また、画像補正処理部２３１－２は、処理を施した画像を視差推定部２３３に出力する。

【0222】

ステップＳ５３において、セマンティックセグメンテーション処理部７２は、記憶部７３に予め学習により記憶されている学習済みのニューラルネットワークを用いて、カメラ２１１－１により撮像されたRGB画像に基づいて、セマンティックセグメンテーションにより、画素単位で、被写体の種別を分類し、分類結果に対応して、セマンティクスラベルに応じて領域分割し、セマンティックセグメンテーションの処理結果として特徴点抽出部７６に出力する。

【0223】

ステップＳ５４において、視差推定部２３３は、画像補正処理部２３１－１より供給された画像を基準として、画像補正処理部２３１－２より供給された画像に対してパターンマッチング等により基準となる画素との視差に基づいてデプス情報を求めて、デプス画像（ポイントクラウド）を生成して、デプス信頼度フィルタリング部２３４に出力する。

【0224】

ステップＳ５５において、デプス信頼度フィルタリング部２３４は、フィルタリング処理を実行して、デプス画像（ポイントクラウド）における各デプス情報の信頼度に基づいてフィルタリングし、信頼度の高いデプス情報よりなるデプス画像（ポイントクラウド）を生成して特徴点抽出部７６、およびメッシュ３次元化部７８に出力する。

【0225】

尚、フィルタリング処理については、図２２のフローチャートを参照して、詳細を後述する。

【0226】

以上の一連の処理により、カメラ３２およびデプスセンサ３３に代えて、ステレオカメラ２０１を用いるようにしても、移動体１１の移動経路からなる軌道を適切に計画することが可能となる。

【0227】

＜フィルタリング処理＞
次に、図２２のフローチャートを参照して、デプス信頼度フィルタリング部２３４によるフィルタリング処理について説明する。

【0228】

ステップＳ８１において、デプス差分計算部２５３は、バッファ２５１にバッファリングされている直前に取得した過去のデプス画像を読み出す。

【0229】

ステップＳ８２において、バッファ２５１は、視差推定部２３３より、今現在供給されるデプス画像を取得して、過去のデプス画像に対して上書きしてバッファリングする。

【0230】

ステップＳ８３において、プロジェクション部２５２は、自己位置変位検出部２３５より、過去のデプス画像を取得したタイミングから、今現在のデプス画像を取得したタイミングまでの自己位置の変位である自己位置変移情報を取得する。

【0231】

ステップＳ８４において、プロジェクション部２５２は、今現在のデプス画像を、自己位置変位情報に基づいて、直前に取得したデプス画像として投影し、今現在のデプス画像と共にデプス差分計算部２５３に出力する。

【0232】

ステップＳ８５において、デプス差分計算部２５３は、過去のデプス画像と、現在のデプス画像を自己位置変移情報に基づいて過去のデプス画像として投影したデプス画像との画素間のデプス情報の差分であるデプス差分を求めて、現在のデプス画像と共に閾値比較部２５４に出力する。

【0233】

ステップＳ８６において、閾値比較部２５４は、今現在のデプス画像における未処理の画素を処理対象画素に設定する。

【0234】

ステップＳ８７において、閾値比較部２５４は、処理対象画素に対応するデプス差分が所定の閾値よりも大きいか否かを判定する。

【0235】

ステップＳ８７において、処理対象画素に対応するデプス差分が所定の閾値よりも大きいと判定された場合、すなわち、直前のデプス画像と、今現在のデプス画像との間に変化が大きい場合、処理は、ステップＳ８８に進む。

【0236】

ステップＳ８８において、閾値比較部２５４は、デプス差分が大きく、変化が大きいので、処理対象画素に対応するデプス情報の信頼性が低いものとみなして、出力しない。

【0237】

一方、ステップＳ８７において、処理対象画素に対応するデプス差分が所定の閾値よりも小さいと判定された場合、すなわち、直前のデプス画像と、今現在のデプス画像との間に変化が小さい場合、処理は、ステップＳ８９に進む。

【0238】

ステップＳ８９において、閾値比較部２５４は、デプス差分が小さく、変化が小さいので、処理対象画素に対応するデプス情報の信頼性が高いものとみなして、出力するデプス情報として画素位置に対応付けてバッファリングする。

【0239】

ステップＳ９０において、閾値比較部２５４は、今現在のデプス画像における未処理の画素が存在しないか否かを判定し、存在する場合、処理は、ステップＳ８６に戻る。

【0240】

すなわち、未処理の画素がないとみなされるまで、ステップＳ８６乃至Ｓ９０の処理が繰り返されて、今現在のデプス画像における全画素について、デプス差分と閾値との比較に基づいて、信頼性の有無を判定し、信頼性の高いデプス情報のみをバッファリングする。

【0241】

そして、ステップＳ９０において、未処理の画素がないとみなされた場合、処理は、ステップＳ９１に進む。

【0242】

ステップＳ９１において、閾値比較部２５４は、バッファリングしている、信頼性が高いとみなされたデプス情報からなるデプス画像（ポイントクラウド）を特徴点抽出部７６、およびメッシュ３次元化部７８に出力する。

【0243】

以上の処理により、今現在のデプス画像を自己位置の変位に基づいた過去のデプス画像として投影したものと、バッファリングした過去のデプス画像とのデプス差分を求めて、デプス差分が閾値よりも大きな、今現在のデプス情報については、信頼性の低いデプス情報としてフィルタリング（除去）し、閾値よりも小さなデプス差分となった信頼性の高いデプス情報のみからなるデプス画像（ポイントクラウド）を出力させることが可能となる。

【0244】

結果として、ステレオカメラを用いた場合に取得されるデプス画像（ポイントクラウド）の信頼性の低さを抑制し、高価なLiDAR等を用いることなく安価なステレオカメラでも、適切な軌道計画を実現することが可能となる。

【0245】

＜＜４．第３の実施の形態＞＞
以上においては、カメラ３２とデプスセンサ３３に代えて、ステレオカメラ２０１を用いて軌道計画を行う例について説明してきたが、カメラ３２とデプスセンサ３３のうち、カメラ３２を偏光カメラに代えて、偏光画像を撮像させて、撮像面における法線方向を認識して、隣接する特徴点の法線方向が異なる特徴点が抽出されるようにしてもよい。

【0246】

例えば、図２３で示されるように、円柱状の障害物Ｂ３０１と、方形状の障害物Ｂ３０２とが偏光カメラにより撮像されると、所定の処理により、矢印で示されるように、法線方向を検出することが可能となる。

【0247】

この結果、図１１の右下部で示されるように、隣接する特徴点のセマンティクスラベルが異なる場合、隣接する特徴点の距離の差分が所定値よりも大きい場合、および隣接する特徴点との間にエッジが存在する場合に加えて、隣接する特徴点の法線方向が異なる場合の少なくともいずれかの条件を満たす特徴点のみが選択的に抽出されるようにしてもよい。

【0248】

このようにすることで、円柱状の障害物Ｂ３０１の場合については、曲面状の側面Ｓｆ１と、上底の円板面Ｓｆ２および下底となる円板面Ｓｆ３との境界付近の特徴点を抽出させるようにすることができる。

【0249】

また、方形状の障害物Ｂ３０２の場合については、各平面Ｓｆ１１乃至Ｓｆ１３との境界付近の特徴点を抽出させるようにすることができる。

【0250】

結果として、距離や形状の変化が生じる位置の特徴点のみを効果的に抽出して、３次元のドロネーメッシュを形成させることができるので、障害物の位置、および形状を適切に反映させたドロネーメッシュを形成することが可能となり、障害物を回避するように移動体の移動経路からなる軌道を適切に計画することが可能となる。

【0251】

図２４は、偏光画像を撮像させて、撮像面における法線方向を認識して、法線方向が変化する位置の特徴点が抽出されるようにした移動体１１の構成例を示している。

【0252】

図２４の移動体１１の構成において、図７の移動体１１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

【0253】

すなわち、図２４の移動体１１において、図７の移動体１１と異なる構成は、カメラ３２に代えて、偏光カメラ３０１が設けられている点である。

【0254】

偏光カメラ３０１は、偏光レンズが設けられており、カメラ３２により撮像される画像に対して偏光処理がなされた偏光画像を撮像し、軌道計画部５１に出力する。

【0255】

＜偏光画像を用いた軌道計画部の構成例＞
次に、図２５を参照して、偏光画像を用いた軌道計画部５１の構成例について説明する。

【0256】

尚、図２５の軌道計画部５１の構成において、図８の軌道計画部５１における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

【0257】

すなわち、図２５の軌道計画部５１において、図８の軌道計画部５１と異なる点は、画像補正処理部７１、および特徴点抽出部７６に代えて、画像補正処理部３１１を備え、さらに、偏光画像から画像内の被写体面の法線方向を推定する法線推定部３１２、および特徴点抽出部３１３が設けられている点である。

【0258】

画像補正処理部３１１は、基本的な機能においては、画像補正処理部７１と同一であるが、さらに、偏光画像を法線推定部３１２に出力する。

【0259】

法線推定部３１２は、画像補正処理部３１１より供給されてくる偏光画像に基づいて、被写体面の法線方向を推定して、特徴点抽出部３１３に出力する。

【0260】

特徴点抽出部３１３は、基本的な機能は、特徴点抽出部７６と同様であるが、隣接する特徴点のセマンティクスラベルが異なる場合、隣接する特徴点の距離の差分が所定値よりも大きい場合、隣接する特徴点との間にエッジが存在する場合、および隣接する特徴点の法線方向が異なる場合の少なくともいずれかの条件を満たす特徴点を抽出する。

【0261】

このような構成により、法線方向が変化する領域に存在する特徴点が抽出される。

【0262】

＜図２５の軌道計画部による軌道計画処理＞
次に、図２６のフローチャートを参照して、図２５の軌道計画部による軌道計画処理について説明する。

【0263】

尚、図２６のフローチャートにおけるステップＳ８８乃至Ｓ９３の処理は、図１７のフローチャートにおけるステップＳ１７乃至Ｓ２２の処理と同様であるので、その説明は省略する。

【0264】

すなわち、ステップＳ８１において、偏光カメラ３０１は、偏光画像を撮像し（キャプチャし）、画像補正処理部３１１に出力する。

【0265】

ステップＳ８２において、画像補正処理部３１１は、偏光カメラ３０１により撮像された偏光画像に対して、偏光カメラ３０１に含まれるレンズにより生じる歪の除去、デモザイク処理、ガンマ補正処理等の一般的な画像補正処理を施してセマンティックセグメンテーション処理部７２、および特徴点抽出部３１３に出力すると共に、偏光画像を法線推定部３１２に出力する。

【0266】

ステップＳ８３において、法線推定部３１２は、偏光カメラ３０１により撮像された偏光画像に基づいて、画像内の被写体面の法線方向を推定し、推定結果を特徴点抽出部３１３に出力する。

【0267】

ステップＳ８４において、セマンティックセグメンテーション処理部７２は、記憶部７３に予め学習により記憶されている学習済みのニューラルネットワークを用いて、カメラ３２により撮像されたRGB画像に基づいて、セマンティックセグメンテーションにより、画素単位で、被写体の種別を分類し、分類結果に対応して、セマンティクスラベルに応じて領域分割し、セマンティックセグメンテーションの処理結果として特徴点抽出部３１３に出力する。

【0268】

ステップＳ８５において、デプスセンサ３３は、偏光カメラ３０１の撮像範囲を含む範囲のデプス画像（ポイントクラウド）を検出し、位置補正処理部７４に出力する。

【0269】

ステップＳ８６において、位置補正処理部７４は、記憶部７５に予め記憶されている、カメラ・デプスセンサ相対位置キャリブレーション情報に基づいて、デプスセンサ３３より供給されるデプス画像（ポイントクラウド）の座標系を、カメラ３２により撮像される画像の座標系に位置補正するように変換し、カメラ３２により撮像された画像に対応する座標系のデプス画像（ポイントクラウド）を生成し、特徴点抽出部３１３、およびメッシュ３次元化部７８に出力する。

【0270】

ステップＳ８７において、特徴点抽出部３１３は、画像補正処理部７１より供給されるRGB画像、セマンティックセグメンテーション処理部７２より供給されるセマンティックセグメンテーション処理結果（セマンティクスラベル）、およびRGB画像上に重畳されたポイントクラウド、並びに法線方向の推定結果に基づいて、ドロネーメッシュを形成する三角形の頂点となる特徴点を抽出し、ドロネーメッシュ作成部７７に出力する。

【0271】

以上の一連の処理により、法線方向が変化する、距離や形状の変化が生じる位置の特徴点を効果的に抽出することができるので、障害物の位置、および形状を適切に反映させた３次元化されたドロネーメッシュを形成することが可能となり、移動体の移動経路からなる軌道を適切に計画することが可能となる。

【0272】

＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

【0273】

図２７は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

【0274】

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

【0275】

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0276】

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

【0277】

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0278】

コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

【0279】

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

【0280】

尚、図２７におけるCPU１００１が、図７，図１８，図２４の制御部３１の機能を実現させる。

【0281】

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0282】

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0283】

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0284】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0285】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0286】

尚、本開示は、以下のような構成も取ることができる。

【0287】

＜１＞ 移動体の周囲の画像内の物体を認識する物体認識部と、
前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出する特徴点抽出部と、
前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、障害物を表現するメッシュを作成するメッシュ作成部と、
前記メッシュ作成部により作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する行動計画部と
を含む情報処理装置。
＜２＞ 前記物体認識部は、セマンティックセグメンテーションにより、前記画像内の前記物体を認識し、
前記特徴点抽出部は、前記セマンティックセグメンテーションを用いた前記物体認識結果であるセマンティクスラベルと対応付けて、前記画像より前記特徴点を抽出する
＜１＞に記載の情報処理装置。
＜３＞ 前記特徴点抽出部は、前記セマンティクスラベルに基づいて、前記障害物になり得る物体の近傍の特徴点を、前記セマンティクスラベルと対応付けて、前記画像より抽出する
＜２＞に記載の情報処理装置。
＜４＞ 前記特徴点抽出部は、前記画像に対応するデプス画像におけるデプス情報が存在する位置に対応する、前記画像の画素を、前記セマンティクスラベルと対応付けて、前記特徴点として抽出する
＜２＞に記載の情報処理装置。
＜５＞ 前記特徴点抽出部は、前記セマンティックセグメンテーションを用いた前記物体認識結果であるセマンティクスラベルと対応付けて、前記画像より前記特徴点を抽出し、さらに、抽出した前記特徴点のうち、隣接する特徴点のセマンティクスラベルが異なる場合、隣接する特徴点におけるデプス情報が所定値よりも大きく異なる場合、および隣接する特徴点との間にエッジが存在する場合のうちの、少なくともいずれかの条件を満たす特徴点を、前記セマンティクスラベルと対応付けて、選択的に抽出する
＜４＞に記載の情報処理装置。
＜６＞ 前記メッシュ作成部は、前記物体認識結果に基づいて、同一の前記セマンティクスラベルの前記物体毎に、前記特徴点を接続することにより、前記障害物を表現する２次元の前記メッシュを生成する
＜４＞に記載の情報処理装置。
＜７＞ 前記２次元の前記メッシュを、前記デプス画像のデプス情報に基づいて、３次元化して、３次元のメッシュを生成する３次元化部をさらに含み、
前記行動計画部は、前記３次元化部により生成された前記３次元のメッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する
＜６＞に記載の情報処理装置。
＜８＞ 前記行動計画部は、前記３次元のメッシュにより表現される前記障害物に対して、前記セマンティクスラベルに応じた距離のマージンを設定して、前記障害物を回避して前記移動体が行動するための軌道を計画する
＜７＞に記載の情報処理装置。
＜９＞ 前記行動計画部は、前記障害物を回避する行動するための軌道候補を計画し、前記軌道候補のそれぞれを評価する評価値を計算し、前記評価値に基づいて、前記軌道候補より前記軌道を選択する
＜８＞記載の情報処理装置。
＜１０＞ 前記行動計画部は、前記軌道候補のそれぞれを評価する評価値を、前記移動体から目的地への直線方向に対する、前記移動体の移動方向のなす角についての方向評価値、前記移動体の移動速度についての速度評価値、および前記移動体と前記障害物との距離についての距離評価値の、それぞれを計算する項からなる評価関数により計算し、前記評価値に基づいて、前記軌道候補より前記軌道を選択する
＜９＞に記載の情報処理装置。
＜１１＞ 前記評価関数には、前記方向評価値、前記速度評価値、および前記距離評価値のそれぞれについて、重みが設定されており、前記行動計画部は、前記方向評価値、前記速度評価値、および前記距離評価値と、それぞれの重みとの積和により前記評価値を計算し、前記評価値が最大となる前記軌道候補を前記軌道として選択する
＜１０＞に記載の情報処理装置。
＜１２＞ 前記距離評価値を計算する項においては、前記セマンティクスラベルに応じた距離の重みが設定される
＜１０＞に記載の情報処理装置。
＜１３＞ 前記デプス画像は、LiDARにより検出される
＜４＞乃至＜１２＞のいずれかに記載の情報処理装置。
＜１４＞ 前記デプス画像は、ステレオカメラにより撮像された２枚の画像に基づいて生成され、
前記画像は、前記ステレオカメラを構成する、いずれか１のカメラにより撮像される
＜４＞乃至＜１２＞のいずれかに記載の情報処理装置。
＜１５＞ 前記ステレオカメラにより撮像された２枚の画像に基づいて、視差を推定し、推定した視差に基づいて、前記デプス画像を生成する視差推定部をさらに含む
＜１４＞に記載の情報処理装置。
＜１６＞ 前記ステレオカメラにより撮像された２枚の画像に基づいて生成された前記デプス画像の時系列のデプス画像におけるデプス情報の差分であるデプス差分と、所定の閾値との比較により、前記デプス差分が前記所定の閾値よりも大きいデプス情報をフィルタリングするフィルタリング部をさらに含む
＜１５＞に記載の情報処理装置。
＜１７＞ 前記画像は、偏光カメラにより撮像された偏光画像であり、
前記偏光画像に基づいて、前記偏光画像内の物体の表面の法線方向を推定する法線推定部をさらに含み、
前記特徴点抽出部は、前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出し、さらに、隣接する特徴点におけるセマンティクスラベルが異なる場合、隣接する特徴点におけるデプス情報が異なる場合、隣接する特徴点との間にエッジが存在する場合、および、隣接する特徴点における法線方向が変化する場合の少なくともいずれかの条件を満たす特徴点を、前記セマンティクスラベルと対応付けて、選択的に抽出する
＜１４＞に記載の情報処理装置。
＜１８＞ 前記メッシュ作成部は、前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を頂点とする三角形を形成するように接続することにより、前記障害物を表現するドロネーメッシュを作成する
＜１＞乃至＜１７＞のいずれかに記載の情報処理装置。
＜１９＞ 移動体の周囲の画像内の物体を認識し、
前記物体の認識結果と対応付けて、前記画像より特徴点を抽出し、
前記物体の認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、障害物を表現するメッシュを作成し、
作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する
ステップを含む情報処理方法。
＜２０＞ 移動体の周囲の画像内の物体を認識する物体認識部と、
前記物体認識部による物体認識結果と対応付けて、前記画像より特徴点を抽出する特徴点抽出部と、
前記物体認識結果に基づいて、同一の前記物体毎に、前記特徴点を接続することにより、障害物を表現するメッシュを作成するメッシュ作成部と、
前記メッシュ作成部により作成された前記メッシュに基づいて、前記障害物を回避する前記移動体の行動を計画する行動計画部と
してコンピュータを機能させるプログラム。

【符号の説明】

【0288】

１１ 移動体， ３１ 制御部， ３２ カメラ， ３３ デプスセンサ， ３４ 記憶部， ３５ 駆動部， ５１ 軌道計画部， ５２ 動作制御部， ７１ 画像補正処理部， ７２ セマンティックセグメンテーション処理部， ７３ 記憶部， ７４ 位置補正処理部， ７５ 記憶部， ７６ 特徴点抽出部， ７７ ドロネーメッシュ作成部， ７８ メッシュ３次元化部， ７９ 行動計画部， ８０ 記憶部， ２０１ ステレオカメラ， ２１１－１，２１１－２ カメラ， ２３１－１，２３１－２ 画像補正処理部， ２３２－１，２３２－２ 記憶部， ２３３ 視差推定部， ２３４ デプス信頼度フィルタリング部， ２３５ 自己位置変移検出部， ２５１ バッファ， ２５２ プロジェクション部， ２５３ デプス生差分計算部， ２５４ 閾値比較部， ３０１ 偏光カメラ， ３１１ 画像補正処理部， ３１２ 法線推定部， ３１３ 特徴点抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】