知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025002669
(43)【公開日】2025-01-09
(54)【発明の名称】深層学習装置及び走行体
(51)【国際特許分類】
G06T 7/11 20170101AFI20241226BHJP
G06T 7/00 20170101ALI20241226BHJP
【ＦＩ】
G06T7/11
G06T7/00 350C
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023102988
(22)【出願日】2023-06-23
(71)【出願人】
【識別番号】000006105
【氏名又は名称】株式会社明電舎
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】藤原 伸行
(72)【発明者】
【氏名】宍道 洋
(72)【発明者】
【氏名】三宅 雄貴
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA05
5L096CA05
5L096DA02
5L096FA66
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】走行体の進行方向の前方にある障害物の有無を安定的に検知することを可能とした深層学習装置及び走行体を提供する。
【解決手段】周囲環境認識部３０において、植生指標計算部３１は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて植生指標データを計算する。三次元点群領域分割部３２は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと植生指標計算部３１からの植生指標データとに基づいて、三次元点群の領域分割処理を行い、点群領域分割データを出力する。制御処理部３３は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと、周囲環境認識部３０からの点群領域分割データとに基づいて、自己位置の推定、コストマップ計算、経路計画など処理し、移動ロボット１を走行制御するための制御信号を出力する。
【選択図】図３
【解決手段】周囲環境認識部３０において、植生指標計算部３１は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて植生指標データを計算する。三次元点群領域分割部３２は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと植生指標計算部３１からの植生指標データとに基づいて、三次元点群の領域分割処理を行い、点群領域分割データを出力する。制御処理部３３は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと、周囲環境認識部３０からの点群領域分割データとに基づいて、自己位置の推定、コストマップ計算、経路計画など処理し、移動ロボット１を走行制御するための制御信号を出力する。
【選択図】図３
【特許請求の範囲】
【請求項1】
走行体の周囲環境における三次元情報を含む三次元計測データと、前記周囲環境の全方位の画像を含む全方位画像データと、前記三次元計測データを基に作成された点群領域ラベルデータとを記憶する記憶部と、
前記三次元計測データと、前記全方位画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、
前記三次元計測データと、前記植生指標データと、前記点群領域ラベルデータとを学習データセットとして用いて深層学習を行い、学習結果データを作成する三次元点群領域分割学習部と、
を備えることを特徴とする深層学習装置。
前記三次元計測データと、前記全方位画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、
前記三次元計測データと、前記植生指標データと、前記点群領域ラベルデータとを学習データセットとして用いて深層学習を行い、学習結果データを作成する三次元点群領域分割学習部と、
を備えることを特徴とする深層学習装置。
【請求項2】
前記記憶部は、前記三次元計測データと、前記全方位画像データと、前記点群領域ラベルデータに代えて前記全方位画像データに基づいて作成した画像領域ラベルデータとを記憶し、
前記三次元計測データと、前記画像領域ラベルデータとに基づいて、前記点群領域ラベルデータを作成する点群領域ラベル作成部をさらに備えることを特徴とする請求項１に記載の深層学習装置。
前記三次元計測データと、前記画像領域ラベルデータとに基づいて、前記点群領域ラベルデータを作成する点群領域ラベル作成部をさらに備えることを特徴とする請求項１に記載の深層学習装置。
【請求項3】
周囲環境を認識して走行手段により走行する走行体であって、
前記周囲環境における三次元情報を含む三次元計測データを取得する三次元計測部と、
前記周囲環境を撮影した画像データを取得する撮像部と、
前記三次元計測データと、前記画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、
前記三次元計測データと、前記植生指標データとに基づいて、点群領域分割データを生成する三次元点群領域分割部と、
前記三次元計測データと、前記点群領域分割データとに基づいて、前記周囲環境のコストマップを計算し、前記コストマップに基づいて前記走行手段による走行を制御する制御処理部と、
を備えることを特徴とする走行体。
前記周囲環境における三次元情報を含む三次元計測データを取得する三次元計測部と、
前記周囲環境を撮影した画像データを取得する撮像部と、
前記三次元計測データと、前記画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、
前記三次元計測データと、前記植生指標データとに基づいて、点群領域分割データを生成する三次元点群領域分割部と、
前記三次元計測データと、前記点群領域分割データとに基づいて、前記周囲環境のコストマップを計算し、前記コストマップに基づいて前記走行手段による走行を制御する制御処理部と、
を備えることを特徴とする走行体。
【請求項4】
前記撮像部は、前記周囲環境の全方位を撮影する全方位カメラであり、
前記画像データは、前記全方位カメラによって撮影された全方位画像データである、
ことを特徴とする請求項３に記載の走行体。
前記画像データは、前記全方位カメラによって撮影された全方位画像データである、
ことを特徴とする請求項３に記載の走行体。
【請求項5】
前記全方位カメラは、前記走行体の進行方向に対して前後双方に設置された魚眼カメラである、
ことを特徴とする請求項４に記載の走行体。
ことを特徴とする請求項４に記載の走行体。
【請求項6】
前記撮像部は、前記走行体の進行方向に対して前方を撮影するカラーカメラであり、
前記画像データは、前記カラーカメラによって撮影されたカラー画像データである、
ことを特徴とする請求項３に記載の走行体。
前記画像データは、前記カラーカメラによって撮影されたカラー画像データである、
ことを特徴とする請求項３に記載の走行体。
【請求項7】
前記撮像部は、レンズ前面に赤色透過フィルタを備え、前記走行体の進行方向に対して前方を撮影するモノクロカメラであり、
前記画像データは、前記モノクロカメラによって撮影されたグレー画像データである、
ことを特徴とする請求項３に記載の走行体。
前記画像データは、前記モノクロカメラによって撮影されたグレー画像データである、
ことを特徴とする請求項３に記載の走行体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、深層学習装置及び走行体に関する。
【背景技術】
【0002】
移動ロボット（走行体）は、３Ｄ－ＬｉＤＡＲ（Three-Dimensional-Light Detection And Ranging）を搭載して周囲の全方位の三次元点群を計測し、その三次元点群の形状を予め計測しておいた三次元点群地図と比較して自己位置推定を行いながら走行する。移動ロボットの走行中に、進行方向の前方に障害物があれば、３Ｄ－ＬｉＤＡＲで計測した情報を基に障害物検知を行い、障害物を回避する。
【0003】
例えば、３Ｄ－ＬｉＤＡＲで計測した情報を基に障害物を検知する方法としてコストマップがある（非特許文献１を参照）。非特許文献１のように、計測した三次元点群の位置情報から占有格子地図を作り、二次元コストマップを生成する。これにより、走行路面よりも高い位置に物体がある箇所のコストが高くなり、コストの高い箇所を障害物として検知することができる。
【0004】
また、３Ｄ－ＬｉＤＡＲで計測した三次元点群に対して領域分割を行い、各三次元点がどの領域に属するかを認識することで障害物を検知する方法がある（非特許文献２を参照）。三次元点群領域分割では、各点毎に、自動車・自転車・道路・駐車場・建物・植生・幹・地形などの領域に分類する。移動ロボット側では、道路・駐車場などの走行可能な領域以外の領域を障害物として検出する。また、障害物検出結果を非特許文献１のコストマップに反映することで、障害物として検出した領域をコストが高い箇所とすることも容易にできる。非特許文献２の方法は、深層学習により三次元点群領域分割を行う方法の一つで、２０２０年に発表されて以来、研究開発競争の激しい点群領域分割分野において上位の性能を保ち続けている。非特許文献２は、自動車の自動運転を対象としており、移動ロボットへの応用として相性の良い技術である。
【0005】
また、三次元点群に対する方法ではないが、移動ロボットの前方をカラーカメラで撮影した画像に対して領域分割を行い、障害物を検知する方法がある（非特許文献３を参照）。画像領域分割では、画像上の画素毎に、自動車・自転車・道路・駐車場・建物・植生・幹・地形などの領域に分類する。移動ロボット側では、道路・駐車場などの走行可能な領域以外の領域を障害物とし、障害物の三次元位置をカメラ座標から三次元空間へ変換して求め、障害物の位置を検出する。非特許文献３の方法は、深層学習により画像領域分割を行う方法の一つで、２０１７年に発表されて以降、この分野では代表的な方法である。非特許文献３では自動車の自動運転を対象としており、移動ロボットへの応用として相性の良い技術である。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】原 祥尭: "ROSを用いた自律走行", 日本ロボット学会誌, vol. 35, no. 4, pp286-290, 2017,ＵＲＬ＜https://www.jstage.jst.go.jp/article/jrsj/35/4/35_35_286/_pdf/-char/ja＞
【非特許文献2】C.Tiago, et al., "SalsaNext: Fast, Uncertainty-aware Semantic Segmentation of LiDAR Point Cloudes for Autonomous Driving", arViv, 2020， ＵＲＬ＜https://arxiv.org/pdf/2003.03653.pdf＞
【非特許文献3】H.Zhao, et al., "Pyramid Scene Parsing Network", arViv, 2017，ＵＲＬ＜https://arxiv.org/pdf/1612.01105.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献１の方法では、高さのある物体を障害物として検出することができるが、公園内にある歩道のように、歩道の周囲に芝生がある場合など、高低差が少ない芝生などの植生を障害物として検出することができないという問題がある。高低差の少ない芝生などの植生を障害物として検出できない場合、移動ロボットは、低い障害物を回避することができず、例えば、公園などを走行した際には、侵入が禁止されている芝生へ入ってしまうという問題がある。
【0008】
また、非特許文献２では、歩道と芝生を見分けることがある程度可能であるが、三次元点群だけでは領域分割に対する情報量が少なく、道路や駐車場の一部を植生と誤検知することがしばしば発生するという問題がある。
【0009】
また、非特許文献３の方法では、色情報を基に周囲環境を認識するため、非特許文献２の方法よりも領域分割の性能が高いが、明るさ変動の影響や、歩道が緑色や青色などの様々な色に着色されている場合は、別の物体として誤検知する場合があるという問題がある。
【0010】
また、非特許文献２又は非特許文献３では、前方に有りもしない障害物を誤検知した場合、移動ロボットは、障害物を回避しようとして、異常な回避行動をとったり、回避経路が見つからずに走行不能に陥ったりする可能性がある。
【0011】
そこで本発明は、走行体の進行方向の前方にある障害物の有無を安定的に検知することが可能な深層学習装置及び走行体を提供することを課題とする。
【課題を解決するための手段】
【0012】
上記の課題を解決するための第１の発明に係る深層学習装置は、第１の発明において、走行体の周囲環境における三次元情報を含む三次元計測データと、前記周囲環境の全方位の画像を含む全方位画像データと、前記三次元計測データを基に作成された点群領域ラベルデータとを記憶する記憶部と、前記三次元計測データと、前記全方位画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、前記三次元計測データと、前記植生指標データと、前記点群領域ラベルデータとを学習データセットとして用いて深層学習を行い、学習結果データを作成する三次元点群領域分割学習部と、を備えることを特徴とする。
【0013】
また、上記の課題を解決するための第２の発明に係る深層学習装置は、前記記憶部は、前記三次元計測データと、前記全方位画像データと、前記点群領域ラベルデータに代えて前記全方位画像データに基づいて作成した画像領域ラベルデータとを記憶し、前記三次元計測データと、前記画像領域ラベルデータとに基づいて、前記点群領域ラベルデータを作成する点群領域ラベル作成部をさらに備えることを特徴とする。
【0014】
また、上記の課題を解決するための第３の発明に係る走行体は、周囲環境を認識して走行手段により走行する走行体であって、前記周囲環境における三次元情報を含む三次元計測データを取得する三次元計測部と、前記周囲環境を撮影した画像データを取得する撮像部と、前記三次元計測データと、前記画像データとに基づいて、前記周囲環境における植生の状況を示す植生指標データを算出する植生指標計算部と、前記三次元計測データと、前記植生指標データとに基づいて、点群領域分割データを生成する三次元点群領域分割部と、前記三次元計測データと、前記点群領域分割データとに基づいて、前記周囲環境のコストマップを計算し、前記コストマップに基づいて前記走行手段による走行を制御する制御処理部と、を備えることを特徴とする。
【0015】
また、上記の課題を解決するための第４の発明に係る走行体は、第３の発明において、前記撮像部は、前記周囲環境の全方位を撮影する全方位カメラであり、前記画像データは、前記全方位カメラによって撮影された全方位画像データである、ことを特徴とする。
【0016】
また、上記の課題を解決するための第５の発明に係る走行体は、第４の発明において、前記全方位カメラは、前記走行体の進行方向に対して前後双方に設置された魚眼カメラである、ことを特徴とする。
【0017】
また、上記の課題を解決するための第６の発明に係る走行体は、第３の発明において、前記撮像部は、前記走行体の進行方向に対して前方を撮影するカラーカメラであり、前記画像データは、前記カラーカメラによって撮影されたカラー画像データである、ことを特徴とする。
【0018】
また、上記の課題を解決するための第７の発明に係る走行体は、第３の発明において、前記撮像部は、レンズ前面に赤色透過フィルタを備え、前記走行体の進行方向に対して前方を撮影するモノクロカメラであり、前記画像データは、前記モノクロカメラによって撮影されたグレー画像データである、ことを特徴とする。
【発明の効果】
【0019】
この発明によれば、走行体の進行方向の前方にある障害物の有無を安定的に検知することが可能となる。
【図面の簡単な説明】
【0020】
【図1】本発明の本第１実施形態による移動ロボット１の一構成例を示す模式図である。
【図2】３Ｄ－ＬｉＤＡＲの三次元計測データのみから移動ロボットの制御処理を行う一般的な構成例を示すブロック図である。
【図3】本第１実施形態によるコントローラ１１の一構成例を示すブロック図である。
【図4】本第１実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）を説明するためのフローチャートである。
【図5】本第１実施形態による植生指標計算部３１の動作を説明するためのフローチャートである。
【図6】本第１実施形態において、魚眼投影モデルにおける世界座標系と画像座標系との関係を示す模式図である。
【図7】本第１実施形態による三次元点の座標変換計算（Ｓ２４）を説明するための概念図である。
【図8】本第１実施形態による植生指標データの保存を説明するための概念図である。
【図9】本第１実施形態による三次元点群領域分割部３２の動作を説明するためのフローチャートである。
【図10】一般的な領域分割計算を説明するための概念図である。
【図11】本第１実施形態による領域分割計算を説明するための概念図である。
【図12】本第１実施形態による点群領域分割データ作成を説明するための概念図である。
【図13】本第１実施形態において用いるコストマップの一例を説明するための概念図である。
【図14】本第２実施形態による移動ロボット１の一構成例を示す模式図である。
【図15】本第２実施形態によるコントローラ１１の一構成例を示すブロック図である。
【図16】本第２実施形態による植生指標計算部３４の動作を説明するためのフローチャートである。
【図17】本第２実施形態において、透視投影カメラモデルにおける世界座標系と画像座標系との関係を示す概念図である。
【図18】本第３実施形態による移動ロボット１の一構成例を示す模式図である。
【図19】本第３実施形態によるコントローラ１１の一構成例を示すブロック図である。
【図20】本第３実施形態による植生指標計算部３５の動作を説明するためのフローチャートである。
【図21】本第３実施形態における植生指標データの保存の概要を示す概念図である。
【図22】本第４実施形態による三次元点群領域分割学習装置８０の構成を示すブロック図である。
【図23】本第４実施形態による三次元点群領域分割学習装置８０の全体動作を説明するためのフローチャートである。
【図24】本第４実施形態による三次元点群領域分割学習部８３の動作を説明するためのフローチャートである。
【図25】本第４実施形態による深層学習ネットワークによる学習を説明するための概念図である。
【図26】本第５実施形態による三次元点群領域分割学習装置１００の構成を示すブロック図である。
【図27】本第５実施形態による三次元点群領域分割学習装置１００の全体動作を説明するためのフローチャートである。
【図28】本第５実施形態による点群領域ラベル作成部１０３の動作を説明するためのフローチャートである。
【図29】本第５実施形態における点群領域ラベルデータの保存の概要を示す概念図である。
【発明を実施するための形態】
【0021】
以下、添付図面を参照して、本発明の実施の形態について説明する。
【0022】
Ａ．第１実施形態
本第１実施形態による移動ロボットは、基本的に、周囲環境の三次元計測と自己位置推定を行って走行する（非特許文献１を参照）。また、本第１実施形態では、高低差の少ない障害物を検知するため、三次元点群領域分割を用いる（非特許文献２を参照）。
本第１実施形態による移動ロボットは、基本的に、周囲環境の三次元計測と自己位置推定を行って走行する（非特許文献１を参照）。また、本第１実施形態では、高低差の少ない障害物を検知するため、三次元点群領域分割を用いる（非特許文献２を参照）。
【0023】
さらに、本第１実施形態では、上記三次元点群領域分割の性能向上を図るため、可視光情報を用いて領域分割処理を補助する。単に色情報を加える方法では、明るさ変動、影、路面の着色、等の影響を受けて領域分割結果が不安定になる。そこで、近赤外領域と可視光領域の情報から求めた正規化植生指標（ＮＤＶＩ）を用いる。なお、以下では、単に植生指標、あるいは植生指標データともいう。正規化植生指標ＮＤＶＩについては国土地理院のホームページに説明がある（参考文献１：国土地理院，"植生指標データについて"，ＵＲＬ＜https://www.gsi.go.jp/kankyochiri/ndvi.html＞）。正規化植生指標ＮＤＶＩは、植物による光の反射の特徴を生かし、植物の量や、活力などの植生の状況を把握する代表的な指標である。
【0024】
図１は、本第１実施形態による移動ロボット１の一構成例を示す模式図である。図１において、移動ロボット（走行体）１は、移動台車１０、コントローラ１１、３Ｄ－ＬｉＤＡＲ（三次元計測部）１２、及び全方位カメラ（撮像部）１３を備えている。移動台車１０は、車輪等からなる走行手段１４を備えた台車部１５と、台車部１５から鉛直方向に所定の高さまで延設された鉛直部１６とからなる。台車部１５には、コントローラ１１が搭載されており、鉛直部１６には、３Ｄ－ＬｉＤＡＲ１２及び全方位カメラ１３が搭載されている。移動台車１０は、コントローラ１１からの制御信号を受けて走行手段１４を駆動して走行する。
【0025】
コントローラ１１は、３Ｄ－ＬｉＤＡＲ１２、全方位カメラ１３で計測した情報に基づいて、周囲環境を認識し、認識結果に基づいて移動ロボット１の走行を制御する。制御処理には、自己位置推定や、コストマップ計算、経路計画等の移動ロボットの制御に必要な各種機能を搭載している。３Ｄ－ＬｉＤＡＲ１２は、移動ロボット１の周囲環境に対して全方位の三次元計測を行い、周囲環境の（物体までの距離や、形状などを含む）三次元情報を含む三次元計測データをコントローラ１１へ出力する。全方位カメラ１３は、移動ロボット１の周辺における全方位画像を撮影し、全方位画像データをコントローラ１１へ出力する。
【0026】
図２は、３Ｄ－ＬｉＤＡＲの三次元計測データのみから移動ロボットの制御処理を行う一般的な構成例を示すブロック図である。また、図３は、本第１実施形態によるコントローラ１１の一構成例を示すブロック図である。図２に示すように、一般的な構成では、コントローラ２０における制御処理部２１は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データに基づいて、自己位置の推定、コストマップ計算、経路計画、その他の基本機能を処理し、移動ロボット１の走行手段を駆動するための制御信号を生成・出力する。
【0027】
本第１実施形態によるコントローラ１１は、その機能の１つとして、図２に示す一般的な構成に加えて、図３に示すように、周囲環境認識部３０を搭載している。周囲環境認識部３０は、植生指標計算部３１及び三次元点群領域分割部３２を備える。植生指標計算部３１は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標を計算し、植生指標データを三次元点群領域分割部３２に供給する。三次元点群領域分割部３２は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと植生指標計算部３１からの植生指標データとに基づいて、三次元点群の領域分割処理を行い、点群領域分割データを出力する。本第１実施形態における制御処理部３３は、基本的に一般的な制御処理部２１と同等であるが、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと、周囲環境認識部３０からの点群領域分割データとの双方に基づいて、自己位置の推定、コストマップ計算、経路計画、その他の基本機能を処理する点で機能が異なる。
【0028】
次に、本第１実施形態による周囲環境認識部３０の動作について説明する。
図４は、本第１実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）を説明するためのフローチャートである。周囲環境認識部３０において、植生指標計算部３１は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標データを計算する植生指標計算処理を実行する（ステップＳ１０）。次に、三次元点群領域分割部３２は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと植生指標データとに基づいて、点群領域分割データを求める三次元点群領域分割処理を実行する（ステップＳ１２）。
図４は、本第１実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）を説明するためのフローチャートである。周囲環境認識部３０において、植生指標計算部３１は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標データを計算する植生指標計算処理を実行する（ステップＳ１０）。次に、三次元点群領域分割部３２は、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データと植生指標データとに基づいて、点群領域分割データを求める三次元点群領域分割処理を実行する（ステップＳ１２）。
【0029】
次に、上述した植生指標計算処理（Ｓ１０）について説明する。
図５は、本第１実施形態による植生指標計算部３１の動作を説明するためのフローチャートである。植生指標計算部３１は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ２０）、全方位カメラ１３から全方位画像データを入力する（ステップＳ２２）。次に、植生指標計算部３１は、入力された三次元計測データから得られた全ての三次元点に対して三次元点の座標変換計算を行う（ステップＳ２４）。次に、植生指標計算部３１は、全方位画像データに基づいて三次元点：画素の対応計算を行い（ステップＳ２６）、赤色輝度値を抽出する（ステップＳ２８）。次に、植生指標計算部３１は、赤色輝度値に基づいて植生指標値を計算し（ステップＳ３０）、植生指標データを保存する（ステップＳ３２）。このように、植生指標計算部３１は、一連の処理を順次行うことで、植生指標データを作成する。その後、全ての三次元点に対して処理を行ったか否かを判断し（ステップＳ３４）、未処理の三次元点がある場合には（ステップＳ３４のＮＯ）、ステップＳ２４に戻り、上述した処理を繰り返す。一方、全ての三次元点に対して処理を行った場合には（ステップＳ３４のＹＥＳ）、当該処理を終了する。
図５は、本第１実施形態による植生指標計算部３１の動作を説明するためのフローチャートである。植生指標計算部３１は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ２０）、全方位カメラ１３から全方位画像データを入力する（ステップＳ２２）。次に、植生指標計算部３１は、入力された三次元計測データから得られた全ての三次元点に対して三次元点の座標変換計算を行う（ステップＳ２４）。次に、植生指標計算部３１は、全方位画像データに基づいて三次元点：画素の対応計算を行い（ステップＳ２６）、赤色輝度値を抽出する（ステップＳ２８）。次に、植生指標計算部３１は、赤色輝度値に基づいて植生指標値を計算し（ステップＳ３０）、植生指標データを保存する（ステップＳ３２）。このように、植生指標計算部３１は、一連の処理を順次行うことで、植生指標データを作成する。その後、全ての三次元点に対して処理を行ったか否かを判断し（ステップＳ３４）、未処理の三次元点がある場合には（ステップＳ３４のＮＯ）、ステップＳ２４に戻り、上述した処理を繰り返す。一方、全ての三次元点に対して処理を行った場合には（ステップＳ３４のＹＥＳ）、当該処理を終了する。
【0030】
次に、上述した植生指標値の計算（Ｓ３０）について説明する。本第１実施形態では、植生指標値として、正規化植生指標（ＮＤＶＩ：Normalized Difference Vegetation Index）を用いる。なお、正規化植生指標（ＮＤＶＩ）については、上述した参考文献１に詳細に説明されている。正規化植生指標（ＮＤＶＩ）は、近赤外域の反射率ＩＲと、可視域赤の反射率Ｒとにより計算することができる。本第１実施形態では、近赤外域の反射率ＩＲとしては、３Ｄ－ＬｉＤＡＲ１２のレーザ反射強度を用いる。３Ｄ－ＬｉＤＡＲ１２のレーザは、近赤外領域の波長の光を用いている。また、可視域赤の反射率Ｒとしては、全方位カメラ１３による全方位画像データの画素の色情報のうち赤色輝度値を用いる。
【0031】
正規化植生指標ＮＤＶＩは、次式によって求めることができる。
【0032】
【数1】
【0033】
正規化植生指標ＮＤＶＩは、－１～＋１の値となる。この値に対して、次式により整数化を行う。
【0034】
【数2】
【0035】
整数化した正規化植生指標ＮＤＶＩの値は、０～２００までの値となる。正規化植生指標ＮＤＶＩの値が大きいほど植生が多いことを示している。
【0036】
次に、上述した三次元点：画素の対応計算（Ｓ２６）について説明する。本第１実施形態では、正規化植生指標ＮＤＶＩを求めるために、三次元点に対応する全方位画像上の画素を求め、その画素におけるＢＧＲ色情報から赤色輝度値Ｒを取り出す必要がある。そこで、本第１実施形態では、全方位カメラ１３として走行方向に対して前後双方に魚眼カメラ（魚眼レンズを備えたカメラ）を設置することで、三次元点に対応する全方位画像を撮影する（魚眼投影モデル）。
【0037】
図６は、本第１実施形態において、魚眼投影モデルにおける世界座標系と画像座標系との関係を示す模式図である。魚眼投影モデルでは、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）における三次元点Ｐ（ｘｗ，ｙｗ，ｚｗ）を半球面上へ投影し、投影点をさらに画像座標系（Ｘｉ，Ｙｉ）における画像平面上の点ｐ（ｘｉ，ｙｉ）へ投影する。この手順により、三次元点に対応する全方位画像上の画素を求めることができる。なお、魚眼投影モデルについては、参考文献２（山内，他，"魚眼カメラを用いた移動ロボット向け全方位障害物検知システムの基礎実験"，東京工業高等専門学校研究報告書 第４５（２）号，２０１４）に詳細に説明されている。
【0038】
次に、上述した三次元点の座標変換計算（Ｓ２４）について説明する。三次元計測データを計測する３Ｄ－ＬｉＤＡＲ１２と、全方位画像データを計測する全方位カメラ１３とは、移動台車１０上での設置位置が異なる。そこで、三次元点の座標変換計算では、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データを、３Ｄ－ＬｉＤＡＲ１２の座標系から全方位カメラ１３の座標系へ変換し、三次元点：画素の対応計算（Ｓ２６）に入力する。
【0039】
図７は、本第１実施形態による三次元点の座標変換計算（Ｓ２４）を説明するための概念図である。３Ｄ－ＬｉＤＡＲ１２の座標系は、移動ロボット１に設置した際の鉛直上向きにＺ軸をとり、移動ロボット１の進行方向にＸ軸をとるのが一般的である。全方位カメラ１３の座標系は、光軸上にＺ軸をとるのが一般的である。図７には、簡単のため全方位カメラ１３を構成する魚眼カメラの前側のみについて示しているが、後側についても同様の考え方を適用できる。三次元空間上にある点Ｐについて、３Ｄ－ＬｉＤＡＲ１２による計測で得た三次元位置データを、３Ｄ－ＬｉＤＡＲ１２の座標系（XI,YI,ZI）から全方位カメラ１３の座標系（Xc,Yc,Zc）への変換行列Ｔにより、全方位カメラ１３の座標系（Xc,Yc,Zc）での三次元位置データへ変換することができる。変換行列Ｔによる座標変換としては、座標系間の回転を示す回転変換と、並進を示す並進変換とを含んだ同次変換行列を用いることによって座標変換を行う。なお、変換行列Ｔについては、例えば、参考文献３（"同次変換行列"，ＵＲＬ＜http://www.thothchildren.com/chapter/5b46226e103f2f316870c401＞）に詳細に説明されている。
【0040】
なお、本第１実施形態による三次元点の座標変換計算及び三次元点：画素の対応計算に必要な、同次変換行列の各成分の値や、カメラパラメータについては、設置位置の計測や、キャリブレーションなどの方法で予めオフラインにて求めておくものとする。
【0041】
次に、上述した植生指標データの保存（Ｓ３２）について説明する。
図８は、本第１実施形態による植生指標データの保存を説明するための概念図である。本第１実施形態では、図８に示すように、三次元計測データのデータ列から点位置情報（ｘ，ｙ，ｚ）と反射強度とを順次取り出し、点位置情報（ｘ，ｙ，ｚ）に対して三次元点の座標変換計算と三次元点：画素の対応計算とを行って、画像平面上の画素を求める。さらに、画素の色情報から赤色輝度値（Ｒ）を取り出し、植生指標値計算により、反射強度と赤色輝度値（Ｒ）とから正規化植生指標（ＮＤＶＩ）を求める。そして、求めた正規化植生指標（ＮＤＶＩ）を三次元計測データと同じ順番の植生指標データの位置に保存する。
図８は、本第１実施形態による植生指標データの保存を説明するための概念図である。本第１実施形態では、図８に示すように、三次元計測データのデータ列から点位置情報（ｘ，ｙ，ｚ）と反射強度とを順次取り出し、点位置情報（ｘ，ｙ，ｚ）に対して三次元点の座標変換計算と三次元点：画素の対応計算とを行って、画像平面上の画素を求める。さらに、画素の色情報から赤色輝度値（Ｒ）を取り出し、植生指標値計算により、反射強度と赤色輝度値（Ｒ）とから正規化植生指標（ＮＤＶＩ）を求める。そして、求めた正規化植生指標（ＮＤＶＩ）を三次元計測データと同じ順番の植生指標データの位置に保存する。
【0042】
次に、上述した三次元点群領域分割処理（Ｓ１２）について説明する。
図９は、本第１実施形態による三次元点群領域分割部３２の動作を説明するためのフローチャートである。三次元点群領域分割部３２は、三次元点群領域分割処理において、まず、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データを入力し（ステップＳ４０）、植生指標計算部３１からの植生指標データを入力する（ステップＳ４２）。次に、三次元点群領域分割部３２は、三次元計測データと植生指標データとを、領域分割用入力データに成形し（ステップＳ４４）、成形した領域分割用入力データを用いて領域分割計算を行う（ステップＳ４６）。その後、三次元点群領域分割部３２は、成形した領域分割用入力データから、点群領域分割データを作成して出力する（ステップＳ４８）。
図９は、本第１実施形態による三次元点群領域分割部３２の動作を説明するためのフローチャートである。三次元点群領域分割部３２は、三次元点群領域分割処理において、まず、３Ｄ－ＬｉＤＡＲ１２からの三次元計測データを入力し（ステップＳ４０）、植生指標計算部３１からの植生指標データを入力する（ステップＳ４２）。次に、三次元点群領域分割部３２は、三次元計測データと植生指標データとを、領域分割用入力データに成形し（ステップＳ４４）、成形した領域分割用入力データを用いて領域分割計算を行う（ステップＳ４６）。その後、三次元点群領域分割部３２は、成形した領域分割用入力データから、点群領域分割データを作成して出力する（ステップＳ４８）。
【0043】
本第１実施形態による領域分割計算（Ｓ４６）では、三次元点群領域分割を用いる。例えば、上述した非特許文献２のＳａｌｓａＮｅｘｔのような方法である。三次元点群領域分割では、各点毎に、自動車・自転車・道路・駐車場・建物・植生・幹・地形などの領域に分類する。この方法では、三次元計測データを領域分割用入力データに成形して深層学習ネットワークへ入力し、領域分類した結果である領域ラベルデータを出力することが一般的である。領域分割用入力データとしては、三次元計測データを基に計算し、位置データから計算できる「距離」、位置データそのものである「ｘ位置」、「ｙ位置」、「ｚ位置」、三次元計測データに含まれる「反射強度」がある。
【0044】
図１０は、一般的な領域分割計算を説明するための概念図である。図１１は、本第１実施形態による領域分割計算を説明するための概念図である。一般的な領域分割計算では、図１０に示すように、領域分割用入力データ４０として、「距離」、「ｘ位置」、「ｙ位置」、「ｚ位置」、「反射強度」を、三次元点群領域分割（深層学習ネットワーク）４１に入力し、領域ラベルデータ４２を得る。これに対して、本第１実施形態による領域分割計算では、図１１に示すように、領域分割用入力データ５０として、一般的な領域分割計算の領域分割用の入力データ「距離」、「ｘ位置」、「ｙ位置」、「ｚ位置」、「反射強度」に加え、植生指標データを成形した正規植生指標（ＮＤＶＩ）を、三次元点群領域分割（深層学習ネットワーク）５１に入力し、領域ラベルデータ５２を得る。
【0045】
なお、三次元点群領域分割を行う深層学習ネットワーク５１は、学習データセットによりオフラインで学習しておくものとする。学習方法については、後述する第４実施形態と第５実施形態で詳細に説明する。
【0046】
次に、上述した点群領域分割データ作成（Ｓ４８）について説明する。
図１２は、本第１実施形態による点群領域分割データ作成を説明するための概念図である。本第１実施形態による点群領域分割データ作成では、図１２に示すように、領域分割計算で計算した領域ラベルデータを、三次元計測データに保存してある点位置情報（ｘ，ｙ，ｚ）に対応した順番に並べて保存して点群領域分割データを作成する。この処理によって三次元点群データに保存されている点の順番に対応した点群領域分割データを得ることができる。
図１２は、本第１実施形態による点群領域分割データ作成を説明するための概念図である。本第１実施形態による点群領域分割データ作成では、図１２に示すように、領域分割計算で計算した領域ラベルデータを、三次元計測データに保存してある点位置情報（ｘ，ｙ，ｚ）に対応した順番に並べて保存して点群領域分割データを作成する。この処理によって三次元点群データに保存されている点の順番に対応した点群領域分割データを得ることができる。
【0047】
次に、本第１実施形態による周囲環境認識部３０が出力した点群領域分割データを用いた制御処理部３３側のコストマップ計算について説明する。三次元計測データを用いたコストマップは、非特許文献１と同様の方法で三次元点群の位置情報から作成する。本第１実施形態では、これを「位置情報コストマップ」と呼ぶ。また、本第１実施形態では、点群領域分割データからもコストマップを作成する。これを「領域分割コストマップ」と呼ぶ。
【0048】
点群領域分割データは、各点毎に、自動車・自転車・道路・駐車場・建物・植生・幹・地形などの領域ラベルを持っている。例えば、移動ロボットが走行して良い領域ラベルを「道路・駐車場・歩道」とする。このとき、領域ラベルが「道路・駐車場・歩道」の場合のコスト値を０とし、それ以外にコスト値をｃとする。ｃは、設定により数値を与える。領域分割コストマップは、領域ラベルに付与したコスト値を水平面へ投影して積算することにより求められる。
【0049】
図１３は、本第１実施形態において用いるコストマップの一例を説明するための概念図である。例えば、図１３に示すように、芝生６０の中を通る道路６１の脇に自動車６２が停まっている状況を考える。位置情報コストマップ６３では、地面から高さのある自動車６２の周囲にコスト値の高いコストマップが生成される。図中では、濃淡が濃いほどコスト値が高いものとして表現している。領域分割コストマップ６４では、「道路・駐車場・歩道」以外の領域にコスト値が付与され、高さ方向に点群が重なっている自動車６２付近のコスト値が高くなる。芝生６０の部分にもコスト値が付与される。最後に、位置情報コストマップ６３と領域分割コストマップ６４とを合成してコストマップ６５を作成する。合成にはコストマップを加算する方法を用いる。
【0050】
上述した第１実施形態によれば、植生指標を用いて領域分割処理を補助しているため、「道路・駐車場・歩道」といった人工物と芝生などの植生とを安定して区別することができる。このため、例えば、公園などを移動ロボットが走行した際には、侵入が禁止されている芝生へ入ってしまうことがない。また、領域分割結果の「道路・駐車場・歩道」上に何らかの植物があったとしても、障害物と誤検知しないので、異常な回避行動をとったり、回避経路が見つからずに走行不能に陥ったりすることなく、円滑に走行することができる。
【0051】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
三次元点群領域分割を行う深層学習ネットワークの学習を行う際は、３Ｄ－ＬｉＤＡＲ１２で計測した、移動ロボット１の周辺に対する全方位の三次元計測データの全範囲を網羅する全方位画像データを得ることが好ましい。この場合、３Ｄ－ＬｉＤＡＲ１２と全方位カメラ１３の両方を、移動ロボット１の周囲を見渡せる箇所へ設置する必要がある。
次に、本発明の第２実施形態について説明する。
三次元点群領域分割を行う深層学習ネットワークの学習を行う際は、３Ｄ－ＬｉＤＡＲ１２で計測した、移動ロボット１の周辺に対する全方位の三次元計測データの全範囲を網羅する全方位画像データを得ることが好ましい。この場合、３Ｄ－ＬｉＤＡＲ１２と全方位カメラ１３の両方を、移動ロボット１の周囲を見渡せる箇所へ設置する必要がある。
【0052】
一方、移動ロボット１を実際に自動走行させる際は、進行方向に対して前方の領域分割が正しくできればよい。そこで、移動ロボット１の自動走行時においては、全方位カメラ１３に代えて、進行方向の前方を撮影するカラーカメラ（撮像部）７０で対応することが可能である。これにより、カラーカメラ７０の設置場所に自由度が増える。例えば、カラーカメラ７０を移動ロボット１の前方に設置すればよい。
【0053】
図１４は、本第２実施形態による移動ロボット１の一構成例を示す模式図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図１４において、台車部１５から鉛直方向に延設された鉛直部１６には、全方位カメラ１３に代えて、カラーカメラ７０が搭載されている。カラーカメラ７０は、移動ロボット１の走行方向の前方を撮影し、カラー画像データをコントローラ１１へ供給する。
【0054】
図１５は、本第２実施形態によるコントローラ１１の一構成例を示すブロック図である。なお、図３に対応する部分には同一の符号を付けて説明を省略する。周囲環境認識部３０は、全方位画像データの代わりに、カラーカメラ７０からのカラー画像データを、植生指標計算部３４に入力する構成となる。植生指標計算部３４は、カラーカメラ７０からのカラー画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標を計算し、植生指標データを三次元点群領域分割部３２に供給する。
【0055】
次に、本第２実施形態による周囲環境認識部３０の動作について説明する。
本第２実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）は、上述した第１実施形態で説明した図４に示すフローチャートと基本的に変わらないが、全方位カメラ１３に代えてカラーカメラ７０を搭載したことで、ステップＳ１０における植生指標計算処理の内容が異なる。
本第２実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）は、上述した第１実施形態で説明した図４に示すフローチャートと基本的に変わらないが、全方位カメラ１３に代えてカラーカメラ７０を搭載したことで、ステップＳ１０における植生指標計算処理の内容が異なる。
【0056】
次に、本第２実施形態による植生指標計算処理について説明する。
図１６は、本第２実施形態による植生指標計算部３４の動作を説明するためのフローチャートである。植生指標計算部３４は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ６０）、カラーカメラ７０からカラー画像データを入力する（ステップＳ６２）。次に、植生指標計算部３４は、入力された三次元計測データから得られた全ての三次元点に対して、三次元点の座標変換計算を行う（ステップＳ６４）。次に、植生指標計算部３４は、カラー画像データに基づいて三次元点：画素の対応計算を行い（ステップＳ６６）、赤色輝度値を抽出する（ステップＳ６８）。次に、植生指標計算部３４は、赤色輝度値に基づいて植生指標値を計算し（ステップＳ７０）、植生指標データを保存する（ステップＳ７２）。このように、植生指標計算部３４は、一連の処理を順次行うことで、植生指標データを作成する。その後、全ての三次元点に対して処理を行ったか否かを判断し（ステップＳ７４）、未処理の三次元点がある場合には（ステップＳ７４のＮＯ）、ステップＳ６４に戻り、上述した処理を繰り返す。一方、全ての三次元点に対して処理を行った場合には（ステップＳ７４のＹＥＳ）、当該処理を終了する。
図１６は、本第２実施形態による植生指標計算部３４の動作を説明するためのフローチャートである。植生指標計算部３４は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ６０）、カラーカメラ７０からカラー画像データを入力する（ステップＳ６２）。次に、植生指標計算部３４は、入力された三次元計測データから得られた全ての三次元点に対して、三次元点の座標変換計算を行う（ステップＳ６４）。次に、植生指標計算部３４は、カラー画像データに基づいて三次元点：画素の対応計算を行い（ステップＳ６６）、赤色輝度値を抽出する（ステップＳ６８）。次に、植生指標計算部３４は、赤色輝度値に基づいて植生指標値を計算し（ステップＳ７０）、植生指標データを保存する（ステップＳ７２）。このように、植生指標計算部３４は、一連の処理を順次行うことで、植生指標データを作成する。その後、全ての三次元点に対して処理を行ったか否かを判断し（ステップＳ７４）、未処理の三次元点がある場合には（ステップＳ７４のＮＯ）、ステップＳ６４に戻り、上述した処理を繰り返す。一方、全ての三次元点に対して処理を行った場合には（ステップＳ７４のＹＥＳ）、当該処理を終了する。
【0057】
本第２実施形態では、三次元点：画素の対応計算（Ｓ６６）を、カラーカメラ７０に対応した計算方法に置き換える。三次元点に対応するカラーカメラ７０上の画素を求める方法としては、透視投影カメラモデルを用いる。なお、透視投影カメラモデルについては、参考文献４（"カメラモデル（Ｃａｍｅｒａ Ｍｏｄｅｌ）と透視投影（Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｒｏｊｅｃｔｉｏｎ）"，ＵＲＬ＜https://cvml-expertguide.net/terms/cv/camera-geometry/camera-model/＞）に説明されている。
【0058】
図１７は、本第２実施形態において、透視投影カメラモデルにおける世界座標系と画像座標系との関係を示す概念図である。透視投影カメラモデルでは、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）における三次元点Ｐ（ｘｗ，ｙｗ，ｚｗ）がカメラ原点であり、世界座標原点であるＯｗへ向かう直線により透視投影した画像平面上の点ｐ（ｘｉ，ｙｉ）へ投影する。この手法により、三次元点に対応する画像上の画素を求めることができる。
【0059】
植生指標計算処理後、三次元点群領域分割処理を行うことになるが、三次元点群領域分割処理については、上述した第１実施形態と同様であるので説明を省略する。
【0060】
上述した第２実施形態によれば、走行ロボットの実際の走行時に、進行方向に対して前方のみを撮影するカラーカメラを搭載することで、カメラの設置場所に自由度を増すことができる。
【0061】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
上述した植生指標は、可視光領域のうち、赤領域の輝度情報があれば計算できる。そこで、本第３実施形態では、前方を撮影するカメラとして、レンズ前面に赤色透過フィルタを設置したモノクロカメラを用いる。こうすることで、画像の色情報がＢＧＲカラー画像に対して単色となり、メモリ量を１／３に削減できると共に、色情報ＢＧＲからＲ値を取り出す手間を省くことができる。
次に、本発明の第３実施形態について説明する。
上述した植生指標は、可視光領域のうち、赤領域の輝度情報があれば計算できる。そこで、本第３実施形態では、前方を撮影するカメラとして、レンズ前面に赤色透過フィルタを設置したモノクロカメラを用いる。こうすることで、画像の色情報がＢＧＲカラー画像に対して単色となり、メモリ量を１／３に削減できると共に、色情報ＢＧＲからＲ値を取り出す手間を省くことができる。
【0062】
図１８は、本第３実施形態による移動ロボット１の一構成例を示す模式図である。なお、図１又は図１４に対応する部分には同一の符号を付けて説明を省略する。図１８において、台車部１５から鉛直方向に延設された鉛直部１６には、全方位カメラ１３あるいはカラーカメラ７０に代えて、モノクロカメラ（撮像部）７１が搭載されている。モノクロカメラ７１は、レンズ前面に赤色透過フィルタ７２を備えている。モノクロカメラ７１は、移動ロボット１の走行方向の前方を撮影し、赤色に対応するグレー画像データをコントローラ１１へ供給する。
【0063】
図１９は、本第３実施形態によるコントローラ１１の一構成例を示すブロック図である。なお、図３又は図１５に対応する部分には同一の符号を付けて説明を省略する。周囲環境認識部３０は、全方位画像データ又はカラー画像データの代わりに、モノクロカメラ７１からのグレー画像データを、植生指標計算部３５に入力する構成となる。植生指標計算部３５は、モノクロカメラ７１からのグレー画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標データを計算して三次元点群領域分割部３２に供給する。
【0064】
次に、本第３実施形態による周囲環境認識部３０の動作について説明する。
本第３実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）は、上述した第１実施形態で説明した図４に示すフローチャートと基本的に変わらないが、モノクロカメラ７１を搭載したことで、ステップＳ１０における植生指標計算処理の内容が異なる。
本第３実施形態による周囲環境認識部３０の全体動作（周囲環境認識処理）は、上述した第１実施形態で説明した図４に示すフローチャートと基本的に変わらないが、モノクロカメラ７１を搭載したことで、ステップＳ１０における植生指標計算処理の内容が異なる。
【0065】
次に、本第３実施形態による植生指標計算処理について説明する。
図２０は、本第３実施形態による植生指標計算部３５の動作を説明するためのフローチャートである。植生指標計算部３５は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ８０）、モノクロカメラ７１からグレー画像データを入力する（ステップＳ８２）。次に、植生指標計算部３５は、入力された三次元計測データから得られた全ての三次元点に対して、三次元点の座標変換計算を行う（ステップＳ８４）。次に、植生指標計算部３５は、グレー画像データに基づいて三次元点：画素の対応計算を行い（ステップＳ８６）、赤色輝度値を抽出する（ステップＳ８８）。なお、赤色輝度値抽出では、画像平面の対応画素におけるグレー画像データの輝度値を取り出せばよい。
図２０は、本第３実施形態による植生指標計算部３５の動作を説明するためのフローチャートである。植生指標計算部３５は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ８０）、モノクロカメラ７１からグレー画像データを入力する（ステップＳ８２）。次に、植生指標計算部３５は、入力された三次元計測データから得られた全ての三次元点に対して、三次元点の座標変換計算を行う（ステップＳ８４）。次に、植生指標計算部３５は、グレー画像データに基づいて三次元点：画素の対応計算を行い（ステップＳ８６）、赤色輝度値を抽出する（ステップＳ８８）。なお、赤色輝度値抽出では、画像平面の対応画素におけるグレー画像データの輝度値を取り出せばよい。
【0066】
次に、植生指標計算部３５は、赤色輝度値に基づいて植生指標値を計算し（ステップＳ９０）、植生指標データを保存する（ステップＳ９２）。このように、植生指標計算部３５は、一連の処理を順次行うことで、植生指標データを作成する。その後、全ての三次元点に対して処理を行ったか否かを判断し（ステップＳ９４）、未処理の三次元点がある場合には（ステップＳ９４のＮＯ）、ステップＳ８４に戻り、上述した処理を繰り返す。一方、全ての三次元点に対して処理を行った場合には（ステップＳ９４のＹＥＳ）、当該処理を終了する。なお、本第３実施形態における三次元点：画素の対応計算（Ｓ８６）は、上述した第２実施形態と同様の透視投影カメラモデルを用いる。
【0067】
次に、本第３実施形態における植生指標データの保存（Ｓ９２）について説明する。
図２１は、本第３実施形態における植生指標データの保存の概要を示す概念図である。図２１に示すように、三次元計測データのデータ列から点位置情報（ｘ，ｙ，ｚ）と反射強度とを順次取り出し、点位置情報（ｘ，ｙ，ｚ）に対して三次元点の座標変換計算と三次元点：画素の対応計算とを行って画像平面上の画素を求める。さらに、画素の輝度値を取り出し（これが赤色輝度値（Ｒ）になっている）、植生指標値計算により、反射強度と赤色輝度値（Ｒ）から正規化植生指標（ＮＤＶＩ）を求める。そして、求めた正規化植生指標（ＮＤＶＩ）を三次元計測データと同じ順番の植生指標データの位置に保存する。
図２１は、本第３実施形態における植生指標データの保存の概要を示す概念図である。図２１に示すように、三次元計測データのデータ列から点位置情報（ｘ，ｙ，ｚ）と反射強度とを順次取り出し、点位置情報（ｘ，ｙ，ｚ）に対して三次元点の座標変換計算と三次元点：画素の対応計算とを行って画像平面上の画素を求める。さらに、画素の輝度値を取り出し（これが赤色輝度値（Ｒ）になっている）、植生指標値計算により、反射強度と赤色輝度値（Ｒ）から正規化植生指標（ＮＤＶＩ）を求める。そして、求めた正規化植生指標（ＮＤＶＩ）を三次元計測データと同じ順番の植生指標データの位置に保存する。
【0068】
なお、植生指標計算処理後、三次元点群領域分割処理を行うことになるが、三次元点群領域分割処理については、上述した第１実施形態又は第２実施形態と同様であるので説明を省略する。
【0069】
上述した第３実施形態によれば、走行ロボットの実際の走行時には、進行方向に対して前方のみを撮影するモノクロカメラを搭載し、該モノクロカメラのレンズの前面に赤色透過フィルタを設置するようにしたので、画像の色情報がＢＧＲカラー画像に対して単色となり、メモリ量を１／３に削減できると共に、色情報ＢＧＲからＲ値を取り出す手間を省くことができる。
【0070】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
本第４実施形態では、三次元点群領域分割を行う深層学習ネットワーク（深層学習装置）について説明する。深層学習ネットワークは、学習データセットによりオフラインで予め学習しておくものとする。三次元点群領域分割においては、３Ｄ－ＬｉＤＡＲで計測した三次元点群に対して領域ラベルを作成する方法が一般的に用いられる。三次元点群に対する点群領域ラベルの作成は、例えば、参考文献５（"点群アノテーション"，ＵＲＬ＜https://docs.fastlabel.ai/docs/3d-point-cloud-annotation＞）のようなアノテーションツールを用いて、三次元点群を表示して領域を手動で囲む、もしくは、各点を個々に指定するなどして、その点の領域ラベルを指定し、点群領域ラベルデータを作成する。
次に、本発明の第４実施形態について説明する。
本第４実施形態では、三次元点群領域分割を行う深層学習ネットワーク（深層学習装置）について説明する。深層学習ネットワークは、学習データセットによりオフラインで予め学習しておくものとする。三次元点群領域分割においては、３Ｄ－ＬｉＤＡＲで計測した三次元点群に対して領域ラベルを作成する方法が一般的に用いられる。三次元点群に対する点群領域ラベルの作成は、例えば、参考文献５（"点群アノテーション"，ＵＲＬ＜https://docs.fastlabel.ai/docs/3d-point-cloud-annotation＞）のようなアノテーションツールを用いて、三次元点群を表示して領域を手動で囲む、もしくは、各点を個々に指定するなどして、その点の領域ラベルを指定し、点群領域ラベルデータを作成する。
【0071】
本第４実施形態では、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データ、全方位カメラ１３で撮影した全方位画像データ、さらに、三次元計測データを基に作成した点群領域ラベルデータのセットを学習データセットとして用いる。この学習データセットを用いて三次元点群領域分割を行う深層学習ネットワークをオフラインで学習するものとする。学習した結果は、学習結果データとして保存する。学習結果データとは、いわゆる、深層学習ネットワークの学習済みモデルのことである。
【0072】
学習データセットの作成に必要な、三次元計測データの計測及び全方位画像データの撮影は、本第１実施形態の図１に示す構成の移動ロボット１を用いるものとする。三次元計測データ及び全方位画像データは、移動ロボット１のコントローラ１１内に一旦保存し、オフラインにてネットワーク経由、もしくは、ストレージ経由で取り出す。
【0073】
三次元点群に対する点群領域ラベルデータの作成は、上述した参考文献５のようなアノテーションツールを搭載した作業端末を用意し、オフラインにて行う。点群領域ラベルデータは、作業端末内に一旦保存し、オフラインにてネットワーク経由、もしくは、ストレージ経由で取り出す。
【0074】
図２２は、本第４実施形態による三次元点群領域分割学習装置（深層学習装置）８０の構成を示すブロック図である。三次元点群領域分割学習装置８０は、記憶部８１、植生指標計算部８２、及び三次元点群領域分割学習部８３を備えている。三次元点群領域分割学習装置８０は、三次元計測データ、全方位画像データ、及び点群領域ラベルデータを入力し、記憶部８１に一旦保存する。植生指標計算部８２は、記憶部８１から、三次元計測データ及び全方位画像データを読み出し、植生指標データを作成して記憶部８１に保存する。また、三次元点群領域分割学習部８３は、記憶部８１から、点群領域ラベルデータ、三次元計測データ及び植生指標データを読み出して学習した後、学習結果データを記憶部８１に保存する。学習結果データは、オフラインにてネットワーク経由、もしくは、ストレージ経由で取り出される。
【0075】
次に、本第４実施形態による三次元点群領域分割学習処理の動作について説明する。
図２３は、本第４実施形態による三次元点群領域分割学習装置８０の全体動作を説明するためのフローチャートである。三次元点群領域分割学習装置８０において、植生指標計算部８２は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標データを計算する植生指標計算処理を実行する（ステップＳ１００）。なお、植生指標計算処理は、上述した第１実施形態で説明した基本的な方法（図５）と同様の方法を用いる。次に、三次元点群領域分割学習部８３は、点群領域ラベルデータ、三次元計測データ及び植生指標データに基づいて学習して学習結果データを求める深層学習ネットワーク学習処理を実行する（ステップＳ１０２）。
図２３は、本第４実施形態による三次元点群領域分割学習装置８０の全体動作を説明するためのフローチャートである。三次元点群領域分割学習装置８０において、植生指標計算部８２は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標データを計算する植生指標計算処理を実行する（ステップＳ１００）。なお、植生指標計算処理は、上述した第１実施形態で説明した基本的な方法（図５）と同様の方法を用いる。次に、三次元点群領域分割学習部８３は、点群領域ラベルデータ、三次元計測データ及び植生指標データに基づいて学習して学習結果データを求める深層学習ネットワーク学習処理を実行する（ステップＳ１０２）。
【0076】
次に、本第４実施形態による深層学習ネットワーク学習処理（Ｓ１０２）について説明する。図２４は、本第４実施形態による三次元点群領域分割学習部８３の動作を説明するためのフローチャートである。三次元点群領域分割学習部８３は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ１１０）、植生指標計算部８２により計算された植生指標データを入力し（ステップＳ１１２）、点群領域ラベルデータを入力する（ステップＳ１１４）。次に、三次元点群領域分割学習部８３は、三次元計測データと植生指標データとを、領域分割用入力データに成形し（ステップＳ１１６）、点群領域ラベルデータを領域ラベルデータに成形する（ステップＳ１１８）。次に、三次元点群領域分割学習部８３は、領域分割用入力データ及び領域ラベルデータに基づいて、深層学習ネットワークによる学習を行い（ステップＳ１２０）、学習結果データを作成して学習結果データを出力する（ステップＳ１２２）。
【0077】
本第４実施形態における学習は、領域分割計算で用いた三次元点群領域分割（例えば、非特許文献２のＳａｌｓａＮｅｘｔのような方法）のような方法と同様な方法で行う。
図２５は、本第４実施形態による深層学習ネットワークによる学習を説明するための概念図である。領域分割用入力データ９０として、三次元計測データの位置データから計算できる「距離」、位置データそのものである「ｘ位置」「ｙ位置」「ｚ位置」、三次元計測データに含まれる「反射強度」に加え、植生指標データを成形した「正規化植生指標（ＮＤＶＩ）」を用いる。また、点群領域ラベルデータから成形した領域ラベルデータ９１を入力する。深層学習ネットワーク９２は、成形した領域分割用入力データと領域ラベルデータとのペアを用いて繰り返し計算によりを学習し、最終的に学習結果データ９３を出力する。
図２５は、本第４実施形態による深層学習ネットワークによる学習を説明するための概念図である。領域分割用入力データ９０として、三次元計測データの位置データから計算できる「距離」、位置データそのものである「ｘ位置」「ｙ位置」「ｚ位置」、三次元計測データに含まれる「反射強度」に加え、植生指標データを成形した「正規化植生指標（ＮＤＶＩ）」を用いる。また、点群領域ラベルデータから成形した領域ラベルデータ９１を入力する。深層学習ネットワーク９２は、成形した領域分割用入力データと領域ラベルデータとのペアを用いて繰り返し計算によりを学習し、最終的に学習結果データ９３を出力する。
【0078】
上述した第４実施形態によれば、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データ、全方位カメラ１３で撮影した全方位画像データ、さらに、三次元計測データを基に作成した点群領域ラベルデータのセットを、深層学習ネットワークに対する学習データセットとして用いるようにしたので、「道路・駐車場・歩道」といった人工物と芝生などの植生とを安定して区別することができる。
【0079】
Ｅ．第５実施形態
次に、本発明の第５実施形態について説明する。
上述した第４実施形態では、三次元点群に対する点群領域ラベルの作成として、アノテーションツールを用いて、三次元点群を表示して領域を手動で囲む、もしくは、各点を個々に指定するなどして点群領域ラベルを作成する。ただし、実際にこれを実施しようとすると難しい。道路上に単独で存在する自動車や、人物などは、三次元点を表示することである程度見分けられる。しかしながら、芝生と道路の区別や、道路と歩道の区別、建物とフェンスの区別など三次元点を表示しただけでは簡単に見分けることが難しい場合が多い。そこで、本第５実施形態では、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データと対になっている全方位カメラ１３で撮影した全方位画像データを点群領域ラベルの作成に利用する。三次元点の表示よりも、全方位画像の表示の方が、作業者にとっては領域を区別し易い。
次に、本発明の第５実施形態について説明する。
上述した第４実施形態では、三次元点群に対する点群領域ラベルの作成として、アノテーションツールを用いて、三次元点群を表示して領域を手動で囲む、もしくは、各点を個々に指定するなどして点群領域ラベルを作成する。ただし、実際にこれを実施しようとすると難しい。道路上に単独で存在する自動車や、人物などは、三次元点を表示することである程度見分けられる。しかしながら、芝生と道路の区別や、道路と歩道の区別、建物とフェンスの区別など三次元点を表示しただけでは簡単に見分けることが難しい場合が多い。そこで、本第５実施形態では、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データと対になっている全方位カメラ１３で撮影した全方位画像データを点群領域ラベルの作成に利用する。三次元点の表示よりも、全方位画像の表示の方が、作業者にとっては領域を区別し易い。
【0080】
本第５実施形態では、全方位画像データに対して領域ラベルを作成する。具体的には、例えば、参考文献６（"ＧＩＭＰ"，ＵＲＬ＜https://www.gigafree.net/tool/paint/gimp.html＞）のようなペイントツールを用いて、全方位画像を表示し、領域を手動で色塗りすることで、全方位画像データに対する画像領域ラベルを作成する。本第５実施形態では、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データ、全方位カメラ１３で撮影した全方位画像データ、さらに、全方位画像データを基に作成した画像領域ラベルデータのセットを学習データセットとして用いる。
【0081】
学習データセットの作成に必要な、三次元計測データの計測及び全方位画像データの撮影は、本第１実施形態の図１に示す構成の移動ロボット１を用いるものとする。３Ｄ－ＬｉＤＡＲ１２による三次元計測データ及び全方位カメラ１３による全方位画像データは、移動ロボット１のコントローラ１１内に一旦保存し、オフラインにてネットワーク経由、もしくは、ストレージ経由で取り出す。
【0082】
三次元点群に対する画像領域ラベルの作成は、参考文献６のようなペイントツールを搭載した作業端末を用意し、オフラインにて画像領域ラベルデータの作成を行う。画像領域ラベルデータは、作業端末内に一旦保存し、オフラインにてネットワーク経由、もしくは、ストレージ経由で取り出す。
【0083】
図２６は、本第５実施形態による三次元点群領域分割学習装置（深層学習装置）１００の構成を示すブロック図である。なお、図２２に対応する部分には同一の符号を付けて説明を省略する。本第５実施形態による三次元点群領域分割学習装置１００は、前述した第４実施形態の三次元点群領域分割学習装置８０における点群領域ラベルデータに代えて、画像領域ラベルデータを入力し、記憶部１０１に一旦保存する。また、本第５実施形態による三次元点群領域分割学習装置１００は、前述した第４実施形態の三次元点群領域分割学習装置８０の構成に加えて、点群領域ラベル作成部１０３を備えている。点群領域ラベル作成部１０３は、記憶部１０１から、三次元計測データ及び画像領域ラベルデータを読み出し、点群領域ラベルデータを作成して記憶部１０１に保存する。学習結果データは、オフラインにてネットワーク経由、もしくは、ストレージ経由で取り出される。
【0084】
次に、本第５実施形態による三次元点群領域分割学習処理の動作について説明する。
図２７は、本第５実施形態による三次元点群領域分割学習装置１００の全体動作を説明するためのフローチャートである。三次元点群領域分割学習装置１００において、植生指標計算部１０２は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標を計算する植生指標計算処理を実行する（ステップＳ１３０）。なお、植生指標計算処理は、上述した第１実施形態で説明した基本的な方法（図５）と同様の方法を用いる。次に、点群領域ラベル作成部１０３は、三次元計測データ及び画像領域ラベルデータに基づいて、点群領域ラベルデータを作成する点群領域ラベル作成処理を実行する（ステップＳ１３２）。次に、三次元点群領域分割学習部１０４は、点群領域ラベルデータ、三次元計測データ及び植生指標データに基づいて学習して学習結果データを求める深層学習ネットワーク学習処理を実行する（ステップＳ１３４）。
図２７は、本第５実施形態による三次元点群領域分割学習装置１００の全体動作を説明するためのフローチャートである。三次元点群領域分割学習装置１００において、植生指標計算部１０２は、全方位カメラ１３からの全方位画像データと３Ｄ－ＬｉＤＡＲ１２からの三次元計測データとに基づいて、植生指標を計算する植生指標計算処理を実行する（ステップＳ１３０）。なお、植生指標計算処理は、上述した第１実施形態で説明した基本的な方法（図５）と同様の方法を用いる。次に、点群領域ラベル作成部１０３は、三次元計測データ及び画像領域ラベルデータに基づいて、点群領域ラベルデータを作成する点群領域ラベル作成処理を実行する（ステップＳ１３２）。次に、三次元点群領域分割学習部１０４は、点群領域ラベルデータ、三次元計測データ及び植生指標データに基づいて学習して学習結果データを求める深層学習ネットワーク学習処理を実行する（ステップＳ１３４）。
【0085】
次に、本第５実施形態による点群領域ラベル作成処理（Ｓ１３２）について説明する。図２８は、本第５実施形態による点群領域ラベル作成部１０３の動作を説明するためのフローチャートである。点群領域ラベル作成部１０３は、まず、３Ｄ－ＬｉＤＡＲ１２から三次元計測データを入力し（ステップＳ１４０）、画像領域ラベルデータを入力する（ステップＳ１４２）。次に、点群領域ラベル作成部１０３は、入力された三次元計測データから得られた全ての三次元点に対して三次元点の座標変換計算を行い（ステップＳ１４４）、三次元点：画素の対応計算を行う（ステップＳ１４６）。なお、本第５実施形態における、三次元点の座標変換計算、三次元点：画素の対応計算は、上述した第１実施形態で説明した基本的な方法（図５のステップＳ２４、Ｓ２６）と同様の方法を用いる。
【0086】
次に、点群領域ラベル作成部１０３は、領域ラベルを抽出し（ステップＳ１４８）、点群領域ラベルデータを作成して保存する（ステップＳ１５０）。その後、全ての三次元点に対して処理を行ったか否かを判断し（ステップＳ１５２）、未処理の三次元点がある場合には（ステップＳ１５２のＮＯ）、ステップＳ１４４に戻り、上述した処理を繰り返す。一方、全ての三次元点に対して処理を行った場合には（ステップＳ１５２のＹＥＳ）、当該処理を終了する。
【0087】
次に、本第５実施形態における点群領域ラベルデータの保存（Ｓ１５０）について説明する。図２９は、本第５実施形態における点群領域ラベルデータの保存の概要を示す概念図である。画像領域ラベルデータは、全方位画像データの各画素に領域ラベルを配置したデータ構造である。このため、画像平面の対応画素における領域ラベルを取り出せばよい。図２９に示すように、三次元計測データのデータ列から点位置情報（ｘ，ｙ，ｚ）と反射強度とを順次取り出し、点位置情報（ｘ，ｙ，ｚ）に対して三次元点の座標変換計算と三次元点：画素の対応計算とを行って画像平面上の画素を求める。さらに、画素位置に保管している領域ラベルを取り出し、三次元計測データと同じ順番の点群領域ラベルデータの位置に保存する。
【0088】
なお、本第５実施形態による深層学習ネットワークの学習処理は、上述した第４実施形態と同様であるので説明を省略する。
【0089】
上述した第５実施形態によれば、３Ｄ－ＬｉＤＡＲ１２で計測した三次元計測データ、全方位カメラ１３で撮影した全方位画像データ、さらに、全方位画像データを基に作成した画像領域ラベルデータのセットを、深層学習ネットワークに対する学習データセットとして用いるようにしたので、「道路・駐車場・歩道」といった人工物と芝生などの植生とを安定して区別することができる。
【0090】
これ以外にも、本発明の主旨を逸脱しない限り、上記実施形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりすることが可能である。
【符号の説明】
【0091】
１ 移動ロボット（走行体）
１０ 移動台
１１ コントローラ
１２ ３Ｄ－ＬｉＤＡＲ
１３ 全方位カメラ
１４ 走行手段
１６ 鉛直部
３０ 周囲環境認識部
３１、３４、３５ 植生指標計算部
３２ 三次元点群領域分割部
３３ 制御処理部
５０、９０ 領域分割用入力データ
５１，９２ 三次元点群領域分割（深層学習ネットワーク）
５２、９１ 領域ラベルデータ
７０ カラーカメラ
７１ モノクロカメラ
７２ 赤色透過フィルタ
８０、１００ 三次元点群領域分割学習装置（深層学習装置）
８１、１０１ 記憶部
８２、１０２ 植生指標計算部
８３、１０４ 三次元点群領域分割学習部
１０３ 点群領域ラベル作成部
１０ 移動台
１１ コントローラ
１２ ３Ｄ－ＬｉＤＡＲ
１３ 全方位カメラ
１４ 走行手段
１６ 鉛直部
３０ 周囲環境認識部
３１、３４、３５ 植生指標計算部
３２ 三次元点群領域分割部
３３ 制御処理部
５０、９０ 領域分割用入力データ
５１，９２ 三次元点群領域分割（深層学習ネットワーク）
５２、９１ 領域ラベルデータ
７０ カラーカメラ
７１ モノクロカメラ
７２ 赤色透過フィルタ
８０、１００ 三次元点群領域分割学習装置（深層学習装置）
８１、１０１ 記憶部
８２、１０２ 植生指標計算部
８３、１０４ 三次元点群領域分割学習部
１０３ 点群領域ラベル作成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】