ホーム > 特許ランキング > アルプスアルパイン株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-75351障害物マップ作成システム、障害物マップ作成方法及び障害物検知システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024075351
(43)【公開日】2024-06-03
(54)【発明の名称】障害物マップ作成システム、障害物マップ作成方法及び障害物検知システム
(51)【国際特許分類】
G09B 29/00 20060101AFI20240527BHJP
G06T 7/00 20170101ALI20240527BHJP
G01C 21/26 20060101ALI20240527BHJP
【ＦＩ】
G09B29/00 Z
G06T7/00 650Z
G01C21/26 A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022186741
(22)【出願日】2022-11-22
(71)【出願人】
【識別番号】000010098
【氏名又は名称】アルプスアルパイン株式会社
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(74)【代理人】
【識別番号】100103171
【弁理士】
【氏名又は名称】雨貝 正彦
(74)【代理人】
【識別番号】100105784
【弁理士】
【氏名又は名称】橘 和之
(74)【代理人】
【識別番号】100098497
【弁理士】
【氏名又は名称】片寄 恭三
(72)【発明者】
【氏名】橋本 真也
【テーマコード（参考）】
2C032
2F129
5L096
【Ｆターム（参考）】
2C032HB22
2C032HC08
2F129AA03
2F129BB03
2F129BB19
2F129BB22
2F129BB26
2F129DD13
2F129DD21
2F129DD39
2F129DD53
2F129EE26
2F129EE78
2F129EE85
2F129EE94
2F129EE95
2F129GG18
2F129HH33
5L096AA02
5L096AA09
5L096BA04
5L096HA11
5L096KA04
(57)【要約】
【課題】簡易に小さな障害物をリアルタイムに検出可能とする「障害物マップ作成システム、障害物マップ作成方法及び障害物検知システム」を提供する。
【解決手段】３Ｄ面傾斜度マップ生成部３１は、移動体の走行が想定される区域の３次元点群を表すオリジナル３Ｄマップの各点の色を、その点を含む面の傾きに応じた色に変更して３Ｄ面傾斜度マップを作成し、２Ｄ俯瞰画像生成部３２は、３Ｄ面傾斜度マップを俯瞰した２Ｄ俯瞰画像を生成し、２Ｄ障害物マップ生成部３３は、画像認識によって２Ｄ俯瞰画像中の各点が障害物の点であるか否かを識別し、２Ｄ俯瞰画像中の各点を識別結果に応じた色に変更して２Ｄ障害物マップを生成し、３Ｄ障害物マップ生成部３４は、オリジナル３Ｄマップの３次元点群の各点の色を、その点と水平方向についての座標が同じ２Ｄ障害物マップ上の点の色に変更して３Ｄ障害物マップ１０１を生成する。
【選択図】図３
【解決手段】３Ｄ面傾斜度マップ生成部３１は、移動体の走行が想定される区域の３次元点群を表すオリジナル３Ｄマップの各点の色を、その点を含む面の傾きに応じた色に変更して３Ｄ面傾斜度マップを作成し、２Ｄ俯瞰画像生成部３２は、３Ｄ面傾斜度マップを俯瞰した２Ｄ俯瞰画像を生成し、２Ｄ障害物マップ生成部３３は、画像認識によって２Ｄ俯瞰画像中の各点が障害物の点であるか否かを識別し、２Ｄ俯瞰画像中の各点を識別結果に応じた色に変更して２Ｄ障害物マップを生成し、３Ｄ障害物マップ生成部３４は、オリジナル３Ｄマップの３次元点群の各点の色を、その点と水平方向についての座標が同じ２Ｄ障害物マップ上の点の色に変更して３Ｄ障害物マップ１０１を生成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
各地点の障害物の有無を表す障害物マップを作成する障害物マップ作成システムであって、
前記障害物マップを作成する区域に存在する物体の３次元点群を表す、当該３次元点群の各点が属性値を持つ３Ｄマップの各点の属性値を、その点を含む面の水平方向に対する傾きの大きさに応じた値に変更して３Ｄ面傾斜度マップを作成する３Ｄ面傾斜度マップ作成手段と、
前記３Ｄ面傾斜度マップを俯瞰した２次元のマップである２Ｄ俯瞰マップを生成する２Ｄ俯瞰マップ作成手段と、
前記２Ｄ俯瞰マップ中の障害物に対応する点を識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が障害物に対応する点であるか否かを少なくとも表す値に変更して、前記２次元で各地点の障害物の有無を表す２Ｄ障害物マップを生成する２Ｄ障害物マップ作成手段とを有することを特徴とする障害物マップ作成システム。
前記障害物マップを作成する区域に存在する物体の３次元点群を表す、当該３次元点群の各点が属性値を持つ３Ｄマップの各点の属性値を、その点を含む面の水平方向に対する傾きの大きさに応じた値に変更して３Ｄ面傾斜度マップを作成する３Ｄ面傾斜度マップ作成手段と、
前記３Ｄ面傾斜度マップを俯瞰した２次元のマップである２Ｄ俯瞰マップを生成する２Ｄ俯瞰マップ作成手段と、
前記２Ｄ俯瞰マップ中の障害物に対応する点を識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が障害物に対応する点であるか否かを少なくとも表す値に変更して、前記２次元で各地点の障害物の有無を表す２Ｄ障害物マップを生成する２Ｄ障害物マップ作成手段とを有することを特徴とする障害物マップ作成システム。
【請求項2】
請求項１記載の障害物マップ作成システムであって、
前記３Ｄマップの各点の属性値を、当該点と位置が前記２次元について同じ前記２Ｄ障害物マップの点の属性値に変更して、３次元で各地点の障害物の有無を表す３Ｄ障害物マップを生成する３Ｄ障害物マップ作成手段を有することを特徴とする障害物マップ作成システム。
前記３Ｄマップの各点の属性値を、当該点と位置が前記２次元について同じ前記２Ｄ障害物マップの点の属性値に変更して、３次元で各地点の障害物の有無を表す３Ｄ障害物マップを生成する３Ｄ障害物マップ作成手段を有することを特徴とする障害物マップ作成システム。
【請求項3】
請求項１または２記載の障害物マップ作成システムであって、
前記２Ｄ障害物マップ作成手段は、前記２Ｄ俯瞰マップ中の、路面から上方に突出した障害物である凸障害物に対応する点と、路面から下方に窪んだ障害物である凹障害物に対応する点とを識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が凸障害物に対応する点と当該点が凹障害物に対応する点と当該点が凸障害物にも凹障害物にも対応しない点とのうちのいずれであるかによって定まる値に変更して前記２Ｄ障害物マップを生成することを特徴とする障害物マップ作成システム。
前記２Ｄ障害物マップ作成手段は、前記２Ｄ俯瞰マップ中の、路面から上方に突出した障害物である凸障害物に対応する点と、路面から下方に窪んだ障害物である凹障害物に対応する点とを識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が凸障害物に対応する点と当該点が凹障害物に対応する点と当該点が凸障害物にも凹障害物にも対応しない点とのうちのいずれであるかによって定まる値に変更して前記２Ｄ障害物マップを生成することを特徴とする障害物マップ作成システム。
【請求項4】
請求項１または２記載の障害物マップ作成システムであって、
前記属性値は色を表す値であることを特徴とする障害物マップ作成システム。
前記属性値は色を表す値であることを特徴とする障害物マップ作成システム。
【請求項5】
請求項１記載の障害物マップ作成システムであって、
前記２Ｄ障害物マップ作成手段は、障害物に対応する点のクラスと障害物でない物体に対応する点のクラスとのクラス分類を行うようにディープラーニングで事前学習させた畳み込みニューラルネットワークを用いて２Ｄ俯瞰マップ中の障害物に対応する点を識別することを特徴とする障害物マップ作成システム。
前記２Ｄ障害物マップ作成手段は、障害物に対応する点のクラスと障害物でない物体に対応する点のクラスとのクラス分類を行うようにディープラーニングで事前学習させた畳み込みニューラルネットワークを用いて２Ｄ俯瞰マップ中の障害物に対応する点を識別することを特徴とする障害物マップ作成システム。
【請求項6】
各地点の障害物の有無を表す障害物マップを作成する障害物マップ作成方法であって、
前記障害物マップを作成する区域に存在する物体の３次元点群を表す、当該３次元点群の各点が属性値を持つ３Ｄマップの各点の属性値を、その点を含む面の水平方向に対する傾きの大きさに応じた値に変更して３Ｄ面傾斜度マップを作成する３Ｄ面傾斜度マップ作成ステップと、
前記３Ｄ面傾斜度マップを俯瞰した２次元のマップである２Ｄ俯瞰マップを生成する２Ｄ俯瞰マップ作成ステップと、
前記２Ｄ俯瞰マップ中の障害物に対応する点を識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が障害物に対応する点であるか否かを少なくとも表す値に変更して、２次元で各地点の障害物の有無を表す２Ｄ障害物マップを生成する２Ｄ障害物マップ作成ステップとを有することを特徴とする障害物マップ作成方法。
前記障害物マップを作成する区域に存在する物体の３次元点群を表す、当該３次元点群の各点が属性値を持つ３Ｄマップの各点の属性値を、その点を含む面の水平方向に対する傾きの大きさに応じた値に変更して３Ｄ面傾斜度マップを作成する３Ｄ面傾斜度マップ作成ステップと、
前記３Ｄ面傾斜度マップを俯瞰した２次元のマップである２Ｄ俯瞰マップを生成する２Ｄ俯瞰マップ作成ステップと、
前記２Ｄ俯瞰マップ中の障害物に対応する点を識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が障害物に対応する点であるか否かを少なくとも表す値に変更して、２次元で各地点の障害物の有無を表す２Ｄ障害物マップを生成する２Ｄ障害物マップ作成ステップとを有することを特徴とする障害物マップ作成方法。
【請求項7】
請求項６記載の障害物マップ作成方法であって、
前記３Ｄマップの各点の属性値を、当該点と位置が前記２次元について同じ前記２Ｄ障害物マップの点の属性値に変更して、３次元で各地点の障害物の有無を表す３Ｄ障害物マップを生成する３Ｄ障害物マップ作成ステップを有することを特徴とする障害物マップ作成方法。
前記３Ｄマップの各点の属性値を、当該点と位置が前記２次元について同じ前記２Ｄ障害物マップの点の属性値に変更して、３次元で各地点の障害物の有無を表す３Ｄ障害物マップを生成する３Ｄ障害物マップ作成ステップを有することを特徴とする障害物マップ作成方法。
【請求項8】
請求項２記載の障害物マップ作成システムと、移動体とを備えた障害物検知システムであって、
前記移動体は、現在位置を算出する現在位置算出手段と、前記障害物マップ作成システムによって作成された３Ｄ障害物マップを参照して、前記現在位置が接近した障害物を検知する障害物検知手段とを有することを特徴とする障害物検知システム。
前記移動体は、現在位置を算出する現在位置算出手段と、前記障害物マップ作成システムによって作成された３Ｄ障害物マップを参照して、前記現在位置が接近した障害物を検知する障害物検知手段とを有することを特徴とする障害物検知システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体において障害物を検知する技術に関するものである。
【背景技術】
【0002】
移動体において障害物を検知する技術としては、自動車に搭載したLiDAR（light detection and ranging）で検出した三次元点群から、自動車前方の歩行者等の障害物を検知する技術が知られている（たとえば、特許文献１）。
また、本発明に関する技術としては、移動体に搭載されたLiDARで三次元点群を取得しながら、３Ｄ（３次元）マップの生成と移動体の位置の検出を行うLiDAR SLAM(Simultaneous Localization and Mapping)の技術が知られている（たとえば、特許文献２）。
また、本発明に関する技術としては、移動体に搭載されたLiDARで三次元点群を取得しながら、３Ｄ（３次元）マップの生成と移動体の位置の検出を行うLiDAR SLAM(Simultaneous Localization and Mapping)の技術が知られている（たとえば、特許文献２）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２-１５４６１１号公報
【特許文献2】特開２０１９-２０７２２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
移動体においてLiDARを用いて段差や溝などの小さな構造物を障害物として検出するためには、高性能の高価なLiDARが必要となると共に、障害物検出のための処理量も増大するためにリアルタイムな障害物検出が難しくなる。
そこで、本発明は、移動体において比較的に簡易に小さな構造物を障害物としてリアルタイムに検出できるようにすることを課題とする。
そこで、本発明は、移動体において比較的に簡易に小さな構造物を障害物としてリアルタイムに検出できるようにすることを課題とする。
【課題を解決するための手段】
【0005】
前記課題達成のために、本発明は、各地点の障害物の有無を表す障害物マップを作成する障害物マップ作成システムに、前記障害物マップを作成する区域に存在する物体の３次元点群を表す、当該３次元点群の各点が属性値を持つ３Ｄマップの各点の属性値を、その点を含む面の水平方向に対する傾きの大きさに応じた値に変更して３Ｄ面傾斜度マップを作成する３Ｄ面傾斜度マップ作成手段と、前記３Ｄ面傾斜度マップを俯瞰した２次元のマップである２Ｄ俯瞰マップを生成する２Ｄ俯瞰マップ作成手段と、前記２Ｄ俯瞰マップ中の障害物に対応する点を識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が障害物に対応する点であるか否かを少なくとも表す値に変更して、前記２次元で各地点の障害物の有無を表す２Ｄ障害物マップを生成する２Ｄ障害物マップ作成手段とを備えたものである。
【0006】
ここで、この障害物マップ作成システムには、前記３Ｄマップの各点の属性値を、当該点と位置が前記２次元について同じ前記２Ｄ障害物マップの点の属性値に変更して、３次元で各地点の障害物の有無を表す３Ｄ障害物マップを生成する３Ｄ障害物マップ作成手段を備えてもよい。
【0007】
また、以上の障害物マップ作成システムは、前記２Ｄ障害物マップ作成手段において、前記２Ｄ俯瞰マップ中の、路面から上方に突出した障害物である凸障害物に対応する点と、路面から下方に窪んだ障害物である凹障害物に対応する点とを識別し、２Ｄ俯瞰マップ中の各点の属性値を、当該点が凸障害物に対応する点と当該点が凹障害物に対応する点と当該点が凸障害物にも凹障害物にも対応しない点とのうちのいずれであるかによって定まる値に変更して前記２Ｄ障害物マップを生成するように構成してもよい。
【0008】
また、以上の障害物マップ作成システムにおいて、前記属性値は色を表す値であってよい。
また、以上の障害物マップ作成システムは、前記２Ｄ障害物マップ作成手段は、障害物に対応する点のクラスと障害物でない物体に対応する点のクラスとのクラス分類を行うようにディープラーニングで事前学習させた畳み込みニューラルネットワークを用いて２Ｄ俯瞰マップ中の障害物に対応する点を識別するように構成してよい。
また、以上の障害物マップ作成システムは、前記２Ｄ障害物マップ作成手段は、障害物に対応する点のクラスと障害物でない物体に対応する点のクラスとのクラス分類を行うようにディープラーニングで事前学習させた畳み込みニューラルネットワークを用いて２Ｄ俯瞰マップ中の障害物に対応する点を識別するように構成してよい。
【0009】
このような障害物マップ作成システムによれば、各位置にある面の傾きの大きさを表す２次元の２Ｄ俯瞰マップを生成し、生成した２Ｄ俯瞰マップから障害物を識別するように構成したので、障害物の識別精度を保ったまま、障害物を識別するため処理の処理量を低減することができる。
【0010】
また、本発明は、上述した３Ｄ障害物マップを作成する障害物マップ作成システムと、移動体とを備えた障害物検知システムも提供する。ここで、前記移動体は、現在位置を算出する現在位置算出手段と、前記障害物マップ作成システムによって作成された３Ｄ障害物マップを参照して、前記現在位置が接近した障害物を検知する障害物検知手段とを備えている。
【0011】
このような障害物検知システムによれば、高解像度の３Ｄマップから３Ｄ障害物マップを作成しておくことにより、移動体において、３Ｄ障害物マップを参照するだけの簡易な処理で、小さな障害物についても、その接近を検知することができる。
【発明の効果】
【0012】
以上のように、本発明によれば、移動体において比較的に簡易に小さな構造物を障害物としてリアルタイムに検出できるようにすることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係る移動体の機能構成を示す図である。
【図2】本発明の実施形態に係るパーソナルモビリティを示す図である。
【図3】本発明の実施形態に係る３Ｄ障害物マップ作成装置の機能構成を示す図である。
【図4】本発明の実施形態に係る３Ｄ障害物マップの作成手順を示す図である。
【図5】本発明の実施形態に係る３Ｄ障害物マップの作成手順を示す図である。
【図6】本発明の実施形態に係るＣＮＮがクラス分類の対象とする画像を示す図である。を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る移動体の機能構成を示す。
移動体は、パーソナルモビリティ、自走式車椅子、自動車、自走式ロボット、その他の自走式車両などの自走式の移動体であり、自動運転もしくは手動運転により走行する。
図示するように、移動体は、物体の三次元点群を検出する１つもしくは複数のＬｉＤＡＲ１（light detection and ranging）、衛星測位により現在位置を検出するＧＮＳＳモジュール２、加速度や角加速度等を検出するＩＭＵ３（Inertial Measurement Unit）、モニタ４、ユーザの操作を受け付ける操作装置５、移動体を自走させる走行機構６、移動体の移動速度や操舵角などの各種状態を検出する状態センサ７、ＬｉＤＡＲ１が検出した三次元点群から３Ｄ（三次元）マップの生成と現在位置の算定を行うＳＬＡＭ８(Simultaneous Localization and Mapping)、自動運転システム９、障害物検知システム１０を備えている。
図１に、本実施形態に係る移動体の機能構成を示す。
移動体は、パーソナルモビリティ、自走式車椅子、自動車、自走式ロボット、その他の自走式車両などの自走式の移動体であり、自動運転もしくは手動運転により走行する。
図示するように、移動体は、物体の三次元点群を検出する１つもしくは複数のＬｉＤＡＲ１（light detection and ranging）、衛星測位により現在位置を検出するＧＮＳＳモジュール２、加速度や角加速度等を検出するＩＭＵ３（Inertial Measurement Unit）、モニタ４、ユーザの操作を受け付ける操作装置５、移動体を自走させる走行機構６、移動体の移動速度や操舵角などの各種状態を検出する状態センサ７、ＬｉＤＡＲ１が検出した三次元点群から３Ｄ（三次元）マップの生成と現在位置の算定を行うＳＬＡＭ８(Simultaneous Localization and Mapping)、自動運転システム９、障害物検知システム１０を備えている。
【0015】
また、自動運転システム９には、自動運転用のマップである自動運転マップ９１が予め設定されている。
障害物検知システム１０には、障害物の位置を示した３Ｄのマップである３Ｄ障害物マップ１０１が予め設定されている。
３Ｄ障害物マップ１０１は、移動体の走行が想定される区域の３次元点群であり、３Ｄ障害物マップ１０１の３次元点群を構成する各点は、その点が障害物の点であるか障害物でない物体の点であるかと、障害物の点である場合に障害物の種別を示す属性値が与えられている。具体的には、属性値としては色を表す値を用いており、段差などの路面から上に突出した凸形状の障害物の点は赤色の点、溝などの路面から下に凹んだ凹形状の障害物の点は青色の点、路面などの障害物でない物体の点は白色の点として、３Ｄ障害物マップ１０１に含められている。
障害物検知システム１０には、障害物の位置を示した３Ｄのマップである３Ｄ障害物マップ１０１が予め設定されている。
３Ｄ障害物マップ１０１は、移動体の走行が想定される区域の３次元点群であり、３Ｄ障害物マップ１０１の３次元点群を構成する各点は、その点が障害物の点であるか障害物でない物体の点であるかと、障害物の点である場合に障害物の種別を示す属性値が与えられている。具体的には、属性値としては色を表す値を用いており、段差などの路面から上に突出した凸形状の障害物の点は赤色の点、溝などの路面から下に凹んだ凹形状の障害物の点は青色の点、路面などの障害物でない物体の点は白色の点として、３Ｄ障害物マップ１０１に含められている。
【0016】
ここで、このような３Ｄ障害物マップ１０１の作成の手順については後に詳述する。
そして、自動運転システム９は、自動運転マップ９１や、ＧＮＳＳモジュール２やＳＬＡＭ８で検出した現在位置や、ＳＬＡＭ８で生成した３Ｄマップや、ＩＭＵ３の検出値を参照して、移動体の現在位置を算定する。
また、自動運転システム９は、自動運転マップ９１と算定した現在位置に基づいて目的地までの経路を設定すると共に、自動運転マップ９１と算定した現在位置に基づいた自動運転により走行機構６を制御して移動体を経路に沿って走行させる制御を行う。ここで、自動運転システム９は、操作装置５で受け付けた運転操作に応じて走行機構６を制御して移動体を走行させる運転制御も行うこともできる。
そして、自動運転システム９は、自動運転マップ９１や、ＧＮＳＳモジュール２やＳＬＡＭ８で検出した現在位置や、ＳＬＡＭ８で生成した３Ｄマップや、ＩＭＵ３の検出値を参照して、移動体の現在位置を算定する。
また、自動運転システム９は、自動運転マップ９１と算定した現在位置に基づいて目的地までの経路を設定すると共に、自動運転マップ９１と算定した現在位置に基づいた自動運転により走行機構６を制御して移動体を経路に沿って走行させる制御を行う。ここで、自動運転システム９は、操作装置５で受け付けた運転操作に応じて走行機構６を制御して移動体を走行させる運転制御も行うこともできる。
【0017】
状態センサ７で検出した各種状態は、自動運転システム９における運転制御に用いられる。また、状態センサ７で検出した各種状態を、自動運転システム９における現在位置の算出に用いるようにしてもよい。
障害物検知システム１０は、ＬｉＤＡＲ１が検出した三次元点群から、接近した障害物を検知する。
また、障害物検知システム１０は、自動運転システム９が算定した現在位置から、３Ｄ障害物マップ１０１が示す障害物との接近を検知する。ここで、上述のように、３Ｄ障害物マップ１０１の３次元点群を構成する各点は、その点の色によって障害物の点であるか障害物でない物体の点であるかと、障害物の種別を示しているので、障害物検知システム１０は、３Ｄ障害物マップ１０１の３次元点群の各点の色から障害物の有無や、障害物の種別を識別して、接近した障害物を検知する。
障害物検知システム１０は、ＬｉＤＡＲ１が検出した三次元点群から、接近した障害物を検知する。
また、障害物検知システム１０は、自動運転システム９が算定した現在位置から、３Ｄ障害物マップ１０１が示す障害物との接近を検知する。ここで、上述のように、３Ｄ障害物マップ１０１の３次元点群を構成する各点は、その点の色によって障害物の点であるか障害物でない物体の点であるかと、障害物の種別を示しているので、障害物検知システム１０は、３Ｄ障害物マップ１０１の３次元点群の各点の色から障害物の有無や、障害物の種別を識別して、接近した障害物を検知する。
【0018】
ここで、この移動体において、ＬｉＤＡＲ１やＧＮＳＳモジュール２やＩＭＵ３やＳＬＡＭ８の全てを備えることは必須ではなく、自動運転システム９において現在位置を算出できる構成を備えていれば足りる。
また、ＬｉＤＡＲ１を備える場合に、そのＬｉＤＡＲ１は、障害物検知システム１０において歩行者や他の移動体などの比較的に大きい障害物を検出できる程度の性能を備えていれば足りる。なお、ＬｉＤＡＲ１を備えない場合には、障害物検知システム１０は、ＬｉＤＡＲ１が検出した三次元点群からの接近した障害物の検知は行わず、自動運転システム９が算定した現在位置からの３Ｄ障害物マップ１０１が示す障害物の接近の検知のみを行うこととなる。
また、ＬｉＤＡＲ１を備える場合に、そのＬｉＤＡＲ１は、障害物検知システム１０において歩行者や他の移動体などの比較的に大きい障害物を検出できる程度の性能を備えていれば足りる。なお、ＬｉＤＡＲ１を備えない場合には、障害物検知システム１０は、ＬｉＤＡＲ１が検出した三次元点群からの接近した障害物の検知は行わず、自動運転システム９が算定した現在位置からの３Ｄ障害物マップ１０１が示す障害物の接近の検知のみを行うこととなる。
【0019】
そして、自動運転システム９は、障害物検知システム１０が接近を検知した障害物を回避する運転制御を行う。
ここで、移動体がパーソナルモビリティである場合、図２ａにパーソナルモビリティの側面を、図２ｂにパーソナルモビリティの上面を示すように、ＬｉＤＡＲ１は、たとえば、パーソナルモビリティの前部の右側と左側に各々配置され、パーソナルモビリティの前方を走査範囲とする走査を行い、ＳＬＡＭ８は、左右のＬｉＤＡＲ１が検出した３次元点群を合成して３Ｄマップを作成する。
ここで、移動体がパーソナルモビリティである場合、図２ａにパーソナルモビリティの側面を、図２ｂにパーソナルモビリティの上面を示すように、ＬｉＤＡＲ１は、たとえば、パーソナルモビリティの前部の右側と左側に各々配置され、パーソナルモビリティの前方を走査範囲とする走査を行い、ＳＬＡＭ８は、左右のＬｉＤＡＲ１が検出した３次元点群を合成して３Ｄマップを作成する。
【0020】
以下、このような移動体の障害物検知システム１０に予め設定される３Ｄ障害物マップ１０１の作成の手順について説明する。
この手順では、まず、移動体の走行が想定される区域の３次元点群である３Ｄマップを作成する。
３Ｄマップの作成は、図１に示した機能構成と同様の機能構成を備えた３Ｄマップ作成用の走行体を、自動運転もしくは手動運転により、移動体の走行が想定される区域内を走行させて、３Ｄマップ作成用移動体のＳＬＡＭ８に、当該区域の３Ｄマップを作成させることにより行うことができる。
この手順では、まず、移動体の走行が想定される区域の３次元点群である３Ｄマップを作成する。
３Ｄマップの作成は、図１に示した機能構成と同様の機能構成を備えた３Ｄマップ作成用の走行体を、自動運転もしくは手動運転により、移動体の走行が想定される区域内を走行させて、３Ｄマップ作成用移動体のＳＬＡＭ８に、当該区域の３Ｄマップを作成させることにより行うことができる。
【0021】
ただし、この走行体のＬｉＤＡＲ１としては、cmレベルの分解能を備えた高高性能のＬｉＤＡＲ１を用いる。また、この走行体の障害物検知システム１０には３Ｄ障害物マップ１０１は設定されておらず、障害物検知システム１０は３Ｄ障害物マップ１０１を用いた接近した障害物の検知は行わない。
【0022】
そして、走行体のＳＬＡＭ８によって作成された３Ｄマップをオリジナル３Ｄマップとして、３Ｄ障害物マップ作成装置を用いて、オリジナル３Ｄマップから３Ｄ障害物マップを作成する。
ただし、オリジナル３Ｄマップは、LiDAR SLAMによって生成しなくてもよく、オリジナル３Ｄマップは、cmレベルの分解能を備えたレーダスキャナを用いた手法などの他の手法によって生成されたものを用いてもよい。
３Ｄ障害物マップ作成装置はコンピュータであり、図３に示す機能構成を、プログラムの実行により実現される機能構成として備えている。
すなわち、図示するように、３Ｄ障害物マップ作成装置は、３Ｄ面傾斜度マップ生成部３１、２Ｄ俯瞰画像生成部３２、２Ｄ障害物マップ生成部３３、３Ｄ障害物マップ生成部３４を備えている。
以下、このような３Ｄ障害物マップ作成装置の動作を説明する。
まず、３Ｄ面傾斜度マップ生成部３１において、オリジナル３Ｄマップの３次元点群の各点の色を、その点を含む各点によって形成されている面の水平方向に対する傾きの大きさに応じた色に変更して３Ｄ面傾斜度マップを作成する。
ここで、鉛直方向に対応する方向をＺ軸の方向とするＸＹＺの３次元直交座標が３Ｄ面傾斜度マップには設定されている。また、３Ｄ面傾斜度マップの３次元点群の各点には属性値として色を表す値が設定されている。
そして、３Ｄ面傾斜度マップ生成部３１は、オリジナル３Ｄマップの３次元点群の各点について、図４ａに示す、その点Ｐを含む各点によって形成されている面Ｓの法線Ｎの方向がＸＹ平面と平行な方向に近づくほど赤に近づき、法線Ｎの方向がＺ軸方向に近づくほど白に近づくように、オリジナル３Ｄマップの３次元点群の各点の色を変更して３Ｄ面傾斜度マップを作成する。
ただし、オリジナル３Ｄマップは、LiDAR SLAMによって生成しなくてもよく、オリジナル３Ｄマップは、cmレベルの分解能を備えたレーダスキャナを用いた手法などの他の手法によって生成されたものを用いてもよい。
３Ｄ障害物マップ作成装置はコンピュータであり、図３に示す機能構成を、プログラムの実行により実現される機能構成として備えている。
すなわち、図示するように、３Ｄ障害物マップ作成装置は、３Ｄ面傾斜度マップ生成部３１、２Ｄ俯瞰画像生成部３２、２Ｄ障害物マップ生成部３３、３Ｄ障害物マップ生成部３４を備えている。
以下、このような３Ｄ障害物マップ作成装置の動作を説明する。
まず、３Ｄ面傾斜度マップ生成部３１において、オリジナル３Ｄマップの３次元点群の各点の色を、その点を含む各点によって形成されている面の水平方向に対する傾きの大きさに応じた色に変更して３Ｄ面傾斜度マップを作成する。
ここで、鉛直方向に対応する方向をＺ軸の方向とするＸＹＺの３次元直交座標が３Ｄ面傾斜度マップには設定されている。また、３Ｄ面傾斜度マップの３次元点群の各点には属性値として色を表す値が設定されている。
そして、３Ｄ面傾斜度マップ生成部３１は、オリジナル３Ｄマップの３次元点群の各点について、図４ａに示す、その点Ｐを含む各点によって形成されている面Ｓの法線Ｎの方向がＸＹ平面と平行な方向に近づくほど赤に近づき、法線Ｎの方向がＺ軸方向に近づくほど白に近づくように、オリジナル３Ｄマップの３次元点群の各点の色を変更して３Ｄ面傾斜度マップを作成する。
【0023】
すなわち、たとえば、オリジナル３Ｄマップが図４ｂに示すものであれば、オリジナル３Ｄマップの３次元点群の各点の色を、その点を含む各点によって形成されている面の法線の方向がＸＹ平面と平行な方向に近づくほど赤に近づき、法線Ｎの方向がＺ軸方向に近づくほど白に近づくように変更して、図４ｃに示す３Ｄ面傾斜度マップを作成する。
【0024】
なお、図４ｃにおいて、”Red"で示した位置の灰色が実際には赤色に対応する。また、図４ｃにおいて、黒色の部分は、オリジナル３Ｄマップにおける点の不在部分に相当する。
ただし、３Ｄ面傾斜度マップは、オリジナル３Ｄマップの３次元点群の各点の色を、その点Ｐを含む各点によって形成されている面Ｓの法線ＮがＸＹ平面の法線と成す角が所定のしきい値以上である場合に赤とし、しきい値未満である場合に白に変更することにより作成してもよい。
ただし、３Ｄ面傾斜度マップは、オリジナル３Ｄマップの３次元点群の各点の色を、その点Ｐを含む各点によって形成されている面Ｓの法線ＮがＸＹ平面の法線と成す角が所定のしきい値以上である場合に赤とし、しきい値未満である場合に白に変更することにより作成してもよい。
【0025】
次に、２Ｄ俯瞰画像生成部３２は、作成された３Ｄ面傾斜度マップをＺ方向にＸＹ平面と平行なスクリーンに投影すること等により、３Ｄ面傾斜度マップを真上（Ｚ方向）より俯瞰した２Ｄのマップである画像であって、ＸＹ座標系を持つ画像を２Ｄ俯瞰画像として生成する。
【0026】
すなわち、たとえば、３Ｄ面傾斜度マップが図４ｃに示すものであれば、これを真上（Ｚ方向）より俯瞰したようすを表す、ＸＹ座標系を持つ２Ｄ俯瞰画像を図５ａに示すように生成する。
次に、２Ｄ障害物マップ生成部３３は、２Ｄ俯瞰画像の各部の障害物の有無や障害物の種別を画像認識して、２Ｄ俯瞰画像中の各点を、凸形状の障害物の点と凹形状の障害物の点と、障害物でない物体の点にクラス分類し、２Ｄ俯瞰画像中の凸形状の障害物の点の色を赤色に、２Ｄ俯瞰画像中の凹形状の障害物の点の色を青色に、２Ｄ俯瞰画像中の障害物ではない物体の点の色を白色に変更し、ＸＹ座標系を持つ２Ｄ障害物マップを生成する。
次に、２Ｄ障害物マップ生成部３３は、２Ｄ俯瞰画像の各部の障害物の有無や障害物の種別を画像認識して、２Ｄ俯瞰画像中の各点を、凸形状の障害物の点と凹形状の障害物の点と、障害物でない物体の点にクラス分類し、２Ｄ俯瞰画像中の凸形状の障害物の点の色を赤色に、２Ｄ俯瞰画像中の凹形状の障害物の点の色を青色に、２Ｄ俯瞰画像中の障害物ではない物体の点の色を白色に変更し、ＸＹ座標系を持つ２Ｄ障害物マップを生成する。
【0027】
すなわち、たとえば、２Ｄ俯瞰画像が図５ａに示すものであれば、２Ｄ俯瞰画像中の凸形状の障害物の点の色を赤色に、２Ｄ俯瞰画像中の凹形状の障害物の点の色を青色に、２Ｄ俯瞰画像中の障害物ではない物体の点の色を白色に変更した３Ｄ障害物マップを図５ｂに示すように生成する。
【0028】
なお、図５ｃにおいて、”Blue"で示した位置の薄灰色が実際には青色に対応する。
２Ｄ障害物マップ生成部３３は、ディープラーニング(深層学習)で事前学習済みのCNN:Convolutional Neural Network(畳み込みニューラルネットワーク)を用いて構成されており、このCNNは、図６ａに示す48×48ピクセルの画像である処理単位画像PIが与えられると、処理画像PIの中央の16×16ピクセルの領域である中央領域CAの画像が、凸形状の障害物の画像であるか、凹形状の障害物の画像であるか、障害物でない物体の画像であるかのクラス分類を行う。ここで、２Ｄ俯瞰画像の１ピクセルは、おおよそ、実空間の1×1cmに対応する。
２Ｄ障害物マップ生成部３３は、ディープラーニング(深層学習)で事前学習済みのCNN:Convolutional Neural Network(畳み込みニューラルネットワーク)を用いて構成されており、このCNNは、図６ａに示す48×48ピクセルの画像である処理単位画像PIが与えられると、処理画像PIの中央の16×16ピクセルの領域である中央領域CAの画像が、凸形状の障害物の画像であるか、凹形状の障害物の画像であるか、障害物でない物体の画像であるかのクラス分類を行う。ここで、２Ｄ俯瞰画像の１ピクセルは、おおよそ、実空間の1×1cmに対応する。
【0029】
すなわち、このCNNは、図６ｂ１の、中央領域CAの画像が凸形状の障害物の画像であることが正解である多数の処理単位画像PI、図６ｂ２の中央領域CAの画像が凹形状の障害物の画像であることが正解である多数の処理単位画像PI、図６ｂ３の中央領域CAの画像が障害物でない物体の画像であることが正解である多数の処理単位画像PIを、教師データとして事前に学習させたCNNである。なお、教師データとして用いる処理単位画像PIは、２Ｄ俯瞰画像と同様の手順で生成した画像や当該画像に相当するように生成した画像から抽出した画像を用いる。
【0030】
なお、このCNNの学習の一環として、既存の学習済みCNNに対する転移学習を行うようにしてもよい。
２Ｄ障害物マップ生成部３３は、２Ｄ俯瞰画像の16ピクセル幅の縁の領域を除く領域を、16×16ピクセルの領域に分割し、分割した各領域に対して、当該領域を中央領域CAとする処理単位画像PIを設定し、設定した各処理単位画像PIについて、CNNに中央領域CAの画像をクラス分類させる。なお、２Ｄ俯瞰画像の16ピクセル幅の縁の領域を、中央領域CAを設定する領域から除くのは、その領域内に中央領域CAを設定しても、２Ｄ俯瞰画像内に処理単位画像PIを設定できないからである。
２Ｄ障害物マップ生成部３３は、２Ｄ俯瞰画像の16ピクセル幅の縁の領域を除く領域を、16×16ピクセルの領域に分割し、分割した各領域に対して、当該領域を中央領域CAとする処理単位画像PIを設定し、設定した各処理単位画像PIについて、CNNに中央領域CAの画像をクラス分類させる。なお、２Ｄ俯瞰画像の16ピクセル幅の縁の領域を、中央領域CAを設定する領域から除くのは、その領域内に中央領域CAを設定しても、２Ｄ俯瞰画像内に処理単位画像PIを設定できないからである。
【0031】
そして、２Ｄ障害物マップ生成部３３は、２Ｄ俯瞰画像の凸形状の障害物の画像であるとクラス分類された中央領域CAに対応する領域中の点の色を赤色に、２Ｄ俯瞰画像の凹形状の障害物の画像であるとクラス分類された中央領域CAに対応する領域中の点の色を青色に、２Ｄ俯瞰画像の障害物でない物体の画像であるとクラス分類された中央領域CAに対応する領域中の点の色を白色に変更して２Ｄ障害物マップを生成する。
【0032】
次に、３Ｄ障害物マップ生成部３４は、２Ｄ障害物マップが作成されたならば、オリジナル３Ｄマップの３次元点群の各点の色を、その点とＸＹ座標が同じ２Ｄ障害物マップ上の点の色に変更することにより３Ｄ障害物マップを生成する。
すなわち、たとえば、３Ｄ面傾斜度マップが図５ｂに示すものであれば、オリジナル３Ｄマップの３次元点群の各点の色を、その点とＸＹ座標が同じ２Ｄ障害物マップ上の点の色に変更して、３Ｄ障害物マップを図５ｃに示すように生成する。
そして、以上のように３Ｄ障害物マップ作成装置によって作成された３Ｄ障害物マップが、３Ｄ障害物マップ１０１として移動体の障害物検知システム１０に設定され、上述のように接近した障害物の検知に用いられる。
以上、３Ｄ障害物マップ１０１の作成の手順について説明した。
このような３Ｄ障害物マップ１０１の作成手順によれば、ＸＹ座標系上の各位置にある面の傾斜の強さを表す２Ｄ俯瞰画像を生成し、生成した２次元の２Ｄ俯瞰画像から障害物を識別するように構成したので、障害物の識別精度を保ったまま、障害物を識別するためのCNNの学習処理や、２Ｄ俯瞰画像からの障害物の識別の処理の処理量や処理時間を、これらの処理を３次元のマップに対して行う場合よりも、大幅に低減することができる。
すなわち、たとえば、３Ｄ面傾斜度マップが図５ｂに示すものであれば、オリジナル３Ｄマップの３次元点群の各点の色を、その点とＸＹ座標が同じ２Ｄ障害物マップ上の点の色に変更して、３Ｄ障害物マップを図５ｃに示すように生成する。
そして、以上のように３Ｄ障害物マップ作成装置によって作成された３Ｄ障害物マップが、３Ｄ障害物マップ１０１として移動体の障害物検知システム１０に設定され、上述のように接近した障害物の検知に用いられる。
以上、３Ｄ障害物マップ１０１の作成の手順について説明した。
このような３Ｄ障害物マップ１０１の作成手順によれば、ＸＹ座標系上の各位置にある面の傾斜の強さを表す２Ｄ俯瞰画像を生成し、生成した２次元の２Ｄ俯瞰画像から障害物を識別するように構成したので、障害物の識別精度を保ったまま、障害物を識別するためのCNNの学習処理や、２Ｄ俯瞰画像からの障害物の識別の処理の処理量や処理時間を、これらの処理を３次元のマップに対して行う場合よりも、大幅に低減することができる。
【0033】
以上、本実施形態によれば、比較的に少ない処理量で障害物の位置を示す３Ｄのマップである３Ｄ障害物マップ１０１を生成することができると共に、移動体において、３Ｄ障害物マップ１０１を参照するだけの簡易な処理で、小さな構造物も障害物としてリアルタイムに検出できるようになる。
【符号の説明】
【0034】
１…ＬｉＤＡＲ、２…ＧＮＳＳモジュール、３…ＩＭＵ、４…モニタ、５…操作装置、６…走行機構、７…状態センサ、８…ＳＬＡＭ、９…自動運転システム、１０…障害物検知システム、３１…３Ｄ面傾斜度マップ生成部、３２…２Ｄ俯瞰画像生成部、３３…２Ｄ障害物マップ生成部、３４…３Ｄ障害物マップ生成部、９１…自動運転マップ、１０１…３Ｄ障害物マップ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
