特開 2025-16163 移動体システム、自律移動方法、自律移動プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025016163

(43)【公開日】2025-01-31

(54)【発明の名称】移動体システム、自律移動方法、自律移動プログラム

(51)【国際特許分類】

   G05D 1/43 20240101AFI20250124BHJP

   G08G 1/16 20060101ALI20250124BHJP

   G08G 5/80 20250101ALI20250124BHJP

【ＦＩ】

G05D1/02 H

G08G1/16 C

G08G5/04 A

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023119264

(22)【出願日】2023-07-21

(71)【出願人】

【識別番号】513203071

【氏名又は名称】ブルーイノベーション株式会社

(74)【代理人】

【識別番号】110004163

【氏名又は名称】弁理士法人みなとみらい特許事務所

(72)【発明者】

【氏名】熊田 雅之

(72)【発明者】

【氏名】千葉 剛

(72)【発明者】

【氏名】ロペス ラファエル ジュリアン クレメンテ

(72)【発明者】

【氏名】アゴスチヌチ マシュー ヘンリー

【テーマコード（参考）】

5H181

5H301

【Ｆターム（参考）】

5H181AA26

5H181AA27

5H181BB04

5H181BB13

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF13

5H181FF27

5H181FF33

5H181LL08

5H181LL09

5H301AA06

5H301BB02

5H301BB10

5H301BB14

5H301CC04

5H301CC07

5H301DD06

5H301FF11

5H301GG07

5H301GG09

5H301LL01

5H301LL06

(57)【要約】

【課題】 本発明は、ＳＬＡＭ処理による移動体の自律移動の技術に関する。
【解決手段】 ＳＬＡＭ処理によって自律移動を行う為の移動体システム１００である。
移動体システム１００は、範囲決定部と取得部とマッピング処理部を備える。
範囲決定部は、移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得し、地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標値からフィルタ範囲を定義する。
取得部は、移動体の移動中における点群データを取得し、マッピング処理部は、フィルタ範囲によるフィルタリング後の点群データを用いて、マッピング処理を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＳＬＡＭ処理によって自律移動を行う為の移動体システムであって、
移動体システムは、範囲決定部と、取得部と、マッピング処理部と、を備え、
前記範囲決定部は、移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得し、前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標値からフィルタ範囲を定義し、
前記取得部は、前記移動体の移動中における点群データを取得し、
前記マッピング処理部は、前記フィルタ範囲によるフィルタリング後の前記点群データを用いて、マッピング処理を行う、
移動体システム。

【請求項2】

前記マッピング処理部は、前記点群データを所定の種別に分類処理し、前記分類処理の結果に基づいて前記点群データを除外して前記マッピング処理を行う、
請求項１に記載の移動体システム。

【請求項3】

前記移動体システムは、更に計測部と推定処理部を備え、
前記計測部は、前記移動体の移動中における気圧を含んだ環境情報を経時的に計測し、
前記推定処理部は、前記環境情報を利用して前記移動体の自己位置を推定処理する、
請求項１に記載の移動体システム。

【請求項4】

前記範囲決定部は、前記地点情報に基づいて、前記移動経路上の複数地点を通る曲線を作成し、
前記曲線上の座標から、前記最大の座標値及び前記最小の座標値を決定する、
請求項１に記載の移動体システム。

【請求項5】

前記地点情報は、前記移動経路の開始点、終了点及び中継点の座標を含み、
前記範囲決定部は、前記地点情報に含まれた複数地点の座標を通る曲線を作成し、前記曲線の導関数から平方根を算出し、
前記平方根によって特定される前記曲線上の座標値及び、前記地点情報に含まれた座標値から、前記最大の座標値及び最小の座標値を決定する、
請求項４に記載の移動体システム。

【請求項6】

前記範囲決定部は、前記最大の座標値及び最小の座標値を決定し、これら座標値から定義される領域にマージンを付加して、前記フィルタ範囲を定義する、
請求項１に記載の移動体システム。

【請求項7】

前記範囲決定部は、３軸方向における前記最大の座標値及び最小の座標値から、３次元の前記フィルタ範囲を定義する、
請求項１に記載の移動体システム。

【請求項8】

前記地点情報は、自律移動の開始地点を含み、
前記取得部は、ＧＮＳＳ座標を取得し、
前記マッピング処理部は、前記点群データの座標値を前記ＧＮＳＳ座標に基づいて、前記移動体を基準としたローカル座標系からグローバル座標系に変換処理し、前記変換処理の結果に基づいてマッピング処理を行う、
請求項１に記載の移動体システム。

【請求項9】

前記地点情報は、自律移動の開始地点を含み、
前記取得部は、ＧＮＳＳ座標を取得し、
前記マッピング処理部は、マッピング処理後における前記点群データの座標値を前記ＧＮＳＳ座標に基づいて、前記移動体を基準としたローカル座標系からグローバル座標系に変換処理する、
請求項１に記載の移動体システム。

【請求項10】

ＳＬＡＭ処理によって自律移動を行う移動体の自律移動プログラムであって、
コンピュータを、範囲決定部と、取得部と、マッピング処理部と、として機能させ、
前記範囲決定部は、前記移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得し、前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標点からフィルタ範囲を定義し、
前記取得部は、前記移動体の移動中における点群データを取得し、
前記マッピング処理部は、所定の条件によるフィルタリング後の前記点群データを用いて、前記フィルタ範囲をマッピング処理する、
自律移動プログラム。

【請求項11】

ＳＬＡＭ処理によって自律移動を行う移動体の自律移動方法であって、
前記移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得するステップと、
前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標点からフィルタ範囲を定義するステップと、
前記移動体の移動中における点群データを取得するステップと、
所定の条件によるフィルタリング後の前記点群データを用いて、前記フィルタ範囲をマッピング処理するステップと、を有する、
自律移動方法。

【請求項12】

ＳＬＡＭ処理によって自律飛行を行う飛行体の自律飛行方法であって、
開始地点を含む移動経路となる３点以上の地点について、各地点の３次元座標を含んだ地点情報であって、前記開始地点から見た相対高度が正となる地点情報を登録するステップと、
前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標点からフィルタ範囲を定義するステップと、
水面よりも高所を離陸地点として、前記飛行体が自律飛行を開始するステップと、
点群データを取得するステップと、
前記点群データを前記フィルタ範囲によってフィルタリングするステップと、
前記フィルタ範囲によるフィルタリング後の前記点群データを用いて、マッピング処理を行うステップと、を有する、
自律飛行方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＳＬＡＭ処理による移動体の自律移動の技術に関する。

【背景技術】

【0002】

近年、ロボットやドローンなどの移動体は、災害調査や各種点検などの用途に利用されている。これらの用途に移動体を利用するためには、当該移動体の自己位置を推定する技術が必要不可欠である。

【0003】

例えば特許文献１には、自己位置を高精度に推定できる移動体が開示されている。本移動体は、撮像部、マスク生成部、特徴量抽出部、自己位置推定部、などを備え、周囲の画像において自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する技術が開示されている。

【0004】

この移動体によれば、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第７１５１７２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、ドローン等の移動体において自己位置推定を行う手法として、点群データを利用したＳＬＡＭ処理（自己位置推定と環境ＭＡＰ作成を同時に行う技術）が知られている。

【0007】

一般的に、移動体において高精度なＳＬＡＭ処理を行うためには、高性能なマイコン（大きくて重いマイコン）等が必要となる。しかし、大きくて重いマイコンを移動体に搭載すると、飛行距離やバッテリー容量に影響がある。

【0008】

また、特許文献１の技術を利用して画像における非特徴領域にマスクを生成することで誤検出を抑制することができる一方、点群データを利用したＳＬＡＭ処理を簡易化することはできない。

【0009】

本発明は、上記従来技術の課題に鑑みて行われたものであって、その目的は、ＳＬＡＭ処理による移動体システムの新規な技術を提供することにある。

【0010】

上記課題を解決するために、本発明は、ＳＬＡＭ処理によって自律移動を行う為の移動体システムであって、
移動体システムは、範囲決定部と、取得部と、マッピング処理部と、を備え、
前記範囲決定部は、移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得し、前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標値からフィルタ範囲を定義し、
前記取得部は、前記移動体の移動中における点群データを取得し、
前記マッピング処理部は、前記フィルタ範囲によるフィルタリング後の前記点群データを用いて、マッピング処理を行う。

【0011】

また、本発明は、ＳＬＡＭ処理によって自律移動を行う移動体の自律移動プログラムであって、
コンピュータを、範囲決定部と、取得部と、マッピング処理部と、として機能させ、
前記範囲決定部は、前記移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得し、前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標点からフィルタ範囲を定義し、
前記取得部は、前記移動体の移動中における点群データを取得し、
前記マッピング処理部は、所定の条件によるフィルタリング後の前記点群データを用いて、前記フィルタ範囲をマッピング処理する。

【0012】

また、本発明は、ＳＬＡＭ処理によって自律移動を行う移動体の自律移動方法であって、
前記移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得するステップと、
前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標点からフィルタ範囲を定義するステップと、
前記移動体の移動中における点群データを取得するステップと、
所定の条件によるフィルタリング後の前記点群データを用いて、前記フィルタ範囲をマッピング処理するステップと、を有する。

【0013】

このような構成とすることで、ＳＬＡＭ処理による自律移動の新規な移動体システムを実現することができる。

【0014】

本発明の好ましい形態では、ＳＬＡＭ処理によって自律飛行を行う飛行体の自律飛行方法であって、
開始地点を含む移動経路となる３点以上の地点について、各地点の３次元座標を含んだ地点情報であって、前記開始地点から見た相対高度が正となる地点情報を登録するステップと、
前記地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した前記座標点からフィルタ範囲を定義するステップと、
水面よりも高所を離陸地点として、前記飛行体が自律飛行を開始するステップと、
点群データを取得するステップと、
前記点群データを前記フィルタ範囲によってフィルタリングするステップと、
前記フィルタ範囲によるフィルタリング後の前記点群データを用いて、マッピング処理を行うステップと、を有する。

【0015】

このような構成とすることで、飛行体の自律飛行におけるＳＬＡＭ処理において、適切な範囲をマッピング処理することができる。

【0016】

本発明の好ましい形態では、前記マッピング処理部は、前記点群データを所定の種別に分類処理し、前記分類処理の結果に基づいて前記点群データを除外して前記マッピング処理を行う。

【0017】

このような構成とすることで、ノイズの影響が抑制された精度の良いマッピング処理を行うことができる。

【0018】

本発明の好ましい形態では、前記移動体システムは、更に計測部と推定処理部を備え、
前記計測部は、前記移動体の移動中における気圧を含んだ環境情報を経時的に計測し、
前記推定処理部は、前記環境情報を利用して前記移動体の自己位置を推定処理する。

【0019】

このような構成とすることで、移動体の移動中における点群データにおいて、ノイズを多く含む水面領域などでも適切な自己位置推定を行うことができる。

【0020】

本発明の好ましい形態では、前記範囲決定部は、前記地点情報に基づいて、前記移動経路上の複数地点を通る曲線を作成し、
前記曲線上の座標から、前記最大の座標値及び前記最小の座標値を決定する。

【0021】

このような構成とすることで、フィルタ範囲を適切に定義することができる。

【0022】

本発明の好ましい形態では、前記地点情報は、前記移動経路の開始点、終了点及び中継点の座標を含み、
前記範囲決定部は、前記地点情報に含まれた複数地点の座標を通る曲線を作成し、前記曲線の導関数から平方根を算出し、
前記平方根によって特定される前記曲線上の座標値及び、前記地点情報に含まれた座標値から、前記最大の座標値及び最小の座標値を決定する。

【0023】

このような構成とすることで、フィルタ範囲を精度良く定義することができる。

【0024】

本発明の好ましい形態では、前記範囲決定部は、前記最大の座標値及び最小の座標値を決定し、これら座標値から定義される領域にマージンを付加して、前記フィルタ範囲を定義する。

【0025】

このような構成とすることで、移動体の自律移動中におけるイレギュラーにも対応することができる。

【0026】

本発明の好ましい形態では、前記範囲決定部は、３軸方向における前記最大の座標値及び最小の座標値から、３次元の前記フィルタ範囲を定義する。

【0027】

このような構成とすることで、３次元方向におけるフィルタ範囲を定義することができる。

【0028】

本発明の好ましい形態では、前記地点情報は、自律移動の開始地点を含み、
前記取得部は、ＧＮＳＳ座標を取得し、
前記マッピング処理部は、前記点群データの座標値を前記ＧＮＳＳ座標に基づいて、前記移動体を基準としたローカル座標系からグローバル座標系に変換処理し、前記変換処理の結果に基づいてマッピング処理を行う。

【0029】

このような構成とすることで、移動体の自律移動中においてグローバル座標系に対応したマッピング処理を行うことができる。

【0030】

本発明の好ましい形態では、前記地点情報は、自律移動の開始地点を含み、
前記取得部は、ＧＮＳＳ座標を取得し、
前記マッピング処理部は、マッピング処理後における前記点群データの座標値を前記ＧＮＳＳ座標に基づいて、前記移動体を基準としたローカル座標系からグローバル座標系に変換処理する。

【0031】

このような構成とすることで、移動体の自律移動中においてグローバル座標系に対応したマッピング処理を行うことができる。

【発明の効果】

【0032】

本発明によれば、所定条件によるフィルタ範囲を定義することで、ＳＬＡＭ処理による移動体システムの新規な技術を提供することができる。

【図面の簡単な説明】

【0033】

【図1】本発明の一実施形態に係る移動体システムの概略構成図を示す。

【図2】本発明の一実施形態に係る移動体及び端末装置のハードウェア構成の一例を示す。

【図3】本発明の一実施形態に係る移動体システムにおける機能ブロック図を示す。

【図4】本発明の一実施形態に係る移動体における橋梁点検の概略イメージ図を示す。

【図5】本発明の一実施形態に係る移動体における自律移動の処理手順のフローチャートを示す。

【図6】本発明の一実施形態に係る地点情報（ウェイポイント）の概略イメージ図を示す。

【図7】本発明の一実施形態に係るフィルタ範囲の概略イメージ図を示す。

【図8】本発明の一実施形態に係るバウンディングボックスの一例を示す。

【図9】本発明の一実施形態に係る橋梁点検における点検経路の概略イメージ図を示す。

【図10】本発明の一実施形態に係る表示画面の一例を示す。

【発明を実施するための形態】

【0034】

以下、添付図面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。

【0035】

本実施形態では移動体システムの構成、動作等について説明するが、同様の構成の装置、方法、プログラム、記録媒体等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に格納されてもよい。この記録媒体を用いれば、例えば端末装置にプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えば、ＣＤ－ＲＯＭ、ＵＳＢメモリ等の非一過性の記録媒体であってもよい。

【0036】

＜システム構成＞
図１は、本実施形態に係る移動体システムの概略構成図である。移動体システム１００は、移動体１及び端末装置５を備える。移動体１は、人の搭乗を伴わないドローンなどの移動体本体２と、センサ及び制御モジュールを有する制御装置３と、カメラ（撮像部）及び当該カメラの姿勢を制御するジンバルを有する撮像装置４と、を備える。

【0037】

なお、移動体１は、ロボットやドローンの他、車両や船舶など広義の意味で自律移動を実現し得る物体を指す。本実施形態における移動体１はドローンである。そのため、本実施形態における移動体１のことを飛行体１と表現し、あるいは移動体本体２のことを飛行体本体２と表現することもある。

【0038】

端末装置５は、ユーザが移動体１を操作すると共に、撮像装置４で撮像した動画や点検状況を確認するために利用される。本実施形態における端末装置５は、タブレット端末である。端末装置５として、スマートフォン、ウェアラブルデバイスなど、実施の形態に合わせて適宜利用することができる。例えば移動体本体２に計測手段や点検手段を備えることで、これら計測手段や点検手段から得られる情報を動画とあわせて端末装置５に表示することもできる。

【0039】

端末装置５には、移動体１の操作や自律移動の設定をするためのアプリケーション（単にアプリとも呼ぶ）が予めインストールさせている。移動体１と端末装置５は、例えば２．４ＧＨｚ帯、あるいは５．０ＧＨｚ帯などの移動体用の無線通信によって通信接続される。

【0040】

＜ハードウェア構成＞
図２は、本実施形態に係る移動体１及び端末装置５のハードウェア構成を示す図である。図２（ａ）は、移動体１のハードウェア構成の一例を示す図である。本実施形態における移動体１は、無人で飛行可能なドローンである。移動体１は、移動体本体２の移動動作などを制御する主制御部２０１と、移動体１の翼部を駆動させ、飛行させるためのモータ２０２と、主制御部２０１からの信号に基づいてモータ２０２への電力供給量を調整するモータコントローラ２０３と、端末装置５と通信を行うための無線通信部２０４と、移動体１の位置情報を得るためのＧＰＳやＱＺＳＳ等のＧＮＳＳモジュール２０５と、記憶部２０６と、を備える。

【0041】

また、移動体１は、点群データなどを取得するためのセンサ３０１と、センサ３０１からの情報に基づいてＳＬＡＭ処理による安定的な自律移動を制御する制御部３０２と、橋梁などの撮像対象を撮像する撮像部４０１と、撮像部４０１の姿勢を制御するジンバル４０２と、を備える。

【0042】

図２（ｂ）は、端末装置５のハードウェア構成の一例を示す図である。端末装置５は、処理部５０１と、記憶部５０２と、通信部５０３と、入力部５０４と、出力部５０５と、を備える。

【0043】

処理部５０１は、ＣＰＵ等の１以上のプロセッサを含み、端末装置５の動作処理全体を制御する。記憶部５０２は、ＨＤＤ、ＳＳＤ、ＲＯＭ、ＲＡＭ等であって、処理部５０１がプログラムに基づき処理を実行する際に利用するデータ等を格納する。

【0044】

通信部５０３は、ネットワークとの通信を制御する。入力部５０４はタッチパネル等であって、ユーザによる操作要求を処理部５０１に入力する。出力部５０５はディスプレイ等であって、処理部５０１の処理の結果等を表示する。

【0045】

＜機能構成＞
図３は、本実施形態に係る移動体１における制御装置３の機能ブロック図である。制御装置３は、取得部３１、マッピング処理部３２、範囲決定部３３、推定処理部３４、表示処理部３５、を備える。

【0046】

取得部３１は、移動体１の移動中に点群データを取得する。本実施形態では、ミリ波レーダーなどのセンサ３０１を利用して所定範囲の点群データを取得する。なお、センサ３０１はミリ波レーダーに限定されるものではなく、三次元空間の点群データを取得可能であればどのようなものであっても良い。

【0047】

マッピング処理部３２は、点群データを利用してマッピング処理を行う。本実施形態では、マッピング処理部３２は後述するフィルタ範囲によるフィルタリング後の点群データを用いて、マッピング処理を行う。また、マッピング処理部３２は、点群データを所定の種別に分類処理し、分類処理の結果に基づいた点群データを除外してマッピング処理を行う。

【0048】

マッピング処理部３２は、取得部３１で取得した点群データの座標値をＧＮＳＳ座標に基づいて、移動体１を基準としたローカル座標系からグローバル座標系に変換処理し、変換処理の結果に基づいてマッピング処理を行うことができる。また、マッピング処理部３２は、マッピング処理後における点群データの座標値をＧＮＳＳ座標に基づいて、移動体１を基準としたローカル座標系からグローバル座標系に変換処理することもできる。

【0049】

範囲決定部３３は、ＳＬＡＭ処理を行う領域として、フィルタ範囲を定義する。本実施形態では、範囲決定部３３は移動体の移動経路となる複数の地点について、各地点の座標を含んだ地点情報を取得し、地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した座標値からフィルタ範囲を定義する。

【0050】

また、範囲決定部３３は、地点情報に基づいて、移動経路上の複数地点を通る曲線を作成し、この曲線上の座標から最大の座標値及び最小の座標値を決定する。さらに範囲決定部３３は、地点情報に含まれた複数地点の座標を通る曲線を作成し、この曲線の導関数から平方根を算出し、平方根によって特定される曲線上の座標値及び、地点情報に含まれた座標値から、最大の座標値及び最小の座標値を決定する。

【0051】

加えて、範囲決定部３３は、最大の座標値及び最小の座標値を決定し、これら座標値から定義される領域にマージンを付加してフィルタ範囲を定義することができる。範囲決定部３３は、３軸方向における最大の座標値及び最小の座標値から、３次元のフィルタ範囲を定義することもできる。

【0052】

推定処理部３４は、移動体１の自己位置を推定処理する。推定処理部３４は、ＧＮＳＳモジュール２０５やＩＭＵ（慣性計測装置）などからの入力情報に基づいて自己位置を推定処理する。本実施形態では、推定処理部３４は、移動体１の移動中における気圧を含んだ環境情報を利用して、移動体１の自己位置を推定処理する。

【0053】

表示処理部３５は、移動体１の飛行経路や撮像装置４で撮像された動画などを表示処理する。本実施形態では、移動体１の移動経路（点検経路）や撮像装置４による動画などを表示処理し、その表示処理の結果を端末装置５へ送信する。

【0054】

以下、図４～１０を参照して、本実施形態に係る移動体の自律飛行（ＳＬＡＭ処理）について説明する。

【0055】

＜移動体システムの概要＞
本実施形態に係る移動体システム１００は、ＳＬＡＭ処理を利用してドローンなどの移動体１を自律移動させることで、橋梁点検や調査などを実施するものである。具体的には、移動体１は橋梁点検における移動ルートを用いて所定のフィルタ範囲を定義してＳＬＡＭ処理を行うことで、衝突回避などと共に精度の良い自律飛行を実現するものである。

【0056】

なお、本明細書におけるＳＬＡＭ処理とは、ＧＮＳＳやＩＭＵなどを利用して移動体の自己位置を推定（または特定）しながら、同時に点群データなどによるマッピング処理を行うこと、すなわち、自己位置推定と環境マップ作成を同時に行う技術、及びこれと同等の処理を意味する。

【0057】

図４は、本実施形態に係る移動体における橋梁点検の概略イメージ図を示す。同図に示すように本実施形態に係る移動体１は、橋梁１０の路面１０ａに対して反対側（下側）に位置する点検対象１２（橋梁下側）を自律飛行により点検するものである。

【0058】

ここで言う点検とは、移動体１が橋梁１０の点検対象１２を所定の経路で自律移動し、点検対象１２の動画（または連続する静止画）を撮像し、その動画を点検作業員などのユーザが目視確認等することである。

【0059】

例えば、移動体１は、点検対象１２として橋梁１０の下面に位置する配管などの動画を撮像する。点検対象１２は複数個所あり、移動体１はこの複数個所にわたる点検経路を自律移動しながら動画を撮像する。なお、点検対象１２が１箇所（部分的な点検対象）である場合もある。

【0060】

図４に示すように移動体１は、橋梁１０の点検対象１２に対して所定の距離及び姿勢を保ちながら、予め定められた移動経路（点検経路）に従って自律移動を行い、撮像装置４によって点検対象１２を撮像する。

【0061】

また、実際には移動体本体２の制御のみでは風などの影響によりカメラ（撮像部４０１）の画角内に点検対象１２が収まらないこともある一方、ジンバル４０２の制御も同時に行うことで、移動体本体２の揺れによるフレームアウトを解決することができる。

【0062】

＜移動体の自律移動＞
図５には、本実施形態に係る移動体における自律移動の処理手順のフローチャートを示す。Ｓ１０において、移動体１（制御装置３）の取得部３１は、移動中における点群データを取得する。取得部３１は、点検の開始地点へ移動する際、又は移動後の予備飛行により点群データを取得することができる。

【0063】

例えば、橋梁点検の開始地点へ移動する前に、予め所定領域の点群データを取得しておくこともできる。なお、例えば移動体１の飛行開始地点までの移動は、端末装置５を利用するユーザによるマニュアル操作で行うこともできる。

【0064】

Ｓ１１において、マッピング処理部３２は点群データを利用して、グローバル座標系のマップを生成する。本実施形態では、取得部３１がＧＮＳＳ座標を取得し、マッピング処理部３２は点群データの座標値をＧＮＳＳ座標に基づいて、移動体１を基準としたローカル座標系からグローバル座標系に変換処理し、変換処理の結果に基づいてマッピング処理を行う。

【0065】

このような処理を行うことで、例えば橋梁下の点検において、移動開始地点を含む移動範囲中の一部だけがＧＮＳＳ環境であり、他の領域は非ＧＮＳＳ環境であるような移動範囲中であっても、グローバル座標系で指定された飛行経路に基づく自律移動が実現できる。本実施形態における橋梁点検では、移動体１が移動する領域が、移動開始地点以外の一部又は全部が非ＧＮＳＳ環境である。ここで言う移動開始地点は、登録する経路のスタート地点であっても良いし、そこへ向かう任意の地点であっても良い。

【0066】

例えば、取得部３１がＧＮＳＳ座標を取得し、マッピング処理部３２はマッピング処理後における点群データの座標値をＧＮＳＳ座標に基づいて、移動体１を基準としたローカル座標系からグローバル座標系に変換処理することもできる。

【0067】

Ｓ１２において、範囲決定部３３は橋梁点検における地点情報（ウェイポイント）を取得する。地点情報には、移動体１の点検経路（移動経路）となる複数の地点における座標が含まれる。また、この地点情報には自律移動の開始地点の情報が含まれる。

【0068】

図６には、本発明の一実施形態に係る地点情報（ウェイポイント）の概略イメージ図を示す。同図に示すように、地点情報が平面マップ上に示される。地点情報は、橋梁１０の点検ルートを示しており、例えば図６のように河川２０に架けられた橋梁１０には複数の橋脚１４が存在する（図４も合わせて参照）。

【0069】

地点情報は、移動体１の自律移動による点検中においてこの橋脚１４への衝突を回避し、且つ点検対象１２を全て網羅するような移動ルートで構成される。詳細は後述するが、本実施形態では移動体１が図６における開始点（空白の丸部分）から２６まで（開始点、中継点、終了点）を順番に移動する。

【0070】

Ｓ１３において、範囲決定部３３は地点情報に基づいてフィルタ範囲を定義する。本実施形態では、範囲決定部３３は地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した座標値からフィルタ範囲を定義する。

【0071】

＜フィルタ範囲＞
ここで、ＳＬＡＭ処理におけるフィルタ範囲について説明する。図６に示すように移動体１は、点群データを用いて橋梁１０周辺のマップ（平面マップ及び／または３Ｄマップ）を作成し、このマップ上の地点情報を飛行することで橋梁１０の点検を行う。この時、移動体１はＳＬＡＭ処理を行いながら、すなわち、自己位置推定及びマップ作成をしながら飛行をすることになるが、実際には地点情報が含まれる領域以外のマップは橋梁点検には利用されない可能性が高い。

【0072】

また、上述のとおり、広範囲の領域をＳＬＡＭ処理するためには高性能なマイコン（大きくて重いマイコン）などが必要となり、移動体１の飛行距離やバッテリー容量に影響を与え、その結果、移動体１による適切な橋梁点検が困難な場合もある。

【0073】

そこで本実施形態では、橋梁点検に必要な領域を所定条件によってフィルタリングし、その範囲に絞り込んでＳＬＡＭ処理を行っている。マッピング処理部は、フィルタ範囲によるフィルタリング後の点群データを用いてマッピング処理を行う。

【0074】

図７には、本発明の一実施形態に係るフィルタ範囲の概略イメージ図を示す。図７（ａ）に示すように、地点情報の最大の座標値及び最小の座標値を決定し、決定した座標値からいわゆるバウンディングボックスによりフィルタ範囲４０ａを定義する。図７（ａ）では、Ａ地点とＢ地点の座標値に基づいたバウンディングボックスを形成してフィルタ範囲４０ａを定義する。本実施形態におけるバウンディングボックスとは、マップ上の地点情報に基づいた領域を囲む矩形の境界線、及びこれと類似する考え方によって作成される境界線を意味する。

【0075】

例えば、上述したように範囲決定部３３は、地点情報に基づいて移動経路上の複数地点を通る曲線、いわゆるベジェ曲線を作成し、この曲線上の座標から最大の座標値及び最小の座標値を決定することもできる。

【0076】

さらに、範囲決定部３３は、地点情報に含まれた複数地点の座標を通る曲線（ベジェ曲線）を作成し、曲線の導関数から平方根を算出する。そして平方根によって特定される曲線上の座標値及び地点情報に含まれた座標値から、最大の座標値及び最小の座標値を決定することができる。

【0077】

また、図７（ｂ）に示すように、図７（ａ）のフィルタ範囲４０ａに対して所定領域のマージン４２を設けてフィルタ範囲４０ｂを定義することもできる。範囲決定部３３は、最大の座標値及び最小の座標値を決定し、これら座標値から定義される領域にマージンを付加して、フィルタ範囲を定義する。

【0078】

このマージン４２は、橋梁点検を適切に行う観点から、図７（ａ）のフィルタ範囲４０ａに対してそれぞれの軸方向に２０ｍ～２００ｍ程度であることが好ましく、より好ましくは４０ｍ～１００ｍ程度であることが好適である。本実施形態におけるマージンの領域はそれぞれの軸方向に５０ｍ程度である。フィルタ範囲４０ａにマージン４２を付加することで、移動体１の自律移動中におけるイレギュラーや飛行経路の変更などに適宜対応することができる。例えば、ＧＮＳＳやＩＭＵ等によって誤差が生じてしまった場合にも、このマージン４２を利用して衝突回避等の対策を行うことができる。

【0079】

例えば、図７（ｂ）において点検対象に含まれる地点Ｂの動画を撮像し、その動画を端末装置５によりユーザがリアルタイムで目視確認しているとする。この時、万が一地点Ｂに異常や違和感が見つかった場合に、ユーザが端末装置５を介して移動体１をマニュアル操作に切り替え、マージン４２の領域（地点Ｂよりも少し先の橋梁領域）も撮像することができる。

【0080】

図８には、本発明の一実施形態に係るバウンディングボックスの一例を示す。図８（ａ）～（ｄ）におけるＡ点、Ｂ点、Ｃ点は、いずれも同一の地点に位置している。図８（ａ）に示すように、Ａ点、Ｂ点、Ｃ点からそれぞれのＸ方向及びＹ方向の座標に応じてバウンディングボックス４０ｃを作成することもできるし、あるいは、図８（ｂ）に示すように、Ａ点、Ｂ点、Ｃ点を通るベジェ曲線Ｓを作成し、この曲線上の座標からバウンディングボックス４０ｄを作成することもできる。

【0081】

さらに本実施形態では、Ｘ方向及びＹ方向とは無関係にバウンディングボックスを作成することもできる。例えば図８（ｃ）に示すように、Ａ点、Ｂ点、Ｃ点から最小の面積となるバウンディングボックス４０ｅを作成し、あるいはＡ点、Ｂ点、Ｃ点を通るベジェ曲線Ｓを作成し、この曲線上の座標からＸ方向及びＹ方向とは無関係に、必要に応じたバウンディングボックス４０ｆを作成することもできる。

【0082】

また範囲決定部３３は、３軸方向における最大の座標値及び最小の座標値から、３次元のフィルタ範囲を定義することもできる。この場合、２次元のフィルタ範囲を定義した後、この２次元のフィルタ範囲に高さ方向の情報を付加することで３次元のフィルタ範囲を定義することができる。

【0083】

例えば、取得部３１は、開始地点を含む移動経路となる３点以上の地点について、各地点の３次元座標を含んだ地点情報であって、開始地点から見た相対高度が正となる地点情報を取得（登録）し、範囲決定部３３は、地点情報に基づいて、それぞれの軸方向において最大の座標値及び最小の座標値を決定し、決定した座標点からフィルタ範囲を定義することができる。この場合、水面よりも高所が離陸地点となり、離陸地点に基づいて高さ方向の位置情報が特定される。

【0084】

移動経路には、開始地点に加えて、開始地点へ移動する前の開始前地点が含まれても良い。この開始前地点は常にＧＮＳＳ環境下である一方、当該移動経路に含まれる開始地点、中継地点、終了地点などは、点検現場において非ＧＮＳＳ環境である可能性もあり得る。この開始前地点（開始地点がＧＮＳＳ環境である場合には開始地点）で得られるＧＮＳＳ座標を利用して、上述のとおりローカル座標系からグローバル座標系に変換処理し、変換処理の結果に基づいてマッピング処理を行うことができる。

【0085】

Ｓ１４において、移動体１（制御装置３）の取得部３１は移動中におけるフィルタ範囲内の点群データを取得する。そしてＳ１５において、マッピング処理部３２は、フィルタ範囲４０によるフィルタリング後の点群データを用いてマッピング処理を行う。本実施形態では、これと同時に自己位置推定も行っている（ＳＬＡＭ処理）。

【0086】

＜点群データの除外＞
橋梁点検を行う場合、その点検対象は河川に架けられた橋梁１０であることが多い。そして橋梁点検において移動体１は水面の数メートル上を飛行することになり、例えば移動体１がドローンなどである場合には当該ドローンの飛行動作（図２のモータ２０２によるプロペラの動作）による影響で水面が不規則に変動している（水面が揺れている）。そうすると移動体１の下側及びその付近に位置する水面の点群データを取得してもノイズを多く含んでしまうため、精度の良いマッピング処理には利用することができない。

【0087】

そこで、本実施形態におけるマッピング処理部３２は、点群データを所定の種別に分類処理し、分類処理の結果に基づいて点群データを除外してマッピング処理を行う。具体的にマッピング処理部３２は、水面として分類された点群データや、その他ノイズを多く含む領域の点群データを除外してマッピング処理を行う。当然ながらマッピング処理部３２は、フィルタ範囲内において水面に分類された点群データについても除外してマッピング処理を行う。

【0088】

本実施形態では、飛行経路に設定される高度は移動体１の開始地点（または開始地点へ移動する前の所定の地点）における高度に対する相対値（開始地点の高度を基準とした相対値）である。例えば、移動体１に気圧などの環境情報を計測するための計測部を搭載し、計測部が、移動体１の移動中における気圧を含んだ環境情報を経時的に計測する。そして推定処理部３４は、環境情報を利用して点群データが除外された領域における移動体１の自己位置を推定処理することができる。

【0089】

このような構成とすることで、移動体１の移動中における点群データにおいて、ノイズを多く含む水面領域などでも適切な自己位置推定（高度情報を含んだ自己位置推定）を行うことができる。例えば、非ＧＮＳＳ環境においても適切な自己位置推定を行うことができる。

【0090】

＜橋梁点検＞
Ｓ１６において、地点情報に基づいて、橋梁点検を行う。具体的には図６に示すように、移動体１は開始地点（空白の丸部分）から次の地点４へ移動し、地点６、地点８という飛行経路で順番に移動していく。なお、本実施形態では説明を分かりやすくするためにフィルタ範囲の外側も表現しているが、実際にはフィルタ範囲のみがマッピング処理されている。

【0091】

そして移動体１が地点１０、すなわち橋梁１０の下に到達すると、パイプなどの点検箇所（点検対象１２）を撮像装置４で撮像し、リアルタイムで端末装置５へ送信する。また、移動体１は、点検対象１２である地点１０から地点１２の移動中も連続的に動画を撮像する。

【0092】

そして地点１２へ到達すると、橋脚１４を回避するために移動体１は地点１４を経て地点１６へと移動し、次の点検領域である地点１８、地点２０へと移動する。このように本実施形態では、自律移動による点検作業に対して障害となり得る橋脚１４などの物体を回避しながら移動する。また、移動体１はＳＬＡＭ処理を行っているので、万が一予期していなかった障害物が生じた際にも当該障害物への衝突回避を行うことができる。

【0093】

Ｓ１７において、移動体１が点検終了地点まで移動するまでＳ１４～Ｓ１６までの動作が繰り返される（図６における地点４～地点２６まで順番に移動する）。そして移動体１は点検を終えると、地点２２、地点２４、地点２６へと移動し、その後移動体１は終了地点（図６では開始地点と同じ、空白の丸部分）へ移動し、橋梁１０の点検が終了する。

【0094】

図９には、本発明の一実施形態に係る橋梁点検における点検経路の概略イメージ図を示す。図９に示すように、移動体１は動画を撮像しながら点検対象１２であるＡ地点からＢ地点へ移動し、その後に橋脚１４を回避するためにＣ地点を経てＤ地点へ移動し、その後に点検対象１２であるＥ地点へ移動することで、橋梁１０の点検を行うことができる。

【0095】

このように本実施形態では、地点情報を利用して所定条件によるフィルタ範囲４０を定義し、そのフィルタ範囲４０に従ってＳＬＡＭ処理による移動を行うことで高速且つ高精度な処理を実現することができる。その結果、ドローンなどの移動体１を、高精度な自律飛行と衝突回避を必要とする橋梁点検などに利用することができる。

【0096】

さらに、本実施形態に係る各工程を経ることで、ＳＬＡＭ処理によって自律移動を行う移動体の自律移動方法、ＳＬＡＭ処理によって自律飛行を行う飛行体の自律飛行方法、及びコンピュータ等に各処理を実行させるための自律移動プログラムなどを実現することができる。

【0097】

＜表示例＞
図１０は、本発明の一実施形態に係る表示画面の一例を示す。図１０に示すように端末装置５の表示画面Ｗ１０には、点検対象の動画や静止画を示す点検画面Ｗ１２、地点情報を含んだ平面マップ画面Ｗ１４、移動経路（移動履歴）と共に移動体１の位置情報を示す３Ｄマップ画面Ｗ１６、などが表示処理されている。本実施形態における移動体１の表示処理部３５は、これら点検画面Ｗ１２、平面マップ画面Ｗ１４、３Ｄマップ画面Ｗ１６、などを表示処理し、その表示処理の結果を端末装置５へ送信する。

【0098】

なお、実際には平面マップ画面Ｗ１４（及び／または３Ｄマップ画面Ｗ１６）は、フィルタ範囲として定義された領域のみが表示されることになるが、表示イメージを分かりやすく説明するため、図１０では橋梁１０の周辺領域を示している。

【0099】

図１０に示すように端末装置５には、点検画面Ｗ１２が表示処理される。この点検画面Ｗ１２には、橋梁の下側に位置する配管Ｗ１２ａが鮮明に表示されている。点検作業員がこの点検画面Ｗ１２を確認することで、遠隔地において適切な点検や検査を行うことができる。

【0100】

また、点検画面Ｗ１２と、平面マップ画面Ｗ１４と、３Ｄマップ画面Ｗ１６と、を同一画面に同時に表示することで、点検作業員などのユーザは現時点における移動体１の点検状況を正確に把握することができる。

【0101】

さらに、表示画面Ｗ１０には、移動体１のＸ方向、Ｙ方向、Ｚ方向、及び移動体本体２の向き（及び姿勢）を示す位置姿勢情報Ｗ１８、移動体本体２の傾きを示す水平確認情報Ｗ２０、撮像装置４で撮像された動画を録画（及び静止画を保存）するための保存機能Ｗ２２、及びメニューボタンＷ２４、設定ボタンＷ２６が表示処理される。ユーザがメニューボタンＷ２４を選択すると、移動体１の操作画面や点検中画面などを選択可能な画面に遷移する（図１０は点検中画面）。設定ボタンＷ２６は、各種設定を行うために設けられている。

【0102】

例えば、設定ボタンＷ２６を押して（タッチして）図１０のＷ１２～Ｗ２２までを選択することで、表示画面Ｗ１０には必要に応じた画面等を選択的に表示させることができる。図１０のようにＷ１２～Ｗ２２までの全ての画面や情報等を表示処理することで、ユーザはそれぞれの関連性等を一目で把握することができ、その結果、現時点における移動体１の移動状況や点検状況をより正確に把握することができる。

【0103】

このように本発明によれば、地点情報を利用して所定条件によるフィルタ範囲４０を定義し、そのフィルタ範囲４０に従ってＳＬＡＭ処理を行うことで良好な移動体の自律移動を実現することができる。また、本実施形態では主に橋梁点検における移動体の自律飛行について説明したが、移動体１を他の用途に利用する場合にも本発明と同様の効果を得ることができる。

【符号の説明】

【0104】

１ 移動体（飛行体）
２ 移動体本体（飛行体本体）
３ 制御装置
４ 撮像装置
５ 端末装置
３１ 取得部
３２ マッピング処理部
３３ 範囲決定部
３４ 推定処理部
３５ 表示処理部
１０ 橋梁
１０ａ 路面
１２ 点検対象
１４ 橋脚
２０ 河川
４０ フィルタ範囲
４２ マージン
１００ 移動体システム
２０１ 主制御部
２０２ モータ
２０３ モータコントローラ
２０４ 無線通信部
２０５ ＧＮＳＳモジュール
２０６ 記憶部
３０１ センサ
３０２ 制御部
４０１ 撮像部
４０２ ジンバル
５０１ 処理部
５０２ 記憶部
５０３ 通信部
５０４ 入力部
５０５ 出力部
Ｗ１０ 表示画面
Ｗ１２ 点検画面
Ｗ１４ 平面マップ画面
Ｗ１６ ３Ｄマップ画面
Ｗ１８ 位置姿勢情報
Ｗ２０ 水平確認情報
Ｗ２２ 保存機能
Ｗ２４ メニューボタン
Ｗ２６ 設定ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】