特許 7591859 飛行体の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-21

(45)【発行日】2024-11-29

(54)【発明の名称】飛行体の制御方法

(51)【国際特許分類】

   G05D 1/46 20240101AFI20241122BHJP

   B64D 47/08 20060101ALI20241122BHJP

   B64C 27/08 20230101ALI20241122BHJP

   B64C 39/02 20060101ALI20241122BHJP

   E01D 22/00 20060101ALI20241122BHJP

【ＦＩ】

G05D1/46

B64D47/08

B64C27/08

B64C39/02

E01D22/00 A

【請求項の数】 3

(21)【出願番号】P 2019109965

(22)【出願日】2019-06-12

(65)【公開番号】P2020201850

(43)【公開日】2020-12-17

【審査請求日】2022-05-17

(73)【特許権者】

【識別番号】591146893

【氏名又は名称】九州旅客鉄道株式会社

(73)【特許権者】

【識別番号】517106408

【氏名又は名称】株式会社Ａ．Ｌ．Ｉ．Ｔｅｃｈｎｏｌｏｇｉｅｓ

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】▲高▼山 智宏

(72)【発明者】

【氏名】深江 良輔

(72)【発明者】

【氏名】隈部 佳

(72)【発明者】

【氏名】市村 彰

(72)【発明者】

【氏名】小松 周平

【審査官】田中 友章

(56)【参考文献】

【文献】特開２０１８－１３３０１０（ＪＰ，Ａ）

【文献】特開２０１７－１７４１５９（ＪＰ，Ａ）

【文献】特開２０１９－０７３９９９（ＪＰ，Ａ）

【文献】特許第６５１５３６７（ＪＰ，Ｂ１）

【文献】特開２０１６－０８２４４１（ＪＰ，Ａ）

【文献】特開２０１８－１６０２２８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４６

Ｂ６４Ｄ ４７／０８

Ｂ６４Ｃ ２７／０８

Ｂ６４Ｃ ３９／０２

Ｅ０１Ｄ ２２／００

(57)【特許請求の範囲】

【請求項1】

飛行体の制御方法であって、
構造物まで飛行体を移動させるよう制御するステップと、
調査済みの位置がマッピングされた図面を含む図面情報を取得するステップと、
前記図面情報を参照し、調査未実施の位置のルーティングを設定するステップと、
前記構造物の一部を撮像するステップと、
前記撮像した画像を基に損傷の有無を確認し、損傷が確認されたときに、前記構造物の図面情報を参照し、当該損傷の位置を図面情報にマッピングするステップと、
を含む、飛行体の制御方法。

【請求項2】

請求項１に記載の飛行体の制御方法であって、
前記撮像された画像を送信するステップをさらに含む飛行体の制御方法。

【請求項3】

請求項１に記載の飛行体の制御方法であって、
前記構造物の図面情報を参照し、前記撮像された画像を図面情報にマッピングすることを特徴とする、飛行体の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飛行体の制御方法に関する。

【背景技術】

【0002】

従来、鉄道の橋梁の保守や点検は、橋梁に足場を組み立て、作業員が歩行し、目視することにより行っており、その分時間を要するとともに、路線の走行との関連でも影響が生じていた。

【0003】

特に、橋梁の下面の目視による検査は、道路や河川が位置するため、困難とされており、このような検査を支援するシステムとして、橋梁の下部にレールを設置し、レール上をロボットカメラが走行して、橋梁下面を撮影するシステムや（特許文献１）、また、橋梁下面の道路に、屋根に複数台のカメラが設置された検査車両を走行させ、橋梁下面を撮影し、図面にマッピングするシステムが開示されている（特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－０７９６１５号公報

【文献】特開２０１７－１０６１７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献に開示されるシステムにより、橋梁検査の支援を実現することができるが、特許文献１に開示されるシステムは、レールを始めとした構造物をさらに設置する必要があり、時間と費用がかかる。また、特許文献２に開示されるシステムは、橋梁下面に道路が無い場合、例えば、河川や峡谷のような地形である場合には、検査が困難となる。

【0006】

そこで、本発明は、かかる課題を解決し、より効率的な橋梁の検査方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一の実施形態は、飛行体の制御方法であって、構造物まで飛行体を移動させるよう制御するステップと、構造物に関連する情報を参照し、飛行ルートを設定するステップと、構造物の一部を撮像するステップと、を含む。

【発明の効果】

【0008】

本発明によれば、より効率的な橋梁の検査方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施の形態による飛行体１０による検査方法の概観図である。

【図2】図２は、第１の実施の形態にかかる飛行体１０の機能ブロック図である。

【図3】図３は、第１の実施の形態による飛行体の検査に関連する制御を示す機能ブロック図である。

【図4】図４は、第１の実施の形態による飛行体システムの同制御を示すフローチャート図である。

【図5】図５は、第１の実施の形態において、橋梁の図面データ上にマッピングを行った例を示す。

【図6】図６は、第２の実施の形態による飛行体の検査に関連する制御を示すフローチャート図である。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
［項目１］
飛行体の制御方法であって、
構造物まで飛行体を移動させるよう制御するステップと、
当該構造物に関連する情報を参照し、飛行ルートを設定するステップと、
前記構造物の一部を撮像するステップと、
を含む、飛行体の制御方法。
［項目２］
請求項１に記載の飛行体の制御方法であって、
前記撮像された画像を送信するステップをさらに含む飛行体の制御方法。
［項目３］
請求項１に記載の飛行体の制御方法であって、
前記撮像した画像を基に損傷の有無を確認するステップをさらに含む飛行体の制御方法。
［項目３］
請求項１に記載の飛行体の制御方法であって、
前記構造物の図面情報を参照し、前記撮像された画像を図面情報にマッピングすることを特徴とする、飛行体の制御方法。
［項目４］
請求項３に記載の飛行体の制御方法であって、
前記確認するステップにおいて、損傷が確認されたときに、前記構造物の図面情報を参照し、当該損傷の位置を図面情報にマッピングすることを特徴とする、飛行体の制御方法。

【0011】

（第１の実施の形態）
以下、本発明の第１の実施の形態による飛行体について、図面を参照しながら説明する。図１は、第１の実施の形態による飛行体１０による橋梁の検査方法の概観図である。

【0012】

図１に示すように、飛行体１０は、構造物（例えば、橋梁１）の周辺を飛行し、カメラにより橋梁１の各部を撮像することができる。飛行体１０は、移動の制約が無いため、橋梁の上面及び下面を始め、あらゆる箇所を飛行することができ、機体の大きさに照らして、可能な限り橋梁の内部まで飛行することができる。また、図示しないが、撮像した画像を管理端末等の外部装置にネットワーク経由で送信することができる。

【0013】

図２は、第１の実施の形態にかかる飛行体１０の機能ブロック図である。まず、フライトコントローラ２１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。カメラ５は、ジンバルを介して機体に装備され、ジンバルによって、例えば、機体に対して上下方向に回転することができる。好ましくは、機体に対して３軸方向（ピッチ角、ロール角、ヨー角）に回転できることが好ましい。また、カメラと機体との関係で、飛行体１０の上方または下方など、飛行体１０から見て一定の方角の撮影が難しい場合は、例えば、飛行体１０の上面及び下面に複数台のカメラを有することもできる。また、カメラとしてステレオカメラを用いることで、後の画像処理で撮像された画像の奥行きや距離等を計測することができる。

【0014】

また、フライトコントローラ２１は、メモリ２２を有しており、当該メモリにアクセス可能である。メモリ２２は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。

【0015】

メモリ２２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラやセンサ類から取得したデータは、メモリに直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。カメラは飛行体にジンバルを介して設置される。

【0016】

フライトコントローラ２１は、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣを経由して飛行体の推進機構（モータ等）を制御する。モータによりプロペラが回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

【0017】

フライトコントローラ２１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）２３、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部２４と通信可能である。送受信機２３は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

【0018】

例えば、送受信部２４は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0019】

送受信部２４は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

【0020】

本実施の形態によるセンサ類２５は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0021】

また、検査部３１は、カメラ５で撮像した画像データ等検査に必要な情報をメモリ３２に格納し、橋梁検査を実行する。別の例として、検査部３１の全部又は一部の機能を、図示しない飛行体外部の管理端末等に備えることも可能である。

【0022】

次に図３及び図４を用いて、本実施の形態における飛行体の制御方法について説明する。図３は、本実施の形態による飛行体の橋梁の検査に関連する飛行体制御にかかる機能ブロック図である。また、図４は、本実施の形態による飛行体及び管理端末からなる飛行体システムの同制御にかかるフローチャート図である。

【0023】

本実施の形態における、飛行体が橋梁を検査するための制御方法は、フライトコントローラ２１におけるＣＰＵ及び／または検査部３１におけるＣＰＵにおいて、制御プログラムを実行することで実現することが可能である。また、別の例として、フライトコントローラ２１及び／または検査部３１の全部又は一部の機能を、外部装置２８（例えば、サーバや管理端末）に備えることもでき、かつ、必要な処理を飛行体１０と外部装置２８とが連携して実行することができる。本実施の形態は、飛行体１０と管理端末等の外部装置２８とが連携して橋梁の検査を実行する形態となっている。

【0024】

まず、図３において、橋梁情報取得部５１は、例えば、メモリ２２の橋梁情報格納部６１に格納された橋梁の位置情報を参照し、調査の対象となる位置を確認する。橋梁情報を参照して確認した位置情報に対し、現在位置情報取得部５２は、ＧＰＳセンサ５４や加速度センサ５５等から現在位置情報を取得し、飛行制御部５３は、モータ２６を制御し、目的地となる検査位置まで飛行体１０を移動させるよう制御することができる（Ｓ４０１）。取得された現在位置情報は、メモリ２２内の現在位置情報格納部６２に格納される。なお、本ステップは手動により飛行体を操作することにより置き換えも可能であり、ＧＰＳが動作しない場合などは、位置情報に依存せずに、画像認識技術により橋梁を認識することで、飛行体を橋梁周辺に飛行させるよう制御させることで置き換えることも可能である。また、本ステップにおいて、橋梁情報または検査部３１のメモリ３２に格納される図面情報８３等に含まれる橋梁の構造や検査対象となる各部に関する情報を参照し、検査項目別に飛行ルートの設定を行うことができる。例えば、画像認識技術を利用して、例えば、橋梁下面を認識し、所定のルートを飛行するよう制御することもできる。

【0025】

次に、飛行体１０が調査対象となる橋梁の部位に位置づけされると、検査部３１の橋梁検査部７１は、例えば、図面情報８３を参照し、対象となる線路が既に調査済であるか否かを確認することができる。本例においては、図面において調査済の位置がマッピング等されている例を想定しているが、位置情報として理解できれば、他の形式を問わない。また、本情報について、飛行体１０は、送受信部２４及びネットワークを介して、管理端末等の外部装置２８に問い合わせを行うこともできる。また、別の例において、飛行体１０は、調査済・未実施の位置を事前に理解しておき、調査未実施の位置のルーティング設定を事前に行い、飛行することができる。また、さらに別の例において、飛行体１０は、調査済の位置においては、カメラの電源をオフにしておくことができる。これらにより、バッテリー資源を節約することができる。

【0026】

次に、検査部３１の撮像制御部７４は、カメラ５を制御し、対象となる橋梁の部位を撮像する（Ｓ４０２）。撮像に際しては、目視に変わる画像取得という意味において、いわゆるデジカメ等のエリアカメラを用いることもできる。また、夜間の撮影時には、赤外線カメラを用いたり、ＬＥＤ照明を当てた撮影を行うこともできる。また、上述の通り、ステレオカメラを用いることで、複数の視差画像から撮像された画像の奥行きや距離を後の画像処理工程で認識することができる。撮像された画像は、メモリ３２内に格納することができる。

【0027】

続いて、検査部３１の通知生成部７２は送受信部２４を介して、管理端末等の外部装置２８に通知を送信する（Ｓ４０３）。通知内容として、位置情報、橋梁の部位情報、画像等を含むことができる。通知処理は、画像を蓄積して周期的に行うこともできるが、撮像と同時に実行されることが好ましい。

【0028】

管理端末等の外部装置２８は、飛行体１０から送信された画像を受信する（Ｓ４０４）。続いて、管理端末等の外部装置２８は、受信された画像を基に橋梁の検査を実施する（Ｓ４０５）。検査にあたっては、例えば、管理端末の（図示しない）画像処理部にて、画像の二値化処理、エッジや線分の特徴量の検出等の既知の方法を用いて画像処理された画像を用いることもできる。または、画像処理された橋梁部位の検査画像と通常時に撮像され、画像処理された通常画像とを比較することで損傷の有無を確認することもできる。また、損傷の有無のほか、損傷の大きさをステレオカメラで得られた視差画像を基に三角測量等の既知の手法を用いて計測することも可能である。また、検査対象となる橋梁の各部の通常時の画像を機械学習させ、エッジやコーナーの特徴量から損傷の判別ルールを学習データとして抽出しておき、無人航空機１０により撮像された画像の特徴量と学習データとを比較することで損傷を認識することもできる。また、損傷と判別された場合は、上述の損傷の大きさや特徴量に基づいて、スコアを算出し、後に修理の有無を判断するための優先度付けをするために利用することもできる。

【0029】

続いて、管理端末等の外部装置２８は、Ｓ４０４で受信した画像及びＳ４０５で得られた検査結果を基に、橋梁の各部位の図面データ上に、画像及び損傷箇所等をマッピングする。画像については、所定の図面データのフォーマットに合うように補正処理がなされ、損傷箇所については、検査担当者が後に認識しやすいよう、損傷を表すアイコンを配置したり、特別な配色を施したりすることができる。また、損傷の度合い（大きさ、特徴量から得られるスコア）に応じて、損傷箇所を指示するマーカ等の大きさや色付けを変えた表示をすることもできる。図５は、図面データ上にマッピングを行った例を示す。撮像された複数の画像を配置し、各画像には損傷箇所を示すアイコンが示されている。損傷の大きさに応じてアイコンの大きさが異なっており、一のアイコンを選択すると、損傷の詳細や拡大画像が表示される態様となっている。また、飛行体が飛行不可能で撮像できなかった部位については、図面データ上で識別できるように表示することもできる。これにより、検査担当者は、当該部位については目視で検査を行うことができる。

【0030】

このように、飛行体を用いた橋梁の検査を行うことで、従来の目視作業を自動化できるだけでなく、公知の検査装置では困難であった部位を含めた検査を容易に行うことができる。これにより、効率的な橋梁の検査方法を提供することができる。

【0031】

（第２の実施の形態）
図５は、第２の実施の形態にかかる飛行体の橋梁の検査に関連する飛行体制御にかかるフローチャートを示す。本実施の形態における飛行体の特徴は、第１の実施の形態において管理端末により実施していた検査を飛行体自身において実施することにある。

【0032】

本実施の形態の飛行体２０の構造や機能ブロックは、特に言及される部分を除き、図２に示される、第１の実施の形態に開示される飛行体１０と同等とすることができる。

【0033】

図６の構造物（例えば、橋梁）を飛行するステップ（Ｓ６０１）、検査対象の橋梁の所定の部位を撮像するステップ（Ｓ６０２）については、図４に記載された第１の実施の形態における方法と同等であるので、説明を省略する。また、本実施の形態の制御方法に対応する飛行体の制御ブロック図についても、特に言及される事項を除き、図３に示す図と同等とすることができるため、説明を省略する。

【0034】

図６において、飛行体の検査部３１の橋梁検査部７１は、撮像された画像を基に橋梁の検査を実施する（Ｓ６０３）。検査にあたっては、例えば、画像処理部７３にて、画像の二値化処理、エッジ及びコーナーの特徴量の検出等の既知の方法を用いて画像処理された画像を用いることもできる。または、画像処理された橋梁の所定の部位の検査画像８１と通常時に撮像され、画像処理された通常画像８２とを比較することで異常の有無を確認することもできる。または、画像処理された橋梁部位の検査画像と通常時に撮像され、画像処理された通常画像とを比較することで損傷の有無を確認することもできる。また、損傷の有無のほか、損傷の大きさをステレオカメラで得られた視差画像を基に三角測量等の既知の手法を用いて計測することも可能である。また、検査対象となる橋梁の各部の通常時の画像を機械学習させ、エッジやコーナーの特徴量から損傷の判別ルールを学習データとして抽出しておき、無人航空機１０により撮像された画像の特徴量と学習データとを比較することで損傷を認識することもできる。また、損傷と判別された場合は、上述の損傷の大きさや特徴量に基づいて、スコアを算出し、後に修理の有無を判断するための優先度付けをするために利用することもできる。

【0035】

続いて、橋梁検査部７１は、検査の結果、調査対象の線路について異常があるか否かを確認する（Ｓ６０４）。Ｓ６０２で撮像した画像及びＳ６０３で得られた検査結果を基に、橋梁の各部位の図面データ上に、画像及び損傷箇所等をマッピングする。画像については、所定の図面データのフォーマットに合うように補正処理がなされ、損傷箇所については、検査担当者が後に認識しやすいよう、損傷を表すアイコンを配置したり、特別な配色を施したりすることができる。また、損傷の度合い（大きさ、特徴量から得られるスコア）に応じて、損傷箇所を指示するマーカ等の大きさや色付けを変えた表示をすることもできる。また、飛行体が飛行不可能で撮像できなかった部位については、図面データ上で識別できるように表示することもできる。これにより、検査担当者は、当該部位については目視で検査を行うことができる。

【0036】

本実施の形態においては、通知生成部７２は、Ｓ６０４で生成された図面データを、送受信部２４を介して、ネットワーク経由で管理端末等の外部装置２８に送信することができる（Ｓ６０５）。また、図面データとともに、または図面データとは別に、損傷の有無を判断し、損傷が発見された場合には、その旨を示す通知、損傷が見つかった橋梁の位置情報、橋梁における損傷の位置情報、損傷の度合い、及び画像や図面データといった情報を外部装置２８に送信することができる。

【0037】

このように、本実施の形態においては、飛行体が検査の全て担うことができるので、作業効率をさらに向上させることが可能となる。

【0038】

本発明の飛行体は、主に鉄道事業における、橋梁を始めとする構造物の調査、測量、観察等における産業用の飛行体としての利用が期待できる。また、本発明の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができ、さらに、本発明を通じて、これらの飛行体及び飛行体の飛行に関連する安全性の向上に寄与することができる。

【0039】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0040】

１ 橋梁
５ カメラ
１０ 飛行体
２１ フライトコントローラ
２２ メモリ
２３ センサ類
２４ 送受信部
２５ 送受信機
２６ モータ
２８ 外部装置
３１ 検査部
３２ メモリ
５１ 橋梁情報取得部
５２ 現在位置情報取得部
５３ 飛行制御部
５４ ＧＰＳセンサ
５５ 加速度センサ
６１ 橋梁情報格納部
６２ 現在位置情報格納部
７１ 橋梁検査部
７２ 通知生成部
７３ 画像処理部
７４ 撮像制御部
８１ 検査画像
８２ 通常画像
８３ 図面情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】