特許 7173746 飛行体、情報記録方法、飛行体の制御方法、および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-08

(45)【発行日】2022-11-16

(54)【発明の名称】飛行体、情報記録方法、飛行体の制御方法、および制御プログラム

(51)【国際特許分類】

   G05D 1/10 20060101AFI20221109BHJP

   B64D 47/08 20060101ALI20221109BHJP

   B64C 39/02 20060101ALI20221109BHJP

   B64C 13/18 20060101ALI20221109BHJP

【ＦＩ】

G05D1/10

B64D47/08

B64C39/02

B64C13/18 Z

【請求項の数】 10

(21)【出願番号】P 2018068485

(22)【出願日】2018-03-30

(65)【公開番号】P2019179422

(43)【公開日】2019-10-17

【審査請求日】2020-12-21

(73)【特許権者】

【識別番号】000005119

【氏名又は名称】日立造船株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】飯尾 和人

【審査官】今井 貞雄

(56)【参考文献】

【文献】特開２０１７－０５８８２９（ＪＰ，Ａ）

【文献】特開２０１１－２５８０６５（ＪＰ，Ａ）

【文献】特開２０１８－０２１４９１（ＪＰ，Ａ）

【文献】国際公開第２０１７／１９７１９７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００－１／１２

(57)【特許請求の範囲】

【請求項1】

駆動制御に従って飛行する飛行体であって、
飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像取得部が取得する、上記駆動制御が行われた際に撮像された上記経路画像と、当該駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行するときに、上記飛行体の自律飛行時において点検の対象となる点検箇所を特定し、当該点検箇所を示す点検箇所情報を記録する点検箇所学習部と、を備えていることを特徴とする飛行体。

【請求項2】

駆動制御に従って飛行する飛行体であって、
飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って移動する追尾対象を追尾するように上記飛行体を飛行させる追尾制御部と、を備え、
上記経路画像取得部は、上記追尾制御部が、上記追尾対象を追尾するように上記飛行体を飛行させているときに上記経路画像を取得する、ことを特徴とする飛行体。

【請求項3】

飛行経路に沿って自律飛行する飛行体であって、
上記飛行体から撮像された撮像画像を取得する撮像制御部と、
上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備え、
上記経路画像は、過去に上記飛行体が上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行したときに、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行うたびに取得された画像であり、
上記飛行制御部は、複数の上記経路画像のうち、上記撮像画像と一致した経路画像に対応する上記駆動制御を行う、ことを特徴とする飛行体。

【請求項4】

上記飛行制御部は、上記撮像画像における所定の検出対象物の写り方と、上記経路画像における上記所定の検出対象物の写り方の相違に基づいて、上記経路画像が撮像された位置まで上記飛行体を飛行させることを特徴とする請求項３に記載の飛行体。

【請求項5】

駆動制御に従って飛行する飛行体であって、
飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って飛行中の上記飛行体からの撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部と、を備えていることを特徴とする飛行体。

【請求項6】

駆動制御に従って飛行する飛行体であって、
飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、
上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、
上記飛行経路に沿って飛行中の上記飛行体からの撮像画像に写っている被写体の中からユーザが指定した指示対象物について所定の処理を行う処理実行部と、を備えていることを特徴とする飛行体。

【請求項7】

飛行体を自律飛行させるための情報を記録するコンピュータによる情報記録方法であって、
所定の飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、
上記ステップで取得される、上記駆動制御が行われた際に撮像された上記経路画像と、当該駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含み、
上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行するときに、上記飛行体の自律飛行時において点検の対象となる点検箇所を特定し、当該点検箇所を示す点検箇所情報を記録するステップをさらに含む、ことを特徴とする情報記録方法。

【請求項8】

飛行体を飛行経路に沿って自律飛行させるコンピュータによる飛行体の制御方法であって、
上記飛行体から撮像された撮像画像を取得する撮像ステップと、
上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含み、
上記経路画像は、過去に上記飛行体が上記飛行経路に沿って自律飛行できるように学習するために当該飛行経路に沿って飛行したときに、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行うたびに取得された画像であり、
上記飛行制御ステップでは、複数の上記経路画像のうち、上記撮像画像と一致した経路画像に対応する上記駆動制御を行う、ことを特徴とする飛行体の制御方法。

【請求項9】

請求項１に記載の飛行体を動作させるための制御プログラムであって、上記飛行体が備えるコンピュータを、上記経路画像取得部、上記経路学習部、および点検箇所学習部として機能させる制御プログラム。

【請求項10】

請求項３に記載の飛行体を動作させるための制御プログラムであって、上記飛行体が備えるコンピュータを、上記撮像制御部および上記飛行制御部として機能させる制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は自律飛行可能な飛行体に関する。

【背景技術】

【0002】

ドローン等の飛行体の様々な産業分野への利用が進められている。例えば、下記の特許文献１には、無人航空機を用いて施設の点検を行うシステムが開示されている。このシステムでは、施設内に複数の固定器を設置し、各固定器と無人航空機との間での無線信号の空中伝搬時間を利用して無人航空機の三次元位置を特定し、その特定結果を用いて該無人航空機を飛行ルートに沿って自動飛行させている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１５４５７７号公報（２０１７年９月７日公開）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述のような従来技術では、飛行ルートに沿って予め固定器を設置しておく必要があり、固定器の設置や維持管理に手間も費用もかかるという問題がある。また、ＧＰＳ（Global Positioning System）を利用して無人航空機の位置を特定する方法も考えられるが、ＧＰＳで得られる位置情報の精度には限界があり、また、施設内などではＧＰＳ信号を受信できない場合もある。

【0005】

本発明の一態様は、ＧＰＳや無線信号の発信機等を用いることなく、所定の飛行経路に沿って自律飛行することができる飛行体等を実現することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、本発明の一態様に係る飛行体は、駆動制御に従って飛行する飛行体であって、飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、を備えている。

【0007】

また、上記の課題を解決するために、本発明の一態様に係る他の飛行体は、飛行経路に沿って自律飛行する飛行体であって、上記飛行体から撮像された撮像画像を取得する撮像制御部と、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備えている。

【0008】

また、上記の課題を解決するために、本発明の一態様に係る情報記録方法は、飛行体を自律飛行させるための情報を記録するコンピュータによる情報記録方法であって、所定の飛行経路を学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含む。

【0009】

また、上記の課題を解決するために、本発明の一態様に係る飛行体の制御方法は、飛行体を飛行経路に沿って自律飛行させるコンピュータによる飛行体の制御方法であって、上記飛行体から撮像された撮像画像を取得する撮像ステップと、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含む。

【発明の効果】

【0010】

本発明の一態様によれば、ＧＰＳや無線信号の発信機等を用いることなく、飛行体を所定の飛行経路に沿って自律飛行させることが可能になるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】本発明の実施形態１に係る飛行体の要部構成の一例を示すブロック図である。

【図2】上記飛行体に施設内の飛行経路を学習させる方法を説明する図である。

【図3】点検員の追尾方法の例と点検箇所の学習方法の例を示す図である。

【図4】基準位置から目標物を撮像した基準画像の例を示す図である。

【図5】図４の例と比べて離れた位置の上記飛行体から目標物を撮像した例を示す図である。

【図6】図４の例と比べてＸ軸方向およびＹ軸方向にずれた位置の上記飛行体から目標物を撮像した例を示す図である。

【図7】図４の例と比べてＺ軸方向にずれた位置の上記飛行体から目標物を撮像した例を示す図である。

【図8】飛行経路の例と、該飛行経路に沿った飛行時に撮像された画像の例と、制御対応情報の例を示す図である。

【図9】上記飛行体による撮像画像の例と、サーバが解析する画像の例を示す図である。

【図10】経路学習時に上記飛行体が行う処理の一例を示すフローチャートである。

【図11】自律飛行時に上記飛行体が行う処理の一例を示すフローチャートである。

【図12】本発明の一参考例を示す図であり、上記飛行体の現在位置を、当該飛行体を外部から撮像した画像に基づいて特定する例を説明する図である。

【発明を実施するための形態】

【0012】

〔実施形態１〕
以下、本発明の一実施形態を図１から図１１に基づいて説明する。

【0013】

〔動作概要〕
本発明の一実施形態に係る飛行体の動作概要を図２に基づいて説明する。図２は、飛行体１に施設Ａ１内の飛行経路を学習させる方法を説明する図である。飛行体１は、無人で自律飛行可能な飛行体である。飛行体１は、まず飛行経路を学習するために当該飛行経路に沿って移動する点検員を追尾して飛行し、学習後はその飛行経路に沿って自律飛行する。飛行経路は屋内に設定されたものであっても屋外に設定されたものであってもよく、屋内である場合、どのような建物内であってもよいが、本実施形態では、自律飛行する飛行体１が施設Ａ１内を撮像した画像を用いて施設Ａ１の点検を行う例を説明する。施設Ａ１は、例えば廃棄物の焼却施設である。

【0014】

飛行経路の学習にあたり、点検員は点検経路Ａ１１に沿って施設Ａ１内を移動する。そして、飛行体１は点検員を追尾して施設Ａ１内を飛行しながら、その飛行経路を学習する。また、点検経路Ａ１１には、複数の点検箇所Ａ１２があるので、飛行体１はそれらの点検箇所Ａ１２についても学習する。このような学習を繰り返すことにより、飛行体１は学習した飛行経路に沿って自律飛行することが可能となり、また、自律飛行中に各点検箇所Ａ１２で点検のための処理（計器の撮像等）を行うことが可能になる。

【0015】

点検経路Ａ１１は、アップダウンがある複雑に入り組んだ経路となっており、また点検箇所Ａ１２の数も多い。このため、点検作業は点検員にとって重労働であり、また点検に要する時間も長大となる。しかし、飛行体１を利用することにより、点検箇所Ａ１２の一部または全部について、飛行体１に点検を行わせることができる。よって、点検員の作業負担を減らし、短時間で点検を完了することが可能になる。また、飛行体１によれば、点検員の目が届かない高所や、足場がないような場所にある点検箇所Ａ１２についても点検が可能である。

【0016】

〔装置構成〕
本実施形態に係る飛行体１の構成を図１に基づいて説明する。図１は、飛行体１の要部構成の一例を示すブロック図である。また、同図では、飛行体１の撮像した画像を解析するサーバ２についても図示している。飛行体１とサーバ２は、施設の点検を支援する点検支援システム５を構成している。

【0017】

飛行体１は、飛行体１の各部を統括して制御する制御部１０、飛行体１が使用する各種データを記憶する記憶部１１、および、飛行体１を飛行させるための駆動部１３を備えている。さらに、飛行体１は、飛行体１の周囲を撮像する撮像部１２、飛行体１が他の機器（例えばサーバ２）と通信するための通信部１４、飛行体１が動作するための電力を供給するバッテリ１５、および近接センサ１６を備えている。

【0018】

制御部１０には、撮像制御部１０１、追尾制御部１０２、飛行制御部１０３、経路画像取得部１０４、経路学習部１０５、点検箇所学習部（処理実行部）１０６、およびデータ送信制御部１０７が含まれている。

【0019】

撮像制御部１０１は、撮像部１２の動作を制御して飛行体１からの撮像画像を撮像させると共に、撮像部１２が撮像した撮像画像を取得する。そして、撮像制御部１０１は、取得した撮像画像を撮像画像１１１として記憶部１１に記録する。なお、撮像制御部１０１は、撮像画像１１１が撮像されたタイミングを特定できるように、撮像時刻を示す時刻情報等についても合せて記録する。

【0020】

追尾制御部１０２は、駆動部１３を制御して、飛行経路に沿って移動する点検員（追尾対象）を追尾するように飛行体１を飛行させる。なお、追尾方法については図３に基づいて後述する。

【0021】

飛行制御部１０３は、駆動部１３を制御して、飛行体１を自律飛行させる。詳細は後述するが、飛行制御部１０３は、過去に飛行体１が飛行経路に沿って飛行するにおいて駆動制御を行った際に撮像された経路画像と、撮像画像とが一致したと判定したときに、上記駆動制御を行う。これにより、過去に飛行経路に沿って飛行したとき（点検員を追尾して飛行したとき）と同様のタイミングで同じ駆動制御が行われるので、飛行経路に沿った自律飛行が可能になる。

【0022】

なお、自律飛行時においても、追尾飛行時においても、近接センサ１６により、飛行体１から所定距離以内に接近した物体（障害物等）を検知した場合、安全面を考慮して、飛行体１の進行を停止させるか、進行方向を変更させることが望ましい。また、障害物等を回避した後は、追尾または飛行経路に沿った自律飛行に復帰できるようにすることが望ましい。

【0023】

経路画像取得部１０４は、飛行体１が飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に飛行体１から撮像された撮像画像である経路画像を取得する。具体的には、経路画像取得部１０４は、点検員を追尾しながら飛行経路に沿って飛行する際に撮像された撮像画像１１１のうち、追尾制御部１０２が駆動制御を行った際に撮像された撮像画像１１１を取得する。

【0024】

経路学習部１０５は、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を生成し、制御対応情報１１２として記憶部１１に記録する。飛行経路の学習については図８に基づいて後述する。

【0025】

点検箇所学習部１０６は、撮像画像１１１から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う。具体的には、点検箇所学習部１０６は、指示体が指し示す指示対象物を点検箇所であると特定して、特定した点検箇所を示す点検箇所情報１１３を記憶部１１に記録する処理を行う。

【0026】

データ送信制御部１０７は、サーバ２にデータを送信する制御を行う。データの送信は通信部１４を介して行う。具体的には、データ送信制御部１０７は、点検箇所を撮像した撮像画像１１１をサーバ２に送信する。

【0027】

記憶部１１には、撮像部１２が撮像した画像である撮像画像１１１が記憶されている他、制御対応情報１１２および点検箇所情報１１３が記憶されている。上述のように、制御対応情報１１２は、飛行経路に沿って飛行している飛行体１の駆動制御が行われる際に撮像した経路画像と、駆動制御の内容を示す制御情報とを対応付けた情報である。また、点検箇所情報１１３は点検箇所を示す情報である。

【0028】

サーバ２は、飛行体１が撮像した撮像画像を受信し、解析する。具体的には、サーバ２は、データ送信制御部１０７が送信する、点検箇所を撮像した撮像画像１１１を受信し、その撮像画像１１１に写っている計器が示す値を特定する。計器が示す値の特定については図９に基づいて後述する。

【0029】

〔点検員の追尾と点検箇所の学習〕
点検員の追尾方法と点検箇所の学習方法について図３に基づいて説明する。図３は、点検員の追尾方法の例と点検箇所の学習方法の例を示す図である。図３の（ａ）には、点検箇所を指し示すための指示体の一例である作業指示スティック３００を示している。

【0030】

作業指示スティック３００は、球状の先端部３０１と棒状の持ち手部３０２とを含み、持ち手部３０２にはボタン３０３が設けられている。先端部３０１は中空となっており、その内部には図示しない光源が配置されている。ボタン３０３を操作することにより、光源を発光させることができ、光源からの光は透明な先端部３０１を透過して、該先端部３０１の外部に出射される。光源としては、例えば発光色を変化させることのできるＬＥＤ（Light Emitting Diode）を適用してもよく、この場合、ボタン３０３を操作することにより、発光色を変化させることができるようにすることが好ましい。また、ボタン３０３を操作することにより、複数の発光パターン（例えば、点滅させるパターンと点灯させるパターン等）で発光させることができるようにしてもよい。

【0031】

作業指示スティック３００の先端部３０１は球状であるから、何れの方向から撮像しても円形に写る。このため、飛行体１は、自機で撮像した画像から作業指示スティック３００（より詳細には球状の先端部３０１）を検出し、これに追従するように飛行してもよい。この場合、追尾対象は作業指示スティック３００（より詳細には球状の先端部３０１）ということになる。

【0032】

例えば、図３の（ｂ）の例では、作業指示スティック３００を持った点検員が、施設Ａ３における点検経路の一部である廊下を移動している。そして、点検員の背後を飛行体１が飛行している。この飛行体１からの撮像画像は、同図の（ｃ）における撮像画像Ｃ１１のようになる。撮像画像Ｃ１１は点検員の背後から撮像されたものであるが、作業指示スティック３００の先端部３０１は円形に写っている。このため、追尾制御部１０２は、撮像画像Ｃ１１から先端部３０１を容易に検出することができる。なお、作業指示スティック３００を所定の発光色で発光させたり、点滅させたりすることにより、先端部３０１の検出精度を高めることもできる。

【0033】

先端部３０１を検出して追尾を行う場合、追尾制御部１０２は、撮像される画像中の先端部３０１のサイズが所定のサイズで維持されるように駆動部１３を制御して飛行体１を飛行させてもよい。例えば、追尾制御部１０２は、撮像される画像中の先端部３０１のサイズが所定の閾値以下となったときに、飛行体１を所定距離だけ前進させてもよい。このような処理を繰り返すことにより、直進する点検員から一定の距離を保って追尾することができる。また、点検員が進行方向を変えた場合、撮像画像において先端部３０１の写る位置が変化するので、追尾制御部１０２は、その変化に応じて、飛行体１を旋回させる。なお、撮像画像における先端部３０１のサイズと、その撮像画像の撮像時における先端部３０１と飛行体１との距離との対応関係は予め特定しておく。これにより、追尾制御部１０２は、撮像画像において先端部３０１の写る位置が変化したときの撮像画像における先端部３０１のサイズから、飛行体１を旋回させるべき位置あるいはタイミングを特定することができる。

【0034】

無論、画像に基づく追尾を行う場合、追尾対象は作業指示スティック３００に限られない。例えば、点検員の装用している物品や、その物品に付されたマーク等を追尾対象として追尾を行ってもよい。例えば、点検員のヘルメットの後方側に所定のマークが描かれたシールを貼り付けておき、そのマークを追尾対象として追尾を行わせることもできる。また、点検経路に沿って移動する人（点検員等）や、物（例えばロボットや他の飛行体等）を追尾対象としてもよい。

【0035】

なお、点検員を追尾する方法は上記の例に限られず、例えば点検員にビーコン信号等の信号の発信機を持たせ、飛行体１にその受信機を搭載して、追尾制御部１０２は、該信号の受信強度等に基づいて点検員を追尾してもよい。また、例えばＲＦＩＤ（Radio Frequency Identifier）を用いて点検員を追尾することも可能である。さらに、無線信号と画像とを併用して追尾を行う構成としてもよい。これにより、無線信号による追尾または画像による追尾が一時的にできなくなった場合であっても、他方を利用した追尾が可能であるから、安定した追尾が実現できる。

【0036】

また、点検員は、自身を追尾している飛行体１に対し、作業指示スティック３００で点検箇所（指示対象物）を指し示すことにより、その点検箇所を飛行体１に学習させることができる。例えば、図３の（ｄ）には、計器Ｄ１の近傍で作業指示スティック３００の先端部３０１を点灯させた様子を撮像した撮像画像Ｃ１２を示している。点検箇所学習部１０６は、このような撮像画像を解析することにより、計器Ｄ１が点検員の指定する点検箇所であると特定する。特定の方法は特に限定されず、例えば、持ち手部３０２の延伸方向（先端部３０１の前方）に写っている物体を点検箇所であると特定してもよいし、先端部３０１が写っている箇所から所定範囲内に写っている物体を点検箇所であると特定してもよい。

【0037】

また、例えば、作業指示スティック３００を使用したジェスチャによって点検箇所を指定してもよい。この場合、点検箇所学習部１０６は、ジェスチャの内容から点検箇所を特定する。例えば、点検箇所の周囲を囲むように先端部３０１を動かすジェスチャにより点検箇所を指定する場合、点検箇所学習部１０６は、撮像された画像から上記ジェスチャを検出する。そして、先端部３０１の軌跡で囲まれる領域に写っている物体を点検箇所であると特定する。

【0038】

また、点検箇所学習部１０６は、検出した点検箇所において、飛行体１がどのような処理を行うかについても特定してもよい。飛行体１が行う処理は特に限定されず、例えば点検箇所の画像を撮像する処理等が挙げられる。また、例えば飛行体１がセンサを備えている場合には、該センサによりセンシングを行う等の処理であってもよい。センサの種類も特に限定されず、例えば赤外線サーモグラフィ等の熱画像センサであってもよい。この場合、点検員では気付くことが困難な、点検箇所の温度異常等を検知することも可能になる。

【0039】

飛行体１が行う処理の特定方法は特に限定されない。例えば、飛行体１が行う処理に応じたジェスチャを予め定めておいてもよく、この場合、点検箇所学習部１０６は、撮像された画像からジェスチャを検出し、検出したジェスチャに応じた処理を特定する。また、例えば、処理に応じた先端部３０１の点灯パターンを予め定めておいてもよく、この場合、点検箇所学習部１０６は、撮像された画像から検出した先端部３０１の点灯パターンに応じた処理を特定する。

【0040】

そして、点検箇所学習部１０６は、特定した点検箇所を示す点検箇所情報１１３を記憶部１１に記録する。点検箇所情報１１３には、飛行体１が次回以降に点検経路を飛行する際に、当該点検箇所を自動で検出できるような情報が含まれていればよい。例えば、点検箇所学習部１０６は、点検箇所を撮像した画像の他、点検箇所の位置情報を含む点検箇所情報１１３を生成し、記録してもよい。また、点検箇所で行う処理を特定していた場合、該処理を示す情報も点検箇所情報１１３に含めてもよい。

【0041】

なお、作業指示スティック３００は、飛行体１に対する任意の指示を行う際に使用できる。例えば、飛行体１は、作業指示スティック３００が指し示す指示対象物を撮像する処理や、指示対象物の状態を検出する処理を行ってもよい。このような処理は、制御部１０に、撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部を追加することによって実現可能である。なお、状態の検出は、例えば、飛行体１にセンサを搭載することによって実現可能である。

【0042】

また、点検箇所学習部１０６は、飛行経路に沿って飛行中の飛行体１からの撮像画像に写っている被写体の中からユーザが指定した指示対象物を点検箇所として学習してもよい。指示対象物の指定方法は特に限定されない。例えば、飛行体１は、撮像部１２で撮像した画像をユーザの所持するタブレット端末等の端末装置に送信し、送信した画像から指示対象物を指定させてもよい。この場合、上記端末装置は、飛行体１から受信した上記画像を表示して、ユーザによる指示対象物の指定操作（例えば、表示している画像において）を受け付け、指定された位置（画像上の位置）を飛行体１に通知する。これにより、飛行体１の点検箇所学習部１０６は、ユーザが指定した指示対象物を特定することができる。また、上記端末装置は、飛行体１から受信した上記画像から指示対象物の候補となる物体を検出し、それら候補をユーザに提示して指示対象物を選択させてもよい。物体検出は、例えば公知の画像認識技術を用いることにより実現できる。この場合、上記端末装置はユーザの選択操作を受け付けて、選択された指示対象物を飛行体１に通知し、点検箇所学習部１０６はこの通知からユーザが指定した指示対象物を特定する。なお、指示対象物は、飛行体１が例えば撮像やセンサによるセンシング等の所定の処理を行う対象となるものであればよく、点検箇所に限られない。このような所定の処理は、上述のように処理実行部を設け、該処理実行部に実行させればよい。

【0043】

〔自律飛行時の目標検出と位置特定〕
飛行制御部１０３は、撮像画像における目標物（所定の検出対象物）の写り方と、制御対応情報１１２に含まれる撮像画像（経路画像）における目標物の写り方の相違に基づいて、上記撮像画像が撮像された位置まで飛行体１を飛行させる。目標物は、飛行経路の複数個所に配置されており、自律飛行における目印となる。つまり、飛行体１は、各目標物を辿ることにより、飛行経路に沿って飛行することができる。

【0044】

このような自律飛行を行う前提として、予め、上記目標物を所定の基準位置から飛行体１に撮像させておく。これについて図４に基づいて説明する。図４は、基準位置から目標物を撮像した基準画像の例を示す図である。なお、図４の（ａ）（ｂ）では、高さ方向をＺ、目標物Ｂ１の正面方向をＸ、ＺとＸに垂直な方向をＹとしている。後述の図５から図７も同様である。

【0045】

図４の例では、目標物Ｂ１は正面視で正方形状の物体である。目標物Ｂ１は、点検対象の施設に含まれるモニタや計器、配管等の設備要素の１つであってもよいし、位置検出のために配置された標識であってもよい。後述の目標物Ｂ２～Ｂ５も同様である。図４の例では、同図の（ａ）（ｂ）に示すように、この目標物Ｂ１から距離Ｄ１だけ離れた、床面から高さＨ１の位置（基準位置）を飛行（ホバリング）している飛行体１に目標物Ｂ１を撮像させている。この状態では、飛行体１は、目標物Ｂ１の真正面に位置している。

【0046】

上記の撮像によって得られた撮像画像である基準画像Ｃ１を同図の（ｃ）に示している。基準画像Ｃ１の中央部には、目標物Ｂ１が写っている。上述のように、正面視で正方形状の目標物Ｂ１を正面から撮像しているので、基準画像Ｃ１に写る目標物Ｂ１も正方形状（幅ｗ１＝高さｈ１）である。基準画像Ｃ１から、目標物Ｂ１と飛行体１の相対位置と、目標物Ｂ１の写り方（基準画像Ｃ１の画像領域において目標物Ｂ１が占める領域の形状、位置、およびサイズ）との対応関係が特定できる。

【0047】

また、飛行制御部１０３は、飛行体１が撮像した画像から目標物Ｂ１を検出できるように学習しておく。なお、目標物Ｂ１と飛行体１との位置関係によっては、撮像される画像に写る目標物Ｂ１の形状およびサイズ等が異なる場合があるので、様々な位置から目標物１Ｂを撮像した画像を教師データとして機械学習しておくことが望ましい。

【0048】

飛行体１の自律飛行時において、飛行制御部１０３は、目標物Ｂ１の外観の学習結果に基づき、飛行体１から撮像した撮像画像から目標物Ｂ１を検出する。そして、飛行制御部１０３は、検出した目標物Ｂ１の写り方から、飛行体１の現在位置と基準位置とのずれを特定し、このずれを相殺するように飛行体１を飛行させることにより、飛行体１を基準位置に移動させる。

【0049】

ここで、基準位置からのずれの特定方法について、図５から図７に基づいて説明する。図５は、図４の例と比べて離れた位置の飛行体１から目標物Ｂ１を撮像した例を示す図である。図６は、図４の例と比べてＸ軸方向およびＹ軸方向にずれた位置の飛行体１から目標物Ｂ１を撮像した例を示す図である。図７は、図４の例と比べてＺ軸方向にずれた位置の飛行体１から目標物Ｂ１を撮像した例を示す図である。

【0050】

図５の（ａ）に示す撮像画像Ｃ２においても、図４の（ｃ）の基準画像Ｃ１と同様に目標物Ｂ１が正方形状に写っている。ただし、基準画像Ｃ１と比べて、幅ｗ２および高さｈ２が小さくなっている。ずれの特定にあたり、飛行制御部１０３は、まず、上述の学習結果に基づいて撮像画像Ｃ２から目標物Ｂ１を検出する。

【0051】

次に、飛行制御部１０３は、目標物Ｂ１の撮像画像Ｃ２における形状、位置、およびサイズから、飛行体１の現在位置と基準位置とのずれを特定する。具体的には、飛行制御部１０３は、撮像画像Ｃ２において、目標物Ｂ１が中央部に写る正方形状に写っていることから、Ｚ軸方向およびＹ軸方向のずれがゼロであると特定する。

【0052】

また、飛行制御部１０３は、撮像画像Ｃ２に写る目標物Ｂ１の幅ｗ２および高さｈ２と、基準画像Ｃ１における目標物Ｂ１の幅ｗ１および高さｈ１とに基づいて、Ｘ軸方向のずれを特定する。具体的には、飛行制御部１０３は、画像Ｃ２に写る目標物Ｂ１の幅ｗ２および高さｈ２が、目標物Ｂ１から飛行体１までの距離Ｄ２に反比例するものとして、飛行体１から目標物Ｂ１までの距離Ｄ２を算出する。例えば、基準画像Ｃ１において、目標物Ｂ１の幅ｗ１および高さｈ１が各４００ピクセルで写っており、画像Ｃ２では、目標物Ｂ１の幅ｗ２および高さｈ２が各２００ピクセルで写っていたとする。この場合、飛行制御部１０３は、Ｄ２＝２×Ｄ１と算出する。

【0053】

以上の処理により、飛行制御部１０３は、図５の（ａ）の撮像画像Ｃ２から、飛行体１の現在位置が、同図の（ｂ）に示すような、基準位置から距離（Ｄ２－Ｄ１）だけＸ軸の負方向にずれた位置であると特定する。

【0054】

また、図６の（ａ）に示す撮像画像Ｃ３にも目標物Ｂ１が写っているが、図４の（ｃ）のような正方形状には写っておらず、横向きの等脚台形状に歪んで写っている。このように、目標物Ｂ１が歪んで写っている場合であっても、飛行制御部１０３は、上述の学習結果に基づいて目標物Ｂ１を検出する。

【0055】

目標物Ｂ１が歪んで写っている場合にも、飛行制御部１０３は、その形状（歪み方）、撮像画像Ｃ３における位置、およびサイズから、飛行体１の現在位置と基準位置とのずれを特定する。具体的には、飛行制御部１０３は、撮像画像Ｃ３に写る目標物Ｂ１の左辺の長さｈａ１が右辺の長さｈｂ１よりも長いことから、目標物Ｂ１の正面よりもＹ軸の負の向きにずれた位置に飛行体１が位置していると特定する。また、飛行制御部１０３は、目標物Ｂ１が撮像画像Ｃ３の中央に写っていることから、飛行体１が目標物Ｂ１の中央部に向いていると特定する。また、飛行制御部１０３は、目標物Ｂ１の上辺と下辺の長さが等しいことから、Ｚ軸方向のずれはゼロであると特定する。

【0056】

そして、以上の特定結果から、飛行制御部１０３は、飛行体１の現在位置の基準位置からのずれ方が、同図の（ｂ）に示すようなずれ方であると特定する。すなわち、飛行体１の現在位置は、ＸＹ平面において基準位置からＹ軸の負方向に回動してずれた位置（この回動により撮像方向がθ１変化）であると特定する。なお、飛行体１の現在位置から目標物Ｂ１までの距離Ｄ３は、撮像画像Ｃ３における目標物Ｂ１の高さｈａ１およびｈｂ１から算出できる。

【0057】

同様に、図６の（ｃ）に示す撮像画像Ｃ４が撮像された場合、飛行制御部１０３は、飛行体１の現在位置の基準位置からのずれ方が、同図の（ｄ）に示すようなずれ方であると特定する。すなわち、飛行体１の現在位置は、ＸＹ平面において基準位置からＹ軸の正方向に回動してずれた位置（この回動により撮像方向がθ２変化）であると特定する。なお、飛行体１の現在位置から目標物Ｂ１までの距離Ｄ３は、撮像画像Ｃ３における目標物Ｂ１の高さｈａ２およびｈｂ２から算出できる。

【0058】

また、図７の（ａ）に示す撮像画像Ｃ５が撮像された場合、飛行制御部１０３は、撮像画像Ｃ５に写る目標物Ｂ１の上辺の長さｗａ１が下辺の長さｗｂ１よりも短いことから、基準位置からＺ軸の負の向きにずれた位置に飛行体１が位置していると特定する。さらに、下辺の長さｗｂ１＝ｗ１であることから、飛行体１の現在位置から当該下辺までの距離がＤ１であると特定する。また、撮像画像Ｃ５における目標物Ｂ１の位置が、基準画像Ｃ１よりも上方となっていることから、飛行体１はＺ軸の負の向きに直進したと特定する。

【0059】

そして、以上の特定結果から、飛行制御部１０３は、飛行体１の現在位置の基準位置からのずれ方が、同図の（ｂ）に示すようなずれ方であると特定する。すなわち、飛行体１の現在位置は、基準位置からＺ軸の負方向にずれた位置であり、飛行体１から目標物Ｂ１までの距離がＤ１である位置と特定する。

【0060】

同様に、図７の（ｃ）に示す撮像画像Ｃ５が撮像された場合、飛行制御部１０３は、飛行制御部１０３は、飛行体１の現在位置の基準位置からのずれ方が、同図の（ｄ）に示すようなずれ方であると特定する。すなわち、飛行体１の現在位置は、基準位置からＺ軸の正方向にずれた位置であり、飛行体１から目標物Ｂ１までの距離がＤ１である位置と特定する。

【0061】

なお、飛行制御部１０３は、目標物の写り方から飛行体１の基準位置に対する相対位置を求め、該相対位置に基づいて飛行体１を自律飛行させてもよい。例えば、飛行制御部１０３は、基準位置を原点とした座標系を設定し、撮像された目標物の写り方に基づいて、その座標系における座標値を、飛行体１の相対位置として算出してもよい。この場合、飛行制御部１０３は、算出した相対位置に基づいて自律飛行を制御する。

【0062】

また、飛行体１が、飛行体１から対象物までの距離を測定する距離計（例えばレーザや超音波を用いたもの等）を備えている場合、距離計の測定結果を補助的に用いて自律飛行を行ってもよい。例えば、飛行制御部１０３は、上述の方法で基準位置付近まで移動した後、距離計で目標物までの距離を測定し、その距離に応じて飛行体１の位置を微調整して正確に基準位置まで移動してもよい。特に、飛行体１によって計器の撮像を行う場合等には、できるだけ飛行体１を計器に接近させることが好ましく、それには精密な駆動制御が必要となる。このため、飛行制御部１０３は、撮像対象を撮像する際には、距離計で撮像対象までの距離を測定しながら、撮像対象から所定距離（撮像に適した距離）まで飛行体１を飛行させることが好ましい。

【0063】

〔飛行経路の学習〕
図８に基づいて、飛行経路の学習について説明する。図８は、飛行経路の例と、該飛行経路に沿った飛行時に撮像された画像の例と、制御対応情報１１２の例を示す図である。図８の飛行経路は、同図の（ａ）に示すように、施設Ａ２内の地点Ｐ１をスタート地点とし、ここから地点Ｐ２まで飛行して９０°右旋回し、右旋回後地点Ｐ３まで直進し、地点Ｐ３で再度９０°右旋回し、右旋回後直進して地点Ｐ４に着陸するというものである。施設Ａ２内には、目標物Ｂ２～Ｂ５がある。なお、図８において、Ｙ軸の正方向が北、Ｘ軸の正方向が西であるとする。また、図示していないが、上述のように、飛行経路の学習は、飛行経路に沿って移動する追尾対象（例えば点検員）を追尾しながら行う。

【0064】

同図の（ｂ）に示す撮像画像Ｃ７は、地点Ｐ１から離陸するときの飛行体１から撮像された画像である。撮像画像Ｃ７には施設Ａ２の南西角が写っていると共に、目標物Ｂ２が写っている。経路画像取得部１０４は、地点Ｐ１において、離陸・前進制御（飛行体１を浮上させ、前進させる制御）が行われることを検知し、その際に撮像された撮像画像Ｃ７を取得する。そして、経路学習部１０５は、撮像画像Ｃ７と離陸・前進制御とを対応付けて、制御対応情報１１２として記憶部１１に記録する。また、撮像画像Ｃ７に写っている目標物Ｂ２を示す情報も制御対応情報１１２に含めてもよい。この場合、本学習の終了後、自律飛行前に、飛行制御部１０３には、自律飛行時に撮像した撮像画像から目標物Ｂ２を検出できるように学習させておく。

【0065】

なお、撮像画像Ｃ７は、追尾制御部１０２が離陸制御を行った直後（前進させる制御を行う直前）の撮像画像としてもよいし、追尾制御部１０２が離陸制御を行うことを決定した後、駆動部１３を駆動させる前の撮像画像としてもよい。このようにして記録された制御対応情報１１２を参照することにより、撮像画像Ｃ７と同様の画像が撮像されたとき、すなわち飛行経路の学習時と同様の位置に同様の向きで飛行体１が配置されたときに飛行体１を離陸させ、前進させることができる。無論、離陸と前進とを別の制御として記録してもよい。例えば、離陸して所定の高度まで飛行体１を浮上させる制御と、所定の高度を維持した状態で飛行体１を前進させる制御とをそれぞれ記録してもよい。この場合、飛行体１を浮上させる際の画像と、前進させる際の画像とをそれぞれ取得する。

【0066】

また、同図の（ｃ）に示す撮像画像Ｃ８は、地点Ｐ２に到達し、右旋回する直前の飛行体１から撮像された画像である。撮像画像Ｃ８には施設Ａ２の南西角が写っていると共に、目標物Ｂ２が同図の（ｂ）よりも大きく写っている。経路画像取得部１０４は、地点Ｐ２において、旋回制御（飛行体１を９０°右旋回させる制御）が行われることを検知し、その際に撮像された撮像画像Ｃ８を取得する。そして、経路学習部１０５は、撮像画像Ｃ８と上記旋回制御とを対応付けて、地点Ｐ１の撮像画像Ｃ７等を含む上記制御対応情報１１２に追加する。なお、撮像画像Ｃ８は、追尾制御部１０２が離陸制御を行うことを決定した後、駆動部１３を駆動させる前の撮像画像とすればよい。

【0067】

このようにして記録された制御対応情報１１２を参照することにより、撮像画像Ｃ８と同様の画像が撮像されたタイミングで上記旋回制御を行うことができる。より詳細には、飛行制御部１０３は、まず、制御対応情報１１２に記録された撮像画像を基準画像として、飛行体１の現在位置と、基準画像の撮像位置とのずれを特定する。そして、飛行制御部１０３は、特定したずれを相殺する方向に飛行体１を飛行させ、飛行中に撮像された撮像画像と、基準画像とが一致したタイミングで上記旋回制御を行う。

【0068】

また、同図の（ｄ）に示す撮像画像Ｃ９は、地点Ｐ３に到達し、右旋回する直前の飛行体１から撮像された画像である。撮像画像Ｃ９には施設Ａ２の北西角が写っていると共に、目標物Ｂ３が写っている。経路画像取得部１０４は、地点Ｐ３において、旋回制御（飛行体１を９０°右旋回させる制御）が行われることを検知し、その際に撮像された撮像画像Ｃ９を取得する。そして、経路学習部１０５は、撮像画像Ｃ９と上記旋回制御とを対応付けて、地点Ｐ１、Ｐ２の撮像画像Ｃ７、Ｃ８等を含む上記制御対応情報１１２に追加する。また、撮像画像Ｃ９に写っている目標物Ｂ３を示す情報も制御対応情報１１２に含めてもよい。この場合、本学習の終了後、自律飛行前に、飛行制御部１０３には、自律飛行時に撮像した撮像画像から目標物Ｂ３を検出できるように学習させておく。飛行制御部１０３は、地点Ｐ２における旋回後、撮像画像Ｃ９を基準画像とすることにより、飛行体１を地点Ｐ３まで飛行させることができる。

【0069】

また、同図の（ｅ）に示す画像Ｃ１０は、地点Ｐ４に到達し、地点Ｐ４に着陸した飛行体１から撮像された画像である。撮像画像Ｃ１０には施設Ａ２の北東角が写っていると共に、目標物Ｂ４およびＢ５が写っている。経路画像取得部１０４は、地点Ｐ４において、着陸制御（飛行体１を床面まで下降させ、飛行のための駆動を停止する制御）が行われることを検知し、その際に撮像された撮像画像Ｃ１０を取得する。そして、経路学習部１０５は、撮像画像Ｃ１０と上記旋回制御とを対応付けて、地点Ｐ１～Ｐ３の撮像画像Ｃ７～Ｃ９等を含む上記制御対応情報１１２に追加する。なお、撮像画像Ｃ１０は、追尾制御部１０２が着陸制御を行った直後の撮像画像としてもよいし、追尾制御部１０２が着陸制御を行うことを決定した後、駆動部１３を駆動させる前の撮像画像としてもよい。また、撮像画像Ｃ１０に写っている目標物Ｂ４を示す情報および目標物Ｂ５を示す情報の何れかまたは両方についても制御対応情報１１２に含めてもよい。この場合、本学習の終了後、自律飛行前に、飛行制御部１０３には、自律飛行時に撮像した撮像画像から目標物Ｂ４、Ｂ５を検出できるように学習させておく。飛行制御部１０３は、地点Ｐ３における旋回後、撮像画像Ｃ１０を基準画像とすることにより、飛行体１を地点Ｐ４まで飛行させ、地点Ｐ４で着陸させることができる。

【0070】

以上のような処理により、図８の（ｆ）に示すような制御対応情報１１２が生成される。この制御対応情報１１２は、スタート地点Ｐ１から着陸地点Ｐ４までの飛行経路において、飛行体１の制御が行われた際の撮像画像と、該撮像画像に写る目標物と、当該制御とが対応付けられた情報である。

【0071】

なお、経路画像取得部１０４は、非制御時に撮像された撮像画像（例えば、制御が行われた地点間で撮像された撮像画像）についても取得してもよい。この場合、飛行制御部１０３は、自律飛行時において、該自律飛行中に撮像された撮像画像と、非制御時に撮像された上記撮像画像とが一致していなければ、一致するように飛行体１を制御することができる。これにより、さらに安定した自律飛行が可能になる。

【0072】

また、経路学習部１０５は、例えば、飛行体１の飛行速度、飛行時間、飛行方向等の、各地点間の移動態様を示す情報についても制御対応情報１１２に含めてもよい。この場合、飛行制御部１０３は、自律飛行時において、各地点間を上記移動態様で飛行体１を飛行させることができる。なお、ある地点から次の地点までの飛行における、飛行速度、飛行時間、および飛行方向が分かれば、上記次の地点まで自律飛行することは一応可能である。ただし、風などの影響により制御通りの速度、方向に飛行できないことも想定されるため、地点間の移動および各地点での制御タイミングの特定には、制御対応情報１１２に含まれる撮像画像を用いることが好ましい。

【0073】

この他にも、例えば、予め飛行経路に沿って複数種類の標識（数字、シリアル番号、記号、文字、マーク等、任意の標識であってよい）を所定の順で配置しておき、経路学習部１０５は、それらの標識とその順序とを学習してもよい。例えば、飛行経路に沿った床面や壁面、あるいは天井等に上記標識として数字を１から順に書き込んでおいてもよい。無論、飛行経路にあるもの（例えば番号、記号、文字等）を標識として利用してもよい。

【0074】

この場合、経路学習部１０５は、この数字の並びと、その並びに沿って飛行するための駆動制御の内容を記録しておく。そして、自律飛行には、飛行制御部１０３は、撮像された画像に写る数字から飛行経路における飛行体１の位置を特定し、該数字の次の数字に向けて飛行体１を飛行させるという処理を繰り返す。このような方法によっても、飛行経路に沿った自律飛行が実現できる。

【0075】

〔計器の自動読み取り〕
計器の自動読み取りについて図９に基づいて説明する。図９は、飛行体１による撮像画像の例と、サーバ２が解析する画像の例を示す図である。同図の（ａ）には飛行体１が点検対象の施設内を撮像した撮像画像Ｃ１３の例を示している。この撮像画像Ｃ１３には計器Ｄ２が写っている。飛行体１は、計器Ｄ２の計測値を読み取ることができる程度まで当該計器Ｄ２に接近し、同図の（ｂ）に示すような撮像画像Ｃ１４を撮像する。そして、データ送信制御部１０７は、計器Ｄ２を特定する情報（例えば撮像画像Ｃ１４の撮像位置を示す情報）と共に撮像画像Ｃ１４をサーバ２に送信する。

【0076】

サーバ２は、受信した撮像画像Ｃ１４を解析して計器Ｄ２が示す値を特定する。この際、サーバ２は、同図の（ｃ）に示すように撮像画像Ｃ１４を拡大した画像Ｅ１を生成してもよい。同図の（ｃ）の例では、サーバ２は、画像Ｅ１から計器Ｄ２が写っている画像領域（破線の矩形で示す）を特定している。サーバ２は、この画像領域から計器Ｄ２の指針と目盛を検出し、それらの位置関係から計器Ｄ２が示す値を特定する。なお、指針と目盛の位置関係と、計器Ｄ２の示す値との対応関係については、予めサーバ２に記憶させておけばよい。なお、読み取りの対象となる計器がデジタル表示の計器であれば、サーバ２は文字認識によりその数値を読み取ればよい。

【0077】

そして、サーバ２は、特定した値を点検結果として記録する。また、サーバ２は、特定した値に応じた所定の処理を行ってもよい。例えば、飛行体１が点検員と共に飛行している場合、サーバ２は、特定した値が異常値であるか否かの判定結果を飛行体１に通知し、出力させてもよい。また、この通知は、点検員や施設の管理者の端末装置に対して行ってもよい。これにより、点検員は、点検結果を即時に認識することができるので、速やかに適切な対応を取ることができる。

【0078】

なお、上述の処理の一部は飛行体１が行うようにしてもよい。例えば、撮像画像から計器Ｄ２の指針と目盛を検出し、それらの位置関係を特定する処理までを飛行体１で行い、その位置関係に対応する数値の算出はサーバ２で行う構成としてもよい。また、飛行体１では数値の読み取りができなかった場合に、飛行体１よりも画像解析能力の高いサーバ２で数値の読み取りを行う構成としてもよい。なお、指針が揺れ動く等により計器Ｄ２の読み取りが困難である場合、サーバ２または飛行体１は、計器Ｄ２に関する設備要素の動作制御を行い、指針の揺れを小さくした上で、再度計器Ｄ２を撮像して読み取りを行ってもよい。

【0079】

〔処理の流れ（経路学習）〕
経路学習時に飛行体１が行う処理の流れを図１０に基づいて説明する。図１０は、経路学習時に飛行体１が行う処理の一例を示すフローチャートである。上述のように、経路の学習は、経路に沿って移動する追尾対象を追尾しながら行う。また、図１０には示していないが、追尾中においては、撮像制御部１０１により飛行体１の周囲が常時撮像され、撮像された画像が撮像画像１１１として記憶部１１に記憶されていく。

【0080】

Ｓ１において、追尾制御部１０２は、追尾対象の追尾を開始する。具体的には、追尾制御部１０２は、追尾対象を検出すると共に、検出した追尾対象に追従するように駆動部１３を駆動する。

【0081】

追尾中のＳ２において、経路画像取得部１０４は、追尾制御部１０２が駆動部１３の駆動制御を実行するか否かを判定する。ここで経路画像取得部１０４が、駆動制御が実行されると判定した場合（Ｓ２でＹＥＳ）、Ｓ３の処理に進む。一方、駆動制御は実行されないと判定した場合（Ｓ２でＮＯ）、Ｓ５の処理に進む。

【0082】

Ｓ３において、経路画像取得部１０４は、駆動制御が行われる際に飛行体１から当該飛行体１の周囲を撮像した撮像画像（経路画像）を取得する。撮像画像の取得については、図８に基づいて説明した通りであるから説明を繰り返さない。

【0083】

Ｓ４において、経路学習部１０５は、Ｓ３で取得された撮像画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を生成し、これを制御対応情報１１２として記憶部１１に記録する。

【0084】

Ｓ５において、点検箇所学習部１０６は、撮像画像１１１を解析して所定の指示体の検出を試みる。なお、所定の指示体は、例えば図３に示した作業指示スティック３００であってもよい。ここで点検箇所学習部１０６が、指示体を検出した場合（Ｓ５でＹＥＳ）、Ｓ６の処理に進む。一方、指示体が検出されなかった場合（Ｓ５でＮＯ）、Ｓ８の処理に進む。

【0085】

Ｓ６において、点検箇所学習部１０６は、Ｓ５で検出した指示体が指し示す点検箇所を特定する。そして、続くＳ７において、点検箇所学習部１０６は、特定した上記点検箇所を示す点検箇所情報１１３を記憶部１１に記録する。なお、点検箇所の特定方法および点検箇所情報１１３については図３に基づいて説明した透りであるから説明を繰り返さない。

【0086】

Ｓ８において、追尾制御部１０２は、追尾を終了するか否かを判定する。追尾を終了する条件は予め定めておけばよい。例えば、ビーコンを用いた追尾を行う場合、ビーコン信号が検出できなくなったときに追尾を終了すると判定してもよい。この場合、追尾対象が人であれば、その人が、経路の学習を終了させたいときにビーコン信号の発信を停止させる操作を行えばよい。ここで追尾を終了すると判定した場合（Ｓ８でＹＥＳ）、追尾制御部１０２は飛行体１を着陸させると共に、撮像制御部１０１に指示して撮像を終了させ、これにより図示の処理は終了する。一方、追尾を終了しないと判定した場合（Ｓ８でＮＯ）、処理はＳ２に戻り、経路の学習が継続される。

【0087】

〔処理の流れ（自律飛行）〕
自律飛行時に飛行体１が行う処理の流れを図１１に基づいて説明する。図１１は、自律飛行時に飛行体１が行う処理の一例を示すフローチャートである。

【0088】

Ｓ１１において、撮像制御部１０１は、撮像部１２に飛行体１の周囲の撮像を開始させ、撮像部１２が撮像した画像を撮像画像１１１として記憶部１１に記録する。また、Ｓ１２において、飛行制御部１０３は、撮像画像１１１から所定の目標物を検出する。さらに、Ｓ１３において、飛行制御部１０３は、目標物が検出された撮像画像１１１における当該目標物の写り方から、飛行体１の現在位置の基準位置からのずれを特定する。なお、基準位置は、制御対応情報１１２に含まれる撮像画像の撮像位置である。

【0089】

Ｓ１４において、飛行制御部１０３は、Ｓ１３で特定したずれに基づいて、上記基準位置に向かって飛行体１を飛行させる。より詳細には、飛行制御部１０３は、Ｓ１３で特定されたずれを相殺する方向に飛行体１を飛行させる。例えば、Ｓ１３において基準位置から北向きにずれていると特定された場合、飛行制御部１０３は飛行体１を南向きに飛行させる。なお、自律飛行の開始時には、離陸地点に経路の学習時と同じ向きに飛行体１を設置してもよく、この場合、飛行体１は既に基準位置にあるから、Ｓ１１の後、Ｓ１２～Ｓ１４は省略してＳ１５の処理に進み、Ｓ１５でＹＥＳと判定してＳ１６の処理に進めばよい。

【0090】

Ｓ１５において、飛行制御部１０３は、最新の撮像画像１１１と、制御対応情報１１２に記録された撮像画像とが一致したか否かを判定する。なお、これらの画像は完全に一致する必要はなく、飛行制御部１０３は、所定の基準を満たす程度に一致していれば一致したと判定すればよい。ここで一致したと判定された場合（Ｓ１５でＹＥＳ）Ｓ１６の処理に進み、一致していないと判定された場合（Ｓ１５でＮＯ）Ｓ１４の処理に戻る。

【0091】

Ｓ１６において、飛行制御部１０３は、制御対応情報１１２に従って駆動部１３の駆動制御を行う。より詳細には、飛行制御部１０３は、制御対応情報１１２において、Ｓ１５で一致していると判定された撮像画像に対応付けられている制御を実行する。

【0092】

Ｓ１７において、飛行制御部１０３は、自律飛行を終了するか否かを判定する。自律飛行を終了する条件は予め定めておけばよい。例えば、着陸の制御を行った後であれば、自律飛行を終了すると判定してもよい。ここで自律飛行を終了すると判定した場合（Ｓ１７でＹＥＳ）、飛行制御部１０３は飛行体１の飛行制御を終了すると共に、撮像制御部１０１に指示して撮像を終了させ、これにより図示の処理は終了する。一方、自律飛行を終了しないと判定した場合（Ｓ１７でＮＯ）、処理はＳ１２に戻る。この場合、Ｓ１２では、制御対応情報１１２に記録されている次の地点に対応付けられた目標物を検出する。この後、上述したＳ１３～Ｓ１６の処理により上記次の地点まで自律飛行が継続される。

【0093】

なお、Ｓ１２～Ｓ１４を省略することも可能である。この場合、飛行体１を所定の位置に所定の向きで配置する。そして、飛行制御部１０３は、飛行体１を上記所定の位置から所定の方向に向かって飛行させながら、撮像画像と最新の撮像画像１１１と、制御対応情報１１２に記録された撮像画像とが一致したか否かを判定する処理を行う。ただし、Ｓ１２～Ｓ１４を省略した場合、飛行体１の位置が制御対応情報１１２の生成時とずれたときに、飛行経路に沿った飛行を継続することが難しくなることも想定されるので、Ｓ１２～Ｓ１４の処理は行うことが好ましい。

【0094】

また、図示していないが、飛行制御部１０３は、自律飛行中において、点検箇所情報１１３が示す点検箇所に飛行体１を移動させる。点検箇所への移動は、例えば、基準位置への移動と同様に、最新の撮像画像１１１と、点検箇所情報１１３に含まれる、点検箇所を撮像した画像とが一致するように制御することによって実現可能である。点検箇所における処理が点検箇所の撮像であれば、点検箇所まで移動すればその撮像画像が撮像画像１１１として記録される。なお、記録された撮像画像１１１から、点検箇所の画像を容易に検出できるように、点検箇所を撮像した時刻を示す情報等を記録しておいてもよい。なお、点検箇所における処理は、撮像部１２による撮像に限られず、例えば点検箇所の状態をセンサ等で検出する処理であってもよい。

【0095】

〔参考例〕
本発明の参考例を図１２に基づいて説明する。図１２は、本発明の一参考例を示す図であり、飛行体１の現在位置を、当該飛行体１を外部から撮像した画像に基づいて特定する例を説明する図である。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0096】

飛行体１の現在位置は、当該飛行体１を外部から撮像した画像に基づいて特定することもできる。この場合、例えば図１２の（ａ）に示すように、飛行体１にマーカ４００を取り付けてもよい。図示のマーカ４００は、図３に示した作業指示スティック３００と同様に、球状の先端部に棒状部が接続された構成であり、棒状部が飛行体１に接続されている。マーカ４００の先端部は球状であるから、どのような角度で撮像しても円形に写るため、画像解析による検出が容易である。

【0097】

また、マーカ４００の先端部は、飛行体１の向きが特定できるような外観とすることが好ましい。例えば、飛行体１の正面方向に向く面を白、右側面方向に向く面を赤、左側面方向に向く面を緑のようにマーカ４００の先端部を塗り分けることにより、撮像画像に写ったマーカ４００の色から飛行体１の向きを特定することができる。

【0098】

図１２の（ｂ）では、飛行体１が施設Ａ４を飛行する様子を上方から描いている。施設Ａ４の四隅には、撮像装置Ｆ１～Ｆ４が配置されており、これらの撮像装置Ｆ１～Ｆ４により飛行体１およびマーカ４００が撮像される。そして、撮像装置Ｆ１～Ｆ４が撮像した撮像画像は、図示しないサーバに送信される。なお、本参考例におけるサーバは、飛行体１の駆動制御を遠隔で行う機能を備えている。

【0099】

当該サーバはそれらの撮像画像におけるマーカ４００の位置とサイズから飛行体１の現在位置を特定する。そして、サーバは、特定した現在位置に基づいて飛行体１の駆動制御を行う。

【0100】

〔実施形態２〕
飛行体１の機能の一部は、飛行体１と通信可能なサーバ（上述のサーバ２であってもよいし、他のサーバであってもよい）に持たせてもよい。例えば、経路の学習に関する機能はサーバに持たせ、飛行体１は該サーバが生成した制御対応情報１１２を用いて自律飛行するといった構成も可能である。この場合、経路画像を取得するステップと、該経路画像と駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップはサーバが実行することになる。

【0101】

また、自律飛行時の制御に関する機能をサーバに持たせてもよい。この場合、飛行体１から撮像された撮像画像を取得する撮像ステップと、制御対応情報１１２に含まれる撮像画像（経路画像）と、取得した上記撮像画像とが一致したと判定したときに、駆動制御を行う飛行制御ステップはサーバが実行することになる。この場合、飛行体１は、サーバの制御に従って飛行することになる。

【0102】

〔変形例〕
バッテリ１５に対する給電は、ユーザが手動で行ってもよいし、飛行体１が自動で行うようにしてもよい。後者の場合、例えば充電ポートを設けておき、当該充電ポートまで飛行体１が自律飛行して給電を受ける方法等が適用可能である。この場合、例えば電磁誘導や磁界共鳴を利用した無線給電が好ましい。また、飛行体１にアンテナを搭載し、飛行経路に複数の送電アンテナを配置して、飛行体１の最寄りの送電アンテナから高周波の電波を送信することにより、飛行中の飛行体１に給電することも可能である。この他にも、例えば飛行経路が明るい場所である場合には、飛行体１に太陽電池を搭載し、太陽電池が生成した電力をバッテリ１５に蓄電するようにしてもよい。また、飛行経路における、直線部分にレーザ光や可視光の照射装置を設置し、飛行体１に受光部を設けることにより、直線飛行しながら受光し、受光により発生した電力をバッテリ１５に蓄電するようにしてもよい。

【0103】

また、飛行体１に音声認識機能と音声出力機能を設けてもよい。また、飛行体１に人物の特定機能を設けてもよい。これにより、飛行体１のユーザは人と接しているような感覚で飛行体１を使用することが可能になる。例えば、飛行体１は、特定した人物が点検員であれば、前日の点検作業の申し送りを行った上で、その人物の当日の作業内容を音声で説明することも可能である。また、飛行体１は、特定した人物が経験の浅い点検員である場合に、点検経路に沿って飛行して点検経路や点検箇所を教えながら、点検に関するガイダンス（点検の目的や方法、留意点等）を音声出力することもできる。また、点検員と飛行体１とで点検作業を行う場合、点検員の発話により、飛行体１に割り込み処理を行わせること等も可能である。また、飛行体１は、例えば、特定の人物のみ立ち入りが許可されているエリアがある場合に、そのエリアへの立ち入り可否を人物の特定結果に基づいて判定し、立ち入り可であればそのエリア内へ案内するといった動作を行うことも可能である。

【0104】

また、飛行体１の他の用途として、例えば施設内の警備や点検員等の作業の見守りが挙げられる。警備を行う場合、飛行体１は、所定の飛行経路に沿って飛行しながら撮像を行い、学習時にはなかった障害物等を検知したときに所定の管理者に報知してもよい。また、異常の有無の判定には、作業予定を示すデータ等を利用してもよい。これにより、人が倒れている等の施設内の異常を管理者に早期に発見させることができる。また、見守りを行う場合、飛行体１は、見守り対象者とその周囲を撮像した画像から、見守り対象者が危険な場所に接近していることを検知したときに見守り対象者に報知してもよい。これにより、見守り対象者に注意喚起し、事故の発生を未然に防ぐことができる。

【0105】

また、飛行体１が撮像した撮像画像には、点検経路や点検箇所が写っているから、この撮像画像を点検員の教育コンテンツとして利用することもできる。また、この場合、点検箇所等に関連する情報を上記撮像画像に重畳して表示させてもよい。例えば、配管を流れる流体の流速、流動方向、および該流体が何であるか等を示す情報を表示させてもよく、これにより点検の意義を点検員により深く理解してもらうことが可能になる。

【0106】

〔ソフトウェアによる実現例〕
飛行体１の制御ブロック（特に制御部１０に含まれる各部）、並びにサーバ２の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0107】

後者の場合、飛行体１およびサーバ２は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0108】

〔付記事項〕
本発明の一態様に係る飛行体は、駆動制御に従って飛行する飛行体であって、飛行経路を学習するために当該飛行経路に沿って飛行する場合において、当該飛行経路に沿って飛行するための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得する経路画像取得部と、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する経路学習部と、を備えている。

【0109】

上記の構成によれば、所定の飛行経路に沿って飛行している飛行体の駆動制御が行われる際に撮像した経路画像と、駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録する。この制御対応情報を用いることにより、上記飛行体が上記飛行経路を飛行するときに、記録された経路画像と同様の画像が撮像された際に、当該経路画像と対応付けられた制御情報の示す駆動制御を行うことができる。つまり、上記制御対応情報を参照することにより、該制御対応情報を記録したとき、すなわち飛行体が過去に上記飛行経路に沿って飛行したときと同様のタイミングで飛行体の駆動制御を行うことができる。よって、上記の構成によれば、ＧＰＳや無線信号の発信機等を用いることなく、飛行体を所定の飛行経路に沿って自律飛行させることが可能になる。

【0110】

上記飛行体は、上記飛行経路に沿って移動する追尾対象を追尾するように上記飛行体を飛行させる追尾制御部を備えていてもよい。該構成によれば、飛行体が上記飛行経路に沿って移動する追尾対象を追尾して飛行する。また、上記飛行体は、所定の飛行経路に沿って飛行するにおいて、上述の制御対応情報を記録する。よって、上記の構成によれば、追尾対象が移動した飛行経路に沿って飛行体を自律飛行させることが可能になる。

【0111】

本発明の他の態様に係る飛行体は、飛行経路に沿って自律飛行する飛行体であって、上記飛行体から撮像された撮像画像を取得する撮像制御部と、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御部と、を備えている。

【0112】

上記の構成によれば、撮像画像が経路画像と一致したと判定したときに、当該経路画像が撮像された際に行われた駆動制御を行う。ここで、撮像画像が経路画像と一致したときの飛行体の位置は、経路画像を撮像したときの位置、すなわち過去に飛行経路に沿って飛行したときに駆動制御を行った位置である。よって、上記の構成によれば、過去に飛行経路に沿って飛行したときと同じ位置で同じ駆動制御を行うことができるので、上記飛行体は、ＧＰＳや無線信号の発信機等を用いることなく、所定の飛行経路に沿って自律飛行することができる。

【0113】

上記他の態様に係る飛行体における上記飛行制御部は、上記撮像画像における所定の検出対象物の写り方と、上記経路画像における上記所定の検出対象物の写り方の相違に基づいて、上記経路画像が撮像された位置まで上記飛行体を飛行させてもよい。該構成によれば、ＧＰＳや無線信号の発信機等を用いることなく、経路画像が撮像された位置まで飛行体を飛行させることができる。そして、この位置まで飛行させた後は、当該経路画像と対応付けられた制御情報の示す駆動制御を行うので、所定の飛行経路に沿った飛行が可能となる。

【0114】

上記一態様に係る飛行体および上記他の態様に係る飛行体は、上記飛行経路に沿って飛行中の上記飛行体からの撮像画像から所定の指示体を検出すると共に、該指示体が指し示す指示対象物について所定の処理を行う処理実行部を備えていてもよい。

【0115】

上記の構成によれば、上記飛行体のユーザは、上記飛行経路に沿って飛行中の飛行体の周囲で、所定の指示体を用いて所望の対象物を指し示すという直感的かつ簡易な動作を行うだけで、飛行体に所定の処理を行わせることができる。所定の処理の内容は特に限定されず、例えばそこに指示対象物があることを学習する処理や、指示対象物を撮像する等の処理であってもよい。

【0116】

上記一態様に係る飛行体および上記他の態様に係る飛行体は、上記飛行経路に沿って飛行中の上記飛行体からの撮像画像に写っている被写体の中からユーザが指定した指示対象物について所定の処理を行う処理実行部を備えていてもよい。

【0117】

上記の構成によれば、上記飛行体のユーザは、撮像画像に写っている被写体の中から所望の指示対象物を指定するという直感的かつ簡易な操作を行うだけで、飛行体に所定の処理を行わせることができる。所定の処理の内容は特に限定されず、例えばそこに指示対象物があることを学習する処理や、指示対象物を撮像する等の処理であってもよい。

【0118】

本発明の一態様に係る情報記録方法は、飛行体を自律飛行させるための情報を記録する情報記録方法であって、所定の飛行経路を学習するために当該飛行経路に沿って上記飛行体を飛行させる場合において、当該飛行経路に沿って飛行させるための駆動制御が行われる際に上記飛行体から撮像された経路画像を取得するステップと、上記経路画像と、上記駆動制御の内容を示す制御情報とを対応付けた制御対応情報を記録するステップと、を含む。該情報記録方法によれば、上記一態様に係る飛行体と同様の作用効果を奏する。

【0119】

本発明の一態様に係る飛行体の制御方法は、飛行体を飛行経路に沿って自律飛行させる、飛行体の制御方法であって、上記飛行体から撮像された撮像画像を取得する撮像ステップと、上記飛行体が上記飛行経路に沿って飛行するにおいて、当該飛行体が当該飛行経路に沿って飛行するための駆動制御を行った際に当該飛行体から過去に撮像された経路画像と、上記撮像画像とが一致したと判定したときに、上記駆動制御を行う飛行制御ステップと、を含む。該制御方法によれば、上記他の態様に係る飛行体と同様の作用効果を奏する。

【0120】

上述の飛行体は、コンピュータによって実現してもよく、この場合には、コンピュータを上記飛行体が備える各部（ソフトウェア要素）として動作させることにより上記飛行体をコンピュータにて動作させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【0121】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0122】

１ 飛行体
１０１ 撮像制御部
１０２ 追尾制御部
１０３ 飛行制御部
１０４ 経路画像取得部
１０５ 経路学習部
１０６ 点検箇所学習部（処理実行部）
１１２ 制御対応情報
３００ 作業指示スティック（指示体）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】