特許 7351280 情報処理装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-19

(45)【発行日】2023-09-27

(54)【発明の名称】情報処理装置及び方法

(51)【国際特許分類】

   G08G 5/04 20060101AFI20230920BHJP

   G01C 21/26 20060101ALI20230920BHJP

   G08G 1/13 20060101ALI20230920BHJP

【ＦＩ】

G08G5/04 A

G01C21/26 C

G08G1/13

【請求項の数】 19

(21)【出願番号】P 2020166541

(22)【出願日】2020-09-30

(65)【公開番号】P2022057995

(43)【公開日】2022-04-11

【審査請求日】2022-08-24

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100187078

【弁理士】

【氏名又は名称】甲原 秀俊

(72)【発明者】

【氏名】宮田 亜衣

(72)【発明者】

【氏名】田中 由里香

(72)【発明者】

【氏名】長谷川 英男

(72)【発明者】

【氏名】鈴木 寛之

(72)【発明者】

【氏名】大原 克博

(72)【発明者】

【氏名】牧野 友哉

【審査官】白石 剛史

(56)【参考文献】

【文献】国際公開第２０２０／１０５１８３（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１３０９７３（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１４６５８０（ＷＯ，Ａ１）

【文献】特開２０１９－１３１３３２（ＪＰ，Ａ）

【文献】特開２０１９－１０１７６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ ５／０４

Ｇ０８Ｇ １／１３

Ｇ０１Ｃ ２１／２６

(57)【特許請求の範囲】

【請求項1】

通信部及び制御部を備える情報処理装置であって、
前記通信部は、障害物の検出に用いられる第１カメラを有する第１無人航空機、及び障害物の検出に用いられ前記第１カメラよりも検出精度が高い第２カメラを有する第２無人航空機と通信し、
前記制御部は、
前記第１無人航空機に関する所定のイベントが発生した場合、前記第２無人航空機を用いて、前記第１無人航空機が目的地へ進行する飛行経路上の対象地点における障害物を検出し、
検出された前記障害物に関する情報を用いて、前記第１無人航空機に前記障害物を迂回させる、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記第２無人航空機を用いて検出された前記障害物に関する前記情報は、前記障害物の座標データを含む、情報処理装置。

【請求項3】

請求項１又は２に記載の情報処理装置であって、
前記所定のイベントは、前記飛行経路に沿って進行中の前記第１無人航空機が前記目的地への進行を中断するという第１イベントであり、
前記対象地点は、前記第１イベントが発生したときの前記第１無人航空機の位置情報が示す地点である、情報処理装置。

【請求項4】

請求項３に記載の情報処理装置であって、
前記第１無人航空機は、前記飛行経路に沿って進行中に、前記第１カメラを用いて第１障害物が検出された一方、前記第１障害物に関連する他の障害物として予め定められた第２障害物が検出されない場合、前記目的地への進行を中断し、
前記制御部は、前記第１イベントが発生した場合、前記第２無人航空機を用いて前記対象地点における前記第２障害物を検出する、情報処理装置。

【請求項5】

請求項４に記載の情報処理装置であって、
前記第１障害物は電柱であり、前記第２障害物は電線である、情報処理装置。

【請求項6】

請求項３から５の何れか一項に記載の情報処理装置であって、
前記制御部は、前記第１無人航空機の位置情報の変化に基づいて前記第１イベントの発生を検出する、情報処理装置。

【請求項7】

請求項１又は２に記載の情報処理装置であって、
前記所定のイベントは、前記第１無人航空機の前記飛行経路上に前記対象地点が検出されるという第２イベントであり、
前記対象地点は、地図上の第１エリアよりも多くの障害物が存在する他のエリアとして予め定められた第２エリア内の地点である、情報処理装置。

【請求項8】

請求項７に記載の情報処理装置であって、
前記第１エリア及び前記第２エリアは、１台以上の車両によって撮像された車外風景の画像及び前記１台以上の車両の位置情報に基づいて決定される、情報処理装置。

【請求項9】

請求項７又は８に記載の情報処理装置であって、
前記制御部は、前記第２無人航空機を用いて検出された前記障害物に関する前記情報を用いて前記飛行経路を修正することにより、前記第１無人航空機に前記障害物を迂回させる、情報処理装置。

【請求項10】

請求項７から９の何れか一項に記載の情報処理装置であって、
前記制御部は、前記第１無人航空機が前記対象地点に到達する前に前記第２イベントの発生を検出する、情報処理装置。

【請求項11】

障害物の検出に用いられる第１カメラを備える第１無人航空機が実行する方法であって、
目的地への飛行経路に沿って進行中に前記目的地への進行を中断するという第１イベントが発生した場合、前記飛行経路上の対象地点における障害物であって第２無人航空機を用いて検出された前記障害物に関する情報を受信すること、及び
検出された前記障害物に関する前記情報を用いて前記障害物を迂回すること
を含み、
前記第２無人航空機は、障害物の検出に用いられ前記第１カメラよりも検出精度が高い第２カメラを備える、方法。

【請求項12】

請求項１１に記載の方法であって、
前記飛行経路に沿って進行中に、前記第１カメラを用いて第１障害物が検出された一方、前記第１障害物に関連する他の障害物として予め定められた第２障害物が検出されない場合、前記目的地への進行を中断することを更に含み、
前記第１無人航空機は、前記第２無人航空機を用いて検出された前記第２障害物に関する前記情報を用いて、前記第２障害物を迂回する、方法。

【請求項13】

請求項１２に記載の方法であって、
前記第１障害物は電柱であり、前記第２障害物は電線である、方法。

【請求項14】

請求項１１から１３の何れか一項に記載の方法であって、
前記第２無人航空機を用いて検出された前記障害物に関する前記情報は、前記障害物の座標データを含む、方法。

【請求項15】

請求項１１から１４の何れか一項に記載の方法であって、
前記第１イベントが発生した場合、前記第１イベントの発生を情報処理装置に通知することを更に含む、方法。

【請求項16】

障害物の検出に用いられる第２カメラを備える第２無人航空機が実行する方法であって、
第１無人航空機に関する所定のイベントが発生した場合、情報処理装置から通知された対象地点まで移動すること、
視点を変えながら前記第２カメラで前記対象地点を撮像した複数の画像を生成すること、
前記複数の画像に基づいて前記対象地点における障害物を検出すること、及び
検出された前記障害物に関する情報を用いて、前記第１無人航空機に前記障害物を迂回させること
を含み、
前記第１無人航空機は、障害物の検出に用いられ前記第２カメラよりも検出精度が低い第１カメラを備える、方法。

【請求項17】

請求項１６に記載の方法であって、
前記所定のイベントは、目的地への飛行経路に沿って進行中の前記第１無人航空機が前記目的地への進行を中断するという第１イベントであり、
前記対象地点は、前記第１イベントが発生したときの前記第１無人航空機の位置情報が示す地点である、方法。

【請求項18】

請求項１６に記載の方法であって、
前記所定のイベントは、前記第１無人航空機が目的地へ進行する飛行経路上に前記対象地点が検出されるという第２イベントであり、
前記対象地点は、地図上の第１エリアよりも多くの障害物が存在する他のエリアとして予め定められた第２エリア内の地点である、方法。

【請求項19】

請求項１８に記載の方法であって、
前記第２カメラで撮像した前記複数の画像を前記情報処理装置へ送信することを更に含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び方法に関する。

【背景技術】

【0002】

従来、ドローン等の無人航空機を制御する技術が知られている。例えば特許文献１には、荷物の配送を行うドローンを管理するドローン管理システムについて開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１３１３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、カメラが搭載された無人航空機に、当該カメラを用いて検出された周囲の障害物を回避させることが望まれている。しかしながら、無人航空機に搭載されたカメラの性能によっては、障害物を検出できない可能性がある。したがって、無人航空機を制御する技術には改善の余地があった。

【0005】

かかる事情に鑑みてなされた本開示の目的は、無人航空機を制御する技術を改善することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る情報処理装置は、
通信部及び制御部を備える情報処理装置であって、
前記通信部は、障害物の検出に用いられる第１カメラを有する第１無人航空機、及び障害物の検出に用いられ前記第１カメラよりも検出精度が高い第２カメラを有する第２無人航空機と通信し、
前記制御部は、
前記第１無人航空機に関する所定のイベントが発生した場合、前記第２無人航空機を用いて、前記第１無人航空機が目的地へ進行する飛行経路上の対象地点における障害物を検出し、
検出された前記障害物に関する情報を用いて、前記第１無人航空機に前記障害物を迂回させる。

【0007】

本開示の一実施形態に係る方法は、
障害物の検出に用いられる第１カメラを備える第１無人航空機が実行する方法であって、
目的地への飛行経路に沿って進行中に前記目的地への進行を中断するという第１イベントが発生した場合、前記飛行経路上の対象地点における障害物であって第２無人航空機を用いて検出された前記障害物に関する情報を受信すること、及び
検出された前記障害物に関する前記情報を用いて前記障害物を迂回すること
を含み、
前記第２無人航空機は、障害物の検出に用いられ前記第１カメラよりも検出精度が高い第２カメラを備える。

【0008】

本開示の一実施形態に係る方法は、
障害物の検出に用いられる第２カメラを備える第２無人航空機が実行する方法であって、
第１無人航空機に関する所定のイベントが発生した場合、情報処理装置から通知された対象地点まで移動すること、及び
視点を変えながら前記第２カメラで前記対象地点を撮像した複数の画像を生成すること
を含み、
前記第１無人航空機は、障害物の検出に用いられ前記第２カメラよりも検出精度が低い第１カメラを備える。

【発明の効果】

【0009】

本開示の一実施形態によれば、無人航空機を制御する技術が改善される。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態に係るシステムの概略構成を示すブロック図である。

【図2】第１無人航空機の概略構成を示すブロック図である。

【図3】第２無人航空機の概略構成を示すブロック図である。

【図4】情報処理装置の概略構成を示すブロック図である。

【図5】第１実施形態に係る情報処理装置の動作を示すフローチャートである。

【図6】第１障害物及び第２障害物の例を示す図である。

【図7】第１実施形態に係る第１無人航空機の動作を示すフローチャートである。

【図8】第１実施形態に係る第２無人航空機の動作を示すフローチャートである。

【図9】第２実施形態に係る情報処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について説明する。

【0012】

（第１実施形態の概要）
図１を参照して、本開示の第１実施形態に係るシステム１の概要について説明する。システム１は、第１無人航空機１０と、第２無人航空機２０と、情報処理装置３０と、を備える。システム１が備える第１無人航空機１０及び第２無人航空機２０それぞれの数は、１以上であればよい。

【0013】

第１無人航空機１０は、人が搭乗しない任意の航空機である。例えばドローン又はマルチコプタ等の航空機が、第１無人航空機１０として採用可能である。第１無人航空機１０は、自律飛行によって又は情報処理装置３０と協働することによって、飛行経路に沿って目的地へ進行可能である。例えば第１無人航空機１０は、自機に搭載されたカメラを用いて検出された障害物を迂回可能である。障害物の検出には、例えばテンプレートマッチング又は機械学習等、任意の画像認識手法が採用可能である。障害物の検出は、第１無人航空機１０が単独で実施してもよく、或いは第１無人航空機１０からネットワーク４０を介して画像を取得した情報処理装置３０が実施してもよい。本実施形態において第１無人航空機１０は、自機に取り付けられた荷物を目的地まで配送する物流サービスに利用される。しかしながら第１無人航空機１０は、物流サービスに限られず、飛行経路に沿って目的地へ進行する任意のサービスに利用可能である。

【0014】

第２無人航空機２０は、人が搭乗しない任意の航空機である。例えばドローン又はマルチコプタ等の航空機が、第２無人航空機２０として採用可能である。第２無人航空機２０は、自律飛行によって又は情報処理装置３０と協働することによって、情報処理装置３０から通知された地点まで移動可能である。第２無人航空機２０は、後述するように第１無人航空機１０よりも障害物の検出精度が高い高性能なカメラを備える。このため第２無人航空機２０は、第１無人航空機１０よりも精度良く障害物を検出し得る検出し得る。障害物の検出は、第２無人航空機２０が単独で実施してもよく、或いは第２無人航空機２０からネットワーク４０を介して画像を取得した情報処理装置３０が実施してもよい。本実施形態において第２無人航空機２０は、情報処理装置３０から通知された対象地点の障害物の検出に利用される。

【0015】

情報処理装置３０は、コンピュータ又はサーバ装置等の情報処理機能を有する装置である。本実施形態において情報処理装置３０は、例えばインターネット及び移動体通信網等を含むネットワーク４０を介して、第１無人航空機１０及び第２無人航空機２０のそれぞれと通信可能である。

【0016】

まず、第１実施形態の概要について説明し、詳細については後述する。情報処理装置３０は、第１無人航空機１０に関する所定のイベントが発生した場合、第２無人航空機２０を用いて、第１無人航空機１０が目的地へ進行する飛行経路上の対象地点における障害物を検出する。第１実施形態において所定のイベントは、飛行経路に沿って進行中の第１無人航空機１０が目的地への進行を中断するという第１イベントである。そして情報処理装置３０は、検出された障害物に関する情報を用いて、第１無人航空機１０に当該障害物を迂回させる。

【0017】

第１無人航空機１０は、例えば自機に搭載に搭載されたカメラでは障害物を精度良く検出できない等の不都合が発生した場合に、目的地への進行を中断する可能性がある。これに対して第１実施形態によれば、第１無人航空機１０は、第２無人航空機２０を用いて検出された障害物の情報を用いて、当該障害物を迂回して目的地への進行を継続可能である。このため、例えば荷物の配送を行う全ての第１無人航空機１０に、障害物の検出精度が高い高性能なカメラを搭載する必要がない。一般的に、カメラの性能が高くなるほど、カメラのコストが高くなり、又は寸法が大きくなる。したがって第１実施形態によれば、第１無人航空機１０のコスト低減又は小型化を実現しつつ、第１無人航空機１０が障害物を迂回できる確実性が向上する点で、無人航空機を制御する技術が改善される。

【0018】

次に、システム１の各構成について、詳細に説明する。

【0019】

（第１無人航空機の構成）
図２に示すように、第１無人航空機１０は、通信部１１と、記憶部１２と、測位部１３と、第１カメラ１４と、制御部１５と、を備える。

【0020】

通信部１１は、ネットワーク４０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、第１無人航空機１０は、通信部１１を介して情報処理装置３０と通信する。

【0021】

記憶部１２は、１つ以上のメモリを含む。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、第１無人航空機１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部１２に記憶された情報は、例えば通信部１１を介してネットワーク４０から取得される情報で更新可能であってもよい。

【0022】

測位部１３は、衛星測位システムに対応する受信機を含む。当該受信機は、例えばＧＰＳ（Global Positioning System）に対応するが、これに限られず、任意の衛星測位システムに対応してもよい。また測位部１３は、例えばジャイロセンサ、地磁気センサ、及び気圧センサを含む。本実施形態において第１無人航空機１０は、測位部１３を用いて自機の位置情報、自機が向いている方角、並びに自機の傾きを取得可能である。位置情報は、緯度及び経度を含む二次元座標データを含んでもよく、緯度及び経度に加えて高度を含む三次元座標データを含んでもよい。

【0023】

第１カメラ１４は、第１無人航空機１０の周囲に存在する障害物の検出に用いられる。例えば、一定の画角を有するカメラ又は全方位カメラが、第１カメラ１４として採用可能である。本実施形態において第１無人航空機１０は、第１カメラ１４を用いて検出された障害物を迂回可能である。第１カメラ１４は、後述するように第２無人航空機２０に搭載された第２カメラ２４よりも障害物の検出精度が低いカメラであってもよい。具体的には、第１カメラ１４は、第２無人航空機２０に搭載された第２カメラ２４と比較して、例えば解像度が低くてもよく、イメージセンサが小さくてもよく、レンズのＦ値が大きくてもよく、或いはレンズの枚数が少なくてもよい。また、第２無人航空機２０に搭載された第２カメラ２４のイメージセンサがＣＭＯＳ（Complementary Metal Oxide Semiconductor）である場合、第１カメラ１４のイメージセンサはＣＣＤ（Charge Coupled Device）であってもよい。

【0024】

制御部１５は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ、又は特定の処理に特化した専用プロセッサであるがこれらに限られない。プログラマブル回路は、例えばＦＰＧＡ（Field-Programmable Gate Array）であるがこれに限られない。専用回路は、例えばＡＳＩＣ（Application Specific Integrated Circuit）であるがこれに限られない。制御部１５は、第１無人航空機１０全体の動作を制御する。制御部１５によって制御される第１無人航空機１０の動作の詳細については後述する。

【0025】

（第２無人航空機の構成）
図３に示すように、第２無人航空機２０は、通信部２１と、記憶部２２と、測位部２３と、第２カメラ２４と、制御部２５と、を備える。通信部２１、記憶部２２、測位部２３、及び制御部２５のハードウェア構成は、第１無人航空機１０の通信部１１、記憶部１２、測位部１３、及び制御部１５とそれぞれ同様であるため、説明を省略する。

【0026】

第２カメラ２４は、第２無人航空機２０の周囲に存在する障害物の検出、及び情報処理装置３０から通知された対象地点の空撮に用いられる。例えば、一定の画角を有するカメラ又は全方位カメラが、第２カメラ２４として採用可能である。本実施形態において第２無人航空機２０は、第２カメラ２４を用いて検出された障害物を迂回可能である。第２カメラ２４は、第１無人航空機１０に搭載された第１カメラ１４よりも障害物の検出精度が高いカメラである。具体的には、第２カメラ２４は、第１無人航空機１０に搭載された第１カメラ１４と比較して、例えば解像度が高くてもよく、イメージセンサが大きくてもよく、レンズのＦ値が小さくてもよく、或いはレンズの枚数が多くてもよい。また、第１無人航空機１０に搭載された第１カメラ１４のイメージセンサがＣＣＤである場合、第２カメラ２４のイメージセンサはＣＭＯＳであってもよい。本実施形態において、第１無人航空機１０の第１カメラ１４では検出できない障害物が、第２無人航空機２０の第２カメラ２４を用いて検出され得る。

【0027】

（情報処理装置の構成）
図４に示すように、情報処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。

【0028】

通信部３１は、ネットワーク４０に接続する１つ以上の通信インタフェースを含む。当該通信インタフェースは、例えば有線ＬＡＮ（Local Area Network）規格又は無線ＬＡＮ規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。本実施形態において、情報処理装置３０は、通信部３１を介して第１無人航空機１０及び第２無人航空機２０と通信する。

【0029】

記憶部３２は、１つ以上のメモリを含む。記憶部３２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部３２は、情報処理装置３０の動作に用いられる任意の情報を記憶する。例えば、記憶部３２は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。記憶部３２に記憶された情報は、例えば通信部３１を介してネットワーク４０から取得される情報で更新可能であってもよい。

【0030】

制御部３３は、１つ以上のプロセッサ、１つ以上のプログラマブル回路、１つ以上の専用回路、又はこれらの組合せを含む。制御部３３は、情報処理装置３０全体の動作を制御する。制御部３３によって制御される情報処理装置３０の動作の詳細については後述する。

【0031】

（情報処理装置の動作フロー）
図５を参照して、第１実施形態に係る情報処理装置３０の動作について説明する。

【0032】

ステップＳ１００：制御部３３は、第１無人航空機１０が目的地へ進行する飛行経路を決定する。

【0033】

具体的には、制御部３３は、第１無人航空機１０の位置情報と、第１無人航空機１０に配送させる荷物の配送先を示す情報と、を取得する。第１無人航空機１０の位置情報は、例えば通信部３１を介して第１無人航空機１０から受信されてもよく、記憶部３２に記憶された第１無人航空機１０の運行計画から取得されてもよく、或いはオペレータによって入力されてもよい。荷物の配送先を示す情報は、記憶部３２に記憶された第１無人航空機１０の運行計画から取得されてもよく、或いはオペレータによって入力されてもよい。そして制御部３３は、第１無人航空機１０の位置情報が示す地点を出発地点とし、荷物の配送先を目的地とする飛行経路を決定する。

【0034】

ステップＳ１０１：制御部３３は、第１無人航空機１０を飛行経路に沿って進行させる。

【0035】

具体的には、制御部３３は、ステップＳ１００で決定された飛行経路を第１無人航空機１０に通知する。後述するように、飛行経路の通知を受信した第１無人航空機１０は、当該飛行経路に沿って目的地へ進行を開始する。ここで制御部３３は、飛行経路を進行中の第１無人航空機１０の位置情報を監視してもよい。具体的には、制御部３３は、通信部３１を介して第１無人航空機１０から位置情報を繰り返し取得する。

【0036】

ステップＳ１０２：制御部３３は、第１無人航空機１０に関する所定のイベントの発生を検出する。第１実施形態において、当該所定のイベントは、ステップＳ１００で決定された飛行経路に沿って進行中の第１無人航空機１０が目的地への進行を中断する、という第１イベントである。

【0037】

なお後述するように、第１無人航空機１０は、第１カメラ１４を用いて第１障害物が検出された一方、第１障害物に関連する他の障害物として予め定められた第２障害物が検出されない場合に、目的地への進行を中断する。例えば図６に示すように、電柱が第１障害物として定められてもよい。かかる場合、電柱の近傍に存在する蓋然性が高く且つ電柱に比べて細く視認性が低い電線が第２障害物として定められてもよい。障害物の検出精度が低い第１カメラ１４では、電柱に比べて細く視認性の低い電線を鮮明に撮像することができず、画像から電線を必ずしも検出できない。

【0038】

第１イベントの発生の検出には、任意の手法が採用可能である。例えば制御部３３は、第１無人航空機１０の位置情報の変化に基づいて、所定時間に亘って第１無人航空機１０の位置情報が実質的に変化しない場合、第１イベントの発生を検出してもよい。或いは、制御部３３は、第１イベントの発生の通知を第１無人航空機１０から受信すると、第１イベントの発生を検出してもよい。

【0039】

ステップＳ１０３：制御部３３は、第１無人航空機１０の飛行経路上の対象地点を特定する。第１実施形態において、対象地点は、第１イベントが発生したときの第１無人航空機１０の位置情報が示す地点、すなわち第１無人航空機１０が目的地への進行を中断した地点である。

【0040】

ステップＳ１０４：制御部３３は、第２無人航空機２０を用いて対象地点における障害物を検出する。

【0041】

具体的には、制御部３３は、第２無人航空機２０に対象地点を通知する。対象地点の通知には、対象地点を目的地とする飛行経路の情報が含まれてもよい。かかる場合、制御部３３は、第２無人航空機２０の位置情報を取得する。第１無人航空機１０の位置情報は、例えば通信部３１を介して第２無人航空機２０から受信されてもよく、記憶部３２に記憶された第２無人航空機２０の運行計画から取得されてもよく、或いはオペレータによって入力されてもよい。制御部３３は、第２無人航空機２０の位置情報が示す地点を出発地点とし、対象地点を目的地とする飛行経路を決定する。なお後述するように、飛行経路の通知を受信した第２無人航空機２０は、当該飛行経路に沿って対象地点まで移動し、空中で視点を変えながら第２カメラ２４で対象地点を撮像した複数の画像を生成し、当該複数の画像を情報処理装置３０へ送信する。

【0042】

そして制御部３３は、第２無人航空機２０から受信した当該複数の画像に基づいて、対象地点における障害物を検出する。対象地点における障害物は、少なくとも第２障害物を含む。換言すると制御部３３は、少なくとも第２障害物を複数の画像から検出する。かかる場合、制御部３３は、複数の画像から第２障害物だけを選択的に検出してもよい。例えば図６に示すように、第１無人航空機１０の第１カメラ１４では検出されなかった第２障害物である電線が、第２無人航空機２０の第２カメラ２４を用いて生成された当該複数の画像から検出され得る。なお第１障害物である電柱も、第２カメラ２４を用いて生成された当該複数の画像から検出され得る。

【0043】

ステップＳ１０５：制御部３３は、第２無人航空機２０を用いて検出された障害物に関する情報を生成する。

【0044】

具体的には、制御部３３は、第２無人航空機２０から受信した対象地点の複数の画像を用いて、例えば三次元測量を行うことにより障害物に関する情報を生成する。図６に示す例では、制御部３３は、少なくとも第２障害物である電線に関する情報を生成する。第１実施形態において、障害物に関する当該情報は、少なくとも当該障害物の座標データを含む。障害物の座標データは、当該障害物の位置を代表する１つの二次元又は三次元座標データであってもよく、複数の二次元又は三次元座標データを含む点群データであってもよい。或いは障害物に関する当該情報は、対象地点全体の二次元又は三次元地形データであってもよい。対象地点全体の地形データには、当該障害物の座標データが含まれる。

【0045】

ステップＳ１０６：制御部３３は、ステップＳ１０５で生成された障害物に関する情報を用いて、第１無人航空機１０に障害物を迂回させる。

【0046】

具体的には、制御部３３は、障害物に関する情報を第１無人航空機１０へ送信する。後述するように、障害物に関する情報を受信した第１無人航空機１０は、当該情報に含まれる障害物の座標データに基づいて、自機の周辺に存在する障害物を認識する。図６に示す例では、第１無人航空機１０は、第１カメラ１４では検出されなかった第２障害物である電線を、第２障害物に関する情報に含まれる電線の座標データに基づいて認識する。そして第１無人航空機１０は、認識した第２障害物である電線を迂回して、目的地への進行を継続する。

【0047】

（第１無人航空機の動作フロー）
図７を参照して、第１実施形態に係る第１無人航空機１０の動作について説明する。

【0048】

ステップＳ２００：制御部１５は、目的地への飛行経路を取得する。具体的には、制御部１５は、通信部１１を介して情報処理装置３０から飛行経路の通知を受信する。

【0049】

ステップＳ２０１：第１無人航空機１０は、制御部１５による制御に従って、飛行経路に沿って目的地へ進行を開始する。

【0050】

具体的には、制御部１５は、ステップＳ２００で取得された飛行経路に沿って目的地への進行を開始するように第１無人航空機１０の動作を制御する。第１無人航空機１０が飛行経路に沿って進行している間、制御部１５は、通信部１１を介して情報処理装置３０へ第１無人航空機１０の位置情報を繰り返し送信してもよい。

【0051】

ステップＳ２０２：制御部１５は、飛行経路に沿って進行中の第１無人航空機１０が目的地への進行を中断するという第１イベントの発生を検出する。

【0052】

具体的には、制御部１５は、第１カメラ１４を用いて第１障害物が検出された一方、第１障害物に関連する他の障害物として予め定められた第２障害物が検出されない場合に、目的地への進行を中断して、第１イベントの発生を検出する。なお、進行の中断は、第１無人航空機１０がホバリング又は旋回等により空中で待機することを含んでもよく、第１無人航空機１０が着陸して地上で待機することを含んでもよい。

【0053】

ステップＳ２０３：制御部１５は、通信部１１を介して情報処理装置３０に、第１イベントの発生を通知する。ここで制御部１５は、第１イベントが発生したときの第１無人航空機１０の位置情報を情報処理装置３０に通知してもよい。

【0054】

ステップＳ２０４：制御部１５は、飛行経路上の対象地点における障害物であって第２無人航空機２０を用いて検出された障害物に関する情報を受信する。

【0055】

上述したように、第１実施形態において対象地点は、第１イベントが発生したときの第１無人航空機１０の位置情報が示す地点、すなわち第１無人航空機１０が目的地への進行を中断した地点である。第２無人航空機２０を用いて検出された障害物には、少なくとも第２障害物（図６に示す例では、電線）が含まれる。また上述したように、障害物に関する情報は、当該障害物の座標データを含む。

【0056】

ステップＳ２０５：第１無人航空機１０は、制御部１５による制御に従って、受信された障害物に関する情報を用いて当該障害物を迂回する。具体的には、制御部１５は、障害物に関する情報に含まれる座標データが示す当該障害物を迂回するように第１無人航空機１０の動作を制御する。

【0057】

ステップＳ２０６：第１無人航空機１０は、制御部１５による制御に従って、飛行経路に沿って目的地への進行を継続する。具体的には、制御部１５は、飛行経路に沿って目的地への進行を継続するように第１無人航空機１０の動作を制御する。

【0058】

（第２無人航空機の動作フロー）
図８を参照して、第１実施形態に係る第２無人航空機２０の動作について説明する。

【0059】

ステップＳ３００：制御部２５は、目的地への飛行経路に沿って進行中の第１無人航空機１０が目的地への進行を中断するという第１イベントが発生した場合に情報処理装置３０から送信される対象地点の通知を、通信部２１を介して受信する。

【0060】

上述したように、対象地点は、第１無人航空機１０の飛行経路上の地点であって、第１イベントが発生したときの第１無人航空機１０の位置情報が示す地点である。また対象地点の通知は、対象地点を目的地とする飛行経路の情報が含まれ得る。

【0061】

ステップＳ３０１：第２無人航空機２０は、制御部２５による制御に従って、対象地点まで移動する。具体的には、制御部２５は、対象地点を目的地とする飛行経路に沿って対象地点まで移動するように第２無人航空機２０の動作を制御する。当該飛行経路は、制御部２５によって決定されてもよく、或いはステップＳ３００で受信した対象地点の通知から取得されてもよい。

【0062】

ステップＳ３０２：制御部２５は、視点を変えながら第２カメラ２４で対象地点を撮像した複数の画像を生成する。

【0063】

ステップＳ３０３：制御部２５は、通信部２１を介して情報処理装置３０へ、ステップＳ３０２で生成された複数の画像を送信する。上述したように、送信された複数の画像は、情報処理装置３０が三次元測量を行うために用いられる。

【0064】

以上述べたように、第１実施形態に係る情報処理装置３０は、第１無人航空機１０に関する所定のイベントが発生した場合、第２無人航空機２０を用いて、第１無人航空機１０が目的地へ進行する飛行経路上の対象地点における障害物を検出する。第１実施形態において所定のイベントは、飛行経路に沿って進行中の第１無人航空機１０が目的地への進行を中断するという第１イベントである。そして情報処理装置３０は、検出された障害物に関する情報を用いて、第１無人航空機１０に当該障害物を迂回させる。

【0065】

第１無人航空機１０は、障害物の検出精度が比較的低い第１カメラ１４では障害物を精度良く検出できない等の不都合が発生した場合に、目的地への進行を中断する可能性がある。これに対して第１実施形態によれば、第１無人航空機１０は、障害物の検出精度が比較的高い第２カメラ２４を備える第２無人航空機２０を用いて検出された障害物の情報を用いて、当該障害物を迂回して目的地への進行を継続可能である。このため、例えば荷物の配送を行う全ての第１無人航空機１０に、障害物の検出精度が高い高性能なカメラを搭載する必要がない。一般的に、カメラの性能が高くなるほど、カメラのコストが高くなり、又は寸法が大きくなる。したがって第１実施形態によれば、第１無人航空機１０のコスト低減又は小型化を実現しつつ、第１無人航空機１０が障害物を迂回できる確実性が向上する点で、無人航空機を制御する技術が改善される。

【0066】

（第２実施形態）
次に本開示の第２実施形態について説明する。第２実施形態に係るシステム１のハードウェア構成は第１実施形態と同様であるため、説明を省略する。上述した第１実施形態では、第１無人航空機１０に関する所定のイベントが第１イベントであり、第１無人航空機１０が飛行経路に沿って目的地へ進行中に第１イベントの発生が検出される。これに対して第２実施形態は、第１無人航空機１０に関する所定のイベントが第２イベントである点、及び、例えば第１無人航空機１０が目的地への進行を開始する前に第２イベントの発生が検出され得る点で、第１実施形態と相違する。

【0067】

第２イベントは、第１無人航空機１０の飛行経路上に対象地点が検出されるというイベントである。第２実施形態における対象地点は、上述した第１実施形態とは異なり、地図上の第１エリアよりも多くの障害物が存在する他のエリアとして予め定められた第２エリア内の任意の地点である。詳細には、第２エリアは、第１エリアよりも多くの第１障害物及び第２障害物（例えば、電柱及び電線）が多く存在し得るエリアとして予め定められる。第１エリア及び第２エリアの決定には、任意の手法が採用可能である。

【0068】

例えば、情報処理装置３０の制御部３３は、電力会社から提供された電柱の位置情報に基づいて、電柱が存在する密度が所定の基準値未満であるエリアを第１エリアとして決定し、当該密度が基準値以上であるエリアを第２エリアとして決定してもよい。

【0069】

また例えば、制御部３３は、１台以上の車両によって撮像された車外風景の画像及び当該１台以上の車両の位置情報に基づいて、第１エリア及び第２エリアを決定してもよい。。具体的には、制御部３３は、１台以上の車両から、車外風景の画像と、当該画像が撮像されたときの位置情報とを対応付けて取得する。制御部３３は、車両から取得された画像から電柱が検出されるか否かを判定する。そして制御部３３は、任意の手法で決定されたエリア毎に、例えば画像から電柱が検出される頻度が所定の基準値未満であるエリアを第１エリアとして決定し、当該頻度が基準値未満であるエリアを第２エリアとして決定してもよい。より詳細には、制御部３３は、あるエリアで撮像されたｎ枚の画像のうちｍ枚の画像から電柱が検出された場合、当該エリアで撮像された画像から電柱が検出される頻度をｍ／ｎとして算出する。そして制御部３３は、基準値ｒを用いて、ｍ／ｎ＜ｒである場合、当該エリアを第１エリアとして決定する。一方、制御部３３は、ｒ≦ｍ／ｎである場合、当該エリアを第２エリアとして決定する。しかしながら、車両から取得される画像を用いて第１エリア及び第２エリアを決定する手法は、当該例に限られない。

【0070】

（情報処理装置の動作フロー）
図９を参照して、第２実施形態に係る情報処理装置３０の動作について説明する。なお、情報処理装置３０の記憶部３２には、上述した第１エリア及び第２エリアの情報が記憶されているものとする。

【0071】

ステップＳ４００：制御部３３は、第１無人航空機１０が目的地へ進行する飛行経路を決定する。本ステップは、第１実施形態に係るステップＳ１００と同様である。

【0072】

ステップＳ４０１：制御部３３は、第１無人航空機１０の飛行経路上に対象地点（すなわち第２エリア内の地点）が存在するか否かを判定する。

【0073】

ステップＳ４０２：制御部３３は、第１無人航空機１０の飛行経路上に対象地点が検出されるという第２イベントの発生を検出する。具体的には、ステップＳ４０１において、飛行経路上に対象地点が存在すると判定された場合、制御部３３は第２イベントの発生を検出する。

【0074】

ステップＳ４０３：制御部３３は、第２無人航空機２０を用いて、第１無人航空機１０の飛行経路上の対象地点における障害物を検出する。本ステップは、第１実施形態に係るステップＳ１０４と同様である。

【0075】

ステップＳ４０４：制御部３３は、第２無人航空機２０を用いて検出された障害物に関する情報を生成する。本ステップは、第１実施形態に係るステップＳ１０５と同様である。

【0076】

ステップＳ４０５：制御部３３は、ステップＳ４００で決定された第１無人航空機１０の飛行経路を、ステップＳ４０４で生成された障害物に関する情報を用いて修正することにより、第１無人航空機１０に当該障害物を迂回させる。換言すると、制御部３３は、障害物に関する情報を用いて、第１無人航空機１０が当該障害物を迂回するように第１無人航空機１０の飛行経路を修正する。

【0077】

以上述べたように、第２実施形態に係る情報処理装置３０は、第１無人航空機１０に関する所定のイベントが発生した場合、第２無人航空機２０を用いて、第１無人航空機１０が目的地へ進行する飛行経路上の対象地点における障害物を検出する。第２実施形態において所定のイベントは、第１無人航空機１０の飛行経路上に対象地点が検出されるという第２イベントである。そして情報処理装置３０は、第１無人航空機１０の飛行経路を、検出された障害物に関する情報を用いて修正することにより、第１無人航空機１０に当該障害物を迂回させる。

【0078】

第２実施形態によれば、上述した第１実施形態と同様に、第１無人航空機１０のコスト低減又は小型化を実現しつつ、第１無人航空機１０が障害物を迂回できる確実性が向上する点で、無人航空機を制御する技術が改善される。また、上述した第１実施形態では、飛行経路に沿って目的地へ進行中の第１無人航空機１０が目的地への進行を中断するという第１イベントが発生した後に、第２無人航空機２０を用いた障害物の検出が実施される。これに対して第２実施形態では、例えば第１無人航空機１０が目的地への進行を開始するよりも前に、第２無人航空機２０を用いた障害物の検出が実施可能である。このため、第２実施形態によれば、第１無人航空機１０が目的地への進行を開始した後に進行を中断する蓋然性が低減するので、第１実施形態と比較して第１無人航空機１０が目的地の到着するまでに要する時間が短縮され得る。

【0079】

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行ってもよいことに注意されたい。したがって、これらの変形及び改変は本発明の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【0080】

例えば、上述した実施形態において情報処理装置３０が実行する一部又は全部の動作を、第１無人航空機１０又は第２無人航空機２０が実行する実施形態も可能である。具体的には、第１無人航空機１０又は第２無人航空機２０を用いた障害物の検出、及び検出された障害物に関する情報の生成は、情報処理装置３０ではなく第１無人航空機１０又は第２無人航空機２０によって実行されてもよい。

【0081】

また、情報処理装置３０の構成及び動作を、互いに通信可能な複数の情報処理装置に分散させる実施形態も可能である。

【0082】

また、上述した第１実施形態において、情報処理装置３０が障害物に関する情報を生成し、当該情報を第１無人航空機１０へ送信することによって第１無人航空機１０に障害物を迂回させる例について説明した。しかしながら、情報処理装置３０が、第２無人航空機２０を介して第１無人航空機１０に障害物を迂回させる実施形態も可能である。具体的には、情報処理装置３０は、第１イベントが発生した場合、第１無人航空機１０が目的地への進行を中断した対象地点を第２無人航空機２０に通知する。第２無人航空機２０は、対象地点に到着すると、第２カメラ２４を用いて対象地点における障害物を検出する。第２無人航空機２０は、例えばｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ－Ｆｉ（登録商標）等の近距離無線通信を介して、第１無人航空機１０との間で通信チャネルを確立する。そして第２無人航空機２０は、第１無人航空機１０の動作を一時的に制御して、第１無人航空機１０に障害物を迂回させる。かかる実施形態によれば、情報処理装置３０が障害物に関する情報（例えば、障害物の座標データ）を生成する必要がないので、情報処理装置３０の処理負担が軽減され得る。

【0083】

また、上述した第１及び第２実施形態において、情報処理装置３０は、対象地点における障害物に関する情報（例えば、対象地点の地形データ）を記憶部３２に蓄積してもよい。かかる場合、情報処理装置３０は、第１無人航空機１０の飛行経路上に存在する地点であって記憶部３２に蓄積された地点における障害物に関する情報を、飛行経路の情報とともに第１無人航空機１０へ送信する。第１無人航空機１０は、飛行経路にそって目的地へ進行中に当該地点に到達すると、当該地点における障害物に関する情報を用いて、当該障害物を迂回する。

【0084】

また、上述した第１及び第２実施形態において、第１障害物が電柱であり、第２障害物が電線である例について説明した。しかしながら、第１障害物及び第２障害物はこれらの例に限られない。例えば比較的細いひも状の障害物又は透明な障害物等、一般的に視認性の低い障害物が、第２障害物として決定されてもよい。また、第２障害物よりも視認性が高く、第２障害物の近傍に存在する蓋然性が高い障害物が、第１障害物として決定されてもよい。

【0085】

また、例えば汎用の無人航空機及び情報処理装置を、上述した実施形態に係る第１無人航空機１０、第２無人航空機２０、及び情報処理装置３０として機能させる実施形態も可能である。具体的には、上述した実施形態に係る第１無人航空機１０、第２無人航空機２０、又は情報処理装置３０の各機能を実現する処理内容を記述したプログラムを、汎用の無人航空機又は情報処理装置のメモリに格納し、プロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラム、又は当該プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。

【符号の説明】

【0086】

１ システム
１０ 第１無人航空機
１１ 通信部
１２ 記憶部
１３ 測位部
１４ 第１カメラ
１５ 制御部
２０ 第２無人航空機
２１ 通信部
２２ 記憶部
２３ 測位部
２４ 第２カメラ
２５ 制御部
３０ 情報処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】