IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社CLUEの特許一覧

<>
  • 特開-方法、システムおよびプログラム 図1
  • 特開-方法、システムおよびプログラム 図2
  • 特開-方法、システムおよびプログラム 図3
  • 特開-方法、システムおよびプログラム 図4
  • 特開-方法、システムおよびプログラム 図5
  • 特開-方法、システムおよびプログラム 図6
  • 特開-方法、システムおよびプログラム 図7
  • 特開-方法、システムおよびプログラム 図8
  • 特開-方法、システムおよびプログラム 図9
  • 特開-方法、システムおよびプログラム 図10
  • 特開-方法、システムおよびプログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023083072
(43)【公開日】2023-06-15
(54)【発明の名称】方法、システムおよびプログラム
(51)【国際特許分類】
   G08G 5/00 20060101AFI20230608BHJP
【FI】
G08G5/00 A
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021197190
(22)【出願日】2021-12-03
(71)【出願人】
【識別番号】515253083
【氏名又は名称】株式会社CLUE
(74)【代理人】
【識別番号】110002790
【氏名又は名称】One ip弁理士法人
(72)【発明者】
【氏名】中村 剛史
(72)【発明者】
【氏名】相原 章吾
【テーマコード(参考)】
5H181
【Fターム(参考)】
5H181AA26
5H181BB04
5H181BB12
5H181BB13
5H181CC03
5H181CC04
5H181CC14
5H181FF04
5H181FF13
5H181FF25
5H181FF33
5H181FF35
5H181MB04
(57)【要約】
【課題】現場での飛行体の飛行制限区域を容易に確認することができる。
【解決手段】本方法は飛行制限区域を設定し利用するためのものであり、カメラ28等により撮像されて得られる撮像画像をタッチパネル12に表示させることと、撮像画像は、カメラ28等の三次元空間における位置およびカメラ28等の姿勢に係る情報が紐付けられ、三次元空間に設定される無人飛行体20の飛行制限区域の位置に係る情報を取得することと、飛行制限区域内を飛行する無人飛行体から得られる撮像画像に、飛行制限区域に係るオブジェクトを重畳して、タッチパネル12に表示することと、を含む。
【選択図】図4

【特許請求の範囲】
【請求項1】
撮像装置により撮像されて得られる撮像画像を表示装置に表示させることと、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得することと、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示することと、
を含む、方法。
【請求項2】
請求項1に記載の方法であって、
前記撮像画像における、前記飛行体の位置を示す表示を、前記撮像画像に重畳して前記表示装置に表示する、方法。
【請求項3】
請求項1または2に記載の方法であって、
実空間上の飛行制限区域に係る情報を前記飛行体に出力する、方法。
【請求項4】
請求項3に記載の方法であって、
前記飛行体は、前記実空間上の飛行制限区域の内側の領域のみを飛行するように制御される、方法。
【請求項5】
請求項1~4のいずれか1項に記載の方法であって、
前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とに基づいて、前記飛行体に関する制御の情報を出力する、方法。
【請求項6】
請求項5に記載の方法であって、
前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とから得られる前記飛行体と前記飛行制限区域の境界との距離に基づいて、前記飛行体に関する制御の情報を出力する、方法。
【請求項7】
請求項5または6に記載の方法であって、
前記飛行体の速度情報に基づいて、前記飛行体に関する制御の情報を出力する、方法。
【請求項8】
請求項5~7のいずれか1項に記載の方法であって、
前記飛行体に関する制御は、前記表示装置による視覚的情報、触覚的情報および/または聴覚的情報の出力に関する制御を含む、方法。
【請求項9】
請求項5~8のいずれか1項に記載の方法であって、
前記飛行体に関する制御は、前記飛行体の飛行制御を含む、方法。
【請求項10】
請求項1~9のいずれか1項に記載の方法であって、
前記撮像装置は前記飛行体に積載され、または前記飛行体である、方法。
【請求項11】
表示制御に関するシステムであって、
撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
を備えるシステム。
【請求項12】
コンピュータを、
撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、方法、システムおよびプログラムに関する。
【背景技術】
【0002】
ドローン等の無人飛行体を用いた点検や撮影等のニーズが高まっている。そのため、無人飛行体を容易に操作する技術の開発が進められている。例えば、特許文献1には、タッチパネルを用いて無人飛行体を操作するための技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-85041号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
点検や撮影を行う現場においては、可能な限り飛行体を飛行させる領域を制限する作業を行うことがある。その飛行を制限する区域は、例えば無人飛行体の飛行経路等を設定する際に設定されていたとしても、実空間では視覚的に捉えることが困難である。
【0005】
本開示はこのような背景を鑑みてなされたものであり、その目的は、現場での飛行体の飛行制限区域を容易に確認することが可能な、方法、システムおよびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示によれば、撮像装置により撮像されて得られる撮像画像を表示装置に表示させることと、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得することと、前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示することと、を含む、方法が提供される。
【0007】
また、本開示によれば、表示制御に関するシステムであって、撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、を備えるシステムが提供される。
【0008】
また、本開示によれば、コンピュータを、撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、として機能させるプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、現場での飛行体の飛行制限区域を容易に確認することができる。
【図面の簡単な説明】
【0010】
図1】本開示の一実施形態に係るシステム1の概略を示す図である。
図2】同実施形態に係る情報処理端末10の構成を示すブロック図である。
図3】同実施形態に係る無人飛行体20の機能構成の一例を示すブロック図である。
図4】同実施形態に係る制御部11の機能構成を示すブロック図である。
図5】同実施形態に係るシステム1における一連の制御に係るフローチャート図である。
図6】同実施形態に係るシステム1による飛行制限区域の設定方法に係るタッチパネル12の第1の画面例を示す図である。
図7】同実施形態に係るシステム1による飛行制限区域の設定方法に係るタッチパネル12の第2の画面例を示す図である。
図8】同実施形態に係るシステム1を用いた飛行制限区域に係る情報の出力方法における一連の制御に係るフローチャート図である。
図9】同実施形態に係るシステム1による飛行制限区域に係る情報の出力方法に係るタッチパネル12の第1の画面例を示す図である。
図10】同実施形態に係るシステム1による飛行制限区域に係る情報の出力方法に係るタッチパネル12の第2の画面例を示す図である。
図11】同実施形態に係るシステム1による飛行制限区域に係る情報の出力方法に係るタッチパネル12の第3の画面例を示す図である。
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0012】
<システム概要>
図1は、本開示の一実施形態に係るシステム1の概略を示す図である。図示のように、システム1は、情報処理端末10と、無人飛行体20とを備える。本実施形態に係るシステム1は、例えば、建造物S1等を含む区域FRA1の撮影等のために用いられ得る。かかるシステム1においては、情報処理端末10を使用するユーザUが、情報処理端末10のタッチパネルに対して、無人飛行体20の飛行を制御するための操作を行う。その際に、タッチパネルには、無人飛行体20に搭載されるカメラ28により撮影される、上記の区域を含む画像が表示される。本実施形態では、例えば、タッチパネルに映る画像に重畳して、無人飛行体20の飛行制限区域の情報が表示され得る。かかる表示により、無人飛行体20が飛行可能/飛行不可能な区域を、ユーザUはタッチパネルを見ることで把握することができる。
【0013】
本実施形態に係る情報処理端末10は、いわゆるタブレット状の小型のコンピュータによって実装される。他の実施形態においては、情報処理端末10は、スマートフォンまたはゲーム機等の携帯型の情報処理端末により実現されてもよいし、パーソナルコンピュータ等の据え置き型の情報処理端末により実現されてもよい。また、情報処理端末10は、複数のハードウェアにより実現され、それらに機能が分散された構成を有してもよい。
【0014】
図2は、本実施形態に係る情報処理端末10の構成を示すブロック図である。図示のように、情報処理端末10は、制御部11及び表示部の一例であるタッチパネル12を備える。
【0015】
プロセッサ11aは、制御部11の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う演算装置である。このプロセッサ11aは、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ11cに格納されてメモリ11bに展開されたプログラムを実行して各処理を行う。
【0016】
メモリ11bは、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリ11bは、プロセッサ11aの作業領域として使用される一方、制御部11の起動時に実行されるBIOS(Basic Input/Output System)、及び各種の設定情報等が格納される。
【0017】
ストレージ11cは、プログラムや各種の処理に用いられる情報等が格納されている。例えば、建造物S1等を含む区域を撮像するための飛行体を、情報処理端末10を介してユーザが操作する場合、ストレージ11cには、かかる飛行体の飛行を制御するプログラムが格納されていてもよい。
【0018】
送受信部11dは、制御部11をインターネット網等のネットワークに接続するものであって、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。
【0019】
入出力部11eは、入出力機器が接続されるインターフェースであって、本実施形態では、タッチパネル12が接続される。
【0020】
バス11fは、接続したプロセッサ11a、メモリ11b、ストレージ11c、送受信部11d及び入出力部11eの間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
【0021】
タッチパネル12は、表示部の一例であり、取得した映像や画像が表示される表示面を備える。この表示面は、本実施形態では、表示面への接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。
【0022】
タッチパネル12の表示面には、例えば、無人飛行体20により撮像された画像が表示され得る。該表示面には、無人飛行体20に撮像された画像に重畳して、無人飛行体20の飛行制限区域に関する情報が表示され得る。また、該表示面には、無人飛行体20の飛行制御や撮像装置の制御のためのボタンやオブジェクト等が表示され得る。また、ユーザは、該表示面に表示された画像やボタン等に対して、タッチパネル12を介して入力情報を入力し得る。
【0023】
なお、本実施形態では表示部の一例としてタッチパネル12を挙げているが、本技術はかかる例に限定されない。例えば、表示部は、他のディスプレイ、モニタまたはスマートフォン等の表示機器により実現されてもよい。また、入力情報を取得するための入力装置としては、タッチパネル12以外の方法で実現されていてもよい。例えば、入力装置として、タッチパネル12の代わりに、マウス、キーボード、音声認識デバイス、視線認識デバイス等の様々な入力デバイスにより実現されていてもよい。また、タッチパネル12等の表示機器および入力装置の少なくともいずれかとは独立して、情報処理端末10が実現されてもよい。この場合、例えば、情報処理端末10は、クラウドサーバ等の一又は複数のサーバにより実現され、タッチパネル12と通信可能に設けられてもよい。
【0024】
図3は、本実施形態に係る無人飛行体20の機能構成の一例を示すブロック図である。図3に示すように、一実施形態に係る無人飛行体20は、本体21において、送受信部22、フライトコントローラ23、バッテリ24、ESC25、モータ26、プロペラ27およびカメラ28を備える。なお、無人飛行体20は飛行体の一例である。飛行体の種類は特に限定されず、例えば、図3に示すようなマルチローター式のいわゆるドローンであってもよい。
【0025】
フライトコントローラ23は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサ23Aを有することができる。
【0026】
フライトコントローラ23は、メモリ23Bを有しており、メモリ23Bにアクセス可能である。メモリ23Bは、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。
【0027】
メモリ23Bは、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。センサ類23Cから取得したデータは、メモリ23Bに直接に伝達されかつ記憶されてもよい。例えば、カメラ28で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。
【0028】
フライトコントローラ23は、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために飛行体の推進機構(モータ26等)をESC(Electric Speed Controller)25を介して制御する。制御モジュールは、カメラ28やセンサ類23C等のうち1つ以上を制御することができる。
【0029】
フライトコントローラ23は、1つ以上の外部のデバイス(例えば、情報処理端末10等の端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部22と通信可能である。例えば、送受信部22は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
【0030】
送受信部22は、カメラ28やセンサ類23Cで取得したデータ、フライトコントローラ23が生成した処理結果、所定の制御データ、情報処理端末10または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
【0031】
本実施形態によるセンサ類23Cは、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
【0032】
バッテリ24は、例えばリチウムポリマー電池等の公知のバッテリであり得る。なお、無人飛行体20を駆動させる動力は、バッテリ24等から供給される電力に限定されず、例えば内燃機関等の動力によるものであってもよい。
【0033】
カメラ28は撮像装置の一例である。カメラ28の種類は特に限定されず、例えば通常のデジタルカメラ、全天球カメラ、赤外線カメラ、サーモグラフィ等のイメージセンサ等であってもよい。カメラ28は、本体21と不図示のジンバル等により独立変位可能に接続されていてもよい。
【0034】
図4は、本実施形態に係る制御部11の機能構成を示すブロック図である。図4に示すように、制御部11は、マップ取得部111、画像取得部112、表示制御部113、入力情報取得部114、飛行制限区域決定部115、座標変換部116および出力制御部117を備える。これらの各機能部は、プロセッサ11aがストレージ11cに記憶されているプログラムをメモリ11bに読み出して実行することにより実現され得る。また、マップ情報118は、例えばストレージ11cや外部のストレージまたはクラウドサーバ等に格納され得る。
【0035】
マップ取得部111は、マップ情報118を取得する機能を有する。マップ情報118は、マップに係る情報を有する。マップに係る情報とは、例えば、地図や航空写真(無人飛行体20により撮像されるものを含んでも良い)に、位置情報(経度情報、緯度情報および高度情報の少なくともいずれかを含む)が関連付けられている情報である。かかるマップ情報118は、地理的な情報だけでなく、構造物や区域の種類(住宅、公園、公共施設、商業施設、工業施設、河川等)の情報を含んでいてもよい。マップ情報118は、例えば、地図に係るサービスが提供するAPI(Application Programming Interface)を用いて取得されるものであってもよい。この場合、例えばユーザは、マップが表示されるタッチパネル12に対する入力により飛行制限区域を設定すべき場所を探索する操作を行うことで、マップ情報118が適宜更新されていてもよい。取得したマップ情報118は、表示制御部113に出力される。
【0036】
画像取得部112は、無人飛行体20が撮像した画像の情報を取得する機能を有する。画像取得部112は、無人飛行体20の搭載するカメラ28が撮像した画像を適宜取得する。取得する画像は、リアルタイムで得られる動画像であってもよいし、任意のタイミングで撮像された静止画像であってもよい。取得した画像の情報は、表示制御部113に出力される。なお、かかる画像の情報には、撮影時の無人飛行体20の位置情報(経度情報、緯度情報および高度情報の少なくともいずれかを含む)や、姿勢情報(カメラ28および/または無人飛行体20の姿勢の角度、向き等の情報)が含まれうる。なお、画像には必ずしもかかる情報が含まれていなくてもよい。例えば、システム1は、ある撮像画像を撮像したときの位置情報、姿勢情報等を含む飛行パラメータの情報を取得してもよい。その場合に、システム1は、撮像画像と、かかる飛行パラメータの情報とを紐づけてもよい。
【0037】
表示制御部113は、取得した画像や情報をタッチパネル12に表示させる機能を有する。また、表示制御部113は、本システム1を利用するユーザに情報を提供するための、およびユーザによる操作に基づく入力情報を取得するためのボタンやオブジェクト、テキスト等の情報を前記画像に含めて表示させる機能を有する。また、後述する入力情報取得部114により得られた入力情報に基づく表示をタッチパネル12に表示させるための機能も有し得る。
【0038】
例えば、表示制御部113は、取得したマップ情報118に係るマップを表示する機能を有し得る。これによりタッチパネル12にはマップが表示される。また、表示制御部113は、画像取得部112が取得した撮像画像を表示する機能を有し得る。
【0039】
入力情報取得部114は、タッチパネル12に表示された画像に対する操作に基づいて生成される入力情報を取得する機能を有する。ここでいう入力情報は、例えば、タッチパネル12に表示された画像上の位置に関する情報を含む。画像上の位置とは、例えば、該画像を構成する画素の位置である。すなわち、入力情報には、ユーザが画像上のどの位置に対する操作を行ったかを示す情報が含まれる。このような操作として、例えば、タップ、タッチ、スワイプ、スライド等の操作が含まれる。
【0040】
このような入力情報は、例えば、飛行制限区域の設定に係る入力情報を含みうる。詳しくは後述するように、飛行制限区域の設定に係る入力情報は、例えば、タッチパネル12に無人飛行体20が飛行し得る区域がマップ上に表示されている場合、無人飛行体20の飛行制限区域に対応する指定領域を該マップに対して設定する操作により生成される情報(指定領域情報)である。かかる入力情報は、例えば、飛行制限区域の登録、変更または削除に関する情報を含みうる。
【0041】
また、入力情報は、無人飛行体20の飛行を制御するための入力情報を含みうる。例えば、表示制御部113により無人飛行体20の飛行を操作するためのボタンやオブジェクト等がタッチパネル12に表示されている場合、無人飛行体20の飛行を制御するための入力情報は、該ボタンやオブジェクトに対する操作により生成される情報である。かかる入力情報は、例えば、無人飛行体20の離陸、着陸、上昇、下降、並進、回転および速度等にかかる制御、並びに、カメラ28の撮像処理、ズームおよび撮影方向に関する制御のための情報を含みうる。
【0042】
飛行制限区域決定部115は、飛行制限区域の設定に係る入力情報に基づいて、実空間上の飛行制限区域を決定する機能を有する。例えば、飛行制限区域決定部115は、上記の入力情報に含まれる指定領域情報に基づいて、実空間上の飛行制限区域を決定する。飛行制限区域は、例えば、マップ上の指定領域の位置情報(緯度情報および経度情報)等により特定され得る。
【0043】
座標変換部116は、飛行制限区域を、無人飛行体20により撮像された画像における位置座標に変換する機能を有する。例えば、座標変換部116は、飛行制限区域決定部115により決定された飛行制限区域の緯度情報および経度情報に基づいて、撮像画像上における飛行制限区域の座標を得る。これにより、例えば、後述するタッチパネル12に表示される撮像画像上において、飛行制限区域がどの部分にあたるのかを認識することができる。
【0044】
出力制御部117は、実空間上の飛行制限区域に係る情報を出力する機能を有する。出力制御部117による当該情報の出力態様は特に限定されない。例えば、出力制御部117は、タッチパネル12に当該情報を出力してもよい。当該情報は、例えば、無人飛行体20により撮像された撮像画像に重畳して表示されてもよい。より具体的には、出力制御部117は、当該情報をAR(拡張現実)のように、飛行制限区域の内側または外側の少なくともいずれかに対応する位置(例えば領域)を示す表示を、撮像画像に重畳してタッチパネル12に表示してもよい。
【0045】
また、出力制御部117は、無人飛行体20を移動させるためのオブジェクトを、無人飛行体20が撮像した撮像画像に重畳して表示する場合に、かかるオブジェクトの表示を制御してもよい。具体的には、出力制御部117は、かかるオブジェクトが、撮像画像における飛行制限区域の外側(すなわち飛行不可区域)に対応する位置にある場合に、移動目標位置として設定不可であることに対応する態様により前記オブジェクトの表示を制御してもよい。設定不可であることに対応する態様とは、例えば、オブジェクトの色や形状等が変化したり、移動目標の設定を完了するためのオブジェクトが選択できないような態様となることを含みうる。また、出力制御部117は、移動目標位置を設定するためのオブジェクトが、撮像画像における飛行制限区域の内側になる位置のみに、タッチパネル12に対する操作に基づいて移動可能となるようにかかるオブジェクトの表示を制御してもよい。
【0046】
また、出力制御部117は、実空間上の飛行制限区域にかかる情報を無人飛行体20に出力してもよい。例えば、出力制御部117は、飛行制限区域の内側の領域のみを飛行するように無人飛行体20を制御してもよい。これにより、例えば、無人飛行体20は、かかる飛行制限区域に対応する領域のみを飛行可能とすることができる。
【0047】
次に、本実施形態に係るシステム1を用いた飛行制限区域の設定方法の一例について、フローチャートに沿って説明する。図5は、本実施形態に係るシステム1を用いた飛行制限区域の設定方法における一連の制御に係るフローチャート図である。
【0048】
まず、マップ取得部111は、マップ情報118を取得する(ステップSQ101)。そして、取得されたマップは表示制御部113によりタッチパネル12により表示される(ステップSQ103)。
【0049】
図6は、本実施形態に係るシステム1による飛行制限区域の設定方法に係るタッチパネル12の第1の画面例を示す図である。図6に示すように、タッチパネル12の画面V1には、マップM1が表示されている。また、画面V1には、指定領域を修正するためのボタン101が表示されている。ユーザのタッチパネル12に対する操作により、かかるマップM1に対して指定領域を設定する操作が可能となっている。また、マップM1に対してスライドやピンチ等の入力を行うことにより、マップM1の表示する領域を変更または拡縮等行うことが可能である。
【0050】
次に、入力情報取得部114は、タッチパネル12に対する入力により、指定領域に係る情報を取得する(ステップSQ105)。図7は、本実施形態に係るシステム1による飛行制限区域の設定方法に係るタッチパネル12の第2の画面例を示す図である。図7に示すように、ユーザのタッチパネル12に対する操作により、マップM1上において、複数箇所のピン201が設定され得る。そして、各ピン201を頂点として、指定領域202が設定され得る。なお、指定領域202の設定方法については特に限定されず、例えば、フリーハンドにより指定領域が設定されてもよい。また、過去に同様の領域が設定されている場合、過去に設定した情報を呼び出すことにより、指定領域が設定されてもよい。指定領域202は、例えば、ピン201の指定が完了して囲われた領域が生成された時点で確定され得る。
【0051】
次に、飛行制限区域決定部115は、確定した指定領域202に基づいて、実空間上の飛行制限区域を決定する(ステップSQ107)。かかる飛行制限区域に係る情報は、例えば、一時的にストレージ13等に記憶されていてもよい。
【0052】
次に、本実施形態に係るシステム1を用いた飛行制限区域に係る情報の出力方法の一例について、フローチャートに沿って説明する。図8は、本実施形態に係るシステム1を用いた飛行制限区域に係る情報の出力方法における一連の制御に係るフローチャート図である。
【0053】
まず、無人飛行体20は、積載するカメラ28により、飛行制限区域およびその近傍を含む区域を撮像する(ステップSQ201)。かかる撮像処理により得られた撮像画像は、画像取得部112により取得される(ステップSQ203)。その際、撮像画像を撮像した際の無人飛行体20等の位置も合わせて取得される。位置に係る情報は、後述する撮像画像上の座標と実空間上の座標との間における変換処理に用いられ得る。
【0054】
次に、表示制御部113は、撮像画像をタッチパネル12に表示させる(ステップSQ205)。なお、かかる撮像画像は、無人飛行体20からリアルタイムで受信する動画像であってもよいし、静止画像であってもよい。
【0055】
次に、座標変換部116は、撮像画像上の座標と実空間座標との対応付けを行う(ステップSQ207)。かかる処理は、後述する撮像画像上への飛行制限区域に対応する領域の表示を行うための処理である。かかる撮像画像上の座標(ローカル座標)と実空間座標(グローバル座標)との対応付けは、公知の写像変換等の技術により行われ得る。
【0056】
次に、座標変換部116は、上記の対応付けに基づいて、飛行制限区域の撮像画像上の座標への変換を行う(ステップSQ209)。かかる処理により、撮像画像上における飛行制限区域に対応する領域が一意に定まる。
【0057】
次に、出力制御部117は、飛行制限区域の外側の領域をタッチパネル12に撮像画像に重畳して表示する(ステップSQ211)。
【0058】
図9は、本実施形態に係るシステム1による飛行制限区域に係る情報の出力方法に係るタッチパネル12の第1の画面例を示す図である。図9に示すように、タッチパネル12の画面V1には、無人飛行体20から撮像される撮像画像P1が表示されている。かかる撮像画像P1は、無人飛行体20のカメラ28の撮影方向を真下方向として撮像して得られるものである。そして、撮像画像P1に重畳して、飛行制限区域の内側の領域FRA10と、飛行制限区域のソロ側の領域FRA11とが、飛行制限区域の境界線203を挟んで表示されている。また、画面V1には、無人飛行体20を着陸させるためのボタン103、無人飛行体20を上下方向に移動させるためのボタン104、無人飛行体20をヨー軸まわりに回転させるためのボタン105、無人飛行体20に積載されているカメラ28の撮影方向を調整するためのオブジェクト106、カメラ28の広角/望遠の程度を調整するためのオブジェクト107、無人飛行体20の移動目標位置の位置決めのためのオブジェクト108および無人飛行体20の移動を開始するためのボタン109が、併せて表示されている。
【0059】
図9に示すように、飛行制限区域の内側の領域FRA10と、飛行制限区域の外側の領域FRA11は、他の態様により表示され得る。図9に示す例では、飛行制限区域の内側の領域FRA10に対しては何も画像処理がされていないのに対し、飛行制限区域の外側の領域FRA10に対しては、オブジェクトが表示され得る。このように、タッチパネル12上において、飛行制限区域の内外を無人飛行体20の視点から視覚的に認識することが可能となる。すなわち、ユーザ自身がタッチパネル12のインターフェースに対して設定した飛行制限区域に対応する実空間上の位置を、無人飛行体20の飛行中において視認することが可能となる。なお、無人飛行体20の移動に応じて、かかる飛行制限区域の内外の領域の表示位置も変更され得る。
【0060】
図10は、本実施形態に係るシステム1による飛行制限区域に係る情報の出力方法に係るタッチパネル12の第2の画面例を示す図である。図10に示す例では、撮像画像P2は、無人飛行体20のカメラ28の撮像方向を真下ではなく斜めとして撮像して得られるものである。このように、撮像方向が斜めである場合も、撮像画像P2上に飛行制限区域に係る情報として、飛行制限区域の内側の領域FRA10と、飛行制限区域の外側の領域FRA11とを区別して表示させることが可能である。この場合は、例えば、撮像画像に含まれる位置情報として、カメラ28の撮像角度に係る情報が含まれ得る。かかる撮像角度に係る情報に基づいて、座標変換部116が飛行制限区域の座標と撮像画像の座標との対応付けを行うことで、撮像画像P2上にかかる領域を表示させることができる。このとき、飛行制限区域の位置情報としては、所定の高度情報が含まれていてもよい。これにより、撮像画像P2上に重畳させる飛行制限区域の位置を一意に決めることができる。
【0061】
図11は、本実施形態に係るシステム1による飛行制限区域に係る情報の出力方法に係るタッチパネル12の第3の画面例を示す図である。図11に示す撮像画像P1は、図9に示した撮像画像P1と同一である。ここでは、無人飛行体20の移動目標位置の位置決めのためのオブジェクト108を、飛行制限区域の外側の領域FRA11上に移動させる操作を行った場合について説明する。図11に示すように、オブジェクト108を飛行制限区域の外側の領域FRA11上に移動させようとすると、オブジェクト108の態様が変化してオブジェクト108aのような表示が画面V1に現れる。特にオブジェクト108aは、この位置に設定できないような態様として表示され得る。これにより、ユーザはかかる区域に無人飛行体20を移動させることができないことが直感的に理解することができる。なお、他の例としては、オブジェクト108が飛行制限区域の外側の領域FRA11に含まれる位置にある場合に、無人飛行体20の移動を開始するためのボタン109が選択不可となるような態様に変更されて表示されていてもよい。これにより、ユーザが飛行制限区域の外に無人飛行体20を移動させることができなくなる。
【0062】
以上、本実施形態に係るシステム1による無人飛行体20の制御方法の一例について説明した。なお、上記実施形態においては、無人飛行体20の実際の飛行における制御方法の例について説明したが、本技術はかかる例に限定されない。例えば、VR(Virtual Reality)やAR(Augmented Reality)空間における仮想のドローンを飛行させた場合におけるシミュレーションに、本技術を用いることが可能である。かかる無人飛行体20の飛行制御による飛行挙動のシミュレーションをVRやARにより行うことで、実際に無人飛行体20を飛行させたときのカメラ28の撮像方向等を事前に確認することができる。なお、VR空間やAR空間を用いたシミュレーションの技術は、公知のものを用いることができる。
【0063】
以上説明したように、本実施形態に係るシステム1によれば、タッチパネル12に対して飛行制限区域を設定し、かかる飛行制限区域に関する情報を、タッチパネル12を介して得ることができる。例えば、飛行制限区域を、無人飛行体20が撮像する撮像画像に重畳してAR的に表示させることができる。これにより、タッチパネル12を操作するユーザは無人飛行体20の飛行可能な飛行制限区域を自身で設定し、かつその位置を直感的に把握することが可能となる。かかる表示は、例えば無人飛行体20のカメラ28の撮影角度が変わっていても、追随して撮像画像の適切な位置に飛行制限区域を示すオブジェクトを重畳して表示させることが可能である。
【0064】
なお、上記実施形態では、飛行制限区域の内側および外側をオブジェクト等によりAR的に表示するものとしたが、本技術はかかる例に限定されない。例えば、飛行制限区域の境界に無人飛行体20が近接している場合に、該境界に近接していることのアラートをタッチパネル12により出力することがなされてもよい。また、無人飛行体20が飛行制限区域の外側に飛行してしまったり、無人飛行体20が所定時間以内に飛行制限区域の境界を超えるような飛行制御がされていると判断される場合は、無人飛行体20は自動的に飛行制限区域の内側に向かうように制御されてもよい。
【0065】
以下、上記実施形態の変形例について説明する。上記実施形態では、無人飛行体20の飛行による目的地や飛行経路を設定する際に、あらかじめ定められた(または上記実施形態による機能により設定された)飛行制限区域を、無人飛行体20により撮像された撮像画像に重畳して表示させるものとした。本変形例では、無人飛行体20がかかる飛行経路等に従って飛行しながら、上記の飛行制限区域に対応する領域を、無人飛行体20により撮像画像に重畳させて表示させ続けることができる。
【0066】
本変形例に係るシステム1は、例えば、図4に記載した制御部11の構成を有してもよい。また、本変形例に係るシステム1は、図8に示したステップSQ201~ステップSQ211に示す一連の処理を、繰り返し行う。すなわち、システム1は、無人飛行体20のカメラ28により撮像されて得られる撮像画像をタッチパネル12に表示させることと、三次元空間(実空間)に設定される無人飛行体20の飛行制限区域の位置に係る情報を取得することと、カメラ28(または無人飛行体20)の三次元空間における位置およびカメラ28(または無人飛行体20)の姿勢に係る情報、および三次元空間における飛行制限区域の位置に係る情報に基づいて、タッチパネル12に、飛行制限区域を示す情報(例えば飛行制限区域の境界を示すオブジェクト)を、撮像画像上の三次元空間に対応する位置に表示させることを実行する。なお、撮像画像は、カメラ28(または無人飛行体20)の三次元空間における位置および姿勢に係る情報が紐付けられる。このように、システム1は、無人飛行体20の飛行中(移動中及びホバリング中の少なくともいずれかを含む)において、無人飛行体20による連続的又は断続的な撮像処理により得られる撮像画像および無人飛行体20の位置情報を取得して、かかる一連の処理を実行する。これにより、無人飛行体20の飛行中においても、飛行制限区域が撮像画像とともに重畳されて表示される。
【0067】
なお、タッチパネル12により表示される撮像画像および飛行制限区域の重畳画面には、無人飛行体20の位置を示すオブジェクトが表示されていてもよい。かかるオブジェクトは、例えば、無人飛行体20の平面座標系(例えば緯度および経度により定義される座標系)の位置を示すものであってもよい。これにより、無人飛行体20の自機の位置と、飛行制限区域との距離等を視覚的に把握することができる。また、撮像画像が所定の条件を満たす撮影角度(例えば斜めからの撮影)である場合には、飛行制限区域は、三次元的に表示されてもよい。この場合、飛行制限区域に係る情報は境界上の高度情報を含み、飛行制限区域の境界を示すオブジェクトは、壁面の態様で表示されるものであってもよい。これにより、高さ方向においても飛行制限区域を把握することができる。
【0068】
また、無人飛行体20が飛行制限区域の外側に飛行してしまったり、無人飛行体20が所定時間以内に飛行制限区域の境界を超えるような飛行制御がされていると判断される場合は、無人飛行体20は自動的に飛行制限区域の内側に向かうように制御されてもよい。すなわち、システム1(具体的には出力制御部117)は、無人飛行体20の自機位置の情報と飛行制限区域の情報とに基づいて、無人飛行体20の自機位置と飛行制限区域との距離を判定し、かかる距離に基づいて無人飛行体20に関する制御を行ってもよい。かかる制御は、例えば、タッチパネル12を介したアラート(音声等の聴覚的情報、振動等の触覚的情報や注意画面等の視覚的情報)を出力する制御、無人飛行体20の飛行制御(ホバリング、帰還、ルート変更等)であってもよい。どのような制御を行うかは、例えば、無人飛行体20の位置が飛行制限区域の内側であって、所定の距離以内である場合や、距離の情報と無人飛行体20の速度情報とから推定される無人飛行体20の飛行制限区域の境界への接近情報(例えば飛行制限区域を脱出する時間等の情報)とに基づくものであってもよい。
【0069】
なお、本変形例に係るシステム1は、上述した飛行制限区域の設定の処理および/または飛行制限区域に基づく飛行位置の設定の処理を行えるように構成されていてもよい。
【0070】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【0071】
本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置等により実現されてもよい。例えば、情報処理端末10の制御部およびストレージは、互いにネットワークで接続された異なるサーバにより実現されてもよい。
【0072】
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理端末10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【0073】
また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
【0074】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【0075】
なお、以下のような構成も本開示の技術的範囲に属する。
(項目1)
表示部にマップを表示することと、
前記表示部に表示される前記マップ対する操作に基づき入力される前記マップ上の指定領域に係る情報を取得することと、
前記マップ上の指定領域に基づいて実空間上の飛行体の飛行制限区域に係る情報を出力することと、
を含む方法。
(項目2)
項目1に記載の方法であって、
前記実空間上の飛行制限区域に係る情報を、前記表示部に出力する、方法。
(項目3)
項目2に記載の方法であって、
前記飛行制限区域内を飛行する前記飛行体に積載される撮像画像を前記表示部に表示することと、
前記飛行制限区域に係る情報を、前記撮像画像に重畳して前記表示部に表示することと、をさらに含む、方法。
(項目4)
項目3に記載の方法であって、
前記撮像画像における前記飛行制限区域の内側または外側の少なくともいずれかに対応する位置を示す表示を、前記撮像画像に重畳して前記表示部に表示する、方法。
(項目5)
項目4に記載の方法であって、
前記撮像画像が撮像されたときの前記実空間上の位置に係る情報に基づき、前記飛行制限区域の内側または外側の少なくともいずれかに対応する領域を前記撮像画像に重畳して表示する、方法。
(項目6)
項目2~5のいずれか1項に記載の方法であって、
前記飛行制限区域内を飛行する前記飛行体により撮像される撮像画像を前記表示部に表示することを含み、
前記飛行体の移動目標位置を設定するためのオブジェクトが、前記撮像画像を表示する表示部に表示され、
前記オブジェクトの位置が、前記撮像画像における前記飛行制限区域の外側に対応する位置である場合に、前記移動目標位置として設定不可であることに対応する態様により前記オブジェクトを前記表示部に表示する、方法。
(項目7)
項目2~6のいずれか1項に記載の方法であって、
前記飛行制限区域内を飛行する前記飛行体により撮像される撮像画像を前記表示部に表示することを含み、
前記飛行体の移動目標位置を設定するためのオブジェクトが、前記撮像画像を表示する表示部に表示され、
前記オブジェクトが、前記撮像画像における前記飛行制限区域の内側になる位置にのみ前記表示部に対する操作に基づいて移動可能となるように、前記オブジェクトの表示が制御される、方法。
(項目8)
項目1~7のいずれか1項に記載の方法であって、
実空間上の飛行制限区域に係る情報を前記飛行体に出力する、方法。
(項目9)
項目8に記載の方法であって、
前記飛行体は、前記実空間上の飛行制限区域の内側の領域のみを飛行するように制御される、方法。
(項目10)
項目1~9のいずれか1項に記載の方法であって、
前記実空間上の飛行制限区域に係る情報は、前記飛行制限区域の外側である飛行不可区域に関する情報を含む、方法。
(項目11)
飛行体の飛行制御に関するシステムであって、
表示部にマップを表示させる表示制御部と、
前記表示部に表示される前記マップ対する操作に基づき入力される前記マップ上の指定領域に係る情報を取得する入力情報取得部と、
前記マップ上の指定領域に基づいて実空間上の飛行制限区域に係る情報を出力する出力制御部と、
を備えるシステム。
(項目12)
コンピュータを、
表示部にマップを表示させる表示制御部と、
前記表示部に表示される前記マップ対する操作に基づき入力される前記マップ上の指定領域に係る情報を取得する入力情報取得部と、
前記マップ上の指定領域に基づいて実空間上の飛行体の飛行制限区域に係る情報を出力する出力制御部と、
として機能させるプログラム。
(項目13)
撮像装置により撮像されて得られる撮像画像を表示装置に表示させることと、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得することと、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示することと、
を含む、方法。
(項目14)
項目13に記載の方法であって、
前記撮像画像における、前記飛行体の位置を示す表示を、前記撮像画像に重畳して前記表示装置に表示する、方法。
(項目15)
項目13または14に記載の方法であって、
実空間上の飛行制限区域に係る情報を前記飛行体に出力する、方法。
(項目16)
項目15に記載の方法であって、
前記飛行体は、前記実空間上の飛行制限区域の内側の領域のみを飛行するように制御される、方法。
(項目17)
項目13~16のいずれか1項に記載の方法であって、
前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とに基づいて、前記飛行体に関する制御の情報を出力する、方法。
(項目18)
項目17に記載の方法であって、
前記飛行体の位置情報と、前記飛行制限区域に関する位置に係る情報とから得られる前記飛行体と前記飛行制限区域の境界との距離に基づいて、前記飛行体に関する制御の情報を出力する、方法。
(項目19)
項目17または18に記載の方法であって、
前記飛行体の速度情報に基づいて、前記飛行体に関する制御の情報を出力する、方法。
(項目20)
項目17~19のいずれか1項に記載の方法であって、
前記飛行体に関する制御は、前記表示装置による視覚的情報、触覚的情報および/または聴覚的情報の出力に関する制御を含む、方法。
(項目21)
項目17~20のいずれか1項に記載の方法であって、
前記飛行体に関する制御は、前記飛行体の飛行制御を含む、方法。
(項目22)
項目13~21のいずれか1項に記載の方法であって、
前記撮像装置は前記飛行体に積載され、または前記飛行体である、方法。
(項目23)
表示制御に関するシステムであって、
撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
を備えるシステム。
(項目24)
コンピュータを、
撮像装置により撮像されて得られる撮像画像を表示装置に表示させる表示制御部と、前記撮像画像は、前記撮像装置の三次元空間における位置および前記撮像装置の姿勢に係る情報が紐付けられ、
前記三次元空間に設定される飛行体の飛行制限区域の位置に係る情報を取得する入力情報取得部と、
前記飛行制限区域内を飛行する前記飛行体から得られる撮像画像に、前記飛行制限区域に係るオブジェクトを重畳して、前記表示装置に表示する出力制御部と、
として機能させるプログラム。
【符号の説明】
【0076】
1 システム
10 情報処理端末
11 制御部
12 タッチパネル
20 無人飛行体
28 カメラ
111 マップ取得部
112 画像取得部
113 表示制御部
114 入力情報取得部
115 飛行制限区域決定部
116 座標変換部
117 出力制御部
118 マップ情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11