【文献】
小林一穂 他,遠隔操縦式小型偵察システムの研究,防衛装備庁技術シンポジウム2015,日本,防衛装備庁,2015年,URL,https://www.mod.go.jp/atla/research/ats2015/image/pdf/P25.pdf
(58)【調査した分野】(Int.Cl.,DB名)
前記表示部または前記地図画像上にはさらに、前記映像の撮影から前記表示部への表示までのタイムラグである遅延時間が表示されることを特徴とする請求項1または請求項2に記載の遠隔操縦システム。
【発明を実施するための形態】
【0019】
以下、本発明の実施形態について図面を用いて説明する。以下に説明する実施形態は、移動体であるマルチコプター10を操縦装置50により遠方から監視および操縦する遠隔操縦システムSの例である。本形態のマルチコプター10は、複数の水平回転翼で飛行する小型のUAV(Unmanned aerial vehicle:無人航空機)である。マルチコプター10はこれに搭載された機器で取得した情報を操縦装置50に送信し、操縦装置50はマルチコプター10自体やこれに搭載された機器の動作を遠隔制御する。マルチコプター10および操縦装置50の組み合わせは一対一とは限らず、一台の操縦装置50で複数機のマルチコプター10を管理することや、逆に複数台の操縦装置50で一機のマルチコプター10を管理することもあり得る。
【0020】
[操縦装置]
以下、操縦装置50の構成について説明する。
図1は操縦装置50の一例を示す模式図である。
図2は操縦装置50の機能構成を示すブロック図である。
図3はマルチコプター10の機能構成を示すブロック図である。
【0021】
(モニタシステム)
操縦装置50の操縦席59は複数のモニター70(表示部)に取り囲まれている。本形態のモニター70は、操縦席59の前に配置されたモニターである前方モニター71、操縦席59の左右に配置された側方モニター72、操縦装置50の床面に配置された下方モニター73、操縦装置50の天井面に配置された上方モニター74、および、操縦席59の背後に配置された後方モニター75により構成されている。
【0022】
本形態のマルチコプター10には複数台のカメラ41(撮影手段)が搭載されている。マルチコプター10はこれらカメラ41により機体の前後、左右、および上下の映像を撮影する。操縦装置50の映像表示プログラム61は、マルチコプター10から受信したこれらの映像をその撮影方向に対応するモニター70にそれぞれ表示する。具体的には、前方モニター71にはマルチコプター10の前方の映像が広範囲に表示され、側方モニター72にはマルチコプター10の左右の映像が、下方モニター73にはマルチコプター10の真下または前方斜め下の映像が、上方モニター74にはマルチコプター10の真上または前方斜め上の映像が、後方モニター75にはマルチコプター10の後方の映像が表示される。これにより操縦者は、あたかもマルチコプター10に搭乗しているかのようにマルチコプター10の周辺環境を把握することができる。
【0023】
なお、本形態の下方モニター73は操縦装置50の床面に設置されているが、下方モニター73の位置は床面には限られず、操縦者の足元付近(操縦者が視線を下に落として見る位置)に配置されていればよい。下方モニター73は、例えばこれを見るときに操縦者の足で画面が隠れてしまわないよう、前方モニター71の下に画面を斜め上に向けて配置されてもよい。同様に、本形態の上方モニター74は操縦装置50の天井面に設置されているが、上方モニター74の位置は天井面には限られず、操縦者の頭上(操縦者が見上げる位置)に配置されていればよい。上方モニター74は、例えば操縦者が視線を真上に向けなくても確認できるよう、前方モニター71の上に、画面を斜め下に向けて配置されてもよい。
【0024】
本形態の映像表示プログラム61は、各カメラ41で撮影された映像をそれぞれ別のモニター70に表示するだけでなく、これらの映像を一つのモニター70上に並べて又は重ねて同時に表示したり、逆に一つの広画角の映像を複数のモニター70に分割して表示したりすることができる。例えば、マルチコプター10の上下、左右、および後方の映像を前方の映像の端に重ねて前方モニター71に同時に表示したり、全天球カメラや半天球カメラの映像を平面化および分割し、それぞれの撮影方向に対応するモニター70に表示したりすることができる。
【0025】
マルチコプター10に搭載されるカメラ41の台数や撮影方向は任意であり、その用途や目的に応じて適宜変更すればよい。マルチコプター10は、例えば一台のカメラ41でマルチコプター10の前方やその斜め下のみを撮影してもよく、一台のカメラ41をカメラジンバル49で操作して所望の方向を撮影してもよい。さらには、マルチコプター10にカメラ41を搭載せず、他のセンサ装置の出力値またはその加工値のみを操縦装置50に送信してもよい。
【0026】
また、マルチコプター10に搭載されるカメラ41はFPV(First Person View)方式には限られず、例えば
図4に示すように、マルチコプター10の機体から延びるカメラ用アーム42の先端にカメラ41を搭載し、マルチコプター10自身を第三者視点で撮影することも考えられる。カメラ用アーム42は、可動式のファイバースコープのようにカメラ41の撮影位置とその撮影方向を自在に変更することができる。これによりマルチコプター10の胴部11の上面や下面、周囲の環境を広く確認することができる。また、カメラ用アーム42は図示しない駆動機構によりマルチコプター10の胴部11から伸ばしたり胴部10の中に引っ込めたりすることができる。カメラ用アーム42を使用しないときにはこれを胴部11の中に収納しておくことにより、例えばマルチコプター10の墜落時にカメラ用アーム42が折損することが防止され、非常時におけるカメラ用アーム42の信頼性が高められる。
【0027】
その他、例えば地上に設置された固定カメラで撮影したマルチコプター10の撮影や、他のUAVにより撮影されたマルチコプター10の映像を操縦装置50に送信してもよい。実機の様子を外部から撮影すること(視認可能とすること)は移動体の目視外操縦において極めて有益である。このような映像をモニター70に表示することで、操縦者は、マルチコプター10の状態・状況をより客観的に把握することが可能となる。
【0028】
操縦装置50は、マルチコプター10の機体情報またはマルチコプター10が置かれた環境に関する情報である移動体情報iを受信する通信装置52(情報取得部)を有している。なお、ここでいうマルチコプター10の機体情報とはマルチコプター10の内界(機体の姿勢やヘディングの方位、バッテリー残量など)に関する情報であり、マルチコプター10が置かれた環境に関する情報とはマルチコプター10の外界(経緯度や周辺物など)に関する情報である。なおここでいう「内界」および「外界」の定義は便宜上のものであり、個々のセンサ値や取得情報がどちらに分類されても構わない。マルチコプター10の状態や状況に関するあらゆる情報が移動体情報iの候補となる。本形態の移動体情報iは、マルチコプター10が撮影した画像または映像、マルチコプター10が有するセンサ装置の出力値またはその加工値、マルチコプター10とその周辺物との位置関係を示す情報、および、マルチコプター10の現在地における風向および風速に関する情報である。
【0029】
より具体的には、本形態のマルチコプター10は、カメラ41で撮影した映像、LiDAR37(Light Detection And Ranging)で取得した周辺物の点群データやその加工値、飛行制御センサ群S等で取得した機体の向きや姿勢、飛行位置(経緯度および気圧高度)、バッテリー残量、風向風速センサ36で取得した現在地における風向および風速を示すデータを操縦装置50に送信する。
【0030】
なお、移動体情報iは必ずしもマルチコプター10のみにより取得および送信される必要はない。移動体情報iには、例えばUTM(UAV Traffic Management)システムが有する、マルチコプター10とその周辺物との位置関係に関する情報や、他のシステムで観測された気象情報、他のUAVにより撮影された第三者視点でのマルチコプター10の撮影映像などが含まれてもよい。
【0031】
本形態の映像表示プログラム61は、マルチコプター10の周辺物のうち、最もマルチコプター10の近くに存在する周辺物との距離を示す数値を映像上に表示する(例えば
図6の例を参照)。映像表示プログラム61は、周辺物との距離が危険域に近づいてきたときには、その周辺物近傍を赤く表示したり、数値を点滅させたりして操縦者の注意を促す。
【0032】
(通信遅延対策)
図5は、操縦装置50のモニター70に表示される地図画像Mの表示例を示す模式図である。
図6は、予め取得された三次元の地図データN上にマルチコプター10の現在位置を示すアイコン(図形)を重ねて表示した例である。
図7は、三次元の地図データN上でマルチコプター10の現在位置から特定の方向を見たときの地物の様子を表示した例である。
図8は、マルチコプター10が撮影した映像上にマルチコプター10の現在位置を示す立体画像を重ねて表示した例である。
【0033】
マルチコプター10の撮影制御装置40は、操縦装置50や他のシステムからの指示により、または予めプログラムされた条件に従い、カメラジンバル49を操作したり、カメラ41による撮影を開始・停止したり、カメラ41で撮影された映像データを加工したりする。
【0034】
マルチコプター10がカメラ41により撮影した映像のデータは、例えばマルチコプター10の現在地などを示すテレメトリデータに比べてデータ量が著しく多く、転送時の遅延が大きくなりやすい。つまり、モニター70に表示された映像から把握されるマルチコプター10の周辺環境と、映像確認時点でのマルチコプター10の実際の周辺環境にはずれが生じている。そのため操縦者は、映像を見ながら手動でマルチコプター10を操縦するときには、自身の見ている映像がどの程度遅延して表示されているのか意識しながら操縦する必要がある。
【0035】
本形態の撮影制御装置40は、カメラ41で撮影した映像について例えばハイパスフィルタによりエッジ検出を行い、抽出したエッジ情報のみを操縦装置50に送信したり、さらに物体検出やセグメンテーションを行って、物体の輪郭情報やセグメント情報のみを操縦装置50に送信したりすることができる。これによりマルチコプター10から操縦装置50に送信されるデータ量が抑えられ、カメラ41のよる情報がモニター70に表示されるまでのタイムラグが軽減される。また、本形態の撮影制御装置40は、映像から検出された周辺物の中にマルチコプター10との距離が所定の閾値よりも近いものがあったときに、その周辺物に関する映像情報のみを他に優先して送信することができる。これにより警戒すべき周辺物が速やかにモニター70上に表示され、操縦者がこれに対処するための猶予時間をより長く確保することができる。
【0036】
図5に示されるように、地図画像Mには、マルチコプター10のテレメトリデータから特定されるマルチコプター10の現在位置のアイコン10aと、モニター70に表示されている映像がどの位置からどの方向に向かって撮影されたものかを示すアイコン10bとが表示されている。また、アイコン10bの近傍には遅延時間(本形態の例では300msec)も表示されている。アイコン10bの撮影ポイントや遅延時間は、例えば先に受信したNMEAセンテンス(GPSデータ)のタイムスタンプや経緯度情報と、RTPヘッダ(映像データ)のタイムスタンプとを組み合わせることで特定することができる。撮影方向に関する情報は映像データに含めてもよく、テレメトリデータに含めてもよい。
【0037】
また本形態の映像表示プログラム61は、
図6に示すように、三次元の地図データN上にマルチコプター10の現在位置を示すアイコン10aを重ねて表示することもできる。
図6の例では操縦者はマルチコプター10の飛行状況をあらゆる方向から第三者視点で確認することができる。例えば物流センター間の物品の輸送など、マルチコプター10に同じ空路を繰り返し飛行させるような用途においては、その空路の地形や地物、標高を経緯度情報とともに取得しておき、またこれに地物の外観写真を重ねるなどして、空路の三次元の地図データNを予め用意しておくことができる。なお、精度が十分であれば市販の三次元地図データを用いてもよい。マルチコプター10の現在位置情報(経緯度と気圧高度)に基づいて操縦装置50側でその飛行状況を仮想的に再現することにより、少ないデータ通信量でマルチコプター10の飛行状況を把握することができる。またこれにより、マルチコプター10に搭載される周辺監視用の機器を削減することもできる。
【0038】
本形態の映像表示プログラム61はこれに加え、
図7に示すように、地図データNにおけるマルチコプター10の現在位置(経緯度と気圧高度)から特定の方向を見たときの地物の様子を仮想的に再現することもできる。ここでいう「特定の方向」は操縦者が任意に設定および変更してよい。これにより操縦者は、あたかもマルチコプター10に搭乗しているかのようにマルチコプター10の周辺環境を一人称視点で確認することができる。なお地図データNは、
図6や
図7の例のように地物の輪郭のみを示す軽量なデータとしてもよく、写真画像を使ってよりリアリティのある眺望を再現してもよい。またはこれらを切替可能としてもよい。
【0039】
本形態では、操縦者は映像表示プログラム61によりこれら第三者視点の表示と一人称視点の表示とを任意に切り替えることができ、また、これらの表示を同時にモニター70上に表示することもできる。
【0040】
さらに、本形態の映像表示プログラム61は、
図8に示すように、マルチコプター10が撮影したその進行方向の映像をモニター70に表示し、そこに、マルチコプター10のテレメトリデータから特定したマルチコプター10の現在位置を示す立体画像を重ねて表示することもできる。マルチコプター10が撮影したその進行方向の映像をモニター70に表示するときに、その映像の撮影位置から見た現在のマルチコプター10の位置を表わす画像を立体的に重ねて表示することにより、操縦者は、遅延した映像からでもマルチコプター10の現在位置を誤解なく把握することができる。
【0041】
例えばマルチコプター10がその進行方向の映像を撮影しており、映像データの遅延がそれほど大きくないときには上述のAR(Augmented Reality)的な手法(タイムラグのある進行方向の映像にマルチコプター10の現在位置を示す立体画像を重ねる方法)により遅延に対処し、進行方向の映像がないときや遅延が大きいとき、または夜間には、上述のVR(Virtual Reality)的な手法(予め取得した地図データを使ってマルチコプター10の飛行環境を仮想的に再現する方法)に切り替えてもよい。これらAR的手法またはVR的手法によりモニター70に表示する情報の種類は特に制限されず、マルチコプター10の用途やその時々において注視すべき情報に応じてマルチコプター10の各種センサ情報や事前に用意しておいた情報を追加表示すればよい。
【0042】
(操舵システム)
操縦装置50は、操縦桿であるハンドル53および昇降レバー54を有している。本形態の操縦装置50は、ハンドル53を傾倒させることによりマルチコプター10のピッチおよびロールを制御し、ハンドル53をひねることでマルチコプター10のヨーを制御する。操縦者によるハンドル53および昇降レバー54の操作は制御信号送信プログラム63によりマルチコプター10に送信される。操縦装置50と操縦者とのインタフェースは本形態のハンドル53や昇降レバー54には限られず、マルチコプター10に対してスロットル、エルロン、ラダー、エレベータの各舵を打つことができれば、例えばラジコン用のプロポや家庭用ゲーム機のコントローラのようなものであってもよい。なお、操縦装置50には一般的な入力装置であるタッチパネルやキーボード、マウス等も備えられており、これらからマルチコプター10にコマンドを送ることもできる。。
【0043】
また、本形態の操縦装置50は、操縦者がハンドル53や昇降レバー54を操作する際の抵抗量を制御する抵抗制御プログラム62を有している。抵抗制御プログラム62は、マルチコプター10の重量やマルチコプター10の現在地における風向および風速に応じて、ハンドル53や昇降レバー54を各方向へ操作するときの抵抗量を変化させる。例えばマルチコプター10の右前方からマルチコプター10に向かって強い風が吹いている場合には、操縦者を右前方へ移動させる操作は重く、左後方へ移動させる操作は軽くする。これにより操縦者Pは、マルチコプター10の性質や飛行環境をハンドル53や昇降レバー54の抵抗量から直感的に把握することができる。
【0044】
図9は、ハンドル53の操作量(操舵量)とマルチコプター10の実舵角との関係を示すグラフである。マルチコプター10のカメラ41で撮影された映像が遅延してモニター70に表示されている場合、操縦者がハンドル53等を操作してもそのレスポンスが得られるまでにはタイムラグが生じる。特に経験の浅い操縦者の場合、レスポンスが遅れることで必要以上に深く舵を打つおそれがある。操縦装置50の制御信号送信プログラム63は、映像データの遅延が大きくなるに従って、操舵量と実舵角との本来の関係(
図9のP)から舵のニュートラル付近を鈍感化し(
図9のEXP)、また、実舵角の範囲を狭める(
図9のDR)。これにより映像の遅延に伴う過剰な操舵を軽減している。
【0045】
その他、制御信号送信プログラム63は、操舵量と実舵角との正比例関係は維持しつつ、映像データの遅延量に応じて実舵角の範囲のみを狭めてもよい。つまり映像データの遅延量に応じて飛行速度の上限のみを変化させてもよい。なお、制御信号送信プログラム63による操舵量および実舵角の調節機能は、あくまで手動操縦時の機能であり、オートパイロット時には自動的に無効化されてもよい。
【0046】
(制御共有機能)
図10は、多数の操縦装置50が一拠点に集められたオペレーションセンターCの様子を示す模式図である。
図11は、二人の操縦者のペアが協働してマルチコプター10を管理する操縦装置50の模式図である。
【0047】
操縦装置50は、マルチコプター10やこれに搭載された機器の制御主体を他の操縦装置50に切り替える手段(制御切替手段)である制御切替プログラム66を有している。制御切替プログラム66は、マルチコプター10の運航に異常が発生した際や難易度の高い操縦操作が必要となった場合に、その対処が可能な操縦者にマルチコプター10の制御を委ねる機能である。またはマルチコプター10やこれに搭載された機器のコントロール(制御権)をユーザに与えたり、単に他の操縦者に業務を引き継いだりするときにもこれを用いることができる。
【0048】
ここでいう「制御主体」とは、例えばマルチコプター10を操縦する権限やこれに搭載された機器を操縦する権限、移動体情報iを取得・表示する権限などが帰属する操縦装置50または他の装置を意味している。制御切替プログラム66はこれらの権限を一括で、または部分的に他の操縦装置50やその他の装置に切り替えることができる。制御切替プログラム66は手動でも実行可能であるが、以下に説明するように自動的に実行することもできる。
【0049】
例えば
図11のような一組の操縦装置50を用いて訓練中の下級操縦者とその指導にあたる上級操縦者とがペアになってマルチコプター10の操縦にあたる場合、両方の操縦装置50のモニター70にマルチコプター10の移動体情報iを表示しておき、上級操縦者による何らかの操縦操作が行われたときには、制御切替プログラム66によりその制御主体を強制的に上級操縦者の操縦装置50に切り替えることがなど考えられる。このときに用いられる制御切替プログラム66は上級操縦者の操縦装置50のものでも下級操縦者の操縦装置50のものでもよく、またはこれら両方の操縦装置50の制御切替プログラム66が協働して行ってもよい。または後述するように、これら操縦装置50の上位装置である管理装置80が有する制御切替プログラム66により行ってもよい。同様に、例えば現地に人員を配置してマルチコプター10の操縦を支援する場合、現地の人員がプロポ等を使ってマルチコプター10を直接操縦している間は操縦装置50からの操作を無効にする(マルチコプター10の制御主体を操縦装置50から現地のプロポ等の装置に切り替える)ことも考えられる。なお、制御切替手段の実装形態はソフトウェア(プログラム)には限られず、ハードウェアで構成されてもよい。
【0050】
また、制御切替プログラム66が自動実行されるときにその切替先の操縦装置50の候補が複数ある場合、制御切替プログラム66は移動体情報iの内容に応じてその切替先を自動選択する。より具体的には、制御切替プログラム66は、操縦者の熟練度や職権を予めクラス分けし、移動体情報iから判定された異常の種類、必要とされる判断や操縦操作の難易度、または緊急度等に応じて、どの操縦装置50、すなわちどの操縦者に制御主体を切り替えるかを自動的に決定する。
【0051】
例えばマルチコプター10から機械的な異常が検知されたときには、墜落に備えてただちに安全を確保する必要があるため、高度な操縦技能と決定権とをもつ操縦者に制御主体を切り替える必要がある。また、例えば運搬・配送用の多数のマルチコプター10がその飛行コース上で渋滞しているときは、基本的にはこれらマルチコプター10の間隔や飛行速度に注意を払うだけなので経験の浅い操縦者でも対処することができる。しかしバッテリーの枯渇が懸念され始めた場合には、経路変更の判断や不時着陸の判断が可能な操縦者に切り替える必要がある。また、例えばプロペラが一部損傷した場合、揚力が十分であれば基本的には見守るだけだが、マルチコプター10の運行が困難になった場合には不時着陸の判断が可能な操縦者に切り替える必要がある。プロペラの一部が損傷して揚力が不足した場合、マルチコプター10の機体は徐々に降下するが、この際、残りのプロペラの回転域は限界に近い状態にあり、操縦には熟練した技能が要求される。また、例えばGPS受信機32の動作に異常が生じた場合、異常の内容によってはマルチコプター10が誤動作を起こすおそれがある。GPS受信機32が捕捉する衛星数の減少程度であれば経験の浅い操縦者でも対処可能であるが、測定精度の著しい低下により自律運航に支障がある場合には手動操縦が可能な操縦者に切り替える必要がある。また、例えば操縦装置50とマルチコプター10との通信に異常が生じた場合、マルチコプター10からの映像が表示不能であっても、マルチコプター10の操舵が可能であり、その他のテレメトリデータが受信可能な状態にあればさほど緊急性は高くない。しかしそれが飛行環境に起因する一時的な通信障害ではなく、通信機器の故障によるものである場合は緊急性が高くなる。その他、異常が生じた場所が人口集中地区であったり、故障時に低空を飛行中であった場合にはさらに高度な判断や高い操縦技能が求められる。制御切替プログラム66はこのような状況・条件に基づいてこれに対処可能な操縦者(操縦装置50)にマルチコプター10の制御主体の一部または全部を自動的に切り替えることができる。
【0052】
本形態の制御切替プログラム66は、マルチコプター10等の制御主体を他の操縦装置50やその他の装置に切り替えるだけでなく、移動体情報iの内容に応じてマルチコプター10との通信に使用する回線を自動的に切り替えることもできる。例えば、マルチコプター10の平常飛行時にはベストエフォート型の通信回線を使用し、緊急時にはQoS(Quality of Service)が保証されたギャランティー型の通信回線に切り替えることなどが考えられる。なお、通信回線の切替は制御切替プログラム66とは別のプログラムで行ってもよい。
【0053】
なお、これまでにも述べたように、制御切替プログラム66が制御主体を切り替える対象は他の操縦装置50には限られず、操縦装置50以外の他の装置に制御主体を切り替えることもできる。例えば遠隔操縦システムSを用いたサービスのユーザ、すなわちそのユーザが使用する一般的なパソコンやタブレット端末等に、カメラ41やカメラジンバル49のコントロールを与え、ユーザに所望の画像・映像を撮影させることなどが考えられる。また例えば、操縦者がマルチコプター10を操縦するためのカメラ41と、ユーザが所望の画像・映像を撮影するためのカメラとを別々に搭載し、ユーザ用のカメラの通信経路を操縦装置50とマルチコプター10との通信経路とは別に設け、ユーザ用のカメラの通信経路やプロトコルをよりアクセスしやすいものとすることで(例えばウェブブラウザでのアクセスを可能にするなど)、ユーザが操縦装置50から離れたところにいても容易にカメラ41等にアクセスすることが可能となる。その他、ユーザ用のカメラで撮影した映像を操縦者と共有し、さらに、マルチコプター10の現在位置情報をユーザと共有することにより、操縦者とユーザとがスムーズに連携しながら撮影作業を行うこともできる。なお、ユーザにコントロールを与えることができる機器はカメラには限られず、目的に応じて任意の機器のコントロールをユーザに与えることができる。
【0054】
図10に示すように、オペレーションセンターCには多数の操縦装置50が設置されている。この場合、例えば
図12に示すように、操縦装置50の上位装置である管理装置80に制御切替プログラム66を実装し、管理装置80で一元的に制御主体の切り替えを行ってもよい。なお
図12の例では遠隔操縦システムSを用いたサービスのユーザ(他の装置90)にカメラ41のコントロールが与えられており、カメラ41で撮影された映像は他の装置90のモニター91に表示されている。この場合でも、制御切替プログラム66の本質的な機能や役割に変わりはない。単に個々の操縦装置50に実装されているか、操縦装置50から独立しているかの違いである。個々の操縦装置50に制御切替プログラム66が実装されている場合でも、これらを互い協働させたり、一の操縦装置50の制御切替プログラム66をマスターとし、他の操縦装置50の制御切替プログラム66をスレーブとすることで主従関係をもたせたりして、管理装置80が行うことと同じことを行うことができる。
【0055】
また、オペレーションセンターCは、オペレーションセンターCが管轄する複数の又は全てのマルチコプター10に関する情報や、オペレーションセンターCが管轄する空域の一部または全体を、色やレイヤーを分けるなどして網羅的・包括的に表示する中央監視スクリーン79を有している。オペレーションセンターCでは、場合によっては危険飛行している他社のドローンを乗っ取って危険を回避するようなことも考えられる。
【0056】
また、例えば深刻な問題が生じたマルチコプター10の撮影映像やテレメトリデータをこの中央監視スクリーン79に表示し、管理者や複数人の操縦者のチームでその問題に対処するようなことも考えられる。その他、例えば状況を注視すべき複数のマルチコプター10の情報を中央監視スクリーン79に並べて表示したり、またはこれらの情報を所定秒ごとに切り替えて表示したりして、複数人でその状況の推移を監視することも可能である。
【0057】
(カメラ固定機能)
本形態のマルチコプター10は、マルチコプター10の姿勢変化を吸収してカメラ41の姿勢を維持するカメラジンバル49(姿勢安定化装置)を有している。そして、操縦装置50は、カメラジンバル49の姿勢安定化動作を停止し、カメラ41の向きを固定するカメラ固定ボタン531(カメラ固定手段)を有している。カメラ41の向きを意図的に固定することにより、機体の実際の傾きや振動を実態的に把握することができ、例えばマルチコプター10の着陸をより安全に行うことが可能となる。
【0058】
本形態のマルチコプター10は多方向に向けられた複数のカメラ41を有しているが、例えばマルチコプター10が1台のカメラ41のみを備える場合には、カメラ固定ボタン531は、カメラ41をマルチコプター10の前方または下方に自動的に向けてからカメラ41の向きを固定してもよい。
【0059】
[マルチコプター]
以下、
図3を参照してマルチコプター10の機能構成について説明する。本形態のマルチコプター10は、全国各地に配置された専用の離発着設備であるいわゆるドローンポートに格納されており、操縦装置50または他のシステムからの指示により自動的にドローンポートから出航する。なお、このようなドローンポートは必須ではなく、例えば現地に人員を配置してマルチコプター10の離発着の準備を行ったり、現地に配置された人員が操縦者と協働して手動操縦によるサポートを行ったりしてもよい。
【0060】
本形態のマルチコプター10は、主に、制御部であるフライトコントローラFC、複数の水平回転翼であるロータR、操縦者(操縦装置50)との通信を行う通信装置25、複数台のカメラ41およびこれらの全て又は一部を支持するカメラジンバル49、並びにこれらに電力を供給するバッテリー(不図示)により構成されている。
【0061】
フライトコントローラFCはマイクロコントローラである制御装置20を有している。制御装置20は、中央処理装置であるCPU21と、RAMやROM・フラッシュメモリなどの記憶装置からなるメモリ22とを有している。制御装置20は単体のマイクロコントローラには限られず、いわゆるコンパニオンコンピュータとの組み合わせであってもよい。その他、制御装置20を例えばFPGA(field-programmable gate array)やASIC(Application Specific Integrated Circuit)などで構成することも考えられる。
【0062】
フライトコントローラFCはさらに、IMU31(Inertial Measurement Unit:慣性計測装置)、GPS受信器32、気圧センサ34、および電子コンパス35を含む飛行制御センサ群Sを有しており、これらは制御装置20に接続されている。
【0063】
IMU31はマルチコプター10の傾きを検出するセンサであり、主に3軸加速度センサおよび3軸角速度センサにより構成されている。気圧センサ34は、検出した気圧値からマルチコプター10の海抜高度(標高)を得る高度センサである。電子コンパス35はフライトコントローラFCのヘディング(機首)の方位角を検出するセンサであり、主に3軸地磁気センサで構成されている。GPS受信器32は、正確には航法衛星システム(NSS:Navigation Satellite System)の受信器である。GPS受信器32は、全地球航法衛星システム(GNSS:Global Navigation Satellite System)または地域航法衛星システム(RNSS:Regional Navigational Satellite System)から現在の経緯度値を取得する。
【0064】
フライトコンローラFCは、これら飛行制御センサ群Sにより、機体の傾きや回転のほか、飛行中の経緯度、高度、および機首の方位角を含む自機の位置情報を取得する。
【0065】
制御装置20は、マルチコプター10の飛行時における姿勢や基本的な飛行動作を制御するプログラムである飛行制御プログラムFSを有している。飛行制御プログラムFSは、飛行制御センサ群Sから取得した情報を基に個々のロータRの回転数を調節し、機体の姿勢や位置の乱れを補正しながらマルチコプター10を飛行させる。
【0066】
制御装置20はさらに、マルチコプター10を自律飛行させるプログラムである自律飛行プログラムAPを有している。そして、制御装置20のメモリ22には、マルチコプター10を飛行させるコースの経緯度、飛行中の高度や速度などが指定されたパラメータである飛行計画FPが登録されている。自律飛行プログラムAPは、操縦装置50や他のシステムからの指示や所定の時刻などを開始条件として、飛行計画FPに従ってマルチコプター10を自律的に飛行させる。
【0067】
その他、本形態のマルチコプター10は、現在地における風向および風速を取得する風向風速センサ36と、マルチコプター10とその周辺物との位置関係や距離を取得するLiDAR37とを備えている。本形態のマルチコプター10では、LiDAR37により取得された点群データは主にフライトコントローラFCの内部処理で用いられ、必要に応じて周辺物との距離などの加工値が映像データとともに操縦装置50に送信される。その他、例えばLiDAR37で取得した点群データを適宜間引いて操縦装置50にリアルタイムで転送することも考えられる。これにより操縦者は、カメラ41で撮影された映像の転送を待つよりも速やかに周辺物の情報を得ることができる。
【0068】
その他、例えばマイクアレイなどの集音器を別途搭載し、マルチコプター10周辺の環境音を収集することもマルチコプター10の飛行状態や飛行環境を把握する上で有意である。これに加え、操縦装置50にマイクを備え、マルチコプター10にスピーカーを備えることにより、操縦者はマルチコプター10を介してその近傍の人間と会話することができる。また、マルチコプター10に搭載されるカメラ41は一般的な可視光カメラには限定されず、例えば暗視カメラ(高感度カメラや赤外線カメラ)、深度カメラなどであってもよい。その他、マルチコプター10に搭載される装置や機材には特に制限はなく、例えばパラシュートやフラッシュライト、警告灯、アラーム・ブザー等を搭載してもよい。
【0069】
マルチコプター10の通信装置25と操縦装置50とは、制御信号やデータの送受信が可能であれば、その具体的な通信方式やプロトコル、使用する回線は問わない。例えば3GやLTE(Long Term Evolution)、WiMAX(Worldwide Interoperability for Microwave Access)、5Gなどの移動体通信網(以下、このような地上の基地局を用いた移動体通信網を「携帯電話通信網」という。)で操縦装置50とマルチコプター10とを接続することにより、操縦者(操縦装置50)は、携帯電話通信網のサービスエリア内からであればどこからでもマルチコプター10にアクセスすることが可能となる。または、マルチコプター10の飛行経路上にアクセスポイントを適宜設置し、アクセスポイントと操縦装置50とを光回線で接続することも考えられる。アクセスポイントとマルチコプター10との接続方法は特に限定されず、例えば、Wi−Fi(Wireless Fidelity)や周波数ホッピング方式のPCM(pulse code modulation:パルス符号変調)信号でもよく、アクセスポイントから携帯電話通信網を使ってマルチコプター10に接続してもよい。また、複数の通信方法を併用することでマルチコプター10と操縦装置50との間の通信経路を冗長化してもよい。その他、例えば中継器が搭載された他のUAVを別途用意し、そのUAVを介してマルチコプター10と操縦装置50やアクセスポイントを接続することも考えられる。
【0070】
ここで、マルチコプター10から操縦装置50への通信遅延が問題となる場合には、例えばこれらを接続する通信経路のうち、その少なくとも一部の通信方式をアナログ方式とデジタル方式との間で切り替え可能とすることが考えられる。アナログ方式の通信は一般にデジタル方式の通信よりもデータの再現性に劣るが、アナログ方式の通信にはデジタル方式の通信よりも遅延が少ないという利点がある。通信方式の切り替えは操縦装置50側で手動または自動で行ってもよく、マルチコプター10側で自動的に行ってもよい。切替を自動的に行うときの条件としては、例えば送受信するデータ量や遅延量、通信障害、その他任意の条件が考えられる。
【0071】
また、マルチコプター10の移動範囲が、例えば沖合や山間部など、携帯電話通信網のサービス圏外にまで及ぶ場合には、例えばイリジウム(登録商標)やインマルサット(登録商標)などの衛星通信モジュールをマルチコプター10に搭載することで、携帯電話通信網のサービス圏外でもマルチコプター10との通信を保つことができる。ここで、マルチコプター10に接続する手段を衛星通信回線と他の通信回線との間で切り替え可能とすることにより、マルチコプター10との通信経路を冗長化することができるとともに、マルチコプター10との通信品質を極力保ちつつマルチコプター10の移動可能範囲を拡大することができる。例えば、マルチコプター10と操縦装置50とを5G回線で接続しているときには、カメラ41による撮影映像を含む全情報を操縦装置50に送信し、衛星通信回線に切り替えた後は経緯度や気圧高度のテレメトリデータのみを送信するようにしたり、衛星通信回線に切り替えた後は送信する映像データを物体のエッジ情報や輪郭情報、セグメント情報のみに絞って送信したりすることが考えられる。通信回線の切り替えは操縦装置50側で手動または自動で行ってもよく、マルチコプター10側で自動的に行ってもよい。切替を自動的に行うときの条件としては、例えば現在位置(経緯度や気圧高度)、携帯電話通信網などの他の通信回線の電波強度、その他任意の条件が考えられる。その他、衛星通信回線と他の通信回線の両方を常時併用して通信することも考えられる。
【0072】
[操縦装置の変形例]
図13は操縦装置50の変形例である操縦装置50bを示す模式図である。
図14は操縦装置50bの機能構成を示すブロック図である。以下、
図13および
図14を参照して操縦装置50bについて説明する。
【0073】
操縦装置50bでは、操縦者は球形状のモニターである球形モニター76の中に入ってマルチコプター10を操縦する。本変形例ではマルチコプター10はそのカメラ41として半天球カメラや全天球カメラを備えており、カメラ41による撮影映像はそのまま球形モニター76に表示される。本変形例では天球カメラおよび球形モニター76を採用するにより、複数のカメラで全方向を撮影するときの映像の隙間や重なり、平面画像と球面画像とを変換する負荷が軽減され、映像データを効率的に取得・転送・表示することが可能とされている。なお球形モニター76は本形態のような全球形状に限られず、半球形状であってもよい。
【0074】
操縦装置50bはさらに、操縦者の視線方向を検知可能な視線センサ55を有している。映像表示プログラム61は、視線センサ55で検知された操縦者の視線方向の映像を拡大表示する。また、視線センサ55の出力値はマルチコプター10にも転送されている。マルチコプター10の撮影制御装置40はこの情報を受信し、操縦者の視線方向の映像は解像度を高く、その他の方向は解像度を低くした映像データを操縦装置50bに送信する。これによりマルチコプター10から送信される映像データの通信量が抑えられ、モニター76に表示される映像の遅延が軽減される。その他、操縦者の視線方向とその周辺の映像のみを送信し、その他の範囲の映像については送信を省略してもよい。なお、操縦者の視線方向は眼球の向きには限られず、顔の向きであってもよい。
【0075】
(スピーカーシステム)
また操縦装置50bは、操縦者の周囲に配置された複数のスピーカー56を有している。本形態のスピーカー56は、操縦者の前後左右を周方向に取り囲むように配置されている。
【0076】
操縦装置50bはスピーカー56の動作を制御するスピーカー制御プログラム64(スピーカー制御部)を有している。スピーカー制御プログラム64は、移動体情報iの内容に基いてスピーカー56から操縦者に対して音を発することで、マルチコプター10とのその周辺物との位置関係および距離を操縦者に通知する。例えばマルチコプター10の右前方に障害物がある場合には、操縦者の右前方のスピーカー56から音を発し、その障害物が近づくにつれ音量を大きくする。これにより操縦者は、障害物の位置やその距離を視覚によらず認識することができる。
【0077】
スピーカー56の配置は本形態のものには限られず、例えば操縦者の周囲に左右のスピーカー56を含む3基または4基のスピーカー56を配置し、位相制御により音源方向を擬似的に制御することも可能である。また、例えば周辺物の種類(建物等の構造物、他のUAV、人)に応じて音の種類を変化させることも考えられる。スピーカー56の用途は本形態のものには限られず、例えばスピーカー56から発する音によりマルチコプター10の現在地における風向および風速を表現することも可能である。
【0078】
(送風システム)
また操縦装置50bは、操縦者の周囲に配置され、操縦者に対して風を吹き付ける送風装置57と、送風装置57による風向および風量を制御する送風制御プログラム65(送風制御部)と、を有している。送風制御プログラム65は、マルチコプター10の現在地における風向および風速に応じて操縦者に吹き付ける風の風向および風量を変化させる。例えばマルチコプター10の右前方からマルチコプター10に向かって風が吹いている場合には、操縦者の右前方の送風装置57から風速に応じた風量の風を操縦者に吹き付ける。これにより操縦者は、遠方にいながらあたかも現場にいるかのようにマルチコプター10を操縦することができる。
【0079】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更を加えることができる。例えば、本発明の移動体は無人航空機には限られず、乗客を輸送するいわゆるパッセンジャードローンや、パイロットが搭乗する有人航空機であってもよい。また、本発明は航空機にも限られず、操縦可能な移動体であれば例えば車両や船舶であってもよい。
【解決手段】移動体と、前記移動体を遠隔操作する操縦装置と、を備え、前記移動体は撮影手段を有し、前記操縦装置は、前記移動体の内界および/または外界に関する情報である移動体情報を取得する情報取得部と、表示部と、を有し、前記移動体情報には、前記移動体が撮影した映像と前記移動体の現在位置情報とが含まれ、前記表示部には前記映像と地図画像とが表示され、前記地図画像上には、前記移動体の現在位置を示す図形と、前記移動体が前記映像を撮影した位置を示す図形と、が表示されることを特徴とする遠隔操縦システム、およびその操縦装置により解決する。