特開 2024-66747 情報処理装置、映像表示システム、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066747

(43)【公開日】2024-05-16

(54)【発明の名称】情報処理装置、映像表示システム、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240509BHJP

   G06F 3/04815 20220101ALI20240509BHJP

【ＦＩ】

G06T19/00 A

G06F3/04815

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022176402

(22)【出願日】2022-11-02

(71)【出願人】

【識別番号】593165487

【氏名又は名称】学校法人金沢工業大学

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】徳永 雄一

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA11

5B050BA13

5B050BA17

5B050CA07

5B050CA08

5B050DA04

5B050EA04

5B050EA26

5B050FA02

5B050FA05

5E555AA05

5E555AA11

5E555AA27

5E555AA63

5E555BA02

5E555BA05

5E555BA06

5E555BA38

5E555BA90

5E555BB02

5E555BB05

5E555BB06

5E555BB40

5E555BC04

5E555BC21

5E555BE16

5E555CC22

5E555DA08

5E555DB53

5E555DB57

5E555DC09

5E555DC19

5E555EA07

5E555EA08

5E555EA11

5E555EA22

5E555EA25

5E555FA00

(57)【要約】

【課題】仮想空間における三人称視点の無人航空機の映像を簡便に実現する技術を提供する。
【解決手段】情報処理装置は、地形の高さ情報を平面上にマッピングした地形データを記憶する記憶部と、無人航空機の位置情報および無人航空機の周辺環境に存在する物体の位置情報に基づいて、無人航空機の３Ｄモデルである航空機モデルおよび物体の３Ｄモデルである物体モデルを地形データに重畳することによって、周辺環境モデルを生成する生成部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

地形の高さ情報を平面上にマッピングした地形データを記憶する記憶部と、
無人航空機の位置情報および前記無人航空機の周辺環境に存在する物体の位置情報に基づいて、前記無人航空機の３Ｄモデルである航空機モデルおよび前記物体の３Ｄモデルである物体モデルを前記地形データに重畳することによって、周辺環境モデルを生成する生成部と、を備える、
情報処理装置。

【請求項2】

前記物体は、移動体であり、
前記生成部は、前記物体の位置情報の時間的な変化に応じて前記物体モデルの位置が時間的に変化するように、前記物体モデルを前記地形データに重畳させる、
請求項１に記載の情報処理装置。

【請求項3】

前記物体は、前記無人航空機を第１の無人航空機とするとき、前記第１の無人航空機とは異なる第２の無人航空機である、
請求項２に記載の情報処理装置。

【請求項4】

前記生成部は、物体の三次元点群データに基づき当該物体を分類する分類器を含み、
前記記憶部は、分類に応じた物体モデルの形態に関する情報をさらに記憶する、
請求項１に記載の情報処理装置。

【請求項5】

前記生成部は、物体の三次元点群データに基づき当該物体の形状に関する特徴情報を取得し、前記特徴情報に基づいて前記物体モデルを生成する、
請求項１に記載の情報処理装置。

【請求項6】

前記生成部は、前記物体の高さ情報に基づいて、前記物体の高さを示す物体モデルを生成する、
請求項１に記載の情報処理装置。

【請求項7】

請求項１に記載の情報処理装置と、
前記周辺環境モデルに基づく映像を表示する表示装置と、を備える、
映像表示システム。

【請求項8】

仮想的な三次元空間における前記周辺環境モデルの視点を決定する視点決定装置をさらに備え、
前記表示装置は、前記視点決定装置によって決定された視点から見た前記周辺環境モデルの映像を表示する、
請求項７に記載の映像表示システム。

【請求項9】

地形の高さ情報を平面上にマッピングした地形データを記憶することと、
無人航空機の位置情報および前記無人航空機の周辺環境に存在する物体の位置情報に基づいて、前記無人航空機の３Ｄモデルである航空機モデルおよび前記物体の３Ｄモデルである物体モデルを、仮想的な三次元空間において前記地形データに重畳することによって周辺環境モデルを生成することと、を含む、
情報処理方法。

【請求項10】

コンピュータに、
地形の高さ情報を平面上にマッピングした地形データを記憶することと、
無人航空機の位置情報および前記無人航空機の周辺環境に存在する物体の位置情報に基づいて、前記無人航空機の３Ｄモデルである航空機モデルおよび前記物体の３Ｄモデルである物体モデルを、仮想的な三次元空間において前記地形データに重畳することによって周辺環境モデルを生成することと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、映像表示システム、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

従来、無人航空機を含む映像をカメラで撮像し、三人称視点（ＴＰＶ）の映像を操縦者に提供する技術が知られている。たとえば、特許文献１には、移動体と、移動体を遠隔操作する操縦装置と、を備え、移動体は自機を撮影可能な撮影手段を有することを特徴とする遠隔操縦システムが開示されている。また、特許文献２には、単数または複数の回転翼と、自機の周囲の映像を撮影可能な撮影手段と、を備え、空中の一点に静止することが可能な無人航空機である監視機と、無線通信により無人移動体を遠隔操作可能な操縦端末と、監視機と無線接続され、撮影手段で撮影された映像を表示可能な表示装置と、を用いた無人移動体の操縦方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０３６４１５号公報

【特許文献2】特開２０１７－０８７９１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、自機を撮影できる位置までカメラ（撮影手段）を遠ざけるためのアームが必要となる。また、特許文献２に記載の技術では、撮影される無人移動体とは別に、撮影用の無人航空機が必要となる。このため、特許文献１，２に記載の技術では、三人称視点の無人航空機の映像を簡便に実現することができなかった。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その例示的な目的の一つは、仮想空間における三人称視点の無人航空機の映像を簡便に実現するための技術を提供することにある。

【課題を解決するための手段】

【0006】

本発明のある態様は、情報処理装置である。情報処理装置は、地形の高さ情報を平面上にマッピングした地形データを記憶する記憶部と、無人航空機の位置情報および無人航空機の周辺環境に存在する物体の位置情報に基づいて、無人航空機の３Ｄモデルである航空機モデルおよび物体の３Ｄモデルである物体モデルを地形データに重畳することによって、周辺環境モデルを生成する生成部と、を備える。

【0007】

物体は、移動体であってよく、生成部は、物体の位置情報の時間的な変化に応じて物体モデルの位置が時間的に変化するように、物体モデルを地形データに重畳させてよい。

【0008】

物体は、無人航空機を第１の無人航空機とするとき、第１の無人航空機とは異なる第２の無人航空機であってよい。

【0009】

生成部は、物体の三次元点群データに基づき当該物体を分類する分類器を含んでよい。記憶部は、分類に応じた物体モデルの形態に関する情報をさらに記憶してよい。

【0010】

生成部は、物体の三次元点群データに基づき当該物体の形状に関する特徴情報を取得し、特徴情報に基づいて物体モデルを生成してよい。

【0011】

生成部は、物体の高さ情報に基づいて、物体の高さを示す物体モデルを生成してよい。

【0012】

本発明の別の態様は、映像表示システムである。映像表示システムは、上記情報処理装置と、周辺環境モデルに基づく映像を表示する表示装置と、を備える。

【0013】

映像表示システムは、仮想的な三次元空間における周辺環境モデルの視点を決定する視点決定装置をさらに備えてよい。表示装置は、視点決定装置によって決定された視点から見た周辺環境モデルの映像を表示してよい。

【0014】

本発明の別の態様は、情報処理方法である。情報処理方法は、地形の高さ情報を平面上にマッピングした地形データを記憶することと、無人航空機の位置情報および無人航空機の周辺環境に存在する物体の位置情報に基づいて、無人航空機の３Ｄモデルである航空機モデルおよび物体の３Ｄモデルである物体モデルを、仮想的な三次元空間において地形データに重畳することによって周辺環境モデルを生成することと、を含む。

【0015】

本発明の別の態様は、プログラムである。プログラムは、コンピュータに、地形の高さ情報を平面上にマッピングした地形データを記憶することと、無人航空機の位置情報および無人航空機の周辺環境に存在する物体の位置情報に基づいて、無人航空機の３Ｄモデルである航空機モデルおよび物体の３Ｄモデルである物体モデルを、仮想的な三次元空間において地形データに重畳することによって周辺環境モデルを生成することと、を実行させるためのものである。

【0016】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0017】

本発明によれば、仮想空間における三人称視点の無人航空機の映像を簡便に実現する技術を提供できる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係る映像表示システムの構成例を示す図である。

【図2】同実施形態に係る無人航空機の機能ブロック図である。

【図3】同実施形態に係るサーバの機能ブロック図である。

【図4】同実施形態に係る無人航空機が備えるカメラが撮影した画像の一例を示す図である。

【図5】同実施形態に係る周囲環境モデルに基づく画像の一例を示す図である。

【図6】同実施形態に係る映像表示システムの動作例を示すフローチャートである。

【図7】本発明の一実施形態に係るサーバおよびユーザ端末のハードウェア構成を示す図である。

【発明を実施するための形態】

【0019】

［実施形態］
以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。また、以下に述べる構成は例示であり、本発明の範囲を何ら限定するものではない。

【0020】

図１は、本発明の一実施形態に係る映像表示システム１の構成例を示す図である。本実施形態に係る映像表示システム１は、無人航空機１０、サーバ２０（情報処理装置）、操縦装置３０、ユーザ端末４０および表示装置５０を備える。無人航空機１０、サーバ２０およびユーザ端末４０は、必要に応じて互いに情報を送受信できるように、ネットワーク５に接続されている。ネットワーク５は、たとえばインターネット、ＬＡＮ（Local Area Network）またはＷＡＮ（Wide Area Network）などであってよい。

【0021】

無人航空機１０は、遠隔から操縦されるものであり、本実施形態ではドローンである。本実施形態に係る無人航空機１０は、操縦装置３０と無線通信を行うことができるように操縦装置３０と接続されており、操縦装置３０から受信した制御信号に基づいて飛行動作を行う。なお、無人航空機１０および操縦装置２０は、図１に示すように直接の無線通信で接続されるほか、ユーザ端末４０に組み込まれ、ネットワーク５を経由して無人航空機１０と接続される構成でもよい。この場合、インターネットによる通信遅延および接続断による操縦不能状態の問題については、解決されている前提である。本実施形態に係る無人航空機１０は、カメラおよび各種のセンサなどを有しており、各種のデータを取得できる。無人航空機１０は、取得したデータをネットワーク５を通じてサーバ２０に送信できる。

【0022】

サーバ２０は、仮想空間における三人称視点の映像を生成するための各種の情報処理を行う。具体的には、サーバ２０は、無人航空機１０の３Ｄモデルである航空機モデルおよび物体の３Ｄモデルである物体モデルを地形データに重畳した周辺環境モデルを生成し、その周囲環境モデルをユーザ端末４０に送信する。

【0023】

操縦装置３０は、各種の公知の通信装置を備え、操縦者の操作に応じて無人航空機１０と無線通信を行い、無人航空機１０を操縦する。具体的には、操縦装置３０は、ボタンまたはスティックなどの操作部を備え、操縦者による操作部の操作に応じて、無人航空機１０の飛行動作を制御するための制御信号を無人航空機１０に送信する。

【0024】

また、本実施形態に係る操縦装置３０は、ユーザ端末４０に各種の情報を送信できるように、有線または無線でユーザ端末４０と接続されている。たとえば、操縦装置３０は、操縦者の操作に応じて、仮想空間において周囲環境モデルを見る視点を指示する情報をユーザ端末４０に送信できる。

【0025】

ユーザ端末４０は、表示装置５０に映像を表示させるための各種の情報処理を行う。たとえば、ユーザ端末４０は、サーバ２０から周囲環境モデルを受信し、周囲環境モデルに基づく映像データを送信できる。ユーザ端末４０は、たとえば、スマートフォン、タブレット端末およびＰＣ（Personal Computer）などで構成されてよい。

【0026】

ユーザ端末４０は、視点決定装置としての機能を有し、仮想的な三次元空間における周辺環境モデルの視点を決定できる。具体的には、ユーザ端末４０は、仮想空間における視点を指示する情報を操縦装置３０から受信し、その視点から見た周囲環境モデルの３Ｄ映像データを生成できる。ユーザ端末４０は、表示装置５０に情報を送信できるように、無線または有線で表示装置５０に接続されている。たとえば、ユーザ端末４０は、３Ｄ映像データを表示装置５０に送信できる。

【0027】

表示装置５０は、画像を表示することができる各種の公知の装置で構成され、たとえば、ＶＲ（Virtual Reality）ゴーグルなどで構成されてよい。表示装置５０は、周囲環境モデルに基づく三人称視点の映像を表示できる。この映像には、地形、地形とは分離された物体および無人航空機１０のそれぞれの３Ｄモデルが含まれる。無人航空機１０の操縦者は、表示装置５０に表示される仮想的な三人称視点の映像を見ながら無人航空機１０を操縦できる。

【0028】

なお、上述したユーザ端末４０は、操縦装置３０からの指示によらず、自動的に視点を決定してよい。ユーザ端末４０は、後述するようにサーバ２０が物体モデルに関する情報を取得した結果に基づいて、たとえば、障害物（他の無人航空機など）を見る方向に視点を決定してよい。これにより、操縦者は、表示装置５０に表示される映像を見ることにより、危険な障害物を把握し易くなり、操縦に注力することが可能となる。

【0029】

図２は、本発明の一実施形態に係る無人航空機１０の機能ブロック図である。本実施形態に係る無人航空機１０は、取得部１００、通信部１２０、駆動部１４０および制御部１６０を備える。

【0030】

取得部１００は、各種の情報を取得する。本実施形態に係る取得部１００の機能は、カメラ１０２、センサ部１０４および位置情報取得装置１０６が協働することにより実現される。

【0031】

カメラ１０２は、無人航空機１０の周囲の映像を撮影し、映像データを取得できる。カメラ１０２は、各種の公知の撮影可能な装置で構成されてよく、本実施形態では、ＬｉＤＡＲ（Light Detection and Ranging）の機能を有し、取得される物体の位置情報および色情報を持つ三次元点群データを取得できる。カメラ１０２が取得したデータ（たとえば映像データおよび三次元点群データなど）は、通信部１２０に伝達される。

【0032】

センサ部１０４は、各種のセンサ情報を取得する。センサ部１０４は、たとえば、加速度センサ、角速度センサ、地磁気センサ（方位センサ）を含み、たとえば無人航空機１０の姿勢情報（方位角、傾きなど）を取得できる。また、センサ部１０４は、周囲環境に存在する物体までの位置関係を測定するための装置を含んでよく、具体的には、ＴＯＦ（Time of Flight）センサなどを含んでよい。センサ部１０４が取得したセンサ情報は、必要に応じて、通信部１２０および制御部１６０に伝達される。

【0033】

位置情報取得装置１０６は、無人航空機１０の位置情報（たとえば緯度、経度および高度など）を取得する装置である。位置情報取得装置１０６は、たとえばＧＰＳ（Global Positioning System）受信機、ＧＮＳＳ（Global Navigation Satellite System）受信機または気圧センサ（高度センサ）などを有してよい。位置情報取得装置１０６が取得した位置情報は、必要に応じて、通信部１２０および制御部１６０に伝達される。

【0034】

通信部１２０は、各種の情報を送受信する。通信部１２０は、各種の公知の通信装置で構成されてよい。通信部１２０は、たとえば、映像データ、三次元点群データ、センサ情報および姿勢情報などをサーバ２０に送信してよい。また、通信部１２０は、操縦装置３０から制御信号を無線通信で受信し、受信した制御信号を制御部１６０に伝達してよい。

【0035】

駆動部１４０は、無人航空機１０が飛行動作を行うために駆動する。本実施形態では、駆動部１４０は、複数のロータを有し、それぞれのロータは、ブレードおよびブレードを回転させるためのモータを有する。それぞれのモータがブレードを回転させることで無人航空機１０が飛行する。

【0036】

制御部１６０は、無人航空機１０の飛行動作を制御する。具体的には、制御部１６０は、取得部１００が取得した情報（たとえばセンサ情報など）および操縦装置３０からの制御信号などに基づいて、駆動部１４０のロータの回転動作を制御することにより、無人航空機１０の飛行動作を制御する。

【0037】

図３は、本発明の一実施形態に係るサーバ２０の機能ブロック図である。図３に示すように、本実施形態に係るサーバ２０は、通信部２００、記憶部２２０および生成部２４０を備える。

【0038】

通信部２００は、各種の情報を他の装置と送受信する。通信部２００は、たとえば、映像データ、三次元点群データ、センサ情報および位置情報を無人航空機１０から受信し、これらの情報を生成部２４０に伝達する。また、通信部２００は、後述するように生成部２４０が生成した周囲環境モデルをたとえばユーザ端末４０に送信してよい。

【0039】

記憶部２２０は、各種の情報を記憶する。記憶部２２０は、生成部２４０が周囲環境モデルを生成するためのプログラム、各種の３Ｄモデルに関する情報および地形データなどを記憶してよい。

【0040】

３Ｄモデルに関する情報は、たとえば形態情報を含み、具体的には、３Ｄモデルの形状、大きさおよび色などを含んでよい。形態情報は、物体の種別（たとえば、無人航空機１０、ドローン、樹木および電柱など）に対応付けて記憶されてよい。また、各形態情報は、分類（たとえば種別）に応じた情報として記憶されてよく、より具体的には、後述する物体モデル取得部２４４が有する分類器による分類の識別情報と対応付けられて記憶されてよい。

【0041】

地形データは、地形の高さ情報を平面上にマッピングしたデータである。地形データによって、水平面に対する地形の起伏が表現される。地形データは、各種の公知の地図データベースによって実現されてよい。地形は、自然物（たとえば山など）で構成されてよいし、人工物（たとえば建造物など）で構成されてよい。

【0042】

生成部２４０は、無人航空機１０の位置情報および無人航空機１０の周辺環境に存在する物体の位置情報に基づいて、無人航空機１０の３Ｄモデルである航空機モデルおよび物体の３Ｄモデルである物体モデルを地形データに重畳することによって、周辺環境モデルを生成する。生成部２４０の機能は、航空機モデル取得部２４２、物体モデル取得部２４４および重畳部２４６が協働することにより実現される。

【0043】

航空機モデル取得部２４２は、航空機モデルに関する情報を取得する。具体的には、航空機モデル取得部２４２は、無人航空機１０から送信された情報に基づき、無人航空機１０の位置情報および姿勢情報などを取得する。また、航空機モデル取得部２４２は、予め規定された航空機モデルに関する形態情報（たとえば形状および大きさなど）を記憶部２２０から取得する。航空機モデル取得部２４２は、無人航空機１０の位置情報および姿勢情報とともに、航空機モデルの形態情報を重畳部２４６に伝達する。

【0044】

物体モデル取得部２４４は、物体モデルに関する情報を取得する。物体は、たとえば、他の無人航空機（たとえばドローンなど）、電線、樹木、自動車または人などであってよい。

【0045】

物体モデル取得部２４４は、無人航空機１０から送信された情報から物体モデルに関する情報を抽出する。具体的には、物体モデル取得部２４４は、カメラ１０２によって取得された三次元点群データのうち、地形データに含まれない部分を物体モデルに関する情報として抽出する。たとえば、物体モデル取得部２４４は、三次元点群データのうち地形データで規定される地形よりも高い位置に存在する部分を、物体の三次元点群データとして抽出してよい。

【0046】

物体モデル取得部２４４は、物体の形状および大きさなどの物体モデルの形態情報を取得する。具体的には、物体モデル取得部２４４は、抽出した物体の三次元点群データに基づいて、当該物体の形状および大きさなどを取得してよい。あるいは、物体モデル取得部２４４は、たとえば三次元点群データなどに基づいて物体の種別を特定し、予め記憶部２２０に記憶されている特定された種別の物体モデルの形態情報（形状および大きさなど）を取得してよい。

【0047】

物体モデル取得部２４４は、無人航空機１０からサーバ２０に送信された情報（三次元点群データおよびセンサ情報など）に基づき、無人航空機１０に対する物体の相対座標を取得する。さらに、物体モデル取得部２４４は、無人航空機１０の位置情報および姿勢情報に基づき、物体の相対座標を絶対座標に変換し、物体モデルの形態情報とともに絶対座標を重畳部２４６に伝達する。

【0048】

物体モデル取得部２４４は、地形とは切り離された物体に関する情報（たとえば位置情報など）を時間経過とともに観察し、地上に対して移動しているか否かを見極める。これは、対象物体の地上に対する推定位置が時間とともに変化することで判定することができる。

【0049】

物体が移動体（たとえば、ドローン、風船、鳥、車両および人など）である場合には、物体モデル取得部２４４は、時間の経過に応じて変化する物体の代表的な位置情報を重畳部２４６に伝達する。このとき、物体モデル取得部２４４は、時間の経過に応じて三次元点群データに基づいて物体の形態を算出しなくてよい。たとえば、物体モデル取得部２４４は、最初に一度だけ三次元点群データに基づき物体モデルの形態、特に大きさを算出し、その後は、その物体の位置情報（たとえば絶対座標など）のみを重畳部２４６に伝達してよい。

【0050】

物体モデル取得部２４４は、機械学習に基づき構築された分類器を有してよい。この分類器は、たとえば三次元点群データを入力として、その物体の分類（たとえば種別など）を示す識別情報を出力するように構築されてよい。物体モデル取得部２４４は、このような分類器を用いて物体の分類が可能であれば、分類できた時点で一度だけ位置情報とともに分類の識別情報を重畳部２４６に伝達してもよい。この識別情報に基づいて、分類された物体の種別に応じた形態情報などが記憶部２２０から取得され、識別された物体の３Ｄモデルが生成される。これにより、時間の経過とともに物体モデルの形態を算出する場合と比べて、物体モデルを生成するための処理量を低減できる。

【0051】

物体が静止体（たとえば、電柱、木、橋脚、クレーン車などの重機、停止車両や立ち止まっている人など）である場合には、物体モデル取得部２４４は、三次元点群データに基づき物体の形態を算出する。このとき、物体モデル取得部２４４は、物体の三次元点群データに基づき物体の形状に関する特徴情報を取得し、その特徴情報に基づいて物体モデルを生成してよい。たとえば、物体モデル取得部２４４は、遠方にある状態で物体の位置と大まかな突出部の座標を特定し、必要最小のポリゴン数で物体をモデル化できる。その後、物体モデル取得部２４４は、物体接近時には、物体の外観範囲の三次元点群データを用いて、対象モデルを詳細化していく。このように、物体の形状を時間の経過とともに詳細化していくことで、処理の平準化を図り、物体モデルを生成するための処理量を低減できる。

【0052】

なお、飛行高度に入らない低空部の静止体（停止車両および立ち止まっている人など）については、主として、その物体の高さ情報に基づき生成されてよく、より具体的には、地形データと同様に、物体の高さ情報のみで物体モデルが生成されてもよい。詳細な３Ｄモデルが必要な理由は、橋の橋脚の間をくぐるなどの物体の下部を飛行するための考慮であり、そのような必要のない低空部は、物体と衝突しない高度がわかればよい。これも、物体モデルを生成するための処理量の低減に貢献する。

【0053】

重畳部２４６は、無人航空機１０の位置情報および物体の位置情報に基づいて、航空機モデルおよび物体モデルを地形データに重畳することによって周辺環境モデルを生成する。具体的には、重畳部２４６は、無人航空機１０の位置情報に基づいて、地形データに航空機モデルを重畳する。このとき、重畳部２４６は、無人航空機１０の姿勢情報に基づいて、航空機モデルの姿勢を調整したうえで、航空機モデルを地形データに重畳してよい。また、重畳部２４６は、物体の位置情報（絶対座標）に基づいて、地形データに物体モデルを重畳する。このように地形データに航空機モデルおよび物体モデルが重畳されることにより、周囲環境モデルが生成される。したがって、周囲環境モデルは、航空機モデル、物体モデルおよび地形の３Ｄモデルを含んだモデルとなる。重畳部２４６は、生成した周囲環境モデルを通信部１２０に伝達する。

【0054】

また、重畳部２４６は、物体が移動体である場合には、物体の位置情報を取得し、物体の位置情報の時間的な変化に応じて物体モデルの位置が時間的に変化するように、物体モデルを地形データに重畳させてよい。これにより、物体モデルが移動する様子を３Ｄモデルで実現できるようになる。

【0055】

図４および図５を参照して、本発明の一実施形態に係る映像表示システム１が周囲環境モデルを生成し、その周囲環境モデルに基づく映像を表示する例を説明する。図４は、本実施形態に係る無人航空機１０が備えるカメラ１０２が撮影した画像の一例を示す図であり、図５は、生成された周囲環境モデルに基づく画像の一例を示す図である。

【0056】

図４に示すように、カメラ１０２が撮影した画像には、田んぼ６００、鉄塔６０２、電柱６１０、電線６１２およびドローン６１４などが含まれる。ここで、田んぼ６００の地表および鉄塔６０２は、地形データに含まれており、電柱６１０、電線６１２、田んぼ６００の草およびドローン６１４は、地形データに含まれていないものとする。

【0057】

サーバ２０の物体モデル取得部２４４は、電柱６１０および電線６１２の三次元点群データを抽出し、その三次元点群データに基づいて電柱６１０および電線６１２の３Ｄモデルを生成する。なお、電柱および電線の形態情報が予め記憶部２２０に格納されている場合には、物体モデル取得部２４４は、三次元点群データを用いずに、記憶部２２０に記憶された形態情報に基づいて３Ｄモデルを生成してよい。物体モデル取得部２４４は、生成した３Ｄモデルをその位置情報とともに重畳部２４６に伝達し、重畳部２４６は、生成された電柱６１０および電線６１２の３Ｄモデルを地形データに重畳する。

【0058】

物体モデル取得部２４４は、田んぼ６００の草についても物体モデルを生成するための情報を取得してよい。このとき、草の高さはドローン（無人航空機１０）の飛行高度に対し十分低いため、３Ｄモデルではなく、地形に対する高さのみの情報で物体モデルが生成され得る。物体モデル取得部２４４は、この情報も重畳部２４６に伝達し、重畳部２４６は、地形を底上げする形で田んぼ６００の草の物体モデルを地形データに重畳してよい。

【0059】

物体モデル取得部２４４は、たとえば画像に基づいて、ドローン６１４を認識できる。物体モデル取得部２４４は、記憶部２２０に格納されているドローン６１４の形態情報を取得し、ドローン６１４の３Ｄモデルを生成する。なお、物体モデル取得部２４４は、三次元点群データを用いたドローン６１４の形態情報を算出してよい。物体モデル取得部２４４は、生成したドローン６１４の３Ｄモデルとともにドローン６１４の位置情報を重畳部２４６に伝達する。重畳部２４６は、ドローンの６１４の位置情報に基づいて、地形データにドローン６１４の３Ｄモデルをさらに重畳する。

【0060】

重畳部２４６は、無人航空機１０の位置情報および姿勢情報に基づいて、各種の物体モデルが重畳された地形データに航空機モデルを重畳させる。このように、地形データに各種の物体モデルおよび航空機モデルが重畳されることにより、周囲環境モデルが生成される。このようにして生成された周囲環境モデルは、ユーザ端末４０に送信される。ユーザ端末４０は、たとえば操縦装置３０から送信された信号に基づき、仮想空間における視点を決定し、決定した視点から見た周囲環境モデルの３Ｄ映像データを生成し、表示装置５０にその３Ｄ映像データを送信する。表示装置５０は、この３Ｄ映像データを用いて映像を表示する。

【0061】

図５に示すように、周囲環境モデルに基づき生成された画像には、地形データに基づく３Ｄモデルである地形モデル７０、各種の物体モデルおよび航空機モデル７２０が含まれる。地形モデル７０は、田んぼ６００の地表を表す３Ｄモデル７００および鉄塔６０２の３Ｄモデル７０２を含む。また、物体モデルは、電柱６１０の３Ｄモデル７１０、電線６１２の３Ｄモデル７１２およびドローン６１４の３Ｄモデル７１４を含む。無人航空機１０の操縦者は、図５に示されるような航空機モデル７２０を含む三人称視点の映像を見ながら無人航空機１０を操縦できる。

【0062】

図６は、本発明の一実施形態に係る映像表示システム１の動作例を示すフローチャートである。以下、図６に示すフローチャートに沿って、映像表示システム１の動作例を説明する。

【0063】

まず、無人航空機１０は、物体および自機に関する各種の情報を取得する（Ｓ１０１）。具体的には、無人航空機１０は、映像データ、三次元点群データ、センサ情報および位置情報などを取得する。次いで、無人航空機１０は、Ｓ１０１において取得した情報をサーバ２０に送信する（Ｓ１０３）。

【0064】

サーバ２０は、無人航空機１０から送信された情報に基づいて、物体モデルおよび航空機モデルに関する情報を取得する（Ｓ１０５）。次いで、サーバ２０は、地形データに物体モデルおよび航空機モデルを重畳することによって周囲環境モデルを生成する（Ｓ１０７）。次いで、サーバ２０は、生成した周囲環境モデルをユーザ端末４０に送信する（Ｓ１０９）。

【0065】

ユーザ端末４０は、仮想的な三次元空間において周囲環境モデルを見る視点を決定する（Ｓ１１１）。このとき、ユーザ端末４０は、操縦者の指示に応じて視点を決定してよい。ユーザ端末４０は、決定した視点から見た周囲環境モデルの３Ｄ映像データを表示装置５０に送信する（Ｓ１１３）。表示装置５０は、３Ｄ映像データに基づいて３Ｄ映像を表示する（Ｓ１１５）。

【0066】

本実施形態に係る映像表示システム１によれば、地形、障害物などの物体、自機を３Ｄモデルとして合成し、合成した３Ｄモデルを用いて任意の視点の映像を表示できる。このため、本実施形態に係る映像表示システム１は、現実空間と同様の状況を仮想空間上に実現し、その仮想空間を自機を含めた映像として出力できる。したがって、仮想空間における三人称視点の映像を実現できる。

【0067】

上述のように、特許文献１および２では、三人称視点の映像を実現するために、特別なハードウェアを用意する必要があった。本実施形態に係る映像表示システム１によれば、特別なハードウェアを用意しなくとも、三人称視点の映像を実現できる。具体的には、本実施形態に係る映像表示システム１によれば、無人航空機が、前方を映すカメラ、位置情報を取得するための装置（たとえばＧＰＳ受信機など）および通信装置を備えていれば、どのような無人航空機についても三人称視点の映像を提供できる。したがって、本実施形態に係る映像表示システム１によれば、仮想空間における三人称視点の無人航空機の映像を簡便に実現できる。

【0068】

また、本実施形態に係る映像表示システム１によれば、生成した周囲環境モデルあるいは周囲環境モデルに基づく映像データをインターネット配信できる。これにより、世界のどこからでも、仮想空間における三人称視点の映像を見ることができ、その映像を見ながら無人航空機を遠隔で操縦することが可能となる。

【0069】

２０２２年より、ドローンは、リモートＩＤの発信が義務づけられている。リモートＩＤの情報には、たとえば登録番号、製造番号および位置情報などが含まれている。映像表示システム１は、リモートＩＤの情報を収集することにより、自機の３Ｄモデルの生成と同様に他機の３Ｄモデルを生成できる。他機の３Ｄモデルを周囲環境モデルに加えることにより、自機と他機との位置関係を把握することが可能となる。

【0070】

また、映像表示システム１は、無人航空機１０が飛行するに際してのリスクに応じた色を付した映像を表示してよい。具体的には、サーバ２０の生成部２４０は、リスクに応じた色を空間グリッドに付して周囲環境モデルを生成してよい。たとえば、生成部２４０は、定常的に事故の起き易い場所にそのリスクを示す色（たとえば赤色など）を付して周囲環境モデルを生成してよい。あるいは、生成部２４０は、無人航空機１０が衝突する可能性が比較的高い障害物または他のドローンなどに、そのリスクを示す色で表現してよい。これにより、３Ｄ映像では、自機が衝突しやすい場所、物体およびその近傍がリスクを示す色で表示される。これにより、操縦者は、３Ｄ映像に表示される色を無人航空機１０に安全地帯を飛行させるための指針とし、たとえばその色を避けるように無人航空機１０を操縦できる。

【0071】

一人称視点（ＦＰＶ）で映像が表示される場合には、臨場感があるものの、操縦者は、自機と周辺の障害物との距離感覚をつかみにくく、自機が障害物と衝突する危険が生じ易い。ドローンが障害物を回避するように操縦を行うためには練習が必要となる。一方、三人称視点は、無人航空機１０の外から捉えた視点であり、三人称視点の映像では、自機を含む周囲環境が映されるため、自機と障害物などとの位置関係は、一人称視点と比べて認識し易い。このため、操縦者は、三人称視点の映像を見ることにより、無人航空機１０の飛行の妨げとなる障害物に気づき、接触危険性を判断して、必要な場合には回避操縦を実施し、無人航空機１０が障害物と接触することによる墜落事故を抑制できる。

【0072】

本実施形態に係る映像表示システム１は、各種の分野で利用され得る。たとえば、ドローンを無人航空機１０に使用し、物流、監視、点検および農林業において、特に周辺に障害物が存在する空間をドローンが飛行する場合などに広く利用できる。

【0073】

John Thomasonらが発表した参考文献１では、仮想空間上でロボットを操作する際の視覚支援をドローンに応用する操作方法が報告されており、仮想空間を作成する仕組みが説明されている。この仕組みによると、高視野角カメラで取得した３ＤポイントクラウドデータをＬＳＤ－ＳＬＡＭ（Large-Scale Direct Monocular Simultaneous Localization and Mapping）と呼ばれるアルゴリズムで空間にマッピングし、現実世界を模した仮想空間が再現される。この仮想空間にドローンのモデルを重ねることによって、三人称視点が構築される。

【0074】

参考文献１に記載の方法では、仮想空間に現実空間を模し、設定した視点からの仮想空間の映像を表示し、操縦者はドローンを操縦する。ただし、参考文献１では、静的な環境に対しての三人称視点が前提となっており、移動体はノイズとして扱われる。実際には、空間および地上には移動する障害物が存在するが、参考文献１の方法ではそれらが映像化されない点が課題となる。また、ＬＳＤ－ＳＬＡＭにて空間の点群データを処理する方法は、計算機負荷が高く、遅延が発生する。その点は参考文献１においても示されている。

【0075】

本実施形態に係る映像表示システム１では、障害物と地形とを別々に３Ｄモデルとして生成し、これらの３Ｄモデルを合成することによって周囲環境モデルを生成する。その結果、大きなデータとなる地形については地図データから取得して地形の３Ｄモデルを仮想空間に生成し、無人航空機１０の位置情報に基づき航空機モデルを仮想空間に生成する。このため、無人航空機１０からリアルタイムに地形に関するデータを伝送する必要はない。

【0076】

加えて、本実施形態に係る地形データは、各点（Ｘ，Ｙ，Ｚ）にカラーの数値データが必要な３Ｄポイントクラウドデータではなく、ＸＹ平面に対する高さのみのデータである。これにより、地形に関するデータの伝送量および仮想空間の計算量を大幅に削減できる。

【0077】

障害物については、無人航空機１０に搭載された前方を写すカメラを用いて映像データを取得し、三次元点群データを取得する。障害物を検知した時点で障害物を３Ｄモデル化し、以後はカメラの画像データなどに基づいて障害物の位置情報を推定し、３Ｄモデルを再配置する方法とする。このため本実施形態では、リアルタイムで障害物の三次元点群データを取得して３Ｄモデルを配置する場合よりも、１つ１つの障害物に関して少ない情報で障害物の３Ｄモデルを実現できる。

【0078】

なお、障害物は、それが何か（たとえば物体の種別など）ということと、自機と障害物との位置関係をつかめることができれば十分であるため、忠実に障害物を模写した３Ｄモデルを生成する必要はない。あらかじめ形態（形状および大きさなど）が明らかな物体（たとえば、自動車および人など）には、予め標準化した３Ｄモデルを使うこともできる。以上は、本実施形態に係るサーバ２０の物体モデル取得部２４４で分離し、それを重畳部２４６で再合成する構成により実現される。

【0079】

参考文献２に係るゼミ発表資料「ポイントクラウドデータを用いた三人称視点ドローンの検討」には、仮想空間の映像を見ながらドローンを操縦する利点が示され、三人称視点を生成する様子が描かれている。しかしながら、参考文献２では、参考文献１と同様に、すべての３Ｄモデルが３Ｄポイントクラウドデータを使用して生成されている。したがって、参考文献２に記載の方法では、３Ｄモデルを生成するための処理が重く、また、移動する障害物に対応ができない。

【0080】

なお、参考文献１，２には記載はないが、いずれの文献も屋内を想定していると考えられる。屋内では、ＧＰＳおよびＧＮＳＳを使えないため、自機と周辺の物体との位置関係を取得するためには、カメラ映像を利用するＬＳＤ－ＳＬＡＭなどを使う必要がある。また、ドローンが飛行する空間が限られるため、他の移動する障害物を考慮する必要はない。

【0081】

一方、本実施形態に係る映像表示システム１は、市街地における目視外での飛行（レベル４）を見越したものであり、ＧＰＳおよびＧＮＳＳを用いて自機の位置情報をリアルタイムに取得できることを利用する。また、本実施形態に係る映像表示システム１は、地上も含め移動体が多い市街地環境を想定する。本実施形態に係る映像表示システム１は、地形と障害物とで３Ｄモデルを分離し、操縦者の近傍（たとえば地上ＰＣなど）で３Ｄモデルを合成する。これにより、データ伝送の負荷および計算負荷を下げ、リアルタイムに操縦者を映像で支援できる。

【0082】

（参考文献）
１．John Thomason, Photchara Ratsamee, Kiyoshi Kiyokawa, Pakpoom Kriangkomol, Jason Orlosky, Tomohiro Mashita, Yuki Uranishi, Haruo Takemura, "Adaptive View Management for Drone Teleoperation in Complex 3D Structures", Intelligent User Interface, 2017, p.419-p.426
２．https://dl.acm.org/doi/abs/10.1145/3025171.3025179

【0083】

［ハードウェア構成］
図７は、本発明の一実施形態に係るサーバ２０およびユーザ端末４０のハードウェア構成を示す図である。サーバ２０およびユーザ端末４０は、プロセッサ９０、記憶装置９２、入力操作を受け付ける入力装置９４および情報の出力を行う出力装置９６を備える。プロセッサ９０は、ＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphical Processing Unit）などを含む。記憶装置９２は、メモリ、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）などを含む。入力装置９４は、たとえば、キーボード、タッチパネル、マウスおよびマイクなどを含む。出力装置９６は、たとえば、ディスプレイ、タッチパネルおよびスピーカなどを含む。

【0084】

［応用例］
上記実施形態では、主として、無人航空機１０を屋外で操縦する例を説明した。これに限らず、無人航空機１０は、屋内で操縦されてよい。この場合、地形データは、たとえば、建物のレイアウトおよび配置されている固定物（たとえば机および棚など）に応じた高さ情報を平面上にマッピングしたデータであってよい。

【0085】

さらに、屋内の場合には、屋外と異なり天井が存在するため、地形データに加えて、天井の高さ情報を平面上にマッピングしたデータを利用してよい。この場合、サーバ２０は、たとえばカメラなどによって取得された三次元点群データから、地形の高さよりも高く、天井の高さよりも低い位置に存在する部分を物体の三次元点群データとして抽出してよい。サーバ２０は、この三次元点群データを用いて上記実施形態と同様にして、物体モデルを生成できる。

【0086】

［補足］
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0087】

上記実施形態では、無人航空機１０、サーバ２０、操縦装置３０、ユーザ端末４０および表示装置５０が、それぞれ別体である例を説明した。これに限らず、いずれかの装置の機能が複数の装置によって実現されてもよいし、複数の装置の機能が１つの装置によって実現されてもよい。たとえば、サーバ２０がユーザ端末４０の視点を決定する機能を有してよい。また、無人航空機１０が周囲環境モデルを生成する装置を搭載してもよいし、ユーザ端末４０がサーバ２０の周囲環境モデルを生成する機能を有してよい。さらに、ユーザ端末４０および表示装置５０が一体的に構成されてもよい。

【符号の説明】

【0088】

１ 映像表示システム、１０ 無人航空機、２０ サーバ（情報処理装置）、３０ 操縦装置、４０ ユーザ端末、５０ 表示装置、７０ 地形モデル、１００ 取得部、１０２ カメラ、１０４ センサ部、１０６ 位置情報取得装置、２２０ 記憶部、２４０ 生成部、２４２ 航空機モデル取得部、２４４ 物体モデル取得部、２４６ 重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】