特許 7542597 映像合成装置、無人移動体、および映像合成表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-22

(45)【発行日】2024-08-30

(54)【発明の名称】映像合成装置、無人移動体、および映像合成表示システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240823BHJP

   H04N 23/63 20230101ALI20240823BHJP

   B64U 10/13 20230101ALI20240823BHJP

   B64U 20/87 20230101ALI20240823BHJP

   G08G 5/00 20060101ALI20240823BHJP

   B64U 101/30 20230101ALN20240823BHJP

【ＦＩ】

H04N7/18 U

H04N23/63 300

B64U10/13

B64U20/87

G08G5/00 A

B64U101:30

【請求項の数】 10

(21)【出願番号】P 2022209131

(22)【出願日】2022-12-27

(65)【公開番号】P2024093034

(43)【公開日】2024-07-09

【審査請求日】2023-07-12

(73)【特許権者】

【識別番号】397036309

【氏名又は名称】株式会社インターネットイニシアティブ

(73)【特許権者】

【識別番号】521092351

【氏名又は名称】吉野 裕仁

(74)【代理人】

【識別番号】110003166

【氏名又は名称】弁理士法人山王内外特許事務所

(72)【発明者】

【氏名】末永 洋樹

(72)【発明者】

【氏名】新 麗

(72)【発明者】

【氏名】島津 佳裕

(72)【発明者】

【氏名】吉野 裕仁

【審査官】塚本 丈二

(56)【参考文献】

【文献】特開２０１８－３２９５８（ＪＰ，Ａ）

【文献】特開２０１６－１１９６２７（ＪＰ，Ａ）

【文献】国際公開第２０１９／０１２８１７（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０１３０８３０（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０９６５６３１９（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１３７３７４３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６３

Ｂ６４Ｕ １０／１３

Ｂ６４Ｕ ２０／８７

Ｇ０８Ｇ ５／００

Ｂ６４Ｕ １０１／３０

(57)【特許請求の範囲】

【請求項1】

撮影する撮影方向が固定された固定カメラを備える操縦者システムから、前記固定カメラにより撮影される第１の映像および前記固定カメラの画角を取得する操縦者システム情報取得部と、
撮影する撮影方向が可変である可動カメラを備える利用者システムから、前記可動カメラが指向する指向方向を取得する利用者システム情報取得部と、
その取得された可動カメラの指向方向がその取得された固定カメラの画角の範囲内か否かを判定して画角判定結果を出力する画角判定部と、
その出力された画角判定結果に応じて、その取得された第１の映像と前記可動カメラが撮影するオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する重畳部と、
を備える映像合成装置。

【請求項2】

前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラにより撮影される映像を重畳する、
請求項１に記載された映像合成装置。

【請求項3】

前記利用者システム情報取得部は、前記利用者システムから、前記可動カメラにより撮影される映像が表示される画面上の位置を示す位置情報を更に取得し、
前記重畳部は、前記オブジェクト情報として、前記位置情報により示される位置に相当する表示領域上の位置に、ポインタを更に重畳する、
請求項２に記載された映像合成装置。

【請求項4】

前記利用者システム情報取得部は、特定の時刻を指定するタイミング信号を前記利用者システムから更に取得し、
前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラにより撮影される映像の前記特定の時刻におけるフレーム画像を重畳する、
請求項１に記載された映像合成装置。

【請求項5】

前記利用者システム情報取得部は、前記利用者システムから、前記第１の映像と重畳するための重畳用資料を更に取得し、
前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、その取得された重畳用資料を重畳する、
請求項１に記載された映像合成装置。

【請求項6】

前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラの指向方向を示す第１のインジケータを重畳する、
請求項１に記載された映像合成装置。

【請求項7】

前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内でないことを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラの指向方向を示す第２のインジケータを重畳する、
請求項１に記載された映像合成装置。

【請求項8】

前記操縦者システム情報取得部は、映像の合成を行うか否かを示す合成肯否情報を前記操縦者システムから更に取得し、
前記重畳部は、
その取得された合成肯否情報が映像の合成を行うことを示す場合、前記合成を行い、
前記取得された合成肯否情報が映像の合成を行わないことを示す場合、前記取得された第１の映像と前記オブジェクト情報とを重畳せずに、前記取得された第１の映像を出力する、
請求項１から７のいずれか１項に記載された映像合成装置。

【請求項9】

前記固定カメラと、
前記可動カメラと、
請求項１から７のいずれか１項に記載された映像合成装置と、
を備える無人移動体。

【請求項10】

請求項１から７のいずれか１項に記載された映像合成装置と、
前記映像合成装置により生成された合成映像を表示する表示装置と、
を備える映像合成表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像合成技術に関する。

【背景技術】

【0002】

地震や洪水により被災した場所における救助や復興のため、ドローンやローバ等の無人移動体を活用した活動への期待が寄せられている。このような活動に利用しうる技術として、例えば特許文献１に開示されている無人航空機を活用することが考えられる。特許文献１には、無人航空機の進行方向の映像を撮影可能な固定カメラと、固定カメラとは異なる映像を撮影可能な可動カメラと、を備える無人航空機が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７２１０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の無人航空機を活用する場合、操縦者が無人航空機を操縦し、指示者が操縦者に対して無人航空機を飛行させたい方向や高度等に関する飛行指示を与えるという利用形態が考えられる。このような利用形態は、２人以上の者により運用されるシステムであるので、以下では２オペレーションシステムと称する場合がある。

【0005】

このような２オペレーションシステムによる場合、固定カメラにより撮影された映像を操縦者用のディスプレイに表示するとともに、可動カメラにより撮影された映像を指示者用のディスプレイに表示することが考えられる。

【0006】

しかしながら、固定カメラと可動カメラにより撮影される対象が異なるので、指示者が操縦者に対して飛行指示を適切に与えることが困難である。

【0007】

このような困難性を解消するために、可動カメラが固定カメラと同一の方向を向くようにすることが考えられる。具体的には、可動カメラに対してリセット信号を送信して可動カメラが正面を向くようにさせることが考えられるが、飛行指示を与える度にいちいちリセット信号を送信することは煩雑であるという課題がある。

【0008】

本開示は、このような課題を解決するためになされたものであり、無人移動体の２オペレーションシステムにおいて、指示者が操縦者に対して無人移動体の移動方向に関する指示を容易に与えることが可能となるような映像合成技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の実施形態による映像合成装置の一側面は、撮影する撮影方向が固定された固定カメラを備える操縦者システムから、前記固定カメラにより撮影される第１の映像および前記固定カメラの画角を取得する操縦者システム情報取得部と、撮影する撮影方向が可変である可動カメラを備える利用者システムから、前記可動カメラが指向する指向方向を取得する利用者システム情報取得部と、その取得された可動カメラの指向方向がその取得された固定カメラの画角の範囲内か否かを判定して画角判定結果を出力する画角判定部と、その出力された画角判定結果に応じて、その取得された第１の映像と前記可動カメラが撮影するオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する重畳部と、を備える。

【発明の効果】

【0010】

本開示の実施形態による映像合成装置によれば、操縦者に提示するための映像として、固定カメラにより撮影される映像と可動カメラが撮影するオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する。したがって、操縦者は、固定カメラの映像だけでなく、可動カメラが撮影するオブジェクトに関するオブジェクト情報をも確認できるので、指示者が操縦者に対して無人移動体の移動方向に関する指示を容易に与えることが可能となる。

【図面の簡単な説明】

【0011】

【図1】無人移動体を含むシステムの構成例を示す図である。

【図2】映像合成装置を備える無人移動体のシステムの構成例を示す図である。

【図3】映像合成装置のハードウェアの構成例を示す図である。

【図4】映像合成装置の動作例を示す図である。図４Ａは、指示者用画面に表示される映像の例を示す図である。図４Ｂは、操縦者用画面に表示される映像の例を示す図である。

【図5】映像合成装置の動作例を示す図である。図５Ａは、指示者用画面に表示される重畳用資料の例を示す図である。図５Ｂは、操縦者用画面に表示される映像の例を示す図である。

【図6】映像合成装置の動作例を示す図である。操縦者用画面に表示される映像の例を示す図である。

【図7】映像合成装置の動作例を示す図である。操縦者用画面に表示される映像の例を示す図である。

【図8】映像合成方法のフローチャートである。

【発明を実施するための形態】

【0012】

以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。

【0013】

＜システム構成＞
図１および図２を参照して、本開示の実施形態による無人移動体を含むシステムの全体的構成、および無人移動体に係るシステムの概略について説明をする。図１は、無人移動体が空中を飛行するドローン２である場合のシステムの構成例を示す図である。無人移動体は、ドローン２以外にも、例えば地上を走行する不図示のローバや、水中を移動する不図示の水中ドローンであってもよい。ドローン２には、操縦者Ｐ１の用に供される固定カメラ２１５が搭載されている。また、ドローン２には、主に指示者Ｐ２の用に供され、操縦者Ｐ１の用にも供される可動カメラ２２２が搭載されている。

【0014】

また、図２に示されているように、ドローン２には、固定カメラ２１５を備える操縦者システム２１、可動カメラ２２２を備える利用者システム２２、映像合成装置２３、および送信機２４が搭載されている。映像合成装置２３により生成された合成映像は、一例として、送信機２４により送信される。

【0015】

リモートコントローラ１は、操縦者Ｐ１により操作され、ドローン２の飛行に関する操作信号を無線ネットワークＮ１を介して送信する。

【0016】

また、リモートコントローラ１は、固定カメラ２１５により撮影される映像と、可動カメラ２２２が撮影するオブジェクトに関するオブジェクト情報とを重畳するかどうかを示す合成肯否情報をユーザ操作に基づいて受け付け、受け付けた重畳肯否情報を無線ネットワークＮ１を介して送信する。操縦者Ｐ１による重畳肯否情報の入力は、例えば、リモートコントローラ１に設けられるメカニカルスイッチにより行われるが、ソフトウェアキーまたは音声入力により行われてもよい。

【0017】

また、図１に示されているように、リモートコントローラ１は、一例として、映像合成装置２３により生成された合成映像を表示するための表示装置を備える。表示装置は、リモートコントローラ１と一体である必要はなく、例えば、操縦者Ｐ１が装着して用いる不図示のヘッドマウンとして実現されていてもよい。

【0018】

操作端末３は、例えばタッチセンサを備えた表示装置である。指示者Ｐ２は、操作端末３を操作して、ドローン２に搭載された可動カメラ２２２の向きに関する指示（操作信号とも称する。）を与える。操作端末３は、可動カメラ２２２の向きに関する指示を受け付けて、受け付けた指示に従った信号を無線ネットワークＮ２を介して送信するとともに、可動カメラ２２２により撮影された映像を無線ネットワークＮ２を介して受信して、受信した映像を操作端末３の表示部に表示する。なお、操作端末３から送信された信号はドローン２に搭載された送受信器２２３により受信され、操作端末３が受信する信号は送受信器２２３から送信される。

【0019】

また、操作端末３は、ユーザ操作に基づいて、指示者Ｐ２の表示画面上のタッチ位置を取得して、取得したタッチ位置をドローン２に向けて送信してもよい。

【0020】

また、操作端末３は、ユーザ操作に基づいて、操縦者Ｐ１に提示したいテキストファイルまたは画像ファイルなどの重畳用資料をドローン２に向けて送信してもよい。以下、操作端末３からドローン２に送信される重畳用資料を、「送信資料」と称する場合がある。なお、重畳用資料は、ドローン２が離陸する前に、メモリ２００へアップロードしておいてもよい。

【0021】

また、操作端末３は、ユーザ操作に基づいて、操作端末３に表示される映像の特定のフレーム画像を指定するタイミング信号を受け付け、受け付けたタイミング信号をドローン２に向けて送信してもよい。

【0022】

また、指示者Ｐ２は、操縦者Ｐ１に対して、ドローン２に関する飛行指示を与える。飛行指示には、例えば、どの方向へ飛行させるかという方向に関する指示や、どれくらいの高さで飛行させるかという高度に関する指示が含まれる。指示者Ｐ２と操縦者Ｐ１が互いに近い距離に存在する場合、指示者Ｐ２は操縦者Ｐ１に対して飛行指示を直接口頭で与えてよい。指示者Ｐ２と操縦者Ｐ１が互いに離れた距離に存在する場合、指示者Ｐ２は操縦者Ｐ１に対して飛行指示を通信回線を介して与えてよい。

【0023】

操作端末３がドローン２から遠距離にあり電波が届かない場合、ドローン４およびドローン５のような中継機を介して通信を行ってもよい。また、地上設備として中継車６を備えてもよい。中継車６を安定した電源および通信路を確保できる場所に配置することにより、ドローン２に搭載されたカメラにより撮影された映像をクラウド７へ中継して、クラウド７上で中継された画像を録画してもよい。

【0024】

＜ドローンの構成＞
次に、図２を参照して、無人移動体としてのドローン２の構成について説明をする。図２に示されているように、ドローン２は、一例として、操縦者システム２１、利用者システム２２、映像合成装置２３、および送信機２４を備える。操縦者システム２１は、ドローン２の操縦、即ちドローン２自体の移動を司るシステムである。利用者システム２２は、ドローン２に搭載される特別の装置に関する処理を司るシステムであり、本実施形態では可動カメラ２２２により撮影される映像に関する処理を行う。利用者システム２２が操縦者システム２１と干渉してドローン２の飛行に影響を与えないようにするため、操縦者システム２１と利用者システム２２は独立したシステムとして構成されている。

【0025】

（操縦者システム）
操縦者システム２１は、一例として、フライトコントローラ２１１、ＧＮＳＳ（Global Navigation Satellite System）受信機２１２、コンパス２１３、高度計２１４、固定カメラ２１５、受信機２１６、およびＥＳＣ（Electronic Speed Controller）２１７を備える。なお、ＥＳＣ２１７は、モータ等の不図示のアクチュエータの数だけ備えられる。フライトコントローラ２１１は、制御部２１１１および入出力部２１１２を備える。

【0026】

受信機２１６は、リモートコントローラ１から送信されたドローン２の操作信号を受信する。操作信号の例には、ドローン２の飛行姿勢に関する信号および飛行速度に関する信号が含まれる。操作信号には、受信機２１６は、受信した操作信号をフライトコントローラ２１１へ出力する。

【0027】

フライトコントローラ２１１は、ＧＮＳＳ受信機２１２、コンパス２１３、および高度計２１４等のセンサ機器から出力されるセンシングデータに基づいて、ドローン２の位置および姿勢を安定させる。このような機能を実現するために、フライトコントローラ２１１は、制御部２１１１および入出力部２１１２を備える。入出力部２１１２がセンサ機器から出力されるセンシングデータを取得して、制御部２１１１が取得したセンシングデータに基づいて公知の演算を行ってＥＳＣ２１７を制御する制御信号を算出し、入出力部２１１２が算出された制御信号を出力する。また、フライトコントローラ２１１は、操作信号に従った飛行をするように、ＥＳＣ２１７へ制御信号を出力する。ＥＳＣ２１７は不図示のアクチュエータに電気的に接続されており、入出力部２１１２から出力された制御信号に応じてアクチュエータの回転数を制御する。なお、位置の特定は、ＧＮＳＳ受信機２１２を用いて行うことに代えて、またはＧＮＳＳ受信機２１２を用いて行うとともに、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging）等の他の位置特定法を用いて行ってもよい。

【0028】

また、入出力部２１１２は、固定カメラ２１５が撮影した映像を取得して、取得した映像を映像合成装置２３へ出力する。

【0029】

（利用者システム）
利用者システム２２は、制御装置２２１、可動カメラ２２２、および送受信機２２３を備える。制御装置２２１は、制御部２２１１および入出力部２２１２を備える。

【0030】

送受信機２２３は、操作端末３から送信される可動カメラ２２２に関する操作信号を受信して、受信した操作信号を出力する。入出力部２２１２は出力された操作信号を受け付け、制御部２２１１は受け付けられた操作信号に従って可動カメラ２２２の方向を制御する。

【0031】

また、送受信機２２３は、操作端末３から送信された画像ファイル等の送信資料を受信した場合、受信した送信資料を制御装置２２１へ出力する。

【0032】

また、送受信機２２３は、操作端末３から送信されたタイミング信号を受信した場合、受信したタイミング信号を制御装置２２１へ出力する。

【0033】

また、制御装置２２１は、可動カメラ２２２により撮影された映像を可動カメラ２２２から取得して、取得した映像を送受信機２２３および映像合成装置２３へ出力する。送受信機２２３へ出力された映像は、無線ネットワークＮ２を介して操作端末３へ送信され、操作端末３上に表示される。

【0034】

また、制御装置２２１は、送受信機２２３から画像ファイル等の送信資料を受信した場合、受信した送信資料を映像合成装置２３へ出力する。

【0035】

また、制御装置２２１は、送受信機２２３からタイミング信号を受信した場合、受信したタイミング信号を映像合成装置２３へ出力する。

【0036】

（映像合成装置）
映像合成装置２３は、操縦者システム２１から操縦者システム情報を取得するとともに、利用者システム２２から利用者システム情報を取得して、取得した操縦者システム情報および利用者システム情報に基づいて、固定カメラ２１５により撮影される映像（第１の映像）と、可動カメラ２２２により撮影されるオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する装置である。このような目的を達成するために、映像合成装置２３は、図２に示されているように、操縦者システム情報取得部２３１、利用者システム情報取得部２３２、および合成部２３３を備える。また、合成部２３３は、画角判定部２３３１および重畳部２３３２を備える。以下、映像合成装置２３が備える各機能部について説明をする。

【0037】

（操縦者システム情報取得部）
操縦者システム情報取得部２３１は、操縦者システム２１から、操縦者システム情報を取得する。操縦者システム情報の例には、合成肯否情報、固定カメラ２１５の画角、および固定カメラ２１５により撮影された映像が含まれる。操縦者システム情報取得部２３１は、取得したこれらの情報を合成部２３３へ伝送する。

【0038】

（利用者システム情報取得部）
利用者システム情報取得部２３２は、利用者システム２２から、利用者システム情報を取得する。利用者システム情報の例には、可動カメラ２２２が指向する指向方向、可動カメラ２２２により撮影された映像、送信資料（重畳用資料）、タイミング信号が含まれる。利用者システム情報取得部２３２は、取得したこれらの情報を合成部２３３へ伝送する。

【0039】

（画角判定部）
画角判定部２３３１は、可動カメラ２２２の指向方向が、固定カメラ２１５により撮影される映像の画角の範囲内であるか否かを判定し、判定の結果を画角判定結果として出力する。

【0040】

（重畳部）
重畳部２３３２は、合成肯否情報が示す内容および画角判定部２３３１の判定結果に応じて、固定カメラ２１５により撮影される映像とオブジェクト情報とを公知技術に従って重畳して、重畳した映像を合成映像として出力する。オブジェクト情報には、例えば、可動カメラ２２２により撮影される映像、タッチ位置を示すポインタ、送信資料（重畳用資料）、可動カメラ２２２が向いている方向を示すインジケータ（Ｉ１、Ｉ２）が含まれる。

【0041】

重畳部２３３２は、合成肯否情報が合成の肯定を示す場合において、可動カメラ２２２の指向方向が固定カメラ２１５により撮影される映像の画角の範囲内であるとき、一例として、可動カメラ２２２により撮影される映像と固定カメラ２１５により撮影される映像とを重畳する。重畳により固定カメラ２１５により撮影される映像の視認性が害されないように、可動カメラ２２２の映像を重畳する位置は、固定カメラ２１５の映像１１内における周辺、例えば表示領域１２に配置するのが適切であると考えられる。具体的な配置箇所は、操縦者Ｐ１等の操縦者システム２１を運用する者が最も適切であると考える位置を事前に決定した位置である。重畳により表示する位置の決定は、操縦者Ｐ１等の運用者が決定すべきことであるので、指示者Ｐ２は関わらない。

【0042】

このように、映像の合成をドローン２に搭載された映像合成装置２３により行うことにより、操縦者Ｐ１向けの映像の遅延を最小限に抑えることが可能となる。なお、機体設計の制約がある場合、複数の映像を地上設備で集約して、合成結果を操縦者Ｐ１に提供してもよいが、地上設備を経由することによる追加の遅延に配慮することが重要となる。

【0043】

なお、指示者Ｐ２の操作端末３に表示するための可動カメラ２２２の映像３１は、送受信機２２３から送信されて、操作端末３の表示画面に表示される。

【0044】

重畳する際、図４Ａおよび図４Ｂに示されているように、ポインタＰを更に重畳してもよい。ポインタＰは、指示者Ｐ２がドローン２に近づいてもらいたいと考えるターゲットを示す情報である。このようにポインタＰを重畳するために、利用者システム情報取得部２３２は、利用者システム２２から、可動カメラ２２２により撮影される映像が表示される画面（例えば、操作端末３の表示画面）上において指示者Ｐ２が指定する位置を示す位置情報を取得する。このような位置情報は、例えば、指示者Ｐ２がタッチセンサを備える操作端末３の表示画面をタッチすることにより取得され、無線ネットワークＮ２を介して取得する。重畳部２３３２は、その位置情報により示される位置に相当する表示領域上の位置にポインタＰを重畳する。すなわち、重畳部２３３２は、可動カメラ２２２により撮影される映像内において前記位置情報により示される位置にポインタＰを重畳し、重畳した可動カメラ２２２の映像を固定カメラ２１５の映像内の所定の表示領域１２に重畳する。

【0045】

なお、可動カメラ２２２により撮影される映像をリアルタイムで重畳するのでなく、タイミング信号で指定された時刻におけるフレーム画像を重畳してもよい。

【0046】

重畳部２３３２は、図５Ａおよび図５Ｂに示されているように、可動カメラ２２２により撮影される映像に代えて、送信資料（重畳用資料）３２を重畳してもよい。すなわち、重畳部２３３２は、合成肯否情報が合成の肯定を示す場合において、可動カメラ２２２の指向方向が固定カメラ２１５により撮影される映像の画角の範囲内であるとき、送信資料３２を固定カメラ２１５により撮影される映像１１内における所定の表示領域１２に重畳してもよい。

【0047】

また、重畳部２３３２は、図６に示されているように、可動カメラ２２２が向いている方向（指向方向）を示すインジケータＩ１（第１のインジケータ）を重畳してもよい。すなわち、重畳部２３３２は、合成肯否情報が合成の肯定を示す場合において、可動カメラ２２２の指向方向が固定カメラ２１５により撮影される映像の画角の範囲内であるとき、インジケータＩ１と固定カメラ２１５により撮影される映像１１とを重畳してもよい。インジケータＩ１の画像は、重畳部２３３２が、例えばメモリ２００から取得する。

【0048】

固定カメラ２１５の搭載位置・画角・方向と、可動カメラ２２２の搭載位置・(サーボ位置がニュートラルの場合の)画角・方向の関係はドローン２の組立て時に物理形状の一部として定まる。この情報を予め登録しておき、登録した情報と、現在の可動カメラ２２２の方向（サーボモータの位置）の情報と組み合わせることで、固定カメラ２１５の画角内で可動カメラ２２２の方向がどこに位置するかを算出できる。

【0049】

また、可動カメラ２２２の指向方向が固定カメラ２１５により撮影される映像の画角の範囲内でないとき、重畳部２３３２は、図７に示されているように、可動カメラ２２２が向いている方向を示すインジケータであって、インジケータＩ１と異なるインジケータＩ２（第２のインジケータ）を重畳してもよい。すなわち、重畳部２３３２は、合成肯否情報が合成の肯定を示す場合において、可動カメラ２２２の指向方向が固定カメラ２１５により撮影される映像の画角の範囲内でないとき、インジケータＩ２と固定カメラ２１５により撮影される映像とを重畳してもよい。インジケータＩ２の画像は、重畳部２３３２が、例えばメモリ２００から取得する。

【0050】

また、重畳部２３３２は、合成肯否情報が合成の否定を示す場合、固定カメラ２１５の映像とオブジェクト情報とを重畳せずに、固定カメラ２１５の映像を出力する。このようにオブジェクト情報を重畳しない機能が備えられることにより、オブジェクト情報の表示位置が操縦者Ｐ１の操縦を阻害しているような場合に、操縦者Ｐ１は合成しないことを選択することによりドローン２の操縦に専念することが可能となる。

【0051】

映像合成装置２３は、一例として、合成された後の映像である合成映像を送信機２４へ出力し、送信機２４は出力された合成映像を送信する。他の例として、受信機２１６が送信機能も有する場合には、受信機２１６を介して合成映像を送信してもよい。リモートコントローラ１は、送信された合成映像を受信して、例えば、リモートコントローラ１の表示画面に表示する。

【0052】

次に、図３を参照して、映像合成装置２３のハードウェアの構成例について説明をする。図３に示されているように、映像合成装置２３は、プロセッサ１００とメモリ２００により実現される。メモリ２００に格納されたプログラムがプロセッサ１００に読み出されて実行されることにより、映像合成装置２３が備える機能部が実現される。プログラムは、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組合せとして実現される。メモリ２００の例には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリが含まれる。

【0053】

＜動作＞
次に、図８を参照して、映像合成装置２３の動作について説明する。ステップＳＴ１において、操縦者システム情報取得部２３１は、撮影する撮影方向が固定された固定カメラ２１５を備える操縦者システム２１から、固定カメラ２１５により撮影される映像および固定カメラ２１５の画角を取得する。

【0054】

ステップＳＴ２において、利用者システム情報取得部２３２は、撮影する撮影方向が可変である可動カメラ２２２を備える利用者システム２２から、可動カメラ２２２が指向する指向方向を取得する。なお、ステップＳＴ１とステップＳＴ２は順不同である。

【0055】

ステップＳＴ３において、画角判定部２３３１は、利用者システム情報取得部２３２により取得された可動カメラ２２２の指向方向が操縦者システム情報取得部２３１により取得された固定カメラ２１５の画角の範囲内か否かを判定し、判定の結果である画角判定結果を出力する。

【0056】

ステップＳＴ４において、重畳部２３３２は、出力された画角判定結果に応じて、取得された固定カメラ２１５の映像と可動カメラ２２２が撮影するオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する。生成された合成映像は送信機２４により送信され、操縦者Ｐ１用の表示装置に表示される。

【0057】

以上のように、映像合成装置２３は、固定カメラ２１５の映像と、可動カメラ２２２が撮影するオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する。生成された合成映像は、操縦者Ｐ１に対して提示される。オブジェクト情報が重畳されることにより、指示者Ｐ２が視認するシーンまたは方向を操縦者Ｐ１に対して的確に提示することができる。したがって、指示者Ｐ２は、操縦者Ｐ１に対する飛行指示を、可動カメラ２２２の指向方向を正面を向くようにリセットすることなく容易に与えることができる。

【0058】

＜付記＞
以上で説明した種々の実施形態のいくつかの側面について、以下のとおりまとめる。

【0059】

（付記１）
付記１の映像合成装置（２３）は、撮影する撮影方向が固定された固定カメラを備える操縦者システムから、前記固定カメラにより撮影される第１の映像および前記固定カメラの画角を取得する操縦者システム情報取得部（２３１）と、撮影する撮影方向が可変である可動カメラを備える利用者システムから、前記可動カメラが指向する指向方向を取得する利用者システム情報取得部（２３２）と、その取得された可動カメラの指向方向がその取得された固定カメラの画角の範囲内か否かを判定して画角判定結果を出力する画角判定部（２３３１）と、その出力された画角判定結果に応じて、その取得された第１の映像と前記可動カメラが撮影するオブジェクトに関するオブジェクト情報とを重畳して合成映像を生成する重畳部（２３３２）と、を備える。

【0060】

（付記２）
付記２の映像合成装置は、付記１に記載された映像合成装置であって、前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラにより撮影される映像を重畳する。

【0061】

（付記３）
付記３の映像合成装置は、付記２に記載された映像合成装置であって、前記利用者システム情報取得部は、前記利用者システムから、前記可動カメラにより撮影される映像が表示される画面上の位置を示す位置情報を更に取得し、前記重畳部は、前記オブジェクト情報として、前記位置情報により示される位置に相当する表示領域上の位置に、ポインタを更に重畳する。

【0062】

（付記４）
付記４の映像合成装置は、付記１に記載された映像合成装置であって、前記利用者システム情報取得部は、特定の時刻を指定するタイミング信号を前記利用者システムから更に取得し、前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラにより撮影される映像の前記特定の時刻におけるフレーム画像を重畳する。

【0063】

（付記５）
付記５の映像合成装置は、付記１に記載された映像合成装置であって、前記利用者システム情報取得部は、前記利用者システムから、前記第１の映像と重畳するための重畳用資料を更に取得し、前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、その取得された重畳用資料を重畳する。

【0064】

（付記６）
付記６の映像合成装置は、付記１に記載された映像合成装置であって、前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内であることを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラの指向方向を示す第１のインジケータを重畳する。

【0065】

（付記７）
付記７の映像合成装置は、付記１に記載された映像合成装置であって、前記重畳部は、前記可動カメラの指向方向が前記固定カメラの画角の範囲内でないことを前記画角判定結果が示す場合、前記オブジェクト情報として、前記可動カメラの指向方向を示す第２のインジケータを重畳する。

【0066】

（付記８）
付記８の映像合成装置は、付記１から７のいずれか１つに記載された映像合成装置であって、前記操縦者システム情報取得部は、映像の合成を行うか否かを示す合成肯否情報を前記操縦者システムから更に取得し、前記重畳部は、その取得された合成肯否情報が映像の合成を行うことを示す場合、前記合成を行い、前記取得された合成肯否情報が映像の合成を行わないことを示す場合、前記取得された第１の映像と前記オブジェクト情報とを重畳せずに、前記取得された第１の映像を出力する。

【0067】

（付記９）
付記９の無人移動体（２）は、前記固定カメラ（２１５）と、前記可動カメラ（２２２）と、付記１から７のいずれか１つに記載された映像合成装置（２３）と、を備える。

【0068】

（付記１０）
付記１０の映像合成表示システムは、付記１から７のいずれか１つに記載された映像合成装置（２３）と、前記映像合成装置により生成された合成映像を表示する表示装置（１）と、を備える。

【0069】

なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。

【産業上の利用可能性】

【0070】

本開示の映像合成技術は、２オペレーションシステムにより運用されるドローン等の無人移動体システムにおいて、例えば、無人移動体システムに搭載された複数のカメラにより撮影された映像を合成する技術として用いることができる。

【符号の説明】

【0071】

１：リモートコントローラ（表示装置）
２：ドローン（無人移動体の例）
３：操作端末
４：ドローン
５：ドローン
６：中継車
７：クラウド
２１：操縦者システム
２２：利用者システム
２３：映像合成装置
２４：送信機
１００：プロセッサ
２００：メモリ
２１１：フライトコントローラ
２１２：ＧＮＳＳ受信機
２１３：コンパス
２１４：高度計
２１５：固定カメラ
２１６：受信機
２２１：制御装置
２２２：可動カメラ
２２３：送受信機
２３１：操縦者システム情報取得部
２３２：利用者システム情報取得部
２３３：合成部
２１１１：制御部
２１１２：入出力部
２２１１：制御部
２２１２：入出力部
２３３１：画角判定部
２３３２：重畳部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】