(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-13
(45)【発行日】2024-03-22
(54)【発明の名称】映像処理システム、映像処理装置、プログラム及び映像処理方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240314BHJP
B64G 1/66 20060101ALI20240314BHJP
【FI】
G06T19/00 600
B64G1/66 A
(21)【出願番号】P 2019155041
(22)【出願日】2019-08-27
【審査請求日】2022-08-16
【新規性喪失の例外の表示】特許法第30条第2項適用 (1)公開日: ・平成31年1月15日 ・平成31年4月16日 公開先: ・国立研究開発法人宇宙航空研究開発機構(東京都調布市深大寺東町7-44-1) ・宇宙技術開発株式会社(東京都中野区中野5-62-1) ・有人宇宙システム株式会社(東京都千代田区大手町1-6-1) (2)公開日: 令和1年7月17日 公開場所:株式会社電通本社(東京都港区東新橋1-8-1) (3)公開日: 令和1年7月23日 公開場所:株式会社バスキュール(東京都港区虎ノ門四丁目3番1号)
(73)【特許権者】
【識別番号】517127908
【氏名又は名称】株式会社バスキュール
(74)【代理人】
【識別番号】100201341
【氏名又は名称】畠山 順一
(74)【代理人】
【識別番号】100079005
【氏名又は名称】宇高 克己
(74)【代理人】
【識別番号】100154405
【氏名又は名称】前島 大吾
(72)【発明者】
【氏名】朴 正義
(72)【発明者】
【氏名】武田 誠也
【審査官】中田 剛史
(56)【参考文献】
【文献】特開2002-197009(JP,A)
【文献】特開2001-039398(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
B64G 1/66
(57)【特許請求の範囲】
【請求項1】
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、
少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの
前記オブジェクトレイヤーの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された
前記オブジェクトレイヤーを撮影した場合のオブジェクトレイヤー映像を生成する仮想映像生成部と、
前記
オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理システム。
【請求項2】
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、前記メッセージを
前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換するメッセージ取得部
と、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成部と、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理システム。
【請求項3】
前記重畳映像を配信する配信部を備える
請求項1
又は請求項2に記載の映像処理システム。
【請求項4】
前記飛行体は、天体を周回する衛星又は宇宙ステーションである
請求項1から
請求項3のいずれかに記載の映像処理システム。
【請求項5】
前記天体は、地球を含む惑星、衛星又は恒星である
請求項1から
請求項4のいずれかに記載の映像処理システム。
【請求項6】
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、
少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの
前記オブジェクトレイヤーの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された
前記オブジェクトレイヤーを撮影した場合の
オブジェクトレイヤー映像を生成する仮想映像生成部と、
前記
オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理装置。
【請求項7】
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換するメッセージ取得部と、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、
前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、
前記3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置部と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成部と、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、
を備える映像処理装置。
【請求項8】
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得処理と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得処理と、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得処理と、
前記天体の形状と位置に関する3次元モデリングデータを用いて、
少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成する3次元天体モデル生成処理と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの
前記オブジェクトレイヤーの位置に配置するオブジェクト配置処理と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された
前記オブジェクトレイヤーを撮影した場合のオブジェクトレイヤー映像を撮影した場合の仮想映像を生成する仮想映像生成処理と、
前記
オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する映像重畳処理と、
をコンピュータに実行させるプログラム。
【請求項9】
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得処理と、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得処理と、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換するメッセージ取得処理と、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得処理と、
前記天体の形状と位置に関する3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成処理と、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置処理と、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成処理と、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳処理と、
をコンピュータに実行させるプログラム。
【請求項10】
コンピュータが、
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得し、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得し、
前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得し、
前記天体の形状と位置に関する3次元モデリングデータを用いて、
少なくとも天体表面の形状の地表レイヤーと前記オブジェクト画像が配置されるオブジェクトレイヤーとを含む、前記天体の3次元天体モデルを生成し、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの
前記オブジェクトレイヤーの位置に配置し、
前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された
前記オブジェクトレイヤーを撮影した場合の
オブジェクトレイヤー映像を生成し、
前記
オブジェクトレイヤー映像を、前記撮影映像に重畳した重畳映像を生成する、
映像処理方法。
【請求項11】
コンピュータが、
天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得し、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得し、
ソーシャルネットワークサービス(SNS: Social Network Service)からメッセージ及び前記メッセージに関するメッセージ位置情報を取得し、
前記メッセージを前記撮影映像に重畳するオブジェクトのオブジェクト画像に変換し、前記メッセージ位置情報をオブジェクト位置に変換し、
前記オブジェクト画像と前記オブジェクト位置とを含むオブジェクトデータを取得し、
前記天体の形状と位置に関する3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成し、
前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置し、
前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記カメラが前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成し、
前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する、
映像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は映像処理システム、映像処理装置、プログラム及び映像処理方法に関し、特に、天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像の処理に関する。
【背景技術】
【0002】
従来、空中より撮影された地球の地表面の撮影映像の位置を3次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、2次元の地図上に重ねて表示する撮影映像表示方法が提案されている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の特許文献1に記載の撮影映像表示方法は、映像情報と地図との整合性の確認を目的とし、撮影映像を2次元地図に貼り付けている方法である。従って、上空から撮影された撮影映像の鑑賞を主目的とするものではなく、特許文献1の撮影映像表示方法により生成された映像はエンターテイメント性に欠けるものであった。
【0005】
そこで、本発明は、撮影映像を主としながらも、エンターテイメント性のある映像を生成することができる映像処理システム、映像処理装置、プログラム及び映像処理方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様は、天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、前記3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置部と、前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成部と、前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、を備える映像処理システムである。
【0007】
本発明の一態様は、天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得部と、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得部と、前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得部と、前記天体の形状と位置に関する3次元モデリングデータが記憶された記憶装置と、前記3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成部と、前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置部と、前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成部と、前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳部と、を備える映像処理装置である。
【0008】
本発明の一態様は、天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得する映像取得処理と、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得する撮影情報取得処理と、前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得するオブジェクトデータ取得処理と、前記天体の形状と位置に関する3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成する3次元天体モデル生成処理と、前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置するオブジェクト配置処理と、前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成する仮想映像生成処理と、前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像重畳処理と、をコンピュータに実行させるプログラムである。
【0009】
本発明の一態様は、天体の上空を飛行する飛行体に搭載されたカメラから撮影された撮影映像を取得し、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢を取得し、前記撮影映像に重畳するオブジェクトのオブジェクト画像と前記オブジェクトの天体上のオブジェクト位置とを含むオブジェクトデータを取得し、前記天体の形状と位置に関する3次元モデリングデータを用いて、前記天体の3次元天体モデルを生成し、前記オブジェクト画像を、前記オブジェクト位置に対応する前記3次元天体モデルの位置に配置し、前記カメラが、前記飛行体の撮影位置、前記カメラの撮影画角及び撮影姿勢により、前記オブジェクト画像が配置された3次元天体モデルを撮影した場合の仮想映像を生成し、前記仮想映像のうちのオブジェクト画像を、前記撮影映像に重畳した重畳映像を生成する映像処理方法である。
【発明の効果】
【0010】
本発明によれば、撮影映像を主としながらも、エンターテイメント性のある映像を生成することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は第1の実施の形態における映像処理システムの概観図である。
【
図3】
図3は地球の3次元地球モデルの概念図である。
【
図4】
図4は地表レイヤーとオブジェクトレイヤーとを説明するための図である。
【
図5】
図5はオブジェクト画像をオブジェクトの地球上のオブジェクト位置に対応する3次元地球モデルのオブジェクトレイヤーの位置に配置した一例を示した図である。
【
図6】
図6は宇宙ステーション10のカメラ11が撮影する3次元地球モデル上の撮影範囲の一例を示した図である。
【
図7】
図7はコンピュータシステムによって構成された映像処理装置6のブロック図である。
【
図8】
図8は時刻tの宇宙ステーション10に搭載されたカメラ11から撮影された撮影映像の一例である。
【
図9】
図9は時刻tの軌道データの条件において、3次元地球モデル上の撮影範囲のオブジェクトレイヤーの仮想映像の一例を示す図である。
【
図10】
図10は時刻tの地球の撮影映像(実映像)に時刻tの仮想映像を重畳した時刻tの重畳映像の一例を示す図である。
【
図12】
図12はオブジェクト画像が、宇宙ステーション10の予想軌道と、予想軌道上に宇宙ステーション10の到達予定時刻とである例を示した図である。
【
図13】
図13はオブジェクト画像が、国旗である例を示した図である。
【
図14】
図14は第2の実施の形態における映像処理システムの概観図である。
【
図15】
図15はオブジェクト画像がSNSメッセージである例を示した図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態を、図面を参照して説明する。
【0013】
<第1の実施形態>
図1は第1の実施の形態における映像処理システムの概観図である。以下の説明では、天体の一例として、地球を例にして説明するが、地球に限ることなく、火星等の他の惑星や、月等の衛星、恒星等であっても良い。
【0014】
図1中、1は地球、2は飛行体、3はパラボラアンテナ、4は軌道データサーバ、5はオブジェクトデータサーバ、6は映像処理装置、7はネットワーク、8は端末である。
【0015】
飛行体2は、地球の上空を飛行する飛行体である。飛行体2の例は、衛星、宇宙船又は宇宙ステーション、飛行機、ヘリコプター、ドローン等の各種あるが、本実施の形態では、地球1を一定の軌道を保って周回する宇宙ステーション10を例にして説明する。宇宙ステーション10には、所定の画角のカメラ11が搭載されており、カメラ11は地球1の地表映像を撮影することができる。
【0016】
パラボラアンテナ3は、宇宙ステーション10から、カメラ11が撮影した撮影映像を受信する。
【0017】
軌道データサーバ4は、宇宙ステーション10の撮影位置(時刻、緯度経度、高度)、カメラ11の撮影画角及び撮影姿勢(宇宙ステーション10姿勢)を含む軌道データを、映像処理装置6に送信する。
【0018】
オブジェクトデータサーバ5は、オブジェクトの画像と、オブジェクトの地球1上のオブジェクト位置とを含むオブジェクトデータを、映像処理装置6に送信する。ここで、オブジェクトは、種類は問わないが、例えば、地理的な位置を示す情報(国名、都市名等)のテキスト、国旗、ランドマーク、飛行体2の飛行経路(宇宙ステーション10の軌道)、更には、ある所定の地理的位置で発信した、若しくは、何らかの位置に関する情報を含むSNSのメッセージなどでも良い。そして、オブジェクト画像は、これらのオブジェクトの画像(テキストも含む)である。オブジェクト位置は、オブジェクトの地球上の位置を特定する情報であれば種類は問わないが、例えば、地球上の緯度経度、高度等がある。また、地球(天体)のある地点又は中心を原点とした3次元又は2次元の座標値でも良い。
【0019】
映像処理装置6は、宇宙ステーション10からの撮影映像、軌道データサーバ4からの軌道データ及びオブジェクトデータサーバ5からのオブジェクトデータを受信し、撮影映像に、オブジェクト位置に対応する地球上の位置に配置されたオブジェクト画像が重畳された重畳映像を生成する装置である。映像処理装置6の構成の詳細は、後述する。
【0020】
ネットワーク7は、データ通信が可能な通信路を意味する。すなわち、ネットワーク7は、直接接続のための専用線(専用ケーブル)やイーサネット(登録商標)等によるLANの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線/無線を問わない。
【0021】
端末8は、重畳映像を受信し、重畳映像を表示する端末である。そして、無線通信基地局等を介してネットワーク7に接続し、データ通信を行うことができる。端末8は、例えば、スマートフォンや、携帯電話機、パソコン、タブレット型コンピュータ等である。端末8は、基本的には、複数存在し、各ユーザにより操作される。
【0022】
次に、映像処理装置6の構成の詳細を説明する。
図2は映像処理装置6のブロック図である。
【0023】
映像処理装置6は、映像取得部21と、撮影情報取得部22と、オブジェクトデータ取得部23と、3次元モデリングデータ記憶装置24と、3次元地球モデル生成部25と、オブジェクト配置部26と、仮想映像生成部27と、映像重畳部28と、映像配信部29とを備える。
【0024】
映像取得部21は、地球1の上空を飛行する宇宙ステーション10に搭載されたカメラ11から撮影された撮影映像を取得する。
【0025】
撮影情報取得部22は、軌道データサーバ4から、宇宙ステーション10の撮影位置(時刻、緯度経度、高度)、カメラ11の撮影画角及び撮影姿勢(宇宙ステーション10姿勢)を含む軌道データを取得する。
【0026】
オブジェクトデータ取得部23は、オブジェクトデータサーバ5から、オブジェクトの画像と、オブジェクトの地球上のオブジェクト位置とを含むオブジェクトデータとを、取得する。
【0027】
3次元モデリングデータ記憶装置24は、地球1の地表形状の3次元データと、緯度経度データと、自転公転情報とを含む3次元モデリングデータが格納されている。尚、3次元データ又は緯度経度データの代わりに、地球(天体)のある地点を原点とした3次元又は2次元の座標値でも良い。
【0028】
3次元地球モデル生成部25は、3次元モデリングデータ記憶装置24から、
図3に示すような地球の3次元地球モデルを生成する。この3次元地球モデルは、
図4に示すように、地球1の地表表面の地表レイヤーと、後述するオブジェクトを配置するオブジェクトレイヤーとを有する。
【0029】
オブジェクト配置部26は、オブジェクトデータ取得部23が取得したオブジェクトデータを用いて、オブジェクト画像を、オブジェクトの地球1上のオブジェクト位置に対応する3次元地球モデルのオブジェクトレイヤーの位置に配置する。
図5は、オブジェクト画像を、オブジェクトの地球上のオブジェクト位置に対応する3次元地球モデルのオブジェクトレイヤーの位置に配置した一例を示した図である。
図5の例では、オブジェクトAAからオブジェクトFFを、3次元地球モデルのオブジェクトレイヤーに配置した例である。
【0030】
仮想映像生成部27は、撮影情報取得部22が取得した軌道データの宇宙ステーション10の撮影位置(時刻、緯度経度、高度)、カメラ11の撮影画角及び撮影姿勢の条件において、宇宙ステーション10のカメラ11が撮影する3次元地球モデル上の撮影範囲を推定する。
図6は宇宙ステーション10のカメラ11が撮影する3次元地球モデル上の撮影範囲の一例を示した図である。そして、仮想映像生成部27は、その撮影範囲における3次元地球モデルのオブジェクトレイヤーの仮想映像を生成する。
【0031】
映像重畳部28は、映像取得部21が取得した宇宙ステーション10のカメラ11が撮影した地球1の撮影映像(実映像)に、仮想映像生成部27が生成した仮想映像を重畳し、重畳映像を生成する。
【0032】
映像配信部29は、映像重畳部28が生成した重畳映像を、ネットワーク7を介して、端末8に配信する。尚、映像配信部29は、かならずしも、映像処理装置6が備える必要はなく、他の配信装置が備えていても良い。
【0033】
上述した映像処理装置6は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステムによって実現することができる。
図7はコンピュータシステムによって構成された映像処理装置6のブロック図である。
【0034】
映像処理装置6は、
図7に示す如く、プロセッサ101、メモリ(ROMやRAM)102、入力装置(キーボード、マウス、タッチパネルなど)103、通信装置104、記憶装置(ハードディスク、半導体ディスクなど)105を有するコンピュータ100により構成することができる。
【0035】
映像処理装置6は、記憶装置105に格納されたプログラムがメモリ102にロードされ、プロセッサ101により実行されることにより、映像取得処理111と、撮影情報取得処理112と、オブジェクトデータ取得処理113と、3次元地球モデル生成処理114と、オブジェクト配置処理115と、仮想映像生成処理116と、映像重畳処理117と、映像配信処理118とが実現されるものである。ここで、映像取得処理111は映像取得部21に対応し、撮影情報取得処理112は撮影情報取得部22に対応し、オブジェクトデータ取得処理113はオブジェクトデータ取得部23に対応し、3次元地球モデル生成処理114は3次元地球モデル生成部25に対応し、オブジェクト配置処理115はオブジェクト配置部26に対応し、仮想映像生成処理116は仮想映像生成部27に対応し、映像重畳処理117は映像重畳部28に対応し、映像配信処理118は映像配信部29に対応する。また、3次元モデリングデータ記憶装置24は、記憶装置105に対応する。尚、記憶装置105(3次元モデリングデータ記憶装置24)は、コンピュータ100と物理的に外部に設けられ、LAN等のネットワークを介してコンピュータ100と接続されていても良い。
【0036】
次に、本実施の形態の動作を説明する。
【0037】
まず、オブジェクトデータ取得部23は、オブジェクトデータサーバ5から、オブジェクトの画像と、オブジェクトの地球1上のオブジェクト位置とを含むオブジェクトデータを取得する。
【0038】
オブジェクト配置部26は、オブジェクトデータ取得部23が取得したオブジェクトデータを用いて、オブジェクト画像を、
図5に示す如く、オブジェクトの地球1上のオブジェクト位置に対応する3次元地球モデルのオブジェクトレイヤーの位置に予め配置しておく。
【0039】
映像取得部21は、ある時刻tの撮影位置(緯度経度、高度)、カメラ11の撮影画角及び撮影姿勢(カメラ11が固定されている場合は宇宙ステーション10の姿勢)のときの宇宙ステーション10に搭載されたカメラ11から撮影された撮影映像を取得する。
図8は、時刻tの宇宙ステーション10に搭載されたカメラ11から撮影された撮影映像の一例である。
【0040】
オブジェクトデータ取得部23は、時刻tの撮影位置(緯度経度、高度)、カメラ11の撮影画角及び撮影姿勢(カメラ11が固定されている場合は宇宙ステーション10の姿勢)の軌道データを取得し、仮想映像生成部27に出力する。
【0041】
仮想映像生成部27は、撮影情報取得部22が取得した時刻tの軌道データの宇宙ステーション10の撮影位置(時刻、緯度経度、高度)、カメラ11の撮影画角及び撮影姿勢の条件において、宇宙ステーション10のカメラ11が撮影する3次元地球モデル上の撮影範囲を推定する。そして、仮想映像生成部27は、その撮影範囲における3次元地球モデルのオブジェクトレイヤーの仮想映像を生成する。
図9は時刻tの軌道データの条件において、3次元地球モデル上の撮影範囲のオブジェクトレイヤーの仮想映像の一例を示す図である。
【0042】
映像重畳部28は、映像取得部21が取得した宇宙ステーション10のカメラ11が撮影した時刻tの地球1の撮影映像(実映像)に、仮想映像生成部27が生成した時刻tの仮想映像を重畳し、重畳映像を生成する。
図10は時刻tの地球の撮影映像(実映像)に時刻tの仮想映像を重畳した時刻tの重畳映像の一例を示す図である。
【0043】
映像配信部29は、映像重畳部28が生成した重畳映像を、ネットワーク7を介して、端末8にストリーミング配信する。
【0044】
端末8は、映像配信部29から配信された重畳映像を表示する。
図11は、端末8に表示された重畳映像の一例である。
【0045】
上述した説明では、概念的なオブジェクトの例を説明したが、具体的なオブジェクトの例を以下に示す。
【0046】
図12は、オブジェクト画像が、宇宙ステーション10の予想軌道と、予想軌道上に宇宙ステーション10の到達予定時刻とである例を示した図である。
図12では、宇宙ステーション10が撮影した撮影映像に、宇宙ステーション10の予想軌道及び到達予定時刻が重畳されている。
【0047】
図13は、オブジェクト画像が、国旗である例を示した図である。
図13では、宇宙ステーション10が撮影した撮影映像に、各国の地理的位置に配置された各国の国旗の画像が重畳されている。
【0048】
本実施の形態は、宇宙ステーション(飛行体)が撮影した撮影映像の被写体に関係するオブジェクトがその被写体の位置に重畳されているので、撮影映像を主としながらも、エンターテイメント性のある映像を生成することができる。
【0049】
<第2の実施形態>
図14は第2の実施の形態における映像処理システムの概観図である。
【0050】
第2の実施の形態では、オブジェクトデータサーバ5に、ソーシャルネットワークサービス(SNS: Social Network Service)9から、オブジェクトとしてメッセージ及びメッセージに関するメッセージ位置情報を収集する機能を設ける。そして、オブジェクトデータサーバ5は、収集したメッセージをオブジェクト画像に変換し、メッセージ位置情報をオブジェクト位置に変換する。
【0051】
メッセージは、宇宙ステーション10に関連する情報ばかりでなく、各々の地理的位置に関する情報でも良い。また、メッセージ位置情報は、メッセージを発信した位置のみならず、メッセージの内容に関係する地理的位置でも良い。
【0052】
オブジェクト画像及びオブジェクト位置に変換された後の処理は、第1の実施の形態と同様であるので、説明は省略する。
【0053】
図15は、オブジェクト画像がSNSメッセージである例を示した図である。
図15では、宇宙ステーション10が撮影した撮影映像にSNSメッセージが重畳されており、そのSNSメッセージの位置はSNSメッセージを発信した地理的位置に対応している。
【0054】
第2の実施の形態は、SNSメッセージを収集し、そのSNSメッセージを撮影映像の関連する位置(例えば、メッセージの発信位置)に重畳しているので、リアルタイム性のある映像表現を行うことができる。
【0055】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【0056】
1 地球
2 飛行体
3 パラボラアンテナ
4 軌道データサーバ
5 オブジェクトデータサーバ
6 映像処理装置
7 ネットワーク
8 端末
9 SNS
21 映像取得部
22 撮影情報取得部
23 オブジェクトデータ取得部
24 3次元モデリングデータ記憶装置
25 3次元地球モデル生成部
26 オブジェクト配置部
27 仮想映像生成部
28 映像重畳部
29 映像配信部
100 コンピュータ
101 プロセッサ
102 メモリ
103 記憶装置
104 入力装置
105 通信装置