特許第6362231号(P6362231)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社DAPリアライズの特許一覧

<>
  • 特許6362231-遠隔地ライブ映像送信システム 図000002
  • 特許6362231-遠隔地ライブ映像送信システム 図000003
  • 特許6362231-遠隔地ライブ映像送信システム 図000004
  • 特許6362231-遠隔地ライブ映像送信システム 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6362231
(24)【登録日】2018年7月6日
(45)【発行日】2018年7月25日
(54)【発明の名称】遠隔地ライブ映像送信システム
(51)【国際特許分類】
   H04N 21/2187 20110101AFI20180712BHJP
   H04N 21/4725 20110101ALI20180712BHJP
   H04N 7/18 20060101ALI20180712BHJP
【FI】
   H04N21/2187
   H04N21/4725
   H04N7/18 U
【請求項の数】5
【全頁数】23
(21)【出願番号】特願2017-152074(P2017-152074)
(22)【出願日】2017年8月5日
(62)【分割の表示】特願2017-3733(P2017-3733)の分割
【原出願日】2014年5月31日
(65)【公開番号】特開2017-225157(P2017-225157A)
(43)【公開日】2017年12月21日
【審査請求日】2017年8月7日
(31)【優先権主張番号】特願2013-120449(P2013-120449)
(32)【優先日】2013年6月7日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】308015935
【氏名又は名称】株式会社DAPリアライズ
(72)【発明者】
【氏名】井筒 政弘
【審査官】 冨田 高史
(56)【参考文献】
【文献】 特開2003−134505(JP,A)
【文献】 特開平09−027970(JP,A)
【文献】 特開2001−039398(JP,A)
【文献】 特開2002−101333(JP,A)
【文献】 特開平10−304351(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/10
H04N 7/14 − 7/56
H04N 21/00 − 21/858
(57)【特許請求の範囲】
【請求項1】
観光地などの特定エリア内に配置され、該特定エリア内にある対象を撮像する撮像手段と;該撮像手段が撮像した結果に基づいて生成された映像信号を後記現地親装置に送信する映像信号送信手段と;を備える複数の現地子装置と、
前記特定エリア内に配置され、前記現地子装置の各々から受信した映像信号を、そのままで又は必要な変換を行った上で、前記特定エリアから遠隔した複数の端末装置宛に同時にリアルタイムで送信する機能を有する現地親装置と、
からなる遠隔地ライブ映像送信システム。
【請求項2】
前記現地親装置は、前記複数の端末装置の各々が発信した表示範囲設定信号を受信する機能を有し、
前記現地子装置又は現地親装置は、該表示範囲設定信号に基づいて、「『該表示範囲設定信号の送信元である端末装置』宛に送信する映像信号」の表示範囲を変化させる、
ことを特徴とする、請求項1に記載の遠隔地ライブ映像送信システム。
【請求項3】
前記現地親装置は、前記複数の端末装置の各々が発信した「前記撮像手段の視座を特定する信号(以下「視座特定信号」)及び/又は視線方向を特定する信号(以下「視線方向特定信号」)」を受信する機能を有し、
前記現地子装置は、該視座特定信号及び/又は該視線方向特定信号に基づいて、前記撮像手段の撮像範囲を変化させる、
ことを特徴とする、請求項1又は2に記載の遠隔地ライブ映像送信システム。
【請求項4】
前記現地子装置は、空間内(宇宙空間内及び水中を含む)を三次元的に移動するための空間内移動運動手段を備え、
該空間内移動運動手段が、前記視座設定信号に基づいて空間内を三次元的に移動することで、前記撮像手段の視座が変化する、
ことを特徴とする、請求項3に記載の遠隔地ライブ映像送信システム。
【請求項5】
前記現地子装置の撮像手段は広角カメラであり、
前記現地子装置又は現地親装置は、前記視線方向設定信号に基づいて、広角カメラの撮像範囲から一定の範囲を切り出した表示範囲の映像信号を生成する、
ことを特徴とする、請求項3に記載の遠隔地ライブ映像送信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ライブ映像配信システムに関し、特に、遠隔地にいる複数の利用者が、現地にある別個の対象をリアルタイムで同時に観察することができるライブ映像配信システムに関する。また、特に、遠隔地にいる利用者が、あたかも自分自身が現地で動きながら観察しているかのような臨場感をもって映像を楽しむことができるライブ映像配信システムに関する。
【背景技術】
【0002】
観光産業は、現在、全世界のGDPの約10%を占めるに至っており、今後、「21世紀最大の産業」となるとの予測がある。
このような趨勢の中、従来の観光地での観光に飽き足らず、秘境、さらには、宇宙空間、深海といったフロンティア空間における観光に対するニーズも高まりつつある。
【0003】
しかし、秘境に数多くの観光客が押し寄せると、希少な自然環境や貴重な遺跡が破壊されるという問題が生じる。また、宇宙空間、深海といったフロンティア空間における観光については、現地に赴くために多大なコストがかかるだけではなく、無重力や高気圧などの集権環境の影響で身体に過大な負荷がかかったり、現地への移動手段(宇宙船や深海調査船など)が破損した場合に生命が危険にさらされたりするリスクが伴う。
【0004】
上記のような問題を解決する方法として、遠隔地にいる利用者に対して現地の映像を表示することにより、「疑似的な観光体験」を提供する方法が考えられる。しかし、その場合、表示される映像の表示範囲が「利用者以外の他者」によって設定されているのであれば、テレビ電話やテレビの生中継放送と変わらず、「観光体験」というには程遠い。したがって、「疑似的な観光体験」を実現するためは、遠隔地にいる利用者が映像の表示範囲を自ら設定でき、利用者自身が観察したい対象をリアルタイムで観察することができるライブ映像配信システムが必要となる。
【0005】
遠隔地にいる利用者が映像の表示範囲を自ら設定できるライブ映像配信システムとしては、従来、特許文献1に記載されたような「遠隔監視カメラ」(以下「従来技術1」という)や、特許文献2に記載されたような「無人ヘリコプターを用いたモニタシステム」(以下「従来技術2」という)などが提案されている。
【0006】
しかし、これら従来のシステムは、映像を撮像する装置と表示する装置とが一対で構成されているため、各々の時点で映像の表示範囲を設定できるのは、一人の利用者に限定される。この結果、複数の利用者が、現地にある別個の観察対象を同時に観察することができないという問題がある。
【0007】
また、従来のシステムでは、映像を表示する装置は、画面に映像を表示するタイプ(CRTディスプレイ、FDP、プロジェクタ等)であり、利用者は、自分自身は静止し、自らの視線を画面に固定した状態で画面に表示された映像を見ることになる。このため、映像の表示範囲を動かすことができたとしても、映像の表示範囲の動きと、利用者の身体の動きや視線の動きとは全く連動しない。このため、利用者は、あたかも自分自身が現地で動きながら観察しているかのような臨場感をもって映像を楽しむには至らない。
【0008】
また、特に、従来技術1においては、映像を撮像する監視用カメラ1は雲台2の上に固定されており、観察する視線は動かせても視座は自由に移動させられないため、映像表示部7に表示されるのは、雲台2の周囲にある観察対象だけに限定されるという問題があった。一方、特に、従来技術2においては、無人ヘリコプタH側の画像送信部5から画像表示部7側の画像受信部6に対して、画像信号が直接無線伝送されるため、観察対象のある現地と利用者のいる遠隔地との間の距離を、無線信号の伝送可能距離より大きく取れないという問題があった。
【0009】
なお、本明細書及び特許請求の範囲でいう「撮像範囲」「視座」「視線」「視点(撮像範囲の中心)」の意味するところは、図4に示した通りである。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開平11−234659号公報
【特許文献2】特開2002−293298
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は、このような事情に鑑みてなされたものであり、遠隔地にいる複数の利用者が、現地にある別個の対象をリアルタイムで同時に観察することができるライブ映像配信システムを提供することを目的とする。特に、観察対象のある現地と利用者のいる遠隔地との間の距離が遠い場合でも利用できるライブ映像配信システムを提供することを目的とする。
【0012】
また、本発明は、現地において観測する視線及び視座を自由に動かすことができるライブ映像配信システムを提供することを目的とする。特に、遠隔地にいる利用者が、あたかも自分自身が現地で動きながら観察しているかのような臨場感をもって映像を楽しむことができるライブ映像配信システムを提供することを目的とする。
【課題を解決するための手段】
【0013】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第1の様態は、
表示範囲が異なる複数系統の映像信号を生成する映像信号生成手段と、公衆ネットワークとの間で信号をやり取りするための通信手段1と、を備える現地システムと;
映像表示手段と、表示範囲設定信号生成手段と、公衆ネットワークとの間で信号をやり取りするための通信手段2と、を備える複数の端末装置と;
から構成されるライブ映像配信システムであって、
前記現地システムの映像信号生成手段が生成する映像信号の系統と前記端末装置とは対応付けられており、
前記現地システムは、
前記各系統の映像信号の表示範囲を、各系統に対応付けられた前記端末装置の表示範囲設定信号生成手段が生成し、公衆ネットワークを介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と;
前記映像信号生成手段が生成した映像信号を公衆ネットワークに送信する機能と;
を有し、
前記端末装置は、
前記表示範囲設定信号生成手段が生成した表示範囲設定信号を公衆ネットワークに送信する機能と;
前記現地システムの映像信号生成手段が生成する映像信号のうち、自身に対応付けられた系統の映像信号を、公衆ネットワークを介して受信する機能と;
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と;
を有する、
ように構成した。
【0014】
また、上記目的を達成するために、ライブ映像配信システムに係る本発明の第2の様態は、
表示範囲が異なる複数系統の映像信号を生成する映像信号生成手段と、後記中継装置との間で信号をやり取りするための通信手段1’と、を備える現地システムと;
前記現地システムとの間で信号をやり取りするための通信手段3Aと、公衆ネットワークとの間で信号をやり取りするための通信手段3Bと、を備える中継装置と;
映像表示手段と、表示範囲設定信号生成手段と、公衆ネットワークとの間で信号をやり取りするための通信手段2と、を備える複数の端末装置と;
から構成されるライブ映像配信システムであって、
前記現地システムの映像信号生成手段が生成する映像信号の系統と前記端末装置とは対応付けられており、
前記現地システムは、
前記各系統の映像信号の表示範囲を、各系統に対応付けられた前記端末装置の表示範囲設定信号生成手段が生成し、「公衆ネットワーク及び前記中継装置」を介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と;
前記映像信号生成手段が生成した映像信号を前記中継装置に送信する機能と;
を有し、
前記端末装置は、
前記表示範囲設定信号生成手段が生成した表示範囲設定信号を公衆ネットワークに送信する機能と;
前記現地システムの映像信号生成手段が生成する映像信号のうち、自身に対応付けられた系統の映像信号を、「公衆ネットワーク及び前記中継装置」を介して受信する機能と;
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と;
を有する、
ように構成した。
【0015】
本発明の第1及び第2の様態において、現地システムの映像信号生成手段は、入射光を光電変換するイメージセンサー(CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等)から構成される撮像手段と、撮像手段からの電気信号(以下「撮像電気信号」と略記する)を、デジタルRGB、LVDS(Low Voltage Differential Signaling)(又はLDI(LVDS Display Interface))、GVIF(GigabitVideo InterFace)、USB(Universal Serial Bus)、DisplayPort、WirelessHD(High Definition)、WHDI(Wireless Home Digital Interface)、WiGig(Wireless Gigabit)などの方式で伝送される非圧縮の映像信号(以下「非圧縮映像信号」という)に変換し、さらに、該非圧縮映像信号を、H.261、H.263、H.264、MPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4等の規格によって圧縮符号化された映像信号(以下「圧縮映像信号」という)に変換する映像信号変換手段によって構成することができる。そして、その場合には、現地システムの通信手段1から公衆ネットワークへ、又は、又は通信手段1’から中継装置へ、前記圧縮映像信号が送信される。
【0016】
なお、撮像手段を複数のイメージセンサーで構成することによって、3D映像の映像信号を送信するようにすることができる。
【0017】
また、撮像手段を半天周カメラや全天周カメラなどの広角カメラによって構成し、広角カメラからの撮像電気信号から、表示範囲設定信号が担う表示範囲設定情報に基づいて定められた表示範囲に対応する撮像範囲の撮像電気信号を切り出し、切り出した撮像電気信号を映像信号に変換する構成や、広角カメラからの撮像電気信号を映像信号に変換した後、変換した映像信号から、表示範囲設定信号が担う表示範囲設定情報に基づいて定められた表示範囲の映像信号を切り出す構成とすることができる。
【0018】
公衆ネットワークとしては、インターネットとアクセスネットワーク(モバイルアクセスネットワーク及び/又は固定アクセスネットワーク)から構成されるネットワークを利用することができ、さらに、モバイルアクセスネットワークとしては、公衆無線LAN、又は、3GやLTE(Long Term Evolution)等の携帯電話回線によるアクセスネットワークを利用することができる。また、固定アクセスネットワークとしては、FTTH(Fiber To The Home)、CATV(Cable TeleVision)、DSL(Digital Subscriber Line)等によるアクセスネットワークを利用することができる。
【0019】
なお、公衆ネットワークがインターネットを含む場合には、映像信号は、IP(Internet Protocol)パケット化した上で送信することが好ましい。
【0020】
映像信号の系統と端末装置との対応付けは、各端末装置に対してIPアドレスを与えた上で、現地システムでは、各系統の映像信号の表示範囲の設定や送信を、各端末装置から受信したIPアドレスに基づいて行うことで実現される。その場合、特に、現地システムから映像信号を送信する際には、対応付けられるべき端末装置のIPアドレスを宛先IPアドレスとして指定する。
【0021】
端末装置の映像表示手段としては、CRT(Cathode Ray Tube)ディスプレイ、FDP(Flat Panel Display)(液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ、プラズマディスプレイ等)、プロジェクタ、HMD(Head Mounted Display)などを使用することができる。
【0022】
なお、現地システムの映像信号生成手段が生成し、公衆ネットワーク又は「公衆ネットワーク及び前記中継装置」を介して受信する映像信号が3D映像の映像信号である場合には、端末装置の映像表示手段としても、3Dディスプレイを採用することが好ましい。特に、視野の大部分を覆う没入型(非透過型)3D−HMD(3D対応のHMD)を採用することで、没入感のある視覚体験を提供することができる。
【0023】
端末装置の表示範囲設定信号生成手段は、表示範囲の中心を定める表示中心設定信号を生成する表示中心設定信号生成手段と、表示範囲の拡がり(上下左右の幅)を定める表示幅設定信号を生成する表示幅設定信号生成手段によって構成することができる。そして、その場合には、端末装置が、それらの信号が担う情報に基づいて表示範囲設定信号を生成し、公衆ネットワークに送信してもよいし、現地システムがそれらの信号を受信し、受信した信号が担う情報に基づいて映像信号の表示範囲を定めてもよい。特に、後者の場合、端末装置から送信される表示範囲設定信号は、表示中心設定信号と表示幅設定信号とから構成されることになる。
【0024】
なお、前記映像表示手段が、画面に映像を表示するタイプ(CRTディスプレイ、FDP、プロジェクタ等)である場合には、端末装置の表示範囲設定信号生成手段は、マウスやトラックボールなどのポインティングデバイスによって画面上のカーソルを動かすことで表示範囲の中心を設定し、画面上の倍率バーをスライド又はクリックすることで表示範囲の拡がりを設定する構成とすることができる。
【0025】
一方、前記映像表示手段がタッチパネル機能付きのディスプレイ(以下「タッチパネルディスプレイ」と略記する)である場合には、該タッチパネル機能を活用することで、映像表示手段と表示範囲設定信号生成手段とを兼ねさせることができる。そして、その場合には、タッチパネルディスプレイに対して、スライドやタップ等の操作を行うことで視点を指定し、ピンチインやピンチアウト等の操作を行うことで表示範囲の拡がりを指定する構成とすることができる。
【0026】
また、端末装置は、各家庭などに分散して配置してもよいし、観光センターのような場所にまとめて設置してもよい。
【0027】
特に、本発明の第2の様態において、現地システムと中継装置との間の信号のやり取りは、無線又は有線の専用回線で行うことができる。なお、現地システムが宇宙空間にある場合には、中継装置としては、通信衛星を利用することができる。
【0028】
また、特に、本発明の第2の様態において、現地システムと端末装置との間で信号のやり取りを中継装置を介して行う際、中継装置において何らかの信号変換処理を行ってもよい。したがって、本明細書及び特許請求の範囲において、「〜信号を『公衆ネットワーク及び前記中継装置』を介して受信」という場合、中継装置において信号変換処理を行う構成も含む。
【0029】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第3の様態は、第1又は第2の様態のライブ映像配信システムにおいて、
前記端末装置は、
利用者の身体の位置や動きを検知する身体検知手段を備え、
前記表示範囲設定信号生成手段は、前記身体検知手段が検知した結果に基づいて表示範囲設定信号を生成する、
ように構成した。
【0030】
本発明の第3の様態において、端末装置の身体検知手段としては、加速度センサーや方位センサーを使用することができる。特に、端末装置の映像表示手段がHMDである場合には、HMDに各種センサーを内蔵又は付属させ、それらのセンサーによって利用者の頭部の動きを検知する構成とすることができる。
【0031】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第4の様態は、第3の様態のライブ映像配信システムにおいて、
利用者の身体の運動を補助する身体運動補助手段を備える、
ように構成した。
【0032】
本発明の第4の様態において、身体運動補助手段としては、トランポリンやバンジーコードを使用することができる。また、水を張ったプールを利用することができる。
【0033】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第の様態は、第1の様態のライブ映像配信システムにおいて、
前記現地システムは、
所定の撮像範囲を撮像する撮像手段と、後記親装置及び/又は公衆ネットワークとの間で信号をやり取りするための通信手段1Aと、を備える複数の子装置と;
前記子装置との間で信号をやり取りするための通信手段1Bと、公衆ネットワークとの間で信号をやり取りするための通信手段1Cと、を備える親装置と;
を備え、
前記子装置と前記端末装置とは対応付けられており、
前記子装置は、
前記撮像手段の撮像範囲を、自身に対応付けられた前記端末装置の前記表示範囲設定信号生成手段が生成し、公衆ネットワークを介して又は「公衆ネットワーク及び前記親装置」を介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と;
前記撮像手段が撮像した結果に基づいて映像信号を生成し、該映像信号を前記親装置又は公衆ネットワークに送信する機能と;
を有し、
前記端末装置は、
自身に対応付けられた前記子装置が生成する映像信号を、公衆ネットワークを介して又は「公衆ネットワーク及び前記親装置」を介して受信する機能と;
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と;
を有する、
ように構成した。
【0034】
本発明の第5の様態において、子装置と端末装置との間の信号のやり取りは、以下のケースが可能である。
[ケース1]
映像信号:子装置→親装置→公衆ネットワーク→端末装置
表示範囲設定信号:子装置←親装置←公衆ネットワーク←端末装置
[ケース2]
映像信号:子装置→公衆ネットワーク→端末装置
表示範囲設定信号:子装置←親装置←公衆ネットワーク←端末装置
[ケース3]
映像信号:子装置→親装置→公衆ネットワーク→端末装置
表示範囲設定信号:子装置←公衆ネットワーク←端末装置
【0035】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第6の様態は、第2の様態のライブ映像配信システムにおいて、
前記現地システムは、
所定の撮像範囲を撮像する撮像手段と、後記親装置との間で信号をやり取りするための通信手段1A’と、を備える複数の子装置と;
前記子装置との間で信号をやり取りするための通信手段1Bと、中継装置との間で信号をやり取りするための通信手段1Dと、を備える親装置と;
を備え、
前記子装置と前記端末装置とは対応付けられており、
前記子装置は、
前記撮像手段の撮像範囲を、自身に対応付けられた前記端末装置の前記表示範囲設定信号生成手段が生成し、「公衆ネットワーク、前記中継装置及び前記親装置」を介して受信した表示範囲設定信号が担う表示範囲設定情報に基づいて定める機能と;
前記撮像手段が撮像した結果に基づいて映像信号を生成し、該映像信号を前記親装置に送信する機能と;
を有し、
前記端末装置は、
自身に対応付けられた前記子装置が生成する映像信号を、「公衆ネットワーク、前記中継装置及び前記親装置」を介して受信する機能と;
前記受信した映像信号が担う映像情報に基づいて映像を表示する機能と;
を有する、
ように構成した。
【0036】
本発明の第5及び第6の様態において、現地システムは、現地システムを構成する複数の子装置が、各々、自身に対応付けられた端末装置の表示範囲設定信号生成手段が生成する表示範囲設定信号が担う表示範囲設定情報に基づいて撮像手段の撮像範囲を定め、撮像手段が撮像した結果に基づいて映像信号を生成することにより、表示範囲が異なる複数系統の映像信号を生成することができる。
【0037】
子装置の撮像手段は、入射光を光電変換するイメージセンサー(CCDイメージセンサーやCMOSイメージセンサー等)によって構成することができる。
【0038】
子装置の通信手段1Aによって送信される映像信号は、それが公衆ネットワークに送信される場合には、圧縮映像信号とすることが好ましい。一方、それが親装置に送信される場合には、圧縮映像信号とするか、非圧縮映像信号とするかを選択することができる。また、子装置の通信手段1A’から親装置に送信される映像信号は、圧縮映像信号とするか、非圧縮映像信号とするかを選択することができる。
【0039】
なお、子装置の通信手段1A又は通信手段1A’が親装置に非圧縮映像信号を送信する場合には、親装置は、該非圧縮映像信号を圧縮符号化された映像信号に変換する信号変換手段を備えることが好ましい。そして、その場合には、撮像電気信号を圧縮映像信号に変換する映像信号変換は、その一部(撮像電気信号→非圧縮映像信号)を子装置で行い、残りの一部(非圧縮映像信号→圧縮映像信号)を親装置で行うことになる。
【0040】
子装置と親装置との間の信号をやり取りは、無線又は有線の通信によって行うことができる。
【0041】
親装置の通信手段1Cとしては、無線又は有線のLANルーターを使用することができる。
【0042】
子装置と端末装置との対応付けは、各子装置及び各端末装置に対してIPアドレスを与えた上で、子装置から映像信号を送信する際には、対応付けられるべき端末装置のIPアドレスを宛先IPアドレスとして指定し、端末装置から表示範囲設定信号を送信する際には、対応付けられるべき子装置のIPアドレスを送信先IPアドレスとして指定することによって、実現できる。
【0043】
なお、子装置と端末装置との対応付けは、恒常的なものである必要はなく、一時的なものであってよい。また、厳密に1対1で対応する必要もない。例えば、子装置1〜3が存在し、端末装置A〜Fが存在する場合、以下で例示するように、対応付けが変化してもよい。
[時刻T1〜T2]
子装置1⇔端末装置A、子装置2⇔端末装置B、子装置3⇔端末装置C
[時刻T3〜T4]
子装置1⇔端末装置D、子装置2⇔端末装置E、子装置3⇔(対応付けられる端末装置はない)
[時刻T5〜T6]
子装置1⇔端末装置A、子装置2⇔端末装置F、子装置3⇔端末装置D
【0044】
また、子装置からの映像信号を複数の端末装置で受信し、映像信号が担う映像情報に基づく映像を各々の映像表示手段で表示する構成とすることができる。ただし、その場合には、そのうちの一つの端末装置だけから表示範囲設定信号を送信できるような構成とする必要がある。
【0045】
なお、子装置と端末装置との間で信号のやり取りを親装置又は「親装置及び中継装置」を介して行う際、親装置及び/又は中継装置において信号変換処理を行ってもよい。したがって、本明細書及び特許請求の範囲において、「〜信号を『公衆ネットワーク及び前記親装置』を介して受信」又は「〜信号を『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信」という場合、親装置及び/又は中継装置において信号変換処理を行う構成も含む。
【0046】
特に、「映像信号を、『公衆ネットワーク及び前記親装置』を介して受信」又は「映像信号を、『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信」という場合、子装置が非圧縮映像信号を親装置に送信し、親装置が、受信した非圧縮映像信号を圧縮映像信号に変換した上で、中継装置又は公衆ネットワークに送信する構成も含む。
【0047】
また、特に、「『公衆ネットワーク及び前記親装置』を介して受信した表示範囲設定信号」又は「『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信した表示範囲設定信号」という場合、端末装置が、表示範囲設定一次信号(例えば、表示中心設定信号と表示幅設定信号とから構成される)を親装置に送信し、親装置が、受信した表示範囲設定一次信号を表示範囲設定二次信号に変換した上で子装置に送信する構成も含む。
【0048】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第の様態は、第5又は第6の様態のライブ映像配信システムにおいて、
前記子装置は、前記撮像手段が同一の視座から撮像する場合でも、表示範囲が異なる映像信号を生成する機能を有する、
ように構成した。
【0049】
本発明の第7の様態において、子装置は、撮像手段を3ウェイ雲台の上に設置し、3ウェイ雲台を3つの回転軸のまわりに回転させることで、撮像装置の前後・左右のティルト及びパンを実現する構成とすることができる。
【0050】
また、子装置は、撮像手段を自由雲台の上に設置し、自由雲台のボールジョイントを回転させることによって、撮像装置の視線を設定する構成とすることができる。
【0051】
また、子装置は、撮像手段にズーム機能を有せしめた上で、ズームを変化させることによって撮像手段の撮像範囲を変化させる構成とすることができる。また、撮像手段を反天周カメラや全天周カメラなどの広角カメラによって構成し、広角カメラからの撮像電気信号から一部の撮像範囲の撮像電気信号を切り出し、切り出した撮像電気信号を映像信号に変換する構成や、広角カメラからの撮像電気信号を映像信号に変換した後、変換した映像信号から一部の表示範囲の映像信号を切り出す構成とすることができる。
【0052】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第の様態は、第5の様態のライブ映像配信システムにおいて、
前記子装置は、「軌道上、移動面上又は空間中の移動」を含む運動(以下「運動」と略記する)を行うための手段(以下「運動手段」と略記する)を備え、
前記端末装置は、運動制御信号生成手段を備え、該運動制御信号生成手段で生成した運動制御信号を公衆ネットワークに送信する機能を有し、
前記子装置は、自身に対応付けられた前記端末装置の前記運動制御信号生成手段で生成され、公衆ネットワークを介して又は「公衆ネットワーク及び前記親装置」を介して受信した運動制御信号が担う運動制御情報に基づいて運動を行う機能を有する、
ように構成した。
【0053】
本発明の第8の様態において、子装置と端末装置との間の信号のやり取りは、以下のケースが可能である。
[ケースI]
映像信号:子装置→親装置→公衆ネットワーク→端末装置
運動制御信号:子装置←親装置←公衆ネットワーク←端末装置
[ケースII]
映像信号:子装置→公衆ネットワーク→端末装置
運動制御信号:子装置←親装置←公衆ネットワーク←端末装置
[ケースIII]
映像信号:子装置→親装置→公衆ネットワーク→端末装置
運動制御信号:子装置←公衆ネットワーク←端末装置
【0054】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第の様態は、第6の様態のライブ映像配信システムにおいて、
前記子装置は、「軌道上、移動面上又は空間中の移動」を含む運動(以下「運動」と略記する)を行うための手段(以下「運動手段」と略記する)を備え、
前記端末装置は、運動制御信号生成手段を備え、該運動制御信号生成手段で生成した運動制御信号を公衆ネットワークに送信する機能を有し、
前記子装置は、自身に対応付けられた前記端末装置の前記運動制御信号生成手段で生成され、「公衆ネットワーク、前記中継装置及び前記親装置」を介して受信した運動制御信号が担う運動制御情報に基づいて運動を行う機能を有する、
ように構成した。
【0055】
本発明の第8及び第9の様態において、子装置は、自身に対応付けられた端末装置の運動制御信号生成手段が生成する運動制御信号が担う運動制御情報に基づいて運動を行うことにより、撮像手段の視座が設定され、その結果として撮像手段の撮像範囲を自ずと定めることができる。したがって、子装置の運動制御信号は、本発明の第1乃至第5の発明における表示範囲設定信号の一種又は一部であり、子装置の運動制御信号生成手段は、本発明の第1乃至第7の様態における表示範囲設定信号生成手段の一種又は一部である。
【0056】
子装置の運動手段は、親装置の内部又は親装置の外部に設けられた軌道上を移動する構成、親装置の内部又は親装置の外部に設けられた移動面上を移動する構成、及び、親装置の内部又は親装置の外部の一定範囲内の空間中に浮遊して移動する構成から選択する、又は、前記の構成を組み合わせた構成とすることができる。また、それらの構成に、子装置の回転軸又は回転中心のまわりの回転運動を行う構成を組み合わせた構成とすることができる。
【0057】
なお、空間中に浮遊して移動する構成を採用する場合には、子装置の運動手段としては、ヘリコプターやプロペラ機などで使用されるような回転翼型の推進装置や、ジェット機やロケットなどで使用される噴流型の推進装置を使用することができる。
【0058】
また、子装置が親装置の外部の空間中に浮遊して移動できる構成とした場合には、子装置が親装置の一定範囲外に逸脱しないように、子装置と親装置とをワイヤやロープなどの係留手段によって係留することが好ましい。特に、宇宙空間や海中のように、浮力があったり、重力が働かなかったりする状況下では、特段の推進装置が用いなくても、係留手段を緩めたり、引っ張ったりすることで、子装置は空間中に浮遊して移動することができる。この場合、ワイヤやロープなどの係留手段が子装置の運動手段に該当する。なお、子装置と親装置が有線で通信する場合には、該通信用のケーブルを、前記係留手段として兼用することができる。
【0059】
端末装置の運動制御信号生成手段としては、1つ又は複数のレバーを操作することによって、前後への直進、左右への曲進、上昇、下降等の運動を制御するジョイスティックコントローラを使用することができる。その場合には、比例制御されるプロポ型ジョイスティックコントローラを使用することが好ましい。
【0060】
また、端末装置の運動制御信号生成手段は、利用者の身体の位置や動きを検知して運動制御信号を生成する構成とすることができる。
【0061】
特に、子装置が、「軌道上、移動面上又は空間中の移動」(以下「移動運動」と略記する)に加えて、自身の回転軸又は回転中心のまわりの回転運動を行うことができる構成の場合には、端末装置の運動制御信号生成手段として、前記ジョイスティックコントローラによって移動運動を制御する信号(以下「移動運動制御信号」と略記する)を生成し、利用者の頭部の動きを検知して回転運動を制御する信号(以下「回転運動制御信号」と略記する)を生成する構成とすることができる。そして、その場合には、端末装置が、それらの信号が担う情報に基づいて二次的な運動制御信号を生成し、公衆ネットワークに送信してもよいし、現地システムがそれらの信号を受信し、受信した信号が担う情報に基づいて映像信号の表示範囲を定めてもよい。特に、後者の場合、端末装置から送信される運動制御信号は、移動運動制御信号と回転運動制御信号とから構成されることになる。
【0062】
なお、特に、端末装置の映像表示手段がHMDである場合には、HMDに加速度センサーや方位センサーを内蔵又は付属させ、それらのセンサーによって利用者の頭部の動きを検知する構成とすることができる。
【0063】
なお、子装置と端末装置との間で信号のやり取りを親装置又は「親装置及び中継装置」を介して行う際、親装置及び/又は中継装置において信号変換処理を行ってもよい。したがって、本明細書及び特許請求の範囲において、「〜信号を『公衆ネットワーク及び前記親装置』を介して受信」又は「〜信号を『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信」という場合、親装置及び/又は中継装置において信号変換処理を行う構成も含む。
【0064】
特に、「『公衆ネットワーク及び前記親装置』を介して受信した運動制御信号」又は「『公衆ネットワーク、前記中継装置及び前記親装置』を介して受信した運動制御信号」という場合、端末装置が、運動制御一次信号(例えば、移動運動制御信号と回転運動制御信号とから構成される)を親装置に送信し、親装置が、受信した運動制御一次信号を運動制御二次信号に変換した上で子装置に送信する構成も含む。
【0065】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第10の様態は、第8又は第9の様態のライブ映像配信システムにおいて、
前記親装置は、前記運動制御信号が担う運動制御情報に基づかずに、前記子装置の運動を制御する独自の信号(以下「現地運動制御信号」と略記する)を生成し、前記子装置に送信する機能を有する、
ように構成した。
【0066】
本発明の第10の様態において、親装置は、子装置から受信した映像信号が担う映像情報に基づいて自動的に又はマニュアル操作によって現地運動制御信号を生成する構成とすることができる。
【0067】
また、子装置は、「自身と親装置との位置関係」及び/又は「他の子装置を含む障害物との接近状況又は接触状況」を検知する接近検知手段を備え、該接近検知手段で検出した結果を親装置に送信する機能を有するともに、親装置は、受信した結果に基づいて自動的に又はマニュアル操作によって現地運動制御信号を生成する構成とすることができる。
【0068】
なお、子装置が、運動制御信号を、親装置を介さず、公衆ネットワーク又は「公衆ネットワーク及び前記中継装置」を介して受信する場合(上記の[ケースIII]の場合)、子装置は、運動制御信号と現地運動制御信号の双方を受信することになるが、その場合には、子装置の運動は、現地運動制御信号によって優先的に制御される構成とすることが好ましい。
【0069】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第11の様態は、第8乃至第10の様態のいずれか一つの様態のライブ映像配信システムにおいて、
前記子装置は、前記運動制御信号が担う運動制御情報と前記現地運動制御情報が担う運動制御情報に基づかずに、自律的に運動を行う機能を有する、
ように構成した。
【0070】
本発明の第11の様態において、子装置は、撮像手段が撮像した結果に基づいて、運動手段を自律的に制御する構成とすることができる。
【0071】
また、子装置は、「自身と親装置との位置関係」及び/又は「他の子装置を含む障害物との接近状況又は接触状況」を検知する接近検知手段を備えるとともに、該接近検知手段の検出結果の情報に基づいて、運動手段を自律的に制御する構成とすることができる。
【0072】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第12の様態は、第1乃至11のいずれか一つの様態のライブ映像配信システムにおいて、
前記現地システムは、現地システムの周囲の音声を集音して音声信号を生成する音声信号生成手段を備え、
前記端末装置は、
放音手段を備え;
現地システムの音声信号生成手段が生成した音声信号を、公衆ネットワーク又は「公衆ネットワーク及び中継装置」を介して受信する機能と;
前記受信した音声信号が担う音声情報に基づいて音声を放出する機能と;
を有する、
ように構成した。
【0073】
本発明の第12の様態において、現地システムの音声信号生成手段を複数のマイクロフォンで構成することにより、ステレオ音声信号を送信するようにすることができる。そして、その場合には、端末装置は、左右の放音部から音声を放出構成とすることが好ましい。
【0074】
本発明の第12の様態において、現地システムは、MPEG規格によって圧縮符号化した映像・音声信号を送信する構成とすることで、映像(ビデオ)情報と音声(オーディオ)情報を一体的に扱うことができる。
【0075】
端末装置は、公衆ネットワーク又は「公衆ネットワーク及び前記中継装置」を介して受信した音声信号が担う音声情報に基づいて音声を出力する、スピーカなどの放音手段を備えることが好ましい。
【0076】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第13の様態は、第1乃至12のいずれか一つの様態のライブ映像配信システムにおいて、
前記現地システムは可搬型である、
ように構成した。
【0077】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第14の様態は、第13の様態のライブ映像配信システムにおいて、
前記親装置は長距離移動手段を備える、
ように構成した。
【0078】
本発明の第14の様態において、親装置の長距離移動手段としては、自動車、船舶、航空機、潜水船、宇宙船等の汎用的な長距離移動手段を、必要に応じて改造した上で、使用することができる。また、移動に際しては、親装置に運転員が乗ってマニュアル操作で運転することも、親装置に運転員が乗らずにマニュアル操作で運転することも、親装置が自律的に移動することも可能である。
【0079】
上記目的を達成するために、ライブ映像配信システムに係る本発明の第15の様態は、第1乃至第14のいずれか一つの様態のライブ映像配信システムを用いたライブ映像マルチ配信システムであって、
互いに離れた場所に設置された複数の前記現地システムと、
複数の前記端末装置と、
から構成され、
前記端末装置は、現地システムを選択する手段を備える、
ように構成した。
【発明の効果】
【0080】
本発明のライブ映像配信システムによれば、利用者は、マニュアル操作や身体運動によって、手元の端末装置の表示範囲設定信号生成手段を作動させることによって、現地システムの映像信号生成手段が生成する映像信号のうち、手元の端末装置に対応付けられた系統の映像信号の表示範囲を設定し、その表示範囲の内部にある観察対象の映像を手元の端末装置の映像表示手段に表示させることができる。このため、利用者自身が観察したい対象をリアルタイムで観察することができる。しかも、複数の利用者が、相互に独立に映像の表示範囲を設定することができるので、各々が観察したい別個の対象をリアルタイムで同時に観察することができる。なお、この際、現地システムの映像信号生成手段が生成する映像信号の系統と端末装置とは対応付けられているため、他の利用者のマニュアル操作や身体運動によって、自らの手元の端末装置に表示される映像の表示範囲が変えられるような問題は生じない。
【0081】
したがって、現地システムを秘境、あるいは、宇宙空間、深海といったフロンティア空間に設置し、端末装置を遠隔地に設置することで、遠隔地にいる利用者に対して、「疑似的な観光体験」を提供できるようになる。このため、利用者は、秘境やフロンティア空間に赴く必要がないため、希少な自然環境や貴重な遺跡が破壊されることがなくなる。また、現地に赴くためのコストが不要となり、無重力や高気圧などによって身体に過大な負荷がかかったり、現地への移動手段の破損によって生命が危険にさらされたりするリスクを回避又は軽減できる。
【0082】
また、現地システムと端末装置との間の信号のやり取りは、公衆ネットワーク又は「公衆ネットワーク及び中継装置」を介して行うので、端末装置を作動させる利用者が、観察対象が存在する現地から遠距離の場所にいても問題がない。特に、公衆ネットワークとしてインターネットを利用する場合には、インターネットへのアクセスの問題を除けば、地球上であれば、距離的な制約はない。
【0083】
なお、本発明のライブ映像配信システムは、秘境やフロンティア空間における(疑似)観光だけではなく、従来の観光地での(疑似)観光にも適用でき、さらには、高温・低温、高汚染、高放射線量などの過酷環境地域での調査や監視にも適用できる。特に、過酷環境地域での調査や監視においては、現地に滞在する必要性がなくなるか、滞在人数や日数を提言することができるため、現地滞在に伴う身体への負荷や生命の危険のリスクを軽減できる。
【0084】
特に、本発明の第1の様態のライブ映像配信システムによれば、現地システムが直接に公衆ネットワークにアクセスするため、中継装置を設ける必要がない。
【0085】
一方、特に、本発明の第2の様態のライブ映像配信システムによれば、現地システムは中継装置と通信するため、観察対象が、例えば宇宙空間や海中のように、アクセス可能な公衆ネットワークが存在しない地域や領域に存在するであっても、観察を行うことができる。
【0086】
また、特に、本発明の第3の様態のライブ映像配信システムによれば、端末装置の表示手段に表示される映像の表示範囲が、利用者の身体の位置や動きに対応して設定されるため、現地にある観察対象を臨場感をもって観察することができる。
【0087】
また、特に、本発明の第4の様態のライブ映像配信システムによれば、身体運動補助手段なしでは実現できないような身体の運動が実現でき、しかも、端末装置の表示手段に表示される映像の表示範囲は、その運動に対応して設定しているため、多様な視覚体験を提供することができる。特に、現地システムが海中や宇宙空間に設置されており、一方、身体運動補助手段として水を張ったプールを利用する場合には、利用者がプールで水中遊泳することで、あたかも宇宙遊泳や深海遊泳をするような「模擬的な観光体験」を提供することができる。
【0088】
また、特に、本発明の第5及び第6の様態のライブ映像配信システムによれば、現地システムは、現地システムを構成する複数の子装置の各々が、自身に対応付けられた端末装置の表示範囲設定信号生成手段が生成する表示範囲設定信号が担う表示範囲設定情報に基づいて撮像手段の撮像範囲を定め、撮像手段が撮像した結果に基づいて映像信号を生成することにより、表示範囲が異なる複数系統の映像信号を生成することができる。このため、端末装置の利用者が多数になって、多数の系統の映像信号を生成・送信する必要が生じた場合でも、子装置を増やすことによって容易に対応することができる。
【0089】
また、特に、本発明の第7の様態のライブ映像配信システムによれば、子装置が移動運動を行って撮像手段の視座を移動させなくとても、映像の表示範囲を変更することができる。このため、子装置の周囲にある対象であれば、観察対象を迅速に変更することができる。
【0090】
また、特に、本発明の第8及び第9の様態のライブ映像配信システムによれば、子装置は運動を行うことができるため、子装置の撮像装置の視座を自由に移動させることができる。このため、利用者は、広い範囲に存在する観察対象を観察することができる。特に、地上から空中に浮遊する機能を有する場合には、空中から地上を観察することができる。また、宇宙空間や海中に浮遊する機能を有する場合には、疑似的に宇宙遊泳や海中遊泳を行っているような体験を提供することができる。
【0091】
また、特に、本発明の第10の様態のライブ映像配信システムによれば、子装置は、遠隔地にいる利用者のマニュアル操作や身体運動の結果として生成される運動制御信号に基づいて運動を行うだけではなく、親装置が生成して子装置に送信する現地運動制御信号に基づいた運動を行うことができる。これにより、子装置相互の位置関係や、子装置と親装置又はその他の障害物との位置関係を、現地の監視者又はセンサーが検知し、その検知結果に基づいて親装置から現地運動制御信号を送信することにより、子装置相互の衝突や、子装置と親装置又はその他の障害物との衝突を回避することができる。
【0092】
また、特に、本発明の第11の様態のライブ映像配信システムによれば、子装置は、遠隔地にある端末装置から送信される運動制御信号や、親装置から送信される現地運動制御信号に基づいて運動を行うだけではなく、自律的に運動を行うことができる。このため、子装置は、子装置自身の自律的な運動によって、子装置相互の衝突や、子装置と親装置又はその他の障害物との衝突を回避することができる。
【0093】
また、特に、本発明の第12の様態のライブ映像配信システムによれば、遠隔地にいる利用者は、現地の観察対象を視覚的に観察するだけではなく、現地の状況を聴覚的にも認識できるようになる。したがって、現地システムを観光地(秘境、フロンティア空間を含む)に設置した場合には、臨場感が増した「疑似的な観光体験」を提供することができる。
【0094】
また、特に、本発明の第13の様態のライブ映像配信システムによれば、現地システムを様々な場所に移動させて使用することができる。
【0095】
また、特に、本発明の第14の様態のライブ映像配信システムによれば、現地システムは、親装置の長距離移動手段によって、観察対象が存在する場所に移動することができる。特に、親装置の長距離移動手段として、自動車、船舶、航空機、潜水船、宇宙船等の汎用的な長距離移動手段を使用した場合、子装置を小型・軽量化することによって、汎用的な長距離移動手段に、人間が実際に搭乗するよりも多数の子装置を積載することができる。
【0096】
また、特に、本発明の第15の様態のライブ映像配信システムによれば、現地システムを異なる観光地(秘境、フロンティア空間を含む)に設置し、端末装置を用いて現地システムを選択するような構成とすることによって、一箇所に留まる利用者に対して、複数の観光地における「疑似的な観光体験」を提供することができる。
【図面の簡単な説明】
【0097】
図1】本発明の実施例1に係るライブ映像配信システムの構成及び機能を説明するためのブロック図である。
図2】本発明の実施例2に係るライブ映像配信システムのうち、現地システム(親装置及び子装置)と中継装置の構成及び機能を説明するためのイメージ図である。
図3】本発明の実施例3に係るライブ映像配信システムのうち、現地システム(親装置及び子装置)と中継装置の構成及び機能を説明するためのイメージ図である。
図4】撮像手段の撮像範囲、視座、視線及び視点(撮像範囲の中心)を説明するための説明図である。
【発明を実施するための形態】
【0098】
以下、図面を参照して本発明の実施形態について説明する。ただし、本発明はかかる実
施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。
【実施例1】
【0099】
図1は、本発明の実施例1に係るライブ映像配信システムの構成及び機能を説明するためのブロック図である。
本実施例においては、ライブ映像配信システムは、子装置A_1A〜子装置F_1Fと親装置2から構成される現地システム、中継装置3、及び、端末装置A_5A〜端末装置F_5Fから構成される。
【0100】
子装置A_1A〜子装置F_1Fは、陸上を移動する親装置2に積載されて現地(例えば、秘境を含む観光地、高温・低温、高汚染、高放射線量などの過酷環境地域など)まで長距離移動し、現地到着後に、親装置2の外部に放出されて、前後上下への直進運動や上下左右への旋回運動を行ったり、自身の回転軸又は回転中心のまわりの回転運動を行ったりする。ただし、子装置A_1A〜子装置F_1Fと親装置2とはケーブルで接続されているため、子装置A_1A〜子装置F_1Fが移動できるのは、ケーブルが伸びきる範囲内に限定される。
【0101】
一方、親装置2と中継装置3は無線通信によって情報のやり取りをし、中継装置3と端末装置A_5A〜端末装置F_5Fは、インターネット4との間で情報をやり取りする。
【0102】
また、子装置A_1A〜子装置F_1Fには、それぞれ現地システム内で定義された識別番号が割り振られ、一方、端末装置A_5A〜端末装置F_5Fを構成する通信ユニットには、それぞれIPアドレスが与えられている。前記識別番号と前記IPアドレスとが対応付けられることによって、子装置A_1Aと端末装置A_5A、子装置B_1Bと端末装置B_5B、子装置C_1Cと端末装置C_5C、子装置D_1Dと端末装置D_5D、子装置E_1Eと端末装置E_5E、子装置F_1Fと端末装置F_5Fは、それぞれ対応付けられている。
【0103】
子装置A_1A〜子装置F_1Fは、通常のヘリコプターと同様にメインローターとテールローターを備えており、それらの回転によって空中を浮遊して、直進運動、旋回運動及び回転運動を行うことができる。また、子装置A_1A〜子装置F_1Fは、運動制御手段を備えており、該運動制御手段は、親装置2からケーブルを介して送信される運動制御二次信号に基づいて、ローターの回転数、ピッチ角、回転面の傾き等を制御する。
【0104】
また、子装置A_1A〜子装置F_1Fは、それぞれ、2つのCMOSカメラモジュールと、2つのイメージセンサーからの撮像電気信号を非圧縮の3D映像信号に変換する映像信号変換手段とを備えており、生成された3D非圧縮映像信号を、ケーブルを介して親装置2に送信する。
【0105】
なお、本実施例では、撮像手段としてCMOSカメラモジュールを使用しているが、それ以外の撮像手段(例えばCCDカメラモジュールなど)を使用してもよい。
【0106】
さらに、子装置A_1A〜子装置F_1Fは、前記イメージセンサーと前記映像信号変換手段とによって生成される非圧縮映像信号が担う映像情報に基づき、他の子装置、親装置及びそれら以外の障害物への接近を判断する接近判断手段を備えている。そして、前記運動制御手段は、親装置2から送信される前記運動制御二次信号に加えて、前記接近判断手段が判断した結果にも基づいて、ローターの回転数、ピッチ角、回転面の傾き等を制御することにより、他の子装置、親装置及びそれら以外の障害物との接触を回避することができる。
【0107】
また、子装置A_1A〜子装置F_1Fは、マイクロフォンを備えており、それぞれが集音した音声信号を、ケーブルを介して親装置2に送信する。
【0108】
前記3D非圧縮映像信号と音声信号は、HDMI(登録商標)(High-Definition Multimedia Interface)信号又はMHL(登録商標)(Mobile High-definition Link)信号として伝送される。また、この実施形態においては、ケーブルを用いた有線伝送が採用されているが、これに代えて、WirelessHDやWHDI(Wireless Home Digital Interface)などの規格に則った無線伝送を採用することも可能である。
【0109】
一方、親装置2は、子装置A_1A〜子装置F_1Fに運動制御二次信号を送信するとともに、子装置A_1A〜子装置F_1Fから3D非圧縮映像信号及び音声信号を受信するためのインターフェース部21を備えている。また、親装置2は、情報処理を担うサーバ22と、中継装置3との間で無線信号のやり取りをするための送受信アンテナ23と、親装置2が長距離移動するための走行装置24を備えている。
【0110】
走行ユニット24は、通常の自動車と同様の車輪及びその駆動手段(原動機及び/又は電動機、トランスミッション等)からなる。なお、走行ユニット24は、親装置2に搭乗した運転者のマニュアル操作によって走行させても、遠隔操作によって走行させても、又は、自動走行させてもよい。このうち、遠隔操作による走行や自動走行の場合には、駆動手段はサーバ22からの信号によって制御される。
【0111】
サーバ22は、送受信アンテナ23から受信した運動制御一次信号に基づき、子装置A_1A〜子装置F_1Fの移動を制御する運動制御二次信号を生成し、各子装置が接続されているインターフェース部21の各ポートに送信する。該運動制御二次信号は、ローターの回転数、ピッチ角、回転面の傾き等の情報を含む。
【0112】
なお、前記運動制御一次信号には、それを発信した端末装置を構成する通信ユニットに与えられたIPアドレスが付帯しており、サーバ22は、該IPアドレスに基づき、対応する識別番号が割り振られた子装置が接続されているインターフェース部21のポートに、前記運動制御二次信号を送信する。
【0113】
また、サーバ22は、各子装置が接続されているインターフェース部21から、子装置A_1A〜子装置F_1Fのイメージセンサーが撮像した撮像電気信号を映像信号変換手段が変換した3D非圧縮映像信号と、子装置A_1A〜子装置F_1Fのマイクロフォンが集音した音声信号とを受信し、それぞれ、ストリーミング配信可能な映像信号及び音声信号に変換して、送受信アンテナ23に送信する。特に、3D非圧縮映像信号については、圧縮符号化処理を行い、3D圧縮映像信号として送信する。
【0114】
なお、サーバ22は、前記3D圧縮映像信号及び音声信号を送信する際には、インターフェース部21の各ポートに接続されている子装置の識別番号に基づき、最終送信先の端末装置を決定した上で、該端末装置の通信ユニットに割り振られたIPアドレスを送信先IPアドレスとするインターネット・プロトコルに準拠した信号として送信する。
【0115】
なお、サーバ22は、インターフェース部21から受信した3D非圧縮映像信号に基づき、子装置相互の接近、各子装置と親装置及びそれら以外の障害物への接近を判断する接近判断機能を有する。そして、サーバ22は、送受信アンテナ23から受信した運動制御一次信号に加えて、前記接近判断機能によって判断された結果にも基づいて、運動制御二次信号を生成してインターフェース部21に送信する。これによって、各子装置が、他の子装置、親装置及びそれら以外の障害物との接触を回避することができる。
【0116】
送受信アンテナ23は、サーバ22から受信した3D非圧縮映像信号及び音声信号を、3GやLTEなどのモバイル信号として中継装置3に送信する。
【0117】
一方、中継装置3は、モバイル基地局であり、送受信アンテナ23から受信したモバイル信号を受信し、必要な変換を行った上で、インターネット4に送信する。
【0118】
一方、端末装置A_5A〜端末装置F_5Fは、操作コントローラ、IPアドレスが与えられた通信ユニット、没入型3D−HMD及びヘッドフォンから構成される。
【0119】
操作コントローラは、通常のラジコンヘリのプロポ型ジョイスティックコントローラと同様に、利用者のレバー操作やダイヤル操作に基づいて運動制御一次信号を生成し、該運動制御一次信号を通信ユニットに送信する。
【0120】
通信ユニットは、操作コントローラから受信した運動制御一次信号を、与えられたIPアドレスを送信元IPアドレスとするインターネット・プロトコルに準拠した信号に変換し、内蔵するインターネットインターフェースを経由してインターネットに送信する。
【0121】
また、通信ユニットは、内蔵するインターネットインターフェースを経由してインターネットから前記ストリーミング配信された3D圧縮映像信号と音声信号を受信し、必要な復号化処理を行った上で、HMD及びヘッドフォンに送信する。特に、3D圧縮映像信号については、伸張復号化処理を行い、3D非圧縮映像信号として送信する。
【0122】
HMDは、通信ユニットから受信した3D非圧縮映像信号に基づき、左右の投射部から映像を投射する。これにより、利用者は現場の観察対象を含む3D映像を楽しむことができる。また、ヘッドフォンは、通信ユニットから受信した音声信号に基づき、左右の放音部から音声を放出する。これにより、利用者は現場の音声を楽しむことができる。
【0123】
なお、HMDとヘッドフォンとは一体的な装置とすることができる。その際、前記通信ユニットからデコードされた3D非圧縮映像信号及び音声信号の送信は、HDMI(登録商標)信号又はMHL(登録商標)信号として有線伝送することができる。又は、WirelessHD信号やWHDI信号として無線伝送することができる。
【0124】
また、本実施例では、運動制御一次信号は、利用者が操作コントローラを操作することによって生成される構成としているが、HMDに加速度センサー及び方位センサーを付属又は内蔵させ、それらのセンサーの検知結果に基づいて生成される構成とすることもできる。
【0125】
さらに、利用者は前記HMDとヘッドフォンを装着した上で、トランポリンやバンジーコードなどの身体運動補助手段の援けを借りて、上下運動や回転運動を行うことができる。その場合、HMDの左右の投射部には、利用者の身体運動に連動した映像が表示されるので、利用者は、あたかも現地(特に秘境を含む観光地)で上下運動や回転運動を行っているかのような臨場感をもって映像を楽しむことができる。
【0126】
なお、利用者の身体運動が激しすぎ、利用者の視線が急激に移動する場合、子装置のCMOSカメラモジュールの視線の移動が追従できないことがある。このような場合、撮像手段として360°の視野角(立体角)をカバーする全天周カメラを使用した上で、利用者の視線に対応した撮像範囲の撮像電気信号、又は、利用者の視線に対応した表示範囲の映像信号を電子的に生成する構成にしておけば、このような追従遅れを回避することができる。
【0127】
また、本実施例における子装置と端末装置とは、一対で使用することができる。その場合、親装置が担っている機能のうち、走行ユニット24が担っている長距離移動機能以外の機能、すなわち、サーバ22及び通信アンテナ23が担っている信号変換処理機能及び通信機能を、子装置に担わせる構成とすることができる。
【実施例2】
【0128】
図2は、本発明の実施例2に係るライブ映像配信システムのうち、現地システム(親装置及び子装置)と中継装置の構成及び機能を説明するためのイメージ図である。
本実施例においては、ライブ映像配信システムは、子装置A_1A〜子装置F_1Fと親装置2から構成される現地システム、中継装置A_3Aと中継装置B_3B、及び、端末装置A_5A〜端末装置F_5F(図示されない)から構成される。
【0129】
子装置A_1A〜子装置F_1Fは、海上及び海中を移動する親装置2に搭載されて深海まで長距離移動し、現地到着後に、親装置2の外部に放出されて、上下左右に移動したり回転したりする。ただし、子装置A_1A〜子装置F_1Fと親装置2とはケーブルで接続されているため、子装置A_1A〜子装置F_1Fが移動できるのは、ケーブルが伸びきる範囲内に限定される。
一方、親装置2と中継装置A_3Aはケーブルを介して情報のやり取りをし、中継装置A_3Aと中継装置B_3Bは無線通信によって情報のやり取りをし、中継装置B_3Bと端末装置A_5A〜端末装置F_5F(図示されない)は、インターネット4との間で情報をやり取りする。
【0130】
また、子装置A_1A〜子装置F_1Fと端末装置A_5A〜端末装置F_5F(図示されない)は、それぞれ、識別番号及びIPアドレスが割り振られ、実施例1と同様に対応付けられる。
【0131】
子装置A_1A〜子装置F_1Fの構成と機能は、基本的には、実施例1と同じであるが、海中での移動は、スクリュープロペラの回転、舵の角度、海水の注入・排水によって行う。
【0132】
一方、親装置2は、海上及び海中を自力航行可能な潜水船であり、その内部に、実施例1と同様の機能を有するインターフェース部21及びサーバ22(図示されない)を備える。ただし、実施例1とは異なり、送受信アンテナの代わりに、中継装置A_3Aと接続されるケーブルを接続するインターフェース部を備える。
【0133】
また、中継装置A_3Aは、親装置2の上方海面に停泊する通信船であり、親装置2との間でケーブルを介して映像信号、音声信号及び運動制御信号のやり取りをする一方、中継装置B_3Bとの間で、無線通信によって映像信号、音声信号及び運動制御信号のやり取りをする。一方、中継装置B_3Bは陸上に設置されたモバイル基地局であり、実施例1における中継装置3と同様の機能を有する。
【0134】
一方、端末装置A_5A〜端末装置F_5Fは、ヘッドフォン一体型HMDであり、HMDの内部には、コントロールユニット、通信ユニット、加速度センサー及び方位センサーが内蔵されている。また、ヘッドフォン一体型HMDは防水仕様となっており、利用者はヘッドフォン一体型HMD頭部に装着し、必要な潜水具を装着した上で、プールに張られた水中を遊泳する。
【0135】
コントロールユニットは、加速度センサー及び方位センサーからの信号に基づき、利用者の頭部の位置と顔面(視線)の向きを特定し、その結果に基づいて運動制御一次信号を生成し、送信ユニットに送信する。送信ユニットは、受信した運動制御一次信号を、実施例1と同じように、内蔵するインターネットインターフェースを経由してインターネットに送信する。
【0136】
また、ヘッドフォン一体型HMDの左右の投射部には、通信ユニットから受信した3D非圧縮映像信号に基づいて映像が投射される。この映像は、前記コントロールユニットが特定した利用者の頭部の位置と顔面(視線)の向きの動きに連動して変化するため、利用者は、あたかも深海中を遊泳しているかのような感覚をもって映像を楽しむことができる。
【0137】
なお、本実施例における子装置と端末装置(ヘッドフォン一体型HMD)とは、一対で使用することができる。その場合、親装置が担っている機能のうち、サーバ22及び通信アンテナ23が担っている信号変換処理機能及び通信機能を子装置に担わせる構成とすることができる。
【0138】
また、本実施例における端末装置(ヘッドフォン一体型HMD)は、本発明に係るライブ映像配信システムの現地システムとは独立に使用することも可能である。例えば、観光地の情景を多数の撮像手段を用いて様々な位置・角度からあらかじめ撮像しておき、取得された多数の撮像データに基づいて、任意の視点における映像信号を生成する任意視点
(Free Viewpoint)映像生成装置と組み合わせて使用することが可能である。この場合、任意視点映像生成装置は、ヘッドフォン一体型HMDのコントローラが生成する運動制御一次信号が担う視点情報に基づいて、映像信号を生成する。
【実施例3】
【0139】
図3は、本発明の実施例3に係るライブ映像配信システムのうち、現地システム(親装置及び子装置)と中継装置の構成及び機能を説明するためのイメージ図である。
この実施形態においては、ライブ映像配信システムは、子装置A_1A〜子装置F_1Fと親装置2から構成される現地システム、中継装置A_3Aと中継装置B_3B、及び、端末装置A_5A〜端末装置F_5F(図示されない)から構成される。
【0140】
子装置A_1A〜子装置F_1Fは、地上から発射され、大気圏内外を飛行する親装置2に搭載されて大気圏外まで長距離移動し、現地到着後に、親装置2の外部に放出されて、上下左右に移動したり回転したりする。ただし、子装置A_1A〜子装置F_1Fと親装置2とはケーブルで接続されているため、子装置A_1A〜子装置F_1Fが移動できるのは、ケーブルが伸びきる範囲内に限定される。
一方、親装置2と中継装置A_3A、中継装置A_3Aと中継装置B_3Bは、それぞれ無線通信によって情報のやり取りをし、中継装置B_3Bと端末装置A_5A〜端末装置F_5F(図示されない)は、インターネット4との間で情報をやり取りする。
【0141】
また、子装置A_1A〜子装置F_1Fと端末装置A_5A〜端末装置F_5F(図示されない)は、それぞれ、識別番号及びIPアドレスが割り振られ、実施例1と同様に対応付けられる。
【0142】
子装置A_1A〜子装置F_1Fの構成と機能は、基本的には、実施例1と同じであるが、大気圏外での移動は、ジェット噴射によって行う。
【0143】
一方、親装置2は、大気圏外に飛行可能な宇宙船であり、その内部に、実施例1と同様の機能を有するインターフェース部21及びサーバ22(図示されない)を備える。また、実施例1と同様に、中継装置A_3Aとの間で無線信号をやり取りする。なお、親装置2は、発射時に使用したロケット(本明細書及び特許請求の範囲でいう「長距離移動手段」の一部)を切り離す構成とすることができる。
【0144】
また、中継装置A_3Aは、大気圏外に存在する通信衛星であり、親装置2及び中継装置B_3Bとの間で、無線通信によって映像信号、音声信号及び運動制御信号のやり取りをする。一方、中継装置B_3Bは地上に設置されたモバイル基地局であり、実施例1における中継装置3と同様の機能を有する。
【0145】
一方、端末装置A_5A〜端末装置F_5F(図示されない)の構成と機能は、基本的には、実施例2と同じである。ヘッドフォン一体型HMDの左右の投射部には、通信ユニットから受信した3D非圧縮映像信号に基づいて映像が投射される。この映像は、コントロールユニットが特定した利用者の頭部の位置と顔面(視線)の向きの動きに連動して変化するため、利用者は、あたかも、宇宙空間中を遊泳しているかのような感覚をもって映像を楽しむことができる。
【産業上の利用可能性】
【0146】
本発明は、現地システムを構成する映像信号生成手段(撮像手段、映像信号変換手段、運動手段)、音声信号生成手段及び通信手段、端末装置を構成する表示範囲設定信号生成手段(身体検知手段、運動制御信号生成手段)、映像表示手段、放音手段及び通信手段に係る装置を製造する産業において利用することができる。また、現地システムの長距離移動手段として利用可能な自動車、船舶、宇宙船(宇宙船を大気圏外に運ぶロケットを含む)を製造する産業において利用することができる。さらに、ライブ映像配信システムを使用した観察に係るサービス(特に観光サービス)を提供する産業においても利用することができる。
【符号の説明】
【0147】
1A‥‥‥子装置A
1B‥‥‥子装置B
1C‥‥‥子装置C
1D‥‥‥子装置D
1E‥‥‥子装置E
1F‥‥‥子装置F
2‥‥‥親装置
21‥‥‥インターフェース部
22‥‥‥サーバ
23‥‥‥送受信アンテナ
24‥‥‥走行ユニット
3‥‥‥中継装置
3A‥‥‥中継装置A
3B‥‥‥中継装置B
4‥‥‥インターネット
5A‥‥‥端末装置A
5B‥‥‥端末装置B
5C‥‥‥端末装置C
5D‥‥‥端末装置D
5E‥‥‥端末装置E
5F‥‥‥端末装置F
61‥‥‥撮像手段
611‥‥‥視座
62‥‥‥視線
63‥‥‥撮像範囲
631‥‥‥視点(撮像範囲の中心)
図1
図2
図3
図4