ホーム > 特許ランキング > 株式会社ソシオネクスト
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-220113(P2016-220113A)
(43)【公開日】2016年12月22日
(54)【発明の名称】映像配信装置、映像配信方法、及び映像配信システム
(51)【国際特許分類】
H04N 21/2662 20110101AFI20161125BHJP
H04N 19/597 20140101ALI20161125BHJP
H04N 19/115 20140101ALI20161125BHJP
H04N 19/164 20140101ALI20161125BHJP
H04N 19/179 20140101ALI20161125BHJP
H04N 13/02 20060101ALI20161125BHJP
H04N 13/00 20060101ALI20161125BHJP
H04N 21/2385 20110101ALI20161125BHJP
【ＦＩ】
H04N21/2662
H04N19/597
H04N19/115
H04N19/164
H04N19/179
H04N13/02 390
H04N13/00 480
H04N13/00 590
H04N21/2385
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
【全頁数】27
(21)【出願番号】特願2015-104902(P2015-104902)
(22)【出願日】2015年5月22日
(71)【出願人】
【識別番号】514315159
【氏名又は名称】株式会社ソシオネクスト
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100192636
【弁理士】
【氏名又は名称】加藤 隆夫
(72)【発明者】
【氏名】吉本 武史
(72)【発明者】
【氏名】飯野 徹
(72)【発明者】
【氏名】渡辺 智之
【テーマコード（参考）】
5C061
5C159
5C164
【Ｆターム（参考）】
5C061AA01
5C061AA29
5C061AB04
5C061AB08
5C061AB12
5C061AB18
5C061AB20
5C159PP03
5C159PP13
5C159RA08
5C159RB10
5C159SS09
5C159SS26
5C159TA60
5C159TB01
5C159TC45
5C159TD16
5C159UA02
5C164PA31
5C164SA26S
5C164SA32S
5C164SB02S
5C164SC11P
5C164YA15
(57)【要約】
【課題】視野方向の変化を考慮した映像をリアルタイムに高画質で配信できる映像配信装置を提供する。【解決手段】映像配信装置は、異なる複数の撮像方向をそれぞれ向いて配置された複数の撮像装置から受け取った複数の映像データを圧縮する圧縮部と、圧縮された複数の映像データを不特定多数の受信装置に対して送信すると共に、複数の受信装置から視野方向を示す複数の方向データを受信する通信制御部と、複数の撮像方向のうちの一の撮像方向に対応する視野方向を示す方向データの方向データの全数に対する割合に基づいて、圧縮部による一の撮像方向の映像データの圧縮率を設定する演算部とを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
異なる複数の撮像方向をそれぞれ向いて配置された複数の撮像装置から受け取った複数の映像データを圧縮する圧縮部と、
前記圧縮された複数の映像データを不特定多数の受信装置に対して送信すると共に、複数の前記受信装置から視野方向を示す複数の方向データを受信する通信制御部と、
前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記圧縮部による前記一の撮像方向の前記映像データの圧縮率を設定する演算部と
を含む映像配信装置。
前記圧縮された複数の映像データを不特定多数の受信装置に対して送信すると共に、複数の前記受信装置から視野方向を示す複数の方向データを受信する通信制御部と、
前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記圧縮部による前記一の撮像方向の前記映像データの圧縮率を設定する演算部と
を含む映像配信装置。
【請求項2】
前記複数の撮像装置のうちの２つの撮像装置の間の配置間隔は人間の両眼の間の距離に等しい請求項１記載の映像配信装置。
【請求項3】
前記方向データが示す前記視野方向のうちの２つの隣り合う視野方向の間の角度と、前記複数の撮像方向のうちの２つの隣り合う撮像方向の間の角度とは等しい請求項２記載の映像配信装置。
【請求項4】
前記２つの撮像装置の２つの映像データは少なくとも１つの受信装置における左眼用及び右眼用の表示データであり、前記２つの映像データのうちの第１の映像データは前記少なくとも１つの受信装置における左眼用の表示データであると同時に他の少なくとも１つの受信装置における右眼用の表示データである請求項２又は３記載の映像配信装置。
【請求項5】
前記演算部は、前記２つの撮像装置の一方の撮像装置の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記２つの撮像装置の他方の撮像装置の前記映像データの圧縮率を設定する請求項２乃至４いずれか一項記載の映像配信装置。
【請求項6】
前記演算部は、前記２つの撮像装置の一方の撮像装置の前記映像データの圧縮率と前記２つの撮像装置の他方の撮像装置の前記映像データの圧縮率との差が、前記複数の映像データのうちの少なくとも２つの映像データに対して小さくなるよう補正演算を行う請求項２乃至５いずれか一項記載の映像配信装置。
【請求項7】
前記演算部は、前記複数の撮像方向のうちの隣り合う撮像方向に対応する前記複数の映像データの間の圧縮率の差を小さくするよう補正演算を行う請求項１乃至６いずれか一項記載の映像配信装置。
【請求項8】
３６０度全方位をカバーするよう配置された前記複数の撮像装置を更に含む請求項１乃至７いずれか一項記載の映像配信装置。
【請求項9】
異なる複数の撮像方向をそれぞれ向いて配置された複数の撮像装置から受け取った複数の映像データを圧縮し、
前記圧縮された複数の映像データを不特定多数の受信装置に対して送信し、
複数の前記受信装置から視野方向を示す複数の方向データを受信し、
前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記一の撮像方向の前記映像データの圧縮率を設定する
各段階を実行する映像配信方法。
前記圧縮された複数の映像データを不特定多数の受信装置に対して送信し、
複数の前記受信装置から視野方向を示す複数の方向データを受信し、
前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記一の撮像方向の前記映像データの圧縮率を設定する
各段階を実行する映像配信方法。
【請求項10】
異なる複数の撮像方向をそれぞれ向いて配置された複数の撮像装置を含む撮像ユニットと、
映像配信装置と、
複数の受信装置と
を含み、前記映像配信装置は、
前記複数の撮像装置から受け取った複数の映像データを圧縮する圧縮部と、
前記圧縮された複数の映像データを不特定多数の受信装置に対して送信すると共に、前記複数の受信装置から視野方向を示す複数の方向データを受信する通信制御部と、
前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記圧縮部による前記一の撮像方向の前記映像データの圧縮率を設定する演算部と
を含み、前記複数の受信装置の各々は、
受信された前記複数の映像データのうちの２つの映像データを左眼用及び右眼用の表示データとして表示する表示装置と、
ユーザーの視野方向を検出する方位センサと、
前記方位センサにより検出された前記視野方向を示す前記方向データを前記映像配信装置に送信する通信制御部と
を含む映像配信システム。
映像配信装置と、
複数の受信装置と
を含み、前記映像配信装置は、
前記複数の撮像装置から受け取った複数の映像データを圧縮する圧縮部と、
前記圧縮された複数の映像データを不特定多数の受信装置に対して送信すると共に、前記複数の受信装置から視野方向を示す複数の方向データを受信する通信制御部と、
前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記圧縮部による前記一の撮像方向の前記映像データの圧縮率を設定する演算部と
を含み、前記複数の受信装置の各々は、
受信された前記複数の映像データのうちの２つの映像データを左眼用及び右眼用の表示データとして表示する表示装置と、
ユーザーの視野方向を検出する方位センサと、
前記方位センサにより検出された前記視野方向を示す前記方向データを前記映像配信装置に送信する通信制御部と
を含む映像配信システム。
【請求項11】
前記複数の映像データのうちの第１の映像データ及び第２の映像データは少なくとも１つの受信装置におけるそれぞれ左眼用及び右眼用の表示データであり、前記第１の映像データは前記少なくとも１つの受信装置における左眼用の表示データであると同時に他の少なくとも１つの受信装置における右眼用の表示データである請求項１０記載の映像配信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本願開示は、映像配信装置、映像配信方法、及び映像配信システムに関する。
【背景技術】
【0002】
映像データエンターテーメント業界において、コンサート会場やスポーツの競技場等において撮像装置が撮影した映像データを配信し、遠隔地のユーザがリアルタイムで臨場感あふれる映像体験をできるシステムが提案されている。ユーザは例えば、ヘッドマウントディスプレイ等の映像受信装置を介して、配信されたコンテンツを視聴する。
【0003】
例えば、３６０度全方向を撮影した全天周映像データを取得できるカメラの映像から、ヘッドマウントディスプレイを利用して、好きな方向を自由に見ることができる視聴サービス等が提案されている。このサービスでは、ユーザの視野方向の映像だけを選択的に高画質配信することで、限られた帯域下においても高品質に映像データを配信することが可能となっている。
【0004】
現在業界で注目されている実写画像を使った映像データ配信の場合、高画質配信、遅滞なく映像データを配信するリアルタイム性、３Ｄ映像による臨場感の３点が重要とされている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開平０８−３３６１２８公報
【特許文献2】特開２０１４−０４５２４３号公報
【特許文献3】特開２００２−２９０９７４号公報
【特許文献4】特開２０１２−０４８５９７号公報
【非特許文献】
【0006】
【非特許文献1】"全天周映像向けインタラクティブ配信技術"、［online］、２０１４年２月４日、日本電信電話株式会社，株式会社ドワンゴ、［２０１５年４月２３日検索］、インターネット＜ URL ：http://www.ntt.co.jp/news2014/1402/140204a.html＞
【発明の概要】
【発明が解決しようとする課題】
【0007】
以上を鑑みると、視野方向の変化を考慮した映像をリアルタイムに高画質で配信できる映像配信装置が望まれる。
【課題を解決するための手段】
【0008】
映像配信装置は、異なる複数の撮像方向をそれぞれ向いて配置された複数の撮像装置から受け取った複数の映像データを圧縮する圧縮部と、前記圧縮された複数の映像データを不特定多数の受信装置に対して送信すると共に、複数の前記受信装置から視野方向を示す複数の方向データを受信する通信制御部と、前記複数の撮像方向のうちの一の撮像方向に対応する前記視野方向を示す前記方向データの前記方向データの全数に対する割合に基づいて、前記圧縮部による前記一の撮像方向の前記映像データの圧縮率を設定する演算部とを含む。
【発明の効果】
【0009】
少なくとも１つの実施例によれば、映像配信装置は、視野方向の変化を考慮した映像をリアルタイムに高画質で配信できる。
【図面の簡単な説明】
【0010】
【図1】映像配信システムの構成の一例を示す図である。
【図2】撮像ユニットの構成の一例を示す図である。
【図3】撮像ユニットの構成の別の一例を示す図である。
【図4】映像受信装置の構成の一例を示す図である。
【図5】映像受信装置の動作の一例を示す図である。
【図6】映像受信装置の動作の一例を示す図である。
【図7】映像配信時の圧縮率について説明するための図である。
【図8】各撮像装置の映像データの圧縮率について説明するための図である。
【図9】選択率の計算処理の流れを示すフローチャートである。
【図10】各撮像装置の映像データを使用しているユーザ数の一例を示す図である。
【図11】選択率及び補正後選択率の一例を示す図である。
【図12】各撮像装置の映像データを使用しているユーザ数の一例を示す図である。
【図13】選択率及び補正後選択率の一例を示す図である。
【図14】各撮像装置の映像データを使用しているユーザ数の一例を示す図である。
【図15】選択率及び補正後選択率の一例を示す図である。
【図16】補正後選択率の計算処理の流れを示すフローチャートである。
【図17】撮像装置の対の一例を示す図である。
【図18】撮像装置の各対の映像データを使用しているユーザ数の一例を示す図である。
【図19】選択率の一例を示す図である。
【図20】補正後の選択率の一例を示す図である。
【図21】選択率及び補正後選択率の一例をグラフ表示した図である。
【図22】補正後選択率の一例を示す図である。
【図23】選択率及び補正後選択率の一例をグラフ表示した図である。
【図24】補正後選択率の一例を示す図である。
【図25】選択率及び補正後選択率の一例をグラフ表示した図である。
【図26】隣接補正選択率の計算処理の流れを示すフローチャートである。
【図27】撮像装置の対の一例を示す図である。
【図28】撮像装置の各対の映像データを使用しているユーザ数の一例を示す図である。
【図29】選択率の一例を示す図である。
【図30】補正後選択率の一例を示す図である。
【図31】隣接補正選択率の一例を示す図である。
【図32】補正後選択率及び隣接補正選択率の一例をグラフ表示した図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施例を添付の図面を用いて詳細に説明する。なお以下の図面において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。
【0012】
図１は、映像配信システムの構成の一例を示す図である。図１に示す映像配信システムは、映像配信装置１０、複数の撮像装置を含む撮像ユニット１１、及び複数の映像受信装置１２を含む。撮像ユニット１１は、異なる複数の撮像方向をそれぞれ向いて配置された複数Ｎ＋１個（Ｎ：２以上の整数）の撮像装置を含む。映像配信装置１０は、撮像ユニット１１の複数の撮像装置から受け取った複数Ｎ＋１個の映像データを適宜圧縮し、圧縮された複数Ｎ＋１個の映像データを不特定多数の受信装置に対して送信する。即ち、映像配信装置１０は、映像受信装置１２と通信することにより映像受信装置１２の個々を宛先として別個に映像データを送信するのではなく、ブロードキャスト形式又はマルチキャスト形式で複数の映像データを送信する。図１には、複数Ｎ＋１個の映像データを各々が受信する複数Ｍ＋１個（Ｍ：１以上の整数）の映像受信装置１２が示されている。撮像ユニット１１と映像受信装置１２との間の映像送信及び通信は、有線通信であってもよいし、無線通信であってもよい。
【0013】
撮像ユニット１１の複数の撮像装置は、後述するように、３６０度全方位をカバーするよう配置されてよい。映像受信装置１２は、ヘッドマウントディスプレイ等の表示装置を含んでよい。撮像ユニット１１の複数の撮像装置が３６０度全方位をカバーすることにより、ヘッドマウントディスプレイ等の表示装置を装着したユーザは３６０度全方位のうちの所望の方向の眺めを見ることが可能となり、臨場感あふれる映像体験が可能となる。また撮像ユニット１１の複数の撮像装置は、後述するように、人間の左眼と右眼との間の視差に相当する視差を有するように配置されていてよく、映像受信装置１２がユーザに３Ｄ映像を提供することにより、更に臨場感あふれる映像体験が可能となる。
【0014】
映像配信装置１０は、バッファ部２０、映像圧縮部２１、選択率演算部２２、受信端末データベース２３、及び通信制御部２４を含む。映像圧縮部２１は、圧縮部２５、及び圧縮率算出部２６を含む。選択率演算部２２は、選択率算出部２７、補正選択率算出部２８、及び隣接補正選択率算出部２９を含む。
【0015】
図１及び以降の同様の図において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。装置は、各機能ブロックの機能を有する電子回路ブロックを組み合わせて実現したハードウェア構成でもよいし、電子回路である汎用のプロセッサにおいてソフトウェアを実行することにより各機能ブロックの機能を実現したソフトウェア構成でもよい。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。
【0016】
バッファ部２０は、撮像ユニット１１の複数の撮像装置から受け取った複数の映像データを一時的に格納しバッファリングする。映像圧縮部２１の圧縮部２５は、映像要求信号をバッファ部２０にアサートすることにより、バッファ部２０からＮ＋１個の映像データを受け取る。圧縮部２５は、圧縮率算出部２６により算出された映像データ毎の圧縮率により、Ｎ＋１個の映像データを圧縮する。通信制御部２４は、映像要求信号を圧縮部２５にアサートすることにより、圧縮部２５から圧縮後のＮ＋１個の映像データを受け取る。通信制御部２４は、圧縮されたＮ＋１個の映像データを不特定多数の受信装置に対して送信すると共に、Ｍ＋１個の映像受信装置１２から視野方向を示す複数の視野方向データを受信する。
【0017】
通信制御部２４が受信した視野方向データは受信端末データベース２３に格納され、受信端末データベース２３に格納された視野方向データは選択率演算部２２により読み出される。選択率演算部２２は、視野方向データに基づいて、Ｎ＋１個の撮像方向の各々の撮像方向について、複数の映像受信装置１２のうちの何割の映像受信装置１２により選択されているかを示す選択率を演算する。選択率が高い撮像方向ほど、より多くのユーザの視野方向が向いていることになる。Ｎ＋１個の撮像方向の各々に対して計算されたＮ＋１個の選択率は、補正選択率算出部２８及び隣接補正選択率算出部２９により適宜補正される。補正後の選択率は映像圧縮部２１の圧縮率算出部２６に供給され、圧縮率算出部２６が補正後の選択率に基づいた圧縮率を計算する。
【0018】
補正選択率算出部２８及び隣接補正選択率算出部２９による補正演算については後述する。補正選択率算出部２８及び隣接補正選択率算出部２９による補正演算を行わず、選択率算出部２７が算出する選択率に基づいて、圧縮率算出部２６が圧縮率を計算してもよい。また或いは、隣接補正選択率算出部２９による補正演算を行わず、補正選択率算出部２８が算出する補正選択率に基づいて、圧縮率算出部２６が圧縮率を計算してもよい。
【0019】
選択率演算部２２と圧縮率算出部２６とが、圧縮率を演算する演算部として機能してよい。演算部は、Ｎ＋１個の撮像方向のうちの一の撮像方向に対応する視野方向を示す方向データの割合が方向データの全数に対して大きいほど、圧縮部２５による一の撮像方向の映像データの圧縮率を低く設定してよい。即ち、より多くのユーザが見ている方向の映像データほど、より低い圧縮率で圧縮し、より高画質で配信することができる。逆に言えば、より少ないユーザが見ている方向の映像データほど、より高い圧縮率で圧縮し、より効率的に少ないデータ量で配信することができる。これにより、限られた伝送容量の中で、リアルタイム性を実現しながらも、成る可く多くのユーザが成る可く高画質で視聴することを可能とし、視聴者全体としての総体での満足度を最大化することができる。
【0020】
図２は、撮像ユニット１１の構成の一例を示す図である。図２に示す撮像ユニット１１は、複数の撮像装置３０を含む。図２に示す配置例では、１０個の撮像装置３０が周囲長６０ｃｍの円の周囲に沿って等間隔で配置されている。この場合、隣り合う２つの撮像装置３０の間の配置間隔は６ｃｍとなり、人間の両眼の間の平均的な距離に等しくなる。従って、隣り合う２つの撮像装置３０の２つの映像データは映像受信装置１２（図１参照）において左眼用及び右眼用の表示データとして使用するのに適したものとなっている。なお撮像装置３０が配置される円の円周である６０ｃｍは、平均的な人の頭囲長と同等となっている。また隣り合う２つの撮像装置３０の２つの視野方向の間の角度は３６度となっている。
【0021】
撮像装置３０のうちの着目した１つと、それに隣接する撮像装置３０との位置関係は、何れの撮像装置３０においても同一となっている。従って、隣り合う２つの撮像装置３０の２つの映像データのうちの第１の映像データは少なくとも１つの映像受信装置１２における左眼用の表示データであると同時に他の少なくとも１つの映像受信装置１２における右眼用の表示データとなることができる。例えば、互いに隣接する第１の撮像装置３０及び第２の撮像装置３０の２つの映像データが、ある映像受信装置１２においてそれぞれ左眼用及び右眼用の表示データとして使用される場合を考える。この場合、第２の撮像装置３０及びそれに隣接する第１の撮像装置３０ではない第３の撮像装置３０の映像データが、別の映像受信装置１２においてそれぞれ左眼用及び右眼用の表示データとして使用されてよい。この場合、第２の撮像装置３０の映像テータは、それぞれ右眼用及び左眼用として使用されることになる。
【0022】
なお上記のように、各撮像装置３０が右眼用及び左眼用の何れにも使用可能とされる場合、方向データが示す視野方向のうちの２つの隣り合う視野方向の間の角度と、撮像装置３０の複数の撮像方向のうちの２つの隣り合う撮像方向の間の角度とは等しくてよい。仮に例えば図２に示される撮像ユニット１１において、複数の撮像装置３０の配列における１つおきの撮像装置３０が右眼用専用であり、それ以外の１つおきの撮像装置３０が左眼用専用であるとする。この場合、選択可能な視野方向は、複数の撮像装置３０の複数の撮像方向のうちの１つおきの撮像方向に対応する方向となる。一方、図２に示される撮像ユニット１１において、複数の撮像装置３０の配列における各撮像装置３０が右眼用及び左眼用何れにも使用できるとする。この場合、選択可能な視野方向は、複数の撮像装置３０の複数の撮像方向のうちの各撮像方向に対応する方向となる。
【0023】
このように１つの撮像装置３０の映像データを右眼用又は左眼用の何れとしても使用することにより、右眼専用及び左眼専用の撮像装置３０を設ける場合と比較して、撮像ユニット１１の撮像装置数を少なくすることができる。逆に言えば、右眼専用及び左眼専用の撮像装置３０を設ける場合と比較して、選択可能な視野方向の数を多くして視線方向の切換角度幅をより細かくすることができる。また限られた伝送容量の中で、より多くの選択可能な視野方向に対応する映像データを配信することが可能となる。
【0024】
図３は、撮像ユニット１１の構成の別の一例を示す図である。図３においても、図２と同様に、撮像装置３０が周囲長６０ｃｍの円の周囲に沿って等間隔で配置されている。但し、図３における配置例では、図２における配置例の３倍の数の撮像装置３０が配置されており、隣り合う２つの撮像装置３０間の距離は２ｃｍ（＝６／３）となる。また隣り合う２つの撮像装置３０の２つの撮像方向の間の角度は１２度（＝３６／３）となる。この場合、映像受信装置１２において左眼用及び右眼用の表示データとして使用される映像データを撮像する撮像装置３０は、２個の撮像装置３０を間に挟んだ２つの撮像装置３０、即ち６ｃｍ間隔（３６度間隔）の２つの撮像装置３０となる。
【0025】
図２の撮像装置３０の配置例に比較して図３の撮像装置３０の配置例とすることで、撮像方向即ち視野方向の間隔を更に細かくして、視線方向の切換角度幅をより細かくすることができる。なお図２及び図３に示される撮像ユニット１１の構成例では、撮像装置３０が配置される円の円周は６０ｃｍであるとしたが、この円周長は一例にすぎない。周囲長６０ｃｍの円に撮像装置３０が配置された場合には、頭の中心を移動させずに視野方向を移動させたときの視野に相当する撮像データが撮像できる。それに対して、例えば周囲長２００ｃｍの円に撮像装置３０が配置された場合には、頭の中心を移動させながら視野方向を移動させたときの視野に相当する撮像データが撮像できることになる。
【0026】
図４は、映像受信装置１２の構成の一例を示す図である。図４に示す映像受信装置１２は、通信制御部４０、方位センサ４１、映像復号部４２、映像復号部４３、画像抽出部４４、画像抽出部４５、表示装置４６、及び表示装置４７を含む。映像受信装置１２は、送受信機能とヘッドマウントディスプレイ等としての表示機能とを有する。方位センサ４１は頭の動きをトラッキングすることにより、現在ユーザが見ている視野方向を示す方向データを生成してよい。
【0027】
通信制御部４０は、図１に示す映像配信装置１０からＮ＋１個の圧縮後映像データを受信する。通信制御部４０は更に、方位センサ４１により検出された視野方向を示す方向データを図１に示される映像受信装置１２に送信する。通信制御部４０は更に、受信したＮ＋１個の映像データのうち、方位センサ４１から供給される方向データに対応する撮像方向の２つの映像データを選択し、選択した２つの映像データを映像復号部４２及び映像復号部４３に供給する。ここで選択された２つの映像データの一方は左眼用の映像データであり映像復号部４３に供給され、他方は右眼用の映像データであり映像復号部４２に供給される。映像復号部４２、画像抽出部４４、及び表示装置４６は右眼用であり、映像復号部４３、画像抽出部４５、及び表示装置４７は左眼用である。
【0028】
映像復号部４２及び４３は、供給された圧縮後映像データを伸長（復号）し、伸長後の映像データを生成する。画像抽出部４４及び４５は、伸長後の映像データから、注視点の調整を行った右眼用及び左眼用の映像データをそれぞれ抽出する。例えば図２に示される配置例では、左眼用及び右眼用の撮像装置３０の撮像方向は互いに３６度異なっている。一方、人間の左右両眼の視線方向は、例えば無限遠を眺めているときには同方向（互いに平行）である。従って、図２に示されるように例えば３６度の角度差がある撮像方向の２つの映像データをそのまま左右両眼の映像として表示したのでは、それぞれの画像の中心が同一の撮像対象点となってなく、左右の映像を立体視として両眼で融合させることができない。そこで２つの映像データの一方又は両方を互いに水平方向にずらしながら映像データを抽出することにより、画像中心に同一の撮像対象点が位置するように配置された２つの表示用映像データを生成する。これら２つの表示用映像データでは、それぞれの画像の中心が同一の撮像対象点となっているので、左右の映像を立体視として両眼で適切に融合させることができる。
【0029】
表示装置４６及び４７は、画像抽出部４４及び４５が抽出した２つの表示用映像データをそれぞれ右眼用及び左眼用の映像として表示する。これにより、ユーザは自分が顔を向けた方向に対応する所望の方向の映像データを３Ｄ映像として体験することができる。
【0030】
なお映像受信装置１２から映像配信装置１０に送信する方向データは、例えば図２に示す撮像ユニット１１を使用する映像配信システムの場合には、1つの撮像装置３０を特定する番号０乃至９を示すデータであってよい。より一般的に、方向データは、各撮像装置３０を特定することが可能なデータであればよい。映像受信装置１２から映像配信装置１０に送信する方向データは、１つの方向のみを示すデータであってもよいし、或いは右眼に対応する撮像装置を特定するデータ及び左眼に対応する撮像装置を特定するデータを含む２つの方向を示すデータであってもよい。１つの方向のみを示すデータを送信する場合、例えば左眼に対応する撮像装置を特定するデータを送信することと予め決めておけば、右眼に対応する撮像装置は映像受信装置１２側で特定することが可能である。
【0031】
図５は、映像受信装置１２の動作の一例を示す図である。図５に示す一連の動作は、映像データの１フレーム毎に実行される動作であってよい。即ち、例えば毎秒３０フレームの映像データである場合には、図５に示す一連の動作が一秒間に３０回繰り返されてよい。なお図５及び以降の同様の図又はフローチャートにおいて、図に記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、Ａステップの次にＢステップを実行することが可能なだけでなく、Ｂステップの次にＡステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該図面に記載の処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Ｂステップの次にＡステップが実行されてもよいことは自明である。Ａステップの次にＢステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。
【0032】
ステップＳ１において、映像配信装置１０の通信制御部２４が、視野方向を示す方向データをＭ＋１個の映像受信装置１２から受信する。ステップＳ２において、映像配信装置１０のバッファ部２０が、Ｎ＋１個の映像データを撮像ユニット１１の撮像装置３０から受け取る。
【0033】
ステップＳ３において、通信制御部２４が、映像圧縮部２１に映像要求信号をアサートする。ステップＳ４において、映像圧縮部２１が、バッファ部２０に映像要求信号をアサートする。ステップＳ５において、バッファ部２０が、映像圧縮部２１にＮ＋１個の映像データを供給する。
【0034】
ステップＳ６において、映像圧縮部２１が、選択率演算部２２に選択率要求信号をアサートする。ステップＳ７において、選択率演算部２２が、受信端末データベース２３に視野方向要求信号をアサートする。ステップＳ８において、選択率演算部２２が、受信端末データベース２３から視野方向を示すＭ＋１個の方向データを受け取る。ステップＳ９において、選択率演算部２２が選択率、補正後選択率、又は隣接補正選択率を演算により求める。この選択率の演算については、後ほど詳細に説明する。ステップＳ１０において、映像圧縮部２１が、０番からＮ番の撮像装置３０（或いは０番からＮ番の映像データ）に対する選択率（選択率、補正後選択率、又は隣接補正選択率）を受け取る。ステップＳ１１において、映像圧縮部２１は、選択率演算部２２から受け取った選択率に応じてＮ＋１個の映像データをそれぞれ圧縮する。
【0035】
ステップＳ１２において、映像圧縮部２１は、Ｎ＋１個の圧縮後映像データを通信制御部２４に供給する。ステップＳ１３において、通信制御部２４は、Ｎ＋１個の圧縮後映像データを送信する。
【0036】
図６は、映像受信装置の動作の一例を示す図である。図６に示す一連の動作は、映像データの１フレーム毎に実行される動作であってよい。即ち、例えば毎秒３０フレームの映像データである場合には、図６に示す一連の動作が一秒間に３０回繰り返されてよい。
【0037】
ステップＳ２１において、映像受信装置１２の通信制御部４０が、視野方向要求信号を方位センサ４１にアサートする。ステップＳ２２において、方位センサ４１が、視野方向を示す方向データを通信制御部４０に供給する。ステップＳ２３において、通信制御部４０が、視野方向を示す方向データを映像配信装置１０に送信する。ステップＳ２４において、映像受信装置１２の通信制御部４０が、映像配信装置１０からＮ＋１個の圧縮後映像データを受信する。
【0038】
ステップＳ２５において、通信制御部４０が、受信したＮ＋１個の映像データのうち、方位センサ４１から供給される方向データに対応する撮像方向の２つの映像データを選択し、選択した２つの映像データのうちの右眼用映像データを映像復号部４２に供給する。ステップＳ２６において、映像復号部４２は、供給された圧縮後映像データを伸長（復号）し、伸長後の映像データを生成する。ステップＳ２７において、映像復号部４２は、伸長後の映像データを画像抽出部４４に供給する。ステップＳ２８において、画像抽出部４４は、伸長後の映像データから、注視点の調整を行った右眼表示用の映像データを抽出する。ステップＳ２９において、画像抽出部４４は、表示装置４６に右眼表示用の映像データを供給する。
【0039】
ステップＳ３０において、前述の選択した２つの映像データのうちの左眼用映像データを映像復号部４３に供給する。ステップＳ３１において、映像復号部４３は、供給された圧縮後映像データを伸長（復号）し、伸長後の映像データを生成する。ステップＳ３２において、映像復号部４３は、伸長後の映像データを画像抽出部４５に供給する。ステップＳ３３において、画像抽出部４５は、伸長後の映像データから、注視点の調整を行った左眼表示用の映像データを抽出する。ステップＳ３４において、画像抽出部４５は、表示装置４７に左眼表示用の映像データを供給する。
【0040】
図７は、映像配信時の圧縮率について説明するための図である。図７の左側には、０番から９番までの１０個の撮像装置３０を含む撮像ユニット１１が示されている。図７の右側には、ユーザ５１及び５３が模式的に示されている。撮像ユニット１１により撮像された映像データは、矢印５０で示されるように、映像配信装置を介して各ユーザの映像受信装置に配信される。
【0041】
図７に示される例において、左眼の映像が９番の撮像装置３０の映像データであり且つ右眼の映像が０番の撮像装置３０の映像データである方向を向いているユーザ５１が、比較的数多く存在する。また左眼の映像が６番の撮像装置３０の映像データであり且つ右眼の映像が７番の撮像装置３０の映像データである方向を向いているユーザ５３が、比較的少数存在する。このような状況においては、０番及び９番の撮像装置３０の映像データと６番及び７番の撮像装置３０の映像データとでは、配信する映像データの圧縮率を異ならせる。即ち、当該映像データを選択しているユーザ数が比較的多い０番及び９番の撮像装置３０の映像データについては低い圧縮率で圧縮し、当該映像データを選択しているユーザ数が比較的少ない６番及び７番の撮像装置３０の映像データについては高い圧縮率で圧縮する。
【0042】
図８は、各撮像装置の映像データの圧縮率について説明するための図である。上述のように、図７のような状況では、０番及び９番の撮像装置の映像データについては低い圧縮率で圧縮し、６番及び７番の撮像装置３０の映像データについては高い圧縮率で圧縮する。フレームを用いて映像データを伝送する場合であって、１つのフレームにＮ＋１個（この例では１０個）の映像データを格納して伝送する場合を考える。この場合、図８に示されるように１つのフレームには、０番及び９番の撮像装置の映像データを低い圧縮率で圧縮した圧縮後の映像データ６０及び６３が含まれる。更に、このフレームには、６番及び７番の撮像装置の映像データを高い圧縮率で圧縮した圧縮後の映像データ６１及び６２が含まれる。０番及び９番の映像データを選択しているユーザ数は比較的多いので、低い圧縮率及び大きなデータ量を用いて、高い画質を実現している。また６番及び７番の映像データを選択しているユーザ数は比較的少ないので、高い圧縮率及び小さなデータ量を用いて、効率的なデータ伝送を実現している。またそれ以外の撮像装置の映像データについては、当該映像データを選択しているユーザが存在しないか又は極めて少ないので、非常に高い圧縮率で圧縮して十分に小さなデータ量のデータ６４にして伝送している。
【0043】
以下に、選択率の計算について説明する。図１を参照して説明したように、通信制御部２４が受信した視野方向データは受信端末データベース２３に格納され、受信端末データベース２３に格納された視野方向データは選択率演算部２２により読み出される。選択率演算部２２は、視野方向データに基づいて、Ｎ＋１個の撮像方向の各々の撮像方向について、複数の映像受信装置１２のうちの何割の映像受信装置１２により選択されているかを示す選択率を演算する。映像データを視聴する総ユーザ数をＵｍａｘ、ｉ番の撮像装置３０を右眼用として選択するユーザ数をＵＲｉとすると、ｉ番の撮像装置３０（又はｉ番の映像データ）の右眼用としての選択率ＦＲｉは、以下の式で表される。FRi = URi/Umax （１）
またｉ番の撮像装置３０を左眼用として選択するユーザ数をＵＬｉとすると、ｉ番の撮像装置３０（又はｉ番の映像データ）の左眼用としての選択率ＦＬｉは、以下の式で表される。
FLi = ULi/Umax （２）
このときｉ番の撮像装置３０（又はｉ番の映像データ）の選択率Ｆｉは、以下の式で表わすことができる。
Fi = FRi + FLi （３）
図９は、選択率の計算処理の流れを示すフローチャートである。ステップＳ２１において、通信制御部２４は、映像受信装置１２から左眼と右眼とのそれぞれの視野方向を示す方向データを受信し、受信端末データベース２３に方向データを格納する。ステップＳ２２において、選択率算出部２７は、受信端末データベース２３から読み出した方向データに基づいて、各撮像装置について、当該撮像装置の映像を右眼用画像として選択するユーザの数を算出する。ステップＳ２３において、選択率算出部２７は、受信端末データベース２３から読み出した方向データに基づいて、各撮像装置について、当該撮像装置の映像を左眼用画像として選択するユーザの数を算出する。
【0044】
ステップＳ２４において、選択率算出部２７は、前述の式（１）を用いて、右眼用としての選択率を各撮像装置について計算する。ステップＳ２５において、選択率算出部２７は、前述の式（２）を用いて、左眼用としての選択率を各撮像装置について計算する。ステップＳ２６において、選択率算出部２７は、前述の式（３）を用いて、選択率を各撮像装置について計算する。
【0045】
前述のように、図１に示す圧縮率算出部２６は、上記の式（３）に示すｉ番の撮像装置の選択率Ｆｉに応じて、ｉ番の映像データの圧縮率を算出してよい。この場合、例えば図７に示す複数の撮像装置３０のうちで、ｉ番の撮像装置の選択率が高いほど、ｉ番の映像データの圧縮率を低く（画質を高く）してよい。なお、ｉ番の撮像装置を左眼用として選択しているユーザ数と、ｉ＋１番の撮像装置を右眼用として選択しているユーザ数は等しい。即ち、ＦＬｉ＝ＦＲｉ＋１である。この関係を用いて、上記の式（３）に示すＦｉは、Ｆｉ＝ＦＲｉ＋ＦＲｉ＋１と書き換えることができる。
【0046】
例えば、ユーザの視野方向の変化によりＦＲｉ＋１の値が大きくなったとする。このとき、ＦＬｉ＋１の値に変化がないとするとＦｉ＋１（＝ＦＲｉ＋１＋ＦＬｉ＋１）の値も大きくなるし、ＦＲｉの値に変化がないとするとＦｉ（＝ＦＲｉ＋ＦＲｉ＋１）の値も大きくなる。従って、ｉ番及びｉ＋１番の２つの撮像装置のうちのｉ+１番の撮像装置の撮像方向に対応する視野方向を示す方向データの割合が方向データの全数に対して大きいほど（即ちＦｉ＋１が大きいほど）、ｉ番の撮像装置の映像データの圧縮率を低く設定することになる。これは即ち、複数の撮像装置３０のうちの対となる２つの撮像装置３０については、一方の選択率が大きければ他方の選択率も一般的に大きく、一方の圧縮率が低ければ他方の圧縮率も一般的に低いことを意味する。
【0047】
以下に、選択率の補正について説明する。前述のように、複数の撮像方向の各々に対して計算された複数の選択率は、図１に示す補正選択率算出部２８及び隣接補正選択率算出部２９により適宜補正されてよい。圧縮率算出部２６は、補正後の選択率或いは隣接補正選択率に基づいて圧縮率を算出してよい。この際、補正選択率算出部２８は、対となる２つの撮像装置の一方の撮像装置の映像データの圧縮率と他方の撮像装置の映像データの圧縮率との差が、複数の映像データのうちの少なくとも２つの映像データに対して小さくなるよう補正演算を行ってよい。
【0048】
例えば図７に示す撮像ユニット１１において、１番及び２番の撮像装置３０を選択するユーザ数が１０人であり、２番及び３番の撮像装置３０を選択するユーザ数が１００人であるとする。また、それ以外に映像を視聴しているユーザは存在しないとする。このとき、前述のように補正していない選択率に基づいて映像圧縮すると、２番及び３番の撮像装置３０の映像データは比較的高画質で配信されるが、１番の撮像装置３０の映像データは比較的低画質で配信される。従って、１番及び２番の撮像装置３０を選択する１０人のユーザにとっては、例えば左眼の画像は低画質で右眼の画像は高画質であることになり、視聴する映像に違和感を感じてしまう。
【0049】
以上を鑑みると、両眼の映像の画質差を成る可く小さくすること、即ち、対となる２つの撮像装置の一方の撮像装置の映像データの圧縮率と他方の撮像装置の映像データの圧縮率との差を小さくするように選択率を補正することが好ましい。しかしながら、全ての撮像装置３０のペアに対して選択率の差を小さくするよう補正することは、究極的には全ての映像データの選択率を同一にするという目標に近づけることを意味する。しかしながらこの目標は、映像の選択率に応じて圧縮率に差を設けることによりリアルタイム性と高画質という２つの課題を解決するという目標とは相反するものである。即ち、全ての撮像装置３０のペアに対して選択率の差を小さくするよう補正することは現実的ではなく、複数の映像データのうちの少なくとも一対の映像データ間での選択率の差が小さくなるよう補正演算を行うことが現実的である。具体的には、数多くのユーザが選択視聴している映像データのペアについては、選択率の差が成る可く小さくなるように優先的に補正することが望ましい。
【0050】
選択率の補正演算としては、以下の式が考えられる。FCi = max{min(Fi, Fi+u), min(Fi-u, Fi)} （４）
ここでＦｉは式（３）により計算された選択率であり、ｕは、ペアとなる２つの撮像装置３０間のインターバルの数である（即ちｕ−１個おきにペアとなる撮像装置３０が配置されている）。この補正演算では、ｉ番の撮像装置の選択率と、ｉ番の撮像装置とペアとなる左右２つの撮像装置３０の選択率とに基づいて、ｉ番の撮像装置の選択率を補正する。具体的には、これら３つの選択率のうちでｉ番の撮像装置の選択率Ｆｉが最小値である場合、補正後の選択率ＦＣｉは最小値の選択率Ｆｉに等しく、それ以外の場合、補正後の選択率ＦＣｉは中間値の選択率となる。例えば、ｉ番の撮像装置の選択率Ｆｉが３つの選択率のうちで最大値である場合には、Ｆｉ−ｕとＦｉ＋ｕとのうちの大きい方の値に揃うように、補正後のＦＣｉの値が設定される。従って、Ｆｉ−ｕとＦｉ＋ｕとのうちの値が大きい方の撮像装置とｉ番の撮像装置との対となる２つの撮像装置の選択率は、互いに等しくなるように補正される。またｉ番の撮像装置の選択率Ｆｉが３つの選択率のうちで中間値である場合には、補正後のＦＣｉの値はＦｉに等しく設定される。
【0051】
上記のように、ｉ番の撮像装置の選択率が３つの選択率のうちで最大値である場合、ｉ番の撮像装置の映像を左眼又は右眼の映像とする２つの対のうちの少なくとも一方の対において、両眼の映像の画質が等しくなるように、ｉ番の撮像装置の選択率が補正される。従って、選択ユーザ数が比較的多い２つの映像データについては、互いに画質が等しくなるよう補正され、これら２つの映像に基づいて３Ｄ映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
【0052】
図１０は、各撮像装置の映像データを使用しているユーザ数の一例を示す図である。図１０には撮像装置のペアＡ乃至Ｊの１０個のペアが示されており、それぞれの撮像装置のペアに対して、そのペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアＤは、３番及び４番の撮像装置のペアであり、図１０に示す例では、４番の撮像装置を右眼用とし且つ３番の撮像装置を左眼用とするユーザの数は６人であることが分かる。
【0053】
図１１は、選択率及び補正後選択率の一例を示す図である。図１１には、各撮像装置について、選択しているユーザの数、選択率、及び、前述の式（４）により計算した補正後選択率が示されている。例えば３番の撮像装置の場合、図１０から分かるように３番の撮像装置を右眼用に使用しているユーザが５人おり、３番の撮像装置を左眼用に使用しているユーザが６人いる。従って、図１１に示されるように、合計で１１人のユーザが３番の撮像装置を選択している。このようにして計数された各撮像装置のユーザの人数に基づいて、選択率Ｆｉを式（３）に基づいて計算し、補正後選択率ＦＣｉを式（４）に基づいて計算すると、図１１に示される数値となる。
【0054】
例えば５番の撮像装置の選択率０．３２６０９は、４番乃至６番の撮像装置の３つの選択率のうちで最大値となっている。従って、５番の撮像装置の映像を左眼又は右眼の映像とする２つの対のうちの少なくとも一方の対において、両眼の映像の画質が等しくなるように、５番の撮像装置の選択率が補正される。具体的には、５番の撮像装置の選択率は、４番の撮像装置の選択率０．２８２６１と等しくなるように補正される。従って、画質が等しくなるよう補正された２つの映像（４番と５番の撮像装置の映像）に基づいて３Ｄ映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
【0055】
また選択率の補正演算としては、別の計算式として、以下の式が考えられる。FCi = max{(Fi+Fi+u)/2, (Fi-u+Fi)/2} （５）
ここでＦｉは式（３）により計算された選択率であり、ｕは、ペアとなる２つの撮像装置３０間のインターバルの数である（即ちｕ−１個おきにペアとなる撮像装置３０が配置されている）。この補正演算では、ｉ番の撮像装置の選択率と、ｉ番の撮像装置とペアとなる左右２つの撮像装置３０の選択率とに基づいて、ｉ番の撮像装置の選択率を補正する。具体的には、互いにペアとなるｉ−ｕ番及びｉ番の撮像装置のそれぞれの選択率の平均値、及び、互いにペアとなるｉ番及びｉ＋ｕ番の撮像装置のそれぞれの選択率の平均値のうち、大きい方の平均値の値に等しくなるように、ｉ番の撮像装置の選択率が補正される。従って例えば、ｉ−ｕ番の撮像装置及びｉ＋２ｕ番の撮像装置の２つの選択率よりも、ｉ番の撮像装置及びｉ＋ｕ番の撮像装置の２つの選択率が大きい場合、ｉ番の撮像装置及びｉ＋ｕ番の撮像装置の選択率は互いに等しくなるように補正される。従って、選択ユーザ数が比較的多い２つの映像データについては、互いに画質が等しくなるよう補正され、これら２つの映像に基づいて３Ｄ映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
【0056】
図１２は、各撮像装置の映像データを使用しているユーザ数の一例を示す図である。図１２には撮像装置のペアＡ乃至Ｊの１０個のペアが示されており、それぞれの撮像装置のペアに対して、そのペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアＣは、２番及び３番の撮像装置のペアであり、図１２に示す例では、３番の撮像装置を右眼用とし且つ２番の撮像装置を左眼用とするユーザの数は６人であることが分かる。
【0057】
図１３は、選択率及び補正後選択率の一例を示す図である。図１３には、各撮像装置について、選択しているユーザの数、選択率、及び、前述の式（５）により計算した補正後選択率が示されている。図１２のユーザ数に基づいて計数された各撮像装置のユーザの人数に基づいて、選択率Ｆｉを式（３）に基づいて計算し、補正後選択率ＦＣｉを式（５）に基づいて計算すると、図１３に示される数値となる。
【0058】
例えば、１番の撮像装置及び８番の撮像装置の２つの選択率よりも、０番の撮像装置及び９番の撮像装置の２つの選択率が大きい。この場合、左右両眼の映像として対となる０番の撮像装置及び９番の撮像装置の選択率は互いに等しい値（０．３６９５７）になるように補正される。従って、画質が等しくなるよう補正された２つの映像（０番と９番の撮像装置の映像）に基づいて３Ｄ映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
【0059】
また選択率の補正演算としては、別の計算式として、以下の式が考えられる。FCi = k × F'i （６）
k = ΣFi/ΣF'i
F'i = f × ceil[max{min(Fi, Fi+u), min(Fi-u, Fi)} / f ]
f = max(F0, F1, …, FN) / s
ここでＦｉは式（３）により計算された選択率であり、ｕは、ペアとなる２つの撮像装置３０間のインターバルの数である（即ちｕ−１個おきにペアとなる撮像装置３０が配置されている）。ｓは正規化係数であり、Ｎ＋１個の全ての撮像装置の選択率のうちの最大値を分割する分割数である。ｃｅｉｌ関数は、引数以上の最大の整数値を返す関数である。ｃｅｉｌ関数内のｍａｘ関数の式は、前述の式（３）の計算式と同一である。ｋは、補正後選択率ＦＣｉの総和が補正前選択率Ｆｉの総和に等しくなるように正規化するための係数であり、Ｆｉの総和をＦ'ｉの総和で除算した値に等しい。
【0060】
選択率の最大値をＭｘとすると、上記のｆの値はＭｘ／ｓとなる。この場合、上記の計算式のＦ'ｉの値は、０、Ｍｘ／ｓ、２Ｍｘ／ｓ、３Ｍｘ／ｓ、・・・、Ｍｘのｓ＋１個の値のうちの何れかの値をとる。即ち、Ｆ'ｉは、０〜Ｍｘの範囲をｓ分割したときの各分割点の値及び当該範囲の両端の値のうちの何れかの値をとることになる。例えば、ｓが３である場合、Ｆ'ｉの値は、０、Ｍｘ／３、２Ｍｘ／ｓ、Ｍｘの４個の値のうちの何れかの値となる。補正後の選択率ＦＣｉの値は、Ｆ'ｉの値に比例する値であり、同様にｓ＋１個の値のうちの何れかの値をとる。従って、各撮像装置の選択率は実質的に、ｓ＋１個の値のうちの何れかの値に切り上げられ、選択率が同一の値に設定される撮像装置の対の数は、補正前に比較して補正後の方が多くなる。これら２つの映像に基づいて３Ｄ映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
【0061】
なお補正後選択率ＦＣｉの総和が補正前選択率Ｆｉの総和に等しくなるように正規化しないとすると、ｃｅｉｌ関数により全体的に切り上げ演算を行っているために、圧縮後の映像データの総データ量が補正により増大してしまう。補正後選択率ＦＣｉの総和を補正前の総和と等しくなるように正規化することにより、配信データ量の全体が補正により増大してしまうことがなく、リアルタイム性に支障が生じたりすることがない。
【0062】
図１４は、各撮像装置の映像データを使用しているユーザ数の一例を示す図である。図１４には撮像装置のペアＡ乃至Ｊの１０個のペアが示されており、それぞれの撮像装置のペアに対して、そのペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアＤは、３番及び４番の撮像装置のペアであり、図１４に示す例では、４番の撮像装置を右眼用とし且つ３番の撮像装置を左眼用とするユーザの数は１３人であることが分かる。
【0063】
図１５は、選択率及び補正後選択率の一例を示す図である。図１３には、各撮像装置について、選択しているユーザの数、選択率Ｆｉ、前述のＦ'ｉ、及び式（６）により計算した補正後選択率ＦＣｉが示されている。図１４のユーザ数に基づいて計数された各撮像装置のユーザの人数に基づいて、選択率Ｆｉを式（３）に基づいて計算し、補正後選択率ＦＣｉを式（６）に基づいて計算すると、図１５に示される数値となる。ここで正規化係数ｓとしては３を用いている。選択率の最大値は０．５７７８であるので、前述のｆの値は０．１９２６（＝０．５７７８／３）である。従って、Ｆ'ｉの値は、０、０．１９２６、０．３８５２、０．５７７８の４つの値のうちの何れかの値となる。ＦＣｉの値は、Ｆ'ｉの値に正規化係数を掛けて正規化することにより得られる値である。ＦＣｉの総和は２であり、Ｆｉの総和と等しい。
【0064】
例えば、４番乃至６番の撮像装置の補正後選択率は全て同一の値０．５となっている。従って、これらの撮像装置の映像に基づいて３Ｄ映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。またｃｅｉｌ関数による切り上げ演算により３番の撮像装置の選択率０．２８８９は０．３３３３３に補正されているために、３番の撮像装置と４番の撮像装置との間の選択率の差は小さくなっている。従って、これらの映像に基づいて３Ｄ映像を視聴するユーザが感じる違和感は、補正前よりも補正後において軽減される。
【0065】
図１６は、補正後選択率の計算処理の流れを示すフローチャートである。このフローチャートのステップＳ２１からステップＳ２６は、図９に示すステップＳ２１からステップＳ２６と同一であり、説明を省略する。ステップＳ２６において式（３）を用いて各撮像装置の選択率を算出した後、ステップＳ２７において、図１に示す補正選択率算出部２８は、式（４）、式（５）、及び式（６）の何れかの式を用いて、補正後の選択率を各撮像装置について計算する。
【0066】
以下に補正後選択率について例を用いて説明する。
【0068】
図１８は、撮像装置の各対の映像データを使用しているユーザ数の一例を示す図である。図１７に示される撮像装置のペアＡ乃至Ｊの各々に対して、当該ペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアＣは２番及び３番の撮像装置のペアであり、図１８に示す例では、当該ペアを選択しているユーザの数は９人であることが分かる。
【0069】
図１９は、選択率の一例を示す図である。図１８に示される各ペアのユーザ数に基づいて、各撮像装置に対して、式（１）により計算されたＦＲｉ、式（２）により計算されたＦＬｉ、及び、式（３）により計算されたＦｉがそれぞれ示されている。
【0071】
図２１は、選択率及び補正後選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号（例えば図７に示す各撮像装置３０の番号）であり、縦軸は各撮像装置の選択率及び補正後選択率の値である。図２１に示す補正前の選択率及び補正後の選択率は、図１９及び図２０に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正前の選択率の値を示し、右側の斜線入りの棒グラフは補正後の選択率（式（４）を用いて計算した補正後の選択率）の値を示している。例えば２番の撮像装置について言えば、補正前の選択率は０．５であり、補正後の選択率は０．４５である。図２１から分かるように、２番及び３番の撮像装置をペアとする２つの映像データや、６番乃至８番の撮像装置のうちの２つをペアとする２つの映像データについては、選択率が等しく補正されているため、圧縮率が等しくなる。従って、これらの映像データを視聴するユーザは、違和感のない３Ｄ映像を体験することができる。
【0073】
図２３は、選択率及び補正後選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号（例えば図７に示す各撮像装置３０の番号）であり、縦軸は各撮像装置の選択率及び補正後選択率の値である。図２３に示す補正前の選択率及び補正後の選択率は、図１９及び図２２に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正前の選択率の値を示し、右側の斜線入りの棒グラフは補正後の選択率（式（５）を用いて計算した補正後の選択率）の値を示している。例えば２番の撮像装置について言えば、補正前の選択率は０．５であり、補正後の選択率は０．４７５である。図２１から分かるように、２番及び３番の撮像装置をペアとする２つの映像データや、６番乃至８番の撮像装置のうちの２つをペアとする２つの映像データについては、選択率が等しく補正されているため、圧縮率が等しくなる。従って、これらの映像データを視聴するユーザは、違和感のない３Ｄ映像を体験することができる。
【0074】
図２４は、補正後の選択率の一例を示す図である。図１９に示す選択率Ｆｉに基づいて、式（６）を用いて計算された補正後のＦＣｉが示されている。なおこの例において用いた正規化係数ｓの値は３である。
【0075】
図２５は、選択率及び補正後選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号（例えば図７に示す各撮像装置３０の番号）であり、縦軸は各撮像装置の選択率及び補正後選択率の値である。図２５に示す補正前の選択率及び補正後の選択率は、図１９及び図２４に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正前の選択率の値を示し、右側の斜線入りの棒グラフは補正後の選択率（式（６）を用いて計算した補正後の選択率）の値を示している。例えば２番の撮像装置について言えば、補正前の選択率は０．５であり、補正後の選択率は０．４７５である。図２１から分かるように、２番及び３番の撮像装置をペアとする２つの映像データや、６番乃至８番の撮像装置のうちの２つをペアとする２つの映像データについては、選択率が等しく補正されているため、圧縮率が等しくなる。従って、これらの映像データを視聴するユーザは、違和感のない３Ｄ映像を体験することができる。
【0076】
また選択率の更なる補正演算としては、計算式として、以下の式が考えられる。FNCi = {(FCi-1/m + (3 - 2/m)FCi + FCi+1/m} / 3 （７）
ここでＦＣｉは式（４）、式（５）、及び式（６）の何れかにより計算された補正後の選択率であり、ｍは補正演算における重み係数である。この補正演算では、隣接する撮像装置の補正後選択率の差が小さくなるように、撮像装置が円周上に並べられる配列方向に加重平均フィルタ処理（スムージング処理）をして、隣接補正選択率ＦＮＣｉを計算している。例えばｍが３のときには、上記（７）式は、隣接３点の補正後選択率の平均を計算する演算となる。
【0077】
ユーザが第１の方向に視野を向けている状態から、右又は左に顔の方向を動かして、第１の方向に隣接する第２の方向に視野を移動させる場合において、第１の方向を向いていたユーザ数が多く、且つ、第２の方向を向いているユーザ数が少ないとする。この場合、顔の方向を動かして第２の方向に向いたときに、ユーザの視野に写される第２の方向の映像は、直前まで観ていた第１の方向の映像に比較して画質が劣化してしまうために、画質の変化に起因する違和感が生じてしまう。従って、ユーザが視野方向を移動させた場合にも、極端な画質の変化が生じることのないように、隣接する撮像方向の間での圧縮率の差を小さくする上記の式（７）のような補正演算を行うことが好ましい。即ち、複数の撮像方向のうちの隣り合う撮像方向に対応する複数の映像データの間の圧縮率の差を小さくするよう補正演算を行うことが好ましい。
【0078】
なお式（７）において、式の右辺に用いる選択率は補正後の選択率としたが、式（７）の右辺において、補正後選択率ＦＣｉの代わりに補正前の選択率Ｆｉを用いてもよい。即ち、式（４）乃至式（６）の補正演算を行うことなく、式（３）で計算される選択率に基づいて図１の映像配信装置１０が送信映像の圧縮率を制御する場合、式（７）により、補正前の選択率Ｆｉから隣接補正選択率ＦＮＣｉを計算してよい。
【0079】
図２６は、隣接補正選択率の計算処理の流れを示すフローチャートである。このフローチャートのステップＳ２１からステップＳ２７は、図１６に示すステップＳ２１からステップＳ２７と同一であり、説明を省略する。ステップＳ２７において式（４）、式（５）、又は式（６）を用いて各撮像装置の選択率を算出した後、ステップＳ２８において、図１に示す隣接補正選択率算出部２９は、式（７）を用いて、隣接補正後の選択率を各撮像装置について計算する。
【0080】
図２７は、撮像装置の対の一例を示す図である。図２７において、撮像装置の各ペアはペアＡ乃至ペアＴとして示されている。全体で２０個のペアが示されている。この例では、１つおきの撮像装置が対となって左右両眼の映像データを提供している。この場合、式（４）、式（５）、式（６）におけるｕの値は２となる。
【0081】
図２８は、撮像装置の各対の映像データを使用しているユーザ数の一例を示す図である。図２７に示される撮像装置のペアＡ乃至Ｔの各々に対して、当該ペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアＤは３番及び５番の撮像装置のペアであり、図２８に示す例では、当該ペアを選択しているユーザの数は２人であることが分かる。
【0082】
図２９は、選択率の一例を示す図である。図２８に示される各ペアのユーザ数に基づいて、各撮像装置に対して、式（１）により計算されたＦＲｉ、式（２）により計算されたＦＬｉ、及び、式（３）により計算されたＦｉがそれぞれ示されている。
【0084】
図３１は、隣接補正選択率の一例を示す図である。図３０に示す補正後選択率の値に基づいて、式（７）を用いて計算された隣接補正後の選択率ＦＮＣｉが示されている。この例において重み係数ｍの値は１／０．４５に設定されている。
【0085】
図３２は、補正後選択率及び隣接補正選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号であり、縦軸は各撮像装置の補正後選択率及び隣接補正選択率の値である。図３２に示す補正後選択率及び隣接補正選択率は、図３０及び図３１に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正後選択率の値を示し、右側の斜線入りの棒グラフは隣接補正後の選択率（式（７）を用いて計算した補正後の選択率）の値を示している。２，４，６，８，１０，１２，１４番目の撮像装置については、補正後選択率の値はゼロであるが、隣接補正演算により計算された隣接補正選択率の値はゼロでない値となっている。
【0086】
例えば３，５，７番の撮像装置の補正後選択率は０．２２２２２２であり、その左右に配置される２，４，６，８番の撮像装置の補正後選択率は０である。この補正後の選択率に応じた圧縮率で映像データを配信した場合、３，５，７番の撮像装置の映像データは相対的に低い圧縮率で圧縮されて高画質となる一方で、２，４，６，８番の撮像装置の映像データは相対的に高い圧縮率で圧縮されて低画質となる。従って、例えば３番及び５番の撮像装置の映像データを現在選択しているユーザが、視野方向を移動させて隣の４番及び６番の撮像装置の映像データを選択した場合、鑑賞している映像に急激な画質の変化が生じてしまう。
【0087】
一方、３，５，７番の撮像装置の隣接補正後の選択率は０．１５５５５６であり、その左右に配置される２，４，６，８番の撮像装置の隣接補正後の選択率はそれぞれ、０．０３３３３３、０．０６６６６７、０．０６６６６７、０．０３３３３３である。この補正後の選択率に応じた圧縮率で映像データを配信した場合、３，５，７番の撮像装置の映像データは相対的に低い圧縮率で圧縮されて高画質となる一方で、２，４，６，８番の撮像装置の映像データは相対的に高い圧縮率で圧縮されて低画質となる。しかしながら、３，５，７番の撮像装置の映像データの圧縮率と２，４，６，８番の撮像装置の映像データの圧縮率との差は、補正後の選択率に応じて圧縮した場合に比較して、隣接補正選択率に応じて圧縮した場合の方が小さくなる。従って、例えば３番及び５番の撮像装置の映像データを現在選択しているユーザが、視野方向を移動させて隣の４番及び６番の撮像装置の映像データを選択した場合であっても、鑑賞している映像に生じる画質の変化が低減され、違和感のない映像体験が可能となる。
【0088】
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
【0089】
例えば、前記実施例においては、水平方向の視野方向の変化に対応できるように、水平方向の異なる角度（方位）に向けられた複数の撮像装置を配置している。これらの実施例は限定的でなく、水平方向のみではなく垂直方向の視野方向の変化に対応できるように、水平方向の異なる角度（方位）に向けられた複数の撮像装置に加え、垂直方向の異なる角度に向けられた複数の撮像装置を配置してよい。垂直方向の視野方向の選択率及び圧縮率の計算についても、水平方向の視野方向の選択率及び圧縮率の計算と同様に行ってよい。
【0090】
また前記実施例においては、映像受信装置において左右両眼で視差のある映像データを表示して３Ｄ映像を鑑賞可能としているが、左右両眼で同一の映像データを表示して非３Ｄ映像を鑑賞するようにしてもよい。この場合、左右両眼の画質差を低減することを目的とする式（４）、式（５）、及び式（６）の補正演算は不要となる以外、選択率の計算及び隣接補正選択率の計算は同様に行ってよい。
【符号の説明】
【0091】
１０ 映像配信装置１１ 撮像ユニット
１２ 映像受信装置
２０ バッファ部
２１ 映像圧縮部
２２ 選択率演算部
２３ 受信端末データベース
２４ 通信制御部
２５ 圧縮部
２６ 圧縮率算出部
２７ 選択率算出部
２８ 補正選択率算出部
２９ 隣接補正選択率算出部