特許 7300294 立体画像伝送システム、立体画像送信装置及び立体画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-21

(45)【発行日】2023-06-29

(54)【発明の名称】立体画像伝送システム、立体画像送信装置及び立体画像表示装置

(51)【国際特許分類】

   H04N 13/307 20180101AFI20230622BHJP

   H04N 13/194 20180101ALI20230622BHJP

   H04N 13/366 20180101ALI20230622BHJP

   H04N 21/2343 20110101ALI20230622BHJP

   H04N 21/24 20110101ALI20230622BHJP

   H04N 21/442 20110101ALI20230622BHJP

   H04N 21/6373 20110101ALI20230622BHJP

【ＦＩ】

H04N13/307

H04N13/194

H04N13/366

H04N21/2343

H04N21/24

H04N21/442

H04N21/6373

【請求項の数】 6

(21)【出願番号】P 2019059710

(22)【出願日】2019-03-27

(65)【公開番号】P2020161995

(43)【公開日】2020-10-01

【審査請求日】2022-02-09

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】神田 菊文

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１５－１０４１０７（ＪＰ，Ａ）

【文献】特開２０１６－１１６１６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｈ０４Ｎ ２１／００

Ｈ０４Ｎ １９／００

(57)【特許請求の範囲】

【請求項1】

各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムであって、
前記立体画像表示装置は、
前記立体画像送信装置から前記立体画像群を受信し、受信した前記立体画像群を復号する復号部と、
前記復号部が復号した立体画像群を表示画面に表示する表示部と、
視聴者の視聴位置を検出し、検出した前記視聴位置を前記立体画像送信装置に送信する検出部と、を備え、
前記立体画像送信装置は、
前記立体画像表示装置から前記視聴位置を受信し、受信した前記視聴位置から前記表示画面に予め設定された各視点位置に向かう方向と前記表示画面とのなす角を算出し、算出した前記なす角が小さくなる視点に対応する立体画像の伝送レートを、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、
前記立体画像群を符号化し、符号化した前記立体画像群を前記立体画像表示装置に送信する符号化部と、を備えることを特徴とする立体画像伝送システム。

【請求項2】

前記制御部は、予め設定された前記なす角と前記伝送レートとの対応関係に基づいて、前記立体画像群の伝送レートを制御することを特徴とする請求項１に記載の立体画像伝送システム。

【請求項3】

前記立体画像群は、インテグラル方式の要素画像で構成される要素画像群であることを特徴とする請求項１又は請求項２の何れか一項に記載の立体画像伝送システム。

【請求項4】

前記検出部は、前記視聴者が複数の場合、前記視聴者毎に前記視聴位置を検出し、
前記制御部は、前記視聴者毎に前記なす角を算出し、前記視聴者のそれぞれで前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより、前記なす角が小さくなる視点に対応する立体画像の伝送レートを低くすることを特徴とする請求項１から請求項３の何れか一項に記載の立体画像伝送システム。

【請求項5】

各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムに用いられる前記立体画像送信装置であって、
前記立体画像表示装置から視聴者の視聴位置を受信し、受信した前記視聴位置から前記立体画像表示装置の表示画面に予め設定された各視点位置に向かう方向と前記表示画面とのなす角を算出し、算出した前記なす角が小さくなる視点に対応する立体画像の伝送レートを、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、
前記立体画像群を符号化し、符号化した前記立体画像群を前記立体画像表示装置に送信する符号化部と、を備えることを特徴とする立体画像送信装置。

【請求項6】

各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、前記立体画像表示装置に前記立体画像群を送信する立体画像送信装置と、を備える立体画像伝送システムに用いられる前記立体画像表示装置であって、
前記立体画像送信装置から前記立体画像群を受信し、受信した前記立体画像群を復号する復号部と、
前記復号部が復号した立体画像群を表示画面に表示する表示部と、
視聴者の視聴位置を検出し、検出した前記視聴位置を前記立体画像送信装置に送信する検出部と、を備え、
前記復号部が受信して復号する立体画像群は、前記視聴位置から前記表示画面に予め設定された各視点位置に向かう方向と前記表示画面とのなす角が小さくなる視点に対応する立体画像の伝送レートが、前記なす角が大きくなる視点に対応する他の立体画像の伝送レートより低いことを特徴とする立体画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視聴者の視点に対応した立体画像で構成される立体画像群を伝送する立体画像伝送システム、立体画像送信装置及び立体画像表示装置に関する。

【背景技術】

【0002】

任意の視点から自由に見られる立体映像方式として、インテグラルフォトグラフィ（ＩＰ：Integral Photography）方式が知られている（例えば、特許文献１及び非特許文献１）。このＩＰ方式では、例えば、図９（ａ）に示すような撮影装置１００により被写体１１０の３次元映像を撮影している。図９（ａ）に示すように、撮影時には、撮影装置１００は、撮影用の要素レンズ１２０_１，１２０_２…，１２０_ｉ，…，１２０_ｎが平面内に配列された撮影用の要素レンズ群１２０を介して被写体１１０を撮影する。ただし、ｎ＞ｉ＞２を満たす整数である。撮影装置１００では、撮像素子１３０上に各撮影用の要素レンズ１２０_ｉによって被写体１１０の像（視点毎の要素画像１４０_１，１４０_２，…，１４０_ｉ，…，１４０_ｎ）が形成され、被写体１１０の要素画像群１４０が撮影される。

【0003】

図９（ｂ）に示すように、表示時には、表示装置２００が用いられる。視聴者Ｗは、被写体１１０を撮影した要素画像群１４０が表示された表示素子１５０を、表示用の要素レンズ１６０_ｉ，１６０_２，…，１６０_ｉ，…，１６０_ｎからなる要素レンズ群１６０を通して見ることで、被写体１１０の３次元映像（立体再生映像）１７０を視聴できる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１６０８０８号公報

【非特許文献】

【0005】

【文献】立体テレビ研究の概要、菊池宏、ＮＨＫ技研 Ｒ＆Ｄ、Ｎｏ.１６６、２０１７年１１月

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、前記した要素画像群を視聴者に提供するＩＰ立体画像伝送システムについて検討する。従来のＩＰ立体画像伝送システムでは、データ量が膨大な要素画像を同一の伝送レートで伝送するため、伝送負荷が増大するという問題がある。その一方、従来のＩＰ立体画像伝送システムでは、伝送レートを低下させた場合、伝送負荷を軽減できるものの、要素画像の品質が低下してしまう。つまり、従来のＩＰ立体画像伝送システムでは、要素画像の伝送レートを低下させつつ、要素画像の品質劣化を抑制するのが困難であった。

【0007】

そこで、本発明は、立体画像の伝送レートを低下させつつ、立体画像の品質劣化を抑制できる立体画像伝送システム、立体画像送信装置及び立体画像表示装置を提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題に鑑みて、本発明に係る立体画像伝送システムは、各視点に対応する立体画像で構成される立体画像群を表示する立体画像表示装置と、立体画像表示装置に立体画像群を送信する立体画像送信装置と、を備える構成とした。

【0009】

立体画像表示装置は、立体画像送信装置から立体画像群を受信し、受信した立体画像群を復号する復号部と、復号部が復号した立体画像群を表示する表示部と、視聴者の視聴位置を検出し、検出した視聴位置を立体画像送信装置に送信する検出部と、を備える。

【0010】

また、立体画像送信装置は、立体画像表示装置から視聴位置を受信し、受信した視聴位置から表示画面に予め設定された各視点位置に向かう方向と表示画面とのなす角を算出し、算出したなす角が小さくなる視点に対応する立体画像の伝送レートを、なす角が大きくなる視点に対応する他の立体画像の伝送レートより低くする制御部と、立体画像群を符号化し、符号化した立体画像群を立体画像表示装置に送信する符号化部と、を備える。

【0011】

つまり、立体画像伝送システムは、オブジェクトの移動角速度が小さくなるとストロボ効果が低減することを利用し、視聴位置と表示画面上の各視点位置とのなす角が小さくなる視点に対応した立体画像の伝送レートを低下させる。

【0012】

なお、本発明は、前記した立体画像伝送システムが備える立体画像送信装置、又は、立体画像表示装置により実現可能である。

【発明の効果】

【0013】

本発明によれば、立体画像の伝送レートを低下させつつ、立体画像の品質劣化を抑制できるので、符号化処理の演算量や伝送帯域を低減し、立体画像を効率的に伝送することができる。

【図面の簡単な説明】

【0014】

【図1】（ａ）及び（ｂ）は、本発明の原理を説明する説明図である。

【図2】第１実施形態に係る立体画像伝送システムの概略構成図である。

【図3】第１実施形態に係る立体画像伝送システムの構成を示すブロック図である。

【図4】（ａ）及び（ｂ）は、第１実施形態において、フレームレート制御の第１例を説明する説明図である。

【図5】（ａ）及び（ｂ）は、第１実施形態において、なす角とフレームレートとの対応関係を説明する説明図である。

【図6】（ａ）及び（ｂ）は、第１実施形態において、フレームレート制御の第２例を説明する説明図である。

【図7】第１実施形態に係る立体画像伝送システムの動作を示すフローチャートである。

【図8】第２実施形態において、伝送レートの制御を説明する説明図である。

【図9】（ａ）及び（ｂ）は従来技術を説明する説明図である。

【発明を実施するための形態】

【0015】

以下、本発明の原理を説明した後、本発明の各実施形態を詳細に説明する。なお、各実施形態において、同一の手段には同一の符号を付し、説明を省略した。

【0016】

（本発明の原理）
図１を参照し、本発明の原理について説明する。
図１（ａ）に示すように、一般的なディスプレイの表示画面９０の正面に視聴者Ｗが位置し、視聴者Ｗが表示画面９０の中央を向いている場合を考える。この場合、視聴者Ｗの視線方向と表示画面９０の各位置とのなす角θは、視聴者Ｗの視聴位置と表示画面９０の各位置との相対的な関係で定まる。つまり、表示画面９０の中央では、なす角θ_Ｃが大きくなる一方、表示画面９０の右端では、なす角θ_Ｒが小さくなる。

【0017】

表示画面９０に表示されている画像上でオブジェクト９１が移動している場合を考える。この場合、図１（ｂ）に示すように、表示画面９０の端に行くにしたがい（つまり、なす角θが小さくなるにしたがい）、視聴者Ｗから見たオブジェクト９１の移動速度（移動角速度ω）は小さくなる。

【0018】

ここで、表示画面９０上でオブジェクト９１が移動しているとき、オブジェクト９１が多重に見えることがある。この現象は、ストロボ効果と呼ばれるものであり、テレビジョン等の映像メディアの主観的な品質を劣化させる要因である（参考文献１参照）。このストロボ効果は、オブジェクト９１の移動角速度ωとフレームレート（伝送レート）との関係で発生することが知られている。オブジェクト９１の移動角速度ωが小さくなると、ストロボ効果が発生するフレームレートが低くなる。つまり、オブジェクト９１の移動角速度ωが小さければ、フレームレートを低くしても、ストロボ効果が発生しにくくなる。

【0019】

参考文献１：「撮像のフレーム周波数・開口率をパラメータとしたジャーキネスの主観評価」、大村ほか、映像情報メディア学会技術報告、２００９年、Ｖｏｌ.３３、Ｎｏ．６

【0020】

そこで、立体画像伝送システム１（図２）は、オブジェクト９１の移動角速度ωが小さくなるとストロボ効果が低減することを利用し、視聴者Ｗの視聴位置と表示画面の各視点位置とのなす角θが小さくなる視点に対応した要素画像のフレームレートを低下させる。これにより、立体画像伝送システム１は、要素画像のフレームレートを低下させつつ、要素画像の品質劣化を抑制することができる。

【0021】

（第１実施形態）
［立体画像伝送システムの全体構成］
図２を参照し、立体画像伝送システム１の全体構成について説明する。
図２に示すように、立体画像伝送システム１は、ＩＰ方式の要素画像群（立体画像群）を立体画像送信装置２から立体画像表示装置３に送信するものであり、立体画像送信装置２と、立体画像表示装置３とを備える。本実施形態では、立体画像送信装置２及び立体画像表示装置３が、インターネット等のネットワークで接続されていることとする。

【0022】

立体画像送信装置２は、各視点に対応する要素画像で構成される要素画像群を予め記憶し、ネットワークを介して、記憶した要素画像群を立体画像表示装置３に送信するものである。このとき、立体画像送信装置２は、立体画像表示装置３から視聴者Ｗの視聴位置を受信し、受信した視聴位置に基づいて、各要素画像のフレームレートを制御する。例えば、立体画像送信装置２は、後記する各手段（図３）を備えるネットワーク配信サーバである。

【0023】

立体画像表示装置３は、ネットワークを介して、立体画像送信装置２から要素画像群を受信し、受信した要素画像群を表示画面３５ａに表示するものである。例えば、立体画像表示装置３は、従来技術と同様、要素レンズ３１が２次元方向に配列された要素レンズ群３２を備えるＩＰ立体画像表示装置である。また、立体画像表示装置３は、視聴者Ｗの視聴位置を検出する視聴位置検出部３３がディスプレイ上部に配置されている。

【0024】

［立体画像送信装置の構成］
図３を参照し、立体画像送信装置２の構成について説明する。
図３に示すように、立体画像送信装置２は、要素画像群記憶部２１と、伝送レート制御部（制御部）２２と、符号化部２３とを備える。

【0025】

要素画像群記憶部２１は、所望の要素画像群を予め記憶するメモリ、ＨＤＤ（Hard Disk Drive）等の記憶装置である。この要素画像群記憶部２１は、後記する伝送レート制御部２２によって参照される。

【0026】

伝送レート制御部２２は、立体画像表示装置３から視聴位置を受信し、受信した視聴位置と表示画面３５ａに予め設定した各視点位置とのなす角θを算出するものである。このように、立体画像表示装置３から受信した視聴位置から、視聴者Ｗの視聴位置と表示画面３５ａ上の各視点位置との相対的な位置関係（なす角θ）が得られる。そこで、伝送レート制御部２２は、前記したようにストロボ効果が低減することを利用し、フレームレートを制御する。具体的には、伝送レート制御部２２は、なす角θが小さくなる視点に対応する立体画像の伝送レートを、なす角θが大きくなる視点に対応する他の立体画像の伝送レートより低くする。言い換えるなら、伝送レート制御部２２は、なす角θが大きくなる視点に対応する他の要素画像のフレームレートを、なす角θが小さくなる視点に対応する要素画像のフレームレートより高くする。
その後、伝送レート制御部２２は、ネットワークを介して、フレームレートが制御された要素画像群を符号化部２３に出力する。

【0027】

符号化部２３は、伝送レート制御部２２から入力された要素画像群を符号化し、ネットワークを介して、符号化した要素画像群を立体画像表示装置３に送信するものである。つまり、符号化部２３は、フレームレートが制御された要素画像群を符号化し、要素画像群のストリームを送信する。

【0028】

符号化部２３は、任意の符号化方式を用いることができる。また、符号化部２３は、要素画像同士の相関が高く冗長性が多いので、各要素画像を相互に予測する符号化方式を用いることが好ましい。これにより、符号化部２３は、高い相関を十分に活用し、符号化効率を高めることができる。
さらに、符号化部２３は、圧縮されたストリームに階層構造をもたせる階層符号化方式を用いてもよい。

【0029】

［立体画像表示装置の構成］
図３を参照し、立体画像表示装置３の構成について説明する。
図３に示すように、立体画像表示装置３は、視聴位置検出部（検出部）３３と、復号部３４と、表示部３５とを備える。

【0030】

視聴位置検出部３３は、視聴者Ｗの視聴位置を検出し、ネットワークを介して、検出した視聴位置を立体画像送信装置２に送信するものである。ここで、視聴位置検出部３３は、立体画像表示装置３が立体画像を表示している間、リアルタイムで視聴者Ｗの視聴位置を検出する。また、視聴位置検出部３３は、任意の視聴位置検出手法を用いることができる。例えば、視聴位置検出部３３としては、測距センサ（赤外線センサ）やステレオカメラがあげられる。

【0031】

復号部３４は、ネットワークを介して、立体画像送信装置２から要素画像群を受信し、受信した要素画像群を復号するものである。ここで、復号部３４は、符号化部２３に対応した復号方式で要素画像群を復号する。そして、復号部３４は、復号した各要素画像を表示部３５に出力する。

【0032】

表示部３５は、復号部３４から入力された要素画像群を表示画面３５ａ（図２）に表示するものである。このとき、表示部３５は、復号部３４から入力された各要素画像のフレームレートが異なるため、要素画像が同一時刻に表示されるように同期処理を施してもよい。

【0033】

＜フレームレートの制御＞
図４～図６を参照し、伝送レート制御部２２によるフレームレートの制御を詳細に説明する。
なお、図４では、説明を簡易にするため、視点Ｓが水平方向のみに３つ（右視点Ｓ_Ｒ、中央視点Ｓ_Ｃ、左視点Ｓ_Ｌ）であることとする。実際には、視点Ｓは、水平方向だけでなく、垂直方向にも存在しており、その数も３つに限定されない。

【0034】

図４（ａ）は、右視点Ｓ_Ｒに対応した要素画像Ｆ_Ｒ、中央視点Ｓ_Ｃに対応した要素画像Ｆ_Ｃ、及び、左視点Ｓ_Ｌに対応した要素画像Ｆ_Ｌを表している。各要素画像Ｆ（Ｆ_Ｒ，Ｆ_Ｃ，Ｆ_Ｌ）では、円筒状のオブジェクト９１が各視点Ｓ（Ｓ_Ｒ，Ｓ_Ｃ，Ｓ_Ｌ）に対応した位置で撮影されている。すなわち、視聴者Ｗは、各視点Ｓに対応した３つの要素画像Ｆのうち、その視点に対応した１つの要素画像Ｆを見ることになる。なお、図４（ａ）の符号ｔは、時間軸を表す。
図４（ｂ）は、視聴者Ｗの視聴位置と表示画面３５ａとの位置関係を表している。図４の例では、視聴者Ｗの視聴位置が表示画面３５ａの左側（左視点Ｓ_Ｌ）であることとする。

【0035】

まず、伝送レート制御部２２は、視点Ｓ毎になす角θを算出する。つまり、伝送レート制御部２２は、視点Ｓ_Ｒ，Ｓ_Ｃ，Ｓ_Ｌのそれぞれで、なす角θ_Ｒ，θ_Ｃ，θ_Ｌを算出する。図４（ｂ）に示すように、左視点Ｓ_Ｌのなす角θ_Ｌが最も大きくなる。なす角θは、視聴者Ｗの正面での最大値の９０°となる。また、中央視点Ｓ_Ｃのなす角θ_Ｃが２番目に大きく、右視点Ｓ_Ｒのなす角θ_Ｒが最も小さくなる。

【0036】

また、伝送レート制御部２２は、なす角θとフレームレートとの対応関係を予め設定しておく。例えば、伝送レート制御部２２では、図５（ａ）に示すような一次関数、又は、５（ｂ）に示すようなステップ関数など、なす角θとフレームレートとの対応関係を任意に設定できる。

【0037】

次に、伝送レート制御部２２は、その対応関係に基づいて、要素画像Ｆのフレームレートを制御する。ここでは、フレームレートの制御手法を２つ説明する。第１の制御手法は、なす角θに応じて、各要素画像のフレームレートを段階的に低くする手法である。また、第２の制御手法は、なす角θが最大となる要素画像以外の要素画像のフレームレートを等しく低下させる手法である。

【0038】

＜＜第１の制御手法＞＞
以下、第１の制御手法について説明する。
図４（ａ）に示すように、伝送レート制御部２２は、要素画像Ｆ_Ｒのフレームレートを中央視点Ｓ_Ｃに対応する要素画像Ｆ_Ｃのフレームレートより低くする。また、伝送レート制御部２２は、中央視点Ｓ_Ｃに対応する要素画像Ｆ_Ｃのフレームレートを、左視点Ｓ_Ｌに対応する要素画像Ｆ_Ｌのフレームレートより低くする。つまり、左視点Ｓ_Ｌに対応する要素画像Ｆ_Ｌのフレームレートが最も高くなる。また、中央視点Ｓ_Ｃに対応する要素画像Ｆ_Ｃのフレームレートが２番目に高く、要素画像Ｆ_Ｌのフレームレートに対して１／２となる。また、右視点Ｓ_Ｒに対応する要素画像Ｆ_Ｒのフレームレートが最も低く、要素画像Ｆ_Ｌのフレームレートに対して１／４となる。

【0039】

＜＜第２の制御手法＞＞
以下、第２の制御手法について説明する。
図６に示すように、伝送レート制御部２２は、左視点Ｓ_Ｌに対応する要素画像Ｆ_Ｌ以外の要素画像Ｆ_Ｃ，Ｆ_Ｒのフレームレートを等しく低下させる。従って、中央視点Ｓ_Ｃに対応する要素画像Ｆ_Ｃ及び右視点Ｓ_Ｒに対応する要素画像Ｆ_Ｒのフレームレートは、要素画像Ｆ_Ｌのフレームレートに対して１／４となる。

【0040】

なお、伝送レート制御部２２には、第１の制御手法又は第２の制御手法の何れを用いるかを予め設定しておく。例えば、要素画像の品質を重視する場合には第１の制御手法を設定し、要素画像の伝送効率を重視する場合には第２の制御手法を設定する。

【0041】

［立体画像伝送システムの動作］
図７を参照し、立体画像伝送システム１の動作について説明する。
図７に示すように、ステップＳ１において、立体画像表示装置３の視聴位置検出部３３は、視聴者Ｗの視聴位置を検出し、ネットワークを介して、検出した視聴位置を立体画像送信装置２に送信する。

【0042】

ステップＳ２において、立体画像送信装置２の伝送レート制御部２２は、立体画像表示装置３から視聴位置を受信し、受信した視聴位置と表示画面３５ａの各視点位置とのなす角θを算出する。そして、伝送レート制御部２２は、なす角θが小さくなる視点Ｓに対応する要素画像のフレームレートを他の要素画像のフレームレートより低くする。

【0043】

ステップＳ３において、立体画像送信装置２の符号化部２３は、ステップＳ２でフレームレートが制御された要素画像群を符号化し、ネットワークを介して、符号化した要素画像群を立体画像表示装置３に送信する。
ステップＳ４において、立体画像表示装置３の復号部３４は、ネットワークを介して、立体画像送信装置２から要素画像群を受信し、受信した要素画像群を復号する。
ステップＳ５において、立体画像表示装置３の表示部３５は、ステップＳ４で復号した要素画像群を表示画面３５ａに表示する。

【0044】

［作用・効果］
以上のように、立体画像伝送システム１は、オブジェクト９１の移動角速度ωが小さくなるとストロボ効果が低減することを利用し、視聴位置と表示画面３５ａとのなす角θが小さくなる視点Ｓに対応した要素画像のフレームレートを低下させる。このように、立体画像伝送システム１は、要素画像のフレームレートを低下させつつ、要素画像の品質劣化を抑制できるので、符号化処理の演算量や伝送帯域を低減し、データ量が膨大な要素画像を効率的に伝送することができる。

【0045】

（第２実施形態）
［立体画像伝送システムの構成］
図３を参照し、立体画像伝送システム１Ｂの構成について、第１実施形態と異なる点を説明する。
第１実施形態では視聴者Ｗが一人であることとして説明したが、第２実施形態では視聴者Ｗが複数である。このため、立体画像表示装置３Ｂは、複数の視聴者Ｗの視聴位置を検出する。

【0046】

図３に示すように、立体画像伝送システム１Ｂは、立体画像送信装置２Ｂと、立体画像表示装置３Ｂとを備える。
立体画像送信装置２Ｂは、要素画像群記憶部２１と、伝送レート制御部（制御部）２２Ｂと、符号化部２３とを備える。
立体画像表示装置３Ｂは、視聴位置検出部（検出部）３３Ｂと、復号部３４と、表示部３５Ｂとを備える。

【0047】

まず、立体画像表示装置３Ｂを先に説明した後、立体画像送信装置２Ｂを説明する。
視聴位置検出部３３Ｂは、視聴者Ｗが複数の場合、視聴者Ｗ毎に視聴位置を検出するものである。そして、視聴位置検出部３３Ｂは、ネットワークを介して、検出した各視聴者Ｗの視聴位置を立体画像送信装置２Ｂに送信する。なお、視聴位置の検出手法は、第１実施形態と同様のため、これ以上の説明を省略する。
表示部３５Ｂは、画素単位で伝送レートが異なる要素画像を表示するものである。例えば、表示部３５Ｂとしては、画素がＬＥＤ（Light Emitting Diode）で構成されたＬＥＤアレイがあげられる。

【0048】

伝送レート制御部２２Ｂは、視聴者Ｗ毎になす角θを算出し、何れかの視聴者Ｗでなす角θが大きくなる視点に対応する他の要素画像の伝送レートより、なす角θが小さくなる視点に対応する要素画像の伝送レートを低くする。

【0049】

＜伝送レートの制御＞
図８を参照し、伝送レート制御部２２Ｂによる伝送レートの制御を詳細に説明する。
なお、図８では、説明を簡易にするため、視点Ｓが水平方向に３つ（右視点Ｓ_Ｒ、中央視点Ｓ_Ｃ、左視点Ｓ_Ｌ）であることとする。
また、図８の例では、表示画面３５ａの左右にそれぞれ視聴者Ｗ_Ｌ，Ｗ_Ｒが位置することとする。

【0050】

ここで、左側の視聴者Ｗ_Ｌの視聴位置が表示画面３５ａの左側（左視点Ｓ_Ｌ）となる。従って、左側の視聴者Ｗ_Ｌでは、左視点Ｓ_Ｌのなす角θが最大となる。一方、右側の視聴者Ｗ_Ｒの視聴位置が表示画面３５ａの右側（右視点Ｓ_Ｒ）となる。従って、右側の視聴者Ｗ_Ｒでは、右視点Ｓ_Ｒのなす角θが最大となる。この場合、伝送レート制御部２２Ｂは、中央視点Ｓ_Ｃに対応する要素画像の伝送レートを、視聴者Ｗ_Ｌ，Ｗ_Ｒのそれぞれでなす角θが最大になる視点Ｓ_Ｌ，Ｓ_Ｒに対応する要素画像Ｆ_Ｌ，Ｆ_Ｒの伝送レートより低くすればよい。

【0051】

なお、複数の視聴者Ｗ_Ｌ，Ｗ_Ｒから見た表示画面３５ａ上の画素（つまり、同一の要素レンズを通して見た画素）は、同一の要素画像Ｆで異なる画素が対応することになる。従って、伝送レート制御部２２Ｂは、要素画像Ｆの画素単位で伝送レートを制御すれば、複数の視聴者Ｗ_Ｌ，Ｗ_Ｒに対応できる。例えば、表示部３５Ｂと視聴者Ｗ_Ｌ，Ｗ_Ｒとの位置関係から、視聴者Ｗ_Ｌ，Ｗ_Ｒが各要素画像Ｆのどの画素を注視しているか分かる。そこで、伝送レート制御部２２Ｂは、視聴者Ｗ_Ｌ，Ｗ_Ｒが注視している画素に対して、なす角θに応じてフレームレートを制御すればよい。

【0052】

［作用・効果］
以上のように、立体画像伝送システム１Ｂは、視聴者Ｗが複数の場合でも、第１実施形態と同様、要素画像の伝送レートを低下させつつ、要素画像の品質劣化を抑制することができる。これにより、立体画像伝送システム１Ｂは、符号化処理の演算量や伝送帯域を低減し、データ量が膨大な要素画像を効率的に伝送することができる。

【0053】

（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した各実施形態では、立体画像表示装置が、フレームレートが異なる各視点の要素画像を同期して表示することとして説明したが、これに限定されない。例えば、立体画像表示装置は、フレームレートが低い視点の要素画像を時間方向で補間（内挿）してもよい。

【0054】

前記した各実施形態では、視聴位置検出部が、視聴者の視聴位置を検出することとして説明したが、これに限定されない。例えば、視聴者が注視する物体が移動している場合、その視線方向は、変化すると考えられる。また、視聴者の視野の中心付近であるか、視野の周辺であるかによっても、ストロボ効果が異なると考えられる。そこで、視聴位置検出部は、視聴者の視聴位置に加えて、その視線方向を検出してもよい。そして、伝送レート制御部は、視聴者の視線方向も加味して伝送レートを制御すればよい。

【0055】

前記した各実施形態では、ＩＰ方式を適用することとして説明したが、これに限定されない。例えば、本発明は、レンチキュラ方式など、ＩＰ方式と同様の原理の立体方式にも適用できる。

【0056】

前記した各実施形態では、なす角とフレームレートとの対応関係が一次関数やステップ関数で設定されることとして説明したが、これに限定されない。例えば、下記の参考文献２には、オブジェクトの移動角速度とフレームレートとの主観的な品質の関係が記載されている。この参考文献２によれば、移動角速度が２０～２５ｄｅｇ／ｓのときに品質改善効果が高くなり、移動角速度がその範囲よりも遅くても速くても、品質改善効果が低くなる。そこで、伝送レート制御部には、所定範囲の移動角速度（例えば、２０～２５ｄｅｇ／ｓ）に対応するなす角でフレームレートが高く、それ以外のなす角でフレームレートが低くなるような対応関係を設定すればよい。ここでは、表示画面上の移動角速度となす角との関係から、視聴者が見たときの移動角速度が定まる。そして、移動角速度と主観的な品質との関係から、なす角と主観的な品質の関係が定まる。フレームレートを高くすれば主観的な品質が向上するので、なす角とフレームレートとの対応関係を設定できる。

【0057】

参考文献２：「高フレームレート撮像テレビジョンシステムの動画質改善効果」、江本ほか、映像情報メディア学会、Ｖｏｌ．６５、Ｎｏ．８、ｐｐ．１２０８～１２１４、２０１１年

【0058】

前記した各実施形態では、立体画像表示装置が据え置き型であることとして説明したが、これに限定されない。つまり、本発明は、立体画像表示装置と視聴者との相対的位置関係を取得できれば、立体画像表示装置が移動してもよい。この場合、視聴者が携帯可能なタブレット型の立体画像表示装置となる。

【0059】

前記した各実施形態では、立体画像表示装置が１台であることとして説明したが、立体画像伝送システムは、複数台の立体画像表示装置を備えてもよい。この場合、立体画像送信装置は、立体画像表示装置から送信された視聴位置に基づいて、立体画像表示装置毎にフレームレートを制御する。

【符号の説明】

【0060】

１，１Ｂ 立体画像伝送システム
２，２Ｂ 立体画像送信装置
２１ 要素画像群記憶部
２２，２２Ｂ 伝送レート制御部（制御部）
２３ 符号化部
３，３Ｂ 立体画像表示装置
３１ 要素レンズ
３２ 要素レンズ群
３３，３３Ｂ 視聴位置検出部（検出部）
３４ 復号部
３５，３５Ｂ 表示部
３５ａ 表示画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】