特許 6092525 画像処理装置、情報処理システム、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6092525

(24)【登録日】2017年2月17日

(45)【発行日】2017年3月8日

(54)【発明の名称】画像処理装置、情報処理システム、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 13/00 20060101AFI20170227BHJP

   H04N 13/04 20060101ALI20170227BHJP

   G06F 3/0481 20130101ALI20170227BHJP

【ＦＩ】

   H04N13/00 220

   H04N13/00 700

   H04N13/04 560

   G06F3/0481 150

【請求項の数】8

【全頁数】25

(21)【出願番号】特願2012-110719(P2012-110719)

(22)【出願日】2012年5月14日

(65)【公開番号】特開2013-239834(P2013-239834A)

(43)【公開日】2013年11月28日

【審査請求日】2015年4月30日

(73)【特許権者】

【識別番号】316009762

【氏名又は名称】サターン ライセンシング エルエルシー

【氏名又は名称原語表記】Ｓａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ

(74)【代理人】

【識別番号】100095957

【弁理士】

【氏名又は名称】亀谷 美明

(74)【代理人】

【識別番号】100096389

【弁理士】

【氏名又は名称】金本 哲男

(74)【代理人】

【識別番号】100101557

【弁理士】

【氏名又は名称】萩原 康司

(74)【代理人】

【識別番号】100128587

【弁理士】

【氏名又は名称】松本 一騎

(72)【発明者】

【氏名】清水 晃

(72)【発明者】

【氏名】渡邉 啓介

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１１−２３９１６９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０３２３９９（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １３／００ −１５／００

Ｇ０６Ｆ ３／０４８

(57)【特許請求の範囲】

【請求項1】

時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得部と、
一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成部と、
前記ユーザインターフェース画像より手前の位置を前記立体画像の表示位置とする前記動画視差が取得された場合には当該動画視差を前記ユーザインターフェース画像より奥の位置を表示位置とする値に補正する視差補正部と、
を具備する画像処理装置。

【請求項2】

前記視差取得部は、前記複数の立体画像の各々に合成される複数の立体字幕画像の視差を字幕視差としてさらに取得し、
前記視差生成部は、前記一定期間内に取得された前記動画視差に対応する前記複数の立体画像と前記字幕視差に対応する前記複数の立体字幕画像とのいずれよりも手前の位置を前記ユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する
請求項１記載の画像処理装置。

【請求項3】

前記視差生成部は、前記一定期間内に取得された前記複数の立体画像のうち最も手前の画像より所定距離手前の位置を前記ユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する
請求項１記載の画像処理装置。

【請求項4】

前記視差生成部は、
複数の前記一定期間の各々において当該一定期間内に取得された前記複数の立体画像のうち最も手前に表示される画像の視差を最大視差として選択する最大視差選択部と、
前記最大視差の時間軸上の変化の軌跡に近似する曲線を求める曲線近似部と、
前記曲線により表わされる近似視差の時間軸上の変化に基づいて前記近似視差に応じた表示位置よりも手前の位置を前記ユーザインターフェース画像の表示位置とする視差を前記ユーザインターフェース視差として生成するユーザインターフェース視差生成部と
を備える請求項１記載の画像処理装置。

【請求項5】

前記ユーザインターフェース視差に応じた位置を表示位置とする前記ユーザインターフェース画像を前記複数の立体画像の各々に合成する画像合成部をさらに具備する請求項１記載の画像処理装置。

【請求項6】

時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得部と、
一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成部と、
前記ユーザインターフェース画像より手前の位置を前記立体画像の表示位置とする前記動画視差が取得された場合には当該動画視差を前記ユーザインターフェース画像より奥の位置を表示位置とする値に補正する視差補正部と、
前記ユーザインターフェース視差に応じた位置を表示位置とする前記ユーザインターフェース画像が合成された前記複数の立体画像を表示する表示部と
を具備する情報処理システム。

【請求項7】

視差取得部が、時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得手順と、
視差生成部が、一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成手順と、
視差補正部が、前記ユーザインターフェース画像より手前の位置を前記立体画像の表示位置とする前記動画視差が取得された場合には当該動画視差を前記ユーザインターフェース画像より奥の位置を表示位置とする値に補正する視差補正手順と、
を具備する画像処理方法。

【請求項8】

視差取得部が、時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得手順と、
視差生成部が、一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成手順と、
視差補正部が、前記ユーザインターフェース画像より手前の位置を前記立体画像の表示位置とする前記動画視差が取得された場合には当該動画視差を前記ユーザインターフェース画像より奥の位置を表示位置とする値に補正する視差補正手順と、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、立体表示を行うための画像処理装置に関する。詳しくは、ユーザインターフェース画像を立体的に表示させるための画像処理装置、情報処理システム、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。

【背景技術】

【0002】

従来から、字幕を表わす字幕画像を動画に合成して表示する表示装置が用いられている（例えば、特許文献１参照。）。このような表示装置においては、字幕画像のほか、ユーザが所定の機器との間で情報をやりとりするためのユーザインターフェース（ＵＩ：User Interface）画像がユーザの操作に従ってさらに合成されることが多い。

【0003】

表示装置は、これらの動画内の画像、字幕画像、および、ＵＩ画像を立体的に視認できるように表示することができる。例えば、視差のある左側画像および右側画像を表示装置が生成し、その左側画像が左目に映り右側画像が右目に映るように表示することにより、画像を立体的に見せることができる。表示の際には、時分割で左右の画像を表示装置が交互に表示し、その切り替えタイミングに同期して、専用メガネが左右のシャッターを動作させるアクティブシャッターグラス方式などが用いられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−４６５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来技術では、動画およびＵＩ画像を立体表示させる際に機器の操作性が低下してしまうおそれがある。例えば、表示装置が立体表示させた字幕画像や動画内の画像がＵＩ画像より手前に重なって表示されると、ユーザはＵＩ画像を視認しにくくなってしまう。この場合、ユーザがＵＩ画像を視認しながら機器を操作することが困難となり、機器の操作性が低下してしまう。

【0006】

本技術はこのような状況に鑑みて生み出されたものであり、動画およびＵＩ画像を立体表示させる際に機器の操作性の低下を防止することを目的とする。

【課題を解決するための手段】

【0007】

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列順に複数の立体画像を含む動画における上記複数の立体画像の各々の視差を動画視差として取得する視差取得部と、一定期間内に取得された上記動画視差に対応する上記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成部とを具備する画像処理装置、および画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、動画視差に対応する複数の立体画像のいずれよりも手前の位置がユーザインターフェース視差として生成されるという作用をもたらす。

【0008】

また、この第１の側面において、上記視差取得部は、上記複数の立体画像の各々に合成される複数の立体字幕画像の視差を字幕視差としてさらに取得し、上記視差生成部は、上記一定期間内に取得された上記動画視差に対応する上記複数の立体画像と上記字幕視差に対応する上記複数の立体字幕画像とのいずれよりも手前の位置を上記ユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成してもよい。これにより、動画視差に対応する複数の立体画像と字幕視差に対応する上記複数の立体字幕画像とのいずれよりも手前の位置がユーザインターフェース視差として生成されるという作用をもたらす。

【0009】

また、この第１の側面において、上記視差生成部は、上記一定期間内に取得された上記複数の立体画像のうち最も手前の画像より所定距離手前の位置を上記ユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成してもよい。これにより、一定期間内に取得された複数の立体画像のうち最も手前の画像より所定距離手前の位置をユーザインターフェース画像の表示位置とする視差がユーザインターフェース視差として生成されるという作用をもたらす。

【0010】

また、この第１の側面において、上記ユーザインターフェース画像より手前の位置を上記立体画像の表示位置とする上記動画視差が取得された場合には当該動画視差を上記ユーザインターフェース画像より奥の位置を表示位置とする値に補正する視差補正部をさらに具備してもよい。これにより、動画視差がユーザインターフェース画像より奥の位置を表示位置とする値に補正されるという作用をもたらす。

【0011】

また、この第１の側面において、上記視差生成部は、複数の前記一定期間の各々において当該一定期間内に取得された前記複数の立体画像立体字幕画像の表示位置のうち最も手前に表示される画像の視差を最大視差として選択する最大視差選択部と、前記最大視差の時間軸上の変化の軌跡に近似する曲線を求める曲線近似部と、前記曲線により表わされる近似視差の時間軸上の変化に基づいて前記近似視差に応じた表示位置よりも手前の位置を前記ユーザインターフェース画像の表示位置とする視差を上記ユーザインターフェース視差として生成するユーザインターフェース視差生成部とを備えてもよい。これにより、曲線により表わされる近似視差の時間軸上の変化に基づいて時間軸上の所定の時刻における近似視差に応じた表示位置よりも手前の位置をユーザインターフェース画像の表示位置とする視差がユーザインターフェース視差として生成されるという作用をもたらす。

【0012】

また、この第１の側面において、上記ユーザインターフェース視差に応じた位置を表示位置とする上記ユーザインターフェース画像を上記複数の立体画像の各々に合成する画像合成部をさらに具備してもよい。これにより、ユーザインターフェース視差に応じた位置を表示位置とするユーザインターフェース画像が複数の立体画像の各々に合成されるという作用をもたらす。

【0013】

また、本技術の第２の側面は、時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得部と、一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成部と、前記ユーザインターフェース視差に応じた位置を表示位置とする前記ユーザインターフェース画像が合成された前記複数の立体画像を表示する表示部とを具備する情報処理システムである。

【発明の効果】

【0014】

本技術によれば、動画およびＵＩ画像を立体表示させる際に機器の操作性の低下を防止することができるという優れた効果を奏し得る。

【図面の簡単な説明】

【0015】

【図1】第１の実施の形態における情報処理システムの一構成例を示すブロック図である。

【図2】第１の実施の形態における画像処理装置の一構成例を示すブロック図である。

【図3】第１の実施の形態におけるＵＩ視差生成部の一構成例を示すブロック図である。

【図4】第１の実施の形態における動画ストリームの一構成例を説明するための図である。

【図5】第１の実施の形態における字幕ストリームの一構成例を示す図である。

【図6】第１の実施の形態における字幕ストリーム内のＰＥＳパケットのデータ構成の一例を示す図である。

【図7】第１の実施の形態における字幕ストリーム内のＰＥＳパケットに格納されるデータの一例を示す図である。

【図8】第１の実施の形態における視差バッファの一構成例を示す図である。

【図9】第１の実施の形態における画像処理装置の動作の一例を示す図である。

【図10】第１の実施の形態における視差を説明するための図である。

【図11】第１の実施の形態における立体表示の方法の一例を示す図である。

【図12】第１の実施の形態におけるＵＩ視差の変化の一例を示す図である。

【図13】第１の実施の形態における最も手前に立体表示させたＵＩ画像の一例を示す図である。

【図14】第２の実施の形態における画像処理装置の一構成例を示すブロック図である。

【図15】第２の実施の形態におけるＵＩ視差の変化の一例を示す図である。

【図16】第３の実施の形態におけるＵＩ視差生成部の一構成例を示すブロック図である。

【図17】第３の実施の形態におけるＵＩ視差の変化の一例を示す図である。

【発明を実施するための形態】

【0016】

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（最も手前にＵＩ画像を立体表示させる例）
２．第２の実施の形態（ＵＩ画像の表示位置をさらに手前に補正する例）
３．第３の実施の形態（ＵＩ画像の表示位置の変化を滑らかにする例）

【0017】

＜１．第１の実施の形態＞
［情報処理システムの構成例］
図１は、第１の実施の形態における情報処理システムの一例を示す全体図である。この情報処理システムは、受信装置１００、画像処理装置２００、および、表示装置３００および遠隔制御装置４００を備える。

【0018】

受信装置１００は、動画ストリームおよび字幕ストリームを受信するものである。この動画ストリームは、所定の放送規格に準拠して放送局などから配信された動画のデータである。放送規格としては、例えば、ＤＶＢ（Digital Video Broadcast）が使用される。この動画は、時系列に沿って表示される複数の画像を含む。また、この動画は、立体表示させるために作成された動画であり、動画内の画像の各々を以下、「立体主画像」と称する。立体主画像の各々は、視聴者の左目に映すための左側主画像と、右目に映すための右側主画像とを含む。

【0019】

また、動画は、所定の符号化方式に従って必要に応じて符号化されている。符号化方式としては、例えば、ＭＰＥＧ（Moving Picture Expert Group）２−ＴＳ（Transport Stream）規格が用いられる。ＭＰＥＧ２−ＴＳにおいて、符号化された画像は、ＰＥＳ（Packetized Elementary Stream）パケットに格納され、それぞれの画像にはＰＴＳ（Presentation Time Stamp）および視差が対応付けられる。ＰＴＳは、再生出力の時刻管理情報であり、そのタイムスタンプが付与された画像をいつ再生出力するかを示す。視差は、主画像を立体表示させるためのものである。具体的には、字幕データから左側主画像および右側主画像の水平方向におけるずれが視差に該当する。以下、動画の視差を「動画視差」と称する。

【0020】

なお、受信装置１００は、アナログ放送を受信し、その放送波をＡ／Ｄ（Analog to Digital）変換することにより動画ストリームを生成してもよい。

【0021】

受信装置１００が受信する字幕ストリームは、放送局などから配信された字幕に関するデータである。具体的には、字幕ストリームは、字幕データと、その字幕データに対応付けられた視差およびＰＴＳを含む。字幕データは、例えば、字幕を表わす画像（以下「字幕画像」と称する。）や字幕を表わす文字列を含む。字幕ストリームにおける視差は、字幕を立体表示させるためのものである。具体的には、字幕データから左側字幕画像および右側字幕画像が生成された場合において、それらの画像の水平方向におけるずれが視差に該当する。この左側字幕画像および右側字幕画像からなる画像を以下、「立体字幕画像」と称する。また、字幕の視差を以下、「字幕視差」と称する。字幕データおよび字幕視差も必要に応じて符号化されてＰＥＳパケットに格納される。字幕ストリームにおけるＰＴＳは字幕をいつ再生出力するかを示す時刻管理情報であり、動画と同期して字幕を再生するために用いられる。

【0022】

字幕ストリームは、動画ストリームに多重化されて配信される。受信装置１００は、動画ストリームから字幕ストリームを分離し、分離後の動画ストリームおよび字幕ストリームを画像処理装置２００に供給する。なお、受信装置１００の代わりに、画像処理装置２００が字幕ストリームを分離してもよい。

【0023】

画像処理装置２００は、動画ストリームおよび字幕ストリームに基づいて、動画に字幕画像やユーザインターフェース（以下、「ＵＩ」と称する。）画像を合成するものである。ＵＩ画像は、ユーザが、所定の機器（例えば、表示装置３００）との間で情報をやりとりするための画像である。この画像処理装置２００は、字幕ストリームから、字幕視差および字幕データを取得し、その字幕視差に応じた位置に立体表示される立体字幕画像を字幕データから生成する。また、画像処理装置２００は、遠隔制御装置４００の制御に従って、ＵＩ画像およびＵＩ視差を生成する。ＵＩ視差は、ＵＩ画像を立体表示させるためのものである。画像処理装置２００は、ＵＩ視差に応じた位置に立体表示される立体ＵＩ画像をＵＩ画像から生成する。画像処理装置２００は、それらの立体ＵＩ画像および立体字幕画像を動画に合成する。そして、画像処理装置２００は、立体字幕画像および立体ＵＩ画像が合成された動画を表示装置３００に供給する。

【0024】

なお、画像処理装置２００は、放送局などから配信された動画ストリームおよび字幕ストリームを受信装置１００から取得する構成としているが、動画記録装置などに記録された動画ストリームおよび字幕ストリームを画像処理装置２００が取得してもよい。

【0025】

表示装置３００は、立体字幕画像や立体ＵＩ画像が合成された動画を立体表示するものである。立体表示の方式としては、アクティブシャッターグラス方式、偏光表示方式や、視差バリア方式などが用いられる。なお、表示装置３００は、特許請求の範囲に記載の表示部の一例である。

【0026】

遠隔制御装置４００は、表示装置３００などの機器を制御するための操作信号をユーザの操作に従って生成するものである。遠隔制御装置４００は、その操作信号を画像処理装置２００に赤外線などを利用して送信する。

【0027】

なお、情報処理システムは、動画および字幕の両方を立体表示させる構成としているが、動画のみを立体表示させる構成としてもよい。その場合、字幕の視差が配信されない。もしくは、左側画像および右側画像のずれがないことを示す値（例えば、「０」）の視差が字幕視差として配信される。

【0028】

［画像処理装置の構成例］
図２は、第１の実施の形態における画像処理装置２００の一構成例を示すブロック図である。この画像処理装置２００は、視差取得部２１０、復号部２２０、視差バッファ２３０、同期制御部２４０、ＵＩ視差生成部２５０、ＵＩ画像生成部２６０、立体ＵＩ画像生成部２７０および立体字幕画像生成部２８０を含む。また、画像処理装置２００は、立体字幕画像合成部２８５および立体ＵＩ画像合成部２９０を含む。

【0029】

視差取得部２１０は、動画ストリームおよび字幕ストリームから視差およびＰＴＳを取得するものである。具体的には、視差取得部２１０は、動画ストリームおよび字幕ストリームのそれぞれにおけるＰＥＳパケットのヘッダからＰＴＳを取得し、そのＰＥＳパケットのペイロードから視差（動画視差および字幕視差）を取得する。

【0030】

手前側から奥側までの範囲の視差が、例えば２５６段階で区分される場合、視差として「−１２８」乃至「１２７」の値が取得される。取得された視差は、右側画像を基準として左側画像および右側画像を水平方向にずらす量として用いられる。視差が負数（「−１２８」乃至「−１」）である場合には、奥行き方向において、画像（主画像または字幕画像）が基準位置より手前側に立体表示される。一方、視差が正数（「１」乃至「１２７」）である場合には、画像が基準位置より奥側に立体表示される。視差が「０」である場合には、画像は基準位置に表示されるが、立体的には視認されない。なお、視差は、左側画像を基準として左側画像および右側画像を水平方向にずらす量であってもよい。この場合には、視差が負数である場合に画像が基準位置より奥側に立体表示され、正数である場合に画像が基準位置より手前側に立体表示される。また、視差の範囲は、２５６段階以外の段階で区分してもよい。例えば、手前側および奥側をいずれも１２７段階に区分し、基準位置と合わせて手前側から奥側までを２５５段階に区分してもよい。

【0031】

視差取得部２１０は、同じＰＥＳパケットから取得したＰＴＳおよび視差を対応付けて視差バッファ２３０に保持させる。視差バッファ２３０は、ＰＴＳに対応付けて視差を保持するものである。

【0032】

復号部２２０は、動画ストリームが符号化されている場合に、その動画ストリームを復号するものである。この復号部２２０は、動画ストリームの符号化方式と対応する復号方式に従って、動画ストリームを復号する。復号部２２０は、復号した動画ストリームを立体字幕画像合成部２８５に供給する。また、復号部２２０は、字幕ストリームからＰＴＳを取得して、同期制御部２４０に供給する。

【0033】

同期制御部２４０は、動画の表示タイミングに同期して字幕データおよび視差を立体字幕画像生成部２８０に供給するものである。具体的には、同期制御部２４０は、復号部２２０が取得したＰＴＳを受け取り、そのＰＴＳに一致する値のＰＴＳが視差バッファ２３０に保持されているか否かを判断する。保持されていれば、同期制御部２４０は、そのＰＴＳと対応する字幕視差を視差バッファ２３０から読み出す。同期制御部２４０は、読み出した字幕視差と、その字幕視差に対応する字幕データとを立体字幕画像生成部２８０に供給する。

【0034】

ＵＩ視差生成部２５０は、一定期間内に取得された動画視差および字幕視差に対応する画像のいずれよりも手前の位置をＵＩ画像の表示位置とする視差をＵＩ視差として生成するものである。具体的には、ＵＩ視差生成部２５０は、一定期間内に取得された動画視差および字幕視差のうち最大の視差に所定の補正量α（αは正の実数）を加算する。ＵＩ視差生成部２５０は、加算後の値をＵＩ視差として立体ＵＩ画像生成部２７０に信号線２５９を介して供給する。なお、ＵＩ視差生成部２５０は、特許請求の範囲に記載の視差生成部の一例である。

【0035】

ＵＩ画像生成部２６０は、ＵＩ画像を生成するものである。例えば、ネットワークの設定、録画設定、画面の輝度値やガンマ値の補正、番組表の表示などを行うための画像がＵＩ画像として生成される。具体的には、番組表などを表示する場合には、ＵＩ画像生成部２６０は動画ストリームから番組表を取得しておき、操作信号に従って、その番組表を示す画像を生成する。ＵＩ画像生成部２６０は、生成したＵＩ画像を立体ＵＩ画像生成部２７０に供給する。

【0036】

立体ＵＩ画像生成部２７０は、ＵＩ視差に応じた表示位置に立体表示するための立体ＵＩ画像を生成するものである。立体ＵＩ画像生成部２７０は、画面内においてＵＩ画像をＵＩ視差に応じて、視聴者から見て左方向にずらした画像と、右方向にずらした画像とを生成し、これらの一方を左側ＵＩ画像とし、他方を右側ＵＩ画像とする。立体ＵＩ画像生成部２７０は、生成した右側ＵＩ画像および左側ＵＩ画像からなる立体ＵＩ画像を立体ＵＩ画像合成部２９０に供給する。

【0037】

立体字幕画像生成部２８０は、字幕視差に応じた表示位置に立体表示するための立体字幕画像を生成するものである。立体字幕画像生成部２８０は、画面内において字幕画像を字幕視差に応じて、視聴者から見て左方向にずらした画像と、右方向にずらした画像とを生成し、これらの一方を左側字幕画像とし、他方を右側字幕画像とする。ただし、文字列を含む字幕データから立体字幕画像を生成する場合には、立体字幕画像生成部２８０は、その文字列が描画された画像を字幕画像として生成し、その字幕画像を左右にシフトさせて右側字幕画像および左側字幕画像を生成する。立体字幕画像生成部２８０は、生成した右側字幕画像および左側字幕画像からなる立体字幕画像を立体字幕画像合成部２８５に供給する。

【0038】

立体字幕画像合成部２８５は、立体字幕画像を動画に合成するものである。立体字幕画像合成部２８５は、立体字幕画像を合成した動画ストリームを立体ＵＩ画像合成部２９０に供給する。

【0039】

立体ＵＩ画像合成部２９０は、立体ＵＩ画像を動画に合成するものである。立体ＵＩ画像合成部２９０は、立体字幕画像が合成された動画ストリームに立体ＵＩ画像をさらに合成して表示装置３００に供給する。

【0040】

［ＵＩ視差生成部の構成例］
図３は、第１の実施の形態におけるＵＩ視差生成部２５０の一構成例を示すブロック図である。このＵＩ視差生成部２５０は、統計周期計時部２５１、最大視差更新部２５２、最大視差記憶部２５３、および、ＵＩ視差算出部２５５を備える。

【0041】

統計周期計時部２５１は、一定の周期（以下、「統計周期」と称する。）内における時刻を計時するものである。統計周期計時部２５１は、例えば、初期値（「０」など）から最大値（「１００」など）までの範囲の値を所定の時間（例えば、１ミリ秒）が経過するたびに繰り返し計数するカウンタを備え、そのカウンタ値をタイマ値として最大視差更新部２５２に出力する。

【0042】

最大視差更新部２５２は、統計周期内に取得された動画視差および字幕視差の中の最大視差を求めるものである。具体的には、最大視差更新部２５２は、タイマ値が初期値であるときに、最大視差記憶部２５３に「０」の値の視差を最大視差として記憶させる。最大視差更新部２５２は、タイマ値が最大値になるまでの統計周期内において、視差バッファ２３０を参照し、視差が取得されるたびに、その視差と最大視差記憶部２５３における最大視差とを比較する。最大視差更新部２５２は、取得された視差の方が大きければ、その視差により最大視差記憶部２５３を更新する。そして、タイマ値が最大値であるときに、最大視差更新部２５２は、最大視差記憶部２５３から、その時点における最大視差を読み出してＵＩ視差算出部２５５に供給する。最大視差更新部２５２は、統計周期の各々において、これらの処理を繰り返し実行する。

【0043】

ＵＩ視差算出部２５５は、最大視差が供給されるたびに、その最大視差より大きな視差をＵＩ視差として生成するものである。具体的には、ＵＩ視差算出部２５５は、最大視差が供給されると、その最大視差に所定の補正量αを加算し、その値をＵＩ視差とする。ＵＩ視差算出部２５５は、生成したＵＩ視差を立体ＵＩ画像合成部２７０に供給する。ただし、最初の統計周期においては最大視差が求められないため、ＵＩ視差算出部２５５は、例えば、所定の設定値（「１２７」など）をＵＩ視差として用いる。あるいは、ＵＩ視差算出部２５５は、前回の動画ストリームにおいて最後に設定したＵＩ視差を記憶しておき、そのＵＩ視差を、今回の動画ストリームにおける最初の統計周期において出力する。

【0044】

なお、ＵＩ視差算出部２５５は、最大視差に補正量αを加算することによりＵＩ視差を生成しているが、最大視差より大きな視差を生成することができるのであれば、他の方法でＵＩ視差を生成してもよい。例えば、ＵＩ視差算出部２５５は、最大視差に「１」より大きな所定の補正量を乗算し、その値をＵＩ視差としてもよい。

【0045】

図４は、第１の実施の形態における動画ストリームの一構成例を示す図である。動画ストリームは、ＧＯＰ（Group Of Pictures）と呼ばれる単位で符号化されており、このＧＯＰ単位で復号部２２０において復号される。このＧＯＰは、符号化において基準となるＩ（Intra）ピクチャを少なくとも１枚含む画像の集合である。同図におけるａでは、１枚のＩピクチャと、４枚のＰ（Predirective）ピクチャと、１０枚のＢ（Bidirectionally predictive）ピクチャとの計１５枚の画像６１１によりＧＯＰ６１０を構成する様子が示されている。ここで、Ｉピクチャは、符号化において基準とされる画像である。Ｐピクチャは、時間的に先行するＩピクチャまたはＰピクチャとの差分を利用して符号化される画像である。Ｂピクチャは、時間的に前後両方向のＩピクチャまたはＰピクチャとの差分を利用して符号化される画像である。

【0046】

ＧＯＰ内の１５枚の画像は、図４におけるｂに例示するように一部の順序が入れ替えられて符号化される。これは、ＭＰＥＧ規格における符号化方式の特徴に基づくものであり、復号の際に時間的に後続の画像を待つことを回避するためである。例えば、Ｂピクチャ（Ｂ５）を復号化するためにはＩピクチャ（Ｉ３）とＰピクチャ（Ｐ６）を参照する必要がある。このため、Ｂピクチャ（Ｂ５）を復号する時点で必要な画像データ（Ｉ３およびＰ６）が揃うように、同図におけるｂのような入れ替えをしなければならない。なお、このような画像５２１の順序関係を定義するために、Ｖ_ＰＣＫのパックヘッダにおいてＰＴＳ６２２およびＤＴＳ（Decoding Time Stamp）６２３というタイムスタンプが付与される。ＰＴＳ６２２は前述したように、再生出力の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ再生出力するかを示す。一方、ＤＴＳ６２３は復号の時刻管理情報であり、そのタイムスタンプが付与された単位画像をいつ復号するかを示す。

【0047】

符号化された各画像は、図４におけるｃに例示するように、それぞれ１つ以上のパックに収められる。パックとは、複数のＰＥＳパケットを連結してパックヘッダを付加したものである。例えば、Ｉピクチャ（Ｉ３）はＶ＿ＰＣＫ＿Ｉ３（５３０）として保持され、Ｂピクチャ（Ｂ１）はＶ＿ＰＣＫ＿Ｂ１（５３１）として保持される。そして、１個のＧＯＰ６１０を構成するＶ_ＰＣＫ５３０の集合においては、補助的なデータを含むＡＲＩ_ＰＣＫ５２０がＡ_ＰＣＫ５２０とともに多重化される。多重化されたパック群は、動画ストリームを構成する。

【0048】

図５は、実施の形態における字幕ストリームの一構成例を示す図である。字幕ストリームは、動画ストリームとは独立したＰＥＳパケット群から構成される。このＰＥＳパケットは、字幕ストリームを構成するデータ（字幕データや視差など）を必要に応じて分割し、ヘッダを付加してパケット化したものである。字幕ストリームにおける各々のＰＥＳパケットは、パケットヘッダおよびペイロードを含む。パケットヘッダには、ＰＴＳなどが記載される。ペイロードには、ＰＴＳの示すタイミングで表示される字幕データや、その字幕データの視差が格納される。また、ペイロードには、字幕データが表示される領域の水平座標や垂直座標、字幕データが合成される主画像の構成（水平座標および垂直座標の範囲など）が格納される。

【0049】

図６は、実施の形態における字幕ストリーム内のＰＥＳパケットのデータ構成の一例を示す図である。このＰＥＳパケットにおいては、例えば、ＤＶＢ（Digital Video Broadcasting）規格に従ってデータが記述される。ＤＶＢ規格において、ＰＥＳパケットのヘッダには、字幕ストリームの識別情報（Stream_id）、ＰＥＳパケット長（PES_packet_length）、および、字幕データのＰＴＳなどが記載される。また、字幕データがＰＥＳパケット内に配置されることを示すインジケータ（PES_alignment_indicator）が記載される。「PES_packet_data_byte」のフィールドには、ＰＥＳパケットのペイロード（「PES_data_field」内のデータ）が格納される。このペイロードには、「subtitle_segment()」のフィールドが設けられる。ＤＶＢ規格においては、字幕ストリームの構成要素のデータのそれぞれは「segment」と呼ばれる。それぞれの「segment」の詳細は、図６における「subtitle_segment()」のフィールドにおいて記述される。具体的には、「subtitle_segment()」には、「segment」の開始位置を特定するための情報（sync_byte）が記載される。また、このフィールドには、「segment」の種類（segment_type）、その長さ（segment_length）、および、「segment」が用いられる主画像の識別情報（page_id）が記載される。また、「segment」のデータ自体は「segment_data_field」に格納される。「segment」の種類（segment_type）は、例えば、字幕データ、字幕視差、字幕データの構成情報（表示される領域の水平座標や垂直座標など）、字幕データが合成される主画像の構成（水平座標および垂直座標の範囲など）である。

【0050】

図７は、実施の形態におけるＰＥＳパケットに格納されるデータの一例を示す図である。前述したように、ＰＥＳパケットのペイロード内の「subtitle_segment()」には、「segment_type」や「segment_data_field()」と呼ばれる領域が設けられる。「segment_data_field()」には、字幕データや字幕視差が格納される。図７におけるａは「segment_data_field()」に「segment」として字幕データが格納される場合の一例を示す。この場合には、「segment_type」のフィールドにおいて「segment」が字幕データであることを示す「０ｘ１３」が記載される。また、図７におけるｂは、「segment_data_field()」に「segment」として視差が格納される場合の一例を示す。この場合には、「segment_type」のフィールドにおいて、「segment」が字幕視差であることを示す「０ｘ１５」が記載される。

【0051】

図８は、視差バッファ２３０の一構成例を示す図である。視差バッファ２３０には、ＰＴＳに対応付けて視差が保持される。具体的には、ＰＴＳが付与されたＰＥＳパケットから取得された視差（動画視差または字幕視差）が、そのＰＴＳに対応付けて視差バッファ２３０に保持される。ＰＴＳが共通の動画視差および字幕視差は、そのＰＴＳに対応付けて保持される。例えば、「ＰＴＳ＃１」に対応付けて「１０」の字幕視差が保持される場合、「ＰＴＳ＃１」のタイミングにおいて、「１０」の字幕視差が読み出される。そして、字幕視差「１０」に応じた位置に、字幕画像が立体表示される。

【0052】

［画像処理装置の動作例］
図９は、実施の形態における画像処理装置２００の動作の一例を示す図である。この動作は、例えば、画像処理装置２００に動画ストリームおよび字幕ストリームが入力されたときに開始する。

【0053】

画像処理装置２００における視差取得部２１０は、動画ストリームおよび字幕ストリームからＰＴＳおよび視差（動画視差および字幕視差）を取得して視差バッファ２３０に保持させる（ステップＳ９０１）。ＵＩ視差生成部２５０は、取得された視差に基づいて最大視差を更新する（ステップＳ９０２）。立体字幕画像生成部２８０は、字幕データおよび字幕視差から立体副画像を生成する。また、立体ＵＩ画像生成部２７０は、ＵＩ画像およびＵＩ視差から立体ＵＩ画像を生成する（ステップＳ９０３）。立体字幕画像合成部２８５は、動画ストリームに立体字幕画像を合成し、立体ＵＩ画像合成部２９０は、その動画ストリームに立体ＵＩ画像を合成する（ステップＳ９０４）。

【0054】

ＵＩ視差生成部２５０は、統計周期が経過したか否かを判断する（ステップＳ９０５）。統計周期が経過したのであれば（ステップＳ９０５：Ｙｅｓ）、ＵＩ視差生成部２５０は、その時点における最大視差を、経過した統計周期内における最大視差として決定する（ステップＳ９０６）。そして、ＵＩ視差生成部２５０は、その最大視差＋補正量αをＵＩ視差として生成する（ステップＳ９０７）。また、ＵＩ画像生成部２６０は、操作信号に従ってＵＩ画像を生成する（ステップＳ９０８）。統計周期が経過していない場合（ステップＳ９０５：Ｎｏ）、または、ステップＳ９０８の後、画像処理装置２００は、ステップＳ９０１に戻る。

【0055】

図１０は、実施の形態における視差を説明するための図である。表示装置３００の表示面に表示される右側画像の基準の水平座標（例えば、中央の水平座標）をＸ_Ｒとし、左側画像の基準の水平座標をＸ_Ｌとする。水平座標は、視聴者から見て左側であるほど、値が小さいものとする。この場合において、例えば、Ｘ_ＲからＸ_Ｌを減じた値が視差Ｄとして用いられる。

【0056】

ここで、左目と右目との間の距離をベース距離Ｂとし、視聴者から表示装置３００までの距離をｆとし、奥行き方向に立体的に視認される立体画像の表示位置をＺｐとする。このとき、右目、左目および立体画像の中心のなす三角形と、Ｘ_Ｒ、Ｘ_Ｌおよび立体画像の中心のなす三角形とは相似であるため、次の式１が成立する。
Ｄ：ｆ＝Ｂ：Ｚｐ 式１
式１により、Ｚｐに表示させるための視差（動画視差および字幕視差）Ｄが求められて、動画ストリームおよび字幕ストリームにより配信される。

【0057】

図１１は、実施の形態における立体表示の方法の一例を示す図である。同図におけるａは、画像（主画像または字幕画像）を手前側に表示するための表示方法の一例を示す図である。水平方向において、右側画像７０１の座標は視聴者から見て左側であり、左側画像７０２の座標が視聴者から見て右側であるものとする。この場合において、視聴者の左目に左側画像７０２が映り、右目に右側画像７０１が映るように、表示装置３００がこれらの画像を表示すると、視聴者は、画像８０１が手前側に表示されているように視認することができる。

【0058】

図１１におけるｂは、基準位置に画像を表示する表示方法の一例を示す図である。右側字像７０１および左側画像７０２の水平座標は変わらないものとする。この場合において、視聴者の左目に左側画像７０２が映り、右目に右側画像７０１が映るように、表示装置３００がこれらの画像を表示すると、表示装置３００の表示面（基準位置）に画像８０１が表示されているように視認される。このときは、画像８０１は、立体的に視認されない。

【0059】

図１１におけるｃは、画像を奥側に表示するための表示方法の一例を示す図である。水平方向において、右側画像７０１の座標は視聴者から見て右側であり、左側画像７０２の座標が視聴者から見て左側であるものとする。この場合において、視聴者の左目に左側画像７０２が映り、右目に右側画像７０１が映るように、表示装置３００がこれらの画像を表示すると、視聴者は、画像８０１が奥側に表示されているように、立体的に視認することができる。

【0060】

図１２は、第１の実施の形態におけるＵＩ視差の変化の一例を示す図である。図１２における横軸は時間であり、縦軸は、その時間軸上の時刻の視差である。実線は、ＵＩ視差３０１の変動を示す。白丸は、ＵＩ視差が更新される時刻の各々における更新後のＵＩ視差を示す。１点鎖線および２点鎖線の軌跡は、字幕視差３０２および３０３の変動を示す。また、点線の軌跡は、動画視差３０４の変動を示す。

【0061】

統計周期が経過するたびに、その統計周期内に取得された動画視差３０４と字幕視差３０２および３０３とのうちの最大視差に補正量αを加えた値が、次の統計周期におけるＵＩ視差として設定される。例えば、時刻ｔ_０からｔ_１までの統計周期内の最大視差がＭ_１であれば、Ｍ_１＋αが、時刻ｔ_１からｔ_２までの次の統計周期内のＵＩ視差として設定される。これにより、ＵＩ画像の視差が最も大きくなり、ＵＩ画像が最も手前に表示される。

【0062】

図１３は、第１の実施の形態における最も手前に立体表示させたＵＩ画像の一例を示す図である。統計周期内の動画視差および字幕視差のうち最大視差より大きな視差がＵＩ視差として設定される。例えば、ある統計周期内の最大視差が左側字幕画像７０３および右側字幕画像７０４の視差であった場合、その視差より大きな視差が、次の統計周期における左側ＵＩ画像７０５および右側ＵＩ画像７０６の視差として設定される。これにより、左側ＵＩ画像７０５および右側ＵＩ画像７０６によるＵＩ画像８０３の表示位置は、左側字幕画像７０３および右側字幕画像７０４の視差に応じた字幕画像８０２の表示位置より手前に立体表示される。

【0063】

このように本技術の第１の実施の形態によれば、画像処理装置２００は、統計周期内に取得された動画視差のいずれよりも大きな視差をＵＩ視差とすることにより、次の統計周期においてＵＩ画像を最も手前に立体表示させることができる。これにより、ユーザがＵＩ画像を視認しやすくなり、そのＵＩ画像による機器の操作性が向上する。

【0064】

＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１４は、第２の実施の形態における画像処理装置２００の一構成例を示すブロック図である。第１の実施の形態において、ある統計周期内のＵＩ視差は、前の統計周期内の最大視差から生成されていた。しかし、最大視差を求めた統計周期の次の統計周期内に動画視差や字幕視差が急激に変動した場合に、その最大視差から生成したＵＩ視差より大きな視差が設定されてしまうおそれがあった。第２の実施の形態の画像処理装置２００は、生成したＵＩ視差を超えないように動画視差および字幕視差を補正する点において第１の実施の形態と異なる。具体的には、第２の実施の形態の画像処理装置２００は、視差補正部２１５をさらに備える点において第１の実施の形態と異なる。

【0065】

第２の実施の形態のＵＩ視差生成部２５０は、生成したＵＩ視差を立体ＵＩ画像生成部２７０のほか、視差補正部２１５にさらに供給する。

【0066】

視差補正部２１５は、動画視差および字幕視差をＵＩ視差未満に補正するものである。具体的には、視差補正部２１５は、視差（動画視差および字幕視差）が取得されるたびに、それらの視差とＵＩ視差とを比較する。取得された視差がＵＩ視差以上であれば、視差補正部２１５は、そのＵＩ視差未満（例えば、ＵＩ視差−１の値）に視差を補正する。視差補正部２１５は、補正後の視差およびＰＴＳを視差バッファ２３０に保持させる。

【0067】

図１５は、第２の実施の形態におけるＵＩ視差の変化の一例を示す図である。図１５において横軸は時間であり、縦軸は、その時間軸上の時刻の視差である。図１５において実線は、ＵＩ視差３０１の変動を示す。白丸は、ＵＩ視差が更新される時刻の各々における更新後のＵＩ視差を示す。一点鎖線および２点鎖線の軌跡は、字幕視差３０２および３０３の変動を示す。また、点線の軌跡は、動画視差３０４の変動を示す。

【0068】

図１５におけるａは、視差の補正を行わない場合の視差の軌跡を示す図である。例えば、時刻ｔ_１からｔ_２までの期間における最大視差Ｍ_２＋補正量αの値が、時刻ｔ_３からｔ_４までの期間のＵＩ視差として設定された場合を考える。この時刻ｔ_２からｔ_３までの期間内において、字幕視差３０３が急激に変動して、ＵＩ視差より大きくなると、ＵＩ画像の手前に動画が立体表示されてしまう。

【0069】

図１５におけるｂは、視差を補正する場合の視差の軌跡を示す図である。時刻ｔ_２からｔ_３までの期間内において、そのＵＩ視差以上の字幕視差３０３が取得されると、視差補正部２１５が、ＵＩ視差未満の値（ＵＩ視差−１など）に動画視差３０３を補正する。これにより、それぞれの期間内において、そのＵＩ視差より大きな動画視差および字幕視差が設定されなくなる。これにより、動画視差や字幕視差が急激に変動した場合においても常にＵＩ画像が最も手前に立体表示される。

【0070】

このように本技術の第２の実施の形態によれば、画像処理装置２００は、ＵＩ視差未満の値に動画視差および字幕視差を補正することにより、動画視差や字幕視差が急激に変動した場合においても常にＵＩ画像を最も手前に立体表示させることができる。これにより、さらに操作性が向上する。

【0071】

＜３．第３の実施の形態＞
［ＵＩ視差生成部の構成例］
図１６は、第３の実施の形態におけるＵＩ視差生成部２５０の一構成例を示すブロック図である。第１の実施の形態においてＵＩ視差生成部２５０はＵＩ画像の表示位置を段階的に変更していたが、表示位置が滑らかに変わる方が視聴者にとってＵＩ画像が見やすくなる。第３の実施の形態のＵＩ視差生成部２５０は、ＵＩ画像の表示位置の変化を滑らかにする点において第１の実施の形態と異なる。具体的には、第３の実施の形態のＵＩ視差生成部２５０は、曲線近似部２５４をさらに備える点において第１の実施の形態と異なる。

【0072】

曲線近似部２５４は、最大視差の時間軸上の変化を表わす軌跡を曲線に近似するものである。具体的には、曲線近似部２５４は、視差の時間軸上の変化を表わす関数を、例えば、次の式２により定義しておく。

【数1】

式２において、ｔは時刻であり、単位は例えば、ミリ秒である。Ｄ（ｔ）は、時間軸上の視差の変化を表わす関数である。ａ、ｂ、ｃおよびｄは、実数の係数である。曲線近似部２５４は、最大視差の時間軸上の変化を表わす軌跡に近似するＤ（ｔ）の係数を求める。この係数は、最小二乗法に基づいて正規方程式を解くことにより求められる。なお、Ｄ（ｔ）をｔの３次関数としているが、軌跡が曲線となる関数であれば、Ｄ（ｔ）は３次関数に限定されない。例えばＤ（ｔ）は、３次関数以外のｎ（ｎは２以上の整数）次関数や三角関数であってもよい。

【0073】

ここで、正規方程式の導出方法について説明する。取得された最大視差のうち、時刻ｔ_ｋ（ｋは１以上の整数）において取得された最大視差をＤ_ｋとする。この場合、式２にｔ_ｋを代入して求められる視差と、取得されたＤ_ｋとの差分ｅ_ｋは、次の式３により求められる。

【数2】

【0074】

最小二乗法において、最適な係数群は、次の式４で表わされる二乗和Ｅを最小にすることで求められる。

【数3】

【0075】

上式において、Ｋは、取得された最大視差の総数であり、少なくともＤ（ｔ）の次数（式２においては「３」）より大きい整数（例えば、「４」）である。二乗和Ｅを最小にする係数の値は、その係数による二乗和Ｅの偏微分が「０」になるときの値である。下記式５は、二乗和Ｅを係数のそれぞれ（ａ、ｂ、ｃおよびｄ）で偏微分したものである。

【数4】

【0076】

上式において偏微分が０になる係数群が最適な係数群である。式５から次の式６が得られる。

【数5】

【0077】

ここで、式２により定義されたＤ（ｔ）を係数のそれぞれ（ａ、ｂ、ｃおよびｄ）で偏微分すると、次の式７が得られる。

【数6】

この式７を式６に代入することにより、次の式８が得られる。

【数7】

【0078】

そして、式８のe_ｋに式３を代入することにより、次の式９が得られる。

【数8】

【0079】

この式９を展開することにより、次の式９１０が得られる。

【数9】

【0080】

式１０は、行列を用いて、正規方程式である次の式１１で表される。

【数10】

【0081】

この式１１は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、それぞれの係数について解くことができる。これにより、二乗和Ｅが最小となる係数（ａ、ｂ、ｃおよびｄ）の各々が求められる。

【0082】

曲線近似部２５４は、Ｋ個の最大視差Ｄ_ｋおよび時刻ｔ_ｋを式１１に代入して、係数のそれぞれを求め、ＵＩ視差算出部２５５に供給する。ＵＩ視差算出部２５５は、それらの係数を設定した式２を使用して、時刻ｔ_ｋにおける最大視差Ｄ（ｔ_ｋ）を算出する。そして、ＵＩ視差算出部２５５は、その最大視差にαを加えた視差をＵＩ視差として算出する。

【0083】

ここで、動画視差および字幕視差は、一定の規則に従って変動するとは限らないため、曲線近似部２５４は、一定期間ごとに関数の係数を更新する。例えば、曲線近似部２５４は、１００ミリ秒ごとに係数を算出して更新する。

【0084】

また、最大視差を複数取得して係数を算出するための期間は、その算出した係数を適用する期間を含む。例えば、ＵＩ視差生成部２５０は、時刻ｔ_ａ＋１、ｔ_ａ＋２、ｔ_ａ＋３およびｔ_ａ＋４（ａは整数）の時刻における最大視差Ｄ_１、Ｄ_２、Ｄ_３およびＤ_４を予め視差バッファ２３０から取得しておく。そして、ＵＩ視差生成部２５０は、それらの視差から算出した係数を使用して時刻ｔ_ａ＋２からｔ_ａ＋３までの期間におけるＵＩ視差を算出する。なお、算出した係数は、その係数を算出するための期間（時刻ｔ_ａ＋１乃至ｔ_ａ＋４の期間）内であれば、任意の期間に適用することができる。例えば、時刻ｔ_ａ＋３からｔ_ａ＋４までの期間に係数を適用してもよい。

【0085】

図１７は、第３の実施の形態におけるＵＩ視差の変化の一例を示す図である。図１７において横軸は時刻であり、縦軸は、その時刻における視差である。ＵＩ視差生成部２５０は、例えば、時刻ｔ_１、ｔ_２、ｔ_３およびｔ_４における４つの最大視差から求めた係数を式２に設定し、その式２を使用して時刻ｔ_２からｔ_３までの期間におけるＵＩ視差を算出する。同様の手順により、時刻ｔ_２、ｔ_３、ｔ_４およびｔ_５における４つの最大視差から求めた係数を設定した式２を使用して、時刻ｔ_３からｔ_４までの期間におけるＵＩ視差が算出される。式２などにより定義される関数に近似することにより、画像処理装置２００は、軌跡が曲線を描くようにＵＩ視差を変更することできる。

【0086】

このように、第３の実施の形態によれば、画像処理装置２００は、最大視差の時間軸上の変化の軌跡を曲線に近似し、その曲線に基づいてＵＩ視差の変化を滑らかにすることができる。これにより、ＵＩ画像の奥行き方向における表示位置の変化が滑らかになるため、ＵＩ画像が見やすくなり、機器の操作性が向上する。

【0087】

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

【0088】

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

【0089】

なお、本技術は以下のような構成もとることができる。
（１）時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得部と、
一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成部と
を具備する画像処理装置。
（２）前記視差取得部は、前記複数の立体画像の各々に合成される複数の立体字幕画像の視差を字幕視差としてさらに取得し、
前記視差生成部は、前記一定期間内に取得された前記動画視差に対応する前記複数の立体画像と前記字幕視差に対応する前記複数の立体字幕画像とのいずれよりも手前の位置を前記ユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する
前記（１）記載の画像処理装置。
（３）前記視差生成部は、前記一定期間内に取得された前記複数の立体画像のうち最も手前の画像より所定距離手前の位置を前記ユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する
前記（１）または（２）記載の画像処理装置。
（４）前記ユーザインターフェース画像より手前の位置を前記立体画像の表示位置とする前記動画視差が取得された場合には当該動画視差を前記ユーザインターフェース画像より奥の位置を表示位置とする値に補正する視差補正部をさらに具備する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記視差生成部は、
複数の前記一定期間の各々において当該一定期間内に取得された前記複数の立体画像立体字幕画像の表示位置のうち最も手前に表示される画像の視差を最大視差として選択する最大視差選択部と、
前記最大視差の時間軸上の変化の軌跡に近似する曲線を求める曲線近似部と、
前記曲線により表わされる近似視差の時間軸上の変化に基づいて前記近似視差に応じた表示位置よりも手前の位置を前記ユーザインターフェース画像の表示位置とする視差を前記ユーザインターフェース視差として生成するユーザインターフェース視差生成部と
を備える前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）前記ユーザインターフェース視差に応じた位置を表示位置とする前記ユーザインターフェース画像を前記複数の立体画像の各々に合成する画像合成部をさらに具備する前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得部と、
一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成部と、
前記ユーザインターフェース視差に応じた位置を表示位置とする前記ユーザインターフェース画像が合成された前記複数の立体画像を表示する表示部と
を具備する情報処理システム。
（８）視差取得部が、時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得手順と、
視差生成部が、一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成手順と
を具備する画像処理方法。
（９）視差取得部が、時系列順に複数の立体画像を含む動画における前記複数の立体画像の各々の視差を動画視差として取得する視差取得手順と、
視差生成部が、一定期間内に取得された前記動画視差に対応する前記複数の立体画像のいずれよりも手前の位置をユーザインターフェース画像の表示位置とする視差をユーザインターフェース視差として生成する視差生成手順と
をコンピュータに実行させるためのプログラム。

【符号の説明】

【0090】

１００ 受信装置
２００ 画像処理装置
２１０ 視差取得部
２１５ 視差補正部
２２０ 復号部
２３０ 視差バッファ
２４０ 同期制御部
２５０ ＵＩ視差生成部
２５１ 統計周期計時部
２５２ 最大視差更新部
２５３ 最大視差記憶部
２５４ 曲線近似部
２５５ ＵＩ視差算出部
２６０ ＵＩ画像生成部
２７０ 立体ＵＩ画像生成部
２８０ 立体字幕画像生成部
２８５ 立体字幕画像合成部
２９０ 立体ＵＩ画像合成部
３００ 表示装置
４００ 遠隔制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】