特許 6982990 送信装置、送信方法、受信装置および受信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6982990

(24)【登録日】2021年11月25日

(45)【発行日】2021年12月17日

(54)【発明の名称】送信装置、送信方法、受信装置および受信方法

(51)【国際特許分類】

   H04N 19/31 20140101AFI20211206BHJP

   H04N 21/2662 20110101ALI20211206BHJP

   H04N 21/2343 20110101ALI20211206BHJP

   H04N 21/431 20110101ALI20211206BHJP

【ＦＩ】

   H04N19/31

   H04N21/2662

   H04N21/2343

   H04N21/431

【請求項の数】18

【全頁数】58

(21)【出願番号】特願2017-120026(P2017-120026)

(22)【出願日】2017年6月19日

(65)【公開番号】特開2019-4430(P2019-4430A)

(43)【公開日】2019年1月10日

【審査請求日】2020年5月22日

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】特許業務法人大同特許事務所

(72)【発明者】

【氏名】塚越 郁夫

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００７−１５０４３２（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０３８８００（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／０３３７４８（ＷＯ，Ａ１）

【文献】 国際公開第２０１６／１３６４７０（ＷＯ，Ａ１）

【文献】 国際公開第２０１５／０７６２７７（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／１６６５１２（ＷＯ，Ａ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

Ｈ０４Ｎ ２１／００ − ２１／８５８

(57)【特許請求の範囲】

【請求項1】

第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置。

【請求項2】

ビデオのレイヤおよび/またはコンテナのレイヤに上記混合割合の情報および上記画像データのレンジ情報を挿入する挿入部をさらに備える
請求項１に記載の送信装置。

【請求項3】

上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記挿入部は、上記混合割合の情報および上記画像データのレンジ情報を持つＳＥＩ ＮＡＬユニットを上記基本ストリームおよび/または上記拡張ストリームに挿入する
請求項２に記載の送信装置。

【請求項4】

上記処理部は、処理対象フレームの画像データに周辺フレームの画像データを混合する処理を施す際に、上記処理対象フレームの画像データのデータレベルに基づいて上記混合割合を決定する
請求項１から３のいずれかに記載の送信装置。

【請求項5】

上記処理部は、処理対象フレームの画像データに周辺フレームの画像データを混合する処理を施す際に、上記処理対象フレームおよび上記周辺フレームの画像データのデータレベルに基づいて上記混合割合を決定する
請求項１から３のいずれかに記載の送信装置。

【請求項6】

上記画像データのレンジ情報は、第１の閾値と該第１の閾値より低い第２の閾値の情報を含み、
上記第１の動画像データは、ハイダイナミックレンジの動画像データであり、
上記第１の閾値は、上記画像データのレベルがきらめき再現レベル範囲にあるか否かを判別するための閾値であり、
上記第２の閾値は、上記画像データのレベルが暗部再現レベル範囲にあるか否かを判別するための閾値である
請求項２または３に記載の送信装置。

【請求項7】

上記第１のフレームレートは１２０Ｈｚまたは２４０Ｈｚであり、上記第２のフレームレートは６０Ｈｚである
請求項１から６のいずれかに記載の送信装置。

【請求項8】

処理部が、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して第２の動画像データを得るステップを有し、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
符号化部が、上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得るステップと、
送信部が、上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信するステップをさらに有する
送信方法。

【請求項9】

基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置。

【請求項10】

ビデオのレイヤまたはコンテナのレイヤに上記混合割合の情報および上記画像データのレンジ情報が挿入されており、
上記処理部は、上記混合割合の情報および上記画像データのレンジ情報に基づいて、上記第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得る
請求項９に記載の受信装置。

【請求項11】

受信部が、基本ストリームおよび拡張ストリームを含むコンテナを受信するステップを有し、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
処理部が、表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得るステップをさらに有する
受信方法。

【請求項12】

第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置。

【請求項13】

上記送信部は、上記混合割合の情報および上記画像データのレンジ情報を、それぞれ上記第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する
請求項１２に記載の送信装置。

【請求項14】

上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて混合分離処理を施して第３の動画像データを得る処理部をさらに備え、
上記送信部は、上記外部機器が上記混合分離処理の機能を持っていないとき、上記第２の動画像データの代わりに、上記第３の動画像データを送信する
請求項１２または１３に記載の送信装置。

【請求項15】

上記第２の動画像データは第１のフレームレートの動画像データであり、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、
上記送信部は、上記外部機器の表示可能なフレームレートが上記第２のフレームレートであるとき、上記第２の動画像データの代わりに、上記第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する
請求項１２から１４のいずれかに記載の送信装置。

【請求項16】

取得部が、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを取得するステップと、
送信部が、上記第２の動画像データと、上記各フレームの混合割合の情報および上記画像データのレンジ情報を、伝送路を介して、外部機器に送信するステップを有する
送信方法。

【請求項17】

外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて混合分離処理を施して混合解除された動画像データを得る処理部を備える
受信装置。

【請求項18】

受信部が、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を受信するステップと、
処理部が、上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて混合分離処理を施して混合解除された動画像データを得るステップを有する
受信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。

【背景技術】

【0002】

近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている。例えば、ノーマルフレームレートが６０Ｈｚ、５０Ｈｚなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。

【0003】

ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、配信されるハイフレームレートに対してより低いフレームレートの動画像シーケンスを表示する受信再生側において、従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。

【0004】

高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響及ぼす。

【0005】

本出願人は、先に、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させる技術を提案した（特許文献１参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１５/０７６２７７号

【発明の概要】

【発明が解決しようとする課題】

【0007】

本技術の目的は、ノーマルフレームレートおよびハイフレームレートの動画像データを良好に伝送することにある。

【課題を解決するための手段】

【0008】

本技術の概念は、
第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置にある。

【0009】

本技術において、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺のフレームの画像データを混合する処理が施されて第２の動画像データが得られる。ここで、第２の動画像データを構成する各フレームの画像データのうち少なくとも第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされる。例えば、第１のフレームレートは、いわゆるハイフレームレートで、１２０Ｈｚ、２４０Ｈｚなどであり、第２のフレームレートは、いわゆるノーマルフレームレートで、６０Ｈｚなどである。

【0010】

符号化部により、第２のフレームレートに対応したフレームの画像データが符号化されて基本ストリームが得られると共に、残りのフレームの画像データが符号化されて拡張ストリームが得られる。送信部により、基本ストリームおよび拡張ストリームを含むコンテナが送信される。

【0011】

例えば、処理部は、処理対象フレームの画像データに周辺フレームの画像データを混合する処理を施す際に、処理対象フレームの画像データのデータレベルに基づいて混合割合を決定する、ようにされてもよい。また、例えば、処理部は、処理対象フレームの画像データに周辺フレームの画像データを混合する処理を施す際に、処理対象フレームおよび周辺フレームの画像データのデータレベルに基づいて混合割合を決定する、ようにされてもよい。

【0012】

また、例えば、画像データのレンジ情報は、第１の閾値とこの第１の閾値より低い第２の閾値の情報を含み、第１の動画像データは、ハイダイナミックレンジの動画像データであり、第１の閾値は画像データのレベルがきらめき再現レベル範囲にあるか否かを判別するための閾値であり、第２の閾値は画像データのレベルが暗部再現レベル範囲にあるか否かを判別するための閾値である、ようにされてもよい。

【0013】

このように本技術においては、第２の動画像データを構成する各フレームの画像データのうち少なくとも第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合されてシャッタ開口率が高められた状態とされており、この画像データが符号化されて得られた基本ストリームが送信される。

【0014】

そのため、第２のフレームレートの動画像データを処理可能なデコード能力がある受信機の場合、基本ストリームを処理して第２のフレームレートの画像データを得ることで、動画像としてストロービング効果が緩和された滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。

【0015】

また、本技術においては、各フレームの画像データは、データレベルに応じた混合割合で周辺のフレームの画像データと混合される。そのため、混合処理によって、ＨＤＲ（High Dynamic Range）感などの画像本来の質感が失われることが回避可能となる。

【0016】

なお、本技術において、例えば、ビデオのレイヤまたはコンテナのレイヤに混合割合の情報および画像データのレンジ情報を挿入する挿入部をさらに備える、ようにされてもよい。この場合、例えば、基本ストリームおよび拡張ストリームはＮＡＬユニット構造を有し、挿入部は、混合割合の情報および画像データのレンジ情報を持つＳＥＩ ＮＡＬユニットを基本ストリームおよび/または拡張ストリームに挿入する、ようにされてもよい。

【0017】

このように混合割合の情報および画像データのレンジ情報が挿入されることで、受信側では、これらの情報に基づいて、基本ストリームおよび拡張ストリームを復号化して得られた動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得ることを容易かつ適切に行うことが可能となる。

【0018】

また、本技術の他の概念は、
基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに逆混合処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置にある。

【0019】

本技術において、受信部により、基本ストリームおよび拡張ストリームを含むコンテナが受信される。基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データを構成する各画像データのうち第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものである。拡張ストリームは、残りのフレームの画像データを符号化して得られたものである。

【0020】

処理部により、基本ストリームのみが処理されて第２のフレームレートの動画像データが得られるか、あるいは基本ストリームおよび拡張ストリームの双方が処理されて、混合解除された第１のフレームレートの動画像データが得られる。

【0021】

このように本技術においては、第２のフレームレートの動画像データを処理可能なデコード能力がある場合、基本ストリームのみが処理されて第２のフレームレートの動画像データが得られる。この第２のフレームレートの動画像データを構成する各フレームの画像データは、周辺フレームの画像データと混合されてシャッタ開口率が高められているので、動画像としてストロービング効果が緩和された滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。また、各フレームの画像データは、データレベルに応じた混合割合で周辺のフレームの画像データと混合されているため、ＨＤＲ感などの画像本来の質感が失われていないものとなる。

【0022】

なお、本技術において、例えば、ビデオのレイヤおよび/またはコンテナのレイヤに混合割合の情報および画像データのレンジ情報を挿入されており、処理部は、混合割合の情報および画像データのレンジ情報に基づいて、第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得る、ようにされてもよい。このように送信側から送られてくる混合割合の情報および画像データのレンジ情報を用いることで、基本ストリームおよび拡張ストリームを復号化して得られた動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得ることを容易かつ適切に行うことが可能となる。

【0023】

また、本技術の他の概念は、
第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置にある。

【0024】

本技術において、取得部により、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺のフレームの画像データを混合する処理を施して得られた第２の動画像データが取得される。送信部により、第２の動画像データと、各フレームの混合割合の情報および画像データのレンジ情報が、伝送路を介して、外部機器に送信される。例えば、送信部は、混合割合の情報および画像データのレンジ情報をそれぞれ第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する、ようにされてもよい。

【0025】

このように本技術においては、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データが、混合割合の情報および画像データのレンジ情報と共に、伝送路を介して、外部機器に送信される。そのため、外部機器では、第２の動画像データに混合割合の情報および画像データのレンジ情報に基づいて混合分離処理を施して、混合解除されたハイフレームレートの動画像データを容易に得ることができ、良好な動画像表示を行うことができる。

【0026】

なお、本技術において、例えば、第２の動画像データの各フレームの画像データに混合割合の情報および画像データのレンジ情報に基づいて混合分離処理を施して第３の動画像データを得る処理部をさらに備え、送信部は、外部機器が混合分離処理の機能を持っていないとき、第２の動画像データの代わりに、第３の動画像データを送信する、ようにされてもよい。

【0027】

また、本技術において、例えば、第２の動画像データは第１のフレームレートの動画像データであり、第２の動画像データを構成する各フレームの画像データのうち少なくとも第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、送信部は、外部機器の表示可能なフレームレートが第２のフレームレートであるとき、第２の動画像データの代わりに、第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する、ようにされてもよい。

【0028】

また、本技術の他の概念は、
外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて逆混合処理を施して混合解除された動画像データを得る処理部を備える
受信装置にある。

【0029】

本技術において、受信部により、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データと、混合割合の情報および画像データのレンジ情報が受信される。処理部により、第２の動画像データの各フレームの画像データに混合割合の情報および画像データのレンジ情報に基づいて混合分離処理が施されて混合解除された動画像データ（混合処理前の動画像データ）が得られる。

【0030】

このように本技術においては、外部機器から混合処理後の第２の画像データと共に各フレームの混合割合および画像データのレンジ情報の情報が受信され、第２の動画像データの各フレームの画像データに混合割合の情報および画像データのレンジ情報に基づいて混合分離処理が施されて混合解除された動画像データが得られる。そのため、混合処理前と同様の動画像データを適切に精度よく得ることができ、良好な動画像表示を行うことができる。

【0031】

また、本技術の他の概念は、
第１のフレームレートの第１の動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部と、
上記ビデオストリームを復号化して上記第１のフレームレートの第１の動画像データを得る復号化処理と、上記第１の動画像データを構成する各フレームの画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データに周辺フレームの画像データを混合する処理を施して上記第２のフレームレートの第２の動画像データを得るレート変換処理を制御する制御部を備える
受信装置にある。

【0032】

本技術において、受信部により、第１のフレームレートの第１の動画像データを符号化して得られたビデオストリームを含むコンテナが受信される。制御部により、復号化処理と、レート変換処理が制御される。復号化処理では、ビデオストリームが復号化されて第１のフレームレートの第１の動画像データが得られる。レート変換処理では、第１の動画像データを構成する各フレームの画像データのうち第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データに周辺フレームの画像データを混合する処理が施されて第２のフレームレートの第２の動画像データが得られる。

【0033】

このように本技術においては、第１の動画像データを構成する各フレームの画像データのうち第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データに周辺フレームの画像データを混合する処理が施されて第２のフレームレートの第２の動画像データが得られる。そのため、この第２のフレームレートの動画像データを構成する各フレームの画像データは、周辺フレームの画像データと混合されてシャッタ開口率が高められており、動画像としてストロービング効果が緩和された滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。

【0034】

なお、本技術において、例えば、レート変換処理では、第２のフレームレートに対応したフレームの画像データに周辺フレームの画像データがデータレベルに応じた混合割合で混合される、ようにされてもよい。これにより、ＨＤＲ感などの画像本来の質感が失われることが回避可能となる。

【発明の効果】

【0035】

本技術によれば、ノーマルフレームレートおよびハイフレームレートの動画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0036】

【図1】第１の実施の形態としての送受信システムの構成例を示すブロック図である。

【図2】１２０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、＋６０Ｈｚの拡張ストリームの一例を示す図である。

【図3】ＨＤＲの光電変換特性の一例を示す図である。

【図4】送信装置およびテレビ受信機の処理の概要を示す図である。

【図5】送信側における混合と、受信側における混合分離（逆混合）の一例を模式的に示す図である。

【図6】混合割合の決定方法として従来方法を採用した場合におけるプリプロセッサとポストプロセッサの処理の概要を示す図である。

【図7】混合割合の決定方法として新規方法１を採用した場合におけるプリプロセッサとポストプロセッサの処理の概要を示す図である。

【図8】混合割合の決定方法として新規方法１を採用した場合におけるプリプロセッサにおける混合処理とポストプロセッサにおける混合分離処理（逆混合処理）の決定ロジックを示す図である。

【図9】混合割合の決定方法として新規方法２を採用した場合におけるプリプロセッサとポストプロセッサの処理の概要を示す図である。

【図10】混合割合の決定方法として新規方法２を採用した場合におけるプリプロセッサにおける混合処理とポストプロセッサにおける混合分離処理（逆混合処理）の決定ロジックを示す図である。

【図11】送信装置の構成例を示すブロック図である。

【図12】混合割合の決定方法として新規方法１を採用した場合におけるプリプロセッサの構成例を示すブロック図である。

【図13】ピクセル処理部で使用される上限値用テーブルの一例を示す図である。

【図14】ピクセル処理部で使用される下限値用テーブルの一例を示す図である。

【図15】制御部において画素単位で行われるセレクト信号の発生処理の手順の一例を示すフローチャートである。

【図16】混合割合の決定方法として新規方法２を採用した場合におけるプリプロセッサの構成例を示すブロック図である。

【図17】制御部において画素単位で行われるセレクト信号の発生処理の手順の一例を示すフローチャートである。

【図18】「Blend_and_range_information SEI message」の構造例を示す図である。

【図19】「Blend_and_range_information()」の構造例を示す図である。

【図20】「Blend_and_range_information()」の構造例における主要な情報の内容を示す図である。

【図21】ＨＦＲ・デスクリプタの構造例を示す図である。

【図22】トランスポートストリームＴＳの構成例を示す図である。

【図23】ハイフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。

【図24】混合割合の決定方法として新規方法１を採用した場合におけるポストプロセッサの構成例を示すブロック図である。

【図25】制御部において画素単位で行われるセレクト信号の発生処理の手順の一例を示すフローチャートである。

【図26】混合割合の決定方法として新規方法２を採用した場合におけるポストプロセッサの構成例を示すブロック図である。

【図27】制御部において画素単位で行われるセレクト信号の発生処理の手順の一例を示すフローチャートである。

【図28】ノーマルフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機の構成例を示すブロック図である。

【図29】第２の実施の形態としての送受信システムの構成例を示すブロック図である。

【図30】セットトップボックスの制御部（ＣＰＵ）における制御処理手順の一例を示すフローチャートである。

【図31】送信装置、セットトップボックスおよびディスプレイの処理の概要を示す図である。

【図32】ディスプレイが逆混合処理（混合解除処理）の機能を持つ場合と持たない場合とを比較して示す図である。

【図33】ＨＦＲ・ブレンディング・インフォフレームの構造例を示す図である。

【図34】ＨＦＲ・ブレンディング・インフォフレームの構造例における主要な情報の内容を示す図である。

【図35】セットトップボックスの構成例を示すブロック図である。

【図36】ハイフレームレートの動画像データを取り扱うディスプレイの構成例を示すブロック図である。

【図37】ノーマルフレームレートの動画像データを取り扱うディスプレイの構成例を示すブロック図である。

【図38】第３の実施の形態としての送受信システムの構成例を示すブロック図である。

【図39】送信装置、セットトップボックスおよびディスプレイの処理の概要を示す図である。

【図40】送信装置の構成例を示すブロック図である。

【図41】セットトップボックスの構成例を示す図である。

【図42】混合割合の決定方法として新規方法１を採用した場合におけるポストプロセッサの構成例を示すブロック図である。

【図43】混合割合の決定方法として新規方法２を採用した場合におけるポストプロセッサの構成例を示すブロック図である。

【図44】ハイフレームレート（１２０Ｈｚ）の動画像データを取り扱うディスプレイの構成例を示すブロック図である。

【図45】ノーマルフレームレート（６０Ｈｚ）の動画像データを取り扱うディスプレイの構成例を示す図である。

【図46】混合処理の一般形における、送信側における混合（blending）と、受信側における混合分離（unblending）の一例を模式的に示す図である。

【図47】混合処理の一般形における、ＳＥＩの配置方法を示す図である。

【図48】混合処理の一般形における、ブレンド・アンド・レンジ・インフォメーション・ＳＥＩメッセージの構造例を示す図である。

【図49】混合処理の一般形における、ＨＦＲ・ブレンディング・インフォフレームの構造例を示す図である。

【発明を実施するための形態】

【0037】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．変形例

【0038】

＜１．第１の実施の形態＞
［送受信システム］
図１は、第１の実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、テレビ受信機２００を有する構成となっている。

【0039】

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、１２０Ｈｚ、２４０Ｈｚ等のハイフレームレート、この実施の形態においては１２０Ｈｚの動画像データが処理されて得られた基本ストリーム（基本ビデオストリーム）および拡張ストリーム（拡張ビデオストリーム）が含まれる。この実施の形態において、基本ストリームおよび拡張ストリームは、ＮＡＬユニット構造を有するものとされる。

【0040】

ここで、基本ストリームは、以下のようにして得られたものである。すなわち、混合前のハイフレームレートの動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して混合処理後の動画像データが得られる。

【0041】

この混合処理後の動画像データを構成する各フレームの画像データのうち、少なくとも、ノーマルフレームレート、この実施の形態では６０Ｈｚに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされる。基本ストリームは、このノーマルフレームレートに対応したフレーム（基本フレーム）の画像データが符号化されて得られたものである。また、拡張ストリームは、残りのフレーム（拡張フレーム）の画像データが符号化されて得られたものである。

【0042】

基本ストリームには、ノーマルフレームレートの各フレームの符号化画像データがアクセスユニットとして含まれる。また、拡張ストリームには、ハイフレームレートの各拡張フレームの符号化画像データがアクセスユニットとして含まれる。

【0043】

図２（ａ），（ｂ）は、１２０Ｈｚの動画像データに混合処理が施されて得られた６０Ｈｚの基本ストリームと、＋６０Ｈｚの拡張ストリームの一例を示している。基本ストリームを構成する一つのフレームと、それに続く拡張フレームの１つのフレームからなる２フレームによりフレームペア（Frame-pair）が構成されている。

【0044】

図２（ａ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）にある。また、図２（ｂ）においては、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）にあるが、それに続く拡張ストリームのフレームの画像データも周辺フレームの画像データと混合された状態（混合状態）にある。

【0045】

ビデオ（ビデオストリーム）のレイヤおよび/またはコンテナのレイヤに、混合割合の情報および画像データのレンジ情報が挿入される。ここで、混合割合の情報は、混合処理に使用されるフィルタのタップ数分の係数のセットからなっている。例えば、ｍフレームの混合を行い得るｍタップのフィルタが用いられる場合、各フレームの係数セットにはｍ個の係数が含まれる。

【0046】

また、画像データのレンジ情報は、第１の閾値と、この第１の閾値より低い第２の閾値の情報を含んでいる。また、この実施の形態において、上述の１２０Ｈｚの動画像データは、ＨＤＲの動画像データである。

【0047】

図３は、ＨＤＲの光電変換特性の一例を示している。この図において、横軸は輝度を示し、縦軸は伝送符号値を示している。第１の閾値は、ＳＤＲ（Standard Dynamic Range）相当の輝度（１００ｃｄ/ｍ^２）に対応するレベル値“Range_limit_High_value”とされ、画像データのレベルが特殊混合処理対象範囲であるきらめき再現レベルの範囲にあるか否かを判別するための閾値である。また、第２の閾値は、レベル値“Range_limit_low_value”とされ、画像データのレベルが特殊混合処理対象範囲である暗部再現レベルの範囲にあるか否かを判別するための閾値である。

【0048】

上述したようにハイフレームレートの動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データが混合される。処理対象フレームの画像データに周辺フレームの画像データを混合する処理がされるとき、画素単位で、上述の“Range_limit_High_value”、“Range_limit_low_value”のレベル値が用いられて混合割合が決定される。

【0049】

この混合割合の決定は、新規方法１あるいは新規方法２で行われる。新規方法１では、処理対象フレームの画像データに基づいて混合割合が決定される。一方、新規方法２では、処理対象フレームおよび周辺フレームの画像データに基づいて混合割合が決定される。

【0050】

この実施の形態において、混合割合の情報（係数セット）および画像データのレンジ情報を持つＳＥＩ ＮＡＬユニットが、基本ストリームや拡張ストリームに挿入される。受信側では、この混合割合の情報および画像データのレンジ情報に基づいて、基本ストリームおよび拡張ストリームの各フレームの画像データがいかなる割合で周辺フレームの画像データと混合されて得られたものであるかが把握可能となる。

【0051】

図１に戻って、テレビ受信機２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。テレビ受信機２００は、ノーマルフレームレート（６０Ｈｚ）の動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームのみを処理して、ノーマルフレームレートの動画像データを得て、画像再生をする。

【0052】

一方、テレビ受信機２００は、ハイフレームレート（１２０Ｈｚ）の動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれる基本ストリームおよび拡張ストリームの双方を処理して、ハイフレームレートの動画像データを得て、画像再生をする。テレビ受信機２００は、ビデオ（ビデオストリーム）のレイヤおよび/またはコンテナのレイヤの挿入されている混合割合の情報および画像データのレンジ情報を取得し、これらの情報を用いて混合分離処理（逆混合処理）をする。

【0053】

この場合、テレビ受信機２００は、基本ストリームに復号化処理を施してノーマルフレームレートの各フレームの画像データを得ると共に、拡張ストリームに復号化処理を施してハイフレームレートの各拡張フレームの画像データを得た後、ノーマルフレームレートの各フレームの画像データとハイフレームレートの各拡張フレームの画像データを用い、混合割合の情報（係数セット）に基づいて、混合分離処理（逆混合処理）を行って、混合処理前と同様のハイフレームレートの動画像データを得る。

【0054】

図４は、送信装置１００およびテレビ受信機２００（２００Ａ，２００Ｂ）の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＰ´（Ｎ）、Ｐ（Ｎ＋１）とテレビ受信機２００Ａ，２００Ｂのデコーダ２０４，２０４Ｂの出力の画像シーケンスＰ´（Ｎ）、Ｐ（Ｎ＋１）とは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。カメラ（撮像装置）８１から出力されるより高いフレームレートの動画像データＶａがＨＦＲプロセッサ８２に送られてハイフレームレート（１２０Ｈｚ）の動画像データＶｂが得られる。この動画像データＶｂが送信装置１００に動画像データＰとして入力される。

【0055】

送信装置１００では、プリプロセッサ１０２において、動画像データＰを構成する各フレームの画像データに混合処理が施されて、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）が得られる。なお、この実施の形態において、画像データＰ（Ｎ＋１）には、周辺フレームの画像データとの混合は行われていない。

【0056】

送信装置１００では、エンコーダ１０３において、画像データＰ´（Ｎ），Ｐ（Ｎ＋１）に符号化処理が施されて、基本ストリームＳＴｂと、拡張ストリームＳＴｅが得られる。送信装置１００からテレビ受信機２００には、これらのストリームＳＴｂ，ＳＴｅが送信される。なお、これらのストリームＳＴｂ，ＳＴｅには、それぞれのフレームの画像データに関連付けて、対応するフレームの混合割合の情報および画像データのレンジ情報が挿入される。

【0057】

ハイフレームレート対応の、つまりハイフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機２００Ａでは、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）が得られる。

【0058】

そして、テレビ受信機２００Ａでは、ポストプロセッサ２０５において、各フレームの混合割合の情報および画像データのレンジ情報に基づいて、動画像データＰ´（Ｎ），Ｐ（Ｎ＋１）に混合分離処理（逆混合処理）が施されて、送信側における動画像データＰと同様のハイフレームレート（１２０Ｈｚ）の動画像データＲが得られる。この動画像データＲが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６でフレーム補間がされてフレームレートが高められて表示用動画像データとなる。

【0059】

一方、ノーマルフレームレート対応の、つまりノーマルフレームレートの画像データを処理可能なデコード能力があるテレビ受信機２００Ｂでは、デコーダ２０４Ｂにおいて、ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）が得られる。そして、テレビ受信機２００Ｂでは、このノーマルフレームレートの各フレームの画像データＰ´（Ｎ）からなる動画像データが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６Ｂでフレーム補間がされてフレームレートが高められて表示用動画像データとなる。

【0060】

図５は、送信側における混合（blending）と、受信側における混合分離（unblending）の一例を模式的に示している。この例は、図２（ａ）の例に対応し、ピクチャ「Ｎ」とピクチャ「Ｎ＋１」がフレームペアを構成しており、ピクチャ「Ｎ＋２」とピクチャ「Ｎ＋３」がフレームペアを構成している。なお、図示の例において、オブジェクトＯａ，Ｏｂは動きのないオブジェクトであり、オブジェクトＯｃは動きのあるオブジェクトである。

【0061】

送信側の混合処理により、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは周辺フレームの画像データと混合された状態（混合状態）とされ、それに続く拡張ストリームのフレームの画像データは周辺フレームの画像データと混合されていない状態（非混合状態）とされる。また、受信側の混合分離処理（逆混合処理）により、混合状態が解除される。

【0062】

図６は、混合割合の決定方法として従来方法を採用した場合におけるプリプロセッサ１０２とポストプロセッサ２０５の処理の概要を示している。図６（ａ）は、プリプロセッサ１０２で混合処理がなされる前のピクチャ「Ｎ」の画像を示し、図６（ｂ）は、プリプロセッサ１０２で混合処理がなされる前のピクチャ「Ｎ＋１」の画像を示し、図６（ｃ）は、プリプロセッサ１０２で混合処理がなされた後のピクチャ「Ｎ」の画像を示している。

【0063】

ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）は、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と、以下のタイプ０（Type 0）の混合処理が行われ、Ｐ’（Ｎ）の値はＰ（Ｎ）、Ｐ（Ｎ＋１）の算術平均（重みは許容）をとった値となる。点Ｐ（Ｎ）が高輝度で点Ｐ（Ｎ＋１）が高輝度でない場合は算術平均をとることで混合結果としてのＰ’（Ｎ）の輝度レベルが下がる。ハイフレームレート対応でないテレビ受信機２００Ｂでは、この混合結果による画像表示がなされるので、きらめき感が失われた画像が表示されることとなる。
[ Type0 混合処理 ]
P’(N) = (a/k) * P(N) + ( b/k ) * P(N+1) (a + b = k)

【0064】

図６（ｄ）は、ポストプロセッサ２０５で混合分離処理がなされた後のピクチャ「Ｎ」の画像を示し、図６（ｅ）は、ポストプロセッサ２０５で用いられるピクチャ「Ｎ＋１」の画像を示している。ハイフレームレート対応のテレビ受信機２００Ａでは、ポストプロセッサ２０５において、以下のタイプ０（Type 0）の混合分離処理が行われて、Ｐ”（Ｎ）の値が得られる。このように、ハイフレームレート対応のテレビ受信機２００Ａでは、混合分離処理により、きらめき感が復元される。
[ Type0 混合分離処理]
P”(N) = k/a * P'(N) - b/a * P(N+1) (a + b = k)

【0065】

図７は、混合割合の決定方法として新規方法１を採用した場合におけるプリプロセッサ１０２とポストプロセッサ２０５の処理の概要を示している。図７（ａ）は、プリプロセッサ１０２で混合処理がなされる前のピクチャ「Ｎ」の画像を示し、図７（ｂ）は、プリプロセッサ１０２で混合処理がなされる前のピクチャ「Ｎ＋１」の画像を示し、図７（ｃ）は、プリプロセッサ１０２で混合処理がなされた後のピクチャ「Ｎ」の画像を示している。

【0066】

ピクチャ「Ｎ」上の点Ｐ（Ｎ）を、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と混合する際に、重要な輝度・色度感を維持しながら、画素の混合を行うようにする。維持する画素値のレベル範囲を特殊混合処理対象範囲とし、それに合致する画素については特殊混合を行う。すなわち、通常の混合処理「 Type0 混合処理 」とは混合割合を変えるか、あるいは混合を行わないようにする。

【0067】

ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）の画素値が特殊混合処理対象範囲にないとき、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）は、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と、以下のタイプ０（Type 0）の混合処理（通常混合処理）が行われ、Ｐ’（Ｎ）の値はＰ（Ｎ）、Ｐ（Ｎ＋１）の算術平均（重みは許容）をとった値となる。
[ Type0 混合処理 ]
P’(N) = (a/k) * P(N) + ( b/k ) * P(N+1) (a + b = k)

【0068】

一方、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）の画素値が特殊混合処理対象範囲にあるとき、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）は、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と、以下のタイプ１（Type 1）の混合処理（特殊混合処理）が行われ、Ｐ’（Ｎ）の値はＰ（Ｎ）、Ｐ（Ｎ＋１）の算術平均（重みは許容）をとった値となる。これにより、通常輝度色度範囲については混合の効果が得られ、きらめき部分およびダーク部分での先鋭感が損なわれることなく、受信再生が可能となる。
[ Type1 混合処理 ]
P’(N) = (c/m) * P(N) + ( d/m ) * P(N+1) (c + d = m)
P’(N) = P(N) (c = m の場合)

【0069】

図７（ｄ）は、ポストプロセッサ２０５で混合分離処理がなされた後のピクチャ「Ｎ」の画像を示し、図７（ｅ）は、ポストプロセッサ２０５で用いられるピクチャ「Ｎ＋１」の画像を示している。

【0070】

ハイフレームレート対応のテレビ受信機２００Ａでは、点Ｐ’（Ｎ）の画素値が特殊混合処理対象範囲にないとき、あるいは点Ｐ’（Ｎ）の画素値が特殊混合処理対象範囲にあり、かつ点Ｐ（Ｎ＋１）が特殊混合処理対象範囲にあるとき、ポストプロセッサ２０５において、以下のタイプ０（Type 0）の混合分離処理が行われて、Ｐ”（Ｎ）の値が得られる。
[Type0 混合分離処理]
P”(N) = k/a * P’(N) - b/a * P(N+1) (a + b = k)

【0071】

一方、ハイフレームレート対応のテレビ受信機２００Ａでは、点Ｐ’（Ｎ）の画素値が特殊混合処理対象範囲にあり、かつ点Ｐ（Ｎ＋１）が特殊混合処理対象範囲にないとき、ポストプロセッサ２０５において、以下のタイプ１（Type 1）の混合分離処理が行われて、Ｐ”（Ｎ）の値が得られる。
[Type1 混合分離処理]
P”(N) = m/c * P’(N) - d/c * P(N+1) (c + d = m)
P”(N) ＝ P’(N) ( c = m の場合）

【0072】

図８は、上述したように混合割合の決定方法として新規方法１を採用した場合におけるプリプロセッサ１０２における混合処理とポストプロセッサ２０５における混合分離処理（逆混合処理）の決定ロジックを示している。

【0073】

図において、“range_high”は、画像データのレベルが特殊混合処理対象範囲であるきらめき再現レベルの範囲にあるか否かを判別するための閾値であるレベル値“Range_limit_high_value”を示している。また、“range_low”は、画像データのレベルが特殊混合処理対象範囲である暗部再現レベルの範囲にあるか否かを判別するための閾値であるレベル値“Range_limit_low_value”を示している（図３参照）。

【0074】

プリプロセッサ１０２における混合処理では、Ｐ（Ｎ）が「P(N) > range_high or P(N) < range_low」を満たすときは、「 Type1 混合処理（Type1_blending()） 」を行うように決定される。このときの処理結果であるＰ’（Ｎ）は、特殊混合処理対象範囲となる。また、プリプロセッサ１０２における混合処理では、その他のときは、「 Type0 混合処理（Type1_blending() ）」を行うように決定される。このときの処理結果であるＰ’（Ｎ）が通常混合処理対象範囲に入るか否かは、Ｐ（Ｎ＋１）に依存する。

【0075】

また、ポストプロセッサ２０５における混合処理では、Ｐ’（Ｎ）が「P'(N) > range_high 」を満たす場合、Ｐ（Ｎ＋１）が「P(N+1) ＝< range_high 」を満たすときは「 Type1 混合分離処理（Type1_reverse_blending()） 」を行うように決定され、その他のときは、「 Type0 混合分離処理（Type0_reverse_blending()） 」を行うように決定される。

【0076】

また、ポストプロセッサ２０５における混合処理では、Ｐ’（Ｎ）が「P'(N) < range_low 」を満たす場合、Ｐ（Ｎ＋１）が「P(N+1) >＝ range_low 」を満たすときは「 Type1 混合分離処理（Type1_reverse_blending()） 」を行うように決定され、その他のときは、「 Type0 混合分離処理（Type0_reverse_blending()） 」を行うように決定される。

【0077】

また、ポストプロセッサ２０５における混合処理では、その他の場合、「 Type0 混合分離処理（Type0_reverse_blending()） 」を行うように決定される。

【0078】

図９は、混合割合の決定方法として新規方法２を採用した場合におけるプリプロセッサ１０２とポストプロセッサ２０５の処理の概要を示している。図９（ａ）は、プリプロセッサ１０２で混合処理がなされる前のピクチャ「Ｎ」の画像を示し、図９（ｂ）は、プリプロセッサ１０２で混合処理がなされる前のピクチャ「Ｎ＋１」の画像を示し、図９（ｃ）は、プリプロセッサ１０２で混合処理がなされた後のピクチャ「Ｎ」の画像を示している。

【0079】

ピクチャ「Ｎ」上の点Ｐ（Ｎ）を、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と混合する際に、重要な輝度・色度感を維持しながら、画素の混合を行うようにする。維持する画素値のレベル範囲を特殊混合処理対象範囲とし、それに合致する画素については特殊混合を行う。すなわち、通常の混合処理「 Type0 混合処理 」とは混合割合を変えるか、あるいは混合を行わないようにする。

【0080】

ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）の画素値が特殊混合処理対象範囲になく、かつピクチャ「Ｎ＋１」の画像上の点Ｐ（Ｎ＋１）の画素値が特殊混合処理対象範囲にないとき、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）は、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と、以下のタイプ０（Type 0）の混合処理（通常混合処理）が行われ、Ｐ’（Ｎ）の値はＰ（Ｎ）、Ｐ（Ｎ＋１）の算術平均（重みは許容）をとった値となる。
[ Type0 混合処理 ]
P’(N) = (a/k) * P(N) + ( b/k ) * P(N+1) (a + b = k)

【0081】

一方、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）の画素値が特殊混合処理対象範囲にあるとき、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）ａは、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）ａと、以下のタイプ１（Type 1）の混合処理（特殊混合処理）が行われ、Ｐ’（Ｎ）の値はＰ（Ｎ）、Ｐ（Ｎ＋１）の算術平均（重みは許容）をとった値となる。
[ Type1 混合処理 ]
P’(N) = (c/m) * P(N) + ( d/m ) * P(N+1) ( c + d = m)
P’(N) = P(N) (c = m の場合)

【0082】

また、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）の画素値が特殊混合処理対象範囲にないが、ピクチャ「Ｎ＋１」の画像上の点Ｐ（Ｎ＋１）の画素値が特殊混合処理対象範囲にあるとき、ピクチャ「Ｎ」の画像上の点Ｐ（Ｎ）ｂは、ピクチャ「Ｎ＋１」上の同じ座標位置にある点Ｐ（Ｎ＋１）と、以下のタイプ２（Type 2）の混合処理（特殊混合処理）が行われ、Ｐ’（Ｎ）の値はＰ（Ｎ）、Ｐ（Ｎ＋１）の算術平均（重みは許容）をとった値となる。これにより、通常輝度色度範囲については混合の効果が得られ、きらめき部分およびダーク部分での先鋭感が損なわれることなく、受信再生が可能となる。
[ Type2 混合処理 ]
P’(N) = (e/s) * P(N) + (f/s)* P(N+1) (e < f かつe + f = s)

【0083】

図９（ｄ）は、ポストプロセッサ２０５で混合分離処理がなされた後のピクチャ「Ｎ」の画像を示し、図９（ｅ）は、ポストプロセッサ２０５で用いられるピクチャ「Ｎ＋１」の画像を示している。

【0084】

ハイフレームレート対応のテレビ受信機２００Ａでは、点Ｐ’（Ｎ）の画素値が特殊混合処理対象範囲にないとき、ポストプロセッサ２０５において、以下のタイプ０（Type 0）の混合分離処理が行われて、Ｐ”（Ｎ）の値が得られる。
[Type0 混合分離処理]
P”(N) = k/a * P'(N) - b/a * P(N+1) (a + b = k)

【0085】

一方、ハイフレームレート対応のテレビ受信機２００Ａでは、点Ｐ’（Ｎ）の画素値が特殊混合処理対象範囲にあり、かつ点Ｐ（Ｎ＋１）の画素値が特殊混合処理対象範囲にないとき、ポストプロセッサ２０５において、以下のタイプ１（Type 1）の混合分離処理が行われて、Ｐ”（Ｎ）の値が得られる。
[Type1 混合分離処理]
P”(N) = m/c * P'(N) - d/c * P(N+1) (c + d = m)
P”(N) ＝ P’(N) ( c = m の場合）

【0086】

また、ハイフレームレート対応のテレビ受信機２００Ａでは、点Ｐ’（Ｎ）の画素値が特殊混合処理対象範囲にあり、かつ点Ｐ（Ｎ＋１）の画素値が特殊混合処理対象範囲にあるとき、ポストプロセッサ２０５において、以下のタイプ２（Type 2）の混合分離処理が行われて、Ｐ”（Ｎ）の値が得られる。
[Type2 混合分離処理]
P”(N) = s/e * P'(N) - f/e * P(N+1) (e + f = s)

【0087】

図１０は、上述したように混合割合の決定方法として新規方法２を採用した場合におけるプリプロセッサ１０２における混合処理とポストプロセッサ２０５における混合分離処理（逆混合処理）の決定ロジックを示している。

【0088】

図において、“range_high”は、画像データのレベルが特殊混合処理対象範囲であるきらめき再現レベルの範囲にあるか否かを判別するための閾値であるレベル値“Range_limit_high_value”を示している。また、“range_low”は、画像データのレベルが特殊混合処理対象範囲である暗部再現レベルの範囲にあるか否かを判別するための閾値であるレベル値“Range_limit_low_value”を示している（図３参照）。

【0089】

プリプロセッサ１０２における混合処理では、Ｐ（Ｎ）が「P(N) > range_high or P(N) < range_low」を満たすときは、「 Type1 混合処理（Type1_blending） 」を行うように決定される。このときの処理結果であるＰ’（Ｎ）は、特殊混合処理対象範囲となる。また、プリプロセッサ１０２における混合処理では、P(N) が「range_low =< P(N) =< range_high 」を満たし、且つ、Ｐ（Ｎ＋１）が「P(N+1) > range_high or P(N+1) < range_low 」を満たすときは、「 Type2 混合処理（Type2_blending） 」を行うように決定される。このときの処理結果であるＰ’（Ｎ）は、特殊混合処理対象範囲となる。また、その他のときは、「 Type0 混合処理（Type0_blending） 」を行うように決定される。このときの処理結果であるＰ’（Ｎ）は、通常混合処理対象範囲となる。

【0090】

また、ポストプロセッサ２０５における混合処理では、Ｐ’（Ｎ）が「P’(N) > range_high」を満たし、且つ、Ｐ（Ｎ＋１）が「P(N+1) > range_high」を満たすときは、「 Type2 混合分離処理（Type2_reverse_blending()） 」を行うように決定され、Ｐ’（Ｎ）が「P’(N) > range_high」を満たし、且つ、Ｐ（Ｎ＋１）が「P(N+1) > range_high」を満たさないときは、「 Type1 混合分離処理（Type1_reverse_blending()） 」を行うように決定さる。

【0091】

また、ポストプロセッサ２０５における混合処理では、Ｐ’（Ｎ）が「P’(N) < range_low」を満たし、且つ、Ｐ（Ｎ＋１）が「P(N+1) < range_low」を満たすときは、「 Type2 混合分離処理（Type2_reverse_blending()） 」を行うように決定され、Ｐ’（Ｎ）が「P’(N) < range_low」を満たし、且つ、Ｐ（Ｎ＋１）が「P(N+1) < range_low」を満たさないときは、「 Type1 混合分離処理（Type1_reverse_blending()） 」を行うように決定さる。

【0092】

また、ポストプロセッサ２０５における混合処理では、その他の場合、「 Type0 混合分離処理（Type0_reverse_blending()） 」を行うように決定さる。

【0093】

「送信装置の構成」
図１１は、送信装置１００の構成例を示している。この送信装置１００は、制御部１０１と、プリプロセッサ１０２と、エンコーダ１０３と、マルチプレクサ１０４と、送信部１０５を有している。制御部１０１は、送信装置１００の各部の動作を制御する。

【0094】

プリプロセッサ１０２は、ハイフレームレート（１２０Ｈｚ）の動画像データＰを入力して、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＰ’（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）を出力する。

【0095】

ここで、プリプロセッサ１０２は、混合処理前のハイフレームレートの動画像データＰの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して混合処理後の動画像データを得る。この動画像データのうち、ノーマルフレームレート（６０Ｈｚ）に対応した各フレームの画像データがＰ’（Ｎ）となり、残りの各フレームの画像データがＰ（Ｎ＋１）となる。この場合、少なくとも、画像データＰ’（Ｎ）は周辺フレームの画像データと混合された状態とされる。

【0096】

図１２は、プリプロセッサ１０２の構成例を示している。この例は、混合割合の決定方法として新規方法１を採用した場合における構成例である。このプリプロセッサ１０２は、ピクセル処理部１２０と、フレーム遅延部１２１と、係数器１２２，１２３，１２５，１２６と、加算部１２４，１２７と、スイッチ部１２８と、出力部１２９を有している。

【0097】

ピクセル処理部１２０は、動画像データＰの各フレームの画像データＰ（Ｎ），Ｐ（Ｎ＋１）の値を調整して、“Range_limit_high_value”、“Range_limit_low_value”のレベル値による特殊混合処理対象範囲にあるか否かの判定処理を適切に行い得るようにする。

【0098】

図１３は、ピクセル処理部１２０で使用される上限値用テーブルの一例を示している。図１４は、ピクセル処理部１２０で使用される下限値用テーブルの一例を示している。ここでは、画像データは１０ビットデータを例にとり、下限値６４、上限値９４０で説明する。

【0099】

最初に、図１３に示す上限値用テーブル例について説明する。このテーブル例は、“Range_limit_High_value”を７００に設定する場合の例である。７０１〜７０５は７０５に変更され、７０６〜９４０はそのままの値が保持される。同様に、６９８〜７００は６９８に変更され、６４〜６９７は、そのままの値が保持される。

【0100】

ここで、Ｐ（Ｎ）の値が７０５以上のとき、特殊混合処理対象範囲にあると判断され、プリプロセッサ１０２では「 Type1 混合処理 」の混合処理が行われる。この場合、Ｐ'（Ｎ）の値の最小値は、Ｐ（Ｎ＋１）の値が６４以上であることから、例えばＰ（Ｎ）とＰ（Ｎ＋１）との混合割合が２５５：１に設定されるときには、以下の数式（１）から、７０２となる。
P’(N) = (705*255 + 64*1 )/256 = 702 ・・・（１）

【0101】

そのため、ポストプロセッサ２０５側においても、Ｐ'（Ｎ）の値から、同様に、特殊混合処理対象範囲と判断することが可能となり、適切な混合分離処理（逆混合処理）を行うことが可能となる。なお、詳細説明は省略するが、“Range_limit_High_value”を７００以外の値に設定する場合にあっても、画像データＰ（Ｎ），Ｐ（Ｎ＋１）の値を調整することで、同様の効果を持たせることができる。

【0102】

次に、図１４に示す下限値用テーブル例について説明する。このテーブル例は、“Range_limit_Low_value”を１００に設定する場合の例である。９６〜９９は９６に変更され、６４〜９５はそのままの値が保持される。同様に、１００〜１０２は１０２に変更され、１０３〜９４０は、そのままの値が保持される。

【0103】

ここで、Ｐ（Ｎ）の値が９６以下のとき、特殊混合処理対象範囲にあると判断され、プリプロセッサ１０２では「 Type1 混合処理 」の混合処理が行われる。この場合、Ｐ'（Ｎ）の値の最大値は、Ｐ（Ｎ＋１）の値が９４０以下であることから、例えばＰ（Ｎ）とＰ（Ｎ＋１）との混合割合が２５５：１に設定されるときには、以下の数式（２）から、９９となる。
P’(N) = (96*255 + 940*1 )/256 = 99 ・・・（２）

【0104】

そのため、ポストプロセッサ２０５側においても、Ｐ'（Ｎ）の値から、同様に、特殊混合処理対象範囲と判断することが可能となり、適切な混合分離処理（逆混合処理）を行うことが可能となる。なお、詳細説明は省略するが、“Range_limit_Low_value”を１００以外の値に設定する場合にあっても、画像データＰ（Ｎ），Ｐ（Ｎ＋１）の値を調整することで、同様の効果を持たせることができる。

【0105】

なお、上述では、上限値用テーブルと下限値用テーブルを備えているように説明したが、これらの２つのテーブルは１つのテーブルとして構成することも可能である。

【0106】

図１２に戻って、フレーム遅延部１２１は、ピクセル処理部１２０で値が調整された画像データＰ（Ｎ），Ｐ（Ｎ＋１）を入力し、１２０Ｈｚにおける１フレームの遅延を与える。これにより、フレーム遅延部１２１の出力がピクチャ「Ｎ」の画像データＰ（Ｎ）となるとき、ピクセル処理部１２０の出力はピクチャ「Ｎ＋１」の画像データＰ（Ｎ＋１）となる。

【0107】

フレーム遅延部１２１から得られる画像データＰ（Ｎ）は、係数器１２２と係数器１２５に入力される。また、ピクセル処理部１２０から得られる画像データＰ（Ｎ＋１）は、係数器１２３と係数器１２６に入力される。

【0108】

係数器１２２には制御部１０１から（ａ/ｋ）の係数が設定されており、画像データＰ（Ｎ）にこの係数が掛け算される。また、係数器１２３には制御部１０１から（ｂ/ｋ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器１２２，１２３の出力値は加算部１２４で加算される。ここで、係数器１２２，１２３および加算部１２４は、「 Type0 混合処理 」の混合処理を行うためのフィルタを構成しており、加算部１２４からは「 Type0 混合処理 」の混合処理で得られた画像データＰ’（Ｎ）が得られる。

【0109】

また、係数器１２５には制御部１０１から（ｃ/ｍ）の係数が設定されており、画像データＰ（Ｎ）にこの係数が掛け算される。また、係数器１２６には制御部１０１から（ｄ/ｍ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器１２５，１２６の出力値は加算部１２７で加算される。ここで、係数器１２５，１２６および加算部１２７は、「 Type1 混合処理 」の混合処理を行うためのフィルタを構成しており、加算部１２７からは「 Type1 混合処理 」の混合処理で得られた画像データＰ’（Ｎ）が得られる。

【0110】

スイッチ部１２８には、加算部１２４，１２７で得られた画像データＰ’（Ｎ）が入力される。スイッチ部１２８は、制御部１０１からのセレクト信号に基づき、画素単位で、加算部１２４で得られた「 Type0 混合処理 」の画像データＰ’（Ｎ）または加算部１２７で得られた「 Type1 混合処理 」の画像データＰ’（Ｎ）を、選択的に出力する。

【0111】

制御部１０１は、フレーム遅延部１２１から得られる画像データＰ（Ｎ）と、予め設定されている“Range_limit_High_value”、“Range_limit_low_value”のレベル値に基づいて、画素単位でセレクト信号を発生してスイッチ部１２８に送る。

【0112】

図１５のフローチャートは、制御部１０１において画素単位で行われるセレクト信号の発生処理の手順の一例を示している。まず、ステップＳＴ１において、制御部１０１は、処理を開始する。その後、制御部１０１は、ステップＳＴ２において、Ｐ（Ｎ）の画素を読み込む。次に、制御部１０１は、ステップＳＴ３において、Ｐ（Ｎ）は特殊混合処理対象範囲「P(N) > range_high, P(N) < range_low」にあるか否かを判定する。

【0113】

制御部１０１は、特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、ステップＳＴ４において、「 Type0 混合処理 」の画像データＰ’（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ５において、処理を終了する。一方、制御部１０１は、特殊混合処理対象範囲にあると判定するとき、ステップＳＴ６において、「 Type1 混合処理 」の画像データＰ’（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ５において、処理を終了する。

【0114】

図１２に戻って、スイッチ部１２８で得られた画像データＰ’（Ｎ）と、ピクセル処理部１２０で得られた画像データＰ（Ｎ＋１）は、出力部１２９に入力される。この出力部１２９には、６０Ｈｚのフレーム同期信号が供給される。出力部１２９は、このフレーム同期信号に同期して、６０Ｈｚのフレームレートで、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）を出力する。

【0115】

図１６は、プリプロセッサ１０２の他の構成例を示している。この例は、混合割合の決定方法として新規方法２を採用した場合における構成例である。この図１６において、図１２と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このプリプロセッサ１０２は、ピクセル処理部１２０と、フレーム遅延部１２１と、係数器１２２，１２３，１２５，１２６，１３０，１３１と、加算部１２４，１２７，１３２と、スイッチ部１３３と、出力部１２９を有している。

【0116】

フレーム遅延部１２１から得られる画像データＰ（Ｎ）は、係数器１２２と係数器１２５と係数器１３０に入力される。また、ピクセル処理部１２０から得られる画像データＰ（Ｎ＋１）は、係数器１２３と係数器１２６と係数器１３１に入力される。

【0117】

係数器１２２には制御部１０１から（ａ/ｋ）の係数が設定されており、画像データＰ（Ｎ）にこの係数が掛け算される。また、係数器１２３には制御部１０１から（ｂ/ｋ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器１２２，１２３の出力値は加算部１２４で加算される。ここで、係数器１２２，１２３および加算部１２４は、「 Type0 混合処理 」の混合処理を行うためのフィルタを構成しており、加算部１２４からは「 Type0 混合処理 」の混合処理で得られた画像データＰ’（Ｎ）が得られる。

【0118】

また、係数器１２５には制御部１０１から（ｃ/ｍ）の係数が設定されており、画像データＰ（Ｎ）にこの係数が掛け算される。また、係数器１２６には制御部１０１から（ｄ/ｍ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器１２５，１２６の出力値は加算部１２７で加算される。ここで、係数器１２５，１２６および加算部１２７は、「 Type1 混合処理 」の混合処理を行うためのフィルタを構成しており、加算部１２７からは「 Type1 混合処理 」の混合処理で得られた画像データＰ’（Ｎ）が得られる。

【0119】

また、係数器１３０には制御部１０１から（ｅ/ｓ）の係数が設定されており、画像データＰ（Ｎ）にこの係数が掛け算される。また、係数器１３１には制御部１０１から（ｆ/ｓ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器１３０，１３１の出力値は加算部１３２で加算される。ここで、係数器１３０，１３１および加算部１３２は、「 Type2 混合処理 」の混合処理を行うためのフィルタを構成しており、加算部１３２からは「 Type2 混合処理 」の混合処理で得られた画像データＰ’（Ｎ）が得られる。

【0120】

スイッチ部１３３には、加算部１２４，１２７，１３２で得られた画像データＰ’（Ｎ）が入力される。スイッチ部１３３は、制御部１０１からのセレクト信号に基づき、画素単位で、加算部１２４で得られた「 Type0 混合処理 」の画像データＰ’（Ｎ）、加算部１２７で得られた「 Type1 混合処理 」の画像データＰ’（Ｎ）または加算部１３２で得られた「 Type2 混合処理 」の画像データＰ’（Ｎ）を、選択的に出力する。

【0121】

制御部１０１は、フレーム遅延部１２１から得られる画像データＰ（Ｎ）およびピクセル処理部１２０から得られる画像データＰ（Ｎ＋１）と、予め設定されている“Range_limit_High_value”、“Range_limit_low_value”のレベル値に基づいて、画素単位でセレクト信号を発生してスイッチ部１３３に送る。

【0122】

図１７のフローチャートは、制御部１０１において画素単位で行われるセレクト信号の発生処理の手順の一例を示している。まず、ステップＳＴ１１において、制御部１０１は、処理を開始する。その後、制御部１０１は、ステップＳＴ１２において、Ｐ（Ｎ），Ｐ（Ｎ＋１）の画素を読み込む。次に、制御部１０１は、ステップＳＴ１３において、Ｐ（Ｎ）は特殊混合処理対象範囲「P(N) > range_high, P(N) < range_low」にあるか否かを判定する。

【0123】

制御部１０１は、Ｐ（Ｎ）が特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、ステップＳＴ１４において、Ｐ（Ｎ＋１）は特殊混合処理対象範囲「P(N+1) > range_high, P(N+1) < range_low」にあるか否かを判定する。

【0124】

制御部１０１は、Ｐ（Ｎ＋１）が特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、ステップＳＴ１５において、「 Type0 混合処理 」の画像データＰ’（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ１６において、処理を終了する。一方、制御部１０１は、Ｐ（Ｎ＋１）が特殊混合処理対象範囲にあると判定するとき、ステップＳＴ１７において、「 Type2 混合処理 」の画像データＰ’（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ１６において、処理を終了する。

【0125】

また、ステップＳＴ１３でＰ（Ｎ＋１）が特殊混合処理対象範囲にあると判定するとき、制御部１０１は、ステップＳＴ１８において、「 Type0 混合処理 」の画像データＰ’（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ１６において、処理を終了する。

【0126】

図１６に戻って、スイッチ部１３３で得られた画像データＰ’（Ｎ）と、ピクセル処理部１２０で得られた画像データＰ（Ｎ＋１）は、出力部１２９に入力される。この出力部１２９には、６０Ｈｚのフレーム同期信号が供給される。出力部１２９は、このフレーム同期信号に同期して、６０Ｈｚのフレームレートで、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）を出力する。

【0127】

図１１に戻って、エンコーダ１０３は、プリプロセッサ１０２で得られる画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に対して符号化処理を施して、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを生成する。この場合、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施される。

【0128】

エンコーダ１０２は、基本ストリームＳＴｂ、拡張ストリームＳＴｅに混合割合の情報および画像データのレンジ情報を挿入する。受信側では、これらの情報に基づいて、基本ストリームの各フレームの画像データがいかなる割合で拡張フレームの画像データと混合されて得られたものであるかを画素単位で把握でき、混合分離処理（逆混合処理）を適切に行うことが可能となる。

【0129】

この実施の形態においては、基本ストリームＳＴｂ、拡張ストリームＳＴｅの各アクセスユニットに混合割合の情報および画像データのレンジ情報を持つＳＥＩ ＮＡＬユニットが挿入される。この場合、エンコーダ１０３は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ブレンド・アンド・レンジ・インフォメーション・ＳＥＩメッセージ（Blend_and_range_information SEI message）を挿入する。

【0130】

この実施の形態においては、この画像データＰ'（Ｎ）の混合処理に係る混合割合の情報および画像データのレンジ情報を持つＳＥＩ ＮＡＬユニットが、例えば、基本ストリームＳＴｂおよび拡張ストリームＳｔｅの双方の各アクセスユニットに各々挿入される。なお、この混合処理に係る混合割合の情報および画像データのレンジ情報を、基本ストリームＳＴｂの各アクセスユニットのみに挿入すること、あるいは拡張ストリームＳＴｅの各アクセスユニットのみに挿入することも考えられる。

【0131】

図１８は、「Blend_and_range_information SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「Blend_and_range_information()」が挿入される。

【0132】

図１９は、「Blend_and_range_information()」の構造例(Syntax)を示し、図２０は、その構造例における主要な情報の内容（Semantics）を示している。「bit_depth_information」の８ビットフィールドは、符号化画素ビット幅を示す。例えば、“０”は８ビット、“１”は１０ビット、“２”は１２ビット、“３”は１６ビットを示す。

【0133】

「range_limit_high_value」の１６ビットフィールドは、通常混合処理対象範囲の上限のレベル値を示す。「range_limit_low_value」の１６ビットフィールドは、通常混合処理対象範囲の下限のレベル値を示す。これらは、画像データのレンジ範囲情報を構成している。

【0134】

「blending_mode」の８ビットフィールドは、混合処理のモードを示す。例えば、“０ｘ０”はモード０（mode0）、つまり従来の通常混合処理のみを行うモードを示す。また、例えば、“０ｘ１”はモード１（mode1）、つまり、ピクチャ「Ｎ」の画素判断による特殊混合処理を含む混合処理を行うモードを示す。また、例えば、“０ｘ２”はモード２（mode2）、つまり、ピクチャ「Ｎ」、「Ｎ＋１」の画素判断による特殊混合処理を含む混合処理を行うモードを示す。

【0135】

「blending_mode」が“０ｘ０”であるとき、「type_blending_coefficient_a」、「type0_blending_coefficient_b」の８ビットフィールドが存在する。また、「blending_mode」が“０ｘ１”であるとき、「type_blending_coefficient_a」、「type0_blending_coefficient_b」、「type1_blending_coefficient_c」、「type1_blending_coefficient_d」の８ビットフィールドが存在する。また、「blending_mode」が“０ｘ２”であるとき、「type_blending_coefficient_a」、「type0_blending_coefficient_b」、「type1_blending_coefficient_c」、「type1_blending_coefficient_d」、「type2_blending_coefficient_e」、「type2_blending_coefficient_f」の８ビットフィールドドが存在する。

【0136】

「type0_blending_coefficient_a」の８ビットフィールドは、「Type0 混合処理」である通常混合処理における係数ａ(ベースレイヤ画素に対する係数）を示す。「type0_blending_coefficient_b」の８ビットフィールドは、「Type0 混合処理」である通常混合処理における係数ｂ(エンハンスト画素に対する係数）を示す。

【0137】

「type1_blending_coefficient_c」の８ビットフィールドは、「Type1 混合処理」である特殊混合処理における係数ｃ(ベースレイヤ画素に対する係数）を示す。「type1_blending_coefficient_d」の８ビットフィールドは、「Type1 混合処理」である特殊混合処理における係数ｄ(エンハンスト画素に対する係数）を示す。

【0138】

「type2_blending_coefficient_e」の８ビットフィールドは、「Type2 混合処理」である特殊混合処理における係数ｅ(ベースレイヤ画素に対する係数）を示す。「type2_blending_coefficient_f」の８ビットフィールドは、「Type2 混合処理」である特殊混合処理における係数ｆ(エンハンスト画素に対する係数）を示す。上述の各係数は、混合処理に係る混合割合の情報を構成している。

【0139】

図１１に戻って、マルチプレクサ１０４は、エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。

【0140】

また、マルチプレクサ１０４は、コンテナとしてのトランスポートストリームＴＳのレイヤに、混合割合の情報および画像データのレンジ情報を挿入する。この実施の形態においては、プログラムマップテーブルの配下に拡張ストリームに対応して配置されたビデオエレメンタリストリームループの中に、新規定義する、ＨＦＲ・デスクリプタ（HFR_descriptor）を挿入する。なお、混合割合の情報および画像データのレンジ情報を上述したようにＳＥＩに配置する場合は、ピクチャ毎、あるいはシーン毎に情報を切り替えることが可能となる。また、混合割合の情報および画像データのレンジ情報をコンテナのデスクリプタに配置する場合は、より長い期間、例えば番組毎、ないしは番組を分割した単位毎に情報を切り替えることが可能となる。

【0141】

図２１は、ＨＦＲ・デスクリプタの構造例(Syntax)を示している。詳細説明は省略するが、このＨＦＲ・デスクリプタは、上述したブレンド・アンド・レンジ・インフォメーション・ＳＥＩメッセージ（図１９参照）と同様の情報を持っている。ＨＦＲ・デスクリプタを配置するメリットは、受信機がデコード処理を開始する前に、ＨＦＲピクチャデータに必要な処理タイプを把握でき、後段のポスト処理の準備を完成できることにある。

【0142】

図２２は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ストリーム（ベースストリーム）ＳＴｂと拡張ストリーム（エンハンスストリーム）ＳＴｅの２つのビデオストリームが含まれている。すなわち、この構成例では、基本ストリームＳＴｂのＰＥＳパケット「video PES1」が存在すると共に、拡張ストリームＳＴｅのＰＥＳパケット「video PES2」が存在する。

【0143】

ＰＥＳパケット「video PES1」およびＰＥＳパケット「video PES2」でコンテナされる各ピクチャの符号化画像データには、ブレンド・アンド・レンジ・インフォメーション・ＳＥＩメッセージ（図１９参照）が挿入される。なお、この例は、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方に混合割合の情報および画像データのレンジ情報を挿入する例に対応している。

【0144】

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

【0145】

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、基本ストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、拡張ストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。

【0146】

「video ES1 loop」には、基本ストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタ、例えばｈｅｖｃデスクリプタや上述したＨＦＲデスクリプタ（図２１参照）も配置される。このストリームタイプは、ＨＥＶＣ符号化の場合、基本ストリームを示す“０ｘ２４”とされる。

【0147】

また、「video ES2 loop」には、拡張ストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタ、例えばｈｅｖｃデスクリプタや上述したＨＦＲデスクリプタ（図２１参照）も配置される。このストリームタイプは、拡張ストリームを示す“０ｘ２５”とされる。

【0148】

なお、図示の例は、ＨＥＶＣの符号化が行われる場合について示しているが、ブレンド・アンド・レンジ・インフォメーション・ＳＥＩメッセージによるシグナリング情報の伝達は他のコーデックにも同様に適用可能である。他のコーデックの場合は、ＰＭＴに挿入するデスクリプタは別のものとなる。

【0149】

図１１に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。

【0150】

図１１に示す送信装置１００の動作を簡単に説明する。ハイフレームレート（１２０Ｈｚ）の動画像データＰがプリプロセッサ１０２に入力される。このプリプロセッサ１０２では、動画像データＰが処理されて、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＰ’（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）が得られる。

【0151】

この場合、動画像データＰの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理が施されて混合処理後の動画像データが得られる。そして、この動画像データのうち、ノーマルフレームレート（６０Ｈｚ）に対応した各フレームの画像データがＰ’（Ｎ）とされ、残りの各フレームの画像データがＰ（Ｎ＋１）とされる。ここで、画像データＰ’（Ｎ）は、画像データＰ（Ｎ）に画像データＰ（Ｎ＋１）が混合されて得られたものである。

【0152】

この実施の形態では、画素単位で、画像データＰ（Ｎ）、または画像データＰ（Ｎ），Ｐ（Ｎ＋１）のデータレベルに応じた混合処理が選択的に用いられる。これにより、通常輝度色度範囲については混合の効果が得られ、きらめき部分およびダーク部分での先鋭感が損なわれることなく、受信再生が可能となる。

【0153】

例えば、混合割合の決定方法として新規方法１を採用した場合には、画像データＰ（Ｎ）のデータレベルに応じて、通常混合処理である「 Type0 混合処理 」、あるいは特殊混合処理である「 Type1 混合処理 」が用いられる。また、混合割合の決定方法として新規方法２を採用した場合には、画像データＰ（Ｎ），Ｐ（Ｎ＋１）のデータレベルに応じて、通常混合処理である「 Type0 混合処理 」、特殊混合処理である「 Type1 混合処理 」、あるいは特殊混合処理である「 Type2 混合処理 」が用いられる。

【0154】

プリプロセッサ１０２で得られた画像データＰ’（Ｎ），Ｐ（Ｎ＋１）は、エンコーダ１０３に供給される。エンコーダ１０３では、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に対して符号化処理が施されて、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが生成される。このエンコーダ１０３では、基本ストリームＳＴｂ、拡張ストリームＳＴｅに、受信側における混合分離処理（逆混合処理）の便宜のために、混合処理に係る混合割合の情報および画像データのレンジ情報が挿入される。

【0155】

エンコーダ１０３で生成された基本ストリームＳＴｂおよび拡張ストリームＳＴｅは、マルチプレクサ１０４に供給される。マルチプレクサ１０４では、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。また、マルチプレクサ１０４では、コンテナとしてのトランスポートストリームＴＳのレイヤに、混合割合の情報および画像データのレンジ情報を持つＨＦＲデスクリプタが挿入される。

【0156】

マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

【0157】

「テレビ受信機の構成」
図２３は、ハイフレームレート（１２０Ｈｚ）の動画像データを処理可能なデコード能力があるテレビ受信機２００Ａの構成例を示している。このテレビ受信機２００Ａは、制御部２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＭＣＦＩ（Motion Compensated Frame Insertion）部２０６と、パネル表示部２０７を有している。また、デマルチプレクサ２０３は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、制御部２０１に送る。この場合、混合割合の情報および画像データのレンジ情報を持つＨＦＲデスクリプタ（図２１参照）も抽出される。

【0158】

制御部２０１は、テレビ受信機２００Ａの各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅを取り出し、デコーダ２０４に供給する。

【0159】

デコーダ２０４は、基本ストリームＳＴｂに復号化処理を施してノーマルフレームレートの各フレームの画像データＰ’（Ｎ）を得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）を得る。

【0160】

また、デコーダ２０４は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１に送る。この場合、混合割合の情報および画像データのレンジ情報を持つブレンド・アンド・レンジ・インフォメーション・ＳＥＩ（図１９参照）も抽出される。

【0161】

制御部２０１は、混合割合の情報および画像データのレンジ情報に基づいて、混合分離処理（逆混合処理）をする際に、画素単位でどのタイプの混合分離処理（逆混合処理）を適用すべきかを適切に判定でき、また、各タイプの混合分離処理（逆混合処理）におけるフィルタ係数を適切に設定でき、後述するポストプロセッサ２０５の制御を良好に行うことが可能となる。

【0162】

ポストプロセッサ２０５は、制御部２０１の制御のもと、デコーダ２０４で得られた画像データＰ'（Ｎ），Ｐ（Ｎ＋１）に基づいて混合分離処理（逆混合処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。

【0163】

図２４は、ポストプロセッサ１０２の構成例を示している。この例は、混合割合の決定方法として新規方法１を採用した場合における構成例である。このポストプロセッサ２０５は、係数器２２０，２２１，２２３，２２４と、加算部２２２，２２５と、スイッチ部２２６，２２７を有している。

【0164】

ピクチャ「Ｎ」の画像データＰ’（Ｎ）は、係数器２２０と係数器２２３に入力される。また、ピクチャ「Ｎ＋１」の画像データＰ（Ｎ＋１）は、係数器２２１と係数器２２４に入力される。

【0165】

係数器２２０には制御部２０１から（ｋ/ａ）の係数が設定されており、画像データＰ’（Ｎ）にこの係数が掛け算される。また、係数器２２１には制御部２０１から（-ｂ/ａ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器２２０，２２１の出力値は加算部２２２で加算される。ここで、係数器２２０，２２１および加算部２２２は、「 Type0 混合分離処理 」の混合分離処理（逆混合処理）を行うためのフィルタを構成しており、加算部２２２からは「 Type0 混合分離処理 」の混合分離処理で得られた画像データＰ”（Ｎ）が得られる。

【0166】

係数器２２３には制御部２０１から（ｍ/ｃ）の係数が設定されており、画像データＰ’（Ｎ）にこの係数が掛け算される。また、係数器２２４には制御部２０１から（-ｄ/ｃ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器２２３，２２４の出力値は加算部２２５で加算される。ここで、係数器２２３，２２４および加算部２２５は、「 Type1 混合分離処理 」の混合分離処理（逆混合処理）を行うためのフィルタを構成しており、加算部２５からは「 Type1 混合分離処理 」の混合分離処理で得られた画像データＰ”（Ｎ）が得られる。

【0167】

スイッチ部２２６には、加算部２２２，２２５で得られた画像データＰ”（Ｎ）が入力される。スイッチ部２２６は、制御部２０１からのセレクト信号に基づき、画素単位で、加算部２２２で得られた「 Type0 混合分離処理 」の画像データＰ”（Ｎ）または加算部２２５で得られた「 Type1 混合分離処理 」の画像データＰ”（Ｎ）を、選択的に出力する。

【0168】

制御部２０１は、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）と、画像データのレンジ情報としての“Range_limit_High_value”、“Range_limit_low_value”のレベル値に基づいて、画素単位でセレクト信号を発生してスイッチ部２２６に送る。

【0169】

図２５のフローチャートは、制御部２０１において画素単位で行われるセレクト信号の発生処理の手順の一例を示している。まず、ステップＳＴ２１において、制御部２０１は、処理を開始する。その後、制御部２０１は、ステップＳＴ２２において、Ｐ’（Ｎ），Ｐ（Ｎ＋１）の画素を読み込む。次に、制御部２０１は、ステップＳＴ２３において、Ｐ’（Ｎ）は特殊混合処理対象範囲「P’(N) > range_high, P’(N) < range_low」にあるか否かを判定する。

【0170】

制御部２０１は、特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、ステップＳＴ２４において、「 Type0 混合分離処理 」の画像データＰ”（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ２５において、処理を終了する。一方、制御部２０１は、特殊混合処理対象範囲にあると判定するとき、ステップＳＴ２６の処理に移る。

【0171】

ステップＳＴ２６において、制御部２０１は、Ｐ（Ｎ＋１）は特殊混合処理対象範囲「P(N+1) > range_high, P(N+1) < range_low」にあるか否かを判定する。特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、制御部２０１は、ステップＳＴ２７において、「 Type1 混合分離処理 」の画像データＰ”（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ２５において、処理を終了する。

【0172】

一方、制御部２０１は、特殊混合処理対象範囲にあると判定するとき、ステップＳＴ２４において、「 Type0 混合分離処理 」の画像データＰ”（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ２５において、処理を終了する。

【0173】

図２４に戻って、スイッチ部２２６で得られた画像データＰ”（Ｎ）と、画像データＰ（Ｎ＋１）は、スイッチ部２２７に入力される。このスイッチ部２２７には、１２０Ｈｚのフレーム同期信号が供給される。スイッチ部２２７は、このフレーム同期信号に同期して、混合解除された画像データＰ”（Ｎ）と画像データＰ（Ｎ＋１）を交互に取り出し、ハイフレームレート（１２０Ｈｚ）の動画像データＲを出力する。

【0174】

図２６は、ポストプロセッサ２０５の他の構成例を示している。この例は、混合割合の決定方法として新規方法２を採用した場合における構成例である。この例は、混合割合の決定方法として新規方法２を採用した場合における構成例である。この図２６において、図２４と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。このポストプロセッサ２０５は、係数器２２０，２２１，２２３，２２４，２３０，２３１と、加算部２２２，２２５，２３２と、スイッチ部２３３，２２７を有している。

【0175】

ピクチャ「Ｎ」の画像データＰ’（Ｎ）は、係数器２２０と係数器２２３と係数器２３０に入力される。また、ピクチャ「Ｎ＋１」の画像データＰ（Ｎ＋１）は、係数器２２１と係数器２２４と係数器２３１に入力される。

【0176】

係数器２２０には制御部２０１から（ｋ/ａ）の係数が設定されており、画像データＰ’（Ｎ）にこの係数が掛け算される。また、係数器２２１には制御部２０１から（-ｂ/ａ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器２２０，２２１の出力値は加算部２２２で加算される。ここで、係数器２２０，２２１および加算部２２２は、「 Type0 混合分離処理 」の混合分離処理（逆混合処理）を行うためのフィルタを構成しており、加算部２２２からは「 Type0 混合分離処理 」の混合分離処理で得られた画像データＰ”（Ｎ）が得られる。

【0177】

係数器２２３には制御部２０１から（ｍ/ｃ）の係数が設定されており、画像データＰ’（Ｎ）にこの係数が掛け算される。また、係数器２２４には制御部２０１から（-ｄ/ｃ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器２２３，２２４の出力値は加算部２２５で加算される。ここで、係数器２２３，２２４および加算部２２５は、「 Type1 混合分離処理 」の混合分離処理（逆混合処理）を行うためのフィルタを構成しており、加算部２２５からは「 Type1 混合分離処理 」の混合分離処理で得られた画像データＰ”（Ｎ）が得られる。

【0178】

係数器２３０には制御部２０１から（ｅ/ｓ）の係数が設定されており、画像データＰ’（Ｎ）にこの係数が掛け算される。また、係数器２３１には制御部２０１から（-ｆ/ｅ）の係数が設定されており、画像データＰ（Ｎ＋１）にこの係数が掛け算される。係数器２３１，２３２の出力値は加算部２３２で加算される。ここで、係数器２３１，２３２および加算部２３２は、「 Type2 混合分離処理 」の混合分離処理（逆混合処理）を行うためのフィルタを構成しており、加算部２３２からは「 Type1 混合分離処理 」の混合分離処理で得られた画像データＰ”（Ｎ）が得られる。

【0179】

スイッチ部２３３には、加算部２２２，２２５，２３２で得られた画像データＰ”（Ｎ）が入力される。スイッチ部２３３は、制御部２０１からのセレクト信号に基づき、画素単位で、加算部２２２で得られた「 Type0 混合分離処理 」の画像データＰ”（Ｎ）、加算部２２５で得られた「 Type1 混合分離処理 」の画像データＰ”（Ｎ）または加算部２３２で得られた「 Type2 混合分離処理 」の画像データＰ”（Ｎ）を、選択的に出力する。

【0180】

制御部２０１は、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）と、画像データのレンジ情報としての“Range_limit_High_value”、“Range_limit_low_value”のレベル値に基づいて、画素単位でセレクト信号を発生してスイッチ部２３３に送る。

【0181】

図２７のフローチャートは、制御部２０１において画素単位で行われるセレクト信号の発生処理の手順の一例を示している。まず、ステップＳＴ３１において、制御部２０１は、処理を開始する。その後、制御部２０１は、ステップＳＴ３２において、Ｐ’（Ｎ），Ｐ（Ｎ＋１）の画素を読み込む。次に、制御部２０１は、ステップＳＴ３３において、Ｐ’（Ｎ）は特殊混合処理対象範囲「P’(N) > range_high, P’(N) < range_low」にあるか否かを判定する。

【0182】

制御部２０１は、特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、ステップＳＴ３４において、「 Type0 混合分離処理 」の画像データＰ”（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ３５において、処理を終了する。

【0183】

また、ステップＳＴ３３で特殊混合処理対象範囲にあると判定するとき、制御部２０１は、ステップＳＴ３６において、Ｐ（Ｎ＋１）は特殊混合処理対象範囲「P(N+1) > range_high, P(N+1) < range_low」にあるか否かを判定する。特殊混合処理対象範囲ではなく通常混合処理対象範囲にあると判定するとき、制御部２０１は、ステップＳＴ３７において、「 Type1 混合分離処理 」の画像データＰ”（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ３５において、処理を終了する。

【0184】

また、ステップＳＴ３６で特殊混合処理対象範囲にあると判定するとき、制御部２０１は、ステップＳＴ３８において、「 Type2 混合分離処理 」の画像データＰ”（Ｎ）を選択するセレクト信号を発生し、その後に、ステップＳＴ３５において、処理を終了する。

【0185】

図２６に戻って、スイッチ部２３３で得られた画像データＰ”（Ｎ）と、画像データＰ（Ｎ＋１）は、スイッチ部２２７に入力される。このスイッチ部２２７には、１２０Ｈｚのフレーム同期信号が供給される。スイッチ部２２７は、このフレーム同期信号に同期して、混合解除された画像データＰ”（Ｎ）と画像データＰ（Ｎ＋１）を交互に取り出し、ハイフレームレート（１２０Ｈｚ）の動画像データＲを出力する。

【0186】

図２３に戻って、ＭＣＦＩ部２０６は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示をする。

【0187】

図２３に示すテレビ受信機２００Ａの動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出され、デコーダ２０４に供給される。

【0188】

デコーダ２０４では、基本ストリームＳＴｂに復号化処理が施されてノーマルフレームレートの各フレームの画像データＰ’（Ｎ）が得られると共に、拡張ストリームＳＴｅに復号化処理が施されてハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）が得られる。これらの画像データＰ’（Ｎ），Ｐ（Ｎ＋１）は、ポストプロセッサ２０５に供給される。

【0189】

また、デコーダ２０４では、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩが抽出され、制御部２０１に送られる。この場合、混合割合の情報および画像データのレンジ情報を持つブレンド・アンド・レンジ・インフォメーション・ＳＥＩ（図１９参照）も抽出される。

【0190】

制御部２０１では、混合割合の情報および画像データのレンジ情報に基づいて、混合分離処理（逆混合処理）をする際に、画素単位でどのタイプの混合分離処理（逆混合処理）を適用すべきかを適切に判定でき、また、各タイプの混合分離処理（逆混合処理）におけるフィルタ係数を適切に設定することが可能となる。

【0191】

ポストプロセッサ２０５では、制御部２０１の制御のもと、デコーダ２０４で得られた画像データＰ'（Ｎ），Ｐ（Ｎ＋１）に基づいて、混合分離処理（逆混合処理）が施されて、混合解除されたハイフレームレートの動画像データＲが得られる。

【0192】

例えば、混合割合の決定方法として新規方法１が採用されている場合には、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）のデータレベルに応じて、通常混合分離処理である「 Type0 混合分離処理 」、あるいは特殊混合分離処理である「 Type1 混合分離処理 」が用いられる。また、混合割合の決定方法として新規方法２が採用されている場合には、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）のデータレベルに応じて、通常混合分離処理である「 Type0 混合分離処理 」、特殊混合処理である「 Type1 混合分離処理 」、あるいは特殊混合分離処理である「 Type2 混合分離処理 」が用いられる。

【0193】

ホストプロセッサ２０５で得られたハイフレームレートの動画像データＲ、あるいはさらにＭＣＦＩ部２０６でフレームレートが高められた動画像データはパネル表示部２０７に供給され、パネル表示部２０７には当該動画像データによる画像表示がされる。

【0194】

図２８は、ノーマルフレームレート（６０Ｈｚ）の動画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの構成例を示している。このテレビ受信機２００Ｂは、制御部２０１Ｂと、受信部２０２Ｂと、デマルチプレクサ２０３Ｂと、デコーダ２０４Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。

【0195】

制御部２０１Ｂは、テレビ受信機２００Ｂの各部の動作を制御する。受信部２０２Ｂは、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３Ｂは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂを取り出し、デコーダ２０４Ｂに供給する。デコーダ２０４Ｂは、基本ストリームＳＴｂに復号化処理を施して、ノーマルフレームレートの各フレームの画像データＰ’（Ｎ）を得る。

【0196】

ＭＣＦＩ部２０６Ｂは、この画像データＰ’（Ｎ）に、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、デコーダ２０４Ｂで得られたノーマルフレームレートの動画像データ（画像データＰ’（Ｎ））またはＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データによる画像表示をする。

【0197】

図２８に示すテレビ受信機２００Ｂの動作を簡単に説明する。受信部２０２Ｂでは、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３Ｂに送られる。デマルチプレクサ２０３Ｂでは、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂが取り出され、デコーダ２０４Ｂに供給される。

【0198】

デコーダ２０４Ｂでは、基本ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＰ’（Ｎ）が得られる。デコーダ２０４Ｂで得られたノーマルフレームレートの動画像データ、あるいはさらにＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データはパネル表示部２０７Ｂに供給され、パネル表示部２０７Ｂには当該動画像データによる画像表示がされる。

【0199】

以上説明したように、図１に示す送受信システム１０においては、ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合されてシャッタ開口率が高められた状態とされており、このノーマルフレームレートに対応したフレームの画像データが符号化されて得られた基本ストリームＳＴｂが送信される。

【0200】

そのため、ノーマルフレームレートの動画像データを処理可能なデコード能力があるテレビ受信機２００Ｂの場合、基本ストリームＳＴｂを処理してノーマルフレームレートの動画像データを得ることで、動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。

【0201】

また、図１に示す送受信システム１０においては、各フレームの画像データは、データレベルに応じた混合割合で周辺フレームの画像データと混合される。そのため、混合処理によって、ＨＤＲ（High Dynamic Range）感などの画像本来の質感が失われることが回避される。

【0202】

また、図１に示す送受信システム１０においては、基本ストリームＳＴｂと共に、残りのフレームの画像データが符号化されて得られた拡張ストリームＳＴｅが得られ、これらの基本ストリームＳＴｂおよび拡張ストリームＳＴｅにそれぞれのフレームの画像データに関連付けられて対応するフレームの混合割合の情報（係数セット）および画像データのレンジ情報が挿入されて送信される。そのため、受信側では、これらの情報に基づいて、基本ストリームおよび拡張ストリームを復号化して得られた動画像データに混合分離処理（逆混合処理）を施して混合解除された動画像データを得ることを容易かつ適切に行うことが可能となる。

【0203】

なお、図１に示す送受信システム１０においては、基本ストリームＳＴｂや拡張ストリームＳＴｅに各フレームの混合割合の情報および画像データのレンジ情報を挿入して、受信側に送る例を示しした。しかし、これに限定されることなく、その他の手段により、各フレームの混合割合の情報および画像データのレンジ情報を受信側に与える構成であってもよい。

【0204】

＜２．第２の実施の形態＞
［送受信システム］
上述の実施の形態においては、送信装置１００とテレビ受信機２００からなる送受信システム１０の例を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。テレビ受信機２００の部分が、例えばＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェース（マルチメディアインタフェース）で接続されたセットトップボックスおよびディスプレイとされる場合も考えられる。なお、「ＨＤＭＩ」は登録商標である。

【0205】

図２９は、送受信システム１０Ａの構成例を示している。この送受信システム１０Ａは、送信装置１００と、セットトップボックス（ＳＴＢ）２００-1と、ディスプレイ２００-2を有する構成となっている。セットトップボックス（ＳＴＢ）２００-1とディスプレイ２００-2はＨＤＭＩで接続されている。

【0206】

送信装置１００は、図１に示す送受信システム１０における送信装置１００と同じものであるので、その説明は省略する。セットトップボックス２００-1は、送信装置１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。

【0207】

セットトップボックス２００-1は、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚ）の動画像データの取り扱いが可能である場合、トランスポートストリームＴＳに含まれる基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方を処理して、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）を得る。

【0208】

セットトップボックス２００-1は、ディスプレイ２００-2が混合分離処理（逆混合処理）の機能を持つ場合には、フレーム毎に、混合処理されている画像データＰ’（Ｎ），Ｐ（Ｎ＋１）と、混合割合の情報（係数セット）および画像データのレンジ情報を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。

【0209】

また、セットトップボックス２００-1は、ディスプレイ２００-2が混合分離処理（逆混合処理）の機能を持たない場合には、混合処理されている画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に対して混合割合の情報（係数セット）に基づいて混合分離処理（逆混合処理）を行って、混合解除されたハイフレームレートの動画像データＲを得る。そして、セットトップボックス２００-1は、このハイフレームレートの動画像データＲを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。

【0210】

一方、セットトップボックス２００-1は、ディスプレイ２００-2がノーマルフレームレート（６０Ｈｚ）の動画像データの取り扱いが可能である場合、トランスポートストリームＴＳに含まれる基本ストリームＳＴｂのみを処理して、ノーマルフレームレートの各フレームの画像データＰ’（Ｎ）を得る。そして、セットトップボックス２００-1は、この画像データＰ’（Ｎ）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。

【0211】

ソース機器であるセットトップボックス２００-1は、シンク機器であるディスプレイ２００-2からＥＤＩＤを取得し、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚ）の動画像データの取り扱いが可能か否かの判断、さらにはディスプレイ２００-2が混合分離処理（逆混合処理）の機能を持つか否かを判断する。

【0212】

図３０のフローチャートは、セットトップボックス２００-1の制御部（ＣＰＵ）における制御処理手順の一例を示している。まず、制御部は、ステップＳＴ４１において、制御処理を開始する。次に、制御部は、ステップＳＴ４２において、ディスプレイ２００-2からＥＤＩＤを読み出してチェックする。そして、制御部は、ステップＳＴ４３において、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚ）の動画像データの取り扱いが可能か否かを判断する。

【0213】

取扱いが可能でないとき、制御部は、ステップＳＴ４４において、基本ストリームＳＴｂのみをデコードし、ノーマルフレームレート（６０Ｈｚ）の各フレームの画像データＰ（Ｎ）をディスプレイ２００-2に送信する。制御部は、このステップＳＴ４４の処理の後、ステップＳＴ４５において、制御処理を終了する。

【0214】

また、ステップＳＴ４３でディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であるとき、制御部は、ステップＳＴ４６において、基本ストリームＳＴｂおよび拡張ストリームＳＴｅをデコードする。

【0215】

次に、制御部は、ステップＳＴ４７において、ディスプレイ２００-2が混合分離処理（逆混合処理）の機能を持つか否かを判断する。混合分離処理の機能を持たないとき、制御部は、ステップＳＴ４８において、セットトップボックス２００-1側で混合分離処理をすることに決定し、混合解除されたハイフレームレートの動画像データＲをディスプレイ２００-2に送信する。制御部は、このステップＳＴ４８の処理の後、ステップＳＴ５において、制御処理を終了する。

【0216】

また、ステップＳＴ４７でディスプレイ２００-2が混合分離処理の機能を持つとき、制御部は、ステップＳＴ４９において、ディスプレイ２００-2側で混合分離処理をすることに決定し、混合処理されている画像データＰ’（Ｎ），Ｐ（Ｎ＋１）と、混合割合の情報（係数セット）および画像データのレンジ情報を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送る。制御部は、このステップＳＴ４９の処理の後、ステップＳＴ４５において、制御処理を終了する。

【0217】

図３１は、送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2の処理の概要を示している。なお、送信装置１００のプリプロセッサ１０２の出力の画像シーケンスＰ’（Ｎ）、Ｐ（Ｎ＋１）とセットトップボックス２００-1のデコーダ２０４の出力の画像シーケンスＰ’（Ｎ）、Ｐ（Ｎ＋１）とは、時系列的には同じものであるが、コーデックを通しているので両者の画質が異なる場合も含む。

【0218】

送信装置１００については、図４で説明したと同様であるので、ここではその説明を省略する。セットトップボックス２００-1では、ハイフレームレート（１２０Ｈｚ）の動画像データの取り扱いが可能なディスプレイ２００-2Aが接続されている場合、デコーダ２０４において、２つのストリームＳＴｂ，ＳＴｅに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＰ’（Ｎ）と、ハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）が得られる。

【0219】

また、セットトップボックス２００-1では、ディスプレイ２００-2Aが混合分離処理（逆混合処理）の機能を持つ場合、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）と、各フレームの混合割合の情報（係数セット）および画像データのレンジ情報が、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Aに送信される。図示の例は、ディスプレイ２００-2Aがポストプロセッサ２０５を備えており、ディスプレイ２００-2Aが混合分離処理（逆混合処理）の機能を持つ場合を示している。また、図３２（ａ）は、この場合の状態を示している。

【0220】

また、セットトップボックス２００-1では、ディスプレイ２００-2Aが混合分離処理（逆混合処理）の機能を持たない場合、自身が持つポストプロセッサ２０５により、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に混合分離処理（逆混合処理）が施され、混合解除されたハイフレームレートの動画像データＲが得られる。そして、セットトップボックス２００-1では、この動画像データＲが、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Aに送信される。図３２（ｂ）は、この場合の状態を示している。

【0221】

また、セットトップボックス２００-1では、ノーマルフレームレート（６０Ｈｚ）の動画像データの取り扱いが可能なディスプレイ２００-2Bが接続されている場合、デコーダ２０４において、ストリームＳＴｂに復号化処理が施されて、ノーマルフレームレートの各フレームの画像データＰ'（Ｎ）が得られる。そして、セットトップボックス２００-1では、この画像データＰ'（Ｎ）が、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2Bに送信される。

【0222】

セットトップボックス２００-1は、上述したように、ハイフレームレート（１２０Ｈｚ）の動画像データの取り扱いが可能であって混合分離処理（逆混合処理）の機能を持つディスプレイ２００-2Aに、混合処理がされている動画像データＰ’（Ｎ），Ｐ（Ｎ＋１）と、各フレームの混合割合の情報（係数セット）および画像データのレンジ情報を、ＨＤＭＩ伝送路を介して、送信する。

【0223】

この場合、混合割合の情報（係数セット）およびレンジ情報は、例えば、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）のブランキング期間に挿入されて送信される。ここでは、新規定義するＨＦＲ・ブレンディング・インフォフレーム（HFR Blending InfoFrame）を使用する。

【0224】

図３３は、ＨＦＲ・ブレンディング・インフォフレームの構造例（Syntax）を示し、図３４は、その構造例における主要な情報の内容（Semantics）を示している。このインフォフレームの最初の３バイトはヘッダ部分であり、インフォフレームタイプ、バージョンナンバー、データバイトのバイト長の情報が配置されている。

【0225】

データバイト１（Data Byte 1）の第７ビットから第５ビットに「frame_rate」の３ビット情報が配置されている。この３ビット情報は、フレームレートを示す。例えば、“３”は１２０Ｈｚを示す。また、データバイト１（Data Byte 1）の第４ビットに、「blending_flag」の１ビット情報が配置されている。この情報は、周辺画像データとの混合処理の適用があるか否かを示す。例えば、“０”は適用なしを示し、“１”は適用ありを示す。

【0226】

また、データバイト１（Data Byte 1）の第０ビットに「Synchronized Frame (SF)」の１ビット情報が配置されている。この情報は、次のビデオフレームとの同期処理が必須であるか否かを示す。例えば、“０”は次のビデオフレームとの同期処理が必須でないことを示し、“１”は次のビデオフレームとの同期処理が必須であることを示す。

【0227】

また、データバイト２（Data Byte 2）に「bit_depth_information」の８ビット情報が配置されている。この情報は、符号化画素ビット幅を示す。例えば、“０”は８ビット、“１”は１０ビット、“２”は１２ビット、“３”は１６ビットを示す。

【0228】

また、データバイト３（Data Byte 3）およびデータバイト４（Data Byte 4）に「range_limit_high_value」の１６ビット情報が配置されている。この情報は、通常混合処理対象範囲の上限のレベル値を示す。また、データバイト５（Data Byte 5）およびデータバイト６（Data Byte 6）に「range_limit_low_value」の１６ビット情報が配置されている。この情報は、通常混合処理対象範囲の下限のレベル値を示す。

【0229】

また、データバイト７（Data Byte ７）に「Blending_mode」の８ビット情報が配置されている。この情報は、混合処理のモードを示す。例えば、“０ｘ０”はモード０（mode0）、つまり従来の通常混合処理のみを行うモードを示す。また、例えば、“０ｘ１”はモード１（mode1）、つまり、ピクチャ「Ｎ」の画素判断による特殊混合処理を含む混合処理を行うモードを示す。また、例えば、“０ｘ２”はモード２（mode2）、つまり、ピクチャ「Ｎ」、「Ｎ＋１」の画素判断による特殊混合処理を含む混合処理を行うモードを示す。

【0230】

また、データバイト８（Data Byte 8）に「type_blending_coefficient_a」の８ビット情報が配置されている。この情報は、「Type0 混合処理」である通常混合処理における係数ａ(ベースレイヤ画素に対する係数）を示す。また、データバイト９（Data Byte 9）に「type_blending_coefficient_b」の８ビット情報が配置されている。この情報は、「Type0 混合処理」である通常混合処理における係数ｂ(エンハンスト画素に対する係数）を示す。

【0231】

また、データバイト１０（Data Byte 10）に「type_blending_coefficient_c」の８ビット情報が配置されている。この情報は、「Type1 混合処理」である通常混合処理における係数ｃ(ベースレイヤ画素に対する係数）を示す。また、データバイト１１（Data Byte 11）に「type_blending_coefficient_d」の８ビット情報が配置されている。この情報は、「Type1 混合処理」である通常混合処理における係数ｄ(エンハンスト画素に対する係数）を示す。

【0232】

また、データバイト１２（Data Byte 12）に「type_blending_coefficient_e」の８ビット情報が配置されている。この情報は、「Type2 混合処理」である通常混合処理における係数ｅ(ベースレイヤ画素に対する係数）を示す。また、データバイト１３（Data Byte 13）に「type_blending_coefficient_f」の８ビット情報が配置されている。この情報は、「Type2 混合処理」である通常混合処理における係数ｆ(エンハンスト画素に対する係数）を示す。

【0233】

図３５は、セットトップボックス２００-1の構成例を示している。この図３５において、図２３と対応する部分には同一符号を付して示している。このセットトップボックス２００-1は、制御部２０１-1と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０５と、ＨＤＭＩ送信部２０８を有している。

【0234】

制御部２０１-1は、セットトップボックス２００-1の各部の動作を制御する。受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得し、デマルチプレクサ２０３に送る。

【0235】

デマルチプレクサ２０３は、ディスプレイ２００-2がハイフレームレート（１２０Ｈｚ）の動画像データの取り扱いが可能であるか否かにより、ＰＩＤのフィルタリングによって、基本ストリームＳＴｂおよび拡張ストリームＳＴｅの双方を取り出すか、基本ストリームＳＴｂを取り出す。

【0236】

デコーダ２０４は、デマルチプレクサ２０３で基本ストリームＳＴｂおよび拡張ストリームＳＴｅが取り出されるとき、基本ストリームＳＴｂに復号化処理を施してノーマルフレームレートの各フレームの画像データＰ'（Ｎ）を得ると共に、拡張ストリームＳＴｅに復号化処理を施してハイフレームレートの各拡張フレームの画像データＰ（Ｎ＋１）を得る。

【0237】

また、このとき、デコーダ２０４は、基本ストリームＳＴｂ、拡張ストリームＳＴｅを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩを抽出し、制御部２０１-1に送る。この場合、各フレームの混合割合（係数セット）の情報および画像データのレンジ情報を持つブレンド・アンド・レンジ・インフォメーション・ＳＥＩ（図１９参照）も抽出される。

【0238】

これにより、制御部２０１-1は、各フレームの混合割合（係数セット）の情報および画像データのレンジ情報を認識し、ポストプロセッサ２０５で混合分離処理（逆混合処理）をする際には、画素単位でどのタイプの混合分離処理を適用すべきかを適切に判定でき、また、各タイプの混合分離処理におけるフィルタ係数を適切に設定することが可能となる。また、制御部２０１-1は、ディスプレイ２００-2にＨＦＲ・ブレンディング・インフォフレームを送信するとき、それに配置する各種情報を、ブレンド・アンド・レンジ・インフォメーション・ＳＥＩから得ることが可能となる。

【0239】

また、デコーダ２０４は、デマルチプレクサ２０３で基本ストリームＳＴｂのみが取り出されるとき、この基本ストリームＳＴｂに復号化処理を施して、ノーマルフレームレートの各フレームの画像データＰ’（Ｎ）を得る。

【0240】

ポストプロセッサ２０５は、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、混合分離処理の機能を持っていない場合に、デコーダ２０４で得られた画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に、混合分離処理を施して、混合解除されたハイフレームレートの動画像データＲを得る。

【0241】

ＨＤＭＩ送信部２０８は、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に非圧縮の動画像データを送信する。ここで、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、混合分離処理の機能を持っていない場合には、ポストプロセッサ２０５で得られた混合解除されたハイフレームレートの動画像データＲを、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。

【0242】

また、ディスプレイ２００-2がハイフレームレートの動画像データの取り扱いが可能であって、混合分離処理の機能を持っている場合には、デコーダ２０４で得られた画像データＰ’（Ｎ），Ｐ（Ｎ＋１）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。この場合、ディスプレイ２００-2側で混合分離処理をすることになるので、混合割合の情報を含むＨＦＲ・ブレンディング・インフォフレーム（図３３参照）を、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）を構成する各フレームの画像データのブランキング期間に挿入して送信する。

【0243】

また、ディスプレイ２００-2がノーマルフレームレートの動画像データの取り扱いが可能である場合には、デコーダ２０４で得られたノーマルフレームレートの各フレームの画像データＰ’（Ｎ）を、ＨＤＭＩ伝送路を介して、ディスプレイ２００-2に送信する。

【0244】

図３６は、ハイフレームレートの動画像データを取り扱うディスプレイ２００-2Aの構成例を示している。この図３６において、図２３と対応する部分には同一符号を付して示している。このディスプレイ２００-2Aは、制御部２０１-2Aと、ＨＤＭＩ受信部２１９と、ポストプロセッサ２０５と、ＭＣＦＩ部２０６と、パネル表示部２０７を有している。なお、ポストプロセッサ２０５を有しない場合もある

【0245】

制御部２０１-2Aは、ディスプレイ２００-2Aの各部の動作を制御する。ＨＤＭＩ受信部２１９は、ＨＤＭＩに準拠した通信により、セットトップボックス２００-1から、ＨＤＭＩ伝送路を介して、非圧縮のハイフレームレートの動画像データを受信する。ここで、ポストプロセッサ２０５が存在しない場合には、混合解除されたハイフレームレートの動画像データＲを受信する。

【0246】

一方、ポストプロセッサ２０５が存在する場合には、混合処理がされている画像データＰ’（Ｎ），Ｐ（Ｎ＋１）を受信する。この場合、画像データＰ’（Ｎ），Ｐ（Ｎ＋１）のブランキング期間に挿入されているＨＦＲ・ブレンディング・インフォフレーム（図３３参照）が抽出され、制御部２０１-2Aに送られる。これにより、制御部２０１-2Aは、各フレームの混合割合（係数セット）の情報および画像データのレンジ情報を認識し、ポストプロセッサ２０５で混合分離処理（逆混合処理）をする際には、画素単位でどのタイプの混合分離処理を適用すべきかを適切に判定でき、また、各タイプの混合分離処理におけるフィルタ係数を適切に設定することが可能となる。

【0247】

ポストプロセッサ２０５は、制御部２０１-2Aの制御のもと、ＨＤＭＩ受信部２１９で受信された画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に、混合分離処理（逆混合処理）を施して、混合解除されたハイフレームレートの動画像データＲを得る。

【0248】

ＭＣＦＩ部２０６は、ＨＤＭＩ受信部２０９で受信された、あるいはポストプロセッサ２０５で得られたハイフレームレートの動画像データＲに、動き補償のフレーム補間処理を施して、フレームレートをさらに高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７は、ポストプロセッサ２０５で得られたハイフレームレートの動画像データＲまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示をする。

【0249】

図３７は、ノーマルフレームレートの動画像データを取り扱うディスプレイ２００-2Bの構成例を示している。この図３７において、図２３と対応する部分には同一符号を付して示している。このディスプレイ２００-2Bは、制御部２０１-2Bと、ＨＤＭＩ受信部２１９Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。

【0250】

制御部２０１-2Bは、ディスプレイ２００-2Bの各部の動作を制御する。ＨＤＭＩ受信部２１９Ｂは、ＨＤＭＩに準拠した通信により、セットトップボックス２００-1から、ＨＤＭＩ伝送路を介して、非圧縮のノーマルフレームレートの動画像データＰ’（Ｎ）を受信する。

【0251】

ＭＣＦＩ部２０６Ｂは、ＨＤＭＩ受信部２１９Ｂで受信されたノーマルフレームレートの動画像データＰ’（Ｎ）に、動き補償のフレーム補間処理を施して、フレームレートを高めた動画像データを得る。なお、このＭＣＦＩ部２０６Ｂを有していない場合もある。パネル表示部２０７Ｂは、ＨＤＭＩ受信部２１９Ｂで受信されたノーマルフレームレートの動画像データまたはＭＣＦＩ部２０６Ｂでフレームレートが高められた動画像データによる画像表示をする。

【0252】

以上説明したように、図２９に示す送受信システム１０Ａにおいては、ディスプレイ２００-2に混合処理されている画像データＰ’（Ｎ），Ｐ（Ｎ＋１）を送信する場合、各フレームの混合割合の情報を含むＨＦＲ・ブレンディング・インフォフレーム（図３３参照）を同時に送信する。そのため、ディスプレイ２００-2では、各フレームの混合割合の情報および画像データのレンジ情報に基づいて画像データＰ’（Ｎ），Ｐ（Ｎ＋１）に混合分離処理を施して、混合解除された動画像データを容易に得ることができ、良好な動画像表示を行うことができる。

【0253】

＜３．第３の実施の形態＞
［送受信システム］
上述の実施の形態においては、送信装置１００にハイフレームの動画像データＰに混合処理を施し、混合処理後の画像データＰ’（Ｎ），Ｐ（Ｎ＋１）を送信するものである。しかし、送信側からはハイフレームの動画像データＰをそのまま送信し、受信側においてノーマルフレームレートの動画像データを取り扱う場合には、受信側で混合処理を行ってフレームレートを変換することも考えられる。

【0254】

図３８は、送受信システム１０´の構成例を示している。この送受信システム１０´は、送信装置１００´と、セットトップボックス（ＳＴＢ）２００´-1と、ディスプレイ２００´-2を有する構成となっている。セットトップボックス（ＳＴＢ）２００´-1とディスプレイ２００´-2はＨＤＭＩで接続されている。

【0255】

送信装置１００´は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、１２０Ｈｚ、２４０Ｈｚ等のハイフレームレート、この実施の形態においては１２０Ｈｚの動画像データが符号化されて得られたビデオストリームが含まれる。

【0256】

セットトップボックス２００´-1は、送信装置１００´から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。セットトップボックス２００´-1は、ディスプレイ２００´-2がハイフレームレート（１２０Ｈｚ）の動画像データを取り扱う場合、トランスポートストリームＴＳに含まれるビデオストリームを復号化してハイフレームレートの動画像データを得て、ディスプレイ２００´-2に送る。

【0257】

一方、セットトップボックス２００´-1は、ディスプレイ２００´-2がノーマルフレームレート（６０Ｈｚ）の動画像データを取り扱う場合、トランスポートストリームＴＳに含まれるビデオストリームを復号化してハイフレームレート（１２０Ｈｚ）の動画像データを得た後に、レート変換を行ってノーマルフレームレートの動画像データを得て、ディスプレイ２００´-2に送る。この場合、ノーマルフレームレートの画像データを得る際に、周辺フレームの画像データを混合する処理を施し、ストロービング効果の抑制等を図る。

【0258】

図３９は、送信装置１００´、セットトップボックス２００´-1およびディスプレイ２００´-2（２００´-2A，２００´-2B）の処理の概要を示している。カメラ（撮像装置）８１から出力されるより高いフレームレートの動画像データＶａがＨＦＲプロセッサ８２に送られてハイフレームレート（１２０Ｈｚ）の動画像データＶｂが得られる。この動画像データＶｂが送信装置１００´に動画像データＰとして入力される。送信装置１００´では、エンコーダ１０３において、動画像データＰに符号化処理が施されて、ビデオストリームＳＴが得られる。送信装置１００´からテレビ受信機２００´には、このビデオストリームＳＴが送信される。

【0259】

セットトップボックス２００´-1Aでは、デコーダ２０４において、ビデオストリームＳＴに復号化処理が施されて、ハイフレームレートの動画像データＰが得られる。セットトップボックス２００´-1Aでは、ハイフレームレート（１２０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Aに対しては、この動画像データＰがそのまま、ＨＤＭＩ伝送路を介して送信される。

【0260】

また、セットトップボックス２００´-1Aでは、ポストプロセッサ２０９Ｂにおいて、動画像データＰを構成する各フレームのうち、ノーマルフレームレートに対応する各フレームの画像データに混合処理が施されて、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）が得られる。セットトップボックス２００´-1Aでは、ノーマルフレームレート（６０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Bに対しては、この画像データＰ´（Ｎ）が、ＨＤＭＩ伝送路を介して送信される。

【0261】

ディスプレイ２００´-2Aでは、動画像データＰが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６でフレーム補間がされてフレームレートが高められて表示用動画像データとなる。また、ディスプレイ２００´-2Aでは、画像データＰ´（Ｎ）からなる動画像データが、そのまま、あるいはＭＣＦＩ（Motion Compensated Frame Insertion）部２０６Ｂでフレーム補間がされてフレームレートが高められて表示用動画像データとなる。

【0262】

図４０は、送信装置１００´の構成例を示している。この図４０において、図１１と対応する部分には同一符号を付し手示している。この送信装置１００´は、制御部１０１と、エンコーダ１０３と、マルチプレクサ１０４と、送信部１０５を有している。制御部１０１は、送信装置１００´の各部の動作を制御する。

【0263】

エンコーダ１０３では、ハイフレームレートの動画像データＰに対して符号化処理が施されて、ビデオストリームＳＴが生成される。この場合、動画像データＰに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施される。

【0264】

マルチプレクサ１０４では、エンコーダ１０３で生成されたビデオストリームＳＴが、ＰＥＳ（Packetized Elementary Stream）パケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

【0265】

図４１は、セットトップボックス２００´-1の構成例を示している。この図４１において、図２３、図３５と対応している部分には同一符号を付して示している。このセットトップボックス２００´-1は、制御部２０１´-1と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ポストプロセッサ２０９Ｂと、ＨＤＭＩ送信部２０８を有している。

【0266】

制御部２０１´-1は、セットトップボックス２００´-1の各部の動作を制御する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ビデオストリームＳＴが取り出され、デコーダ２０４に供給される。

【0267】

デコーダ２０４では、ビデオストリームＳＴに復号化処理が施されてハイフレームレートの動画像データＰが得られる。また、ポストプロセッサ２０９Ｂでは、動画像データＰを構成する各フレームのうち、ノーマルフレームレートに対応する各フレームの画像データに混合処理が施されて、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）が得られる。

【0268】

ＨＤＭＩ送信部２０８では、ＨＤＭＩに準拠した通信により、ＨＤＭＩ伝送路を介して、ディスプレイ２００´-2A，２００´-2Bに非圧縮の動画像データが送信される。ここで、ハイフレームレート（１２０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Aに対しては、デコーダ２０４で得られた動画像データＰが、ＨＤＭＩ伝送路を介して送信される。一方、ノーマルフレームレート（６０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Bに対しては、ポストプロセッサ２０９Ｂで得られた画像データＰ´（Ｎ）が、ＨＤＭＩ伝送路を介して送信される。

【0269】

図４２は、ポストプロセッサ２０９Ｂの構成例を示している。このポストプロセッサ２０９Ｂは、詳細説明は省略するが、図１２に示すプリプロセッサ１０２と、画像データＰ（Ｎ＋１）の出力系がないことを除き、同様の構成で同様の動作がなされて、画像データＰ´（Ｎ）が得られる。なお、このポストプロセッサ２０９Ｂでは、図１２のプリプロセッサ１０２とは異なって、画像データＰ´（Ｎ）による特殊混合処理対象範囲にあるか否かの判断を考慮する必要がない場合には、ピクセル処理部１２０はバイパスすることも可能である。

【0270】

また、図４３は、ポストプロセッサ２０９Ｂの他の構成例を示している。このポストプロセッサ２０９Ｂは、詳細説明は省略するが、図１６に示すプリプロセッサ１０２と、画像データＰ（Ｎ＋１）の出力系がないことを除き、同様の構成で同様の動作がなされて、画像データＰ´（Ｎ）が得られる。なお、このポストプロセッサ２０９Ｂでは、図１６のプリプロセッサ１０２とは異なって、画像データＰ´（Ｎ）による特殊混合処理範囲にあるか否かの判断を考慮する必要がない場合には、ピクセル処理部１２０はバイパスすることも可能である。なお、２０９Ｂの出力には、Blend_and_range_information 情報を付けなくてもよい。

【0271】

図４４は、ハイフレームレート（１２０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Aの構成例を示している。このディスプレイ２００´-2Aは、制御部２０１´-2Aと、ＨＤＭＩ受信部２１９と、ＭＣＦＩ部２０６と、パネル表示部２０７を有している。

【0272】

制御部２０１´-2Aでは、ディスプレイ２００´-2Aの各部の動作が制御される。ＨＤＭＩ受信部２１９では、ＨＤＭＩに準拠した通信により、セットトップボックス２００´-1から、ＨＤＭＩ伝送路を介して、非圧縮のハイフレームレートの動画像データＰが受信される。

【0273】

ＭＣＦＩ部２０６では、ＨＤＭＩ受信部２１９で受信された動画像データＰに、動き補償のフレーム補間処理を施して、フレームレートを高めた動画像データを得る。なお、このＭＣＦＩ部２０６を有していない場合もある。パネル表示部２０７では、ＨＤＭＩ受信部２１９で受信されたハイフレームレートの動画像データまたはＭＣＦＩ部２０６でフレームレートが高められた動画像データによる画像表示が行われる。

【0274】

図４５は、ノーマルフレームレート（６０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Bの構成例を示している。このディスプレイ２００´-2Bは、制御部２０１´-2Bと、ＨＤＭＩ受信部２１９Ｂと、ＭＣＦＩ部２０６Ｂと、パネル表示部２０７Ｂを有している。このディスプレイ２００´-2Bについては、上述した図３７に示すディスプレイ２００-2Bと同様の構成であるので、ここでは説明を省略する。

【0275】

以上説明したように、図３８に示す送受信システム１０´においては、ポストプロセッサ２０９Ｂにおいて、ハイフレームレート（１２０Ｈｚ）の動画像データＰを構成する各フレームのうち、ノーマルフレームレートに対応する各フレームの画像データに混合処理が施されて、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）が得られる。そのため、この画像データＰ´（Ｎ）が供給されるノーマルフレームレート（６０Ｈｚ）の動画像データを取り扱うディスプレイ２００´-2Bでは動画像として滑らかな画像を表示でき、また、表示処理において低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。

【0276】

また、ノーマルフレームレートに対応する各フレームの画像データＰ（Ｎ）がデータレベルに応じた混合割合で画像データＰ（Ｎ＋１）と混合されることで、ノーマルフレームレートの各フレームの画像データＰ´（Ｎ）が得られる。そのため、混合処理によって、ＨＤＲ（High Dynamic Range）感などの画像本来の質感が失われることが回避される。

【0277】

＜４．変形例＞
なお、混合処理の一般形として、混合処理を行う対象は、Ｐ（Ｎ），Ｐ（Ｎ＋１）のピクチャにおいて，Ｐ（Ｎ）だけに限定されるものではなく、Ｐ（Ｎ＋１）に対しても行うことができる。

【0278】

その際、Ｐ（Ｎ）を対象とする混合とＰ（Ｎ＋１）を対象とする混合とは、各々独立した混合比率とすることが可能である。ここで、Ｐ（Ｎ）を混合対象とする場合のＰ（Ｎ）への“blending_coef_a”をＡ、Ｐ（Ｎ＋１）への“blending_coef_b”をとし、Ｐ（Ｎ＋１）を混合対象とする場合のＰ（Ｎ）への“blending_coef_ａ”をａ、Ｐ（Ｎ＋１）への“blending_coef_b”をｂとすると、Ｐ'（Ｎ），Ｐ’（Ｎ＋１）は、以下のようになる。
P’(N) = A * P(N) + B * P(N+1)
P’(N+1) = a * P(N) + b * P(N+1)

【0279】

これを一般的な行列で表現すると、プリプロセッサ（Preproc）では、以下のようになる。

【数1】

また、ポストプロセッサ（Postproc）では、以下のようになる。

【数2】

【0280】

“Blending_coef_c”、“Blending_coef_d”、“Blending_coef_e”、“Blending_coef_f” も同様の方法で表現できる。なお、フローチャート上、Ｐ（Ｎ）とＰ（Ｎ＋１）が入れ替わるだけで、それ以外はＰ（Ｎ）が混合対象の場合と同様になる。

【0281】

図４６は、混合処理の一般形における、送信側における混合（blending）と、受信側における混合分離（unblending）の一例を模式的に示している。この例は、図２（ｂ）の例に対応し、ピクチャ「Ｎ」とピクチャ「Ｎ＋１」がフレームペアを構成しており、ピクチャ「Ｎ＋２」とピクチャ「Ｎ＋３」がフレームペアを構成している。なお、図示の例において、オブジェクトＯａ，Ｏｂは動きのないオブジェクトであり、オブジェクトＯｃは動きのあるオブジェクトである。

【0282】

送信側の混合処理により、各フレームペアにおいて、最初のフレームである基本ストリームのフレームの画像データは拡張フレームの画像データと所定の混合割合で混合された状態（混合状態）とされ、同様に、それに続くフレームである拡張ストリームのフレームの画像データは基本フレームの画像データと所定の混合割合で混合された状態（混合状態）とされる。

【0283】

図４７は、混合処理の一般形における、ＳＥＩの配置方法を示している。図４７（ａ）は、第１の方法を示している。この第１の方法は、Ｐ（Ｎ）を混合対象とするグループ(base sublayer )と、Ｐ（Ｎ＋１）を混合対象とするグループ(enhanced sublayer)のＳＥＩを各々のサブレイヤに配置する方法である。

【0284】

図４７（ｂ）は、第２の方法を示している。この第２の方法は、Ｐ（Ｎ）を混合対象とするグループ(base sublayer ) と、Ｐ（Ｎ＋１） を混合対象とするグループ(enhanced sublayer)
のＳＥＩを一方のサブレイヤに配置する方法である。いずれの方法でも混合対象が識別できるよう、「blending_target 」の要素がＳＥＩのシンタクスに定義される。

【0285】

図４８は、混合処理の一般形における、ブレンド・アンド・レンジ・インフォメーション・ＳＥＩメッセージの構造例を示している。この構造例は、「blending_target 」の要素が新たに定義されている他は、図１９に示す構造例と同じである。例えば、“０”はベース・サブレイヤを示し、“１”は最初のエンハンスト・サブレイヤを示す。図４９は、混合処理の一般形における、ＨＦＲ・ブレンディング・インフォフレームの構造例を示している。この構造例は、「blending_target 」の要素が新たに定義されている他は、図３３に示す構造例と同じである。

【0286】

なお、上述実施の形態においては、ハイフレームレートが１２０Ｈｚあるいは２４０Ｈｚでノーマルフレームレートが６０Ｈｚの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００Ｈｚあるいは２００Ｈｚと５０ｆｐｓの組み合わせでも同様である。また、上述実施の形態においては、輝度中心の説明をしているが、カラーの場合、同様の処理がＲ，Ｇ，Ｂの各ドメインについて行われることになる。

【0287】

また、上述実施の形態においては、送信装置１００およびテレビ受信機２００からなる送受信システム１０、さらには送信装置１００、セットトップボックス２００-1およびディスプレイ２００-2からなる送受信システム１０Ａを示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。

【0288】

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。

【0289】

また、本技術は、以下のような構成を取ることもできる。
（１）第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して第２の動画像データを得る処理部を備え、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得る符号化部と、
上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信する送信部をさらに備える
送信装置。
（２）ビデオのレイヤまたはコンテナのレイヤに上記混合割合の情報および上記画像データのレンジ情報を挿入する挿入部をさらに備える
前記（１）に記載の送信装置。
（３）上記基本ストリームおよび上記拡張ストリームはＮＡＬユニット構造を有し、
上記挿入部は、上記混合割合の情報および上記画像データのレンジ情報を持つＳＥＩ ＮＡＬユニットを上記基本ストリームおよび/または上記拡張ストリームに挿入する
前記（２）に記載の送信装置。
（４）上記処理部は、処理対象フレームの画像データに周辺フレームの画像データを混合する処理を施す際に、上記処理対象フレームの画像データのデータレベルに基づいて上記混合割合を決定する
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記処理部は、処理対象フレームの画像データに周辺フレームの画像データを混合する処理を施す際に、上記処理対象フレームおよび上記周辺フレームの画像データのデータレベルに基づいて上記混合割合を決定する
前記（１）から（３）のいずれかに記載の送信装置。
（６）上記画像データのレンジ情報は、第１の閾値と該第１の閾値より低い第２の閾値の情報を含み、
上記第１の動画像データは、ハイダイナミックレンジの動画像データであり、
上記第１の閾値は、上記画像データのレベルがきらめき再現レベル範囲にあるか否かを判別するための閾値であり、
上記第２の閾値は、上記画像データのレベルが暗部再現レベル範囲にあるか否かを判別するための閾値である
前記（１）から（５）のいずれかに記載の送信装置。
（７）上記第１のフレームレートは１２０Ｈｚまたは２４０Ｈｚであり、上記第２のフレームレートは６０Ｈｚである
前記（１）から（６）のいずれかに記載の送信装置。
（８）処理部が、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して第２の動画像データを得るステップを有し、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態とされ、
符号化部が、上記第２のフレームレートに対応したフレームの画像データを符号化して基本ストリームを得ると共に、残りのフレームの画像データを符号化して拡張ストリームを得るステップと、
送信部が、上記基本ストリームおよび上記拡張ストリームを含むコンテナを送信するステップをさらに有する
送信方法。
（９）基本ストリームおよび拡張ストリームを含むコンテナを受信する受信部を備え、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得る処理部をさらに備える
受信装置。
（１０）ビデオのレイヤまたはコンテナのレイヤに上記混合割合の情報および上記画像データのレンジ情報を挿入されており、
上記処理部は、上記混合割合の情報および上記画像データのレンジ情報に基づいて、上記第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得る
前記（９）に記載の受信装置。
（１１）受信部が、基本ストリームおよび拡張ストリームを含むコンテナを受信するステップを有し、
上記基本ストリームは、第１のフレームレートの第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを構成する各画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データであって少なくとも周辺フレームの画像データと混合された状態にある画像データを符号化して得られたものであり、上記拡張ストリームは、残りのフレームの画像データを符号化して得られたものであり、
処理部が、表示能力に応じて、上記基本ストリームを復号化して上記第２のフレームレートの動画像データを得るか、あるいは上記基本ストリームおよび上記拡張フレームを復号化して上記第２の動画像データを得、該第２の動画像データに混合分離処理を施して混合解除された第１のフレームレートの動画像データを得るステップをさらに有する
受信方法。
（１２）第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを取得する取得部と、
上記第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を、伝送路を介して、外部機器に送信する送信部を備える
送信装置。
（１３）上記送信部は、上記混合割合の情報および上記画像データのレンジ情報を、それぞれ上記第２の動画像データの各フレームの画像データのブランキング期間に挿入して送信する
前記（１２）に記載の送信装置。
（１４）上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて混合分離処理を施して第３の動画像データを得る処理部をさらに備え、
上記送信部は、上記外部機器が上記混合分離処理の機能を持っていないとき、上記第２の動画像データの代わりに、上記第３の動画像データを送信する
前記（１２）または（１３）に記載の送信装置。
（１５）上記第２の動画像データは第１のフレームレートの動画像データであり、
上記第２の動画像データを構成する各フレームの画像データのうち少なくとも上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データは周辺フレームの画像データと混合された状態にあり、
上記送信部は、上記外部機器の表示可能なフレームレートが上記第２のフレームレートであるとき、上記第２の動画像データの代わりに、上記第２のフレームレートに対応したフレームの画像データからなる第４の動画像データを送信する
前記（１２）から（１４）のいずれかに記載の送信装置。
（１６）取得部が、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データを取得するステップと、
送信部が、上記第２の動画像データと、上記各フレームの混合割合の情報および上記画像データのレンジ情報を、伝送路を介して、外部機器に送信するステップを有する
送信方法。
（１７）外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を受信する受信部と、
上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて混合分離処理を施して混合解除された動画像データを得る処理部を備える
受信装置。
（１８）受信部が、外部機器から、伝送路を介して、第１の動画像データの各フレームの画像データにフレーム毎に独立しかつデータレベルに応じた混合割合で周辺フレームの画像データを混合する処理を施して得られた第２の動画像データと、上記混合割合の情報および上記画像データのレンジ情報を受信するステップと、
処理部が、上記第２の動画像データの各フレームの画像データに上記混合割合の情報および上記画像データのレンジ情報に基づいて混合分離処理を施して混合解除された動画像データを得るステップを有する
受信方法。
（１９）第１のフレームレートの第１の動画像データを符号化して得られたビデオストリームを含むコンテナを受信する受信部と、
上記ビデオストリームを復号化して上記第１のフレームレートの第１の動画像データを得る復号化処理と、上記第１の動画像データを構成する各フレームの画像データのうち上記第１のフレームレートより低い第２のフレームレートに対応したフレームの画像データに周辺フレームの画像データを混合する処理を施して上記第２のフレームレートの第２の動画像データを得るレート変換処理を制御する制御部を備える
受信装置。
（２０）上記レート変換処理では、上記第２のフレームレートに対応したフレームの画像データに上記周辺フレームの画像データがデータレベルに応じた混合割合で混合される
前記１９に記載の受信装置。

【0290】

本技術の主な特徴は、ハイフレームレートの動画像データを構成する各フレームの画像データのうち少なくともノーマルフレームレートに対応したフレームの画像データを周辺フレームの画像データと混合して開口率を高めた状態として送信することで、ノーマルフレームレートの動画像データを処理可能なデコード能力がある受信機の場合、動画像としてストロービング効果が緩和された滑らかな画像の表示を可能としたことである（図５参照）。また、混合処理をする際に、画素単位でデータレベルに応じた混合割合で混合することで、混合処理によって、ＨＤＲ感などの画像本来の質感が失われることを回避可能としたことである（図１２、図１６参照）。

【符号の説明】

【0291】

１０，１０Ａ，１０´・・・送受信システム
８１・・・カメラ
８２・・・ＨＦＲプロセッサ
１００，１００´・・・送信装置
１０１・・・制御部
１０２・・・プリプロセッサ
１０３・・・エンコーダ
１０４・・・マルチプレクサ
１０５・・・送信部
１２０・・・ピクセル処理部
１２１・・・フレーム遅延部
１２２，１２５，１２６，１３０，１３１・・・係数器
１２４，１２７，１３２・・・加算部
１２８，１３３・・・スイッチ部
１２９・・・出力部
２００，２００Ａ，２００Ｂ，２００´・・・テレビ受信機
２００-1，２００´-1・・・セットトップボックス
２００-2，２００-2A，２００-2B，２００´-2A，２００´-2B・・・ディスプレイ
２０１，２０１Ｂ，２０１-1，２０１´-1，２０１-2A，２０１-2B，２０１´-2A，２０１´-2B・・・制御部
２０２，２０２Ｂ・・・受信部
２０３，２０３Ｂ・・・デマルチプレクサ
２０４，２０４Ｂ・・・デコーダ
２０５・・・ポストプロセッサ
２０６，２０６Ｂ・・・ＭＣＦＩ部
２０７，２０７Ｂ・・・パネル表示部
２０８・・・ＨＤＭＩ送信部
２０９Ｂ・・・ポストプロセッサ
２１９，２１９Ｂ・・・ＨＤＭＩ受信部
２２０，２２１，２２３，２２４，２３０，２３１・・・係数器
２２２，２２５，２３２・・・加算部
２２６，２２７，２３３・・・スイッチ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【図47】

【図48】

【図49】