特許 6930419 画像処理装置、画像処理方法、受信装置および送信装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6930419

(24)【登録日】2021年8月16日

(45)【発行日】2021年9月1日

(54)【発明の名称】画像処理装置、画像処理方法、受信装置および送信装置

(51)【国際特許分類】

   H04N 21/431 20110101AFI20210823BHJP

   H04N 21/435 20110101ALI20210823BHJP

   H04N 21/235 20110101ALI20210823BHJP

   H04N 5/232 20060101ALI20210823BHJP

【ＦＩ】

   H04N21/431

   H04N21/435

   H04N21/235

   H04N5/232 290

   H04N5/232 300

【請求項の数】16

【全頁数】28

(21)【出願番号】特願2017-519134(P2017-519134)

(86)(22)【出願日】2016年5月10日

(86)【国際出願番号】JP2016063902

(87)【国際公開番号】WO2016185947

(87)【国際公開日】20161124

【審査請求日】2019年4月10日

(31)【優先権主張番号】特願2015-101964(P2015-101964)

(32)【優先日】2015年5月19日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100093241

【弁理士】

【氏名又は名称】宮田 正昭

(74)【代理人】

【識別番号】100101801

【弁理士】

【氏名又は名称】山田 英治

(74)【代理人】

【識別番号】100095496

【弁理士】

【氏名又は名称】佐々木 榮二

(74)【代理人】

【識別番号】100086531

【弁理士】

【氏名又は名称】澤田 俊夫

(74)【代理人】

【識別番号】110000763

【氏名又は名称】特許業務法人大同特許事務所

(72)【発明者】

【氏名】塚越 郁夫

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２０１２−１６９７０１（ＪＰ，Ａ）

【文献】 特開２０１１−０４９６３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

所定フレームレートおよび所定解像度の動画像データを取得する画像データ取得部と、
上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行って、該フィルタ処理された動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理部に供給する画像処理部を備える
画像処理装置。

【請求項2】

上記画像処理部は、フレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
請求項１に記載の画像処理装置。

【請求項3】

上記画像データ取得部は、上記動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記動画像データを取得する
請求項１に記載の画像処理装置。

【請求項4】

上記画像処理部は、上記コンテナのレイヤに挿入されているフレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
請求項３に記載の画像処理装置。

【請求項5】

上記画像処理部は、上記ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
請求項３に記載の画像処理装置。

【請求項6】

上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報が挿入されており、
上記画像処理部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている上記比率の情報に基づいて上記所定フレームレートのカメラシャッター速度に対する比率を得る
請求項３に記載の画像処理装置。

【請求項7】

上記画像データ取得部は、上記動画像データを、外部機器からデジタルインタフェースを介して取得する
請求項１に記載の画像処理装置。

【請求項8】

上記画像処理部は、上記動画像データのブランキング期間に挿入されているフレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
請求項７に記載の画像処理装置。

【請求項9】

上記画像処理部は、上記外部機器から、上記デジタルインタフェースを介して、フレームレートのカメラシャッター速度に対する比率の情報を取得し、該比率の情報に基づいて上記所定フレームレートのカメラシャッター速度に対する比率を得る
請求項７に記載の画像処理装置。

【請求項10】

上記画像データ取得部は、上記動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記動画像データを取得し、
超高品位映像配信である場合、上記取得された動画像データは、高速フレームシャッターで撮影された動画像データ、または上記高速フレームシャッターで撮影された動画像データが画像の尖鋭度が維持されたまま低周波数の動画像シーケンスに変換された動画像データであり、
上記画像処理部は、上記コンテナのレイヤに挿入されている上記超高品位映像配信であるか否かを示す情報が超高品位映像配信であることを示す場合に、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う
請求項１に記載の画像処理装置。

【請求項11】

所定フレームレートおよび所定解像度の動画像データを取得する画像データ取得ステップと、
上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行って、該フィルタ処理された動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理部に供給する画像処理ステップを有する
画像処理方法。

【請求項12】

動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームに復号化処理を施して所定フレームレートおよび所定解像度の動画像データを得るデコード処理と、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、該デコード処理で得られた動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理と、該フィルタ処理で得られた動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理を制御する制御部を備える
受信装置。

【請求項13】

外部機器からデジタルインタフェースを介して所定フレームレートおよび所定解像度の動画像データを受信する受信部と、
上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記受信部で受信された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理と、該フィルタ処理で得られた動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理を制御する制御部を備える
受信装置。

【請求項14】

動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に対応したフレームレートおよび解像度の情報を挿入する情報挿入部を備え、
超高品位映像配信である場合、上記動画像データは、高速フレームシャッターで撮影された動画像データまたは上記高速フレームシャッターで撮影された動画像データが画像の尖鋭度が維持されたまま低周波数の動画像シーケンスに変換された動画像データであり、
上記情報挿入部は、上記コンテナのレイヤに、上記超高品位映像配信であるか否かを示す情報をさらに挿入する
送信装置。

【請求項15】

動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
超高品位映像配信である場合、上記動画像データは、高速フレームシャッターで撮影された動画像データまたは上記高速フレームシャッターで撮影された動画像データが画像の尖鋭度が維持されたまま低周波数の動画像シーケンスに変換された動画像データであり、
上記コンテナのレイヤに、上記超高品位映像配信であるか否かを示す情報を挿入する情報挿入部をさらに備える
送信装置。

【請求項16】

動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤおよび/またはビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報を挿入する情報挿入部を備え、
超高品位映像配信である場合、上記動画像データは、高速フレームシャッターで撮影された動画像データまたは上記高速フレームシャッターで撮影された動画像データが画像の尖鋭度が維持されたまま低周波数の動画像シーケンスに変換された動画像データであり
上記情報挿入部は、上記コンテナのレイヤおよび/またはビデオストリームに、上記超高品位映像配信であるか否かを示す情報をさらに挿入する
送信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、画像処理装置、画像処理方法、受信装置および送信装置に関する。詳しくは、本技術は、高速フレームシャッターでカメラ撮りされた動画像データを処理する画像処理装置等に関する。

【背景技術】

【0002】

近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている（例えば、特許文献１参照）。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。

【0003】

ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像を、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、尖鋭度の高い画質を実現する効果がある一方で、受信再生側のシャッター開口率が低くなると、従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。

【0004】

すなわち、高速フレームシャッターで撮影された尖鋭度の高い動画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなることから、両者の差が顕著な画質劣化となって表示される可能性がある。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０-１７８１２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本技術の目的は、高速フレームシャッターで撮影された尖鋭度の高い画像成分を有する動画像データを従来のフレーム補間技術で取扱い可能とすることにある。

【課題を解決するための手段】

【0007】

本技術の概念は、
所定フレームレートおよび所定解像度の動画像データを取得する画像データ取得部と、
上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う画像処理部を備える
画像処理装置にある。

【0008】

本技術において、画像データ処理部により、所定フレームレートおよび所定解像度の動画像データが取得される。画像処理部により、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。例えば、画像処理部は、フレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定する、ようにされてもよい。また、例えば、コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報が挿入されており、画像処理部は、コンテナのレイヤおよび/またはビデオストリームのレイヤに挿入されている比率の情報に基づいて所定フレームレートのカメラシャッター速度に対する比率を得る、ようにされてもよい。

【0009】

また、例えば、画像データ取得部は、動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、このビデオストリームに復号化処理を施して動画像データを取得する、ようにされてもよい。この場合、例えば、画像処理部は、コンテナのレイヤに挿入されているフレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定する、ようにされてもよい。また、この場合、例えば、画像処理部は、ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定する、ようにされてもよい。

【0010】

また、例えば、画像データ取得部は、動画像データを、外部機器からデジタルインタフェースを介して取得する、ようにされてもよい。この場合、例えば、画像処理部は、動画像データのブランキング期間に挿入されているフレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定する、ようにされてもよい。また、この場合、例えば、画像処理部は、上記外部機器から、デジタルインタフェースを介して、フレームレートのカメラシャッター速度に対する比率の情報を取得し、この比率の情報に基づいて所定フレームレートのカメラシャッター速度に対する比率を得る、ようにされてもよい。

【0011】

このように本技術においては、所定フレームレートおよび所定解像度の動画像データに対して、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。そのため、高速フレームシャッターで撮影された尖鋭度の高い画像成分を有する動画像データを従来のフレーム補間技術で取り扱うことが可能となる。

【0012】

なお、本技術において、例えば、画像データ取得部は、動画像データに符号化を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、このビデオストリームに復号化を施して動画像データを取得し、画像処理部は、コンテナのレイヤに挿入されている超高品位映像配信であるか否かを示す情報が超高品位映像配信であることを示す場合に、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う、ようにされてもよい。この場合、高速フレームシャッターで撮影された尖鋭度の高い画像成分を有する動画像データのみにフィルタ処理を行うことが可能となる。

【0013】

また、本技術の他の概念は、
動画像データに符号化を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームに復号化を施して所定フレームレートおよび所定解像度の動画像データを得るデコード処理と、該デコード処理で得られた動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理と、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記デコード処理で得られた動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を制御する制御部を備える
受信装置にある。

【0014】

本技術において、受信部により、動画像データに符号化を施して得られたビデオストリームを含む所定フォーマットのコンテナが受信される。制御部により、デコード処理、補間処理およびフィルタ処理が制御される。デコード処理では、ビデオストリームに復号化が施されて所定フレームレートおよび所定解像度の動画像データが得られる。補間処理では、この動画像データのフレームレートがフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせられる。

【0015】

また、フィルタ処理では、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、動画像データに対して隣接するフレーム間の相関度が上げられる。

【0016】

このように本技術においては、デコード処理で得られた所定フレームレートおよび所定解像度の動画像データに対して、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。そのため、補間処理では、従来のフレーム補間技術で良好にフレーム補間を行うことが可能となる。

【0017】

また、本技術の他の概念は、
外部機器からデジタルインタフェースを介して所定フレームレートおよび所定解像度の動画像データを受信する受信部と、
上記受信部で受信された動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理と、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を制御する制御部を備える
受信装置にある。

【0018】

本技術において、受信部により、外部機器からデジタルインタフェースを介して所定フレームレートおよび所定解像度の動画像データが受信される。例えば、デジタルインタフェースは、ＨＤＭＩ（High-Definition Multimedia Interface）である、ようにされてもよい。制御部により、補間処理およびフィルタ処理が制御される。

【0019】

補間処理では、動画像データのフレームレートがフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせられる。フィルタ処理では、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。

【0020】

このように本技術においては、受信部で受信された所定フレームレートおよび所定解像度の動画像データに対して、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。そのため、補間処理では、従来のフレーム補間技術で良好にフレーム補間を行うことが可能となる。

【0021】

また、本技術の他の概念は、
動画像データに符号化を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に対応したフレームレートおよび解像度の情報を挿入する情報挿入部を備える
送信装置にある。

【0022】

本技術において、画像符号化部により、動画像データに符号化が施されてビデオストリームが生成される。送信部により、このビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。情報挿入部により、コンテナのレイヤに、ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に対応したフレームレートおよび解像度の情報が挿入される。

【0023】

このように本技術においては、コンテナのレイヤにビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に対応したフレームレートおよび解像度の情報が挿入される。そのため、受信側においては、コンテナのレイヤからフレームレートおよび解像度の情報を取得することが可能となる。

【0024】

なお、本技術において、例えば、情報挿入部は、コンテナのレイヤに、超高品位映像配信であるか否かを示す情報をさらに挿入する、ようにされてもよい。この場合、受信側においては、コンテナのレイヤから超高品位映像配信であるか否かを示す情報を容易に取得可能となる。

【0025】

また、本技術の概念は、
動画像データに符号化を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、超高品位映像配信であるか否かを示す情報を挿入する情報挿入部を備える
送信装置にある。

【0026】

本技術において、画像符号化部により、動画像データに符号化が施されてビデオストリームが生成される。送信部により、このビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。情報挿入部により、コンテナのレイヤに、超高品位映像配信であるか否かを示す情報が挿入される。

【0027】

このように本技術においては、コンテナのレイヤに超高品位映像配信であるか否かを示す情報が挿入される。そのため、受信側においては、コンテナのレイヤから超高品位映像配信であるか否かを示す情報を取得することが可能となる。

【0028】

また、本技術の概念は、
動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤおよび/ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報を挿入する情報挿入部を備える
送信装置にある。

【0029】

本技術において、画像符号化部により、動画像データに符号化が施されてビデオストリームが生成される。送信部により、このビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。情報挿入部により、コンテナのレイヤおよび/ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報が挿入される。

【0030】

このように本技術においては、コンテナのレイヤおよび/ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報が挿入される。そのため、受信側においては、コンテナのレイヤおよび/ビデオストリームのレイヤから、フレームレートのカメラシャッター速度に対する比率の情報を取得することが可能となる。

【0031】

なお、本技術において、例えば、情報挿入部は、コンテナのレイヤおよび/ビデオストリームのレイヤに、超高品位映像配信であるか否かを示す情報をさらに挿入する、ようにされてもよい。この場合、受信側においては、コンテナのレイヤおよび/ビデオストリームのレイヤから超高品位映像配信であるか否かを示す情報を容易に取得可能となる。

【発明の効果】

【0032】

本技術によれば、高速フレームシャッターで撮影された尖鋭度の高い画像成分を有する動画像データを従来のフレーム補間技術で取り扱うことが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

【図面の簡単な説明】

【0033】

【図1】実施の形態としての送受信システムの構成例を示すブロック図である。

【図2】送信側の画像シーケンス制作から配信までのカメラシャッター速度とフレームレートとの関係を説明するための図である。

【図3】フレームレートのカメラシャッター速度に対する比率を説明するための図である。

【図4】送信装置の構成例を示すブロック図である。

【図5】コーディング・パラメータ・デスクリプタの構造例を示す図である。

【図6】コーディング・パラメータ・デスクリプタの構造例における主要な情報の内容を示す図である。

【図7】シングルストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示す図である。

【図8】マルチストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示す図である。

【図9】受信装置の構成例を示すブロック図である。

【図10】ミッド処理部におけるフィルタ処理例を概略的に示す図である。

【図11】シャッター速度推定テーブルの一例を示す図である。

【図12】ＣＰＵにおけるミッド処理部の制御処理の一例を示すフローチャートである。

【図13】フレーム間動きベクトルによる補間フレームの作成について説明するための図である。

【図14】スーパーハイクォリティ・デスクリプタの構造例を示す図である。

【図15】シングルストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示す図である。

【図16】フレームクォリティ・デスクリプタの構造例を示す図である。

【図17】フレームクォリティ・デスクリプタの構造例における主要な情報の内容を示す図である。

【図18】フレームクォリティＳＥＩメッセージの構造例を示す図である。

【図19】シングルストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示す図である。

【図20】マルチストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示す図である。

【図21】ＣＰＵにおけるミッド処理部の制御処理の一例を示すフローチャートである。

【図22】送受信システムの他の構成例を示すブロック図である。

【発明を実施するための形態】

【0034】

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

【0035】

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

【0036】

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データが符号化されることで得られた１つまたは複数のビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。

【0037】

ここで、動画像データには、３０Ｈｚ，６０Ｈｚなどのノーマルフレームシャッターで撮影された動画像のデータの他に、１２０Ｈｚ，２４０Ｈｚなどの高速フレームシャッターで撮影された動画像のデータ、あるいはその動画像が低周波数の動画像シーケンスに変換された動画像のデータなども含まれる。高速フレームシャッターで撮影された動画像データは、尖鋭度の高い画像成分を有している。そのため、受信再生側のシャッター開口率が低くなると、従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。

【0038】

例えば、図２に示すように、（１）高速フレームシャッター撮影のオリジナル画像シーケンスはカメラシャッター速度が２４０Ｈｚで、３８４０ｘ２１６０の４Ｋ解像度を持ち、フレームレートが１２０Ｈｚで、３８４０ｘ２１６０の４Ｋ解像度を持つ配信用画像シーケンスに変換されて送信される。

【0039】

（２）シングルストリーム配信の場合、２４０Ｈｚから１２０Ｈｚのシーケンスを生成する際、２フレームに１つを抜き出すと、画像の尖鋭度としては撮影時のオリジナル品質が維持される。しかし、配信フレームレートのカメラシャッター速度に対する比率は５０％（＝１２０/２４０）と低くなる。

【0040】

（３）マルチストリーム配信、ここでは２ストリーム配信（時間方向のスケーラビリティ伝送）の場合、（２）のカメラシャッター速度に対する比率が５０％のシーケンスの画像を交互に抜き出し、一方をベースグループ（Base Group）とし、他方をエンハンスグループ（Enhanced Group）とする。ベースグループのフレームレートは６０Ｈｚ、同様に、エンハンスグループのフレームレートも６０Ｈｚである。

【0041】

ベースグループとエンハンスグループを両方デコード・表示する場合は、表示する全体の画像シーケンスのフレームレートは１２０Ｈｚになるので、カメラシャッター速度に対する比率は５０％であり、これはシングルストリームによる配信と変わらない。しかし、ベースグループのみを表示する場合は、フレームレートは６０Ｈｚになり、カメラシャッター速度に対する比率は２５％（＝６０/２４０）と、さらに低くなる。

【0042】

図３は、フレームレートのカメラシャッター速度に対する比率を示している。オリジナル画像シーケンスの場合は、１００％（＝２４０/２４０）である。シングルストリーム配信の場合は、５０％（＝１２０/２４０）である。マルチストリーム配信の場合、ベースグループとエンハンスグループの各々は、２５％（＝６０/２４０）であり、双方を合わせると、５０％（６０＊２/２４０）となる。ベースのみの表示を行う場合は２５％の比率となる。図示の例から明らかなように、比率が低くなるほど、前後のフレーム同士の相関が低くなる。

【0043】

図１に戻って、送信装置１００は、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレームレートおよび解像度の情報を挿入する。ビデオストリームのＳＰＳ（Sequence Parameter Set）のＮＡＬ（Network Abstraction Layer）ユニットには、フレームレートおよび解像度の情報が存在する。上述したようにトランスポートストリームＴＳのレイヤに挿入されるフレームレートおよび解像度の情報は、ビデオストリームのＳＰＳ ＮＡＬユニットに対応したものである。このようにトランスポートストリームＴＳのレイヤにフレームレートおよび解像度の情報が挿入されることで、受信側においては、トランスポートストリームＴＳのレイヤからこのフレームレートおよび解像度の情報を容易に取得可能となる。

【0044】

また、送信装置１００は、コンテナとしてのトランスポートストリームＴＳのレイヤに、超高品位映像配信であるか否かを示す情報を挿入する。例えば、１２０Ｈｚ，２４０Ｈｚなどの高速フレームシャッターで撮影された動画像そのものの配信、あるいはその動画像から所定のフレームが単に抜き出されて画像の尖鋭度が維持されたまま低周波数の動画像シーケンスに変換された動画像の配信は、高品位映像配信に含まれる。このようにトランスポートストリームＴＳのレイヤに超高品位映像配信であるか否かを示す情報が挿入されることで、受信側においては、トランスポートストリームＴＳのレイヤからこの超高品位映像配信であるか否かを示す情報を容易に取得可能となる。

【0045】

この実施の形態において、送信装置１００は、上述したフレームレートおよび解像度の情報と、超高品位映像配信であるか否かを示す情報を、例えば、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入する。このデスクリプタの詳細については、後述する。

【0046】

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、動画像データが符号化されることで得られた１つのビデオストリーム、あるいは複数のビデオストリーム（例えば、ベースストリームおよびエンハンスストリームの２つのビデオストリーム）が含まれている。受信装置２００は、ビデオストリームに復号化を施して、所定フレームレートおよび所定解像度の動画像データを得る。

【0047】

この場合、受信装置２００は、動画像データがシングルストリームで配信される場合には、そのシングルストリームに復号化処理を施して、所定フレームレートおよび所定解像度の動画像データを得る。また、この場合、受信装置２００は、動画像データがマルチストリームで配信される場合には、復号化能力に応じた所定数のストリームに復号化処理を施して、所定フレームレートおよび所定解像度の動画像データを得る。

【0048】

例えば、動画像データがベースストリームおよびエンハンスストリームの２ストリームで配信される場合、ベースストリームのみ、あるいはベースストリームおよびエンハンスストリームの双方を復号化して、所定フレームレートおよび所定解像度の動画像データを得る。

【0049】

受信装置２００は、復号化処理で得られた所定フレームレートおよび所定解像度の動画像データに対してフレーム間動きベクトルによる補間フレームを生成する補間処理を施し、表示用の動画像データを得る。ここで、受信装置２００は、所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、補間処理の前に、復号化処理で得られた動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理をする。このフィルタ処理を行うことで、従来のフレーム補間技術で良好にフレーム補間を行うことが可能となる

【0050】

受信装置２００は、カメラシャッター速度を、フレームレートおよび解像度の情報に基づいて推定する。例えば、受信装置２００は、コンテナとしてのトランスポートストリームＴＳのレイヤに挿入されている、あるいはビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報を用いる。

【0051】

なお、上述のフィルタ処理は、復号化処理で得られた動画像を構成する各フレームに高速フレームシャッターの撮影による画像の尖鋭度が維持されている場合に従来のフレーム補間技術で補間を行った場合に引き起こされる画質的な問題を回避することにある。この実施の形態において、受信装置２００は、コンテナとしてのトランスポートストリームＴＳのレイヤに挿入されている超高品位映像配信であるか否かを示す情報が超高品位映像配信であることを示す場合に、上述のフィルタ処理をする。

【0052】

「送信装置の構成」
図４は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

【0053】

エンコーダ１０２は、配信用画像シーケンスを構成する非圧縮の動画像データＶＤを入力する。そして、エンコーダ１０２は、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理を施し、シングルストリーム配信の場合は１つのビデオストリーム、マルチストリーム配信の場合は複数のビデオストリームを生成する。以下、この実施の形態においては、説明を簡単にするため、複数のビデオストリームは、ベースストリームおよびエンハンスストリームの２つのビデオストリームであるとする。

【0054】

マルチプレクサ１０３は、エンコーダ１０２で生成されたビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。この実施の形態において、このトランスポートストリームＴＳには、ベースストリームのみ、あるいはベースストリームおよびエンハンスストリームの双方が含まれる。

【0055】

また、マルチプレクサ１０３は、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレームレートおよび解像度の情報と、超高品位映像配信であるか否かを示す情報を挿入する。これらの情報は、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。送信部１０４は、マルチプレクサ１０３で得られたトランスポートストリームＴＳを、放送波に載せて、受信装置２００に送信する。

【0056】

［情報の挿入について］
マルチプレクサ１０３における情報の挿入についてさらに説明する。マルチプレクサ１０３は、新規定義するコーディング・パラメータ・デスクリプタ（Coding Parameter_descriptor）を挿入する。図５は、コーディング・パラメータ・デスクリプタの構造例（Syntax）を示している。図６は、その構造例における主要な情報の内容（Semantics）を示している。

【0057】

「coding parameter_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、コーディング・パラメータ・デスクリプタであることを示す。「coding parameter_descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、３バイトを示す。

【0058】

「service_quality_type」の４ビットフィールドは、超高品位映像配信であるか否かを示す。“０ｘ０１”は、超高品位映像配信であることを示す。“０ｘ１０”は、単なる、高品位映像配信であることを示す。「temporal_scalablility_flag」の１ビットフィールドは、テンポラルスケーラビリティを持つマルチストリーム構成であるか否かを示す。“１”は、テンポラルスケーラビリティを持つマルチストリーム構成であることを示す。“０”は、テンポラルスケーラビリティを持たないシングルストリーム構成であることを示す。

【0059】

「Resolution_type」の８ビットフィールドは、解像度を示す。例えば、“０ｘ０１”は１９２０ｘ１０８０の解像度、つまりＨＤ解像度であることを示し、“０ｘ０２”は３８４０ｘ２１６０の解像度、つまり４Ｋ解像度であることを示し、“０ｘ０３”は７６８０ｘ４３２０の解像度、つまり８Ｋ解像度であることを示す。「FrameRate_type」の８ビットフィールドは、配信全体のフレームレートを示す。例えば、“０ｘ０１”は３０Ｈｚを示し、“０ｘ０２”は６０Ｈｚを示し、“０ｘ０３”は１２０Ｈｚを示す。

【0060】

[トランスポートストリームＴＳの構成]
図７は、シングルストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１つのビデオストリームが含まれている。すなわち、この構成例では、ビデオストリームのＰＥＳパケット「video PES1」が存在する。ＰＥＳペイロードに含まれる各ピクチャの符号化画像データは、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」、「ＥＯＳ」などのＮＡＬユニットにより構成されている。

【0061】

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオエレメンタリストリームループ（video ES1 loop）が存在する。

【0062】

ビデオエレメンタリストリームループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ＨＥＶＣデスクリプタ（HEVC_descriptor）、上述したコーディング・パラメータ・デスクリプタ（Coding Parameter_descriptor）が挿入される。

【0063】

図８は、マルチストリーム、ここでは２ストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、２つのビデオストリームが含まれている。すなわち、この構成例では、ベースストリームのＰＥＳパケット「video PES1」が存在すると共に、エンハンスストリームのＰＥＳパケット「video PES2」が存在する。ＰＥＳペイロードに含まれる各ピクチャの符号化画像データは、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」、「ＥＯＳ」などのＮＡＬユニットにより構成されている。

【0064】

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、この構成例では、２つのビデオエレメンタリストリームループ（video ES1 loop, video ES2 loop ）が存在する。

【0065】

各ビデオエレメンタリストリームループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ＨＥＶＣデスクリプタ（HEVC_descriptor）、上述したコーディング・パラメータ・デスクリプタ（Coding Parameter_descriptor）が挿入される。

【0066】

なお、図８に示すトランスポートストリームＴＳの構成例では、各ビデオエレメンタリストリームループにコーディング・パラメータ・デスクリプタが挿入されている。しかし、ベースストリームに対応したビデオエレメンタリストリームループのみにコーディング・パラメータ・デスクリプタを配置する構成例も考えられる。

【0067】

図４に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、配信用画像シーケンスを構成する非圧縮の動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理が施され、シングルストリーム配信の場合は１つのビデオストリーム、マルチストリーム配信の場合はベースストリームおよびエンハンスストリームの２つのビデオストリームが生成される。このビデオストリームは、マルチプレクサ１０３に供給される。

【0068】

マルチプレクサ１０３では、ビデオストリームのＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、例えば、ベースストリームのみ、あるいはベースストリームおよびエンハンスストリームの双方が含まれる。

【0069】

また、マルチプレクサ１０３では、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレームレートおよび解像度の情報と、超高品位映像配信であるか否かを示す情報が挿入される。これらの情報は、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。具体的には、マルチプレクサ１０３において、ＨＥＶＣデスクリプタと共に、新規定義するコーディング・パラメータ・デスクリプタ（図５参照）が挿入される。

【0070】

マルチプレクサ１０３で生成されるトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

【0071】

「受信装置の構成」
図９は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、ミッド処理部（画像処理部）２０５と、ポスト処理部（補間処理部）２０６と、表示部２０７を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。

【0072】

受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、シングルストリーム配信の場合は１つのビデオストリーム、マルチストリーム配信の場合はベースストリームおよびエンハンスストリームの２つのビデオストリームが含まれている。

【0073】

デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、シングルストリーム配信の場合は１つのビデオストリームを取り出し、マルチストリーム配信の場合はデコーダ２０４の復号化能力に応じて、ベースストリームのみ、あるいはベースストリームおよびエンハンスストリームの双方を取り出してデコーダ２０４に供給する。この場合、マルチストリーム配信の場合であってベースストリームおよびエンハンスストリームの双方を取り出す場合には、デコードタイミング情報に基づいて１つのビデオストリームに統合してデコーダ２０４に供給する。

【0074】

また、デマルチプレクサ２０３は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、ＣＰＵ２０１に送る。この場合、コーディング・パラメータ・デスクリプタ（図５参照）も抽出される。これにより、ＣＰＵ２０１は、配信に係る動画像のフレームレートおよび解像度の情報、さらには超高品位映像配信であるか否かを示す情報を得ることができる。

【0075】

デコーダ２０４は、デマルチプレクサ２０３から供給されるビデオストリームに復号化処理を施して、所定フレームレートおよび所定解像度の動画像データを取得する。ポスト処理部２０６は、デコーダ２０４で取得された動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる。例えば、デコーダ２０４で取得された動画像データのフレームレートが３０Ｈｚ、６０Ｈｚ、１２０Ｈｚであり、表示能力が２４０Ｈｚであるとき、フレームレートを２４０Ｈｚに変換する。

【0076】

ミッド処理部２０５は、デコーダ２０４とポスト処理部２０６との間に介在される。ミッド処理部２０５は、ＣＰＵ２０１の制御のもと、デコーダ２０４で得られた動画像データのフレームレートのカメラシャッター速度に対する比率が閾値（例えば、５０％）を下回るとき、当該動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う。このフィルタ処理により、ポスト処理部２０６では、従来のフレーム補間技術で良好にフレーム補間を行うことが可能となる。

【0077】

図１０は、ミッド処理部２０５におけるフィルタ処理例を概略的に示している。入力画像シーケンスの対象フレームとその前後の所定数のフレームが重み付け加算されて、出力画像シーケンスの対象フレームが得られる。例えば、対象フレームがＮフレームであるとき、入力画像シーケンスのＮ−３，Ｎ−２，Ｎ−１，Ｎ，Ｎ＋１，Ｎ＋２，Ｎ＋３の各フレームがそれぞれ係数ｄ，ｃ，ｂ，ａ，ｂ，ｃ，ｄで重み付けされて加算されることで、入力画像シーケンスのＮフレームが得られる。例えば、係数「ａ，ｂ，ｃ，ｄ」の一例として、「４/８，２/８，１/８，１/８」、「２/４，１/４，１/４，０」などが考えられる。なお、タップ数や係数値は、この例に限定されない。補間に寄与するフレーム数とフィルタ効果の選択に応じてタップ数と係数値の設定が可能である。

【0078】

ミッド処理部２０５は、フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、フィルタ処理結果としての動画像データ（図１０の出力画像シーケンス）をポスト処理部２０６に供給する。一方、ミッド処理部２０５は、フレームレートのカメラシャッター速度に対する比率が閾値以上であるとき、デコーダ２０４で得られた動画像データをそのままポスト処理部２０６に供給する。

【0079】

デコーダ２０４で得られた動画像データのフレームレートのカメラシャッター速度に対する比率が閾値を下回るか否かはＣＰＵ２０１が判断する。例えば、コンテナとしてのトランスポートストリームＴＳに挿入して、送信装置１００から受信装置２００にカメラシャッター速度の情報を直接与えることも考えられる。あるいは、受信装置２００に、ユーザの入力操作で、カメラシャッター速度の情報を直接与えることも考えられる。

【0080】

この実施の形態において、ＣＰＵ２０１は、コーディング・パラメータ・デスクリプタから得られたフレームレートおよび解像度の情報に基づいて、カメラシャッター速度を推定する。ＣＰＵ２０１は、送受信間で予め決められているシャッター速度推定テーブルを保持しており、このテーブルを参照して、カメラシャッター速度を推定する。

【0081】

図１１は、シャッター速度推定テーブルの一例を示している。この例で、「Normal Shutter Speed」は、フレームレートの周波数と同じ速度であることを意味している。また、「Short Shutter Speed」は、「Normal Shutter Speed」よりも速い速度の値を意味している。例えば、フレームレートが６０Ｈｚで解像度が３８４０ｘ２１６０に対応する「Short Shutter Speed」は、１２０Ｈｚあるいは２４０Ｈｚなどとされている。

【0082】

図１２のフローチャートは、ＣＰＵ２０１におけるミッド処理部２０５の制御処理の一例を示している。ＣＰＵ２０１は、ステップＳＴ１において、処理を開始する。その後、ＣＰＵ２０１は、ステップＳＴ２において、高品位映像配信か否かを判断する。ＣＰＵ２０１は、この判断を、コーディング・パラメータ・デスクリプタ（図５参照）から得られた超高品位映像配信であるか否かを示す情報「service_quality_type」に基づいて行う。

【0083】

高品位映像配信でないとき、ＣＰＵ２０１は、ステップＳＴ３において、フィルタ処理をしないようにミッド処理部２０５を制御し、その後、ステップＳＴ４において、処理を終了する。この場合、ミッド処理部２０５は、デコーダ２０４で得られた動画像データをそのままポスト処理部２０６に供給する状態となる。

【0084】

一方、高品位映像配信であるとき、ＣＰＵ２０１は、ステップＳＴ５の処理に移る。このステップＳＴ５において、ＣＰＵ２０１は、フレームレートおよび解像度の情報を得る。ＣＰＵ２０１は、この情報を、例えば、コーディング・パラメータ・デスクリプタ（図５参照）から取得する。なお、ＣＰＵ２０１は、この情報を、ビデオストリームのＳＰＳのＮＡＬユニットから得ることも可能である。

【0085】

次に、ＣＰＵ２０１は、ステップＳＴ６において、シャッター速度推定テーブル（図１１参照）を参照し、ステップＳＴ５で得られたフレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定する。そして、ＣＰＵ２０１は、このステップＳＴ６において、フレームレートのカメラシャッター速度に対する比率を求める。

【0086】

次に、ＣＰＵ２０１は、ステップＳＴ７において、マルチストリーム配信の場合、ベースストリームのみを表示するか否かを判断する。マルチストリーム配信で、デコーダ２０４でベースストリームのみが復号化される場合、ＣＰＵ２０１は、ステップＳＴ８の処理に移る。このステップＳＴ８において、ＣＰＵ２０１は、ステップＳＴ６で求めた比率に１/２を乗じて修正する。その後、ＣＰＵ２０１は、ステップ９の処理に移る。

【0087】

一方、シングルストリーム配信の場合、あるいはマルチストリーム配信で、デコーダ２０４でベースストリームおよびエンハンスストリームの双方が復号化される場合、ＣＰＵ２０１は、ステップＳＴ７からステップＳＴ９に直ちに移る。このステップＳＴ９において、ＣＰＵ２０１は、比率が閾値を下回るか否かを判断する。

【0088】

比率が閾値以上であるとき、ＣＰＵ２０１は、ステップＳＴ３において、フィルタ処理をしないようにミッド処理部２０５を制御し、その後、ステップＳＴ４において、処理を終了する。一方、比率が閾値を下回るとき、ＣＰＵ２０１は、ステップＳＴ１０において、フィルタ処理をするようにミッド処理部２０５を制御し、その後、ステップＳＴ４において、処理を終了する。この場合、ミッド処理部２０５は、フィルタ処理結果としての動画像データをポスト処理部２０６に供給する状態となる。

【0089】

なお、図１２のフローチャートにおいて、ステップＳＴ２の処理は必ずしも必要ではなく、この処理を除いた制御処理も考えられる。その場合、ＣＰＵ２０１は、ステップＳＴ１で処理を開始した後、直ちに、ステップＳＴ５の処理に移ることとなる。

【0090】

図１３は、フレーム間動きベクトルによる補間フレームの生成処理の一例を概略的に示している。この例は、Ｎ−１フレームとＮフレームとの間に補間フレームを生成する例である。所定の動き予測ブロックの中で動きのあるオブジェクトと背景が共存する。背景の三角形はＮ−１フレームからＮフレームにかけて左から右へと画面内を動くのに対し、オブジェクトの大きな丸は画面内を右から左へ動く。

【0091】

補間フレームを生成する場合、一点鎖線で示すブロックＡの動き予測においては、ブロック内のテクスチャはほぼ一様にＮ−１フレームへの予測もＮフレームの予測も動きベクトルに一致する。しかし、二点鎖線で示すブロックＢに関しては、ブロック内のテクスチャは動きベクトル通りの一様なものにはならない。この場合、ブロックＢの中でも、大きな丸の部分は動きベクトルと一致するが、背景部分は大きな丸とは異なる動きに相当するので、動きベクトルとは一致しない。

【0092】

その結果、補間フレームのブロックＢに関して、大きな丸の部分は画質がよく、それ以外の背景部分は画質が悪くなる。一方、補間フレームのブロックＡではブロック内は全体が背景部分であり、その画質はよい。このように、補間フレームの画質は、部分的に善し悪しの差が目立つような結果となる。

【0093】

また、このような補間フレームでの画質劣化は、画像のフレームレートに比べてカメラシャッター速度が速くなるとテクスチャ自体の尖鋭度が上がるために、動き予測が当たる部分と、そうでない部分との画質差がより歴然とする場合がある。

【0094】

動き予測ブロックの大きさをより小さくしてブロックに含まれるテクスチャが動きベクトルと一致するようにする方法が考えられる。しかし、極端に小さいサイズのブロックは実装コストがかさむ。

【0095】

従来型の動き予測によるフレーム補間で画質的な破たんを起こさないようにするには、カメラシャッター速度が速い場合に、テクスチャの尖鋭度を下げることが考えられる（図９のミッド処理部２０５参照）。

【0096】

このようにクスチャの尖鋭度が下げられた画像から補間画像を従来型の動き予測で生成するようにすると、尖鋭度が低減し、幾分ぼやけた画像による補間となりため、ブロックＢの中の大きな丸の部分および背景部分における動きベクトルとの違いによる画質差は小さくなり、画像全体として破綻が避けられる。

【0097】

図９に戻って、表示部２０７は、ポスト処理部２０６で得られた動画像データによる動画像を表示する。この表示部２０７は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０７は、受信装置２００に接続される外部機器であってもよい。

【0098】

図９に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。

【0099】

この場合、シングルストリーム配信の場合は１つのビデオストリームが取り出され、マルチストリーム配信の場合はデコーダ２０４の復号化能力に応じて、ベースストリームのみ、あるいはベースストリームおよびエンハンスストリームの双方が取り出される。このように取り出されたビデオストリームは、デコーダ２０４に供給される。

【0100】

また、デマルチプレクサ２０３では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、ＣＰＵ２０１に送られる。この場合、コーディング・パラメータ・デスクリプタ（図５参照）も抽出される。これにより、ＣＰＵ２０１では、配信に係る動画像のフレームレートおよび解像度の情報、さらには超高品位映像配信であるか否かを示す情報が得られる。

【0101】

デコーダ２０４では、デマルチプレクサ２０３から供給されるビデオストリームに復号化処理が施されて、所定フレームレートおよび所定解像度の動画像データが得られる。この動画像データは、ミッド処理部２０５を介して、ポスト処理部２０６に供給される。ミッド処理部２０５では、ＣＰＵ２０１の制御のもと、デコーダ２０４で得られた動画像データのフレームレートのカメラシャッター速度に対する比率が閾値（例えば、５０％）を下回るとき、当該動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。

【0102】

そのため、フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、ミッド処理部２０５からポスト処理部２０６には、フィルタ処理結果としての動画像データ（図１０の出力画像シーケンス）が供給される。一方、フレームレートのカメラシャッター速度に対する比率が閾値以上であるとき、ミッド処理部２０５からポスト処理部２０６には、デコーダ２０４で得られた動画像データがそのまま供給される。

【0103】

ポスト処理部２０６では、動画像データのフレームレートがフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせられる。このポスト処理部２０６で処理された動画像データは表示部２０７に供給され、動画像の表示が行われる。

【0104】

以上説明したように、図１に示す送受信システム１０において、受信装置２００では、デコーダ２０４で得られた動画像データに対して、そのフレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、ミッド処理部２０５で隣接するフレーム間の相関度を上げるためのフィルタ処理が行われる。そのため、ポスト処理部２０６は従来のフレーム補間技術で良好にフレーム補間を行うことが可能となる。

【0105】

また、図１に示す送受信システム１０において、受信装置２００では、フレームレートおよび解像度の情報に基づいてカメラシャッター速度が推定され、この推定されたカメラシャッター速度が使用されてデコーダ２０４で得られた動画像データのフレームレートのカメラシャッター速度に対する比率が求められる。そのため、送信装置１００から受信装置２００に、カメラシャッター速度の情報を送信することが不要となる。

【0106】

また、図１に示す送受信システム１０において、送信装置２００では、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレームレートおよび解像度の情報を含むコーディング・パラメータ・デスクリプタが挿入される。そのため、受信側では、このコーディング・パラメータ・デスクリプタから、フレームレートおよび解像度の情報を容易に取得できる。

【0107】

また、図１に示す送受信システム１０において、送信装置２００では、コンテナとしてのトランスポートストリームＴＳのレイヤに、高品位映像配信であるか否かを示す情報を含むコーディング・パラメータ・デスクリプタが挿入される。そのため、受信側では、ミッド処理部２０５で、この高品位映像配信であるか否かを示す情報に基づいて、高速フレームシャッターで撮影された尖鋭度の高い画像成分を有する動画像データのみにフィルタ処理を行うことが可能となる。つまり、無駄にフィルタ処理を行うことを回避できる。

【0108】

＜２．変形例＞
なお、上述実施の形態においては、送信装置１００は、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレームレートおよび解像度の情報を含むコーディング・パラメータ・デスクリプタを挿入する例を示した。しかし、受信装置２００で、ビデオストリームのＳＰＳのＮＡＬユニットからフレームレートおよび解像度の情報を取得できるので、このコーディング・パラメータ・デスクリプタを挿入しない構成も考えられる。

【0109】

そして、その場合、コンテナとしてのトランスポートストリームＴＳのレイヤに、コーディング・パラメータ・デスクリプタからフレームレートおよび解像度の情報を除いた構造のデスクリプタを挿入することも考えられる。図１４は、その場合の新規定義するスーパーハイクォリティ・デスクリプタ（SuperHighQuality_descriptor）の構造例（Syntax）を示している。また、図１５は、その場合におけるＴＳ構造の一例（シングルストリーム配信）を示している。

【0110】

また、上述実施の形態においては、受信装置２００でフレームレートおよび解像度の情報からカメラシャッター速度を推定してフレームレートのカメラシャッター速度に対する比率を求める例を示した。しかし、送信装置１００から受信装置２００に、この比率の情報を送信する構成も考えられる。この場合、コンテナとしてのトランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤにこの比率の情報が挿入される。

【0111】

例えば、この比率の情報は、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。例えば、マルチプレクサ１０３は、新規定義するフレームクォリティ・デスクリプタ（FrameQuality_descriptor）を挿入する。図１６は、フレームクォリティ・デスクリプタの構造例（Syntax）を示している。図１７は、その構造例における主要な情報の内容（Semantics）を示している。

【0112】

「framequality_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、フレームクォリティ・デスクリプタであることを示す。「framequality_descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、３バイトを示す。

【0113】

「service_quality_type」の４ビットフィールドは、超高品位映像配信であるか否かを示す。“０ｘ０１”は、超高品位映像配信であることを示す。“０ｘ１０”は、単なる、高品位映像配信であることを示す。「temporal_scalablility_flag」の１ビットフィールドは、テンポラルスケーラビリティを持つマルチストリーム構成であるか否かを示す。“１”は、テンポラルスケーラビリティを持つマルチストリーム構成であることを示す。“０”は、テンポラルスケーラビリティを持たないシングルストリーム構成であることを示す。

【0114】

「ratio_shutter_speed_vs_frame_rate」の３ビットフィールドは、画像フレームレートのカメラシャッター速度に対する比率示す。例えば、“０ｘ０”は１００％（シャッター速度は画像フレームレートと同じ）を示し、“０ｘ１”は５０％（シャッター速度は画像フレームレートの２倍）、“０ｘ２”は３３％（シャッター速度は画像フレームレートの３倍）を示し、“０ｘ３”は２５％（シャッター速度は画像フレームレートの４倍）を示す。

【0115】

また、例えば、この比率の情報は、ビデオストリームのアクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、ＳＥＩメッセージとして挿入される。エンコーダ１０２は、新規定義するフレームクォリティＳＥＩメッセージ（FrameQuality SEI message）を挿入する。図１８は、フレームクォリティＳＥＩメッセージの構造例（Syntax）を示している。

【0116】

「FrameQuality_cancel_flag」の１ビットのフラグ情報は、このメッセージをリフレッシュするか否かを示す。“０”は、リフレッシュすることを示す。“１”は、リフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。なお、「service_quality_type」、「temporal_scalablility_flag」、「ratio_shutter_speed_vs_frame_rate」の各フィールドの情報は、上述のフレームクォリティ・デスクリプタ（図１７参照）で説明したものと同じ情報である。

【0117】

図１９は、シングルストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示している。図２０は、マルチストリーム、ここでは２ストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示している。ＳＥＩメッセージとして、フレームクォリティＳＥＩメッセージ（図１８参照）が挿入される。また、ビデオエレメンタリストリームループに、フレームクォリティ・デスクリプタ（図１６参照）が挿入される。なお、図１９、図２０では、フレームクォリティＳＥＩメッセージおよびフレームクォリティ・デスクリプタの双方が挿入されているが、いずれか一方のみを挿入することも考えられる。

【0118】

図２１のフローチャートは、送信装置１００からフレームレートのカメラシャッター速度に対する比率の情報が送られてくる場合における、ＣＰＵ２０１におけるミッド処理部２０５の制御処理の一例を示している。この図２１において、図１２と対応する部分には、同一符号を付して示している。

【0119】

ＣＰＵ２０１は、ステップＳＴ１で高品位映像配信であるとき、ステップＳＴ６Ａの処理に移る。このステップＳＴ６Ａにおいて、ＣＰＵ２０１は、フレームクォリティ・デスクリプタあるいはフレームクォリティＳＥＩメッセージからフレームレートのカメラシャッター速度に対する比率を検知する。ＣＰＵ２０１は、このステップＳＴ６Ａの後、ステップＳＴ７の処理に移る。詳細説明は省略するが、その他は、図１２のフローチャートにおける処理と同じである。

【0120】

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図２２に示すような送受信システム１０Ａも考えられる。この送受信システム１０Ａにおいては、図１の送受信システム１０における受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックス２００Ａおよびモニタ２００Ｂの構成とされている。なお、「ＨＤＭＩ」は登録商標である。

【0121】

この場合、図９に示す受信装置２００の構成において、例えば、デコーダ２０４の部分までがセットトップボックス２００Ａに含まれ、ミッド処理部２０５以降がモニタ２００Ｂに含まれる。モニタ２００Ｂでは、セットトップボックス２００Ａから送信されてくる所定フレームおよび所定解像度の動画像データのブランキング期間に挿入されているフレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定でき、この推定されたカメラシャッター速度を使用して動画像データのフレームレートのカメラシャッター速度に対する比率を求めることができる。

【0122】

なお、セットトップボックス２００Ａからモニタ２００Ｂに、ＨＤＭＩのインタフェースを介して、フレームレートのカメラシャッター速度に対する比率の情報が送られてくる構成も考えられる。この比率の情報は、例えば、動画像データのブランキング期間に挿入されて送られてくる。この場合、モニタ２００Ｂでは、フレームレートおよび解像度の情報に基づいてカメラシャッター速度を推定して比率を求めることが不要となる。

【0123】

また、この場合、図９に示す受信装置２００の構成において、例えば、ミッド処理部２０５の部分までがセットトップボックス２００Ａに含まれ、ポスト処理部２０６以降がモニタ２００Ｂに含まれる構成とすることも考えられる。

【0124】

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

【0125】

また、本技術は、以下のような構成を取ることもできる。
（１）所定フレームレートおよび所定解像度の動画像データを取得する画像データ取得部と、
上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う画像処理部を備える
画像処理装置。
（２）上記画像処理部は、フレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
前記（１）に記載の画像処理装置。
（３）上記画像データ取得部は、上記動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記動画像データを取得する
前記（１）または（２）に記載の画像処理装置。
（４）上記画像処理部は、上記コンテナのレイヤに挿入されているフレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
前記（３）に記載の画像処理装置。
（５）上記画像処理部は、上記ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
前記（３）に記載の画像処理装置。
（６）上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報が挿入されており、
上記画像処理部は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている上記比率の情報に基づいて上記所定フレームレートのカメラシャッター速度に対する比率を得る
前記（３）に記載の画像処理装置。
（７）上記画像データ取得部は、上記動画像データを、外部機器からデジタルインタフェースを介して取得する
前記（１）または（２）に記載の画像処理装置。
（８）上記画像処理部は、上記動画像データのブランキング期間に挿入されているフレームレートおよび解像度の情報に基づいて上記カメラシャッター速度を推定する
前記（７）に記載の画像処理装置。
（９）上記画像処理部は、上記外部機器から、上記デジタルインタフェースを介して、フレームレートのカメラシャッター速度に対する比率の情報を取得し、該比率の情報に基づいて上記所定フレームレートのカメラシャッター速度に対する比率を得る
前記（７）に記載の画像処理装置。
（１０）上記画像データ取得部は、上記動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記動画像データを取得し、
上記画像処理部は、上記コンテナのレイヤに挿入されている超高品位映像配信であるか否かを示す情報が超高品位映像配信であることを示す場合に、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）所定フレームレートおよび所定解像度の動画像データを取得する画像データ取得ステップと、
上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記取得された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う画像処理ステップを有する
画像処理方法。
（１２）動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームに復号化処理を施して所定フレームレートおよび所定解像度の動画像データを得るデコード部と、
上記デコード部で得られた動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理部と、
上記デコード部と上記補間処理部との間に介在され、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記デコード部で得られた動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う画像処理部を備える
受信装置。
（１３）外部機器からデジタルインタフェースを介して所定フレームレートおよび所定解像度の動画像データを受信する受信部と、
上記受信部で受信された動画像データのフレームレートをフレーム間動きベクトルによる補間フレーム生成により表示能力に合わせる補間処理部と、
上記受信部と上記補間処理部との間に介在され、上記所定フレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、上記受信された動画像データに対して隣接するフレーム間の相関度を上げるためのフィルタ処理を行う画像処理部を備える
受信装置。
（１４）動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、上記ビデオストリームのレイヤに挿入されているフレームレートおよび解像度の情報に対応したフレームレートおよび解像度の情報を挿入する情報挿入部を備える
送信装置。
（１５）上記情報挿入部は、上記コンテナのレイヤに、超高品位映像配信であるか否かを示す情報をさらに挿入する
前記（１４）に記載の送信装置。
（１６）動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤに、超高品位映像配信であるか否かを示す情報を挿入する情報挿入部を備える
送信装置。
（１７）動画像データに符号化処理を施してビデオストリームを生成する画像符号化部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記コンテナのレイヤおよび/ビデオストリームのレイヤに、フレームレートのカメラシャッター速度に対する比率の情報を挿入する情報挿入部を備える
送信装置。
（１８）上記情報挿入部は、上記コンテナのレイヤおよび/ビデオストリームに、超高品位映像配信であるか否かを示す情報をさらに挿入する
前記（１７）に記載の送信装置。

【0126】

本技術の主な特徴は、動画像データに対して、そのフレームレートのカメラシャッター速度に対する比率が閾値を下回るとき、隣接するフレーム間の相関度を上げるためのフィルタ処理を行うことで、従来のフレーム補間技術で良好にフレーム補間を行うことを可能としたことである（図９−１２参照）。

【符号の説明】

【0127】

１０，１０Ａ・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
２００・・・受信装置
２００Ａ・・・セットトップボックス
２００Ｂ・・・モニタ
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・デコーダ
２０５・・・ミッド処理部
２０６・・・ポスト処理部
２０７・・・表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】