IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 中興通訊股▲ふん▼有限公司の特許一覧

<>
  • 特許-ビットストリームの処理方法及び装置 図1
  • 特許-ビットストリームの処理方法及び装置 図2
  • 特許-ビットストリームの処理方法及び装置 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-04
(45)【発行日】2022-07-12
(54)【発明の名称】ビットストリームの処理方法及び装置
(51)【国際特許分類】
   H04N 19/40 20140101AFI20220705BHJP
   H04N 19/70 20140101ALI20220705BHJP
【FI】
H04N19/40
H04N19/70
【請求項の数】 14
(21)【出願番号】P 2020545156
(86)(22)【出願日】2019-02-22
(65)【公表番号】
(43)【公表日】2021-06-17
(86)【国際出願番号】 CN2019075802
(87)【国際公開番号】W WO2019165933
(87)【国際公開日】2019-09-06
【審査請求日】2020-08-27
(31)【優先権主張番号】201810162825.1
(32)【優先日】2018-02-27
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】511151662
【氏名又は名称】中興通訊股▲ふん▼有限公司
【氏名又は名称原語表記】ZTE CORPORATION
【住所又は居所原語表記】ZTE Plaza,Keji Road South,Hi-Tech Industrial Park,Nanshan Shenzhen,Guangdong 518057 China
(74)【代理人】
【識別番号】100079049
【弁理士】
【氏名又は名称】中島 淳
(72)【発明者】
【氏名】呉▲しょう▼
(72)【発明者】
【氏名】李明
(72)【発明者】
【氏名】呉平
【審査官】岩井 健二
(56)【参考文献】
【文献】特開2002-044622(JP,A)
【文献】特開2000-299857(JP,A)
【文献】国際公開第2016/209125(WO,A1)
【文献】国際公開第2001/069936(WO,A2)
【文献】米国特許出願公開第2008/0175325(US,A1)
【文献】仏国特許出願公開第02933837(FR,A1)
【文献】中国特許出願公開第102014284(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/70
(57)【特許請求の範囲】
【請求項1】
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成することと、を含み、
前記コード変換に利用可能なビットストリーム情報は、前記ビットストリームの符号化タイプ、前記ビットストリームの符号化の能力レベル、前記ビットストリームのダイナミックレンジ及び前記ビットストリームの符号化情報のうちの少なくとも一つを含み、
前記ビットストリームの符号化情報は、ビットストリームのブロック情報と、ビットストリームの残差と、ビットストリームのモード選択情報、ビットストリームの動き推定情報、及びビットストリームの量子化情報のうちの少なくとも一つと、を含み、
前記ビットストリームの残差は、前記コード変換済みのビットストリームに利用可能な残差、又は前記ビットストリームについての残差と前記コード変換済みのビットストリームについての残差との差分を含み、
前記コード変換をサポート可能なビットストリーム情報は、前記コード変換済みのビットストリームの符号化タイプ、前記コード変換済みのビットストリームの符号化の能力レベル及び前記コード変換済みのビットストリームのダイナミックレンジの少なくとも一つを含み、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成することは、
前記補助情報が、前記ビットストリームの前記符号化タイプを含む場合には、前記ビットストリームの前記符号化タイプによってサポートされた目標符号化タイプを取得し、受信側から要求された符号化タイプが、前記ビットストリームの前記符号化タイプと同一であるか、又は、前記目標符号化タイプに含まれているときには、前記ビットストリームにコード変換の操作を実行し、前記コード変換済みのビットストリームを生成することであり、
前記補助情報が、前記ビットストリームの前記符号化タイプと前記コード変換済みのビットストリームの前記符号化タイプとを含む場合には、前記ビットストリームの前記符号化タイプが前記コード変換済みのビットストリームの前記符号化タイプと一致するか否かを判定し、前記ビットストリームの前記符号化タイプが前記コード変換済みのビットストリームの前記符号化タイプと一致するときは、前記ビットストリームの前記符号化情報に従って、前記ビットストリームのコード変換の操作を実行し、前記コード変換済みのビットストリームを生成することである、
ビットストリームの処理方法。
【請求項2】
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、前記コード変換済みのビットストリームを生成した後に、
前記生成したコード変換済みのビットストリームに応じて新たな補助情報を生成することと、
前記生成した新たな補助情報を、前記生成したコード変換済みのビットストリームに付加することと、をさらに含む、
請求項1に記載の方法。
【請求項3】
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、前記生成したコード変換済みのビットストリームに付加すること、をさらに含む、
請求項1又は2に記載の方法。
【請求項4】
前記補助情報は、予め設定された識別子を運ぶデータユニットに位置し、前記データユニットは、前記ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む、
請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記データユニットが前記ビットストリームを伝送する前記補助情報ユニットであり、前記ビットストリームを伝送する前記補助情報ユニットが補足拡張情報SEIユニットである場合、前記補助情報は、前記SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
前記ビットストリームにおける補助情報を取得することは、
前記ビットストリームを解析し、前記SEIユニットを取得することと、
前記SEIユニットにおける前記ペイロードタイプフィールドが前記予め設定された識別子である位置で、前記補助情報を取得することを含む、請求項4に記載の方法。
【請求項6】
前記データユニットが前記ビットストリームを伝送する前記補助情報ユニットであり、前記ビットストリームを伝送する前記補助情報ユニットがビデオ適用情報VUIユニットである場合、前記補助情報は、前記VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
前記ビットストリームにおける補助情報を取得することは、
前記ビットストリームを解析し、前記VUIユニットを取得することと、
前記VUIユニットにおける前記コード変換情報マークフィールドが前記予め設定された値である位置で、補助情報を取得することを含む、請求項に記載の方法。
【請求項7】
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得するように構成される取得モジュールと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成するように構成される処理モジュールと、を備え、
前記コード変換に利用可能なビットストリーム情報は、前記ビットストリームの符号化タイプ、前記ビットストリームの符号化の能力レベル、前記ビットストリームのダイナミックレンジ、及び前記ビットストリームの符号化情報のうちの少なくとも一つを含み、
前記ビットストリームの符号化情報は、ビットストリームのブロック情報と、ビットストリームの残差と、ビットストリームのモード選択情報、ビットストリームの動き推定情報、及びビットストリームの量子化情報のうちの少なくとも一つと、を含み、
前記ビットストリームの残差は、前記コード変換済みのビットストリームに利用可能な残差、又は前記ビットストリームについての残差と前記コード変換済みのビットストリームについての残差との差分を含み、
前記コード変換をサポート可能なビットストリーム情報は、前記コード変換済みのビットストリームの符号化タイプ、前記コード変換済みのビットストリームの符号化の能力レベル及び前記コード変換済みのビットストリームのダイナミックレンジの少なくとも一つを含み、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成することは、
前記補助情報が、前記ビットストリームの前記符号化タイプを含む場合には、前記ビットストリームの前記符号化タイプによってサポートされた目標符号化タイプを取得し、受信側から要求された符号化タイプが、前記ビットストリームの前記符号化タイプと同一であるか、又は、前記目標符号化タイプに含まれているときには、前記ビットストリームにコード変換の操作を実行し、前記コード変換済みのビットストリームを生成することであり、
前記補助情報が、前記ビットストリームの前記符号化タイプと前記コード変換済みのビットストリームの前記符号化タイプとを含む場合には、前記ビットストリームの前記符号化タイプが前記コード変換済みのビットストリームの前記符号化タイプと一致するか否かを判定し、前記ビットストリームの前記符号化タイプが前記コード変換済みのビットストリームの前記符号化タイプと一致するときは、前記ビットストリームの前記符号化情報に従って、前記ビットストリームのコード変換の操作を実行し、前記コード変換済みのビットストリームを生成することである、
ビットストリームの処理装置。
【請求項8】
前記取得モジュールは、さらに、前記生成したコード変換済みのビットストリームに応じて新たな補助情報を生成するように構成され、
前記処理モジュールは、さらに、前記生成した新たな補助情報を、前記生成したコード変換済みのビットストリームに付加するように構成される、請求項に記載の装置。
【請求項9】
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加するように構成される付加モジュール、をさらに備える、
請求項7又は8に記載の装置。
【請求項10】
前記補助情報は、予め設定された識別子を運ぶデータユニットに位置し、前記データユニットは、前記ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む、請求項7~9のいずれか一項に記載の装置。
【請求項11】
前記データユニットが前記ビットストリームを伝送する前記補助情報ユニットであり、前記ビットストリームを伝送する前記補助情報ユニットが補足拡張情報SEIユニットである場合、前記補助情報は、前記SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
前記取得モジュールは、
前記ビットストリームを解析し、前記SEIユニットを取得し、
前記SEIユニットにおける前記ペイロードタイプフィールドが前記予め設定された識別子である位置で、前記補助情報を取得するように構成される、請求項10に記載の装置。
【請求項12】
前記データユニットが前記ビットストリームを伝送する前記補助情報ユニットであり、前記ビットストリームを伝送する前記補助情報ユニットがビデオ適用情報VUIユニットである場合、前記補助情報は、前記VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
前記取得モジュールは、
ビットストリームを解析し、前記VUIユニットを取得し、
前記VUIユニットにおける前記コード変換情報マークフィールドが前記予め設定された値である位置で、前記補助情報を取得するように構成される、請求項10に記載の装置。
【請求項13】
メモリと、プロセッサとを備え、前記メモリには、前記プロセッサによって実行されると、請求項1~6のいずれか一項に記載の方法を実現する命令が記憶される、
ビットストリームの処理装置。
【請求項14】
実行されると、請求項1~6のいずれか一項に記載の方法を実現するためのコンピュータ実行可能な命令が記憶される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2018年2月27日に中国特許局に出願された中国特許出願番号201810162825.1の中国特許出願に基づいて優先権を主張するものであり、その出願における全ての内容を引用により本出願に組み込まれる。
【0002】
本開示の実施例は、マルチメディアの技術分野に関し、例えばビットストリームの処理方法及び装置に関する。
【背景技術】
【0003】
マルチメディアサービスの発展に伴い、マルチメディアは、例えば、デジタル放送、ネットメディア、モバイルメディアなど様々な分野に広く適用されている。異質ネットワークでは、大量のメディアデータは効率的なメディアデータ配信ポリシーを採用し、異なるフォーマットの入力要求を持つ端末装置に適応して、ユーザのニーズを満たす。
【0004】
関連技術には、二つの解決方法があり、1つの方法は複数のビットストリームを記憶することであり、もう一つの方法はリアルタイムコード変換である。複数のビットストリームを記憶する方法について、該方法はメモリ空間を占有するため、記憶されるビットストリームが多すぎると、メモリ空間が不足する可能性が高い。リアルタイムコード変換はビットストリームを復号し、必要に応じて再符号化する方法であり、この方法は、実施中に1回の完全復号化及び1回の完全符号化が行われることに相当するため、計算量が多く、占有リソースが多く、コード変換の効率が悪い。
【発明の概要】
【0005】
本開示の実施例は、コード変換の効率を向上させることができるビットストリームの処理方法及び装置を提供する。
【0006】
一実施例では、本開示の実施例は、ビットストリームから、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成することと、を含む、ビットストリームの処理方法を提供する。
【0007】
本開示の実施例は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得するように構成される取得モジュールと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成するように構成される処理モジュールと、を備える、ビットストリームの処理装置をさらに提供する。
【0008】
一実施例において、本開示の実施例は、メモリと、プロセッサとを備え、前記メモリには、前記プロセッサによって実行されると、前記いずれかの実施例に記載の方法を実現する命令が記憶される、ビットストリームの処理装置をさらに提供する。
【0009】
一実施例において、本開示の実施例は、実行されると、前記いずれかの実施例に記載の方法を実現するためのコンピュータ実行可能な命令が記憶される、コンピュータ可読記憶媒体をさらに提供する。
【図面の簡単な説明】
【0010】
図面は、本開示の技術の様態を理解できるように提供するものであり、本説明書の一部を構成し、本出願の実施例と共に、本開示の技術の様態を説明するためのものであり、本開示の技術の様態を限定するものではない。
図1】本開示の実施例に係るビットストリームの処理方法のフローの模式図である。
図2】本開示の実施例に係るビットストリームの処理装置の構造模式図である。
図3】本開示の実施例に係る別のビットストリームの処理装置の構造模式図である。
【発明を実施するための形態】
【0011】
本出願における実施例及び実施例における特徴は、互いに矛盾しない限り任意に組み合わせることができる。
【0012】
図面のフローチャートに示されるステップは、コンピュータ実行可能命令のセットなどのコンピュータシステムにおいて実行できる。そして、論理的な順序がフローチャートに示されているが、場合によっては、示されたまたは説明されたステップが、ここの順序とは異なる順序で実行されてもよい。
【0013】
本開示の実施例は、ビットストリームの処理方法を提供し、図1に示すように、この方法はステップ110と、ステップ120とを含む。
【0014】
ステップ110では、ビットストリームにおける補助情報を取得する。
【0015】
ここで、補助情報は、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む。
【0016】
一実施例において、コード変換に利用可能なビットストリーム情報は、ビットストリームの符号化タイプと、ビットストリームの符号化の能力レベルと、ビットストリームのビットレートと、ビットストリームのフレームレートと、ビットストリームの画像解像度と、ビットストリームの色空間と、ビットストリームの輝度・彩度のサンプリングフォーマットと、ビットストリームのダイナミックレンジと、ビットストリームの符号化情報と、ビットストリームのユーザ定義情報とのうちの少なくとも1つを含む。ここで、ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、ビットストリームの残差は、コード変換済みのビットストリームに利用可能な残差、またはビットストリームについての残差とコード変換済みのビットストリームに利用可能な残差との差分を含む。
【0017】
一実施例において、コード変換をサポート可能なビットストリーム情報は、コード変換済みのビットストリームの符号化タイプと、コード変換済みのビットストリームの符号化の能力レベルと、コード変換済みのビットストリームのビットレートと、コード変換済みのビットストリームのフレームレートと、コード変換済みのビットストリームの画像解像度と、コード変換済みのビットストリームの色空間と、コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、コード変換済みのビットストリームのダイナミックレンジと、コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも1つを含む。
【0018】
一実施例において、符号化タイプとは、符号化に合致するビデオ規格のことであり、ここで、ビデオ規格は、高効率のビデオ符号化(High Efficiency Video Coding、HEVC)(H.265とも呼ばれる)、高度ビデオ符号化(Advanced Video Coding、AVC)(H.264とも呼ばれる)、インターネットビデオ画像圧縮規格(Moving PicturExperts Group、MPEG-4)、低ビットレートビデオ符号化規格(Low Bit Rate Video Coding、H.263)、デジタルビデオディスク(Digital Video Disc、DVD)/ビデオコンパクトディスク(Video Compact Disc、VCD)のビデオ画像圧縮規格MPEG2、Google社が開発したオープンフォーマット、ライセンス料のないビデオ圧縮規格(Next Gen Open Video、VP9)、マイクロソフト社が発表したストリームメディアフォーマット規格(Windows Media Video、WMV)などであってもよい。能力レベルとは、復号器がビットストリームを正しく復号するときに持つ必要がある能力レベルのことであり、ビットレートは、2Mbpsや10Mbpsなどであってもよく、フレームレートは、25fpsや30fpsなどであってもよく、画像解像度は、720pや1080pなどであってもよく、色空間は、色標準の輝度、彩度、濃度(Luminance、Chrominance、Chroma、YUV)、又は色標準の赤緑青(Red Green Blue、RGB)などであってもよく、輝度・彩度のサンプリングフォーマットは、YUV444、YUV420などであってもよく、ダイナミックレンジは、標準ダイナミックレンジ(Standard Dynamic Range、SDR)、又はハイダイナミックレンジ画像(High-Dynamic Range、HDR)などであってもよい。
【0019】
ステップ120において、補助情報を用いてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。
【0020】
一実施例において、補助情報がビットストリームの符号化タイプである場合、ビットストリームの符号化タイプがサポート可能な目標符号化タイプを取得する。受信側から要求された符号化タイプがビットストリームの符号化タイプと同一、または受信側から要求された符号化タイプが目標符号化タイプに含まれている場合、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。補助情報がビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプである場合、完全な符号化と復号化を行うか、部分的な符号化と復号化を行うかを判断する(すなわち、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプが一致するか否かを判断する)。部分的な符号化と復号化を行う(すなわち、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプが一致する)場合、ビットストリームの符号化情報に応じてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。
【0021】
補助情報がビットストリームの符号化の能力レベルである場合、ビットストリームの符号化の能力レベルがサポート可能な目標符号化の能力レベルを取得する。受信側から要求された符号化の能力レベルが目標符号化の能力レベル以下である場合、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。補助情報がビットストリームの符号化の能力レベル及びコード変換済みのビットストリームの符号化の能力レベルである場合、完全な符号化と復号化を行うか、部分的な符号化と復号化を行うかを判断し、後続のステップは補助情報がビットストリームの符号化タイプ及びコード変換済みのビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【0022】
補助情報がビットストリームのビットレートである場合、ビットストリームのビットレートがサポート可能な目標ビットレートを取得する。補助情報がビットストリームのフレームレートである場合、ビットストリームのフレームレートがサポート可能な目標フレームレートを取得する。補助情報がビットストリームの画像解像度である場合、ビットストリームの画像解像度がサポート可能な目標画像解像度を取得する。補助情報がビットストリームの色空間である場合、ビットストリームの色空間がサポート可能な目標色空間を取得する。補助情報がビットストリームの色度のサンプリングフォーマットである場合、ビットストリームの色度のサンプリングフォーマットがサポート可能な目標色度のサンプリングフォーマットを取得する。補助情報がビットストリームの色度ダイナミックレンジである場合、ビットストリームの色度ダイナミックレンジがサポート可能な目標色度ダイナミックレンジを取得する。後続のステップは補助情報がビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【0023】
補助情報がビットストリームのビットレート及びコード変換済みのビットストリームのビットレートである場合、補助情報がビットストリームのフレームレート及びコード変換済みのビットストリームのフレームレートである場合、または補助情報がビットストリームの画像解像度及びコード変換済みのビットストリームの画像解像度である場合、または補助情報がビットストリームの色空間とコード変換済みのビットストリームの色空間である場合、または補助情報がビットストリームの色度のサンプリングフォーマット及びコード変換済みのビットストリームの色度のサンプリングフォーマットである場合、または補助情報がビットストリームの色度ダイナミックレンジ及びコード変換済みのビットストリームの色度ダイナミックレンジである場合、完全な符号化と復号化を行うか、または部分的な符号化と復号化を行うかを判断し、後続のステップは補助情報がビットストリームの符号化タイプ及びコード変換済みのビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【0024】
補助情報がビットストリームの符号化情報である場合、例えば、コード変換の符号化中で、前記の符号化情報をそのまま用いて、前記の符号化情報を新たに生成するステップを省略し、コード変換済みのビットストリームを生成することができる。補助情報が、ビットストリームの残差情報を含む符号化情報である場合、部分的な符号化と復号化を行い、符号化中でビットストリームの残差情報をそのまま用いて、前記のビットストリームの符号化情報に付加し、残差及び前記符号化情報を新たに生成するステップを省略し、コード変換済みのビットストリームを生成する。補助情報がビットストリームのユーザ定義情報及びコード変換済みのビットストリームのユーザ定義情報のうちの少なくとも一方である場合、具体的なユーザ定義情報に従って、コード変換の操作を補助する。
【0025】
以下、いくつかの適用シーンにおける実施例を参照し、補助情報を用いてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する方法を説明する。
【0026】
実施例1
本実施例において、補助情報がビットストリームの符号化タイプ(ビットストリームの符号化タイプがH.265/HEVCである)及びコード変換済みのビットストリームの符号化タイプ(コード変換済みのビットストリームの符号化タイプがH.265/HEVCである)であると仮定し、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプとが同じであることから、完全な符号化と復号化を行ってもよいし、部分的な符号化と復号化を行ってもよいことがわかる。
【0027】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれているため、ビットストリームを復号化し、再構成画像を生成した後、コード変換で、符号化する際にモード選択や動き推定などの操作を行わなくなり、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【0028】
一実施例において、補助情報には、コード変換済みのビットストリームの残差、またはビットストリームについての残差とコード変換済みのビットストリームの残差との差分がさらに含まれるため、コード変換で、復号するのは、ビットストリームの残差のみが必要となり、再構成操作が不要であり、コード変換の符号化中でビットストリームの残差をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換をした後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【0029】
実施例2
本実施例において、補助情報がビットストリームの符号化タイプ(ビットストリームの符号化タイプがH.265/HEVCである)及びコード変換済みのビットストリームの符号化タイプ(コード変換済みのビットストリームの符号化タイプがH.264/AVCである)であると仮定し、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプとが異なり、補助情報からH.264/AVCの利用可能な符号化情報が解析されていない場合、完全な符号化と復号化を行う。補助情報からH.264/AVCの利用可能な符号化情報が解析された場合、部分的な符号化と復号化を行うことができる。
【0030】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれるとともに、符号化情報がコード変換済みのビットストリームの符号化タイプH.264/AVCの利用可能な情報であるため、復号ビットストリームが再構成画像を生成した後、再符号化する際にモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【0031】
一実施例において、補助情報には、コード変換済みのビットストリームの残差、またはビットストリームについての残差とコード変換済みのビットストリームの残差との差分がさらに含まれるため、コード変換で、復号するのは、ビットストリームの残差のみが必要となり、再構成操作が不要であり、コード変換の符号化中でビットストリームの残差をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換をした後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【0032】
実施例3
本実施例において、補助情報がビットストリームの色空間(ビットストリームの色空間がYUVである)及びコード変換済みのビットストリームの色空間(コード変換済みのビットストリームの色空間がRGBである)であると仮定するため、コード変換で、ビットストリーム再構成画像の色空間をYUVからRGBに変換してから、符号化の操作を行う。
【0033】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれて、これらの符号化情報がコード変換済みのビットストリームによってコード変換して利用される場合には、コード変換の符号化中でモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【0034】
実施例4
本実施例において、補助情報がビットストリームのダイナミックレンジ(ビットストリームのダイナミックレンジがSDRである)及びコード変換済みのビットストリームのダイナミックレンジ(コード変換済みのビットストリームのダイナミックレンジがHDRである)であると仮定するため、コード変換で、ビットストリームの再構成画像のダイナミックレンジをSDRからHDRに変換してから、符号化の操作を行う。一実施例において、補助情報には、標準ダイナミックレンジから高ダイナミックレンジまでのマッピングテーブルが運ばれてもよいし、マップ方式を特定する情報が運ばれてもよい。
【0035】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれて、これらの符号化情報がコード変換済みのビットストリームによってコード変換して利用される場合には、コード変換の符号化中でモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【0036】
実施例5
本実施例において、補助情報がビットストリームの解像度(ビットストリームの解像度が1080pである)及びコード変換済みのビットストリームの解像度(コード変換済みのビットストリームの解像度が720pである)であると仮定するため、コード変換で、ビットストリームの再構成画像を1080pから720pにダウンサンプルしてから、符号化の操作を行う。一実施例において、補助情報には、ダウンサンプルのフィルタテーブルが運ばれてもよいし、フィルタリング方式を特定する情報が運ばれてもよい。
【0037】
一実施例において、補助情報には、ビットストリームの符号化情報が含まれて、これらの符号化情報がコード変換済みのビットストリームによってコード変換して利用される場合には、コード変換の符号化中でモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【0038】
一実施例において、補助情報には、コード変換済みのビットストリームの残差、またはビットストリームの残差をダウンサンプルした後の残差とコード変換済みのビットストリームの残差との差分が含まれるため、コード変換中で、復号するのはビットストリームの残差のみが必要となり、再構成操作が不要であり、ビットストリームの残差をダウンサンプルし、コード変換の符号化中でビットストリームの残差のダウンサンプルした数値をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【0039】
本開示の実施例に係るビットストリームの処理方法は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することにより、補助情報がコード変換に利用可能なビットストリーム情報であるか、コード変換をサポート可能なビットストリーム情報であるかに関わらず、コード変換の操作を支援することができるため、コード変換の効率を向上させる。
【0040】
一実施例において、補助情報を用いてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成した後に、
生成したコード変換済みのビットストリームによって新たな補助情報を生成することと、
生成した新たな補助情報を、前記生成したコード変換済みのビットストリームに付加することと、を含む。
【0041】
一実施例において、この方法は、前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加すること、をさらに含む。
【0042】
一実施例において、生成した新たな補助情報を生成したコード変換済みのビットストリームに付加した後に、
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加すること、をさらに含む。
【0043】
一実施例において、補助情報は、予め設定された識別子を運ぶデータユニットに位置し、データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む。
【0044】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットが補足拡張情報(Supplemental Enhancement Information、SEI)ユニットである場合、補助情報は、SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
ビットストリームにおける補助情報を取得することは、
ビットストリームを解析し、SEIユニットを取得することと、
SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置で、補助情報を取得すること、を含む。
【0045】
一実施例において、SEIユニットにおいて、ペイロードタイプフィールドはpayloadTypeであってもよく、予め設定された識別子はTRANSCODING_INFOであってもよい。payloadSizeは、ペイロード長フィールドであってもよい。SEI_payload()は、SEIユニットのペイロードであってもよい。TRANSCODING_INFOの構造を表1に示すようにしてもよい。
【表1】
【0046】
表1に加えて、補助情報の表示を表2に示す。
【表2】
【0047】
表2に示すように、codec_INFOとは、ビットストリームの符号化タイプの情報であり、bitrate_INFOとは、ビットストリームのビットレートの情報であり、TRANSCODING_codec_INFOとは、コード変換済みのビットストリームの符号化タイプの情報であり、TRANSCODING_bitrate_INFOとは、コード変換済みのビットストリームのビットレートの情報である。
【0048】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがビデオ適用情報(Video Usability Information、VUI)ユニットである場合、補助情報は、VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
ビットストリームにおける補助情報を取得することは、
ビットストリームを解析し、VUIユニットを取得することと、
VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置で、補助情報を取得すること、を含む。
【0049】
一実施例において、VUIユニットにおいて、コード変換情報マークフィールドはTRANSCODING_INFO_flagであってもよく、予め設定された値は1であってもよい。TRANSCODING_INFO_flagの構造を表3に示すようにしてもよい。
【表3】
【0050】
表3に示すように、codec_INFOとは、ビットストリームの符号化タイプの情報であり、bitrate_INFOとは、ビットストリームのビットレートの情報であり、TRANSCODING_codec_INFOとは、コード変換済みのビットストリームの符号化タイプの情報であり、TRANSCODING_bitrate_INFOとは、コード変換済みのビットストリームのビットレートの情報である。VUI_parameters()はVUIユニットのパラメータであってもよい。
【0051】
一実施例において、システム層メディア記述ユニットから補助情報を取得してもよく、例えば、補助情報は表3に示すような構造である。補助情報は、例えば、トランスポートストリームでの記述子、ファイルフォーマットでのデータユニット(例えば、Boxフォーマットでのデータユニット)、トランスポートストリームでのメディア記述情報であり、例えば、メディアプレゼンテーション記述(Media Presentation Description、MPD)などの情報ユニットである。
【0052】
一実施例において、本開示の実施例に係るビットストリームの処理方法における補助情報は、複数のコード変換済みのビットストリームを生成するための複数のセットの情報を含むことができる。
【0053】
一実施例において、本開示の実施例に係るビットストリームの処理方法は、立体ビデオの処理にも適用可能であり、ビットストリームが立体ビデオデータにおける左視野情報であり、運んでいる補助情報が右視野に関するように設定されるため、受信側が立体ビデオを要求すると、補助情報を用いて右視野のビットストリームへ補助的にコード変換して、左視野のビットストリームと組み合わせて立体ビットストリームとして受信側に送信する。受信側が右視野のビデオを要求すると、補助情報を用いて右視野のビットストリームへ補助的にコード変換し、そのまま受信側に送信する。
【0054】
一実施例において、本開示の実施例に係るビットストリームの処理方法は、注目ビデオの処理にも適用可能であり、ビットストリームが全景ビデオであり、運んでいる補助情報がユーザの注目領域に関するように設定されるため、受信側が注目領域のビットストリームを要求すると、補助情報を用いて注目領域のビットストリームへ補助的にコード変換して出し、受信側に送信する。
【0055】
一実施例において、本開示の実施例に係るビットストリームの処理方法について、持っている補助情報は複数のセットのコード変換に利用可能なビットストリーム情報とコード変換をサポート可能なビットストリーム情報を含むことができ、受信側らかの要求に応じて、異なるコード変換に利用可能なビットストリーム情報またはコード変換をサポート可能なビットストリーム情報を用いることができる。
【0056】
本開示の実施例は、前記の実施例のいずれかに記載する方法を実行するためのコンピュータ実行可能な命令が記憶されているコンピュータ可読記憶媒体をさらに提供する。
【0057】
記憶媒体とは、任意の1つまたは複数の種類のメモリデバイスまたは記憶デバイスである。「記憶媒体」という用語は、例えば、コンパクトディスク読み取り専用メモリ(CompactDisc Read-Only Memory、CD-ROM)などの読み取り専用メモリ(Read-Only Memory、ROM)、フロッピー(登録商標)ディスクや磁気テープ装置、というインストール媒体と、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、(Double Data Rate Random Access Memory、DDR RAM)、スタティックランダムアクセスメモリ(Static Random-Access Memory、SRAM)、拡張データ出力ランダムアクセスメモリ(Extended Data Output Random Access Memory、EDO RAM)、ブルーバスランダムアクセスメモリ(Rambus Random Access Memory、Rambus RAM)などのコンピュータシステムメモリやランダムアクセスメモリと、フラッシュメモリ、磁気媒体(例えば、ハードディスクまたは光学ストレージ)などの不揮発性メモリと、レジスタまたはその他の同様のタイプのメモリ素子などと、を含むことを意図している。記憶媒体は、他のタイプのメモリまたはそれらの組合せも含み得る。
【0058】
本開示の実施例はビットストリームの処理装置を提供し、図2に示すように、当該ビットストリームの処理装置2は、
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得するように構成される取得モジュール210と、
補助情報を用いて、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成するように構成される処理モジュール220と、を備える。
【0059】
一実施例において、取得モジュール210は、さらに、生成したコード変換済みのビットストリームに応じて新たな補助情報を生成するように構成される。
【0060】
処理モジュール220は、さらに、生成した新たな補助情報を、生成したコード変換済みのビットストリームに付加するように構成される。
【0061】
一実施例において、当該ビットストリームの処理装置2は、前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加するように構成される、付加モジュール230をさらに備える。
【0062】
一実施例において、補助情報は、予め設定された識別子を運ぶデータユニットに位置し、データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む。
【0063】
一実施例において、コード変換に利用可能なビットストリーム情報は、ビットストリームの符号化タイプと、ビットストリームの符号化の能力レベルと、ビットストリームのビットレートと、ビットストリームのフレームレートと、ビットストリームの画像解像度と、ビットストリームの色空間と、ビットストリームの輝度・彩度のサンプリングフォーマットと、ビットストリームのダイナミックレンジと、ビットストリームの符号化情報と、ビットストリームのユーザ定義情報とのうちの少なくとも1つを含み、ここで、ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、ビットストリームの残差は、コード変換済みのビットストリームに利用可能な残差、またはビットストリームとコード変換済みのビットストリームに利用可能な残差の差分を含む。
【0064】
一実施例において、コード変換をサポート可能なビットストリーム情報は、コード変換済みのビットストリームの符号化タイプと、コード変換済みのビットストリームの符号化の能力レベルと、コード変換済みのビットストリームのビットレートと、コード変換済みのビットストリームのフレームレートと、コード変換済みのビットストリームの画像解像度と、コード変換済みのビットストリームの色空間と、コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、コード変換済みのビットストリームのダイナミックレンジと、コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも1つを含む。
【0065】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがSEIユニットである場合、補助情報は、SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
取得モジュール210は、
ビットストリームを解析し、SEIユニットを取得し、
SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置で、補助情報を取得するように構成される。
【0066】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがVUIユニットである場合、補助情報は、VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
取得モジュール210は、
ビットストリームを解析し、VUIユニットを取得し、
VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置で、補助情報を取得するように構成される。
【0067】
本開示の実施例に係るビットストリームの処理装置は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することにより、補助情報がコード変換に利用可能なビットストリーム情報であるか、コード変換をサポート可能なビットストリーム情報であるかに関わらず、コード変換の操作を支援することができるため、コード変換の効率を向上させる。
【0068】
実際の応用では、取得モジュール210と、処理モジュール220と、付加モジュール230とは、ビットストリームの処理装置に配置される中央処理装置(Central Processing Unit、CPU)、マイクロプロセッサ(Micro Processor Unit、MPU)、デジタル信号プロセッサ(Digital Signal Processor、DSP)またはフィールドプログラマブルゲートアレイ(Field Programmable Gate Array、FPGA)などによって実現することができる。
【0069】
本開示の実施例は、ビットストリームの処理を実現するための装置を提供する。図3に示すように、この装置は、メモリ310と、プロセッサ320とを備え、メモリ310には、
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することと、
補助情報を用いて、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成することと、を含む、プロセッサ320によって実行可能な命令が記憶される。
【0070】
一実施例において、メモリ310には、
生成したコード変換済みのビットストリームに応じて新たな補助情報を生成することと、
生成した新たな補助情報を生成したコード変換済みのビットストリームに付加することと、を含む、プロセッサ320によって実行可能な命令がさらに記憶される。
【0071】
一実施例において、メモリ310には、
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加することを含む、プロセッサ320によって実行可能な命令がさらに記憶される。
【0072】
一実施例において、補助情報は、予め設定された識別子を運ぶデータユニットに位置し、データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む。
【0073】
一実施例において、コード変換に利用可能なビットストリーム情報は、ビットストリームの符号化タイプと、ビットストリームの符号化の能力レベルと、ビットストリームのビットレートと、ビットストリームのフレームレートと、ビットストリームの画像解像度と、ビットストリームの色空間と、ビットストリームの輝度・彩度のサンプリングフォーマットと、ビットストリームのダイナミックレンジと、ビットストリームの符号化情報と、ビットストリームのユーザ定義情報とのうちの少なくとも1つを含み、ここで、ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、ビットストリームの残差は、コード変換済みのビットストリームに利用可能な残差、またはビットストリームについての残差とコード変換済みのビットストリームに利用可能な残差との差分を含む。
【0074】
一実施例において、コード変換をサポート可能なビットストリーム情報は、コード変換済みのビットストリームの符号化タイプと、コード変換済みのビットストリームの符号化の能力レベルと、コード変換済みのビットストリームのビットレートと、コード変換済みのビットストリームのフレームレートと、コード変換済みのビットストリームの画像解像度と、コード変換済みのビットストリームの色空間と、コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、コード変換済みのビットストリームのダイナミックレンジと、コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも1つを含む。
【0075】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがSEIユニットである場合、補助情報は、SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、メモリ310には、
ビットストリームを解析し、SEIユニットを取得することと、
SEIユニットにおけるペイロードタイプフィールドが予め設定された識別子の位置で補助情報を取得することと、を含む、プロセッサ320によって実行可能な命令が記憶される。
【0076】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットにおけるVUIユニットである場合、補助情報は、VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、メモリ310には、
ビットストリームを解析し、VUIユニットを取得することと、
VUIユニットにおけるコード変換情報マークフィールドが予め設定された値である位置で、補助情報を取得することと、を含む、プロセッサ320によって実行可能な命令が記憶される。

図1
図2
図3