(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-02
(45)【発行日】2023-05-15
(54)【発明の名称】映像符号化ストリーム編集装置及びプログラム
(51)【国際特許分類】
H04N 19/40 20140101AFI20230508BHJP
H04N 19/593 20140101ALI20230508BHJP
【FI】
H04N19/40
H04N19/593
(21)【出願番号】P 2018245893
(22)【出願日】2018-12-27
【審査請求日】2021-11-26
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【氏名又は名称】福尾 誠
(72)【発明者】
【氏名】中島 奈緒
(72)【発明者】
【氏名】根本 慎平
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】井口 和久
(72)【発明者】
【氏名】神田 菊文
(72)【発明者】
【氏名】宮下 英一
【審査官】清山 昂平
(56)【参考文献】
【文献】特開平09-238347(JP,A)
【文献】特開2002-300528(JP,A)
【文献】特開2007-104182(JP,A)
【文献】特開2008-066845(JP,A)
【文献】特開2010-154502(JP,A)
【文献】特開2002-058023(JP,A)
【文献】米国特許出願公開第2016/0217827(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N19/00-19/98
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
フレーム間予測を用いて符号化された映像符号化ストリームに対して部分差替編集を行い、部分差替編集前の映像符号化ストリームである差替前ストリームから、部分差替編集後の映像符号化ストリームである差替後ストリームを生成する映像符号化ストリーム編集装置であって、
前記差替前ストリームのうち差替区間を含むGOPを復号して差替前映像を生成するデコーダと、
前記差替前映像の前記差替区間の映像を差替映像に入れ換えて差替後映像を生成する映像差替部と、
前記差替後映像のうち、前記差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に前記始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成する映像切出部と、
前記切出映像を符号化して、差替ストリームを生成するエンコーダと、
前記差替前ストリームの前記切出映像に該当する区間を前記差替ストリームに差替えて、前記差替後ストリームを生成する部分差替部と、
を備え
、
前記エンコーダは、前記差替ストリームの復号順で先頭のフレームをIピクチャとし、前記差替ストリームの表示順で最終のフレームをPピクチャ又はIピクチャとすることを特徴とする、映像符号化ストリーム編集装置。
【請求項2】
前記映像切出部は、前記差替区間を含むGOPの、前記差替区間の前記始点フレームのピクチャタイプを識別し、
該ピクチャタイプがIピクチャである場合には、前記差替後映像のうち、前記始点フレームから最終フレームまでを前記切出映像とし、
該ピクチャタイプがIピクチャでない場合には、前記差替後映像のうち、表示順で前記始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレームから最終フレームまでを前記切出映像とする
ことを特徴とする、請求項1に記載の映像符号化ストリーム編集装置。
【請求項3】
コンピュータを、請求項1又は2に記載の映像符号化ストリーム編集装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化ストリームの編集を行う映像符号化ストリーム編集装置及びプログラムに関する。
【背景技術】
【0002】
放送局では、そのまま番組として放送可能な完成プログラムを、AVC(Advanced Video Coding)/H.264などの映像符号化方式を用いて符号化した映像符号化ストリームの形態でファイル管理することが多い(例えば、非特許文献1参照)。完成プログラムのファイルは送出サーバに記録され、その送出時刻(放送時刻)を待つ。
【0003】
送出サーバに記録された完成プログラムに修正の必要な箇所が発見された場合には、その修正必要箇所のみを正しいコンテンツに差替える部分差替編集を行う。部分差替編集は、特定のカットに問題が有りこのカットのみを差替える場合や、テロップの文字に誤りが有りこのテロップが付加されたフレームのみを修正する場合などにしばしば行われる。
【0004】
非特許文献1に開示されたシステムでは、表1に記載するように、完成プログラムをAVC/H.264映像符号化方式で、フレーム内予測のみを用いて符号化したIピクチャのみで映像符号化ストリームを構成している。この映像符号化ストリームは、単体での復号が可能なIピクチャのみで構成されるため、部分差替編集を行う際に映像符号化ストリームをいったん復号して再度符号化する必要がない。そのため、任意のフレームを始点、終点とした区間の部分差替編集を容易に行うことができる。
【0005】
このように、非特許文献1に開示されたシステムでは、編集の容易さからIピクチャのみの構造(Intra Only)を採用している。ただし、Intra Onlyは編集が容易であるが、符号化効率が低くなる。一方、片方向予測によるフレーム間予測を用いて符号化されたPピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたBピクチャを用いた構造(Long GOP(Group of Picture))は、編集の容易さには難があるが、フレーム間の相関を活用する符号化を行うため、符号化効率が高いといった利点がある。
【0006】
非特許文献1に開示されたシステムはHD(High Definition)映像を対象とし、AVC/H.264、Intra Only、50Mbpsで運用しているが、今後の普及が見込まれる8Kスーパーハイビジョン映像を対象とする場合には、映像信号の情報量の増加に伴い、より符号化効率の高い符号化方式、GOP構造の採用が要求される。
【0007】
図6に、8Kスーパーハイビジョン映像をHEVC(High Efficiency Video Coding)/H.265で、Intra Only及びLong GOPで符号化した際の、ビットレートとPSNR(Peak Signal Noise Ratio)のグラフを示す。なお、PSNRの値が高いほど画質劣化が少ない。使用した符号化対象画像は、一般社団法人映像情報メディア学会(ITE)が提供する超高精細・広色域標準動画像-Aシリーズのテストチャートである楓(
図6(a))及び気動車(
図6(b))である。Long GOPのGOP構造は、M=4、N=32、Temporal_ID=2とした。この図から、8Kスーパーハイビジョン映像をHEVC/H.265で符号化する場合、Intra Onlyに対してLong GOPが有利であることが確認できる。
【0008】
また、特許文献1には、MPEGビデオストリーム1からI又はPピクチャの直前までの第1部分ストリームを切り出し、MPEGビデオストリーム2からI又はPピクチャ以降の第2部分ストリームを切り出し、第1部分ストリームと第2部分ストリームを結合して、編集後ストリーム3を生成する技術が開示されている。より詳細には、第2部分ストリームの直前に表示されるピクチャがIピクチャである場合には、該ピクチャをフレーム内符号化ピクチャとする。また、第2部分ストリームの直前に表示されるピクチャがIピクチャでない場合には、該ピクチャの直前にあるIピクチャから該ピクチャまでの片方向フレーム間予測符号化ピクチャを順に復号化することで、該ピクチャの復号画像を得て、フレーム内符号化により再符号化したピクチャをフレーム内符号化ピクチャとする。最後に、第1部分ストリームと、第2部分ストリームとの間に、フレーム内符号化ピクチャを挿入し、連結処理を行う。
【先行技術文献】
【特許文献】
【0009】
【非特許文献】
【0010】
【文献】「ファイルベース制作設備の導入」、新見他、映像メディア学会誌、Vol.67、No.5、pp.374~378、2013年
【発明の概要】
【発明が解決しようとする課題】
【0011】
HD映像を対象とした非特許文献1のシステムでは、完成プログラムをIntra Onlyで符号化しているが、8Kスーパーハイビジョン映像などの大容量映像を対象とする場合には、符号化効率の観点からLong GOPで符号化することが求められる。
【0012】
しかし、Pピクチャ及びBピクチャは単独での復号が不可能なため、GOP単位ではない区間を編集する場合、編集後の符号化ストリームを正しく復号することができない。この理由を、
図4を参照して説明する。図中のI,B,Pは、それぞれIピクチャ、Bピクチャ、Pピクチャを意味する。部分差替編集前の映像符号化ストリームである差替前ストリームのGOP構造が
図4(a)に示すものであった場合、2フレーム目から4フレーム目はBピクチャであるため、復号する際には前方のIピクチャである1フレーム目及び後方のPピクチャである5フレーム目を参照する。10フレーム目から12フレーム目はBピクチャであるため、復号する際には前方のPピクチャである9フレーム目及び後方のPピクチャである13フレーム目を参照する。13フレーム目はPピクチャであるため、復号する際には前方のPピクチャである9フレーム目を参照する。14フレーム目から16フレーム目はBピクチャであるため、復号する際には前方のPピクチャである13フレーム目及び後方のPピクチャ又はIピクチャを参照する。
【0013】
図4(b)は、部分差替編集前の映像符号化ストリームである差替前ストリームに対して、表示順で5フレーム目から9フレーム目までのフレーム(P#5,B#6,B#7,B#8,P#9)を、差替ストリーム(I#1’,B#2’,B#3’,B#4’,P#5’)に部分差替する場合を示している。このとき、部分差替編集後の映像符号化ストリームである差替後ストリームの2フレーム目から4フレーム目まで(B#2,B#3,B#4)は、参照すべきフレームであるP#5が存在しないため、正しく復号することができない。同様に、差替後ストリームの10フレーム目から13フレーム目まで(B#10,B#11,B#12,P#13)は、参照すべきフレームであるP#9が存在しないため、正しく復号することができない。また、13フレーム目(P#13)を正しく復号することができないため、13フレーム目を参照先フレームとする14フレーム目から16フレーム目まで(B#14,B#15,B#16)についても、正しく復号することができない。
【0014】
そこで、編集後の符号化ストリームを正しく復号可能なものとする手法を、
図5を参照して説明する。
図5は、部分差替編集前の映像符号化ストリームである差替前ストリームに対して、表示順で5フレーム目から9フレーム目までのフレーム(P#5,B#6,B#7,B#8,P#9)を、差替ストリーム(I#1’,B#2’,B#3’,B#4’,P#5’)に部分差替する場合を示している。まず、部分差替区間を含むGOPをGOP単位で復号し、差替前映像を生成する。その後、差替前映像を編集し、5フレーム目から9フレーム目(#5,#6,#7,#8,#9)を差替映像(#1’,#2’,#3’,#4’,#5’)に差替えて差替後映像を生成する。なお、差替えるべきデータを映像符号化ストリーム(差替ストリーム)として与えられた場合には、
図5に示すように差替ストリームを復号して差替映像を生成する必要がある。この方法によれば、差替後映像を正しく符号化することができる。しかしながら、既に符号化劣化の生じている差替前ストリームをいったん復号し、再度符号化するため、差替後ストリームの品質がさらに悪化してしまう。
【0015】
また、特許文献1に開示された技術では、上述したフレーム内符号化ピクチャを生成することにより、映像符号化ストリームを切り出して連結させることができるが、映像符号化ストリームの部分差替編集を行うことができないという問題があった。
【0016】
かかる事情に鑑みてなされた本発明の目的は、映像符号化ストリームの任意の区間を部分編集でき、且つ部分編集による品質の劣化を低減することが可能な映像符号化ストリーム編集装置、及びプログラムを提供することにある。
【課題を解決するための手段】
【0017】
上記課題を解決するため、本発明に係る映像符号化ストリーム編集装置は、フレーム間予測を用いて符号化された映像符号化ストリームに対して部分差替編集を行い、部分差替編集前の映像符号化ストリームである差替前ストリームから、部分差替編集後の映像符号化ストリームである差替後ストリームを生成する映像符号化ストリーム編集装置であって、前記差替前ストリームのうち差替区間を含むGOPを復号して差替前映像を生成するデコーダと、前記差替前映像の前記差替区間の映像を差替映像に入れ換えて差替後映像を生成する映像差替部と、前記差替後映像のうち、前記差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に前記始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成する映像切出部と、前記切出映像を符号化して、差替ストリームを生成するエンコーダと、前記差替前ストリームの前記切出映像に該当する区間を前記差替ストリームに差替えて、前記差替後ストリームを生成する部分差替部と、を備え、前記エンコーダは、前記差替ストリームの復号順で先頭のフレームをIピクチャとし、前記差替ストリームの表示順で最終のフレームをPピクチャ又はIピクチャとすることを特徴とする。
【0018】
さらに、本発明に係る映像符号化ストリーム編集装置において、前記映像切出部は、前記差替区間を含むGOPの、前記差替区間の前記始点フレームのピクチャタイプを識別し、該ピクチャタイプがIピクチャである場合には、前記差替後映像のうち、前記始点フレームから最終フレームまでを前記切出映像とし、該ピクチャタイプがIピクチャでない場合には、前記差替後映像のうち、表示順で前記始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレームから最終フレームまでを前記切出映像とすることを特徴とする。
【0019】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化ストリーム編集装置として機能させることを特徴とする。
【発明の効果】
【0020】
本発明によれば、映像符号化ストリームの任意のフレームを始点、終点とした区間を部分編集することができる。また、映像符号化ストリームを部分編集する際の品質劣化を低減することができる。
【図面の簡単な説明】
【0021】
【
図1】本発明の一実施形態に係る映像符号化ストリーム編集装置の構成例を示すブロック図である。
【
図2】本発明の一実施形態に係る映像符号化ストリーム編集装置の動作例を示すフローチャートである。
【
図3】本発明の一実施形態に係る映像符号化ストリーム編集装置の処理の具体例を説明する図である。
【
図4】編集後の符号化ストリームを正しく復号することができない例を説明する図である。
【
図5】編集後の符号化ストリームを正しく復号可能なものとする手法を説明する図である。
【
図6】8Kスーパーハイビジョン映像を符号化した際における、ビットレートに対するPSNRを示すグラフである。
【発明を実施するための形態】
【0022】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【0023】
図1に、本発明の一実施形態に係る映像符号化ストリーム編集装置1の構成例を示す。
図1に示す映像符号化ストリーム編集装置1は、差替位置指定部11と、デコーダ12と、映像差替部13と、映像切出部14と、エンコーダ15と、部分差替部16と、を備える。
【0024】
映像符号化ストリーム編集装置1は、フレーム間予測を用いて符号化された映像符号化ストリームの一部を別のストリームに差替える部分差替編集を行う装置である。以下の説明において、部分差替編集前の映像符号化ストリームを「差替前ストリーム」と称し、部分差替編集後の映像符号化ストリームを「差替後ストリーム」と称する。映像符号化ストリームはフレーム間予測を用いて符号化されているため、GOP構造はLong GOPとなる。ただし、本発明はClosed GOPを対象とし、Open GOPは対象外とする。
【0025】
送出サーバ20は、差替前ストリームを映像符号化ストリーム編集装置1のデコーダ12、部分差替部16、及び映像切出部14に送信する。また、送出サーバ20は、部分差替部16から、差替後ストリームを受信する。
【0026】
差替位置指定部11は、映像符号化ストリーム編集装置1の操作者により部分差替編集の始点及び終点が指定されると、部分差替編集の始点及び終点を示す始点・終点情報を生成する。そして、差替位置指定部11は、始点・終点情報をデコーダ12、映像差替部13、映像切出部14、及び部分差替部16に出力する。始点及び終点の指定は、例えばストリーム内のタイムコードや、表示順のフレーム番号を用いて指定することができる。また、映像符号化ストリームの任意の2枚フレームをそれぞれ始点、終点として指定することができ、始点及び終点で設定される差替区間はGOP単位でなくてもよい。
【0027】
デコーダ12は、差替位置指定部11から入力された始点・終点情報に基づいて、送出サーバ20から入力された差替前ストリームのうち、始点及び終点を含むGOP(すなわち、差替区間を含むGOPであり複数のGOPであってもよい)を復号して差替前映像を生成する。そして、デコーダ12は、生成した差替前映像を映像差替部13に出力する。
【0028】
映像差替部13は、映像符号化ストリーム編集装置1の周辺機器である編集機、録再機などから差替映像を取得する。また、映像差替部13は、デコーダ12から差替前映像を取得する。そして、映像差替部13は、差替位置指定部11から入力された始点・終点情報に基づいて、差替前映像の始点から終点(差替区間)の映像を差替映像に入れ換えて差替後映像を生成する。映像差替部13は、生成した差替後映像を映像切出部14に出力する。
【0029】
映像切出部14は、映像差替部13から入力された差替後映像のうち、差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成する。そして、映像切出部14は、生成した切出映像をエンコーダ15に出力する。
【0030】
エンコーダ15は、映像切出部14から入力された切出映像を符号化して、差替ストリームを生成する。そして、エンコーダ15は、生成した差替ストリームを部分差替部16に出力する。差替ストリームの復号順で先頭のフレームは、Iピクチャとなる。
【0031】
部分差替部16は、送出サーバ20から受信した差替前ストリームの切出映像に該当する区間を、エンコーダ15から入力された差替ストリームに差替えて差替後ストリームを生成する。そして、部分差替部16は、生成した差替後ストリームを送出サーバ20に送信する。
【0032】
図2は、映像符号化ストリーム編集装置1の動作例を示すフローチャートである。
図3は、映像符号化ストリーム編集装置1の処理の具体例を説明する図である。
図2及び
図3を参照して、映像符号化ストリーム編集装置1の動作について説明する。なお、
図3において、フレームのカウントは表示順で行うものとする。すなわち、
図3中のフレーム番号は表示順番号であるPOC(Picture Order Count)を意味するものとする。
【0033】
映像符号化ストリーム編集装置1は、差替位置指定部11により、差替位置を指定する(ステップS101)。
図3に示す例では、送出サーバ20から受信した差替前ストリームに対して、第nGOPの7フレーム目から10フレーム目の部分差替編集を行う。この場合、差替位置指定部11は、第nGOPの7フレーム目及び10フレーム目を示す情報を始点・終点情報として生成する。
【0034】
次に、映像符号化ストリーム編集装置1は、デコーダ12により、差替前ストリームのうち、差替区間を含むGOPを復号して差替前映像を生成する(ステップS102)。
図3に示す例では、デコーダ12は第nGOPを復号して差替前映像を生成する。
【0035】
次に、映像符号化ストリーム編集装置1は、映像差替部13により、差替映像を取得し、差替前映像の差替区間の映像を差替映像に入れ換えて、差替後映像を生成する(ステップS103)。
図3に示す例では、映像差替部13は、差替映像として#1’,#2’,#3’,#4’を取得する。
【0036】
次に、映像符号化ストリーム編集装置1は、映像切出部14により、差替区間を含むGOPのGOP構造を確認し、差替区間の始点フレームのピクチャタイプを識別する。映像切出部14は、差替区間の始点フレームのピクチャタイプがIピクチャである場合には(ステップS104-Yes)、差替後映像のうち、始点フレームから最終フレームまでを切出映像とする(ステップS105)。
【0037】
一方、映像切出部14は、差替区間の始点フレームのピクチャタイプがPピクチャ又はBピクチャである場合には(ステップS104-No)、差替後映像のうち、差替前ストリームの表示順(POC順)で始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレーム位置(POC)を特定する。そして、差替後映像のうち、先に特定したフレーム位置(POC)に該当するフレームから最終フレームまでを切出映像とする(ステップS106)。
【0038】
図3に示す例では、差替区間の始点フレーム(B#7)のピクチャタイプがBピクチャであるため、映像切出部14は、始点フレーム(B#7)の前方の直近に位置するPピクチャ(P#5)の1枚後のフレーム位置(6フレーム目)を特定する。そして、差替後映像のうち、6フレーム目(#6)から最終フレーム(#12)までを切出映像とする。
【0039】
次に、映像符号化ストリーム編集装置1は、エンコーダ15により、切出映像を符号化して差替ストリームを生成する(ステップS107)。その際、
図3に示すように、差替ストリームの復号順で先頭のフレームをIピクチャとする。また、差替ストリームの表示順で最終のフレームをPピクチャ又はIピクチャとする。差替ストリームの他のピクチャタイプは任意であるが、Iピクチャが増えると符号化効率が低下するため、Bピクチャ又はPピクチャとするのが好適である。
【0040】
次に、映像符号化ストリーム編集装置1は、部分差替部16により、差替前ストリームの切出映像に該当する区間を差替ストリームに差替えて差替後ストリームを生成する(ステップS108)。
図3に示す例では、差替後ストリームの第nGOPについて、最初の5フレーム(I#1,B#2,B#3,B#4,P#5)、及び最後の4フレーム(I#13,B#14,B#15,B#16)は差替前ストリームと同一である。よって、これらのフレームに関しては、再符号化による品質劣化が生じることはない。
【0041】
以上、映像符号化ストリーム編集装置1について説明したが、映像符号化ストリーム編集装置1として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、映像符号化ストリーム編集装置1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
【0042】
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROMなどの記録媒体であってもよい。
【0043】
上述したように、本発明においては、GOP構造がLong GOPである符号化ストリームに対して部分差替編集を施す際に、表示順で始点フレームより前に位置するフレームのうち、始点フレーム以降のフレームを参照しないフレームについては、元の編集前の映像符号化ストリームをそのまま利用する。よって、本発明によれば、映像符号化ストリームの部分編集を行っても、再符号化による画質劣化を低減することが可能となる。
【0044】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0045】
1 映像符号化ストリーム編集装置
11 差替位置指定部
12 デコーダ
13 映像差替部
14 映像切出部
15 エンコーダ
16 部分差替部
20 送出サーバ