特許第6614935号(P6614935)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧
<>
  • 特許6614935-映像符号化装置およびプログラム 図000002
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6614935
(24)【登録日】2019年11月15日
(45)【発行日】2019年12月4日
(54)【発明の名称】映像符号化装置およびプログラム
(51)【国際特許分類】
   H04N 19/85 20140101AFI20191125BHJP
   H04N 19/132 20140101ALI20191125BHJP
   H04N 19/172 20140101ALI20191125BHJP
   H04N 19/136 20140101ALI20191125BHJP
   H04N 19/46 20140101ALI20191125BHJP
【FI】
   H04N19/85
   H04N19/132
   H04N19/172
   H04N19/136
   H04N19/46
【請求項の数】4
【全頁数】9
(21)【出願番号】特願2015-224175(P2015-224175)
(22)【出願日】2015年11月16日
(65)【公開番号】特開2017-92868(P2017-92868A)
(43)【公開日】2017年5月25日
【審査請求日】2018年10月1日
【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(74)【代理人】
【識別番号】100064908
【弁理士】
【氏名又は名称】志賀 正武
(74)【代理人】
【識別番号】100108578
【弁理士】
【氏名又は名称】高橋 詔男
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】境田 慎一
【審査官】 冨田 高史
(56)【参考文献】
【文献】 特開2014−168150(JP,A)
【文献】 米国特許出願公開第2014/0177706(US,A1)
【文献】 三須他3名,超解像復元技術を用いる4K12ビット実時間映像符号化システム ,FIT2015 第14回情報科学技術フォーラム 講演論文集,一般社団法人情報処理学会 一般社団法人電子情報通信学会,2015年 8月24日,第3分冊,pp.291-294
【文献】 三須他4名,複数フレーム参照によるフレーム内挿法とその映像符号化への応用,FIT2012 第11回情報科学技術フォーラム 講演論文集,一般社団法人電子情報通信学会 一般社団法人情報処理学会,2012年 8月21日,第3分冊,pp.289-292
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
入力映像を、第一の超解像方法で超解像する第一超解像部と、
前記入力映像を、非可逆圧縮する映像符号化部と、
前記映像符号化部により非可逆圧縮された映像を復号する映像復号部と、
前記映像復号部が復号した映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部と、
前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部と、
前記選択部が選択した前記第二の超解像方法を表す補助情報を出力する情報出力部と
を備える映像符号化装置。
【請求項2】
前記第一の超解像方法は、前記複数の第二の超解像方法のいずれよりも、演算量が大きい、請求項1に記載の映像符号化装置。
【請求項3】
前記情報出力部は、前記補助情報を圧縮符号化して出力する、請求項1に記載の映像符号化装置。
【請求項4】
コンピュータを、
入力映像を、第一の超解像方法で超解像する第一超解像部、
前記入力映像を、非可逆圧縮する映像符号化部、
前記映像符号化部により非可逆圧縮された映像を復号する映像復号部、
前記映像復号部が復号した映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部、
前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部、
前記選択部が選択した前記第二の超解像方法を示す情報を出力する情報出力部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像符号化装置およびプログラムに関する。
【背景技術】
【0002】
映像の圧縮技術として、超解像技術を利用する方式が開示されている(例えば、特許文献1)。特許文献1の手法では、送信側で入力映像は、解像度を一旦削減される。そして、解像度が削減された映像は、既存の映像符号化方式による符号化装置によって符号化圧縮されて、ビット列として伝送される。一方、受信側では、受信したビット列は、既存の映像符号化方式による復号装置によって復号される。この復号により得られた映像信号は、超解像処理によって元の解像度に復元される。
【0003】
このとき、送信側でも超解像処理を試行し、入力映像を参照しつつ超解像処理をする際に用いる超解像パラメータが算出される。算出された超解像パラメータは、補助情報として送信側から受信側へ伝送され、受信側における超解像処理に用いられる。このように、受信側の超解像処理においても、解像度が削減されていない入力映像を参照して算出された超解像パラメータを用いているので、高画質な映像伝送を実現できる。すなわち、特許文献1の手法においては、送信側に高解像映像が入力され、これを低解像化して伝送し、受信側で高解像化する処理が行われることにより、画質の改善を得ている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第5419795号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の手法においては、送信側において、超解像パラメータを算出する際に、入力映像として、伝送する映像よりも高解像な映像が必要であるという問題がある。
【0006】
本発明は、このような事情に鑑みてなされたもので、送信側において、超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない映像符号化装置およびプログラムを提供する。
【課題を解決するための手段】
【0007】
(1)この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力映像を、第一の超解像方法で超解像する第一超解像部と、前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部と、前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部と、前記選択部が選択した前記第二の超解像方法を表す補助情報を出力する情報出力部とを備える映像符号化装置である。
【0008】
(2)また、本発明の他の態様は、(1)に記載の映像符号化装置であって、前記第一の超解像方法は、前記複数の第二の超解像方法のいずれよりも、演算量が大きい。
【0009】
(3)また、本発明の他の態様は、(1)に記載の映像符号化装置であって、前記入力映像を、非可逆圧縮する映像符号化部と、前記映像符号化部により非可逆圧縮された映像を復号する映像復号部とを備え、前記第二超解像部が前記複数の第二の超解像方法で超解像する前記入力映像は、前記映像復号部が復号した映像である。
【0010】
(4)また、本発明の他の態様は、(1)に記載の映像符号化装置であって、前記情報出力部は、前記補助情報を圧縮符号化して出力する。
【0011】
(5)また、本発明の他の態様は、コンピュータを、入力映像を、第一の超解像方法で超解像する第一超解像部、前記入力映像を、前記第一の超解像方法とは異なる複数の第二の超解像方法で超解像する第二超解像部、前記第一超解像部により超解像された映像と、前記複数の第二の超解像方法各々で超解像された映像とを比較して、前記複数の第二の超解像方法のうち、一つを選択する選択部、前記選択部が選択した前記第二の超解像方法を示す情報を出力する情報出力部として機能させるためのプログラムである。
【発明の効果】
【0012】
この発明によれば、超解像パラメータを算出する際に、伝送する映像よりも高解像な映像を必要としない。
【図面の簡単な説明】
【0013】
図1】この発明の一実施形態による映像伝送システムの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の実施の形態について説明する。図1は、この発明の一実施形態による映像伝送システムの構成を示す概略ブロック図である。映像伝送システム100は、映像符号化装置1、映像復号装置2、第一伝送手段9、第二伝送手段10を含む。映像符号化装置1と映像復号装置2とは第一伝送手段9と第二伝送手段10を通じて接続されている。
【0015】
映像符号化装置1は、入力された低解像映像L(入力映像)を圧縮符号化することで、符号化データを生成する。さらに、映像符号化装置1は、映像復号装置2における超解像処理に関するパラメータである補助情報を生成する。第一伝送手段9は、映像符号化装置1が生成した符号化データを、映像復号装置2に伝送する。第二伝送手段10は、映像符号化装置1が生成した補助情報を、映像復号装置2に伝送する。映像復号装置2は、第一伝送手段9により伝送された符号化データを復号し、さらに、この復号により得られた映像を、第二伝送手段10により伝送された補助情報を用いて超解像することで、超解像映像Hを生成する。超解像映像Hは、映像復号装置2の出力映像であり、低解像映像Lは、映像符号化装置1の入力画像である。超解像映像Hは、低解像映像Lよりも解像度の高い映像である。
【0016】
映像符号化装置1は、映像符号化手段3、第一超解像手段4、映像復号手段5、第二超解像手段6、選択手段7、補助情報符号化手段8を含む。第二超解像手段6は、候補超解像手段6−1〜6−Nを含む。なお、Nは、2以上の整数である。映像符号化手段3(映像符号化部)は、入力された低解像映像Lを圧縮してビット列に変換する。映像符号化手段3によるビット列への変換には、映像の符号化圧縮のための任意の方式を用いることができる。符号化圧縮のための方式は、可逆圧縮でも、非可逆圧縮でもよく、例えば、公知の映像符号化方式であるH.261、MPEG−2、MPEG−4、MPEG−4 AVC/H.264、MPEG−H HEVC/H.265、Motion JPEG、Motion JPEG2000、VC−1などを用いることができる。なお、可逆圧縮である場合は、映像復号手段5による復号結果は、低解像映像Lと同じになるので、映像復号手段5は不要である。
【0017】
第一超解像手段4(第一超解像部)は、低解像映像Lを第一の超解像方法で超解像することで、低解像映像Lの各フレームの解像度を増加させる。第一超解像手段4における超解像方法(第一の超解像方法)は、第二超解像手段6(第二超解像部)、すなわち候補超解像手段6−1から6−Nによる複数の超解像方法(複数の第二の超解像方法)とは異なる。第一超解像手段4における超解像方法は、第二超解像手段6のいずれよりも演算コスト(演算量)が大きい手法を用いることが好ましい。これは、演算コストが大きい手法の方が、より原画像に近い映像や、より美しい映像が得られることがある、すなわち、より高性能なためである。例えば、候補超解像手段6−1〜6−Nにはウェーブレット超解像などの単一フレーム超解像技術を用いるのに対し、第一超解像手段4には再構成型の複数フレーム超解像技術を用いる。あるいは、第一超解像手段4として、複数の解像度変換手法(例えば、自己合同型超解像、複数フレーム超解像、内挿補間など)を、低解像映像Lの画像特徴(エッジであるか平坦部であるか、動領域であるか否か、人物顔領域であるか否かなど)に応じてフレームや部分領域単位で切り替えて出力すべき映像を生成する手法を用いることも可能である。
【0018】
具体的には、第一超解像手段4には、特許第5405389号の手法を用い、候補超解像手段6−1〜6−Nには、特開2014−119949号公報の手法を用いるようにしてもよい。あるいは、第一超解像手段4と、候補超解像手段6−1〜6−Nとは、同じアルゴリズムであるが、超解像における、いずれかの繰り返し処理の繰り返し回数が第一超解像手段4の方が多くなるようにしていてもよい。
【0019】
映像復号手段5(映像復号部)は、映像符号化手段3で符号化されたビット列を復号することで、復号映像データを得る。映像復号手段5には、映像符号化手段3と同じ方式であって対をなす映像復号方式を用いる。
なお、映像符号化手段3が局部復号手段(ローカルデコーダ)を内部に備え、かつ局部復号(ローカルデコード)の結果を出力可能なものである場合には、映像復号手段5を省略し、映像復号手段5の出力(復号映像データ)の代わりに映像符号化手段3の局部復号の出力(局部復号映像データ)を利用しても構わない。
【0020】
候補超解像手段6−1〜6−Nの各々は、映像復号手段5が復号した復号映像データが表す復号映像を超解像することで、復号映像の各フレーム(または、映像符号化手段3からの局部復号出力映像フレーム、以下同じ)の解像度を増加させる。候補超解像手段6−1〜6−Nは、互いに異なる超解像の方式を用いる、あるいは、互いに値の異なるパラメータを用いる。これにより、同じフレームに対して、候補超解像手段6−1〜6−N毎に、異なる超解像結果が得られる。
【0021】
なお、本実施形態では、第二超解像手段6は、候補超解像手段6−1〜6−Nを有することで、互いに異なる複数の超解像方式を用いた超解像処理を行う、あるいは、互いに値の異なる複数のパラメータを用いた超解像処理を行うことができる。これに限らず、第二超解像手段6が有する一つの実行部が、超解像方式を切り替えたり、使用するパラメータを切り替えたりすることで、それぞれ異なる超解像方式を用いた複数の超解像処理を行う、あるいは、それぞれ異なる値のパラメータを用いた複数の超解像処理を行うようにしてもよい。
【0022】
選択手段7(選択部)は、第一超解像手段4および第二超解像手段6による超解像結果の画像各々が入力される。選択手段7は、第一超解像手段4による超解像結果を参照して、第二超解像手段6による超解像結果の中から、すくなくとも一つを選択する。選択手段7は、選択した超解像結果が、候補超解像手段6−1〜6−Nのうち、いずれによる超解像結果であるかを示す情報を、補助情報として補助情報符号化手段8に入力する。なお、補助情報は、選択手段7が選択した超解像結果の生成に用いられた超解像方式を示す情報であってもよいし、該超解像結果の生成に用いられたパラメータの値を示す情報であってもよい。
【0023】
選択手段7は、超解像結果の選択を、映像フレーム単位で行ってもよいし、映像フレームを分割した部分領域(例えば、ブロック)単位で行ってもよいし、あるいは複数フレームをまとめた画像列(例えば、映像符号化手段3におけるGroup of Pictures(GOP))単位で行ってもよい。
【0024】
図1のように、第二超解像手段6が複数の候補超解像手段(図1では、候補超解像手段6−1から候補超解像手段6−N)を有している形態では、選択手段7は候補超解像手段6−1から候補超解像手段6−Nのうちいずれの超解像結果が最も第一超解像手段4の出力画像に最も近いかを判定する。そして、選択手段7は、例えば候補超解像手段6−n(nは一以上N以下の整数)が最も近いときは、候補超解像手段6−nを示す識別子nを補助情報として出力する。
なお、選択手段7は、選択した超解像結果を得るための超解像処理を、映像復号装置2において実行できるようにするための情報を補助情報として出力すればよく、選択した超解像結果に用いられた超解像方式や、パラメータを示す情報であってもよい。
【0025】
選択手段7は、画像同士(または、画像の部分領域同士)の近さを判定する際の判定基準としては、例えば、誤差や構造類似性、画像特徴量、あるいはこれらの線形結合または非線形結合を用いることができる。誤差としては、例えば、候補超解像手段6−1から6−N各々の出力と第一超解像手段4の出力との二乗誤差和や絶対値誤差和を用いる。構造類似性としては、例えば、候補超解像手段6−1から6−N各々の出力と第一超解像手段4の出力との出力の間の構造類似性指標(Structural Similarity; SSIM)を用いる。また、画像特徴量としては、例えば、候補超解像手段6−1から6−N各々の出力の全変動(トータルバリエーション)値を用いる。
【0026】
補助情報符号化手段8(情報出力部)は、選択手段7の出力した判定結果を符号化圧縮し、符号化圧縮により得られたビット列を補助情報として出力する。補助情報符号化手段8の圧縮方式は任意であるが、可逆圧縮であることが好ましい。例えば、前記判定結果をビット列として表したものに対し、ハフマン符号化や算術符号化を適用したり、Lempel-Ziv-Welch法を適用する方式によることができる。
【0027】
第一伝送手段9は、映像符号化手段3の出力するビット列を伝送するための伝送路である。第二伝送手段10は、補助情報符号化手段8の出力するビット列を伝送するための伝送路である。第一伝送手段9と第二伝送手段10とは別々の伝送路であっても構わないし、同一の伝送路であっても構わない。また、第一伝送手段9と第二伝送手段10とで同一の伝送路を共有する場合であっても、映像符号化手段3の出力するビット列と補助情報符号化手段8の出力するビット列とを別ストリームで伝送しても構わないし、これらを多重化して伝送しても構わない。
【0028】
第一伝送手段9および第二伝送手段10としては、例えば、デジタル放送、インターネットなど有線、無線のいずれを用いても構わず、IP(Internet Protocol)、ISDB(Integrated Services Digital Broadcasting)各種方式などプロトコルや方式も問わない。また、第一伝送手段9および第二伝送手段10は、Blu−ray(登録商標)などの可搬媒体による伝送手段であってもよい。
【0029】
また、映像符号化手段3の出力するビット列と補助情報符号化手段8の出力するビット列とを多重化をする場合であっても、MPEG−2TS(Transport Stream)やMMT(MPEG Multimedia Transport)などその方式は任意である。ただし、第一伝送手段9および第二伝送手段10で送られる各ビット列のタイミングは同期が確保できるものとする。前記同期は、例えば第一伝送手段9および第二伝送手段10で送られる両ビット列に時刻情報を付加することで実現できるほか、特開2014−132730号公報で開示されているようなハッシュ値を用いる手法によっても実現可能である。あるいは、前記同期はMMTのような多重化技術を用いることによっても実現可能である。
【0030】
続いて、映像復号装置2の構成について説明する。図1に記載の映像復号装置2は、映像復号手段11と、第三超解像手段12と、補助情報復号手段13と、切替手段14とを含む。第三超解像手段は、候補超解像手段12−1〜12−Nを含む。映像復号手段11は、映像符号化手段3と対をなす復号手段であり、映像符号化手段3から出力され、第一伝送手段9を通じて受信したビット列を復号し映像信号を出力する。映像復号手段11の動作は映像復号手段5と同様である。
【0031】
候補超解像手段12−1〜12−Nの各々は、映像復号手段11が復号した復号映像データが表す復号映像を超解像することで、復号映像の各フレームの解像度を増加させる。候補超解像手段12−1〜12−Nは、それぞれ候補超解像手段6−1〜6−Nと同じ超解像処理を行う。したがって、同じフレームに対して、候補超解像手段12−1〜12−N毎に、異なる超解像結果が得られる。なお、第三超解像手段12も、第二超解像手段6と同様に、第三超解像手段12が有する一つの実行部が、超解像方式を切り替えたり、使用するパラメータを切り替えたりすることで、それぞれ異なる超解像方式を用いた複数の超解像処理を行う、あるいは、それぞれ異なる値のパラメータを用いた複数の超解像処理を行うようにしてもよい。また、第三超解像手段12は、候補超解像手段6−1〜6−Nそれぞれと同じ超解像処理を行う方が好ましいが、類似した結果が得られればよく、全く同じでなくても良い。
【0032】
補助情報復号手段13は、補助情報符号化手段8と対をなす復号処理を行う。補助情報復号手段13は、補助情報符号化手段8で生成され、第二伝送手段10を経由して伝送されてきた補助情報に関するビット列を復号し、このビット列から復号された補助情報を出力する。例えば、補助情報符号化手段8がハフマン符号化により情報圧縮を行った場合には、補助情報復号手段13は、補助情報符号化手段8で使用した符号木(ハフマン木)を用いて復号処理を行う。
【0033】
切替手段14は、補助情報復号手段13で復号された補助情報(選択手段7における判定結果)に従って候補超解像手段12−1から12−Nの出力を切り替えつつ、出力用の超解像映像Hを構成して出力する。切替手段14の切り替えの単位は、選択手段7における制御状態の判定の単位と一致させる。例えば、選択手段7がブロック単位で最適な制御状態の判定を行った場合には、切替手段14も同じブロック単位で切り替えを行う。
【0034】
なお、本実施形態において、切替手段14は、候補超解像手段12−1〜12−Nの後段に接続されており、候補超解像手段12−1〜12−Nの超解像結果のうちの一つを出力しているが、これに限らない。例えば、切替手段14が、候補超解像手段12−1〜12−Nの前段に接続されており、映像復号手段11の復号結果を入力する候補超解像手段を、補助情報に従い切り替えるようにしてもよい。このようにすることで、同じフレームに対して複数の候補超解像手段による処理を行う必要がなくなるので、より演算量を削減することができる。
【0035】
また、本実施形態において、映像符号化装置1に入力される低解像映像Lは圧縮符号化されていないが、圧縮符号化されていてもよい。その場合、映像符号化装置1は、映像符号化手段3を有していなくても良く、映像復号手段5は、入力された低解像映像Lを復号し、映像復号手段5の復号結果は、第二超解像手段6に加えて、第一超解像手段4にも入力されてもよい。また、第一伝送手段9が伝送するのは、映像符号化装置1に入力された低解像映像Lとしてもよい。
【0036】
このように、選択手段7は、第一超解像手段4により超解像された映像と、複数の第二の超解像方法各々で超解像された映像とを比較して、複数の第二の超解像方法のうち、一つを選択する。これにより、伝送する映像よりも高解像な映像を映像符号化装置1に入力しなくても、受信機側(映像復号装置2側)において、より高性能な超解像の手法に近い超解像結果を得ることができる。
さらに、候補超解像手段6−1〜6−N各々の演算量は、第一超解像手段4による演算量よりも少ない。これにより、より少ない演算量で、より高性能な超解像の結果を得ることができる。
【0037】
また、図1における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像符号化装置1、映像復号装置2を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0038】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0039】
また、上述した図1における映像符号化装置1、映像復号装置2の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず、専用回路、または汎用プロセッサで実現しても良い。ハイブリッド、モノリシックのいずれでも良い。一部は、ハードウェアにより、一部はソフトウェアにより機能を実現させても良い。
また、半導体技術の進歩により、LSIに代替する集積回路化等の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【0040】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0041】
1…映像符号化装置、2…映像復号装置、3…映像符号化手段、4…第一超解像手段、5…映像復号手段、6…第二超解像手段、7…選択手段、8…補助情報符号化手段、9…第一伝送手段、10…第二伝送手段、11…映像復号手段、12…第三超解像手段、13…補助情報復号手段、14…切替手段
図1