特許第6445404号(P6445404)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
<>
  • 特許6445404-符号化方法及び符号化プログラム 図000002
  • 特許6445404-符号化方法及び符号化プログラム 図000003
  • 特許6445404-符号化方法及び符号化プログラム 図000004
  • 特許6445404-符号化方法及び符号化プログラム 図000005
  • 特許6445404-符号化方法及び符号化プログラム 図000006
  • 特許6445404-符号化方法及び符号化プログラム 図000007
  • 特許6445404-符号化方法及び符号化プログラム 図000008
  • 特許6445404-符号化方法及び符号化プログラム 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6445404
(24)【登録日】2018年12月7日
(45)【発行日】2018年12月26日
(54)【発明の名称】符号化方法及び符号化プログラム
(51)【国際特許分類】
   H04N 19/126 20140101AFI20181217BHJP
   H04N 19/176 20140101ALI20181217BHJP
   H04N 19/154 20140101ALI20181217BHJP
【FI】
   H04N19/126
   H04N19/176
   H04N19/154
【請求項の数】4
【全頁数】16
(21)【出願番号】特願2015-139842(P2015-139842)
(22)【出願日】2015年7月13日
(65)【公開番号】特開2017-22605(P2017-22605A)
(43)【公開日】2017年1月26日
【審査請求日】2017年8月30日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】特許業務法人 志賀国際特許事務所
(72)【発明者】
【氏名】三反崎 暁経
(72)【発明者】
【氏名】小野 尚紀
(72)【発明者】
【氏名】清水 淳
【審査官】 冨田 高史
(56)【参考文献】
【文献】 特開2003−179904(JP,A)
【文献】 特開2000−333177(JP,A)
【文献】 特開2002−374532(JP,A)
【文献】 特開2000−059779(JP,A)
【文献】 特表2008−510359(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 − 19/98
(57)【特許請求の範囲】
【請求項1】
符号化装置における符号化方法であって、
符号化する対象のフレームを含む動画像を取得するステップと、
前記動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示される前記ブロック同士の画質の差を小さくするステップと、
を有し、
前記画質の差を小さくするステップでは、前記符号化装置が、フレームにおける第1端の最大符号化単位内の符号化単位の構成と、同じフレームにおける第2端の最大符号化単位内の符号化単位の構成とを同じにする符号化方法。
【請求項2】
前記動画像のフレームが領域ごとに分割されている場合、前記領域における端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示される前記ブロック同士の画質の差を小さくするステップ
を更に有する、請求項1に記載の符号化方法。
【請求項3】
復号された動画像のフレームを取得するステップと、
前記復号された動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上であるブロックを抽出するステップと、
前記復号された動画像のフレームから抽出されたブロックに基づいて、符号化する対象のフレームにおける端に含まれているブロック同士の画質の差を小さくするステップと、
を更に有する、請求項1又は請求項2に記載の符号化方法。
【請求項4】
請求項1から請求項3のいずれか一項に記載の符号化方法をコンピュータに実行させるための符号化プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化方法及び符号化プログラムに関する。
【背景技術】
【0002】
近年、ブロードバンドサービスの普及に伴い、ネットワークを介して動画像のコンテンツを視聴することが容易になった。動画像のコンテンツを視聴することが容易になったことによって、ネットワーク上のデータの半分以上が動画像のデータになるとも言われている。動画像は、複数のフレーム(静止画)を含む。動画像の主観画質を向上させる方法として、量子化パラメータを用いる適応量子化(Adaptive Quantization)がある(特許文献1参照)。適応量子化では、視覚的に劣化が目立ち易い絵柄であるか否かに応じて、フレームを構成するマクロブロックのアクティビティが定められる。例えば、マクロブロックの絵柄において、視覚的に劣化の目立ち易い平坦な部分は、細かく量子化される。換言すれば、マクロブロックの絵柄において、視覚的に劣化の目立ち難い複雑な部分は、粗く量子化される。
【0003】
また、視野角360度となるように全天周画像を表示することによって、視聴者に高臨場感を与える画像サービスがある。全天周画像では、フレーム同士が空間的な連続性を持つよう隣接して表示される。すなわち、全天周画像では、フレームにおける端が他のフレームにおける端と隣接するように表示される。例えば、全天周画像では、フレームにおける右端が他のフレームにおける左端と隣接するように表示される。例えば、全天周画像では、フレームにおける上端が他のフレームにおける下端と隣接するように表示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−72143号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の符号化装置は、フレームにおける左上のマクロブロックから開始して右下のマクロブロックで終了する順に、フレームを符号化する。また、従来の符号化装置は、適応量子化を用いることによって、全天周画像のフレームの主観画質を向上させる。しかしながら、従来の符号化装置が全天周画像のフレームを符号化した場合、隣接して表示されるフレームにおける端同士の画質(符号化歪)に差が生じることがある。隣接して表示されるフレームにおける端同士の画質に差が生じた場合、全天周画像のフレームの主観画質は低下する。
【0006】
また、従来の符号化装置は、フレームに定められた領域(スライス)ごとに全天周画像のフレームを符号化する場合には、フレームの左端及び右端と、フレームの上端及び下端と、フレームのスライスの境界とにおける、全天周画像の画質(符号化歪)に差を生じさせてしまう場合があった。このように、従来の符号化装置は、隣接して表示される画像の境界で生じる画質の差を低減させることができないという問題がある。
【0007】
上記事情に鑑み、本発明は、隣接して表示される画像の境界で生じる画質の差を低減させることが可能である符号化方法及び符号化プログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の一態様は、符号化装置における符号化方法であって、符号化する対象のフレームを含む動画像を取得するステップと、前記動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示される前記ブロック同士の画質の差を小さくするステップと、を有する符号化方法である。
【0009】
本発明の一態様は、上記の符号化方法であって、前記動画像のフレームが領域ごとに分割されている場合、前記領域における端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示される前記ブロック同士の画質の差を小さくするステップを更に有する符号化方法である。
【0010】
本発明の一態様は、上記の符号化方法であって、復号された動画像のフレームを取得するステップと、前記復号された動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上であるブロックを抽出するステップと、前記復号された動画像のフレームから抽出されたブロックに基づいて、符号化する対象のフレームにおける端に含まれているブロック同士の画質の差を小さくするステップと、を更に有する符号化方法である。
【0011】
本発明の一態様は、上記の符号化方法をコンピュータに実行させるための符号化プログラムである。
【発明の効果】
【0012】
本発明により、隣接して表示される画像の境界で生じる画質の差を低減させることが可能となる。
【図面の簡単な説明】
【0013】
図1】第1の実施形態における、符号化装置の構成の例を示す図である。
図2】第1の実施形態における、スライスごとに分割されていないフレームを符号化する順の例を示す図である。
図3】第1の実施形態における、画質を制御する手順を示すフローチャートである。
図4】第2の実施形態における、スライスごとに分割されたフレームを符号化する順の例を示す図である。
図5】第2の実施形態における、画質を制御する手順を示すフローチャートである。
図6】第3の実施形態における、画質を制御する手順を示すフローチャートである。
図7】第4の実施形態における、画質を制御する手順を示すフローチャートである。
図8】第5の実施形態における、画質を制御する手順を示すフローチャートである。
【発明を実施するための形態】
【0014】
本発明の実施形態について、図面を参照して詳細に説明する。
(第1の実施形態)
図1は、符号化装置10の構成の例を示す図である。符号化装置10は、取得部11と、記憶部12と、符号化部13と、出力部14とを備える。取得部11と、符号化部13と、出力部14との一部または全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、メモリに記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。
【0015】
取得部11は、全天周画像であって、符号化する対象のフレーム(原画像)を取得する。画像は、静止画でもよいし、動画像でもよい。以下では、取得部11は、一例として動画像を取得する。動画像は、複数のフレーム(静止画)を含む。全天周画像では、フレーム同士が空間的な連続性を持つよう隣接して表示される。すなわち、全天周画像では、フレームにおける端が他のフレームにおける端と隣接するように表示される。第1の実施形態では、フレームは、領域(スライス)ごとに分割されていない。取得部11は、符号化する対象のフレームを含む動画像を、符号化部13に転送する。
【0016】
記憶部12は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)などの不揮発性の記憶媒体(非一時的な記録媒体)を有する。記憶部12は、例えば、RAM(Random Access Memory)やレジスタなどの揮発性の記憶媒体を有していてもよい。記憶部12は、例えば、ソフトウェア機能部を機能させるためのプログラムを記憶してもよい。記憶部12は、例えば、符号化処理に用いられるパラメータを記憶してもよい。パラメータは、例えば、量子化パラメータ(QP: Quantization Parameter)である。記憶部12は、例えば、ピーク信号対雑音比(PSNR: Peak Signal to Noise Ratio)を表すデータを記憶してもよい。記憶部12は、閾値を記憶してもよい。
【0017】
符号化部13は、複数のフレームを含む動画像を、取得部11から取得する。符号化部13は、複数のフレームを符号化する。符号化部13は、例えば、符号化プログラムを実行することによってフレームを符号化する。符号化部13は、符号化したフレームを出力部14に送信する。符号化部13は、符号化したフレームを記憶部12に記憶させてもよい。
【0018】
図2は、スライスごとに分割されていないフレームを符号化する順の例を示す図である。図2では、フレームにおける上端にはブロックA1〜A10が定められている。フレームにおける下端にはブロックB1〜B10が定められている。
【0019】
全天周画像では、フレームにおける上端のブロックA1〜A10と、他のフレームにおける下端のブロックB1〜B10とは、隣接して表示される。フレームにおける左上端のブロックA1と、他のフレームにおける右上端のブロックA10とは、隣接して表示される。フレームにおける左下端のブロックB1と、他のフレームにおける右下端のブロックB10とは、隣接して表示される。
【0020】
符号化部13は、フレームにおける左上のブロックA1から開始して右下のブロックB10で終了する順に、フレームをブロックごとに符号化する。符号化部13は、第2ブロックを符号化する場合、第1ブロックで用いられた量子化パラメータQPに基づいて、第1ブロックに隣接して表示される第2ブロックで用いる量子化パラメータQPを定める。
【0021】
例えば、符号化部13は、ブロックB1を符号化する場合、ブロックB1に隣接して表示されるブロックA1で用いられた量子化パラメータQP(A1)に基づいて、ブロックB1で用いる量子化パラメータQP(B1)を定める。符号化部13は、ブロックB1を符号化する場合、ブロックB1に隣接して表示されるブロックA1で用いられた量子化パラメータQP(A1)と量子化パラメータQP(B1)との差ΔQPを算出する。すなわち、符号化部13は、フレームにおける上端及び下端について、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(A1)−QP(B1)|)である。
【0022】
符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上であるか否かを判定する。閾値QPは、画質の目標値として予め定められる。符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上である場合、式(1)を満たすように量子化パラメータQPの差ΔQPを調整する。これによって、符号化部13は、隣接して表示されるブロック同士の画質(符号化歪)の差を低減させることができる。すなわち、符号化部13は、全天周画像の画質を制御することができる。
【0023】
ΔQP<QP …(1)
【0024】
ここで、QPは、QP以下の閾値である。符号化部13は、ブロックA1よりも後に符号化されるブロックB1の量子化パラメータQP(B1)を調整してもよいし、ブロックB1よりも先に符号化されるブロックA1の量子化パラメータQP(A1)を調整してもよい。例えば、符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上である場合、量子化パラメータQP(B1)を小さくする。なお、符号化部13は、量子化パラメータQPの差ΔQPが閾値QP未満である場合には、量子化パラメータQPを調整しなくてもよい。
【0025】
例えば、符号化部13は、ブロックB2を符号化する場合、ブロックB2に隣接して表示されるブロックA2で用いられた量子化パラメータQP(A2)に基づいて、ブロックB2で用いる量子化パラメータQP(B2)を定める。符号化部13は、ブロックB2を符号化する場合、ブロックB2に隣接して表示されるブロックA2で用いられた量子化パラメータQP(A2)と量子化パラメータQP(B2)との差ΔQPを算出する。すなわち、符号化部13は、フレームにおける上端及び下端について、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(A2)−QP(B2)|)である。フレームにおける上端及び下端の他のブロックについても同様である。
【0026】
符号化部13は、ブロックA10を符号化する場合、ブロックA10に隣接して表示されるブロックA1で用いられた量子化パラメータQP(A1)に基づいて、ブロックA10で用いる量子化パラメータQP(A10)を定める。符号化部13は、ブロックA10を符号化する場合、ブロックA10に隣接して表示されるブロックA1で用いられた量子化パラメータQP(A1)と量子化パラメータQP(A10)との差ΔQPを算出する。すなわち、符号化部13は、フレームにおける左端及び右端について、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(A1)−QP(A10)|)である。フレームにおける左端及び右端の他のブロックについても同様である。
【0027】
出力部14は、符号化されたフレームを表示装置に出力する。表示装置は、符号化されたフレームを復号し、復号したフレームを含む動画像を全天周画像として表示する。すなわち、出力部14は、複数のフレームが隣接して表示されるように、表示装置に動画像を出力する。
【0028】
図3は、画質を制御する手順を示すフローチャートである。符号化部13は、符号化する対象のフレーム(原画像)を取得する(ステップS101)。符号化部13は、符号化する対象のフレームにおける第1端のブロックの量子化パラメータQPと、符号化する対象のフレームにおける第2端のブロックの量子化パラメータQPとの差ΔQP12が閾値QP以上であるか否かを判定する。例えば、第1端が上端である場合、第2端は、第1端に正対する端である下端である。例えば、第1端が左端である場合、第2端は、第1端に正対する端である右端である(ステップS102)。
【0029】
差ΔQP12が閾値QP未満である場合(ステップS102:No)、符号化部13は、量子化パラメータQPを調整する処理を終了する。差ΔQP12が閾値QP以上である場合(ステップS102:Yes)、符号化部13は、差ΔQP12を閾値QP未満にする(ステップS103)。符号化部13は、量子化パラメータQPを調整する処理を終了する。
【0030】
以上のように、第1の実施形態の符号化方法は、符号化装置10における符号化方法であって、符号化する対象のフレームを含む動画像を取得部11が取得するステップと、動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示されるブロック同士の画質の差を小さくするステップとを有する。画質の差は、例えば、量子化パラメータQPの差である。画質の差は、例えば、符号化歪の差である。
【0031】
これによって、第1の実施形態の符号化装置10は、隣接して表示される画像の境界で生じる画質の差を低減させることが可能である。
【0032】
第1の実施形態の符号化装置10は、フレームにおいて互いに正対する端(反対端)同士が表示される際に連続性を有する画像(例えば、全天周画像)をユーザが視聴する場合、フレームにおける上端及び下端の画質(符号化歪)の差を低減し、隣接して表示されるフレームを含む動画像の主観画質を改善することが可能である。
【0033】
第1の実施形態の符号化装置10は、フレームにおいて互いに正対する端同士が表示される際に連続性を有する動画像をユーザが視聴する場合、フレームにおける左端及び右端の画質(符号化歪)の差を低減し、隣接して表示されるフレームを含む動画像の主観画質を改善することが可能である。
【0034】
(第2の実施形態)
第2の実施形態では、フレームが複数の領域(スライス)ごとに分割されている点が、第1の実施形態と相違する。第2の実施形態では、第1の実施形態との相違点についてのみ説明する。
【0035】
図4は、スライスごとに分割されたフレームを符号化する順の例を示す図である。図4では、フレームは、スライス1〜4に分割されている。スライス1は、フレームにおける左上に定められている。スライス2は、フレームにおける右上に定められている。スライス3は、フレームにおける左下に定められている。スライス4は、フレームにおける右下に定められている。なお、フレームは、矩形以外の領域に分割されていてもよい。
【0036】
図4では、スライス1における上端にはブロックC1〜C10が定められている。スライス1における下端にはブロックC21〜C30が定められている。スライス2における上端にはブロックD1〜D10が定められている。スライス2における下端にはブロックD21〜D30が定められている。スライス3における上端にはブロックE1〜E10が定められている。スライス3における下端にはブロックE21〜E30が定められている。スライス4における上端にはブロックF1〜F10が定められている。スライス4における下端にはブロックF21〜F30が定められている。
【0037】
したがって、スライス1のブロックC21〜C30は、スライス3のブロックE1〜E10に隣接している。スライス2のブロックD21〜D30は、スライス4のブロックF1〜F10に隣接している。スライス1のブロックC10とC20とC30とは、スライス2のブロックD1とD11とD21とに隣接している。スライス3のブロックE10とE20とE30とは、スライス4のブロックF1とF11とF21とに隣接している。
【0038】
全天周画像では、スライス1のブロックC1〜C10と、スライス3のブロックE21〜E30とは、隣接して表示される。スライス2のブロックD1〜D10と、スライス4のブロックF21〜F30とは、隣接して表示される。スライス1のブロックC1とC11とC21と、スライス2のブロックD10とD20とD30とは、隣接して表示される。スライス3のブロックE1とE11とE21と、スライス4のブロックF10とF20とF30とは、隣接して表示される。
【0039】
符号化部13は、スライス1における左上のブロックC1から開始して右下のブロックC30で終了する順に、スライス1をブロックごとに符号化する。スライス2〜4についても同様である。符号化部13は、第2ブロックを符号化する場合、第1ブロックで用いられた量子化パラメータQPに基づいて、第1ブロックに隣接して表示される第2ブロックで用いる量子化パラメータQPを定める。
【0040】
例えば、符号化部13は、ブロックE21を符号化する場合、ブロックE21に隣接して表示されるブロックC1で用いられた量子化パラメータQP(C1)に基づいて、ブロックE21で用いる量子化パラメータQP(E21)を定める。符号化部13は、ブロックE21を符号化する場合、ブロックE21に隣接して表示されるブロックC1で用いられた量子化パラメータQP(C1)と量子化パラメータQP(E21)との差ΔQPを算出する。すなわち、符号化部13は、スライス1における上端(フレームにおける上端)とスライス3における下端(フレームにおける下端)とについて、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(C1)−QP(E21)|)である。
【0041】
符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上であるか否かを判定する。閾値QPは、画質の目標値として予め定められる。符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上である場合、式(1)を満たすように量子化パラメータQPの差ΔQPを調整する。これによって、符号化部13は、隣接して表示されるブロック同士の画質(符号化歪)の差を低減させることができる。すなわち、符号化部13は、全天周画像の画質を制御することができる。
【0042】
符号化部13は、ブロックC1よりも後に符号化されるブロックE21の量子化パラメータQP(E21)を調整してもよいし、ブロックE21よりも先に符号化されるブロックC1の量子化パラメータQP(C1)を調整してもよい。例えば、符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上である場合、量子化パラメータQP(E21)を小さくする。なお、符号化部13は、量子化パラメータQPの差ΔQPが閾値QP未満である場合には、量子化パラメータQPを調整しなくてもよい。
【0043】
例えば、ブロックE22を符号化する場合、ブロックE22に隣接して表示されるブロックC2で用いられた量子化パラメータQP(C2)に基づいて、ブロックE22で用いる量子化パラメータQP(E22)を定める。符号化部13は、ブロックE22を符号化する場合、ブロックE22に隣接して表示されるブロックC2で用いられた量子化パラメータQP(C2)と量子化パラメータQP(E22)との差ΔQPを算出する。すなわち、符号化部13は、スライス1における上端(フレームにおける上端)とスライス3における下端(フレームにおける下端)とについて、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(A2)−QP(B2)|)である。スライス1における上端とスライス3における下端との他のブロックについても同様である。また、スライス2における上端とスライス4における下端との他のブロックについても同様である。
【0044】
符号化部13は、ブロックD10を符号化する場合、ブロックD10に隣接して表示されるブロックC1で用いられた量子化パラメータQP(C1)に基づいて、ブロックD10で用いる量子化パラメータQP(D10)を定める。符号化部13は、ブロックD10を符号化する場合、ブロックD10に隣接して表示されるブロックC1で用いられた量子化パラメータQP(C1)と量子化パラメータQP(D10)との差ΔQPを算出する。すなわち、符号化部13は、スライス1における左端(フレームにおける左端)とスライス2における右端(フレームにおける右端)とについて、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(C1)−QP(D10)|)である。スライス3における左端とスライス4における右端との他のブロックについても同様である。
【0045】
同じフレームがスライスごとに分割されている場合、スライス同士の境界(以下、「スライス境界」という。)のブロックについても同様である。
【0046】
例えば、スライス1における右端とスライス2における左端とについて、符号化部13は、ブロックD1を符号化する場合、ブロックD1に隣接して表示されるブロックC10で用いられた量子化パラメータQP(C10)に基づいて、ブロックD1で用いる量子化パラメータQP(D1)を定める。
【0047】
符号化部13は、ブロックD1を符号化する場合、ブロックD1に隣接して表示されるブロックC10で用いられた量子化パラメータQP(C10)と量子化パラメータQP(D1)との差ΔQPを算出する。すなわち、符号化部13は、スライス1における右端とスライス2における左端とについて、ブロックの量子化パラメータQPの差ΔQPを算出する。差ΔQPは、例えば、(ΔQP=|QP(C10)−QP(D1)|)である。
【0048】
符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上であるか否かを判定する。符号化部13は、量子化パラメータQPの差ΔQPが閾値QP以上である場合、式(2)を満たすように量子化パラメータQPの差ΔQPを調整する。これによって、符号化部13は、フレームの画質(符号化歪)の差を低減させることができる。すなわち、符号化部13は、全天周画像の画質を制御することができる。
【0049】
ΔQP≦ΔQP …(2)
【0050】
符号化部13は、スライス境界のブロックの量子化パラメータQPの差と、フレームにおける端のブロックの量子化パラメータQPの差とを比較し、比較結果に基づいて、ブロックの量子化パラメータQPを調整してもよい。例えば、フレームにおける端のブロックの量子化パラメータQPの差がスライス境界のブロックの量子化パラメータQPの差よりも大きい場合、符号化部13は、フレームにおける端のブロックの量子化パラメータQPを調整する。
【0051】
例えば、符号化部13は、フレームにおける端のブロックC1の量子化パラメータQPとブロックD10の量子化パラメータQPとの差ΔQP(=|QP(C1)−QP(D10)|)と、スライス境界のブロックC10の量子化パラメータQPとブロックD1の量子化パラメータQPとの差ΔQP(=|QP(C10)−QP(D1)|)とを比較する。
【0052】
符号化部13は、フレームにおける端のブロックの量子化パラメータQPに基づく差ΔQPがスライス境界のブロックの量子化パラメータQPに基づく差ΔQP以上である場合、差ΔQPを小さくするように、量子化パラメータQP(C1)又は量子化パラメータQP(D10)を調整する。すなわち、符号化部13は、式(3)が満たされている場合、差ΔQPを小さくするように、量子化パラメータQP(C1)又は量子化パラメータQP(D10)を調整する。
【0053】
ΔQP≧ΔQP …(3)
【0054】
例えば、符号化部13は、フレームにおける端のブロックC11の量子化パラメータQPとブロックD20の量子化パラメータQPとの差ΔQP(=|QP(C11)−QP(D20)|)と、スライス境界のブロックC20の量子化パラメータQPとブロックD11の量子化パラメータQPとの差ΔQP(=|QP(C20)−QP(D11)|)とを比較する。
【0055】
符号化部13は、フレームにおける端のブロックの量子化パラメータQPに基づく差ΔQPがスライス境界のブロックの量子化パラメータQPに基づく差ΔQP以上である場合、差ΔQPを小さくするように、量子化パラメータQP(C11)又は量子化パラメータQP(D20)を調整する。すなわち、符号化部13は、式(3)が満たされている場合、差ΔQPを小さくするように、量子化パラメータQP(C11)又は量子化パラメータQP(D20)を調整する。他のブロックについても同様である。
【0056】
図5は、画質を制御する手順を示すフローチャートである。符号化部13は、符号化する対象のフレーム(原画像)を取得する(ステップS201)。符号化部13は、符号化する対象のフレームがスライスごとに分割されているか否かを判定する(ステップS202)。符号化する対象のフレームがスライスごとに分割されていない場合(ステップS202:No)、符号化部13は、量子化パラメータQPを調整する処理を終了する。
【0057】
符号化する対象のフレームがスライスごとに分割されている場合(ステップS202:Yes)、符号化部13は、符号化する対象のフレームについて、スライスにおける第3端のブロックの量子化パラメータQPと、隣接する他のスライスにおける第4端のブロックの量子化パラメータQPとの差ΔQP34が閾値QP以上であるかを判定する。例えば、第3端が下端である場合、第4端は、第3端に正対する端である上端である。例えば、第3端が右端である場合、第4端は、第3端に正対する端である左端である(ステップS203)。差ΔQP34が閾値QP以上である場合(ステップS203:Yes)、符号化部13は、差ΔQP34を閾値QP未満にする(ステップS204)。符号化部13は、量子化パラメータQPを調整する処理を終了する。
【0058】
以上のように、第2の実施形態の符号化方法は、符号化装置10における符号化方法であって、動画像のフレームが領域(スライス)ごとに分割されている場合、領域における端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示されるブロック同士の画質の差を小さくするステップを更に有する。
【0059】
これによって、第2の実施形態の符号化装置10は、隣接して表示される画像の境界で生じる画質の差を低減させることが可能である。
【0060】
(第3の実施形態)
第3の実施形態では、復号されたフレーム(デコード画像)等の量子化パラメータを用いて画質(符号化歪)の差を抽出する点が、第1の実施形態と相違する。第3の実施形態では、第1の実施形態との相違点についてのみ説明する。
【0061】
取得部11は、全天周画像であって、符号化する対象のフレーム(原画像)を取得する。取得部11は、全天周画像であって、復号されたフレームを更に取得する。
【0062】
符号化13は、復号されたフレームを、取得部11から取得する。符号化13は、復号されたフレームのブロックにおける量子化パラメータQPの差ΔQP(符号化歪の差)を、ブロックごとに抽出する。符号化13は、復号されたフレームからブロックごとに抽出された差ΔQPに基づいて、符号化する対象のフレームにおいて差ΔQPが閾値以上であるブロックを検出する。
【0063】
なお、符号化13は、復号されたフレームを取得する代わりに、符号化に用いるローカルデコード画像又は予測画像のブロックにおける量子化パラメータQPの差ΔQPを、ブロックごとに抽出してもよい。
【0064】
図6は、画質を制御する手順を示すフローチャートである。取得部11は、全天周画像であって、符号化する対象のフレーム(原画像)と、復号されたフレームとを取得する(ステップS301)。符号化13は、復号されたフレームについて、フレームにおける第1端及び第2端で画質(符号化歪)の差が閾値QP以上であるブロックを抽出したか否かを判定する。例えば、第1端が上端である場合、第2端は、第1端に正対する端である下端である。例えば、第1端が左端である場合、第2端は、第1端に正対する端である右端である(ステップS302)。
【0065】
画質の差が閾値以上であるブロックを抽出していない場合(ステップS302:No)、符号化部13は、量子化パラメータQPを調整する処理を終了する。画質の差が閾値以上であるブロックを抽出した場合(ステップS302:Yes)、符号化部13は、符号化する対象のフレームにおける第1端のブロックの量子化パラメータQPと、符号化する対象のフレームにおける第2端のブロックの量子化パラメータQPとの差ΔQP12が閾値QP以上であるか否かを判定する(ステップS303)。
【0066】
差ΔQP12が閾値QP未満である場合(ステップS303:No)、符号化部13は、量子化パラメータQPを調整する処理を終了する。差ΔQP12が閾値QP以上である場合(ステップS303:Yes)、符号化部13は、差ΔQP12を閾値QP未満にする(ステップS304)。符号化部13は、量子化パラメータQPを調整する処理を終了する。
【0067】
以上のように、第3の実施形態の符号化方法は、符号化装置10における符号化方法であって、復号された動画像のフレームを取得するステップと、復号された動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上であるブロックを抽出するステップと、復号された動画像のフレームから抽出されたブロックに基づいて、符号化する対象のフレームにおける端に含まれているブロック同士の画質の差を小さくするステップとを更に有する。
【0068】
これによって、第3の実施形態の符号化装置10は、主観画質としての符号化歪の差を的確に低減することが可能である。なお、演算処理量は増加してもよい。
【0069】
(第4の実施形態)
第4の実施形態では、復号されたフレーム(デコード画像)等の量子化パラメータを用いて画質(符号化歪)の差を抽出する点が、第2の実施形態と相違する。第4の実施形態では、第2の実施形態との相違点についてのみ説明する。
【0070】
取得部11は、全天周画像であって、符号化する対象のフレーム(原画像)を取得する。取得部11は、全天周画像であって、復号されたフレームを更に取得する。
【0071】
符号化13は、復号されたフレームを、取得部11から取得する。符号化13は、復号されたフレームのブロックにおける量子化パラメータQPの差ΔQP(符号化歪の差)を、ブロックごとに抽出する。符号化13は、復号されたフレームからブロックごとに抽出された差ΔQPに基づいて、符号化する対象のフレームにおいて差ΔQPが閾値以上であるブロックを検出する。
【0072】
なお、符号化13は、復号されたフレームを取得する代わりに、符号化に用いるローカルデコード画像又は予測画像のブロックにおける量子化パラメータQPの差ΔQPを、ブロックごとに抽出してもよい。
【0073】
図7は、画質を制御する手順を示すフローチャートである。取得部11は、全天周画像であって、符号化する対象のフレーム(原画像)と、復号されたフレームとを取得する(ステップS401)。符号化部13は、符号化する対象のフレームがスライスごとに分割されているか否かを判定する(ステップS402)。符号化する対象のフレームがスライスごとに分割されていない場合(ステップS402:No)、符号化部13は、量子化パラメータQPを調整する処理を終了する。
【0074】
符号化する対象のフレームがスライスごとに分割されている場合(ステップS402:Yes)、符号化13は、復号されたフレームのスライスについて、スライスにおける第3端及び第4端で画質(符号化歪)の差が閾値QP以上であるブロックを抽出したか否かを判定する。例えば、第3端が下端である場合、第4端は、第3端に正対する端である上端である。例えば、第3端が右端である場合、第4端は、第3端に正対する端である左端である(ステップS403)。
【0075】
画質(符号化歪)の差が閾値QP以上であるブロックを抽出していない場合(ステップS403:No)、符号化部13は、量子化パラメータQPを調整する処理を終了する。画質(符号化歪)の差が閾値QP以上であるブロックを抽出した場合(ステップS403:Yes)、符号化部13は、符号化する対象のフレームについて、スライスにおける第3端のブロックの量子化パラメータQPと、隣接する他のスライスにおける第4端のブロックの量子化パラメータQPとの差ΔQP34が閾値QP以上であるかを判定する。例えば、第3端が下端である場合、第4端は、第3端に正対する端である上端である。例えば、第3端が右端である場合、第4端は、第3端に正対する端である左端である(ステップS404)。差ΔQP34が閾値QP以上である場合(ステップS404:Yes)、符号化部13は、差ΔQP34を閾値QP未満にする(ステップS405)。符号化部13は、量子化パラメータQPを調整する処理を終了する。
【0076】
以上のように、第4の実施形態の符号化方法は、符号化装置10における符号化方法であって、復号されたフレームを取得するステップと、復号されたフレームのスライスにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上であるブロックを抽出するステップと、復号された動画像のフレームのスライスから抽出されたブロックに基づいて、符号化する対象のフレームにおける端に含まれているブロック同士の画質の差を小さくするステップとを更に有する。
【0077】
これによって、第4の実施形態の符号化装置10は、主観画質としての符号化歪の差を的確に低減することが可能である。なお、演算処理量は増加してもよい。
【0078】
(第5の実施形態)
第5の実施形態では、量子化パラメータQPの代わりにピーク信号対雑音比(PSNR)に基づいて画質を制御する点が、第1の実施形態と相違する。第5の実施形態では、第1の実施形態との相違点についてのみ説明する。
【0079】
符号化部13は、量子化パラメータQPの代わりにピーク信号対雑音比(PSNR)に基づいて画質を制御する。すなわち、符号化部13は、第2ブロックを符号化する場合、第1ブロックで用いられたピーク信号対雑音比(PSNR)に基づいて、第1ブロックに隣接して表示される第2ブロックで用いるピーク信号対雑音比を定める。
【0080】
符号化13は、復号されたフレームを、取得部11から取得する。符号化13は、復号されたフレームのブロックにおけるピーク信号対雑音比の差(符号化歪の差)を、ブロックごとに抽出する。符号化13は、ピーク信号対雑音比の差が閾値以上であるブロックを検出する。なお、符号化13は、復号されたフレームを取得する代わりに、符号化に用いるローカルデコード画像又は予測画像のブロックにおけるピーク信号対雑音比の差を、ブロックごとに抽出してもよい。
【0081】
符号化13は、ピーク信号対雑音比の差を小さくするように画質を制御する。例えば、符号化13は、ピーク信号対雑音比が相対的に高いブロックに、デジタルフィルタを適用する。なお、符号化13は、ピーク信号対雑音比が相対的に低いブロックに、デジタルフィルタを適用してもよい。
【0082】
図8は、画質を制御する手順を示すフローチャートである。符号化部13は、符号化する対象のフレーム(原画像)と、復号されたフレームとを取得する(ステップS501)。符号化部13は、復号されたフレームにおける第1端のブロックのピーク信号対雑音比と、復号されたフレームにおける第2端のブロックのピーク信号対雑音比との差ΔPSNR12が閾値PSNR以上であるか否かを判定する。例えば、第1端が上端である場合、第2端は、第1端に正対する端である下端である。例えば、第1端が左端である場合、第2端は、第1端に正対する端である右端である(ステップS502)。
【0083】
差ΔPSNR12が閾値PSNR未満である場合(ステップS502:No)、符号化部13は、画質(PSNR)を調整する処理を終了する。差ΔPSNR12が閾値PSNR以上である場合(ステップS502:Yes)、符号化部13は、符号化する対象のフレーム(原画像)においてピーク信号対雑音比が高い部分にローパスフィルタを適用(ステップS503)。符号化部13は、画質(PSNR)を調整する処理を終了する。
【0084】
以上のように、第5の実施形態の符号化方法は、符号化装置10における符号化方法であって、符号化する対象のフレームを含む動画像を取得部11が取得するステップと、動画像のフレームにおける端に含まれているブロックのうち、隣接して表示されるブロック同士の画質の差が閾値以上である場合、隣接して表示されるブロック同士の画質の差を小さくするステップとを有する。画質の差は、例えば、ピーク信号対雑音比の差である。画質の差は、例えば、符号化歪の差である。
【0085】
これによって、第5の実施形態の符号化装置10は、隣接して表示される画像の境界で生じる画質の差を、ピーク信号対雑音比に基づいて低減させることが可能である。
【0086】
なお、符号化部13は、量子化パラメータQPやピーク信号対雑音比以外の符号化パラメータを用いて画質を制御してもよい。例えば、動画圧縮規格の一つであるHEVC(High Efficiency Video Coding)では、符号化部13は、フレームにおける第1端の最大符号化単位(LCU: Largest Coding Unit)内の符号化単位(CU)の構成と、同じフレームにおける第2端の最大符号化単位の符号化単位の構成とを同じにしてもよい。第1端が上端である場合、第2端は、第1端に正対する端である下端である。例えば、第1端が左端である場合、第2端は、第1端に正対する端である右端である。
【0087】
上述した実施形態における符号化装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0088】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0089】
1…スライス、2…スライス、3…スライス、4…スライス、10…符号化装置、11…取得部、12…記憶部、13…符号化部、14…出力部
図1
図2
図3
図4
図5
図6
図7
図8