特許 6590412 映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6590412

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月16日

(54)【発明の名称】映像符号化装置、方法及びプログラム、並びに映像復号装置、方法及びプログラム

(51)【国際特許分類】

   H04N 19/85 20140101AFI20191007BHJP

   H04N 19/105 20140101ALI20191007BHJP

   H04N 19/46 20140101ALI20191007BHJP

   H04N 19/176 20140101ALI20191007BHJP

   H04N 19/167 20140101ALI20191007BHJP

   H04N 19/117 20140101ALI20191007BHJP

【ＦＩ】

   H04N19/85

   H04N19/105

   H04N19/46

   H04N19/176

   H04N19/167

   H04N19/117

【請求項の数】15

【全頁数】21

(21)【出願番号】特願2016-511389(P2016-511389)

(86)(22)【出願日】2015年3月31日

(86)【国際出願番号】JP2015001855

(87)【国際公開番号】WO2015151513

(87)【国際公開日】20151008

【審査請求日】2018年2月5日

(31)【優先権主張番号】特願2014-77600(P2014-77600)

(32)【優先日】2014年4月4日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】柴田 誠也

(72)【発明者】

【氏名】蝶野 慶一

(72)【発明者】

【氏名】南部 哲弘

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特表２０１３−５０９７８８（ＪＰ，Ａ）

【文献】 特開２０１２−１９５７０２（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１００６７２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする画像付加手段と、
前記符号化単位毎に、予測信号を生成する予測処理を実行する予測手段と、
前記予測信号と前記入力画像とに基づくパラメータをエントロピー符号化するエントロピー符号化手段とを備え、
前記エントロピー符号化手段は、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像に関するパラメータを符号化せず、前記入力画像に関するパラメータを符号化し、
前記予測手段は、インター予測手段およびイントラ予測手段を含み、
前記インター予測手段は、前記入力画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像を含むブロックであるときには、当該冗長画像に隣接する、前記入力画像における画素を当該冗長画像の画素と見なして前記予測処理を実行し、
前記イントラ予測手段は、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像に含まれるブロックも対象として前記予測処理を実行する
ことを特徴とする映像符号化装置。

【請求項2】

前記エントロピー符号化手段は、前記入力画像に前記冗長画像が付加された拡張画像に関するパラメータを符号化する機能も有する
請求項１記載の映像符号化装置。

【請求項3】

前記イントラ予測手段は、前記入力画像に前記冗長画像が付加された場合に、符号化対象が前記入力画像に含まれるブロックであるときには、前冗長画像の画素を参照画素の候補から除外して前記予測処理を実行する
請求項１または請求項２記載の映像符号化装置。

【請求項4】

ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタをさらに備え、
前記デブロッキングフィルタは、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像の領域に対するフィルタ処理を実行しない
請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。

【請求項5】

H.265/HEVC規格に基づいて符号化処理を実行する
請求項１から請求項４のうちのいずれか１項に記載の映像符号化装置。

【請求項6】

入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にし、
前記符号化単位毎に、予測信号を生成する予測処理を実行し、
前記予測信号と前記入力画像とに基づくパラメータをエントロピー符号化し、
前記入力画像に前記冗長画像が付加された場合には、前記エントロピー符号化を行うときに、前記冗長画像に関するパラメータを符号化せず、前記入力画像に関するパラメータを符号化し、
前記予測処理には、インター予測処理およびイントラ予測処理が含まれ、
前記インター予測処理を実行する際に、前記入力画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像を含むブロックであるときには、当該冗長画像に隣接する、前記入力画像における画素を当該冗長画像の画素と見なして前記予測処理を実行し、
前記イントラ予測処理を実行するときに、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像に含まれるブロックも対象として前記予測処理を実行する
ことを特徴とする映像符号化方法。

【請求項7】

前記エントロピー符号化を行うときに、前記入力画像に前記冗長画像が付加された拡張画像に関するパラメータを符号化する処理も実行可能な
請求項６記載の映像符号化方法。

【請求項8】

コンピュータに、
入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする処理と、
前記符号化単位毎に、予測信号を生成する予測処理を実行する処理と、
前記予測信号と前記入力画像とに基づくパラメータをエントロピー符号化する処理とを実行させ、
前記入力画像に前記冗長画像が付加された場合には、前記エントロピー符号化を行うときに、前記冗長画像に関するパラメータを符号化せず、前記入力画像に関するパラメータを符号化する処理を実行させ、
前記予測処理には、インター予測処理およびイントラ予測処理が含まれ、
コンピュータに、
前記インター予測処理を実行する際に、前記入力画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像を含むブロックであるときには、当該冗長画像に隣接する、前記入力画像における画素を当該冗長画像の画素と見なして前記予測処理を実行させ、
前記イントラ予測処理を実行するときに、前記入力画像に前記冗長画像が付加された場合に、前記冗長画像に含まれるブロックも対象として前記予測処理を実行させる
ための映像符号化プログラム。

【請求項9】

コンピュータに、
前記エントロピー符号化を行うときに、前記入力画像に前記冗長画像が付加された拡張画像に関するパラメータを符号化する処理も実行させる
請求項８記載の映像符号化プログラム。

【請求項10】

ビットストリームに含まれるパラメータをエントロピー復号するエントロピー復号手段と、
前記パラメータに基づいて、符号化単位毎に、予測信号を生成する予測処理を実行する予測手段とを備え、
前記予測手段は、イントラ予測手段とインター予測手段とを含み、
前記イントラ予測手段は、復号画像に画像のサイズを符号化単位の整数倍にするための冗長画像が付加されたと見なして、復号対象が前記復号画像に含まれるブロックであるときには、前記冗長画像の画素を参照画素の候補から除外して前記予測処理を実行し、
前記インター予測手段は、前記復号画像に前記冗長画像が付加されたと見なして前記予測処理を実行し、
前記インター予測手段は、前記復号画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像を含むブロックであるときには、当該冗長画像に隣接する、復号画像における画素を当該冗長画像の画素と見なして前記予測処理を実行し、
前記イントラ予測手段は、前記復号画像に前記冗長画像が付加されている場合に、前記冗長画像に含まれるブロックも対象として前記予測処理を実行する
ことを特徴とする映像復号装置。

【請求項11】

ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタをさらに備え、
前記デブロッキングフィルタは、前記復号画像に前記冗長画像が付加された場合に、前記冗長画像の領域に対するフィルタ処理を実行しない
請求項１０記載の映像復号装置。

【請求項12】

H.265/HEVC規格に基づいて復号処理を実行する
請求項１０または請求項１１記載の映像復号装置。

【請求項13】

ビットストリームに含まれるパラメータをエントロピー復号し、
前記パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行し、
前記イントラ予測処理を実行するときに、復号画像に画像のサイズを符号化単位の整数倍にするための冗長画像が付加されたと見なし、かつ、復号対象が前記復号画像に含まれるブロックであるときには、前記冗長画像の画素を参照画素の候補から除外し、
前記復号画像に前記冗長画像が付加されたと見なして前記インター予測処理を実行し、
前記インター予測処理を実行する際に、前記復号画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像を含むブロックであるときには、当該冗長画像に隣接する、復号画像における画素を当該冗長画像の画素と見なして前記予測処理を実行し、
前記イントラ予測処理を実行するときに、前記復号画像に前記冗長画像が付加されている場合に、前記冗長画像に含まれるブロックも対象として前記予測処理を実行する
ことを特徴とする映像復号方法。

【請求項14】

H.265/HEVC規格に基づいて復号処理を実行する
請求項１３記載の映像復号方法。

【請求項15】

コンピュータに、
ビットストリームに含まれるパラメータをエントロピー復号する処理と、
前記パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行する処理とを実行させ、
前記イントラ予測処理を実行するときに、復号画像に画像のサイズを符号化単位の整数倍にするための冗長画像が付加されたと見なし、かつ、復号対象が前記復号画像に含まれるブロックであるときには、前記冗長画像の画素を参照画素の候補から除外し、
前記復号画像に前記冗長画像が付加されたと見なして前記インター予測処理を実行させ、
コンピュータに、
前記インター予測処理を実行する際に、前記復号画像に前記冗長画像が付加された場合に、参照フレームにおけるブロックが前記冗長画像を含むブロックであるときには、当該冗長画像に隣接する、復号画像における画素を当該冗長画像の画素と見なして前記予測処理を実行させ、
前記イントラ予測処理を実行するときに、前記復号画像に前記冗長画像が付加されている場合に、前記冗長画像に含まれるブロックも対象として前記予測処理を実行させる
ための映像復号プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、伝送されるデータ量を削減可能な映像符号化装置及び映像復号装置に関する。

【背景技術】

【0002】

映像符号化方式として、ITU-T (International Telecommunication Union Telecommunication Standardization Sector)の勧告のH.264/AVC(Advanced Video Coding) が普及している。また、H.264/AVC の後続規格として、H.265/HEVC(High Efficiency Video Coding)がある。H.265 に基づく映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一である。

【0003】

CUは、イントラ予測又はフレーム間予測によって予測符号化される。イントラ予測（画面内予測）は、予測信号を符号化対象フレームの再構築画像から生成する予測である。非特許文献１では、図１１に示す33種類の角度イントラ予測が定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図１１に示す33種類の方向のいずれかに外挿して、イントラ予測信号が生成される。

【0004】

また、イントラ予測として、角度イントラ予測に加えて、DC予測及びPlanar予測が規定されている。DC予測では、参照画像の平均値が予測対象TUの全画素の予測値とされる。Planar予測では、予測画像は、参照画像における画素から線形補間によって生成される。

【0005】

フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。フレーム間予測をインター予測ともいう。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。以下、フレーム間予測をインター予測ともいう。

【0006】

イントラCUのみで符号化されたフレームはＩフレーム（又はＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（又はＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（又はＢピクチャ）と呼ばれる。

【0007】

図１２を参照して、一般的な映像符号化装置の構成と動作を説明する。なお、図１２に示す映像符号化装置は、H.265 に基づく映像符号化方式を用いる。

【0008】

図１２に示す映像符号化装置は、バッファ１００、減算器１０１、変換器１０２、量子化器１０３、算術符号化器（CABAC : context-based adaptive binary arithmetic coder）３０４、逆量子化器１０５、逆変換器１０６、加算器１１４、第１フレームバッファ１０７、デブロッキングフィルタ３０８、第２フレームバッファ１０９、イントラ予測器３１０、インター予測器３１１、スイッチ１１３及び符号化制御部３１２を備える。

【0009】

図１３は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、及び、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。図１３に示すように、CUの大きさは、64×64、32×32、16×16、8×8 のいずれかになる。また、図１４は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。

【0010】

符号化制御部３１２は、CTU毎に、画像の特徴に合わせて符号化効率が高くなるようにCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。また、符号化制御部３１２は、PU毎に、符号化コストを最小とする、イントラ予測方向及び動きベクトルなどを決定する。

【0011】

バッファ１００には、入力画像（入力画像フレームの画素値）が格納される。スイッチ１１３を介して、減算器１０１に、バッファ１００から入力画像（具体的には、CU）が供給される。減算器１０１は、入力画像から、イントラ予測器３１０又はインター予測器３１１から供給される予測信号を減算する。

【0012】

変換器１０２は、符号化制御部３１２が決定したTU分割形状に基づいて、入力画像信号から予測信号が減じられた予測誤差画像を周波数変換する。量子化器１０３は、周波数変換された予測誤差画像（周波数変換係数）を量子化する。以下、周波数変換係数を、単に、変換係数といい、量子化された変換係数を量子化係数という。

【0013】

算術符号化器３０４は、符号化制御部３１２が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報及び量子化係数等をエントロピー符号化（ここでは、２値算術符号化）する。算術符号化器３０４は、ビットストリームを出力する。

【0014】

逆量子化器１０５は、量子化係数を逆量子化する。逆変換器１０６は、逆量子化された変換係数を逆周波数変換する。加算器１１４は、逆周波数変換された再構築予測誤差画像に予測信号を加算して再構築画像を生成する。再構築画像は、第１フレームバッファ１０７に供給される。

【0015】

デブロッキングフィルタ３０８は、第１フレームバッファ１０７に格納された再構築画像に対してブロック歪を除去するためのフィルタ処理を行う。デブロッキングフィルタ３０８の出力は、第２フレームバッファ１０９に格納される。

【0016】

第２フレームバッファ１０９は、ブロック歪が除去された再構築画像フレームを参照画像フレームとして格納する。なお、参照画像フレームの画像は、フレーム間予測信号を生成するための参照画像として利用される。

【0017】

イントラ予測器３１０は、第１フレームバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。インター予測器３１１は、現在のフレームと表示時刻が異なる、第２フレームバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。

【0018】

入力画像がHDTV(High Definition Television)の映像信号である場合、例えば1920画素×1080ラインの解像度で１フレームが構成される。H.264/AVC では、16×16のマクロブロック（MB）単位で符号化が行われるが、HDTVの画像信号の垂直方向の画素数は16の倍数でないため、符号化の際に、バッファ１００において、8 ラインの冗長画素が付加される（例えば、特許文献１参照）。以下、本明細書において、冗長画素を付加する処理（画素パディング処理）と冗長画素が付加された画像に基づく符号化処理（周波数変換処理及び量子化処理等を含む。）とを含む処理を拡張画像処理という。また、8 ラインの冗長画素からなる画像を付加画像又は冗長画像という。

【0019】

そして、拡張画像処理が行われたことが、例えば、conformance_window_flag シンタクスによってシグナリングされる。映像復号装置は、映像符号化装置において拡張画像処理が実行されたことを認識すると、受信したビットストリームに基づいて復号した映像から付加画像を除去する。

【先行技術文献】

【特許文献】

【0020】

【特許文献1】特開２０１２−１９５７０２号公報

【非特許文献】

【0021】

【非特許文献1】ITU-T 勧告 H.265 High efficiency video coding, April 2013

【発明の概要】

【発明が解決しようとする課題】

【0022】

H.265 に基づく映像符号化方式が用いられる場合にも、入力画像の水平方向又は垂直方向の画素数がSCU サイズに相当する8 の倍数でないときには、符号化の際に、拡張画像処理を行うことが要請される。冗長画像が付加されることによって入力画像の水平方向及び垂直方向の画素数が8 の倍数になれば、少なくとも、SCU で符号化処理を行うことが可能になる。入力画像の水平方向及び垂直方向の画素数が8 の倍数であっても、16の倍数でないときには、16×16のCUの使用が制限される領域が現れる。入力画像の水平方向及び垂直方向の画素数が16の倍数であっても、32の倍数でないときには、32×32のCUの使用が制限される領域が現れる。さらに、入力画像の水平方向及び垂直方向の画素数が32の倍数であっても、64の倍数でないときには、LCU サイズに相当する64×64のCUの使用が制限される領域が現れる。冗長画像がない場合には、このような場合に、例外的な制御フローを追加する必要があり、処理の複雑さが増す。LCU サイズの倍数になるように冗長画像を付加することにより、常にLCUサイズ（64×64）分の処理を行う単一の制御フローにすることができ、好ましい。すなわち、一般的なH.265 に基づく映像符号化方式の適用を可能にするために、入力画像の水平方向又は垂直方向の画素数が64（LCU サイズに相当）の倍数でないときには、64の倍数にするために、拡張画像処理を行うことが好ましい。

【0023】

図１５は、拡張画像処理の概念を示す説明図である。図１５に示すように、映像符号化装置３２への入力画像の画素数が1920（水平方向）×1080（垂直方向）であるとする。映像符号化装置３２は、垂直方向の画素数が64の倍数になるように（LCU サイズの場合）、1920×8 の画像を付加する。そして、映像符号化装置３２は、1920×1088画素の画像について符号化処理を行う。符号化結果は、映像復号装置４２に伝送される。

【0024】

映像復号装置４２は、復号処理によって、1920×1088画素のフレームを得る。次いで、映像復号装置４２は、そのフレームにおける下部にある付加画像を除去する。そして、映像復号装置４２は、1920×1080画素のフレームを表示装置（図示せず）等に出力する。

【0025】

上記のように、入力画像の水平方向又は垂直方向の画素数がH.265 におけるCUサイズの倍数でない場合に（好ましい例では、LCU サイズの倍数でない場合に）、拡張画像処理を行うと、伝送されるデータ量が増加する。

【0026】

なお、拡張画像処理を行えないシステム、すなわちconformance_window_flag を使用しないシステムでは、水平方向又は垂直方向の画素数が8 の倍数ではない画像について符号化および復号した後に表示装置等に表示することはできない。

【0027】

本発明は、拡張画像処理を行った後に伝送されるデータ量を削減することを目的とする。

【課題を解決するための手段】

【0028】

本発明による映像符号化装置は、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする画像付加手段と、符号化単位毎に、予測信号を生成する予測処理を実行する予測手段と、予測信号と入力画像とに基づくパラメータをエントロピー符号化するエントロピー符号化手段とを備え、エントロピー符号化手段は、入力画像に冗長画像が付加された場合に、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化し、予測手段は、インター予測手段およびイントラ予測手段を含み、インター予測手段は、入力画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像を含むブロックであるときには、当該冗長画像に隣接する、入力画像における画素を当該冗長画像の画素と見なして予測処理を実行し、イントラ予測手段は、入力画像に冗長画像が付加された場合に、冗長画像に含まれるブロックも対象として予測処理を実行することを特徴とする。

【0029】

本発明による映像符号化方法は、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にし、符号化単位毎に、予測信号を生成する予測処理を実行し、予測信号と入力画像とに基づくパラメータをエントロピー符号化し、入力画像に冗長画像が付加された場合には、エントロピー符号化を行うときに、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化し、予測処理には、インター予測処理およびイントラ予測処理が含まれ、インター予測処理を実行する際に、入力画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像を含むブロックであるときには、当該冗長画像に隣接する、入力画像における画素を当該冗長画像の画素と見なして予測処理を実行し、イントラ予測処理を実行するときに、入力画像に冗長画像が付加された場合に、冗長画像に含まれるブロックも対象として予測処理を実行することを特徴とする。

【0030】

本発明による映像符号化プログラムは、コンピュータに、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする処理と、符号化単位毎に、予測信号を生成する予測処理を実行する処理と、予測信号と入力画像とに基づくパラメータをエントロピー符号化する処理とを実行させ、入力画像に冗長画像が付加された場合には、エントロピー符号化を行うときに、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化する処理を実行させ、予測処理には、インター予測処理およびイントラ予測処理が含まれ、コンピュータに、インター予測処理を実行する際に、入力画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像を含むブロックであるときには、当該冗長画像に隣接する、入力画像における画素を当該冗長画像の画素と見なして予測処理を実行させ、イントラ予測処理を実行するときに、入力画像に冗長画像が付加された場合に、冗長画像に含まれるブロックも対象として予測処理を実行させることを特徴とする。

【0031】

本発明による映像復号装置は、ビットストリームに含まれるパラメータをエントロピー復号するエントロピー復号手段と、パラメータに基づいて、符号化単位毎に、予測信号を生成する予測処理を実行する予測手段とを備え、予測手段は、イントラ予測手段とインター予測手段とを含み、イントラ予測手段は、復号画像に画像のサイズを符号化単位の整数倍にするための冗長画像が付加されたと見なして、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外して予測処理を実行し、インター予測手段は、復号画像に冗長画像が付加されたと見なして予測処理を実行し、インター予測手段は、復号画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像を含むブロックであるときには、当該冗長画像に隣接する、復号画像における画素を当該冗長画像の画素と見なして予測処理を実行し、イントラ予測手段は、復号画像に冗長画像が付加されている場合に、冗長画像に含まれるブロックも対象として予測処理を実行することを特徴とする。

【0032】

本発明による映像復号方法は、ビットストリームに含まれるパラメータをエントロピー復号し、パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行し、イントラ予測処理を実行するときに、復号画像に画像のサイズを符号化単位の整数倍にするための冗長画像が付加されたと見なし、かつ、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外し、復号画像に冗長画像が付加されたと見なしてインター予測処理を実行し、インター予測処理を実行する際に、復号画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像を含むブロックであるときには、当該冗長画像に隣接する、復号画像における画素を当該冗長画像の画素と見なして予測処理を実行し、イントラ予測処理を実行するときに、復号画像に冗長画像が付加されている場合に、冗長画像に含まれるブロックも対象として予測処理を実行することを特徴とする。

【0033】

本発明による映像復号プログラムは、コンピュータに、ビットストリームに含まれるパラメータをエントロピー復号する処理と、パラメータに基づいて、符号化単位毎に、予測信号を生成するイントラ予測処理またはインター予測処理を実行する処理とを実行させ、イントラ予測処理を実行するときに、復号画像に画像のサイズを符号化単位の整数倍にするための冗長画像が付加されたと見なし、かつ、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外し、復号画像に冗長画像が付加されたと見なしてインター予測処理を実行させ、コンピュータに、インター予測処理を実行する際に、復号画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像を含むブロックであるときには、当該冗長画像に隣接する、復号画像における画素を当該冗長画像の画素と見なして予測処理を実行させ、イントラ予測処理を実行するときに、復号画像に冗長画像が付加されている場合に、冗長画像に含まれるブロックも対象として予測処理を実行させることを特徴とする。

【発明の効果】

【0034】

本発明によれば、伝送されるデータ量を削減可能になる。

【図面の簡単な説明】

【0035】

【図1】映像符号化装置の構成例を示すブロック図である。

【図2】部分的拡張画像処理が実行されるときのイントラ予測器の作用を説明するための説明図である。

【図3】部分的拡張画像処理が実行されるときのインター予測器の作用を説明するための説明図である。

【図4】部分的拡張画像処理の概念を示す説明図である。

【図5】映像符号化装置の動作を示すフローチャートである。

【図6】映像復号装置の構成例を示すブロック図である。

【図7】映像復号装置の動作を示すフローチャートである。

【図8】映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。

【図9】本発明による映像符号化装置の主要部を示すブロック図である。

【図10】本発明による映像復号装置の主要部を示すブロック図である。

【図11】33種類の角度イントラ予測の例を示す説明図である。

【図12】一般的な映像符号化装置の構成を示す説明図である。

【図13】フレームt のCTU 分割例、及び、フレームt のCTU8のCU分割例を示す説明図である。

【図14】CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。

【図15】拡張画像処理の概念を示す説明図である。

【発明を実施するための形態】

【0036】

以下、本発明の実施形態を図面を参照して説明する。

【0037】

実施形態１．
第１の実施形態では、映像符号化装置は、図１５に示されたような拡張画像処理と部分的拡張画像処理とを選択的に実行できる。部分的拡張画像処理は、処理における一部の過程で付加画像を含む画像（例えば、1920×1088画素の画像）を処理対象とし、他の過程では付加画像を含まない画像（例えば、1920×1080画素の画像）を処理対象とするような処理である。

【0038】

図１は映像符号化装置の構成例を示すブロック図である。図１に示す映像符号化装置は、H.265規格（H.265/HEVC規格）に基づいて符号化処理を実行する。

【0039】

映像符号化装置は、バッファ１００、減算器１０１、変換器１０２、量子化器１０３、算術符号化器１０４、逆量子化器１０５、逆変換器１０６、加算器１１４、第１フレームバッファ１０７、デブロッキングフィルタ１０８、第２フレームバッファ１０９、イントラ予測器１１０、インター予測器１１１、スイッチ１１３及び符号化制御部１１２を備える。

【0040】

減算器１０１、変換器１０２、量子化器１０３、逆量子化器１０５、逆変換器１０６、スイッチ１１３及び加算器１１４の機能は、図１２に示されたそれらの機能と同じである。

【0041】

本実施形態では、符号化制御部１１２は、図１２に示された符号化制御部３１２の機能に加えて、映像符号化装置における各ユニットに対して、拡張画像処理又は部分的拡張画像処理を実行することの指示を発行する機能を有する。

【0042】

また、符号化制御部１１２は、CTU をCUに分割する際に、入力画像と付加画像とに跨がるCUを生成しない。つまり、符号化制御部１１２は、入力画像に含まれる領域のみを包含するCUを生成するとともに、付加画像に含まれる領域のみを包含するCUを生成する。

【0043】

算術符号化器１０４、デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１は、図１２に示された算術符号化器３０４、デブロッキングフィルタ３０８、イントラ予測器３１０及びインター予測器３１１の機能（拡張画像処理を実行するための機能）に加えて、以下のような部分的拡張画像処理のための機能を有する。

【0044】

デブロッキングフィルタ１０８は、部分的拡張画像処理の実行時には、入力画像の本来のサイズを越える部分を含む領域（付加画像の領域）に対するフィルタ処理を実行しない。

【0045】

図２に示すように、部分的拡張画像処理の実行時には、イントラ予測器１１０は、符号化対象ブロック５１が本来の画像（入力画像）に含まれているブロックである場合には、付加画像６０の画素を参照画素の候補にしない（図２（Ａ）参照）。符号化対象ブロック５１が付加画像６０に含まれているブロックである場合には、付加画像６０の画素を、参照画素として使用可能である（図２（Ｂ）参照）。なお、本来必要とされない付加画像６０に含まれるブロックも符号化対象にする理由は、既存のイントラ予測器３１０との機能上の差異を少なくしたいためである。また、付加画像６０の符号化対象ブロック５２のイントラ予測信号は、映像符号化装置における後段のユニットで実質的に除去される。

【0046】

なお、イントラ予測器１１０は、部分的拡張画像処理の実行時に、符号化対象ブロック５１が本来の画像に含まれているブロックであって、付加画像６０の画素が参照画素にならないようなブロックについては、H.265 規格に従ってイントラ予測を実行する。

【0047】

インター予測器１１１は、部分的拡張画像処理の実行時に、H.265 規格に従ってインター予測を実行する。ただし、図３に示すように、インター予測器１１１は、予測元PU（カレントPU）６１に対する参照フレームのブロック６２が付加画像６０の画素を含む場合には画面外処理を行う（図３（Ａ）参照）。画面外処理は、付加画像６０すなわち本来の画像（受信側で表示される画像）ではない画像が参照されないようにするための処理である。具体的な一例として、インター予測器１１１が、画面端の部分６２２の画素で、PU６２における付加画像６０の部分６２１の画素を置き換える。

【0048】

インター予測器１１１は、予測元PUが付加画像６０に含まれているブロックである場合には、H.265 規格に従ってインター予測を実行する。付加画像６０については、生成された予測信号は、後段のユニットで実質的に除去されるので、どのような予測信号が生成されてもよいからである。

【0049】

具体的には、算術符号化器１０４は、部分的拡張画像処理の実行時には、付加画像６０に関するデータ（インター予測信号等）について算術符号化を実行しない。

【0050】

図４は、部分的拡張画像処理の概念を示す説明図である。図４に例示するように、映像符号化装置３１への入力画像の画素数が1920×1080であるとする。映像符号化装置３１は、垂直方向の画素数が64の倍数になるように、1920×8 の画像を付加する。

【0051】

映像符号化装置３１において、算術符号化器１０４及びデブロッキングフィルタ１０８を除くユニットは、1920×1088画素の画像について符号化処理（周波数変換処理及び量子化処理等を含む。）を行う。ただし、イントラ予測器１１０及びインター予測器１１１は、付加画像６０の画素に関して、図２及び図３に示されたような処理を行う。符号化結果は、映像復号装置４１に伝送される。

【0052】

映像復号装置４１は、復号処理によって、1920×1080画素のフレームを得る。そして、映像復号装置４１は、1920×1080画素のフレームを表示装置（図示せず）等に出力する。ただし、本実施形態では、映像復号装置４１は、映像符号化装置３１において部分的拡張画像処理が実行された場合には、上記の部分的拡張画像処理に類似する処理を実行することができる。以下、映像復号装置４１において実行される部分的拡張画像処理に類似する処理も、部分的拡張画像処理と呼ぶ。

【0053】

次に、図５のフローチャートを参照して、符号化制御部１１２と算術符号器１０４の部分的拡張画像処理の実行時の動作を説明する。

【0054】

部分的拡張画像処理の実行時には、符号化制御部１１２は、バッファ１００において、入力画像（例えば、1920×1080画素の画像）の下部に、8 ラインの冗長画像を付加するための制御を行う（ステップＳ１１）。冗長画像は、例えば、黒画像又はグレー画像であるが、部分的拡張画像処理を実行する際に冗長画像はどのような画像であってもよい。なお、入力画像における冗長画像との境界の画像等を冗長画像としてもよい。

【0055】

そして、符号化制御部１１２は、デブロッキングフィルタ１０８、イントラ予測器１１０、インター予測器１１１及び算術符号化器１０４に、部分的拡張画像処理の実行を指示する（ステップＳ１２）。

【0056】

デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１は、部分的拡張画像処理の実行が指示されると、上述したように、部分的拡張画像処理のために動作する。

【0057】

算術符号化器１０４は、入力画像（例えば、1920×1080画素の領域）に関するパラメータのみを算術符号化する（ステップＳ１３）。すなわち、入力画像が1920×1080であり冗長画像がないとみなしてH.265 規格に従って算術符号化する。例えば、算術符号化器１０４は、冗長画像の領域に関して、CUを分割するか否かを示すパラメータであるsplit_cu_flag を符号化しない。また、冗長画像の領域に関する他のパラメータも符号化しない。他のパラメータには、例えば、CUに関連するcu_trasquant_bypass_flag、cu_skip_flag、pred_mode_flag、part_mode が含まれる。

【0058】

部分的拡張画像処理ではなく拡張画像処理を行う場合には、符号化制御部１１２は、算術符号化器１０４、デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１に、拡張画像処理の実行を指示する。

【0059】

拡張画像処理の実行が指示された算術符号化器１０４、デブロッキングフィルタ１０８、イントラ予測器１１０及びインター予測器１１１は、図１５に示されたように処理を実行する。すなわち、拡張画像（例えば、1920×1088画素の画像）について、イントラ予測器１１０及びインター予測器１１１は、予測信号を生成する。算術符号化器１０４は、拡張画像（入力画像＋付加画像）に関するパラメータを算術符号化する。つまり、映像符号化装置の各ユニットは、H.265 規格に従って処理を実行する。

【0060】

映像符号化装置において拡張画像処理が実行された場合、映像復号装置は、復号処理によって拡張画像フレームを得るが、そのフレームにおける下部にある付加画像を除去する。そして、映像復号装置は、本来の画像フレーム（例えば、1920×1080画素のフレーム）を表示装置等に出力する。

【0061】

なお、算術符号化器１０４は、拡張画像処理が実行される場合には、「１」の値を持つconformance_window_flag をビットストリームに含め、部分的拡張画像処理が実行される場合には、「０」の値を持つconformance_window_flag をビットストリームに含める。

【0062】

以上に説明したように、本実施形態では、映像符号化装置において、部分的拡張画像処理が実行されるときに、一部のユニットは入力画像に冗長画像が付加された拡張画像を対象として処理を行う。しかし、冗長画像に関連するパラメータは映像符号化装置から出力されない。よって、伝送されるデータ量が削減される。

【0063】

また、部分的拡張画像処理を実行する機能が実装される場合、水平方向及び垂直方向の画素数が64の倍数になるように冗長画像が付加されるので、変換器１０２、量子化器１０３、逆量子化器１０５及び逆変換器１０６として、一般に使用されるユニットをそのまま適用することができる。イントラ予測器１１０についても、参照画素の制約が生ずるが（図２（Ａ）参照）、一般に使用されるユニットをそのまま適用することができる。すなわち、伝送されるデータ量が削減される構成を実現するために、各ユニットのハードウェア又はソフトウェアの変更量は大きくない。

【0064】

また、拡張画像処理を実行する機能がなくても、本実施形態における部分的拡張画像処理により、水平方向又は垂直方向の画素数が8 の倍数ではない画素の画像について符号化および復号した後に表示装置等に表示することができる。

【0065】

実施形態２．
図６は、拡張画像処理と部分的拡張画像処理とを選択的に実行できる映像復号装置の構成例を示すブロック図である。図６に示す映像復号装置は、算術復号器（CABAD : context-based adaptive binary arithmetic decoder）２０１、逆量子化器２０２、逆変換器２０３、加算器２１１、第１フレームバッファ２０４、デブロッキングフィルタ２０５、第２フレームバッファ２０６、イントラ予測器２０７、インター予測器２０８、復号制御部２０９及びスイッチ２１０を備えている。

【0066】

算術復号器２０１は、ビットストリームを算術復号して、復号対象ＣＵの予測信号に関連するパラメータ及び量子化係数等を出力する。

【0067】

イントラ予測器２０７は、現在復号中のフレームと表示時刻が同一である、第１フレームバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。インター予測器２０８は、現在復号中のフレームと表示時刻が異なる、第２フレームバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。

【0068】

復号制御部２０９は、エントロピー復号（具体的には、算術復号）されたフレーム間予測の種別に基づいて、イントラ予測信号またはフレーム間予測信号が加算器２１１に供給されるようにスイッチ２１０を制御する。

【0069】

逆量子化器２０２は、算術復号器２０１から供給される量子化係数を、図１に示された逆量子化器１０５と同様に、逆量子化する。すなわち、逆変換器２０３は、量子化代表値を逆周波数変換して元の空間領域に戻す。

【0070】

第１フレームバッファ２０４には、現在復号中のフレームに含まれるすべてのＣＵが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。

【0071】

本実施形態では、映像符号化装置において部分的拡張画像処理が実行されたと判定されると、映像復号装置においても、部分的拡張画像処理が実行される。部分的拡張画像処理が実行される場合、逆量子化器２０２及び逆変換器２０３は、復号画像（受信したビットストリームに基づいて生成される画像）に冗長画像が付加されたと見なして、冗長画像に関しても逆量子化処理及び逆周波数変換処理を実行する。

【0072】

部分的拡張画像処理の実行時には、デブロッキングフィルタ２０５は、映像符号化装置におけるデブロッキングフィルタ１０８と同様に、入力画像の本来のサイズを越える部分を含む領域（付加画像の領域）に対するフィルタ処理を実行しない。

【0073】

部分的拡張画像処理の実行時には、イントラ予測器２０７は、復号画像に冗長画像が付加されたと見なした上で、イントラ予測を行う。ただし、映像符号化装置におけるイントラ予測器１１０と同様に、符号化対象ブロックが本来の画像（複合画像）に含まれているブロックである場合には、付加画像の画素を参照画素としない（図２（Ａ）参照）。符号化対象ブロックが付加画像に含まれているブロックである場合には、付加画像の画素を、参照画素として使用可能である（図２（Ｂ）参照）。

【0074】

部分的拡張画像処理の実行時には、インター予測器２０８は、映像符号化装置におけるインター予測器１１１と同様に、予測元PU（カレントPU）に対する参照フレームのPUが付加画像の画素を含む場合には画面外処理を行う（図３（Ａ）参照）。既に説明したように、画面外処理は、付加画像６０すなわち本来の画像（復号画像）ではない画像が参照されないようにするための処理である。

【0075】

次に、図７のフローチャートを参照して、復号制御部２０９の部分的拡張画像処理の実行時の動作を説明する。

【0076】

復号制御部２０９は、部分的拡張画像処理が実行されるべきであることを確認する（ステップＳ２１）。例えば、算術復号器２０１は、ビットストリームから「０」の値を持つconformance_window_flag を抽出したときに、その旨を復号制御部２０９に通知する。復号制御部２０９は、その通知を受けたら、部分的拡張画像処理が実行されるべきであると判定する。

【0077】

復号制御部２０９は、逆量子化器２０２及び逆変換器２０３に、部分的拡張画像処理が実行されることを通知する（ステップＳ２２）。逆量子化器２０２及び逆変換器２０３は、その通知を受けたら、上述したような部分的拡張画像処理の実行時の動作を行う。

【0078】

さらに、復号制御部２０９は、デブロッキングフィルタ２０５、イントラ予測器２０７及びインター予測器２０８に、部分的拡張画像処理の実行を指示する（ステップＳ２３）。デブロッキングフィルタ２０５、イントラ予測器２０７及びインター予測器２０８は、部分的拡張画像処理の実行が指示されると、上述したような部分的拡張画像処理のための動作を実行する。

【0079】

なお、映像符号化装置において上記のような部分的拡張画像処理が実行される場合、第１フレームバッファ２０４には、拡張画像フレーム（例えば、1920×1088画素のフレーム）が格納されるが、第１フレームバッファ２０４に格納されたフレームにおける下部にある付加画像が除去された後に、本来の画像フレーム（例えば、1920×1080画素のフレーム）のみが表示装置等に出力される。

【0080】

また、映像符号化装置において拡張画像処理が実行される場合、映像復号装置は、H.265 規格に従って復号処理を実行する。その場合、映像復号装置は、復号処理によって拡張画像フレームを得るが、第１フレームバッファ２０４に格納されたフレームにおける下部にある付加画像が除去された後に、本来の画像フレーム（例えば、1920×1080画素のフレーム）のみが表示装置等に出力される。

【0081】

また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

【0082】

図８に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３及び記憶媒体１００４を備えている。記憶媒体１００３及び記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

【0083】

図８に示された情報処理システムにおいて、プログラムメモリ１００２には、図１及び図６のそれぞれに示された各ユニット（バッファを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１及び図６のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。

【0084】

図９は、本発明による映像符号化装置の主要部を示すブロック図である。図９に示すように、本発明による映像符号化装置１０は、入力画像に冗長画像を付加することによって画像のサイズを符号化単位の整数倍にする画像付加部１１（例えば、バッファ１００と符号化制御部１１２とで実現される。）と、符号化単位（例えば、CU）毎に、予測信号を生成する予測処理を実行する予測部１２（例えば、イントラ予測器１１０及びインター予測器１１１で実現される。）と、予測信号と入力画像とに基づくパラメータをエントロピー符号化するエントロピー符号化部１３（例えば、算術符号化器１０４で実現される。）とを備え、エントロピー符号化部１３は、入力画像に冗長画像が付加された場合に、冗長画像に関するパラメータを符号化せず、入力画像に関するパラメータを符号化する。

【0085】

エントロピー符号化部１３は、入力画像に冗長画像が付加された拡張画像に関するパラメータを符号化する機能（例えば、拡張画像処理を実行する機能）も有することが好ましい。

【0086】

予測部１２がイントラ予測部を含む場合に、イントラ予測部は、入力画像に冗長画像が付加された場合に、符号化対象が入力画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外して予測処理を実行することが好ましい（図２（Ａ）参照）。

【0087】

予測部１２がインター予測部を含む場合に、インター予測部は、入力画像に冗長画像が付加された場合に、参照フレームにおけるブロックが冗長画像に含まれるブロックであるときには、入力画像における画素を当該ブロックの画素と見なして予測処理を実行することが好ましい（図３（Ａ）参照）。

【0088】

ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタ（例えば、デブロッキングフィルタ１０８）が設けられている場合には、デブロッキングフィルタは、入力画像に冗長画像が付加された場合に、冗長画像の領域に対するフィルタ処理を実行しないことが好ましい。

【0089】

図１０は、本発明による映像復号装置の主要部を示すブロック図である。図１０に示すように、本発明による映像復号装置２０は、ビットストリームに含まれるパラメータをエントロピー復号するエントロピー復号部２１（例えば、算術復号器２０１で実現される。）と、パラメータに基づいて、符号化単位毎に、予測信号を生成する予測処理を実行する予測部２２とを備え、予測部２２は、イントラ予測部２３（例えば、イントラ予測器２０７）とインター予測部２４（例えば、インター予測器２０８）とを含み、イントラ予測部２３は、復号画像に冗長画像が付加されたと見なして、復号対象が復号画像に含まれるブロックであるときには、冗長画像の画素を参照画素の候補から除外して予測処理を実行し、インター予測部２４は、復号画像に冗長画像が付加されたと見なして予測処理を実行する。

【0090】

なお、イントラ予測部２３は、参照フレームにおけるブロックが冗長画像に含まれるブロックであるときには、復号画像における画素を当該ブロックの画素と見なして予測処理を実行することが好ましい。

【0091】

ブロック歪を除去するためのフィルタ処理を行うデブロッキングフィルタ（例えば、デブロッキングフィルタ２０５）が設けられている場合には、デブロッキングフィルタは、復号画像に冗長画像が付加された場合に、冗長画像の領域に対するフィルタ処理を実行しないことが好ましい。

【0092】

なお、上記の各実施形態では、部分的拡張画像処理の対象である入力画像として主として水平方向の画素数が1920で垂直方向の画素数が1080の画像を想定したが、入力画像のサイズ（画素数）は、1920×1080画素に限られない。画素数が符号化単位（特に、LCU ）の整数倍にならない他の画像を部分的拡張画像処理の対象にすることができる。

【0093】

また、上記の各実施形態では、垂直方向の画素数が符号化単位の整数倍にならない入力画像を例にしたが、水平方向の画素数が符号化単位の整数倍にならない画像が入力される場合にも、上記の各実施形態の概念を適用することができる。

【0094】

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0095】

この出願は、２０１４年４月４日に出願された日本特許出願２０１４−０７７６００を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0096】

１０ 映像符号化装置
１１ 画像付加部
１２ 予測部
１３ エントロピー符号化部
２０ 映像復号装置
２１ エントロピー復号部
２２ 予測部
２３ イントラ予測部
２４ インター予測部
３１ 映像符号化装置
４１ 映像復号装置
１００ バッファ
１０１ 減算器
１０２ 変換器
１０３ 量子化器
１０４ 算術符号化器（CABAC ）
１０５ 逆量子化器
１０６ 逆変換器
１０７ 第１フレームバッファ
１０８ デブロッキングフィルタ
１０９ 第２フレームバッファ
１１０ イントラ予測器
１１１ インター予測器
１１２ 符号化制御部
１１３ スイッチ
１１４ 加算器
２０１ 算術復号器（CABAD ）
２０２ 逆量子化器
２０３ 逆変換器
２０４ 第１フレームバッファ
２０５ デブロッキングフィルタ
２０６ 第２フレームバッファ
２０７ イントラ予測器
２０８ インター予測器
２０９ 復号制御部
２１０ スイッチ
２１１ 加算器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】