ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 大学共同利用機関法人情報・システム研究機構の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-07
(45)【発行日】2022-10-18
(54)【発明の名称】画像パディング方法、画像パディング装置、及びプログラム
(51)【国際特許分類】
H04N 19/85 20140101AFI20221011BHJP
H04N 19/593 20140101ALI20221011BHJP
【ＦＩ】
H04N19/85
H04N19/593
【請求項の数】
3
(21)【出願番号】P 2019047129
(22)【出願日】2019-03-14
(65)【公開番号】P2020150441
(43)【公開日】2020-09-17
【審査請求日】2021-07-02
【新規性喪失の例外の表示】特許法第３０条第２項適用 平成３０年１１月１９日に、ｈｔｔｐ：／／ｗｗｗ．ｐｃｓｊ－ｉｍｐｓ．ｏｒｇ／ａｒｃｈｉｖｅ／２０１８．ｈｔｍｌのアドレスのウェブサイトにて発表
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(73)【特許権者】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】高村 誠之
(72)【発明者】
【氏名】チョン ジーン
(72)【発明者】
【氏名】ヤン チェン
【審査官】坂東 大五郎
(56)【参考文献】
【文献】特開２００２－１９９３９５（ＪＰ，Ａ）
【文献】高木幸一、外２名，ビットレート－ひずみ特性を考慮した任意形状符号化のためのパディング法，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８４－Ｄ－ＩＩ，Ｎｏ．２，2001年02月01日，第２３８～２４７頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
パディングにより任意形状画像を矩形画像に変換し、前記矩形画像を示す画像信号を画像符号化装置へ出力する画像パディング方法であって、前記任意形状画像が分割された画像ブロックごとに、前記任意形状画像の形状を示す形状情報と、前記画像符号化装置から出力された符号化対象の前記画像ブロックの位置及び大きさを示す符号化対象ブロック情報と、に基づいてパディングを行う必要があるか否かを判定するパディング要否判定ステップと、
前記画像ブロック内に存在する画素の画素位置を示す疎行列と、前記画像ブロックに対して疎行列を乗じて得られた領域内画素情報と、前記画像符号化装置から出力された画面内予測値と、に基づいてパディング済み画像ブロックを導出し、以下の数式によって表される最小化目的関数及び制約において、１Ｔｕの値を最小化する前記パディング済み画像ブロックを示すｘの値を導出する求解ステップと、
前記パディングを行う必要がないと判定された場合、前記画像ブロックを示す画像信号を前記画像符号化装置へ出力し、前記パディングを行う必要があると判定された場合、前記パディング済み画像ブロックを示す画像信号を前記画像符号化装置へ出力する画像信号出力ステップと、
を有する画像パディング方法。
【数1】
【請求項2】
パディングにより任意形状画像を矩形画像に変換し、前記矩形画像を示す画像信号を画像符号化装置へ出力する画像パディング装置であって、前記任意形状画像が分割された画像ブロックごとに、前記任意形状画像の形状を示す形状情報と、前記画像符号化装置から出力された符号化対象の前記画像ブロックの位置及び大きさを示す符号化対象ブロック情報と、に基づいてパディングを行う必要があるか否かを判定するパディング要否判定部と、
前記画像ブロック内に存在する画素の画素位置を示す疎行列と、前記画像ブロックに対して疎行列を乗じて得られた領域内画素情報と、前記画像符号化装置から出力された画面内予測値と、に基づいてパディング済み画像ブロックを導出する求解部と、
前記画像信号を前記画像符号化装置へ出力する画像信号出力部と、
を備え、
前記求解部は、
以下の数式によって表される最小化目的関数及び制約において、１Ｔｕの値を最小化する前記パディング済み画像ブロックを示すｘの値を導出し、
前記画像信号出力部は、
前記パディングを行う必要がないと判定された場合、前記画像ブロックを示す画像信号を出力し、
前記パディングを行う必要があると判定された場合、前記パディング済み画像ブロックを示す画像信号を出力する
画像パディング装置。
【数2】
【請求項3】
請求項２に記載の画像パディング装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像パディング方法、画像パディング装置、及びプログラムに関する。
【背景技術】
【0002】
従来、長方形ではない任意の形状の画像（以下、「任意形状画像」という。）を符号化する方法として、ISO/IEC（国際標準化機構及び国際電気標準会議）によって規定された映像符号化国際規格であるＭＰＥＧ－４（ISO/IEC 14496-2）のＳＡ－ＤＣＴ（Shape-Adaptive Discrete Cosine Transform：形状適応離散コサイン変換）を用いた符号化方法がある。また、例えば図７に示すような任意形状画像を取り囲むように画素を外挿すること（以下、「パディング」という。）によって、当該任意形状画像を例えば図８に示すような長方形の画像（以下、「矩形画像」という。）に変換して、矩形画像を符号化することができる一般的な符号化方法を用いて符号化を行う方法がある。この方法によれば、任意形状画像を直接符号化することができないＪＰＥＧ（ISO/IEC JTC 1/SC 29/WG 1、Joint Photographic Experts Group）方式等の符号化方法を用いることができる。
【0003】
最も単純なパディング方法としては、例えば符号化対象の画像が８ビットのモノクロ画像である場合、所定の画素値（例えば１２８）の画素によってパディングを行うことが考えられる。しかしながら、この場合、任意形状画像の境界領域（例えば、図９に示す、領域内部と外挿領域（パディング対象領域）との境の領域）において、領域内部の画素の画素値と外挿領域の画素の画素値との間に大きなギャップが生じることがある。ことにより、符号化効率（データ圧縮率）が低下する場合がある。このような符号化効率の低下を改善するため、上述したＭＰＥＧ－４では、ＬＰＥ（Low Pass Extrapolation）と呼ばれるパディング方法を用いることができる。ＬＰＥは、領域内部の画素の画素値を用いて、外挿領域を一種のＬＰＦ（Low Pass filter；低域通過濾波器）によってパディングする方法である。
【0004】
その他のパディング方法として、非特許文献１及び非特許文献２に記載の方法がある。これらのパディング方法は、非可逆画像符号化において大抵用いられる変換処理の後の高周波係数が０となるようなパディング信号を生成する方法である。
【先行技術文献】
【非特許文献】
【0005】
【文献】黒木祥光、上繁 義史、「任意形状ＤＣＴ符号化における新たなパディング法」、２００２年画像符号化シンポジウム（ＰＣＳＪ２００２）、Ｐ－２．１２、ｐ．３１－３２、２００２年１１月１１日～１３日
【文献】黒木祥光、他３名、「Ｈ．２６４／ＡＶＣの直交変換におけるパディング法」、社団法人 情報処理学会 研究報告、２００５－ＡＶＭ－５０ （４）、ｐ．１７－２２、２００５年１０月７日
【文献】N.Parikh and S.Boyd, "Proximal Algorithms," ［online］, the essence of knowledge, Foundations and Trends in Optimization, Vol.1, No.3, 2013, p.123-231, 2013, ［平成31年3月11日検索］、インターネット＜URL：http://web.stanford.edu/~boyd/papers/pdf/prox_algs.pdf＞
【文献】S.Boyd and L.Vandenberghe, "Convex Optimization," Cambridge University Press, 2004. ［平成31年3月11日検索］、インターネット＜URL：https://web.stanford.edu/~boyd/cvxbook/bv_cvxbook.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献１及び非特許文献２に記載のパディング方法では、パディングを行うための計算量は、符号化対象の画像ブロックの画素数をｎ個とした場合、最大で、ｎＣ（ｎ／２）に比例する計算量になる。例えば、ＪＰＥＧ等において用いられる８画素×８画素の画像ブロック（すなわち、ｎ＝６４）の場合、パディングを行うための計算量は、最大で、６４Ｃ３２≒１．８３×１０１８であり、膨大な計算量になる。さらに、例えば、Ｈ．２６５／ＨＥＶＣで用いられる符号化単位である３２画素×３２画素（すなわち、ｎ＝１０２４）の画像ブロックでは、計算量は最大で、４．４８×１０３０６となる。そのため、符号化対象の画像ブロックが、例えばＨ．２６４／ＡＶＣで用られる最小の符号化単位である４画素×４画素（すなわち、ｎ＝１６）程度の大きさでなければ、実用的な時間内でのパディング処理が困難である（なお、この場合の計算量は最大１２，８７０となる）。このように、従来のパディング方法では、符号化対象の画像ブロックの画素数が多くなると、符号化効率が低下する、あるいは実用的な時間内でのパディング処理が困難になるという課題があった。
【0007】
本発明は、上記のような技術的背景に鑑みてなされたものであり、任意形状画像に対し、符号量の増大を抑えつつ、より高速にパディング処理を行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様は、パディングにより任意形状画像を矩形画像に変換し、前記矩形画像を示す画像信号を画像符号化装置へ出力する画像パディング方法であって、前記任意形状画像が分割された画像ブロックごとに、前記任意形状画像の形状を示す形状情報と、前記画像符号化装置から出力された符号化対象の前記画像ブロックの位置及び大きさ示す符号化対象ブロック情報と、に基づいてパディングを行う必要があるか否かを判定するパディング要否判定ステップと、記画像ブロック内に存在する画素の画素位置を示す疎行列と、前記画像ブロックに対して疎行列を乗じて得られた領域内画素情報と、前記画像符号化装置から出力された画面内予測値と、に基づいてパディング済み画像ブロックを導出する求解ステップと、前記パディングを行う必要がないと判定された場合、前記画像ブロックを示す画像信号を前記画像符号化装置へ出力し、前記パディングを行う必要があると判定された場合、前記パディング済み画像ブロックを示す画像信号を前記画像符号化装置へ出力する画像信号出力ステップと、を有する画像パディング方法である。
【0009】
また、本発明の一態様は、パディングにより任意形状画像を矩形画像に変換し、当該矩形画像を示す画像信号を画像符号化装置へ出力する画像パディング装置であって、前記任意形状画像が分割された画像ブロックごとに、前記任意形状画像の形状を示す形状情報と、前記画像符号化装置から出力された符号化対象の前記画像ブロックの位置及び大きさ示す符号化対象ブロック情報と、に基づいてパディングを行う必要があるか否かを判定するパディング要否判定部と、前記画像ブロック内に存在する画素の画素位置を示す疎行列と、前記画像ブロックに対して疎行列を乗じて得られた領域内画素情報と、前記画像符号化装置から出力された画面内予測値と、に基づいてパディング済み画像ブロックを導出する求解部と、前記画像信号を前記画像符号化装置へ出力する画像信号出力部と、を備え、前記画像信号出力部は、前記パディングを行う必要がないと判定された場合、前記画像ブロックを示す画像信号を出力し、前記パディングを行う必要があると判定された場合、前記パディング済み画像ブロックを示す画像信号を出力する画像パディング装置である。
【0010】
また、本発明の一態様は、上記の画像パディング装置であって、前記パディングを行う必要があると判定された場合、前記画面内予測値に基づいて、前記画像ブロック内の全ての画素がパディング対象領域を示す画素であるか否かを判定する領域外判定部、をさらに備え、前記画像信号出力部は、前記画像ブロック内の全ての画素がパディング対象領域を示す画素であると判定された場合、前記画面内予測値に基づく画像信号を出力する。
【0011】
また、本発明の一態様は、上記の画像パディング装置であって、前記求解部は、以下の数式によって表される最小化目的関数及び制約において、１Ｔｕの値を最小化する前記パディング済み画像ブロックを示すｘの値を導出する。
【0012】
【数1】
【0013】
ここで、ｕはｎ次元のベクトル、ｎは前記画像ブロックの画素数、ｚは前記画面内予測値、Ｄは前記疎行列、ｙは前記領域内画素情報、Φは画面内予測残差（ｘ－ｚ）の変換係数、及び１Ｔｕは前記画像ブロック内の全ての画素の画素値の和を示す。
【0014】
また、本発明の一態様は、上記の画像パディング装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【0015】
本発明により、任意形状画像に対し、符号量の増大を抑えつつ、より高速にパディング処理を行うことができる。
【図面の簡単な説明】
【0016】
【図1】一般的な画像符号化装置１０の機能構成を示すブロック図である。
【図2】一般的な画面内予測処理の概要の一例を示す模式図である。
【図3】一般的な画像符号化装置１０の動作を示すフローチャートである。
【図4】本発明の一実施形態に係る画像符号化システム１の全体構成図である。
【図5】本発明の一実施形態に係る画像パディング装置２０の機能構成を示すブロック図である。
【図6】本発明の一実施形態に係る画像パディング装置２０の動作を示すフローチャートである。
【図7】任意形状画像の一例を示す図である。
【図8】任意形状画像に対してパディングがなされた画像の一例を示す図である。
【図9】領域内部と外挿領域との間の境界領域を説明するための図である。
【発明を実施するための形態】
【0017】
以下、本発明の一実施形態について、図面を参照しながら説明する。
【0018】
以下に説明する画像符号化システム１は、矩形画像である画像ブロックの単位で符号化を行うシステムである。画像符号化システム１は、符号化対象の任意形状画像を、画像ブロックに分割し、当該画像ブロックごとにパディングを行う。そして、画像符号化システム１は、パディングがなされた画像ブロックごとに符号化する。なお、パディングの方法としては任意の方法を用いることができる。
【0019】
以下、画像ブロックの画素数はｎ個であるものとする。また、パディングがなされた画像ブロック内の全ての画素の画素値を一次元に並べたベクトルをｘとする。したがって、ｘはｎ次元ベクトルである。また、画像ブロック内における、任意形状画像の領域内部の画素数はｍ個（すなわち、ｍ＜ｎ）であるものとする。また、領域内部の全ての画素の画素値を一次元に並べたベクトルをｙとする。したがって、ｙはｍ次元ベクトルである。
【0020】
ここで、ｍ×ｎの行列を行列Ｄとし、Ｄｘ＝ｙ、という制約を考える。また、行列Ｄは、各行に１つだけ１の値が存在し、その他の値が全て０であるような疎行列であるものとする。画像ブロック内の全ての画素の画素値からなるｘに対して行列Ｄを乗じることによって、任意形状画像の領域内部の全ての画素値からなるｙが生成される。すなわち、この制約は、外挿領域（パディング対象領域）がいかなる画素値の画素によってパディングされたとしても、領域内部の画素値は不変であることを意味する。
【0021】
ところで、Ｈ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣでは、符号化効率を高めるため、符号化しようとする画像ブロックの周辺の復号済みの画素の画素値から、当該画像ブロック内の画素の画素値を予測する「画面内予測」という処理が行われる。
【0022】
以下、画面内予測がなされた画像ブロック内の全ての画素の画素値を一次元に並べたベクトルをｚとする。また、画像ブロックに対して変換処理を施すオペレータをΦとする。なお、ここでいう変換処理とは、上述したように非可逆画像符号化において大抵用いられる変換処理である。そして、パディング済みの画像ブロックの導出（すなわち、ｘの値の導出）を、下記の（１）式に示すように、Ｄｘ＝ｙの制約の下でＬ０ノルムを最小化するｘの値を求める最適化問題として定式化する。
【0023】
【数2】
【0024】
なお、目的関数である上記の||Φ（ｘ－ｚ）||０の項は、画面内予測残差（ｘ－ｚ）の変換係数の非零係数の個数を表しており、これは一般に、実際に発生する符号量を精度よく近似するものとされている。すなわち、上記（１）式を満たすｘの値を求めることによって、符号量の増大を抑えつつパディング処理を行うことができる。
【0025】
しかしながら、Ｌ０ノルムは、非凸であるという数学的性質を有しているため、一般に、計算量の観点から最小化問題を解くことが困難であるとされている。そのため、Ｌ０ノルムに代えてＬ１ノルムで近似し、当該Ｌ１ノルムを最小化することが考えられる。すなわち、以下の（２）式に示すように、Ｄｘ＝ｙの制約の下でＬ１ノルムを最小化するｘの値を求める最適化問題として定式化することが考えられる。
【0026】
【数3】
【0027】
なお、上記（２）式によって定式化された最適化問題を解く方法としては、一般に、例えば、非特許文献３に記載された近接勾配法（Proximal Gradient Method）、及びＡＤＭＭ法（Alternating Direction Method of Multipliers Method；交互方向乗数法）等の方法がある。このような方法によっても（２）式に示す最適化問題の解を求めることは可能ではあるが、本実施形態においては、より高速に解が求められるように、最小化目的関数と制約とを、それぞれ以下の（３）式のように定式化する。
【0028】
【数4】
【0029】
ここで、ｕはｎ次元ベクトルである。また、（３）式に示すように、Φ（ｘ－ｚ）（すなわち、画像ブロックの予測残差の変換係数を並べたｎ次元ベクトル）の各要素の絶対値はｕ以下であるという制約、及び、ｕの要素は非零であるという制約がある。ここで、１Ｔｕは、ｕの全要素の和を表し、上記（３）式は、ｕを最小化するようなｘの値を求めることを意味する。この最適化問題は、線形計画問題と呼ばれる問題に属しており、多くの解法が知られている。例えば、この最適化問題は、非特許文献４に記載の単体法（Simplex method）等によって効率的に解くことができる。
【0030】
以下、本実施形態に係る画像符号化システム１の構成について説明するが、説明を分かり易くするため、一般的な画像符号化装置の機能構成についてまず説明する。
【0031】
［画像符号化装置の機能構成］
図１は、一般的な画像符号化装置１０の機能構成を示すブロック図である。なお、本実施形態に係る画像符号化システム１が符号化の対象とする画像は、動画像ではなく静止画像である。そのため、図１においては、静止画像の符号化では用いられない画面間予測及び歪除去に係る機能部等の記載は省略している。
図１は、一般的な画像符号化装置１０の機能構成を示すブロック図である。なお、本実施形態に係る画像符号化システム１が符号化の対象とする画像は、動画像ではなく静止画像である。そのため、図１においては、静止画像の符号化では用いられない画面間予測及び歪除去に係る機能部等の記載は省略している。
【0032】
図１に示すように、画像符号化装置１０は、画像信号入力部１０１と、減算部１０２と、変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、符号化データ出力部１０６と、逆量子化部１０７と、逆変換部１０８と、加算部１０９と、フレームメモリ１１０と、画面内予測部１１１と、を含んで構成される。
【0033】
画像信号入力部１０１は、符号化対象の画像信号の入力を受け付ける。画像信号入力部１０１は、入力された画像信号を分割し、所定の画像ブロック単位で画像信号を減算部１０２へ出力する。なお、所定の画像ブロック単位とは、例えばＨ．２６５／ＨＥＶＣの場合、予測単位（Prediction Unit）と呼ばれる処理単位である。
【0034】
減算部１０２は、画像信号入力部１０１から出力された画像信号を取得する。また、減算部１０２は、画面内予測部１１１から出力された、別途生成される予測信号を取得する。なお、予測信号とは、予測された、後の画像ブロックを示す画像信号である。減算部１０２は、取得した画像信号から予測信号を減算することにより、予測残差信号を得る。減算部１０２は、予測残差信号を変換部１０３へ出力する。
【0035】
変換部１０３は、減算部１０２から出力された予測残差信号を取得する。変換部１０３は、取得した予測残差信号に対して離散コサイン変換（ＤＣＴ）処理を行う。変換部１０３は、離散コサイン変換された予測残差信号を量子化部１０４へ出力する。
【0036】
量子化部１０４は、変換部１０３から出力された予測残差信号を取得する。量子化部１０４は、取得した予測残差信号に対して量子化を行う。量子化部１０４は、量子化された予測残差信号をエントロピー符号化部１０５及び逆量子化部１０７へそれぞれ出力する。
【0037】
エントロピー符号化部１０５は、量子化部１０４から出力された予測残差信号を取得する。エントロピー符号化部１０５は、取得した予測残差信号に対してエントロピー符号化を行うことにより符号化データを得る。エントロピー符号化部１０５は、符号化データを符号化データ出力部１０６へ出力する。
【0038】
符号化データ出力部１０６は、エントロピー符号化部１０５から出力された符号化データを取得する。符号化データ出力部１０６は、取得した符号化データを出力する。
【0039】
逆量子化部１０７は、量子化部１０４から出力された予測残差信号を取得する。逆量子化部１０７は、取得した予測残差信号に対して逆量子化を行う。逆量子化部１０７は、逆量子化された予測残差信号を逆変換部１０８へ出力する。
【0040】
逆変換部１０８は、逆量子化部１０７から出力された予測残差信号を取得する。逆変換部１０８は、取得した予測残差信号に対して逆離散コサイン変換（逆ＤＣＴ）処理を行う。逆変換部１０８は、逆離散コサイン変換がなされた予測残差信号を加算部１０９へ出力する。
【0041】
加算部１０９は、逆変換部１０８から出力された予測残差信号を取得する。また、加算部１０９は、画面内予測部１１１から出力された、別途生成される予測信号を取得する。加算部１０９は、取得した予測残差信号に対して予測信号を加算することにより復号画像を示す画像信号（以下、「復号画像信号」という。）を得る。加算部１０９は、復号画像信号をフレームメモリ１１０に記憶させる。なお、フレームメモリ１１０に記憶される復号画像信号は、画像符号化装置１０に対応する復号装置において復元される復号画像信号と同一の信号となる。
【0042】
フレームメモリ１１０は、加算部１０９から出力された復号画像信号を記憶する。フレームメモリ１１０は、例えば、ＲＡＭ（Random Access Memory；読み書き可能なメモリ）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等の記憶媒体、又はこれらの記憶媒体の任意の組み合わせによって構成される。
【0043】
画面内予測部１１１は、フレームメモリ１１０に記憶された復号画像信号を用いて画面内予測処理を行い、予測信号を生成する。上述したように、予測信号とは、予測された、後の画像ブロックを示す画像信号である。画面内予測部１１１は、生成された予測信号を、減算部１０２及び加算部１０９へそれぞれ出力する。
【0044】
なお、動き補償予測が行われず、フレーム内の全ての予測単位が画面内予測されて符号化されるフレームを、Ｉフレーム（Intra-coded Frame）という。
【0045】
［画面内予測処理］
以下、画面内予測部１１１によって行われる画面内予測処理の一例について説明する。図２は、一般的な画面内予測処理の概要の一例を示す模式図である。図２において、網掛けされた丸は、画面内において既に復号されている画素（以下、「参照画素」という。）である。また、網掛けされていない丸は、これから画面内予測及び符号化が行われる画素（以下、「予測画素」という。）であり、画像ブロックごとに纏まって存在している。図２に示す例の場合、予測画素は、４画素×４画素（すなわち、ｎ＝１６）の画像ブロックごとに纏まって存在している。
以下、画面内予測部１１１によって行われる画面内予測処理の一例について説明する。図２は、一般的な画面内予測処理の概要の一例を示す模式図である。図２において、網掛けされた丸は、画面内において既に復号されている画素（以下、「参照画素」という。）である。また、網掛けされていない丸は、これから画面内予測及び符号化が行われる画素（以下、「予測画素」という。）であり、画像ブロックごとに纏まって存在している。図２に示す例の場合、予測画素は、４画素×４画素（すなわち、ｎ＝１６）の画像ブロックごとに纏まって存在している。
【0046】
画面内予測処理とは、参照画素の情報を用いて、予測画素に対して何らかの値を対応付ける処理である。例えば、図２に示す例の場合、左上方向にある参照画素の画素値を、右下方向にある予測画素に対応付ける（コピーする）。なお、図２に示すコピーの方法は一例であり、その他の方法が用いられてもよい。例えばＨ．２６５／ＨＥＶＣでは、上記のような左下方向から右上方向へのコピーの方法を含む、３３通りの方向へのコピーの方法が用意されている。また、Ｈ．２６５／ＨＥＶＣでは、参照画素の画素値の平均値を予測画素の画素値とする方法等も用いることができる。
【0047】
［画像符号化装置の動作］
以下、画像符号化装置１０の動作の一例について説明する。図３は、一般的な画像符号化装置１０の動作を示すフローチャートである。本フローチャートは、画像信号入力部１０１が、符号化対象の画像信号の入力を受け付け、入力された画像信号を所定の画像ブロック単位で減算部１０２へ出力した時点で開始される。
以下、画像符号化装置１０の動作の一例について説明する。図３は、一般的な画像符号化装置１０の動作を示すフローチャートである。本フローチャートは、画像信号入力部１０１が、符号化対象の画像信号の入力を受け付け、入力された画像信号を所定の画像ブロック単位で減算部１０２へ出力した時点で開始される。
【0048】
減算部１０２は、画像信号入力部１０１から出力された画像信号を取得する。また、減算部１０２は、画面内予測部１１１から出力された予測信号を取得する。減算部１０２は、取得した画像信号から予測信号を減算することにより、予測残差信号を生成する（ステップＳ００１）。減算部１０２は、予測残差信号を変換部１０３へ出力する。
【0049】
変換部１０３は、取得した予測残差信号に対して離散コサイン変換（ＤＣＴ）を行う。変換部１０３は、離散コサイン変換がなされた予測残差信号を量子化部１０４へ出力する。量子化部１０４は、取得した予測残差信号に対して量子化を行う（ステップＳ００２）。量子化部１０４は、量子化された予測残差信号をエントロピー符号化部１０５及び逆量子化部１０７へそれぞれ出力する。
【0050】
エントロピー符号化部１０５は、取得した予測残差信号に対してエントロピー符号化を行うことにより符号化データをを得る（ステップＳ００３）。エントロピー符号化部１０５は、符号化データを符号化データ出力部１０６へ出力する。符号化データ出力部１０６は、取得した符号化データを出力する。
【0051】
逆量子化部１０７は、取得した予測残差信号に対して逆量子化する。逆量子化部１０７は、逆量子化された予測残差信号を逆変換部１０８へ出力する。逆変換部１０８は、取得した予測残差信号に対して逆離散コサイン変換（逆ＤＣＴ）を行う。逆変換部１０８は、逆離散コサイン変換がなされた予測残差信号を加算部１０９へ出力する（ステップＳ００４）。
【0052】
加算部１０９は、取得した予測残差信号に対して予測信号を加算することにより復号画像信号を生成する（ステップＳ００５）。加算部１０９は、復号画像信号をフレームメモリ１１０に記憶させる（ステップＳ００６）。
【0053】
画面内予測部１１１は、フレームメモリ１１０に記憶された復号画像信号を用いて画面内予測処理を行い、後の画像ブロックを示す予測信号を生成する（ステップＳ００７）。画面内予測部１１１は、生成された予測信号を、減算部１０２及び加算部１０９へそれぞれ出力する。以上で、図３のフローチャートが示す画像符号化装置１０の動作が終了する。
【0054】
［画像符号化システムの全体構成］
以下、画像符号化システム１の全体構成について説明する。図４は、本発明の一実施形態に係る画像符号化システム１の全体構成図である。図４に示すように、画像符号化システム１は、画像符号化装置１０と、画像パディング装置２０と、を含んで構成される。なお、図４に示す画像符号化装置１０の機能構成は、上述した一般的な画像符号化装置１０の機能構成と同一である。
以下、画像符号化システム１の全体構成について説明する。図４は、本発明の一実施形態に係る画像符号化システム１の全体構成図である。図４に示すように、画像符号化システム１は、画像符号化装置１０と、画像パディング装置２０と、を含んで構成される。なお、図４に示す画像符号化装置１０の機能構成は、上述した一般的な画像符号化装置１０の機能構成と同一である。
【0055】
まず、画像パディング装置２０は、外部の装置から、符号化対象の任意形状画像を示す画像信号を取得する。また、画像パディング装置２０は、外部の装置から、符号化対象の任意形状画像の形状を示す情報（以下、「形状情報」という。）を取得する。また、画像パディング装置２０は、画像符号化装置１０から、画面内予測処理の結果を示す画面内予測値、及び符号化対象ブロック情報を取得する。符号化対象ブロック情報とは、符号化対象の画像ブロックの位置及び大きさ示す情報を含む情報である。
【0056】
画像パディング装置２０は、取得した上記の情報に基づいて、符号化対象の画像ブロックが、パディングを行う必要がある画像ブロックであるか否かを判定する。パディングを行う必要がないと判定された場合、画像パディング装置２０は、当該画像ブロックを示す画像信号をそのまま画像符号化装置１０へ出力する。一方、パディングを行う必要がないと判定された場合、画像パディング装置２０は、符号化対象の画像ブロックに対してパディングを行い、パディングがなされた画像ブロックを示す画像信号を画像符号化装置１０へ出力する。
【0057】
［画像パディング装置の機能構成］
以下、画像パディング装置２０の機能構成について説明する。図５は、本発明の一実施形態に係る画像パディング装置２０の機能構成を示すブロック図である。図５に示すように、画像パディング装置２０は、画像信号入力部２０１と、形状情報入力部２０２と、符号化対象ブロック情報入力部２０３と、画面内予測値入力部２０４と、パディング要否判定部２０５と、領域外判定部２０６と、領域内画素取得部２０７と、線形問題求解部２０８と、画像信号出力部２０９と、を含んで構成される。
以下、画像パディング装置２０の機能構成について説明する。図５は、本発明の一実施形態に係る画像パディング装置２０の機能構成を示すブロック図である。図５に示すように、画像パディング装置２０は、画像信号入力部２０１と、形状情報入力部２０２と、符号化対象ブロック情報入力部２０３と、画面内予測値入力部２０４と、パディング要否判定部２０５と、領域外判定部２０６と、領域内画素取得部２０７と、線形問題求解部２０８と、画像信号出力部２０９と、を含んで構成される。
【0058】
画像信号入力部２０１は、符号化対象の任意形状画像を示す画像信号の入力を受け付ける。画像信号入力部２０１は、入力された画像信号を分割し、所定の画像ブロック単位でパディング要否判定部２０５へ出力する。
【0059】
形状情報入力部２０２は、形状情報の入力を受け付ける。形状情報入力部２０２は、入力された形状情報をパディング要否判定部２０５へ出力する。
【0060】
符号化対象ブロック情報入力部２０３は、画像符号化装置１０から符号化対象ブロック情報を取得する。符号化対象ブロック情報入力部２０３は、取得した符号化対象ブロック情報をパディング要否判定部２０５へ出力する。
【0061】
画面内予測値入力部２０４は、画像符号化装置１０から画面内予測値を取得する。画面内予測値入力部２０４は、取得した画面内予測値を領域外判定部２０６へ出力する。
【0062】
パディング要否判定部２０５は、画像信号入力部２０１から出力された画像信号を取得する。また、パディング要否判定部２０５は、形状情報入力部２０２から出力された形状情報を取得する。また、パディング要否判定部２０５は、符号化対象ブロック情報入力部２０３から出力された符号化対象ブロック情報を取得する。パディング要否判定部２０５は、形状情報と符号化対象ブロック情報とに基づいて、画像信号に対してパディングを行う必要があるか否かを判定する。具体的には、パディング要否判定部２０５は、画像信号に基づく画像ブロック内の全ての画素が任意形状画像の領域内部を示す画素であるか否か（すなわち、ｍ＝ｎであるか否か）を判定することにより、画像信号に対してパディングを行う必要があるか否かを判定する。
【0063】
パディングを行う必要がないと判定された場合（すなわち、ｍ＝ｎであり、画像ブロック内の全ての画素が領域内部に存在している場合）、パディング要否判定部２０５は、取得した画像信号を画像信号出力部２０９へ出力する。一方、パディングを行う必要があると判定された場合（すなわち、ｍ＜ｎであり、画像ブロック内の画素のうち少なくとも１つが外挿領域を示す画素である場合）、パディング要否判定部２０５は、取得した画像信号を領域外判定部２０６へ出力する。
【0064】
領域外判定部２０６は、パディング要否判定部２０５から出力された画像信号を取得する。また、領域外判定部２０６は、画面内予測値入力部２０４から出力された画面内予測値（すなわち、上述したｚの値。以下、「画面内予測値ｚ」という。）を取得する。領域外判定部２０６は、取得した画面内予測値ｚに基づいて、画像信号に基づく画像ブロック内の全ての画素が外挿領域を示す画素であるか否か（すなわち、ｍ＝０であるか否か）を判定する。
【0065】
画像ブロック内の全ての画素が外挿領域を示す画素であると判定された場合（すなわち、ｍ＝０である場合）、領域外判定部２０６は、画面内予測値ｚを画像信号出力部２０９へ出力する。なお、この場合、画面内予測残差（ｘ－ｚ）が全て０となる。一方、画像ブロック内の画素のうち少なくとも１つの画素が任意形状画像の領域内部を示す画素であると判定された場合（すなわち、ｍ＞０である場合）、領域外判定部２０６は、画像信号及び画面内予測値ｚを領域内画素取得部２０７へ出力する。
【0066】
領域内画素取得部２０７は、領域外判定部２０６から出力された画像信号及び画面内予測値ｚを取得する。また、領域内画素取得部２０７は、画像ブロック内に存在する画素の画素位置を示す、上述した疎行列Ｄを生成する。領域内画素取得部２０７は、取得した画像信号に対して疎行列Ｄを乗じることによって、領域内画素情報（すなわち、上述したｙの値。以下、「領域内画素ｙ」という）を得る。領域内画素取得部２０７は、疎行列Ｄ、領域内画素ｙ）、及び画面内予測値ｚを、線形問題求解部２０８へ出力する。
【0067】
線形問題求解部２０８は、領域内画素取得部２０７から出力された、疎行列Ｄ、領域内画素ｙ、及び画面内予測値ｚを取得する。線形問題求解部２０８は、取得した疎行列Ｄ、領域内画素ｙ、及び画面内予測値ｚに基づいて、上述した（３）式を満たすｘの値を導出する。例えば、線形問題求解部２０８は、Ｓｉｍｐｌｅｘ法等によってｘの値を導出する。線形問題求解部２０８は、ｘの値を画像信号出力部２０９へ出力する。
【0068】
画像信号出力部２０９は、パディング要否判定部２０５から出力された画像信号を取得した場合、当該画像信号を画像符号化装置１０へ出力する。また、画像信号出力部２０９は、領域外判定部２０６から出力された画面内予測値ｚを取得した場合、当該画面内予測値ｚを画像符号化装置１０へ出力する。また、画像信号出力部２０９は、線形問題求解部２０８から出力されたｘの値を取得した場合、当該ｘの値を画像符号化装置１０へ出力する。
【0069】
［画像パディング装置の動作］
以下、画像パディング装置２０の動作の一例について説明する。図６は、本発明の一実施形態に係る画像パディング装置２０の動作を示すフローチャートである。本フローチャートは、画像パディング装置２０に対して画像信号が入力される時点で開始される。
以下、画像パディング装置２０の動作の一例について説明する。図６は、本発明の一実施形態に係る画像パディング装置２０の動作を示すフローチャートである。本フローチャートは、画像パディング装置２０に対して画像信号が入力される時点で開始される。
【0070】
画像信号入力部２０１は、符号化対象の画像信号の入力を受け付ける（ステップＳ１０１）。画像信号入力部２０１は、入力された画像信号を所定の画像ブロック単位でパディング要否判定部２０５へ出力する。
【0071】
パディング要否判定部２０５は、形状情報入力部２０２から取得した形状情報と、画像符号化装置１０から符号化対象ブロック情報入力部２０３を介して取得した符号化対象ブロック情報と、に基づいて、画像信号に対してパディングを行う必要があるか否かを判定する（ステップＳ１０２）。
【0072】
パディングを行う必要がないと判例された場合（ステップＳ１０２・Ｎｏ）、パディング要否判定部２０５は、取得した画像信号を画像信号出力部２０９を介して画像符号化装置１０へ出力する（ステップＳ１０３）。
【0073】
一方、パディングを行う必要があると判定された場合（ステップＳ１０２・Ｙｅｓ）、パディング要否判定部２０５は、取得した画像信号を領域外判定部２０６へ出力する。領域外判定部２０６は、画面内予測値入力部２０４から出力された画面内予測値ｚを取得する（ステップＳ１０４）。領域外判定部２０６は、取得した画面内予測値ｚに基づいて、画像信号に基づく画像ブロック内の全ての画素が外挿領域を示す画素であるか否かを判定する（ステップＳ１０５）。
【0074】
画像ブロック内の全ての画素が外挿領域を示す画素であると判定された存在する場合（ステップＳ１０５・Ｙｅｓ）、領域外判定部２０６は、画面内予測値ｚを画像信号出力部２０９を介して画像符号化装置１０へ出力する（ステップＳ１０６）。
【0075】
一方、画像ブロック内の画素のうち少なくとも１つの任意形状画像の領域内部に存在する画素であると判定された場合（ステップＳ１０５・Ｎｏ）、領域外判定部２０６は、画像信号及び画面内予測値ｚを領域内画素取得部２０７へ出力する。次に、領域内画素取得部２０７は、画像ブロック内に存在する画素の画素位置を示す疎行列Ｄを生成する（ステップＳ１０７）。領域内画素取得部２０７は、取得した画像信号に対して疎行列Ｄを乗じることにより、領域内画素ｙを得る。領域内画素取得部２０７は、疎行列Ｄ、領域内画素ｙ、及び画面内予測値ｚを、線形問題求解部２０８へ出力する。
【0076】
線形問題求解部２０８は、取得した疎行列Ｄ、領域内画素ｙ、及び画面内予測値ｚに基づいて、上述した（３）式を満たすｘの値を導出することにより線形計画問題の解を求める（ステップＳ１０８）。線形問題求解部２０８は、ｘの値を画像信号出力部２０９を介して画像符号化装置１０へ出力する（ステップＳ１０９）。以上で、図６のフローチャートが示す画像パディング装置２０の動作が終了する。
【0077】
以上説明したように、上述した本発明の一実施形態に係る画像パディング装置２０は、パディングにより任意形状画像を矩形画像に変換し、前記矩形画像を示す画像信号を画像符号化装置１０へ出力する。画像パディング装置２０は、パディング要否判定部２０５と、線形問題求解部２０８（求解部）と、画像信号出力部２０９と、を含む。パディング要否判定部２０５は、前記任意形状画像が分割された画像ブロックごとに、前記任意形状画像の形状を示す形状情報と、前記画像符号化装置１０から出力された符号化対象の前記画像ブロックの位置及び大きさ示す符号化対象ブロック情報と、に基づいてパディングを行う必要があるか否かを判定する。線形問題求解部２０８は、前記画像ブロック内に存在する画素の画素位置を示す疎行列Ｄと、前記画像ブロックに対して疎行列Ｄを乗じて得られた領域内画素ｙと、前記画像符号化装置１０から出力された画面内予測値ｚと、に基づいてパディング済み画像ブロックを示すｘの値を導出する。前記画像信号出力部２０９は、前記パディングを行う必要がないと判定された場合、前記画像ブロックを示す画像信号を出力し、前記パディングを行う必要があると判定された場合、前記ｘの値を出力する。
【0078】
上記のような構成を有することにより、本発明の一実施形態に係る画像パディング装置２０は、発生符号量を抑えつつ、効率的に任意形状画像に対するパディング処理を行うことができる。
【0079】
上述したように、従来のパディング方法では、符号化効率（データ圧縮率）が良くない、あるいは画像符号化に多くの時間を要するという課題がある。これに対し、本発明の一実施形態に係る画像パディング装置２０は、例えば上記（３）式に示したような目的関数及び制約を設けることで、パディング処理を線形計画問題に帰着させる。これにより、画像パディング装置２０は、符号化効率の低下を抑えする、より高速にパディングされた画像を生成することができる。
【0080】
また、本発明の一実施形態に係る画像パディング装置２０は、任意形状画像に対してパディングを行うことにより当該任意形状画像を矩形化するため、矩形画像のみを符号化対象とするような一般的な画像符号化方式を用いて任意形状画像を符号化させることを可能にする。また、画像パディング装置２０は、符号量の増加を抑えることができ、より少ない符号量でより高い品質の復号画像を得ることができ、従来の符号化方式よりも効率的に画像を圧縮することができる。
【0081】
このように、本発明の一実施形態に係る画像パディング装置２０は、画像符号化におけるデータ圧縮率を高めることを目的として、任意形状画像の符号化及び復号を行う場合に対して広く適用可能である。
【0082】
なお、上述した実施形態では、画像符号化装置１０と画像パディング装置２０とが別々の装置であるものとしたが、これに限られるものではない。１つの情報処理装置（例えば汎用コンピュータ等）が、上述した画像符号化装置１０の機能部と画像パディング装置の機能部とを備える構成であってもよい。
【0083】
上述した実施形態における画像符号化システム１の一部または全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【0084】
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。
【符号の説明】
【0085】
１…画像符号化システム、１０…画像符号化装置、２０…画像パディング装置、１０１…画像信号入力部、１０２…減算部、１０３…変換部、１０４…量子化部、１０５…エントロピー符号化部、１０６…符号化データ出力部、１０７…逆量子化部、１０８…逆変換部、１０９…加算部、１１０…フレームメモリ、１１１…画面内予測部、２０１…画像信号入力部、２０２…形状情報入力部、２０３…符号化対象ブロック情報入力部、２０４…画面内予測値入力部、２０５…パディング要否判定部、２０６…領域外判定部、２０７…領域内画素取得部、２０８…線形問題求解部、２０９…画像信号出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
