特許 5698635 標本点算出装置および標本点算出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5698635

(24)【登録日】2015年2月20日

(45)【発行日】2015年4月8日

(54)【発明の名称】標本点算出装置および標本点算出プログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20150319BHJP

   H04N 19/132 20140101ALI20150319BHJP

   H04N 19/182 20140101ALI20150319BHJP

【ＦＩ】

   H04N7/01 Z

   H04N19/132

   H04N19/182

【請求項の数】4

【全頁数】18

(21)【出願番号】特願2011-209634(P2011-209634)

(22)【出願日】2011年9月26日

(65)【公開番号】特開2013-74318(P2013-74318A)

(43)【公開日】2013年4月22日

【審査請求日】2014年1月30日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】井口 和久

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】鹿喰 善明

【審査官】 菅 和幸

(56)【参考文献】

【文献】 特開２００６−００５９０４（ＪＰ，Ａ）

【文献】 特開２０００−２９５６２２（ＪＰ，Ａ）

【文献】 特開平０９−１４９２９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／００−７／０１５

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

動画像におけるフレームごとの標本化のための標本点を、画像の動きに応じて算出する標本点算出装置であって、
前記標本点の算出対象となるフレームを示す対象フレームと、当該対象フレームの前のフレームを示す参照フレームとを比較し、両フレーム間における対応する画素の変位の大きさおよび方向を推定する変位推定手段と、
参照フレームにおける標本点集合を前記画素の変位の大きさおよび方向に応じて動き補償することで得られる動き補償済み標本点集合からの時空間的距離に基づいて、対象フレームの画素ごとの距離値を算出して距離マップを求め、
前記距離マップの中から前記距離値が大きい順に前記対象フレームの標本点を選択すると共に、前記対象フレームにおいて既に選択された当該標本点からの空間的な距離値に応じて前記距離マップの距離値を更新する距離マップ算出手段と、
を備えることを特徴とする標本点算出装置。

【請求項2】

前記距離マップ算出手段は、
既に算出された前記参照フレームの標本点と、当該標本点の画素から前記参照フレームにおけるその他の画素までの距離値と、が記述された参照距離マップを生成する参照距離マップ生成手段と、
前記両フレーム間における対応する画素の変位の大きさおよび方向に従って、前記参照距離マップに記述された前記標本点の位置および前記距離値を更新し、その結果を前記距離マップとして出力する変位補償手段と、
前記距離マップの中から、予め定められた数の画素を前記距離値の大きい順に選択し、当該選択した画素の位置を前記対象フレームの標本点として決定する標本点決定手段と、
を備えることを特徴とする請求項１に記載の標本点算出装置。

【請求項3】

前記変位推定手段は、前記対象フレームと、前記参照フレームとを、予め定められたサイズのブロックごとに比較し、両フレーム間における対応する画素の変位の大きさおよび方向を前記ブロックごとに推定し、
前記参照距離マップは、既に算出された前記参照フレームにおける標本点の画素位置から前記参照フレームの各画素までの距離値が記述されたことを特徴とする請求項２に記載の標本点算出装置。

【請求項4】

動画像におけるフレームごとの標本化のための標本点を、画像の動きに応じて算出するために、コンピュータを、
前記標本点の算出対象となるフレームを示す対象フレームと、当該対象フレームの前のフレームを示す参照フレームとを比較し、両フレーム間における対応する画素の変位の大きさおよび方向を推定する変位推定手段、
参照フレームにおける標本点集合を前記画素の変位の大きさおよび方向に応じて動き補償することで得られる動き補償済み標本点集合からの時空間的距離に基づいて、対象フレームの画素ごとの距離値を算出して距離マップを求め、
前記距離マップの中から前記距離値が大きい順に前記対象フレームの標本点を選択すると共に、前記対象フレームにおいて既に選択された当該標本点からの空間的な距離値に応じて前記距離マップの距離値を更新する距離マップ算出手段、
として機能させるための標本点算出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、信号の再標本化技術に関し、特にサブナイキスト標本化の位相を画像適応的に制御することで標本点を算出する標本点算出装置および標本点算出プログラムに関するものである。

【背景技術】

【0002】

信号、特に静止画像や動画像においては、信号劣化を抑えつつ、データ容量削減や階層的なデータ伝送を実現するため、信号の標本点をその位置や時刻に応じて一定の規則で間引くインターレース方式が用いられることがある。例えば、動画像のフレーム内において走査線を１本おきに伝送し、フレーム（時刻）によって偶数番目の走査線を伝送するか奇数番目の走査線を伝送するかを切り替える方式がある。

【0003】

また、特許文献１に記載されたＭＵＳＥ（Multi Sub-Nyquist Sampling Encording）方式では、千鳥格子状の標本化（Quincunx Sampling）が行われる。ＭＵＳＥ方式の受信機では、送信側で検出された動き情報を用いて、静止画時には、現時点の標本値と前時点の標本値との両者によって補間を行うことで解像度を補っている。一方、動画時には、現時点の標本値と、送信側で検出された変位ベクトルによって変位補償を行った前時点の標本値と、の両者によって補間を行うことで解像度を補っている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特公昭６１−１７４００号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のインターレース方式では、入力信号の性質によらず一定の規則でラインまたは画素の間引きがなされる。従って、静止画時には、複数時点のフィールドの重ね合わせ、または残像効果によって解像度が保たれるものの、動画時には、標本点の欠落や重複選択によって解像度が低下したり、あるいはライン交互に映像がずれて見える独特の障害が生じてしまう。

【0006】

また、前記したＭＵＳＥ方式では、受信側で動静に適応した補間処理がなされるため、解像度の向上は可能であるものの、送信側での標本化格子（標本点の集合）の選択には画像の動きに応じた適応性がないため、従来のインターレース方式のように標本点の欠落や重複選択が発生し、受信側における適応的な補間の本領を発揮しきれていなかった。

【0007】

本発明はかかる点に鑑みてなされたものであって、静止画時のみならず動画時においても、解像度を低下させることなく標本化のための標本点を算出することができる標本点算出装置および標本点算出プログラムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記課題を解決するために本発明に係る標本点算出装置は、動画像におけるフレームごとの標本化のための標本点を、画像の動きに応じて算出する標本点算出装置であって、変位推定手段と、距離マップ算出手段と、を備える構成とした。

【0009】

これにより、標本点算出装置は、変位推定手段によって、標本点の算出対象となるフレームを示す対象フレームと、当該対象フレームの前のフレームを示す参照フレームとを比較し、両フレーム間における対応する画素の変位の大きさおよび方向を推定する。また、標本点算出装置は、距離マップ算出手段によって、参照フレームにおける標本点集合を画素の変位の大きさおよび方向に応じて動き補償することで得られる動き補償済み標本点集合からの時空間的距離に基づいて、対象フレームの画素ごとの距離値を算出して距離マップを求め、距離マップの中から距離値が大きい順に対象フレームの標本点を選択すると共に、対象フレームにおいて既に選択された当該標本点からの空間的な距離値に応じて距離マップの距離値を更新する。

【0011】

また、本発明に係る標本点算出装置は、距離マップ算出手段が、参照距離マップ生成手段と、変位補償手段と、標本点決定手段と、を備える構成としてもよい。

【0012】

これにより、標本点算出装置は、参照距離マップ生成手段によって、既に算出された参照フレームの標本点と、当該標本点の画素から参照フレームにおけるその他の画素までの距離値と、が記述された参照距離マップを生成する。また、標本点算出装置は、変位補償手段によって、両フレーム間における対応する画素の変位の大きさおよび方向に従って、参照距離マップに記述された標本点の位置および距離値を更新し、その結果を距離マップとして出力する。そして、標本点算出装置は、標本点決定手段によって、距離マップの中から、予め定められた数の画素を距離値の大きい順に選択し、当該選択した画素の位置を対象フレームの標本点として決定する。このように、標本点算出装置は、一つ前のフレーム画像である参照フレームの標本点と、当該標本点からその他の画素までの距離値と、が記述された参照距離マップを、フレーム間の画像の動きを示す変位ベクトルに基づいて変位補償することで、現在のフレーム画像である対象フレームの標本点を算出することができる。

【0013】

また、本発明に係る標本点算出装置は、変位推定手段が、対象フレームと、参照フレームとを、予め定められたサイズのブロックごとに比較し、両フレーム間における対応する画素の変位の大きさおよび方向をブロックごとに推定し、参照距離マップが、既に算出された参照フレームにおける標本点の画素位置から参照フレームの各画素までの距離値が記述される構成としてもよい。このように、標本点算出装置は、対象フレームと参照フレームの間の変位ベクトルを所定領域、例えば予め定めたブロック単位で算出することができるため、フレーム間の局所的な画素位置の変化を捉え、当該変化に基づいて参照距離マップを変位補償することができる。

【0014】

前記課題を解決するために本発明に係る標本点算出プログラムは、動画像におけるフレームごとの標本化のための標本点を、画像の動きに応じて算出するために、コンピュータを、変位推定手段、距離マップ算出手段、として機能させる構成とした。

【0015】

これにより、標本点算出プログラムは、変位推定手段によって、標本点の算出対象となるフレームを示す対象フレームと、当該対象フレームの前のフレームを示す参照フレームとを比較し、両フレーム間における対応する画素の変位の大きさおよび方向を推定する。また、標本点算出プログラムは、距離マップ算出手段によって、参照フレームにおける標本点集合を画素の変位の大きさおよび方向に応じて動き補償することで得られる動き補償済み標本点集合からの時空間的距離に基づいて、対象フレームの画素ごとの距離値を算出して距離マップを求め、距離マップの中から距離値が大きい順に前記対象フレームの標本点を選択すると共に、対象フレームにおいて既に選択された当該標本点からの空間的な距離値に応じて距離マップの距離値を更新する。

【発明の効果】

【0016】

本発明に係る発明によれば、隣接するフレーム間の画像の動きを加味しながら現在のフレーム画像である対象フレームの標本点を算出するため、静止画時のみならず動画時においても標本点の欠落や重複選択を抑制することができ、解像度を低下させることなく標本化のための標本点を的確に配置することができる。

【0017】

本発明に係る発明によれば、隣接するフレーム間の局所的な画像の動きを加味しながら現在のフレーム画像である対象フレームの標本点を算出するため、標本化のための標本点をより的確に配置することができる。

【図面の簡単な説明】

【0018】

【図1】本発明に係る標本点算出装置の全体構成を示すブロック図である。

【図2】本発明に係る標本点算出装置の動作の概略を説明するフローチャートである。

【図3】本発明に係る標本点算出装置の第１の動作例を説明するための概略図であって、（ａ）は、参照フレームのブロックと対象フレームのブロックとを示す図、（ｂ）は、変位ベクトルを示す図、である。

【図4】本発明に係る標本点算出装置の第１の動作例を説明するための概略図であって、参照距離マップを示す概略図である。

【図5】本発明に係る標本点算出装置の第１の動作例を説明するための概略図であって、（ａ）は、参照距離マップを変位補償した状態を示す図、（ｂ）は、（ａ）から生成された距離マップを示す図、（ｃ）は、優先順位マップを示す図、である。

【図6】本発明に係る標本点算出装置の第１の動作例を説明するための概略図であって、（ａ）〜（ｆ）は、距離マップを更新する様子を示す図、である。

【図7】本発明に係る標本点算出装置の第１の動作例を説明するための概略図であって、（ａ）は、標本化マップを示す図、（ｂ）は、（ａ）から生成された参照距離マップを示す図、である。

【図8】本発明に係る標本点算出装置の第２の動作例（静止画時）を説明するための概略図であって、（ａ）は、０フレーム目における初期化マップおよび標本化マップを示す図、（ｂ）は、優先順位マップを示す図、（ｃ）１フレーム目における参照距離マップおよび標本化マップを示す図、（ｄ）８フレーム目における標本化マップを示す図、である。

【図9】本発明に係る標本点算出装置の第２の動作例（動画時）を説明するための概略図であって、（ａ）は、１フレーム目における参照距離マップ、変位ベクトル、距離マップおよび標本化マップを示す図、（ｂ）は、参照距離マップを変位補償した状態を示す図、（ｃ）は、標本化マップから生成される第１距離マップと、距離マップから生成される第２距離マップと、第１距離マップおよび第２距離マップから生成される参照距離マップを示す図、である。

【図10】本発明に係る標本点算出装置の第２の動作例（動画時）を説明するための概略図であって、（ａ）は、２フレーム目における参照距離マップ、変位ベクトル、距離マップおよび標本化マップを示す図、（ｂ）は、８フレーム目における標本化マップを示す図、である。

【発明を実施するための形態】

【0019】

本発明の実施形態に係る標本点算出装置および標本点算出プログラムについて、図面を参照しながら説明する。なお、以下の説明において、同一の構成については同一の名称及び符号を付し、詳細説明を省略する。

【0020】

［標本点算出装置］
標本点算出装置１は、動画像におけるフレームごとの標本化のための標本点を、画像の動きに応じて適応的に算出するものである。標本点算出装置１は、図１に示すように、フレーム単位で区切られて入力される標本化対象フレームから標本点を算出し、当該標本点の集合（標本点集合）を出力する。なお、標本点の集合とは、具体的には、標本化対象フレームから算出された複数の標本点の座標のことを意味している。

【0021】

前記した標本化対象フレームは、具体的には標本化対象信号によって構成される。標本化対象信号は、時間的な相関を有する可能性のある信号であれば特に限定されないが、以下の説明では、標本化対象信号が動画像信号の場合を例にとって説明する。また、以下の説明では、時刻ｔ（現時点）における画像座標（ｘ，ｙ）の画素値をＩ（ｔ；ｘ，ｙ）と表わし、フレーム番号ｔ（現時点）における標本化対象フレームを対象フレームと呼び、フレーム番号ｔ−１（前時点）における標本化対象フレームを参照フレームと呼ぶこととする。

【0022】

標本点算出装置１は、ここでは図１に示すように、フレーム記憶手段１０と、変位推定手段１１と、標本点記憶手段１２と、参照距離マップ生成手段１３と、変位補償手段１４と、マップ切替手段１５と、標本点決定手段１６と、を備えている。以下、標本点算出装置１の各構成について、詳細に説明する。

【0023】

フレーム記憶手段１０は、標本化対象フレームを記憶するものである。フレーム記憶手段１０には、図１に示すように、例えば図示しない標本化対象フレーム記憶手段から、後記する変位推定手段１１に入力されるものと同じ標本化対象フレームが、同じタイミングで入力される。そして、フレーム記憶手段１０は、変位推定手段１１に対して、入力された標本化対象フレームを１フレーム分遅らせて出力する。従って、変位推定手段１１には、対象フレームとその一つ前の参照フレームとが同じタイミングで入力されることになる。ここで、フレーム記憶手段１０は、具体的にはデータを記憶することができるメモリ、ハードディスク等で具現される。

【0024】

変位推定手段１１は、時間軸上で隣接する２つのフレーム間の変位の大きさおよび方向を推定するものである。変位推定手段１１は、具体的には２つのフレーム間の変位ベクトルを求めることで変位の大きさおよび方向を推定する。ここで、変位ベクトルとは、対象フレームおよび参照フレーム間における、対応する画素の変位の大きさと、変位の方向のことを意味している。また、変位ベクトルは、より詳細には、対象フレームの画素とこれに対応した参照フレームの画素との間における、対象フレームを基準とした位置変化の大きさと位置変化の方向のことを意味している。従って、両フレーム間の変位ベクトルを求めることで、隣接する２つのフレーム間における画像の位置ずれの大きさと方向とを把握することができる。

【0025】

変位推定手段１１は、対象フレームを予め定められたサイズおよび数のブロックに分割し、当該ブロックごとに、参照フレームの画素と類似度の高い（例えば輝度が類似する）画素を探索する。そして、変位推定手段１１は、対象フレームの画素を基準として、当該対象フレームの画素と類似する参照フレームの画素までの距離と方向を求めることで、前記したブロックごとに変位ベクトルを算出する。なお、変位推定の具体例および変位ベクトルの具体例については後記する。

【0026】

変位推定手段１１は、例えば対象フレーム内にＫ個（Ｋは自然数）のブロックを設定した場合、具体的には以下の式（１）〜（３）のいずれかの方法によって変位ベクトルを算出することができる。なお、以下の式（１）〜（３）において、（ｕ_ｋ，ｖ_ｋ）は変位ベクトル、Ｂ_ｋはｋ番目（ｋ∈｛０，１，・・・，Ｋ−１｝）のブロックの領域、Ｓは変位ベクトルの探索領域、を示している。

【0027】

例えば、変位推定手段１１は、以下の式（１）によって、絶対値誤差（ＳＡＤ：Sum of Absolute Difference）を最小化する変位ベクトルを算出することができる。

【0028】

【数1】

【0029】

また、変位推定手段１１は、以下の式（２）によって、二乗誤差（ＳＳＤ：Sum of Squared Difference）を最小化する変位ベクトルを算出することができる。

【0030】

【数2】

【0031】

また、変位推定手段１１は、以下の式（３）によって、正規化相関（ＮＣＣ：Normalized Cross-Correlation）を最大化する変位ベクトルを算出することができる。

【0032】

【数3】

【0033】

なお、変位推定手段１１は、この他にも平均値による補正を施した正規化相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlaion）を最大化する変位ベクトルを算出して採用しても構わない。

【0034】

変位推定手段１１には、図１に示すように、例えば図示しない標本化対象フレーム記憶手段から対象フレーム（現時点における標本化対象フレーム）が入力されるとともに、フレーム記憶手段１０から参照フレーム（前時点における標本化対象フレーム）が入力される。そして、変位推定手段１１は、前記した手法によって対象フレームから参照フレームへの変位ベクトルを算出し、図１に示すように、当該変位ベクトルを変位補償手段１４に出力する。なお、変位推定手段１１は、標本点算出装置１に初めて標本化対象フレームが入力された場合、すなわち参照フレームが存在しない場合は、変位ベクトルを算出することができないため、変位補償手段１４に当該変位ベクトルは出力しない。

【0035】

標本点記憶手段１２は、現時点よりも過去の標本点の集合を記憶するものである。標本点記憶手段１２には、図１に示すように、後記する標本点決定手段１６から、現時点よりも過去の標本化対象フレームから算出された標本点の集合が入力される。なお、標本点記憶手段１２は、ここでは直前１フレーム分、すなわち参照フレームから算出された標本点の集合を記憶している。標本点記憶手段１２は、標本点決定手段１６から入力された標本点の集合を、図１に示すように、参照距離マップ生成手段１３に出力する。ここで、標本点記憶手段１２は、具体的にはデータを記憶することができるメモリ、ハードディスク等で具現される。

【0036】

参照距離マップ生成手段１３は、参照距離マップを生成するものである。ここで、参照距離マップとは、既に算出された参照フレームの標本点と、当該標本点から参照フレームにおけるその他の画素までの距離と、が記述されたものであり、参照フレームで決定された標本点を基準とした、周辺画素までの距離情報のことを意味している。この参照距離マップは、前記したように変位推定手段１１によって対象フレーム内のブロックごとに変位ベクトルが算出され、当該ブロックごとに標本点の算出処理が行われる場合は、参照フレームにおける当該ブロックごとに生成される。なお、参照距離マップの具体例については後記する。

【0037】

参照距離マップ生成手段１３は、具体的には以下の式（４）によって、参照フレームの標本点が記述された標本化マップから参照距離マップを生成する。なお、以下の式（４）において、Ｐ（ｘ，ｙ）は参照距離マップを示している。

【0038】

Ｐ（ｘ，ｙ）＝参照フレームにおける標本点から周辺の画像座標（ｘ，ｙ）までの最短距離＋１ ・・・式（４）

【0039】

また、参照距離マップ生成手段１７は、以下の式（５）によって、参照フレームにおける過去の標本点からの時空間的な距離を加味して参照距離マップを生成してもよい。

【0040】

Ｐ（ｘ，ｙ）＝ｍｉｎ｛参照フレームにおける標本点から周辺の画像座標（ｘ，ｙ）までの最短距離＋１，Ｄ（ｘ，ｙ）＋１｝ ・・・式（５）

【0041】

参照距離マップ生成手段１３には、図１に示すように、標本点記憶手段１２から標本点の集合が入力される。そして、参照距離マップ生成手段１３は、前記した手法によって参照距離マップを生成し、図１に示すように、当該参照距離マップを変位補償手段１４に出力する。なお、参照距離マップ生成手段１３は、後記するように、変位補償手段１４と標本点決定手段１６とともに、距離マップ算出手段（図示省略）として機能する。

【0042】

変位補償手段１４は、変位ベクトルに基づいて参照距離マップを変位補償するものである。変位補償手段１４は、具体的には、変位推定手段１１によって算出された変位ベクトルが示す、対象フレームと参照フレームの間における対応する画素の変位の大きさおよび方向に従って、参照距離マップに記述された標本点および距離値の位置を更新する。そして、当該変位補償の結果として距離マップを生成する。

【0043】

ここで、距離マップとは、参照フレームの標本点を基準とした周辺画素までの距離情報（すなわち参照距離マップ）において、フレーム間における画像の動き（画素位置の変化）を加味したものを意味している。この距離マップは、前記したように変位推定手段１１によって対象フレーム内のブロックごとに変位ベクトルが算出され、当該ブロックごとに標本点の算出処理が行われる場合は、当該ブロックごとに生成される。なお、変位補償の具体例および距離マップの具体例については後記する。

【0044】

変位補償手段１４は、例えば対象フレーム内にＫ個（Ｋは自然数）のブロックを設定した場合、以下の式（６）によって距離マップを生成することができる。なお、以下の式（６）において、Ｄ（ｘ，ｙ）は距離マップ、Ｂ_ｋはｋ番目（ｋ∈｛０，１，・・・，Ｋ−１｝）のブロックの領域、を示している。

【0045】

【数4】

【0046】

なお、変位補償した場合の画像座標（ｘ＋ｕ_ｋ，ｙ＋ｖ_ｋ）が画像の外側である場合等、Ｐ（ｘ＋ｕ_ｋ，ｙ＋ｖ_ｋ）の値が未定義である場合には、周囲の既に決定された距離値から（例えば、０次外挿やマンハッタン距離によって）距離値を外挿したり、予め定められた値（例えば∞）をパディングすることで値を定義する。

【0047】

変位補償手段１４には、図１に示すように、変位推定手段１１から変位ベクトルが入力されるとともに、参照距離マップ生成手段１３から参照距離マップが入力される。そして、変位補償手段１４は、前記した手法によって参照距離マップを変位補償して距離マップを生成し、図１に示すように、当該距離マップをマップ切替手段１５に出力する。なお、変位補償手段１４は、標本点算出装置１に初めて標本化対象フレームが入力された場合、すなわち参照フレームが存在しない場合は、参照距離マップが存在せず変位補償を行うこともできないため、マップ切替手段１５に距離マップは出力しない。

【0048】

マップ切替手段１５は、標本点決定手段１６に対して、距離マップまたは初期化マップのいずれかを、所定の条件下で切り替えて出力するスイッチに相当するものである。ここで、初期化マップとは、標本点算出装置１に初めて標本化対象フレームが入力された場合に、距離マップの代わりとして用いられるものである。なお、初期化マップの具体例については後記する。

【0049】

マップ切替手段１５は、例えば通常は変位補償手段１４から入力された距離マップを標本点決定手段１６に出力するものとし、標本点算出装置１に入力された標本化対象フレームが１枚目のフレームである場合、変位補償手段１４から距離マップが入力されないため、予め用意された初期化マップを標本点決定手段１６に出力する。

【0050】

標本点決定手段１６は、距離マップまたは初期化マップから標本点を決定するものである。ここで、標本点決定手段１６は、距離マップと初期化マップのどちらからであっても同じ手法によって標本点を決定することができるが、以下の説明では、標本点決定手段１６が距離マップから標本点を決定する場合を例にとって説明する。

【0051】

標本点決定手段１６は、具体的には、参照距離マップが変位補償されることで生成された距離マップの中で、距離値の大きい画素位置から優先的に対象フレーム標本点を割り当てる。すなわち、標本点決定手段１６は、距離マップの中で、最も大きい距離値を有する画素を対象フレームの標本点として決定する。このように、参照フレームの標本点からなるべく離れた画素を対象フレームの標本点とすることで、標本点の欠落や重複選択を抑制し、動画再生時における解像度の低下を抑制することができる。そして、標本点決定手段１６は、決定した標本点から標本化マップを生成する。この標本化マップは、対象フレーム内における標本点の位置を示したものであり、対象フレーム（または対象フレーム内に設定されたブロック）と同サイズで生成される。標本点決定手段１６は、例えば対象フレーム内において配置すべき標本点の総数をＴ（０＜Ｔ≦対象フレームの総画素数）とした場合、具体的には以下の手順により標本化マップを生成する。

【0052】

（標本化マップの生成方法）
まず、標本点決定手段１６は、全ての画素値を０に設定した対象フレーム（または対象フレーム内に設定されたブロック）と同サイズの標本化マップを用意する。次に、標本点決定手段１６は、マップ切替手段１５から入力された距離マップを参照し、最大の距離値を有する画素を選択する。次に、標本点決定手段１６は、標本化マップの画素のうち、距離マップで選択された画素と同じ画素位置にある画素の画素値を１と置く。

【0053】

次に、標本点決定手段１６は、距離マップを以下の式（７）によって更新し、更新後の距離マップにおいて最大の距離値を有する画素を選択し、標本化マップの画素のうち、距離マップで選択された画素と同じ画素位置にある画素の画素値を１と置く。なお、以下の式（７）において、Ｄ_ｎｅｗ（ｘ，ｙ）は更新後の距離マップを示している。また、以下の式（７）における縦の二重線はベクトルのノルムであり、例えばマンハッタン距離（Ｌ１ノルム）やユークリッド距離（Ｌ２ノルム）を用いることができる。

【0054】

【数5】

【0055】

次に、標本点決定手段１６は、標本化マップにおける０以外の画素値の数が前記したＴ個（対象フレーム内において配置すべき標本点の総数）になるまで前記した式（７）によって距離マップを更新し、同様の処理を行う。そして、標本点決定手段１６は、前記したＴ個の標本点の集合が記述された標本化マップを出力する。なお、標本点決定の具体例および標本化マップの具体例については後記する。

【0056】

ここで、標本点決定手段１６は、前記したＴが２以上である場合、すなわち標本点を２個以上決定する場合のみ前記した式（７）による距離マップの更新を行い、例えば前記したＴが１である場合、すなわち標本点を１個のみ決定する場合は前記した式（７）による距離マップの更新は行わず、１個の標本点が記述された標本化マップを出力する。また、標本点決定手段１６は、距離マップにおいて最大の距離値を有する画素が２つ以上ある場合は、例えばフレーム画像内の各画素位置に優先順位を割り振っておき、優先順位の最も高い１画素を選択する方法（後記する優先順位マップを用いた方法）や、乱数によって１画素を選択する方法等により、１つの画素を選択する。

【0057】

標本点決定手段１６には、図１に示すように、マップ切替手段１５から距離マップまたは初期化マップが入力される。そして、標本点決定手段１６は、前記した手法によって対象フレームの標本点を決定し、図１に示すように、当該標本点の集合が記述された標本化マップを出力する。なお、標本点決定手段１６は、後記するように、参照距離マップ生成手段１３と変位補償手段１４とともに、距離マップ算出手段（図示省略）として機能する。

【0058】

以上のような構成を備える標本点算出装置１は、一つ前のフレーム画像である参照フレームの標本点と、当該標本点からその他の画素までの距離値と、が記述された参照距離マップを、フレーム間の画像の動きを示す変位ベクトルに基づいて変位補償することで、現在のフレーム画像である対象フレームの標本点を算出することができる。従って、標本点算出装置１によれば、隣接するフレーム間の画像の動きを加味しながら現在のフレーム画像である対象フレームの標本点を算出するため、静止画時のみならず動画時においても標本点の欠落や重複選択を抑制することができ、解像度を低下させることなく標本化のための標本点を的確に配置することができる。

【0059】

また、標本点算出装置１は、対象フレームと参照フレームの間の変位ベクトルを所定領域、例えば予め定めたブロック単位で算出することができるため、フレーム間の局所的な画素位置の変化を捉え、当該変化に基づいて参照距離マップを変位補償することができる。従って、標本点算出装置１によってブロックごとに標本点を算出することで、隣接するフレーム間の局所的な画像の動きを加味しながら現在のフレーム画像である対象フレームの標本点を算出するため、標本化のための標本点をより的確に配置することができる。

【0060】

なお、前記した説明では、標本点算出装置１が動画から標本点を算出する例について説明したが、標本点算出装置１は、静止画から標本点を算出することももちろん可能である。この場合、標本点算出装置１は、標本化対象フレームが入力されると、変位推定手段１１による変位ベクトルの算出や変位補償手段１４による変位補償を行うことなく、標本化決定手段１６によって、入力された標本化対象フレームから標本点を算出することになる。

【0061】

［標本点算出装置の動作］
以下、標本点算出装置１の動作（処理手順）について、図２〜図１０を参照しながら詳細に説明する。標本点算出装置１の動作は、図２に示すように、変位推定手段１１による変位ベクトルの算出（ステップＳ１）、変位補償手段１４による参照距離マップの変位補償（ステップＳ２）、標本点決定手段１６による標本点の決定（ステップＳ３）、標本点決定手段１６による、全て（予め定められたＴ個）の標本点を決定したか否かの判断（ステップＳ４）、参照距離マップ生成手段１３による参照距離マップの生成（ステップＳ５）という動作に大きく分類される。なお、図２は、フレームごとに標本点を算出する際のフローチャートを示している。以下ではこれらの動作の詳細について、具体例を挙げて説明する。

【0062】

＜第１の動作例＞
第１の動作例では、標本点算出装置１は、対象フレーム内に縦４ピクセル×横６ピクセルのブロックを設定して当該ブロックごとに標本点を算出することとし、１ブロックあたりＴ＝６個の標本点を算出する場合について説明する。また、第１の動作例では、距離の算出にはマンハッタン距離（Ｌ１ノルム）を用いることとする。

【0063】

まず標本点算出装置１は、図３（ａ）に示すように、対象フレームの画素位置が参照フレームの画素位置に対して、例えば左に２画素分、上に１画素分移動している場合、変位推定手段１１によって、対象フレームのブロックと参照フレームのブロックとを比較し、図３（ｂ）に示すような変位ベクトルを算出する。なお、変位ベクトルは、対象フレーム（または対象フレームのブロック）を基準とした参照フレームへの変位の大きさおよび変位の方向を表わしているため、図３（ｂ）に示すように図示すると、矢印の方向は、時間軸上における画素位置の変化の方向とは逆になる。

【0064】

ここで、図３（ａ），（ｂ）における太枠は、それぞれ参照フレームと対象フレームの１ブロック（縦４ピクセル×横６ピクセル）の領域を示しており、当該太枠内のマスは、それぞれ画素を示しており、当該太枠の角から延びる一点鎖線は、隣接するブロック同士の境界を示している。従って、図示は省略したものの、図３（ａ）における太枠の外には、参照フレームおよび対象フレームの他のブロックが存在し、図３（ｂ）における太枠の外には、他のブロックにおいて算出された変位ベクトルが存在する。

【0065】

次に、標本点算出装置１は、変位補償手段１４によって、図３（ｂ）に示す変位ベクトルを用いて図４に示す参照距離マップＰ（ｘ，ｙ）を変位補償する。なお、図４に示す参照距離マップＰ（ｘ，ｙ）は、参照距離マップ生成手段１３（図１参照）によって事前に生成されたものである。

【0066】

ここで、図４における太枠は、ブロックサイズ（縦４ピクセル×横６ピクセル）の参照距離マップＰ（ｘ，ｙ）を示しており、太枠内のマスに記述された数字の１は、標本点を示しており、それ以外の数字は、標本点からのマンハッタン距離による距離値を示している。また、太枠の角から延びる一点鎖線は、図４に示すように、隣接するブロックサイズの参照距離マップＰ（ｘ，ｙ）同士の境界を示している。

【0067】

参照距離マップＰ（ｘ，ｙ）内に記述された距離値は、ここでは図４に示すように、同図に示す参照距離マップＰ（ｘ，ｙ）内に記述された標本点のみから起算されたものではなく、隣接する他の参照距離マップＰ（ｘ，ｙ）内の標本点も考慮した場合の最短距離が記述されている。このように、参照距離マップ生成手段１３によって参照距離マップＰ（ｘ，ｙ）を生成する際に他の参照距離マップＰ（ｘ，ｙ）を考慮して距離値を記述することで、算出される標本点がより分散されることになり、動画再生時における解像度の低下を抑制することができる。なお、参照距離マップＰ（ｘ，ｙ）内に記述された距離値は、図４に示す参照距離マップＰ（ｘ，ｙ）内に記述された標本点のみから起算されたものであってももちろん構わない。この場合、参照距離マップ生成手段１３によって参照距離マップＰ（ｘ，ｙ）を生成する際に他の参照距離マップＰ（ｘ，ｙ）を考慮する必要がないため、参照距離マップＰの生成速度が短縮される。

【0068】

次に、標本点算出装置１は、変位補償手段１４によって、図５（ａ）に示すように、参照距離マップＰ（ｘ，ｙ）に記述された標本点および距離値を左に２画素分、上に１画素分、平行移動させることで変位補償を行う。そして、標本点算出装置１は、変位補償手段１４によって、図５（ｂ）に示すように、平行移動させた参照距離マップＰ（ｘ，ｙ）を切り出すことで距離マップＤ^（０）（ｘ，ｙ）を生成する。これらの処理は、フレーム間における画像の動き（画素位置の変化）に合わせて、参照フレームにおける標本点および距離値を移動させる処理に相当する。

【0069】

このように、変位補償手段１４は、参照フレームにおける標本点の集合を画素の変位の大きさおよび方向に応じて動き補償することで動き補償済み標本点集合を取得し、当該動き補償済み標本点集合からの時空間的距離に基づいて、対象フレームの画素ごとの距離値を算出することで、距離マップＤ^（０）（ｘ，ｙ）を算出する。なお、前記した「参照フレームにおける標本点の集合」とは、参照距離マップ生成手段１３によって生成された参照距離マップＰ（ｘ，ｙ）に記述された標本点のことを示しており、前記した「動き補償済み標本点集合」とは、変位ベクトルによって変位補償された、参照距離マップＰ（ｘ，ｙ）に記述された標本点のことを示している。また、「動き補償済み標本点集合からの時空間的距離」とは、動き補償済み標本点集合からその他の画素までの距離値のことを示している。従って、変位補償手段１４は、参照距離マップ生成手段１３と標本点決定手段１６とともに、距離マップ算出手段（図示省略）として機能する。

【0070】

次に、標本点算出装置１は、標本点決定手段１６によって、図５（ｂ）に示す距離マップＤ^（０）（ｘ，ｙ）に記述された距離値の中で最も大きい距離値を標本点として選択する。その際に、例えば図５（ｂ）の画素２０，２１に示すように、最大の距離値４が２つ存在する場合、図５（ｃ）に示すような予め用意した優先順位マップＹ（ｘ，ｙ）を参照していずれかを選択する。優先順位マップＹ（ｘ，ｙ）とは、図５（ｃ）に示すように、各マスの数字がなるべく離れるように配置された距離マップと同サイズのマップのことを意味している。優先順位マップＹ（ｘ，ｙ）を参照すると、図５（ｃ）に示すように、画素２０の優先順位は１、画素２１の優先順位は１８である。従って、標本点決定手段１６は、優先順位の値が低いものを優先するとした場合、ここでは図５（ｂ）に示すように、画素２０を標本点として決定する。

【0071】

ここで、図５（ａ）における斜線で示した領域は、変位補償後の参照距離マップＰ（ｘ，ｙ）（すなわち距離マップＤ^（０）（ｘ，ｙ））と示しており、図５（ｂ）におけるドットハッチングで示したマスは、参照距離マップＰにおいて標本点であった画素を示しており、図５（ａ）、（ｂ）における塗りつぶしのマスは、決定された標本点を示している。

【0072】

次に、標本点算出装置１は、図６に示すように、標本点決定手段１６によって、距離マップＤ^（０）（ｘ，ｙ）を更新する。標本点決定手段１６は、具体的には図６（ａ）、（ｂ）に示すように、前記した式（７）を用いて距離マップＤ^（０）（ｘ，ｙ）を距離マップＤ^（１）（ｘ，ｙ）に更新する。そして、標本点決定手段１６は、必要に応じて前記した優先順位マップＹを参照し、図６（ｂ）に示すように、距離マップＤ^（１）（ｘ，ｙ）において最大の距離値を有する画素を標本点として決定する。

【0073】

次に、標本点算出装置１は、図６（ｂ）〜図６（ｆ）に示すように、標本点決定手段１６によって、決定された標本点の数が前記したＴ（＝６個）と同じになるまで、前記した距離マップの更新と標本点の決定を繰り返す。そして、標本点算出装置１は、図７（ａ）に示すように、標本点決定手段１６によって、決定された標本点の画素位置の値を１と置き、その他の画素位置の値を０と置いた標本化マップＬ_１（ｘ，ｙ）を生成する。なお、図６（ｂ）〜図６（ｆ）における横線ハッチングで示したマスは、更新前の距離マップで決定された標本点を示しており、図６（ｂ）〜図６（ｆ）における斜体の数字は、前記した式（７）によって値が更新された距離値を示している。

【0074】

このように、標本点決定手段１６は、参照フレームにおける標本点の集合を画素の変位の大きさおよび方向に応じて動き補償することで動き補償済み標本点集合を取得し、当該動き補償済み標本点集合からの時空間的距離と、対象フレームにおいて既に割り当てられた標本点からの空間的な距離値との両者に応じて距離マップＤ^（０）（ｘ，ｙ）を算出（更新）する。なお、前記した「対象フレームにおいて既に割り当てられた標本点からの空間的な距離値」とは、前記した式（７）によって値が更新された距離値のことを示している。従って、標本点決定手段１６は、参照距離マップ生成手段１３と変位補償手段１４とともに、距離マップを算出（更新）する距離マップ算出手段（図示省略）として機能する。

【0075】

次に、標本点算出装置１は、図７（ｂ）に示すように、参照距離マップ生成手段１３によって、標本化マップＬ_１（ｘ，ｙ）から次の処理で用いる参照距離マップＰ_ｎｅｘｔ（ｘ，ｙ）を生成する。なお、標本点算出装置１は、具体的には前記した式（４）を用いて、標本化マップＬ_１（ｘ，ｙ）に記述された標本点を基準とした、周辺画素までの距離を算出することで、参照距離マップＰ_ｎｅｘｔ（ｘ，ｙ）を生成する。そして、標本点算出装置１は、図５（ａ）〜図７に示す処理、すなわち参照距離マップの変位補償、距離マップの生成、距離マップの更新、標本化マップの生成、という処理を３回繰り返すことで、対象フレームのブロック内における残り１８個の標本点を算出する。

【0076】

＜第２の動作例＞
以下、標本点算出装置１の別の動作例について説明する。第２の動作例では、標本点算出装置１は、対象フレームおよび参照フレームのサイズを縦６ピクセル×横６ピクセルとし、対象フレーム内に縦３ピクセル×横３ピクセルのブロックを４つ設定して当該ブロックごとに標本点を算出することとし、１ブロックあたりＴ＝１個の標本点を算出する場合について説明する。また、第２の動作例では、距離の算出にはマンハッタン距離（Ｌ１ノルム）を用いることとする。さらに、第２の動作例では、まず静止画時における標本点の算出処理について簡単に説明した後、動画時における標本点の算出処理について説明することとする。

【0077】

≪静止画時における標本点の算出処理≫
まず、標本点算出装置１は、標本化対象信号が０フレーム目の入力であった場合、すなわち標本化対象フレームがはじめて入力された場合は、図８（ａ）に示すように、予め用意された初期化マップＮ（ｘ，ｙ）を距離マップの代わりに用いて標本化マップＬ_０（ｘ，ｙ）を生成する。ここで、図８（ａ）に示す初期化マップＮ（ｘ，ｙ）には、全て無限大（∞）の画素値が設定されている。そこで、標本点算出装置１は、図８（ｂ）に示すような優先順位マップＹ（ｘ，ｙ）を予め用意し、標本点決定手段１６によって、当該優先順位マップＹ（ｘ，ｙ）において最も優先順位の値が低い各ブロックの中央の画素を標本点として決定し、標本化マップＬ_０（ｘ，ｙ）（図８（ａ）参照）を生成する。

【0078】

次に、標本点算出装置１は、図８（ｃ）に示すように、参照距離マップ生成手段１３によって、前記した式（４）を用いて、標本化マップＬ_０（ｘ，ｙ）（図８（ａ）参照）から参照距離マップＰ_１（ｘ，ｙ）を生成する。次に、標本点算出装置１は、図８（ｃ）に示すように、標本点決定手段１６によって、優先順位マップＹ（ｘ，ｙ）（図８（ｂ）参照）を用いて、参照距離マップＰ_１（ｘ，ｙ）から標本化マップＬ_１（ｘ，ｙ）を生成する。そして、標本点算出装置１は、距離マップの生成、標本化マップの生成、という処理を７回繰り返すことで、対象フレームのブロック内における残り７個の標本点を算出する。なお、静止画から標本点を算出する場合は、画素位置は変化しないため、図８に示すように、変位推定手段１１による変位ベクトルの算出や変位補償手段１４による参照距離マップの変位補償等の処理は不要となる。

【0079】

≪動画時における標本点の算出処理≫
まず、標本点算出装置１は、標本点決定手段１６によって、前記した静止画時と同様の手順によって標本化マップＬ_０（ｘ，ｙ）を生成し（図８（ａ）参照）、参照距離マップ生成手段１３によって、前記した静止画時と同様の手順によって参照距離マップＰ_１（ｘ，ｙ）を生成する（図８（ｃ）参照）。

【0080】

次に、標本点算出装置１は、図９（ａ）に示すように、変位推定手段１１によって変位ベクトルを算出し、変位補償手段１４によって当該変位ベクトルに参照距離マップＰ_１（ｘ，ｙ）から距離マップＤ_１（ｘ，ｙ）を生成し、標本点決定手段１６によって距離マップＤ_１（ｘ，ｙ）から標本化マップＬ_１（ｘ，ｙ）を生成する。

【0081】

ここで、前記した変位補償手段１４による参照距離マップＰ_１（ｘ，ｙ）の変位補償は、図９（ｂ）に示すように、ブロックごとの変位ベクトル（図９（ａ）参照）に基づいて、参照距離マップＰ_１内の標本点および距離値をブロックごとに平行移動させる処理に相当する。なお、変位補償手段１４による変位補償の結果、距離値に定義されていない画素が生じた場合は、図９（ｂ）の下線を引いた距離値のように、周囲の距離値からマンハッタン距離による距離値を外挿することで距離値を定義する。

【0082】

次に、標本点算出装置１は、図９（ｃ）に示すように、参照距離マップ生成手段１３によって、標本化マップＬ_１（ｘ，ｙ）から参照距離マップＰ_２を生成する。この場合、参照距離マップ生成手段１３は、具体的には図９（ｃ）に示すように、標本化マップＬ_１（ｘ，ｙ）（図９（ａ）参照）から第１距離マップを生成するとともに、距離マップＤ_１（ｘ，ｙ）（図９（ａ）参照）から第２距離マップを生成し、２つの距離マップ内における最小の距離値を選択することで参照距離マップＰ_２（ｘ，ｙ）を生成する。これらの処理は、前記した式（５）を用いた処理に相当する。

【0083】

ここで、第１距離マップとは、図９（ｃ）に示すように、標本化マップＬ_１（ｘ，ｙ）の標本点から周辺画素までの距離値を記述したものである。また、第２距離マップとは、図９（ｃ）に示すように、距離マップＤ_１（ｘ，ｙ）に記述された距離値に１を加算したものであり、当該距離マップＤ_１に時間的な距離を加算したものである。このように、標本点算出装置１は、図９（ｃ）に示すように、第１距離マップと第２距離マップとを生成し、当該２つの距離マップ内における最小の距離値を選択した参照距離マップＰ_２（ｘ，ｙ）を生成することで、参照フレームにおける過去の標本点からの時空間的な距離を加味して参照距離マップを生成することができる。そして、標本点算出装置１は、図１０（ａ）、（ｂ）に示すように、参照距離マップの変位補償、距離マップの生成、標本化マップの生成、という処理を７回繰り返すことで、対象フレームのブロック内における残り７個の標本点を算出する。

【0084】

［標本点算出プログラム］
ここで、前記した標本点算出装置１は、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

【0085】

以上、本発明に係る標本点算出装置および標本点算出プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。

【0086】

例えば、標本点算出装置１の標本点記憶手段１２は、前記したように直前１フレーム分、すなわち参照フレームから算出された標本点の集合のみを記憶してもよいが、例えば参照フレームを含む更に過去の標本化対象フレームから算出された標本点の集合を重畳して記憶しても構わない。

【0087】

また、標本点算出装置１のマップ切替手段１５は、前記したように入力された標本化対象フレームが１枚目のフレームである場合に初期化マップを標本点決定手段１６に出力してもよいが、例えば所定のタイミングで初期化マップと距離マップを切り替えても構わない。また、標本点算出装置１は、マップ切替手段１５自体を備えない構成としても構わない。この場合、標本点算出装置１における標本点決定手段１６は、変位補償手段１４から距離マップが入力された場合のみ標本点を決定することになる。

【0088】

また、初期化マップＮ（ｘ，ｙ）は、全てのｘおよびｙに対してＮ（ｘ，ｙ）＝０としてもよく、各Ｎ（ｘ，ｙ）に乱数（例えば０以上１以下の一様乱数）を書き込んだものとしてもよく、各Ｎ（ｘ，ｙ）に所定の数値パターンを書き込んだものとしても構わない。

【符号の説明】

【0089】

１ 標本点算出装置
１０ フレーム記憶手段
１１ 変位推定手段
１２ 標本点記憶手段
１３ 参照距離マップ生成手段
１４ 変位補償手段
１５ マップ切替手段
１６ 標本点決定手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】