特許 5690163 画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5690163

(24)【登録日】2015年2月6日

(45)【発行日】2015年3月25日

(54)【発明の名称】画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラム

(51)【国際特許分類】

   H04N 7/01 20060101AFI20150305BHJP

   G06T 3/40 20060101ALI20150305BHJP

【ＦＩ】

   H04N7/01 Z

   G06T3/40 710

【請求項の数】8

【全頁数】24

(21)【出願番号】特願2011-36394(P2011-36394)

(22)【出願日】2011年2月22日

(65)【公開番号】特開2012-175466(P2012-175466A)

(43)【公開日】2012年9月10日

【審査請求日】2013年6月7日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】中島 奈緒

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】鹿喰 善明

(72)【発明者】

【氏名】井口 和久

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００７−０８８８３６（ＪＰ，Ａ）

【文献】 特開２００６−１４５９４４（ＪＰ，Ａ）

【文献】 特開平０３−１０９８８９（ＪＰ，Ａ）

【文献】 特開２００７−０８８９６５（ＪＰ，Ａ）

【文献】 特開２００７−２４３９０９（ＪＰ，Ａ）

【文献】 特開平１０−０９３８８５（ＪＰ，Ａ）

【文献】 特開平０６−００６６３４（ＪＰ，Ａ）

【文献】 特開２０１２−１４２８９８（ＪＰ，Ａ）

【文献】 特開平０３−１３２１８４（ＪＰ，Ａ）

【文献】 特開平０６−１５２４３２（ＪＰ，Ａ）

【文献】 特開２００９−１１１４４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／０１

Ｇ０６Ｔ ３／４０

(57)【特許請求の範囲】

【請求項1】

入力される動画像に含まれる画像フレームの非注視領域を縮小して全体の画像サイズを縮小する画像縮小装置であって、
前記画像フレーム毎に前記非注視領域を設定する非注視領域設定手段と、
前記非注視領域に対する処理サイズを設定する処理サイズ設定手段と、
前記処理サイズ設定手段により設定された処理サイズに対応させて、前記非注視領域設定手段により設定された前記非注視領域の画像を間引くことで、前記画像フレーム全体の画像サイズを縮小し、縮小された画像フレームと、縮小時の設定情報とを出力する画像サイズ縮小手段と、
前記画像サイズ縮小手段により得られる縮小した画像フレームを予め設定された複数の異なる拡大手法により元の画像サイズに復元する第１の画像サイズ拡大手段と、
前記第１の画像サイズ拡大手段により得られる復元された動画像と、前記入力される動画像とを比較する画像比較手段とを有し、
前記画像比較手段により得られる比較結果に基づいて、前記複数の異なる拡大手法から選択した最適拡大手法情報を出力することを特徴とする画像縮小装置。

【請求項2】

前記画像サイズ縮小手段は、
前記処理サイズに対応させた連続する複数の画像フレームを用いて、フレーム毎に互いに異なる画素位置の画素を間引くことを特徴とする請求項１に記載の画像縮小装置。

【請求項3】

前記画像サイズ縮小手段は、
前記非注視領域が前記画像フレームの上領域又は下領域にある場合には、所定の行単位に間引き、前記非注視領域が前記画像フレームの左領域又は右領域にある場合には、所定の列単位に間引くことを特徴とする請求項１又は２に記載の画像縮小装置。

【請求項4】

前記入力される動画像に含まれる所定の連続する複数の画像フレームを用いて、前記複数の画像フレームの画像が静止画であるか又は動画であるかを解析する画像解析手段を有し、
前記画像サイズ縮小手段は、前記画像解析手段から得られる解析結果が静止画である場合と動画である場合とで前記画像フレームの縮小手法を変更することを特徴とする請求項１乃至３の何れか１項に記載の画像縮小装置。

【請求項5】

請求項１乃至４の何れか１項に記載された画像縮小装置により縮小された動画像の画像サイズを拡大し、縮小前の画像サイズに復元するための画像拡大装置であって、
前記画像縮小装置により縮小された動画像に対応する縮小時の設定情報を解析する設定情報解析手段と、
前記設定情報解析手段により得られる解析結果から前記動画像に含まれる画像フレームの非注視領域を取得する非注視領域取得手段と、
前記設定情報解析手段により得られる解析結果から前記非注視領域を拡大するための処理サイズを取得する処理サイズ取得手段と、
前記非注視領域取得手段により得られる非注視領域を用いて前記画像フレームから非注視領域を抽出し、抽出された非注視領域に対して前記処理サイズ取得手段により得られる処理サイズに対応させて、前記非注視領域の画像フレームのうち、縮小時に間引かれていない画素を元の画素位置に配置すると共に、間引かれた画素を内挿する第２の画像サイズ拡大手段とを有し、
前記第２の画像サイズ拡大手段は、前記画像縮小装置から得られる前記最適拡大手法情報を用いて、前記非注視領域の画像フレームを拡大することを特徴とする画像拡大装置。

【請求項6】

前記設定情報解析手段は、前記縮小時の設定情報から前記画像フレームが静止画であるか又は動画であるかを解析し、
前記第２の画像サイズ拡大手段は、前記設定情報解析手段から得られる解析結果が静止画である場合と動画である場合とで前記画像フレームの拡大手法を変更することを特徴とする請求項５に記載の画像拡大装置。

【請求項7】

コンピュータを、
請求項１乃至４の何れか１項に記載された画像縮小装置として機能させるための画像縮小プログラム。

【請求項8】

コンピュータを、
請求項５又は６に記載された画像拡大装置として機能させるための画像拡大プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラムに係り、特に入力される動画像に対し、所定の画像処理を行うための適切な画像サイズに調整するための画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラムに関する。

【背景技術】

【0002】

従来、任意の画像処理装置や画像伝送システム等において、入力される動画像の画像サイズ（以下、「原画サイズ」という）が、所定の画像処理を行うことができる画像サイズ（以下、「処理サイズ」という）よりも大きい場合には、その原画サイズを処理サイズに合わせて調整しなければならない。ここで、原画サイズの調整には、画像周辺部を単純に切り落とすことによるサイズ縮小（例えば、サイドカット、上下カット等）や各種フィルタを用いた画像縮小（例えば、スクイーズ等）が用いられている（例えば、非特許文献１参照）。

【0003】

また、上述したように処理サイズに調整された画像に対して画像処理や画像伝送が行われた後に、その画像を原画サイズに戻して再生するためには、上述した非特許文献１に示すように、画像周辺部に黒帯を付加することによるサイズ拡大（例えば、サイドパネル、レターボックス等）や各種フィルタを用いた画像拡大（例えば、ストレッチ等）が必要とされる。

【0004】

ここで、上述したように画像周辺部を単純に切り落とす縮小手法と、画像周辺部に黒帯を付加する拡大手法とを用いる場合には、入力画像の絵柄やオブジェクトを欠損させてしまうのみならず、黒帯が付加されることによる違和感をも発生させてしまう。また、上述した各種フィルタによる画像の縮小手法及び拡大手法を用いる場合には、画像の全領域においてフィルタ処理が行われるため、画像全体の画質劣化を招いてしまう。

【0005】

なお、従来では、画像の非注視領域のみを縮小／拡大することで、注視領域の画質劣化を発生させない手法が提案されている（例えば、特許文献１参照）。

【0006】

上述した特許文献１に示す手法では、デジタル画像を、そのデジタル画像と異なるアスペクト比を有するプリント印画紙上に再生記録するために、縦横何れか一領域に、その一領域のデジタル画像の長さがプリント印画紙の縦横何れか一領域の長さと一致するような倍率で、拡大或いは縮小すると共に、デジタル画像を一領域とは異なる他の領域に、中心部については倍率と同じ倍率で、周辺部については中心部からの距離に応じて決められた倍率であって他の領域のデジタル画像の長さが全体としてプリント印画紙の一領域と異なる他の領域の長さと一致するような倍率で拡大或いは縮小することで、デジタル画像のアスペクト比をプリント印画紙のアスペクト比に合うように調整する手法が示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１１−１２７３４４号公報

【非特許文献】

【0008】

【非特許文献1】社団法人 電波産業会、ＡＲＩＢ ＴＲ−Ｂ２５、「１３：９アスペクト比 １１２５／５２５変換 技術資料」、１．０版、平成１５年７月２９日

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、上述した特許文献１に示されている手法では、画像劣化を伴う画像サイズ変換領域と、劣化を伴わない非変換領域とにおける境界部での画質差が顕著となり、この画質差が原因で主観的画質を損なってしまう。

【0010】

つまり、従来技術においては、例えば画像の圧縮や復元、符号化、復号化等の画像処理を行う装置を介して画像を提供する場合に、上述した所定の画像処理を行うための処理サイズに変換（縮小／拡大）しなければならないが、画像の品質を損ねることなく、適切な処理サイズに変換するための適切な手法が存在していなかった。

【0011】

本発明は、上述した問題点に鑑みなされたものであり、入力される動画像に対し、所定の画像処理を行うための適切な画像サイズに調整するための画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラムを提供することを目的とする。

【課題を解決するための手段】

【0012】

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

【0013】

本発明は、入力される動画像に含まれる画像フレームの非注視領域を縮小して全体の画像サイズを縮小する画像縮小装置であって、前記画像フレーム毎に前記非注視領域を設定する非注視領域設定手段と、前記非注視領域に対する処理サイズを設定する処理サイズ設定手段と、前記処理サイズ設定手段により設定された処理サイズに対応させて、前記非注視領域設定手段により設定された前記非注視領域の画像を間引くことで、前記画像フレーム全体の画像サイズを縮小し、縮小された画像フレームと、縮小時の設定情報とを出力する画像サイズ縮小手段と、前記画像サイズ縮小手段により得られる縮小した画像フレームを予め設定された複数の異なる拡大手法により元の画像サイズに復元する第１の画像サイズ拡大手段と、前記第１の画像サイズ拡大手段により得られる復元された動画像と、前記入力される動画像とを比較する画像比較手段とを有し、前記画像比較手段により得られる比較結果に基づいて、前記複数の異なる拡大手法から選択した最適拡大手法情報を出力することを特徴とする。

【0014】

また本発明は、上述した画像縮小装置により縮小された動画像の画像サイズを拡大し、縮小前の画像サイズに復元するための画像拡大装置であって、前記画像縮小装置により縮小された動画像に対応する縮小時の設定情報を解析する設定情報解析手段と、前記設定情報解析手段により得られる解析結果から前記動画像に含まれる画像フレームの非注視領域を取得する非注視領域取得手段と、前記設定情報解析手段により得られる解析結果から前記非注視領域を拡大するための処理サイズを取得する処理サイズ取得手段と、前記非注視領域取得手段により得られる非注視領域を用いて前記画像フレームから非注視領域を抽出し、抽出された非注視領域に対して前記処理サイズ取得手段により得られる処理サイズに対応させて、前記非注視領域の画像フレームのうち、縮小時に間引かれていない画素を元の画素位置に配置すると共に、間引かれた画素を内挿する第２の画像サイズ拡大手段とを有し、前記第２の画像サイズ拡大手段は、前記画像縮小装置から得られる前記最適拡大手法情報を用いて、前記非注視領域の画像フレームを拡大することを特徴とする。

【0015】

また本発明は、コンピュータを、上述した画像縮小装置として機能させるための画像縮小プログラムである。

【0016】

また本発明は、コンピュータを、上述した画像拡大装置として機能させるための画像拡大プログラムである。

【発明の効果】

【0017】

本発明によれば、入力される動画像に対し、所定の画像処理を行うための適切な画像サイズに調整することができる。

【図面の簡単な説明】

【0018】

【図1】本実施形態における画像伝送システムの一例を示す図である。

【図2】第１の実施形態における画像縮小装置の機能構成例を示す図である。

【図3】第１の実施形態における画像サイズの縮小手法について説明するための図である。

【図4】画像フレームの隅領域における画像縮小例について説明するための図である。

【図5】第１の実施形態における画像拡大装置の機能構成例を示す図である。

【図6】本実施形態における拡大処理の様子を説明するための図である。

【図7】第２の実施形態における画像縮小装置の機能構成例を示す図である。

【図8】第３の実施形態における画像縮小装置の機能構成例を示す図である。

【図9】第１の実施形態における画像縮小処理手順の一例を示すフローチャートである。

【図10】本実施形態における画像拡大処理手順の一例を示すフローチャートである。

【図11】第２の実施形態における画像縮小処理手順の一例を示すフローチャートである。

【図12】第３の実施形態における画像縮小処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0019】

＜本発明について＞
本発明は、動画像に含まれる画像フレーム（静止画も含む）等の画像データに対して、例えば原画サイズから処理サイズに縮小する場合には、画像縮小装置側でフレーム毎に所定の画像サイズ変換領域を設定し、その画像サイズ変換領域に対して、連続する複数のフレームを用いて、フレーム毎に互いに異なる画素位置の画素を間引く手法を用いる。また、例えば処理サイズから原画サイズに拡大する場合には、画像拡大装置側で、縮小時に間引かれていない画素を元の画素位置に配置すると共に、間引かれた画素を内挿することによって画像データを復元する。

【0020】

なお、上述した拡大時の内挿処理（拡大手法）としては、例えば空間領域のフィルタ処理、時間領域のフィルタ処理、及び時空間双方の２次元フィルタ処理等を用いることができる。特に、絵柄やオブジェクトが静止している画像では、時間領域のフィルタ処理で全ての画素位置の画素を復元することが可能となり、精細感を損なわない。また、動きのある絵柄やオブジェクトの画像では、空間領域のフィルタ処理を用いることが必要となるが、この場合においても複数フレーム超解像等の技術を用いることで、精細感を保つことができる。また、本発明では、画像サイズ変換領域における精細感が保たれる効果により、画像サイズ変換領域／非変換領域間の画質の差が目立たなくなる。

【0021】

以下に、上述したような特徴を有する本発明における画像縮小装置、画像拡大装置、画像縮小プログラム、及び画像拡大プログラムを好適に実施した形態について、図面を用いて詳細に説明する。

【0022】

＜画像伝送システム＞
まず、上述した本実施形態における画像縮小装置及び画像拡大装置を含む画像伝送システムの一例について図を用いて説明する。図１は、本実施形態における画像伝送システムの概略構成の一例を示す図である。図１に示す画像伝送システム１０は、画像縮小装置１１と、画像拡大装置１２と、第１の画像処理装置１３と、第２の画像処理装置１４と、伝送系１５とを有するよう構成されている。

【0023】

図１に示す画像縮小装置１１は、入力される動画像（静止画も含む）の画像データ（原画像）に対し、所定の画像サイズ変換領域を抽出し、抽出された画像サイズ変換領域に対して後述する縮小処理を行い、画像全体を第１の画像処理装置１３及び第２の画像処理装置１４によって所定の画像処理が可能な処理サイズに変換する。なお、画像縮小装置１１で縮小される画像サイズは、例えば第１の画像処理装置１３及び第２の画像処理１４の処理性能等により予め設定された処理サイズの最大値、又は所定の処理サイズに合わせて縮小率等が設定される。

【0024】

また、画像縮小装置１１は、上述した所定の画像処理が可能な処理サイズに縮小された画像及び縮小時の設定情報（例えば、非注視領域設定情報、縮小率、間引き情報等の各種設定情報等）を第１の画像処理装置１３に出力する。なお、縮小時の設定情報は、第１の画像処理装置１３において動画像に多重化して送信したり、伝送用の動画像データのヘッダ部等に付加して送信される。また、縮小時の設定情報の送信手法は、上記の手法に限定されるものではなく、例えば動画像とは別々に直接伝送系１５から送信してもよい。別々に送信する場合には、例えば動画像に対応させたタイムスタンプ情報等を付加し、動画像と設定情報とを同期させるようにするのが好ましい。また、動画像の全時間に対して特定の設定情報を用いる場合には、上述のタイムスタンプ情報を有していなくてもよい。なお、縮小時の設定情報は、予め画像拡大装置１２側との調整にて、縮小比率が予め設定されている場合には、上記設定情報を送信する必要はない。

【0025】

画像拡大装置１２は、画像縮小装置１１により上述した所定の画像処理が可能な処理サイズに縮小された画像を、縮小時の設定情報等に対応させて拡大する。具体的には、画像縮小装置１１から伝送系１５を介して取得した縮小時の設定情報（例えば、非注視領域設定情報、縮小率、間引き情報等の各種設定情報等）に基づいて、入力動画像の所定の変換領域を拡大変換する。これにより、画像拡大装置１２から出力された処理済動画像は、画像縮小装置１１に入力される動画像と同様に原画サイズとなり、ディスプレイ等の表示装置により表示出力される。なお、画像縮小装置１１及び画像拡大装置１２の詳細については後述する。

【0026】

第１の画像処理装置１３は、画像縮小装置１１により得られる縮小された動画像に対して画像拡大装置１２側に伝送するための画像圧縮、符号化等の画像処理を行う。なお、第１の画像処理装置１３における画像処理としては、例えば画像圧縮処理や符号化処理、変調処理等があるが、その具体的な手法については本発明においては特に限定されるものではなく、例えば一般的な動画像フォーマット形式（例えば、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４等）やファイルフォーマット（例えば、ｚｉｐ形式やＬＨＡ形式等）を広く適用することができる。

【0027】

なお、第１の画像処理装置１３は、画像縮小装置１１から得られる縮小時の設定情報を画像処理された動画像に付加する。付加方法としては、例えば動画像データのヘッダ部や余白部等の予め設定された領域に付加してもよく、また動画像データと縮小時の設定情報とを多重化してもよい。また、縮小時の設定情報に含まれる非注視領域設定情報や処理サイズ等の各種設定情報については、予め設定された識別情報と共に格納されていてもよく、また縮小時の設定情報内の所定のデータ位置に特定の情報が格納されるようにしてもよい。

【0028】

第１の画像処理装置１３は、得られた動画像及び縮小時の設定情報を含むデータを、伝送系１５を介して第２の画像処理装置１４に伝送する。

【0029】

第２の画像処理装置１４は、伝送系１５から動画像及び縮小時の設定情報を取得し、動画像に対して復調処理や復号処理、解凍処理等を行う。また、第２の画像処理装置１４は、画像処理された動画像及び縮小時の設定情報を画像拡大装置１２に出力する。

【0030】

伝送系１５は、画像縮小装置１１で縮小された動画像や縮小時の設定情報等を画像拡大装置１２側に伝送するための構成であり、例えば電波送信するための伝送系であったり、インターネット等に代表される通信ネットワーク等であってもよい。

【0031】

また、図１の例では、伝送系１５により画像縮小装置１１側から画像拡大装置１２側で伝送する例を示したが、本発明についてはこれに限定されるものではなく、例えば第１の画像処理装置１３により圧縮処理された動画像データ及び縮小時の設定情報等を記憶装置等に記憶し、その動画像を再生する際に上記記憶装置から対象となる動画像データ及び縮小時の設定情報等を読み出し、画像拡大装置１２により拡大した後、再生するような場合であっても、上述した画像縮小装置１１及び画像拡大装置１２を適用することができる。

【0032】

ここで、上述した画像サイズ変換領域としては、例えば非注視領域を用いることができる。つまり、本実施形態では、入力動画像の非注視領域のみを縮小し、注視領域は何も行わないようにするため、注視領域の画質は維持される。また、本実施形態では、例えば画像周辺部のみを縮小する方法を用いることもできる。これにより、注視額域となる画像中心部の解像度変化を回避して、画質劣化を抑えることができる。

【0033】

上述したように、本実施形態における画像伝送システム１０では、任意の画像処理装置（第１の画像処理装置１３及び第２の画像処理装置１４を含む）を用いる際に、入力動画像の画像サイズ（原画サイズ）が上述の画像処理装置で処理可能なサイズ（処理サイズ）より大きい場合、画像サイズを処理サイズに縮小する。なお、本実施形態としては、例えば、図１に示す画像縮小装置１１と画像処理装置１３とが一体に構成されていてもよく、また画像拡大装置１２と第２の画像処理装置１４とが一体に構成されていてもよい。

【0034】

＜画像縮小装置；第１の実施形態＞
次に、上述した画像伝送システム１０で適用される画像縮小装置１１の具体例について図を用いて説明する。図２は、第１の実施形態における画像縮小装置の機能構成例を示す図である。図１に示す画像縮小装置１１は、非注視領域設定手段２１と、処理サイズ設定手段２２と、画像サイズ縮小手段２３とを有するよう構成されている。

【0035】

非注視領域設定手段２１は、入力される動画像のフレームの全領域（原画サイズ）のうち、画像サイズ変換領域となる非注視領域を設定する。ここで、非注視領域とは、視聴者が注視する可能性が少ない領域を示す。通常のカメラワークであれば、注視領域は画面の中心付近に位置付けられる可能性が高いため、本実施形態では、例えば動画像フレームの中心付近を除く上下左右の所定の領域を非注視領域として設定する。これらの領域（非注視領域設定情報）は、原画サイズに対する座標位置等により設定することができる。なお、縮小時の設定情報としては、上述した非注視領域設定情報以外にも、例えば縮小率や間引き情報等を設定することができ、またこれらを複数適宜組み合わせてもよい。

【0036】

なお、非注視領域は、本発明においてはこれに限定されるものではなく、例えば上下左右のうち、上側、左側、下と右側、上下と右側等、少なくとも１つの領域から選択される領域であればよく、また予め注視領域が設定されている場合には、その注視領域以外を非注視領域として設定してもよい。更に、注視領域が、端部付近に存在する場合には、端部付近以外の領域（中心を含む）を非注視領域として設定してもよい。

【0037】

なお、非注視領域は、ユーザ等により予め設定されていてもよく、また入力された動画像に対して画像解析を行い、その中から動作するオブジェクト（例えば、人や動物、植物、車等）の位置を取得した場合や、背景画像とオブジェクトとの輝度情報の差によりオブジェクトの位置を取得した場合には、そのオブジェクトを中心とした所定の領域を注視領域として設定し、その注視領域以外の領域を非注視領域として設定してもよい。

【0038】

また、本実施形態では、例えば人、動物、植物及び車等のように複数のオブジェクトが画像フレームに含まれている場合には、オブジェクト間における優先度を設定しておき、その優先度に基づいて非注視領域を設定する。例えば、優先度が人、動物、車の順番で高いとした場合には、人及び動物を含む領域を注視領域とし、それ以外の領域を非注視領域として設定することができる。

【0039】

また、非注視領域設定手段２１は、入力される動画像毎に非注視領域を一定に設定してもよく、また動画像に含まれるオブジェクト等に応じて設定を適宜変更することもできる。また、非注視領域設定手段２１は、例えば予め入力される動画像の内容（例えば、番組内容等）が変わる時間等を取得している場合には、その時間情報に基づいて非注視領域の設定を変更させてもよく、また入力される動画像の画像解析を行い、取得した解析内容に基づいて、例えば上述したオブジェクトが存在する領域以外の矩形領域を非注視領域として設定することもできる。

【0040】

処理サイズ設定手段２２は、非注視領域設定手段２１において設定された領域に対して、例えばどの程度の縮小率で縮小するか等を設定する。なお、縮小率については、上述したように、任意の画像処理装置（例えば、図１における第１の画像処理装置１３及び第２の画像処理装置１４）における所定の画像処理が実行可能な処理サイズとなるように、例えば原画サイズに対する非注視領域の縮小率等が設定される。なお、縮小率は、出力先の画像処理装置の性能や処理内容等に応じて１又は複数設定することができる。

【0041】

また、処理サイズ設定手段２２は、非注視領域設定手段２１により設定される非注視領域が、例えば上下左右に存在する場合に、その上下領域及び左右領域に対してそれぞれ同一の縮小率により縮小してもよく、また領域毎に縮小率を変えて設定することもできる。

【0042】

ここで、本実施形態において縮小率を変える場合には、例えば上下領域には１／２倍の縮小率とし、左右領域には１／３の倍の縮小率とする等の処理を行うことができる。つまり、処理サイズ設定手段２２は、上下領域、左右領域に対してもそれぞれ異なる縮小率を設定することができる。これにより、原画サイズから様々な処理サイズに縮小することができる。また、例えば上領域と下領域とを比較して、特に上領域の非注視領域の方が下領域の非注視領域よりも注視されない可能性が高い場合には、その領域の動画像の必要性が少ないため、縮小率を大きくし、データ量を削減することができる。

【0043】

更に、処理サイズ設定手段２２は、後述する縮小手法のように非注視領域を間引いて縮小する場合に、どのように間引くかを示す間引き情報を設定することができる。なお、間引き情報としては、例えば動画像に対して、フレーム毎に何行目及び／又は何列目を間引いたかの情報やフレーム毎にランダムに選択されて間引かれた場合の領域情報等が含まれる。

【0044】

画像サイズ縮小手段２３は、入力動画像に対して上述した非注視領域設定手段２１及び処理サイズ設定手段２２により得られるそれぞれの設定情報（非注視領域設定情報及び処理サイズ設定情報等）に基づいて、入力動画像の非注視領域に対して縮小サイズへの変換処理を行う。

【0045】

また、画像サイズ縮小手段２３は、所定の処理サイズに縮小した動画像を出力すると共に、画像拡大装置１２で拡大処理を行う際に必要とされる縮小時の設定情報（例えば、非注視領域設定情報、処理サイズ設定情報等）を出力する。

【0046】

＜画像サイズ縮小手段２３における具体的な縮小手法＞
ここで、画像サイズ縮小手段２３における具体的な縮小手法について説明する。図３は、第１の実施形態における画像サイズの縮小手法について説明するための図である。なお、図３に示す例では、原画サイズに対して非画像サイズ変換領域（注視領域）を設定し、その上下左右に画像サイズ変換領域を設定し、設定された画像サイズ変換領域に対する縮小処理により得られた処理サイズの画像を示している。また、図３の説明では、便宜上、非注視領域上領域の一部を抜き出して、第１の実施形態における縮小手法の例を説明する。

【0047】

第１の実施形態における縮小手法は、設定された非注視領域に対してフレーム毎に異なる位置の画素を間引きする。具体的には、図３に示すように、まず原画サイズの入力動画像において連続する２つの画像フレーム（第１フレームと第２フレーム）を抽出する。なお、図３の例では、各フレームの画素毎の行及び列の関係が明確になるように模様を変えて示している。

【0048】

次に、抽出した第１フレームでは、上述した間引き処理を行うため、図３に示すように、上の行から１，３，５，７，９行目の画像から縮小フレームを生成する。また、第２フレームでは、図３に示すように、上の行から残りの２，４，６，８，１０行目の縮小フレームを生成する。このように間引くことで、画像サイズ変換領域である非注視領域の上下領域に対して上下方向（垂直方向）に１／２倍の縮小率を実現することができる。

【0049】

ここで、第１の実施形態において、例えば縮小率を１／３倍にして縮小する場合には、第１〜３フレームを用いて、第１フレームでは上の行から１，４，７，１０，・・・行目のフレームを用いて縮小フレームを生成し、第２フレームでは上の行から２，５，８，１１，・・・行目のフレームを用いて縮小フレームを生成し、第３フレームでは上の行から３，６，９，１２，・・・行目のフレームを用いて縮小フレームを生成する。

【0050】

更に、例えば縮小率を１／４倍にして縮小する場合には、第１〜４フレームを用いて、上述したように、それぞれの行を順次異ならせて間引く処理を行う。つまり、第１の実施形態では、縮小率に応じて使用するフレーム数を調整しながら、行単位で間引いたフレームを取得することができる。

【0051】

また、図３の例では、第１フレーム、第２フレーム、第１フレーム、第２フレーム・・・というように順繰りで、間引く画素位置を行単位で変えて処理を行う。したがって、縮小率が１／ｎ倍の場合には、第１フレーム、第２フレーム、・・・、第ｎフレーム、第１フレーム、第２フレーム、・・・、第ｎフレームというように順繰りで、間引く画素位置を行単位で変えて縮小処理を行う。なお、第１の本実施形態では、上領域の他にも下領域に対して同様の処理を行うことができる。

【0052】

また、本実施形態において、非注視領域の左右領域を所定の縮小率に基づいて間引く場合には、上述した行単位ではなく、列単位で処理を行う。具体的には、左右領域の縮小率を１／２倍にして縮小する場合には、上述したように第１及び第２フレームを用い、第１フレームでは、左側（又は右側）の列から１，３，５，７，９，・・・列目の画像から縮小フレームを生成する。また、第２フレームでは、図３に示すように、左側（又は右側）の列から残りの２，４，６，８，１０，・・・列目の縮小フレームを生成する。このように間引くことで、非注視領域の左右領域に対して左右方向（水平方向）に１／２倍の縮小率を実現することができる。

【0053】

上述したように、画像サイズ変換領域に対して所定の縮小率で縮小することにより、原画サイズ全体を所定の処理サイズに縮小することができる。また、上記手法を用いることで注視領域は縮小されずに画像品質を維持することができる。

【0054】

なお、上述した行及び列は、画素毎に設定したが、本発明においてはこれに限定されるものではなく、例えば２行毎、３行毎、２列毎、３列毎等の複数の画素単位で間引き処理を行ってもよい。例えば、上領域の縮小率を１／２倍にして縮小する場合には、上述したように第１及び第２フレームを用い、第１フレームでは、２行間隔で上の行から１，２，５，６，９，１０行目の画像から縮小フレームを生成する。また、第２フレームでは、上の行から残りの３，４，７，８行目の縮小フレームを生成する。このように間引いても、画像サイズ変換領域に対して上下方向に１／２倍の縮小率を実現することができる。

【0055】

＜４隅の場合の縮小手法＞
ここで、例えば図３に示す画像の４隅の非注視領域は、上下方向（垂直方向）及び左右方向（水平方向）の縮小が必要になる。第１の実施形態では、画像フレームの４隅のうちの少なくとも１つに、上下方向及び左右方向の縮小が必要となる領域が存在する場合、各方向への縮小を所定の順序で行う。ここで、４隅の場合の縮小手法例について図を用いて説明する。

【0056】

図４は、画像フレームの隅領域における画像縮小例について説明するための図である。図４に示す例では、画像フレームを縮小するために設定された非注視領域が、画像フレームの上下左右に存在している。この場合には、縮小する４隅が上下方向及び左右方向に縮小する重複部分となる。そこで、この４隅に対しては、上下方向の縮小と、左右方向の縮小を行うことになる。

【0057】

具体的には、例えば画像フレームの左上隅を縮小する場合、上下、左右共に縮小率を１／２倍となるように間引く処理を行う。第１フレームに対しては、まず上下方向を縮小するために上述した手法で行を間引き、次にその間引いたフレームに対して左右方向の縮小を行うために上述した手法で列を間引く。また、第２フレームに対しては、上述した第１フレームとは異なる位置の行縮小、列縮小を行う。これにより、隅の縮小処理が完了する。

【0058】

なお、図４の例では、上下方向と左右方向とを同一の縮小率となるように間引き処理を行ったが、本発明においてはこれに限定されるものではなく、上下方向と左右方向とで縮小率を変えてもよい。また、上下方向と左右方向のうち、どちらの方向から間引くかについては特に限定されるものではないが、お互いの縮小率を比較して設定されるのが好ましい。具体的には、例えば、非注視領域に対して、上下方向への縮小率が１／２倍であり、左右方向への縮小率が１／３倍である場合、先に間引き率の少ない上下方向に対して間引いてから左右方向を間引くのが好ましい。

【0059】

ここで、上述した第１の実施形態における縮小手法では、行毎及び列毎に間引く例を示しているが、本発明においてはこれに限定されるものではなく、例えば１／３倍の縮小を行う場合には、第１〜第３のフレームを用いて非注視領域の全ての領域が送信できるように、３つのフレームからランダムに領域を選択して間引いてもよい。

【0060】

上述したように非注視領域を間引くことで、画像フレーム全体を所定の比率に縮小することができる。なお、上述したような縮小手法を用いて縮小を行った場合に、画像サイズ縮小手段２３から出力される縮小時の設定情報としては、例えば縮小前の領域の位置情報及びサイズ情報、縮小後領域のサイズ情報、縮小率、画素の間引き情報（例えば、フレーム毎に何行目及び／又は何列目を間引いたかの情報やフレーム毎にランダムに選択されて間引かれた場合の領域情報）等となる。

【0061】

＜画像拡大装置１２＞
次に、本実施形態における画像拡大装置１２の構成例について図を用いて説明する。図５は、第１の実施形態における画像拡大装置の機能構成例を示す図である。図５に示す画像拡大装置１２は、設定情報解析手段３１と、非注視領域取得手段３２と、処理サイズ取得手段３３と、画像サイズ拡大手段３４とを有するよう構成されている。

【0062】

設定情報解析手段３１は、縮小時の設定情報の内容を解析し、例えば上述した非注視領域設定情報、処理サイズ設定情報等の各種設定情報等を取得する。なお、非注視領域設定情報や処理サイズ設定情報等は、予め設定された識別情報に基づいてデータを取得してもよく、またデータ全体に対してどの部分にどのデータが含まれているか等を予め設定しておき、その設定された部分のデータを抽出することで、非注視領域設定情報や処理サイズ等を取得してもよいが、本発明においてはこれに限定されるものではない。

【0063】

また、設定情報解析手段３１は、解析により取得した非注視領域設定情報を、非注視領域取得手段３２に出力し、また処理サイズ設定情報を処理サイズ取得手段３３に出力する。

【0064】

なお、設定情報解析手段３１は、縮小時の設定情報を解析し、後述するように、画像縮小装置で設定された所定の拡大手法を取得することもできる。また、設定情報解析手段３１は、縮小時の設定情報から画像フレームが静止画であるか又は動画であるかを解析することもできる。これらの情報は、例えば、非注視領域取得手段３２又は処理サイズ取得手段３３を介して画像サイズ拡大手段３４に送信される。

【0065】

非注視領域取得手段３２は、設定情報解析手段３１から得られる非注視領域設定情報により、拡大対象となる非注視領域を取得する。なお、非注視領域設定情報とは、所定の処理サイズからなる動画像に対する座標領域等や縮小前の領域の位置情報及びサイズ情報、縮小後領域のサイズ情報等でもよいが、本発明においてはこれに限定されるものではない。また、非注視領域取得手段３２は、取得した非注視領域等を画像サイズ拡大手段３４に出力する。

【0066】

処理サイズ取得手段３３は、設定情報解析手段３１から得られる処理サイズ設定情報に基づいて拡大率等を取得する。例えば、処理サイズ取得手段３３は、入力される処理サイズ設定情報において縮小率が１／２倍であった場合、非注視領域における拡大率を２倍に設定する。また、処理サイズ取得手段３３は、入力される処理サイズ設定情報が間引き情報である場合、非注視領域の間引いた部分に対して内挿するための情報を設定する。また、処理サイズ取得手段３３は、取得した上記の情報等を画像サイズ拡大手段３４に出力する。

【0067】

画像サイズ拡大手段３４は、第２の画像処理装置１４等にて画像処理が行われた所定の処理サイズからなる動画像に対して、上述した非注視領域取得手段３２及び処理サイズ取得手段３３からそれぞれ得られる情報を用いて、動画像に含まれる各画像フレームの拡大処理を行う。

【0068】

具体的には、画像サイズ拡大手段３４は、上述したように画像縮小装置１１によって、非注視領域が所定の縮小率（比率）で間引かれているため、非注視領域取得手段３２から得られる非注視領域に対して、その処理サイズ取得手段３３により得られた拡大率等に対応する複数のフレームを用いて間引かれた領域を復元し、原画サイズに変換する。つまり、本実施形態では、縮小時に間引かれていない画素を元の画素位置に配置すると共に間引かれた画素を内挿によって復元する。

【0069】

なお、第１の実施形態における縮小／拡大の場合、画像サイズ拡大手段３４では、拡大時の内挿処理（拡大手法）として、空間領域のフィルタ処理（例えば、ラプラシアンフィルタ、平滑化フィルタ（ｓｍｏｏｔｈｉｎｇ ｆｉｌｔｅｒ）、ｓｏｂｅｌフィルタ、メディアンフィルタ等）、時間領域のフィルタ処理（例えば、画像加算処理やリカーシブフィルタ等）、及び時空間双方の２次元フィルタ処理等を用いることができる。

【0070】

また、画像サイズ拡大手段３４は、設定情報解析手段３１により解析された所定の拡大手法を用いて、非注視領域の画像フレームを拡大することもできる。また、画像サイズ拡大手段３４は、設定情報解析手段３１により解析された結果から、連続する画像フレームが静止画である場合と動画である場合とで画像フレームの拡大手法を変更することもできる。

【0071】

特に、画像データの絵柄やオブジェクトが静止している画像（静止画）では、時間領域のフィルタ処理で全ての画素位置の画素を復元することが可能となり、精細感を損なわない。また、動きのある絵柄やオブジェクトの画像（動画）においては、空間領域のフィルタ処理を用いることが必要となるが、この場合においても、例えば複数フレームを用いた超解像処理等の技術を用いることで、精細感を保つことができる。

【0072】

ここで、図６は、本実施形態における拡大処理の様子を説明するための図である。なお、拡大前の非注視領域は、上述した縮小後の非注視領域と同一である。

【0073】

図６に示すように、処理サイズの画像を原画サイズに拡大する場合には、上述した非注視領域設定情報、処理サイズ設定情報の各種設定情報に基づいて対応する画像フレームの非注視領域に対して拡大処理を行う。

【0074】

具体的には、例えば、図６に示すように、処理サイズ画像の非注視領域設定情報の非注視領域を、間引き情報に基づき２倍に拡大させる場合に、第１及び第２フレームをそれぞれ元の画素の位置に配置し、その後、隙間の画素の部分に対し、第１及び第２のフレームでお互いの隙間の画素部分を所定のフィルタ処理（拡大手法）により内挿して拡大フレームを生成する。これにより、画像フレーム全体を原画像サイズに復元することができる。

【0075】

また、画像拡大装置１２は、復元した動画像（処理済動画像）を表示装置等に出力し、原画サイズの動画像フレームを再生することができる。

【0076】

したがって、第１の実施形態では、画像サイズ変換領域における精細感が保たれる効果により、画像サイズ変換領域／非変換領域間の画質の差が目立たなくなる。また、動画像の画像サイズが画像処理装置で処理し得る画像サイズより大きい場合でも、視覚的に違和感のない処理画像を得ることができる。

【0077】

上述した第１の実施形態によれば、入力される動画像に対し、所定の画像処理を行うための適切な画像サイズに調整することができる。

【0078】

＜画像縮小装置；第２の実施形態＞
次に、画像縮小装置の第２の実施形態について説明する。第２の実施形態では、縮小処理済の出力画像に対して、各種の画像拡大方法（拡大時の内挿処理として空間方向のフィルタ処理、時間方向のフィルタ処理、及び時空間双方の２次元フィルタ処理を用いる方法等）を用いて、原画サイズの画像に復元する処理を画像縮小装置側で行う。また、実行した複数の拡大手法のうち、最適な復元結果が得られる画像拡大手法を選定し、この情報を画像拡大装置に出力する。

【0079】

ここで、第２の実施形態における画像縮小装置の機能構成例について図を用いて説明する。図７は、第２の実施形態における画像縮小装置の機能構成例を示す図である。なお、上述した第１の実施形態における画像縮小装置１１と略同様の処理を行う構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。また、図７に示す画像縮小装置４１は、上述した図１に示す画像縮小装置１１と置き換えることで上述した画像伝送システム１０における各処理を実現することができる。

【0080】

図７に示す画像縮小装置４１は、非注視領域設定手段２１と、処理サイズ設定手段２２と、画像サイズ縮小手段４２と、画像サイズ拡大手段４３と、画像比較手段４４と、比較結果蓄積手段４５とを有するよう構成されている。

【0081】

画像サイズ縮小手段４２は、上述したように非注視領域設定手段２１及び処理サイズ設定手段２２により得られる各種設定情報に基づいて画像フレームの非注視領域の画像サイズを縮小する。また、画像サイズ縮小手段４２は、縮小された画像データ及び上述した縮小時の設定情報を画像サイズ拡大手段４３に出力する。

【0082】

なお、画像サイズ縮小手段４２は、処理サイズ設定手段２２により得られる間引き情報に、上述したような複数の異なる間引き方法が存在する場合には、その全ての間引き方法による縮小処理を実行し、その縮小されたそれぞれの画像データを画像サイズ拡大手段４３に出力することもできる。

【0083】

また、画像サイズ縮小手段４２は、比較結果蓄積手段４５により得られる最適拡大手法に対応する縮小時の設定情報に基づいて縮小処理を行った動画像データ及び上述した縮小時の設定情報を外部（例えば、図１に示す第１の画像処理装置１３）に出力する。

【0084】

画像サイズ拡大手段４３は、画像サイズ縮小手段４２により処理サイズに縮小された画像データを元の原画サイズに拡大する。なお、画像サイズ拡大手段４３は、例えば外部からの入力等により設定される各種画像拡大手法に基づいて、複数の拡大手法による画像の復元を行う。また、画像サイズ拡大手段４３は、拡大処理された画像を画像比較手段４４に出力する。

【0085】

ここで、上述した各種画像拡大手法は、ユーザ等により任意に指定することができるが、予め画像拡大装置１２側で実行可能な画像拡大手法を取得している場合には、その実行可能な複数の画像拡大手法を用いて拡大処理を行うのが好ましい。また、画像縮小装置４１において、画像拡大装置１２における画像拡大手法の情報を取得していない場合に、画像縮小装置４１から画像拡大装置１２側に拡大手法の問い合わせを行い、画像拡大装置１２から拡大手法を取得してもよい。更に、画像縮小装置４１に各種画像拡大手法設定手段を設けて、装置内部で各種画像拡大手法を設定できるように構成してもよい。

【0086】

画像比較手段４４は、入力動画像と、画像サイズ拡大手段４３により得られる復元された動画像との比較を行い、その結果を比較結果蓄積手段４５に出力する。また、画像比較手段４４は、他の手法により画像の縮小、拡大処理を行うための要求信号を画像サイズ縮小手段４２に出力する。

【0087】

ここで、画像比較手段４４における比較処理としては、例えば、入力動画像の画像フレーム（原画像）と同一の復元された画像フレーム（復元画像）との各対応画素間の輝度差を比較し、輝度差が生じている画素数を比較したり、輝度差が所定値以上ある画素が全画素に対してどの程度の比率で存在するか等を比較する。なお、上述した比較処理については、これに限定されるものではない。

【0088】

画像比較手段４４は、縮小時の設定情報、拡大手法、及び上述した比較処理により得られた比較結果等を比較結果蓄積手段４５に出力する。

【0089】

比較結果蓄積手段４５は、複数の縮小手法（例えば、複数の間引き方法による縮小手法等）及び複数の拡大手法（例えば、内挿処理等）により得られる画像データと、入力動画像データとの比較結果を蓄積する。また、比較結果蓄積手段４５は、複数の比較結果に基づいて最適な拡大手法を選定し、その最適拡大手法情報を外部（例えば、図１に示す第１の画像処理装置１３）に出力する。

【0090】

なお、上述した最適な拡大手法は、例えば上述したように輝度差による比較を行った場合に、その差が最も少なかった拡大手法を最適な拡大手法として選択する。また、最適な拡大手法の選択方法については、これに限定されるものではなく、比較結果の内容に応じて任意に設定することができる。

【0091】

また、比較結果蓄積手段４５は、最適な拡大手法に対応する縮小時の設定情報を画像サイズ縮小手段４２に出力する。なお、最適拡大手法情報は、例えば縮小時の設定情報に含めてもよく、別の情報として出力してもよい。

【0092】

このように、上述した第２の実施形態では、画像縮小装置４１から出力動画像（処理サイズ）、縮小時の設定情報、及び最適拡大手法情報が出力される。

【0093】

＜第２の実施形態における画像拡大装置について＞
ここで、第２の実施形態における画像拡大装置は、上述した図５に示す画像拡大装置１２と略同様の処理を行うため、ここでの説明は省略する。なお、第１の実施形態と第２の実施形態とにおける拡大処理を比較すると、第１の実施形態では予め設定された拡大手法により拡大処理を行うが、第２の実施形態では縮小時の設定情報と共に上述した最適拡大手法情報が送られてくる。そのため、第２の実施形態における画像拡大装置は、取得した最適拡大手法情報に含まれる拡大手法を用いて入力動画像（処理サイズ）の拡大処理を行う。なお、上述した最適拡大手法情報は、縮小時の設定情報に含めてもよく、別の情報として取得してもよい。

【0094】

具体的には、画像拡大装置１２は、縮小時の設定情報を入力し、設定情報解析手段３１による縮小時の設定情報の解析結果を用いて、非注視領域取得手段３２及び処理サイズ取得手段３３から得られる縮小前領域の位置とサイズ及び縮小後領域のサイズ等を用いて、拡大前領域／拡大後領域の位置を特定する。また、画像拡大装置１２は、処理サイズ取得手段３３から得られる入力された間引き情報を確認し、非注視領域の拡大処理を行う。つまり、拡大時には、縮小時に保存された画素を元の画素位置に配置し、画像サイズ拡大手段３４により間引かれた画素をフィルタ処理等による内挿によって復元する。

【0095】

なお、第２の実施形態で用いられるフィルタ処理は、上述した画像縮小装置４１で選定された最適画像拡大手法に対するフィルタ処理が用いられる。これにより、拡大領域の精細感を保つことが可能となり、縮小／拡大後の画像において画像サイズ変換領域／非変換領域間の画質の差を目立たなくすることができる。

【0096】

＜画像縮小装置；第３の実施形態＞
次に、画像縮小装置の第３の実施形態について説明する。第３の実施形態では、第２の実施形態と比較して画像解析手段を有している。つまり、画像解析手段により入力される動画像フレームを時系列に解析し、連続する複数フレームが静止画（例えば、絵柄やオブジェクト等が静止している画像）であるか、動画（例えば動きのある絵柄やオブジェクトの画像）であるかを推定し、その内容に応じて縮小手法等を変更するものである。

【0097】

ここで、第３の実施形態における画像縮小装置の機能構成例について図を用いて説明する。図８は、第３の実施形態における画像縮小装置の機能構成例を示す図である。なお、上述した第２の実施形態における画像縮小装置４１と略同様の処理を行う構成については、同一の符号を付するものとし、ここでの具体的な説明は省略する。また、図８に示す画像縮小装置５１は、上述した図１に示す画像縮小装置１１と置き換えることで上述した画像伝送システム１０における各処理を実現することができる。

【0098】

図８に示す画像縮小装置５１は、画像解析手段５２と、非注視領域設定手段２１と、処理サイズ設定手段２２と、画像サイズ縮小手段５３と、画像サイズ拡大手段４３と、画像比較手段４４と、比較結果蓄積手段４５とを有するよう構成されている。

【0099】

画像解析手段５２は、入力される動画像が静止画であるか動画であるかを解析する。なお、ここでの解析手法は、例えば連続する画像フレーム又は所定のフレーム間隔を空けた２つの画像フレーム同士を比較し、同位置の画素の輝度差の有無によって静止画であるか動画であるかを解析することができる。つまり、第３の実施形態において、静止画とは複数のフレーム間の画像が同一の場合における画像フレームを示し、動画とは静止画以外の画像フレームを示す。

【0100】

また、画像解析手段５２は、入力動画像及び解析結果を画像サイズ縮小手段５３に出力する。画像サイズ縮小手段５３は、例えば、複数の画像フレーム間における解析結果で静止画であると判断された場合には、この画像フレーム間において、複数フレームを用いずに第１フレームのみを用いて縮小処理を行う。これにより、１つのフレームのみを用いて縮小、拡大処理行うことができ、１つのフレームのみを用いて画像を復元しても静止画であるため、画質精度は維持される。

【0101】

また、画像サイズ縮小手段５３は、静止画である場合に、非注視領域設定手段２１及び処理サイズ設定手段２２からの各設定情報を用いずに、予め設定された特定の設定情報（特定の非注視領域等）を用いて縮小処理を行うこともできる。

【0102】

更に、画像サイズ縮小手段５３は、上述した解析結果で動画であると判断された場合には、画質精度を維持するために複数の画像フレームを用いた内挿（補間）処理が必要になる。したがって、そのような場合には、上述したように複数フレームを用いた間引き処理が行われる。

【0103】

つまり、第３の実施形態における画像縮小処理では、画像解析手段５２における解析結果において、入力動画像が静止画であるか動画であるかにより、効率的な縮小処理が選択されて実行される。

【0104】

この場合、画像サイズ縮小手段５３からは、出力動画像（処理サイズ）、縮小時の設定情報が出力されるが、それ以外にも出力した動画像が静止画であるか動画であるかを示す識別情報等を出力してもよい。なお、上記の識別情報は、縮小時の設定情報に含めてもよく、別の情報として出力してもよい。これにより、画像拡大装置１２側では、その識別情報等を用いて効率的な拡大処理を実現することができる。

【0105】

なお、上述した実施形態は、図７の画像縮小装置４１に画像解析手段５２を追加したものであるが、例えば画像解析手段５２を上述した図２に示す画像縮小装置１１に追加することも可能である。ここで、図２に示す画像縮小装置１１の場合には、画像サイズ拡大手段、画像比較手段、比較結果蓄積手段を有していない。したがって、この場合、画像解析手段５２は、入力画像が静止画であるか動画であるかの情報を画像サイズ縮小手段２３に出力する。

【0106】

画像サイズ縮小手段２３は、入力画像が静止画と判定された場合、１つのフレームのみを用いて画像を縮小したり、非注視領域設定手段２１及び処理サイズ設定手段２２からの情報を用いずに、予め設定された特定の設定情報を用いて縮小処理を行うことになる。また、画像サイズ縮小手段２３は、入力画像が動画と判定された場合、上述したように複数のフレームを用いた間引き処理を行うことになる。

【0107】

＜第３の実施形態における画像拡大装置について＞
ここで、第３の実施形態における画像拡大装置は、上述した図５に示す画像拡大装置１２と略同様の処理を行うため、ここでの説明は省略する。なお、第３の実施形態における画像拡大装置１２では、設定情報解析手段３１による解析の結果、縮小時の設定情報に上述した静止画又は動画を識別する識別情報が含まれている場合には、その識別情報により静止画を把握する。また、画像拡大装置１２では、第２フレームの縮小画像が送信されていない場合に、第１フレームの縮小画像が静止画であると判断してもよい。

【0108】

識別情報により静止画であると判断した場合、画像サイズ拡大手段３４は、その画像フレームについて、元の画素の位置に移動させてから、同一の画像フレームを用いて、現在ある画素の情報から、その周囲の画素値を内挿して拡大画像を生成することができる。なお、上述した画像解析手段５１における処理は、上述した第１の実施形態における画像縮小装置１１に含めてもよい。

【0109】

＜実行プログラム＞
ここで、上述した画像拡大装置１１，４１，５１、及び画像拡大装置１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。

【0110】

したがって、画像縮小装置１１，４１，５１、及び画像拡大装置１２が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

【0111】

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（画像縮小プログラム及び画像拡大プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、画像縮小処理及び画像拡大処理を実現することができる。次に、本発明における実行プログラムによる処理手順について画像縮小処理と画像拡大処理とを分けて具体的に説明する。

【0112】

＜第１の実施形態における画像縮小処理手順＞
図９は、第１の実施形態における画像縮小処理手順の一例を示すフローチャートである。図９に示す第１の実施形態における画像縮小処理では、まず、動画像を入力し（Ｓ０１）、次に、非注視領域の設定（Ｓ０２）、及び処理サイズの設定を行い（Ｓ０３）、Ｓ０２及びＳ０３の処理により設定された情報に基づいて、画像サイズの縮小処理を行う（Ｓ０４）。なお、縮小処理では、上述した第１の実施形態に示すような非注視領域に対する間引き処理が行われる。

【0113】

その後、縮小時の設定情報を出力し（Ｓ０５）、またＳ０４により縮小された動画像を出力する（Ｓ０６）。ここで、処理を終了するか否かを判断し（Ｓ０７）、終了しない場合（Ｓ０７において、ＮＯ）、Ｓ０１に戻り、他の動画像に対して後続の処理を行う。また、ユーザ等からの終了指示や対象の動画像を全て処理した等により、処理を終了する場合（Ｓ０７において、ＹＥＳ）、画像縮小処理を終了する。

【0114】

＜画像拡大処理手順＞
次に、画像拡大処理手順についてフローチャートを用いて説明する。図１０は、本実施形態における画像拡大処理手順の一例を示すフローチャートである。図１０に示す画像拡大処理では、まず、処理サイズに縮小された動画像及び縮小時の設定情報を入力する（Ｓ１１）。次に、縮小時の設定情報を解析し（Ｓ１２）、拡大対象となる非注視領域を取得し（Ｓ１３）、更に上述した縮小率や間引き情報に基づいて処理サイズ等を取得する（Ｓ１４）。なお、縮小率や間引き情報が予め設定されている場合には、取得する必要はない。

【0115】

次に、Ｓ１３の処理により得られる非注視領域と、Ｓ１４の処理により得られる処理サイズ等に基づいて、Ｓ１１の処理により入力された動画像の画像サイズを拡大処理し（Ｓ１５）、処理された動画像を出力する（Ｓ１６）。ここで、処理終了であるか否かを判断し（Ｓ１７）、処理終了しない場合（Ｓ１７において、ＮＯ）、Ｓ１１に戻り他の動画像を入力して後述の処理を行う。また、ユーザ等からの終了指示や対象の動画像を全て処理した等により、処理を終了する場合（Ｓ１７において、ＹＥＳ）、画像拡大処理を終了する。

【0116】

＜第２の実施形態における画像縮小処理手順＞
次に、上述した第２の実施形態における画像縮小処理手順についてフローチャートを用いて説明する。図１１は、第２の実施形態における画像縮小処理手順の一例を示すフローチャートである。

【0117】

図１１に示す第２の実施形態における画像縮小処理では、上述した第１の実施形態と同様に、動画像を入力し（Ｓ２１）、次に、非注視領域の設定（Ｓ２２）、及び処理サイズの設定を行い（Ｓ２３）、Ｓ２２及びＳ２３の処理により設定された情報に基づいて、画像サイズの縮小処理を行う（Ｓ２４）。また、縮小処理では、上述した第１の実施形態に示すような非注視領域に対する間引き処理が行われる。このとき、第２の実施形態では、Ｓ２３における処理サイズの設定に含まれる間引き情報として複数の間引き方法が設定されている場合、その全ての間引き方法を用いて縮小処理を行う。

【0118】

その後、第２の実施形態では、予め設定される各種画像拡大手法に基づいて画像サイズの拡大処理を行う（Ｓ２５）。次に、Ｓ２１の処理により入力された動画像と、Ｓ２５の処理により復元された動画像との画像比較を行う（Ｓ２６）。なお、Ｓ２６の処理により得られる比較結果は、蓄積手段等に蓄積される。

【0119】

ここで、上述したＳ２６の処理により得られる比較結果に基づいて、入力動画像に最も近い最適な復元を行う画像拡大手法情報及び縮小時の設定情報を出力し（Ｓ２７）、その対応する動画像を出力する（Ｓ２８）。

【0120】

次に、処理を終了するか否かを判断し（Ｓ２９）、終了しない場合（Ｓ２９において、ＮＯ）、Ｓ２１に戻り、他の動画像に対して後続の処理を行う。また、ユーザ等からの終了指示や対象の動画像を全て処理した等により処理を終了する場合（Ｓ２９において、ＹＥＳ）、画像縮小処理を終了する。

【0121】

なお、第２の実施形態に対応する拡大処理手順では、上述した図１０に示す第１の実施形態における画像拡大処理手順と略同様であるため、ここでの具体的な説明は省略する。第２の実施形態における画像拡大処理では、例えば、図１０のＳ１１の処理において、動画像や縮小時の設定情報の他にも画像拡大手法情報等を取得し、Ｓ１５の処理において、取得した画像拡大手法を用いて入力される画像フレームの拡大処理を行う。

【0122】

＜第３の実施形態における画像縮小処理手順＞
次に、上述した第３の実施形態における画像縮小処理手順についてフローチャートを用いて説明する。図１２は、第３の実施形態における画像縮小処理手順の一例を示すフローチャートである。

【0123】

図１２に示す第３の実施形態における画像縮小処理では、まず、第１の実施形態と同様に、動画像を入力し（Ｓ３１）、入力された動画像に対し、所定の連続する複数フレーム毎に画像解析を行い、上述の複数フレームにおける画像が静止画であるか動画であるかを解析する（Ｓ３２）。

【0124】

具体的には、例えば、連続する複数の画像フレームに含まれる絵柄やオブジェクト等について、どのフレームも静止している場合には静止画であるとし、動きがある場合（つまり、静止画でない場合）には動画であるとして解析を行う。

【0125】

次に、Ｓ３２の処理により得られる解析結果が静止画であるか否かを判断し（Ｓ３３）、入力された動画像に静止が含まれるであるか否かを判断し（Ｓ３３）、静止画でない場合（Ｓ３３において、ＮＯ）、上述したように非注視領域の設定（Ｓ３４）、及び処理サイズの設定を行う（Ｓ３５）。また、Ｓ３３の処理において、静止画である場合（Ｓ３３において、ＹＥＳ）、又は、Ｓ３５の処理が終了後、画像サイズの縮小処理を行う（Ｓ３６）。

【0126】

つまり、第３の実施形態では、解析結果が静止画である場合に、予め設定された特定の非注視領域及び処理サイズに基づいて画像処理を行えばよいため、上述したＳ３４，Ｓ３５に示すように、画像フレームの動画に対応して非注視領域や処理サイズを設定しておく必要はない。

【0127】

次に、上述した第２の実施形態と同様に、画像サイズの拡大処理を行い（Ｓ３７）、Ｓ３１で入力された動画像と、Ｓ３７により拡大処理により復元された動画像との比較を行う（Ｓ３８）。

【0128】

ここで、上述したＳ３８の処理により得られる比較結果に基づいて、入力動画像に最も近い最適な復元を行う画像拡大手法情報、縮小時の設定情報、及び静止画／動画識別情報を出力し（Ｓ３９）、その対応する動画像を出力する（Ｓ４０）。

【0129】

ここで、処理を終了するか否かを判断し（Ｓ４１）、終了しない場合（Ｓ４１において、ＮＯ）、Ｓ３１に戻り、他の動画像に対して後続の処理を行う。また、ユーザ等からの終了指示や対象の動画像を全て処理した等により、処理を終了する場合（Ｓ４１において、ＹＥＳ）、画像縮小処理を終了する。

【0130】

なお、第３の実施形態に対応する拡大処理手順では、上述した図１０に示す第１の実施形態における画像拡大処理手順と略同様であるため、ここでの具体的な説明は省略する。第３の実施形態における画像拡大処理では、例えば、図１０のＳ１１の処理において、動画像や縮小時の設定情報の他にも画像拡大手法情報及び静止画／動画識別情報等を取得し、Ｓ１５の処理において、取得した画像拡大手法を用いて入力される画像フレームの静止画／動画識別情報に対応する拡大手法を用いた拡大処理を行う。

【0131】

上述したように本発明によれば、所定の画像処理を行う上で適切な画像サイズに調整することができる。具体的には、動画像の画像サイズが画像処理装置で処理し得る画像サイズより大きい場合でも、視覚的に違和感のない処理画像を得ることができる。

【0132】

なお、上述した本発明における画像縮小装置及び画像拡大装置は、例えばスーパーハイビジョン等のような大型スクリーン（表示装置）に動画像を表示させるための伝送システム系等に適用することができる。

【0133】

具体的に説明すると、大型スクリーンに表示させる動画像を伝送するためには、上述した画像処理装置における圧縮、符号化、復号、解凍等の処理を行う必要があるが、そのような場合には、その画像サイズが大きいため、画像処理装置の能力によっては処理可能なサイズの条件を超えてしまい、従来の画像処理装置が使用できなくなってしまう。そのような場合には、スーパーハイビジョン用の動画像に対して、所定の画像処理が実行可能な所定の大きさ（例えば通常のテレビジョンの画像サイズ等）に分割し、分割された動画像単位に伝送することが考えられる。

【0134】

しかしながら、単に分割した動画像単位に伝送すると、その画像を繋ぎ合わせた際に、符号化、復号、変調、復調、縮小、復元等の誤差等により、分割された領域の繋ぎ目部分にノイズが発生してしまい、画像劣化が生じてしまうことがある。そこで、予め繋ぎ目部分よりも大きめの領域で画像を分割する。このとき、各画像の端部は、隣接する他の分割画像と重複領域を設ける。そして、その大きめの画像を本発明における画像縮小装置を用いて縮小して伝送する。

【0135】

更に、伝送後に拡大する際には、本発明における画像拡大装置により拡大する。そして、拡大された複数の分割画像を繋げる際には、繋ぎ目部分を各隣接画像のそれぞれの重複領域を用いて補正することで、繋ぎ目部分の画像劣化を防止することができ、スーパーハイビジョン用の動画像等を、高品質を維持して伝送することができる。

【0136】

なお、上述した各実施形態の例では、原画サイズが処理サイズより大きい場合について説明したが、本実施形態についてはこれに限定されるものではなく、例えば、原画サイズが処理サイズより小さい場合には、上述した実施形態を適用して拡大／縮小手法を逆に行うことにより、上述した説明と同様に適切な画像サイズへの変換を行うことができる。

【0137】

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

【符号の説明】

【0138】

１０ 画像伝送システム
１１，４１，５１ 画像縮小装置
１２ 画像拡大装置
１３ 第１の画像処理装置
１４ 第２の画像処理装置
１５ 伝送系
２１ 非注視領域設定手段
２２ 処理サイズ設定手段
２３，４２，５３ 画像サイズ縮小手段
３１ 設定情報解析手段
３２ 非注視領域取得手段
３３ 処理サイズ取得手段
３４，４３ 画像サイズ拡大手段
４４ 画像比較手段
４５ 比較結果蓄積手段
５２ 画像解析手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】