(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024029826
(43)【公開日】2024-03-07
(54)【発明の名称】画像処理装置、およびプログラム
(51)【国際特許分類】
H04N 19/117 20140101AFI20240229BHJP
H04N 19/85 20140101ALI20240229BHJP
H04N 19/33 20140101ALI20240229BHJP
【ＦＩ】
H04N19/117
H04N19/85
H04N19/33
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022132223
(22)【出願日】2022-08-23
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100141139
【弁理士】
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100171446
【弁理士】
【氏名又は名称】高田 尚幸
(74)【代理人】
【識別番号】100114937
【弁理士】
【氏名又は名称】松本 裕幸
(74)【代理人】
【識別番号】100171930
【弁理士】
【氏名又は名称】木下 郁一郎
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】井口 和久
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159KK54
5C159LA02
5C159LB11
5C159MA04
5C159MA05
5C159MA17
5C159MA32
5C159PP04
5C159RC11
5C159SS05
5C159SS08
5C159TA68
5C159TB10
5C159UA02
5C159UA05
(57)【要約】
【課題】伝送路に適した複数の品質の画像（映像）配信を実現しつつ、さらに高品質な画像（映像）を提供できるようにすることのできる画像処理装置を提供する。
【解決手段】画像処理装置が、高解像化成分抽出部と、合成部とを備える。高解像化成分抽出部は、第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する。合成部は、任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する。
【選択図】図１
【解決手段】画像処理装置が、高解像化成分抽出部と、合成部とを備える。高解像化成分抽出部は、第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する。合成部は、任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する高解像化成分抽出部と、
任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する合成部と、
を備える画像処理装置。
任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する合成部と、
を備える画像処理装置。
【請求項2】
前記第１画像と前記第２画像と前記第３画像とのうちの少なくとも２つの画像は、スケーラブル符号化された符号化映像信号をデコードすることによって得られた画像である、
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項3】
第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、
第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部と、
前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部と、
前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部と、
を具備する画像処理装置。
第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部と、
前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部と、
前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部と、
を具備する画像処理装置。
【請求項4】
前記第２解像度と前記第３解像度とは同一の解像度であり、
前記第３画像と前記第５画像とは同一の画像である、
請求項３に記載の画像処理装置。
前記第３画像と前記第５画像とは同一の画像である、
請求項３に記載の画像処理装置。
【請求項5】
前記第７画像の特徴を強調する処理を行うことによって前記第４解像度の第９画像を生成する第１画像処理部、
をさらに備え、
前記加算部は、前記第６画像と前記第９画像とを加算することによって、前記第８画像を生成する、
請求項３に記載の画像処理装置。
をさらに備え、
前記加算部は、前記第６画像と前記第９画像とを加算することによって、前記第８画像を生成する、
請求項３に記載の画像処理装置。
【請求項6】
前記第６画像のエッジを強調する処理を行うことによって第１０画像を生成する第２画像処理部と、
前記第６画像と前記第１０画像との差を表す第１１画像を生成する第２差分抽出部と、
前記第１１画像に基づいて前記第７画像に基づく画像の調整を行うことによって、第１２画像を生成する調整部と、
をさらに備え、
前記加算部は、前記第６画像と前記第１２画像とを加算することによって、前記第８画像を生成する、
請求項３に記載の画像処理装置。
前記第６画像と前記第１０画像との差を表す第１１画像を生成する第２差分抽出部と、
前記第１１画像に基づいて前記第７画像に基づく画像の調整を行うことによって、第１２画像を生成する調整部と、
をさらに備え、
前記加算部は、前記第６画像と前記第１２画像とを加算することによって、前記第８画像を生成する、
請求項３に記載の画像処理装置。
【請求項7】
前記第７画像の特徴を強調する処理を行うことによって前記第４解像度の第９画像を生成する第１画像処理部、
をさらに備え、
前記調整部は、前記第１１画像に基づいて前記第９画像の調整を行うことによって、前記第１２画像を生成する、
請求項６に記載の画像処理装置。
をさらに備え、
前記調整部は、前記第１１画像に基づいて前記第９画像の調整を行うことによって、前記第１２画像を生成する、
請求項６に記載の画像処理装置。
【請求項8】
第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、
前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部と、
前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部と、
を具備する画像処理装置。
前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部と、
前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部と、
を具備する画像処理装置。
【請求項9】
前記第４画像の特徴を強調する処理を行うことによって前記第２解像度の第８画像を生成する第１画像処理部、
をさらに備え、
前記加算部は、前記第８画像に基づく画像と前記第５画像とを加算することによって、前記第６画像を生成する、
請求項８に記載の画像処理装置。
をさらに備え、
前記加算部は、前記第８画像に基づく画像と前記第５画像とを加算することによって、前記第６画像を生成する、
請求項８に記載の画像処理装置。
【請求項10】
前記第５画像のエッジを強調する処理を行うことによって第９画像を生成する第２画像処理部と、
前記第５画像と前記第９画像との差を表す第１０画像を生成する第２差分抽出部と、
前記第１０画像に基づいて前記第４画像に基づく画像の調整を行うことによって、第１１画像を生成する調整部と、
をさらに備え、
前記加算部は、前記第５画像と前記第１１画像とを加算することによって、前記第６画像を生成する、
請求項８に記載の画像処理装置。
前記第５画像と前記第９画像との差を表す第１０画像を生成する第２差分抽出部と、
前記第１０画像に基づいて前記第４画像に基づく画像の調整を行うことによって、第１１画像を生成する調整部と、
をさらに備え、
前記加算部は、前記第５画像と前記第１１画像とを加算することによって、前記第６画像を生成する、
請求項８に記載の画像処理装置。
【請求項11】
前記第１画像と前記第３画像と前記第５画像とのうちの少なくとも２つの画像は、スケーラブル符号化された符号化映像信号をデコードすることによって得られた画像である、
請求項３または８に記載の画像処理装置。
請求項３または８に記載の画像処理装置。
【請求項12】
請求項３または８に記載の画像処理装置を備える第３アップコンバート部が、前記第１画像をアップコンバートして前記第２画像を生成する、
請求項３または８に記載の画像処理装置。
請求項３または８に記載の画像処理装置。
【請求項13】
第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する高解像化成分抽出部と、
任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する合成部と、
を備える画像処理装置、としてコンピューターを機能させるプログラム。
任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する合成部と、
を備える画像処理装置、としてコンピューターを機能させるプログラム。
【請求項14】
第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、
第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部と、
前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部と、
前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部と、
を具備する画像処理装置、としてコンピューターを機能させるプログラム。
第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部と、
前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部と、
前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部と、
を具備する画像処理装置、としてコンピューターを機能させるプログラム。
【請求項15】
第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、
前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部と、
前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部と、
を具備する画像処理装置、としてコンピューターを機能させるプログラム。
前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部と、
前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部と、
を具備する画像処理装置、としてコンピューターを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、およびプログラムに関する。
【背景技術】
【0002】
通信を用いて映像を配信するシステムでは、通信回線の品質の動的な変化に応じた受信側からの要求に基づいて、適切な品質の映像信号を配信することが行われている。このようなシステムでは、サービス品質を動的に変えるためのスケーラブル符号化が用いられている。このようなシステムでは、通信回線における品質が低下した場合には、優先的に伝送されるべき映像データのみが配信される。つまり、そのような場合には、伝送すべき情報量の少ない映像、即ち低画素数あるいは低フレームレートの映像が配信され、受信機側で受像される。そして、通信品質が向上するにつれて伝送すべき情報量のより多い映像、即ち高品質な映像を構成するデータが配信される。つまり、このようなシステムでは、通信回線の状況に適した情報量を持つ映像がサービスされる。
【0003】
スケーラブル符号化には品質の変動に応じたサービスを提供する機能のみではなく、画素数の異なるサービスの同時実現という点で有効な符号化方法である。しかし、これまでの放送では伝送品質が保証されており、ある程度高品質な映像伝送が実現されていること、また、複数の画素数の異なるサービスが行われていないことから、システムの複雑度が上がるスケーラブル符号化は導入されていない。
【0004】
しかしながら、放送のデジタル化以降、新たな映像フォーマットとして２つの異なる画素数の映像フォーマット（４Ｋ映像（画素数は、横３８４０×縦２１６０）、８Ｋ映像（画素数は、横７６８０×縦４３２０））がＵＨＤＴＶ（Ultra High-Definition Television，超高精細画質テレビ）として国際的に標準化され、４Ｋ映像や８Ｋ映像の受像機が一般に普及し始めている。即ち、最も一般的であったＨＤ（High-Definition。画素数は、横１９２０×縦１０８０。）の画素数の受像機に加え、表示画素数の多い４Ｋ受像機や８Ｋ受像機が市場で普及し始めている。
【0005】
上記のような環境の中で放送においても、多種多様な表示能力を持つ受像機向けに、複数品質による映像配信サービスが求められている。即ち、放送サービスにおけるスケーラブル符号化の導入の必要性が高まっている。
【0006】
現在の放送サービスでは符号化効率上はスケーラブル符号化に劣るものの、それぞれの解像度サービスが独立して伝送されているが同様なサービスを実現されている。例えば、現在の地上デジタル放送では、移動体向け放送として行われているワンセグサービス（３２０×２４０画素）と固定受信向けにフルセグサービス（１９２０×１０８０画素）で同時に放送が行われている。
【0007】
例えば特許文献１の請求項１には、スケーラブル符号化画像を送信する送信装置が記載されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０２１－００５９０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、複数品質の映像の伝送を実現するためには複数品質の映像をそれぞれ符号化して複数の符号化データを伝送する方法と、スケーラブル符号化を用いて同じ映像を複数の品質で一つの符号化データとして伝送する方法が考えられる。それぞれ符号化する場合、例えば４Ｋ映像のみを単独で符号化した結果得られる符号化データと、２Ｋ映像を符号化したデータとを同時に用意する必要があり、単一の品質の映像を伝送する場合に比べて高い伝送容量の回線（無線・有線を含む）を必要とする。また、スケーラブル符号化を行った場合、４Ｋと２Ｋの映像間の信号の類似度に伴う信号の冗長性を圧縮できることから、それぞれ符号化した場合と比べ少ない伝送容量の回線での伝送が可能であるが、２Ｋおよび４Ｋ向けのサービスを実現できる分、単独の回線、例えば４Ｋ伝送のために必要となる回線よりも高い能力を有する伝送路が要求される。
【0010】
このように、複数の品質の映像を伝送することによって、最終的には想定している伝送路の容量を超える符号化データになる可能性がある。即ち、サービスを実現できない可能性がある。スケーラブル符号化を用いた伝送を行う場合には複数の品質の映像の効率的な伝送を実現できるが、スケーラブル符号化を用いる場合においてもなお伝送容量が足りない場合には、それらの品質（解像度）の映像信号のすべてを伝送できない場合がある。
【0011】
つまり、スケーラブル符号化を行う場合にも行わない場合にも、複数の品質（解像度）の映像を配信する場合には伝送容量の問題が生じる可能性もある。
【0012】
従来技術による放送においても、例えばハイビジョン放送を実現することができないほど伝送路のビットレートが少ない場合には、本来の映像が有する横１９２０×縦１０８０の画素数を、伝送時に横１４４０×縦１０８０の画素数まで減らす方法が取られる場合がある。このような映像を受信した受像機側では、フィルター処理（アップコンバートあるいはアップサンプリング）をすることによって横１９２０×縦１０８０の画素数に戻してから表示している。あるいは近年ではより高解像度の受像機能が一般的に商品化されており、表示能力が４Ｋ画素数を超える場合があり、ハイビジョン放送（１９２０×１０８０画素）を受像する４Ｋ受像機においては受像機内部において表示画素数までフィルター処理によって４Ｋ画素数まで画素数を増やしてから表示している。
【0013】
近年では、上記のフィルター処理に加え、高度な画像処理を併用した超解像技術によるアップコンバートも用いられている。しかしながら、フィルター処理あるいは高度な処理を併用したアップコンバート技術のいずれであっても、単一の低品質な映像から高品質な映像を再構成する際には精細感の再現が困難である。また、処理の誤適用によって不自然な映像が再構成されてしまうなどといった問題も生じ得る。
【0014】
本発明は、上記の課題認識に基づいて行なわれたものであり、伝送路に適した複数の品質の画像（映像）配信を実現しつつ、さらに高品質な画像（映像）を提供できるようにすることのできる画像処理装置、およびプログラムを提供しようとするものである。
【課題を解決するための手段】
【0015】
［１］上記の課題を解決するため、本発明の一態様による画像処理装置は、第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する高解像化成分抽出部と、任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する合成部と、を備える。
【0016】
［２］また、本発明の一態様は、上記［１］の画像処理装置において、前記第１画像と前記第２画像と前記第３画像とのうちの少なくとも２つの画像は、スケーラブル符号化された符号化映像信号をデコードすることによって得られた画像である、というものである。
【0017】
なお、上記［１］の画像処理装置において、前記第１画像と前記第２画像と前記第３画像とのうちの少なくとも２つの画像は、スケーラブル符号化されているか否かに関わらず、複数の解像度の異なる映像を符号化したものであってよい。
【0018】
［３］上記の課題を解決するため、本発明の一態様による画像処理装置は、第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部と、前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部と、前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部と、を具備するものである。
【0019】
［４］また、本発明の一態様は、上記［３］の画像処理装置において、前記第２解像度と前記第３解像度とは同一の解像度であり、前記第３画像と前記第５画像とは同一の画像である、というものである。
【0020】
［５］また、本発明の一態様は、上記［３］または［４］の画像処理装置において、前記第７画像の特徴を強調する処理を行うことによって前記第４解像度の第９画像を生成する第１画像処理部、をさらに備え、前記加算部は、前記第６画像と前記第９画像とを加算することによって、前記第８画像を生成する、というものである。
【0021】
［６］また、本発明の一態様は、上記［３］から［５］までのいずれかの画像処理装置において、前記第６画像のエッジを強調する処理を行うことによって第１０画像を生成する第２画像処理部と、前記第６画像と前記第１０画像との差を表す第１１画像を生成する第２差分抽出部と、前記第１１画像に基づいて前記第７画像に基づく画像の調整を行うことによって、第１２画像を生成する調整部と、をさらに備え、前記加算部は、前記第６画像と前記第１２画像とを加算することによって、前記第８画像を生成する、というものである。
【0022】
［７］また、本発明の一態様は、上記［６］の画像処理装置において、前記第７画像の特徴を強調する処理を行うことによって前記第４解像度の第９画像を生成する第１画像処理部、をさらに備え、前記調整部は、前記第１１画像に基づいて前記第９画像の調整を行うことによって、前記第１２画像を生成する、というものである。
【0023】
［８］また、本発明の一態様による画像処理装置は、第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部と、前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部と、を具備するものである。
【0024】
［９］また、本発明の一態様は、上記［８］の画像処理装置において、前記第４画像の特徴を強調する処理を行うことによって前記第２解像度の第８画像を生成する第１画像処理部、をさらに備え、前記加算部は、前記第８画像に基づく画像と前記第５画像とを加算することによって、前記第６画像を生成する、というものである。
【0025】
［１０］また、本発明の一態様は、上記［８］または［９］の画像処理装置において、前記第５画像のエッジを強調する処理を行うことによって第９画像を生成する第２画像処理部と、前記第５画像と前記第９画像との差を表す第１０画像を生成する第２差分抽出部と、前記第１０画像に基づいて前記第４画像に基づく画像の調整を行うことによって、第１１画像を生成する調整部と、をさらに備え、前記加算部は、前記第５画像と前記第１１画像とを加算することによって、前記第６画像を生成する、というものである。
【0026】
［１１］また、本発明の一態様は、上記［３］から［１０］までのいずれかの画像処理装置において、前記第１画像と前記第３画像と前記第５画像とのうちの少なくとも２つの画像は、スケーラブル符号化された符号化映像信号をデコードすることによって得られた画像である、というものである。
【0027】
［１２］また、本発明の一態様は、上記［３］から［１０］までのいずれかの画像処理装置において、上の［３］から［１０］までのいずれかの構成の画像処理装置を備える第３アップコンバート部が、前記第１画像をアップコンバートして前記第２画像を生成する処理を行うものである。本態様は、再帰的な構成である。つまり、［３］から［１０］までのいずれかの画像処理装置は、第３アップコンバート部内における画像処理を行う。
【0028】
［１３］また、本発明の一態様は、第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する高解像化成分抽出部と、任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する合成部と、を備える画像処理装置、としてコンピューターを機能させるプログラムである。
【0029】
［１４］また、本発明の一態様は、第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部と、前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部と、前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部と、を具備する画像処理装置、としてコンピューターを機能させるプログラムである。
【0030】
［１５］また、本発明の一態様は、第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部と、前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部と、前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部と、を具備する画像処理装置、としてコンピューターを機能させるプログラムである。
【発明の効果】
【0031】
本発明によれば、高解像化成分抽出部は、第１解像度の第１画像と、前記第１解像度よりも高い解像度である第２解像度の第２画像とを取得し、前記第１画像と前記第２画像とを基に、相対的に低解像度の画像を高解像化するための画像成分である高解像化成分を抽出する。合成部は、任意の解像度である第３解像度の第３画像について、アップコンバート処理をするとともに、前記高解像化成分抽出部が抽出した前記高解像化成分を適用することによって、前記第３画像を高解像化して第４画像として出力する。これにより、画像処理装置は、入力される画像の高解像化（超高解像化）を行うことができる。
【図面の簡単な説明】
【0032】
【図1】本発明の各実施形態の画像処理装置に共通する基本的な構成を示すブロック図である。
【図2】本発明の第１実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図3】本発明の第２実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図4】本発明の第３実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図5】本発明の第４実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図6】本発明の第５実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図7】本発明の第６実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図8】本発明の第７実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図9】本発明の第８実施形態による画像処理装置の概略機能構成を示すブロック図である。
【図10】第１実施形態から第８実施形態までのいずれかの画像処理装置を含んだコンテンツ配信システムの概略機能構成を示すブロック図である。
【図11】第１実施形態から第８実施形態までのそれぞれにおける各装置の内部構成の例を示すブロック図である。
【発明を実施するための形態】
【0033】
次に、本発明の実施形態について、図面を参照しながら説明する。下で説明する実施形態では、伝送路に適した複数の品質による映像の配信を実現しつつ、さらに高品質な映像サービスを提供することができるようになる。スケーラブル符号化の方式では、エンコーダーが、高品質かつオリジナルの画素数を有する入力画像を基に、サービスすべき画素数の映像のデータを生成する。サービスすべき画素数がオリジナルの画素数よりも少ない場合（相対的に低解像の場合）にはダウンコンバート技術が用いられる。サービスすべき画素数がオリジナルの画素数よりも多い場合（相対的に高解像の場合）にはアップコンバート技術が用いられる。
【0034】
一般的に、ダウンコンバートは情報量を減らす処理であるため、その処理方法によって品質差は生じ得るものの、適切に制御されていれば十分な精細感を維持した映像が得られる。アップコンバートが必要となる場合には従来技術のアップコンバート技術を適用する。
【0035】
スケーラブルエンコーダーは、オリジナルの画素数の映像に加えてオリジナルとは異なる画素数の映像を複数生成し、それらの中の最も低画素数の映像を第1に符号化する。エンコーダーは、所定の符号化単位（符号化単位の例は、一般的にはフレーム（スライスやピクチャを含む）や符号化ブロック）の符号化が完了した時点でデコード処理を行い、次に高画素数の映像の画素数までアップコンバートした映像を参照フレームメモリに格納する。そして、エンコーダーは、次に行う高画素数の映像の符号化において上で格納した映像も予測参照画像として利用する。この第２の符号化においては、エンコーダーは、高画素数の入力信号および既符号化済み且つ復号済み映像で構成される予測参照画像に加え、アップコンバートした予測参照画像を用いて符号化処理を行う。このように、エンコーダーは、第１の符号化処理によって得られた領域に対応する、アップコンバートされた復号映像も信号予測として用いることによって、単体で符号化するよりも効率的な符号化を実現する。
【0036】
また、エンコーダーは、所定の符号化単位（イントラ予測の場合には符号化ブロック単位、インター予測の場合にはフレーム単位）の符号化が完了した時点で、即時符号化ストリームのデコード処理を行い、映像を参照メモリーに格納する。さらに高画素数の映像のレイヤーの符号化を行う場合には、エンコーダーは、同時に高画素数の映像画素数までアップコンバートした映像を、高画素数の映像符号化用の予測参照メモリーにも格納する。このようにして、低画素数の復号映像のアップコンバート映像で効率的な予測が実現できる場合において、スケーラブル符号化が大いに性能を発揮する。
【0037】
一方で、アップコンバートの拡大処理の方法の多く（例えば、バイキュービック法や線形補間法など）は、拡大によってボケた映像を生成するため、ディテールの再現が難しい場合が多い。つまり、本来精緻な高画素数映像の信号予測が適切に予測できない場合も多く、符号化効率の向上が実現できない場合もある。そういった場合には、アップコンバートによる予測参照信号を予測に用いずに復号済みの既符号化領域の高画素数映像のみを用いて信号予測および差分信号の符号化を行う。このような、アップコンバート映像を予測に用いたか用いなかったかを表す情報は、符号化情報の一部として伝送される。受信機側のデコーダーは、その情報に基づいて処理種別を識別しながら適切に復号していく。受信機側では、復号により、受信機の性能で許容される範囲で複数の低画素数の復号映像と高画素数の復号映像が得られる。受信機側では、高画素数の復号処理において、予測処理の選択情報を用いる。この選択情報とは、低画素数映像のアップコンバート映像を参照するか否かを表す情報である。これによって、受信機側では、当該部分画像がアップコンバートによって相対的に再現性良く拡大可能な領域であるか否かを疑似的に判断することができる。
【0038】
つまり、例えば低画素数の映像を用いて予測が行われている領域であれば、同様のアップコンバート処理を用いてさらに拡大処理が有効であると判断できる。逆にそうでない領域であれば、拡大処理の後処理が重要であると判断できる。この両者の違いは、アップコンバートによってボケるエッジ部やテクスチャーを多く含む領域かどうかが大きな要因である。つまり、アップコンバート処理によるエッジ部やテクスチャーの保存が重要である。つまり、低画素数の映像を用いて予測が行われている領域は、さらにアップコンバートによって画素数を増やしても自然な映像を生成できる可能性が高い領域である。そうでない領域は、アップコンバートでは再現できない映像の特徴を持った領域である。
【0039】
そこで、下の複数の実施形態では、（１）低解像度復号画像と、（２）そのアップコンバート画像と、（３）高解像度復号画像とを組み合わせることによって、より高解像度画像を生成する。
【0040】
［基本構成］
図１は、下記の各々の実施形態における画像処理装置に共通する基本的な構成を示すブロック図である。ここで、各実施形態による画像処理装置を代表するものが、画像処理装置３０１である。画像処理装置３０１は、デコーダー１１と、高解像化成分抽出部３１２と、合成部３１７とを含むように構成される。この構成のうち、高解像化成分抽出部３１２の機能と合成部３１７の機能とを合わせて、アップコンバート部３０８と呼んでもよい。各部の機能は、次の通りである。
図１は、下記の各々の実施形態における画像処理装置に共通する基本的な構成を示すブロック図である。ここで、各実施形態による画像処理装置を代表するものが、画像処理装置３０１である。画像処理装置３０１は、デコーダー１１と、高解像化成分抽出部３１２と、合成部３１７とを含むように構成される。この構成のうち、高解像化成分抽出部３１２の機能と合成部３１７の機能とを合わせて、アップコンバート部３０８と呼んでもよい。各部の機能は、次の通りである。
【0041】
デコーダー１１は、画像処理装置３０１が外部から取得した符号をデコードし、画像を出力する。図示する構成においては、デコーダー１１は、第１画像（第１解像度）と、第２画像（第２解像度）と、第３画像（第３解像度）とを、それぞれデコードし、出力する。解像度は、画像における単位長さ当たりの画素数などの数値で表わされ得る。ここで、第１解像度は、相対的に低い解像度である。第２解像度は、第１解像度よりも高い解像度である。第３解像度は、任意の解像度である。なお、第１画像と第２画像と第３画像とは、解像度が互いに異なり得るものの、同じ内容（絵）を表す画像である。なお、デコーダー１１は、映像（それぞれの解像度の画像の系列）をデコードして出力するものであってもよい。
【0042】
デコーダー１１は、一例として、スケーラブル符号化された複数の画像（映像）をデコードするものであってよい。つまり、第１画像（低解像度）と第２画像（高解像度）と第３画像（任意の解像度）とのうちの少なくとも２つの画像は、スケーラブル符号化された符号化映像信号を基に、デコーダー１１がデコードすることによって得られる画像である。
【0043】
デコーダー１１は、第１画像と第２画像とを高解像化成分抽出部３１２に渡す。また、デコーダー１１は、第３画像を合成部３１７に渡す。
【0044】
なお、第２画像と第３画像とが同一の画像（同一の解像度）であってもよい。即ち、第３画像は、第２画像であってもよい。この場合には、デコーダー１１は、第２画像と同一の画像（同一の解像度）である第３画像を、合成部３１７に渡す。
【0045】
高解像化成分抽出部３１２は、デコーダー１１から渡される第１画像および第２画像を基に、高解像化成分を抽出する。高解像化成分抽出部３１２は、抽出された高解像化成分を合成部３１７に渡す。ここで、高解像化成分とは、相対的に低解像度の画像を高解像化するための画像成分である。言い換えれば、相対的に低解像度である第１画像を単純にアップコンバート（例えば、線形補間処理等）しただけでは得られない画像成分が高解像化成分である。相対的に低解像度である画像を単純にアップコンバートするとともに、高解像成分をその画像に適用することによって、画像を高解像化することができる。なお、ここで高解像化成分を適用することによって高解像化する処理は、真に高解像化するための処理であってもよく、また擬似的に高解像化する（つまり、ナチュラルに高解像らしく見えるようにする）ための処理であってもよい。
【0046】
合成部３１７は、デコーダー１１から渡される第３画像を高解像化して第４画像を生成し、出力する。合成部３１７は、具体的には次の２つの処理を行うことによって第３画像の高解像化を行う。第１の処理は、アップコンバート処理である。アップコンバート処理は、既存技術による手法（例えば、線形補間等。ただしその他の手法であってもよい。）によって実現可能である。第２の処理は、上記の高解像化成分抽出部３１２が抽出した高解像化成分を、第３画像に適用する処理である。高解像化成分を適用する処理とは、例えば、高解像化成分を単純に重畳する処理である。
【0047】
合成部３１７は、上記の第１の処理および第２の処理を、任意の順序で行ってよい。つまり、合成部３１７は、まず上記第１の処理を行ってからその結果に対して上記第２の処理を行ってもよい。また、逆に、合成部３１７は、まず上記第２の処理を行ってからその結果に対して上記第１の処理を行ってもよい。
【0048】
このようにして、画像処理装置３０１は、第３画像の高解像化を行うことができる。具体的な処理のバリエーションについては、下の各実施形態で説明する。
【0049】
［第１実施形態］
図２は、本発明の第１実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置１は、デコーダー１１と、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、加算部１７とを含んで構成される。なお、画像処理装置１が持つ構成のうち、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、加算部１７とを含んで成る部分を、アップコンバート部８と呼ぶ。アップコンバート部８が持つ構成および機能については、後で説明する別の実施形態においても参照する。
図２は、本発明の第１実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置１は、デコーダー１１と、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、加算部１７とを含んで構成される。なお、画像処理装置１が持つ構成のうち、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、加算部１７とを含んで成る部分を、アップコンバート部８と呼ぶ。アップコンバート部８が持つ構成および機能については、後で説明する別の実施形態においても参照する。
【0050】
画像処理装置１が持つそれぞれの機能部を、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、コンピューターとプログラムで実現する代わりに専用の電子回路として実現してもよい。
【0051】
本実施形態の画像処理装置１は、相対的に高解像度の画像と相対的に低解像度の画像とを入力し、それらそれぞれの画像の符号化および復号を行った後に、より高解像度の超高解像度画像を生成して出力するものである。これらの高解像度の画像および低解像度の画像は、同一のコンテンツの、互いに解像度の異なる画像のデータである。言い換えれば、これらの画像は、スケーラブル符号化された画像である。なお、画像処理装置１は、所定のフレームレートで入力されるフレーム画像の系列（映像）を処理の対象としてよい。
【0052】
なお、低解像度の画像の一例は２Ｋ画像（画素数が、横１９２０画素×縦１０８０画素）であり、高解像度の画像の一例は４Ｋ画像（画素数が、横３８４０画素×縦２１６０画素）であり、超高解像度の画像の一例は８Ｋ画像（画素数が、横７６８０画素×縦４３２０画素）である。ただし、それぞれの解像度の画像の画素数は、ここに例示したものに限られず、他の数値の画素数であってもよい。また、アップコンバートの処理における拡大倍率は、２倍であってもよいし、他の数値であってもよい。
【0053】
以下の説明において、２つの画像の加算あるいは減算（差分抽出）を行う場合がある。この場合、その処理を行う各部は、第１の画像内のある画素の画素値と、前記画素に対応する第２の画像内の画素の画素値とを加算あるいは減算する。それらの加算あるいは減算の結果の画素値を有する画素からなる画像が、それぞれ、加算結果の画像あるいは減算（差分抽出）結果の画像である。なお、映像信号の減算処理においては負値となる場合があるため、処理系によっては信号処理における信号のダイナミックレンジの中央値（例えば、８ｂｉｔ信号の場合には１２８、１０ｂｉｔ信号の場合には５１２）をオフセットとして加算した映像信号を用い、正値によって処理を行う場合もある。
【0054】
デコーダー１１は、画像処理装置１が外部から取得した映像符号化信号をデコードし、画像を出力する。外部からの符号は、例えば、放送信号から抽出されるものである。
【0055】
つまり、デコーダー１１は、画像処理装置１に入力される高解像度の画像および低解像度の画像の符号化信号を復号して出力する。デコーダー１１は、復号した低解像度の画像を、アップコンバート部１２に渡す。また、デコーダー１１は、復号した高解像度の画像を、差分抽出部１３とアップコンバート部１６とにそれぞれ渡す。なお、デコーダー１１が持つ復号の処理の機能が、画像処理装置１の外部に存在していてもよい。
【0056】
低解像度画像（後述する第１画像）と高解像度画像（後述する第３画像および第５画像）とのうちの少なくとも２つの画像は、スケーラブル符号化された映像符号化信号をデコードすることによって得られた画像であってもよい。つまり、デコーダー１１は、スケーラブル符号化された映像符号化信号をデコードすることにより、これらの低解像度画像および高解像度画像を得る。なお変形例として、ここで、デコーダー１１から差分抽出部１３に渡される画像の解像度と、デコーダー１１からアップコンバート部１６に渡される画像の解像度とが、異なっていてもよい。
【0057】
アップコンバート部１２は、デコーダー１１から渡される低解像度の画像をアップコンバートする処理を行うことによって、高解像度の画像の画素数に合わせる。なお、アップコンバート部１２によるアップコンバートの倍率は、横方向および縦方向それぞれの解像度の倍率である。アップコンバートの倍率を、例えば２．０や１．５や４／３（約１．３３３）等としてよいが、その他の数値としてもよい。
【0058】
アップコンバート部１２によるアップコンバートの処理自体は、既存技術を用いて実現可能である。アップコンバートの処理により、画像の解像度が上がる。アップコンバートする際に新たに生成される画素の画素値は、例えば補間処理によって定まる。また、アップコンバートする際に、学習用データ（画像）を用いて機械学習済みのモデルを用いて画素値を算出するようにしてもよい。なお、以下で説明するアップコンバート部１２以外のアップコンバート部においても同様である。
【0059】
差分抽出部１３は、アップコンバート部１２から渡される画像（アップコンバートしたことによって得られた高解像度画像）と、デコーダー１１から渡される高解像度画像とに基づく減算処理を行う。つまり、差分抽出部１３は、これら両者の画像内の対応する画素の画素値同士の減算を行う。ただし、処理系によっては減算された画素値に信号のダイナミックレンジの中央値をオフセットとして加算した信号によって処理を行う場合もある。言い換えれば、差分抽出部１３は、アップコンバート部１２から渡される画像と、デコーダー１１から渡される高解像度画像との、差分の画像を求める。この差分の画像は、高解像度画像に含まれる情報のうち、低解像度画像からのアップコンバート処理では再現できない成分の情報を表す画像である。差分抽出部１３は、求められた差分の画像を、アップコンバート部１４に渡す。
【0060】
差分抽出部１３は、画素値の差分を算出する代わりに、デコーダー１１から渡される高解像度の信号からエッジ抽出処理を直接実施してもよい。ここでエッジを抽出する処理としては、Ｓｏｂｅｌ（ソーベル）フィルター、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルター、Ｃａｎｎｙ（キャニー）フィルター、あるいはＨｏｕｇｈ（ハフ）変換などといった手法を利用することができる。ここでは、入力される画像の特徴を強調する処理を行う。
【0061】
アップコンバート部１４は、差分抽出部１３から出力される画像（前記の差分の画像）についてのアップコンバートの処理を行う。差分抽出部１３から出力される画像は、前述の通り、高解像度画像に含まれる情報のうち低解像度画像からのアップコンバート処理では再現できない成分の情報を持つものであったが、アップコンバート部１４は、その情報の解像度を超高解像度のレベルまで向上させる。言い換えれば、アップコンバート部１４が出力する画像は、高解像度画像からアップコンバートすることによって得られる超高解像度画像（後述するアップコンバート部１６からの出力）では再現できない、本来の超高解像度画像が持つはずの成分のみの情報を模擬的に持つものである。さらに言い換えれば、アップコンバート部１４が出力する画像は、高解像度画像からアップコンバートすることによって得られる超高解像度画像（後述するアップコンバート部１６からの出力）と、想定される本来の超高解像度画像との差分を模擬する（あるいは推定する）情報である。アップコンバート部１４が出力する画像の信号を、高解像度画像からアップコンバートすることによって得られる超高解像度画像（後述するアップコンバート部１６からの出力）を補強するための補強信号と呼んでもよい。アップコンバート部１４は、この処理結果の画像を画像処理部１５に渡す。
【0062】
画像処理部１５は、アップコンバート部１４から出力される画像のデータについて所定の画像処理を行う。差分抽出部１３から出力される信号は、アップコンバート部１４でのアップコンバートの処理によってボケた補強信号となる。そこで、画像処理部１５は、例えばアップコンバートの拡大率に応じた強調処理を、入力される画像に対して実施する。ここで画像処理部１５が行う処理は、例えば、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルター（ラプラシアンオペレーターを用いたエッジ強調）やアンシャープマスクなどといった鮮鋭化フィルター処理であってよい。
【0063】
なお、本実施形態の画像処理装置１は画像処理部１５を含んで構成されるが、変形例として、画像処理装置１が画像処理部１５を持たないようにしてもよい。その場合には、アップコンバート部１４から出力される画像のデータが、直接、加算部１７に渡される。つまり、この場合には、前記の補強信号を強調する処理（鮮鋭化フィルターの処理）が行われない。そのような場合にも、アップコンバート部１４から出力される画像のデータは、補強信号として、加算部１７に渡される。
【0064】
アップコンバート部１６は、上記の処理の一方で、デコーダー１１から渡される高解像度画像の、さらなる高解像度の画像（超高解像度画像）へのアップコンバートの処理を行う。アップコンバート部１６は、その処理の結果の画像を、加算部１７に渡す。
【0065】
加算部１７は、アップコンバート部１６から渡される画像（超高解像度にアップコンバートされた画像）と、画像処理部１５から渡される画像（超高解像度に相当する補強信号）とを加算する。つまり、加算部１７は、上記の両方の画像の対応する画素同士の画素値を加算して、出力する画像における画素値とする。補強信号の情報が加算部１７によって反映されているため、加算部１７が出力する超高解像度の画像は、アップコンバート部１６によるアップコンバートの処理だけでは得られない精細度の画像である。加算部１７は、加算の結果として得られる超高解像度の画像を、外部に出力する。
【0066】
以上説明したように、アップコンバート部８は、同一のコンテンツを表す２種類の画像（図２に示した例では、低解像度画像と高解像度画像）を基に、超高解像度画像を生成して出力する。
【0067】
［第２実施形態］
次に、第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0068】
図３は、第２実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置２は、デコーダー１１と、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、画像処理部２１と、差分抽出部２２と、比較部２３と、加算部２７と、を含んで構成される。なお、画像処理装置２が持つ構成のうち、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、画像処理部２１と、差分抽出部２２と、比較部２３と、加算部２７とを含んで成る部分を、アップコンバート部９と呼ぶ。アップコンバート部９が持つ構成および機能については、後で説明する別の実施形態においても参照する。
【0069】
画像処理装置２を構成する各機能部も、既に説明した実施形態と同様に、コンピューターとプログラムとを用いて実現可能である。また、画像処理装置２を構成する各機能部の少なくとも一部を、専用の電子回路を用いて実現してもよい。
【0070】
本実施形態は、第１実施形態の画像処理装置の処理をより高度にしたものである。具体的には次に説明する通りである。
【0071】
本実施形態の特徴は、画像処理装置２が、画像処理部２１と、差分抽出部２２と、比較部２３とを持っている点である。そして、加算部２７は、比較部２３から出力される画像と、アップコンバート部１６から出力される画像とを加算する。本実施形態において、デコーダー１１と、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６とは、それぞれ、第１実施形態で説明した機能と同様の機能を持つ。ただし、アップコンバート部１６は、本実施形態において、出力する画像（高解像度画像をアップコンバートした結果の画像）を、画像処理部２１と、差分抽出部２２と、加算部２７とに渡す。
【0072】
アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５とは、デコーダー１１から出力される低解像度画像および高解像度画像に基づいて、第１実施形態と同様の処理を行う。また、アップコンバート部１６は、デコーダー１１から出力される高解像度画像に基づいて、第１実施形態と同様の処理を行う。
【0073】
画像処理部２１は、アップコンバート部１６が出力する画像（高解像度画像をアップコンバートした結果の画像）を受け取り、その画像に対する所定の処理を行う。画像処理部２１が行う処理は、例えば、アップコンバート部１６における拡大率に応じた強調処理（エッジ強調処理）である。画像処理部２１は、具体的には、例えば、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルター（ラプラシアンオペレーターを用いたエッジ強調）やアンシャープマスクなどといった鮮鋭化フィルター処理を行う。言い換えれば、画像処理部２１は、入力される画像の特徴を強調する。画像処理部２１は、処理結果の画像を差分抽出部２２に渡す。
【0074】
差分抽出部２２は、アップコンバート部１６が出力した画像と、上記の画像処理部２１が出力した画像との、差分の画像を求める。差分抽出部２２は、これら２つの画像の相互に対応する画素の画素値の差を取る（減算する）ことにより、差分の画像を求める。差分の画像は、画像処理部２１によって強調されたエッジ成分を表す情報である。ただし、処理系によっては減算された画素値に信号のダイナミックレンジの中央値をオフセットとして加算した正値の信号によって処理を行う場合もある。
【0075】
差分抽出部２２は、画素値の差分を算出する代わりに、アップコンバート部１６から渡されるアップコンバート信号（アップコンバート後の超高解像度の信号）からエッジ抽出処理を直接実施してもよい。ここでエッジを抽出する処理としては、Ｓｏｂｅｌ（ソーベル）フィルター、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルター、Ｃａｎｎｙ（キャニー）フィルター、あるいはＨｏｕｇｈ（ハフ）変換などといった手法を利用することができる。ここでは、入力される画像の特徴を強調する処理を行う。
【0076】
比較部２３は、画像処理部１５（画像処理部１５を持たない構成の場合にはアップコンバート部１４）から渡される画像と、差分抽出部２２（上記の差分抽出に代わる手段である場合を含む）から渡されるエッジ情報の画像とを比較する。なお、比較部２３を、「調整部」と呼ぶ場合がある。比較部２３は、この比較結果に基づいて、画像内の画素ごとあるいは領域ごとに、画像処理部１５側から渡される画素の信号と差分抽出部２２側から渡される画素の信号の、どちらをエッジ強調信号として用いるかを決定する。
【0077】
なお、比較部２３による処理方法を、画像処理部１５（画像処理部１５を持たない構成の場合にはアップコンバート部１４）から渡される画素信号と、差分抽出部２２（上記の差分抽出に代わる手段である場合を含む）から渡されるエッジ情報の画素信号を重みづけ平均してもよい。比較部２３は、画像処理部１５（ただし、画像処理部１５がない場合には、アップコンバート部１４）側から得られる画像の各画素の画素値に基づいて、各画素の重み付け係数Ｗと差分抽出部２２（上記の差分抽出に代わる手段である場合を含む）から渡されるエッジ情報の画素信号の重みづけ係数（１－Ｗ）を決定する。一例として、各画素の画素値Ｐの値に応じて、その画素の重み付け係数Ｗを次のように閾値処理によって決定してもよい。
Ｐｍｉｎ≦Ｐ＜Ｐ１の場合に、Ｗ＝－１とし、
Ｐ１≦Ｐ≦Ｐ２の場合に、Ｗ＝０とし、
Ｐ２＜Ｐ≦Ｐｍａｘの場合に、Ｗ＝１とする。
ただし、ここで、Ｐｍｉｎは画素値の最小値であり、Ｐｍａｘは画素値の最大値である。また、Ｐ１およびＰ２は、それぞれ適宜定められる閾値である。なお、Ｐｍｉｎ＜Ｐ１≦Ｐ２＜Ｐｍａｘである。つまり、この例では、画素値Ｐの値の範囲と、その画素の重み付け係数Ｗとを対応付けている。ただし、上記の対応関係はあくまでも一例であり、画素値Ｐの値と重み付け係数Ｗの値との関係を他の形態で定めてもよい。
Ｐｍｉｎ≦Ｐ＜Ｐ１の場合に、Ｗ＝－１とし、
Ｐ１≦Ｐ≦Ｐ２の場合に、Ｗ＝０とし、
Ｐ２＜Ｐ≦Ｐｍａｘの場合に、Ｗ＝１とする。
ただし、ここで、Ｐｍｉｎは画素値の最小値であり、Ｐｍａｘは画素値の最大値である。また、Ｐ１およびＰ２は、それぞれ適宜定められる閾値である。なお、Ｐｍｉｎ＜Ｐ１≦Ｐ２＜Ｐｍａｘである。つまり、この例では、画素値Ｐの値の範囲と、その画素の重み付け係数Ｗとを対応付けている。ただし、上記の対応関係はあくまでも一例であり、画素値Ｐの値と重み付け係数Ｗの値との関係を他の形態で定めてもよい。
【0078】
比較部２３は、上記のいずれかの処理の結果として得られる画像を、補強信号として出力する。比較部２３は、この補強信号の画像を、加算部２７に渡す。
【0079】
加算部２７は、アップコンバート部１６から渡される画像（超高解像度にアップコンバートされた画像）と、比較部２３から渡される補強信号の画像とを加算することにより、出力用の超高解像度画像を生成する。具体的には、加算部２７は、上記２種類の画像の相互に対応する画素の画素値同士を加算し、出力用の画像内の画素の画素値とする。加算部２７は、このように生成した超高解像度の画像を、外部に出力する。
【0080】
［第３実施形態］
次に、第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0081】
図４は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置３は、デコーダー３１と、アップコンバート部８と、差分抽出部３３と、アップコンバート部３４と、画像処理部３５と、アップコンバート部３６と、加算部３７と、を含んで構成される。
【0082】
画像処理装置３を構成する各機能部も、既に説明した実施形態と同様に、コンピューターとプログラムとを用いて実現可能である。また、画像処理装置３を構成する各機能部の少なくとも一部を、専用の電子回路を用いて実現してもよい。
【0083】
なお、本実施形態において、低解像度の画像の一例はＨＤ画像（画素数が、横１２８０画素×縦７２０画素）であり、中解像度の画像の一例は２Ｋ画像（画素数が、横１９２０画素×縦１０８０画素）であり、高解像度の画像の一例は４Ｋ画像（画素数が、横３８４０画素×縦２１６０画素）であり、超高解像度の画像の一例は８Ｋ画像（画素数が、横７６８０画素×縦４３２０画素）である。ただし、それぞれの解像度の画像の画素数は、ここに例示したものに限られず、他の数値の画素数であってもよい。また、アップコンバートの処理における拡大倍率は、２倍であってもよいし、他の数値であってもよい。なお、上に例示したＨＤ画像から２Ｋ画像へのアップコンバートを行う際の拡大倍率は、１．５倍である。
【0084】
デコーダー３１は、画像処理装置３が外部から取得する映像符号化信号をデコードし、画像を出力する。
【0085】
つまり、デコーダー３１は、画像処理装置３に入力される高解像度、中解像度、および低解像度の画像の符号を復号して出力する。デコーダー３１は、復号した低解像度および中解像度の画像を、アップコンバート部８に渡す。また、デコーダー３１は、復号した高解像度の画像を、差分抽出部３３とアップコンバート部３６とにそれぞれ渡す。なお、デコーダー３１が持つ復号の処理の機能が、画像処理装置３の外部に存在していてもよい。
【0086】
アップコンバート部８は、第１実施形態において説明したアップコンバート部８である。つまり、アップコンバート部８は、図２に示したように、内部に、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６とを備える。つまり、アップコンバート部８は、デコーダー３１から渡されるデコード出力、同一コンテンツを表す２種類の解像度の画像（図４では、低解像度画像と中解像度画像）を基に、高解像度画像を生成する。アップコンバート部８は、生成した高解像度画像を、差分抽出部３３に渡す。また、アップコンバート部８が生成した高解像度画像を外部の装置等で利用できるようにするために、画像処理装置３の外部にも出力するようにしてもよい。
【0087】
差分抽出部３３は、アップコンバート部８から出力される高解像度画像とデコーダー３１から渡される高解像度画像とを基に、これら両画像の差分の画像を求める。画像処理装置３における差分抽出部３３の役割は、図２に示した画像処理装置１における差分抽出部１３の役割と同様のものである。つまり、差分抽出部３３は、外部から入力される高解像度画像に相当する情報をデコーダー３１から受け取り、アップコンバートされた結果である（推定された結果であると捉えてよい）高解像度画像との差分を求める。言い換えれば、差分抽出部３３は、本来の高解像度画像に含まれる情報のうち、低解像度画像および中解像度画像からアップコンバート処理によって生成（推定）された高解像度画像では再現できない成分の情報を表す画像を生成する。
【0088】
アップコンバート部３４は、差分抽出部３３から渡される高解像度画像のアップコンバート処理を行い、超高解像度画像を出力する。画像処理装置３におけるアップコンバート部３４の役割は、図２に示した画像処理装置１におけるアップコンバート部１４の役割と同様のものである。つまり、アップコンバート部３４は、差分抽出部３３が出力する情報（画像）の解像度を超高解像度のレベルまで向上させる。
【0089】
画像処理部３５は、アップコンバート部３４が出力する画像に対して所定の処理を実施する。画像処理部３５は、例えば、アップコンバート部３４から渡される画像の特徴を強調するための処理（第１実施形態で説明したものと同様の処理）を行う。画像処理装置３における画像処理部３５の役割は、図２に示した画像処理装置１における画像処理部１５の役割と同様のものである。つまり、画像処理部３５は、アップコンバート部３４から渡される補強信号を鮮鋭化して出力する。
【0090】
なお、図２を参照しながら説明した変形例と同様に、本実施形態の画像処理装置３が画像処理部３５を持たない構成としてもよい。
【0091】
アップコンバート部３６は、デコーダー３１から渡される高解像度画像に対してアップコンバート処理を実施する。その結果として、超高解像度の画像が生成される。画像処理装置３におけるアップコンバート部３６の役割は、図２に示した画像処理装置１におけるアップコンバート部１６の役割と同様のものである。
【0092】
加算部３７は、画像処理部３５側から渡される画像とアップコンバート部３６から渡される画像とを加算する処理を行う。これら両方の画像はいずれも超高解像度に相当する画像である。加算部３７は、加算した結果の画像（超高解像度画像）を、外部に出力する。画像処理装置３における加算部３７の役割は、図２に示した画像処理装置１における加算部１７の役割と同様のものである。
【0093】
以上説明したように、画像処理装置３は、低解像度画像、中解像度画像、および高解像度画像を基に、超高解像度画像を生成し、出力する。
【0094】
第１実施形態（図２）と第３実施形態（図４）との関係は、次の通りである。即ち、第３実施形態の画像処理装置３が持つアップコンバート部８は、第１実施形態の画像処理装置１が持つアップコンバート部８と同等の機能を持つものである。つまり、アップコンバート部８は、２個の解像度（品質）の画像を基に、第３の解像度（品質）の画像を生成する。このようなアップコンバート部８を用いて、画像処理装置３は、３個の解像度（品質）の画像を基に、第４の解像度（品質）の画像を生成することができる。
【0095】
上記の第１実施形態と第３実施形態との関係を、さらに再帰的に多段階化するようにしてもよい。つまり、その段階数を一般化すれば、画像処理装置は、同一のコンテンツを表すｎ個（ｎ≧２）の解像度（品質）の画像を基に、第（ｎ＋１）番目の解像度（品質）の画像を生成することができる。ここでのアップコンバート処理を行う機能を「第３アップコンバート部」と呼ぶ。このような画像処理装置がコンテンツ配信システムにおけるコンテンツを受信する側の受信装置内に設けられる場合には、その受信装置は、コンテンツの送信側（配信装置）からｎ個の解像度（品質）の画像を受信して、それらの画像を基に、第（ｎ＋１）番目の解像度（品質）の画像を生成することができる。受信装置は、これら（ｎ＋１）個の解像度（品質）の画像のうち適宜選択された画像を、外部に出力（ディスプレイ等に表示する場合を含む）することができる。
【0096】
［第４実施形態］
次に、第４実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、第４実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0097】
図５は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置４は、デコーダー３１と、アップコンバート部９と、差分抽出部４３と、アップコンバート部４４と、画像処理部４５と、アップコンバート部４６と、画像処理部５１と、差分抽出部５２と、比較部５３と、加算部５７と、を含んで構成される。
【0098】
画像処理装置４を構成する各機能部も、既に説明した実施形態と同様に、コンピューターとプログラムとを用いて実現可能である。また、画像処理装置４を構成する各機能部の少なくとも一部を、専用の電子回路を用いて実現してもよい。
【0099】
本実施形態においても、低解像度の画像の一例はＨＤ画像であり、中解像度の画像の一例は２Ｋ画像であり、高解像度の画像の一例は４Ｋ画像であり、超高解像度の画像の一例は８Ｋ画像である。ただし、各解像度の画像の画素数は、ここに例示したものに限られず、他の数値のものであってもよい。アップコンバートの処理における拡大倍率は、２倍であってもよいし、他の数値であってもよい。
【0100】
デコーダー３１は、第３実施形態の場合と同様に、画像処理装置４に入力される高解像度、中解像度、および低解像度の映像符号化信号を復号して出力する。デコーダー３１は、復号した低解像度および中解像度の画像を、アップコンバート部９に渡す。また、デコーダー３１は、復号した高解像度の画像を、差分抽出部４３とアップコンバート部４６とにそれぞれ渡す。なお、デコーダー３１が持つ復号の処理の機能が、画像処理装置４の外部に存在していてもよい。
【0101】
アップコンバート部９は、第２実施形態において説明したアップコンバート部９である。つまり、アップコンバート部９は、図３に示したように、内部に、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、アップコンバート部１６と、画像処理部２１と、差分抽出部２２と、比較部２３と、加算部２７とを備える。つまり、アップコンバート部９は、デコーダー３１から渡される、同一コンテンツを表す２種類の解像度の画像（図５では、低解像度画像と中解像度画像）を基に、高解像度画像を生成する。アップコンバート部９は、生成した高解像度画像を、差分抽出部４３に渡す。また、アップコンバート部９が生成した高解像度画像を外部の装置等で利用できるようにするために、画像処理装置４の外部にも出力するようにしてもよい。
【0102】
差分抽出部４３は、アップコンバート部９から出力される高解像度画像とデコーダー３１から渡される高解像度画像とを基に、これら両画像の差分の画像を求める。画像処理装置４における差分抽出部４３の役割は、図３に示した画像処理装置２における差分抽出部１３の役割と同様のものである。つまり、差分抽出部４３は、外部から入力される高解像度画像に相当する情報をデコーダー３１から受け取り、アップコンバートされた結果である（推定された結果であると捉えてよい）高解像度画像との差分を求める。言い換えれば、差分抽出部４３は、本来の高解像度画像に含まれる情報のうち、低解像度画像および中解像度画像からアップコンバート処理によって生成（推定）された高解像度画像では再現できない成分の情報を表す画像を生成する。
【0103】
アップコンバート部４４は、差分抽出部４３から渡される高解像度画像のアップコンバート処理を行い、超高解像度画像を出力する。画像処理装置４におけるアップコンバート部４４の役割は、図３に示した画像処理装置２におけるアップコンバート部１４の役割と同様のものである。つまり、アップコンバート部４４は、差分抽出部４３が出力する情報（画像）の解像度を超高解像度のレベルまで向上させる。
【0104】
画像処理部４５は、アップコンバート部４４が出力する画像に対して所定の処理を実施する。画像処理部４５は、例えば、アップコンバート部４４から渡される画像の特徴を強調するための処理（第２実施形態で説明したものと同様の処理）を行う。画像処理装置４における画像処理部４５の役割は、図３に示した画像処理装置２における画像処理部１５の役割と同様のものである。つまり、画像処理部４５は、アップコンバート部３４から渡される補強信号を鮮鋭化して出力する。
【0105】
なお、図３を参照しながら説明した変形例と同様に、本実施形態の画像処理装置４が画像処理部４５を持たない構成としてもよい。
【0106】
アップコンバート部４６は、デコーダー３１から渡される高解像度画像に対してアップコンバート処理を実施する。その結果として、超高解像度の画像が生成される。画像処理装置４におけるアップコンバート部４６の役割は、図３に示した画像処理装置２におけるアップコンバート部１６の役割と同様のものである。アップコンバート部４６は、アップコンバートした結果として得られる超高解像度の画像を、画像処理部５１と、差分抽出部５２と、加算部５７とに渡す。
【0107】
画像処理部５１は、アップコンバート部４６が出力する画像（超高解像度画像）を受け取り、その画像に対する所定の処理を行う。画像処理部５１が行う処理は、第２実施形態において画像処理部２１について説明した処理と同様である。つまり、画像処理部５１は、アップコンバート部４６から渡される画像の特徴を強調する。画像処理部５１は、処理結果の画像を差分抽出部５２に渡す。
【0108】
差分抽出部５２は、アップコンバート部４６が出力した画像と画像処理部５１が出力した画像との差分の画像を求める。差分抽出部５２は、これらの画像の差分を算出する代わりに、アップコンバート部４６から渡されるアップコンバート信号（アップコンバート後の超高解像度の信号）を基にエッジを抽出する処理を直接実施してもよい。画像処理装置４における差分抽出部５２の役割は、図３に示した画像処理装置２における差分抽出部２２の役割と同様のものである。つまり、差分抽出部５２は、画像処理部５１によって強調された成分の画像を出力する。差分抽出部５２は、このようにして得られた情報を、比較部５３に渡す。
【0109】
比較部５３は、画像処理部４５（画像処理部４５を持たない構成の場合にはアップコンバート部４４）から渡される画像と、差分抽出部５２（差分抽出に代わる手段である場合を含む）から渡されるエッジ情報の画像とを比較する。なお、比較部５３を、「調整部」と呼ぶ場合がある。画像処理装置４における比較部５３の役割は、図３に示した画像処理装置２における比較部２３の役割と同様のものである。比較部５３は、この比較結果に基づいて、画像内の画素ごとあるいは領域ごとに、画像処理部４５側から渡される画素の信号と差分抽出部５２側から渡される画素の信号の、どちらをエッジ強調信号として用いるかを決定する。比較部５３は、この処理によって得られた画像（エッジ強調信号）を、補強信号として、加算部５７に渡す。
【0110】
加算部５７は、アップコンバート部４６から渡される画像（超高解像度にアップコンバートされた画像）と、比較部５３から渡される補強信号の画像とを加算することにより、出力用の超高解像度画像を生成する。加算部２７は、このように生成した超高解像度の画像を、外部に出力する。
【0111】
以上説明したように、画像処理装置４は、低解像度画像、中解像度画像、および高解像度画像を基に、超高解像度画像を生成し、出力する。
【0112】
第２実施形態（図３）と第４実施形態（図５）との関係は、次の通りである。即ち、第４実施形態の画像処理装置４が持つアップコンバート部９は、第２実施形態の画像処理装置２が持つアップコンバート部９と同等の機能を持つものである。つまり、アップコンバート部９は、２個の解像度（品質）の画像を基に、第３の解像度（品質）の画像を生成する。このようなアップコンバート部９を用いて、画像処理装置４は、３個の解像度（品質）の画像を基に、第４の解像度（品質）の画像を生成することができる。
【0113】
上記の第２実施形態と第４実施形態との関係を、さらに再帰的に多段階化するようにしてもよい。つまり、その段階数を一般化すれば、画像処理装置は、同一のコンテンツを表すｎ個（ｎ≧２）の解像度（品質）の画像を基に、第（ｎ＋１）番目の解像度（品質）の画像を生成することができる。このような画像処理装置がコンテンツ配信システムにおけるコンテンツを受信する側の受信装置内に設けられる場合には、その受信装置は、コンテンツの送信側（配信装置）からｎ個の解像度（品質）の画像を受信して、それらの画像を基に、第（ｎ＋１）番目の解像度（品質）の画像を生成することができる。受信装置は、これら（ｎ＋１）個の解像度（品質）の画像のうち適宜選択された画像を、外部に出力（ディスプレイ等に表示する場合を含む）することができる。
【0114】
下の第５実施形態から第８実施形態までは、それぞれ、第１実施形態から第４実施形態までの構成を一部変更したものである。これらの実施形態について、図面を参照しながら説明する。
【0115】
［第５実施形態］
第５実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
第５実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0116】
図６は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置６１は、デコーダー１１と、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、加算部１７と、アップコンバート部７１とを含むように構成される。なお、これらの機能のうち、アップコンバート部１２と、差分抽出部１３と、アップコンバート部１４と、画像処理部１５と、加算部１７と、アップコンバート部７１とを含む構成をアップコンバート部９８と呼んでもよい。
【0117】
第１実施形態の画像処理装置１においては、アップコンバート部１４およびアップコンバート部１６が、それぞれ、高解像度画像のアップコンバート処理を行っていた。これに対して、本実施形態の画像処理装置６１においては、加算部１７が画像同士の加算を行った後で、アップコンバート部７１が高解像度画像のアップコンバート処理を行う。このように、本実施形態では、処理の簡単化および計算量の削減を図ることができる。このようにアップコンバートの処理を行う順序が異なる点を除いては、本実施形態の画像処理装置６１を構成する各部が有する機能は、第１実施形態におけるそれらと同様である。
【0118】
［第６実施形態］
次に、第６実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、第６実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0119】
図７は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置６２は、デコーダー１１と、アップコンバート部１２と、差分抽出部１３と、画像処理部１５と、画像処理部２１と、差分抽出部２２と、比較部２３と、加算部２７と、アップコンバート部７２とを含むように構成される。なお、これらの機能のうち、アップコンバート部１２と、差分抽出部１３と、画像処理部１５と、画像処理部２１と、差分抽出部２２と、比較部２３と、加算部２７と、アップコンバート部７２とを含む構成をアップコンバート部９９と呼んでもよい。
【0120】
第２実施形態の画像処理装置２においては、アップコンバート部１４およびアップコンバート部１６が、それぞれ、高解像度画像のアップコンバート処理を行っていた。これに対して、本実施形態の画像処理装置６２においては、加算部２７が画像同士の加算を行った後で、アップコンバート部７２が高解像度画像のアップコンバート処理を行う。このように、本実施形態では、処理の簡単化および計算量の削減を図ることができる。このようにアップコンバートの処理を行う順序が異なる点を除いては、本実施形態の画像処理装置６２を構成する各部が有する機能は、第２実施形態におけるそれらと同様である。
【0121】
［第７実施形態］
次に、第７実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、第７実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0122】
図８は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置６３は、デコーダー３１と、アップコンバート部９８と、差分抽出部３３と、画像処理部３５と、加算部３７と、アップコンバート部７３とを含むように構成される。なお、上記のアップコンバート部９８は、図６（第５実施形態）を参照しながら説明した機能である。
【0123】
第３実施形態の画像処理装置３においては、アップコンバート部３４およびアップコンバート部３６が、それぞれ、高解像度画像のアップコンバート処理を行っていた。これに対して、本実施形態の画像処理装置６３においては、加算部３７が画像同士の加算を行った後で、アップコンバート部７３が高解像度画像のアップコンバート処理を行う。このように、本実施形態では、処理の簡単化および計算量の削減を図ることができる。このようにアップコンバートの処理を行う順序が異なる点を除いては、本実施形態の画像処理装置６３を構成する各部が有する機能は、第３実施形態におけるそれらと同様である。
【0124】
［第８実施形態］
次に、第８実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
次に、第８実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。
【0125】
図９は、本実施形態による画像処理装置の概略機能構成を示すブロック図である。図示するように、画像処理装置６４は、デコーダー３１と、アップコンバート部９９と、差分抽出部４３と、画像処理部４５と、画像処理部５１と、差分抽出部５２と、比較部５３と、加算部５７と、アップコンバート部７４とを含むように構成される。なお、上記のアップコンバート部９９は、図７（第６実施形態）を参照しながら説明した機能である。
【0126】
第４実施形態の画像処理装置４においては、アップコンバート部４４およびアップコンバート部４６が、それぞれ、高解像度画像のアップコンバート処理を行っていた。これに対して、本実施形態の画像処理装置６４においては、加算部５７が画像同士の加算を行った後で、アップコンバート部７４が高解像度画像のアップコンバート処理を行う。このように、本実施形態では、処理の簡単化および計算量の削減を図ることができる。このようにアップコンバートの処理を行う順序が異なる点を除いては、本実施形態の画像処理装置６４を構成する各部が有する機能は、第４実施形態におけるそれらと同様である。
【0127】
第１実施形態から第８実施形態までのそれぞれの機能構成と、図１において説明した機能構成との対応関係は、次の通りである。
【0128】
図２（第１実施形態）におけるアップコンバート部１２、差分抽出部１３、アップコンバート部１４、および画像処理部１５は、図１における高解像化成分抽出部３１２に相当する。また、図２におけるアップコンバート部１６および加算部１７は、図１における合成部３１７に相当する。
【0129】
図３（第２実施形態）におけるアップコンバート部１２、差分抽出部１３、アップコンバート部１４、画像処理部１５、画像処理部２１、差分抽出部２２、および比較部２３は、図１における高解像化成分抽出部３１２に相当する。また、図３におけるアップコンバート部１６および加算部２７は、図１における合成部３１７に相当する。
【0130】
図４（第３実施形態）におけるアップコンバート部８、差分抽出部３３、アップコンバート部３４、および画像処理部３５は、図１における高解像化成分抽出部３１２に相当する。また、図４におけるアップコンバート部３６および加算部３７は、図１における合成部３１７に相当する。
【0131】
図５（第４実施形態）におけるアップコンバート部９、差分抽出部４３、アップコンバート部４４、画像処理部４５、画像処理部４５、画像処理部５１、差分抽出部５２、および比較部５３は、図１における高解像化成分抽出部３１２に相当する。また、図５におけるアップコンバート部４６および加算部５７は、図１における合成部３１７に相当する。
【0132】
図６（第５実施形態）におけるアップコンバート部１２、差分抽出部１３、および画像処理部１５は、図１における高解像化成分抽出部３１２に相当する。また、図６における加算部１７、およびアップコンバート部７１は、図１における合成部３１７に相当する。
【0133】
図７（第６実施形態）におけるアップコンバート部１２、差分抽出部１３、画像処理部１５、画像処理部２１、差分抽出部２２、および比較部２３は、図１における高解像化成分抽出部３１２に相当する。また、図７における加算部２７およびアップコンバート部７２は、図１における合成部３１７に相当する。
【0134】
図８（第７実施形態）におけるアップコンバート部９８、差分抽出部３３、および画像処理部３５は、図１における高解像化成分抽出部３１２に相当する。また、図８における加算部３７およびアップコンバート部７３は、図１における合成部３１７に相当する。
【0135】
図９（第８実施形態）におけるアップコンバート部９９、差分抽出部４３、画像処理部４５、画像処理部４５、画像処理部５１、差分抽出部５２、および比較部５３は、図１における高解像化成分抽出部３１２に相当する。また、図９における加算部５７およびアップコンバート部７４は、図１における合成部３１７に相当する。
【0136】
第１実施形態から第８実施形態までにおいて符号化映像信号およびデコーダーは1つの符号化映像信号から複数解像度の映像を復号可能なスケーラブル符号化の場合を例として用いて示した。しかし、これらの実施形態の画像処理装置においてデコーダーは複数解像度の復号映像を出力することができればよい。つまり、画像処理装置は、デコーダーとして、１デコーダーでなければならないわけではなく複数のデコーダーを備え、複数解像度の映像を出力するものであってもよい。例えば現在の地上デジタル放送の受信装置では移動体向け放送サービス（ワンセグ）用デコーダーとハイビジョン放送サービス用デコーダーを備えており、通常どちらか一方の信号のみをデコードし、表示しているが、両デコーダーを用いて低解像度画像と、高解像度画像を復号し、それらを処理してもよい。つまり、各実施形態におけるデコーダーは、スケーラブル符号化された符号化映像信号をデコードすることによって複数（少なくとも２つ）の画像を得るものであってもよいし、別々に符号化された符号化映像信号をデコードすることによって複数の画像を得るものであってもよい。
【0137】
［コンテンツ配信システム］
次に、第１実施形態から第８実施形態までのいずれかの画像処理装置を含んだコンテンツ配信システムについて説明する。
次に、第１実施形態から第８実施形態までのいずれかの画像処理装置を含んだコンテンツ配信システムについて説明する。
【0138】
図１０は、コンテンツ配信システムの概略機能構成を示すブロック図である。図示するように、コンテンツ配信システム１００は、受信装置１０１と、配信装置１０２と、記憶装置１０３と、伝送路１０９とを含んで構成される。この図においては、受信装置１０１と、配信装置１０２と、記憶装置１０３とをそれぞれ１台ずつ示しているが、コンテンツ配信システム１００が含むそれぞれの装置の台数は任意である。例えば、少数の配信装置１０２が、多数の受信装置１０１に対してコンテンツのデータを配信する構成としてもよい。
【0139】
受信装置１０１は、配信装置１０２から配信されるコンテンツのデータを受信し、そのコンテンツをユーザーに提示する。コンテンツは、例えば映像を用いたコンテンツである。映像は、画像の系列として構成される。受信装置１０１は、例えば、テレビ受像機である。あるいは、受信装置１０１は、パーソナルコンピューター（ＰＣ）やスマートフォンと、それらの装置上で稼働するコンテンツプレーヤープログラムとを用いて構成されるものであってもよい。受信装置１０１の内部の機能構成については、後述する。
【0140】
配信装置１０２は、受信装置１０１に対してコンテンツを配信する。配信装置１０２は、記憶装置１０３に記憶されているコンテンツのデータを適宜選択して、読み出して受信装置１０１に対して送信する。なお、コンテンツは、必ずしも記憶装置１０３に記憶されているものではなくてもよい。コンテンツは、例えば、ライブ配信コンテンツであってもよい。
【0141】
記憶装置１０３は、コンテンツのデータを記憶する。記憶装置１０３は、ある１つのコンテンツについて、スケーラブル符号化データあるいは複数の品質の符号化データを記憶している。ここで品質とは、画像の解像度や、コンテンツを符号化する際の情報圧縮の度合い等である。
【0142】
伝送路１０９は、放送信号の伝送路、あるいはインターネット等の通信ネットワークである。伝送路１０９を介して、配信装置１０２から受信装置１０１へのデータの送信を行える。具体的には、配信装置１０２は、伝送路１０９を介して、コンテンツのデータを送信することができる。
【0143】
上記の受信装置１０１は、図示するように、受信部１１１と、画像処理装置１１２と、提示部１１３とを含んで構成される。
【0144】
受信部１１１は、低解像度符号化データ及び対応する高解像度符号化データを含む伝送信号を受信し、受信した信号を画像処理装置１１２に渡す。
【0145】
受信部１１１は、例えば、放送信号を選局するための選局手段と、メディア検出手段とを有する。選局手段は、例えばユーザーからのリモコン等の操作に基づいて、取得するべきサービス・ストリームを選択（選局）し、選択結果を示すＩＤを制御情報としてメディア検出手段に出力する。メディア検出手段は、選局手段が出力する制御情報が示すＩＤに基づいて、対応する解像度以下の映像符号化データを多重信号から取得（抽出）し、画像処理装置１１２に出力する。
【0146】
画像処理装置１１２は、低解像度画像（映像）と高解像度画像（映像）とを得る。画像処理装置１１２は、これらの映像を基に既に説明した高解像化の処理を行い、超高解像度画像（映像）を出力（提示）する。
【0147】
例えば、画像処理装置１１２内のデコーダー（１１，３１）は、低解像度画像と、高解像度画像の復号手段とを有する。低解像度画像復号手段は、低解像度映像符号化データから低解像度番組映像を復号する。高解像度映像符号化データから、あるいはスケーラブル符号化の場合、低解像度映像符号化データも用いて高解像度番組映像のデータを復号する。
【0148】
画像処理装置１１２は、第１実施形態から第８実施形態まで（変形例を含む）において説明した画像処理装置（１，２，３，４，６１，６２，６３，または６４）のいずれかである。画像処理装置１１２は、受信部１１１が受信した品質（解像度）の異なるｎ個のコンテンツデータを基に、第（ｎ＋１）番目の品質（解像度）のコンテンツデータを生成する。その方法は、既に第１実施形態から第４実施形態までにおいて説明した通りである。画像処理装置１１２は、受信したコンテンツデータおよび生成したコンテンツデータを、提示部１１３に渡す。
【0149】
提示部１１３は、コンテンツデータを画像処理装置１１２から受け取り、そのコンテンツをユーザー等に対して提示する。コンテンツは、例えば、映像と音声とを含むコンテンツである。コンテンツデータは、配信装置１０２側から受信した品質のコンテンツデータのいずれか、あるいは上記の通り画像処理装置１１２が生成した品質のコンテンツデータである。提示部１１３は、画像（映像）をディスプレイ装置（不図示）に表示したり、音声をスピーカー等（不図示）から出力したりする。
【0150】
配信装置１０２が、通信回線（インターネット等）を介して受信装置１０１に対してコンテンツデータを伝送する場合には、ＩＰパケットによる伝送を行うことができる。この場合、ＩＰパケットのヘッダーに、優先度を設定するようにしてよい。配信装置１０２は、例えば、低解像度映像符号化データを伝送するためのＩＰパケットにはより高い優先度を設定し、高解像度映像符号化データを伝送するためのＩＰパケットにはより低い優先度を設定する。また、配信装置１０２は、３段階以上の解像度の符号化データを送信するようにしてもよい。受信装置１０１は、相対的に低解像度の画像（映像）を基に、画像処理装置１１２の機能によって相対的に高解像度の画像（映像）を生成することができる。言い換えれば、受信装置１０１は、受信することのできなかった解像度の符号化映像に相当する解像度の画像（映像）を受信できた低解像度映像の符号化データから生成してユーザーに対して提示することができる。
【0151】
図１１は、上述した各実施形態（変形例を含む）における装置の内部構成の例を示すブロック図である。各装置（画像処理装置１，２，３，４、受信装置１０１、配信装置１０２のそれぞれ）は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。
【0152】
なお、上述した実施形態（変形例を含む）における各装置の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0153】
上の「課題を解決するための手段」の欄で記載した構成と、各実施形態における構成との対応関係は、次の通りである。
【0154】
［３］として記載した構成における、「第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部」は、第１実施形態の差分抽出部１３、第２実施形態の差分抽出部１３、第３実施形態の差分抽出部３３、および第４実施形態の差分抽出部４３に対応する。
また、「第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部」は、第１実施形態のアップコンバート部１６、第２実施形態のアップコンバート部１６、第３実施形態のアップコンバート部３６、および第４実施形態のアップコンバート部４６に対応する。
また、「前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部」は、第１実施形態のアップコンバート部１４、第２実施形態のアップコンバート部１４、第３実施形態のアップコンバート部３４、および第４実施形態のアップコンバート部４４に対応する。
また、「前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部」は、第１実施形態の加算部１７、第２実施形態の加算部２７、第３実施形態の加算部３７、および第４実施形態の加算部５７に対応する。
また、「第３解像度の第５画像をアップコンバートして第４解像度の第６画像を生成する第１アップコンバート部」は、第１実施形態のアップコンバート部１６、第２実施形態のアップコンバート部１６、第３実施形態のアップコンバート部３６、および第４実施形態のアップコンバート部４６に対応する。
また、「前記第４画像をアップコンバートすることによって前記第４解像度の第７画像を生成する第２アップコンバート部」は、第１実施形態のアップコンバート部１４、第２実施形態のアップコンバート部１４、第３実施形態のアップコンバート部３４、および第４実施形態のアップコンバート部４４に対応する。
また、「前記第６画像と前記第７画像に基づく画像とを加算して、前記第４解像度の第８画像を生成する加算部」は、第１実施形態の加算部１７、第２実施形態の加算部２７、第３実施形態の加算部３７、および第４実施形態の加算部５７に対応する。
【0155】
なお、第１実施形態から第４実施形態までのそれぞれにおいては、［２］として記載した通り、第２解像度と第３解像度とは同一の解像度であり、且つ、第３画像と第５画像とは同一の画像である。
【0156】
［５］として記載した構成における、「前記第７画像の特徴を強調する処理を行うことによって前記第４解像度の第９画像を生成する第１画像処理部」は、第１実施形態の画像処理部１５、第２実施形態の画像処理部１５、第３実施形態の画像処理部３５、および第４実施形態の画像処理部４５に対応する。
【0157】
［６］として記載した構成における、「前記第６画像のエッジを強調する処理を行うことによって第１０画像を生成する第２画像処理部」は、第２実施形態の画像処理部２１、および第４実施形態の画像処理部５１に対応する。
また、「前記第６画像と前記第１０画像との差を表す第１１画像を生成する第２差分抽出部」は、第２実施形態の差分抽出部２２、および第４実施形態の差分抽出部５２に対応する。
また、「前記第１１画像に基づいて前記第７画像に基づく画像の調整を行うことによって、第１２画像を生成する調整部」は、第２実施形態の比較部２３、および第４実施形態の比較部５３に対応する。
また、「前記第６画像と前記第１０画像との差を表す第１１画像を生成する第２差分抽出部」は、第２実施形態の差分抽出部２２、および第４実施形態の差分抽出部５２に対応する。
また、「前記第１１画像に基づいて前記第７画像に基づく画像の調整を行うことによって、第１２画像を生成する調整部」は、第２実施形態の比較部２３、および第４実施形態の比較部５３に対応する。
【0158】
［７］として記載した構成における、「前記第７画像の特徴を強調する処理を行うことによって前記第４解像度の第９画像を生成する第１画像処理部」は、第２実施形態の画像処理部１５、および第４実施形態の画像処理部４５に対応する。
【0159】
［８］として記載した構成における、「第１解像度の第１画像をアップコンバートして生成した第２解像度の第２画像と、第２解像度の第３画像との差を表す第４画像を生成する第１差分抽出部」は、第５実施形態の差分抽出部１３、第６実施形態の差分抽出部１３、第７実施形態の差分抽出部３３、および第８実施形態の差分抽出部４３に対応する。
また、「前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部」は、第５実施形態の加算部１７、第６実施形態の加算部２７、第７実施形態の加算部３７、および第８実施形態の加算部５７に対応する。
また、「前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部」は、第５実施形態のアップコンバート部７１、第６実施形態のアップコンバート部７２、第７実施形態のアップコンバート部７３、および第８実施形態のアップコンバート部７４に対応する。
また、「前記第４画像に基づく画像と、前記第２解像度の第５画像と、を加算して前記第２解像度の第６画像を生成する加算部」は、第５実施形態の加算部１７、第６実施形態の加算部２７、第７実施形態の加算部３７、および第８実施形態の加算部５７に対応する。
また、「前記第６画像をアップコンバートすることによって第３解像度の第７画像を生成するアップコンバート部」は、第５実施形態のアップコンバート部７１、第６実施形態のアップコンバート部７２、第７実施形態のアップコンバート部７３、および第８実施形態のアップコンバート部７４に対応する。
【0160】
［９］として記載した構成における、「前記第４画像の特徴を強調する処理を行うことによって前記第２解像度の第８画像を生成する第１画像処理部」は、第５実施形態の画像処理部１５、第６実施形態の画像処理部１５、第７実施形態の画像処理部３５、および第８実施形態の画像処理部４５に対応する。
【0161】
［１０］として記載した構成における、「前記第５画像のエッジを強調する処理を行うことによって第９画像を生成する第２画像処理部」は、第６実施形態における画像処理部２１、および第８実施形態における画像処理部５１に対応する。
また、「前記第５画像と前記第９画像との差を表す第１０画像を生成する第２差分抽出部」は、第６実施形態における差分抽出部２２、および第８実施形態における差分抽出部５２に対応する。
また、「前記第１０画像に基づいて前記第４画像に基づく画像の調整を行うことによって、第１１画像を生成する調整部」は、第６実施形態の比較部２３、および第８実施形態の比較部５３に対応する。
また、「前記第５画像と前記第９画像との差を表す第１０画像を生成する第２差分抽出部」は、第６実施形態における差分抽出部２２、および第８実施形態における差分抽出部５２に対応する。
また、「前記第１０画像に基づいて前記第４画像に基づく画像の調整を行うことによって、第１１画像を生成する調整部」は、第６実施形態の比較部２３、および第８実施形態の比較部５３に対応する。
【0162】
以上説明した第１実施形態から第８実施形態までのいずれかによれば、画像処理装置は、ｎ個（ｎ≧２）の品質の異なる画像に基づいて、第（ｎ＋１）番目の品質の画像を生成することができる。言い換えれば、画像処理装置は上記ｎ個の画像のうちのどの画像の品質よりも高品質の画像である第（ｎ＋１）番目の画像を模擬的に生成することができる。第１実施形態および第２実施形態の各々は、ｎが２の場合の形態である。第３実施形態および第４実施形態の各々においては、ｎを３以上とすることができる。第３実施形態あるいは第４実施形態を再帰的に適用することによって一般にｎ≧３とできることは、既に説明した通りである。
【0163】
[さらなる変形例（１）]
さらに、次のような変形例としてもよい。上記の第３実施形態においては、アップコンバート部８（第１実施形態に含まれる構成）を用いて画像のアップコンバートを行った。第３実施形態において、アップコンバート部８の代わりにアップコンバート部９（第２実施形態に含まれる構成）を用いてもよい。上記の第４実施形態においては、アップコンバート部９（第２実施形態に含まれる構成）を用いて画像のアップコンバートを行った。第４実施形態において、アップコンバート部９の代わりにアップコンバート部８（第１実施形態に含まれる構成）を用いてもよい。
さらに、次のような変形例としてもよい。上記の第３実施形態においては、アップコンバート部８（第１実施形態に含まれる構成）を用いて画像のアップコンバートを行った。第３実施形態において、アップコンバート部８の代わりにアップコンバート部９（第２実施形態に含まれる構成）を用いてもよい。上記の第４実施形態においては、アップコンバート部９（第２実施形態に含まれる構成）を用いて画像のアップコンバートを行った。第４実施形態において、アップコンバート部９の代わりにアップコンバート部８（第１実施形態に含まれる構成）を用いてもよい。
【0164】
[さらなる変形例（２）]
さらに、次のような変形例としてもよい。第１実施形態において、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置１は、最終的に「超高解像度」の画像を生成する。同様に、第２実施形態において、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置２は、最終的に「超高解像度」の画像を生成する。同様に、第３実施形態において、デコーダー３１は、差分抽出部３３と、アップコンバート部３６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー３１は、差分抽出部３３と、アップコンバート部３６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置３は、最終的に「超高解像度」の画像を生成する。同様に、第４実施形態において、デコーダー３１は、差分抽出部４３と、アップコンバート部４６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー３１は、差分抽出部４３と、アップコンバート部４６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置４は、最終的に「超高解像度」の画像を生成する。
これらの変形例では、差分抽出部（１３，３３，４３）に渡される画像の解像度と、アップコンバート部（１６，３６，４６）とが異なる。しかしながら、このような場合にも、差分抽出部（１３，３３，４３）は、２つの解像度の画像に基づいて補強信号に相当する情報を生成する。また、アップコンバート部（１６，３６，４６）は、渡された解像度の画像を、最終的に望まれる解像度の画像にアップコンバートする。
さらに、次のような変形例としてもよい。第１実施形態において、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置１は、最終的に「超高解像度」の画像を生成する。同様に、第２実施形態において、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー１１は、差分抽出部１３と、アップコンバート部１６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置２は、最終的に「超高解像度」の画像を生成する。同様に、第３実施形態において、デコーダー３１は、差分抽出部３３と、アップコンバート部３６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー３１は、差分抽出部３３と、アップコンバート部３６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置３は、最終的に「超高解像度」の画像を生成する。同様に、第４実施形態において、デコーダー３１は、差分抽出部４３と、アップコンバート部４６とに、同じ「高解像度」の画像を渡していた。変形例として、デコーダー３１は、差分抽出部４３と、アップコンバート部４６とに異なる解像度の画像を渡してもよい。その場合にも、本実施形態の画像処理装置４は、最終的に「超高解像度」の画像を生成する。
これらの変形例では、差分抽出部（１３，３３，４３）に渡される画像の解像度と、アップコンバート部（１６，３６，４６）とが異なる。しかしながら、このような場合にも、差分抽出部（１３，３３，４３）は、２つの解像度の画像に基づいて補強信号に相当する情報を生成する。また、アップコンバート部（１６，３６，４６）は、渡された解像度の画像を、最終的に望まれる解像度の画像にアップコンバートする。
【0165】
以上、この発明の実施形態（変形例）について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【0166】
本発明は、例えば、既に取得した品質のコンテンツデータを基に異なる品質のコンテンツデータを生成するために利用することができる。これにより、本発明は、例えば、コンテンツ配信事業（通信や放送等によるもの）に利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。
【符号の説明】
【0167】
１，２，３，４ 画像処理装置
８，９ アップコンバート部
１１ デコーダー
１２ アップコンバート部
１３ 差分抽出部（第１差分抽出部）
１４ アップコンバート部（第２アップコンバート部）
１５ 画像処理部（第１画像処理部）
１６ アップコンバート部（第１アップコンバート部）
１７ 加算部
２１ 画像処理部（第２画像処理部）
２２ 差分抽出部（第２差分抽出部）
２３ 比較部（調整部）
２７ 加算部
３１ デコーダー
３３ 差分抽出部（第１差分抽出部）
３４ アップコンバート部（第２アップコンバート部）
３５ 画像処理部（第１画像処理部）
３６ アップコンバート部（第１アップコンバート部）
３７ 加算部
４３ 差分抽出部（第１差分抽出部）
４４ アップコンバート部（第２アップコンバート部）
４５ 画像処理部（第１画像処理部）
４６ アップコンバート部（第１アップコンバート部）
５１ 画像処理部（第２画像処理部）
５２ 差分抽出部（第２差分抽出部）
５３ 比較部（調整部）
５７ 加算部
６１，６２，６３，６４ 画像処理装置
７１，７２，７３，７４ アップコンバート部
９８，９９ アップコンバート部
１００ コンテンツ配信システム
１０１ 受信装置
１０２ 配信装置
１０３ 記憶装置
１０９ 伝送路
１１１ 受信部
１１２ 画像処理装置
１１３ 提示部
３０１ 画像処理装置
３０８ アップコンバート部
３１２ 高解像化成分抽出部
３１７ 合成部
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス
８，９ アップコンバート部
１１ デコーダー
１２ アップコンバート部
１３ 差分抽出部（第１差分抽出部）
１４ アップコンバート部（第２アップコンバート部）
１５ 画像処理部（第１画像処理部）
１６ アップコンバート部（第１アップコンバート部）
１７ 加算部
２１ 画像処理部（第２画像処理部）
２２ 差分抽出部（第２差分抽出部）
２３ 比較部（調整部）
２７ 加算部
３１ デコーダー
３３ 差分抽出部（第１差分抽出部）
３４ アップコンバート部（第２アップコンバート部）
３５ 画像処理部（第１画像処理部）
３６ アップコンバート部（第１アップコンバート部）
３７ 加算部
４３ 差分抽出部（第１差分抽出部）
４４ アップコンバート部（第２アップコンバート部）
４５ 画像処理部（第１画像処理部）
４６ アップコンバート部（第１アップコンバート部）
５１ 画像処理部（第２画像処理部）
５２ 差分抽出部（第２差分抽出部）
５３ 比較部（調整部）
５７ 加算部
６１，６２，６３，６４ 画像処理装置
７１，７２，７３，７４ アップコンバート部
９８，９９ アップコンバート部
１００ コンテンツ配信システム
１０１ 受信装置
１０２ 配信装置
１０３ 記憶装置
１０９ 伝送路
１１１ 受信部
１１２ 画像処理装置
１１３ 提示部
３０１ 画像処理装置
３０８ アップコンバート部
３１２ 高解像化成分抽出部
３１７ 合成部
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】