特許 5901175 コンテンツ処理装置、コンテンツ処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5901175

(24)【登録日】2016年3月18日

(45)【発行日】2016年4月6日

(54)【発明の名称】コンテンツ処理装置、コンテンツ処理方法、およびプログラム

(51)【国際特許分類】

   H04N 17/00 20060101AFI20160324BHJP

【ＦＩ】

   H04N17/00 Z

【請求項の数】9

【全頁数】27

(21)【出願番号】特願2011-172947(P2011-172947)

(22)【出願日】2011年8月8日

(65)【公開番号】特開2013-38588(P2013-38588A)

(43)【公開日】2013年2月21日

【審査請求日】2014年4月30日

(73)【特許権者】

【識別番号】509281519

【氏名又は名称】アイキューブド研究所株式会社

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(72)【発明者】

【氏名】近藤 哲二郎

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００８−２８７３２９（ＪＰ，Ａ）

【文献】 特開２００８−２８５５０（ＪＰ，Ａ）

【文献】 特開２００２−９２１２９（ＪＰ，Ａ）

【文献】 特開平５−１７６１７９（ＪＰ，Ａ）

【文献】 特開２００５−１２２２７６（ＪＰ，Ａ）

【文献】 特開２００５−１３６８１０（ＪＰ，Ａ）

【文献】 特開２００７−１９４８９３（ＪＰ，Ａ）

【文献】 特開２０１０−１６６６２（ＪＰ，Ａ）

【文献】 特表２０１２−５２０５８８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３１６１３１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １７／００

(57)【特許請求の範囲】

【請求項1】

コンテンツに対して施す処理に関する情報である処理情報を格納し得る処理情報格納部と、
入力コンテンツを受け付けるコンテンツ受付部と、
前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、
前記出力コンテンツの定性的な情報であり、前記出力コンテンツの時空間に分布する２つ以上の領域の比較結果を示す量である出力時空間アクティビティを表現した図である出力コンテンツ特徴図を取得する定性情報取得部と、
前記定性情報取得部が取得した出力コンテンツ特徴図を出力する出力部とを具備するコンテンツ処理装置。

【請求項2】

前記出力部は、
前記出力コンテンツ、前記入力コンテンツのうちの１以上のコンテンツをも出力する請求項１記載のコンテンツ処理装置。

【請求項3】

前記出力部が、少なくとも出力コンテンツ特徴図を出力した後、新しい処理情報を受け付ける処理情報受付部と、
前記処理情報受付部が受け付けた処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備する請求項１または請求項２記載のコンテンツ処理装置。

【請求項4】

前記出力部が出力した出力コンテンツ特徴図を含む情報の評価を受け付ける評価受付部と、
前記評価に応じて、新しい処理情報を構成する処理情報構成部と、
前記処理情報構成部が構成した処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備する請求項１または請求項２記載のコンテンツ処理装置。

【請求項5】

前記処理情報は、
第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、
前記処理部は、
前記入力コンテンツに対して、前記第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、
前記中間コンテンツまたは前記中間コンテンツから取得されたコンテンツに対して、前記第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、
前記出力部は、
前記中間コンテンツをも出力する請求項１から請求項４いずれか記載のコンテンツ処理装置。

【請求項6】

前記処理情報は、
第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、
前記処理部は、
前記入力コンテンツに対して、前記第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、
前記中間コンテンツまたは前記中間コンテンツから取得されたコンテンツに対して、前記第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、
前記定性情報取得部は、
前記中間コンテンツの定性的な情報である中間定性情報をも取得し、
前記出力部は、
前記中間定性情報をも出力する請求項１から請求項４いずれか記載のコンテンツ処理装置。

【請求項7】

前記入力コンテンツおよび前記出力コンテンツは、画像または音情報である請求項１から請求項６いずれか記載のコンテンツ処理装置。

【請求項8】

記憶媒体に、
コンテンツに対して施す処理に関する情報である処理情報を格納しており、
コンテンツ受付部、処理部、定性情報取得部、および出力部により実現されるコンテンツ処理方法であって、
前記コンテンツ受付部が、入力コンテンツを受け付けるコンテンツ受付ステップと、
前記処理部が、前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理ステップと、
前記定性情報取得部が、前記出力コンテンツの定性的な情報であり、前記出力コンテンツの時空間に分布する２つ以上の領域の比較結果を示す量である出力時空間アクティビティを表現した図である出力コンテンツ特徴図を取得する定性情報取得ステップと、
前記出力部が、前記定性情報取得ステップで取得された出力コンテンツ特徴図を出力する出力ステップを具備するコンテンツ処理方法。

【請求項9】

記憶媒体に、
コンテンツに対して施す処理に関する情報である処理情報を格納しており、
コンピュータを、
入力コンテンツを受け付けるコンテンツ受付部と、
前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、
前記出力コンテンツの定性的な情報であり、前記出力コンテンツの時空間に分布する２つ以上の領域の比較結果を示す量である出力時空間アクティビティを表現した図である出力コンテンツ特徴図を取得する定性情報取得部と、
前記定性情報取得部が取得した出力コンテンツ特徴図を出力する出力部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツを処理するコンテンツ処理装置等に関し、コンテンツの処理方法を手動または自動で更新するものである。また、その際に処理方法の更新を効率的に行えるような情報提示を行うものである。

【背景技術】

【0002】

従来、コンテンツの一例である画像に対する信号処理方式を開発するにあたって、入出力画像を視た評価結果や客観的な画質評価尺度を用いた評価結果を用いて、そこから開発者が新規の信号処理方式を発想していた。

【0003】

上記のような画質評価尺度の一例として、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する客観評価装置を用いた画質評価があった。かかる客観評価装置は、原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、原画像に対する評価画像のブロック歪度、シーケンス内のフレームを対象とするＰＳＮＲ大域時間変動度、およびフレーム毎のＰＳＮＲ局所時間変動度を特徴量として抽出する特徴量抽出部と、ブロック歪度、ＰＳＮＲ大域時間変動度、およびＰＳＮＲ局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、客観画質指標算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質の相関関係に、補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備したことを特徴とする映像品質の客観評価装置である（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−３５３５７号公報（第１頁、第１図等）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画像を視たり、客観的な画質評価尺度を利用したりしても、信号処理の改善すべき点を知ることは困難であり、信号処理方式の開発にあたっては開発者の経験やひらめき、試行錯誤に頼る部分が大きかった。

【課題を解決するための手段】

【0006】

本第一の発明のコンテンツ処理装置は、コンテンツに対して施す処理に関する情報である処理情報を格納し得る処理情報格納部と、入力コンテンツを受け付けるコンテンツ受付部と、入力コンテンツに対して、処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、出力コンテンツの定性的な情報である出力定性情報、入力コンテンツの定性的な情報である入力定性情報のうちの１以上の定性情報を取得する定性情報取得部と、定性情報取得部が取得した定性情報を出力する出力部とを具備するコンテンツ処理装置である。

【0007】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0008】

また、本第二の発明のコンテンツ処理装置は、第一の発明に対して、出力部は、出力コンテンツ、入力コンテンツのうちの１以上のコンテンツをも出力するコンテンツ処理装置である。

【0009】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、またその時に実際にどのようなコンテンツが入力され出力されているのかを同時に視ることで、信号処理方式の改善をより効率的に行うことができる。

【0010】

また、本第三の発明のコンテンツ処理装置は、第一または第二の発明に対して、出力部が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける処理情報受付部と、処理情報受付部が受け付けた処理情報を、処理情報格納部に上書きする処理情報更新部とをさらに具備するコンテンツ処理装置である。

【0011】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価した開発者が、それを参考にして入力コンテンツから出力コンテンツを生成する処理を更新することができる。

【0012】

また、本第四の発明のコンテンツ処理装置は、第一または第二の発明に対して、出力部が出力した出力定性情報を含む情報の評価を受け付ける評価受付部と、評価に応じて、新しい処理情報を構成する処理情報構成部と、処理情報構成部が構成した処理情報を、処理情報格納部に上書きする処理情報更新部とをさらに具備するコンテンツ処理装置である。

【0013】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価した結果を用いて、入力コンテンツから出力コンテンツを生成する処理を自動更新できる。

【0014】

また、本第五の発明のコンテンツ処理装置は、第一から第四いずれかの発明に対して、出力定性情報は、出力コンテンツの２以上の特徴量を図的に示した出力コンテンツ特徴図であるコンテンツ処理装置である。

【0015】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0016】

また、本第六の発明のコンテンツ処理装置は、第五の発明に対して、出力コンテンツ特徴図は、出力コンテンツの時間および空間のアクティビティである２以上の出力時空間アクティビティを表現した図であるコンテンツ処理装置である。

【0017】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0018】

また、本第七の発明のコンテンツ処理装置は、第一から第四いずれかの発明に対して、入力定性情報は、入力コンテンツの２以上の特徴量を図的に示した入力コンテンツ特徴図であるコンテンツ処理装置である。

【0019】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0020】

また、本第八の発明のコンテンツ処理装置は、第七の発明に対して、入力コンテンツ特徴図は、入力コンテンツの時間および空間のアクティビティである２以上の入力時空間アクティビティを表現した図であるコンテンツ処理装置である。

【0021】

かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0022】

また、本第九の発明のコンテンツ処理装置は、第一から第八いずれかの発明に対して、処理情報は、第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、処理部は、入力コンテンツに対して、第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、中間コンテンツまたは中間コンテンツから取得されたコンテンツに対して、第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、出力部は、中間コンテンツをも出力するコンテンツ処理装置である。

【0023】

かかる構成により、中間コンテンツの特性をも感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0024】

また、本第十の発明のコンテンツ処理装置は、第一から第八いずれかの発明に対して、処理情報は、第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、処理部は、入力コンテンツに対して、第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、中間コンテンツまたは前記中間コンテンツから取得されたコンテンツに対して、前記第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、定性情報取得部は、中間コンテンツの定性的な情報である中間定性情報をも取得し、出力部は、中間定性情報をも出力するコンテンツ処理装置である。

【0025】

かかる構成により、中間定性情報をも感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【0026】

また、本第十一の発明のコンテンツ処理装置は、第一から第十いずれかの発明に対して、入力コンテンツおよび出力コンテンツは、画像であるコンテンツ処理装置である。

【0027】

かかる構成により、入力画像や出力画像の特性を感覚的に評価し、画像処理方式の改善をより効率的に行うことができる。

【0028】

また、本第十二の発明のコンテンツ処理装置は、第一から第十いずれかの発明に対して、入力コンテンツおよび出力コンテンツは、音情報であるコンテンツ処理装置である。

【0029】

かかる構成により、入力音や出力音の特性を感覚的に評価し、音声処理方式の改善をより効率的に行うことができる。

【発明の効果】

【0030】

本発明によるコンテンツ処理装置によれば、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【図面の簡単な説明】

【0031】

【図1】実施の形態１におけるコンテンツ処理装置のブロック図

【図2】同時空間アクティビティの第一の例を示す図

【図3】同時空間アクティビティの第二の例を示す図

【図4】同時空間アクティビティの第三の例を示す図

【図5】同時空間アクティビティの第四の例を示す図

【図6】同時空間アクティビティの第五の例を示す図

【図7】同時空間アクティビティの第六の例を示す図

【図8】同時空間アクティビティの第七の例を示す図

【図9】同時空間アクティビティの第八の例を示す図

【図10】同時空間アクティビティの第九の例を示す図

【図11】同時空間アクティビティの第十の例を示す図

【図12】同時空間アクティビティの第十一の例を示す図

【図13】同時空間アクティビティの第十二の例を示す図

【図14】同コンテンツ特徴図の例を示す図

【図15】同コンテンツ特徴図の例を示す図

【図16】同コンテンツ特徴図の例を示す図

【図17】同定性情報取得部の処理の例を説明する図

【図18】同定性情報取得部の処理の例を説明する図

【図19】同定性情報取得部の処理の例を説明する図

【図20】同定性情報取得部の処理の例を説明する図

【図21】同コンテンツ特徴図の例を示す図

【図22】同コンテンツ特徴図の例を示す図

【図23】同コンテンツ特徴図の例を示す図

【図24】同コンテンツ特徴図の例を示す図

【図25】同コンテンツ特徴図の例を示す図

【図26】同コンテンツ処理装置の出力例を示す図

【図27】同コンテンツ処理装置の動作について説明するフローチャート

【図28】同コンテンツ受付部が受け付ける映像の例を示す図

【図29】同出力コンテンツの例を示す図

【図30】同コンテンツ処理装置の出力例を示す図

【図31】同コンテンツ特徴図の例を示す図

【図32】同コンテンツ特徴図の例を示す図

【図33】同コンピュータシステムの概観図

【図34】同コンピュータシステムのブロック図

【発明を実施するための形態】

【0032】

以下、コンテンツ処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

【0033】

（実施の形態１）
本実施の形態において、入力コンテンツに対して処理を施し、出力コンテンツを取得し、当該出力コンテンツの定性的な情報である出力定性情報、入力コンテンツの入力定性情報のうちの１以上を取得し、取得した出力定性情報または入力定性情報を出力するコンテンツ処理装置について説明する。

【0034】

また、本実施の形態において、入力コンテンツや出力コンテンツも出力するコンテンツ処理装置について説明する。

【0035】

また、本実施の形態において、処理を異なる処理に置き換えるための情報を受け付けるコンテンツ処理装置について説明する。

【0036】

また、本実施の形態において、ユーザ評価を受け付け、評価に応じて、出力定性情報、または出力定性情報と入力定性情報から、自動的に処理を異なる処理に置き換えるコンテンツ処理装置について説明する。

【0037】

図１は、本実施の形態におけるコンテンツ処理装置１のブロック図である。コンテンツ処理装置１は、処理情報格納部１１、コンテンツ受付部１２、評価受付部１３、処理情報受付部１４、処理部１５、定性情報取得部１６、出力部１７、処理情報構成部１８、処理情報更新部１９を備える。

【0038】

処理情報格納部１１は、コンテンツに対して施す処理に関する情報である処理情報を格納し得る。処理情報は、プログラムでもデータ等でも良く、例えば、ルックアップテーブルや、ノイズを除去するプログラムや、解像度創造を行うプログラム（特許第２８２５４８２号公報、特許第３０７２３０６号公報等に記載している技術に関するプログラム）、フレームレート変換を行うプログラム、諧調改善を行うプログラム等である。なお、ルックアップテーブルとは、１または２以上の対応情報を有する。対応情報は、１以上の第一の情報（入力画像や入力された音情報など）の全部または一部分と、１以上の第二の情報（出力画像や出力される音情報など）の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、情報（画像や音情報など）を変換する演算式や、情報を変換する演算式に与える１以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式などでも良い。また、処理情報は、解像度創造を行うためのタップ選択方式を示す情報、クラス選択方式を示す情報、マッピング係数などであっても良い。また、処理情報は、フレームレート変換を行うための時間補間フィルタ係数、動き検出パラメータなどであっても良い。また、処理情報は、ノイズ除去を行うためのノイズ検出パラメータ、フィルタ係数などであっても良い。また、処理情報は、諧調改善を行うための諧調検出パラメータ、諧調創造フィルタ係数などであっても良い。

【0039】

また、処理情報は、音声のノイズ除去を行うプログラムや、各種の係数などでも良い。また、処理情報は、音声の高周波領域創造を行うプログラムや各種の係数、再生速度変換（速聞き）を行うプログラムや各種の係数、音場再現を行うプログラムや各種の係数などでも良い。

【0040】

また、処理情報は、第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを有しても良い。また、処理情報は、３以上の処理を行うための情報を有しても良い。

【0041】

また、ルックアップテーブルに対応情報が２以上含まれる場合、対応情報は、情報の特徴量の集合である特徴量ベクトルに対応付けられていることは好適である。

【0042】

また、対応情報は、１以上の受信された第一の情報の全部または一部分と、第一の情報より脳負荷が調整された情報であり、第一の情報と同一の対象についての情報である第二の情報の全部または一部分との対応を取るための情報であることは好適である。

【0043】

脳負荷が調整された情報とは、例えば、視聴する場合に、脳の負荷をより低減できる画像である。脳の負荷をより低減できる画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの１以上の属性を、より感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。また、脳の負荷を低減できる画像とは、脳に好適に感じられる画像と言い換えても良い。

【0044】

また、脳負荷が調整された情報とは、例えば、１以上の第一の情報と異なる環境で取得され得る１以上の情報である。つまり、かかる場合、例えば、１以上の第一の情報と、１以上の第二の情報は、情報を取得する環境が異なる。異なる環境とは、例えば、都市部と郊外（田舎と言っても良い。）である。かかる場合、第一の情報は、雑音の多い都市部の路上で一の曲を演奏した音楽であり、第二の情報は、雑音がほとんどなく、例えば、鳥のさえずりが聞こえるような環境、または１／ｆのゆらぎの風が吹いているような環境で、前記一の曲を演奏した音楽である。

【0045】

また、脳負荷が調整された情報とは、例えば、１以上の第一の画像と異なる他の環境で撮影され得る１以上の画像である。なお、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。他環境とは、例えば、以下の（１）から（９）のような環境である。（１）一の環境より照明（光源）の光量が多い環境、（２）一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、（３）一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、（４）一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、（５）一の環境と照明の色が異なる環境、（６）一の環境と異なる天候の環境、（７）一の環境と異なる温度や湿度の環境、（８）一の環境と異なる被写界深度の環境、（９）一の環境と異なるシャッター速度の環境などである。つまり、かかる場合、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。

【0046】

処理情報格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。処理情報格納部１１に処理情報が記憶される過程は問わない。例えば、記録媒体を介して処理情報が処理情報格納部１１で記憶されるようになってもよく、通信回線等を介して送信された処理情報が処理情報格納部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された処理情報が処理情報格納部１１で記憶されるようになってもよい。

【0047】

コンテンツ受付部１２は、入力コンテンツを受け付ける。入力コンテンツは、入力されるコンテンツである。コンテンツは、画像、音情報など、その種類は問わない。コンテンツは、画像と音情報の組み合わせ等、２種類以上のコンテンツの組み合わせでも良い。ここで、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信、放送手段からの受信であるが、入力デバイスからの入力、光ディスクや磁気ディスク、半導体メモリなどの記録媒体からの読み出し等を含む概念である。入力手段は、通信手段、放送受信手段で実現され得る。

【0048】

評価受付部１３は、後述する出力部１７が出力した出力定性情報を含む情報の評価を受け付ける。出力定性情報を含む情報には、通常、入力コンテンツと出力コンテンツとが含まれる。また、出力定性情報を含む情報は、入力定性情報を含んでも良い。ここで、出力定性情報とは、例えば、出力コンテンツの２以上の特徴量を図的に示した出力コンテンツ特徴図である。出力コンテンツ特徴図は、出力コンテンツの特徴を示す画像であるので出力特徴画像と言っても良い。また、出力定性情報は、例えば、２以上の時空間アクティビティの集合である。時空間アクティビティとは、通常、時間的に異なる２以上の画像（フレーム）や２以上の音声のフレームの、空間的に異なる領域の変化（相違）に関する情報である。なお、空間的に異なる領域は、オーバーラップしていても良い。

【0049】

また、時空間アクティビティの元の情報が画像である場合、時空間アクティビティとは、時空間に分布する、２つ以上の領域（画像で言えば、一画素でも、２画素以上でも良い）の間の変化をあらわす量である、と言える。また、時空間アクティビティとは、２以上の領域（一画素でも、２画素以上でも良い）の比較結果を示す量である、と言える。

【0050】

なお、画像データは、時間・空間の空間に各画素の情報（輝度、色など）が分布している多次元情報を捉えることができる。そして、時空間アクティビティの元の情報が画像である場合、時空間アクティビティとは、その画像の、任意の時空間領域に存在する２つ以上の領域間の画素情報の変化の度合いを表す特徴である。時空間アクティビティそのものも時空間の広がりを持つ多次元の情報である。

【0051】

ここで、時空間アクティビティにおいて、変化を算出する２以上の領域の時空間内における位置関係は問わない。また、時空間アクティビティには、空間的に同じで、時間的に違なる領域の間の変化をあらわす量（これを、厳密には、時間アクティビティという）も含むと考えても良い。また、時空間アクティビティには、時間的に同じ（同じフレーム）で、空間的に違なる領域の間の変化をあらわす量（これを、厳密には、空間アクティビティという）も含むと考えても良い。また、変化を算出する２以上の各領域の形状は異なっていても良い。例えば、変化を算出する２つの領域の一領域が１画素で他領域が複数画素である場合や、変化を算出する２つの領域の一領域は一点であり、他領域は時空間の全画素でも良い。また、変化を算出する２つの領域である領域Ａと領域Ｂにおいて、領域Ａは領域Ｂと相似形で大きさが異なる領域でも良い。また、アクティビティを算出する対象の領域は３以上でも良い。また、時空間アクティビティは、同一画像中で同時に複数の領域セットに対して、算出され得る。そのような複数の時空間アクティビティの集合も、時空間アクティビティと言っても良い。また、算出した異なる領域を対象とした時空間アクティビティを合算して、より広い領域間の時空間アクティビティが取得され得る。そして、かかる場合、合算前の時空間アクティビティと合算後の時空間アクティビティとの集合を同時に利用できる。かかる時空間アクティビティの集合の利用が、階層的な時空間アクティビティの利用である。また、つまり、例えば、３領域間で時空間アクティビティを算出する場合に、（領域Ａと領域Ｂの差）と（領域Ｂと領域Ｃの差）の差で、変化度合いの変化を表す量を用いても良い。また、領域間の比較の際に、時空間アクティビティを取得する元の情報（例えば、画素情報）を加工してもしなくてもよい。また、例えば、時空間アクティビティは、領域Ａの全画素と領域Ｂの全画素の比較でも、領域Ａの代表画素と領域Ｂの全画素の比較結果の値でも、領域Ａの画素平均値と領域Ｂの全画素の比較結果の値でも良い。また、時空間アクティビティは、中間的に得られたアクティビティを集計し、より広範囲かつ安定するような情報でも良い。また、上記の変化とは、例えば、画素単純差、画素差分絶対値、画素差分二乗など、領域間の差異に関するものであれば何でも良い。また、同時に複数の領域のセット（２個の領域の対、３個以上の領域のセット）間で差分を算出して、その集合を時空間アクティビティとしても良い。かかる場合、領域同士は互いに重なりあっていても良い。

【0052】

なお、画像等の情報の定性特徴として時空間アクティビティを利用する場合、時空間アクティビティが図形的に表現するのに足る情報量を有していることが好適である。そのためには、個別の領域間で時空間アクティビティを算出する際に、たとえば、画素と画素群の差分の分布の情報を保持したり、複数の領域の組に対して同時に時空間アクティビティを算出し、その情報の集合を利用するなどの方法が好適である。そのようにして得られた定性特徴（時空間アクティビティ）は、後述する３次元線グラフの集合や、差分を濃淡表示するなどして、図的に表示することが可能になる。そして、ユーザが、図的な表示を見ることにより、信号処理方式を評価することが可能になる。

【0053】

時空間アクティビティの第一の例を、図２に示す。図２において、ａフレームとｂフレームとは、時間的に異なるフレームである。そして、図２において、２１や２２に示す２つの画素の特徴量の差異が時空間アクティビティの一例である。なお、２つのフレームの対応する画素の位置は予め決められていてもよいし、たとえば評価者（ユーザ）が適宜設定できるようになっていてもよい。また、上述したように、時空間アクティビティは、空間アクティビティや時間アクティビティを含むと考えても良い。図２において、空間アクティビティの例は、２３および２４である。また、画素の特徴量とは、例えば、画素値や、輝度等である。さらに、差異とは、単純差、差分絶対値、差分二乗など、差に関する情報であれば良い。このような２画素間の差異を２組以上の画素で求めることで得られる情報も時空間アクティビティと言える。多くの画素間の関係を同時に評価することは、定性評価の方法として好適である。

【0054】

また、時空間アクティビティの第二の例を、図３に示す。図３において、ａフレームとｂフレームとは、時間的に異なるフレームである。そして、図３において、３１や３２に示す２つの領域内の複数の画素の代表画素値の差異が時空間アクティビティの一例である。代表画素値とは、複数の画素の画素値を代表する値であり、例えば、複数の画素の画素値の平均値や中央値などである。それぞれの領域で使用する代表画素値の種類は互いに異なっていてもよい。なお、対応する２つの領域は、フレーム内の異なる領域でも良いし、フレーム内での位置が同一の領域でも良い。また、対応する２つの領域は、予め決められていてもよいし、たとえば評価者（ユーザ）が適宜設定できるようになっていてもよい。また、一のフレームにおける２以上の領域は、重なっても良い。また、領域形状は自由である。また、対応する２つの領域の形状は同じである必要はない。このような２領域間のそれぞれの代表画素値の差異を２組以上の領域で求めることで得られる情報も時空間アクティビティと言える。多くの領域間の関係を同時に評価することは、定性評価の方法として好適である。

【0055】

また、時空間アクティビティの第三の例を、図４に示す。図４において、ａフレームとｂフレームとは、時間的に異なるフレームである。そして、図４において、４１に示すように、各フレームにおける特定の一の領域内の複数の画素群間の差異が時空間アクティビティであっても良い。画素群間の差異とは、たとえば、それぞれの領域の画素それぞれの特徴量を順番にならべて得られるベクトルの差である。画素の特徴量としては、画素値や、輝度、色情報などがある。ベクトルの差とは、例えば、ベクトル各要素の単純差や差分二乗などである。このようにして得られた画素群間の差異もまたベクトル情報であり、定性評価に使用するにあたって好適である。なお、対応する２つの領域は、予め決められていてもよいし、たとえば評価者（ユーザ）が適宜設定できるようになっていてもよい。

【0056】

また、時空間アクティビティの第四の例を、図５に示す。図５において、ａフレームとｂフレームとは、時間的に異なるフレームである。そして、図５において、５１に示すように、ａフレームの画素と、ｂフレームの特定の領域を構成する各画素との差分の分布が時空間アクティビティである。このようにしてえら得る時空間アクティビティは、空間的な広がりを持つ多次元情報であり、定性評価に使用するにあたって好適である。なお、対応するａフレームの画素と、ｂフレームの画素群とは、予め決められていてもよいし、たとえば評価者（ユーザ）が適宜設定できるようになっていてもよい。

【0057】

また、時空間アクティビティの第五の例を、図６に示す。図６において、ａフレームとｂフレームとは、時間的に異なるフレームである。そして、図６において、６１、６２、６３に示すように、ａフレームの特定の領域に含まれる複数の画素と、ｂフレームの特定の領域に含まれる、複数の部分領域を構成する各画素との差分の分布が時空間アクティビティである。つまり、上記の第四の例の差分算出をａフレームの特定の領域に含まれる複数の画素に対して行った結果が、第五の例の時空間アクティビティの例である。この例も、フレームaの特定領域と、ｂフレームの特定領域の時空間アクティビティの一例と言える。なお、対応するａフレームの画素と、ｂフレームの画素群とは、予め決められていてもよいし、たとえば評価者（ユーザ）が適宜設定できるようになっていてもよい。

【0058】

また、時空間アクティビティの第六の例を、図７に示す。図７において、ａフレームとｂフレームとは、時間的に異なるフレームである。そして、図７において、時空間アクティビティは、フレームａの特定の領域に含まれる複数（ここでは３つ）の画素に対して、フレームｂの特定の領域に含まれる複数の部分領域を構成する各画素との間で求められた、差分分布（３つの差分分布）を合算した結果７２である。なお、対応するａフレームの画素と、ｂフレームの画素群とは、予め決められていてもよいし、たとえば評価者（ユーザ）が適宜設定できるようになっていてもよい。

【0059】

なお、図２から図７におけるａフレームとｂフレームとは、時間的に連続する異なるフレームであることが好適であるが、異なるフレームであれば良く、時間的に連続していることは必須ではない。

【0060】

また、以下、図８から図１３を用いて、時空間アクティビティについて、さらに説明する。なお、図８から図１３において、時空間アクティビティを取得する対象の情報は、２以上のフレームを具備し、水平方向・垂直方向の空間の軸、およびフレーム方向の時間の軸の２つの軸を有する。

【0061】

時空間アクティビティの第七の例を、図８に示す。図８において、時空間アクティビティは、それぞれ時空間に分布する、２つ以上の領域の間（例えば、領域Ａと領域Ｂ）の特徴量の変化をあらわす量である。

【0062】

また、時空間アクティビティの第八の例を、図９に示す。図９において、時空間アクティビティを算出する対象の２以上の各領域の形状は異なっている。また、図９において、９１は時空間アクティビティであり、９２は空間アクティビティである。

【0063】

また、時空間アクティビティの第九の例を、図１０に示す。図１０において、時空間アクティビティは、３つの領域に関するアクティビティであり、２つの領域（１０１と１０２の領域）の差の情報である第一の差情報と、２つの領域（１０２と１０３の領域）の差の情報である第二の差情報との差である。

【0064】

また、時空間アクティビティの第十の例を、図１１に示す。図１１において、１１１は、同一の空間で異なる時間の２つの領域の変化を示す量である時間アクティビティの例である。また、１１２および１１３は、同一の時間で異なる空間の２つの領域の変化を示す空間アクティビティの例である。

【0065】

また、時空間アクティビティの第十一の例を、図１２に示す。図１２において、時空間アクティビティは、複数の領域の変化（差）に関する情報の集合である。つまり、定性情報取得部１６は、１２１、１２２、および１２３の３つの領域セットの差を同時に算出し、当該３つの差の集合を時空間アクティビティとしてもよい。また、定性情報取得部１６は、１２４、および１２５の２つの領域セットの差を同時に算出し、当該２つの差の集合を時空間アクティビティとしてもよい。

【0066】

また、時空間アクティビティの第十二の例を、図１３に示す。図１３において、時空間アクティビティは、複数の領域の変化（差）を合算した値である。つまり、定性情報取得部１６は、１３１、１３２、１３３、１３４、および１３５の５つの領域セットの差を同時に算出し、当該５つの差を合算した差情報を時空間アクティビティとしてもよい。

【0067】

また、コンテンツ特徴図（入力コンテンツ特徴図または出力コンテンツ特徴図の総称）は、上述したように、コンテンツの２以上の特徴量を図的に示したものであり、例えば、図１４に示す画像である。時空間アクティビティは時空の広がりを持つ変化の様子を表す情報であるから、たとえば、図１４のように、２次元空間をｘ、ｙの軸で、それぞれの位置に対する差分をz軸にプロットした３次元グラフで表現することができる。また、コンテンツ特徴図は、図１５のように等高線で表示した図でも、図１６のようにｚ軸値を色や濃淡で表示した図でも良い。

【0068】

また、評価とは、「良い（例えば、「１」）」または「悪い（例えば、「０」）」の２者択一であっても良いし、３段階以上の評価値であっても良いし、２以上の特性（例えば、見やすさ、雰囲気、好感度などの定性的な評価軸が好適である。）の評価値（２段階でも３段階以上でも良い）でも良い。

【0069】

評価の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。評価受付部１３は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

【0070】

処理情報受付部１４は、出力部１７が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける。通常、ユーザ（開発者等）が、新しい処理情報を入力する。なお、処理情報の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。処理情報受付部１４は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。また、ユーザ（開発者等）による処理情報の入力が、揮発性メモリの差し替えや、磁気媒体、光学媒体などの読み込みによって行われても良い。その場合、処理情報受付部１４は、そのような記録媒体やメモリの読み込み装置やデバイスドライバーである。また、ユーザ（開発者等）による処理情報の入力が、通信によって行われても良い。その場合、処理情報受付部１４は、ネットワーク装置や通信装置である。

【0071】

処理部１５は、入力コンテンツに対して、処理情報が示す処理を実行し、出力コンテンツを取得する。処理部１５が行う処理は、処理情報に依存する。処理部１５が行う処理は、例えば、ノイズ除去や、解像度創造等である。処理部１５は、入力コンテンツに対して、第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段（図示しない）と、中間コンテンツまたは中間コンテンツから取得されたコンテンツに対して、第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段（図示しない）とを具備しても良い。

【0072】

処理部１５は、通常、ＭＰＵやメモリ等から実現され得る。処理部１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

【0073】

定性情報取得部１６は、出力コンテンツの定性的な情報である出力定性情報、入力コンテンツの定性的な情報である入力定性情報のうちの１以上の定性情報を取得する。ここで、入力定性情報は、例えば、入力コンテンツの２以上の特徴量を図的に示した入力コンテンツ特徴図である。入力コンテンツ特徴図は、入力コンテンツの特徴を示す画像であるので入力特徴画像と言っても良い。また、定性情報取得部１６は、中間コンテンツの定性的な情報である中間定性情報をも取得しても良い。

【0074】

定性情報取得部１６は、例えば、図１７に示すように、複数フレーム（例えば、ａフレームとｂフレーム）から、同一の形状の長方形の領域対を取得する。なお、ａフレームとｂフレームとは、時間的に同一のフレームでも、異なるフレームでも良い。そして、ここで、差分算出の対象は、ａフレームとbフレームの空間的に同じ位置に位置する２つの領域である、とする。以下、適宜、差分算出の対象の箇所を領域と言う。

【0075】

また、定性情報取得部１６は、例えば、図１８に示すように、ａフレームの各領域に対しては領域の中央の画素情報を、ｂフレームの各領域に対しては領域の全画素を対象として、画素差絶対値を算出しても良い。なお、得られた画素差絶対値は、領域の形状と同じ、長方形の情報になる。

【0076】

次に、定性情報取得部１６は、図１９に示すように、画面をたとえば縦横４分割して、１６の部分画面にわける。そして、図２０に示すように、定性情報取得部１６は、１６の部分画面のそれぞれに含まれる各領域の差分情報の積算を行う。一般的に、部分画面の大きさは領域に比べて大きく、部分画面には多数の領域が含まれるため、この計算によって、部分画面ごとの差分情報は、多数の領域間の差分算出結果の合算となる。以上により得られた情報を部分画面ごとに図示することで、図的な情報が得られる。一例として、図２１に示すような３次元グラフで構成される図的な情報が得られる。

【0077】

また、定性情報取得部１６は、例えば、図２１における１６の部分画面の差分情報を合算し、一の３次元グラフからなる出力コンテンツ特徴図を構成しても良い（図２２参照）。かかることにより、図２１を用いて説明したより、より広い空間領域の特徴を表すコンテンツ特徴図を得ることができる。この場合、全部分画面の合算により得られるのは全画面のコンテンツ特徴図と言える。また、図２３に示すように、画面を４分割した４つの部分画面に含まれる差分情報を合算し、４つの３次元グラフからなるコンテンツ特徴図を構成することもできる。この場合、４領域の合算によってえられるのは画面の４分の一の部分画面の特徴を表すコンテンツ特徴図と言える。

【0078】

なお、コンテンツ特徴図のグラフの形態は、上述した３次元グラフでなくても良い。コンテンツ特徴図は、例えば、図２４に示すような等高線で提示された特徴画像でも良いし、図２５に示すような濃淡で提示された特徴画像でも良い。また、図２６に示すように、コンテンツ特徴図をコンテンツに重畳して表示しても良い。

【0079】

定性情報取得部１６は、通常、ＭＰＵやメモリ等から実現され得る。定性情報取得部１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

【0080】

出力部１７は、定性情報取得部１６が取得した定性情報を出力する。また、出力部１７は、出力コンテンツ、入力コンテンツのうちの１以上のコンテンツをも出力することは好適である。また、出力部１７は、図２６に示すように、入力コンテンツまたは出力コンテンツと一緒に、入力コンテンツ特徴図または出力コンテンツ特徴図を出力しても良い。ここでは、コンテンツの上に、半透明にしたコンテンツ特徴図が出力されている。
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置（主として、表示装置）への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

【0081】

また、出力部１７は、中間コンテンツや、中間定性情報をも出力しても良い。

【0082】

出力部１７は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部１７は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

【0083】

処理情報構成部１８は、評価に応じて、新しい処理情報を構成する。処理情報構成部１８は、評価が「悪い（例えば「０」）」であった場合に、当該入力コンテンツから当該出力コンテンツを生成した処理情報（ここでは、ルックアップテーブル）が有する対応情報を、新しい対応情報（例えば、評価が「良い（例えば「１」）」）であった場合に対応する対応情報に置き換える。具体的には、たとえば、処理情報構成部１８は、過去の評価とそれに応じて選択された処理情報の履歴を蓄積し、評価が「悪い」であった場合に、過去に利用したことがない対応情報をランダムに適応することができる。これによって評価が「良い」になるまで、総当たり的に対応情報を試すことができる。また、処理情報が１以上の変数を含む演算式の場合、具体的には、たとえば、処理情報構成部１８は、評価が「良い」になるまで、演算式の１以上の各変数に与えるパラメータを、乱数を発生させることにより生成して演算式に与え、新しい演算式を構成する。

【0084】

処理情報構成部１８は、通常、ＭＰＵやメモリ等から実現され得る。処理情報構成部１８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

【0085】

処理情報更新部１９は、処理情報受付部１４が受け付けた処理情報を、処理情報格納部１１に上書きする。また、処理情報更新部１９は、処理情報構成部１８が構成した処理情報を、処理情報格納部１１に上書きしても良い。つまり、処理情報格納部１１の処理情報は、手動により更新されても良いし、自動的に更新されても良い。

【0086】

処理情報更新部１９は、通常、ＭＰＵやメモリ等から実現され得る。処理情報更新部１９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

【0087】

次に、コンテンツ処理装置１の動作について、図２７のフローチャートを用いて説明する。

【0088】

（ステップＳ２７０１）コンテンツ受付部１２は、入力コンテンツを受け付けたか否かを判断する。入力コンテンツを受け付ければステップＳ２７０２に行き、入力コンテンツを受け付けなければステップＳ２７０１に戻る。

【0089】

（ステップＳ２７０２）処理部１５は、入力コンテンツに対して、処理情報格納部１１の処理情報を適用し、出力コンテンツを生成する。

【0090】

（ステップＳ２７０３）定性情報取得部１６は、ステップＳ２７０２で生成された出力コンテンツの出力定性情報を取得する。

【0091】

（ステップＳ２７０４）定性情報取得部１６は、ステップＳ２７０１で受け付けられた入力コンテンツの入力定性情報を取得する。

【0092】

（ステップＳ２７０５）出力部１７は、ステップＳ２７０１で受け付けられた入力コンテンツ、およびステップＳ２７０２で生成された出力コンテンツを出力する。

【0093】

（ステップＳ２７０６）出力部１７は、ステップＳ２７０４で取得された入力定性情報、よびステップＳ２７０３で取得された出力定性情報を出力する。

【0094】

（ステップＳ２７０７）評価受付部１３は、出力部１７が出力した出力定性情報を含む情報の評価を受け付けたか否かを判断する。評価を受け付ければステップＳ２７０８に行き、評価を受け付けなければステップＳ２７０７に戻る。

【0095】

（ステップＳ２７０８）処理情報構成部１８は、ステップＳ２７０７で受け付けられた評価が否定的な評価であるか否かを判断する。否定的な評価であればステップＳ２７０９に行き、肯定的な評価であればステップＳ２７０１に戻る。

【0096】

（ステップＳ２７０９）処理情報構成部１８は、新しい処理情報を構成する。

【0097】

（ステップＳ２７１０）処理情報更新部１９は、ステップＳ２７０９で構成された処理情報を、処理情報格納部１１に上書きする。ステップＳ２７０１に戻る。

【0098】

なお、図２７のフローチャートにおいて、手動により処理情報を更新する場合、ステップＳ２７０７からステップＳ２７１０は不要である。かかる場合、例えば、出力定性情報等が出力された後、ユーザ指示によりステップＳ２７０１に戻る。

【0099】

また、図２７のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0100】

以下、本実施の形態におけるコンテンツ処理装置１の具体的な動作について説明する。今、定性情報は時空間アクティビティであり、出力される時空間アクティビティの態様は上述した３次元グラフである、とする。

【0101】

また、処理情報格納部１１には、２以上の対応情報が格納されているルックアップテーブルが格納されている、とする。また、各対応情報は、特徴量ベクトルと対応付けられている、とする。

【0102】

かかる状況において、コンテンツ処理装置１は、外部から映像を受け付けた、とする。つまり、コンテンツ処理装置１のコンテンツ受付部１２は、図２８に示すような映像を受け付ける。

【0103】

次に、処理部１５は、入力コンテンツから１以上の特徴量を取得し、当該１以上の特徴量と、距離が最も近い特徴量ベクトルに対応する対応情報を取得する。そして、処理部１５は、入力コンテンツに対して、取得した対応情報を適用し、ぼやけを改善した出力コンテンツ（図２９参照）を生成した、とする。

【0104】

次に、定性情報取得部１６は、入力コンテンツの、予め決められた時空間アクティビティを取得し、当該時空間アクティビティから３次元グラフである入力コンテンツ特徴図を構成する。

【0105】

また、定性情報取得部１６は、出力コンテンツの、予め決められた時空間アクティビティを取得し、当該時空間アクティビティから３次元グラフである出力コンテンツ特徴図を構成する。

【0106】

そして、出力部１７は、定性情報取得部１６が取得した入力コンテンツ特徴図と、出力コンテンツ特徴図とを出力する。また、出力部１７は、出力コンテンツと入力コンテンツも出力する。かかる出力例が図３０である。図３０において、入力コンテンツ特徴図３００１、出力コンテンツ特徴図３００２、入力コンテンツ３００３，および出力コンテンツ３００４が同時に表示されている。

【0107】

そして、ユーザ（開発者）は、図３０の出力を視て、処理情報の良し悪しを判断する。そして、処理情報が良くないと判断した場合、ユーザは、新しい処理情報（ここでは、特徴量ベクトルと対応付けられている対応情報）を開発し、コンテンツ処理装置１に入力する。そして、コンテンツ処理装置１の処理情報受付部１４は、処理情報を受け付け、処理情報更新部１９は当該処理情報を処理情報格納部１１に上書きする。

【0108】

なお、入力コンテンツ特徴図または出力コンテンツ特徴図が、図３１に示すような形状である場合、開発者は、入力コンテンツまたは出力コンテンツが、ノイズが極めて多い画像であると判断し、ノイズ除去するプログラムからなる処理情報を、処理情報格納部１１に上書きする。

【0109】

また、入力コンテンツ特徴図または出力コンテンツ特徴図が、図３２に示すような形状である場合、開発者は、入力コンテンツまたは出力コンテンツが、ディテールがある自然画であると判断し、自然画の解像度を最適に出力できる処理を行うプログラムからなる処理情報を、処理情報格納部１１に上書きする。

【0110】

以上、本実施の形態によれば、入力コンテンツや出力コンテンツの特性を感覚的に評価することで、信号処理開発者は信号処理の改善のヒントを得ることができ、信号処理の開発をより効率的に行うことができる。

【0111】

また、本実施の形態によれば、ユーザ（開発者）が入力コンテンツや出力コンテンツの特性を感覚的に評価した結果を反映して、入力コンテンツから出力コンテンツを生成する処理を自動更新できる。

【0112】

なお、本実施の形態において、ユーザ（開発者）は画像評価にあたって、時空間アクティビティの算出方法を調整できることは好適である。具体的には、時空間アクティビティを取得する対象領域の形状や位置関係を調整したり、差の算出の方法を調整したりすることができることは好適である。また、図表示に関して、ユーザにとってわかりやすい表示形態（３次元グラフ画像、等高線、濃淡図等）をさまざまに選択可能であることは好適である。

【0113】

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるコンテンツ処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、コンテンツに対して施す処理に関する情報である処理情報を格納しており、コンピュータを、入力コンテンツを受け付けるコンテンツ受付部と、前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、前記出力コンテンツの定性的な情報である出力定性情報、前記入力コンテンツの定性的な情報である入力定性情報のうちの１以上の定性情報を取得する定性情報取得部と、前記定性情報取得部が取得した定性情報を出力する出力部として機能させるためのプログラム、である。

【0114】

また、上記プログラムにおいて、前記出力部は、前記出力コンテンツ、前記入力コンテンツのうちの１以上のコンテンツをも出力するものとしてコンピュータを機能させることは好適である。

【0115】

また、上記プログラムにおいて、前記出力部が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける処理情報受付部と、前記処理情報受付部が受け付けた処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備するものとしてコンピュータを機能させることは好適である。

【0116】

また、上記プログラムにおいて、前記出力部が出力した出力定性情報を含む情報の評価を受け付ける評価受付部と、前記評価に応じて、新しい処理情報を構成する処理情報構成部と、前記処理情報構成部が構成した処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備するものとしてコンピュータを機能させることは好適である。

【0117】

また、上記プログラムにおいて、前記出力定性情報は、前記出力コンテンツの２以上の特徴量を図的に示した出力コンテンツ特徴図であるものとしてコンピュータを機能させることは好適である。

【0118】

また、上記プログラムにおいて、前記出力コンテンツ特徴図は、前記出力コンテンツの時間および空間のアクティビティである２以上の出力時空間アクティビティを表現した図であるものとしてコンピュータを機能させることは好適である。

【0119】

また、上記プログラムにおいて、前記入力定性情報は、前記入力コンテンツの２以上の特徴量を図的に示した入力コンテンツ特徴図であるものとしてコンピュータを機能させることは好適である。

【0120】

また、上記プログラムにおいて、前記入力コンテンツ特徴図は、前記入力コンテンツの時間および空間のアクティビティである２以上の入力時空間アクティビティを表現した図であるものとしてコンピュータを機能させることは好適である。

【0121】

また、図２８は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のコンテンツ処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図２８は、このコンピュータシステム３４０の概観図であり、図２９は、システム３４０のブロック図である。

【0122】

図２８において、コンピュータシステム３４０は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４と、マイク３４５と、スピーカー３４６とを含む。

【0123】

図２９において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３４１３と、ＣＰＵ３４１３、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３４１５と、ＣＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

【0124】

コンピュータシステム３４０に、上述した実施の形態のコンテンツ処理装置の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。

【0125】

プログラムは、コンピュータ３４１に、上述した実施の形態のコンテンツ処理装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。

【0126】

なお、上記プログラムにおいて、ハードウェアによって行われる処理は含まれないことは言うまでもない。

【0127】

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

【0128】

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

【0129】

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

【産業上の利用可能性】

【0130】

以上のように、本発明にかかるコンテンツ処理装置は、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる、という効果を有し、画像処理装置等として有用である。

【符号の説明】

【0131】

１ コンテンツ処理装置
１１ 処理情報格納部
１２ コンテンツ受付部
１３ 評価受付部
１４ 処理情報受付部
１５ 処理部
１６ 定性情報取得部
１７ 出力部
１８ 処理情報構成部
１９ 処理情報更新部

【図1】

【図27】

【図33】

【図34】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図28】

【図29】

【図30】

【図31】

【図32】