特許 7553676 評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する方法、プログラム、情報処理装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する方法、プログラム、情報処理装置及びシステム

(51)【国際特許分類】

   G01H 3/00 20060101AFI20240910BHJP

【ＦＩ】

G01H3/00 A

【請求項の数】 19

(21)【出願番号】P 2023167856

(22)【出願日】2023-09-28

【審査請求日】2024-06-21

【早期審査対象出願】

(73)【特許権者】

【識別番号】000145806

【氏名又は名称】株式会社小野測器

(74)【代理人】

【識別番号】100108006

【弁理士】

【氏名又は名称】松下 昌弘

(72)【発明者】

【氏名】鈴木 宏知

【審査官】中村 圭伸

(56)【参考文献】

【文献】特許第７３２９６４０（ＪＰ，Ｂ１）

【文献】特許第６６６７６０７（ＪＰ，Ｂ１）

【文献】特許第６１８２２７９（ＪＰ，Ｂ２）

【文献】特許第６４３４４７０（ＪＰ，Ｂ２）

【文献】米国特許出願公開第２０２０／０３９４２１３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｈ １／００ － １７／００

Ｇ０１Ｌ ２５／００ － ２５／９３

Ｇ０６Ｆ １６／００ － １６／９５８

(57)【特許請求の範囲】

【請求項1】

評価者が複数の評価対象にそれぞれ主観的な評価を与えることを情報処理装置が支援する方法であって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
前記情報処理装置が、複数の前記評価対象データと一対一に対応する複数のマーカが配置されたマーカ配置領域を表示装置において表示する工程と、
前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカから選択された１つの前記マーカを移動させる工程と、
前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカから選択された１つの前記マーカに対応する１つの前記評価対象データを前記再生装置において再生する工程と、
前記情報処理装置が、複数の前記評価対象に対する評価結果を取得する工程と
を有し、
前記マーカ配置領域を表示する工程は、前記評価対象への前記評価に関する１以上の指標の各々について、前記マーカ配置領域における前記マーカの位置と前記指標の値との所定の関係を案内する１つ以上の指標案内要素が含まれた前記マーカ配置領域を表示することを含み、
１つの前記評価対象に対する前記評価結果を取得する工程は、
前記マーカ配置領域における複数の前記マーカの位置をそれぞれ取得すること、
又は、
前記マーカ配置領域における複数の前記マーカの位置をそれぞれ取得し、取得した各前記マーカの位置と前記所定の関係とに基づいて、複数の前記評価対象の各々について１以上の前記指標の値を取得すること
を含む、
方法。

【請求項2】

前記情報処理装置が、複数の前記マーカから選択された１つの前記マーカに対応する前記評価対象データを再生しているとき、当該１つのマーカの表示態様を他の前記マーカから区別可能な表示態様に変化させる工程を有する、
請求項１に記載の方法。

【請求項3】

前記評価対象データを再生する工程は、前記評価者により入力される指示に応じて複数の前記マーカから１つの前記マーカを選択したとき、及び、前記評価者により入力される指示に応じて当該１つのマーカを移動させているときの少なくとも一方において、当該１つのマーカに対応する１つの前記評価対象データを再生することを含む、
請求項２に記載の方法。

【請求項4】

前記評価対象データを再生する工程は、複数の前記マーカから選択された１つの前記マーカに対応する前記評価対象データを再生しているときに、当該１つのマーカの選択を解除する前記評価者の指示が入力されると、前記評価対象データの再生を停止することを含む、
請求項３に記載の方法。

【請求項5】

前記情報処理装置が、前記評価者により入力される指示に応じて、前記評価対象データの再生に関わる動作モードを、前記評価対象データの再生が可能な再生可能モード、又は、前記評価対象データの再生を抑止する再生抑止モードに設定する工程を有し、
前記評価対象データを再生する工程は、前記再生抑止モードに設定されている場合、前記評価者により入力される指示に関わらず前記評価対象データの再生を抑止することを含む、
請求項３に記載の方法。

【請求項6】

前記情報処理装置が、前記評価者により入力される指示に応じて、前記評価対象データの繰り返し再生数を設定する工程を有し、
前記評価対象データを再生する工程は、１つの前記評価対象データを再生する指示が前記評価者により入力される度に、設定された前記繰り返し再生数だけ当該１つの評価対象データを繰り返し再生することを含む、
請求項３に記載の方法。

【請求項7】

前記繰り返し再生数を設定する工程は、前記評価者により入力される指示に応じて、前記繰り返し再生数の制限なしに前記評価対象データを繰り返し再生するループ再生を設定することを含み、
前記評価対象データを再生する工程は、前記ループ再生が設定されている場合、１つの前記評価対象データを再生する前記評価者の指示に応じて、前記繰り返し再生数の制限なしに当該１つの評価対象データを繰り返し再生することを含む、
請求項６に記載の方法。

【請求項8】

前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカから選択された２以上の前記マーカについて再生順序を設定する工程を有し、
前記評価対象データを再生する工程は、２以上の前記マーカについて前記再生順序が設定されている場合、当該２以上のマーカに対応する２以上の前記評価対象データを再生する前記評価者の指示に応じて、当該２以上の評価対象データを前記再生順序に応じた順序で再生することを含む、
請求項２に記載の方法。

【請求項9】

前記情報処理装置が、前記評価者により入力される指示に応じて、１つの前記評価対象データにおける全体の再生区間の一部を再生対象区間として設定する工程を有し、
前記評価対象データを再生する工程は、１つの前記評価対象データについて前記再生対象区間が設定されている場合、当該１つの評価対象データを再生する前記評価者の指示に応じて当該１つの評価対象データにおける前記再生対象区間を再生することを含む、
請求項２に記載の方法。

【請求項10】

前記マーカ配置領域を表示する工程は、
前記マーカが配置される直線上の位置を表す１つの座標の値と１つの前記指標の値との関係を案内する前記指標案内要素と、
前記マーカが配置される平面上の位置を表す２つの座標の値と２つの前記指標の値との関係を案内する前記指標案内要素と、
前記マーカが配置される空間上の位置を表す３つの座標の値と３つの前記指標の値との関係を案内する前記指標案内要素と
の少なくとも１つが含まれた前記マーカ配置領域を表示することを含む、
請求項１に記載の方法。

【請求項11】

複数のマーカ関連画像が複数の前記マーカと一対一に対応しており、
前記情報処理装置が、前記マーカ関連画像を前記マーカ配置領域において表示する工程であって、
前記評価者により入力される指示に応じて、複数の前記マーカの各々を、対応する前記マーカ関連画像に置き換えることと、
前記評価者により入力される指示に応じて、複数の前記マーカから選択された１つの前記マーカに対応する前記マーカ関連画像を表示することと、
前記評価者により入力される指示に応じて、対応関係にある１つの前記マーカと１つの前記マーカ関連画像とが互いに関連性を有する表示態様を持つとともに他の前記マーカ及び他の前記マーカ関連画像から区別可能な表示態様を持つように、複数の前記マーカと複数の前記マーカ関連画像とを関連付けて表示することと
の少なくとも１つを含んだ工程を有する、
請求項１に記載の方法。

【請求項12】

前記情報処理装置が、前記評価者により入力される指示に応じて、各前記マーカの表示状態を第１表示状態又は前記第１表示状態より薄い第２表示状態に設定する工程を有し、
前記マーカ配置領域を表示する工程は、前記表示状態の設定に従って、各前記マーカを前記第１表示状態又は前記第２表示状態で表示することを含む、
請求項１に記載の方法。

【請求項13】

前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカに複数の異なる階層を割り当てる工程を有し、
複数の前記階層には、前記マーカ配置領域における表示順位が定められており、
前記マーカ配置領域を表示する工程は、前記マーカ配置領域における同一の場所に２以上の前記マーカが位置している場合、当該２以上のマーカの中で前記表示順位の最も高い前記階層が割り当てられた前記マーカを当該場所において表示することを含む、
請求項１２に記載の方法。

【請求項14】

前記マーカを移動させる工程は、前記評価者により入力される指示において指定された場所に２以上の前記マーカが位置している場合、当該２以上のマーカの中で前記表示順位の最も高い前記階層が割り当てられた前記マーカを選択し、当該選択したマーカを移動させることを含み、
前記評価対象データを再生する工程は、前記評価者により入力される指示において指定された場所に２以上の前記マーカが位置している場合、当該２以上のマーカの中で前記表示順位の最も高い前記階層が割り当てられた前記マーカを選択し、当該選択したマーカについて前記評価対象データの再生を行うことを含む、
請求項１３に記載の方法。

【請求項15】

前記マーカを移動させる工程は、前記評価者による評価の過程に関する評価過程情報として、
各前記マーカの移動回数と、
各前記マーカの移動距離と、
各前記マーカの移動時間と、
各前記マーカの移動の軌跡に関する情報と
の少なくとも１つを取得することを含む、
請求項１に記載の方法。

【請求項16】

前記評価対象データを再生する工程は、前記評価者による評価の過程に関する評価過程情報として、各前記マーカの再生回数を取得することを含む、
請求項１に記載の方法。

【請求項17】

評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する処理を情報処理装置に行わせる命令を含んだプログラムであって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
前記命令に従って前記情報処理装置が行う処理は、請求項１～請求項１６のいずれか一項に記載された方法の各工程を含む、
プログラム。

【請求項18】

評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する情報処理装置であって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
処理部と、
前記処理部において実行される命令を記憶した記憶部とを有し、
前記処理部が前記命令に従って行う処理は、請求項１～請求項１６のいずれか一項に記載された方法の各工程を含む、
情報処理装置。

【請求項19】

評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援するシステムであって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
1つ以上の情報処理装置と、
サーバ装置とを備え、
前記情報処理装置は、請求項１～請求項１６のいずれか一項に記載された方法の各工程を行う手段を有し、
前記サーバ装置は、複数の前記評価対象に対する評価結果を取得する工程において得られた前記評価結果を１つ以上の前記情報処理装置から収集する、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価者が評価対象に評価を与えることを支援する方法、プログラム、情報処理装置及びシステムに関するものである。

【背景技術】

【0002】

工業製品が発生する音を評価する装置が知られている。例えば下記の特許文献には、音の大きさ指数、広帯域雑音に関わる指数、純音成分の高周波重みに関わる指数などを算出し、これらの複数の音響指数から総合的な音質指数を演算する手段を備えた音質評価装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００１－３３６９７５

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような音質評価装置で得られる評価結果は、人間の聴感でのフィーリングと合っていない場合がある。そのため通常は、人間の評価者による主観的な官能評価も必要となっている。

【0005】

ところで、人間による官能評価では、物理量から評価値を算出する評価装置のように絶対的な評価結果を与えることが難しい。そのため、複数の評価対象についてまとめて官能評価を行う場合、評価対象間での比較に基づいた相対的な評価を与える方が、各評価対象について個別に評価を与えるよりも、主観的に正しい評価結果が得られ易い。しかしながら、複数の音源についてＳＤ法（semantic differential method）などにより官能評価を行う場合、複数の音源を順番に１つずつ再生し、音源ごとに順番に評価を行うのが一般的である。すなわち、順番に１つずつ評価を行う継起的な方法では、評価対象間での比較に基づいた相対的な評価が難しい。

【0006】

例えば、１つの評価対象について最も高い評価を与えたあと、別の評価対象が当該１つの評価対象よりも更に高い評価を与えるべきものであったとする。この場合、順番に１つずつ評価を行う方法では、当該別の評価対象に対して当該１つの評価対象と同じ評価結果（最高位の評価）を与えるしかなく、評価対象間での主観的な印象の違いを正しく反映した評価結果が得られない。

【0007】

本発明はかかる事情に鑑みてなされたものであり、その目的は、複数の評価対象に対してより主観的に正しい評価を与えることを支援する方法、プログラム、情報処理装置及びシステムを提供することにある。

【課題を解決するための手段】

【0008】

本発明の第１の態様は、評価者が複数の評価対象にそれぞれ主観的な評価を与えることを情報処理装置が支援する方法であって、評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、情報処理装置が、複数の評価対象データと一対一に対応する複数のマーカが配置されたマーカ配置領域を表示装置において表示する工程と、情報処理装置が、評価者により入力される指示に応じて、複数のマーカから選択された１つのマーカを移動させる工程と、情報処理装置が、評価者により入力される指示に応じて、複数のマーカから選択された１つのマーカに対応する１つの評価対象データを再生装置において再生する工程と、情報処理装置が、複数の評価対象に対する評価結果を取得する工程とを有し、マーカ配置領域を表示する工程は、評価対象への評価に関する１以上の指標の各々について、マーカ配置領域におけるマーカの位置と指標の値との所定の関係を案内する１つ以上の指標案内要素が含まれたマーカ配置領域を表示することを含み、１つの評価対象に対する評価結果を取得する工程は、マーカ配置領域における複数のマーカの位置をそれぞれ取得すること、又は、マーカ配置領域における複数のマーカの位置をそれぞれ取得し、取得した各マーカの位置と所定の関係とに基づいて、複数の評価対象の各々について１以上の指標の値を取得することを含む、方法である。

【0009】

本発明の第２の態様は、評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する処理を情報処理装置に行わせる命令を含んだプログラムであって、評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、命令に従って情報処理装置が行う処理は、上記第１の態様に係る方法の各工程を含む、プログラムである。

【0010】

本発明の第３の態様は、評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する情報処理装置であって、評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、処理部と、処理部において実行される命令を記憶した記憶部とを有し、処理部が命令に従って行う処理は、上記第１の態様に係る方法の各工程を含む、情報処理装置である。

【0011】

本発明の第４の態様は、評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する情報処理装置であって、評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、上記第１の態様に係る方法の各工程を行う手段を有する情報処理装置である。

【0012】

本発明の第５の態様は、評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援するシステムであって、評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、1つ以上の情報処理装置と、サーバ装置とを備え、情報処理装置は、上記第１の態様に係る方法の各工程を行う手段を有し、サーバ装置は、複数の評価対象に対する評価結果を取得する工程において得られた評価結果を１つ以上の情報処理装置から収集する、システムである。

【発明の効果】

【0013】

本発明によれば、複数の評価対象に対してより主観的に正しい評価を与えることを支援する方法、プログラム、情報処理装置及びシステムを提供できる。

【図面の簡単な説明】

【0014】

【図1】図１は、本実施形態に係るシステムの構成の一例を示す図である。

【図2】図２は、情報処理装置において表示される評価入力用画面の一例を示す図である。

【図3】図３は、評価入力用画面の一例を示す図である。

【図4】図４は、評価入力用画面の一例を示す図である。

【図5】図５は、評価入力用画面の一例を示す図である。

【図6】図６は、評価入力用画面の一例を示す図である。

【図7】図７は、評価入力用画面の一例を示す図である。

【図8】図８は、評価入力用画面の一例を示す図である。

【図9】図９は、再生対象区間を設定する画面の一例を示す図である。

【図10】図１０は、各種の設定を入力する処理の一例を説明するためのフローチャートである。

【図11】図１１は、評価を入力する処理の一例を説明するための第１のフローチャートである。

【図12】図１２は、評価を入力する処理の一例を説明するための第２のフローチャートである。

【図13】図１３は、評価を入力する処理の一例を説明するための第３のフローチャートである。

【図14】図１４は、評価を入力する処理の一例を説明するための第４のフローチャートである。

【図15】図１５は、評価項目が１つの場合におけるマーカ配置領域の例を示す図である。

【図16】図１６は、評価項目が複数の場合におけるマーカ配置領域の例を示す図である。

【図17】図１７は、評価項目が複数の場合におけるマーカ配置領域の例を示す図である。

【図18】図１８Ａ～図１８Ｈは、指標案内要素の設定例を示す図である。

【図19】図１９Ａ～図１９Ｃは、評価結果を表すグラフの例を示す図である。

【図20】図２０は、評価結果を表すグラフの例を示す図である。

【発明を実施するための形態】

【0015】

図１は、本実施形態に係るシステムの一例を示す図である。本実施形態に係るシステムは、音などの評価対象に対して評価者が主観的な評価を入力することを支援する処理を行う。図１に示すシステムは、インターネットなどの通信ネットワーク９を介して互いに通信可能なサーバ装置２と１以上の情報処理装置１を有する。情報処理装置１は、本発明の情報処理装置の一例である。

【0016】

本実施形態における評価対象は、人間の知覚対象となるものであり、例えば音、静止画及び動画の少なくとも１つを含んだ知覚対象である。評価対象は、評価対象データ（音データ、静止画データ、動画データなど）を再生装置（スピーカ、ディスプレイなど）において再生することにより評価者に知覚される。

【0017】

［情報処理装置１］
例えばパーソナルコンピュータ、タブレット、スマートフォンなどの情報通信機能を備えた装置であり、音などの評価対象について評価を行う評価者により操作される。情報処理装置１は、図１の例において、通信部１１と、入力部１２と、表示部１３と、音出力部１４と、記憶部１５と、処理部１６を有する。
音出力部１４は、本発明の再生装置の一例である。
記憶部１５は、本発明の記憶部の一例である。
処理部１６は、本発明の処理部の一例である。

【0018】

通信部１１は、通信ネットワーク９を介して他の装置（サーバ装置２など）と通信を行う。通信部１１は、例えば所定の通信規格（無線ＬＡＮ、イーサネット（登録商標）など）に準拠して通信を行う通信機器（ネットワークインターフェースカードなど）を含む。

【0019】

入力部１２は、ユーザの操作に応じた指示やその他の情報を処理部１６に入力する。例えば、入力部１２は、ボタン、キーボード、マウス、タッチパッド、タッチパネル、マイク、カメラなどの入力機能を備えた機器の少なくとも１つを含む。

【0020】

表示部１３は、処理部１６において生成される映像信号に応じた映像を表示する装置であり、例えば液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなどの表示機器を含む。

【0021】

音出力部１４は、処理部１６において生成される音響信号に応じた音を出力する装置であり、例えばスピーカを含む。

【0022】

記憶部１５は、処理部１６において実行可能な命令を含む１以上のプログラム１５１、処理部１６による処理の過程で一時的に保存されるデータ、処理部１６の処理に利用されるデータ、処理部１６の処理の結果として得られたデータなどを記憶する。記憶部１５は、例えば、主記憶装置（ＲＯＭ、ＲＡＭなど）と補助記憶装置（フラッシュメモリ、ＳＳＤ、ハードディスク、光ディスクなど）を含んでよい。記憶部１５は、１つの記憶装置から構成されてもよいし、複数の記憶装置から構成されてもよい。記憶部１５が複数の記憶装置から構成される場合、各記憶装置は、コンピュータのバスや他の任意のデータ通信手段を介して処理部１６と接続される。

【0023】

処理部１６は、情報処理装置１の全体的な動作を統括的に司り、所定の情報処理を実行する。処理部１６は、例えば、記憶部１５に格納された１以上のプログラム１５１の命令に応じて処理を実行する１以上のプロセッサ（ＣＰＵ（central processing unit）、ＭＰＵ（micro-processing unit）、ＤＳＰ（digital signal processor）など）を含む。処理部１６は、記憶部１５に記憶される１以上のプログラム１５１の命令を１以上のプロセッサが実行することにより、コンピュータとして動作する。情報処理装置１は、このような複数のコンピュータを含んでもよく、これらのコンピュータが任意の通信ネットワークを介して通信を行うことにより連携して処理を実行してもよい。

【0024】

処理部１６は、特定の機能を実現するように構成された１以上の専用のハードウェア（ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field-programmable gate array）など）を含んでもよい。この場合、処理部１６は、本実施形態において説明する全ての処理をコンピュータにおいて実行してもよいし、少なくとも一部の処理を専用のハードウェアにおいて実行してもよい。

【0025】

プログラム１５１は、例えばコンピュータ読み取り可能な記録媒体（光ディスク、メモリカード、ＵＳＢメモリ、その他の非一時的な有形の媒体）に記録されていてもよい。処理部１６は、そのような記録媒体に記録された１以上のプログラム１５１の少なくとも一部を不図示の記録媒体読み取り装置（光ディスク装置など）やインターフェース装置（ＵＳＢインターフェースなど）により読み込んで、記憶部１５に書き込んでもよい。

【0026】

あるいは処理部１６は、通信ネットワーク９に接続される他の装置から通信部１１により１以上のプログラム１５１の少なくとも一部を受信して、記憶部１５に書き込んでもよい。プログラム１５１は、後述する本実施形態に係る処理の少なくとも一部を処理部１６に行わせる命令を含んでよい。例えば、サーバ装置２がウェブアプリケーションを提供するサーバであり、後述する評価入力用画面がサーバ装置２により提供されるウェブブラウザ上の画面である場合、少なくとも一部のプログラム１５１は、サーバ装置２から提供されるウェブブラウザ用のコード（ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）などのコード）を含んでもよい。

【0027】

［サーバ装置２］
サーバ装置２は、評価者による評価対象（音など）への評価結果を情報処理装置１から収集して分析する処理を行う装置（クラウドサーバなど）であり、例えば上述した情報処理装置１の通信部１１、記憶部１５、処理部１６と同様な通信部、記憶部、処理部を備える。

【0028】

またサーバ装置２は、ウェブブラウザが動作する情報処理装置１と通信し、ウェブブラウザを介して所定の処理を実行するウェブアプリケーションサーバでもよい。すなわちサーバ装置２は、情報処理装置１が評価の入力に関わる処理（評価入力用画面の表示、評価対象（音など）の再生、評価結果の入力など）をウェブブラウザ上で行うように、ウェブブラウザ用のコード（ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）を情報処理装置１に提供してもよい。

【0029】

ここで、上述した構成を有する図１に示すシステムにおいて評価対象に対する評価を入力する処理（以下「評価入力処理」と記す場合がある。）について、図面を参照して説明する。以下の例では、評価対象が音である場合の処理を説明する。

【0030】

図２は、情報処理装置１の表示部１３に表示される評価入力用画面５の一例を示す図である。図２に示す評価入力用画面５は、マーカ配置領域６と、マーカ表示設定領域７と、シークバー５１と、再生モードボタン５２と、ボタン５３及び５４を有する。

【0031】

マーカ配置領域６には、複数の評価対象データと一対一に対応する複数のマーカ（Ｍ１～Ｍ７）が配置される。図２の例に示すマーカ配置領域６は、矩形の線で囲まれた矩形領域６０を含んでおり、その矩形領域６０にマーカＭ１～Ｍ７が配置される。以下、マーカＭ１～Ｍ７における任意の１つを「マーカＭ」と記す。各マーカＭには、マーカＭに対応した評価対象データを表す数字（１～７）が記載されている。

【0032】

矩形領域６０内におけるマーカＭの位置は、評価対象への評価に関する２つ指標の値と関連付けられている。図２の例では、２つの対義語「好きな／嫌いな」により表される「好悪の指標」の値と、２つの対義語「力強い／弱々しい」により表される「強さの指標」の値とが、それぞれマーカＭの位置に関連付けられている。

【0033】

マーカ配置領域６は、２つ指標（好悪の指標、強さの指標）の各々について、上述した矩形領域６０におけるマーカＭの位置と指標の値との関係を案内する指標案内要素を含む。
図２の例において、矩形領域６０の縦方向に延びる枠線６１の上端側に付された「好きな」の文字、及び、枠線６１の下端側に付された「嫌いな」の文字は、それぞれ好悪の指標の値とマーカＭの縦方向の位置との所定の関係（以下「位置－指標関係」と記す場合がある。）を案内する指標案内要素である。好悪の指標に関するこれらの指標案内要素によって、マーカＭの位置が上にあるほど「好き」の程度が大きくなり、マーカＭの位置が下にあるほど「嫌い」の程度が大きくなることが評価者に対して案内される。
また図２の例において、矩形領域６０の横方向に延びる枠線６２の右端側に付された「力強い」の文字、及び、枠線６２の左端側に付された「弱々しい」の文字は、それぞれ強さの指標の値とマーカＭの横方向の位置との所定の関係（位置－指標関係）を案内する指標案内要素である。強さの指標に関するこれらの指標案内要素によって、マーカの位置が右にあるほど「力強い」の程度が大きくなり、マーカの位置が左にあるほど「弱々しい」の程度が大きくなることが評価者に対して案内される。

【0034】

情報処理装置１は、評価者により入力される指示（例えばポインタ５０の操作による指示）に応じて特定のマーカＭを選択し、選択したマーカＭをマーカ配置領域６において移動させる。例えば情報処理装置１は、ポインタ５０によるドラッグ操作に応じてマーカＭを移動させる。また、情報処理装置１は、評価者により入力される指示（例えばポインタ５０の操作による指示）に応じて特定のマーカＭを選択し、選択したマーカＭに対応する評価対象データの音を音出力部１４において再生する。例えば情報処理装置１は、マウスによりマーカＭをクリックする操作や、タッチパネルにおいてマーカＭをタッピングする操作、ポインタをマーカＭの上に位置させる操作などに応じてマーカＭを選択し、選択したマーカＭに対応する評価対象データの音（以下「マーカＭの音」と略記する場合がある。）を音出力部１４において再生する。情報処理装置１は、マーカＭの音を再生している間、シークバー５１によって再生状況（再生済みの時間と残りの再生の時間との割合）を表示する。

【0035】

例えば情報処理装置１は、マーカＭの移動とマーカＭの音の再生とを並行して行ってもよい。これにより、マーカＭの音を聴きながら（再生された評価対象を知覚しながら）マーカＭの位置を動かして指標の値を決めることができるため、正確な評価を行い易くなる。

【0036】

情報処理装置１は、複数のマーカＭから選択された１つのマーカＭに対応する評価対象データを再生しているときに、当該１つのマーカの選択を解除する評価者の指示が入力されると、この評価対象データの再生を停止する。例えば情報処理装置１は、１つのマーカＭの評価対象データを再生しているときに、マーカ配置領域６においてマーカＭの存在しない場所を選択する操作（マウスによりクリックする操作など）が行われると、当該１つのマーカＭの選択を解除して評価対象データの再生を停止する。また情報処理装置１は、１つのマーカＭの評価対象データを再生しているとき、評価者の指示によって別のマーカＭが選択された場合、当該１つのマーカＭの選択を解除して評価対象データの再生を停止するとともに、当該別のマーカＭの評価対象データを再生してもよい。

【0037】

情報処理装置１は、評価者によりボタン５３が押下されると、評価入力用画面５におけるマーカＭの評価を終了し、各マーカＭに対応する評価対象の評価結果を取得する。すなわち情報処理装置１は、マーカ配置領域６における複数のマーカＭの位置をそれぞれ評価結果として取得する。情報処理装置１は、取得した評価結果（各マーカＭの位置）をサーバ装置２に送信する。サーバ装置２は、情報処理装置１から受信した各マーカＭの位置と、２つの指標の「位置－指標関係」とに基づいて、評価対象ごとに２つの指標（好悪の指標、強さの指標）の値を取得する。

【0038】

あるいは情報処理装置１は、取得した各マーカＭの位置と、２つの指標の「位置－指標関係」とに基づいて、評価対象ごとに２つの指標（好悪の指標、強さの指標）の値を取得してもよい。この場合、情報処理装置１は、評価対象ごとに取得した２つの指標を各評価対象の評価結果としてサーバ装置２に送信してもよい。

【0039】

情報処理装置１は、評価者によりボタン５４が押下されると、評価入力用画面５による評価の入力を中断して評価入力処理を終了する。

【0040】

このように、評価入力用画面５では、評価者の指示に応じて、マーカ配置領域６に配置されたマーカＭの音が再生される。また、マーカ配置領域６における「位置－指標関係」が指標案内要素によって評価者に案内されており、この案内を認識した評価者の指示に応じてマーカＭが移動される。そして、各評価対象に対する評価結果として、マーカ配置領域６における各マーカＭの位置、若しくは、各マーカＭの位置と「位置－指標関係」とに基づく各評価対象の指標の値が取得される。これにより評価者は、マーカ配置領域６での位置により表される各マーカＭの指標の値を比較しながら、各マーカＭの音を評価し、その評価に応じて各マーカＭを移動させることができる。従って、複数の評価対象に対して主観的な評価を与える場合において、評価対象間での比較に基づいた相対的な評価を容易に行うことができる。

【0041】

情報処理装置１は、複数のマーカＭから選択された１つのマーカＭの評価対象データを再生しているとき、当該１つのマーカの表示態様を他のマーカＭから区別可能な表示態様に変化させる。図２の例では、評価対象データを再生中のマーカＭ４のみが黒塗りの背景に白抜きの文字を施されており、他のマーカ（Ｍ１～Ｍ３、Ｍ５～Ｍ７）とは異なる表示態様になっている。表示態様の区別の仕方は任意でよく、例えばマーカＭの色や形状で区別できるようにしてもよい。これにより、どのマーカＭの評価対象データが再生中であるかを明確に把握しながら評価を進めることができる。

【0042】

評価入力用画面５の上部には、再生モードボタン５２が配置される。情報処理装置１は、評価者による再生モードボタン５２の操作に応じて、評価対象データの再生に関わる動作モードを、評価対象データの再生が可能な再生可能モード、又は、評価対象データの再生を抑止する再生抑止モードに設定する。動作モードが再生可能モードに設定されている場合、情報処理装置１は、上述した評価者の指示（マーカＭへのクリックやタッピングなど）に応じてマーカＭの音を再生する。他方、動作モードが再生抑止モードに設定されている場合、情報処理装置１は、評価者により入力される指示に関わらず、マーカＭの音の再生を抑止する。これにより、例えば不要な音を再生させずにマーカＭの移動のみを行いたい場合などにおいて、意図せず音が再生されることを防止できるため、評価者が評価に集中し易くなる。

【0043】

マーカ表示設定領域７は、矩形領域６０におけるマーカＭの表示状態に関する設定を入力するための領域である。マーカ表示設定領域７において、マーカＭに対応した評価対象データを表す数字（１～７）が縦方向に並んで配置され、これらの数字の横にそれぞれチェックボックス７１が配置される。数字の横のチェックボックス７１は、数字に対応するマーカＭの表示状態を設定するための入力要素である。

【0044】

情報処理装置１は、チェックボックス７１にチェックが入れられていないマーカＭの表示状態を、チェックボックス７１にチェックが入れられたマーカＭの表示状態よりも薄くする。図２の例では、チェックボックス７１にチェックが入れられていない数字「６」のマーカＭ６が、他の数字のマーカ（Ｍ１～Ｍ５、Ｍ７）より薄く表示されている。このように、評価者の指示に応じて各マーカＭの表示状態を「通常の表示状態」（第１表示状態）又は「薄い表示状態」（第２表示状態）に設定することにより、全てのマーカＭが同じ表示状態で一挙に表示されることによる視覚的な混乱を減らし、特定の評価対象に注目した評価を行い易くすることができる。また、注目する特定の評価対象以外の評価対象については、そのマーカＭを「薄い表示状態」で視認できるため、全体的な比較視点を失わないようにすることができる。

【0045】

マーカ表示設定領域７におけるマーカＭの数字（１～７）の配列は、複数のマーカＭに割り当てられた複数の異なる階層を表す。すなわち、マーカ表示設定領域７において数字が上側にあるほど、その数字に対応するマーカＭには上位の階層が割り当てられる。この複数の階層には、マーカ配置領域６におけるマーカＭの表示順位が定められており、階層が上位のマーカＭほど表示順位が上位に定められている。

【0046】

情報処理装置１は、評価者により入力される指示に応じて、複数のマーカＭに複数の異なる階層を割り当てる。例えば、情報処理装置１は、評価者によるポインタ５０の操作に応じて、特定のマーカＭ（図２の例ではマーカＭ４）についてのコンテキストメニュー５５を表示する。コンテキストメニュー５５には、例えば図２に示すように、特定のマーカＭに割り当てた階層（表示順位）を変更する指示（最前面へ／前面へ／背面へ／最背面へ）が含まれる。情報処理装置１は、このコンテキストメニュー５５からポインタ５０の操作により選択された指示に従い、特定のマーカＭに割り当てられた階層（表示順位）を変更する。このように、評価者の指示に応じて各マーカＭの階層を設定することにより、複数のマーカＭが同じ場所に集まっている場合でも、評価者が注目する特定のマーカＭをマーカ配置領域６において視認し易くすることができる。

【0047】

なお情報処理装置１は、マーカ表示設定領域７において１以上のマーカＭの数字を選択し、上下方向へ移動させる操作（マウスによるドラッグ操作など）に応じて、任意のマーカＭの階層を変更してもよい。

【0048】

情報処理装置１は、評価者により入力される指示において指定された場所（例えばポインタ５０により指定した場所）に２以上のマーカＭが位置している場合、当該２以上のマーカの中で表示順位の最も高い階層が割り当てられたマーカＭを選択し、選択したマーカＭを移動させる。またこの場合、情報処理装置１は、当該２以上のマーカの中で表示順位の最も高い階層が割り当てられたマーカＭを選択し、選択したマーカＭの音を再生する。従って、任意のマーカＭの階層を上位に設定することにより、この上位階層に設定したマーカＭと同じ場所に別のマーカＭが位置している場合でも、上位階層に設定したマーカＭを容易に選択して移動させたり音を再生させたりすることが可能となる。

【0049】

なお情報処理装置１は、チェックボックス７１にチェックが入れられていないマーカＭ（第２表示状態のマーカＭ）については、評価者により入力される指示に関わらず移動できないようにしてもよい。これにより、複数のマーカＭが同じ場所に位置している場合でも、特定のマーカＭのみを容易に選択して移動させることができる。
同様に、情報処理装置１は、チェックボックス７１にチェックが入れられていないマーカＭ（第２表示状態のマーカＭ）については、評価者により入力される指示に関わらず評価対象データの再生を抑止してもよい。これにより、複数のマーカＭが同じ場所に位置している場合でも、特定のマーカＭのみを容易に選択してその評価対象データを再生させることができる。

【0050】

マーカ表示設定領域７には、評価対象データの再生を行うマーカＭを選択するための入力要素として、ボタン７３及び７４が配置される。情報処理装置１は、評価者によってボタン７３又は７４が押下される（入力要素が操作される）ことに応じて、評価対象データの再生を行うマーカＭの階層を上下させる。これにより、複数のマーカＭが同じ場所に位置している場合でも、特定のマーカＭを容易に選択して、その評価対象データを再生することができる。

【0051】

情報処理装置１は、評価対象データの再生を行うマーカＭの数字を、他の数字とは異なる態様でマーカ表示設定領域７に表示する。図２の例では、音を再生中のマーカＭ４の数字「４」のみが黒塗りの背景に白抜きの文字を施されており、他のマーカＭの数字とは異なる表示態様になっている。これにより、どのマーカＭの評価対象データが再生中であるかをより明確に把握できる。

【0052】

図２の例において、マーカ表示設定領域７の上部には、チェックボックス７１にチェックが入れられたマーカＭの数字のみ表示する状態と、全てのマーカＭの数字を表示する状態とを切り替える指示を入力するためのボタン７２が配置される。また、マーカ表示設定領域７の右端には、縦方向に配列された複数のマーカＭの数字を上下方向にスクロールさせる指示を入力するためのスクロールバー７５が配置される。

【0053】

図３は、評価入力用画面５の他の一例を示す図である。図３に示す評価入力用画面５は、図２に示す評価入力用画面５と同様の要素を含むとともに、評価対象の反復的な再生に関する設定を入力するための再生設定領域８Ａを含む。再生設定領域８Ａは、評価対象の反復的な再生を行わない（１回のみ再生する）設定と、評価者が指定した回数（繰り返し再生数）だけ評価対象の再生を繰り返す設定と、繰り返し再生数の制限なしに評価対象の再生を繰り返すループ再生の設定とを択一的に選択するためのラジオボタン８１を含む。また再生設定領域８Ａは、繰り返し再生だけ評価対象の再生を繰り返す設定が選択された場合に、その繰り返し再生数を指定するための入力欄８２を含む。

【0054】

情報処理装置１は、再生設定領域８Ａにおいて繰り返し再生数が設定された場合、１つの評価対象データを再生する指示が評価者により入力される度に、設定された繰り返し再生数だけ当該１つの評価対象データを繰り返し再生する。これにより、評価対象を再生するための入力操作を省略できるため、評価者が評価に集中し易くなる。

【0055】

また情報処理装置１は、再生設定領域８Ａにおいてループ再生（繰り返し再生数の制限なしに評価対象の再生を繰り返すこと）が設定された場合、１つの評価対象データを再生する評価者の指示に応じて、繰り返し再生数の制限なしに当該１つの評価対象データを繰り返し再生する。これにより、例えば評価の難しい評価対象については、評価者がループ再生の終了を指示するまで再生を繰り返すことができるため、評価者がより評価に集中し易くなる。

【0056】

図４は、評価入力用画面５の他の一例を示す図である。図４に示す評価入力用画面５は、図３に示す評価入力用画面５と同様の要素を含むとともに、２以上のマーカＭについて再生順序を設定するための再生設定領域８Ｂを含む。再生設定領域８Ｂには、再生順序設定用の複数のマーカ８３が横方向に配列される。１つのマーカ８３は、マーカ配置領域６に配置される１つのマーカＭに対応している。１つのマーカＭに対応する１つのマーカ８３は、当該１つのマーカＭと同じ数字（評価対象を表す数字）を持つ。１つのマーカＭに対応する１つのマーカ８３は、例えば当該１つのマーカＭをマーカ配置領域６から再生設定領域８Ｂへ動かす操作（ドラッグ操作など）によって再生設定領域８Ｂにも配置される。再生設定領域８Ｂにおける複数のマーカ８３の配列の順序は、個々のマーカ８３をドラッグ操作などにより移動させることで変更可能である。複数のマーカ８３の配列順序は、複数のマーカ８３に対応する複数の評価対象データの再生順序を表しており、図４の例では、左側に位置するマーカ８３ほど再生順序が前になる。リセットボタン８４が押下されると、再生設定領域８Ｂにおけるマーカ８３の配列順序の設定がリセットされる。

【0057】

情報処理装置１は、再生設定領域８Ｂにおいて２以上のマーカＭの再生順序が設定されている場合、当該２以上のマーカＭに対応する２以上の評価対象データを再生する評価者の指示（例えば、２以上のマーカＭのいずれかを再生対象として選択する指示など）に応じて、当該２以上の評価対象データを当該設定された再生順序に従って順番に再生する。このように、評価者が指定した順序で２以上のマーカＭの評価対象データを再生させることができるため、関連性のある２以上の評価対象の相対的な評価を行い易くなる。例えば、１つの指標について２以上の評価対象に与えた指標値を確認する場合に、この指標値に応じた順番で２以上の評価対象を連続的に再生させることにより、各評価対象の指標値が妥当か否かを判断し易くなる。

【0058】

図５～図８は、それぞれ評価入力用画面５の他の一例を示す図であり、複数のマーカと一対一に対応した複数のマーカ関連画像Ｐ１～Ｐ７が表示された評価入力用画面５の例をそれぞれ示す。マーカ関連画像Ｐ１～Ｐ７（以下、区別せずに「マーカ関連画像Ｐ」と記す場合がある。）は、個々のマーカＭに関連する画像であり、例えば個々のマーカＭに対応する評価対象に関連する画像である。図５～図８の例において、評価対象は乗用車が発生する音（ドアの開閉音など）であり、マーカ関連画像Ｐはその乗用車を表す画像である。

【0059】

図５に示す評価入力用画面５は、図２に示す評価入力用画面５において、マーカＭ（丸い図形の中央に評価対象の数字が配されたもの）の代わりにマーカ関連画像Ｐを配置したものである。これにより、マーカ関連画像Ｐが単なる評価対象の識別ラベル以上の情報を提供するため、評価者に対して評価対象に対するより具体的かつ直感的なイメージを与えることができる。

【0060】

また図５に示す評価入力用画面５では、図２に示す評価入力用画面５においてマーカ表示設定領域７に配置された各マーカＭの数字（１～７）が、各マーカＭに対応するマーカ関連画像Ｐと同じ画像７７に置き換えられている。これにより、図２に示す評価入力用画面５におけるマーカＭと同様に、マーカ関連画像Ｐについても階層の設定、表示状態の設定を行うことが可能となる。

【0061】

図６に示す評価入力用画面５は、図２に示す評価入力用画面５において、マーカ表示設定領域７に配置された各マーカＭの数字（１～７）の横に、マーカＭと一対一に対応する画像７７（マーカ関連画像と同一の画像）を配置させたものである。各マーカＭに対応する各画像７７は、各マーカＭの数字（１～７）の横に配置されることで、各マーカＭと関連性を有する表示態様を持つ。また、各画像７７は、他のマーカＭ及び他の画像７７から区別可能な表示態様を持つ。すなわち図６の例において、マーカ表示設定領域７に配置された複数の画像７７（マーカ関連画像と同一の画像）は、マーカ配置領域６に配置された複数のマーカＭと関連付けて表示されている。これにより、マーカ表示設定領域７に配置された画像７７と、マーカ配置領域６に配置されたマーカＭとを関連付けて認識することが可能になる。従って、図５に示す評価入力用画面５と同様に、評価者に対して評価対象に対する具体的かつ直感的なイメージを与えることができる。

【0062】

図７に示す評価入力用画面５は、図２に示す評価入力用画面５において、評価者により入力される指示（例えばマーカＭをポインタ５０の操作により選択する指示）に応じて、複数のマーカＭから選択された１つのマーカＭに対応するマーカ関連画像Ｐを吹き出しで表示するようにしたものである。これにより、評価者が任意に選択した評価対象について、マーカ関連画像Ｐによる具体的かつ直感的なイメージを与えることができる。

【0063】

図８に示す評価入力用画面５は、図２に示す評価入力用画面５において、評価者により入力される指示（例えばマーカＭをポインタ５０の操作により選択する指示）に応じて、複数のマーカＭから選択された１つのマーカＭに対応するマーカ関連画像Ｐをマーカ配置領域６の外側の領域５６に表示するようにしたものである。領域５６には、マーカＭに対応するマーカ関連画像Ｐとともに、マーカＭと同じ図形（丸い図形の中央に評価対象の数字が配されたもの）が配置されている。これにより、図７に示す評価入力用画面５と同様に、評価者が任意に選択した評価対象について、マーカ関連画像Ｐによる具体的かつ直感的なイメージを与えることができる。

【0064】

図９は、評価対象を再生する場合の再生対象区間を設定する画面９０の一例を示す図である。情報処理装置１は、評価者により入力される指示に応じて、１つの評価対象データにおける全体の再生区間の一部を再生対象区間として設定する。画面９０は、この再生対象区間の設定を入力する際に表示する画面である。図９の例において、画面９０は、評価対象の音の波形を示す波形図９１と、評価対象の音の再生状況を表すシークバー９２と、再生対象区間の開始時刻及び終了時刻をそれぞれ設定するためのポインタ９３及び９４と、音の再生の開始、一時停止、停止をそれぞれ制御するためのボタン９５、９６、９７と、ポインタ９３及び９４により設定された再生対象区間を保存するためのボタン９８と、再生対象区間の設定を保存せずに評価入力用画面５へ戻るためのボタン９９とを有する。

【0065】

情報処理装置１は、上述した画面９０（図９）により、１つの評価対象データについて再生対象区間が設定されている場合、当該１つの評価対象データを再生する評価者の指示（例えばポインタ５０の操作によってマーカＭを選択する指示）に応じて、当該１つの評価対象データにおける再生対象区間を再生する。これにより、評価対象の全体の再生区間における特定の部分について詳細な評価を行い易くなる。

【0066】

図１０は、各種の設定を入力する処理の一例を説明するためのフローチャートである。情報処理装置１は、評価入力処理を行っている間、図１０のフローチャートに示す処理を反復的に実行する。

【0067】

情報処理装置１は、マーカ配置領域６の設定を行う評価者の指示が入力されたか確認し（ＳＴ１００）、指示が入力された場合は（ＳＴ１００のＹｅｓ）、その指示に応じてマーカ配置領域６の設定を行う（ＳＴ１０５）。例えば、マーカ配置領域６における指標案内要素などのカスタマイズを要求する指示が入力された場合、情報処理装置１は、その指示に応じてマーカ配置領域６の表示を変更する。

【0068】

情報処理装置１は、評価入力用画面５のマーカ表示設定領域７においてマーカＭの表示状態に関する設定（マーカ表示状態設定）を変更する指示が入力されたか確認し（ＳＴ１１０）、指示が入力された場合は（ＳＴ１１０のＹｅｓ）、その指示に応じて変更したマーカ表示状態設定を保存する（ＳＴ１１５）。例えば情報処理装置１は、マーカ表示設定領域７においてマーカＭの表示状態や階層が変更された場合、その変更された表示状態や階層を反映したマーカ表示状態設定を保存する。

【0069】

情報処理装置１は、マーカ関連画像の設定を行う評価対象の指示が入力されたか確認（ＳＴ１２０）、指示が入力された場合は（ＳＴ１２０のＹｅｓ）、その指示に応じてマーカ関連画像の表示態様を設定する（ＳＴ１２５）。例えば情報処理装置１は、図５～図８に示すようなマーカ関連画像の表示態様のいずれかを選択する指示が入力された場合、選択された表示態様にてマーカ関連画像を評価入力用画面５に表示する。

【0070】

情報処理装置１は、再生モードボタン５２により動作モードを変更する指示が入力されたか確認し（ＳＴ１３０）、指示が入力された場合は（ＳＴ１３０のＹｅｓ）、その指示に応じて動作モードを「再生可能モード」又は「再生抑止モード」に設定する（ＳＴ１３５）。

【0071】

情報処理装置１は、評価対象の再生に関する設定を入力する評価者の指示が入力されたか確認し（ＳＴ１４０）、指示が入力された場合は（ＳＴ１４０のＹｅｓ）、その指示に応じて評価対象の再生を設定する（ＳＴ１４５）。例えば情報処理装置１は、再生設定領域８Ａ（図３）において再生の繰り返し回数やループ再生の設定が入力された場合、その設定に従って評価対象を繰り返し再生する。また情報処理装置１は、再生設定領域８ＢにおいてマーカＭの再生順序の設定が入力された場合、その設定された再生順序に従ってマーカＭを順番に再生する。更に情報処理装置１は、画面９０（図９）において再生対象区間が設定された場合、その設定された再生対象区間の再生を行う。

【0072】

図１１～図１４は、評価入力用画面５において各評価対象の評価を入力する処理の一例を説明するためのフローチャートである。情報処理装置１は、評価入力処理を行っている間、図１１～図１４のフローチャートに示す処理を反復的に実行する。

【0073】

まず情報処理装置１は、評価入力用画面５において、複数の評価対象データと一対一に対応する複数のマーカＭが配置されたマーカ配置領域６を表示する（ＳＴ２００）。図１０に示すステップＳＴ１２５においてマーク関連画像の設定が入力されている場合、情報処理装置１は、その設定に従った表示態様にて評価入力用画面５にマーク関連画像を表示する。

【0074】

次いで情報処理装置１は、特定のマーカＭを選択する指示（ポインタ５０でマーカＭを選択する指示、マーカ表示設定領域７のボタン７３及び７４によりマーカＭを選択する指示）が入力されたか確認する（ＳＴ２０５）。特定のマーカＭを選択する指示が入力されていない場合（ＳＴ２０５のＮｏ）、情報処理装置１は後述するステップＳＴ２５５に移行する。

【0075】

特定のマーカＭを選択する指示が入力された場合（ＳＴ２０５のＹｅｓ）、情報処理装置１は、その特定のマーカＭと同じ場所に複数のマーカＭが位置しているか確認する（ＳＴ２１０）。同じ場所に複数のマーカＭが位置している場合（ＳＴ２１０のＹｅｓ）、情報処理装置１は、当該複数のマーカＭの中で階層（表示順位）が最も上位のマーカＭを特定のマーカとして選択する（ＳＴ２２０）。他方、特定のマーカＭと同じ場所に他のマーカＭが位置していない場合（ＳＴ２１０のＮｏ）、情報処理装置１は、指示された特定のマーカＭを選択する（ＳＴ２１５）。また、マーカ表示設定領域７のボタン７３及び７４により１つのマーカＭが選択された場合、情報処理装置１は、当該１つのマーカＭを特定のマーカＭとして選択する（ＳＴ２１５）。

【0076】

情報処理装置１は、ステップＳＴ２１５又はＳＴ２２０において特定のマーカＭを選択したとき、他のマーカＭの評価対象を再生中であるか確認する（ＳＴ２２５）。他のマーカＭの評価対象を再生中の場合（ＳＴ２２５のＹｅｓ）、情報処理装置１は、その再生を停止する（ＳＴ２３０）。

【0077】

また情報処理装置１は、ステップＳＴ２１５又はＳＴ２２０において特定のマーカＭを選択したとき、動作モードが再生可能モードであるか確認し（ＳＴ２３５）、再生可能モードでない（再生抑止モードである）場合は（ＳＴ２３５のＮｏ）、後述するステップＳＴ２５５に移行する。

【0078】

また情報処理装置１は、ステップＳＴ２１５又はＳＴ２２０において特定のマーカＭを選択したとき、その特定のマーカＭが再生中であるか確認し（ＳＴ２４０）、特定のマーカＭが再生中の場合も（ＳＴ２４０のＹｅｓ）、後述するステップＳＴ２５５に移行する。

【0079】

動作モードが再生可能モードであり（ＳＴ２３５のＹｅｓ）、かつ、選択した特定のマーカＭが再生中でない場合（ＳＴ２４０のＮｏ）、情報処理装置１は、その特定のマーカＭに対応する評価対象データの再生を開始する（ＳＴ２４５）。

【0080】

なお、特定のマーカＭの評価対象データについて再生対象区間が設定されている場合（図１０のＳＴ１４５）、情報処理装置１は、設定された再生対象区間の開始時刻から評価対象データの再生を行う。また、特定のマーカＭについて再生順序が設定されている場合（図１０のＳＴ１４５）、情報処理装置１は、その再生順序における最初のマーカＭの再生を開始する。更に、特定のマーカＭの繰り返し再生数が設定されている場合（図１０のＳＴ１４５）、情報処理装置１は、繰り返し再生した回数の計数値を初期値（１回目）に設定する。

【0081】

ステップＳＴ２５５に移行すると、情報処理装置１は、特定のマーカＭを選択中か確認する。特定のマーカＭを選択中である場合（ＳＴ２５５のＹｅｓ）、情報処理装置１は、その特定のマーカＭを移動させる指示（例えばポインタ５０の操作によりマーカＭをドラッグする指示）が入力されているか確認する（ＳＴ２６０）。特定のマーカＭを移動させる指示が入力されている場合（ＳＴ２６０のＹｅｓ）、情報処理装置１は、入力される指示に従って特定のマーカＭを移動させる（ＳＴ２６５）。

【0082】

また情報処理装置１は、マーカＭの選択を解除する指示（例えばマーカ配置領域６においてマーカＭが存在しない場所をポインタ５０により選択する指示など）が入力されているか確認する（ＳＴ２７０）。選択を解除する指示が入力されていない場合（ＳＴ２７０のＮｏ）、情報処理装置１は後述するステップＳＴ２８５に移行する。

【0083】

情報処理装置１は、マーカＭの選択を解除する指示が入力されている場合において（ＳＴ２７０のＹｅｓ）、選択を解除するマーカＭが再生中であれば（ＳＴ２７５のＹｅｓ）、その再生を停止させる（ＳＴ２８０）。

【0084】

ステップＳＴ２８５に移行すると、情報処理装置１は、特定のマーカＭを再生中であるか確認する。特定のマーカＭを再生中でない場合（ＳＴ２８５のＮｏ）、情報処理装置１は後述するステップＳＴ３４５に移行する。

【0085】

特定のマーカＭを再生中である場合（ＳＴ２８５のＹｅｓ）、情報処理装置１は、その再生中の時刻（再生位置）が再生範囲の末尾に到達したか確認する（ＳＴ２９０）。再生位置が再生範囲の末尾に到達していない場合（ＳＴ２９０のＮｏ）、情報処理装置１は後述するステップＳＴ３４５に移行する。

【0086】

再生中のマーカＭの再生位置が再生範囲の末尾に達している場合（ＳＴ２９０のＹｅｓ）、情報処理装置１は、このマーカＭについて再生を行ったトータルの再生回数に１を加算する（ＳＴ２９５）。

【0087】

また、再生中のマーカＭの再生位置が再生範囲の末尾に達している場合（ＳＴ２９０のＹｅｓ）、情報処理装置１は、このマーカＭについて再生順序が設定されているか確認する（ＳＴ３００）。再生順序が設定されていない場合（ＳＴ３００のＮｏ）、情報処理装置１は、再生設定領域８Ａ（図３、図４）においてループ再生が設定されているか確認する（ＳＴ３２０）。ループ再生が設定されている場合（ＳＴ３４０のＹｅｓ）、情報処理装置１は、このマーカＭについて再生範囲の先頭から再生を開始して（ＳＴ３４０）、後述するステップＳＴ３４５に移行する。再生設定領域８Ａ（図３、図４）においてループ再生が設定されていない場合（ＳＴ３２０のＮｏ）、情報処理装置１は、繰り返し再生した回数の計数値に１を加算し（ＳＴ３２５）、その加算後の計数値が再生設定領域８Ａで設定された繰り返し再生数の制限を超過しているか確認する（ＳＴ３３０）。繰り返し再生した回数の計数値が設定された繰り返し再生数の制限を超過している場合（ＳＴ３３０のＹｅｓ）、情報処理装置１は、そのマーカＭの再生を停止する（ＳＴ３３５）。繰り返し再生した回数の計数値が制限を超過していない場合（ＳＴ３３０のＮｏ）、情報処理装置１は、このマーカＭについて再生範囲の先頭から再生を開始して（ＳＴ３４０）、後述するステップＳＴ３４５に移行する。

【0088】

なお情報処理装置１は、再生中のマーカＭの再生位置が再生範囲の末尾に達しており（ＳＴ２９０のＹｅｓ）、かつ、このマーカＭについて再生順序が設定されている場合（ＳＴ３００のＹｅｓ）、再生順序の最後のマーカＭまで再生したか確認する（ＳＴ３０５）。再生順序の最後のマーカＭまで再生していない場合（ＳＴ３０５のＮｏ）、情報処理装置１は、再生順序における次のマーカＭを選択し（ＳＴ３１５）、選択したマーカＭについて再生範囲の先頭から再生を開始して（ＳＴ３４０）、後述するステップＳＴ３４５に移行する。再生順序の最後のマーカＭまで再生した場合（ＳＴ３０５のＹｅｓ）、情報処理装置１は、再生順序の最初のマーカＭを選択し（ＳＴ３１０）、選択したマーカＭについて上述したステップＳＴ３２０～ＳＴ３４０と同様の処理を行い、後述するステップＳＴ３４５に移行する。

【0089】

ステップＳＴ３４５に移行すると、情報処理装置１は、評価者によって評価の入力を終了する指示（ボタン５３を押下する指示）が入力されたか確認する。評価の入力を終了する指示が入力された場合（ＳＴ３４５のＹｅｓ）、情報処理装置１は、マーカ配置領域６における各マーカＭの位置を評価結果として取得する（ＳＴ３５０）。また情報処理装置１は、評価者による評価の過程に関する情報（評価過程情報）として、各マーカＭの移動回数、各マーカＭの移動距離、各マーカの移動時間、各マーカの移動の軌跡に関する情報、各マーカＭの再生階数などを取得する（ＳＴ３５５）。そして情報処理装置１は、各マーカＭの評価結果（各マーカの位置）と評価過程情報をサーバ装置２に送信する（ＳＴ３６０）。

【0090】

以上説明したように、本実施形態によれば、評価入力用画面５における評価者の指示に応じて、マーカ配置領域６に配置されたマーカＭの音が再生される。また、マーカ配置領域６における「位置－指標関係」が指標案内要素によって評価者に案内されており、この案内を認識した評価者の指示に応じてマーカＭが移動される。そして、各評価対象に対する評価結果として、マーカ配置領域６における各マーカＭの位置、若しくは、各マーカＭの位置と「位置－指標関係」とに基づく各評価対象の指標の値が取得される。これにより評価者は、マーカ配置領域６での位置により表される各マーカＭの指標の値を比較しながら、各マーカＭの音を評価し、その評価に応じて各マーカＭを移動させることができる。従って、複数の評価対象に対して主観的な評価を与える場合において、評価対象間での比較に基づいた相対的な評価を容易に行うことができる。相対的な評価を行うことにより、評価者は複数の評価対象に対してより主観的に正しい評価を与えることができる。

【0091】

（変形例）
次に、上述した本実施形態に関する幾つかの変形例について説明する。

【0092】

図１５は、評価項目が１つの場合におけるマーカ配置領域の例を示す図である。図２等に示すマーカ配置領域６は２次元の平面状の領域であり、２次元平面上の位置を表す２つの座標の値（横方向の位置、縦方向の位置）が２つの評価項目の指標値に対応付けられている。他方、評価項目の指標が１つの場合は、図１５において示すように、直線状の領域をマーカ配置領域としてもよい。この場合、指標案内要素は、マーカが配置される直線上の位置を表す１つの座標の値と１つの指標の値との関係を案内するもの（例えば直線の両端に配置された対義語）でもよい。

【0093】

図１６は、評価項目が複数の場合におけるマーカ配置領域の例を示す図である。評価項目の指標が複数の場合には、図１６に示すように、複数の直線状のマーカ配置領域（図１５）を一方向に並べて配置してもよい。

【0094】

図１７は、評価項目が複数の場合におけるマーカ配置領域の他の例を示す図である。評価項目の指標が複数の場合には、図１７に示すように、複数の直線状のマーカ配置領域（図１５）を放射状に配置してもよい。この場合、図１７に示すように、同一の評価対象に対応するマーカＭを共通の直線で結ぶことにより、各マーカＭの評価結果を見分け易くなる。

【0095】

これらの例の他、評価項目が３つの場合、マーカ配置領域は３次元の空間でもよい。この場合、空間でのマーカＭの位置を表す３つの座標の値をそれぞれ３つ評価項目の指標値に対応付ければよい。また、指標案内要素は、マーカが配置される空間上の位置を表す３つの座標の値と１つの指標の値との関係を案内するもの（座標軸の両端に配置された対義語）でもよい。

【0096】

図１８Ａ～図１８Ｈは、指標案内要素の設定例を示す図である。情報処理装置１は、上述したステップＳＴ１００において、評価者の指示に応じて、マーカ配置領域の指標案内要素を図１８Ａ～図１８Ｈに示すようにカスタマイズしてもよい。すなわち情報処理装置１は、評価者の指示に応じて、指標案内要素における指標を表す語（１つの語又は２つの対義語）を設定したり、指標案内要素において指標の値を表す１つ以上の目盛りの有無を設定したり、１つ以上の目盛りの間隔を設定したり、１つ以上の目盛りに付される１つ以上の目盛りラベルを設定したりしてよい。ただし、評価者が自由にカスタマイズできる設定の内容は、評価者の評価結果に影響を与えない範囲に制限されることが望ましい。

【0097】

図１８Ａは、目盛りを表示させないようにしたマーカ配置領域の例を示す。
図１８Ｂは、目盛りを表示させる一方、目盛りラベルを表示させないようにしたマーカ配置領域の例を示す。
図１８Ｃは、目盛りラベルとして、指標値を示す数値を各目盛りに付したマーカ配置領域の例を示す。
図１８Ｄは、中央の目盛りに付した目盛りラベルの数値を「０」とし、目盛りラベルの数値が左右に向かうにつれて大きくなるようにしたマーカ配置領域の例を示す。
図１８Ｅは、目盛りラベルとして「やや」「かなり」「どちらとも」といった程度を表す語を使用したマーカ配置領域の例を示す。図１８Ｅの例では、目盛りの刻みが５段階にされている。

【0098】

図１８Ｆ及び図１８Ｇは、指標案内要素における指標を表す語が１つのみ使用されたマーカ配置領域の例を示す。図１８Ｆの例では、指標を表す語「力強い」がマーカ配置領域の右端に配置され、図１８Ｇの例では、指標を表す語「力強さのレベル」がマーカ配置領域の下側に配置されている。
指標を表す語を１つにすることで、視覚化の簡素化が達成され、評価結果の解釈がより直感的になる。これは、特に非技術的な評価者が製品の評価を行う際に有用である。
また、指標を表す語を１つにすることで、特定の評価基準に焦点を絞り易くなり、その基準についての理解を深めることができる。これは、特定の改善目標や基準を強調したい場合に果的である。
更に、指標を表す語を１つにすることで、その語に対する各データの相対的な位置が一目でわかるようになる。これは、比較する評価対象が多い場合や、全体像を捉えたい場合に有効である。
また、指標を表す語を１つにすることで、ネガティブな意味の語を避けることができる。これは、特定の評価者が否定的なフィードバックに敏感な場合や、プレゼンテーションの際に有用である。

【0099】

図１８Ｈは、基準となる音源のマーカＭの位置が固定されたマーカ配置領域の例を示す。これにより、基準となる音源のマーカＭとの比較に基づいて他のマーカＭの音を評価することができる。特に、標案内要素において指標を表す語が１つのみの場合、基準となる音源のマーカＭを固定の場所に配置することにより、評価が漠然としてしまわないようにすることができる。

【0100】

図１９Ａ～図１９Ｃ及び図２０は、各マーカＭの評価結果を表すグラフの例を示す図である。サーバ装置２は、多数の評価者の情報処理装置１から評価結果を収集し、収集した評価結果を分析することにより、例えば図１９Ａ～図１９Ｃ、図２０に示すようなグラフを生成する。情報処理装置１は、評価結果に対する分析の内容や条件をサーバ装置２に指定し、サーバ装置２により得られた分析結果（グラフ等）を表示部１３に表示する。

【0101】

図１９Ａは、多数の評価者が１つの評価対象を１つの評価項目（「力強い／弱々しい」）について評価した結果に基づくヒストグラムである。サーバ装置２は、各評価者による評価結果の指標値を所定の複数の指標区分に振り分け、各指標区分に振り分けられた評価結果の度数を計数することにより、図１９Ａに示すようなヒストグラムを生成する。

【0102】

図１９Ａのヒストグラムでは評価項目が１つであるが、評価項目が２つの場合には、評価結果の度数を２次元のグリッド上に表してもよい。例えば、２次元のグリッド上において２つの指標区分が交差する場所にそれぞれ所定のマスを配置し、マスの色やその他の表示態様（マスの大きさなど）によって、マスに対応する２つの指標区分に属した評価結果の度数を表してもよい。また、評価項目が３以上の場合には、例えば、２つの評価項目を任意に選択し、それ以外の評価項目を任意の指標値に固定した条件の下で、当該２つの評価項目についての上述した２次元のグリッドによるグラフを生成してもよい。

【0103】

図１９Ａに示すヒストグラムには、評価結果が最大となる指標区分と、指標値の平均値が示されている。これにより、データの集中傾向や極端な値を明確に示すことができる。これは、評価対象に対する評価がどの程度散らばっているのか、または集中しているのかを理解する上で重要な情報となる。

【0104】

また図１９Ａに示すヒストグラムには、他の評価対象について同様な分析により得られた指標値の平均値を表す印（他の評価対象である「Ａ社」と「Ｂ社」の平均値を表す三角形の印）が示されている。これにより、１つの評価対象が他の評価対処と比較してどの程度優れているか又は劣っているかを直感的に視覚化することができる。１つの評価対象と他の評価対象との比較を視覚化することにより、例えば、当該１つの評価対象に関わる製品の競争力や目標達成度を一目で理解でき、必要な改善策を立案しやすくなる。また、評価結果の比較を視覚化することで、数字や言葉だけで評価結果を伝える場合に比べて評価結果への理解が深まり、関係者間での対話をより具体的かつ効率的に進めることができる。

【0105】

このような分析は、評価対象に関わる製品の開発のフィードバックループにおいて中心的な役割を果たす。ヒストグラムを用いて評価結果を視覚化することで、製品の改善のための具体的な方向性を示すことができ、製品の品質向上に貢献できる。

【0106】

図１９Ｂは、多数の評価者が１つの評価対象を２つの評価項目（「力強い／弱々しい」、「大きい／小さい」）について評価した結果に基づく二軸散布図である。この二軸散布図では、多数の評価者による個々の評価結果が２次元平面上の１つのマーカで表されている。マーカの表示態様（色、形状など）を評価者の属性や評価対象の種類に応じて設定することにより、評価者の属性や評価対象の種類に応じた評価の傾向を一目で把握することができる。

【0107】

図１９Ｃは、多数の評価者が１つの評価対象を３つの評価項目（「力強い／弱々しい」、「大きい／小さい」、「好きな／嫌いな」）について評価した結果に基づく三軸散布図である。三軸散布図では、多数の評価者による個々の評価結果が３次元空間に位置する１つのマーカで表されている。三軸散布図においても、マーカの表示態様を評価者の属性や評価対象の種類に応じて設定してよい。三軸散布図のグラフは、マウス操作などによって任意に回転できるようにしてもよい。
また、図１９Ｃに示すような三軸散布図において、２つの座標軸に平行な１つ以上の平面を配置させ、この平面に評価結果のマーカを投影表示させてもよい。通常の３軸散布図に加えて２軸散布図を表示させることにより、評価の傾向をさらに視覚的に把握し易くすることができる。

【0108】

図２０は、多数の評価者が１つの評価対象を４つの評価項目（「力強い／弱々しい」、「大きい／小さい」、「好きな／嫌いな」、「澄んだ／濁った」）について評価した結果に基づくパラレルグラフである。パラレルグラフでは、各評価項目の指標値を表す軸が並行に配置され、軸上の１つの点が一人の評価対象による１つの評価結果を表す。複数の軸における同一の評価者による評価結果の点が、共通の線で結ばれている。パラレルグラフでは、同一の評価者による複数の評価項目の評価結果が１つの線で表されるため、線の折れ曲がり方の傾向や線の密集の傾向などによって、評価者の全体的な評価傾向を視覚的に把握できる。評価者の属性や評価対象の種類などに応じて線の色を設定することにより、評価者の属性や評価対象の種類に応じた評価の傾向を視覚的に把握できる。

【0109】

また、図２０に示すようなパラレルグラフにおいて、各軸における指標の範囲、評価者の属性、評価対象の種類などに応じて、表示する線を絞り込むことにより、様々な観点から評価の傾向を視覚的に把握することができる。

【0110】

なお、評価項目が２つより多い場合、例えば、２つの評価項目を任意に選択し、それ以外の評価項目を任意の指標値に固定した条件の下で、当該２つの評価項目についての上述した二軸散布図を生成してもよい。

【0111】

サーバ装置２は、上述した評価結果の分析の他に、評価過程情報（評価対象の再生回数、マーカの移動回数など）の分析を行ってもよい。

【0112】

評価対象の再生回数やマーカの移動回数が多いほど、評価者が評価対象に対してより多くの情報を収集し、より正確な評価を行っていることが推測される。また、評価対象の再生回数やマーカの移動回数は、評価者が評価プロセスにどれだけ積極的に関与しているかを示す指標となる。評価者が評価対象を多く再生し、マーカを頻繁に移動させる場合、その評価者は評価に対して真剣に取り組んでいる可能性が高い。加えて、評価対象の再生回数やマーカの移動回数を分析することで、評価者が評価を行うためにどれだけの時間や労力を費やしているかを把握することができる。これにより、評価プロセスの効率性を評価することができる。たとえば、同じ数の評価対象を評価する際に、一部の評価者が他の評価者よりも再生回数が多く、マーカの移動回数が多い場合、その評価者は評価プロセスにおいてより多くの時間や労力を費やしている可能性がある。以上の利点を考えると、評価対象の再生回数やマーカの移動回数を分析することは、評価者による評価の信頼性や関与度、評価プロセスの効率性を評価する上で有用な手段となる。

【0113】

上述した本実施形態の例では、マーカ配置領域における各評価対象のマーカの初期位置について言及されていないが、特に複数の指標について評価を行う場合には、マーカの位置が全く決まっていない初期の状態において、複数の指標の値をマーカの位置に置き換える（評価の結果に応じてマーカの位置を移動させる）評価のやり方は、評価者にとって困難に感じられることがある。そこで本実施形態では、マーカ配置領域における各評価対象のマーカの初期位置を、マーカの操作（移動）によらない方法で設定するようにしてもよい。

【0114】

例えば情報処理装置は、マーカ配置領域における各評価対象のマーカの初期位置を、予め定められた位置に設定してもよい。この場合、例えば情報処理装置は、各評価対象について予め定めた固定の位置をマーカの初期位置として設定してもよいし、評価者ごとや評価の実施ごとに各評価対象のマーカの初期位置をランダムに決定してもよい。また、一人の評価者が同じ評価対象について過去に評価を実施したことがある場合には、その過去の評価結果（サーバ装置２に収集された過去の評価結果など）に基づいて当該評価対象のマーカの初期位置を設定してもよい。複数の評価者が同じ評価対象について評価を実施している場合には、複数の評価者による評価の結果（例えば指標の値）の平均値に基づいて当該評価対象のマーカの初期値を設定してもよい。

【0115】

また情報処理装置は、マーカ配置領域における各マーカの初期位置を設定するために、各評価対象について評価者により別途実施された評価の結果（例えば指標の値）を取得してもよい。この場合、例えば情報処理装置は、取得した各評価対象の評価結果に基づいて各マーカの初期位置を設定してもよい。

【0116】

また情報処理装置は、マーカ配置領域における各マーカの初期位置を設定するための各評価対象の評価（以下「初期評価」と記す場合がある。）を評価者に実施させてもよい。例えば情報処理装置は、マーカ配置領域における各マーカの初期位置を設定する処理において、評価者により入力される指示に応じて、各評価対象を再生装置（音出力部１４など）により順次に再生し、再生した各評価対象について評価者が与えた初期評価の結果（例えば指標の値）を取得し、取得した各評価対象の初期評価の結果に基づいて各マーカの初期位置を決定してもよい。
この場合、情報処理装置は、再生した各評価対象に対する初期評価の結果をマーカの操作（移動）によらない方法で入力してよい。例えば、情報処理装置は、ラジオボタン、プルダウンリスト等によって所定の複数の指標値から１つの指標値を評価者に選択させる方法や、指標値（数値）を評価者に直接記入させる方法などにより、初期評価の結果を入力してもよい。
またこの場合、情報処理装置は、初期評価のために行う評価対象の再生を予め定めた順序で行ってもよいし、評価者により入力される指示に応じて評価対象の再生の順序を変更できるようにしてもよい。
更にこの場合、情報処理装置は、全ての評価対象について初期評価の結果に応じたマーカの初期位置を決定した後で、初期位置が反映された全ての評価対象のマーカをマーカ配置領域に表示させてもよいし、１つの評価対象について初期評価の結果に応じた１つのマーカの初期位置を決定する度に、初期位置が反映された当該１つのマーカをマーカ配置領域に表示させてもよい。

【0117】

なお、本発明は上述した実施形態にのみ限定されない。前述の各実施形態又はその適用例に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。
例えば、本実施形態における評価対象は音、静止画、動画に限定されず、例えば触覚、嗅覚、味覚などの知覚の少なくとも１つを刺激するものでもよい。その場合、再生装置は、触覚、嗅覚、味覚などの知覚の少なくとも１つを再現する装置でもよく、評価対象データは、それらの装置において所望の知覚を再現するために用いられるデータでもよい。

【0118】

以下、本実施形態に関連する付記を記載する。
［１］
評価者が複数の評価対象にそれぞれ主観的な評価を与えることを情報処理装置が支援する方法であって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
前記情報処理装置が、複数の前記評価対象データと一対一に対応する複数のマーカが配置されたマーカ配置領域を表示装置において表示する工程と、
前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカから選択された１つの前記マーカを移動させる工程と、
前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカから選択された１つの前記マーカに対応する１つの前記評価対象データを前記再生装置において再生する工程と、
前記情報処理装置が、複数の前記評価対象に対する評価結果を取得する工程と
を有し、
前記マーカ配置領域を表示する工程は、前記評価対象への前記評価に関する１以上の指標の各々について、前記マーカ配置領域における前記マーカの位置と前記指標の値との所定の関係を案内する１つ以上の指標案内要素が含まれた前記マーカ配置領域を表示することを含み、
１つの前記評価対象に対する前記評価結果を取得する工程は、
前記マーカ配置領域における複数の前記マーカの位置をそれぞれ取得すること、
又は、
前記マーカ配置領域における複数の前記マーカの位置をそれぞれ取得し、取得した各前記マーカの位置と前記所定の関係とに基づいて、複数の前記評価対象の各々について１以上の前記指標の値を取得すること
を含む、
方法。
［２］
前記情報処理装置が、複数の前記マーカから選択された１つの前記マーカに対応する前記評価対象データを再生しているとき、当該１つのマーカの表示態様を他の前記マーカから区別可能な表示態様に変化させる工程を有する、
［１］に記載の方法。
［３］
前記評価対象データを再生する工程は、前記評価者により入力される指示に応じて複数の前記マーカから１つの前記マーカを選択したとき、及び、前記評価者により入力される指示に応じて当該１つのマーカを移動させているときの少なくとも一方において、当該１つのマーカに対応する１つの前記評価対象データを再生することを含む、
［２］に記載の方法。
［４］
前記評価対象データを再生する工程は、複数の前記マーカから選択された１つの前記マーカに対応する前記評価対象データを再生しているときに、当該１つのマーカの選択を解除する前記評価者の指示が入力されると、前記評価対象データの再生を停止することを含む、
［３］に記載の方法。
［５］
前記情報処理装置が、前記評価者により入力される指示に応じて、前記評価対象データの再生に関わる動作モードを、前記評価対象データの再生が可能な再生可能モード、又は、前記評価対象データの再生を抑止する再生抑止モードに設定する工程を有し、
前記評価対象データを再生する工程は、前記再生抑止モードに設定されている場合、前記評価者により入力される指示に関わらず前記評価対象データの再生を抑止することを含む、
［３］に記載の方法。
［６］
前記情報処理装置が、前記評価者により入力される指示に応じて、前記評価対象データの繰り返し再生数を設定する工程を有し、
前記評価対象データを再生する工程は、１つの前記評価対象データを再生する指示が前記評価者により入力される度に、設定された前記繰り返し再生数だけ当該１つの評価対象データを繰り返し再生することを含む、
［３］に記載の方法。
［７］
前記繰り返し再生数を設定する工程は、前記評価者により入力される指示に応じて、前記繰り返し再生数の制限なしに前記評価対象データを繰り返し再生するループ再生を設定することを含み、
前記評価対象データを再生する工程は、前記ループ再生が設定されている場合、１つの前記評価対象データを再生する前記評価者の指示に応じて、前記繰り返し再生数の制限なしに当該１つの評価対象データを繰り返し再生することを含む、
［６］に記載の方法。
［８］
前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカから選択された２以上の前記マーカについて再生順序を設定する工程を有し、
前記評価対象データを再生する工程は、２以上の前記マーカについて前記再生順序が設定されている場合、当該２以上のマーカに対応する２以上の前記評価対象データを再生する前記評価者の指示に応じて、当該２以上の評価対象データを前記再生順序に応じた順序で再生することを含む、
［２］に記載の方法。
［９］
２以上の前記マーカについて前記再生順序を設定する工程は、前記評価者により入力される指示に応じて、当該２以上のマーカに対応する２以上の前記評価対象データを繰り返し再生するループ再生を設定することを含み、
前記評価対象データを再生する工程は、前記再生順序が設定された２以上の前記マーカについて前記ループ再生が設定されている場合、当該２以上の評価対象データを前記再生順序に応じた順序で繰り返し再生することを含む、
［８］に記載の方法。
［１０］
前記情報処理装置が、前記評価者により入力される指示に応じて、１つの前記評価対象データにおける全体の再生区間の一部を再生対象区間として設定する工程を有し、
前記評価対象データを再生する工程は、１つの前記評価対象データについて前記再生対象区間が設定されている場合、当該１つの評価対象データを再生する前記評価者の指示に応じて当該１つの評価対象データにおける前記再生対象区間を再生することを含む、
［２］に記載の方法。
［１１］
１つの前記評価対象データの前記再生対象区間を設定する工程は、前記評価者により入力される指示に応じて、当該１つの前記評価対象データの前記再生対象区間を繰り返し再生するループ再生を設定することを含み、
前記評価対象データを再生する工程は、前記再生対象区間が設定された１つの前記評価対象データについて前記ループ再生が設定されている場合、当該１つの評価対象データの前記再生対象区間を繰り返し再生することを含む、
［１０］に記載の方法。
［１２］
前記マーカ配置領域を表示する工程は、
前記マーカが配置される直線上の位置を表す１つの座標の値と１つの前記指標の値との関係を案内する前記指標案内要素と、
前記マーカが配置される平面上の位置を表す２つの座標の値と２つの前記指標の値との関係を案内する前記指標案内要素と、
前記マーカが配置される空間上の位置を表す３つの座標の値と３つの前記指標の値との関係を案内する前記指標案内要素と
の少なくとも１つが含まれた前記マーカ配置領域を表示することを含む、
［１］に記載の方法。
［１３］
前記マーカ配置領域を表示する工程は、前記評価者により入力される指示に応じて前記指標案内要素を設定する工程であって、
前記指標案内要素において前記指標を表す１つの語又は２つの対義語を設定することと、
前記指標案内要素において前記指標の値を表す１つ以上の目盛りの有無、及び／又は、１つ以上の前記目盛りの間隔を設定することと、
前記指標案内要素において前記指標の値を表す１つ以上の目盛りに付される１つ以上の目盛りラベルを設定することと、
の少なくとも１つを含んだ工程を有する、
［１］に記載の方法。
［１４］
複数のマーカ関連画像が複数の前記マーカと一対一に対応しており、
前記情報処理装置が、前記マーカ関連画像を前記マーカ配置領域において表示する工程であって、
前記評価者により入力される指示に応じて、複数の前記マーカの各々を、対応する前記マーカ関連画像に置き換えることと、
前記評価者により入力される指示に応じて、複数の前記マーカから選択された１つの前記マーカに対応する前記マーカ関連画像を表示することと、
前記評価者により入力される指示に応じて、対応関係にある１つの前記マーカと１つの前記マーカ関連画像とが互いに関連性を有する表示態様を持つとともに他の前記マーカ及び他の前記マーカ関連画像から区別可能な表示態様を持つように、複数の前記マーカと複数の前記マーカ関連画像とを関連付けて表示することと
の少なくとも１つを含んだ工程を有する、
［１］に記載の方法。
［１５］
前記情報処理装置が、前記評価者により入力される指示に応じて、各前記マーカの表示状態を第１表示状態又は前記第１表示状態より薄い第２表示状態に設定する工程を有し、
前記マーカ配置領域を表示する工程は、前記表示状態の設定に従って、各前記マーカを前記第１表示状態又は前記第２表示状態で表示することを含む、
［１］に記載の方法。
［１６］
前記情報処理装置が、前記評価者により入力される指示に応じて、複数の前記マーカに複数の異なる階層を割り当てる工程を有し、
複数の前記階層には、前記マーカ配置領域における表示順位が定められており、
前記マーカ配置領域を表示する工程は、前記マーカ配置領域における同一の場所に２以上の前記マーカが位置している場合、当該２以上のマーカの中で前記表示順位の最も高い前記階層が割り当てられた前記マーカを当該場所において表示することを含む、
［１５］に記載の方法。
［１７］
前記マーカを移動させる工程は、前記評価者により入力される指示において指定された場所に２以上の前記マーカが位置している場合、当該２以上のマーカの中で前記表示順位の最も高い前記階層が割り当てられた前記マーカを選択し、当該選択したマーカを移動させることを含み、
前記評価対象データを再生する工程は、前記評価者により入力される指示において指定された場所に２以上の前記マーカが位置している場合、当該２以上のマーカの中で前記表示順位の最も高い前記階層が割り当てられた前記マーカを選択し、当該選択したマーカについて前記評価対象データの再生を行うことを含む、
［１６］に記載の方法。
［１８］
前記マーカを移動させる工程は、前記評価者による評価の過程に関する評価過程情報として、
各前記マーカの移動回数と、
各前記マーカの移動距離と、
各前記マーカの移動時間と、
各前記マーカの移動の軌跡に関する情報と
の少なくとも１つを取得することを含む、
［１］に記載の方法。
［１９］
前記評価対象データを再生する工程は、前記評価者による評価の過程に関する評価過程情報として、各前記マーカの再生回数を取得することを含む、
［１］に記載の方法。
［２０］
前記マーカ配置領域における各前記マーカの初期位置を設定する工程であって、
前記評価者により入力される指示に応じて、各前記評価対象を前記再生装置により順次に再生することと、
再生した各前記評価対象について前記評価者が与えた初期評価の結果を取得することと、
取得した各前記評価対象の前記初期評価の結果に基づいて各前記マーカの初期位置を決定することと
を含む工程を有し、
前記マーカ配置領域を表示する工程は、各前記マーカが前記初期位置に配置された前記マーカ配置領域を前記表示装置において表示することを含む、
［１］に記載の方法。
［２１］
評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する処理を情報処理装置に行わせる命令を含んだプログラムであって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
前記命令に従って前記情報処理装置が行う処理は、［１］～［２０］のいずれか一項に記載された方法の各工程を含む、
プログラム。
［２２］
評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する情報処理装置であって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
処理部と、
前記処理部において実行される命令を記憶した記憶部とを有し、
前記処理部が前記命令に従って行う処理は、［１］～［２０］のいずれか一項に記載された方法の各工程を含む、
情報処理装置。
［２３］
評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援する情報処理装置であって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
［１］～［２０］のいずれか一項に記載された方法の各工程を行う手段を有する
情報処理装置。
［２４］
評価者が複数の評価対象にそれぞれ主観的な評価を与えることを支援するシステムであって、
前記評価対象は、音データ、静止画データ及び動画データの少なくとも１つを含んだ評価対象データを再生装置において再生することにより得られる音、静止画及び動画の少なくとも１つを含んだ知覚対象であり、
1つ以上の情報処理装置と、
サーバ装置とを備え、
前記情報処理装置は、［１］～［２０］のいずれか一項に記載された方法の各工程を行う手段を有し、
前記サーバ装置は、複数の前記評価対象に対する評価結果を取得する工程において得られた前記評価結果を１つ以上の前記情報処理装置から収集する、
システム。

【符号の説明】

【0119】

１…情報処理装置、１１…通信部、１２…入力部、１３…表示部、１４…音出力部、１５…記憶部、１５１…プログラム、１６…処理部、２…サーバ装置、５…評価入力用画面、６…マーカ配置領域、７…マーカ表示設定領域、８Ａ，８Ｂ…再生設定領域、９…通信ネットワーク

【要約】

【課題】複数の評価対象に対してより主観的に正しい評価を与えることを支援する方法、プログラム、情報処理装置及びシステムを提供する。
【解決手段】情報処理装置１が行う方法は、複数の評価対象データと一対一に対応する複数のマーカ（Ｍ１～Ｍ７）が配置されたマーカ配置領域６を表示装置において表示する工程と、評価者により入力される指示に応じて、複数のマーカ（Ｍ１～Ｍ７）から選択された１つのマーカを移動させる工程と、評価者により入力される指示に応じて、複数のマーカ（Ｍ１～Ｍ７）から選択された１つのマーカに対応する１つの評価対象データを再生装置において再生する工程と、複数の評価対象に対する評価結果として、マーカ配置領域６におけるマーカの位置を取得する工程とを有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】