特許 7084817 主観評価装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-07

(45)【発行日】2022-06-15

(54)【発明の名称】主観評価装置及びプログラム

(51)【国際特許分類】

   G06F 7/00 20060101AFI20220608BHJP

   G09B 19/00 20060101ALI20220608BHJP

   G06F 7/58 20060101ALI20220608BHJP

【ＦＩ】

G06F7/00

G09B19/00 Z

G06F7/58

【請求項の数】 8

(21)【出願番号】P 2018147962

(22)【出願日】2018-08-06

(65)【公開番号】P2020024520

(43)【公開日】2020-02-13

【審査請求日】2021-07-06

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】杉本 岳大

(72)【発明者】

【氏名】大出 訓史

(72)【発明者】

【氏名】北島 周

【審査官】豊田 真弓

(56)【参考文献】

【文献】特開２０１５－６０５３７（ＪＰ，Ａ）

【文献】特開２００３－３３０７０５（ＪＰ，Ａ）

【文献】特開２００９－１５１４２９（ＪＰ，Ａ）

【文献】特開２０１７－９１１１３（ＪＰ，Ａ）

【文献】特開２０１３－１７８２９４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ７／００

Ｇ０９Ｂ １９／００

Ｇ０６Ｆ ７／５８

(57)【特許請求の範囲】

【請求項1】

並び順のランダムな評価対象を提示する主観評価装置であって、
並び順のランダムな数列を複数本生成する数列生成部と、
複数の評価対象を前記数列に基づいて並べ替える評価対象並べ替え部と、
前記評価対象並べ替え部により並べ替えられた評価対象を提示する評価対象提示部と、を備え、
前記数列生成部は、
それぞれ順列が異なる数列を複数本発生する数列発生部と、
前記数列を記録する数列記録部と、
前記数列記録部に記録されている数列から選択された数列である基準数列と、前記数列記録部に記録されている数列から選択した１本以上の数列である被検出数列との間で、部分的に並び順が共通する数列である共通部分数列を検出する共通部分数列検出部と、
前記共通部分数列検出部によって共通部分数列を検出されなかった被検出数列の中から１本以上の数列を選択して出力するとともに、当該数列を前記基準数列に追加する数列選択出力部と、
を備えることを特徴とする、主観評価装置。

【請求項2】

請求項１に記載の主観評価装置であって、
前記数列選択出力部は、被検出数列のうち、前記共通部分数列の長さが閾値を超えるもの、又は前記共通部分数列の出現回数が閾値を超えるものを除外し、残った被検出数列の中から１本以上の数列を選択することを特徴とする主観評価装置。

【請求項3】

請求項１又は２に記載の主観評価装置であって、
前記数列発生部は、前記共通部分数列検出部が、前記被検出数列の全てに共通部分数列を検出した場合に、新たに数列を発生して前記数列記録部の数列を更新するか、あるいは、前記数列選択出力部が数列を出力するごとに、新たに数列を発生して前記数列記録部の数列を更新することを特徴とする主観評価装置。

【請求項4】

請求項１から３に記載の主観評価装置であって、
前記共通部分数列検出部は、前記基準数列と前記被検出数列との間で前記共通部分数列を検出した場合には、前記基準数列と前記被検出数列との並び順の重複度を求め、
前記数列選択出力部は、前記重複度が最小である数列を選択して出力することを特徴とする主観評価装置。

【請求項5】

請求項４に記載の主観評価装置であって、
前記共通部分数列検出部は、前記共通部分数列の長さｌ、及び長さｌの共通部分数列の出現回数ｍ_lをパラメータとした、次式に示す評価関数Ｅ

【数1】

を用いて前記重複度を算出することを特徴とする主観評価装置。

【請求項6】

請求項４又は５に記載の主観評価装置であって、
前記数列生成部は、
前記共通部分数列検出部が出力する検出結果と被検出数列を受け取り、前記共通部分数列が検出されない被検出数列、あるいは前記重複度が閾値以下の被検出数列が複数本ある場合には、該被検出数列を被編集距離測定数列として選択する被編集距離測定数列選択部と、
前記基準数列と前記被編集距離測定数列との間の編集距離を測定する編集距離測定部と、をさらに備え、
前記数列選択出力部は、前記編集距離が最大の被編集距離測定数列を選択して出力することを特徴とする主観評価装置。

【請求項7】

請求項６に記載の主観評価装置であって、
前記編集距離測定部は、前記編集距離の操作を、１数字、又はブロック単位の数字ごとの置換と移動のみを対象として行うことを特徴とする主観評価装置。

【請求項8】

コンピュータを、請求項１から７のいずれか一項に記載の主観評価装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、並び順のランダムな評価対象を提示する主観評価装置及びプログラムに関する。

【背景技術】

【0002】

複数の評価対象を主観評価する場合、評価者ごとの試行における評価対象の並び順は、順序効果を排除する目的で、何らかのランダム化手法を用いて評価者ごとに並び替える必要がある（例えば、非特許文献３，４参照）。実際の主観評価の手法について記された文献においても、評価対象の並び順をランダム化することが推奨されている（例えば、非特許文献１，２，５参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Recommendation ITU-R BS.1116-3、2015

【文献】Recommendation ITU-R BS.1534-3、2015

【文献】トーガーソン他、「ランダム化比較試験の設計」、日本評論社、2010

【文献】丹後、「無作為化比較試験」、朝倉書店、2003

【文献】渡辺、「オーディオ信号の劣化の評価法」、2007、音響学会誌第63巻、pp.686-692

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、主観評価装置におけるランダム化の手続きは、Ｅｘｃｅｌ（登録商標）に付属するｒａｎｄ関数を利用するなど、計算機のランダム化機能を応用することが多かった。しかし、これらのランダム化アルゴリズムは疑似乱数を利用した仕組みであり、部分的な並び順のランダム性まで保証するものではない。例えば、数列［１ ２ ３ ４ ５］と［３ ４ ５ １ ２］とは異なるが、並び順［１ ２］と［３ ４ ５］は双方で共通している。そのため、計算機が出力した並び順を目視して確認し、並び順に偏りがないかを確認する必要があった。しかしながら、実験実施者によるランダム度合いの評価や特定の並び順の除外は、特定のバイアスが掛かる可能性があり、公正な実験デザインとは言えない場合も出てくる。また、評価対象の個数や試行回数が多い場合は、実験実施者が全ての並び順を管理することは現実的に不可能であり、これらの手法によるランダム化には限界があった。

【0005】

かかる事情に鑑みてなされた本発明の目的は、評価対象の並び順のランダム性を評価することで、並び順がランダム化された評価対象を自動的に提示することが可能な主観評価装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る主観評価装置は、並び順のランダムな評価対象を提示する主観評価装置であって、並び順のランダムな数列を複数本生成する数列生成部と、複数の評価対象を前記数列に基づいて並べ替える評価対象並べ替え部と、前記評価対象並べ替え部により並べ替えられた評価対象を提示する評価対象提示部と、を備え、前記数列生成部は、それぞれ順列が異なる数列を複数本発生する数列発生部と、前記数列を記録する数列記録部と、前記数列記録部に記録されている数列から選択された数列である基準数列と、前記数列記録部に記録されている数列から選択した１本以上の数列である被検出数列との間で、部分的に並び順が共通する数列である共通部分数列を検出する共通部分数列検出部と、前記共通部分数列検出部によって共通部分数列を検出されなかった被検出数列の中から１本以上の数列を選択して出力するとともに、当該数列を前記基準数列に追加する数列選択出力部と、を備えることを特徴とする。

【0007】

さらに、本発明に係る主観評価装置において、前記数列選択出力部は、被検出数列のうち、前記共通部分数列の長さが閾値を超えるもの、又は前記共通部分数列の出現回数が閾値を超えるものを除外し、残った被検出数列の中から１本以上の数列を選択することを特徴とする。

【0008】

さらに、本発明に係る主観評価装置において、前記数列発生部は、前記共通部分数列検出部が、前記被検出数列の全てに共通部分数列を検出した場合に、新たに数列を発生して前記数列記録部の数列を更新するか、あるいは、前記数列選択出力部が数列を出力するごとに、新たに数列を発生して前記数列記録部の数列を更新することを特徴とする。

【0009】

さらに、本発明に係る主観評価装置において、前記共通部分数列検出部は、前記基準数列と前記被検出数列との間で前記共通部分数列を検出した場合には、前記基準数列と前記被検出数列との並び順の重複度を求め、前記数列選択出力部は、前記重複度が最小である数列を選択して出力することを特徴とする。

【0010】

さらに、本発明に係る主観評価装置において、前記共通部分数列検出部は、前記共通部分数列の長さｌ、及び長さｌの共通部分数列の出現回数ｍ_lをパラメータとした、次式に示す評価関数Ｅ

【数1】

を用いて前記重複度を算出することを特徴とする。

【0011】

さらに、本発明に係る主観評価装置において、前記数列生成部は、前記共通部分数列検出部が出力する検出結果と被検出数列を受け取り、前記共通部分数列が検出されない被検出数列、あるいは前記重複度が閾値以下の被検出数列が複数本ある場合には、該被検出数列を被編集距離測定数列として選択する被編集距離測定数列選択部と、前記基準数列と前記被編集距離測定数列との間の編集距離を測定する編集距離測定部と、をさらに備え、前記数列選択出力部は、前記編集距離が最大の被編集距離測定数列を選択して出力することを特徴とする。

【0012】

さらに、本発明に係る主観評価装置において、前記編集距離測定部は、前記編集距離の操作が１数字、又はブロック単位の数字ごとの置換と移動のみを対象とすることを特徴とする。

【0013】

さらに、本発明に係る主観評価装置において、前記数列発生部は、予め除外すべき数列又は共通部分数列を入力し、該数列の発生を禁止することが望ましい。

【0014】

さらに、本発明に係る主観評価装置において、前記数列発生部は、発生対象の数をカテゴリー別に複数のグループに分類し、層別ランダム化、及び適応的ランダム化の少なくとも一方を用いて数列を発生させることが望ましい。

【0015】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記主観評価装置として機能させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、並び順がランダム化された評価対象を自動的に提示することが可能になる。

【図面の簡単な説明】

【0017】

【図1】本発明の第１の実施形態に係る主観評価装置の構成例を示すブロック図である。

【図2】本発明の第１の実施形態に係る主観評価装置の数列生成部の構成例を示すブロック図である。

【図3】本発明の第１の実施形態に係る主観評価装置の共通部分数列検出部における検出例を示す図である。

【図4】本発明の第１の実施形態に係る主観評価装置の共通部分数列検出部における共通部分数列検出用の疑似ＭＡＴＬＡＢコードを示す図である。

【図5】図４に示した疑似ＭＡＴＬＡＢコードによる検出結果を示す図である。

【図6】本発明の第１の実施形態に係る主観評価装置の共通部分数列検出部における重複度の検出例を示す図である。

【図7】本発明の第２の実施形態に係る主観評価装置の構成例を示すブロック図である。

【図8】本発明の第２の実施形態に係る主観評価装置の数列生成部の構成例を示すブロック図である。

【図9】本発明の第２の実施形態に係る主観評価装置の編集距離測定部が測定するブロック編集距離の測定例を示す図である。

【図10】本発明の第２の実施形態に係る主観評価装置における数列生成の動作例を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0019】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る主観評価装置の構成例を示す図である。主観評価装置１は、並び順のランダムな評価対象を評価者に提示する装置であり、数列生成部１０と、評価対象記録部２０と、評価対象並べ替え部３０と、評価対象提示部４０と、評価結果記録部５０とを備える。

【0020】

評価対象記録部２０は、主観評価の対象となる複数の評価対象（例えば、文書データ、画像データ、音声データなど）を記録する。

【0021】

数列生成部１０は、数列の長さｌ、及び必要な数列の本数ｘ（ｘ≧１）を入力し、並び順のランダムな長さｌの数列をｘ本生成し、評価対象並べ替え部３０に出力する。詳細については後述する。

【0022】

評価対象並べ替え部３０は、評価対象記録部２０から複数の評価対象を取得し、取得した複数の評価対象を、数列生成部１０により生成された数列に基づいて並べ替え、並べ替えた評価対象を評価対象提示部４０に出力する。例えば、評価対象記録部２０から取得した評価対象がＡ，Ｂ，Ｃ，Ｄ，Ｅの５つで、数列生成部１０により生成された数列が［３ １ ５ ２ ４］であった場合には、Ａ，Ｂ，Ｃ，Ｄ，Ｅをそれぞれ３，１，５，２，４番目に並べ替える。あるいは、Ａ，Ｂ，Ｃ，Ｄ，Ｅにそれぞれ１～５を付与し、数列生成部１０により生成された数列の順に並べ替えてもよい。その場合、数列生成部１０により生成された数列が［３ １ ５ ２ ４］であった場合には、評価対象はＣ，Ａ，Ｅ，Ｂ，Ｄの順に並び替えられる。

【0023】

評価対象提示部４０は、評価対象並べ替え部３０により並べ替えられた評価対象を評価者に提示する。例えば、評価対象が文書データ又は画像データである場合には、評価対象をディスプレイに表示し、評価対象が音声データである場合には、評価対象をスピーカから出力する。評価対象提示部４０は、評価対象を１つずつ評価者に提示し、評価者は評価対象を１つずつ評価する。

【0024】

評価結果記録部５０は、評価者による評価対象の評価結果を記録する。

【0025】

次に、数列生成部１０について詳細に説明する。

【0026】

図２は、数列生成部１０の構成例を示す図である。数列生成部１０は、数列発生部１１と、数列記録部１２と、共通部分数列検出部１３と、数列選択出力部１４とを備える。

【0027】

数列発生部１１は、数列の長さ（数字の個数、ここではｎ）と必要な数列の本数ｘを入力し、それぞれ順列が異なる数列を複数本発生する。数列の発生には、既知の疑似乱数生成アルゴリズムを用いることができる。例えば、数列発生部１１は、発生対象の数をカテゴリー別に複数のグループに分類し、層別ランダム化、及び適応的ランダム化（最小化）の少なくとも一方を用いて数列を発生させる。これらのランダム化手法を用いることで、複数カテゴリー間での選択頻度のバランスを取るとともに、同一のカテゴリーに選択が集中しないように制御することができるため、ランダム化に好適である。

【0028】

また数列発生部１１は、予め除外すべき数列又は共通部分数列を入力しておくことにより、該数列の発生を禁止することも可能である。このようにすることで、評価対象記録部２０での記録順が既知の場合に、主観評価上、偏った結果につながりやすい評価対象の並び順（差の小さい群や特定のカテゴリーに属する群の連続）を避けることができるため、ランダム化に好適である。

【0029】

数列記録部１２は、数列発生部１１により発生された、ｘ本の長さｎの数列を記録する。

【0030】

共通部分数列検出部１３は、数列記録部１２に記録されている数列から無作為に１本の数列を選択して数列記録部１２から消去して基準数列とするとともに、当該基準数列を数列生成部１０から出力する。そして、基準数列と、数列記録部１２に記録されている数列から任意に選択された1本以上の被検出数列との間で、部分的に並び順が共通する数列（以下、「共通部分数列」という。）を検出し、数列選択出力部１４に出力する。

【0031】

数列選択出力部１４は、共通部分数列検出部１３によって共通部分数列が検出されなかった被検出数列が存在する場合には、共通部分数列が検出されなかった被検出数列の中から１本以上の数列を選択して出力する。

【0032】

数列選択出力部１４は、被検出数列のうち、共通部分数列の長さが閾値を超えるもの、及び／又は、共通部分数列の出現回数が閾値を超えるものを除外し、残った被検出数列の中から１本以上の数列を選択して出力してもよい。例えば、共通部分数列検出部１３によって共通部分数列を検出されなかった被検出数列が１本のみである場合、数列選択出力部１４は、共通部分数列を検出されなかった被検出数列を出力するとともに、共通部分数列を検出された被検出数列のうち、共通部分数列の長さ及び出現回数が閾値以下の被検出数列を出力するようにしてもよい。

【0033】

また、共通部分数列検出部１３は、基準数列と被検出数列との間で共通部分数列が検出された場合には、基準数列と被検出数列との間の、並び順の重複度（数字の隣接頻度）を算出するようにしてもよい。

【0034】

共通部分数列検出部１３が重複度を算出する場合には、数列選択出力部１４は、被検出数列の中から重複度の小さい順に１本以上の数列を選択して出力する。

【0035】

共通部分数列検出部１３が、被検出数列の全てに共通部分数列を検出した場合には、数列発生部１１は新たに数列を発生し、共通部分数列検出部１３によって共通部分数列が検出されなくなるまで、数列記録部１２の数列を更新するようにしてもよい。同様に、重複度が閾値を超える場合には、数列発生部１１は新たに数列を発生し、数列記録部１２の数列を更新するようにしてもよい。

【0036】

また、数列発生部１１は、数列選択出力部１４が数列を出力するごとに、新たに数列を発生し、数列記録部の数列を更新するようにしてもよい。

【0037】

共通部分数列検出部１３は、基準数列格納部１３１と、被検出数列格納部１３２と、検出部１３３とを備える。

【0038】

初回限定の処理として、基準数列格納部１３１は、数列記録部１２に記録されている任意の数列ａ_iを取得し、数列記録部１２から数列ａ_iを削除した上で、基準数列とし格納するとともに、数列生成部１０から出力する。

【0039】

被検出数列格納部１３２は、数列記録部１２に記録されている数列ａ_i以外の数列の中から任意の本数の数列を取得し、被検出数列として格納する。

【0040】

検出部１３３は、基準数列と被検出数列との間の共通部分数列を総当たりで検出し、検出結果を数列選択出力部１４に出力する。

【0041】

検出部１３３は、共通部分数列を検出した場合には、基準数列と前記被検出数列との並び順の重複度（数字の隣接頻度）を算出し、重複度を各被検出数列に紐づけて数列選択出力部１４に出力してもよい。具体的には、共通部分数列の長さｌ、及び長さｌの共通部分数列の本数（出現回数）ｍ_lを記憶する。そして、長さｌの共通部分数列に関する評価関数Ｅ_lを、式（１）に示すようにｌ及びｍ_lをパラメータとして定義することにより、重複度を算出する。

【0042】

【数2】

【0043】

図３に、一組の数列に関する共通部分数列検出部１３の検出例を示す。ここでは基準数列［１ ２ ３ ４ ５ ６ ７ ８ ９ １０］と、被検出数列［３ ４ ５ ６ ９ １ ２ １０ ７ ８］について、共通部分数列の長さごとに検出された回数を記録し、評価関数Ｅ_lを定義する。この例では、基準数列と被検出数列との間に、長さｌ＝４の共通部分数列［３ ４ ５ ６］が存在し（出現回数ｍ₄＝１）、長さｌ＝２の共通部分数列［１ ２］及び［７ ８］（出現回数ｍ₂＝２）が存在する。

【0044】

共通部分数列に関する重複度は、例えば、式（２）に示す、式(１)をｌに関して総和した評価関数Ｅ＾を用いて、数値化することができる。図３に示す例では、Ｅ＾＝Ｅ₂＋Ｅ₄＝２＋３＝５となる。

【0045】

【数3】

【0046】

なお、評価関数Ｅ＾は式(２)に限定されることはなく、長さｌや出現回数ｍ_lの大きさで評価することも可能であるし、長さｌや出現回数ｍ_lを指数関数の指数として取り扱うことも可能である。また、長さｌの最大値がｎ－１であるのは、数列発生部１１が互いに完全に一致する数列を発生しないことを前提としているからである。そのため、数列発生部１１のアルゴリズムによっては互いに完全に一致する数列を発生する可能性がある場合には、長さｌの最大値をｎとしてもよい。

【0047】

図４に、共通部分数列検出用の疑似ＭＡＴＬＡＢコード（登録商標）の一例を示す。scoreTabに共通部分数列の場所と長さを格納する仕組みである。

【0048】

図５に、図４に示した疑似ＭＡＴＬＡＢコードによる検出結果を示す。scoreTabは斜め右下方向に共通部分数列の長さがインクリメントされる仕組みになっている。１のみの場合は１数字だけの重複なので、共通部分数列ではない。図５から、長さｌ＝２の共通部分数列が２本（出現回数ｍ_l＝２）、長さｌ＝４の共通部分数列が１本（出現回数ｍ_l＝１）検出されたことが分かる。

【0049】

数列選択出力部１４は、重複度が最も小さい数列を選択し、評価対象並べ替え部３０に出力する。数列選択出力部１４は、出力した被検出数列の情報を数列記録部１２に送り、該数列は数列記録部１２から消去される。また、数列選択出力部１４は、出力した被検出数列を基準数列格納部１３１に格納し、基準数列に追加する。これにより、数列選択出力部１４が次に出力する数列は、過去に出力した全ての数列に対して重複度が小さい数列となる。

【0050】

また、数列選択出力部１４は、出力した数列の情報、及び重複度が閾値を超えた被検出数列の情報を被検出数列格納部１３２に送り、該数列は被検出数列格納部１３２から消去され、出力した数列が追加で基準数列格納部１３１に格納される。なお、被検出数列格納部１３２から消去された数列分の格納領域に、数列記録部１２から追加の数列を補充してもよいし、毎回、被検出数列格納部１３２の全数列を更新してもよい。

【0051】

２本目以降の数列を出力するにあたり、共通部分数列検出部１３は基準数列格納部１３１に格納されている複数の数列と、被検出数列格納部１３２に格納されている複数の数列との間の共通部分数列に関して、総当たりで評価する。数列選択出力部１４は前のプロセス同様、総当たりの検出結果から出力する数列を決定する。

【0052】

図６に、共通部分数列検出部１３に入力された全ての数列の組み合わせ、及び重複度の検出例を示す。基準数列格納部１３１に数列ｒ_iが、被検出数列格納部１３２に数列ｐ_iが格納されているものとする。前述のように検出は総当たりになるので、各被検出数列の重複度Ｅ＾_piは式（３）により表される。

【0053】

【数4】

【0054】

数列選択出力部１４は、共通部分数列検出部１３により検出された重複度Ｅ＾_piを用いて、出力する数列を決定する。図６の例では、重複度Ｅ＾_piが最も低い数列ｐ₂を出力する。

【0055】

なお、本発明は数列のみならず文字列にも応用可能である。また、同じ数字を複数回用いる数列の場合は、［１ １ ２ ２］を［１ ２ ３ ４］のように便宜的に異なる数字を割り当てておくことで、本発明の手法を適用することができる。

【0056】

以上、主観評価装置１について説明したが、主観評価装置１として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、主観評価装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0057】

以上説明したように、第１の実施形態では、基準数列と被検出数列との間で、共通部分数列を検出して重複度の低い数列を選択し、評価対象を重複度の低い数列に基づいて並べ替える。かかる構成により、主観評価装置１は、並び順がランダム化された、すなわち重複度が低く並び順に偏りが少ない評価対象を自動的に生成することが可能となる。

【0058】

（第２の実施形態）
次に、本発明の第２の実施形態に係る主観評価装置について説明する。

【0059】

図７は、本発明の第２の実施形態に係る主観評価装置の構成例を示す図である。第２の実施形態に係る主観評価装置２は、第１の実施形態に係る主観評価装置１と比較して、数列生成部１０に代えて数列生成部１０’を備える点が相違する。その他の構成は同一であるため、以下、数列生成部１０’について説明する。

【0060】

図８は、数列生成部１０’の構成例を示す図である。数列生成部１０’は、数列発生部１１と、数列記録部１２と、共通部分数列検出部１３と、数列選択出力部１４と、被編集距離測定数列選択部１５と、編集距離測定部１６とを備える。数列生成部１０’は、第１の実施形態に示した数列生成部１０と比較して、被編集距離測定数列選択部１５及び編集距離測定部１６をさらに備える点が相違する。

【0061】

数列生成部１０’は、共通部分数列とともに編集距離も勘案して数列を選択する。ここで、編集距離とは、数列に対する数字の挿入・削除・置換などによって一方の数列をもう一方の数列に一致させるのに必要な操作回数のことであり、回数が多いほど距離が遠いことになる。

【0062】

共通部分数列検出部１３は、基準数列格納部１３１内の基準数列を編集距離測定部１６に出力する。また、共通部分数列検出部１３は、被検出数列及び重複度を出力し、被編集距離測定数列選択部１５に出力する。

【0063】

被編集距離測定数列選択部１５は、共通部分数列検出部１３の検出結果に基づき、共通部分数列が検出されない被検出数列が複数本ある場合、あるいは重複度が最小又は閾値以下で等しい被検出数列が複数本ある場合には、該被検出数列を選択し、被編集距離測定数列として編集距離測定部１６に出力する。一方、共通部分数列が検出されない被検出数列、あるいは重複度が最小又は閾値以下の被検出数列が１本しかない場合には、被編集距離測定数列選択部１５は、編集距離測定そのものをパスして、該被検出数列を数列選択出力部１４に出力する。

【0064】

編集距離測定部１６は、基準数列と被編集距離測定数列との間の編集距離を測定し、測定結果と被編集距離測定数列を数列選択出力部１４に出力する。

【0065】

数列選択出力部１４は、編集距離が最大の被編集距離測定数列を選択して出力する。

【0066】

既存の編集距離には、Levenshtein距離（１数字の挿入・削除・置換）、Damerau-Levenshtein距離（１数字の挿入・削除・置換・移動）、移動付き編集距離（１数字の挿入・削除・置換・複数数字の移動）などがあり、これらを応用することも可能である。しかしながら、数字が重複せず、かつ長さが一定の数列発生に関しては、挿入及び削除は編集操作として適当ではない。そこで、編集距離測定部１６は、編集距離の操作を、１数字、又はブロック単位の数字ごとの置換と移動のみを対象として行うのが好適である。このような、１数字、又はブロック単位の数字ごとの置換及び移動のみを対象とした編集距離のことを、以下、「ブロック編集距離」という。

【0067】

図９に、編集距離測定部１６が測定するブロック編集距離の測定例を示す。基準数列を［１ ２ ３ ４ ５ ６ ７ ８ ９ １０］とし、被編集距離測定数列を［３ ４ ５ ６ ９ １ ２ １０ ７ ８］とした場合の、基準数列から被編集距離測定数列までのブロック編集距離の測定過程を示す。この例では、編集１回目では、基準数列に対してブロック単位の数字［３ ４ ５ ６］を移動させている。編集２回目では、編集１回目の数列に対してブロック単位の数字［７ ８］を移動させている。編集３回目では、編集２回目の数列に対してブロック単位の数字１数字［９］を移動させている。編集３回目で被編集距離測定数列と一致するため、この場合のブロック編集距離は「３」になる。

【0068】

図１０は、数列生成部１０’における数列生成の動作例を示すフローチャートである。まず数列発生部１１により、発生する数列の長さと本数を取得し（ステップＳ１０１）、その条件に合わせて数列を発生する（ステップＳ１０２）。

【0069】

基準数列が基準数列格納部１３１に格納されていない場合には（ステップＳ１０３－Ｎｏ）、発生された数列の中から基準数列を選択し、基準数列格納部１３１に格納する（ステップＳ１０４）。そして、検出部１３３により共通部分数列を検出する（ステップＳ１０５）。一方、基準数列が基準数列格納部１３１に格納されている場合には（ステップＳ１０３－Ｙｅｓ）、ステップＳ１０４をスキップし、検出部１３３により共通部分数列を検出する（ステップＳ１０５）。

【0070】

ステップＳ１０５により共通部分数列を検出した結果、重複度が最小の数列が１本の場合には（ステップＳ１０６－Ｙｅｓ）、そのままその数列を出力する（ステップＳ１０９）。

【0071】

一方、共通部分数列が検出されない場合、あるいは重複度が閾値以下の被検出数列が複数本ある場合など、重複度が最小の数列が１本でない場合には（ステップＳ１０６－Ｎｏ）、被編集距離測定数列選択部１５によりそれらを被編集距離測定数列として選択し（ステップＳ１０７）、編集距離測定部１６により基準数列との間の編集距離を測定する（ステップＳ１０８）。その結果、数列選択出力部１４により編集距離の最も大きい数列を出力するとともに、該数列を基準数列格納部１３１に格納して基準数列に追加する（ステップＳ１０９）。

【0072】

この時点までに所定の本数の数列が生成されていた場合には（ステップＳ１１０－Ｙｅｓ）、生成処理を終了し、所定の本数に満たない場合には（ステップＳ１１０－Ｎｏ）、共通部分数列の検出（ステップＳ１０５）に戻って、所定の本数の数列を生成し終えるまでステップＳ１０５からステップＳ１０９までの処理を繰り返す。

【0073】

以上、主観評価装置２について説明したが、主観評価装置２として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、主観評価装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどの記録媒体であってもよい。

【0074】

以上説明したように、第２の実施形態では、基準数列と被検出数列との間で共通部分数列が検出されない場合、あるいは重複度が閾値以下の被検出数列が複数本ある場合には、基準数列と被編集距離測定数列との間で編集距離を測定し、編集距離が最大の被編集距離測定数列を選択して出力する。かかる構成により、重複度が最小の数列が１本でない場合であっても、数列選択出力部１４は数列を選択することができ、主観評価装置２は並び順がランダム化された評価対象を自動的に生成することが可能となる。

【0075】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0076】

１，２ 主観評価装置
１０，１０’ 数列生成部
１１ 数列発生部
１２ 数列記録部
１３ 共通部分数列検出部
１４ 数列選択出力部
１５ 被編集距離測定数列選択部
１６ 編集距離測定部
２０ 評価対象記録部
３０ 評価対象並べ替え部
４０ 評価対象提示部
５０ 評価結果記録部
１３１ 基準数列格納部
１３２ 被検出数列格納部
１３３ 検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】