特開 2016-218527 スコア付与対象を分類可能な装置、システム、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-218527(P2016-218527A)

(43)【公開日】2016年12月22日

(54)【発明の名称】スコア付与対象を分類可能な装置、システム、プログラム及び方法

(51)【国際特許分類】

   G06F 17/30 20060101AFI20161125BHJP

【ＦＩ】

   G06F17/30 210D

   G06F17/30 220Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【全頁数】22

(21)【出願番号】特願2015-99423(P2015-99423)

(22)【出願日】2015年5月14日

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】野垣内 出

(57)【要約】

【課題】過大な工数をかけずに評価品質を安定させつつ、複数のスコア付与対象をスコアに関して分類することができる装置を提供する。
【解決手段】本対象分類装置は、スコアを付与すべきスコア付与対象に対し、評価項目についての点数を決定する評価点決定手段と、評価項目によって張られる空間においてスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、１つのクラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、この提示に応じて付与されたスコアを取得するスコア取得手段と、２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段とを有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

スコアを付与すべき複数のスコア付与対象をスコアに関して分類する対象分類装置であって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
前記２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有することを特徴する対象分類装置。

【請求項2】

前記クラスタリング手段は、前記クラスタ判定手段が当該クラスタに属するスコア付与対象はスコアに関して互いに同類ではないと判定した場合、当該空間においてスコアに関し同類であると判定されていないスコア付与対象を、再度クラスタリングし、新たなクラスタを生成することを特徴する請求項１に記載の対象分類装置。

【請求項3】

前記クラスタリング手段は、当該評価項目の点数で規定される距離が定義された距離空間においてクラスタリングを行い、
前記付与対象提示手段は、当該クラスタの代表となるスコア付与対象と、当該クラスタ内で当該代表となるスコア付与対象から最も離隔した若しくは所定距離以上離隔したスコア付与対象とを、又は当該クラスタ内で最も離隔した若しくは所定距離以上離隔した２つのスコア付与対象を、前記２つのスコア付与対象として抽出する
ことを特徴とする請求項１又は２に記載の対象分類装置。

【請求項4】

予めスコアの付与された複数のスコア付与対象における当該スコアと、当該複数のスコア付与対象について決定された当該評価項目の点数とに基づいて、当該評価項目の重み係数を決定する重み係数決定手段を更に有し、
前記クラスタリング手段は、当該評価項目の点数及び重み係数で規定される距離が定義された距離空間においてクラスタリングを行う
ことを特徴とする請求項１から３のいずれか１項に記載の対象分類装置。

【請求項5】

当該クラスタの代表となる又は当該クラスタから抽出される１つのスコア付与対象における少なくとも１つの評価項目に係る点数及び当該評価項目の重み係数に基づいてスコアを算出し、算出された当該スコアを当該１つのスコア付与対象に付与するスコア付与手段
を更に有することを特徴とする請求項４に記載の対象分類装置。

【請求項6】

前記クラスタリング手段は、予めスコアの付与されたスコア付与対象を含むスコア付与対象群をクラスタリングすることを特徴とする請求項１から５のいずれか１項に記載の対象分類装置。

【請求項7】

当該スコア付与対象は、作成されたソフトウェアであることを特徴とする請求項１から６のいずれか１項に記載の対象分類装置。

【請求項8】

前記評価点決定手段は、当該点数を決定する評価項目として、定義された関数に含まれる基本関数の数に基づいて決定される複雑度、関数及びデータの総ライン数に基づいて決定される総ライン度、コメント又は説明を含む文章の総ライン数に基づいて決定されるコメント度、及び所定のデータを入力した際に正解データが出力される割合に基づいて決定される正解度を含む群から選択された少なくとも１つを採用することを特徴とする請求項７に記載の対象分類装置。

【請求項9】

スコアを付与すべき複数のスコア付与対象を格納するデータベース部を備え、前記複数のスコア付与対象をスコアに関して分類する対象分類システムであって、
前記データベース部に格納された当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
前記２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有することを特徴する対象分類システム。

【請求項10】

スコアを付与すべき複数のスコア付与対象をスコアに関して分類する装置に搭載されたコンピュータを機能させる対象分類プログラムであって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
前記２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
してコンピュータを機能させることを特徴する対象分類プログラム。

【請求項11】

スコアを付与すべき複数のスコア付与対象をスコアに関して分類する装置における対象分類方法であって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定するステップと、
当該評価項目によって張られる空間において前記複数のスコア付与対象をクラスタリングし、クラスタを生成するステップと、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行うステップと、
当該提示に応じて付与されたスコアを取得するステップと、
前記２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するステップと
を有することを特徴する対象分類方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データを所定の評価基準に基づいて分類するデータ分類技術に関する。

【背景技術】

【0002】

従来、教育の現場では、様々な実習が行われ、実習者の作成した成果物を評価者が評価するといったことが頻繁に実施されている。例えば、現在、プログラミング技術を習得することが学校や企業において重要視されており、ソフトウェアを作成する実習が広く行われている。

【0003】

このソフトウェア作成実習では、評価者が実習者の作成したソフトウェアを１つ１つ手作業で採点、評価することが一般的である。実習者が多い場合、当然ながら評価者の負担は過大となってしまう。

【0004】

これに対し、例えば非特許文献１には、ウェブページやプレゼンテーション資料等の実習での成果物を、生徒間で相互に評価させるためのソフトウェアが開示されている。実際、最近の学校や企業でのソフトウェア作成実習では、同じ課題に対する成果物をクラスや部内の全員で作成し、これらの成果物を全員で評価するといったことが行われている。非特許文献１に記載のソフトウェアは、集計を含めこのような作業を支援する。この際、評価項目と当該項目についての配点とは予め設定されたものが使用される。また、実習者は自分を除いた全員の成果物を評価する。ここで、最終的に個々の成果物の評価値の全体での平均が、その成果物の評価値となる。

【0005】

また、例えば特許文献１には、記述式の解答を求める問題に対する答案データの採点を支援する採点支援装置が開示されている。この装置には、複数の学習者の解答データとその解答データに付けられた採点情報とが格納される。解答データには、当初採点情報は対応付けられていないが、採点者が採点を行うにつれて採点情報が対応付けられていく。その後、解答間の類似性を判定し、採点中の解答データと類似する解答データの採点情報を収集して採点案を生成する。さらに、生成した採点案を採点者に表示し、採点案の確認や修正を行わせることによって解答データに対する採点情報を作成している。

【0006】

さらに、例えば特許文献２には、テキストファイルで構成されたプロダクトを、類似したプロダクト毎に分類する分類システムが開示されている。このシステムでは、複数の設計書及びソースコードに含まれる文字列の間の類似度に基づいて複数のプロダクトのクラスタリングを行う。次いで、クラスタリングの結果を用いて決定した閾値を用いて複数のプロダクトを第１及び第２プロダクト群に分類し、さらに、第１プロダクト群と第２プロダクト群とを第３プロダクト群として統合している。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００７−２８６４０９号公報

【特許文献2】特開２０１２−２５２５１９号公報

【非特許文献】

【0008】

【非特許文献1】中島 聡、「成果物の生徒間相互評価用ソフトウェアの開発と複数回評価での運用」、埼玉県高等学校情報教育研究会 会誌1号、［online］、［平成２７年５月１日検索］、インターネット＜URL: http://members3.jcom.home.ne.jp/tadashi-nakajima/binary/report2004.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、上述した非特許文献１や特許文献１及び２に記載されたような従来技術をもってしてもなお、実習者による成果物の種類によっては評価に多大な工数がかかり、評価品質も安定し難いという問題が生じていた。

【0010】

例えば、非特許文献１に記載の技術では、集計に非常に多くの手間がかかり、さらに、結局、評価結果が実習者全体での作成能力の分布に依存してしまう。

【0011】

また、特許文献１に記載の技術は、記述文における類似性を判定している。このような自由な構造を有する自然言語を用いた記述文における手法を、例えば成果物としてのソフトウェアにそのまま適用して類似度を判定することは困難である。実際、ソフトウェアは人工言語であって、その評価には、一般に、形式面でも論理面でも記述文には求められない厳密さが要求される。このため、見方によっては、人工言語の類似性の判定は自然言語のそれより単純であるともいえるが、現実にソフトウェアの類似性を考察しようとすると、自然言語を用いた記述文には存在しない、より深い処理が必要となる。

【0012】

ここで、特許文献１では類似性判定の詳細が説明されていないが、１つの例として、記述文で使用された単語の数や比率に基づいて類似度を算定する手法を適用することを考える。この場合、語彙数の厖大な自然言語を用いた記述文においては、似たような単語が出現すれば比較対象間の傾向が似ていると判断することも可能であると考えられる。しかしながら、人工言語を用いた作成ソフトウェアでは、例えば同一の関数名が出現したとしても、それだけでは同一動作が可能なソフトウェアである、と判断することは到底できない。そのため、作成ソフトウェアの場合、例えば具体的にどのような処理を行っているか等の、より深い類似性判断を行って対象を分類することが必要となってしまう。

【0013】

一方、特許文献２に記載の技術は、作成ソフトウェア間の類似度を用いて作成ソフトウェアのクラスタリングを行っている。しかしながら、この技術では、設計書の存在を前提としており、例えばソフトウェアの実習といった場面には適用が困難である。実際、ソフトウェア実習では、設計書が無い場合や同一の設計書を前提としている場合がほとんどである。また、特許文献２に記載の技術では、プログラムの類似度を文字列の比較のみで判定している。従って、とりあえず互いに同程度の機能を有しているがソフトウェアとしての分かり易さ等に差異がある対象に対し、適切な評価の差を与えることが困難となっている。

【0014】

このように、従来のソフトウェアの自動評価手法の多くは、工業的に生産されたソフトウェアを対象としており、評価基準は、仕様に合っているか、動作が安定しているか等が主となる。その結果、実習の成果物としての作成ソフトウェアの評価、例えば品質やソフトウェアとしての分かり易さ等、には適さないものがほとんどである。

【0015】

さらに、実習者による成果物を採点する場合、即ち当該成果物に対しスコアを付与する場合、収集した成果物としてのスコア付与対象を、スコアについて如何に分類するかが、過大な工数をかけずに評価品質を安定させる上で非常に重要な技術事項となる。ここで、評価品質の安定は、評価者の評価方針・意向を適切に取り入れ、対象の分類に反映させることによって初めて実現される。従来、このような観点から実習者による成果物を評価する手法は何ら提案されてこなかった。

【0016】

そこで、本発明は、過大な工数をかけずに評価品質を安定させつつ、スコア付与対象をスコアに関して分類することができる装置、システム、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0017】

本発明によれば、スコアを付与すべき複数のスコア付与対象をスコアに関して分類する対象分類装置であって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有する対象分類装置が提供される。

【0018】

この本発明による対象分類装置において、クラスタリング手段は、クラスタ判定手段が当該クラスタに属するスコア付与対象はスコアに関して互いに同類ではないと判定した場合、当該空間においてスコアに関し同類であると判定されていないスコア付与対象を、再度クラスタリングし、新たなクラスタを生成することも好ましい。

【0019】

また、本発明による対象分類装置の一実施形態として、
クラスタリング手段は、当該評価項目の点数で規定される距離が定義された距離空間においてクラスタリングを行い、
付与対象提示手段は、当該クラスタの代表となるスコア付与対象と、当該クラスタ内で当該代表となるスコア付与対象から最も離隔した若しくは所定距離以上離隔したスコア付与対象とを、又は当該クラスタ内で最も離隔した若しくは所定距離以上離隔した２つのスコア付与対象を、２つのスコア付与対象として抽出することも好ましい。

【0020】

さらに、本発明による対象分類装置の他の実施形態として、
予めスコアの付与された複数のスコア付与対象における当該スコアと、当該複数のスコア付与対象について決定された当該評価項目の点数とに基づいて、当該評価項目の重み係数を決定する重み係数決定手段を更に有し、
クラスタリング手段は、当該評価項目の点数及び重み係数で規定される距離が定義された距離空間においてクラスタリングを行うことも好ましい。

【0021】

また、上記の重み係数決定手段を用いる実施形態において、当該クラスタの代表となる又は当該クラスタから抽出される１つのスコア付与対象における少なくとも１つの評価項目に係る点数及び当該評価項目の重み係数に基づいてスコアを算出し、算出された当該スコアを当該１つのスコア付与対象に付与するスコア付与手段を更に有することも好ましい。

【0022】

さらに、本発明による対象分類装置において、クラスタリング手段は、予めスコアの付与されたスコア付与対象を含むスコア付与対象群をクラスタリングすることも好ましい。また、

【0023】

また、本発明による対象分類装置において、当該スコア付与対象は、作成されたソフトウェアであることも好ましい。さらに、この場合、評価点決定手段は、当該点数を決定する評価項目として、
（ａ）定義された関数に含まれる基本関数の数に基づいて決定される複雑度、
（ｂ）関数及びデータの総ライン数に基づいて決定される総ライン度、
（ｃ）コメント又は説明を含む文章の総ライン数に基づいて決定されるコメント度、及び
（ｄ）所定のデータを入力した際に正解データが出力される割合に基づいて決定される正解度
を含む群から選択された少なくとも１つを採用することも好ましい。

【0024】

本発明によれば、また、スコアを付与すべき複数のスコア付与対象を格納するデータベース部を備え、複数のスコア付与対象をスコアに関して分類する対象分類システムであって、
データベース部に格納された当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
を有する対象分類システムが提供される。

【0025】

本発明によれば、さらに、スコアを付与すべき複数のスコア付与対象をスコアに関して分類する装置に搭載されたコンピュータを機能させる対象分類プログラムであって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する評価点決定手段と、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するクラスタリング手段と、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う付与対象提示手段と、
当該提示に応じて付与されたスコアを取得するスコア取得手段と、
２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するクラスタ判定手段と
してコンピュータを機能させる対象分類プログラムが提供される。

【0026】

本発明によれば、さらにまた、スコアを付与すべき複数のスコア付与対象をスコアに関して分類する装置における対象分類方法であって、
当該スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定するステップと、
当該評価項目によって張られる空間において複数のスコア付与対象をクラスタリングし、クラスタを生成するステップと、
１つの当該クラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行うステップと、
当該提示に応じて付与されたスコアを取得するステップと、
２つのスコア付与対象に付与された両スコアが一致する場合、又は当該両スコアの差若しくは比率が所定範囲内である場合、当該クラスタに属するスコア付与対象はスコアに関して互いに同類であると判定するステップと
を有する対象分類方法が提供される。

【発明の効果】

【0027】

本発明の対象分類装置、システム、プログラム及び方法によれば、過大な工数をかけずに評価品質を安定させつつ、スコア付与対象をスコアに関して分類することができる。

【図面の簡単な説明】

【0028】

【図1】本発明による対象分類装置を含む対象分類システムの一実施形態を示す模式図である。

【図2】本発明によるスコア付与装置の一実施形態における機能構成を示す機能ブロック図である。

【図3】評価項目及びその算出基準の一実施例を示すテーブルである。

【図4】作成ソフトウェアに付けられた評価項目毎の点数についての一実施例を示すテーブルである。

【図5】本発明による対象分類方法の一実施形態を示すフローチャートである。

【図6】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【図7】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【図8】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【図9】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【図10】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【図11】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【図12】本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【発明を実施するための形態】

【0029】

以下では、本発明の実施形態について、図面を用いて詳細に説明する。

【0030】

［対象分類システム］
図１は、本発明による対象分類装置を含む対象分類システムの一実施形態を示す模式図である。

【0031】

本実施形態において、対象分類システムとしてのスコア付与システム１は、ソフトウェア実習に参加している実習者によって作成された複数の、スコア付与対象としての作成ソフトウェアを収集し、評価者の評価方針・意向を適切に取り入れた形で、作成ソフトウェアの１つ１つを採点する、即ちスコアを付与するためのシステムである。

【0032】

具体的に、スコア付与システム１は、
（ａ）スコアを付与する評価者によって操作可能な、対象分類装置としてのスコア付与装置２と、
（ｂ）実習者が操作することによって、与えられた課題に対する成果物としてのソフトウェア（作成ソフトウェア）がその上で作成される複数の、ユーザインタフェース装置としてのパーソナル・コンピュータ（ＰＣ）３と
を有している。

【0033】

尚、スコア付与装置２も、本発明による対象分類プログラムを搭載したＰＣとすることができる。また、スコア付与装置２及びＰＣ３のいずれか一方又は両方を、他の情報機器、例えばスマートフォンやタブレット型コンピュータとしてもよい。

【0034】

また、スコア付与装置２及びＰＣ３は共に、ネットワークを介して相互に通信するための通信インタフェースを有している。スコア付与装置２からＰＣ３へは、例えばソフトウェア作成問題といった課題が送信され、ＰＣ３からスコア付与装置２へは、例えばこの課題に対する答案（成果物）としての作成ソフトウェアが送信される。ここで、スコア付与装置２は、作成ソフトウェアを、ネットワークに設けられたデータベース４に一先ず送信してもよい。データベース４は、スコアを付与すべき複数のスコア付与対象を整理して格納するデータベース・ストレージであり、収集した作成ソフトウェアを、適宜又は装置２の要請に応じてスコア付与装置２へ送信する。尚、このデータベース４を使用しない実施形態では、スコア付与装置２は代わりに、データベース部２０２（図２）を備えていることも好ましい。

【0035】

また、ネットワークは、学校や企業等の内部に設けられたローカルな又はプライベートなネットワークであってもよい。または、スコア付与装置２は、複数のＰＣ３とは離隔した場所に設置され、このネットワークは、インターネット及びアクセスネットワーク、例えば光ファイバ網若しくはＡＤＳＬ（Asymmetric Digital Subscriber Line）等の固定系ネットワーク、または、Ｗｉ-Ｆｉ（登録商標）等の無線ＬＡＮ（Local Area Network）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ(Long Term Evolution)若しくは３Ｇ（3rd Generation）等の無線系ネットワークであってもよい。この場合、スコア付与装置２は、通信事業者が管理するアクセスネットワーク内に又はインターネット上に設置されたサーバとすることも可能である。

【0036】

本発明によれば、スコア付与装置２は、スコアを付与すべき（採点をすべき）複数のスコア付与対象（作成ソフトウェア）をスコア（得点）に関して分類する対象分類装置であって、
（Ａ）スコア付与対象に対し、1つ又は複数の評価項目についての点数を決定し、
（Ｂ）評価項目によって張られる分類空間において複数のスコア付与対象をクラスタリングして、スコア付与対象を要素とする複数のクラスタを生成し、
（Ｃ）判定対象である１つのクラスタに属する２つのスコア付与対象を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う
ことに特徴を有する。

【0037】

さらに、スコア付与装置２は、上記（Ｃ）の提示を行った後、
（Ｄ）この提示に応じて（評価者によって）付与されたスコアを取得し、
（Ｅ）上記（Ｃ）で抽出された２つのスコア付与対象に付与された両スコアが一致する場合、又は両スコアの差若しくは比率が所定範囲内である場合、この判定対象のクラスタに属するスコア付与対象はスコアに関して互いに同類である、と判定する
ことに特徴を有する。

【0038】

ここで、上記（Ｅ）の場合において、判定対象クラスタに属するスコア付与対象は、上記（Ｄ）で取得された若しくは付与されているスコアの一方に等しいスコア、又は両スコアの平均値に等しいスコアを有するものとすることも好ましい。

【0039】

このように、スコア付与装置２によれば、自動的に点数を付与可能な評価項目での点数を利用して、スコア付与対象をクラスタに分類している。従って、評価者に過大な工数負担をかけることがない。さらに、スコア付与装置２は、特定の適切なスコア付与対象を評価者に提示し、評価者によって付与されたスコアをも取り入れることによって、分類されたクラスタをスコアに関して特徴付けている。従って、評価者の評価方針・意向を適切に取り入れて対象の分類に反映させることができるので、評価者の方針・意向の反映された評価品質が安定して実現されることになる。

【0040】

ここで、スコア付与装置２は、上記（Ｅ）について、判定対象クラスタに属するスコア付与対象はスコアに関して互いに同類ではないと判定した場合（例えば両スコアが異なる場合、又は両スコアの差若しくは比率が所定範囲外であると判定した場合）、分類空間におけるスコアに関して同類であると判定されていないスコア付与対象を、再度クラスタリングして、新たなクラスタを生成し、上記（Ｃ）〜（Ｄ）の処理を繰り返すことも好ましい。

【0041】

このような再クラスタリングを含む処理サイクルを実施することによって、異なるスコア付与対象について評価者の評価方針・意向を適宜、複数回取り入れて対象の分類に反映させることが可能となる。その結果、評価者の意向・方針のより十分に反映された評価品質が安定して実現される。

【0042】

さらに、本実施形態では上述したように、スコア付与装置２は、ソフトウェア作成実習評価支援装置として機能する。この際、ソフトウェア実習の成果物（作成ソフトウェア）の評価を、後に詳述するように例えば重回帰解析およびクラスタ分析によって支援する。ここで、このうちクラスタ分析は、多数の対象を分類することに適した手法であるが、一般的に言って、機械的に分類された各クラスタの内容が評価者にとって把握し難いという欠点を有する。実際、例えば多数の作成ソフトウェアを単純にクラスタリングしたとしても、適切なスコアの付与に貢献するようなクラスタを即、生成することは困難であることが多い。

【0043】

これに対し、スコア付与装置２は、上記（Ｃ）及び（Ｄ）に示したように、１つのクラスタに属する２つのスコア付与対象に対して付与されるスコアに基づいた処理を行うことによって、分類されたクラスタ内の対象における内容の類似性又は均一性を担保する。その結果、評価者がその内容を把握し易いようなクラスタを生成することが可能となる。これにより、従来、作成ソフトウェアを人手で評価すると評価結果に不均一性が生じるといった問題を解消し、関係者の納得し易い適切な評価を実現することが可能となる。

【0044】

［対象分類装置］
図２は、本発明によるスコア付与装置の一実施形態における機能構成を示す機能ブロック図である。

【0045】

図２によれば、対象分類装置としてのスコア付与装置２は、通信インタフェース２０１と、データベース部２０２と、タッチパネル・ディスプレイ（ＴＰ・ＤＰ）２０３と、キーボード（ＫＢ）２０４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、スコア付与装置２に搭載されたコンピュータを機能させるプログラムを実行することによって、対象分類機能を含むスコア付与機能を実現させる。

【0046】

さらに、このプロセッサ・メモリは、機能構成部として、通信制御部２１１と、評価点決定部２１２と、重み係数決定部２１３と、クラスタリング部２１４と、スコア付与部２１５と、付与対象提示部２１６と、スコア取得部２１７と、クラスタ判定部２１８とを有する。尚、図２によれは、各機能構成部を矢印で接続した処理の流れは、本発明によるスコア付与対象をスコアに関して分類する方法の一実施形態としても理解される。

【0047】

図２において、通信インタフェース２０１は、スコア付与装置２の通信インタフェースであり、ＰＣ３又はデータベース４からネットワークを介して、スコア付与対象としての作成ソフトウェアと、当該作成ソフトウェアの作成者である実習者の識別子（実習者ＩＤ）とを受信する。また、後述するクラスタ判定部２１８においてスコアの付与された作成ソフトウェアについてのスコア付与に関する情報を、例えばソフトウェア教育事業者の有する外部の情報機器宛てに送信してもよい。

【0048】

データベース部２０２は、スコアを付与すべき又はスコアの付与済みの複数の作成ソフトウェア（スコア付与対象）を格納するストレージである。データベース部２０２は、入力された作成ソフトウェアを管理し、また、要求に応じて管理する作成ソフトウェアを評価点決定部２１２や重み係数決定部２１３へ出力する。

【0049】

通信制御部２１１は、通信インタフェース２０１によって受信された作成ソフトウェア及び実習者ＩＤを、データベース部２０２へ出力する。ここで、データベース部２０２に格納される作成ソフトウェアは、例えば１つのクラス又は学年を構成する実習者の作成分や、１つの実習授業に参加した実習者の作成分の単位で管理されることも好ましい。また、変更態様として、装置２はデータベース部２０２を備えておらず、代わりにデータベース４から所定単位の（例えば１クラス分又は1学年分の）作成ソフトウェアを受信することも好ましい。この場合、通信制御部２１１は、受信された作成ソフトウェアを評価点決定部２１２に出力する。

【0050】

評価点決定部２１２は、入力されたスコア付与対象に対し、1つ又は複数の評価項目についての点数を決定する。ここで、具体的に、点数を決定する評価項目として、定義された関数に含まれる基本関数の数に基づいて決定される複雑度、関数及びデータの総ライン数に基づいて決定される総ライン度、コメント又は説明を含む文章の総ライン数に基づいて決定されるコメント度、及び所定のデータを入力した際に正解データが出力される割合に基づいて決定される正解度を含む群から選択された少なくとも１つが採用されることも好ましい。

【0051】

図３は、評価項目及びその算出基準の一実施例を示すテーブルである。また、図４は、作成ソフトウェアに付けられた評価項目毎の点数についての一実施例を示すテーブルである。

【0052】

図３によれば、個々の作成ソフトウェアに対し点数を決定する評価項目として、
（ａ）複雑度、（ｂ）総ライン度、（ｃ）コメント度、（ｄ）正解度
が挙げられている。

【0053】

このうち、複雑度は、点数を決定すべき作成ソフトウェアで定義された関数に含まれる基本関数の平均数をｎ_fとし、評価対象となる全ての作成ソフトウェアで定義された関数に含まれる基本関数の平均数の最大値をＮ_fとすると、次式
（１） （複雑度）＝ｎ_f／Ｎ_f×１００
によって算出される。また、総ライン度は、点数を決定すべき作成ソフトウェアにおける関数及びデータの総ライン数をｎ_lとし、評価対象となる全ての作成ソフトウェアにおける関数及びデータの総ライン数の最大値をＮ_lとすると、次式
（２） （総ライン度）＝ｎ_l／Ｎ_l×１００
によって算出される。

【0054】

さらに、コメント度は、点数を決定すべき作成ソフトウェアにおけるコメント又は説明を含む文章の総ライン数をｎ_cとし、評価対象となる全ての作成ソフトウェアにおけるコメント又は説明を含む文章の総ライン数の最大値をＮ_cとすると、次式
（３） （コメント度）＝ｎ_c／Ｎ_c×１００
によって算出される。また、正解度は、点数を決定すべき作成ソフトウェアに対し所定のｎ_r個の互いに異なるデータを毎回個別に入力した際、そのうち正解データが出力された回数をＮ_rとすると、次式
（４） （正解度）＝ｎ_r／Ｎ_r×１００
によって算出される。

【0055】

図４には、５人の実習者Ａ、Ｂ、Ｃ、Ｄ及びＥによって作成された作成ソフトウェアについての、上述した評価項目における点数の具体例が示されている。本実施形態では、各実習者（の作成した作成ソフトウェア）における各評価項目の点数が０〜１００点の範囲で正規化されているので、相互の評価の比較が容易となっていることが理解される。ここで、このような点数は、評価点決定部２１２において作成ソフトウェアを自動処理して算出される。

【0056】

尚、評価項目及びその点数を如何に設定するかは、スコア付与対象の種別や項目の特性等にも依存するものであり、当然、図３に挙げられた項目や図４で付けられた点数に限定されるものではない。さらに、点数の正規化の方法も上記の形に限定されるものではなく、適当な関数を用いて正規化を行うことが可能である。

【0057】

例えば、作成ソフトウェアについての評価項目としては、上記以外にも、（ｅ）演算速度や、（ｆ）モジュール再利用度（モジュール読み出し度）等、種々の項目が採用可能となる。

【0058】

因みに、上述したような点数付与処理において、実習者（の作成した作成ソフトウェア）の間の各評価項目に関する類似度を定義することもできる。例えば、複雑度について、実習者Ｄの作成ソフトウェアでの使用基本関数の平均値が３であり、実習者Ｅの作成ソフトウェアでの同平均値が同じく３であれば、複雑度についての両者の類似度は１００（％）となる。

【0059】

図２に戻って、重み係数決定部２１３は、予めスコアの付与された複数のスコア付与対象におけるスコアと、これらのスコア付与対象について決定された評価項目の点数とに基づいて、各評価項目の重み係数を決定する。

【0060】

以下、重み係数c_k（k＝1, 2, ・・・, N_k，N_kは評価項目の数）の決定の具体例を示す。N人の実習者p_m（m＝1, 2, ・・・, N）に対し、実習者p_mの作成ソフトウェアのスコアをS(p_m)をとし、実習者p_mの作成ソフトウェアの評価項目kについての点数をx_k(p_m)とすると、重み係数c_kを算出する基本式として、次式
（５） S(p_m)＝Σc_k×x_k(p_m)
が得られる。

【0061】

尚、上式（５）において、S(p_m)を装置２による採点結果としてのスコアとみると、重み係数c_kは評価項目kに与えられた配点に相当し、x_k(p_m)は、評価項目kでの得点に相当すると捉えることができる。例えば、評価項目がコメント度及び正解度の２つであって、それぞれの配点が50点であり、得点としてコメント度が90であって正解度が80である場合、スコアは85点（＝0.5×90＋0.5×80）と算出される。

【0062】

次に、予め評価者によってスコアの付与された複数の作成ソフトウェアを準備する。また、これらの作成ソフトウェアにおける各評価項目についての点数を算出する。次いで、予め付与されたスコアと、算出された各評価項目の点数とを、それぞれ上式（５）のS(p_m)及びx_k(p_m)に代入し、重回帰解析を行って、評価項目毎の重み係数c_kを算出する。ここで、算出された重み係数c_kは保存され、後のクラスタリング処理の際に利用することができる。

【0063】

ここで、重み係数c_k算出の具体例として、例えば、評価項目がコメント度及び正解度の２つであって、コメント度の配点（重み付け係数）をc₁とし得点をx₁とする。また、正解度の配点（重み付け係数）をc₂とし得点をx₂とする。さらに、実習者Ａの作成ソフトウェアに対するスコアが90点であって、コメント度及び正解度がそれぞれ80点及び100点であったとする。また、実習者Ｂに対するスコアが45点であって、コメント度及び正解度がそれぞれ100点及び50点であったとする。

【0064】

これらの数値を上式（５）に代入して下記の連立方程式
（６）90＝c₁×80＋c₂×100
45＝c₁×100＋c₂×50
を解くと、c₁＝0及びc₂＝0.9が算出される。従って、この場合、スコアの算出式として、
（７） S(p_m)＝0×x₁＋0.9×x₂＝0.9×x₂
が得られる。

【0065】

同じく図２において、クラスタリング部２１４は、
（ａ）評価項目によって張られる空間において複数のスコア付与対象（作成ソフトウェア）をクラスタリングし、複数のクラスタを生成する。また、
（ｂ）後に説明するように、クラスタ判定部２１８によって、クラスタに属するスコア付与対象（作成ソフトウェア）はスコアに関して互いに同類ではないとの判定が行われた場合、この評価項目によって張られる空間におけるスコアに関して同類であると判定されていないスコア付与対象を、再度クラスタリングし、新たなクラスタを生成する。

【0066】

ここで、クラスタリング部２１４によってクラスタリング処理を受けるスコア付与対象（作成ソフトウェア）は、予めスコアの付与されたスコア付与対象を含むスコア付与対象群であってもよい。例えば、１つのクラスで実習成果物として収集された50本の作成ソフトウェアに対し、評価者（実習担当教員）が直接採点（スコア付け）をし、別のクラスにおいて同じ課題の下で作成され収集された45本の作成ソフトウェアにスコアを付与する場合を考える。この場合、クラスタリング部２１４は、予めスコアの付与された50本の作成ソフトウェアと、スコア付与対象である45本の作成ソフトウェアとを合わせた計95本の作成ソフトウェアをクラスタリング処理することも好ましい。この際に生成されたクラスタには、典型的に、スコアの既に付与された作成ソフトウェアと、スコアの未だ付与されていない作成ソフトウェアとが混合して所属している。

【0067】

また、クラスタリングを行う空間は、評価項目によって張られる空間であって、評価項目kの数N_kだけの次元数を有する空間とすることができる。例えば、k番目の軸が重み付けされた評価項目の軸（c_k・x_k軸）となるような空間であってもよい。さらに、この空間は、各評価項目kの点数x_k及び重み係数c_kで規定される距離が定義された距離空間であることも好ましい。

【0068】

ここで、実習者p_m及びp_nの作成ソフトウェア間の距離として、次式
（８） Sim(p_m, p_n)＝{Σc_k²×(x_k(p_m)−x_k(p_n))²}^0.5
で定義される類似度距離Sim(p_m, p_n)を採用することができる。上式（８）において、Σは整数kについての1からN_k（全評価項目数）までの総和である。従って、この場合、クラスタリングを行う空間における２点（２つの作成ソフトウェア）間の距離は、これらの作成ソフトウェア間の評価項目に関する類似度と捉えることができる。

【0069】

同じく図２において、スコア付与部２１５は、クラスタの代表となる又はクラスタから抽出される１つのスコア付与対象における少なくとも１つの評価項目kに係る点数及びこの評価項目kの重み係数c_kに基づいてスコアを算出し、算出されたスコアをこの１つのスコア付与対象に付与する。即ち、スコア付与部２１５は、スコア付与対象に対して自動的にスコアを付与する機能部である。

【0070】

ここで、１つの具体例として、スコア付与部２１５は、１つのクラスタにおいて、重み係数c_kが最大である評価項目kについての点数であって、当該クラスタのセントロイド（重心）に最も近い作成ソフトウェア（以後、セントロイド要素と略称）に付けられた点数を、そのままこのセントロイド要素に付与されたスコアとすることができる。これにより、後に、付与対象提示部２１６で抽出される２つのスコア付与対象のうちの一方をセントロイド要素とするように決めておけば、この一方については自動的にスコアが付与されることとなり、後述するような評価者によるスコア付与の負担を調整又は軽減することができる。

【0071】

尚、このスコア付与部２１５によるスコア付与は行われず、スコアは、
（ａ）処理の当初から付与されたスコア、及び／又は
（ｂ）後述するように付与対象提示部２１６によるスコア付与対象の提示に応じて評価者によってスコアが付与され、スコア取得部２１７で取得されたスコア
のみであるような実施形態も可能である。このように、現場の評価状況に応じ、スコア付与部２１５を使用する程度を制御して、スコアの予めの付与又は自動付与と、評価者によるスコア付与との割合を調整することによって、スコア付与処理時間を抑制しつつ、評価者の評価方針・意向を十分に反映させた評価を実現することが可能となる。さらに、当初からスコア付与済みの作成ソフトウェアをも用いて、クラスタリング精度を向上させ、評価者の方針・意向により近いクラスタリングを実行することもできるのである。

【0072】

付与対象提示部２１６は、判定対象のクラスタに属する２つのスコア付与対象（作成ソフトウェア）を抽出し、このうちスコアの未だ付与されていないスコア付与対象にスコアを付与するように提示を行う。ここで、提示の方法として、本実施形態では、抽出された２つのスコア付与対象をＴＰ・ＤＰ２０３に表示させる。この表示は、評価者によって採点のし易いように所定のアプリケーションによるインタフェース画面の表示であることも好ましい。また、当然、その他の提示方法、例えば外部に設置されたプリンタやファクシミリによる紙媒体での出力等も採用可能である。

【0073】

また、付与対象提示部２１６は、２つのスコア付与対象（作成ソフトウェア）として、
（ａ１）判定対象のクラスタの代表、例えばセントロイド（重心）に最も近いスコア付与対象（セントロイド要素）と、
（ａ２）クラスタ内で、この代表となるスコア付与対象から最も離隔した（最も類似度の低い）又は所定距離以上離隔した（所定以下の類似度を有する）スコア付与対象と
を抽出してもよい。または、
（ｂ）クラスタ内で最も離隔した又は所定距離以上離隔した２つのスコア付与対象
を抽出することも好ましい。このようなスコア付与対象を抽出し提示することによって、後述するように取得したスコアによる判定を行い、クラスタ内のスコアに関する均一性を担保する処理を行うことができる。

【0074】

スコア取得部２１７は、付与対象提示部２１６による（ＴＰ・ＤＰ２０３を介した）提示に応じて、評価者によって付与されたスコアを取得する。ここで、取得方法として、本実施形態では、ＫＢ２０４又はＴＰ・ＤＰ２０３によって評価者によるスコアの入力操作を受け付け、取り込んだスコア値を入力する。当然、その他の取得方法、例えばスピーカ及び音声解析手段を介したスコアの音声入力等も採用可能である。

【0075】

クラスタ判定部２１８は、
（ａ）２つのスコア付与対象（作成ソフトウェア）に付与された両スコアが一致する場合に、又は
（ｂ）両スコアの差若しくは比率が所定範囲内である場合に、
判定対象のクラスタに属するスコア付与対象はスコアに関して互いに同類であると判定する。また、クラスタ判定部２１８は、この場合、判定対象のクラスタに属するスコア付与対象（作成ソフトウェア）は、取得された若しくは付与されているスコアの一方に等しい又は両スコアの平均値に等しいスコアを有するものとしてもよい。

【0076】

例えば、１つの具体例として、判定対象のクラスタから、そのセントロイド要素（セントロイドに最も近い要素）となる作成ソフトウェアと、最も離隔した作成ソフトウェアとを抽出して評価者に提示し、評価者によって付与されたこれらの作成ソフトウェアに対するスコアが一致している場合、判定対象のクラスタに属する全ての作成ソフトウェアは、この一致したスコアを有するものと決定することができる。

【0077】

また、上記実施例の変更態様として、これらの作成ソフトウェアに対して付与された両スコアの差が５点以内である場合、又は両スコアの比が0.95〜1.05以内である場合、判定対象のクラスタに属する全ての作成ソフトウェアは、セントロイド要素に付与されたスコアを有するものと決定してもよい。

【0078】

このようなクラスタ判定部２１８による判定処理によって、従来の単純な機械的評価に頼った採点ではなく、評価者による評価方針・意向を取り込んで反映させたスコア付けを実施することが可能となる。また、提示されるスコア付与対象（作成ソフトウェア）を勘案することによって、評価者が、クラスタリング部２１４で使用されるクラスタ分析のための評価関数を概ね把握することも可能となる。さらに、評価者は、最終的に付与されたスコアの分布によって、実行された全体的な評価の内容やクラスタ毎の評価の内容を把握することもできる。また、クラスタ間のスコアの差を見ることで、評価者の観点に沿ったスコア付与対象の相違点を把握することも可能となる。

【0079】

尚、クラスタ判定部２１８による判定結果は、例えばデータベース部２０２、通信制御部２１１及び通信インタフェース２０１を介して外部に出力されてもよく、又はＴＰ・ＤＰ２０３に表示されてもよい。出力・表示される判定結果は、例えば、実習者ＩＤ・氏名と、スコアと、スコアの順位と、クラスタ番号とが対応付けて掲載されたテーブルとすることができる。

【0080】

［対象分類方法］
図５は、本発明による対象分類方法の一実施形態を示すフローチャートである。

【0081】

図５の実施形態では、最初に、ステップＳ５０１として、評価点（評価項目の点数）の付与された分類対象である作成ソフトウェア群をクラスタリングする。ここで、生成された全てのクラスタは、当初、集合Ｃに属しているものとする。即ち、集合Ｃは、評価対象であって未だ評価の確定していない（スコアの付与されていない）クラスタの集合となっている。また、集合Ｒは、評価の確定した（スコアの付与された）クラスタの集合であり、当初は空集合（Φ）となっている。

【0082】

（Ｓ５０２）集合Ｃから判定対象となる１つのクラスタC_jを抽出する。抽出されるクラスタC_jは任意の１つであってもよく、又は何らかの基準、例えば要素数の最大のもの、に基づいて選択されてもよい。
（Ｓ５０３）クラスタC_jのセントロイド要素（クラスタ重心との距離が最小の作成ソフトウェア）c_jにスコアが付与されているか否かを判定する。ここで、真の判定（付与されているとの判定）を行った際、ステップＳ５０５の判定に移行する。
（Ｓ５０４）一方、ステップＳ５０３で偽の判定（付与されていないとの判定）を行った際、セントロイド要素c_jを評価者に提示して、このセントロイド要素c_jに対するスコアを取得し、このスコアをセントロイド要素c_jに付与する。

【0083】

（Ｓ５０５）判定対象のクラスタC_jにおける、セントロイド要素c_jから最も離隔した要素（作成ソフトウェア）x_jにスコアが付与されているか否かを判定する。ここで、真の判定（付与されているとの判定）を行った際、ステップＳ５０７の判定に移行する。
（Ｓ５０６）一方、ステップＳ５０５で偽の判定（付与されていないとの判定）を行った際、要素x_jを評価者に提示して、この要素x_jに対するスコアを取得し、このスコアを要素x_jに付与する。
（Ｓ５０７）セントロイド要素c_jのスコアである(スコア)c_jと、最離隔要素x_jのスコアである(スコア)x_jとが等しいか否かを判定する。

【0084】

（Ｓ５０８）ステップＳ５０７で真の判定（等しいとの判定）を行った際、クラスタC_jの全ての要素（作成ソフトウェア）のスコアを(スコア)c_jとし、評価済みとして、クラスタC_jを集合Ｒへ移動させる。
（Ｓ５０９）集合Ｃが空集合であるか否か、即ち集合Ｃに要素が残っていないか否かを判定する。ここで、真の判定（空集合であるとの判定）を行った場合、本対象分類（スコア付与）方法が完了したとして処理を終了する。一方、偽の判定（集合Ｃに要素が残っているとの判定）を行った場合、ステップＳ５０２に戻って、集合Ｃの次のクラスタについての処理を繰り返す。

【0085】

（Ｓ５１１）一方、ステップＳ５０７で偽の判定（等しくないとの判定）を行った際、集合Ｃに残った（クラスタC_jを含む）クラスタの全要素（作成ソフトウェア）を再度クラスタリングする。この際、同一のクラスタが生成されるのを抑制するために、集合Ｃに残った要素におけるクラスタリングへの適用の順序を変更することも好ましい。
（Ｓ５１２）再クラスタリングの結果生成されたクラスタのうち、前回のクラスタによって生成されたクラスタと同一のものが存在するか否かを判定する。ここで、真の判定（存在するとの判定）を行った際、ステップＳ５１１に戻ってクラスタリングをやり直す。一方、偽の判定（存在しないとの判定）を行った際、ステップＳ５０２に戻って、再クラスタリングによって新たに生成された集合Ｃのクラスタについての処理を繰り返す。尚、このステップＳ５１２は省略することも可能である。

【0086】

以下、図５で示した対象分類方法のより具体的な実施形態を、図６〜１２を用いて詳細に説明する。

【0087】

図６〜図１２は、本発明による対象分類方法の一実施形態を詳細に説明するのに使用される模式図である。

【0088】

本実施形態では、最初に、図６（Ａ）に示すように、各評価項目についての点数が付けられた複数の作成ソフトウェア（スコア付与対象）を、分類空間内に分布させる。ここで、以下に示す図６〜１２では、分類空間として２軸を有する平面空間を描いているが、これはあくまで実施形態を理解し易いように簡略化したものである。実際には、分類空間は、評価項目の数だけの次元（軸）を有する超空間であり、各作成ソフトウェアは、この超空間における１つの点となっている。

【0089】

次いで、図６（Ｂ）に示すように、上式（８）の（類似度）距離Sim(p_m, p_n)を用いて、これらの作成ソフトウェアに対しクラスタリングを行い、複数のクラスタ（同図では３つ）を生成する。これらのクラスタは当初、集合Ｃに所属している。また、この段階では、集合Ｒは空集合である。ここで、各クラスタにおいて、そのセントロイド（重心）との距離が最小となる作成ソフトウェアを、セントロイド要素に決定する。

【0090】

次に、図７に示すように、判定対象として任意のクラスタC₁を抽出する。次いで、クラスタC₁内のセントロイド要素c₁と、要素c₁から最も離隔した（クラスタC₁内の）要素x₁とが、いずれも未だにスコアを付与されていないことを確認した上で、これらの要素を評価者に提示して、これらの要素の評価者によるスコアを取得し、これらの要素に付与する。図７によれば、取得した要素c₁及び要素x₁のスコアは共に60点となっている。

【0091】

次いで、図８に示すように、要素c₁及び要素x₁について取得されたスコア（共に60点）が等しいので、クラスタC₁はスコアに関して均一であると判断し、クラスタC₁内の全要素のスコアをこの60点に決定する。その後、評価の終えたクラスタC₁を集合Ｃから集合Ｒへ移動させる。

【0092】

次に、図９に示すように、集合Ｃに残ったクラスタの中から、判定対象として任意のクラスタC₂を抽出する。次いで、クラスタC₂内のセントロイド要素c₂には既にスコア（70点）が付与されているが、要素c₂から最も離隔した（クラスタC₂内の）要素x₂には未だにスコアが付与されていないことを確認する。その後、スコアの付与されていない要素x₂を評価者に提示して、この要素の評価者によるスコアを取得し、要素x₂に付与する。図９によれば、要素c₂の既に付与されたスコア、及び要素x₂の新たに付与されたスコアは共に70点となっている。

【0093】

次いで、図１０に示すように、要素c₂及び要素x₂に付与されたスコア（共に70点）が等しいので、クラスタC₂もスコアに関して均一であると判断し、クラスタC₂内の全要素のスコアをこの70点に決定する。その後、評価の終えたクラスタC₂を集合Ｃから集合Ｒへ移動させる。

【0094】

次に、同じく図１０に示すように、集合Ｃに残ったクラスタの中から、判定対象として任意のクラスタC₃を抽出する（同図では集合Ｃの中にはクラスタC₃のみ存在する）。次いで、クラスタC₃内のセントロイド要素c₃から最も離隔した（クラスタC₃内の）要素x₃には既にスコア（90点）が付与されているが、セントロイド要素c₃には未だにスコアが付与されていないことを確認する。その後、スコアの付与されていないセントロイド要素c₃を評価者に提示して、この要素の評価者によるスコアを取得し、セントロイド要素c₃に付与する。図１０によれば、要素x₃の既に付与されたスコア（90点）と、セントロイド要素c₃の新たに付与されたスコア（80点）とは異なっている。

【0095】

このように、要素c₃及び要素x₃に付与されたスコアが異なっているので、クラスタC₃内はスコアに関して不均一であると判断し、図１１に示すように、集合Ｃに属するクラスタ内の全要素（作成ソフトウェア）を再クラスタリングする。その結果、クラスタC3'及びC4'が生成される。

【0096】

次に、同じく図１１に示すように、集合Ｃの中から判定対象として任意のクラスタC₃'を抽出する。次いで、クラスタC₃'のセントロイド要素c₃'と、要素c₃'から最も離隔した（クラスタC₃'内の）要素x₃'とが、いずれも既にスコア（80点）が付与されていることを確認する。ここで、要素x₃'のスコアは、図１０に示した処理の際に評価者によって付与されたものである。

【0097】

同じく図１１によれば、付与されている要素c₃'及び要素x₃'のスコアは共に80点となっている。このように、両スコアが等しいので、クラスタC₃'はスコアに関して均一であると判断し、クラスタC₃'内の全要素のスコアをこの80点に決定する。その後、図１２に示すように、評価の終えたクラスタC₃'を集合Ｃから集合Ｒへ移動させる。

【0098】

さらに、同じく図１２に示すように、集合Ｃに唯一残ったクラスタC₄'についても、セントロイド要素c₄'及び最離隔要素x₄'は既に同一のスコア（90点）を付与されているので、クラスタC₄'はスコアに関して均一であると判断し、クラスタC₄'内の全要素のスコアをこの90点に決定する。その後、同じく図１２に示すように、評価の終えたクラスタC₄'を集合Ｃから集合Ｒへ移動させる。その結果、集合Ｃは空集合となり、本対象分類方法（スコア付与方法）は終了する。

【0099】

このように、本実施形態によれば、クラスタ内の作成ソフトウェアに対するスコアの付与については、当初、作成ソフトウェアの提示という形で評価者の評価方針・意向を取り入れる処理が少なからず行われる。しなしながら、再クラスタリングを含む処理が進むにつれて、既にスコアの付与された作成ソフトウェアが増大するので、評価者への提示を行うことなく自動的にスコアに関するクラスタの均一性を判断可能な方向に収束していく。その結果、評価者の評価方針・意向を効率的に取り入れ、且つ処理に要する時間の増大を抑制することができるのである。

【0100】

ここで、以上に説明した対象分類処理の収束性、即ち集合Ｃが空集合に収束することの必然性を説明する。

【0101】

上述した実施形態で実施されたようなクラスタリング処理では、要素（作成ソフトウェア）のクラスタ分析の適用の順番を変えることによって、一般的に、処理を行う毎に異なるクラスタが生成される。さらに、同じ要素を持つクラスタが生成されて、同じ要素が分類の対象となっても、例えば１つの実施形態として、評価者によって付与されたスコアに基づいて要素の持つ分類空間での座標を変更する（即ち重み係数を再設定する）ことにすれば、再クラスタリングの結果は、前回の結果と異なってくる。一方、クラスタの中の要素は常にスコアが付与され続ける傾向にある。これにより、同じスコアを有するクラスタが残っていく結果となる。

【0102】

尚、クラスタへのスコア付けは、既に評価済みである集合Ｒに属するクラスタに付けられたスコアと同一の値でもかまわない。このクラスタは、集合Ｒにおいて、同じスコアを有する他のクラスタとは区別して扱われる。例えば、同じスコアであるが正解の箇所が異なる答案がこのようなクラスタに相当する。

【0103】

また、集合Ｃ内のクラスタの数は、上述した再クラスタリングを含む処理の中で、単調減少する。実際、判定対象のクラスタ内に要素が複数存在している場合でも、再クラスタリング処理を経れば、このクラスタが集合Ｒに移されるか、又は新たなクラスタ内の要素数は減少する傾向になる。さらに、クラスタ内の要素が１つとなれば、セントロイド要素と最離隔要素とはこの１つの要素であるので、このクラスタは自動的に集合Ｒに移される。

【0104】

さらに、処理が進むにつれて、スコアが付与された要素は増加していく。ここで、スコアの異なる要素は、最終的に異なるクラスタに所属させられる方向に処理されるので、結局、スコアの異なるものが省かれて、要素数の少ないクラスタに分解されていく傾向となる。一方、スコアの付与は続けられるので、最後には、例えば要素が１つのクラスタが生成され、集合Ｒに移される。従って、集合Ｃは空集合に収束する。

【0105】

以上詳細に説明したように、本発明では、自動的に点数を付与可能な評価項目での点数を利用して、スコア付与対象をクラスタに分類し、さらに、特定の適切なスコア付与対象を評価者に提示し、評価者によって付与されたスコアをも取り入れることによって、分類されたクラスタをスコアに関して特徴付けている。その結果、評価者に過大な工数負担をかけずに、評価者の評価方針・意向を適切に取り入れて対象の分類に反映させることが可能となる。また、それ故に、過大な工数をかけずに評価品質を安定させつつ、スコア付与対象をスコアに関して分類することができるのである。

【0106】

また、再クラスタリングを含む処理サイクルを実施する実施形態では、異なるスコア付与対象について評価者の評価方針・意向を適宜、複数回取り入れて対象の分類に反映させることが可能となる。その結果、評価者の意向・方針のより十分に反映された評価品質が安定して実現される。また、それ故に、従来の自動ソフトウェア評価システムの不得手なソフトウェア品質や分かり易さを反映したスコアを付与することも可能となるのである。

【0107】

さらに、１つのクラスタに属する２つのスコア付与対象に対して付与されるスコアに基づいた処理を行うことによって、分類されたクラスタ内の対象における内容の類似性又は均一性を担保している。その結果、評価者がその内容を把握し易いようなクラスタを生成することが可能となる。これにより、従来、作成ソフトウェアを人手で評価すると評価結果に不均一性が生じるといった問題を解消し、関係者の納得し易い適切な評価を実現することが可能となる。

【0108】

尚、本発明によるスコア付与対象の分類処理は、当然に、ソフトウェア教育分野への応用に限定されるものではない。例えば、記述式の解答が求められる実習や試験にも適用することができる。さらに、評価項目を適切に設定することができれば、テキスト、音楽や映像等のコンテンツに対するユーザによる評価にも適用可能である。その他、評価を行う者の評価基準を取り入れつつスコアを付与したい対象であれば、本発明を適用して分類処理を施すことにより適切なスコア付与が可能となる。

【0109】

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0110】

１ スコア付与システム（対象分類システム）
２ スコア付与装置（対象分類装置）
２０１ 通信インタフェース
２０２ データベース部
２０３ タッチパネル・ディスプレイ（ＴＰ・ＤＰ）
２０４ キーボード（ＫＢ）
２１１ 通信制御部
２１２ 評価点決定部
２１３ 重み係数決定部
２１４ クラスタリング部
２１５ スコア付与部
２１６ 付与対象提示部
２１７ スコア取得部
２１８ クラスタ判定部
３ ＰＣ（インタフェース装置）
４ データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】