ホーム > 特許ランキング > ＬＩＮＥヤフー株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-26
(45)【発行日】2025-01-10
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20241227BHJP
【ＦＩ】
G06Q10/0639
【請求項の数】
8
(21)【出願番号】P 2021029137
(22)【出願日】2021-02-25
(65)【公開番号】P2022130138
(43)【公開日】2022-09-06
【審査請求日】2023-11-20
(73)【特許権者】
【識別番号】500257300
【氏名又は名称】ＬＩＮＥヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】山内 智
【審査官】上田 威
(56)【参考文献】
【文献】特開２００２－２３６７８７（ＪＰ，Ａ）
【文献】特開２０１０－０８６２２３（ＪＰ，Ａ）
【文献】特開２００２－２９７８４１（ＪＰ，Ａ）
【文献】廣瀬幸義，インテリジェンス経営の時代，企業診断，第５７巻、第１号，日本，2010年01月01日，P.12-17
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
多面評価データを取得する取得部と、多面評価データと、評価者の属性情報を含む所定の属性情報とを入力情報とし、当該所定の属性情報に含まれる属性ごとのバイアス値であって、ベイズ推定の推定結果である、当該多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を出力情報とするモデルを生成する生成部と、
前記生成部により生成されたモデルを用いて、前記取得部により取得された多面評価データに対するベイズ推定に基づく前記バイアス値を算出する算出部と、
前記多面評価データの実測値から、前記算出部により算出されたバイアス値を差し引いた評価値に関する情報を提供する提供部と、
を有することを特徴とする情報処理装置。
【請求項2】
前記算出部は、前記所定の属性情報として、被評価者の属性情報を含む入力情報に基づいて生成されたモデルを用いて、前記バイアス値を算出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記算出部は、前記所定の属性情報として、多面評価の調査の属性情報を含む入力情報に基づいて生成されたモデルを用いて、前記バイアス値を算出する
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項4】
前記算出部は、属性の相対的な関係性に基づく組み合わせに関する情報を前記所定の属性情報として生成されたモデルを用いて、前記バイアス値を算出する
ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
前記算出部は、多面評価に基づく実測値と、所定の確率分布に基づいて推定される被評価者の真の能力を示す推定値とに基づいて算出される属性ごとの前記バイアス値を前記出力情報として生成されたモデルを用いて、前記バイアス値を算出する
ことを特徴とする請求項１～４のいずれか１項に記載の情報処理装置。
【請求項6】
前記提供部は、一の回答時期に取得された多面評価データに基づくバイアス値と、当該一の回答時期よりも後に取得された多面評価データに基づくバイアス値との比較に基づいて、バイアスがゼロになる方向にバイアス値が遷移したと判定された場合には、評価の適性が向上した旨の情報を提供する
ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
【請求項7】
コンピュータが実行する情報処理方法であって、多面評価データを取得する取得工程と、
多面評価データと、評価者の属性情報を含む所定の属性情報とを入力情報とし、当該所定の属性情報に含まれる属性ごとのバイアス値であって、ベイズ推定の推定結果である、当該多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を出力情報とするモデルを生成する生成工程と、
前記生成工程により生成されたモデルを用いて、前記取得工程により取得された多面評価データに対するベイズ推定に基づく前記バイアス値を算出する算出工程と、
前記多面評価データの実測値から、前記算出工程により算出されたバイアス値を差し引いた評価値に関する情報を提供する提供工程と、
を含むことを特徴とする情報処理方法。
【請求項8】
多面評価データを取得する取得手順と、多面評価データと、評価者の属性情報を含む所定の属性情報とを入力情報とし、当該所定の属性情報に含まれる属性ごとのバイアス値であって、ベイズ推定の推定結果である、当該多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を出力情報とするモデルを生成する生成手順と、
前記生成手順により生成されたモデルを用いて、前記取得手順により取得された多面評価データに対するベイズ推定に基づく前記バイアス値を算出する算出手順と、
前記多面評価データの実測値から、前記算出手順により算出されたバイアス値を差し引いた評価値に関する情報を提供する提供手順と、
をコンピュータに実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
評価者によって評価内容にばらつきがあるためバイアスが生じることがある。例えば人事の評価においては、評価者のこれまでの評価人数や経験、評価者の批評価者との関係性（例えば、仲の良さ）などによって、バイアスが生じることがある。さらに、評価設問の文章や評価の時期など、実施条件によってもバイアスが生じることがある。
【0003】
従来、企業などの組織に蓄積された種々の情報を活用して、戦略的な意思決定や業務効率化を目的とした技術の一例として、ピープルアナリティクスと呼ばれる技術が知られている。例えば、人事の評価をサポートする技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２０１９／０４３８８９号
【文献】特許第６２１６９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の従来技術では、評価に関わるバイアスを正常化して、評価の公平性を向上するための更なる改善の余地があった。
【0006】
本願は、上記に鑑みてなされたものであって、評価に関わるバイアスを正常化して、評価の公平性を向上することを目的とする。
【課題を解決するための手段】
【0007】
本願に係る情報処理装置は、多面評価データを取得する取得部と、前記取得部により取得された多面評価データに対するベイズ推定に基づいて、当該多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を算出する算出部と、前記多面評価データの実測値から、前記算出部により算出されたバイアス値を差し引いた評価値に関する情報を提供する提供部と、を有することを特徴とする。
【発明の効果】
【0008】
実施形態の一態様によれば、評価に関わるバイアスを正常化して、評価の公平性を向上することができるという効果を奏する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0011】
（実施形態）
〔１．情報処理システムの構成〕
図１に示す情報処理システム１について説明する。図１に示すように、情報処理システム１は、端末装置１０と、情報処理装置１００とが含まれる。端末装置１０と、情報処理装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図１は、実施形態に係る情報処理システム１の構成例を示す図である。なお、図１に示した情報処理システム１には、複数台の端末装置１０や、複数台の情報処理装置１００が含まれてもよい。
〔１．情報処理システムの構成〕
図１に示す情報処理システム１について説明する。図１に示すように、情報処理システム１は、端末装置１０と、情報処理装置１００とが含まれる。端末装置１０と、情報処理装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図１は、実施形態に係る情報処理システム１の構成例を示す図である。なお、図１に示した情報処理システム１には、複数台の端末装置１０や、複数台の情報処理装置１００が含まれてもよい。
【0012】
端末装置１０は、評価者によって利用される情報処理装置である。端末装置１０は、実施形態における処理を実現可能であれば、どのような装置であってもよい。また、端末装置１０は、スマートフォンや、タブレット型端末や、ノート型ＰＣや、デスクトップＰＣや、携帯電話機や、ＰＤＡ等の装置であってもよい。図２に示す例においては、端末装置１０がスマートフォンである場合を示す。
【0013】
端末装置１０は、例えば、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置１０は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、評価者から指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
【0014】
図２の例では、端末装置１０１は評価者Ｕ１１によって利用され、端末装置１０２は評価者Ｕ１２によって利用され、端末装置１０３は評価者Ｕ１３によって利用される。端末装置１０１、１０２及び１０３は、情報処理装置１００にアクセスし、それぞれの評価者から受け付けられた情報を情報処理装置１００に送信する。なお、以下では、端末装置１０１、１０２及び１０３を区別する必要のないときは、「端末装置１０」と表記する。また、評価者Ｕ１１、Ｕ１２及びＵ１３を区別する必要のないときは、単に「評価者」と表記する。また、以下では、端末装置１０を評価者と表記する場合がある。すなわち、以下では、評価者を端末装置１０と読み替えることもできる。
【0015】
情報処理装置１００は、各種のデータ収集及び分析を実現するための情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。例えば、情報処理装置１００は、企業などの組織内のデータを管理するために用いられる。情報処理装置１００は、例えば、多面評価データを取得し、ベイズ推定（Ｂａｙｅｓｉａｎ Ｉｎｆｅｒｅｎｃｅ）に基づいて、評価者や評価の実施条件に起因したバイアスを定量化した結果に基づく情報を提供する機能を有する。情報処理装置１００は、例えば、ＰＣ、ＷＳ（Work Station）等の情報処理装置であり、端末装置１０等からネットワークＮを介して送信されてきた情報に基づいて処理を行う。
【0016】
なお、図１では、端末装置１０と情報処理装置１００とが、別装置である場合を示すが、端末装置１０と情報処理装置１００とが一体であってもよい。
【0017】
〔２．情報処理の一例〕
上司、同僚、部下など、立場や被評価者との関係性が異なる複数の評価者によって、被評価者を多面的に評価する手法の一例として、多面評価（３６０度評価）と呼ばれる手法が知られている。以下実施形態では、多面評価データに対するベイズ推定に基づいて、多面評価データに含まれる評価に関わるバイアスを効果的に定量化した情報を提供するための情報処理を説明する。なお、以下実施形態では、評価に関わるバイアスの一例として、評価者のバイアスを用いて説明するが、この例に限られない。例えば、評価に関わるバイアスとは、評価の実施条件に関わるバイアスであってもよい。また、以下実施形態では、評価者が被評価者Ｒ１１に対する多面評価を行う場合を一例として説明する。また、以下実施形態では、評価者Ｕ１１、Ｕ１２及びＵ１３と、被評価者Ｒ１１とが、同一の組織に属するものであるものとする。
上司、同僚、部下など、立場や被評価者との関係性が異なる複数の評価者によって、被評価者を多面的に評価する手法の一例として、多面評価（３６０度評価）と呼ばれる手法が知られている。以下実施形態では、多面評価データに対するベイズ推定に基づいて、多面評価データに含まれる評価に関わるバイアスを効果的に定量化した情報を提供するための情報処理を説明する。なお、以下実施形態では、評価に関わるバイアスの一例として、評価者のバイアスを用いて説明するが、この例に限られない。例えば、評価に関わるバイアスとは、評価の実施条件に関わるバイアスであってもよい。また、以下実施形態では、評価者が被評価者Ｒ１１に対する多面評価を行う場合を一例として説明する。また、以下実施形態では、評価者Ｕ１１、Ｕ１２及びＵ１３と、被評価者Ｒ１１とが、同一の組織に属するものであるものとする。
【0018】
図２は、実施形態に係る情報処理システム１の情報処理の一例を示す図である。情報処理装置１００は、被評価者Ｒ１１に対する評価者Ｕ１１、Ｕ１２及びＵ１３の多面評価データを取得する（ステップＳ１０１）。なお、図２では、説明の便宜上、評価者Ｕ１１、Ｕ１２及びＵ１３からの多面評価データが同時に送信及び取得される場合を示すが、個別に送信及び取得されてもよいものとする。また、情報処理装置１００が多面評価データを取得する評価者及び評価者の数は特に限定されないものとする。
【0019】
情報処理装置１００は、このように取得及び収集された多面評価データを用いて機械学習を行う（ステップＳ１０２）。具体的には、情報処理装置１００は、多面評価データを入力情報とし、多面評価データに含まれる評価に関わるバイアスを定量化した評価値（以下、適宜、「バイアス値」とする。）を出力情報とするモデルを生成する。なお、ここで入力される多面評価データとは、例えば、評価者の回答や、評価者の回答に基づく値（実測値）である。
【0020】
この際、情報処理装置１００は、多面評価データとともに、所定の属性情報を入力情報に加えてモデルを生成する。所定の属性情報とは、評価者のバイアスを適切に定量化するための基本的な属性情報であり、例えば、評価者の属性情報や、被評価者の属性情報や、多面評価の調査に関する属性情報などである。
【0021】
所定の属性情報は、例えば、評価者や被評価者の属性情報である。例えば、所定の属性情報は、評価者や被評価者の所属部署や役職などの属性情報である。
【0022】
所定の属性情報は、評価者と被評価者との関係性（例えば、上司と部下など）などの相対的な属性情報であってもよい。また、所定の属性情報は、評価者の観点からの相対的な属性情報に限らず、被評価者の観点からの相対的な属性情報であってもよい。例えば、評価者と被評価者との関係性が、上司と部下である場合には、評価者の観点からの相対的な属性情報が「被評価者の上司」となり、被評価者の観点からの相対的な属性情報が「評価者の部下」となる。このような相対的な属性情報は、それぞれ、評価者や被評価者の属性情報に含めてもよい。
【0023】
所定の属性情報は、例えば、多面評価の調査や調査方法の属性情報である。例えば、所定の属性情報は、設問番号や回答時期などの多面評価の調査に関する属性情報である。
【0024】
情報処理装置１００は、所定の属性情報を入力情報に加えることで、その属性情報に含まれる属性ごとのバイアス値を出力情報とするモデルを生成する。例えば、情報処理装置１００は、「評価者の属性が〇〇なら、こうしそう」や、「被評価者の属性が××なら、こうしそう」といった属性ごとのバイアス値を出力情報とするモデルを生成する。これにより、情報処理装置１００は、属性ごとのバイアス値に基づいて、属性ごとにバイアスを評価することができるため、例えば、バイアスが大きい属性を選択して出力することができる。
【0025】
情報処理装置１００は、多面評価データに対するベイズ推定に基づいて機械学習されたモデルを生成する。例えば、情報処理装置１００は、多面評価基づく実測値と、所定の確率分布に基づいて推定される被評価者の真の能力を示す推定値とに基づいて機械学習されたモデルを生成する。このように、情報処理装置１００は、所定の確率分布から推定値を推定し、推定された推定値に基づく学習を行うので、ベイズ推定に基づく「機械」学習を実現できる。具体的には、情報処理装置１００は、多面評価に基づく実測値から、被評価者の真の能力を示す推定値を差し引くことにより算出される属性ごとのバイアス値を正例として機械学習されたモデルを生成する。すなわち、出力情報であるバイアス値は、多面評価データに対するベイズ推定の推定結果でもある。
【0026】
ここで、多面評価に基づく実測値から、被評価者の真の能力を示す推定値を差し引くことにより算出される属性ごとのバイアス値のバイアスには、例えば、被評価者の役職のバイアス、被評価者のグレードのバイアス、設問内容のバイアス、設問種別のバイアス、評価者を統括する本部の評価方針のバイアス、評価者個人の甘辛のバイアスなどが含まれる。すなわち、多面評価に基づく実測値は、被評価者の真の能力を示す推定値と、属性ごとのバイアス値との線形和により算出される。
【0027】
情報処理装置１００は、ベイズ推定を応用して機械学習をすることで、一般的な教師あり機械学習とは異なり、被評価者の真の能力を示す値といった教師データを取得する必要がないため、処理の効率化を図ることができる。また、収集コストの削減を促進することができる。また、情報処理装置１００は、ベイズ推定を応用して機械学習をすることで、要因と出力結果との関係性を明確にすることができるため、解釈性の高い情報を提供することができる。
【0028】
情報処理装置１００は、被評価者の真の能力を示す値に限らず、バイアスも定量化することができるため、評価制度の運用改善や評価者への指導などに関して有用な情報を提供することができる。例えば、情報処理装置１００は、設問単位や部署単位のバイアスも定量化することができるため、運用改善のための有用な情報を提供することができる。
【0029】
情報処理装置１００は、ベイズ推定を応用して機械学習をすることで、一般的なルールベースの手法とは異なり、バイアスに関する詳細を取得する必要がないため、処理の効率化を図ることができる。例えば、一般的なルールベースの手法では、「部署Ａは部署Ｂよりも評価が甘い」や「対上長は評価が甘くなる」といった知識に基づいて、それを差し引くように算出するためのルールを生成する必要がある。
【0030】
これに対し、ベイズ推定を応用して機械学習をすることで、評価者と被評価者とのそれぞれの属性及びその属性に基づいた相対的な関係性に基づく評価の傾向をモデルに学習させることができると考えられる。また、結果として、「部署Ａは部署Ｂよりも甘く評価をしがち」といった知識ではなく、「部署Ａと部署Ｂは甘辛が違う可能性がある」といったより浅い知識でモデルを生成することができる。企業などの適応先の状況などにもよらないため、柔軟性の向上を促進することができる。
【0031】
情報処理装置１００は、このように生成されたモデルを用いて、多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を算出する（ステップＳ１０３）。
【0032】
情報処理装置１００は、算出されたバイアス値に基づく情報を提供する（ステップＳ１０４）。例えば、情報処理装置１００は、多面評価データの実測値から、算出されたバイアス値を差し引いた評価値を、バイアスを除いた評価者の真の評価値として、評価者の真の評価値に関する情報を提供する。
【0033】
上記実施形態では、情報処理装置１００が、多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を算出するモデルを生成し、生成されたモデルを用いて、実測値からバイアスを除いた真の評価値を算出する場合を示したが、この例に限られない。例えば、情報処理装置１００は、実測値からバイアスを除いた真の評価値を直接算出するモデルを生成してもよい。この場合、情報処理装置１００は、実測値からバイアスを定量化したバイアス値を差し引いた評価値を出力情報とするモデルを生成する。
【0034】
上記実施形態では、所定の属性情報として、評価者の属性情報や、被評価者の属性情報や、多面評価の調査に関する属性情報を例に挙げて説明したが、所定の属性情報は、これらの属性情報に限られないものとする。
【0035】
上記実施形態において、情報処理装置１００は、「部長が平社員を評価」や「課長が平社員を評価」といった属性の相対的な関係性に基づく組み合わせに関する情報を所定の属性情報として上記の情報処理を行ってもよい。
【0036】
上記実施形態において、情報処理装置１００は、一の回答時期に取得された評価者の多面評価データに基づくバイアス値と、一の回答時期よりも後に取得された評価者の多面評価データに基づくバイアス値との比較に基づいて、バイアスがゼロになる方向にバイアス値が遷移したか否かを判定してもよい。例えば、情報処理装置１００は、一の回答時期よりも後に取得された評価者の多面評価データに含まれるバイアスがゼロに近づいた場合に、バイアスがゼロになる方向にバイアス値が遷移したと判定する。
【0037】
そして、情報処理装置１００は、バイアスがゼロになる方向にバイアス値が遷移したと判定された場合には、評価の適性が向上したと判定してもよい。また、情報処理装置１００は、評価の適性が向上した旨の情報を提供してもよい。
【0038】
〔３．端末装置の構成〕
次に、図３を用いて、実施形態に係る端末装置１０の構成について説明する。図３は、実施形態に係る端末装置１０の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、制御部１４とを有する。
次に、図３を用いて、実施形態に係る端末装置１０の構成について説明する。図３は、実施形態に係る端末装置１０の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、制御部１４とを有する。
【0039】
（通信部１１）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、情報処理装置１００等との間で情報の送受信を行う。
【0040】
（入力部１２）
入力部１２は、評価者からの各種操作を受け付ける。図２に示す例では、評価者Ｕ１１、Ｕ１２及びＵ１３からの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介して評価者からの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
入力部１２は、評価者からの各種操作を受け付ける。図２に示す例では、評価者Ｕ１１、Ｕ１２及びＵ１３からの各種操作を受け付ける。例えば、入力部１２は、タッチパネル機能により表示面を介して評価者からの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【0041】
（出力部１３）
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。例えば、出力部１３は、情報処理装置１００から送信された情報を表示する。
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。例えば、出力部１３は、情報処理装置１００から送信された情報を表示する。
【0042】
（制御部１４）
制御部１４は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、評価者の操作に関する情報を情報処理装置１００に送信するアプリケーションのプログラムが含まれる。また、制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１４は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。例えば、この各種プログラムには、端末装置１０にインストールされたアプリケーションのプログラムが含まれる。例えば、この各種プログラムには、評価者の操作に関する情報を情報処理装置１００に送信するアプリケーションのプログラムが含まれる。また、制御部１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0043】
図３に示すように、制御部１４は、受信部１４１と、送信部１４２とを有し、以下に説明する情報処理の作用を実現または実行する。
【0044】
（受信部１４１）
受信部１４１は、各種情報を受信する。受信部１４１は、外部の情報処理装置から各種情報を受信する。受信部１４１は、情報処理装置１００等の他の情報処理装置から各種情報を受信する。例えば、受信部１４１は、多面評価のためのコンテンツを受信する。
受信部１４１は、各種情報を受信する。受信部１４１は、外部の情報処理装置から各種情報を受信する。受信部１４１は、情報処理装置１００等の他の情報処理装置から各種情報を受信する。例えば、受信部１４１は、多面評価のためのコンテンツを受信する。
【0045】
（送信部１４２）
送信部１４２は、外部の情報処理装置へ各種情報を送信する。送信部１４２は、情報処理装置１００等の他の情報処理装置へ各種情報を送信する。例えば、送信部１４２は、多面評価データを送信する。例えば、送信部１４２は、評価者の操作に基づいて受け付けられた被評価者に対する多面評価データを送信する。
送信部１４２は、外部の情報処理装置へ各種情報を送信する。送信部１４２は、情報処理装置１００等の他の情報処理装置へ各種情報を送信する。例えば、送信部１４２は、多面評価データを送信する。例えば、送信部１４２は、評価者の操作に基づいて受け付けられた被評価者に対する多面評価データを送信する。
【0046】
〔４．情報処理装置の構成〕
次に、図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置１００の構成例を示す図である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図４を用いて、実施形態に係る情報処理装置１００の構成について説明する。図４は、実施形態に係る情報処理装置１００の構成例を示す図である。図４に示すように、情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、情報処理装置１００は、情報処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0047】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０等との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１０等との間で情報の送受信を行う。
【0048】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部１２０は、多面評価データ記憶部１２１と、モデル記憶部１２２とを有する。
記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部１２０は、多面評価データ記憶部１２１と、モデル記憶部１２２とを有する。
【0049】
多面評価データ記憶部１２１は、被評価者に対する複数の評価者の多面評価データに関する情報を記憶する。ここで、図５に、実施形態に係る多面評価データ記憶部１２１の一例を示す。図５に示すように、多面評価データ記憶部１２１は、「多面評価ＩＤ」、「被評価者ＩＤ」、「評価者ＩＤ」、「多面評価データ」といった項目を有する。
【0050】
「多面評価ＩＤ」は、多面評価データを識別するための識別情報を示す。「被評価者ＩＤ」は、被評価者を識別するための識別情報を示す。「評価者ＩＤ」は、評価者を識別するための識別情報を示す。「多面評価データ」は、多面評価データを示す。図５に示す例では、「多面評価データ」に「多面評価データ＃１１」や「多面評価データ＃１２」といった概念的な情報が格納される例を示したが、実際には、多面評価に基づく実測値などが格納される。
【0051】
すなわち、図５では、多面評価ＩＤ「ＥＶ１１」によって識別される被評価者が「Ｒ１１」であり、評価者が「Ｕ１１」であり、多面評価データが「多面評価データ＃１１」である例を示す。
【0052】
モデル記憶部１２２は、多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を出力するモデルであって、多面評価データに対するベイズ推定に基づいて機械学習されたモデルに関する情報を記憶する。ここで、図６に、実施形態に係るモデル記憶部１２２の一例を示す。図６に示すように、モデル記憶部１２２は、「モデルＩＤ」、「モデル（算出式）」といった項目を有する。
【0053】
「モデルＩＤ」は、モデルを識別するための識別情報を示す。「モデル（算出式）」は、モデルの算出式を示す。図６に示す例では、「モデル（算出式）」に「モデル＃１１」や「モデル＃１２」といった概念的な情報が格納される例を示したが、実際には、多面評価データと所定の属性情報とを入力すると、バイアス値を算出する算出式の情報などが格納される。
【0054】
すなわち、図６では、モデルＩＤ「ＭＤ１１」によって識別されるモデルの算出式が「モデル＃１１」である例を示す。
【0055】
（制御部１３０）
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【0056】
図４に示すように、制御部１３０は、取得部１３１と、生成部１３２と、算出部１３３と、判定部１３４と、提供部１３５とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【0057】
（取得部１３１）
取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、端末装置１０等の他の情報処理装置から各種情報を取得する。
取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、端末装置１０等の他の情報処理装置から各種情報を取得する。
【0058】
取得部１３１は、記憶部１２０から各種情報を取得する。取得部１３１は、多面評価データ記憶部１２１やモデル記憶部１２２から各種情報を取得する。また、取得部１３１は、取得した各種情報を記憶部１２０に格納する。取得部１３１は、多面評価データ記憶部１２１やモデル記憶部１２２に各種情報を格納する。
【0059】
取得部１３１は、評価者の操作に従って端末装置１０から送信された多面評価データを取得する。例えば、取得部１３１は、特定の被評価者に対する多面評価データを取得する。
【0060】
取得部１３１は、評価者の属性情報や、被評価者の属性情報や、多面評価の調査に関する属性情報などの、所定の属性情報を取得する。
【0061】
（生成部１３２）
生成部１３２は、取得部１３１により取得された多面評価データと所定の属性情報とを入力すると、属性ごとのバイアス値を出力するモデルを生成する。
生成部１３２は、取得部１３１により取得された多面評価データと所定の属性情報とを入力すると、属性ごとのバイアス値を出力するモデルを生成する。
【0062】
生成部１３２は、多面評価データに対するベイズ推定に基づくバイアス値を正例として機械学習されたモデルを生成する。
【0063】
（算出部１３３）
算出部１３３は、生成部１３２により生成されたモデルを用いて、バイアス値を算出する。
算出部１３３は、生成部１３２により生成されたモデルを用いて、バイアス値を算出する。
【0064】
算出部１３３は、バイアスを定量化したバイアス値を差し引いた真の評価値を算出する。
【0065】
（判定部１３４）
判定部１３４は、算出部１３３により算出された過去のバイアス値との比較に基づいて、評価の適性（例えば、評価者としての適性）が向上したか否かを判定する。
判定部１３４は、算出部１３３により算出された過去のバイアス値との比較に基づいて、評価の適性（例えば、評価者としての適性）が向上したか否かを判定する。
【0066】
（提供部１３５）
提供部１３５は、算出部１３３により算出されたバイアス値に関する情報を提供する。また、提供部１３５は、多面評価データの実測値からバイアスを定量化したバイアス値を差し引いた真の評価値に関する情報を提供する。
提供部１３５は、算出部１３３により算出されたバイアス値に関する情報を提供する。また、提供部１３５は、多面評価データの実測値からバイアスを定量化したバイアス値を差し引いた真の評価値に関する情報を提供する。
【0067】
〔５．情報処理のフロー〕
次に、図７を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図７は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
次に、図７を用いて、実施形態に係る情報処理システム１による情報処理の手順について説明する。図７は、実施形態に係る情報処理システム１による情報処理の手順を示すフローチャートである。
【0068】
図７に示すように、情報処理装置１００は、多面評価データを取得する（ステップＳ２０１）。
【0069】
情報処理装置１００は、取得された多面評価データに対するベイズ推定に基づいて機械学習されたモデルを生成する（ステップＳ２０２）。
【0070】
情報処理装置１００は、生成されたモデルに、取得された多面評価データと所定の属性情報とを入力することにより、多面評価データに含まれる属性ごとのバイアスを定量化したバイアス値を算出する（ステップＳ２０３）。
【0071】
情報処理装置１００は、多面評価データの実測値から、算出されたバイアス値を差し引くことにより、バイアスを除いた真の評価値を算出する（ステップＳ２０４）。
【0072】
情報処理装置１００は、算出された真の評価値に関する情報を提供する（ステップＳ２０５）。
【0073】
〔６．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、算出部１３３と、提供部１３５とを有する。取得部１３１は、多面評価データを取得する。また、算出部１３３は、取得部１３１により取得された多面評価データに対するベイズ推定に基づいて、多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を算出する。また、提供部１３５は、多面評価データの実測値から、算出部１３３により算出されたバイアス値を差し引いた評価値に関する情報を提供する。
上述してきたように、実施形態に係る情報処理装置１００は、取得部１３１と、算出部１３３と、提供部１３５とを有する。取得部１３１は、多面評価データを取得する。また、算出部１３３は、取得部１３１により取得された多面評価データに対するベイズ推定に基づいて、多面評価データに含まれる評価に関わるバイアスを定量化したバイアス値を算出する。また、提供部１３５は、多面評価データの実測値から、算出部１３３により算出されたバイアス値を差し引いた評価値に関する情報を提供する。
【0074】
これにより、実施形態に係る情報処理装置１００は、ベイズ推定を応用して機械学習をすることで、処理の効率化を図ることができる。また、これにより、実施形態に係る情報処理装置１００は、バイアスを定量化することができるため、評価制度の運用改善や評価者への指導などに関して有用な情報を提供することができる。
【0075】
また、実施形態に係る情報処理装置１００は、多面評価データと、所定の属性情報とを入力情報とし、属性情報に含まれる属性ごとのバイアス値であって、ベイズ推定の推定結果であるバイアス値を出力情報とするモデルを生成する生成部１３２を更に有する。また、算出部１３３は、生成部１３２により生成されたモデルを用いて、バイアス値を算出する。
【0076】
これにより、実施形態に係る情報処理装置１００は、バイアスを適切に定量化することができるため、より有用な情報を提供することができる。
【0077】
また、算出部１３３は、所定の属性情報として、評価者の属性情報を含む入力情報に基づいて生成されたモデルを用いて、バイアス値を算出する。
【0078】
これにより、実施形態に係る情報処理装置１００は、評価者の属性ごとに、バイアスをより適切に定量化することができる。
【0079】
また、算出部１３３は、所定の属性情報として、被評価者の属性情報を含む入力情報に基づいて生成されたモデルを用いて、バイアス値を算出する。
【0080】
これにより、実施形態に係る情報処理装置１００は、被評価者の属性ごとに、バイアスをより適切に定量化することができる。
【0081】
また、算出部１３３は、所定の属性情報として、多面評価の調査の属性情報を含む入力情報に基づいて生成されたモデルを用いて、バイアス値を算出する。
【0082】
これにより、実施形態に係る情報処理装置１００は、多面評価の調査の属性ごとに、バイアスをより適切に定量化することができる。
【0083】
また、算出部１３３は、属性の相対的な関係性に基づく組み合わせに関する情報を所定の属性情報として生成されたモデルを用いて、バイアス値を算出する。
【0084】
これにより、実施形態に係る情報処理装置１００は、属性の相対的な関係性に基づいてバイアスを定量化することができるため、評価制度の運用改善や評価者への指導などに関してより有用な情報を提供することができる。
【0085】
また、提供部１３５は、多面評価に基づく実測値と、所定の確率分布に基づいて推定される被評価者の真の能力を示す推定値とに基づいて算出される属性ごとのバイアス値を出力情報として生成されたモデルを用いて、バイアス値を算出する。
【0086】
これにより、実施形態に係る情報処理装置１００は、ベイズ推定に基づいて、属性ごとにバイアスを適切に定量化することができる。
【0087】
また、提供部１３５は、一の回答時期に取得された多面評価データに基づくバイアス値と、一の回答時期よりも後に取得された多面評価データに基づくバイアス値との比較に基づいて、バイアスがゼロになる方向にバイアス値が遷移したと判定された場合には、評価の適性が向上した旨の情報を提供する。
【0088】
これにより、実施形態に係る情報処理装置１００は、評価制度の運用の見直しができるため、評価制度の運用改善や評価者への指導などに関してより有用な情報を提供することができる。
【0089】
〔７．ハードウェア構成〕
また、上述してきた実施形態に係る端末装置１０及び情報処理装置１００は、例えば、図８に示すような構成のコンピュータ１０００によって実現される。図８は、端末装置１０及び情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
また、上述してきた実施形態に係る端末装置１０及び情報処理装置１００は、例えば、図８に示すような構成のコンピュータ１０００によって実現される。図８は、端末装置１０及び情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【0090】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0091】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0092】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0093】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0094】
例えば、コンピュータ１０００が実施形態に係る端末装置１０及び情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１４および１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0095】
〔８．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0096】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0097】
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0098】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0099】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0100】
１ 情報処理システム
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 多面評価データ記憶部
１２２ モデル記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 算出部
１３４ 判定部
１３５ 提供部
Ｎ ネットワーク
１０ 端末装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 多面評価データ記憶部
１２２ モデル記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 算出部
１３４ 判定部
１３５ 提供部
Ｎ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】