(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】人物評価情報生成方法
(51)【国際特許分類】
G06Q 10/1053 20230101AFI20241008BHJP
【FI】
G06Q10/1053
(21)【出願番号】P 2022550088
(86)(22)【出願日】2020-09-16
(86)【国際出願番号】 JP2020035052
(87)【国際公開番号】W WO2022059088
(87)【国際公開日】2022-03-24
【審査請求日】2023-03-07
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】大井 雄介
【審査官】小山 和俊
(56)【参考文献】
【文献】特開2018-060374(JP,A)
【文献】特開2020-091735(JP,A)
【文献】特開2006-268395(JP,A)
【文献】特開2015-103183(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
情報処理装置が、
評価対象となる人物に関する映像データ及び音データと、他の人物に関する映像データ及び音データと、を取得し、
前記評価対象となる人物及び前記他の人物それぞれの映像データ及び音データに基づいて、前記評価対象となる人物及び前記他の人物それぞれに関する言動情報を生成し、
生成した言動情報のうち、前記他の人物の予め設定された動作に基づく言動情報を抽出すると共に、抽出した当該他の人物の言動情報にて表される動作に対応する前記評価対象となる人物の動作を特定する言動情報を抽出し、
前記抽出した
他の人物の言動情報
と、前記抽出した評価対象となる人物の言動情報と、を対応付けた評価情報を生成し、
前記評価情報を出力する、
人物評価情報生成方法。
【請求項2】
請求項1に記載の人物評価情報生成方法であって、
前記情報処理装置が、
前記他の人物の予め設定された動作に基づく言動情報を抽出すると共に、抽出した当該他の人物の言動情報にて表される動作が行われた時間を特定し、特定した時間の直後に前記評価対象となる人物にて行われた動作を特定する言動情報を抽出し、
前記抽出した
他の人物の言動情報
と、前記抽出した評価対象となる人物の言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
【請求項3】
請求項1又は2に記載の人物評価情報生成方法であって、
前記情報処理装置が、
第一の情報処理端末にて取得された前記評価対象となる人物に関する映像データ及び音データを取得し、前記第一の情報処理端末とは異なる第二の情報処理端末にて取得された前記他の人物に関する映像データ及び音データを取得する、
人物評価情報生成方法。
【請求項4】
請求項1乃至3のいずれかに記載の人物評価情報生成方法であって、
前記情報処理装置が、
前記映像データから取得した前記評価対象となる人物の動作に関するテキストからなる言動情報と、前記他の人物の言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
【請求項5】
請求項1乃至4のいずれかに記載の人物評価情報生成方法であって、
前記情報処理装置が、
前記他の人物の言動情報に対応付けられた前記評価対象となる人物の言動情報と、当該言動情報にて特定される前記評価対象となる人物の動作時の前記映像データと、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
【請求項6】
請求項5に記載の人物評価情報生成方法であって、
前記情報処理装置が、
相互に対応付けられた前記評価対象となる人物の言動情報と前記映像データとを対応付けて出力する、
人物評価情報生成方法。
【請求項7】
請求項1乃至6のいずれかに記載の人物評価情報生成方法であって、
前記評価情報は、前記評価対象となる人物の評価結果を含む、
人物評価情報生成方法。
【請求項8】
請求項1乃至7のいずれかに記載の人物評価情報生成方法であって、
前記評価対象となる人物は、被面接者である、
人物評価情報生成方法。
【請求項9】
評価対象となる人物に関する映像データ及び音データと、他の人物に関する映像データ及び音データと、を取得し、前記評価対象となる人物及び前記他の人物それぞれの映像データ及び音データに基づいて、前記評価対象となる人物及び前記他の人物それぞれに関する言動情報を生成する取得部と、
生成した言動情報のうち、前記他の人物の予め設定された動作に基づく言動情報を抽出すると共に、抽出した当該他の人物の言動情報にて表される動作に対応する前記評価対象となる人物の動作を特定する言動情報を抽出し、
前記抽出した
他の人物の言動情報
と、前記抽出した評価対象となる人物の言動情報と、を対応付けた評価情報を生成する生成部と、
前記評価情報を出力する出力部と、
を備えた人物評価情報生成装置。
【請求項10】
情報処理装置に、
評価対象となる人物に関する映像データ及び音データと、他の人物に関する映像データ及び音データと、を取得し、
前記評価対象となる人物及び前記他の人物それぞれの映像データ及び音データに基づいて、前記評価対象となる人物及び前記他の人物それぞれに関する言動情報を生成し、
生成した言動情報のうち、前記他の人物の予め設定された動作に基づく言動情報を抽出すると共に、抽出した当該他の人物の言動情報にて表される動作に対応する前記評価対象となる人物の動作を特定する言動情報を抽出し、
前記抽出した
他の人物の言動情報
と、前記抽出した評価対象となる人物の言動情報と、を対応付けた評価情報を生成し、
前記評価情報を出力する、
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人物評価情報生成方法、人物評価情報生成装置、プログラムに関する。
【背景技術】
【0002】
近年、通信技術の発達により、ネットワークを介して複数人による会議や面接などの対面作業が可能となっている。これにより、人物は、会議室などの特定の場所に集まることなく、会議や面接などの対面作業を行うことができ、感染症対策や人物の移動による時間的、金銭的コストの削減を図ることができる。例えば、特許文献1では、オンラインにて面接を行うシステムを開示している。特許文献1では、面接参加者の映像データから、身振りや手振りの大きさや、頷く回数を分析したり、瞳の大きさ、色、輝き、色などに基づいて興味度合いを分析し、面接参加者の評価を行っている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1では、特定の面接参加者の映像データから取得した情報に基づいて当該特定の面接参加者を評価しているため、他の人物(例えば、面接官や他の被面接者)との関わり状況を考慮した評価を行うことが難しい場合がある。
【0005】
このため、本発明の目的は、上述した課題である、特定の人物に対する適切な評価を行うことが難しい、ことを解決することができる人物評価情報生成方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一形態である人物評価情報生成方法は、
複数の人物に関する映像データ及び音データを取得し、
複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成し、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成し、
前記評価情報を出力する
という構成をとる。
【0007】
また、本発明の一形態である人物評価情報生成装置は、
複数の人物に関する映像データ及び音データを取得し、複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成する取得部と、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成する生成部と、
前記評価情報を出力する出力部と、
を備えた、
という構成をとる。
【0008】
また、本発明の一形態であるプログラムは、
情報処理装置に、
複数の人物に関する映像データ及び音データを取得し、
複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成し、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成し、
前記評価情報を出力する、
処理を実行させる、
という構成をとる。
【発明の効果】
【0009】
本発明は、以上のように構成されることにより、複数の人物が会合している状況を鑑みて、特定の人物を適切に評価することができる。
【図面の簡単な説明】
【0010】
【
図1】本発明の実施形態1における情報処理システムの全体構成を示す図である。
【
図2】
図1に開示した情報処理装置の構成を示すブロック図である。
【
図3】
図1に開示した情報処理装置による処理の様子を示す図である。
【
図4】
図1に開示した情報処理装置による処理の様子を示す図である。
【
図5】
図1に開示した情報処理装置による処理の様子を示す図である。
【
図6】
図1に開示した情報処理装置の動作を示すフローチャートである。
【
図7】
図1に開示した情報処理システムの他の構成を示す図である。
【
図8】
図7に開示した情報処理装置による処理の様子を示す図である。
【
図9】本発明の実施形態2における情報処理装置のハードウェア構成を示すブロック図である。
【
図10】本発明の実施形態2における情報処理装置の構成を示すブロック図である。
【
図11】本発明の実施形態2における情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
<実施形態1>
本発明の第1の実施形態を、
図1乃至
図8を参照して説明する。
図1乃至
図2は、情報処理システムの構成を説明するための図であり、
図3乃至
図8は、情報処理システムの処理動作を説明するための図である。
【0012】
[構成]
本発明における情報処理システムは、オンラインにて面接官Tと被面接者Uとが面接を行うためのシステムであり、特に、面接中における被面接者Uを評価するための評価情報を生成するためのシステムである。なお、以下では、面接官Tと被面接者Uとが一対一で面接する場合を例示するが、面接官T及び/又は被面接者Uは複数人であってもよい。また、本発明における情報処理システムは、面接官Tと被面接者Uとが面接を行う場合に利用されることに限定されず、複数人による会議などの会合中において、特定の一人又は複数の人物の評価情報を生成するために利用されてもよい。
【0013】
図1に示すように、本開示における情報処理システムでは、面接官Tが操作する面接官端末TTと、被面接者Uが操作する被面接者端末UTとが、ネットワークNを介して接続されている。面接官端末TTと被面接者端末UTとは、ノートパソコンやスマートフォンなどの情報処理端末であり、カメラなどの撮影装置と、マイクなどの収音装置と、を備えている。そして、面接官端末TTと被面接者端末UTとは、それぞれ撮影した映像情報と収音した音情報との少なくとも一方を相手方の情報処理端末に送信して出力させる機能を備えている。つまり、被面接者端末UTには、面接官端末TTにて撮影された面接官Tが映る映像情報が表示され、面接官端末TTにて収音された面接官Tの発言などの音情報が出力される。また、面接官端末TTには、被面接者端末UTにて撮影された被面接者Uが映る映像情報が表示され、被面接者端末UTにて収音された被面接者Uの発言などの音情報が出力される。
【0014】
また、
図1に示すように、情報処理システムは、面接官側に設置された情報処理装置10を備えている。情報処理装置10は、面接官Tが属する会社の社内LANといった任意のネットワークを介して面接官端末TTと接続されている。そして、情報処理装置10は、面接官端末TTから、オンラインによる面接官Tと被面接者Uとの面接の様子を表す映像情報(映像データ)と音情報(音データ)からなる面接情報を取得して、被面接者Uを評価するための評価情報を生成するよう構成されている。以下、情報処理装置10の構成について詳述する。
【0015】
情報処理装置10は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。そして、情報処理装置10は、
図2に示すように、取得部11、生成部12、出力部13、を備える。取得部11、生成部12、出力部13の各機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、情報処理装置10は、動作情報記憶部14、評価情報記憶部15、を備える。動作情報記憶部14、評価情報記憶部15は、記憶装置により構成される。
【0016】
取得部11は、面接官端末TTから、当該面接官端末TTにて撮影された映像情報及び収音された音情報からなる面接情報を取得する。また、取得部11は、面接官端末TTから、当該面接官端末TTがネットワークNを介して被面接者端末UTから送信され取得した、評価対象となる被面接者U(評価対象となる人物)の映像情報及び音情報からなる面接情報を取得する。但し、取得部11は、ネットワークNを介して被面接者端末UTから被面接者Uの面接情報を取得してもよい。なお、取得した面接情報には、時間情報が付与されている。例えば、時間情報は、面接開始時刻からの経過時間などであるが、これに限定されない。
【0017】
そして、取得部11はさらに、取得した映像情報及び音情報からなる面接情報を解析して、面接官Tや被面接者Uの動作に関する動作情報を取得し、かかる動作情報を映像情報及び音情報からなる面接情報に対応付けて動作情報記憶部14に記憶する。動作情報は、面接官Tや被面接者Uの発言内容を含んでもよい。以下、動作情報が発言内容を含む場合、「動作情報」を「言動情報」と呼ぶ場合もある。例えば、取得部11は、面接官Tの面接情報からは、かかる面接情報に含まれる面接官Tが発した音情報を音声解析して、面接官Tが発した言葉を表す文字情報を面接官動作情報として取得する。一例として、取得部11は、面接官動作情報として「質問です。・・・・」という言葉や、「・・・考えを述べてください。」という言葉を取得する。また、例えば、取得部11は、被面接者Uの面接情報からは、かかる面接情報に含まれる映像情報から被面接者Uの身体の動作つまりふるまいを動作解析して、被面接者Uの動作に関するテキストを被面接者動作情報として取得する。一例として、被面接者動作情報は、「首をかしげる」、「頷く」、「髪を触る」、「俯く」、「沈黙する」などである。取得部11は、取得した面接官動作情報及び被面接者動作情報に、かかる動作が行われた面接情報中の時間情報を関連付けて記憶することで、面接官動作情報及び被面接者動作情報が抽出された面接情報の該当箇所に対応付けて記憶してもよい。
【0018】
ここで、取得部11は、例えば、VideoBERT(Video Bidirectional Encoder Representations from Transformers)という技術を用いて、映像情報から被面接者Uの動作を特定するテキストを取得する。VideoBERTの一例の動作として、映像から振る舞いを抽出し、当該振る舞いを示すテキストを生成する、という処理を行う。例えば、取得部11は、面接情報に含まれる映像情報及び音情報から、被面接者Uの振る舞いや被面接者Uが発した言葉を表すテキストを被面接者動作情報として取得してもよい。但し、取得部11は、上記以外の方法で映像情報から動作に関するテキストを取得してもよい。また、取得部11は、上記では面接官Tの面接情報からは、面接官Tが発した言葉を表す文字情報を面接官動作情報として取得したが、面接官Tの映像情報から、かかる面接官の動作に関するテキストを面接官動作情報として取得してもよい。
【0019】
ここで、取得部11にて取得される動作情報の他の例を説明する。例えば、動作情報は、面接官Tの面接官動作情報や被面接者U各人物の言動、表情、視線、声の大小、声の高低、感情、身だしなみ、体温、を含んでもよい。また、取得部11は、人物の特定の動作、例えば、手の動作として、顔を触る、髪を触るなど、緊張した時に現れると考えられる特有の動作を、動作情報として取得してもよい。
【0020】
生成部12は、動作情報記憶部14に記憶されている面接官動作情報及び被面接者動作情報のうち、相互に対応する情報を抽出して対応付けることで、評価情報を生成し、評価情報記憶部15に記憶する。このとき、生成部12は、まず、面接官動作情報のうち、予め設定された動作に対応する面接官動作情報を抽出する。例えば、生成部12は、面接官動作情報うち、特定の言葉を含む文字情報からなる面接官動作情報を抽出する。一例として、面接官動作情報としては、「質問です。・・・・」というように、「質問です」という言葉に続く一連の文章からなる面接官動作情報を抽出する。そして、生成部12は、抽出した面接官動作情報にて表される面接官Tの動作に対応する、被面接者Uの動作を特定する被面接者動作情報を抽出する。例えば、生成部12は、抽出した面接官動作情報にて表される面接官Tの動作が行われた時間情報を特定し、かかる時間の直後に被面接者Uにて行われた動作を特定する被面接者動作情報を抽出する。一例として、被面接者動作情報としては、「首をかしげる」という動作を抽出する。
【0021】
ここで、
図3は、面接官Tと被面接者Uとの面接時における映像情報及び音情報からなる面接情報の一例を示す図である。
図3の下図の符号T1に示すように、生成部12は、面接官Tにて発言された特定の言葉を含む文字情報からなる面接官動作情報を抽出し、これに対応する被面接者動作情報として、
図3の下図の符号U1に示すように、面接官Tの発言の直後に被面接者Uにて行われた動作を表す被面接者動作情報を抽出する。そして、生成部12は、これら抽出した面接官動作情報と被面接者動作情報とを対応付けた評価情報を生成し、
図4に示すように、評価情報記憶部15に記憶する。このとき、生成部12は、面接官動作情報と被面接者動作情報とに、かかる情報の抽出元となる映像情報及び音情報からなる面接情報中の箇所を特定する時間情報を対応付けて記憶する。これにより、映像情報と、抽出した面接官動作情報及び被面接者動作情報とが、対応付けられる。なお、上述したように、取得部11にて取得した面接官動作情報が面接官Tの動作を表す文字情報である場合には、かかる面接官Tの動作を表す面接官動作情報としての文字情報に、被面接者Uの対応する動作を表す文字情報である被面接者動作情報が対応付けられる。
【0022】
なお、生成部12は、評価情報として、かかる評価情報に基づく被面接者Uの評価結果を表す情報も含めて生成してもよい。評価情報は、評価結果を含んでもよい。つまり、生成部12は、被面接者Uを評価するための被面接者動作情報に、かかる被面接者動作情報に基づく評価結果を表す情報も対応付けてもよい。例えば、評価結果は、面接官Tによって評価されて入力された評価結果を表す情報や、被面接者動作情報などから予め設定されたプログラムによって算出された評価結果を表す情報など、いかなる方法によって生成された情報であってもよい。
【0023】
出力部13は、生成部12により生成される情報を、面接官端末TTや他の情報処理端末から出力する。なお、出力部13は、生成部12により生成される情報を出力するように面接官端末TTや他の情報処理端末を制御してもよい。例えば、出力部13は、評価情報記憶部15に記憶された時間情報に対応する被面接者Uの映像情報及び音情報からなる面接情報と、かかる面接情報に対応付けられた面接官動作情報及び被面接者動作情報である文字情報からなる評価情報とを、表示するよう出力する。一例として、出力部13は、
図5に示すように、面接官Tが発した音情報に関するテキスト「質問です。・・・」と共に、これに対応付けられた時間的に直後の被面接者Uの動作(しぐさ、ふるまい)に関するテキスト「首をかしげる」を表示し、併せて、この面接時の被面接者Uの映像情報及び音情報からなる面接情報を表示する。なお、出力部13は、
図5の表示に加えて、さらに面接官Tの映像情報及び音情報からなる面接情報を表示してもよい。また、出力部13は、
図5の表示に加えて、被面接者Uに関する種々の情報、例えば、面接の前後に被面接者Uが行った適正検査や所定のテストの結果を表す情報を表示してもよい。さらに、出力部13は、評価情報に含まれる評価結果を表す情報を表示して出力してもよい。但し、上記では映像情報と音情報からなる面接情報を出力する場合について説明したが、出力部13は、相互に対応付けた面接官動作情報及び被面接者動作情報であるテキストのみからなる評価情報を表示して出力してもよい。
【0024】
ここで、図示しないが、情報処理装置10は、学習部及び評価部を備えていてもよい。例えば、学習部は、過去に行われた面接の情報として、上述した面接官動作情報及び被面接者動作情報に加え、被面接者Uの面接結果である合否情報や評価値を学習データとして用いて学習する。つまり、学習部は、面接官動作情報及び被面接者動作情報を入力値とし、かかる入力値から、面接の合否や評価値を出力するモデルを生成する。このとき、学習部は、被面接者Uの情報として、被面接者Uが行った適正検査や所定のテストの結果を表す情報を、面接官動作情報及び被面接者動作情報と共に入力して、かかる入力値に対する面接結果や評価値を出力する学習モデルを生成してもよい。そして、評価部は、生成されたモデルに、新たに面接を行う被面接者Uの面接官動作情報及び被面接者動作情報を含む情報を入力することで、かかる被面接者Uの面接の合否や評価値を予測する。
【0025】
[動作]
次に、上述した情報処理装置10の動作を、主に
図6のフローチャートを参照して説明する。まず、情報処理装置10は、面接官Tと被面接者Uの面接の様子を表す映像情報及び音情報からなる面接情報を取得する(ステップS1)。そして、情報処理装置10は、映像情報及び音情報からなる面接情報を解析して、面接官Tや被面接者Uの動作に関する動作情報を生成/抽出する(ステップS2)。例えば、情報処理装置10は、面接官Tの面接情報からは、かかる面接情報に含まれる面接官Tが発した音情報を音声解析して、面接官Tが発した言葉を表すテキストを面接官動作情報として生成する。また、情報処理装置10は、被面接者Uの面接情報からは、かかる面接情報に含まれる映像情報から被面接者Uの身体の動作つまりふるまいを動作解析して、被面接者Uの動作に関するテキストを被面接者動作情報として生成する。
【0026】
続いて、情報処理装置10は、上述したように生成した面接官動作情報及び被面接者動作情報のうち、相互に対応する情報を抽出して対応付ける(ステップS3)。このとき、情報処理装置10は、まず、面接官動作情報のうち、予め設定された動作に対応する面接官動作情報を抽出する。例えば、情報処理装置10は、面接官動作情報うち、特定の言葉に関するテキストを含む面接官動作情報を抽出する。そして、情報処理装置10は、抽出した面接官動作情報にて表される面接官Tの動作に対応する、被面接者Uの動作を特定する被面接者動作情報を抽出する。例えば、情報処理装置10は、抽出した面接官動作情報にて表される面接官Tの動作が行われた時間情報を特定し、かかる時間の直後に被面接者Uにて行われた動作を特定する被面接者動作情報を抽出する。そして、情報処理装置10は、これら抽出した面接官動作情報と被面接者動作情報とを対応付けた評価情報を生成する(ステップS4)。このとき、情報処理装置10は、面接官動作情報と被面接者動作情報とに、かかる情報が抽出された元となる映像情報及び音情報からなる面接情報中の箇所を特定する時間情報を対応付けて記憶する。
【0027】
その後、情報処理装置10は、面接官Tなど面接を行う側の要求に応じて、上述したように対応付けられた、面接官動作情報及び被面接者動作情報である文字情報と、これらの情報に対応する箇所の被面接者Uの映像情報及び音情報からなる面接情報と、を出力する(ステップS5)。
【0028】
以上のように、本実施形態によると、面接官Tの発言などの動作を表す面接官動作情報と、かかる面接官Tの発言に対する被面接者Uのしぐさなどの動作を表す被面接者動作情報と、を対応付けて記憶している。このため、面接官Tの動作に応じた被面接者Uによる動作を認識することができる。かかる動作に関する被面接者Uの評価情報を生成することができる。その結果、他人との関わり状況を考慮して被評価者Uを評価することができる。また、被面接者の動作をテキスト化した評価情報を生成することにより、被面接者を客観的に評価することが容易になる。遠隔で面接する場合であっても、適切な評価を行うことができる。
【0029】
<実施形態2>
次に、本発明の第2の実施形態について、
図7乃至
図8を参照して説明する。第2の実施形態における情報処理システムは、
図7の被評価者側に示すように、会議やグループディスカッションといった会合を複数の人物が行っている状況において、特定の評価対象となる人物以外にも周囲に他の人物がいる場合に、周囲の人物の言動を考慮した評価対象となる人物の言動情報からなる評価情報を生成するためのものである。なお、ここでは、
図7に示す複数の人物Ua,Ubのうち、評価対象となる被評価者Ubを評価するための評価情報を生成する場合を説明する。但し、被評価者Ubは一人であることに限定されず、複数人であってもよい。
【0030】
図7に示すように、情報処理システムは、被評価者側で複数の人物Ua,Ubによって行われる会議の映像情報及び音情報を取得するカメラUCといった撮影装置と、当該カメラUCにネットワークNを介して接続された情報処理装置20と、を備えている。情報処理装置20は、評価者Taが存在する評価者側に設置されており、実施形態1で説明した情報処理装置と同様の構成を備えている。つまり、情報処理装置20は、
図2に示す情報処理装置10と同様に、取得部11、生成部12、出力部13、動作情報記憶部14、評価情報記憶部15、を備えている。以下、本実施形態の情報処理装置20の各構成について、実施形態1と異なる機能を主に説明する。
【0031】
本実施形態における情報処理装置20の取得部11は、会議の様子をカメラUCで撮影した音情報を含む映像情報を取得する。そして、取得部11は、取得した映像情報を解析して、被評価者側の人物Ua,Ubの動作を特定する動作情報を取得し、かかる動作情報を映像情報に対応付けて記憶する。例えば、取得部11は、映像情報に含まれるある人物Ua(被評価者ではない人物)が発した音情報を音声解析して、当該人物Uaが発した言葉を表す文字情報を第一人物動作情報として取得する。また、例えば、取得部11は、映像情報に含まれる評価対象となる人物Ubの身体の動作つまりふるまいを動作解析して、評価対象となる人物Ubの動作を特定する文字情報を第二人物動作情報として取得する。なお、取得部11は、人物Uaの動作を特定する文字情報を第一人物動作情報として取得してもよい。
【0032】
また、本実施形態における情報処理装置20の生成部12は、動作情報記憶部14に記憶されている第一人物動作情報及び第二人物動作情報のうち、相互に対応する情報を抽出して対応付け、評価情報記憶部15に記憶する。このとき、生成部12は、まず、第一動作情報のうち、予め設定された動作に対応する第一動作情報を抽出する。例えば、生成部12は、第一人物動作情報うち、特定の言葉を含むテキストからなる第一動作情報を抽出する。一例として、第一人物動作情報としては、「・・・と考えます。」というように、「考えます」という言葉の前の一連の文章からなる第一人物動作情報を抽出する。そして、生成部12は、抽出した第一人物動作情報にて表されるある人物Uaの動作に対応する、評価対象となる人物Ubの動作を特定する第二人物動作情報を抽出する。例えば、生成部12は、抽出した第一人物動作情報にて表されるある人物Uaの動作が行われた時間情報を特定し、かかる時間の直後に評価対象となる人物Ubにて行われた動作を特定する第二人物動作情報を抽出する。一例として、第二人物動作情報としては、「首をかしげる」という動作を抽出する。
【0033】
そして、生成部12は、これら抽出した第一人物動作情報と第二人物動作情報とを対応付けた評価情報を評価情報記憶部15に記憶する。このとき、生成部12は、第一人物動作情報と第二人物動作情報とに、かかる情報が抽出された元となる音声情報を含む映像情報中の箇所を特定する時間情報を対応付けて記憶する。これにより、映像情報と、抽出した第一人物動作情報及び第二人物動作情報とが、対応付けられる。なお、上述したように、取得部11にて取得した第一人物動作情報がある人物Uaの動作を表す文字情報である場合には、かかる人物Uaの動作を表すテキストに、対応する第二人物動作情報が対応付けられる。
【0034】
また、本実施形態における情報処理装置20の出力部13は、評価情報記憶部15に記憶された情報を、評価者側の評価者Taが操作する情報処理端末から出力するよう制御する。例えば、出力部13は、評価情報記憶部に記憶された時間情報に対応する評価対象となる人物Ubの映像情報と、かかる映像情報に対応付けられた第一人物動作情報及び第二人物動作情報である文字情報とを、同一画面で表示するよう出力する。これにより、評価者Taは、会議中のある人物Uaが発言をしたり何らかの動作を行ったときにおける、他の人物である評価対象となる人物Ubの動作(しぐさ)を表す情報を得ることができ、かかる人物Ubの評価に用いることができる。
【0035】
以上のように、本発明によると、ある人物Uaの発言などの動作を表す第一人物動作情報と、かかる人物Uaの発言に対する評価対象となる人物Ubのしぐさなどの動作を表す第二人物動作情報と、を対応付けて記憶している。このため、ある人物Uaの動作に応じた評価対象となる人物Ubによる動作を認識することができ、かかる動作を評価対象となる人物Ubの評価情報として取得することができる。その結果、他人との関わり状況を考慮して被評価者となる人物Ubを評価することができ、遠隔地で会合を行っている人物であっても、適切な評価を行うことができる。特に、本発明では、他の人物Uaの動作に対応した評価対象となる人物Ubの動作をテキスト化した評価情報を生成することにより、人物Ubを客観的に評価することが容易になる。
【0036】
なお、取得部11による映像情報と音情報からの人物Ua,Ubの言動情報の抽出処理や、生成部12による評価情報の生成処理は、事前に取得して記憶した映像情報と音情報とを用いて行われてもよい。つまり、情報処理装置20は、必ずしも会議中にリアルタイムで言動情報の抽出処理や評価情報の生成処理を行う必要はなく、会議後に、会議の録画映像に関する映像データおよび音データを解析して、言動情報の抽出や評価情報の生成を行ってもよい。また、実施形態1で説明した面接の場面においても、面接時の映像情報及び音情報を含む面接情報を記憶しておき、面接後に、記憶した面接情報を解析して、言動情報の抽出と評価情報の生成を行ってもよい。
【0037】
<実施形態3>
次に、本発明の第3の実施形態を、
図9乃至
図11を参照して説明する。
図9乃至
図10は、実施形態3における情報処理装置の構成を示すブロック図であり、
図11は、情報処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した情報処理装置の構成の概略を示している。
【0038】
まず、
図9を参照して、本実施形態における情報処理装置100のハードウェア構成を説明する。情報処理装置100は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・CPU(Central Processing Unit)101(演算装置)
・ROM(Read Only Memory)102(記憶装置)
・RAM(Random Access Memory)103(記憶装置)
・RAM103にロードされるプログラム群104
・プログラム群104を格納する記憶装置105
・情報処理装置外部の記憶媒体110の読み書きを行うドライブ装置106
・情報処理装置外部の通信ネットワーク111と接続する通信インタフェース107
・データの入出力を行う入出力インタフェース108
・各構成要素を接続するバス109
【0039】
そして、情報処理装置100は、プログラム群104をCPU101が取得して当該CPU101が実行することで、
図10に示す取得部121と生成部122と出力部123とを構築して装備することができる。なお、プログラム群104は、例えば、予め記憶装置105やROM102に格納されており、必要に応じてCPU101がRAM103にロードして実行する。また、プログラム群104は、通信ネットワーク111を介してCPU101に供給されてもよいし、予め記憶媒体110に格納されており、ドライブ装置106が該プログラムを読み出してCPU101に供給してもよい。但し、上述した取得部121と生成部122と出力部123とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0040】
なお、
図9は、情報処理装置100である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置106を有さないなど、上述した構成の一部から構成されてもよい。
【0041】
そして、情報処理装置100は、上述したようにプログラムによって構築された取得部121と生成部122と出力部123との機能により、
図11のフローチャートに示す情報処理方法を実行する。
【0042】
図11に示すように、情報処理装置100は、
複数の人物に関する映像データ及び音データを取得し、複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成し(ステップS11)、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成し(ステップS12)、
前記評価情報を出力する(ステップS13)、
という処理を実行する。
【0043】
本発明は、以上のように構成されることにより、評価対象となる人物の動作に基づく動作情報と、他の人物の動作に基づく動作情報と、を対応付けて記憶しているため、他の人物の動作に応じた評価対象となる人物による動作を認識することができる。その結果、他人との関わり状況を考慮して被評価者となる人物を評価することができ、遠隔地で会合を行っている人物であっても、適切な評価を行うことができる。
【0044】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0045】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した取得部121と生成部122と出力部123との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0046】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における人物評価情報生成方法、人物評価情報生成装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
複数の人物に関する映像データ及び音データを取得し、
複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成し、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成し、
前記評価情報を出力する、
人物評価情報生成方法。
(付記2)
付記1に記載の人物評価情報生成方法であって、
前記評価対象となる人物を撮影した映像データから生成した当該評価対象となる人物の動作に関する言動情報と、前記他の人物の言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
(付記3)
付記2に記載の人物評価情報生成方法であって、
前記映像データから取得した前記評価対象となる人物の動作に関するテキストからなる言動情報と、前記他の人物の言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
(付記4)
付記2又は3に記載の人物評価情報生成方法であって、
前記他の人物の予め設定された動作に基づく言動情報と、当該他の人物の言動情報にて表される動作に対応する前記評価対象となる人物の動作を特定する言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
(付記5)
付記2乃至4のいずれかに記載の人物評価情報生成方法であって、
前記他の人物の言動情報に対応付けられた前記評価対象となる人物の言動情報と、当該言動情報にて特定される前記評価対象となる人物の動作時の前記映像データと、を対応付けた前記評価情報を生成する、
人物評価情報生成方法。
(付記6)
付記5に記載の人物評価情報生成方法であって、
相互に対応付けられた前記評価対象となる人物の言動情報と前記映像データとを対応付けて出力する、
人物評価情報生成方法。
(付記7)
付記1乃至6のいずれかに記載の人物評価情報生成方法であって、
前記評価情報は、前記評価対象となる人物の評価結果を含む、
人物評価情報生成方法。
(付記8)
付記1乃至7のいずれかに記載の人物評価情報生成方法であって、
前記評価対象となる人物は、被面接者である、
人物評価情報生成方法。
(付記9)
複数の人物に関する映像データ及び音データを取得し、複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成する取得部と、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成する生成部と、
前記評価情報を出力する出力部と、
を備えた人物評価情報生成装置。
(付記10)
付記9に記載の人物評価情報生成装置であって、
前記生成部は、前記評価対象となる人物を撮影した映像データから取得した当該評価対象となる人物の動作に関する言動情報と、前記他の人物の言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成装置。
(付記11)
付記10に記載の人物評価情報生成装置であって、
前記生成部は、前記映像データから取得した前記評価対象となる人物の動作に関するテキストからなる言動情報と、前記他の人物の言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成装置。
(付記12)
付記10又は11に記載の人物評価情報生成装置であって、
前記生成部は、前記他の人物の予め設定された動作に基づく言動情報と、当該他の人物の言動情報にて表される動作に対応する前記評価対象となる人物の動作を特定する言動情報と、を対応付けた前記評価情報を生成する、
人物評価情報生成装置。
(付記13)
付記10乃至12のいずれかに記載の人物評価情報生成装置であって、
前記生成部は、前記他の人物の言動情報に対応付けられた前記評価対象となる人物の言動情報と、当該言動情報にて特定される前記評価対象となる人物の動作時の前記映像データと、を対応付けた前記評価情報を生成する、
人物評価情報生成装置。
(付記14)
付記13に記載の人物評価情報生成装置であって、
前記出力部は、相互に対応付けられた前記評価対象となる人物の言動情報と前記映像データとを対応付けて出力する、
人物評価情報生成装置。
(付記15)
情報処理装置に、
複数の人物に関する映像データ及び音データを取得し、
複数の人物それぞれの映像データ及び音データに基づいて、複数の人物に関する言動情報を生成し、
複数の人物それぞれの言動情報のうち、少なくとも一人の評価対象となる人物から取得した言動情報と、少なくとも一人の他の人物から取得した言動情報と、を対応付けた評価情報を生成し、
前記評価情報を出力する、
処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
(付記16)
面接官と被面接者とを撮影した映像データ及び又は音データから、面接官の言動に関する面接官情報を抽出し、
当該面接官情報に対応する面接官の言動に対する被面接者の言動に関する被面接者情報を抽出し、
前記面接官情報と前記被面接者情報とに基づいて、前記被面接者を評価するための評価情報を生成する、
人物評価情報生成方法。
【符号の説明】
【0047】
10,20 情報処理装置
11 取得部
12 生成部
13 出力部
14 動作情報記憶部
15 評価情報記憶部
T 面接官
TT 面接官端末
U 被面接者
UT 被面接者端末
100 情報処理装置
101 CPU
102 ROM
103 RAM
104 プログラム群
105 記憶装置
106 ドライブ装置
107 通信インタフェース
108 入出力インタフェース
109 バス
110 記憶媒体
111 通信ネットワーク
121 取得部
122 生成部
123 出力部