特開 2022-135881 スキル評価プログラム及びスキル評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022135881

(43)【公開日】2022-09-15

(54)【発明の名称】スキル評価プログラム及びスキル評価装置

(51)【国際特許分類】

   G06Q 10/06 20120101AFI20220908BHJP

【ＦＩ】

G06Q10/06

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021145193

(22)【出願日】2021-09-07

(11)【特許番号】

(45)【特許公報発行日】2022-08-15

(31)【優先権主張番号】P 2021033854

(32)【優先日】2021-03-03

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】520334317

【氏名又は名称】リープ株式会社

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【復代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】堀 貴史

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA08

(57)【要約】

【課題】評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度が低下することを抑制可能なスキル評価プログラム及びスキル評価装置を提供する。
【解決手段】スキル評価装置１４は、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段３０と、対話中の発言内容を示す対話データＤＤから実際の難度を推定する推定手段（４４）と、対話中の発言内容の有効性又は発言内容同士の関連性を評価するための評価処理を対話データＤＤに対して施し、評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段（４２，４８）と、目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する補正手段３６と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、前記評価対象者のスキルを評価するためのスキル評価プログラムであって、
コンピュータを、
前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段、
前記取得手段が取得する前記目標の難度を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データから、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定する推定手段、
前記対話中の発言内容の有効性又は前記発言内容同士の関連性を評価するための評価処理を前記対話データに対して施し、前記評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段、
前記取得手段により取得された前記目標の難度と前記推定手段により推定された前記実際の難度との間の差が小さくなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段、
として機能させる、スキル評価プログラム。

【請求項2】

コンピュータを、
前記目標の難度と前記実際の難度との差分に応じて前記補正手段による補正の要否を判定する判定手段としてさらに機能させる、
請求項１に記載のスキル評価プログラム。

【請求項3】

前記判定手段は、前記差分の絶対値が閾値を上回る場合に前記補正手段による補正が必要であると判定する一方、前記差分の絶対値が前記閾値を上回らない場合に前記補正手段による補正が必要でないと判定する、
請求項２に記載のスキル評価プログラム。

【請求項4】

前記算出手段は、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を示す複数種類の個別評価値を算出し、前記複数種類の個別評価値がなす評価値空間上の領域の属否に応じて前記評価対象者を分類する、
請求項１～３のいずれか１項に記載のスキル評価プログラム。

【請求項5】

評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、前記評価対象者のスキルを評価するスキル評価装置であって、
前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段と、
前記取得手段が取得する前記目標の難度を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データから、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定する推定手段と、
前記対話中の発言内容の有効性又は前記発言内容同士の関連性を評価するための評価処理を前記対話データに対して施し、前記評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段と、
前記取得手段により取得された前記目標の難度と前記推定手段により推定された前記実際の難度との間の差が小さくなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段と、
を備える、スキル評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スキル評価プログラム及びスキル評価装置に関する。

【背景技術】

【0002】

従来から、企業、団体又は学校などの組織にとって「人材の育成」が大きな課題の一つになっている。例えば、複数の参加者による対話中の発言内容を解析し、コミュニケーションスキルを評価するための様々な技術が提案されている。

【0003】

特許文献１には、人のコミュニケーションの映像データと音声データを取り込み、人工知能技術を用いて数値データ化し、それらの数値データ化されたデータに基づき解析し、コミュニケーションの内容及びスキルに関する評価を行うシステムが開示されている。そして、この特許文献の段落［００９０］には、業務上のコミュニケーション目的がある場合、該当する目的が達成されたかの度合いに応じて、コミュニケーション総体の結果に対して評価する旨の記載がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１３３４５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記した評価を行うために、複数の参加者にそれぞれ役割を与えた上で疑似的なタスク（ここでは、対話型のロールプレイ、あるいは対話シミュレーション）を遂行させることがある。この場合、評価の公平性を図るため、評価対象者ではない別の参加者が、与えられた役割を忠実に果たしつつ、一定の行動指針に則した言動を行うことが要求される。

【0006】

ところが、別の参加者がとる行動指針の違いによりタスクの難易度が左右され、タスクの達成度が変動する場合がある。つまり、特許文献１に開示される手法では、コミュニケーションスキルの評価結果がタスクの達成度の変動の影響を受けるので、その分だけ評価精度が低下するという問題がある。

【0007】

本発明はこのような問題に鑑みてなされたものであり、その目的は、評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度が低下することを抑制可能なスキル評価プログラム及びスキル評価装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明の第一態様におけるスキル評価プログラムは、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、前記評価対象者のスキルを評価するためのプログラムであって、コンピュータを、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段、前記取得手段が取得する前記目標の難度を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データから、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定する推定手段、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を評価するための評価処理を前記対話データに対して施し、前記評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段、前記取得手段により取得された前記目標の難度と前記推定手段により推定された前記実際の難度との間の差が小さくなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段、として機能させる。

【0009】

本発明の第二態様におけるスキル評価プログラムは、コンピュータを、前記目標の難度と前記実際の難度との差分に応じて前記補正手段による補正の要否を判定する判定手段としてさらに機能させる。

【0010】

本発明の第三態様におけるスキル評価プログラムでは、前記判定手段は、前記差分の絶対値が閾値を上回る場合に前記補正手段による補正が必要であると判定する一方、前記差分の絶対値が前記閾値を上回らない場合に前記補正手段による補正が必要でないと判定する。

【0011】

本発明の第四態様におけるスキル評価プログラムでは、前記算出手段は、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を示す複数種類の個別評価値を算出し、前記複数種類の個別評価値がなす評価値空間上の領域の属否に応じて前記評価対象者を分類する。

【0012】

本発明の第五態様におけるスキル評価装置は、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、前記評価対象者のスキルを評価する装置であって、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段と、前記取得手段が取得する前記目標の難度を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データから、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定する推定手段と、前記対話中の発言内容の有効性又は前記発言内容同士の関連性を評価するための評価処理を前記対話データに対して施し、前記評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段と、前記取得手段により取得された前記目標の難度と前記推定手段により推定された前記実際の難度との間の差が小さくなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段と、を備える。

【発明の効果】

【0013】

本発明によれば、評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度の低下が抑制される。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態におけるスキル評価装置が組み込まれた模擬訓練システムの全体構成図である。

【図2】図１におけるスキル評価装置のハードウェア構成の一例を示す図である。

【図3】図２におけるスキル評価装置の機能ブロックの一例を示す図である。

【図4】図３に示すスキル評価装置の動作に関するフローチャートである。

【図5】図１のユーザ端末に表示される設定画面の一例を示す図である。

【図6】図１の対話データが示す対話内容を可視化した図である。

【図7】補正の要否に関する判定方法の一例を示す図である。

【図8】標準難度の顧客を想定した評価基準の一例を示す図である。

【図9】スキル評価に関する第一の補正方法を示す模式図である。

【図10】スキル評価に関する第二の補正方法を示す模式図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素又は同一のステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。

【0016】

［模擬訓練システム１０の構成］
＜全体構成＞
図１は、本発明の一実施形態におけるスキル評価装置１４が組み込まれた模擬訓練システム１０の全体構成図である。この模擬訓練システム１０は、対話型のロールプレイ（あるいは、対話シミュレーション）を通じて、コミュニケーションスキルの向上を支援する「スキル向上支援サービス」を提供可能に構成される。

【0017】

この模擬訓練システム１０は、具体的には、一又は複数のユーザ端末１２と、スキル評価装置１４と、一又は複数の専門家端末１６と、を含んで構成される。スキル評価装置１４は、ネットワークＮＴを通じて、各々のユーザ端末１２との間で、あるいは各々の専門家端末１６との間で相互に通信可能である。

【0018】

ユーザ端末１２は、企業、団体又は学校などの組織に所属するユーザが業務を行うための作業端末である。ユーザ端末１２は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、ウェアラブルデバイスなどから構成される。本図の例では、ユーザ端末１２には、音声データの入力手段としてのマイクロフォン１８と、映像データの入力手段としてのカメラ２０と、がそれぞれ通信可能に接続される。

【0019】

マイクロフォン１８及びカメラ２０は、対話型のロールプレイを行う場所（具体的には、会議室など）に設置される。このロールプレイは、高いコミュニケーションスキルが要求される場面を想定して行われる。具体例としては、［１］営業担当者と顧客との間で行われる商談、［２］複数のメンバ間で行われる会議、［３］上司と部下との間で行われる評価面談、［４］教師と生徒の間で行われる授業、［５］医師と患者との間で行われる診断結果の説明、などが挙げられる。

【0020】

スキル評価装置１４は、ユーザ端末１２との間で、コミュニケーションスキルの向上に必要な各種情報（例えば、対話データＤＤや報告データＲＤなど）をやり取りするサーバコンピュータである。スキル評価装置１４は、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、評価対象者のスキルを評価可能に構成される。スキル評価装置１４の具体的な構成については、後で詳述する。

【0021】

専門家端末１６は、コミュニケーションスキルに関する専門家（つまり、コンサルタント）が所有する作業端末である。専門家は、専門家端末１６を用いて対話データＤＤを再生しながらコミュニケーションスキルを評価し、得られた評価結果を専門家端末１６に入力する作業を行う。その後、専門家端末１６は、専門家による送信操作に応じて、人間による評価結果を含むデータをスキル評価装置１４に送信する。

【0022】

＜ハードウェア構成＞
図２は、図１におけるスキル評価装置１４のハードウェア構成の一例を示す図である。スキル評価装置１４は、通信Ｉ／Ｆ２２と、プロセッサ２４と、メモリ２６と、記憶装置２８と、を含んで構成される。

【0023】

通信Ｉ／Ｆ２２は、外部装置に対して電気信号を送受信するインターフェースである。これにより、スキル評価装置１４は、ユーザ端末１２又は専門家端末１６との間で、必要な情報のやり取りを行うことができる。

【0024】

プロセッサ２４は、ＣＰＵ（Central Processing Unit）を含む汎用プロセッサであってもよいし、ＦＰＧＡ（Field Programmable Gate Array）やＧＰＵ（Graphics Processing Unit）を含む専用プロセッサであってもよい。メモリ２６は、非一過性の記憶媒体であり、プロセッサ２４が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶装置２８は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）やソリッドステートドライブ（ＳＳＤ：Solid State Drive）を含む非一過性の記憶媒体である。

【0025】

＜機能ブロック＞
図３は、スキル評価装置１４の機能ブロックの一例を示す図である。スキル評価装置１４のプロセッサ２４（図２）は、メモリ２６（図２）から読み出したスキル評価プログラムを実行することで、取得手段３０、分類手段３２、評価手段３４、補正手段３６、出力指示手段３８、及び記憶手段４０として機能する。

【0026】

ここで、取得手段３０は、図２の通信Ｉ／Ｆ２２及びプロセッサ２４によって実現される手段である。また、分類手段３２、評価手段３４及び補正手段３６はそれぞれ、図２のプロセッサ２４により実現される手段である。また、出力指示手段３８は、図２の通信Ｉ／Ｆ２２及びプロセッサ２４によって実現される手段である。また、記憶手段４０は、図２の記憶装置２８によって実現される手段である。

【0027】

取得手段３０は、複数の参加者による対話中の発言内容を示すデータ（以下、「対話データＤＤ」という）をユーザ端末１２から取得する。対話データＤＤは、音声データや映像データに限られず、例えば、テキストデータ・手話データであってもよい。また、取得手段３０は、対話データＤＤを用いた専門家による評価結果（例えば、ルーブリック表）を含むデータを専門家端末１６から取得する。

【0028】

また、取得手段３０は、上記した対話データＤＤと併せて、この対話データＤＤに対応する役割情報５２を取得する。役割情報５２には、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度が含まれる。難度は、得点を含む連続値であってもよいし、レベルを含む離散値であってもよい。「合意の形成」の一例として、商談の成約、交渉の成立などが挙げられる。「協力関係の獲得」の一例として、タスク遂行のためのサポートなどが挙げられる。

【0029】

分類手段３２は、取得手段３０により取得された対話データＤＤをチャンク単位で分割した後、対話中の発言内容を参加者毎に分類する。例えば、分類手段３２は、音声データに対して周波数解析処理を行い、同じ声質であると推定される発言内容を参加者毎に分類してもよい。あるいは、分類手段３２は、映像データに対して口の動きを認識する画像処理を行い、それぞれの発言内容と参加者を対応付けてもよい。なお、分類手段３２は、対話データＤＤがテキストデータを含む場合、人工知能技術を用いて発言内容を要約するなどの前処理を行ってもよい。

【0030】

評価手段３４は、取得手段３０が取得した対話データＤＤにより特定される対話中の発言内容の有効性又は発言内容同士の関連性に基づいて、複数の参加者に含まれる評価対象者のコミュニケーションスキルの高さを評価する。具体的には、評価手段３４は、第１算出部４２（「算出手段」に相当）と、推定部４４（「推定手段」に相当）と、判定部４６（「判定手段」に相当）と、第２算出部４８（「算出手段」に相当）と、統合部５０と、を含んで構成される。

【0031】

第１算出部４２は、対話中の発言内容の有効性又は発言内容同士の関連性を示す複数種類の評価値（以下、「個別評価値」という）を算出する。評価手法としては、自然言語処理の技術分野で知られる様々な評価手法（ルールベース型あるいは機械学習型）が用いられる。有効性を示す個別評価値として、例えば、評価対象者自身によるキーワードの使用の有無や頻度、相手によるキーワードの使用の有無や出現頻度、タスクの遂行のために効果的な提案内容を示すチャンク（単語のかたまり）の個数などが挙げられる。関連性を示す個別評価値として、例えば、評価対象者自身のチャンク間の相関度、自身と相手のチャンク間の相関度、特定の論法パターン（三つ以上のチャンク間の関係を示す特定のグラフ構造）の有無や出現頻度が挙げられる。

【0032】

推定部４４は、取得手段３０が取得する目標の難度を想定したロールプレイを通じて得られる対話データＤＤから、合意の形成又は協力関係の獲得に関する難度（以下、「実際の難度」ともいう）を推定する。この推定は、他の参加者による肯定的配慮の高さを示す情報、具体的には、発言したキーワード（例えば、商談の場合には販売対象の商品名など）の有無・個数、肯定的又は否定的な発言の割合、発言の頻度、発言時の声の大きさ・感情変化などを解析して行われる。具体的には、推定部４４は、［１］商品に関する発言数が少なく、［２］否定的な発言の割合が多く、［３］発言の頻度が少なく、又は［４］怒りの感情の割合が多いほど難度が高いと推定する。一方、推定部４４は、［１］商品に関する発言数が多く、［２］肯定的な発言の割合が多く、［３］発言の頻度が多く、又は［４］喜びの感情の割合が多いほど難度が高いと推定する。

【0033】

判定部４６は、取得された目標の難度と推定された実際の難度との差分に応じて、補正手段３６による補正の要否を判定し、補正が必要であると判定された場合に補正手段３６に対して補正の要求を行う。判定部４６は、上記した難度の乖離が評価結果に影響を与え得る場合に補正が必要であると判定する。例えば、判定部４６は、差分の絶対値が閾値を上回る場合に補正手段３６による補正が必要であると判定する一方、差分の絶対値が閾値を上回らない場合に補正手段３６による補正が必要でないと判定する。

【0034】

第２算出部４８は、第１算出部４２により算出されたＮ個の個別評価値及び後述する評価基準テーブル５６を用いて、評価対象者の評価ランクを算出又は決定する。例えば、第２算出部４８は、Ｎ次元の評価値空間上における評価点８６（図８～図１０）の領域属否を判定することで評価ランクを算出してもよい。評価ランクは、例えば、高い（Ｈ）、中位（Ｍ）、低い（Ｌ）の三段階からなる。これに代えて、ランク数は、二段階、あるいは四段階以上であってもよい。なお、この算出には、タスクの遂行度や目的の達成度などが併せて考慮されてもよい。

【0035】

統合部５０は、スキル評価装置１４及び専門家によりそれぞれ得られた二種類の評価結果を統合する。具体的には、統合部５０は、［１］二種類の評価結果を連結する、［２］二種類の評価結果を平均化する、又は［３］二種類の評価結果のうちいずれ一方を修正する、などのデータ処理を行う。また、統合部５０は、自身が統合した評価結果を含むレポート情報５８を生成する。

【0036】

補正手段３６は、評価対象者に適用する評価基準又は評価対象者の評価値を、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する難度に応じて補正する。例えば、補正手段３６は、承諾を得るための難度が高い承諾者であるほど、又は、補佐を得るための難度が高いフォロワであるほど評価基準が低くなるように補正する。一方、補正手段３６は、承諾を得るための難度が高い承諾者であるほど、又は、補佐を得るための難度が高いフォロワであるほど評価値が高くなるように補正する。なお、難度が低い場合については、それぞれ上記とは逆の補正が行われる。

【0037】

また、補正手段３６は、判定部４６からの要求に応じて、取得された目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する。この難度差は、難度が得点で定義される場合には得点の差分に相当し、難度がレベルで定義される場合にはレベルの差分に相当する。例えば、補正手段３６は、実際の難度が高くなるほど、評価基準が低くなるように又は評価値が高くなるように補正する。反対に、補正手段３６は、実際の難度が低くなるほど、評価基準が高くなるように又は評価値が低くなるように補正する。

【0038】

出力指示手段３８は、評価手段３４（より詳しくは、統合部５０）により生成されたレポート情報５８の出力をユーザ端末１２に指示する。例えば、出力指示手段３８は、サービスユーザからの要求に応じて、レポート情報５８を含む報告データＲＤをユーザ端末１２に向けて送信する。これにより、ユーザ端末１２は、スキル評価装置１４から受信した報告データＲＤに含まれるレポート情報５８を出力することができる。

【0039】

記憶手段４０は、対話データＤＤ及び評価結果を逐次記憶することで、コミュニケーションスキルの評価に関するデータベース（以下、スキル評価ＤＢ５２）を構築する。また、記憶手段４０は、さらに、役割情報５４、評価基準テーブル５６及びレポート情報５８を記憶する。

【0040】

スキル評価ＤＢ５０には、例えば、［１］ユーザ名・所属（組織や部門など）・職位・職責を含むユーザ情報、［２］ロールプレイの実施要領（日時、場所、参加者、状況、役割など）・評価結果を含む実施情報、［３］対話データＤＤ・発言内容の要約・模範対応を含む対話ログ情報、などが蓄積される。

【0041】

役割情報５４は、ロールプレイの役割に関するデータ、具体的には、状況設定、参加者毎に与えられた役割、又は難度を含む。「商談」などのロールプレイの場合、提案を行う「提案者」の役割（例えば、営業担当者）又は提案を承諾するか否かを判断する「承諾者」の役割（例えば、顧客）が設定され得る。「会議」などのロールプレイの場合、タスクの遂行を統率する「リーダー」の役割又はリーダーを補佐する「フォロワ」の役割が設定され得る。また、それぞれの役割に対する難度のレベル（熟練度や、交渉のタフさなど）の組み合わせが設けられてもよい。例えば、承諾を得るための難度が相対的に高い「高難度の承諾者」、業務の熟練度が高く専門知識が豊富な「ベテラン」、補佐を得るための難度が相対的に低い「低難度のフォロワ」が設けられてもよい。

【0042】

評価基準テーブル５６は、評価対象者に適用する評価基準を記述するテーブル形式のデータである。例えば、Ｎ次元の評価値空間上における評価点８６（図８～図１０）の領域属否に応じて評価ランクを決定する場合、評価基準テーブル５６には、評価ランクの境界面を記述する各種情報（例えば、関数形状の種類、関数の係数、プロットの集合など）が含まれる。

【0043】

レポート情報５８は、サービスユーザへの報告内容を示す情報である。レポート情報５８には、今回の評価結果、過去の評価結果の履歴、評価対象者へのアドバイス、カスタマイズされた教育用コンテンツ、又は教育用コンテンツの所在を示すＵＲＬ（Uniform Resource Locator）などが含まれる。あるいは、レポート情報５８には、予め設定された目標の難度、推定された実際の難度、上記した２つの難度の差分などが含まれてもよい。

【0044】

［スキル評価装置１４の動作］
この実施形態における模擬訓練システム１０は、以上のように構成される。続いて、この模擬訓練システム１０（より詳しくは、スキル評価装置１４）の動作について、図４のフローチャート及び図５～図１０を参照しながら詳細に説明する。

【0045】

図４のステップＳＰ１０において、取得手段３０は、コミュニケーションスキルの評価に用いられる対話データＤＤ及び役割情報５４を取得する。この取得に先立ち、［１］評価対象者を評価するためのロールプレイの設定、及び［２］複数の参加者によるロールプレイが順次行われる。

【0046】

図５は、図１のユーザ端末１２に表示される設定画面６０の一例を示す図である。設定画面６０上には、ロールプレイの名称に関する入力欄６１と、状況設定に関する入力欄６２と、参加者毎の設定欄６３，６４と、［キャンセル］と表記されたボタン６５と、［保存］と表記されたボタン６６と、が設けられる。各々の設定欄６３，６４には、評価対象であるか否かを示すアイコン７１と、サービスユーザ、役割、及び目標の難度をそれぞれ選択するためのユーザコントロール７２，７３，７４と、が設けられる。ユーザは、ロールプレイに関する設定操作が終了した後、設定画面６０の［保存］ボタン６６をクリックする。これにより、役割情報５４が生成される。

【0047】

ロールプレイの設定が完了した後、複数の参加者は、それぞれ与えられた役割に従って対話型のロールプレイを行う。そうすると、対話中の音声信号がマイクロフォン１８（図１）を通じて、対話中の映像信号がカメラ２０（図１）を通じてそれぞれユーザ端末１２に供給される。その後、ユーザ端末１２は、音声データ及び映像データを含む対話データＤＤを、役割情報５４と対応付けた状態にてスキル評価装置１４に送信する。

【0048】

図６は、図１の対話データＤＤが示す対話内容を可視化した図である。この対話は、「営業担当者」である参加者Ａと、「顧客」である参加者Ｂとの間で行われる。より具体的には、この対話は、「顧客が経営状況上、現時点での商品の購入が難しい」という状況設定の下で、営業担当者が商品を売り込むという場面を示している。

【0049】

図４のステップＳＰ１２において、分類手段３２は、ステップＳＰ１０で取得された対話データＤＤをチャンク単位で分割し、参加者数（ここでは、二名）を特定した後、参加者Ａの発言内容と、参加者Ｂの発言内容とにそれぞれ分類する。

【0050】

ステップＳＰ１４において、評価手段３４（より詳しくは、第１算出部４２）は、ステップＳＰ１２で分類された発言内容を解析し、対話中の発言内容の有効性又は発言内容同士の関連性を示すＮ個（例えば、Ｎ≧２）の個別評価値を算出する。

【0051】

ステップＳＰ１６において、評価手段３４は、補正手段３６と連携しながら、評価対象者である参加者Ａのコミュニケーションスキルの高さを評価する。推定部４４は、対話データＤＤから実際の難度を推定する（ステップＳＰ１６Ａ）。判定部４６は、目標の難度、実際の難度、又は両方の難度に応じて補正が必要であるか否かを判定する（ステップＳＰ１６Ｂ）。第２算出部４８は、算出又は補正されたＮ個の個別評価値、及び評価基準テーブル５６を用いて、評価対象者の評価ランクを決定する（ステップＳＰ１６Ｃ）。

【0052】

図７は、補正の要否に関する判定方法の一例を示す図である。グラフの軸は、難度を示している。ここでは、標準レベルの難度が７０（点Ｐ０）である場合を想定する。［条件１］差分の絶対値が１０未満である場合（例えば、点Ｐ１）、判定部４６は、実際の難度が妥当であるので、補正が不要である旨の判定を行う。［条件２］実際の難度が目標の難度よりも１０以上大きい場合（例えば、点Ｐ２）、判定部４６は、実際の難度が妥当でないため、難度を低下させる補正が必要である旨の判定を行う。［条件３］実際の難度が目標の難度よりも１０以上小さい場合（例えば、点Ｐ３）、判定部４６は、実際の難度が妥当でないため、難度を上昇させる補正が必要である旨の判定を行う。

【0053】

補正手段３６は、ステップＳＰ１０で取得された目標の難度とステップＳＰ１６Ａで推定された実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する（ステップＳＰ１６Ｄ）。評価基準を補正する場合にはステップＳＰ１６Ａ→１６Ｂ→１６Ｃ→１６Ｄの順に実行される一方、評価値を補正する場合にはステップＳＰ１６Ａ→１６Ｂ→１６Ｄ→１６Ｃの順に実行される。以下、二つの補正例について、図８～図１０を参照しながら説明する。

【0054】

図８は、標準難度の顧客を想定した評価基準の一例を示す図である。本図に示すように、Ｎ次元の評価値空間８０をなす領域は、概略円弧状の境界線８２，８４により、三つのランク領域（Ｌ／Ｍ／Ｈ）に区画される。図示の便宜上、Ｎ個の評価値成分のうち、２つの成分（ｉ，ｊ番目）のみを表記している。また、各々の評価値成分は、［０，１］の範囲に正規化されている。

【0055】

具体的には、低ランク領域（Ｌ）と中ランク領域（Ｍ）とが境界線８２により区画されるとともに、中ランク領域（Ｍ）と高ランク領域（Ｈ）とが境界線８４により区画される。評価基準又は評価値の補正が行われない場合、評価対象者の得点（図８に示す評価点８６）がどのランク領域に属するか否かによって評価対象者の評価ランクが決定される。本図の例では、評価対象者の評価ランクは「中ランク」に相当する。

【0056】

図９は、スキル評価に関する第一の補正方法を示す模式図である。本図中の破線は、標準難度の顧客を想定した評価基準、すなわち「補正前」の境界線８２，８４の位置に相当する。一方、本図中の実線は、高難度の顧客を想定した評価基準、すなわち「補正後」の境界線８２，８４の位置に相当する。このように、高ランク領域（Ｈ）の拡大及び低ランク領域（Ｌ）の縮小が図られることで、高難度の顧客を相手にする場合、販売交渉が難航してコミュニケーションスキルの評価値が相対的に低くなる傾向が反映されやすくなる。

【0057】

図１０は、スキル評価に関する第二の補正方法を示す模式図である。本図中の塗り潰しがない丸印（〇）は、標準難度の顧客を想定した評価値、すなわち「補正前」の評価点８６の位置に相当する。一方、本図中の塗り潰しがある丸印（●）は、高難度の顧客を想定した評価値、すなわち「補正後」の評価点８６の位置に相当する。このように、評価値の嵩上げが図られることで、高難度の顧客を相手にする場合、販売交渉が難航してコミュニケーションスキルの評価値が相対的に低くなる傾向が反映されやすくなる。

【0058】

図４のステップＳＰ１８において、評価手段３４は、ステップＳＰ１６により得られた評価結果を記憶手段４０に供給する。これにより、コミュニケーションスキルの評価結果が、評価対象者である参加者Ａの識別情報（評価者ＩＤ）と対応付けた状態にてスキル評価ＤＢ５２に蓄積される。

【0059】

ステップＳＰ２０において、評価手段３４は、取得手段３０が専門家による評価結果を取得したか否かを確認する。評価結果がまだ取得されていない場合（ステップＳＰ２０：ＮＯ）、当該評価結果が取得されるまでの間、ステップＳＰ２０に留まる。一方、評価結果が取得された場合（ステップＳＰ２０：ＹＥＳ）、次のステップＳＰ２２に進む。

【0060】

ステップＳＰ２２において、評価手段３４（より詳しくは、統合部５０）は、ステップＳＰ１６，ＳＰ２０でそれぞれ得られた評価結果を統合した後、参加者Ａを含むサービスユーザへの報告内容を示すレポート情報５８を生成する。

【0061】

ステップＳＰ２４において、出力指示手段３８は、ステップＳＰ２２にて統合された評価結果を含むレポート情報５８の出力をユーザ端末１２に指示する。そうすると、ユーザ端末１２は、スキル評価装置１４から受信した報告データＲＤに含まれるレポート情報５８を出力する。参加者Ａは、出力されたレポート情報５８を通じて、自身のコミュニケーションスキルの高さを把握することができる。また、参加者Ａは、レポート画面上に表示されるＵＲＬにアクセスすることで、評価結果に応じてカスタマイズされた教育用コンテンツを視聴することができる。あるいは、レポート情報５８に難度に関する情報が含まれる場合、参加者Ｂは、出力されたレポート情報５８を通じて、所与の難度に従ってロールプレイを遂行したか否かを把握することができる。

【0062】

このようにして、スキル評価装置１４による一連の動作（図４のフローチャート）が終了する。参加者Ａを含むサービスユーザは、模擬訓練システム１０（図１）を利用したロールプレイ及び評価フィードバックを反復・継続することで、コミュニケーションスキルを向上させることができる。

【0063】

［スキル評価装置１４による効果］
以上のように、この実施形態におけるスキル評価装置１４は、評価対象者を含む複数の参加者が行う対話型のロールプレイを通じて、評価対象者のスキルを評価するコンピュータである。スキル評価装置１４は、評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度を取得する取得手段３０と、取得手段３０が取得する目標の難度を想定したロールプレイを通じて得られる対話中の発言内容を示す対話データＤＤから、合意の形成又は協力関係の獲得に関する実際の難度を推定する推定手段（ここでは、推定部４４）と、対話中の発言内容の有効性又は発言内容同士の関連性を評価するための評価処理を対話データＤＤに対して施し、評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出手段（ここでは、第１算出部４２又は第２算出部４８）と、取得手段３０により取得された目標の難度と推定部４４により推定された実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する補正手段３６を備える。

【0064】

また、この実施形態におけるスキル評価プログラム及び方法では、コンピュータ（ここでは、スキル評価装置１４）が、合意の形成又は協力関係の獲得に関する目標の難度を取得する取得ステップ（図４のＳＰ１０）と、合意の形成又は協力関係の獲得に関する実際の難度を推定する推定ステップ（ＳＰ１６Ａ）と、評価対象者のコミュニケーションスキルの高さを示す評価値を算出する算出ステップ（ＳＰ１４，ＳＰ１６Ｃ）と、目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正する補正ステップ（ＳＰ１６Ｄ）を実行する。

【0065】

このように、目標の難度と実際の難度との間の差が小さくなるように、評価対象者に適用する評価基準又は評価対象者の評価値を補正することで、評価対象者とは別の参加者に与えられた役割に対する解釈の違いなどから別の参加者の行動指針が変動する場合であっても、この変動を評価結果に適切に反映させることができる。これにより、評価対象者ではない別の参加者がとる行動指針のばらつきに起因して、評価対象者が有するコミュニケーションスキルの評価精度の低下が抑制される。

【0066】

また、スキル評価装置１４は、目標の難度と実際の難度との差分に応じて補正手段３６による補正の要否を判定する判定部４６をさらに備えてもよい。特に、判定部４６は、差分の絶対値が閾値を上回る場合に補正手段３６による補正が必要であると判定する一方、差分の絶対値が閾値を上回らない場合に補正手段３６による補正が必要でないと判定してもよい。

【0067】

また、第１算出部４２及び第２算出部４８は、対話中の発言内容の有効性又は発言内容同士の関連性を示す複数種類の個別評価値を算出し、複数種類の個別評価値がなす評価値空間８０上の領域の属否に応じて評価対象者を分類してもよい。

【0068】

また、評価対象者の役割が提案を行う提案者であり、別の参加者の役割が提案を承諾するか否かを判断する承諾者であってもよい。この場合、補正手段３６は、承諾を得るための難度が高い承諾者であるほど評価基準が低くなるように補正し、又は、承諾を得るための難度が高い承諾者であるほど評価値が高くなるように補正する。これにより、提案を伴うロールプレイにおいて評価結果のばらつきが低減する。

【0069】

また、評価対象者の役割がタスクの遂行を統率するリーダーであり、別の参加者の役割がリーダーを補佐するフォロワであってもよい。この場合、補正手段３６は、補佐を得るための難度が高いフォロワであるほど評価基準が低くなるように補正し、又は、補佐を得るための難度が高いフォロワであるほど評価値が高くなるように補正する。これにより、タスクの遂行を伴うロールプレイにおいて評価結果のばらつきが低減する。

【0070】

［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲で図４のフローチャートを構成する各ステップの実行順を変更してもよい。

【0071】

上記した実施形態では、図１のスキル評価装置１４を単体のコンピュータとして図示しているが、これに代わって、スキル評価装置１４は分散システムを構築するコンピュータ群であってもよい。また、スキル評価装置１４は、クラウド型サーバあるいはオンプレミス型サーバのいずれであってもよい。

【0072】

上記した実施形態では、図３の取得手段３０がロールプレイを通じて生成された対話データＤＤを取得する場合について説明したが、対話データＤＤを取得する機会はこれに限られない。例えば、取得手段３０は、別の参加者による許可が得られたことを前提として、実際の現場で行われる対話を通じて生成された対話データＤＤを取得してもよい。

【0073】

上記した実施形態では、スキル評価装置１４が分類手段３２を備える場合（図３）について説明したが、これに代えて、スキル評価装置１４には分類手段３２が設けられなくてもよい。この場合、ユーザ端末１２又は専門家端末１６が、人手によって既に分類された対話データＤＤをスキル評価装置１４に供給すればよい。

【符号の説明】

【0074】

１０…模擬訓練システム、１４…スキル評価装置、１６…マイクロフォン、１８…カメラ、３０…取得手段、３２…分類手段、３６…補正手段、３８…出力指示手段、４０…記憶手段、４２…第１算出部（算出手段）、４４…推定部（推定手段）、４６…判定部（判定手段）、４８…第２算出部（算出手段）、５４…役割情報、ＤＤ…対話データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【手続補正書】

【提出日】2022-04-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

評価対象者を含む複数の参加者によるコミュニケーションを伴う対話型のロールプレイを通じて、前記評価対象者のコミュニケーションスキルを評価するためのスキル評価プログラムであって、
ユーザ装置との間で通信可能なコンピュータを、
前記評価対象者に与えられる役割と、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度と、を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データを前記ユーザ装置から受信し、前記評価対象者の役割及び前記難度の目標値を含む役割情報と対応付けて前記対話データを取得する取得手段、
前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは個数、肯定的な発言の割合、否定的な発言の割合若しくは発言の頻度、又は発言時の声の大きさ若しくは感情の変化を解析することで、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定し、前記難度の推定値を求める推定手段、
前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは頻度、前記ロールプレイにてタスクを遂行するために効果的な提案内容である単語のかたまりを示すチャンクの個数、又は前記チャンク間の相関度を解析することで、前記取得手段により取得された前記役割情報に含まれる前記役割を担う前記評価対象者のコミュニケーションスキルの高さを示す評価値であって、前記役割情報に含まれる前記難度の目標値に対応する評価値を算出する算出手段、
前記推定手段により推定された前記難度の推定値が前記算出手段での算出に用いられた前記難度の目標値よりも高い場合、補正前と比べて前記評価対象者の評価値が高くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段、
として機能させる、スキル評価プログラム。

【請求項2】

前記補正手段は、さらに、前記難度の推定値が前記難度の目標値よりも低い場合、補正前と比べて前記評価対象者の評価値が低くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する、
請求項１に記載のスキル評価プログラム。

【請求項3】

前記コンピュータを、
前記難度の推定値と前記難度の目標値との差分の絶対値が閾値を上回る場合に前記補正手段による補正が必要であると判定する一方、前記差分の絶対値が前記閾値を上回らない場合に前記補正手段による補正が必要でないと判定する判定手段としてさらに機能させる、
請求項１又は２に記載のスキル評価プログラム。

【請求項4】

前記算出手段は、前記評価値として複数種類の個別評価値を算出し、前記個別評価値を各軸とする複数次元の評価値座標空間上にて定められる評価ランクの領域の属否に応じて前記評価対象者を前記評価ランク毎に分類する、
請求項１～３のいずれか１項に記載のスキル評価プログラム。

【請求項5】

ユーザ装置との間で通信可能に構成され、かつ評価対象者を含む複数の参加者によるコミュニケーションを伴う対話型のロールプレイを通じて、前記評価対象者のコミュニケーションスキルを評価するスキル評価装置であって、
前記評価対象者に与えられる役割と、前記評価対象者と他の参加者との間の合意の形成又は協力関係の獲得に関する目標の難度と、を想定した前記ロールプレイを通じて得られる対話中の発言内容を示す対話データを前記ユーザ装置から受信し、前記評価対象者の役割及び前記難度の目標値を含む役割情報と対応付けて前記対話データを取得する取得手段と、
前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは個数、肯定的な発言の割合、否定的な発言の割合若しくは発言の頻度、又は発言時の声の大きさ若しくは感情の変化を解析することで、前記合意の形成又は前記協力関係の獲得に関する実際の難度を推定し、前記難度の推定値を求める推定手段と、
前記取得手段により取得された前記対話データを用いて、キーワードの有無若しくは頻度、前記ロールプレイにてタスクを遂行するために効果的な提案内容である単語のかたまりを示すチャンクの個数、又は前記チャンク間の相関度を解析することで、前記取得手段により取得された前記役割情報に含まれる前記役割を担う前記評価対象者のコミュニケーションスキルの高さを示す評価値であって、前記役割情報に含まれる前記難度の目標値に対応する評価値を算出する算出手段と、
前記推定手段により推定された前記難度の推定値が前記算出手段での算出に用いられた前記難度の目標値よりも高い場合、補正前と比べて前記評価対象者の評価値が高くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する補正手段と、
を備える、スキル評価装置。

【請求項6】

前記補正手段は、さらに、前記難度の推定値が前記難度の目標値よりも低い場合、補正前と比べて前記評価対象者の評価値が低くなるように、前記評価対象者に適用する評価基準又は前記評価対象者の評価値を補正する、
請求項５に記載のスキル評価装置。