IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧

特開2023-61057面談支援装置、面談支援方法及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023061057
(43)【公開日】2023-05-01
(54)【発明の名称】面談支援装置、面談支援方法及びコンピュータプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20230424BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021170815
(22)【出願日】2021-10-19
(71)【出願人】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】古高 奈津美
(72)【発明者】
【氏名】吉田 徳太郎
(72)【発明者】
【氏名】山田 賢也
(72)【発明者】
【氏名】田上 翼
(72)【発明者】
【氏名】森下 智之
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049CC11
(57)【要約】
【課題】面談者の面談スキルを効率的に向上させることが可能である面談支援装置、面談支援方法及びコンピュータプログラムを提供する。
【解決手段】面談支援装置は、本番の面談に対応付けられたトレーニングの面談において被面談者との面談を行っている面談者の画像及び音声のうちの少なくとも一方における分析対象を分析する分析部と、トレーニングの面談において分析対象の分析結果に応じて面談者に助言を提供するフィードバック処理部とを備える。面談者の画像における分析対象は、面談者の表情と、面談者の目線と、面談者の頷きとのうちの少なくとも一つでもよい。面談者の音声における分析対象は、面談者の話速と、面談者の抑揚と、面談者の音声の大きさと、面談者の音声のトーンとのうちの少なくとも一つでもよい。
【選択図】図23
【特許請求の範囲】
【請求項1】
本番の面談に対応付けられたトレーニングの面談において被面談者との面談を行っている面談者の画像及び音声のうちの少なくとも一方における分析対象を分析する分析部と、
前記トレーニングの面談において前記分析対象の分析結果に応じて前記面談者に助言を提供するフィードバック処理部と
を備える面談支援装置。
【請求項2】
前記面談者の画像における分析対象は、前記面談者の表情と、前記面談者の目線と、前記面談者の頷きとのうちの少なくとも一つである、請求項1に記載の面談支援装置。
【請求項3】
前記面談者の音声における分析対象は、前記面談者の話速と、前記面談者の抑揚と、前記面談者の音声の大きさと、前記面談者の音声のトーンとのうちの少なくとも一つである、請求項1又は請求項2に記載の面談支援装置。
【請求項4】
表示部に表示された前記被面談者の画像及び音声の動作をシナリオに応じて制御するシナリオ処理部を更に備え、
前記シナリオ処理部は、前記トレーニングの面談中において、前記分析対象の分析結果に応じて前記シナリオを変更する、請求項1から請求項3のいずれか一項に記載の面談支援装置。
【請求項5】
前記シナリオ処理部は、前記トレーニングの面談中において、前記分析対象の分析結果を前記表示部に表示させる、請求項4に記載の面談支援装置。
【請求項6】
面談支援装置が実行する面談支援方法であって、
本番の面談に対応付けられたトレーニングの面談において被面談者との面談を行っている面談者の画像及び音声のうちの少なくとも一方における分析対象を分析する分析ステップと、
前記トレーニングの面談において前記分析対象の分析結果に応じて前記面談者に助言を提供するフィードバック処理ステップと
を含む面談支援方法。
【請求項7】
請求項1から請求項5のいずれか一項に記載の面談支援装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、面談支援装置、面談支援方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
面談の目的が達成され易くなるように面談を支援する情報処理装置が、特許文献1に開示されている。また企業では、部下(被面談者)の行動変容を促すために上司(面談者)が部下と面談することがある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-026657号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
被面談者の行動変容を面談者が被面談者に促すためには、面談者が面談スキルを身に付けている必要がある。面談スキルとは、例えば、面談におけるコミュニケーション力である。しかしながら、面談者が面談スキルを身に付けていることが必要とされているにもかかわらず、面談者の面談スキルを向上させることができない場合がある。
【0005】
上記事情に鑑み、本発明は、面談者の面談スキルを向上させることが可能である面談支援装置、面談支援方法及びコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明の一態様は、本番の面談に対応付けられたトレーニングの面談において被面談者との面談を行っている面談者の画像及び音声のうちの少なくとも一方における分析対象を分析する分析部と、前記トレーニングの面談において前記分析対象の分析結果に応じて前記面談者に助言を提供するフィードバック処理部とを備える面談支援装置である。
【0007】
本発明の一態様は、上記の面談支援装置であって、前記面談者の画像における分析対象は、前記面談者の表情と、前記面談者の目線と、前記面談者の頷きとのうちの少なくとも一つである。
【0008】
本発明の一態様は、上記の面談支援装置であって、前記面談者の音声における分析対象は、前記面談者の話速と、前記面談者の抑揚と、前記面談者の音声の大きさと、前記面談者の音声のトーンとのうちの少なくとも一つである。
【0009】
本発明の一態様は、上記の面談支援装置であって、表示部に表示された前記被面談者の画像及び音声の動作をシナリオに応じて制御するシナリオ処理部を更に備え、前記シナリオ処理部は、前記トレーニングの面談中において、前記分析対象の分析結果に応じて前記シナリオを変更する。
【0010】
本発明の一態様は、上記の面談支援装置であって、前記シナリオ処理部は、前記トレーニングの面談中において、前記分析対象の分析結果を前記表示部に表示させる。
【0011】
本発明の一態様は、上記の面談支援装置が実行する面談支援方法であって、本番の面談に対応付けられたトレーニングの面談において被面談者との面談を行っている面談者の画像及び音声のうちの少なくとも一方における分析対象を分析する分析ステップと、前記トレーニングの面談において前記分析対象の分析結果に応じて前記面談者に助言を提供するフィードバック処理ステップとを含む面談支援方法である。
【0012】
本発明の一態様は、上記の面談支援装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【0013】
本発明により、面談者の面談スキルを向上させることが可能である。
【図面の簡単な説明】
【0014】
図1】第1実施形態における、面談支援システムの構成例を示す図である。
図2】第1実施形態における、面談支援システムの動作例を示す図である。
図3】第1実施形態における、上司の面談スキルに関する画像分析の例を示す図である。
図4】第1実施形態における、性格タイプの選択用画像の例を示す図である。
図5】第1実施形態における、面談用画像の例を示す図である。
図6】第1実施形態における、目標事項の設定用画像の例を示す図である。
図7】第1実施形態における、面談スキルの得点及び助言のフィードバック用画像の例を示す図である。
図8】第1実施形態における、事前アンケートの入力用画像の第1例を示す図である。
図9】第1実施形態における、タイプ診断アンケートの入力用画像の第2例を示す図である。
図10】第1実施形態における、性格タイプの診断結果の通知用画像の例を示す図である。
図11】第1実施形態における、目標事項の進捗の管理用画像の例を示す図である。
図12】第1実施形態における、事後アンケートの入力用画像の例を示す図である。
図13】第1実施形態における、面談支援装置の動作の第1例を示す図である。
図14】第1実施形態における、面談支援装置の動作の第2例を示す図である。
図15】第2実施形態における、面談支援システムの構成例を示す図である。
図16】第2実施形態における、上司の面談スキルに関する音声分析の例を示す図である。
図17】第2実施形態における、面談スキルの得点及び助言のフィードバック用画像の例を示す図である。
図18】第2実施形態における、面談支援装置の動作の第1例を示す図である。
図19】第2実施形態における、面談支援装置の動作の第2例を示す図である。
図20】第3実施形態における、面談支援システムの構成例を示す図である。
図21】第3実施形態における、面談支援装置の動作の第1例を示す図である。
図22】第3実施形態における、面談支援装置の動作の第2例を示す図である。
図23】第4実施形態における、面談支援システムの構成例を示す図である。
図24】第4実施形態における、シナリオのルールベースの条件分岐例を示す図である。
図25】第4実施形態における、本番の面談に対応付けられたトレーニングの面談に関する面談支援システムの動作例を示す図である。
図26】第4実施形態における、面談用画像の例を示す図である。
図27】第4実施形態の変形例における、学習モデルの機械学習の例を示す図である。
図28】第4実施形態の変形例における、シナリオのモデルベースのシーン移行例を示す図である。
【発明を実施するための形態】
【0015】
本発明の実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、第1実施形態における、面談支援システム1aの構成例を示す図である。面談支援システム1aは、面談を支援するシステムである。面談は、1対1で行われてもよいし、1対多で行われてもよいし、多対多で行われてもよい。面談支援システム1aが面談を支援することによって、被面談者との面談を行う者(面談者)の面談スキルを向上させることが可能である。
【0016】
面談支援システム1aは、例えば、上司(面談者)と部下(被面談者)との間の1on1ミーティングのために使用される。この場合、例えば面談前から面談後まで面談支援システム1aが面談を支援することによって、上司の面談スキルを向上させることが可能である。
【0017】
面談支援システム1aは、例えば、店員(面談者)と客(被面談者)との間の面談(接客)のために使用されてもよい。この場合、例えば面談中から面談後まで面談支援システム1aが面談を支援することによって、店員の面談スキル(接客スキル)を向上させることが可能である。
【0018】
以下では、面談支援システムは、一例として、上司と部下との間の1on1ミーティングのために使用される。上司は、部下との面談を行う者(面談者)であり、助言等を部下に与える者(メンター)である。部下は、上司との面談を受ける者(被面談者)であり、助言等を上司から受ける者(メンティー)である。また、面談において、業務に関する1個以上の目標事項(約束事)が、上司と部下との間で約束されてもよい。
【0019】
面談支援システム1aは、被面談者装置2と、面談者装置3と、面談支援装置4aと、通信回線5とを備える。通信回線5は、例えばインターネット及びイントラネット等の通信回線である。
【0020】
面談自体は、オンラインで行われてもよいし、オフライン(対面)で行われてもよい。面談自体がオンラインで行われる場合、被面談者装置2と面談者装置3とは、所定距離以上に離されて配置されてもよい。例えば、部下が居る第1の建物内に被面談者装置2が配置され、上司が居る第2の建物内に面談者装置3が配置されてもよい。
【0021】
面談自体がオフライン(対面)で行われる場合、被面談者装置2と面談者装置3とは、所定距離内に近づけられて配置されてもよい。例えば、対面で面談する部下及び上司が1on1ミーティングのために共用する机の上に、被面談者装置2及び面談者装置3が配置されてもよい。なお、面談自体がオフラインで行われる場合には、面談支援システム1aは、上司によって使用される面談者装置3を備えていればよく、部下によって使用される被面談者装置2を備えていなくてもよい。
【0022】
次に、被面談者装置2と面談者装置3と面談支援装置4aとの各詳細を説明する。
[被面談者装置]
被面談者装置2は、スマートフォン端末、タブレット端末又はノートパソコン等の情報処理装置である。被面談者装置2は、部下(被面談者)によって使用される。被面談者装置2は、カメラ20と、マイク21と、操作部22と、表示部23と、スピーカ24と、記憶部25と、制御部26と、通信部27とを備える。
【0023】
カメラ20は、被面談者装置2の周囲を撮像することによって、動画像データを生成する。動画像には、部下(被面談者)が撮像されている。カメラ20は、動画像データを制御部26に出力する。
【0024】
マイク21は、被面談者装置2の周囲から音を収集することによって、音声データを生成する。音声データには、部下の音声が収録されている。マイク21は、音声データを制御部26に出力する。
【0025】
操作部22は、キーボード、マウス及びタッチパネル等の操作デバイスである。操作部22は、部下によって操作される。操作部22は、操作に応じた信号を、制御部26に出力する。操作に応じた信号は、例えば、表示部23に表示された入力欄に目標事項(約束事)を記入する操作に応じた信号である。
【0026】
表示部23は、液晶ディスプレイ及び有機EL(Electro Luminescence)ディスプレイ等の表示デバイスである。操作部22がタッチパネルである場合、操作部22と表示部23とは一体でもよい。表示部23は、通信部27によって通信部40(中継部)から受信された画像を表示する。例えば、表示部23は、1on1ミーティング等の面談に用いられる画像(以下「面談用画像」という。)を表示する。面談用画像には、例えば、上司が撮像された動画像と、部下が撮像された動画像とが並んで表示される。面談用画像には、例えば、業務に関する1個以上の目標事項(約束事)が、上司及び部下による入力操作に応じて表示されてもよい。
【0027】
スピーカ24は、通信部40(中継部)から受信された音声を出力する。例えば、スピーカ24は、1on1ミーティングにおける上司の音声を出力する。
【0028】
記憶部25は、被面談者装置2の識別情報を記憶する。識別情報は、例えば、IPアドレス(Internet Protocol Address)である。記憶部25は、制御部26によって実行されるコンピュータプログラムを記憶してもよい。
【0029】
制御部26は、被面談者装置2の各機能部の動作を制御する。例えば、制御部26は、通信部27を用いて、通信部40を介した通信部37との通信の認証処理を実行する。制御部26は、通信部27によって通信部40から受信された画像を、画像処理によって表示部23に表示させる。制御部26は、通信部27によって通信部40から受信された音声を、音声処理によってスピーカ24から出力させる。
【0030】
通信部27は、通信部40との通信を実行する。通信部27は、通信部40を介して、面談者装置3との通信を実行する。例えば、通信部27は、上司の顔が撮像された動画像データを、通信部40から取得する。例えば、通信部27は、上司の音声が収録された音声データを、通信部40から取得する。通信部27は、通信部40との通信の認証処理において、被面談者装置2の識別情報を通信部40に送信してもよい。
【0031】
[面談者装置]
面談者装置3は、スマートフォン端末、タブレット端末又はノートパソコン等の情報処理装置である。面談者装置3は、上司(面談者)によって使用される。面談者装置3は、カメラ30と、マイク31と、操作部32と、表示部33と、スピーカ34と、記憶部35と、制御部36と、通信部37とを備える。
【0032】
カメラ30は、面談者装置3の周囲を撮像することによって、動画像データを生成する。動画像には、上司(面談者)が撮像されている。カメラ30は、動画像データを制御部36に出力する。
【0033】
マイク31は、面談者装置3の周囲から、音を収集することによって、音声データを生成する。音声データには、上司の音声が収録されている。マイク21は、音声データを制御部36に出力する。
【0034】
操作部32は、キーボード、マウス及びタッチパネル等の操作デバイスである。操作部32は、上司によって操作される。操作部32は、操作に応じた信号を、制御部36に出力する。操作に応じた信号は、例えば、表示部33に表示されたラジオボタンを選択する操作に応じた信号である。操作に応じた信号は、例えば、表示部33に表示された入力欄に目標事項(約束事)を記入する操作でもよい。
【0035】
表示部33は、液晶ディスプレイ及び有機ELディスプレイ等の表示デバイスである。操作部32がタッチパネルである場合、操作部32と表示部33とは一体でもよい。表示部33は、通信部37によって受信された画像を表示する。例えば、表示部33は、面談用画像を表示する。
【0036】
スピーカ34は、通信部40(中継部)から受信された音声を出力する。例えば、スピーカ24は、1on1ミーティングにおける部下の音声を出力する。
【0037】
記憶部35は、面談者装置3の識別情報を記憶する。記憶部35は、制御部36によって実行されるコンピュータプログラムを記憶してもよい。
【0038】
制御部36は、面談者装置3の各機能部の動作を制御する。例えば、制御部36は、通信部37を用いて、通信部40を介した通信部27との通信の認証処理を実行する。制御部36は、通信部37によって通信部40から受信された画像を、画像処理によって表示部33に表示させる。制御部36は、通信部37によって通信部40から受信された音声を、音声処理によってスピーカ34から出力させる。
【0039】
通信部37は、面談支援装置4aとの通信を実行する。通信部37は、面談支援装置4aを介して、被面談者装置2との通信を実行する。例えば、通信部37は、部下の顔が撮像された動画像を、通信部40から取得する。例えば、通信部37は、部下の音声が収録された音声データを、通信部40から取得する。通信部37は、面談者装置3の識別情報を、通信部40に送信してもよい。
【0040】
[面談支援装置]
面談支援装置4aは、サーバ等の情報処理装置である。面談支援装置4aは、クラウド・コンピューティングによって実現されてもよい。面談支援装置4aは、通信部40と、記憶部41と、制御部42aとを備える。制御部42aは、選択取得部420と、シナリオ処理部421と、情報出力部422と、目標処理部423と、分析部424aと、得点処理部425と、フィードバック処理部426と、アンケート処理部427と、診断部428とを有する。
【0041】
面談支援装置4aの各機能部のうちの一部又は全部は、CPU(Central Processing Unit)等のプロセッサが、不揮発性の記録媒体(非一時的な記録媒体)を有する記憶部41に記憶されたプログラム(コンピュータプログラム)を実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。
【0042】
面談支援装置4aの各機能部のうちの一部又は全部は、例えば、LSI(Large Scale Integrated circuit)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)又はFPGA(Field Programmable Gate Array)等を用いた電子回路(electronic circuit 又は circuitry)を含むハードウェアを用いて実現されてもよい。
【0043】
通信部40は、制御部42aによって生成された画像データ及び音声データ等の通信データを、通信部27と通信部37とのうちの少なくとも一方に送信する。通信部40は、通信部27から受信された画像データ及び音声データ等の通信データを、通信部37に送信する。通信部40は、通信部37から受信された画像データ及び音声データ等の通信データを、通信部27に送信する。通信部40は、通信データを記憶部41に一時的に記憶させてもよい。
【0044】
記憶部41は、面談支援装置4aの識別情報を記憶する。記憶部41は、面談に関する複数のシナリオを記憶してもよい。記憶部41は、制御部42aによって実行されるコンピュータプログラムを記憶してもよい。記憶部41は、数式モデルを記憶してもよい。記憶部41は、機械学習の手法を用いて学習されたモデル(以下「学習済モデル」という。)を記憶してもよい。この機械学習の手法は、特定の手法に限定されないが、例えば、教師あり学習である。記憶部41は、データテーブルを記憶してもよい。
【0045】
例えば、数式モデルとデータテーブルと学習済モデルとのうちの少なくとも一つは、面談スキルの得点(スコア)の導出に用いられてもよい。例えば、数式モデルとデータテーブルと学習済モデルとのうちの少なくとも一つは、面談スキルを向上させるための助言(アドバイス)の導出に用いられてもよい。
【0046】
記憶部41は、通信部27から受信された画像データを、一時的に記憶してもよい。また、記憶部41は、通信部37から受信された画像データを、一時的に記憶してもよい。なお、記憶部41に一時的に記憶された画像データは、記憶されてから所定時間が経過するまでに、記憶部41から消去される。
【0047】
記憶部41は、通信部27から受信された音声データを、一時的に記憶してもよい。また、記憶部41は、通信部37から受信された音声データを、一時的に記憶してもよい。なお、記憶部41に一時的に記憶された音声データは、記憶されてから所定時間が経過するまでに、記憶部41から消去される。
【0048】
制御部42aは、面談支援装置4aの各機能部の動作を制御する。例えば、制御部42aは、通信部40を用いて、通信部27との通信の認証処理を実行する。例えば、制御部42aは、通信部40を用いて、通信部37との通信の認証処理を実行する。
【0049】
制御部42aは、通信部37から受信された画像に対する画像認識の結果に基づいて、上司の画像における分析対象(例えば、表情、目線、頷き)をリアルタイムで分析する。例えば、制御部42aは、受信された画像における上司の顔の領域の認識結果に基づいて、顔の領域における上司の表情をリアルタイムで分析する。制御部42aは、上司の画像における分析対象の分析結果に基づいて、上司の面談スキルの得点を導出する。制御部42aは、上司の画像における分析対象の分析結果に応じて、上司に提供される助言を導出する。
【0050】
制御部42aは、通信部27から受信された画像に対する画像認識の結果に基づいて、部下の画像における分析対象をリアルタイムで分析してもよい。例えば、制御部42aは、受信された画像における部下の顔の領域の認識結果に基づいて、顔の領域における部下の表情をリアルタイムで分析してもよい。制御部42aは、部下の画像における分析対象の分析結果に基づいて、部下の状態の得点を導出してもよい。制御部42aは、部下の画像における分析対象の分析結果に応じて、上司に提供される助言を導出してもよい。
【0051】
制御部42aは、面談用画像を生成する。制御部42aは、通信部40を用いて、表示部23及び表示部33に面談用画像を表示させる。
【0052】
制御部42aは、表示部33に表示されるフィードバック用画像を生成する。すなわち、制御部42aは、上司に提供されるフィードバック用画像を生成する。制御部42aは、上司の面談スキルの得点を、フィードバック用画像に含める。この得点は、例えば100点満点に対する得点に換算されてもよい。制御部42aは、上司に提供される助言を表す文字列を、フィードバック用画像に含める。制御部42aは、通信部40を用いて、表示部33にフィードバック用画像を表示させる。
【0053】
制御部42aは、面談前のアンケート(以下「事前アンケート」という。)の画像と、面談後のアンケート(以下「事後アンケート」という。)の画像と、性格タイプの診断を行うためのアンケート(以下「タイプ診断アンケート」という。)とのうちの少なくとも一方を生成してもよい。制御部42aは、面談前において通信部40を用いて、事前アンケートの画像を表示部23及び表示部33に表示させてもよい。制御部42aは、本番の面談前において通信部40を用いて、タイプ診断アンケートの画像を表示部23及び表示部33に表示させてもよい。制御部42aは、面談後において通信部40を用いて、事後アンケート画像を表示部33に表示させてもよい。
【0054】
これらのように、制御部42aは、本番の面談においてその本番の面談を支援する。これによって、上司の面談スキルを本番後に向上させることが可能である。
【0055】
本番の面談が行われる前に、トレーニングの面談(シミュレーション)が行われてもよい。制御部42aは、本番前のトレーニングの面談において、そのトレーニングの面談を支援する。これによって、上司の面談スキルを本番前に向上させることが可能である。
【0056】
本番前のトレーニングを受ける上司は、そのトレーニングの面談の相手となる仮想の部下の性格タイプ(プロファイル)を選択する。例えば、上司は、本番の面談が予定されている部下の性格タイプと同じ性格タイプを選択する。
【0057】
トレーニングの面談において、制御部42aは、選択された性格タイプの仮想の部下として、コンピュータグラフィックスによるアバターを生成する。制御部42aは、アバターがシナリオに従って発話するように、画像処理及び音声処理を実行する。すなわち、制御部42aは、選択された性格タイプに応じたシナリオに従ってアバターが動作(例えば、表情の表出、発話等)するように、アバターの画像及び音声の動作を制御する。例えば、制御部42aは、シナリオに従ってアバターの話速が異なるように、アバターの画像及び音声の動作を制御する。制御部42aは、通信部40を用いて、アバターの画像を含む面談用画像を表示部33に表示させる。制御部42aは、通信部40を用いて、アバターの音声をスピーカ34から出力させる。制御部42aは、シナリオに従って発話するアバターの画像及び音声に反応した上司の分析対象(例えば、上司の表情、上司の目線、上司の頷き)を分析する。
【0058】
なお、トレーニングの面談において制御部42aによって生成されたアバターがシナリオに従って発話する場合、面談支援システム1aは、上司によって使用される面談者装置3を備えていればよく、被面談者装置2を備えていなくてもよい。また、トレーニングの面談において、制御部42aによって生成されたアバターがシナリオに従って発話する代わりに、仮想の部下を演じる人間(俳優)がシナリオに従って発話してもよい。
【0059】
図2は、第1実施形態における、面談支援システム1aの動作例を示す図である。図2の上段には、本番前のトレーニングの面談に関する面談支援システム1aの動作例が示されている。トレーニングの面談前において、選択取得部420は、上司によって選択された性格タイプの情報を、通信部40を用いて通信部37から取得する(ステップS101)。
【0060】
トレーニングの面談中において、制御部42aは面談を支援する。例えば、シナリオ処理部421は、選択された性格タイプに応じたシナリオに従ってアバターが動作するように、アバターの画像及び音声の動作を制御する。シナリオ処理部421は、通信部40を用いて、アバターの画像を含む面談用画像を表示部33に表示させる。情報出力部422は、通信部40を用いて、チュートリアルにおける案内(ガイド)等を表示部33に表示させる。情報出力部422は、通信部40を用いて、シナリオに応じた入力欄を表示部33に表示させる。
【0061】
トレーニングの面談中において、分析部424aは、上司(面談者)の分析対象をリアルタイムで分析する。例えば、分析部424a(画像分析部)は、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する。分析対象は、例えば、上司の表情と、上司の目線と、上司の頷きとである。例えば、分析部424aは、上司の顔の領域に定められた複数の特徴点に基づいて、上司の画像における上司の表情がポジティブ又はネガティブのいずれであるかを判定する。なお、複数の分析対象の組み合わせが分析されてもよい。例えば、上司の表情と上司の目線との組み合わせが分析されてもよい(ステップS102)。
【0062】
なお、トレーニングの面談中において、分析部424aは、シナリオに基づいて、部下の画像における分析対象を分析してもよい。また、分析部424aは、シナリオに基づいて、部下の悩み又は共感の状態(感情)を判定してもよい。
【0063】
トレーニングの面談後において、得点処理部425は、例えば、数式モデル、学習済モデル又はデータテーブルを、記憶部41から取得する。得点処理部425は、上司の表情、目線及び頷き等の分析結果に基づいて、上司の面談スキルの得点を導出する。例えば、得点処理部425は、上司の表情等の分析結果を学習済モデルに入力することによって、上司の面談スキルの得点を導出する。上司の面談スキルの得点は、上司に提供される。なお、得点処理部425は、シナリオに従って、部下の状態の得点を導出してもよい。
【0064】
トレーニングの面談後において、フィードバック処理部426は、数式モデル、学習済モデル又はデータテーブルを、記憶部41から取得する。フィードバック処理部426は、上司の分析対象の分析結果(例えば、上司の頷きの回数)に応じて、上司に提供される助言を導出する。例えば、フィードバック処理部426は、上司の分析対象の分析結果を学習済モデルに入力することによって、上司に提供される助言を導出する。フィードバック処理部426は、上司の面談スキルの得点を学習済モデルに入力することによって、上司に提供される助言を導出してもよい。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS104)。これによって、上司は、提供された得点及び助言に基づいて、自身の面談スキルを本番の面談前に向上させることが可能である。
【0065】
図2の下段には、本番の面談に関する面談支援システム1aの動作例が示されている。本番の面談前において、アンケート処理部427は、通信部40を用いて、部下の事前アンケートと部下のタイプ診断アンケートとを通信部27から取得する。部下の事前アンケートは、面談(1on1ミーティング)において部下が上司に話したいこと(相談したいこと)に関するアンケートである。アンケート処理部427は、通信部40を用いて、上司のタイプ診断アンケートを通信部37から取得する(ステップS201)。
【0066】
本番の面談前において、診断部428は、部下のタイプ診断アンケートに基づいて、部下の性格タイプを診断する。診断部428は、上司のタイプ診断アンケートに基づいて、上司の性格タイプを診断する。例えば、診断部428は、タイプ診断アンケートにおける複数の項目に対するクラスタリング処理の結果に基づいて、性格タイプを診断する。アンケート処理部427は、部下の事前アンケートを取得する(ステップS202)。
【0067】
本番の面談前において、目標処理部423は、前回の本番の面談後において上司及び部下によって更新された目標事項(約束事)の進捗を、記憶部41から取得する。目標処理部423は、通信部40を用いて、目標事項の進捗を表示部33に表示させる(ステップS203)。これらによって、上司は、部下の事前アンケートに記載された事項と、部下の性格タイプと、自身の性格タイプと、目標事項の進捗とを、本番の面談前に確認することが可能である。
【0068】
本番の面談中において、制御部42aは面談を支援する。例えば、情報出力部422は、通信部40を用いて、性格タイプの診断結果と事前アンケートの結果とを含む面談用画像を、表示部33に表示させる。また、情報出力部422は、通信部40を用いて、同様の面談用画像を表示部23に表示させる。これらによって、上司及び部下は、例えば性格タイプの診断結果と事前アンケートの結果とを確認しながら面談を行うことができる。
【0069】
本番の面談中において、分析部424a(画像分析部)は、上司(面談者)の画像に対する画像認識の結果に基づいて、上司の分析対象をリアルタイムで分析する。分析部424aは、部下(被面談者)の画像に対する画像認識の結果に基づいて、部下の分析対象をリアルタイムで分析してもよい(ステップS204)。
【0070】
本番の面談中において、目標処理部423は、表示部33に表示された面談用画像の入力欄に記入された目標事項(約束事)を、通信部40を用いて通信部37から取得する。目標処理部423は、表示部23に表示された面談用画像の入力欄に記入された目標事項(約束事)を、通信部40を用いて通信部27から取得する。これらの目標事項は、上司と部下との間で約束された目標事項である(ステップS205)。
【0071】
本番の面談後において、アンケート処理部427は、通信部40を用いて、部下の事後アンケートを通信部27から取得する(ステップS206)。得点処理部425は、上司の表情、目線及び頷き等の分析結果に基づいて、上司の面談スキルの得点を導出する。得点処理部425は、部下の事後アンケートに基づいて、部下の悩み又は共感の状態(感情)の得点を導出してもよい。得点処理部425は、部下の表情、目線及び頷き等の分析結果に基づいて、部下の状態の得点を導出してもよい。
【0072】
本番の面談後において、フィードバック処理部426は、上司の分析対象の分析結果に応じて、上司に提供される助言を導出する。フィードバック処理部426は、上司の分析対象の分析結果と部下の分析対象の分析結果とに応じて、上司に提供される助言を導出してもよい。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS207)。これによって、上司は、提供された得点及び助言に基づいて、自身の面談スキルを本番の面談後に向上させることが可能である。
【0073】
本番の面談後において、目標処理部423は、上司によって更新された目標事項(約束事)の進捗を、通信部40を用いて通信部37から取得する。目標処理部423は、部下によって更新された目標事項の進捗を、通信部40を用いて通信部27から取得する。目標処理部423は、更新された目標事項の進捗を、記憶部41に記録する(ステップS208)。これらの目標事項の進捗(状況)は、記憶部41に記憶されることによって、次回の本番の面談前に上司によって参照される。
【0074】
次に、分析処理の詳細について説明する。
図3は、第1実施形態における、上司の面談スキルに関する画像分析の例を示す図である。
【0075】
[面談における上司のコミュニケーション力の向上]
面談における上司のコミュニケーション力の向上を目的(分析目的)として、分析部424aは、上司(面談者)の画像に対する画像認識の結果に基づいて、上司の表情を分析する。分析部424aは、上司のポジティブな表情と上司のネガティブな表情との割合(例えば、表情が表出されていた時間の長さに関する割合)を導出する。
【0076】
得点処理部425は、上司の画像における分析対象の分析結果(表情の割合)に基づいて、上司の面談スキルの得点を導出する。得点処理部425は、上司の画像における分析対象の分析結果が所定条件を満たしている場合に得点が最も高くなるように、上司の面談スキルの得点を導出する。例えば、得点処理部425は、ポジティブな表情がネガティブな表情の2倍以上かつ3倍未満であるという条件を割合が満たしている場合、最も高い得点を導出する。なお、上司の面談スキルの得点は、例えば100点満点に対する得点に換算されてもよい。
【0077】
フィードバック処理部426は、導出された割合に応じて、上司に助言を提供する。例えば、ポジティブな表情がネガティブな表情の3倍以上である場合、フィードバック処理部426は、助言「信頼感などを表情でも十分示せているようです。今後もポジティブな表情で部下と接し、関係構築に努めましょう。」を、フィードバック用画像に含める。例えば、ポジティブな表情がネガティブな表情の2倍以上かつ3倍未満である場合、フィードバック処理部426は、助言「ポジティブな表情で部下と接することができているようです。ただし、無表情、悲しみ又は怒りといったネガティブな表情も多いです。ポジティブな表情をより多くするように心がけましょう。」を、フィードバック用画像に含める。例えば、ポジティブな表情がネガティブな表情の2倍未満である場合、フィードバック処理部426は、助言「悲しみや怒りといったネガティブな表情が多く、部下との関係性に影響を与えている可能性があります。ポジティブな表情の練習をしましょう。」を、フィードバック用画像に含める。
【0078】
分析部424aは、上司(面談者)の画像に対する画像認識の結果に基づいて、上司の目線(眼球運動)を分析してもよい。得点処理部425は、上司の目線に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の目線に応じて、上司に助言を提供する。例えば、上司の目が泳いでいる場合(上司の目線が部下に向けられていない場合)、フィードバック処理部426は、助言「目が泳いでいることがあります。心が部下に開かれていない又は上司が嘘をついている等と部下が捉えてしまう可能性がありますので、気を付けましょう。」を、フィードバック用画像に含める。例えば、上司がうつむいている場合、フィードバック処理部426は、助言「目線が下に向きがちです。上司に元気がなく又は上司が心を閉じているように部下が捉えてしまう可能性がありますので、気を付けましょう。」を、フィードバック用画像に含める。
【0079】
分析部424aは、上司(面談者)の画像に対する画像認識の結果に基づいて、上司の頷き(相槌)を分析してもよい。得点処理部425は、上司の頷きの回数に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の頷きの回数に応じて、上司に助言を提供する。例えば、30分間の1on1ミーティングにおいて、上司の頷きの回数が130回以上である場合、フィードバック処理部426は、助言「相槌が無駄に多く、部下の話を上司が聞いていないという印象を部下に与えています。適切なタイミングで相槌を打つようにしましょう。」を、フィードバック用画像に含める。例えば、上司の頷きの回数が100回以上かつ130回未満である場合、フィードバック処理部426は、助言「部下に対して十分に受容的態度を示せています。今後も継続してください。」を、フィードバック用画像に含める。例えば、上司の頷きの回数が70回以上かつ100回未満である場合、フィードバック処理部426は、助言「相槌をもう少しだけ増やすと、受容的態度を部下に示すことができます。がんばりましょう。」を、フィードバック用画像に含める。例えば、上司の頷きの回数が70回未満である場合、フィードバック処理部426は、助言「話を十分に聞いてもらっているという印象を、部下が受けにくいようです。受容的態度を部下に示すために、相槌をもっと増やしましょう。」を、フィードバック用画像に含める。
【0080】
分析部424aは、上司の画像に対する画像認識の結果に基づいて、上司の表情を分析する。分析部424aは、上司の表情に基づいて、上司の感情を分類する。分析部424aは、例えば、怒りと、喜びと、驚きと、悲しみと、ニュートラルとに、感情を分類する。分析部424aは、部下の画像に対する画像認識の結果に基づいて、部下の表情を分析する。分析部424aは、部下の表情に基づいて、部下の感情を分類する。分析部424aは、上司の感情と部下の感情との一致度(共感度)を導出する。得点処理部425は、上司の感情と部下の感情との一致度に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の感情と部下の感情との一致度に応じて、上司に助言を提供する。
【0081】
分析部424aは、部下の画像に対する画像認識の結果に基づいて、部下の表情(状態)を分析してもよい。得点処理部425は、部下のポジティブな表情と部下のネガティブな表情との割合(悩み度)に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、部下のポジティブな表情と部下のネガティブな表情との割合に応じて、上司に助言を提供する。
【0082】
[面談における上司の受容力の向上(受容的態度又は傾聴態度の改善)]
分析部424aは、面談における上司の受容力の向上を目的として、上司の画像に対する画像認識の結果に基づいて、上司の頷き(相槌)を分析する。得点処理部425は、上司の頷きの回数に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の頷きの回数が所定範囲内であるか否かを判定する。この所定範囲内は、例えば、1on1ミーティングが行われる時間の長さに応じて予め定められる。フィードバック処理部426は、判定結果に応じて、上司に助言を提供する。
【0083】
次に、表示される各画像の詳細について説明する。
[本番前のトレーニングの面談前]
図2に示されたステップS101において、表示部33は、通信部40から送信されたデータに基づいて、性格タイプの選択用画像を表示する。
【0084】
図4は、第1実施形態における、性格タイプの選択用画像の例を示す図である。性格タイプには、自己主張の強さと感情表出の多さとに応じて、「プロモーター」タイプと、「サポーター」タイプと、「アナライザー」タイプと、「コントローラー」タイプとがある。これらは、性格タイプの一例である。
【0085】
「プロモーター」タイプは、自己主張が強くかつ感情表出が多い性格のタイプである。「サポーター」タイプは、自己主張が弱くかつ感情表出が多い性格のタイプである。「アナライザー」タイプは、自己主張が弱くかつ感情表出が少ない性格のタイプである。「コントローラー」タイプは、自己主張が強くかつ感情表出が少ない性格のタイプである。
【0086】
上司は、例えば本番の面談が予定されている部下の性格タイプを選択する。上司は、例えば、ラジオボタン50を操作することによって、性格タイプ「プロモーター」を選択する。
【0087】
[本番前のトレーニングの面談中]
図2に示されたステップS102において、表示部23は、通信部40から送信された面談用画像を表示する。
【0088】
図5は、第1実施形態における、面談用画像の例を示す図である。面談用画像には、例えば、上司が撮像された動画像と、アバター(仮想の部下)が撮像された動画像とが含まれている。面談用画像には、例えば、上司の性格タイプを表す文字列と、アバターの性格タイプを表す文字列とが含まれている。面談用画像には、例えば、操作キー画像60が含まれている。操作キー画像60は、シナリオに応じて設定された目標事項(約束事)に対応付けられた操作キー画像である。操作キー画像60が押下操作された場合、表示部33は、制御部36による制御に応じて、通信部40から送信された目標事項の進捗の管理用画像(目標管理用画像)を表示する。
【0089】
図2に示されたステップS102において操作キー画像70が押下操作された場合、表示部33は、制御部36による制御に応じて、通信部40から送信された目標事項の設定用画像を表示する。
【0090】
図6は、第1実施形態における、目標事項の設定用画像の例を示す図である。目標事項の設定用画像は、目標事項の入力欄を含む。操作キー画像80が押下操作された場合、設定用画像に記入された目標事項は、記憶部41に記憶される。操作キー画像90が押下操作された場合、表示部33は、制御部36による制御に応じて、図5に例示された面談用画像を再表示する。
【0091】
[本番前のトレーニングの面談後]
図2に示されたステップS104において、表示部33は、通信部40から送信されたフィードバック用画像を表示する。
【0092】
図7は、第1実施形態における、面談スキルの得点及び助言のフィードバック用画像(提供用画像)の例を示す図である。図7に例示されたフィードバック用画像は、得点表示領域100と、助言表示領域110とを含む。表示部33は、得点処理部425によって導出された得点を、得点表示領域100に表示する。図7では、表示部33は、コミュニケーション力の得点と、受容的態度(受容力)の得点とを、得点表示領域100に表示する。表示部33は、フィードバック処理部426によって導出された助言を、助言表示領域110に表示する。これらによって、上司の面談スキル(コミュニケーション力、受容力)を向上させることが可能である。
【0093】
なお、表示部33は、事後アンケートに基づいてフィードバック処理部426によって人工知能判定(AI判定)された納得度を含むフィードバック用画像を表示してもよい。すなわち、表示部33は、学習済モデルを用いて判定された納得度を含むフィードバック用画像を表示してもよい。この納得度は、例えば、部下の悩みの解消度である。表示部33は、上司の目標事項(約束事)の進捗度と、部下の目標事項(約束事)の進捗度と、これらの平均値である目標達成度とを含むフィードバック用画像を表示してもよい。
【0094】
[本番の面談前]
図8は、第1実施形態における、事前アンケートの入力用画像の第1例を示す図である。図2に示されたステップS201において、表示部23は、通信部40から送信された事前アンケート(相談事項)の入力用画像を表示する。事前アンケートには、1on1ミーティングにおいて部下が上司に相談したいこと等に関する項目が含まれている。各項目は、プルダウンメニューを用いて選択されてもよいし、チェックボックスを用いて入力されてもよい。
【0095】
図9は、第1実施形態における、タイプ診断アンケートの入力用画像の第2例を示す図である。図2に示されたステップS201において、表示部23及び表示部33は、通信部40から送信されたタイプ診断アンケート(性格タイプの診断用)の入力用画像を表示する。各項目は、押下操作可能な操作キー画像を用いて選択されてもよい。
【0096】
図10は、第1実施形態における、性格タイプの診断結果の通知用画像の例を示す図である。図2に示されたステップS202において、表示部23及び表示部33は、通信部40から送信された通知用画像を表示する。この通知用画像には、タイプ診断アンケート(性格タイプの診断用)に基づく性格タイプの診断結果を表す文字列が含まれている。
【0097】
図2に示されたステップS203において、表示部33は、通信部40から送信された管理用画像を表示する。すなわち、表示部33は、前回までの面談において設定された目標事項の進捗の管理用画像を表示する。これによって、上司は、前回までの面談において設定された目標事項の進捗を本番の面談前に確認することが可能である。
【0098】
[本番の面談中]
図2に示されたステップS204において、表示部23及び表示部33は、通信部40から送信された面談用画像(例えば、図5に例示された面談用画像)を表示する。面談用画像には、例えば、上司が撮像された動画像と、部下が撮像された動画像とが含まれている。面談用画像には、例えば、上司の性格タイプを表す文字列と、部下の性格タイプを表す文字列とが含まれている。面談用画像には、例えば、前回の面談までに設定された目標事項(約束事)に対応付けられた操作キー画像60が含まれていてもよい。表示部23及び表示部33は、例えば操作キー画像60が押下操作された場合、前回の面談までに設定された目標事項の進捗の管理用画像を表示する。
【0099】
図11は、第1実施形態における、目標事項の進捗の管理用画像の例を示す図である。管理用画像には、設定された目標事項(約束事)の一覧と、各操作キー画像とが含まれている。図11では、操作キー画像120「照合」が押下操作された場合、操作キー画像120に対応付けられた目標事項の進捗状況「進捗状況確認画面」が、表示部23及び表示部33に表示される。
【0100】
図2に示されたステップS204において操作キー画像70「目標設定」が押下操作された場合、表示部33は、制御部36による制御に応じて、通信部40から送信された目標事項の設定用画像を表示する。図2に示されたステップS205において、上司(メンター)は、新たな目標事項(約束事)と期限とを、入力欄「メンターの約束事」に記入する。操作キー画像80「保存」が押下操作された場合、設定用画像に記入された目標事項は、例えば時刻に対応付けられて、記憶部41に記憶される。操作キー画像90「戻る」が押下操作された場合、表示部33は、制御部36による制御に応じて、図5に例示された面談用画像を再表示する。
【0101】
図2に示されたステップS204において操作キー画像70「目標設定」が押下操作された場合、表示部23は、制御部26による制御に応じて、通信部40から送信された目標事項の設定用画像を表示する。図2に示されたステップS205において、部下(メンティー)は、新たな目標事項(約束事)と期限とを、入力欄「メンティーの約束事」に記入する。操作キー画像80「保存」が押下操作された場合、設定用画像に記入された目標事項は、例えば時刻に対応付けられて、記憶部41に記憶される。操作キー画像90「戻る」が押下操作された場合、表示部23は、制御部26による制御に応じて、図5に例示された面談用画像を再表示する。
【0102】
[本番の面談後]
図2に示されたステップS206において、表示部23は、事後アンケートの入力用画像を表示する。
【0103】
図12は、第1実施形態における、事後アンケートの入力用画像の例を示す図である。事後アンケートには、1on1ミーティングにおける上司の面談スキルに関する項目が含まれている。各項目は、ラジオボタンを用いて選択されてもよいし、スライダーバーを用いて入力されてもよい。部下の事後アンケートには、例えば、重要業績評価指標(KPI : Key Performance Indicators)に関する各項目(例えば、目標事項の進捗)が記載されていてもよい。なお、部下の事後アンケートは、上司に共有されない。これによって、事後アンケートにおける項目を部下が本音で記入することが可能である。
【0104】
図2に示されたステップS207において、表示部33は、通信部40から送信されたフィードバック用画像を表示する。図7に例示されたフィードバック用画像は、得点表示領域100と、助言表示領域110とを含む。これによって、上司の面談スキルを本番後に向上させることが可能である。
【0105】
図2に示されたステップS208において、表示部33は、今回の面談において設定された目標事項の進捗の管理用画像を表示する。上司は、面談後の部下へのメッセージを、目標事項(約束事)ごとに管理用画像に記入してもよい。
【0106】
なお、図2に示されたステップS208において、表示部23は、目標事項の設定用画像を、制御部26による制御に応じて表示してもよい。面談後において、部下は、新たな目標事項と期限とを、入力欄「メンティーの約束事」に記入してもよい。表示部23は、面談後の部下へのメッセージが記入された目標事項の進捗の管理用画像を、制御部26による制御に応じて表示してもよい。
【0107】
次に、面談支援装置4aの動作例を説明する。
図13は、第1実施形態における、面談支援装置4aの動作の第1例(トレーニングの面談の例)を示す図である。トレーニングの面談前において、選択取得部420は、上司によって選択された性格タイプの情報を、通信部40を用いて通信部37から取得する(ステップS301)。
【0108】
トレーニングの面談中において、シナリオ処理部421は、シナリオと性格タイプとに応じて発話するアバターの画像を含む面談用画像を、通信部40を用いて表示部33に表示させる(ステップS302)。分析部424aは、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する(ステップS303)。
【0109】
トレーニングの面談後において、得点処理部425は、上司の表情、目線及び頷き等の分析結果に基づいて、上司の面談スキルの得点を導出する(ステップS304)。フィードバック処理部426は、上司の画像における分析対象の分析結果に応じて、上司に提供される助言を導出する(ステップS305)。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS306)。
【0110】
図14は、第1実施形態における、面談支援装置4aの動作の第2例(本番の面談の例)を示す図である。本番の面談前において、アンケート処理部427は、部下の事前アンケート及びタイプ診断アンケートと、上司のタイプ診断アンケートとを取得する(ステップS401)。診断部428は、タイプ診断アンケートに基づいて、性格タイプを診断する(ステップS402)。目標処理部423は、通信部40を用いて、目標事項の進捗を表示部33に表示させる(ステップS403)。
【0111】
本番の面談中において、情報出力部422は、通信部40を用いて、性格タイプの診断結果と事前アンケートの結果とを含む面談用画像を、表示部33に表示させる(ステップS404)。分析部424aは、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する(ステップS405)。目標処理部423は、上司によって記入された目標事項(約束事)を取得する(ステップS406)。
【0112】
本番の面談後において、アンケート処理部427は、通信部40を用いて、部下の事後アンケートを通信部27から取得する(ステップS407)。得点処理部425は、上司の表情、目線及び頷き等の分析結果に基づいて、上司の面談スキルの得点を導出する(ステップS408)。フィードバック処理部426は、上司の画像における分析対象の分析結果に応じて、上司に提供される助言を導出する(ステップS409)。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS410)。目標処理部423は、上司によって更新された目標事項(約束事)の進捗を、通信部40を用いて通信部37から取得する。目標処理部423は、部下によって更新された目標事項(約束事)の進捗を、通信部40を用いて通信部27から取得してもよい(ステップS411)。目標処理部423は、更新された目標事項(約束事)の進捗を、記憶部41に記録する(ステップS412)。
【0113】
以上のように、分析部424aは、被面談者との面談を行っている面談者の画像に対する画像認識の結果に基づいて、面談者の画像における分析対象を分析する。面談者の画像における分析対象は、例えば、面談者の表情と、面談者の目線と、面談者の頷きとのうちの少なくとも一つである。得点処理部425は、面談者の画像における分析対象の分析結果に基づいて、面談者の面談スキルの得点を面談者に提供する。フィードバック処理部426は、面談者の画像における分析対象の分析結果に応じて、面談者に助言を提供する。
【0114】
これによって、面談者の画像の分析結果に基づく得点と助言とのうちの少なくとも一方を用いて、面談者の面談スキルを向上させることが可能である。面談者の面談スキルの向上によって、被面談者の行動変容(成長)を促進させることが可能である。被面談者の行動変容(部下の成長)は、重要目標達成指標(KGI : Key Goal Indicator)として扱われてもよい。面談時の画像が分析され、面談時の音声(発話内容)が分析されないので、企業内の機微情報及び個人情報が漏洩する可能性を低減させた上で、面談者の面談スキルを向上させることが可能である。
【0115】
(第2実施形態)
第1実施形態では、上司の画像が分析対象であった。これに対して第2実施形態では、上司の音声が分析対象である点が、第1実施形態との差分である。第2実施形態では、第1実施形態との差分を中心に説明する。
【0116】
図15は、第2実施形態における、面談支援システム1bの構成例を示す図である。面談支援システム1bは、被面談者装置2と、面談者装置3と、面談支援装置4bと、通信回線5とを備える。
【0117】
面談支援装置4bは、サーバ等の情報処理装置である。面談支援装置4bは、クラウド・コンピューティングによって実現されてもよい。面談支援装置4bは、通信部40と、記憶部41と、制御部42bとを備える。制御部42bは、選択取得部420と、シナリオ処理部421と、情報出力部422と、目標処理部423と、分析部424bと、得点処理部425と、フィードバック処理部426と、アンケート処理部427と、診断部428と、を有する。
【0118】
分析部424b(音声分析部)は、上司(面談者)の音声における分析対象をリアルタイムで分析する。分析対象は、例えば、上司の話速と、上司の音声の抑揚と、上司の音声の大きさ(音量)と、上司の音声のトーン(調子)とである。分析対象は、例えば、上司の発話内容でもよい。分析対象は、例えば、上司から部下への質問の数でもよい。分析部424bは、部下(被面談者)の音声における分析対象をリアルタイムで分析してもよい。
【0119】
次に、分析処理の詳細について説明する。
図16は、第2実施形態における、上司の面談スキルに関する音声分析の例を示す図である。
【0120】
[面談における上司のコミュニケーション力の向上]
面談における上司のコミュニケーション力の向上を目的(分析目的)として、分析部424aは、上司(面談者)の音声における上司の話速を分析する。得点処理部425は、上司の話速に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の話速が所定範囲内であるか否かを判定する。フィードバック処理部426は、判定結果に応じて、上司に助言を提供する。
【0121】
分析部424bは、更に、部下の音声における部下の話速を分析してもよい。分析部424bは、上司の話速と部下の話速との一致度を導出する。得点処理部425は、上司の話速と部下の話速との一致度に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の話速と部下の話速との一致度に応じて、上司に助言を提供する。例えば、一致度が80%以上である場合、フィードバック処理部426は、助言「部下のペースに合わせて話すことができています。部下も安心しているでしょう。このまま継続してください。」を、フィードバック用画像に含める。例えば、一致度が50%以上かつ80%未満である場合、フィードバック処理部426は、助言「部下のペースに合わせてもっと話すことができれば、部下との信頼関係をより構築できるでしょう。がんばってください。」を、フィードバック用画像に含める。一致度が50%未満である場合、フィードバック処理部426は、助言「自分本位で話している可能性があります。部下のペースに合わせて話すように心がけてください。」を、フィードバック用画像に含める。
【0122】
分析部424bは、上司の音声の抑揚を分析してもよい。分析部424bは、上司の音声の抑揚に基づいて上司の感情を分類する。分析部424bは、部下の音声の抑揚を分析してもよい。分析部424bは、部下の音声の抑揚に基づいて部下の感情を分類する。分析部424bは、上司の感情と部下の感情との一致度(共感度)を導出する。得点処理部425は、上司の感情と部下の感情との一致度に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の感情と部下の感情との一致度に応じて、上司に助言を提供する。例えば、一致度が80%以上である場合、フィードバック処理部426は、助言「部下に十分に共感して、部下に寄り添えているようです。このまま継続してください。」を、フィードバック用画像に含める。例えば、一致度が50%以上かつ80%未満である場合、フィードバック処理部426は、助言「部下の気持ちにもっと寄り添うことができれば、部下との信頼関係もより強固になるでしょう。がんばってください。」を、フィードバック用画像に含める。例えば、一致度が50%未満である場合、フィードバック処理部426は、助言「部下にあまり寄り添うことなく、部下と接しているようです。部下の気持ちや感情に共感するように心がけましょう。」を、フィードバック用画像に含める。
【0123】
分析部424bは、上司の音声の大きさを分析してもよい。分析部424bは、上司の音声のトーンを分析してもよい。分析部424bは、部下の音声の大きさを分析してもよい。分析部424bは、部下の音声のトーンを分析してもよい。分析部424bは、上司の音声のトーンと部下の声のトーンとの一致度を導出する。得点処理部425は、上司の音声のトーンと部下の声のトーンとの一致度に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、上司の音声のトーンと部下の声のトーンとの一致度に応じて、上司に助言を提供する。例えば、一致度が80%以上である場合、フィードバック処理部426は、助言「部下の声のトーンに合わせて話すことができています。部下も安心しているでしょう。このまま継続してください。」を、フィードバック用画像に含める。例えば、一致度が50%以上かつ80%未満である場合、フィードバック処理部426は、助言「部下の声のトーンに合わせてもっと話すことができれば、部下との信頼関係をより構築できるでしょう。がんばってください。」を、フィードバック用画像に含める。例えば、一致度が50%未満である場合、フィードバック処理部426は、助言「自分本位で話している可能性があります。部下の声の大きさに合わせて話すように心がけてください。」を、フィードバック用画像に含める。
【0124】
分析部424bは、上司の音声における上司の発話内容を分析してもよい。分析部424bは、上司のポジティブな発話内容と上司のネガティブな発話内容との割合を導出する。得点処理部425は、上司のポジティブな発話内容と上司のネガティブな発話内容との割合に基づいて、上司の面談スキルの得点を導出する。分析部424bは、部下の音声における部下の発話内容を分析してもよい。得点処理部425は、部下のポジティブな発話内容と部下のネガティブな発話内容との割合に基づいて、上司の面談スキルの得点を導出してもよい。得点処理部425は、各割合のうちの少なくとも一方に応じて、上司に助言を提供する。
【0125】
なお、分析部424bは、発話内容の分析が済んだ音声データを、記憶部41から消去する。また、分析部424bは、記憶部41に音声データが記憶されないようにした上で、通信部40によって受信された音声データにおける各発話内容を分析してもよい。これによって、1on1ミーティングにおける各発話内容が漏洩する可能性を低減させることが可能である。
【0126】
[面談における上司の受容力の向上(受容的態度又は傾聴態度の改善)]
分析部424bは、面談における上司の受容力の向上を目的として、上司の音声における上司の発話内容を分析してもよい。分析部424bは、理解又は共感を表すメッセージが上司から発話された回数を計数する。得点処理部425は、理解又は共感を表すメッセージが上司から発話された回数に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、理解又は共感を表すメッセージが上司から発話された回数に応じて、上司に助言を提供する。
【0127】
[面談における上司のコーチング力の向上]
分析部424bは、面談における上司のコーチング力の向上を目的として、上司の音声における上司の発話内容を分析してもよい。分析部424bは、ポジティブな内容のメッセージが上司から発話された回数を計数する。得点処理部425は、ポジティブな内容のメッセージが上司から発話された回数に基づいて、上司の面談スキルの得点を導出する。フィードバック処理部426は、ポジティブな内容のメッセージが上司から発話された回数に応じて、上司に助言を提供する。
【0128】
図17は、第2実施形態における、面談スキルの得点及び助言のフィードバック用画像(提供用画像)の例を示す図である。図17に例示されたフィードバック用画像は、得点表示領域100と、助言表示領域110とを含む。表示部33は、得点処理部425によって導出された得点(スコア)を、得点表示領域100に表示する。図17では、表示部33は、コミュニケーション力の得点と、受容的態度(受容力)の得点と、コーチング力の得点とを、得点表示領域100に表示する。表示部33は、フィードバック処理部426によって導出された助言を、助言表示領域110に表示する。これによって、上司の面談スキル(コミュニケーション力、受容力、コーチング力)を向上させることが可能である。
【0129】
次に、面談支援装置4bの動作例を説明する。
図18は、第2実施形態における、面談支援装置4bの動作の第1例(トレーニングの面談の例)を示す図である。トレーニングの面談前において、選択取得部420は、上司によって選択された性格タイプの情報を、通信部40を用いて通信部37から取得する(ステップS501)。
【0130】
トレーニングの面談中において、シナリオ処理部421は、シナリオと性格タイプとに応じて発話するアバターの画像を含む面談用画像を、通信部40を用いて表示部33に表示させる(ステップS502)。分析部424bは、上司の音声における分析対象をリアルタイムで分析する(ステップS503)。
【0131】
トレーニングの面談後において、得点処理部425は、上司の話速と上司の音声の抑揚と上司の音声のトーンと上司の音声の大きさとのうちの少なくとも一つの分析結果に基づいて、上司の面談スキルの得点を導出する。以下、トーン及び大きさを「トーン等」という(ステップS504)。フィードバック処理部426は、上司の音声における分析対象の分析結果に応じて、上司に提供される助言を導出する(ステップS504)。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS506)。
【0132】
図19は、第2実施形態における、面談支援装置4bの動作の第2例(本番の面談の例)を示す図である。本番の面談前において、アンケート処理部427は、部下の事前アンケート及びタイプ診断アンケートと、上司のタイプ診断アンケートとを取得する(ステップS601)。診断部428は、部下のタイプ診断アンケートに基づいて、部下の性格タイプを診断する。診断部428は、上司のタイプ診断アンケートに基づいて、上司の性格タイプを診断する(ステップS602)。目標処理部423は、通信部40を用いて、目標事項の進捗を表示部33に表示させる(ステップS603)。
【0133】
本番の面談中において、情報出力部422は、通信部40を用いて、性格タイプの診断結果と事前アンケートの結果とを含む面談用画像を、表示部33に表示させる(ステップS604)。分析部424bは、上司の音声における分析対象をリアルタイムで分析する(ステップS605)。目標処理部423は、上司によって記入された目標事項(約束事)を取得する(ステップS606)。
【0134】
本番の面談後において、アンケート処理部427は、通信部40を用いて、部下の事後アンケートを通信部27から取得する(ステップS607)。得点処理部425は、上司の話速と上司の音声の抑揚と上司の音声のトーン等の分析結果に基づいて、上司の面談スキルの得点を導出する(ステップS608)。フィードバック処理部426は、上司の音声における分析対象の分析結果に応じて、上司に提供される助言を導出する(ステップS609)。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS610)。目標処理部423は、上司によって更新された目標事項(約束事)の進捗を、通信部40を用いて通信部37から取得する(ステップS611)。目標処理部423は、更新された目標事項(約束事)の進捗を、記憶部41に記録する(ステップS612)。
【0135】
以上のように、分析部424bは、被面談者との面談を行っている面談者の音声における分析対象を分析する。得点処理部425は、面談者の音声における分析対象の分析結果に基づいて、面談者の面談スキルの得点を面談者に提供する。フィードバック処理部426は、面談者の音声における分析対象の分析結果に応じて、面談者に助言を提供する。面談者の音声における分析対象は、例えば、面談者の話速と、面談者の音声の抑揚と、面談者の音声のトーン等とのうちの少なくとも一つである。
【0136】
これによって、面談者の音声の分析結果に基づく得点と助言とのうちの少なくとも一方を用いて、面談者の面談スキルを向上させることが可能である。面談者の面談スキルの向上によって、被面談者の行動変容(成長)を促進させることが可能である。企業内の機微情報及び個人情報が漏洩する可能性を低減させる目的で、面談時の発話内容が分析対象から除外された場合でも、面談時の話速、抑揚及び大きさの分析結果に基づいて面談者の面談スキルを向上させることが可能である。
【0137】
なお、フィードバック処理部426は、部下の発話内容の分析結果に基づいて、例えば学習済モデルを用いて、部下の課題を導出してもよい。フィードバック処理部426は、部下の課題に基づいて、具体的な行動内容を表す助言を、上司に提供してもよい。分析部424bは、上司に提供された行動内容が部下の行動変容につながっているか否かを、目標事項の進捗に基づいて判定してもよい。フィードバック処理部426は、判定結果を含むフィードバック用画像を、上司に提供してもよい。
【0138】
(第3実施形態)
第1実施形態では、面談者である上司の画像が分析対象であり、上司の音声は分析対象ではなかった。これに対して第2実施形態では、上司の音声が分析対象であり、上司の画像は分析対象ではなかった。画像に基づく分析と音声に基づく分析とは組み合わされてもよい。そこで第3実施形態では、上司の画像及び音声が分析対象である点が、第1実施形態及び第2実施形態との差分である。第3実施形態では、第1実施形態及び第2実施形態との差分を中心に説明する。
【0139】
図20は、第3実施形態における、面談支援システム1cの構成例を示す図である。面談支援システム1c、被面談者装置2と、面談者装置3と、面談支援装置4cと、通信回線5とを備える。
【0140】
面談支援装置4cは、サーバ等の情報処理装置である。面談支援装置4cは、クラウド・コンピューティングによって実現されてもよい。面談支援装置4cは、通信部40と、記憶部41と、制御部42cとを備える。制御部42cは、選択取得部420と、シナリオ処理部421と、情報出力部422と、目標処理部423と、分析部424cと、得点処理部425と、フィードバック処理部426と、アンケート処理部427と、診断部428と、を有する。
【0141】
分析部424c(画像音声分析部)は、上司(面談者)の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する。分析部424cは、部下(被面談者)の画像に対する画像認識の結果に基づいて、部下の画像における分析対象をリアルタイムで分析してもよい。分析部424cは、上司の音声における分析対象をリアルタイムで分析する。分析部424cは、部下の音声における分析対象をリアルタイムで分析してもよい。
【0142】
次に、面談支援装置4cの動作例を説明する。
図21は、第3実施形態における、面談支援装置4cの動作の第1例(トレーニングの面談の例)を示す図である。トレーニングの面談前において、選択取得部420は、上司によって選択された性格タイプの情報を、通信部40を用いて通信部37から取得する(ステップS701)。
【0143】
トレーニングの面談中において、シナリオ処理部421は、シナリオと性格タイプとに応じて発話するアバターの画像を含む面談用画像を、通信部40を用いて表示部33に表示させる(ステップS702)。分析部424cは、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する(ステップS703)。分析部424cは、上司の音声における分析対象をリアルタイムで分析する(ステップS704)。
【0144】
トレーニングの面談後において、得点処理部425は、上司の表情、目線及び頷き等の分析結果と、上司の話速と上司の音声の抑揚と上司の音声のトーン等の分析結果とに基づいて、上司の面談スキルの得点を導出する(ステップS705)。フィードバック処理部426は、上司の画像及び音声における分析対象の分析結果に応じて、上司に提供される助言を導出する(ステップS706)。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS707)。
【0145】
図22は、第3実施形態における、面談支援装置4cの動作の第2例(本番の面談の例)を示す図である。本番の面談前において、アンケート処理部427は、部下の事前アンケート及びタイプ診断アンケートと、上司のタイプ診断アンケートとを取得する(ステップS801)。診断部428は、タイプ診断アンケートに基づいて、性格タイプを診断する(ステップS802)。目標処理部423は、通信部40を用いて、目標事項の進捗を表示部33に表示させる(ステップS803)。
【0146】
本番の面談中において、情報出力部422は、通信部40を用いて、性格タイプの診断結果と事前アンケートの結果とを含む面談用画像を、表示部33に表示させる(ステップS804)。分析部424cは、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する(ステップS805)。分析部424cは、上司の音声における分析対象をリアルタイムで分析する(ステップS806)。目標処理部423は、上司によって記入された目標事項(約束事)を取得する(ステップS807)。
【0147】
本番の面談後において、アンケート処理部427は、通信部40を用いて、部下の事後アンケートを通信部27から取得する(ステップS808)。得点処理部425は、上司の表情、目線及び頷き等の分析結果と、上司の話速と上司の音声の抑揚と上司の音声のトーン等の分析結果とに基づいて、上司の面談スキルの得点を導出する(ステップS809)。フィードバック処理部426は、上司の画像及び音声における分析対象の分析結果に応じて、上司に提供される助言を導出する(ステップS810)。フィードバック処理部426は、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS811)。目標処理部423は、上司によって更新された目標事項(約束事)の進捗を、通信部40を用いて通信部37から取得する(ステップS812)。目標処理部423は、更新された目標事項(約束事)の進捗を、記憶部41に記録する(ステップS813)。
【0148】
以上のように、分析部424cは、被面談者との面談を行っている面談者の画像に対する画像認識の結果とに基づいて、面談者の画像における分析対象を分析する。分析部424cは、被面談者との面談を行っている面談者の音声における分析対象を分析する。得点処理部425は、面談者の画像における分析対象の分析結果と面談者の音声における分析対象の分析結果とに基づいて、面談者の面談スキルの得点を面談者に提供する。フィードバック処理部426は、面談者の画像及び音声における分析対象の分析結果に応じて、面談者に助言を提供する。
【0149】
これによって、面談者の画像及び音声の分析結果に基づく得点と助言とのうちの少なくとも一方を用いて、面談者の面談スキルを効率的に向上させることが可能である。面談者の面談スキルの向上によって、被面談者の行動変容(成長)を促進させることが可能である。
【0150】
(第4実施形態)
第4実施形態では、本番の面談に対応付けられたトレーニングの面談中において面談者に助言等が提供される点と、面談者の画像等の分析結果に応じてトレーニングの面談中においてトレーニングの面談のシナリオが変更される点とが、第1実施形態から第3実施形態までとの差分である。第4実施形態では、第1実施形態から第3実施形態までとの差分を中心に説明する。
【0151】
図23は、第4実施形態における、面談支援システム1dの構成例を示す図である。面談支援システム1d(面談トレーニングシステム)は、被面談者装置2と、面談者装置3と、面談支援装置4dと、通信回線5とを備える。
【0152】
面談支援装置4dは、サーバ等の情報処理装置である。面談支援装置4dは、クラウド・コンピューティングによって実現されてもよい。面談支援装置4dは、通信部40と、記憶部41と、制御部42dとを備える。制御部42dは、選択取得部420と、シナリオ処理部421dと、情報出力部422と、目標処理部423と、分析部424dと、得点処理部425と、フィードバック処理部426dと、アンケート処理部427と、診断部428と、を有する。
【0153】
分析部424d(画像音声分析部)は、上司(面談者)の画像及び音声のうちの少なくとも一方における分析対象の分析処理を、例えば所定周期で実行する。例えば、分析部424dは、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象(例えば、表情)を、リアルタイムで分析(画像分析)する。分析部424dは、部下(被面談者)の画像に対する画像認識の結果に基づいて、部下の画像における分析対象をリアルタイムで分析してもよい。分析部424dは、上司の音声における分析対象(例えば、抑揚)を、リアルタイムで分析(音声分析)する。分析部424dは、部下の音声における分析対象を、リアルタイムで分析してもよい。
【0154】
なお、トレーニングの面談における発話内容は分析対象でなくてもよい。面談時の音声の発話内容(テキストデータ)が分析されないので、企業内の機微情報及び個人情報が漏洩する可能性を低減させた上で、面談者の面談スキルを向上させることが可能である。
【0155】
シナリオ処理部421dは、トレーニングの面談中において、上司の画像及び音声のうちの少なくとも一方における分析対象の分析結果に応じて、トレーニングの面談のシナリオを変更する。シナリオ処理部421dは、シナリオに従ってアバターが動作するように、表示部33に表示されたアバターの画像及び音声の動作を制御する。
【0156】
図24は、第4実施形態における、シナリオのルールベースの条件分岐例(変更例)を示す図である。例えば、シナリオ処理部421dは、上司の画像分析及び音声分析の今回の結果(現在の分析結果)に対応付けられたシナリオと部下の性格タイプとに応じて発話するアバター(仮想の部下)の画像を含む面談用画像を、通信部40を用いて表示部33に表示させる。一例として、シナリオ処理部421dは、今回の分析結果(現在の分析結果)が「喜び」である場合、分析結果「喜び」に対応付けられたシナリオと、選択されたアバターの性格タイプとに応じて発話するアバターの画像を含む面談用画像を、表示部33に表示させる。一例として、シナリオ処理部421dは、今回の分析結果が「怒り」である場合、分析結果「怒り」に対応付けられたシナリオと、選択されたアバターの性格タイプとに応じて発話するアバターの画像を含む面談用画像を、表示部33に表示させる。一例として、シナリオ処理部421dは、今回の分析結果が「驚き」である場合、分析結果「驚き」に対応付けられたシナリオと、選択されたアバターの性格タイプとに応じて発話するアバターの画像を含む面談用画像を、表示部33に表示させる。
【0157】
例えば、シナリオ処理部421dは、上司の画像分析及び音声分析の前回並びに今回の結果に対応付けられたシナリオと、選択されたアバターの性格タイプとに応じて発話するアバターの画像を含む面談用画像を、通信部40を用いて表示部33に表示させてもよい。一例として、シナリオ処理部421dは、前回の分析結果(過去の分析結果)が「喜び」であり、且つ、今回の分析結果(現在の分析結果)が「驚き」である場合、前回の分析結果「喜び」及び今回の分析結果「驚き」に対応付けられたシナリオと、選択されたアバターの性格タイプとに応じて発話するアバターの画像を含む面談用画像を、表示部33に表示させてもよい。一例として、シナリオ処理部421dは、前回の分析結果が「怒り」であり、且つ、今回の分析結果が「驚き」である場合、前回の分析結果「怒り」及び今回の分析結果「驚き」に対応付けられたシナリオと、選択されたアバターの性格タイプとに応じて発話するアバターの画像を含む面談用画像を、表示部33に表示させてもよい。
【0158】
図25は、第4実施形態における、本番の面談に対応付けられたトレーニングの面談に関する面談支援システム1dの動作例を示す図である。トレーニングの面談前において、選択取得部420は、図4に例示された性格タイプの選択用画像に基づいて上司によって選択されたアバターの性格タイプの情報を、通信部40を用いて通信部37から取得する。選択されたアバターの性格タイプは、例えば、トレーニングの面談に対応付けられた本番の面談における被面談者の性格タイプと同じである(ステップS901)。
【0159】
アンケート処理部427は、通信部40を用いて、上司のタイプ診断アンケートを通信部37から取得する(ステップS902)。診断部428は、上司のタイプ診断アンケートに基づいて、上司の性格タイプを診断する。例えば、診断部428は、タイプ診断アンケートにおける複数の項目に対するクラスタリング処理の結果に基づいて、性格タイプを診断する(ステップS903)。
【0160】
トレーニングの面談中において、分析部424dは、上司(面談者)の分析対象をリアルタイムで分析する。例えば、分析部424dは、上司の画像に対する画像認識の結果に基づいて、上司の画像における分析対象をリアルタイムで分析する。分析部424dは、上司の分析対象(例えば、画像における表情)の分析結果を、上司の面談スキルに関する分析結果としてシナリオ処理部421dに出力する。
【0161】
シナリオ処理部421dは、上司の画像及び音声のうちの少なくとも一方における分析対象の分析結果(上司の面談スキルに関する分析結果)に応じて、トレーニングの面談のシナリオを変更する。シナリオ処理部421dは、シナリオに従ってアバターが動作するように、表示部33に表示されたアバターの画像及び音声の動作を制御する(ステップS904)。
【0162】
トレーニングの面談中において、フィードバック処理部426dは、上司の性格タイプの診断結果と、上司の分析対象の分析結果(上司の面談スキルに関する分析結果)とに応じて、上司に提供される助言を導出する。フィードバック処理部426dは、上司に提供される助言を、例えばデータテーブルを用いて導出する。このデータテーブルでは、例えば、上司の性格タイプと、上司の分析対象の分析結果と、上司に提供される助言とが対応付けられている。フィードバック処理部426dは、導出された助言を上司に提供する(ステップS905)。これによって、上司は、トレーニングの面談中においてリアルタイムに提供された助言に基づいて、自身の面談スキルを本番の面談前に向上させることが可能である。
【0163】
トレーニングの面談後において、フィードバック処理部426dは、上司の分析対象の分析結果に応じて、トレーニングの面談後において上司に改めて提供される助言を導出する。フィードバック処理部426dは、上司の面談スキルの得点と上司に提供される助言とを含むフィードバック用画像を、通信部40を用いて、表示部33に表示させる(ステップS906)。これによって、上司は、トレーニングの面談後において上司に改めて提供された助言に基づいて、自身の面談スキルを本番の面談前に向上させることが可能である。
【0164】
図26は、第4実施形態における、面談用画像の例を示す図である。図26に例示された面談用画像は、本番の面談に対応付けられたトレーニングの面談中において、表示部33に表示される。面談用画像には、上司が撮像された動画像と、アバター(仮想の部下)の動画像とが含まれている。
【0165】
面談用画像には、上司の画像及び音声のうちの少なくとも一方における分析対象(例えば、表情)のリアルタイムの分析結果と、その分析結果に基づく助言と、性格タイプの診断結果に基づく助言とのうちの少なくとも一つが更に含まれていてもよい。例えば、図26に例示された面談用画像は、分析結果表示領域200と、第1助言表示領域201と、第2助言表示領域202とを含む。
【0166】
分析結果表示領域200は、分析対象に関するリアルタイム分析結果が表示される領域である。第1助言表示領域201は、上司の性格タイプの診断結果に基づく助言が表示される領域である。第2助言表示領域202は、上司の画像及び音声のうちの少なくとも一方における分析対象の分析結果に基づく助言が表示される領域である。
【0167】
トレーニングの面談中において、フィードバック処理部426dは、上司の分析対象のリアルタイム分析結果を、分析結果表示領域200に表示させる。リアルタイム分析結果は、グラフ形式で表示されてもよい。
【0168】
トレーニングの面談中において、フィードバック処理部426dは、上司の性格タイプの診断結果に基づく助言(配慮事項)を、上司の性格タイプの診断結果と予め定められた条件とに基づいて導出する。フィードバック処理部426dは、上司の性格タイプの診断結果に基づく助言(配慮事項)を、重要度ごとに導出してもよい。フィードバック処理部426dは、上司の性格タイプの診断結果に基づく助言を、第1助言表示領域201に表示させる。
【0169】
トレーニングの面談中において、フィードバック処理部426dは、分析結果に基づく助言を、上司の分析対象のリアルタイム分析結果と予め定められた条件とに基づいて導出する。例えば、上司の分析対象「表情」のリアルタイム分析結果の全体における分析結果「喜び」の比率が所定閾値未満である場合、フィードバック処理部426dは、分析結果に基づく助言「表情を明るくしましょう」を導出してもよい。フィードバック処理部426dは、分析結果に基づく助言を第2助言表示領域202に表示させる。
【0170】
以上のように、分析部424dは、本番の面談に対応付けられたトレーニングの面談において被面談者との面談を行っている面談者の画像及び音声のうちの少なくとも一方における分析対象を分析する。フィードバック処理部426dは、トレーニングの面談において分析対象の分析結果に応じて面談者に助言を提供する。
【0171】
これによって、トレーニングの面談において分析対象の分析結果に応じて面談者に助言が提供されるので、面談者の面談スキルを本番前に効率的に向上させることが可能である。面談者は、自身にとって自由な時間に、面談スキルのトレーニングを自身で行うことが可能である。面談者の画像及び音声のうちの少なくとも一つを面談支援システム1dがリアルタイムで分析し、本番の面談に対応付けられたトレーニングの面談中において面談支援システム1dが分析結果及び助言等を面談者に対してリアルタイムに提示するので、面談者自身の表情等の改善点及び留意事項を面談前において面談者が把握することができる。
【0172】
シナリオ処理部421dは、トレーニングの面談中において、分析対象の分析結果に応じてシナリオを変更する。シナリオ処理部421dは、表示部33に表示された被面談者の画像及び音声の動作をシナリオに応じて制御する。シナリオ処理部421dは、トレーニングの面談中において、分析対象の分析結果を表示部33に表示させてもよい。
【0173】
このように、改善が必要とされる面談のシーンのシナリオを分析結果に応じてトレーニングの面談中に面談支援システム1dが変更し、変更されたシナリオに応じたトレーニング環境(アバターの画像等)をトレーニングの面談中に面談支援システム1dが面談者に対して提供する。これによって、改善が必要とされる面談のシーンを面談者が集中的にトレーニングすることができる。
【0174】
(第4実施形態の変形例)
第4実施形態の変形例では、モデルベースのシナリオを用いて面談支援装置が上司の面談スキルのトレーニングを実行する点が、第4実施形態との差分である。第4実施形態の変形例では、第4実施形態との差分を中心に説明する。
【0175】
図27は、第4実施形態の変形例における、学習モデルの機械学習の例を示す図である。学習モデルは、特定の機械学習のモデルに限定されないが、例えば、再帰型ニューラルネットワーク(RNN : Recurrent Neural Network)を用いるモデル、及び、長短期記憶モデル(LSTM : Long-Short Term Model)である。
【0176】
学習段階において、シナリオ分岐データ300が、学習モデルの学習に用いられる。シナリオ分岐データとは、面談のシーン(状態)に対応付けられたシナリオの分岐(選択)に関する学習データ、すなわち、面談のシーンの移行(遷移)に関する学習データである。シナリオ分岐データでは、シナリオの分岐前のシーンと、面談者の画像(表情等)及び音声(抑揚等)のうちの少なくとも一方と、シナリオの分岐後のシーンとが対応付けられている。
【0177】
なお、トレーニングの面談における発話内容はシナリオ分岐データにおいて対応付けられていなくてもよい。すなわち、トレーニングの面談における発話内容は分析対象でなくてもよい。面談時の音声の発話内容(テキストデータ)が分析されないので、企業内の機微情報及び個人情報が漏洩する可能性を低減させた上で、面談者の面談スキルを向上させることが可能である。
【0178】
学習段階において、シナリオ処理部421dは、シナリオ分岐データ300を用いて、学習モデルの学習を実行する。例えば、シナリオ処理部421dは、シナリオの分岐前のシーン「A」と、面談者の表情「中立」及び音声「中立」という分析結果と、シナリオの分岐後のシーン「B」とが対応付けられていることを、シナリオ分岐データ300-1を用いて学習モデルに学習させる。例えば、シナリオ処理部421dは、シナリオの分岐前のシーン「B」と、面談者の表情「怒り」及び音声「怒り」という分析結果と、シナリオの分岐後のシーン「E」とが対応付けられていることを、シナリオ分岐データ300-4を用いて学習モデルに学習させる。なお、これらの分析結果は、高精度な分析結果でなくてもよい。
【0179】
図28は、第4実施形態の変形例における、シナリオのモデルベースのシーン移行例を示す図である。学習段階後の推論段階(トレーニングの面談中)において、シナリオ処理部421dは、トレーニングの面談中における上司の画像及び音声のうちの少なくとも一方を、学習モデル(シナリオ分岐モデル)に入力する。シナリオ処理部421dは、学習モデルの出力を取得する。シナリオ処理部421dは、学習モデルの出力に基づいて、シナリオを変更する。
【0180】
例えば、面談のシーン「A」における面談者の表情「中立」及び音声「中立」という分析結果が得られた場合、シナリオ分岐データ300-1を用いた学習に基づいて、シナリオ処理部421dは面談のシーンが「B」に移行すると判定する。シナリオ処理部421dは、移行後の面談のシーン「B」に応じてシナリオを選択する。例えば、面談のシーン「B」における面談者の表情「怒り」及び音声「怒り」という分析結果が得られた場合、シナリオ分岐データ300-4を用いた学習に基づいて、シナリオ処理部421dは面談のシーンが「E」に移行すると判定する。シナリオ処理部421dは、移行後の面談のシーン「E」に応じてシナリオを選択する。このように、第4実施形態の変形例では、学習モデルを用いるシナリオ処理部421dによって、面談のシーンの移行が管理される。シナリオ処理部421dは、現在の面談のシーンに応じて、現在のシナリオを選択する。
【0181】
以上のように、学習段階において、シナリオ処理部421dは、シナリオ分岐データ300を用いて、学習モデルの学習を実行する。推論段階において、シナリオ処理部421dは、トレーニングの面談中における上司の画像及び音声のうちの少なくとも一方を、学習モデルに入力する。シナリオ処理部421dは、学習モデルの出力を取得する。シナリオ処理部421dは、学習モデルの出力に基づいて、シナリオを変更する。
【0182】
これによって、シナリオの条件分岐のルールが厳密に定義されなくても面談のシーンが管理されるので、面談者の面談スキルを本番前に効率的に向上させることが可能である。また、シナリオ分岐データの蓄積量(シナリオ分岐データを用いる学習の量)に応じてシナリオの分岐精度(選択精度)の改善が可能である。
【産業上の利用可能性】
【0183】
本発明は、面談(例えば、1on1ミーティング、接客)スキルの向上を支援するシステムに適用可能である。
【0184】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0185】
1a,1b,1c,1d…面談支援システム、2…被面談者装置、3…面談者装置、4a,4b,4c,4d…面談支援装置、5…通信回線、20…カメラ、21…マイク、22…操作部、23…表示部、24…スピーカ、25…記憶部、26…制御部、27…通信部、30…カメラ、31…マイク、32…操作部、33…表示部、34…スピーカ、35…記憶部、36…制御部、37…通信部、40…通信部、41…記憶部、42a,42b,42c…制御部、50…ラジオボタン、60…操作キー画像、70…操作キー画像、80…操作キー画像、90…操作キー画像、100…得点表示領域、110…助言表示領域、120…操作キー画像、200…分析結果表示領域、201…第1助言表示領域、202…第2助言表示領域、300…シナリオ分岐データ、420…選択取得部、421,421d…シナリオ処理部、422…情報出力部、423…目標処理部、424a,424b,424c,424d…分析部、425…得点処理部、426,426d…フィードバック処理部、427…アンケート処理部、428…診断部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28