(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024179683
(43)【公開日】2024-12-26
(54)【発明の名称】情報処理装置、情報処理方法、プログラム、記録媒体
(51)【国際特許分類】
G06Q 10/109 20230101AFI20241219BHJP
G06Q 10/00 20230101ALI20241219BHJP
G06F 40/166 20200101ALI20241219BHJP
G06F 40/279 20200101ALI20241219BHJP
【FI】
G06Q10/109
G06Q10/00
G06F40/166
G06F40/279
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023098714
(22)【出願日】2023-06-15
(71)【出願人】
【識別番号】515161043
【氏名又は名称】ベルフェイス株式会社
(71)【出願人】
【識別番号】520140729
【氏名又は名称】アーニーMLG株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】中島 一明
(72)【発明者】
【氏名】橋本 聡
【テーマコード(参考)】
5B109
5L010
5L049
【Fターム(参考)】
5B109QB01
5B109VC03
5L010AA02
5L010AA11
5L010AA20
5L049AA02
5L049AA11
5L049AA20
(57)【要約】
【課題】面談についての議事録作成の容易性向上を図る。
【解決手段】本発明に係る情報処理装置は、面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、解析結果テキストデータの転写が可能とされると共に転写された解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理を行う表示処理部を備えている。
【選択図】
図22
【特許請求の範囲】
【請求項1】
面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、前記面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、前記解析結果テキストデータの転写が可能とされると共に転写された前記解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理を行う表示処理部を備えた
情報処理装置。
【請求項2】
前記編集画面においては、前記面談の録音期間を図形化して表す録音期間表示情報を表示する録音期間表示領域が設けられ、
前記表示処理部は、
前記録音期間表示情報として、前記面談中における話者ごとの発話期間の分布を示す情報を表示させる処理を行う
請求項1に記載の情報処理装置。
【請求項3】
前記表示処理部は、
前記編集画面において、前記録音データの再生位置を指示するための再生位置指示操作子を前記録音期間表示情報に関連づけて表示させる処理を行う
請求項2に記載の情報処理装置。
【請求項4】
前記面談は商談であり、
前記表示処理部は、前記商談を所定の基準に従って工程分けした際の各商談工程の名称及び期間を示す情報である商談工程期間情報を前記編集画面において前記録音期間表示情報に関連づけて表示させる処理を行う
請求項2に記載の情報処理装置。
【請求項5】
前記表示処理部は、前記発話期間の情報を前記話者ごとに異なる表示態様で表示させる処理を行う
請求項2に記載の情報処理装置。
【請求項6】
前記編集画面においては、前記面談における話者ごとに、ユーザ自身の側のグループである自分側グループと前記ユーザの相手側のグループである相手側グループの何れに属するかについての設定操作であるグループ属性設定操作を受け付け可能とされており、
前記表示処理部は、前記グループ属性設定操作が行われたことに応じて、前記テキスト表示領域に表示する前記面談テキストデータについて、前記自分側グループに属する前記話者の発話テキストデータを前記テキスト表示領域の一方の端部側に寄せ、前記相手側グループに属する前記話者の発話テキストデータを前記テキスト表示領域の他方の端部側に寄せる処理を行う
請求項1に記載の情報処理装置。
【請求項7】
前記面談の内容に係る解析の処理として、前記面談の要約の作成処理である要約作成処理、前記面談の要点一覧の作成処理である要点一覧作成処理、及び前記面談における質問部分と回答部分との特定処理である質問回答特定処理が行われ、
前記表示処理部は、前記解析結果表示領域において、前記要約作成処理で作成された前記要約を示すテキストデータ、前記要点一覧作成処理で作成された前記要点一覧を示すテキストデータ、前記質問回答特定処理で特定された前記質問部分及び前記回答部分を示すテキストデータのうち、前記要約を示すテキストデータが最も上手側に配置されるように前記解析結果表示領域の表示処理を行う
請求項1に記載の情報処理装置。
【請求項8】
前記面談の内容に係る解析の処理として、前記面談の要約の作成処理である要約作成処理、前記面談の要点一覧の作成処理である要点一覧作成処理、及び前記面談における質問部分と回答部分との特定処理である質問回答特定処理が行われ、
前記編集画面においては、前記面談における話者ごとに、ユーザ自身の側のグループである自分側グループと前記ユーザの相手側のグループである相手側グループの何れに属するかについての設定操作であるグループ属性設定操作を受け付け可能とされており、
前記表示処理部は、
前記解析結果表示領域において、前記要約作成処理で作成された前記要約を示すテキストデータ、前記要点一覧作成処理で作成された前記要点一覧を示すテキストデータ、前記質問回答特定処理で特定された前記質問部分及び前記回答部分を示すテキストデータを表示させる処理を行うと共に、
前記質問部分を示すテキストデータ及び前記回答部分を示すテキストデータを、前記自分側グループと前記相手側グループのうち何れのグループによる発言であるかの識別が可能に表示させる処理を行う
請求項1に記載の情報処理装置。
【請求項9】
前記面談の内容に係る解析の処理として、前記面談の要約の作成処理である要約作成処理、前記面談の要点一覧の作成処理である要点一覧作成処理、及び前記面談における質問部分と回答部分との特定処理である質問回答特定処理が行われ、
前記表示処理部は、前記解析結果表示領域において、前記要約作成処理で作成された前記要約を示すテキストデータ、前記要点一覧作成処理で作成された前記要点一覧を示すテキストデータ、前記質問回答特定処理で特定された前記質問部分及び前記回答部分を示すテキストデータを表示させる処理を行い、
前記編集画面においては、前記解析結果表示領域に表示された前記要点一覧について、要点ごとに前記テキスト編集領域にテキストデータを転写可能とされており、
前記表示処理部は、前記要点一覧の表示領域において、各要点のテキストデータを、元となる発話の時系列順に従った順序で配列させ、
前記テキスト編集領域に転写された前記要点のテキストデータについては、転写が行われた順で配列させる
請求項1に記載の情報処理装置。
【請求項10】
前記表示処理部は、前記テキスト編集領域において、転写された前記解析結果テキストデータが修正された場合は、修正されたテキスト部分を未修正のテキスト部分とは異なる表示態様で表示させる処理を行う
請求項1に記載の情報処理装置。
【請求項11】
前記テキスト編集領域において、転写された前記解析結果テキストデータが修正された場合に、修正前のテキストデータと修正後のテキストデータとを対応づけてメモリ装置に記録させる処理を行う記録処理部を備えた
請求項1から請求項10の何れかに記載の情報処理装置。
【請求項12】
情報処理装置が、
面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、前記面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、前記解析結果テキストデータの転写が可能とされると共に転写された前記解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理を行う
情報処理方法。
【請求項13】
コンピュータ装置が読み取り可能なプログラムであって、
面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、前記面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、前記解析結果テキストデータの転写が可能とされると共に転写された前記解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理、を前記コンピュータ装置に実行させる
プログラム。
【請求項14】
コンピュータ装置が読み取り可能なプログラムが記録された記録媒体であって、
面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、前記面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、前記解析結果テキストデータの転写が可能とされると共に転写された前記解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理、を前記コンピュータ装置に実行させるプログラムが記録された
記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置とその方法、及びプログラムと記録媒体に関するものであり、特には、面談についての議事録作成を支援するための技術に関する。
【背景技術】
【0002】
例えば、企業の営業活動として行われる商談等、複数人間の対話により行われる面談については、その内容を纏めた議事録を作成するということが広く行われている。
【0003】
また、下記特許文献1にあるように、商談の録音データに基づいて、商談における各人の発話をテキスト化したり、発話のテキスト化データに基づいて商談内容の要約を作成したりするといった技術がある。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、特許文献1では、商談における発話のテキスト化データを表示するテキスト表示領域(
図3の「書き起こし」の領域)と、テキスト化データに基づき生成した商談の要約をテキストデータにより表示する要約表示領域(
図3の「要約」の領域)とを含む画面をユーザに提示することが開示されている。
【0006】
上記の要約表示領域のように商談の要約をテキストデータにより表示することは、ユーザが該要約のテキストデータを議事録作成に流用できるようになるという点で有益である。
【0007】
しかしながら、特許文献1に記載の画面では、議事録の作成を可能とするための領域は設けられておらず、要約のテキストデータを流用して議事録を作成するためには、ユーザに議事録としての文章を編集するための別途の編集画面(別ソフト)を開かせる手間を強いるものとなってしまう。
【0008】
本発明は上記事情に鑑み為されたものであり、面談についての議事録作成の容易性向上を図ることを目的とする。
【課題を解決するための手段】
【0009】
本発明に係る情報処理装置は、面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、前記面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、前記解析結果テキストデータの転写が可能とされると共に転写された前記解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理を行う表示処理部を備えたものである。
上記構成によれば、テキスト表示領域と解析結果表示領域のみでなく、テキスト編集領域を含む編集画面が表示されるので、分析結果テキストデータを用いた議事録の作成にあたり、別途の編集画面を開く必要をなくすことが可能となる。
【発明の効果】
【0010】
本発明によれば、面談についての議事録作成に要するユーザの手間の削減を図ることができ、議事録作成の容易性向上を図ることができる。
【図面の簡単な説明】
【0011】
【
図1】実施形態としての議事録作成支援システムの構成例を示したブロック図である。
【
図2】実施形態としての情報処理装置のハードウェア構成例を示したブロック図である。
【
図3】実施形態におけるサーバ装置のハードウェア構成例を示したブロック図である。
【
図4】実施形態における面談の参加者情報の登録画面の例を示した図である。
【
図5】実施形態における録音一覧画面の例を示した図である。
【
図6】実施形態における確認画面の例を示した図である。
【
図7】実施形態におけるエラー画面の例を示した図である。
【
図8】実施形態における編集画面(話者・グループ設定及び解析処理の実行前)の例を示した図である。
【
図9】実施形態における話者・グループ設定のための設定画面の例を示した図である。
【
図10】情報設定後の話者・グループ設定領域における表示情報の例を示した図である。
【
図11】実施形態における編集画面(話者・グループ設定後)の例を示した図である。
【
図12】編集画面における解析結果テキストデータの表示例を示した図である。
【
図13】設定済みのグループ情報の変更操作を例示した図である。
【
図14】
図13に示す変更操作が行われたことに応じた発話テキスト表示領域の表示状態を例示した図である。
【
図15】編集画面におけるキーワード検索機能及びテキスト一括置換機能についての説明図である。
【
図16】同じく、編集画面におけるキーワード検索機能及びテキスト一括置換機能についての説明図である。
【
図17】テキスト編集領域にコピーされた要点のテキストデータの配列順についての説明図である。
【
図18】同じく、テキスト編集領域にコピーされた要点のテキストデータの配列順についての説明図である。
【
図19】同じく、テキスト編集領域にコピーされた要点のテキストデータの配列順についての説明図である。
【
図20】同じく、テキスト編集領域にコピーされた要点のテキストデータの配列順についての説明図である。
【
図21】発話テキスト表示領域の横方向のサイズ変更、要点一覧表示領域の縦方向のサイズ変更について模式的に表した図である。
【
図22】実施形態としての情報処理装置が有する機能の説明図である。
【
図23】実施形態におけるサーバ装置が有する機能の説明図である。
【
図24】議事録エディタの立ち上げ時に対応した処理のフローチャートである。
【
図25】グループ設定に係る処理のフローチャートである。
【
図26】解析処理実行時に対応した処理のフローチャートである。
【
図27】テキスト編集領域を用いた議事録作成に係る処理のフローチャートである。
【
図28】変形例としての議事録作成支援システムの構成例を示した図である。
【発明を実施するための形態】
【0012】
以下、本発明に係る実施形態を次の順序で説明する。
<1.システム構成例>
<2.情報処理装置の構成例>
<3.面談から議事録作成までの流れ及び表示画面例>
<4.機能構成例>
<5.処理手順>
<6.変形例>
<7.実施形態のまとめ>
【0013】
<1.システム構成例>
図1は、本発明に係る実施形態としての情報処理装置を備えて構成された議事録作成支援システム100の構成例を示したブロック図である。
図示のように実施形態としての議事録作成支援システム100は、情報処理装置1とサーバ装置20とを備えている。これら情報処理装置1及びサーバ装置20は、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)を有するマイクロコンピュータを備えて構成されている。これら、情報処理装置1とサーバ装置20は、例えばインターネット等の所定の通信ネットワークであるネットワークNTを介して相互にデータ通信を行うことが可能とされている。
【0014】
実施形態の議事録作成支援システム100は、面談の録音機能、面談の録音データに基づき面談の内容に係る解析を行う機能、該解析の結果を示すテキストデータ(以下「解析結果テキストデータ」と表記する)を画面上でユーザに提示する機能を有する。ユーザは、該画面上で提示された解析結果テキストデータを用いて、面談についての議事録の作成作業を行うことができる。
【0015】
ここで、本実施形態では、「面談」の一例として、営業担当者Hsと顧客Hcとの間で行われる「商談」を挙げる。
営業担当者Hsは、商談に参加して営業活動を行うと共に、商談の議事録作業を行う人物であり、議事録作成支援システム100のユーザに位置づけられる人物である。
営業担当者Hsは、商談としての面談におけるホスト側の人物と捉えることができる。一方、顧客Hcは、面談におけるゲスト側の人物と捉えられることができる。
【0016】
情報処理装置1は、営業担当者Hsが使用する例えばPC(パーソナルコンピュータ)やタブレット端末、スマートフォン等のコンピュータ装置とされる。
本例において、商談は、情報処理装置1が配置された例えば会議室等の実空間において営業担当者Hsと顧客とが対面にて行うものであるとする。ここでは、面談の参加者は、営業担当者Hs、顧客Hcともに複数であるものとしている(具体的には、二人ずつの例としている)が、商談は、営業担当者Hs、顧客Hcともに少なくとも一人以上が参加して行われるものであればよい。
【0017】
情報処理装置1は、商談の録音機能を有する。該録音機能により得られる商談の録音データは、ネットワークNTを介してサーバ装置20に送信され、該サーバ装置20において記憶(蓄積)される。
【0018】
サーバ装置20は、面談(本例では商談)の録音データをテキスト化する機能、すなわち、面談における発話部分を文字起こし(書き起こし)したテキストデータを生成する機能と、該テキスト化の機能により得られたテキストデータ(以下「面談テキストデータ」と表記する)に基づき、面談の内容に係る解析処理を行う解析機能とを有する。具体的に、本実施形態おける解析機能は、面談の要約の作成処理である要約作成処理と、面談の要点一覧の作成処理である要点一覧作成処理と、面談における質問部分と回答部分との特定処理である質問回答特定処理とを行う機能とされる。
【0019】
議事録作成支援システム100では、上記のようなサーバ装置20の解析機能による解析結果を示すテキストデータ(以下「解析結果テキストデータ」と表記する)をユーザとしての営業担当者Hsに対して画面表示する。具体的には、上記のような要約や要点一覧、質問と回答等としての解析結果を示す解析結果テキストデータを画面表示してユーザに提示する。本例では、このような解析結果テキストデータの画面表示は、情報処理装置1が行うものとする。
【0020】
ユーザは、上記のように提示された面談の解析結果テキストデータを用いて、議事録の作成を効率的に行うことができる。具体的には、解析結果テキストデータとして提示される要約等のテキストデータを転写(コピー)して議事録作成に用いることが可能となるため、議事録としての文章を一から作成せずに済むものとなり、議事録作成の効率向上が図られるものである。
【0021】
そして、本実施形態では、上記のような解析結果テキストデータの提示を、該解析結果テキストデータを表示する解析結果表示領域と、議事録作成のためのテキスト編集領域とを含む一つの編集画面(後述する編集画面Ge)を表示することで行う。ここで、テキスト編集領域は、解析結果テキストデータの転写が可能とされると共に、転写された解析結果テキストデータの編集が可能とされた領域である。
【0022】
解析結果表示領域のみでなく、テキスト編集領域を含む編集画面が表示されるので、分析結果テキストデータを用いた議事録の作成にあたり、別途の編集画面を開く必要をなくすことが可能となる。
従って、面談についての議事録作成に要するユーザの手間の削減を図ることができ、議事録作成の容易性向上を図ることができる。
特に、本例のように面談が商談である場合には、議事録作成の容易性向上が図られることで、商談活動の効率化が図られ、成約率の向上に寄与することができる。
【0023】
<2.情報処理装置の構成例>
図2は、情報処理装置1のハードウェア構成例を示したブロック図である。
図2に示すように情報処理装置1は、CPU1a、ROM2、及びRAM3を備えている。CPU1aは、各種の処理を行う演算処理部として機能し、ROM2に記憶されているプログラム、又は記憶部9からRAM3にロードされたプログラムに従って各種の処理を実行する。RAM3にはまた、CPU1aが各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0024】
CPU1a、ROM2、及びRAM3は、バス4を介して相互に接続されている。このバス4にはまた、入出力インタフェース(I/F)5も接続されている。
【0025】
入出力インタフェース5には、各種情報を入力するための入力部6が接続されている。具体的に、入力部6としては、操作子や操作デバイスを有しユーザによる操作情報を入力する操作入力部と、マイク(マイクロフォン)により検出された音声信号を入力する音声入力部とを有する。
入力部6において、操作入力部としては、キーボード、マウス、キー、タッチパネル、タッチパッド、ダイヤル、リモートコントローラ等の各種の操作子や操作デバイスが想定される。操作入力部により操作が検知され、検知された操作に応じた信号はCPU1aによって解釈される。
また、入力部6において、音声入力部により入力された音声信号は、CPU1aの制御によって後述する記憶部9等の記憶装置に記憶されたり、音声出力部8を介して電気信号から音に変換されて出力(放音)されたりする。
【0026】
また入出力インタフェース5には、LCD(Liquid Crystal Display)或いは有機EL(Electro-Luminescence)パネルなどよりなる表示部7や、スピーカなどよりなる音声出力部8が一体又は別体として接続される。
表示部7は、各種の情報表示に用いられ、例えば情報処理装置1の筐体に設けられるディスプレイデバイスや、情報処理装置1に接続される別体のディスプレイデバイス等により構成される。
【0027】
表示部7は、CPU1aの指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部7はCPU1aの指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
【0028】
入出力インタフェース5には記憶部9や、通信部10が接続される場合もある。
記憶部9はHDD(Hard Disk Drive)や、SSD(Solid State Drive)などより構成され、各種の情報記憶を行う。
【0029】
通信部10は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
【0030】
入出力インタフェース5にはまた、必要に応じてドライブ12が接続され、メモリカードや光ディスクなどのリムーバブル記録媒体11が適宜装着される。
【0031】
ドライブ12により、リムーバブル記録媒体11から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部9に記憶されたり、データファイルに含まれる画像や音声が表示部7や音声出力部8で出力されたりする。またリムーバブル記録媒体11から読み出されたコンピュータプログラム等は必要に応じて記憶部9にインストールされる。
【0032】
上記のようなハードウェア構成を有する情報処理装置1では、例えば本実施形態の処理のためのソフトウェアを、通信部10によるネットワーク通信やリムーバブル記録媒体11を介してインストールすることができる。或いは、当該ソフトウェアは予めROM2や記憶部9等に記憶されていてもよい。
【0033】
CPU1aが各種のプログラムに基づいて処理動作を行うことで、後述する実施形態としての情報処理装置1の処理を実現するために必要な情報処理や通信処理が実行される。
【0034】
図3は、サーバ装置20のハードウェア構成例を示したブロック図である。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【0035】
図2に示した情報処理装置1との相違点は、解析部20bが追加された点である。
なお、以下では説明の便宜上、サーバ装置20が備えるCPU1aについては、図示のようにCPU20aと表記する。
【0036】
解析部20bは、例えば信号処理プロセッサやAI(Artificial Intelligence)プロセッサとして構成され、面談の録音データに基づき、面談の内容に係る各種の解析処理を行う。具体的に本例では、上述した要約作成処理、要点一覧作成処理、及び質問回答特定処理を少なくとも行う。
なお、これら要約作成処理、要点一覧作成処理、及び質問回答特定処理としての、解析部20bが実行する解析処理の詳細については後に改めて説明する。
【0037】
ここで、解析部20bによる解析処理は、特に、AI処理ではなくルールベース処理として行う場合には、CPU20aが実行するようにしてもよい。
【0038】
サーバ装置20については、
図3に示すようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN(Local Area Network)等によりシステム化されていてもよいし、インターネット等を利用したVPN(Virtual Private Network)等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群(クラウド)としてのコンピュータ装置が含まれてもよい。
【0039】
<3.面談から議事録作成までの流れ及び表示画面例>
前述のように、本例における商談は、営業担当者Hsと顧客Hcとが実空間において対面により行うものであり、営業担当者Hsが使用する情報処理装置1によって商談中における会話内容が録音される。
本例において、情報処理装置1には、商談の録音に係る各種の機能を実現するためのソフトウェアプログラム(以下「録音用ソフト」と表記する)がインストールされており、営業担当者Hsは該録音用ソフトを立ち上げた状態で商談を行う。
なお、録音用ソフトとしてのソフトウェアをサーバ装置20側に保存しておき、該ソフトウェアをサービスとして提供するいわゆるSaaS(Software as a Service)型の形態を採ることも考えられる。
【0040】
図4は、録音用ソフトにより表示される参加者情報の登録画面Grの例を示している。
図示のように登録画面Grには、商談における顧客Hc(お客様)の企業名、氏名、役職を入力するための入力ボックスb1、b2、b3と、営業担当者Hs自身の氏名を入力するための入力ボックスb4とが設けられている。
顧客Hcについての入力ボックスb1、b2、b3は、図中の追加ボタンB1の操作により追加が可能とされ、複数人の顧客Hcの情報入力に対応可能となっている。
また、登録画面Grには、録音の開始指示を行うためのボタンである開始ボタンB2も設けられている。
【0041】
このような登録画面Grにおいて、営業担当者Hsは、顧客Hcの企業名、氏名、役職、及び自身の氏名を入力し、開始ボタンB2を操作することで情報処理装置1に商談の録音を開始させる。
【0042】
図示は省略したが、録音の開始後には、録音用ソフトによる画面上に録音の停止ボタンが表示され、営業担当者Hsは該停止ボタンを操作することで商談の録音の停止指示(終了指示)を情報処理装置1に行うことができる。
【0043】
商談の録音を停止する指示が行われた場合、情報処理装置1のCPU1aは、商談の録音データ及び参加者情報をサーバ装置20に蓄積させるための処理を行う。具体的には、商談の録音データ、及び登録画面Grで入力された顧客Hcの氏名と役職の情報、及び営業担当者Hsの氏名の情報をサーバ装置20に送信して記憶させる。
【0044】
サーバ装置20では、情報処理装置1から送信された商談の録音データと参加者情報(顧客Hcの企業名、氏名、役職、及び営業担当者Hsの氏名の情報)とを対応づけて例えば記憶部19等の所定の記憶装置に記憶する。
このとき、サーバ装置20では、商談の録音データごとに、商談の識別子となる商談IDを付与する。
【0045】
本実施形態の議事録作成支援システム100では、サーバ装置20に蓄積された商談の録音データの一覧を営業担当者Hsとしてのユーザに提示することができる。
具体的に、本例では、上述した録音ソフトに、このような録音データの一覧へのアクセス機能が与えられているとする。つまりこの場合、営業担当者Hsとしてのユーザは、録音ソフトによる画面上に表示された録音データ一覧へのアクセスボタン(不図示)を操作することで、録音データの一覧画面である録音一覧画面Giの提示を受けることができる。
【0046】
図5は、録音一覧画面Giの例を示している。
図示のように録音一覧画面Giには、商談IDごとに、商談の日時情報、再生ボタンBp、参加者情報、及び入力メモ欄が表示される。
商談の日時情報は、本例では、商談の開始時刻(録音の開始時刻)及び終了時刻(録音の終了時刻)を含む情報が表示される。
再生ボタンBpは、商談IDに対応づけられた商談の録音データの再生指示を行うためのボタンである。
参加者情報としては、登録画面Grでの入力情報が表示される。ここで、登録画面Grでの未入力項目がある場合には、その旨が表示される。
入力メモ欄には、商談後におけるメモ情報をテキスト入力することが可能とされる。入力メモ欄への入力情報は、商談IDに対応づけて記憶される。
【0047】
なお、録音一覧画面Giでは、商談で用いた資料のデータへのリンクを表示することもできる(図中「メイン資料」を参照)。
【0048】
録音一覧画面Giにおいては、商談IDごとに、議事録エディタとしてのソフトの起動を指示する議事録作成ボタンB3が表示されている。
営業担当者Hsとしてのユーザは、録音一覧画面Giにおいて、議事録の作成対象としたい商談に対して表示された議事録作成ボタンB3を操作する。
【0049】
議事録作成ボタンB3の操作に応じ、情報処理装置1は、議事録エディタとしてのソフトを立ち上げる処理を行う。議事録エディタは、前述した編集画面Ge、すなわち解析結果表示領域とテキスト編集領域とを含む議事録作成のための画面を表示して議事録作成に係る処理を行うソフトである。
【0050】
なお、上記では録音一覧画面Giへのアクセス機能が録音用ソフトに与えられている例としたが、録音一覧画面Giへのアクセスは、該録音一覧画面GiのURI(Uniform Resource Identifier)を指定して行われるものであればよく、使用するソフトの別は問わない。
【0051】
また、本例では、編集画面Geを用いた議事録作成のための処理が、情報処理装置1にインストールされた議事録ソフトにより行われる例を挙げるが、議事録ソフトについても、前述したSaaS型の形態、すなわちサーバ装置20側にソフトウェアを保存しておき該ソフトウェアをサービスとして提供する形態を採ることが考えられる。
【0052】
また、上記では、商談の録音データは録音の停止操作に応じてサーバ装置20に送信される例としたが、録音データは、録音停止操作とは別の、商談後における営業担当者Hsによる操作に応じてサーバ装置20に送信されてもよいし、商談中にリアルタイムで送信されてもよい。
【0053】
ここで、後述するように本実施形態では、議事録エディタにより表示される編集画面Geには、前述した要約の作成等、商談の内容に係る解析処理の実行を指示するボタンが設けられ、該ボタンの操作に応じてサーバ装置20が解析処理を実行する。
本例では、この解析処理は、有料サービスとして営業担当者Hsに提供されるものであり、解析処理の有料サービスを提供する業者と、営業担当者Hsが属する企業との間で、事前に解析処理の利用可能回数や利用可能期間についての契約が行われる。ここでは説明上の例として、利用可能回数は企業単位で管理する例とするが、利用可能回数は、例えば営業担当者Hsごと等の他の単位で管理することも考えられる。
【0054】
本例のサーバ装置20においては、該契約で定められた解析処理の利用可能回数及び利用可能期間を管理するための情報が記憶されている。具体的には、利用可能回数及び利用可能期間の情報と、契約後における解析処理の利用回数(実行回数:本例では企業単位の回数)を示す情報とが記憶されている。
【0055】
本例における情報処理装置1(CPU1a)は、上述した議事録作成ボタンB3が操作され、議事録エディタを立ち上げる処理を実行したことに応じて、サーバ装置20に対し、解析処理の利用可能回数及び利用可能期間に係る問合せを行う。本例では、この問合せは、営業担当者Hsが属する企業を識別するための企業IDを指定して行うものとされる。
サーバ装置20では、情報処理装置1から指定された企業IDの情報に基づき、該企業IDに対応づけて管理されている解析処理の利用可能回数、利用回数、及び利用可能期間の情報を参照し、これらの情報に基づいて解析処理の実行可能条件を満たすか否かの判定処理を行う。具体的に本例では、当該企業の解析処理の利用回数が利用可能回数以下であるという回数条件と、現在日時が解析処理の利用可能期間内の日時であるという期限条件との双方について、条件を満たしているか否かを判定する。
【0056】
サーバ装置20は、この判定の結果を、情報処理装置1に対して返信する。具体的には、回数条件を満たすか否かの判定結果、期限条件を満たすか否かの判定結果である。
【0057】
CPU1aは、上記のようなサーバ装置20からの返信情報に基づき、回数条件及び期限条件の双方を満たしているか否かの判定を行う。
そして、回数条件及び期限条件の双方を満たしていると判定した場合、CPU1aは、
図6に示す確認画面Gaを表示させる処理を行い、回数条件及び期限条件の少なくとも何れかを満たさないと判定した場合は、
図7に示すエラー画面Gbを表示させる処理を行う。
【0058】
図6に示す確認画面Gaでは、利用可能時間と要約残回数とを表示する。利用可能時間は、解析処理を実行可能な残り時間を示す情報であり、図示のように本例では、残り時間の情報と共に、契約上の利用可能期間に対する該残り時間の割合を示す情報を表示するものとしている。
また、要約残回数は、契約上、解析処理をあと何回実行可能であるかを示す情報であり、本例では残回数の情報と共に、契約上の利用可能回数に対する該残回数の割合を示す情報を表示するものとしている。
【0059】
確認画面Gaにおいて、利用可能時間の情報を表示するにあたっては利用可能期間の情報が、また要約残回数の情報を表示するにあたっては利用可能回数及び利用回数の情報が必要となるが、CPU1aは、回数条件及び期限条件の双方を満たしていると判定した場合には、これら利用可能期間、利用可能回数及び利用回数の情報をサーバ装置20より取得する処理を行う。
【0060】
このような確認画面Gaの表示を行うことで、解析処理が有料サービスとして提供される場合において、契約を更新すべきタイミングであるか否かをユーザに容易に把握させることができる。
【0061】
図7に示すエラー画面Gbでは、少なくとも、解析処理の利用可能条件を満たしていない旨のメッセージ情報の表示を行う。具体的に本例では、上記した期限条件、回数条件について、どの条件を満たしていないかを示すメッセージ情報と、利用可能条件を満たさないために議事録エディタを開始できない旨のメッセージ情報とを表示するものとしている。前者のメッセージ情報としては、期限条件と回数条件のうち期限条件のみを満たさない場合には、図中に例示している「利用可能期間を超えている」のような期限条件を満たしていない旨を表すメッセージ情報を表示する。また、期限条件と回数条件のうち回数条件のみを満たさない場合には、例えば「利用可能回数を超えている」のような回数条件を満たしていない旨を表すメッセージ情報を表示し、期限条件と回数条件の双方を満たさない場合には例えば「利用可能期間と利用回数を超えている」のような期限条件と回数条件の双方を満たしていない旨を表すメッセージ情報を表示する。
【0062】
エラー画面Gbには、OKボタンB5が表示されている。営業担当者Hsとしてのユーザは、このOKボタンB5を操作することで、エラー画面Gbを閉じることができる。
【0063】
図6に示す確認画面Gaには、OKボタンB4が表示される。このOKボタンB4の操作に応じ、CPU1aは、確認画面Gaを閉じる処理を行うと共に、
図8に示す編集画面Geを表示させる処理を行う。
【0064】
図8に示す編集画面Geは、解析処理の実行指示前の編集画面Geである。
後述するように本例の編集画面Geでは、解析処理の実行指示が行われたことに応じて画面上に解析結果テキストデータの表示領域(後述する解析結果表示領域Aa)が表示されることになる。
【0065】
図8の編集画面Geにおいては、発話テキスト表示領域At、録音期間表示領域Ap、話者・グループ設定領域Ah、テキスト編集領域Aeが設けられると共に、入力ボックスb5、再生ボタンBp、コピー(転写)ボタンB10、B11、解析実行ボタンB13、話者設定指示ボタンB14、出力ボタンB15、及びクリップボードコピーボタンB16が表示されている。
【0066】
図示のように本例の編集画面Geでは、発話テキスト表示領域At、話者・グループ設定領域Ah、及びテキスト編集領域Aeについては、画面の左側から右側にかけて発話テキスト表示領域At、話者・グループ設定領域Ah、テキスト編集領域Aeの順で配置されている。
また、本例において録音期間表示領域Apは、発話テキスト表示領域Atの下方に配置されている。
【0067】
発話テキスト表示領域Atは、面談における発話部分のテキストデータを話者ごとに表示する領域である。
本実施形態において、発話部分のテキストデータは、サーバ装置20が面談の録音データをテキスト化することで生成する。ここで、録音データとしての音声データをテキスト化する技術、すなわち音声データからテキストデータへの変換技術は公知の技術であり、ここでの詳細な説明は省略する。
【0068】
本例において、サーバ装置20は、発話部分を、所定のブロック単位で分割して管理する。ここでのブロック単位は、例えば、発話の継続期間の単位とされる。換言すれば、発話が途切れたタイミングを、ブロックの切れ目として認識するものである。
【0069】
また、本実施形態おけるサーバ装置20は、録音データに基づく話者分離処理も行う。
話者分離処理は、発話部分ごとに、何れの話者による発話部分であるかを特定する処理である。具体的には、例えば録音データについての声紋解析処理を行って、検出された声紋ごとに、話者IDの紐付けを行う。この話者IDとしては、例えば話者A、話者B、話者C等を割り振る。そして、話者ごとの声紋の情報に基づき、録音データについて、話者ごとの発話区間を特定する処理を行う。このように録音データについて話者ごとの発話区間が特定されることで、録音データをテキスト化して得られる発話テキストデータについても、発話部分と話者との対応関係を特定することができる。
【0070】
CPU1aは、このようなサーバ装置20の話者分離処理により得られる各発話部分のテキストデータ、及び各発話部分と話者IDとの対応関係を示す情報とに基づき、発話テキスト表示領域Atにおける話者ごとの発話部分のテキストデータ表示を行う。
本例では、話者ごとの発話部分のテキストデータは、画面の上側から下側にかけて時系列順に並べて表示する。
また、本例では、発話テキスト表示領域Atでは、話者ごとの発話部分の識別子として、話者アイコンを表示するものとしている。この
図8の段階では、話者アイコンとしては、話者A、B、Cのように話者分離処理で付された話者IDを表示する。
【0071】
また、
図8の段階での発話テキスト表示領域Atでは、話者ごとの発話部分のテキストデータは、全て、発話テキスト表示領域Atの左右一方の端部側に寄せて表示する。具体的に本例では、図示のように発話テキスト表示領域Atの左端部に寄せて表示するものとしている。
【0072】
録音期間表示領域Apは、面談の録音期間を図形化して表す録音期間表示情報を表示する領域である。
図示のように本例における録音期間表示領域Apでは、録音期間表示情報として、面談の録音期間を左右方向に延びるバー形状で表す情報を表示している。
録音期間表示領域Apにおいて、録音期間表示情報に対しては、録音データの再生位置を指示するためのシークバーSbが関連付けて表示される。このシークバーSbは、左右位置を変位させる操作が可能とされており、ユーザは、このシークバーSbの変位操作を行った上で、再生ボタンBpを操作することで、シークバーSbの位置により示される再生位置からの録音データの再生の実行を情報処理装置1に指示することができる。
【0073】
本実施形態において、録音期間表示情報としては、話者ごとの発話期間の分布を示す情報を表示している。具体的に、この場合の録音期間表示情報では、録音期間を示すバーを話者ごとに表示すると共に、話者ごとの発話期間の情報を、話者ごとに異なる表示態様で表示するものとしている。例えば、話者ごとに発話期間の色や模様を異ならせるといったことが考えられる。
本例において、録音期間を示す話者ごとのバーには、それぞれ対応する話者の話者アイコンを表示するものとしている。
【0074】
上記のように録音期間表示情報として話者ごとの発話期間の分布を示す情報を表示することで、面談中においてどの話者がどの期間にどれだけの長さ発話したかといった情報や、話者ごとの発言の多寡等の情報をユーザに容易に把握させることが可能となり、議事録作成においてどの話者の発言に着目すべきかをユーザに容易に把握させることができる。
また、録音期間表示情報について、発話期間の情報を話者ごとに異なる表示態様で表示することで、ユーザが話者ごとの発話期間を直感的に識別可能となるように図ることができ、ユーザが議事録作成の過程において特定の話者の特定の発話部分の録音データを確認したいとした場合に、該発話部分の探索容易性の向上を図ることができる。
【0075】
また、本実施形態の録音期間表示領域Apでは、商談工程期間情報Isを録音期間表示情報に関連づけて表示している。
ここで、商談工程期間情報Isとは、商談を所定の基準に従って工程分けした際の各商談工程の名称及び期間を示す情報である。
【0076】
本実施形態におけるサーバ装置20は、商談の録音データに基づき、商談内における商談工程の識別処理を行う。ここで言う商談工程とは、商談の進行段階の別であり、例えば「アイスブレイク(雑談部分)」「ニーズ分析」「提案・説明」「交渉」等の区分による情報を挙げることができる。
具体的に、サーバ装置20は、商談の録音データをテキスト化したテキストデータに基づき、商談工程の特定処理を行う。この特定処理は、テキストデータを学習用入力データとし、商談工程の正解データを教師データとして用いたディープラーニング等の機械学習を行って生成したAIモデルによって行うことが考えられる。或いは、商談工程ごとの頻出ワードを工程特定用のキーワードとして予め定めておき、該工程特定用のキーワードとマッチングを行った結果に基づき商談工程を特定する等のルールベース処理として実現することも考えられる。
【0077】
CPU1aは、このようなサーバ装置20による商談工程の特定処理の結果得られる商談工程ごとの期間情報(工程の開始時間と終了期間を示す情報)に基づいて、商談工程期間情報Isの表示処理を行う。図中では、商談工程として工程ST1からST5の5工程が識別された場合における商談工程期間情報Isの例を示している。
【0078】
上記のように録音期間表示情報に関連づけて商談工程期間情報Is、すなわち商談工程の時系列情報も表示することで、ユーザが議事録作成の過程において特定の話者の特定の発話部分の録音データを確認したいとした場合に、該発話部分の探索容易性の向上を図ることができる。
【0079】
なお、上記では録音期間表示情報について、録音期間をバー状に表す例を挙げたが、録音期間を円弧状等の他の形状により表すことも考えられる。
録音期間を円弧状に表す場合、再生位置指示操作子としては、シークバーSbのようなスライド移動を行う操作子ではなく、回転移動を行う操作子を用いることが考えられる。
【0080】
話者・グループ設定領域Ahは、話者ごとの氏名の設定、及び話者ごとのグループ設定を行うための領域である。
ここで言うグループ設定とは、営業担当者Hs(ユーザ)自身の側のグループである自分側グループと、営業担当者Hsの相手側(つまり顧客Hc側)のグループである相手側グループとの二つのグループに関して、話者ごとに何れのグループに属するかの設定を行 うことを意味する。
【0081】
話者・グループ設定領域Ahにおいて、グループ設定が未実行の状態では、図示のように各話者が相手側グループに属することを示す表示が行われている。なお、グループ設定が未実行の状態での表示態様はこれに限定されるものではなく、例えば各話者が自分側グループに属することを示す表示とする等、他の表示態様を採ることもできる。
【0082】
本例の編集画面Geにおいて、ユーザは、話者の氏名やグループの設定を行うとした場合は、話者設定指示ボタンB14を操作する。
すると、話者・グループ設定領域Ah上に、
図9に示すような話者設定及びグループ設定を行うための設定画面Gsが表示される。
図示のように設定画面Gsでは、話者の氏名を入力するための入力ボックスb6、自分側グループ/相手側グループを選択するための選択操作子、保存ボタンB20、及びキャンセルボタンB21が設けられる。
ここでは、話者Bについての設定画面Gsの例を示しているが、本例では、上述した話者設定指示ボタンB14の操作に応じては話者Aから順に設定画面Gsが表示され、ユーザは、話者Aから順に入力ボックスb6に対する氏名情報の入力、選択操作子s1の操作によるグループ設定、及び保存ボタンB20による保存操作を行っていくことで、各話者についての氏名入力、及びグループ設定を行うことができる。
なお、設定画面Gsにおいて、キャンセルボタンB21が操作された場合、CPU1aは、話者の氏名及びグループの設定操作の受け付けを終了し、例えば
図8の画面表示状態に戻す処理を行う。
【0083】
図10は、上記した設定画面Gsによって話者ごとの氏名及びグループの設定が行われた場合の話者・グループ設定領域Ahにおける表示情報の例を示している。
図示のように、話者ごとに、設定された氏名の情報が表示される。
また、先の
図8に示したように、話者・グループ設定領域Ahにおいて、話者ごとの氏名の設定前の段階では、話者アイコンとして話者IDを示すA、B、C等の情報が表示されていたが、氏名の設定後には、
図10に示すように話者アイコンには氏名の頭文字が表示される。
また、この場合の話者・グループ設定領域Ahでは、話者ごとのグループ設定に従って、相手側グループに設定された話者は相手側グループの領域内に表示され、自分側グループに設定された話者は自分側グループの領域内に表示される。
【0084】
ここで、本例では、話者・グループ設定領域Ahにおける話者ごとの氏名及びグループの設定を、発話テキスト表示領域Atにも反映させる。
具体的には、
図11に示す編集画面Geのように、発話テキスト表示領域Atにおける話者ごとの話者アイコンを、設定された氏名の頭文字を示す表記に変更する。
【0085】
さらに、発話テキスト表示領域Atにおいては、話者ごとのグループ設定に従って、自分側グループに属する話者の発話テキストデータを左右一方の端部側に寄せ、相手側グループに属する話者の発話テキストデータを左右他方の端部側に寄せるということを行う。具体的に本例では、自分側グループに属する話者の発話テキストデータは発話テキスト表示領域Atの右端部側に寄せ、相手側グループに属する話者の発話テキストデータは発話テキスト表示領域Atの左端部側に寄せるものとしている。
【0086】
これにより、発話テキスト表示領域Atに表示される面談テキストデータについて、自分側グループ、相手側グループの発言をユーザが直感的に識別可能となるように図ることができる。特に、本実施形態のように面談が商談である場合には、営業担当者Hsとしてのユーザが相手側グループとしての顧客Hc側の人物の発言をまとめて参照することが可能となり、利便性が高まる。
【0087】
また、本例では、話者・グループ設定領域Ahにおける話者ごとの氏名の設定情報を、録音期間表示領域Apの表示情報にも反映させるものとしている。
具体的には、話者ごとのバーにそれぞれ表示される話者アイコンの表記を、話者IDの表記から氏名の頭文字の表示に変更するものである。
【0088】
なお、
図9に示した入力ボックスb6に対する情報入力に関して、社員識別子を紐付けるようにすることも考えられる。
具体的には、入力ボックスb6に対し名称情報が入力された場合は、社員データベース等を検索してその名称に紐付く社員識別子(社員番号等)を特定し、特定した社員識別子と入力名称の情報を、録音データに対する話者情報として紐付けることが考えられる。或いは、その逆(名称ではなく社員識別子が入力された場合は、対応する名称情報を検索して該名称情報と社員識別子とを録音データに対する話者情報として紐付ける)ことも考えられる。
これにより、ユーザが議事録の作成後において録音データや議事録にアクセスする際に、名称と識別子の双方で検索をかけることができるようになるので、利便性が高まる。
【0089】
編集画面Geにおいて、解析実行ボタンB13は、前述した要約の作成等、面談の内容に係る解析処理の実行を指示するためのボタンである。具体的に本例では、前述した要約作成処理、要点一覧作成処理、及び質問回答特定処理の実行を指示するためのボタンである。
【0090】
本例では、これら要約作成処理、要点一覧作成処理、及び質問回答特定処理としての解析処理は、サーバ装置20において行うものとされる。従ってCPU1aは、解析実行ボタンB13が操作された場合には、該解析処理の実行指示をサーバ装置20に対して行う。
【0091】
CPU1aは、サーバ装置20による解析処理の結果得られる解析結果テキストデータを編集画面Ge上に表示させる。
【0092】
図12は、編集画面Geにおける解析結果テキストデータの表示例を示している。
編集画面Geにおいて、解析結果テキストデータは、解析結果表示領域Aaに表示する。図示のように本例における解析結果表示領域Aaは、画面の左右方向において、話者・グループ設定領域Ahとテキスト編集領域Aeとの間となる位置に配置している。
【0093】
解析結果表示領域Aaには、要約表示領域A1、要点一覧表示領域A2、質問回答表示領域A3が設けられると共に、コピーボタンB25、B26、B27が設けられる。
要約表示領域A1は、要約作成処理で作成された要約としてのテキストデータを表示する領域である。要点一覧表示領域A2は、要点一覧作成処理で作成された要点一覧のテキストデータ、すなわち、要点ごとのテキストデータを表示する領域である。
質問回答表示領域A3は、質問回答特定処理で特定された質問部分のテキストデータ、及び回答部分のテキストデータを表示する領域である。
【0094】
コピーボタンB25は、要約表示領域A1に表示されたテキストデータのテキスト編集領域Aeへのコピーを指示するためのボタンである。本例の要約表示領域A1では、テキストデータの範囲指定操作を行うことが可能とされており、ユーザは、要約表示領域A1においてコピー対象とするテキストデータの範囲を指定する操作を行った上で、コピーボタンB25を操作することで、該指定した範囲のテキストデータのテキスト編集領域Aeへのコピー指示を行うことができる。
【0095】
要点一覧表示領域A2においては、テキストデータを要点単位で選択可能とするためのチェックボックスcbが、要点ごとに設けられる。
また、要点一覧表示領域A2に対しては、コピーボタンB26が設けられている。
ユーザは、要点ごとのチェックボックスcbのうち任意のチェックボックスcbにチェックを入れた上でコピーボタンB26を操作することで、該チェックを入れたチェックボックスcbに対応する要点のテキストデータのテキスト編集領域Aeへのコピーを指示することができる。
【0096】
ここで、本例における要点一覧表示領域A2では、要点ごとのテキストデータを、元となる発話の時系列順に従った順序で配列させている。具体的に本例の要点一覧表示領域A2では、元なる発話がより古い要点ほど領域中のより上側にテキストデータが配置されるようにしている。
【0097】
質問回答表示領域A3では、質問部分を示すテキストデータと回答部分を示すテキストデータとが表示される
本例の質問回答表示領域A3では、質問部分を示すテキストデータと回答部分を示すテキストデータとを、元なる発話の時系列順に従った順序で配列させている。
【0098】
コピーボタンB27は、質問回答表示領域A3におけるテキストデータのテキスト編集領域Aeへのコピーを指示するためのボタンである。
質問回答表示領域A3では、コピー対象とする質問部分、回答部分のテキストデータを指定する操作を行うことが可能とされている。ユーザは、質問回答表示領域A3においてコピー対象とする質問部分、回答部分のテキストデータの範囲を指定する操作を行った上で、コピーボタンB27を操作することで、該指定したテキストデータのテキスト編集領域Aeへのコピー指示を行うことができる。
【0099】
本例の質問回答表示領域A3では、質問部分を示すテキストデータ及び回答部分を示すテキストデータを、自分側グループと相手側グループのうち何れのグループによる発言であるかの識別が可能となるように表示している。
具体的に本例では、自分側グループの質問部分、回答部分については、テキストデータを質問回答表示領域A3の右端部側に寄せて表示するものとし、相手側グループの質問部分、回答部分については、テイストデータを質問回答表示領域A3の左端部側に寄せて表示するもとしている。
これにより、議事録作成にあたりユーザが自分側や相手側の特定の質問や回答を把握したい場合に、該把握の容易性向上を図ることができる。
【0100】
ここで、解析結果表示領域Aaにおいては、要約表示領域A1、要点一覧表示領域A2、及び質問回答表示領域A3を設けているが、本実施形態における解析結果表示領域Aaでは、これらの表示領域に関して、要約表示領域A1を最も上手側に配置するようにしている。すなわち、CPU1aは、要約を示すテキストデータが最も上手側に配置されるように解析結果表示領域Aaの表示処理を行っているものである。
【0101】
ここで言う上手とは、発話テキスト表示領域At、解析結果表示領域Aa、テキスト編集領域Aeが画面の左右方向に配列される場合には画面の上側の方向を意味し、発話テキスト表示領域At、解析結果表示領域Aa、テキスト編集領域Aeが画面の上下方向に配列される場合には画面の左側の方向を意味するものである。
画面上に表示された情報は、画面の上手側から順に閲覧される傾向となる。このため、上記のように画面の最も上手側に「要約」が配置されることによっては、ユーザに、「要約」の内容を確認させてから「要点一覧」や「質問と回答」を参照させるようにすることが可能となる。つまりは、「要約」において面談の全体概要を把握させた上で、「要点一覧」や「質問と回答」を参照させることが可能となるものであり、その結果、ユーザが「要点一覧」や「質問と回答」の内容を把握し易くなるように図ることが可能となる。
従って、ユーザが面談の内容把握に要する時間の短縮化を図ることができ、議事録作成の効率向上を図ることができる。
【0102】
なお、解析結果表示領域Aaにおいて、要約表示領域A1、要点一覧表示領域A2、質問回答表示領域A3の配列順は、ユーザ操作に基づいて変更可能とする(ユーザによりカスタマイズ可能とする)ことも考えられる。
一方で、編集画面Geにおいて、発話テキスト表示領域At、解析結果表示領域Aa、テキスト編集領域Aeの配列順については、ユーザによるカスタマイズが不能となるようにすることも考えられる。
【0103】
続いて、テキスト編集領域Aeについて説明する。
テキスト編集領域Aeは、解析結果表示領域Aaにおける解析結果テキストデータの転写が可能とされると共に、転写された解析結果テキストデータの編集が可能とされた領域である。
ユーザは、このテキスト編集領域Aeを使用して面談の議事録作成を行うことができる。議事録の構成文章に解析結果表示領域Aaにおける要点一覧や要約等としての解析結果テキストデータをコピーして用いることができるので、議事録作成のための文章入力を一から行う必要がなくなり、議事録作成の効率向上を図ることができる。
【0104】
本実施形態におけるテキスト編集領域Aeでは、転写された解析結果テキストデータが修正された場合は、修正されたテキスト部分を未修正のテキスト部分とは異なる表示態様で表示する。図示は省略するが、テキスト編集領域Aeにおいて、解析結果表示領域Aaからコピーされた解析結果テキストデータがユーザ操作により修正された場合には、例えば、修正されたテキスト部分を未修正のテキスト部分とは異なる色で表示する。或いは、修正されたテキスト部分のみを太字にしたり下線を付したりする等も考えられる。
【0105】
また、本実施形態では、テキスト編集領域Aeにおいて、転写された解析結果テキストデータが修正された場合には、CPU1aは、修正前のテキストデータと修正後のテキストデータとを対応づけてメモリ装置に記録させる処理を行う。
修正前/後のテキストデータは、情報処理装置1の記憶部19等、情報処理装置1内のメモリ装置に記録させる。或いは、修正前/後のテキストデータは、サーバ装置20の記憶部19等の情報処理装置1の外部装置におけるメモリ装置に記録させることも考えられる。
【0106】
ここで、テキスト編集領域Aeにおける修正前/後のテキストデータは、議事録作成者の育成のために用いることができる。具体的には、例えば、議事録の作成技術に長けたハイパフォーマーとしての作成者による修正前/後のテキストデータを、議事録の作成に不慣れなローパフォーマーとしての作成者に参照させることで、議事録作成に係るスキルの学習を行わせることが可能となり、ローパフォーマーとしての作成者の育成に貢献することができる。特に、面談が商談である場合には、ハイパフォーマーとしての営業担当者のスキルをローパフォーマーに学習させることが可能なり、営業担当者のスキル向上に貢献できる。
また、上記のような修正前/後のテキストデータは、面談の録音データから解析結果テキストデータを得るための解析処理の改善や機能向上のために用いることもできる。具体的に、例えば、解析処理をAIモデルにより行う場合には、これら修正前/後のテキストデータを機械学習における学習用データとして用いることで解析処理の改善や機能向上を図ることができる。或いは、解析処理をルールベース処理で行う場合であっても、修正前/後のテキストデータを解析処理のアップデート作業において参照することができるため、解析処理の改善や機能向上に貢献できる。
【0107】
なお、上記のような修正前/後のテキストデータを保存することのメリットについては下記のようなメリットも考えられる。
例えば、要約の一部文章として「ゴルフが好き」の文字列に対し、或る営業担当者Hs1は議事録上で「『xx社長は』ゴルフが好き」との修正を行い、一方で、別の営業担当者Hs2が同要約の文章に対し「ゴルフが好き」の文章自体を削除する修正を行った場合において、過去の商談実績等から営業担当者Hs1がハイパフォーマーであり、営業担当者Hs2がローパフォーマーであると認識されたとする。
また、AIとして、議事録の自動作成を行うAIを想定する。
この場合において、修正前/後のテキストデータを保存することにより、営業担当者Hs1の修正傾向(顧客の趣味は必ず議事録に残す、且つ誰の趣味であるのかが分かるように主語を追記する)をAIが学習することが可能となる。具体的には、AIが、顧客の趣味についてはその人物も含めて議事録に掲載するという機能を獲得できるように図ることができる。
【0108】
編集画面Geにおいては、テキスト編集領域Aeに関する操作子として、出力ボタンB15、クリップボードコピーボタンB16が設けられている。
出力ボタンB15は、テキスト編集領域Aeにおいて作成された文章(議事録としての文章)を例えばWord等の所定のファイル形式で出力することを指示するためのボタンである。
クリップボードコピーボタンB16は、テキスト編集領域Aeにおいて作成された文章をクリップボードにコピーすることを指示するためのボタンである。
これら出力ボタンB15、クリップボードコピーボタンB16が設けられることで、ユーザは、作成した議事録としてのテキストデータを所定のファイル形式で情報処理装置1に保存することが可能とされる。
【0109】
また、本例の編集画面Geにおいては、テキスト編集領域Aeに関する操作子として、アップロードボタンB17及び投稿ボタンB18も設けられている。
アップロードボタンB17は、テキスト編集領域Aeにおいて作成された文章を所定の営業情報管理サービス(例えば、Salesforce:登録商標)におけるクラウドサーバにアップロードすることを指示するためのボタンである。例えば、アップロードボタンB17が操作されるとダイアログが表示され、ユーザが該ダイアログ上で自身の会社名を指定してアップロードの実行指示操作を行うと、テキスト編集領域Aeで作成された文章が上記のクラウドサーバにアップロードされる。
【0110】
投稿ボタンB18は、テキスト編集領域Aeにおいて作成された文章を所定の営業コミュニケーションサービス(例えば、Slack:登録商標)における共有情報として投稿することを指示するためのボタンである。例えば、投稿ボタンB18が操作されるとダイアログが表示され、ユーザが該ダイアログ上で情報共有に係るチャンネルを指定して投稿の実行指示操作を行うと、テキスト編集領域Aeで作成された文章が上記の営業コミュニケーションサービスにおける指定のチャンネルの共有情報として投稿される。
【0111】
なお、本例の編集画面Geでは、テキスト編集領域Aeへのコピー指示を行うための操作子として、コピーボタンB10、及びコピーボタンB11も設けられている。
コピーボタンB10は、発話テキスト表示領域Atのテキストデータをテキスト編集領域Aeにコピーすることを指示するためのボタンである。コピーボタンB11は、話者・グループ設定領域Ahで設定された話者の氏名情報やグループ設定情報をテキスト編集領域Aeにコピーすることを指示するためのボタンである。
これらのコピーボタンを設けることで、議事録作成のさらなる効率向上を図ることができる。
【0112】
ここで、本実施形態における編集画面Geでは、話者・グループ設定領域Ahにおいて、設定済みのグループ情報を変更することが可能とされている。
具体的には、例えば
図13に例示するように、話者・グループ設定領域Ahにおいてグループ設定を変更したい話者の表示部分をドラッグする操作を行うことで、設定済みのグループ情報の変更を行うことが可能とされる。図示の例では、自分側グループに属していた話者が相手側グループに属するものとなるように、該話者のグループ設定を変更した例を示している。
【0113】
本実施形態では、上記のようなグループ設定の変更が行われた場合には、変更後のグループ設定情報に従って、発話テキスト表示領域Atにおける発話テキストデータの表示位置を変化させる。具体的には、変更後のグループ設定情報に従って、グループ設定が変更された話者についての発話テキストデータの左端部寄せ/右端部寄せの切り替えを行うものである(
図13から
図14への遷移を参照)。
【0114】
なお、図示は省略したが、グループ設定が変更された場合は、解析結果表示領域Aaの質問回答表示領域A3についても同様に左端部寄せ/右端部寄せの切り替えを行うことが考えられる。
【0115】
また、本実施形態の編集画面Geにおいては、発話テキスト表示領域Atを対象としたキーワード検索機能、及びテキスト一括置換機能が与えられている。
図15及び
図16を参照し、この点について説明する。
図15は、入力ボックスb5をクリックした状態を例示している。
入力ボックスb5をクリックすると入力ボックスb5内にカーソルCRが表示されると共に、入力ボックスb5の下方に検索ボタンB30及び置換ボタンB31が表示される。
キーワード検索を行いたい場合、ユーザは、入力ボックスb2にキーワード入力を行った上で検索ボタンB30を操作する。この操作に応じて、発話テキスト表示領域Atを対象としたキーワード検索が行われる。図示は省略するが、キーワード検索実行後の発話テキスト表示領域Atにおいては、キーワード部分が強調表示される。ここでの強調表示としては、例えば異なる色で表示する、太字とする、下線を付す、所定色で塗りつぶす等の態様が考えられる。
【0116】
一括置換を行いたい場合、ユーザは、置換ボタンB31を操作する。
すると、例えば
図16に例示するように、置換ボタンB31の下方に置換操作ウィンドウWcが表示される。この置換操作ウィンドウWcには、検索対象の文字列である検索文字列を入力するための入力ボックスb7と、置換後文字列を入力するための入力ボックスb8と、一括置換の実行指示を行うための実行ボタンB32とが設けられる。ユーザは、入力ボックスb7に検索文字列を、入力ボックスb8に置換後文字列をそれぞれ入力した上で、実行ボタンB32を操作することで、発話テキスト表示領域Atにおける検索文字列と一致する全ての文字列を置換後文字列に置換する一括置換の実行指示を行うことができる。
【0117】
なお、ここではキーワード検索や一括置換の対象範囲を発話テキスト表示領域At内に限る例を挙げたが、キーワード検索や一括置換の対象範囲は、例えば解析結果表示領域Aa等、発話テキスト表示領域At以外の表示領域を含むものであってもよい。或いは、キーワード検索や一括置換の対象範囲は、発話テキスト表示領域At以外の表示領域とすることも考えられる。
【0118】
ここで、前述のように、解析結果表示領域Aaの要点一覧表示領域A2においては、要点のテキストデータを、元なる発話の時系列順に従った順序で配列させているが、本実施形態において、テキスト編集領域Aeでは、要点一覧表示領域A2から転写された要点のテキストデータを、転写が行われた順で配列させるものとしている。
【0119】
具体例を
図17から
図20を参照して説明する。なお、これら
図17から
図20では図示の都合から、編集画面Geのうち主に解析結果表示領域Aaとテキスト編集領域Aeのみを抽出して示している。
図17では、要点一覧表示領域A2における3番目の要点のテキストデータがコピー対象として選択された状態を示している。この状態でコピーボタンB26が操作されると、
図18に示すように、選択された3番目の要点のテキストデータがテキスト編集領域Aeにコピーされる。
【0120】
次いで、
図19に示すように、要点一覧表示領域A2において1番目の要点のテキストデータがコピー対象として選択されたとする。
この状態でコピーボタンB26が操作されると、
図20に示すように、選択された1番目の要点のテキストデータがテキスト編集領域Aeにコピーされる。このとき、図示のようにコピーされた1番目の要点のテキストデータは、3番目の要点のテキストデータよりも下側に配列される。
【0121】
議事録は、面談における発話の時系列順に従って面談内容を整理するものとは限らず、ユーザが発話の内容を適宜な順序で整理することで作成されるものである。このため、テキスト編集領域Aeにおいて、仮に、転写された要点のテキストデータを元となる発話の時系列順に従って配列してしまうと、ユーザに要点のテキストデータの不要な順序入れ替え操作を強いる可能性があり、議事録作成の効率低下を招く虞がある。
上記のようにテキスト編集領域Aeにおいて要点のテキストデータを転写が行われた順で配列させれば、そのような不要な順序入れ替え操作が行われることの防止を図ることが可能となり、議事録作成の効率向上を図ることができる。
【0122】
また、本実施形態における編集画面Geでは、各表示領域のサイズ変更が可能とされている。
図21では、発話テキスト表示領域Atの横方向のサイズ変更、要点一覧表示領域A2の縦方向のサイズ変更について模式的に表している。
例えば、表示領域の端部をドラッグする操作に応じて表示領域のサイズ変更を行うことが考えられる。或いは、表示領域ごとにサイズ変更を指示するためのボタンを配置しておき、該ボタンの操作に応じて表示領域のサイズ変更を行うこと等も考えられる。
【0123】
<4.機能構成例>
図22から
図24を参照し、上記により説明した実施形態としての情報処理手法を実現するための機能構成について説明する。
図22は、情報処理装置1のCPU1aが有する実施形態としての各種機能についての説明図である。
図示のようにCPU1aは、面談録音部F11、表示処理部F12、及び記録処理部F13としての機能を有する。
【0124】
面談録音部F11は、面談の録音を行う機能であり、本例では、前述した録音ソフトとしてのソフトウェアプログラムにより実現される機能となる。
【0125】
表示処理部F12は、先の
図12に示した編集画面Geのように、発話テキスト表示領域Atと解析結果表示領域Aaとテキスト編集領域Aeとを含む編集画面Geを表示させる処理を行う。
【0126】
本例において、表示処理部F12は、録音期間表示領域Apにおける録音期間表示情報として、面談中における話者ごとの発話期間の分布を示す情報を表示させる処理を行う。
また、表示処理部F12は、編集画面Geにおいて、録音データの再生位置を指示するための再生位置指示操作子(シークバーSb)を録音期間表示情報に関連づけて表示させる処理を行う。
さらに、表示処理部F12は、録音期間表示領域Apにおいて、商談工程期間情報を録音期間表示情報に関連づけて表示させる処理を行う。
また、表示処理部F12は、録音期間表示情報における発話期間の情報を話者ごとに異なる表示態様で表示させる処理を行う。
【0127】
また、表示処理部F12は、話者・グループ設定領域Ahにおいてグループ設定操作(グループ属性設定操作)が行われたことに応じて、発話テキスト表示領域Atに表示するテキストデータについて、自分側グループに属する話者の発話テキストデータを発話テキスト表示領域Atの一方の端部側に寄せ、相手側グループに属する話者の発話テキストデータを発話テキスト表示領域Atの他方の端部側に寄せる処理を行う。
【0128】
さらに、表示処理部F12は、解析結果表示領域Aaにおいて、要約を示すテキストデータ、要点一覧を示すテキストデータ、質問部分及び前記回答部分を示すテキストデータのうち、要約を示すテキストデータが最も上手側に配置されるように解析結果表示領域Aaの表示処理を行う。
【0129】
また、表示処理部F12は、解析結果表示領域Aaの質問回答表示領域A3において、質問部分を示すテキストデータ及び回答部分を示すテキストデータを、自分側グループと相手側グループのうち何れのグループによる発言であるかの識別が可能に表示させる処理を行う。
【0130】
さらに、表示処理部F12は、要点一覧表示領域A2において、各要点のテキストデータを、元となる発話の時系列順に従った順序で配列させ、テキスト編集領域Aeに転写された要点のテキストデータについては、転写が行われた順で配列させる。
【0131】
また、表示処理部F12は、テキスト編集領域Aeにおいて、転写された解析結果テキストデータが修正された場合は、修正されたテキスト部分を未修正のテキスト部分とは異なる表示態様で表示させる処理を行う。
【0132】
また、本例における表示処理部F12は、議事録エディタの立ち上げ時において、先の
図6で説明したように解析処理の利用可能時間と利用可能残数とを表示する処理を行う。このとき、解析処理の実行可能条件を満たさないと判定した場合、
図7に示したようにエラー画面Gbの表示処理を行う。
【0133】
また、本例における表示処理部F12は、
図15及び
図16で説明したキーワード検索及び一括置換に係る処理も行う。
さらに、本例における表示処理部F12は、編集画面GeにおいてアップロードボタンB17、及び投稿ボタンB18を表示させる処理を行う。
【0134】
また、本例における表示処理部F12は、話者・グループ設定領域Ahにおいてグループ設定を変更する操作が行われた場合に、先の
図13及び
図14で説明したように発話テキスト表示領域At(及び質問回答表示領域A3)におけるテキストデータの左寄せ/右寄せを変更後のグループ設定情報に基づき変更する処理を行う。
【0135】
記録処理部F13は、テキスト編集領域Aeにおいて、転写された解析結果テキストデータが修正された場合に、修正前のテキストデータと修正後のテキストデータとを対応づけてメモリ装置に記録させる処理を行う。
【0136】
図23は、サーバ装置20が有する実施形態としての各種機能についての説明図であり、
図23Aは、サーバ装置20におけるCPU20aが有する機能を、
図23Bはサーバ装置20における解析部20bが有する機能をそれぞれ示している。
【0137】
図23Aにおいて、CPU20aは、録音データ記録部F21としての機能を有する。
録音データ記録部F21は、情報処理装置1から送信される面談の録音データを記憶部19等の所定のメモリ装置に記録させる処理を行う。
【0138】
ここで、前述のように本実施形態におけるサーバ装置20は、面談の録音データをテキスト化する機能を有するが、本例において、このテキスト化機能は、CPU20aが有する機能であるとする。
また、本実施形態におけるサーバ装置20は、発話部分を前述したブロック単位で分割して管理する機能を有するが、該機能もCPU20aが有する機能であるとする。
さらに、本実施形態におけるサーバ装置20は、前述した話者分離処理を行うが、該話者分離処理もCPU20aが行うものであるとする。
【0139】
図23Bにおいて、解析部20bは、要約作成処理部F22、要点一覧作成処理部F23、及び質問回答特定処理部F24としての機能を有する。
要約作成処理部F22は、面談の録音データのテキスト化データに基づき、面談の要約の作成処理である要約作成処理を行う。
要点一覧作成処理部F23は、面談の録音データのテキスト化データに基づき、面談の要点一覧の作成処理である要点一覧作成処理を行う。
質問回答特定処理部F24は、面談の録音データのテキスト化データに基づき、面談における質問部分と回答部分との特定処理である質問回答特定処理を行う。
【0140】
ここで、要約作成処理、要点一覧作成処理、質問回答特定処理については、それぞれ、AIモデルを用いた処理として実現することが考えられる。例えば、要約作成処理については、テキストデータを入力データとし要約文を出力データとして得ることができるようにディープラーニング等で機械学習されたAIモデルを用いることが考えられる。要点一覧作成処理、質問回答特定処理についても同様に、テキストデータを入力データとし要点一覧、質問部分と回答部分とを出力データとして得ることができるようにディープラーニング等で機械学習されたAIモデルを用いることが考えられる。
【0141】
或いは、要約作成処理、要点一覧作成処理、質問回答特定処理は、ルールベース処理として実現することも考えられる。
例えば、要約作成処理については、話し言葉における余分な文章部を特定し、該余分な文章部を削除するという処理手法で実現することが考えられる。また、要点一覧作成処理については、要約作成処理で作成された要約文を例えば句点ごとに区切る等、要約文を所定ルールに従って区分し、区分された各文章を要点として特定する等の処理手法とすること等が考えられる。また、質問回答特定処理については、例えば、質問部分では語尾が上がるとの前提を下に、録音データに基づき、発話における質問部分を特定する処理を行うと共に、質問部分の次に存在する発話部分を回答部分として特定する等の処理手法により実現することが考えられる。
【0142】
また、本実施形態において、サーバ装置20は、前述した商談工程を特定する処理(商談工程特定処理)も行うが、この商談工程特定処理は、本例では、解析部20bが行うものとされる。
前述のように、この商談工程特定処理は、商談のテキスト化データを学習用入力データとし、商談工程の正解データを教師データとして用いたディープラーニング等の機械学習を行って生成したAIモデルによって行うことが考えられる。或いは、商談工程ごとの頻出ワードを工程特定用のキーワードとして予め定めておき、該工程特定用のキーワードとのマッチングを行った結果に基づき商談工程を特定する等のルールベース処理として実現することも考えられる。
【0143】
<5.処理手順>
図24から
図27のフローチャートを参照し、実施形態としての情報処理手法を実現するために実行すべき具体的な処理手順の例を説明する。
本例において、
図24から
図27に示す処理は、情報処理装置1におけるCPU1aが例えばROM2や記憶部19に記憶されたプログラムに基づき実行する。
なお、先に説明したように実施形態としての処理についてはSaaS型の形態により実現することも考えられ、その場合には、これら
図24から
図27に示す処理は、サーバ装置20において実行される。
【0144】
図24は、議事録エディタの立ち上げ時に対応した処理のフローチャートである。
ステップS101でCPU1aは、議事録作成操作が行われるまで待機する。すなわち、先の
図5に示した議事録作成ボタンB3が操作されるまで待機する。
【0145】
ステップS101において、議事録作成ボタンB3が操作され、議事録作成操作が行われたと判定した場合、CPU1aはステップS102に進み、期限及び回数条件を満たしているか否かを判定する。前述のようにCPU1aは、議事録作成ボタンB3が操作された場合は、議事録エディタを立ち上げる処理を実行し、サーバ装置20に対し、解析処理の利用可能回数及び利用可能期間に係る問合せを企業IDを指定して行う。これに応じサーバ装置20は、情報処理装置1から指定された企業IDの情報に基づき、該企業IDに対応づけて管理されている解析処理の利用可能回数、利用回数、及び利用可能期間の情報を参照し、これらの情報に基づいて解析処理の実行可能条件、すなわち、当該企業の解析処理の利用回数が利用可能回数以下であるという回数条件と、現在日時が解析処理の利用可能期間内の日時であるという期限条件との双方について、条件を満たしているか否かを判定する。
ステップS102の処理では、CPU1aは、サーバ装置20より回数条件を満たすか否かの判定結果、及び期限条件を満たすか否かの判定結果を取得し、期限及び回数条件を満たしているか否かを判定する。
【0146】
ステップS102において、期限及び回数条件を満たしていると判定した場合、CPU1aはステップS103に進んで期限及び回数情報の表示処理を行う。具体的には、サーバ装置20より利用可能期間の情報と利用可能回数及び利用回数の情報を取得し、これらの情報に基づき、先の
図6に示したような利用可能時間と要約残回数の情報を含む確認画面Gaを表示部7に表示させる処理を行う。
【0147】
一方、ステップS102において、期限及び回数条件を満たしてはいない(期限条件、回数条件の少なくとも一方を満たしていない)と判定した場合、CPU1aはステップS105に進んでエラー画面Gbの表示処理を行う。すなわち、先の
図7で例示したように解析処理の利用可能条件を満たしていない旨のメッセージ情報を含むエラー画面Gbを表示部7に表示させる処理を行う。
【0148】
CPU1aは、ステップS103で期限及び回数情報の表示処理を行った場合は、続くステップS104で、編集画面Geの表示処理を行う。すなわち、先の
図8に示したように、発話テキスト表示領域At、話者・グループ設定領域Ah、テキスト編集領域Ae、及び録音期間表示領域Apを含む編集画面Ge(話者・グループ設定や解析処理の実行前の編集画面Ge)を表示部7に表示させる処理を行う。
このとき、CPU1aは、録音期間表示領域Apにおける録音期間表示情報として、話者ごとの発話区間の分布を示す情報を表示させる処理を行う。また、CPU1aは、録音期間表示情報において、話者ごとの発話期間を異なる表示態様で表示させる処理を行う。さらにCPU1aは、録音期間表示情報にシークバーSbを関連づけて表示させる処理を行う。またCPU1aは、録音期間表示情報に対して商談工程期間情報Isを関連づけて表示させる処理を行う。
また、CPU1aは、編集画面Geにおいて、アップロードボタンB17及び投稿ボタンB18を表示させる処理を行う。
【0149】
CPU1aは、ステップS104の表示処理を行った場合、ステップS105の表示処理を行った場合のそれぞれにおいて、
図24に示す一連の処理を終える。
【0150】
図25は、グループ設定に係る処理のフローチャートである。
この
図25に示す処理が実行されるにあたっては、既に、先のステップS104で編集画面Geの表示処理が実行された状態にあるとする。なお、この点は、後述する
図26の処理についても同様であるとする。
【0151】
ステップS201でCPU1aは、グループ設定操作が行われるまで待機する。すなわち、先の
図9及び
図10で説明したような話者・グループ設定領域Ahにおけるグループ設定操作が行われるまで待機する。
【0152】
ステップS201において、グループ設定操作が行われたと判定した場合、CPU1aはステップS202に進んで話者ごとのグループ設定情報に応じたテキスト表示領域のテキスト端寄せ処理を実行する。具体的には、発話テキスト表示領域Atにおいて、自分側グループに設定された話者の発話テキストデータを領域右端部側に寄せ、相手側グループに設定された話者の発話テキストデータを領域左端部側に寄せる処理を行う。
【0153】
CPU1aは、ステップS202の処理を実行したことに応じて
図25に示す一連の処理を終える。
【0154】
図26は、解析処理実行時に対応した処理のフローチャートである。
ステップS301でCPU1aは、解析実行指示が行われるまで待機する。すなわち、前述した解析実行ボタンB13が操作されるまで待機する。
【0155】
解析実行ボタンB13が操作され、解析実行指示が行われたと判定した場合、CPU1aはステップS302に進み、解析結果の表示処理を行う。すなわち、先の
図12に示したように、解析結果表示領域Aaを含む編集画面Geを表示部7に表示させる処理を行う。
ここで、解析実行指示が行われた場合、CPU1aはサーバ装置20に対して解析処理の実行を指示すると共に、該解析処理の結果得られる解析結果テキストデータをサーバ装置20より取得する。具体的に本例では、要約、要点一覧、質問と回答の各テキストデータを取得する。CPU1aは、このように取得した各項目のテキストデータを編集画面Geにおける解析結果表示領域Aaに表示させる処理を行う。
【0156】
このとき、CPU1aは、解析結果表示領域Aaにおいて、要約表示領域A1が最も上手側(本例では上側)に配置されるようにステップS302の表示処理を行う。またCPU1aは、質問回答表示領域A3において、質問部分を示すテキストデータ及び回答部分を示すテキストデータを、自分側グループと相手側グループのうち何れのグループによる発言であるかの識別が可能に表示させる処理を行う。
またCPU1aは、要点一覧表示領域A2において、要点のテキストデータが元となる発話の時系列順に従った順序で配列されるように処理する。
【0157】
CPU1aは、ステップS302の処理を実行したことに応じて
図26に示す一連の処理を終える。
【0158】
図27は、テキスト編集領域Aeを用いた議事録作成に係る処理のフローチャートである。
なお、
図27に示す処理が実行されるにあたっては、既に、解析処理が実行されて先のステップS302で解析結果表示領域Aaを含む編集画面Geの表示が行われた状態にあるとする。
【0159】
ステップS401でCPU1aは、転写操作が行われるまで待機する。すなわち、解析結果表示領域Aaにおける解析結果テキストデータについて、コピーボタンB25、B26、又はB27を用いたコピー操作が行われるまで待機する。
【0160】
ステップS401において、転写操作が行われたと判定した場合、CPU1aはステップS402に進んで操作に応じた転写処理を行う。すなわち、転写操作で指示された解析結果テキストデータをテキスト編集領域Aeにコピーする処理である。
このとき、CPU1aは、転写が指示された解析結果テキストデータが要点一覧における要点のテキストデータである場合には、テキスト編集領域Aeにおいて、要点のテキストデータがコピー順に配列されるように処理する。
【0161】
ステップS402に続くステップS403でCPU1aは、転写テキストについての修正操作が行われるまで待機する。すなわち、テキスト編集領域Aeにおいて、コピーされたテキストデータに対する修正操作が行われるまで待機する。
【0162】
ステップS403において、転写テキストについての修正操作が行われたと判定した場合、CPU1aはステップS404に進み、修正対応表示処理を行う。具体的に本例では、修正されたテキスト部分を未修正のテキスト部分とは異なる表示態様で表示させる処理を行う。
【0163】
ステップS404に続くステップS405でCPU1aは、修正前/後テキストの記録処理を行う。すなわち、修正前のテキストデータと修正後のテキストデータとを対応づけて記憶部19等の所定のメモリ装置に記録させる処理を行う。
なお、前述のように修正前/後のテキストデータは、サーバ装置20の記憶部19等の情報処理装置1の外部装置におけるメモリ装置に記録させることも考えられる。
【0164】
CPU1aは、ステップS405の処理を実行したことに応じて
図27に示す一連の処理を終える。
【0165】
なお、ステップS405の記録処理について、修正前/後のテキストのみでなく、「要約」「要点一覧」「質問と回答」の何れの項目のコピー部分であるかの情報や、コピー部分に係る商談工程の情報も対応づけて記録することが考えられる。
【0166】
<6.変形例>
なお、実施形態としては上記により説明した具体例に限定されるものでなく、多様な変形例としての構成を採り得る。
例えば、上記では、面談が商談である場合を例示したが、本発明の技術を適用できる面談としては、商談をはじめ、医療、カウンセリング、講義、講演、教育、エンタテイメントにおける面談など、人と人がコミュニケーションを図る各種の機会を含む。
【0167】
また、上記では、面談が対面により行われる場合を例示したが、本発明の技術は、面談がオンライン面談として行われる場合にも好適に適用できる。
図28では、営業担当者Hsが使用する情報処理装置1と、顧客Hcが使用するPC等の情報処理装置30との間でオンライン面談が行われる場合を例示している。ここで、オンライン面談は、情報処理装置1と情報処理装置30との間で少なくとも音声をやりとりすることで実現することができる。もちろん、カメラを設けて、映像付きのオンライン面談の形式とすることもできる。
面談に係る情報として、録音データのみでなく映像データを用いることで、解析処理において話者の身振りや手振り等に基づく解析を行うことが可能となり、解析性能の向上を図ることができる。
【0168】
図28では、点線矢印により面談参加者の音声の伝達経路を示しているが、営業担当者Hsの音声は情報処理装置1のマイクにより収音され、顧客Hcの音声は情報処理装置30のマイクで収音された後、ネットワークNTを経由して情報処理装置1に入力される。
この場合の情報処理装置1は、面談の録音として、自身側のマイクで収音された音声データのみでなく情報処理装置30側から取得された音声データの録音を行う。そして、情報処理装置1は、録音データを、図中の実線矢印で示すようにサーバ装置20に記録させる。
このように録音データがサーバ装置20に記録された以降におけるサーバ装置20、情報処理装置1の処理は、対面による面談を行った場合と同様となることから重複説明は避ける。
【0169】
また、上記では、録音データに基づく面談の内容の解析処理を行う装置(サーバ装置20)と、編集画面Geの表示処理を行う装置(情報処理装置1)とが別の装置とされた場合を例示したが、これら解析処理と編集画面Geの表示処理とを同一の情報処理装置で行う構成とすることも考えられる。
例えば、編集画面Geの機能がWEBアプリとして情報処理装置1に提供される場合には、編集画面Geの表示処理(編集画面Geを情報処理装置1の表示部7に表示させる処理)をサーバ装置20側で行うことになるため、サーバ装置20が解析処理と編集画面Geの表示処理とを行う構成となる。
【0170】
<7.実施形態のまとめ>
以上で説明したように実施形態としての情報処理装置(同1、又はサーバ装置20)は、面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域(発話テキスト表示領域At)と、面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域(同Aa)と、解析結果テキストデータの転写が可能とされると共に転写された解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域(同Ae)と、を含む編集画面(同Ge)を表示させる処理を行う表示処理部(同F12)を備えたものである。
上記構成によれば、テキスト表示領域と解析結果表示領域のみでなく、テキスト編集領域を含む編集画面が表示されるので、分析結果テキストデータを用いた議事録の作成にあたり、別途の編集画面を開く必要をなくすことが可能となる。
従って、本実施形態によれば、面談についての議事録作成に要するユーザの手間の削減を図ることができ、議事録作成の容易性向上を図ることができる。
特に、面談が商談である場合には、議事録作成の容易性向上が図られることで、商談活動の効率化が図られ、成約率の向上に寄与することができる。
【0171】
また、実施形態としての情報処理装置においては、編集画面においては、面談の録音期間を図形化して表す録音期間表示情報を表示する録音期間表示領域が設けられ、表示処理部は、録音期間表示情報として、面談中における話者ごとの発話期間の分布を示す情報を表示させる処理を行っている。
これにより、面談中においてどの話者がどの期間にどれだけの長さ発話したかといった情報や、話者ごとの発言の多寡等の情報をユーザに容易に把握させることが可能となる。
従って、議事録作成においてどの話者の発言に着目すべきかをユーザに容易に把握させることができ、議事録作成の効率向上を図ることができる。
【0172】
さらに、実施形態としての情報処理装置においては、表示処理部は、編集画面において、録音データの再生位置を指示するための再生位置指示操作子を録音期間表示情報に関連づけて表示させる処理を行っている。
この場合、ユーザは、再生位置指示操作子の操作により、録音期間表示情報が示す話者ごとの発話区間の情報を参照しながら、録音データの再生位置を指示することが可能となる。
従って、ユーザが議事録作成の過程において特定の話者の特定の発話部分の録音データを確認したいとした場合に、該発話部分の探索容易性の向上を図ることができ、議事録作成の効率向上を図ることができる。
【0173】
さらにまた、実施形態としての情報処理装置においては、面談は商談であり、表示処理部は、商談を所定の基準に従って工程分けした際の各商談工程の名称及び期間を示す情報である商談工程期間情報を編集画面において録音期間表示情報に関連づけて表示させる処理を行っている。
録音期間表示情報に関連づけて商談工程の時系列情報も表示することで、ユーザが議事録作成の過程において特定の話者の特定の発話部分の録音データを確認したいとした場合に、該発話部分の探索容易性のさらなる向上を図ることができる。
従って、議事録作成のさらなる効率向上を図ることができる。
【0174】
また、実施形態としての情報処理装置においては、表示処理部は、発話期間の情報を話者ごとに異なる表示態様で表示させる処理を行っている。
これにより、話者ごとの発話期間を例えば異なる色で表示したり異なる模様で表示したりする等といったことが可能となり、ユーザが話者ごとの発話期間を直感的に識別可能となるように図ることができる。
従って、ユーザが議事録作成の過程において特定の話者の特定の発話部分の録音データを確認したいとした場合に、該発話部分の探索容易性のさらなる向上が図られ、議事録作成のさらなる効率向上を図ることができる。
【0175】
さらに、実施形態としての情報処理装置においては、編集画面においては、面談における話者ごとに、ユーザ自身の側のグループである自分側グループとユーザの相手側のグループである相手側グループの何れに属するかについての設定操作であるグループ属性設定操作を受け付け可能とされており、表示処理部は、グループ属性設定操作が行われたことに応じて、テキスト表示領域に表示する面談テキストデータについて、自分側グループに属する話者の発話テキストデータをテキスト表示領域の一方の端部側に寄せ、相手側グループに属する話者の発話テキストデータをテキスト表示領域の他方の端部側に寄せる処理を行っている。
これにより、テキスト表示領域に表示される面談テキストデータについて、自分側グループ、相手側グループの発言をユーザが直感的に識別可能となるように図ることができる。特に、面談が商談である場合には、営業担当者としてのユーザが相手側グループとしての顧客側の人物の発言をまとめて参照することが可能となり、利便性が高まる。
【0176】
さらにまた、実施形態としての情報処理装置においては、面談の内容に係る解析の処理として、面談の要約の作成処理である要約作成処理、面談の要点一覧の作成処理である要点一覧作成処理、及び面談における質問部分と回答部分との特定処理である質問回答特定処理が行われ、表示処理部は、解析結果表示領域において、要約作成処理で作成された要約を示すテキストデータ、要点一覧作成処理で作成された要点一覧を示すテキストデータ、質問回答特定処理で特定された質問部分及び回答部分を示すテキストデータのうち、要約を示すテキストデータが最も上手側に配置されるように解析結果表示領域の表示処理を行っている。
ここで言う上手とは、テキスト表示領域、解析結果表示領域、テキスト編集領域が画面の左右方向に配列される場合には画面の上側の方向を意味し、テキスト表示領域、解析結果表示領域、テキスト編集領域が画面の上下方向に配列される場合には画面の左側の方向を意味するものである。
画面上に表示された情報は、画面の上手側から順に閲覧される傾向となる。このため、上記のように画面の最も上手側に「要約」が配置されることによっては、ユーザに、「要約」の内容を確認させてから「要点一覧」や「質問と回答」を参照させるようにすることが可能となる。つまりは、「要約」において面談の全体概要を把握させた上で、「要点一覧」や「質問と回答」を参照させることが可能となるものであり、その結果、ユーザが「要点一覧」や「質問と回答」の内容を把握し易くなるように図ることが可能となる。
従って、ユーザが面談の内容把握に要する時間の短縮化を図ることができ、議事録作成の効率向上を図ることができる。
【0177】
また、実施形態としての情報処理装置においては、面談の内容に係る解析の処理として、面談の要約の作成処理である要約作成処理、面談の要点一覧の作成処理である要点一覧作成処理、及び面談における質問部分と回答部分との特定処理である質問回答特定処理が行われ、編集画面においては、面談における話者ごとに、ユーザ自身の側のグループである自分側グループとユーザの相手側のグループである相手側グループの何れに属するかについての設定操作であるグループ属性設定操作を受け付け可能とされており、表示処理部は、解析結果表示領域において、要約作成処理で作成された要約を示すテキストデータ、要点一覧作成処理で作成された要点一覧を示すテキストデータ、質問回答特定処理で特定された質問部分及び回答部分を示すテキストデータを表示させる処理を行うと共に、質問部分を示すテキストデータ及び回答部分を示すテキストデータを、自分側グループと相手側グループのうち何れのグループによる発言であるかの識別が可能に表示させる処理を行っている。
これにより、議事録作成にあたりユーザが自分側や相手側の特定の質問や回答を把握したい場合に、該把握の容易性向上を図ることができる。
【0178】
さらに、実施形態としての情報処理装置においては、面談の内容に係る解析の処理として、面談の要約の作成処理である要約作成処理、面談の要点一覧の作成処理である要点一覧作成処理、及び面談における質問部分と回答部分との特定処理である質問回答特定処理が行われ、表示処理部は、解析結果表示領域において、要約作成処理で作成された要約を示すテキストデータ、要点一覧作成処理で作成された要点一覧を示すテキストデータ、質問回答特定処理で特定された質問部分及び回答部分を示すテキストデータを表示させる処理を行い、編集画面においては、解析結果表示領域に表示された要点一覧について、要点ごとにテキスト編集領域にテキストデータを転写可能とされており、表示処理部は、要点一覧の表示領域において、各要点のテキストデータを、元となる発話の時系列順に従った順序で配列させ、テキスト編集領域に転写された要点のテキストデータについては、転写が行われた順で配列させている。
議事録は、面談における発話の時系列順に従って面談内容を整理するものとは限らず、ユーザが発話の内容を適宜な順序で整理することで作成されるものである。このため、テキスト編集領域において、仮に、転写された要点のテキストデータを元となる発話の時系列順に従って配列してしまうと、ユーザに要点のテキストデータの不要な順序入れ替え操作を強いる可能性があり、議事録作成の効率低下を招く虞がある。
上記のようにテキスト編集領域において要点のテキストデータを転写が行われた順で配列させれば、そのような不要な順序入れ替え操作が行われることの防止を図ることが可能となり、議事録作成の効率向上を図ることができる。
【0179】
さらにまた、実施形態としての情報処理装置においては、表示処理部は、テキスト編集領域において、転写された解析結果テキストデータが修正された場合は、修正されたテキスト部分を未修正のテキスト部分とは異なる表示態様で表示させる処理を行っている。
これにより、議事録を構成するテキストデータについて、解析結果テキストデータをそのまま流用したか一部を修正したかをユーザに明示することができる。
【0180】
また、実施形態としての情報処理装置においては、テキスト編集領域において、転写された解析結果テキストデータが修正された場合に、修正前のテキストデータと修正後のテキストデータとを対応づけてメモリ装置に記録させる処理を行う記録処理部(同F13)を備えている。
上記のような修正前/後のテキストデータは、議事録作成者の育成のために用いることができる。具体的には、例えば、議事録の作成技術に長けたハイパフォーマーとしての作成者による修正前/後のテキストデータを、議事録の作成に不慣れなローパフォーマーとしての作成者に参照させることで、議事録作成に係るスキルの学習を行わせることが可能となり、ローパフォーマーとしての作成者の育成に貢献することができる。特に、面談が商談である場合には、ハイパフォーマーとしての営業担当者のスキルをローパフォーマーに学習させることが可能なり、営業担当者のスキル向上に貢献できる。
また、上記のような修正前/後のテキストデータは、面談の録音データから解析結果テキストデータを得るための解析処理の改善や機能向上のために用いることもできる。具体的に、例えば、解析処理をAIモデルにより行う場合には、これら修正前/後のテキストデータを機械学習における学習用データとして用いることで解析処理の改善や機能向上を図ることができる。或いは、解析処理をルールベース処理で行う場合であっても、修正前/後のテキストデータを解析処理のアップデート作業において参照することができるため、解析処理の改善や機能向上に貢献できる。
【0181】
実施形態としての情報処理方法は、情報処理装置が、面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、解析結果テキストデータの転写が可能とされると共に転写された解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理を行う情報処理方法である。
このような情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。
【0182】
実施形態としてのプログラムは、先の
図24から
図27の処理の全部又は一部をCPU1a等のコンピュータ装置に実行させるプログラムである。
すなわち、実施形態としてのプログラムは、コンピュータ装置が読み取り可能なプログラムであって、面談の録音データをテキスト化した面談テキストデータを表示するテキスト表示領域と、面談の内容に係る解析結果を示すテキストデータである解析結果テキストデータを表示する解析結果表示領域と、解析結果テキストデータの転写が可能とされると共に転写された解析結果テキストデータの編集が可能とされた領域であるテキスト編集領域と、を含む編集画面を表示させる処理、をコンピュータ装置に実行させるプログラムである。
【0183】
このようなプログラムにより、実施形態で説明した情報処理装置1としての機能の全部又は一部を実行するコンピュータ装置を実現できる。例えばパーソナルコンピュータ、携帯型情報処理装置等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、情報処理装置1として機能させることができる。
【0184】
このようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。また、メモリカードや光ディスク等のリムーバブル記録媒体に一時的或いは永続的に記録して提供できる。
また、このようなプログラムは、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【符号の説明】
【0185】
1 情報処理装置
20 サーバ装置
NT ネットワーク
Hs 営業担当者
Hc 顧客
1a,20a CPU
2 ROM
3 RAM
4 バス
5 入出力インタフェース
6 入力部
7 表示部
8 音声出力部
9 記憶部
10 通信部
11 リムーバブル記録媒体
12 ドライブ
20b 解析部
F11 面談録音部
F12 表示処理部
F13 記録処理部
F21 録音データ記録部
F22 要約作成処理部
F23 要点一覧作成部
F24 質問回答特定処理部
30 情報処理装置
Gr 登録画面
Ga 確認画面
Gb エラー画面
Ge 編集画面
At 発話テキスト表示領域
Ah 話者・グループ設定領域
Ae テキスト編集領域
Ap 録音期間表示領域
Aa 解析結果表示領域
B17 アップロードボタン
B18 投稿ボタン
Sb シークバー
Is 商談工程期間情報
Gs 設定画面