IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ACESの特許一覧

<>
  • 特開-発話情報資料化装置 図1
  • 特開-発話情報資料化装置 図2
  • 特開-発話情報資料化装置 図3
  • 特開-発話情報資料化装置 図4
  • 特開-発話情報資料化装置 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024037301
(43)【公開日】2024-03-19
(54)【発明の名称】発話情報資料化装置
(51)【国際特許分類】
   G06Q 10/109 20230101AFI20240312BHJP
【FI】
G06Q10/10 340
【審査請求】有
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022142035
(22)【出願日】2022-09-07
(11)【特許番号】
(45)【特許公報発行日】2023-02-16
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り (1)令和4年7月7日ソフトウェア(Ver.1.6.2)リリース (2)令和4年7月20日ソフトウェア(Ver.1.6.3)リリース (3)令和4年7月8日ソフトウェア(Ver.1.6.2)の記事をウェブ上で公開 (4)令和4年7月8日ソフトウェア(Ver.1.6.2)の記事をウェブ上で公開 (5)令和4年8月24日ソフトウェア(Ver.1.6.3)の内容を動画で公開 (6)令和4年8月25日ソフトウェア(Ver.1.6.3)の記事をウェブ上で公開 (7)令和4年8月24日~25日にDXPO(東京ビッグサイト)で展示
(71)【出願人】
【識別番号】520008533
【氏名又は名称】株式会社ACES
(74)【代理人】
【識別番号】110002181
【氏名又は名称】弁理士法人IP-FOCUS
(74)【代理人】
【識別番号】100208959
【弁理士】
【氏名又は名称】島田 敏史
(72)【発明者】
【氏名】鈴木 文丈
(72)【発明者】
【氏名】野中 佑典
(72)【発明者】
【氏名】荒川 陸
(72)【発明者】
【氏名】田村 浩一郎
(72)【発明者】
【氏名】阿久澤 圭
(72)【発明者】
【氏名】久保 静真
【テーマコード(参考)】
5L049
【Fターム(参考)】
5L049AA12
(57)【要約】
【課題】発話における重要事項が容易に把握できる発話情報資料化装置を提供する。
【解決手段】発話情報資料化装置1は、ユーザ端末4と顧客端末5との間で行われたビデオ会議の音声を収録し、その映像を解析して複数の発話から重要な情報を抽出し、要約文を作成する。要約用発話32の抽出は、解析手段12によって、複数の発話に含まれる文言について予算や権限等の分類、又は、説明段階から質疑応答段階への切り替わり等があればその発話にポイントを付与する。累計ポイントの高い発話を所定数抽出して要約用発話32とする。要約手段13は、要約用発話32の前後の発話で、発言者が同一の場合は文章の接続詞で関連の有無を判定する(A)。発言者が異なる場合は文章の類似性で判定する(B)。要約用発話32に加えて、関係のある発話33を組合せると共に、短い文章に変換し、要約文35を作成する。
【選択図】図4
【特許請求の範囲】
【請求項1】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とすることを特徴とする発話情報資料化装置。
【請求項2】
請求項1に記載の発話情報資料化装置であって、
前記分類は、予算、権限、必要性、導入時期、競合、及びネクストアクションのうち、一又は複数を含むことを特徴とする発話情報資料化装置。
【請求項3】
請求項1に記載の発話情報資料化装置であって、
前記段階は、導入段階、説明段階、質疑応答段階、及びまとめ段階のうち、一又は複数を含むことを特徴とする発話情報資料化装置。
【請求項4】
請求項1に記載の発話情報資料化装置であって、
前記要約手段は、前記要約用発話を英訳すると共に英訳された発話を和訳し、和訳された発話を用いて前記要約文を作成することを特徴とする発話情報資料化装置。
【請求項5】
請求項1に記載の発話情報資料化装置であって、
前記解析手段は、前記発話の前記分類又は前記段階に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、
前記ポイントの合計が高い前記要約用発話を一又は複数抽出すること特徴とする発話情報資料化装置。
【請求項6】
請求項1に記載の発話情報資料化装置であって、
前記解析手段は、
前記発話において、数値又は日付に関する情報を含む言語情報と、話者に関する情報である話者情報を認識し、
前記発話における前記言語情報又は前記話者情報に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、
前記ポイントの合計が高い前記要約用発話を一又は複数抽出すること特徴とする発話情報資料化装置。
【請求項7】
請求項5又は6に記載の発話情報資料化装置であって、
前記要約手段は、前記要約用発話の直前の発話、又は直後の発話の少なくとも一方又は双方について、前記要約用発話との関連の有無を判定し、関連ありと判定された発話を追加用発話とすることを特徴とする発話情報資料化装置。
【請求項8】
請求項7に記載の発話情報資料化装置であって、
前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、
前記要約用発話と、前記直前の発話、又は前記直後の発話が、同一人物による発話であるときは、前記関連の有無は、隣接する前記発話の係り受けから、隣接する前記発話の関連性を判定することを特徴とする発話情報資料化装置。
【請求項9】
請求項7に記載の発話情報資料化装置であって、
前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、
前記要約用発話と、前記直前の発話、又は前記直後の発話が、異なる人物による発話であるときは、前記関連の有無は、隣接する前記発話の文言の類似性から、隣接する前記発話の関連性を判定することを特徴とする発話情報資料化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ会議、或いは講演会等の発話の内容を資料化する装置に関する。
【背景技術】
【0002】
近年では、テレワーク等の普及に伴い、ビデオ会議を利用する機会が増加している。また、営業活動においても、担当者が顧客を直接訪問して営業活動を行うだけでなく、ビデオ会議を利用して営業活動を行う機会が増加している。さらには、オンラインでの講演会等も頻繁に行われるようになっている。
【0003】
特許文献1には、電話を用いて営業活動を行う際に、通話先とユーザとの会話を録音し、録音データのうち、音声が存在する発話区間を検出して抽出し、抽出された音声データに基づいて、要素に基づく解析を行う営業支援装置が開示されている。
【0004】
特許文献1の装置では、要素として、ユーザの音声と通話先の音声を区別すること、及び会話における抑揚の強弱や話の速さ等が開示されており、これらの要素を用いて電話営業の会話をデータ化している。
【0005】
特許文献1の装置では、このようにして収集されたデータをビッグデータとして資産化し、AI(人工知能)を利用した処理にビッグデータを活用することができるとしている。例えば、通話中にリアルタイムでAIによるフィードバックを行い、営業の質を向上させることができるとしている。又は、解析データを管理者が見ることにより営業担当者の評価を行うことや、解析データを他の営業担当者の教育に利用することが開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特許第7053069号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載の技術では、電話営業において、誰がどのような理由で会議が不成立に終わったかの検証や、トラブル発生時の通話の確認、或いは営業成績のよい優秀な営業担当者の話術を他の営業担当者に学ばせることができる等の効果があるとされている。
【0008】
しかしながら、特許文献1の技術では、会議に対する検証等を行うことができるが、その会議における重要な会話がどの会話であったのか等、会議の要点を把握することは困難である。また、経験の少ない営業担当者に対する研修用の資料とした場合も、会話の要点が不明のため、どの会話が成約に結びついているか等を学習することは困難であった。
【0009】
本発明は、上記課題に鑑み、会議や講演会における発話の重要事項が容易に把握できる発話情報資料化装置を提供することを目的とする。また、本発明は、重要事項を明確にすることで、学習効果の高い研修用の資料の提供が可能な発話情報資料化装置を提供する。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明の発話情報資料化装置は、一以上の発話を資料化する装置であって、発話情報を入手する入手手段と、前記発話情報を解析する解析手段と、前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、少なくとも前記要約文を表示させる表示手段とを備え、前記解析手段は、前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とすることを特徴とする。
【0011】
本発明の発話情報資料化装置は、会議や講演会等の音声を含む発話情報から所定の基準に従って一又は複数の発話を抽出し、この発話の中から要約用発話を抽出し、発話の内容を要約して資料化している。従って、発話が長い場合であっても、要約用発話を用いた要約文を見ることにより、その発話で何が重要かを容易に把握することができる。ここで、発話における分類とは、発話の内容を種類別に分けることをいう。例えば、会議であれば、商談における予算や権限、技術打合せであれば製品の性能や生産技術等が該当する。講演会であれば講義を行う内容に関する分類となる。また、本発明において、解析手段が分類又は段階を特定するとは、分類及び段階の双方を特定する場合も含む。
【0012】
本発明において、要約用発話とは、その発話における目的、又は成果等に関連性がある事項を含む発話であり、その発話の要点を知るために重要な役割を果たす発話を含み、発話の分類又は段階の情報を用いて導かれる。本発明において、発話とは、複数人がオンライン(ビデオ会議)又はオフライン(面会)で会話を行う会議を含む。また、会議という名称のみならず、ミーティング或いは打合せと呼ばれるものも含む。また、会議には、互いにパーソナルコンピュータ(タブレット端末等を含む)を解して会話を行う場合の他、電話を用いた会話も含まれる。さらに、本発明において発話とは、一又は複数の発話者(講師等)がオンライン又はオフラインで話をする講演会又はプレゼンテーション等を含む。
【0013】
本発明の発話情報資料化装置において、前記分類は、予算、権限、必要性、導入時期、競合、及びネクストアクションを含んでいる。これらの分類は、商談に関するものであり、それぞれ、費用に関する予算であり、商談の決裁者等に関係のある権限であり、商談における顧客側のニーズ等に関する必要性であり、商談における商材等の導入時期であり、事業を行う上での競合他社であり、次に何を行うかのネクストアクションである。発話にこのような分類に関する文言が含まれている場合、その発話は重要事項を含む発話であると認められる。また、このように発話を分類分けすることにより、その発話がどの分類において重要であるかを明らかにすることができる。
【0014】
本発明の発話情報資料化装置において、前記段階は、導入段階、説明段階、質疑応答段階、及びまとめ段階のうち、一又は複数を含んでいる。本発明では、前記段階を、それぞれ、発話の導入に関する導入段階(アイスブレイクとも呼ばれる)、主に営業を行うユーザが行う説明段階、ユーザと顧客が話を進める質疑応答段階、及び発話をまとめるまとめ段階(クロージングとも呼ばれる)に分けることができる。このように段階を分けることにより、ある段階から他の段階へ移行するきっかけとなった発話には重要事項が含まれている可能性が高いことが予想される。また、その発話がどの段階において重要であるかを明らかにすることができる。
【0015】
本発明の発話情報資料化装置において、前記要約手段は、前記要約用発話を英訳すると共に英訳された発話を和訳し、和訳された発話を用いて前記要約文を作成してもよい。発話は話し言葉であり、日本語においては曖昧な表現が多い傾向にある。従って、発話を一度英訳し、曖昧さの少ない文章にした後、再度和訳を行うことにより、発話における曖昧な表現が削減され、短い文章とすることができる。
【0016】
本発明の発話情報資料化装置において、前記解析手段は、前記発話の前記分類又は前記段階に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、前記ポイントの合計が高い前記要約用発話を一又は複数抽出するようにしてもよい。
【0017】
また、本発明の発話情報資料化装置において、前記解析手段は、前記発話において、数値又は日付に関する情報を含む言語情報と、話者に関する情報である話者情報を認識し、前記発話における前記言語情報又は前記話者情報に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、前記ポイントの合計が高い前記要約用発話を一又は複数抽出するようにしてもよい。
【0018】
本発明の発話情報資料化装置によれば、各発話について、発話の分類又は段階、或いは言語情報又は話者情報に応じてポイントが付与され、ポイントの高い発話を抽出し、抽出された発話から要約文が形成されるので、要約文は発話にとって重要度が高い発話により形成される。従って、ユーザが要約文を読むことにより、発話における重要事項について把握することが容易となる。
【0019】
本発明の発話情報資料化装置において、前記要約手段は、前記要約用発話の直前の発話、又は直後の発話の少なくとも一方又は双方について、前記要約用発話との関連の有無を判定し、関連ありと判定された発話を追加用発話としてもよい。当該処理により、要約用発話と関連のある発話を要約文に加えることができるので、より要約文の内容を充実させることができる。
【0020】
このとき、前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、前記要約用発話と、前記直前の発話、又は前記直後の発話が、同一人物による発話であるときは、前記関連の有無は、隣接する前記発話の係り受けから、隣接する前記発話の関連性を判定するようにしてもよい。
【0021】
また、前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、前記要約用発話と、前記直前の発話、又は前記直後の発話が、異なる人物による発話であるときは、前記関連の有無は、隣接する前記発話の文言の類似性から、隣接する前記発話の関連性を判定するようにしてもよい。
【図面の簡単な説明】
【0022】
図1】本実施形態の発話情報資料化装置の概要を示す説明図。
図2】(A)及び(B)は発話情報資料化装置における準備画面を示す説明図。
図3】発話情報資料化装置における会議画面を示す説明図。
図4】要約手段における要約文の作成時の作動を示す説明図。
図5】資料化された会議の利用画面である一覧管理画面を示す説明図。
【発明を実施するための形態】
【0023】
次に、図1図5を参照して、本発明の実施形態である発話情報資料化装置について、商談に関する会議を一例として説明する。本実施形態の発話情報資料化装置1は、図1に示すように、サーバ2内に記憶されたプログラム及びサーバ2のハードウエアにより構成される各機能部によって実現される装置であり、ネットワーク3を解してユーザ端末4に接続されている。また、ネットワーク3には、ユーザの顧客が使用する顧客端末5が接続されている。
【0024】
本実施形態の発話情報資料化装置1は、一例として、ユーザ端末4と顧客端末5との間で行われたビデオ会議の映像及び音声を収録し、収録された音声を解析して、複数の発話から重要な情報を抽出し、要約文を作成するものである。
【0025】
本実施形態の発話情報資料化装置1は、機能的構成として、サーバ2内に、会議における音声を含む発話情報を入手する入手手段11と、入手された発話情報を解析する解析手段12と、解析手段12の解析結果を基に発話情報の要約文35(図4(C)参照)を作成する要約手段13と、各種画面及び要約文35を表示させる表示手段14を備えている。発話情報には、会議における音声の他、映像、日時、出席者、及びユーザ端末4や顧客端末5の位置情報等の情報を含んでいてもよい。
【0026】
サーバ2は、CPU(中央演算処理装置)、ハードディスク、メモリ等の記憶手段、及び各種ネットワークとの接続手段等を備えたコンピュータシステム(いずれも図示省略)を備えており、ハードディスク内には、コンピュータを本実施形態の発話情報資料化装置1として実行するためのコンピュータプログラム等が記憶されている。このコンピュータプログラムは、CPUによって実行され、以下に説明する各種の処理が行われる。なお、コンピュータシステムには、いわゆるクラウドコンピューティングが含まれる。また、コンピュータプログラムは、サーバ2内に記憶されたプログラムのみならず、API(Application Programming Interface)連携を利用したプログラムも含む概念である。
【0027】
解析手段12は、発話情報を解析する機能部である。具体的には、発話情報から複数の発言者が行った複数の発話を抽出し、発話と発言者とを関連付けて記憶する。発言者は、ユーザである営業担当者と、ユーザの顧客が含まれる。ユーザ及び顧客は、それぞれ一人の場合もあり、複数人の場合もある。
【0028】
また、解析手段12は、発話が会議の内容におけるどの分類に属するかの分類分けを行う。具体的には、複数の発話について、予算、権限、必要性、導入時期、競合、及びネクストアクションに関する文言が含まれる場合、その発話にこれらの予算等の分類を付すことにより行う。
【0029】
予算は、費用や投資額等の金額に関係がある文言を有する発話が該当する。権限は、その会議において予算執行や導入時期等を決定する決定権等に関する文言を有する発話が該当する。必要性は、その会議における顧客のニーズを中心とした文言を有する発話が該当する。導入時期は、会議における商材等の導入時期を含む文言を有する発話が該当する。競合は、ユーザ及び顧客の所属する会社以外の会社名や、コンペティター等の競合に関する文言を含む発話が該当する。ネクストアクションは、処置や実行等の会議後に行われる行動に関する文言を含む発話が該当する。
【0030】
また、解析手段12は、発話が会議における進捗状況の複数の段階のどの段階に該当するかを特定する。段階としては、導入段階、説明段階、質疑応答段階、及びまとめ段階が含まれる。
【0031】
導入段階は、会議の前半に行われる挨拶や自己紹介等を行っている段階である。説明段階は、主にユーザが自社の商品或いはサービスの説明を行い、主にユーザの発話が連続して行われる段階である。この説明段階は、導入段階の後の段階で行われることが多い。質疑応答段階は、ユーザによる発話と顧客による発話が交互に行われている段階であり、説明段階の後の段階で行われることが多い。また、質疑応答段階は、ユーザ及び顧客の双方から疑問文が発せられることが多いのも特徴である。まとめ段階は、商談の決定等、会議におけるまとめに関する段階であり、会議の後半で行われることが多い。
【0032】
要約手段13は、解析手段12によって抽出された要約用発話32を用いて要約文35を形成し、表示手段14によりユーザ端末4に要約文35を表示可能とする機能部である。表示手段14は、ユーザ端末4等に、図2に示す準備画面21等の各種画面や、要約文35等を表示させることができる。
【0033】
ネットワーク3は、インターネットに代表される通信網であり、電話回線等も含む概念である。ユーザ端末4及び顧客端末5は、パーソナルコンピュータ等のように画面表示が可能であればよく、デスクトップ型のコンピュータ、ノートブック型のコンピュータ、タブレット端末、或いはスマートフォン等のような端末であってもよい。
【0034】
次に、本実施形態の発話情報資料化装置1によって会議における発話の資料化を行う方法について説明する。本実施形態における会議は、ユーザが商品又はサービスの提供を顧客に対して行う企業の営業担当者であり、顧客に対してビデオ会議で商談を行う場合の会議を例として説明する。
【0035】
まず、ユーザは、顧客との会議の前に、図2に示す準備画面21を用いて準備作業を行う。準備作業は、一例として、図2(A)に示す準備画面21において、ビデオ会議の設定、会議のタイトルの入力、会議の日時の入力、顧客の会社名の入力の他、会議の参加者の情報を入力する。
【0036】
また、図2(B)に示す第2準備画面22において、会議の目的と、顧客に確認すべき事項を入力することができる。会議の目的は、会議において心がけておくべき内容や、資料化した際に目的別検索を行うことを考慮して入力する。この入力は、入力欄に直接入力してもよく、入力欄をクリックすることにより表示されるポップアップメニューから選択するようにしてもよい。
【0037】
次に、実際の会議において、ユーザ端末4に表示される画面について、図3を参照して説明する。ユーザ端末4に表示される会議画面23は、左上部の情報表示欄24に、会議のタイトル、日時、顧客情報、ユーザ名、及び顧客の担当者名等が表示される。
【0038】
図3では、一例として、参加者が4名である場合の顔表示画面25と、会議における発話の音声を文字情報に書き起こした会話文を表示させる会話文表示画面26と、会議の目的を表示する目的画面27と、会議で確認すべき事項を記載した確認事項画面28と、会議において重要と思われる発話を表示するハイライト表示29が表示された画面を示している。
【0039】
顔表示画面25では、会議における各担当者の表情をリアルタイムで表示させることができ、同時に音声の録音と映像の録画も行われている。会話文表示画面26では、ユーザ及び顧客が発言を行う度にその発言内容が発話31として文字情報となって表示される。表示される文字情報には、発言を行った時刻が表示され、発話31を行った発言者の情報が関連付けられてサーバ2に記憶される。
【0040】
目的画面27は、準備画面21において入力された会議の目的等の項目が表示される。このように、会議中にその会議の目的を画面上に表示させておくことで、ユーザは、会議の内容を本筋からそらすことなく進めることができる。
【0041】
確認事項画面28は、例えば、図3に示すように、ニーズ28a、競合28b、及び決裁者28cに関する内容等を表示させる。ニーズ28aには、今回の会議を行うに至った背景や課題等を問い合わせる質問や、今回の会議で話し合う商談のオペレーション、或いは、顧客の担当者の役割等を問い合わせる質問等が含まれる。
【0042】
競合28bには、顧客が他社のツール(他社製品)の導入を検討しているか否かの質問や、他社のツールと自社のツールとの比較点等を問い合わせる質問が含まれる。決裁者28cには、今回の会議の商談を決定する権限を有する決裁者を問い合わせる質問等が含まれる。その他、確認事項画面28では、会議における分類に関する質問として、予算、導入時期、又はネクストアクションに関する質問を表示させることができる。
【0043】
ハイライト表示29は、例えばニーズ28aに関する顧客の回答で、会議における重要事項を含むと判定された発話31aを表示させることができる。
【0044】
実際に会議を行う際には、会議画面23に上記各表示を行いながら、ユーザと顧客との間で話を進める。会議が終了すると、サーバ2は、入手手段11によって、ユーザ端末4において取得された会議の音声を含む発話情報を入手して、サーバ2内の記憶手段に記憶する。
【0045】
次に、解析手段12は、発話情報の音声データから、ユーザや顧客の複数の発話を抽出する。発話の抽出処理は、発言者の音声の周波数に基づいてどの話者がどの発言を行ったかで切り分ける方法、又は、無音区間を区切りとして切り分ける方法等、公知の方法を用いて行う。
【0046】
また、解析手段12は、複数の発話が、会議の内容におけるどの分類に属するかの分類分けを行う。分類としては、上述の予算、権限、必要性、導入時期、競合、及びネクストアクションが挙げられる。この分類分けは、各発話の音声から、各分類に特有の文言(キーワード)が含まれているかどうかを判断して行う。例えば、発話の中に「○○円」という表現が含まれていた場合、その文言を含む発話は予算に関する発話であると判断する。
【0047】
また、解析手段12は、複数の発話が会議の進捗状況のどの段階で発せられたものかを特定する。段階としては、上述の導入段階、説明段階、質疑応答段階、及びまとめ段階が挙げられる。この段階の特定は、各発話の音声が誰の音声であるか等、話者の情報も使用して行われる。
【0048】
例えば、会議において、数値などの固有表現が繰り返し使用されているときは、商品の具体的な話をしていることが予想されるため、説明段階、或いは質疑応答段階であると特定される。また、その際、ユーザによる発話が連続して行われているときは、説明段階であると特定される。また、会議の中盤で、ユーザと顧客との会話のやりとりが行われているときは、質疑応答段階であると特定される。
【0049】
次に、解析手段12は、複数の発話の中から要約用発話32を抽出する。要約用発話32とは、その会議における目的、又は成果等に関連性がある事項を含む発話であり、その会議の要点を知るために重要な役割を果たす発話である。
【0050】
本実施形態の発話情報資料化装置1においては、要約用発話32の抽出は以下のように行われる。まず、複数の発話に含まれる文言について、予算、権限等のいずれかの分類が付されている場合は文言ごとに分類ポイントを付与する。また、複数の発話について、段階の切り替わり、例えば、説明段階から質疑応答段階に切り替わったときの説明段階の最後の発話と、質疑応答段階の最初の発話にそれぞれ段階ポイントを付与する。
【0051】
解析手段12は、上述のように各発話にポイント付けを行い、集計を行った複数の発話の中から、ポイントの合計が高い発話を上位から所定数抽出する。この抽出数は、要約文の用途等に応じて適宜選択することができ、一又は複数抽出することができる。一般に、1時間程度の会議においては、その会議の重要事項を知るために10~30程度の抽出数とすることができる。一方で、その会議の重要事項を知るために、抽出数を1つに絞ることも可能である。
【0052】
また、本実施形態の発話情報資料化装置1において、各発話にポイント付けをする際に、各発話において数値や日付を含む言語情報に言語ポイントを付与してもよい。発話において、具体的な数値が含まれていれば、その発話は重要な発話である可能性が高い。また、日付についても同様である。この言語情報は、数値及び日付の他に、製品名や企業名等、その会議における重要事項が含まれる。
【0053】
また、本実施形態の発話情報資料化装置1において、各発話にポイント付けをする際に、各発話において、話者に応じてポイントを付与する話者ポイントを設けてもよい。話者は、ユーザ、及び顧客が主要な話者であるが、ユーザ側の上司や、顧客側の上司等が会議に参加する場合がある。
【0054】
上記分類ポイント、段階ポイント、言語ポイント、及び話者ポイントは、それぞれ任意の点数とすることができ、例えば、分類ポイント及び段階ポイントは1ポイントとする。話者ポイントは、ユーザの発話の場合は0ポイント、顧客の発話の場合は2ポイント、ユーザ側の上司の場合は1ポイント、顧客側の上司の場合は3ポイントというように、各ポイントに重み付けを付与するようにしてもよい。同様に、言語ポイントにおいては、数値や日付が1ポイント、製品名等の固有名詞が2ポイントというように、ポイントを付与してもよい。
【0055】
このように、会議において重要度の高い要約用発話32が所定数抽出されると、要約手段13によって要約文35の作成が行われる。まず、ポイントの高い要約用発話32について、その前後の発話との関連の有無を判定する。
【0056】
例えば、図4(A)に示すように、抽出された要約用発話32とその直前の発話33について、発言者が同一人物の場合、文章の係り受けを解析し、隣接する発話が係り受けから連続した発話であると判定された場合、それらの発話は関連有りと判定することができる。要約用発話32とその直後の発話34についても同様である。この係り受けによる判定は、例えば、各発話に含まれる接続詞を解析することで行うことができる。
【0057】
発言者が同一人物の場合に、係り受けを用いて判定するのは、同一人物の発話が連続している場合は、高い確率で同様の内容についての発話であることが予想されるが、係り受けが「しかし」等であれば、その発話は前後の発話と異なる内容であることが予想されるためである。
【0058】
一方で、図4(B)に示すように、要約用発話32とその直前の発話33について、発言者が異なる人物の場合、これらの発話の類似性を判定し、所定の閾値以上の類似性がある場合にそれらの発話は関連ありとすることができる。要約用発話32とその直後の発話34についても同様である。この類似性の判定は、例えば、各発話に言語学的に語彙の共通度が高い文言が含まれている場合、類似度が高いと判定することができる。
【0059】
このように、発言者が異なる人物の場合は、係り受けが介在する可能性が低いため、内容的に類似するか否かを判定している。この場合の判定は、言語学における語彙の共通度等の公知の判断基準を用いて、共通度の任意の閾値で類似しているか否かを判定すればよい。
【0060】
本実施形態では、要約手段13が重要事項を含む発話を要約用発話として抽出し、その要約用発話の前後の発話について関連する発話を追加用発話として抽出し、これらの要約用発話と追加用発話を用いて要約文を作成している。
【0061】
要約文35の作成は、図4(C)に示すように、要約用発話32の前後の発話を含めて抽出された発話32,33について、短い文章に変換することにより行う。このとき、発話内の文言について、話し言葉を書き言葉に変換することにより行い、話し言葉における余分な文章(図4(C)における点線部分)を削除してもよい。また、この変換は、ディープラーニングを行ったモデルを用いて行ってもよい。
【0062】
また、抽出された発話32,33について、短い文章に変換する際には、発話32,33を英訳し、英訳された発話をさらに和訳するいわゆる二重翻訳を行ってもよい。発話32,33は話し言葉により構成されており、日本語においては曖昧な表現が多い傾向にある。日本語の発話を英訳する場合、翻訳エンジンが日本語の曖昧な表現を考慮してシンプルな英文にするので、英訳後の発話は短くなることが多い。従って、この短くなった英文をさらに和訳することにより、曖昧な表現が削除されたシンプルな短い文章に変換することができる。
【0063】
このようにして作成された要約文35は、会議の重要事項を含む文としてその会議に関連付けられてサーバ2に保存され、図5に示す一覧管理画面41によって閲覧が可能となる。図5において、ステータス欄42でビデオアイコン43が有効になっているものは、その会異議の動画が閲覧可能である。また、ステータス欄42で、書類アイコン44が有効になっているものは、要約文35の閲覧が可能である。
【0064】
この一覧管理画面41を、ユーザが所属する企業内で閲覧可能とすることで、その企業内において、商談に関する重要な情報を共有することができる。例えば、会議を行った担当者が優秀な営業担当である場合は、その優秀な営業担当の発話のうち、解析手段12によって重要な発話が抽出され、重要な発話が要約手段13によって読みやすい文章となっているため、経験の浅い営業担当者がその要約文35を閲覧することで、高い学習効果を得ることができる。
【0065】
なお、上記実施形態においては、解析手段12によって、発話を分類分けし、且つ段階の特定を行っているが、これに限らず、分類分けのみで抽出を行ってもよく、段階の特定のみで抽出を行ってもよい。
【0066】
また、上記実施形態では、分類について、予算、権限、必要性、導入時期、競合、及びネクストアクションを例にして説明したが、これに限らず、製品の性能、サービスの形態等、他の項目を分類としてもよい。同様に、段階について、導入段階、説明段階、質疑応答段階、及びまとめ段階を例にして説明したが、これに限らず、顧客要望聴取段階等、他の段階を設けてもよい。
【0067】
また、上記実施形態では、段階ポイントとして、段階の切り替わりを目安にポイントを付与しているが、これに限らず、各段階にそれぞれ予めポイントを定めておき、その段階であると判定された発話については、当該ポイントを付与するようにしてもよい。
【0068】
また、上記実施形態では、発話について、会議を一例として説明したが、これに限らず、一又は複数の話者が聴衆に対して話を行う講演会やプレゼンテーションにも適用することが可能である。この場合、分類としては、講演会であれば講義を行う内容に関する分類訳を行えばよい。また、段階としては、上記実施形態と同様に、導入段階、説明段階、まとめ段階とすればよく、質疑応答があれば質疑応答段階を追加すればよい。
【符号の説明】
【0069】
1…発話情報資料化装置
2…サーバ
3…ネットワーク
4…ユーザ端末
5…顧客端末
11…入手手段
12…解析手段
13…要約手段
14…表示手段
21…準備画面
22…第2準備画面
23…会議画面
24…情報表示欄
25…顔表示画面
26…会話文表示画面
27…目的画面
28…確認事項画面
29…ハイライト表示
31…発話
32…要約用発話
35…要約文
41…一覧管理画面

図1
図2
図3
図4
図5
【手続補正書】
【提出日】2022-11-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、及び、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とし、
前記分類は、予算、権限、必要性、導入時期、競合、及びネクストアクションを含み、
前記段階は、導入段階、説明段階、質疑応答段階、及びまとめ段階を含むことを特徴とする発話情報資料化装置。
【請求項2】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とし、
前記要約手段は、前記要約用発話を英訳すると共に英訳された発話を和訳し、和訳された発話を用いて前記要約文を作成することを特徴とする発話情報資料化装置。
【請求項3】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とし、
前記解析手段は、前記発話において、数値又は日付に関する情報を含む言語情報と、話者に関する情報である話者情報を認識し、
前記発話における前記言語情報及び前記話者情報に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、
前記ポイントの合計が高い前記要約用発話を一又は複数抽出すること特徴とする発話情報資料化装置。
【請求項4】
請求項に記載の発話情報資料化装置であって、
前記要約手段は、前記要約用発話の直前の発話、又は直後の発話の少なくとも一方又は双方について、前記要約用発話との関連の有無を判定し、関連ありと判定された発話を追加用発話とし、
前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、
前記要約用発話と、前記直前の発話、又は前記直後の発話が、同一人物による発話であるときは、前記関連の有無は、隣接する前記発話に含まれる接続詞から、隣接する前記発話の関連性を判定することを特徴とする発話情報資料化装置。
【請求項5】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とし、
前記発話の前記分類又は前記段階に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、
前記ポイントの合計が高い前記要約用発話を一又は複数抽出し、
前記要約用発話の直前の発話、又は直後の発話の少なくとも一方又は双方について、前記要約用発話との関連の有無を判定し、関連ありと判定された発話を追加用発話とし、
前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、
前記要約用発話と、前記直前の発話、又は前記直後の発話が、同一人物による発話であるときは、前記関連の有無は、隣接する前記発話に含まれる接続詞から、隣接する前記発話の関連性を判定することを特徴とする発話情報資料化装置。
【請求項6】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とし、
前記解析手段は、前記発話の前記分類又は前記段階に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、
前記ポイントの合計が高い前記要約用発話を一又は複数抽出し、
前記要約手段は、前記要約用発話の直前の発話、又は直後の発話の少なくとも一方又は双方について、前記要約用発話との関連の有無を判定し、関連ありと判定された発話を追加用発話とし、
前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、
前記要約用発話と、前記直前の発話、又は前記直後の発話が、異なる人物による発話であるときは、前記関連の有無は、隣接する前記発話の文言の類似性から、隣接する前記発話の関連性を判定することを特徴とする発話情報資料化装置。
【請求項7】
一以上の発話を資料化する装置であって、
発話情報を入手する入手手段と、
前記発話情報を解析する解析手段と、
前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、
少なくとも前記要約文を表示させる表示手段とを備え、
前記解析手段は、
前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、又は、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、
前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、
前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とし、
前記発話において、数値又は日付に関する情報を含む言語情報と、話者に関する情報である話者情報を認識し、
前記発話における前記言語情報又は前記話者情報に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、
前記ポイントの合計が高い前記要約用発話を一又は複数抽出し、
前記要約手段は、前記要約用発話の直前の発話、又は直後の発話の少なくとも一方又は双方について、前記要約用発話との関連の有無を判定し、関連ありと判定された発話を追加用発話とし、
前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、
前記要約用発話と、前記直前の発話、又は前記直後の発話が、異なる人物による発話であるときは、前記関連の有無は、隣接する前記発話の文言の類似性から、隣接する前記発話の関連性を判定することを特徴とする発話情報資料化装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
上記目的を達成するために、本発明の発話情報資料化装置は、一以上の発話を資料化する装置であって、発話情報を入手する入手手段と、前記発話情報を解析する解析手段と、前記解析手段の解析結果を基に前記発話情報の要約文を作成する要約手段と、少なくとも前記要約文を表示させる表示手段とを備え、前記解析手段は、前記発話が、予め設けられた複数の分類のうちいずれの分類に属するか特定し、及び、前記発話が進捗状況の複数の段階のうちいずれの段階に属するか特定し、前記分類又は前記段階の少なくとも一方の情報を用いて、複数の前記発話の中から要約用発話を抽出し、前記要約手段は、前記要約用発話を含む要約文を作成し、前記表示手段により前記要約文を表示可能とすることを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0014
【補正方法】変更
【補正の内容】
【0014】
本発明の発話情報資料化装置において、前記段階は、導入段階、説明段階、質疑応答段階、及びまとめ段階を含んでいる。本発明では、前記段階を、それぞれ、発話の導入に関する導入段階(アイスブレイクとも呼ばれる)、主に営業を行うユーザが行う説明段階、ユーザと顧客が話を進める質疑応答段階、及び発話をまとめるまとめ段階(クロージングとも呼ばれる)に分けることができる。このように段階を分けることにより、ある段階から他の段階へ移行するきっかけとなった発話には重要事項が含まれている可能性が高いことが予想される。また、その発話がどの段階において重要であるかを明らかにすることができる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0017
【補正方法】変更
【補正の内容】
【0017】
また、本発明の発話情報資料化装置において、前記解析手段は、前記発話において、数値又は日付に関する情報を含む言語情報と、話者に関する情報である話者情報を認識し、前記発話における前記言語情報及び前記話者情報に応じてポイントを付与して前記発話ごとに前記ポイントを集計し、前記ポイントの合計が高い前記要約用発話を一又は複数抽出するようにしてもよい。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0020
【補正方法】変更
【補正の内容】
【0020】
このとき、前記解析手段は、前記発話情報から複数の発言者が行った複数の発話について、前記発話と前記発言者とを関連付けて記憶し、前記要約用発話と、前記直前の発話、又は前記直後の発話が、同一人物による発話であるときは、前記関連の有無は、隣接する前記発話に含まれる接続詞から、隣接する前記発話の関連性を判定するようにしてもよい。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0056
【補正方法】変更
【補正の内容】
【0056】
例えば、図4(A)に示すように、抽出された要約用発話32とその直前の発話33について、発言者が同一人物の場合、文章に含まれる接続詞を解析し、隣接する発話が接続詞から連続した発話であると判定された場合、それらの発話は関連有りと判定することができる。要約用発話32とその直後の発話34についても同様である
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0057
【補正方法】変更
【補正の内容】
【0057】
発言者が同一人物の場合に、接続詞を用いて判定するのは、同一人物の発話が連続している場合は、高い確率で同様の内容についての発話であることが予想されるが、接続詞が「しかし」等であれば、その発話は前後の発話と異なる内容であることが予想されるためである。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0059
【補正方法】変更
【補正の内容】
【0059】
このように、発言者が異なる人物の場合は、接続詞が介在する可能性が低いため、内容的に類似するか否かを判定している。この場合の判定は、言語学における語彙の共通度等の公知の判断基準を用いて、共通度の任意の閾値で類似しているか否かを判定すればよい。