(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118317
(43)【公開日】2024-08-30
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 10/00 20230101AFI20240823BHJP
【FI】
G06Q10/00
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023024675
(22)【出願日】2023-02-20
(71)【出願人】
【識別番号】500257300
【氏名又は名称】LINEヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】東野 進一
(72)【発明者】
【氏名】田口 拓明
(72)【発明者】
【氏名】山口 修司
【テーマコード(参考)】
5L010
5L049
【Fターム(参考)】
5L010AA20
5L049AA20
(57)【要約】
【課題】会議の結果作成された書面に対する各発言者の寄与度の判断を支援する技術を提供する。
【解決手段】本願に係る情報処理装置は、会議情報取得部と、書面情報取得部と、算出部と、を備える。会議情報取得部は、会議中の発言者による発言の音声データを含む会議の情報である会議情報を取得する。書面情報取得部は、会議に基づいて作成された書面の情報である書面情報を取得する。算出部は、会議情報及び書面情報に基づいて、会議における発言者の各発言に対応する書面の範囲と、当該範囲の書面における重要度とから、発言者による寄与度を算出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
会議中の発言者による発言の音声データを含む会議の情報である会議情報を取得する会議情報取得部と、
前記会議に基づいて作成された書面の情報である書面情報を取得する書面情報取得部と、
前記会議情報及び前記書面情報に基づいて、前記会議における前記発言者の各発言に対応する前記書面の範囲と、当該範囲の前記書面における重要度とから、前記発言者による寄与度を算出する算出部と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記会議における前記発言者の発言と前記書面の範囲との類似度が所定の閾値を超えた場合、当該発言が当該範囲に対応するものとして特定する解析部を備えることを特徴とする
請求項1に記載の情報処理装置。
【請求項3】
前記解析部は、前記会議情報に含まれる発言の音声を前記発言者毎にテキスト化してテキスト情報に変換し、変換した各発言のテキストと、前記書面の各範囲との類似度を解析することを特徴とする
請求項2に記載の情報処理装置。
【請求項4】
前記解析部は、特定した前記範囲に対応する発言の前記発言者のラベル付けを行うことを特徴とする
請求項2に記載の情報処理装置。
【請求項5】
前記書面は、特許明細書であり、
前記特許明細書の発明の詳細な説明の各範囲の記載と、各々の請求項の記載との類似度を解析し、当該類似度が所定の閾値を超えた場合、当該範囲に対し、対応する請求項の重要度による重み付けを付与する推定部を備えることを特徴とする
請求項1に記載の情報処理装置。
【請求項6】
前記推定部は、特許請求の範囲のツリー構造に基づいて各々の請求項の重要度による重み付けを設定することを特徴とする
請求項5に記載の情報処理装置。
【請求項7】
書面情報取得部は、前記会議情報に基づいて、前記会議の議事録を生成して前記書面情報として取得することを特徴とする
請求項1に記載の情報処理装置。
【請求項8】
情報処理装置が実行する情報処理方法であって、
会議中の発言者による発言の音声データを含む会議の情報である会議情報を取得する会議情報取得工程と、
前記会議に基づいて作成された書面の情報である書面情報を取得する書面情報取得工程と、
前記会議情報及び前記書面情報に基づいて、前記会議における前記発言者の各発言に対応する前記書面の範囲と、前記範囲の前記書面における重要度とから、前記発言者による寄与度を算出する算出工程と、
を含むことを特徴とする情報処理方法。
【請求項9】
会議中の発言者による発言の音声データを含む会議の情報である会議情報を取得する会議情報取得手順と、
前記会議に基づいて作成された書面の情報である書面情報を取得する書面情報取得手順と、
前記会議情報及び前記書面情報に基づいて、前記会議における前記発言者の各発言に対応する前記書面の範囲と、前記範囲の前記書面における重要度とから、前記発言者による寄与度を算出する算出手順と、
をコンピュータに実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、利用者の発話をテキスト化してテキスト情報に変換し、変換したテキスト情報を提供する技術が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、会議では、複数の発言者により複数のアイデアが発案される。そして、複数のアイデアに基づいて、特許明細書や論文、あるいは当該会議の議事録等の書面が作成される。このように複数人の発言に基づいて書面を作成する場合、当該書面に対する各々の発言者の貢献度を判断することが困難であった。
【0005】
本願は、上記に鑑みてなされたものであって、会議の結果作成された書面に対する各発言者の寄与度の判断を支援する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本願に係る情報処理装置は、会議中の発言者による発言の音声データを含む会議の情報である会議情報を取得する会議情報取得部と、前記会議に基づいて作成された書面の情報である書面情報を取得する書面情報取得部と、前記会議情報及び前記書面情報に基づいて、前記会議における前記発言者の各発言に対応する前記書面の範囲と、当該範囲の前記書面における重要度とから、前記発言者による寄与度を算出する算出部と、を備えることを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、会議の結果作成された書面に対する各発言者の寄与度の判断を支援することができる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る情報処理の概要を示す図である。
【
図2】
図2は、実施形態に係る情報処理システム及び情報処理装置の構成例を示す図である。
【
図3】
図3は、学習情報記憶部の一例を示す図である。
【
図4】
図4は、実施形態に係る情報処理の流れの一例を示すフローチャートである。
【
図5】
図5は、変形例に係る情報処理システム及び端末装置の構成例を示す図である。
【
図6】
図6は、変形例に係る情報処理の流れの一例を示すフローチャートである。
【
図7】
図7は、ハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下に、本願に係る情報処理装置、情報処理方法及びプログラムを実施するための形態(以下、「実施形態」と記載する。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及びプログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
[実施形態]
〔1.情報処理の概要〕
まず、
図1を参照し、実施形態に係る情報処理装置1を有する情報処理システム100による情報処理の概要について説明する。
図1は、実施形態に係る情報処理の概要を示す図である。
図1に示すように、情報処理システム100は、情報処理装置1及び端末装置2を有する。情報処理装置1及び端末装置2は、ネットワークN(例えば、
図2参照)を介して有線又は無線により通信可能に接続される。
【0011】
情報処理装置1は、会議中の音声データを含む会議情報と、会議に基づいて作成された書面の書面情報と、を取得し、これらに基づいて、会議に参加した各々の発言者の寄与度を分析する処理を行う情報処理装置である。情報処理装置1は、例えば、サーバ装置やクラウドシステム等により実現される。
【0012】
端末装置2は、ユーザUによって使用される情報処理端末である。ユーザUは、会議に参加する企業の従業員、研究員、学生又は教員等の会議の参加者、会議情報及び書面情報を管理する管理者、あるいは会議の参加者を評価する立場の者等である。
図1では、1台の端末装置2及び1人のユーザUのみ記載しているが、情報処理システム100には、複数のユーザUと、各々のユーザUによって利用される複数の端末装置2と、が含まれてもよい。端末装置2は、情報処理装置1に含まれる機能であってもよい。
【0013】
端末装置2の典型例としては、ノート型PC(Personal Computer)又はデスクトップPCが想定されるが、スマートフォン、タブレット型端末、携帯電話機、又はPDA(Personal Digital Assistant)等により実現されてもよい。また、端末装置2は、無線LAN(Local Area Network)、Bluetooth(登録商標)等の近距離無線通信や、LTE(Long Term Evolution)、4G(4th Generation)、5G(5th Generation:第5世代移動通信システム)等の無線通信網を介してネットワークNに接続し、情報処理装置1と通信を行うことができる。
【0014】
図1に示すように、情報処理装置1は、ユーザUが操作する端末装置2から会議情報を取得する(ステップS1)。会議情報は、会議中の音声データを含む会議情報法である。会議情報は、少なくとも会議における参加者の発言の音声データを含み、映像及び音声データを含んでもよい。会議が、Zoom(登録商標)やTeams(登録商標)等で行われるオンライン会議である場合、会議情報は、例えば、更に、チャットログデータ、共有した資料への編集データ等を含んでもよい。
【0015】
例えば、会議情報が端末装置2に保存されている場合、ユーザUは、端末装置2を操作して、端末装置2に保存されてある会議情報を、ネットワークN(例えば、
図2参照)を介して情報処理装置1へ送信させる。例えば、複数の会議情報が情報処理装置1に保存されている場合、ユーザUは、端末装置2を操作して、情報処理装置1に保存されてある複数の会議情報のうち所定の会議情報を選択する。例えば、複数の会議情報が外部装置に保存されている場合、ユーザUは、端末装置2を操作して、外部に保存されてある複数の会議情報のうち所定の会議情報を示す識別番号を、ネットワークN(例えば、
図2参照)を介して情報処理装置1へ送信させる。情報処理装置1は、識別番号に対応する会議情報を、外部装置から取得する。
【0016】
次いで、情報処理装置1は、ユーザUが操作する端末装置2から書面情報を取得する(ステップS2)。書面情報とは、会議に基づいて作成された書面の情報である。書面情報は、書面のテキストデータを含み、図面データを含んでもよい。書面とは、例えば、特許明細書、論文、又は会議の議事録等を含む。なお、
図1に示す実施形態では、書面が特許明細書である場合について例示する。特許明細書は、少なくとも「特許請求の範囲」と、「発明の詳細な説明」の記載を含む「明細書」と、を有する。
【0017】
例えば、書面情報が端末装置2に保存されている場合、ユーザUは、端末装置2を操作して、端末装置2に保存されてある書面情報を、ネットワークN(例えば、
図2参照)を介して情報処理装置1へ送信させる。例えば、複数の書面情報が情報処理装置1に保存されている場合、ユーザUは、端末装置2を操作して、情報処理装置1に保存されてある複数の書面情報のうち所定の書面情報を選択する。例えば、複数の書面情報が外部装置に保存されている場合、ユーザUは、端末装置2を操作して、外部に保存されてある複数の書面情報のうち所定の書面情報を示す識別番号を、ネットワークN(例えば、
図2参照)を介して情報処理装置1へ送信させる。情報処理装置1は、識別番号に対応する書面情報を、外部装置から取得する。
【0018】
会議情報及び書面情報は、互いを紐づけるための一部が共通する識別番号を含んでもよい。この場合、情報処理装置1は、会議情報及び書面情報を同時に取得してもよい。また、会議情報の識別番号に基づいて、情報処理装置1が、自動的に当該会議情報に対応する書面情報を取得してもよい。また、情報処理装置1は、後述の変形例のように、会議情報に基づいて会議の議事録を生成して書面情報として取得してもよい。
【0019】
情報処理装置1は、取得した会議情報と書面情報とに基づいて、会議における発言者の各発言に対応する書面中の記載範囲を特定し、特定した範囲の書面における重要度に基づいて、発言者による寄与度を算出して提示する。まず、情報処理装置1は、会議の各発言に対応する書面中の記載を特定し、特定した各範囲に発言者のラベル付けを行う(ステップS3)。具体的には、情報処理装置1は、まず、公知のAI議事録自動作成ツール等の音声認識技術を用いて、会議情報に含まれる発言の音声を発言者毎にテキスト化してテキスト情報に変換する。情報処理装置1は、次いで、変換した各発言のテキストと、特許明細書の「発明の詳細な説明」の各範囲との類似度を解析する。類似度が所定の閾値を超えた場合、当該発言が当該範囲に対応するものとして特定するとともに、特定した各範囲に発言者のラベル付けを行う。範囲は、例えば、段落毎、又は一文毎等に区切られる。
【0020】
次いで、情報処理装置1は、各範囲の重要度を推定する(ステップS4)。具体的には、情報処理装置1は、まず、「特許請求の範囲」における請求項の引用関係からツリー構造を特定し、各々の請求項の重要度による重み付けを設定する。重要度は、例えば、請求項の番号が若いほど高く、ツリー構造の階層が上位であるほど高く、引用される数が多いほど高く、設定される。情報処理装置1は、次いで、特許明細書の「発明の詳細な説明」において発言者のラベル付けを行った各範囲の記載と、各請求項の記載との類似度を解析する。類似度が所定の閾値を超えた場合、当該範囲に対し、対応する請求項の重要度による重み付けを付与する。所定の範囲においていずれの請求項とも類似度が所定の閾値を超えない場合、当該範囲は「該当なし」として、低く設定された重要度による重み付けが付与される。
【0021】
図1に示す例では、1つ目の「発言者A」の発言に対応する範囲が「請求項1」と類似し、2つ目の「発言者B」の発言に対応する範囲が「請求項4」と類似し、3つ目の「発言者A」の発言に対応する範囲はいずれの請求項にも類似しない「該当なし」であり、4つ目の「発言者C」の発言に対応する範囲が「請求項2」と類似し、5つ目の「発言者D」の発言に対応する範囲が「請求項3」と類似していることを示している。また、
図1に示す例では、「重要度」による重み付けの値は、「請求項1」が「1.0」であり、「請求項2」が「0.7」であり、「請求項3」が「0.4」であり、「請求項4」が「0.6」であり、「該当なし」が「0.1」であることを示している。
【0022】
なお、上記ステップS3及びステップS4において各々の類似度の解析を行うモデルは、例えば、BERT(Bidirectional Encoder Representations from Transformers)や、ELMo(Embeddings from Language Model)、Word2Vec、Bidirectional LSTM(Long Short Term Memory)等により構成可能である。
【0023】
次いで、情報処理装置1は、会議の各発言者の寄与度を算出する(ステップS5)。具体的には、情報処理装置1は、各発言者の発言に対応する特許明細書の範囲の量と、各範囲に付与された重要度と、に基づいて、各発言者の寄与度を算出する。すなわち、重要度が高い請求項に対応する発言を多く行った発言者は、寄与度が高く算出される。また、発言が少なかったり、発言が多くても重要度が高い請求項に対応する発言が少なかったりした発言者は、寄与度が低く算出される。
【0024】
図1に示す例では、「寄与度」は、「発言者A」が「60%」であり、「発言者B」が「20%」であり、「発言者C」及び「発言者D」がともに「10%」であると算出されたことを示している。
【0025】
次いで、情報処理装置1は、算出した各発言者の寄与度を提示するための寄与度情報を、ネットワークN(
図2参照)を介して、ユーザUの端末装置2に提供する(ステップS6)。そして、ユーザUの端末装置2は、寄与度情報を表示することとなる。
【0026】
〔2.情報処理システム及び情報処理装置の構成〕
次に、
図2を用いて、実施形態に係る情報処理装置1を有する情報処理システム100及び情報処理装置1の構成について説明する。
図2は、実施形態に係る情報処理システム100及び情報処理装置1の構成例を示す図である。
図2に示すように、情報処理システム100は、情報処理装置1と、端末装置2と、を有する。
【0027】
情報処理装置1及び端末装置2は、ネットワークNを介して有線又は無線により通信可能に接続される。ネットワークNは、例えば、LANや、インターネット等のWAN(Wide Area Network)である。なお、ネットワークNは、例えば、4G又は5G等の移動体通信システム等を含む構成であるが、かかる例に限定されない。また、
図2に示す情報処理システム100に含まれる各装置の数は図示したものに限られない。例えば、
図2では、図示の簡略化のため、端末装置2を1台ずつのみ示したが、これはあくまでも例示であって限定されるものではなく、2台以上であってもよい。
【0028】
情報処理装置1は、通信部10と、制御部20と、記憶部30と、を備える。なお、情報処理装置1は、情報処理装置1を利用する管理者等から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
【0029】
通信部10は、例えば、NIC(Network Interface Card)等によって実現される。通信部10は、ネットワークNと有線又は無線で接続され、端末装置2との間で情報の送受信を行う。
【0030】
制御部20は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置1内部の記憶装置に記憶されている各種プログラムがRAM(Random Access Memory)を作業領域として実行されることにより実現される。また、制御部20は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。制御部20は、会議情報取得部21と、書面情報取得部22と、解析部23と、推定部24と、算出部25と、提供部26と、学習部27と、を有する。
【0031】
会議情報取得部21は、会議中の音声データを含む会議情報を取得する。なお、会議情報取得部21は、会議中の映像及び音声データを含む会議情報を取得してもよい。また、会議情報取得部21は、会議中にリアルタイムで発言者の音声を取得してもよい。また、会議がオンライン会議である場合、会議情報取得部21は、チャットログデータ、共有した資料への編集データ等を含む会議情報を取得してもよい。会議情報取得部21は、端末装置2から受信した会議情報を取得してもよいし、端末装置2から会議情報を示す識別番号を受信し、当該識別番号に対応する会議情報を情報処理装置1の記憶部30や外部装置から取得してもよい。
【0032】
書面情報取得部22は、会議に基づいて作成された文書のテキストデータを含む書面情報を取得する。なお、書面情報取得部22は、端末装置2から受信した書面情報を取得してもよいし、端末装置2から書面情報を示す識別番号を受信し、当該識別番号に対応する書面情報を情報処理装置1の記憶部30や外部装置から取得してもよい。また、会議情報と書面情報とを紐づけるための一部が共通する識別番号が設定されている場合、書面情報取得部22は、会議情報取得部21が取得した会議情報の識別番号に基づいて、当該会議情報に対応する書面情報を取得してもよい。また、書面情報取得部22は、公知のAI議事録自動作成ツール等の音声認識技術を用いて、会議情報取得部21が取得した会議情報に基づいて会議の議事録を生成して書面情報として取得してもよい。
【0033】
解析部23は、会議情報取得部21が取得した会議情報と、書面情報取得部22が取得した書面情報と、を解析する。具体的には、解析部23は、公知のAI議事録自動作成ツール等の音声認識技術を用いて、会議情報に含まれる音声を発言者毎にテキスト化してテキスト情報に変換する。解析部23は、変換した各発言のテキストと、特許明細書の「発明の詳細な説明」の各範囲との類似度を解析する。類似度が所定の閾値を超えた場合、解析部23は、当該発言が当該範囲に対応するものとして特定するとともに、特定した各範囲に発言者のラベル付けを行う。
【0034】
推定部24は、各範囲に発言者のラベル付けを行われた特許明細書について、各範囲の重要度を推定する。具体的には、推定部24は、特許請求の範囲における請求項の引用関係からツリー構造を特定し、各々の請求項の重要度による重み付けを、予め定められた法則に基づいて設定する。推定部24は、特許明細書の「発明の詳細な説明」において発言者のラベル付けを行った各範囲の記載と、各請求項の記載との類似度を解析する。類似度が所定の閾値を超えた場合、推定部24は、当該範囲に対し、対応する請求項の重要度による重み付けを付与する。所定の範囲においていずれの請求項とも類似度が所定の閾値を超えない場合、推定部24は、当該範囲がいずれの請求項にも対応しないものとして、低く設定された重要度による重み付けを付与する。
【0035】
算出部25は、各範囲に発言者のラベル及び重要度が付与された特許明細書に基づいて、会議の各発言者の寄与度を算出する。具体的には、算出部25は、例えば、各発言者の発言に対応する特許明細書の範囲の量と、各範囲に付与された重要度と、の積和に基づいて、各発言者の寄与度を算出する。
【0036】
解析部23、推定部24及び算出部25は、後述の学習情報記憶部31に記憶された学習情報を学習データとして機械学習を行って構築されたモデルであってもよい。例えば、モデルは、会議情報及び書面情報を入力することで、発言者のラベル及び重要度が付与された範囲の範囲情報と、各発言者の寄与度を示す寄与度情報と、を出力するように構築される。
【0037】
提供部26は、算出部25によって算出された各発言者の寄与度を提示するための寄与度情報を、通信部10及びネットワークNを介して端末装置2に送信することで、各発言者の寄与度を提示するための寄与度情報をユーザUに提供する。
【0038】
学習部27は、会議情報取得部21が取得し解析部23がテキストデータに変換した会議情報と、書面情報取得部22が取得した書面情報と、解析部23及び推定部24によって各範囲に発言者のラベル及び重要度が付与された書面の情報を示す範囲情報と、算出部25によって算出された各発言者の寄与度の情報を示す寄与度情報と、を紐づけ、学習情報として、記憶部30の学習情報記憶部31に蓄積させる。
【0039】
記憶部30は、例えば、RAM、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、又は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置によって実現される。記憶部30には、各種の情報が記憶される。例えば、記憶部30は、学習情報記憶部31を有する。
【0040】
図3は、学習情報記憶部31の一例を示す図である。
図3に示す例では、学習情報記憶部31は、「会議情報」、「書面情報」、「範囲情報」及び「寄与度情報」といった項目を有する。「会議情報」は、会議における参加者の発言が録音された音声データについて、会議情報に含まれる音声を発言者毎にテキストに変換したテキストデータを示す。なお、会議情報取得部21が取得した会議情報にチャットログデータや、共有した資料への編集データが含まれる場合、テキストデータは、これらのテキストデータを更に含む。また、「書面情報」は、会議に基づいて作成された書面のテキストデータを示す。また、「範囲情報」は、「書面情報」について、発言者のラベル及び重要度が付与された各範囲の情報を示す。また、「寄与度情報」は、各発言者の寄与度の情報を示す。
【0041】
例えば、
図3に示す例において、「会議情報#1」に基づいて「書面情報#1」が作成され、この「書面情報#1」の各々に発言者のラベル及び重要度が付与された「範囲情報#1」に基づいて算出された各発言者の寄与度は「寄与度情報#1」に示すとおりである。ここで、
図3に示す例では、「会議情報#1」、「書面情報#1」、「範囲情報#1」及び「寄与度情報#1」といった抽象的な値を用いて図示するが、「会議情報#1」、「書面情報#1」、「範囲情報#1」及び「寄与度情報#1」には、具体的な文字列や数値等の情報が記憶されているものとする。
【0042】
なお、学習情報記憶部31は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、書面を作成するにあたって使用された資料が別途存在する場合は、作成者の情報を含む資料情報を会議情報に紐づけて、又は会議情報の一部として記憶してもよい。
【0043】
〔3.情報処理装置の処理フロー〕
次に、
図4を用いて、実施形態に係る情報処理装置1による処理手順について説明する。
図4は、実施形態に係る情報処理の流れの一例を示すフローチャートである。
【0044】
図4に示すように、情報処理装置1は、会議中の音声データを含む会議情報を取得する(ステップS101)。具体的には、会議情報取得部21が、会議中の少なくとも音声データを含む会議情報を取得する。
【0045】
また、情報処理装置1は、会議に基づいて作成された文書の書面情報を取得する(ステップS102)。具体的には、書面情報取得部22が、会議に基づいて作成された書面のテキストデータを含む書面情報を取得する。書面情報の取得は、会議情報の取得と同時でもよいし、会議情報の取得より前でもよい。
【0046】
次いで、情報処理装置1は、会議の各発言に対応する書面中の記載を特定し、特定した各範囲に発言者のラベル付けを行う(ステップS103)。具体的には、解析部23が、会議情報に含まれる音声を発言者毎にテキスト化してテキスト情報に変換し、変換した各発言のテキストと、特許明細書の各範囲との類似度を解析して、類似度が所定の閾値を超えた場合、当該発言が当該範囲に対応するものとして特定するとともに、特定した各範囲に発言者のラベル付けを行う。
【0047】
次いで、情報処理装置1は、各範囲の重要度を推定する(ステップS104)。具体的には、推定部24が、特許請求の範囲のツリー構造に基づいて各々の請求項の重要度による重み付けを設定し、特許明細書において発言者のラベル付けを行った各範囲の記載と、各請求項の記載との類似度を解析し、類似度が所定の閾値を超えた場合、当該範囲に対し、対応する請求項の重要度による重み付けを付与する。
【0048】
次いで、情報処理装置1は、発言範囲に基づいて、会議の各発言者の寄与度を算出する(ステップS105)。具体的には、算出部25が、各発言者の発言に対応する特許明細書の範囲の量と、各範囲に付与された重要度と、に基づいて、各発言者の寄与度を算出する。
【0049】
次いで、情報処理装置1は、寄与度情報を提供する(ステップS106)。具体的には、提供部26が、各発言者の寄与度を提示するための寄与度情報を、通信部10及びネットワークNを介して端末装置2に送信することで、各発言者の寄与度を提示するための寄与度情報をユーザUに提供する。
【0050】
次いで、情報処理装置1は、会議情報及び書面情報を学習情報に蓄積する(ステップS107)。具体的には、学習部27が、テキストデータに変換した会議情報と、書面情報と、各範囲に発言者のラベル及び重要度が付与された書面の情報を示す範囲情報と、を紐づけ、学習情報として、記憶部30の学習情報記憶部31に蓄積させる。
【0051】
上記では、書面が特許明細書である場合について例示したが、例えば、書面が論文である場合、特許請求の範囲の請求項のツリー構成に代えて、序論等の文章から重要度を推定するモデルを用いて重要度を推定してもよい。また、書面が議事録である場合、発言範囲の文章から重要度を推定するモデルを用いて重要度を推定してもよい。
【0052】
〔4.変形例〕
上記では、情報処理の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報処理の変形例について説明する。変形例では、情報処理装置1は、オンライン会議中、リアルタイムに会議情報から書面として議事録を生成し、発言者の寄与度を分析する処理を行う。
【0053】
図5は、変形例に係る情報処理システム100及び端末装置2の構成例を示す図である。変形例の情報処理システム100は、情報処理装置1と、会議に参加する参加者である複数のユーザUがそれぞれ操作する複数の端末装置2と、を有する。端末装置2は、通信部40と、操作部41と、音声入力部42と、音声出力部43と、表示部44と、制御部50と、記憶部60と、を備える。
【0054】
通信部40は、NIC等によって実現される。通信部40は、ネットワークNと有線又は無線で接続され、情報処理装置1及び他の端末装置2との間で情報の送受信を行う。
【0055】
操作部41は、ユーザUから各種操作を受け付ける入力装置である。操作部41は、例えば、文字、数字、及びスペースを入力するためのキー、エンターキー及び矢印キー等を含むキーボード、マウス、及び電源ボタン等によって実現される。表示部44がタッチパネルディスプレイの表示装置である場合、操作部41はタッチパネルを含んでいてもよい。なお、操作部41は、入出力ポート(I/O port)やUSB(Universal Serial Bus)ポート等を介して接続される外部装置であってもよい。
【0056】
音声入力部42は、ユーザUが発した音声の信号である音声信号をデジタル信号に変換し、変換したデジタル信号である音声デジタル信号を制御部20に音声情報として出力する。音声入力部42は、例えば、マイクロホンと、マイクロホンから出力される電気的なアナログ信号である音声信号をデジタル信号に変換するAD(Analog to Digital)変換器とを含む。
【0057】
音声出力部43は、例えば、制御部20から出力される音声情報であるデジタル音声信号をアナログ音声信号に変換するDA(Digital to Analog)変換器と、DA変換器から出力されるアナログ音声信号を音に変換して出力するスピーカとを備える。
【0058】
表示部44は、各種情報を表示する表示装置である。表示部44は、例えば、LCD(Liquid Crystal Display)又は有機EL(Electro Luminescence)ディスプレイ等によって実現される。また、表示部44がタッチパネル式のディスプレイである場合、表示部44の一部が操作部41として機能する。
【0059】
制御部50は、例えば、CPUやMPU等によって、端末装置2内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。例えば、また、制御部50は、例えば、ASICやFPGA等の集積回路により実現される。
【0060】
記憶部60は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部60には、各種の情報が記憶される。例えば、記憶部60には、情報処理装置1から送信されネットワークN及び通信部40を介して制御部50によって取得された情報等が記憶される。また、記憶部60には、ユーザUの発話に対応する音声データ及びテキストデータ等も記憶される。
【0061】
図6は、変形例に係る情報処理の流れの一例を示すフローチャートである。
図6に示す処理は、会議の開始から会議の終了まで、所定の周期で繰り返し実行される。
【0062】
情報処理装置1は、会議中の音声データを含む会議情報を取得する(ステップS111)。具体的には、会議情報取得部21が、会議に出席する複数のユーザUが操作する端末装置2から発言者(ユーザU)の発言の音声データを含む会議情報を、通信部10を介してリアルタイムで受信する。
【0063】
次いで、情報処理装置1は、会議情報に基づいて議事録を書面情報として生成し取得する(ステップS112)。具体的には、書面情報取得部22が、公知のAI議事録自動作成ツール等の音声認識技術を用いて、会議情報取得部21が取得した会議情報に基づいて会議の議事録を生成して書面情報として取得する。
【0064】
次いで、情報処理装置1は、会議の各発言に対応する書面中の記載を特定し、特定した各範囲に発言者のラベル付けする(ステップS113)。なお、ステップS113は、ステップS112と同時に実施してもよい。すなわち、議事録を書面情報として作成する際、同時に発言者(ユーザU)を判別してラベル付けを行ってもよい。
【0065】
次いで、情報処理装置1は、各範囲の重要度を推定する(ステップS114)。具体的には、推定部24が、議事録の発言範囲の文章から重要度を推定し、重要度による重み付けを付与する。
【0066】
情報処理装置1は、発言範囲に基づいて、会議の各発言者の寄与度を算出する(ステップS115)。具体的には、算出部25が、各発言者の発言に対応する議事録の範囲の量と、各範囲に付与された重要度と、に基づいて、各発言者の寄与度を算出する。
【0067】
情報処理装置1は、寄与度情報を更新して提供する(ステップS116)。具体的には、提供部26が、各発言者の寄与度を提示するための寄与度情報を、通信部10及びネットワークNを介して各々のユーザUの端末装置2に送信することで、各発言者の寄与度を提示するための寄与度情報をリアルタイムでユーザUに提供する。この寄与度情報は、会議の開始から会議の終了まで、所定の周期で更新して提供される。
【0068】
このように、リアルタイムで議事録を生成しつつ各発言者の寄与度を提示することで、会議の参加者が各発言者の寄与度を確認しながら会議を行い、寄与度の分配を調整することができる。すなわち、会議中に、例えば、全員が満遍なく貢献した議事録が作成されるように発言の少ない参加者に発言を促したり、論文の第一著者等の特定の参加者が最も貢献度が高くなるように当該参加者に発言を促したりすることが可能である。
【0069】
〔6.他の変形例〕
例えば、上記実施形態及び変形例において、情報処理装置1は、会議の参加者(発言者)を識別する識別情報と、当該発言者の発言に対応する書面情報の範囲と、の関係を含む学習情報を学習して生成された学習モデルにより、新たに取得した書面情報について、当該発言者に対応する書面中の記載の特定を補助してもよい。情報処理装置1は、例えば、当該会議の参加者のうち発言者Eが画像処理に関して発言が多いという情報を学習モデルが有している場合、書面情報の画像処理に関する範囲は発言者Eだろうという推定が可能である。これにより、会議情報の発言ログデータが欠損していたり、書面情報の所定の範囲に類似する発言が見つけられなかったりした場合でも、貢献者を推定することができる。
【0070】
また、情報処理装置1が実行している処理の一部又は全部は、実際には、端末装置2の一台が実行してもよい。例えば、スタンドアローン(Stand-alone)で(端末装置2単体で)処理が完結してもよい。この場合、端末装置2の少なくとも一台に、上記の実施形態における情報処理装置1の機能が備わっているものとする。また、上記の実施形態では、端末装置2は情報処理装置1と連携しているため、ユーザUから見れば、情報処理装置1の処理も端末装置2が実行しているように見える。すなわち、他の観点では、端末装置2は、情報処理装置1を備えているともいえる。
【0071】
また、上記実施形態における情報処理装置1の制御部20及び端末装置2の制御部50の内部構成は、
図2及び
図5に示した構成に限られず、上述した情報処理を行う構成であれば他の構成であってもよい。また、制御部20、50が有する各処理部の接続関係は、
図2及び
図5に示した接続関係に限られず、他の接続関係であってもよい。
【0072】
〔7.効果〕
上述したように、情報処理装置1は、会議の結果作成された書面に対する各発言者の寄与度の判断を支援することができる。例えば、情報処理装置1は、会議に基づいて作成された書面の会議における発言者の各発言に対応する範囲と、当該範囲の書面における重要度とから、発言者による寄与度を算出できる。また、情報処理装置1は、会議における発言者の発言と書面の範囲との類似度が所定の閾値を超えた場合、当該発言が当該範囲に対応するものとして特定することができる。また、情報処理装置1は、会議中の発言者による発言の音声データを含む会議の情報である会議情報に含まれる発言の音声を、発言者毎にテキスト化してテキスト情報に変換し、変換した各発言のテキストと、書面の各範囲との類似度を解析することができる。また、情報処理装置1は、特定した範囲に対応する発言の発言者のラベル付けを行うことができる。また、書面が特許明細書である場合、情報処理装置1は、特許明細書の発明の詳細な説明の各範囲の記載と、各々の請求項の記載との類似度を解析し、当該類似度が所定の閾値を超えた場合、当該範囲に対し、対応する請求項の重要度による重み付けを付与することができる。また、情報処理装置1は、特許請求の範囲のツリー構造に基づいて各々の請求項の重要度による重み付けを設定することができる。また、情報処理装置1は、会議情報に基づいて、会議の議事録を生成し、会議に基づいて作成された書面の情報である書面情報として取得することができる。
【0073】
〔8.ハードウェア構成〕
上述してきた実施形態に係る情報処理装置1は、例えば
図7に示すような構成のコンピュータ80によって実現される。
図7は、ハードウェア構成の一例を示す図である。コンピュータ80は、CPU81、RAM82、ROM(Read Only Memory)83、HDD84、通信インターフェイス(I/F)85、入出力インターフェイス(I/F)86、及びメディアインターフェイス(I/F)87を有する。
【0074】
CPU81は、ROM83又はHDD84に記憶されたプログラムに基づいて動作し、各部の制御を行う。ROM83は、コンピュータ80の起動時にCPU81によって実行されるブートプログラムや、コンピュータ80のハードウェアに依存するプログラム等を記憶する。
【0075】
HDD84は、CPU81によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス85は、ネットワークN(
図2参照)を介して他の機器からデータを受信してCPU81へ送り、CPU81が生成したデータを、ネットワークNを介して他の機器に送信する。
【0076】
CPU81は、入出力インターフェイス86を介して、ディスプレイやプリンタ等の出力装置、及び、キーボード又はマウス等の入力装置を制御する。CPU81は、入出力インターフェイス86を介して、入力装置からデータを取得する。また、CPU81は、入出力インターフェイス86を介して生成したデータを出力装置に出力する。
【0077】
メディアインターフェイス87は、記録媒体88に記憶されたプログラム又はデータを読み取り、RAM82を介してCPU81に提供する。CPU81は、かかるプログラムを、メディアインターフェイス87を介して記録媒体88からRAM82上にロードし、ロードしたプログラムを実行する。記録媒体88は、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。
【0078】
例えば、コンピュータ80が実施形態に係る情報処理装置1として機能する場合、コンピュータ80のCPU81は、RAM82上にロードされたプログラムを実行することにより、制御部20の機能を実現する。また、HDD84には、記憶部30内のデータが記憶される。コンピュータ80のCPU81は、これらのプログラムを記録媒体88から読み取って実行するが、他の例として、他の装置からネットワークNを介してこれらのプログラムを取得してもよい。
【0079】
〔9.その他〕
以上、本願の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。更に、前述した構成要素は適宜組み合わせることが可能である。更に、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【0080】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0081】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【0082】
例えば、上述した情報処理装置1は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティング等で呼び出して実現する等、構成は柔軟に変更できる。
【0083】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0084】
また、上記してきた「部(section、module、unit)」は、「手段」や「回路」等に読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【0085】
1 情報処理装置
2 端末装置
10、40 通信部
20、50 制御部
21 会議情報取得部
22 書面情報取得部
23 解析部
24 推定部
25 算出部
26 提供部
27 学習部
30、60 記憶部
31 学習情報記憶部
41 操作部
42 音声入力部
43 音声出力部
44 表示部
100 情報処理システム