IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 野上 英豊の特許一覧

特開2022-177388会話記憶プログラム、モバイル端末、及び、会話記憶システム
<>
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図1
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図2
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図3
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図4
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図5
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図6
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図7
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図8
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図9
  • 特開-会話記憶プログラム、モバイル端末、及び、会話記憶システム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022177388
(43)【公開日】2022-12-01
(54)【発明の名称】会話記憶プログラム、モバイル端末、及び、会話記憶システム
(51)【国際特許分類】
   H04M 1/72403 20210101AFI20221124BHJP
【FI】
H04M1/72403
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021083595
(22)【出願日】2021-05-18
(71)【出願人】
【識別番号】521213336
【氏名又は名称】野上 英豊
(74)【代理人】
【識別番号】100187838
【弁理士】
【氏名又は名称】黒住 智彦
(74)【代理人】
【識別番号】100220892
【弁理士】
【氏名又は名称】舘 佳耶
(74)【代理人】
【識別番号】100205589
【弁理士】
【氏名又は名称】日野 和将
(74)【代理人】
【識別番号】100194478
【弁理士】
【氏名又は名称】松本 文彦
(72)【発明者】
【氏名】野上 英豊
【テーマコード(参考)】
5K127
【Fターム(参考)】
5K127AA36
5K127BA03
5K127CB12
5K127HA05
5K127HA24
5K127JA49
5K127KA04
5K127KA11
5K127KA16
5K127KA19
(57)【要約】
【課題】
仕事の打ち合わせや日常会話での会話内容を自動的に要約して記憶する処理をコンピュータに実行させるための会話記憶プログラムを提供する。
【解決手段】
会話記憶プログラムを、発話者を識別する発話者識別手順と、どの発話がどの発話者によるものなのかを発話者識別手順により識別した状態で会話内容を記憶装置4に記憶させる会話内容記憶処理手順と、過去の会話内容を記憶装置4から読み出す会話内容読出手順と、記憶装置4に記憶される会話内容又は記憶装置4から読み出される会話内容を要約する会話内容要約手順とをコンピュータ(モバイル端末1など)に実行させるものとした。
【選択図】 図1
【特許請求の範囲】
【請求項1】
コンピュータを用いて会話内容を記憶する会話記憶プログラムであって、
発話者を識別する発話者識別手順と、
どの発話がどの発話者によるものなのかを発話者識別手順により識別した状態で、会話内容を記憶装置に記憶させる会話内容記憶処理手順と、
過去の会話内容を前記記憶装置から読み出す会話内容読出手順と、
前記記憶装置に記憶される会話内容、又は、前記記憶装置から読み出される会話内容を要約する会話内容要約手順と
をコンピュータに実行させることを特徴とする会話記憶プログラム。
【請求項2】
前記記憶装置に記憶される会話内容、又は、前記記憶装置から読み出される会話内容からToDoリストを作成するToDoリスト作成手順をさらにコンピュータに実行させる請求項1記載の会話記憶プログラム。
【請求項3】
発話者識別手順により識別された発話者が以前に会話を行った者である場合に、その発話者との以前の会話内容を前記記憶装置から読み出す自動会話内容読出手順をさらにコンピュータに実行させる請求項1又は2記載の会話記憶プログラム。
【請求項4】
会話内容記憶処理手順では、会話内容をネットワークに接続された記憶装置に記憶させ、
他人がその記憶装置に記憶した会話内容であっても自らが発話者として参加したものであれば、その会話内容を読み出す共有会話内容読出手順をさらにコンピュータに実行させる
請求項1~3いずれか記載の会話記憶プログラム。
【請求項5】
請求項1~4いずれか記載の会話記憶プログラムが実装されたモバイル端末。
【請求項6】
請求項5記載のモバイル端末を用いた会話記憶システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータを用いて会話内容を記憶する会話記憶プログラムと、そのプログラムが実装されたモバイル端末と、そのモバイル端末を用いた会話記憶システムとに関する。
【背景技術】
【0002】
仕事の打ち合わせでは、重要な事項については、メモを取るなど記録に残しておくのが一般的である。また、日常会話でも、自分や会話相手の発言について、失念しないように記録に残しておきたい場面がある。しかし、これらの記録を整理し、有効に活用することは必ずしも容易ではない。
【0003】
このような実状に鑑みて、これまでに、過去の会話の記録を管理するための種々の技術が提案されている。例えば、特許文献1には、医療現場での医療従事者と患者との会話を対象にしたものではあるが、医療従事者と患者との間でなされる会話を、録音・テキスト化して、後に確認できるようにしたプログラムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-144648号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示されるプログラムは、医療現場での医療従事者と患者との会話の記録に特化されており、仕事の打ち合わせなどでも快適に利用できるものとは言い難い。というのも、特許文献1のプログラムは、医療従事者と患者との間で為された会話を網羅的に記憶し、その会話の全文を表示する処理をコンピュータに行わせるものとなっている。この点、医療従事者と患者との会話は、医療従事者からの質問に患者が答える形で進むことが多く、要点を得た短いものになりやすい。このため、特許文献1のプログラムのように、過去の会話を確認する際に、会話の全文が表示されるものであっても、その確認にはそれほど手間を要さない。しかし、仕事の打ち合わせは、1回で1~2時間に及ぶことも頻繁にあることに加えて、会話の参加人数も多くなりやすい。したがって、会話の全文を確認するのには、時間も手間も要する。
【0006】
本発明は、上記課題を解決するために為されたものであり、長時間に及ぶ会話など、要点が分かりにくい会話であっても、そのときの会話内容を後から効率的に確認することができる会話記憶プログラムを提供するものである。また、この会話記憶プログラムが実装されたモバイル端末を提供することも本発明の目的である。さらに、このモバイル端末を用いた会話記憶システムを提供することも本発明の目的である。
【課題を解決するための手段】
【0007】
上記課題は、
コンピュータを用いて会話内容を記憶する会話記憶プログラムであって、
発話者を識別する発話者識別手順と、
どの発話がどの発話者によるものなのかを発話者識別手順により識別した状態で、会話内容を記憶装置に記憶させる会話内容記憶処理手順と、
過去の会話内容を前記記憶装置から読み出す会話内容読出手順と、
前記記憶装置に記憶される会話内容、又は、前記記憶装置から読み出される会話内容を要約する会話内容要約手順と
をコンピュータに実行させることを特徴とする会話記憶プログラム
を提供することによって解決される。
【0008】
本発明の会話記憶プログラムを用いると、会話内容を要約することが可能になる。このため、過去の会話を後から確認する際には、その会話の全文ではなく、要約を読めば済むようになる。したがって、会話の確認時間を短縮できるなど、過去の会話内容を効率的に確認することが可能になる。
【0009】
本発明の会話記憶プログラムは、前記記憶装置に記憶される会話内容、又は、前記記憶装置から読み出される会話内容からToDoリストを作成するToDoリスト作成手順をさらにコンピュータに実行させるものとなっていることが好ましい。これにより、会話相手又は自らがすべき仕事・タスク(ToDoリスト)を容易に確認することができ、仕事の分担についての誤解やタスク自体の失念を防ぐことができる。
【0010】
本発明の会話記憶プログラムは、自動会話内容読出手順(発話者識別手順により識別された発話者が以前に会話を行った者である場合に、その発話者との以前の会話内容を前記記憶装置から読み出す手順)をコンピュータに実行させるものとなっていることが好ましい。これにより、過去に会話を行ったことがある相手と再会したときに、その相手との過去の会話内容を迅速に確認でき、その相手との会話を円滑に進めることができるようになる。
【0011】
本発明の会話記憶プログラムで実行される会話内容記憶処理手順では、会話内容をネットワークに接続された記憶装置に記憶させることが好ましい。これにより、ネットワークに接続した人であれば、過去の会話内容にアクセスすることができるようになる。この場合において、会話記憶プログラムは、共有会話内容読出手順(他人がその記憶装置に記憶した会話内容であっても自らが発話者として参加したものであれば、その会話内容を読み出す手順)をコンピュータに実行せるものとなっていることが好ましい。これにより、過去の会話内容をその会話の参加者全員でネットワークを介して共有することが可能になる。
【0012】
また、上記課題は、上述した本発明の会話記憶プログラムを実装したモバイル端末を提供することによっても解決される。これにより、どこででも会話内容を記録でき、また、その会話内容を簡単にかつ迅速に確認できるようになる。
【0013】
さらにまた、上記モバイル端末を用いた会話記憶システムを構築することが好ましい。これにより、当該システムに接続する他の機器により記憶された会話内容を、上記モバイル端末から容易に参照できるようになる。
【発明の効果】
【0014】
以上のように、本発明によって、長時間に及ぶ会話など、要点が分かりにくい会話であっても、そのときの会話内容を後から効率的に確認することができる会話記憶プログラムを提供することが可能になる。また、この会話記憶プログラムが実装されたモバイル端末を提供することも可能になる。さらに、このモバイル端末を用いた会話記憶システムを提供することも可能になる。
【図面の簡単な説明】
【0015】
図1】会話記憶プログラムが実装されるモバイル端末のブロック図である。
図2】記憶装置に記憶される会話内容等のデータ構造を示す表である。
図3】ディスプレイに表示される会話内容を例示する模式図である。
図4】会話内容要約手順を示すフローチャートである。
図5】会話内容要約手順の処理工程を説明するための会話内容を例示する表である。
図6】質問文,相槌文,短文等削除工程が実行された後の会話内容を例示する表である。
図7】意味重複文削除工程が実行された後の会話内容を例示する表である。
図8】整文工程が実行された後の会話内容を例示する表である。
図9】会話記憶プログラムのToDoリスト作成手順を示すフローチャートである。
図10】依頼文周辺抽出工程が実行された後の会話内容を例示する表である。
【発明を実施するための形態】
【0016】
本発明の好適な実施形態について、図面を用いて具体的に説明する。以下で説明する構成は、あくまで実施例に過ぎず、本発明の技術的範囲は、以下で説明する構成に限定されない。以下で説明する実施形態には、本発明の趣旨を損なわない範囲で適宜変更を施すことが可能である。
【0017】
以下ではまず、本実施形態の会話記憶プログラムを実行するためのデバイスについて説明する。次いで、本実施形態に係る会話記憶プログラムの主要な構成である会話内容要約手順及びToDoリスト作成手順の具体的な処理工程について説明する。
【0018】
1.デバイスの構成
図1は、本実施形態の会話記憶プログラムが実装されたモバイル端末1を示すブロック図である。モバイル端末1には、例えば、スマートフォン、ウェアラブル端末、ノート型パソコン等のモバイルコンピューティングデバイスを利用することができる。モバイル端末1は、無線通信により、インターネット(外部ネットワーク)2を通じて、他の端末3や記憶装置4(一般にクラウドストレージと呼ばれる。)と各種のデータをやり取りできるようになっている。このようなモバイル端末1を含むネットワークシステムを、会話記憶システム5と呼ぶこととする。
【0019】
会話記憶プログラムは、モバイル端末1に、その利用者(持ち主)と会話相手との間でなされる会話を自動的に記憶させるものである。モバイル端末1は、会話記憶プログラムを実行するための処理手段11を備えている。処理手段11は、プロセッサやメモリなどによって構成される。モバイル端末1は、処理手段11の他にも、カメラなどの撮像手段12、マイクロフォンなどの収音手段13、液晶ディスプレイなどの表示手段14等も備えている。
【0020】
会話記憶プログラムは、発話者識別手順、会話内容記憶処理手順、会話内容要約手順、ToDoリスト作成手順、会話内容読出手順、会話内容自動読出手順、及び、共有会話内容読出手順が、プロセッサによって処理可能なコード(プログラミング言語)で記述されたものである。処理手段11は、会話記憶プログラムの各種手順を実行する機能ユニットとして、発話者識別手順実行部11a、会話内容記憶処理手順実行部11b、会話内容要約手順実行部11c、ToDoリスト作成手順実行部11d、会話内容読出手順実行部11e、会話内容自動読出手順実行部11f、及び、共有会話内容読出手順実行部11gを備えている。
【0021】
発話者識別手順実行部11a(以降、識別部11aと呼ぶ。)は、撮像手段12によって得られる画像データ及び/又は収音手段13によって得られる音声データに基づいて、会話の中で発話者が誰であるかを識別するようになっている。発話者を識別する具体的な手段・方法は、周知の技術を利用することができ、例えば、AI(人工知能)を用いた顔認証技術や声紋解析技術を利用することができる。
【0022】
会話内容記憶処理手順実行部11b(以降、記憶処理部11bと呼ぶ。)は、会話の中のどの発話がどの発話者によるものなのかが識別された状態で、その会話内容を記憶するようになっている。具体的には、識別部11aにより識別された現在発話している者と、収音手段13で得られた音声データとを関連付けたうえで、記憶装置4に記憶するようになっている。なお、会話内容は、記憶装置4ではなく、処理手段11を構成するメモリに記憶されてもよく、また、それらの両方に記憶されてもよい。
【0023】
音声データは、テキストデータに変換されたうえで記憶される。音声データがテキストデータに変換されていると、会話内容の検索や事後的なデータ整理が容易となる。
【0024】
会話内容要約手順実行部11c(以降、要約部11cと呼ぶ。)は、後で説明するように、記憶装置4に記憶される会話内容、又は、記憶装置4から読み出される会話内容を編集して、その会話内容の要約を作成するようになっている。また、ToDoリスト作成手順実行部11d(以降、ToDo作成部11dと呼ぶ。)は、後で説明するように、記憶装置4に記憶される会話内容、又は、記憶装置4から読み出される会話内容からToDoリストを作成するようになっている。
【0025】
図2は、記憶装置4に記憶される会話内容等のデータ構造を示す表である。記憶装置4には、発話者と会話内容とが関連付けされて記憶されている。また、会話が行われた日時、要約部11cやToDo作成部11dで作成される要約やToDoリストとも関連付けされて記憶されている。例えば、本実施形態では、データ構造の最初に、西暦2021年4月1日13時15分に発話者A,Bとの間で交わされた会話内容D、その要約S及びToDoリストTが、相互に関連付けされて記憶されている。
【0026】
図1に戻って、モバイル端末1のブロック図の説明を続ける。会話内容読出手順実行部11e(以降、読出部11eと呼ぶ。)は、記憶装置4に記憶された所望の会話内容を読み出して、表示手段14に表示するようになっている。また、会話内容の他にも、その要約やToDoリストを読み出して、表示手段14に表示するようになっている。
【0027】
図3は、表示手段14に会話内容Dが表示される様子を示す模式図である。本実施形態においては、記憶された会話のリストが表示手段14に表示され、利用者がそのリストのなかから所望の会話を選択することにより、その選択された会話の内容が閲覧できるようになっている。例えば、利用者が、記憶装置4に記憶されるデータ構造の最初の会話(2021年4月1日13時15分に発話者A,Bとの間で交わされた会話)を選択することにより、図3に示すように、会話内容D1が表示手段14に表示されるようになっている。同じ要領で、要約S(具体的な内容は図8参照)やToDoリストも表示手段14に表示されるようになっている。
【0028】
図1に戻って、モバイル端末1のブロック図の説明を続ける。会話内容自動読出手順実行部11f(以降、自動読出部11fと呼ぶ。)は、識別部11aにより識別された発話者が以前に会話を行った者である場合に、その発話者との以前の会話内容を記憶装置4から読み出して、表示手段14に表示するようになっている。
【0029】
例えば、モバイル端末1の利用者が発話者Aであり、2021年4月15日以降に発話者Bと再会する場合を想定する。このような場合において、自動読出部11fは、識別部11aにより発話者Bが識別されたときに、自動的に会話内容D(あるいはその要約S及びToDoリストT)を記憶装置4から読み出すようになっている。モバイル端末1が自動読出部11fを備えていることにより、過去に会話を行ったことがある相手と再会した時などに、その相手との過去の会話内容を迅速に確認でき、その相手との会話を円滑に進めることができる。
【0030】
共有会話内容読出手順実行部11g(以降、共有読出部11gと呼ぶ。)は、他人によって記憶された会話内容であっても、自らが発話者として参加したものであれば、その会話内容を読み出して、表示手段14に表示するようになっている。
【0031】
例えば、モバイル端末1の利用者が発話者Bであり、インターネット2に接続する端末3の利用者が発話者Aである場合を想定する。また、図2に示されるデータ構造が端末3から記憶装置4に記憶されたものとする。
【0032】
このような場合であっても、モバイル端末1の利用者である発話者Bが会話に参加しているものであれば、共有読出部11gは、記憶装置4から会話内容D(あるいはその要約S及びToDoリストT)を読み出せるようになっている。モバイル端末1が共有読出部11gを備えていることにより、会話相手と会話内容を共有でき、会話相手との会話内容に対する理解の相違を防ぐことができる。
【0033】
2.会話内容要約手順の処理工程(要約部の動作)
2-1.フローチャート
図4は、会話記憶プログラムの会話内容要約手順を示すフロー図である。図4に示される処理工程が、要約部11c(図1参照)によって実行されることになる。
【0034】
会話内容要約手順は、質問文削除工程S101、相槌文削除工程S102、短文削除工程S103、意味重複文削除工程S104、整文工程S105等を備えたものとなっている。会話内容要約手順は、記憶装置4に会話内容を記憶する際、又は、記憶装置4から会話内容を読み出す際に開始される。以下、各工程S101~S105で行われる処理について、具体的な会話内容を参照しながら説明する。
【0035】
2-2.具体的な会話内容
図5は、発話者A,Bの間で交わされた具体的な会話内容Dを示す表である。会話内容Dは、発話者A,Bによる発話L01~L28よって構成されるものとする。発話L01~L28の具体的な意味内容は図示の通りである。
【0036】
2-3.質問文、相槌文、短文等削除工程
図6は、質問文削除工程S101、相槌文削除工程S102及び短文削除工程S103の実行により会話内容Dが編集された後の会話内容Dαを示す表である。図6では、会話内容Dから削除された発話に取り消し線が施されている。
【0037】
まず、質問文削除工程S101では、「~ですか?」等の会話相手に質問する趣旨の発話が削除されるようになっている。具体的には、質問文削除工程S101において、発話L01,L03,L05,L09,L15,L18,L20,L23,L25が削除される。
【0038】
続いて、相槌文削除工程S102では、「~ですね。」等の会話相手に対して理解や同意を表す趣旨の発話が削除されるようになっている。具体的には、相槌文削除工程S102において、発話L06,L08,L14,L17,L21,L26が削除される。
【0039】
続いて、短文削除工程S103では、ごく短い発話が削除されるようになっている。具体的には、短文削除工程S103において発話L04が削除される。
【0040】
2-4.意味重複文削除工程
図7は、意味重複文削除工程S104の実行により会話内容Dαが編集された後の会話内容Dβを示す表である。図7では、会話内容Dαから削除された発話に取り消し線が施されている。
【0041】
意味重複文削除工程S104では、意味内容が重複している発話が削除されるようになっている。具体的には、発話L07,L10,L11の内容が、発話L12,L13の内容と重複しているとして削除される。
【0042】
2-5.整文工程
図8は、整文工程S105の実行により会話内容Dβが編集された後の会話内容、つまり要約Sを示す表である。図8では、会話内容Dβから削除された箇所に取り消し線が施されており、会話内容Dβから変更修正された箇所に下線が施されている。整文工程S105では、口語体から文語体への変換、冗長な副詞や接続詞、間投詞等の削除が行われ、発話の内容が整えられる。
【0043】
このような工程S101~S105を経ることによって、会話内容Dの要約Sが作成される。工程S101~S105では、例えば、AIを用いた文章把握技術、言語処理技術等を利用することができる。このように作成される要約Sは、事後的に会話内容Dの概要を短時間で把握したい場合などに役立つものとなっている。
【0044】
なお、工程S101~S105の実行順序は、適宜入れ替え可能である。また、会話内容要約手順には、工程S101~S105以外の適当な会話内容編集工程が加えられてもよい。
【0045】
3.ToDoリスト作成手順の処理工程(ToDo作成部の動作)
図9は、会話記憶プログラムのToDoリスト作成手順を示すフロー図である。図9に示される処理工程が、ToDo作成部11d(図1参照)によって実行されることになる。
【0046】
ToDoリスト作成手順は、依頼文周辺抽出工程S201、及び、ToDo推定工程S202を備えたものとなっている。ToDoリスト作成手順は、記憶装置4に会話内容を記憶する際、又は、記憶装置4から会話内容を読み出す際に開始される。以下、各工程S201,S202で行われる処理を、既出の会話内容D図5参照)を例にして説明する。
【0047】
図10は、依頼文周辺抽出工程S201の実行により会話内容Dから抽出された会話内容Dγを示す表である。依頼文周辺抽出工程S201では、「~してください。」、「~をお願いします。」等の会話相手に依頼する趣旨の発話の前後が抽出されるようになっている。具体的には、発話L25を依頼文として検出し、その周辺の発話L24~L27が抽出される。
【0048】
ToDo推定工程S202では、依頼文周辺抽出工程S201により抽出された発話の内容及び/又は会話内容Dの全体の文脈からToDoリストが推定されるようになっている。具体的には、「発話者Bに今日(2021年4月15日)中に特許調査の見積書をメールする」旨のToDoリストが推定されるようになっている。なお、ToDoリストの推定には、AIを用いた文章把握技術、言語処理技術等を利用することができる。
【0049】
このように作成されるToDoリストは、処理すべき仕事・タスクを端的に確認したい場合などに役立つものとなっている。なお、ToDoリスト作成手順には、工程S201,S202以外の適当な会話内容加工工程が加えられてもよい。
【符号の説明】
【0050】
1 モバイル端末
2 インターネット(外部ネットワーク)
3 端末
4 記憶装置(クラウドストレージ)
5 会話記憶システム
11 処理手段
11a 発話者識別手順実行部(識別部)
11b 会話内容記憶処理手順実行部(記憶処理部)
11c 会話内容要約手順実行部(要約部)
11d ToDoリスト作成手順実行部(ToDo作成部)
11e 会話内容読出手順実行部(読出部)
11f 会話内容自動読出手順実行部(自動読出部)
11g 共有会話内容読出手順実行部(共有読出部)
12 撮像手段(カメラ)
13 収音手段(マイクロフォン)
14 表示手段(ディスプレイ)
会話内容
α 会話内容(質問文、相槌文、短文等削除工程実行後)
β 会話内容(意味重複文削除工程実行後)
γ 会話内容(依頼文周辺抽出工程実行後)
要約
S101 質問文削除工程
S102 相槌文削除工程
S103 短文削除工程
S104 意味重複文削除工程
S105 整文工程
S201 依頼文周辺抽出工程
S202 ToDo推定工程

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10