特開2020-24556(P2020-24556A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士ゼロックス株式会社の特許一覧
特開2020-24556情報処理システム、端末装置、情報処理装置およびプログラム
<>
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000003
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000004
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000005
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000006
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000007
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000008
  • 特開2020024556-情報処理システム、端末装置、情報処理装置およびプログラム 図000009
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-24556(P2020-24556A)
(43)【公開日】2020年2月13日
(54)【発明の名称】情報処理システム、端末装置、情報処理装置およびプログラム
(51)【国際特許分類】
   G06F 3/16 20060101AFI20200121BHJP
   G10L 15/10 20060101ALI20200121BHJP
   G06F 3/01 20060101ALI20200121BHJP
   G10L 25/03 20130101ALI20200121BHJP
【FI】
   G06F3/16 650
   G10L15/10 500Z
   G06F3/16 640
   G06F3/01 560
   G10L25/03
【審査請求】未請求
【請求項の数】14
【出願形態】OL
【全頁数】15
(21)【出願番号】特願2018-148528(P2018-148528)
(22)【出願日】2018年8月7日
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士ゼロックス株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】関根 晃
(72)【発明者】
【氏名】サラス ビネシュ
(72)【発明者】
【氏名】ムラリ スレシュ
(72)【発明者】
【氏名】内橋 真吾
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA11
5E555AA28
5E555AA71
5E555BA21
5E555BA38
5E555BB38
5E555BC30
5E555CA47
5E555CB64
5E555DA02
5E555DA24
5E555DC32
5E555DD06
5E555DD08
5E555EA03
5E555EA23
5E555FA00
(57)【要約】      (修正有)
【課題】会話を行っているユーザに対し、話し方の支援を行うことを目的とする情報処理システムを提供する。
【解決手段】情報処理システムにおいてサーバ装置20は、端末装置からユーザを含む複数人の会話の音声情報を取得する音声取得手段と、音声情報から話し方に関する会話情報を特定する特定手段と、特定手段によって特定された会話情報に基づいて、ユーザの会話の支援に関する会話支援情報をユーザに対して通知を行う通知手段および送信手段と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、
前記音声情報から話し方に関する会話情報を特定する特定手段と、
前記特定手段によって特定された前記会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、
を備える情報処理システム。
【請求項2】
前記通知手段は、前記ユーザと対話する対話者の話し方に応じた特定の内容を当該ユーザに対して通知する請求項1に記載の情報処理システム。
【請求項3】
前記通知手段は、前記対話者の会話速度に応じた内容を通知する請求項2に記載の情報処理システム。
【請求項4】
前記通知手段は、前記ユーザが所持するユーザ端末装置の振動のタイミングを異ならせることで、前記対話者の会話速度に応じた内容を通知する請求項3に記載の情報処理システム。
【請求項5】
前記通知手段は、前記対話者の発声音量に応じた内容を通知する請求項2に記載の情報処理システム。
【請求項6】
前記通知手段は、前記ユーザが所持するユーザ端末装置の振動の大きさを異ならせることで、前記対話者の発声音量に応じた内容を通知する請求項5に記載の情報処理システム。
【請求項7】
前記通知手段は、前記ユーザが発話を行っているときに前記通知を行う請求項1乃至6のいずれか1項に記載の情報処理システム。
【請求項8】
前記通知手段は、前記ユーザが発話を行う前までに特定された前記会話情報に基づいて前記通知を行う請求項7に記載の情報処理システム。
【請求項9】
前記ユーザの前記会話情報を表示する表示手段を備える請求項1または2に記載の情報処理システム。
【請求項10】
前記表示手段は、前記ユーザと当該ユーザと対話する対話者との相対的な前記会話情報の関係を表示する請求項9に記載の情報処理システム。
【請求項11】
ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、
前記音声情報から特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、
を備える端末装置。
【請求項12】
ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、
前記音声情報から話し方に関する会話情報を特定する特定手段と、
前記特定手段によって特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する送信手段と、
を備える情報処理装置。
【請求項13】
ユーザが所持する端末装置として機能するコンピュータに、
前記ユーザを含む複数人の会話の音声情報を取得する機能と、
前記音声情報によって特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う機能と、
を実現するプログラム。
【請求項14】
情報処理装置として機能するコンピュータに、
ユーザを含む複数人の会話の音声情報を取得する機能と、
前記音声情報から話し方に関する会話情報を特定する機能と、
特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する機能と、
を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、端末装置、情報処理装置およびプログラムに関する。
【背景技術】
【0002】
例えば特許文献1には、受話音声の会話速度と、送話音声の会話速度とをそれぞれ測定し、受話音声と送話音声との各会話速度の差が、一定値以上となった場合に、受話音声と送話音声との会話速度の差を縮めるよう受話音声の出力速度を調整する話速変換手段とを備える電話装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−311754号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
会話を行っている話者が、対話者に与える印象は、会話の内容よりも、例えば話し方などの非言語情報の部分の寄与が大きいと考えられている。例えば、話者が早口になってしまったために、対話者の理解を得られなくなってしまったり、話者の発声音量が過大になったために、対話者の心証を悪くしてしまったりする場合がある。
【0005】
本発明は、会話を行っているユーザに対し、話し方の支援を行うことを目的とする。
【課題を解決するための手段】
【0006】
請求項1に記載の発明は、ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、前記音声情報から話し方に関する会話情報を特定する特定手段と、前記特定手段によって特定された前記会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、を備える情報処理システムである。
請求項2に記載の発明は、前記通知手段は、前記ユーザと対話する対話者の話し方に応じた特定の内容を当該ユーザに対して通知する請求項1に記載の情報処理システムである。
請求項3に記載の発明は、前記通知手段は、前記対話者の会話速度に応じた内容を通知する請求項2に記載の情報処理システムである。
請求項4に記載の発明は、前記通知手段は、前記ユーザが所持するユーザ端末装置の振動のタイミングを異ならせることで、前記対話者の会話速度に応じた内容を通知する請求項3に記載の情報処理システムである。
請求項5に記載の発明は、前記通知手段は、前記対話者の発声音量に応じた内容を通知する請求項2に記載の情報処理システムである。
請求項6に記載の発明は、前記通知手段は、前記ユーザが所持するユーザ端末装置の振動の大きさを異ならせることで、前記対話者の発声音量に応じた内容を通知する請求項5に記載の情報処理システムである。
請求項7に記載の発明は、前記通知手段は、前記ユーザが発話を行っているときに前記通知を行う請求項1乃至6のいずれか1項に記載の情報処理システムである。
請求項8に記載の発明は、前記通知手段は、前記ユーザが発話を行う前までに特定された前記会話情報に基づいて前記通知を行う請求項7に記載の情報処理システムである。
請求項9に記載の発明は、前記ユーザの前記会話情報を表示する表示手段を備える請求項1または2に記載の情報処理システムである。
請求項10に記載の発明は、前記表示手段は、前記ユーザと当該ユーザと対話する対話者との相対的な前記会話情報の関係を表示する請求項9に記載の情報処理システムである。
請求項11に記載の発明は、ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、前記音声情報から特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、を備える端末装置である。
請求項12に記載の発明は、ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、前記音声情報から話し方に関する会話情報を特定する特定手段と、前記特定手段によって特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する送信手段と、を備える情報処理装置である。
請求項13に記載の発明は、ユーザが所持する端末装置として機能するコンピュータに、前記ユーザを含む複数人の会話の音声情報を取得する機能と、前記音声情報によって特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う機能と、を実現するプログラムである。
請求項14に記載の発明は、情報処理装置として機能するコンピュータに、ユーザを含む複数人の会話の音声情報を取得する機能と、前記音声情報から話し方に関する会話情報を特定する機能と、特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する機能と、を実現するプログラムである。
【発明の効果】
【0007】
請求項1、11、12、13および14の発明によれば、会話を行っているユーザに対し、話し方の支援を行うことができる。
請求項2の発明によれば、ユーザの話し方を対話者の話し方に合わせることが可能になる。
請求項3の発明によれば、ユーザの会話速度を対話者の会話速度に合わせることが可能になる。
請求項4の発明によれば、ユーザ端末装置の振動タイミングによってユーザに対して直感的に会話速度を意識させることができる。
請求項5の発明によれば、ユーザの発声音量を対話者の発声音量に合わせることが可能になる。
請求項6の発明によれば、ユーザ端末装置の振動の大きさによってユーザに対して直感的に発声音量を意識させることができる。
請求項7の発明によれば、ユーザが自身の話し方に対する通知であることを認識することができる。
請求項8の発明によれば、ユーザと対話者との会話が進むごとに更新された会話情報に基づいてユーザに通知を行うことができる。
請求項9の発明によれば、ユーザが自身の会話情報の内容を視覚的に認識することができる。
請求項10の発明によれば、ユーザは、ユーザ自身と対話者との相対的な会話情報の比較を行うことが可能になる。
【図面の簡単な説明】
【0008】
図1】本実施形態の会話支援システムの一例としての全体図である。
図2】本実施形態のサーバ装置の機能構成を示す図である。
図3】(A)〜(E)は、端末装置における振動パターンの説明図である。
図4】本実施形態において会話状態の形成を特定する動作フローである。
図5】本実施形態において会話情報を特定する際の動作フローである。
図6】本実施形態においてユーザの会話の支援を行うときの動作フローである。
図7】(A)および(B)は、本実施形態の履歴情報に基づく画面の表示例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明を実施するための形態について説明する。
[会話支援システム1]
図1は、本実施形態の会話支援システム1の一例としての全体図である。
【0010】
図1に示すように、本実施形態の会話支援システム1は、画面10dが設けられて情報処理を行う端末装置10と、少なくとも端末装置10との間で情報通信するとともに情報処理を行うサーバ装置20と、を備えている。そして、会話支援システム1において、端末装置10およびサーバ装置20は、ネットワークを介して相互に情報通信が可能になっている。
【0011】
なお、ネットワークは、各装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばLAN(Local Area Network)、WAN(Wide Area Network)、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、各装置は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されても良い。
【0012】
さらに、図1に示す例では、一つのサーバ装置20が示されているが、サーバ装置20は、単体のサーバマシンに限定されない。サーバ装置20は、ネットワーク上に設けられた複数のサーバマシンに分散させてサーバ装置20の機能を実現しても良い(いわゆるクラウド環境等)。
また、図1に示す例では、端末装置10として1つの端末装置10を例示しているが、複数の端末装置10が接続していても良い。
【0013】
ここで、日常的に、ユーザとユーザの対話者(以下、ユーザと対話者とを特に区別しない場合には、話者と呼ぶ。)とが会話を行うシーンは多い。例えば、ビジネスの現場では、商談や面談、打ち合わせ、プレゼンテーションなどの対面による会話、コールセンターなどの非対面による会話などがある。このような会話において、ユーザは、対話者と会話を行った結果、うまく自分の意図が対話者に伝わらず、ミスコミュニケーションを起こしてしまう場合がある。ミスコミュニケーションが起こった原因は、様々なことが考えられるが、話し方が原因である場合もある。
【0014】
ところで、ユーザが対話者に与える影響に関して、メラビアンの法則が知られている。この法則では、言語よりも、態度などの視覚や話し方などの聴覚の方が、ユーザが対話者に与える影響が大きいことが説明されている。また、心理学的には、対話者との共感度を高めて警戒心を解くために、対話者の話し方や話すペースである会話速度や、声の大きさである発声音量に合わせることが良いとも言われている。このことは、コミュニケーションスキルの一つとしてペーシングとして知られている。
【0015】
そこで、本実施形態の会話支援システム1では、ユーザを含む複数人の会話の音声情報を取得し、取得した音声情報から話者の話し方に関する会話情報を特定し、特定された会話情報に基づいて、ユーザに対して通知を行うようにしている。
以下、会話支援システム1について、詳しく説明する。
【0016】
〔端末装置10〕
端末装置10は、ユーザから情報の入力を受け付けたり、画面10dに情報を表示することでユーザに対して情報を示したりする装置である。本実施形態の端末装置10には、例えばユーザの腕などユーザの身体に装着されるウェアラブル端末装置を用いることができる。
また、端末装置10は、ユーザの会話や、ユーザの周囲にいる他の人物の会話などのユーザを含めた周囲の音声を集音するマイクロフォンと、音を出力するスピーカとを有している。
さらに、本実施形態の端末装置10は、振動モータを有している。そして、端末装置10は、振動モータの動作に応じて、ユーザに対して振動により特定の通知を行う。
【0017】
〔サーバ装置20〕
図2は、本実施形態のサーバ装置20の機能構成を示す図である。
図2に示すように、サーバ装置20は、端末装置10から音声情報を取得する音声情報取得部21(音声取得手段の一例)と、話し方に関する会話情報を特定する会話情報特定部22(特定手段の一例)と、ユーザの会話の支援に関する会話支援情報をユーザに送信する支援情報提示部23(通知手段の一例、送信手段の一例)と、話し方に関する履歴情報を管理する履歴情報管理部24(表示手段の一例)と、を有する。
【0018】
(音声情報取得部21)
音声情報取得部21は、端末装置10のマイクロフォンで集音された音声情報を取得する。本実施形態の音声情報取得部21は、ユーザと対話者との会話の音声情報を取得する。そして、音声情報取得部21は、取得した音声情報を会話情報特定部22に送る。
【0019】
また、本実施形態の音声情報取得部21は、ユーザが対話者と会話状態になった場合に、音声情報を会話情報特定部22に送るようにしている。なお、会話状態とは、ユーザと対話者とが言葉を交わしている状態のことである。そして、音声情報取得部21は、音声情報として、予め定められた閾値レベル以上の音声が取得された場合に、ユーザが発した音声であると判断する。さらに、音声情報取得部21は、ユーザの音声である場合に、ユーザの話が終了した後に、一定時間の間に、対話者の音声が検知されることで、会話状態が形成されていると判断する。そして、音声情報取得部21は、ユーザと対話者との音声情報を会話情報特定部22に送る。
【0020】
また、本実施形態の音声情報取得部21は、取得した音声情報から、ユーザが発した音声と、他の対話者が発した音声とを特定する。音声情報取得部21は、端末装置10の所有者であるユーザ本人の声紋情報を予め登録しておく。そして、音声情報取得部21は、ユーザ本人の声紋情報に基づいて、音声情報のうちユーザの音声を特定する。さらに、音声情報取得部21は、対話者の声紋情報と対話者名とが対応付けられたデータベースを参照し対話者を特定する。なお、音声情報取得部21は、新規の対話者の音声情報を取得した場合には、その新規の対話者の声紋情報と任意の文字列(例えば、abc001)とを対応付けて登録する。また、話者名として登録された任意の文字列は、例えばユーザによって具体的な氏名に変更可能になっている。
【0021】
(会話情報特定部22)
会話情報特定部22は、音声情報取得部21から取得した音声情報に基づいて、話し方に関する会話情報を取得する。会話情報特定部22は、ユーザの音声情報に基づいて、ユーザの話し方を特定する。また、会話情報特定部22は、対話者の音声情報に基づいて、対話者の話し方を特定する。そして、会話情報特定部22は、特定したユーザの話し方、および対話者の話し方である会話情報を支援情報提示部23および履歴情報管理部24に送る。
【0022】
本実施形態では、会話情報特定部22は、話者の話し方の会話情報として、発言に関する情報と、発声音量に関する情報とを、それぞれ特定する。
【0023】
さらに、会話情報特定部22は、発言に関する情報として、話者ごとの発言の量である会話量と、発言の際における話者ごとの話すペースである会話速度と、話者ごとの発言の回数である発言回数と、をそれぞれ特定する。
まず、会話情報特定部22は、会話状態と認識された一定の時間において、話者ごとの会話量を特定する。本実施形態では、会話情報特定部22は、音声情報として取得した音声を、音声認識技術を用いて文字情報に変換する。そして、会話情報特定部22は、変換した文字情報に基づいて、話者ごとの会話量を算出する。
【0024】
例えば、会話情報特定部22は、音声情報として取得した会話の内容が日本語である場合には、会話の内容を平仮名に変換する。そして、会話情報特定部22は、平仮名の文字数(以下、単位を[w]とする)を会話量として特定する。また、会話情報特定部22は、音声情報として取得した会話の内容が英語である場合には、音節や単語数を会話量として特定する。
【0025】
そして、本実施形態の会話情報特定部22は、会話速度として、平均会話速度を算出する。本実施形態において、平均会話速度は、会話中の合計の会話量を、合計の会話時間で割ることで、単位時間当たりの会話速度として算出される。
【0026】
会話情報特定部22は、会話状態が終了している場合には、会話状態の開始から終了までの会話量を、会話状態の開始から終了までの時間で割ることで、平均会話速度を算出する。また、会話情報特定部22は、会話状態の途中であれば、会話状態の開始から、その時点までの会話量を、会話状態の開始からその時点までの経過時間で割ることで、その時点での平均会話速度を算出する。
例えば、ユーザと対話者との総会話時間は、X[min.]時間であるとする。そして、ユーザの会話量は、平仮名の文字数でa[w]であり、対話者の会話量は、平仮名の文字数でb[w]であるとする。この場合、ユーザの会話速度は、a/X[w/min.]となる。一方で、対話者の会話速度は、b/X[w/min.]となる。
【0027】
会話情報特定部22は、上述したとおり、話者ごとの発言回数を算出する。発言回数は、会話状態と認識された一定の時間における、話者ごとの発言の回数である。本実施形態では、会話情報特定部22は、話者が切り替わった時点で、それまでに発話をしていた話者の発言を1回とカウントする。
【0028】
会話情報特定部22は、会話状態が終了している場合には、会話状態の開始から終了までの各々の話者の発言の回数を、各々の話者の総発言回数とする。また、会話情報特定部22は、会話状態の途中であれば、会話状態の開始からその時点までの各々の話者の発言の回数を、その時点での各々の話者の発言回数とする。
【0029】
また、会話情報特定部22は、上述のとおり、発声音量に関する情報として、話者ごとの発声音量を特定する。
会話情報特定部22は、発声音量として、平均発声音量を算出する。本実施形態において、発声音量は、例えば、話者の声の音量を音圧レベル[db]によって特定する。また、会話情報特定部22は、発声音量は、予め定められた時間(例えば、1秒等)ごとに話者の発声音量を特定する。そして、本実施形態において、平均発声音量は、会話中の合計の発声音量を、合計の会話時間で割ることで、単位時間当たりの発声音量として算出される。
【0030】
会話情報特定部22は、会話状態が終了している場合には、会話状態の開始から終了までの発声音量を、会話状態の開始から終了までの時間で割ることで、平均発声音量を算出する。また、会話情報特定部22は、会話状態の途中であれば、会話状態の開始から、その時点までの発声音量を、会話状態の開始から、その時点までの経過時間で割ることで、その時点での平均発声音量を算出する。
【0031】
(支援情報提示部23)
支援情報提示部23は、会話情報特定部22から受け取った話者の話し方に関する会話情報に基づいて、ユーザの話し方を支援する会話支援情報を作成する。そして、支援情報提示部23は、作成した会話支援情報を端末装置10に送信する。
【0032】
本実施形態の支援情報提示部23は、取得した会話情報に基づいて、ユーザの話し方が対話者の話し方に合うようにユーザに指示する内容の会話支援情報を作成する。支援情報提示部23は、ユーザの話し方に関する会話情報と、対話者の話し方に関する会話情報との比較を行う。本実施形態の支援情報提示部23は、ユーザと対話者との会話速度および発声音量の比較を行う。そして、支援情報提示部23は、ユーザの会話速度が、対話者の会話速度に近づくように指示する内容の会話支援情報を作成する。さらに、支援情報提示部23は、ユーザの発声音量が対話者の発声音量に近づくように指示する内容の会話支援情報を作成する。
【0033】
図3は、端末装置10における振動パターンの説明図である。
本実施形態の支援情報提示部23は、会話支援情報に応じて、端末装置10の振動モータを予め定められたパターンにて振動させることで、ユーザに話し方を支援する通知を行う。支援情報提示部23は、図3(A)に示すように、予め定められた基準強度Isであって、予め定められた時間の振動を継続する振動単位Uを複数回、実行させる基準パターンの情報を有している。また、支援情報提示部23は、一の振動単位Uと他の振動単位Uとの間の時間間隔についても基準間隔Wsの情報を有している。
【0034】
支援情報提示部23は、ユーザの会話速度が対話者の会話速度よりも遅い場合には、ユーザの会話速度を速める内容の会話支援情報を作成する。この場合に、支援情報提示部23は、図3(B)に示すように、会話支援情報として、基準間隔Wsよりも時間間隔が短い短間隔W1の振動パターンを作成する。これに対して、ユーザの会話速度が対話者の会話速度よりも早い場合には、ユーザの会話速度を遅くする内容の通知を行う。この場合に、支援情報提示部23は、図3(C)に示すように、会話支援情報として、基準間隔Wsよりも時間間隔が長い長間隔W2の振動パターンを作成する。
【0035】
支援情報提示部23は、ユーザの発声音量が対話者の発声音量よりも大きい場合には、ユーザの発声音量を小さくする内容の会話支援情報を作成する。この場合に、支援情報提示部23は、図3(D)に示すように、会話支援情報として、基準強度Isよりも振動強度が低い低振動I1の振動パターンを作成する。これに対して、ユーザの発声音量が対話者の発声音量よりも小さい場合には、ユーザの発声音量を大きくする内容の会話支援情報を作成する。この場合に、支援情報提示部23は、図3(E)に示すように、基準強度Isよりも振動強度が高い高振動I2の振動パターンを作成する。
【0036】
なお、支援情報提示部23は、ユーザの会話速度が対話者の会話速度よりも遅い場合であって、ユーザの発声音量が対話者の発声音量よりも大きい場合には、短間隔W1かつ低振動I1の振動パターンを作成しても良い。
【0037】
さらに、支援情報提示部23は、ユーザの会話速度が対話者の対話速度に合っている場合には、基準の間隔での振動パターンの会話支援情報を作成しても良い。同様に、支援情報提示部23は、ユーザの発声音量が対話者の発声音量に合っている場合には、基準強度の振動パターンの会話支援情報を作成しても良い。
【0038】
また、本実施形態の支援情報提示部23は、ユーザが話者になったときに、通知が行われるようにしている。すなわち、支援情報提示部23は、ユーザが話をしているときに端末装置10にて通知が行われるようにし、ユーザが話をしていないときや、対話者が話をしているときには、通知が行われないようにしている。
【0039】
なお、支援情報提示部23は、会話速度や発声音量に基づいて、ユーザに対する会話支援情報を作成するようにしているが、ユーザの会話を支援する際に用いる情報は、会話速度や発声音量に限定されない。
支援情報提示部23は、発言回数や会話量に基づいて作成した会話支援情報を作成しても良い。例えば、会議等において、ユーザの発言回数や会話量が、他の対話者よりも少ない場合には、ユーザが積極的に議論に参加していないことが想定される。このような場合には、ユーザの発言回数や会話量を増やすような指示内容の会話支援情報を作成しても良い。逆に、ユーザの発言回数や会話量が、他の対話者よりも多すぎる場合には、ユーザの主張が強すぎることも想定される。このような場合には、ユーザの発言回数や会話量を抑えるような指示内容の会話支援情報を作成しても良い。
【0040】
(履歴情報管理部24)
履歴情報管理部24は、会話情報特定部22が特定した会話情報の履歴を管理する。履歴情報管理部24は、会話状態が開始されてから終了するまでを一つのイベントとして管理する。履歴情報管理部24は、イベントごとに、会話に参加している話者、会話が行われた日時を管理する。また、履歴情報管理部24は、話者ごとの会話速度、会話量、発言回数、および発声音量を記憶している。
そして、履歴情報管理部24は、端末装置10からの要求に応じて、複数のイベントの履歴、およびイベントごとであって話者ごとの会話情報を端末装置10に送信する。
【0041】
以上のように構成される会話支援システム1の動作について具体的に説明する。
図4は、本実施形態において会話状態の形成を特定する動作フローである。
ユーザの端末装置10のマイクロフォンにて音声が収集されると、図4に示すように、音声情報取得部21は、端末装置10から音声情報を取得する(ステップ101)。
音声情報取得部21は、予め定められた特定の閾値レベル以上の音声であるか否かを判断する(ステップ102)。そして、音声情報取得部21は、音声が閾値レベル未満であると判断した場合(ステップ102にてNO)には、ステップ101に戻る。一方、音声情報取得部21は、音声が閾値レベル以上であると判断した場合(ステップ102にてYES)には、ユーザが発した音声であるか否かを判断する(ステップ103)。そして、音声がユーザのものではないと判断した場合(ステップ103にてNO)には、ステップ101に戻る。
【0042】
音声がユーザである場合(ステップ103にてYES)、音声情報取得部21は、予め定められた時間内に、対話者の音声が取得されたか否かを判断する(ステップ104)。予め定められた時間内に、対話者の音声が取得されなければ(ステップ104にてNO)、ステップ101に戻る。
一方、ステップ104にて、対話者の音声が取得されたと判断した場合(ステップ104にてYES)、音声情報取得部21は、会話状態が形成されたと判断する(ステップ105)。
【0043】
図5は、本実施形態において会話情報を特定する際の動作フローである。
上述したように、会話状態が形成されたと判断されると、図5に示すように、音声情報取得部21は、予め定められた時間内に、ユーザまたは対話者の音声の取得があるか否かを判断する(ステップ201)。
【0044】
そして、音声情報取得部21は、ユーザまたは対話者の音声が取得された場合(ステップ201にてYES)、音声を発した話者を特定し、話者ごとの会話の記録を行う(ステップ202)。
さらに、音声情報取得部21は、ステップ202で特定した話者の会話が終了することで、話者が切り替わったか否かを判断する(ステップ203)。話者が切り替わらないと判断した場合(ステップ203でNO)には、特定した話者の会話の記録を継続する。
【0045】
一方、話者が切り替わったと判断した場合(ステップ203でYES)には、記録された話者の音声情報に基づいて会話情報の特定を行う。具体的には、会話情報特定部22は、話者の会話速度の特定を行う(ステップ204)。さらに、会話情報特定部22は、話者の発声音量の特定を行う(ステップ205)。その後、ステップ201に戻り、切り替わった話者の音声情報の取得が行われる。
上述したステップ201〜ステップ205の処理は、ユーザと対話者との会話状態が形成され、話者が切り替わる度に繰り返される。このように、本実施形態では、話者の切り替わりが確認されたとき、これまで会話していた話者の会話速度と発声音量とがタイムリーに算出される。
なお、ステップ201にて、予め定められた時間内に、話者の音声が新たに取得されない場合には、会話状態が終了したと判断し、一連の処理を終了する。
【0046】
続いて、ユーザに対する会話の支援動作について説明する。
図6は、本実施形態においてユーザの会話の支援を行うときの動作フローである。
上述したように、会話状態が形成されたと判断されると、図6に示すように、支援情報提示部23は、話者がユーザ本人であるか否かを判断する(ステップ301)。話者がユーザ本人でないと判断した場合(ステップ301にてNO)には、会話の支援のための処理を終了する。
【0047】
一方で、話者がユーザ本人であると判断した場合(ステップ301にてYES)、支援情報提示部23は、その時点までに特定されたユーザの会話情報と対話者の会話情報との比較を行う(ステップ302)。このときに用いられる会話情報は、話者が切り替わってユーザが発話を行う前までのものである。そして、支援情報提示部23は、ユーザの会話情報と対話者の会話情報の比較に基づいて、ユーザに対する会話支援情報を作成する。
【0048】
さらに、支援情報提示部23は、作成した会話支援情報を、端末装置10に送信する(ステップ303)。特に、本実施形態では、会話状態が開始されると、対話者からユーザに会話が切り替えられ、ユーザが話者となったタイミングで、その時点までに特定した会話情報に基づいてリアルタイムに分析する。そして、支援情報提示部23は、ユーザに対する会話支援情報の通知をリアルタイムに行うようにしている。
なお、端末装置10では、会話支援情報に応じた振動パターンにて端末装置10が振動することで、ユーザに対する会話の支援が行われる。
【0049】
図7は、本実施形態の履歴情報に基づく画面の表示例を示す図である。
図7(A)に示すように、画面10dには、会話状態が形成されて会話状態が終了するまでを一つのイベントとしたイベント単位で、イベント表示画像31が表示される。図7の例では、画面10dには、複数のイベント表示画像31が一覧表示される。
各イベント表示画像31は、会話状態の開始から終了までの時間を示す時間情報32と、ユーザと会話を行った対話者を特定する対話者情報33とが含まれている。
【0050】
さらに、イベント表示画像31は、イベント毎の会話情報を表示するためのリンクが貼られている。この例では、各イベント表示画像31をユーザが選択操作することで、選択されたイベントの会話情報が表示される。
【0051】
図7(B)に示すように、画面10dには、会話情報として、会話速度を示す会話速度情報41、会話量を示す会話量情報42、発言回数を示す発言回数情報43、および発声音量を示す発声音量情報44がそれぞれ表示される。そして、画面10dには、各々の会話情報ごとに、ユーザと対話者(ユーザ以外の話者が複数存在する場合には、複数の対話者)の具体的な数値が表示される。会話情報の数値は、それぞれ話者ごとの絶対的な会話情報として画面10dに表示される。
さらに、本実施形態では、ユーザおよび対話者の会話情報を100%積み上げ棒グラフによって表示している。そして、画面10dには、ユーザと対話者との相対的な会話情報の関係が棒グラフの幅によって表現される。
【0052】
図7(B)に示すように、会話速度情報41は、ユーザおよび対話者である話者ごとの会話速度を数値およびグラフによって表示する。同様に、会話量情報42は、ユーザおよび対話者である話者ごとの会話量を数値およびグラフによって表示する。また、発言回数情報43は、ユーザおよび対話者である話者ごとの総発言回数を数値およびグラフによって表示する。さらに、発声音量情報44は、ユーザおよび対話者である話者ごとの発声音量情報を数値およびグラフによって表示する。
【0053】
そして、ユーザは、画面10dに表示される会話情報を参照し、自身と対話者との比較を行う。例えば、ユーザは、会話情報から、対話者よりも会話速度が速いことを認識した場合には、ゆっくりと話すように意識する。また、ユーザは、会話情報から、発声音量が小さいことを認識した場合には、大きな声で話すように意識する。
【0054】
なお、本実施形態の会話支援システム1では、会話支援情報として、端末装置10の振動パターンを作成するようにしているが、この例に限定されない。例えば、会話支援システム1は、会話支援情報の内容に応じて、異なるメロディをスピーカから出したり、異なる発光パターンによってLEDなどのランプを発光させたり、画面10dにメッセージや画像を表示したりしても良い。
【0055】
続いて、本実施形態の端末装置10およびサーバ装置20のハードウェア構成について説明する。
本実施形態の端末装置10およびサーバ装置20は、それぞれ、演算手段であるCPU(Central Processing Unit)、主記憶手段であるメモリ、磁気ディスク装置(HDD:Hard Disk Drive)、ネットワークインターフェイス、ディスプレイ装置を含む表示機構、音声機構、および、キーボードやマウス等の入力デバイス等を備える。
そして、磁気ディスク装置には、OSのプログラムやアプリケーション・プログラムが格納されている。そして、これらのプログラムがメモリに読み込まれてCPUに実行されることにより、本実施形態の端末装置10およびサーバ装置20の各々における各機能部の機能が実現される。
さらに、本実施形態の会話支援システム1における一連の動作を端末装置10およびサーバ装置20にてそれぞれ実現させるプログラムは、例えば通信手段により提供することはもちろん、各種の記録媒体に格納して提供しても良い。
【0056】
また、本実施形態の会話支援システム1において行われる一連の機能を実現するための構成は、上述した例に限定されない。例えば、上述した実施形態においてサーバ装置20が実現する機能は、全てサーバ装置20によって実現される必要はなく、例えば端末装置10が一部または全部の機能を実現しても良い。
【符号の説明】
【0057】
1…会話支援システム、10…端末装置、10d…画面、20…サーバ装置、21…音声情報取得部、22…会話情報特定部、23…支援情報提示部、24…履歴情報管理部、31…イベント表示画像、32…時間情報、33…対話者情報、41…会話速度情報、42…会話量情報、43…発言回数情報、44…発声音量情報
図1
図2
図3
図4
図5
図6
図7