特開 2023-137119 処理装置、処理方法及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023137119

(43)【公開日】2023-09-29

(54)【発明の名称】処理装置、処理方法及び処理プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230922BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022043151

(22)【出願日】2022-03-17

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】吉澤 雄輝

(72)【発明者】

【氏名】大貫 明人

(72)【発明者】

【氏名】友田 光哉

(72)【発明者】

【氏名】今田 晴菜

(72)【発明者】

【氏名】稲富 梨奈

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC12

(57)【要約】

【課題】仮想現実空間での会議中、ユーザの発言を、正しい敬語で相手に伝えることができる。
【解決手段】サーバ装置１０は、会議が可能であるＶＲ空間を構築して、第１のユーザが使用する第１のユーザ端末と、第２のユーザが使用する第２のユーザ端末とに提供する構築部１３２と、第１のユーザの第１の発言により、第１のユーザ端末から音声データが入力されると、入力された音声データに対して、音声認識を行う音声認識部１３３と、音声認識部１３３による音声認識結果を基に、第１の発言に正しい敬語が使用されているか否かを判定する判定部１３５と、判定部１３５によって、第１の発言に正しい敬語が使用されていないと判定された場合、第１の発言を、正しい敬語を使用した第２の発言に変換する変換部１３６と、第２の発言に対応するデータを、第２のユーザ端末に送信する通信部１１と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

会議が可能である仮想現実空間を構築して、第１のユーザが使用する第１のユーザ端末と、第２のユーザが使用する第２のユーザ端末とに提供する構築部と、
前記第１のユーザの第１の発言により、前記第１のユーザ端末から音声データが入力されると、入力された前記音声データに対して、音声認識を行う音声認識部と、
前記音声認識部による音声認識結果を基に、前記第１の発言に正しい敬語が使用されているか否かを判定する判定部と、
前記判定部によって、前記第１の発言に正しい敬語が使用されていないと判定された場合、前記第１の発言を、正しい敬語を使用した第２の発言に変換する変換部と、
前記第２の発言に対応するデータを、前記第２のユーザ端末に送信する送信部と、
を有することを特徴とする処理装置。

【請求項2】

前記送信部は、前記判定部によって、前記第１の発言に正しい敬語が使用されていると判定された場合、前記音声データを前記第２のユーザ端末に送信することを特徴とする請求項１に記載の処理装置。

【請求項3】

前記変換部は、前記判定部によって、前記第１の発言に正しい敬語が使用されていないと判定された場合、前記第１の発言を前記第２の発言に変換し、前記第２の発言の内容を示すテキストデータを生成し、
前記送信部は、前記変換部が生成したテキストデータを、前記第２のユーザ端末に送信することを特徴とする請求項１または２に記載の処理装置。

【請求項4】

前記変換部は、前記判定部によって、前記第１の発言に正しい敬語が使用されていないと判定された場合、前記第１のユーザの発言を前記第２の発言に変換し、予め収録された前記第１のユーザの音声を基に、前記第２の発言の内容を示す音声データを生成し、
前記送信部は、前記変換部が生成した音声データを、前記第２のユーザ端末に送信することを特徴とする請求項１または２に記載の処理装置。

【請求項5】

会議の重要度、前記第１のユーザの属性、前記第２のユーザの属性、前記第１のユーザと前記第２のユーザの関係、及び、前記第１のユーザと前記第２のユーザとの間の会議の回数、の少なくとも一つを基に、前記第１のユーザが発言者であり、その相手が前記第２のユーザである場合のスコアをスコアリングするスコアリング部をさらに有し、
前記判定部は、
前記スコアリング部によってスコアリングされた前記スコアに応じて、前記第１のユーザが前記第２のユーザに対して使用すべき敬語の種類を判定する第１の判定部と、
前記音声認識部による音声認識結果を基に、前記第１の発言で、前記第１のユーザが前記第２のユーザに対して使用すべき種類の敬語が使用されているか否かを判定する第２の判定部と、
を有し、
前記変換部は、前記第２の判定部によって、前記第１の発言で、前記第１のユーザが前記第２のユーザに対して使用すべき種類の敬語が使用されていないと判定された場合、前記第１の発言を、前記第１のユーザが使用すべき種類の敬語を使用した前記第２の発言に変換することを特徴とする請求項１～４のいずれか一つに記載の処理装置。

【請求項6】

処理装置が実行する処理方法であって、
会議が可能である仮想現実空間を構築して、第１のユーザが使用する第１のユーザ端末と、第２のユーザが使用する第２のユーザ端末とに提供する構築工程と、
前記第１のユーザの第１の発言により、前記第１のユーザ端末から音声データが入力されると、入力された前記音声データに対して、音声認識を行う音声認識工程と、
前記音声認識工程における音声認識結果を基に、前記第１の発言に正しい敬語が使用されているか否かを判定する判定工程と、
前記判定工程において、前記第１の発言に正しい敬語が使用されていないと判定された場合、前記第１の発言を、正しい敬語を使用した第２の発言に変換する変換工程と、
前記第２の発言に対応するデータを、前記第２のユーザ端末に送信する送信工程と、
を含んだことを特徴とする処理方法。

【請求項7】

会議が可能である仮想現実空間を構築して、第１のユーザが使用する第１のユーザ端末と、第２のユーザが使用する第２のユーザ端末とに提供する構築ステップと、
前記第１のユーザの第１の発言により、前記第１のユーザ端末から音声データが入力されると、入力された前記音声データに対して、音声認識を行う音声認識ステップと、
前記音声認識ステップにおける音声認識結果を基に、前記第１の発言に正しい敬語が使用されているか否かを判定する判定ステップと、
前記判定ステップにおいて、前記第１の発言に正しい敬語が使用されていないと判定された場合、前記第１の発言を、正しい敬語を使用した第２の発言に変換する変換ステップと、
前記第２の発言に対応するデータを、前記第２のユーザ端末に送信する送信ステップと、
をコンピュータに実行させるための処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及び処理プログラムに関する。

【背景技術】

【0002】

近年では、アプリケーションやブラウザを介して接続するＷｅｂ会議サービスが広く普及している。これらのサービスでは、会議サービスを提供する設備がネットワーク上に設置されており、利用者は、端末上で動作するアプリケーションやブラウザを用いて会議に参加する。さらに、会議室を表現した仮想現実（ＶＲ：Virtual Reality）空間を構築し、ＶＲ空間上での会議を可能とする技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２３０５３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

高齢者等、年齢層が上の人は、敬語の使い方などに厳しい傾向がある。この場合、若者は、敬語をうまく使えず、正しい敬語を使っているか不安になる場合がある。このため、会議中、若者が、自分と年齢が離れた人との会話を負担に感じることがある。

【0005】

本発明は、上記に鑑みてなされたものであって、仮想現実空間での会議中、ユーザの発言を、正しい敬語で相手に伝えることができる処理装置、処理方法及び処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る処理装置は、会議が可能である仮想現実空間を構築して、第１のユーザが使用する第１のユーザ端末と、第２のユーザが使用する第２のユーザ端末とに提供する構築部と、第１のユーザの第１の発言により、第１のユーザ端末から音声データが入力されると、入力された音声データに対して、音声認識を行う音声認識部と、音声認識部による音声認識結果を基に、第１の発言に正しい敬語が使用されているか否かを判定する判定部と、判定部によって、第１の発言に正しい敬語が使用されていないと判定された場合、第１の発言を、正しい敬語を使用した第２の発言に変換する変換部と、第２の発言に対応するデータを、第２のユーザ端末に送信する送信部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、仮想現実空間での会議中、ユーザの発言を、正しい敬語で相手に伝えることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

【図2】図２は、図１に示すサーバ装置の構成の一例を示すブロック図である。

【図3】図３は、ユーザ情報のデータ構成の一例を示す図である。

【図4】図４は、ユーザ情報のデータ構成の一例を示す図である。

【図5】図５は、サーバ装置がユーザ端末に提供する会議ＶＲ空間を説明する図である。

【図6】図６は、実施の形態１に係る通信処理の処理手順の一例を示すシーケンス図である。

【図7】図７は、実施の形態１の変形例に係る通信処理の処理手順の一例を示すシーケンス図である。

【図8】図８は、実施の形態２に係るサーバ装置の構成の一例を示すブロック図である。

【図9】図９は、スコアリングルールのデータ構成の一例を示す図である。

【図10】図１０は、分類情報のデータ構成の一例を示す図である。

【図11】図１１は、図８に示すサーバ装置がユーザ端末に提供する会議ＶＲ空間を説明する図である。

【図12】図１２は、実施の形態２に係る通信処理の処理手順の一例を示すシーケンス図である。

【図13】図１３は、実施の形態２の変形例に係る通信処理の処理手順の一例を示すシーケンス図である。

【図14】図１４は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る処理装置、処理方法及び処理プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る処理装置及び処理方法が限定されるものではない。

【0010】

［実施の形態１］
まず、実施の形態１について説明する。実施の形態１では、会議が可能であるＶＲ空間（会議ＶＲ空間）をユーザに提供する通信システムについて説明する。

【0011】

実施の形態１に係る通信システムでは、サーバ装置が、ユーザ（例えば、ユーザＡ）の発言において正しい敬語が使用されているか否かを判定し、この発言に正しい敬語が使用されていない場合、正しい敬語を使用した発言に変換し、会議に参加する他のユーザ（例えば、ユーザＢ）に送信する。このため、ＶＲ空間での会議中、ユーザＡが、敬語をうまく使えない場合であっても、正しい敬語が使用された発言がユーザＢに送信される。例えば、ユーザＡがユーザＡ自身に尊敬語を使用した場合には、サーバ装置は、この尊敬語を使用した箇所を謙譲語に使用した内容に変換して、ユーザＢに送信する。

【0012】

［通信システムの構成］
実施の形態に係る通信システムの構成を説明する。図１は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

【0013】

図１に示すように、実施の形態に係る通信システムは、ユーザＡ（第１のユーザ）が使用するユーザ端末２０Ａ（第１のユーザ端末）と、ユーザＢ（第２のユーザ）が使用する２０Ｂ（第２のユーザ端末）と、ＶＲ提供事業者のサーバ装置１０（処理装置）とを有する。なお、図１に示す構成は一例にすぎず、具体的な構成や各装置の数は特に限定されない。また、ユーザ端末２０Ａ，２０Ｂをユーザ端末２０と総称することがある。実施の形態では、会議に参加するユーザがユーザＡ，Ｂである場合を例に説明するが、ユーザの人数は二人に限るものではなく、三人以上であってもよい。

【0014】

サーバ装置１０は、会議が可能である会議ＶＲ空間（第１の仮想現実空間）をユーザに提供するＶＲ提供事業者のサーバ装置である。例えば、サーバ装置１０は、仮想空間上に会議室を表現する会議ＶＲ空間を構築し、その会議ＶＲ空間に、各ユーザのアバターを配置する。サーバ装置１０は、ユーザが使用するユーザ端末２０に、他のユーザが発した音声を送信し、出力させる。また、サーバ装置１０は、ユーザ端末２０に、会議に参加する他のユーザが作成したテキストを送信し、出力させる。これによって、サーバ装置１０は、各ユーザ端末２０を介して、ＶＲ空間上での会議を各ユーザに提供する。

【0015】

サーバ装置１０は、ユーザ（例えば、ユーザＡ）の発言に正しい敬語が使用されているか否かを判定し、この発言に正しい敬語が使用されていない場合、この発言を、正しい敬語を使用した発言に変換し、他のユーザ（例えば、ユーザＢ）が使用するユーザ端末２０に送信する。

【0016】

ユーザ端末２０は、ノートＰＣ（Personal Computer）やデスクトップＰＣ等の情報処理装置電子や、タブレット、スマートフォン等のスマートデバイスである。ユーザ端末２０は、ネットワークＮを介して、サーバ装置１０に接続し、サーバ装置１０が構築したＶＲ空間の提供を受ける。例えば、ユーザは、例えばＶＲゴーグルを装着し、ユーザ端末２０を操作することで、会議ＶＲ空間を体感することができる。

【0017】

［サーバ装置］
次に、サーバ装置１０について説明する。図２は、図１に示すサーバ装置１０の構成の一例を示すブロック図である。図２に示すように、サーバ装置１０は、各種情報に関する通信を制御する通信部１１（送信部）、制御部１３による各種処理に必要なデータおよびプログラムを格納する記憶部１２、及び、種々の処理を実行する制御部１３を有する。

【0018】

通信部１１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置と制御部１３（後述）との間の通信を行う。

【0019】

例えば、通信部１１は、ネットワークＮを介して、ユーザ端末２０から、会議ＶＲ空間への入室要求を受信する。また、通信部１１は、ユーザ端末２０間で音声及びデータが通信可能となるように、ネットワークＮを介して、ユーザ端末２０から送信された音声、テキスト等の各種データを受信し、他のユーザ端末２０に送信する。

【0020】

また、通信部１１は、ユーザ端末２０から、ユーザの発言に対応する音声データを受信する。通信部１１は、ユーザの発言（第１の発言（後述））に対応する音声データ、または、変換部１３６が変換した発言（第２の発言（後述））に対応するデータを、他のユーザ端末２０に送信する。変換部１３６が変換した発言に対応するデータは、テキストデータである。

【0021】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１２は、サーバ装置１０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部１２は、プログラムの実行で用いられる各種情報を記憶する。記憶部１２は、構築用情報１２１、ユーザ情報１２２及び敬語辞典１２３を記憶する。

【0022】

構築用情報１２１は、ＶＲ空間を仮想空間上で構築するために要する情報である。構築用情報１２１は、会議ＶＲ空間を仮想空間上で構築するための、画像処理条件や画像処理プログラムを含む。また、構築用情報１２１は、ＶＲ空間で表現したい会議室の内装、机、椅子、ホワイトボード等を、定点或いは３６０°で撮影した写真、或いは、これらの写真を画像処理して構築したＶＲ空間の画像を含む。構築用情報１２１は、例えば、ＶＲ空間が、ＣＧ（Computer Graphics）で構築される場合には、ＶＲ空間で表現したい会議室内部を再現した画像である。

【0023】

ユーザ情報１２２は、会議ＶＲ空間の入室者として登録されている各ユーザに関する情報である。ユーザ情報１２２は、例えば、ユーザのＩＤ、ユーザの所属先、ユーザの役職レベル、各ユーザＩＤに対応付けられた入室履歴、他の参加者なったユーザのＩＤ及び役職レベル、会議に参加する各ユーザ間の関係、会議の重要度、会議の回数、等を含む。

【0024】

図３及び図４は、ユーザ情報１２２のデータ構成の一例を示す図である。図３に示すテーブル１２２－１は、ユーザのＩＤ、所属先及び役職レベルを項目として有する。例えば、ユーザＩＤ「Ａ」のユーザは、所属先が「Ｊ社Ｋ部」であり、役職レベルが「一般」である。ユーザＩＤ「Ｅ」のユーザは、所属先が「Ｌ社Ｍ部」であり、役職レベルが「主任」である。

【0025】

また、図４に示すテーブル１２２－２は、発言者と、その相手となるユーザのＩＤ、所属先、役職レベルと、発言者とその相手との関係と、発言者とその相手との間で実施される会議の重要度及び回数と、を項目として有する。

【0026】

例えば、ユーザＡ（ユーザＩＤ「Ａ」）が発言者であり、ユーザＢ（ユーザＩＤ「Ｂ」）がその相手である会議について説明する。この場合、発言者とその相手との関係が「部下と上司」であり、発言者とその相手との間で実施される会議の重要度が「標準」であり、及び、会議の回数が「１５」である。

【0027】

また、例えば、ユーザＡが発言者であり、ユーザＥ（ユーザＩＤ「Ｅ」）がその相手である会議について説明する。この場合、発言者とその相手との関係が「担当と顧客」であり、発言者とその相手との間で実施される会議の重要度が「高い」であり、及び、会議の回数が「１」である。なお、会議の重要度は、ユーザ自身が登録してもよいし、サーバ装置１０が、ユーザ情報や過去の会議の履歴等を基に判定してもよい。

【0028】

敬語辞典１２３は、例えば、動詞や名詞に対し、正しい敬語表現がそれぞれ対応付けられたものである。敬語辞典１２３は、例えば、行為をする人や対象となる物に応じて、日常的に使用される尊敬語、謙譲語、丁寧語がそれぞれ対応付けられる。また、敬語辞典１２３は、例えば、行為をする人や対象となる物に応じて、文化庁の敬語の指針（［online］，［令和４年１月１１日検索］、インターネット＜ＵＲＬ：https://www.bunka.go.jp/seisaku/bunkashingikai/kokugo/hokoku/pdf/keigo_tosin.pdf＞）に示す、尊敬語、謙譲語I、謙譲語II、丁寧語及び美化語の５分類の敬語がそれぞれ対応付けられたものでもよい。

【0029】

制御部１３は、サーバ装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。

【0030】

制御部１３は、受付部１３１、構築部１３２、音声認識部１３３、判定部１３５及び変換部１３６を有する。実施の形態１の説明として、ユーザＡ（第１のユーザ）が、ユーザＢ（第２のユーザ）に発言した場合を例に、制御部１３の機能の説明を行う。

【0031】

受付部１３１は、ユーザ端末２０から、ユーザの会議ＶＲ空間への入室を受け付ける。構築部１３２は、画像或いはＣＧを用いて、会議室を表現した会議ＶＲ空間を仮想空間上に構築する。

【0032】

図５は、図２に示すサーバ装置１０がユーザ端末２０に提供する会議ＶＲ空間を説明する図である。構築部１３２は、受付部１３１がユーザの会議ＶＲ空間への入室を受け付けると、構築用情報１２１を取得して、入室を受け付けた会議ＶＲ空間Ｖ１（図５の（１））を仮想空間上に構築する。そして、構築部１３２は、構築したＶＲ空間をユーザ端末２０Ａ，２０Ｂに提供する。構築部１３２は、会議ＶＲ空間Ｖ１に、入室した各ユーザＡ，ＢのアバターＵａ，Ｕｂを配置する。

【0033】

音声認識部１３３は、ユーザＡの第１の発言により、ユーザ端末２０Ａから音声データが入力されると、入力された音声データに対して、音声認識を行う。音声認識部１３３は、音声データをテキストに変換した音声認識結果を出力する。

【0034】

図５の（１）に示すように、ユーザＡとユーザＢとがＶＲ空間Ｖ１で会議を行っていた場合を例に説明する。ここで、ユーザＡの発言（第１の発言）により、ユーザ端末２０Ａから音声データが入力された場合、音声認識部１３３は、入力された音声データに対して、音声認識を行う。

【0035】

判定部１３５は、音声認識部１３３による音声認識結果を基に、第１の発言に正しい敬語が使用されているか否かを判定する。例えば、判定部１３５は、第１の発言で、ユーザＡ自身の行為に尊敬語を使用している場合、この第１の発言は、正しい敬語を使用していないと判定する。また、判定部１３５は、第１の発言で、ユーザＡ自身の行為に謙譲語を使用している場合、この第１の発言は、正しい敬語を使用していると判定する。

【0036】

変換部１３６は、判定部１３５によって、第１の発言に正しい敬語が使用されていないと判定された場合、敬語辞典１２３を参照して、この第１の発言を、正しい敬語を使用した第２の発言に変換する。

【0037】

例えば、変換部１３６は、第１の発言がユーザＡ自身に尊敬語を使用している場合、この尊敬語を使用した箇所を謙譲語に使用した第２の発言に変換する。変換部１３６は、判定部１３５によって、第１の発言に正しい敬語が使用されていないと判定された場合、第１の発言を第２の発言に変換し、第２の発言の内容を示すテキストデータを生成する。さらに、変換部１３６は、第２の発言に対し、ユーザＢに伝わりやすいように、短文に区切る等の変換を行ってもよい。

【0038】

通信部１１は、判定部１３５によって、第１の発言に正しい敬語が使用されていないと判定された場合、第２の発言に対応するデータを、ユーザ端末２０Ｂに送信する。通信部１１は、変換部１３６によって変換された第２の発言を示すテキストデータをユーザ端末２０Ｂに送信する。

【0039】

この結果、ユーザＢが利用するＶＲ空間Ｖ１には、第２の発言を示すテキストデータＴ１が、アバターＵａの発言として表示される（図５の（２））。このように、ユーザＡが正しい敬語を使用していない場合には、正しい敬語に変換された発言が、ユーザＢに伝わることとなる。

【0040】

なお、判定部１３５が第１の発言に正しい敬語が使用されていると判定された場合について説明する。この場合、ユーザＡの第１の発言には正しい敬語が使用されているため、通信部１１は、ユーザ端末２０Ａから入力された第１の発言の音声データを、そのままユーザ端末２０Ｂに送信する。

【0041】

［通信処理の処理手順］
図６は、実施の形態１に係る通信処理の処理手順の一例を示すシーケンス図である。

【0042】

図６に示すように、サーバ装置１０は、ユーザ端末２０Ａ，２０Ｂから会議ＶＲ空間への入室申し込みを受け付けると（ステップＳ１，Ｓ２）、入室を受け付けた会議ＶＲ空間を仮想空間上に構築し（ステップＳ３）、ユーザ端末２０Ａ，２０Ｂに提供する（ステップＳ４，Ｓ５）。

【0043】

そして、ユーザＡの発言（第１の発言）により、ユーザ端末２０Ａから音声データが入力されると（ステップＳ６）、サーバ装置１０は、入力された音声データに対して、音声認識を行う（ステップＳ７）。

【0044】

サーバ装置１０は、音声認識処理（ステップＳ７）の音声認識結果を基に、第１の発言に正しい敬語が使用されているか否かを判定する（ステップＳ８）。第１の発言に正しい敬語が使用されている場合（ステップＳ８：Ｙｅｓ）、サーバ装置１０は、ユーザ端末２０Ａから入力された第１の発言の音声データを、そのままユーザ端末２０Ｂに送信し（ステップＳ９）、ユーザ端末２０Ｂに音声を出力させる（ステップＳ１０）。

【0045】

一方、第１の発言に正しい敬語が使用されていない場合（ステップＳ８：Ｎｏ）、サーバ装置１０は、第１の発言の音声データをユーザ端末２０Ｂに送信せず、この第１の発言を、正しい敬語を使用した第２の発言に変換する（ステップＳ１１）。サーバ装置１０は、第２の発言を文字起こしし（ステップＳ１２）、第２の発言の内容を示すテキストデータを生成する。サーバ装置１０は、生成したテキストデータをユーザ端末２０Ｂに送信し（ステップＳ１３）、ユーザ端末２０Ｂにテキストを表示させる（ステップＳ１４）。

【0046】

［実施の形態１の効果］
このように、実施の形態１に係るサーバ装置１０は、ユーザＡの第１の発言において正しい敬語が使用されているか否かを判定する。そして、サーバ装置１０は、第１の発言に正しい敬語が使用されていない場合、正しい敬語を使用した発言に変換し、会議に参加するユーザＢに送信する。このため、ＶＲ空間での会議中、ユーザＡが、敬語をうまく使えない場合であっても、正しい敬語が使用された発言がユーザＢに送信される。

【0047】

したがって、実施の形態１によれば、ＶＲ空間での会議中、ユーザＡの発言に正しい敬語が使用されていない場合には、この発言を変換し、正しい敬語でユーザＢに伝える。このため、ユーザＡは、会議中、会議に参加するユーザＢが、高齢者等である場合等、敬語を正しく使用すべき相手であった場合でも、敬語の使い方を精査せずともよく、ユーザＢとの間の会話を負担に感じることなく、円滑に会議を進めることができる。

【0048】

［実施の形態１の変形例］
図７は、実施の形態１の変形例に係る通信処理の処理手順の一例を示すシーケンス図である。図７に示すステップＳ２１～ステップＳ３１は、図６に示すステップＳ１～ステップＳ１１と同じ処理である。

【0049】

変換部１３６は、予め収録された第１のユーザの音声を基に、第２の発言の内容を示す音声データを生成する（ステップＳ３２）。この場合、第１のユーザの音声を予め収録しておく。そして、変換部１３６は、収録した音声のうち、第２の発言を示す各文字に対応する音の音声を抽出し、抽出した音の音声を、第２の発言の内容に応じた順序で合成した合成音声データを生成する。通信部１１は、変換部１３６が生成した合成音声データを、ユーザ端末２０Ｂに送信し（ステップＳ３３）、出力させる（ステップＳ３４）。

【0050】

実施の形態１の変形例は、第１の発言に正しい敬語が使用されていないと判定された場合、サーバ装置１０が、第１の発言の音声データをユーザ端末２０Ｂに送信せず、予め収録した第１のユーザの音声を基に、第２の発言の内容を示す合成音声データを生成する。そして、サーバ装置１０は、この合成音声データをユーザ端末２０Ｂに出力させる。実施の形態１の変形例では、ユーザ端末２０Ｂからは、ユーザＡの声で合成された第２の発言が音声出力されるため、実施の形態１と同様の効果を奏する。

【0051】

なお、サーバ装置１０は、第２の発言に対応するテキストデータ及び合成音声データの双方をユーザ端末２０Ｂに送信してもよい。また、サーバ装置１０は、第２の発言に対応するデータとして、テキストデータ及び合成音声データのいずれかを選択して、ユーザ端末２０Ｂに送信してもよい。

【0052】

また、変換部１３６は、人の音声を学習し、指示された文章を読ませるモデルを用いて、第２の発言の内容を示す音声データを生成してもよい。モデルは、予め収録された第１のユーザの音声を学習し、このユーザの音声で第２の発言の内容を再生する。

【0053】

［実施の形態２］
次に、実施の形態２について説明する。実施の形態２に係る通信システムでは、サーバ装置は、ＶＲ空間上の会議において、第１のユーザが発言者であり、その相手が第２のユーザである場合のスコアをスコアリングする。そして、サーバ装置は、第１のユーザの発言を、スコアリングしたスコアに応じた種類の敬語に変換する。

【0054】

図８は、実施の形態２に係るサーバ装置の構成の一例を示すブロック図である。図８に示すように、実施の形態２に係るサーバ装置２１０において、記憶部１２は、スコアリングルール１２４及び分類情報１２５を記憶する。

【0055】

スコアリングルール１２４は、会議のスコアのカウント対象と、加算するスコアとを対応付けたデータである。スコアリングルール１２４は、ＶＲ空間提供事業者の管理者等によって、予め設定され、適宜更新される。サーバ装置２１０が、スコアリングルール１２４の内容を、ユーザ情報や過去の会議の履歴等を基に更新してもよい。

【0056】

図９は、スコアリングルール１２４のデータ構成の一例を示す図である。図９に示すテーブル１２４－１に示すように、スコアリングルール１２４は、カウント対象と、加算するスコアとを項目として有する。カウント対象は、会議を行うユーザ間の関係、会議の重要度、会議の回数等である。

【0057】

テーブル１２４－１では、「関係」については、発言者であるユーザと、その相手であるユーザとの関係として、例えば、「上司と部下」、「部下と上司」または「担当と顧客」が設定されており、各設定に応じたスコアが対応付けられる。テーブル１２４－１では、会議の重要度として、例えば、「低い」、「標準」または「高い」が設定されており、各設定に応じたスコアが対応付けられる。テーブル１２４－１では、会議の回数に応じたスコアが対応付けられる。

【0058】

分類情報１２５は、スコアリング部２１３４（後述）がスコアリングする会議のスコアと、スコアに応じた敬語の種類とを対応付けたデータである。スコアに応じた敬語の種類とは、発言者が、会議の相手に対して使用すべき敬語の種類である。分類情報１２５は、ＶＲ空間提供事業者の管理者等によって、予め設定され、適宜更新される。

【0059】

図１０は、分類情報１２５のデータ構成の一例を示す図である。図１０に示すテーブル１２５－１は、スコア及び敬語の種類を項目として有する。例えば、テーブル１２５－１は、スコアリング部２１３４がスコアリングした会議のスコアが０～１５のいずれかである場合には、敬語は不要であることを示す。テーブル１２５－１は、会議のスコアが、１６～４９のいずれかである場合には、使用すべき敬語の種類は「丁寧語」であることを示す。テーブル１２５－１は、会議のスコアが５０以上である場合には、使用すべき敬語の種類は「丁寧語、尊敬語、謙譲語」であることを示す。

【0060】

なお、図１０の例では、敬語の種類として、日常的に使用される尊敬語、謙譲語、丁寧語を例示したが、これに限らない。分類情報１２５が示す敬語の種類は、文化庁の敬語の指針に示す、尊敬語、謙譲語I、謙譲語II、丁寧語及び美化語の５種類であってもよい。

【0061】

サーバ装置２１０は、図２に示す制御部１３に代えて、制御部２１３を有する。制御部２１３は、スコアリング部２１３４をさらに有する。そして、制御部２１３は、図２に示す判定部１３５及び変換部１３６に代えて、判定部２１３５及び変換部２１３６を有する。

【0062】

スコアリング部２１３４は、会議の重要度、発言者（第１のユーザ）の属性、その相手（第２のユーザ）の属性、発言者とその相手との関係、及び、発言者とその相手との間の会議の回数、の少なくとも一つを基に、第１のユーザが発言者であり、会議の相手が第２のユーザである場合のスコアをスコアリングする。スコアリング部２１３４は、ユーザ情報１２２を参照し、スコアリングルール１２４に従って、スコアを計算する。

【0063】

例えば、発言者がユーザＡ（ユーザＩＤ「Ａ」）であり、その相手がユーザＢ（ユーザＩＤ「Ｂ」）である場合を例に説明する。スコアリング部２１３４は、テーブル１２２－１，１２２－２（図３，４）を参照する。そして、スコアリング部２１３４は、ユーザＡとユーザＢとの関係が「部下と上司」であり、会議の重要度が「標準」であり、会議回数が「１５」回であると判定する。

【0064】

そして、スコアリング部２１３４は、例えばテーブルＴ１２４－１に従い、発言者がユーザＡであり、その相手がユーザＢであるのスコアをカウントする。具体的には、スコアリング部２１３４は、「部下と上司」に対応するスコア「１０」と、会議の重要度「標準」に対応するスコア「１０」と、会議の回数「１５」に対応するスコア「０」とを加算した「２０」を、この場合のスコアとする。

【0065】

また、発言者がユーザＡであり、その相手がユーザＥ（ユーザＩＤ「Ｅ」）である場合を例に説明する。スコアリング部２１３４は、テーブル１２２－１，１２２－２を参照する。スコアリング部２１３４は、ユーザＡとユーザＥとの関係が「担当と顧客」であり、会議の重要度が「高い」であり、会議回数が「０」回であると判定する。

【0066】

そして、スコアリング部２１３４は、テーブルＴ１２４－１に従い、発言者がユーザＡであり、その相手がユーザＥである場合のスコアをカウントする。具体的には、スコアリング部２１３４は、「担当と顧客」に対応するスコア「２０」と、会議の重要度「重要」に対応するスコア「２０」と、会議の回数「０」に対応するスコア「２０」とを加算した「６０」をこの場合のスコアとする。

【0067】

判定部２１３５は、音声認識部１３３による音声認識結果を基に、ユーザの発言で、正しい種類の敬語が使用されているか否かを判定する。判定部２１３５は、第１の判定部２１３５１と、第２の判定部２１３５２とを有する。

【0068】

第１の判定部２１３５１は、スコアリング部２１３４によってスコアリングされたスコアに応じて、発言者であるユーザ（第１のユーザ）が、会議の相手であるユーザ（第２のユーザ）に対して使用すべき敬語の種類を判定する。

【0069】

例えば、発言者がユーザＡであり、その相手がユーザＢである場合について説明する。この場合、第１の判定部２１３５１は、分類情報１２５を参照し、スコア「２０」に対応する「丁寧語」が、ユーザＡがユーザＢに使用すべき敬語の種類であることを判定する。

【0070】

また、発言者がユーザＡであり、その相手がユーザＥである場合について説明する。この場合、第１の判定部２１３５１は、分類情報１２５を参照し、スコア「６０」に対応する「丁寧語、尊敬語、謙譲語」が、ユーザＡがユーザＥに使用すべき敬語の種類であることを判定する。

【0071】

第２の判定部２１３５２は、音声認識部１３３による音声認識結果を基に、発言者であるユーザ（第１のユーザ）の発言（第１の発言）で、このユーザが、その相手のユーザ（第２のユーザ）に対して、使用すべき種類の敬語が使用されているか否かを判定する。

【0072】

例えば、発言者がユーザＡであり、その相手がユーザＢである場合、ユーザＡの発言に丁寧語が使用されているか否かを判定する。また、発言者がユーザＡであり、その相手がユーザＥである場合、ユーザＡの発言に、丁寧語、尊敬語、謙譲語が使用されているかを判定する。なお、ユーザが使用すべき敬語の種類は、第１の判定部２１３５１によって判定される。

【0073】

変換部２１３６は、第２の判定部２１３５２によって、第１の発言で、第１のユーザが第２のユーザに対して使用すべき種類の敬語が使用されていないと判定された場合、敬語辞典１２３を参照し、第１の発言を、第１のユーザが使用すべき種類の敬語を使用した第２の発言に変換する。

【0074】

例えば、ユーザＡがユーザＢとの会議の際に、丁寧語を使用せずに発言した場合、この発言を、丁寧語を使用した発言に変換する。また、ユーザＡがユーザＥとの会議の際に、謙譲語を使用せずに発言した場合、ユーザＡの発言を、謙譲語を使用した発言に変換する。変換部２１３６は、変換した発言の内容を示すテキストデータを生成する。通信部１１は、変換部２１３６が生成したテキストデータをユーザ端末２０Ｂに送信し、表示させる。なお、変換部２１３６は、変換した発言に対し、相手に伝わりやすいように、さらに、短文に区切る等の変換を行ってもよい。

【0075】

図１１は、図８に示すサーバ装置２１０がユーザ端末２０に提供する会議ＶＲ空間を説明する図である。サーバ装置２１０は、正しい敬語に変換する際に、相手や会議の回数などに応じた敬語の種類を選択して、ユーザの発言を変換する。

【0076】

例えば、図１１に示すように、変換する敬語の種類を分類する。例えば、何度も話す上司（ユーザＢ）については、サーバ装置２１０は、丁寧語のみを使用した、若干崩した敬語に変換する（図１１の（２－１））。また、初めて話す取引先の担当者（ユーザＥ）が相手の場合には、丁寧語、尊敬語及び謙譲語を使用した正しい敬語に変換する（図１１の（２－２））。

【0077】

［通信処理の処理手順］
図１２は、実施の形態２に係る通信処理の処理手順の一例を示すシーケンス図である。図１２では、ユーザＡが、ユーザＢに発言した場合を例に説明する。

【0078】

図１２に示すステップＳ４１～ステップＳ４７は、図６に示すステップＳ１～ステップＳ７と同じ処理である。サーバ装置２１０は、ユーザ情報１２２を参照し、スコアリングルール１２４に従って、ユーザＡが発言者であり、その相手がユーザＢである場合のスコアをスコアリングする（ステップＳ４８）。

【0079】

サーバ装置２１０は、ステップＳ４８においてスコアリングしたスコアを基に、分類情報１２５を参照して、ユーザＡがユーザＢに使用すべき敬語の種類を判定する（ステップＳ４９）。

【0080】

サーバ装置２１０は、音声認識処理（ステップＳ４７）における音声認識結果を基に、発言者であるユーザＡの第１の発言で、ユーザＡがユーザＢに対して、使用すべき種類の敬語が使用されているか否かを判定する（ステップＳ５０）。

【0081】

第１の発言で、ユーザＡがユーザＢに対して使用すべき種類の敬語が使用されている場合（ステップＳ５０：Ｙｅｓ）、ユーザ端末２０Ａから入力された第１の発言の音声データを、そのままユーザ端末２０Ｂに送信し（ステップＳ５１）、ユーザ端末２０Ｂに音声を出力させる（ステップＳ５２）。

【0082】

一方、第１の発言で、ユーザＡがユーザＢに対して使用すべき種類の敬語が使用されていない場合（ステップＳ５０：Ｎｏ）、サーバ装置２１０は、第１の発言の音声データをユーザ端末２０Ｂに送信しない。そして、サーバ装置２１０は、敬語辞典１２３を参照し、第１の発言を、第１のユーザが使用すべき種類の敬語を使用した第２の発言に変換する（ステップＳ５３）。そして、サーバ装置２１０は、第２の発言を文字起こしし（ステップＳ５４）、第２の発言の内容を示すテキストデータを生成する。サーバ装置ｗ１０は、生成したテキストデータをユーザ端末２０Ｂに送信し（ステップＳ５５）、ユーザ端末２０Ｂにテキストを表示させる（ステップＳ５６）。

【0083】

［実施の形態２の効果］
このように、実施の形態２に係るサーバ装置２１０は、ＶＲ空間上の会議において、第１のユーザが発言者であり、その相手が第２のユーザである場合のスコアをスコアリングし、スコアリングしたスコアに応じた種類の敬語に変換する。これによって、ＶＲ空間での会議中、ユーザＡが、敬語をうまく使えない場合であっても、その場に応じた正しい種類の敬語が使用された発言がユーザＢに送信される。このため、ユーザＡは、ユーザＢとの間の会話を負担に感じることなく、円滑に会議を進めることができる。

【0084】

［実施の形態２の変形例］
図１３は、実施の形態２の変形例に係る通信処理の処理手順の一例を示すシーケンス図である。図１３に示すステップＳ６１～ステップＳ７３は、図１２に示すステップＳ４１～ステップＳ５３と同じ処理である。

【0085】

変換部２１３６は、予め収録された第１のユーザの音声、または、予め第１のユーザの音声を学習済みであるモデルを用いて、第２の発言の内容を示す音声データを生成する（ステップＳ７４）。通信部１１は、変換部２１３６が生成した合成音声データを、ユーザ端末２０Ｂに送信し（ステップＳ７５）、出力させる（ステップＳ７６）。

【0086】

サーバ装置２１０は、正しい種類の敬語が使用された第２の発言を示す合成音声データを生成し、この合成音声データをユーザ端末２０Ｂに出力させることで、実施の形態２と同様の効果を奏する。

【0087】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0088】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0089】

［プログラム］
また、上記実施形態において説明したサーバ装置１０，２１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるサーバ装置１０，２１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0090】

図１４は、プログラムを実行するコンピュータを示す図である。図１４に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0091】

メモリ１０１０は、図１４に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１４に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0092】

ここで、図１４に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0093】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0094】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0095】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0096】

１０，２１０ サーバ装置
１１ 通信部
１２ 記憶部
１３，２１３ 制御部
２０Ａ，２０Ｂ ユーザ端末
１２１ 構築用情報
１２２ ユーザ情報
１２３ 敬語辞典
１２４ スコアリングルール
１２５ 分類情報
１３１ 受付部
１３２ 構築部
１３３ 音声認識部
１３５，２１３５ 判定部
１３６ 変換部
２１３４ スコアリング部
２１３５１ 第１の判定部
２１３５２ 第２の判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】