特開 2023-124145 通話システム、通話方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124145

(43)【公開日】2023-09-06

(54)【発明の名称】通話システム、通話方法、及びコンピュータプログラム

(51)【国際特許分類】

   G10L 15/22 20060101AFI20230830BHJP

   G10L 15/00 20130101ALI20230830BHJP

   G10L 25/60 20130101ALI20230830BHJP

   H04M 11/00 20060101ALI20230830BHJP

【ＦＩ】

G10L15/22 470Z

G10L15/00 200C

G10L15/22 460Z

G10L25/60

H04M11/00 302

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022027748

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】515161858

【氏名又は名称】株式会社みらい翻訳

(74)【代理人】

【識別番号】100103872

【弁理士】

【氏名又は名称】粕川 敏夫

(74)【代理人】

【識別番号】100149456

【弁理士】

【氏名又は名称】清水 喜幹

(74)【代理人】

【識別番号】100194238

【弁理士】

【氏名又は名称】狩生 咲

(74)【代理人】

【識別番号】100205648

【弁理士】

【氏名又は名称】森田 真一

(72)【発明者】

【氏名】伊藤 鶴美

【テーマコード（参考）】

5K201

【Ｆターム（参考）】

5K201CA01

5K201CA07

5K201DC05

5K201DC07

5K201EC06

5K201ED05

5K201EF03

5K201EF10

(57)【要約】

【課題】遠隔にいる通話相手に、簡便な操作で自身の状態を把握させる。
【解決手段】複数の端末が所定のサーバを介して音声通話を行う通話システム１であって、第１の端末２１から入力される音声を取得する音声取得部１１ａと、音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の端末２２の表示部に表示させるとともに、第１の端末に、翻訳文を第１言語に逆翻訳した逆翻訳文を表示させる表示制御部１４と、第１の端末からの操作に基づいて、発話内容の修正を受け付ける修正受付部１５と、操作に基づいて、第１の端末において修正を受け付けている旨を、第２の端末を介して第２の端末のユーザに通知する通知部１６と、を備える、通話システム１。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の端末が所定のサーバを介して音声通話を行う通話システムであって、
第１の前記端末から入力される音声を取得する音声取得部と、
前記音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の前記端末の表示部に表示させるとともに、前記第１の前記端末に、前記翻訳文を前記第１言語に逆翻訳した逆翻訳文を表示させる表示制御部と、
前記第１の前記端末からの操作に基づいて、前記発話内容の修正を受け付ける修正受付部と、
前記操作に基づいて前記第１の前記端末において前記修正を受け付けている旨を、前記第２の前記端末を介して前記第２の前記端末のユーザに通知する通知部と、
を備える、
通話システム。

【請求項2】

前記通知部は、前記第２の前記端末における前記翻訳文の表示領域に、前記修正を受け付けている旨を表示する、
請求項１記載の通話システム。

【請求項3】

前記操作は、前記第１の前記端末の表示部における前記逆翻訳文の表示領域を選択する操作を含む、
請求項１又は２記載の通話システム。

【請求項4】

前記修正受付部は、前記第１の前記端末から入力される音声を修正後の発話内容として受け付け、前記表示制御部は、当該修正後の発話内容の翻訳文を前記第２の前記端末の表示部に表示する、
請求項１乃至３のいずれかに記載の通話システム。

【請求項5】

前記表示制御部は、前記音声に含まれる発話内容が音声認識されて生成される認識文を表示させ、
前記修正受付部は、前記第１の前記端末を介して前記認識文の文字編集を受け付け、前記表示制御部は、当該文字編集された認識文を前記第２言語に翻訳した翻訳文を前記第２の前記端末上に表示する、
請求項１乃至４のいずれかに記載の通話システム。

【請求項6】

前記表示制御部は、前記第１の前記端末において前記修正を受け付ける際に、前記第１の前記端末における前記逆翻訳文の表示領域に、前記発話内容の修正中である旨を表示する、
請求項１乃至５のいずれかに記載の通話システム。

【請求項7】

前記音声取得部により取得される前記音声の明瞭度を評価する評価部をさらに備え、
前記修正受付部は、前記評価部により前記音声が認識に適した明瞭度で取得されていないと判断される場合に、当該音声が取得される端末を介して前記発話内容の修正を受け付ける、
請求項１乃至６のいずれかに記載の通話システム。

【請求項8】

前記評価部は、前記明瞭度が低い要因を推定し、
前記表示制御部は、前記修正受付部により前記修正を受け付ける際に、前記要因を解消する対策案を前記端末に提示する、
請求項７記載の通話システム。

【請求項9】

前記第１の前記端末における第２の操作に基づいて、前記第２の前記端末に定型文を表示させる定型文送信部をさらに備える、
請求項１乃至８のいずれかに記載の通話システム。

【請求項10】

複数の端末が所定のサーバを介して音声通話を行う通話方法であって、
第１の前記端末から入力される音声を取得する音声取得ステップと、
前記音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の前記端末の表示部に表示させるとともに、前記第１の前記端末に、前記翻訳文を前記第１言語に逆翻訳した逆翻訳文を表示させる表示制御ステップと、
前記第１の前記端末からの操作に基づいて、前記発話内容の修正を受け付ける修正受付ステップと、
前記操作に基づいて前記第１の前記端末において前記修正を受け付けている旨を、前記第２の前記端末を介して前記第２の前記端末のユーザに通知する通知ステップと、
をコンピュータにより実行する、
通話方法。

【請求項11】

複数の端末が所定のサーバを介して音声通話を行うコンピュータプログラムであって、
第１の前記端末から入力される音声を取得する音声取得命令と、
前記音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の前記端末の表示部に表示させるとともに、前記第１の前記端末に、前記翻訳文を前記第１言語に逆翻訳した逆翻訳文を表示させる表示制御命令と、
前記第１の前記端末からの操作に基づいて、前記発話内容の修正を受け付ける修正受付命令と、
前記操作に基づいて前記第１の前記端末において前記修正を受け付けている旨を、前記第２の前記端末を介して前記第２の前記端末のユーザに通知する通知命令と、
をコンピュータに実行させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通話システム、通話方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

遠隔にいる別言語の話者同士が翻訳を介して意思疎通することを可能にする、翻訳機能を備えた通話システムが知られている。しかしながら、音声認識処理や翻訳処理を介するために、発話内容が相手に正確に伝達されない場合があった。また、話者は互いに遠隔にいるため、通話相手の状態を把握することが困難な場合があった。そこで、簡便な操作で自身の状態を通話相手に把握させることができる技術が必要とされている。

【0003】

特許文献１には、入力された音声を翻訳するシステムであって、入力された音声をテキストデータに変換すること、テキストデータを翻訳すること、翻訳データを元の言語に再翻訳すること、再翻訳のデータに誤りがあった場合に、ユーザからの指摘に応じて誤っていた翻訳データを消去することが開示されている。

【0004】

特許文献２には、店員と客が対面で会話する際、店員と顧客の会話がそれぞれの母語に翻訳されると共に、店員と客の間に置かれた端末の画面上に翻訳されたテキストが表示されるシステムが開示されている。この端末には、テキストの内容を逆翻訳する逆翻訳ボタンＢ４が設けられているほか、翻訳結果の誤りを報告するための誤訳通知ボタンＢ５、対訳のテキストＴ６の内容を再生するための音声出力ボタンＢ６、発話をやり直すための再入力ボタンＢ７等が表示されている。

【0005】

特許文献３には、チャットルームにおいて、修正ボタン９０５が選択された直後から、原文修正中には、すべての会議参加者側の基本モード画面６００上から修正前の原文と翻訳文は消え、修正による状態情報が表示されること等が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１９－１７５４２６号公報

【特許文献2】特開２０１７－１８２３９４号公報

【特許文献3】特開２０２１－１９００５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、遠隔にいる通話相手に、簡便な操作で自身の状態を把握させることを目的の一つとする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一の観点に係る通話システムは、複数の端末が所定のサーバを介して音声通話を行う通話システムであって、第１の前記端末から入力される音声を取得する音声取得部と、前記音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の前記端末の表示部に表示させるとともに、前記第１の前記端末に、前記翻訳文を前記第１言語に逆翻訳した逆翻訳文を表示させる表示制御部と、前記第１の前記端末からの操作に基づいて、前記発話内容の修正を受け付ける修正受付部と、前記操作に基づいて前記第１の前記端末において前記修正を受け付けている旨を、前記第２の前記端末を介して前記第２の前記端末のユーザに通知する通知部と、を備える、通話システム。

【0009】

前記通知部は、前記第２の前記端末における前記翻訳文の表示領域に、前記修正を受け付けている旨を表示するものとしてもよい。

【0010】

前記操作は、前記第１の前記端末の表示部における前記逆翻訳文の表示領域を選択する操作を含むものとしてもよい。

【0011】

前記修正受付部は、前記第１の前記端末から入力される音声を修正後の発話内容として受け付け、前記表示制御部は、当該修正後の発話内容の翻訳文を前記第２の前記端末の表示部に表示するものとしてもよい。

【0012】

前記表示制御部は、前記音声に含まれる発話内容が音声認識されて生成される認識文を表示させ、前記修正受付部は、前記第１の前記端末を介して前記認識文の文字編集を受け付け、前記表示制御部は、当該文字編集された認識文を前記第２言語に翻訳した翻訳文を前記第２の前記端末上に表示するものとしてもよい。

【0013】

前記表示制御部は、前記第１の前記端末において前記修正を受け付ける際に、前記第１の前記端末における前記逆翻訳文の表示領域に、前記発話内容の修正中である旨を表示するものとしてもよい。

【0014】

前記音声取得部により取得される前記音声の明瞭度を評価する評価部をさらに備え、前記修正受付部は、前記評価部により前記音声が認識に適した明瞭度で取得されていないと判断される場合に、当該音声が取得される端末を介して前記発話内容の修正を受け付けるものとしてもよい。

【0015】

前記評価部は、前記明瞭度が低い要因を推定し、前記表示制御部は、前記修正受付部により前記修正を受け付ける際に、前記要因を解消する対策案を前記端末に提示するものとしてもよい。

【0016】

前記第１の前記端末における第２の操作に基づいて、前記第２の前記端末に定型文を表示させる定型文送信部をさらに備えるものとしてもよい。

【0017】

上記目的を達成するため、本発明の別の観点に係る通話方法は、複数の端末が所定のサーバを介して音声通話を行う通話方法であって、第１の前記端末から入力される音声を取得する音声取得ステップと、前記音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の前記端末の表示部に表示させるとともに、前記第１の前記端末に、前記翻訳文を前記第１言語に逆翻訳した逆翻訳文を表示させる表示制御ステップと、前記第１の前記端末からの操作に基づいて、前記発話内容の修正を受け付ける修正受付ステップと、前記操作に基づいて前記第１の前記端末において前記修正を受け付けている旨を、前記第２の前記端末を介して前記第２の前記端末のユーザに通知する通知ステップと、をコンピュータにより実行する。

【0018】

上記目的を達成するため、本発明のさらに別の観点に係るコンピュータプログラムは、複数の端末が所定のサーバを介して音声通話を行うコンピュータプログラムであって、第１の前記端末から入力される音声を取得する音声取得命令と、前記音声に含まれる発話内容を音声認識して第１言語から第２言語に翻訳した翻訳文を第２の前記端末の表示部に表示させるとともに、前記第１の前記端末に、前記翻訳文を前記第１言語に逆翻訳した逆翻訳文を表示させる表示制御命令と、前記第１の前記端末からの操作に基づいて、前記発話内容の修正を受け付ける修正受付命令と、前記操作に基づいて前記第１の前記端末において前記修正を受け付けている旨を、前記第２の前記端末を介して前記第２の前記端末のユーザに通知する通知命令と、をコンピュータに実行させる。

【0019】

なお、コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。

【発明の効果】

【0020】

本発明によれば、遠隔にいる通話相手に、簡便な操作で自身の状態を把握させることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態に係る通話システムの構成及び機能を示した機能ブロック図である。

【図2】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第１例、（ｂ）第２例、（ｃ）第３例、である。

【図3】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第４例、（ｂ）第５例、（ｃ）第６例、（ｄ）第７例である。

【図4】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第８例、（ｂ）第９例、（ｃ）第１０例、（ｄ）第１１例である。

【図5】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第１２例、（ｂ）第１３例、（ｃ）第１４例、（ｄ）第１５例である。

【図6】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第１６例、（ｂ）第１７例、（ｃ）第１８例である。

【図7】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第１９例、（ｂ）第２０例、（ｃ）第２１例、（ｄ）第２２例である。

【図8】上記通話システムに接続されるユーザ端末に表示される画面の（ａ）第２３例、（ｂ）第２４例、（ｃ）第２５例、（ｄ）第２６例、（ｅ）第２７例、（ｆ）第２８例、（ｇ）第２９例である。

【図9】上記通話システムにおいて実行される処理フローの１例を示す図である。

【発明を実施するための形態】

【0022】

●概要
以下、本発明の実施形態に係る通話システムについて、図を参照して説明する。
本実施形態に係る通話システムは、複数のユーザ端末が所定のサーバを介して音声通話を行うシステムである。通話システムは、例えばパーソナルコンピュータにおいて所定のコンピュータプログラムを実行することで実現される他、機能の一部又は全部がクラウドコンピュータにより実現されていてもよい。また、通話システムは、複数のハードウェア構成により成っていてもよく、機能の一部又は全部が、ユーザ端末に備えられていてもよい。

【0023】

また、各機能部の説明と共に、図２から図８を用いて表示制御部１４によりユーザ端末２に表示される画面の例について説明する。
以降の説明において、画面における「選択」操作とは操作を決定するための適宜の操作であり、あらかじめ定められた各種の操作である。操作は、例えばマウス操作におけるクリック又はダブルクリックであってもよいし、タッチパネル上の操作におけるタップ又はダブルタップであってもよい。また、以降の説明でカーソルを所定領域上に移動させる操作を「ホバーさせる」と表現する場合があり、このホバー操作は、選択操作とは異なるものとして説明する。
また、説明において、他の図面と同様の構成については同一の符号を付与し、適宜説明を省略する。また、同図の説明に用いられない符号について適宜省略する。

【0024】

図１に示されるように、通話システム１は、複数のユーザ端末２（２１、２２）とネットワークＮＷを通じて互いに接続されている。
ユーザ端末２は、例えばパーソナルコンピュータ、タブレット端末又はスマートホンである。ユーザ端末２は、通話システム１から提示される文を表示する表示部と、ユーザからの音声又は文字入力を受け付ける入力部とを少なくとも備える。ユーザ端末２１、２２はそれぞれ、互いに異なる言語を理解するユーザにより使用される。ユーザ端末２１、２２は、第１の端末および第２の端末の例である。以下の説明においては、便宜上、発話内容を受け付ける第１の端末をユーザ端末２１、発話を受け取る第２の端末をユーザ端末２２として説明する。なお、ユーザ端末２１およびユーザ端末２２は相互に発話内容を送受信する端末であり、両者の構造上の差異はない。

【0025】

また、本説明においては２個のユーザ端末２により送受信を行う態様を例に説明するが、同時に通話可能な端末数は３個以上であってもよい。

【0026】

●通話システム１
通話システム１は、例えば、CPU（Central Processing Unit）などの演算装置、CPUによって実行されるコンピュータプログラム、RAM（Random Access Memory）やROM（Read Only Memory）等の内部メモリ等を備えたサーバ等によって実現される。通話システム１はこれにより、主として、発話内容取得部１１、音声認識部１２、翻訳部１３、表示制御部１４、修正受付部１５、通知部１６、評価部１７、定型文送信部１８、通信処理部１９、記憶部１Ａからなる機能ブロックを構成する。

【0027】

●記憶部１Ａ
記憶部１Ａは、本システムに必要なデータを記憶する機能部であって、１又は複数のハードウェア装置で構成される他、通話システム１に通信回線を通じてデータを送受信可能なクラウドコンピュータにより構成されていてもよい。記憶部１Ａは、通話システム１を使用するユーザの識別情報又はログイン情報、音声認識のためのデータベースおよび翻訳データベース等を格納している。各データベースは複数の言語のデータを格納する。音声認識データベースおよび翻訳データベースは、ニューラルネットワークにより構成されていてもよい。

【0028】

●発話内容取得部１１
発話内容取得部１１は、ユーザ端末２から入力されるユーザの発話内容を取得する機能部である。発話内容取得部１１は、ユーザ端末２から入力される音声を取得する音声取得部１１ａと、ユーザ端末２から入力される文字を取得する文字取得部１１ｂと、を有する。すなわち、ユーザは、声を通して発話内容を通話システム１に送信することができる他、文字入力により発話内容を送信できる。

【0029】

●音声認識部１２
音声認識部１２は、音声取得部１１ａにより取得される音声に含まれる発話内容を音声認識し、文字列に変換する機能部である。音声認識部１２により生成された文字列を、「認識文」ともいう。なお、音声認識部１２はネットワークＮＷを介した外部のシステムにあってもよく、音声取得部１１ａで取得した音声をネットワークＮＷを通して外部の音声認識部１２に送付し、認識文を同じくネットワークＮＷを介して入手する構成としてもよい。

【0030】

●翻訳部１３
翻訳部１３は、発話内容を翻訳し、翻訳文を生成する機能部である。翻訳部１３は、発話内容取得部１１により取得されるユーザの発話内容を翻訳する。翻訳部１３は、音声認識部１２により生成された文字列を翻訳する他、入力された文字列を翻訳してもよい。また、翻訳部１３は、入力された音声そのものを翻訳する機能を有していてもよい。さらに、翻訳部１３は、生成された翻訳文を入力された言語に逆翻訳した逆翻訳文を生成する。なお、翻訳部１３は、ネットワークＮＷを介した外部のシステムにあってもよく、発話内容取得部１１で取得した発話内容をネットワークＮＷを通して外部の翻訳部１３に送付し、生成された翻訳文を同じくネットワークＮＷを介して入手する構成としてもよい。

【0031】

●表示制御部１４
表示制御部１４は、ユーザ端末２１、２２に表示する内容を制御する機能部である。
表示制御部１４は、音声認識部１２により生成される認識文をユーザ端末２１に表示させる。また、表示制御部１４は、翻訳文を、発話内容が入力されたユーザ端末２１とは異なるユーザ端末２２に表示するとともに、当該翻訳文の逆翻訳文をユーザ端末２１に表示させる。

【0032】

図２は、ユーザ端末２に表示される画面Ｇ１００の１例である。
図２（ａ）に示す画面Ｇ１００では、主として、参加者の映像表示領域Ｇ１０１、翻訳文の履歴表示の有無を切り替える切替ボタンＧ１０２、少なくとも１個のユーザ端末２の画面を他のユーザ端末２に表示させる画面共有領域Ｇ１０３、自身以外の発話内容の翻訳文を表示する翻訳文表示領域Ｇ１０４、自身の発話内容の逆翻訳文を表示する逆翻訳文表示領域Ｇ１０５、自身の発話内容が音声認識されて生成された認識文を表示する認識文表示領域Ｇ１０６、認識文の編集を受け付ける編集ボタンＧ１０７、および翻訳文の履歴を表示する履歴領域Ｇ１０８等が表示されている。なお、翻訳文表示領域Ｇ１０４には、３人以上で通話する場合には自身以外が発話した最新の発話内容の翻訳文が表示されていてよい。

【0033】

認識文および逆翻訳文が同一画面に表示される構成によれば、ユーザは、自身の発話内容の音声認識の結果および逆翻訳文を確認することで、通話相手に発話内容が適切に伝わっているか確認することができる。

【0034】

翻訳文表示領域Ｇ１０４、逆翻訳文表示領域Ｇ１０５および認識文表示領域Ｇ１０６は、それぞれ表示する翻訳文、逆翻訳文および認識文が生成されていない場合、又は生成中の場合には、生成中である旨の状態情報が表示される。例えば、各領域Ｇ１０４～Ｇ１０６には、認識中又は翻訳中のメッセージが表示される。このような構成によれば、通話システム１の処理状況がユーザに明確になり、ユーザに安心感を与えることができる。

【0035】

なお、ユーザ端末２２から入力される発話内容がユーザ端末２１のユーザが使用する言語で発話された内容の場合には、認識文の翻訳を行わず、認識文がそのまま翻訳文表示領域Ｇ１０４に表示されてもよい。ユーザが使用する言語の判定は、ユーザ端末２２に使用言語をあらかじめ設定しておくものとしてもよいし、取得した音声に基づいて言語を判定してもよい。
また、ユーザ端末２１、２２は、発話内容を文字入力により取得してもよく、この場合例えば認識文表示領域Ｇ１０６に文字入力が可能になっていてもよい。認識文表示領域Ｇ１０６を選択することで、文字入力欄に切り替わるようになっていてもよい。

【0036】

図２（ｂ）に示す画面Ｇ１１０は、履歴領域Ｇ１０８が非表示になっている様子を示している。切替ボタンＧ１０２を選択すると、履歴領域Ｇ１０８の表示の有無が切り替わる。また、画面Ｇ１１０は、別のユーザ端末２２において発話内容を取得中又は翻訳文を生成中に、ユーザ端末２１に表示される画面である。この画面Ｇ１１０の翻訳文表示領域Ｇ１０４では、ユーザ端末２２により取得された発話内容は非表示となっており、発話内容に代えて別のユーザ端末２２の発話内容の表示を準備中である旨の状態情報が表示される。同図においては、「認識中」とのメッセージが表示されている。

【0037】

図２（ｃ）に示す画面Ｇ１２０は、本画面Ｇ１２０が表示されているユーザ端末２１から発話内容が入力されている場合の様子を示している。翻訳文表示領域Ｇ１０４には、別のユーザ端末２２から取得された発話内容の翻訳文が表示されている。逆翻訳文表示領域Ｇ１０５には、逆翻訳文に代えて、ユーザ端末２１から取得される発話内容が翻訳中又は逆翻訳文中である旨の状態情報が表示されている。認識文表示領域Ｇ１０６には、認識文に代えて、ユーザ端末２１から取得される発話内容が音声認識中である旨の状態情報が表示される。このような構成によれば、通話システム１の状況を容易に把握することができる。発話内容の認識、翻訳および逆翻訳中においては、編集ボタンＧ１０７はグレーアウトしており、選択を受け付けない状態となっている。

【0038】

●修正受付部１５および通知部１６
修正受付部１５は、発話内容が入力されたユーザ端末２１からの操作に基づいて、発話内容の修正を受け付ける機能部である。修正受付部１５は、ユーザ端末２１から入力される音声を修正後の発話内容として受け付ける。表示制御部１４は、当該修正後の発話内容の翻訳文をユーザ端末２１の表示部に表示する。

【0039】

修正受付部１５は、ユーザ端末２１を介して認識文の文字編集を受け付けてもよい。認識文の文字編集操作は、発話内容の修正操作の別の態様である。表示制御部１４は、当該文字編集された認識文を翻訳した翻訳文をユーザ端末２２上に表示する。

【0040】

通知部１６は、ユーザ端末２１において修正を受け付けている旨を、ユーザ端末２２を介してユーザ端末２２のユーザに通知する。通知部１６は、ユーザ端末２２における翻訳文表示領域（図３（ｃ）の翻訳文表示領域Ｇ１０４参照）に、修正を受け付けている旨を表示する。
なお、通知部１６は、メッセージの表示に代えて、修正中である旨を音声によりユーザ端末２２から発報してもよい。

【0041】

図３（ａ）に示す画面Ｇ１３０は、ユーザ端末２１を操作するユーザが自ら音声の再発話を開始する操作を行う様子を示している。同図においては、ユーザにより画面上のカーソルが逆翻訳文表示領域Ｇ１０５にホバーされている様子を示しており、逆翻訳文表示領域Ｇ１０５に、再発話開始ボタンＧ１３１が表示されている。再発話開始ボタンＧ１３１には「話し直す」とのメッセージが表示される。逆翻訳文表示領域Ｇ１０５の再発話開始ボタンＧ１３１が選択されると、修正受付部１５がこれを受け付け、再発話の録音が開始される。このような構成によれば、逆翻訳文表示領域Ｇ１０５に表示される逆翻訳文を視認して発話内容の修正が必要であると判断したユーザが、当該領域Ｇ１０５を選択することで再発話ができるので、ユーザの視線の行き来が不要であり、快適な操作性を実現できる。なお、ホバーではなく選択操作で再発話開始ボタンＧ１３１を表示する構成でも良いし、あらかじめ再発話開始ボタンＧ１３１を表示する構成としても良い。以後の説明で、ホバーすることでボタンが表示される構成についても同様である。
再発話開始ボタンＧ１３１の押下は、修正開始操作の例である。

【0042】

図３（ｂ）に示す画面Ｇ１４０は、再発話開始ボタンＧ１３１がクリックされた場合に当該ユーザ端末２１に表示される画面の例を示している。逆翻訳文表示領域Ｇ１０５には、表示制御部１４により、逆翻訳文に代えて発話内容の修正中、すなわち話し中である旨のメッセージが表示される。認識文表示領域Ｇ１０６には、認識文に代えて、再発話を促すメッセージが表示される。編集ボタンＧ１０７はグレーアウトしており、選択を受け付けない状態になっている。

【0043】

図３（ｃ）に示す画面Ｇ１５０は、再発話開始ボタンＧ１３１がクリックされた場合に表示される画面の別の例を示しており、例えば１個の発話内容に対して複数回修正を行っている場合に表示される。認識文表示領域Ｇ１０６には、再発話を促すメッセージと共に、音声認識又は翻訳に適した明瞭度で音声を取得させる発話のアドバイスが表示されている。

【0044】

図３（ｄ）に示す画面Ｇ１６０は、ユーザ端末２１において発話内容の修正を行っている間に、ユーザ端末２２に表示される画面の例である。当該画面Ｇ１６０において、翻訳文表示領域Ｇ１０４には、翻訳文は非表示となっており、翻訳文に代えて、発話を修正中である旨が通知部１６により通知されている。

【0045】

図４（ａ）に示す画面Ｇ２００は、発話内容の修正開始操作の別の態様として、編集ボタンＧ１０７が選択された場合に、編集ボタンＧ１０７が選択されたユーザ端末２１において表示される画面の例である。逆翻訳文表示領域Ｇ１０５には、逆翻訳文は非表示となっており、逆翻訳文に代えて発話を修正している旨のメッセージが表示されている。編集ボタンＧ１０７は選択を受け付けない状態となっている一方、認識文表示領域Ｇ１０６は、文の編集を受付可能となっている。また、認識文表示領域Ｇ１０６の上方には、編集前の認識文が表示されている。認識文表示領域Ｇ１０６の右部には、文字編集を確定する確定ボタンＧ２０１が表示されている。ユーザ端末２１で修正操作を行っている間、ユーザ端末２２には図３（ｄ）の画面Ｇ１６０が表示されている。確定ボタンＧ２０１が選択されると、編集後の認識文の翻訳が行われ、別のユーザ端末２２に発話内容が伝達される。

【0046】

このような構成によれば、修正を要するユーザが、修正する旨を口頭で伝えることなく通話相手に修正中の旨を伝達することができる。修正が必要となる状況では、ユーザの発話内容の音声認識又は翻訳に困難が生じている状況であるため、ユーザの発話を総じて適切に伝えられない蓋然性が高い。したがって、仮に修正したい旨を口頭で伝えようとすると、当該発話自体の誤認識又は誤翻訳が生じ、さらなる混乱が生じた結果、通話が円滑に進行できないおそれがある。これに対し、本願構成によれば、簡易な操作で修正を開始できるとともに、修正中である旨を通話相手に伝達することができるため、誤認識又は誤翻訳が生じた場合にも、通話の円滑な進行を継続することができる。

【0047】

ここで、翻訳文を受信したユーザ端末２２から翻訳元の発話を行ったユーザのユーザ端末２１に対して発話内容の修正を要望する操作を受け付けた場合に、表示制御部１４により表示される各端末２１、２２の画面例について説明する。

【0048】

図４（ｂ）に示す画面Ｇ２１０は、翻訳文表示領域Ｇ１０４にカーソルが存在している場合、すなわち翻訳文表示領域Ｇ１０４をホバーした場合の様子を示す図である。この場合、翻訳文がやや薄くなり、重畳して、翻訳文の意味が理解できないことを伝達するわからないボタンＧ２１１が表示される。この構成によれば、翻訳文表示領域Ｇ１０４を視認し、通話相手の発話内容を翻訳文で把握しようとしたユーザが、当該領域Ｇ１０４をそのまま選択することで不理解を通話相手に伝達できるため、操作性がよい。また、翻訳文が意味不明であることを通話相手に口頭で伝えるのは、そのセリフ自体が意味不明になるおそれもあり困難である。したがって、わからないボタンＧ２１１を選択するだけで、意味不明であった文と、意味不明の旨を通話相手に即座に伝えることができ、簡便である。また、ホバーすることでわからないボタンＧ２１１が表示されるので、操作に慣れないユーザでも操作方法を把握できる。

【0049】

図４（ｃ）に示す画面Ｇ２２０は、ユーザ端末２１においてわからないボタンＧ２１１が選択された後の、当該ユーザ端末２１に表示される画面の例である。翻訳文表示領域Ｇ１０４は、翻訳文がやや薄くなり、重畳して、ユーザ端末２１において発話内容が修正中である旨のメッセージが表示される。

【0050】

図４（ｄ）に示す画面Ｇ２３０は、ユーザ端末２１において所定の翻訳文に対してわからないボタンＧ２１１が押下された場合に、当該翻訳文の発話内容を取得したユーザ端末２２に表示される画面の例である。同画面においては、逆翻訳文表示領域Ｇ１０５の一部および認識文表示領域Ｇ１０６に、ユーザ端末２１のユーザがわからないと言っている旨のメッセージを表示するメッセージ欄Ｇ２３１が表示されている。また、メッセージ欄Ｇ２３１には、わからないボタンＧ２１１が選択された際に翻訳文表示領域Ｇ１０４に表示されていた翻訳文が表示される。この構成によれば、発話したユーザにとって、通話相手がわからなかった文が明確である。

【0051】

図５（ａ）に示す画面Ｇ２４０は、メッセージ欄Ｇ２３１をホバーした場合にユーザ端末２２に表示される画面の例である。メッセージ欄Ｇ２３１には、上述のメッセージに代えて、再発話開始の操作を受け付ける再発話開始ボタンＧ２４１が表示される。再発話開始ボタンＧ２４１の選択操作は、修正開始操作の別の例である。ユーザ端末２２において再発話開始ボタンＧ２４１が選択されると、図３（ｂ）の画面Ｇ１４０が当該ユーザ端末２２上に表示される。この構成によれば、ユーザは、修正を要する発話内容の表示されたメッセージ欄Ｇ２３１を選択することでそのまま再発話を開始できるため、発話内容の修正にあたり視点の移動を最小限に抑えることができる。

【0052】

図５（ｂ）は、ユーザ端末２１の履歴領域Ｇ１０８において、別のユーザ端末２２から取得された発話内容が選択された場合にユーザ端末２１に表示される画面Ｇ２５０の例である。発話内容を選択すると、翻訳文表示領域Ｇ１０４に当該発話内容が表示される。同図の例では、発話内容が翻訳文表示領域Ｇ１０４の規定のサイズに表示しきれない場合を示しており、翻訳文表示領域Ｇ１０４は規定領域の上方に拡張して表示されている様子を示している。

【0053】

図５（ｃ）に示す画面Ｇ２６０は、画面Ｇ２５０における翻訳文表示領域Ｇ１０４がホバーされた様子が示されている。当該画面Ｇ２６０では、翻訳文表示領域Ｇ１０４には画面Ｇ２５０で選択された翻訳文が薄く表示され、翻訳文表示領域Ｇ１０４と同一領域に重畳して、わからないボタンＧ２６１が表示されている。ユーザ端末２１においてわからないボタンＧ２６１が選択されると、当該ユーザ端末２１には図４（ｃ）に示す画面Ｇ２２０が表示される。

【0054】

図５（ｄ）は、ユーザ端末２１でわからないボタンＧ２６１が選択された場合に、ユーザ端末２２においてメッセージ欄Ｇ２３１が翻訳文表示領域Ｇ１０４、逆翻訳文表示領域Ｇ１０５および認識文表示領域Ｇ１０６に重畳して表示されている画面Ｇ２７０を示している。メッセージ欄Ｇ２３１は、わからないボタンＧ２６１が選択された際に表示されている翻訳文の分量に応じて適宜拡張され、分量が所定以上である場合には画面共有領域Ｇ１０３の一部に重畳している。メッセージ欄Ｇ２３１をホバーすると再発話開始ボタンＧ２４１が表示される態様は図５（ａ）に示す画面Ｇ２４０と同様である。

【0055】

●評価部１７
評価部１７は、音声取得部により取得される音声の明瞭度を評価する機能部である。評価部１７は、音声が音声認識に適した明瞭度で取得されているかを判定する。また、評価部１７は、音声が翻訳に適した明瞭度であるかを判定してもよい。

【0056】

評価部１７は、明瞭度が低い要因を推定してもよい。
修正受付部１５は、評価部１７により音声が翻訳に適した明瞭度で取得されていないと判断される場合に、当該音声が取得されるユーザ端末２１を介して発話内容の修正の受け付けてもよい。より具体的には例えば、修正受付部１５は、明瞭度が所定以下である場合に、発話内容の修正を受け付ける。また、明瞭度が低い場合に、表示制御部１４は、要因を解消する対策案をユーザ端末２１に提示してもよい。この対策案は、修正を受け付ける際に表示される。

【0057】

図６（ａ）に示す画面Ｇ４００は、音声が認識に適した明瞭度で取得されていない場合に表示される画面の１例であって、特に音声が小さい場合に表示される画面である。同画面Ｇ４００では、逆翻訳文表示領域Ｇ１０５、認識文表示領域Ｇ１０６および編集ボタンＧ１０７に重畳して、発話内容の修正の一態様としての再発話を促すとともに音声を取得する旨を示す再取得ウィンドウＧ４０１が表示される。再取得ウィンドウＧ４０１には、明瞭に取得できなかった要因又は対策案をユーザに伝えるメッセージが表示され、ここでは「声が小さい」と表示されている。ユーザは、このメッセージを確認し、もっと大きな声で再発話を行う。

【0058】

図６（ｂ）に示す画面Ｇ４１０は、音声が認識に適した明瞭度で取得されていない場合、特に音声が大きい場合に表示される画面である。同画面Ｇ４１０においては、再取得ウィンドウＧ４０１に、「声が大きい」と表示されている。
図６（ｃ）に示す画面Ｇ４２０は、再取得ウィンドウＧ４０１に「ちょうどよい音量」と表示されている。すなわち、明瞭に取得できなかった要因は音量によるものではないことをユーザに伝えている。

【0059】

なお、対策案は、修正受付部１５により修正を受け付けている画面において表示されてもよいし、修正を受け付ける直前に表示されるとともに、修正中には非表示となってもよい。

【0060】

上述のような構成によれば、音声認識又は翻訳に適した音声入力の仕方をユーザに示唆することができ、ひいては円滑な通話を支援することができる。

【0061】

●定型文送信部１８
定型文送信部１８は、ユーザ端末２１における所定の第２の操作に基づいて、ユーザ端末２２に定型文を表示させる機能部である。

【0062】

図７は、定型文送信部１８等の処理により、通話相手への反応を簡易な操作で送信する態様について説明する図である。
図７（ａ）に示す画面Ｇ５００は、認識文表示領域Ｇ１０６の下方をホバーした場合に表示される反応送信ウィンドウＧ５０１の様子を示している。反応送信ウィンドウＧ５０１は、認識文表示領域Ｇ１０６に重畳して表示されている。反応送信ウィンドウＧ５０１には、通話相手に対しすぐに発言したい要求を伝える即時発言要求ボタンＧ５０１ａ、次に発言したい要求を伝える次発言要求ボタンＧ５０１ｂ、発話内容や会議内容が理解できていない旨を伝える理解不能ボタンＧ５０１ｃが表示されている。各ボタンＧ５０１ａ、Ｇ５０１ｂ又はＧ５０１ｃの選択操作は、所定の第２の操作の例である。

【0063】

図７（ｂ）に示す画面Ｇ５１０は、ユーザ端末２１において反応送信ウィンドウＧ５０１の即時発言要求ボタンＧ５０１ａが選択された場合に、少なくとも別のユーザ端末２２に表示される画面の例である。この画面Ｇ５１０では、上部に即時発言要求バーＧ５０２ａが表示されている。

【0064】

図７（ｃ）に示す画面Ｇ５２０は、ユーザ端末２１において反応送信ウィンドウＧ５０１の次発言要求ボタンＧ５０１ｂが選択された場合に、少なくとも別のユーザ端末２２に表示される画面の例である。この画面Ｇ５２０では、上部に次発言要求バーＧ５０２ｂが表示されている。

【0065】

図７（ｄ）に示す画面Ｇ５３０は、ユーザ端末２１において反応送信ウィンドウＧ５０１の理解不能ボタンＧ５０１ｃが選択された場合に、少なくとも別のユーザ端末２２に表示される画面の例である。この画面Ｇ５３０では、上部に理解不能バーＧ５０２ｃが表示されている。

【0066】

即時発言要求バーＧ５０２ａ、次発言要求バーＧ５０２ｂおよび理解不能バーＧ５０２ｃは、それぞれ対応するボタンＧ５０１ａ、Ｇ５０１ｂ又はＧ５０１ｃと同色になっている。また、各バーＧ５０２ａ、Ｇ５０２ｂおよびＧ５０２ｃ上には、各ボタンＧ５０１ａ、Ｇ５０１ｂ又はＧ５０１ｃが選択されたユーザ端末２１のユーザ情報と、ボタンＧ５０１ａ、Ｇ５０１ｂ又はＧ５０１ｃに対応付けられるメッセージが表示される。このような構成によれば、意思を通話相手に簡便に伝えることができる。仮に音声により同内容のセリフを入力する場合、音声認識および翻訳の処理が必要になるため煩雑であり、音声の誤認識や誤翻訳が発生するおそれもある。その点、本構成によれば、少ない計算負荷で確実に意思を伝達することができる。

【0067】

各バーＧ５０２ａ、Ｇ５０２ｂおよびＧ５０２ｃは、ユーザ端末２１の画面上にも表示されてもよい。また、各バーＧ５０２ａ、Ｇ５０２ｂおよびＧ５０２ｃは、所定時間表示されると消える構成でもよいし、各バーＧ５０２ａ、Ｇ５０２ｂおよびＧ５０２ｃが表示された際に発言しているユーザのユーザ端末２２上からの操作により消去できるようになっていてもよい。また、あらかじめ設定された所定の権限を有するユーザ端末２からの操作により消去できてもよい。

【0068】

●通信処理部１９
通信処理部１９は、ユーザ端末２と、インターネット等のネットワークＮＷを介して各種のデータの送受信を実行する。より具体的には、通話システム１は、通信処理部１９により、ユーザ端末２が取得した音声データ又は文字データを受信する。また、通信処理部１９は、ユーザ端末２１により取得される音声データを音声認識して生成した認識文を、ユーザ端末２１に送信する。さらに、通信処理部１９は、当該認識文の翻訳文をユーザ端末２２に送信する。さらにまた、通信処理部１９は、この翻訳文を認識文と同一の言語に逆翻訳した逆翻訳文をユーザ端末２１に送信する。

【0069】

●履歴領域の修正
ここで、図８を用いて履歴領域Ｇ１０８から発話内容の修正を行う操作および画面例について説明する。図８（ａ）から（ｇ）は、履歴領域Ｇ１０８の一部を示す図である。
図８（ａ）に示す領域Ｇ１０８ａは、ユーザ端末２１の履歴領域Ｇ１０８において別のユーザ端末２２から取得された発話内容を選択するユーザ端末２１に表示される画面の一部である。当該選択がなされると、ユーザ端末２１において修正を受け付ける。より具体的には、選択された領域には、認識文表示領域Ｇ１０８ａａ、翻訳文表示領域Ｇ１０８ａｂ、および逆翻訳文表示領域Ｇ１０８ａｃが上からこの順に矢印等の関連性を示す記号と共に表示される。すなわち、認識文は発話者が話した内容として表示され、翻訳文は、ユーザ端末２１のユーザが読む内容として表示される。この翻訳文表示領域Ｇ１０８ａｂは、ユーザ端末２１からの文字編集を受け付ける。

【0070】

修正された翻訳文は、当該翻訳文の下方に表示される逆翻訳文表示領域Ｇ１０８ａｃに表示される。この逆翻訳文は、この発話の発話者が確認する内容として表示される。また、逆翻訳文の下方には、発話者に修正内容を送信する送信ボタンＧ１０８ａｄが表示されている。さらに、送信ボタンＧ１０８ａｄの右方には、修正内容をキャンセルするキャンセルボタンＧ１０８ａｅが表示されている。

【0071】

図８（ｂ）に示す領域Ｇ１０８ｂは、送信ボタンＧ１０８ａｄが選択された後に、ユーザ端末２１に表示される領域の例であり、編集内容の承認を待っている旨のメッセージが表示されている。翻訳文表示領域Ｇ１０８ａｂには編集後の内容が、他の履歴表示よりも薄い文字色で表示されている。
図８（ｃ）は、修正を提案された発話を受け付けたユーザ端末２２に表示される領域Ｇ１０８ｃの例である。領域Ｇ１０８ｃには、修正により削除された文字および追加された文字が、元の文字とは区別できる態様で表示されている。また、修正を入力したユーザ端末２１のユーザの情報が表示されている。さらに、修正を承認する承認ボタンＧ１０８ｃａ、および修正を否認する否認ボタンＧ１０８ｃｂが表示されている。

【0072】

図８（ｄ）に示す領域Ｇ１０８ｄは、少なくとも一部の修正が承認された場合にユーザ端末２１に表示される領域の例であり、修正された箇所は、他の箇所とは異なる態様で表示されている。また、修正を入力したユーザ端末２１のユーザの情報が表示されている。
図８（ｅ）に示す領域Ｇ１０８ｅは、修正が否認された場合にユーザ端末２１に表示される領域の例であり、修正前の文章が表示されるとともに、編集が承認されなかった旨のメッセージが表示されている。

【0073】

図８（ｆ）に示す領域Ｇ１０８ｅは、ユーザ端末２１から取得された発話内容をユーザ端末２１から修正する場合に、ユーザ端末２１に表示される領域の例である。領域Ｇ１０８ａと同様に認識文表示領域Ｇ１０８ａａ、翻訳文表示領域Ｇ１０８ａｂ、および逆翻訳文表示領域Ｇ１０８ａｃが上からこの順に表示されている。逆翻訳文表示領域Ｇ１０８ａｃの下方には、修正を完了する完了ボタンＧ１０８ｆｄが表示されている。この完了ボタンＧ１０８ｆｄが選択される場合は、ユーザが自身の発話を修正している場合であるので、他のユーザ端末２２への確認依頼は送信されず、例えば領域Ｇ１０８ｄのような態様で履歴領域Ｇ１０８に修正が反映される。

【0074】

●処理の流れ
図９は、通話システム１が実行する処理の流れの１例を示すシーケンス図である。同図は、ユーザ端末２１から第１言語の音声を受け付け、第２言語に翻訳してユーザ端末２２に表示する流れを説明する図である。
まず、ユーザ端末２１は、ユーザによる音声入力を受け付け（Ｓ１０１）、音声取得部１１ａにこれを送信する。通話システム１は、音声認識部１２により、受け付けた音声を音声認識し、第１言語の認識文を生成する（Ｓ１０２）。認識文は、表示制御部１４によりユーザ端末２１に出力され（Ｓ１０３）、ユーザ端末２１はこれを表示する（Ｓ１０４）。

【0075】

次いで、通話システム１は、翻訳部１３により認識文を第１言語から第２言語に翻訳し、翻訳文を生成する（Ｓ１０５）。この翻訳文は、表示制御部１４によりユーザ端末２２に出力され（Ｓ１０６）、ユーザ端末２２はこれを表示する（Ｓ１０７）。

【0076】

次いで、通話システム１は、翻訳部１３により翻訳文を第２言語から第１言語に逆翻訳し、逆翻訳文を生成する（Ｓ１０８）。逆翻訳文は、表示制御部１４によりユーザ端末２１に出力され（Ｓ１０９）、ユーザ端末２１はこれを表示する（Ｓ１１０）。なお、ステップＳ１０５からＳ１０７と、ステップＳ１０８からＳ１１０とは順不同であり、同時に行われてもよい。

【0077】

修正受付部１５は、ユーザ端末２１から入力された最新の発話内容の修正開始操作を、当該ユーザ端末２１を介して受け付ける。修正開始操作が入力されずに次の発話が行われた場合には、当該修正開始操作による修正を受け付けない状態とし、ステップＳ１０１に戻る。

【0078】

一方、ユーザ端末２１において修正開始操作が入力されると（Ｓ１１１）、当該ユーザ端末２１から入力された最新の発話内容が修正可能になる。ここで修正される文は、例えば認識文である。通話システム１の修正受付部１５は修正開始操作を受け付けると、通知部１６により、発話内容が修正中である旨の情報をユーザ端末２２に出力し（Ｓ１１２）、ユーザ端末２２は修正中である旨のメッセージを表示する（Ｓ１１３）。ユーザ端末２１からの修正が完了し、修正内容が通話システム１に送信されると（Ｓ１１４）、ステップＳ１０５に戻り、認識文の翻訳がなされる。

【0079】

以上の本発明の実施形態に係る通話システムによれば、簡便な操作で自身の状態を通話相手に把握させることができる。

【0080】

なお、以上の本実施形態に係る通話システムにおいて、各端末又は装置の機能構成は一例であり、本例で示した機能部が、本例とは異なる端末又は装置に備えさせることもできる。

【符号の説明】

【0081】

１ 通話システム
１１ 発話内容取得部
１１ａ 音声取得部
１１ｂ 文字取得部
１２ 音声取得部
１３ 翻訳部
１４ 表示制御部
１５ 修正受付部
１６ 通知部
１７ 評価部
１８ 定型文送信部
１９ 通信処理部
１Ａ 記憶部
２（２１、２２） ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】