特許 6334589 定型フレーズ作成装置及びプログラム、並びに、会話支援装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6334589

(24)【登録日】2018年5月11日

(45)【発行日】2018年5月30日

(54)【発明の名称】定型フレーズ作成装置及びプログラム、並びに、会話支援装置及びプログラム

(51)【国際特許分類】

   G06F 17/28 20060101AFI20180521BHJP

   G10L 15/00 20130101ALI20180521BHJP

【ＦＩ】

   G06F17/28 690

   G10L15/00 200C

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2016-68614(P2016-68614)

(22)【出願日】2016年3月30日

(65)【公開番号】特開2017-182452(P2017-182452A)

(43)【公開日】2017年10月5日

【審査請求日】2016年9月30日

【審判番号】不服2017-6192(P2017-6192/J1)

【審判請求日】2017年4月28日

【早期審査対象出願】

(73)【特許権者】

【識別番号】513267453

【氏名又は名称】株式会社リクルートライフスタイル

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】宇賀神 千春

【合議体】

【審判長】 金子 幸一

【審判官】 渡邊 聡

【審判官】 石川 正二

(56)【参考文献】

【文献】 特開２００２−１４９５７（ＪＰ，Ａ）

【文献】 福島 拓 外１名，正確かつ自由度を高めた多言語間対話支援を目的とした応答用例対構築モデル，情報処理学会 論文誌（ジャーナル）Ｖｏｌ．５６ Ｎｏ．１ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，２０１５年 １月１５日，第５６巻第１号，ｐ．２１９−２２７

【文献】 ニュース解説 北京オリンピック期間における音声翻訳モニタ実証実験，電子情報通信学会誌，日本，社団法人電子情報通信学会，２００８年１２月 １日，第９１巻第１２号，ｐ．１０７９−１０８０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F17/28

G10L15/00

(57)【特許請求の範囲】

【請求項1】

話者の第１言語による音声を入力するための入力部と、
入力音声の内容を前記第１言語とは異なる第２言語の内容に翻訳する翻訳部と、
前記話者による逆翻訳の指示に基づいて、前記第２言語による翻訳結果を前記第１言語の内容に逆翻訳する逆翻訳部と、
前記話者が、前記入力音声の内容と前記第２言語による翻訳結果を視認可能なように、該入力音声の内容と該第２言語による翻訳結果を同一画面に表示し、かつ、前記話者が、前記入力音声の内容と前記第２の言語による逆翻訳結果を視認可能なように、該入力音声の内容と該第２の言語による逆翻訳結果を同一画面に表示する対訳表示部と、
前記入力音声の内容と前記逆翻訳結果から前記翻訳結果が適当であると判断した前記話者による登録の指示に基づいて、前記入力音声の内容と前記第２言語による翻訳結果の組を定型フレーズとして登録する登録部と、
前記定型フレーズのひな型を表示するひな型表示部と、
を備え、
前記翻訳部は、前記話者によって、前記定型フレーズのひな型のなかから、文言の一部が省略された特定のひな型のフレーズが選択され、かつ、前記話者によって該特定のひな型のフレーズにおいて省略された文言の一部を補充した内容の音声が入力されたときに、該音声の内容を、前記選択された特定のひな型のフレーズに沿ったコーパスを用いて、前記第１言語とは異なる第２言語の内容に翻訳する、
定型フレーズ作成装置。

【請求項2】

前記表示部は、前記話者による逆翻訳の指示を入力するためのボタン、及び、前記話者による登録の指示を入力するためのボタンを表示する、
請求項１記載の定型フレーズ作成装置。

【請求項3】

前記表示部は、複数の前記ひな型のフレーズを含むひな形フレーズ集一覧画面を表示し、該ひな形フレーズ集一覧画面には、適宜の複数の見出し毎に、複数のひな型のフレーズのテキストが区分けして表示される、
請求項１又は２記載の定型フレーズ作成装置。

【請求項4】

請求項１乃至３の何れか記載の定型フレーズ作成装置と、
複数の前記定型フレーズを含む定型フレーズ集を保持する記憶部と、
前記定型フレーズを表示するフレーズ表示部と、
前記定型フレーズにおける前記第２言語による翻訳結果を音声で出力する出力部と、
を備える会話支援装置。

【請求項5】

コンピュータを、
話者の第１言語による音声を入力するための入力部、
入力音声の内容を前記第１言語とは異なる第２言語の内容に翻訳する翻訳部、
前記話者による逆翻訳の指示に基づいて、前記第２言語による翻訳結果を前記第１言語の内容に逆翻訳する逆翻訳部、
前記話者が、前記入力音声の内容と前記第２言語による翻訳結果を視認可能なように、該入力音声の内容と該第２言語による翻訳結果を同一画面に表示し、かつ、前記話者が、前記入力音声の内容と前記第２の言語による逆翻訳結果を視認可能なように、該入力音声の内容と該第２の言語による逆翻訳結果を同一画面に表示する対訳表示部、
前記入力音声の内容と前記逆翻訳結果から前記翻訳結果が適当であると判断した前記話者による登録の指示に基づいて、前記入力音声の内容と前記第２言語による翻訳結果の組を定型フレーズとして登録する登録部、及び
前記定型フレーズのひな型を表示するひな型表示部
として機能させ、
前記翻訳部は、前記話者によって、前記定型フレーズのひな型のなかから、文言の一部が省略された特定のひな型のフレーズが選択され、かつ、前記話者によって該特定のひな型のフレーズにおいて省略された文言の一部を補充した内容の音声が入力されたときに、該音声の内容を、前記選択された特定のひな型のフレーズに沿ったコーパスを用いて、前記第１言語とは異なる第２言語の内容に翻訳する、
定型フレーズ作成プログラム。

【請求項6】

コンピュータを、
話者の第１言語による音声を入力するための入力部、
入力音声の内容を前記第１言語とは異なる第２言語の内容に翻訳する翻訳部、
前記話者による逆翻訳の指示に基づいて、前記第２言語による翻訳結果を前記第１言語の内容に逆翻訳する逆翻訳部、
前記話者が、前記入力音声の内容と前記第２言語による翻訳結果を視認可能なように、該入力音声の内容と該第２言語による翻訳結果を同一画面に表示し、かつ、前記話者が、前記入力音声の内容と前記第２の言語による逆翻訳結果を視認可能なように、該入力音声の内容と該第２の言語による逆翻訳結果を同一画面に表示する対訳表示部、
前記入力音声の内容と前記逆翻訳結果から前記翻訳結果が適当であると判断した前記話者による登録の指示に基づいて、前記入力音声の内容と前記第２言語による翻訳結果の組を定型フレーズとして登録する登録部、
前記定型フレーズのひな型を表示するひな型表示部、
複数の前記定型フレーズを含む定型フレーズ集を保持する記憶部、
前記定型フレーズを表示するフレーズ表示部、及び
前記定型フレーズにおける前記第２言語による翻訳結果を音声で出力する出力部、
として機能させ、
前記翻訳部は、前記話者によって、前記定型フレーズのひな型のなかから、文言の一部が省略された特定のひな型のフレーズが選択され、かつ、前記話者によって該特定のひな型のフレーズにおいて省略された文言の一部を補充した内容の音声が入力されたときに、該音声の内容を、前記選択された特定のひな型のフレーズに沿ったコーパスを用いて、前記第１言語とは異なる第２言語の内容に翻訳する、
会話支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、定型フレーズ作成装置及びプログラム、並びに、会話支援装置及びプログラムに関する。

【背景技術】

【0002】

例えば、外国旅行においては、現地での会話が不安材料となる。そこで、互いに異なる言語を話す人同士の会話によるコミュニケーションを支援するため、指さし会話帳（登録商標）と呼ばれる紙媒体やそのアプリケーションソフトウェア（以下単に「アプリ」という）が知られている（例えば非特許文献１）。

【0003】

このアプリには、話者が遭遇し得るシチュエーション毎に、よく話される基本的な複数の会話フレーズが第１言語（例えば日本語）と第２言語（例えば英語）で併記された定型フレーズ集が用意されている。話者は、画面表示されたそれらの定型フレーズのなかから、遭遇した場面や質問したい内容に応じた会話フレーズを第１言語で探し出し、併記された第２言語で話者自ら発声するか、テキストをタップして第２言語によるネイティブ音声を再生出力することにより、相手に意志を伝えることができる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】旅の指さし会話帳アプリ「YUBISASHI」22か国以上対応（無料）［平成２８年３月２８日検索］、インターネット＜ＵＲＬ：http://www.yubisashi.com/あなたと一緒に旅するアプリ＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記従来のアプリでは、沢山の定型フレーズのなかから目的の会話フレーズを探し出すのに時間がかかることがあり、そうなると円滑な会話が妨げられてしまう。また、そもそも、目的の会話フレーズが定型フレーズ集に掲載又は収納されていないこともある。例えば、店舗の従業員等が外国人客を接客するような状況では、その店舗でよく発話される特有の会話フレーズ（例えば、店舗のシステムの説明や推奨品等）が存在し得るが、既成の（出来合いの）定型フレーズ集には、そのような店舗毎の特有な会話フレーズが収納されていることは滅多にない。

【0006】

そこで、本発明は、かかる事情に鑑みてなされたものであり、話者がよく使用する独自の定型フレーズを作成して登録することにより、話者同士の円滑な会話によるコミュニケーションを支援することができる定型フレーズ作成装置、会話支援装置、及び会話支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一態様による定型フレーズ作成装置は、話者の第１言語による音声を入力するための入力部と、入力音声の内容を第１言語とは異なる第２言語の内容に翻訳する翻訳部と、話者の指示に基づいて第２言語による翻訳結果を第１言語の内容に逆翻訳する逆翻訳部と、入力音声の内容と第２言語による翻訳結果を表示する対訳表示部と、話者の指示に基づいて入力音声の内容と第２言語による翻訳結果の組を定型フレーズとして登録する登録部とを備える。より具体的には、表示部が、話者の指示を入力するためのボタンを表示するように構成してもよい。なお、「フレーズ」には、文、節、句、語、及び数字が含まれ、また、それらに付随して画像又は記号が含まれていてもよい。

【0008】

また、定型フレーズのひな型を表示するひな型表示部を更に備え、翻訳部が、話者の指示に基づいて、ひな型を用いて、入力音声の内容を第１言語とは異なる第２言語の内容に翻訳しても好適である。

【0009】

さらに、本発明の一態様による会話支援装置は、本発明による定型フレーズ作成装置と、複数の定型フレーズを含む定型フレーズ集を保持する記憶部と、定型フレーズを表示するフレーズ表示部と、定型フレーズにおける第２言語による翻訳結果を音声で出力する出力部とを備える。

【0010】

また、本発明の一態様による定型フレーズ作成プログラムは、コンピュータ（単数又は単一種に限られず、複数又は複数種でもよい；以下同様）を、話者の第１言語による音声を入力するための入力部と、入力音声の内容を第１言語とは異なる第２言語の内容に翻訳する翻訳部と、話者の指示に基づいて第２言語による翻訳結果を第１言語の内容に逆翻訳する逆翻訳部と、入力音声の内容と第２言語による翻訳結果を表示する対訳表示部と、話者の指示に基づいて入力音声の内容と第２言語による翻訳結果の組を定型フレーズとして登録する登録部として機能させるものである。

【0011】

また、本発明の一態様による会話支援プログラムは、コンピュータ（単数又は単一種に限られず、複数又は複数種でもよい；以下同様）を、話者の第１言語による音声を入力するための入力部と、入力音声の内容を第１言語とは異なる第２言語の内容に翻訳する翻訳部と、話者の指示に基づいて第２言語による翻訳結果を第１言語の内容に逆翻訳する逆翻訳部と、入力音声の内容と第２言語による翻訳結果を表示する対訳表示部と、話者の指示に基づいて入力音声の内容と第２言語による翻訳結果の組を定型フレーズとして登録する登録部と、複数の定型フレーズを含む定型フレーズ集を保持する記憶部と、定型フレーズを表示するフレーズ表示部と、定型フレーズにおける第２言語による翻訳結果を音声で出力する出力部として機能させるものである。

【発明の効果】

【0012】

本発明によれば、音声入力した第１言語による会話フレーズの内容を、音声翻訳処理によって第２言語の内容に翻訳し、さらに、それを必要に応じて第１言語の内容に逆翻訳して表示することにより、話者は、その第２言語への翻訳結果の当否を判断することができる。その結果、第２言語への翻訳結果が妥当である場合、その第１言語による入力音声の内容と第２言語による翻訳結果の組を１つの定型フレーズとして作成し、実際の会話に先立って、定型フレーズ集に予め登録しておくことができる。従って、話者は会話の場面において、所望の会話フレーズを定型フレーズ集のなかから、的確かつ簡易に探し出して利用することが可能となり、これにより、話者同士の円滑な会話によるコミュニケーションを支援することができる。

【図面の簡単な説明】

【0013】

【図1】本発明による定型フレーズ作成装置を含む会話支援装置に係るネットワーク構成等の好適な一実施形態を概略的に示すシステムブロック図である。

【図2】本発明による定型フレーズ作成装置を含む会話支援装置の好適な一実施形態における処理の流れ（一部）の一例を示すフローチャートである。

【図3】（Ａ）乃至（Ｄ）は、情報端末における表示画面の遷移の一例を示す平面図である。

【図4】（Ａ）及び（Ｄ）は、情報端末における表示画面の遷移の一例を示す平面図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。

【0015】

（装置構成）
図１は、本発明による定型フレーズ作成装置を含む会話支援装置に係るネットワーク構成等の好適な一実施形態を概略的に示すシステムブロック図である。この例において、会話支援装置１００は、話者が使用する情報端末１０にネットワークＮを介して電子的に接続されるサーバ２０を備える（但し、これに限定されない）。

【0016】

情報端末１０は、例えば、タッチパネル等のユーザインターフェイス及び視認性が高いディスプレイを採用する。また、ここでの情報端末１０は、ネットワークＮとの通信機能を有するスマートフォンに代表される携帯電話を含む可搬型のタブレット型端末装置である。さらに、情報端末１０は、プロセッサ１１、記憶資源１２、音声入出力デバイス１３、通信インターフェイス１４、入力デバイス１５、表示デバイス１６、及びカメラ１７を備えている。また、情報端末１０は、インストールされた会話支援アプリ（本発明の一実施形態による会話支援プログラムの少なくとも一部）が動作することにより、本発明の一実施形態による定型フレーズ作成装置を含む会話支援装置の一部又は全部として機能するものである。

【0017】

プロセッサ１１は、算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成される。また、プロセッサ１１は、記憶資源１２に格納されているプログラムＰ１０の１つである会話支援アプリを解釈及び実行し、各種処理を行う。このプログラムＰ１０としての会話支援アプリは、例えばサーバ２０からネットワークＮを通じて配信可能なものであり、手動で又は自動でインストール及びアップデートされてもよい。

【0018】

なお、ネットワークＮは、例えば、有線ネットワーク（近距離通信網（ＬＡＮ）、広域通信網（ＷＡＮ）、又は付加価値通信網（ＶＡＮ）等）と無線ネットワーク（移動通信網、衛星通信網、ブルートゥース（Bluetooth（登録商標））、ＷｉＦｉ(Wireless Fidelity)、ＨＳＤＰＡ(High Speed Downlink Packet Access)等）が混在して構成される通信網である。

【0019】

記憶資源１２は、物理デバイス（例えば、半導体メモリ等のコンピュータ読み取り可能な記録媒体）の記憶領域が提供する論理デバイスであり、情報端末１０の処理に用いられるオペレーティングシステム（ＯＳ）プログラム、ドライバプログラム、各種データ等を格納する。ドライバプログラムとしては、例えば、音声入出力デバイス１３を制御するための入出力デバイスドライバプログラム、入力デバイス１５を制御するための入力デバイスドライバプログラム、表示デバイス１６を制御するための表示デバイスドライバプログラム等が挙げられる。さらに、音声入出力デバイス１３は、例えば、一般的なマイクロフォン、及びサウンドデータを再生可能なサウンドプレイヤである。

【0020】

通信インターフェイス１４は、例えばサーバ２０との接続インターフェイスを提供するものであり、無線通信インターフェイス及び／又は有線通信インターフェイスから構成される。また、入力デバイス１５は、例えば、表示デバイス１６に表示されるアイコン、ボタン、仮想キーボード、テキスト等のタップ動作による入力操作を受け付けるインターフェイスを提供するものであり、タッチパネルの他、情報端末１０に外付けされる各種入力装置を例示することができる。

【0021】

表示デバイス１６は、画像表示インターフェイスとして各種の情報を話者に提供するものであり、例えば、有機ＥＬディスプレイ、液晶ディスプレイ、ＣＲＴディスプレイ等が挙げられる。また、カメラ１７は、種々の被写体の静止画や動画を撮像するためのものである。

【0022】

サーバ２０は、例えば、演算処理能力の高いホストコンピュータによって構成され、そのホストコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を発現するものであり、例えば、音声翻訳処理に必要な音声認識サーバ、翻訳サーバ、及び音声合成サーバとして機能する単数又は複数のホストコンピュータから構成される（図示においては単数で示すが、これに限定されない）。そして、各サーバ２０は、プロセッサ２１、通信インターフェイス２２、及び記憶資源２３を備える。

【0023】

プロセッサ２１は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット及び各種レジスタ（プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等）から構成され、記憶資源２３に格納されているプログラムＰ２０を解釈及び実行し、所定の演算処理結果を出力する。また、通信インターフェイス２２は、ネットワークＮを介して情報端末１０に接続するためのハードウェアモジュールであり、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。

【0024】

記憶資源２３は、例えば、物理デバイス（ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体等）の記憶領域が提供する論理デバイスであり、それぞれ単数又は複数のプログラムＰ２０、各種モジュールＬ２０、各種データベースＤ２０、及び各種モデルＭ２０が格納されている。また、記憶資源２３には、予め用意された複数の定型フレーズ、入力音声の履歴データ、各種設定用のデータ等も記憶されている。

【0025】

プログラムＰ２０は、サーバ２０のメインプログラムである上述したサーバ用プログラム等である。また、各種モジュールＬ２０は、情報端末１０から送信されてくる要求及び情報に係る一連の情報処理を行うため、プログラムＰ１０の動作中に適宜呼び出されて実行されるソフトウェアモジュール（モジュール化されたサブプログラム）である。かかるモジュールＬ２０としては、音声認識モジュール、翻訳モジュール、音声合成モジュール等が挙げられる。

【0026】

また、各種データベースＤ２０としては、音声翻訳処理のために必要な各種コーパス（例えば、少なくとも２つの言語（第１言語と第２言語）を含む複数言語についての、音声コーパス、文字（語彙）コーパス、辞書、対訳辞書、対訳コーパス等）の各データベース、音声データベース、話者（会話支援アプリのユーザ等）に関する情報を管理するための管理用データベース、複数の定型フレーズを含む定型フレーズ集としてのテキスト及び音声データベース等が挙げられる。また、各種モデルＭ２０としては、音声認識に使用する音響モデルや言語モデル等が挙げられる。このとおり、記憶資源２３は、「記憶部」として機能する。

【0027】

（第１実施形態）
以上のとおり構成された会話支援装置１００における処理操作及び動作の一例について、以下に説明する。図２は、会話支援装置１００における処理の流れ（の一部）の一例を示すフローチャートである。また、図３（Ａ）乃至（Ｄ）は、情報端末における表示画面の遷移の一例を示す平面図である。なお、ここでは、日本語（第１言語）を話す店員（店舗の従業員）が英語（第２言語）を話す外国人の客を接客する際に使用する会話フレーズを定型フレーズとして作成する場面を想定する（但し、言語やシチュエーションはこれに限定されない）。

【0028】

まず、店員が当該会話支援アプリを起動する（ステップＳＵ１）と、サーバ２０のプロセッサ２１及び情報端末１０のプロセッサ１１により、情報端末１０の表示デバイス１６に、客の言語を選択するための言語選択画面が表示される（図３（Ａ）；ステップＳＪ１）。この言語選択画面には、客に言語を尋ねることを店員に促すための日本語のテキストＴ１、客に言語を尋ねる旨の英語のテキストＴ２、及び、想定される複数の代表的な言語（ここでは、英語、中国語（例えば書体により２種類）、ハングル語）を示す言語ボタン３１が表示される。さらにその下方には、言語選択画面を閉じて会話支援アプリを終了するためのキャンセルボタンＢ１も表示される。なお、この画面は、店員と客が音声翻訳によって実際に会話を行う場面を想定したものである。

【0029】

ここでは、実際の会話の前に予め定型フレーズを作成するので、店員が客の言語として英語を選択するようにする。客の言語が選択されると、サーバ２０のプロセッサ２１及び情報端末１０のプロセッサ１１により、ホーム画面として、日本語と英語の音声入力待機画面が表示デバイス１６に表示される（図３（Ｂ）；ステップＳＪ２）。この音声入力待機画面には、店員と客の言語の何れを発話するかを問う日本語のテキストＴ３、並びに、日本語の音声入力を行うための入力ボタン３２ａ及び英語の音声入力を行うための入力ボタン３２ｂが表示される。

【0030】

また、この音声入力待機画面には、予め設定されている複数の質問定型文のリスト表示を選択するためのお声がけボタン３３、対話者の言語を手動で選択するための言語選択ボタン３４、それまでになされた音声入力内容の履歴表示を選択するための履歴ボタン３５、予め用意された複数の定型フレーズを含む定型フレーズ集を表示し、それらのなかから所望の定型フレーズを選択して会話を進めることができるサジェスト機能を実行するためのサジェストボタン３６、及び当該会話支援アプリの各種設定を行うための設定ボタン３７も表示される。

【0031】

次に、図３（Ｂ）に示す音声入力待機画面において、店員が日本語の入力ボタン３２ａをタップして日本語の音声入力を選択すると、店員の日本語による発話内容を受け付ける音声入力画面となる（図３（Ｃ））。この音声入力画面が表示されると、音声入出力デバイス１３からの音声入力が可能な状態となる。また、この音声入力画面には、店員の音声入力を促すテキストＴ２、音声入力状態にあることを示すマイク図案３８、及びテキスト入力へ切り替えるための入力切替ボタンＢ２が表示される。さらに、この音声入力画面にも、キャンセルボタンＢ１が表示され、これをタップすることにより、会話支援アプリを終了するか、音声入力待機画面（図３（Ｂ））へ戻って音声入力をやり直すことができる。

【0032】

この状態で、店員が、よく使う会話フレーズ（例えば「申し訳ございません。満席ですのでこちらで少々おまちください。」といったフレーズ）を発話する（ステップＳＵ２）と、テキストＴ２とともに、その声量の大小を模式的に且つ動的に表す多重円形図案３９が表示され、音声入力レベルが話者へ視覚的にフィードバックされる。それから、発話が終了してマイク図案３８がタップされると、プロセッサ１１は、発話内容の受け付けを終了する。情報端末１０のプロセッサ１１は、その音声入力に基づいて音声信号を生成し、その音声信号を通信インターフェイス１４及びネットワークＮを通してサーバ２０へ送信する。このとおり、情報端末１０自体、又はプロセッサ１１及び音声入出力デバイス１３が「入力部」として機能する。

【0033】

次に、サーバ２０のプロセッサ２１は、通信インターフェイス２２を通してその音声信号を受信し、音声認識処理を行う。このとき、プロセッサ２１は、記憶資源２３から、必要なモジュールＬ２０、データベースＤ２０、及びモデルＭ２０（音声認識モジュール、日本語音声コーパス、音響モデル、言語モデル等）を呼び出し、入力音声の「音」を「読み」（文字）へ変換する。このとおり、プロセッサ２１、又は、サーバ２０が全体として「音声認識サーバ」として機能する。また、プロセッサ２１は、認識された内容を、音声入力の履歴データとして、記憶資源２３に（必要に応じて適宜のデータベースに）記憶する。

【0034】

続いて、プロセッサ２１は、認識された音声の「読み」（文字）を複数の他言語に翻訳する多言語翻訳処理へ移行する。ここでは、相手の言語として英語が選択されているので、プロセッサ２１は、記憶資源２３から、必要なモジュールＬ２０及びデータベースＤ２０（翻訳モジュール、日本語文字コーパス、日本語辞書、英語辞書、日本語／英語対訳辞書、日本語／英語対訳コーパス等）を呼び出し、認識結果である入力音声の「読み」（文字列）を適切に並び替えて日本語の句、節、文等へ変換し、その変換結果に対応する英語を抽出し、それらを英語の文法に従って並び替えて自然な英語の句、節、文等へと変換する。このとおり、プロセッサ２１は、入力音声の内容を第１言語（日本語）とは異なる第２言語（英語）の内容に翻訳する「翻訳部」としても機能し、サーバ２０は、全体として「翻訳サーバ」としても機能する。なお、入力音声が正確に認識されなかった場合には、音声の再入力を行うことができる（図示省略）。また、プロセッサ２１は、それらの日本語及び英語の句、節、文等を、記憶資源２３に記憶しておくこともできる。

【0035】

また、この翻訳処理中に、プロセッサ２１は、入力音声の認識結果（入力音声の内容）を、情報端末１０に送信し、プロセッサ１１は、その認識結果を、図３（Ｄ）に示す翻訳処理中画面に、日本語のテキストＴ５として表示する。なお、このテキストＴ５としては、入力音声の認識結果をそのまま表示してもよいし、予め記憶資源２３に記憶されている日本語の会話コーパスのなかから、実際の入力音声の内容に対応するものを呼び出して表示してもよい。また、この翻訳処理中画面には、翻訳処理中であることを示す日本語のテキストＴ６、及び、処理中であることを表すため円弧の一部が回動するように表示される環状図案４０も表示される（ここまでステップＳＪ３）。

【0036】

次に、多言語翻訳処理が完了すると、プロセッサ２１は、音声合成処理へ移行する（ステップＳＪ４）。このとき、プロセッサ２１は、記憶資源２３から、必要なモジュールＬ２０、データベースＤ２０、及びモデルＭ２０（音声合成モジュール、英語音声コーパス、音響モデル、言語モデル等）を呼び出し、翻訳結果である英語の句、節、文等を自然な音声に変換する。このとおり、プロセッサ２１は、「音声合成部」としても機能し、サーバ２０は、全体として「音声合成サーバ」としても機能する。

【0037】

次いで、プロセッサ２１は、英語による翻訳結果（対応する英語の会話コーパスでもよい）に基づいてテキスト表示用のテキスト信号を生成し、情報端末１０へ送信する。そのテキスト信号を受信したプロセッサ１１は、図３（Ｄ）の翻訳中画面に表示した日本語のテキストＴ５と、その英語による翻訳結果（対訳）のテキストＴ６を、図４（Ａ）に示す翻訳結果表示画面に表示する。また、この翻訳結果表示画面には、テキストＴ５で示す内容が客に伝わることを説明するための日本語のテキストＴ７も表示される。このとおり、プロセッサ１１，２１及び表示デバイス１６が、「対訳表示部」として機能する。

【0038】

また、この翻訳結果表示画面には、話者が操作可能な各種ボタンが表示される。すなわち、テキストＴ５，Ｔ６の間の画面領域には、図３（Ｂ）のホーム画面へ戻るためのチェックボタンＢ３、及び、英語による翻訳結果のテキストＴ６の内容を日本語に逆翻訳するための逆翻訳ボタンＢ４が表示される。さらに、この翻訳結果表示画面には、翻訳結果の誤りを報告するための誤訳通知ボタンＢ５、対訳のテキストＴ６の内容を再生するための音声出力ボタンＢ６、及び、図３（Ｃ）の音声入力画面に戻って発話をやり直すための再入力ボタンＢ７も表示される（ここまでステップＳＪ５）。

【0039】

（逆翻訳）
ここで、話者は、テキストＴ６で示される英語による翻訳結果の当否が不明な場合、その内容を日本語へ逆翻訳して、その妥当性を判断することができる。すなわち、店員が逆翻訳ボタンＢ４をタップ（ステップＳＵ３；話者の指示）すると、情報端末１０のプロセッサ１１からその選択信号を受信したプロセッサ２１は、上述した多言語翻訳処理により、英語による翻訳結果のテキストＴ６の内容を日本語に逆翻訳し、その日本語による逆翻訳結果のテキストＴ８を、入力音声の内容のテキストＴ５とともに、図４（Ｂ）に示す逆翻訳結果表示画面に表示する（ステップＳＪ６）。このとおり、プロセッサ２１は、第２言語（英語）による翻訳結果を第１言語（日本語）の内容に逆翻訳する「逆翻訳部」としても機能する。

【0040】

この逆翻訳結果表示画面には、図４（Ａ）に示す翻訳結果表示画面を再表示するための戻るボタンＢ８とともに、テキストＴ５で示される日本語による入力音声の内容とテキストＴ６で示される英語による翻訳結果の組を定型フレーズとして登録するための登録ボタンＢ９が表示される。すなわち、店員は、テキストＴ５で示される日本語による入力音声の内容と、テキストＴ８で示される日本語による逆翻訳結果は、若干の表現の違い（「少々」と「しばらく」）を含むものの同義であるから、テキストＴ６で示される英語による翻訳結果が適当（翻訳の精度又は適合性が高い）と判断し、登録ボタンＢ９をタップすることにより、これらの日本語と英語の内容を定型フレーズとして登録することができる。

【0041】

（定型フレーズ登録）
こうして、店員が登録ボタンＢ９をタップ（ステップＳＵ４；話者の指示）すると、情報端末１０のプロセッサ１１からその選択信号を受信したプロセッサ２１は、データベースＤ２０の１つである定型フレーズ集へアクセスし、テキストＴ５で示される日本語による入力音声の内容とテキストＴ６で示される英語による翻訳結果（会話フレーズ）の組を、その定型フレーズ集に登録（記憶保持）する。このとおり、プロセッサ２１は、「登録部」としても機能する。また、プロセッサ２１は、その登録された定型フレーズを含む定型フレーズの一覧の表示信号を情報端末１０へ送信し、それを受信したプロセッサ１１は、その定型フレーズ集を例えば図４（Ｃ）に示す定型フレーズ集一覧画面に表示する（ステップＳＪ７）。このとおり、プロセッサ１１，２１は、「フレーズ表示部」としても機能する。

【0042】

この定型フレーズ集一覧画面は、図３（Ｂ）に示すサジェストボタン３６をタップしたときに表示される画面と同一である（但し、異なっていてももちろんよい）。また、定型フレーズ集の構成は特に制限されず、定型フレーズ集一覧画面には、例えば、適宜の複数の見出しタブＲ１〜Ｒ４等（例えば、「最近追加されたフレーズ」、「接客初動」、「挨拶」、「注文」、「推奨」等）毎に、複数の定型フレーズのテキストＴ４０〜Ｔ４６が区分けして表示される。これらの各定型フレーズにおいては、日本語と英語の内容（例えばテキストＴ５，Ｔ６）併記されている。また、各見出しタブＲ１〜Ｒ４に収納された定型フレーズは、例えば、所望の見出しタブＲ１〜Ｒ４をタップしたり、話者が表示デバイス１６の画面をワイプしたりして切り替える（めくる）ことにより、閲覧することができる。さらに、図示を省略するが、各定型フレーズを例えば長押し等の操作で選択して、削除したり、見出しタブＲ１〜Ｒ４間で適宜移動させたりすることもできる。

【0043】

また、所望のフレーズを例えばタップすることにより、先に合成された英語の音声を再生出力することもできる。この場合、プロセッサ２１は、合成された音声に基づいて音声出力用の音声信号を生成し、情報端末１０へ送信する。その音声信号を受信したプロセッサ１１は、音声入出力デバイス１３（出力部）を用いて、テキストＴ５の内容の音声を出力する（読み上げる）。これらの操作の後、店員は、チェックボタンＢ３をタップすることにより図３（Ｂ）のホーム画面へ戻る、或いは、当該アプリを適宜終了することができる（ステップＳＵ５）。

【0044】

なお、図４（Ａ）に示す翻訳結果表示画面に表示される他のボタンを選択してタップした場合の処理の概要は以下のとおりである。

【0045】

（誤訳通知）
日本語による逆翻訳結果を確認し、英語の翻訳結果の精度が不十分又は誤訳であると判断した店員は、誤訳通知ボタンＢ５をタップすることにより、その旨をサーバ２０に通報することができる。この場合、プロセッサ２１は、その英語の翻訳結果が誤りであることを、先に記憶資源２３に記憶しておいた入力音声の内容に関連付けて記憶する。

【0046】

（音声出力）
また、日本語による逆翻訳結果を確認し、英語の翻訳結果が正確又は妥当であると判断した店員は、音声出力ボタンＢ６をタップすることにより、上述した音声出力と同様の処理により、英語による翻訳結果のテキストＴ５の内容を再生することができる。

【0047】

（再入力）
また、逆翻訳結果を確認することなく、或いは、確認した後、店員は、再入力ボタンＢ７をタップすることにより、図３（Ｃ）の音声入力画面に戻って発話をやり直すこともできる。

【0048】

（第２実施形態）
第２実施形態における処理は、図３（Ｂ）に示す音声入力画面を表示（ステップＳＪ２）した後で、発話（ステップＳＵ１）する前に、話者が図３（Ｂ）に示すサジェストボタン３６をタップして定型フレーズ集を一旦表示させ、それに含まれる定型フレーズのひな型のなかから所望のひな型を選択すること以外は、第１実施形態における処理と同様である。

【0049】

すなわち、定型フレーズ集には、所定のひな型（例えば接客の場面では、「申し訳ございません。〜ください。」「本日のおすすめメニューは〜になります。」、「〜の営業時間は〜です。」といったひな型フレーズ）が用意されており、それらは、例えば図４（Ｄ）に示すひな形フレーズ集一覧画面に表示される。このひな型フレーズ集の構成も特に制限されず、ひな形フレーズ集一覧画面には、例えば、適宜の複数の見出しタブＨ１〜Ｈ４等（例えば、「最近使用されたフレーズ」、「接客初動」、「挨拶」、「注文」、「推奨」等）毎に、複数のひな型フレーズのテキストＨ４０〜Ｈ４６が区分けして表示される。このとおり、プロセッサ１１，２１及び表示デバイス１６が、「ひな型表示部」としても機能する。

【0050】

店員が、発話（ステップＳＵ２）の前に、所望のひな型フレーズをタップ等により選択すると、図３（Ｂ）のホーム画面へ戻り（チェックボタンＢ３をタップしてから戻るようにしてもよい）、選択したひな型フレーズに対応した内容を発話すると、プロセッサ２１は、そのひな型フレーズに沿った各種コーパスを用いて翻訳処理を行う（ステップＳＪ３〜ＳＪ５）。

【0051】

以上のように構成された定型フレーズ作成装置を含む会話支援装置１００、並びに、定型フレーズ作成プログラム及び会話支援プログラムによれば、音声入力した日本語（第１言語）による会話フレーズの内容を、音声翻訳処理によって英語（第２言語）の内容に翻訳し、さらに、それを必要に応じて日本語の内容に逆翻訳して表示する。これにより、店員（話者）は、その英語への翻訳結果の当否を判断することができる。

【0052】

その結果、英語への翻訳結果が妥当である場合、その日本語による入力音声の内容と英語による翻訳結果の組（例えばテキストＴ５，Ｔ６）を１つの定型フレーズとして作成し、実際の会話に先立って、定型フレーズ集に予め登録しておくことができる。従って、話者は会話の場面において、所望の会話フレーズを定型フレーズ集のなかから、的確かつ簡易に探し出して利用することが可能となり、これにより、話者同士の円滑な会話によるコミュニケーションを支援することができる。また、入力音声の翻訳処理の前に、ひな型フレーズを選択することにより、翻訳の精度を高めて、定型フレーズの作成をより簡易に、かつ、より効率的に行うことができる利点がある。

【0053】

なお、上述したとおり、上記の各実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース（ハードウェア資源又はソフトウェア資源）を均等物に置換することが可能であり、そのような置換も本発明の範囲に含まれる。

【0054】

また、例えば発話した入力音声の内容が単語の如く短い場合には、逆翻訳が必要ない場合もあり得ることから、図４（Ａ）に示す翻訳結果表示画面にも、登録ボタンＢ９を表示するようにしてもよい。さらに、図２に示すフローの例えばステップＳＪ３において、ステップＳＪ６の逆翻訳処理を予め行っておき、逆翻訳ボタンＢ４がタップされた場合、ステップＳＪ６においては逆翻訳結果の表示のみ行ってもよい。すなわち、この場合、逆翻訳処理を事前に行っておき、話者の指示があった場合にのみ、逆翻訳結果を表示するようにしてもよい。またさらに、図２に示すフローのステップＳＪ３，ＳＪ５間で音声合成処理（ステップＳＪ４）を行わず、ステップＳＵ３において音声出力ボタンＢ６がタップされた場合に、音声合成処理を行ってもよい。

【0055】

また、音声認識、翻訳、音声合成等の各処理をサーバ２０によって実行する例について記載したが、これらの処理を情報端末１０において実行するように構成してもよい。この場合、それらの処理に用いるモジュールＬ２０は、情報端末１０の記憶資源１２に保存されていてもよい。さらに、音声データベースであるデータベースＤ２０、及び／又は、音響モデル等のモデルＭ２０も、情報端末１０の記憶資源１２に保存されていてもよい。このとおり、定型フレーズ作成装置は、ネットワークＮ及びサーバ２０を備えなくてもよい。また、情報端末１０とネットワークＮとの間には、両者間の通信プロトコルを変換するゲートウェイサーバ等が介在してももちろんよい。また、情報端末１０は、携帯型装置に限らず、例えば、デスクトップ型パソコン、ノート型パソコン、タブレット型パソコン、ラップトップ型パソコン等でもよい。

【産業上の利用可能性】

【0056】

本発明によれば、話者同士の円滑な会話によるコミュニケーションを支援することができるので、本発明は、例えば、互いの言語を理解できない人同士の会話に関するサービスの提供分野における、プログラム、装置、システム、及び方法の設計、製造、提供、販売等の活動に広く利用することができる。

【符号の説明】

【0057】

１０ 情報端末
１１ プロセッサ
１２ 記憶資源
１３ 音声入出力デバイス
１４ 通信インターフェイス
１５ 入力デバイス
１６ 表示デバイス
１７ カメラ
２０ サーバ
２１ プロセッサ
２２ 通信インターフェイス
２３ 記憶資源
３１ 言語ボタン
３２ａ，３２ｂ 入力ボタン
３３ お声がけボタン
３４ 言語選択ボタン
３５ 履歴ボタン
３６ サジェストボタン
３７ 設定ボタン
３８ マイク図案
３９ 多重円形図案
４０ 環状図案
１００ 会話支援装置
Ｂ１ キャンセルボタン
Ｂ２ 入力切替ボタン
Ｂ３ チェックボタン
Ｂ４ 逆翻訳ボタン
Ｂ５ 誤訳通知ボタン
Ｂ６ 音声出力ボタン
Ｂ７ 再入力ボタン
Ｂ８ 戻るボタン
Ｂ９ 登録ボタン
Ｄ２０ データベース
Ｈ１〜Ｈ４ 見出しタブ
Ｈ４０〜Ｈ４６ ひな型フレーズのテキスト
Ｌ２０ モジュール
Ｍ２０ モデル
Ｎ ネットワーク
Ｐ１０，Ｐ２０ プログラム
Ｒ１〜Ｒ４ 見出しタブ
Ｔ１〜Ｔ８ テキスト
Ｔ４０〜Ｔ４６ 定型フレーズのテキスト

【図1】

【図2】

【図3】

【図4】