特許 6243071 通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6243071

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体

(51)【国際特許分類】

   H04M 1/00 20060101AFI20171127BHJP

【ＦＩ】

   H04M1/00 R

【請求項の数】8

【全頁数】16

(21)【出願番号】特願2017-73698(P2017-73698)

(22)【出願日】2017年4月3日

【審査請求日】2017年4月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】517115983

【氏名又は名称】田代 旋造

(74)【代理人】

【識別番号】100089026

【弁理士】

【氏名又は名称】木村 高明

(74)【代理人】

【識別番号】100091580

【弁理士】

【氏名又は名称】宮尾 雅文

(72)【発明者】

【氏名】田代 旋造

【審査官】 山岸 登

(56)【参考文献】

【文献】 特開２００５−２０２８８４（ＪＰ，Ａ）

【文献】 特開２０１３−１４０５８４（ＪＰ，Ａ）

【文献】 特開２００１−２６５７００（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２４２９５５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１６／００３４４４７（ＵＳ，Ａ１）

【文献】 特開２００３−１８８９４８（ＪＰ，Ａ）

【文献】 特開２０１５−１０００７３（ＪＰ，Ａ）

【文献】 特許第５９９８２９８（ＪＰ，Ｂ１）

【文献】 特開２０１３−１３１１９６（ＪＰ，Ａ）

【文献】 特開２０１１−１１８６９０（ＪＰ，Ａ）

【文献】 特開２０１７−０４９６２４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

１７／２７−１７／２８

Ｈ０４Ｂ ７／２４− ７／２６

Ｈ０４Ｍ １／００

１／２４− ３／００

３／１６− ３／２０

３／３８− ３／５８

７／００− ７／１６

１１／００−１１／１０

９９／００

Ｈ０４Ｗ ４／００− ８／２４

８／２６−１６／３２

２４／００−２８／００

２８／０２−７２／０２

７２／０４−７４／０２

７４／０４−７４／０６

７４／０８−８４／１０

８４／１２−８８／０６

８８／０８−９９／００

(57)【特許請求の範囲】

【請求項1】

基本言語と他言語との相互翻訳を実行する翻訳アプリケーションを予めインストールした記憶手段を有する１つの通信端末に実行させるステップとして、
前記基本言語による音声データ又はテキストデータの少なくとも何れか一方の入力を入力手段を介して発信基準データとして受け付ける通信内容受付ステップと、
前記翻訳アプリケーションを起動させて、前記通信内容受付ステップで受け付けた前記発信基準データを前記他言語の音声データ及びテキストデータに翻訳して発信データを生成する他言語化翻訳ステップと、
前記他言語化翻訳ステップで翻訳した前記発信データを電気通信回線を通じて発信手段により発信する発信ステップと、
前記他言語による音声データ又はテキストデータを前記電気通信回線を通じて受信手段により受信基準データとして受信する受信ステップと、
前記翻訳アプリケーションを起動させて前記受信ステップで受信した前記受信基準データを前記基本言語による音声データ及びテキストデータに翻訳して受信データを生成する基本言語化翻訳ステップと、
前記基本言語化翻訳ステップで翻訳した前記受信データを出力手段を介して出力する通信内容出力ステップと、
を備えることを特徴とする通信内容翻訳処理方法。

【請求項2】

前記他言語化翻訳ステップを実行させる前に、前記記憶手段に予め登録した通信相手先の登録名を含むアドレスデータに基づいて翻訳対象となる前記他言語を特定する他言語特定ステップと、
を備えることを特徴とする請求項１に記載の通信内容翻訳処理方法。

【請求項3】

前記入力手段により受け付けた前記発信基準データが前記基本言語による音声データである場合に、前記記憶手段に予めインストールした聞き取りアプリケーションを起動させて、前記他言語によるテキストデータからなる前記発信データを生成するための前記基本言語による基本テキストデータを生成する基本テキストデータ生成ステップと、
を備えることを特徴とする請求項１又は請求項２に記載の通信内容翻訳処理方法。

【請求項4】

前記入力手段により受け付けた前記発信基準データが前記基本言語によるテキストデータである場合に、前記記憶手段に予めインストールした読み上げアプリケーションを起動させて、前記他言語による音声データからなる前記発信データを生成するための前記基本言語による基本音声データを生成する基本音声データ生成ステップと、
を備えることを特徴とする請求項１又は請求項２に記載の通信内容翻訳処理方法。

【請求項5】

前記入力手段により受け付けた前記発信基準データが前記基本言語によるテキストデータである場合に、前記他言語化翻訳ステップで翻訳した前記他言語の音声データによる前記発信データに加えて前記入力手段により受け付けた前記基本言語によるテキストデータを前記発信手段により発信する発信ステップと、
を備えることを特徴とする請求項４に記載の通信内容翻訳処理方法。

【請求項6】

前記入力手段が前記基本言語による音声データを受け付けてから前記他言語化翻訳ステップで翻訳した前記他言語による前記発信データを前記発信手段により発信するまでの期間は前記受信手段による受信をキャンセルする割り込みキャンセルステップと、
を備えることを特徴とする請求項１乃至請求項５の何れか１項に記載の通信内容翻訳処理方法。

【請求項7】

請求項１乃至請求項６の何れか１項に記載の通信内容翻訳処理方法を通信端末の演算手段に実行させる通信内容翻訳処理プログラム。

【請求項8】

請求項１乃至請求項６の何れか１項に記載の通信内容翻訳処理方法を通信端末の演算手段に実行させる通信内容翻訳処理プログラムを記録した記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電気通信回線を通じて相互通信している際に、基本言語と他言語とで相互翻訳するための通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体に関する。

【背景技術】

【0002】

従来、電話回線を通じた通話（会話）や、インターネット回線を通じたチャット或はＥ−Ｍａｉｌによる往復書簡など、電気通信回線を通じて相互通信している際に双方の言語が異なっている場合に、内容の理解のために翻訳する各種翻訳機能が周知である。

【0003】

この際、対面した相互会話の場合、一方が翻訳機を持参していれば、互いの言語が異なりかつ相手方の言語に対する語学力を有していなくても会話を成立させ、コミュニケーションをとることが可能である。

【0004】

一方、受信から返信までに時間的な余裕があり、その間に翻訳を行うことができるＥ−Ｍａｉｌ等とは異なり、通話やチャット（各種ＳＮＳのタイムライン等を含む）などのように、即時性を有する相互通信では、発信側における基本言語から他言語への翻訳と、受信時における他言語から基本言語への翻訳、の２通りを実現する必要がある。

【0005】

そこで、相互に翻訳機（翻訳機能）を有していなくても、一方側で発信時の他言語化と受信時の基本言語化とを実現するために、音声を聞き取ってテキストデータ化したうえで翻訳後のテキストデータを生成し、そのテキストデータをさらに音声に読み上げることにより、リアルタイムに近い通話を可能とした技術が知られている（例えば、特許文献１参照、）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特表２００５−５１３６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示の翻訳機は、音声通話時における聞き取りと読み上げとを実現する同時通訳の範疇に過ぎず、汎用性が低いという問題が生じていた。

【0008】

本発明は、翻訳のバリエーションを多機能化し得て汎用性を向上することができる通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、請求項１記載の発明にあっては、基本言語と他言語との相互翻訳を実行する翻訳アプリケーションを予めインストールした記憶手段を有する１つの通信端末に実行させるステップとして、前記基本言語による音声データ又はテキストデータの少なくとも何れか一方の入力を入力手段を介して発信基準データとして受け付ける通信内容受付ステップと、前記翻訳アプリケーションを起動させて、前記通信内容受付ステップで受け付けた前記発信基準データを前記他言語の音声データ及びテキストデータに翻訳して発信データを生成する他言語化翻訳ステップと、前記他言語化翻訳ステップで翻訳した前記発信データを電気通信回線を通じて発信手段により発信する発信ステップと、前記他言語による音声データ又はテキストデータを前記電気通信回線を通じて受信手段により受信基準データとして受信する受信ステップと、前記翻訳アプリケーションを起動させて前記受信ステップで受信した前記受信基準データを前記基本言語による音声データ及びテキストデータに翻訳して受信データを生成する基本言語化翻訳ステップと、前記基本言語化翻訳ステップで翻訳した前記受信データを出力手段を介して出力する通信内容出力ステップと、を備えるものである。

【0010】

請求項２記載の発明にあっては、前記他言語化翻訳ステップを実行させる前に、前記記憶手段に予め登録した通信相手先の登録名を含むアドレスデータに基づいて翻訳対象となる前記他言語を特定する他言語特定ステップと、を備えるものである。

【0011】

請求項３記載の発明にあっては、前記入力手段により受け付けた前記発信基準データが前記基本言語による音声データである場合に、前記記憶手段に予めインストールした聞き取りアプリケーションを起動させて、前記他言語によるテキストデータからなる前記発信データを生成するための前記基本言語による基本テキストデータを生成する基本テキストデータ生成ステップと、を備えるものである。

【0012】

請求項４記載の発明にあっては、前記入力手段により受け付けた前記発信基準データが前記基本言語によるテキストデータである場合に、前記記憶手段に予めインストールした読み上げアプリケーションを起動させて、前記他言語による音声データからなる前記発信データを生成するための前記基本言語による基本音声データを生成する基本音声データ生成ステップと、を備えるものである。

【0013】

請求項５記載の発明にあっては、前記入力手段により受け付けた前記発信基準データが前記基本言語によるテキストデータである場合に、前記他言語化翻訳ステップで翻訳した前記他言語の音声データによる前記発信データに加えて前記入力手段により受け付けた前記基本言語によるテキストデータを前記発信手段により発信する発信ステップと、を備えるものである。

【0014】

請求項６記載の発明にあっては、前記入力手段が前記基本言語による音声データを受け付けてから前記他言語化翻訳ステップで翻訳した前記他言語による前記発信データを前記発信手段により発信するまでの期間は前記受信手段による受信をキャンセルする割り込みキャンセルステップと、を備えるものである。

【0015】

請求項７記載の発明にあっては、請求項１乃至請求項６の何れか１項に記載の通信内容翻訳処理方法を通信端末の演算手段に実行させる、ものである。

【0016】

請求項８記載の発明にあっては、請求項１乃至請求項６の何れか１項に記載の通信内容翻訳処理方法を通信端末の演算手段に実行させる通信内容翻訳処理プログラムを記録した記録媒体である。

【発明の効果】

【0017】

本発明によれば、基本言語による音声入力又はテキスト入力に対して、他言語化した後の音声データ及びテキストデータの両方を生成すると同時に、その両データを相手方に送信することができると共に、他言語による音声データ又はテキストデータの受信に対して、基本言語化した後の音声データ及びテキストデータの両方を生成すると同時に、その両データを音声及びテキストとして出力することができる。

【0018】

これにより、目の不自由な人や耳の不自由な人であっても、他言語による相互通信を両立させることが可能となる。また、目や耳が不自由でなくても、テキストデータを相互で有することができ、通話メモの代わりや、契約等の大事な通話時における通話内容の誤認等を抑制することが可能となる。

【0019】

したがって、一方側にのみ翻訳機能を有している状態であるにもかかわらず、音声及びテキストの両方のデータを有効利用することができ、翻訳のバリエーションを多機能化し得て汎用性を向上することができる。

【0020】

また、他言語化翻訳ステップを実行させる前に、記憶手段に予め登録した通信相手先の登録名を含むアドレスデータに基づいて翻訳対象となる他言語を特定する他言語特定ステップを備えることにより、予め発信先或は受信元を特定するためのアドレスデータに含まれる電話番号やメールアドレス（ドメイン名）等を利用して他言語の選択・指定をすることなく、通信関係を成立させる前に国又は言語を特定して翻訳機能を有効化させることができる。

【0021】

また、入力手段により受け付けた発信基準データが基本言語による音声データである場合に、記憶手段に予めインストールした聞き取りアプリケーションを起動させて、他言語によるテキストデータからなる発信データを生成するための基本言語による基本テキストデータを生成する基本テキストデータ生成ステップを備えることにより、翻訳元となる基本言語のテキストデータを有効利用することができる。

【0022】

また、入力手段により受け付けた発信基準データが基本言語によるテキストデータである場合に、記憶手段に予めインストールした読み上げアプリケーションを起動させて、他言語による音声データからなる発信データを生成するための基本言語による基本音声データを生成する基本音声データ生成ステップを備えることにより、翻訳元となる基本言語のテキストデータを有効利用することができる。

【0023】

また、入力手段により受け付けた発信基準データが基本言語によるテキストデータである場合に、他言語化翻訳ステップで翻訳した他言語の音声データによる発信データに加えて入力手段により受け付けた基本言語によるテキストデータを発信手段により発信する発信ステップを備えることにより、翻訳元となる基本言語のテキストデータを誤訳やメモ等の代わりとして有効利用することができる。

【0024】

また、入力手段が基本言語による音声データを受け付けてから他言語化翻訳ステップで翻訳した他言語による発信データを発信手段により発信するまでの期間は受信手段による受信をキャンセルする割り込みキャンセルステップを備えることにより、意図的な発話完了まで相手方の音声入力を拒否することができ、会話の混濁（重なり）を抑制することができる。

【0025】

また、本発明の通信内容翻訳処理プログラムによれば、上述した通信内容翻訳処理方法を通信端末の演算手段に実行させることができる。

【0026】

本発明の記録媒体によれば、上述した通信内容翻訳処理方法を通信端末の演算手段に実行させるための通信内容翻訳処理プログラムを容易に利用することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施の形態に係る通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体に係るシステム適用例を示し、（Ａ）は通信端末に翻訳アプリケーションをインストールする一例の説明図、（Ｂ）は通信端末の要部のブロック構成図である。

【図2】チャット方式によるテキストデータの同時通訳例を示す説明図である。

【図3】基本言語による音声入力に基づく他言語化後の音声データとテキストデータとの利用例の説明図である。

【図4】（Ａ）は基本言語によるテキスト入力に基づく他言語化後の音声データとテキストデータとの利用例の説明図、（Ｂ）は他言語による音声入力に基づく基本言語化後の音声データとテキストデータとの利用例の説明図である。

【図5】本発明の一実施の形態に係る制御部が実行する翻訳ルーチンの一例のフロー図である。

【発明を実施するための形態】

【0028】

次に、本発明に係る一実施の形態について図面を参照して説明する。なお、以下の説明において、例えば、図１（Ａ）に示す通信端末１における上下左右表裏等の方向は、一般的な使用状態である図示の状態を基準として、紙面の上下左右表裏等と同じものとして説明する。

【0029】

図１（Ａ）に示すように、通信端末１は、各種通信方式の電気通信回線ＮＴを通じた電話機能による通話を実現するための音声入力部２及び音声出力部３と、表示機能を実現するための表示部４と、後述する通信内容翻訳処理方法を実現するための通信内容翻訳処理プログラムを含む通信端末１としての機能全般に関するプログラムを記憶した記憶部５と、記憶部５に記憶したプログラムにしたがって通信端末１の各種機能を処理する制御部（ＣＰＵ）６と、を備える。

【0030】

なお、図１（Ａ）に示した通信端末１は、スマートフォンであるが、タブレット端末やパーソナルコンピュータ等、コンピュータ機能を有していて、音声データによる通話機能に加え、テキストデータによるチャット機能・Ｅ−Ｍａｉｌ機能・ＳＮＳ（Social Networking Service）機能等を利用することができる端末であれば特に限定されるものではない。

【0031】

なお、各種通信方式には、主として無線による、電話通信回線方式、インターネット接続回線方式、赤外線やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信方式、等を含ませることができる。

【0032】

音声入力部２は、通信端末１の下方に設けた内蔵マイク（マイクロフォン）からの音声入力を許容する。また、音声入力部２は、例えば、通信端末１の周面に設けたプタグやコネクタ（図示せず）等への接続、或は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信接続、による外部マイクからの音声入力を含ませることができる。

【0033】

音声出力部３は、通信端末１の上方に設けた内蔵スピーカからの音声出力を許容する。また、音声出力部３は、例えば、通信端末１の周面に設けたプタグやコネクタ（図示せず）等への接続、或は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信接続、による外部スピーカからの音声出力を含ませることができる。

【0034】

表示部４は、カラー液晶パネル等を用いた画像表示に加え、タッチパネル方式を用いた各種操作を許容することができる。なお、ユーザによる各種操作には、表示部４を用いた所謂タッチ操作に加え、通信端末１の周面或は表面等に設けたスイッチ７による操作を含ませることができる。

【0035】

したがって、以下の説明では、表示部４の表示機能に特化した説明の場合は表示部４として説明するとともに、特に限定しないタッチパネル操作及びスイッチ操作以外の操作全般は、図１（Ｂ）に示すように、制御部６に操作信号（命令信号）を出力する操作部８による操作として総称して説明する。

【0036】

表示部４には、例えば、電話機能を実行するための電話アイコンＡＰ１、Ｅ−Ｍａｉｌ機能を実行するためのＥ−ＭａｉｌアイコンＡＰ２、チャット機能を実行するためのチャットアイコンＡＰ３といった各種機能アイコンが表示される。

【0037】

記憶部５は、所謂ＲＯＭ（Read only memory）やＲＡＭ（Random access memory）であり、制御部６とでコンピュータ機能を実現する。

【0038】

また、記憶部５には、一次記憶等の利用形態に応じたデータの保管場所として、内部ストレージの他、各種メディアを用いた着脱可能な外部ストレージ、インターネット接続によるクラウドＣを含むオンラインストレージ、等を含ませることができる。

【0039】

また、記憶部５には、例えば、電気通信回線（インターネット接続回線）ＮＴを通じてダウンロードした翻訳アプリケーション（以下、アプリケーションを単に「アプリ」とも称する）の実行プログラム（以下、「翻訳ドライバ」と称する場合もある）を予め記憶している。

【0040】

また、記憶部５には、電話機能による発呼や着呼の際に表示部４に相手先の氏名等を表示させるためのアドレス情報（アドレス帳）をテーブル方式で記憶している。

【0041】

このアドレス情報には、相手先を特定するための氏名の他、電話機能であれば相手先の電話番号、インターネット接続によるＥ−Ｍａｉｌ機能であれば相手先のＥ−Ｍａｉｌアドレス（ドメイン名を含む）、コミュニティ型会員制のサービスであるＳＮＳ機能であればサービス提供元への会員登録情報（個人情報保護のもとでの適正な会員公開データ）を含ませることができる。

【0042】

これらの個人情報は、適正かつ各機能を利用する際の必須の情報であり、かつ、国や言語を特定することができる情報となっている。

【0043】

図１（Ｂ）に示すように、通信端末１の制御部６は、例えば、内蔵アンテナ（図示せず）によって無線電波を受信した際の受信データを受信インターフェース（Ｉ／Ｆ）９から受信する。同様に、制御部６は、内蔵アンテナによって無線電波を送信する際の送信データを送信インターフェース（Ｉ／Ｆ）１０に送信する。

【0044】

制御部６は、翻訳ドライバを用いた通信内容翻訳処理のための、音声認識部１１、音声生成部１２、文字認識部１３、文字生成部１４、を制御するとともに音声データ又はテキストデータを送受信する。

【0045】

音声認識部１１には、音声入力部２にユーザが入力した音声に基づく音声データ、或は、受信インターフェース９を介して受信した音声データが入力される。音声認識部１１は、その音声データを解析する読み取り機能を有する。

【0046】

音声生成部１２は、音声出力部３から出力する音声データ、或は、送信インターフェース１０から送信する音声データを、音声認識部１１から出力した音声データ又は文字認識部１３から出力したテキストデータに基づいて生成する。音声生成部１２は、その生成した音声データを音声出力部３から出力する読み上げ機能を有する。

【0047】

文字認識部１３には、表示部４にユーザがタッチ入力した文字入力に基づくテキストデータ、或は、受信インターフェース９を介して受信したテキストデータが入力される。文字認識部１３は、そのテキストデータの文字データコードを認識する。

【0048】

文字生成部１４は、表示部４に表示するテキストデータ、或は、送信インターフェース１０から送信するテキストデータを、音声認識部１１から出力した音声データ又は文字認識部１３から出力したテキストデータに基づいて文字データコードを生成する。

【0049】

このような基本構成において、制御部６は、記憶部５に記憶したオペレーティングシステムで設定した言語（例えば、日本語）をユーザが通常利用する基本言語とし、翻訳ドライバにより記憶部５に記憶したアドレス情報の個人情報に含まれる通信相手が使用する言語（例えば、英語）を翻訳対象とする他言語とする。

【0050】

なお、他言語は１つの言語に限定されず、翻訳ドライバの種類に応じた言語とすることができる。したがって、翻訳ドライバは記憶部５に記憶した一つ以上を利用することができる。

【0051】

図２に示すように、制御部６は、ユーザが通信端末１の表示部４に表示しているチャットアイコンＡＰ３を選択した場合、チャット機能を立ち上げて表示部４にチャット画面を表示させる。

【0052】

この際、相手先はチャット機能に付随している相手先選択画面から相手先を選択すれば、基本言語を使用する相手なのか他言語を使用する相手なのかは自動で識別することができる。これにより、制御部６は、相手先が他言語を使用するユーザである場合、その対応した使用言語の他言語への翻訳機能を実行する。

【0053】

以下の説明において、相手先が利用する通信端末２１も、音声入力部２２及び音声出力部２３と、表示機能を実現するための表示部２４と、を含むスマートフォンである。この際、通信端末２１に翻訳アプリケーションはインストールされていないものとする。

【0054】

また、以下の説明においては、説明の便宜上、音声や文字等の言葉上の入出力に関しては『○○』で表記し、画面表示上の入出力に関しては［○○］で表記し、データ処理上の入出力に関しては＜○○＞で表記する。

【0055】

また、テキストデータは文字コード化したものであるため、以下の説明では、単なる「コード」或は「文字コード」とも称する。また、音声データ又はテキストデータを単に「音声」又は「テキスト」（又は表示用に変換した「文字」）とも称する。

【0056】

ここで、ユーザは、表示部４の画面下に表示した文字入力パッドを参照してタッチ操作を行い、例えば、『調子どお？』と入力すると、表示部４の画面右上に枠付きで文字［調子どお？］を表示させる。なお、この際の文字コードのデータ処理は公知の処理を利用している。

【0057】

一方、制御部６は、文字認識部１３により入力した文字コードを認識させ、認識した文字コードから翻訳ドライバを用いて、他言語の文字コード（例えば、＜How have you been＞）を生成する。制御部６は、生成した文字コード＜How have you been＞を、送信インターフェース１０を介して相手先の通信端末２１に送信する。

【0058】

相手先の通信端末２１（の制御部）は、受信した文字コード＜How have you been＞に基づいて、チャット方式で表示部２４の画面左上側に文字［How have you been］を表示する。

【0059】

これを受けて、相手先は、返事となる文字『so and so』を入力すると、相手先が所有する通信端末２１の表示部２４の画面右上に文字［so and so］が表示されるともに、文字コード＜so and so＞が送信される。

【0060】

文字コード＜so and so＞を受信した通信端末１の制御部６は、文字コード＜so and so＞を文字認識部１３で認識させた後、文字生成部１４で翻訳化した文字コード＜まぁまぁ＞を生成する。さらに、制御部６は、表示部４の画面左上に文字［まぁまぁ］を表示させる。

【0061】

このように、通信端末１と通信端末２１との間で、テキストデータ−テキストデータの相互通信に関し、相手先の使用言語が他言語であって、相手先の通信端末２１に翻訳アプリケーションがインストールされていない場合であっても、コミュニケーションを容易に確立することができる。

【0062】

このような基本的な翻訳機能を可能とする制御部６は、上記に加え、自身の通信端末１を用いた基本言語による音声又は文字の何れか一方の入力だけで、他言語に翻訳した音声出力並びに文字表記を相手先の通信端末２１に実現させることができる。

【0063】

また、制御部６は、相手先が通信端末２１を用いた他言語による音声又は文字の何れか一方の入力だけで、基本言語に翻訳した音声出力並びに文字表記を自身の通信端末１に実現させることができる。

【0064】

以下、通信端末１における音声入力の場合（図３参照）及び通信端末1における文字入力の場合（図４参照）の一例を説明する。ここで、通信端末１は、音声付きチャットアプリ又は文字表示付き電話アプリを用いるものとする。なお、通常の電話アプリ（電話アイコンＡＰ１）に文字出力機能付き翻訳をモード的に追加プログラムしてもよい。

【0065】

同様に、通常のチャットアプリ（チャットアイコンＡＰ３）に音声機能付き翻訳をモード的に追加プログラムしてもよい。また、制御部６は、ユーザがこれらのアプリケーションを立ち上げて相手先を指定すると、そのアドレスデータに記憶した情報に基づいて翻訳をする旨を決定しているものとする。

【0066】

図３に示すように、制御部６は、ユーザが音声入力部２に向けて『調子どお』と音声入力すると、音声認識部１１にその音声を読み取らせて音声＜調子どお＞を生成する。

【0067】

次に、制御部６は、読み取った音声＜調子どお＞に基づいて、文字生成部１４により文字＜調子どお＞を生成させて表示部４に文字［調子どお］を表示させるとともに、翻訳した文字＜How have you been＞を生成させて表示部４に文字［How have you been］を表示させる。また、制御部６は、生成した文字＜How have you been＞に基づいて、音声生成部１２により音声＜How have you been＞を生成させる。

【0068】

これにより、制御部６は、生成した、文字＜調子どお＞、文字＜How have you been＞、音声＜How have you been＞、の３つのデータを重畳して送信インターフェース１０から通信端末２１に向けて送信する。

【0069】

通信端末２１は、受信したデータに基づいて、翻訳前の文字［調子どお］と翻訳後の文字［How have you been］を表示部２４に表示させるとともに、音声『How have you been』を音声出力部２３から出力させる。

【0070】

このように、通信端末２１では、翻訳アプリをインストールしていなくても、文字＜調子どお＞、文字＜How have you been＞、音声＜How have you been＞、の３つのデータを取得することができる。

【0071】

一方、通信端末２１のユーザは、音声『How have you been』に対して、音声入力部２２に『so and so』と音声入力すると、その音声＜so and so＞を通信端末１に向けて送信する。

【0072】

通信端末１の制御部６は、受信インターフェース９で音声＜so and so＞を受信させると、音声認識部１１により音声＜so and so＞を認識させる。

【0073】

これにより、制御部６は、文字生成部１４により文字＜so and so＞を生成させて表示部４に文字［so and so］を表示させるとともに、翻訳した文字＜まぁまぁ＞を生成させて表示部４に文字［まぁまぁ］を表示させる。また、制御部６は、生成した文字＜まぁまぁ＞に基づいて、音声生成部１２により音声＜まぁまぁ＞を生成させ、音声出力部３から音訳した音声『まぁまぁ』を出力させる。

【0074】

このように、通信端末２１では、文字＜so and so＞、文字＜so and so＞、音声＜まぁまぁ＞、の３つのデータを生成し、それぞれ表示部４及び音声出力部３に展開してユーザに認識させることができる。

【0075】

図４に示すように、制御部６は、ユーザが表示部４に表示した文字入力パッドを用いて『調子どお』と文字入力すると、文字認識部１３にその文字コードを認識させる。

【0076】

次に、制御部６は、文字＜調子どお＞に基づいて、文字生成部１４により文字＜調子どお＞を生成させて表示部４に文字［調子どお］を表示させるとともに、翻訳した文字＜How have you been＞を生成させて表示部４に文字［How have you been］を表示させる。

【0077】

また、制御部６は、生成した文字＜How have you been＞に基づいて、音声生成部１２により音声＜How have you been＞を生成させる。

【0078】

これにより、制御部６は、生成した、文字＜調子どお＞、文字＜How have you been＞、音声＜How have you been＞、の３つのデータを重畳して送信インターフェース１０から通信端末２１に向けて送信する。

【0079】

通信端末２１は、受信したデータに基づいて、翻訳前の文字［調子どお］と翻訳後の文字［How have you been］を表示部２４に表示させるとともに、音声『How have you been』を音声出力部２３から出力させる。

【0080】

このように、通信端末２１では、翻訳アプリをインストールしていなくても、文字＜調子どお＞、文字＜How have you been＞、音声＜How have you been＞、の３つのデータを取得することができる。

【0081】

一方、通信端末２１のユーザは、音声『How have you been』に対して、音声入力部２２に『so and so』と音声入力（又は文字『so and so』と入力）すると、その音声＜so and so＞（又は文字＜so and so＞）を通信端末１に向けて送信する。

【0082】

通信端末１の制御部６は、受信インターフェース９で音声＜so and so＞（又は文字＜so and so＞）を受信させると、音声認識部１１により音声＜so and so＞（又は文字認識部１３により文字＜so and so＞）を認識させる。

【0083】

これにより、制御部６は、文字生成部１４により文字＜so and so＞を生成させて表示部４に文字［so and so］を表示させるとともに、翻訳した文字＜まぁまぁ＞を生成させて表示部４に文字［まぁまぁ］を表示させる。

【0084】

また、制御部６は、生成した文字＜まぁまぁ＞に基づいて、音声生成部１２により音声＜まぁまぁ＞を生成させ、音声出力部３から翻訳した音声『まぁまぁ』を出力させる。

【0085】

このように、通信端末２１では、文字＜so and so＞、文字＜so and so＞、音声＜まぁまぁ＞、の３つのデータを生成し、それぞれ表示部４及び音声出力部３に展開してユーザに認識させることができる。

【0086】

次に、制御部６で実行する具体的なルーチンを図５のフロー図に基づいて説明する。

【0087】

上述したように、通信端末１は、記憶部５に基本言語と他言語との相互翻訳を実行する翻訳アプリケーションを予めインストールしているとともに、アドレス帳を記憶している。

【0088】

（ステップＳ１）
ステップＳ１において、制御部６は、ユーザーによる操作部８の操作による通信アプリケーションの指定を受けて、その通信アプリケーションに対応したアドレス帳を記憶部５から参照し、表示部４にアドレス帳を表示させ、ステップＳ２へと移行する。

【0089】

（ステップＳ２）
ステップＳ２において、制御部６は、ユーザの操作により発呼先（通信相手）の指定操作があったか否かの判定をする。制御部６は、発呼先の指定があったと判定した場合には（Ｙｅｓ）ステップＳ３へと移行する。

【0090】

一方、制御部６は、発呼先の指定があったと判定しなかった場合（Ｎｏ）には、発呼先の指定があるまで（又は他のアプリケーション等の操作があるまで）引き続きこのルーチンを監視する。そして、制御部６は、指定した発呼先との通信（ここでは電話機能）を確立させる。

【0091】

（ステップＳ３）
ステップＳ３において、制御部６は、ユーザが指定した発呼先により、発呼先を特定するとともに発呼先に対応したアドレス情報を解析し、ステップＳ４へと移行する。

【0092】

（ステップＳ４：他言語特定ステップ）
ステップＳ４において、制御部６は、解析したアドレス情報に基づいて、通信相手が使用する言語が基本言語であるか他言語であるかを含め国又は言語を特定し、ステップＳ５へと移行する。

【0093】

なお、以下の説明では、このステップＳ４にて通信相手が使用する言語が他言語である旨を特定したものとして説明する。

【0094】

（ステップＳ５：通信内容受付ステップ）
ステップＳ５において、制御部６は、基本言語による音声データ又はテキストデータの少なくとも何れか一方の入力を入力手段としての音声入力部２又は表示部４を介して発信基準データとして受け付け、ステップＳ６へと移行する。

【0095】

（ステップＳ６：他言語化翻訳ステップ）
ステップＳ６において、制御部６は、翻訳アプリケーションを起動させて、ステップＳ５で受け付けた発信基準データを他言語の音声データ及びテキストデータに翻訳して発信データを生成し、ステップＳ７へと移行する。

【0096】

なお、上記ステップＳ５において、音声入力部２からの音声入力であった場合、制御部６は、音声入力部２で受け付けた発信基準データである基本言語による音声データとして認識し、記憶部５に予めインストールした聞き取りアプリケーションを起動させる。

【0097】

そして、このステップＳ６において、制御部６は、他言語によるテキストデータからなる発信データを生成するための基本言語による基本テキストデータを生成する基本テキストデータ生成ステップを実行することとなる。

【0098】

一方、上記ステップＳ５において、表示部４からの文字入力であった場合、制御部６は、表示部４から受け付けた発信基準データである基本言語によるテキストデータとして認識し、記憶部５に予めインストールした読み上げアプリケーションを起動させる。

【0099】

そして、このステップＳ６において、制御部６は、他言語による音声データからなる発信データを生成するための基本言語による基本音声データを生成する基本音声データ生成ステップを実行することとなる。

【0100】

（ステップＳ７：発信ステップ）
ステップＳ７において、制御部６は、ステップＳ６で翻訳した発信データを電気通信回線を通じて発信手段としての送信インターフェース１０から発信し、ステップＳ８へと移行する。

【0101】

なお、制御部６は、このステップＳ７において、表示部４により受け付けた発信基準データが基本言語によるテキストデータである場合に、翻訳した他言語の音声データによる発信データに加えて基本言語によるテキストデータを重畳して発信してもよい。

【0102】

なお、ユーザは、ステップＳ２において相手先との通信状態（通話状態）が確立しているため、ステップＳ３〜ステップＳ７の発信が完了するまで（言葉を言い尽くすか相手先がデータを受信するまで）スイッチ７を押下して相手からの割り込みができないようにするキャンセルステップを実行（受け付け）してもよい。これにより、音声の混濁（翻訳の混濁）を抑制することができる。

【0103】

（ステップＳ８）
次に、制御部６は、相手先からの受信があったか否かを判定する。なお、制御部６は、引き続きステップＳ５のルーチンによりユーザからの通信内容を割り込みとして受け付けることも可能である。制御部６は、相手先から受信があったと判定した場合（Ｙｅｓ）には、ステップＳ９へと移行する。

【0104】

一方、制御部６は、相手先から受信があったと判定しなかった場合（Ｎｏ）には、引き続きこのルーチン若しくはステップＳ５の割り込みを監視する。

【0105】

（ステップＳ９：受信ステップ）
ステップＳ９において、制御部６は、通信相手からの他言語による音声データ又はテキストデータを電気通信回線を通じて受信手段としての受信インターフェース９により受信基準データとして受信し、ステップＳ１０へと移行する。

【0106】

（ステップＳ１０）
ステップＳ１０において、制御部６は、受信データがテキストデータであるのか音声データであるのかを特定し、ステップＳ１１へと移行する。

【0107】

（ステップＳ１１）
ステップＳ１１において、制御部６は、受信データに基づいて、出力方式、すなわち、文字解析を実行するのか音声解析を実行するのかを決定し、ステップＳ１２へと移行する。

【0108】

（ステップＳ１２：基本言語化翻訳ステップ）
ステップＳ１２において、制御部６は、翻訳アプリケーションを起動させてステップＳ９で受信した受信基準データを基本言語による音声データ及びテキストデータに翻訳して受信データを生成し、ステップＳ１３へと移行する。

【0109】

（ステップＳ１３：通信内容出力ステップ）
ステップＳ１３において、制御部６は、ステップＳ１２で翻訳した受信データを出力手段としての音声出力部３及び表示部４を介して音声出力並びに文字出力してこのルーチンを終了する。なお、制御部６は、以降、通信（通話）が終了するまで上記ルーチンを繰り返す。

【0110】

このように、本実施の形態に係る通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体は、通信端末１に入力した音声又は文字の何れか一方に対して、通信相手の通信端末２１に翻訳した音声と文字とを出力させることができる。

【0111】

また、通信相手の通信端末から音声又は文字の何れか一方の送信に対して、通信端末１に翻訳した音声と文字とを出力させることができる。

【0112】

ここで、通信端末１及び通信端末２１の基本言語である翻訳前の文字を互いに送受信することもできる。

【0113】

また、以上既に述べた以外にも、上記実施の形態による手法を適宜組み合わせて利用しても良い。

【0114】

その他、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

【0115】

以上説明したように、本発明に係る通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体は、翻訳のバリエーションを多機能化し得て汎用性を向上することができるという効果を有し、電気通信回線を通じて相互通信している際に、基本言語と他言語とで相互翻訳するための通信内容翻訳処理方法、通信内容翻訳処理プログラム、及び、記録媒体全般に有用である。

【符号の説明】

【0116】

１ 通信端末
２ 音声入力部
３ 音声出力部
４ 表示部
５ 記憶部
６ 制御部
７ スイッチ
８ 操作部
９ 受信インターフェース
１０ 送信インターフェース
１１ 音声認識部
１２ 音声生成部
１３ 文字認識部
１４ 文字生成部
２１ 通信端末
２２ 音声入力部
２３ 音声出力部
２４ 表示部
ＡＰ１ 電話アイコン
ＡＰ２ Ｅ−Ｍａｉｌアイコン
ＡＰ３ チャットアイコン
Ｃ クラウド
ＮＴ 電気通信回線

【要約】

【課題】翻訳のバリエーションを多機能化し得て汎用性を向上することができる通信内容翻訳処理方法を提供すること。
【解決手段】基本言語と他言語との相互翻訳を実行する翻訳アプリケーションを予めインストールした記憶手段を有する通信端末を用い、基本言語による音声データ又はテキストデータの少なくとも何れか一方の入力を発信基準データとして受け付け、翻訳アプリケーションを起動させて、受け付けた発信基準データを他言語の音声データ及びテキストデータに翻訳して発信データを生成し、翻訳した発信データを電気通信回線を通じて発信し、他言語による音声データ又はテキストデータを電気通信回線を通じて受信基準データとして受信し、翻訳アプリケーションを起動させて受信した受信基準データを基本言語による音声データ及びテキストデータに翻訳して受信データを生成し、翻訳した受信データを出力手段を介して出力する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】