特許 7437356 電子機器の通訳機能提供方法およびイヤセット機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-14

(45)【発行日】2024-02-22

(54)【発明の名称】電子機器の通訳機能提供方法およびイヤセット機器

(51)【国際特許分類】

   G06F 40/58 20200101AFI20240215BHJP

   G10L 15/00 20130101ALI20240215BHJP

   H04R 1/10 20060101ALI20240215BHJP

【ＦＩ】

G06F40/58

G10L15/00 200C

H04R1/10 104Z

【請求項の数】 11

(21)【出願番号】P 2021121707

(22)【出願日】2021-07-26

(62)【分割の表示】P 2017220005の分割

【原出願日】2017-11-15

(65)【公開番号】P2021177418

(43)【公開日】2021-11-11

【審査請求日】2021-08-24

【審判番号】

【審判請求日】2023-06-02

(31)【優先権主張番号】10-2017-0082430

(32)【優先日】2017-06-29

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ＬＩＮＥヤフー株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】パク ジュンヒョン

(72)【発明者】

【氏名】パク シヨン

【合議体】

【審判長】渡邊 聡

【審判官】佐藤 智康

【審判官】相崎 裕恒

(56)【参考文献】

【文献】特表２０１６－５０９３７９（ＪＰ，Ａ）

【文献】特開２０１６－９１３５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１７７８５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／００６０８５０（ＵＳ，Ａ１）

【文献】世界の言葉の壁を取り払う、同時通訳イヤホンＰｉｌｏｔが商品化！，株式会社ユーディーアール ワールドビジネスブログ，日本，株式会社ユーディーアール，２０１６年０６月３０日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F 40/00-40/58

(57)【特許請求の範囲】

【請求項1】

電子機器の通訳機能提供方法であって、
左右の耳に着用する１つのイヤセットペア（ｐａｉｒ）を形成する第１イヤセット機器および第２イヤセット機器に対し、第１イヤセット機器または第２イヤセット機器で発生するアプリケーション実行信号を前記電子機器で受信する段階、
前記受信したアプリケーション実行信号に対応するアプリケーションを前記電子機器で実行させる段階、
前記実行されたアプリケーションの制御にしたがい、前記電子機器で実行する通訳モードをセルフ通訳モードまたは多者間通訳モードに設定する段階、および
前記電子機器で実行される通訳モードを前記多者間通訳モードに設定した場合、前記実行するアプリケーションの制御にしたがい、前記電子機器が、第１ユーザの片耳に着用された前記第１イヤセット機器および第２ユーザの片耳に着用された前記第２イヤセット機器と通信して前記第１ユーザおよび前記第２ユーザ間の互いに異なる言語への前記多者間通訳モードによる通訳機能を提供する段階
を含み、
前記設定する段階は、前記第１イヤセット機器および前記第２イヤセット機器のうち少なくとも１つを通じて入力される音声に対する分析に基づいて、前記電子機器で実行する通訳モードを前記セルフ通訳モードまたは前記多者間通訳モードに自動的に設定し、
前記電子機器で実行される通訳モードを前記セルフ通訳モードに設定した場合、前記実行されたアプリケーションの制御にしたがい、前記電子機器が、前記第１イヤセット機器及び前記第２イヤセット機器の少なくとも１つを通じて入力された第１言語の音声を第２言語に変換し、変換された前記第２言語の音声を前記第１イヤセット機器及び前記第２イヤセット機器のうち少なくとも１つを通じて出力することによって前記セルフ通訳モードによる通訳機能を提供する、通訳機能提供方法。

【請求項2】

前記通訳機能を提供する段階は、
前記第１イヤセット機器を通じて入力され前記電子機器が受信した第１ユーザの第１言語の音声を第２ユーザの第２言語の音声に変換して前記第２イヤセット機器に提供し、前記第２イヤセット機器を通じて入力され前記電子機器が受信した第２言語の音声を第１言語の音声に変換して前記第１イヤセット機器に提供し、互いに異なる言語への通訳機能を提供する、請求項１に記載の通訳機能提供方法。

【請求項3】

前記電子機器は、前記第１イヤセット機器および前記第２イヤセット機器のうちのいずれか１つのイヤセット機器と直接通信し、前記直接通信するイヤセット機器と残り１つのイヤセット機器間の無線通信によって前記残り１つのイヤセット機器と間接通信する、請求項１に記載の通訳機能提供方法。

【請求項4】

前記電子機器は、前記第１イヤセット機器および前記第２イヤセット機器の両方と直接通信する、請求項１に記載の通訳機能提供方法。

【請求項5】

前記受信したアプリケーション実行信号または前記実行するアプリケーションで入力される通訳モード開始信号に基づいて、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを利用した音楽鑑賞モードまたは電話通話モードを通訳モードに切り替える段階、および
前記第１イヤセット機器と第２イヤセット機器を含むイヤセットペアのうちいずれか１つのイヤセット機器で発生するアプリケーション終了信号または前記アプリケーションで入力される通訳モード終了信号に基づいて、前記通訳モードを前記音楽鑑賞モードまたは電話通話モードに切り替える段階
をさらに含む、請求項１に記載の通訳機能提供方法。

【請求項6】

前記電子機器を使用した電話通話の相手との電話通話中に、電話通話中通訳機能を提供する段階
をさらに含み、
前記電話通話中通訳機能を提供する段階は、
前記電子機器が前記電話通話の相手と電話通話中の状態で、前記第１イヤセット機器または第２イヤセット機器で発生するアプリケーション実行信号または前記実行するアプリケーションで入力される電話通話中通訳モードの開始信号に基づいて、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを利用して実行中の電話通話モードを電話通話中通訳モードに切り替える段階、
前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを通じて入力され受信した言語の音声を、前記電話通話の相手の言語である他の言語の音声に変換する段階、および
前記変換された前記他の言語の音声を、前記電話通話モードを通じて前記電話通話の相手に提供する段階
をさらに含む、請求項１に記載の通訳機能提供方法。

【請求項7】

前記アプリケーション実行信号は、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含む物理的なボタンによる入力、または前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含むセンサの出力値によって発生する、請求項１に記載の通訳機能提供方法。

【請求項8】

前記通訳機能を提供する段階は、
前記第１イヤセット機器を通じて入力され受信した前記第１ユーザの音声の第１言語と前記第２イヤセット機器を通じて入力され受信した前記第２ユーザの音声の第２言語を感知する段階、
感知された第１言語の音声を感知された第２言語の音声に変換し、感知された第２言語の音声を感知された第１言語の音声に変換する段階、および
前記変換された第２言語の音声を前記第２イヤセット機器に提供し、前記変換された第１言語の音声を前記第１イヤセット機器に提供する段階
を含む、請求項２に記載の通訳機能提供方法。

【請求項9】

コンピュータと結合して請求項１～８のうちのいずれか一項に記載の方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納された、コンピュータプログラム。

【請求項10】

請求項１～８のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータで読み取り可能な記録媒体。

【請求項11】

通訳機能を提供する電子機器であって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
左右の耳に着用する１つのイヤセットペア（ｐａｉｒ）を形成する第１イヤセット機器および第２イヤセット機器に対し、第１イヤセット機器または第２イヤセット機器で発生するアプリケーション実行信号を受信し、
前記受信したアプリケーション実行信号に対応するアプリケーションを実行し、
前記実行されたアプリケーションの制御にしたがい、前記電子機器で実行する通訳モードをセルフ通訳モードまたは多者間通訳モードに設定し、
前記電子機器で実行される通訳モードを前記多者間通訳モードに設定した場合、前記実行するアプリケーションの制御にしたがい、第１ユーザの片耳に着用された前記第１イヤセット機器および第２ユーザの片耳に着用された前記第２イヤセット機器と通信して前記第１ユーザおよび前記第２ユーザ間の互いに異なる言語への前記多者間通訳モードによる通訳機能を提供するものであり、
前記電子機器で実行する通訳モードをセルフ通訳モードまたは多者間通訳モードに設定する際に、前記第１イヤセット機器および前記第２イヤセット機器のうち少なくとも１つを通じて入力される音声に対する分析に基づいて、前記電子機器で実行する通訳モードを前記セルフ通訳モードまたは前記多者間通訳モードに自動的に設定し、
前記電子機器で実行される通訳モードを前記セルフ通訳モードに設定した場合、前記実行されたアプリケーションの制御にしたがい、前記電子機器が、前記第１イヤセット機器及び前記第２イヤセット機器の少なくとも１つを通じて入力された第１言語の音声を第２言語に変換し、変換された前記第２言語の音声を前記第１イヤセット機器及び前記第２イヤセット機器のうち少なくとも１つを通じて出力することによって前記セルフ通訳モードによる通訳機能を提供する、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、イヤセットを利用した通訳機能提供方法および装置、コンピュータと結合して本発明の実施形態に係る通訳機能提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体に関する。

【背景技術】

【0002】

イヤセット（ｅａｒｓｅｔ）とは、電話機に連結することで手を使わずに通話をするために利用されるイヤホンとマイクを備えた機器であり、例えば、スマートフォンに連結することにより、電話通話はもちろん、音楽のようなオーディオを受信して出力したり、物理的なボタンやセンサ、あるいは音声によってスマートフォンを制御するための多様な制御信号をスマートフォンに提供したりすることができる。例えば、特許文献１では、イヤカーネルマイクが内蔵されたブルートゥース（登録商標）イヤセットを開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】韓国公開特許第１０－２０１７－００３０３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

イヤセットを利用して通訳機能を提供することができる通訳機能提供方法および装置、コンピュータと結合して本発明の実施形態に係る通訳機能提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体を提供する。

【0005】

第１イヤセット機器を通じて入力され電子機器が受信した第１言語の音声を第２言語の音声に変換して第２イヤセット機器に提供し、第２イヤセット機器を通じて入力され電子機器が受信された第２言語の音声を第１言語の音声に変換して第１イヤセット機器に提供することにより、第１イヤセット機器と第２イヤセット機器を含むイヤセットペア（ｐａｉｒ）を利用して互いに異なる言語を利用する２人のユーザ間の通訳機能を提供することができる通訳機能提供方法および装置、コンピュータと結合して本発明の実施形態に係る通訳機能提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されたコンピュータプログラムとその記録媒体を提供する。

【課題を解決するための手段】

【0006】

電子機器の通訳機能提供方法であって、第１イヤセット機器または第２イヤセット機器で発生するアプリケーション実行信号を受信する段階、前記受信したアプリケーション実行信号に対応するアプリケーションを実行する段階、および前記実行されるアプリケーションの制御にしたがい、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを通じて入力されて電子機器が受信した音声に対する他の言語への通訳機能を提供する段階を含む、通訳機能提供方法を提供する。

【0007】

第１イヤセット機器の通訳機能提供方法であって、前記第１イヤセット機器に入力される第１言語の音声が電子機器で実行されるアプリケーションの通訳機能によって第２言語の音声に変換され、前記第１イヤセット機器とイヤセットペアをなす第２イヤセット機器に提供されるように、前記第１言語の音声を前記電子機器に送信する段階、前記第２イヤセット機器に入力されて前記電子機器で受信した第２言語の音声を、前記電子機器が前記実行されたアプリケーションの通訳機能によって第１言語の音声に変換することに応答し、前記電子機器から前記変換された第１言語の音声を受信する段階、および前記受信した第１言語の音声を出力する段階を含む、通訳機能提供方法を提供する。

【0008】

前記通訳機能提供方法をコンピュータに実行させるためのコンピュータプログラムが記録されている、コンピュータで読み取り可能な記録媒体を提供する。

【0009】

コンピュータと結合して前記通訳機能提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納された、コンピュータプログラムを提供する。

【0010】

第１イヤセット機器であって、音を入力するための音信号入力部、音を出力するための音信号出力部、前記電子機器または前記第１イヤセット機器とイヤセットペアをなす第２イヤセット機器と通信するための通信部、および前記音信号入力部、前記音信号出力部、および前記通信部を制御する制御部を備え、前記制御部は、前記音信号入力部を通じて入力される第１言語の音声が、前記電子機器で実行されたアプリケーションの通訳機能にしたがって第２言語の音声に変換されて前記第１イヤセット機器とイヤセットペアをなす第２イヤセット機器に提供されるように、前記第１言語の音声を前記電子機器に送信するように前記通信部を制御し、前記第２イヤセット機器に入力されて前記電子機器で受信した第２言語の音声を、前記電子機器が前記実行されるアプリケーションの通訳機能にしたがって第１言語の音声に変換するに応答し、前記電子機器から前記変換された第１言語の音声を受信するように前記通信部を制御し、前記受信した第１言語の音声を出力するように前記音信号出力部を制御する、第１イヤセット機器を提供する。

【発明の効果】

【0011】

イヤセットを利用して通訳機能を提供することができ、第１イヤセット機器と第２イヤセット機器を含むイヤセットペアを利用して互いに異なる言語の２名のユーザ間の通訳機能を提供することができる。

【0012】

通訳機能を利用することにより、第１言語から第２言語に通訳された音声を電話通話の相手に提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態における、イヤセットを利用した通訳機能提供過程の例を示した図である。

【図2】本発明の一実施形態における、イヤセットペアの例を示した図である。

【図3】本発明の一実施形態における、イヤセットペアと電子機器の通信例を示した図である。

【図4】本発明の一実施形態における、イヤセットペアと電子機器の他の通信例を示した図である。

【図5】本発明の一実施形態における、電子機器、イヤセット機器、およびサーバの内部構成を説明するためのブロック図である。

【図6】本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。

【図7】本発明の一実施形態における、通訳機能提供方法の例を示したフローチャートである。

【図8】本発明の一実施形態における、セルフ通訳および多者間通訳のための通訳機能を提供する例を示したフローチャートである。

【図9】本発明の一実施形態における、音楽鑑賞モードまたは電話通話モードを通訳モードに切り替える例を示したフローチャートである。

【図10】本発明の一実施形態における、電話通話中に通訳機能を提供する例を示したフローチャートである。

【図11】本発明の一実施形態における、イヤセット機器の通訳機能提供方法の例を示したフローチャートである。

【発明を実施するための形態】

【0014】

以下、実施形態について、添付の図面を参照しながら詳しく説明する。

【0015】

本発明の実施形態に係る通訳機能提供方法は、以下で説明される電子機器やイヤセット機器によって実行されてよい。例えば、電子機器やイヤセット機器には、本発明の一実施形態に係るコンピュータプログラムがインストールおよび駆動されてよく、電子機器やイヤセット機器は、駆動するコンピュータプログラムの制御にしたがって本発明の一実施形態に係る通訳機能提供方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器やイヤセット機器と結合して通訳機能提供方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納されてよい。ここで、説明したコンピュータプログラムは、独立する１つのプログラムパッケージの形態であってもよいし、独立する１つのプログラムパッケージの形態が、コンピュータに予めインストールされて駆動するオペレーティングシステムや他のプログラムパッケージと連係する形態であってもよい。

【0016】

図１は、本発明の一実施形態における、イヤセットを利用した通訳機能提供過程の例を示した図である。図１は、電子機器１１０、第１イヤセット機器１２０、および第２イヤセット機器１３０を示しており、第１ユーザ１４０が第１イヤセット機器１２０を右耳に、第２ユーザ１５０が第２イヤセット機器１３０を左耳にそれぞれ着用した例を示している。ここで、第１ユーザ１４０は第１言語を使用し、第２ユーザ１５０は第２言語を使用すると仮定する。

【0017】

このとき、第１ユーザ１４０が発話する第１言語の音声は、第１イヤセット機器１２０が含むマイクのような音信号入力部に入力されてよく、第１イヤセット機器１２０は、入力された第１言語の音声を電子機器１１０に送信してよい。この場合、電子機器１１０は、電子機器１１０にインストールされたアプリケーションの通訳機能を利用し、受信した第１言語の音声を第２言語の音声に変換して第２イヤセット機器１３０に提供してよい。このとき、第２イヤセット機器１３０は、提供された第２言語の音声を第２イヤセット機器１３０が含むスピーカ（イヤホン）のような音信号出力部を通じて出力してよい。したがって、第２ユーザ１５０は、第１ユーザ１４０が発話する第１言語の音声を、第２言語に通訳された音声で聞くことができるようになる。

【0018】

また、第２ユーザ１５０が発話する第２言語の音声は、第２イヤセット機器１３０が含むマイクのような音信号入力部に入力されてよく、第２イヤセット機器１３０は、入力された第２言語の音声を電子機器１１０に送信してよい。この場合、電子機器１１０は、電子機器１１０にインストールされたアプリケーションの通訳機能を利用し、受信した第２言語の音声を第１言語の音声に変換して第１イヤセット機器１２０に提供してよい。このとき、第１イヤセット機器１２０は、提供された第１言語の音声を第１イヤセット機器１２０が含むスピーカ（イヤホン）のような音信号出力部を通じて出力してよい。したがって、第１ユーザ１４０は、第２ユーザ１５０が発話する第２言語の音声を、第１言語に通訳された音声で聞くことができるようになる。

【0019】

このように、図１の実施形態によると、１つのイヤセットペアをなす第１イヤセット機器１２０と第２イヤセット機器１３０を利用して多者間通訳の機能を提供することができる。

【0020】

図１の実施形態とは異なる実施形態において、第１ユーザ１４０が第１イヤセット機器１２０と第２イヤセット機器１３０をそれぞれ両耳に着用している場合が考慮されることもある。この場合、第１ユーザ１４０が発話する第１言語の音声は、第１イヤセット機器１２０と第２イヤセット機器１３０のうちの少なくとも１つを通じて入力されて電子機器１１０に送信されてよい。このとき、電子機器１１０は、電子機器１１０にインストールされたアプリケーションの通訳機能を利用し、受信した第１言語の音声を第２言語の音声に変換して第１イヤセット機器１２０と第２イヤセット機器１３０のうちの少なくとも１つに送信してよい。このとき、第１イヤセット機器１２０および／または第２イヤセット機器１３０は、第２言語に変換された音声を出力してよく、第１ユーザ１４０は、自身が第１言語で発話した音声を通訳した第２言語の音声を聞くことができるようになる。このように、図１の実施形態とは異なり、本発明の他の実施形態では、セルフ通訳のための機能を提供することも可能である。

【0021】

多者間通訳のための機能とセルフ通訳のための機能は、電子機器１１０にインストールされたアプリケーションでモードを変更することによってそれぞれ提供されてよい。例えば、アプリケーションは、多者間通訳モードとセルフ通訳モードのうちの１つを設定することができるユーザインタフェースを提供するように電子機器１１０を制御してよく、提供されたユーザインタフェースを利用することで、ユーザが多者間通訳モードとセルフ通訳モードのうちの１つを直接設定してよい。あるいは、このようなモードの設定は、第１イヤセット機器１２０および第２イヤセット機器１３０のうちの少なくとも１つが含む物理的なボタンに対する入力によってなされてもよい。また他の例として、モードの設定は、第１イヤセット機器１２０および第２イヤセット機器１３０に入力される音声を分析してなされてもよい。例えば、第１イヤセット機器１２０と第２イヤセット機器１３０それぞれに入力される音声のピッチや大きさなどが類似する場合にはセルフ通訳モードが設定されてよく、第１イヤセット機器１２０と第２イヤセット機器１３０それぞれに入力される音声のピッチや大きさなどが全く異なる場合には多者間通訳モードが設定されてよい。

【0022】

図２は、本発明の一実施形態における、イヤセットペアの例を示した図である。本実施形態に係るイヤセットペアは、図２に示すように、第１イヤセット機器１２０と第２イヤセット機器１３０を含んでいる。図１および図２の実施形態には、第１イヤセット機器１２０は右耳に、第２イヤセット機器１３０は左耳に着用する様子が示されているが、これは発明を説明するための１つの実施形態に過ぎず、これに限定されることはない。例えば、第１イヤセット機器１２０は左耳に、第２イヤセット機器１３０は右耳に着用するように実現されてもよい。

【0023】

また、図２の実施形態には、第１イヤセット機器１２０および第２イヤセット機器１３０の保管、据置、充電などの機能を提供するクレイドル（ｃｒａｄｌｅ）２１０の例が示されている。このようなクレイドル２１０も、第１イヤセット機器１２０と第２イヤセット機器１３０が１つのイヤセットペアをなす実施形態を説明するための１つの例示に過ぎず、その形状や機能などが図２の説明によって限定されることはない。

【0024】

図３は、本発明の一実施形態における、イヤセットペアと電子機器の通信例を示した図である。一般的に、スマートフォンは、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ジグビー（Ｚｉｇｂｅｅ）、Ｗｉ‐Ｆｉなどのような近距離無線通信プロトコルを介してイヤセットや無線スピーカのような周辺機器と通信する。図３の実施形態でも、電子機器１１０が、このような近距離無線通信プロトコルを利用してイヤセットペアと通信する例について説明する。ただし、電子機器１１０は、１つの近距離無線通信プロトコル（一例として、ブルートゥース（登録商標）４．１）を利用して一度に１つの機器（図３の実施形態では、第１イヤセット機器１２０）とだけ通信しなければならない場合が存在する。言い換えれば、電子機器１１０が、１つの近距離無線通信プロトコルを介して２つ以上の機器と同時に通信することができない場合が考慮される。本実施形態において、電子機器１１０は、１つの近距離無線通信プロトコルを利用して１つの機器として第１イヤセット機器１２０と通信してよく、第２イヤセット機器１３０とは、第１イヤセット機器１２０の中継によって通信してよい。このために、第１イヤセット機器１２０と第２イヤセット機器１３０は、互いに近距離無線通信を行ってよい。例えば、第２イヤセット機器１３０は、入力された第２言語の音声を、第１イヤセット機器１２０を経て電子機器１１０に送信してよい。これとは逆に、電子機器１１０が送信する第１言語に通訳された音声を、第１イヤセット機器１２０を経て第２イヤセット機器１３０に送信してよい。このような中継通信のための一例として、ＴＷＳ（Ｔｒｕｅ Ｗｉｒｅｌｅｓｓ Ｓｔｅｒｅｏ）方式が利用されてよい。

【0025】

図４は、本発明の一実施形態における、イヤセットペアと電子機器の他の通信例を示した図である。図３の実施形態と異なり、電子機器１１０は、１つの近距離無線通信プロトコルを利用して第１イヤセット機器１２０および第２イヤセット機器１３０の両方と同時に通信してもよい。例えば、ブルートゥース（登録商標）５．０のような近距離無線通信プロトコルは、スマートフォンが同時に２つの機器とブルートゥース（登録商標）連結および通信が可能な技術を提供する。図４の実施形態は、このように同時に複数の機器と通信が可能な近距離無線通信プロトコルを活用することで、第１イヤセット機器１２０および第２イヤセット機器１３０の両方と同時に通信することも可能である。

【0026】

一方、電子機器１１０は、アプリケーションを利用して通訳機能を提供するにあたり、アプリケーションが自主的に有する通訳機能を提供することも可能であるが、アプリケーションと連係するサーバから通訳機能の提供を受けることも可能である。例えば、電子機器１１０は、アプリケーションの制御にしたがってサーバに接続して第１言語の音声および第１言語の音声を通訳しようとする第２言語に関する情報を伝達してよい。この場合、サーバは、第１言語の音声を第２言語の音声に変換して電子機器１１０に提供してよく、電子機器１１０は、第１言語の音声に対して通訳された第２言語の音声を得ることができるようになる。

【0027】

図５は、本発明の一実施形態における、電子機器、イヤセット機器、およびサーバの内部構成を説明するためのブロック図である。図５のサーバ５２０は、電子機器１１０にインストールおよび駆動されるアプリケーションと連係して通訳機能を提供する外部システムであってよい。

【0028】

電子機器１１０とサーバ５２０は、メモリ５１１、５２１、プロセッサ５１２、５２２、通信インタフェース５１３、５２３、および入力／出力インタフェース５１４、５２４を含んでよい。メモリ５１１、５２１は、コンピュータで読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭやディスクドライブのような永久大容量記憶装置は、メモリ５１１、５２１とは区分される、別の永久記憶装置として電子機器１１０やサーバ５２０に含まれてもよい。また、メモリ５１１、５２１には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、電気機器１１０にインストールされ、特定のサービスの提供のために電子機器１１０で駆動するアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ５１１、５２１とは別のコンピュータで読み取り可能な記録媒体からロードされてよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信インタフェース５１３、５２３を通じてメモリ５１１、５２１にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク５３０を介して提供するファイルによってインストールされるコンピュータプログラム（一例として、上述したアプリケーション）に基づいて電子機器１１０のメモリ５１１にロードされてよい。

【0029】

プロセッサ５１２、５２２は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ５１１、５２１または通信インタフェース５１３、５２３によって、プロセッサ５１２、５２２に提供されてよい。例えば、プロセッサ５１２、５２２は、メモリ５１１、５２１のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0030】

通信インタフェース５１３、５２３は、ネットワーク５３０を介して電子機器１１０とサーバ５２０とが互いに通信するための機能を提供してもよいし、電子機器１１０および／またはサーバ５２０が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器１１０のプロセッサ５１２がメモリ５１１のような記録装置に格納されたプログラムコードにしたがって生成した要求が、通信インタフェース５１３の制御にしたがってネットワーク５３０を介してサーバ５２０に伝達されてよい。これとは逆に、サーバ５２０のプロセッサ５２２の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信インタフェース５２３とネットワーク５３０を経て電子機器１１０の通信インタフェース５１３を通じて電子機器１１０に受信されてもよい。例えば、通信インタフェース５１３を通じて受信したサーバ５２０の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ５１２やメモリ５１１に伝達されてよく、コンテンツやファイルなどは、電子機器１１０がさらに含むことのできる格納媒体（上述した永久記憶装置）に格納されてよい。

【0031】

入力／出力インタフェース５１４は、入力／出力装置５１５とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース５１４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置５１５は、電子機器１１０と１つの装置で構成されてもよい。また、サーバ５２０の入力／出力インタフェース５２４は、サーバ５２０と連結するかサーバ５２０が含むことのできる入力または出力のための装置（図示せず）とのインタフェースのための手段であってよい。

【0032】

また、他の実施形態において、電子機器１１０およびサーバ５２０は、図５の構成要素よりも少ないか、それよりも多い構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器１１０は、上述した入力／出力装置５１５のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器１１０がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が電子機器１１０にさらに含まれるように実現されてよい。

【0033】

第１イヤセット機器１２０は、音の入力を受けるための音信号入力部５４１、音を出力するための音信号出力部５４２、電子機器１１０または第１イヤセット機器１２０とイヤセットペアをなす第２イヤセット機器１３０と通信するための通信部５４３、および音信号入力部５４１、音を出力するための音信号出力部５４２、および通信部５４３を制御する制御部５４４を備えてよい。例えば、制御部５４４は、ユーザ（一例として、図１の第１ユーザ１４０）が発話する第１言語の音声の入力を受けるように音信号入力部５４１を制御してよい。また、制御部５４４は、入力される第１言語の音声が電子機器１１０で実行されるアプリケーションの通訳機能にしたがって第２言語の音声に変換されて第２イヤセット機器１３０に提供されるように、第１言語の音声を電子機器１１０に送信するように通信部５４３を制御してよい。また、制御部５４４は、第２イヤセット機器１２０に入力されて電子機器１１０で受信した第２言語の音声を電子機器１１０で実行されるアプリケーションの通訳機能にしたがって第１言語の音声に変換することに応答し、電子機器１１０から変換された第１言語の音声を受信するように通信部５４３を制御してよい。さらに、制御部５４４は、電子機器１１０から受信された第１言語の音声を出力するように音信号出力部５４２を制御してよい。

【0034】

図６は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図６は、電子機器６１０、クラウド人工知能プラットフォーム６２０、およびコンテンツ・サービス６３０を示している。

【0035】

一例として、電子機器６１０は、一例として、スマートホームネットワークを介して連結する宅内の機器を含んでよいが、それぞれあるいは少なくとも１つが上述した電子機器１１０に対応してもよい。このような電子機器６１０や電子機器６１０でインストールおよび駆動するアプリケーション（以下、アプリとする）は、インタフェースコネクト６４０を介してクラウド人工知能プラットフォーム６２０と連係してよい。ここで、インタフェースコネクト６４０は、電子機器６１０や電子機器６１０でインストールおよび駆動するアプリの開発のためのＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を開発者に提供してよい。また、インタフェースコネクト６４０は、電子機器６１０や電子機器６１０でインストールおよび駆動するアプリが、クラウド人工知能プラットフォーム６２０が提供する機能を活用することのできるＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を提供してよい。具体的な例として、開発者は、インタフェースコネクト６４０が提供するＳＤＫ（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）および／または開発文書を利用して開発した機器やアプリは、インタフェースコネクト６４０が提供するＡＰＩを利用してクラウド人工知能プラットフォーム６２０が提供する機能（一例として、通訳機能）を活用することができるようになる。

【0036】

ここで、クラウド人工知能プラットフォーム６２０は、通訳機能はもちろん、多様な音声基盤のサービスを提供するための機能を提供してもよい。例えば、クラウド人工知能プラットフォーム６２０は、受信した音声を認識して出力する音声を合成するための音声処理モジュール６２１、受信した映像や動画を分析して処理するためのビジョン処理モジュール６２２、受信した音声に応じて適合する音声（一例として、第２言語に通訳された音声）を出力するために適切な会話を決定するための会話処理モジュール６２３、受信した音声に適合する機能を勧めるための推薦モジュール６２４、人工知能がデータ学習に基づいて文章単位で言語を翻訳するようにサポートするニューラル機械翻訳（Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ：ＮＭＴ）６２５などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。

【0037】

例えば、電子機器１１０は、第１言語の音声と通訳された第２言語に関する情報を、インタフェースコネクト６４０で提供するＡＰＩを利用してクラウド人工知能プラットフォーム６２０に送信してよい。この場合、クラウド人工知能プラットフォーム６２０は、受信した第１言語の音声を、上述したモジュール６２１～６２５を活用して認識および分析してよく、第１言語の音声を第２言語の音声に通訳し、適切な返答音声を合成して提供してよい。

【0038】

また、拡張キット６５０は、第三者であるコンテンツ開発者または会社がクラウド人工知能プラットフォーム６２０に基づいて新たな音声基盤機能を実現することができる開発キットを提供してよい。例えば、クラウド人工知能プラットフォーム６２０の通訳機能の活用が可能な別のアプリケーションとサーバが提供された開発キットを利用して開発されてよい。

【0039】

このようなクラウド人工知能プラットフォーム６２０は、電子機器１１０に通訳機能を提供するためのサーバ５２０の具体的な一例に過ぎず、電子機器１１に通訳機能を提供することが可能なサーバ５２０であれば限定されることはない。

【0040】

図７は、本発明の一実施形態における、通訳機能提供方法の例を示したフローチャートである。本実施形態に係る通訳機能提供方法は、上述した電子機器１１０のようなコンピュータ装置によって実行されてよい。このとき、電子機器１１０のプロセッサ５１２は、メモリ５１１が含むオペレーティングシステムのコードや少なくとも１つのプログラムのコードによる制御命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。ここで、プロセッサ５１２は、電子機器１１０に格納されたコードが提供する制御命令にしたがって電子機器１１０が図７の通訳機能提供方法が含む段階７１０～７３０を実行するように、電子機器１１０を制御してよい。

【0041】

段階７１０で、電子機器１１０は、第１イヤセット機器または第２イヤセット機器で発生するアプリケーション実行信号を受信してよい。ここで、第１イヤセット機器と第２イヤセット機器は、上述した第１イヤセット機器１２０および第２イヤセット機器１３０に対応してよい。例えば、第１イヤセット機器および第２イヤセット機器は、左耳と右耳のためのイヤセットペアで構成されてよい。アプリケーション実行信号は、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つが含む物理的なボタンからの入力、または第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つが含むセンサの出力値によって発生されてよい。例えば、第１イヤセット機器（または第２イヤセット機器）は、ユーザが第１イヤセット機器（または第２イヤセット機器）に含まれるボタンを押すことによって発生する入力信号を感知し、感知した入力信号に対応してアプリケーション実行信号を生成してよい。その後、第１イヤセット機器（または第２イヤセット機器）は、生成されたアプリケーション実行信号を電子機器１１０に送信してよい。他の例として、第１イヤセット機器（または第２イヤセット機器）は、照度センサを含んでよい。このとき、第１イヤセット機器（または第２イヤセット機器）は、ユーザが照度センサの測定部位に指を一定の時間以上かざす行為を感知し、このような行為の感知によってアプリケーション実行信号を生成してもよい。このように、ユーザの特定の行為を感知してアプリケーション実行信号を生成するための多様な方法のうちの１つが活用可能であることは、当業者であれば容易に理解することができるであろう。

【0042】

段階７２０で、電子機器１１０は、受信したアプリケーション実行信号に対応するアプリケーションを実行させてよい。このとき、実行させるアプリケーションは、自主的あるいは上述したサーバ５２０との連係によって通訳機能を提供するためのコンピュータプログラムであってよい。

【0043】

段階７３０で、電子機器１１０は、実行するアプリケーションの制御にしたがい、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを通じて入力され電子機器１１０が受信した音声に対する他の言語への通訳機能を提供してよい。このとき、通訳機能は、上述したように、セルフ通訳のための機能と多者間通訳のための機能を含んでよい。

【0044】

このように、ユーザ（あるいはユーザら）は、イヤセット機器を利用して電子機器１１０の通訳機能のためのアプリケーションを実行させることができ、イヤセット機器を利用して発話された音声に対する他の言語への通訳機能の提供を受けることができるようになる。

【0045】

図８は、本発明の一実施形態における、セルフ通訳および多者間通訳のための通訳機能を提供する例を示したフローチャートである。図８の段階８１０～８９０は、図７の段階７３０で通訳機能を提供するための具体的な過程の一例を示している。

【0046】

段階８１０で、電子機器１１０は、通訳モードが実行中であるかを判断してよい。例えば、通訳モードの終了またはアプリケーションの終了によって通訳モードが実行中でない場合には、図８の過程は終わってよい。電子機器１１０は、段階８１０で通訳モードが実行中の場合、段階８２０を実行してよい。

【0047】

段階８２０で、電子機器１１０は、通訳モードが多者間通訳モードであるかを判断してよい。通訳モードが多者間通訳モードの場合には段階８３０が実行されてよい。通訳モードが多者間通訳モードでなければ、電子機器１１０は、段階８７０を実行してよい。

【0048】

段階８３０で、電子機器１１０は、第１イヤセット機器から音声を受信したかを判断してよい。ここで、第１イヤセット機器は、イヤセットペアが含む２つのイヤセット機器のうちのいずれか１つであってよい。このとき、第１イヤセット機器から音声を受信した場合、電子機器１１０は、段階８４０を実行してよい。第１イヤセット機器から音声が受信されなかった場合、電子機器１１０は、段階８５０を実行してよい。

【0049】

段階８４０で、電子機器１１０は、第１イヤセット機器を通じて入力され電子機器１１０が受信した第１言語の音声を第２言語の音声に変換して第２イヤセット機器に提供してよい。ここで、第２イヤセット機器は、段階８３０で音声を提供したイヤセット機器を除いた他の１つのイヤセット機器であってよい。第２イヤセット機器は、変換された第２言語の音声を出力することにより、第２イヤセット機器を着用した第２ユーザに、第１イヤセット機器を着用した第１ユーザが第１言語で発話した音声が第２言語の音声に通訳されて提供されてよい。

【0050】

段階８５０で、電子機器１１０は、第２イヤセット機器から音声を受信したかを判断してよい。このとき、第２イヤセット機器から音声を受信した場合、電子機器１１０は、段階８６０を実行してよい。第２イヤセット機器から音声が受信されなかった場合、電子機器１１０は、再び段階８１０を実行してよい。

【0051】

段階８６０で、電子機器１１０は、第２イヤセット機器を通じて入力された第２言語の音声を受信して第１言語の音声に変換して第１イヤセット機器に提供してよい。第１イヤセット機器は、変換された第１言語の音声を出力することにより、第１イヤセット機器を着用した第１ユーザに、第２イヤセット機器を着用した第２ユーザが第２言語で発話した音声が第１言語の音声に通訳されて提供されてよい。この後、電子機器１１０は、再び段階８１０を実行してよい。

【0052】

段階８７０で、電子機器１１０は、通訳モードがセルフ通訳モードであるかを判断してよい。通訳モードがセルフ通訳モードである場合には段階８８０が実行されてよい。通訳モードがセルフ通訳モードでなければ、電子機器１１０は、段階８９０を実行してよい。

【0053】

段階８８０で、電子機器１１０は、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを通じて入力された第１言語の音声を受信して第２言語の音声に変換し、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つに提供してよい。セルフ通訳モードでは、１人のユーザが第１イヤセット機器と第２イヤセット機器の両方を着用しているものと判断するため、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを通じて第１言語の音声を受信し、通訳された第２言語の音声を第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つに提供してよい。段階８８０の後、電子機器１１０は、再び段階８１０を実行してよい。

【0054】

段階８９０で、電子機器１１０は、モードを設定してよい。例えば、電子機器１１０は、アプリケーションの制御にしたがい、ユーザに通訳モードとして多者間通訳モードおよびセルフ通訳モードのうちの１つを設定することを要求してよい。例えば、電子機器１１０は、アプリケーションが提供するユーザインタフェースを利用して多者間通訳モードおよびセルフ通訳モードのうちの１つを設定するようにユーザに要求してもよいし、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つが含むボタンやセンサを利用した入力をユーザに要求してもよい。他の例として、電子機器１１０が入力される音声を分析するなどの分析過程を経て自動で多者間通訳モードおよびセルフ通訳モードのうちの１つを設定することも可能である。段階８９０の後、電子機器１１０は、再び段階８１０を実行してよい。

【0055】

このように、図８の実施形態では、多者間通訳モードとセルフ通訳モードに応じて通訳機能を提供する具体的な例について説明している。このような図８の実施形態では、セルフ通訳モードと多者間通訳モードによる動作の例を示しているが、実施形態によっては、セルフ通訳モードだけが提供されてもよいし、多者間通訳モードだけが提供されてもよい。

【0056】

電子機器１１０と第１イヤセット機器および第２イヤセット機器間の通信は、図３および図４を参照しながら説明したように、直接／間接通信によって行われてよい。例えば、電子機器１１０は、第１イヤセット機器および第２イヤセット機器のうちのいずれか１つのイヤセット機器と直接通信し、直接通信するイヤセット機器と残り１つのイヤセット機器間の無線通信によって残り１つのイヤセット機器と間接通信してよい。他の例として、電子機器１１０は、第１イヤセット機器および第２イヤセット機器の両方と同時に直接通信をすることも可能である。

【0057】

また、ユーザ（一例として、図１の第１ユーザ１４０）が第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを着用した状態で音楽鑑賞をしたり電話通話を行ったりしている状況で通訳機能が必要となる場合もある。

【0058】

図９は、本発明の一実施形態における、音楽鑑賞モードまたは電話通話モードを通訳モードに切り替える例を示したフローチャートである。

【0059】

段階９１０で、電子機器１１０は、受信したアプリケーション実行信号または実行されるアプリケーションで入力される通訳モード開始信号に基づいて、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを利用した音楽鑑賞モードまたは電話通話モードを通訳モードに切り替えてよい。例えば、電子機器１１０は、ブルートゥース（登録商標）連結による音楽鑑賞モードにおいて、音楽鑑賞モードを通訳モードに変更しながら、音楽再生のためのＡ２ＤＰ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｐｒｏｆｉｌｅ）を、ユーザの音声の入力を受けるためにＨＦＰ（Ｈａｎｄｓ Ｆｒｅｅ ｐｒｏｆｉｌｅ）に変更してよい。また、電子機器１１０は、電話通話モードにおいて、電話通話を終了させた後に通訳モードに切り替えてもよいが、電話通話をしばらく待機状態に変更した後に通訳モードに切り替えてもよい。

【0060】

このような段階９１０は、図７を参照しながら説明した段階７１０または段階７２０が実行された後に実行されてよい。例えば、受信したアプリケーション実行信号に基づいて音楽鑑賞モードまたは電話通話モードを通訳モードに切り替える場合、段階９１０は、段階７１０の後に実行されてよい。他の例として、実行されるアプリケーションで入力される通訳モード開始信号に基づいて音楽鑑賞モードまたは電話通話モードを通訳モードに切り替える場合、段階９１０は、段階７２０の後に実行されてよい。段階９１０が実行された後に段階７３０が実行され、一例として、図８のように通訳機能が提供されてよい。

【0061】

段階９２０で、電子機器１１０は、第１イヤセット機器と第２イヤセット機器を含むイヤセットペアのうちのいずれか１つのイヤセット機器で発生するアプリケーション終了信号またはアプリケーションで入力される通訳モード終了信号に基づいて、通訳モードを再び音楽鑑賞モードまたは電話通話モードに切り替えてよい。この場合、ユーザは、再び音楽鑑賞や電話通話を続けることができるようになる。

【0062】

図１０は、本発明の一実施形態における、電話通話中に通訳機能を提供する例を示したフローチャートである。

【0063】

段階１０１０で、電子機器１１０は、受信したアプリケーション実行信号または実行されるアプリケーションで入力される通訳モード開始信号に基づいて、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを利用して実行中の電話通話モードを通訳モードに切り替えてよい。図９の段階９１０と同じように、段階１０１０は、図７を参照しながら説明した段階７１０または段階７２０が実行された後に実行されてよい。

【0064】

段階１０２０で、電子機器１１０は、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つを通じて入力された第１言語の音声を受信してそれを、通訳機能を利用して第２言語の音声に変換してよい。このような段階１０２０は、図７の段階７３０に含まれて実行されてよい。

【0065】

段階１０３０で、電子機器１１０は、第１イヤセット機器または第２イヤセット機器で発生するアプリケーション終了信号またはアプリケーションで入力された通訳モード終了信号に基づいて、通訳モードをまた電話通話モードに切り替えてよい。変換された第２言語の音声は、第１イヤセット機器および第２イヤセット機器のうちの少なくとも１つに先に伝達されてユーザに確認されてもよい。また、変換された第２言語の音声は、メモリ５１１などに一時格納されてよい。

【0066】

段階１０４０で、電子機器１１０は、変換された第２言語の音声を、電話通話モードを通じて電話通話の相手に提供してよい。例えば、メモリ５１１に一時格納された第２言語の音声が、電話通話モードを通じて電話通話の相手に送信されてよい。より具体的な例として、第１言語を使用する第１ユーザが第２言語を使用する第２ユーザと電話通話中である場合、第１ユーザが通訳機能を利用して第２言語に通訳された音声を第２ユーザに提供することができるようになる。このとき、電話通話は、画像通話を含んでもよい。

【0067】

図１１は、本発明の一実施形態における、イヤセット機器の通訳機能提供方法の例を示したフローチャートである。

【0068】

段階１１１０で、第１イヤセット機器１２０は、第１イヤセット機器１２０に入力された第１言語の音声が電子機器１１０で実行されるアプリケーションの通訳機能によって第２言語の音声に変換されて第１イヤセット機器１２０とイヤセットペアをなす第２イヤセット機器１３０に提供されるように、第１言語の音声を電子機器１１０に送信してよい。上述したように、電子機器１１０は、受信した第１言語の音声を、実行されるアプリケーションの通訳機能によって第２言語の音声に変換して第２イヤセット機器１３０に提供してよく、第２イヤセット機器１３０は、変換された第２言語の音声を出力することにより、第２イヤセット機器１３０を着用した第２ユーザが第１イヤセット機器１２０を着用した第１ユーザの第１言語に対する通訳機能の提供を受けることができるようになる。

【0069】

段階１１２０で、第１イヤセット機器１２０は、第２イヤセット機器１３０に入力されて電子機器１１０で受信された第２言語の音声を、電子機器１１０が実行されるアプリケーションの通訳機能によって第１言語の音声に変換することに応答し、電子機器１１０から変換された第１言語の音声を受信してよい。上述したように、電子機器１１０は、第２イヤセット機器１３０から受信した第２言語の音声を第１言語の音声に変換して第１イヤセット機器１２０に提供してよい。

【0070】

段階１１３０で、第１イヤセット機器１２０は、受信した第１言語の音声を出力してよい。したがって、第１イヤセット機器１２０の第１ユーザは、第２ユーザの第２言語に対する通訳機能の提供を受けることができるようになる。

【0071】

上述したように、第１イヤセット機器１２０は、イヤセットペアの２つのイヤセット機器のうちのいずれか１つに対応してよい。したがって、図１１の実施形態では、多者間通訳モードにおける第１イヤセット機器１２０の動作のみを説明したが、上述した内容に基づいて、セルフ通訳モードにおける第１イヤセット機器１２０の動作や第２イヤセット機器１３０の動作についても、当業者であれば容易に理解することができるであろう。

【0072】

また、上述した実施形態では、２つのイヤセット機器がイヤセットペアをなす場合の実施形態のみを説明したが、３つ以上のイヤセット機器が電子機器１１０と直接的あるいは間接的に連結して多者間通訳モードが実行可能であることも、当業者であれば上述した内容を参照することで容易に理解することができるであろう。例えば、イヤセット機器１の第１言語の音声が第２言語と第３言語の音声にそれぞれ通訳されてイヤセット機器２とイヤセット機器３それぞれに伝達されることも可能である。また、イヤセット機器２の第２言語の音声が第１言語と第３言語の音声にそれぞれ通訳されてイヤセット機器１とイヤセット機器３それぞれに伝達されたり、イヤセット機器３の第３言語の音声が第１言語と第２言語の音声にそれぞれ通訳されてイヤセット機器１とイヤセット機器２それぞれに伝達されたりすることも可能である。通信の例として、電子機器１１０は、イヤセット機器１およびイヤセット機器２と直接通信し、イヤセット機器１やイヤセット機器２を経てイヤセット機器３と間接通信してよい。

【0073】

上述した実施形態では、第１言語の音声を第２言語の音声に変換しているが、本発明はこの例に限定されない。例えば、第１言語の音声を第２言語の文字に変換して出力してもよいし、逆に、第１言語の文字を第２言語の音声に変換して出力してもよい。文字と音声の双方が出力されても良い。

【0074】

例えば、第1のイヤセット及び第2のイヤセットを利用してユーザに通訳機能を提供することにおいて、第1のイヤセットを介して入力される第1の言語の音声は自動的に第2の言語の文字に変換されて電子機器のディスプレイを介して表示され、第2のイヤセットを介して入力される第2の言語の音声は自動的に第1の言語の文字に変換されて電子機器のディスプレイを介して表示されることができる。この時、第1のイヤセットの第1ユーザと第2のイヤセットの第2のユーザは電子機器を介して表示される第2の言語の文字と第1の言語の文字を一緒に見ながら通訳機能の提供をもらうことができる。

【0075】

このように本実施形態によると、イヤセットを利用して通訳機能を提供することができ、第１イヤセット機器と第２イヤセット機器を含むイヤセットペアを利用して互いに異なる言語を利用する２人のユーザ間の通訳機能を提供することができる。また、通訳機能により、第１言語から第２言語に通訳された音声を電話通話の相手に提供することができる。

【0076】

なお、

【0077】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）および前記ＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0078】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ格納媒体または装置に具現化されてよい。ソフトウェアは、ネットワークに接続したコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータで読み取り可能な記録媒体に格納されてよい。

【0079】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてもよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同じである。

【0080】

以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0081】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【0082】

以下、本願により教示される手段を例示的に列挙する。
（付記１）
電子機器の通訳機能提供方法であって、
第１イヤセット機器または第２イヤセット機器で発生するアプリケーション実行信号を受信する段階、
前記受信したアプリケーション実行信号に対応するアプリケーションを実行させる段階、および
前記実行するアプリケーションの制御にしたがい、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを通じて入力され前記電子機器が受信した音声に対する他の言語への通訳機能を提供する段階
を含む、通訳機能提供方法。
（付記２）
前記通訳機能を提供する段階は、
前記第１イヤセット機器を通じて入力され前記電子機器が受信した第１言語の音声を第２言語の音声に変換して前記第２イヤセット機器に提供し、前記第２イヤセット機器を通じて入力され前記電子機器が受信した第２言語の音声を第１言語の音声に変換して前記第１イヤセット機器に提供する、付記１に記載の通訳機能提供方法。
（付記３）
前記電子機器は、前記第１イヤセット機器および前記第２イヤセット機器のうちのいずれか１つのイヤセット機器と直接通信し、前記直接通信するイヤセット機器と残り１つのイヤセット機器間の無線通信によって前記残り１つのイヤセット機器と間接通信する、付記１に記載の通訳機能提供方法。
（付記４）
前記電子機器は、前記第１イヤセット機器および前記第２イヤセット機器の両方と同時に直接通信する、付記１に記載の通訳機能提供方法。
（付記５）
前記受信したアプリケーション実行信号または前記実行するアプリケーションで入力される通訳モード開始信号に基づいて、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを利用した音楽鑑賞モードまたは電話通話モードを通訳モードに切り替える段階、および
前記第１イヤセット機器と第２イヤセット機器を含むイヤセットペアのうちいずれか１つのイヤセット機器で発生するアプリケーション終了信号または前記アプリケーションで入力される通訳モード終了信号に基づいて、前記通訳モードを前記音楽鑑賞モードまたは電話通話モードに切り替える段階
をさらに含む、付記１に記載の通訳機能提供方法。
（付記６）
前記受信したアプリケーション実行信号または前記実行するアプリケーションで入力される通訳モード開始信号に基づいて、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを利用して実行中の電話通話モードを通訳モードに切り替える段階、
前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つを通じて入力され前記電子機器が受信した第１言語の音声を、前記通訳機能を利用して第２言語の音声に変換する段階、
前記第１イヤセット機器または第２イヤセット機器で発生するアプリケーション終了信号または前記アプリケーションで入力された通訳モード終了信号に基づいて、前記通訳モードを前記電話通話モードに切り替える段階、および
前記変換された第２言語の音声を、前記電話通話モードを通じて電話通話の相手に提供する段階
をさらに含む、付記１に記載の通訳機能提供方法。
（付記７）
前記第１イヤセット機器および前記第２イヤセット機器は、左耳と右耳のためのイヤセットペアを構成する、付記１に記載の通訳機能提供方法。
（付記８）
前記アプリケーション実行信号は、前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含む物理的なボタンによる入力、または前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含むセンサの出力値によって発生する、付記１に記載の通訳機能提供方法。
（付記９）
前記通訳機能を提供する段階は、
前記第１イヤセット機器を通じて入力され前記電子機器が受信した音声の第１言語と前記第２イヤセット機器を通じて入力され前記電子機器が受信した音声の第２言語を感知する段階、
感知された第１言語の音声を感知された第２言語の音声に変換し、感知された第２言語の音声を感知された第１言語の音声に変換する段階、および
前記変換された第２言語の音声を前記第２イヤセット機器に提供し、前記変換された第１言語の音声を前記第１イヤセット機器に提供する段階
を含む、付記１に記載の通訳機能提供方法。
（付記１０）
前記通訳機能を提供する段階は、
前記第１イヤセット機器を通じて入力され前記電子機器が受信した音声を、前記アプリケーションで前記第２イヤセット機器に対して設定された第２言語に変換し、前記第２イヤセット機器を通じて入力され前記電子機器が受信した音声を、前記アプリケーションで前記第１イヤセット機器に対して設定された第１言語に変換する段階、および
前記変換された第２言語の音声を前記第２イヤセット機器に提供し、変換された第１言語の音声を前記第１イヤセット機器に提供する段階
を含む、付記１に記載の通訳機能提供方法。
（付記１１）
第１イヤセット機器の通訳機能提供方法であって、
前記第１イヤセット機器に入力された第１言語の音声が電子機器で実行されるアプリケーションの通訳機能によって第２言語の音声に変換され、前記第１イヤセット機器とイヤセットペアをなす第２イヤセット機器に提供されるように、前記第１言語の音声を前記電子機器に送信する段階、
前記第２イヤセット機器に入力されて前記電子機器で受信された第２言語の音声を、前記電子機器が前記実行されるアプリケーションの通訳機能によって第１言語の音声に変換することに応答し、前記電子機器から前記変換された第１言語の音声を受信する段階、および
前記受信した第１言語の音声を出力する段階
を含む、通訳機能提供方法。
（付記１２）
前記第２イヤセット機器と前記電子機器間の通信を中継するか、または前記第２イヤセット機器の中継によって前記電子機器と通信する、付記１１に記載の通訳機能提供方法。
（付記１３）
前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含む物理的なボタンによる入力、または前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含むセンサの出力値によって発生し、前記電子機器に送信されるアプリケーション実行信号によって前記電子機器で前記アプリケーションが実行される、付記１１に記載の通訳機能提供方法。
（付記１４）
前記第１言語は、前記第１イヤセット機器に入力される音声の言語を前記実行されたアプリケーションを利用して感知した言語を含むか、または前記実行されたアプリケーションで前記第１イヤセット機器に対応して予め設定された言語を含み、
前記第２言語は、前記第２イヤセット機器に入力される音声の言語を前記実行されたアプリケーションを利用して感知した言語を含むか、または前記実行されたアプリケーションで前記第２イヤセット機器に対応して予め設定された言語を含む、付記１１に記載の通訳機能提供方法。
（付記１５）
コンピュータと結合して付記１～１４のうちのいずれか一項に記載の方法をコンピュータに実行させるためにコンピュータで読み取り可能な記録媒体に格納された、コンピュータプログラム。
（付記１６）
付記１～１４のうちのいずれか一項に記載の方法をコンピュータに実行させるためのプログラムが記録されている、コンピュータで読み取り可能な記録媒体。
（付記１７）
第１イヤセット機器であって、
音の入力を受けるための音信号入力部、
音を出力するための音信号出力部、
電子機器または前記第１イヤセット機器とイヤセットペアをなす第２イヤセット機器と通信するための通信部、および
前記音信号入力部、前記音信号出力部、および前記通信部を制御する制御部
を備え、
前記制御部は、
前記音信号入力部に入力される第１言語の音声が前記電子機器で実行されるアプリケーションの通訳機能によって第２言語の音声に変換され、前記第１イヤセット機器とイヤセットペアをなす第２イヤセット機器に提供されるように、前記第１言語の音声を前記電子機器に送信するように前記通信部を制御し、
前記第２イヤセット機器に入力されて前記電子機器で受信された第２言語の音声を、前記電子機器が前記実行されたアプリケーションの通訳機能によって第１言語の音声に変換することに応答し、前記電子機器から前記変換された第１言語の音声を受信するように前記通信部を制御し、
前記受信した第１言語の音声を出力するように前記音信号出力部を制御する、第１イヤセット機器。
（付記１８）
前記制御部は、
前記第２イヤセット機器と前記電子機器間の通信を中継するように前記通信部を制御するか、または前記第２イヤセット機器の中継によって前記電子機器と通信するように前記通信部を制御する、付記１７に記載の第１イヤセット機器。
（付記１９）
前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含む物理的なボタンによる入力、または前記第１イヤセット機器および前記第２イヤセット機器のうちの少なくとも１つが含むセンサの出力値によって発生して前記電子機器に送信されるアプリケーション実行信号によって前記電子機器で前記アプリケーションが実行される、付記１７に記載の第１イヤセット機器。
（付記２０）
前記第１言語は、前記第１イヤセット機器に入力される音声の言語を前記実行されたアプリケーションを利用して感知した言語を含むか、または前記実行されたアプリケーションで前記第１イヤセット機器に対応して予め設定された言語を含み、
前記第２言語は、前記第２イヤセット機器に入力される音声の言語を前記実行されたアプリケーションを利用して感知した言語を含むか、または前記実行されたアプリケーションで前記第２イヤセット機器に対応して予め設定された言語を含む、付記１７に記載の第１イヤセット機器。

【符号の説明】

【0083】

１１０：電子機器
１２０：第１イヤセット機器
１３０：第２イヤセット機器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】