特許 7406874 電子機器、その制御方法、およびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-20

(45)【発行日】2023-12-28

(54)【発明の名称】電子機器、その制御方法、およびそのプログラム

(51)【国際特許分類】

   G06F 3/16 20060101AFI20231221BHJP

   G10L 15/10 20060101ALI20231221BHJP

   G06F 3/0482 20130101ALI20231221BHJP

【ＦＩ】

G06F3/16 650

G10L15/10 500Z

G06F3/16 620

G06F3/0482

【請求項の数】 11

(21)【出願番号】P 2018171938

(22)【出願日】2018-09-13

(65)【公開番号】P2020042745

(43)【公開日】2020-03-19

【審査請求日】2021-09-01

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】北井 伸平

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０００－２９３３５３（ＪＰ，Ａ）

【文献】特開２００６－２４４２８０（ＪＰ，Ａ）

【文献】特開２０１１－００８４３５（ＪＰ，Ａ）

【文献】特開２００１－１７５２７８（ＪＰ，Ａ）

【文献】特開２００８－０７７３７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／１６

Ｇ１０Ｌ １５／１０

Ｇ０６Ｆ ３／０４８２

(57)【特許請求の範囲】

【請求項1】

音声を集音する集音手段と、
前記集音手段によって集音された音声の言語を判断する判断手段と、
前記判断手段によって判断された前記集音手段によって集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御手段と
を有し、
前記判断手段が、前記第１の言語に複数の候補があると判断した場合、前記制御手段は、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、
前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする電子機器。

【請求項2】

前記制御手段は、前記第二の言語から前記候補の言語のうちの一つである第三の言語に変更することを確認する通知を前記第三の言語を用いて行う
ことを特徴とする請求項１に記載の電子機器。

【請求項3】

前記制御手段は、前記候補の言語それぞれに優先度を設定し、前記優先度が高い前記候補の言語から順番にユーザに通知を行う
ことを特徴とする請求項１または２に記載の電子機器。

【請求項4】

前記判断手段は、前記集音された音声の言語に加えて前記集音された音声の単語の意味を解析し、
前記制御手段は、前記集音された音声の言語よりも前記単語が意味する言語の方の優先度を高く設定する
ことを特徴とする請求項３に記載の電子機器。

【請求項5】

さらに表示手段を有し、
前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する前記第二の言語が用いられた通知と、前記第二の言語から前記第三の言語に変更することを確認する前記第三の言語が用いられた通知と、を前記表示手段によって同じ画面に表示する
ことを特徴とする請求項２に記載の電子機器。

【請求項6】

さらに表示手段を有し、
前記判断手段が前記集音手段によって集音された音声の言語に該当する候補を判断できない場合、前記制御手段は、前記電子機器において使用される言語を変更するための画面を前記表示手段によって表示する
ことを特徴とする請求項１から４のいずれか１項に記載の電子機器。

【請求項7】

さらにユーザの操作を検出する検出手段を有し、
前記制御手段は、ユーザに所定の操作をされたことを前記検出手段によって検出されたことに応じて、前記電子機器において使用される言語を変更するための音声を前記集音手段によって集音する
ことを特徴とする請求項１から６のいずれか１項に記載の電子機器。

【請求項8】

前記制御手段は、前記第一の言語と前記第二の言語が一致すると判断した場合、前記電子機器において使用される言語を変更しないことの通知を行う
ことを特徴とする請求項１から７のいずれか１項に記載の電子機器。

【請求項9】

前記集音手段によって集音された音声の情報を外部装置へ送信し、前記集音手段によって集音された音声が解析された情報を前記外部装置から受信する通信手段をさらに有し、
前記判断手段は、前記通信手段によって受信した前記解析された情報に基づいて、前記集音手段によって集音された音声の言語を判断する
ことを特徴とする請求項１から８のいずれか１項に記載の電子機器。

【請求項10】

音声を集音する集音ステップと、
前記集音手段によって集音された音声の言語を判断する判断ステップと、
前記判断ステップにおいて判断された前記集音ステップにおいて集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御ステップと
を有し、
前記判断ステップで、前記第１の言語に複数の候補があると判断した場合、前記制御ステップでは、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、
前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする制御方法。

【請求項11】

音声を集音する集音ステップと、
前記集音手段によって集音された音声の言語を判断する判断ステップと、
前記判断ステップにおいて判断された前記集音ステップにおいて集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御ステップとを有し、
前記判断ステップで、前記第１の言語に複数の候補があると判断した場合、前記制御ステップでは、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、
前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする制御方法を、電子機器に実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声を集音することができる電子機器に関する。

【背景技術】

【0002】

近年、集音した音声を認識できる電子機器が知られている。また、ユーザは電子機器を利用するときに様々な言語から任意の言語を設定できる。電子機器の言語の設定に音声を用いる例として、特許文献１では、電子機器に設定されている言語と異なる言語の音声を集音すると、集音した音声の言語に設定を変更する電子機器が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－６５５２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１では、ユーザの音声の言語を誤認識した場合でも、電子機器はその誤認識した言語に設定を変えてしまい、ユーザの意図しない言語に設定を変更してしまうという課題があった。そこで本発明は、ユーザが電子機器の言語の設定をユーザの意図した言語に変更しやすくすることを目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するために、本発明の電子機器は、音声を集音する集音手段と、前記集音手段によって集音された音声の言語を判断する判断手段と、前記判断手段によって判断された前記集音手段によって集音された音声の言語である第一の言語と前記電子機器において使用される言語として設定されている第二の言語とが異なると判断された場合、前記第一の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用される言語を前記第二の言語から前記第一の言語に変更することを確認する通知を行うよう制御する制御手段とを有し、前記判断手段が、前記第１の言語に複数の候補があると判断した場合、前記制御手段は、前記候補の言語および前記第二の言語をそれぞれ用いて、前記電子機器において使用する言語を前記第二の言語から前記候補の言語のうちの一つに変更することを確認する通知を行い、前記制御手段は、前記第二の言語からそれぞれの前記候補の言語に変更することを確認する通知をそれぞれ前記第二の言語を用いて行うことを特徴とする。

【発明の効果】

【0006】

本発明によれば、ユーザは電子機器の言語の設定をユーザの意図した言語に変更しやすくすることができる。

【図面の簡単な説明】

【0007】

【図1】第一の実施形態のスマートフォン１００の一例を示すブロック図。

【図2】第一の実施形態のスマートフォン１００の一例を示す外観図。

【図3】第一の実施形態における、スマートフォン１００の使用言語の設定を変更する方法の一例を示す図。

【図4】第一の実施形態における、使用言語の設定を変更するか否かを確認する場合におけるスマートフォン１００の画面の一例を示す図。

【図5】第一の実施形態における、スマートフォン１００の処理の一例を示すフローチャート。

【図6】第一の実施形態における、使用言語を複数の言語の候補から選択する場合におけるスマートフォン１００の画面の一例を示す図。

【図7】使用言語の設定を変更するか否かを確認する場合、スマートフォン１００が音声を用いてユーザに確認する方法の一例を示す図。

【図8】第二の実施形態における、スマートフォン１００の使用言語の設定を変更する方法の一例を示す図。

【図9】第二の実施形態における、使用言語の設定を変更するか否かを確認する場合におけるスマートフォン１００の画面の一例を示す図。

【図10】第二の実施形態における、スマートフォン１００の処理の一例を示すフローチャート。

【図11】スマートフォン１００が画像を用いてユーザの音声を集音する方法の一例を示す図。

【発明を実施するための形態】

【0008】

＜第一の実施形態＞
以下、図面を参照して、本発明の各実施例の動作を説明する。本実施形態において、電子機器にユーザが使用する言語として設定されている言語を他の言語と区別して使用言語という。

【0009】

図１は、本実施形態の電子機器の一例であるスマートフォン１００の構成例を示すブロック図である。

【0010】

制御部１０１は、入力された信号や、後述のプログラムに従ってスマートフォン１００の各部を制御する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

【0011】

不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ１０３には、制御部１０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。このアプリケーションは、集音した音声データの言語を解析するプログラムおよび後述する各種フローチャートの処理を実行するためのプログラムを含む。

【0012】

作業用メモリ１０４は、後述する表示部１０６の画像表示用メモリや、制御部１０１の作業領域等として使用される。作業用メモリ１０４はマイク１０７において集音した音声の言語を解析するために必要な音声データや通信部１１１を介して受信した音声データを格納する。

【0013】

操作部１０５は、スマートフォン１００に対する指示をユーザから受け付けるために用いられる。操作部１０５は例えば、ユーザがスマートフォン１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、表示部１０６に形成されるタッチパネルなどの操作部材を含む。制御部１０１は操作部１０５がユーザに操作されたことを検出し、その操作に従って処理を行う。

【0014】

表示部１０６は、画像データの表示、対話的な操作のための文字表示などを行う。なお、表示部１０６は必ずしもスマートフォン１００が備える必要はない。スマートフォン１００は表示部１０６と接続することができ、表示部１０６の表示を制御する表示制御機能を少なくとも有していればよい。本実施形態において表示部１０６は液晶ディスプレイを用いる。ただし、表示部１０６は液晶ディスプレイに限られるものではなく、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの他の方式を用いてもよい。

【0015】

マイク１０７は音声を集音するために用いられる。マイク１０７は外部からの音声を集音し、制御部１０１に出力する。制御部１０１は集音した音声をアナログデータからデジタルデータへＡ／Ｄ変換する処理を行うが、マイク１０７がＡ／Ｄ変換する処理を行い、Ａ／Ｄ変換したデジタルデータを制御部１０１に出力してもよい。マイク１０７はスマートフォン１００に内蔵されているが、ケーブル等を介して外部のマイクと接続する構成でもよい。

【0016】

スピーカ１０８は、音声を再生するために用いられる。制御部１０１はスピーカ１０８によって再生する音声をデジタルデータからアナログデータへＤ／Ａ変換する処理を行い、アナログデータをマイク１０７へ出力する。または、制御部１０１の代わりにスピーカ１０８がＤ／Ａ変換する処理を行ってもよい。スピーカ１０８はスマートフォン１００に内蔵されているが、ケーブル等を介して外部のスピーカと接続する構成でもよい。

【0017】

記録媒体１１０は、スマートフォン１００に着脱可能なよう構成してもよいし、スマートフォン１００に内蔵されていてもよい。スマートフォン１００は少なくとも記録媒体１１０にアクセスする手段を有していればよい。

【0018】

通信部１１１は、外部装置と接続するためのインターフェースである。本実施形態のスマートフォン１００は、通信部１１１を介して、外部装置とデータを送受信することができる。例えばスマートフォン１００はマイク１０７で集音した音声データを、通信部１１１を介して外部装置に送信することができる。また、スマートフォン１００は外部装置から音声データを受信できる。なお、本実施形態では、通信部１１１は外部装置とＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮで通信するためのインターフェースを含む。制御部１０１は、通信部１１１を制御することで外部装置との無線通信を実現する。なお、通信方式は無線ＬＡＮのような無線通信方式に限定されるものではなく、有線通信方式でもよい。通信部１１１はスマートフォン１００に内蔵されているが、ＬＡＮケーブルを介して外部の通信モジュールと接続する構成でもよい。

【0019】

電源部１１２は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。

【0020】

図２は、電子機器の一例であるスマートフォン１００の外観図である。スマートフォン１００は表示部１０６、マイク１０７、スピーカ１０８、および音声入力ボタン２２０を有する。音声入力ボタン２２０は操作部１０５に含まれる操作部材であり、ユーザは音声入力ボタン２２０を押すことで音声をスマートフォン１００に入力することができる。ここで、スマートフォン１００が音を集音するトリガは、ユーザによる音声入力ボタン２２０を押す操作の代わりに、ユーザによる表示部１０６に表示された画面の操作でもよい。例えば、図２において音声入力ボタン２２０は物理的な機構であり、図３のマイクボタン３０１は、タッチパネルを介して操作されるようなＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。ユーザは音声入力ボタン２２０またはマイクボタン３０１を操作することで音声をスマートフォン１００に入力する。

【0021】

スマートフォン１００は集音した音声を解析して、その音声の言語を判断する。ここで、スマートフォン１００が音声の言語を判断する方法例を２つ記載する。まず１つ目の方法例を説明する。その方法は、スマートフォン１００は集音した音声を音声データにして作業用メモリ１０４に格納し、その音声データを不揮発性メモリ１０３に記録されているプログラムを使用して解析する、という方法である。次に２つめの方法例を説明する。その方法は、スマートフォン１００は通信部１１１を介して外部にあるサーバに集音した音声データを送信する。サーバは受信した音声データの言語を解析し、その解析した結果に関する情報をスマートフォン１００に送信する。スマートフォン１００は通信部１１１でその情報を受信することで音声を解析する、という方法である。２つ目の方法例において、解析した結果に関する情報は、外部サーバが音声データの言語だと判断した言語の候補を少なくとも一つ含む。本実施形態では、２つ目の方法例を採用する。

【0022】

図３は本実施形態における、音声によって使用言語の設定を変更する方法の一例を示す。図３においてユーザは、スマートフォン１００を持ちながら使用言語の設定を変更する画面３００を開いている。ここで初期状態においてスマートフォン１００の使用言語は英語である。図３の左上に記載しているスマートフォン１００の図は、ユーザが手にしているスマートフォン１００の画面を拡大したものである。この場面において、ユーザは音声入力ボタン２２０またはマイクボタン３０１を押しながら、任意の言語名（図３においては「日本語」という単語）を発言することで、スマートフォン１００の使用言語を変更する。スマートフォン１００はその言語名を集音し、上述した言語を解析するプログラムを用いて言語を判断できた場合、図４に示すような使用言語を変更するか否かを確認する画面を表示する。

【0023】

図４ではスマートフォン１００は、現在の使用言語から集音した言語に変更するか否かを確認するための画面を表示している。ダイアログボックス４０１では、スマートフォン１００は現在の使用言語（英語）によって設定を変更するか否かを確認する通知を表示し、並行してダイアログボックス４０２では集音した言語（日本語）によって設定を変更するか否かを確認する通知を表示する。ユーザはどのダイアログボックスを操作してもよい。ユーザは操作部１０５または音声によってスマートフォン１００を操作することで、使用言語を設定できる。このようにスマートフォン１００は使用言語と集音した言語とでユーザに通知することで、ユーザの意図しない言語に使用言語を変更することを防ぎやすくする。

【0024】

図５はスマートフォン１００の使用言語の設定を変更する処理手順の一例を説明するフローチャートである。この処理は、不揮発性メモリ１０３に記録されたソフトウェアを作業用メモリ１０４に展開して制御部１０１が実行することで実現する。またこの処理は、制御部１０１がスマートフォン１００の使用言語の設定を変更する画面を表示部１０６に表示したことをトリガに開始される。例えば、図３の画面３００の表示をした場合、制御部１０１は本フローチャートの処理を開始する。

【0025】

ステップＳ５０１では、制御部１０１は音声入力ボタン２２０が押されたか否かを判断する。制御部１０１は音声入力ボタン２２０を押されたと判断した場合はステップＳ５０２へ遷移し、押されていないと判断した場合はステップＳ５０５へ遷移する。

【0026】

ステップＳ５０２では、制御部１０１はマイク１０７によって音を集音する。

【0027】

ステップＳ５０３では、制御部１０１は音声入力ボタン２２０が離されたか否かを判断する。音声入力ボタン２２０が離されていない場合、制御部１０１はステップＳ５０２に戻り、音を集音し続ける。音声入力ボタン２２０が離された場合、制御部１０１はステップＳ５０４へ遷移する。

【0028】

ステップＳ５０４では、制御部１０１は音声を集音したか否かを判断する。例えば、制御部１０１は閾値より大きい音声を集音した場合、音声を集音したと判断する。なお、音声の音量が閾値以下だった場合、制御部１０１は音声を集音しなかったものとして判断する。まず制御部１０１が音声を集音しなかった場合について述べる。この場合、制御部１０１はステップＳ５０５へ遷移する。

【0029】

ステップＳ５０５では、制御部１０１はユーザから操作部１０５によって表示部１０６に表示している言語を選択されたか否かを判断する。制御部１０１は操作部１０５によって言語を選択されていないと判断した場合、ステップＳ５０１に戻る。制御部１０１は操作部１０５によって言語を選択されたと判断した場合、ステップＳ５０６に遷移する。

【0030】

ステップＳ５０６では、制御部１０１はステップＳ５０５で選択された言語をスマートフォン１００の使用言語にするよう設定を変更し、本フローチャートの処理を終了する。

【0031】

次にステップＳ５０４において、制御部１０１が音声を集音した場合について述べる。この場合、制御部１０１はステップＳ５０７へ遷移する。

【0032】

ステップＳ５０７では、制御部１０１はステップＳ５０７において判断した音声の言語に適する言語の候補があったかどうかを判断する。例えば、制御部１０１は上述したように、外部サーバを用いて音声の言語の候補を取得する。集音した音声の言語に適する言語があった場合、ステップＳ５０９へ遷移する。集音した音声の言語に適する言語がなかった場合、ステップＳ５０８へ遷移する。

【0033】

ステップＳ５０８では、制御部１０１はステップＳ５０７において、集音した音声の言語に適する言語の候補がなかったことを示す通知を表示部１０６に表示する。制御部１０１は本処理の後、ステップＳ５０１に戻る。

【0034】

一方、ステップＳ５０９では、制御部１０１はステップＳ５０７において判断した言語の候補の中から１つを選択する。

【0035】

ステップＳ５１０では、制御部１０１はステップＳ５０９において選択した言語と、使用言語とが一致するか否かを判断する。２つの言語が異なる場合、制御部１０１はステップＳ５１２へ遷移する。２つの言語が一致した場合、制御部１０１はステップＳ５１１へ遷移する。

【0036】

ステップＳ５１１では、制御部１０１は集音した音声の言語が使用言語と一致したため、使用言語の変更が行われないことを示す通知を表示部１０６へ表示する。または、制御部１０１はスピーカ１０８から使用言語によって使用言語の変更が行われないことを示す音または音声を再生し、本フローチャートの処理を終了する。

【0037】

一方、ステップＳ５１２では、制御部１０１は使用言語を、集音した音声の言語に変更することをユーザに確認する通知を表示部１０６に表示する。このとき、表示部１０６に表示される画面には、制御部１０１は使用言語と、集音した音声の言語とを用いて、同じ内容の通知を表示する。例えば使用言語が英語、集音した音声が「日本語」だった場合、図４に示すように、制御部１０１はダイアログボックス４０１（英語表記）とダイアログボックス４０２（日本語表記）とで使用言語を変更するか否かを確認する通知を表示する。このように、使用言語の設定を変更する場合、制御部１０１は使用言語と、集音した音声の言語とを用いて表示することで、ユーザは複数の言語を確認して、使用言語から、集音した音声の言語に変更するか否かを選択することができる。これによってユーザはスマートフォン１００が自身の意図しない言語に使用言語の設定を変更することを防ぎやすくなる。

【0038】

ステップＳ５１３では、制御部１０１は使用言語の設定を変更することをユーザに了承されたか否かを判断する。例えば、図４において、制御部１０１はダイアログボックス４０１の「ＹＥＳ」がタッチされた（使用言語を変更する操作がされた）か、「ＮＯ」がタッチされた（使用言語を変更しない操作がされた）かを判断する。使用言語を変更する操作がされた場合、制御部１０１はステップＳ５１４へ遷移する。使用言語を変更しない操作がされた場合、制御部１０１はステップＳ５１１へ遷移する。

【0039】

ステップＳ５１４では、制御部１０１は使用言語の設定を、集音した音声の言語に変更する。その後、制御部１０１は本フローチャートの処理を終了する。

【0040】

以上、制御部１０１が使用言語の設定を変更する画面を表示している場合における、制御部１０１が使用言語を変更する処理について説明した。

【0041】

また、ステップＳ５０９において制御部１０１が集音した音声の言語に複数の候補があると判断した場合、ステップＳ５１２において制御部１０１は使用言語と複数の候補とを用いてダイアログボックスを表示する。例えば使用言語が英語、集音した音声が日本語または韓国語だと判断した場合、図６に示すように、制御部１０１はダイアログボックス６０１、ダイアログボックス６０２、ダイアログボックス６０３、およびダイアログボックス６０４を表示する。（ここで、説明のため集音した音声の候補は日本語または韓国語という例を記載したが、これは日本語と韓国語とが似たような発音であることを意味するわけではない。）ダイアログボックス６０１およびダイアログボックス６０２において、制御部１０１は英語（使用言語）を用いて、英語から日本語または韓国語（集音した音声の言語の候補）へ変更するか否かをそれぞれ表示する。ダイアログボックス６０３およびダイアログボックス６０４において、制御部１０１は日本語または韓国語（集音した音声の言語の候補）をそれぞれ用いて、英語から日本語または韓国語（集音した音声の言語の候補）へ変更するか否かをそれぞれ表示する。すべてのダイアログボックス６０１～６０４が画面内に収まりきらない場合、図６に示すように、制御部１０１は操作部１０５によって画面をスクロールできるようにしてダイアログボックス６０１～６０４を表示部１０６に表示する。

【0042】

また、ステップＳ５１２において、制御部１０１は使用言語から、集音した音声の言語に変更するか否かをユーザに確認する内容の音または音声をスピーカ１０８によって再生してもよい。例えば使用言語が英語、集音した音声が日本語と判断した場合、図７に示すように、制御部１０１は英語および日本語を用いて、英語から日本語へ使用言語を変更することをユーザに確認する内容の音または音声をそれぞれ続けてスピーカ１０８によって再生する。ユーザはその音声を聞いてから、操作部１０５または音声によってスマートフォン１００を操作し、使用言語を変更するか否かを決定する。

【0043】

また、ステップＳ５１３において、ユーザはスマートフォン１００に対して音声によって使用言語を変更するか否かを操作してもよい。この場合、制御部１０１はユーザの音声をマイク１０７によって集音し、変更前の使用言語および集音した音声の言語のどちらの言語でも言語を変更するか否かを判断できるように処理を行う。

【0044】

また、ステップＳ５０４において、制御部１０１は集音した音の大きさの時間的な変化を解析することで、集音した音が音声か否かを判断できる。例えば、制御部１０１は不揮発性メモリ１０３に音声の大きさの時間的な変化の特徴量を記録しておき、集音した音とこの特徴量とを比較することで音声か否かを判断する。

【0045】

＜第二の実施形態＞
次に、制御部１０１が音声認識機能を利用して使用言語を変更する処理について説明する。音声認識機能とは、集音した音声の意味に沿った処理を電子機器が行う機能である。例えば、いわゆるスマートスピーカは音声認識機能を有し、「テレビをつける」や「好きな音楽を流す」といったユーザの音声を集音すると、その意味に沿うように、無線通信を介してテレビの電源をＯＮしたり再生頻度の高い曲を再生したりすることができる。本実施形態において、スマートフォン１００は音声認識機能を利用して使用言語の設定を変更できるとする。

【0046】

図８は本実施形態における、音声認識機能によって使用言語の設定を変更する方法の一例を示す。図８においてユーザは、スマートフォン１００を持ちながら音声認識機能による使用言語の設定を変更する画面８００を開いている。ここで初期状態においてスマートフォン１００の使用言語は英語である。図８の左上に記載しているスマートフォン１００の図は、ユーザが手にしているスマートフォン１００の画面を拡大したものである。この場面において、任意の言語名（図８においては「韓国語」という日本語の単語）を発言することで、スマートフォン１００の使用言語を変更する。図８において、スマートフォン１００はユーザが発言した「韓国語」の単語の意味から韓国語が候補にあると判断できる。またスマートフォン１００は「韓国語」という日本語の単語を集音したことから日本語も候補にあると判断できる。スマートフォン１００はユーザの発言した言語名を集音し、音声認識機能を用いて言語を判断できた場合、図９に示すような使用言語を変更するか否かを確認する画面を表示する。

【0047】

図９ではスマートフォン１００は、現在の使用言語から集音した言語に変更するか否かを確認するための画面を表示している。図９の画面は図６の画面と同じ機能を有する。（ただし、図９の画面は図６の画面と、ダイアログボックスの並ぶ順番が異なる。）図８において、ユーザはその発言の意味から使用言語を韓国語にしたい意図があると考えられる。しかし、ユーザは日本語によって発言しているため、ユーザはスマートフォン１００の使用言語を日本語に変更したい可能性もあると考えられる。そのため、図９においてスマートフォン１００は、日本語よりも韓国語の方を画面の上部に表示する。このように使用言語の設定を変更する言語に複数の候補がある場合、スマートフォン１００はその言語の候補に優先度をつけ、優先度の高い順番にダイアログボックスを表示する。本実施形態において、スマートフォン１００は音声認識機能によって認識した言葉の意味を、その言葉自体の言語よりも優先して表示するが、この優先度は逆にしてもよい。また、ユーザの発言している言葉の意味が認識できず、その言葉自体の言語に複数の候補があると判断でき場合、スマートフォン１００はその複数の候補のなかで優先度をつけて表示する。例えば、日本語の可能性が韓国語の可能性よりも高いと判断した場合は、スマートフォン１００は日本語の優先度の方を韓国語の優先度よりも高くする。

【0048】

図１０はスマートフォン１００の使用言語の設定を変更する処理手順を説明するフローチャートである。この処理は、不揮発性メモリ１０３に記録されたソフトウェアを作業用メモリ１０４に展開して制御部１０１が実行することで実現する。またこの処理は、操作部１０５の電源ボタンをＯＮされたことをトリガに開始する。

【0049】

ステップＳ１００１では、制御部１０１はスマートフォン１００の使用言語の設定を変更する画面を表示部１０６に表示する。例えば、使用言語の設定を変更する画面は、図３の画面３００に示すように、ユーザがスマートフォン１００で利用可能な言語の中から任意の言語を選択するための画面である。例えばユーザがスマートフォン１００を初めて電源ＯＮする場合や所定の操作手順によって電源ＯＮする場合等において、電源ボタンをＯＮにされたことをトリガに制御部１０１が使用言語の設定を変更する画面を表示する。

【0050】

ステップＳ１００２では、制御部１０１は音声入力ボタン２２０が押されたか否かを判断する。制御部１０１は音声入力ボタン２２０を押されたと判断した場合はステップＳ１００５へ遷移し、押されていないと判断した場合はステップＳ１００３へ遷移する。

【0051】

ステップＳ１００３およびステップＳ１００４は、それぞれ図５のステップＳ５０５およびステップＳ５０６と同様である。

【0052】

ステップＳ１００５では、制御部１０１は表示部１０６に音声認識機能によって音声を集音する画面を表示する。また本ステップの画面は図８の画面８００に対応する。

【0053】

ステップＳ１００６は図５のステップＳ５０２と同様である。

【0054】

ステップＳ１００７では、制御部１０１は音声を集音したか否かを判断する。制御部１０１は所定の時間が経過していなくても、ステップＳ１０６において閾値より大きい音声を集音した場合、音声を集音したと判断する。なお、音声の音量が閾値以下だった場合、制御部１０１は音声を集音しなかったものとして判断する。

【0055】

ステップＳ１００８では、制御部１０１は音声の集音を開始してから所定の時間以上経過したか否かを判断する。音声の集音を開始してから経過した時間が所定の時間未満場合、制御部１０１はステップＳ５０６に戻る。音声の集音を開始してから所定の時間以上経過した場合、制御部１０１はステップＳ１０１０へ遷移する。

【0056】

ステップＳ１００９からステップＳ１０１６は、それぞれ図５のステップＳ５０７からステップＳ５１４と同様である。

【0057】

以上、制御部１０１が音声認識機能を用いて使用言語を変更する処理について説明した。

【0058】

本実施形態において、ユーザはスマートフォン１００に対して言語名を発言することで使用言語の設定の変更を行ったが、音声認識機能が任意の音声から言語を判断できる場合、ユーザは任意の言葉を用いて使用言語の設定を変更できる。また、制御部１０１は言語名ではなく特定の画像に対する発言を集音してもよい。例えば図１１において、制御部１０１は表示部１０６にリンゴの画像１１０１を表示している。制御部１０１はこのリンゴの画像１１０１に対してユーザがどんな発言をしたかを判断する。「リンゴ」という日本語の単語を集音した場合、制御部１０１はユーザの発言を日本語と判断できる。他にも「Ａｐｐｌｅ」という英語の単語を集音した場合、制御部１０１はユーザの発言を英語と判断できる。

【0059】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0060】

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】