【0008】
以下、本発明の実施形態について説明する。
図1に、本実施形態に係るオーディオシステムの構成を示す。
図示するように、オーディオシステムは、オーディオ装置1と、オーディオ装置1と接続可能なポータブルプレイヤ2とより構成される。
そして、オーディオ装置1は、たとえば、自動車に搭載される装置であり、図示するように、入力装置101、表示装置102、マイクロフォン103、スピーカ104、マイクロフォン103を用いた音声の入力や、スピーカ104への音声の出力を行う音声出力装置105、ポータブルプレイヤ2との接続に用いるインタフェースであるデバイスインタフェース106、制御部107、メディアプレイヤ108、複数のオーディオソース機器109、記憶装置110を備えている。
ここで、各オーディオソース機器109はラジオ受信機などの音声を出力するデバイスや、CDやDVDなどの記録ディスクに記録されたオーディオデータを再生して出力するデバイスや、メモリカードなどのオーディオデータを記録したデバイスである。
次に、制御部107は、入力装置101を介したユーザ操作に応じて、ソース切替操作等を受け付けるメニュー画面を表示装置102に表示する。そして、メニュー画面で受け付けたユーザのソース切替操作に応じて、制御部107は、オーディオソース機器109のいずれか、もしくは、接続されたポータブルプレイヤ2を、選択的に現用オーディオソースに設定する。また、記憶装置110にオーディオデータを記憶し、当該記憶装置110も現用オーディオソースに設定できるようにしてもよい。
一方、メディアプレイヤ108は、制御部107によって現用オーディオソースとして音声を出力するオーディオソース機器109が設定されている場合には、当該オーディオソース機器109から出力された音声の音声出力装置105を介したスピーカ104への出力を行い、制御部107によって現用オーディオソースとしてオーディオデータを出力するオーディオソース機器109が設定されている場合には、当該オーディオソース機器109から出力されたオーディオデータの再生と再生した音声の音声出力装置105を介したスピーカ104への出力を行い、制御部107によって現用オーディオソースとしてオーディオデータを記録しているオーディオソース機器109が設定されている場合には、当該オーディオソース機器109に記録されているオーディオデータの読み出しと読み出したオーディオデータの再生を行うと共に、再生した音声の音声出力装置105を介したスピーカ104への出力を行う。また、メディアプレイヤ108は、制御部107によって現用オーディオソースとしてポータブルプレイヤ2が設定されている場合には、メディアプレイヤ108は、デバイスインタフェース106を介してポータブルプレイヤ2から受信したオーディオデータの音声の音声出力装置105を介したスピーカ104への出力を行う。
そして、制御部107は、現用オーディオソースに設定されているオーディオソース機器109またはポータブルプレイヤ2の再生状態の表示や、現用オーディオソースに設定されているデバイスの再生動作の制御操作の受け付けを行うためのGUI画面を表示装置102に表示し、GUI画面で受け付けたユーザ操作に応じて、現用オーディオソースに設定されているオーディオソース機器109またはポータブルプレイヤ2の各種動作と、メディアプレイヤ108のオーディオデータや音声の再生、出力動作を制御する。ここで、制御部107は、ポータブルプレイヤ2の各種動作の制御を、デバイスインタフェース106を介して行う。
なお、このようなオーディオ装置1は、ハードウエア的には、CPUやメモリなどを備えたコンピュータを用いて構成するようにして、よく、この場合、制御部107やメディアプレイヤ108は、当該コンピュータが、所定のコンピュータプログラムを実行することにより実現されるものである。
次に、ポータブルプレイヤ2は、ユーザによって携帯されるモバイル装置であり、図示するように、記憶部201、操作部202、ディスプレイ203、マイクロフォン204、スピーカ205、マイクロフォン204を用いた音声の入力や、スピーカ205への音声の出力を行う音声入出力部206、オーディオ装置1との接続に用いられるインタフェースであるホストインタフェース207、通信装置208、ポータブルプレイヤ2のOSであるところのオペレーティングシステム209を備えている。
また、ポータブルプレイヤ2は、オペレーティングシステム209によって管理されオペレーティングシステム209上で稼働するアプリケーションとして、プレイヤアプリケーション210や、その他のアプリケーション211を備えている。
ここで、ポータブルプレイヤ2の記憶部201には、楽曲のオーディオデータを格納したオーディオファイルが格納されており、プレイヤアプリケーション210は、ポータブルプレイヤ2がオーディオ装置1に接続されていない状態において、ディスプレイ203と操作部202を用いたユーザインタフェース上でユーザの操作による制御をオペケーティングシステムを介して受け付け、記憶装置110に記憶されているオーディオファイルのオーディオデータの再生等を行う。また、オーディオ装置1に接続されていない状態では、記憶装置110に記憶されているオーディオファイルのオーディオデータが表す音声を音声入出力部206を介してスピーカ205から出力する。
一方、ポータブルプレイヤ2は、ポータブルプレイヤ2がオーディオ装置1に接続されているときには、ホストインタフェース207、オペレーティングシステム209を介してオーディオ装置1からの制御を受け付け、記憶装置110に記憶されているオーディオファイルのオーディオデータの再生等を行う。また、オーディオ装置1に接続されている状態では、記憶装置110に記憶されているオーディオファイルから再生したオーディオデータを、ホストインタフェース207を介してオーディオ装置1に送信する。ここで、上述のように、ポータブルプレイヤ2が上述した現用オーディオソースに設定されているときには、オーディオ装置1のメディアプレイヤ108は、このようにしてポータブルプレイヤ2からオーディオ装置1に送信されたオーディオデータの音声を音声出力装置105を介してスピーカ104へ出力される。
次に、また、オペレーティングシステム209は、音声入力の受け付けを行う音声認識クライアント2091を含んでいる。
オペレーティングシステム209は、操作部202を介してユーザから音声制御要求を受け取ると音声認識クライアント2091を起動し、マイクロフォン204から入力されたユーザの発話音声の音声データを入力音声データとして音声認識クライアント2091に引き渡す。そして、音声認識クライアント2091は、通信装置208を介してインターネットなどのWAN3上の音声認識サーバ4に接続し、引き渡された入力音声データを伴う音声認識要求を音声認識サーバ4に送信し、音声認識サーバ4は音声認識要求を受け取ると、音声認識要求に伴う入力音声データの音声認識を行って、音声認識結果を音声認識クライアント2091に応答する。そして、音声認識結果の応答を受けた音声認識クライアント2091は、音声制御完了報告をオペーティングシステムに応答すると共に、音声認識結果に応じた各アプリケーションの動作の制御をオペレーティングシステム209を介して行う。ここで、この音声認識結果に応じた各アプリケーションの動作の制御には、プレイヤアプリケーション210の記憶部201に記憶されたオーディオファイルの再生動作の制御も含まれる。
なお、通信装置208は、無線LANに接続する無線LANインタフェースや、移動通信網に接続する移動通信装置である。なお、ポータブルプレイヤ2が移動電話機能を備えたスマートフォンである場合には、通信装置208は移動通信装置であり、ポータブルプレイヤ2は、上述したその他のアプリケーション211として、移動通信装置や音声入出力部206や操作部202を用いた移動電話機能を提供する移動電話アプリケーションを備えることとなる。
また、オペレーティングシステム209には、音声認識クライアント2091に代えて、単独で音声認識を行って音声入力を受け付ける音声認識エンジンを備えるようにしてもよい。
なお、ポータブルプレイヤ2のホストインタフェース207と、オーディオ装置1のデバイスインタフェース106は、Bluetooth(登録商標)や、WIFIなどの無線通信インタフェースによって無線接続して相互通信を行うものである。
以下、このような構成において、ポータブルプレイヤ2がオーディオ装置1に接続されている期間中、オーディオ装置1の制御部107が行う制御音声受付処理について説明する。
図2に、この制御音声受付処理の手順を示す。
図示するように、この処理において、制御部107は、ユーザの入力装置101に対する音声制御要求操作の発生を監視し(ステップ2002)、音声制御要求操作が発生したならば、デバイスインタフェース106を介してポータブルプレイヤ2に音声制御機能起動要求を送信する(ステップ2004)。
ここで、音声制御機能起動要求をホストインタフェース207を介して受け取ったポータブルプレイヤ2のオペレーティングシステム209は音声認識クライアント2091を起動し、起動が完了したならば音声制御機能有効応答をオーディオ装置1に応答する。
次に、制御部107は、音声制御機能有効応答の受信を監視し(ステップ2006)、音声制御機能有効応答を受信したならば、所定の音声入力受付画面を表示して(ステップ2008)、ユーザに発話を促す。
ここで、音声入力受付画面の表示は、音声入力受付画面として予め用意した画面を表示することによって行ってもよいが、ポータブルプレイヤ2が、音声認識クライアント2091の稼働中、音声入力受付画面をホストインタフェース207を介してオーディオ装置1に出力するものである場合には、音声入力受付画面の表示は、当該ポータブルプレイヤ2が出力する音声入力受付画面を表示することにより行うようにしてもよい。
次に、制御部107はマイクロフォン103、音声入力装置を介してユーザからの発話音声の入力を受け付け、受け付けた発話音声の音声データをデバイスインタフェース106を介してポータブルプレイヤ2に送信する(ステップ2010)。
ここで、オーディオ装置1から音声データの転送を受けたポータブルプレイヤ2のオペレーティングシステム209は、音声認識クライアント2091に上述した入力音声データとして転送された音声データを引き渡し、音声認識クライアント2091は上述のように入力音声データの音声認識と音声認識結果に応じたアプリケーションの動作の制御をオペレーティングシステム209を介して行い、音声制御完了報告をオペーティングシステムに応答し、応答を受け取ったオペレーティングシステム209は、ホストインタフェース207を介して、音声制御完了報告をオーディオ装置1に応答する。
一方、制御部107は、次に、音声制御完了報告の受信を監視し(ステップ2012)、音声制御完了報告を受信したならば、表示装置102の表示を音声入力受付画面表示前の表示に復帰する(ステップ2014)。
そして、所定のタイムアウト時間(たとえば、5秒)を持つタイマをスタートし(ステップ2016)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始が検出されるか(ステップ2022)、タイマのタイムアウトが発生するまで(ステップ2024)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態を監視する(ステップ2018、2020)。
ここで、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の監視は、デバイスインタフェース106を介して、ポータブルプレイヤ2に再生状態問い合わせを送信し(ステップ2018)、その応答として再生状態応答を受信(ステップ2020)する処理を繰り返すことにより行う。
ここで、ポータブルプレイヤ2のオペレーティングシステム209は、オーディオ装置1から再生状態問い合わせを受信すると、プレイヤアプリケーション210の現在の再生状態を取得し、ホストインタフェース207を介してオーディオ装置1に再生状態応答として送信する。再生状態応答として応答する再生状態には、プレイヤアプリケーション210のオーディオファイルのオーディオデータの再生中の有無、再生中である場合の現在のオーディオデータの再生時刻位置(オーディオデータの先頭の再生時刻からの経過時間)、再生中のオーディオファイルの識別などを含める。
また、ステップ2022の、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始の検出は、ステップ2020で受信した再生状態応答が表す再生状態が、”オーディオデータの非再生中”から”オーディオデータの再生中”に変化したときに、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出することにより行う。
さて、制御部107は、タイマのタイムアウトが発生した場合には(ステップ2024)、ステップ2002からの処理に戻る。
一方、タイマのタイムアウトが発生する前に(ステップ2024)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始が検出された場合には(ステップ2022)、現在の現用オーディオソースがポータブルプレイヤ2であるかどうかを調べ(ステップ2026)、ポータブルプレイヤ2であればステップ2002からの処理に戻る。
一方、タイマのタイムアウトが発生する前に(ステップ2024)、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始が検出された場合に(ステップ2022)、現在の現用オーディオソースがポータブルプレイヤ2でなければ(ステップ2026)、現用オーディオソースをポータブルプレイヤ2に切り替える(ステップ2028)。
そして、デバイスインタフェース106を介して、ポータブルプレイヤ2に、再生中オーディオデータの頭出しコマンドを送信し(ステップ2030)、ステップ2002からの処理に戻る。
ここで、ホストインタフェース207を介して頭出しコマンドをオーディオ装置1から受け取ったポータブルプレイヤ2のオペレーティングシステム209は、プレイヤアプリケーション210のオーディオデータの再生時刻位置を、再生中のオーディオデータの先頭に移動させる制御を行うことにより、プレイヤアプリケーション210に再生中のオーディオデータの先頭からの再生を開始させる。
以上、制御部107が行う制御音声受付処理について説明した。
なお、以上の制御音声受付処理のステップ2030は、再生時刻位置を所定時間、過去方向に戻す再生時刻位置変更コマンドを、ポータブルプレイヤ2に送信する処理としてもよく、この場合、再生時刻位置変更コマンドをオーディオ装置1から受け取ったポータブルプレイヤ2のオペレーティングシステム209は、プレイヤアプリケーション210のオーディオデータの再生時刻位置を、所定時間過去方向に移動させる制御を行うことにより、プレイヤアプリケーション210に再生中のオーディオデータの現在の再生時刻位置から所定期間前の再生時刻位置からの再生を開始させる。ここで、この所定期間は、最後に受信した再生状態応答が表す再生状態によって示される再生時刻位置に相当する時間としてもよいし、予め、定めておいた、ステップ424で開始が検出されたポータブルプレイヤ2のプレイヤアプリケーション210の再生が実際に開始された時刻から、現時点までの経過時間として見込まれる時間としてもよい。このようにしても、プレイヤアプリケーション210のオーディオデータの再生時刻位置を、再生中のオーディオデータの先頭に移動させることができる。
以下、以上のような制御音声受付処理の動作例を示す。
図3に示すように、いま、ポータブルプレイヤ2のオーディオアプリケーションにおいて再生が行われていない状態において、ユーザが音声制御要求操作(301)を行うと、オーディオ装置1は、ポータブルプレイヤ2に音声制御機能起動要求(302)を送信し、音声制御機能起動要求(302)を受け取ったポータブルプレイヤ2は音声認識クライアント2091を起動し(303)、音声制御機能有効応答(304)をオーディオ装置1に応答する。
声制御機能有効応答(304)を受け取ったオーディオ装置1は、音声入力受付画面を表示して(305)、ユーザに発話を促す。
ユーザが、再生を要求する音声(たとえば、「再生開始」)を発話すると(306)、オーディオ装置1は、発話された音声の音声データ(307)をポータブルプレイヤ2に転送し、音声データの転送を受けたポータブルプレイヤ2は転送された音声データの音声認識(308)を行い、音声認識が完了すると音声制御完了応答(309)をオーディオ装置1に送信する。また、ポータブルプレイヤ2は、音声データを音声認識した内容が、再生の要求であるので、プレイヤアプリケーション210の再生開始の制御(310)を開始する。
一方、音声制御完了応答(309)を受け取ったオーディオ装置1は、表示装置102の表示を、音声入力受付画面表示前の表示に復帰(310)し、タイマをスタート(311)する。
そして、オーディオ装置1は、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の監視(312)を開始し、再生状態問い合わせ(41、43、45)の送信と、再生状態応答(42、44、46)の受信を繰り返す。
一方、ポータブルプレイヤ2において制御(310)によって、プレイヤアプリケーション210の楽曲Xのオーディオファイルの再生が開始(313)されると、ポータブルプレイヤ2は、再生状態応答が表す再生状態を”非再生中”(42、44)から”再生中”(46)に変化させる。そして、オーディオ装置1は、”監視(312)において、この再生状態応答が表す再生状態の”非再生中”から”再生中”変化より、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出(47)する。
そして、再生動作の開始を検出したならば、オーディオ装置1は、現在の現用オーディオソースがポータブルプレイヤ2でない場合には、現用オーディオソースをポータブルプレイヤ2に切り替える(314)。この結果、ポータブルプレイヤ2から出力されるオーディオデータの音声がオーディオ装置1のスピーカ104から出力される状態となる。
そして、次に、オーディオ装置1は、頭出しコマンド(315)をポータブルプレイヤ2に送信する。
頭出しコマンド(315)をオーディオ装置1から受け取ったポータブルプレイヤ2のプレイヤアプリケーション210は、再生中の楽曲Xのオーディオデータの再生位置を先頭に移動し(316)、楽曲Xの先頭からの再生を開始する
結果、先頭から楽曲Xのオーディオデータがポータブルプレイヤ2からオーディオ装置1に出力され(317)。先頭からの楽曲Xのオーディオ装置1のスピーカ104から音声が出力される(318)。
なお、ユーザが発話した音声(306)が再生を要求する音声でなかった場合、監視(312)において、再生状態応答が表す再生状態の”非再生中”から”再生中”への変化は発生せず再生動作の開始は検出されない。そして、監視(312)において、スタートさせたタイマ(311)のタイムアウトが発生し、現用オーディオソースの切替は発生せず、オーディオ装置1の音声出力状態は、音声制御要求操作(301)発生時の状態に維持される。
また、ユーザが音声制御要求操作(301)を行った時点において、既に、ポータブルプレイヤ2の再生状態が”再生中”であった場合にも、監視(312)において、再生状態応答が表す再生状態の”非再生中”から”再生中”への変化は発生せず再生動作の開始は検出されない。そして、監視(312)において、スタートさせたタイマ(311)のタイムアウトが発生し、現用オーディオソースの切替は発生せず、現用オーディオソースの設定は音声制御要求操作(301)発生時の状態に維持される。
以上、本発明の実施形態について説明した。
このように、本実施形態によれば、オーディオ装置1において、受け付けたユーザの発話音声がポータブルプレイヤ2の再生の開始を音声制御するものである場合にのみ、ポータブルプレイヤ2の再生音声のユーザへの出力をオーディオ装置1において適切に開始することができるようになる。
また、当該オーディオ装置1におけるポータブルプレイヤ2の再生音声のユーザへの出力を、再生開始された楽曲の先頭から行えるようになる。
よって、オーディオ装置1において、ポータブルプレイヤ2の音声制御による制御内容に整合した動作を行えるようになる。
なお、以上の実施形態における制御音声受付処理では、ポータブルプレイヤ2が、再生を要求する音声の音声認識の後、再生を開始するまで数秒程度の時間を要することを見込んで、音声制御完了報告を受信した後にポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の所定期間の監視を開始するようにしている。しかし、ポータブルプレイヤ2が、再生を要求する音声の音声認識の後、間をおかずに、再生を開始するものである場合には、次のようにして、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出するようにしてもよい。すなわち、ステップ2010で、音声データをポータブルプレイヤ2に転送する前に、ポータブルプレイヤ2に再生状態問い合わせを送信し、ポータブルプレイヤ2から応答された再生情報応答から音声制御前の再生状態を検出する。そして、検出した音声制御前の再生状態が”再生中”である場合には、音声制御完了報告の受信(ステップ2012)に応答して表示状態を復帰(ステップ2014)したならば、そのままステップ2002からの処理に戻るようにする。一方、検出した音声制御前の再生状態が”非再生中”である場合には、音声制御完了報告の受信(ステップ2012)に応答して表示状態を復帰(ステップ2014)した後に、ステップ20016以降の処理に進み、ポータブルプレイヤ2のプレイヤアプリケーション210の再生状態の所定期間の監視(ステップ2016-2024)を開始し、ステップ2022では、所定期間内に”再生中”を示す再生状態を表す再生状態応答を受信できた場合に、ポータブルプレイヤ2のプレイヤアプリケーション210の再生動作の開始を検出し、ステップ2026に進むようにする。
また、以上の実施形態では、音声制御でオーディオを再生する場合について説明したが、音声制御でポータブルプレイヤ2がビデオを再生するものである場合についても、本実施形態はオーディオ装置1を、オーディオをビデオに置き換えて以上のオーディオ装置1の動作を行うAV装置とすることにより同様に適用することができる。