【解決手段】データ音声再生装置10は、テキストデータ又はHTMLデータの読み上げ再生を行うデータ音声再生部102と、データ音声再生部がデータを読み上げ再生中に、ユーザの音声による命令を受信する音声受信部103と、音声受信部が音声による命令内容を認識する音声認識部104を有する。データ音声再生装置は、音声認識部によって認識された命令内容に応じて、テキストデータ又はHTMLデータの読み上げ再生を一時停止し、音声による命令内容を実行し、音声による命令内容を実行した後、テキストデータ又はHTMLデータの読み上げ再生を再開する。テキストデータ又はHTMLデータの読み上げ再生が再開される場合、データ音声再生部は読み上げ再生が一時停止されたテキストデータ又はHTMLデータの位置よりも前の位置から読み上げ再生を再開する。
前記保存部により前記保存領域に前記保存対象が保存されると、音声により保存完了通知を発する保存完了通知部をさらに有することを特徴とする請求項4に記載のデータ音声再生装置。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータを読み上げ再生し、前記読み上げ再生を一時停止後に読み上げ再生を再開するデータ音声再生部及び通話のための通信を行う通話部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記通話部による通話のための通信が終了すると、前記データ音声再生部はテキストデータ又はHTMLデータの読み上げ再生が一時停止された位置よりも前の位置から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴とする無線通信端末。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータを読み上げ再生し、前記読み上げ再生を一時停止した後に読み上げ再生を再開するデータ音声再生部及び通話のための通信を行う通話部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記通話部による通話のための通信が終了すると、前記データ音声再生部は、前記通話部が前記通話の着信を受けた時点に対応する前記テキストデータ又はHTMLデータと同じ位置もしくはそれよりも前の位置から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴する無線通信端末。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータを読み上げ再生し、前記読み上げ再生を一時停止後に読み上げ再生を再開するデータ音声再生部と、通話のための通信を行う通話部と、前記テキストデータ又はHTMLデータにおいて、一文または文節の単位を識別する識別部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記通話部による通話のための通信が終了すると、
前記データ音声再生部は、前記通話部が前記通話の着信を受けた時点に対応する前記テキストデータ又はHTMLデータの位置よりも前に位置する一文または文節の先頭から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴する無線通信端末。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータを読み上げ再生し、前記読み上げ再生を一時停止した後に読み上げ再生を再開するデータ音声再生部と、前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間ユーザの音声による命令を受信する音声受信部と、前記音声受信部が前記音声による命令内容を認識する音声認識部と、通話のための通信を行う通話部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間に前記音声受信部が受信したユーザの音声による命令の内容が前記音声認識部によって前記テキストデータ又はHTMLデータの読み上げ再生の再開であると認識された場合、
前記データ音声再生部はテキストデータ又はHTMLデータの読み上げ再生が一時停止された位置よりも前の位置から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴とする無線通信端末。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータを読み上げ再生し、前記読み上げ再生を一時停止後に読み上げ再生を再開するデータ音声再生部と、前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間、ユーザの音声による命令を受信する音声受信部と、前記音声受信部が前記音声による命令内容を認識する音声認識部と、通話のための通信を行う通話部と、前記テキストデータ又はHTMLデータにおいて、一文または文節の単位を識別する識別部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間に前記音声受信部が受信したユーザの音声による命令の内容が前記音声認識部によって前記テキストデータ又はHTMLデータの読み上げ再生の再開または読み上げ再生の一時停止の解除であると認識された場合、前記データ音声再生部は、前記通話部が前記通話の着信を受けた時点に対応する前記テキストデータ又はHTMLデータの位置よりも前に位置する一文または文節の先頭から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴する無線通信端末。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータの読み上げ再生を行い、前記読み上げ再生を一時停止した後に読み上げ再生を再開するデータ音声再生部と、前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間読み上げ再生の一時停止の解除コマンド又は読み上げ再生の再開コマンドを受け付けるコマンド受付部と、通話のための通信を行う通話部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間に、前記コマンド受付部が前記読み上げ再生の一時停止の解除コマンド又は前記読み上げ再生の再開コマンドを受け付けると、
前記データ音声再生部はテキストデータ又はHTMLデータの読み上げ再生が一時停止された位置よりも前の位置から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴とする無線通信端末。
単一または複数のコンテンツからなるテキストデータ又はHTMLデータの読み上げ再生、前記読み上げ再生の一時停止、前記読み上げ再生の一時停止した後に読み上げ再生を再開するデータ音声再生部と、前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間、読み上げ再生の一時停止の解除コマンド又は読み上げ再生の再開のコマンドを受け付けるコマンド受付部と、通話のための通信を行う通話部と、前記テキストデータ又はHTMLデータにおいて、一文または文節の単位を識別する識別部を有する無線通信端末であって、
前記データ音声再生部が前記テキストデータ又はHTMLデータを読み上げ再生中に前記通話部が通話の着信を受けて通話のための通信が開始すると、前記データ音声再生部は前記テキストデータ又はHTMLデータの読み上げ再生を一時停止し、
前記データ音声再生部が前記テキストデータ又はHTMLデータの読み上げ再生を一時停止している間に、前記コマンド受付部が読み上げ再生の一時停止の解除コマンド又は読み上げ再生の再開コマンドを受け付けると、
前記データ音声再生部はテキストデータ又はHTMLデータの読み上げ再生が一時停止された位置よりも前に位置する一文または文節の先頭から前記テキストデータ又はHTMLデータの読み上げ再生を再開することを特徴とする無線通信端末。
【発明を実施するための形態】
【0026】
以下、本発明の一実施形態について、図面を参照しながら説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号(数字の後にA、Bなどを付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。
【0027】
<実施形態1>
本発明の実施形態1に係るデータ音声再生装置10を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。
【0028】
[概要]
図1は、本発明の実施形態1に係るデータ音声再生装置10を含むデータ音声再生システム1の構成を示す図である。データ音声再生システム1は、データ音声再生装置10と、メディアサイトサーバー20とを有する。データ音声再生装置10と、メディアサイトサーバー20とは、インターネット、通信回線などのネットワーク30に接続されている。
【0029】
データ音声再生装置10は、データ音声再生サービスを提供する装置である。データ音声再生装置10は、ネットワーク30に接続し、メディアサイトサーバー20と通信可能であってもよい。データ音声再生装置10は、ユーザが操作可能な端末であり、具体的には、デスクトップ型コンピュータ、ノート型コンピュータ、あるいは携帯電話やタブレット、スマートフォンなどの携帯通信端末などが挙げられる。
【0030】
メディアサイトサーバー20は、ユーザがインターネットを介してアクセスすることができるコンテンツを配信するメディアサイトが保有するサーバーである。なお、当該コンテンツはテキストデータまたはHTMLデータより構成され、当該テキストデータまたはHTMLデータは単一または複数のコンテンツからなる。なお、コンテンツとは、例えば、「今日の天気」「政治情報」「スポーツ情報」など、1つの情報の集合として、ユーザに提供されるものを指す。
【0031】
図1に示すように、データ音声再生装置10と、メディアサイトサーバー20とがネットワーク30に接続されているとき、データ音声再生装置10はメディアサイトサーバー20から単一または複数のコンテンツからなるテキストデータ又はHTMLデータを取得することができる。
【0032】
[データ音声再生装置10のハードウエア構成]
図1に示すように、データ音声再生装置10は、制御部11、記憶部12、通信部13、音声入力部14、音声出力部15、表示部16を有する。
【0033】
制御部11は、CPU(Central Processing Unit)などの演算処理回路を有する。制御部11は、記憶部12に記憶されたプログラムをCPUにより実行して、プログラムに対応した機能をデータ音声再生装置10において実現させる。
【0034】
記憶部12は、ハードディスク、半導体メモリ等のメモリデバイスによって構成される記憶装置である。記憶部12は、ROM(Read only memory)を含んでもよい。記憶部12には、制御部11によって実行される各種プログラムが記憶されている。記憶部12に記憶されているプログラムには、例えば、後述するデータ音声再生処理を実現するためのプログラムが含まれる。各プログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、各プログラムは、ネットワーク30経由でデータ音声再生装置10にダウンロードされてもよい。
【0035】
通信部13は、制御部11の制御によりネットワーク30と接続して、メディアサイトサーバー20などの外部装置と情報の送受信を行う。
【0036】
音声入力部14は、アナログマイク、デジタルマイクなど、データ音声再生装置10に対してユーザが音声を発し、その音声信号を入力するための装置である。
【0037】
音声出力部15は、データ音声再生装置10から音声を発するための装置であり、例えばスピーカーからなる音声出力装置である。
【0038】
表示部16は、液晶ディスプレイや有機ELディスプレイなどの表示装置であり、テキストデータやHTMLデータを表示することが可能な装置である。
【0039】
[データ音声再生装置10の機能構成]
図2は、本発明の実施形態1に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。本実施形態では、保存領域107は、データ音声再生装置10の内部に含まれるものとするが、保存領域107は、ネットワーク30を介してデータ音声再生装置10と接続された外部の記憶装置であってもよい。
【0040】
データ取得部101は、ネットワーク30を介して、メディアサイトサーバー20などの外部装置から単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得する。
【0041】
データ音声再生部102は、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行う。データ音声再生部102が行う読み上げ再生は、一時停止すること及び再開することができる。また、本実施形態においては、データ音声再生部102は、テキストデータまたはHTMLデータを読み上げ再生する際、当該データを一時的に保存するものとする。
【0042】
本実施形態においては、データ音声再生部102は、音声認識部104によって認識された命令内容に応じて、テキストデータまたはHTMLデータの読み上げ再生を一時停止し、当該命令内容が実行された後、テキストデータまたはHTMLデータの読み上げ再生を再開するものとする。また、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(以下、「一時停止前位置」ということがある。)から読み上げ再生の再開を行うものとする。
【0043】
具体的には、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶する。そして、読み上げ再生を再開するときは、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(すなわち、一時停止前位置)から読み上げ再生の再開を行う。
【0044】
例えば、「おはようございます。今日の天気は全国的に晴れです。残念ながら今日の東京は曇りです。名古屋は雨が降ります」とのテキストデータのうち、「おはようございます。今日の天気は」を読み上げた時点で読み上げ再生を一時停止したとすると、データ音声再生部102は、「今日の天気は」と読み上げた時点で読み上げ再生を一時停止したことを記憶する。そして、読み上げ再生を再開するときは、例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げ再生の再開を行う。
【0045】
また、データ音声再生部102は、本実施形態においては、テキストデータまたはHTMLデータの読み上げ再生を行う際、どの箇所を読み上げているのかの情報と時刻の情報を対応付けて記憶しているものとする。例えば、午前10時00分00秒から「おはようございます。今日の天気は全国的に晴れです。残念ながら今日の東京は曇りです。名古屋は雨が降ります」と読み上げたとすると、「おはようございます。」との文を読み終わった時点が午前10時00分05秒であること、「晴れ」と言った時点が午前10時00分15秒であることなどを記憶する。以下、この情報を「テキスト時刻対応データ」と呼ぶことがある。
【0046】
音声受信部103は、データ音声再生部102がテキストデータまたはHTMLデータを読み上げ再生中に、ユーザの音声(音声信号)による命令を受信する。本実施形態においては、音声受信部103は、ユーザの音声による命令を受信した時刻を記録するものとする(以下この時刻を「命令受信時刻」ということがある。)。
【0047】
音声認識部104は、音声受信部103が受信した音声信号を取得し、音声による命令の内容を認識する。この音声認識の方法は、既に公知の方法を使用することができ、例えば、人の音声を一連のデジタル周波数に変換し、あらかじめ記憶した音素と呼ばれる語や音声要素と照合される方法などにより、音声認識を行うことができる。音声認識部104は、認識した命令内容に応じて、データ音声再生装置10に一定の処理を行わせる。
【0048】
本実施形態においては、音声認識部104は、ユーザの保存命令を認識すると、保存命令を保存部105に送り、データ音声再生装置10にテキストデータまたはHTMLデータを保存させる。また、音声認識部104は、ユーザの保存命令を認識すると、一時停止命令をデータ音声再生部102に送り、読み上げ再生を一時停止させる。
【0049】
ここで、「保存命令」とは、データ音声再生装置10に対するユーザの、現在読み上げ中のコンテンツに対応するテキストデータまたはHTMLデータを保存する旨の命令である。例えば、ユーザがデータ音声再生装置10に対し「クリップ」と音声により入力すると、音声認識部104に、保存命令として認識されるようにしてもよい。
【0050】
保存領域107は、データを保存する領域である。保存領域107には、保存部105によって保存対象が保存される。
【0051】
保存部105は、音声認識部104によって認識された命令内容がテキストデータ又はHTMLデータの保存命令である場合に、音声受信部103がユーザの音声による命令を受信したときの読み上げ再生対象のコンテンツに対応するテキストデータ又はHTMLデータである保存対象を保存領域107に保存する。
【0052】
具体的には、保存部105は、音声認識部104から保存命令を受け取ると、音声受信部103からユーザの音声による命令を受信した時点(命令受信時刻)の情報を取得する。そして、当該命令受信時刻にデータ音声再生部102が読み上げ再生をしていたコンテンツに対応するテキストデータまたはHTMLデータの提供を求める信号(以下「データ提供要求信号」ということがある。)をデータ音声再生部102に送る。次に、データ提供要求信号を受けとったデータ音声再生部102は、命令受信時刻の情報とテキスト時刻対応データに基づいて、命令受信時刻に読み上げ再生をしていたテキストデータまたはHTMLデータを保存部105に提供する。そして、保存部105はデータ音声再生部102から提供されたテキストデータまたはHTMLデータを保存領域107に保存する。
【0053】
また、本実施形態においては、保存部105は、保存領域107に保存対象であるテキストデータ又はHTMLデータを保存すると、保存完了通知部106に、保存完了通知を行う旨の命令(以下「保存完了通知命令」ということがある)を行うものとする。
【0054】
保存完了通知部106は、保存部105により保存領域107に保存対象であるテキストデータ又はHTMLデータが保存されると、音声により保存完了通知を発する。例えば、「保存を完了しました。」などと音声により発する。
【0055】
本実施形態においては、保存完了通知部106は、保存部105が保存領域107に保存対象を保存した後に発する保存完了通知命令を受け取ると、保存完了通知を発するものとする。また、保存完了通知部106は、保存完了通知を発したのち、データ音声再生部102に再生を再開すべき旨の命令である再生再開命令を送る。再生再開命令を受け取ったデータ音声再生部102は、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(すなわち、一時停止前位置)から読み上げ再生の再開を行う。
【0056】
表示部108は、保存領域107に保存された保存対象を表示することができる。
【0057】
[データ読み上げ再生処理]
続いて、データ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0058】
図3は、本実施形態におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0059】
まず、音声受信部103が音声(音声信号)を受信しているかを判断する(ステップS101)。音声受信部103が音声を受信していないと判断した場合(ステップS101;No)、ステップS103に進む。ステップS103においては、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS101に戻り、再び、音声受信部103が音声を受信しているかを判断する。すなわち、本実施形態では、テキストデータまたはHTMLデータの読み上げが終了するまで、音声の受信を行う(ステップS101;NoかつステップS103;No)。また、テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS103;Yes)。
【0060】
ステップS101において、音声受信部103が音声を受信していると判断したとき(ステップS101;Yes)、音声認識部104が、音声受信部103が受信した音声の内容を認識する(ステップS105)。受信した音声が、ユーザの音声による保存命令ではないと認識されると(ステップS107;No)、ステップS103に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0061】
ステップS107において、受信した音声がユーザの音声による保存命令であると認識されると、データ音声再生部102による読み上げ再生が一時停止する(ステップS109)。続いて、ステップS101において音声受信部103がユーザの音声による保存命令を受信したときにデータ音声再生部102によって読み上げられていたコンテンツに対応するテキストデータまたはHTMLデータが保存領域107に保存される(ステップS111)。
【0062】
図4は、ステップS111において行われる、データ音声再生部102によって読み上げられていたコンテンツに対応するHTMLデータの保存の方法の一例である、HTMLデータ保存処理を示すフローチャートである。この処理は、データ音声再生部102による読み上げが一時停止すると実行される。
【0063】
まず、データ音声再生部102によって読み上げられていたHTMLデータをダウンロードする(ステップS111−1)。
【0064】
次に、ステップS111−1においてダウンロードしたHTMLデータをパースする(ステップS111−2)。
【0065】
次に、スタイルシートの保存を行う。すなわち、スタイルシートをダウンロードし(ステップS111−3)、当該スタイルシートをファイルとして保存する(ステップS111−4)。
【0066】
次に、画像の保存を行う。すなわち、画像をダウンロードし(ステップS111−5)、当該画像を保存する(ステップS111−6)。
【0067】
最後に、HTMLをファイルとして保存する(ステップS111−7)
【0068】
図3に戻って説明を続ける。ステップS111においてテキストデータまたはHTMLデータが保存領域107に保存された後、保存完了通知部106が音声により保存完了通知を行う(ステップS113)。例えば、「保存を完了しました。」などと音声により発する。
【0069】
ステップS113において、保存完了通知が行われると、データ音声再生部102は一時停止前位置より読み上げ再開を行う(ステップS115)。そして、ステップS103に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS101に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS103;Yes)。
【0070】
[読み上げ再生再開の処理]
続いて、本発明の実施形態1に係るデータ音声再生装置10において、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0071】
図5は、データ音声再生装置10において読み上げ再生を実行中に、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0072】
まずは、データ音声再生装置10が、第1文のテキストデータまたはHTMLデータを音声信号に変換し読み終わったものとする(ステップS121)。続いて、データ音声再生装置10は第2文のテキストデータまたはHTMLデータを音声信号に変換し第2文の読み上げを開始するが(ステップS123)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「クリップ」と言い、音声受信部103に保存命令を入力したものとする(ステップS125)。
【0073】
続いて、音声認識部104は、音声受信部103が受信した音声信号を取得し(ステップS127)、音声認識を行う(ステップS129)。
【0074】
音声認識部104は、ユーザの保存命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS131)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS133)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0075】
また、音声認識部104は、ユーザの保存命令を認識すると、保存命令を保存部105に送る(ステップS135)。保存命令を受け取った保存部105は、音声受信部からユーザの音声による命令を受信した時点(命令受信時刻)の情報を取得し(ステップS137)、また、当該命令受信時刻にデータ音声再生部102が読み上げ再生をしていたコンテンツに対応するテキストデータまたはHTMLデータの提供を求める信号(データ提供要求信号)をデータ音声再生部102に送る(ステップS139)。
【0076】
続いて、保存部105は、データ音声再生部102から命令受信時刻の情報とテキスト時刻対応データに基づいて、命令受信時刻に読み上げ再生をしていたテキストデータまたはHTMLデータの提供を受け(ステップS141)、当該データを保存領域107に提供し(ステップS143)、保存させる(ステップS145)。当該保存が終了すると、保存部105は保存完了通知命令を保存完了通知部106に提供し(ステップS147)、これを受け取った保存完了通知部106は、保存完了通知を行い(ステップS149)、また、データ音声再生部102に再生再開命令を送る(ステップS151)。
【0077】
再生再開命令を受け取ったデータ音声再生部102は、ステップS133において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS153)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げを再開してもよい。また、これに限られるものではなく、例えば、「天気は」から読み上げを再開してもよい。
【0078】
[表示部108の表示]
図6は、保存領域107に保存された保存対象を表示する表示部108の一例を示す。当該図においては、保存領域107に保存された保存対象が、第1保存対象109−A、第2保存対象109−B、第3保存対象109−Cの3つある場合を示す。ユーザは、データ音声再生部102による読み上げが終了したのちに、表示部108に、保存しておいた保存対象109を
図6のように表示させることができる。
【0079】
図7は、
図6に示す表示部108において、第1保存対象109−Aを選択して詳細を表示させたときの表示部108を示す図である。第1保存対象109−Aは、「今日の天気」とのタイトルに対応するHTMLデータである。
図7に示すとおり、タイトルの下に保存を行った時刻110が表示されてもよい。
【0080】
以上説明したとおり、本発明の実施形態1におけるデータ音声再生装置10を用いると、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなる。
【0081】
ここで、ユーザは、データ音声再生装置10に対して入力する命令を発音している間、データ音声再生装置10が読み上げている音声を聞き取ることは難しい。したがって、ユーザがデータ音声再生装置10に対して入力する命令を発音し、データ音声再生装置10が命令を処理し、読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置と同じ位置から読み上げを再開すると、ユーザはデータ音声再生装置10が読み上げた文の中に聞き取れなかった部分が生じる。
【0082】
本発明の実施形態1におけるデータ音声再生装置10を用いると、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0083】
<実施形態2>
本発明の実施形態2に係るデータ音声再生装置10を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1における説明と重複する説明については適宜省略する。
【0084】
[データ音声再生装置10の機能構成]
図8は、本発明の実施形態2に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態1に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0085】
識別部120は、データ取得部101が取得したテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別する。さらに、本実施形態においては、識別部120は、識別した一文または文節の単位の情報を、テキストデータまたはHTMLデータとともに、データ音声再生部102に提供する。
【0086】
識別部120がテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別する機能は、文節や句読点を判断する茶筌などのフリーソフトやその他商用のソフトウェアを使用して形態素解析などを行うことにより可能である。
【0087】
なお、文節とは言語単位の1つであり、文を読む際、自然な発音によって区切られる最小の単位をいう。例えば、「白い花が庭に咲く。」という文は、「白い」「花が」「庭に」「咲く」という4つの文節から成り立っている。また、例えば、「雨が屋根に激しく打ち付ける」という文は、「雨が」「屋根に」「激しく」「打ち付ける」という4つの文節から成り立っている。
【0088】
データ音声再生部102は、実施形態1と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該音声信号に変換したうえ読み上げ再生を行うものであって、データ音声再生部102は、音声認識部104によって認識された命令内容に応じて、テキストデータまたはHTMLデータの読み上げ再生を一時停止し、当該命令内容が実行された後、テキストデータまたはHTMLデータの読み上げ再生を再開するものとする。
【0089】
もっとも、実施形態1とは異なり、データ音声再生部102が読み上げ再生の再開を行う位置は、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)として特定されるのではなく、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(以下「発話前位置」ということがある)として特定される。ここで、「音声受信部103が受信したユーザの音声による命令が発話された時点」とは、ユーザの音声による命令が音声受信部103によって受信が開始した時点をいう。例えば、ユーザが「クリップ」との保存命令をしたときにおいては、音声受信部103が「ク」との音声を受信し始めた時点を意味する。
【0090】
具体的には、データ音声再生部102は、音声認識部104から一時停止命令を受け取ると、音声受信部103から、ユーザの音声による命令を受信した時刻(命令受信時刻)の情報を取得し、自身が記憶しているテキスト時刻対応データと命令受信時刻の情報に基づいて、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置を特定し、当該同じ位置もしくはそれよりも前の位置から読み上げ再生を再開する。
【0091】
本実施形態においては、特に、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置よりも前に位置する一文又は文節の先頭(以下「区切り位置」ということがある)から、データ音声再生部102による読み上げ再生の再開が行われるものとする。当該区切り位置は、識別部120によって提供された一文または文節の単位の情報による。
【0092】
例えば、「おはようございます。今日の天気は全国的に晴れです。残念ながら今日の東京は曇りです。名古屋は雨が降ります」とのテキストデータのうち、「おはようございます。今日の天気」を読み上げた時点で音声受信部103がユーザの保存命令の受信を開始し、「おはようございます。今日の天気は全国的に晴れです。残念ながら」まで読み上げた時点で読み上げ再生が停止した後、読み上げ再生が再開される場合について説明する。
【0093】
この例の場合に、区切り位置が一文の単位によるならば、区切り位置は「今日の天気は全国的に晴れです。」の文の文頭なので、データ音声再生部102は、「今日の天気は全国的に晴れです。」の文の文頭から読み上げ再生を再開する。
【0094】
また、この例の場合に、区切り位置が文節の単位によるならば、「今日の天気は全国的に晴れです。」との文を文節に区切ると「今日の」「天気は」「全国的に」「晴れです。」と区切ることができ、音声受信部103がユーザの保存命令の受信を開始したのは「おはようございます。今日の天気」を読み上げた時点であるので、データ音声再生部102は「天気は」から読み上げを再開する。
【0095】
データ音声再生部102に関するその他の説明、データ取得部101、音声受信部103、音声認識部104、保存部105、保存領域107、保存完了通知部106及び表示部108についての説明は実施形態1においてした説明と共通なので省略する。
【0096】
[データ読み上げ再生処理]
続いて、実施形態2における、データ音声再生装置10が行うデータ読み上げ再生処理について説明する。
【0097】
図9は、実施形態2におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、識別部120が当該データの一文または文節の単位を識別し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0098】
ステップS101からステップS113までの処理は、実施形態1における説明と共通である。ステップS113において保存完了通知部106が音声により保存完了通知を行うと、ステップS115Bに進み、データ音声再生部102は区切り位置から読み上げを再開する。そして、ステップS103に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS101に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS103;Yes)。
【0099】
[読み上げ再生再開の処理]
続いて、本発明の実施形態2に係るデータ音声再生装置10において、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0100】
図10は、本発明の実施形態2に係るデータ音声再生装置10において読み上げ再生を実行中に、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0101】
ステップS121からステップS137までの処理は、実施形態1における説明と共通であるから省略する。
【0102】
ステップS137の後、データ音声再生部102は、音声受信部103から命令受信時刻の情報を取得する(ステップS137−2)。
【0103】
その後、ステップS139に進む。ステップS139からステップS151は、実施形態1における説明と共通であるから省略する。
【0104】
ステップS151において再生再開命令を受け取ったデータ音声再生部102は、ステップS137−2において受け取っている命令受信時刻の情報と、自身が記憶しているテキスト時刻対応データの情報に基づいて、区切り位置を特定し、読み上げ再生を再開する(ステップS153B)。
【0105】
以上説明したとおり、本発明の実施形態2におけるデータ音声再生装置10を用いると、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置から読み上げ再生を再開することができる。
【0106】
したがって、本発明の実施形態2におけるデータ音声再生装置10を用いると、例えば、「おはようございます。今日の天気は全国的に晴れです。残念ながら今日の東京は曇りです。名古屋は雨が降ります」とのテキストデータのうち、「おはようございます。今日の天気」を読み上げた時点で音声受信部103がユーザの保存命令の受信を開始し、「おはようございます。今日の天気は全国的に晴れです。残念ながら」まで読み上げた時点で読み上げ再生が停止した後、読み上げ再生が再開される場合のように、音声受信部103がユーザの命令の受信を開始した時刻と読み上げ再生が一時停止した時刻にずれがある場合であっても、データ音声再生部102は、ユーザの音声による命令が発話された時点以前に読み上げた内容を再度読み上げるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0107】
また、本発明の実施形態2におけるデータ音声再生装置10を用いると、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われる。区切り位置から読み上げ再生が再開されると、そうでない場合と比べて、ユーザはデータ音声再生装置10の読み上げ内容をより理解しやすくなる。特に、一文の先頭からデータ音声再生部102による読み上げ再生の再開が行われる場合、そうでない場合と比べ、ユーザはデータ音声再生装置10の読み上げ内容をより理解することができる。
【0108】
<実施形態3>
本発明の実施形態3に係るデータ音声再生装置10を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1における説明と重複する説明については適宜省略する。
【0109】
[データ音声再生装置10の機能構成]
図11は、本発明の実施形態3に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態1に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0110】
データ音声再生部102は、実施形態1と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、読み上げ再生を行う。また、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うものとする。
【0111】
本実施形態においては、データ音声再生部102は、読み上げ再生を行う音声についての音量データを有しているものとし、当該音量データに応じた音量で読み上げ再生を行うものとする。
【0112】
音声認識部104は、実施形態1と同様、音声受信部103が受信した音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの音量調整命令を認識すると、音量調整命令を音量調整部122に送り、データ音声再生部102の読み上げ再生の音量を変化させる。また、音声認識部104は、ユーザの音量調整命令を認識すると、一時停止命令をデータ音声再生部102に送り、読み上げ再生を一時停止させる。
【0113】
ここで、「音量調整命令」とは、データ音声再生装置10に対するユーザの、読み上げ再生の音量を変更する旨の命令である。例えば、ユーザがデータ音声再生装置10に対し「音量あげて」と入力すると、音量データを大きくする旨の音量調整命令であると音声認識部104に認識されてもよいし、「音量さげて」と入力すると、音量データを小さくする旨の音量調整命令であると音声認識部104に認識されてもよい。
【0114】
本実施形態においては、音声認識部104は、ユーザの音量調整命令を認識すると、音量調整命令を音量調整部122に送る。音声認識部104は、ユーザの音量調整命令が音量データを大きくする旨の音量調整命令であると認識すると、音量データを大きくする旨の音量調整命令を音量調整部122に送り、音量データを小さくする旨の音量調整命令であると認識すると、音量データを小さくする旨の音量調整命令を音量調整部122に送る。
【0115】
音量調整部122は、音声認識部104によって認識された命令内容がテキストデータまたはHTMLデータの読み上げ再生の音量の調整命令である場合、当該音量の調整命令に応じて音量を調整する。具体的には、音量調整部122は、音声認識部104から音量調整命令を受け取ると、当該音量調整命令にしたがって、データ音声再生部102に対し、音量調整命令を送る。当該音量調整命令を受け取ったデータ音声再生部102は、当該命令にしたがって、読み上げ再生を行う音声についての音量データを変更し、一時停止前位置から読み上げ再生を再開する。
【0116】
データ取得部101及び音声受信部103についての説明は実施形態1と同様であるから省略する。
【0117】
[データ読み上げ再生処理]
続いて、実施形態3のデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0118】
図12は、実施形態3におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0119】
ステップS201からステップS205についての説明は、実施形態1についてのステップS101からステップS105についての説明と共通するので適宜省略する。
【0120】
ステップS201において、音声受信部103が音声を受信していると判断したとき(ステップS201;Yes)、音声認識部104が、音声受信部103が受信した音声の内容を認識する(ステップS205)。受信した音声が、ユーザの音声による音量調整命令ではないと認識されると(ステップS207;No)、ステップS203に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0121】
ステップS207において、受信した音声がユーザの音声による音量調整命令であると認識されると、データ音声再生部102による読み上げ再生が一時停止する(ステップS209)。続いて、音量調整命令にしたがって、読み上げ再生の音量データが変更される(ステップS211)。
【0122】
ステップS211において読み上げ再生の音量データが変更されると、データ音声再生部102は一時停止前位置より読み上げ再生を行う(ステップS213)。そして、ステップS203に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS201に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS203;Yes)。
【0123】
[読み上げ再生再開の処理]
続いて、本発明の実施形態3に係るデータ音声再生装置10において、ユーザが音量調整命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0124】
図13は、データ音声再生装置10において読み上げ再生を実行中に、ユーザが音量調整命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0125】
まずは、データ音声再生装置10が、第1文のテキストデータまたはHTMLデータを音声信号に変換し読み終わったものとする(ステップS221)。続いて、データ音声再生装置10は第2文のテキストデータまたはHTMLデータを音声信号に変換し第2文の読み上げを開始するが(ステップS223)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「音量あげて」と言い、音声受信部103に音量調整命令を入力したものとする(ステップS225)。
【0126】
続いて、音声認識部104は、音声受信部103が受信した音声信号を取得し(ステップS227)、音声認識を行う(ステップS229)。
【0127】
音声認識部104は、ユーザの音量調整命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS231)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS233)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0128】
また、音声認識部104は、ユーザの音量調整命令を認識すると、音量調整命令を音量調整部122に送る(ステップS235)。音量調整命令を受け取った音量調整部122は、当該音量調整命令にしたがって、音量調整命令をデータ音声再生部102に送る(ステップS237)。
【0129】
音量調整命令を受け取ったデータ音声再生部102は、当該音量調整命令にしたがって音量データを調整したうえ、ステップS233において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS239)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げを再開してもよい。
【0130】
以上説明したとおり、本発明の実施形態3におけるデータ音声再生装置10を用いると、データ音声再生装置10がユーザの音量調整命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが音量調整命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0131】
<実施形態4>
本発明の実施形態4に係るデータ音声再生装置10を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1における説明と重複する説明については適宜省略する。
【0132】
[データ音声再生装置10の機能構成]
図14は、本発明の実施形態4に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態1に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0133】
データ音声再生部102は、実施形態1と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行う。また、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うものとする。
【0134】
音声認識部104は、実施形態1と同様、音声受信部103が受信した音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの検索命令を認識すると、当該検索命令が含む検索語に関連する情報を検索する旨の検索命令を検索部124に送り、検索語に関連する情報を収集させる。
【0135】
ここで、ユーザの「検索命令」とは、データ音声再生装置10に対するユーザの、検索命令が含む検索語に関連する情報を検索する旨の命令である。例えば、ユーザがデータ音声再生装置10に対し「今日のA社の株価は?」と音声信号を入力すると、今日のA社の株価という検索語に関連する情報を検索する旨の検索命令であると音声認識部104に認識されてもよい。
【0136】
検索部124は、音声認識部104によって認識された命令内容が検索命令である場合、当該検索命令に基づいて情報を収集する。具体的には、検索部124は、音声認識部104から検索命令を受け取ると、当該命令にしたがって、検索語に関連する情報を収集する。検索部124は、例えば、ネットワーク30を介して外部のサーバーから情報を収集してもよい。
【0137】
情報通知部126は、検索部124によって収集された、検索語に関連する情報を音声により通知する。
【0138】
例えば、ユーザがデータ音声再生装置10に対し「今日のA社の株価を教えて」と入力し、検索部が今日のA社の株価は10,000円であるとの情報を収集したとき、情報通知部126はその情報を公知の方法を用いて音声信号に変換し、「今日のA社の株価は10,000円です」と音声により通知してもよい。
【0139】
また、本実施形態においては、情報通知部126は、検索部124によって収集された、検索語に関連する情報を音声により通知した後、データ音声再生部102に読み上げ再生を再開する旨の再生再開命令を送り、これを受け取ったデータ音声再生部102は読み上げ再生を再開するものとする。
【0140】
データ取得部101及び音声受信部103についての説明は実施形態1と同様であるから省略する。
【0141】
[データ読み上げ再生処理]
続いて、実施形態4のデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0142】
図15は、実施形態4におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0143】
ステップS301からステップS305についての説明は、実施形態1についてのステップS101からステップS105についての説明と共通するので適宜省略する。
【0144】
ステップS301において、音声受信部103が音声を受信していると判断したとき(ステップS301;Yes)、音声認識部104が、音声受信部103が受信した音声の内容を認識する(ステップS305)。受信した音声が、ユーザの音声による検索命令ではないと認識されると(ステップS307;No)、ステップS303に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0145】
ステップS307において、受信した音声がユーザの音声による検索命令であると認識されると(ステップS307;Yes)、データ音声再生部102による読み上げ再生が一時停止する(ステップS309)。続いて、検索命令にしたがって、検索語に関連する情報が収集され(ステップS311)、当該情報が音声信号に変換され音声により通知される(ステップS313)。
【0146】
ステップS313において検索語に関連する情報の音声による通知が行われると、データ音声再生部102は一時停止前位置より読み上げ再生を行う(ステップS315)。そして、ステップS303に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS301に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS303;Yes)。
【0147】
[読み上げ再生再開の処理]
続いて、本発明の実施形態4に係るデータ音声再生装置10において、ユーザが検索命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0148】
図16は、データ音声再生装置10において読み上げ再生を実行中に、ユーザが検索命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0149】
まずは、データ音声再生装置10が、第1文のテキストデータまたはHTMLデータを音声信号に変換し読み終わったものとする(ステップS321)。続いて、データ音声再生装置10は第2文のテキストデータまたはHTMLデータを音声信号に変換し第2文の読み上げを開始するが(ステップS323)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「今日のA社の株価を教えて」と言い、音声受信部103に検索命令を入力したものとする(ステップS325)。
【0150】
続いて、音声認識部104は、音声受信部103が受信した音声信号を取得し(ステップS327)、音声認識を行う(ステップS329)。
【0151】
音声認識部104は、ユーザの検索命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS331)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS333)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0152】
また、音声認識部104は、ユーザの検索命令を認識すると、当該検索命令が含む検索語に関連する情報を検索する旨の検索命令を検索部124に送り(ステップS335)、検索命令を受け取った検索部124は、当該検索命令に基づいて情報を収集し(ステップS337)、情報通知部126に提供する(ステップS339)。
【0153】
ステップS339の後、情報通知部126は、検索部124によって収集された、検索語に関連する情報を音声により通知する(ステップS341)。そして、情報通知部126は、再生再開命令をデータ音声再生部102に送る(ステップS343)。
【0154】
情報通知部126から再生再開命令を受け取ったデータ音声再生部102は、ステップS333において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS345)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げを再開してもよい。
【0155】
以上説明したとおり、本発明の実施形態4におけるデータ音声再生装置10を用いると、データ音声再生装置10がユーザの検索命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが検索命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0156】
<実施形態5>
本発明の実施形態5に係るデータ音声再生装置10を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1における説明と重複する説明については適宜省略する。
【0157】
[データ音声再生装置10の機能構成]
図17は、本発明の実施形態5に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態1に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0158】
音声認識部104は、実施形態1と同様、音声受信部103が受信した音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの音声による一時停止命令を認識すると、一時停止命令をデータ音声再生部102に送り、読み上げ再生を一時停止させる。また、音声認識部104は、ユーザの音声による再生再開命令を認識すると、再生再開命令をデータ音声再生部102に送り、読み上げ再生を再開させる。
【0159】
ここで、ユーザの音声による「一時停止命令」とは、データ音声再生装置10に対するユーザの、読み上げ再生を一時停止する旨の命令である。例えば、ユーザがデータ音声再生装置10に対し「一時停止して」と音声により入力すると、音声認識部104に、一時停止命令として認識されるようにしてもよい。
【0160】
また、ユーザの音声による「再生再開命令」とは、読み上げ再生を一時停止した状態にあるデータ音声再生装置10に対するユーザの、読み上げ再生を再開する旨の命令である。例えば、ユーザがデータ音声再生装置10に対し「再生再開して」と音声により入力すると、音声認識部104に、再生再開命令として認識されるようにしてもよい。
【0161】
データ音声再生部102は、実施形態1と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、読み上げ再生を行う。データ音声再生部102が行う読み上げ再生は、一時停止すること及び再開することができる。また、本実施形態においては、実施形態1と同様、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うものとする。
【0162】
また、本実施形態においては、データ音声再生部102は、音声認識部104から一時停止命令を受け取ると読み上げ再生を一時停止し、音声認識部104から再生再開命令を受け取ると読み上げ再生を再開する。
【0163】
データ取得部101及び音声受信部103についての説明は実施形態1と同様であるから省略する。
【0164】
[データ読み上げ再生処理]
続いて、実施形態5のデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0165】
図18は、実施形態5におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0166】
ステップS401からステップS405についての説明は、実施形態1における、ステップS101からステップS105についての説明と共通するので適宜省略する。
【0167】
ステップS401において、音声受信部103が音声を受信していると判断したとき(ステップS401;Yes)、音声認識部104が、音声受信部103が受信した音声の内容を認識する(ステップS405)。受信した音声が、ユーザの音声による一時停止命令ではないと認識されると(ステップS407;No)、ステップS403に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0168】
ステップS407において、受信した音声がユーザの音声による一時停止命令であると認識されると、データ音声再生部102による読み上げ再生を一時停止し(ステップS409)、ステップS411に進み、音声受信部103が音声を受信していると判断するまで待機する(ステップS411;No)。
【0169】
ステップS411において、音声受信部103が音声を受信していると判断したとき(ステップS411;Yes)、音声認識部104が、音声受信部103が受信した音声の内容を認識する(ステップS413)。受信した音声が、ユーザの音声による再生再開命令ではないと認識されると(ステップS415;No)、ステップS411に戻り、音声受信部103が音声を受信していると判断するまで待機する。
【0170】
ステップS415において、受信した音声がユーザの音声による再生再開命令であると認識されると(ステップS415;Yes)、ステップS417に進み、一時停止前位置から読み上げを再開する。そして、ステップS403に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS401に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS403;Yes)。
【0171】
[読み上げ再生再開の処理]
続いて、本発明の実施形態5に係るデータ音声再生装置10において、ユーザが一時停止命令を入力してから、再生再開命令を入力して読み上げ再生が再開されるまでの処理について説明する。
【0172】
図19は、データ音声再生装置10において読み上げ再生を実行中に、ユーザが一時停止命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0173】
まずは、データ音声再生装置10が、第1文のテキストデータまたはHTMLデータを音声信号に変換し読み終わったものとする(ステップS421)。続いて、データ音声再生装置10は第2文のテキストデータまたはHTMLデータを音声信号に変換し第2文の読み上げを開始するが(ステップS423)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「一時停止して」と言い、音声受信部103に一時停止命令を入力したものとする(ステップS425)。
【0174】
続いて、音声認識部104は、音声受信部103が受信した音声信号を取得し(ステップS427)、音声認識を行う(ステップS429)。
【0175】
音声認識部104は、ユーザの一時停止命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS431)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS433)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0176】
その後、ユーザが「再生再開して」と言い、音声受信部103に再生再開命令を入力すると(ステップS435)、音声認識部104がその音声信号を取得し(ステップS437)、音声認識を行う(ステップS439)。
【0177】
音声認識部104は、ユーザの再生再開命令を認識すると、再生再開命令をデータ音声再生部102に送り(ステップS441)、これを受け取ったデータ音声再生部102は、ステップS433において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS443)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。
【0178】
以上説明したとおり、本発明の実施形態5におけるデータ音声再生装置10を用いると、データ音声再生装置10がユーザの一時停止命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが一時停止命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0179】
また、本発明の実施形態5におけるデータ音声再生装置10を用いると、ユーザは、読み上げ再生の一時停止と再開を音声により操作できるため便利である。
【0180】
実施形態5においては、データ音声再生装置10がユーザの一時停止命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととしたが、実施形態2と同様に、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(発話前位置)から読み上げ再生を再開してもよい。
【0181】
すなわち、データ音声再生部102が、音声認識部104から一時停止命令を受け取ると、音声受信部103から、ユーザの音声による命令を受信した時刻(命令受信時刻)の情報を取得し、自身が記憶しているテキスト時刻対応データと命令受信時刻の情報に基づいて、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置を特定し、当該同じ位置もしくはそれよりも前の位置から読み上げ再生を再開してもよい。
【0182】
また、特に、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われるものとしてもよい。この場合、データ音声再生装置10の機能構成としては、実施形態2と同様、データ取得部101が取得したテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別し、識別した一文または文節の単位の情報を、テキストデータまたはHTMLデータとともに、データ音声再生部102に提供する識別部120を含む。
【0183】
<実施形態6>
本発明の実施形態6に係る無線通信端末40を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。実施形態1と同様の説明については省略することがある。
【0184】
[概要]
図20は、本発明の実施形態6に係る無線通信端末40を含むデータ音声再生システム1の構成を示す図である。データ音声再生システム1は、無線通信端末40と、相手方無線通信端末50と、メディアサイトサーバー20を有する。無線通信端末40と、相手方無線通信端末50とは、インターネット、通信回線などのネットワーク30に接続されている。
【0185】
無線通信端末40は、他の無線通信端末と通信をすることができる端末であり、かつ、データ音声再生装置10と同様、データ音声再生サービスを提供する装置である。具体的には、スマートフォンなどの携帯通信端末が挙げられる。
【0186】
相手方無線通信端末50は、無線通信端末40と同様、他の無線通信端末と通信をすることができる端末である。
【0187】
図20に示すように、無線通信端末40と、メディアサイトサーバー20とがネットワーク30に接続されているとき、無線通信端末40はメディアサイトサーバー20から記事を取得することができる。また、無線通信端末40と、相手方無線通信端末50がネットワーク30に接続されているとき、無線通信端末40と相手方無線通信端末50は互いに通信することができる。
【0188】
[無線通信端末40のハードウエア構成]
図20に示すように、無線通信端末40は、制御部41、記憶部42、通信部43、音声入力部44、音声出力部45、物理的入力部46を有する。制御部41、記憶部42、通信部43、音声入力部44、音声出力部45についての説明は実施形態1における説明と同様であるので省略する。
【0189】
物理的入力部46は、例えば、押しボタンスイッチであり、このボタンを押すと、物理的に、無線通信端末40に何らかの命令を入力できる装置である。
【0190】
[無線通信端末40の機能構成]
図21は、本発明の実施形態6に係る無線通信端末40のデータ音声再生機能を示すブロック図である。
【0191】
データ音声再生部102は、実施形態1と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行う。データ音声再生部102が行う読み上げ再生は、一時停止すること及び再開することができる。
【0192】
本実施形態においては、データ音声再生部102は、通話部128から一時停止命令を受け取ると、読み上げ再生を一時停止し、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶する。そして、データ音声再生部102が再生再開命令を受け取ると、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生を再開するものとする。
【0193】
通話部128は、通話のための通信を行い、データ音声再生部102がテキストデータまたはHTMLデータを読み上げ再生中に通話の着信を受けて通信を開始することができる。本実施形態においては、通話部128は、通話の着信を受けて通信を開始すると、データ音声再生部102に一時停止命令を送るものとする。また、通話部128は、通話のための通信が終了すると、データ音声再生部102に再生再開命令を送るものとする。
【0194】
データ取得部101についての説明は、実施形態1と同様であるため省略する。
【0195】
[データ読み上げ再生処理]
続いて、無線通信端末40におけるデータ読み上げ再生処理について説明する。
【0196】
図22は、本実施形態における無線通信端末40において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、無線通信端末40が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0197】
まず、通話部128が通話の着信を受けているかを判断する(ステップS501)。通話部128が通話の着信を受けていないと判断した場合(ステップS501;No)、ステップS503に進む。ステップS503においては、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS501に戻り、再び、通話部128が通話の着信を受けているかを判断する。また、テキストデータまたはHTMLデータの読み上げが終了したと判断されたとき、無線通信端末40におけるデータ音声再生処理は終了する(ステップS503;Yes)。
【0198】
ステップS501において、通話部128が通話の着信を受けていると判断したとき(ステップS501;Yes)、通話部128は一時停止命令をデータ音声再生部102に送り、データ音声再生部102は読み上げ再生を一時停止する(ステップS505)。
【0199】
その後、ステップS507に進み、通話部128は通話のための通信が終了したかを判断する。通話のための通信が終了していないと判断した場合(ステップS507;No)、通話が終了するまで待機する。通話のための通信が終了したと判断した場合(ステップS507;Yes)、通話部128は再生再開命令をデータ音声再生部102に送り、これを受け取ったデータ音声再生部102は、一時停止前位置から読み上げ再生を再開する(ステップS509)。そして、ステップS503に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS501に戻り、再び、通話部128が通話の着信を受けているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS503;Yes)。
【0200】
本発明の実施形態6における無線通信端末40を用いると、無線通信端末40が読み上げ再生を行っている間に通話のための通信が開始し、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザは、通話のための通信が開始する前にデータ音声再生装置10が読み上げていた文を、再度聞くことができ、通話前にどのコンテンツについて読み上げ再生されていたかを思い出しつつ、再開した読み上げ再生を聞くことができ、便利である。
【0201】
実施形態6においては、無線通信端末40が読み上げ再生を一時停止し、再開するときに、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生を再開するものとしたが、通話の着信を受けた時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(着信前位置)から読み上げ再生を再開してもよい。
【0202】
すなわち、データ音声再生部102がテキストデータまたはHTMLデータの読み上げ再生を行う際、どの箇所を読み上げているのかの情報と時刻の情報を対応付けて、テキスト時刻対応データとして記憶し、データ音声再生部102が、通話部128から一時停止命令を受け取ると、通話部128から、通話の着信を受けた時刻の情報を取得し、テキスト時刻対応データに基づいて、通話の着信を受けた時刻に対応するテキストデータまたはHTMLデータと同じ位置を特定し、当該同じ位置もしくはそれよりも前の位置から読み上げ再生を再開してもよい。
【0203】
また、特に、通話部128が通話の着信を受けた時点に対応するテキストデータまたはHTMLデータの位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われるものとしてもよい。この場合、無線通信端末40の機能構成としては、実施形態2と同様、データ取得部101が取得したテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別し、識別した一文または文節の単位の情報を、テキストデータまたはHTMLデータとともに、データ音声再生部102に提供する識別部120を含む。
【0204】
<実施形態7>
本発明の実施形態7に係る無線通信端末40を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。実施形態1または実施形態6と同様の説明については省略することがある。
【0205】
[無線通信端末40の機能構成]
図23は、本発明の実施形態7に係る無線通信端末40のデータ音声再生機能を示すブロック図である。
【0206】
音声受信部103は、データ音声再生部102がテキストデータまたはHTMLデータを読み上げ再生中に、ユーザの音声による命令を受信する。
【0207】
音声認識部104は、音声受信部103が受信した音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの再生再開命令を認識すると、再生再開命令をデータ音声再生部102に送り、読み上げ再生を再開させる。
【0208】
データ音声再生部102は、実施形態6と同様、通話部128から一時停止命令を受け取ると、読み上げ再生を一時停止し、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶する。そして、データ音声再生部102が再生再開命令を受け取ると、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生を再開するものとする。
【0209】
データ取得部101、通話部128についての説明は実施形態6における説明と共通するので省略する。
【0210】
[データ読み上げ再生処理]
続いて、無線通信端末40におけるデータ読み上げ再生処理について説明する。
【0211】
図24は、本実施形態における無線通信端末40において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、無線通信端末40が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0212】
ステップS601からステップS605の説明は実施形態6におけるステップS501からステップS505についての説明と共通するので適宜省略する。
【0213】
ステップS605において読み上げ再生が一時停止すると、ステップS607に進む。ステップS607においては、音声受信部103が音声を受信しているかを判断する。受信していないと判断した場合、音声を受信するまで待機する(ステップS607;No)。
【0214】
ステップS607において音声受信部103が音声を受信したと判断したとき(ステップS607;Yes)、ステップS609に進み、当該音声についての音声認識が行われる。
【0215】
ステップS609の音声認識の結果、当該音声が再生再開命令だと認識されなかった場合(ステップS611;No)、ステップS607に戻り、音声を受信するまで待機する。
【0216】
ステップS609の音声認識の結果、当該音声が再生再開命令だと認識された場合(ステップS611;Yes)、ステップS613に進み、一時停止前位置から読み上げ再生を再開する。そして、ステップS603に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS601に戻り、再び、通話部128が通話の着信を受けているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS603;Yes)。
【0217】
本発明の実施形態7における無線通信端末40を用いると、実施形態6と同様、無線通信端末40が読み上げ再生を行っている間に通話のための通信が開始し、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザは、通話のための通信が開始する前にデータ音声再生装置10が読み上げていた文を、再度聞くことができ、通話前にどのコンテンツについて読み上げ再生されていたかを思い出しつつ再開した読み上げ再生を聞くことができ、便利である。
【0218】
また、本発明の実施形態7における無線通信端末40を用いると、実施形態6と異なり、ユーザは、無線通信端末40が読み上げ再生を再開するタイミングを自ら設定することができ、便利である。
【0219】
実施形態7においては、無線通信端末40が読み上げ再生を一時停止し、再開するときに、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生を再開するものとしたが、通話の着信を受けた時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(着信前位置)から読み上げ再生を再開してもよい。
【0220】
すなわち、データ音声再生部102がテキストデータまたはHTMLデータの読み上げ再生を行う際、どの箇所を読み上げているのかの情報と時刻の情報を対応付けて、テキスト時刻対応データとして記憶し、データ音声再生部102が、通話部128から一時停止命令を受け取ると、通話部128から、通話の着信を受けた時刻の情報を取得し、テキスト時刻対応データに基づいて、通話の着信を受けた時刻に対応するテキストデータまたはHTMLデータと同じ位置を特定し、当該同じ位置もしくはそれよりも前の位置から読み上げ再生を再開してもよい。
【0221】
また、特に、通話部128が通話の着信を受けた時点に対応するテキストデータまたはHTMLデータの位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われるものとしてもよい。この場合、無線通信端末40の機能構成としては、実施形態2と同様、データ取得部101が取得したテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別し、識別した一文または文節の単位の情報を、テキストデータまたはHTMLデータとともに、データ音声再生部102に提供する識別部120を含む。
【0222】
<実施形態8>
本発明の実施形態8に係る無線通信端末40を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。実施形態1または実施形態6と同様の説明については省略することがある。
【0223】
[無線通信端末40の機能構成]
図25は、本発明の実施形態8に係る無線通信端末40のデータ音声再生機能を示すブロック図である。
【0224】
コマンド受付部130は、データ音声再生部102がテキストデータまたはHTMLデータの読み上げ再生を一時停止している間、読み上げ再生の一時停止の解除コマンド又は読み上げ再生の再開コマンドを受け付ける。
【0225】
ここで、読み上げ再生の一時停止の解除コマンド又は読み上げ再生の再開コマンドとは、いずれも、データ音声再生部102が読み上げ再生を一時停止しているときに、その一時停止を解除し、再生を再開する旨の入力である。どちらも、実際は、無線通信端末40の物理的入力部46によって入力される。以下では、まとめて再開コマンドとして説明する。
【0226】
コマンド受付部130は、再開コマンドを受け付けると、データ音声再生部102に再生再開命令を送る。
【0227】
データ音声再生部102は、実施形態6と同様、実施形態6と同様、通話部128から一時停止命令を受け取ると、読み上げ再生を一時停止し、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶する。そして、データ音声再生部102が再生再開命令を受け取ると、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生を再開するものとする。
【0228】
データ取得部101、通話部128についての説明は実施形態6における説明と共通するので省略する。
【0229】
[データ読み上げ再生処理]
続いて、無線通信端末40におけるデータ読み上げ再生処理について説明する。
【0230】
図26は、本実施形態における無線通信端末40において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、無線通信端末40が起動し、データ取得部101が単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、データ音声再生部102が当該テキストデータまたはHTMLデータの読み上げ再生を開始すると実行される。
【0231】
ステップS701からステップS705の説明は実施形態6におけるステップS501からステップS505についての説明と共通するので適宜省略する。
【0232】
ステップS705において読み上げ再生が一時停止すると、ステップS707に進む。ステップS707においては、コマンド受付部130に再生コマンドが入力されているかを判断する。入力されていないと判断した場合、再生コマンドが入力されるまで待機する(ステップS707;No)。
【0233】
ステップS707において再生コマンドが入力されたと判断したとき、コマンド受付部130がデータ音声再生部102に再生再開命令を送るため、ステップS709に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS701に戻り、再び、通話部128が通話の着信を受けているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS703;Yes)。
【0234】
本発明の実施形態8における無線通信端末40を用いると、実施形態6と同様、無線通信端末40が読み上げ再生を行っている間に通話のための通信が開始し、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザは、通話のための通信が開始する前にデータ音声再生装置10が読み上げていた文を、再度聞くことができ、通話前にどのコンテンツについて読み上げ再生されていたかを思い出しつつ再開した読み上げ再生を聞くことができ、便利である。
【0235】
また、本発明の実施形態8における無線通信端末40を用いると、実施形態6と異なり、ユーザは、無線通信端末40が読み上げ再生を再開するタイミングを自ら設定することができ、便利である。
【0236】
なお、実施形態7において説明したとおり、通話の着信を受けた時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(着信前位置)から読み上げ再生を再開してもよいし、特に、通話部128が通話の着信を受けた時点に対応するテキストデータまたはHTMLデータの位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われるものとしてもよい。
【0237】
<実施形態9>
本発明の実施形態9に係るデータ音声再生装置10を含むデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1における説明と重複する説明については適宜省略する。
【0238】
[概要]
図27は、本発明の実施形態9に係るデータ音声再生装置10を含むデータ音声再生システムの構成を示す図である。実施形態1と同様、データ音声再生システム1は、データ音声再生装置10と、メディアサイトサーバー20とを有し、データ音声再生装置10と、メディアサイトサーバー20とは、インターネット、通信回線などのネットワーク30に接続されている。
【0239】
実施形態1と同様、データ音声再生装置10は、データ音声再生サービスを提供する装置であり、メディアサイトサーバー20は、ユーザがインターネットを介してアクセスすることができるコンテンツを配信するメディアサイトが保有するサーバーであり、データ音声再生装置10と、メディアサイトサーバー20とがネットワーク30に接続されているとき、データ音声再生装置10はメディアサイトサーバー20から単一または複数のコンテンツからなるテキストデータ又はHTMLデータを取得することができる。
【0240】
[データ音声再生装置10のハードウエア構成]
図27に示すように、データ音声再生装置10は、制御部11、記憶部12、通信部13、音声入力部14、音声出力部15、表示部16、指示入力部17、既再生成分除去部18を有する。
【0241】
制御部11、記憶部12、通信部13、音声入力部14、音声出力部15及び表示部16についての説明は実施形態1と同様であるので省略する。
【0242】
指示入力部17は、例えば、押しボタンスイッチであり、このボタンを押すと、データ音声再生装置10に何らかの命令を入力できる装置である。また、指示入力部17は、タッチパネルである表示部16によって代替されてもよい。この場合、ユーザは、タッチパネルである表示部16に表示されたボタンを押すことでデータ音声再生装置10に何らかの命令を入力できる。
【0243】
既再生成分除去部18は、音声入力部14が音声信号の入力を受けると、当該音声信号を用いて、データ音声再生装置10が音声を再生していなければ音声入力部14に入力されていたと推定される音声信号(以下「処理済み音声信号」という。)を生成する装置である。既再生成分除去部18が当該処理済み音声信号を生成する手法としては、たとえば、特開2002−135170に記載されているエコーキャンセラ技術などを用いることができる。エコーキャンセラ技術とは、音響・通話機器などで、機器が発した音が、当該機器が有する音声入力部に拾われてしまい、反響(エコー)やハウリングが起きるのを防止・緩和する技術である。当該処理済み音声信号の生成手法としては、本実施形態では、具体的には、音声出力部15が発する音声に由来して音声入力部14に入力されると推定される音声信号を生成し、さらに、現実に音声入力部14に入力された音声信号から当該推定音声信号を減算することで処理済み音声信号を生成する方法を用いるものとするが、処理済み音声信号の生成方法はこれに限られるものではない。
【0244】
[データ音声再生装置10の機能構成]
図28は、本発明の実施形態9に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。本実施形態では、保存領域107は、データ音声再生装置10の内部に含まれるものとするが、保存領域107は、ネットワーク30を介してデータ音声再生装置10と接続された外部の記憶装置であってもよい。
【0245】
再生指示入力部132は、ユーザからの読み上げ再生を開始する旨の命令(以下「読み上げ再生開始命令」という。)の入力を受け付ける。
【0246】
再生指示入力部132は、ユーザから読み上げ再生開始命令の入力を受け付けると、データ取得部101に、ネットワーク30を介して、メディアサイトサーバー20などの外部装置から単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得する旨の命令(以下「データ取得命令」という。)を送る。データ取得命令を受け取ったデータ取得部101は、ネットワーク30を介して、メディアサイトサーバー20などの外部装置から単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得する。
【0247】
再生指示入力部132は、ユーザから読み上げ再生開始命令の入力を受け付けると、音声受信部103にユーザの音声による命令の受信を開始する旨の命令(以下「音声受信開始命令」という。)を送る。音声受信開始命令を受け取った音声受信部103は、ユーザの音声による命令の受信を開始する。
【0248】
データ取得部101は、再生指示入力部132からデータ取得命令を受け取ると、ネットワーク30を介して、メディアサイトサーバー20などの外部装置から単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得する。
【0249】
データ音声再生部102は、実施形態1と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、音声信号に変換し、読み上げ再生を行う。データ音声再生部102はさらに、読み上げ再生を行ったテキストデータまたはHTMLデータを変換して生成した当該音声信号を既再生成分除去部134に送る。
【0250】
本実施形態においては、データ音声再生部102は、音声認識部104によって認識された命令内容に応じて、テキストデータまたはHTMLデータの読み上げ再生を一時停止し、当該命令内容が実行された後、テキストデータまたはHTMLデータの読み上げ再生を一時停止前位置から再開するものとする。その他のデータ音声再生部102についての説明は実施形態1と同様であるため省略する。
【0251】
音声受信部103は、音声受信開始命令を受け取ると、ユーザの音声による命令の受信を開始する。本実施形態においては、音声受信部103は、ユーザの音声による命令を受信した時刻を記録するものとする(以下この時刻を「命令受信時刻」ということがある)。
【0252】
既再生成分除去部134は、データ音声再生部102から、読み上げ再生に用いたテキストデータまたはHTMLデータの音声信号を受け取り、当該音声信号に由来して音声受信部103に入力されると推定される音声信号(以下「推定音声信号」という。)を生成する。また、既再生成分除去部134は、音声受信部103から、音声受信部103が受信した音声信号を受信する。
【0253】
既再生成分除去部134は、音声受信部103が現実に受信した音声信号と、データ音声再生部102が読み上げ再生に用いたテキストデータまたはHTMLデータの音声信号を用いて処理済み音声信号を生成する。具体的には、たとえば、既再生成分除去部134は、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号から推定音声信号を生成し、音声受信部103が受信した音声信号から当該推定音声信号を減算することで処理済み音声信号の生成を行う。
【0254】
音声認識部104は、既再生成分除去部134が生成した処理済み音声信号を取得し、音声による命令の内容を認識する。その他の音声認識部104についての説明は実施形態1と同様であるため省略する。
【0255】
保存領域107は、データを保存する領域である。また、保存部105は、音声認識部104によって認識された命令内容がテキストデータ又はHTMLデータの保存命令である場合に、音声受信部103がユーザの音声による命令を受信したときの読み上げ再生対象のコンテンツに対応するテキストデータ又はHTMLデータである保存対象を保存領域107に保存する。保存完了通知部106は、保存部105により保存領域107に保存対象であるテキストデータ又はHTMLデータが保存されると、音声により保存完了通知を発する。
【0256】
本実施形態においては、保存部105は、音声認識部104によって認識された命令内容がテキストデータ又はHTMLデータの保存命令である場合に、音声受信部103がユーザの音声による命令を受信したときの読み上げ再生対象のコンテンツに対応するテキストデータ又はHTMLデータである保存対象が既に保存領域107に保存されている場合、保存済み通知部136に、保存済み通知を行う旨の命令(以下「保存済み通知命令」ということがある)を行う。具体的には、保存部105は、音声認識部104から保存命令を受け取ると、保存領域107に、保存命令の対象である保存対象が既に保存されているかどうかについて問い合わせを行い、既に保存されている旨の回答を得た場合、保存済み通知部136に保存済み通知命令を行う。
【0257】
保存済み通知部136は、保存部105から保存済み通知命令を受け取ると、音声により保存済み通知を発する。例えば、「この記事は既に保存されています」などと音声により発する。
【0258】
保存部105、保存完了通知部106、保存領域107についてのその他の説明は実施形態1と同様であるため省略する。
【0259】
表示部108は、保存領域107に保存された保存対象を表示することができる。
【0260】
[データ読み上げ再生処理]
続いて、実施形態9に係るデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0261】
図29は、本実施形態におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動すると実行される。
【0262】
まず、再生指示入力部132が読み上げ再生開始命令をユーザから入力されているかを判断する(ステップS801)。再生指示入力部132が読み上げ再生開始命令をユーザから入力されていないと判断した場合、読み上げ再生開始命令が入力されるまで待機する(ステップS801;No)。再生指示入力部132が読み上げ再生開始命令をユーザから入力されたと判断した場合(ステップS803;Yes)、ステップS803に進む。
【0263】
ステップS803においては、再生指示入力部132がデータ取得部101にデータ取得命令を送り、かつ、音声受信部103に音声受信開始命令を送る。データ取得命令を受け取ったデータ取得部101はネットワーク30を介して、メディアサイトサーバー20などの外部装置から単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得する。また、音声受信開始命令を受け取った音声受信部103は、ユーザの音声による命令の受信を開始する。再生指示入力部132がデータ取得部101にデータ取得命令を送り、かつ、音声受信部103に音声受信開始命令を送ると、ステップS805に進む。
【0264】
ステップS805においては、データ音声再生部102が、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、音声信号に変換したうえ、読み上げ再生を開始する。データ音声再生部102は、読み上げ再生を行ったテキストデータまたはHTMLデータを変換して生成した音声信号を適宜、既再生成分除去部134に送る。
【0265】
続いて、音声受信部103が音声を受信しているかを判断する(ステップS807)。音声受信部103が音声を受信していないと判断した場合(ステップS807;No)、ステップS809に進む。ステップS809においては、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS807に戻り、再び、音声受信部103が音声を受信しているかを判断する。すなわち、本実施形態では、テキストデータまたはHTMLデータの読み上げが終了するまで、音声の受信を行う(ステップS807;NoかつステップS809;No)。また、テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS809;Yes)。
【0266】
ステップS807において、音声受信部103が音声を受信していると判断したとき(ステップS807;Yes)、既再生成分除去部134が既再生成分の除去を行う(ステップS811)。すなわち、既再生成分除去部134は、音声受信部103が受信した音声信号と、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いて処理済み音声信号を生成する。
【0267】
既再生成分除去部134が既再生成分の除去を行い、処理済み音声信号を生成すると(ステップS811)、音声認識部104が、当該処理済み音声信号の内容を認識する(ステップS813)。処理済み音声信号が、ユーザの音声による保存命令ではないと認識されると(ステップS815;No)、ステップS809に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0268】
ステップS815において、受信した音声がユーザの音声による保存命令であると認識されると、データ音声再生部102による読み上げ再生が一時停止する(ステップS817)。続いて、ステップS807において音声受信部103がユーザの音声による保存命令を受信したときにデータ音声再生部102によって読み上げられていたコンテンツに対応するテキストデータまたはHTMLデータが保存領域107に保存される(ステップS819)。ステップS819において行われるデータの保存方法は、実施形態1のステップS111について説明した内容と同様であるため省略する。
【0269】
ステップS819においてテキストデータまたはHTMLデータが保存領域107に保存された後、保存完了通知部106が音声により保存完了通知を行う(ステップS821)。例えば、「保存を完了しました。」などと音声により発する。
【0270】
ステップS823において保存完了通知が行われると、データ音声再生部102は一時停止前位置より読み上げ再開を行う(ステップS823)。そして、ステップS103に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS807に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS809;Yes)。
【0271】
[読み上げ再生再開の処理]
続いて、本発明の実施形態9に係るデータ音声再生装置10において、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0272】
図30は、本発明の実施形態9に係るデータ音声再生装置10において読み上げ再生を実行中に、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0273】
まずは、データ音声再生部102が第1文を読み終わったものとする(ステップS521)。本実施形態では、例として、データ音声再生部102が第1文を読み上げるのと並行して、データ音声再生部102は第1文のうち、自らが読み上げた箇所のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送るものとする(ステップS523)。既再生成分除去部134は、当該第1文を変換して生成した音声信号を保持する。なお、ここでは、データ音声再生部102は、自らが読み上げた箇所のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送るものとするが、ステップS523においてデータ音声再生部102が音声信号を既再生成分除去部134に送る方法に特に限定はない。
【0274】
データ音声再生部102は、第1文のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送ると(ステップS523)、第2文の読み上げを開始し、並行して、読み上げた箇所のテキストデータから生成した音声信号を既再生成分除去部134に送るが(ステップS525)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「クリップ」と言い、音声受信部103に保存命令を入力したものとする(ステップS527)。
【0275】
音声受信部103に保存命令が入力されると(ステップS527)、既再生成分除去部134は、音声受信部103から、音声受信部103が受信した音声信号を受信する(ステップS529)。そして、既再生成分除去部134は、ステップS527において音声受信部103が受信した音声信号と、ステップS523及びステップS525において受け取っている、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータを変換して生成した音声信号を用いて処理済み音声信号を生成する(ステップS531)。
【0276】
既再生成分除去部134が処理済み音声信号を生成すると(ステップS531)、音声認識部104は、既再生成分除去部134が生成した処理済み音声信号を取得し(ステップS533)、音声による命令の内容を認識する(ステップS535)。
【0277】
音声認識部104は、ユーザの保存命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS537)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS539)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0278】
また、音声認識部104は、ユーザの保存命令を認識すると、保存命令を保存部105に送る(ステップS541)。保存命令を受け取った保存部105は、音声受信部103からユーザの音声による命令を受信した時点(命令受信時刻)の情報を取得し(ステップS543)、また、当該命令受信時刻にデータ音声再生部102が読み上げ再生をしていたコンテンツに対応するテキストデータまたはHTMLデータの提供を求める信号(データ提供要求信号)をデータ音声再生部102に送る(ステップS545)。
【0279】
続いて、保存部105は、データ音声再生部102から、命令受信時刻の情報とテキスト時刻対応データに基づいて、命令受信時刻に読み上げ再生をしていたテキストデータまたはHTMLデータの提供を受け(ステップS547)、当該データを保存領域107に提供し(ステップS549)、保存させる(ステップS551)。当該保存が終了すると、保存部105は保存完了通知命令を保存完了通知部106に提供し(ステップS553)、これを受け取った保存完了通知部106は、保存完了通知を行い(ステップS555)、また、データ音声再生部102に再生再開命令を送る(ステップS557)。
【0280】
再生再開命令を受け取ったデータ音声再生部102は、ステップS539において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS559)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げを再開してもよい。また、これに限られるものではなく、例えば、「天気は」から読み上げを再開してもよい。
【0281】
本発明の実施形態9におけるデータ音声再生装置10を用いると、実施形態1と同様、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0282】
実施形態9と異なり、本発明に係るデータ音声再生機能を実現するコンピュータプログラムをデータ音声再生装置10が読み込むこと(すなわち、データ音声再生機能を実現するアプリケーションの立ち上げ)に応じて、音声の受信が開始されるよう構成することも考えられる。このように構成すると、データ音声再生装置10はユーザの音声による命令を確実に受信することができる。
【0283】
もっとも、本発明に係るデータ音声再生装置10は、再生指示入力部132が、ユーザから読み上げ再生開始命令の入力を受け、読み上げ再生を開始した時点以降にユーザの音声による命令が入力されることが想定されている。したがって、読み上げ再生が始まっていないときにデータ音声再生装置10が音声の受信を行うと、音声入力部14に入力される音はユーザの音声による命令ではない雑音である蓋然性が高く、この雑音をユーザの命令であるとデータ音声再生装置10が誤って音声認識をすることによる誤作動を起こす可能性がある。しかし、実施形態9におけるデータ音声再生装置10は、ユーザから読み上げ再生開始命令の入力を受けると音声の受信を開始するので、雑音を受信する蓋然性が高いとき(すなわち、読み上げ再生が始まっていないとき)に音声の受信を行わない。したがって、実施形態9におけるデータ音声再生装置10は、雑音をユーザの命令であると誤って音声認識をすることによる誤動作を抑制することができる。
【0284】
さらに、実施形態9におけるデータ音声再生装置10は、実施形態1と異なり、音声受信部103が受信した音声信号と、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いることで処理済み音声信号を生成し、当該処理済み音声信号について音声認識を行い、ユーザの命令であるかどうかを判断するため、高い精度で音声認識を行うことが可能となり、誤動作などの不具合の発生を抑制することができる。
【0285】
加えて、実施形態9におけるデータ音声再生装置10は、実施形態1と異なり、ユーザから保存命令の入力を受けた場合、保存対象が既に保存領域に保存されているときは、音声による保存済み通知を発するため、ユーザは当該保存対象が既に保存されていることを認識することができる。
【0286】
<実施形態10>
本発明の実施形態10に係るデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1及び2並びに実施形態9における説明と重複する説明については適宜省略する。
【0287】
[データ音声再生装置10のハードウエア構成]
本発明の実施形態10に係るデータ音声再生システム1は、実施形態9に係るデータ音声再生システムと同様、制御部11、記憶部12、通信部13、音声入力部14、音声出力部15、表示部16、指示入力部17、既再生成分除去部18を有する。
【0288】
[データ音声再生装置10の機能構成]
図31は、本発明の実施形態10に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態9に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0289】
識別部120は、実施形態2と同様、データ取得部101が取得したテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別する。さらに、本実施形態においては、識別部120は、識別した一文または文節の単位の情報を、テキストデータまたはHTMLデータとともに、データ音声再生部102に提供する。
【0290】
データ音声再生部102は、実施形態9と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行うものであって、データ音声再生部102は、音声認識部104によって認識された命令内容に応じて、テキストデータまたはHTMLデータの読み上げ再生を一時停止し、当該命令内容が実行された後、テキストデータまたはHTMLデータの読み上げ再生を再開するものとする。
【0291】
もっとも、実施形態9とは異なり、データ音声再生部102が読み上げ再生の再開を行う位置は、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(発話前位置)として特定される。
【0292】
具体的には、データ音声再生部102は、音声認識部104から一時停止命令を受け取ると、音声受信部103から、ユーザの音声による命令を受信した時刻(命令受信時刻)の情報を取得し、自身が記憶しているテキスト時刻対応データと命令受信時刻の情報に基づいて、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置を特定し、当該同じ位置もしくはそれよりも前の位置から読み上げ再生を再開する。
【0293】
本実施形態においては、特に、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われるものとする。当該区切り位置は、識別部120によって提供された一文または文節の単位の情報による。
【0294】
データ音声再生部102に関するその他の説明並びにデータ取得部101、音声受信部103、音声認識部104、保存部105、保存領域107、保存完了通知部106、表示部108、既再生成分除去部134及び保存済み通知部136についての説明は実施形態9においてした説明と共通なので省略する。
【0295】
[データ読み上げ再生処理]
続いて、実施形態10に係るデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0296】
図32は、本実施形態におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動すると実行される。
【0297】
ステップS801からステップS821までの処理は、実施形態9における説明と共通である。ステップS821において保存完了通知部106が音声により保存完了通知を行うと、ステップS823Bに進み、データ音声再生部102は区切り位置から読み上げを再開する。そして、ステップS809に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS807に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS809;Yes)。
【0298】
[読み上げ再生再開の処理]
続いて、本発明の実施形態10に係るデータ音声再生装置10において、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0299】
図33は、本発明の実施形態10に係るデータ音声再生装置10において読み上げ再生を実行中に、ユーザが保存命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0300】
ステップS521からステップS543までの処理は、実施形態9と共通であるから省略する。
【0301】
ステップS543の後、データ音声再生部102は、音声受信部103から命令受信時刻の情報を取得する(ステップS543−2)。
【0302】
その後、ステップS545に進む。ステップS545からステップS557は、実施形態1における説明と共通であるから省略する。
【0303】
ステップS557において再生再開命令を受け取ったデータ音声再生部102は、ステップS543−2において受け取っている命令受信時刻の情報と、自身が記憶しているテキスト時刻対応データの情報に基づいて、区切り位置を特定し、読み上げ再生を再開する(ステップS559B)。
【0304】
本発明の実施形態10におけるデータ音声再生装置10を用いると、実施形態9と同様、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0305】
また、本発明の実施形態10におけるデータ音声再生装置10を用いると、実施形態2と同様、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われる。区切り位置から読み上げ再生が再開されると、そうでない場合と比べて、ユーザはデータ音声再生装置10の読み上げ内容をより理解しやすくなる。特に、一文の先頭からデータ音声再生部102による読み上げ再生の再開が行われる場合、そうでない場合と比べ、ユーザはデータ音声再生装置10の読み上げ内容をより理解することができる。
【0306】
また、実施形態10におけるデータ音声再生装置10は、実施形態2と異なり、ユーザから再生開始命令の入力を受け付けることで音声の受信を開始する。したがって、実施形態9におけるデータ音声再生装置10は、読み上げ再生を行っていないときにユーザの声ではない雑音を受信しユーザの命令であると誤って音声認識をすることによる誤動作などの不具合の発生を抑制することができる。また、実施形態9におけるデータ音声再生装置10と同様、コンピュータプログラムの読み込みの段階で音声の受信を開始するデータ音声再生装置10と比べて本実施形態におけるデータ音声再生装置10の方が誤った音声認識をすることなどによる誤動作などの不具合の発生を抑制する効果は大きい。
【0307】
さらに、実施形態10におけるデータ音声再生装置10は、実施形態2と異なり、音声受信部103が受信した音声信号と、からデータ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いることで処理済み音声信号を生成し、当該処理済み音声信号について音声認識を行い、ユーザの命令であるかどうかを判断するため、高い精度で音声認識を行うことが可能となり、誤動作などの不具合の発生を抑制することができる。
【0308】
加えて、実施形態10におけるデータ音声再生装置10は、実施形態2と異なり、ユーザから保存命令の入力を受けた場合、保存対象が既に保存領域に保存されているときは、音声による保存済み通知を発するため、ユーザは当該保存対象が既に保存されていることを認識することができる。
【0309】
<実施形態11>
本発明の実施形態11に係るデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1及び3並びに実施形態9から10における説明と重複する説明については適宜省略する。
【0310】
[データ音声再生装置10の機能構成]
図34は、本発明の実施形態11に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態9に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0311】
再生指示入力部132、音声受信部103、データ取得部101、既再生成分除去部134についての説明は実施形態9と同様であるため省略する。
【0312】
データ音声再生部102は、実施形態9と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行う。また、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うものとする。
【0313】
本実施形態においては、データ音声再生部102は、読み上げ再生を行う音声についての音量データを有しているものとし、当該音量データに応じた音量で読み上げ再生を行うものとする。
【0314】
音声認識部104は、実施形態9と同様、既再生成分除去部134が生成した処理済み音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの音量調整命令を認識すると、音量調整命令を音量調整部122に送り、データ音声再生部102の読み上げ再生の音量を変化させる。また、音声認識部104は、ユーザの音量調整命令を認識すると、一時停止命令をデータ音声再生部102に送り、読み上げ再生を一時停止させる。
【0315】
本実施形態においては、音声認識部104は、ユーザの音量調整命令を認識すると、音量調整命令を音量調整部122に送る。音声認識部104は、ユーザの音量調整命令が音量データを大きくする旨の音量調整命令であると認識すると、音量データを大きくする旨の音量調整命令を音量調整部122に送り、音量データを小さくする旨の音量調整命令であると認識すると、音量データを小さくする旨の音量調整命令を音量調整部122に送る。
【0316】
音量調整部122は、音声認識部104によって認識された命令内容がテキストデータまたはHTMLデータの読み上げ再生の音量の調整命令である場合、当該音量の調整命令に応じて音量を調整する。具体的には、音量調整部122は、音声認識部104から音量調整命令を受け取ると、当該音量調整命令にしたがって、データ音声再生部102に対し、音量調整命令を送る。当該音量調整命令を受け取ったデータ音声再生部102は、当該命令にしたがって、読み上げ再生を行う音声についての音量データを変更し、一時停止前位置から読み上げ再生を再開する。
【0317】
[データ読み上げ再生処理]
続いて、実施形態11のデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0318】
図35は、本実施形態におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動すると実行される。
【0319】
ステップS901からステップS913までの説明は、実施形態9についてのステップS801からステップS813までと共通するので適宜省略する。
【0320】
既再生成分除去部134が既再生成分の除去を行い、処理済み音声信号を生成すると(ステップS911)、音声認識部104が、当該処理済み音声信号の内容を認識する(ステップS913)。処理済み音声信号が、ユーザの音声による音量調整命令でないと認識されると(ステップS915;No)、ステップS909に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0321】
ステップS915において、受信した音声がユーザの音声による音量調整命令であると認識されると、データ音声再生部102による読み上げ再生が一時停止する(ステップS917)。続いて、音量調整命令にしたがって、読み上げ再生の音量データが変更される(ステップS919)。
【0322】
ステップS919において読み上げ再生の音量データが変更されると、データ音声再生部102は一時停止前位置より読み上げ再生を行う(ステップS921)。そして、ステップS909に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS907に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS909;Yes)。
【0323】
[読み上げ再生再開の処理]
続いて、本発明の実施形態11に係るデータ音声再生装置10において、ユーザが音量調整命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0324】
図36は、本発明の実施形態11に係るデータ音声再生装置10において読み上げ再生を実行中に、ユーザが音量調整命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0325】
まずは、データ音声再生装置10が、第1文を読み終わったものとする(ステップS621)。本実施形態では、実施形態9と同様、例として、データ音声再生部102が第1文を読み上げるのと並行して、データ音声再生部102は第1文のうち、自らが読み上げた箇所のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送るものとする(ステップS623)。既再生成分除去部134は、受け取った第1文の音声信号を保持する。
【0326】
データ音声再生部102は、第1文のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送ると(ステップS623)、第2文の読み上げを開始し、並行して、読み上げた箇所のテキストデータから生成した音声信号を既再生成分除去部134に送るが(ステップS625)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「音量あげて」と言い、音声受信部103に音量調整命令を入力したものとする(ステップS627)。
【0327】
音声受信部103に音量調整命令が入力されると(ステップS627)、既再生成分除去部134は、音声受信部103から、音声受信部103が受信した音声信号を受信する(ステップS629)。そして、既再生成分除去部134は、ステップS627において音声受信部103が受信した音声信号と、ステップS623及びステップS625において受け取っている、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータを変換して生成した音声信号を用いて処理済み音声信号を生成する(ステップS631)。
【0328】
既再生成分除去部134が処理済み音声信号を生成すると(ステップS631)、音声認識部104は、既再生成分除去部134が生成した処理済み音声信号を取得し(ステップS633)、音声による命令の内容を認識する(ステップS635)。
【0329】
音声認識部104は、ユーザの音量調整命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS637)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS639)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0330】
また、音声認識部104は、ユーザの音量調整命令を認識すると、音量調整命令を音量調整部122に送る(ステップS641)。音量調整命令を受け取った音量調整部122は、当該音量調整命令にしたがって、音量調整命令をデータ音声再生部102に送る(ステップS643)。
【0331】
音量調整命令を受け取ったデータ音声再生部102は、当該音量調整命令にしたがって音量データを調整したうえ、ステップS639において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS645)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げを再開してもよい。
【0332】
本発明の実施形態11におけるデータ音声再生装置10を用いると、実施形態1と同様、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0333】
また、実施形態11におけるデータ音声再生装置10は、実施形態3と異なり、ユーザから再生開始命令の入力を受け付けることで音声の受信を開始する。したがって、実施形態11におけるデータ音声再生装置10は、読み上げ再生を行っていないときにユーザの声ではない雑音を受信しユーザの命令であると誤って音声認識をすることによる誤動作などの不具合の発生を抑制することができる。また、実施形態9におけるデータ音声再生装置10と同様、コンピュータプログラムの読み込みの段階で音声の受信を開始するデータ音声再生装置10と比べて本実施形態におけるデータ音声再生装置10の方が誤った音声認識をすることなどによる誤動作などの不具合の発生を抑制する効果は大きい。
【0334】
さらに、実施形態11におけるデータ音声再生装置10は、実施形態3と異なり、音声受信部103が受信した音声信号からデータ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いることで処理済み音声信号を生成し、当該処理済み音声信号について音声認識を行い、ユーザの命令であるかどうかを判断するため、高い精度で音声認識を行うことが可能となり、誤動作などの不具合の発生を抑制することができる。
【0335】
<実施形態12>
本発明の実施形態12に係るデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1及び4並びに実施形態9から11における説明と重複する説明については適宜省略する。
【0336】
[データ音声再生装置10の機能構成]
図37は、本発明の実施形態12に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態9に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0337】
再生指示入力部132、音声受信部103、データ取得部101、既再生成分除去部134についての説明は実施形態9と同様であるため省略する。
【0338】
データ音声再生部102は、実施形態9と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行う。また、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うものとする。
【0339】
音声認識部104は、実施形態9と同様、既再生成分除去部134が生成した処理済み音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの検索命令を認識すると、当該検索命令が含む検索語に関連する情報を検索する旨の検索命令を検索部124に送り、検索語に関連する情報を収集させる。
【0340】
ここで、ユーザの「検索命令」とは、データ音声再生装置10に対するユーザの、検索命令が含む検索語に関連する情報を検索する旨の命令である。例えば、ユーザがデータ音声再生装置10に対し「今日のA社の株価は?」と入力し、既再生成分除去部134が「今日のA社の株価は?」という処理済み音声信号を生成すると、今日のA社の株価という検索語に関連する情報を検索する旨の検索命令であると音声認識部104に認識されてもよい。
【0341】
検索部124は、音声認識部104によって認識された命令内容が検索命令である場合、当該検索命令に基づいて情報を収集する。具体的には、検索部124は、音声認識部104から検索命令を受け取ると、当該命令にしたがって、検索語に関連する情報を収集する。検索部124は、例えば、ネットワーク30を介して外部のサーバーから情報を収集してもよい。
【0342】
情報通知部126は、検索部124によって収集された、検索語に関連する情報を音声により通知する。
【0343】
また、本実施形態においては、情報通知部126は、検索部124によって収集された、検索語に関連する情報を音声により通知した後、データ音声再生部102に読み上げ再生を再開する旨の再生再開命令を送り、これを受け取ったデータ音声再生部102は読み上げ再生を再開するものとする。
【0344】
[データ読み上げ再生処理]
続いて、実施形態12のデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0345】
図38は、本実施形態におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動すると実行される。
【0346】
ステップS1001からステップS1013についての説明は、実施形態9についてのステップS801からステップS813までと共通するので適宜省略する。
【0347】
既再生成分除去部134が既再生成分の除去を行い、処理済み音声信号を生成すると(ステップS1011)、音声認識部104が、当該処理済み音声信号の内容を認識する(ステップS1013)。処理済み音声信号が、ユーザの音声による検索命令でないと認識されると(ステップS1015;No)、ステップS1009に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0348】
ステップS1015において、受信した音声がユーザの音声による検索命令であると認識されると(ステップS1015;Yes)、データ音声再生部102による読み上げ再生が一時停止する(ステップS1017)。続いて、検索命令にしたがって、検索語に関連する情報が収集され(ステップS1019)、当該情報が音声により通知される(ステップS1021)。
【0349】
ステップS1019において検索語に関連する情報の音声による通知が行われると、データ音声再生部102は一時停止前位置より読み上げ再生を行う(ステップS1023)。そして、ステップS1009に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は、ステップS1007に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS1009;Yes)。
【0350】
[読み上げ再生再開の処理]
続いて、本発明の実施形態12に係るデータ音声再生装置10において、ユーザが検索命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0351】
図39は、本発明の実施形態12に係るデータ音声再生装置10において読み上げ再生を実行中に、ユーザが検索命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0352】
まずは、データ音声再生装置10が、第1文を読み終わったものとする(ステップS721)。本実施形態では、実施形態9と同様、例として、データ音声再生部102が第1文を読み上げるのと並行して、データ音声再生部102は第1文のうち、自らが読み上げた箇所のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送るものとする(ステップS723)。既再生成分除去部134は、当該第1文を変換して生成した音声信号を保持する。
【0353】
データ音声再生部102は、第1文のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送ると(ステップS723)、第2文の読み上げを開始し、並行して、読み上げた箇所のテキストデータから生成した音声信号を既再生成分除去部134に送るが(ステップS725)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「今日のA社の株価を教えて」と言い、音声受信部103に検索命令を入力したものとする(ステップS727)。
【0354】
音声受信部103に検索命令が入力されると(ステップS727)、既再生成分除去部134は、音声受信部103から、音声受信部103が受信した音声信号を受信する(ステップS729)。そして、既再生成分除去部134は、ステップS727において音声受信部103が受信した音声信号と、ステップS723及びステップS725において受け取っている、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータを変換して生成した音声信号を用いて処理済み音声信号を生成する(ステップS731)。
【0355】
既再生成分除去部134が処理済み音声信号を生成すると(ステップS731)、音声認識部104は、既再生成分除去部134が生成した処理済み音声信号を取得し(ステップS733)、音声による命令の内容を認識する(ステップS735)。
【0356】
音声認識部104は、ユーザの検索命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS737)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS739)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0357】
また、音声認識部104は、ユーザの検索命令を認識すると、当該検索命令が含む検索語に関連する情報を検索する旨の検索命令を検索部124に送り(ステップS741)、検索命令を受け取った検索部124は、当該検索命令に基づいて情報を収集し(ステップS743)、情報通知部126に提供する(ステップS745)。
【0358】
ステップS745の後、情報通知部126は、検索部124によって収集された、検索語に関連する情報を音声により通知する(ステップS747)。そして、情報通知部126は、再生再開命令をデータ音声再生部102に送る(ステップS749)。
【0359】
情報通知部126から再生再開命令を受け取ったデータ音声再生部102は、ステップS739において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS751)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。例えば、「今日の天気は全国的に晴れです。」の文頭から読み上げを再開してもよい。
【0360】
本発明の実施形態12におけるデータ音声再生装置10を用いると、実施形態1と同様、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0361】
また、実施形態12におけるデータ音声再生装置10は、実施形態4と異なり、ユーザから再生開始命令の入力を受け付けることで音声の受信を開始する。したがって、実施形態11におけるデータ音声再生装置10は、読み上げ再生を行っていないときにユーザの声ではない雑音を受信しユーザの命令であると誤って音声認識をすることによる誤動作などの不具合の発生を抑制することができる。また、実施形態9におけるデータ音声再生装置10と同様、コンピュータプログラムの読み込みの段階で音声の受信を開始するデータ音声再生装置10と比べて本実施形態におけるデータ音声再生装置10の方が誤った音声認識をすることなどによる誤動作などの不具合の発生を抑制する効果は大きい。
【0362】
さらに、実施形態12におけるデータ音声再生装置10は、実施形態4と異なり、音声受信部103が受信した音声信号と、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いることで処理済み音声信号を生成し、当該処理済み音声信号について音声認識を行い、ユーザの命令であるかどうかを判断するため、高い精度で音声認識を行うことが可能となり、誤動作などの不具合の発生を抑制することができる。
【0363】
<実施形態13>
本発明の実施形態13に係るデータ音声再生システム1について、図面を参照しながら詳細に説明する。なお、実施形態1及び5並びに実施形態9から12における説明と重複する説明については適宜省略する。
【0364】
[データ音声再生装置10の機能構成]
図40は、本発明の実施形態13に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図である。以下、主に本発明の実施形態5に係るデータ音声再生装置10のデータ音声再生機能を示すブロック図との違いについて説明する。
【0365】
再生指示入力部132、音声受信部103、データ取得部101、既再生成分除去部134についての説明は実施形態9と同様であるため省略する。
【0366】
音声認識部104は、実施形態9と同様、既再生成分除去部134が生成した処理済み音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの検索命令を認識すると、当該検索命令が含む検索語に関連する情報を検索する旨の検索命令を検索部124に送り、検索語に関連する情報を収集させる。
【0367】
音声認識部104は、実施形態9と同様、既再生成分除去部134が生成した処理済み音声信号を取得し、音声による命令の内容を認識する。本実施形態においては、音声認識部104は、ユーザの音声による一時停止命令を認識すると、一時停止命令をデータ音声再生部102に送り、読み上げ再生を一時停止させる。また、音声認識部104は、ユーザの音声による再生再開命令を認識すると、再生再開命令をデータ音声再生部102に送り、読み上げ再生を再開させる。
【0368】
ここで、ユーザの音声による「一時停止命令」とは、データ音声再生装置10に対するユーザの、読み上げ再生を一時停止する旨の命令であり、ユーザの音声による「再生再開命令」とは、読み上げ再生を一時停止した状態にあるデータ音声再生装置10に対するユーザの、読み上げ再生を再開する旨の命令である。
【0369】
データ音声再生部102は、実施形態9と同様、データ取得部101が取得した単一または複数のコンテンツからなるテキストデータまたはHTMLデータを取得し、当該データを音声信号に変換したうえ、読み上げ再生を行う。データ音声再生部102が行う読み上げ再生は、一時停止すること及び再開することができる。また、本実施形態においては、実施形態9と同様、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うものとする。
【0370】
また、本実施形態においては、データ音声再生部102は、音声認識部104から一時停止命令を受け取ると読み上げ再生を一時停止し、音声認識部104から再生再開命令を受け取ると読み上げ再生を再開する。
【0371】
[データ読み上げ再生処理]
続いて、実施形態13のデータ音声再生装置10におけるデータ読み上げ再生処理について説明する。
【0372】
図41は、本実施形態におけるデータ音声再生装置10において実行されるデータ読み上げ再生処理を示すフローチャートである。この処理は、データ音声再生装置10が起動すると実行される。
【0373】
ステップS1101からステップS1113についての説明は、実施形態9についてのステップS801からステップS813までと共通するので適宜省略する。
【0374】
既再生成分除去部134が既再生成分の除去を行い、処理済み音声信号を生成すると(ステップS1111)、音声認識部104が、当該処理済み音声信号の内容を認識する(ステップS1113)。処理済み音声信号が、ユーザの音声による一時停止命令でないと認識されると(ステップS1115;No)、ステップS1109に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断されることとなる。
【0375】
ステップS1115において、受信した音声がユーザの音声による検索命令であると認識されると(ステップS1115;Yes)、データ音声再生部102による読み上げ再生が一時停止し(ステップS1117)、ステップS1119に進み音声受信部103が音声を受信していると判断するまで待機する(ステップS1119;No)。
【0376】
ステップS1119において、音声受信部が音声を受信していると判断したとき(ステップS1121;Yes)、既再生成分除去部134が既再生成分の除去を行い、ステップS1121で受信した音声に対応する処理済み音声信号を生成する(ステップS1121)。既再生成分除去部134がステップS1121で受信した音声に対応する処理済み音声信号を生成すると、音声認識部104がこの処理済み音声信号の内容を認識する(ステップS1125)。ステップS1125において音声認識部104がこの処理済み音声信号は再生再開命令ではないと認識すると(ステップS1125;No)、ステップS1119に戻り、音声受信部103が音声を受信していると判断するまで待機する。
【0377】
ステップS1125において、処理済み音声信号が再生再開命令であると認識されると(ステップS1125;Yes)、ステップS1127に進み、一時停止前位置から読み上げを再開する。そして、ステップS1109に進み、データ音声再生部102によるテキストデータまたはHTMLデータの読み上げが終了しているかどうかが判断される。終了していないと判断された場合は(ステップS1109;No)、ステップS1107に戻り、再び、音声受信部103が音声を受信しているかを判断する。テキストデータまたはHTMLデータの読み上げが終了したとき、データ音声再生装置10におけるデータ音声再生処理は終了する(ステップS1109;Yes)。
【0378】
[読み上げ再生再開の処理]
続いて、本発明の実施形態13に係るデータ音声再生装置10において、ユーザが一時停止命令を入力してから読み上げ再生が再開されるまでの処理について説明する。
【0379】
図42は、本発明の実施形態13に係るデータ音声再生装置10において読み上げ再生を実行中に、ユーザが一時停止命令を入力してから読み上げ再生が再開されるまでの処理を示すフローチャートである。また、この説明においては、データ音声再生装置10は、「おはようございます。今日の天気は全国的に晴れです」と読み上げるものとし、「おはようございます。」の文を第1文、「今日の天気は全国的に晴れです。」との文を第2文という。
【0380】
まずは、データ音声再生装置10が、第1文を読み終わったものとする(ステップS821)。本実施形態では、実施形態9と同様、データ音声再生部102が第1文を読み上げるのと並行して、データ音声再生部102は第1文のうち、自らが読み上げた箇所のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送るものとする(ステップS823)。既再生成分除去部134は、当該第1文を変換して生成した音声信号を保持する。
【0381】
データ音声再生部102は、第1文のテキストデータまたはHTMLデータを変換して生成した音声信号を既再生成分除去部134に送ると(ステップS823)、第2文の読み上げを開始し、並行して、読み上げた箇所のテキストデータから生成した音声信号を既再生成分除去部134に送るが(ステップS825)、「きょうのてんきはぜん」と読み上げたところで、ユーザが「一時停止して」と言い、音声受信部103に一時停止命令を入力したものとする(ステップS827)。
【0382】
音声受信部103に一時停止命令が入力されると、既再生成分除去部134は、音声受信部103から、音声受信部103が受信した音声信号を受信する(ステップS829)。そして、既再生成分除去部134は、ステップS827において音声受信部103が受信した音声信号と、ステップS823及びステップS825において受け取っている、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータを変換して生成した音声信号を用いて処理済み音声信号を生成する(ステップS831)。
【0383】
既再生成分除去部134が処理済み音声信号を生成すると(ステップS831)、音声認識部104は、既再生成分除去部134が生成した処理済み音声信号を取得し(ステップS833)、音声による命令の内容を認識する(ステップS835)。
【0384】
音声認識部104は、ユーザの一時停止命令を認識すると、一時停止命令をデータ音声再生部102に送り(ステップS837)、一時停止命令を受け取ったデータ音声再生部102は、読み上げを一時停止する(ステップS839)。本実施形態においては、データ音声再生部102は、読み上げ再生を一時停止する際、テキストデータまたはHTMLデータのうち、どの位置で読み上げ再生を一時停止したかを記憶するため、「きょうのてんきはぜん」まで読み上げた位置で一時停止したことを記憶する。
【0385】
その後、ユーザが「再生再開して」と言い、音声受信部103に再生再開命令を入力すると(ステップS841)、既再生成分除去部134は、音声受信部103から、ステップS841において音声受信部103が受信した音声信号を受信する(ステップS843)。そして、既再生成分除去部134は、ステップS841において音声受信部103が受信した音声信号と、ステップS823及びステップS825において受け取ったデータ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いて、ステップS841において音声受信部103が受信した音声信号に対応する処理済み音声信号を生成する(ステップS845)。
【0386】
ステップS845において既再生成分除去部134がステップS841において音声受信部103が受信した音声信号に対応する処理済み音声信号を生成すると、音声認識部104は、既再生成分除去部134がステップS845において生成した処理済み音声信号を取得し(ステップS847)、音声による命令の内容を認識する(ステップS849)。
【0387】
ステップS849において音声認識部104がユーザの再生再開命令を認識すると、音声認識部104は再生再開命令をデータ音声再生部102に送り(ステップS851)、再生再開命令を受け取ったデータ音声再生部102は、ステップS839において記憶していた一時停止した位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行う(ステップS853)。本実施形態においては、一時停止した位置は「きょうのてんきはぜん」まで読み上げた位置であるから、例えば、一時停止した位置の直前の文頭から読み上げを再開してもよい。
【0388】
本発明の実施形態13におけるデータ音声再生装置10を用いると、実施形態1と同様、データ音声再生装置10がユーザの命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととなるから、ユーザが命令を発音している間にデータ音声再生装置10が読み上げていた文を、再度、データ音声再生装置10が読み上げることになるため、ユーザが、データ音声再生装置10が読み上げた文が聞き取れないという事態を減少させることができる。
【0389】
また、実施形態13におけるデータ音声再生装置10は、実施形態5と異なり、ユーザから再生開始命令の入力を受け付けることで音声の受信を開始する。したがって、実施形態11におけるデータ音声再生装置10は、読み上げ再生を行っていないときにユーザの声ではない雑音を受信しユーザの命令であると誤って音声認識をすることによる誤動作などの不具合の発生を抑制することができる。また、実施形態9におけるデータ音声再生装置10と同様、コンピュータプログラムの読み込みの段階で音声の受信を開始するデータ音声再生装置10と比べて本実施形態におけるデータ音声再生装置10の方が誤った音声認識をすることなどによる誤動作などの不具合の発生を抑制する効果は大きい。
【0390】
さらに、実施形態13におけるデータ音声再生装置10は、実施形態5と異なり、音声受信部103が受信した音声信号と、データ音声再生部102が読み上げ再生を行ったテキストデータまたはHTMLデータの音声信号を用いることで処理済み音声信号を生成し、当該処理済み音声信号について音声認識を行い、ユーザの命令であるかどうかを判断するため、高い精度で音声認識を行うことが可能となり、誤動作などの不具合の発生を抑制することができる。
【0391】
また、実施形態13におけるデータ音声再生装置10を用いると、ユーザは、読み上げ再生の一時停止と再開を音声により操作できるため便利である。
【0392】
実施形態13においては、データ音声再生装置10がユーザの一時停止命令の入力を受け、読み上げを一時停止したのち読み上げを再開する際、読み上げ再生が一時停止されたテキストデータまたはHTMLデータの位置よりも前の位置(一時停止前位置)から読み上げ再生の再開を行うこととしたが、実施形態2と同様に、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置もしくはそれよりも前の位置(発話前位置)から読み上げ再生を再開してもよい。
【0393】
すなわち、データ音声再生部102が、音声認識部104から一時停止命令を受け取ると、音声受信部103から、ユーザの音声による命令を受信した時刻(命令受信時刻)の情報を取得し、自身が記憶しているテキスト時刻対応データと命令受信時刻の情報に基づいて、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置を特定し、当該同じ位置もしくはそれよりも前の位置から読み上げ再生を再開してもよい。
【0394】
また、特に、音声受信部103が受信したユーザの音声による命令が発話された時点に対応するテキストデータまたはHTMLデータと同じ位置よりも前に位置する一文又は文節の先頭(区切り位置)から、データ音声再生部102による読み上げ再生の再開が行われるものとしてもよい。この場合、データ音声再生装置10の機能構成としては、実施形態2と同様、データ取得部101が取得したテキストデータまたはHTMLデータにおいて、一文または文節の単位を識別し、識別した一文または文節の単位の情報を、テキストデータまたはHTMLデータとともに、データ音声再生部102に提供する識別部120を含む。
【0395】
上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、または、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。