(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明に係る動画再生装置を電子辞書に適用した場合の実施形態について詳細に説明する。
【0012】
[外観構成]
図1は、電子辞書1の平面図である。
この図に示すように、電子辞書1は、メインディスプレイ10、サブディスプレイ11、カードスロット12、スピーカ13及びキー群2を備えている。
【0013】
メインディスプレイ10及びサブディスプレイ11は、ユーザによるキー群2の操作に応じた文字や符号等、各種データをカラーで表示する部分であり、LCD(Liquid Crystal Display)やELD(Electronic Luminescence Display)等によって構成されている。なお、本実施の形態におけるメインディスプレイ10及びサブディスプレイ11は、いわゆるタッチパネル110(
図2参照)と一体的に形成されており、手書き入力等の操作を受け付け可能となっている。
【0014】
カードスロット12は、種々の情報を記憶した外部情報記憶媒体12a(
図2参照)と着脱可能に設けられている。
スピーカ13は、ユーザによるキー群2の操作に応じた音声を出力する部分である。
【0015】
キー群2は、ユーザから電子辞書1を操作するための操作を受ける各種キーを有している。具体的には、キー群2は、決定キー2bと、文字キー2cと、カーソルキー2eと、戻るキー2g等とを有している。
【0016】
決定キー2bは、検索の実行や、見出し語の決定等に使用されるキーである。文字キー2cは、ユーザによる文字の入力等に使用されるキーであり、本実施の形態においては“A”〜“Z”キーを備えている。
【0017】
カーソルキー2eは、画面内の反転表示位置、つまりカーソル位置の移動等に使用されるキーであり、本実施の形態においては上下左右の方向を指定可能となっている。戻るキー2gは、前回表示した画面に戻るとき等に使用されるキーである。
【0018】
[内部構成]
続いて、電子辞書1の内部構造について説明する。
図2は、電子辞書1の内部構成を示すブロック図である。
【0019】
この図に示すように、電子辞書1は、表示部40、入力部30、音声出力部70、記録媒体読取部60、CPU(Central Processing Unit)20、記憶部80を備え、各部はバスで相互にデータ通信可能に接続されて構成されている。
【0020】
表示部40は、上述のメインディスプレイ10及びサブディスプレイ11を備えており、CPU20から入力される表示信号に基づいて各種情報をメインディスプレイ10やサブディスプレイ11に表示するようになっている。
【0021】
入力部30は、上述のキー群2やタッチパネル110を備えており、押下されたキーやタッチパネル110の位置に対応する信号をCPU20に出力するようになっている。
【0022】
音声出力部70は、上述のスピーカ13を備えており、CPU20から入力される音声出力信号に基づいてスピーカ13に音声出力を行わせるようになっている。
【0023】
記録媒体読取部60は、上述のカードスロット12を備えており、当該カードスロット12に装着された外部情報記憶媒体12aから情報を読み出したり、当該外部情報記憶媒体12aに情報を記録したりするようになっている。
【0024】
ここで、外部情報記憶媒体12aには、辞書データベース820や音声教材コンテンツ9が格納されるようになっている。なお、これら辞書データベース820や音声教材コンテンツ9は後述の記憶部80における辞書データベース820や音声教材コンテンツ9と同様のデータ構造を有しているため、ここでは説明を省略する。
【0025】
記憶部80は、電子辞書1の各種機能を実現するためのプログラムやデータを記憶するとともに、CPU20の作業領域として機能するメモリである。本実施の形態においては、記憶部80は、本発明に係る動画再生プログラム81と、辞書データベース群82と、音声教材コンテンツ群83と、動画繰返し学習−設定内容記憶テーブル84等とを記憶している。
【0026】
動画再生プログラム81は、後述の音声学習処理(
図3〜
図5参照)をCPU20に実行させるためのプログラムである。
【0027】
辞書データベース群82は、辞書データベース820を複数有している。これら辞書データベース820,…には、見出し語と、この見出し語の説明情報とを対応付けた見出し語情報が複数格納されている。
【0028】
音声教材コンテンツ群83は、複数の音声教材コンテンツ9を有している。
各音声教材コンテンツ9は、音声付動画91と、音声テキスト92とを有している。
【0029】
音声付動画91は、音声を含む動画であり、本実施の形態においては、経時的に連続する複数の音声付動画セグメント910から構成されている。なお、本実施の形態においては、音声付動画91を、当該音声付動画91に含まれる音声の一文ごとに分割することで音声付動画セグメント910が形成されている。
【0030】
音声テキスト92は、音声付動画91に含まれる音声に対応するテキストデータであり、音声付動画91に含まれる音声を、その音声の言語でテキスト化したものである。この音声テキスト92は、本実施の形態においては、各音声付動画セグメント910に1対1で対応する複数の音声テキストセグメント920から構成されている。なお、各音声テキストセグメント920の内容は、音声付動画セグメント910における音声の内容と厳密に一致していなくても良く、例えば学習に無関係な部分が省略された内容となっていても良い。また、各音声テキストセグメント920には、音声付動画91に含まれる音声の言語のテキストに加え、当該テキストを他言語に翻訳したテキストが含まれていても良い。
【0031】
動画繰返し学習−設定内容記憶テーブル84は、所定の音声付動画セグメント910を繰返し再生する学習モード(以下、動画繰返し学習モードとする。後述の
図4〜
図5参照)の各設定項目についての設定内容を記憶するようになっている。ここで、本実施の形態においては、動画繰返し学習モードの設定項目として、繰返し再生の回数や、復唱の有無などが用いられている。このうち、繰返し再生の回数とは、音声付動画セグメント910を繰り返して再生すべき回数に関する設定項目である。また、復唱の有無とは、音声付動画セグメント910の各回の再生の間に、ユーザによる復唱用の無音時間を設けるか否かに関する設定項目であり、「ON」の場合には復唱用の無音時間が設けられ、「OFF」の場合には設けられない。なお、本実施の形態においては、音声付動画セグメント910の再生の間に無音時間が設けられる場合には、当該音声付動画セグメント910に対応する音声テキストセグメント920がメインディスプレイ10に表示されるようになっている(後述の
図6におけるステップS42参照)。
【0032】
CPU20は、入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、電子辞書1を統括的に制御するようになっている。具体的には、CPU20は、入力部30から入力される操作信号等に応じて記憶部80に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、CPU20は、処理結果を記憶部80に保存するとともに、当該処理結果を音声出力部70や表示部40に適宜出力させる。
【0033】
[動作]
続いて、電子辞書1の動作について、図面を参照しつつ説明する。
【0034】
(音声学習処理)
図3〜
図5は、CPU20が動画再生プログラム81を読み出して実行する音声学習処理の流れを示すフローチャートである。
【0035】
図3に示すように、この音声学習処理においては、まずCPU20は、音声教材コンテンツ群83に含まれる各音声付動画91のタイトルをメインディスプレイ10に一覧表示させ、ユーザ操作に基づいて、何れかの音声付動画91のタイトルを指定する(ステップS1)。
【0036】
次に、CPU20は、音声付動画の通常再生モードに移行し、指定されたタイトルの音声付動画91(以下、指定音声付動画91Sとする)を記憶部80から読み出して表示部40及び音声出力部70に再生させる(ステップS2)。また、このときCPU20は、メインディスプレイ10の右側の端部に情報表示エリアE1を形成し、左側の端部にアイコン表示エリアE2を形成する(
図8(a)参照)。
【0037】
次に、CPU20は、動画再生の状態に関する表示項目Ha(
図8(a)参照)を情報表示エリアE1に表示させる(ステップS3)。ここで、動画再生の状態に関する表示項目Haとしては、例えば、指定音声付動画91Sの先頭から現在の再生箇所までの経過時間(以下、再生経過時間とする)や、指定音声付動画91S全体の再生に要する時間(以下、再生所要時間とする)、音量レベル等が用いられている。
【0038】
次に、CPU20は、通常再生モード特有の操作説明Hb(
図8(a)参照)を情報表示エリアE1に表示させる(ステップS4)。ここで、通常再生モード特有の操作説明Hbとしては、例えば、右向きのカーソルキー2eの操作が早送りの指示操作に対応することや、左向きのカーソルキー2eの操作が巻き戻しの指示操作に対応すること等が用いられている。
【0039】
次に、CPU20は、動画再生中の操作説明Hc(
図8(a)参照)を情報表示エリアE1に表示させる(ステップS5)。ここで、動画再生中の操作説明Hcとしては、例えば、戻るキー2gの操作が一時停止の指示操作に対応すること等が用いられている。
【0040】
次に、CPU20は、戻るキー2gの操作により一時停止が指示されるか否かを判定し(ステップS6)、指示されないと判定した場合(ステップS6;No)には、指定音声付動画91Sの最後まで再生が完了したか否かを判定する(ステップS7)。
【0041】
そして、このステップS7において指定音声付動画91Sの最後まで再生が完了していないと判定した場合(ステップS7;No)には、CPU20は、上述のステップS2に移行する一方、指定音声付動画91Sの最後まで再生が完了したと判定した場合(ステップS7;Yes)には、音声学習処理を終了する。
【0042】
また、上述のステップS6において戻るキー2gの操作により一時停止が指示されたと判定した場合(ステップS6;Yes)には、CPU20は、指定音声付動画91Sの再生を一時停止して、停止箇所の画像(静止画)をメインディスプレイ10に表示させつつ、音声出力を停止させる(ステップS11)。なお、このときメインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Ha(再生経過時間や再生所要時間、音量レベル等)や、通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)、動画再生中の操作説明Hc(戻るキー2gの操作が一時停止の指示操作に対応すること等)が引き続き表示されている。
【0043】
次に、CPU20は、情報表示エリアE1に表示されている動画再生中の操作説明Hcを消し、代わりに一時停止中の操作説明Hd(
図8(b)参照)を表示させる(ステップS12)。ここで、一時停止中の操作説明Hdとしては、例えば、決定キー2bの操作が再生再開の指示操作に対応すること等が用いられている。
【0044】
次に、CPU20は、指定音声付動画91Sにおける一時停止箇所の情報(例えば再生経過時間)を記憶部80に一時保存した後(ステップS13)、再生実行アイコンIaと、テキスト切替表示アイコンIbとをアイコン表示エリアE2に表示させる(ステップS14、
図8(b)参照)。
【0045】
ここで、再生実行アイコンIaは、指定音声付動画91Sの再生を再開させるために操作されるアイコンである。但し、本実施の形態においては、一時停止中の操作説明Hdによっても示されているように、再生実行アイコンIaに加え、決定キー2bの操作によっても指定音声付動画91Sの再生を再開させることができる。
また、テキスト切替表示アイコンIbは、音声付動画セグメント910に対応する音声テキストセグメント920を表示させるために操作されるアイコンである。
【0046】
次に、CPU20は、再生実行アイコンIaに対するタッチ操作と、決定キー2bの操作との何れかが行われるか否かを判定し(ステップS15)、何れかが行われたと判定した場合(ステップS15;Yes)には、ステップS11による一時停止箇所から指定音声付動画91Sの再生を再開した後(ステップS16)、上述のステップS2に移行する。
【0047】
また、ステップS15において再生実行アイコンIaに対するタッチ操作と、決定キー2bの操作との何れも行われないと判定した場合(ステップS15;No)には、CPU20は、テキスト切替表示アイコンIbに対するタッチ操作が行われるか否かを判定する(ステップS17)。
【0048】
このステップS17においてテキスト切替表示アイコンIbに対するタッチ操作が行われないと判定した場合(ステップS17;No)には、CPU20は、上述のステップS15に移行する。
【0049】
また、ステップS17においてテキスト切替表示アイコンIbに対するタッチ操作が行われたと判定した場合(ステップS17;Yes)には、CPU20は、
図4に示すように、ステップS11の一時停止箇所を含む音声付動画セグメント910に対応する音声テキストセグメント920を先頭表示の対象として設定する(ステップS20)。
【0050】
次に、CPU20は、メインディスプレイ10に表示されている内容のうち、アイコン表示エリアE2以外の表示内容(動画(静止画)及び情報表示エリアE1、或いは、音声テキストセグメント920の一覧)を消して音声テキスト表示モードに移行し、各音声テキストセグメント920を記憶部80から読み出した後、先頭表示の対象の音声テキストセグメント920を先頭にして、各音声テキストセグメント920を、対応する音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示させる(ステップS21、
図8(c)参照)。なお、このとき情報表示エリアE1が消される場合には、これにより、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、一時停止中の操作説明Hdがメインディスプレイ10から消される。
【0051】
次に、CPU20は、アイコン表示エリアE2に表示されているアイコン(テキスト切替表示アイコンIbなど)を一旦消し、代わりに再生実行アイコンIa及び動画繰返し学習アイコンIcを表示させる(ステップS22、
図8(c)参照)。また、このときCPU20は、一覧表示されている各音声テキストセグメント920の文頭にも動画繰返し学習アイコンIcを表示させる。ここで、動画繰返し学習アイコンIcは、電子辞書1の動作モードを上述の動画繰返し学習モード(所定の音声付動画セグメント910を繰返し再生するモード)に移行させる等のために操作されるアイコンである。
【0052】
次に、CPU20は、再生実行アイコンIaに対するタッチ操作と、決定キー2bの操作との何れかが行われるか否かを判定し(ステップS23)、何れかが行われたと判定した場合(ステップS23;Yes)には、メインディスプレイ10に表示されている音声テキストセグメント920を消して、ステップS11による一時停止箇所から指定音声付動画91Sの再生を再開した後(ステップS24)、上述のステップS2に移行して、通常再生モードに移行する。これにより、動画再生が行われているときの音声テキストセグメント920の表示が禁止された状態となる。
【0053】
また、ステップS23において再生実行アイコンIaに対するタッチ操作と、決定キー2bの操作との何れも行われないと判定した場合(ステップS23;No)には、CPU20は、メインディスプレイ10に表示されている音声テキストセグメント920に対する上下のフリック操作と、上下のカーソルキー2eの操作との何れかが行われるか否かを判定する(ステップS25)。
【0054】
このステップS25において音声テキストセグメント920に対する上下のフリック操作と、上下のカーソルキー2eの操作との何れかが行われたと判定した場合(ステップS25;Yes)には、CPU20は、メインディスプレイ10に表示される音声テキストセグメント920を、当該操作により指示される方向にスクロールさせた後(ステップS26、
図8(d)参照)、上述のステップS23に移行する。
【0055】
また、ステップS25において音声テキストセグメント920に対するフリック操作と、カーソルキー2eの操作との何れも行われないと判定した場合(ステップS25;No)には、CPU20は、動画繰返し学習アイコンIcに対するタッチ操作が行われるか否かを判定する(ステップS30)。
【0056】
このステップS30において動画繰返し学習アイコンIcに対するタッチ操作が行われないと判定した場合(ステップS30;No)には、CPU20は、上述のステップS23に移行する。
【0057】
また、ステップS30において動画繰返し学習アイコンIcに対するタッチ操作が行われたと判定した場合(ステップS30;Yes)には、CPU20は、アイコン表示エリアE2に表示されているアイコン(動画繰返し学習アイコンIcや再生実行アイコンIa)を消して動画繰返し学習モードに移行する。そして、CPU20は、アイコン表示エリアE2に指定会話文動画再生実行アイコンIdを表示させて反転させ、動画繰返し学習‐設定内容記憶テーブル84から動画繰返し学習モードについての設定内容を読み出した後、復唱の有無の設定内容を復唱ON/OFFアイコンIeとし、繰返し再生の回数の設定内容を繰返し回数アイコンIfとしてアイコン表示エリアE2に表示させる(ステップS31、
図9(a)参照)。また、このときCPU20は、これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1をメインディスプレイ10の下部に表示させる。
【0058】
ここで、指定会話文動画再生実行アイコンIdは、各音声テキストセグメント920のうち、ユーザ操作により指定される音声テキストセグメント920(以下、指定音声テキストセグメント920Sとする)に対応する音声付動画セグメント910(以下、指定音声付動画セグメント910Sとする)を繰返し再生させるために操作されるアイコンである。但し、本実施の形態においては、指定会話文動画再生実行アイコンIdに加え、決定キー2bの操作によっても指定音声付動画セグメント910Sを繰返し再生させることができる。
また、復唱ON/OFFアイコンIeは、復唱の有無(指定音声付動画セグメント910Sの各回の再生の間に指定音声テキストセグメント920Sを表示してユーザによる復唱用の無音時間を設けるか否か)を切り替えるために操作されるアイコンであり、本実施の形態においては、復唱の有無の設定内容が「有り」の場合には反転表示され、「無し」の場合には通常の状態(反転されていない状態)で表示されるようになっている。
また、繰返し回数アイコンIfは、繰返し再生の回数を切り替えるために操作されるアイコンであり、本実施の形態においては、操作される毎に繰返し回数を1,3,5,1,3,…の順に切り替えるようになっている。
【0059】
次に、CPU20は、メインディスプレイ10に一覧表示されている各音声テキストセグメント920のうち、メインディスプレイ10の先頭(最上段)の音声テキストセグメント920を指定音声テキストセグメント920Sとして指定し、この指定音声テキストセグメント920Sの文頭の動画繰返し学習アイコンIcを反転表示させる(ステップS32)。
【0060】
次に、
図5に示すように、CPU20は、復唱ON/OFFアイコンIeと、繰返し回数アイコンIfとの何れかに対してタッチ操作が行われるか否かを判定し(ステップS33)、行われないと判定した場合(ステップS33;No)には後述のステップS35に移行する。
【0061】
また、ステップS33において復唱ON/OFFアイコンIeと、繰返し回数アイコンIfとの何れかに対してタッチ操作が行われたと判定した場合(ステップS33;Yes)には、CPU20は、タッチ操作に応じて動画繰返し学習モードについての設定内容を変更して、動画繰返し学習‐設定内容記憶テーブル84の記憶内容と、復唱ON/OFFアイコンIeまたは繰返し回数アイコンIfの表示内容とを更新する(ステップS34)。これにより、ユーザ操作に基づいて繰返し再生の回数が切り替えられて指定されるとともに、復唱の有無(指定音声付動画セグメント910Sの各回の再生の間に指定音声テキストセグメント920Sを表示してユーザによる復唱用の無音時間を設けるか否か)、より具体的には後述のステップS42の処理の実行を許可するか否かが切り替えられる。
【0062】
次に、CPU20は、戻るキー2gが操作されるか否かを判定し(ステップS35)、操作されたと判定した場合(ステップS35;Yes)には、メインディスプレイ10に表示されている操作説明ウィンドウW1を消した後、
図4に示すように、上述のステップS22に移行して、音声テキスト表示モードに移行する。
【0063】
また、
図5に示すように、ステップS35において戻るキー2gが操作されないと判定した場合(ステップS35;No)には、CPU20は、メインディスプレイ10に表示されている音声テキストセグメント920に対する上下のフリック操作と、上下のカーソルキー2eの操作との何れかが行われるか否かを判定する(ステップS36)。
【0064】
このステップS36において音声テキストセグメント920に対する上下のフリック操作と、上下のカーソルキー2eの操作との何れも行われないと判定した場合(ステップS36;No)には、CPU20は、後述のステップS38に移行する。
【0065】
また、ステップS36において音声テキストセグメント920に対する上下のフリック操作と、上下のカーソルキー2eの操作との何れかが行われたと判定した場合(ステップS36;Yes)には、CPU20は、メインディスプレイ10に表示される音声テキストセグメント920を、当該操作により指示される方向にスクロールさせ、指定音声テキストセグメント920Sとして指定される音声テキストセグメント920と、反転表示される動画繰返し学習アイコンIcとを切り替える(ステップS37)。
【0066】
次に、CPU20は、指定会話文動画再生実行アイコンIdや動画繰返し学習アイコンIcに対するタッチ操作と、決定キー2bの操作との何れかが行われるか否かを判定し(ステップS38)、何れも行われないと判定した場合(ステップS38;No)には、上述のステップS33に移行する。
【0067】
また、ステップS38において指定会話文動画再生実行アイコンIdや動画繰返し学習アイコンIcに対するタッチ操作と、決定キー2bの操作との何れかが行われたと判定した場合(ステップS38;Yes)には、CPU20は、復唱の有無の設定がONになっているか否かを判定する(ステップS40)。ここで、ステップS38においてユーザが音声テキストセグメント920の文頭の動画繰返し学習アイコンIcに対するタッチ操作を行った場合には、その操作対象の動画繰返し学習アイコンIcに対応する音声テキストセグメント920が指定音声テキストセグメント920Sとして指定される。
【0068】
そして、ステップS40において復唱の有無の設定がONになっていると判定した場合(ステップS40;Yes)には、CPU20は、会話文動画再生実行処理を行う(ステップS41)。
【0069】
具体的には、
図6に示すように、この会話文動画再生実行処理においてまずCPU20は、指定音声テキストセグメント920Sに対応する音声付動画セグメント910を特定して、指定音声付動画セグメント910Sとして設定する(ステップT1)。また、このときCPU20は、メインディスプレイ10に表示されている操作説明ウィンドウW1や、音声テキストセグメント920の一覧表示を消す。これにより、後述のステップT2により動画再生が行われているときの音声テキストセグメント920の表示が禁止された状態となる。また、このときCPU20は、メインディスプレイ10の右側の端部に情報表示エリアE1を形成するとともに、アイコン表示エリアE2に表示されているアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)を消す。
【0070】
次に、CPU20は、指定音声付動画セグメント910Sを再生し(ステップT2)、動画再生の状態に関する表示項目Ha(再生経過時間や再生所要時間、音量レベル等)を情報表示エリアE1に表示させる(ステップT3)。
【0071】
次に、CPU20は、動画再生中の操作説明Hc(戻るキー2gの操作が一時停止の指示操作に対応すること等)を情報表示エリアE1に表示させる(ステップT4)。なお、動画繰返し学習モードでは、通常再生モードと異なり、通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)は情報表示エリアE1に表示されない。これにより、通常再生モード特有の操作説明Hbは、音声付動画91と、音声付動画セグメント910との何れが再生されているかを識別するための記号としても機能するようになっている。
【0072】
次に、CPU20は、戻るキー2gの操作により一時停止が指示されるか否かを判定し(ステップT5)、一時停止が指示されたと判定した場合(ステップT5;Yes)には、指定音声付動画セグメント910Sの再生を一時停止して、停止箇所の画像(静止画)をメインディスプレイ10に表示させつつ、音声出力を停止させる(ステップT11)。なお、このときメインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Ha(再生経過時間や再生所要時間、音量レベル等)や動画再生中の操作説明Hc(戻るキー2gの操作が一時停止の指示操作に対応すること)が引き続き表示されている。
【0073】
次に、CPU20は、情報表示エリアE1に表示されている動画再生中の操作説明Hc(戻るキー2gの操作が一時停止の指示操作に対応すること)を消し、代わりに一時停止中の操作説明Hd(決定キー2bの操作が再生再開の指示操作に対応すること等)を表示させる(ステップT12)。
【0074】
次に、CPU20は、再生実行アイコンIaをアイコン表示エリアE2に表示させる(ステップT13)。なお、動画繰返し学習モードでは、通常再生モードと異なり、再生の一時停止中にテキスト切替表示アイコンIbがアイコン表示エリアE2に表示されない。これにより、テキスト切替表示アイコンIbは、音声付動画91と、音声付動画セグメント910との何れの再生が一時停止されているかを識別するための記号としても機能するようになっている。
【0075】
次に、CPU20は、再生実行アイコンIaに対するタッチ操作と、決定キー2bの操作との何れかが行われるか否かを判定し(ステップT14)、何れかが行われたと判定した場合(ステップT14;Yes)には、ステップT5による一時停止箇所を会話文動画再生実行処理内での指定音声付動画セグメント910Sの再生の再開箇所に設定した後(ステップT15)、上述のステップT2に移行する。
【0076】
また、ステップT14において再生実行アイコンIaに対するタッチ操作と、決定キー2bの操作との何れも行われないと判定した場合(ステップT14;No)には、CPU20は、戻るキー2gが操作されるか否かを判定する(ステップT16)。
【0077】
そして、このステップT16において戻るキー2gが操作されないと判定した場合(ステップT16;No)には、CPU20は、上述のステップT14に移行する。
【0078】
一方、ステップT16において戻るキー2gが操作されたと判定した場合(ステップT16;Yes)には、CPU20は、指定音声テキストセグメント920Sを先頭表示の対象として設定する(ステップT17)。
【0079】
次に、CPU20は、メインディスプレイ10に表示されている動画(静止画)を消して音声テキスト表示モードに移行し、各音声テキストセグメント920を記憶部80から読み出した後、先頭表示の対象の音声テキストセグメント920を先頭にして、各音声テキストセグメント920を、対応する音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示させ(ステップT18)、会話文動画再生実行処理を終了して上述のステップS31に移行する(
図4参照)。また、このときCPU20は、メインディスプレイ10に形成されている情報表示エリアE1を消す。これにより、動画再生の状態に関する表示項目Haや、一時停止中の操作説明Hdがメインディスプレイ10から消される。また、このときCPU20は、アイコン表示エリアE2に表示されている再生実行アイコンIaを消す。
【0080】
また、上述のステップT5において一時停止が指示されないと判定した場合(ステップT5;No)には、CPU20は、指定音声付動画セグメント910Sの最後まで再生が完了したか否かを判定する(ステップT6)。
【0081】
そして、このステップT6において指定音声付動画セグメント910Sの最後まで再生が完了していないと判定した場合(ステップT6;No)には、CPU20は、上述のステップT2に移行する一方、指定音声付動画セグメント910Sの最後まで再生が完了したと判定した場合(ステップT6;Yes)には、会話文動画再生実行処理を終了する。
【0082】
以上のステップS41における会話文動画再生実行処理が終了したら、
図5に示すように、次にCPU20は、会話再生時間テキスト切替表示処理を行う(ステップS42)。
【0083】
具体的には、
図7に示すように、この会話再生時間テキスト切替表示処理においてまずCPU20は、メインディスプレイ10に表示されている動画(静止画)を消して、各音声テキストセグメント920を記憶部80から読み出した後、指定音声テキストセグメント920Sを先頭にして、各音声テキストセグメント920を、対応する音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示させる(ステップU1)。これにより、ステップS41の会話文動画再生実行処理によって指定音声付動画セグメント910Sの再生が行われる毎に、音声テキストセグメント920の一覧が表示されることとなる。また、このときCPU20は、メインディスプレイ10に形成されている情報表示エリアE1を消す。これにより、動画再生の状態に関する表示項目Haや、一時停止中の操作説明Hdがメインディスプレイ10から消される。また、このときCPU20は、アイコン表示エリアE2に指定会話文動画再生実行アイコンIdを表示させて反転させるとともに、復唱ON/OFFアイコンIeと繰返し回数アイコンIfとを表示させる。また、このときCPU20は、これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1をメインディスプレイ10の下部に表示させる。
【0084】
次に、CPU20は、指定音声テキストセグメント920Sの復唱を促す旨のメッセージ、具体的には「リピーティング:再生された会話に続けて発音しましょう」のメッセージウィンドウW2(
図12(c)参照)をメインディスプレイ10に表示させる(ステップU2)。これにより、ユーザは指定音声テキストセグメント920Sを音読または黙読することで、指定音声付動画セグメント910Sの音声内容を復唱することができる。
【0085】
次に、CPU20は、戻るキー2gが操作されるか否かを判定し(ステップU3)、操作されたと判定した場合(ステップU3;Yes)には、会話再生時間テキスト切替表示処理を終了し、上述のステップS20に移行して、通常再生モードに移行する(
図4参照)。
【0086】
また、ステップU3において戻るキー2gが操作されないと判定した場合(ステップU3;No)には、CPU20は、指定音声付動画セグメント910Sの再生所要時間が経過したか否かを判定する(ステップU4)。但し、このステップU4においてCPU20は、再生所要時間に応じた長さの時間(例えば再生所要時間から所定の秒数を増減させた時間)が経過したか否かを判定しても良いし、指定音声テキストセグメント920Sの長さ(文字数)に応じた長さの時間が経過したか否かを判定しても良い。
【0087】
そして、このステップU4において再生所要時間が経過していないと判定した場合(ステップU4;No)には、CPU20は、ステップU3に移行する一方、経過したと判定した場合(ステップU4;Yes)には、メインディスプレイ10に表示されているメッセージウィンドウW2を消して、会話再生時間テキスト切替表示処理を終了する。
【0088】
以上のステップS42における会話再生時間テキスト切替表示処理が終了したら、
図5に示すように、次にCPU20は、動画繰返し学習−設定内容記憶テーブル84における繰返し再生の回数だけ、指定音声付動画セグメント910Sの再生が繰り返されたか否かを判定する(ステップS43)。
【0089】
そして、このステップS43において動画繰返し学習−設定内容記憶テーブル84における繰返し再生の回数だけ、指定音声付動画セグメント910Sの再生が繰り返されていないと判定した場合(ステップS43;No)には、CPU20は、上述のステップS40に移行する。これにより、繰返し回数アイコンIfを介して指定された繰返し再生の回数だけ、指定音声付動画セグメント910Sの再生が繰り返されることとなる。
【0090】
一方、ステップS43において動画繰返し学習−設定内容記憶テーブル84における繰返し再生の回数だけ、指定音声付動画セグメント910Sの再生が繰り返されたと判定した場合(ステップS43;Yes)には、CPU20は、指定音声テキストセグメント920Sを先頭にして、各音声テキストセグメント920を、対応する音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示させ(ステップS50)、上述のステップS33に移行する。これにより、繰返し回数アイコンIfを介して指定された繰返し再生の回数だけ、指定音声付動画セグメント910Sの再生が繰り返された後に、音声テキストセグメント920の一覧が表示されることとなる。また、ステップS41やステップS45が行われた後に、上述のステップS33からステップS35を経由してステップS24(
図4参照)が行われる場合には、音声付動画セグメント910が再生された後に、ステップS11による一時停止箇所から指定音声付動画91Sの再生が再開されることとなる。
【0091】
また、上述のステップS40において復唱の有無の設定がONになっていないと判定した場合(ステップS40;No)には、CPU20は、上述のステップS41と同様の会話文動画再生実行処理を行った後(ステップS45)、上述のステップS43に移行する。なお、この場合には、ステップS43の処理後のステップS50において、CPU20は、メインディスプレイ10に表示されている動画(静止画)を消してから、音声テキストセグメント920を一覧表示させる。また、このときCPU20は、メインディスプレイ10に形成されている情報表示エリアE1を消す。これにより、動画再生の状態に関する表示項目Haや、一時停止中の操作説明Hdがメインディスプレイ10から消される。また、このときCPU20は、アイコン表示エリアE2に指定会話文動画再生実行アイコンIdを表示させて反転させるとともに、復唱ON/OFFアイコンIeと繰返し回数アイコンIfとを表示させる。また、このときCPU20は、これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1をメインディスプレイ10の下部に表示させる。
【0092】
[動作例]
続いて、
図8〜
図12を参照しつつ、上記の音声学習処理を具体的に説明する。なお、これらの図においては、図中の右側にメインディスプレイ10の表示画面を示すとともに、図中の左側に操作内容を示している。
【0093】
(動作例1)
まず、音声教材コンテンツ群83に含まれる各音声付動画91のタイトルがメインディスプレイ10に一覧表示された状態から、ユーザが音声付動画91のタイトル「リトル・○○○ NY編 1.空港の迷子犬」を指定すると(ステップS1)、電子辞書1が音声付動画の通常再生モードに移行し、
図8(a)に示すように、この指定音声付動画91Sが記憶部80から読み出されて再生される(ステップS2)。また、このときメインディスプレイ10の右側の端部に情報表示エリアE1が形成され、左側の端部にアイコン表示エリアE2が形成される。なお、本動作例1と、後述の動作例2においては、指定音声付動画91Sに含まれる音声は英語となっている。また、この指定音声付動画91Sには、各フレームの画像内に日本語字幕が組み込まれた状態となっているが、この字幕は本発明におけるテキストではない。
【0094】
次に、動画再生の状態に関する表示項目Ha(再生経過時間や再生所要時間、音量レベル等)、通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)、動画再生中の操作説明Hc(戻るキー2gの操作が一時停止の指示操作に対応すること等)が情報表示エリアE1に表示される(ステップS3〜S5)。
【0095】
次に、
図8(b)に示すように、戻るキー2gによりユーザが一時停止を指示すると(ステップS6;Yes)、指定音声付動画91Sの再生が一時停止されて、停止箇所の画像(静止画)がメインディスプレイ10に表示されつつ、音声出力が停止される(ステップS11)。なお、このときメインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、動画再生中の操作説明Hcが引き続き表示されている。
【0096】
次に、情報表示エリアE1に表示されている動画再生中の操作説明Hcが消され、代わりに一時停止中の操作説明Hd(決定キー2bの操作が再生再開の指示操作に対応すること等)が表示される(ステップS12)。これにより、メインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、一時停止中の操作説明Hdが表示される。
【0097】
次に、再生実行アイコンIaと、テキスト切替表示アイコンIbとがアイコン表示エリアE2に表示される(ステップS14)。
このとき、再生実行アイコンIaに対してユーザがタッチ操作を行うと(ステップS15;Yes)、一時停止箇所から指定音声付動画91Sの再生が再開される(ステップS16)。
【0098】
一方、
図8(c)に示すように、ユーザが再生実行アイコンIaに対するタッチ操作を行わずに(ステップS15;No)、テキスト切替表示アイコンIbに対するタッチ操作を行うと(ステップS17;Yes)、一時停止箇所を含む音声付動画セグメント910に対応する音声テキストセグメント920「What’s taking my girl so long to come out?」が先頭表示の対象として設定された後(ステップS20)、電子辞書1が音声テキスト表示モードに移行し、メインディスプレイ10に表示されている動画(静止画)が消され、先頭表示の対象の音声テキストセグメント920「What’s taking my girl so long to come out?」が先頭にされて、各音声テキストセグメント920が音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示される(ステップS21)。また、このとき、メインディスプレイ10に形成されている情報表示エリアE1が消され、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、一時停止中の操作説明Hdがメインディスプレイ10から消される。なお、本動作例1と、後述の動作例2とにおいては、各音声テキストセグメント920には、音声付動画91に含まれる音声の言語(英語)のテキストに加え、当該テキストを日本語に翻訳したテキストが含まれている。
【0099】
次に、アイコン表示エリアE2に表示されているアイコン(ここでは再生実行アイコンIa及びテキスト切替表示アイコンIb)が一旦消され、代わりに再生実行アイコンIa及び動画繰返し学習アイコンIcが表示される(ステップS22)。また、このとき、一覧表示されている各音声テキストセグメント920の文頭にも動画繰返し学習アイコンIcが表示される。
【0100】
次に、ユーザが上下のカーソルキー2eの操作を行うと(ステップS25;Yes)、
図8(d)に示すように、メインディスプレイ10に表示される音声テキストセグメント920が、当該操作により指示される方向にスクロールされる(ステップS26)。
【0101】
次に、
図9(a)に示すように、ユーザが動画繰返し学習アイコンIcに対するタッチ操作を行うと(ステップS30;Yes)、アイコン表示エリアE2に表示されているアイコン(動画繰返し学習アイコンIcや再生実行アイコンIa)が消され、電子辞書1が動画繰返し学習モードに移行し、指定会話文動画再生実行アイコンIdが表示されて反転されるとともに、復唱ON/OFFアイコンIe、繰返し回数アイコンIfが表示される(ステップS31)。なお、本動作例においては、このとき復唱の有無は「無し」(OFF)に設定されており、繰返し回数は「1」に設定されている。
【0102】
また、このとき、これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1がメインディスプレイ10の下部に表示される。
【0103】
次に、メインディスプレイ10に一覧表示されている各音声テキストセグメント920のうち、メインディスプレイ10の先頭(最上段)の音声テキストセグメント920「This is JFK Airport in New York.」が指定音声テキストセグメント920Sとして指定されて、この指定音声テキストセグメント920Sの文頭の動画繰返し学習アイコンIcが反転表示される(ステップS32)。
【0104】
次に、
図9(b)に示すように、ユーザが決定キー2bを操作すると(ステップS38;Yes)、復唱の有無の設定がONになっていないと判定され(ステップS40;No)、指定音声テキストセグメント920S「This is JFK Airport in New York.」に対応する音声付動画セグメント910が指定音声付動画セグメント910Sとして設定される(ステップT1)。また、このとき、メインディスプレイ10に表示されている音声テキストセグメント920の一覧表示が消されて、メインディスプレイ10の右側の端部に情報表示エリアE1が形成されるとともに、アイコン表示エリアE2に表示されているアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)が消される。
【0105】
次に、指定音声付動画セグメント910Sが再生され(ステップT2)、動画再生の状態に関する表示項目Haや動画再生中の操作説明Hcが情報表示エリアE1に表示される(ステップT3,T4)。なお、このとき通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)は情報表示エリアE1に表示されない。
【0106】
次に、
図9(c)に示すように、ユーザが戻るキー2gの操作により一時停止を指示すると(ステップT5;Yes)、指定音声付動画セグメント910Sの再生が一時停止されて、停止箇所の画像(静止画)がメインディスプレイ10に表示されつつ、音声出力が停止される(ステップT11)。なお、このときメインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Haや動画再生中の操作説明Hcが引き続き表示されている。
【0107】
次に、情報表示エリアE1に表示されている動画再生中の操作説明Hcが消され、代わりに一時停止中の操作説明Hdが表示される(ステップT12)。また、再生実行アイコンIaがアイコン表示エリアE2に表示される(ステップT13)。なお、このときテキスト切替表示アイコンIbはアイコン表示エリアE2に表示されない。
【0108】
次に、
図9(d)に示すように、ユーザが戻るキー2gを操作すると(ステップT16;Yes)、指定音声テキストセグメント920S「This is JFK Airport in New York.」が先頭表示の対象として設定される(ステップT17)。
【0109】
次に、メインディスプレイ10に表示されている動画(静止画)が消され、電子辞書1が音声テキスト表示モードに移行し、先頭表示の対象の音声テキストセグメント920「This is JFK Airport in New York.」が先頭にされて、各音声テキストセグメント920が音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示される(ステップT18)。また、このとき、メインディスプレイ10に形成されている情報表示エリアE1が消され、動画再生の状態に関する表示項目Haや、一時停止中の操作説明Hdがメインディスプレイ10から消される。また、アイコン表示エリアE2に表示されている再生実行アイコンIaが消される。
【0110】
次に、アイコン表示エリアE2に表示されている再生実行アイコンIaが消され、電子辞書1が動画繰返し学習モードに移行し、指定会話文動画再生実行アイコンIdが表示されて反転されるとともに、復唱ON/OFFアイコンIe、繰返し回数アイコンIfが表示される(ステップS31)。また、このとき、これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1がメインディスプレイ10の下部に表示される。
【0111】
次に、メインディスプレイ10に一覧表示されている各音声テキストセグメント920のうち、メインディスプレイ10の先頭(最上段)の音声テキストセグメント920「This is JFK Airport in New York.」が指定音声テキストセグメント920Sとして指定されて、この指定音声テキストセグメント920Sの文頭の動画繰返し学習アイコンIcが反転表示される(ステップS32)。
【0112】
次に、
図10(a)に示すように、ユーザが戻るキー2gを操作すると(ステップS35;Yes)、電子辞書1が音声テキスト表示モードに移行し、アイコン表示エリアE2に表示されているアイコン(ここでは指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)が消され、代わりに再生実行アイコンIa及び動画繰返し学習アイコンIcが表示される(ステップS22)。また、このとき、一覧表示されている各音声テキストセグメント920の文頭にも動画繰返し学習アイコンIcが表示される。
【0113】
次に、
図10(b)に示すように、ユーザが再生実行アイコンIaに対するタッチ操作を行うと(ステップS23;Yes)、メインディスプレイ10に表示されている音声テキストセグメント920が消されて、一時停止箇所(
図8(b)参照)から指定音声付動画91Sの再生が再開され(ステップS24)、電子辞書1が通常再生モードに移行する。
【0114】
次に、メインディスプレイ10の右側の端部に情報表示エリアE1が形成され、左側の端部にアイコン表示エリアE2が形成され、動画再生の状態に関する表示項目Ha、通常再生モード特有の操作説明Hb、動画再生中の操作説明Hcが情報表示エリアE1に表示される(ステップS3〜S5)。
【0115】
(動作例2)
まず、音声教材コンテンツ群83に含まれる各音声付動画91のタイトルがメインディスプレイ10に一覧表示された状態から、ユーザが音声付動画91のタイトル「リトル・○○○ NY編 1.空港の迷子犬」を指定すると(ステップS1)、電子辞書1が音声付動画の通常再生モードに移行し、
図11(a)に示すように、この指定音声付動画91Sが記憶部80から読み出されて再生される(ステップS2)。また、このときメインディスプレイ10の右側の端部に情報表示エリアE1が形成され、左側の端部にアイコン表示エリアE2が形成される。
【0116】
次に、動画再生の状態に関する表示項目Ha(再生経過時間や再生所要時間、音量レベル等)、通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)、動画再生中の操作説明Hc(戻るキー2gの操作が一時停止の指示操作に対応すること等)が情報表示エリアE1に表示される(ステップS3〜S5)。
【0117】
次に、
図11(b)に示すように、戻るキー2gによりユーザが一時停止を指示すると(ステップS6;Yes)、指定音声付動画91Sの再生が一時停止されて、停止箇所の画像(静止画)がメインディスプレイ10に表示されつつ、音声出力が停止される(ステップS11)。なお、このときメインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、動画再生中の操作説明Hcが引き続き表示されている。
【0118】
次に、情報表示エリアE1に表示されている動画再生中の操作説明Hcが消され、代わりに一時停止中の操作説明Hd(決定キー2bの操作が再生再開の指示操作に対応すること等)が表示される(ステップS12)。これにより、メインディスプレイ10の情報表示エリアE1には、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、一時停止中の操作説明Hdが表示される。
【0119】
次に、再生実行アイコンIaと、テキスト切替表示アイコンIbとがアイコン表示エリアE2に表示される(ステップS14)。
次に、
図11(c)に示すように、ユーザがテキスト切替表示アイコンIbに対するタッチ操作を行うと(ステップS17;Yes)、一時停止箇所を含む音声付動画セグメント910に対応する音声テキストセグメント920「What’s taking my girl so long to come out?」が先頭表示の対象として設定された後(ステップS20)、電子辞書1が音声テキスト表示モードに移行し、メインディスプレイ10に表示されている動画(静止画)が消され、先頭表示の対象の音声テキストセグメント920「What’s taking my girl so long to come out?」が先頭にされて、各音声テキストセグメント920が音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示される(ステップS21)。また、このとき、メインディスプレイ10に形成されている情報表示エリアE1が消され、動画再生の状態に関する表示項目Haや、通常再生モード特有の操作説明Hb、一時停止中の操作説明Hdがメインディスプレイ10から消される。
【0120】
次に、アイコン表示エリアE2に表示されているアイコン(ここでは再生実行アイコンIa及びテキスト切替表示アイコンIb)が一旦消され、代わりに再生実行アイコンIa及び動画繰返し学習アイコンIcが表示される(ステップS22)。また、このとき、一覧表示されている各音声テキストセグメント920の文頭にも動画繰返し学習アイコンIcが表示される。
【0121】
次に、
図11(d)に示すように、ユーザが動画繰返し学習アイコンIcに対するタッチ操作を行うと(ステップS30;Yes)、アイコン表示エリアE2に表示されているアイコン(動画繰返し学習アイコンIcや再生実行アイコンIa)が消され、電子辞書1が動画繰返し学習モードに移行し、指定会話文動画再生実行アイコンIdが表示されて反転されるとともに、復唱ON/OFFアイコンIe、繰返し回数アイコンIfが表示される(ステップS31)。なお、本動作例においては、このとき復唱の有無は「無し」(OFF)に設定されており、繰返し回数は「1」に設定されている。
【0122】
また、このとき、これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1がメインディスプレイ10の下部に表示される。
【0123】
次に、メインディスプレイ10に一覧表示されている各音声テキストセグメント920のうち、メインディスプレイ10の先頭(最上段)の音声テキストセグメント920「What’s taking my girl so long to come out?」が指定音声テキストセグメント920Sとして指定されて、この指定音声テキストセグメント920Sの文頭の動画繰返し学習アイコンIcが反転表示される(ステップS32)。
【0124】
次に、
図12(a)に示すように、ユーザが復唱ON/OFFアイコンIeと、繰返し回数アイコンIfとに対してそれぞれタッチ操作を行うと(ステップS33;Yes)、タッチ操作に応じて動画繰返し学習モードについての設定内容が復唱の有無「有り」(ON)、繰返し回数「3」に変更されて、復唱ON/OFFアイコンIe,繰返し回数アイコンIfの表示内容が更新される(ステップS34)。
【0125】
次に、
図12(b)に示すように、ユーザが決定キー2bを操作すると(ステップS38;Yes)、復唱の有無の設定がONになっていると判定され(ステップS40;Yes)、指定音声テキストセグメント920S「What’s taking my girl so long to come out?」に対応する音声付動画セグメント910が指定音声付動画セグメント910Sとして設定される(ステップT1)。また、このとき、メインディスプレイ10に表示されている音声テキストセグメント920の一覧表示が消されて、メインディスプレイ10の右側の端部に情報表示エリアE1が形成されるとともに、アイコン表示エリアE2に表示されているアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)が消される。
【0126】
次に、指定音声付動画セグメント910Sが再生され(ステップT2)、動画再生の状態に関する表示項目Haや動画再生中の操作説明Hcが情報表示エリアE1に表示される(ステップT3,T4)。なお、このとき通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)は情報表示エリアE1に表示されない。
【0127】
そして、ユーザが戻るキー2gにより一時停止を指示する操作を行わず(ステップT5;No)、指定音声付動画セグメント910Sの最後まで再生が完了すると(ステップT6;Yes)、
図12(c)に示すように、メインディスプレイ10に表示されている動画(静止画)が消され、指定音声テキストセグメント920S「What’s taking my girl so long to come out?」が先頭にされて、各音声テキストセグメント920が音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示される(ステップU1)。また、このときメインディスプレイ10に形成されている情報表示エリアE1が消され、動画再生の状態に関する表示項目Haや、一時停止中の操作説明Hdがメインディスプレイ10から消される。また、アイコン表示エリアE2に表示されている再生実行アイコンIaが消される。また、このときアイコン表示エリアE2に指定会話文動画再生実行アイコンIdが表示されて反転されるとともに、復唱ON/OFFアイコンIeと繰返し回数アイコンIfとが表示される。また、このとき。これらのアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)の操作説明ウィンドウW1がメインディスプレイ10の下部に表示される。
【0128】
次に、指定音声テキストセグメント920Sの復唱を促す旨のメッセージ「リピーティング:再生された会話に続けて発音しましょう」がメインディスプレイ10に表示される(ステップU2)。これにより、ユーザは指定音声テキストセグメント920Sを音読または黙読することで、指定音声付動画セグメント910Sの音声内容を復唱することができる。
【0129】
次に、指定音声付動画セグメント910Sの再生所要時間が経過すると(ステップU4;Yes)、繰返し再生の回数「3」だけ、指定音声付動画セグメント910Sの再生が繰り返されていないと判定された後(ステップS43;No)、復唱の有無の設定がONになっていると判定され(ステップS40;Yes)、改めて指定音声テキストセグメント920S「What’s taking my girl so long to come out?」に対応する音声付動画セグメント910が指定音声付動画セグメント910Sとして設定される(ステップT1)。また、このとき、
図12(d)に示すように、メインディスプレイ10に表示されている音声テキストセグメント920の一覧表示が消されて、メインディスプレイ10の右側の端部に情報表示エリアE1が形成されるとともに、アイコン表示エリアE2に表示されているアイコン(指定会話文動画再生実行アイコンId、復唱ON/OFFアイコンIe、繰返し回数アイコンIf)が消される。
【0130】
次に、指定音声付動画セグメント910Sが再生され(ステップT2)、動画再生の状態に関する表示項目Haや動画再生中の操作説明Hcが情報表示エリアE1に表示される(ステップT3,T4)。なお、このとき通常再生モード特有の操作説明Hb(右向きのカーソルキー2eの操作が早送りの指示操作に対応すること等)は情報表示エリアE1に表示されない。
【0131】
以降、同様にして、ユーザが戻るキー2gにより一時停止を指示する操作を行わないと(ステップT5;No)、
図12(c)及び
図12(d)の状態が総計3回だけ交互に繰り返された後(ステップS41〜S43)、
図12(a)に示すように、指定音声テキストセグメント920S「What’s taking my girl so long to come out?」を先頭にして、各音声テキストセグメント920が音声付動画セグメント910の順に従ってメインディスプレイ10に一覧表示される(ステップS50)。
【0132】
以上の電子辞書1によれば、
図4のステップS21、S24や
図8(a)、
図8(b)、
図10(b)などに示したように、音声付動画91の再生がユーザ操作に基づいて一時停止されたときに、一時停止箇所を含む音声付動画セグメント910に対応する音声テキストセグメント920が読み出されて表示された後、ユーザ操作に基づいて、一時停止箇所から音声付動画91の再生が再開されるので、音声付動画91を視聴して学習するときと、視聴していた箇所の音声のテキストを見て学習するときとを、分けることができる。従って、字幕を見ながら音声付動画91を視聴して学習する従来の場合と比較して、音声付動画91を視聴して学習するときの学習効果を向上させることができる。
また、一時停止を指示する操作と、再生の再開を指示する操作とを行うことで、音声付動画91内で音声内容が分からないときだけ、その音声のテキストを表示させることができるため、音声内容の分からない箇所に遭遇したときに動画を一旦巻き戻して字幕付で再生し、次の箇所から改めて動画を字幕無しで再生するといった従来の場合と比較して、操作を簡素化することができる。
従って、音声付動画91を視聴して学習するときの学習効果を容易に向上させることができる。
【0133】
また、
図4のステップS21や
図8(b)などに示したように、再生が一時停止されたときに、各音声付動画セグメント910に対応する音声テキストセグメント920が一覧表示されるので、音声内容の分からない箇所で一時停止できずに音声付動画91の再生が継続されてしまった場合でも、音声内容の分からなかった箇所の音声テキストセグメント920を一覧から探して学習することができる。
また、
図4のステップS26や、
図5のステップS37、S41、S45、
図8(d)〜
図9(d)などに示したように、一覧表示された音声テキストセグメント920から、何れかの音声テキストセグメント920が指定音声テキストセグメント920Sとして指定されると、指定音声テキストセグメント920Sに対応する指定音声付動画セグメント910Sが再生されるので、音声内容の分からなかった箇所の音声付動画セグメント910を改めて視聴して学習することができる。
そして、
図4のステップS24や
図8(a)、
図8(b)、
図10(b)などに示したように、この再生の後に、一時停止箇所から音声付動画91の再生が再開されるので、既に視聴して学習の完了した動画部分が改めて再生されてしまうのを防止することができる。
【0134】
また、
図3のステップS3〜S5、
図6のステップT3〜T4、
図8(a)、
図9(b)などに示したように、音声付動画91の再生と、音声付動画セグメント910の再生との少なくとも一方の再生時に、何れの再生が行われているかを識別するための記号(通常再生モード特有の操作説明Hb)が表示されるので、音声付動画91の全体を視聴学習しているのか、音声付動画セグメント910を部分的に視聴学習しているのかをユーザに認識させることができる。
【0135】
また、
図3のステップS14や
図6のステップT13、
図8(b)、
図9(c)などに示したように、音声付動画91の再生の一時停止と、音声付動画セグメント910の再生の一時停止との少なくとも一方の一時停止時に、何れの再生の一時停止が行われているかを識別するための記号(テキスト切替表示アイコンIb)が表示されるので、音声付動画91の全体の視聴学習中にテキストを見て学習しているのか、音声付動画セグメント910の部分的な視聴学習中にテキストを見て学習しているのかをユーザに認識させることができる。
【0136】
また、
図4のステップS24や
図6のステップT1、
図8〜
図12などに示すように、再生が行われているときのテキストの表示が禁止されるので、音声付動画91を視聴して学習するときと、視聴していた箇所の音声のテキストを見て学習するときとを、確実に分けることができる。従って、字幕を見ながら音声付動画を視聴して学習する従来の場合と比較して、音声付動画91を視聴して学習するときの学習効果を確実に向上させることができる。
【0137】
また、
図4のステップS21や
図6のステップT18、
図8〜
図12などに示したように、音声付動画91や音声付動画セグメント910の表示画像を消して、音声テキストセグメント920が表示されるので、テキストを見て学習するときに、画像に集中力が分散してしまうのを防止することができる。
【0138】
[変形例]
続いて、上記実施形態の変形例について説明する。なお、上記の実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
【0139】
本変形例における電子辞書1Aは、
図13に示すように、通信部50と、記憶部80Aとを備えている。
通信部50は、ネットワークNに接続可能となっており、これにより、ネットワークNに接続される外部機器、例えばデータサーバDとの通信が可能となっている。このデータサーバDには、音声教材コンテンツ群83等が格納されるようになっている。
【0140】
また、この通信部50には、外部再生装置Gが接続可能となっている。外部再生装置Gは、表示部G1や音声出力部G2を備えている。表示部G1は、上述のメインディスプレイ10と同様のディスプレイG10を有しており、入力される表示信号に基づいて各種情報をディスプレイG10に表示するようになっている。音声出力部G2は、上述のスピーカ13と同様のスピーカG20を有しており、入力される音声出力信号に基づいてスピーカG20に音声出力を行わせるようになっている。
【0141】
記憶部80Aは、本発明に係る動画再生制御プログラム81Aを記憶している。
この動画再生制御プログラム81Aは、上記実施形態と同様の音声学習処理(
図3〜
図5参照)をCPU20に実行させるためのプログラムである。
【0142】
但し、動画再生制御プログラム81Aにより実行される音声学習処理では、CPU20は、記憶部80A内の音声教材コンテンツ群83や、これに含まれる音声教材コンテンツ9、音声付動画91、音声付動画91のタイトル、音声付動画セグメント910、音声テキスト92、音声テキストセグメント920等の代わりに、データサーバD内の音声教材コンテンツ群83や、これに含まれる音声教材コンテンツ9、音声付動画91、音声付動画91のタイトル、音声付動画セグメント910、音声テキスト92、音声テキストセグメント920等を、通信部50により取得して用いるようになっている。
【0143】
また、CPU20は、音声付動画91や音声付動画セグメント910を再生する制御を電子辞書1の表示部40及び音声出力部70に対して行う代わりに、これらを再生する制御を、通信部50を介して外部再生装置Gの表示部G1及び音声出力部G2に対して行うようになっている。なお、この通信部50は、WiFi等の無線通信や、ケーブルを介した有線通信を行う。
【0144】
また、CPU20は、音声付動画91の再生を電子辞書1の表示部40及び音声出力部70に一時停止させ、一時停止箇所から再生を再開させる代わりに、音声付動画91の再生を一時停止し、一時停止箇所から再生を再開する制御を、通信部50を介して外部再生装置Gの表示部G1及び音声出力部G2に対して行うようになっている。
【0145】
また、CPU20は、音声付動画91のタイトルや音声テキスト92、音声テキストセグメント920を表示する制御や、音声テキストセグメント920を一覧表示する制御を電子辞書1の表示部40に対して行う代わりに、これらを表示(一覧表示)する制御を、通信部50を介して外部再生装置Gの表示部G1に対して行うようになっている。
【0146】
以上の電子辞書1Aによっても、上記実施形態における電子辞書1と同様の作用効果を得ることができる。
【0147】
なお、本発明を適用可能な実施形態は、上述した実施形態や変形例に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【0148】
例えば、本発明に係る動画再生装置を電子辞書1,1Aとして説明したが、本発明が適用可能なものは、このような製品に限定されず、例えば
図1(b)に示すようなタブレットパソコン(或いはスマートフォン)1B,
図1(c)に示すような外部再生装置Gに接続されるパソコン1Cの他、デスクトップパソコンやノートパソコン、携帯電話、PDA(Personal Digital Assistant)、ゲーム機などの電子機器全般に適用可能である。また、本発明に係る動画再生プログラム81,動画再生制御プログラム81Aは、電子辞書1,1Aに対して着脱可能なメモリカード、CD等に記憶されることとしてもよい。
【0149】
また、上述のステップS21、S42、S50、T18、U1などの処理によってメインディスプレイ10に音声テキストセグメント920が表示された後には、ユーザ操作に基づいて、当該音声テキストセグメント920内の単語に対し、いわゆるジャンプ検索を行うこととしても良い。更には、このジャンプ検索を行った後に、ユーザによる戻るキー2gなどの操作に応じて、ジャンプ検索の直前の処理状態へ移行することとしても良い。この場合には、ジャンプ検索を行った後であっても、上述のステップS24の処理を行うことにより、ステップS11による一時停止箇所から指定音声付動画91Sの再生を再開させることができる。
【0150】
以上、本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
[請求項1]
音声付動画が記憶されている音声付動画記憶手段と、
前記音声付動画の各音声付動画部分に対応付けて、当該音声付動画部分内の音声に対応するテキストが記憶されているテキスト記憶手段と、
ユーザ操作に基づいて前記音声付動画を再生する制御を行う音声付動画再生制御手段と、
前記音声付動画再生制御手段により前記音声付動画が再生されているときに、ユーザ操作に基づいて当該音声付動画の再生を一時停止する一時停止手段と、
前記一時停止手段により再生が一時停止されたときに、一時停止箇所を含む音声付動画部分に対応付けられたテキストを前記テキスト記憶手段から読み出して表示する制御を行うテキスト表示制御手段と、
ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開する制御を行う再生再開制御手段と、
を備えることを特徴とする動画再生装置。
[請求項2]
請求項1記載の動画再生装置において、
前記テキスト表示制御手段は、
前記一時停止手段により再生が一時停止された場合、各音声付動画部分に対応付けられたテキストを前記テキスト記憶手段から読み出して、前記一時停止箇所を含む音声付動画部分に対応付けられたテキストから順に一覧表示する制御を行うテキスト一覧表示制御手段を有し、
当該動画再生装置は、
前記テキスト一覧表示制御手段により一覧表示されたテキストから、何れかのテキストをユーザ操作に基づいて指定テキストとして指定するテキスト指定手段と、
前記指定テキストに対応付けられた音声付動画部分を再生する制御を行う指定テキスト対応動画部分再生制御手段と、
を備え、
前記再生再開制御手段は、
前記指定テキスト対応動画部分再生制御手段により音声付動画部分が再生された後に、ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開することを特徴とする動画再生装置。
[請求項3]
請求項2記載の動画再生装置において、
前記指定テキスト対応動画部分再生制御手段及び前記音声付動画再生制御手段の少なくとも一方により再生が行われているときに、前記指定テキスト対応動画部分再生制御手段と、前記音声付動画再生制御手段との何れによって再生が行われているかを識別するための記号を表示する制御を行う再生識別記号表示制御手段を備えることを特徴とする動画再生装置。
[請求項4]
請求項2または3記載の動画再生装置において、
前記指定テキスト対応動画部分再生制御手段により音声付動画部分が再生されているときに、ユーザ操作に基づいて当該音声付動画部分の再生を一時停止する動画部分一時停止手段と、
前記一時停止手段及び前記動画部分一時停止手段の少なくとも一方により一時停止が行われているときに、前記一時停止手段と、前記動画部分一時停止手段との何れによって一時停止が行われているかを識別するための記号を表示する制御を行う一時停止識別記号表示制御手段と、
を備えることを特徴とする動画再生装置。
[請求項5]
請求項1〜4の何れか一項に記載の動画再生装置において、
前記テキスト表示制御手段は、
再生が行われているときのテキストの表示を禁止するテキスト表示禁止手段を有することを特徴とする動画再生装置。
[請求項6]
請求項1〜5の何れか一項に記載の動画再生装置において、
前記テキスト表示制御手段は、
前記音声付動画再生制御手段による表示画像を消して、テキストを表示する制御を行うことを特徴とする動画再生装置。
[請求項7]
音声付動画が記憶されている音声付動画記憶手段と、
前記音声付動画の各音声付動画部分に対応付けて、当該音声付動画部分内の音声に対応するテキストが記憶されているテキスト記憶手段と、
を備えるコンピュータにおける動画再生方法であって、
ユーザ操作に基づいて前記音声付動画を再生する制御を行う音声付動画再生制御ステップと、
前記音声付動画再生制御ステップにより前記音声付動画が再生されているときに、ユーザ操作に基づいて当該音声付動画の再生を一時停止する一時停止ステップと、
前記一時停止ステップにより再生が一時停止されたときに、一時停止箇所を含む音声付動画部分に対応付けられたテキストを前記テキスト記憶手段から読み出して表示する制御を行うテキスト表示制御ステップと、
ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開する制御を行う再生再開制御ステップと、
を含むことを特徴とする動画再生方法。
[請求項8]
音声付動画が記憶されている音声付動画記憶手段と、
前記音声付動画の各音声付動画部分に対応付けて、当該音声付動画部分内の音声に対応するテキストが記憶されているテキスト記憶手段と、
を備えるコンピュータに、
ユーザ操作に基づいて前記音声付動画を再生する制御を行う音声付動画再生制御機能と、
前記音声付動画再生制御機能により前記音声付動画が再生されているときに、ユーザ操作に基づいて当該音声付動画の再生を一時停止する一時停止機能と、
前記一時停止機能により再生が一時停止されたときに、一時停止箇所を含む音声付動画部分に対応付けられたテキストを前記テキスト記憶手段から読み出して表示する制御を行うテキスト表示制御機能と、
ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開する制御を行う再生再開制御機能と、
を実現させることを特徴とする動画再生プログラム。
[請求項9]
音声付動画の各音声付動画部分を取得する音声付動画取得手段と、
前記音声付動画の各音声付動画部分の音声に対応するテキストを取得するテキスト取得手段と、
ユーザ操作に基づいて前記音声付動画を再生する制御を行う音声付動画再生制御手段と、
前記音声付動画再生制御手段により前記音声付動画が再生されているときに、ユーザ操作に基づいて当該音声付動画の再生を一時停止する制御を行う一時停止制御手段と、
前記一時停止制御手段により再生が一時停止されたときに、一時停止箇所を含む音声付動画部分に対応付けられたテキストを前記テキスト取得手段により取得して表示する制御を行うテキスト表示制御手段と、
ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開する制御を行う再生再開制御手段と、
を備えることを特徴とする動画再生制御装置。
[請求項10]
請求項9記載の動画再生制御装置において、
前記音声付動画取得手段は、
外部機器から通信により前記音声付動画の各音声付動画部分を受信して取得する音声付動画受信手段を有し、
前記テキスト取得手段は、
外部機器から通信により前記音声付動画の各音声付動画部分の音声に対応するテキストを受信して取得するテキスト受信手段を有することを特徴とする動画再生制御装置。
[請求項11]
請求項9または10記載の動画再生制御装置において、
前記音声付動画再生制御手段は、
外部機器に対し、前記音声付動画を再生する制御を行う音声付動画再生制御外部出力手段を有し、
前記テキスト表示制御手段は、
外部機器に対し、テキストを表示する制御を行うテキスト外部表示制御手段を有し、
前記再生再開制御手段は、
外部機器に対し、前記音声付動画の再生を再開する制御を行う外部再生再開制御手段を有することを特徴とする動画再生制御装置。
[請求項12]
音声付動画の各音声付動画部分を取得する音声付動画取得ステップと、
前記音声付動画の各音声付動画部分の音声に対応するテキストを取得するテキスト取得ステップと、
ユーザ操作に基づいて前記音声付動画を再生する制御を行う音声付動画再生制御ステップと、
前記音声付動画再生制御ステップにより前記音声付動画が再生されているときに、ユーザ操作に基づいて当該音声付動画の再生を一時停止する制御を行う一時停止制御ステップと、
前記一時停止制御ステップにより再生が一時停止されたときに、一時停止箇所を含む音声付動画部分に対応付けられたテキストを前記テキスト取得手段により取得して表示する制御を行うテキスト表示制御ステップと、
ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開する制御を行う再生再開制御ステップと、
を含むことを特徴とする動画再生制御方法。
[請求項13]
音声付動画の各音声付動画部分を取得する音声付動画取得手段と、
前記音声付動画の各音声付動画部分の音声に対応するテキストを取得するテキスト取得手段と、
を備えるコンピュータに、
ユーザ操作に基づいて前記音声付動画を再生する制御を行う音声付動画再生制御機能と、
前記音声付動画再生制御機能により前記音声付動画が再生されているときに、ユーザ操作に基づいて当該音声付動画の再生を一時停止する制御を行う一時停止制御機能と、
前記一時停止制御機能により再生が一時停止されたときに、一時停止箇所を含む音声付動画部分に対応付けられたテキストを前記テキスト取得手段により取得して表示する制御を行うテキスト表示制御機能と、
ユーザ操作に基づいて、前記一時停止箇所から前記音声付動画の再生を再開する制御を行う再生再開制御機能と、
を実現させることを特徴とする動画再生制御プログラム。