特許 6646172 多言語コンテンツの教育用再生方法、そのためのデータ構造及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6646172

(24)【登録日】2020年1月14日

(45)【発行日】2020年2月14日

(54)【発明の名称】多言語コンテンツの教育用再生方法、そのためのデータ構造及びプログラム

(51)【国際特許分類】

   G09B 19/06 20060101AFI20200203BHJP

   H04N 5/93 20060101ALI20200203BHJP

   G09B 5/06 20060101ALI20200203BHJP

   H04N 5/92 20060101ALI20200203BHJP

【ＦＩ】

   G09B19/06

   H04N5/93

   G09B5/06

   H04N5/92 010

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2019-41693(P2019-41693)

(22)【出願日】2019年3月7日

【審査請求日】2019年3月7日

【早期審査対象出願】

(73)【特許権者】

【識別番号】519081835

【氏名又は名称】小山 理

(74)【代理人】

【識別番号】100130513

【弁理士】

【氏名又は名称】鎌田 直也

(74)【代理人】

【識別番号】100074206

【弁理士】

【氏名又は名称】鎌田 文二

(74)【代理人】

【識別番号】100130177

【弁理士】

【氏名又は名称】中谷 弥一郎

(74)【代理人】

【識別番号】100161746

【弁理士】

【氏名又は名称】地代 信幸

(72)【発明者】

【氏名】小山 理

【審査官】 佐々木 崇

(56)【参考文献】

【文献】 欧州特許出願公開第０１５６２１６３（ＥＰ，Ａ１）

【文献】 特開２００３−３０７９９７（ＪＰ，Ａ）

【文献】 特開２００９−１６４９７９（ＪＰ，Ａ）

【文献】 特開２００４−９６５１２（ＪＰ，Ａ）

【文献】 特許第５９９８４０４（ＪＰ，Ｂ２）

【文献】 特開２００５−１４８７２７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００− ９／５６、１７／００−１９／２６

(57)【特許請求の範囲】

【請求項1】

映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツについて、
セリフの無い部分を含まずに、
字幕１表示分又は２表示分にあたるシーンごとに分割し、
ユーザが選択したシーンについて、予めユーザにより選択された１の言語及び別の言語について、１シーンごとに、映像とともに１の言語による言語情報でユーザにより設定された任意の回数分再生した後、同じシーンについて別の言語による言語情報でユーザにより設定された任意の回数分再生する、
映像コンテンツの再生方法。

【請求項2】

映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツについて、
セリフの無い部分を除外した、字幕１表示分又は２表示分にあたるシーンごとにカットしたデータ構造を生成して保存し、
前記データ構造を読み込み、ユーザが選択したシーンについて、予めユーザにより選択された１の言語及び別の言語について、１シーンごとに、映像とともに１の言語による言語情報でユーザにより設定された任意の回数分再生した後、同じシーンについて別の言語による言語情報でユーザにより設定された任意の回数分再生するようにコンピュータを動作させるためのプログラム。

【請求項3】

映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツについて、
前記映像コンテンツのデータを順次取り込みながら、
セリフの無い部分を取り込まずに、
字幕１表示分又は２表示分にあたるシーンごとにカットし、
ユーザが選択したシーンについて１シーンごとに、映像とともに予めユーザにより選択された１の言語による言語情報でユーザにより設定された任意の回数分再生した後、同じシーンについて予めユーザにより選択された別の言語による言語情報でユーザにより設定された任意の回数分再生するようにコンピュータを動作させるためのプログラム。

【請求項4】

映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツについて、
セリフの無い部分は元の映像コンテンツから除外済みであり、残りのセリフのある部分について、
字幕１表示分又は２表示分にあたるシーンごとに分割され、
１シーンごとに、前記映像と、当該映像と合わせて再生される複数の前記言語情報とが、紐付けられて保存されており、
ユーザが選択したシーンについて各シーンの映像を再生させる際に、当該映像とともに合わせて再生される複数の言語情報のうちの予めユーザにより選択された１の言語による言語情報についてユーザにより設定された任意の回数分当該シーンを再生した後、同じシーンについて予めユーザにより選択された別の言語による言語情報でユーザにより設定された任意の回数分再生させる処理に用いられる、
シーン毎の分割がされた映像コンテンツのデータ構造を読み込み、
ユーザが選択したシーンについて各シーンの映像を再生させる際に、当該映像とともに合わせて再生される複数の言語情報のうちの前記１の言語による言語情報についてユーザにより設定された任意の回数分当該シーンを再生した後、同じシーンについて前記別の言語による言語情報でユーザにより設定された任意の回数分再生させる、映像コンテンツの再生方法。

【請求項5】

映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツについて、
前記映像コンテンツのデータを順次取り込みながら、
セリフの無い部分を取り込まずに、
字幕１表示分又は２表示分にあたるシーンごとにカットし、
ユーザが選択したシーンについて１シーンごとに、映像とともに予めユーザにより選択された１の言語による言語情報でユーザにより設定された任意の回数分再生した後、同じシーンについて予めユーザにより選択された別の言語による言語情報でユーザにより設定された任意の回数分再生する、映像コンテンツの再生方法。

【請求項6】

前記再生の際の言語情報が、音声と字幕とで異なる言語である、請求項１、４又は５に記載の映像コンテンツの再生方法。

【請求項7】

映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツを入力され、
セリフの無い部分を含まず、字幕１表示分又は２表示分にあたるシーンごとに分割し、
ユーザが選択したシーンについて１シーンごとに、映像とともに予めユーザにより選択された１の言語による言語情報でユーザにより設定された任意の回数分再生した後、同じシーンについて予めユーザにより選択された別の言語による言語情報でユーザにより設定された任意の回数分再生する、
映像コンテンツの再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、語学学習を行うためのコンテンツの再生に関する。

【背景技術】

【0002】

語学を学習するにあたって、母国語以外の音声や字幕で映像コンテンツを観賞することが一般的に行われている。多数の映像コンテンツを観賞する場合と、一つの映像コンテンツを繰り返し観賞する場合とがあり、セリフを一言一句覚えようとするのならば繰り返し観賞しようとすることが一般的である。だが、他国語の音声のみで聞いていると、その音声が母国語ではどのように訳されるのかわからなくなる。これに対して、音声を多国語として字幕を母国語とすることも一般的に行われている。だが、字幕はスペースの都合で内容を省略されていたり、大幅に意味が変わった訳がされていて、音声でのセリフの内容をそのまま翻訳したものではない場合も多い。このため、様々な手法で学習効率のよい映像コンテンツの再生を行うことが検討されている。

【0003】

特許文献１には、複数の言語で音声と字幕が登録されたＤＶＤ−ｖｉｄｅｏ記録媒体を用い、チャプターを跨いで再生する範囲を指定しておき、この範囲について多国語で再生した後にリピート再生する際に日本語で再生したりする言語パターンを登録しておく手法が提示されている。全編を見た後に別言語を確認するのではなく、指定した範囲をひたすらリピート再生させることができ、集中した記憶が可能になる方式である。

【0004】

また、特許文献２には、二カ国語放送を録音したテープを再生する際に、セリフの切れ目ごとに主音声を再生した後に副音声を再生させる手法が提案されている。

【0005】

さらに、特許文献３には、通常の再生モードから語学学習モードに切り替えて、字幕選択などを行う手法が提案されている。

【0006】

特許文献４には、映像コンテンツの会話の合間の時間間隔を調整するように再生速度を変化させる手法が提案されている（特許文献４請求項５５〜５９など）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１３−２５８６３７号公報

【特許文献2】特開平１１−６５４２３号公報

【特許文献3】特開２００９−１６４９７９号公報

【特許文献4】特開２００６−５１８８７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１の手法は予め決めておいた部分をひたすらリピート再生するものであり、その特定の箇所の記憶に向いたものであり、多くのセリフを立て続けに確認していくものではない。特許文献２の手法は主音声の後に副音声を再生させる交互の再生が理想的ではあるが、テープによる主音声とメモリに蓄えた副音声とを交互に再生させるのは、音声のみのテープでしか実現できず、応用に限界があった。

【0009】

特許文献３に記載の手法はインターフェースとしては優れているが、これはモードの切り替えを実現するものであり、再生の最適解を提供するものではなかった。特許文献４における時間間隔の調整は、学習のためにコンテンツを見る際にセリフの無いシーンを早送りすることができるものの、映像コンテンツの内容次第では待機しなければならない状況が生じてしまった。

【0010】

いずれにしても、外国語習得を切望する学習者が映像コンテンツを使って学習しようとする場合、映像と音声及び字幕とを組み合わせる操作が煩雑であった。また、元の映像コンテンツが構成するチャプターをただ単純に繰り返した学習では飽きやすかった。さらに、台詞の無い部分が続くと、集中力が途切れ、身に入りにくくなるという問題があった。

【0011】

そこでこの発明は、映像コンテンツによる語学学習により適した再生手法を提供して、効率の良い学習環境を構築することを目的とする。

【課題を解決するための手段】

【0012】

この発明は、
映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を複数の言語分有する映像コンテンツについて、
セリフの無い部分を含まずに、
字幕１表示分又は２表示分にあたるシーンごとに分割し、
１シーンごとに、映像とともに１の言語による言語情報で１回以上再生した後、同じシーンについて別の言語による言語情報で１回以上再生する、
映像コンテンツの再生方法により、上記の課題を解決したのである。

【0013】

映像コンテンツの大半には、どうしてもセリフの無い箇所が存在する。この部分が語学学習として映像コンテンツを観賞するには間延びして無駄な時間となるため、このセリフの無い部分を再生しないようにする。セリフの無い部分を除外した残りとなるセリフのある部分について、字幕１表示分又は２表示分にあたるシーンごとに分割し、それぞれのシーンを個別に、かつリピート可能に再生できるようにしておく。このように加工した上で、１シーンごとに、映像とともに１の言語による言語情報で１回以上再生した後、同じシーンについて別の言語による言語情報で１回以上再生する。

【0014】

処理の手順としては、所定のデータ構造を保存した上で後から再生する手法と、順次読み込みながら前記データ構造の生成に対応する処理を再生に先んじて行う手法とがある。前者の場合、セリフの無い部分を除外した残りのセリフのある部分について、字幕１表示分又は２表示分にあたるシーンごとに分割され、１シーンごとに、前記映像と、当該映像と合わせて再生される複数の前記言語情報とが、紐付けられて保存されるデータ構造として一旦保存しておく。再生時には前記データ構造を読み込み、１シーンごとに、映像とともに１の言語による言語情報で１回以上再生した後、同じシーンについて別の言語による言語情報で１回以上再生する。分割とデータ構造の構築処理を予め行っておくことで、再生時の演算負荷を低下させ、低スペックの端末でも利用しやすくなる。

【0015】

後者の場合、映像コンテンツのデータを順次取り込みながら、セリフの無い部分を取り込まずに、セリフのある部分について字幕１表示分又は２表示分にあたるシーンごとにカットし、１シーンごとに、映像とともに１の言語による言語情報で１回以上再生した後、同じシーンについて別の言語による言語情報で１回以上再生する。映像コンテンツのデータを保存すると記憶装置の容量を大きく占めることになるが、このような順次処理を行うと、メモリ上の処理だけで済むため、記憶装置の容量が少なくても利用できる。また、著作権上、コピーの保存が困難な映像コンテンツでも利用可能であるという利点もある。ただし、順次処理するには前記除外とカットを再生に先んじて行い続けなければならないため、一時記憶であるメモリは十分な余裕が必要である。

【0016】

前記の分割したそれぞれのシーンは、シーンによっては１文の途中で区切ってもよいし、文の区切れが曖昧な場合は複数の文を一つのシーンとして扱ってもよい。学習者にとって、効果的なシーン動画を提供することを目的として分割する。

【0017】

前記１の言語及び前記別の言語は、予めユーザにより選択されたものを選ぶことで、ユーザ自身の状況に応じた最適な言語の組み合わせでの語学学習が可能になる。一方で、システムやサービスを提供する提供者側で、デフォルトとなる前記１の言語及び前記別の言語を定めておいてもよい。その言語に特化したサービスが提供できる。

【0018】

また、セリフのない部分を削除したシーンの映像素材を準備し活用することにより、効率的に集中力が途切れることなく、学習を継続できる外国語学習環境を提供できる。

【0019】

また、前記シーンごとに、前記１の言語にあたる母国語と、前記別の言語にあたる習得したい言語とを順番に、交互に再生することによって、それぞれのシーンに応じたフレーズについて、印象的に記憶することができる。

【0020】

また、本発明では、元の映像コンテンツが字幕設定を有する場合、表示させる字幕の設定は、音声と同じ言語を表示させる以外にも、習得したい言語との組み合わせを選択できる。これにより、学習者にとって、自身の能力や学習環境に応じた効果的な方式を選んで再生でき、継続学習しやすい外国語学習環境を提供できる。

【0021】

また、上記記載の、学習者が習得したい言語について、前記１の言語にあたる母国語一つに対し、前記別の言語として学習したい言語を複数個、同時に学習することもできる。

【0022】

また、セリフの無い部分を除外した上で分割したそれぞれのシーンについてシーン番号を付与し、学習者が個々のシーンを認識しやすくすることにより、印象効果を高めることができる。

【0023】

また、映像コンテンツの一部のシーンを予め定めた順番で再生させるだけでなく、映像コンテンツのセリフのある部分について、前記１の言語と前記別の言語を交互に再生させながら、元の映像コンテンツの全編に亘って再生できる選択肢を設けておくとよい。全編通して見ることで印象的に記憶することができる場合があり、学習者に、母国語によるそれぞれのシーンに対応したフレーズと関連付けた記憶を可能にする機能を提供できる。

【0024】

さらに、前記個々のシーンの再生にあたり、主に母国語となる前記１の言語での再生と、主に習得したい言語となる前記別の言語での再生との間の、インターバルとなる再生間隔時間を、学習者が選択できるようにしてもよい。習得したい言語が再生される前に自ら発声し、その後に再生される映像素材と比較学習ができ、学習者の記憶確認を可能にする機能を提供できる。

【0025】

また、前記個々のシーンの再生にあたり、前記１の言語と前記別の言語との両方について、前記個々のシーンのそれぞれの言語での再生回数を、言語毎、または母国語と習得したい言語とのセットで選択できる。主に学習者が、学習者の学習レベルに応じて選択できる機能を提供できる。

【0026】

また、前記個々のシーンの再生にあたり、前記１の言語と前記別の言語との両方において、それぞれの言語での再生速度を、学習者が選択できる手段を提供できる。このとき、映像の再生速度はそれぞれの言語の選択した速度に合わせる。

【0027】

さらに、前記個々のシーンの再生にあたり、言語ごとに個々のシーンを再生するかスキップするかを学習者が選択できる手段を提供できる。また、個々のシーンの再生順序も同様に学習者が選択できる手段を提供できる。いずれも、学習者が、学習者の学習レベルに応じて、選択できる手段を提供できる。

【発明の効果】

【0028】

この発明により、各シーンで母国語の再生をした直後に同シーンの他国語の再生をしたり、あるいはその逆順での再生が可能になる。母国語又は他国語での再生をした直後に別言語での再生が可能になるため、複数の言語情報での同じ部分の言い回しを頭の中で強固に結びつけることができることが期待される。また、一方の言語情報について複数回再生させた後に、他方の言語情報について再生させることで、一つのシーンの一の言語情報での言い回しを複数回かけてしっかりと確認した後に、他の言語情報での言い回しを確認することができるため、記憶に残りやすくなる。これを、余分なセリフ無しの部分をカットして行うことで、間延びした待ち時間がなく言語情報に集中して次々と同様の再生による学習をこなすことができる。

【0029】

この発明にかかる再生方法及び再生装置では、教材として学習者が好みであったり最適であったりと考える映像コンテンツを用い、さらに必要に応じてその中で最適と思えるシーンを抜き出して効率良く学習することができる。すなわち、学習者が想定する使用シーン、例えば学校での会話、ビジネスシーンでの会話、食事会での会話、旅行での会話等を選択する効率的な学習が実現できる。

【図面の簡単な説明】

【0030】

【図1】この発明にかかる再生装置の実施形態例である機能ブロック図

【図2】この発明にかかる再生方法の手順例を示すフロー図

【図3】（ａ）シーンごとに分割されたデータ構造の例を示すツリー図、（ｂ）シーンごとに分割されたデータ構造の別の例を示すツリー図

【図4】保存再生型の再生方法の実行手順例を示すフロー図

【図5】順次再生型の再生方法の実行手順例を示すチャート図

【図6】（ａ）順次再生型の別の再生方法の実行手順例における映像データの読み込みステップを示す図、（ｂ）（ａ）の次に言語データの読み込みステップを示す図、（ｃ）（ｂ）の次の結合ステップを示す図、（ｄ）（ｃ）の次の再生ステップを示す図

【図7】多言語リピート再生手段の第一の実施形態を示す図

【図8】多言語リピート再生手段の第二の実施形態を示す図

【図9】この発明にかかる再生装置がモニタに表示させる再生言語設定画面の例を示す図

【図10】この発明にかかる再生装置がモニタに表示させる再生条件設定画面の例を示す図

【図11】この発明にかかる再生装置がモニタに表示させる再生シーン選択設定画面の例を示す図

【図12】この発明にかかる再生装置がモニタに表示させる再生のホーム画面の例を示す図

【発明を実施するための形態】

【0031】

以下、この発明について詳細に説明する。
この発明は、映像コンテンツの再生方法、再生装置、及びそれを実行するプログラムである。ここで映像コンテンツとは、ドラマ、アニメーション、ニュース映像、映画など、映像とともに再生される音声、字幕、又はそれらの両方からなる言語情報を有するものをいう。前記言語情報として少なくとも音声を含んでいると好ましく、音声と字幕との両方を有しているとより好ましい。この発明では特に、複数の言語分有する映像コンテンツについて、言語学習に適した再生方法での再生を実現させる。

【0032】

この発明にかかる映像コンテンツの再生装置１１は、演算装置１２と一時記憶装置１３を有するコンピュータである。パソコンやスマートフォンなどの汎用のコンピュータでもよいし、ＤＶＤプレイヤー、ブルーレイ（登録商標）プレイヤー、ハードディスクレコーダーなどの、映像コンテンツ再生専用の装置でもよいし、カーナビモニターなどの専ら他の用途に用いる装置が本発明にかかる機能を有するものでもよい。ここでは、汎用のコンピュータを例として図１を用いて説明する。なお、演算装置１２は主にＣＰＵ（中央演算装置）であるが、その他の演算ユニットを併設されていてもよい。

【0033】

この発明にかかる再生装置１１は、いずれの実施形態であっても、映像コンテンツを元にしたデータを一時的に記憶しておく記憶装置１５、一時記憶装置１３のいずれかを有していることが必要である。特に、データ量が多くなるため記憶装置１５を有することが望ましい。ここで、一時記憶装置１３は揮発性メモリのような電源の供給によってデータを維持する装置であり、記憶装置１５はハードディスクやソリッドステートドライブのような、電源の供給無しにデータを維持できる装置を指す。

【0034】

この発明にかかる再生装置１１は、光ディスク装置１４を有していると望ましい。映像コンテンツはＤＶＤ（Digital Versatile Disc）やBlu-rayディスクなどの光学ディスクによって保存されることが一般に用いられており、これらの光学ディスクから映像コンテンツを取り込めることが望ましい。

【0035】

この発明にかかる再生装置１１は、外部記憶インターフェース１６（図中「インターフェース」をＩＦと略記する。以下同じ。）を有していてもよい。外部記憶インターフェース１６は、例えばＵＳＢ（Universal Serial Bus）端子などであり、ＵＳＢメモリやＵＳＢ接続ハードディスクやＵＳＢ接続の記憶装置を接続し、映像コンテンツを読み込み可能であるとよい。

【0036】

この発明にかかる再生装置１１は、再生する映像コンテンツを選択したり、再生方法の設定を入力したり、再生を開始・停止したりといった様々な操作を受け付けるため、入力インターフェース１７を有すると好ましい。入力インターフェース１７から入力を行うデバイスとしては、マウス、キーボード、赤外線リモコン、タッチパネルなど、特に限定されないが、モニタ２１に映し出される情報を操作できることが必要となる。

【0037】

この発明にかかる再生装置１１は、出力インターフェース１８を有することが必要である。出力インターフェース１８は、映像及び音声を出力するものであり、映像コンテンツが有する映像情報と言語情報とを出力できるものである必要がある。この出力インターフェース１８に接続される装置としては、モニタ２１やスピーカ２２が挙げられる。モニタ２１には映像の他に、字幕や設定画面などが表示される。スピーカ２２は背景音とともに音声を出力する。これらは再生装置１１と一体の筐体に纏められていてもよいし、図１のように外部接続されていてもよい。一体の筐体となっている実施形態としては、例えばスマートフォン、タブレット、モニタ付き光ディスク再生装置などが挙げられる。

【0038】

この発明にかかる再生装置１１は、ネットワークインターフェース１９（図中「NWIF」と略記する。）を有していてもよい。ネットワークインターフェース１９とは、有線ＬＡＮの端子や無線ＬＡＮのアンテナを有し、他のコンピュータやインターネットとの間で通信可能な装置及びソフトウェアである。他のコンピュータ、サーバから映像コンテンツを入手可能であるとよい。

【0039】

この発明にかかる再生装置１１は、専用の装置である必要はなく、映像コンテンツを再生できる装置において、後述する再生方法を実現させるためのプログラムをインストールすることで、構成されていてよい。

【0040】

この発明にかかる再生方法について、実施形態例を挙げて説明する。この発明にかかる再生方法では、再生装置１１は大まかには図２（ａ）又は（ｂ）に示す手順を経て再生を行う。図２（ａ）に示す手順では、まず再生装置１１が対象とする映像コンテンツについてデータとして取り込む（Ｓ１０１）。なお、リアルタイムに順次データを取り込みつつ再生することも可能ではある。しかし、再生が繰り返される時間とカットされる時間とが一致することはまずない。このため、保存後の再生であっても順次再生であっても、一旦映像コンテンツのデータを再生装置１１の記憶装置１５又は一時記憶装置１３に取り込んでおき、予め以下のステップを実行して設定に応じた再生を可能であるように準備しておくことが望ましい。

【0041】

再生装置１１は、取り込んだ映像コンテンツのデータに対して、セリフの無い部分を除外する無声部分除去手段を実行する（Ｓ１０２）。語学学習に特化して効率良く再生させるため、セリフの無い部分を再生する時間は、適切に設定したインターバルのみであることが望ましく、映像コンテンツの背景描写や長い間となる時間は再生時に省くべきだからである。ここで、セリフの無い部分とは、所定の秒数以上にわたって意味のあるセリフが存在しない部分をいう。カットする対象となるセリフのない部分を判断する際の閾値は、映像コンテンツの演出ごとに最適値は異なるが、概ね２秒以上であると好ましく、３秒以上であるとより好ましい。短すぎると通常の会話の応酬でも切断が入り、個々のセリフの前後に余裕がなさすぎる再生になってしまう。一方で、２０秒以下であると好ましく、１５秒以下であるとより好ましく、１０秒以下であるとさらに望ましい。待ち時間が長いと次のセリフまで間がありすぎ、効率が悪いためである。

【0042】

次に、再生装置１１は、除去後に残ったセリフのある部分について、字幕１表示分又は２表示分にあたるシーンごとに分割するシーン分割手段を実行する（Ｓ１０３）。言語にもよるが、字幕は１表示分から２表示分内に一文として認識できる一連のセリフが収まることが多い。このため、言語学習のため一文に相当する長さのセリフを多数の言語で繰り返し再生させる単位としては、字幕１表示分又は２表示分程度で繰り返すことが望ましい。なお、必ず一文である必要はなく、言語を切り替えて再生するのに適した長さに分割できるのであれば、文章の途中でカットしていてもよいし、複数の文章を連ねていてもよい。この分割した個々のシーンは、時系列順に通し番号を割り当てるなど、個々のシーンを再生装置１１が認識可能であるようにして、記憶装置１５又は一時記憶装置１３に記録しておく。個々のシーンは、映像コンテンツに字幕と音声が複数言語分紐付けられることになり、概念的には図３（ａ）又は（ｂ）のような構造のデータがシーンごとに存在することになる。図３（ａ）の形態では、字幕について各言語を個別に記録するとともに、音声についても各言語を個別に記録している。図３（ｂ）の形態では、各言語について字幕と音声をセットで記録する。なお、字幕が無い映像コンテンツの場合は、一つの選択した言語において数秒程度の無声部分を一文の終わりと認識して、音声認識によりシーン分割するとよい。

【0043】

その上で、再生装置１１は、１シーンごとに、映像とともに１の言語による言語情報で１回以上再生した後、同じシーンについて別の言語による言語情報で１回以上再生する、多言語リピート再生手段を実行する（Ｓ１１１）。１の言語による言語情報で再生するとは、基本的には音声を当該１の言語で再生することをいう。このときの字幕は音声についての当該１の言語と同一でもよいし、異なっていても良い。例えば英語を聞きながらその文章の英語の表記を目で確認してもよいし、英語を聞きながらその意味を日本語の字幕で確認してもよい。ユーザにより、好みとする再生の組み合わせが異なるためである。これらはユーザの選択によって最適な再生の状況を設定できるようにしておくとよい。

【0044】

また、上記の１回以上再生するとは、１回でもよいし、複数回でもよい。前記１の言語による言語情報で再生する回数と前記別の言語による言語情報で再生する回数は同じでもよいし異なっていてもよい。また、前記別の言語による言語情報で１回以上再生した後、さらに別の言語による言語情報で１回以上再生してもよい。

【0045】

また、図２（ａ）のＳ１０１〜Ｓ１０３の代わりに、図２（ｂ）に示すＳ１５１〜Ｓ１５３のような手順を採用して再生を行っても良い。図２（ｂ）に示す手順では、まず再生装置１１が、対象となる映像コンテンツについて走査し、セリフのある部分の映像コンテンツのみをシーンごとにして取り込む、有声部分映像取込手段を実行する（Ｓ１５１）。セリフのある部分と無い部分の判定基準はＳ１０２と同様の基準で行うことができる。
映像データは、同様に記憶装置１５又は一時記憶装置１３に取り込んでおく。次に、再生装置１１は、セリフのある部分として取り込んだ映像コンテンツのシーンに対応する言語データを取り込む言語データ取込手段を実行する（Ｓ１５２）。このとき取り込む言語データは、基本的には音声と字幕の両方である。また、複数言語について取り込んでよい。次に、再生装置１１は、取り込んだ映像コンテンツのシーンを、取り込んだ言語データと結合する音声映像結合手段を実行する（Ｓ１５３）。この結合は、複数言語について取り込んだときには、１の映像コンテンツに複数の言語データを結合した結合データが複数生成する。その上で再生装置１１は、結合データを再生する（Ｓ１１１）。

【0046】

映像コンテンツの再生方法としては、一旦データ構造を保存した後に再生する保存再生型の方法と、順次映像コンテンツを取り込みながら再生に先んじてデータを処理していく順次再生型の方法とが挙げられる。

【0047】

上記の保存再生型の方法の手順を、図４を例にとって説明する。予め、図２（ａ）のＳ１０１〜Ｓ１０３又は図２（ｂ）のＳ１５１〜１５３までを行っておき（図４では表示上図２（ａ）の手順を記載するがこれに限定されない。）、図３（ａ）又は（ｂ）のようなデータ構造で、記憶装置１５に保存しておく（Ｓ１０４）。なお、映像コンテンツの容量が一時記憶装置１３に一度に収容できない場合は、一度に処理可能な範囲で映像コンテンツの一部を取り込み、順次一連のデータ構造として書き出して行くとよい。その後、実際に語学学習に利用する際に、記憶装置１５から前記データ構造を読み込み（Ｓ１１０）、前記１の言語と前記別の言語を自動的に又はユーザが指定して、再生を行う（Ｓ１１１）。

【0048】

次に、上記の順次再生型の手順例を、図５を用いて説明する。図５の横軸は処理及び再生の経過時間であり、縦軸は映像コンテンツの内容における経過時間である。まず、再生装置１１は、映像コンテンツのメディアをセットされた光ディスク装置１４を介して、対象となる映像コンテンツを把握する。その映像コンテンツについて、再生を開始する前に先行して、所定時間分の映像コンテンツを読み込み始める（Ｓ２０１）。この読み込みは一時記憶装置１３への読み込みである。映像コンテンツの全てを読み込むと、一時記憶装置１３の記憶容量を圧迫するだけでなく、読み込みとその後の処理に時間が掛かりすぎるため、処理が再生までに間に合わなくなる。この所定時間は、再生装置１１の演算装置１２の演算能力や光ディスク装置１４の読み込み能力等に合わせて調整するとよい。この所定時間分の映像コンテンツについて、取り込んだ範囲でセリフのない部分の除去を行う（Ｓ２０２）。セリフのない部分が除去されたデータを、シーンごとに分割する（Ｓ２０３）。分割が終わったら、一時記憶装置１３上に上記のデータ構造と同様の構成のデータが展開されている。その展開されたデータについて、指定された言語情報に従って再生を開始する（Ｓ２１１）。これらの作業を、読み込んだ映像コンテンツの一部ごとに並行して行う。

【0049】

さらに、上記の順次再生型の別の手順例を、図６を用いて説明する。まず、再生装置１１は、映像コンテンツのメディアをセットされた光ディスク装置１４や、ネットワーク回線などを介して、対象となる映像コンテンツを把握する。その映像コンテンツについて、再生を開始する前に先行してデータを読み込み、セリフのある部分のみの映像データを順次抜き出す（図６（ａ））。これは映像中における１シーン分、又は２シーン分を一纏めのデータとして、一時記憶装置１３に一時保存する。このとき、映像データごとにシーン番号を付与して管理する（Ｖ００００１，Ｖ００００２、etc.）。このシーン番号は、映像中におけるシーンの通し番号と共通でもよいし、映像における２シーン分をまとめることで違っていてもよい。この作業は順次進行させる。

【0050】

次に、それぞれの抜き出した映像データの再生時刻に相当するセリフ音声及び字幕を、前記映像データのシーン番号に紐付けして、個々の言語ごとに分けて、順次一時記憶装置１３に一時保存する。例えば映像データＶ００００１に対応する日本語音声データＡ００００１Ｊ、英語音声データＡ００００１Ｅ、日本語字幕データＳ００００１Ｊ、英語字幕データＳ００００１Ｅ、のように番号を付与する（図６（ｂ））。この作業は、映像データの一時保存の進行とともに順次進行させる。

【0051】

次に、セリフ音声データ及び字幕データを、一時記憶装置１３から読み出して結合していく。シーン００００１の日本語データ作成にあたっては、映像データＶ００００１と、日本語音声データＡ００００１Ｊと、日本語字幕データＳ００００１Ｊとを組み合わせる。同じシーン００００１の英語データ作成にあたっては、映像データＶ００００１と、英語音声データＡ００００１Ｅと、英語字幕データＳ００００１Ｅとを組み合わせる（図６（ｃ））。この作業は、言語データの一時保存の進行とともに、順次進行させる。

【0052】

その上で、結合したシーンのデータを日本語と英語とについて再生を順次進める（図６（ｄ））。

【0053】

上記の例では日本語音声データと日本語字幕データとを組み合わせたが、設定に応じて日本語音声データと英語字幕データとの組み合わせ、又は英語音声データと日本語字幕データとの組み合わせでもよい。または、その他の言語による組み合わせでもよい。三言語以上のデータを用いる場合は、適宜組み合わせについての設定に応じて同様にデータを読み込み、データを結合する。

【0054】

上記の多言語リピート再生手段の具体的な実施形態について、図７を用いて説明する。この実施形態は始めに再生する１の言語として日本語を設定し、次に再生する別の言語として英語を設定している。それぞれの言語で音声を再生させる際には、その言語の字幕を表示させているものとする。また、図中Ｘ回、Ｙ１回、Ｚ回、Ａ回、Ｔ秒はそれぞれ設定可能な値である。

【0055】

まず、個々に分割されたシーンとして日本語で「もう、君達の助けなんかいらない。」との音声が再生される動画シーン００１を再生する。このとき、前記１の言語として日本語音声で「もう、君達の助けなんかいらない。」と再生するとともに、分割されたこのシーンの映像を再生させる。映像と音声とのタイミングは、元の映像コンテンツにおける再生の状況と一致している。また、合わせて日本語の字幕で「もう、君達の助けなんかいらない。」と表示する。以上で１のシーンについて、１の言語での１回の再生が終わる。この後、リピートするか別の言語に移るかは異なるが、設定された時間Ｔ秒のインターバルを挟むことができる。セリフが終わった後一瞬のインターバルもなく別の言語でのセリフが始まると、認識を切り替えることが難しいため、Ｔが０．２秒以上４秒以下程度のインターバルを挟むことができるようにする。このＴはデフォルト値が予め設定されており、ユーザが設定し直すことができる。

【0056】

前記インターバルの後、同じ１の言語（ここでは日本語）音声での動画シーン００１の再生とその後のインターバルとをＸ回繰り返してもよい。もちろん、Ｘ＝１に設定されて、日本語音声での再生を１回で終わらせてもよい。

【0057】

前記１の言語でのＸ回の再生の後、同じ動画シーン００１について、別の言語である英語音声で「I don't need your help any more.」と再生するとともに、分割されたこのシーン（動画シーン００１）の映像を再生させる。ここでも、映像と音声とのタイミングは、元の映像コンテンツにおける再生の状況と一致している。また、合わせて英語の字幕で「I don't need your help any more.」と表示する。以上でこのシーンにおける別の言語での１回の再生が終わる。この後、同様にＴ秒のインターバルを挟むことができる。このインターバルの後、同じ別の言語（ここでは英語）音声での動画シーン００１の再生とその後のインターバルとをＹ１回繰り返してもよい。もちろん、Ｙ１＝１に設定されて、英語音声での再生を１回で終わらせてもよい。

【0058】

以上の日本語音声での再生及びインターバルのＸ回の繰り返し、英語音声での再生及びインターバルのＹ１回の繰り返し、をもって再生動画シーン００１について１周期分の再生がされる。この１周期分の再生を、Ｚ回繰り返してもよい。もちろん、Ｚ＝１に設定されて、１周期分の再生の後に次のシーンに移っても良い。

【0059】

動画シーン００１のＺ周期分の再生の後、元の映像コンテンツにおいて時系列上次にあった動画シーン００２について、同様の再生を行う。同じく、映像とともに日本語音声で再生しインターバルを挟むことをＸ回繰り返し、映像と共に英語音声で再生しインターバルを挟むことをＹ１回繰り返す。これをＺ回繰り返した後、次の動画シーン００３の再生に移る。

【0060】

以上の手順を繰り返し、全ての動画シーンを再生したら、そこで終了するか、又は最初の動画シーン００１からの再生をＡ回繰り返す。長編映画やドラマなどでは１回が好ましいが、元々の映像コンテンツの長さが１０分以下の短編動画では複数回再生も十分に有効である。

【0061】

また別の実施形態として、三言語の音声を順に再生させる際の手順を図８とともに説明する。動画シーン００１について、１の言語での再生とインターバルをＸ回繰り返し、別の言語（ここでは英語）での再生とインターバルをＹ１回繰り返した後、さらに別の言語（ここでは中国語）での再生とインターバルをＹ２回繰り返して、１周期分の再生とする。この周期分の再生をＺ回繰り返して、次の動画シーン００２について同様に再生を行う。Ｙ２もＹ１と同様に設定可能である。

【0062】

これらの１の言語、別の言語、さらに別の言語として、日本語、英語、中国語を例に示したが、これらは上記の形態に限られるものではなく、元の映像コンテンツが有している言語情報であれば、自由に選択可能としてよい。再生装置１１のプログラムは、例えば図９に示すような再生言語設定画面をモニタ２１に表示させて、入力インターフェース１７からの入力を受け付けて、再生させる音声、字幕を適宜選択可能であるとユーザが設定しやすく好ましい。上記の１の言語を設定する母国語選択項目２０１と、上記の別の言語を設定する第一言語選択項目２０２と、上記のさらに別の言語を設定する第二言語選択項目２０３とのそれぞれについて、音声と字幕とをそれぞれ選択できる。なお、第三、第四言語を設定することも映像コンテンツ次第では可能であるが、言語が多すぎると学習用に適さなくなるため、母国語を含めて３言語程度に留めておくと好ましい。

【0063】

また、再生装置１１では、図１０に示すような、Ｘ，Ｙ１、Ｙ２、Ｚ，Ａ、Ｔのそれぞれの数値を設定できる再生条件設定画面をモニタ２１に表示させ、入力インターフェース１７から入力された値に従って、上記の繰り返し回数やインターバルを取り決めて再生させるようにすると扱いやすく好ましい。

【0064】

さらに、それぞれの言語ごとに、再生速度を変更可能としてもよい。母国語であれば再生速度を上げて再生させても十分に理解でき、時間短縮をすることができる。一方で、母国語以外の言語については、聞き取りやすくするために再生速度を遅くしたり、学習難度を意図的に上げるために再生速度を早くしたりするといった用途に用いることができる。

【0065】

なお、この発明にかかる再生方法ではセリフの無い区間を除外して再生するが、この再生装置１１が選択的に、セリフの無い区間も含めて再生させる選択肢（図中「台詞のない区間も含めて再生」）を用意しても構わない。

【0066】

上記の実施形態では動画シーン００１の次に動画シーン００２を再生させたが、設定により任意の動画シーンを再生させずに次のシーンを再生させてもよい。例えば１の俳優が喋っているシーンのみ聞き取り、他の俳優が喋っているシーンは省くといった使い方である。この選択を実現するため、再生装置１１のプログラムは映像コンテンツを記憶装置１５又は一時記憶装置１３に取り込んだ後で、図１１に示すような再生シーン選択設定画面をモニタ２１に表示させて、再生させる動画シーンごとにオンオフ切り替え可能なチェックボタン６０２を設けて、入力インターフェース１７からの入力によって希望のシーンのみを選択して再生させるようにしてもよい。この場合、チェックから外れたシーンを飛ばして、動画シーン０００３の次は動画シーン０００７が再生される。なお、この再生シーン選択設定画面では、それぞれのシーン番号６０３がどのシーンであるかをユーザが判別できるように、音声、映像、又はその両方をシーンごとに再生させる確認ボタン６０４を設けておくとよい。

【0067】

さらに、この選択画面では、再生させる順番を映像コンテンツの元の順番である昇順から、逆の順序となる降順に変更させたり、ランダムに再生順序を変更させたりする再生順序設定項目６０１を設けてもよい。選択された順番で再生させることで、元の順序に寄らないで多彩な学習が可能となる。一方で、昇順で並べておけば元の映像コンテンツのストーリーに沿った再生ができる。

【0068】

この発明にかかる再生装置１１は、映像とともに上記のそれぞれの設定画面への遷移のトリガーとなるボタンを表示するホーム画面を有していてよい。その例を図１２に示す。この例はスマートフォン上でこの発明にかかる再生方法を実現するプログラムを実行している際のホーム画面の例である。表示エリア１０１は映像及び字幕を再生する箇所であり、タイトルやシーン番号等その他の情報を表示してよい。再生言語設定ボタン１０２を選択すると図９に示す画面に遷移し、再生条件設定ボタン１０３を選択すると図１０に示す画面に遷移する。設定を完了した後はこのホーム画面に戻る。再生ボタン１０４を選択すると、表示エリア１０１にて映像及び字幕の再生が開始される。再生中はこの再生ボタン１０４が映像の停止を指示する停止ボタンに変化する。

【0069】

なお、この発明にかかる再生方法をサービスとしてサーバがネットワーク経由でユーザの端末に提供する場合、ユーザが著作権を保持する映像や著作権が切れた映像以外については、著作権保持者の契約による承諾完了後の映像素材を活用し、加工して、学習モードとして、再生することができる。

【符号の説明】

【0070】

１１ 再生装置
１２ 演算装置
１３ 一時記憶装置
１４ 光ディスク装置
１５ 記憶装置
１６ 外部記憶インターフェース
１７ 入力インターフェース
１８ 出力インターフェース
１９ ネットワークインターフェース
２１ モニタ
２２ スピーカ
１０１ 表示エリア
１０２ 再生言語設定ボタン
１０３ 再生条件設定ボタン
１０４ 再生ボタン
２０１ 母国語選択項目
２０２ 第一言語選択項目
２０３ 第二言語選択項目
６０１ 再生順序設定項目
６０２ チェックボタン
６０３ シーン番号
６０４ 確認ボタン

【要約】

【課題】多言語分の音声を含む言語情報を有する映像コンテンツを、効率良く再生させて語学学習のサポートに用いる。
【解決手段】映像コンテンツからセリフの無い部分を除外した上で、字幕１表示分又は２表示分にあたるシーンごとに分割し、１シーンごとに、映像とともに１の言語による言語情報で１回以上再生した後、同じシーンについて別の言語による言語情報で１回以上再生する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】