特許 5879169 字幕同期再生装置およびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5879169

(24)【登録日】2016年2月5日

(45)【発行日】2016年3月8日

(54)【発明の名称】字幕同期再生装置およびそのプログラム

(51)【国際特許分類】

   H04N 21/488 20110101AFI20160223BHJP

   H04N 21/431 20110101ALI20160223BHJP

   H04N 5/76 20060101ALI20160223BHJP

【ＦＩ】

   H04N21/488

   H04N21/431

   H04N5/76 A

【請求項の数】6

【全頁数】24

(21)【出願番号】特願2012-68756(P2012-68756)

(22)【出願日】2012年3月26日

(65)【公開番号】特開2013-201606(P2013-201606A)

(43)【公開日】2013年10月3日

【審査請求日】2015年2月2日

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】和泉 吉則

(72)【発明者】

【氏名】木村 武史

(72)【発明者】

【氏名】井上 誠喜

(72)【発明者】

【氏名】浜田 浩行

(72)【発明者】

【氏名】馬場 秋継

【審査官】 後藤 嘉宏

(56)【参考文献】

【文献】 特開２００８−１６６９７３（ＪＰ，Ａ）

【文献】 特開２００９−１６４９６９（ＪＰ，Ａ）

【文献】 特開２００４−２８９２７７（ＪＰ，Ａ）

【文献】 特開２００８−０７２５８６（ＪＰ，Ａ）

【文献】 特開２００８−１４１６９３（ＪＰ，Ａ）

【文献】 特開２００７−２４３８４２（ＪＰ，Ａ）

【文献】 特開２００９−２５３３４２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１４８１３５（ＵＳ，Ａ１）

【文献】 特開２００１−０４５４０８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ２１／００−２１／８５８

Ｈ０４Ｎ ５／７６

(57)【特許請求の範囲】

【請求項1】

映像音声コンテンツと当該映像音声コンテンツに対応した字幕とを、早送り再生として指定された倍率の再生時間長内で再生する字幕同期再生装置であって、
前記映像音声コンテンツと、当該映像音声コンテンツの字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する記憶手段と、
前記字幕文字データに基づいて、前記再生時間長に対する全字幕の総文字数から、単位時間当たりに表示する字幕の文字数である表示速度を算出する字幕速度算出手段と、
前記表示速度が予め定めた基準速度を超過するか否かを判定する字幕速度判定手段と、
この字幕速度判定手段の判定結果に基づいて、全字幕を前記再生時間長内で表示するように各字幕の表示時間区間を設定する表示時間区間設定手段と、
前記字幕ごとの字幕文字を前記記憶手段から読み出して、前記表示時間区間設定手段で設定された、前記字幕に対応する表示時間区間に表示する字幕再生手段と、
前記字幕に対応する映像音声コンテンツを前記記憶手段から読み出して、当該字幕の表示時間区間に対応する時間長で速度変換して再生する映像音声再生手段と、を備え、
前記表示時間区間設定手段は、
前記字幕速度判定手段で前記表示速度が前記基準速度以下であると判定された場合、前記字幕ごとに、当該字幕の文字数と前記基準速度とで特定される表示時間長の区間を前記表示時間区間として設定する基準区間設定手段と、
前記字幕速度判定手段で前記表示速度が前記基準速度を超過すると判定された場合、全字幕の表示時間長の総和が前記再生時間長となるように、前記字幕ごとの表示時間長を短縮した区間を前記表示時間区間として設定する短縮区間設定手段と、
を備えることを特徴とする字幕同期再生装置。

【請求項2】

前記基準区間設定手段は、前記再生時間長から全字幕の前記表示時間区間の時間長を減算した時間長を、前記再生時間長内に、前記映像音声コンテンツにおいて字幕を表示しない非字幕区間に対応して均等に割り当てることで、前記表示時間区間を設定することを特徴とする請求項１に記載の字幕同期再生装置。

【請求項3】

前記基準区間設定手段は、前記再生時間長内に、前記映像音声コンテンツにおいて字幕を表示しない非字幕区間の時間長の割合に応じた間隔で前記表示時間区間を設定することを特徴とする請求項１に記載の字幕同期再生装置。

【請求項4】

前記短縮区間設定手段は、前記再生時間長内に、前記全字幕の文字数の総和に対する各字幕の文字数の割合に応じて前記表示時間区間を設定することを特徴とする請求項１から請求項３のいずれか一項に記載の字幕同期再生装置。

【請求項5】

前記短縮区間設定手段は、前記再生時間長内に、冒頭ほど単位時間当たりに表示する字幕の文字数が少なくなるように前記表示時間区間を設定することを特徴とする請求項１から請求項３のいずれか一項に記載の字幕同期再生装置。

【請求項6】

映像音声コンテンツと、当該映像音声コンテンツに対応した字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する記憶手段を備えた字幕同期再生装置において、前記映像音声コンテンツに対して早送り再生として指定された倍率の再生時間長内で前記映像音声コンテンツおよび字幕を再生するために、コンピュータを、
前記再生時間長に対する全字幕の総文字数から、単位時間当たりに表示する字幕の文字数である表示速度を算出する字幕速度算出手段、
前記表示速度が予め定めた基準速度を超過するか否かを判定する字幕速度判定手段、
この字幕速度判定手段の判定結果に基づいて、全字幕を前記再生時間長内で表示するように各字幕の表示時間区間を設定する表示時間区間設定手段、
前記字幕ごとの字幕文字を前記記憶手段から読み出して、前記表示時間区間設定手段で設定された、前記字幕に対応する表示時間区間に表示する字幕再生手段、
前記字幕に対応する映像音声コンテンツを前記記憶手段から読み出して、当該字幕の表示時間区間に対応する時間長で速度変換して再生する映像音声再生手段、として機能させ、
前記表示時間区間設定手段は、
前記字幕速度判定手段で前記表示速度が前記基準速度以下であると判定された場合、前記字幕ごとに、当該字幕の文字数と前記基準速度とで特定される表示時間長の区間を前記表示時間区間として設定し、
前記字幕速度判定手段で前記表示速度が前記基準速度を超過すると判定された場合、全字幕の表示時間長の総和が前記再生時間長となるように、前記字幕ごとの表示時間長を短縮した区間を前記表示時間区間として設定することを特徴とする字幕同期再生プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像音声コンテンツを早送り再生する際に、映像音声コンテンツを字幕に同期させて再生させる字幕同期再生装置およびそのプログラムに関する。

【背景技術】

【0002】

従来、デジタルテレビ放送では、映像音声コンテンツ（放送番組）の映像中に、受信機で表示／非表示を切り替えることが可能な字幕（クローズドキャプション）を多重化して伝送している。
この字幕は、放送事業者によって、映像音声コンテンツ内における表示タイミング（表示開始時刻等）、位置、大きさ等が指定されている。そこで、通常、受信機では、その指定された表示タイミング等でしか字幕を表示することができない。

【0003】

しかし、受信機において、映像音声コンテンツやそれに対応する字幕を一旦蓄積し、早送り再生しようとすると、映像の表示タイミングに同期して字幕の表示時間が短縮され、字幕の可読性が確保されないことになる。
そこで、早送り再生時に、字幕の表示時間を延ばすことで可読に必要な表示時間を確保し、次の字幕の表示タイミングに重なる場合は、字幕の段数を増やすことで、前の字幕と次の字幕とを同時に表示させる技術が開示されている（特許文献１，２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−２８９２７７号公報

【特許文献2】特開２０１１−６１４９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のように、蓄積された映像音声コンテンツを早送り再生する際に、字幕の表示時間を延ばすと、すでに映像や音声は次の字幕内容に進んでいるにも関わらず、視聴者は、前の字幕を読み進めなければならない。すなわち、従来の手法では、字幕の表示タイミングが、映像や音声とずれてしまうため、映像音声コンテンツの内容を把握することが困難になってしまうという問題がある。
また、従来のように、字幕の段数を変えると、映像音声コンテンツの映像における字幕の領域が増えることになり、映像が見づらくなってしまうという問題がある。さらに、字幕の段数が変化することで、字幕そのものが読みづらくなってしまうという問題がある。

【0006】

本発明は、以上のような問題に鑑みてなされたものであり、映像音声コンテンツを早送り再生する場合であっても、字幕の可読性を極力保持しつつ、字幕の表示タイミングと映像や音声の再生タイミングとを合わせることが可能な字幕同期再生装置およびそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0007】

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の字幕同期再生装置は、映像音声コンテンツと当該映像音声コンテンツに対応した字幕とを、早送り再生として指定された倍率の再生時間長内で再生する字幕同期再生装置であって、記憶手段と、字幕速度算出手段と、字幕速度判定手段と、表示時間区間設定手段と、字幕再生手段と、映像音声再生手段と、を備え、表示時間区間設定手段が、基準区間設定手段と、短縮区間設定手段と、を備える構成とした。

【0008】

かかる構成において、字幕同期再生装置は、記憶手段に、映像音声コンテンツと、当該映像音声コンテンツの字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する。この映像音声コンテンツや字幕文字データは、予め記憶手段に記憶したものであってもよいし、放送波や通信回線を介して取得したものを逐次蓄積したものであってもよい。

【0009】

そして、字幕同期再生装置は、字幕速度算出手段によって、字幕文字データに基づいて、映像音声コンテンツを指定された倍率で再生した場合の再生時間長に対する全字幕の総文字数から、単位時間当たりに表示する字幕の文字数である表示速度を算出する。この表示速度は、その速度が速ければ、字幕を表示している時間長が短いことになり、字幕の可読性を判定する要素となる。

【0010】

さらに、字幕同期再生装置は、字幕速度判定手段によって、表示速度が予め定めた基準速度を超過するか否かを判定する。この基準速度は、一般的に可読性を確保するために必要とされる４〜６文字／秒程度とする。これによって、指定された倍率の映像音声コンテンツの再生時間長内に字幕を収めた場合の可読性を判定することができる。

【0011】

そして、字幕同期再生装置は、表示時間区間設定手段によって、字幕速度判定手段の判定結果に基づいて、全字幕を再生時間長内で表示するように各字幕の表示時間区間を設定する。
すなわち、字幕同期再生装置は、字幕速度判定手段で表示速度が基準速度以下であると判定された場合、表示時間区間設定手段の基準区間設定手段によって、字幕ごとに、当該字幕の文字数と基準速度とで特定される表示時間長の区間を表示時間区間として設定する。これによって、表示速度が基準速度を保った状態で、各字幕の表示時間区間が確保される。

【0012】

一方、字幕速度判定手段で表示速度が基準速度を超過すると判定された場合、表示時間区間設定手段の短縮区間設定手段によって、全字幕の表示時間長の総和が再生時間長となるように、字幕ごとの表示時間長を短縮した区間を表示時間区間として設定する。これによって、再生時間全体に亘って、字幕が表示される区間が確保されることになり、早送り再生の倍率で特定される字幕の時間長よりも長い時間を字幕の表示に用いることができる。

【0013】

そして、字幕同期再生装置は、字幕再生手段によって、字幕ごとの字幕文字を記憶手段から読み出して、表示時間区間設定手段で設定された、字幕に対応する表示時間区間に表示する。
また、字幕同期再生装置は、映像音声再生手段によって、字幕に対応する映像音声コンテンツを記憶手段から読み出して、当該字幕の表示時間区間に対応する時間長で速度変換して再生する。これによって、字幕の表示時間区間に対応して、映像音声コンテンツが再生されることになる。

【0014】

また、請求項２に記載の字幕同期再生装置は、請求項１に記載の字幕同期再生装置において、基準区間設定手段が、再生時間長から全字幕の表示時間区間の時間長を減算した時間長を、再生時間長内に、映像音声コンテンツにおいて字幕を表示しない非字幕区間に対応して均等に割り当てることで、表示時間区間を設定することを特徴とする。

【0015】

かかる構成において、字幕同期再生装置は、基準区間設定手段によって、再生時間長内の字幕の表示時間区間の間に、字幕を表示しない区間を均等に割り当てる。これによって、字幕が一定間隔で表示されることになるとともに、字幕を表示しない映像音声コンテンツの再生時間が確保されることになる。

【0016】

また、請求項３に記載の字幕同期再生装置は、請求項１に記載の字幕同期再生装置において、基準区間設定手段が、再生時間長内に、映像音声コンテンツにおいて字幕を表示しない非字幕区間の時間長の割合に応じた間隔で表示時間区間を設定することを特徴とする。

【0017】

かかる構成において、字幕同期再生装置は、基準区間設定手段によって、再生時間長内の字幕の表示時間区間の間に、映像音声コンテンツの字幕を表示しない区間をその時間長に応じて割り当てる。これによって、字幕を表示しない区間の映像音声コンテンツの再生速度が、どの区間においても一定となる。

【0018】

さらに、請求項４に記載の字幕同期再生装置は、請求項１から請求項３のいずれか一項に記載の字幕同期再生装置において、短縮区間設定手段が、再生時間長内に、全字幕の文字数の総和に対する各字幕の文字数の割合に応じて時間区間を設定することを特徴とする。

【0019】

かかる構成において、字幕同期再生装置は、短縮区間設定手段によって、字幕の文字数の割合に応じて表示時間区間を設定することで、再生時間全体に亘って字幕速度が一定となる。

【0020】

また、請求項５に記載の字幕同期再生装置は、請求項１から請求項３のいずれか一項に記載の字幕同期再生装置において、短縮区間設定手段が、再生時間全体に亘って、字幕が表示される区間が確保される再生時間長内に、冒頭ほど単位時間当たりに表示する字幕の文字数が少なくなるように表示時間区間を設定することを特徴とする。

【0021】

かかる構成において、字幕同期再生装置は、短縮区間設定手段によって、再生時間の冒頭ほど、単位時間当たりに表示する字幕の文字数が少なくすることで、字幕速度が遅くなり、可読性を高めることができる。

【0022】

さらに、請求項６に記載の字幕同期再生プログラムは、映像音声コンテンツと、当該映像音声コンテンツに対応した字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだ字幕文字データとを記憶する記憶手段を備えた字幕同期再生装置において、前記映像音声コンテンツに対して早送り再生として指定された倍率の再生時間長内で前記映像音声コンテンツおよび字幕を再生するために、コンピュータを、字幕速度算出手段、字幕速度判定手段、表示時間区間設定手段、字幕再生手段、映像音声再生手段、として機能させる構成とした。

【0023】

かかる構成において、字幕同期再生プログラムは、字幕速度算出手段によって、字幕文字データに基づいて、映像音声コンテンツを指定された倍率で再生した場合の再生時間長に対する全字幕の総文字数から、単位時間当たりに表示する字幕の文字数である表示速度を算出する。さらに、字幕同期再生プログラムは、字幕速度判定手段によって、表示速度が予め定めた基準速度を超過するか否かを判定する。

【0024】

そして、字幕同期再生プログラムは、表示時間区間設定手段によって、字幕速度判定手段の判定結果に基づいて、全字幕を再生時間長内で表示するように各字幕の表示時間区間を設定する。すなわち、字幕速度判定手段で表示速度が基準速度以下であると判定された場合、字幕同期再生プログラムは、表示時間区間設定手段によって、字幕ごとに、当該字幕の文字数と基準速度とで特定される表示時間長の区間を表示時間区間として設定する。

【0025】

一方、字幕速度判定手段で表示速度が基準速度を超過すると判定された場合、字幕同期再生プログラムは、表示時間区間設定手段によって、全字幕の表示時間長の総和が再生時間長となるように、字幕ごとの表示時間長を短縮した区間を表示時間区間として設定する。

【0026】

そして、字幕同期再生プログラムは、字幕再生手段によって、字幕ごとの字幕文字を記憶手段から読み出して、表示時間区間設定手段で設定された、字幕に対応する表示時間区間に表示する。また、字幕同期再生プログラムは、映像音声再生手段によって、字幕に対応する映像音声コンテンツを記憶手段から読み出して、当該字幕の表示時間区間に対応する時間長で速度変換して再生する。

【発明の効果】

【0027】

本発明は、以下に示す優れた効果を奏するものである。
請求項１，６に記載の発明によれば、映像音声コンテンツを早送り再生する際に、その再生時間長内において、字幕の単位時間当たりの文字数（表示速度）に応じて、字幕の表示時間区間を優先的に設定することができる。これによって、字幕同期再生装置は、映像音声コンテンツを早送り再生する場合であっても、字幕の表示時間が優先的に確保されて、字幕の可読性を極力保持することができる。
また、請求項１，６に記載の発明によれば、字幕の表示時間区間に対応させて映像音声コンテンツを再生させるため、字幕の表示タイミングと映像や音声の再生タイミングとを合わせることができる。これによって、字幕同期再生装置は、映像音声コンテンツを早送り再生する場合であっても、字幕と映像や音声とのタイミングがずれることがない。

【0028】

請求項２に記載の発明によれば、字幕の表示速度が基準速度以下となる倍率が指定された際に、字幕が一定間隔で表示されるため、次に字幕が表示されるタイミングを、利用者が予測することが可能になり、字幕の可読性を高めることができる。
請求項３に記載の発明によれば、字幕の表示速度が基準速度以下となる倍率が指定された際に、非字幕区間の映像音声コンテンツが一定速度で再生されるため、利用者は、映像音声コンテンツを違和感なく視聴することができる。

【0029】

請求項４に記載の発明によれば、字幕ごとの文字数が異なる場合であっても、映像音声コンテンツの再生中、字幕速度が一定になるため、字幕が読みやすくなる。
請求項５に記載の発明によれば、早送り再生で字幕速度が速くなる場合であっても、映像音声コンテンツの冒頭の字幕速度を遅くし、徐々に字幕速度を早くすることで、利用者が字幕を読むことに慣れ、コンテンツ全体として字幕の可読性劣化を抑えることができる。

【図面の簡単な説明】

【0030】

【図1】本発明の実施形態に係る字幕同期再生装置の構成を示すブロック構成図である。

【図2】図１の表示時間区間設定手段の構成を示すブロック構成図である。

【図3】図２の基準区間設定手段における字幕の表示時間区間を設定する手法を説明するための説明図である。

【図4】図２の短縮区間設定手段における字幕の表示時間区間を設定する手法を説明するための説明図である。

【図5】本発明の実施形態に係る字幕同期再生装置の動作を示すフローチャートである。

【図6】図１の字幕同期再生装置の表示時間区間設定手段の他の構成を示すブロック構成図である。

【図7】図２の短縮区間設定手段における字幕の表示時間区間を設定する他の手法を説明するための説明図である。

【図8】図１の映像音声再生手段における字幕の表示時間区間に映像音声コンテンツの非字幕区間を割り当てる例を説明するための説明図である。

【発明を実施するための形態】

【0031】

以下、本発明の実施形態について図面を参照して説明する。
［字幕同期再生装置の構成］
まず、図１を参照して、本発明の実施形態に係る字幕同期再生装置１の構成について説明する。
図１に示した字幕同期再生装置１は、映像音声コンテンツと当該映像音声コンテンツに対応した字幕とを、映像音声コンテンツに対して指定された再生倍率の時間長内で再生するものである。ここでは、字幕同期再生装置１は、放送受信手段１０と、放送信号解析手段１１と、通信送受信手段１２と、コンテンツ取得手段１３と、記憶手段１４と、字幕表示区間制御手段１５と、字幕再生手段１６と、映像音声再生手段１７と、表示手段１８と、操作制御手段１９と、を備える。

【0032】

放送受信手段１０は、アンテナＡを介して、放送データ（放送信号）を受信するものである。この放送受信手段１０は、例えば、地上デジタル放送で放送される放送データを受信、復調し、誤り訂正やＴＭＣＣ（Transmission and Multiplexing Configuration Control）復号等の復号を行い、ＭＰＥＧ２のトランスポートストリーム（ＴＳ：Transport Stream）として、放送信号解析手段１１に出力する。
なお、この放送受信手段１０は、アンテナＡを介して、電波によって放送信号を受信するものに限定されず、ケーブルを介して受信するものであってもよい。あるいは、通信データとして放送信号を受信するものであってもよい。

【0033】

放送信号解析手段１１は、放送受信手段１０で復調されたストリームデータ（トランスポートストリーム）において、ＰＳＩ／ＳＩ（Program Specific Information〔番組特定情報〕／Service Information〔番組配列情報〕）を解析し、現在選局されている編成チャンネルに対応するデータを抽出するものである。なお、選局は操作制御手段１９から指示されるチャンネル切り替え指示に基づいて行われる。
ここでは、放送信号解析手段１１は、字幕抽出手段１１ａと、映像音声抽出手段１１ｂと、を備える。

【0034】

字幕抽出手段１１ａは、放送受信手段１０で復調されたストリームデータから、現在選局されている編成チャンネルに対応する字幕文字データを抽出するものである。
この字幕抽出手段１１ａは、操作制御手段１９からの指示により字幕文字データの出力先を切り替えて出力する。すなわち、字幕抽出手段１１ａは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、字幕再生手段１６に字幕文字データを出力する。
また、字幕抽出手段１１ａは、映像音声コンテンツを蓄積（録画）する場合、操作制御手段１９からの指示により、記憶手段１４に字幕文字データを書き込む。

【0035】

映像音声抽出手段１１ｂは、放送受信手段１０で復調されたストリームデータから、現在選局されている編成チャンネルに対応する放送番組である映像音声コンテンツを抽出するものである。
この映像音声抽出手段１１ｂは、操作制御手段１９からの指示により映像音声コンテンツの出力先を切り替えて出力する。すなわち、映像音声抽出手段１１ｂは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、映像音声再生手段１７に映像音声コンテンツを出力する。
また、映像音声抽出手段１１ｂは、映像音声コンテンツを蓄積（録画）する場合、操作制御手段１９からの指示により、記憶手段１４に映像音声コンテンツを書き込む。

【0036】

通信送受信手段１２は、通信回線ＮＷを介して、データの通信を行うものである。例えば、ＴＣＰ／ＩＰ等の通信プロトコルによってデータ（通信データ）を、外部のサーバ（図示せず）との間で送受信する。この通信送受信手段１２は、コンテンツ取得手段１３から要求のあったデータを、外部のサーバから取得し、コンテンツ取得手段１３に出力する。

【0037】

コンテンツ取得手段１３は、通信送受信手段１２を介して、操作制御手段１９から要求のあった映像音声コンテンツや字幕文字データを取得するものである。このコンテンツ取得手段１３は、予め設定された、あるいは、操作制御手段１９によって指定された外部のサーバ（図示せず）から、映像コンテンツや字幕文字データを取得する。
ここでは、コンテンツ取得手段１３は、字幕取得手段１３ａと、映像音声取得手段１３ｂと、を備える。

【0038】

字幕取得手段１３ａは、操作制御手段１９から要求のあった映像音声コンテンツに対応する字幕文字データを、通信送受信手段１２を介して取得するものである。
この字幕取得手段１３ａは、操作制御手段１９からの指示により字幕文字データの出力先を切り替えて出力する。すなわち、字幕取得手段１３ａは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、字幕再生手段１６に字幕文字データを出力する。
また、字幕取得手段１３ａは、映像音声コンテンツを蓄積（録画）する場合、あるいは、すでに、蓄積されている映像音声コンテンツに対して後から字幕を取得する場合、操作制御手段１９からの指示により、記憶手段１４に字幕文字データを書き込む。

【0039】

映像音声取得手段１３ｂは、操作制御手段１９から要求のあった映像音声コンテンツを、通信送受信手段１２を介して取得するものである。
この映像音声取得手段１３ｂは、操作制御手段１９からの指示により映像音声コンテンツの出力先を切り替えて出力する。すなわち、映像音声取得手段１３ｂは、映像音声コンテンツがリアルタイム再生される場合、操作制御手段１９からの指示により、映像音声再生手段１７に映像音声コンテンツを出力する。
また、映像音声取得手段１３ｂは、映像音声コンテンツを蓄積（録画）する場合、操作制御手段１９からの指示により、記憶手段１４に映像音声コンテンツを書き込む。

【0040】

記憶手段１４は、映像音声コンテンツと、その映像音声コンテンツに対応する字幕文字データとを記憶するものである。この記憶手段１４は、例えば、ハードディスク、ブルーレイディスク等の一般的な記憶媒体である。
この記憶手段１４に記憶される映像音声コンテンツは、例えば、ＭＰＥＧ２で符号化された符号化データである。この映像音声コンテンツには、当該コンテンツの時間長（番組時間長）が含まれているものとする。
また、記憶手段１４に記憶される字幕文字データは、映像音声コンテンツの字幕ごとの字幕文字および当該字幕の時間区間を特定する時間情報を含んだデータである。

【0041】

ここで、字幕文字データに含まれる字幕文字は、例えば、各字幕の文字数、文字コード等である。
また、字幕の時間区間を特定する時間情報は、例えば、映像音声コンテンツを再生する際に字幕の表示の開始時刻（表示開始時刻）と、表示時間長とで表される情報であってもよいし、開始時刻（表示開始時刻）と、字幕の表示を終了する終了時刻（表示終了時刻）とで表される情報であってもよい。なお、この字幕の開始時刻や終了時刻は、映像音声コンテンツの表示単位に対応したものであって、例えば、時、分、秒およびフレーム番号で表されるタイムコードを用いることができる。

【0042】

字幕表示区間制御手段１５は、操作制御手段１９から指示される映像音声コンテンツの再生倍率に対応して、字幕を表示する区間を制御するものである。なお、字幕表示区間制御手段１５は、操作制御手段１９から、映像音声コンテンツを早送り再生するときの再生倍率が指示された場合に動作し、標準再生（１倍速再生）の場合には動作しないものとする。ここでは、字幕表示区間制御手段１５は、字幕速度算出手段１５ａと、字幕速度判定手段１５ｂと、表示時間区間設定手段１５ｃと、を備える。

【0043】

字幕速度算出手段１５ａは、再生倍率で映像音声コンテンツを再生したときの再生時間長に対する全字幕の総文字数から、その再生時間長で全字幕を表示するための字幕表示速度を算出するものである。すなわち、字幕速度算出手段１５ａは、指定された再生倍率で映像音声コンテンツを再生した際の再生時間長内で、字幕のすべての文字を表示させたときの、単位時間あたりの文字数を算出するものである。なお、字幕速度算出手段１５ａは、再生倍率については、操作制御手段１９から指示され、各字幕の文字数や映像音声コンテンツの時間長については、記憶手段１４から取得する。

【0044】

具体的には、指定された再生倍率をｎ、各字幕の文字数の総和（総文字数）をＷ、映像音声コンテンツの時間長（番組長）をＴとしたとき、字幕速度算出手段１５ａは、以下の式（１）により、字幕表示速度Ｖを算出する。

【0045】

【数1】

【0046】

このように算出された字幕表示速度Ｖは、字幕速度判定手段１５ｂおよび表示時間区間設定手段１５ｃに出力される。

【0047】

字幕速度判定手段１５ｂは、字幕速度算出手段１５ａで算出された字幕表示速度が予め定めた基準速度を超過するか否かを判定するものである。すなわち、字幕速度判定手段１５ｂは、再生倍率で映像音声コンテンツを再生し、その再生倍率に応じて字幕の表示時間を短縮させた場合に、字幕が可読か否かを判定するものである。

【0048】

一般に、字幕は、標準再生（１倍速再生）時において、１秒あたり４文字〜６文字で表示されるように設定される。すなわち、１秒あたりの文字数が、４文字〜６文字よりも多いと、字幕の可読性が低下する。そこで、字幕速度判定手段１５ｂは、例えば、字幕表示速度の基準速度を４文字／秒とする。なお、この基準速度は、予め定めた速度でもよいし、操作制御手段１９によって、例えば、初期設定等によって設定された速度でもよい。
この字幕速度判定手段１５ｂは、字幕表示速度が基準速度を超過するか否かの判定結果を表示時間区間設定手段１５ｃに出力する。

【0049】

表示時間区間設定手段１５ｃは、字幕速度判定手段１５ｂの判定結果に基づいて、全字幕を、映像音声コンテンツの再生時間長内で表示するように各字幕の再生時間に対する表示時間区間を設定するものである。

【0050】

ここで、図２を参照（適宜図１参照）して、表示時間区間設定手段１５ｃの構成についてさらに詳細に説明する。字幕速度判定手段１５ｂの字幕速度の判定結果が、字幕速度算出手段１５ａで算出された字幕表示速度が基準速度以下であるという判定であれば、映像音声コンテンツの再生時間長内で、字幕の文字すべてを基準速度以下で表示することができることになる。
一方、判定結果が、字幕表示速度が基準速度を超過するという判定であれば、映像音声コンテンツの再生時間長内で、字幕の文字すべてを基準速度以下で表示することはできないことになる。
そこで、表示時間区間設定手段１５ｃは、字幕速度判定手段１５ｂの判定結果に基づいて、字幕の表示時間区間を分けて設定するため、基準区間設定手段１５１と、短縮区間設定手段１５２と、を備える。

【0051】

基準区間設定手段１５１は、字幕速度判定手段１５ｂで字幕表示速度が基準速度以下であると判定された場合、字幕ごとに、当該字幕の文字数と基準速度とに応じた字幕の表示時間長の区間を字幕の表示時間区間として設定するものである。ここでは、基準区間設定手段１５１は、基準表示時間長算出手段１５１ａと、基準区間配置手段１５１ｂと、を備える。

【0052】

基準表示時間長算出手段１５１ａは、字幕を基準速度で表示するために必要となる時間長を算出するものである。すなわち、基準表示時間長算出手段１５１ａは、字幕ごとに、記憶手段１４に記憶されている字幕文字データに含まれている文字数を、可読判定の規準となる基準速度で除算することで、当該字幕の表示時間長を算出する。
具体的には、ある字幕Ｎの文字数をＷ_Ｎ、基準速度をＶ_ＴＨとしたとき、基準表示時間長算出手段１５１ａは、以下の式（２）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する。

【0053】

【数2】

【0054】

このように算出された字幕の表示時間長は、基準区間配置手段１５１ｂに出力される。

【0055】

基準区間配置手段１５１ｂは、映像音声コンテンツの再生時間長内に、基準表示時間長算出手段１５１ａで算出された時間長に応じて各字幕を配置するものである。
ここでは、基準区間配置手段１５１ｂは、前記式（２）で算出された表示時間長の字幕の表示時間区間を、再生倍率で映像音声コンテンツを再生したときの再生時間内に配置する。例えば、基準区間配置手段１５１ｂは、映像音声コンテンツの再生時間内に均等の間隔で字幕の表示時間区間を配置する。あるいは、基準区間配置手段１５１ｂは、映像音声コンテンツの再生時間内に、標準再生（１倍速再生）における映像音声コンテンツの字幕を表示しない区間（非字幕区間）の時間長の割合に応じた間隔を空けて、字幕の表示時間区間を配置することとしてもよい。

【0056】

ここで、図３を参照して、基準区間設定手段１５１における字幕の表示時間区間を設定する手法について説明する。
図３（ａ）は、標準再生（１倍速再生）における映像音声コンテンツＶＡの再生時間長（番組長Ｔ）と、字幕区間Ｃ_１，Ｃ_２，…，Ｃ_Ｎとを、時間方向に沿って対応付けて図示したものである。

【0057】

このとき、映像音声コンテンツＶＡをｎ倍速で再生しようとすると、その時間長は、図３（ｂ）に示すように、Ｔ／ｎとなる。
そして、図３（ｂ）に示すように、基準区間配置手段１５１ｂは、映像音声コンテンツＶＡの再生時間（番組長Ｔ／ｎ）内に、非字幕区間が等間隔になるように字幕表示区間を配置する。すなわち、基準区間配置手段１５１ｂは、番組長Ｔ／ｎ内に前記式（２）で計算したそれぞれの字幕区間Ｃ_１，Ｃ_２，…，Ｃ_Ｎに対応する表示時間長で、字幕の表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮを配置する。このとき、基準区間配置手段１５１ｂは、番組長Ｔ／ｎから字幕の表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの時間長を減算した時間を非字幕区間数に応じて均等に割り当てた時間ｔを、表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの間隔とする。
なお、映像音声コンテンツＶＡにおいて、表示時間区間の間に、非字幕区間が存在せず、表示時間区間が連続している場合、基準区間配置手段１５１ｂは、非字幕区間として時間ｔを割り当てる必要はない。

【0058】

あるいは、図３（ｃ）に示すように、基準区間配置手段１５１ｂは、映像音声コンテンツＶＡの再生時間内に、標準再生（１倍速再生）における映像音声コンテンツＶＡの非字幕区間の時間長の割合に応じた間隔を空けて、字幕の表示時間区間を配置する。すなわち、基準区間配置手段１５１ｂは、番組長Ｔ／ｎ内に前記式（２）で計算したそれぞれの字幕区間Ｃ_１，Ｃ_２，…，Ｃ_Ｎに対応する表示時間長で、字幕の表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮを配置する。このとき、基準区間配置手段１５１ｂは、図３（ｃ）に示すように、番組長Ｔ／ｎから字幕の表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの時間長を減算した時間を図３（ａ）に示した標準再生における映像音声コンテンツＶＡの非字幕区間の時間Ｔ_１，Ｔ_２，…，Ｔ_Ｎ，Ｔ_Ｎ＋１の割合に応じた間隔ｔ_１，ｔ_２，…，ｔ_Ｎ，ｔ_Ｎ＋１に分配して、表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの間隔とする。

【0059】

なお、ここでは、図３（ａ）に示したように、最初の字幕区間Ｃ_１の前と、最後の字幕区間Ｃ_Ｎの後とに、字幕が存在しない非字幕区間を含んだ例を示しているが、この非字幕区間が含まれていない場合は、図３（ｂ），（ｃ）において、表示時間区間Ｃ_Ｄ１の前や、表示時間区間Ｃ_ＤＮの後に時間ｔ，ｔ_１，ｔ_Ｎ＋１の区間を配置する必要はない。
図２に戻って、表示時間区間設定手段１５ｃの構成について説明を続ける。

【0060】

短縮区間設定手段１５２は、字幕速度判定手段１５ｂで字幕表示速度が基準速度を超過すると判定された場合、全字幕の表示時間長の総和が、映像音声コンテンツの再生時間長となるように、字幕ごとの表示時間長を短縮した区間を字幕の表示時間区間として設定するものである。ここでは、短縮区間設定手段１５２は、短縮表示時間長算出手段１５２ａと、短縮区間配置手段１５２ｂと、を備える。

【0061】

短縮表示時間長算出手段１５２ａは、映像音声コンテンツの再生時間内で字幕を表示するために必要となる時間長を字幕ごとに算出するものである。ここでは、短縮表示時間長算出手段１５２ａは、記憶手段１４に記憶されている字幕文字データに基づいて、映像音声コンテンツの再生時間長において、全字幕の文字数の総和（総文字数）に対する各字幕の文字数の割合に相当する時間長を、当該字幕の表示時間長として算出する。

【0062】

具体的には、指定された再生倍率をｎ、全字幕の文字数の総和（総文字数）をＷ、映像音声コンテンツの時間長（番組時間長）をＴ、ある字幕Ｎの文字数をＷ_Ｎとしたとき、短縮表示時間長算出手段１５２ａは、以下の式（３）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する。

【0063】

【数3】

【0064】

このように算出された字幕の表示時間長は、短縮区間配置手段１５２ｂに出力される。

【0065】

短縮区間配置手段１５２ｂは、映像音声コンテンツの再生時間長内に、短縮表示時間長算出手段１５２ａで算出された時間長の各字幕を配置するものである。
ここでは、短縮区間配置手段１５２ｂは、前記式（３）で算出された表示時間長の字幕の表示時間区間を、連続して接続するように配置する。

【0066】

ここで、図４を参照して、短縮区間設定手段１５２における字幕の表示時間区間を設定する手法について説明する。
図４（ａ）は、標準再生（１倍速再生）における映像音声コンテンツＶＡの再生時間長（番組長Ｔ）と、字幕区間Ｃ_１，Ｃ_２，…，Ｃ_Ｎとを、時間方向に沿って対応付けて図示したものである。
このとき、映像音声コンテンツＶＡをｎ倍速で再生したとすると、その時間長は、図４（ｂ）に示すように、Ｔ／ｎとなる。一方、字幕は、字幕速度判定手段１５ｂで字幕表示速度が基準速度を超過すると判定されていることから、字幕を基準速度で表示すると、全字幕の表示時間長は、映像音声コンテンツＶＡの再生時間長（番組長Ｔ／ｎ）を超過してしまう。

【0067】

そこで、短縮表示時間長算出手段１５２ａは、前記式（３）により、字幕の表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの表示時間長を算出する。これによって、表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの表示時間長の総和は、映像音声コンテンツＶＡの再生時間長（番組長Ｔ／ｎ）となる。また、このとき、各表示時間区間Ｃ_Ｄ１，Ｃ_Ｄ２，…，Ｃ_ＤＮの表示時間長は、式（３）により、文字数に応じた時間長となるため、単位時間当たりの表示文字数（字幕表示速度）は一定となる。

【0068】

以上説明したように、表示時間区間設定手段１５ｃは、映像音声コンテンツの再生時間長に、字幕の表示時間区間を設定することができる。
そして、表示時間区間設定手段１５ｃ（基準区間配置手段１５１ｂおよび短縮区間配置手段１５２ｂ）は、字幕の表示時間区間を特定する情報（字幕表示時間区間情報）を、字幕再生手段１６および映像音声再生手段１７に出力する。

【0069】

なお、この字幕表示時間区間情報は、具体的には、各字幕の表示時間区間の表示開始時刻および表示終了時刻、あるいは、表示時間区間の表示開始時刻および表示時間長を含み、各字幕の表示時間区間が、記憶手段１４に記憶されている字幕文字データのどの字幕に対応するのかを示す情報（例えば、映像音声コンテンツの最初の字幕から連続して付したシリアル番号等）である。これによって、それぞれの字幕と、その字幕を表示する表示時間区間とが対応付けられることになる。
図１に戻って、字幕同期再生装置１の構成について説明を続ける。

【0070】

字幕再生手段１６は、映像音声コンテンツに対応する字幕を再生するものである。
ここでは、操作制御手段１９からの指示により、記憶手段１４に記憶されている映像音声コンテンツを再生するタイムシフト再生において早送り再生する旨が指示された場合、字幕再生手段１６は、字幕表示区間制御手段１５から出力される字幕表示時間区間情報で特定される字幕の表示時間区間ごとに、表示時間区間の表示開始時刻に当該区間に対応する字幕文字を記憶手段１４から読み出して表示手段１８に出力する。また、字幕再生手段１６は、表示時間区間の表示終了時刻に達した段階、あるいは、表示時間長の時間が経過した段階で、表示手段１８への字幕の出力を停止する。

【0071】

なお、操作制御手段１９からの指示により、放送波を介して受信した映像音声コンテンツをリアルタイム再生する場合、字幕再生手段１６は、放送信号解析手段１１の字幕抽出手段１１ａで抽出された字幕文字データで特定される字幕ごとに、映像音声コンテンツの再生開始からの時刻が表示開始時刻に達した段階で、当該字幕の字幕文字を表示手段１８に出力する。
そして、字幕再生手段１６は、字幕ごとに、映像音声コンテンツの再生開始からの時刻が表示終了時刻に達した段階、あるいは、表示時間長の時間が経過した段階で、表示手段１８への字幕の出力を停止する。

【0072】

また、操作制御手段１９からの指示により、通信回線ＮＷを介して取得した映像音声コンテンツをリアルタイム再生する場合、字幕再生手段１６は、コンテンツ取得手段１３の字幕取得手段１３ａから字幕文字データを入力すること以外、放送波を介して受信した字幕を再生する場合と同様の処理を行う。
また、操作制御手段１９からの指示により、記憶手段１４に記憶されている映像音声コンテンツを再生するタイムシフト再生において標準再生（１倍速再生）が指示された場合、字幕再生手段１６は、記憶手段１４から字幕文字データを読み出すこと以外、放送波を介して受信した字幕を再生する場合と同様の処理を行う。

【0073】

映像音声再生手段１７は、映像音声コンテンツを復号するとともに、再生倍率に応じて変化する字幕の表示時間区間に対応して映像音声コンテンツの再生速度を変換するものである。ここでは、映像音声再生手段１７は、復号手段１７ａと、画速変換手段１７ｂと、話速変換手段１７ｃと、を備える。

【0074】

復号手段１７ａは、映像音声コンテンツを復号するものである。なお、この復号は、例えば、映像音声コンテンツがＭＰＥＧ２符号化方式で符号化されたものであれば、ＭＰＥＧ２に対応した復号処理である。

【0075】

ここでは、復号手段１７ａは、放送波を介して受信した映像音声コンテンツを再生する場合、放送信号解析手段１１の映像音声抽出手段１１ｂで抽出された映像音声コンテンツを復号し、通信回線ＮＷを介して取得した映像音声コンテンツを再生する場合、コンテンツ取得手段１３の映像音声取得手段１３ｂで取得された映像音声コンテンツを復号する。
また、復号手段１７ａは、記憶手段１４に記憶されている映像音声コンテンツを再生する場合、操作制御手段１９から指示された映像音声コンテンツを記憶手段１４から読み出して復号する。

【0076】

なお、操作制御手段１９からの指示により、映像音声コンテンツをリアルタイム再生、あるいは、タイムシフト再生における標準再生（１倍速再生）で再生する場合、復号手段１７ａは、復号した映像音声コンテンツを表示手段１８に出力する。
一方、操作制御手段１９からの指示により、映像音声コンテンツを早送り再生する場合、復号手段１７ａは、復号した映像音声コンテンツのうち、映像信号については画速変換手段１７ｂに、音声信号については話速変換手段１７ｃにそれぞれ出力する。

【0077】

画速変換手段１７ｂは、字幕表示区間制御手段１５から出力される字幕表示時間区間情報に基づいて、映像音声コンテンツの映像信号を速度変換するものである。
ここでは、画速変換手段１７ｂは、記憶手段１４に記憶されている字幕文字データのうちで、字幕表示時間区間情報で特定される字幕の標準再生時における表示開始時刻および表示終了時刻に対応する映像音声コンテンツの映像信号を、字幕表示時間区間情報で特定される字幕の表示時間区間の時間長に速度変換する。

【0078】

また、画速変換手段１７ｂは、字幕表示時間区間情報で特定される字幕の表示時間区間が連続していない場合、すなわち、字幕が存在しない区間については、直前の字幕の標準再生時における表示終了時刻後から、次の字幕の標準再生時における表示開始時刻の直前までの映像音声コンテンツの映像信号を、前後の字幕の表示時間区間の間の時間長に速度変換する。

【0079】

なお、このとき、直前に字幕が存在していない場合、画速変換手段１７ｂは、映像音声コンテンツの最初から、次の字幕の標準再生時における表示開始時刻の直前までの映像信号を、速度変換の対象とする。また、次の字幕が存在していない場合、画速変換手段１７ｂは、直前の字幕の標準再生時における表示終了時刻後から、映像音声コンテンツの最後までの映像信号を、速度変換の対象とする。

【0080】

この画速変換手段１７ｂにおける速度変換は、一般的な画速変換技術を用いればよい。例えば、画速変換手段１７ｂは、記憶手段１４に記憶されている字幕文字データで特定される字幕の標準再生時の時間長と、字幕表示時間区間情報で特定される表示時間区間の時間長との比に応じて、標準再生時の字幕区間に対応する映像信号をフレーム単位で間引くことで、再生時間長を短くすることができる。
この画速変換手段１７ｂは、画速変換を行った映像信号を、順次、表示手段１８に出力する。

【0081】

話速変換手段１７ｃは、字幕表示区間制御手段１５から出力される字幕表示時間区間情報に基づいて、映像音声コンテンツの音声信号を速度変換するものである。
ここでは、話速変換手段１７ｃは、記憶手段１４に記憶されている字幕文字データのうちで、字幕表示時間区間情報で特定される字幕の標準再生時における表示開始時刻および表示終了時刻に対応する映像音声コンテンツの音声信号を、字幕表示時間区間情報で特定される字幕の表示時間区間の時間長に速度変換する。

【0082】

また、話速変換手段１７ｃは、字幕表示時間区間情報で特定される字幕の表示時間区間が連続していない場合、すなわち、字幕が存在しない区間については、直前の字幕の標準再生時における表示終了時刻後から、次の字幕の標準再生時における表示開始時刻の直前までの映像音声コンテンツの音声信号を、前後の字幕の表示時間区間の間の時間長に速度変換する。

【0083】

なお、このとき、直前に字幕が存在していない場合、話速変換手段１７ｃは、映像音声コンテンツの最初から、次の字幕の標準再生時における表示開始時刻の直前までの音声信号を、速度変換の対象とする。また、次の字幕が存在していない場合、話速変換手段１７ｃは、直前の字幕の標準再生時における表示終了時刻後から、映像音声コンテンツの最後までの音声信号を、速度変換の対象とする。

【0084】

この話速変換手段１７ｃにおける速度変換は、一般的な話速変換技術を用いればよい。例えば、話速変換手段１７ｃは、記憶手段１４に記憶されている字幕文字データで特定される字幕の標準再生時の時間長と、字幕表示時間区間情報で特定される字幕の表示時間区間の時間長との比に応じて、音声ピッチ（基本周波数）の周期で、音声波形の間引きを行い、音声波形どうしを順次重ね合わせて接続すればよい。
この話速変換手段１７ｃは、話速変換を行った音声信号を、順次、表示手段１８に出力する。

【0085】

表示手段１８は、映像音声再生手段１７で再生された音声信号を表示するとともに、映像音声再生手段１７で再生された映像信号に字幕再生手段１６で再生された字幕を合成して表示するものである。
なお、表示手段１８は、音声信号については、外部に接続されたスピーカ等の音声出力装置Ｓｐに出力し、映像信号については、外部に接続された液晶ディスプレイ等の映像表示装置Ｍｏに出力する。

【0086】

操作制御手段１９は、外部に接続されたリモコン装置等の入力装置Ｒｉからの操作信号を入力して、字幕同期再生装置１内の各手段の動作を制御するものである。
例えば、操作制御手段１９は、入力装置Ｒｉから、テレビ放送のチャンネル切り替えを指示されることで、放送信号解析手段１１に対して、選択されたチャンネルを示すチャンネル切り替え指示を通知する。

【0087】

また、例えば、操作制御手段１９は、入力装置Ｒｉを介して、外部のサーバから映像音声コンテンツや字幕を取得する旨を指示されることで、コンテンツ取得手段１３に対して、映像音声コンテンツ等の所在を特定する情報（例えば、サーバのＩＰアドレス、映像音声コンテンツのファイル名等の識別情報）を、コンテンツ取得手段１３に通知する。

【0088】

また、操作制御手段１９は、映像音声コンテンツや字幕をリアルタイム再生するのか、あるいは、蓄積するのかを、入力装置Ｒｉを介して指示されることで、放送信号解析手段１１やコンテンツ取得手段１３に対して、映像音声コンテンツや字幕の出力先を切り替える指示を行う。

【0089】

また、操作制御手段１９は、記憶手段１４に記憶されている映像音声コンテンツを再生（タイムシフト再生）させる指示を、入力装置Ｒｉを介して指示されることで、字幕再生手段１６や映像音声再生手段１７に対して、記憶手段１４に記憶されている字幕や映像音声コンテンツを再生させる旨を指示する。さらに、操作制御手段１９は、入力装置Ｒｉを介して、早送り再生が指示された場合、字幕表示区間制御手段１５に対して、再生倍率を通知する。

【0090】

以上のように字幕同期再生装置１を構成することで、字幕同期再生装置１は、映像音声コンテンツを再生する際に、字幕の表示速度（単位時間当たりの文字数）を優先し、字幕の表示時間に同期して、それぞれの字幕に対応する映像音声コンテンツを再生することができる。これによって、字幕同期再生装置１は、映像音声コンテンツを早送り再生する場合に、最大で、再生倍率に基づく再生時間長分まで、字幕の表示時間を確保するこができ、字幕の可読性を極力保持することができる。
なお、字幕同期再生装置１は、コンピュータを前記した各手段として機能させるプログラム（字幕同期再生プログラム）によって動作させることができる。

【0091】

［字幕同期再生装置の動作］
次に、図５を参照（構成については適宜図１，図２参照）して、本発明の実施形態に係る字幕同期再生装置１の動作について説明する。なお、字幕同期再生装置１において、映像音声コンテンツのリアルタイム再生や、一旦蓄積した映像音声コンテンツの標準再生（１倍速再生）は、一般的な動作であるため、ここでは説明を省略し、早送り再生（ｎ倍速再生）の動作についてのみ説明する。また、図５中、「映音」は「映像音声コンテンツ」を示す。

【0092】

まず、字幕同期再生装置１は、操作制御手段１９によって、外部の入力装置Ｒｉを介して、利用者（視聴者）が所望する再生倍率ｎと、再生を行う映像音声コンテンツ（番組）を特定する情報（番組名、ファイル名等）を入力する（ステップＳ１）。

【0093】

そして、字幕同期再生装置１は、字幕表示区間制御手段１５の字幕速度算出手段１５ａによって、ステップＳ１で指定された、記憶手段１４に記憶されている映像音声コンテンツおよびそれに対応する字幕文字データから、映像音声コンテンツの標準再生における時間長（番組長Ｔ）と、全字幕の総文字数Ｗとを取得し、ステップＳ１で指定された再生倍率ｎから、前記式（１）により、字幕表示速度Ｖを算出する（ステップＳ２）。

【0094】

そして、字幕同期再生装置１は、字幕速度判定手段１５ｂによって、ステップＳ２で算出された字幕表示速度Ｖが、予め定めた基準速度Ｖ_ＴＨ以下であるかを判定する（ステップＳ３）。

【0095】

ここで、字幕表示速度Ｖが基準速度Ｖ_ＴＨ以下であった場合（ステップＳ３でＹｅｓ）、字幕同期再生装置１は、表示時間区間設定手段１５ｃの基準区間設定手段１５１によって、映像音声コンテンツの再生時間内に、字幕ごとに、当該字幕の文字数と基準速度Ｖ_ＴＨとに応じた字幕の表示時間区間を設定する。

【0096】

すなわち、字幕同期再生装置１は、基準区間設定手段１５１の基準表示時間長算出手段１５１ａによって、記憶手段１４に記憶されている字幕文字データから、字幕ごとの文字数を取得し、ある字幕Ｎの文字数をＷ_Ｎとしたとき、前記式（２）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する（ステップＳ４）。

【0097】

そして、字幕同期再生装置１は、基準区間設定手段１５１の基準区間配置手段１５１ｂによって、映像音声コンテンツを再生倍率ｎで再生したときの再生時間内に、非字幕区間が等間隔になるように字幕の表示時間区間を配置し（図３（ｂ）参照）、各字幕の表示時間区間における表示開始時刻と表示終了時刻とを設定する（ステップＳ５）。ここで、各表示時間区間の間は、字幕が存在しない字幕非表示時間区間に対応する。

【0098】

なお、ここでは、映像音声コンテンツの再生時間内に等間隔で字幕の表示時間区間を設定したが、標準再生した際の映像音声コンテンツの非字幕区間の時間長の割合に応じた間隔を空けて、字幕の表示時間区間を設定してもよい（図３（ｃ）参照）。
これによって、映像音声コンテンツの再生時間内に、基準速度で字幕を表示する区間に相当する表示時間区間が設定されることになる。

【0099】

一方、字幕表示速度Ｖが基準速度Ｖ_ＴＨを超過した場合（ステップＳ３でＮｏ）、字幕同期再生装置１は、表示時間区間設定手段１５ｃの短縮区間設定手段１５２によって、再生倍率で映像音声コンテンツを再生した際の再生時間内に収まるように、字幕ごとの表示時間長を短縮した字幕の表示時間区間を設定する。

【0100】

すなわち、字幕同期再生装置１は、短縮区間設定手段１５２の短縮表示時間長算出手段１５２ａによって、記憶手段１４に記憶されている字幕文字データから、字幕ごとの文字数を取得し、ある字幕Ｎの文字数をＷ_Ｎ、全字幕の文字数の総和（総文字数）をＷ、映像音声コンテンツの時間長（番組時間長）をＴとしたとき、前記式（３）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する（ステップＳ６）。

【0101】

そして、字幕同期再生装置１は、短縮区間設定手段１５２の短縮区間配置手段１５２ｂによって、映像音声コンテンツを再生倍率ｎで再生したときの再生時間内に、ステップＳ６で算出した字幕の表示時間区間を連続して接続するように配置し（図４（ｂ）参照）、各字幕の表示時間区間における表示開始時刻と表示終了時刻とを設定する（ステップＳ７）。

【0102】

これによって、映像音声コンテンツの再生時間内のすべてに、字幕の文字数に応じた字幕の表示時間区間が設定されることになる。この場合、映像音声コンテンツの再生時間内には、字幕非表示時間区間は設定されないことになる。
このように、ステップＳ５またはステップＳ７において、字幕の表示時間区間（表示開始時刻、表示終了時刻）が設定された後、字幕同期再生装置１は、ステップＳ８以降の動作に進む。

【0103】

ステップＳ５またはステップＳ７の動作後、字幕同期再生装置１は、字幕再生手段１６および映像音声再生手段１７によって、映像音声コンテンツの早送り再生（ｎ倍速再生）の開始時刻から経過時間に同期して、字幕および映像音声コンテンツの再生を行う。

【0104】

まず、字幕同期再生装置１は、字幕再生手段１６および映像音声再生手段１７によって、再生開始時刻からの経過時間が、ステップＳ５またはステップＳ７において設定された字幕の表示時間区間内の時刻か否かを判定する。すなわち、経過時間が表示時間区間に達したときに、字幕の再生が必要であると判定し、表示時間区間を経過したときに、字幕の再生が不要であると判定する（ステップＳ８）。

【0105】

ここで、字幕の再生が必要であると判定された場合（ステップＳ８でＹｅｓ）、字幕同期再生装置１は、字幕再生手段１６によって、字幕の表示時間区間の時間長だけ字幕を再生し、表示させる（ステップＳ９）。すなわち、字幕再生手段１６は、字幕の表示時間区間の表示開始時刻に、当該表示時間区間に対応する字幕文字を記憶手段１４から読み出して表示手段１８に出力して字幕を表示させ、経過時間が表示時間区間の表示終了時刻に達した段階で、表示手段１８への字幕文字の出力を停止する。

【0106】

また、ステップＳ９と並行して、字幕同期再生装置１は、映像音声再生手段１７によって、標準再生時における字幕の表示開始時刻から表示終了時刻までの映像音声コンテンツを、字幕の表示時間区間の時間長で速度変換して再生し、表示させる（ステップＳ１０）。

【0107】

このとき、映像音声再生手段１７は、復号手段１７ａによって映像音声コンテンツを復号しつつ、画速変換手段１７ｂによって、標準再生時における字幕の表示開始時刻から表示終了時刻までの映像音声コンテンツの映像信号を、字幕の表示時間区間の時間長となるように画速変換する。また、画速変換と同時に、話速変換手段１７ｃによって、標準再生時における字幕の表示開始時刻から表示終了時刻までの映像音声コンテンツの音声信号を、字幕の表示時間区間の時間長となるように話速変換する。

【0108】

一方、字幕の再生が必要でないと判定された場合（ステップＳ８でＮｏ）、字幕同期再生装置１は、映像音声再生手段１７によって、標準再生時における字幕の非表示時間区間の映像音声コンテンツを、字幕表示時間区間情報で特定される字幕非表示時間区間の時間長で速度変換して再生し、表示させる（ステップＳ１１）。

【0109】

このとき、映像音声再生手段１７は、復号手段１７ａによって映像音声コンテンツを復号しつつ、画速変換手段１７ｂによって、直前の字幕の標準再生時における表示終了時刻後から、次の字幕の標準再生時における表示開始時刻の直前までの映像音声コンテンツの映像信号を対象として画速変換を行う。また、画速変換と同時に、話速変換手段１７ｃによって、直前の字幕の標準再生時における表示終了時刻後から、次の字幕の標準再生時における表示開始時刻の直前までの映像音声コンテンツの音声信号を対象として話速変換を行う。
なお、画速変換手段１７ｂおよび話速変換手段１７ｃは、直前に字幕が存在していない場合、映像音声コンテンツの最初から速度変換を行い、次の字幕が存在していない場合、映像音声コンテンツの最後まで速度変換を行う。

【0110】

そして、字幕同期再生装置１は、字幕再生手段１６および映像音声再生手段１７によって、再生開始時刻からの経過時間において、さらに字幕の表示時間区間または字幕非表示時間区間が存在するか否かを判定する（ステップＳ１２）。

【0111】

そして、字幕の表示時間区間または字幕非表示時間区間が存在する場合（ステップＳ１２でＹｅｓ）、字幕同期再生装置１は、ステップＳ８に戻って、当該区間における映像音声コンテンツおよび字幕の再生を行う。一方、字幕の表示時間区間および字幕非表示時間区間が存在しない場合（ステップＳ１２でＮｏ）、字幕同期再生装置１は、再生動作を終了する。

【0112】

以上の動作によって、字幕同期再生装置１は、映像音声コンテンツを再生する際に、字幕の表示速度（単位時間当たりの文字数）を優先し、字幕の表示時間に同期して、それぞれの字幕に対応する映像音声コンテンツを再生することができる。

【0113】

以上、本発明の実施形態に係る字幕同期再生装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。例えば、以下に示す種々の変形を行うことができる。

【0114】

（変形例１）
字幕同期再生装置１では、図４（ｂ）に示すように、基準速度で字幕を表示すると、再生倍率ｎで再生した際の映像音声コンテンツの再生時間長（番組長Ｔ／ｎ）を超過する場合、図２で説明した表示時間区間設定手段１５ｃの短縮区間設定手段１５２によって、各字幕の表示時間長を文字数に応じて短縮することで、字幕速度を一定にして、字幕の総表示時間長を映像音声コンテンツの再生時間長とした。

【0115】

しかし、この字幕の表示時間長を短縮させる場合に、必ずしも字幕速度を一定にする必要はない。例えば、映像音声コンテンツの冒頭部分は、字幕をゆっくり表示させ、後ろに行くほど、字幕の表示速度を速くすることとしてもよい。これによって、字幕の平均表示速度が基準速度よりも速くなる場合であっても、冒頭部分でゆっくり字幕を表示させることで、利用者（視聴者）が字幕の表示速度に徐々に慣れて、字幕の可読性を高めることができる。

【0116】

例えば、字幕同期再生装置１の表示時間区間設定手段１５ｃを、図２で説明した構成から、図６に示す構成（表示時間区間設定手段１５Ｂｃ）に替えることで、字幕の表示速度を変えることができる。ここで、図６を参照（適宜図１参照）して、表示時間区間設定手段１５Ｂｃについて説明する。

【0117】

ここでは、表示時間区間設定手段１５Ｂｃは、基準区間設定手段１５１と、短縮区間設定手段１５２Ｂと、を備える。基準区間設定手段１５１は、図２で説明した表示時間区間設定手段１５ｃの構成と同一であるため、同じ符号を付して説明を省略する。

【0118】

短縮区間設定手段１５２Ｂは、字幕速度判定手段１５ｂで字幕表示速度が基準速度を超過すると判定された場合、全字幕の表示時間長の総和が、映像音声コンテンツの再生時間長となり、かつ、字幕の表示速度が再生時間の冒頭ほど遅く、後ろに行くほど速くするように、字幕ごとの表示時間長を短縮した区間を字幕の表示時間区間として設定するものである。例えば、ここでは、図２で説明した表示時間区間設定手段１５ｃで設定された表示時間区間で字幕を表示した際の字幕表示速度に対して、冒頭の１／３の部分については０．８倍速、中間の１／３の部分については１倍速、後ろの１／３の部分については、１．２倍速と、速度を変えることとする。

【0119】

ここで、短縮区間設定手段１５２Ｂは、短縮表示時間長算出手段１５２Ｂａと、短縮区間配置手段１５２ｂと、を備える。短縮区間配置手段１５２ｂは、図２で説明した表示時間区間設定手段１５ｃの構成と同一であるため、同じ符号を付して説明を省略する。

【0120】

短縮表示時間長算出手段１５２Ｂａは、映像音声コンテンツの再生時間内で字幕を表示するために必要となる時間長を字幕ごとに算出するものである。
具体的には、短縮表示時間長算出手段１５２Ｂａは、全字幕の文字数の総和（総文字数）に対して冒頭から（０．８）／３の文字数分の字幕と、中間の１／３の文字数分の字幕と、後ろの（１．２）／３の文字数分の字幕とを、それぞれ、映像音声コンテンツの再生時間長の１／３の時間長になるように各字幕の時間長を算出する。

【0121】

例えば、指定された再生倍率をｎ、全字幕の文字数の総和（総文字数）をＷ、映像音声コンテンツの時間長（番組時間長）をＴとしたとき、短縮表示時間長算出手段１５２Ｂａは、各字幕の文字数を冒頭から累計し、累計文字数が、総文字数Ｗの（０．８）／３以下の字幕Ｎについては、以下の式（４）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する。

【0122】

【数4】

【0123】

また、短縮表示時間長算出手段１５２Ｂａは、累計文字数が、総文字数Ｗの（０．８）／３から（０．８＋１）／３以下となる字幕Ｎについては、以下の式（５）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する。

【0124】

【数5】

【0125】

さらに、短縮表示時間長算出手段１５２Ｂａは、累計文字数が、総文字数Ｗの（０．８＋１）／３を超える字幕Ｎについては、以下の式（６）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する。

【0126】

【数6】

【0127】

なお、字幕文字数を累計する際に、総文字数の（０．８）／３や（０．８＋１）／３を跨る字幕については、その境で字幕を区分して、それぞれ算出した表示時間長を加算すればよい。

【0128】

例えば、ある字幕Ｎの文字数Ｗ_Ｎのうちで、Ｗ_Ｎ１までの文字が、総文字数Ｗの（０．８）／３以下に該当し、それ以降の文字が、総文字数Ｗの（０．８）／３から（０．８＋１）／３以下に該当する場合、短縮表示時間長算出手段１５２Ｂａは、以下の式（７）により、字幕Ｎの表示時間長Ｔ_ＷＮを算出する。

【0129】

【数7】

【0130】

ここで、図７を参照して、短縮区間設定手段１５２Ｂにおける字幕の表示時間区間を設定する手法について説明する。
図７（ａ）は、標準再生（１倍速再生）における映像音声コンテンツＶＡの再生時間長（番組長Ｔ）と、字幕区間Ｃ_１，Ｃ_２，…，Ｃ_Ｎとを、時間方向に沿って対応付けて図示したものである。

【0131】

ここで、映像音声コンテンツＶＡをｎ倍速で再生し、字幕を基準速度で表示したときに、全字幕の表示時間長が、映像音声コンテンツＶＡの再生時間長（番組長Ｔ）を超過してしまうとする。このとき、短縮表示時間長算出手段１５２Ｂａは、図７（ｂ）に示すように、字幕の総文字数に対して、冒頭の（０．８）／３、中間の１／３、後ろの（１．２）／３に該当する字幕を、それぞれ、映像音声コンテンツＶＡの再生時間長（番組長Ｔ／ｎ）の１／３となるように、表示時間長を短縮する。

【0132】

これによって、中間部分で字幕速度がＺであったとすると、冒頭部分では０．８Ｚの字幕速度、後ろ部分では１．２Ｚの字幕速度となり、冒頭部分の方が後ろ部分よりもゆっくり字幕が表示されるようになる。
なお、この字幕速度を変更する区分やその倍率は一例であって、さらに細かく区分しても構わない。

【0133】

（変形例２）
また、字幕同期再生装置１では、短縮区間設定手段１５２（図２）や短縮区間設定手段１５２Ｂ（図６）において、字幕を連続して接続することで、非字幕区間に対応する映像音声コンテンツについては、再生を省略している。
しかし、早送り再生する場合、字幕同期再生装置１では、非字幕区間の映像音声コンテンツについて、仮想的に字幕の表示時間区間に割り当てることとしてもよい。

【0134】

例えば、映像音声再生手段１７の画速変換手段１７ｂや話速変換手段１７ｃにおいて、字幕表示区間制御手段１５から出力される字幕表示時間区間情報で特定される字幕の表示時間区間が映像音声コンテンツにおいて非連続である場合、その非連続の部分を表示時間区間に割り当てる。

【0135】

ここで、図８を参照して、字幕の表示時間区間に映像音声コンテンツの非字幕区間を割り当てる例について説明する。
図８（ａ）に示すように、映像音声コンテンツＶＡにおいて、字幕区間Ｃ_１，Ｃ_２に対応付けられていない非字幕区間ＮＶ_１，ＮＶ_２が存在していたとする。
このとき、例えば、冒頭の非字幕区間については、図８（ｂ）に示すように、最初の字幕区間Ｃ_１に属するものとする。また、例えば、字幕区間Ｃ_１，Ｃ_２の間の非字幕区間ＮＶ_２については、前の字幕区間Ｃ_１に属するものとする。
また、例えば、字幕区間Ｃ_１，Ｃ_２の間の非字幕区間ＮＶ_２については、前の字幕区間Ｃ_１と、後ろの字幕区間Ｃ_１とのそれぞれの表示時間長の割合（Ｘ：Ｙ）に応じて、非字幕区間ＮＶ_２を、前の字幕区間Ｃ_１と後ろの字幕区間Ｃ_１と割り当てることとしてもよい。

【0136】

（変形例３）
また、ここでは、字幕同期再生装置１が、映像音声コンテンツや字幕を、放送波を介して受信したり、外部サーバから通信回線を介して取得したりすることとしたが、少なくとも、記憶手段１４に映像音声コンテンツや字幕が蓄積された状態であれば、本発明を実施することができる。
すなわち、字幕同期再生装置１の構成から、放送受信手段１０および放送信号解析手段１１を省略してもよい。また、字幕同期再生装置１の構成から、通信送受信手段１２およびコンテンツ取得手段１３を省略してもよい。

【符号の説明】

【0137】

１ 字幕同期再生装置
１０ 放送受信手段
１１ 放送信号解析手段
１１ａ 字幕抽出手段
１１ｂ 映像音声抽出手段
１２ 通信送受信手段
１３ コンテンツ取得手段
１３ａ 字幕取得手段
１３ｂ 映像音声取得手段
１４ 記憶手段
１５ 字幕表示区間制御手段
１５ａ 字幕速度算出手段
１５ｂ 字幕速度判定手段
１５ｃ 表示時間区間設定手段
１５１ 基準区間設定手段
１５１ａ 基準表示時間長算出手段
１５１ｂ 基準区間配置手段
１５２ 短縮区間設定手段
１５２ａ 短縮表示時間長算出手段
１５２ｂ 短縮区間配置手段
１６ 字幕再生手段
１７ 映像音声再生手段
１７ａ 復号手段
１７ｂ 画速変換手段
１７ｃ 話速変換手段
１８ 表示手段
１９ 操作制御手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】