(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022083357
(43)【公開日】2022-06-03
(54)【発明の名称】アプリケーションエンジン、これを実装した情報通信端末装置、及び字幕表示制御方法並びに該方法を実行するためのコンピュータプログラム
(51)【国際特許分類】
H04N 21/435 20110101AFI20220527BHJP
H04N 21/442 20110101ALI20220527BHJP
【FI】
H04N21/435
H04N21/442
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2020194763
(22)【出願日】2020-11-24
(71)【出願人】
【識別番号】596027900
【氏名又は名称】株式会社インフォシティ
(74)【代理人】
【識別番号】100109715
【弁理士】
【氏名又は名称】塩谷 英明
(74)【代理人】
【識別番号】100205693
【弁理士】
【氏名又は名称】鈴木 協一郎
(72)【発明者】
【氏名】秋山 高弘
(72)【発明者】
【氏名】石川 太一郎
(72)【発明者】
【氏名】岩浪 剛太
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA05
5C164MA06S
5C164UB10P
5C164UB41P
5C164YA21
(57)【要約】
【課題】 ARIB規格の字幕データをWebVTT規格の下で正しく表示制御する。
【解決手段】 本発明は、受信した第1の規格に従う字幕データを第2の規格に従う字幕データに変換する字幕データ変換部と、変換された前記第2の規格に従う字幕データに基づいて、前記ユーザインターフェース上に字幕が表示されるようにレンダリング処理を行うレンダラーとを含むアプリケーションエンジンである。前記字幕データ変換部は、前記第1の規格に従う第1の字幕データを受信した後、所定の時間内に前記第1の規格に従う第2の字幕データを受信したか否かを判断し、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断する場合に、前記第2の規格に従う前記第1の字幕データの表示終了時刻を、前記第1の規格に従う前記第2の字幕データが指定する表示開始時刻で設定する。
【選択図】
図4
【特許請求の範囲】
【請求項1】
通信ネットワークを介して受信した字幕データに基づいて、ユーザインターフェース上の画面に字幕を表示するための処理を行うアプリケーションエンジンであって、
受信した第1の規格に従う字幕データストリームを第2の規格に従う字幕データストリームに変換する字幕データ変換部と、
変換された前記第2の規格に従う字幕データストリームに基づいて、前記ユーザインターフェース上に字幕が表示されるようにレンダリング処理を行うレンダラーとを、含み、
前記字幕データ変換部は、
前記第1の規格に従う第1の字幕データストリームを受信した後、所定の時間内に前記第1の規格に従う第2の字幕データストリームを受信したか否かを判断し、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第2の字幕データストリームが指定する表示開始時刻で設定する、
アプリケーションエンジン。
【請求項2】
前記字幕データ変換部は、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信しなかったと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で設定する、
請求項1に記載のアプリケーションエンジン。
【請求項3】
前記字幕データ変換部は、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断するまで、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で前記表示終了時刻が設定された前記第2の規格に従う前記第1の字幕データストリームを繰り返し出力する、
請求項2に記載のアプリケーションエンジン。
【請求項4】
前記所定の時間は、前記画面を表示するためのフレームレート(FPS)に基づく時間である、
請求項1乃至3のいずれか一項に記載のアプリケーションエンジン。
【請求項5】
前記所定の時間は、前記第1の規格に従う前記第1の字幕データストリームにおける字幕の長さに基づいて決定される
請求項1乃至4のいずれか一項に記載のアプリケーションエンジン。
【請求項6】
前記第1の規格は、ARIB標準規格であり、前記第2の規格は、WebVTT規格である、
請求項1乃至5のいずれか一項に記載のアプリケーションエンジン。
【請求項7】
請求項1乃至6のいずれか一項に記載の前記アプリケーションエンジンを実装した情報通信端末装置。
【請求項8】
通信ネットワークを介して受信した字幕データに基づいて、情報通信端末装置のユーザインターフェース上の画面に字幕を表示するための字幕表示制御方法であって、
第1の規格に従う字幕データストリームを受信することと、
受信した前記第1の規格に従う字幕データストリームを第2の規格に従う字幕データストリームに変換することと、
変換された前記第2の規格に従う字幕データストリームに基づいて、レンダリング処理を行うことと、
前記レンダリング処理により得られた画面表示データに従って前記画面に字幕を表示することと、を含み、
前記変換することは、
前記第1の規格に従う第1の字幕データストリームを受信した後、所定の時間内に前記第1の規格に従う第2の字幕データストリームを受信したか否かを判断することと、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第2の字幕データストリームが指定する表示開始時刻で設定することと、を含む、
字幕表示制御方法。
【請求項9】
前記変換することは、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信しなかったと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で設定することを更に含む、
請求項8に記載の字幕表示制御方法。
【請求項10】
前記変換することは、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断するまで、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で前記表示終了時刻が設定された前記第2の規格に従う前記第1の字幕データストリームを繰り返し出力することを更に含む、
請求項9に記載の字幕表示制御方法。
【請求項11】
情報通信端末装置に、通信ネットワークを介して受信した字幕データに基づいて、ユーザインターフェース上の画面に字幕を表示させる字幕表示制御方法を実現させるコンピュータプログラムであって、
前記字幕表示方法は、
第1の規格に従う字幕データストリームを受信することと、
受信した前記第1の規格に従う字幕データストリームを第2の規格に従う字幕データストリームに変換することと、
変換された前記第2の規格に従う字幕データストリームに基づいて、レンダリング処理を行うことと、
前記レンダリング処理により得られた画面表示データに従って前記画面に字幕を表示することと、を含み、
前記変換することは、
前記第1の規格に従う第1の字幕データストリームを受信した後、所定の時間内に前記第1の規格に従う第2の字幕データストリームを受信したか否かを判断することと、
前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断する場合に、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻を、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻で設定することと、を含む、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、IPTVサービスにおいて番組コンテンツを視聴するための技術に関し、特に、IPTVサービスにおいて番組コンテンツを視聴するために適合されたアプリケーションエンジン、これを実装した情報通信端末装置、及び字幕表示制御方法並びに該方法を実行するためのコンピュータプログラムに関する。
【背景技術】
【0002】
近年、IPネットワークのような通信ネットワークを介してインターネットサービスプロバイダ(ISP)やコンテンツデリバリーネットワーク(CDN)プロバイダからストリーム送信ないしは配信される番組コンテンツを、視聴者が端末装置において視聴するIPTVサービス(「インターネット放送サービス」と称されることもある。)が普及しつつある。このようなIPTVサービスには、IP放送やIP再送信といったサービスが知られている。IP放送サービスは、これまでのテレビジョンサービスのように時間軸に沿った番組編成が施されたチャンネル概念に基づき、通信ネットワークを使って様々なチャンネルの番組コンテンツを視聴することができるサービスである。また、IP再送信サービスも同様に、通信ネットワークを使って既存の地上デジタル放送やBSデジタル放送、CSデジタル放送等を利用できるようにしたサービスである。このようなIPTVサービスにより、地上デジタル放送等の電波が受信しづらい場所などであっても、アンテナの代わりにインターネットに視聴端末装置(チューナーの有無を問わない)を接続することで、地上デジタル放送等と同等のサービスを利用することができる。例えば、下記特許文献1は、携帯端末に最適な放送サービス再送信技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
地上デジタル放送サービス等においては、一般社団法人電波産業会(ARIB)により策定された規格(ARIB標準規格)に従って、データ符号化及び伝送が行われる。ARIB標準規格では、表示装置上の画面に表示される字幕の制御に関して、その字幕の表示を開始するための制御コード(表示開始時刻)は規定されているが、表示を終了するための制御コード(表示終了時刻)は別に規定されていない。
【0005】
一方、例えばインターネットを介した映像配信サービスでは、WebVTT(Web Video Text Tracks)と称される規格に従って、字幕の表示制御が行われる。WebVTT規格では、画面に表示される字幕の制御に関して、その字幕の表示を開始及び終了するための制御が規定されている。言い換えると、WebVTT規格では、字幕の表示開始時刻及び終了時刻が示されていなければならない。したがって、ARIB標準規格に準拠した字幕データに基づいて、WebVTT規格の下で字幕を表示しようとした場合、その字幕の表示の終了を正しく制御することができないという問題があった。
【0006】
例えば、ARIB標準規格では、視聴端末装置の画面に、字幕データに従ってある字幕が表示された後、次の字幕のヘッダ部分に付加された消去制御コードを受け取るまで、既に表示された字幕の表示を消去することができなかった。したがって、ARIB標準規格の字幕データに基づいて、WebVTT規格に従った視聴端末装置に字幕を表示しようとした場合、次の字幕を受信しないない限り、字幕の表示終了タイミングが確定せず、意図したとおりの字幕の表示にならないという問題があった。また、視聴端末装置が、ある字幕を受信した直後に、次の字幕を受信した場合、最初の字幕が表示されないという問題も想定される。このような問題は、地上デジタル放送サービス等で放送されるコンテンツを、IPTVサービスで同時配信する場合に、とりわけ深刻な問題となる。
【0007】
このため、現状の運用では、放送サービス用の番組コンテンツに対する字幕とは全く別立てで、IPTVサービス用の番組コンテンツに対する字幕を上流工程で作成するといったことが行われていた。つまり、これは、トランスポートストリーム(TS)形式で伝送される放送サービス用の番組コンテンツをそのままソースにして、WebVTT規格に準拠したスマートフォンのような情報通信端末装置上のビューアで利用することができないことを意味する。
【0008】
そこで、本発明は、ARIB標準規格に準拠した字幕データに基づいて、WebVTT規格の下で字幕の表示開始及び終了を正しく制御することができる技術を提供することを目的とする。
【0009】
また、本発明は、トランスポートストリーム形式で伝送される放送サービス用のコンテンツをそのままソースにして、WebVTT規格に準拠した情報通信端末装置上のビューアで利用することができるようにする技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決するための本発明は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。
【0011】
ある観点に従う本発明は、通信ネットワークを介して受信した字幕データに基づいて、ユーザインターフェース上の画面に字幕を表示するための処理を行うアプリケーションエンジンである。前記アプリケーションエンジンは、受信した第1の規格に従う字幕データストリームを第2の規格に従う字幕データストリームに変換する字幕データ変換部と、変換された前記第2の規格に従う字幕データストリームに基づいて、前記ユーザインターフェース上に字幕が表示されるようにレンダリング処理を行うレンダラーとを含み構成される。そして、前記字幕データ変換部は、前記第1の規格に従う第1の字幕データストリームを受信した後、所定の時間内に前記第1の規格に従う第2の字幕データストリームを受信したか否かを判断し、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第2の字幕データストリームが指定する表示開始時刻で設定し得る。
【0012】
また、前記字幕データ変換部は、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信しなかったと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で設定し得る。
【0013】
また、前記字幕データ変換部は、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断するまで、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で前記表示終了時刻が設定された前記第2の規格に従う前記第1の字幕データストリームを繰り返し出力し得る。
【0014】
前記所定の時間は、前記画面を表示するためのフレームレート(FPS)に基づく時間であり得る。或いは、前記所定の時間は、前記第1の規格に従う前記第1の字幕データストリームにおける字幕の長さに基づいて決定され得る。
【0015】
前記第1の規格は、ARIB標準規格であり、前記第2の規格は、WebVTT規格である。
【0016】
また、ある観点に従う本発明は、前記アプリケーションエンジンを実装した情報通信端末装置(視聴端末装置)であり得る。
【0017】
また、別の観点に従う本発明は、通信ネットワークを介して受信した字幕データに基づいて、情報通信端末装置のユーザインターフェース上の画面に字幕を表示するための字幕表示制御方法であり得る。前記字幕表示制御方法は、第1の規格に従う字幕データストリームを受信することと、受信した前記第1の規格に従う字幕データストリームを第2の規格に従う字幕データストリームに変換することと、変換された前記第2の規格に従う字幕データストリームに基づいて、レンダリング処理を行うことと、前記レンダリング処理により得られた画面表示データに従って前記画面に字幕を表示することと、を含み得る。そして、前記変換することは、前記第1の規格に従う第1の字幕データストリームを受信した後、所定の時間内に前記第1の規格に従う第2の字幕データストリームを受信したか否かを判断することと、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断する場合に、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻を、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻で設定することと、を含み得る。
【0018】
また、前記変換することは、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信しなかったと判断する場合に、前記第2の規格に従う前記第1の字幕データストリームの表示終了時刻を、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で設定することを更に含み得る。
【0019】
また、前記変換することは、前記第1の規格に従う前記第2の字幕データストリームを前記所定の時間内に受信したと判断するまで、前記第1の規格に従う前記第1の字幕データストリームが指定する表示開始時刻に前記所定の時間を加えた時刻で前記表示終了時刻が設定された前記第2の規格に従う前記第1の字幕データストリームを繰り返し出力することを更に含み得る。
【0020】
更に、別の観点に従う本発明は、情報通信端末装置に、通信ネットワークを介して受信
情報通信端末装置に、通信ネットワークを介して受信した字幕データに基づいて、ユーザインターフェース上の画面に字幕を表示させる字幕表示制御方法を実現させるコンピュータプログラムであり得る。
【0021】
更に、別の観点に従う本発明は、前記コンピュータプログラムを非一時的に記録したコンピュータ読み取り可能な記録媒体であり得る。
【0022】
なお、本開示において、「手段」とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、1つの手段が有する機能が2つ以上の物理的手段により実現されても、2つ以上の手段の機能が1つの物理的手段により実現されてもよい。
【0023】
また、本開示において、「システム」とは、複数の装置(又は特定の機能を実現する機能モジュール)が論理的に集合した物を含み、各装置や機能モジュールが物理的に単一の物として構成されるか又は別体の物として構成されるかは問わない。
【発明の効果】
【0024】
本発明によれば、ARIB標準規格に準拠した字幕データに基づいて、WebVTT規格の下で字幕の表示開始及び終了を正しく制御することができるようになる。
また、本発明によれば、トランスポートストリーム形式で伝送される放送サービス用のコンテンツをそのままソースにして、WebVTT規格に準拠した情報通信端末装置上のビューアで利用することができるようになる。
【0025】
本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。
【図面の簡単な説明】
【0026】
【
図1】
図1は、本発明の一実施形態に係るIPTVサービスシステムの全体スキームを概略的に説明するための図である。
【
図2】
図2は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置のハードウェア構成の一例を示す図である。
【
図3】
図3は、本発明の一実施形態に係る情報通信端末装置のメモリモジュールの記憶内容の一例を説明するための概念図である。
【
図4】
図4は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置の機能的モデルの一例を示す図である。
【
図5】
図5は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置のアプリケーションエンジンの機能的モデルの一例を示す図である。
【
図6】
図6は、本発明の一実施形態に係るIPTVサービスシステムにおける字幕データの概略構造の一例を示す図である。
【
図7】
図7は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置における字幕表示処理の一例を説明するためのフローチャートである。
【
図8】
図8は、本発明の一実施形態に係るIPTVサービスシステムにおいて時間軸上での一連の字幕データストリームの受信の一例を説明するための図である。
【
図9】
図9は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置における字幕データの変換処理の一例を説明するための図である。
【
図10】
図10は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置のユーザインターフェース上の画面の一例を示すである。
【
図11】
図11は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置における字幕表示の一例を説明するための図である。
【
図12】
図12は、本発明の一実施形態に係る配信事業者システムにおける配信サーバのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形(例えば各実施形態を組み合わせる等)して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【0028】
図1は、本発明の一実施形態に係るIPTVサービスシステムの全体スキームを概略的に説明するための図である。本開示において、IPTVサービスとは、IP(Internet Protocol)ベースのネットワークを介して番組コンテンツが視聴者(ユーザ)にストリーミング送信ないしは配信される放送サービスをいい、放送波を用いた従前の放送サービス(例えば地上デジタル放送サービス)とは区別される。ここでいう「送信」と「配信」は同義であって良く、また、例えば「伝送」や「転送」といった語を排除するものではない。本願の出願時において、IPTVサービスには、例えばIP放送やIP再配信といったサービスが知られている。本開示において、IPTVサービスシステム1は、IPベースのネットワークを介して、放送局側から番組コンテンツが視聴者側に送信ないしは配信される放送サービスを実現するシステムである。番組コンテンツとは、時間軸に沿って編成された、視聴者が視聴する「番組」をいい、いわゆる字幕データやデータ放送データのようなこれに関連する情報を含み得る。番組コンテンツは、ARIB標準規格に従った、例えば、映像、画像、文字及び/又はオーディオ等のデジタルデータパッケージないしはデータストリームから構成される。番組コンテンツに係るデータストリームは、例えば、MPEG2-TSにより構成される。既知のとおり、トランスポートストリーム(TS)では、PESパケットはトランスポートパケットと呼ばれる188バイト固定長のパケットへ分割される。
【0029】
同図に示すように、通信ネットワーク10は、IPベースのコンピュータネットワーク(以下「IPネットワーク」という)12及び移動通信システム規格に準拠した移動通信ネットワーク14等を含み得る。通信ネットワーク10は、コンテンツデリバリーネットワーク(CDN)の形態を含み得る。本開示において、通信ネットワーク10は、IPネットワークによって構築されたインターネットを含む広い概念で用いられているが、IPネットワークに限らず、番組データの配信を可能とする他のプロトコルのネットワークを排除する趣旨ではない。また、通信ネットワーク10は、図示されていない無線基地局ないしは無線アクセスポイントによって構築される無線ネットワーク(例えばWi-Fi(登録商標)等)を含み得る。IPネットワーク12と移動通信ネットワーク14とは、例えば、ゲートウェイ16等を介して接続されるが、これに限られない。
【0030】
放送事業者システム20は、テレビジョン放送やラジオ放送を行うための放送設備を含み構成され得る。放送事業者システム20は、例えば、放送免許が与えられた放送事業者(例えば放送局)等によって管理・運営されるが、これに限られない。図示していないが、放送事業者システム20は、例えば、自動運行装置の制御の下、送出サーバに蓄積された番組コンテンツの放送サービス(例えば地上デジタル放送)を行う。すなわち、放送事業者システム20は、時間軸に沿った番組編成に従って、番組データを送出する。例えば、該番組データは、放送波として、電波塔から放送対象地域に向けて出射される。また、該番組データは、配信事業者システム30へ例えば専用回線18を介して伝送され得る。
【0031】
本開示におけるIPTVサービスで提供される番組コンテンツは、従前の放送サービスで提供される番組コンテンツの放送と同期してストリーミング配信されるが、これに限られず、VOD方式で配信されても良い。
【0032】
配信事業者システム30は、放送事業者や制作会社等から提供される番組データを、通信ネットワーク10を介して、視聴者に配信する配信サーバを含み構成され得る。配信サーバのハードウェア構成は、例えば
図12に示されるが、かかる構成は既知であるため、その詳細は省略する。配信事業者システム30は、例えば、コンテンツ配信事業者(CDNプロバイダ)やインターネットプロバイダ(ISP)等によって管理・運営されるが、これに限られない。複数の配信事業者システム30が設置されても良く、また、一の配信事業者システム30は、複数の配信サーバを含んでいても良い。番組データは、例えば、電波塔から出射される放送波又は専用回線を介して配信事業者システム30に提供される。配信事業者システム30は、提供された番組データを、その配信タイミングに備えて、配信サーバに一旦蓄積し、該番組編成に従って、例えばIPマルチキャスト技術に基づくRTSP(Real Time Streaming Protocol)を用いて、視聴者の情報通信端末装置40にストリーミング配信し得る。番組データは、HTTPロング・ポーリングや他の伝送プロトコルを用いて情報通信端末装置40にストリーミング配信されても良い。配信事業者システム30は、番組データ等を含む各種のデータをスクランブルして配信する。
【0033】
なお、本開示では、放送事業者システム20と配信事業者システム30とは別体のシステムとして構成されているが、これに限られず、例えば、放送事業者システム20が、配信事業者システム30の機能を含み構成されても良く、その逆であっても良い。また、配信事業者システム30は、放送事業者により管理・運営されて良い。
【0034】
情報通信端末装置40は、番組を視聴する視聴者であるユーザによって操作されるコンピューティングデバイスであり、例えば、デスクトップコンピュータや、ノートコンピュータ、タブレットコンピュータ、スマートフォン、フィーチャフォン及びその他のインテリジェントデバイスが該当するが、これらに限られない。本例では、情報通信端末装置40は、以下に述べるように、IPTVサービスにおける番組コンテンツの視聴に適合された視聴端末装置として構成される。
【0035】
すなわち、情報通信端末装置40は、CPU(プロセッサ)やチップセット及びメモリ、通信モジュール、ユーザインターフェース等のハードウェア資源及びオペレーティングシステム(例えばカーネル、各種のデバイスドライバ、標準ライブラリ等を含み構成され得る。)(以下「OS」という。)のソフトウェア資源から構成される。情報通信端末装置40は、プロセッサの制御の下、OS上で各種のアプリケーションプログラムを実行し、所望の機能を実現する。本開示において、情報通信端末装置40は、例えば、アプリケーションプログラムの一つとして、情報通信端末装置40をIPTVサービスにおける番組を視聴可能なビューア(いわゆる視聴端末装置)として機能させるための命令群ないしはモジュールを含むIPTV視聴プログラムを実装し得る。IPTV視聴プログラムは、WebVTT規格に従って字幕データストリームを解釈し、字幕として表示することが可能なアプリケーションエンジンを含む。情報通信端末装置40は、アプリケーションプログラムの一つとしてブラウザプログラムを実装し、該ブラウザプログラムにより実現されるブラウザのアドオンプログラムにより、上記機能が実現されるように構成されても良い。
【0036】
IPTV視聴プログラムを実装した情報通信端末装置40は、例えばRTSPに従って配信事業者システム30からストリーミング配信されてくるメインとなる番組コンテンツに係る映像/オーディオデータ/字幕データ(すなわち、多重化された番組データ)を受信し、受信した番組データに基づく番組の映像を、ユーザインターフェースとしての画面の所定の表示領域にリアルタイムで表示すると共に、該番組データに基づく映像に同期したオーディオ(音声や音楽、効果音等)を出力し、及び/又は字幕(テキスト文字等)を表示する。
【0037】
以上のようなIPTVサービスシステム1において、情報通信端末装置40は、MPEG2-TSに従う多重化データストリームを受信すると、これを映像、音声及び字幕の各データストリームに分離し、各データストリームに適合された出力装置に出力される。本実施形態では、情報通信端末装置40は、ARIB標準規格に従って構成された字幕データストリームをWebVTT規格に適合するように変換し、これを解釈してビューアに適切に表示する。
【0038】
なお、
図1には示されていないが、IPTVサービスシステム1は、IPTVサービスの提供に際して、ユーザ(視聴者)及び/又は情報通信端末装置40を認証するための認証サーバを含んでいても良い。
【0039】
図2は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置のハードウェア構成の一例を示す図である。同図では、情報通信端末装置40を構成する各種のハードウェア資源のうち、本開示に特に関連するものが示されている。
【0040】
すなわち、同図に示すように、情報通信端末装置40は、典型的には、1又は2以上のプロセッサモジュール41と、チップセット42と、メモリモジュール43と、I/Oコントローラ44と、各種のペリフェラルインターフェース45と、各種の入出力デバイス46とを含み構成され得る。図示されていないが、情報通信端末装置40は、音声通話機能を実現する通話モジュールを含み得る。
【0041】
プロセッサモジュール41は、例えば、プロセッサ(プロセッサコア)、マイクロコントローラ、デジタル信号プロセッサ及び/又はこれらの組み合わせを含むが、これらに限定されない。チップセット42は、プロセッサモジュール41、メモリモジュール43、及びI/Oコントローラ44等を接続するバスに対するブリッジや、情報通信端末装置40を構成するために必要な他のコンポーネントを集積した回路からなる。チップセット42は、例えば、プロセッサモジュール41によって制御される。
【0042】
メモリモジュール43は、典型的には、揮発性メモリ(例えばRAM)、不揮発性メモリ(例えばROMやフラッシュメモリ等)及び/又はこれらの組み合わせからなる1次記憶装置である。メモリモジュール43は、典型的には、
図3に示すように、デバイスドライバ、オペレーティングシステム(OS)プログラム、1又は2以上のアプリケーションプログラム及びデータ等の全部又は一部を保持し、プロセッサモジュール41の利用に供される。本実施形態では、アプリケーションプログラムは、情報通信端末130上で実行されるIPTV視聴プログラムを含む。IPTV視聴プログラムは、情報通信端末装置40の出荷時にメモリモジュール43に予め記憶されていても良いし、通信インターフェース45bを用いて、通信ネットワーク10上の所定のサーバコンピュータからダウンロードされることでメモリモジュール43に記憶されても良い。本開示のIPTV視聴プログラムは、ARIB標準規格に従って構成された字幕データストリームをWebVTT規格に従った字幕データストリームに変換して出力する機能を含み構成されている。
【0043】
I/Oコントローラ44は、各種のペリフェラルインターフェース45(例えば、I/Oインターフェース45a及び通信インターフェース45b等)との間の通信を制御する回路である。I/Oインターフェース451は、例えば、ユーザインターフェースを構成するタッチパネル46a及びスピーカ46b等の外部の入出力デバイスの動作を制御する。I/Oインターフェース451はまた、例えば、シリアルコントローラ又はパラレルコントローラを含み、外部ストレージデバイスやその他のペリフェラルデバイス等の動作を制御し得る。通信インターフェース452は、IPネットワーク12を介したコンピュータ通信を可能にする回路である。本開示では、通信インターフェース452は、主に、IPネットワーク12を介した配信事業者システム30との通信(例えばストリーミング配信)に用いられる。
【0044】
タッチパネル46aは、映像や文字(字幕)、画像からなる番組コンテンツを表示するためのディスプレイ及び該ディスプレイのサイズに略一致するように形成された透過性のタッチセンサを含み構成される。タッチパネル46aは、ユーザインターフェースを実現するデバイスの一例である。タッチパネル46aは、プロセッサモジュール41の制御の下、ディスプレイに様々な画面を表示し、ユーザからのインタラクティブな操作を受け付ける。
【0045】
スピーカ46bは、サウンドプロセッサ(図示せず)によって生成されたオーディオ信号に基づいて、オーディオないしはサウンドを出力する。スピーカ46bは、プロセッサモジュール41の制御の下、例えば、受信した番組コンテンツにおける映像に同期した音声や音楽、効果音等を出力する。
【0046】
図4は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置の機能的モデルの一例を示す図である。同図では、情報通信端末装置40の各種の構成要素(コンポーネント)のうち、本開示に特に関連するものが示されている。かかる構成要素は、上述したハードウェア資源そのもの又はその一部によって、或いは、例えば、情報通信端末装置40のプロセッサが、OS上でアプリケーションプログラムを実行することにより、各種のハードウェア資源と協働して、実現され得る。
【0047】
すなわち、本実施形態の情報通信端末装置40は、記憶部410と、番組再生処理部420と、I/Oコントロール部430と、ユーザインターフェース部440と、通信インターフェース部450とを含み構成されている。
【0048】
記憶部410は、メモリモジュール43から構成され、番組再生処理部420の実行に供される。記憶部410は、例えば、通信インターフェース部%%を介して、受信するストリーミングを一時的に記憶する。
【0049】
番組再生処理部420は、プロセッサの制御の下、IPTVサービスによる番組コンテンツの再生を可能にするための処理を行う。番組再生処理部420は、例えば、番組データ取得部421と、デマルチプレクサ部422と、デコード部423と、アプリケーションエンジン424とを含み構成される。
【0050】
番組データ取得部421は、選択された番組に関連付けられたURLに従って、通信インターフェース部450を介して、選択された番号に対応する番組データの配信リクエストを送信する。これに応答して、配信事業者システム30は、RTSPに従って番組データのストリーミング配信を開始する。配信事業者システム30がストリーミング配信する番組データは、例えば、番組編成表に従った番組コンテンツの番組データであり、映像データ、音声データ、及び字幕データが多重符号化されたデータストリームである。また、本開示では、字幕データは、ARIB標準規格に従ったデータストリームであるものとする。つまり、放送事業者側は、ARIB標準規格に従った放送サービス用に作成された字幕データをIPTVサービス用のデータフォーマットに変換することなく、字幕データを放送することができる。
【0051】
番組データ取得部421は、配信リクエストに応答して、通信インターフェース部450を介して配信事業者システム30からストリーミング配信される番組データを取得する。取得された番組データは、適宜、記憶部410にキャッシュされる。番組データ取得部421は、取得した番組データをデマルチプレクサ部422に引き渡す。
【0052】
デマルチプレクサ部422は、多重化された番組データを、映像データ、音声データ、及び字幕データの各データストリームに分離する。デマルチプレクサ部422は、分離したストリームのそれぞれをデコード部423に引き渡す。また、配信事業者システム30から配信される番組データがスクランブルされている場合、デマルチプレクサ部422は、これをデスクランブルする。或いは、デスクランブルは、後述するデコード部423で行われても良い。
【0053】
デコード部423は、デマルチプレクサ部422により分離された各データストリームをデコード(復号化)する。デコード部423は、図示していないが、例えば、映像デコーダと、音声デコーダと、字幕デコーダとを含み構成される。デコード部423は、デコードされた各データストリームをアプリケーションエンジン424に引き渡す。
【0054】
アプリケーションエンジン424は、番組データがユーザインターフェース部440上で再生されるように処理を行うビューアプログラムである。アプリケーションエンジン424は、例えばHTML5アプリケーションであり得るが、これに限られない。例えば、Webブラウザは、アプリケーションエンジン424の一態様であり得る。アプリケーションエンジン424は、各データストリームに対してレンダリング処理を行い、これをI/Oコントローラ部4300に出力する。
図5は、アプリケーションエンジン424の概略的機能モデルを示している。例えば、アプリケーションエンジン424は、字幕データがある場合、字幕データに基づく字幕(テキスト文字等)が適切に表示されるようにレンダリング処理を行う。本実施形態では、アプリケーションエンジン424は、例えば、字幕デコーダによりデコードされたARIB標準規格に従った字幕データストリームをWebVTT規格に従った字幕データストリームに変換する字幕データ変換部4241と、字幕データ変換部4241により変換された字幕データに基づいてレンダリング処理を行う字幕レンダリング部4242を含むレンダラーとを含み構成される。本実施形態では、アプリケーションエンジン424は、WebVTT規格に従った字幕データストリームに基づいて字幕を表示する際、次に表示すべき字幕を受け取るまで、表示中の字幕を所定の時間(例えば1フレーム秒(0.03秒))間隔で繰り返し表示するように制御を行う。1フレーム秒は、1フレームレート(FPS)の逆数値である。なお、字幕データ変換部4241の機能の少なくとも一部が、デコード部423の字幕デコーダに組み込まれても良い。
【0055】
図4に戻り、I/Oコントロール部430は、例えば、入力制御部4310と出力制御部4320とを含み構成される。I/Oコントロール部430は、ユーザインターフェース部440を制御する。I/Oコントロール部430は、図示していないが、入力デバイス(例えばタッチパネル46aのタッチセンサやマイク)等を制御する入力制御部や、出力デバイス(タッチパネル46aのディスプレイやスピーカ46b)を制御する出力制御部等を含み構成され得る。
【0056】
ユーザインターフェース部440は、例えば、タッチパネル46aと、スピーカ46bとを含み構成され、ユーザにユーザインターフェースを提供する。ユーザインターフェース部440は、タッチパネル46aに様々な映像、画像、文字等を表示した画面をユーザに提供し、ユーザによるインタラクティブな操作をタッチセンサにより検出して受け付ける。
【0057】
通信インターフェース部450は、通信ネットワーク10を介して、外部のノードと通信を行うための通信インターフェースである。通信インターフェース部450は、例えば、番組データ取得部421による番組データの配信リクエストを、所定の通信データフォーマットに変換して、通信ネットワーク10上に送出し、また、通信ネットワーク10上の自身宛のデータパケットを受信し、プロトコル変換して、これを番組再生処理部420に引き渡す。
【0058】
次に、本開示におけるIPTVサービスシステムで用いられる字幕データの概略構造について、説明する。
【0059】
上述したとおり、本開示では、字幕データは、ARIB標準規格に従ったデータストリームとして、情報通信端末装置40に配信される。ARIB標準規格に従った字幕データは、
図6(a)に示すように、表示開始時刻S_TIMEと字幕TEXTとから構成され、したがって、表示終了時刻を指定するための制御コードは含まれていない。表示開始時刻S_TIMEは、UNIX時間(「UNIX」は登録商標)で表現される。また、字幕TEXTは、8単位符号体系のデータである。字幕データは、MPEG2-TS規格では、例えばPESと呼ばれるパケット(PESパケット)にパケット化され、更に、PESパケットはトランスポートパケットにパケット化される。
【0060】
一方、WebVTT規格に従った字幕データは、同図(b)に示すように、表示開始時刻S_TIMEと、表示開始時刻E_TIMEと、字幕TEXTとから構成される。また、表示開始時刻S_TIME及び表示開始時刻E_TIMEは、例えばローカル時間「HH:MM:SS.SSSS」で表現される。
【0061】
このため、後述するように、本実施形態の字幕データ変換部4241は、ARIB標準規格に従った表示終了時刻を含まない字幕データを、WebVTT規格に従った表示開始時刻S_TIME及び表示開始時刻E_TIMEを含む字幕データに変換するための処理を行う。
【0062】
図7は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置における字幕表示処理の一例を説明するためのフローチャートである。
【0063】
同図に示すように、アプリケーションエンジン424の字幕データ変換部4241は、デコード部423を介して、字幕データストリーム(第1の字幕データストリーム)を受信するまで待機している(S701)。字幕データ変換部4241は、デコードされた字幕データストリームを受信すると(S701のYes)、受信した字幕データストリームを解析し、表示開始時刻S_TIMEを取得する(S702)。ARIB標準規格に従う字幕データの表示開始時刻はUNIX時間フォーマットであるため、アプリケーションエンジン424は、これをWebVTT規格に従うローカル時間フォーマットに変換する。
【0064】
次に、字幕データ変換部4241は、字幕データストリームの字幕TEXTを取得する(S703)。同様に、ARIB標準規格に従う字幕データの字幕本体は8単位コード体系であるため、字幕データ変換部4241は、これをWebVTT規格に従うUTF-8コード体系に変換する。
【0065】
字幕データ変換部4241は、例えば
図8に示すように、所定の時間T内に次の字幕データストリーム(第2の字幕データストリーム)を新たに受信したか否かを判断する(S704)。すなわち、同図(a)は、先の字幕データストリームAを時刻tで受信した後、所定の時間T内の時刻t+αに次の字幕データストリームBを受信した例を示している。また、同図(b)は、先の字幕データストリームAを時刻tで受信した後、所定の時間Tを超えた時刻t+βに次の字幕データストリームBを受信した例を示している。所定の時間は、例えば1フレーム秒(0.03秒)であるが、これに限られない。
【0066】
字幕データ変換部4241は、所定の時間T内に次の字幕データストリームを受信したと判断する場合(S704のYes)、
図9(a)に示すように、先に受信した字幕データストリームの表示終了時刻E_TIMEを、後から受信した字幕データストリームから取得された表示開始時刻S_TIMEで設定する(S705)。つまり、先に受信した字幕データストリームの表示終了時刻E_TIMEは、後から受信した字幕データストリームの表示開始時刻S_TIMEと同じになるように設定される。
【0067】
続いて、字幕データ変換部4241は、表示開始時刻S_TIME、表示終了時刻E_TIME、及び字幕TEXTに基づいて、WebVTT規格に従う字幕データストリームを生成し、出力する(S706)。出力された字幕データストリームは、字幕レンダリング部4242により解釈され、所定の画面表示データに変換され、これにより、例えば、
図10に示すように、ユーザインターフェース部440上の画面に字幕として重畳的に表示される。字幕データ変換部4241は、S701の処理に戻り、次の字幕データストリームの受信するまで待機する。
【0068】
一方、字幕データ変換部4241は、所定の時間T内に次の字幕データストリームを受信しなかったと判断する場合(S704のNo)、
図9(b)に示すように、先に受信した字幕データストリームの表示終了時刻E_TIMEを、該字幕データストリームの表示開始時刻S_TIMEに所定の時間Tを加えた時刻で設定する(S707)。
【0069】
続いて、字幕データ変換部4241は、表示開始時刻S_TIME、表示終了時刻E_TIME、及び字幕TEXTに基づいて、WebVTT規格に従う字幕データストリームを生成し、出力する(S708)。出力された字幕データストリームは、字幕レンダリング部4242により解釈され、画面データに変換され、これにより、ユーザインターフェース部440上に字幕として表示される。続いて、字幕データ変換部4241は、S704の処理に戻り、所定の時間T内に次の字幕データストリームを新たに受信したか否かを監視する。この場合、所定の時間Tは、待機状態になった時刻からの時間となる。したがって、字幕データ変換部4241は、所定の時間T内に次の字幕データストリームを受信したと判断するまで、現在の字幕TEXTを所定の時間Tで繰り返し表示するように制御する字幕データストリームを出力し続ける。
【0070】
なお、本例では、所定の時間Tは、固定値であるものとしたが、これに限られず、過去の字幕の表示時間に応じて変化する変動値であっても良い。例えば、字幕データ変換部4241は、直近の字幕の表示時間の長さや表示時間の平均値に基づいて所定の時間Tを決定しても良い。或いは、字幕データ変換部4241は、字幕TEXTの長さに応じて所定の時間Tを決定しても良い。例えば、字幕データ変換部4241は、字幕データストリームに含まれる字幕TEXTの長さが長いほど、所定の時間Tを長くしても良い。
【0071】
図11は、本発明の一実施形態に係るIPTVサービスシステムに適合された情報通信端末装置における字幕表示の一例を説明するための図である。図中、縦軸は、時間軸であり、字幕データストリームの表示開始及び表示終了時刻を示している。また、「字幕a」は、字幕データストリームAの字幕TEXTを示し、以下同様とする。
【0072】
例えば、表示開始時刻「hh:mm:ss0.000」が指定された字幕データストリームAが字幕データ変換部4241に到着した後、所定の時間T内に、表示開始時刻「hh:mm:ss1.000」が指定された字幕データストリームBが到着したとすると、字幕データ変換部4241は、時刻「hh:mm:ss0.000」から時刻「hh:mm:ss1.000」まで字幕aを表示する記述を含むWebVTT規格の字幕データストリームAに変換し、出力する。これを以下のように表すものとする。
hh:mm:ss0.000-->hh:mm:ss1.000
字幕a
【0073】
一方、字幕データストリームBに続く次の字幕データストリームCは、字幕データストリームBの到着から所定の時間T内に到着しなかったとすると、字幕データストリームBについては、所定の時間Tのインターバルで字幕bが繰り返し表示されるように、以下のような記述を含む字幕データストリームB(i)を繰り返し、出力する。
hh:mm:ss1.000-->hh:mm:ss1.030
字幕b
hh:mm:ss1.030-->hh:mm:ss1.060
字幕b
:
hh:mm:ss2.090-->hh:mm:ss2.120
字幕b
【0074】
そして、時刻「hh:mm:ss2.090」からの字幕bを表示するための字幕データストリームB(n)(ただし、nは出力回数を示す。)について、所定の時間T内に(時刻「hh:mm:ss2.120」までに)、表示開始時刻「hh:mm:ss3.000」が指定された次の字幕データストリームCが到着した場合、字幕データ変換部4241は、該字幕データストリームB(n)の表示終了時刻E_TIMEを、字幕データストリームCの表示開始時刻S_TIMEに書き換えて、出力する。字幕データストリームCについても同様である。
hh:mm:ss2.090-->hh:mm:ss3.000
字幕b
hh:mm:ss3.000-->hh:mm:ss4.000
字幕c
【0075】
以上のように、アプリケーションエンジン424は、字幕データ変換部4241により、字幕データストリームの表示終了時刻E_TIMEを、所定の時間T内に次の字幕データストリームを受信したか否かに従って設定しているため、表示終了時刻E_TIMEの規定がないARIB標準規格に従う字幕データストリームをWebVTT規格に従う字幕データストリームに変換することができる。また、アプリケーションエンジン424は、所定の時間T内に次の字幕データストリームを受信しなかった場合には、所定の時間T内に次の字幕データストリームを受信するまで、現在の字幕TEXTを所定の時間Tで繰り返し表示するように制御する。
【0076】
上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、様々な形態で実施することができる。
【0077】
また、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしても良く、また、他のステップ、動作又は機能を追加しても良い。
【0078】
また、本明細書では、様々な実施形態が開示されているが、一の実施形態における特定のフィーチャ(技術的事項)を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。
【符号の説明】
【0079】
1…IPTVサービスシステム
10…通信ネットワーク10
12…IPネットワーク
14…移動通信ネットワーク
16…ゲートウェイ
18…専用回線
20…放送事業者システム
30…配信事業者システム
40…情報通信端末装置
41…プロセッサモジュール
42…チップセット
43…メモリモジュール
44…I/Oコントローラ
45…ペリフェラルインターフェース
45a…I/Oインターフェース
45b…通信インターフェース
46…入出力デバイス
46a…タッチパネル
46b…スピーカ
410…記憶部
420…番組再生処理部
421…番組データ取得部
422…デマルチプレクサ部
423…デコード部
424…アプリケーションエンジン
4241…字幕データ変換部
4242…字幕レンダリング部
430…I/Oコントロール部
440…ユーザインターフェース部
450…通信インターフェース部