(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載されている技術では、受信装置側で字幕データを解析するための処理が複雑であり、またその解析や補正のための処理負荷が大きいという問題がある。また、サービスのマルチ編成を実施するために放送映像の解像度を動的に切り替えたり、階層伝送を行っている状況において放送信号の伝搬状況が変化したときに受信装置側で再生する放送映像の解像度が動的に切り替わったりといった場合も考えられるが、このような場合に、字幕の表示に関する判定と補正の処理を、その都度行わなければならないという問題も生じる。
【0006】
そのため、放送映像の解像度に関する情報と、字幕等のテキストの表示の解像度に関する情報とを、放送信号そのものの中に含めてしまうことも考え得る。しかしながら、放送側の設備(送信装置等)として、従来の技術では、そのような目的のために字幕等のテキストの表示の解像度に関する情報を供給するしくみが存在しないという問題がある。
【0007】
本発明は、上記の課題認識に基づいて行なわれたものであり、テキストコンテンツ(字幕や文字スーパーなど)の表示の解像度に関する情報を、放送信号を送出する送信装置に正しく供給することのできるテキストコンテンツ生成装置(あるいはプログラム)および送信装置を提供するものである。また、本発明は、その放送信号を受信する受信装置(あるいはプログラム)を提供するものである。
【課題を解決するための手段】
【0008】
[1]上記の課題を解決するため、本発明の一態様によるテキストコンテンツ生成装置は、画面の解像度に関する解像度情報を設定する解像度設定部と、テキストと、前記テキストの前記画面での配置に関する情報と、前記解像度設定部により設定される前記解像度情報とを含むテキストコンテンツデータを生成するテキストデータ生成部と、前記テキストデータ生成部が生成した前記テキストコンテンツデータを、放送送信設備に対して供給するために送信するデータ交換部とを具備する。
【0009】
[2]また、本発明の一態様は、上記のテキストコンテンツ生成装置において、テキストデータ生成部は、前記テキストの提示時刻の情報を前記テキストコンテンツデータに含めて生成する、ことを特徴とする。
【0010】
[3]また、本発明の一態様は、上記のテキストコンテンツ生成装置において、前記テキストデータ生成部は、タイムドテキストマークアップ言語で記述された前記テキストコンテンツデータのヘッダー部に前記解像度情報を含める、ことを特徴とする。
【0011】
[4]また、本発明の一態様は、コンピューターを、上記のいずれかに記載のテキストコンテンツ生成装置として機能させるためのプログラムである。
【0012】
[5]また、本発明の一態様は、テキストと、前記テキストの画面での配置に関する情報と、前記テキストを前記画面に表示する際の解像度を表す解像度情報とを含むテキストコンテンツデータを外部から取得するテキスト取得部と、前記テキストと映像と音声とを多重化して得られる放送信号を生成するとともに、取得した前記テキストコンテンツデータに含まれていた前記解像度情報を前記放送信号に含める多重化部と、前記多重化部によって生成された前記放送信号を送出する送信部とを具備する送信装置である。
[6]また、本発明の一態様は、放送信号を受信する受信部と、前記受信部が受信した前記放送信号を分離する分離部と、前記分離部によって分離された映像の信号を受け取り、復号する映像処理部と、前記分離部によって分離された、字幕または文字スーパーの少なくともいずれかであるテキストコンテンツを受け取り、当該テキストコンテンツの解像度の情報を含んだ前記テキストコンテンツを出力するテキスト処理部と、前記映像の解像度と前記テキストコンテンツの解像度とが異なるときには、前記映像の解像度に合うように前記テキストコンテンツの解像度を変更して、前記映像と前記テキストコンテンツとを重ねて出力する提示制御部と、を具備する受信装置である。
[7]また、本発明の一態様は、コンピューターを、上記の受信装置として機能させるためのプログラムである。
【発明の効果】
【0013】
本発明によれば、送信装置に対して、テキストコンテンツの解像度情報を供給することができる。また、そのような送信装置は、放送信号にテキストコンテンツの解像度情報を含めて送出することができるため、受信装置側で、解像度を推定するために字幕データ等を解析する必要がない。
【発明を実施するための形態】
【0015】
次に、図面を参照しながら、本発明の実施形態について説明する。
[実施形態]
図1は、実施形態として、放送局の設備を構成するテキストコンテンツ生成装置および送信装置の概略機能構成を示すブロック図である。図示するように、テキストコンテンツ生成装置1は、テキスト編集部11と、解像度設定部12と、テキストデータ生成部14と、データ交換部15とを含んで構成される。また、送信装置2は、音声取得部21と、映像取得部22と、テキスト取得部23と、制御情報設定部24と、多重化部25と、変調部26と、送信部27と、を含んで構成される。
【0016】
まず、テキストコンテンツ生成装置1側から説明する。
テキストコンテンツ生成装置1は、字幕や文字スーパーなどといったテキストコンテンツを生成するものである。ここで、字幕とは、放送番組の内容に関連するテキストであって、受信装置側で映像の画面に重ねて表示されるものである。また、文字スーパーとは、放送番組の内容には直接関係がないテキストであって、受信装置側で、放送番組の映像に重ねて表示されるものである。ここで、「スーパー」は「スーパーインポーズ」(重ね合わせ)から派生した省略表現である。字幕の典型例は、音声の内容を文字で表したテキスト(日本語の音声の日本語文字による表示)である。また、字幕の用途として、例えば英語の音声で放送される番組における日本語訳のテキストを表示することもある。また、文字スーパーの典型例は、放送番組の途中で伝えられるニュース速報や緊急地震速報などである。字幕および文字スーパーは、放送信号内においてテキストアセットに属するものである。テキストコンテンツ生成装置を構成する各部の機能は、次に述べるとおりである。
【0017】
テキスト編集部11は、テキストを編集する。テキスト編集部11は、例えば、ユーザーによる操作に基づき、新たなテキストデータの入力を受け付けたり、既存のテキストデータを一部変更したりすることによって、字幕や文字スーパーとして表示されるテキストデータを編集する。また、テキスト編集部11は、ユーザーによる操作等に基づき、テキストを表示する際のレイアウトや文字属性(色、フォント種類、フォントサイズなど)を設定する。テキスト編集部11は編集作業の結果であるテキストおよびそのレイアウトに関する情報を、テキストデータ生成部14に渡す。
【0018】
解像度設定部12は、字幕や文字スーパーとしてテキストを表示する際の解像度を設定する。これは、テキストコンテンツを表示する画面の解像度に関する解像度の情報の設定である。つまり、解像度設定部12は、テキストコンテンツの表示のための解像度を設定する。解像度は、受信装置側での画面における画素数で表される。例えば、解像度は、横1920画素×縦1080画素(いわゆる「2K」)、横3840画素×縦2160画素(いわゆる「4K」)、横7680画素×縦4320画素(いわゆる「8K」)の3通りである。
【0019】
テキストデータ生成部14は、テキスト編集部11から渡されたテキストおよびレイアウト等に関する情報と、解像度設定部12による解像度の設定に基づいて、テキストデータを生成する。本実施形態では、テキストデータ生成部14はこのとき、TTML(Timed Text Markup Language,タイムドテキストマークアップ言語)で記述されたデータを生成する。TTMLは、提示時刻を指定するためのタグ情報を備えるマークアップ言語である。また、TTMLによりテキストのレイアウト(画面上での配置等)を指定することができる。
【0020】
また、テキストデータ生成部14は、生成するテキストデータ内に埋め込む形で(あるいは付随させるなどといった形で)、テキストの表示の際の画面の解像度に関する情報を付加する。一例としては、テキストデータ生成部14は、TTML形式のファイルのヘッダー部分に、メタ(meta)データとして、解像度の情報を付加する。その具体例は、「<meta name="resolution " content="7680"/>」といったデータである。本例の場合、メタ(meta)タグ内に、データ名「resolution」(解像度)、値「7680」という情報を付加している。この値「7680」は、画面における横方向の画素数を表している。解像度を表すデータとしては、横方向の画素数に限らず、縦方向の画素数を用いても良い。また、縦方向および横方向の画素数の組み合わせに対応した指標値を用いて解像度を表しても良い。
つまり、テキストデータ生成部14は、テキストと、そのテキストの画面での配置に関する情報と、解像度設定部12により設定される解像度情報とを含むテキストコンテンツデータを生成するものである。なお、TTMLで記述されたテキストコンテンツのデータは、テキストの提示時刻に関する情報を含むものである。つまり、テキストデータ生成部14は、テキストの提示時刻の情報をテキストコンテンツデータに含めて生成する。
【0021】
データ交換部15は、テキストデータ生成部14によって生成されたテキストコンテンツのデータを、外部の装置との間で交換する機能を有する。具体的には、データ交換部15は、生成されたテキストデータを、送信装置2に対して渡す。言い換えれば、データ交換部15は、テキストデータ生成部14が生成したテキストコンテンツデータを、放送送信設備に対して供給するために送信するものである。
【0022】
次に、送信装置2側を説明する。
送信装置2は、テレビの放送信号を送出する装置である。
音声取得部21は、放送番組の音声を外部から取得し、所定の符号化方式により符号化する。
映像取得部22は、放送番組の映像を外部から取得し、所定の符号化方式により符号化する。なお、このとき、映像は所定の解像度(例えば、横7680画素×縦4320画素)を有する。
【0023】
テキスト取得部23は、テキストコンテンツ生成装置1のデータ交換部15から、テキストコンテンツのデータを取得する。前述の通り、このテキストコンテンツのデータは、テキストそのもののほかに、レイアウトに関する情報、文字属性に関する情報、そしてテキストコンテンツの表示の解像度に関する情報を含んでいる。この表示の解像度に関する情報は、一例として、TTML形式のデータのヘッダー部に格納される。
つまり、テキスト取得部23は、テキストと、テキストの画面での配置に関する情報と、テキストを画面に表示する際の解像度を表す解像度情報とを含むテキストコンテンツデータを外部(テキストコンテンツ生成装置1側)から取得する。
制御情報設定部24は、放送に関する各種の制御情報を設定する。
【0024】
多重化部25は、音声取得部21から渡される符号化された音声のデータや、映像取得部22から渡される符号化された映像のデータや、テキスト取得部23から渡されるテキストコンテンツのデータや、制御情報設定部24から渡される制御情報を、多重化する。多重化部25は、放送用の所定の伝送方式に応じた多重化データを生成する。用いられる伝送方式は、例えば、MMT(MPEG Media Transport)方式や、MPEG−2 TS(Moving Picture Experts Group-2 Transport Stream)方式や、RTP(Real-time Transport Protocol)方式などである。
つまり、多重化部25は、テキストと映像と音声とを多重化して得られる放送信号を生成するとともに、取得したテキストコンテンツデータに含まれていた解像度情報を放送信号に含める。
【0025】
変調部26は、多重化部25によって多重化されデータを伝送用に変調する。
送信部27は、変調部26から出力された信号を送信する。送信部27から送出される放送信号は、電波として、あるいはケーブル上の電気信号あるいは光信号として伝送される。
【0026】
このように、本実施形態では、テキストコンテンツ生成装置1は、テキストコンテンツの表示のための解像度情報を送信装置2に供給することができる。また、送信装置2は、テキストコンテンツ生成装置1から供給された解像度情報に基づいて、放送信号にテキストコンテンツの解像度情報を含めて、その放送信号を送出する。これにより、受信装置(テレビ受像機)側では、テキストコンテンツ自体の座標情報を解析しなくても、制作者が意図したテキストコンテンツの解像度を得ることができる。
【0027】
次に、上述の送信装置2から送信される放送信号を受信する受信装置について説明する。
図2は、受信装置の概略機能構成を示すブロック図である。受信装置5は、受信部51と、分離部52と、映像・音声処理部53(映像処理部)と、テキスト処理部54と、提示制御部55と、出力部56と、を含んで構成される。
【0028】
受信部51は、送信装置2からのデジタル放送信号を受信し、復調する。
分離部52は、受信部51によって受信された放送信号を、映像や音声やテキストや制御情報に分離する。分離部52は、分離した映像、音声、テキスト(テキストコンテンツ)、制御情報を、それぞれ出力する。
映像・音声処理部53は、分離部52によって分離された映像および音声の信号をそれぞれ受け取り、復号する。映像・音声処理部53は、復号された映像および音声のそれぞれを、提示制御部55に渡す。これらの映像や音声は、提示タイミング(presentation time)を示す情報と関連付けられている。
つまり、映像・音声処理部53は、分離部52によって分離された映像の信号を受け取り、復号する。
【0029】
テキスト処理部54は、分離部52によって分離されたテキストコンテンツを受け取り、そのテキストコンテンツ(字幕や文字スーパー)を提示制御部55に渡す。テキストコンテンツは、TTML形式で記述されている。つまり、テキストコンテンツは、提示タイミングを示す情報と関連付けられている。また、テキストコンテンツのデータは、レイアウト情報や、文字の属性情報を含んでいる。また、テキストコンテンツのデータは、画面における表示の解像度の情報を含んでいる。テキスト処理部54は、このテキストの表示解像度の情報を、提示制御部55に渡す。
つまり、テキスト処理部54は、分離部52によって分離された、字幕または文字スーパーの少なくともいずれかであるテキストコンテンツを受け取り、当該テキストコンテンツの画面における表示の解像度の情報を含んだテキストコンテンツを出力する。
【0030】
提示制御部55は、映像、音声、テキストといったコンテンツを、指定された提示時刻に合わせて、出力部56から出力する。なお、提示制御部55は、映像の解像度の情報と、テキストコンテンツの解像度の情報をそれぞれ取得し、それら両方の表示内容を重ね合わせて(オーバーレイして)、出力部56に渡す。なお、提示制御部55は、テレビ放送の映像の解像度とテキストコンテンツの表示の解像度とを調整して、両者をオーバーレイする。具体的には、提示制御部55は、テキスト処理部54から渡されるテキスト解像度情報と映像・音声処理部53によって復元された映像の解像度とに基づいて、映像とテキストコンテンツの出力画像との解像度を整合させる処理を行う。この解像度の調整の詳細については、後述する。
つまり、提示制御部55は、映像とテキストコンテンツとを重ねて出力する。
出力部56は、提示制御部55から渡された映像および重ねあわされたテキストコンテンツを画面に出力する。また、出力部56は、提示制御部55から渡された音声を、スピーカー等から出力する。
【0031】
次に、放送の映像と、テキストコンテンツとをオーバーレイする処理の詳細について説明する。
図3は、提示制御部55によるオーバーレイ処理を説明するための画面例の図である。同図(a)は、テレビ放送の映像を示している。同図(b)は、テキストコンテンツの例を示している。同図(c)は、テレビ放送の映像と、テキストコンテンツとを重ね合わせて表示した状態を示している。
【0032】
同図(b)や(c)に示すテキストコンテンツの制作者は、テキストコンテンツが画面全体の中でバランスよく配置されることを意図した制作を行っている。提示制御部55は、テレビ放送の映像の解像度とテキストコンテンツの出力解像度が異なっている場合にも、両者が同図(c)のように良いバランスで表示されるように、オーバーレイのしかたを制御する。言い換えれば、提示制御部55によるこのような制御の結果として、テキストコンテンツが画面をはみ出して表示されたり、テキストコンテンツが画面内で必要以上に小さく縮小して表示されたりすることを防いでいる。
【0033】
提示制御部55は、映像の解像度とテキストコンテンツの解像度が異なるときには、映像の解像度に合うように、テキストコンテンツの解像度を変更する。
つまり、提示制御部55は、映像の解像度とテキストコンテンツの解像度とが異なるときには、映像の解像度に合うようにテキストコンテンツの解像度を変更して、映像とテキストコンテンツとを重ねて出力する。
また逆に、提示制御部55が、テキストコンテンツの解像度に合うように映像の解像度を変更しても良い。これらの場合、提示制御部55は、変更するほうのコンテンツを適宜、アップサンプリングまたはダウンサンプリングする。
図4および
図5は、提示制御部55によるコンテンツの解像度調整の対応関係を示すものである。
図4は、提示制御部55がテキストコンテンツの解像度を放送映像の解像度に合わせる場合の対応関係図である。
図5は、提示制御部55が放送映像の解像度をテキストコンテンツの解像度に合わせる場合の対応関係図である。提示制御部55は、
図4または
図5のいずれの方法を用いても良い。
【0034】
図4が示すものは2次元の表であり、横方向はテキストコンテンツの解像度に対応し、縦方向は放送の映像の解像度に対応する。本例では、テキストコンテンツの解像度も、放送映像の解像度も、横1920画素×縦1080画素(いわゆる「2K」)、横3840画素×縦2160画素(いわゆる「4K」)、横7680画素×縦4320画素(いわゆる「8K」)の3通りである。但し、解像度の種類はこれらの3種類に限られず、他の解像度を用いても良い。
図4の対応関係を用いる場合、テキストコンテンツを、適宜アップサンプリングまたはダウンサンプリングすることによって、放送映像の解像度に合わせる。なお、アプリケーションからの出力解像度と放送映像の解像度が元々等しい場合には、解像度を変えずにそのままオーバーレイする。
図4に示す通り、(4−1)放送映像の解像度が横1920画素×縦1080画素である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横1920画素×縦1080画素である。また、(4−2)放送映像の解像度が横3840画素×縦2160画素である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横3840画素×縦2160画素である。また、(4−3)放送映像の解像度が横7680×縦4320である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横7680画素×縦4320画素である。
【0035】
図5も、
図4と同様の2次元の表であり、解像度は、横1920画素×縦1080画素、横3840画素×縦2160画素、横7680画素×縦4320画素の3通りである。
図5の対応関係を用いる場合、提示制御部55は、放送映像を、適宜アップサンプリングまたはダウンサンプリングすることによって、テキストコンテンツの解像度に合わせる。なお、テキストコンテンツの解像度と放送映像の解像度が等しい場合には、解像度を変えずにそのままオーバーレイする。
図5に示す通り、(5−1)テキストコンテンツの解像度が横1920画素×縦1080画素である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横1920画素×縦1080画素である。また、(5−2)テキストコンテンツの解像度が横3840画素×縦2160画素である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横3840画素×縦2160画素である。また、(5−3)テキストコンテンツの解像度が横7680×縦4320である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横7680画素×縦4320画素である。
【0036】
また、提示制御部55が、各コンテンツの実際の解像度によって動的にどちらのコンテンツの解像度に合わせるかを決定するようにしても良い。
図6および
図7は、提示制御部55によるコンテンツの解像度調整の対応関係を示す図である。
図6は、提示制御部55が解像度の高いほうのコンテンツを解像度の低いほうに合わせる場合の対応関係図である。
図7は、提示制御部55が解像度の低いほうのコンテンツを解像度の高いほうに合わせる場合の対応関係図である。提示制御部55は、
図4や
図5の方法に代えて、
図6または
図7のいずれかの方法を用いても良い。
【0037】
図6が示すものは2次元の表であり、横方向はテキストコンテンツの出力解像度に対応し、縦方向は放送の映像の解像度に対応する。本例では、テキストコンテンツの出力解像度も、放送映像の解像度も、横1920画素×縦1080画素、横3840画素×縦2160画素、横7680画素×縦4320画素の3通りである。但し、解像度の種類はこれらの3種類に限られず、他の解像度を用いても良い。
図6の対応関係を用いる場合、テキストコンテンツからの出力と放送映像からの出力のうち、提示制御部55は、解像度の高いほうのコンテンツをダウンサンプリングすることによって、低いほうの解像度に合わせる。なお、テキストコンテンツの出力解像度と放送映像の解像度が等しい場合には、解像度を変えずにそのままオーバーレイする。
図6に示す通り、(6−1)テキストコンテンツの解像度と放送映像の解像度のどちらか一方が横1920画素×縦1080画素である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横1920画素×縦1080画素である。また、(6−2)テキストコンテンツの解像度と放送映像の解像度のどちらか一方が横3840画素×縦2160画素であって、且つ他方の解像度が横3840画素×縦2160画素またはそれ以上である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横3840画素×縦2160画素である。(6−3)テキストコンテンツの解像度と放送映像の解像度の両方が横7680×縦4320である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横7680画素×縦4320画素である。
【0038】
図7も、
図6と同様の2次元の表であり、解像度は、横1920画素×縦1080画素、横3840画素×縦2160画素、横7680画素×縦4320画素の3通りである。
図7の対応関係を用いる場合、テキストコンテンツからの出力と放送映像からの出力のうち、提示制御部55は、解像度の低いほうのコンテンツをアップサンプリングすることによって、高いほうの解像度に合わせる。なお、テキストコンテンツの出力解像度と放送映像の解像度が等しい場合には、解像度を変えずにそのままオーバーレイする。
図7に示す通り、(7−1)テキストコンテンツの解像度と放送映像の解像度のどちらか一方が横7680画素×縦4320画素である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横7680画素×縦4320画素である。また、(7−2)テキストコンテンツの解像度と放送映像の解像度のどちらか一方が横3840画素×縦2160画素であって、且つ他方の解像度が横3840画素×縦2160画素またはそれ以下である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横3840画素×縦2160画素である。また、(7−3)テキストコンテンツの解像度と放送映像の解像度の両方が横1920×縦1080である場合、提示制御部55から出力部56に渡す画像(映像)の解像度は横1920画素×縦1080画素である。
【0039】
なお、上述した実施形態におけるテキストコンテンツ生成装置や、送信装置や、受信装置の機能の全体または一部を、コンピューターで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0040】
本発明はさらに次のような変形例でも実施することが可能である。
例えば、上記の実施形態においては、テキストデータ生成部14は、TTML形式のファイルのヘッダー部分に、メタ(meta)データとして、解像度の情報を付加した。代わりに、テキストコンテンツを表示する際の解像度に関する情報は、他の部分に付加してテキストコンテンツ生成装置1から送信装置2に渡すようにしても良い。
例えば、TTMLデータのヘッダー部分に、「メタ」以外のタグを用いて、テキストコンテンツの解像度情報を格納するようにしても良い。
例えば、TTMLデータのヘッダー以外の部分に、テキストコンテンツの解像度情報を格納するようにしても良い。
例えば、TTMLデータの中のコメントの領域に、テキストコンテンツの解像度情報を格納するようにしても良い。
例えば、TTMLデータとは別のファイルとして、テキストコンテンツの解像度情報を付加するようにしても良い。
また、その他の方法により、テキストコンテンツの解像度情報を送信装置2側に渡すようにしても良い。
【0041】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。