(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-20
(45)【発行日】2022-05-30
(54)【発明の名称】表示装置
(51)【国際特許分類】
G06F 3/0488 20220101AFI20220523BHJP
H04N 21/435 20110101ALI20220523BHJP
【FI】
G06F3/0488
H04N21/435
(21)【出願番号】P 2018182548
(22)【出願日】2018-09-27
(62)【分割の表示】P 2017089021の分割
【原出願日】2017-03-30
【審査請求日】2018-09-27
【審判番号】
【審判請求日】2020-11-26
(31)【優先権主張番号】P 2016072304
(32)【優先日】2016-03-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】596027900
【氏名又は名称】株式会社インフォシティ
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(72)【発明者】
【氏名】岩浪 剛太
(72)【発明者】
【氏名】百武 邦宏
(72)【発明者】
【氏名】小山 忠義
(72)【発明者】
【氏名】森野 陽
(72)【発明者】
【氏名】武藤 一紀
(72)【発明者】
【氏名】秋山 高弘
【合議体】
【審判長】▲吉▼田 耕一
【審判官】小田 浩
【審判官】野崎 大進
(56)【参考文献】
【文献】国際公開第2015/051708(WO,A1)
【文献】特開2014-110024(JP,A)
【文献】特表2005-518013(JP,A)
【文献】特開2010-114586(JP,A)
【文献】米国特許出願公開第2015/0278573(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/048-3/0489
H04N21/435
(57)【特許請求の範囲】
【請求項1】
マークアップ言語で記述されたマークアップ言語記述文書を表示する表示部と、
バーコードを復号する復号手段と、
上記表示部の表示画面上において位置指定された位置に上記マークアップ言語記述文書の要素であるかどうかを判別し、当該位置指定された位置に上記マークアップ言語記述文書の要素がない場合に上記復号手段による復号を中止し、当該位置指定された位置にある画像が上記マークアップ言語記述文書の要素である場合に、当該画像のファイルを抽出して上記復号手段により復号する手段とを有し、
上記復号手段による復号が成功したときに上記復号結果に基づいて処理を実行する表示装置。
【請求項2】
マークアップ言語で記述されたマークアップ言語記述文書を表示する表示部と、
上記表示部の表示画面上において位置指定された位置に上記マークアップ言語記述文書の要素であるかどうかを判別し、当該位置指定された位置に上記マークアップ言語記述文書の要素がない場合に
バーコード復号手段による復号を中止し、当該位置指定された位置にある画像が上記マークアップ言語記述文書の要素である場合に、当該画像のファイルを抽出して
上記バーコード復号手段に復号させる手段とを有し、
上記バーコード復号手段による復号が成功したときに上記復号結果に基づいて処理を実行する表示装置。
【請求項3】
上記復号結果はURLであり、当該URL要求を送信する請求項1または2のいずれかに記載の表示装置。
【請求項4】
上記表示部の表示画面上において位置指定された位置にある上記マークアップ言語記述文書の要素の記述にフォーカス移動に関する属性記述がある場合に、上記要素にフォーカスが移動された状態で決定ボタンを押したならば実行される、上記要素に関する命令を実行する手段をさらに有する請求項1~3のいずれかに記載の表示装置。
【請求項5】
マークアップ言語で記述されたマークアップ言語記述文書を表示する表示部を有する端末を、
上記表示部の表示画面上において位置指定された位置に上記マークアップ言語記述文書の要素であるかどうかを判別し、当該位置指定された位置に上記マークアップ言語記述文書の要素がない場合に
バーコード復号手段による復号を中止し、当該位置指定された位置にある画像が上記マークアップ言語記述文書の要素である場合に、当該画像のファイルを抽出して
上記バーコード復号手段に復号させる手段、および、
上記バーコード復号手段による復号が成功したときに上記復号結果に基づいて処理を実行する手段として実現するために用いられるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、表示装置に関する。
【背景技術】
【0002】
テレビジョン受像機の画面に表示されたバーコードを携帯電話機で撮影してこれを復号して利用することが行われている。特許文献1(特開2011-095824号)は、テレビ放送のショッピング番組でバーコードをテレビ画面に表示し、これをユーザ端末で撮像・復号してショッピングに利用可能にすることを開示している。携帯電話機等のユーザ端末で撮像を行うことは煩雑である。
【0003】
上述の従来技術やその問題点は、この発明の背景の一部を説明するためにのみ説明している。この発明は上述の従来技術や問題点に限定されるものではない点に留意されたい。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
この発明は、以上の事情を考慮してなされたものであり、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できるようにすることを目的としている。
【課題を解決するための手段】
【0006】
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
【0007】
すなわち、この発明の一側面によれば、表示装置を:表示部と;上記表示部に対応するタッチパネルと;バーコードを復号する復号手段と;上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出して上記復号手段により復号する手段とを含んで構成している。
【0008】
かかる構成においては、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できる。
【0009】
この発明の他の側面によれば、表示装置を:表示部と;上記表示部に対応するタッチパネルと;上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段とを含んで構成している。
【0010】
かかる構成においても、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できる。
【0011】
かかる構成において、上記バーコードは二次元バーコードであって良い。
【0012】
また、上記復号手段による復号が成功したときに上記復号結果に基づいて処理を実行するように構成されて良い。
【0013】
また、上記復号結果はURLであり、当該URL要求を送信するように構成されて良い。
【0014】
また、表示装置は移動体通信端末により構成されて良い。
【0015】
また、当該表示装置は、BMLで記述された文書を表示して良い。
【0016】
この発明の他の側面によれば、表示部と、上記表示部に対応するタッチパネルとを有する端末を、上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段として実現するために用いられるコンピュータプログラムが提供される。
【0017】
かかる構成においても、テレビジョン受像機等の表示装置に表示されたバーコードを簡便に利用できる。
【0018】
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。
【0019】
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
【発明の効果】
【0020】
この発明によれば、放送サービス再送信装置の処理負荷を軽減できる。また、再送信サービスの視聴端末の負荷を軽減できる。
【図面の簡単な説明】
【0021】
【
図1】この発明の実施例のIP再送信システムが実行される環境を説明する図である。
【
図2】
図1のIP再送信システムの概要を説明する機能ブロック図である。
【
図3】
図2のメッセージ管理ファイルを説明する図である。
【
図5】
図1の携帯端末の構成例を示すブロック図である。
【
図7】
図1の携帯端末の表示例を説明する図である。
【
図8】認証サーバーから取得可能なチャンネル情報の例を示す図である。
【
図9】
図8のチャンネル情報の詳細を説明する図である。
【
図10】
図8の同期データ再生部の構成例を示すブロック図である。
【
図11】
図8の同期データ再生部の動作を説明する模式図である。
【
図12】
図11の同期データ再生部の補正PCRの取得動作例を説明する模式図である。
【
図13】
図6のユーザインターフェース部のボタン選択動作を説明するフロー図である。
【
図14】
図6のユーザインターフェース部のボタン選択動作を説明する画面表示例を示す図である。
【
図15】
図6のユーザインターフェース部のボタン選択動作を説明するBML記述例を示す図である。
【
図16】
図6のユーザインターフェース部の二次元バーコード処理部の動作を説明するフロー図である。
【
図17】
図6のユーザインターフェース部の二次元バーコード処理部の動作を説明する画面表示例を示す図である。
【
図18】上述の実施例の変形例を説明する機能ブロック図である。
【
図19】字幕データの処理フローを説明する模式図である。
【
図20】メッセージ管理ファイル中のメッセージを説明する図である。
【
図21】メッセージ管理ファイル中のメッセージの実体種別を説明する図である。
【発明を実施するための形態】
【0022】
以下、この発明の実施例について説明する。
【0023】
図1は、この発明のデジタルテレビ放送(地上波デジタルテレビ放送、BS、CSデジタルテレビ放送)のIP再送信(IPはインターネット・プロトコルの略称であり、以下では「インターネット再送信」ともいう)を行うデジタルテレビ再送信システムに適用した実施例を実施する環境を全体として示しており、この図において、放送事業者システム100は、基幹放送事業者が運営するシステムであって良く、アップリンクする前の放送サービスのTSストリームを取得し、または受信した放送電波を復調しTSストリームを取得し、さらに、映像・音声ストリームおよびデータストリームに逆多重化して配信事業者システム200に所定の回線を使用して伝送する。配信事業者システム200は、伝送されてきた、映像・音声ストリームおよびデータストリームを再配信用に処理するものであり、後述するように、映像・音声ストリーム(MPEG-2 TS)をIP再配信用の所定のフォーマット(HLS、MPEG-DASH等)にトランスコードし携帯端末300に配信し、また、データストリーム中の字幕データ、文字スーパーデータ、およびイベントメッセージ等の映像・音声ストリームに同期した同期データと、それ以外の非同期データ(BML等で記述されたデータ放送、電子番組表すなわちEPG等)とを個別に管理し、前者をHTTPロング・ポーリングを利用して配信し、後者を、オンデマンドで配信するようになっている。後述のように、映像・音声ストリームに同期した同期データ、および、それ以外の非同期データの双方をHTTPポーリングを利用して配信しても良い。配信事業者システム200は通信ネットワーク500、典型的にはインターネットに接続されている。通信ネットワーク500の少なくとも一部はCDN(コンテンツデリバリネットワーク)サービスで構成されても良い。携帯端末300は移動体通信事業者のゲートウェイ400を介して通信ネットワーク500に接続されている。また、認証サーバー600を通信ネットワーク500に接続して、IP再送信サービスに関して、携帯端末300からの要求を認証するようにしてもよい。放送事業者システム100および配信事業者システム200を統合して構成しても良い。
【0024】
図2は、放送事業者システム100、配信事業者システム200、携帯端末300の構成例を説明するものであり、それぞれ他の構成例も採用して良い。
図2において、放送事業者システム100は、放送映像・音声抽出部110および放送データ抽出部120を有しており、放送映像・音声抽出部110は、放送TSストリームから映像・音声のTSパケットを抽出する。放送データ抽出部120は、放送TSストリームから、映像・音声以外のデータ関連のTSパケットを抽出する。配信事業者システム200は、映像・音声トランスコード部210、データ受信部220、データ管理DB部230、映像・音声配信部240、同期データ配信部250、非同期データ配信部260、およびメッセージ管理ファイル保持部270等を有している。映像・音声トランスコード部210は、映像・音声のMPEG-2のTSパケットを、HTTPストリーミング方式(典型的にはHLS方式)のストリーミングファイルに変換するものである。映像・音声配信部240は、HTTPストリーミング方式で映像・音声ストリームを携帯端末300に配信するものである。データ受信部220は、典型的には、映像・音声以外のデータ関連のTSパケットを受信して、字幕データ、文字スーパーデータ、およびイベントメッセージ等の映像・音声ストリームに同期した同期データを同期データ配信部250に送り、同期データ配信部250は、この同期データをHTTPロング・ポーリングにより携帯端末300に配信する。また、データ受信部220は、非同期データパケットからBML文書およびEPG等を再構築してデータ管理DB230に保管し、非同期データ配信部260は、これらBML文書およびEPG等を、携帯端末300からのオンデマンドのHTTP要求、例えば携帯端末300の表示部に表示されたデフォルトのボタン表示を操作して行うHTTP要求に基づいて携帯端末300に配信する。
【0025】
なお、放送事業者システム100または配信事業者システム200は、放送TSストリームのTSパケットを管理するためのインデックスファイル(インデックスデータ、インデックスリスト、メッセージ管理データ、メッセージ管理ファイル、メッセージリストともいう)をメッセージ管理ファイルとしてメッセージ管理ファイル保持部270に保持している。放送事業者システム100または配信事業者システム200は、TSパケットを受信するたびに
図3に示すインデックス(メッセージエントリ、メッセージ)を作成して管理する。字幕データに関しては
図4に模式的に示すような字幕パケットをそのままの形態でデータ記憶管理部、例えばデータ管理DB230、後述の
図18のデータ本体記憶管理部280、その他の記憶部に保持するようになっており、メッセージの実体ファイル名属性で指定されるパスでアクセスできる。
【0026】
携帯端末300は、HTTPストリーミングで配信されてくる映像を表示部300A(
図2)に表示し、またHTTPロング・ポーリングで伝送されてくるメッセージ管理ファイルを利用して配信されてくる字幕データ(300B)を表示部300Aに映像に重ねて表示し、また、オンデマンドで配信されてくるBML文書やEPGを表示部300Cに表示する。なお、表示部300A、表示部300Cはレイアウトに準拠して区画されるものであり、携帯端末300の表示領域の一部の場合もあるし、全体の場合もある。選択可能な表示モードに基づいて表示部300Aが全表示領域にわたって表示されるようにしても良い。また、選択可能な表示モードに基づいて、字幕データおよび/または文字スーパーデータを表示部300Aと重ならない、または一部しか重ならない、異なる領域(ウインドウ)に表示しても良い。
【0027】
なお、HTTPロング・ポーリングの例は、のちに説明される。
【0028】
図5は、携帯端末300の構成例を示し、この図において、携帯端末300は、処理システム310、メモリ320、入出力サブシステム330、高周波回路部340、および音声回路部350を含む。構成要素の各々は、適宜、信号処理集積回路、特定用途向け集積回路、を含むハードウェア、ソフトウェア、またはこれらを組み合わせて実現できる。高周波回路部340は、他の装置に、無線リンクまたはネットワーク上で情報を送信・受信するのに用いられ、この機能を実行するために、アンテナ・システム、RF送受信機、増幅器、チューナー、発振器、デジタル信号プロセッサ、CODECチップセット、メモリ、その他の周知の回路構成を含むがこれらに限られない。高周波回路部340は、時分割多重アクセス(TDMA)、符号分割多重接続(CDMA)等のモバイル通信、無線LAN(IEEE 802.11b、IEEE802.11a、IEEE802.11g及び/又はIEEE802.11N)、ブルートゥース(IEEE802.15.1、「ブルートゥース」は商標である)、Wi-MAX(IEEE802.16)等の通信プロトコルを利用できるけれども、これに限定されない。音声回路部350は、音声スピーカ351とマイクロフォン352に連結される。処理システム310はプロセッサ311、メモリコントローラ312、周辺装置インターフェース313を含む、メモリ320は、プロセッサ311が実行するコードやデータを格納する。メモリ320は、RAM、ROM、FLASH、ディスク・ドライブ、磁気テープ等の任意の記憶装置を含んで良い。プロセッサ311は、メモリ320に格納された多様なソフトウェア・コンポーネントを実行する。例えば、ソフトウェア・コンポーネントは、オペレーティング・システム321、通信モジュール322、接触/動作モジュール323、グラフィック・モジュール324、アプリケーション325、タイマ・モジュール326、およびウェブ・ブラウザ・モジュール327を含む。アプリケーション325は、ブラウザ、アドレス帳、電子メール、暗号化、グローバル・ポジショニング・システム(GPS)等の位置決定機能、および、二次元バーコードデコーダを含む。この実施例のインターネット再送信テレビ放送視聴アプリケーション325A(
図6)は、典型的には、アプリケーション325の1つとして実現される。入出力サブシステム330はタッチパネル331等を制御する。この携帯端末300においては、インターネット再送信で配信されるテレビ放送サービスを視聴する機能はアプリケーションとして実装される。対応するアプリケーションをメモリ320にインストールすることにより携帯端末300をインターネット再送信テレビ放送視聴端末として実現する。
【0029】
図6は、インターネット再送信テレビ放送視聴アプリケーション325Aが実現する機能を模式的に示しており、図において、携帯端末300は、映像・音声ストリーム再生部360、同期データ再生部370、非同期データ閲覧部380、ユーザインターフェース部390を機能として含む。ユーザインターフェース部390は、ボタン選択部391およびバーコード処理部392を含む。
【0030】
映像・音声ストリーム再生部360は、HTTPストリーミングで配信事業者システム200の映像・音声配信部240から配信される映像・音声パケットのファイルをデコードして、例えば、
図7に示すように携帯端末300の表示領域の映像視聴領域Aに動画を表示する。なお、テレビ放送を視聴開始するには、対応するアプリケーションを選択起動し、通常のテレビ受像機と同様のオンスクリーンディスプレイ等からチャンネルを選択すればよい。スワイプに基づいてチャンネル切り換えを行っても良い。場合によっては認証サーバー600(
図1)との間で、認証ダイアログが実行される。なお、アプリケーション325Aは、例えば、認証サーバー600から視聴可能な放送チャンネルの各々についてチャンネル情報を取得可能であり、
図8は、このチャンネル情報の具体例を示す。チャンネル情報は、
図9に示すような情報を含む。また、
図7において「d」ボタンはデータ放送の切り換え、「字」ボタンは字幕の切り換え、「主」ボタンは音声の切り換え、その他、表示の縦横の切り換え等のボタンがある。また、字幕表示に関連して、別領域に字幕等を表示するボタンや、字幕等のタイミングを早めたり遅めたりするボタンを設けて、字幕の表示態様、タイミングの微調整を行えるようにしてもよい。
【0031】
さらに、
図6において、同期データ再生部370は、字幕等の同期データを再生するものである。同期データ再生部370は、HTTPロング・ポーリングを利用して同期データを配信事業者システム200の同期データ配信部250から取得して、映像・音声ストリーミングと同期したタイミングで字幕や文字スーパー等を表示するようになっている。また、同期データ再生部370は同じく同期データであるイベントメッセージを、映像・音声ストリーミングと同期したタイミングで処理するようになっている。イベントメッセージによりBML文書内容の切り換え等を行える。
【0032】
図10は、同期データ再生部370において同期タイミングを制御する、補正PCR生成部372を説明するものである。
図10において、同期データ再生部370は、字幕表示部371、補正PCR生成部372、メッセージ管理ファイル保持部373、字幕データ保持部374、ポーリング制御部375を有している。補正PCR生成部372は、映像・音声ストリーム再生部360の再生状況に応じたPCR(プログラムクロックリファレンス)を生成するものである。ポーリング制御部375は、配信事業者システム200の同期配信部250にポーリングを行って、メッセージ管理ファイル保持部270から新たなエントリ(メッセージ)を取り出して、同期データ再生部370のメッセージ管理ファイル保持部373に追加し、また、新たな字幕データを字幕データ保持部374に追加する。メッセージ管理ファイル保持部373および字幕データ保持部374は、不要になったエントリを削除するようになっている。配信事業者システム200のメッセージ管理ファイル保持部270も不要になったエントリを削除するようになっている。字幕表示部371は、補正PCR生成部372で算出される補正PCRに基づいて字幕データ保持部374中の字幕パケットの表示タイミング(PST)を参照して字幕(文字スーパーも同様)の表示を開始し、消去タイミングを参照して字幕の表示を終了する。
【0033】
補正PCR生成部372は、番組切り替え(1つのチャンネル内の放送番組のストリーム構成が変わったこと)を検出したときの日時PRSTS(メッセージ管理ファイルを作成するサーバーの時刻に準拠する日時)と、再生されている映像・音声ストリームの日時(再生時間軸上の日時。TSトランスコードするサーバーの時刻に準拠する日時)との差分を求め、番組切り替え時点から再生時間軸上の日時までの経過時間(PCRの経過時間)を求め、これにプログラムリファレンスクロックの解像度(例えば90000/秒)をかけ、経過クロックを求める。さらに、補正PCR生成部372は、番組切り換えを検出したときのPCR(PCRP)を保持しておき、これを基準にして経過クロックを加算して補正PCRを算出する。このような算出手法を
図11(A)に示す。また、具体的な計算例を
図11(B)に示す。PCRの上限は"8589935102"である。なお、ここでは、動画の正確な時間が、EXT-PROGRAMーDATE-TIMEに設定され、好ましくは、HLSの作成およびTSトランスコードするサーバーとメッセージ管理ファイルを作成するサーバーの時刻が1フレーム単位でずれがないことを前提とする。番組切り替え(1つのチャンネル内の放送番組のストリーム構成が変わったこと)は、例えば、携帯端末300が、PMT(プログラムマップテーブル)パケットのバージョンナンバーの値が変わったことを検知して、これを検知する。なお、典型的な例では、「pmt_changed」(後述の
図21および
図20参照)がPMTデータが変わったことを通知するメッセージであり、サーバーの検知時刻が、このメッセージ中のメッセージ実行時間に転記される。また、サーバーは、チューナーから抽出されたPMTのデータを受け取り、PMTに記載されたPCRの記述場所からPCRを取得し、当該「pmt_changed」メッセージの第4列に追加情報として転記する。PMTが番組切り替え(1つのチャンネル内の放送番組のストリーム構成が変わったこと)ことを示すときには、以前のメッセージ管理データはクリアされて良い。
図12は補正PCRの算出動作例を模式的に示すものである。
【0034】
なお、PTS(Presentation Time Stamp)とPCRの実時間換算地との差を求め、PCRを受信した時刻にこの差分を加算することで実時間に換算し、これをメッセージ管理ファイルに出力し、PCRのクロックに基づくのではなく実時間で字幕の表示・消去を制御しても良い。また、字幕等のタイミングを早めたり遅めたりするボタンを設けて、字幕の表示態様、タイミングの微調整を行えるようする場合、例えば「+」のボタンが操作されるたびに補正PCRの現在の値に一定の時間増分に応じた一定のクロック増分(ΔPCR、例えば1秒分の90000クロック数)を加算し、「-」のボタンが操作されるたびに補正PCRの現在の値に一定の時間減分に応じた一定のクロック減分(-ΔPCR)を加算し(差し引く)、「リセット」ボタンが操作されると、本来の補正PCRに復帰するようにしてよい。補正PCRに限らず、所定の基準で設定された基準PCRを同様に増減させてよい。
【0035】
つぎに
図6のユーザインターフェース部390のボタン選択部391について説明する。
図14は、テレビ放送の表示例を示し、映像部分以外は、BMLで記述された文書である。「A」、「B」、「C」は操作ボタンであり、通常のテレビ受像機との関連では、リモコンのカーソル移動キーを用いてフォーカス位置をボタンからボタンに遷移させて、最終的にリモコンの決定ボタンを押して、項目の選択を行う。携帯端末300のユーザインターフェース部390においてリモコンのカーソル移動キーに対応するキーを設けても良い。この実施例では、目的のボタンがタッチされたときにその項目が選択されるようにしている。以下詳細に説明する。
【0036】
図15は、
図14の表示例のBML文書記述を示す。これからわかるように、ボタンの要素の記述には「nav-index」のスタイル属性が含まれている。すなわち、
図14の例では、(1)、(2)、(3)で示すボタンを表示するための記述に
図15の(1)で囲む「nav-index」のスタイル属性が含まれる。この例では、タッチされた領域の記述に「nav-index」のスタイル属性が含まれる場合には、それが選択可能であると判定して、その内容を選択する。
【0037】
図13は、ボタン選択部391の動作例を示す。
図13に示すように、タッチが検出されたときには、その領域に要素が検出されるかどうかを判別し(ステップS01)、検出されない場合にはそのまま終了し(オンスクリーンディスプレイを表示しても良い)、検出された場合にはフォーカス移動記述(「nav-index」のスタイル属性の記述)が含まれるかどうかを判別し(ステップS02)、検出されない場合にはそのまま終了し、検出された場合には、ボタンの記述中の指示を実行する(ステップS03)。そののち、ボタン選択処理を終了する。
【0038】
つぎに、
図6のユーザインターフェース部390のバーコード処理部392について説明する。
図17は、携帯端末300の表示部に二次元バーコードの画像が表示されている状態を示す。通常のテレビ受像機の利用態様では、テレビ受像機の画面に表示された二次元バーコードの画像を携帯端末等のカメラ機能で撮像し、これをバーコードデコード機能でデコードしてURLを取得し、取得したURLに基づいてブラウザを起動してURLのコンテンツの閲覧等を行う。この実施例では、携帯端末300の表示部の二次元バーコードの画像表示部分(
図17の(1)の部分)をタッチすることにより、そのまま、URLのコンテンツの閲覧等を行えるようになっている。
【0039】
図16に示すように、タッチが検出されたときには、その領域に要素が検出されるかどうかを判別し(ステップS11)、検出されない場合にはそのまま終了し(オンスクリーンディスプレイを表示しても良い)、検出された場合には要素の画像を抽出して二次元デコード機能でデコードし、デコードが成功したかどうかを判別する(ステップS12)。デコードが失敗した場合にはそのまま終了し、成功した場合には、デコードした内容(URL)で当該コンテンツをブラウザで閲覧可能にする。そののち、バーコード処理を終了する。
【0040】
なお、表示部がタッチされたときに
図13のボタン選択処理と
図16のバーコード処理とを前後させて実行できることはもちろんである。
【0041】
以上で実施例の説明を終了する。
【0042】
つぎに上述の実施例の変形例について説明する。
【0043】
図18は、
図2に対応するものであり、対応する部分には対応した符号を付した。
図18においては、同期データのみでなく、非同期データ(BML文書)もロング・ポーリングによって携帯端末300に配信するようにしている。すなわち、データ受信部220が映像・音声以外のデータ関連のTSパケットを受信し、これらTSパケットごとに処理管理用のメッセージを生成してメッセージ管理ファイル保持部270に保持し、TSパケットの本体を、メッセージにより指定可能はアドレスでデータ本体記憶管理部280に保持する。データ配信部250Aは、メッセージ管理ファイル(メッセージ管理データともいう)を利用して、字幕データ、文字スーパーデータ、およびイベントメッセージ等の映像・音声ストリームに同期した同期データや、BML文書およびEPG等の非同期データをHTTPロング・ポーリングにより携帯端末300に配信する。
【0044】
図19は、字幕データを例にして処理フロー例を説明するものであり、
図18の変形例では、他のデータ関連のTSパケットも同様にして処理される。
図19において、放送事業者システム100の放送波受信装置100AのチューナーがTSパケットを受信して放送事業者システム100のTS分離プログラム100Bに供給し(X01)、このTS分離プログラム100Bが字幕データのTSパケットを配信事業者システム200のデータ配信サーバー200Aの送信する(X02)。データ配信サーバー200Aは字幕データをデータ本体記憶管理部280に保存して、これに対応して、メッセージ管理ファイル保持部270中のメッセージ管理データ(メッセージ管理ファイル)に新規メッセージを追加してこれを更新する(X03)。携帯端末300のアプリケーション325Aは、ロング・ポーリング処理部分X04において、まずメッセージ管理データを取りにいき(X05)、これに応じてデータ配信サーバー200Aは、メッセージ管理データの最新のデータをアプリケーション325Aに返す(X06)。データ配信サーバー200Aはメッセージ管理データの更新分を更新の都度アプリケーション325Aに返すことを繰り返す(X07)。アプリケーション325Aは、ステップX06、X07で取得したメッセージ管理データを行ごとに解釈し、字幕メッセージである場合、ステップX03で取得した字幕データを取りにいき(X08)、データ配信サーバー200Aはこれに応じて字幕データをアプリケーション325Aに送る(X09)。アプリケーション325Aはメッセージ管理データと字幕データの内容から適切なタイミングで表示処理を行い、ユーザに字幕が表示される(X10、X11)。
【0045】
図20は、メッセージの一例を示しており、メッセージは、先に
図3を参照して示したように、1列目のメッセージ実行時間(発火時刻ともいう)、2列目のメッセージ種別(実体種別ともいう)、3列目の実体ファイル名、4列目の追加情報を含む(
図20(A))。
図20(B)の具体例では、メッセージ実行時間が「2016-04-20T13:02:15.588+0900」であり、メッセージ種別が「cap_packet」であり、実体ファイル名が「/tvmock/20160420/7fe4.7fe4.0420/cap/00055002」であり、追加情報は含まれていない。メッセージ種別の「cap_packet」は、メッセージが字幕に関するものであることを示し、実体ファイル名の「/tvmock/20160420/7fe4.7fe4.0420/cap/00055002」に字幕データが保持されていることを示す。主たるメッセージ種別は
図21に示すとおりである。なお、メッセージはデータストリームのTSパケットごとに形成しているけれども、映像・音声ストリームのTSパケットについても生成してこれを管理用に用いても良い。
【0046】
図21の「pmt_changed」は上述のとおり、字幕データの表示タイミングの制御に用いられる。
【0047】
なお、この発明は特許請求の範囲の記載に基づいて決定されるものであり、実施例の具体的な構成、課題、および効果には限定されない。この発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。
【0048】
例えば、上述の実施例では携帯端末に関連して説明を行ったけれども、広く固定端末やテレビ受像機にこの発明を適用してよく、例えば、ボタン選択動作やバーコード処理については、タッチパネル付きの固定端末やインターネットに接続されたタッチパネル付きのテレビ受像機にも適用可能である。
【0049】
以下、ここで説明した技術的特徴について列挙する。
[放送再送信方式]
[技術的特徴1]
放送ストリームから抽出した映像・音声ストリームをストリーミング方式でネットワークを介して端末に送信する映像・音声ストリーム送信手段と、
上記放送ストリームから抽出したデータストリームを上記ネットワークを介して端末に送信するデータストリーム送信手段とを有し、
上記データストリーム送信手段は、
上記データストリームをパケット単位で記憶するデータストリーム記憶手段と、
パケット単位で記憶した上記データストリームをパケット単位でアクセス可能にするインデックスファイルを記憶するインデックスファイル記憶手段と、
上記インデックスファイルを、上記端末からのポーリングに応じて、上記ネットワークを介して上記端末に送信する手段と、
上記端末に送信された上記インデックスファイルを用いた、上記端末からのパケット単位の転送要求に応じて、上記データストリーム記憶手段に記憶された上記データストリームをパケット単位で上記端末に送信する手段とを有することを特徴とする放送サービス再送信装置。
[技術的特徴2]
放送ストリームから映像・音声ストリームおよびデータストリームそれぞれ抽出する手段をさらに有するする手段と技術的特徴1に記載の放送サービス再送信装置。
[技術的特徴3]
上記データストリーム送信手段が送信するデータストリームは、上記映像・音声ストリームに同期したデータストリームである技術的特徴1または2記載の放送サービス再送信装置。
[技術的特徴4]
上記データストリーム送信手段が送信するデータストリームは、上記映像・音声ストリームに非同期のデータコンテンツである技術的特徴1、2、または3記載の放送サービス再送信装置。
[技術的特徴5]
上記ストリーミング方式はHTTPプロトコルに準拠したストリーミング方式である技術的特徴1~4のいずれかに記載の放送サービス再送信装置。
[技術的特徴6]
上記ポーリングは、HTTPロング・ポーリングである技術的特徴1~5のいずれかに記載の放送サービス再送信装置。
[技術的特徴7]
ネットワークに接続可能な端末であって、
放送ストリームから抽出されストリーミング方式で上記ネットワークを介して送信される映像・音声ストリームを、送信装置から、受信する映像・音声ストリーム受信手段と、
上記放送ストリームから抽出され上記ネットワークを介して送信されるデータストリームを、上記送信装置から、受信するデータストリーム受信手段とを有し、
上記データストリーム受信手段は、
上記送信装置において記憶されている上記データストリームを、パケット単位でアクセス可能にするインデックスファイルを、ポーリングによって、上記送信装置から受信するインデックスファイル受信手段と、
上記送信装置において記憶されている上記データストリームを、上記インデックスファイル受信手段により受信した上記インデックスファイルを用いて、パケット単位で受信する手段とを有することを特徴とする端末。
[技術的特徴8]
移動体通信に基づいて通信を行う技術的特徴8記載の端末。
[技術的特徴9]
ネットワークに接続可能な端末を、
放送ストリームから抽出されストリーミング方式で上記ネットワークを介して送信される映像・音声ストリームを、送信装置から、受信する映像・音声ストリーム受信手段、および、
上記放送ストリームから抽出され上記ネットワークを介して送信されるデータストリームを、上記送信装置から、受信するデータストリーム受信手段として実行させるために使用されるコンピュータプログラムであって、
上記データストリーム受信手段は、
上記送信装置において記憶されている上記データストリームを、パケット単位でアクセス可能にするインデックスファイルを、ポーリングによって、上記送信装置から受信するインデックスファイル受信手段と、
上記送信装置において記憶されている上記データストリームを、上記インデックスファイル受信手段により受信した上記インデックスファイルを用いて、パケット単位で受信する手段とを有することを特徴とする上記コンピュータプログラム。
[要素選択方式]
[技術的特徴1]
マークアップ言語で記述された文書を表示する表示部と、
上記表示部に対応するタッチパネルと、
上記タッチパネルに対するタッチ操作に対応する位置の表示要素に関する上記文書の記述にフォーカス移動に関する指示がある場合に上記表示要素に関する命令を実行する手段とを有する文書閲覧装置。
[技術的特徴2]
上記フォーカス移動に関する指示は、リモコンのカーソル移動キーに対応するものである技術的特徴1記載の文書閲覧装置。
[技術的特徴3]
上記マークアップ言語はBMLである技術的特徴1または2のいずれかに記載の文書閲覧装置。
[技術的特徴4]
マークアップ言語で記述された文書を表示する表示部と、当該表示部に対応するタッチパネルとを有する携帯端末を、上記タッチパネルに対するタッチ操作に対応する位置の表示要素に関する上記文書の記述にフォーカス移動に関する指示がある場合に上記表示要素に関する命令を実行する手段として実現するために使用されるコンピュータプログラム。
[バーコード処理方式]
[技術的特徴1]
表示部と、
上記表示部に対応するタッチパネルと、
バーコードを復号する復号手段と、
上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出して上記復号手段により復号する手段とを有する表示装置。
[技術的特徴2]
表示部と、
上記表示部に対応するタッチパネルと、
上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段とを有する表示装置。
[技術的特徴3]
上記バーコードは二次元バーコードである技術的特徴1または2記載の表示装置。
[技術的特徴4]
上記復号手段による復号が成功したときに上記復号結果に基づいて処理を実行する技術的特徴1、2、または3のいずれかに記載の表示装置。
[技術的特徴5]
上記復号結果はURLであり、当該URL要求を送信する技術的特徴1~4のいずれかに記載の表示装置。
[技術的特徴6]
移動体通信端末により構成される技術的特徴1から5のいずれかに記載の表示装置。
[技術的特徴7]
BMLで記述された文書を表示する技術的特徴1~6のいずれかに記載の表示装置。
[技術的特徴8]
表示部と、上記表示部に対応するタッチパネルとを有する携帯端末を、
上記タッチパネルに対するタッチ操作に対応する位置の画像を抽出してバーコード復号手段に復号させる手段として実現するために用いられるコンピュータプログラム。
[同期方式]
[技術的特徴1]
放送サービス再送信装置にネットワークを介して接続可能な端末であって、
放送ストリームから抽出され第1の方式で上記放送サービス再送信装置から上記ネットワークを介して送信される映像・音声ストリームを受信する手段と、
上記映像・音声ストリームを再生する手段と、
上記再生されている上記映像・音声ストリームの現再生時点の上記放送サービス再送信装置に準拠した日時(再生時間軸日時)を求める手段と、
プログラムマップテーブル(PMT)がチャンネル内の放送番組のストリーム構成が変わったことを示す場合に、当該PMTの記述から取得されるプログラムリファレンスクロック(PCRP)および当該PMTが処理される上記放送サービス送信装置に準拠した日時(PRSTS)を取得する手段と、
上記放送ストリームから抽出され第2の方式で上記ネットワークを介して送信される上記映像・音声ストリームに同期したデータストリームを受信する手段と、
上記PRSTSから上記再生時間軸日時までの経過時間に基づいて、その間に経過するクロック数を算出し、算出クロック数を、上記PCRPに加算して再生時間軸日時のプログラムクロックリファレンスを予測する手段と、
上記予測されたプログラムクロックリファレンスに基づいて、上記映像・音声ストリームに同期したデータストリームの処理を実行する処理実行手段とを有することを特徴とする端末。
[技術的特徴2]
上記映像・音声ストリームに同期したデータストリームは字幕データを含み、上記処理実行手段は上記字幕データを再生する技術的特徴1記載の端末。
[技術的特徴3]
上記映像・音声ストリームに同期したデータストリームはイベントメッセージを含み、上記処理実行手段は上記イベントメッセージを処理する技術的特徴1または2記載の端末。
[技術的特徴4]
上記映像・音声ストリームはHTTPライブストリーミング方式のストリームである技術的特徴1~3のいずれかに記載の端末。
[技術的特徴5]
上記再生時間軸日時は、上記映像・音声ストリームをなすHLSファイルのEXT-PROGRAM-DATE-TIME(HPDT)および再生経過時間(MCT)からHPDT+MCTにより算出する技術的特徴4記載の端末。
[技術的特徴6]
プログラムクロックリファレンスの解像度をFHzとしたときに、上記再生時間軸日時のプログラムクロックリファレンスは、
PCRP+(HPDT+MCT-PRSTS)×F
によって算出される技術的特徴5記載の端末。
[技術的特徴7]
Fは90000である技術的特徴6記載の端末。
[技術的特徴8]
放送サービス再送信装置にネットワークを介して接続可能な端末を、
放送ストリームから抽出され第1の方式で上記放送サービス再送信装置から上記ネットワークを介して送信される映像・音声ストリームを受信する手段と、
上記映像・音声ストリームを再生する手段と、
上記再生されている上記映像・音声ストリームの現再生時点の上記放送サービス再送信装置に準拠した日時(再生時間軸日時)を求める手段と、
プログラムマップテーブル(PMT)がチャンネル内の放送番組のストリーム構成が変わったことを示す場合に、当該PMTの記述から取得されるプログラムリファレンスクロック(PCRP)および当該PMTが処理される上記放送サービス送信装置に準拠した日時(PRSTS)を取得する手段と、
上記放送ストリームから抽出され第2の方式で上記ネットワークを介して送信される上記映像・音声ストリームに同期したデータストリームを受信する手段と、
上記PRSTSから上記再生時間軸日時までの経過時間に基づいて、その間に経過するクロック数を算出し、算出クロック数を、上記PCRPに加算して再生時間軸日時のプログラムクロックリファレンスを予測する手段と、
上記予測されたプログラムクロックリファレンスに基づいて、上記映像・音声ストリームに同期したデータストリームの処理を実行する処理実行手段として実現するために用いられるコンピュータプログラム。
[技術的特徴9]
放送サービス再送信装置にネットワークを介して接続可能な端末であって、
放送ストリームから抽出され第1の方式で上記放送サービス再送信装置から上記ネットワークを介して送信される映像・音声ストリームを受信する手段と、
上記映像・音声ストリームを再生する手段と、
上記再生されている上記映像・音声ストリームの現再生時点の上記放送サービス再送信装置に準拠した日時(再生時間軸日時)を求める手段と、
所定の事象が発生した場合に、これに関連するプログラムリファレンスクロック(PCRP)および当該所定の事象が処理される上記放送サービス送信装置に準拠した日時(PRSTS)を取得する手段と、
上記放送ストリームから抽出され第2の方式で上記ネットワークを介して送信される上記映像・音声ストリームに同期したデータストリームを受信する手段と、
上記PRSTSから上記再生時間軸日時までの経過時間に基づいて、その間に経過するクロック数を算出し、算出クロック数を、上記PCRPに加算して再生時間軸日時のプログラムクロックリファレンスを予測する手段と、
上記予測されたプログラムクロックリファレンスに基づいて、上記映像・音声ストリームに同期したデータストリームの処理を実行する処理実行手段とを有することを特徴とする端末。
【符号の説明】
【0050】
100 放送事業者システム
110 放送映像・音声抽出部
120 放送データ抽出部
200 配信事業者システム
210 映像・音声トランスコード部
220 データ受信部
230 データ管理DB部
240 映像・音声配信部
250 同期データ配信部
260 非同期データ配信部
270 メッセージ管理ファイル保持部
280 データ本体記憶管理部
300 携帯端末
310 処理システム
320 メモリ
325 アプリケーション
360 映像・音声ストリーム再生部
370 同期データ再生部
371 字幕表示部
372 補正PCR生成部
373 メッセージ管理ファイル保持部
374 字幕データ保持部
375 ポーリング制御部
380 非同期データ閲覧部
390 ユーザインターフェース部
391 ボタン選択部
392 バーコード処理部