知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140380
(43)【公開日】2024-10-10
(54)【発明の名称】放送データ処理装置及び放送データ処理方法
(51)【国際特許分類】
H04N 21/242 20110101AFI20241003BHJP
H04N 21/24 20110101ALI20241003BHJP
H04H 60/06 20080101ALI20241003BHJP
【ＦＩ】
H04N21/242
H04N21/24
H04H60/06
【審査請求】未請求
【請求項の数】21
【出願形態】ＯＬ
(21)【出願番号】P 2023051495
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】100111121
【弁理士】
【氏名又は名称】原 拓実
(74)【代理人】
【識別番号】100200218
【弁理士】
【氏名又は名称】沼尾 吉照
(72)【発明者】
【氏名】菅原 幸弘
(72)【発明者】
【氏名】木浦 健一
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164SB06S
5C164SB10P
5C164SB41P
5C164SC21S
5C164YA21
(57)【要約】
【課題】各ＲＴＰパケット間のタイミングずれを視聴者が許容できる一定の範囲にまで補正する放送データ処理装置及び放送データ処理方法を提供することである。
【解決手段】データ処理後の映像データを格納する映像データ格納部と、データ処理後の音声データを格納する音声データ格納部と、前記映像データ格納部から読み出した映像データと前記音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値以上の遅れであるとき、前記第３の判定部によって前記映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記音声データが映像データに対して進んでいるとき、前記音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する。
【選択図】図１
【解決手段】データ処理後の映像データを格納する映像データ格納部と、データ処理後の音声データを格納する音声データ格納部と、前記映像データ格納部から読み出した映像データと前記音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値以上の遅れであるとき、前記第３の判定部によって前記映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記音声データが映像データに対して進んでいるとき、前記音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
外部から受信した映像データ、音声データ又は装置内に格納されている映像データ、音声データに対してそれぞれ所定の処理を施すデータ処理部と、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
【請求項2】
映像データを格納する第１の映像データ格納部と、
音声データを格納する第１の音声データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部と、
前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された音声データに対して所定の処理が成された音声データを格納する第２の音声データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
音声データを格納する第１の音声データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部と、
前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された音声データに対して所定の処理が成された音声データを格納する第２の音声データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
【請求項3】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項１又は請求項２に記載の放送データ処理装置。
請求項１又は請求項２に記載の放送データ処理装置。
【請求項4】
前記映像データ及び前記音声データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データと音声データとの遅れを判定する、
請求項１又は請求項２に記載の放送データ処理装置。
請求項１又は請求項２に記載の放送データ処理装置。
【請求項5】
外部から受信した映像データ、補助データ又は装置内に格納されている映像データ、補助データに対してそれぞれ所定の処理を施すデータ処理部と、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
【請求項6】
映像データを格納する第１の映像データ格納部と、
補助データを格納する第１の補助データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部と、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第２の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された補助データに対して所定の処理が成された補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
補助データを格納する第１の補助データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部と、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第２の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された補助データに対して所定の処理が成された補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
【請求項7】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項５又は請求項６に記載の放送データ処理装置。
請求項５又は請求項６に記載の放送データ処理装置。
【請求項8】
前記映像データ及び前記補助データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データと補助データとの遅れを判定する、
請求項５又は請求項６に記載の放送データ処理装置。
請求項５又は請求項６に記載の放送データ処理装置。
【請求項9】
外部から受信した映像データ、音声データ及び補助データ又は装置内に格納されている映像データ、音声データ及び補助データに対してそれぞれ所定の処理を施すデータ処理部と、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する制御部であって、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データと出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する制御部であって、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データと出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する放送データ処理装置。
【請求項10】
映像データを格納する第１の映像データ格納部と、
音声データを格納する第１の音声データ格納部と、
補助データを格納する第１の補助データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部と、
前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データを前記映像データとの遅れを判定する制御部であって、前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された音声データに対して所定の処理が成された音声データを格納する第２の音声データ格納部と、
前記第１のタイミングずれ補正部から出力された補助データに対して所定の処理が成された補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する制御部であって、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
音声データを格納する第１の音声データ格納部と、
補助データを格納する第１の補助データ格納部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部と、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部と、
前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データを前記映像データとの遅れを判定する制御部であって、前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第１の制御部と、
を有する第１のタイミングずれ補正部と、
前記第１のタイミングずれ補正部から出力された映像データに対して所定の処理が成された映像データを格納する第２の映像データ格納部と、
前記第１のタイミングずれ補正部から出力された音声データに対して所定の処理が成された音声データを格納する第２の音声データ格納部と、
前記第１のタイミングずれ補正部から出力された補助データに対して所定の処理が成された補助データを格納する第２の補助データ格納部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部と、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する制御部であって、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第４の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する第２の制御部と、
を有する第２のタイミングずれ補正部と、
を有する放送データ処理装置。
【請求項11】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項９又は請求項１０に記載の放送データ処理装置。
請求項９又は請求項１０に記載の放送データ処理装置。
【請求項12】
前記映像データ、前記音声データ及び前記補助データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データ、音声データ及び補助データとの遅れを判定する、
請求項９又は請求項１０に記載の放送データ処理装置。
請求項９又は請求項１０に記載の放送データ処理装置。
【請求項13】
外部から受信した映像データ、音声データ又は装置内に格納されている映像データ、音声データに対してそれぞれ所定の処理を施すデータ処理部にて所定の処理を施し、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部に格納し、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部に格納し、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部で判定し、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する、
放送データ処理方法。
前記データ処理部で処理した映像データを格納する第２の映像データ格納部に格納し、
前記データ処理部で処理した音声データを格納する第２の音声データ格納部に格納し、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部で判定し、
前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する、
放送データ処理方法。
【請求項14】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項１３に記載の放送データ処理方法。
請求項１３に記載の放送データ処理方法。
【請求項15】
前記映像データ及び前記音声データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データと音声データとの遅れを判定する、
請求項１３又は請求項１４に記載の放送データ処理方法。
請求項１３又は請求項１４に記載の放送データ処理方法。
【請求項16】
外部から受信した映像データ、補助データ又は装置内に格納されている映像データ、補助データに対してそれぞれ所定の処理を施すデータ処理部にて所定の処理を施し、
前記データ処理部で処理した映像データを格納する第２の映像データ格納部に格納し、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部に格納し、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部で判定し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第２の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する、
放送データ処理方法。
前記データ処理部で処理した映像データを格納する第２の映像データ格納部に格納し、
前記データ処理部で処理した補助データを格納する第２の補助データ格納部に格納し、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部で判定し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと補助データとを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第２の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記補助データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する、
放送データ処理方法。
【請求項17】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項１６に記載の放送データ処理方法。
請求項１６に記載の放送データ処理方法。
【請求項18】
前記映像データ及び前記補助データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データと補助データとの遅れを判定する、
請求項１６又は請求項１７に記載の放送データ処理方法。
請求項１６又は請求項１７に記載の放送データ処理方法。
【請求項19】
映像データを第１の映像データ格納部に格納し、
音声データを第１の音声データ格納部に格納し、
補助データを第１の補助データ格納部に格納し、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部で判定し、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部で判定し、
前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと次の音声データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定し、
処理された映像データを第２の映像データ格納部に格納し、
処理された音声データを第２の音声データ格納部に格納し、
処理された補助データを第２の補助データ格納部に格納し、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部で判定し、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部で判定し、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データを前記映像データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと次の音声データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する、
放送データ処理方法。
音声データを第１の音声データ格納部に格納し、
補助データを第１の補助データ格納部に格納し、
前記第１の映像データ格納部から読み出した映像データと前記第１の音声データ格納部から読み出した音声データとの遅れを判定する第１の判定部で判定し、
前記第１の映像データ格納部から読み出した映像データと前記第１の補助データ格納部から読み出した補助データとの遅れを判定する第２の判定部で判定し、
前記第１の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第１の判定部によって前記第１の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定し、前記第１の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第２の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第１の判定部によって前記第１の映像データ格納部に格納されている次の映像データと次の音声データとの遅れを判定し、前記第２の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第２の判定部によって前記第１の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定し、
処理された映像データを第２の映像データ格納部に格納し、
処理された音声データを第２の音声データ格納部に格納し、
処理された補助データを第２の補助データ格納部に格納し、
前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部で判定し、
前記第２の映像データ格納部から読み出した映像データと前記第２の補助データ格納部から読み出した補助データとの遅れを判定する第４の判定部で判定し、
前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データを前記映像データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、前記映像データと前記音声データを読出し、
前記第４の判定部による判定の結果、前記補助データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データ、音声データ及び補助データを出力し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと次の音声データとの遅れを判定し、前記第４の判定部による判定の結果、前記補助データが前記映像データよりも進んでいるとき、前記第４の判定部によって前記第２の補助データ格納部に格納されている次の補助データと前記映像データとの遅れを判定する、
放送データ処理方法。
【請求項20】
前記所定の閾値が映像データにおける１フレーム時間である、
請求項１９に記載の放送データ処理方法。
請求項１９に記載の放送データ処理方法。
【請求項21】
前記映像データ、前記音声データ及び前記補助データはＲＴＰパケットとして記憶されており、ＲＴＰパケットのヘッダ情報から取得したタイミング情報に基づいて映像データ、音声データ及び補助データとの遅れを判定する、
請求項１９又は請求項２０に記載の放送データ処理方法。
請求項１９又は請求項２０に記載の放送データ処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、放送データ処理装置及び放送データ処理方法に関する。
【背景技術】
【0002】
放送システムにおけるマスタ送出システムでは、スタジオ、回線センタ、サーバシステム等から入力される素材を、運行システムに従い自動的に切り替え、効果処理部で文字やロゴの映像への重畳や、音声の加工／合成、字幕などの補助データの重畳を行っている。その後、符号化、多重化部で、映像や音声の符号化や、データ放送や番組表などの付加情報を多重化し、送信システムに出力する。
【0003】
近年、マスタ送出システムに入力される素材の伝送に関して、ＳＤＩ（Serial Digital Interface）をＲＴＰ（Real-time Transport Protocol）パケット化してＩＰ（Internet Protocol）ネットワークで伝送する伝送方式が実現されているが、ＳＭＰＴＥ ＳＴ２１１０規格では、映像、音声、補助データ（Ａｎｃｉｌｌａｒｙ。以下ＡＮＣと称する。）を、異なるＲＴＰパケットで伝送する。
【0004】
従って、ある送信装置からマスタ送出システムへ素材を伝送した際に、マスタ送出システムが受信した映像、音声、ＡＮＣのＲＴＰパケットの間には、伝送路で生じたタイミングのずれが発生する可能性がある。
【0005】
また、受信した映像、音声、ＡＮＣのＲＴＰパケットを装置内で処理する際に、映像処理部、音声処理部、ＡＮＣ処理部の処理レイテンシが同一ではないため、伝送路で発生するのと同様に、装置内でも映像、音声、ＡＮＣ各データのタイミング関係のずれが発生する可能性がある。
【0006】
上記タイミングのずれをＦＰＧＡ（Field-Programmable Gate Array）といったハードウェアで処理する場合は、映像、音声、ＡＮＣ処理部の遅延量が固定であることが多く、調整することは容易であった。
【0007】
一方で、近年、マシンスペックの向上により汎用コンピュータ上で映像、音声、ＡＮＣのソフトウェアベースの処理がされることがあり、ソフトウェアではコンピュータの負荷状況により遅延量の変動が発生するためタイミング関係のずれの調整が難しいという課題がある。
【0008】
映像と音声の間のタイミングのずれ（リップシンク）があると視聴者にとって違和感が生じるため、文献ＢＴ．１３５９－１に示されているように視聴者が許容できる一定の範囲に抑える必要がある。また、ＡＮＣには映像に対応した字幕や、局間制御信号などのタイミング情報が含まれているため、映像とＡＮＣのタイミングのずれも放送に影響を及ぼす。
【0009】
特に、近年クラウド上にシステムを実現する方式も検討されており、放送局とクラウド間などの伝送路も考えられるため、各放送データのタイミングずれは大きくなると予想される。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】特開２０２０－１６２０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
従来は、上述したように映像、音声、ＡＮＣのＲＴＰパケット受信時に伝送路上で発生した遅延により、映像、音声、ＡＮＣのタイミング関係のずれが発生する可能性がある。さらに、各データの受信後においても、装置内で加工等の処理する際に映像、音声、ＡＮＣ各データのタイミング関係のずれが発生する可能性がある。
【0012】
これらのタイミング関係のずれが発生した映像、音声、ＡＮＣのＲＴＰパケットを送信すると、タイミング関係のずれが発生したまま各データを送信することとなる。
【0013】
ここで、このような各放送データのタイミング関係のずれについて、特許文献１やＳＭＰＴＥ ＳＴ２１１０－１０にはＲＴＰパケットのタイムスタンプを利用して、各パケット間の時間合わせをすることでこのタイミングずれが補正される旨が記載されている。
【0014】
しかし、これらの記載には具体的にこのタイミングずれを補正する方法まで言及がなく、どのようにすれば文献ＢＴ．１３５９－１に示されているように視聴者が許容できる一定の範囲にまでこのタイミングずれを補正することができるのか不明である。
【0015】
そこで本発明が解決しようとする課題は、各ＲＴＰパケット間のタイミングずれを視聴者が許容できる一定の範囲にまで補正する放送データ処理装置及び放送データ処理方法を提供することである。
【課題を解決するための手段】
【0016】
上記課題を解決するために、実施形態の放送データ処理装置は、外部から受信した映像データ、音声データ又は装置内に格納されている映像データ、音声データに対してそれぞれ所定の処理を施すデータ処理部と、前記データ処理部で処理した映像データを格納する第２の映像データ格納部と、前記データ処理部で処理した音声データを格納する第２の音声データ格納部と、前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部と、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する第２の制御部とを有する。
【0017】
また、上記課題を解決するために、実施形態の放送データ処理方法は、外部から受信した映像データ、音声データ又は装置内に格納されている映像データ、音声データに対してそれぞれ所定の処理を施すデータ処理部にて所定の処理を施し、前記データ処理部で処理した映像データを格納する第２の映像データ格納部に格納し、前記データ処理部で処理した音声データを格納する第２の音声データ格納部に格納し、前記第２の映像データ格納部から読み出した映像データと前記第２の音声データ格納部から読み出した音声データとの遅れを判定する第３の判定部で判定し、前記第３の判定部による判定の結果、前記音声データが映像データに対して所定の閾値未満の遅れであるとき、読み出した映像データと音声データとを出力し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも所定の閾値以上の遅れであるとき、前記第３の判定部によって前記第２の映像データ格納部に格納されている次の映像データと前記音声データとの遅れを判定し、前記第３の判定部による判定の結果、前記音声データが前記映像データよりも進んでいるとき、前記第３の判定部によって前記第２の音声データ格納部に格納されている次の音声データと前記映像データとの遅れを判定する。
【図面の簡単な説明】
【0018】
【図1】第１の実施形態に係る放送データ処理装置の概略ブロック図
【図2】データ格納部におけるデータ構造の例
【図3】映像データと音声データ間のタイミングずれ補正のフロー図
【図4】第２の実施形態に係る放送データ処理装置の概略ブロック図
【図5】映像データとＡＮＣデータ間のタイミングずれ補正のフロー図
【図6】第３の実施形態に係る放送データ処理装置の概略ブロック図
【図7】映像データ、音声データ及びＡＮＣデータ間のタイミングずれ補正のフロー図
【図8】第４の実施形態に係る放送データ処理装置の概略ブロック図
【図9】装置内に格納されている素材ファイルを再生する場合の放送データ処理フロー図
【発明を実施するための形態】
【0019】
以下、図面を参照して発明を実施するための実施形態について説明する。
【0020】
（第１の実施形態）
第１の実施形態に係る放送データ処理装置を以下に示す。
第１の実施形態に係る放送データ処理装置を以下に示す。
【0021】
本実施形態における放送データ処理装置１０は、例えば、図１に示すように、音声ＲＴＰパケット受信部１１及び映像ＲＴＰパケット受信部１２を備えている。そして、ＲＴＰパケットとして記憶されている映像データ及び音声データを受信する音声ＲＴＰパケット受信部１１及び映像ＲＴＰパケット受信部１２は、それぞれＩＰネットワークから受信した１サンプル分の音声ＲＴＰパケット及び１フレーム分の映像ＲＴＰパケットから各タイムスタンプ及び音声データ、映像データを抽出する。
【0022】
そして、放送データ処理装置１０は第１のタイミングずれ補正部１０１と第２のタイミングずれ補正部１０２を備えている。
【0023】
第１のタイミングずれ補正部１０１は、第１の音声データ格納部１３Ａ及び第１の映像データ格納部１４Ａを備えており、抽出されたタイムスタンプ及び各データはそれぞれこれらのデータ格納部に格納される。
【0024】
これらのデータ格納部は、各データのＲＴＰパケットのヘッダ情報から取得したタイミングのずれを吸収するためのバッファ（例えば、リングバッファ）である。このバッファであるデータ格納部に格納するデータの構造は、図２に示すように、タイムスタンプと実データとがセットとして格納部の各アドレスに格納されている。一般的に、映像データは１フレームまたは１フィールド毎、音声データは１サンプル毎にタイムスタンプと実データを格納する。
【0025】
また、第１のタイミングずれ補正部１０１は第１のデータ読出し部１５Ａを備えており、ＰＴＰマスタから時刻同期部１６を経て送られるタイミング情報を基に、タイミング生成部１７によって生成されたフレームタイミングを待って、各データ格納部に格納されたデータを読出すことができる。
【0026】
さらに、第１のタイミングずれ補正部１０１は第１の判定部１８Ａを備えており、読出された各データのタイムスタンプを時刻に変換し、各データの遅れ時間を検出／算出し、予め決められた所定の閾値未満であるかどうかを判定する。この閾値は、視聴者が許容できる一定の範囲であって、例えば、ＩＴＵ－Ｒ ＢＴ．１３５９－１に記載があるように、各データのタイムスタンプの時刻の差が－１８０～＋９０（ｍｓ）のずれのことをいう。ここで、各データのタイミングずれが無い状態とは各データのタイムスタンプの時刻の差が±０（ｍｓ）のことをいう。
【0027】
加えて、第１のタイミングずれ補正部１０１は各データのタイミングずれを補正する制御部である第１の制御部１９Ａを備えており、第１の判定部１８Ａの判定結果によって閾値以上であった場合に、各データのタイミングのずれが閾値未満となるように補正をする機能をもつ。
【0028】
第１の制御部１９Ａは、音声データが映像データよりも進んでいる場合、読み出された１サンプル分の音声データは廃棄され、再度第１の音声データ格納部１３Ａから音声データを読出し、閾値未満の音声データを読出すまで繰り返す。
【0029】
また、音声データが映像データに対して閾値以上に遅れている場合、読出された映像データは廃棄され、読出された音声データは第１の音声データ格納部１３Ａに戻されて、再度映像データ格納部１４Ａから映像データを読出し、閾値未満となるまで繰り返す。
【0030】
本実施形態に係る放送データ処理装置１０は、データ処理部である音声処理部２０及び映像処理部２１を備えている。第１の判定部１８Ａによって閾値未満であった各データはそれぞれ音声処理部２０及び映像処理部２１に出力され、加工、データの重畳等の処理がなされる。
【0031】
次に、第２のタイミングずれ補正部１０２は、第２の音声データ格納部１３Ｂ及び第２の映像データ格納部１４Ｂを備えている。上述した音声処理部２０及び映像処理部２１にて処理された各データをそれぞれ格納するためである。
【0032】
さらに、第２のタイミングずれ補正部１０２は、第２のデータ読出し部１５Ｂ、第３の判定部１８Ｂ、第２の制御部１９Ｂを備えており、それぞれ上述した第１のデータ読出し部１５Ａ、第１の判定部１８Ａ、第１の制御部１９Ａと同等の機能を有しており、音声処理部２０及び映像処理部２１にて処理された各データに対して同様の処理を行う。
【0033】
また、本実施形態に係る放送データ処理装置１０は、音声ＲＴＰパケット送信部２２及び映像ＲＴＰパケット送信部２３を備えており、タイミングのずれが閾値未満である各データは音声ＲＴＰパケット送信部２２及び映像ＲＴＰパケット送信部２３によって出力される。
【0034】
次に本実施形態に係る放送データ処理方法を以下に示す。また、本実施形態に係る処理方法の動作の一例を図３のフローチャートに示す。
【0035】
図３のフローチャートは、第１のタイミングずれ補正部１０１及び第２のタイミングずれ補正部１０２が行う、受信した映像、音声のデータ間のタイミングが、伝送路の影響及び音声処理部２０及び映像処理部２１における処理でずれていた場合に、視聴者が許容できる一定の範囲にまでこのずれを補正することができるような補正フローチャートである。
【0036】
具体的には、第１の制御部１９Ａ及び第２の制御部１９Ｂが、映像、音声データとセットになっているタイムスタンプを比較しながら、タイミングずれの補正が行われる。
【0037】
第１のタイミングずれ補正部１０１も第２のタイミングずれ補正部１０２も、処理方法は同様であるため、以下には第１のタイミングずれ補正部１０１での処理方法のみを記載し、第２のタイミングずれ補正部１０２における対象部については括弧書きにて符号のみ記載する。
【0038】
システム全体は、ある時刻源に同期しているとし、放送データ処理装置１０もＰＴＰマスタを通じて、時刻同期部１６がシステムに同期化しているとする。タイミング生成部１７は、時刻同期部１６が持つ時刻から一定周期のタイミング、例えばフレームタイミングを生成し、処理の開始タイミングとして使用する。
【0039】
本実施形態における補正フローチャートでは、処理の開始となるフレームタイミングを待って（Ｓ１０１）、フレームタイミングになったときに第１の映像データ格納部１４Ａ（１４Ｂ）に１フレーム以上の映像データが存在するかどうかを確認する（Ｓ１０２）。１フレーム以上の映像データが存在しない場合は、フレームタイミング待ちへ戻ることになるが（Ｓ１０２のＮｏ）、１フレーム以上の映像データが存在する場合は第１の映像データ格納部１４Ａ（１４Ｂ）から１フレーム分のデータを読み出す（Ｓ１０３）。
【0040】
次に、第１の音声データ格納部１３Ａ（１３Ｂ）に１フレーム以上の音声データが存在するかどうかを確認し（Ｓ１０４）、１フレーム以上の音声データが存在しない場合（Ｓ１０４のＮｏ）、読出された１フレーム分の映像データは第１の映像データ格納部１４Ａ（１４Ｂ）へ戻される（Ｓ１１４）。１サンプル以上の音声データが存在する場合（Ｓ１０４のＹｅｓ）、第１の音声データ格納部１３Ａ（１３Ｂ）から１サンプル分の音声データを読み出す（Ｓ１０５）。音声データは１６０２又は１６０１サンプルで１フレーム分のデータとなる。
【0041】
次に、読み出された映像データのフレームのタイムスタンプを時刻に変換したもの（Ｔｖｉｄｅｏ）と読み出された音声データのサンプルのタイムスタンプを時刻に変換したもの（Ｔａｕｄｉｏ）とを比較することで、映像データに対する音声データの遅れ（Ｔｄｉｆｆ１）を算出する（Ｓ１０６）。つまり、Ｔｄｉｆｆ１ ＝ Ｔａｕｄｉｏ－Ｔｖｉｄｅｏであって、Ｔｄｉｆｆ１≧０の場合は音声データが映像データに対して遅れていることを意味する。また、｜Ｔｄｉｆｆ１｜＜１フレーム時間の場合、映像データと音声データのずれは１フレーム未満であることを意味する。
【0042】
ここで、Ｔｄｉｆｆ１≧０かつ｜Ｔｄｉｆｆ１｜＜１フレーム時間の場合、すなわち音声データが映像データに対して遅れており、かつその遅れが１フレーム時間未満である場合（Ｓ１０７）、第１の音声データ格納部１３Ａ（第２の音声データ格納部１３Ｂ）からＳ１０５で読み出した１サンプル分の音声データを含めた１フレーム分の音声データを読み出す。読み出した映像データは映像処理部２１に出力し、読み出した音声データは音声処理部２０に出力される。
【0043】
その後、Ｓ１０１に戻って、次の映像フレームの補正を行うこととなる。
【0044】
次に、音声データが映像データに対して１フレーム時間以上遅れている場合（Ｓ１１０）、読み出した１フレーム分の映像データは廃棄され、読み出された１サンプル分の音声データは第１の音声データ格納部１３Ａ（１３Ｂ）に戻されて（Ｓ１１１）、第１の映像データ格納部１４（１４Ｂ）に次の１フレーム以上の映像データが存在するか否かの確認ステップ（Ｓ１０２）に戻ることなる。これは音声データが映像データに対して１フレーム時間未満の遅れとなるまで繰り返されることとなる。
【0045】
なお、本実施形態においては、映像データに対する音声データの遅れが１フレーム時間未満であることを許容するようなフローとしたが、この閾値の変更は可能である。
【0046】
これは、ＩＴＵ－Ｒ ＢＴ．１３５９－１に記載があるように、映像データに対して音声データが進んでいることは、映像データに対して音声データが遅れていることよりも許容幅が狭く、一般的に映像データに対して音声データの方が進んでいる方が視聴者の違和感が大きいと言われているためである。
【0047】
また、音声データが映像データよりも進んでいる場合（Ｓ１１２）、読み出された１サンプル分の音声データは廃棄され、再度第１の音声データ格納部１３Ａ（１３Ｂ）から次の１フレーム分以上の音声データが存在するかどうかの確認ステップ（Ｓ１０４）に戻ることとなり、新たな音声データを読み出して、映像データに対して進んでいない音声データを読み出すまで繰り返されることとなる（Ｓ１１３）。これは音声データの映像データに対する進み度合いが１フレーム時間未満でも１フレーム時間以上でも適用されるステップとなる。
【0048】
第１のタイミングずれ補正部１０１でずれが補正された映像データ及び音声データは映像処理部２１及び音声処理部２０にて加工等の処理が成され、各データはそれぞれ、第２の映像データ格納部１４Ｂ及び第２の音声データ格納部１３Ｂに格納される。
【0049】
第２の映像データ格納部１４Ｂ及び第２の音声データ格納部１３Ｂに格納された映像データと音声データとは映像処理部２１及び音声処理部２０での処理時間の差に伴って、再び、ずれが発生したものとなっている。
【0050】
第２のタイミングずれ補正部１０２では、上述した第１のタイミングずれ補正部１０１でのずれ補正と同様の補正が成され、補正がなされた音声データと映像データはそれぞれ、音声ＲＴＰパケット送信部２２及び映像ＲＴＰパケット送信部に各データが出力されることで本実施形態における映像データの補正は完了する。
【0051】
第２のタイミングずれ補正部１０２で補正が成された音声データと映像データはそれぞれ、音声ＲＴＰパケット送信部２２及び映像ＲＴＰパケット送信部２３からＲＴＰパケットとして出力される。
【0052】
以上より、本実施形態によれば、以下に示すような効果が得られる。
【0053】
受信した映像、音声のデータ間のタイミングが、伝送路及び加工等の処理の影響でずれていた場合に、そのずれを第１の制御部１９Ａ及び第２の制御部１９Ｂの補正フローにて検出し、視聴者が許容できる一定の範囲にそのずれを補正して放送データを出力することが出来る。
【0054】
（第２の実施形態）
第１の実施形態では、映像データと音声データとのずれを補正する形態であったが、第２の実施形態は、映像データと補助データ（ＡＮＣデータ）とのタイミングのずれを補正する形態である。第２の実施形態に係る放送データ処理装置を以下に示す。
第１の実施形態では、映像データと音声データとのずれを補正する形態であったが、第２の実施形態は、映像データと補助データ（ＡＮＣデータ）とのタイミングのずれを補正する形態である。第２の実施形態に係る放送データ処理装置を以下に示す。
【0055】
本実施形態に係る放送データ処理装置について、図４を参照して説明するが、本実施形態に係る放送データ処理装置３０は、構成の一部が第１の実施形態と異なるものであるため、第１の実施形態の放送データ処理装置１０と同等の構成については、第１の実施形態と同じ符号を付与しており、説明を省略する。
【0056】
本実施形態における放送データ処理装置３０は、図４に示すように、第１の実施形態に係る放送データ処理装置１０における音声データがＡＮＣデータに置き換わっているものである。ここで、ＡＮＣデータとは補助データの一例であり、例えば、字幕データのことをいう。
【0057】
放送データ処理装置１０が備えていた第１の判定部１８Ａ及び第３の判定部１８Ｂは、それぞれ第２の判定部３３Ａ及び第４の判定部３３Ｂに置き換わっている。第２の判定部３３Ａ及び第４の判定部３３Ｂは、第１の判定部１８Ａ及び第３の判定部１８Ｂで判定対象としていた音声データをＡＮＣデータへ置き換えて判定する。
【0058】
上記に伴って、第１の実施形態における第１のタイミングずれ補正部１０１及び第２のタイミングずれ補正部１０２もそれぞれ、第１のタイミングずれ補正部３０１及び第２のタイミングずれ補正部３０２に置き換わっている。
【0059】
次に本実施形態に係る放送データ処理方法を以下に示す。本実施形態に係る処理方法の動作の一例を図５のフローチャートに示す。
【0060】
具体的には、第１の実施形態と同様に第１の制御部１９Ａ及び第２の制御部１９Ｂが、映像データ、ＡＮＣデータとセットになっているタイムスタンプを比較しながら、ずれの補正が行われる。
【0061】
なお、システム全体の構成や図５における第１の実施形態の補正フローチャートと同等の構成については、第１の実施形態と同様であるため、説明を省略する。また、第１の実施形態と同様に、第１のタイミングずれ補正部３０１も第２のタイミングずれ補正部３０２も、処理方法は同様であるため、以下には第１のタイミングずれ補正部３０１での処理方法のみを記載し、第２のタイミングずれ補正部３０２における対象部については括弧書きにて符号のみ記載する。なお、本実施形態における第２の補助データ格納部は第２のＡＮＣデータ格納部３２Ｂである。
【0062】
第１の実施形態の補正フローチャートにおけるＳ１０４において、１サンプル分の音声データの有無を確認していたが、本実施形態においては第１の補助データ格納部である第１のＡＮＣデータ格納部３２Ａ（３２Ｂ）に１フレーム分のＡＮＣデータがあるかどうかを確認する（Ｓ２０４）。
【0063】
次に、第１の実施形態における第１の判定部１８Ａ（１８Ｂ）は本実施形態においては第２の判定部３３Ａ（３３Ｂ）となる。第２の判定部３３Ａ（３３Ｂ）では、読み出された映像データのフレームのタイムスタンプを時刻に変換したもの（Ｔｖｉｄｅｏ）とＡＮＣデータのフレームのタイムスタンプを時刻に変換したもの（Ｔａｎｃ）を比較することで、映像データに対するＡＮＣデータの遅れ（Ｔｄｉｆｆ２）を算出する（Ｓ２０６）。つまり、Ｔｄｉｆｆ２＝Ｔａｎｃ－Ｔｖｉｄｅｏであって、Ｔｄｉｆｆ２≧０の場合はＡＮＣデータが映像データに対して遅れていることを意味する。また、｜Ｔｄｉｆｆ２｜＜１フレーム時間の場合、映像データとＡＮＣデータのずれは１フレーム時間未満であることを意味する。
【0064】
ここで、Ｔｄｉｆｆ２≧０かつ｜Ｔｄｉｆｆ２｜＜１フレーム時間である、すなわちＡＮＣデータが映像データに対して遅れており、かつその遅れが１フレーム時間未満である場合（Ｓ２０７）、読み出した映像データは映像処理部２１に出力し、読み出したＡＮＣデータはＡＮＣ処理部３４に出力することで本実施形態における映像データの１フレーム分の補正は完了する。その後、Ｓ２０１に戻って、次の映像フレームの補正を行うこととなる。
【0065】
次に、ＡＮＣデータが映像データに対して１フレーム時間以上遅れている場合（Ｓ２１０）、読み出した１フレーム分の映像データは廃棄され、読み出された１フレーム分のＡＮＣデータは第１のＡＮＣデータ格納部３２Ａ（３２Ｂ）に戻されて（Ｓ２１１）、第１の映像データ格納部１４Ａ（１４Ｂ）に次の１フレーム以上の映像データが存在するか否かの確認ステップ（Ｓ２０２）に戻ることなる。これはＡＮＣデータが映像データに対して１フレーム時間未満の遅れとなるまで繰り返されることとなる。
【0066】
また、ＡＮＣデータが映像データよりも進んでいる場合（Ｓ２１２）、読み出された１フレーム分のＡＮＣデータは廃棄され、再度第１のＡＮＣデータ格納部３２Ａ（３２Ｂ）から次の１フレーム分以上のＡＮＣデータが存在するか否かの確認ステップ（Ｓ２０４）に戻ることとなり、新たなＡＮＣデータを読み出して、映像データに対して進んでいないＡＮＣデータを読み出すまで繰り返されることとなる（Ｓ２１３）。これはＡＮＣデータの映像データに対する進み度合いが１フレーム時間未満でも１フレーム時間以上でも適用されるステップとなる。
【0067】
なお、本実施形態においても、映像データに対するＡＮＣデータの遅れが１フレーム時間未満であることを許容するようなフローとしたが、この閾値の変更は可能である。
【0068】
以上より、本実施形態によれば、以下に示すような効果が得られる。
【0069】
受信した映像データ、ＡＮＣデータ間のタイミングが、伝送路の影響及び加工等の処理でずれていた場合に、そのずれを補正フローにて検出し、視聴者が許容できる一定の範囲にそのずれを補正して放送データを出力することが出来る。
【0070】
（第３の実施形態）
第３の実施形態に係る放送データ処理装置を以下に示す。
第３の実施形態に係る放送データ処理装置を以下に示す。
【0071】
本実施形態に係る放送データ処理装置について、図６を参照して説明するが、本実施形態に係る放送データ処理装置４０は、第１の実施形態に係る第１のタイミングずれ補正部１０１に第２の実施形態に係る第１のタイミングずれ補正部３０１の構成を加えたものを第１のタイミングずれ補正部４０１とし、第１の実施形態に係る第２のタイミングずれ補正部１０２に第２の実施形態に係る第２のタイミングずれ補正部３０２の構成を加えたものを第２のタイミングずれ補正部４０２としたうえで、一部の機能が変更されているものであるため、第１の実施形態の放送データ処理装置１０及び第２の実施形態に係る放送データ処理装置３０と同等の構成については、第１の実施形態及び第２の実施形態と同じ符号を付与しており、説明を省略する。
【0072】
また、本実施形態に係る第１の制御部１９Ａ及び第２の制御部１９Ｂは映像データと音声データ及び映像データとＡＮＣデータ両者のずれ関係を補正することで、映像データ、音声データ及びＡＮＣデータの３データ全てのずれ関係を視聴者が許容できる一定の範囲に補正することができる。
【0073】
本実施形態に係る放送データ処理方法を以下に示す。本実施形態に係る処理方法の動作の一例を図７のフローチャートに示す。なお、システム全体の構成や図７における第１の実施形態及び第２の実施形態の補正フローチャートと同等の構成については、説明を省略する。
【0074】
変更される第３の実施形態における補正フローの一部は下記である。
【0075】
なお、第１の実施形態及び第２の実施形態と同様に、第１のタイミングずれ補正部４０１も第２のタイミングずれ補正部４０２も処理方法は同様であるため、以下には第１のタイミングずれ補正部４０１での処理方法のみを記載し、第２のタイミングずれ補正部４０２における対象部については括弧書きにて符号のみ記載する。
【0076】
第２の実施形態にかかる第１のタイミングずれ補正部３０１（３０２）において、第１のＡＮＣデータ格納部３２Ａ（３２Ｂ）に１フレーム以上のＡＮＣデータが存在しなかった場合は、既に読み出された映像データを第１の映像データ格納部１４Ａ（１４Ｂ）に戻していたが（Ｓ２１４）、本実施形態においては映像データ及び音声データをそれぞれ第１の映像データ格納部１４Ａ（１４Ｂ）及び第１の音声データ格納部１３Ａ（１３Ｂ）に戻され（Ｓ３２５）、再度第１の実施形態に係る第１のタイミングずれ補正部１０１（１０２）における補正フローが再開される。
【0077】
また、第２の実施形態に係る第１のタイミングずれ補正部３０１（３０２）において、ＡＮＣデータが映像データに対して１フレーム以上遅れている場合（Ｓ２１０）、読み出した１フレーム分の映像データは廃棄され、読み出された１フレーム分のＡＮＣデータは第１のＡＮＣデータ格納部３２Ａ（３２Ｂ）に戻されて、第１の映像データ格納部１４Ａ（１４Ｂ）に１フレーム以上の映像データが存在するか否かの確認ステップ（Ｓ２０２）に戻ることとなっているが、本実施形態においては、読み出した１フレーム分の映像データ及び音声データは廃棄され、読み出された１フレーム分のＡＮＣデータは第１のＡＮＣデータ格納部３２Ａ（３２Ｂ）に戻されて（Ｓ３２１）、再度第１の実施形態係る第１のタイミングずれ補正部１０１（１０２）における補正フローが再開される。
【0078】
なお、本実施形態においても、映像データに対する音声データ及びＡＮＣデータの遅れが１フレーム時間未満であることを許容するようなフローとしたが、この閾値の変更は可能である。
【0079】
以上より、本実施形態によれば、本実施形態に係る第１の制御部１９Ａ及び第２の制御部１９Ｂは映像データと音声データ及び映像データとＡＮＣデータ両者のずれ関係を補正することで、映像データ、音声データ及びＡＮＣデータの３データ全てのずれ関係を視聴者が許容できる一定の範囲に補正することができる。
【0080】
（第４の実施形態）
第４の実施形態に係る放送データ処理装置を以下に示す。
第４の実施形態に係る放送データ処理装置を以下に示す。
【0081】
本実施形態に係る放送データ処理装置５０について、図８及び図９を参照して説明するが、本実施形態に係る放送データ処理装置５０は、外部ネットワークから各データを受信した場合ではなく、装置内に格納されている素材、例えば、ＳＳＤ（Solid State Drive）に格納されたＭＸＦ（Material Exchange Format）ファイルを再生する場合の放送データ処理装置であって、その構成を図８に示す。なお、素材の格納部はＳＳＤに限られるものではなくＨＤＤ（Hard Disc drive）等他の記憶装置であっても良い。また、格納される素材についてもＭＸＦファイルに限定されるものではなく、音声データはＷＡＶファイル（Waveform Audio File）、ＡＮＣデータはテキストデータ等他の形式のファイルであっても良い。
【0082】
本実施形態においては、第３の実施形態に係る第２のタイミングずれ補正部４０２へ出力されるデータを処理する構成の一部が第３の実施形態と異なるため、第３の実施形態の放送データ処理装置４０と同等の構成については、第３の実施形態と同じ符号を付与しており、説明を省略する。
【0083】
本実施形態においては、第３の実施形態における第１のタイミングずれ補正部４０１及び各ＲＴＰパケット受信部１１～１３を代替して、素材格納部５１、素材再生部５２、音声素材データ格納部５３、映像素材データ格納部５４、ＡＮＣ素材データ格納部５５を備えている。
【0084】
素材格納部５１は放送装置内のＭＸＦファイル等を再生用に格納している。
【0085】
素材再生部５２は、各素材を再生する場合に素材再生部５２で再生開始時刻に基づきＳＭＰＴＥ ＳＴ２１１０－１０で規定されるタイムスタンプ情報を付加する。タイムスタンプが付加されることで、第２のタイミングずれ補正部４０２において各データのタイミング関係のずれを補正することが可能となる。
【0086】
音声素材データ格納部５３、映像素材データ格納部５４、ＡＮＣ素材データ格納部５５は、素材再生部５２でタイムスタンプを付加された各データについて格納する。
【0087】
次に、本実施形態に係る放送データ処理方法を以下に示す。
【0088】
本実施形態に係る放送データ処理方法の動作の一例を図９のフローチャートに示す。なお、第２のタイミングずれ補正部４０２のフローチャートは第３の実施形態のフローチャートである図７と同様であるため、図９から省略し、説明も省略する。
【0089】
まず、時刻同期部１６から再生開始時刻のタイムスタンプを取得する（Ｓ４０１）。
【0090】
素材格納部５１に格納された映像素材データは、素材格納部５１から１フレーム分読み出される（Ｓ４０２）。
【0091】
そして、素材再生部５２において、読み出された映像素材データにタイムスタンプが付加される（４０３）。
【0092】
そして、そのタイムスタンプと映像素材データは共に映像素材データ格納部５４に格納される（４０４）。
【0093】
次に再生される映像素材データが存在する場合（Ｓ４０５のＮｏ）は、再度次の映像素材データを素材格納部５１から１フレーム分読み出すことでＳ４０２～Ｓ４０４が繰り返される。
【0094】
次に再生される映像データが無い場合（Ｓ４０５のＹｅｓ）は、素材の再生を終了し、第３の実施形態におけるＳ３０１へフローが続き、映像データ、音声データ、ＡＮＣデータのタイミングずれ補正が第３の実施形態と同様に実施される。
【0095】
なお、ＡＮＣ素材データ、音声データについても同様であって（Ｓ５０２～Ｓ５０５、Ｓ６０２～Ｓ６０５）、各データについて上記フローが完了すると、第３の実施形態における放送データ処理方法のフローチャートのＳ３０１へフローが続くこととなる。
【0096】
以上より、本実施形態においては、外部ネットワークから各データを受信した場合ではなく、装置内に格納されている素材ファイルを再生する場合の放送データ処理によって生じたタイミングずれを補正することが出来る。
【0097】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0098】
１０…第１の実施形態に係る放送データ処理装置、１１…音声ＲＴＰパケット受信部、１２…映像ＲＴＰパケット受信部、１３Ａ…第１の音声データ格納部、１３Ｂ…第２の音声データ格納部、１４Ａ…第１の映像データ格納部、１４Ｂ…第２の映像データ格納部、１５Ａ…第１のデータ読出し部、１５Ｂ…第２のデータ読出し部、１６…時刻同期部、１７…タイミング生成部、１８Ａ…第１の判定部、１８Ｂ…第３の判定部、１９Ａ…第１の制御部、１９Ｂ…第２の制御部、２０…音声処理部、２１…映像処理部、２２…音声ＲＴＰパケット送信部、２３…映像ＲＴＰパケット送信部、３０…第２の実施形態に係る放送データ処理装置、３１…ＡＮＣＲＴＰパケット受信部、３２Ａ…第１のＡＮＣデータ格納部、３２Ｂ…第２のＡＮＣデータ格納部、３３Ａ…第２の判定部、３３Ｂ…第４の判定部、３４…ＡＮＣ処理部、３５…ＡＮＣＲＴＰパケット送信部、４０…第３の実施形態に係る放送データ処理装置、５０…第４の実施形態に係る放送データ処理装置、５１…素材格納部、５２…素材再生部、５３…音声素材データ格納部、５４…映像素材データ格納部、５５…ＡＮＣ素材データ格納部、１０１…第１の実施形態に係る第１のタイミングずれ補正部、１０２…第１の実施形態に係る第２のタイミングずれ補正部、３０１…第２の実施形態に係る第１のタイミングずれ補正部、３０２…第２の実施形態に係る第２のタイミングずれ補正部、４０１…第３の実施形態に係る第１のタイミングずれ補正部、４０２…第３の実施形態に係る第２のタイミングずれ補正部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】