ホーム > 特許ランキング > ＴＶＳ ＲＥＧＺＡ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008646
(43)【公開日】2024-01-19
(54)【発明の名称】受信装置およびメタデータ生成システム
(51)【国際特許分類】
H04N 21/435 20110101AFI20240112BHJP
H04N 21/437 20110101ALI20240112BHJP
H04N 21/235 20110101ALI20240112BHJP
H04N 21/258 20110101ALI20240112BHJP
H04H 40/18 20080101ALI20240112BHJP
H04H 60/73 20080101ALI20240112BHJP
H04H 20/28 20080101ALI20240112BHJP
【ＦＩ】
H04N21/435
H04N21/437
H04N21/235
H04N21/258
H04H40/18
H04H60/73
H04H20/28
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2022110677
(22)【出願日】2022-07-08
(71)【出願人】
【識別番号】000214984
【氏名又は名称】ＴＶＳ ＲＥＧＺＡ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】柴田 誠
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164FA04
5C164MA06S
5C164MB11S
5C164SB06P
5C164SC11P
5C164UB10P
5C164UB26P
5C164YA10
(57)【要約】
【課題】フレームごとに抽出した放送番組の情報の処理を限られたシステムリソースで効率的に行うこと。
【解決手段】実施形態の受信装置は、放送番組を受信してライブ視聴可能に提供する受信装置であって、放送番組のライブ視聴を提供中に、放送番組の放送信号から、放送番組の内容を表すメタデータの生成が可能な変換データを生成するデータ処理部と、変換データをメタデータの生成を行うサーバ装置へと送信する第１の送受信部と、を備える。
【選択図】図５
【解決手段】実施形態の受信装置は、放送番組を受信してライブ視聴可能に提供する受信装置であって、放送番組のライブ視聴を提供中に、放送番組の放送信号から、放送番組の内容を表すメタデータの生成が可能な変換データを生成するデータ処理部と、変換データをメタデータの生成を行うサーバ装置へと送信する第１の送受信部と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
放送番組を受信してライブ視聴可能に提供する受信装置であって、
前記放送番組のライブ視聴を提供中に、前記放送番組の放送信号から、前記放送番組の内容を表すメタデータの生成が可能な変換データを生成するデータ処理部と、
前記変換データを前記メタデータの生成を行うサーバ装置へと送信する第１の送受信部と、を備える、
受信装置。
前記放送番組のライブ視聴を提供中に、前記放送番組の放送信号から、前記放送番組の内容を表すメタデータの生成が可能な変換データを生成するデータ処理部と、
前記変換データを前記メタデータの生成を行うサーバ装置へと送信する第１の送受信部と、を備える、
受信装置。
【請求項2】
前記データ処理部は、
前記放送番組をフレームごとに多次元配列に変換して前記変換データを生成する、
請求項１に記載の受信装置。
前記放送番組をフレームごとに多次元配列に変換して前記変換データを生成する、
請求項１に記載の受信装置。
【請求項3】
前記データ処理部は、
前記多次元配列から前記放送番組の内容を推論した推論結果を含めて前記変換データを生成する、
請求項２に記載の受信装置。
前記多次元配列から前記放送番組の内容を推論した推論結果を含めて前記変換データを生成する、
請求項２に記載の受信装置。
【請求項4】
前記放送番組の放送信号および前記放送信号に多重される番組配列情報を受信する放送受信部と、
前記番組配列情報に基づいて前記変換データの生成に必要なタスクを特定し、前記データ処理部に対し、特定した前記タスクの振り分けを行うタスク振り分け部と、を更に備える、
請求項１に記載の受信装置。
前記番組配列情報に基づいて前記変換データの生成に必要なタスクを特定し、前記データ処理部に対し、特定した前記タスクの振り分けを行うタスク振り分け部と、を更に備える、
請求項１に記載の受信装置。
【請求項5】
前記タスク振り分け部は、
前記データ処理部に対する前記タスクの振り分け後、前記データ処理部に余剰のリソースが存在する場合には、前記変換データの生成に利用可能な前処理のタスクを前記データ処理部に振り分ける、
請求項４に記載の受信装置。
前記データ処理部に対する前記タスクの振り分け後、前記データ処理部に余剰のリソースが存在する場合には、前記変換データの生成に利用可能な前処理のタスクを前記データ処理部に振り分ける、
請求項４に記載の受信装置。
【請求項6】
請求項１乃至請求項５のいずれか１項に記載の受信装置と、
前記受信装置との通信が可能に前記受信装置に接続されたサーバ装置と、を備え、
前記サーバ装置は、
前記受信装置が生成した前記変換データを前記受信装置から受信する第２の送受信部と、
前記変換データに基づいて前記メタデータを生成するメタデータ生成部と、を備える、
メタデータ生成システム。
前記受信装置との通信が可能に前記受信装置に接続されたサーバ装置と、を備え、
前記サーバ装置は、
前記受信装置が生成した前記変換データを前記受信装置から受信する第２の送受信部と、
前記変換データに基づいて前記メタデータを生成するメタデータ生成部と、を備える、
メタデータ生成システム。
【請求項7】
前記サーバ装置は、
前記放送番組における広告の挿入位置を特定する広告判定部を更に備え、
前記メタデータ生成部は、
前記広告の挿入位置を示す情報を含めて前記メタデータを生成する、
請求項６に記載のメタデータ生成システム。
前記放送番組における広告の挿入位置を特定する広告判定部を更に備え、
前記メタデータ生成部は、
前記広告の挿入位置を示す情報を含めて前記メタデータを生成する、
請求項６に記載のメタデータ生成システム。
【請求項8】
前記データ処理部は、
前記広告の推定開始位置と推定終了位置とを示す情報を含めて前記変換データをフレームごとに生成し、
前記広告判定部は、
フレームごとの前記変換データを時系列に配列した時系列データに基づいて前記広告の挿入位置を判定する、
請求項７に記載のメタデータ生成システム。
前記広告の推定開始位置と推定終了位置とを示す情報を含めて前記変換データをフレームごとに生成し、
前記広告判定部は、
フレームごとの前記変換データを時系列に配列した時系列データに基づいて前記広告の挿入位置を判定する、
請求項７に記載のメタデータ生成システム。
【請求項9】
前記広告判定部は、
前記推定開始位置から所定期間を超えて前記推定終了位置の情報が含まれていなかった場合には、前記推定開始位置で前記広告の挿入はなかったものと判定する、
請求項８に記載のメタデータ生成システム。
前記推定開始位置から所定期間を超えて前記推定終了位置の情報が含まれていなかった場合には、前記推定開始位置で前記広告の挿入はなかったものと判定する、
請求項８に記載のメタデータ生成システム。
【請求項10】
前記広告判定部は、
前記推定開始位置と前記推定終了位置との間に、他の推定開始位置または他の推定終了位置が含まれる場合、これらの推定開始位置と推定終了位置との組み合わせの中から、前記広告の挿入期間が、広告の最短放送時間の倍数に最も近い組み合わせを前記広告の開始位置および終了位置として選択する、
請求項８に記載のメタデータ生成システム。
前記推定開始位置と前記推定終了位置との間に、他の推定開始位置または他の推定終了位置が含まれる場合、これらの推定開始位置と推定終了位置との組み合わせの中から、前記広告の挿入期間が、広告の最短放送時間の倍数に最も近い組み合わせを前記広告の開始位置および終了位置として選択する、
請求項８に記載のメタデータ生成システム。
【請求項11】
前記サーバ装置は、
前記受信装置を含む複数の受信装置との通信が可能に前記複数の受信装置に接続されており、
前記複数の受信装置のうち、少なくとも前記放送番組のライブ視聴を提供中の受信装置から収集した前記変換データを時系列データに統合する統合部を更に備える、
請求項７に記載のメタデータ生成システム。
前記受信装置を含む複数の受信装置との通信が可能に前記複数の受信装置に接続されており、
前記複数の受信装置のうち、少なくとも前記放送番組のライブ視聴を提供中の受信装置から収集した前記変換データを時系列データに統合する統合部を更に備える、
請求項７に記載のメタデータ生成システム。
【請求項12】
前記サーバ装置は、
前記複数の受信装置の少なくともいずれかの前記第１の送受信部に、前記変換データから生成した前記メタデータを送信する、
請求項１１に記載のメタデータ生成システム。
前記複数の受信装置の少なくともいずれかの前記第１の送受信部に、前記変換データから生成した前記メタデータを送信する、
請求項１１に記載のメタデータ生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、受信装置およびメタデータ生成システムに関する。
【背景技術】
【0002】
様々なコンテンツの効率的な視聴を実現するために、シーン情報を始めとするコンテンツに関するメタデータの有用性が注目されている。テレビジョンの放送番組では、これまで人手によるメタデータの作成が主流であったが、近年、人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いたメタデータの自動生成の試みが始まっている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－１０８９８４号公報
【特許文献2】特開２００６－１０９１２６号公報
【特許文献3】特開２０１１－００８６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、メタデータの自動生成には膨大な処理を要するため、限られたシステムリソースで、例えばフレームごとに抽出した放送番組の情報の処理を如何に行うかが課題となる。
【0005】
本発明が解決しようとする課題は、フレームごとに抽出した放送番組の情報の処理を限られたシステムリソースで効率的に行うことができる受信装置およびメタデータ生成システムを提供することにある。
【課題を解決するための手段】
【0006】
実施形態の受信装置は、放送番組を受信してライブ視聴可能に提供する受信装置であって、前記放送番組のライブ視聴を提供中に、前記放送番組の放送信号から、前記放送番組の内容を表すメタデータの生成が可能な変換データを生成するデータ処理部と、前記変換データを前記メタデータの生成を行うサーバ装置へと送信する第１の送受信部と、を備える。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
（メタデータ生成システムの構成）
図１は、実施形態にかかるメタデータ生成システム１の構成の一例を示す図である。図１に示すように、メタデータ生成システム１は、サーバ装置１０及び複数のテレビジョン装置２０（２０ａ，２０ｂ，２０ｃ・・・２０ｎ：ただしｎは任意の整数）を備え、サーバ装置１０とテレビジョン装置２０との協業によって、放送番組の内容を表すメタデータを生成することが可能に構成されている。
図１は、実施形態にかかるメタデータ生成システム１の構成の一例を示す図である。図１に示すように、メタデータ生成システム１は、サーバ装置１０及び複数のテレビジョン装置２０（２０ａ，２０ｂ，２０ｃ・・・２０ｎ：ただしｎは任意の整数）を備え、サーバ装置１０とテレビジョン装置２０との協業によって、放送番組の内容を表すメタデータを生成することが可能に構成されている。
【0009】
サーバ装置１０及び複数のテレビジョン装置２０は、例えばインターネット等のネットワーク３０を介して、無線または有線にて相互に接続されている。ネットワーク３０は、例えばＤＬＮＡ（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）（登録商標）に基づくホームネットワーク、または家庭内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等であってもよい。
【0010】
受信装置としてのテレビジョン装置２０は、例えば放送局からの放送信号を受信して各種の放送番組を受信することができる。また、テレビジョン装置２０は、受信した放送番組をライブ視聴にてユーザに提供したり、録画したり、録画した放送番組を再生したりすることができるよう構成されている。
【0011】
テレビジョン装置２０は、また、受信した放送番組をユーザに提供中、その放送番組の放送信号から、放送番組のシーン情報等を含むメタデータの生成が可能な変換データを生成することが可能に構成されている。
【0012】
サーバ装置１０は、例えばクラウド上に置かれたクラウドサーバ等として構成されている。サーバ装置１０が、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の物理的な構成を備える１つ以上のコンピュータとして構成されていてもよい。
【0013】
サーバ装置１０は、個々のテレビジョン装置２０が変換した変換データを、これらのテレビジョン装置２０から受信してメタデータを生成する。サーバ装置１０は、生成したメタデータを個々のテレビジョン装置２０に提供する。
【0014】
【0015】
図２は、実施形態にかかるサーバ装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、サーバ装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、通信Ｉ／Ｆ（インターフェース）１０４、入出力Ｉ／Ｆ１０５、入力装置１５１、表示装置１５２、及び記憶装置１０６を備えている。
【0016】
ＣＰＵ１０１は、サーバ装置１０の全体を制御する。ＲＯＭ１０２は、サーバ装置１０における保存領域として機能する。ＲＯＭ１０２に記憶された情報は、サーバ装置１０の電源が切られても保持される。ＲＡＭ１０３は、一次記憶装置として機能し、ＣＰＵ１０１の作業領域となる。
【0017】
ＣＰＵ１０１が、例えばＲＯＭ１０２に格納される制御プログラム等をＲＡＭ１０３に展開して実行することで、複数のテレビジョン装置２０から収集した変換データに基づいてメタデータを生成するサーバ装置１０の機能が得られる。
【0018】
なお、上記の制御プログラムは、フレキシブルディスク、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ブルーレイディスク（登録商標）、半導体メモリ等の、コンピュータで読み取り可能な各種の記録媒体に記録されて提供されることができる。
【0019】
また、制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【0020】
通信Ｉ／Ｆ１０４は、例えばインターネット等のネットワーク３０に接続可能に構成される。通信Ｉ／Ｆ１０４により、サーバ装置１０と複数のテレビジョン装置２０との間で各種情報の授受が可能となる。
【0021】
入出力Ｉ／Ｆ１０５には、キーボード、マウス等の入力装置１５１、及びモニタ等の表示装置１５２が接続されていてもよい。これにより、例えばサーバ装置１０の管理者等がサーバ装置１０に対して各種操作を行うことができる。
【0022】
記憶装置１０６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、ＣＰＵ１０１の補助記憶装置として機能する。
【0023】
図３は、実施形態にかかるサーバ装置１０の機能構成の一例を示すブロック図である。図３に示すように、サーバ装置１０は、送受信部１１、統合部１２、広告判定部１３、メタデータ生成部１４、及び記憶部１５を備える。
【0024】
サーバ装置１０の上記の機能構成は、例えば制御プログラムを実行中のＣＰＵ１０１、またはＣＰＵ１０１の制御下で動作するサーバ装置１０の図２に示す各部のハードウェア構成によって実現される。
【0025】
第２の送受信部としての送受信部１１は、複数のテレビジョン装置２０とサーバ装置１０との間でデータの授受が可能に構成される。送受信部１１は、例えば複数のテレビジョン装置２０から、テレビジョン装置２０が放送番組の放送信号から生成した変換データを受信する。また、送受信部１１は、サーバ装置１０が生成したメタデータを複数のテレビジョン装置２０へと送信する。
【0026】
統合部１２は、複数のテレビジョン装置２０がフレームごとに生成した変換データを時系列に配列した時系列データに統合する。このとき、統合部１２は、複数ある放送局が所定の時間帯に放送している放送番組の全てについて時系列データが得られるよう、複数のテレビジョン装置２０から収集した変換データを取捨選択する。
【0027】
例えば、或る１つのテレビジョン装置２０のユーザが一貫して１つの放送局の放送番組を視聴しているような場合、統合部１２が、その１つのテレビジョン装置２０から収集した変換データのみを用いて１つの放送番組の時系列データを生成してもよい。
【0028】
あるいは、或る１つのテレビジョン装置２０のユーザが、選局を繰り返しつつ複数の放送番組を視聴しているような場合は、そのような状況下にある複数のテレビジョン装置２０から収集した変換データを用いて１つの放送番組の時系列データを生成してもよい。
【0029】
広告判定部１３は、時系列データに基づいて広告の挿入位置を判定する。テレビジョン装置２０からの変換データには、テレビジョン装置２０が推定した広告の挿入位置についての情報が含まれている。広告判定部１３は、このテレビジョン装置２０による推定情報を参照しつつ、広告の挿入位置を特定する。
【0030】
メタデータ生成部１４は、広告の挿入位置を除く変換データ、つまり、放送番組の本編部分から生成された変換データに基づいて、シーン情報等、その放送番組の内容を表すメタデータを生成する。
【0031】
記憶部１５には、サーバ装置１０の動作に必要な各種パラメータ及び制御プログラム等が格納されている。また、記憶部１５には、複数のテレビジョン装置２０から収集した変換データ、変換データから生成した時系列データ、特定した広告の挿入位置の情報、及び変換データに基づいて生成したメタデータ等が格納されていてもよい。
【0032】
【0033】
図４は、実施形態にかかるテレビジョン装置２０のハードウェア構成の一例を示す図である。
【0034】
図４に示すように、テレビジョン装置２０は、アンテナ２０１、入力端子２０２ａ～２０２ｃ、チューナ２０３、デモジュレータ２０４、デマルチプレクサ２０５、Ａ／Ｄ（アナログ／デジタル）変換器２０６、セレクタ２０７、信号処理部２０８、スピーカ２０９、表示パネル２１０、操作部２１１、受光部２１２、ＩＰ通信部２１３、ＣＰＵ２１４、メモリ２１５、及びストレージ２１６を備える。
【0035】
アンテナ２０１は、デジタル放送の放送信号を受信し、受信した放送信号を、入力端子２０２ａを介してチューナ２０３に供給する。
【0036】
チューナ２０３は、アンテナ２０１から供給された放送信号から所望のチャンネルの放送信号を選局し、選局した放送信号をデモジュレータ２０４に供給する。
【0037】
デモジュレータ２０４は、チューナ２０３から供給された放送信号を復調し、復調した放送信号をデマルチプレクサ２０５に供給する。
【0038】
デマルチプレクサ２０５は、デモジュレータ２０４から供給された放送信号を分離して映像信号および音声信号を生成し、生成した映像信号および音声信号をセレクタ２０７に供給する。
【0039】
セレクタ２０７は、デマルチプレクサ２０５、Ａ／Ｄ変換器２０６、及び入力端子２０２ｃから供給される複数の信号から１つを選択し、選択した１つの信号を信号処理部２０８に供給する。
【0040】
信号処理部２０８は、セレクタ２０７から供給された映像信号に所定の信号処理を施し、処理後の映像信号を表示パネル２１０に供給する。また、信号処理部２０８は、セレクタ２０７から供給された音声信号に所定の信号処理を施し、処理後の音声信号をスピーカ２０９に供給する。
【0041】
スピーカ２０９は、信号処理部２０８から供給された音声信号に基づいて音声、または各種の音を出力する。また、スピーカ２０９は、ＣＰＵ２１４による制御に基づいて、出力する音声または各種の音の音量を変更する。
【0042】
表示パネル２１０は、信号処理部２０８から供給された映像信号またはＣＰＵ２１４による制御に基づいて、静止画および動画などの映像、その他の画像、並びに文字情報等を表示する。
【0043】
入力端子２０２ｂは、外部から入力される映像信号および音声信号等のアナログ信号を受け付ける。また、入力端子２０２ｃは、外部から入力される映像信号および音声信号等のデジタル信号を受け付ける。例えば、入力端子２０２ｃは、ＢＤ（Ｂｌｕ－ｒａｙ Ｄｉｓｃ）（登録商標）などの録画再生用の記録媒体を駆動して録画および再生するドライブ装置を搭載したレコーダ等から、デジタル信号の入力が可能である。
【0044】
Ａ／Ｄ変換器２０６は、入力端子２０２ｂから供給されたアナログ信号にＡ／Ｄ変換を施すことにより生成したデジタル信号をセレクタ２０７に供給する。
【0045】
操作部２１１は、ユーザの操作入力を受け付ける。
【0046】
受光部２１２は、リモートコントローラ２１９からの赤外線を受光する。
【0047】
ＩＰ通信部２１３は、ネットワーク３０を介したＩＰ（インターネットプロトコル）通信を行うための通信インターフェースである。ただし、テレビジョン装置２０が、ＬＡＮ等のインターネットとは異なるネットワークに接続可能であってもよく、このようなネットワークを介して、各種情報の授受が可能に上述のサーバ装置１０に接続されていてもよい。
【0048】
ＣＰＵ２１４は、テレビジョン装置２０全体を制御する。
【0049】
メモリ２１５は、ＣＰＵ２１４が実行する各種コンピュータプログラムを格納するＲＯＭ、及びＣＰＵ２１４に作業エリアを提供するＲＡＭ等である。例えば、ＲＯＭには、テレビジョン装置２０の各種機能を実現するための制御プログラム及びアプリケーションプログラム等が格納されている。
【0050】
ストレージ２１６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。ストレージ２１６は、例えば、セレクタ２０７により選択された信号を録画データとして記録する。
【0051】
図５は、実施形態にかかるテレビジョン装置２０の機能構成の一例を示すブロック図である。図５に示すように、テレビジョン装置２０は、送受信部２１、タスク振り分け部２２、データ処理部２３、放送受信部２４、操作受け付け部２５、ライブ視聴処理部２６、録画処理部２７、再生処理部２８、及び記憶部２９を備える。
【0052】
テレビジョン装置２０の上記の機能構成は、例えば制御プログラムを実行中のＣＰＵ２１４、またはＣＰＵ２１４の制御下で動作するテレビジョン装置２０の図４に示す各部のハードウェア構成によって実現される。
【0053】
放送受信部２４は、放送局から送られてくる放送番組の放送信号を受信する。放送信号には、映像情報および音声情報が含まれるとともに、番組選択の利便性等を考慮して、その放送番組の内容を示す番組配列情報（ＳＩ：Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）が多重されている。番組配列情報の一例としては、例えば新聞のテレビ欄に相当する情報を含む電子番組ガイド（ＥＰＧ：Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）に関する情報がある。
【0054】
上記のような映像情報，音声情報，及びそれらに付随する 伝送制御情報等は、ＭＰＥＧ２形式に圧縮され、かつ多重されたトランスポートストリーム（ＴＳ：Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を構成している。
【0055】
放送受信部２４は、放送信号に多重される映像情報、音声情報、及び番組配列情報等を受信可能である。
【0056】
操作受け付け部２５は、ユーザからのライブ視聴操作、録画操作、録画予約操作、及び再生操作等の各種操作を受け付ける。
【0057】
ライブ視聴処理部２６は、放送番組のライブ視聴の処理を行う。ライブ視聴とは、例えば、その時点で放送中の放送番組をリアルタイムで表示することである。
【0058】
録画処理部２７は、ユーザからの録画操作および録画予約操作にしたがい、放送番組の録画の処理を行う。録画処理部２７は、録画番組を記憶部２９に格納する。
【0059】
再生処理部２８は、ユーザからの再生操作にしたがい、記憶部２９から録画番組を読み出して再生処理を行う。
【0060】
データ処理部２３は、例えばテレビジョン装置２０がそのときライブ視聴を提供中の放送番組の放送信号から、上述のサーバ装置１０がメタデータを生成することが可能な形式に変換する。より具体的には、データ処理部２３は、ライブ視聴を提供中の放送番組の放送信号に基づくデータをフレームごとに多次元配列に変換し、さらに多次元配列から放送番組の内容を推論した推論結果を含めて変換データを生成する。
【0061】
番組内容の推論結果としては、例えば本編と広告とを区分けするための広告の推定開始位置および推定終了位置、放送番組中の出演者を特定した情報等がある。
【0062】
タスク振り分け部２２は、データ処理部２３がデータ変換処理を行う際に、それらの処理内容を示すタスクを振り分ける。データ処理部２３がデータ変換処理を行う際、放送番組の内容またはフレームごとに、データ変換に必要なタスクが異なる場合がある。タスク振り分け部２２は、例えば放送信号に含まれる番組配列情報等を参照しつつ、適宜、必要なタスクを特定し、データ処理部２３に振り分ける。
【0063】
第１の送受信部としての送受信部２１は、テレビジョン装置２０とサーバ装置１０との間でデータの授受が可能に構成される。送受信部２１は、テレビジョン装置２０が放送番組の放送信号から生成した変換データをサーバ装置１０へと送信する。また、送受信部２１は、サーバ装置１０が生成したメタデータを受信する。
【0064】
記憶部２９には、テレビジョン装置２０の動作に必要な各種パラメータ及び制御プログラム等が格納されている。また、記憶部２９には、録画番組、データ処理部２３が生成した変換データ、及びサーバ装置１０から受信したメタデータ等が格納されていてもよい。
【0065】
なお、テレビジョン装置２０のリソースをサーバ装置１０におけるメタデータの生成処理に活用することについては、テレビジョン装置２０のユーザに許諾を受けているものとする。
【0066】
（メタデータの生成例）
次に、図６を用いて、実施形態のサーバ装置１０及びテレビジョン装置２０によるメタデータの生成例について説明する。
次に、図６を用いて、実施形態のサーバ装置１０及びテレビジョン装置２０によるメタデータの生成例について説明する。
【0067】
【0068】
図６に示すように、テレビジョン装置２０がライブ視聴を提供中の放送番組について、データ処理部２３は、例えばフレームごとの視聴画面をキャプチャし、キャプチャした視聴画面ＩＭから多次元配列を得る。より具体的には、データ処理部２３は、放送番組のトランスポートストリームを浮動小数点値または整数値による多次元配列に変換する。多次元配列とは、行列の概念を用いて複数の変数が格納された複数列の配列である。
【0069】
多次元配列を用いることにより、膨大なデータを取り扱うことが可能となる。例えば、データ処理部２３によりキャプチャされた視聴画面ＩＭを例にとり、以下、具体例を挙げる。元の視聴画面ＩＭに対し、タスク振り分け部２２により広告の開始推定位置および終了推定位置がタスクとして選定された場合を想定すると、地上デジタル放送の場合、（３×１４４０×１０８０）画素の画素数を有する。これを多次元配列に変換することで、一例として、出力を（１×５７６）画素または（１×５）画素とすることができる。ただし、これらの入出力に関する具体的な数値はあくまで一例である。いずれにしても、多次元配列を用いることで、元の視聴画面ＩＭに対する配列要素数を大幅に縮小することができる。
【0070】
このため、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等への入出力データとして多次元配列を用いることで、ＤＮＮによる画像認識および音声認識等が容易となる。また、後述するように、多次元配列へと変換される個とで、サーバ装置１０における取り扱いデータの容量も縮小することができ、より多くのコンテンツの情報を収集して処理することが可能となる。
【0071】
データ処理部２３は、例えば上記のＤＮＮ技術等を用いて、放送番組の本編と広告との区別、放送番組中の出演者、その他のシーン情報を推論した推論結果を含めて変換データを生成する。
【0072】
テレビジョン装置２０の送受信部２１は、ネットワーク３０を介して、生成されたフレームごとの変換データを、受信した放送信号に多重される番組配列情報とともにサーバ装置１０へと送信する。テレビジョン装置２０からサーバ装置１０への変換データのアップロードは、例えば５分ごとなど定期で行われる。
【0073】
サーバ装置１０の統合部１２は、複数のテレビジョン装置２０から収集したフレームごとの変換データを取捨選択して、例えば同時に放送される複数の放送番組の全てについて時系列データを生成する。時系列データの生成処理も、複数のテレビジョン装置２０からのデータアップロードのタイミングに合わせて、例えば５分ごとなど定期で行われる。
【0074】
広告判定部１３は、上述したとおり、時系列データに基づいて広告の挿入位置を特定する。また、メタデータ生成部１４は、変換データに付加された番組配列情報を参照しつつ、放送番組の本編部分について番組内容を表すメタデータを生成する。
【0075】
メタデータ生成部１４が生成するメタデータとしては、例えば放送番組の本編と広告との区別を示すメタデータがある。
【0076】
例えば、メタデータ生成部１４は、広告判定部１３によって特定された広告の挿入位置に対応する時系列データに紐づけて広告部分であることを示すメタデータ、あるいは、広告の挿入位置を除く部分に対応する時系列データに紐づけて本編部分であることを示すメタデータを時系列データの対応するタイミングに紐づけて生成する。
【0077】
または、メタデータ生成部１４は、番組配列情報から、ＮＨＫのように広告が挿入されない放送番組である場合には、上記処理を省略することもできる。
【0078】
また例えば、メタデータの生成対象の放送番組が音楽番組であれば、メタデータ生成部１４は、番組配列情報を参照しつつ、例えば歌手Ａ、歌手Ｂ、歌手Ｃ・・・のそれぞれの歌唱タイミング等を特定し、これらの歌手名等を含むメタデータを時系列データの対応するタイミングに紐づけて生成する。
【0079】
また例えば、メタデータの生成対象の放送番組がバラエティであれば、メタデータ生成部１４は、番組配列情報を参照しつつ、例えばタレントＡ、タレントＢ、タレントＣ・・・のそれぞれの出演タイミング等を特定し、これらのタレント名等を含むメタデータを時系列データの対応するタイミングに紐づけて生成する。
【0080】
また例えば、メタデータの生成対象の放送番組がアニメまたはドラマであれば、メタデータ生成部１４は、番組配列情報を参照しつつ、例えばオープニングまたはエンディングの主題歌が流れるタイミングを特定し、主題歌部分であることを示すメタデータを時系列データの対応するタイミングに紐づけて生成する。
【0081】
また例えば、メタデータの生成対象の放送番組がニュース番組であれば、メタデータ生成部１４は、番組配列情報を参照しつつ、例えばスタジオからの放送タイミング、中継が入るタイミング等を特定し、スタジオからの放送部分、または中継部分であることを示すメタデータを時系列データの対応するタイミングに紐づけて生成する。
【0082】
サーバ装置１０の送受信部１１は、上記のように生成したメタデータを複数のテレビジョン装置２０へと送信する。このとき、メタデータは、サーバ装置１０に接続される全てのテレビジョン装置２０に配信されてもよく、あるいは、複数のテレビジョン装置２０のうちリクエストがあったテレビジョン装置２０に対して送信されてもよい。
【0083】
個々のテレビジョン装置２０では、録画番組が再生される際などに、ユーザの操作にしたがい、対応するメタデータを表示させる。これにより、ユーザは、メタデータを参考にして効率的に録画番組の視聴ができる。
【0084】
なお、録画番組の再生には、番組終了後の任意のタイミングで録画番組が再生する場合のほか、番組放送中に、録画の終了を待たずにライブ視聴の途中で過去に遡って録画内容を再生する場合も含む。このような再生手法をタイムシフト再生などとも呼ぶ。
【0085】
（広告挿入位置の特定例）
次に、図７を用いて、メタデータ生成システム１における広告の挿入位置の特定例について説明する。
次に、図７を用いて、メタデータ生成システム１における広告の挿入位置の特定例について説明する。
【0086】
【0087】
図７に示すように、テレビジョン装置２０のデータ処理部２３は、例えば放送番組の放送信号に基づくデータを変換した多次元配列に基づき、例えばＤＮＮ技術等を用いて広告の推定開始位置と推定終了位置との情報を付す。推定開始位置および推定終了位置の情報には、これらの推定の確度も含まれていてよい。
【0088】
これらの情報を含む変換データを受け取ったサーバ装置１０では、広告判定部１３が、時系列データにおける広告の挿入位置を特定する。
【0089】
図７の例では、例えば時系列データ冒頭には、広告の推定開始位置（確度：８０％）の情報が含まれる（図７の（１））。しかし、時系列データには、その後、所定期間を超えて、広告の推定終了位置の情報が含まれていなかったものとする。この場合、広告判定部１３は、時系列データ冒頭の広告の推定開始位置の推論結果は誤りであり、このタイミングで広告は開始されていないものと判定する。
【0090】
なお、広告の放送時間は通常、１５秒単位で最長１分などと規格化されていることが多い。したがって、広告判定部１３が判定に用いる所定期間を例えば１分などと設定することができる。
【0091】
また、図７の例では、その後の時系列データに、広告の推定開始位置の情報が２つ（確度：９０％、確度：８５％）含まれている（図７の（２）（３））。これに対して、この推定開始位置に対応すると思われる広告の推定終了位置の情報は１つ（確度：８０％）のみである（図７の（４））。この場合、広告判定部１３は、２つの推定開始位置のそれぞれと１つの推定終了位置との組み合わせのうち、その広告の挿入時間が、広告の最短放送期間の倍数に近い組み合わせとなるほうを採用する。
【0092】
すなわち、上述のように、広告の放送時間は１５秒単位で増加するよう規格化されている。図７の例において、２つの推定開始位置のうち早いほうの推定開始位置（図７の（２））と、その後の推定終了位置とを組み合わせると、広告の挿入時間は６７秒となる。一方、２つの推定開始位置のうち遅いほうの推定開始位置（図７の（３））と、その後の推定終了位置とを組み合わせると、広告の挿入時間は６０秒となる。
【0093】
このように、遅いほうの推定開始位置と、その後の推定終了位置との組み合わせでは、広告の放送時間が、より１５秒の倍数に近い。このため、広告判定部１３は、２つの推定開始位置のうち遅いほうの推定開始位置を広告の開始位置として採用する。
【0094】
なお、本例では、２つの推定開始位置のうち、結果的に確度の低いほうが採用されている。しかし、広告判定部１３が、広告の最短放送期間の倍数に近いか否かに加えて、確度の高低も判定基準に加えてもよい。
【0095】
（タスクの振り分け例）
次に、図８を用いて、実施形態のテレビジョン装置２０におけるタスクの振り分け例について説明する。
次に、図８を用いて、実施形態のテレビジョン装置２０におけるタスクの振り分け例について説明する。
【0096】
【0097】
上述のように、データ処理部２３が所定の放送番組についてデータ変換を行う際、放送番組の内容またはフレームごとに、データ変換に必要なタスクが異なる場合がある。
【0098】
例えば、歌番組またはドラマ等においては、上述のように、出演歌手および出演者の顔認証等を行って、個々の出演者の出演タイミングを特定する処理が行われる場合がある。一方、ニュース番組等であれば、このような処理は通常不要である。
【0099】
また例えば、民放番組であれば、広告の推定開始位置と推定終了位置とを特定する処理が行われる場合がある。一方で、ＮＨＫの放送番組であれば、このような処理は不要である。
【0100】
また例えば、ハイビジョン放送等であれば、キャプチャした視聴画面の容量をリサイズする処理等が行われる場合もある。
【0101】
図８の例では、タスク１～タスク７が、放送番組の内容またはフレームごとに異なり得るタスクを表しているものとする。また、これらのタスク１～タスク７のうち、タスク１～タスク３の処理は、比較的少ないリソースで実行可能なタスクであるものとする。一方、これらのタスク１～タスク７のうち、タスク４～タスク７の処理は、比較的多くのリソースを要するタスクであるものとする。
【0102】
例えば図８の最上段のタイミングでは、データ処理部２３が所定の視聴画面ＩＭをキャプチャ中であるとする（図８の（１））。タスク振り分け部２２は、このタイミングにおける番組配列情報を参照し、データ処理部２３がキャプチャした視聴画面ＩＭに基づいて変換データを生成するために必要なタスクを特定する。より具体的には、タスク振り分け部２２は、複数のタスク１～タスク３の候補の中から、例えばタスク１を選択し、データ処理部２３に振り分ける。
【0103】
上述のように、タスク１を含むタスク１～タスク３の処理は、いずれも比較的少ないリソースで実行可能である。この場合、タスク振り分け部２２は、データ処理部２３には余剰のリソースが存在すると判定する。
【0104】
また、例えば図８の中段のタイミングでは、データ処理部２３がまた別の視聴画面ＩＭをキャプチャ中であるとする（図８の（２））。タスク振り分け部２２は、このタイミングにおける番組配列情報を参照し、データ処理部２３がキャプチャした視聴画面ＩＭに基づいて変換データを生成するために必要なタスクを特定する。図８の例では、タスク振り分け部２２は、複数のタスク１～タスク３の候補の中から、例えばタスク１及びタスク２を選択し、データ処理部２３に振り分けている。
【0105】
この場合、１つ１つのタスク１、タスク２、タスク３の処理は、比較的少ないリソースで実行可能であるものの、データ処理部２３は、タスク１及びタスク２の２つの処理を抱えている。この場合、タスク振り分け部２２は、データ処理部２３は余剰のリソースを有しておらず、これ以上、他のタスクの処理は不可能であると判定する。
【0106】
また、例えば図８の最下段のタイミングでは、データ処理部２３が更に別の視聴画面ＩＭをキャプチャ中であるとする（図８の（３））。タスク振り分け部２２は、このタイミングにおける番組配列情報を参照し、データ処理部２３がキャプチャした視聴画面ＩＭに基づいて変換データを生成するために必要なタスクを特定する。
【0107】
図８の例では、タスク振り分け部２２は、複数のタスク１～タスク３の候補の中から、例えばタスク１を選択し、データ処理部２３に振り分けている。また、タスク振り分け部２２は、複数のタスク４～タスク７の候補の中から、例えばタスク５を選択し、データ処理部２３に振り分けている。
【0108】
このとき、データ処理部２３に振り分けられたタスク１及びタスク５のうち、タスク５は視聴画面ＩＭをリサイズして視聴画面ｉｍとする処理であったとする。このような処理には、比較的多くのリソースが必要となる。
【0109】
この場合においても、タスク振り分け部２２は、データ処理部２３は余剰のリソースを有しておらず、これ以上、他のタスクの処理は不可能であると判定する。
【0110】
なお、これらのタスクを経て推論結果を含むフレームごとの変換データは、サーバ装置１０にアップロードされる。
【0111】
【0112】
図９及び図１０は、実施形態にかかるテレビジョン装置２０で余剰リソースがデータ変換の前処理のタスクを振り分ける場合の一例を示す模式図である。図９及び図１０の例では、データ変換の前処理として、所定のドラマの出演者の特徴量を予め抽出しておく処理を行うこととする。
【0113】
上述の図６のように、テレビジョン装置２０のデータ処理部２３が、例えばバラエティまたはドラマ等の放送番組について解析を行う場合、これらの放送番組における所定の出演者の出演タイミング等を検出する処理を行う場合がある。その際、例えばＤＮＮ技術を用いた顔認証等を行って個々の出演者を判別し、それらの出演者が視聴画面に登場するタイミングを特定する。
【0114】
したがって、例えば所定の出演者の顔の特徴量を予め抽出しておくことで、データ変換処理時には、抽出した特徴量に基づいて迅速に個々の出演者の顔認証を行うことが可能となる。
【0115】
図９（ａ）に示すように、テレビジョン装置２０のタスク振り分け部２２は、所定のタイミングでデータ処理部２３に余剰のリソースが生じた場合には、例えば所定のドラマの出演者の顔の特徴量を抽出するタスクをデータ処理部２３に振り分ける。顔の特徴量を抽出するための個々の出演者の顔写真等は、例えばサーバ装置１０にプールされていてよい。
【0116】
この場合、サーバ装置１０の管理者等が、予め、ドラマの出演者の使用許諾を受けた顔写真データをサーバ装置１０の記憶部１５に格納しておくことができる。あるいは、テレビジョン装置２０が自律的に、番組配列情報等に含まれる出演者の顔写真を取得し、記憶部２９に格納しておいてもよい。この場合も、テレビジョン装置２０を含むメタデータ生成システム１における番組配列情報の利用について、予め包括的な許諾を受けておくことができる。
【0117】
図９（ｂ）に示すように、テレビジョン装置２０のデータ処理部２３は、与えられた出演者の顔写真から、個々の出演者の顔の特徴量を抽出し、例えば記憶部２９に格納しておく。その後、それらの出演者が出演するドラマについて変換データを生成する際には、記憶部２９に格納した特徴量を参照して個々の出演者を特定することができる。その様子を図１０に示す。
【0118】
図１０（ａ）に示すように、出演者の顔の特徴量を抽出済みのドラマについて、データ処理部２３は、フレームごとにキャプチャした視聴画面に含まれる情報を多次元配列に変換する。
【0119】
図１０（ｂ）に示すように、データ処理部２３は、生成した多次元配列に基づいて解析を行って、視聴画面に含まれる出演者の顔の特徴量を抽出する。
【0120】
図１０（ｃ）に示すように、データ処理部２３は、記憶部２９に格納した個々の出演者の顔の特徴量のデータを読み出し、視聴画面に含まれる出演者の顔の特徴量と照合することで、視聴画面に含まれる出演者を特定する。
【0121】
なお、テレビジョン装置２０は、生成した出演者の顔の特徴量をサーバ装置１０に送信してもよい。また、サーバ装置１０は、所定のテレビジョン装置２０で生成された特徴量を他のテレビジョン装置２０に配信し、個々のテレビジョン装置２０でデータ変換を行う際、１つのテレビジョン装置２０で生成した特徴量を、これらのテレビジョン装置２０で供用してもよい。
【0122】
（メタデータの生成処理例）
次に、図１１を用いて、実施形態の、メタデータ生成システム１によるメタデータ生成処理の例について説明する。図１１は、実施形態にかかるメタデータ生成システム１によるメタデータ生成処理の手順の一例を示すフロー図である。
次に、図１１を用いて、実施形態の、メタデータ生成システム１によるメタデータ生成処理の例について説明する。図１１は、実施形態にかかるメタデータ生成システム１によるメタデータ生成処理の手順の一例を示すフロー図である。
【0123】
図１１に示すように、テレビジョン装置２０のタスク振り分け部２２は、所定の放送番組の視聴が開始されると、データ処理部２３へのタスクの振り分けを行う（ステップＳ１０１）。
つまり、タスク振り分け部２２は、番組配列情報を参照しつつ、放送番組の内容またはフレームごとに、データ変換に必要なタスクを特定する。また、タスク振り分け部２２は、特定したタスクをデータ処理部２３に振り分ける。
つまり、タスク振り分け部２２は、番組配列情報を参照しつつ、放送番組の内容またはフレームごとに、データ変換に必要なタスクを特定する。また、タスク振り分け部２２は、特定したタスクをデータ処理部２３に振り分ける。
【0124】
また、タスク振り分け部２２は、特定したタスクに基づいて、データ処理部２３に余剰のリソースが生じうるか否かを判定する（ステップＳ１０２）。
【0125】
余剰のリソースが生じないと判定した場合（ステップＳ１０２：Ｎｏ）、データ処理部２３は、振り分けられたタスクに基づくステップＳ１０３～Ｓ１０５の処理を実行する。余剰のリソースが生じると判定した場合（ステップＳ１０２：Ｙｅｓ）、データ処理部２３は、余剰リソースに応じたタスクを更にデータ処理部２３に振り分ける（ステップＳ１０７）。
【0126】
具体的には、データ処理部２３は、視聴が開始された放送番組の視聴画面をフレームごとにキャプチャする（ステップＳ１０３）。また、データ処理部２３は、視聴画面に含まれる情報を多次元配列に変換する（ステップＳ１０４）。また、データ処理部２３は、多次元配列に基づいて各種の推論を行って推論結果を生成する（ステップＳ１０５）。
【0127】
また、余剰リソースに応じたタスクを更に振り分けられている場合には、データ処理部２３は、ステップＳ１０３～Ｓ１０５の処理と並行して、振り分けられたタスクに基づく処理を実行する（ステップＳ１０７）。
【0128】
送受信部２１は、以上のように生成された変換データをサーバ装置１０へと送信する（ステップＳ１０６）。サーバ装置１０の送受信部１１は、テレビジョン装置２０から変換データを受信する（ステップＳ１１１）。
【0129】
統合部１２は、複数のテレビジョン装置２０から収集した変換データを取捨選択して、個々の放送番組に関する複数の変換データをそれぞれ統合し、これらの放送番組にそれぞれ対応する時系列データを生成する（ステップＳ１１２）。
【0130】
広告判定部１３は、例えば生成された時系列データに対応する番組配列情報を参照し、その時系列データについて、広告の挿入があるか否かを判定する（ステップＳ１１３）。
【0131】
つまり、広告判定部１３は、番組配列情報から、その時系列データに対応する放送番組がＮＨＫの放送番組である場合には広告の挿入がなく、民放の放送番組で或る場合には広告の挿入があると判定する。ただし、広告判定部１３は、番組配列情報に替えて、あるいは加えて、テレビジョン装置２０のデータ処理部２３によって広告の推定開始位置および推定終了位置が時系列データに付与されているか否かに基づいて、上記判定を行ってもよい。
【0132】
時系列データに広告の挿入があると判定した場合（ステップＳ１１３：Ｙｅｓ）、広告判定部１３は、時系列データに付与されている広告の推定開始位置および推定終了位置に基づいて広告の挿入位置を特定する（ステップＳ１１４）。時系列データに広告の挿入がないと判定した場合（ステップＳ１１３：Ｎｏ）、広告判定部１３は、ステップＳ１１４の処理をスキップする。
【0133】
メタデータ生成部１４は、時系列データの広告の挿入位置を除く本編部分について、時系列データ、及び時系列データに付与されたデータ処理部２３の推論結果に基づいて、放送番組の内容を表すメタデータを生成する（ステップＳ１１５）。
【0134】
送受信部１１は、以上のように生成されたメタデータをテレビジョン装置２０へと送信する（ステップＳ１１６）。テレビジョン装置２０の送受信部２１は、サーバ装置１０からメタデータを受信し（ステップＳ１２１）、例えば録画番組の視聴の際などに表示可能に記憶部２９に格納する（ステップＳ１２２）。
【0135】
以上により、実施形態のメタデータ生成システム１によるメタデータ生成処理が終了する。
【0136】
（比較例）
近年のコンテンツ増加に伴い、コンテンツの検索機能、及び個々のコンテンツに対するレコメンド機能等が求められるとともに、効率的な視聴手段の提供も重要となっている。コンテンツの効率的な視聴を実現するために、例えばシーン情報を始めとするメタデータは有用である。
近年のコンテンツ増加に伴い、コンテンツの検索機能、及び個々のコンテンツに対するレコメンド機能等が求められるとともに、効率的な視聴手段の提供も重要となっている。コンテンツの効率的な視聴を実現するために、例えばシーン情報を始めとするメタデータは有用である。
【0137】
テレビジョンの放送番組のメタデータは、これまで人手による作成が主流であり、放送終了から作成までに数時間を要するほか、メタデータの作成コストも膨大になっている。そこで、人工知能を用いたメタデータの自動生成の試みが始まっている。しかしながら、メタデータの自動生成には例えば以下の課題がある。
【0138】
テレビジョン装置には、視聴、録画、及び再生のリアルタイム処理が求められる。このため、時系列データを取り扱う必要のあるメタデータの自動生成を、テレビジョン装置に行わせることが困難である。
【0139】
また、テレビジョン装置においては、システムリソースが限定的である。このため、人工知能を用いた複雑な処理、及び同時並列的な処理をテレビジョン装置に行わせることが困難である。したがって、このような理由からも、メタデータの自動生成を、テレビジョン装置に行わせることが困難である。
【0140】
一方で、メタデータの自動生成をサーバ装置に行わせる場合、膨大なコンテンツをサーバ装置で一括処理するには、サーバ装置側のコストが膨大になる。
【0141】
例えば上述の特許文献１，２の技術では、ロゴイメージ及びパターンファイル等を予めクラウド側に用意し配布することで、テレビジョン装置に広告区間の検出を行わせる。しかしながら、ロゴイメージ等を広告の提供者から購入しなければならず、対象コンテンツを広げるためには膨大なコストを要する。また、広告区間の検出をテレビジョン装置に行わせているため、処理の遅延が懸念される。
【0142】
また、上述の特許文献３の技術では、人工知能を用いた特徴量の生成を医療分野における端末装置にリアルタイムで行わせ、その特徴量を用いて時系列データを用いた処理を実行する。しかしながら、このような技術をテレビジョンの放送番組に適用することは困難である。
【0143】
テレビジョンの放送番組では、例えばライブ視聴の途中で録画内容を再生するタイムシフト再生機能、及び全チャンネルの全放送番組をまとめて録画する機能等が求められている。これらに対応するためには、複数のＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）デコーダと、複数コンテンツをリアルタイムで並列処理するためのＡＩ演算機をテレビジョン装置に搭載する必要がある。このような構成は、部材コスト及びランニングコストの両面において大きな障害となるため、コンシューマデバイスであるテレビジョン装置への適用は現実的ではない。
【0144】
実施形態のテレビジョン装置２０によれば、放送番組のライブ視聴を提供中に、放送番組の放送信号から、その放送番組の内容を表すメタデータの生成が可能な変換データを生成する。
【0145】
このように、膨大なコンテンツの処理を個々のテレビジョン装置２０に担わせることができ、例えばサーバ装置１０で一括処理する場合と異なり、サーバ装置１０の負担を軽減することができる。
【0146】
また、上記のデータ変換処理は、例えばテレビジョン装置２０の既存のハードウェア構成を用いて実行させうることが可能である。テレビジョン装置２０に新たな構成を追加したり、テレビジョン装置２０自体を新たに構築したりする必要が無く、部材コスト及びランニングコストを抑えることが可能である。
【0147】
実施形態のテレビジョン装置２０によれば、変換データをメタデータの生成を行うサーバ装置１０へと送信する。このようなサーバ装置１０へのアップロード頻度を高めることで、サーバ装置１０が取り扱うデータが小まめに更新されるため、例えば短時間での処理が求められるタイムシフト再生等にも対応可能となる。
【0148】
実施形態のテレビジョン装置２０によれば、放送番組の情報をフレームごとに多次元配列に変換して変換データを生成する。このように、多次元配列へのデータ変換を行うことで、膨大なデータの取り扱いが可能となり、また、例えばＤＮＮの入出力データに多次元配列を用いることで、ＤＮＮ技術を用いたデータ解析が容易となる。また、サーバ装置１０における取り扱いデータの容量を縮小することができ、より多くのコンテンツの情報を収集して処理することが可能となる。
【0149】
実施形態のテレビジョン装置２０によれば、番組配列情報に基づいてデータの変換に必要なタスクを特定し、データ処理部２３に対し、特定したタスクの振り分けを行う。これにより、例えば放送番組の内容またはフレームごとに異なるタスクが必要となるデータ変換処理において、適正なタスクをデータ処理部２３に振り分けて実行させることができる。また、データ処理部２３の限られたリソースを効率的に利用することができる。
【0150】
実施形態のテレビジョン装置２０によれば、データ処理部２３に余剰のリソースが存在する場合には、データの変換に利用可能な前処理のタスクをデータ処理部２３に振り分ける。これにより、データ処理部２３のリソースを有効活用することができる。
【0151】
実施形態のサーバ装置１０によれば、テレビジョン装置２０が変換した変換データからメタデータを生成する。
【0152】
これにより、時系列データを取り扱う必要のあるメタデータの生成をサーバ装置１０に担わせることができ、テレビジョン装置２０の視聴、録画、及び再生のリアルタイム処理に支障が生じることを抑制できる。
【0153】
また、サーバ装置１０では、専ら時系列データを取り扱ったメタデータの生成処理のみを実行すればよく、サーバ装置１０の負担も軽減することができる。
【0154】
実施形態のサーバ装置１０によれば、データ処理部２３による広告の推定開始位置から所定期間を超えて推定終了位置の情報が含まれていなかった場合には、推定開始位置で広告の挿入はなかったものと判定する。このように、時系列データを取り扱うことが可能なサーバ装置１０において上記判定を行うことで、高精度に広告の挿入位置を特定することができる。
【0155】
実施形態のサーバ装置１０によれば、広告の推定開始位置と推定終了位置との間に、他の推定開始位置または他の推定終了位置が含まれる場合、これらの推定開始位置と推定終了位置との組み合わせの中から、広告の挿入期間が、広告の最短放送時間の倍数に最も近い組み合わせを広告の開始位置および終了位置として選択する。このように、時系列データを取り扱うことが可能なサーバ装置１０において上記判定を行うことで、高精度に広告の挿入位置を特定することができる。
【0156】
実施形態のサーバ装置１０によれば、複数のテレビジョン装置２０のうち、少なくとも放送番組のライブ視聴を提供中のテレビジョン装置２０から収集した変換データを時系列データに統合する。このように、複数のテレビジョン装置２０のそれぞれにデータ変換処理を分散させることで、テレビジョン装置２０の負担を更に軽減することができる。
【0157】
なお、上述の実施形態では、例えばライブ視聴を提供中の複数のテレビジョン装置２０から、サーバ装置１０が変換データを収集し統合して時系列データを生成することとした。しかし、メタデータの生成を行うサービス提供者が、自社内等に複数のテレビジョン装置２０を設置し、これらのテレビジョン装置２０からサーバ装置１０へと変換データをアップロードさせてもよい。
【0158】
この場合、個々のテレビジョン装置２０に、それぞれ特定の放送局の放送番組を一貫してライブ視聴提供させておくことができる。これにより、１つのテレビジョン装置２０から１つの放送局の放送番組に関する変換データを収集することができ、例えば複数のテレビジョン装置２０の変換データを統合する処理が不要となる。
【0159】
また、上述の実施形態では、受信装置がテレビジョン装置２０であることとしたが、実施形態の構成はこれに限られない。例えば、受信装置が、放送信号の受信機能および放映機能、並びに音声認識サービス機能を備えたパソコン、スマートフォン、タブレット、携帯電話等の他の機器であってもよい。
【0160】
本発明の実施形態について説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0161】
１…メタデータ生成システム、１０…サーバ装置、１１…送受信部、１２…統合部、１３…広告判定部、１４…メタデータ生成部、１５…記憶部、２０…テレビジョン装置、２１…送受信部、２２…タスク振り分け部、２３…データ処理部、２４…放送受信部、２９…記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】