知財求人 - 知財ポータルサイト「IP Force」
特開2024-113933受信装置、映像配信システム、配信装置、制御装置、受信方法、配信方法および制御方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024113933
(43)【公開日】2024-08-23
(54)【発明の名称】受信装置、映像配信システム、配信装置、制御装置、受信方法、配信方法および制御方法
(51)【国際特許分類】
H04N 21/431 20110101AFI20240816BHJP
H04N 21/435 20110101ALI20240816BHJP
H04N 21/472 20110101ALI20240816BHJP
H04N 21/235 20110101ALI20240816BHJP
H04N 21/258 20110101ALI20240816BHJP
【ＦＩ】
H04N21/431
H04N21/435
H04N21/472
H04N21/235
H04N21/258
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023019218
(22)【出願日】2023-02-10
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】阿部 真理奈
(72)【発明者】
【氏名】蝶野 慶一
【テーマコード（参考）】
5C164
【Ｆターム（参考）】
5C164SB08P
5C164SC11P
5C164UA04S
5C164UB10P
5C164UB88P
5C164UD41P
5C164YA11
(57)【要約】
【課題】視聴者の希望する位置にアイテムを重畳した映像を表示させることを可能にする。
【解決手段】
受信装置は、配信装置から配信された映像データを受信し、映像に重畳させて表示させるアイテムと、アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求が入力された場合に、選択用画像を含む画像を表示用画像として表示部に表示させ、視聴者によって選択されたアイテムを示す選択アイテム情報と、視聴者によって選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、複数の受信装置の選択情報が統合された情報である統合情報を、制御装置から受信し、統合情報に基づいて、映像にアイテムを重畳させた画像を、表示用画像として表示部に表示させる。
【選択図】 図１
【解決手段】
受信装置は、配信装置から配信された映像データを受信し、映像に重畳させて表示させるアイテムと、アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求が入力された場合に、選択用画像を含む画像を表示用画像として表示部に表示させ、視聴者によって選択されたアイテムを示す選択アイテム情報と、視聴者によって選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、複数の受信装置の選択情報が統合された情報である統合情報を、制御装置から受信し、統合情報に基づいて、映像にアイテムを重畳させた画像を、表示用画像として表示部に表示させる。
【選択図】 図１
【特許請求の範囲】
【請求項1】
配信装置および制御装置からデータ受信する受信装置であって、
前記配信装置から配信された映像データを受信する映像受信部と、
表示用画像を表示する表示部と、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付部と、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、前記表示用画像として前記表示部に表示させる表示制御部と、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、前記制御装置に出力する選択情報出力部と、
前記受信装置、および前記受信装置と同じ構成を有する他の受信装置の各々により出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信部と、
を備え、
前記統合情報が前記統合情報受信部により受信された場合、前記表示制御部は、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信装置。
前記配信装置から配信された映像データを受信する映像受信部と、
表示用画像を表示する表示部と、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付部と、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、前記表示用画像として前記表示部に表示させる表示制御部と、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、前記制御装置に出力する選択情報出力部と、
前記受信装置、および前記受信装置と同じ構成を有する他の受信装置の各々により出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信部と、
を備え、
前記統合情報が前記統合情報受信部により受信された場合、前記表示制御部は、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信装置。
【請求項2】
選択された前記表示位置に表示されている被写体の前記映像における動きを追跡する追跡部
をさらに備え、
前記選択情報は、前記選択位置情報として、追跡された前記被写体の前記映像における座標の情報を含む、
請求項１に記載の受信装置。
をさらに備え、
前記選択情報は、前記選択位置情報として、追跡された前記被写体の前記映像における座標の情報を含む、
請求項１に記載の受信装置。
【請求項3】
配信装置と、制御装置と、複数の受信装置とを備える映像配信システムであって、
前記受信装置の各々は、請求項１または請求項２に記載の受信装置であり、
前記配信装置は、
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記受信装置に向けて配信する配信部と
を備え、
前記制御装置は、
前記選択情報を前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である前記統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備える、
映像配信システム。
前記受信装置の各々は、請求項１または請求項２に記載の受信装置であり、
前記配信装置は、
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記受信装置に向けて配信する配信部と
を備え、
前記制御装置は、
前記選択情報を前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である前記統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備える、
映像配信システム。
【請求項4】
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
表示用画像を表示する表示部と、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信部と、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を前記表示用画像として前記表示部に表示させる表示制御部と、
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信装置。
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
表示用画像を表示する表示部と、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信部と、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を前記表示用画像として前記表示部に表示させる表示制御部と、
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信装置。
【請求項5】
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡部と、
前記候補座標の情報である候補座標情報を送信する候補座標情報送信部と、
を備える配信装置。
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡部と、
前記候補座標の情報である候補座標情報を送信する候補座標情報送信部と、
を備える配信装置。
【請求項6】
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御装置。
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御装置。
【請求項7】
配信装置から配信された映像データを受信し、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付け、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、
複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信し、
前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信方法。
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付け、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、
複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信し、
前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信方法。
【請求項8】
映像または前記映像が符号化された映像データが入力され、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信し、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信方法。
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信し、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信方法。
【請求項9】
映像または前記映像が符号化された映像データが入力され、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出し、
前記候補座標の情報である候補座標情報を送信する、
配信方法。
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出し、
前記候補座標の情報である候補座標情報を送信する、
配信方法。
【請求項10】
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信し、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信し、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御方法。
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信し、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、受信装置等に関する。
【背景技術】
【0002】
映像配信サービスにおいて、視聴者が配信者に対して金銭などを寄付できる機能がある。この機能は、たとえば、投げ銭やギフティングなどと呼ばれている。視聴者は、たとえば、配信者に対するプレゼント（ギフトなどとも呼ばれる）を購入することで、配信者に寄付を行うことができる。
【0003】
この機能の中には、視聴者が購入したプレゼントに対応するアイテムを、配信映像に重畳して、視聴者端末や配信者端末の表示画面に表示させるものがある。これに関する技術が、特許文献１および特許文献２に記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－０３６１３４号公報
【特許文献2】特開２０２０－０９６２６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１および特許文献２には、視聴者の希望する任意の位置にアイテムを重畳した映像を表示させることは、記載されていない。
【0006】
特許文献１および特許文献２には、装着オブジェクトが、キャラクタオブジェクトの特定の部位と関連付けて表示されることや、装着オブジェクトが、キャラクタオブジェクトに付随して動くことが記載されている。しかし、装着オブジェクトが表示される位置は、たとえば、カチューシャなら頭部、など、装着オブジェクトごとにあらかじめ決められている。そのため、視聴者の希望する位置にアイテムを重畳した映像を表示させることができない。
【0007】
本発明の目的は、上述した課題を鑑み、視聴者の希望する位置にアイテムを重畳した映像を表示させることができる、受信装置等を提供することにある。
【課題を解決するための手段】
【0008】
本発明の一態様において、受信装置は、配信装置および制御装置からデータ受信する受信装置であって、前記配信装置から配信された映像データを受信する映像受信部と、表示用画像を表示する表示部と、前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示を要求する選択用画像表示要求の入力を受け付ける受付部と、前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、前記表示用画像として前記表示部に表示させる表示制御部と、前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力する選択情報出力部と、前記受信装置、および前記受信装置と同じ構成を有する他の受信装置の各々により出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信部と、を備え、前記統合情報が前記統合情報受信部により受信された場合、前記表示制御部は、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる。
【0009】
また、本発明の他の態様において、配信装置は、映像または前記映像が符号化された映像データが入力される映像入力部と、前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、表示用画像を表示する表示部と、前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信部と、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を前記表示用画像として前記表示部に表示させる表示制御部と、を備え、前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む。
【0010】
また、本発明の他の態様において、配信装置は、映像または前記映像が符号化された映像データが入力される映像入力部と、前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡部と、前記候補座標の情報である候補座標情報を送信する候補座標情報送信部と、を備える。
【0011】
また、本発明の他の態様において、制御装置は、映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信部と、複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信部とを備え、前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む。
【0012】
また、本発明の他の態様において、受信方法は、配信装置から配信された映像データを受信し、前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付け、前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信し、前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる。
【0013】
また、本発明の他の態様において、配信方法は、映像または前記映像が符号化された映像データが入力され、前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信し、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む。
【0014】
また、本発明の他の態様において、配信方法は、映像または前記映像が符号化された映像データが入力され、前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出し、前記候補座標の情報である候補座標情報を送信する。
【0015】
また、本発明の他の態様において、制御方法は、映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信し、複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信し、前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む。
【0016】
また、本発明の他の態様において、受信プログラムは、コンピュータに、配信装置から配信された映像データを受信する映像受信機能と、前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付機能と、前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させる表示制御機能と、前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力する選択情報出力機能と、複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信機能と、を実現させ、前記表示制御機能は、前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる。
【0017】
また、本発明の他の態様において、配信プログラムは、コンピュータに、映像または前記映像が符号化された映像データが入力される映像入力機能と、前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信機能と、前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信機能と、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させる表示制御機能と、を実現させ、前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む。
【0018】
また、本発明の他の態様において、配信プログラムは、コンピュータに、映像または前記映像が符号化された映像データが入力される映像入力機能と、前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信機能と、前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡機能と、前記候補座標の情報である候補座標情報を送信する候補座標情報送信機能と、を実現させる。
【0019】
また、本発明の他の態様において、制御プログラムは、コンピュータに、映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信機能と、複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信機能とを実現させ、前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む。
【発明の効果】
【0020】
本発明の上記態様によれば、視聴者の希望する位置にアイテムを重畳した映像を表示させることが可能になる。
【図面の簡単な説明】
【0021】
【図1】本発明の第一の実施形態の受信装置の構成例を示す図である。
【図2】本発明の第一の実施形態の受信装置の動作フローの例を示す図である。
【図3】本発明の第一の実施形態の受信装置の動作フローの例を示す図である。
【図4】本発明の第一の実施形態の受信装置の動作フローの例を示す図である。
【図5】本発明の第二の実施形態の映像配信システムの構成例を示す図である。
【図6】本発明の第二の実施形態の受信装置の構成例を示す図である。
【図7】本発明の第二の実施形態の選択用画像の例を示す図である。
【図8】本発明の第二の実施形態の選択情報の例を示す図である。
【図9】本発明の第二の実施形態の統合情報の例を示す図である。
【図10】本発明の第二の実施形態の制御装置の構成例を示す図である。
【図11】本発明の第二の実施形態の制御装置の他の構成例を示す図である。
【図12】本発明の第二の実施形態の配信装置の構成例を示す図である。
【図13】本発明の第二の実施形態の配信装置の他の構成例を示す図である。
【図14】本発明の第二の実施形態の配信装置の他の構成例を示す図である。
【図15】本発明の第二の実施形態の配信装置の他の構成例を示す図である。
【図16】本発明の第二の実施形態の受信装置の動作フローの例を示す図である。
【図17】本発明の第二の実施形態の配信装置の動作フローの例を示す図である。
【図18】本発明の第二の実施形態の受信装置および配信装置の動作フローの例を示す図である。
【図19】本発明の第二の実施形態の受信装置の動作フローの例を示す図である。
【図20】本発明の第二の実施形態の受信装置の動作フローの例を示す図である。
【図21】本発明の第二の実施形態の制御装置の動作フローの例を示す図である。
【図22】本発明の第三の実施形態の映像配信システムの構成例を示す図である。
【図23】本発明の第三の実施形態の受信装置の構成例を示す図である。
【図24】本発明の第三の実施形態の選択用画像の例を示す図である。
【図25】本発明の第三の実施形態の選択情報の例を示す図である。
【図26】本発明の第三の実施形態の統合情報の例を示す図である。
【図27】本発明の第三の実施形態の制御装置の構成例を示す図である。
【図28】本発明の第三の実施形態の制御装置の他の構成例を示す図である。
【図29】本発明の第三の実施形態の配信装置の構成例を示す図である。
【図30】本発明の第三の実施形態の配信装置の他の構成例を示す図である。
【図31】本発明の第三の実施形態の配信装置の他の構成例を示す図である。
【図32】本発明の第三の実施形態の候補座標情報の例を示す図である。
【図33】本発明の第三の実施形態の時刻情報とアイテム重畳タイミングとの関係の例を示す図である。
【図34】本発明の第三の実施形態の時刻情報とアイテム重畳タイミングとの関係の例を示す図である。
【図35】本発明の第三の実施形態の候補座標情報の例を示す図である。
【図36】本発明の第三の実施形態の配信装置の動作フローの例を示す図である。
【図37】本発明の第三の実施形態の配信装置の動作フローの例を示す図である。
【図38】本発明の第三の実施形態の制御装置の動作フローの例を示す図である。
【図39】本発明の第三の実施形態の受信装置および配信装置の動作フローの例を示す図である。
【図40】本発明の第三の実施形態の受信装置の動作フローの例を示す図である。
【図41】本発明の第三の実施形態の受信装置の動作フローの例を示す図である。
【図42】本発明の第三の実施形態の制御装置の動作フローの例を示す図である。
【図43】本発明の各実施形態のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0022】
［第一の実施形態］
本発明の第一の実施形態について説明する。第一の実施形態における受信装置１１０の具体的な一例が、後述する第二の実施形態における受信装置１２０－ｉ、および、第三の実施形態における受信装置１３０－ｉである。
本発明の第一の実施形態について説明する。第一の実施形態における受信装置１１０の具体的な一例が、後述する第二の実施形態における受信装置１２０－ｉ、および、第三の実施形態における受信装置１３０－ｉである。
【0023】
図１に、本実施形態の受信装置１１０の構成例を示す。受信装置１１０は、映像受信部１１１、表示部１１２、表示制御部１１３、選択情報出力部１１４、統合情報受信部１１５および受付部１１９を含む。
【0024】
受信装置１１０は、配信装置および制御装置からデータ受信する。なお、配信装置は、映像データを配信する装置である。制御装置は、統合情報を送信する装置である。統合情報については後述する。
【0025】
映像受信部１１１は、配信装置から配信された映像データを受信する。表示部１１２は、表示用画像を表示する。
【0026】
なお、映像は、映像データの形式に符号化され、映像データの形式で記録されたり伝送されたりする。
【0027】
表示制御部１１３は、表示用画像を表示部１１２に表示させる。表示用画像の詳細は、後述する。
【0028】
受付部１１９は、選択用画像表示要求の入力を受け付ける。選択用画像は、映像データに基づく映像に重畳させて表示させるアイテムと、アイテムの表示位置とを視聴者に選択させるための画像である。選択用画像表示要求は、選択用画像の表示要求である。
【0029】
選択情報出力部１１４は、選択情報を制御装置に出力する。選択情報は、選択アイテム情報と選択位置情報とを含む。選択アイテム情報は、選択用画像を用いて視聴者により選択されたアイテムを示す。選択位置情報は、選択用画像を用いて視聴者により選択された表示位置に関する情報を示す。
【0030】
統合情報受信部１１５は、統合情報を制御装置から受信する。統合情報は、選択情報が統合された情報である。ここで統合される選択情報は、受信装置１１０、および受信装置１１０と同じ構成を有する他の受信装置の各々により出力される。
【0031】
表示制御部１１３は、統合情報が統合情報受信部１１５により受信された場合、統合情報に基づいて、映像にアイテムを重畳させた画像を、表示用画像として表示部１１２に表示させる。
【0032】
【0033】
映像受信部１１１は、配信装置から配信された映像データを受信する（図２のステップＳ１０１）。表示部１１２は、映像受信部１１１が受信した映像データに基づく映像を含む画像を表示用画像として表示する（ステップＳ１０２）。
【0034】
表示制御部１１３は、選択用画像表示要求が入力された場合に（図３のステップＳ１０３）、選択用画像を含む画像を表示用画像として表示部１１２に表示させる（ステップＳ１０４）。また、選択情報出力部１１４は、選択情報を制御装置に出力する（ステップＳ１０５）。
【0035】
統合情報受信部１１５は、統合情報を制御装置から受信する（図４のステップＳ１０６）。表示制御部１１３は、統合情報に基づいて、映像にアイテムを重畳させた画像を表示用画像として表示部１１２に表示させる（ステップＳ１０７）。
【0036】
以上で説明したように、本発明の第一の実施形態では、受信装置１１０は、映像受信部１１１、表示部１１２、表示制御部１１３、選択情報出力部１１４、統合情報受信部１１５および受付部１１９を含む。受信装置１１０は、配信装置および制御装置からデータ受信する。映像受信部１１１は、配信装置から配信された映像データを受信する。表示部１１２は、表示用画像を表示する。表示制御部１１３は、表示用画像を表示部１１２に表示させる。受付部１１９は、選択用画像表示要求の入力を受け付ける。選択用画像は、映像データに基づく映像に重畳させて表示させるアイテムと、アイテムの表示位置とを視聴者に選択させるための画像である。選択用画像表示要求は、選択用画像の表示要求である。選択情報出力部１１４は、選択情報を制御装置に出力する。選択情報は、選択アイテム情報と選択位置情報とを含む。選択アイテム情報は、選択用画像を用いて視聴者により選択されたアイテムを示す。選択位置情報は、選択用画像を用いて視聴者により選択された表示位置に関する情報を示す。統合情報受信部１１５は、統合情報を制御装置から受信する。統合情報は、受信装置１１０、および受信装置１１０と同じ構成を有する他の受信装置の各々により出力される選択情報が統合された情報である。表示制御部１１３は、統合情報が統合情報受信部１１５により受信された場合、統合情報に基づいて、映像にアイテムを重畳させた画像を、表示用画像として表示部１１２に表示させる。
【0037】
これにより、受信装置１１０は、アイテムの表示位置を視聴者に選択させることができる。また、受信装置１１０は、視聴者によって選択された表示位置に関する情報を含む統合情報に基づいて、映像にアイテムを重畳させた画像を表示用画像として表示部１１２に表示させることができる。そのため、視聴者の希望する位置にアイテムを重畳した映像を表示させることが可能になる。
【0038】
［第二の実施形態］
次に、本発明の第二の実施形態について説明する。第一の実施形態における受信装置１１０の具体的な一例が、第二の実施形態における受信装置１２０－ｉである。
次に、本発明の第二の実施形態について説明する。第一の実施形態における受信装置１１０の具体的な一例が、第二の実施形態における受信装置１２０－ｉである。
【0039】
まず、図５に、本実施形態の映像配信システム４２の構成例を示す。図５に示す映像配信システム４２は、配信装置２２０と、制御装置３２０と、受信装置１２０－ｉ（ｉは１からＮの整数）を含む。配信装置２２０と制御装置３２０とは、有線通信および無線通信の少なくとも一方で接続される。また、制御装置３２０と受信装置１２０－ｉとは、有線通信および無線通信の少なくとも一方で接続される。配信装置２２０の数は、一つであってもよいし、二以上の複数であってもよい。
【0040】
配信装置２２０は、映像データを受信装置１２０－ｉに向けて配信する。制御装置３２０は、映像配信システム４２を制御する。受信装置１２０－ｉは、映像データを受信し、映像データに基づく映像を表示する。なお、映像は、映像データの形式に符号化され、映像データの形式で記録されたり伝送されたりする。
【0041】
次に、図６に、本実施形態の受信装置１２０－ｉの構成例を示す。受信装置１２０－ｉは、映像受信部１２１－ｉ、表示制御部１２３－ｉ、選択情報出力部１２４－ｉ、統合情報受信部１２５－ｉ、追跡部１２６－ｉ、復号部１２７－ｉおよび受付部１２９－ｉを含む。
【0042】
映像受信部１２１－ｉは、配信装置２２０から配信された映像データを受信する。
【0043】
復号部１２７－ｉは、映像受信部１２１－ｉが受信した映像データを映像へ復号する。
【0044】
表示部１２２－ｉは、表示用画像を表示する。なお、映像データに基づく映像は、復号部１２７－ｉで復号された映像である。
【0045】
受付部１２９－ｉは、選択用画像表示要求の入力を受け付ける。選択用画像要求は、選択用画像の表示要求である。選択用画像は、映像データに基づく映像に重畳させて表示させるアイテムと、アイテムの表示位置とを、視聴者に選択させるための画像である。
【0046】
表示制御部１２３－ｉは、選択用画像表示要求が入力された場合に、映像と選択用画像とを含む画像を、表示用画像として表示部１２２－ｉに表示させる。
【0047】
図７に、選択用画像を含む表示用画像の例を示す。この例では、選択用画像は、（１）のように、映像に重畳させて表示させるアイテムを視聴者に選択させるための画像を含む。この画像は、配信者へのギフトを視聴者に選択させるための画像に相当する。また、選択用画像は、（２）のように、アイテムの表示位置を視聴者に選択させるための画像を含む。（２）では、「ギフトの投下位置をタッチしてください」という、表示位置の選択を促す表示がされている。アイテムを表示させたい位置を視聴者がタッチすると、（３）のように、選択された表示位置を示す表示がされる。この例では、人物の頬の部分が表示位置として選択されている。
【0048】
追跡部１２６－ｉは、表示位置が選択された時点の映像において、選択された表示位置に表示されている被写体の、映像における動きを追跡する。たとえば、表示位置として、人物の頬が選択された場合には、追跡部１２６－ｉは、頬を被写体として追跡する。追跡部１２６－ｉは、たとえば、ブロックマッチングによって、被写体を追跡してもよい。また、追跡部１２６－ｉは、復号部１２７－ｉにおける復号において推定された動きベクトルの情報を使用して、被写体を追跡してもよい。追跡部１２６－ｉは、動きベクトルを利用することによって、ブロックマッチングのみによって追跡を行うより、少ない計算量で被写体の追跡を行うことができる。
【0049】
選択情報出力部１２４－ｉは、選択情報を制御装置３２０に出力する。選択情報は、選択アイテム情報と選択位置情報とを含む。選択アイテム情報は、選択用画像に基づいて視聴者により選択されたアイテムを示す。選択位置情報は、視聴者により選択された表示位置に関する情報を示す。
【0050】
本実施形態の場合、選択位置情報は、表示位置に関する情報として、映像における表示位置の座標の情報を含む。この座標は、本実施形態の場合、表示位置として追跡された被写体の座標である。また、映像は、表示部１２２－ｉが表示する表示用画像として表示される画像に含まれる。
【0051】
また、本実施形態の場合、選択位置情報は、座標情報に対応する時刻情報を含む。この時刻情報は、映像において、当該座標に表示位置（に相当する被写体）が存在する時刻を示す。なお、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０における映像表示は、共通の時刻に従って動作する。この共通の時刻を、以降、グローバルタイムと呼ぶ。
【0052】
たとえば、表示位置が時刻ｔ０において選択され、選択された表示位置の映像上の座標が（ｘ＿ｔ０，ｙ＿ｔ０）であったとする。この場合、追跡部１２６－ｉは、時刻ｔ０、座標（ｘ＿ｔ０，ｙ＿ｔ０）における被写体の、時刻ｔｊ（ｔｊ＝ｔ０＋ｒ×ｊ、ｊ＝１以上の整数）における座標（ｘ＿ｔｊ，ｙ＿ｔｊ）を算出する。また、ｒは、任意の定数である。たとえば、ｒは、１映像フレームに相当する時間であってもよい。
【0053】
この場合、選択情報出力部１２４－ｉは、アイテムの表示位置が選択された時刻の情報（ｔ０）と、座標（ｘ＿ｔ０，ｙ＿ｔ０）の情報とを選択位置情報として含む選択情報を出力する。また、選択情報出力部１２４－ｉは、座標（ｘ＿ｔｊ，ｙ＿ｔｊ）の算出の都度、選択情報を出力する。このとき、選択位置情報は、時刻情報（ｔｊ）と、座標（ｘ＿ｔｊ，ｙ＿ｔｊ）の情報とを含む。図８に、この場合の選択情報の例を示す。なお、アイテムＩＤ（identification）は、アイテムの識別情報である。
【0054】
追跡部１２６－ｉが、選択されたアイテムについての被写体の追跡を停止すると、選択情報出力部１２４－ｉも、当該アイテムについての選択情報の出力を停止する。たとえば、追跡部１２６－ｉは、アイテムの選択から所定時間が経過した場合に、当該アイテムの追跡を停止する。また、追跡部１２６－ｉは、当該アイテムの表示位置の被写体が映像から外れた場合または隠れた場合などに、当該被写体の追跡を停止してもよい。また、追跡部１２６－ｉは、当該被写体が映像内に戻った場合、または隠れた被写体が戻ってきた場合などに、当該被写体の追跡を再開してもよい。
【0055】
統合情報受信部１２５－ｉは、統合情報を制御装置３２０から受信する。統合情報は、複数の受信装置の選択情報が統合された情報である。このとき、統合情報には、受信装置１２０－１から受信装置１２０－Ｎのうち、選択情報を制御装置３２０へ出力した受信装置の選択情報が含まれている。本実施形態の場合、統合情報には、時刻情報が同じ選択情報についての選択アイテム情報と座標情報とが含まれる。
【0056】
図９に、統合情報の例を示す。この例の場合、時刻ｔについて、３つの受信装置から制御装置３２０へ、選択情報が送信されている。そして、各々の受信装置で選択されたアイテムの座標情報が、統合情報に含まれている。
【0057】
表示制御部１２３－ｉは、統合情報受信部１２５－ｉが受信した統合情報に基づいて、映像にアイテムを重畳させた画像を表示用画像として表示部１２２－ｉに表示させる。表示制御部１２３－ｉは、統合情報を受信するごとに、統合情報に含まれている選択アイテム情報が示すアイテムを、統合情報に含まれている座標情報が示す座標に含む画像を、表示用画像として表示部１２２－ｉに表示させる。
【0058】
次に、図１０に、本実施形態の制御装置３２０の構成例を示す。制御装置３２０は、選択情報受信部３２１、統合情報送信部３２２および映像送信部３２３を含む。
【0059】
【0060】
選択情報受信部３２１は、選択情報を、受信装置１２０－ｉから受信する。
【0061】
統合情報送信部３２２は、統合情報を、受信装置１２０－１から受信装置１２０－Ｎの各々に送信する。このとき、統合情報送信部３２２は、選択情報受信部３２１が受信した選択情報を、統合情報へ統合する。本実施形態の場合、前述のように、統合情報には、時刻情報が同じ選択情報についての選択アイテム情報と座標情報とが含まれる。統合情報送信部３２２は、時刻情報が同じ選択情報を、統合情報へ統合する。
【0062】
映像送信部３２３は、配信装置２２０から受信した映像データを、受信装置１２０－１から受信装置１２０－Ｎへ送信する。また、映像送信部３２３は、配信装置２２０から受信した映像データを、配信装置２２０における映像表示のために、配信装置２２０に送信してもよい。
【0063】
次に、図１２に、本実施形態の配信装置２２０の構成例を示す。配信装置２２０は、映像入力部２２１、符号化部２２２、配信部２２３、映像受信部２２４、復号部２２５、統合情報受信部２２６、表示制御部２２７および表示部２２８を含む。
【0064】
配信装置は、映像受信部２２４、復号部２２５、統合情報受信部２２６および表示制御部２２７を必ずしも含まなくてもよい。図１３に、この場合の配信装置２４０の構成例を示す。本実施形態では、配信装置２２０が図１２の構成である場合について説明する。
【0065】
映像入力部２２１には、映像が入力される。映像入力部２２１には、たとえば、カメラ等から映像が入力される。映像入力部２２１には、映像が符号化された映像データが入力されてもよい。たとえば、あらかじめ録画された映像データが配信される場合などには、映像入力部２２１には、映像が符号化された映像データが入力される。
【0066】
符号化部２２２は、映像入力部２２１に入力された映像を映像データへ符号化する。映像入力部２２１に映像データが入力される場合には、配信装置は、符号化部２２２を備えなくてもよい。図１４に、符号化部２２２を備えない配信装置２５０の構成例を示す。また、配信装置２５０は、映像受信部２２４、復号部２２５、統合情報受信部２２６、表示制御部２２７および表示部２２８を備えていてもよい。
【0067】
配信部２２３は、映像が符号化された映像データを受信装置１２０－ｉに向けて配信する。本実施形態では、配信部２２３は、映像データを制御装置３２０へ配信する。そして、制御装置３２０が、配信装置２２０から受信した映像データを、受信装置１２０－１から受信装置１２０－Ｎと配信装置２２０とへ送信する。
【0068】
映像受信部２２４は、制御装置３２０から、映像データを受信する。制御装置３２０から受信する映像データは、配信部２２３が制御装置３２０へ配信し、制御装置３２０から配信装置２２０へ送信された映像データである。そのため、映像受信部２２４が受信する映像データは、配信部２２３が配信した映像データが、制御装置３２０を経由して、遅延したものである。
【0069】
復号部２２５は、映像受信部２２４が受信した映像データを映像へ復号する。
【0070】
表示部２２８は、表示用画像を表示する。
【0071】
統合情報受信部２２６は、統合情報を、制御装置３２０から受信する。
【0072】
表示制御部２２７は、統合情報受信部２２６が受信した統合情報に基づいて、表示用画像を表示部２２８に表示させる。このときの表示用画像は、統合情報に選択アイテム情報が含まれているアイテムを映像に重畳させた画像を含む。
【0073】
本実施形態では、アイテムの表示位置が受信装置１２０－ｉで追跡される。追跡された座標情報は、制御装置３２０を介して受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０に送信される。そして、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０は、受信した座標情報に基づいてアイテムを映像に重畳する。
【0074】
座標情報は、時刻情報とともに送信されるが、この時刻情報は、グローバルタイム、すなわち、受信装置１２０－ｉでの映像表示における時刻に基づく。そのため、座標情報を含む選択情報が統合され、統合された統合情報が受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０に到着する時点で、座標情報に対応付けられている時刻情報は、過去の時刻の情報となっている。受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０では、統合情報を受信する都度、座標情報に対応付けられている時刻情報を使用せずに、座標情報に従って、アイテムを映像に重畳することができる。
【0075】
または、制御装置３２０は、統合情報を生成する際に、受信装置１２０－ｉから受信した選択情報に含まれる時刻情報が示す時刻に所定の時間を加算し、加算後の時刻情報を含む統合情報を生成してもよい。そして、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０は、統合情報に含まれる時刻情報が示す時刻に、時刻情報に対応付けられている座標情報が示す座標に、アイテムを表示させる。このようにすると、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０におけるアイテム表示のタイミングや表示位置を揃えることができる。なお、このとき、制御装置３２０において加算される時間は、受信装置１２０－ｉにおける映像表示時刻から、受信装置１２０－１～受信装置１２０－Ｎおよび配信装置２２０に統合情報が到着する時刻までの時間に基づく。この時間は、追跡部１２６－ｉにおける追跡にかかる時間、受信装置１２０－ｉから制御装置３２０への選択情報の送信にかかる時間、制御装置３２０での統合情報の生成にかかる時間、および、制御装置３２０からの統合情報の送信にかかる時間等を含む。
【0076】
また、配信装置は、図１５の配信装置２６０のように構成されていてもよい。図１５に、配信装置２６０の構成例を示す。配信装置２６０は、映像入力部２２１、配信部２２３、統合情報受信部２２６、表示制御部２２７および表示部２２８を含む。
【0077】
このとき、映像入力部２２１には、映像または映像に基づく映像データが入力される。配信部２２３は、映像に基づく映像データを配信する。統合情報受信部２２６は、統合情報を受信する。
【0078】
表示制御部２２７は、映像入力部２２１に映像が入力される場合、当該映像を含む画像を、表示用画像として表示部２２８に表示させる。また、表示制御部２２７は、映像入力部２２１に映像データが入力される場合、当該映像データに基づく映像を含む画像を、表示用画像として表示部２２８に表示させる。また、表示制御部２２７は、統合情報に基づいて、映像にアイテムを重畳させる。
【0079】
この場合、配信装置２６０では、配信部２２３から制御装置３２０へ送信された映像データに基づく映像ではなく、映像入力部２２１に入力された映像または映像データに基づく映像を含む画像を、表示用画像として表示部２２８に表示させる。
【0080】
次に、図１６から図２１に、本実施形態の映像配信システムの動作フローの例を示す。図１６は、配信装置２２０における映像配信にかかる動作フローの例を示す図である。図１７は、制御装置３２０における映像データの送信にかかる動作フローの例を示す図である。図１８は、受信装置１２０－ｉおよび配信装置２２０における映像表示にかかる動作フローの例を示す図である。図１９は、受信装置１２０－ｉにおける選択用画像の表示にかかる動作フローの例を示す図である。図２０は、受信装置１２０－ｉにおける選択情報の送信にかかる動作フローの例を示す図である。図２１は、制御装置３２０における統合情報の送信にかかる動作フローの例を示す図である。
【0081】
配信装置２２０の映像入力部２２１には、映像が入力される（図１６のステップＳ２２１）。符号化部２２２は、映像入力部２２１に入力された映像を映像データへ符号化する（ステップＳ２２２）。配信部２２３は、映像が符号化された映像データを制御装置３２０へ配信する（ステップＳ２２３）。
【0082】
制御装置３２０の映像送信部３２３は、配信装置２２０から受信した映像データを、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０へ送信する（図１７のステップＳ２３１およびステップＳ２３２）。
【0083】
受信装置１２０－ｉの映像受信部１２１－ｉは、配信装置２２０から配信された映像データを、制御装置３２０を介して受信する（図１８のステップＳ２４１）。復号部１２７－ｉは、映像受信部１２１－ｉが受信した映像データを映像へ復号する（ステップＳ２４２）。
【0084】
表示制御部１２３－ｉは、統合情報受信部１２５－ｉが受信した統合情報に基づいて、復号部１２７－ｉで復号された映像に、アイテムを重畳する（ステップＳ２４３）。
【0085】
表示制御部１２３－ｉは、映像にアイテムを重畳させた画像を表示用画像として、表示部１２２－ｉに表示させる（ステップＳ２４４）。
【0086】
また、配信装置２２０の映像受信部２２４は、制御装置３２０から、映像データを受信する（図１８のステップＳ２４１）。復号部２２５は、映像受信部２２４が受信した映像データを映像へ復号する（ステップＳ２４２）。
【0087】
表示制御部２２７は、統合情報受信部２２６が受信した統合情報に基づいて、復号部２２５で復号された映像に、アイテムを重畳する（ステップＳ２４３）。
【0088】
表示制御部２２７は、映像にアイテムを重畳させた画像を、表示用画像として、表示部２２８に表示させる（ステップＳ２４４）。
【0089】
受信装置１２０－ｉの表示制御部１２３－ｉは、選択用画像表示要求が入力された場合に（図１９のステップＳ２１１）、選択用画像を含む画像を、表示用画像として表示部１２２－ｉに表示させる（ステップＳ２１２）。
【0090】
また、表示制御部１２３－ｉは、選択用画像の終了条件が満たされた場合に、選択用画像を含む画像の表示を終了する（ステップＳ２１３）。選択用画像の終了条件は、たとえば、視聴者による操作に応じて、映像に重畳させるアイテムおよびアイテムの表示位置が選択された場合などに、満たされる。
【0091】
受信装置１２０－ｉの追跡部１２６－ｉは、選択用画像に基づいて、映像に重畳させるアイテムおよびアイテムの表示位置が選択されると（図２０のステップＳ２１５）、選択された表示位置に時刻ｔ０において表示されている被写体の、映像における動きを追跡する。このとき、追跡部１２６－ｉは、複数のアイテムが選択されている場合には、選択されたアイテムの各々について、被写体の動きを追跡する。
【0092】
追跡部１２６－ｉは、被写体の座標を算出する（ステップＳ２１６）。そして、選択情報出力部１２４－ｉは、選択情報を出力する（ステップＳ２１７）。追跡部１２６－ｉは、追跡終了条件が満たされるまで（ステップＳ２１８でＮＯ）、被写体を追跡して座標を算出する（ステップＳ２１６）。そして、選択情報出力部１２４－ｉは、選択情報を出力する（ステップＳ２１７）。
【0093】
追跡終了条件が満たされると（ステップＳ２１８でＹＥＳ）、追跡部１２６－ｉは、追跡終了条件が満たされたアイテムについての被写体の追跡を終了する。
【0094】
制御装置３２０の選択情報受信部３２１は、選択情報を、受信装置１２０－ｉから受信する（図２１のステップＳ２３３）。また、統合情報送信部３２２は、統合情報を、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０に送信する（ステップＳ２３４）。
【0095】
以上で説明したように、本発明の第二の実施形態では、受信装置１２０－ｉは、映像受信部１２１－ｉ、表示部１２２－ｉ、表示制御部１２３－ｉ、選択情報出力部１２４－ｉ、統合情報受信部１２５－ｉおよび受付部１２９－ｉを含む。受信装置１２０－ｉは、配信装置および制御装置からデータ受信する。映像受信部１２１－ｉは、配信装置から配信された映像データを受信する。表示部１２２－ｉは、表示用画像を表示する。表示制御部１２３－ｉは、表示用画像を表示部１２２－ｉに表示させる。受付部１２９－ｉは、選択用画像表示要求の入力を受け付ける。選択用画像は、映像データに基づく映像に重畳させて表示させるアイテムと、アイテムの表示位置とを視聴者に選択させるための画像である。選択用画像表示要求は、選択用画像の表示要求である。選択情報出力部１２４－ｉは、選択情報を制御装置に出力する。選択情報は、選択アイテム情報と選択位置情報とを含む。選択アイテム情報は、選択用画像を用いて視聴者により選択されたアイテムを示す。選択位置情報は、選択用画像を用いて視聴者により選択された表示位置に関する情報を示す。統合情報受信部１２５－ｉは、統合情報を制御装置から受信する。統合情報は、受信装置１２０－ｉおよび受信装置１２０－ｉと同じ構成を有する他の受信装置の各々により出力される選択情報が統合された情報である。表示制御部１２３－ｉは、統合情報が統合情報受信部１２５－ｉにより受信された場合、統合情報に基づいて、映像にアイテムを重畳させた画像を、表示用画像として表示部１２２－ｉに表示させる。
【0096】
これにより、受信装置１２０－ｉは、アイテムの表示位置を視聴者に選択させることができる。また、受信装置１２０－ｉは、視聴者によって選択された表示位置に関する情報を含む統合情報に基づいて、映像にアイテムを重畳させた画像を表示用画像として表示部１２２－ｉに表示させることができる。そのため、視聴者の希望する位置にアイテムを重畳した映像を表示させることが可能になる。
【0097】
また、本実施形態の受信装置１２０－ｉは、選択された表示位置に表示されている被写体の映像における動きを追跡する追跡部１２６－ｉをさらに含む。また、選択情報は、選択位置情報として、追跡された被写体の映像における座標の情報を含む。これにより、表示位置に表示されている被写体を追跡してアイテムを表示させることが可能になる。
【0098】
また、本実施形態の受信装置１２０－ｉは、映像データを映像へ復号する復号部１２７－ｉをさらに備えていてもよい。また、追跡部１２６－ｉは、復号において推定された動きベクトルの情報に基づいて、被写体を追跡してもよい。これにより、追跡にかかる計算量を少なくすることができる。
【0099】
また、配信装置（２２０、２６０）は、映像または映像が符号化された映像データが入力される映像入力部２２１を含む。また、配信装置は、映像に基づく映像データを、映像データを受信する受信装置１２０－ｉに向けて配信する配信部２２３を含む。また、配信装置は、表示用画像を表示する表示部２２８を含む。また、配信装置は、統合情報受信部２２６を含む。統合情報受信部２２６は、統合情報を受信する。ここで、統合情報は、映像に重畳させて表示させるアイテムとして受信装置１２０－ｉにおいて選択されたアイテムに関する情報である選択情報が複数の受信装置について統合された情報である。また、配信装置は、表示制御部２２７を含む。表示制御部２２７は、統合情報に基づいて、映像にアイテムを重畳させた画像を表示用画像として表示部２２８に表示させる。また、選択情報は、受信装置１２０－ｉにおいて選択されたアイテムを示す選択アイテム情報と、アイテムの表示位置に関し、受信装置１２０－ｉにおいて選択された表示位置に関する情報である選択位置情報とを含む。これにより、視聴者の希望する位置にアイテムを重畳した映像を配信装置に表示させることが可能になる。
【0100】
また、制御装置（３２０、３４０）は、映像に重畳させて表示させるアイテムについて、映像に基づく映像データを受信する受信装置１２０－ｉにおいて選択されたアイテムに関する情報である選択情報を、受信装置１２０－ｉから受信する選択情報受信部３２１を含む。また、制御装置は、複数の受信装置から受信した選択情報が統合された情報である統合情報を、受信装置の各々に送信する統合情報送信部３２２を含む。また、選択情報は、受信装置において選択されたアイテムを示す選択アイテム情報と、アイテムの表示位置に関し、受信装置において選択された表示位置に関する情報である選択位置情報とを含む。これにより、視聴者の希望する位置にアイテムを重畳した映像を受信装置１２０－ｉまたは配信装置に表示させることが可能になる。
【0101】
また、選択位置情報は、受信装置で表示される映像における表示位置の座標の情報と、映像において当該座標に表示位置が存在する時刻を示す時刻情報とを含む。また、統合情報送信部３２２は、時刻情報が同じ選択情報を、統合情報へ統合する。これにより、受信装置１２０－１から受信装置１２０－Ｎおよび配信装置２２０におけるアイテム表示のタイミングや表示位置を揃えることができる。
【0102】
［第三の実施形態］
次に、本発明の第三の実施形態について説明する。第一の実施形態における受信装置１１０の具体的な一例が、第三の実施形態における受信装置１３０－ｉである。
次に、本発明の第三の実施形態について説明する。第一の実施形態における受信装置１１０の具体的な一例が、第三の実施形態における受信装置１３０－ｉである。
【0103】
まず、図２２に、本実施形態の映像配信システム４３の構成例を示す。図２２に示す映像配信システム４３は、配信装置２３０と、制御装置３３０と、受信装置１３０－ｉ（ｉは１からＮの整数）を含む。配信装置２３０と制御装置３３０とは、有線通信および無線通信の少なくとも一方で接続される。また、制御装置３３０と受信装置１３０－ｉとは、有線通信および無線通信の少なくとも一方で接続される。なお、配信装置２３０の数は、一つであってもよいし、二以上の複数であってもよい。
【0104】
配信装置２３０は、映像データを受信装置１３０－ｉに向けて配信する。制御装置３３０は、映像配信システム４３を制御する。受信装置１３０－ｉは、映像データを受信し、映像データに基づく映像を表示する。
【0105】
次に、図２３に、本実施形態の受信装置１３０－ｉの構成例を示す。受信装置１３０－ｉは、映像受信部１２１－ｉ、表示部１２２－ｉ、表示制御部１３３－ｉ、選択情報出力部１３４－ｉ、統合情報受信部１３５－ｉ、復号部１２７－ｉ、候補座標情報受信部１３８－ｉおよび受付部１２９－ｉを含む。
【0106】
映像受信部１２１－ｉ、復号部１２７－ｉ、表示部１２２－ｉおよび受付部１２９－ｉは、第二の実施形態と同様のため、説明を省略する。
【0107】
表示制御部１３３－ｉは、選択用画像表示要求が入力された場合に、選択用画像を含む画像を表示用画像として表示部１２２－ｉに表示させる。
【0108】
図２４に、選択用画像を含む表示用画像の例を示す。この例では、選択用画像は、（１）のように、映像に重畳させて表示させるアイテムを視聴者に選択させるための画像を含む。また、選択用画像は、（２）のように、アイテムの表示位置を視聴者に選択させるための画像を含む。（２）では、「ギフトの投下位置をタッチしてください」という、表示位置の選択を促す表示がされている。
【0109】
また、本実施形態の場合、アイテムの表示位置の候補があらかじめ表示されている。アイテムの表示位置の候補は、あらかじめ、映像配信システムの運営者や、配信者によって、何か所かに定められている。また、アイテムの表示位置の候補のことを、以降、表示位置候補とよぶことがある。表示位置候補は、固定の座標であってもよいし、動く被写体であってもよい。表示位置候補は、たとえば、映像に表示されている人物の、顔や体の部位を示す位置であってもよい。たとえば、表示位置候補は、右頭部、左頭部、右頬、左頬、鼻、といった部位であってもよい。また、あらかじめ定められた表示位置候補に加え、新しく追加されたアイテムの表示位置候補が後から追加されてもよい。
【0110】
選択用画像に表示されている表示位置候補の中から、アイテムを表示させたい位置を視聴者がタッチすると、（３）のように、選択された表示位置を示す表示がされる。この例では、表示位置候補のうち、５番目の候補が、表示位置として選択されている。
【0111】
なお、（２）の表示において、表示位置候補が動く被写体である場合、表示位置候補を示す画像（（２）における数字）は、当該被写体を追跡するように表示されてもよい。追跡表示の方法については、後述する。
【0112】
また、（２）の表示において、選択用画像は、位置選択用画像を含む。位置選択用画像は、表示位置候補の中から表示位置を視聴者に選択させるための画像である。位置選択用画像は、表示位置候補を示す画像と同じであってもよい。また、位置選択用画像は、表示位置候補を示す画像と異なるものであってもよい。たとえば、位置選択用画像は、表示位置候補の識別情報（表示位置ＩＤ：たとえば表示位置番号）を視聴者に選択させるための画像であってもよい。この場合、位置選択用画像は、選択用画像の固定位置に含まれる。
【0113】
選択情報出力部１３４－ｉは、選択情報を制御装置３３０に出力する。選択情報は、選択アイテム情報と選択位置情報とを含む。本実施形態の場合、選択位置情報は、表示位置候補の識別情報（表示位置ＩＤ）のうち、選択された表示位置の表示位置ＩＤを含む。
【0114】
なお、選択情報出力部１３４－ｉは、アイテムが選択される都度、選択された一つのアイテムについての選択情報を送信してもよい。また、選択情報出力部１３４－ｉが送信する選択情報には、複数のアイテムについての選択情報が含まれていてもよい。また、選択情報出力部１３４－ｉは、選択されたアイテムについて、選択情報とともに、選択された時刻の情報を送信してもよい。
【0115】
図２５に、本実施形態の選択情報の例を示す。本実施形態では、選択情報は、選択アイテム情報として、選択されたアイテムのアイテムＩＤを含む。また、選択情報は、選択位置情報として、選択された表示位置の表示位置ＩＤの情報を含む。
【0116】
統合情報受信部１３５－ｉは、統合情報を制御装置３３０から受信する。本実施形態では、統合情報には、受信装置１２０－１から受信装置１２０－Ｎのうち、選択情報を制御装置３３０へ出力した受信装置の選択情報が含まれている。本実施形態の場合、選択情報に含まれる選択位置情報は、選択された表示位置候補の表示位置ＩＤを含む。
【0117】
図２６に、本実施形態の統合情報の例を示す。この例の場合、３つの受信装置から制御装置３３０へ、選択情報が送信されている。そして、各々の受信装置で選択されたアイテムのアイテムＩＤと表示位置ＩＤとが、統合情報に含まれている。
【0118】
候補座標情報受信部１３８－ｉは、制御装置３３０を介して、配信装置２３０から、候補座標情報を受信する。候補座標情報は、表示位置候補の各々について、表示位置候補の映像における座標を示す情報である。候補座標情報は、配信装置２３０にて算出される。
【0119】
表示制御部１３３－ｉは、統合情報受信部１３５－ｉが受信した統合情報と、候補座標情報受信部１３８－ｉが受信した候補座標情報とに基づいて、表示用画像を表示部１２２－ｉに表示させる。表示用画像は、映像にアイテムを重畳させた画像を含む。表示制御部１３３－ｉは、統合情報を受信するごとに、統合情報に含まれている選択アイテム情報が示すアイテムを含む画像を、表示用画像として、表示部１２２－ｉに表示させる。このとき、アイテムは、候補座標情報において、統合情報に含まれている表示位置ＩＤが示す表示位置候補に対応付けられている座標に表示される。
【0120】
次に、図２７に、本実施形態の制御装置３３０の構成例を示す。制御装置３３０は、選択情報受信部３３１、統合情報送信部３３２、映像送信部３２３、候補座標情報受信部３３４および候補座標情報送信部３３５を含む。
【0121】
制御装置３３０は、映像送信部３２３、候補座標情報受信部３３４および候補座標情報送信部３３５を必ずしも含まなくてもよい。図２８に、この場合の制御装置３５０の構成例を示す。本実施形態では、制御装置３３０が図２７の構成である場合について説明する。
【0122】
選択情報受信部３３１は、選択情報を、受信装置１３０－ｉから受信する。
【0123】
統合情報送信部３３２は、統合情報を、受信装置１３０－１から受信装置１３０－Ｎの各々に送信する。このとき、統合情報送信部３３２は、選択情報受信部３３１が受信した選択情報を、統合情報へ統合する。
【0124】
統合情報送信部３３２は、たとえば、定期的に統合情報を作成して、作成した統合情報を送信してもよい。または、統合情報送信部３３２は、選択情報を受信する都度、統合情報を作成してもよい。このとき、統合情報送信部３３２は、統合情報の作成より過去所定時間以内に選択情報受信部３３１によって受信された選択情報を統合することによって、統合情報を作成してもよい。
【0125】
映像送信部３２３は、配信装置２３０から受信した映像データを、受信装置１３０－１から受信装置１３０－Ｎへ送信する。また、映像送信部３２３は、配信装置２３０から受信した映像データを、配信装置２３０における映像表示のために、配信装置２３０に送信してもよい。
【0126】
候補座標情報受信部３３４は、配信装置２３０から候補座標情報を受信する。
【0127】
候補座標情報送信部３３５は、候補座標情報受信部３３４が受信した候補座標情報を受信装置１３０－１から受信装置１３０－Ｎへ送信する。
【0128】
次に、図２９に、本実施形態の配信装置２３０の構成例を示す。配信装置２３０は、映像入力部２２１、符号化部２２２、配信部２２３、追跡部２３９、候補座標情報送信部２３１、映像受信部２２４、復号部２２５、統合情報受信部２３６、表示制御部２３７および表示部２２８を含む。
【0129】
なお、配信装置は、映像受信部２２４、復号部２２５、統合情報受信部２３６、表示制御部２３７および表示部２２８を必ずしも含まなくてもよい。図３０に、この場合の配信装置２７０の構成例を示す。本実施形態では、配信装置２３０が図２９の構成である場合について説明する。
【0130】
映像入力部２２１、符号化部２２２、配信部２２３、映像受信部２２４、復号部２２５および表示部２２８については、第二の実施形態と同様のため、説明を省略する。
【0131】
なお、映像入力部２２１に映像データが入力される場合には、配信装置は、符号化部２２２を備えなくてもよい。図３１に、符号化部２２２を備えない配信装置２８０の構成例を示す。この場合、配信装置２８０は、第二の復号部２３３を含む。第二の復号部２３３は、映像入力部２２１に入力された映像データを復号する。また、配信装置２８０は、さらに、映像受信部２２４、復号部２２５、統合情報受信部２３６、表示制御部２３７および表示部２２８を含んでいてもよい。
【0132】
追跡部２３９は、符号化部２２２で符号化された映像に基づいて、表示位置候補の各々に相当する被写体の、映像における動きを追跡して、表示位置候補の映像における座標である候補座標を算出する。前述のとおり、表示位置候補は、映像に重畳させて表示させるアイテムの表示位置の候補である。表示位置候補は、動く被写体であってもよい。表示位置候補は、たとえば、映像に表示されている人物の、顔や体の部位を示す位置であってもよい。たとえば、表示位置候補は、右頭部、左頭部、右頬、左頬、鼻、といった部位であってもよい。
【0133】
なお、視聴者が選択できるアイテムの中には、視聴者によって表示位置が選択される必要がないアイテムがあってもよい。つまり、表示位置候補が一つのアイテムがあってもよい。表示位置候補は、アイテムごとに設定されていてもよい。この場合、候補座標情報は、アイテムの各々について、表示位置候補の座標情報を含んでいてもよい。
【0134】
また、視聴者が選択できるアイテムの中には、表示位置候補の追跡が必要ないアイテムがあってもよい。つまり、アイテムによっては、表示位置候補は、固定位置であってもよい。
【0135】
表示位置候補として、動く被写体が指定されている場合、追跡部２３９は、符号化部２２２に入力された映像に基づいて、当該被写体の映像上の位置を追跡する。たとえば、映像に人物が表示されている場合に、追跡部２３９は、表示位置候補の部位の位置を認識し、その部位の位置を追跡する。また、追跡部２３９は、複数の被写体の種別等によって、表示位置候補を切り替えてもよい。たとえば、追跡部２３９は、被写体が人であった場合は人用の表示位置候補を用いて、被写体が動物に切り替わった場合には、動物用の表示位置候補を用いてもよい。
【0136】
追跡部２３９は、たとえば、ブロックマッチングによって、被写体を追跡してもよい。また、追跡部２３９は、符号化部２２２における符号化において推定された動きベクトルの情報を使用して、被写体を追跡してもよい。追跡部２３９は、動きベクトルを利用することによって、ブロックマッチングのみによって追跡を行うより、少ない計算量で追跡を行うことができる。
【0137】
なお、配信装置が図３１の配信装置２８０である場合には、追跡部２３９は、第二の復号部２３３における復号において推定された動きベクトルの情報を使用して、被写体を追跡してもよい。
【0138】
また、候補座標情報には、時刻情報が対応付けられていてもよい。この場合の時刻情報は、表示候補位置に相当する被写体が、符号化部２２２に入力された映像の、当該候補座標情報が示す候補座標に表示されていた時刻の情報であってもよい。
【0139】
図３２に、候補座標情報の例を示す。候補座標情報は、表示位置候補の表示位置ＩＤと、その座標情報とを含む。たとえば、図３２に示す例の場合、表示位置ＩＤが１である表示位置候補の座標は、（ｘ１，ｙ１）である。
【0140】
候補座標情報は、さらに、時刻情報を含んでいてもよい。ここでの時刻情報は、追跡部２３９における追跡に使用される映像を基準とした時刻の情報であってもよい。たとえば、時刻情報は、映像の先頭からの経過時間を示す情報であってもよい。時刻情報は、映像フレームを特定する情報であってもよい。また、時刻情報は、グローバルタイムを基準とした時刻の情報であってもよい。
【0141】
候補座標情報送信部２３１は、候補座標情報を制御装置３３０へ送信する。候補座標情報は、追跡部２３９で算出された候補座標の情報である。追跡部２３９は、所定時間おきに候補座標を算出する。そして、候補座標情報送信部２３１は、所定時間おきに、候補座標情報を送信する。
【0142】
統合情報受信部２３６は、統合情報を、制御装置３３０から受信する。
【0143】
表示制御部２３７は、統合情報受信部２３６が受信した統合情報と、追跡部２３９で算出された候補座標に基づいて、表示用画像を表示部２２８に表示させる。このとき、表示用画像は、統合情報に選択アイテム情報が含まれているアイテムを映像に重畳させた画像を含む。
【0144】
本実施形態では、表示位置候補の座標が配信装置２３０で追跡される。追跡された座標の情報は、制御装置３３０を介して受信装置１３０－１から受信装置１３０－Ｎに送信される。そして、受信装置１３０－１から受信装置１３０－Ｎは、受信した座標情報に基づいてアイテムを映像に重畳する。追跡された座標の情報は、制御装置３３０を介して配信装置２３０に送信されてもよい。この場合、配信装置２３０は、受信した座標情報に基づいてアイテムを映像に重畳する。
【0145】
候補座標情報が時刻情報に対応付けられている場合、受信装置１３０－ｉの表示制御部１３３－ｉと配信装置２３０の表示制御部２３７は、当該時刻情報に基づいて、アイテムを映像に重畳する。
【0146】
たとえば、候補座標情報に対応付けられている時刻情報が、グローバルタイムを基準とした時刻情報であるとする。図３３に、この場合の、候補座標情報に対応付けられている時刻情報と、受信装置１３０－ｉでのアイテム重畳タイミングとの関係を示す。この場合、表示制御部１３３－ｉは、時刻情報の示す時刻（ｔ１）から所定時間（ｄ）後に、当該時刻情報に対応付けられている候補座標情報が示す座標（ｘ１，ｙ１）にアイテムを重畳する。この場合、所定時間（ｄ）は、配信装置２３０の符号化部２２２に入力された映像と受信装置１３０－ｉの復号部１２７－ｉ（または配信装置２３０の復号部２２５）で復号された映像との時間差に基づく時間である。
【0147】
また、たとえば、候補座標情報に対応付けられている時刻情報が、配信装置２３０の追跡部２３９での追跡に使用される映像を基準とした時刻の情報であるとする。図３４に、この場合の、候補座標情報に対応付けられている時刻情報と、受信装置１３０－ｉでのアイテム重畳タイミングとの関係を示す。この場合、受信装置１３０－ｉの表示制御部１３３－ｉは、グローバルタイムに基づいて、当該時刻情報が示す時刻（ｔ１）に、当該時刻情報に対応付けられている候補座標情報が示す座標（ｘ１，ｙ１）にアイテムを重畳する。配信装置２３０の表示制御部２３７も同様である。
【0148】
なお、追跡部２３９が候補座標の追跡を停止すると、候補座標情報送信部２３１も、当該候補座標についての候補座標情報の送信を停止する。たとえば、追跡部２３９は、表示位置候補が人物の部位である場合、当該部位が映像から外れた場合または隠れた場合や、当該人物が映像から外れた場合または隠れた場合などに、当該候補座標の追跡を停止してもよい。また、追跡部１２６－ｉは、当該人物や当該部位が映像内に戻った場合、または隠れた人物や部位が戻ってきた場合などに、候補座標の追跡を再開してもよい。
【0149】
また、図３５に、人物が映像から外れた場合の、受信装置１３０－ｉにおける選択用画像の例を示す。人物が映像から外れた場合、追跡部２３９は、たとえば、表示位置候補ごとにあらかじめ設定されている初期座標を、候補座標とする。そして、受信装置１３０－ｉでは、候補座標情報に基づいて、表示位置候補が、初期座標に表示される。
【0150】
次に、図３６から図４２に、本実施形態の映像配信システムの動作フローの例を示す。図３６は、配信装置２３０における映像配信にかかる動作フローの例を示す図である。図３７は、配信装置２３０における候補座標情報の送信にかかる動作フローの例を示す図である。図３８は、制御装置３３０における映像データの送信にかかる動作フローの例を示す図である。図３９は、受信装置１３０－ｉおよび配信装置２３０における映像表示にかかる動作フローの例を示す図である。図４０は、受信装置１３０－ｉにおける選択用画像の表示にかかる動作フローの例を示す図である。図４１は、受信装置１２０－ｉにおける選択情報の出力にかかる動作フローの例を示す図である。図４２は、制御装置３３０における統合情報の送信にかかる動作フローの例を示す図である。
【0151】
配信装置２３０の映像入力部２２１には、映像が入力される（図３６のステップＳ３２１）。符号化部２２２は、映像入力部２２１に入力された映像を映像データへ符号化する（ステップＳ３２２）。配信部２２３は、映像が符号化された映像データを制御装置３２０へ配信する（ステップＳ３２３）。
【0152】
また、配信装置２３０の追跡部２３９は、符号化部２２２に入力された映像に基づいて、表示位置候補の追跡を行い、表示位置候補の座標である候補座標を算出する（図３７のステップＳ３２４）。また、候補座標情報送信部２３１は、候補座標情報を送信する（ステップＳ３２５）。追跡部２３９は、追跡終了条件が満たされた場合に（ステップＳ３２６でＹＥＳ）、追跡動作を終了する。追跡終了条件は、たとえば、配信者による配信の終了などである。
【0153】
制御装置３３０の映像送信部３２３は、配信装置２３０から受信した映像データを、受信装置１３０－１から受信装置１３０－Ｎおよび配信装置２３０へ送信する（図３８のステップＳ３３１およびステップＳ３３２）。
【0154】
受信装置１３０－ｉの映像受信部１２１－ｉは、配信装置２３０から配信された映像データを、制御装置３３０を介して受信する（図３９のステップＳ３４１）。復号部１２７－ｉは、映像受信部１２１－ｉが受信した映像データを映像へ復号する（ステップＳ３４２）。
【0155】
表示制御部１３３－ｉは、統合情報受信部１３５－ｉが受信した統合情報と、候補座標情報受信部１３８－ｉが受信した候補座標情報とに基づいて、復号部１２７－ｉで復号された映像に、アイテムを重畳する（ステップＳ３４３）。
【0156】
表示制御部１３３－ｉは、映像にアイテムが重畳された画像を、表示用画像として、表示部１２２－ｉに表示させる（ステップＳ３４４）。
【0157】
また、配信装置２３０の映像受信部２２４は、制御装置３３０から、映像データを受信する（図３９のステップＳ３４１）。復号部２２５は、映像受信部２２４が受信した映像データを映像へ復号する（ステップＳ３４２）。
【0158】
表示制御部２３７は、統合情報受信部２３６が受信した統合情報と、追跡部２３９で算出された候補座標情報とに基づいて、復号部２２５で復号された映像に、アイテムを重畳する（ステップＳ３４３）。
【0159】
表示制御部２３７は、映像にアイテムが重畳された画像を、表示用画像として、表示部２２８に表示させる（ステップＳ３４４）。
【0160】
受信装置１３０－ｉの表示制御部１３３－ｉは、選択用画像の表示要求である選択用画像表示要求が入力された場合に（図４０のステップＳ３１１）、選択用画像を含む画像を表示用画像として表示部１２２－ｉに表示させる（ステップＳ３１２）。
【0161】
また、表示制御部１３３－ｉは、選択用画像の終了条件が満たされた場合に、選択用画像を含む画像の表示を終了する（ステップＳ３１３）。選択用画像の終了条件は、たとえば、視聴者による操作に応じて、映像に重畳させるアイテムおよびアイテムの表示位置が選択された場合などに、満たされる。
【0162】
受信装置１３０－ｉの選択情報出力部１３４－ｉは、選択用画像に基づいて、映像に重畳させるアイテムおよびアイテムの表示位置が選択されると（図４１のステップＳ３１５）、選択情報を出力する（ステップＳ３１６）。選択情報は、選択アイテム情報と選択位置情報とを含む。また、このとき、選択位置情報は、表示位置ＩＤを含む。
【0163】
制御装置３３０の選択情報受信部３３１は、選択情報を、受信装置１３０－ｉから受信する（図４２のステップＳ３３３）。また、統合情報送信部３３２は、統合情報を、受信装置１３０－１から受信装置１３０－Ｎおよび配信装置２３０に送信する（ステップＳ３３４）。
【0164】
以上で説明したように、本発明の第三の実施形態では、受信装置１３０－ｉは、映像受信部１２１－ｉ、表示部１２２－ｉ、表示制御部１３３－ｉ、選択情報出力部１３４－ｉ、統合情報受信部１３５－ｉおよび受付部１２９－ｉを含む。受信装置１２０－ｉは、配信装置および制御装置からデータ受信する。映像受信部１２１－ｉは、配信装置から配信された映像データを受信する。表示部１２２－ｉは、表示用画像を表示する。表示制御部１３３－ｉは、表示用画像を表示部１２２－ｉに表示させる。受付部１２９－ｉは、選択用画像表示要求の入力を受け付ける。選択用画像は、映像データに基づく映像に重畳させて表示させるアイテムと、アイテムの表示位置とを視聴者に選択させるための画像である。選択用画像表示要求は、選択用画像の表示要求である。選択情報出力部１３４－ｉは、選択情報を制御装置に出力する。選択情報は、選択アイテム情報と選択位置情報とを含む。選択アイテム情報は、選択用画像を用いて視聴者により選択されたアイテムを示す。選択位置情報は、選択用画像を用いて視聴者により選択された表示位置に関する情報を示す。統合情報受信部１３５－ｉは、統合情報を制御装置から受信する。統合情報は、受信装置１２０－ｉおよび受信装置１２０－ｉと同じ構成を有する他の受信装置の各々により出力される選択情報が統合された情報である。表示制御部１３３－ｉは、統合情報が統合情報受信部１２５－ｉにより受信された場合、統合情報に基づいて、映像にアイテムを重畳させた画像を、表示用画像として表示部１２２－ｉに表示させる。
【0165】
これにより、受信装置１３０－ｉは、アイテムの表示位置を視聴者に選択させることができる。また、受信装置１３０－ｉは、視聴者によって選択された表示位置に関する情報を含む統合情報に基づいて、映像にアイテムを重畳させた画像を表示用画像として表示部１２２－ｉに表示させることができる。そのため、視聴者の希望する位置にアイテムを重畳した映像を表示させることが可能になる。
【0166】
また、選択用画像は、表示位置の候補である表示位置候補の中から表示位置を視聴者に選択させるための画像である位置選択用画像を含む。また、選択情報は、選択位置情報として、表示位置候補の中から選択された表示位置の識別情報を含む。これにより、表示位置候補の中から表示位置を選択させることによって、多くの受信装置が存在する場合であっても、映像配信システム全体として、表示位置追跡のための計算量を抑制することが可能になる。
【0167】
また、配信装置（２３０、２７０、２８０）は、映像または映像が符号化された映像データが入力される映像入力部２２１を含む。また、配信装置は、映像に基づく映像データを、映像データを受信する受信装置１３０－ｉに向けて配信する配信部２２３を含む。また、配信装置は、被写体の映像における動きを追跡して、表示位置候補の映像における座標である候補座標を算出する追跡部２３９を含む。ここでの被写体は、映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する。また、配信装置は、候補座標の情報である候補座標情報を送信する候補座標情報送信部２３１を含む。これにより、映像データの配信元である配信装置で被写体の追跡が行われる。そのため、受信装置１３０－ｉにおいて、受信装置１３０－ｉが受信した映像データが復号された映像における実際の被写体の座標と、候補座標情報における座標との差を小さくすることができる。第二の実施形態の場合、受信装置で被写体の追跡が行われ、被写体の座標の情報が制御装置３２０で統合されて複数の受信装置の各々に送信される。そのため、第二の実施形態の場合、受信装置では、被写体の動きからすこし遅れてアイテムが表示されることになる。第三の実施形態の場合、その遅れを第二の実施形態より小さくすることができる。
【0168】
また、配信装置（２３０、２７０）は、映像を映像データへ符号化する符号化部２２２をさらに含む。このとき、映像入力部２２１には、映像が入力される。追跡部２３９は、符号化における動きベクトルの情報を使用して、候補座標を算出する。これにより、追跡にかかる計算量を少なくすることができる。
【0169】
また、配信装置２８０は、映像データを映像へ復号する第二の復号部２３３をさらに含む。このとき、映像入力部２２１には、映像データが入力される。追跡部２３９は、復号における動きベクトルの情報を使用して、候補座標を算出する。これにより、追跡にかかる計算量を少なくすることができる。
【0170】
［ハードウェア構成例］
上述した本発明の各実施形態における受信装置（１１０、１２０－ｉ、１３０－ｉ）、配信装置（２２０、２３０、２４０、２５０、２６０、２７０、２８０）および制御装置（３２０、３３０、３４０、３５０）（以下、受信装置等）を、一つの情報処理装置（コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。なお、受信装置等は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現してもよい。また、受信装置等は、専用の装置として実現してもよい。また、受信装置等の一部の機能のみを情報処理装置を用いて実現してもよい。
上述した本発明の各実施形態における受信装置（１１０、１２０－ｉ、１３０－ｉ）、配信装置（２２０、２３０、２４０、２５０、２６０、２７０、２８０）および制御装置（３２０、３３０、３４０、３５０）（以下、受信装置等）を、一つの情報処理装置（コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。なお、受信装置等は、物理的または機能的に少なくとも二つの情報処理装置を用いて実現してもよい。また、受信装置等は、専用の装置として実現してもよい。また、受信装置等の一部の機能のみを情報処理装置を用いて実現してもよい。
【0171】
図４３は、本発明の各実施形態の受信装置等を実現可能な情報処理装置のハードウェア構成例を概略的に示す図である。情報処理装置９０は、通信インタフェース９１、入出力インタフェース９２、演算装置９３、記憶装置９４、不揮発性記憶装置９５およびドライブ装置９６を含む。
【0172】
たとえば、図１の映像受信部１１１、選択情報出力部１１４および統合情報受信部１１５は、通信インタフェース９１および演算装置９３で実現することが可能である。表示制御部１１３は、演算装置９３で実現することが可能である。表示部１１２は、入出力インタフェース９２で実現することが可能である。受付部１１９は、入出力インタフェース９２および演算装置９３で実現することが可能である。
【0173】
通信インタフェース９１は、各実施形態の受信装置等が、有線あるいは／および無線で外部装置と通信するための通信手段である。なお、受信装置等を、少なくとも二つの情報処理装置を用いて実現する場合、それらの装置の間を通信インタフェース９１経由で相互に通信可能なように接続してもよい。
【0174】
入出力インタフェース９２は、入力デバイスの一例であるキーボードや、出力デバイスとしてのディスプレイ等のマンマシンインタフェースである。
【0175】
演算装置９３は、汎用のＣＰＵ（Central Processing Unit）やマイクロプロセッサ等の演算処理装置や複数の電気回路によって実現される。演算装置９３は、たとえば、不揮発性記憶装置９５に記憶された各種プログラムを記憶装置９４に読み出し、読み出したプログラムに従って処理を実行することが可能である。
【0176】
記憶装置９４は、演算装置９３から参照可能な、ＲＡＭ（Random Access Memory）等のメモリ装置であり、プログラムや各種データ等を記憶する。記憶装置９４は、揮発性のメモリ装置であってもよい。
【0177】
不揮発性記憶装置９５は、たとえば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、等の、不揮発性の記憶装置であり、各種プログラムやデータ等を記憶することが可能である。
【0178】
ドライブ装置９６は、たとえば、後述する記録媒体９７に対するデータの読み込みや書き込みを処理する装置である。
【0179】
記録媒体９７は、たとえば、光ディスク、光磁気ディスク、半導体フラッシュメモリ等、データを記録可能な任意の記録媒体である。
【0180】
本発明の各実施形態は、たとえば、図４３に例示した情報処理装置９０により受信装置等を構成し、この受信装置等に対して、上記各実施形態において説明した機能を実現可能なプログラムを供給することにより実現してもよい。
【0181】
この場合、受信装置等に対して供給したプログラムを、演算装置９３が実行することによって、実施形態を実現することが可能である。また、受信装置等のすべてではなく、一部の機能を情報処理装置９０で構成することも可能である。
【0182】
さらに、上記プログラムを記録媒体９７に記録しておき、受信装置等の出荷段階、あるいは運用段階等において、適宜上記プログラムが不揮発性記憶装置９５に格納されるよう受信装置等を構成してもよい。なお、この場合、上記プログラムの供給方法は、出荷前の製造段階、あるいは運用段階等において、適当な治具を利用して受信装置等内にインストールする方法を採用してもよい。また、上記プログラムの供給方法は、インターネット等の通信回線を介して外部からダウンロードする方法等の一般的な手順を採用してもよい。
【0183】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0184】
（付記１）
配信装置および制御装置からデータ受信する受信装置であって、
前記配信装置から配信された映像データを受信する映像受信部と、
表示用画像を表示する表示部と、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付部と、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像を含む画像を、前記表示用画像として前記表示部に表示させる表示制御部と、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力する選択情報出力部と、
前記受信装置、および前記受信装置と同じ構成を有する他の受信装置の各々により出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信部と、
を備え、
前記統合情報が前記統合情報受信部により受信された場合、前記表示制御部は、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信装置。
配信装置および制御装置からデータ受信する受信装置であって、
前記配信装置から配信された映像データを受信する映像受信部と、
表示用画像を表示する表示部と、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付部と、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像を含む画像を、前記表示用画像として前記表示部に表示させる表示制御部と、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力する選択情報出力部と、
前記受信装置、および前記受信装置と同じ構成を有する他の受信装置の各々により出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信部と、
を備え、
前記統合情報が前記統合情報受信部により受信された場合、前記表示制御部は、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信装置。
【0185】
（付記２）
選択された前記表示位置に表示されている被写体の前記映像における動きを追跡する追跡部
をさらに備え、
前記選択情報は、前記選択位置情報として、追跡された前記被写体の前記映像における座標の情報を含む、
付記１に記載の受信装置。
選択された前記表示位置に表示されている被写体の前記映像における動きを追跡する追跡部
をさらに備え、
前記選択情報は、前記選択位置情報として、追跡された前記被写体の前記映像における座標の情報を含む、
付記１に記載の受信装置。
【0186】
（付記３）
前記映像データを前記映像へ復号する復号部
をさらに備え、
前記追跡部は、前記復号において推定された動きベクトルの情報に基づいて、前記被写体を追跡する、
付記２に記載の受信装置。
前記映像データを前記映像へ復号する復号部
をさらに備え、
前記追跡部は、前記復号において推定された動きベクトルの情報に基づいて、前記被写体を追跡する、
付記２に記載の受信装置。
【0187】
（付記４）
前記追跡部は、前記被写体が前記映像から外れた場合に、前記追跡を停止する、
付記２または付記３に記載の受信装置。
前記追跡部は、前記被写体が前記映像から外れた場合に、前記追跡を停止する、
付記２または付記３に記載の受信装置。
【0188】
（付記５）
前記選択用画像は、前記表示位置の候補である表示位置候補の中から前記表示位置を視聴者に選択させるための画像である位置選択用画像を含み、
前記選択情報は、前記選択位置情報として、前記表示位置候補の中から選択された前記表示位置の識別情報を含む、
付記１に記載の受信装置。
前記選択用画像は、前記表示位置の候補である表示位置候補の中から前記表示位置を視聴者に選択させるための画像である位置選択用画像を含み、
前記選択情報は、前記選択位置情報として、前記表示位置候補の中から選択された前記表示位置の識別情報を含む、
付記１に記載の受信装置。
【0189】
（付記６）
配信装置と、制御装置と、複数の受信装置とを備える映像配信システムであって、
前記受信装置の各々は、付記１から付記５のいずれかに記載の受信装置であり、
前記配信装置は、
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記受信装置に向けて配信する配信部と
を備え、
前記制御装置は、
前記選択情報を前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である前記統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備える、
映像配信システム。
配信装置と、制御装置と、複数の受信装置とを備える映像配信システムであって、
前記受信装置の各々は、付記１から付記５のいずれかに記載の受信装置であり、
前記配信装置は、
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記受信装置に向けて配信する配信部と
を備え、
前記制御装置は、
前記選択情報を前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である前記統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備える、
映像配信システム。
【0190】
（付記７）
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
表示用画像を表示する表示部と、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信部と、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を前記表示用画像として前記表示部に表示させる表示制御部と、
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信装置。
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
表示用画像を表示する表示部と、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信部と、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を前記表示用画像として前記表示部に表示させる表示制御部と、
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信装置。
【0191】
（付記８）
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡部と、
前記候補座標の情報である候補座標情報を送信する候補座標情報送信部と、
を備える配信装置。
映像または前記映像が符号化された映像データが入力される映像入力部と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信部と、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡部と、
前記候補座標の情報である候補座標情報を送信する候補座標情報送信部と、
を備える配信装置。
【0192】
（付記９）
前記映像を前記映像データへ符号化する符号化部
をさらに備え、
前記映像入力部には、前記映像が入力され、
前記追跡部は、前記符号化における動きベクトルの情報を使用して、前記候補座標を算出する、
付記８に記載の配信装置。
前記映像を前記映像データへ符号化する符号化部
をさらに備え、
前記映像入力部には、前記映像が入力され、
前記追跡部は、前記符号化における動きベクトルの情報を使用して、前記候補座標を算出する、
付記８に記載の配信装置。
【0193】
（付記１０）
前記映像データを前記映像へ復号する第二の復号部
をさらに備え、
前記映像入力部には、前記映像データが入力され、
前記追跡部は、前記復号における動きベクトルの情報を使用して、前記候補座標を算出する、
付記８に記載の配信装置。
前記映像データを前記映像へ復号する第二の復号部
をさらに備え、
前記映像入力部には、前記映像データが入力され、
前記追跡部は、前記復号における動きベクトルの情報を使用して、前記候補座標を算出する、
付記８に記載の配信装置。
【0194】
（付記１１）
前記追跡部は、前記被写体が前記映像から外れた場合、前記表示位置候補にあらかじめ設定されている初期座標を、前記候補座標とする、
付記９または付記１０に記載の配信装置。
前記追跡部は、前記被写体が前記映像から外れた場合、前記表示位置候補にあらかじめ設定されている初期座標を、前記候補座標とする、
付記９または付記１０に記載の配信装置。
【0195】
（付記１２）
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御装置。
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信部と、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信部と
を備え、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御装置。
【0196】
（付記１３）
前記選択位置情報は、前記受信装置で表示される映像における前記表示位置の座標の情報と、前記映像において当該座標に前記表示位置が存在する時刻を示す時刻情報とを含み、
前記統合情報送信部は、前記時刻情報が同じ前記選択情報を、前記統合情報へ統合する、
付記１２に記載の制御装置。
前記選択位置情報は、前記受信装置で表示される映像における前記表示位置の座標の情報と、前記映像において当該座標に前記表示位置が存在する時刻を示す時刻情報とを含み、
前記統合情報送信部は、前記時刻情報が同じ前記選択情報を、前記統合情報へ統合する、
付記１２に記載の制御装置。
【0197】
（付記１４）
配信装置から配信された映像データを受信し、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付け、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、
複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信し、
前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信方法。
配信装置から配信された映像データを受信し、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付け、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力し、
複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信し、
前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信方法。
【0198】
（付記１５）
映像または前記映像が符号化された映像データが入力され、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信し、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信方法。
映像または前記映像が符号化された映像データが入力され、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信し、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信方法。
【0199】
（付記１６）
映像または前記映像が符号化された映像データが入力され、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出し、
前記候補座標の情報である候補座標情報を送信する、
配信方法。
映像または前記映像が符号化された映像データが入力され、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信し、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出し、
前記候補座標の情報である候補座標情報を送信する、
配信方法。
【0200】
（付記１７）
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信し、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信し、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御方法。
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信し、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信し、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御方法。
【0201】
（付記１８）
コンピュータに、
配信装置から配信された映像データを受信する映像受信機能と、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付機能と、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させる表示制御機能と、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力する選択情報出力機能と、
複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信機能と、
を実現させ、
前記表示制御機能は、前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信プログラム。
コンピュータに、
配信装置から配信された映像データを受信する映像受信機能と、
前記映像データに基づく映像に重畳させて表示させるアイテムと、前記アイテムの表示位置とを視聴者に選択させるための画像である選択用画像の表示要求である選択用画像表示要求の入力を受け付ける受付機能と、
前記選択用画像表示要求が入力された場合に、前記映像と前記選択用画像とを含む画像を、表示用画像として、前記表示用画像を表示する表示部に表示させる表示制御機能と、
前記選択用画像を用いて視聴者により選択されたアイテムを示す選択アイテム情報と、前記選択用画像を用いて視聴者により選択された表示位置に関する情報を示す選択位置情報とを含む選択情報を、制御装置に出力する選択情報出力機能と、
複数の受信装置から出力される前記選択情報が統合された情報である統合情報を、前記制御装置から受信する統合情報受信機能と、
を実現させ、
前記表示制御機能は、前記統合情報が受信された場合、前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、前記表示用画像として前記表示部に表示させる、
受信プログラム。
【0202】
（付記１９）
コンピュータに、
映像または前記映像が符号化された映像データが入力される映像入力機能と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信機能と、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信機能と、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させる表示制御機能と、
を実現させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信プログラム。
コンピュータに、
映像または前記映像が符号化された映像データが入力される映像入力機能と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信機能と、
前記映像に重畳させて表示させるアイテムとして前記受信装置において選択された前記アイテムに関する情報である選択情報が複数の前記受信装置について統合された情報である統合情報を受信する統合情報受信機能と、
前記統合情報に基づいて、前記映像に前記アイテムを重畳させた画像を、表示用画像として、前記表示用画像を表示する表示部に表示させる表示制御機能と、
を実現させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
配信プログラム。
【0203】
（付記２０）
コンピュータに、
映像または前記映像が符号化された映像データが入力される映像入力機能と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信機能と、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡機能と、
前記候補座標の情報である候補座標情報を送信する候補座標情報送信機能と、
を実現させる配信プログラム。
コンピュータに、
映像または前記映像が符号化された映像データが入力される映像入力機能と、
前記映像に基づく前記映像データを、前記映像データを受信する受信装置に向けて配信する配信機能と、
前記映像に重畳させて表示させるアイテムの表示位置の候補である表示位置候補に相当する被写体の前記映像における動きを追跡して、前記表示位置候補の前記映像における座標である候補座標を算出する追跡機能と、
前記候補座標の情報である候補座標情報を送信する候補座標情報送信機能と、
を実現させる配信プログラム。
【0204】
（付記２１）
コンピュータに、
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信機能と、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信機能と
を実現させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御プログラム。
コンピュータに、
映像に重畳させて表示させるアイテムについて、前記映像に基づく映像データを受信する受信装置において選択された前記アイテムに関する情報である選択情報を、前記受信装置から受信する選択情報受信機能と、
複数の前記受信装置から受信した前記選択情報が統合された情報である統合情報を、前記受信装置の各々に送信する統合情報送信機能と
を実現させ、
前記選択情報は、前記受信装置において選択された前記アイテムを示す選択アイテム情報と、前記アイテムの表示位置に関し、前記受信装置において選択された前記表示位置に関する情報である選択位置情報とを含む、
制御プログラム。
【0205】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0206】
１１０、１２０－ｉ、１３０－ｉ 受信装置
１１１、１２１－ｉ 映像受信部
１１２、１２２－ｉ 表示部
１１３、１２３－ｉ、１３３－ｉ 表示制御部
１１４、１２４－ｉ、１３４－ｉ 選択情報出力部
１１５、１２５－ｉ、１３５－ｉ 統合情報受信部
１２６－ｉ 追跡部
１２７－ｉ 復号部
１３８－ｉ 候補座標情報受信部
４２、４３ 映像配信システム
２２０、２３０、２４０、２５０、２６０、２７０、２８０ 配信装置
２２１ 映像入力部
２２２ 符号化部
２２３ 配信部
２２４ 映像受信部
２２５ 復号部
２２６、２３６ 統合情報受信部
２２７、２３７ 表示制御部
２２８ 表示部
２３１ 候補座標情報送信部
２３３ 第二の復号部
２３６ 統合情報受信部
２３９ 追跡部
３２０、３３０、３４０、３５０ 制御装置
３２１、３３１ 選択情報受信部
３２２、３３２ 統合情報送信部
３２３ 映像送信部
３３４ 候補座標情報受信部
３３５ 候補座標情報送信部
９０ 情報処理装置
９１ 通信インタフェース
９２ 入出力インタフェース
９３ 演算装置
９４ 記憶装置
９５ 不揮発性記憶装置
９６ ドライブ装置
９７ 記録媒体
１１１、１２１－ｉ 映像受信部
１１２、１２２－ｉ 表示部
１１３、１２３－ｉ、１３３－ｉ 表示制御部
１１４、１２４－ｉ、１３４－ｉ 選択情報出力部
１１５、１２５－ｉ、１３５－ｉ 統合情報受信部
１２６－ｉ 追跡部
１２７－ｉ 復号部
１３８－ｉ 候補座標情報受信部
４２、４３ 映像配信システム
２２０、２３０、２４０、２５０、２６０、２７０、２８０ 配信装置
２２１ 映像入力部
２２２ 符号化部
２２３ 配信部
２２４ 映像受信部
２２５ 復号部
２２６、２３６ 統合情報受信部
２２７、２３７ 表示制御部
２２８ 表示部
２３１ 候補座標情報送信部
２３３ 第二の復号部
２３６ 統合情報受信部
２３９ 追跡部
３２０、３３０、３４０、３５０ 制御装置
３２１、３３１ 選択情報受信部
３２２、３３２ 統合情報送信部
３２３ 映像送信部
３３４ 候補座標情報受信部
３３５ 候補座標情報送信部
９０ 情報処理装置
９１ 通信インタフェース
９２ 入出力インタフェース
９３ 演算装置
９４ 記憶装置
９５ 不揮発性記憶装置
９６ ドライブ装置
９７ 記録媒体
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図42】
【図43】