(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-09
(45)【発行日】2024-05-17
(54)【発明の名称】動画配信システム
(51)【国際特許分類】
H04N 21/2668 20110101AFI20240510BHJP
G06F 3/01 20060101ALI20240510BHJP
G06F 3/04845 20220101ALI20240510BHJP
H04N 21/258 20110101ALI20240510BHJP
【FI】
H04N21/2668
G06F3/01 510
G06F3/04845
H04N21/258
(21)【出願番号】P 2018248798
(22)【出願日】2018-12-29
【審査請求日】2021-12-28
(73)【特許権者】
【識別番号】519389362
【氏名又は名称】エイベックス・テクノロジーズ株式会社
(72)【発明者】
【氏名】熊野 淳
(72)【発明者】
【氏名】佐藤 祐大
【審査官】鈴木 順三
(56)【参考文献】
【文献】国際公開第2016/051620(WO,A1)
【文献】特開2014-082582(JP,A)
【文献】特開2016-146544(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00 - 21/858
G06F 3/01
G06F 3/048 - 3/04895
(57)【特許請求の範囲】
【請求項1】
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
前記反応情報を集計した集計値に応じて、前記動画の再生中に、前記素材データに対する操作を行うアクション処理部と、
を備え、
前記素材データに対する操作は、3Dモデルにより表現されるオブジェクトの出現、移動及び消失の少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【請求項2】
請求項1に記載の動画配信システムであって、
前記反応取得部は、前記動画配信システムにおいて発生したイベントを取得し、
前記アクション処理部は、前記イベントに応じて前記素材データに対する操作を行うこと、
を特徴とする動画配信システム。
【請求項3】
請求項1に記載の動画配信システムであって、
前記視聴者からの反応は、前記視聴者による機器の操作、前記視聴者から入力された音声および文字、前記視聴者を撮影した画像、前記画像から解析した前記視聴者の姿勢、視線およびジェスチャー、ならびに前記視聴者の身体反応を測定した測定データの少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画配信システムに関する。
【背景技術】
【0002】
動画の配信システムが普及している。動画の配信は、受動的に連続した動画が再生されるストリーミング方式と、能働的に意図した動画を再生させるオンデマンド方式とがある。オンデマンド方式では、再生する順番などをユーザに設定させることが行われている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ストリーミング方式での動画配信において、ライブ映像の場合には視聴者の反応を見ながらライブの展開を変更することは可能であるが、記録済みの動画を利用する場合には、動画の展開は決定的であり視聴者の反応に応じた展開での動画を配信することは困難である。
【0005】
本発明は、このような背景を鑑みてなされたものであり、視聴者の反応に合わせた動画を配信することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するための本発明の主たる発明は、動画配信システムであって、動画を生成するための素材データを記憶する素材ライブラリと、前記素材データに基づいて前記動画を送出する動画配信部と、前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、を備えることとする。
【0007】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【0008】
本発明によれば、視聴者の反応に合わせた動画を配信することができる。
【図面の簡単な説明】
【0009】
【
図1】本実施形態の動画配信システムの全体構成例を示す図である。
【
図2】配信者装置3のハードウェア構成例を示す図である。
【
図3】配信者装置3のソフトウェア構成例を示す図である。
【
図4】素材ライブラリ331の構造例を示す図である。
【
図5】アクション記憶部333の構成例を示す図である。
【
図6】イベント記憶部334の構成例を示す図である。
【
図7】本実施形態の動画配信システムにより実行される処理の流れを説明する図である。
【発明を実施するための形態】
【0010】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による動画配信システムは、以下のような構成を備える。
【0011】
[項目1]
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
[項目2]
項目1に記載の動画配信システムであって、
前記反応取得部は、前記動画配信システムにおいて発生したイベントを取得し、
前記アクション処理部は、前記イベントに応じて前記素材データに対する操作を行うこと、
を特徴とする動画配信システム。
[項目3]
項目1に記載の動画配信システムであって、
前記視聴者からの反応は、前記視聴者による機器の操作、前記視聴者から入力された音声および文字、前記視聴者を撮影した画像、前記画像から解析した前記視聴者の姿勢、視線およびジェスチャー、ならびに前記視聴者の身体反応を測定した測定データの少なくともいずれかを含むこと、
を特徴とする動画配信システム。
[項目4]
項目1に記載の動画配信システムであって、
前記アクションは、オブジェクトの出現、移動および消失、アニメーションの開始および停止、動画の再生および停止、音声の再生および停止、ならびに前記素材データの変更の少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【0012】
以下、本発明の一実施形態に係る動画配信システムについて説明する。本実施形態の動画配信システムは、ストリーミング配信される動画を各種のイベントに応じて動的に変化させるものである。
【0013】
イベントには、視聴者により機器が操作されたこと、視聴者から音声や文字が入力されたこと、視聴者が撮影されたこと、撮影された画像から解析した視聴者の姿勢や視線、ジェスチャーなどが取得されたこと、視聴者の身体反応を測定した測定データが取得されたことなど、視聴者に関して取得される情報(以下、ユーザイベント情報という。)が含まれる。また、イベントには、閲覧している視聴者の数、天気、時刻、天気、動画中でオブジェクトが接触したことなどのシステム側で取得できる情報(以下、システムイベント情報という。)も含めることができる。
【0014】
配信される動画は、3Dモデルや動画データ、音声データなどの素材データに基づいて生成される。各素材データには、イベントに応じたアクションを設定することができる。
【0015】
アクションは、素材データに対する操作であり、3Dモデルにより表現されるオブジェクトの出現、移動および消滅、アニメーション動作の開始および終了、動画の再生および停止、音声の再生および停止、素材データの変更(置換え)などを含めることができる。本実施形態では、配信される動画は、アクションの結果として出力される映像または画像を合成して作成されるものとする。
【0016】
本実施形態の動画配信システムでは、イベントに応じてアクションを起動することにより、動的に配信動画を変化させることができる。以下、詳細について説明する。
【0017】
図1は、本実施形態の動画配信システムの全体構成例を示す図である。本実施形態の動画配信システムは、配信者装置3を含んで構成され、配信者装置2は、ストリーミングサーバ2と通信可能に接続され、ストリーミングサーバ2は視聴者端末1と通信可能に接続される。視聴者端末1は多数が接続されていてよい。配信者装置3は、動画の送信を行う、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。配信者装置3は、たとえば、動画の配信を行いたいと考えている一般ユーザが操作する家庭用のコンピュータであってよい。配信者装置3からは、動画データがストリーミング方式によりストリーミングサーバ2に送出される。ストリーミングサーバ2は、配信者装置3から受け取った動画データを視聴者端末1に配信する、たとえばワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより提供される仮想コンピュータなどのコンピュータである。ストリーミングサーバ2は、1つまたは複数の視聴者端末1に対して同時に動画データを配信することができる。視聴者端末1は視聴者が操作する、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。視聴者は視聴者端末1を操作してストリーミングサーバ2にアクセスし、視聴者端末1はストリーミングサーバ2から送出されてくる動画データを受信して再生することができる。また、視聴者端末1は、視聴者を撮影したり、視聴者の音声を録音したり、視聴者からコメントの入力を受け付けたりと、各種イベント情報の収集を行うことができる。1人または複数人の視聴者からのイベントはストリーミングサーバ2において収集され、配信者装置3は、たとえば、ストリーミングサーバ2が提供するAPI(Application Programming Interface)を呼び出すことにより、視聴者からのイベントを取得することができる。
【0018】
なお、以下の説明において、ストリーミングにより配信されてリニアに再生される動画全体のことを特に「配信動画」という。配信動画は、カメラやマイクによりキャプチャした画像および音声を、リアルタイムに動画データにエンコードして送出する形式とすることもできるが、本実施形態では、配信動画は、素材データを組み合わせて合成したビデオデータとして生成することを想定している。
【0019】
図2は、配信者装置3のハードウェア構成例を示す図である。配信者装置3は、CPU301、メモリ302、記憶装置303、通信インタフェース304、入力装置305、出力装置306を備える。記憶装置303は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース304は、通信ネットワーク30に接続するためのインタフェースであり、例えばイーサネット(登録商標)に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのUSB(Universal Serial Bus)コネクタやRS232Cコネクタなどである。入力装置305は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置306は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
【0020】
図3は、配信者装置3のソフトウェア構成例を示す図である。同図に示すように、配信者装置3は、動画配信部311、イベント取得部312、アクション処理部313、素材ライブラリ331、アクション記憶部333、イベント記憶部334を備える。
【0021】
なお、動画配信部311、イベント取得部312、アクション処理部313は、配信者装置3が備えるCPU301が、記憶装置303に記憶されているプログラムをメモリ302に読み出して実行することにより実現され、素材ライブラリ331、アクション記憶部333、イベント記憶部334は、配信者装置3が備えるメモリ302および記憶装置303の少なくともいずれかが提供する記憶領域の一部として実現される。
【0022】
素材ライブラリ331は、動画に組み入れることのできる各種のデータ(素材データ)を記憶する。素材データは、たとえば、3Dモデル、静止画像、動画像、音声データ、MIDIデータ、文字データなどである。
図4は、素材ライブラリ331の構造例を示す図である。同図に示すように、素材ライブラリ331は、素材データを特定するための情報(素材ID)に対応付けて、各種の素材データを記憶する。
【0023】
アクション記憶部333は、素材データに対する操作(アクション)に関する情報(以下、アクション情報という。)を記憶する。
図5は、アクション記憶部333に記憶されるアクション情報の一例を示す図である。同図に示すように、アクション情報には、アクションを示すアクションID、判定期間、条件、およびアクションを含む。
【0024】
判定期間は、イベントが条件を満たすかどうかの判定を行う期間を示す情報である。判定期間は、たとえば、現時点から5分前までなどと相対的に指定してもよいし、12月25日00:00から00:10までというように絶対的に指定してもよい。
【0025】
条件は、イベントに対するものであり、たとえば、イベントの有無であってもよいし、複数の視聴者からのイベントに関する集計値が閾値を超えたか否かであってもよい。
【0026】
ユーザイベント情報に対しては、たとえば、視聴者が配信動画の再生中に所定のキーを押下したか否か、動画上の所定エリアをクリックまたはタップしたか否か、動画上の所定エリアをクリックまたはタップした視聴者の人数が閾値を超えたか否かなどを条件とすることができる。配信動画の生成に用いられた素材データに基づいて、配信動画中に表示されているオブジェクトがクリックまたはタップされたか否か、当該オブジェクトをクリックまたはタップした視聴者の人数が閾値を超えたか否かを条件とすることもできる。
【0027】
また、視聴者端末1において視聴者から所定の文字(キーワード)の入力があったか否か、たとえば、配信動画に対して投稿されるコメントに所定のキーワードが含まれていたか否か、キーワードを入力した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。また、コメントを投稿した視聴者の地域ごとに集計したコメントまたは視聴者の数、たとえば、動画中で金額に対する意見を質問したことに対して視聴者が投稿した金額の集計値(平均値、中央値、最大値、最小値など)、コメントを構文解析することにより判断される視聴者の喜怒哀楽に基づく哀しんでいる視聴者の数などが所定の閾値を超えること、所定のキーワードを含むコメントが一度も投稿されなかったこと、などを条件とすることもできる。
【0028】
また、音声認識を実行することにより、視聴者または視聴者の雰囲気に、たとえば、特定の言葉の発声が行われたか否か、拍手や口笛、足踏みなどが発音されていたか否かなどのように、特定の発音があったか否か、このような特定の発音があった視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、音声認識の処理は視聴者端末1が行い、認識結果をストリーミングサーバ2または配信者装置3に送信するようにしてもよいし、視聴者端末1からはキャプチャーされた音声データがストリーミングサーバ2を介してまたは直接配信者装置3に送信され、配信者装置3において音声認識処理を行うようにしてもよい。
【0029】
また、視聴者が視聴者端末1において自撮り画像または視聴者の雰囲気を撮影したか否か、こうした画像がストリーミングサーバ2に投稿されたか否か、画像を投稿した視聴者の人数が閾値を超えたか否かを条件とすることもできる。また、画像解析により、所定のものを撮影した画像(たとえば、視聴者の周りにある特定の看板やフライヤーが撮影された画像)が投稿されたか否か、そのような画像を投稿した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。さらに、画像解析により、視聴者の姿勢や視線、ジェスチャーなどを認識し、視聴者が所定の姿勢や視線、ジェスチャーをしたか否か、所定の姿勢や視線、ジェスチャーをした視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、画像解析処理は、視聴者端末1が行い、解析結果をストリーミングサーバ2または配信者装置3に送信するようにしてもよいし、視聴者端末1からは撮影された画像データがストリーミングサーバ2を介してまたは直接配信者装置3に送信され、配信者装置3において画像解析処理を行うようにしてもよい。
【0030】
また、システムイベント情報に対しては、たとえば、配信画像を視聴している視聴者の人数が閾値を超えたか否かを条件とすることができる。また、配信画像の再生から所定時間が経過したか否かを条件とすることもできる。また、視聴者もしくは配信者の所在地または所定の地域における天気をシステムイベント情報として取得したような場合には、この天気が所定の天気であるか否かを条件(たとえば、晴れであること、雨が降っていること、雪が降っていること、所定以上の強さの風が吹いていること、所定温度以上の気温であることなど)とすることができる。また、素材データが3Dモデルなどである場合、配信動画中においてオブジェクトが衝突したことを条件とすることもできる。
【0031】
アクションは、上述したように素材データに対する各種の操作である。アクションにはパラメータも含めることができ、素材データに対して具体的にどのような操作を行うかを詳細に設定することができる。さらに本実施形態では、アクションは、素材データに対する操作のみでなく、他のアクションの実行や停止、他のアクションの実行が完了するのを待機するなどの処理を含むことができる。アクションは、たとえば、スクリプト言語により表記されたプログラムとして格納することもできる。
【0032】
動画配信部311は、動画を配信する。アクションから複数のアクションが実行されることもある。動画配信部311は、後述するアクション処理部313が実行するアクションからの出力を合成して(必要に応じてエンコードして)、配信動画を生成することができる。また、動画配信部311は、生成した配信動画をストリーミングサーバ2に送信することで、視聴者端末1に動画を配信することができる。
【0033】
イベント記憶部334は、発生した各種のイベントを記憶する。
図6は、イベント記憶部334の構成例を示す図である。上述したように、イベント記憶部334は、ユーザイベント情報と、システムイベント情報とを記憶している。以下、ユーザイベント情報と、システムイベント情報とを合わせてイベント情報ともいう。ユーザイベント情報には、イベントを示すイベントID、イベントに関する視聴者を示す視聴者ID、イベントの発生した日時、およびイベントの内容が含まれる。また、システムイベント情報には、イベントID、イベントの発生した日時およびイベントの内容が含まれる。イベントの内容は、イベントにより異なり、たとえば、ユーザイベント情報の場合、視聴者が配信動画に対してコメントを投稿したときには、投稿されたコメントがイベント内容として設定されうる。また、視聴者端末1が視聴者を撮影した画像を解析して視聴者の視線やジェスチャーを得られたときには、これらの視線やジェスチャーを示す情報がイベントの内容として設定されうる。システムイベント情報の場合、視聴者の数、天気、時刻などがイベントの内容として設定されうる。
【0034】
イベント取得部312は、イベントを取得して、取得したイベントの内容をイベント情報としてイベント記憶部334に登録する。なお、イベント取得部312がどのようなイベントを取得するかについては、ユーザから設定可能であるものとする。どのようなイベントを取得するかを示す設定情報は、たとえば、メモリ302や記憶装置303などに記憶しておくことができる。
【0035】
イベント取得部312は、たとえば、視聴者が入力したキーやタップ、クリックなどのイベントをユーザイベント情報として登録することができる。たとえば、Webブラウザにおいて配信動画が視聴されている場合には、Webブラウザ上で発生したクリックイベントをストリーミングサーバ2または配信者装置3に送信するようなスクリプトを設定しておき、イベント取得部312は、ストリーミングサーバ2を介してまたは直接、クリックイベントを取得することができる。
【0036】
また、イベント取得部312は、たとえば、ストリーミングサーバ2が、投稿されたコメントを取得するためのAPIを提供している場合には、当該APIを呼び出すことにより、視聴者により投稿されたコメントを取得することができる。また、イベント取得部312は、コメントを構文解析して、所定のキーワードが含まれていることをユーザイベント情報として登録してもよい。
【0037】
また、イベント取得部312は、たとえば、視聴者端末1からキャプチャーした音声データを受信し、受信した音声データを解析して特定の発音があったことをユーザイベント情報として登録することができる。なお、音声解析処理を視聴者端末1で行うようにして、イベント取得部312は、視聴者端末1から直接またはストリーミングサーバ2を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。また、イベント取得部312は、視聴者端末1から視聴者を撮影した画像を受信し、受信した画像を解析して視聴者の姿勢や視線、ジェスチャーなどを取得することもできる。あるいは視聴者端末1において画像の解析を行い、その結果を受信するようにすることもできる。イベント取得部312は、視聴中の視聴者の数を定期的にカウントしてシステムイベント情報に登録してもよい。なお、画像解析処理を視聴者端末1で行うようにして、イベント取得部312は、視聴者端末1から直接またはストリーミングサーバ2を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。
【0038】
また、イベント取得部312は、たとえば、クロックからタイムアウトイベントを取得するようにして、配信画像の再生開始から所定時間が経過したことをシステムイベント情報として登録することができる。イベント取得部312は、所定の時刻になったこと(たとえば、日付が変わったこと、午後3時になったことなど)をシステムイベント情報として登録することもできる。
【0039】
また、イベント取得部312は、たとえば、気象会社のサーバなどから気象情報を取得して、特定の地域(たとえば、各視聴者の所在地もしくは配信者の所在地、または予め設定した地域)における気象要素をシステムイベント情報として登録することもできる。
【0040】
また、イベント取得部312は、たとえば、素材データが3Dモデルなどである場合には、配信動画中においてオブジェクトが衝突したことを判定してシステムイベント情報として登録することもできる。
【0041】
アクション処理部313は、素材データに対してアクションを実行する。アクション処理部313は、最初に実行するアクションの指定を受け付け、受け付けたアクションを実行する。アクションの中には他のアクションの起動が含まれうるため、この場合、アクション処理部313は、順次アクションを起動し続けていくことができる。なお、アクションは複数に分岐して並列に実行することも可能である。
【0042】
アクション処理部313はまた、イベントに応じたアクションの実行を行う。アクション処理部313は、アクション記憶部333に記憶されているアクション情報のそれぞれについて、期間に対応するイベント情報をイベント記憶部334から読み出して集計し、条件を満たすか否かを判定し、条件を満たす場合には、アクション情報に設定されているアクションを実行する。これにより、イベントに応じて動画の展開を動的に変化させることが可能となる。
【0043】
図7は、本実施形態の動画配信システムにより実行される処理の流れを説明する図である。
【0044】
アクション処理部313は、最初に実行するアクションの指定を受け付け(S421)、指定されたアクションを実行する(S422)。アクションが実行された結果として出力される映像や音声は合成され、動画データとして動画配信部311によりストリーミングサーバ2に送信される。
【0045】
イベント取得部312は、定期的にイベントを取得する(S423)。たとえば、イベント取得部312は、ストリーミングサーバ2が提供するAPIを呼び出すことにより、配信動画に対して投稿されたコメントを取得することができる。またイベント取得部312は、タイマー機能を用いて所定の時間が経過したことを取得することができる。
【0046】
アクション記憶部333に記憶されている各アクション情報について、アクション処理部313は、判定期間に入る日時のイベント情報をイベント記憶部334から読み出し(S424)、読み出したイベント情報のイベント内容がアクション情報の条件を満たすかどうか判定する(S425)。イベントが条件を満たす場合(S426:YES)、アクション処理部313は、アクション情報に含まれるアクションを実行する(S427)。ここでアクション処理部313は、以前に実行していたアクションを停止してもよいし、以前に実行していたアクションと並行して新たなアクションを実行するようにしてもよいし、この挙動を新たなアクション内で指定可能としてもよい。
【0047】
アクション情報のアクションが配信動画を終了させるものでなければ(S428)、ステップS423からの処理を繰り返す。
【0048】
以上のようにして、本実施形態の動画配信システムは、配信動画をストリーミングサーバ2経由で視聴者端末1に配信するとともに、配信動画の再生中における各種のイベントに応じて、再生中の配信動画に変更を加えることができる。したがって、録画済みの映像を利用しながらも、視聴者の反応に応じて配信動画に様々な展開を加えることが可能となり、ストリーミング形式での動画の配信方式によるライブ感を損なわずに動画を配信することが可能となる。
【0049】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【0050】
たとえば、本実施形態では、配信者装置3から送出した動画は、ストリーミングサーバ2を介して視聴者端末1に配信されるものとしたが、配信者装置3から各視聴者端末1に直接動画を配信するようにすることもできる。
【0051】
また、本実施形態では、動画の再生途中であっても、コメントが条件を満たせば、次の部品動画データに遷移する(
図7のステップS427)ものとしたが、現在のアクションの実行は最後まで行った後に、次のアクションに実行するようにしてもよい。
【符号の説明】
【0052】
1 視聴者端末
2 ストリーミングサーバ
3 配信者装置
311 動画配信部
312 イベント取得部
313 アクション処理部
331 素材ライブラリ
333 アクション記憶部
334 イベント記憶部