(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162234
(43)【公開日】2023-11-08
(54)【発明の名称】プログラムおよびコンピュータシステム
(51)【国際特許分類】
A63F 13/86 20140101AFI20231031BHJP
A63F 13/55 20140101ALI20231031BHJP
A63F 13/52 20140101ALI20231031BHJP
H04N 21/2743 20110101ALI20231031BHJP
H04N 21/2343 20110101ALI20231031BHJP
【ＦＩ】
A63F13/86
A63F13/55
A63F13/52
H04N21/2743
H04N21/2343
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023129285
(22)【出願日】2023-08-08
(62)【分割の表示】P 2019066479の分割
【原出願日】2019-03-29
(71)【出願人】
【識別番号】000134855
【氏名又は名称】株式会社バンダイナムコエンターテインメント
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(72)【発明者】
【氏名】青木 英史
(72)【発明者】
【氏名】南 清志
(72)【発明者】
【氏名】西山 洋人
(72)【発明者】
【氏名】関野 雄人
(72)【発明者】
【氏名】恩田 明生
(57)【要約】
【課題】実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術の提供。
【解決手段】コンピュータシステムは、ゲームプレイのプレイ動画１０についての実況を行う実況キャラクタ７の動画と、プレイ動画１０とを合わせた実況動画１２を生成する。また、コンピュータシステムは、ゲームプレイのプレイ状況を分析する。その分析結果に基づいて、実況キャラクタ７を自動制御する。実況動画１２に含める実況キャラクタ７の動画は、この分析結果に基づく実況キャラクタ７の自動制御がなされた動画となる。
【選択図】図３
【解決手段】コンピュータシステムは、ゲームプレイのプレイ動画１０についての実況を行う実況キャラクタ７の動画と、プレイ動画１０とを合わせた実況動画１２を生成する。また、コンピュータシステムは、ゲームプレイのプレイ状況を分析する。その分析結果に基づいて、実況キャラクタ７を自動制御する。実況動画１２に含める実況キャラクタ７の動画は、この分析結果に基づく実況キャラクタ７の自動制御がなされた動画となる。
【選択図】図３
【特許請求の範囲】
【請求項1】
コンピュータシステムを、
ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段、
前記ゲームプレイのプレイ状況を分析する分析手段、
前記分析手段の分析結果に基づき予測されるプレイ状況に対応づけて予め設定されたアクションを前記実況キャラクタに自動的に行わせる制御をする実況キャラクタ制御手段、
として機能させるためのプログラム。
ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段、
前記ゲームプレイのプレイ状況を分析する分析手段、
前記分析手段の分析結果に基づき予測されるプレイ状況に対応づけて予め設定されたアクションを前記実況キャラクタに自動的に行わせる制御をする実況キャラクタ制御手段、
として機能させるためのプログラム。
【請求項2】
コンピュータシステムを、
実況ユーザと対戦相手ユーザとが互いのキャラクタを操作して対戦するゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段、
前記対戦相手ユーザの操作入力情報を解析することで前記ゲームプレイのプレイ状況を分析する分析手段、
前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段、
として機能させるためのプログラム。
実況ユーザと対戦相手ユーザとが互いのキャラクタを操作して対戦するゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段、
前記対戦相手ユーザの操作入力情報を解析することで前記ゲームプレイのプレイ状況を分析する分析手段、
前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段、
として機能させるためのプログラム。
【請求項3】
前記実況動画の配信を制御する、或いは、所定の配信システムへ前記実況動画のデータをアップロードすることで前記実況動画の配信を制御する配信制御手段、
として前記コンピュータシステムを機能させるための請求項１又は２に記載のプログラム。
として前記コンピュータシステムを機能させるための請求項１又は２に記載のプログラム。
【請求項4】
前記実況動画中の前記プレイ動画および前記実況キャラクタのレイアウトを設定するレイアウト設定手段、
として前記コンピュータシステムを機能させるための請求項１～３の何れか一項に記載のプログラム。
として前記コンピュータシステムを機能させるための請求項１～３の何れか一項に記載のプログラム。
【請求項5】
前記実況キャラクタ制御手段は、前記実況キャラクタの外観を変更制御する、
請求項１～４の何れか一項に記載のプログラム。
請求項１～４の何れか一項に記載のプログラム。
【請求項6】
前記実況動画生成手段は、前記分析手段の分析結果に基づいて、前記プレイ動画の再生速度を変更して前記実況動画を生成する、
請求項１～５の何れか一項に記載のプログラム。
請求項１～５の何れか一項に記載のプログラム。
【請求項7】
ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段と、
前記ゲームプレイのプレイ状況を分析する分析手段と、
前記分析手段の分析結果に基づき予測されるプレイ状況に対応づけて予め設定されたアクションを前記実況キャラクタに自動的に行わせる制御をする実況キャラクタ制御手段と、
を備えたコンピュータシステム。
前記ゲームプレイのプレイ状況を分析する分析手段と、
前記分析手段の分析結果に基づき予測されるプレイ状況に対応づけて予め設定されたアクションを前記実況キャラクタに自動的に行わせる制御をする実況キャラクタ制御手段と、
を備えたコンピュータシステム。
【請求項8】
実況ユーザと対戦相手ユーザとが互いのキャラクタを操作して対戦するゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段と、
前記対戦相手ユーザの操作入力情報を解析することで前記ゲームプレイのプレイ状況を分析する分析手段と、
前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段と、
を備えたコンピュータシステム。
前記対戦相手ユーザの操作入力情報を解析することで前記ゲームプレイのプレイ状況を分析する分析手段と、
前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段と、
を備えたコンピュータシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータに動画を生成する機能を実現させるためのプログラム等に関する。
【背景技術】
【0002】
近年、ゲームプレイのプレイ動画を編集し、ユーザが別音声（例えば、実況や解説、その時々の仲間とのチャットの音声）などを加えて作成した実況動画を、動画配信サイトを利用して配信するユーザ、いわゆる「ユーチューバー（YouTuber）」が知られるようになった。また、それに関する技術も知られるところである（例えば、特許文献１を参照）。近年では、ユーチューバーに代わって「ブイチューバー（Vtuber）」と言われる架空のキャラクタが実況をするように見せる形態も知られるようになった。以降、そうした架空のキャラクタを「実況キャラクタ」と言う。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－１８２６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
さて、一般的に、ユーチューバーが実況動画を配信するには、プレイ動画の用意、動画編集、実況音声（多くはユーチューバーが話すユーザ音声）の追加、配信サイトへのアップロード、と言う段階を経ることとなる。更に実況動画中に実況キャラクタを登場させるには、あたかも実況キャラクタが、実況アナウンサーやスポーツ番組のパーソナリティのごとく振る舞う動作を設定して実況キャラクタの動画を生成し、これをプレイ動画に合成する段階が必要になる。この実況キャラクタの動作設定と、実況キャラクタの動画の用意は、それなりの機材と時間を要するため、ブイチューバーとして活動してみたくとも始められないユーザが多くいた。
【0005】
また、実況キャラクタの動作設定と、実況キャラクタの動画の用意は、実況動画配信の形式にも制限を与えていた。具体的には、ユーチューバー自身がプレーヤとしてプレイしながらリアルタイムに実況するライブ形式の実況動画配信の場合、ユーチューバーはプレイ操作と、実況や解説と、実況キャラクタの操作との、１人３役を同時にこなさなければならない。そのため、一時たりともプレイ操作を止められないジャンルのゲーム（例えば、アクションゲームやシューティングゲーム、フライトシミュレータ、など）を、実況キャラクタを用いたライブ形式で配信する行為を実現することは難しかった。
【0006】
本発明は、実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術の提供を課題として考案されたものである。
【課題を解決するための手段】
【0007】
上記した課題を解決するための第１の発明は、コンピュータシステムを、ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、実況動画生成制御部２２８、画像生成部２９２ｓ、図１９のステップＳ１６）、前記ゲームプレイのプレイ状況を分析する分析手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、分析部２２４、図１９のステップＳ３４）、前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、実況キャラクタ制御部２３０、図２０のステップＳ６０およびステップＳ６２）、として機能させるためのプログラムである。
【0008】
ここで言う「コンピュータシステム」とは、単数のコンピュータは勿論、複数のコンピュータが連携して構成されるものでもよい。
【0009】
第１の発明によれば、プレイ動画として表示されているゲームプレイのプレイ状況を自動的に分析し、分析結果に基づいて実況キャラクタを自動制御することができる。よって、ユーザは、実況キャラクタの動作を１つ１つ作成して、実況キャラクタを制御した動画を用意する必要がない。また、実況キャラクタの動作制御に係るユーザ操作の必要性を大幅に削減できるので、ユーザは、ゲームプレイしながらでも実況や解説の音声を入力さえすれば、実況キャラクタを用いたライブ形式の実況動画を簡単に生成することができるようになる。実況キャラクタを用いた動画配信に係るユーザを補助するための新たな技術を提供することができる。
【0010】
第２の発明は、ユーザの音声を取得する制御を行う音声取得制御手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、音声取得制御部２２２、図１９のステップＳ１２）、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記音声取得制御手段により取得された音声に基づいて、前記実況キャラクタの動作を制御する音声呼応制御を行う音声呼応制御手段を有する、第１の発明のプログラムである。
【0011】
第２の発明によれば、ユーザの音声に呼応して自動で実況キャラクタの動作を制御できる。例えば、驚きを示すユーザの音声が取得された場合には、実況キャラクタが驚く動作をするように自動制御することが可能になる。よって、実況キャラクタの動作にライブ感が付加され、音声呼応制御を行わない場合よりも実況動画の表現が豊かになる。また、ユーザからして見れば、実況キャラクタを声で操作できるので、実況動画の作成やライブ形式の実況動画の配信に係る作業が容易になる。
【0012】
第３の発明は、前記実況動画生成手段が、前記ユーザが行っている前記ゲームプレイの動画を前記プレイ動画として前記実況動画を生成し、前記音声取得制御手段は、前記ゲームプレイを行っている際の前記ユーザの音声を取得する制御を行う、第２の発明プログラムである。
【0013】
第３の発明によれば、ユーザはプレイしながら音声を入力し、その音声で実況キャラクタを操作できるようになるため、プレイ動画の実況動画を作成し易くなる。
【0014】
第４の発明は、前記音声呼応制御手段が、前記プレイ状況が前記音声呼応制御を受け付ける状況であることを示す音声受付状況条件を満たす場合に、前記音声取得制御手段により取得された音声に基づいて前記実況キャラクタの動作を制御する、第３の発明のプログラムである。
【0015】
第４の発明によれば、プレイ状況が音声受付状況条件を満たす場合にのみ音声入力を可能として、そのときに入力された音声に応じて実況キャラクタを動作させるようにできる。つまり、音声にて実況キャラクタを動作制御できるタイミングをプレイ状況に応じて適切に判定することが可能となる。
【0016】
第５の発明は、前記実況動画生成手段が、前記音声取得制御手段により取得された前記ユーザの音声を実況音声として前記実況動画を生成する、第２～第４の何れかの発明のプログラムである。
【0017】
第５の発明によれば、ユーザの音声を実況音声とした実況動画を生成できる。
【0018】
第６の発明は、ユーザのコメントを取得する制御を行うコメント取得制御手段（例えば、図２３のコメント取得制御部２２９）、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記コメント取得制御手段により取得されたコメントに基づいて、前記実況キャラクタの動作を制御するコメント呼応制御を行うコメント呼応制御手段（例えば、図２３のコメント呼応制御部２３６）を有する、第１の発明のプログラムである。
【0019】
第６の発明によれば、ユーザが入力したコメントに基づいて実況キャラクタを制御できるようになる。
【0020】
第７の発明は、前記実況動画生成手段が、前記ユーザが行っている前記ゲームプレイの動画を前記プレイ動画として前記実況動画を生成し、前記コメント取得制御手段が、前記ゲームプレイを行っている際の前記ユーザのコメントを取得する制御を行う、第６の発明のプログラムである。
【0021】
第７の発明によれば、ユーザはプレイしながらコメントを入力し、そのコメントで実況キャラクタを操作できるようになる。
【0022】
第８の発明は、前記コメント呼応制御手段が、前記プレイ状況が前記コメント呼応制御を受け付ける状況であることを示すコメント受付状況条件を満たす場合に、前記コメント取得制御手段により取得されたコメントに基づいて前記実況キャラクタの動作を制御する、第７の発明のプログラムである。
【0023】
第８の発明によれば、コメントを用いて実況キャラクタを動作制御できるタイミングをプレイ状況に応じて適切に判定することが可能となる。
【0024】
第９の発明は、前記実況動画の配信を制御する、或いは、所定の配信システムへ前記実況動画のデータをアップロードすることで前記実況動画の配信を制御する配信制御手段（例えば、図１のサーバシステム１１００、配信サーバ１１０３、図９のサーバ処理部２００ｓ、配信制御部２４０、図１９のステップＳ１６）、として前記コンピュータシステムを機能させるための第１～第８の何れかの発明のプログラムである。
【0025】
第９の発明によれば、実況動画を配信できるようになる。
【0026】
第１０の発明は、前記実況動画中の前記プレイ動画および前記実況キャラクタのレイアウトを設定するレイアウト設定手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、レイアウト設定部２２６、図１９のステップＳ１８）、として前記コンピュータシステムを機能させるための第１～第９の何れかの発明のプログラムである。
【0027】
第１０の発明によれば、実況動画におけるプレイ動画と実況キャラクタの相対位置や相対サイズなどの設定、いわゆる画面のレイアウトを設定できるようになる。
【0028】
第１１の発明は、前記実況キャラクタ制御手段が、前記実況キャラクタの動作制御パターンの選択候補をユーザへ提示し、選択された選択候補の動作制御パターンに基づいて前記実況キャラクタの動作を制御する動作制御パターン選択制御手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、動作制御パターン選択制御部２３４、図２０のステップＳ５８）を有する、第１～第１０の何れかの発明のプログラムである。
【0029】
第１１の発明によれば、ユーザは、選択候補の中から自分が実況キャラクタの動作として適当と思うものを選択できるようになる。例えば、実況キャラクタが驚く動作をするべきとしても、その驚く動作は、本気で驚いている動作なのか、形式的に驚いて見せている動作なのかによってニュアンスが違う。そして、その何れを行わせるかによって、実況キャラクタの性格付けが変わるので、ユーザは実況キャラクタの細やかな性格設定の管理が可能になる。
【0030】
第１２の発明は、ユーザの操作入力に基づいて前記実況キャラクタの動作制御パターンを設定する動作制御パターン設定手段（例えば、図１のサーバシステム１１００、実況動画生成サーバ１１０２、図９のサーバ処理部２００ｓ、動作制御パターン設定部２２０、図１９のステップＳ８）、として前記コンピュータシステムを機能させ、前記実況キャラクタ制御手段は、前記動作制御パターン設定手段により設定された動作制御パターンに基づいて前記実況キャラクタの動作を制御する、第１～第１１の何れかの発明のプログラムである。
【0031】
第１２の発明によれば、実況キャラクタの動作制御パターンを、ユーザが設定することができるようになる。よって、メーカ或いは管理者が用意した既存の動作制御パターンに無いオリジナルの動作を実況キャラクタに行わせることができる。
【0032】
第１３の発明は、前記実況キャラクタ制御手段が、前記実況キャラクタの外観を変更制御する、第１～第１２の何れかの発明のプログラムである。
【0033】
第１３の発明によれば、実況キャラクタの動作制御の変更とともに実況キャラクタの外観を変更することができる。例えば、実況キャラクタにビックリしたような動作をさせるとともに、その顔が青ざめる、といった外観の変更を行うことができるようになる。
【0034】
第１４の発明は、前記分析手段が、前記プレイ動画を画像解析し、その画像解析結果に基づいて前記プレイ状況を分析する、第１～第１３の何れかの発明のプログラムである。
【0035】
第１４の発明によれば、プレイ動画を画像解析することでプレイ状況を分析することができる。
【0036】
第１５の発明は、前記分析手段が、前記ゲームプレイの操作入力情報を解析し、その解析結果に基づいて前記プレイ状況を分析する、第１～第１４の何れかの発明のプログラムである。
【0037】
第１５の発明によれば、ゲームプレイの操作入力情報に基づいてプレイ状況を分析することができる。
【0038】
第１６の発明は、前記実況動画生成手段が、前記分析手段の分析結果に基づいて、前記実況キャラクタの動画、および／又は、前記プレイ動画の再生速度を変更して前記実況動画を生成する、第１～第１５の何れか一項に記載のプログラムである。
【0039】
印象的なシーンや衝撃的なシーンをスロー再生して、印象や衝撃をより効果的に伝える動画の演出手法がある。また、時間経過や状況説明には必要であるが観る側からすると、重要ではないシーンを早送りして進行のテンポを維持する演出手法がある。
第１６の発明によれば、実況動画においても、そうした映像表現上のテクニックを自動的に適用し、演出性に富んだ実況動画を生成できるようになる。
第１６の発明によれば、実況動画においても、そうした映像表現上のテクニックを自動的に適用し、演出性に富んだ実況動画を生成できるようになる。
【0040】
第１７の発明は、ゲームプレイのプレイ動画についての実況を行う実況キャラクタの動画と、前記プレイ動画とを合わせた実況動画を生成する実況動画生成手段と、前記ゲームプレイのプレイ状況を分析する分析手段と、前記分析手段の分析結果に基づいて、前記実況キャラクタを制御する実況キャラクタ制御手段と、を備えたコンピュータシステムである。
【0041】
第１７の発明によれば、第１の発明と同様の効果が得られるコンピュータシステムを実現できる。
【図面の簡単な説明】
【0042】
【図1】実況動画生成配信システムの構成の一例を示す図。
【図2】ユーザ端末の構成例を示す正面図。
【図3】実況動画の生成の概要について説明するための図。
【図4】プレイ状況の分析について説明するための図。
【図5】分析結果に基づく実況キャラクタの動作制御について説明するための図。
【図6】１つのプレイ状況に複数の実況キャラクタの動作制御パターンが割り当てられている場合の扱いについて説明するための図。
【図7】動作制御パターンのユーザ設定について説明するための図。
【図8】既存のプレイ動画に対して実況をつけて実況動画を作成する際のプレイ動画の再生速度の変更制御について説明するための図。
【図9】第１実施形態におけるサーバシステムの機能構成例を示す機能ブロック図。
【図10】第１実施形態におけるサーバ記憶部が記憶するプログラムやデータの例を示す図。
【図11】動作制御パターン定義データのデータ構成例を示す図。
【図12】再生速度変更パターン定義データのデータ構成例を示す図。
【図13】ゲーム管理データのデータ構成例を示す図。
【図14】実況管理データのデータ構成例を示す図。
【図15】ユーザ管理データのデータ構成例を示す図。
【図16】プレイ動画登録データのデータ構成例を示す図。
【図17】実況動画登録データのデータ構成例を示す図。
【図18】ユーザ端末の機能構成の一例を示す機能ブロック図。
【図19】第１実施形態のサーバシステムにおける処理の流れを説明するためのフローチャート。
【図21】第２実施形態におけるユーザ端末の機能構成の一例を示す機能ブロック図。
【図22】第２実施形態における端末記憶部が記憶するプログラムやデータの例を示す図。
【図23】第１実施形態の変形例におけるサーバシステムの機能構成例を示す機能ブロック図。
【発明を実施するための形態】
【0043】
以下、本発明の実施形態の一例を説明するが、本発明を適用可能な形態が以下の実施形態に限られないことは勿論である。
【0044】
〔第１実施形態〕
図１は、本実施形態の実況動画生成配信システムの構成例を示す図である。
実況動画生成配信システム１０００は、実況動画の生成と実況動画を配信するサービスを提供するコンピュータシステムであって、ネットワーク９を介して相互にデータ通信が可能に接続されたサーバシステム１１００と、複数のユーザ端末１５００（１５００ａ，１５００ｂ，…）とを含む。
図１は、本実施形態の実況動画生成配信システムの構成例を示す図である。
実況動画生成配信システム１０００は、実況動画の生成と実況動画を配信するサービスを提供するコンピュータシステムであって、ネットワーク９を介して相互にデータ通信が可能に接続されたサーバシステム１１００と、複数のユーザ端末１５００（１５００ａ，１５００ｂ，…）とを含む。
【0045】
ネットワーク９は、データ通信が可能な通信路を意味する。すなわち、ネットワーク９とは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮ（Local Area Network）の他、電話通信網やケーブル網、インターネット等の通信網を含む意味であり、また、通信方法については有線／無線を問わない。
【0046】
サーバシステム１１００は、ゲームサーバ１１０１と、実況動画生成サーバ１１０２と、配信サーバ１１０３と、を有するコンピュータシステムである。
【0047】
ゲームサーバ１１０１は、実況動画生成配信システム１０００の登録済みユーザでゲームのプレーヤとなるユーザ２（２ａ）（以降「プレーヤ」と言う。）が使用するユーザ端末１５００（１５００ａ）にてオンラインゲームを実行させるためのゲーム進行管理を行うサーバシステムであり、コンピュータシステムである。ゲームサーバ１１０１は、例えば、キーボード１１０６と、タッチパネル１１０８と、ストレージ１１４０とを有し、本体装置には制御基板１１５０を搭載する。
【0048】
制御基板１１５０には、ＣＰＵ（Central Processing Unit）１１５１やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などの各種マイクロプロセッサ、ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１１５２、通信装置１１５３が搭載されている。なお、制御基板１１５０の一部又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）により実現するとしてもよい。
【0049】
そして、ゲームサーバ１１０１は、制御基板１１５０が所定のプログラムおよびデータに基づいて演算処理することにより、ユーザ登録等に係るユーザ管理機能と、登録ユーザであるユーザ２（２ａ）がユーザ端末１５００（１５００ａ）でゲームプレイするのに必要なデータを提供する機能と、を実現する。なお、本実施形態ではユーザ２（２ａ）を１名として説明するが、複数名であってもよい。
【0050】
実況動画生成サーバ１１０２は、ゲームサーバ１１０１と同様のハードウェアにより実現可能であり、実況動画の生成に関する処理を担うコンピュータシステムである。本実施形態では、ゲームサーバ１１０１からプレイ動画のデータを取得し、実況動画生成配信システム１０００の登録済みユーザであり且つ実況者となるユーザ（以降「実況ユーザ」と言う。）が設定した実況キャラクタが実況をする動画を、プレイ動画に合成した実況動画を生成する。本実施形態では、ユーザ２（２ａ）がゲームプレイをしながら実況者を兼ねるライブ形式の実況動画の配信を例示するので、ユーザ２（２ａ）は本実施形態では実況ユーザでもあることになる。
【0051】
配信サーバ１１０３は、ゲームサーバ１１０１と同様のハードウェアにより実現可能であり、動画データ（本実施形態では、プレイ動画や実況動画）の提供（いわゆる投稿）の受け付け、動画データの管理、動画データの配信、に関する処理を担う。本実施形態では、実況動画生成サーバ１１０２で生成された実況動画の動画データを逐次取得して、単数または複数の視聴者３（３ａ，３ｂ，…）のユーザ端末１５００（１５００ｃ，１５００ｄ，…）へ配信する。
【0052】
なお、図１では、それぞれ別々のサーバ装置として描いているが、一台のサーバ装置が３つのサーバ機能を実現する構成であってもよい。その場合、サーバシステム１１００は各機能を分担する複数のブレードサーバを搭載して相互に内部バスを介してデータ通信可能に接続した構成であっても良い。また、サーバシステム１１００を構成するハードウェアの設置場所は問わない。離れた場所に設置された独立した複数のサーバを、ネットワーク９を介してデータ通信させることで、全体としてサーバシステム１１００として機能させる構成であっても良い。
【0053】
ユーザ端末１５００（１５００ａ，１５００ｃ，…）は、ユーザ２（２ａ，２ｃ，…）がゲームプレイ、実況動画の生成、プレイ動画や実況動画の視聴、のために個別に使用するコンピュータシステムであって、ネットワーク９を介してサーバシステム１１００にアクセスできる電子装置（電子機器）である。機能的に言えば、ユーザ端末１５００はゲーム装置、実況動画の編出装置、動画視聴装置、となるものである。本実施形態のユーザ端末１５００は、いわゆるスマートフォンと呼ばれる装置であるが、携帯型ゲーム装置や、タブレット型コンピュータ、パーソナルコンピュータ、などでもよい。
【0054】
図２は、本実施形態におけるユーザ端末１５００の構成例を示す正面図である。
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、スピーカ１５１０と、内蔵バッテリー１５０９と、マイク１５１２と、イメージセンサーユニット１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、ゲームプレイ等の対価の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。
ユーザ端末１５００は、方向入力キー１５０２と、ボタンスイッチ１５０４と、画像表示デバイス兼接触位置入力デバイスとして機能するタッチパネル１５０６と、スピーカ１５１０と、内蔵バッテリー１５０９と、マイク１５１２と、イメージセンサーユニット１５２０と、制御基板１５５０と、コンピュータ読み出し可能な記憶媒体であるメモリカード１５４０からデータを読み書きできるメモリカード読取装置１５４２と、を備える。その他、図示されていない電源ボタン、音量調節ボタン等が設けられている。また、ゲームプレイ等の対価の支払いが可能なＩＣカード型のクレジットカードやプリペイドカードに対して非接触にデータの読み書きが行えるＩＣカード読取装置などを設けるとしてもよい。
【0055】
制御基板１５５０は、
１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、
２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、
３）ネットワーク９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、
４）インターフェース回路１５５７、などを搭載する。
１）ＣＰＵ１５５１や、ＧＰＵ，ＤＳＰなどの各種マイクロプロセッサ、
２）ＶＲＡＭやＲＡＭ，ＲＯＭ等の各種ＩＣメモリ１５５２、
３）ネットワーク９に接続する携帯電話基地局や無線ＬＡＮ基地局などと無線通信するための無線通信モジュール１５５３、
４）インターフェース回路１５５７、などを搭載する。
【0056】
インターフェース回路１５５７には、タッチパネル１５０６のドライバ回路、方向入力キー１５０２およびボタンスイッチ１５０４からの信号を受信する回路、スピーカ１５１０へ音声信号を出力する出力アンプ回路、マイク１５１２で集音した音声の信号を生成する入力信号生成回路、イメージセンサーユニット１５２０で撮影された画像の画像データを入力する回路、メモリカード読取装置１５４２への信号入出力回路、などが含まれている。
【0057】
制御基板１５５０に搭載されているこれらの要素は、バス回路などを介して電気的に接続され、データの読み書きや信号の送受信が可能に接続されている。なお、制御基板１５５０の一部又は全部をＡＳＩＣやＦＰＧＡ、ＳｏＣにて構成してもよい。そして、制御基板１５５０は、本実施形態のゲームのユーザ端末としての機能を実現させるためのプログラムや各種データをＩＣメモリ１５５２に記憶する。
【0058】
なお、本実施形態では、ユーザ端末１５００はプログラムや各種設定データをサーバシステム１１００からダウンロードする構成としているが、別途入手したメモリカード１５４０などの記憶媒体から読み出す構成としても良い。
【0059】
図３は、本実施形態における実況動画の生成の概要について説明するための図である。
本実施形態では、ユーザ２（２ａ）は、ゲームのプレーヤと、実況キャラクタ７を使った実況ユーザとを兼ねる。そして、ユーザ２（２ａ）は、ゲームのプレイ動画１０と、そのゲームプレイを実況する実況キャラクタ７が動作する映像（実況キャラクタ７の動画）とを合成した実況動画１２をライブ形式で配信する作業をする。
本実施形態では、ユーザ２（２ａ）は、ゲームのプレーヤと、実況キャラクタ７を使った実況ユーザとを兼ねる。そして、ユーザ２（２ａ）は、ゲームのプレイ動画１０と、そのゲームプレイを実況する実況キャラクタ７が動作する映像（実況キャラクタ７の動画）とを合成した実況動画１２をライブ形式で配信する作業をする。
【0060】
ユーザ２（２ａ）のユーザ端末１５００（１５００ａ）では、ゲームサーバ１１０１と通信することでゲームが実行されてゲーム画面が表示される。このゲーム画面のライブでの連続的な表示が本実施形態におけるプレイ動画１０となる。勿論、配信形式を、ライブ形式としなければ、別途、ゲーム画面を動画形式で保存してプレイ動画１０とすることもできる。
【0061】
ゲームのジャンルは問わない。図３の例では、ユーザ２（２ａ）がプレーヤとして操作するプレーヤキャラクタ４が、他ユーザまたはコンピュータにより操作される敵キャラクタ６と戦闘するアクションゲームを示している。本実施形態のゲームでは、例えば、戦場で敵と遭遇すると、制限時間付きの対戦がスタートし、制限時間内で撃破された側、または制限時間経過時点でダメージが大きい側が、当該ラウンドでの敗者となる。そして、所定数の勝利を先取した側が戦闘での勝者となる。
【0062】
本実施形態では、ゲームサーバ１１０１は、ゲームの進行制御とともに、
１）ユーザ端末１５００（１５００ａ）から受信した操作入力の履歴の記録と、
２）ゲームを進行制御するための各種パラメータ値（以降、進行制御パラメータ値と言う。）の履歴の記録と、
３）プレイ動画１０の動画データの記録と、
４）ユーザ端末１５００（１５００ａ）のマイク１５１２で集音されたユーザ２（２ａ）が発したゲームプレイ中の様々なユーザ音声の音声データの記録と、
を行う。
１）ユーザ端末１５００（１５００ａ）から受信した操作入力の履歴の記録と、
２）ゲームを進行制御するための各種パラメータ値（以降、進行制御パラメータ値と言う。）の履歴の記録と、
３）プレイ動画１０の動画データの記録と、
４）ユーザ端末１５００（１５００ａ）のマイク１５１２で集音されたユーザ２（２ａ）が発したゲームプレイ中の様々なユーザ音声の音声データの記録と、
を行う。
【0063】
実況動画生成サーバ１１０２には、ユーザ２（２ａ）の実況ユーザとしての登録情報と、事前に用意された実況キャラクタ７の設定情報と、が対応づけて記憶されている。
【0064】
実況動画生成サーバ１１０２は、ユーザ端末１５００（１５００ａ）にて所定の実況動画生成操作が入力されると、ゲームサーバ１１０１から、プレイ動画１０（本実施形態ではライブのゲーム画面）、操作入力情報の履歴、進行制御パタメータ値の履歴、ユーザ音声、の各種データの取得を開始する。これらを以降総括して「プレイ情報」と言うこととする。
【0065】
そして、実況動画生成サーバ１１０２は、プレイ情報に基づいて、ゲームプレイのプレイ状況を分析する。ここで言う「プレイ状況」とは、ゲームの進行状況のことであり、実況の対象とされるゲームプレイの内容に相当する。例えば、「プレーヤが優勢」「プレーヤキャラクタがあと１撃で撃破されそう」「レアアイテムをゲットした」「接戦である」「残り時間が１分を切った」などである。
【0066】
そして、実況動画生成サーバ１１０２は、プレイ状況の分析結果に基づいて、予め用意されている実況キャラクタ７の動作制御パターンのなかから、その時々の分析結果に相応する動作を定義する動作制御パターンを検索し、検索した動作制御パターンを用いて実況キャラクタ７の動作を制御する。
【0067】
実況キャラクタ７が動作する様子（実況キャラクタ７の動画）は、プレイ動画１０とともに合成されて実況動画１２の画面を構成する。また、プレイ動画１０に含まれるゲーム音声と、実況音声となるユーザ音声と、が合成されることで音声が付加されて実況動画１２が生成される。
実況動画１２のデータは、逐次、実況動画生成サーバ１１０２から配信サーバ１１０３へ送信され、配信サーバ１１０３がライブ形式での実況動画１２の配信を行う。
実況動画１２のデータは、逐次、実況動画生成サーバ１１０２から配信サーバ１１０３へ送信され、配信サーバ１１０３がライブ形式での実況動画１２の配信を行う。
【0068】
本実施形態では、ライブ形式での実況動画１２の配信を行うので、ゲームプレイの進行制御と、プレイ動画１０の保存と、実況キャラクタ７の動作制御と、実況動画１２の生成と、実況動画１２の配信制御とは、並列的に同時進行で行われることとなる。
【0069】
従来であれば、プレイ動画の実況動画を配信するには、プレイ動画の録画、動画編集、実況音声の追加、配信サイトへのアップロード、と言った作業を１つ１つ行う必要がった。また、実況動画中に実況キャラクタを登場させるには、あたかも実況キャラクタが、実況アナウンサーやスポーツ番組のパーソナリティのごとく振る舞うような実況キャラクタの動作を実況ユーザが設定してその動画を作成し、これを合成する必要があった。
【0070】
しかし、本実施形態では、実況キャラクタ７が自動制御されるので、プレーヤであり実況ユーザであるユーザ２（２ａ）は、実況や解説の音声を発しつつゲームプレイの操作をするだけでよい。従来のような数々の段階を踏んだ作業を行わなくとも、簡単にブイチューバーとしてのライブ形式の実況動画１２の配信が可能となる。
【0071】
また、プレーヤであり実況ユーザであるユーザ２（２ａ）は、実況や解説の音声を発しつつゲームプレイの操作をすることは、特に、一時たりともプレイ操作を止められないジャンルのゲーム（例えば、アクションゲームやシューティングゲーム、フライトシミュレータ、など）について、ライブ形式で実況動画を配信することを容易ならしめる。
【0072】
図４は、本実施形態におけるプレイ状況の分析について説明するための図である。
本実施形態では、プレイ状況の分析を４通りの手法で行う。
第１の手法として、実況動画生成サーバ１１０２はプレイ動画１０の画像解析を行う。例えば、画像解析辞書データ５１２には、プレイ動画１０のキャプチャ画像と比較される辞書画像と、当該辞書画像とマッチングした場合に認定されるプレイ状況と、が定義されている。実況動画生成サーバ１１０２は、キャプチャ画像と辞書画像との画像マッチングの判定処理を実行し、適合した辞書画像の画像解析辞書データ５１２が示すプレイ状況を当該手法における分析結果とする。
本実施形態では、プレイ状況の分析を４通りの手法で行う。
第１の手法として、実況動画生成サーバ１１０２はプレイ動画１０の画像解析を行う。例えば、画像解析辞書データ５１２には、プレイ動画１０のキャプチャ画像と比較される辞書画像と、当該辞書画像とマッチングした場合に認定されるプレイ状況と、が定義されている。実況動画生成サーバ１１０２は、キャプチャ画像と辞書画像との画像マッチングの判定処理を実行し、適合した辞書画像の画像解析辞書データ５１２が示すプレイ状況を当該手法における分析結果とする。
【0073】
勿論、画像解析の方法は、これに限らず適宜選択可能である。例えば、プレーヤキャラクタ４の状態を画像解析で認識するには、プレーヤキャラクタ４のヒットポイントゲージを解析するための画像解析辞書データ５１２を用意しておく。そして、ヒットポイントが基準値より低くなっていると認識された場合には、「プレーヤキャラクタがピンチ」のプレイ状況を当該手法における分析結果とするとしてもよい。また例えば、敵キャラクタ６が撃破されたときの演出表示の画像をキャップチャ画像内から検索して、該当する画像が含まれていれば、「敵を撃破」のプレイ状況を当該手法における分析結果とするとしてもよい。
【0074】
第２の手法として、実況動画生成サーバ１１０２は進行制御パラメータ値を進行制御パラメータ値用辞書データ５１４と比較して、適合する進行制御パラメータ値用辞書データ５１４に予め対応づけられているプレイ状況を当該手法における分析結果とする。例えば、プレーヤの勝利数を敵の勝利数が上回っている値が、所定の劣勢基準値に達していることを示す認識基準が満たされた場合に、「プレーヤは劣勢」のプレイ状況を当該手法における分析結果とする。
【0075】
第３の手法として、ユーザ２（２ａ）のゲームプレイの操作入力情報の履歴を操作入力情報用辞書データ５１６と比較して、適合する辞書データに予め対応づけられているプレイ状況を当該手法における分析結果とする。例えば、敵キャラクタ６に関する操作入力情報が「必殺技の発動」であれば、それに対応付けられている「敵が必殺技を発動」「プレーヤは危険」といったプレイ状況を当該手法における分析結果とするとしてもよい。
【0076】
第４の手法として、実況動画生成サーバ１１０２はユーザ音声を音声認識辞書データ５１８と比較して、適合する辞書データに予め対応づけられているプレイ状況を当該手法における分析結果とする。例えば、「ヤバい」「まずい」「失敗した」などのキーワードが音声認識された場合には、それらに対応付けられている「プレーヤはミスをした」「プレーヤはピンチか！？」といったプレイ状況を当該手法における分析結果とするとしてもよい。
【0077】
なお、第４の手法は、プレイ状況が所定の音声受付状況条件を満たす場合にのみ適用することとしてもよい。ここで言う「音声受付状況条件」とは、たとえば、イベントが発生している場合である。ここで言う「イベント」は、レアアイテムの獲得、プレーヤキャラクタ４が撃破されたこと、敵キャラクタ６を撃破したこと、ユーザ音声の音量が基準値を超えた、などであり適宜設定可能である。勿論、音声受付状況条件による第４の手法の適用場面の限定は設けなくても良い。
【0078】
図５は、分析結果に基づく実況キャラクタの動作制御について説明するための図である。
実況動画生成サーバ１１０２には、予め動作種類別の動作制御パターン定義データ５２０が複数記憶されている。１つの動作制御パターン定義データ５２０は、動作種類５２１と、当該データ定義データの動作が実況キャラクタの動作制御に適用されるべき条件を示す適用要件５２２と、動作を実現するためのモーションデータ５２３と、動作とともに実行される演出表示を実現するためのエフェクトデータ５２４と、動作とともに適用される外観変更を実現するための外観変更データ５２５と、を含む。勿論、これら以外のデータも適宜含めることができる。
実況動画生成サーバ１１０２には、予め動作種類別の動作制御パターン定義データ５２０が複数記憶されている。１つの動作制御パターン定義データ５２０は、動作種類５２１と、当該データ定義データの動作が実況キャラクタの動作制御に適用されるべき条件を示す適用要件５２２と、動作を実現するためのモーションデータ５２３と、動作とともに実行される演出表示を実現するためのエフェクトデータ５２４と、動作とともに適用される外観変更を実現するための外観変更データ５２５と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0079】
実況動画生成サーバ１１０２は、分析結果に適合する適用要件５２２を有する動作制御パターン定義データ５２０を検索する。そして、検索された動作制御パターン定義データ５２０に設定されているモーションデータ５２３に従って実況キャラクタ７を動作制御し、エフェクトデータ５２４に従って演出表示を行い、外観変更データ５２５に従って実況キャラクタ７の外観を変更する。
【0080】
図５の例では、分析結果から、プレーヤキャラクタ４が「あと一撃で撃破される」状況が判明したことを示している。動作制御パターン定義データ５２０には、適用要件５２２がそうした「あと一撃で撃破される」状況に対応付けて設定された定義データがある。そのモーションデータ５２３に従って実況キャラクタ７は頭を抱えて焦る動作をし、焦りをコミカルに示す汗オブジェクトをエフェクトデータ５２４に従って付加表示し、外観変更データ５２５に従って白目と愕然と口を開けた外観に変更している。
【0081】
動作制御パターン定義データ５２０に、対象とするゲームタイトルのゲームルールで生じると予測されるプレイ状況を細かに設定し、それに適当な実況キャラクタ７の動作を定義すれば、自ずとプレイ動画１０で繰り広げられているプレイ状況を実況するのに適当なアクションを実況キャラクタ７が自動的に行ってくれる。プレーヤであり実況ユーザであるユーザ２（２ａ）は、自身の手でゲームプレイの操作入力を行いつつ、自身の音声で実況や解説をすることで、実況キャラクタ７の動作が制御されるため、ユーザ２（２ａ）が逐一、実況キャラクタ７の動作を制御するためだけの操作入力をしなくとも、良質な実況動画１２が簡単にできあがる。
【0082】
図６は、１つのプレイ状況に複数の実況キャラクタ７の動作制御パターンが割り当てられている場合の扱いについて説明するための図である。
同じプレイ状況でも、異なる複数の動作を行う場合がある。例えば、とあるプレイ状況に対して、実況キャラクタ７が驚く動作をする場合、その驚く動作は、本気で驚く動作と、笑いを誘うような他の目的のために形式的に驚いて見せる動作、が考えられる。勿論、他にも異なる驚きの動作があるだろう。そして、その時どのような驚く動作を行うかによって、実況キャラクタの性格付けが変わり、実況動画１２の全体としての演出の流れがきまる。実況ユーザであるユーザ２（２ａ）にとっては、重要な選択となる。
同じプレイ状況でも、異なる複数の動作を行う場合がある。例えば、とあるプレイ状況に対して、実況キャラクタ７が驚く動作をする場合、その驚く動作は、本気で驚く動作と、笑いを誘うような他の目的のために形式的に驚いて見せる動作、が考えられる。勿論、他にも異なる驚きの動作があるだろう。そして、その時どのような驚く動作を行うかによって、実況キャラクタの性格付けが変わり、実況動画１２の全体としての演出の流れがきまる。実況ユーザであるユーザ２（２ａ）にとっては、重要な選択となる。
【0083】
本実施形態では、実況動画生成サーバ１１０２は、その時のプレイ状況に適合する定義データが複数検索された場合、それらを選択候補としてユーザ２（２ａ）に提示し、選択操作を受け付ける。そして、選択された定義データに従って実況キャラクタ７の動作を制御する。
【0084】
図６の例では、動作の候補として２つの選択候補３０（３０ａ，３０ｂ）が検索されており、実況動画生成サーバ１１０２は、実況ユーザのユーザ端末１５００（１５００ａ）にて、現在の実況キャラクタ７の動作の様子を示す動作モニタ像３２と、選択候補３０（３０ａ，３０ｂ）に対応づけられる選択操作アイコン３３（３３ａ，３３ｂ）を、ゲーム画面Ｗ６（或いは図示されていない実況操作の画面）にてオーバーレイ表示させている。そして、ユーザ２（２ａ）が、タッチ操作した何れかの選択操作アイコン３３に対応する動作制御パターンが、実況キャラクタ７の動作として適用されている。
【0085】
このように、本実施形態では、１つのプレイ状況に複数の動作制御パターンを割り当てることがあっても、ユーザ２（２ａ）は、ほんの僅かな操作で、実況キャラクタ７や実況動画１２に係る重要な選択を簡単に行うことができる。
【0086】
なお、ユーザ端末１５００が３軸加速度センサを搭載している構成においては、選択操作アイコン３３へのタッチ操作による選択に代えて、ユーザ端末１５００を振ったり傾けたりする操作によって選択入力するとしてもよい。この場合、ゲームプレイに重要な指先の操作を、動作制御パターンの選択に使わなくてすみ、ユーザビリティが向上するので好適である。
【0087】
図７は、動作制御パターンのユーザ設定について説明するための図である。
実況キャラクタ７の動作制御パターンは、基本的にはサーバシステム１１００のメーカや管理者が用意するが、ユーザ自らが作成し登録することができる。
実況キャラクタ７の動作制御パターンは、基本的にはサーバシステム１１００のメーカや管理者が用意するが、ユーザ自らが作成し登録することができる。
【0088】
ユーザ端末１５００にて所定の動作制御パターンのユーザ設定操作が検出されると、実況動画生成サーバ１１０２は、ユーザ端末１５００にて動作制御パターン設定画面Ｗ７を表示させる。当該設定画面では、動作制御パターンの新規設定や既存パターンの編集の機能を呼び出す操作入力が可能とされる。
【0089】
新規設定では、複数の設定方法選択アイコン４０（４０ａ，４０ｂ，…）が表示される。
本実施形態では、ユーザ２が別途作成したモーションファイルを読み込むか、モーションキャプチャ機能を起動させてモーションデータのもとを作るか、予め用意されているモーション要素を組み合わせて新たなモーションを作成するか、を選択できる。
本実施形態では、ユーザ２が別途作成したモーションファイルを読み込むか、モーションキャプチャ機能を起動させてモーションデータのもとを作るか、予め用意されているモーション要素を組み合わせて新たなモーションを作成するか、を選択できる。
【0090】
図７では、モーションキャプチャ機能を起動させてモーションデータの素材を作る例を示している。ユーザ２（２ａ）は、ユーザ端末１５００（１５００ａ）にてモーションキャプチャ機能を起動させて、これを三脚４２でグリーンバック４４などの前に固定する。ユーザ端末１５００は、イメージセンサーユニット１５２０のカメラをグリーンバック４４に向けた姿勢とする。
【0091】
ユーザ２（２ａ）は、グリーンバック４４の前で、ユーザ端末１５００（１５００ａ）へ向けて設定したいと考えている動作を行い、ユーザ端末１５００（１５００ａ）に撮影させる。
【0092】
ユーザ端末１５００（１５００ａ）は、撮影した動画を実況動画生成サーバ１１０２へ送信すると、実況動画生成サーバ１１０２は、撮影された動画から人体の関節構造を認識し、認識した人体の関節の動きに基づいて、同じ動きを実況キャラクタ７で再現可能とするためのモーションデータ４６を作成し、これをユーザ端末１５００（１５００ａ）へ送信する。そして、ユーザ端末１５００（１５００ａ）にて、受信したモーションデータ４６の編集操作を受け付けるモーション編集画面Ｗ８を表示させる。
【0093】
ユーザ２（２ａ）は、モーション編集画面Ｗ８での編集操作で、モーションの不要な動作部分をカットし、適当なデータ名を設定する。ユーザ端末１５００は、所定のアップロード操作を検出すると、編集されたモーションデータ４６を実況動画生成サーバ１１０２にユーザアカウントとともに送信する。そして、実況動画生成サーバ１１０２は、アップロードされた動作制御パターン定義データ５２０を、受信したユーザアカウントに対応づけて登録・記憶する。
【0094】
こうした動作制御パターンのユーザ設定サービスを利用することで、ユーザ２（２ａ）は、実況キャラクタ７に動作の点においてオリジナリティーを付与することができる。
【0095】
なお、撮影画像からモーションデータを生成する処理は、ユーザ端末１５００にて行う構成としてもよい。また、モーションデータ４６は、その他の方法（例えば、３ＤＣＧの作成ソフトウェアで作成する）などであってもよい。
【0096】
ここまで、本実施形態におけるライブ形式での実況動画１２の配信を前提に説明してきたが、実況動画生成配信システム１０００では、ユーザ２（２ａ）が、既に記録・登録されたプレイ動画１０（以降、既存のプレイ動画１０と言う。）に対して、ユーザ２（２ａ）が実況や解説の音声を入力する一方で、実況キャラクタ７を自動制御させて実況動画１２を作成することもできる。
【0097】
図８は、既存のプレイ動画１０に対して実況をつけた実況動画１２を作成する際に、プレイ動画１０の再生速度を変更制御する技術について説明するための図である。
既存のプレイ動画１０を用いて実況動画１２を作成する場合、実況動画生成サーバ１１０２は、ユーザ音声の音声認識において、所定の再生速度を変更するキーワードが検出された場合、実況の対象であるプレイ動画１０の再生速度を変更する。
既存のプレイ動画１０を用いて実況動画１２を作成する場合、実況動画生成サーバ１１０２は、ユーザ音声の音声認識において、所定の再生速度を変更するキーワードが検出された場合、実況の対象であるプレイ動画１０の再生速度を変更する。
【0098】
具体的には、図８（１）に示すように、そのシーンをゆっくりと見せることでより印象を高める演出手法が効果的なプレイ状況の場合に、ユーザが発すると予測されるキーワード（例えば、図８（１）中の例は、「レア（アイテム）ゲット！」「ボス攻略！」）が、ユーザ音声の認識にて検出された場合には、実況の対象とされる既存のプレイ動画１０の再生速度を、一定時間または所定の解除条件が満たされるまでスロー再生に変更する。但し、実況キャラクタ７の動作については、標準のまま維持するものとする。
【0099】
また、図８（２）に示すように、時間経過や状況説明には必要であるが、動画を閲覧する側からすると退屈になりがちなシーンを早送りして進行のテンポを維持する演出手法が効果的なプレイ状況であることを示す音声キーワード（例えば、図８（２）中の例は、「サクッと飛ばしましょう」「流しましょう」）が、ユーザ音声の認識にて検出された場合には、実況の対象とされる既存のプレイ動画１０の再生速度を、一定時間または所定の解除条件が満たされるまで早送り再生（１倍速以上の倍速再生の意）に変更する。但し、実況キャラクタ７の動作については、標準のまま維持するものとする。
【0100】
このように、本実施形態によれば、実況動画１２においても、スロー再生や早送り再生を駆使した映像表現上のテクニックを自動的に適用し、演出性に富んだ実況動画を生成できるようになる。
【0101】
なお、再生速度の変更には、逆再生、それを利用した繰り返し再生などを適宜含めることができる。また、プレイ動画１０の再生速度の変更に合わせて、実況キャラクタ７の動作の速度を変更したり、実況キャラクタ７の動画の再生速度を変更したりしてもよい。また、再生速度の変更は、ライブ形式の実況動画１２の配信であっても、その場でリプレイ動画を生成できる構成の場合には、同様に適用することができる。
【0102】
図９は、サーバシステム１１００の機能構成例を示す機能ブロック図である。
サーバシステム１１００は、操作入力部１００ｓと、サーバ処理部２００ｓと、音出力部３９０ｓと、画像表示部３９２ｓと、通信部３９４ｓと、サーバ記憶部５００ｓとを備える。
サーバシステム１１００は、操作入力部１００ｓと、サーバ処理部２００ｓと、音出力部３９０ｓと、画像表示部３９２ｓと、通信部３９４ｓと、サーバ記憶部５００ｓとを備える。
【0103】
操作入力部１００ｓは、サーバの管理のための各種操作を入力するための手段である。図１のキーボード１１０６がこれに該当する。
【0104】
サーバ処理部２００ｓは、例えばＣＰＵやＧＰＵ、ＡＳＩＣ、ＦＰＧＡ等の演算回路となるプロセッサの他、ＩＣメモリなどの電子部品によって実現され、操作入力部１００ｓやサーバ記憶部５００ｓを含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００ｓからの操作入力信号、ユーザ端末１５００などから受信したデータ、等に基づいて各種の演算処理を実行して、サーバシステム１１００の動作を統合的に制御する。
【0105】
そして、サーバ処理部２００ｓは、ユーザ管理部２１０と、ゲーム管理部２１２と、動作制御パターン設定部２２０と、音声取得制御部２２２と、分析部２２４と、レイアウト設定部２２６と、実況動画生成制御部２２８と、実況キャラクタ制御部２３０と、配信制御部２４０と、計時部２８０ｓと、音生成部２９０ｓと、画像生成部２９２ｓと、通信制御部２９４ｓとを含む。勿論、これら以外の機能部も適宜含めることができる。
【0106】
本実施形態では、ユーザ管理部２１０とゲーム管理部２１２は、ゲームサーバ１１０１の機能に該当する。また、動作制御パターン設定部２２０と、音声取得制御部２２２と、分析部２２４と、レイアウト設定部２２６と、実況動画生成制御部２２８と、実況キャラクタ制御部２３０とは、実況動画生成サーバ１１０２の機能に該当する。また、配信制御部２４０は、配信サーバ１１０３の機能に該当する。勿論、サーバシステム１１００のハードウェア構成によっては、これらを１台のサーバ装置で実現するなど、機能とハードウェアとの分担関係はこれに限定されるものではない。
【0107】
ユーザ管理部２１０は、ユーザ登録手続きに係る処理及びユーザアカウントに紐付けられる各ユーザの情報の記憶管理を行う。
【0108】
ゲーム管理部２１２は、ゲームの進行制御などゲーム実行に関する各種処理を行う。
【0109】
動作制御パターン設定部２２０は、ユーザの操作入力に基づいて実況キャラクタ７の動作制御パターンを設定する。
【0110】
音声取得制御部２２２は、ゲームプレイを行っている際のユーザの音声を取得する制御を行う。
【0111】
分析部２２４は、ゲームプレイのプレイ状況を分析する。具体的には、分析部２２４は、プレイ動画１０を画像解析し、その画像解析結果に基づいてプレイ状況を分析する。また、分析部２２４は、ゲームプレイの操作入力情報を解析し、その解析結果に基づいてプレイ状況を分析することができる。
【0112】
レイアウト設定部２２６は、実況動画１２の中のプレイ動画１０および実況キャラクタ７のレイアウトを設定する。ここで言う「レイアウト」とは、実況動画１２の画面表示内におけるプレイ動画１０と実況キャラクタ７の相対位置や相対サイズなど、双方の表示のさせ方の設定である。勿論、実況動画１２のゲーム画面内に表示される要素は、プレイ動画１０と実況キャラクタ７以外の表示要素も含めることは可能であり、その場合はその表示要素についての設定もレイアウトの設定に含めることができる。
【0113】
実況動画生成制御部２２８は、ゲームプレイのプレイ動画１０についての実況を行う実況キャラクタ７の動画と、プレイ動画１０とを合わせた実況動画１２を生成する制御を行う。実況動画生成制御部２２８は、後述する画像生成部２９２ｓとともに、実況動画生成手段として機能する。具体的には、実況動画生成制御部２２８は、ユーザが行っているゲームプレイの動画を実況対象のプレイ動画１０とし、音声取得制御部２２２により取得されたユーザの音声を実況音声として実況動画１２を生成する。
【0114】
また、実況動画生成制御部２２８は、分析部２２４の分析結果に基づいて、実況キャラクタ７の動画、および／又は、プレイ動画１０の再生速度を変更して実況動画を生成することができる。
【0115】
実況キャラクタ制御部２３０は、分析部２２４の分析結果に基づいて、実況キャラクタ７を制御する。具体的には、実況キャラクタ７の動作制御と、外観の変更制御と、実況キャラクタ７の動作制御に付随して表示される演出表示の表示制御と、を行う。そして、実況キャラクタ制御部２３０は、音声呼応制御部２３２と、動作制御パターン選択制御部２３４と、を有する。
【0116】
音声呼応制御部２３２は、プレイ状況が音声呼応制御を受け付ける状況であることを示す音声受付状況条件を満たす場合に、音声取得制御部２２２により取得された音声に基づいて、実況キャラクタ７の動作を制御する音声呼応制御を行う。
【0117】
動作制御パターン選択制御部２３４は、実況キャラクタ７の動作制御パターンの選択候補をユーザへ提示し、選択された選択候補の動作制御パターンに基づいて実況キャラクタ７の動作を制御する。
【0118】
配信制御部２４０は、実況動画１２の配信を制御する。
【0119】
計時部２８０ｓは、システムクロックを利用して現在日時や制限時間等の計時を行う。
【0120】
音生成部２９０ｓは、音声データの生成やデコードをするＩＣやソフトウェアの実行により実現され、サーバシステム１１００のシステム管理や動画配信に係る操作音やＢＧＭなどの音声データを生成或いはデコードする。そして、システム管理に関する音声信号は音出力部３９０ｓへ出力する。
【0121】
音出力部３９０ｓは、音声信号を放音する。図１の例では本体装置やタッチパネル１１０８が備えるスピーカ（不図示）がこれに該当する。
【0122】
画像生成部２９２ｓは、画像の生成、画像の合成、画像表示部３９２ｓにそれらを表示させる画像信号の出力を行う。本実施形態では、サーバシステム１１００のシステム管理に関する画像や、ゲーム画像（又はゲーム画像をユーザ端末１５００で表示させるためのデータ）、実況動画１２、などの画像を生成する機能の一部を担う。
【0123】
通信制御部２９４ｓは、データ通信に係るデータ処理を実行し、通信部３９４ｓを介して外部装置とのデータのやりとりを実現する。
【0124】
通信部３９４ｓは、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現される。図１の例では通信装置１１５３が該当する。
【0125】
サーバ記憶部５００ｓは、サーバ処理部２００ｓにサーバシステム１１００を統合的に制御させるための諸機能を実現するためのプログラムや各種データ等を記憶する。また、サーバ処理部２００ｓの作業領域として用いられ、サーバ処理部２００ｓが各種プログラムに従って実行した演算結果などを一時的に記憶する。この機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスク、オンラインストレージなどによって実現される。図１の例では本体装置が搭載するＩＣメモリ１１５２やハードディスクなどの記憶媒体、及びストレージ１１４０がこれに該当する。
【0126】
図１０は、本実施形態におけるサーバ記憶部５００ｓが記憶するプログラムやデータの例を示す図である。本実施形態におけるサーバ記憶部５００ｓは、サーバプログラム５０１と、配信用クライアントプログラム５０３と、ゲーム初期設定データ５１０と、画像解析辞書データ５１２と、進行制御パラメータ値用辞書データ５１４と、操作入力情報用辞書データ５１６と、音声認識辞書データ５１８と、動作制御パターン定義データ５２０と、再生速度変更パターン定義データ５４０と、を記憶する。
【0127】
また、サーバ記憶部５００ｓは、逐次生成・管理されるデータとして、ゲーム管理データ５５０と、実況管理データ５７０と、ユーザ管理データ６００と、プレイ動画登録データ７００と、実況動画登録データ７３０と、現在日時８００と、を記憶する。サーバ記憶部５００ｓは、その他のプログラムやデータ（例えばタイマや、カウンタ、各種フラグなど）も適宜記憶できる。
【0128】
サーバプログラム５０１は、サーバ処理部２００ｓが読み出して実行することで、ユーザ管理部２１０～配信制御部２４０としての機能を実現させるためのプログラムである。本実施形態では、サーバシステム１１００は、ゲームサーバ１１０１、実況動画生成サーバ１１０２、配信サーバ１１０３の３つのハードウェア要素により構成されているので、それぞれが担う機能を実現するためのサーバプログラムが記憶されていることになる。
【0129】
配信用クライアントプログラム５０３は、ユーザ端末１５００へ提供されるクライアントプログラムのオリジナルである。本実施形態では、１つの配信用クライアントプログラム５０３に、ユーザ端末１５００にてオンラインゲームを実行させるための配信用ゲームクライアントプログラム５０３ａと、ユーザ端末１５００を実況動作の生成のための端末として機能させるための配信用実況クライアントプログラム５０３ｂと、を含む。これらは、別々にユーザ端末１５００へ配信されるとしてもよい。
【0130】
ゲーム初期設定データ５１０は、オンラインゲームの実行に必要な各種初期設定データを含む。図１０の例では、ゲーム初期設定データ５１０を１つのみ図示しているが、サーバシステム１１００が提供するゲームタイトルが複数の場合は、ゲームタイトル別にゲーム初期設定データ５１０を記憶する。
【0131】
画像解析辞書データ５１２、進行制御パラメータ値用辞書データ５１４、操作入力情報用辞書データ５１６、音声認識辞書データ５１８は、分析部２２４がプレイ状況を分析するために参照する辞書データである（図４参照）。
【0132】
動作制御パターン定義データ５２０は、動作制御パターン別に用意され、当該パターンを定義する各種データを格納している。１つの動作制御パターン定義データ５２０は、例えば図１１に示すように、固有の動作種類５２１と、適用要件５２２と、モーションデータ５２３と、エフェクトデータ５２４と、外観変更データ５２５と、設定者アカウント５２６と、使用許可範囲５２７と、を含む（図５参照）。
【0133】
適用要件５２２は、１つの条件、または複数の条件をＡＮＤやＯＲで組み合わせることにより記述される。条件としては、例えば、
１）実況キャラクタ７の種類に関する条件であるキャラクタ種類条件５２２ａ、
２）プレイ動画１０でプレイされているゲームタイトルに関する条件であるゲームタイトル条件５２２ｂ、
３）画像解析に基づく分析結果についての条件である画像解析結果条件５２２ｃ、
４）進行制御パタメータ値に基づく分析結果についての条件である進行制御条件５２２ｄ、
５）操作入力情報に基づく分析結果についての条件である操作入力条件５２２ｅ、
６）音声認識に基づく分析結果についての条件である音声認識結果条件５２２ｆ、
を含む。勿論、これら以外の条件も適宜含めることができる。
１）実況キャラクタ７の種類に関する条件であるキャラクタ種類条件５２２ａ、
２）プレイ動画１０でプレイされているゲームタイトルに関する条件であるゲームタイトル条件５２２ｂ、
３）画像解析に基づく分析結果についての条件である画像解析結果条件５２２ｃ、
４）進行制御パタメータ値に基づく分析結果についての条件である進行制御条件５２２ｄ、
５）操作入力情報に基づく分析結果についての条件である操作入力条件５２２ｅ、
６）音声認識に基づく分析結果についての条件である音声認識結果条件５２２ｆ、
を含む。勿論、これら以外の条件も適宜含めることができる。
【0134】
設定者アカウント５２６は、当該定義データの設定者を示す。基本的には、サーバシステム１１００のメーカ或いは管理者を示す値となるが、ユーザ設定されたものについてはその者のユーザアカウントが設定される。
【0135】
使用許可範囲５２７は、当該定義データの使用が許可される範囲を示す。例えば、無制限に設定されれば、いつでも誰でも当該定義データを使用できる。特定のユーザアカウントを設定すれば、使用できるユーザを限定することになる。使用許可範囲５２７の設定は、動作制御パターンのユーザ設定における設定項目の１つに含まれる。
【0136】
図１０に戻って、再生速度変更パターン定義データ５４０は、実況動画１２内で表示されるプレイ動画１０の再生速度を変更するパターン別に用意され、関連する各種データを格納する。１つの再生速度変更パターン定義データ５４０は、例えば図１２に示すように、固有の再生速度変更パターンＩＤ５４１と、適用要件５４２と、適用再生速度５４３と、適用終了条件５４４と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0137】
適用要件５４２は、当該定義データが適用されるために満たすべき条件を示す。適用要件５４２は、動作制御パターン定義データ５２０の適用要件５２２と同様に、単数の条件または複数の条件をＡＮＤやＯＲで組み合わせることにより記述される。
【0138】
適用終了条件５４４は、再生速度の変更を終了して、標準速度に戻すための条件を指定する。例えば、当該定義データを適用し再生速度の変更を開始からの経過時間や、所定操作入力の検出、音声認識にて所定のキーワードの検出、などを設定することができる。
【0139】
図１０に戻って、ゲーム管理データ５５０は、ユーザ端末１５００でのゲームのプレイ毎に用意され、当該ゲームの実行を管理するための各種データを格納する。１つのゲーム管理データ５５０は、例えば図１３に示すように、固有のゲーム管理ＩＤ５５１と、プレーヤアカウント５５２と、端末アクセス情報５５３と、最新進行制御パラメータ値５５４と、プレイ情報５６０と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0140】
プレイ情報５６０は、プレイ動画データ５６１と、その時々の最新進行制御パラメータ値５５４を時系列に格納する進行制御パタメータ値履歴データ５６２と、操作入力情報を時系列に格納する操作入力履歴データ５６３と、ユーザ音声録音データ５６４と、を含む。
【0141】
図１０に戻って、実況管理データ５７０は、実況動画１２の生成毎に用意され、生成に係る各種データを格納する。１つの実況管理データ５７０は、例えば図１４に示すように、実況の対象を示す実況対象ＩＤ５７１と、実況動画１２の現在の画面のレイアウトを示す適用レイアウト種類５７２と、実況キャラクタ制御データ５７３と、実況動画データ５７４と、分析結果履歴データ５８０と、を含む。勿論、これら以外のデータも適宜含めることができる。
【0142】
【0143】
適用レイアウト種類５７２は、実況開始時は所定の初期設定値とされるが、所定のレイアウト変更操作の入力に応じて変更される。
【0144】
実況キャラクタ制御データ５７３は、実況キャラクタ７の動作や表示の制御に必要な各種データを格納する。例えば、モーションデータの制御データ、演出表示の制御データ、外観用のテクスチャやカラーテーブルの制御データ、位置情報、姿勢情報、各種のフラグやカウンタ、などを格納する。
【0145】
分析結果履歴データ５８０は、プレイ状況の分析結果を時系列に格納する。本実施形態では、プレイ状況の分析に４通りの手法を用いるので、それぞれに対応するデータとして、画像解析結果履歴データ５８１と、進行制御パタメータ値基準分析結果履歴データ５８２と、操作入力情報基準分析結果履歴データ５８３と、音声認識結果履歴データ５８４と、を含む。
【0146】
図１０に戻って、ユーザ管理データ６００は、実況動画生成配信システム１０００の登録ユーザ毎に用意され、当該ユーザに関する各種データを格納する。１つのユーザ管理データ６００は、例えば図１５に示すように、ユーザアカウント６０１と、端末アクセス情報６０２と、実況キャラクタ設定データ６０３と、実況キャラクタ７の種類を示すキャラクタ種類６０４と、自己設定動作種類リスト６０５と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。
【0147】
実況キャラクタ設定データ６０３は、当該ユーザが使用する実況キャラクタ７毎に作成され、そのキャラクタモデルや、標準のテクスチャデータ、付加された外観装飾品アイテムリスト、カラーテーブル、などのデータを格納する。
【0148】
自己設定動作種類リスト６０５は、当該ユーザが動作制御パターンのユーザ設定機能を利用して設定した動作制御パターン定義データ５２０の動作種類５２１（図１１参照）のリストである。
【0149】
図１０に戻って、プレイ動画登録データ７００は、既存のプレイ動画１０毎に用意される。１つのプレイ動画登録データ７００は、例えば図１６に示すように、固有のプレイ動画ＩＤ７０１と、当該プレイ動画の投稿者・提供者を示す提供ユーザアカウント７０２と、当該プレイ動画を記録する際のゲームプレイのプレイ情報７１０と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。
【0150】
プレイ情報７１０は、登録時のプレイ情報５６０（図１３参照）のコピーであり、プレイ動画データ７１１と、進行制御パタメータ値履歴データ７１２と、操作入力履歴データ７１３と、ユーザ音声録音データ７１４と、を含む。
【0151】
図１０に戻って、実況動画登録データ７３０は、生成された実況動画１２毎に作成される、いわば実況動画の登録データである。登録された実況動画１２は、視聴者３からの要望に応じて随時配信の対象となる。１つの実況動画登録データ７３０は、例えば図１７に示すように、固有の実況動画ＩＤ７３１と、提供ユーザアカウント７３２と、実況動画データ７３３と、を格納する。勿論、これら以外のデータも適宜格納するとしてもよい。
【0152】
図１８は、本実施形態におけるユーザ端末１５００の機能構成例を示す機能ブロック図である。ユーザ端末１５００は、操作入力部１００と、音声入力部１０２と、端末処理部２００と、音出力部３９０と、画像表示部３９２と、通信部３９４と、端末記憶部５００とを備える。
【0153】
操作入力部１００は、プレーヤによってなされた各種の操作入力に応じた操作入力信号を端末処理部２００に出力する。例えば、プッシュスイッチや、ジョイスティック、タッチパッド、トラックボール、加速度センサ、ジャイロ、ＣＣＤモジュール、などによって実現できる。図２の方向入力キー１５０２や、ボタンスイッチ１５０４、タッチパネル１５０６、イメージセンサーユニット１５２０、がこれに該当する。
【0154】
音声入力部１０２は、ユーザが発する音声（ユーザ音声）や環境音を集音し、音声信号を端末処理部２００へ出力する。図２の例では、マイク１２１０がこれに該当する。
【0155】
端末処理部２００は、例えばＣＰＵやＧＰＵ等のマイクロプロセッサや、ＩＣメモリなどの電子部品によって実現され、操作入力部１００や端末記憶部５００を含む各機能部との間でデータの入出力制御を行う。そして、所定のプログラムやデータ、操作入力部１００からの操作入力信号、サーバシステム１１００から受信した各種データに基づいて各種の演算処理を実行して、ユーザ端末１５００の動作を制御する。図２の制御基板１５５０がこれに該当する。そして、本実施形態における端末処理部２００は、ユーザ端末演算部２６０と、計時部２８０と、音生成部２９０と、通信制御部２９４と、を備える。
【0156】
ユーザ端末演算部２６０は、操作信号送信制御部２６１と、画像表示制御部２６２とを含む。
【0157】
操作信号送信制御部２６１は、操作入力部１００へなされた操作に応じて、各種データやリクエストをサーバシステム１１００へ送信するための処理を実行する。本実施形態では、音声入力部１０２で集音されたユーザ音声の音声データの生成と、外部送信に関する制御も行う。
【0158】
画像表示制御部２６２は、サーバシステム１１００から受信した各種データに基づいてゲーム画面等を表示するための制御を行う。本実施形態では、ゲーム空間画像（ゲーム空間を仮想カメラで撮影した画像；例えば、３ＤＣＧ画像など）をサーバシステム１１００にて生成する構成とするが、ゲーム空間画像をユーザ端末１５００で生成する構成も可能である。その場合、画像表示制御部２６２は、例えば３ＤＣＧを生成するための仮想３次元空間に配置されたオブジェクトの制御を含むこととなる。
【0159】
また、実況動画１２の生成に関連して、本実施形態ではサーバシステム１１００が実況キャラクタ７の動画を生成し、プレイ動画１０と合成して実況動画１２を生成するが、ユーザ端末１５００側でこれらの生成や合成の処理を行う場合は、画像表示制御部２６２がこれらの一部または全部を担うこととなる。
【0160】
そして、画像表示制御部２６２は、画像表示部３９２へ画像信号を出力する。
画像表示部３９２は、画像表示制御部２６２から入力される画像信号に基づいて各種ゲーム画像や、実況動画１２の生成に関する各種画面を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。
画像表示部３９２は、画像表示制御部２６２から入力される画像信号に基づいて各種ゲーム画像や、実況動画１２の生成に関する各種画面を表示する。例えば、フラットパネルディスプレイ、プロジェクター、ヘッドマウントディスプレイといった画像表示装置によって実現できる。本実施形態では、図２のタッチパネル１５０６がこれに該当する。
【0161】
音生成部２９０は、例えばデジタルシグナルプロセッサ（ＤＳＰ）や、音声合成ＩＣなどのプロセッサ、音声ファイル再生可能なオーディオコーデック等によって実現され、ゲームに係る効果音やＢＧＭ、各種操作音の音信号、実況動画１２の生成に係る操作音や効果音の音信号を生成し、音出力部３９０に出力する。
【0162】
音出力部３９０は、音生成部２９０から入力される音信号に基づいて効果音やＢＧＭ等を音出力する装置によって実現される。図２のスピーカ１５１０がこれに該当する。
【0163】
通信制御部２９４は、データ通信に係るデータ処理を実行し、通信部３９４を介して外部装置とのデータのやりとりを実現する。通信部３９４は、ネットワーク９と接続して通信を実現する。例えば、無線通信機、モデム、ＴＡ（ターミナルアダプタ）、有線用の通信ケーブルのジャックや制御回路等によって実現され、図２の無線通信モジュール１５５３がこれに該当する。
【0164】
端末記憶部５００は、端末処理部２００にユーザ端末１５００を統合的に制御させるための諸機能を実現するためのプログラムや、各種データ等を記憶する。また、端末処理部２００の作業領域として用いられ、端末処理部２００が各種プログラムに従って実行した演算結果や操作入力部１００から入力される入力データ等を一時的に記憶する。こうした機能は、例えばＲＡＭやＲＯＭなどのＩＣメモリ、ハードディスク等の磁気ディスク、ＣＤ－ＲＯＭやＤＶＤなどの光学ディスクなどによって実現される。図２の制御基板１５５０が搭載するＩＣメモリ１５５２やメモリカード１５４０がこれに該当する。オンラインストレージを利用する構成も可能である。
【0165】
本実施形態の端末記憶部５００は、クライアントプログラム５０２、を記憶する。勿論、これら以外のプログラムやデータも適宜記憶することができる。
【0166】
クライアントプログラム５０２は、端末処理部２００が読み出して実行することによってユーザ端末演算部２６０としての機能を実現させるためのアプリケーションソフトウェアである。本実施形態では、クライアントプログラム５０２は、サーバシステム１１００から提供される配信用クライアントプログラム５０３（図１０参照）のコピーである。なお、クライアントプログラム５０２は、専用のクライアントプログラムであっても良いし、ウェブブラウザプログラム及びインタラクティブな画像表示を実現するプラグインなどにより構成するとしても良い。
【0167】
次に、本実施形態の実況動画生成配信システム１０００の動作について説明する。
図１９～図２０は、サーバシステム１１００における処理の流れを説明するためのフローチャートである。ここで説明する処理の流れは、サーバシステム１１００が、サーバ処理部２００ｓがサーバプログラム５０１を実行することにより実現される。なお、ユーザ端末１５００では、クライアントプログラム５０２が実行されており、ゲームがプレイ可能であるとともに、実行動画の生成に関する機能が利用可能になっているものとする。
図１９～図２０は、サーバシステム１１００における処理の流れを説明するためのフローチャートである。ここで説明する処理の流れは、サーバシステム１１００が、サーバ処理部２００ｓがサーバプログラム５０１を実行することにより実現される。なお、ユーザ端末１５００では、クライアントプログラム５０２が実行されており、ゲームがプレイ可能であるとともに、実行動画の生成に関する機能が利用可能になっているものとする。
【0168】
【0169】
次に、サーバシステム１１００は、実況管理データ５７０を作成し、初期化する（ステップＳ１０；図１４参照）。実況対象ＩＤ５７１はライブ形式での配信を意味する所定値とされ、適用レイアウト種類５７２は所定の初期値とされる。実況キャラクタ制御データ５７３、実況動画データ５７４、分析結果履歴データ５８０は、この段階では格納されない。
【0170】
次に、サーバシステム１１００は、ユーザ端末１５００で集音されたユーザ音声データの取得を開始する（ステップＳ１２）。具体的には、実況動画生成サーバ１１０２が、ユーザ端末１５００へ、マイク１５１２で集音したユーザ音声の音声データの生成と送信を開始させる。ユーザ端末１５００は、ユーザの音声データの生成を開始して、逐次、実況動画生成サーバ１１０２へ送信する制御を開始する。
【0171】
次に、サーバシステム１１００は、実況キャラクタ７の制御を開始し（ステップＳ１４）、実況動画１２の生成と記録とを開始し、ライブ形式の実況動画１２の配信を行う場合は、ここで配信を開始する（ステップＳ１６）。
【0172】
ステップＳ１４の段階では、動作制御パターン定義データ５２０に基づく動作制御は行われないので、実況キャラクタ７は待機状態のポーズ動作をとるように制御される。そして、ステップＳ１４以降、実況管理データ５７０の実況キャラクタ制御データ５７３が逐一更新され、ステップＳ１６以降は実況動画データ５７４も逐一更新される。なお、この時点では、ゲームプレイは開始されていないので、ライブ映像であるプレイ動画１０は実況動画１２内には未だ表示されていない。実況動画１２の流れとしては、実況ユーザであるユーザ２（２ａ）が、視聴者への挨拶や、これから始まる実況動画１２の概要を話す時間帯となる。
【0173】
次に、サーバシステム１１００は、ユーザ端末１５００にて実況動画１２のレイアウト変更操作の入力を検出した場合のレイアウト変更制御を開始する（ステップＳ１８）。以降、ユーザ２（２ａ）は、実況中でも任意に画面のレイアウトを変更できるようになる。
【0174】
次に、サーバシステム１１００は、ユーザ端末１５００にて、所定のゲーム開始操作の入力を検出すると、ゲームプレイの準備制御を行う（ステップＳ３０）。具体的には、ゲームサーバ１１０１が、ゲーム管理データ５５０（図１３参照）を作成・初期化する。プレーヤキャラクタ４の選択及び設定の受け付け、プレイステージの選択受け付けを行い、仮想３次元空間にゲーム空間を構築し、プレーヤキャラクタ４や敵キャラクタ６のオブジェクトを配置する。また、最新進行制御パラメータ値５５４を初期化する。
【0175】
また、この段階で、サーバシステム１１００は、実況対象にゲームプレイのプレイ動画１０を設定する。つまり、ゲームサーバ１１０１からゲーム管理ＩＤ５５１が実況動画生成サーバ１１０２へ提供され、ゲーム管理ＩＤ５５１が実況対象ＩＤ５７１（図１４参照）に設定される。
【0176】
そして、準備を終えたら、サーバシステム１１００は、ゲーム進行制御とプレイ情報５６０の記録を開始し（ステップＳ３２）、プレイ状況の分析を開始する（ステップＳ３４）。具体的には、ゲームサーバ１１０１から実況動画生成サーバ１１０２へ、プレイ情報５６０の送信を開始する。実況動画生成サーバ１１０２は、プレイ情報５６０の受信を開始する。そして、実況動画生成サーバ１１０２は受信したプレイ情報５６０に基づくプレイ状況の逐次分析を開始し、分析結果を分析結果履歴データ５８０（図１４参照）へ蓄積する。
【0177】
なお、ライブ形式ではない実況動画１２の配信の場合、例えば実況対象が既存のプレイ動画１０である場合には、ステップＳ３０は、実況対象とする既存のプレイ動画１０の選択設定の受け付けとなり、ステップＳ３２は、既存のプレイ動画１０の再生の開始とプレイ情報の参照の開始となる。
【0178】
逐一判定されるプレイ状況の分析結果が、何れかの再生速度変更パターン定義データ５４０（図１２参照）の適用要件５４２を満たすならば（ステップＳ４０のＹＥＳ）、サーバシステム１１００は、当該定義データに従って再生速度の変更を開始する（ステップＳ４２）。開始された再生速度の変更は、当該定義データの適用終了条件５４４が満たされるまで継続されるものとする。
【0179】
図２０に移って、その時の最新のプレイ状況の分析結果が、音声受け付け状況条件を満たし（ステップＳ５０のＹＥＳ）、且つ、適用要件５２２が満たされている動作制御パターン定義データ５２０（図１１参照）がある場合（ステップＳ５２のＹＥＳ）、サーバシステム１１００は、該当する定義データの動作制御パターンを選択候補として設定する（ステップＳ５４）。
【0180】
もし、選択候補が複数であれば（ステップＳ５６の複数）、サーバシステム１１００は、ユーザ端末１５００にて選択候補別の選択操作アイコン３３を表示させて、それらをユーザに提示する（ステップＳ５８；図６参照）。そして、ユーザにより選択された選択候補の動作制御パターン定義データ５２０の動作制御パターンで実況キャラクタ７の動作制御を開始する（ステップＳ６０）。
【0181】
もし、選択候補が単数であれば（ステップＳ５６の単数）、サーバシステム１１００は、選択候補とされた動作制御パターン定義データ５２０の動作制御パターンで実況キャラクタ７の動作制御を開始する（ステップＳ６２）。
【0182】
そして、サーバシステム１１００は、動作制御の開始とともに、当該動作制御パターンに対応付けられている外観変更を開始し（ステップＳ６４）、エフェクトの適用を開始する（ステップＳ６６）。
【0183】
なお、適用開始された動作制御パターンの再現が終了したならば、サーバシステム１１００は、実況キャラクタ７を待機状態のポーズ動作をとるように制御する。また、動作制御パターンの再現の終了とともに、外観変更が終了して標準の外観に戻され、エフェクトの適用も終了されるものとする。
【0184】
サーバシステム１１００は、ステップＳ４０～ステップＳ６６を、ユーザ端末１５００にて所定の実況終了操作の入力が検出されるまで繰り返す（ステップＳ７０のＮＯ）。そして、実況終了操作の入力が検出されたならば（ステップＳ７０のＹＥＳ）、サーバシステム１１００は、今回の実況動画１２を改めて登録処理し、ライブ形式で実況動画１２を配信している場合はここで配信を終了させ（ステップＳ７４）、一連の処理を終了する。
【0185】
以上、本実施形態によれば、実況キャラクタを用いた動画配信に係る新しいユーザ補助技術を提供できる。すなわち、プレイ動画として表示されているゲームプレイのプレイ状況を自動的に分析し、分析結果に基づいて実況キャラクタを自動制御することができる。よって、ユーザは、実況キャラクタの動作を１つ１つ作成して、実況キャラクタを制御した動画を用意する必要がない。また、実況キャラクタの動作制御に係るユーザ操作の必要性を大幅に削減できるので、ユーザは、ゲームプレイしながらでも実況や解説の音声を入力さえすれば、実況キャラクタ７を用いたライブ形式の実況動画を簡単に生成することができるようになる。
【0186】
〔第２実施形態〕
次に、本発明を適用した第２実施形態について説明する。なお、以降では主に第１実施形態との差異について述べることとし、第１実施形態と同様の構成要素には、第１実施形態と同じ符号を付与して重複する説明は省略する。
次に、本発明を適用した第２実施形態について説明する。なお、以降では主に第１実施形態との差異について述べることとし、第１実施形態と同様の構成要素には、第１実施形態と同じ符号を付与して重複する説明は省略する。
【0187】
本実施形態は、第１実施形態ではサーバシステム１１００が実行していた処理のうち、配信を除き、ゲーム管理と実況動画の生成に関する処理を、ユーザ端末１５００にて実行する点が異なる。
【0188】
図２１は、本実施形態におけるユーザ端末１５００Ｂの機能構成例を示す機能ブロック図である。ユーザ端末１５００Ｂは、第１実施形態のユーザ端末１５００と比較すると、ユーザ端末演算部２６０に代えて、第１実施形態のゲーム管理部２１２に相当するゲーム管理部２１２Ｂを有し、当該ユーザ端末１５００Ｂにてゲームを実行制御するための各種処理を実行する。また、ユーザ端末１５００Ｂは、動作制御パターン設定部２２０、音声取得制御部２２２、分析部２２４、レイアウト設定部２２６、実況動画生成制御部２２８、実況キャラクタ制御部２３０と、配信制御部２４０Ｂと、を有する。
【0189】
配信制御部２４０Ｂは、生成した実況動画１２のデータを所定の配信システム（本実施形態では、配信サーバ１１０３）へアップロードすることで実況動画１２の配信を制御する。
【0190】
図２２は、本実施形態における端末記憶部５００が記憶するプログラムやデータの例を示す図である。本実施形態の端末記憶部５００は、端末プログラム５０４を記憶する。端末プログラム５０４は、ゲーム管理部２１２Ｂ、動作制御パターン設定部２２０、音声取得制御部２２２、分析部２２４、レイアウト設定部２２６、実況動画生成制御部２２８、実況キャラクタ制御部２３０、としての機能を端末処理部２００に実現させるためのプログラムである。端末プログラム５０４のオリジナルは、サーバシステム１１００に配信用端末プログラムとして記憶させておき、適宜ダウンロードするとしても良い。
【0191】
また、本実施形態の端末記憶部５００は、ゲーム初期設定データ５１０と、画像解析辞書データ５１２と、進行制御パラメータ値用辞書データ５１４と、操作入力情報用辞書データ５１６と、音声認識辞書データ５１８と、動作制御パターン定義データ５２０と、再生速度変更パターン定義データ５４０と、ゲーム管理データ５５０と、実況管理データ５７０と、を記憶する。これら各種データのオリジナルは、サーバシステム１１００に記憶させておき、適宜ダウンロードするとしても良い。
【0192】
本実施形態におけるユーザ端末１５００Ｂで実行される処理の流れは、第１実施形態におけるサーバシステム１１００におけるそれと基本的に同じであり（図１９～図２０参照）、ゲーム管理および実況動画の生成に関する処理をユーザ端末１５００Ｂにて実行するのに合わせて、適宜各ステップの実行主体をユーザ端末１５００Ｂと読み替えれば良い。
【0193】
ユーザ端末１５００Ｂにてユーザ管理データ６００を参照・変更する必要がある処理を実行する場合には、適宜サーバシステム１１００へ必要なデータの提供や照合等をリクエストする。或いは、処理そのものをリクエストして対処するものとする。
【0194】
〔変形例〕
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
以上、本発明を適用した実施形態について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
【0195】
（変形例その１）
第１実施形態では、ゲーム管理および実況動画の生成に関する処理をサーバシステム１１００で実行する例を挙げ、第２実施形態では、ゲーム管理および実況動画の生成に関する処理をユーザ端末１５００Ｂで実行する例を挙げたが、ゲーム管理および実況動画の生成に関する処理の実行主体は、上記実施形態に限らない。
第１実施形態では、ゲーム管理および実況動画の生成に関する処理をサーバシステム１１００で実行する例を挙げ、第２実施形態では、ゲーム管理および実況動画の生成に関する処理をユーザ端末１５００Ｂで実行する例を挙げたが、ゲーム管理および実況動画の生成に関する処理の実行主体は、上記実施形態に限らない。
【0196】
例えば、ゲーム管理に関する処理はサーバシステム１１００にて担い、実況動画の生成に関する処理をユーザ端末１５００にて担わせる構成も可能である。すなわち、ゲーム管理部２１２、動作制御パターン設定部２２０、音声取得制御部２２２、分析部２２４、レイアウト設定部２２６、実況動画生成制御部２２８、実況キャラクタ制御部２３０を、どのハードウェアにて実行させるかの割り当ては適宜設定可能である。
【0197】
（変形例その２）
また、上記実施形態では、プレイ状況の分析に係り、４つの分析の手法それぞれの分析結果全てに基づいて実況キャラクタ７に適用する動作制御パターンを選択するとしたが、４つの分析結果を選択して動作制御パターンの選択に用いる構成も可能である。
また、上記実施形態では、プレイ状況の分析に係り、４つの分析の手法それぞれの分析結果全てに基づいて実況キャラクタ７に適用する動作制御パターンを選択するとしたが、４つの分析結果を選択して動作制御パターンの選択に用いる構成も可能である。
【0198】
例えば、実況動画生成サーバ１１０２は、これら４つの手法それぞれの分析結果に基づいて、最終的にその時々のプレイ状況の分析結果を最終決定するとしてもよい。具体的には、何れか１つの手法で分析結果が出力された場合には、当該分析結果を最終の分析結果とし、複数の手法が分析結果を出力した状況においては、各手法に予め設定されている採用優先順位が上位の手法による分析結果を最終の分析結果とするとしてもよい。勿論、多数決方式で、最終の分析結果を選択するとしてもよい。
【0199】
（変形例その３）
また、上記実施形態に、プレーヤ２ａがプレイ中に入力したコメントに基づいて実況キャラクタを制御する要素を追加することができる。具体的には、例えば第１実施形態をベースとするならば、図２３に示すように、プレーヤであるユーザ２（２ａ）のコメントを取得する制御を行うコメント取得制御部２２９を追加し、実況キャラクタ制御部２３０に、コメント取得制御部２２２により取得されたコメントに基づいて、実況キャラクタ７の動作を制御するコメント呼応制御を行うコメント呼応制御部２３６を追加する。
また、上記実施形態に、プレーヤ２ａがプレイ中に入力したコメントに基づいて実況キャラクタを制御する要素を追加することができる。具体的には、例えば第１実施形態をベースとするならば、図２３に示すように、プレーヤであるユーザ２（２ａ）のコメントを取得する制御を行うコメント取得制御部２２９を追加し、実況キャラクタ制御部２３０に、コメント取得制御部２２２により取得されたコメントに基づいて、実況キャラクタ７の動作を制御するコメント呼応制御を行うコメント呼応制御部２３６を追加する。
【0200】
コメント取得制御部２２９は、操作入力部１１０にキーボードが含まれる場合には、当該キーボードからのテキスト入力によりコメントを取得する。或いは、ゲーム画面内にテキスト入力部（例えば、ソフトウェアキーボードなど）を表示させてコメントを取得するとしてもよい。或いは、音声取得制御部２２２で取得した音声をそのまま音声コメントとしてもよいし、音声認識処理して得られたテキストをテキストコメントとしてもよい。
【0201】
コメント呼応制御部２３６は、分析部２２４による第４の分析手法を流用するとしてもよい。すなわち、音声取得制御部２２２で取得した音声コメントの音声（ユーザ音声）を音声認識辞書データ５１８と比較して、適合する辞書データに予め対応づけられているプレイ状況を当該手法における分析結果とし、当該分析結果に基づいて実況キャラクタ７の動作を制御することで、コメント呼応制御を実現してもよい。テキストコメントとして取得した場合は、取得したテキストを音声認識の結果として得られた単語と見なして、音声認識結果条件５２２ｆ（図１１参照）に基づく動作制御パターンを選択して実況キャラクタ７の動作制御を行うことで、コメント呼応制御を実現してもよい。
【0202】
また更には、プレイ状況がコメント呼応制御を受け付ける状況であることを示すコメント受付状況条件を、プレイ状況の分析に係る第４の手法における音声受付状況条件を流用して設定し、コメント受け付け状況条件を満たす場合に、コメント取得制御部２２９により取得されたコメントに基づいて実況キャラクタの動作を制御する、としてもよい。
【0203】
勿論、第２実施形態をベースとしても、同様にして、プレーヤ２ａがプレイ中に入力したコメントに基づいて実況キャラクタを制御する要素を追加することができる。
【符号の説明】
【0204】
２…ユーザ
７…実況キャラクタ
１０…プレイ動画
１２…実況動画
３０…選択候補
１００…操作入力部
１０２…音声入力部
２００ｓ…サーバ処理部
２１２…ゲーム管理部
２２０…動作制御パターン設定部
２２２…音声取得制御部
２２４…分析部
２２６…レイアウト設定部
２２８…実況動画生成制御部
２２９…コメント取得制御部
２３０…実況キャラクタ制御部
２３２…音声呼応制御部
２３４…動作制御パターン選択制御部
２３６…コメント呼応制御部
２４０…配信制御部
５００ｓ…サーバ記憶部
５０１…サーバプログラム
５０２…クライアントプログラム
５１０…ゲーム初期設定データ
５１２…画像解析辞書データ
５１４…進行制御パラメータ値用辞書データ
５１６…操作入力情報用辞書データ
５１８…音声認識辞書データ
５２０…動作制御パターン定義データ
５２２…適用要件
５２３…モーションデータ
５２５…外観変更データ
５４０…再生速度変更パターン定義データ
５５０…ゲーム管理データ
５６０…プレイ情報
５６１…プレイ動画データ
５６２…進行制御パタメータ値履歴データ
５６３…操作入力履歴データ
５６４…ユーザ音声録音データ
５７０…実況管理データ
５７１…実況対象ＩＤ
５７２…適用レイアウト種類
５７３…実況キャラクタ制御データ
５７４…実況動画データ
５８０…分析結果履歴データ
５８１…画像解析結果履歴データ
５８２…進行制御パタメータ値基準分析結果履歴データ
５８３…操作入力情報基準分析結果履歴データ
５８４…音声認識結果履歴データ
６０３…実況キャラクタ設定データ
１０００…実況動画生成配信システム
１１００…サーバシステム
１１０１…ゲームサーバ
１１０２…実況動画生成サーバ
１１０３…配信サーバ
１５００…ユーザ端末
Ｗ６…ゲーム画面
Ｗ７…動作制御パターン設定画面
Ｗ８…モーション編集画面
７…実況キャラクタ
１０…プレイ動画
１２…実況動画
３０…選択候補
１００…操作入力部
１０２…音声入力部
２００ｓ…サーバ処理部
２１２…ゲーム管理部
２２０…動作制御パターン設定部
２２２…音声取得制御部
２２４…分析部
２２６…レイアウト設定部
２２８…実況動画生成制御部
２２９…コメント取得制御部
２３０…実況キャラクタ制御部
２３２…音声呼応制御部
２３４…動作制御パターン選択制御部
２３６…コメント呼応制御部
２４０…配信制御部
５００ｓ…サーバ記憶部
５０１…サーバプログラム
５０２…クライアントプログラム
５１０…ゲーム初期設定データ
５１２…画像解析辞書データ
５１４…進行制御パラメータ値用辞書データ
５１６…操作入力情報用辞書データ
５１８…音声認識辞書データ
５２０…動作制御パターン定義データ
５２２…適用要件
５２３…モーションデータ
５２５…外観変更データ
５４０…再生速度変更パターン定義データ
５５０…ゲーム管理データ
５６０…プレイ情報
５６１…プレイ動画データ
５６２…進行制御パタメータ値履歴データ
５６３…操作入力履歴データ
５６４…ユーザ音声録音データ
５７０…実況管理データ
５７１…実況対象ＩＤ
５７２…適用レイアウト種類
５７３…実況キャラクタ制御データ
５７４…実況動画データ
５８０…分析結果履歴データ
５８１…画像解析結果履歴データ
５８２…進行制御パタメータ値基準分析結果履歴データ
５８３…操作入力情報基準分析結果履歴データ
５８４…音声認識結果履歴データ
６０３…実況キャラクタ設定データ
１０００…実況動画生成配信システム
１１００…サーバシステム
１１０１…ゲームサーバ
１１０２…実況動画生成サーバ
１１０３…配信サーバ
１５００…ユーザ端末
Ｗ６…ゲーム画面
Ｗ７…動作制御パターン設定画面
Ｗ８…モーション編集画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】