ホーム > 特許ランキング > 株式会社エイトリンクス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-04-08
(45)【発行日】2022-04-18
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G10L 13/08 20130101AFI20220411BHJP
H04N 21/233 20110101ALI20220411BHJP
H04N 21/258 20110101ALI20220411BHJP
【ＦＩ】
G10L13/08 124
H04N21/233
H04N21/258
【請求項の数】
10
(21)【出願番号】P 2020178768
(22)【出願日】2020-10-26
【審査請求日】2020-10-26
(73)【特許権者】
【識別番号】520417768
【氏名又は名称】株式会社エイトリンクス
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】栗栖 浩二
【審査官】中村 天真
(56)【参考文献】
【文献】特開２００３－１５３１１４（ＪＰ，Ａ）
【文献】特開２００３－３３９９７２（ＪＰ，Ａ）
【文献】特開２０１９－１６６２９９（ＪＰ，Ａ）
【文献】特開２００４－０６９８１５（ＪＰ，Ａ）
【文献】パソコン＆ネットの“これまで”と“これから”を完全理解！ 動画配信の“今”がわかる！ 第18回，Windows 100%，2011年08月，第14巻，第9号，p.66-71
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－２５／９３
Ｈ０４Ｎ ７／１０－ ７／５６
Ｈ０４Ｎ ２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記制御部は、前記呼び名登録部に登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する情報処理装置。
【請求項2】
前記通信端末からの前記ユーザに関する情報を取得する情報取得部をさらに備え、前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する請求項１に記載の情報処理装置。
【請求項3】
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記通信端末からの前記ユーザに関する情報を取得する情報取得部をさらに備え、
前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する情報処理装置。
【請求項4】
前記情報取得部は、前記コンテンツの再生中に、前記ユーザの顔画像から顔認識を行う顔認識部を有し、前記制御部は、前記ユーザの顔認識に応じた異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する請求項３に記載の情報処理装置。
【請求項5】
前記制御部は、前記ユーザの顔認識ができない場合に、前記呼び名を付して前記ユーザが見えないことを出力し、前記ユーザの顔認識ができた場合に、前記呼び名を付して前記ユーザが見えることを出力する請求項４に記載の情報処理装置。
【請求項6】
前記情報取得部は、前記コンテンツの再生中に、前記ユーザの声から音声認識を行う音声認識部を有し、前記制御部は、前記ユーザの声の認識結果に応じた異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する請求項３に記載の情報処理装置。
【請求項7】
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
前記制御ステップでは、前記呼び名登録ステップで登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する情報処理方法。
【請求項8】
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
情報取得部が、前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらに含み、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する情報処理方法。
【請求項9】
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記制御ステップでは、前記呼び名登録ステップにて登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する情報処理プログラム。
【請求項10】
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらにコンピュータに実行させ、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献１には、デジタル映画の上映において、シーン内の俳優の呼びかけ名を館内に居る観客の一人の呼び名に置換する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００４－１５３７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記文献に記載の技術では、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができなかった。
【0005】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明に係る情報処理装置は、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記制御部は、前記呼び名登録部に登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理装置は、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記通信端末からの前記ユーザに関する情報を取得する情報取得部をさらに備え、
前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記制御部は、前記呼び名登録部に登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理装置は、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供部と、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、前記呼び名登録部に登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御部と、
を備え、
前記通信端末からの前記ユーザに関する情報を取得する情報取得部をさらに備え、
前記制御部は、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
【0007】
上記目的を達成するため、本発明に係る情報処理方法は、
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
前記制御ステップでは、前記呼び名登録ステップで登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理方法は、
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
情報取得部が、前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらに含み、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
前記制御ステップでは、前記呼び名登録ステップで登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理方法は、
提供部が、通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
登録部が、前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
制御部が、前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
を含み、
情報取得部が、前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらに含み、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
【0008】
上記目的を達成するため、本発明に係る情報処理プログラムは、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記制御ステップでは、前記呼び名登録ステップにて登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理プログラムは、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらにコンピュータに実行させ、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記制御ステップでは、前記呼び名登録ステップにて登録された前記呼び名を用いて呼びかける場合に、前記ユーザの映像が前記通信端末に拡大して表示されるよう制御する。
また、上記目的を達成するため、本発明に係る情報処理プログラムは、
通信端末を介したライブ参加者との双方向ライブを収録したコンテンツを提供する双方向ライブ提供ステップと、
前記ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録ステップと、
前記コンテンツの再生中に、前記コンテンツに含まれる前記ライブ参加者に呼びかける場面において、登録された前記呼び名を用いて前記ユーザに呼びかけるよう制御する制御ステップと、
をコンピュータに実行させる情報処理プログラムであって、
前記通信端末からの前記ユーザに関する情報を取得する情報取得ステップをさらにコンピュータに実行させ、
前記制御ステップでは、前記ユーザに関する情報に対応する異なる呼びかけフレーズにより、前記呼び名を用いて前記ユーザに呼びかけるよう制御する。
【発明の効果】
【0009】
本発明によれば、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図2】第２実施形態に係る情報処理装置を含む情報処理システムにおける動作概要を説明する図である。
【図3】第２実施形態に係る情報処理装置を含む情報処理システムの構成を示すブロック図である。
【図4】第２実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【図5】第２実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図6A】第２実施形態に係る双方向ライブコンテンツ記録部の構成を示す図である。
【図6B】第２実施形態に係るユーザ呼び名登録部の構成を示す図である。
【図7】第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図8A】第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。
【図8B】第２実施形態に係る仮想双方向ライブ配信処理の手順を示すフローチャートである。
【図9】第３実施形態に係る情報処理装置を含む情報処理システムにおける動作概要を説明する図である。
【図10】第３実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【図11】第３実施形態に係る情報処理装置の機能構成を示すブロック図である。
【図12A】第３実施形態に係る双方向ライブコンテンツ記録部の構成を示す図である。
【図12B】第３実施形態に係るユーザ呼び名および顔画像登録部の構成を示す図である。
【図13A】第３実施形態に係る情報処理装置の処理手順を示すフローチャートである。
【図13B】第３実施形態に係る仮想双方向ライブ配信処理の手順を示すフローチャートである。
【図14】第４実施形態に係る双方向ライブコンテンツ記録部の構成を示す図である。
【図15】第５実施形態に係る情報処理装置を含む情報処理システムの動作手順を示すシーケンス図である。
【発明を実施するための形態】
【0011】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0012】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、双方向ライブが可能なコンテンツを提供する装置である。
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、双方向ライブが可能なコンテンツを提供する装置である。
【0013】
図１に示すように、情報処理装置１００は、双方向ライブ提供部１０１と、呼び名登録部１０２と、制御部１０３と、を含む。双方向ライブ提供部１０１は、通信端末１４１を介したライブ参加者１５１との双方向ライブを含むコンテンツを提供する。呼び名登録部１０２は、ライブ参加者に含まれないユーザ１５２の呼び名１２１を通信端末１４２から受け付けて登録する。制御部１０３は、双方向ライブの提供中に、コンテンツに含まれるライブ参加者１５１に呼びかける場面において、呼び名登録部１０２に登録された呼び名１２１を用いてユーザ１５２に呼びかけるよう制御する。
【0014】
本実施形態によれば、ライブ参加者に含まれないユーザそれぞれに対して、ユーザの呼び名を用いて呼びかけることで、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。
【0015】
［第２実施形態］
次に、本発明の第２実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムにおいては、ライブ参加者に含まれないユーザそれぞれに対して、ライブ参加者名をあらかじめ登録されたユーザの呼び名に置換して呼びかけを行う。置換する呼び名としては、あらかじめ登録されたユーザの呼び名に対応する音声データが用いられたり、呼び名に対応して合成された音声データが用いられたりする。
次に、本発明の第２実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムにおいては、ライブ参加者に含まれないユーザそれぞれに対して、ライブ参加者名をあらかじめ登録されたユーザの呼び名に置換して呼びかけを行う。置換する呼び名としては、あらかじめ登録されたユーザの呼び名に対応する音声データが用いられたり、呼び名に対応して合成された音声データが用いられたりする。
【0016】
【0017】
（動作概要）
図２は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００における動作概要を説明する図である。
図２は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００における動作概要を説明する図である。
【0018】
情報処理システム２００は、情報処理装置２１０と通信端末２２０とを備える。情報処理装置２１０は双方向ライブコンテンツ２１１を格納しており、通信端末２２０に対して双方向ライブコンテンツを提供する。通信端末２２０では、提供された双方向ライブコンテンツを再生する。
【0019】
図２の左下の通信端末２２０の表示領域２２１からは、双方向ライブコンテンツに参加していないユーザの属性、特に呼び名が入力されて情報処理装置２１０に登録される。ユーザの属性には、呼び名の外に年齢や性別が含まれる。また、呼び名については、マイク２２２から家族が呼びかける音声入力を取得して情報処理装置２１０に登録してもよい。図２の例では、双方向ライブコンテンツに参加していない５歳の男子“かいと”が登録されている。
【0020】
図２の右下の通信端末２２０では、“ひろゆき”と“れいな”を含む９人の子供が参加する双方向ライブコンテンツが再生されている。ここでは、音楽に合わせてみんなで踊っているシーンが表示されている。この時に、双方向ライブコンテンツには参加していないユーザ“かいと”に対して、スピーカ２２５から“かいとくん、しっかり踊れてるかなぁ？”との呼びかけが出力される。これは、例えば、双方向ライブコンテンツ内の“ひろゆきくん、しっかり踊れてるかなぁ？”との呼びかけにおいて、“ひろゆき”をユーザ登録された“かいと”に置き換えた出力である。ここで、双方向ライブコンテンツ内の呼びかけが“れいなちゃん、しっかり踊れてるかなぁ？”であった場合、性別を考慮して、“れいなちゃん”が“かいとくん”に置き換えられる。
【0021】
なお、本実施形態においては、あらかじめ双方向ライブコンテンツ内に有る呼びかけフレーズの呼び名を置換する処理を示すが、図２のように呼びかけ者が表示されていない時間帯であれば、ユーザの呼び名を含む新しいフレーズで呼びかけてもよい。
【0022】
（構成）
図３は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の構成を示すブロック図である。なお、図３において、図２と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図３は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の構成を示すブロック図である。なお、図３において、図２と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0023】
図３の情報処理システム２００は、情報処理装置２１０と、情報処理装置２１０とユーザの通信端末とを接続するネットワーク３４０と、を備える。ユーザの通信端末は、双方向ライブの参加者である“ひろゆき”３４１および“れいな”３４２の通信端末３３１および３３２と、双方向ライブの非参加者である“かいと”３２０および“みき”３２２の通信端末２２０および３２１と、を含む。
【0024】
情報処理装置２１０は、参加者名を含む双方向ライブコンテンツ２１１と、コンテンツに含まれないユーザの呼び名３１２と、を有する。情報処理装置２１０は、通信端末３３１および３３２を用いた双方向ライブを実行して、双方向ライブコンテンツ２１１を生成する。そして、情報処理装置２１０は、双方向ライブコンテンツ２１１の参加者名をコンテンツに含まれないユーザの呼び名３１２にそれぞれ置き換えた呼びかけを、通信端末２２０および２２１から出力する。すなわち、双方向ライブコンテンツ２１１内の“ひろゆき”や“れいな”の幾つかは“かいと”や“みき”に置き換えられて、通信端末２２０や３２１に出力される。
【0025】
これにより、双方向ライブに参加していないユーザに対し、あたかも参加しているかのような臨場感を提供できる。
【0026】
（動作シーケンス）
図４は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の動作手順を示すシーケンス図である。図４には、情報処理装置２１０と通信端末（かいと）２２０および通信端末（みき）３２１が示されているが、ユーザの通信端末は２つに限定されず、双方向ライブコンテンツ２１１を提供されるユーザ分接続される。なお、図４には、双方向ライブコンテンツ２１１を収録する手順は省略されている。
図４は、本実施形態に係る情報処理装置２１０を含む情報処理システム２００の動作手順を示すシーケンス図である。図４には、情報処理装置２１０と通信端末（かいと）２２０および通信端末（みき）３２１が示されているが、ユーザの通信端末は２つに限定されず、双方向ライブコンテンツ２１１を提供されるユーザ分接続される。なお、図４には、双方向ライブコンテンツ２１１を収録する手順は省略されている。
【0027】
ステップＳ４０１において、情報処理装置２１０と通信端末（かいと）２２０、および、情報処理装置２１０と通信端末（みき）３２１、の間で双方向ライブアプリケーションが機能される。双方向ライブアプリケーションの開始時において、情報処理装置２１０は、ステップＳ４０３において、各ユーザの通信端末にユーザの呼び名を問い合わせる。通信端末（かいと）２２０からは、問い合わせに応答して、ステップＳ４０５において、呼び名“かいと(kaito)”が入力されて情報処理装置２１０に送信される。一方、通信端末（みき）３２１からは、問い合わせに応答して、ステップＳ４０７において、呼び名“みき(miki)”が入力されて情報処理装置２１０に送信される。情報処理装置２１０は、ステップＳ４０９において、受信した呼び名“かいと(kaito)”および“みき(miki)”を送信元の通信端末２２０、３２１の識別子に対応付けて登録する。なお、図４では、呼び名のみの登録を示したが、実際には年齢や性別、嗜好などの他のユーザ属性も登録される。
【0028】
ステップＳ４１１において、双方向ライブコンテンツ２１１が再生されて開始される。情報処理装置２１０は、双方向ライブコンテンツ２１１に含まれるユーザへの呼びかけを検索して、検知する。なお、ユーザへの呼びかけの検知は、あらかじめ双方向ライブコンテンツ２１１にタグなどを挿入してそれを検知しても、双方向ライブコンテンツ２１１から実時間で検出してもよい。
【0029】
ユーザへの呼びかけが検知されると、情報処理装置２１０は、ステップＳ４１５において、呼びかけフレーズの呼び名を“かいと”に置換して、通信端末（かいと）２２０にユーザへの呼びかけを出力する。そして、通信端末（かいと）２２０は、ステップＳ４１７において、提供されたユーザへの呼びかけをスピーカから発声する。一方、情報処理装置２１０は、ステップＳ４１９において、呼びかけフレーズの呼び名を“みき”に置換して、通信端末（みき）３２１にユーザへの呼びかけを出力する。そして、通信端末（みき）３２１は、ステップＳ４２１において、提供されたユーザへの呼びかけをスピーカから発声する。
【0030】
双方向ライブコンテンツ２１１が終了する、あるいは、中止指示がされると、ステップＳ４３１において、情報処理装置２１０と通信端末（かいと）２２０、および、情報処理装置２１０と通信端末（みき）３２１、の間で双方向ライブコンテンツの提供が終了する。そして、双方向ライブアプリケーションが終了（停止）する。
【0031】
＜情報処理装置の機能構成＞
図５は、本実施形態に係る情報処理装置２１０の機能構成を示すブロック図である。
図５は、本実施形態に係る情報処理装置２１０の機能構成を示すブロック図である。
【0032】
情報処理装置２１０は、通信制御部５１０と、双方向ライブコンテンツ収録部５０２と、データベース５０３と、仮想双方向ライブ配信アプリケーション５０４と、を備える。
【0033】
通信制御部５１０は、ネットワーク３４０を介して、通信端末２２０、３２１、３３１、３３２などとの通信を制御する。双方向ライブコンテンツ収録部５０２は、通信端末３３１および３３２などにより双方向ライブの参加者と接続して、双方向ライブコンテンツを収録する。なお、双方向ライブコンテンツ収録部５０２についての詳説は省略する。
【0034】
データベース５０３は、双方向ライブコンテンツ記録部５３１と、ユーザ呼び名登録部５３２と、呼び名音声登録部５３３と、を備える。双方向ライブコンテンツ記録部５３１は、収録された双方向ライブコンテンツ２１１を記憶する。ユーザ呼び名登録部５３２は、双方向ライブコンテンツ２１１に含まれないユーザの呼び名を登録する。呼び名音声登録部５３３は、呼び名の音声データを登録する。かかる呼び名の音声データは、子供の名前トップ１００ぐらいを予めリアル音声で録音した音声データであっても、ユーザの呼び名登録時にユーザ側から入力された音声データであってもよい。
【0035】
仮想双方向ライブ配信アプリケーション５０４は、ユーザ呼び名問い合せ部５４１と、ユーザ呼び名取得部５４２と、仮想双方向ライブ配信部５４３と、ユーザ呼び名置換制御部５４４と、オプションとしての呼び名音声合成部５４５と、を有する。ユーザ呼び名問い合せ部５４１は、通信端末（かいと）２２０および通信端末（みき）３２１に対してユーザの呼び名などを問い合わせる。ユーザ呼び名取得部５４２は、通信端末（かいと）２２０および通信端末（みき）３２１から返信されたユーザの呼び名などを取得する。
【0036】
仮想双方向ライブ配信部５４３は、双方向ライブコンテンツ記録部５３１に記録された双方向ライブコンテンツ２１１を仮想双方向ライブとして通信端末（かいと）２２０および通信端末（みき）３２１に配信する。ユーザ呼び名置換制御部５４４は、双方向ライブコンテンツ２１１に含まれるユーザ呼びかけフレーズを検知して、フレーズ中の双方向ライブ参加者名をユーザの呼び名に置換するよう、仮想双方向ライブ配信部５４３を制御する。オプションとしての呼び名音声合成部５４５は、呼び名音声登録部５３３に登録されていない呼び名音声を人工的に合成して、ユーザ呼び名置換制御部５４４に渡す。
【0037】
（双方向ライブコンテンツ記録部）
図６Ａは、本実施形態に係る双方向ライブコンテンツ記録部５３１の構成を示す図である。双方向ライブコンテンツ記録部５３１は、参加者と共に収録した双方向ライブコンテンツを、呼びかけフレーズにおける呼び名置換のための情報と共に記録し、本実施形態の呼びかけフレーズにおける呼び名置換に使用される。
図６Ａは、本実施形態に係る双方向ライブコンテンツ記録部５３１の構成を示す図である。双方向ライブコンテンツ記録部５３１は、参加者と共に収録した双方向ライブコンテンツを、呼びかけフレーズにおける呼び名置換のための情報と共に記録し、本実施形態の呼びかけフレーズにおける呼び名置換に使用される。
【0038】
双方向ライブコンテンツ記録部５３１は、双方向ライブコンテンツＩＤ６１１に対応付けて、少なくとも１つの置換位置情報６１２を記憶する。置換位置情報６１２は、双方向ライブコンテンツ中の呼びかけフレーズのタイミングと長さとを含む。なお、本実施形態においては、呼びかけフレーズのタイミングと長さとは、１００分の１秒単位で調整できる。そのため、呼び名が決まったブランクの中に自然にはいるように再生できる。また、双方向ライブコンテンツ記録部５３１は、各置換位置情報６１２に対応付けて、呼びかけフレーズのデータ６１３と置換制御情報６１４とを記憶する。なお、呼びかけフレーズのデータ６１３としては、呼び名の置換（図中、［呼び名］）と敬称の置換（図中、［敬称］）が設定される。また、置換制御情報６１４は、フレーズ内の呼び名位置や音声整合用情報（高低、速度、…）などが含まれるが、これらに限定されない。
【0039】
（ユーザ呼び名登録部）
図６Ｂは、本実施形態に係るユーザ呼び名登録部５３２の構成を示す図である。ユーザ呼び名登録部５３２は、呼びかけフレーズにおける呼び名置換のためのユーザの呼び名を登録し、ユーザ呼び名置換制御部５４４が使用する。
図６Ｂは、本実施形態に係るユーザ呼び名登録部５３２の構成を示す図である。ユーザ呼び名登録部５３２は、呼びかけフレーズにおける呼び名置換のためのユーザの呼び名を登録し、ユーザ呼び名置換制御部５４４が使用する。
【0040】
ユーザ呼び名登録部５３２は、双方向ライブコンテンツＩＤ６２１に対応付けて、仮想双方向ライブを提供する少なくとも１つの通信端末ＩＤ６２２を記憶する。そして、ユーザ呼び名登録部５３２は、各通信端末ＩＤ６２２に対応付けて、ユーザ呼び名登録情報６２３を記憶する。なお、ユーザ呼び名登録情報６２３には、ユーザの呼び名、ユーザの年齢、ユーザの性別、使用される敬称、呼び名音声が録音か合成か、呼び名の音声データなどが含まれるが、これに限定されるものではない。
【0041】
＜情報処理装置のハードウェア構成＞
図７は、本実施形態に係る情報処理装置２１０のハードウェア構成を示すブロック図である。図７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図７は、本実施形態に係る情報処理装置２１０のハードウェア構成を示すブロック図である。図７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0042】
図７で、ＣＰＵ７１０は演算制御用のプロセッサであり、プログラムを実行することで図５の機能構成を実現する。ＲＯＭ７２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース７３０は、ネットワーク３４０を介して通信端末２２０、３２１、３３１、３３２との通信を制御する。
【0043】
ＲＡＭ７４０は、ＣＰＵ７１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。双方向ライブコンテンツ７４１は、仮想双方向ライブのコンテンツであり、本実施形態においては呼び名置換位置のフレーズを検出するための呼び名置換タグ７４２を含んでいる。なお、双方向ライブコンテンツ７４１から呼び名置換フレーズを実時間で検出する場合には、呼び名置換タグ７４２を必要としない。配信先ＩＤ/配信先呼び名７４３は、仮想双方向ライブの配信先の通信端末ＩＤと、その通信端末ＩＤに配信する時に置換する呼び名である。呼び名置換用フレーズ７４４は、双方向ライブコンテンツ７４１から検知された呼び名を置換する前の呼びかけフレーズである。呼び名置換後フレーズ７４５は、呼び名を置換した後の呼びかけフレーズである。送受信データ７４６は、ネットワークインタフェース７３０を介して送受信されるデータである。
【0044】
ストレージ７５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ７５０には、データベースとして、図５で前出した、双方向ライブコンテンツ記録部５３１と、コンテンツに含まれないユーザ呼び名登録部５３２と、呼び名音声登録部５３３とが記憶される。
【0045】
ストレージ７５０には、以下のプログラムが格納される。情報処理装置の制御プログラム７５１は、情報処理装置２１０の全体を制御するプログラムである。双方向ライブコンテンツ生成モジュール７５２は、参加者を含む双方向ライブの収録に基づいて双方向ライブコンテンツを生成するモジュールである。仮想双方向ライブ配信モジュール７５３は、双方向ライブコンテンツを用いて仮想双方向ライブを配信するモジュールである。ユーザ呼び名登録モジュール７５４は、置換するユーザの呼び名を取得して登録するモジュールである。ユーザ呼び名置換モジュール７５５は、仮想双方向ライブの配信中に、双方向ライブの参加者名をユーザの呼び名に置き換えるモジュールである。呼び名音声合成モジュール７５６は、ユーザの呼び名で音声データが登録されていないものを合成するためのモジュールである。
【0046】
なお、図７のＲＡＭ７４０やストレージ７５０には、情報処理装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【0047】
＜情報処理装置の処理手順＞
図８Ａは、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行し、図５の機能構成を実現する。
図８Ａは、本実施形態に係る情報処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、図７のＣＰＵ７１０がＲＡＭ７４０を使用して実行し、図５の機能構成を実現する。
【0048】
情報処理装置２１０は、ステップＳ８１１において、コンテンツの収録か否かを判定する。コンテンツの収録であると判定すると、情報処理装置２１０は、ステップＳ８１３において、参加者を含む双方向ライブの収録を開始する。そして、情報処理装置２１０は、ステップＳ８１５において、双方向ライブのストーリーに沿って呼びかけをユーザの呼び名に置換するタイミングか否かを判定する。呼びかけをユーザの呼び名に置換するタイミングが来ると、情報処理装置２１０は、ステップＳ８１７において、再生時に呼び名の置換位置を検知するための呼び名置換タグを付与する。情報処理装置２１０は、ステップＳ８１９において、双方向ライブを収録する。情報処理装置２１０は、ステップＳ８２１において、ライブの収録終了であるか否かを判定し、収録終了でなければ、ステップＳ８１５に戻って収録を継続する。
【0049】
コンテンツの収録でないと判定すると、情報処理装置２１０は、ステップＳ８３１において、仮想双方向ライブの配信か否かを判定する。仮想双方向ライブの配信と判定すると、情報処理装置２１０は、ステップＳ８３３において、仮想双方向ライブ配信アプリケーションを起動する。そして、情報処理装置２１０は、ステップＳ８３５において、置換する呼び名をユーザの通信端末に問合せる。情報処理装置２１０は、ステップＳ８３７において、ユーザの通信端末からの返信を待って、返信があると、ステップＳ８３９において、受信した呼び名をユーザ呼び名登録部５３２に登録する。この場合に、呼び名の音声入力があると、呼び名音声登録部５３３に登録する。
【0050】
情報処理装置２１０は、ステップＳ８４１において、仮想双方向ライブ配信処理を実行する。そして、仮想双方向ライブ配信処理が終了すると、情報処理装置２１０は、ステップＳ８４３において、仮想双方向ライブ配信アプリケーションを終了する。なお、コンテンツの収録でなく仮想双方向ライブの配信でなければ、他の処理を実行する。
【0051】
（仮想双方向ライブ配信処理）
図８Ｂは、本実施形態に係る仮想双方向ライブ配信処理Ｓ８４１の手順を示すフローチャートである。
図８Ｂは、本実施形態に係る仮想双方向ライブ配信処理Ｓ８４１の手順を示すフローチャートである。
【0052】
情報処理装置２１０は、ステップＳ８５１において、仮想双方向ライブの配信を開始する。情報処理装置２１０は、ステップＳ８５３において、呼び名置換タグが有るか否かを判定する。呼び名置換タグが無ければ、情報処理装置２１０は、ステップＳ８５９に進む。呼び名置換タグが有れば、情報処理装置２１０は、ステップＳ８５５において、配信先の通信端末ＩＤに対応する呼び名をユーザ呼び名登録部５３２から取得する。そして、情報処理装置２１０は、ステップＳ８５７において、呼び名置換タグの呼びかけフレーズ中の呼び名をユーザの呼び名に置換して、配信先の通信端末に出力する。情報処理装置２１０は、ステップＳ８５９において、仮想ライブ配信の終了か否かを判定し、終了でなければ、ステップＳ８５３に戻って配信を継続する。
【0053】
本実施形態によれば、ライブ参加者に含まれないユーザそれぞれに対して、ユーザの呼び名を用いて呼びかけることで、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。特に、登録されてない呼び名を合成して使用したり、ユーザの呼び名にユーザ側から登録した音声データを使用したりすることで、より臨場感を高めることができる。
【0054】
［第３実施形態］
次に、本発明の第３実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態と比べると、通信端末に搭載されたカメラで撮像した映像から、ユーザの顔認識をすることでユーザの状態に対応した呼びかけを行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第３実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態と比べると、通信端末に搭載されたカメラで撮像した映像から、ユーザの顔認識をすることでユーザの状態に対応した呼びかけを行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0055】
【0056】
（動作概要）
図９は、本実施形態に係る情報処理装置９１０を含む情報処理システム９００における動作概要を説明する図である。なお、図９において、図２と同様の構成要素には同じ参照番号を付して、重複する説明を終了する。
図９は、本実施形態に係る情報処理装置９１０を含む情報処理システム９００における動作概要を説明する図である。なお、図９において、図２と同様の構成要素には同じ参照番号を付して、重複する説明を終了する。
【0057】
通信端末（かいと）２２０には、撮像部（カメラ）９２２が搭載され、ユーザの撮像が可能である。図９の左図の表示領域９２１には、顔認識のためのユーザの顔画像入力が追加されている。図９の中央図の表示画面９３２には、呼びかけフレーズがユーザの呼び名に置換されるタイミングで、拡大されたユーザ像が表示され、演者の表示領域９２４はピクチャー・イン・ピクチャー（ＰＩＰ）により表示される。そして、拡大されたユーザ像が得られる場合には、顔認識部によってユーザの顔認識が登録した顔画像との比較で実行される。
【0058】
例えば、かくれんぼをするシーンであれば、図９の中央図に示すユーザの顔認識において、一定時間、顔認識ができなければ、図９の右上図のように、演者の表示領域９２５が表示されて、ユーザの呼び名に置換された“かいとくんどこにいるかなぁ？”とのフレーズが発声される。一方、図９の中央図に示すユーザの顔認識において、顔認識が一致すれば、図９の右下図のように、演者の表示領域９２５が表示されて、ユーザの呼び名に置換された“かいとくんちゃんとかくれてぇ～”とのフレーズが発声される。
【0059】
本実施形態により、ユーザの状態を顔認識に基づいて判定し、判定結果に応じたフレーズを選択し、かつ、ユーザの呼び名に置換した呼びかけを実現する。
【0060】
（動作シーケンス）
図１０は、本実施形態に係る情報処理装置９１０を含む情報処理システム９００の動作手順を示すシーケンス図である。なお、図１０において、図４と同様のステップには同じステップ番号を付して、重複する説明は省略する。また、図１０において、図４内で同様の複数の処理（例えば、Ｓ４０５とＳ４０７）は、１つの箱で省略して示している。また、図１０においては、図４のステップＳ４３１の終了処理は省略されている。
図１０は、本実施形態に係る情報処理装置９１０を含む情報処理システム９００の動作手順を示すシーケンス図である。なお、図１０において、図４と同様のステップには同じステップ番号を付して、重複する説明は省略する。また、図１０において、図４内で同様の複数の処理（例えば、Ｓ４０５とＳ４０７）は、１つの箱で省略して示している。また、図１０においては、図４のステップＳ４３１の終了処理は省略されている。
【0061】
情報処理装置２１０は、ステップＳ１００９において、通信端末２２０、３２２１からユーザの顔画像を取得する。そして、情報処理装置２１０は、ステップＳ１０１０において、取得したユーザの顔画像を提供先の通信端末に対応付けて登録する。
【0062】
仮想双方向ライブの開始後、情報処理装置２１０は、ステップＳ１０１１において、通信端末２２０、３２２１からユーザ映像を取得する。そして、情報処理装置２１０は、ステップＳ１０１２において、ユーザ映像から認識されたユーザ状態の応じて、少なくとも２つの呼びかけフレーズから適切な呼びかけフレーズを選択する。なお、択一的な呼びかけであれば、１つのフレーズをＹＥＳとＮＯとなるように変形してもよい。
【0063】
【0064】
データベース１１０３は、選択する複数のフレーズを格納するフレーズ格納部１１３４を含む、双方向ライブコンテンツ記録部１１３１と、コンテンツに含まれないユーザ呼び名および顔画像登録部１１３２とを含む。
【0065】
仮想双方向ライブ配信アプリケーション１１０４は、さらに、ユーザ映像取得部１１４６と、フレーズ選択部１１４７と、を有する。ユーザに関する情報取得部としてのユーザ映像取得部１１４６は、通信端末が撮像したユーザ画像を取得し、ユーザ呼び名および顔画像登録部１１３２に格納し、フレーズ選択部１１４７に送付する。フレーズ選択部１１４７は、ユーザへの呼びかけタイミングにおいて、ユーザ映像取得部１１４６からのユーザ映像に基づいて、顔認識部による顔認識に基づいて認識されたユーザの状態に応じて、フレーズ格納部１１３４から適切なフレーズを選択して仮想双方向ライブ配信部５４３に出力する。その後は、図５と同様に、仮想双方向ライブ配信部５４３では、ユーザ呼び名置換制御部５４４の制御により選択されたフレーズの呼び名をユーザの呼び名に置換して配信する。
【0066】
（双方向ライブコンテンツ記録部）
図１２Ａは、本実施形態に係る双方向ライブコンテンツ記録部１１３１の構成を示す図である。図１２Ａにおいて、図６Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図１２Ａは、本実施形態に係る双方向ライブコンテンツ記録部１１３１の構成を示す図である。図１２Ａにおいて、図６Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0067】
呼びかけフレーズ格納部１１３４は、使用するフレーズを選択する条件と、条件を満たす場合のフレーズとを含む。例えば、一定時間にユーザの顔認識がなければ、“[呼び名][敬称]ちゃんとかくれてるね”が使用され、ユーザの顔認識があれば、“[呼び名][敬称]ちゃんとかくれてぇ～”が使用される。また、表示制御情報１２１５として、このタイミングでの通常と異なる表示が指示されている。
【0068】
（ユーザ呼び名および顔画像登録部）
図１２Ｂは、本実施形態に係るユーザ呼び名および顔画像登録部１１３２の構成を示す図である。図１２Ｂにおいて、図６Ｂと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
図１２Ｂは、本実施形態に係るユーザ呼び名および顔画像登録部１１３２の構成を示す図である。図１２Ｂにおいて、図６Ｂと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【0069】
顔画像情報１２２４は、ユーザが登録したユーザの顔画像であり、画像データとその特徴量とを含む。
【0070】
＜情報処理装置の処理手順＞
図１３Ａは、本実施形態に係る情報処理装置９１０の処理手順を示すフローチャートである。図１３Ａにおいて、図８Ａと同様のステップには同じステップ番号を付して、重複する説明は省略する。
図１３Ａは、本実施形態に係る情報処理装置９１０の処理手順を示すフローチャートである。図１３Ａにおいて、図８Ａと同様のステップには同じステップ番号を付して、重複する説明は省略する。
【0071】
情報処理装置９１０は、ステップＳ１３３５において、置換する呼び名とユーザ顔画像とをユーザの通信端末に問い合せる。情報処理装置９１０は、ステップＳ１３３７において、置換する呼び名とユーザ顔画像との応答をまって、応答があれば、ステップＳ１３３９において、呼び名とユーザ顔画像とをユーザ呼び名および顔画像登録部１１３２に登録する。そして、情報処理装置９１０は、ステップＳ１３４１において、仮想双方向ライブ配信処理を実行する。
【0072】
（仮想双方向ライブ配信処理）
図１３Ｂは、本実施形態に係る仮想双方向ライブ配信処理Ｓ１３４１の手順を示すフローチャートである。図１３Ｂにおいて、図８Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
図１３Ｂは、本実施形態に係る仮想双方向ライブ配信処理Ｓ１３４１の手順を示すフローチャートである。図１３Ｂにおいて、図８Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
【0073】
情報処理装置９１０は、ステップＳ１３５４において、ユーザ顔画像に基づいてユーザ状態を判別する。そして、情報処理装置９１０は、ステップＳ１３５５において、ユーザ状態に対応して呼びかけフレーズを選択する。
【0074】
本実施形態によれば、映像中のユーザの顔認識によりユーザの状態を判定して、ユーザの呼び名を用いて異なる呼びかけをするので、ライブに参加してないユーザそれぞれにおいてさらに臨場感を高めることができる。
【0075】
［第４実施形態］
次に、本発明の第４実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態および第３実施形態と比べると、ユーザの声の音声認識、じゃんけんの画像認識、通信端末の画面上のスイッチ選択などにより、ユーザの呼び名を用いた呼びかけを選択する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第４実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態および第３実施形態と比べると、ユーザの声の音声認識、じゃんけんの画像認識、通信端末の画面上のスイッチ選択などにより、ユーザの呼び名を用いた呼びかけを選択する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0076】
（双方向ライブコンテンツ記録部）
図１４は、本実施形態に係る双方向ライブコンテンツ記録部１４３１の構成を示す図である。図１４において、図６Ａおよび図１２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
図１４は、本実施形態に係る双方向ライブコンテンツ記録部１４３１の構成を示す図である。図１４において、図６Ａおよび図１２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【0077】
呼びかけフレーズのデータ１４３４は、使用するフレーズを選択する条件と、条件を満たす場合のフレーズとを含む。例えば、“[呼び名][敬称]これはなにかなぁ？”との問いかけへのユーザの答えを音声認識部により音声認識して正解と判定すると、“[呼び名][敬称]よくしってるね”が使用され、間違いであれば、“[呼び名][敬称]これは○○ですよ”が使用される。また、“[呼び名][敬称] じゃんけんしよう～”との呼びかけに応答したユーザの手を画像認識する。そして、ユーザの勝ちと判定すると、“[呼び名][敬称]つよいねぇ～”が使用され、ユーザの負けであれば、“[呼び名][敬称]ざんねん！”が使用され、相子であれば、“[呼び名][敬称]もういちどだよ”が使用される。また、“[呼び名][敬称]好きなのをえらんでね”との問いかけへのユーザの画面上のタッチ位置を判定して、“[呼び名][敬称]りんごがすきなんだぁ～”、あるいは、“[呼び名][敬称]いちごがすきなんだぁ～”などが使用される。
【0078】
また、何を条件とするかの条件入力１４１５として、音声認識部によるユーザの声の音声認識結果、画像認識部によるユーザの手の画像認識結果、表示画面からのスイッチ入力などが指示されている。条件入力１４１５は、これらに限定されるものではない。ここで、条件入力１４１５は、それぞれユーザに関する情報を取得する情報取得部により取得される。さらに、選択肢のボタンを押しながら名前を入力することによって、例えば、選択した“もの”とその“名前”とが一致しているか否かなどを伝えるような臨場感も生成できる。
【0079】
本実施形態によれば、ユーザによる能動的な動作に応じて、ユーザの呼び名を用いて異なる呼びかけをするので、ライブに参加してないユーザそれぞれにおいてより一層、臨場感を高めることができる。
【0080】
［第５実施形態］
次に、本発明の第５実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態から第４実施形態と比べると、ユーザの呼び名を用いた呼びかけを通信端末側で行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
次に、本発明の第５実施形態に係る情報処理装置を含む情報処理システムについて説明する。本実施形態に係る情報処理装置を含む情報処理システムは、上記第２実施形態から第４実施形態と比べると、ユーザの呼び名を用いた呼びかけを通信端末側で行う点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0081】
＜情報処理システムの動作手順＞
図１５は、本実施形態に係る情報処理装置１５１０を含む情報処理システムの動作手順を示すシーケンス図である。なお、図１５において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。また、図１５において、複数の通信端末で同様の複数の処理（例えば、Ｓ１５０３～Ｓ１５０７）は、それぞれ１つの箱で省略して示している。また、図１５においては、図４のステップＳ４３１の終了処理は省略されている。
図１５は、本実施形態に係る情報処理装置１５１０を含む情報処理システムの動作手順を示すシーケンス図である。なお、図１５において、図４と同様のステップには同じステップ番号を付して、重複する説明を省略する。また、図１５において、複数の通信端末で同様の複数の処理（例えば、Ｓ１５０３～Ｓ１５０７）は、それぞれ１つの箱で省略して示している。また、図１５においては、図４のステップＳ４３１の終了処理は省略されている。
【0082】
情報処理装置１５１０は、ステップＳ１５０２において、呼び名置換用のプログラムを通信端末１５２０および１５２１に提供する。呼び名置換用のプログラムに従って、通信端末１５２０および１５２１は、ステップＳ１５０３において、ユーザ（ユーザの保護者）に呼び名を問い合わせる。そして、通信端末１５２０および１５２１は、ステップＳ１５０５において、ユーザ（ユーザの保護者）からの呼び名の入力を取得して、ステップＳ１５０７において、取得した呼び名をユーザの通信端末ＩＤに対応付けて登録する。
【0083】
仮想双方向ライブの開始後、情報処理装置１５１０がユーザへの呼びかけを検知して、呼びかけフレーズを通信端末１５２０、１５２１に出力する。すると、通信端末１５２０は、ステップ１５１５において、呼び名置換用のプログラムを用いて、フレーズの呼び名を“かいと”に置換する。一方、通信端末１５２０は、ステップ１５１９において、呼び名置換用のプログラムを用いて、フレーズの呼び名を“みき”に置換する。
【0084】
本実施形態によれば、情報処理装置側において各ユーザに対応した処理が必要なくなるので、情報処理装置の負荷を低減しつつ、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。
【0085】
［他の実施形態］
なお、上記実施形態においては、呼びかけフレーズの呼び名を登録されたユーザの呼び名に置換して呼びかけたが、予めコンテンツに口パクの部分を設定しておいて、この部分にユーザの呼び名を挿入してもよい。さらに、ライブ参加者との会話の一部にユーザの呼び名に置換したフレーズを挟むことで、さらに参加の臨場感を増すことができる。また、ユーザの属性情報として、好きな食べ物やスポーツ（運動）などを登録しておき、ユーザにの呼び名のみでなく、例えば“○○ちゃんの好きな△△だよ！”と好きな食べ物（△△）にそれぞれ置き換えて呼びかけてもよい。さらに、折り紙や絵、なぞなぞ、九九などにも応用ができ、参加の臨場感を増すことができる。
なお、上記実施形態においては、呼びかけフレーズの呼び名を登録されたユーザの呼び名に置換して呼びかけたが、予めコンテンツに口パクの部分を設定しておいて、この部分にユーザの呼び名を挿入してもよい。さらに、ライブ参加者との会話の一部にユーザの呼び名に置換したフレーズを挟むことで、さらに参加の臨場感を増すことができる。また、ユーザの属性情報として、好きな食べ物やスポーツ（運動）などを登録しておき、ユーザにの呼び名のみでなく、例えば“○○ちゃんの好きな△△だよ！”と好きな食べ物（△△）にそれぞれ置き換えて呼びかけてもよい。さらに、折り紙や絵、なぞなぞ、九九などにも応用ができ、参加の臨場感を増すことができる。
【0086】
また、上記実施形態においては、１人のユーザが参加する例を示したが、複数のユーザが呼び名と属性を登録して、呼びかけフレーズに適切な呼び名を選択して呼びかけを行ってもよい。例えば、男子への呼びかけでは男子のユーザの呼び名に置換し、女子への呼びかけでは女子のユーザの呼び名に置換するなども可能である。また、第３実施形態や第４実施形態における、ユーザの呼び名を用いたフレーズの選択は、フレーズ部分のみとして記載したが、さらに、複数のシナリオが容易されており、選択の条件に応じてフレーズの選択後に異なるシナリオに進むような、コンテンツであってもよい。この場合には、一方の選択がミッションの成功、他方の選択がミッションの失敗などとすると、さらに達成感を提供することができる。
【0087】
また、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
【0088】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。
【要約】
【課題】本発明によれば、双方向ライブ配信において、ライブに参加してないユーザそれぞれにおいて臨場感を高めることができる。
【解決手段】通信端末を介したライブ参加者との双方向ライブを含むコンテンツを提供する双方向ライブ提供部と、ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、双方向ライブの提供中に、コンテンツに含まれるライブ参加者に呼びかける場面において、呼び名登録部に登録された呼び名を用いてユーザに呼びかけるよう制御する制御部と、を備える。
【選択図】 図１
【解決手段】通信端末を介したライブ参加者との双方向ライブを含むコンテンツを提供する双方向ライブ提供部と、ライブ参加者に含まれないユーザの呼び名を受け付けて登録する呼び名登録部と、双方向ライブの提供中に、コンテンツに含まれるライブ参加者に呼びかける場面において、呼び名登録部に登録された呼び名を用いてユーザに呼びかけるよう制御する制御部と、を備える。
【選択図】 図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14】
【図15】