ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7552605情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
(51)【国際特許分類】
H04N 21/266 20110101AFI20240910BHJP
H04N 21/258 20110101ALI20240910BHJP
H04N 5/93 20060101ALI20240910BHJP
H04N 5/765 20060101ALI20240910BHJP
【ＦＩ】
H04N21/266
H04N21/258
H04N5/93
H04N5/765
【請求項の数】
17
(21)【出願番号】P 2021548414
(86)(22)【出願日】2020-08-06
(86)【国際出願番号】 JP2020030192
(87)【国際公開番号】W WO2021059770
(87)【国際公開日】2021-04-01
【審査請求日】2023-06-07
(31)【優先権主張番号】P 2019173496
(32)【優先日】2019-09-24
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】弁理士法人大同特許事務所
(72)【発明者】
【氏名】清水 孝悌
【審査官】大西 宏
(56)【参考文献】
【文献】特開２００２－１０９１１６（ＪＰ，Ａ）
【文献】特開２００５－１４２９７５（ＪＰ，Ａ）
【文献】特開２０１２－２４８０７０（ＪＰ，Ａ）
【文献】特開２０１５－０６０３８０（ＪＰ，Ａ）
【文献】特表２０１７－５２７１４２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１８２９５５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２１／００ －２１／８５８
Ｈ０４Ｎ ５／９１ － ５／９５６
Ｈ０４Ｎ ５／７６ － ５／７７５
(57)【特許請求の範囲】
【請求項1】
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生するデータ処理部を有し、
前記データ処理部は、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する情報処理装置。
【請求項2】
前記データ処理部は、前記演者リアクション画像フレームを、前記再生コンテンツから選択する請求項１に記載の情報処理装置。
【請求項3】
前記データ処理部は、前記類似度の指標値として、
（ａ）画像フレームに含まれる顔の顔サイズ、
（ｂ）画像フレームに含まれる顔の顔位置、
（ｃ）画像フレーム全体の輝度、
（ｄ）画像フレーム全体の画素値ヒストグラム、
上記（ａ）～（ｄ）の少なくともいずれかのデータを利用する請求項１に記載の情報処理装置。
【請求項4】
前記データ処理部は、前記類似度として、（ａ）画像フレームに含まれる顔の顔サイズ、
（ｂ）画像フレームに含まれる顔の顔位置、
（ｃ）画像フレーム全体の輝度、
（ｄ）画像フレーム全体の画素値ヒストグラム、
上記（ａ）～（ｄ）の各データの重みづけ加算値を算出する請求項１に記載の情報処理装置。
【請求項5】
前記データ処理部は、前記再生コンテンツ中に、複数の演者リアクション画像フレームが存在する場合、
ユーザアクション検出時の再生画像フレームに対して、最も類似する演者リアクション画像フレームを選択して再生する請求項１に記載の情報処理装置。
【請求項6】
前記データ処理部は、前記演者リアクション画像フレームに置き換えて再生処理を開始した後、
前記演者リアクション画像フレームの再生から、元の再生コンテンツの再生に戻す再生画像切り替え処理を実行する請求項１に記載の情報処理装置。
【請求項7】
前記データ処理部は、前記再生画像切り替え処理に際して、
再生中の演者リアクション画像フレームと、元の再生コンテンツの画像フレームとの類似度を解析し、より高い類似度を持つ画像となるタイミングで再生画像の切り替え処理を実行する請求項６に記載の情報処理装置。
【請求項8】
前記データ処理部は、記憶部に予め格納された登録データである、
（ｐ）再生画像の画像フレーム番号
（ｑ）置き換え用演者リアクション画像フレーム番号
上記（ｐ）と（ｑ）の対応データを参照して、
ユーザアクションが検出された時点の再生画像の画像フレーム番号に対応付けて登録された置き換え用演者リアクション画像フレーム番号を取得し、取得した置き換え用演者リアクション画像フレーム番号に対応する画像フレームを再生する請求項１に記載の情報処理装置。
【請求項9】
前記登録データは、ユーザアクションの種類に応じた登録データであり、
前記データ処理部は、
検出されたユーザアクションの種類に対応する登録データを前記記憶部から取得して、再生画像フレームを決定する請求項８に記載の情報処理装置。
【請求項10】
前記再生コンテンツは、コンテンツ配信サーバからの受信コンテンツ、または記録メディアからの再生コンテンツである請求項１に記載の情報処理装置。
【請求項11】
コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムであり、前記コンテンツ再生装置は、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバは、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する処理を実行するとともに、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して配信する情報処理システム。
【請求項12】
前記コンテンツ配信サーバは、前記演者リアクション画像フレームを、前記配信コンテンツから選択する請求項１１に記載の情報処理システム。
【請求項13】
前記コンテンツ配信サーバは、前記演者リアクション画像フレームに置き換えて配信処理を開始した後、
前記演者リアクション画像フレームの配信から、元の配信コンテンツに戻す配信画像切り替え処理を実行する請求項１１に記載の情報処理システム。
【請求項14】
前記コンテンツ配信サーバは、前記配信画像切り替え処理に際して、
配信中の演者リアクション画像フレームと、元の配信コンテンツの画像フレームとの類似度を解析し、より高い類似度を持つ画像となるタイミングで配信画像の切り替え処理を実行する請求項１３に記載の情報処理システム。
【請求項15】
情報処理装置において実行する情報処理方法であり、データ処理部が、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する処理を実行し、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する情報処理方法。
【請求項16】
コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムにおいて実行する情報処理方法であり、前記コンテンツ再生装置が、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバが、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する処理を実行するとともに、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して配信する情報処理方法。
【請求項17】
情報処理装置において情報処理を実行させるプログラムであり、データ処理部に、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する処理を実行させ、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、コンテンツ再生時に視聴者アクションに対する演者のリアクション画像を再生可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
【背景技術】
【0002】
現在、ネットワークを介したコンテンツ配信が盛んに行われている。例えば、ある歌手などの演者がライブコンテンツの配信を行う場合、視聴者のアクション、例えば、視聴者が手を振る応援やメッセージ入力等の視聴者アクションを演者側にリアルタイムで伝えることも可能である。
【0003】
また、演者側が、視聴者アクションに対して笑顔で答える、あるいはサンキューといったメッセージを伝える、あるいは手を振るといったリアクションを行い、このリアクション画像をそのままコンテンツ配信するといったインタラクティブ型のコンテンツ配信も行われている。
しかし、このようなインタラクティブ型のコンテンツ配信は、あくまでライブコンテンツ、すなわちコンテンツの生配信でのみ可能である。
しかし、このようなインタラクティブ型のコンテンツ配信は、あくまでライブコンテンツ、すなわちコンテンツの生配信でのみ可能である。
【0004】
例えば予め記録済みのコンテンツを再生する場合、その記録済みコンテンツに対して、視聴者が手を振る応援やメッセージ入力等の視聴者アクションを行っても、演者は何らリアクションを行ってくれない。
このようなリアクションの無いコンテンツ再生は、視聴者の興味を低減させる要因となる。
このようなリアクションの無いコンテンツ再生は、視聴者の興味を低減させる要因となる。
【0005】
なお、特許文献１（特開２０１６－０８３２２５号公報）は、ゲームコンテンツに自分の画像を併せて配信する構成を開示している。
しかし、この構成は、ゲームコンテンツは記録済みンテンツであるが、自分の撮影画像の配信は、現在の自分の撮影画像の生配信になる。
すなわち、配信するアクション画像やリアクション画像は生配信画像を利用した構成である。
しかし、この構成は、ゲームコンテンツは記録済みンテンツであるが、自分の撮影画像の配信は、現在の自分の撮影画像の生配信になる。
すなわち、配信するアクション画像やリアクション画像は生配信画像を利用した構成である。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１６－０８３２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本開示は、配信コンテンツや再生コンテンツが、ライブコンテンツ（生配信コンテンツ）でない記録済みコンテンツである場合でも、視聴者アクションに対する演者のリアクション画像を再生可能とした情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供するものである。
【課題を解決するための手段】
【0008】
本開示の第１の側面は、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生するデータ処理部を有する情報処理装置にある。
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生するデータ処理部を有する情報処理装置にある。
【0009】
さらに、本開示の第２の側面は、
コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムであり、
前記コンテンツ再生装置は、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバは、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理システムにある。
コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムであり、
前記コンテンツ再生装置は、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバは、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理システムにある。
【0010】
さらに、本開示の第３の側面は、
情報処理装置において実行する情報処理方法であり、
データ処理部が、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
データ処理部が、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する情報処理方法にある。
【0011】
さらに、本開示の第４の側面は、
コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムにおいて実行する情報処理方法であり、
前記コンテンツ再生装置が、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバが、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理方法にある。
コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムにおいて実行する情報処理方法であり、
前記コンテンツ再生装置が、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバが、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理方法にある。
【0012】
さらに、本開示の第５の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生させるプログラムにある。
【0013】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0014】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【0015】
本開示の一実施例の構成によれば、再生コンテンツに対するユーザアクションに応じて、演者のリアクションシーンを含む演者リアクション画像フレームを再生する装置、方法が実現される。
具体的には、例えば、再生コンテンツに対するユーザアクションを検出し、ユーザアクションガ検出された場合に、再生コンテンツの再生画像フレームを演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する。データ処理部は、ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する。
本構成により、再生コンテンツに対するユーザアクションに応じて、演者のリアクションシーンを含む演者リアクション画像フレームを再生する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、再生コンテンツに対するユーザアクションを検出し、ユーザアクションガ検出された場合に、再生コンテンツの再生画像フレームを演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する。データ処理部は、ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する。
本構成により、再生コンテンツに対するユーザアクションに応じて、演者のリアクションシーンを含む演者リアクション画像フレームを再生する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0016】
【図1】コンテンツ再生処理の一例について説明する図である。
【図2】本開示の情報処理装置の実行する処理について説明する図である。
【図3】本開示の情報処理装置の実行する処理について説明する図である。
【図4】本開示の情報処理装置の実行する処理について説明する図である。
【図5】本開示の情報処理装置の実行する処理について説明する図である。
【図6】本開示の情報処理装置の記憶部に格納された登録データの一例について説明する図である。
【図7】本開示の情報処理装置の実行する処理について説明する図である。
【図8】本開示の情報処理装置の記憶部に格納された登録データの一例について説明する図である。
【図9】本開示の情報処理装置の一構成例について説明する図である。
【図10】本開示の情報処理システムの一構成例について説明する図である。
【図11】入力部の構成例について説明する図である。
【図12】コンテンツ再生装置のデータ処理部の構成と処理について説明する図である。
【図13】コンテンツ配信サーバのデータ処理部の構成と処理について説明する図である。
【図14】本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図15】本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図16】本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図17】本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図18】本開示の情報処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【0017】
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の情報処理装置の実行する処理の概要について
２．本開示の情報処理装置が実行する再生コンテンツ置き換え処理の詳細について
３．演者リアクション画像を予め記憶部に格納して利用する構成について
４．情報処理装置、情報処理システムの構成例について
５．情報処理装置が実行するコンテンツ置き換え処理の処理シーケンスについて
６．その他の実施例について
７．情報処理装置のハードウェア構成例について
８．本開示の構成のまとめ
１．本開示の情報処理装置の実行する処理の概要について
２．本開示の情報処理装置が実行する再生コンテンツ置き換え処理の詳細について
３．演者リアクション画像を予め記憶部に格納して利用する構成について
４．情報処理装置、情報処理システムの構成例について
５．情報処理装置が実行するコンテンツ置き換え処理の処理シーケンスについて
６．その他の実施例について
７．情報処理装置のハードウェア構成例について
８．本開示の構成のまとめ
【0018】
［１．本開示の情報処理装置の実行する処理の概要について］
まず、図１以下を参照して、本開示の情報処理装置の実行する処理の概要について説明する。
まず、図１以下を参照して、本開示の情報処理装置の実行する処理の概要について説明する。
【0019】
先に説明したように、ライブコンテンツの配信では、視聴者のアクション、例えば、視聴者が手を振る応援やメッセージ入力等の視聴者アクションを演者側にリアルタイムで伝えることが可能である。また、演者側が、視聴者アクションに対して笑顔で答える、あるいはサンキューといったメッセージを伝える、あるいは手を振るといったリアクションを行い、このリアクション画像をそのままコンテンツ配信するインタラクティブ型のコンテンツ配信が可能である。
【0020】
しかし、このようなインタラクティブ型のコンテンツ配信は、あくまでライブコンテンツ、すなわちコンテンツの生配信でのみ可能である。
【0021】
例えば予め記録済みのコンテンツを再生する場合、その記録済みコンテンツに対して、視聴者が手を振る応援やメッセージ入力等の視聴者アクションを行っても、演者は何らリアクションを行ってくれない。
図１は、記録済みコンテンツの再生例を示す図である。
図１には再生コンテンツ１０と視聴者（ユーザ）２０を示している。
再生コンテンツ１０の時間ｔ１から時間ｔ３までの間の時間ｔ２において、視聴者は再生コンテンツの演者に対して応援としての声援や、手を振る等のアクション（視聴者アクション）を行ったとする。
図１は、記録済みコンテンツの再生例を示す図である。
図１には再生コンテンツ１０と視聴者（ユーザ）２０を示している。
再生コンテンツ１０の時間ｔ１から時間ｔ３までの間の時間ｔ２において、視聴者は再生コンテンツの演者に対して応援としての声援や、手を振る等のアクション（視聴者アクション）を行ったとする。
【0022】
しかし、時間ｔ２後の時間ｔ３においても、再生コンテンツ１０内の演者は、応援前の時間ｔ２と全く変化がない表情で歌っている。
すなわち、演者は、視聴者（ユーザ）２０の応援アクションがあってもなくても全く変わりがないパフォーマンスを継続する。
このようなリアクションの無いコンテンツ再生は、視聴者の興味を低減させる要因となる。
すなわち、演者は、視聴者（ユーザ）２０の応援アクションがあってもなくても全く変わりがないパフォーマンスを継続する。
このようなリアクションの無いコンテンツ再生は、視聴者の興味を低減させる要因となる。
【0023】
本開示の情報処理装置は、このような問題を解決するものである。
図２を参照して、本開示の情報処理装置が実行するコンテンツ再生例について説明する。
図２を参照して、本開示の情報処理装置が実行するコンテンツ再生例について説明する。
【0024】
図２も図１と同様、記録済みコンテンツの再生例を示す図である。
図２にも、図１と同様、再生コンテンツ１０と視聴者（ユーザ）２０を示している。
再生コンテンツ１０の時間ｔ１から時間ｔ３までの間の時間ｔ２において、視聴者は再生コンテンツの演者に対して応援としての声援や、手を振る等のアクション（視聴者アクション）を行う。
図２にも、図１と同様、再生コンテンツ１０と視聴者（ユーザ）２０を示している。
再生コンテンツ１０の時間ｔ１から時間ｔ３までの間の時間ｔ２において、視聴者は再生コンテンツの演者に対して応援としての声援や、手を振る等のアクション（視聴者アクション）を行う。
【0025】
本開示の情報処理装置は、時間ｔ２において、視聴者アクションが検出されると、再生コンテンツを通常再生コンテンツから、演者のリアクションのあるコンテンツに置き換える処理を実行する。
なお、本実施例では置き換えは画像データのみであり、音声データの置き換えは行わないが、画像データと同時に音声データについてもリアクション画像に対応した音声データに置き換える構成としてもよい。
なお、本実施例では置き換えは画像データのみであり、音声データの置き換えは行わないが、画像データと同時に音声データについてもリアクション画像に対応した音声データに置き換える構成としてもよい。
【0026】
図２に示すように、時間ｔ２において視聴者アクションが検出されると、その直後ｔ３の再生コンテンツ１０を、あたかもユーザの応援に答えるようにユーザ側を見てほほ笑む演者のリアクションを示す画像に置き換えて再生する。
視聴者（ユーザ）２０は、このような演者リアクション画像を見て、自分の応援である視聴者アクションに、演者が反応してくれていると感じることができ、コンテンツ視聴の楽しさが増大する。
視聴者（ユーザ）２０は、このような演者リアクション画像を見て、自分の応援である視聴者アクションに、演者が反応してくれていると感じることができ、コンテンツ視聴の楽しさが増大する。
【0027】
本開示の情報処理装置は、このように視聴者アクションを検出し、視聴者アクションを検出すると、再生コンテンツを通常再生コンテンツから、演者のリアクションのあるコンテンツに置き換える処理を実行する。
【0028】
［２．本開示の情報処理装置が実行する再生コンテンツ置き換え処理の詳細について］
次に、本開示の情報処理装置が実行する再生コンテンツ置き換え処理の詳細について説明する。
次に、本開示の情報処理装置が実行する再生コンテンツ置き換え処理の詳細について説明する。
【0029】
【0030】
（Ａ）記録コンテンツは例えばメディア等に記録されたコンテンツであり、再生対象となるコンテンツである。
（Ｂ）再生コンテンツは、記録コンテンツを利用して再生されるコンテンツであり、視聴者（ユーザ）２０が視聴するコンテンツである。
いずれも左から右に時間経過を示しており、コンテンツ開始画像フレームをｆ０、コンテンツ終了画像フレームをｆｚとしている。
なお、コンテンツは３Ｄコンテンツ、２Ｄコンテンツ、いずれでもよい。
（Ｂ）再生コンテンツは、記録コンテンツを利用して再生されるコンテンツであり、視聴者（ユーザ）２０が視聴するコンテンツである。
いずれも左から右に時間経過を示しており、コンテンツ開始画像フレームをｆ０、コンテンツ終了画像フレームをｆｚとしている。
なお、コンテンツは３Ｄコンテンツ、２Ｄコンテンツ、いずれでもよい。
【0031】
例えば、コンテンツは、演者が歌を歌っているコンテンツである。
その一部には、図２に示す時間（ｔ１）の演者のように横方向を見ながら歌っている画像フレームが含まれ、また、一部には、図２に示す時間（ｔ３）の演者のように正面方向を見ながら笑っている画像フレームが含まれている。
その一部には、図２に示す時間（ｔ１）の演者のように横方向を見ながら歌っている画像フレームが含まれ、また、一部には、図２に示す時間（ｔ３）の演者のように正面方向を見ながら笑っている画像フレームが含まれている。
【0032】
図３に示す（Ａ）記録コンテンツの画像フレームｆａ～ｆｂの画像フレームが、図２に示す時間（ｔ３）の演者のように正面方向を見ながら笑っている画像フレームであるとする。
本開示の情報処理装置は、例えば、正面方向を見ながら笑っている画像フレームｆａ～ｆｂを演者リアクションシーン（演者リアクション画像フレーム）として選択する。
本開示の情報処理装置は、例えば、正面方向を見ながら笑っている画像フレームｆａ～ｆｂを演者リアクションシーン（演者リアクション画像フレーム）として選択する。
【0033】
図３に示す（Ｂ）再生コンテンツの再生開始後、画像フレームｆｃの再生時点で、視聴者（ユーザ）２０が再生コンテンツの演者に対して応援としての声援や、手を振る等の視聴者アクション（ユーザアクション）を行うと、本開示の情報処理装置は、視聴者アクションが行われたことを検出する。
【0034】
本開示の情報処理装置は、視聴者アクションの検出に応じて、再生コンテンツの再生画像フレームを、（Ａ）記録コンテンツに含まれる演者リアクションシーン（演者リアクション画像フレーム）に置き換えて再生する処理を行う。
【0035】
すなわち、本来の再生画像である記録コンテンツの画像フレームｆｃ～ｆｄを、演者リアクション画像フレームｆａ～ｆｂに置き換えて再生する。
音声は、記録コンテンツの画像フレームｆｃ～ｆｄ対応の音声をそのまま継続して再生する。この実施例では、画像のみを演者リアクションシーンの画像に置き換えて再生する。ただし、先述の通り、画像データの置き換えに併せて音声データについてもリアクション画像に対応した音声データに置き換える構成としてもよい。
音声は、記録コンテンツの画像フレームｆｃ～ｆｄ対応の音声をそのまま継続して再生する。この実施例では、画像のみを演者リアクションシーンの画像に置き換えて再生する。ただし、先述の通り、画像データの置き換えに併せて音声データについてもリアクション画像に対応した音声データに置き換える構成としてもよい。
【0036】
この画像置き換え処理の結果、視聴者（ユーザ）２０は、演者リアクション画像を見て、自分の応援である視聴者アクションに、演者が反応してくれていると感じることができ、コンテンツをより楽しく視聴することができる。
【0037】
なお、本開示の情報処理装置は、コンテンツ置き換えを行う場合、画像切り替えの不自然さを低減させるため、再生中の画像と置き換え画像の類似度を判定し、より類似度が高い画像を置き換え画像として選択する処理を行う。
【0038】
【0039】
（Ａ）記録コンテンツは例えばメディア等に記録されたコンテンツであり、再生対象となるコンテンツである。
（Ｂ）再生コンテンツは、記録コンテンツを利用して再生されるコンテンツであり、視聴者（ユーザ）２０が視聴するコンテンツである。
いずれも左から右に時間経過を示しており、コンテンツ開始画像フレームをｆ０、コンテンツ終了画像フレームをｆｚとする。
なお、コンテンツは３Ｄコンテンツ、２Ｄコンテンツ、いずれでもよい。
（Ｂ）再生コンテンツは、記録コンテンツを利用して再生されるコンテンツであり、視聴者（ユーザ）２０が視聴するコンテンツである。
いずれも左から右に時間経過を示しており、コンテンツ開始画像フレームをｆ０、コンテンツ終了画像フレームをｆｚとする。
なお、コンテンツは３Ｄコンテンツ、２Ｄコンテンツ、いずれでもよい。
【0040】
ここで、（Ａ）記録コンテンツには、複数の演者リアクションシーンが含まれるものとする。すなわち、
（１）画像フレームｆａ～ｆｂの画像フレーム区間
（２）画像フレームｆｃ～ｆｄの画像フレーム区間
（３）画像フレームｆｅ～ｆｇの画像フレーム区間
（４）画像フレームｆｈ～ｆｉの画像フレーム区間
これら４つの画像フレーム区間が、演者が正面を見て笑っている画像であり、ユーザのアクションに応じて表示可能な演者リアクション画像のシーンからなる画像フレーム区間であるとする。
（１）画像フレームｆａ～ｆｂの画像フレーム区間
（２）画像フレームｆｃ～ｆｄの画像フレーム区間
（３）画像フレームｆｅ～ｆｇの画像フレーム区間
（４）画像フレームｆｈ～ｆｉの画像フレーム区間
これら４つの画像フレーム区間が、演者が正面を見て笑っている画像であり、ユーザのアクションに応じて表示可能な演者リアクション画像のシーンからなる画像フレーム区間であるとする。
【0041】
視聴者（ユーザ）２０が、図４に示す（Ｂ）再生コンテンツの画像再生フレームｆｐの視聴時に演者を応援する視聴者アクションを行ったとする。
本開示の情報処理装置は、この視聴者アクションに応じて、その後の再生画像を演者リアクション画像のシーンからなる画像フレームに置き換えるため、まず、置き換え画像フレーム区間候補として、上記（１）～（４）の演者リアクション画像フレーム区間を選択する。
本開示の情報処理装置は、この視聴者アクションに応じて、その後の再生画像を演者リアクション画像のシーンからなる画像フレームに置き換えるため、まず、置き換え画像フレーム区間候補として、上記（１）～（４）の演者リアクション画像フレーム区間を選択する。
【0042】
次に、情報処理装置は、これら複数の演者リアクション画像フレーム区間から１つの演者リアクション画像フレーム区間を最終的な置き換え画像フレームとして選択する処理を行う。
この選択処理は、画像の類似度に基づいて実行する。
この選択処理は、画像の類似度に基づいて実行する。
【0043】
すなわち、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐと、（Ａ）記録コンテンツに含まれる演者リアクション画像フレーム区間の開始画像フレームとの類似度を判定する。
【0044】
すなわち、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐと、（Ａ）記録コンテンツに含まれる演者リアクション画像フレーム区間の開始画像フレーム、すなわち、以下の４つの開始画像フレームとの類似度を算出する。
（１）画像フレームｆａ～ｆｂの画像フレーム区間の開始画像フレームｆａ
（２）画像フレームｆｃ～ｆｄの画像フレーム区間の開始画像フレームｆｃ
（３）画像フレームｆｅ～ｆｇの画像フレーム区間の開始画像フレームｆｅ
（４）画像フレームｆｈ～ｆｉの画像フレーム区間の開始画像フレームｆｈ
（１）画像フレームｆａ～ｆｂの画像フレーム区間の開始画像フレームｆａ
（２）画像フレームｆｃ～ｆｄの画像フレーム区間の開始画像フレームｆｃ
（３）画像フレームｆｅ～ｆｇの画像フレーム区間の開始画像フレームｆｅ
（４）画像フレームｆｈ～ｆｉの画像フレーム区間の開始画像フレームｆｈ
【0045】
類似度の評価指標は、例えば、以下の評価指標の少なくともいずれかを利用する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
【0046】
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）は、類似度判定対象となる２つの画像フレームに含まれる演者の顔の顔サイズ（ＳＲｆｓ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ ｆｏｒ Ｆａｃｅ Ｓｐａｃｅ）の類似度であり、顔サイズの一致度が大きいほど類似度が高く、顔サイズの一致度が小さいほど類似度が低いと判定する。
【0047】
例えば、
顔サイズが完全一致の場合、ＳＲｆｓ＝１０、
顔サイズの差異が１０％以下の場合、ＳＲｆｓ＝９、
顔サイズの差異が１０％～２０％の場合、ＳＲｆｓ＝８、
顔サイズの差異が２０％～３０％の場合、ＳＲｆｓ＝７、
：
顔サイズの差異が８０％～９０％の場合、ＳＲｆｓ＝１、
顔サイズの差異が９０％以上の場合、ＳＲｆｓ＝０、
このような類似度指標値を算出する。
顔サイズが完全一致の場合、ＳＲｆｓ＝１０、
顔サイズの差異が１０％以下の場合、ＳＲｆｓ＝９、
顔サイズの差異が１０％～２０％の場合、ＳＲｆｓ＝８、
顔サイズの差異が２０％～３０％の場合、ＳＲｆｓ＝７、
：
顔サイズの差異が８０％～９０％の場合、ＳＲｆｓ＝１、
顔サイズの差異が９０％以上の場合、ＳＲｆｓ＝０、
このような類似度指標値を算出する。
【0048】
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）は、類似度判定対象となる２つの画像フレームに含まれる演者の顔の顔位置（ＳＲｆｐ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ ｆｏｒ Ｆａｃｅ Ｐｏｓｉｔｉｏｎ）の類似度であり、画像フレーム内の顔位置の一致度が大きいほど類似度が高く、顔位置の一致度が小さいほど類似度が低いと判定する。
【0049】
例えば、
顔位置が完全一致の場合、ＳＲｆｐ＝１０、
顔位置の差異が画像フレーム幅の１０％以下の場合、ＳＲｆｐ＝９、
顔位置の差異が画像フレーム幅の１０％～２０％の場合、ＳＲｆｐ＝８、
顔位置の差異が画像フレーム幅の２０％～３０％の場合、ＳＲｆｐ＝７、
：
顔位置の差異が画像フレーム幅の８０％～９０％の場合、ＳＲｆｐ＝１、
顔位置の差異が画像フレーム幅の９０％以上の場合、ＳＲｆｐ＝０、
このような類似度指標値を算出する。
顔位置が完全一致の場合、ＳＲｆｐ＝１０、
顔位置の差異が画像フレーム幅の１０％以下の場合、ＳＲｆｐ＝９、
顔位置の差異が画像フレーム幅の１０％～２０％の場合、ＳＲｆｐ＝８、
顔位置の差異が画像フレーム幅の２０％～３０％の場合、ＳＲｆｐ＝７、
：
顔位置の差異が画像フレーム幅の８０％～９０％の場合、ＳＲｆｐ＝１、
顔位置の差異が画像フレーム幅の９０％以上の場合、ＳＲｆｐ＝０、
このような類似度指標値を算出する。
【0050】
（ｃ）画像フレーム全体の輝度（ＳＲＬ）は、類似度判定対象となる２つの画像フレーム全体の輝度（ＳＲＬ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ ｆｏｒ Ｌｕｍｉｎａｎｃｅ）の類似度であり、画像フレームの輝度平均値の一致度が大きいほど類似度が高く、輝度平均値の一致度が小さいほど類似度が低いと判定する。
【0051】
例えば、
画像フレームの輝度平均値が完全一致の場合、ＳＲＬ＝１０、
画像フレームの輝度平均値の差異が１０％以下の場合、ＳＲＬ＝９、
画像フレームの輝度平均値の差異が１０％～２０％の場合、ＳＲＬ＝８、
画像フレームの輝度平均値の差異が２０％～３０％の場合、ＳＲＬ＝７、
：
画像フレームの輝度平均値の差異が８０％～９０％の場合、ＳＲＬ＝１、
画像フレームの輝度平均値の差異が９０％以上の場合、ＳＲＬ＝０、
このような類似度指標値を算出する。
画像フレームの輝度平均値が完全一致の場合、ＳＲＬ＝１０、
画像フレームの輝度平均値の差異が１０％以下の場合、ＳＲＬ＝９、
画像フレームの輝度平均値の差異が１０％～２０％の場合、ＳＲＬ＝８、
画像フレームの輝度平均値の差異が２０％～３０％の場合、ＳＲＬ＝７、
：
画像フレームの輝度平均値の差異が８０％～９０％の場合、ＳＲＬ＝１、
画像フレームの輝度平均値の差異が９０％以上の場合、ＳＲＬ＝０、
このような類似度指標値を算出する。
【0052】
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）は、類似度判定対象となる２つの画像フレーム全体の画素値ヒストグラム（ＳＲＨ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ ｆｏｒ Ｈｉｓｔｏｇｒａｍ）の類似度であり、画像フレームの画素値ヒストグラムの一致度が大きいほど類似度が高く、画素値ヒストグラムの一致度が小さいほど類似度が低いと判定する。
【0053】
例えば、
画像フレームの画素値ヒストグラムが完全一致の場合、ＳＲＨ＝１０、
画像フレームの画素値ヒストグラムの差異が１０％以下の場合、ＳＲＨ＝９、
画像フレームの画素値ヒストグラムの差異が１０％～２０％の場合、ＳＲＨ＝８、
画像フレームの画素値ヒストグラムの差異が２０％～３０％の場合、ＳＲＨ＝７、
：
画像フレームの画素値ヒストグラムの差異が８０％～９０％の場合、ＳＲＨ＝１、
画像フレームの画素値ヒストグラムの差異が９０％以上の場合、ＳＲＨ＝０、
このような類似度指標値を算出する。
画像フレームの画素値ヒストグラムが完全一致の場合、ＳＲＨ＝１０、
画像フレームの画素値ヒストグラムの差異が１０％以下の場合、ＳＲＨ＝９、
画像フレームの画素値ヒストグラムの差異が１０％～２０％の場合、ＳＲＨ＝８、
画像フレームの画素値ヒストグラムの差異が２０％～３０％の場合、ＳＲＨ＝７、
：
画像フレームの画素値ヒストグラムの差異が８０％～９０％の場合、ＳＲＨ＝１、
画像フレームの画素値ヒストグラムの差異が９０％以上の場合、ＳＲＨ＝０、
このような類似度指標値を算出する。
【0054】
本開示の情報処理装置は、上記の４種類の類似度評価指標、すなわち、
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
これら４種類の類似度評価指標値を算出した後、以下の（式１）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
これら４種類の類似度評価指標値を算出した後、以下の（式１）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
【0055】
上記（式１）に従い、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐと、（Ａ）記録コンテンツに含まれる演者リアクション画像フレームの開始画像フレーム、すなわち、以下の４つの開始画像フレームとの類似度を算出する。
（１）画像フレームｆａ～ｆｂの画像フレーム区間の開始画像フレームｆａ
（２）画像フレームｆｃ～ｆｄの画像フレーム区間の開始画像フレームｆｃ
（３）画像フレームｆｅ～ｆｇの画像フレーム区間の開始画像フレームｆｅ
（４）画像フレームｆｈ～ｆｉの画像フレーム区間の開始画像フレームｆｈ
（１）画像フレームｆａ～ｆｂの画像フレーム区間の開始画像フレームｆａ
（２）画像フレームｆｃ～ｆｄの画像フレーム区間の開始画像フレームｆｃ
（３）画像フレームｆｅ～ｆｇの画像フレーム区間の開始画像フレームｆｅ
（４）画像フレームｆｈ～ｆｉの画像フレーム区間の開始画像フレームｆｈ
【0056】
本開示の画像処理装置は、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐと、上記（１）～（４）の４つの開始画像フレームとの類似度中、最も高い類似度を示す画像フレームを選択する。
さらに、選択した最も類似度の高い画像フレームの類似度の値（ＳＲｍａｘ）と、予め規定したしきい値（ＳＲｔｈ）との比較を行う。
ＳＲｍａｘ≧ＳＲｔｈ・・・（判定式Ａ）
さらに、選択した最も類似度の高い画像フレームの類似度の値（ＳＲｍａｘ）と、予め規定したしきい値（ＳＲｔｈ）との比較を行う。
ＳＲｍａｘ≧ＳＲｔｈ・・・（判定式Ａ）
【0057】
最も高い類似度を示す画像フレームの類似度（ＳＲｍａｘ）が、上記（判定式Ａ）を満たす場合、すなわち、最も高い類似度を示す画像フレームの類似度（ＳＲｍａｘ）が、予め規定したしきい値（ＳＲｔｈ）以上の類似度である場合、この画像フレームを開始画像フレームとして有する演者リアクションシーンの画像フレームを再生画像に置き換えて再生する。
【0058】
すなわち、例えば図４に示す例において、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐと、最も高い類似度を示す演者リアクションシーンの画像フレームが、（Ａ）記録コンテンツの、
（４）画像フレームｆｈ～ｆｉの画像フレーム区間の開始画像フレームｆｈ
上記（４）のフレームであったとする。
（４）画像フレームｆｈ～ｆｉの画像フレーム区間の開始画像フレームｆｈ
上記（４）のフレームであったとする。
【0059】
この上記（４）の開始画像フレームｆｈの類似度の値（ＳＲｍａｘ）が、予め規定したしきい値（ＳＲｔｈ）以上であり、上記（判定式Ａ）を満足すると判定されると、本開示の情報処理装置は、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐ後の再生画像として、上記（４）の（Ａ）記録コンテンツの画像フレームｆｈ～ｆｉを再生する。
【0060】
このような画像置き換え処理を実行することで、視聴者（ユーザ）２０は、違和感を抱くことなく、通常再生画像から、演者リアクションシーンの再生画像の切り替え画像を視聴することができる。
すなわち、視聴者（ユーザ）２０は、自分のアクションに答える演者のリアクション画像を自然な再生画像として視聴することができる。
すなわち、視聴者（ユーザ）２０は、自分のアクションに答える演者のリアクション画像を自然な再生画像として視聴することができる。
【0061】
さらに、本開示の情報処理装置は、置き換え画像の再生開始後、再生画像を置き換え画像から、置き換え前の元の再生画像に戻す処理も実行する。
本開示の情報処理装置は、この再生画像切り替え時にも切り替え画像間の類似度判定を行い、切り替え前後の画像フレームが、より高い類似度を持つ画像となるタイミングで再生画像の切り替え処理を実行する。
本開示の情報処理装置は、この再生画像切り替え時にも切り替え画像間の類似度判定を行い、切り替え前後の画像フレームが、より高い類似度を持つ画像となるタイミングで再生画像の切り替え処理を実行する。
【0062】
【0063】
（Ａ）記録コンテンツは例えばメディア等に記録されたコンテンツであり、（Ｂ）再生コンテンツは、記録コンテンツを利用して再生されるコンテンツであり、視聴者（ユーザ）２０が視聴するコンテンツである。
【0064】
図５の（Ｂ）再生コンテンツにおいて、視聴者アクションが検出された（Ｂ）再生コンテンツの再生画像フレームｆｐ後の再生画像として、上記（４）の（Ａ）記録コンテンツの画像フレームｆｈ～ｆｉが置き換えられて再生されている。
【0065】
この置き換え画像の再生を終了して、置き換え画像から置き換え前の元の再生画像に戻す処理を実行する際、情報処理装置は、置き換え画像の再生画像フレームと、元の再生画像フレームとの類似度判定を行う。
【0066】
具体的には、図５に示す置き換え画像の再生画像フレームｆｈの再生時間前までの置き換え再生画像の画像フレームと、その置き換え画像フレームの再生タイミングで、。本来、再生予定であった置き換え前の（Ａ）記録コンテンツの再生画像フレームを比較して、この画像フレーム間の類似度を解析する。
【0067】
この画像フレームの類似度解析処理は、置き換え再生画像フレームｆｈ～ｆｉの再生開始後、予め規定した時間経過後、継続して実行する。例えばユーザアクション後に、置き換え再生画像フレームｆｈ～ｆｉの再生が開始された後、５秒程度後から、この画像フレームの類似度比較処理が開始される。
【0068】
これは、５秒程度で視聴者（ユーザ）が演者のリアクションを視聴して満足するという理由である。この時間設定は、様々な設定が可能である。
本開示の情報処理装置は、ユーザアクション後に、置き換え再生画像フレームｆｈ～ｆｉの再生が開始された後、例えば５秒後から画像フレームの類似度比較処理を開始し、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度が規定値以上であれば、その時点で置き換え画像の再生を終了して、置き換え前の元の再生予定画像の再生に戻す処理を実行する。
本開示の情報処理装置は、ユーザアクション後に、置き換え再生画像フレームｆｈ～ｆｉの再生が開始された後、例えば５秒後から画像フレームの類似度比較処理を開始し、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度が規定値以上であれば、その時点で置き換え画像の再生を終了して、置き換え前の元の再生予定画像の再生に戻す処理を実行する。
【0069】
この時の画像フレーム類似度判定は、先に図４を参照して説明したと同様、以下の４つの類似度評価指標を利用して実行する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
上記４種類の類似度評価指標値を算出した後、先に説明したと同様、以下の（式１）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
上記４種類の類似度評価指標値を算出した後、先に説明したと同様、以下の（式１）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
【0070】
上記（式１）に従い、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）を算出する。
さらに、算出した類似度（ＳＲ）と、予め規定したしきい値（ＳＲｔｈ）との比較を行う。
ＳＲ≧ＳＲｔｈ・・・（判定式Ｂ）
さらに、算出した類似度（ＳＲ）と、予め規定したしきい値（ＳＲｔｈ）との比較を行う。
ＳＲ≧ＳＲｔｈ・・・（判定式Ｂ）
【0071】
置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）が、上記判定式Ｂを満たす場合、置き換え画像の画像再生を終了して、置き換え前の（Ａ）記録コンテンツの画像再生に戻す処理を実行する。
【0072】
図５に示す例は、置き換え再生画像フレームｆｈ～ｆｉの１つの構成画像フレームｆｑが、この画像フレームｆｑの再生時間に本来再生予定であった元の画像フレーム、すなわち（Ａ）記録画像コンテンツの画像フレームｆｒと類似度が高く、上記（判定式Ｂ）を満足するものと判定された例を示している。
【0073】
この場合、情報処理装置は、置き換え再生画像フレームｆｈ～ｆｉの再生途中、画像フレームｆｑの再生後、本来再生予定であった元の画像フレーム、すなわち（Ａ）記録画像コンテンツの画像フレームの再生に戻す再生画像切り替え処理を実行する。
【0074】
この画像切り替え処理を実行することで、視聴者（ユーザ）２０は、違和感を抱くことなく、演者リアクションシーンから元の再生画像に切り替えられた画像を視聴することができる。
【0075】
［３．演者リアクション画像を予め記憶部に格納して利用する構成について］
次に、演者リアクション画像を予め記憶部に格納して利用する構成について説明する。
次に、演者リアクション画像を予め記憶部に格納して利用する構成について説明する。
【0076】
図３～図５を参照して説明した通常再生画像を演者リアクション画像に置き換えて再生する処理は、視聴者（ユーザ）２０のアクションを検出した際に、情報処理装置が画像間の類似度判定を実行して、類似度判定の結果を利用して実行することが可能である。
【0077】
しかし、予め、通常再生コンテンツの各画像フレーム単位で、置き換え可能な演者リアクション画像フレームを抽出し、抽出データを記憶部に登録しておく構成としてもよい。
画像再生時に画像置き換え処理を行う場合は、記憶部を参照してこの登録データを取得して置き換え処理を実行する。
画像再生時に画像置き換え処理を行う場合は、記憶部を参照してこの登録データを取得して置き換え処理を実行する。
【0078】
図６を参照して、記憶部に登録するデータの一例について説明する。
図６には、以下の対応データを登録したデータの例を示している。
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
図６には、以下の対応データを登録したデータの例を示している。
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
【0079】
（１）再生画像の画像フレーム番号（０，１，・・・Ｎ・・・）は、通常再生画像の画像フレーム番号であり、図３～図５を参照して説明した（Ａ）記録コンテンツを、そのまま（Ｂ）再生コンテンツとして再生した場合の画像フレーム番号である。
【0080】
（２）置き換え用演者リアクション画像フレームには、（Ａ）記録コンテンツの画像フレーム番号（０，１，・・・Ｎ・・・）の各画像フレームにおいてユーザアクション（視聴者アクション）が検出された場合に置き換える演者リアクション画像フレームの開始画像フレーム番号（Ｓｔａｒｔフレーム）と、終了画像フレーム番号（Ｅｎｄフレーム）を記録している。
【0081】
なお、（２）置き換え用演者リアクション画像フレームの開始画像フレーム番号（Ｓｔａｒｔフレーム）と、終了画像フレーム番号（Ｅｎｄフレーム）に記録された（ａ／ｎ）は、置き換え用画像が存在しないことを意味する。
Ｐｓ（Ｎ），Ｐｅ（Ｎ）等のデータは、置き換え用画像が存在することを意味する。
Ｐｓ（Ｎ），Ｐｅ（Ｎ）等のデータは、置き換え用画像が存在することを意味する。
【0082】
（１）再生画像の画像フレーム番号＝Ｎのエントリの登録データについて説明する。
（１）再生画像の画像フレーム番号＝Ｎのエントリには、
（２）置き換え用演者リアクション画像フレームの開始画像フレーム番号（Ｓｔａｒｔフレーム）＝Ｐｓ（Ｎ）、終了画像フレーム番号（Ｅｎｄフレーム）＝Ｐｅ（Ｎ）が記録されている。
（１）再生画像の画像フレーム番号＝Ｎのエントリには、
（２）置き換え用演者リアクション画像フレームの開始画像フレーム番号（Ｓｔａｒｔフレーム）＝Ｐｓ（Ｎ）、終了画像フレーム番号（Ｅｎｄフレーム）＝Ｐｅ（Ｎ）が記録されている。
【0083】
これは、再生画像の画像フレーム番号＝Ｎの再生時に、視聴者アクションが検出された場合に、その後の再生画像を演者リアクション画像フレームＰｓ（Ｎ）～Ｐｅ（Ｎ）に置き換えて再生することを規定したデータである。
具体的な置き換え再生例について、図７を参照して説明する。
具体的な置き換え再生例について、図７を参照して説明する。
【0084】
【0085】
図７に示す（Ｂ）再生コンテンツの画像フレームＮが、図６のデータエントリＮに対応する。
この（Ｂ）再生コンテンツの画像フレームＮの再生時点で、視聴者（ユーザ）２０が再生コンテンツの演者に対して応援としての声援や、手を振る等の視聴者アクション（ユーザアクション）を行ったとする。
この（Ｂ）再生コンテンツの画像フレームＮの再生時点で、視聴者（ユーザ）２０が再生コンテンツの演者に対して応援としての声援や、手を振る等の視聴者アクション（ユーザアクション）を行ったとする。
【0086】
情報処理装置は、（Ｂ）再生コンテンツの画像フレームＮの再生時点における視聴者アクションの検出に応じて、記憶部に格納された登録データ、すなわち、図６に示す登録データを参照して、画像フレームＮ対応の登録データを取得する。
【0087】
画像フレームＮ対応の登録データには、
（２）置き換え用演者リアクション画像フレームの開始画像フレーム番号（Ｓｔａｒｔフレーム）＝Ｐｓ（Ｎ）、終了画像フレーム番号（Ｅｎｄフレーム）＝Ｐｅ（Ｎ）が記録されている。
（２）置き換え用演者リアクション画像フレームの開始画像フレーム番号（Ｓｔａｒｔフレーム）＝Ｐｓ（Ｎ）、終了画像フレーム番号（Ｅｎｄフレーム）＝Ｐｅ（Ｎ）が記録されている。
【0088】
情報処理装置は、この登録データに基づいて、（Ａ）記録コンテンツの画像フレームＰｓ（Ｎ）～Ｐｅ（Ｎ）を取得し、この画像フレームを本来の再生画像に置き換えて、（Ｂ）再生コンテンツの画像フレームＮの後の再生画像として出力する。
【0089】
なお、この置き換え画像フレームＰｓ（Ｎ）～Ｐｅ（Ｎ）は、演者リアクションシーンによって構成される画像フレームであり、予め前述した類似度の規定を満足すると判定された画像である。
【0090】
このように、画像置き換え処理の結果、視聴者（ユーザ）２０は、演者リアクション画像を見て、自分の応援である視聴者アクションに、演者が反応してくれていると感じることができ、コンテンツをより楽しく視聴することができる。
【0091】
このように、通常再生コンテンツの各画像フレーム単位で、置き換え可能な演者リアクション画像フレームを抽出し、抽出データを記憶部に登録しておくことで、画像再生時の画像置き換え処理をスムーズに行うことが可能となる。
【0092】
さらに、記憶部に格納する置き換え可能な演者リアクション画像フレームは、ユーザのアクション（視聴者アクション）の種類に応じた異なる画像フレームとして登録する構成としてもよい。
図８は、置き換え可能な演者リアクション画像フレームを、ユーザアクションの種類に応じて異なる画像フレームとして登録した登録データの例である。
図８は、置き換え可能な演者リアクション画像フレームを、ユーザアクションの種類に応じて異なる画像フレームとして登録した登録データの例である。
【0093】
【0094】
これら様々な異なるユーザアクションに最適な演者リアクション画像は異なる場合があり、図８に示す登録データは、ユーザアクションに応じて異なる演者リアクション画像を置き換えて再生する処理を可能とした構成を持つ登録データである。
【0095】
このよう登録データを利用して画像置き換えを行うことで、ユーザ（視聴者）は、自己の様々なアクションに応じた演者の自然なリアクション画像を視聴することが可能となる。
【0096】
［４．情報処理装置、情報処理システムの構成例について］
次に、上述した処理を実行する本開示の情報処理装置、および情報処理システムの構成例にいて説明する。
次に、上述した処理を実行する本開示の情報処理装置、および情報処理システムの構成例にいて説明する。
【0097】
上述した画像置き換え処理は、例えばコンテンツ再生装置において単独で実行することも可能であるが、例えばコンテンツ配信サーバにおいて実行する構成も可能である。
以下、この２種類の構成例について、順次説明する。
以下、この２種類の構成例について、順次説明する。
【0098】
まず、図９を参照して、上述した画像置き換え処理をコンテンツ再生装置において単独で実行する構成例について説明する。
図９にはコンテンツ再生装置１００の構成例を示している。
コンテンツ再生装置１００は、例えば、ＨＭＤ（ヘッド・マウント・ディスプレイ）１０１、スマホ（スマートフォン）１０２、ＰＣ１０３等によって構成される。
図９にはコンテンツ再生装置１００の構成例を示している。
コンテンツ再生装置１００は、例えば、ＨＭＤ（ヘッド・マウント・ディスプレイ）１０１、スマホ（スマートフォン）１０２、ＰＣ１０３等によって構成される。
【0099】
図９に示すように、コンテンツ再生装置１００は、入力部１１１、データ処理部（コンテンツ再生制御部）１１２、出力部１１３、記憶部１１４を有する。なお、これらは、コンテンツ再生装置１００の主要要素を示すものであり、コンテンツ再生装置１００は、この他にも様々な構成要素を有する。
【0100】
入力部１１１には、例えば、カメラ、マイク等が含まれ、ユーザのアクション（視聴者アクション）の入力部として利用される。
データ処理部（コンテンツ再生制御部）１１２は、例えばコンテンツ記録メディア１１５に格納されたコンテンツを再生する。なお、コンテンツは図示しない外部装置や外部サーバから入力するコンテンツでもよい。
データ処理部（コンテンツ再生制御部）１１２は、例えばコンテンツ記録メディア１１５に格納されたコンテンツを再生する。なお、コンテンツは図示しない外部装置や外部サーバから入力するコンテンツでもよい。
【0101】
データ処理部（コンテンツ再生制御部）１１２は、入力部１１１から入力するユーザアクションに応じて、再生コンテンツの置き換え処理を実行する。すなわちユーザアクションに応じて、通常再生画像を演者リアクション画像に置き換えて再生する処理を行う。
なお、この画像置き換え処理を行う場合、データ処理部（コンテンツ再生制御部）１１２は、前述した画像フレーム間の類似度解析を実公して、予め規定した類似度を満足する置き換え画像を選択して置き換え処理を実行する。
なお、この画像置き換え処理を行う場合、データ処理部（コンテンツ再生制御部）１１２は、前述した画像フレーム間の類似度解析を実公して、予め規定した類似度を満足する置き換え画像を選択して置き換え処理を実行する。
【0102】
出力部１１３は、データ処理部（コンテンツ再生制御部）１１２の生成した置き換え画像フレームを含むコンテンツの再生画像を出力する表示部や音声出力を行うスピーカ等によって構成される。
【0103】
記憶部１１４は、例えば、先に図６、図８を参照して説明した登録データ、すなわわち、再生画像フレーム各々に対応する置き換え画像フレームを登録した登録データを格納する。
なお、記憶部１１４には、その他、コンテンツ再生装置１００が実行する各種データ処理に対応するプログラム、データ処理に適用するパラメータ等も格納される。
なお、記憶部１１４には、その他、コンテンツ再生装置１００が実行する各種データ処理に対応するプログラム、データ処理に適用するパラメータ等も格納される。
【0104】
次に、図１０を参照して、上述した画像置き換え処理をコンテンツ配信サーバにおいて実行する構成例について説明する。
【0105】
図１０には、コンテンツ再生装置１００と、コンテンツ配信サーバ２００を示している。
コンテンツ再生装置１００と、コンテンツ配信サーバ２００はネットワークを介して通信可能な構成である。
コンテンツ再生装置１００と、コンテンツ配信サーバ２００はネットワークを介して通信可能な構成である。
【0106】
コンテンツ配信サーバ２００はコンテンツ再生装置１００に対してネットワークを介してコンテンツを配信する。
コンテンツ再生装置１００は、コンテンツ配信サーバ２００から受信したコンテンツを再生する。
コンテンツ再生装置１００は、コンテンツ配信サーバ２００から受信したコンテンツを再生する。
【0107】
ここで、上述した画像置き換え処理はコンテンツ配信サーバ２００が実行する。
コンテンツ配信サーバ２００は、コンテンツ再生装置１００にコンテンツを配信し、コンテンツ再生装置１００は、出力部としての表示部やスピーカを介して配信コンテンツを出力する。
ユーザアクションを取得するカメラやマイク等の入力部も、コンテンツ再生置１００側に備えられている。
コンテンツ配信サーバ２００は、コンテンツ再生装置１００にコンテンツを配信し、コンテンツ再生装置１００は、出力部としての表示部やスピーカを介して配信コンテンツを出力する。
ユーザアクションを取得するカメラやマイク等の入力部も、コンテンツ再生置１００側に備えられている。
【0108】
コンテンツ再生装置１００は、カメラやマイク等の入力部を介して入力したユーザアクション情報を、ネットワークを介して、コンテンツ配信サーバ２００に送信する。
コンテンツ配信サーバ２００は、コンテンツ再生装置１００から受信したユーザアクション情報に応じて、配信コンテンツの一部を、演者リアクション画像を含む画像フレームに置き換える処理を実行してコンテンツ再生装置１００に送信する。
コンテンツ配信サーバ２００は、コンテンツ再生装置１００から受信したユーザアクション情報に応じて、配信コンテンツの一部を、演者リアクション画像を含む画像フレームに置き換える処理を実行してコンテンツ再生装置１００に送信する。
【0109】
この構成により、コンテンツ再生装置１００は、コンテンツ配信サーバ２００から送信される演者リアクション画像置き換えデータを視聴することができる。
この図１０に示すシステム構成は、図９に示すコンテンツ再生装置１００のデータ処理部１１２をコンテンツ配信サーバ２００に設け、入力部１１１と出力部１１４をコンテンツ再生装置１００側に設けた構成に相当する。
この図１０に示すシステム構成は、図９に示すコンテンツ再生装置１００のデータ処理部１１２をコンテンツ配信サーバ２００に設け、入力部１１１と出力部１１４をコンテンツ再生装置１００側に設けた構成に相当する。
【0110】
なお、図１０に示すコンテンツ再生装置１００と、コンテンツ配信サーバ２００からなるシステムにおいて、コンテンツ配信サーバ２００は画像フレームの置き換えを行わず、コンテンツ配信サーバ２００は記録画像そのものを配信し、コンテンツ再生装置１００側で、ユーザアクションに応じた画像フレームの置き換えを行う構成としてもよい。
この場合、コンテンツ再生装置１００は先に図９を参照して説明した構成を適用した処理を行う。
この場合、コンテンツ再生装置１００は先に図９を参照して説明した構成を適用した処理を行う。
【0111】
【0112】
コンテンツ再生装置１００の入力部１１１は、例えば図１１に示すように、カメラ１２１、マイク１２２、マウス１２３、キーボード１２４、タッチパネル１２５、さらにハンドコントローラ（振動信号入力部）１２６等から構成される。
これらの構成要素はいずれもコンテンツ視聴者である視聴者（ユーザ）のユーザアクション入力処理に用いられる。
これらの構成要素はいずれもコンテンツ視聴者である視聴者（ユーザ）のユーザアクション入力処理に用いられる。
【0113】
カメラ１２１は、視聴者（ユーザ）の挙動、例えば手を振る、こぶしを上げる等、体を揺らす、ダンスをするといったユーザの様々な挙動を撮影する。
マイク１２２は、視聴者（ユーザ）の掛け声盗の音声を取得する。
マウス１２３や、キーボード１２４、さらにタッチパネル１２５は、ユーザによる様々なメッセージの入力、画像の特定領域の指定情報の入力等に用いられる。あるいはコンテンツ表示画面に併せて表示される様々なアイテムを指定してアイテムを投げ入れる処理などにも利用される。
ハンドコントローラ（振動信号入力部）１２６は、ユーザの手に握られて振ることで、振動情報が入力される。
マイク１２２は、視聴者（ユーザ）の掛け声盗の音声を取得する。
マウス１２３や、キーボード１２４、さらにタッチパネル１２５は、ユーザによる様々なメッセージの入力、画像の特定領域の指定情報の入力等に用いられる。あるいはコンテンツ表示画面に併せて表示される様々なアイテムを指定してアイテムを投げ入れる処理などにも利用される。
ハンドコントローラ（振動信号入力部）１２６は、ユーザの手に握られて振ることで、振動情報が入力される。
【0114】
【0115】
図９に示すデータ処理部１１２、あるいは図１０に示すコンテンツ配信サーバ２００は、入力部１１１から入力されるユーザアクション情報に基づいて演者リアクション画像を含む画像フレームを選択して置き換える処理を実行する。
【0116】
【0117】
図１２に示すように、コンテンツ再生装置１００のデータ処理部（コンテンツ再生制御部）１１２は、ユーザアクション解析部１３１、コンテンツ置き換え処理部１３２、コンテンツ出力部１３３を有する。
【0118】
ユーザアクション解析部１３１は、入力部１１１から入力するユーザアクション情報を解析し、入力したユーザアクションが、再生コンテンツの演者に対するアクションであるか否かを解析する。
さらに、図８を参照して説明したように、置き換えコンテンツが、ユーサアクションの種類に応じて異なる設定である場合は、ユーザアクションの種類についても解析する。
さらに、図８を参照して説明したように、置き換えコンテンツが、ユーサアクションの種類に応じて異なる設定である場合は、ユーザアクションの種類についても解析する。
【0119】
ユーザアクション解析部１３１による解析結果、すなわち、
（ａ）再生コンテンツの演者に対するユーザアクションが検出されたか否かの判定情報、
さらに、必要に応じて、上記情報（ａ）に加えて、再生コンテンツの演者に対するユーザアクションの種類情報がコンテンツ置き換え処理部１３２に入力される。
（ａ）再生コンテンツの演者に対するユーザアクションが検出されたか否かの判定情報、
さらに、必要に応じて、上記情報（ａ）に加えて、再生コンテンツの演者に対するユーザアクションの種類情報がコンテンツ置き換え処理部１３２に入力される。
【0120】
コンテンツ置き換え処理部１３２は、再生コンテンツの演者に対するユーザアクションが発生した画像フレームを判別し、判別されたユーザアクション発生画像フレームに類似する演者リアクション画像フレームをコンテンツから検索する。
なお、ユーザアクションが発生した画像フレームは、例えば、ユーザアクション解析部１３１から、演者に対するユーザアクションが検出されたとの情報の入力時点の再生フレームとする。
なお、ユーザアクションが発生した画像フレームは、例えば、ユーザアクション解析部１３１から、演者に対するユーザアクションが検出されたとの情報の入力時点の再生フレームとする。
【0121】
コンテンツ置き換え処理部１３２は、先に説明したように、ユーザアクションが検出された時点の再生画像フレームと、置き換え予定の演者リアクション画像フレームとの類似度判定を行う。
具体的には、先に説明したように、以下の類似度判定指標値を利用した類似度判定を実行する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
具体的には、先に説明したように、以下の類似度判定指標値を利用した類似度判定を実行する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
【0122】
さらに、上記（ａ）～（ｄ）の各指標値に基づいて算出される類似度と、予め規定したしきい値とを比較し、算出類似度がしきい値以上の画像フレームを開始画像フレームとして有する演者リアクション画像フレーム区間を置き換え画像として選択して画像置き換え処理を実行する。
【0123】
コンテンンツ置き換えと処理部１３２において置き換えられた画像は、コンテンツ出力部１３３を介して出力部１１４に出力される。
【0124】
なお、コンテンツ置き換え処理部１３２は、演者リアクション画像の再生から、元の通常再生画像に切り替える処理も実行する。
コンテンツ置き換え処理部１３２は、この処理を実行する際にも、置き換え画像の再生画像フレームと、元の再生画像フレームとの類似度判定を行う。
この処理は、先に図５を参照して説明した処理である。
コンテンツ置き換え処理部１３２は、この処理を実行する際にも、置き換え画像の再生画像フレームと、元の再生画像フレームとの類似度判定を行う。
この処理は、先に図５を参照して説明した処理である。
【0125】
また、コンテンツ置き換え処理部１３２は、画像置き換え処理に際して、先に図６～図８を参照して説明した登録データを記憶部１１４から取得し、この登録データを利用して画像置き換えを実行してもよい。
記憶部１１４には、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データが記録されている。
記憶部１１４には、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データが記録されている。
【0126】
コンテンツ置き換え処理部１３２は、記憶部１１４からこの登録データを取得してユーザアクションのアクション発生フレームに対応する置き換え画像フレーム番号を取得して、取得したフレーム番号の画像を記録コンテンツから取得して置き換える処理を行ってもよい。
【0127】
なお、記録コンテンツは、図１２に示すメディアＩＦ１４２を介してコンテンツ記録メディアから取得することができる。
あるいは、通信部１４１を介して外部機器、例えばコンテンツ配信さーば２００から取得可能である。
あるいは、通信部１４１を介して外部機器、例えばコンテンツ配信さーば２００から取得可能である。
【0128】
次に、図１３を参照して、コンテンツ配信サーバ２００がコンテンツの置き換えを行う場合のデータ処理部（コンテンツ配信制御部）２１０の構成と処理について説明する。
図１３は、コンテンツ配信サーバ２００側でコンテンツ置き換えを行う場合のコンテンツ配信サーバ２００のデータ処理部（コンテンツ配信制御部）２１０の構成例である。
図１３は、コンテンツ配信サーバ２００側でコンテンツ置き換えを行う場合のコンテンツ配信サーバ２００のデータ処理部（コンテンツ配信制御部）２１０の構成例である。
【0129】
図１３に示すように、コンテンツ配信サーバ２００のデータ処理部（コンテンツ配信制御部）２１０は、ユーザアクション解析部２１１、コンテンツ置き換え処理部２１２、コンテンツ配信部２１３を有する。
【0130】
ユーザアクション解析部２１１は、コンテンツ再生装置１００からネットワーク、通信部２０１ａを介して入力するユーザアクション情報を解析し、入力したユーザアクションが、再生コンテンツの演者に対するアクションであるか否かを解析する。
さらに、図８を参照して説明したように、置き換えコンテンツが、ユーサアクションの種類に応じて異なる設定である場合は、ユーザアクションの種類についても解析する。
さらに、図８を参照して説明したように、置き換えコンテンツが、ユーサアクションの種類に応じて異なる設定である場合は、ユーザアクションの種類についても解析する。
【0131】
ユーザアクション解析部２１１による解析結果、すなわち、
（ａ）再生コンテンツの演者に対するユーザアクションが検出されたか否かの判定情報、
さらに、必要に応じて、上記情報（ａ）に加えて、再生コンテンツの演者に対するユーザアクションの種類情報がコンテンツ置き換え処理部２１２に入力される。
（ａ）再生コンテンツの演者に対するユーザアクションが検出されたか否かの判定情報、
さらに、必要に応じて、上記情報（ａ）に加えて、再生コンテンツの演者に対するユーザアクションの種類情報がコンテンツ置き換え処理部２１２に入力される。
【0132】
コンテンツ置き換え処理部２１２は、再生コンテンツの演者に対するユーザアクションが発生した画像フレームを判別し、判別されたユーザアクション発生画像フレームに類似する演者リアクション画像フレームをコンテンツから検索する。
なお、ユーザアクションが発生した画像フレームは、例えば、ユーザアクション解析部２１１から、演者に対するユーザアクションが検出されたとの情報の入力時点の再生フレームとする。
なお、ユーザアクションが発生した画像フレームは、例えば、ユーザアクション解析部２１１から、演者に対するユーザアクションが検出されたとの情報の入力時点の再生フレームとする。
【0133】
コンテンツ置き換え処理部２１２は、先に説明したように、ユーザアクションが検出された時点の再生画像フレームと、置き換え予定の演者リアクション画像フレームとの類似度判定を行う。
具体的には、先に説明したように、以下の類似度判定指標値を利用した類似度判定を実行する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
具体的には、先に説明したように、以下の類似度判定指標値を利用した類似度判定を実行する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
【0134】
さらに、上記（ａ）～（ｄ）の各指標値に基づいて算出される類似度と、予め規定したしきい値とを比較し、算出類似度がしきい値以上の画像フレームを開始画像フレームとして有する演者リアクション画像フレーム区間を置き換え画像として選択して画像置き換え処理を実行する。
【0135】
コンテンンツ置き換えと処理部２１２において置き換えられた画像は、コンテンツ配信部２１３から、通信部２０１ｂ、ネットワークを介してコンテンツ再生装置１００に配信される。
【0136】
なお、コンテンツ置き換え処理部２１２は、演者リアクション画像の再生から、元の通常再生画像に切り替える処理も実行する。
コンテンツ置き換え処理部２１２は、この処理を実行する際にも、置き換え画像の再生画像フレームと、元の再生画像フレームとの類似度判定を行う。
この処理は、先に図５を参照して説明した処理である。
コンテンツ置き換え処理部２１２は、この処理を実行する際にも、置き換え画像の再生画像フレームと、元の再生画像フレームとの類似度判定を行う。
この処理は、先に図５を参照して説明した処理である。
【0137】
また、コンテンツ置き換え処理部２１２は、画像置き換え処理に際して、先に図６～図８を参照して説明した登録データを記憶部２２２から取得し、この登録データを利用して画像置き換えを実行してもよい。
記憶部２２２には、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データが記録されている。
記憶部２２２には、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データが記録されている。
【0138】
コンテンツ置き換え処理部２１２は、記憶部２２２からこの登録データを取得してユーザアクションのアクション発生フレームに対応する置き換え画像フレーム番号を取得して、取得したフレーム番号の画像を記録コンテンツから取得して置き換える処理を行ってもよい。
【0139】
なお、記録コンテンツは、図１３に示すメディアＩＦ２２１を介してコンテンツ記録メディアから取得することができる。
【0140】
［５．情報処理装置が実行するコンテンツ置き換え処理の処理シーケンスについて］
次に、図１４以下のフローチャートを参照して、本開示の情報処理装置が実行するコンテンツ置き換え処理の処理シーケンスについて説明する。
次に、図１４以下のフローチャートを参照して、本開示の情報処理装置が実行するコンテンツ置き換え処理の処理シーケンスについて説明する。
【0141】
【0142】
図１４、図１５に示すフローチャートは、ユーザアクションの検出に応じて、情報処理装置のデータ処理部が、記録コンテンツから置き換え用の演者リアクション画像フレームを検索して置き換える処理を実行する処理シーケンスを説明するフローチャートである。
【0143】
また、図１６、図１７に示すフローチャートは、先に図６～図８を参照して説明した記憶部に格納された登録データ、すなわち、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データからなる登録データを利用して置き換え用の演者リアクション画像フレームを決定して置き換える処理を実行する処理シーケンスを説明するフローチャートである。
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データからなる登録データを利用して置き換え用の演者リアクション画像フレームを決定して置き換える処理を実行する処理シーケンスを説明するフローチャートである。
【0144】
まず、図１４、図１５を参照して、ユーザアクションの検出に応じて、情報処理装置のデータ処理部が、記録コンテンツから置き換え用の演者リアクション画像フレームを検索して置き換える処理を実行する処理シーケンスを説明する。
【0145】
なお、以下のフローチャートに従った処理は、情報処理装置のデータ処理部において実行される。データ処理部は、プログラム実行機能を持つＣＰＵを備え、記憶部に格納されたプログラムに従ってフローに従った処理を実行することができる。
以下、図１４、図１５に示すフローの各ステップの処理について説明する。
以下、図１４、図１５に示すフローの各ステップの処理について説明する。
【0146】
（ステップＳ１０１）
まず、情報処理装置のデータ処理部は、ステップＳ１０１において、ユーザアクションが検出されたか否かを判定する。
まず、情報処理装置のデータ処理部は、ステップＳ１０１において、ユーザアクションが検出されたか否かを判定する。
【0147】
この処理は、図１２、図１３に示すユーザアクション解析部が実行する。ユーザアクション解析部は、コンテンツ再生装置の入力部が取得したユーザアクション情報を解析し、入力したユーザアクションが、再生コンテンツの演者に対するアクションであるか否かを解析する。
【0148】
入力したユーザアクションが、再生コンテンツの演者に対するアクションであると判定した場合は、ステップＳ１０２に進む。
【0149】
（ステップＳ１０２～Ｓ１０３）
ステップＳ１０１において、再生コンテンツの演者に対するユーザアクションが検出されたと判定すると、次にデータ処理部は、ステップＳ１０２において、ユーザアクション検出時の再生画像フレームと、類似度の高い演者リアクション画像フレームを検索する。
ステップＳ１０１において、再生コンテンツの演者に対するユーザアクションが検出されたと判定すると、次にデータ処理部は、ステップＳ１０２において、ユーザアクション検出時の再生画像フレームと、類似度の高い演者リアクション画像フレームを検索する。
【0150】
この処理は、図１２、図１３に示すコンテンツ置き換え処理部が実行する処理である。
コンテンツ置き換え処理部は、ユーザアクション検出時の再生画像フレームと、類似度の高い演者リアクション画像フレームを検索する。
画像の類似度の判定には、先に説明したように、以下の類似度判定指標値を利用する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
コンテンツ置き換え処理部は、ユーザアクション検出時の再生画像フレームと、類似度の高い演者リアクション画像フレームを検索する。
画像の類似度の判定には、先に説明したように、以下の類似度判定指標値を利用する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
【0151】
上記４種類の類似度評価指標値を算出した後、以下の（式１）に従って、最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
【0152】
上記（式１）に従って算出される類似度が最も高い画像を選択し、さらに選択した画像の類似度と、予め規定したしきい値とを比較し、類似度がしきい値以上の画像フレームを開始画像フレームとして有する演者リアクション画像フレーを置き換え画像として選択する。
【0153】
このように、類似度がしきい値以上の置き換え用画像フレームの検索に成功、すなわち演者リアクション画像フレームの検索に成功した場合は、ステップＳ１０３の判定がＹｅｓとなり、ステップＳ１０５に進む。
【0154】
一方、類似度がしきい値以上の置き換え用画像フレームの検索に失敗、すなわち演者リアクション画像フレームの検索に失敗した場合は、ステップＳ１０３の判定がＮｏとなり、ステップＳ１０４に進む。
【0155】
（ステップＳ１０４）
ステップＳ１０２～Ｓ１０３において、類似度がしきい値以上の置き換え用画像フレームの検索に失敗、すなわち演者リアクション画像フレームの検索に失敗した場合は、ステップＳ１０３の判定がＮｏとなり、ステップＳ１０４に進む。
ステップＳ１０２～Ｓ１０３において、類似度がしきい値以上の置き換え用画像フレームの検索に失敗、すなわち演者リアクション画像フレームの検索に失敗した場合は、ステップＳ１０３の判定がＮｏとなり、ステップＳ１０４に進む。
【0156】
ステップＳ１０４では、画像置き換え処理を行うことなく、通常再生画像、すなわち記録コンテンツをそのまま再生する処理を継続する。
この処理の後、ステップＳ１０１に戻り、処理を継続する。なお、ステップＳ１０１以下の処理はコンテンツ再生が終了するまで、繰り返し実行する。
この処理の後、ステップＳ１０１に戻り、処理を継続する。なお、ステップＳ１０１以下の処理はコンテンツ再生が終了するまで、繰り返し実行する。
【0157】
（ステップＳ１０５）
一方、ステップＳ１０２～Ｓ１０３の処理において、類似度がしきい値以上の置き換え用画像フレームの検索に成功、すなわち演者リアクション画像フレームの検索に成功した場合は、ステップＳ１０３の判定がＹｅｓとなり、ステップＳ１０５に進む。
一方、ステップＳ１０２～Ｓ１０３の処理において、類似度がしきい値以上の置き換え用画像フレームの検索に成功、すなわち演者リアクション画像フレームの検索に成功した場合は、ステップＳ１０３の判定がＹｅｓとなり、ステップＳ１０５に進む。
【0158】
データ処理部は、ステップＳ１０５において、ステップＳ１０２～Ｓ１０３の検索結果として得られた演者リアクション画像シーンから構成される画像フレームを取得する。
【0159】
（ステップＳ１０６）
次に、データ処理部は、ステップＳ１０６において、現在再生中の通常再生画像（＝記録コンテンツ）の画像フレームを、ステップＳ１０５で取得した演者リアクション画像シーンから構成される画像フレームに置き換えて出力する。
次に、データ処理部は、ステップＳ１０６において、現在再生中の通常再生画像（＝記録コンテンツ）の画像フレームを、ステップＳ１０５で取得した演者リアクション画像シーンから構成される画像フレームに置き換えて出力する。
【0160】
（ステップＳ１０７～Ｓ１０８）
ステップＳ１０７以下の処理は、演者リアクション画像の再生を元の通常画像に戻す処理に相当する。
ステップＳ１０７以下の処理は、演者リアクション画像の再生を元の通常画像に戻す処理に相当する。
【0161】
まず、データ処理部はステップＳ１０７において、現在、再生中の演者リアクション画像フレームと類似度の高い絵置き換え前の再生画像フレームを検索する。
この処理は、先に図５を参照して説明した処理である。
この処理は、先に図５を参照して説明した処理である。
【0162】
置き換え画像の再生を終了して、置き換え画像から置き換え前の元の再生画像に戻す処理を実行する際、情報処理装置のデータ処理部は、置き換え画像の再生画像フレームと、元の再生画像フレームとの類似度判定を行う。
【0163】
この時の画像フレーム類似度判定は、先に説明したステップＳ１０２の類似度判定処理と同様、以下の４つの類似度評価指標を利用して実行する。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
上記４種類の類似度評価指標値を算出した後、先に説明したと同様、以下の（式１）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレーム全体の輝度（ＳＲＬ）
（ｄ）画像フレーム全体の画素値ヒストグラム（ＳＲＨ）
上記４種類の類似度評価指標値を算出した後、先に説明したと同様、以下の（式１）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲＬ）＋（ｗ４×ＳＲＨ）・・・（式１）
上記（式１）においてｗ１～ｗ４は、予め規定した重み係数である。
【0164】
上記（式１）に従い、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）を算出する。
さらに、算出した類似度（ＳＲ）と、予め規定したしきい値（ＳＲｔｈ）との比較を行う。
ＳＲ≧ＳＲｔｈ・・・（判定式Ｂ）
さらに、算出した類似度（ＳＲ）と、予め規定したしきい値（ＳＲｔｈ）との比較を行う。
ＳＲ≧ＳＲｔｈ・・・（判定式Ｂ）
【0165】
置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）が、上記判定式Ｂを満たす類似度となる画像フレームが検出された場合は、ステップＳ１０８の判定がＹｅｓとなり、ステップＳ１０９に進む。
一方、上記判定式Ｂを満たす類似度を持つ画像フレームが検出されなかった場合は、ステップＳ１０８の判定がＮｏとなり、ステップＳ１１０に進む。
一方、上記判定式Ｂを満たす類似度を持つ画像フレームが検出されなかった場合は、ステップＳ１０８の判定がＮｏとなり、ステップＳ１１０に進む。
【0166】
（ステップＳ１０９）
ステップＳ１０７～Ｓ１０８の処理において、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）が、上記判定式Ｂを満たす類似度となる画像フレームが検出された場合は、ステップＳ１０８の判定がＹｅｓとなり、ステップＳ１０９に進む。
ステップＳ１０７～Ｓ１０８の処理において、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）が、上記判定式Ｂを満たす類似度となる画像フレームが検出された場合は、ステップＳ１０８の判定がＹｅｓとなり、ステップＳ１０９に進む。
【0167】
この場合、情報処理装置のデータ処理部は、ステップＳ１０９において、再生中の演者リアクション画像フレームから、ステップＳ１０７の検索結果として取得した類似度の高い置き換え前の再生画像フレームに戻す再生画像切り替え処理を実行する。
【0168】
（ステップＳ１１０）
一方、ステップＳ１０７～Ｓ１０８の処理において、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）が、上記判定式Ｂを満たす類似度を持つ画像フレームが検出されなかった場合は、ステップＳ１０８の判定がＮｏとなり、ステップＳ１１０に進む。
一方、ステップＳ１０７～Ｓ１０８の処理において、置き換え画像の画像フレームと、その時間に再生予定の置き換え前の（Ａ）記録コンテンツの画像フレームとの類似度（ＳＲ）が、上記判定式Ｂを満たす類似度を持つ画像フレームが検出されなかった場合は、ステップＳ１０８の判定がＮｏとなり、ステップＳ１１０に進む。
【0169】
この場合、情報処理装置のデータ処理部は、ステップＳ１１０において、再生中の演者リアクション画像フレームを継続して再生し、再生中の演者リアクション画像フレームの最終フレームの後、演者リアクション画像フレームから、置き換え前の再生画像フレームに戻して再生する画像切り替え処理を行う。
【0170】
【0171】
記憶部に格納された登録データとは、先に図６～図８を参照して説明した記憶部に格納された登録データ、すなわち、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データからなる登録データである。
以下、図１６、図１７に示すフローの各ステップの処理について説明する。
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データからなる登録データである。
以下、図１６、図１７に示すフローの各ステップの処理について説明する。
【0172】
（ステップＳ２０１）
まず、情報処理装置のデータ処理部は、ステップＳ２０１において、ユーザアクションが検出されたか否かを判定する。
まず、情報処理装置のデータ処理部は、ステップＳ２０１において、ユーザアクションが検出されたか否かを判定する。
【0173】
この処理は、図１２、図１３に示すユーザアクション解析部が実行する。ユーザアクション解析部は、コンテンツ再生装置の入力部が取得したユーザアクション情報を解析し、入力したユーザアクションが、再生コンテンツの演者に対するアクションであるか否かを解析する。
【0174】
入力したユーザアクションが、再生コンテンツの演者に対するアクションであると判定した場合は、ステップＳ２０２に進む。
【0175】
（ステップＳ２０２～Ｓ２０３）
ステップＳ２０１において、再生コンテンツの演者に対するユーザアクションが検出されたと判定すると、次にデータ処理部は、ステップＳ２０２～Ｓ２０３において、記憶部の登録データを検索し、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームがあるか否かを判定する。
ステップＳ２０１において、再生コンテンツの演者に対するユーザアクションが検出されたと判定すると、次にデータ処理部は、ステップＳ２０２～Ｓ２０３において、記憶部の登録データを検索し、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームがあるか否かを判定する。
【0176】
記憶部には、格納された登録データは、先に図６～図８を参照して説明した登録データ、すなわち、
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データからなる登録データである。
（１）再生画像の画像フレーム番号
（２）置き換え用演者リアクション画像フレーム番号
これら（１），（２）の各データの対応データからなる登録データである。
【0177】
データ処理部は、ステップＳ２０２～Ｓ２０３において、記憶部の登録データを検索し、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームがあるか否かを判定する。
【0178】
ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出された場合は、ステップＳ２０３の判定がＹｅｓとなり、ステップＳ２０５に進む。
一方、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出されなかった場合は、ステップＳ２０３の判定がＮｏとなり、ステップＳ２０４に進む。
一方、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出されなかった場合は、ステップＳ２０３の判定がＮｏとなり、ステップＳ２０４に進む。
【0179】
（ステップＳ２０４）
ステップＳ２０２～Ｓ２０３において、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出されなかった場合は、ステップＳ２０３の判定がＮｏとなり、ステップＳ２０４に進む。
ステップＳ２０２～Ｓ２０３において、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出されなかった場合は、ステップＳ２０３の判定がＮｏとなり、ステップＳ２０４に進む。
【0180】
ステップＳ２０４では、画像置き換え処理を行うことなく、通常再生画像、すなわち記録コンテンツをそのまま再生する処理を継続する。
この処理の後、ステップＳ２０１に戻り、処理を継続する。なお、ステップＳ２０１以下の処理はコンテンツ再生が終了するまで、繰り返し実行する。
この処理の後、ステップＳ２０１に戻り、処理を継続する。なお、ステップＳ２０１以下の処理はコンテンツ再生が終了するまで、繰り返し実行する。
【0181】
（ステップＳ２０５）
一方、ステップＳ２０２～Ｓ２０３の処理において、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出された場合は、ステップＳ２０３の判定がＹｅｓとなり、ステップＳ２０５に進む。
一方、ステップＳ２０２～Ｓ２０３の処理において、ユーザアクション検出時の再生画像フレームに対応付けて登録された演者リアクション画像フレームが検出された場合は、ステップＳ２０３の判定がＹｅｓとなり、ステップＳ２０５に進む。
【0182】
データ処理部は、ステップＳ２０５において、ステップＳ２０２～Ｓ２０３の記憶部の登録データ検索結果として得られた演者リアクション画像フレームを取得する。
【0183】
（ステップＳ２０６）
次に、データ処理部は、ステップＳ２０６において、現在再生中の通常再生画像（＝記録コンテンツ）の画像フレームを、ステップＳ２０５で取得した演者リアクション画像シーンから構成される画像フレームに置き換えて出力する。
次に、データ処理部は、ステップＳ２０６において、現在再生中の通常再生画像（＝記録コンテンツ）の画像フレームを、ステップＳ２０５で取得した演者リアクション画像シーンから構成される画像フレームに置き換えて出力する。
【0184】
（ステップＳ２０７）
ステップＳ２０７以下の処理は、演者リアクション画像の再生を元の通常画像に戻す処理に相当する。
ステップＳ２０７以下の処理は、演者リアクション画像の再生を元の通常画像に戻す処理に相当する。
【0185】
まず、データ処理部はステップＳ２０７において、現在、再生中の演者リアクション画像フレームの最終画像フレームに到達したか否かを判定する。
到達したと判定した場合はステップＳ２０８に進む。
到達したと判定した場合はステップＳ２０８に進む。
【0186】
（ステップＳ２０８）
ステップＳ２０７において、現在、再生中の演者リアクション画像フレームの最終画像フレームに到達したと判定した場合はステップＳ２０８に進む。
ステップＳ２０７において、現在、再生中の演者リアクション画像フレームの最終画像フレームに到達したと判定した場合はステップＳ２０８に進む。
【0187】
この場合、情報処理装置のデータ処理部は、ステップＳ２０８において、再生中の演者リアクション画像フレームから、置き換え前の再生画像フレームに戻す再生画像切り替え処理を実行する。
【0188】
［６．その他の実施例について］
次に、その他の実施例について説明する。
次に、その他の実施例について説明する。
【0189】
上述した実施例では、ユーザアクションの検出に応じて、再生画像に類似度の高い演者リアクション画像フレームを検索し、検索結果として得られた演者リアクション画像フレームを、再生中の通常再生画像フレームに置き換えて再生する構成について説明した。
【0190】
この実施例は、画像フレームを単位とした画像置き換え処理であるが、例えば顔画像領域のみなど、画像の一部のみを置き換える構成としてもよい。、
例えば演者の顔領域のみを、リアクションを行っている顔画像に置き換える処理である。顔画像以外の領域について置き換えることなく、通常再生画像の再生を行う。
例えば演者の顔領域のみを、リアクションを行っている顔画像に置き換える処理である。顔画像以外の領域について置き換えることなく、通常再生画像の再生を行う。
【0191】
すなわち、通常再生画像とリアクション顔画像の合成画像を生成して再生する処理行う構成としてもよい。
【0192】
なお、この処理を行う場合、置き換えに利用する演者リアクション顔画像は、ユーザアクション検出字の再生画像中の顔画像と類似度の高い顔画像を選択することが必要である。
この処理において類似度を産出するために利用する類似度指標値は、以下のようなデータとなる。
この処理において類似度を産出するために利用する類似度指標値は、以下のようなデータとなる。
【0193】
（ａ）画像フレームに含まれる顔の顔サイズ（ＳＲｆｓ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレームに含まれる顔の輝度（ＳＲｆＬ）
（ｄ）画像フレームに含まれる顔の画素値ヒストグラム（ＳＲｆＨ）
（ｂ）画像フレームに含まれる顔の顔位置（ＳＲｆｐ）
（ｃ）画像フレームに含まれる顔の輝度（ＳＲｆＬ）
（ｄ）画像フレームに含まれる顔の画素値ヒストグラム（ＳＲｆＨ）
【0194】
これら４種類の類似度評価指標値を算出した後、先に説明した（式１と同様の以下の（式２）に従って最終的な類似度（ＳＲ：Ｓｉｍｉｌａｒｉｔｙ Ｒａｔｅ）を算出する。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲｆＬ）＋（ｗ４×ＳＲｆＨ）・・・（式２）
上記（式２）においてｗ１～ｗ４は、予め規定した重み係数である。
ＳＲ＝（ｗ１×ＳＲｆｓ）＋（ｗ２×ＳＲｆｐ）＋（ｗ３×ＳＲｆＬ）＋（ｗ４×ＳＲｆＨ）・・・（式２）
上記（式２）においてｗ１～ｗ４は、予め規定した重み係数である。
【0195】
さらに算出した類似度（ＳＲ）と、予めきていしたしきい値と比較して、類似度（ＳＲ）がしきい値以上の場合に顔画像の置き換えを行う構成とする。
このように置き換え対象を顔画像のみとする処理を行ってもよい。
このように置き換え対象を顔画像のみとする処理を行ってもよい。
【0196】
［７．情報処理装置のハードウェア構成例について］
次に、上述した実施例に従った処理を実行する情報処理装置のハードウェア構成例について、図１８を参照して説明する。
図１８に示すハードウェアは、本開示の情報処理装置であるコンテンツ再生装置１００やコンテンツ配信サーバ２００のハードウェア構成の一例である。
図１８に示すハードウェア構成について説明する。
次に、上述した実施例に従った処理を実行する情報処理装置のハードウェア構成例について、図１８を参照して説明する。
図１８に示すハードウェアは、本開示の情報処理装置であるコンテンツ再生装置１００やコンテンツ配信サーバ２００のハードウェア構成の一例である。
図１８に示すハードウェア構成について説明する。
【0197】
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【0198】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種センサ、カメラ、スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
【0199】
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【0200】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【0201】
［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0202】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生するデータ処理部を有する情報処理装置。
（１）再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生するデータ処理部を有する情報処理装置。
【0203】
（２） 前記データ処理部は、
前記演者リアクション画像フレームを、前記再生コンテンツから選択する（１）に記載の情報処理装置。
前記演者リアクション画像フレームを、前記再生コンテンツから選択する（１）に記載の情報処理装置。
【0204】
（３） 前記データ処理部は、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する（１）または（２）に記載の情報処理装置。
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する（１）または（２）に記載の情報処理装置。
【0205】
（４） 前記データ処理部は、
前記類似度の指標値として、
（ａ）画像フレームに含まれる顔の顔サイズ、
（ｂ）画像フレームに含まれる顔の顔位置、
（ｃ）画像フレーム全体の輝度、
（ｄ）画像フレーム全体の画素値ヒストグラム、
上記（ａ）～（ｄ）の少なくともいずれかのデータを利用する（３）に記載の情報処理装置。
前記類似度の指標値として、
（ａ）画像フレームに含まれる顔の顔サイズ、
（ｂ）画像フレームに含まれる顔の顔位置、
（ｃ）画像フレーム全体の輝度、
（ｄ）画像フレーム全体の画素値ヒストグラム、
上記（ａ）～（ｄ）の少なくともいずれかのデータを利用する（３）に記載の情報処理装置。
【0206】
（５） 前記データ処理部は、前記類似度として、
（ａ）画像フレームに含まれる顔の顔サイズ、
（ｂ）画像フレームに含まれる顔の顔位置、
（ｃ）画像フレーム全体の輝度、
（ｄ）画像フレーム全体の画素値ヒストグラム、
上記（ａ）～（ｄ）の各データの重みづけ加算値を算出する（３）に記載の情報処理装置。
（ａ）画像フレームに含まれる顔の顔サイズ、
（ｂ）画像フレームに含まれる顔の顔位置、
（ｃ）画像フレーム全体の輝度、
（ｄ）画像フレーム全体の画素値ヒストグラム、
上記（ａ）～（ｄ）の各データの重みづけ加算値を算出する（３）に記載の情報処理装置。
【0207】
（６） 前記データ処理部は、
前記再生コンテンツ中に、複数の演者リアクション画像フレームが存在する場合、
ユーザアクション検出時の再生画像フレームに対して、最も類似する演者リアクション画像フレームを選択して再生する（１に記載の情報処理装置。
前記再生コンテンツ中に、複数の演者リアクション画像フレームが存在する場合、
ユーザアクション検出時の再生画像フレームに対して、最も類似する演者リアクション画像フレームを選択して再生する（１に記載の情報処理装置。
【0208】
（７） 前記データ処理部は、
前記演者リアクション画像フレームに置き換えて再生処理を開始した後、
前記演者リアクション画像フレームの再生から、元の再生コンテンツの再生に戻す再生画像切り替え処理を実行する（１）～（５）いずれかに記載の情報処理装置。
前記演者リアクション画像フレームに置き換えて再生処理を開始した後、
前記演者リアクション画像フレームの再生から、元の再生コンテンツの再生に戻す再生画像切り替え処理を実行する（１）～（５）いずれかに記載の情報処理装置。
【0209】
（８） 前記データ処理部は、
前記再生画像切り替え処理に際して、
再生中の演者リアクション画像フレームと、元の再生コンテンツの画像フレームとの類似度を解析し、より高い類似度を持つ画像となるタイミングで再生画像の切り替え処理を実行する（７）に記載の情報処理装置。
前記再生画像切り替え処理に際して、
再生中の演者リアクション画像フレームと、元の再生コンテンツの画像フレームとの類似度を解析し、より高い類似度を持つ画像となるタイミングで再生画像の切り替え処理を実行する（７）に記載の情報処理装置。
【0210】
（９） 前記データ処理部は、
記憶部に予め格納された登録データである、
（ｐ）再生画像の画像フレーム番号
（ｑ）置き換え用演者リアクション画像フレーム番号
上記（ｐ）と（ｑ）の対応データを参照して、
ユーザアクションが検出された時点の再生画像の画像フレーム番号に対応付けて登録された置き換え用演者リアクション画像フレーム番号を取得し、取得した置き換え用演者リアクション画像フレーム番号に対応する画像フレームを再生する（１）～（８）いずれかに記載の情報処理装置。
記憶部に予め格納された登録データである、
（ｐ）再生画像の画像フレーム番号
（ｑ）置き換え用演者リアクション画像フレーム番号
上記（ｐ）と（ｑ）の対応データを参照して、
ユーザアクションが検出された時点の再生画像の画像フレーム番号に対応付けて登録された置き換え用演者リアクション画像フレーム番号を取得し、取得した置き換え用演者リアクション画像フレーム番号に対応する画像フレームを再生する（１）～（８）いずれかに記載の情報処理装置。
【0211】
（１０） 前記登録データは、
ユーザアクションの種類に応じた登録データであり、
前記データ処理部は、
検出されたユーザアクションの種類に対応する登録データを前記記憶部から取得して、再生画像フレームを決定する（９）に記載の情報処理装置。
ユーザアクションの種類に応じた登録データであり、
前記データ処理部は、
検出されたユーザアクションの種類に対応する登録データを前記記憶部から取得して、再生画像フレームを決定する（９）に記載の情報処理装置。
【0212】
（１１） 前記再生コンテンツは、
コンテンツ配信サーバからの受信コンテンツ、または記録メディアからの再生コンテンツである（１）～（１０）いずれかに記載の情報処理装置。
コンテンツ配信サーバからの受信コンテンツ、または記録メディアからの再生コンテンツである（１）～（１０）いずれかに記載の情報処理装置。
【0213】
（１２） コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムであり、
前記コンテンツ再生装置は、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバは、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理システム。
前記コンテンツ再生装置は、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバは、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理システム。
【0214】
（１３） 前記コンテンツ配信サーバは、
前記演者リアクション画像フレームを、前記配信コンテンツから選択する（１２）に記載の情報処理システム。
前記演者リアクション画像フレームを、前記配信コンテンツから選択する（１２）に記載の情報処理システム。
【0215】
（１４） 前記コンテンツ配信サーバは、
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して配信する（１２）または（１３）に記載の情報処理システム。
ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して配信する（１２）または（１３）に記載の情報処理システム。
【0216】
（１５） 前記コンテンツ配信サーバは、
前記演者リアクション画像フレームに置き換えて配信処理を開始した後、
前記演者リアクション画像フレームの配信から、元の配信コンテンツに戻す配信画像切り替え処理を実行する（１２）～（１４）いずれかに記載の情報処理システム。
前記演者リアクション画像フレームに置き換えて配信処理を開始した後、
前記演者リアクション画像フレームの配信から、元の配信コンテンツに戻す配信画像切り替え処理を実行する（１２）～（１４）いずれかに記載の情報処理システム。
【0217】
（１６） 前記コンテンツ配信サーバは、
前記配信画像切り替え処理に際して、
配信中の演者リアクション画像フレームと、元の配信コンテンツの画像フレームとの類似度を解析し、より高い類似度を持つ画像となるタイミングで配信画像の切り替え処理を実行する（１５）に記載の情報処理システム。
前記配信画像切り替え処理に際して、
配信中の演者リアクション画像フレームと、元の配信コンテンツの画像フレームとの類似度を解析し、より高い類似度を持つ画像となるタイミングで配信画像の切り替え処理を実行する（１５）に記載の情報処理システム。
【0218】
（１７） 情報処理装置において実行する情報処理方法であり、
データ処理部が、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する情報処理方法。
データ処理部が、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する情報処理方法。
【0219】
（１８） コンテンツ配信サーバと、コンテンツ再生装置を有する情報処理システムにおいて実行する情報処理方法であり、
前記コンテンツ再生装置が、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバが、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理方法。
前記コンテンツ再生装置が、
前記コンテンツ配信サーバの配信コンテンツを再生し、
再生コンテンツに対するユーザアクションを検出し、検出したユーザアクション情報を前記コンテンツ配信サーバに送信し、
前記コンテンツ配信サーバが、
前記コンテンツ再生装置から受信したユーザアクション情報に応じて、前記配信コンテンツの画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて配信する情報処理方法。
【0220】
（１９） 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生させるプログラム。
データ処理部に、
再生コンテンツに対するユーザアクションが検出された場合に、前記再生コンテンツの再生画像フレームを、演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生させるプログラム。
【0221】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0222】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0223】
以上、説明したように、本開示の一実施例の構成によれば、再生コンテンツに対するユーザアクションに応じて、演者のリアクションシーンを含む演者リアクション画像フレームを再生する装置、方法が実現される。
具体的には、例えば、再生コンテンツに対するユーザアクションを検出し、ユーザアクションガ検出された場合に、再生コンテンツの再生画像フレームを演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する。データ処理部は、ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する。
本構成により、再生コンテンツに対するユーザアクションに応じて、演者のリアクションシーンを含む演者リアクション画像フレームを再生する装置、方法が実現される。
具体的には、例えば、再生コンテンツに対するユーザアクションを検出し、ユーザアクションガ検出された場合に、再生コンテンツの再生画像フレームを演者のリアクションシーンを含む演者リアクション画像フレームに置き換えて再生する。データ処理部は、ユーザアクション検出時の再生画像フレームと、演者リアクション画像フレームとの類似度を算出し、算出類似度が予め規定したしきい値以上の演者リアクション画像フレームを選択して再生する。
本構成により、再生コンテンツに対するユーザアクションに応じて、演者のリアクションシーンを含む演者リアクション画像フレームを再生する装置、方法が実現される。
【符号の説明】
【0224】
１０ 再生コンテンツ
２０ 視聴者（ユーザ）
１００ コンテンツ再生装置
１１１ 入力部
１１２ データ処理部
１１３ 出力部
１１４記憶部
１１５ コンテンツ記録メディア
１２１ カメラ
１２２ マイク
１２３ マウス
１２４ キーボード
１２５ タッチパネル
１２６ ハンドコントローラ
１３１ ユーザアクション解析部
１３２ コンテンツ置き換え処理部
１３３ コンテンツ出力部
１４１ 通信部
１４２ メディアＩＦ
２００ コンテンツ配信サーバ
２０１ 通信部
２１０ データ処理部
２１１ ユーザアクション解析部
２１２ コンテンツ置き換え処理部
２１３ コンテンツ出力部
２２１ メディアＩＦ
２２２ 記憶部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
２０ 視聴者（ユーザ）
１００ コンテンツ再生装置
１１１ 入力部
１１２ データ処理部
１１３ 出力部
１１４記憶部
１１５ コンテンツ記録メディア
１２１ カメラ
１２２ マイク
１２３ マウス
１２４ キーボード
１２５ タッチパネル
１２６ ハンドコントローラ
１３１ ユーザアクション解析部
１３２ コンテンツ置き換え処理部
１３３ コンテンツ出力部
１４１ 通信部
１４２ メディアＩＦ
２００ コンテンツ配信サーバ
２０１ 通信部
２１０ データ処理部
２１１ ユーザアクション解析部
２１２ コンテンツ置き換え処理部
２１３ コンテンツ出力部
２２１ メディアＩＦ
２２２ 記憶部
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】