(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024107029
(43)【公開日】2024-08-08
(54)【発明の名称】情報処理プログラム、情報処理方法、及び情報処理システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20240801BHJP
G06F 3/16 20060101ALI20240801BHJP
G06Q 50/10 20120101ALI20240801BHJP
【FI】
G06F3/01 510
G06F3/16 690
G06Q50/10
【審査請求】有
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2024085476
(22)【出願日】2024-05-27
(62)【分割の表示】P 2021527610の分割
【原出願日】2020-06-08
(31)【優先権主張番号】P 2019114626
(32)【優先日】2019-06-20
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】木下 隆
(72)【発明者】
【氏名】青山 龍
(72)【発明者】
【氏名】八木 泉
(72)【発明者】
【氏名】廣瀬 洋二
(72)【発明者】
【氏名】徳久 文彬
(72)【発明者】
【氏名】長坂 英夫
(72)【発明者】
【氏名】土居 正一
(72)【発明者】
【氏名】山田 真
(72)【発明者】
【氏名】小池 薫
(57)【要約】
【課題】より良いユーザ体験を提供することができるようにする
【解決手段】情報処理システムが、コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、コンテキスト情報と発動条件のデータセットからなるユーザシナリオを生成可能であり、ユーザをリアルタイムでセンシングすることで得られたセンサデータが、ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する制御部を備える。本技術は、例えば、音声サービスを提供するシステムに適用することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、
ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、
ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する
制御部を備える
情報処理システム。
【請求項2】
前記制御部は、
複数のメディアからなるコンテンツから、
少なくとも一部のメディアからなるコンテンツ要素を抽出し、
前記コンテンツに基づいて、前記コンテンツ要素に対応するコンテキスト情報を生成し、
前記コンテンツ要素と前記コンテキスト情報とを対応付けて蓄積した対応データベースを生成する
請求項1に記載の情報処理システム。
【請求項3】
前記制御部は、前記コンテンツ要素と前記コンテキスト情報からなるデータセットを、一定のテーマに基づいてパッケージ化して蓄積したシナリオデータベースを生成する
請求項2に記載の情報処理システム。
【請求項4】
前記コンテンツ要素は、ストリーミング配信コンテンツの一部であり、
前記コンテキスト情報に対応付けて、そのコンテンツのIDと再生範囲を示す情報が蓄積されている
請求項2に記載の情報処理システム。
【請求項5】
前記制御部は、前記コンテンツ要素を再生する前に、前記コンテキスト情報に対応する特定の音声キャラクタを含む他のコンテンツ要素を提示する
請求項4に記載の情報処理システム。
【請求項6】
前記制御部は、前記対応データベースに蓄積されるコンテンツ要素と前記コンテキスト情報との関係を機械学習することにより、新たなコンテンツ要素に対してコンテンツ情報を付与する
請求項2に記載の情報処理システム。
【請求項7】
前記制御部は、
地図情報とともに、前記コンテンツ要素と前記コンテキスト情報のデータセットからなるシナリオを提示し、
前記コンテキスト情報に対応する発動条件のデフォルト値として、シナリオを作成する制作者が地図上に所定領域を設定可能なインターフェースを提示する
請求項3に記載の情報処理システム。
【請求項8】
前記制御部は、
第1のメディアからなるコンテンツから、
前記第1のメディアとは異なる第2のメディアを生成してコンテンツ要素とし、
前記コンテンツに基づいて、前記コンテンツ要素に対応するコンテキスト情報を生成し、
前記コンテンツ要素と前記コンテキスト情報とを対応付けて蓄積した対応データベースを生成する
請求項1に記載の情報処理システム。
【請求項9】
前記第1のメディアは、テキストを含み、
前記第2のメディアは、TTS(Text To Speech)音声を含む
請求項8に記載の情報処理システム。
【請求項10】
前記制御部は、
前記第1のメディアと前記第2のメディアとの関係をあらかじめ機械学習しておき、 当該機械学習の結果に基づいて、前記第1のメディアから、前記第2のメディアを生成する
請求項8に記載の情報処理システム。
【請求項11】
前記制御部は、
前記コンテキスト情報に対して、
現在、ユーザをセンシングすることで得られるセンサデータに応じた発動条件を設定可能であり、複数の、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオデータベースを生成する
請求項1に記載の情報処理システム。
【請求項12】
前記制御部は、撮像された画像データに応じた発動条件を設定する
請求項11に記載の情報処理システム。
【請求項13】
前記制御部は、ユーザの特性操作に応じて、そのときのセンサデータに応じた発動条件を設定する
請求項11に記載の情報処理システム。
【請求項14】
前記制御部は、
前記コンテキスト情報と前記発動条件との関係を機械学習し、
当該機械学習の結果に応じた情報を出力する
請求項11に記載の情報処理システム。
【請求項15】
前記制御部は、前記機械学習の結果に応じて、特定の発動条件に対して、コンテキスト情報を生成する
請求項14に記載の情報処理システム。
【請求項16】
前記制御部は、前記機械学習の結果に応じて、特定のコンテキスト情報に対して、ユーザに対応した発動条件を設定する
請求項14に記載の情報処理システム。
【請求項17】
前記センシングでは、前記センサデータとして、時間的若しくは空間的な発動条件、又はユーザの行動に応じた発動条件を設定可能なデータを取得する
請求項11に記載の情報処理システム。
【請求項18】
前記制御部は、
地図情報とともに、あらかじめ対応付けられている前記コンテンツ要素と前記コンテキスト情報のデータセットからなるシナリオを提示し、
前記コンテキスト情報に対応する発動条件として、ユーザが地図上に所定領域を設定可能なインターフェースを提示する
請求項1に記載の情報処理システム。
【請求項19】
前記制御部は、同一の発動条件が、複数のコンテキスト情報に設定されているとき、所定のルールに従って、当該複数のコンテキスト情報に対応する複数のコンテンツ要素を、ユーザに提示する
請求項1に記載の情報処理システム。
【請求項20】
前記制御部は、前記センサデータにより推定されるユーザの向きに応じて、前記複数のコンテンツ要素から、一のコンテンツ要素を特定し、ユーザに提示する
請求項19に記載の情報処理システム。
【請求項21】
前記制御部は、
前記センサデータにより推定されるユーザの向きが第1の向きとなるとき、第1のキャラクタに対応するコンテンツ要素を特定して、ユーザに提示し、
ユーザの向きが第2の向きとなるとき、第2のキャラクタに対応するコンテンツ要素を特定して、ユーザに提示する
請求項20に記載の情報処理システム。
【請求項22】
前記制御部は、前記第1のキャラクタ又は前記第2のキャラクタの位置に応じてその場所に紐付けられた情報を提供する
請求項21に記載の情報処理システム。
【請求項23】
前記制御部は、
前記センサデータが前記発動条件を満たしたとき、ユーザの現在位置周辺に、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素を提示可能な機器を探索し、
前記コンテンツ要素がユーザに提示されるように、当該機器を制御する
請求項1に記載の情報処理システム。
【請求項24】
前記制御部は、
前記コンテンツ要素に含まれるエージェントの音声が、ユーザに提示されるように、当該ユーザの耳に装着された電気音響変換機器を制御するとともに、
前記コンテンツ要素に含まれるエージェントの外観が、ユーザに提示されるように、当該ユーザの周辺に配置されるディスプレイを制御する
請求項23に記載の情報処理システム。
【請求項25】
前記制御部は、通信部を介して、特定のユーザシナリオをサービス提供者に提供する
請求項1に記載の情報処理システム。
【請求項26】
前記制御部は、通信部を介して、前記特定のユーザシナリオを音楽ストリーミング配信サービス業者に提供することにより、当該ユーザシナリオに対応付けられるコンテンツ要素に対応する音声キャラクタを、音楽ストリーミング配信サービスにおいて楽曲を紹介するディスクジョッキー(DJ)として設定する
請求項25に記載の情報処理システム。
【請求項27】
前記制御部は、通信部を介して、前記ユーザシナリオを、ソーシャルメディアにアップロードし、他のユーザと共有可能にする
請求項1に記載の情報処理システム。
【請求項28】
前記コンテンツ要素は、機器により提示可能な触覚データ及び匂いデータの少なくとも一方のデータを含む
請求項1に記載の情報処理システム。
【請求項29】
前記制御部は、前記コンテンツ要素が提示されたユーザからのフィードバックに応じて、前記ユーザシナリオを、別のユーザシナリオに切り替える
請求項1に記載の情報処理システム。
【請求項30】
前記制御部は、前記フィードバックを分析することにより、前記コンテンツ要素に対するユーザの嗜好を推定する
請求項29に記載の情報処理システム。
【請求項31】
前記制御部は、前記ユーザの嗜好に応じて、前記コンテンツ要素又は前記ユーザシナリオを推薦する
請求項30に記載の情報処理システム。
【請求項32】
情報処理装置が、
コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、
ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、
ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する
情報処理方法。
【請求項33】
コンピュータを、
コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、
ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、
ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する制御部として
機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理システム、情報処理方法、及び記録媒体に関し、特に、より良いユーザ体験を提供することができるようにした情報処理システム、情報処理方法、及び記録媒体に関する。
【背景技術】
【0002】
近年、情報機器の普及に伴い、機器の特性を活かした様々なサービスが提供されている(例えば、特許文献1参照)。
【0003】
この種のサービスでは、コンテキストの情報を利用して処理が行われる場合がある。コンテキストに関する技術としては、特許文献2乃至5に開示された技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6463529号公報
【特許文献2】特開2015-210818号公報
【特許文献3】国際公開第2013/136792号
【特許文献4】特開2007-172524号公報
【特許文献5】国際公開第2016/136104号
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、コンテキストの情報を利用してサービスを提供するに際しては、より良いユーザ体験を提供することが求められる。
【0006】
本技術はこのような状況に鑑みてなされたものであり、より良いユーザ体験を提供することができるようにするものである。
【課題を解決するための手段】
【0007】
本技術の一側面の情報処理システムは、コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する制御部を備える情報処理システムである。
【0008】
本技術の一側面の情報処理方法は、情報処理装置が、コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する情報処理方法である。
【0009】
本技術の一側面の記録媒体は、コンピュータを、コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する制御部として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【0010】
本技術の一側面の情報処理システム、情報処理方法、及び記録媒体においては、コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件が設定され、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオが生成され、ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示される。
【図面の簡単な説明】
【0011】
【
図2】本技術を適用した情報処理システムの構成の例を示す図である。
【
図3】
図2のデータ管理サーバの構成の例を示す図である。
【
図6】第1の実施の形態における情報処理の全体像を表した図である。
【
図7】第1の実施の形態における情報処理の詳細な流れを説明するフローチャートである。
【
図8】シナリオDBに格納される情報の例を示す図である。
【
図9】ユーザシナリオDBに格納される情報の例を示す図である。
【
図10】シナリオDBに格納される情報の他の例を示す図である。
【
図12】コンテンツ要素とコンテキストとの組み合わせの例を示す図である。
【
図14】シナリオ選択・新規作成画面の例を示す図である。
【
図16】ジオフェンス編集画面の第1の例を示す図である。
【
図17】ジオフェンス編集画面の第2の例を示す図である。
【
図18】第2の実施の形態における情報処理の全体像を表した図である。
【
図19】第3の実施の形態における情報処理の全体像を表した図である。
【
図20】コンテンツ要素-コンテキスト情報に対する発動条件の設定の例を示す図である。
【
図21】シナリオ選択・再生画面の例を示す図である。
【
図23】発動条件詳細設定画面の例を示す図である。
【
図24】コンテンツ要素選択画面の例を示す図である。
【
図25】コンテンツ要素編集画面の例を示す図である。
【
図27】発動条件設定画面の第1の例を示す図である。
【
図28】発動条件設定画面の第2の例を示す図である。
【
図29】ジオフェンス編集画面の例を示す図である。
【
図30】ユーザシナリオの設定の例を示す図である。
【
図31】第4の実施の形態における情報処理の全体像を表した図である。
【
図32】第4の実施の形態における情報処理の全体像を表した図である。
【
図33】発動条件とセンシング手段の組み合わせの例を示す図である。
【
図34】発動条件が重なった場合の状態の例を示す図である。
【
図35】発動条件が重なった場合の対応の第1の例を示す図である。
【
図36】発動条件が重なった場合の対応の第2の例を示す図である。
【
図37】発動条件が重なった場合の対応の第3の例を示す図である。
【
図38】発動条件が重なった場合の対応の第4の例を示す図である。
【
図39】複数キャラクタを配置する場合における情報処理システムの構成の例を示す図である。
【
図40】キャラクタ配置DBに格納される情報の例を示す図である。
【
図41】位置依存情報DBに格納される情報の例を示す図である。
【
図42】シナリオDBに格納される情報の例を示す図である。
【
図43】複数キャラクタ配置の第1の例を示す図である。
【
図44】複数キャラクタ配置の第2の例を示す図である。
【
図45】複数キャラクタ配置の第3の例を示す図である。
【
図46】第6の実施の形態における情報処理の全体像を表した図である。
【
図47】第7の実施の形態における情報処理の全体像を表した図である。
【
図48】第8の実施の形態における情報処理の全体像を表した図である。
【
図49】第9の実施の形態における情報処理の全体像を表した図である。
【
図50】第10の実施の形態における情報処理の全体像を表した図である。
【
図51】第11の実施の形態における情報処理の全体像を表した図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【0013】
1.第1の実施の形態:基本構成
2.第2の実施の形態:シナリオDBの生成
3.第3の実施の形態:異なるメディアの生成
4.第4の実施の形態:ユーザシナリオDBの生成
5.第5の実施の形態:センシング手段の構成
6.第6の実施の形態:発動条件が複数のコンテキスト情報に設定された場合の構成
7.第7の実施の形態:複数の機器が連動した構成
8.第8の実施の形態:別のサービスと協調した構成
9.第9の実施の形態:シナリオを共有した構成
10.第10の実施の形態:データの他の例
11.第11の実施の形態:ユーザフィードバックを利用した構成
12.変形例
13.コンピュータの構成
【0014】
(代表図)
図1は、本技術の概要を示した代表図である。
【0015】
本技術は、1つのシナリオを、別々の場所に住むユーザが、それぞれ利用することができるようにして、より良いユーザ体験を提供するものである。
【0016】
図1においては、制作者が、パーソナルコンピュータ等の編集機器を用いて、コンテンツを構成する要素であるコンテンツ要素に、コンテキストの情報であるコンテキスト情報を付与してシナリオを作成している。このようにして作成されたシナリオは、インターネット上のサーバを介して配信される。
【0017】
各ユーザは、スマートフォン等の再生機器を操作して、配信されているシナリオの中から所望のシナリオを選択し、コンテンツ要素を提示するときの条件である発動条件を設定することで、ユーザシナリオをそれぞれ作成する。つまり、
図1においては、ユーザAとユーザBの2人のユーザが、同一のシナリオに対し、自己の発動条件をそれぞれ設定しているため、ユーザごとに、ユーザシナリオの発動条件が異なっている。
【0018】
そのため、同一のシナリオが、ユーザごとに、異なる場所で実施されることになり、1つのシナリオを、別々の場所に住むユーザが、それぞれ利用することが可能となる。
【0019】
<1.第1の実施の形態>
【0020】
(システムの構成例)
図2は、本技術を適用した情報処理システムの構成の例を示している。
【0021】
情報処理システム1は、データ管理サーバ10、編集機器20、及び再生機器30-1乃至30-N(N:1以上の整数)から構成される。また、情報処理システム1において、データ管理サーバ10と、編集機器20及び再生機器30-1乃至20-Nとは、インターネット40を介して相互に接続されている。
【0022】
データ管理サーバ10は、データベース等のデータを管理するための1又は複数のサーバから構成され、データセンタ等に設置される。
【0023】
編集機器20は、パーソナルコンピュータ等の情報機器から構成され、サービスを提供する事業者により管理される。編集機器20は、インターネット40を介してデータ管理サーバ10に接続し、データベースに蓄積されたデータに関する編集処理を行い、シナリオを生成する。
【0024】
再生機器30-1は、スマートフォンや携帯電話機、タブレット端末、ウェアラブル機器、携帯音楽プレイヤ、ゲーム機、パーソナルコンピュータなどの情報機器から構成される。
【0025】
再生機器30-1は、インターネット40を介してデータ管理サーバ10に接続し、シナリオに対して発動条件を設定してユーザシナリオを生成する。再生機器30-1は、ユーザシナリオに基づいて、発動条件に応じたコンテンツ要素を再生する。
【0026】
再生機器30-2乃至30-Nは、再生機器30-1と同様に、スマートフォン等の情報機器から構成され、生成したユーザシナリオに基づいて、発動条件に応じたコンテンツ要素を再生する。
【0027】
なお、以下の説明では、再生機器30-1乃至20-Nを特に区別する必要がない場合、単に、再生機器30と称する。
【0028】
(データ管理サーバの構成例)
図3は、
図2のデータ管理サーバ10の構成の例を示している。
【0029】
図3において、データ管理サーバ10は、制御部100、入力部101、出力部102、記憶部103、及び通信部104を含んで構成される。
【0030】
制御部100は、CPU(Central Processing Unit)等のプロセッサから構成される。制御部100は、各部の動作の制御や、各種の演算処理を行う中心的な処理装置である。
【0031】
入力部101は、マウスやキーボード、物理的なボタン等から構成される。入力部101は、ユーザの操作に応じた操作信号を、制御部100に供給する。
【0032】
出力部102は、ディスプレイやスピーカ等から構成される。出力部102は、制御部100からの制御に従い、映像や音声などを出力する。
【0033】
記憶部103は、不揮発性メモリや揮発性メモリを含む半導体メモリ、HDD(Hard Disk Drive)などの大容量の記憶装置から構成される。記憶部103は、制御部100からの制御に従い、各種のデータを記憶する。
【0034】
通信部104は、所定の規格に準拠した無線通信又は有線通信に対応した通信モジュールなどから構成される。通信部104は、制御部100からの制御に従い、他の機器と通信を行う。
【0035】
また、制御部100は、データ管理部111、データ処理部112、及び通信制御部113を含む。
【0036】
データ管理部111は、記憶部103に記憶される各種のデータベースやコンテンツのデータなどを管理する。
【0037】
データ処理部112は、各種のデータに関するデータ処理を行う。このデータ処理としては、コンテンツに関する処理や、機械学習に関する処理などが含まれる。
【0038】
通信制御部113は、通信部104を制御して、インターネット40を介して編集機器20又は再生機器30との間で、各種のデータをやり取りする。
【0039】
なお、
図3に示したデータ管理サーバ10の構成は、一例であって、一部の構成要素を除いたり、あるいは専用の画像処理部などの他の構成要素を追加したりしてもよい。
【0040】
(編集機器の構成例)
図4は、
図2の編集機器20の構成の例を示している。
【0041】
図4において、編集機器20は、制御部200、入力部201、出力部202、記憶部203、及び通信部204を含んで構成される。
【0042】
制御部200は、CPU等のプロセッサから構成される。制御部200は、各部の動作の制御や、各種の演算処理を行う中心的な処理装置である。
【0043】
入力部201は、マウス221やキーボード222等の入力装置から構成される。入力部201は、ユーザの操作に応じた操作信号を、制御部200に供給する。
【0044】
出力部202は、ディスプレイ231やスピーカ232等の出力装置から構成される。出力部202は、制御部200からの制御に従い、各種のデータに応じた情報を出力する。
【0045】
ディスプレイ231は、制御部200からの映像データに応じた映像を表示する。スピーカ232は、制御部200からの音声データに応じた音声(音)を出力する。
【0046】
記憶部203は、不揮発性メモリ等の半導体メモリ等から構成される。記憶部203は、制御部200からの制御に従い、各種のデータを記憶する。
【0047】
通信部204は、所定の規格に準拠した無線通信又は有線通信に対応した通信モジュールなどから構成される。通信部204は、制御部200からの制御に従い、他の機器と通信を行う。
【0048】
また、制御部200は、編集処理部211、提示制御部212、及び通信制御部213を含む。
【0049】
編集処理部211は、各種のデータに関する編集処理を行う。この編集処理としては、後述するシナリオに関する処理などを含む。
【0050】
提示制御部212は、出力部202を制御して、映像データや音声データ等のデータに応じた映像や音声等の情報の提示を制御する。
【0051】
通信制御部213は、通信部204を制御して、インターネット40を介してデータ管理サーバ10との間で、各種のデータをやり取りする。
【0052】
なお、
図4に示した編集機器20の構成は、一例であって、一部の構成要素を除いたり、あるいは他の構成要素を追加したりしてもよい。
【0053】
(再生機器の構成例)
図5は、
図2の再生機器30の構成の例を示している。
【0054】
図5において、再生機器30は、制御部300、入力部301、出力部302、記憶部303、通信部304、センサ部305、カメラ部306、出力端子307、及び電源部308を含んで構成される。
【0055】
制御部300は、CPU等のプロセッサから構成される。制御部300は、各部の動作の制御や、各種の演算処理を行う中心的な処理装置である。
【0056】
入力部301は、物理的なボタン321や、タッチパネル322、マイクロフォン等の入力装置から構成される。入力部301は、ユーザの操作に応じた操作信号を、制御部300に供給する。
【0057】
出力部302は、ディスプレイ331及びスピーカ332等の出力装置から構成される。出力部302は、制御部300からの制御に従い、各種のデータに応じた情報を出力する。
【0058】
ディスプレイ331は、制御部300からの映像データに応じた映像を表示する。スピーカ332は、制御部300からの音声データに応じた音声(音)を出力する。
【0059】
記憶部303は、不揮発性メモリ等の半導体メモリ等から構成される。記憶部303は、制御部300からの制御に従い、各種のデータを記憶する。
【0060】
通信部304は、無線LAN(Local Area Network)、セルラー方式の通信(例えばLTE-Advancedや5G等)、若しくはBluetooth(登録商標)などの無線通信、又は有線通信に対応した通信モジュールとして構成される。通信部304は、制御部300からの制御に従い、他の機器と通信を行う。
【0061】
センサ部305は、各種のセンサデバイス等から構成される。センサ部305は、ユーザやその周辺などのセンシングを行い、そのセンシング結果に応じたセンサデータを、制御部300に供給する。
【0062】
ここで、センサ部305としては、位置、方位、加速度、及び速度を測定する慣性センサ、生物の持つ心拍数、体温、又は姿勢といった情報を測定する生体センサ、磁場(磁界)の大きさや方向を測定する磁気センサ、近接するものを測定する近接センサなどを含めることができる。なお、慣性センサの代わりに、加速度を測定する加速度センサや、角度(姿勢)や角速度、角加速度を測定するジャイロセンサを用いてもよい。
【0063】
カメラ部306は、光学系やイメージセンサ、信号処理回路などから構成される。カメラ部306は、被写体を撮像して得られる撮像データを、制御部300に供給する。
【0064】
出力端子307は、ケーブルを介してイヤホンやヘッドホン等の電気音響変換機器を含む機器と接続される。出力端子307は、制御部300からの音声データ等のデータを出力する。なお、イヤホン等の機器とは、有線に限らず、Bluetooth(登録商標)等の無線通信により接続されてもよい。
【0065】
電源部308は、二次電池等の電池と電源管理回路から構成され、制御部300を含む各部に電源を供給する。
【0066】
また、制御部300は、再生処理部311、提示制御部312、及び通信制御部313を含む。
【0067】
再生処理部311は、各種のコンテンツのデータに関する再生処理を行う。この再生処理としては、楽曲(の一部)や、キャラクタの発話等のデータを再生する処理などが含まれる。
【0068】
提示制御部312は、出力部302を制御して、映像データや音声データ等のデータに応じた映像や音声等の情報の提示を制御する。また、提示制御部312は、再生処理部311により再生されたデータの提示を制御する。
【0069】
通信制御部313は、通信部304を制御して、インターネット40を介してデータ管理サーバ10との間で、各種のデータをやり取りする。
【0070】
なお、
図5に示した再生機器30の構成は、一例であって、カメラ部306や出力端子307等の一部の構成要素を除いたり、あるいは入力端子等の他の構成要素を追加したりしてもよい。
【0071】
情報処理システム1は、以上のように構成される。以下、情報処理システム1で実行される情報処理の具体的な内容について説明する。
【0072】
(処理の全体像)
まず、
図6を参照して、第1の実施の形態における情報処理の全体像を説明する。
【0073】
データ管理サーバ10において、記憶部103は、コンテンツ要素-コンテキスト情報DB151、シナリオDB152、及びユーザシナリオDB153の各データベースを記憶している。また、記憶部103は、コンテンツ要素のデータも記憶している。
【0074】
コンテンツ要素-コンテキスト情報DB151は、コンテンツ要素とコンテキスト情報とを対応付けたテーブルを格納したデータベースである。
【0075】
ここで、コンテンツ要素とは、コンテンツを構成する要素(エレメント)である。例えば、コンテンツ要素には、映像や音楽等のコンテンツから生成される、セリフやBGM、効果音、環境音、楽曲、画像などが含まれる。
【0076】
また、コンテキスト情報とは、コンテンツ要素に対して付与されるコンテキストの情報である。例えば、コンテンツ要素の使用が想定される状況に応じて付与されたコンテキスト情報が、当該コンテンツ要素に対応付けられて、コンテンツ要素-コンテキスト情報DB151に蓄積される。なお、ここでは、機械学習の技術を用いて、コンテンツ要素に対してコンテキスト情報を自動的に付与してもよい。
【0077】
シナリオDB152は、シナリオを格納したデータベースである。
【0078】
ここで、シナリオとは、コンテンツ要素とコンテキスト情報の組み合わせからなるデータセット(以下、「コンテンツ要素-コンテキスト情報」とも表記する)を、一定のテーマに基づいて、パッケージ化したものである。
【0079】
なお、シナリオDB152には、再生機器30の機能に関する機器機能情報を格納してもよい。この機器機能情報を用いることで、1又は複数の再生機器30の機能に応じた処理を実行することができる。
【0080】
ユーザシナリオDB153は、ユーザシナリオを格納したデータベースである。
【0081】
ここで、ユーザシナリオとは、コンテンツ要素とコンテキスト情報からなるデータセットをパッケージ化したシナリオに対して発動条件を設定したものである。
【0082】
すなわち、ユーザごとに、少なくともコンテキスト情報に対して発動条件が設定可能とされ、コンテキスト情報と発動条件のデータセットを含むユーザシナリオが生成可能とされる。いわば、ユーザシナリオは、ユーザ定義シナリオであると言える。
【0083】
発動条件とは、データセットとなるコンテキスト情報に対応付けられたコンテンツ要素を、ユーザに提示するときの条件である。この発動条件としては、例えば、位置や場所などの空間的な条件や、時間的な条件、ユーザの行動などが設定可能である。
【0084】
情報処理システム1では、データ管理サーバ10が上記のデータベースを管理し、当該データベースに格納された情報に、編集機器20や再生機器30がアクセスすることで、
図6に示すような処理が行われる。
【0085】
すなわち、再生機器30がユーザをリアルタイムでセンシングし(S101)、そのセンシングで得られたセンサデータが、ユーザシナリオに設定される発動条件を満たしたかどうかが判定される(S102)。
【0086】
そして、センサデータが発動条件を満たしたとき(S102の「Yes」)、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示される(S103)。
【0087】
例えば、シナリオとして、「キャラクタ発話」であるコンテンツ要素に、「自宅」であるコンテキスト情報が対応付けられている場合に、当該コンテキスト情報に対して、「自宅の中心から半径10m」である発動条件が設定された場合を想定する。この場合、センサデータ(位置情報)に基づき、ユーザが自宅から10mの位置に来たとき、当該ユーザが所持する再生機器30から、所望のキャラクタの発話が出力される。
【0088】
(処理の流れ)
次に、
図7のフローチャートを参照して、第1の実施の形態における情報処理の詳細な流れを説明する。
【0089】
なお、
図7に示した処理のうち、ステップS121乃至S127の処理は、主に、編集機器20(の制御部200)によりシナリオ生成ツールが実行されたときの処理とされ、ステップS128乃至S133の処理は、主に、再生機器30(の制御部300)によりユーザシナリオ生成ツールが実行されたときの処理とされる。
【0090】
つまり、シナリオ生成ツールを操作するのは、編集機器20でシナリオを作成する制作者等である一方で、ユーザシナリオ生成ツールを操作するのは、再生機器30を所持するユーザ等であり、各ツールの操作者が異なっているか、同一の操作者であっても操作するタイミングが異なっている。
【0091】
編集機器20では、シナリオ生成ツールによって、コンテンツが取得され(S121)、コンテンツ要素の候補が提示される(S122)。そして、制作者の操作に応じて、コンテンツからコンテンツ要素が切り出される(S123)。
【0092】
また、編集機器20では、シナリオ生成ツールによって、コンテキスト情報の候補が提示される(S124)。そして、制作者の操作に応じて、コンテンツ要素にコンテキスト情報が付与される(S125)。ただし、ここでは、制作者の操作に限らず、機械学習の技術を用いて自動的に付与してもよい。
【0093】
なお、このようにして対応付けられたコンテンツ要素とコンテキスト情報は、データ管理サーバ10に送られ、コンテンツ要素-コンテキスト情報DB151に蓄積される。
【0094】
編集機器20では、シナリオ生成ツールによって、制作者の操作に応じたシナリオが生成され(S126)、当該シナリオが保存される(S127)。
【0095】
すなわち、シナリオ生成ツールにより生成されたシナリオは、データ管理サーバ10に送られ、シナリオDB152に蓄積される。シナリオDB152に蓄積されたシナリオは、インターネット40を介して配信可能となる。
【0096】
一方で、再生機器30では、ユーザシナリオ生成ツールによって、データ管理サーバ10から配信されるシナリオが取得される(S128)。
【0097】
そして、再生機器30では、ユーザの操作に応じて、発動条件が付与される(S129)。これにより、シナリオから、ユーザの操作に応じたユーザシナリオが生成され、当該ユーザシナリオが保存される(S130)。
【0098】
ユーザシナリオ生成ツールにより生成されたユーザシナリオは、データ管理サーバ10に送られ、ユーザシナリオDB153に蓄積される。これにより、ユーザシナリオが他のユーザ等と共有可能とされる。
【0099】
ここでは、さらにシナリオを追加する場合(S131の「Yes」)には、上述したステップS128乃至S130の処理が繰り返される。
【0100】
また、再生機器30では、ユーザシナリオ生成ツールによって、作成済みのユーザシナリオを起動して(S132)、評価することができる(S133)。
【0101】
【0102】
以上、情報処理の詳細な流れを説明した。
【0103】
(データベースの例)
次に、
図8乃至
図10を参照して、データ管理サーバ10により管理されるデータベースの例を説明する。
【0104】
図8に示すように、シナリオDB152には、ユーザシナリオ生成ツールの操作に応じて、コンテンツ要素とコンテキスト情報の組み合わせからなるデータセットが蓄積されている。例えば、
図8においては、「自宅」であるコンテキスト情報が、「キャラクタ発話#1」及び「BGM#1」であるコンテンツ要素に対応付けられている。
【0105】
また、
図9に示すように、ユーザシナリオDB153には、コンテンツ要素とコンテキスト情報の組み合わせからなるデータセットとともに、ユーザシナリオ生成ツールの操作に応じて、当該データセットに付与された発動条件が蓄積されている。
【0106】
例えば、
図9においては、「中心(35.631466, 139.743660)」及び「半径10m」である発動条件が、「キャラクタ発話#1」及び「BGM#1」であるコンテンツ要素と、「自宅」であるコンテキスト情報に付与されている。ただし、中心(a, b)のa, bは、緯度(北緯)と経度(東経)を意味し、コンテンツ要素の発動範囲を表している。
【0107】
なお、
図8及び
図9に示したデータベースの構成は一例であり、他の構成を用いてもよい。例えば、
図10に示すように、異なる作品(例えば、「映画」である作品Aと、「アニメ」である作品Bと、「文学朗読」である作品C)に、共通のコンテキスト情報を付与することができる。
【0108】
例えば、
図10においては、「自宅」であるコンテキスト情報が、作品Aの「BGM#2」、作品Bの「キャラクタ発話#1」及び「BGM#1」、並びに作品Cの「朗読#1」であるコンテンツ要素にそれぞれ対応付けられている。
【0109】
以上、第1の実施の形態を説明した。この第1の実施の形態では、コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、コンテキスト情報と発動条件のデータセットを含むユーザシナリオを生成可能である。そして、ユーザをリアルタイミングでセンシングすることで得られたセンサデータが、ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示される。
【0110】
これにより、シナリオの世界観を、ユーザシナリオ内の発動条件に従って、各ユーザが楽しむことができ、より良いユーザ体験を提供することができる。
【0111】
<2.第2の実施の形態>
【0112】
ところで、現在流通・配信されているコンテンツには、例えば、映画やアニメ、ゲーム等の動画、写真や絵画、マンガ等の静止画、音楽やオーディオブック等の音声、書籍等のテキストなどといったフォーマットがあるが、特にストーリ性(劇場性)を持つコンテンツは、セリフや効果、背景のような要素から構成されることが多い。
【0113】
ユーザの日常生活の空間への重畳を考慮する場合、上記のコンテンツを流通・配信されている形式でそのまま提示することに加えて、コンテンツの再編集を行うことがある。このコンテンツの再編集としては、例えば、ユーザの現在置かれているコンテキストの空間的・時間的なサイズに合うようにコンテンツの一部を時間的に切り取る、又はコンテキストに合うように上記の要素を取り出して提示する、といったことが行われる。
【0114】
以下、この再編集されたコンテンツの一部が、上述したコンテンツ要素に相当している。例えば、
図11に示すように、あるコンテンツのコンテンツ要素としては、セリフや背景、音楽、歌詞、人物、記号、文字、物体などが含まれる。
【0115】
このコンテンツ要素に、想定されるコンテキストの情報を、テキストや画像、音声等の形式で表現するかたちで、上述したコンテキスト情報として付与する。また、コンテンツ要素とコンテキスト情報の関連性情報そのもの、又は複数の関連性情報をひとつにまとめたものをシナリオとしてシナリオDB152に蓄積する。
【0116】
なお、ここでは、1つのコンテンツ要素に対して、1つ以上のコンテキスト・タグを付与してもよく、また、同一のコンテキスト・タグを複数のコンテンツ要素に付与してもよい。
【0117】
例えば、
図12に示すように、配信された映画やアニメ、ゲームのように映像と音声から構成されるコンテンツから、あるキャラクタのセリフのみを抜き出して音声コンテンツとし、そのセリフが聞かれると想定されるコンテキストとして、「勇気をもらう」であるテキストを、コンテキスト情報として付与する。
【0118】
また、例えば、
図12に示すように、あるシーンで用いられているセリフと背景音楽の組み合わせを1つの音声コンテンツとし、「宿屋での出会い」であるテキストをコンテキスト情報として付与する。
【0119】
そして、
図12に示した2つの「コンテンツ要素-コンテキスト情報」のデータセットを、コンテンツ要素-コンテキスト情報DB151に蓄積する。
【0120】
例えば、音声データでは、制作途中においてセリフ、効果音、背景音、背景音楽等がマルチトラックとして別々の音源で制作され、その後にミックスダウンして流通・配信されるコンテンツの形態とされる。そのため、コンテンツ要素は、これらミックスダウン前の各トラックから抽出することができる。
【0121】
また、例えば、画像においても、人物、背景、物体等が別々に撮影され、その後に合成される手法もあり、合成前のデータからコンテンツ要素を抽出することもできる。
【0122】
これらのコンテンツ要素の生成及びコンテキスト情報の付与は、人手で行う場合、人手を介さずに自動で行う場合、又はその組み合わせの場合の3通りが想定される。次に、特に、自動プロセスが関与する場合について述べる。
【0123】
機械学習の技術によって、動画若しくは静止画に含まれる画像情報又は音声情報からあるシーンに含まれる人、生物、物体、建築物、風景等の要素を識別する技術があり、これらの技術を用いてコンテンツ要素の範囲を決定し、識別結果、又はその組み合わせから想定される1つ以上のコンテキスト情報を(自動的に)生成することができる。
【0124】
これらの情報から、「コンテンツ要素-コンテキスト情報」のデータセットを自動的に生成してもよいし、あるいは、これらの情報を参考情報として、人手で「コンテンツ要素-コンテキスト情報」の設定を行ってもよい。
【0125】
シナリオは、1つ以上の「コンテンツ要素-コンテキスト情報」のデータセットを、再編集の元となった作品名、出演するキャラクタ、設定された舞台、喚起される感情など、一定のテーマに沿ってまとめることで構成され、シナリオDB152に蓄積される。
【0126】
例えば、
図13に示すように、
図12に示した2つの「コンテンツ要素-コンテキスト情報」のデータセットを、「出発の街」であるシナリオとして、シナリオDB152に蓄積することができる。
【0127】
これにより、ユーザは、利用したい「コンテンツ要素-コンテキスト情報」のデータセットを検索・入手するだけでなく、シナリオをもとにパッケージ化された複数の「コンテンツ要素-コンテキスト情報」のデータセットを検索・入手することもできる。
【0128】
ここでは、既に流通・配信されている従来のフォーマットに基づいたコンテンツから、コンテンツ要素を生成してコンテキスト情報を付与する手法について述べたが、本技術で提案する仕組みを前提に、コンテンツ要素に当たる作品を直接創作することもできる。
【0129】
(シナリオ生成ツールのUIの例)
ここで、
図14乃至
図17を参照して、シナリオを生成するためのシナリオ生成ツールのユーザインターフェースについて説明する。このシナリオ生成ツールは、制作者等により操作される編集機器20の制御部200により実行され、各種の画面がディスプレイ231に表示される。
【0130】
シナリオ生成ツールを起動すると、
図14のシナリオ選択・新規作成画面が表示される。このシナリオ選択・新規作成画面は、地図・シナリオ表示領域251、シナリオリスト252、及び新規シナリオ作成ボタン253を含む。
【0131】
シナリオは、地図・シナリオ表示領域251において地図上の位置を表すピン261Aに名前が表記されるか、あるいはシナリオリスト252においてシナリオ表示バナー262Aが名前順などの所定の順序でリストとして表示される。また、新規シナリオ作成ボタン253は、新規のシナリオを作成する場合に操作される。
【0132】
制作者は、所望の領域に対応した地図上のピン261Aや、シナリオリスト252のシナリオ表示バナー262Aをクリック操作することで、所望のシナリオを選択できる。
【0133】
このとき、複数のピン261Aのうち、ピン261Bに注目すれば、カーソル260により選択状態になっているため、「シナリオ#1」であるピン261Bに応じたシナリオ名が吹き出し状に表示される。そして、ピン261Bに応じたシナリオ#1が選択された状態で、編集ボタン262Bがクリック操作された場合、
図15のシナリオ編集画面が表示される。
【0134】
図15のシナリオ編集画面は、地図・ジオフェンス表示領域254、ジオフェンスリスト255、及び編集ツール表示領域256を含む。
【0135】
ジオフェンスは、地図・ジオフェンス表示領域254において地図上のジオフェンスの領域を表すジオフェンス領域271A乃至271Eに名前が表記されるか、あるいはジオフェンスリスト255においてジオフェンス表示バナー272Aが名前順などの所定の順序でリストとして表示される。
【0136】
なお、ジオフェンス領域271A乃至271Eの形状としては、円形や多角形などの様々な形状を設定可能である。
【0137】
地図・ジオフェンス表示領域254において、デフォルト値が設定される発動条件(発動範囲)に付与されたコンテキスト情報は、各ジオフェンス内にテキスト等で表示されるか、所望のジオフェンスを選択したときに吹き出し状に表示される。この表示をもとに、制作者は、各コンテンツ要素の発動範囲に紐付くコンテキスト情報を確認することができる。
【0138】
これにより、制作者は、所望の領域に対応した地図上のジオフェンス領域271A乃至271Eや、ジオフェンスリスト255のジオフェンス表示バナー272Aをクリック操作することで、所望のジオフェンスを選択できる。
【0139】
編集ツール表示領域256は、円形ジオフェンス作成ボタン273、多角形ジオフェンス作成ボタン274、ジオフェンス移動ボタン275、上書き保存ボタン276、新規保存ボタン277、削除ボタン278、及び戻るボタン279を含む。
【0140】
円形ジオフェンス作成ボタン273は、円形の形状からなるジオフェンスを作成する場合に操作される。多角形ジオフェンス作成ボタン274は、多角形の形状からなるジオフェンスを作成する場合に操作される。ジオフェンス移動ボタン275は、所望のジオフェンスを移動する場合に操作される。
【0141】
上書き保存ボタン276は、編集対象のシナリオを、既存のシナリオに上書きして保存する場合に操作される。新規保存ボタン277は、編集対象のシナリオを、新規のシナリオとして保存する場合に操作される。削除ボタン278は、編集対象のシナリオを削除する場合に操作される。戻るボタン279は、シナリオ選択・新規作成画面に戻る場合に操作される。
【0142】
ここで、ジオフェンス領域271A乃至271Eのうち、模様が付されたジオフェンス領域271Cに注目すれば、カーソル260により選択状態になっているため、「ジオフェンス#1」であるジオフェンス領域271Cに応じたジオフェンス名が吹き出し状に表示されるとともに、ジオフェンスに設定されたコンテンツ要素が再生されてもよい。
【0143】
そして、ジオフェンス領域271Cに応じたジオフェンス#1が選択された状態で、編集ボタン272Bがクリック操作された場合、
図16のジオフェンス編集画面が表示される。
【0144】
図16のジオフェンス編集画面は、ジオフェンス詳細設定領域257を含む。ジオフェンス詳細設定領域257は、ジオフェンスの詳細な設定項目として、ジオフェンス名、中心位置、半径、再生時間、天候、コンテンツ要素、再生範囲、音量、リピート再生、フェードイン・アウト、及び再生優先レベルを含む。
【0145】
ただし、ジオフェンス名は、コンテキストの設定項目に相当する。また、中心位置、半径、再生時間、及び天候は、発動条件の設定項目に相当し、ここでは、そのデフォルト値が設定される。さらに、コンテンツ要素、再生範囲、音量、リピート再生、フェードイン・アウト、及び再生優先レベルは、コンテンツ要素と再生条件の設定項目に相当し、ここでは、そのデフォルト値が設定される。
【0146】
ジオフェンス名入力欄281Aには、ジオフェンス名として、「ジオフェンス#1」が入力されている。
【0147】
中心位置入力欄281Bと半径入力欄281Cには、円形のジオフェンスの中心位置と半径のデフォルト値として、「緯度、経度」と「80m」が入力されている。
【0148】
再生時間入力欄281Dには、再生時間のデフォルト値として、「7:00 - 10:00」が入力されている。なお、天候入力欄281Eは、「指定なし」となるため、天候のデフォルト値は未設定とされる。
【0149】
コンテンツ要素入力欄281Fには、コンテンツ要素のデフォルト値として、「http:xxx.com/sound/フォルダ#1/01.mp3」が入力されている。この入力方法としては、選択ボタン282をクリック操作することで表示されるコンテンツ要素選択画面283を利用することができる。
【0150】
コンテンツ要素選択画面283には、データ管理サーバ10の記憶部103に記憶されたコンテンツ要素の音声ファイルのデータが表示される。この例では、コンテンツ要素選択画面283において、階層構造で表示されるフォルダの中から所望のフォルダを選択することで、当該フォルダ内の所望の音声ファイルを選択することができる。
【0151】
なお、ここでは、検索キーワード入力欄284Aに入力された所望のキーワードを検索条件とした検索処理を行い、その検索結果に応じた所望の音声ファイルのリストを提示してもよい。
【0152】
再生範囲入力欄281Gと音量入力欄281Hには、再生範囲と音量のデフォルト値として、「00:00:08 - 00:01:35」と「5」が入力されている。なお、再生時間と音量は、コンテンツ要素に応じて自動で入力されてもよい。
【0153】
リピート再生入力欄281Iとフェードイン・アウト入力欄281Jには、音声ファイルのリピート再生とフェードイン及びフェードアウトのデフォルト値として、「リピート再生:する」と「フェードイン・アウト:する」が入力されている。
【0154】
再生優先レベル入力欄281Kには、再生優先レベルのデフォルト値として、「1」が入力されている。この再生優先レベルとしては、「1」乃至「3」の3段階や、「1」乃至「5」の5段階などの所定の段階で、より数値が低いほど優先度が高く、より数値が高いほど優先度が低いなどとすることができる。
【0155】
なお、
図16のジオフェンス編集画面では、ジオフェンス#1の形状が円形である場合を示したが、その形状が多角形(矩形)である場合には、
図17のジオフェンス編集画面が表示される。
【0156】
図17のジオフェンス編集画面は、
図16に示したジオフェンス編集画面と比べて、発動条件の設定項目として、円形のジオフェンスの中心位置と半径の代わりに、矩形のジオフェンスの頂点位置が設けられる点が異なっている。
【0157】
また、
図17のジオフェンス編集画面では、
図16の中心位置入力欄281Bと半径入力欄281Cのテキストボックスの代わりに、リストボックスからなる頂点位置入力欄291Bが設けられる。
【0158】
この例では、頂点位置入力欄291Bには、緯度#1と経度#1、緯度#2と経度#2、緯度#3と経度#3、・・・のように、複数の緯度と経度の組み合わせがリストとして表示されるので、当該リストから選択された所望の緯度と経度の組み合わせが、矩形のジオフェンスの頂点位置のデフォルト値として設定される。
【0159】
なお、上述したシナリオ生成ツールのユーザインターフェースは一例であり、テキストボックスやラジオボタンの代わりに他のウィジェットを用いるなど、他のユーザインターフェースを用いてもよい。
【0160】
例えば、ジオフェンス編集画面において、再生時間入力欄281D、天候入力欄281E、音量入力欄281H、若しくは再生優先レベル入力欄281Kを構成するテキストボックス、又は頂点位置入力欄291Bを構成するリストボックスの代わりに、ドロップダウンリストやコンボボックスなどを用いることができる。
【0161】
(処理の全体像)
次に、
図18を参照して、第2の実施の形態における情報処理の全体像を説明する。
【0162】
図18に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)と編集機器20(の制御部200)が少なくとも連携することで実現される。すなわち、この情報処理は、制御部100及び制御部200のうち少なくとも一方の制御部により実行される。
【0163】
図18に示すように、情報処理システム1では、複数のメディア(映像や音声等)からなるコンテンツ(映画やアニメ、ゲーム等)から、少なくとも一部のメディアからなる1つ以上のコンテンツ要素(例えば「キャラクタのセリフ」)が抽出され(S201)、当該コンテンツ要素に対してコンテキスト(例えばそのセリフが聞かれると想定されるコンテキスト)が生成される(S202)。
【0164】
そして、情報処理システム1では、各コンテンツ要素(例えば「キャラクタのセリフ」)に対してコンテキスト情報(例えば「勇気をもらう」)が付与される(S203)。これにより、コンテンツ要素-コンテキスト情報DB151には、コンテンツ要素とコンテキスト情報とが対応付けられて蓄積される。
【0165】
また、1以上の「コンテンツ要素-コンテキスト情報」のデータセットは、シナリオ(例えば「出発の街」)としてシナリオDB152に蓄積される(S204)。ここでは、当該データセットを、一定のテーマ(再編集の元となった作品名、設定された舞台、喚起される感情など)に基づいて、パッケージ化して、シナリオDB152に蓄積することができる(S211)。
【0166】
ここで、コンテンツ要素としては、例えば、ストリーミング配信コンテンツ(音楽ストリーミング配信サービスで配信される楽曲等)の一部(楽曲の一部等)を含めることができる。このとき、ストリーミング配信コンテンツの一部を識別するために、当該コンテンツのコンテンツIDと再生範囲を指定して(S221)、そのコンテンツIDと再生範囲を示す情報を、対象のコンテキスト情報に対応付けて、コンテンツ要素-コンテキスト情報DB151に蓄積してもよい。
【0167】
また、コンテンツ要素に対し、キャラクタ等の紹介コンテンツ(他のコンテンツ要素)を生成して(S231)、コンテンツ要素を再生する前に、紹介コンテンツを提示してもよい。例えば、音楽ストリーミング配信サービスから配信される楽曲(コンテンツ要素)を再生する前に、コンテキスト情報に対応する特定の音声キャラクタ(例えばディスクジョッキー(DJ)のキャラクタ)により紹介文を提示することができる。
【0168】
さらに、コンテンツ要素-コンテキスト情報DB151に蓄積されるコンテンツ要素とコンテキスト情報との関係を機械学習することにより(S241)、新たなコンテンツ要素に対して、コンテキスト情報を自動的に付与することができる。
【0169】
ここで、機械学習の技術としては、ニューラルネットワーク(NN:Neural Network)などの様々な手法を用いることができるが、例えば、動画若しくは静止画に含まれる画像情報又は音声情報からあるシーンに含まれる人、生物、物体、建築物、風景等の要素を識別する技術を用いて、コンテンツ要素の範囲を決定し、識別結果、又はその組み合わせから想定される1つ以上のコンテキスト情報を自動的に生成することができる。
【0170】
以上、第2の実施の形態を説明した。
【0171】
<3.第3の実施の形態>
【0172】
ところで、電子書籍の小説のようなテキストのみから構成されるコンテンツから、コンテンツ要素とコンテキスト情報の組み合わせを生成する場合には、抽出されたテキストそのものをコンテンツ要素として利用し、例えば、文字画像として、公共のディスプレイやARグラス等の表示装置に表示することも可能であるが、音声(音)を利用してもよい。なお、ARグラスとは、拡張現実(AR:Augmented Reality)に対応した眼鏡型の機器(デバイス)である。
【0173】
すなわち、コンテンツ要素として利用されるテキストデータから、TTS(Text To Speech)の技術を用いて音声データを生成して、当該音声データを、コンテンツ要素とすることができる。
【0174】
また、機械学習の技術を用いて、例えば単語や文章を構成するテキストから関連する印象(イメージ)を伴う音声データや画像データ等のデータを検索又は合成して、当該データをコンテンツ要素として利用してもよい。
【0175】
一方で、音声データや画像データのみから構成されているコンテンツについて、機械学習の技術を用いて、関連する単語や文章を構成するテキストを検索又は合成することで、当該テキストをコンテンツ要素として利用してもよい。つまり、ここでは、既存のコンテンツに含まれていない内容を追加したり、あるいは触覚など元のコンテンツに含まれていない別のモーダルでの表現を付加したりすることができる。
【0176】
なお、TTSの技術は、人間の音声を人工的に作り出す音声合成の技術の一例であり、他の技術を用いて音声を生成してもよい。あるいは、人による朗読を録音したものを利用してもよい。また、上述した説明では、機械学習の技術を用いた場合を示したが、取得したデータの分析を別途行うことで、コンテンツ要素としてのデータを生成してもよい。
【0177】
(処理の全体像)
次に、
図19を参照して、第3の実施の形態における情報処理の全体像を説明する。
【0178】
図19に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)と編集機器20(の制御部200)が少なくとも連携することで実現される。
【0179】
図19に示すように、情報処理システム1では、複数のメディア(テキスト等)からなるコンテンツ(電子書籍の小説等)から、第1のメディア(テキスト等)からなる1つ以上のコンテンツ要素(例えば小説の一文)が抽出され(S301)、第2のメディア(TTS音声等)からなるコンテンツ要素(例えば小説の一文に応じた音声)が生成される(S302)。
【0180】
そして、情報処理システム1では、各コンテンツ要素(例えば小説の一文に応じた音声)に対してコンテキスト情報(例えばその小説の一文の音声が聞かれると想定されるコンテキストの情報)が付与され(S303)、コンテンツ要素とコンテキスト情報とが対応付けられてコンテンツ要素-コンテキスト情報DB151に蓄積される。
【0181】
また、1以上の「コンテンツ要素-コンテキスト情報」のデータセットは、シナリオとして、シナリオDB152に保存(蓄積)される(S304)。
【0182】
ここでは、第1のメディア(テキスト等)と第2のメディア(TTS音声等)との関係をあらかじめ機械学習しておくことで(S311)、その機械学習の結果に基づいて、第1のメディアのコンテンツ要素から第2のメディアのコンテンツ要素を生成することができる。
【0183】
以上、第3の実施の形態を説明した。
【0184】
<4.第4の実施の形態>
【0185】
ユーザは、ユーザシナリオ生成ツールを利用することで、所望のシナリオや、所望の「コンテンツ要素-コンテキスト情報」のデータセットを、自身が所持する再生機器30で取得することができる。
【0186】
すなわち、再生機器30においては、ユーザシナリオ生成ツールを実行することで、取得したシナリオに含まれる複数の「コンテンツ要素-コンテキスト情報」のデータセットを表示し、ユーザの周辺の実際の空間に配置するためのユーザインターフェースを用いて、センシング可能な条件の組み合わせからなる発動条件を、それぞれの「コンテンツ要素-コンテキスト情報」のデータセットに対して設定することができる。
【0187】
この発動条件としては、例えば、GPS(Global Positioning System)に関する情報や、無線LAN(Local Area Network)のアクセスポイントからの情報から推定される緯度・経度などの位置情報、無線ビーコンや近距離無線通信の履歴から得られる利用状況や認証情報を含めることができる。
【0188】
さらには、発動条件として、例えば、カメラにより撮像した撮像画像から推定されるユーザ位置や姿勢、行動、周辺環境に関する情報、環境情報時計で測定される時刻や時間に関する情報、マイクロフォンから得られる音声情報に基づく環境情報や認証情報、慣性センサから得られる身体の姿勢や運動、乗車状態等に関する情報、生体信号情報から推定される呼吸数、脈拍、情動等に関する情報が含まれる。
【0189】
例えば、
図20に示すように、「コンテンツ要素-コンテキスト情報」のデータセットとして、あるキャラクタのセリフを抜き出した音声コンテンツに対し、「勇気をもらう」であるテキストが付与されている場合に、GPSに関する情報等から推定される「緯度・経度」を、発動条件として設定することができる。
【0190】
この発動条件の設定は、ユーザシナリオ生成ツールを利用して設定することができるが、サービスを利用する前に完了しておくこともできるし、あるいはサービス利用中にツールを起動して設定を行うようにしてもよい。
【0191】
ここでは、ユーザシナリオ生成ツールの一例として、地図上に、「コンテンツ要素-コンテキスト情報」のデータセットが表示され、ユーザによって地図上に配置するインターフェースを用いて、センシング可能な発動条件として地図上の範囲及び時間帯を設定する場合について説明する。
【0192】
ユーザは、例えばスマートフォン等の再生機器30、又はパーソナルコンピュータ等の情報機器により実行されるユーザシナリオ生成ツールを操作して、所望のユーザシナリオを作成することができる。なお、ユーザシナリオ生成ツールは、ネイティブアプリケーションとして提供されてもよいし、あるいは、ブラウザを利用したWebアプリケーションとして提供されてもよい。
【0193】
(ユーザシナリオ生成ツールのUIの例)
ここで、
図21乃至
図25を参照して、スマートフォン等の再生機器30により実行されるユーザシナリオ生成ツールのユーザインターフェースについて説明する。このユーザシナリオ生成ツールは、例えば、ユーザにより操作される再生機器30の制御部300により実行され、各種の画面がディスプレイ331に表示される。
【0194】
ユーザシナリオ生成ツールを起動すると、
図21のシナリオ選択・再生画面が表示される。このシナリオ選択・再生画面は、地図・シナリオ表示領域411、シナリオリスト412、及び新規シナリオ作成ボタン413を含む。
【0195】
シナリオは、地図・シナリオ表示領域411において地図上の位置を表すピン411Aに名前が表記されるか、あるいはシナリオリスト412において名前順や現在地からの距離が短い順などの所定の順序でリストとして表示される。
【0196】
また、新規のユーザシナリオを作成する場合には、新規シナリオ作成ボタン413をタップ操作すればよい。また、シナリオ選択・再生画面では、検索キーワード入力欄414に入力された所望のキーワードを検索条件とした検索処理を行い、その検索結果に応じたシナリオを提示してもよい。
【0197】
ユーザは、所望の領域に対応した地図上のピン411Aや、シナリオリスト412のシナリオ表示バナー412Aをタップ操作することで、所望のシナリオを選択できる。
【0198】
この例では、シナリオリスト412に表示されたシナリオ表示バナー412Aのうち、シナリオ#1が再生中とされ、シナリオ#2及びシナリオ#3が停止中とされる。なお、この例では、3つのシナリオ表示バナー412Aのみを表示しているが、画面をフリック操作してスクロールさせるなどにより他のシナリオが表示される場合も有り得る。
【0199】
このとき、地図・シナリオ表示領域411において、複数のピン411Aのうち、ピン411Bに注目すれば、ピン411Bが選択状態となっているため、「シナリオ#1」であるピン411Bに応じたシナリオ名が吹き出し状に表示される。そして、ピン411Bに応じたシナリオ#1が選択された状態で、編集ボタン412Bがタップ操作された場合、シナリオ編集画面として、
図22の発動条件設定画面が表示される。
【0200】
図22の発動条件設定画面は、地図・ジオフェンス表示領域421、上書き保存ボタン422、新規保存ボタン423、削除ボタン424、及び戻るボタン425を含む。
【0201】
地図・ジオフェンス表示領域421には、所望の地域の地図上に、ジオフェンス領域421A乃至421Eが表示される。ジオフェンス領域421A乃至421Eの形状としては、円形や多角形などの様々な形状を設定可能である。
【0202】
地図・ジオフェンス表示領域421において、発動条件(発動範囲)に付与されたコンテキスト情報は、各ジオフェンス内にテキスト等で表示されるか、所望のジオフェンスをタップ操作したときに吹き出し状に表示される。この表示をもとに、ユーザは、各コンテンツ要素の発動範囲に紐付くコンテキスト情報を確認することができる。
【0203】
ジオフェンスは、画面上を移動させることができる。ここでは、ジオフェンス領域421A乃至421Eのうち、模様が付されたジオフェンス領域421Cに注目すれば、選択状態になっているため、「ジオフェンス#1」であるジオフェンス領域421Cに応じたジオフェンス名が吹き出し状に表示される。
【0204】
ここでは、ユーザが指400を使って、当該ジオフェンス領域421Cを選択した状態で、右斜め下の方向(図中の矢印の方向)に動かしてその位置を移動させている。
【0205】
また、図示はしていないが、ジオフェンス領域421Cを選択した状態で、ピンチアウト操作又はピンチイン操作等を行うことでジオフェンス領域421Cの領域を拡大又は縮小したり、所定の操作に応じてジオフェンス領域421Cの形状を変形したりしてもよい。
【0206】
なお、この発動条件の設定内容をシナリオ#1として保存する場合には、上書き保存ボタン422をタップ操作する一方で、新規のシナリオとして保存する場合には、新規保存ボタン423をタップ操作すればよい。また、削除ボタン424は、シナリオ#1を削除する場合に操作される。戻るボタン425は、シナリオ選択・再生画面に戻る場合に操作される。
【0207】
また、ユーザが指400を使って、ジオフェンス領域421Cを長押し操作をした場合には、
図23の発動条件詳細設定画面が表示される。
【0208】
図23の発動条件詳細設定画面は、ジオフェンス詳細設定領域431、保存ボタン432、及び戻るボタン433を含む。
【0209】
ジオフェンス詳細設定領域431は、ジオフェンス名入力欄431A、中心位置入力欄431B、半径入力欄431C、再生時間入力欄431D、天候入力欄431E、コンテンツ要素入力欄431F、再生範囲入力欄431G、音量入力欄431H、リピート再生入力欄431I、フェードイン・アウト入力欄431J、及び再生優先レベル入力欄431Kを含む。
【0210】
ジオフェンス名入力欄431A乃至再生優先レベル入力欄431Kは、
図16のジオフェンス名入力欄281A乃至再生優先レベル入力欄281Kと対応しており、そこでデフォルト値として設定された値がそのまま表示されている。
【0211】
なお、保存ボタン432は、ジオフェンス#1の設定内容を保存する場合に操作される。また、戻るボタン433は、発動条件設定画面に戻る場合に操作される。
【0212】
ユーザは、このジオフェンス#1のデフォルト値の設定内容をそのまま用いてもよいし、あるいは、所望の設定内容に変更してもよい。例えば、コンテンツ要素入力欄431Fがタップ操作された場合、
図24のコンテンツ要素選択画面が表示される。
【0213】
図24のコンテンツ要素選択画面は、コンテンツ要素表示領域441、選択ボタン442、及び戻るボタン443を含む。
【0214】
コンテンツ要素表示領域441には、各コンテンツ要素に応じたアイコン441A乃至441Fが3行2列でタイル状に配置されている。
【0215】
なお、選択ボタン442は、アイコン441A乃至441Fのうち、所望のアイコンを選択する場合に操作される。また、戻るボタン443は、発動条件詳細設定画面に戻る場合に操作される。
【0216】
ここでは、ユーザが指400を使って、アイコン441A乃至441Fのうち、アイコン441Aをタップ操作した場合、コンテンツ要素#1が再生される。
【0217】
また、ユーザが指400を使って、選択状態のアイコン441Aを長押し操作した場合、
図25のコンテンツ要素編集画面が表示される。
【0218】
図25のコンテンツ要素編集画面は、コンテンツ再生部分表示領域451、コンテンツ再生操作領域452、曲変更ボタン453、及び戻るボタン454を含む。
【0219】
コンテンツ再生部分表示領域451は、楽曲としてのコンテンツ要素#1を編集するために、コンテンツ要素#1の楽曲の波形が表示され、スライダ451a,451bを左右にスライドさせることで、再生したい部分を指定することができる。
【0220】
この例では、コンテンツ要素#1の楽曲の波形のうち、スライダ451a,451bの外側の領域に応じたカット選択領域451B内の楽曲の波形が非再生対象の波形とされ、スライダ451a,451bの内側の領域に応じた再生選択領域451A内の楽曲の波形が再生対象の波形とされる。なお、シークバー451cは、再生中のコンテンツ要素#1の楽曲の再生位置を示している。
【0221】
コンテンツ再生操作領域452には、コンテンツ要素#1の楽曲を操作するためのボタンとして、再生ボタン、停止ボタン、スキップボタンなどが表示される。
【0222】
ユーザは、コンテンツ再生部分表示領域451内の楽曲の波形を確認しながら、コンテンツ再生操作領域452内のボタン及びスライダ451a,451b等を操作することで、コンテンツ要素#1の楽曲のうち、再生したい部分のみを切り出すことができる。
【0223】
なお、曲変更ボタン453は、編集対象の楽曲を変更する場合に操作される。また、戻るボタン454は、発動条件詳細設定画面に戻る場合に操作される。
【0224】
このように、ユーザは、スマートフォン等の再生機器30により実行されるユーザシナリオ生成ツールを操作して、所望のユーザシナリオを作成することができる。
【0225】
次に、
図26乃至
図29を参照して、パーソナルコンピュータ等の情報機器により実行されるユーザシナリオ生成ツールのユーザインターフェースについて説明する。
【0226】
ユーザシナリオ生成ツールを起動すると、
図26のシナリオ選択画面が表示される。このシナリオ選択画面は、地図・シナリオ表示領域471、及びシナリオリスト472を含む。
【0227】
シナリオは、地図・シナリオ表示領域471において地図上の位置を表すピン471Aに名前が表記されるか、あるいは、シナリオリスト472においてシナリオ表示バナー472Aが所定の順序でリストとして表示される。
【0228】
ユーザは、所望の地図上のピン471Aや、シナリオリスト472のシナリオ表示バナー472Aをクリック操作することで、所望のシナリオを選択できる。
【0229】
なお、編集ボタン472Bをクリック操作した場合には、シナリオを編集するためのシナリオ編集画面が表示される。また、新規のシナリオを作成する場合には、新規シナリオ作成ボタン(不図示)が操作される。
【0230】
ユーザにより所望のシナリオが選択されると、
図27の発動条件設定画面が表示される。この発動条件設定画面は、地図・ジオフェンス表示領域481、及びコンテキストリスト482を含む。
【0231】
地図・ジオフェンス表示領域481には、コンテンツ要素の発動範囲を示すジオフェンス領域481Aが表示される。ジオフェンス領域481Aは、あらかじめ設定された複数の円や多角形などの形状で表される。
【0232】
地図・ジオフェンス表示領域481において、発動条件(発動範囲)に付与されたコンテキスト情報は、ジオフェンス領域481A内にテキスト等で表示されるか、あるいは、所望のジオフェンス領域481Aをクリック操作したときに吹き出し状に表示される。
【0233】
ジオフェンス領域481Aは、画面上をドラッグ操作に応じて移動することができる。ここで、複数のジオフェンス領域481Aのうち、模様が付されたジオフェンス領域481Bに注目すれば、当該ジオフェンス領域481Bを、ドラッグ操作によって右斜め上の方向(
図28の矢印の方向)に移動させて、
図27に示した位置から、
図28に示した位置に移動させることができる。
【0234】
また、ジオフェンス領域481Bの形状を示す太線上の白丸(〇)にカーソルを合わせて所望の方向にドラッグ操作をすることで、ジオフェンス領域481Bの形状を、所望の形状に変形することができる。
【0235】
このように、ユーザは、ジオフェンス領域481Bに表示されたコンテキスト情報をもとに、当該ジオフェンス領域481Bを移動又は変形することで、そのコンテキストが実生活空間のどの位置に当たるのかを自身で設定することができる。
【0236】
なお、別途リストの形式でコンテンツ要素を提示してもよい。さらに、利用しないコンテンツ要素を削除したり、別途入手したコンテンツ要素を現在編集中のシナリオに追加したりしてもよい。
【0237】
ここで、コンテキストリスト482において、ジオフェンス領域481Bに対応したコンテキスト表示バナー482Aの編集ボタン482Bがクリック操作されたり、ジオフェンス領域481Bに対する所定の操作がされたりすると、
図29のジオフェンス編集画面が表示される。
【0238】
このジオフェンス編集画面は、ジオフェンス詳細設定領域491、選択ボタン492、更新ボタン493、削除ボタン494、及びキャンセルボタン495を含む。
【0239】
ジオフェンス詳細設定領域491は、ジオフェンス名入力欄491A、コンテンツ要素入力欄491B、リピート再生入力欄491C、フェードイン・アウト入力欄491D、再生範囲入力欄491E、及び音量入力欄491Fを含む。これらの設定項目は、
図23のジオフェンス詳細設定領域431の設定項目に対応している。
【0240】
また、選択ボタン492をクリック操作した場合には、
図16の選択ボタン282と同様に、コンテンツ要素選択画面を利用して、所望のコンテンツ要素を選択することができる。更新ボタン493は、ジオフェンス領域481Bの設定項目を更新する場合に操作される。削除ボタン494は、ジオフェンス領域481Bを削除する場合に操作される。キャンセルボタン495は、編集をキャンセルする際に操作される。
【0241】
このように、ユーザは、パーソナルコンピュータ等の情報機器により実行されるユーザシナリオ生成ツールを操作して、所望のユーザシナリオを作成することができる。
【0242】
なお、上述した説明では、ユーザシナリオ生成ツールとして、地図を用いたユーザインターフェースを例示したが、地図を用いない他のユーザインターフェースを利用してもよい。以下、地図を用いずに、発動条件を設定する手法を説明する。
【0243】
例えば、「駅前の広場のベンチ」など、地図上で表記されていない物体に対してその物体の周辺での発動を設定する場合には、スマートフォン等の再生機器30のカメラ部306で、目的のベンチを撮影することで設定を行うことができる。
【0244】
また、ユーザが身につけているウェアラブル機器のカメラで撮影しながら、例えば「ここを撮影して」や「このベンチで設定して」などの音声コマンドを発話して、目的のベンチを撮影することで設定することもできる。さらに、ユーザは、アイウェアなどのカメラを用いて自分の手も含めて撮影可能な場合に、ベンチを囲う形でハンドジェスチャを行い、ジェスチャを認識した時にその囲いの中の物体や景色を記録することで設定することができる。
【0245】
また、例えばユーザの生体状態や情動など、地図表現で設定不可能な発動条件の設定時にも、スマートフォン等の再生機器30上に、例えば「今の気持ち」ボタンを表示し、当該ボタンがタップ操作又はクリック操作された時点で、あるいはその前後一定時間でのデータや認識結果が記録されて発動条件として設定することもできる。なお、上述した場合と同様に、例えば、ユーザの音声やジェスチャコマンド等で入力することもできる。
【0246】
ここでは、複数のデータを簡便に設定するために、例えば「今の状況」ボタンを表示するか、又は音声コマンドや特定のジェスチャとしてあらかじめ設定しておき、当該ボタンに入力があった場合には、あらかじめ指定されていた位置や時間、天候、周辺物体、天候、生体データや情動などのデータが一括で取得されるようにしてもよい。
【0247】
これらの入力方法、特に画面を介しない入力方法を提供することによって、ユーザはサービスを体験しながら、あるいはサービス停止中に、日常生活の中で容易に入力を行うことができるようになる。
【0248】
このようにして、ユーザが画面を用いずに入力されたデータは、例えばデータ管理サーバ10に送信され、ユーザシナリオDB153に蓄積される。これにより、ユーザは、自身が所持する再生機器30で、ユーザシナリオ生成ツールの画面を表示することができる。そして、ユーザは、この画面に表示された発動条件と、「コンテンツ要素-コンテキスト情報」のデータセットとの紐付けを確認したり、再編集したりすることができる。
【0249】
以上の操作は、ユーザが提供されたシナリオ中のコンテンツ要素について発動条件のみを設定する操作であるが、利用条件に応じて、コンテンツ要素を構成する音声データや画像データ等のコンテンツの内容、又はコンテンツ要素に付与されたコンテキスト情報を、ユーザが変更可能な操作として許可するようにしてもよい。
【0250】
編集が終了したシナリオは、ユーザシナリオとして、ユーザシナリオDB153に蓄積される。なお、ユーザシナリオDB153に蓄積されたユーザシナリオは、ソーシャルネットワーキングサービス(SNS:Social Networking Service)などの共有手段を用いて他のユーザに開示することもできる。
【0251】
また、シナリオに含まれる複数の「コンテンツ要素-コンテキスト情報」のデータセットを、ユーザシナリオ生成ツール等の編集手段に表示し、ユーザが自身の生活空間の実際の位置や時間帯、環境や自身の動作や情動に対して紐づけを行うことで、例えば、以下のようなサービスに応用することができる。
【0252】
すなわち、1つのサービスの例としては、あるアニメ作品に登場する特定のキャラクタが様々なコンテキストで発するセリフで構成された複数の「コンテンツ要素-コンテキスト情報」のデータセットからなるシナリオを取得した場合を想定する。
【0253】
この場合において、例えば「自宅」、「駅」、「街路」、「交差点」、「カフェ」、「コンビニ」のように提示されるコンテキスト情報を参照しながら、ユーザシナリオ生成ツール等の編集手段によって、ユーザが実際に生活する「自宅」、「駅」、「街路」、「交差点」、「カフェ」、「コンビニ」の位置をユーザの主観によって発動条件として入力する。これにより、ユーザは、自身が生活する場所で、かつ、自身が想定するコンテキストを持つ場所(例えば交差点)において、所持する再生機器30によって、コンテキストに応じたコンテンツ要素の再生を受けることができる。
【0254】
【0255】
図30では、ユーザAとユーザBの2人のユーザが、配信されるシナリオに対して発動条件A,Bをそれぞれ設定して、それぞれが自己のユーザシナリオを作成している。
【0256】
このとき、同一のシナリオに対して発動条件を設定する際に、ユーザAは発動条件Aを設定し、ユーザBは発動条件Bを設定するため、ユーザごとに発動条件が異なっている。
【0257】
そのため、同一のシナリオを、ユーザごとに、異なる場所で実施することができる。つまり、1つのシナリオを、別々の場所に住むユーザが、それぞれ利用することができる。
【0258】
もう1つのサービスの例としては、ストリーミング配信サービスとの連携にかかるものである。
【0259】
例えば、従来の音楽ストリーミング配信サービスでは、制作者(クリエイタ)ごと、あるいは利用シーンごとなど、一定のテーマに基づき、既存の楽曲フォーマット(例えばシングル曲等)において複数の作品の音声データをひとまとめにしたプレイリストを制作して配信している。
【0260】
それに対して、本技術では、作品そのもの、あるいは作品の中で特定のコンテキストを表現している一部分を抜き出してコンテンツ要素とし、当該コンテンツ要素に対して楽曲を再生する状況(例えば夕暮れの駅)や状態(例えば疲れた帰り道)を表すコンテキスト情報を付与して、シナリオとしてまとめてシナリオDB152に蓄積して配信可能にする。
【0261】
ユーザは、再生機器30によって上記のシナリオを取得し、内包される複数の「コンテンツ要素-コンテキスト情報」のデータセットに対して、付与されたコンテキスト情報を参照しながら自分自身の生活圏における具体的な位置と時間帯に配置することでユーザシナリオを作成し、ユーザシナリオDB153へ登録することができる。
【0262】
ユーザは、ユーザシナリオの編集時に、作品そのものの中から再生したい一部分を、再生範囲として指定するかたちで、コンテンツ要素に指定することもできる。シナリオの中には、コンテンツ要素の再生時又はコンテンツ要素の再生の間に、再生する作品の説明を行う音声キャラクタとしてのコンテンツ要素(他のコンテンツ要素)を含むことができる。
【0263】
なお、この音声キャラクタは、シナリオと同一の経路は勿論、シナリオとは異なる経路で取得することも可能であり、例えば、複数の音声キャラクタの中から、ユーザが好むキャラクタに説明を行わせることができる。
【0264】
シナリオDB152には、制作者によってユーザへの提供を目的として様々なコンテンツ要素に対するコンテキスト情報の組み合わせが蓄積される。
【0265】
例えば、このコンテキスト情報を教師データとし、コンテンツ要素のメロディ構造を機械学習した認識器を用いた場合、あるコンテンツ要素のメロディ構造から想起されやすいコンテキストを制作者の主観的な傾向を反映したかたちで推定することができる。そして、この推定結果を用いて、コンテンツ要素へのコンテキスト情報の付与プロセスを自動化したり、一定の相関を持つ複数のコンテキストを提示することで制作者のコンテキスト情報の付与をサポートしたりすることができる。
【0266】
また、ユーザシナリオDB153には、ユーザによって自身の生活空間の位置や時間、環境、身体状態や情動等からなる発動条件に紐づけられた「コンテンツ要素-コンテキスト情報」のデータセットが順次蓄積されている。
【0267】
すなわち、ユーザシナリオDB153には、複数のユーザにより発動条件が設定された、多数の「コンテンツ要素-コンテキスト情報」のデータセットが蓄積されているため、この蓄積された情報を機械学習又は分析することで、プロセスの自動化を行うアルゴリズムや、認識器を作成することができる。
【0268】
また、例えば、ユーザシナリオDB153に蓄積された複数のユーザに関する情報から、ある特定の緯度・経度を持った実世界(実空間)の位置に付与されるコンテキスト情報の傾向を分析することができる。
【0269】
例えば、ある実在する駅の出口にある公園に「元気を出す」、あるいはそれに類似したコンテキストが設定される傾向があると分析された場合には、その分析結果を用いて、その公園で元気がでることを期待される食品や書籍を販売するというようなかたちで、別のサービスへのデータ活用をすることができる。
【0270】
また、例えば、ある場所からある時間帯に見える風景についてある作品のコンテンツ要素、例えば楽曲の一部のフレーズを歌詞に紐づけた特定のコンテキストが設定されている場合、楽曲の作曲者や作詞者へこの情報をフィードバックすることで、その後の作品の創作時における参考データとして活用することもできる。
【0271】
(処理の全体像)
次に、
図31及び
図32を参照して、第4の実施の形態における情報処理の全体像を説明する。
【0272】
図31及び
図32に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)と再生機器30(の制御部300)が少なくとも連携することで実現される。すなわち、この情報処理は、制御部100及び制御部300のうち少なくとも一方の制御部により実行される。
【0273】
図31に示すように、情報処理システム1では、各コンテンツ要素にコンテキスト情報が付与され、1以上の「コンテンツ要素-コンテキスト情報」のデータセットが、シナリオとしてシナリオDB152に蓄積されている(S401)。
【0274】
このとき、情報処理システム1では、コンテンツ要素に付与された各コンテキスト情報に対して、ユーザをセンシングすることで得られるセンサデータに応じた発動条件が設定される(S402)。これにより、コンテキスト情報とユーザ固有の発動条件のデータセットからなるユーザシナリオが生成され(S403)、ユーザシナリオDB153に蓄積される(S404)。
【0275】
ここで、発動条件としては、撮影された画像データや特性操作データなどに応じた発動条件を設定することができる。ここで、画像データとしては、ユーザが視認していると想定される画像のデータを含む。また、特性操作データは、例えばユーザの現在の感情に応じた情報を登録するためのボタン(今の気持ちボタン)の操作のデータを含む。
【0276】
また、ユーザシナリオDB153に蓄積されるコンテキスト情報(「勇気をもらう」等)と発動条件(特定の駅の出口等)との関係を機械学習することにより(S411)、その機械学習の結果を出力することができる。
【0277】
より具体的には、機械学習の結果に応じて、特定の発動条件に対して、自動的にコンテキスト情報を生成可能である(S421)。例えば、センサデータに応じた場所が、勇気をもらえる場所であることが機械学習の結果により特定された場合には、コンテキスト情報として「勇気をもらう」が生成され、対象のコンテンツ要素に付与される。
【0278】
また、機械学習の結果に応じて、特定のコンテキスト情報に対して、自動的にユーザに対応した発動条件を生成可能である(S431)。例えば、勇気をもらえる場所が、ユーザの周辺であると、この場所であることが学習の結果により特定された場合には、「勇気をもらう」であるコンテキスト情報に対する発動条件として、当該場所に応じた位置情報が設定される。
【0279】
また、
図32に示すように、情報処理システム1では、ユーザ固有の発動条件を設定するための地図を用いたユーザインターフェースとして、ユーザシナリオ生成ツールが提供される。なお、このユーザシナリオ生成ツールが、スマートフォン等の再生機器30、又はパーソナルコンピュータ等の情報機器により実行されるアプリケーションとして提供されるのは、先に述べた通りである。
【0280】
情報処理システム1では、コンテンツから抽出されたコンテンツ要素に付与された各コンテキスト情報に、発動条件が設定される(S401,S402)。
【0281】
ここでは、ユーザシナリオ生成ツールを利用することで、所望の地域の地図上に、コンテンツ要素とコンテキスト情報のデータセットを提示し(S441)、当該コンテキスト情報に対する発動条件として、所望の地域の地図上に所定領域を設定する(S442)ことが可能なインターフェースが提供される。
【0282】
以上、第4の実施の形態を説明した。
【0283】
<5.第5の実施の形態>
【0284】
情報処理システム1においては、ユーザが所持又は装着する再生機器30、又は当該ユーザの周辺に配置された機器(デバイス)に実装されたセンシング手段によって、センサデータとして、ユーザの位置、身体状態や情動、動作、周辺環境における物体、構造物、建築物、製品、人、動物などの情報、及び現在時刻などのデータが逐次的に取得される。
【0285】
そして、これらのデータ、又はデータの組み合わせが、ユーザが設定した発動条件と一致するかどうかが判定手段により逐次判定される。
【0286】
ここで、発動条件とセンシング手段によるセンサデータとの一致が判定された場合には、発動条件に紐付けされた「コンテンツ要素-コンテキスト情報」のデータセットに含まれるコンテンツ要素が、あらかじめ指定された機器(例えば再生機器30)、又は複数の機器の組み合わせ(例えば再生機器30と周辺に配置された機器)から再生される。
【0287】
なお、ここでは、センシング手段によるセンサデータと、発動条件との比較により再生場所やタイミングが決定されるため、判定プロセスにはコンテキストのような主観的な要素や、主観的な要素を含むデータからなる機械学習による認識器を直接的に含まないため、システムとして再現性のある安定した動作が可能となる。
【0288】
一方で、発動条件と「コンテンツ要素-コンテキスト情報」のデータセットとの組み合わせをユーザが主体的に行なっているため、ユーザにとっては、適切な状況でのコンテンツ要素の提示であることが理解しやすい、というメリットもある。
【0289】
図33は、発動条件とセンシング手段の組み合わせの例を示している。
【0290】
時間的な発動条件としては、時刻や時間などを設定可能であり、時計やタイマなどを用いて測定して判定することが可能である。また、空間的な発動条件として、緯度や経度、特定位置への接近などの位置を設定可能であり、GPSやWi-Fi(登録商標)、無線ビーコンなどを用いて測定して判定することが可能である。
【0291】
また、ユーザIDなどの認証情報を発動条件として設定してもよく、Bluetooth(登録商標)等の近接通信などを用いて測定して判定することが可能である。さらに、立つ、座る、寝る等のユーザの姿勢や、電車、自転車、エスカレータ等のユーザの行動などを発動条件として設定してもよく、慣性センサやカメラ、近接通信などを用いて測定して判定することが可能である。
【0292】
また、椅子や机、木、建物や部屋、景色やシーンなどの周辺環境情報を発動条件として設定してもよく、カメラやRFタグ、無線ビーコン、超音波などを用いて測定して判定することが可能である。さらに、身体の姿勢や運動、呼吸数や脈拍、情動などの状態を発動条件として設定してもよく、慣性センサや生体センサなどを用いて測定して判定することが可能である。
【0293】
なお、
図33の表に示した組み合わせの例は一例であり、発動条件とセンシング手段は、この表に示したものに限定されるものではない。
【0294】
以上、第5の実施の形態を説明した。
【0295】
<6.第6の実施の形態>
【0296】
ところで、少なくとも1つ以上のシナリオに含まれる、2つ以上のコンテンツ要素に設定される発動条件が同一となる場合も想定される。例えば、発動条件が地図上の一定範囲で設定される複数のコンテンツ要素-コンテンツ情報のデータセットにおいて、2つ以上の発動範囲が同一の地図上の位置を含むように重複して設定される場合がある。
【0297】
具体的には、
図34に示すように、地
図651上において、円形の発動範囲として設定されたジオフェンス661と、その円の内部に円形の発動範囲として設定されたジオフェンス662A乃至662Eとが重畳している場合などである。
【0298】
このとき、再生機器30におけるコンテンツ要素の再生としては、例えば、あらかじめ設定されたルールに従い、同時にすべてのコンテンツ要素が再生される場合に、設定された優先順位に基づいて、一部のコンテンツ要素が再生されるときに、すべてのコンテンツ要素が再生されないことも想定される。
【0299】
ここでは、ユーザシナリオで発動条件が満たされた場合に参照される提示範囲設定用ユーザシナリオをあらかじめ用意しておくことで、適切にコンテンツ要素を再生することができる。
【0300】
具体的には、
図35に示すように、TTS音声による文章の読み上げをコンテンツ要素とし、自宅等を含む全域の発動範囲を含む発動条件AにはキャラクタAによる発話(セリフ)を、自宅等の発動範囲を含む発動条件BにはキャラクタBによる発話(セリフ)を、提示範囲設定用ユーザシナリオに指定した場合を例示する。
【0301】
ただし、
図35では、下層L1がユーザシナリオに相当し、上層L2が提示範囲設定用ユーザシナリオに相当する。また、下層L1において、楕円の領域は、ジオフェンスにより設定される発動範囲に相当する。
【0302】
このとき、キャラクタの活動範囲設定シナリオの発動条件を排他的とした場合、ユーザシナリオの発動条件C1が満たされたときの発話はキャラクタBが行い、発動条件C2が満たされた場合はキャラクタAが発話を行う。つまり、この場合においては、キャラクタが常に一人となる。
【0303】
一方で、キャラクタの活動範囲設定シナリオの発動条件を排他的としない場合、ユーザシナリオの発動条件C1が満たされたときの発話はキャラクタA又はBが行う。キャラクタA又はBのどちらが発話するかはランダムに決定してもよいし、あるいは特定のルールを設定してもよい。また、発動条件C2が満たされたときには、キャラクタAのみが発話を行う。つまり、この場合、ユーザが自宅にいるときは、キャラクタが2人となる。
【0304】
また、設定される優先順位を、センサデータに基づいて設定することができる。例えば、複数のコンテンツ要素が複数のキャラクタによる発話(セリフ)である場合に、ユーザの位置が複数のコンテンツ要素の発動条件が重なった位置となるときに、対応するコンテンツ要素がすべて再生可能な状態にあるときを想定する。
【0305】
このとき、
図36に示すように、ユーザ600の位置と、ジオフェンス672A乃至672Cに応じたコンテンツ要素の発動範囲の特定の位置671A乃至671C(例えば円の中心)との相対位置関係と、ユーザ600の身体の正面の方向(例えば図中の右上方向)のセンサデータから、身体の正面に位置するジオフェンス672Aのコンテンツ要素のみが再生されるようにする。
【0306】
なお、このとき、ユーザ600が再生機器30に接続されたステレオイヤホンを装着している場合には、当該ユーザ600の位置と、ジオフェンス672A乃至672Cに応じたコンテンツ要素の発動範囲の特定の位置671A乃至671Cとの相対位置関係に応じて、再生される音源(例えばセリフ)の定位置を立体的に制御(音像定位)することができる。
【0307】
以上のような制御により、ユーザ600が向いた方向のキャラクタの発話の再生を得ることができるため、所望のキャラクタによる音源(例えばセリフ)の提示を、ユーザ600の身体や頭部などの向きに応じて選択することが可能になる。
【0308】
なお、
図37に示すように、ジオフェンス672Aにおけるユーザ600の位置に応じて、キャラクタによる音源の音量を変化させてもよい。例えば、ユーザ600が特定の位置671Aに近づくほど音源の音量を上げる一方で、特定の位置671Aから離れるほど音源の音量を下げることができる。
【0309】
また、ユーザ600からの発話コマンドの受付けを発動条件に関連させることで、ユーザ600がある方向を向いて質問したときに、その方向に設定されたキャラクタがその位置に関連した情報を提示するような案内サービスを実現することができる。
【0310】
また、ここでも、提示範囲設定用ユーザシナリオが参照されてもよい。
【0311】
具体的には、
図38に示すように、提示範囲設定用ユーザシナリオに、それぞれの発動条件C1乃至C4について、発動範囲を設定する情報とともに、音源設定位置P1乃至P4を指定する情報を持たせるようにする。ただし、音源設定位置P1乃至P4は、発動条件C1乃至C4を指定する発動範囲内の位置に限るものではない。
【0312】
図38においては、共通の発動条件領域CA(図中の斜線)を持つ4つの発動条件C1乃至C4を示しており、それぞれの発動条件C1乃至C4には音源設定位置P1乃至P4(図中の黒丸)が設定されている。
【0313】
このとき、ユーザシナリオで発動条件が満たされた場合、すなわち、共通の発動条件領域CAにユーザ600が侵入した場合、条件が満たされるすべての発動条件に対して、音源設定位置が探索される。
【0314】
ここでは、検索された音源設定位置P1乃至P4のうち、ユーザ600が所持する再生機器30のセンサ部305によって測定されたユーザの向き情報から計算された視野角領域VA内にある音源設定位置P2が特定される。そして、特定された音源設定位置P2を持つ発動条件C2に紐付いたコンテンツ要素が再生される。
【0315】
なお、上述した制御は、2つ以上の発動範囲が同一の地図上の位置を含むように重複して設定された場合の制御の一例であり、他の制御が行われてもよい。例えば、同時にすべてのコンテンツ要素が再生される場合に、1つのコンテンツ要素を背景音とし、他のコンテンツ要素を複数のセリフとする制御を行うことで、ユーザが発動範囲内を移動するにしたがって、同一のBGMの中で複数のセリフが再生されるような表現を提示することができる。
【0316】
(複数キャラクタ配置)
また、上述した制御は、音声(音)の提示に限るものではなく、拡張現実(AR)に対応した眼鏡型の機器等の表示装置を通じたキャラクタの画像提示についても同様に制御することができる。そこで、次に、
図39乃至
図45を参照して、シナリオに対して複数のキャラクタの配置を設定可能にする場合について説明する。
【0317】
図39は、複数キャラクタの配置を設定可能にする場合における情報処理システム1の構成の例を示している。
【0318】
図39においては、
図2の情報処理システム1を構成する装置のうち、データ管理サーバ10と再生機器30を図示している。ただし、データ管理サーバ10により実行される処理のうち、一部の処理が、編集機器20又は再生機器30等の他の機器により実行されてもよい。
【0319】
再生機器30において、制御部300は、ユーザ位置検出部341、ユーザ方向検出部342、音声認識意図理解部343、及びコンテンツ再生部344を含む。
【0320】
ユーザ位置検出部341は、GPSに関する情報等に基づいて、ユーザの位置を検出する。
【0321】
ユーザ方向検出部342は、センサ部305(
図5)からのセンサデータに基づいて、ユーザの向いている方向を検出する。
【0322】
音声認識意図理解部343は、ユーザの発話の音声データに基づいて、音声認識・意図理解処理を行い、ユーザの発話の意図を理解する。
【0323】
なお、この音声認識・意図理解処理は、制御部300に限らず、その一部又は全部の処理を、インターネット40上のサーバが行ってもよい。また、ユーザの発話の音声データは、マイクロフォンにより収音される。
【0324】
ユーザ位置検出部341、ユーザ方向検出部342、及び音声認識意図理解部343により処理された送信データは、通信部304(
図5)によって、インターネット40を介してデータ管理サーバ10に送信される。また、通信部304は、インターネット40を介してデータ管理サーバ10から送信されてくる応答データを受信する。
【0325】
コンテンツ再生部344は、受信した応答データに基づいて、コンテンツ要素を再生する。このコンテンツ要素の再生に際しては、キャラクタによる発話(セリフ)をスピーカ332から出力するだけでなく、当該キャラクタの映像をディスプレイ331に表示することができる。
【0326】
データ管理サーバ10において、制御部100は、指示キャラクタ選択部131、シナリオ処理部132、及び応答生成部133をさらに含む。また、記憶部103(
図3)は、キャラクタ配置DB161、位置依存情報DB162、及びシナリオDB163をさらに記憶している。
【0327】
通信部104(
図3)は、再生機器30から送信されてくる送信データを受信する。指示キャラクタ選択部131は、受信した送信データに基づいて、キャラクタ配置DB161を参照することで指示キャラクタを選択し、その選択結果をシナリオ処理部132に供給する。
【0328】
図40に示すように、キャラクタ配置DB161には、キャラクタごとに、任意の系とその系に応じた配置の場所が設定されている。
【0329】
シナリオ処理部132は、指示キャラクタ選択部131からの選択結果に基づいて、位置依存情報DB162及びシナリオDB163を参照することでシナリオを処理し、その処理結果を、応答生成部133に供給する。
【0330】
図41に示すように、位置依存情報DB162には、ユニークな値となる情報IDごとに、そのタイプ情報と、緯度・経度等の位置情報と、タイプ情報と位置情報に紐付けられた内容に関する情報が設定されている。
【0331】
また、
図42に示すように、シナリオDB163には、ユニークな値となるシナリオIDごとに、そのタイプ情報と、タイプ情報に紐付けられた内容に関する情報が設定されている。
【0332】
すなわち、キャラクタ配置DB161、位置依存情報DB162、及びシナリオDB163に格納された情報のうち、キャラクタや内容に関する情報がコンテンツ要素、系やタイプ情報等がコンテキスト情報、位置情報が発動条件に対応しているとも言える。
【0333】
応答生成部133は、シナリオ処理部132からの処理結果に基づいて、応答データを生成する。この応答データは、通信部104(
図3)によって、インターネット40を介して再生機器30に送信される。
【0334】
以上のように構成される情報処理システム1では、シナリオに、ユーザが所望の音声キャラクタを複数設定可能であり、音声再生のトリガを示す発動条件に対し、ユーザの位置と向いている方向を検出し、その検出結果に応じて音声キャラクタを切り替えることができる。
【0335】
ここで、現状では、音声キャラクタのサービスを提供するに際し、複数の音声キャラクタを扱う場合に、キャラクタ間での役割分担が難しかったため、
図43に示すように、音声キャラクタ700A乃至700Cごとに毎回指示をする必要があり、手間であった。
【0336】
一方で、情報処理システム1では、音声キャラクタのサービスを提供するに際して、ユーザの位置と方向を検出してその検出結果に応じて音声キャラクタを切り替えることが可能となるため、役割分担された音声キャラクタに所望の動作を指示することが可能となる。よって、複数の音声キャラクタに対する指示が容易になる。
【0337】
具体的には、
図44に示すように、ユーザ900は、仮想空間内のキャラクタ700A乃至700Cにまとめて指示を与えるだけで、キャラクタ700A乃至700Cのそれぞれは自身に与えられた指示に従った動作を行うことになる。
【0338】
また、
図45に示すように、ユーザ600は仮想空間内のキャラクタ700Cが存在する方向に向かって音声で質問をするだけで、キャラクタ700Cから質問の回答が得られる。つまり、キャラクタ700Cは、配置された位置の周囲の情報を識別可能になり、いわば、ユーザは、キャラクタ700Cの存在により、周囲の情報へのアクセス権を得ることができる。
【0339】
なお、例えば、音声キャラクタ同士が会話するようなユーザシナリオも実現可能であり、排他処理によって、会話が被らないような処理を加えてもよい。さらに、ユーザシナリオに含まれる発動条件が示す発動範囲の周辺の環境情報を取得し、その発動範囲に指定された音声キャラクタによって、ユーザに音声を提供してもよい。
【0340】
このように、情報処理システム1では、複数キャラクタの配置を設定可能にした場合に、ユーザが明示的に空間上のキャラクタの位置を指定するに際して、ユーザ座標系におけるキャラクタの位置を指定したり、世界座標系におけるキャラクタの位置を指定したり(緯度経度又はランドマークの指定等)、キャラクタを表示可能な再生機器30等の機器内に当該キャラクタの位置を指定したりすることができる。
【0341】
例えば、ユーザ座標系のキャラクタの配置によって、音だけの空間内でもキャラクタへの指示を方向として、指示の対象となるキャラクタを明確化することができる。また、例えば、ユーザによって世界座標系での指示を与えることで、各キャラクタの役割分担を容易に行うことができる。
【0342】
(処理の全体像)
次に、
図46を参照して、第6の実施の形態における情報処理の全体像を説明する。
【0343】
図46に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)と再生機器30(の制御部300)が少なくとも連携することで実現される。
【0344】
図46に示すように、情報処理システム1では、リアルタイムのセンシングによるセンサデータが取得される(S601)。このセンサデータから得られる情報が、ユーザシナリオDB153に蓄積されたユーザシナリオの発動条件を満たすかどうかが判定される(S602)。
【0345】
ステップS602の判定処理で、発動条件を満たすと判定された場合には、さらに、発動条件を満たす条件が1つのみであるかどうかが判定される(S603)。
【0346】
ステップS603の判定処理で条件が1つのみであると判定された場合には、発動条件を満たすコンテキスト情報に対応したコンテンツ要素が提示される(S604)。
【0347】
また、ステップS603の判定処理で条件が複数あると判定された場合には、提示するコンテンツ要素の順序を決定するルールが参照され(S605)、そのルールに従い、該当する発動条件を満たすコンテキスト情報に対応したコンテンツ要素が提示される(S604)。
【0348】
このルールとしては、センサデータにより推定されるユーザの向きに応じて、複数のコンテンツ要素から、提示するコンテンツ要素の順序を決定することができる(S611,S605)。
【0349】
また、
図38に示したように、センサデータにより推定されるユーザの向きに応じて、特定の向きのコンテンツ要素のみが提示されてもよい(S621)。さらに、
図35に示したように、センサデータにより推定されるユーザの位置に応じて、特定の位置に設定したコンテンツ要素のみが提示されてもよい(S631)。
【0350】
例えば、ユーザの向きが第1の方向のときには、第1のキャラクタに対応するコンテンツ要素を特定して、ユーザに提示し、ユーザの向きが第2の方向のときには、第2のキャラクタに対応するコンテンツ要素を特定し、ユーザに提示することができる。
【0351】
以上、第6の実施の形態を説明した。
【0352】
<7.第7の実施の形態>
【0353】
コンテンツ要素の再生機器30は、単一の機器である場合と、複数の機器が連動して動作する場合がある。
【0354】
再生機器30が単一の機器である場合としては、例えば、屋外でユーザが装着したステレオイヤホンから音声が再生される場合が想定される。
【0355】
このとき、ユーザの周辺の環境音をコンテンツ要素に重畳して同時に提示できると、提供するコンテンツ要素とユーザの周辺の実世界との整合感や融合感をより高めることができる。ユーザの周辺の環境音を提供する手段としては、例えば、直接周辺音を耳に伝搬できる解放型のイヤホンや、閉鎖型であるがマイクロフォンなどの集音機能により取得した環境音を音声データとして重畳する方法などがある。
【0356】
また、歩行などユーザの移動に伴う接近・離脱感覚に整合性を持たせるため、コンテンツ要素の再生開始や停止時にそれぞれ音量を徐々に上げる、下げる効果(フェードイン、フェードアウト)を提示することができる。
【0357】
一方で、再生機器30を含む複数の機器が連携してコンテンツ要素を提示する場合としては、例えば、屋内施設に配置された複数の機器で少なくとも1つのコンテンツ要素を再生する場合が想定される。
【0358】
このとき、1つのコンテンツ要素に1つの機器が割り当てられる場合と、1つコンテンツ要素に複数の機器が割り当てられる場合がある。
【0359】
例えば、ユーザの周辺に3つのスピーカが配置され、1つはキャラクタのセリフ、もう1つはカフェのざわめき、残りの1つは背景音楽に割り当てて再生することで、立体的な音響環境の提示をすることができる。
【0360】
上述した第6の実施の形態における音声キャラクタ(
図45等)のセリフを、ユーザが装着したイヤホン等から再生することもできる。このとき、イヤホンが開放型であれば、ユーザの周辺の他のスピーカからの音も同時に聞くことができるため、連携したコンテンツ要素の提示ができる。
【0361】
また、音声キャラクタの音声を、特定の位置に音像定位させ、その位置に対応する周辺のディスプレイに、その音声キャラクタの外観を提示してもよい。この外観提示サービスは、有料のサービスとして提供してもよい。
【0362】
あるいは、キャラクタAのセリフが、3つのスピーカのうち、最も近い位置に設置されたスピーカを検知することで再生され、ユーザの移動に応じて最近接の1つのスピーカから再生されるように追従させることができる。
【0363】
このような動作を可能とするため、機器が自己位置とユーザの位置又は他の機器との位置を把握する手段を有する。この手段の一例としては、屋内に設置された各画素にLED(Light Emitting Diode)の点滅符合を通信できる機能を有するカメラを設置し、各再生機器に少なくとも1つ以上のLEDでの符号化発光送信機能を持たせることで、各機器のIDと想定的な配置状況を同時に取得することができる。
【0364】
また、再生機器30が再生することのできる機能について、機器機能情報としてあらかじめ機器機能情報DB等の専用のデータベース、又はシナリオDB152などに登録しておく。ここで、機器機能とは、1つのIDを持つ機器が実現できる再生機能を記述するもので、スピーカの「音声再生」のように1つの機器に1つの機能が割り当てられているものと、テレビ受像機の「画像表示」及び「音声再生」、電球型スピーカの「照度調整」及び「音声再生」のように1つの機器に複数の機能が割り当てられているものがある。
【0365】
この機器機能情報を用いることで、ユーザの近接にある再生機器が特定できるだけでなく、テレビ受像機を例えば「音声再生」のみの機器として利用することができるようになる。これを実現するため、テレビ受像機のような1つの機器で複数の機能を有する機器については、従来の機器内部としての機能結合を解除し、各機能を外部の連携信号に基づいて個別に独立に機能させるような仕組みを持つようにする。
【0366】
(処理の全体像)
次に、
図47を参照して、第7の実施の形態における情報処理の全体像を説明する。
【0367】
図47に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)と再生機器30(の制御部300)を含む複数の機器が少なくとも連携することで実現される。
【0368】
図47に示すように、情報処理システム1では、リアルタイムのセンシングによるセンサデータが取得され(S701)、このセンサデータから得られる情報が、ユーザシナリオの発動条件を満たすかどうかが判定される(S702)。
【0369】
ステップS702の判定処理で、発動条件を満たすと判定された場合、処理は、ステップS703に進められる。そして、情報処理システム1では、コンテンツ要素を提示可能な機器が探索され(S703)、その探索結果に応じて少なくとも1つ以上の機器が制御される(S704)。
【0370】
これにより、制御対象の1以上の機器から、発動条件を満たすコンテキスト情報に対応したコンテンツ要素が提示される(S705)。
【0371】
また、このコンテンツ要素の提示に際しては、ユーザが装着したヘッドホン(当該ユーザの耳に装着された電気音響変換機器)から、コンテンツ要素のうちのエージェントの音声を出力する(S711)とともに、ディスプレイに当該エージェントの外観を表示する(S712)ことができる。
【0372】
このように、1又は複数の機器で、1又は複数の出力モーダルによって、コンテンツ要素を提示することができる。
【0373】
以上、第7の実施の形態を説明した。
【0374】
<8.第8の実施の形態>
【0375】
ユーザが現在利用しているシナリオ(ユーザシナリオ)や「コンテンツ要素-コンテキスト情報」のデータセットの内容を外部のサービス提供者に共有することにより、シナリオを構成するコンテンツやコンテキストを利用したサービスを協調して提供することができる。
【0376】
その一例として、ここでは、飲食店とのコンテンツ要素の共有によるサービス協調の例を挙げる。
【0377】
あるアニメのコンテンツ要素とコンテキスト情報から構成されるシナリオを利用しているユーザが、現在そのシナリオを利用中である場合、飲食店にはシナリオの内容と利用中であるという情報が提供される。
【0378】
この飲食店では、アニメに関連するオムライス等のメニューがあらかじめ準備されており、シナリオを利用中のユーザが飲食店の中で開く電子メニューに対してそのメニューが表示されるといった場面が想定される。
【0379】
また、他の例として、英会話塾とのコンテキスト共有によるサービスの例を挙げる。
【0380】
これまでの例のように、英会話塾の保有する英会話スキットの音声データをコンテンツ要素とし、その会話がなされる状況をコンテキストとして設定したシナリオを作成してユーザへ提供することもできる。
【0381】
さらにここでは、上記のアニメの「コンテンツ要素-コンテキスト情報」のデータセットを利用する際にユーザが設定したコンテキスト情報のみを共有し、そのコンテキストに応じた英会話スキットを提供することで、より低コストでのサービス提供が可能となる。さらに、そのスキットの読み上げをアニメのキャラクタで行うなど、相互にユーザの接点を広げるかたちでのサービス設計を行うことができる。
【0382】
同様にして、音楽ストリーミング配信サービスと、飲食店や英会話塾等との連携も設定することができる。
【0383】
上述したように、配信されている楽曲やその一部をコンテンツ要素としたシナリオを利用中のユーザが飲食店に入ると、その世界観に合致したドリンクが提供される。また、歌詞を含まない楽曲のコンテキストにあった英会話のスキットを同時に提供する。さらに、楽曲と英会話を組み合わせたシナリオを新たに作成して提供したり、楽曲間の説明や新曲の紹介などをユーザが利用しているアニメのキャラクタで行ったりすることもできる。
【0384】
また、他のサービスが作成したシナリオで設定されたユーザの日常生活空間におけるコンテキスト情報の分布状況を取得し、コンテキストに応じた音楽をコンテンツ要素として自動的に提供してもよい。
【0385】
この機能により、ユーザは自己の設定したコンテキスト情報を持つ場所において、例えば日替わりでそのコンテキストに適合した楽曲又は楽曲の一部の提供を受けることができるため、毎日同じ曲を聴いて飽きるという状況を避けることができる。
【0386】
さらに、ユーザからの「いいね」などのフィードバックを得ることで、コンテキスト情報とコンテンツ要素の適合度についての情報を恒常的に取得して機械学習を行うことで、精度を向上することができる。
【0387】
(処理の全体像)
次に、
図48を参照して、第8の実施の形態における情報処理の全体像を説明する。
【0388】
図48に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)及び再生機器30(の制御部300)とともに、外部のサービスにより提供されるサーバ等が少なくとも連携することで実現される。
【0389】
図48に示すように、情報処理システム1では、複数のメディアからなるコンテンツから、少なくとも1つ以上のコンテンツ要素が抽出され(S801)、各コンテンツ要素にコンテキスト情報が付与され、コンテンツ要素-コンテキスト情報DB151に蓄積される(S802)。
【0390】
そして、1以上の「コンテンツ要素-コンテキスト情報」のデータセットは、シナリオとしてシナリオDB152に蓄積される(S803)。また、ユーザシナリオが生成された場合には、ユーザシナリオDB153に蓄積される(S804)。
【0391】
このようにして蓄積された「コンテンツ要素-コンテキスト情報」のデータセット、シナリオ、又はユーザシナリオは、外部のサービスに提供可能である(S805)。これにより、音楽ストリーミング配信サービス等の外部のサービスの事業者は、自己の提供するサービスを、シナリオやユーザシナリオ等にマッチしたものに制御可能となる(S811)。
【0392】
また、情報処理システム1では、リアルタイムのセンシングによるセンサデータが取得され(S821)、このセンサデータから得られる情報が、ユーザシナリオの発動条件を満たすかどうかが判定される(S822)。
【0393】
ステップS822の判定処理で、発動条件を満たすと判定された場合、発動条件を満たすコンテキスト情報に対応したコンテンツ要素が提示される(S823)。
【0394】
このとき、シナリオやユーザシナリオ等を外部のサービスに提供している場合、当該シナリオやユーザシナリオ等に対応付けられたコンテンツ要素に適したサービス要素が選択され(S831)、当該サービス要素がコンテンツ要素と同時に提示される(S832)。
【0395】
例えば、音楽ストリーミング配信サービスでは、ユーザシナリオに対応付けられるコンテンツ要素(楽曲)に対応する音声キャラクタを選択し(S841)、当該サービスで楽曲を紹介するDJとして紹介情報を提示する(S842)ことができる。
【0396】
以上、第8の実施の形態を説明した。
【0397】
<9.第9の実施の形態>
【0398】
ユーザが作成したシナリオ(ユーザシナリオ)は、共有手段を用いてユーザ間で共有することができる。
【0399】
ここでは、共有手段としてソーシャルネットワーキングサービス(SNS)等のソーシャルメディアを利用し、ユーザが作成したシナリオ(ユーザシナリオ)を、例えばSNSアカウントごとに公開して、コンテンツ要素の類似度や、コンテキストの類似度、発動条件設定の類似度などに応じて検索・分類が可能である。
【0400】
ここで、発動条件の設定の類似度に関しては、共有手段として地図アプリケーションを利用し、ユーザの現在位置を発動条件として含むシナリオを特定して提示することでユーザが新しいシナリオを発見できるようにしてもよい。
【0401】
シナリオのコンテンツ要素のもととなる作品や作者の情報、コンテンツ要素の抽出やコンテキストを付与した作者の情報、発動条件を設定したユーザの情報をシナリオと紐づけて得ることができ、シナリオを入手したユーザは、好みの作者やユーザをフォローすることができる。
【0402】
(処理の全体像)
次に、
図49を参照して、第9の実施の形態における情報処理の全体像を説明する。
【0403】
図49に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)及び再生機器30(の制御部300)とともに、ソーシャルメディアにより提供されるサーバ等が少なくとも連携することで実現される。
【0404】
図49に示すように、情報処理システム1では、複数のメディアからなるコンテンツから、少なくとも1つ以上のコンテンツ要素が抽出され(S901)、各コンテンツ要素にコンテキスト情報が付与される(S902)。
【0405】
そして、1以上の「コンテンツ要素-コンテキスト情報」のデータセットは、シナリオとしてシナリオDB152に蓄積される(S903)。また、ユーザシナリオが生成された場合には、ユーザシナリオDB153に蓄積される(S904)。
【0406】
このようにして蓄積されたシナリオやユーザシナリオは、インターネット40上のソーシャルメディアのサーバへアップロード可能である(S905)。これにより、他のユーザは、ソーシャルメディアで公開されたシナリオやユーザシナリオを閲覧可能である(S906)。なお、ユーザは、入手したシナリオに関して好みの作者やユーザ等をフォローすることができる。
【0407】
ステップS911乃至S913においては、リアルタイムのセンシングによるセンサデータが、ユーザシナリオの発動条件を満たす場合に、当該発動条件を満たすコンテキスト情報に対応したコンテンツ要素が提示される。
【0408】
以上、第9の実施の形態を説明した。
【0409】
<10.第10の実施の形態>
【0410】
上述した実施の形態では、主に音声データと映像データを中心に説明したが、コンテンツ要素を構成するデータは音声や映像に限られるものではなく、例えば、ARグラスなどを用いて動画を再生したり、振動デバイスを持つ靴を利用して地面の触覚を提示したりするなど、画像や触覚、匂い、など、提示可能な機器を有するフォーマット及びデータを含むものとする。
【0411】
(処理の全体像)
次に、
図50を参照して、第10の実施の形態における情報処理の全体像を説明する。
【0412】
図50に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)により実行される。
【0413】
図50に示すように、情報処理システム1では、複数のメディアからなるコンテンツから、少なくとも1つ以上のコンテンツ要素が抽出される(S1001)が、この複数のメディアとしては、再生機器30により提示可能な触覚データ及び匂いデータの少なくとも一方のデータを含めることができる。
【0414】
以上、第10の実施の形態を説明した。
【0415】
<11.第11の実施の形態>
【0416】
ところで、提示されたコンテンツ要素がユーザに適合しない場合も想定されるため、ユーザからのフィードバックに応じてユーザシナリオを別のものに切り替える制御を行ってもよい。これにより、ユーザは、確実に、自己に適合したコンテンツ要素の提示を受けることができる。
【0417】
(処理の全体像)
図51を参照して、第11の実施の形態における情報処理の全体像を説明する。
【0418】
図51に示した情報処理は、情報処理システム1におけるデータ管理サーバ10(の制御部100)と再生機器30(の制御部300)が少なくとも連携することで実現される。
【0419】
図51に示すように、情報処理システム1では、複数のメディアからなるコンテンツから、少なくとも1つ以上のコンテンツ要素が抽出され(S1101)、各コンテンツ要素にコンテキスト情報が付与される(S1102)。
【0420】
1以上の「コンテンツ要素-コンテキスト情報」のデータセットは、シナリオとしてシナリオDB152に蓄積される。そして、シナリオDB152に蓄積されたシナリオに対し、発動条件が設定されることで、ユーザシナリオが生成される(S1103)。
【0421】
また、情報処理システム1では、リアルタイムのセンシングによるセンサデータが取得され(S1104)、このセンサデータから得られる情報が、ユーザシナリオの発動条件を満たすかどうかが判定される(S1105)。
【0422】
ステップSS1105の判定処理で、発動条件を満たすと判定された場合、発動条件を満たすコンテキスト情報に対応したコンテンツ要素が提示される(S1106)。
【0423】
その後、ユーザからのフィードバックが入力された場合(S1107)、当該フィードバックに応じてユーザシナリオを変更する(S1108)。これにより、ユーザシナリオを別のものに切り替えた状態で、上述したステップS1104乃至S1106が繰り返され、よりユーザに適合したコンテンツ要素を提示することができる。
【0424】
また、ユーザから入力されたフィードバックを分析することで、コンテンツ要素に対するユーザの嗜好を推定し(S1111)、当該ユーザの嗜好に応じてユーザシナリオを推薦する(S1121)。これにより、推薦されたユーザシナリオに切り替えた状態で、上述したステップS1104乃至S1106が繰り返され、よりユーザの嗜好に適したコンテンツ要素(例えば好みの音声キャラクタ)を提示することができる。
【0425】
なお、ここでは、ユーザシナリオを推薦する代わりに、コンテンツ要素自体を推薦して、推薦されたコンテンツ要素が提示されるようにしてもよい。
【0426】
以上、第11の実施の形態を説明した。
【0427】
<12.変形例>
【0428】
上述した説明では、情報処理システム1が、データ管理サーバ10、編集機器20、及び再生機器30-1乃至30-Nから構成される場合を説明したが、例えば、他の機器を追加するなど、他の構成を用いてもよい。
【0429】
具体的には、1つの情報処理装置としてのデータ管理サーバ10を、専用のデータベースサーバと、シナリオやコンテンツ要素等の配信用の配信サーバなどに分けて、複数の情報処理装置として構成してもよい。同様に、編集機器20又は再生機器30についても、1つの情報処理装置として構成されるだけでなく、複数の情報処理装置として構成されてもよい。
【0430】
また、情報処理システム1において、データ管理サーバ10、編集機器20、及び再生機器30の各装置を構成する構成要素(制御部)が、どの装置に含まれるかは任意である。例えば、エッジコンピューティングの技術を用いて、上述したデータ管理サーバ10による情報処理の一部の処理を、再生機器30が実行したり、再生機器30に近いネットワーク(ネットワークの周縁部)に接続されたエッジサーバが実行したりしてもよい。
【0431】
すなわち、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0432】
また、各構成要素の通信形態も任意である。換言すれば、各構成要素は、インターネット40を介して接続されてもよく、ローカルネット(LAN(Local Area Network)又はWAN(Wide Area Network))を介して接続されてもよい。さらに、各構成要素は、有線で接続されてもよく、無線で接続されてもよい。
【0433】
なお、従来の技術では、主に、ユーザによる情報検索作業や機器操作を自動化することで利用の簡便性を実現することを目的としている。この種の自動化は、システムが定義したコンテキスト分類と、ユーザの行動や状態のセンシングにより類推されるコンテキストとが一致するかどうかを判定するのが一般的である。
【0434】
このようなシステムは、下記の(a)乃至(d)に示すような要素で構成されており、ユーザの行動、操作、身体状態のセンシングの結果から、システムが定義したコンテキストを特定することを特徴としている。
【0435】
(a)ユーザの行動のセンシングデータからコンテキストを直接分析・認識する
(b)ユーザのアクセスしたコンテンツを認識し、当該コンテンツの属性データや内容の分析からコンテキストを認識する
(c)コンテキストとコンテンツの組み合わせのデータベースを持つ
(d)センシングデータとコンテキストを関連づけるデータベースを前提とする
【0436】
しかしながら、従来の技術であると、ユーザの行動目的がサービス内で固定されており、作業や操作が一定のルールに基づいている場合には、ユーザのコンテキストをシステム側で定義できるため、ユーザもシステムが定義したコンテキストに同意し易くなる。
【0437】
一方で、コンテンツを、ユーザの日常生活へ適応的に分散して連携させながら提示する場合には、ユーザのコンテキストは多岐にわたり、かつ、それぞれ固有の環境が動的に変化するため、システム側で定義したコンテキストをユーザが受容することが困難になる。
【0438】
ここで、ユーザが感じるコンテキストへの一致感は、主観的かつ発展的なものであり、これをシステム側で定義したコンテキスト定義に関する事後データの客観的かつ統計的な処理で、予測して適合させることは極めて困難である。仮に、それを可能にするには、膨大なデータの蓄積が必要であり、サービス開始前の投資は非現実的な規模となる。
【0439】
また、従来の技術で提示されるコンテンツは、従来のサービスで用いられてきた提供フォーマットを変化させることなく、ユーザに提示される。例えば、コンテキストを認識して選定され、提供されるデータや楽曲は、サービスに対して配信される形態を変化させることなく、そのままの形態でユーザに提示される。
【0440】
しかしながら、ユーザの日常生活への提示に際しては、上述した提供フォーマットが、従来の視聴行動を前提に設計されているため、日常生活の自由で多様なユーザ行動を阻害する要因になり得る。例えば、映画や音楽等のコンテンツは、観客として画面やスピーカの前に座って視聴することが要求されるフォーマットであり、従来の視聴行動を前提に設計してしまうと、ユーザ行動を阻害する恐れがある。
【0441】
さらに、従来の機器では、やはり従来の視聴行動を前提に設計されているため、個別の機器が個別のサービスを提供するように最適化されており、これらの従来の機器が、一部の機能を融通し合いながら連携してユーザの日常行動に適応する仕組みを持たないことが多いのが現状である。
【0442】
例えば、スマートフォン等の携帯機器は、携帯性を追求することにより、ユーザの日常行動に携帯性をもって適応させているが、画面を中心とした視聴行動の前提は従来のままである。そのため、例えば、一般道や公共施設における歩行に関しては、視覚と聴覚を奪う特性から、いわゆる「スマホ歩き」として危険とされている。
【0443】
なお、上述した特許文献1には、ユーザが視認しているランドマークを推定し、その情報を用いてユーザの進行方向を示すナビサービスを提供する装置が開示されているが、本技術のような、コンテキストに対して、ユーザごとの発動条件を設定可能な点については、開示も示唆もされていない。
【0444】
また、特許文献2には、コンテンツアイテムから、コンテキスト情報とコンテンツ情報を抽出してインデックス生成し、ユーザのコンテキストと、ユーザのクエリの内容に基づき、応答して推奨を生成するシステムが開示されている。しかしながら、特許文献2で、コンテキスト情報としては、検索、最近アクセスされた文書や、動作中のアプリケーション、アクティビティの時間であり、ユーザの物理的位置は含まれていない(段落[0011]参照)。
【0445】
さらに、特許文献3には、コンテンツに複数のオブジェクト(音声含む)として複数の人物の顔が含まれるとき、コンテキスト情報として定義されている2人だけの顔を規定サイズまで拡大する、という編集を自動的に行う処理装置が開示されているが、本技術のような、コンテンツに基づき、コンテキストと音声を対応付けて記録してそれを再利用することについては、開示も示唆もされていない。
【0446】
また、特許文献4には、コンテンツの放送予定、放送履歴情報に基づき、コンテンツの視聴に適する視聴者のコンテキスト(時間帯、曜日等)と、コンテンツの特徴量との対応関係を予め学習して、「コンテキスト-コンテンツの特徴量」の対応表を生成しておくことにより、新たなコンテンツに対して、その視聴に適するコンテキストを示す情報を生成し、メタデータとして付与することが開示されている。しかしながら、特許文献4には、既存のコンテンツから、コンテンツを切り出すことについては開示されていない。
【0447】
さらに、特許文献5には、ユーザの状態を示すセンシングデータ(動作、音声、心拍、感情等)から抽出されるコンテキスト情報と、そのときにユーザが視聴している映像が全て記録されており、現在のユーザの状態を示すコンテキスト情報を用いて、ユーザの状態に応じたコンテンツを抽出し、「ユーザがサッカー中継をしている際に興奮して腕を突き上げた」ことを示すコンテキスト情報を生成すると、サッカー、興奮などのキーワードや、心拍数、腕の動作に応じて、過去に記録したコンテンツを抽出して、ユーザに提供することができる。しかしながら、特許文献5には、既存のコンテンツから、コンテンツとコンテキストを抜き出すことについては開示されていない。
【0448】
このように、特許文献1乃至5に開示されている技術を用いても、コンテキストの情報を利用してサービスを提供するに際して、良いユーザ体験を提供できるとは言い難く、より良いユーザ体験を提供することが求められていた。
【0449】
そこで、本技術では、コンテキストの情報を利用してサービスを提供するに際し、1つのシナリオを、別々の場所に住むユーザが、それぞれ利用することができるようにして、より良いユーザ体験を提供することができるようにしている。
【0450】
<13.コンピュータの構成>
【0451】
上述した一連の処理(
図6に示した第1の実施の形態における情報処理等の各実施の形態における情報処理)は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
図52は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0452】
コンピュータにおいて、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。バス1004には、さらに、入出力インターフェース1005が接続されている。入出力インターフェース1005には、入力部1006、出力部1007、記録部1008、通信部1009、及び、ドライブ1010が接続されている。
【0453】
入力部1006は、マイクロフォン、キーボード、マウスなどよりなる。出力部1007は、スピーカ、ディスプレイなどよりなる。記録部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインターフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体1011を駆動する。
【0454】
以上のように構成されるコンピュータでは、CPU1001が、ROM1002や記録部1008に記録されているプログラムを、入出力インターフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0455】
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【0456】
コンピュータでは、プログラムは、リムーバブル記録媒体1011をドライブ1010に装着することにより、入出力インターフェース1005を介して、記録部1008にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部1009で受信し、記録部1008にインストールすることができる。その他、プログラムは、ROM1002や記録部1008に、あらかじめインストールしておくことができる。
【0457】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
【0458】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0459】
また、各実施の形態における情報処理の各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0460】
なお、本技術は、以下のような構成をとることができる。
【0461】
(1)
コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、
ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、
ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する
制御部を備える
情報処理システム。
(2)
前記制御部は、
複数のメディアからなるコンテンツから、
少なくとも一部のメディアからなるコンテンツ要素を抽出し、
前記コンテンツに基づいて、前記コンテンツ要素に対応するコンテキスト情報を生成し、
前記コンテンツ要素と前記コンテキスト情報とを対応付けて蓄積した対応データベースを生成する
前記(1)に記載の情報処理システム。
(3)
前記制御部は、前記コンテンツ要素と前記コンテキスト情報からなるデータセットを、一定のテーマに基づいてパッケージ化して蓄積したシナリオデータベースを生成する
前記(2)に記載の情報処理システム。
(4)
前記コンテンツ要素は、ストリーミング配信コンテンツの一部であり、
前記コンテキスト情報に対応付けて、そのコンテンツのIDと再生範囲を示す情報が蓄積されている
前記(2)に記載の情報処理システム。
(5)
前記制御部は、前記コンテンツ要素を再生する前に、前記コンテキスト情報に対応する特定の音声キャラクタを含む他のコンテンツ要素を提示する
前記(4)に記載の情報処理システム。
(6)
前記制御部は、前記対応データベースに蓄積されるコンテンツ要素と前記コンテキスト情報との関係を機械学習することにより、新たなコンテンツ要素に対してコンテンツ情報を付与する
前記(2)乃至(5)のいずれかに記載の情報処理システム。
(7)
前記制御部は、
地図情報とともに、前記コンテンツ要素と前記コンテキスト情報のデータセットからなるシナリオを提示し、
前記コンテキスト情報に対応する発動条件のデフォルト値として、シナリオを作成する制作者が地図上に所定領域を設定可能なインターフェースを提示する
前記(3)に記載の情報処理システム。
(8)
前記制御部は、
第1のメディアからなるコンテンツから、
前記第1のメディアとは異なる第2のメディアを生成してコンテンツ要素とし、
前記コンテンツに基づいて、前記コンテンツ要素に対応するコンテキスト情報を生成し、
前記コンテンツ要素と前記コンテキスト情報とを対応付けて蓄積した対応データベースを生成する
前記(1)乃至(7)のいずれかに記載の情報処理システム。
(9)
前記第1のメディアは、テキストを含み、
前記第2のメディアは、TTS(Text To Speech)音声を含む
前記(8)に記載の情報処理システム。
(10)
前記制御部は、
前記第1のメディアと前記第2のメディアとの関係をあらかじめ機械学習しておき、 当該機械学習の結果に基づいて、前記第1のメディアから、前記第2のメディアを生成する
前記(8)又は(9)に記載の情報処理システム。
(11)
前記制御部は、
前記コンテキスト情報に対して、
現在、ユーザをセンシングすることで得られるセンサデータに応じた発動条件を設定可能であり、複数の、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオデータベースを生成する
前記(1)乃至(10)のいずれかに記載の情報処理システム。
(12)
前記制御部は、撮像された画像データに応じた発動条件を設定する
前記(11)に記載の情報処理システム。
(13)
前記制御部は、ユーザの特性操作に応じて、そのときのセンサデータに応じた発動条件を設定する
前記(11)に記載の情報処理システム。
(14)
前記制御部は、
前記コンテキスト情報と前記発動条件との関係を機械学習し、
当該機械学習の結果に応じた情報を出力する
前記(11)乃至(13)のいずれかに記載の情報処理システム。
(15)
前記制御部は、前記機械学習の結果に応じて、特定の発動条件に対して、コンテキスト情報を生成する
前記(14)に記載の情報処理システム。
(16)
前記制御部は、前記機械学習の結果に応じて、特定のコンテキスト情報に対して、ユーザに対応した発動条件を設定する
前記(14)に記載の情報処理システム。
(17)
前記センシングでは、前記センサデータとして、時間的若しくは空間的な発動条件、又はユーザの行動に応じた発動条件を設定可能なデータを取得する
前記(11)乃至(16)のいずれかに記載の情報処理システム。
(18)
前記制御部は、
地図情報とともに、あらかじめ対応付けられている前記コンテンツ要素と前記コンテキスト情報のデータセットからなるシナリオを提示し、
前記コンテキスト情報に対応する発動条件として、ユーザが地図上に所定領域を設定可能なインターフェースを提示する
前記(1)、及び(11)乃至(17)のいずれかに記載の情報処理システム。
(19)
前記制御部は、同一の発動条件が、複数のコンテキスト情報に設定されているとき、所定のルールに従って、当該複数のコンテキスト情報に対応する複数のコンテンツ要素を、ユーザに提示する
前記(1)乃至(18)のいずれかに記載の情報処理システム。
(20)
前記制御部は、前記センサデータにより推定されるユーザの向きに応じて、前記複数のコンテンツ要素から、一のコンテンツ要素を特定し、ユーザに提示する
前記(19)に記載の情報処理システム。
(21)
前記制御部は、
前記センサデータにより推定されるユーザの向きが第1の向きとなるとき、第1のキャラクタに対応するコンテンツ要素を特定して、ユーザに提示し、
ユーザの向きが第2の向きとなるとき、第2のキャラクタに対応するコンテンツ要素を特定して、ユーザに提示する
前記(20)に記載の情報処理システム。
(22)
前記制御部は、前記第1のキャラクタ又は前記第2のキャラクタの位置に応じてその場所に紐付けられた情報を提供する
前記(21)に記載の情報処理システム。
(23)
前記制御部は、
前記センサデータが前記発動条件を満たしたとき、ユーザの現在位置周辺に、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素を提示可能な機器を探索し、
前記コンテンツ要素がユーザに提示されるように、当該機器を制御する
前記(1)乃至(22)のいずれかに記載の情報処理システム。
(24)
前記制御部は、
前記コンテンツ要素に含まれるエージェントの音声が、ユーザに提示されるように、当該ユーザの耳に装着された電気音響変換機器を制御するとともに、
前記コンテンツ要素に含まれるエージェントの外観が、ユーザに提示されるように、当該ユーザの周辺に配置されるディスプレイを制御する
前記(23)に記載の情報処理システム。
(25)
前記制御部は、通信部を介して、特定のユーザシナリオをサービス提供者に提供する
前記(1)乃至(24)のいずれかに記載の情報処理システム。
(26)
前記制御部は、通信部を介して、前記特定のユーザシナリオを音楽ストリーミング配信サービス業者に提供することにより、当該ユーザシナリオに対応付けられるコンテンツ要素に対応する音声キャラクタを、音楽ストリーミング配信サービスにおいて楽曲を紹介するディスクジョッキー(DJ)として設定する
前記(25)に記載の情報処理システム。
(27)
前記制御部は、通信部を介して、前記ユーザシナリオを、ソーシャルメディアにアップロードし、他のユーザと共有可能にする
前記(1)乃至(24)のいずれかに記載の情報処理システム。
(28)
前記コンテンツ要素は、機器により提示可能な触覚データ及び匂いデータの少なくとも一方のデータを含む
前記(1)乃至(27)のいずれかに記載の情報処理システム。
(29)
前記制御部は、前記コンテンツ要素が提示されたユーザからのフィードバックに応じて、前記ユーザシナリオを、別のユーザシナリオに切り替える
前記(1)乃至(28)のいずれかに記載の情報処理システム。
(30)
前記制御部は、前記フィードバックを分析することにより、前記コンテンツ要素に対するユーザの嗜好を推定する
前記(29)に記載の情報処理システム。
(31)
前記制御部は、前記ユーザの嗜好に応じて、前記コンテンツ要素又は前記ユーザシナリオを推薦する
前記(30)に記載の情報処理システム。
(32)
情報処理装置が、
コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、
ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、
ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する
情報処理方法。
(33)
コンピュータを、
コンテンツ要素にコンテキスト情報があらかじめ対応付けられ、
ユーザごとに、少なくとも当該コンテキスト情報に対して発動条件を設定可能で、前記コンテキスト情報と前記発動条件のデータセットからなるユーザシナリオを生成可能であり、
ユーザをリアルタイムでセンシングすることで得られたセンサデータが、前記ユーザシナリオに設定される発動条件を満たしたとき、当該発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素がユーザに提示されるように制御する制御部として
機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【符号の説明】
【0462】
1 情報処理システム, 10 データ管理サーバ, 20 編集機器, 30,30-1乃至30-N 再生機器, 40 インターネット, 100 制御部, 101 入力部, 102 出力部, 103 記憶部, 104 通信部, 111 データ管理部, 112 データ処理部, 113 通信制御部, 131 提示キャラクタ選択部, 132 シナリオ処理部, 133 応答生成部, 151 コンテンツ要素-コンテキスト情報DB, 152 シナリオDB, 153 ユーザシナリオDB, 161 キャラクタ配置DB, 162 位置依存情報DB, 163 シナリオDB, 200 制御部, 201 入力部, 202 出力部, 203 記憶部, 204 通信部, 211 編集処理部, 212 提示制御部, 213 通信制御部, 221 マウス, 222 キーボード, 231 ディスプレイ, 232 スピーカ, 300 制御部, 301 入力部, 302 出力部, 303 記憶部, 304 通信部, 305 センサ部, 306 カメラ部, 307 出力端子, 308 電源部, 311 再生処理部, 312 提示制御部, 313 通信制御部, 321 ボタン, 322 タッチパネル, 331 ディスプレイ, 332 スピーカ, 341 ユーザ位置検出部, 342 ユーザ方向検出部, 343 音声認識意図理解部, 344 コンテンツ再生部, 1001 CPU
【手続補正書】
【提出日】2024-06-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを、
コンテンツ要素を再生する条件である第1の発動条件に対応するジオフェンス領域を表示し、入力を受け付けるインターフェース部と、
前記ジオフェンス領域に対する変更の入力に基づいて、前記第1の発動条件を変更し、
前記第1の発動条件の変更に基づいて、前記コンテンツ要素に対して、変更された前記第1の発動条件を含む発動条件を、保存部に保存する制御部と、
を備える情報処理装置として機能させるための情報処理プログラム。
【請求項2】
前記発動条件は、空間的な発動条件、時間的な発動条件、又はユーザの行動に応じた発動条件である、ように機能させるための請求項1に記載の情報処理プログラム。
【請求項3】
前記ジオフェンス領域に対する変更は、ジオフェンス領域の位置、大きさ、形のうち少なくとも一つの変更である、ように機能させるための請求項1に記載の情報処理プログラム。
【請求項4】
前記第1の発動条件は、空間的な発動条件であり、
前記インターフェース部が、インターフェースを介して地図上の所定領域の入力を受け付ける、ように機能させるための請求項2に記載の情報処理プログラム。
【請求項5】
前記制御部が、前記第1の発動条件と異なる条件である第2の発動条件の入力を取得し、前記第1の発動条件と前記第2の発動条件の入力に基づいて、前記発動条件とコンテキスト情報を対応付けて保存する、ように機能させるための請求項2に記載の情報処理プログラム。
【請求項6】
前記制御部が、
複数のメディアからなるコンテンツから、少なくとも一部のメディアであるコンテンツ要素を抽出し、
前記コンテンツに基づいて、前記コンテンツ要素に対応するコンテキスト情報を取得し、
前記コンテンツ要素と前記コンテキスト情報を対応付けて保存し、
前記コンテキスト情報と前記発動条件を対応付けて保存する、ように機能させるための請求項1に記載の情報処理プログラム。
【請求項7】
前記コンテンツ要素は、配信コンテンツの一部であり、
前記制御部が、前記コンテンツ要素に対応するコンテンツのIDと再生範囲を示す情報を、前記コンテキスト情報に対応付けて保存する、ように機能させるための請求項6に記載の情報処理プログラム。
【請求項8】
コンテンツを取得する取得部を更に備え、
前記インターフェース部が、前記コンテンツに対応した前記コンテンツ要素の候補を、インターフェースを介して表示し、前記コンテンツ要素に関する入力を受け付ける、ように機能させるための請求項1に記載の情報処理プログラム。
【請求項9】
前記インターフェース部が、コンテキスト情報の候補を、インターフェースを介して表示し、選択されたコンテキスト情報の入力を受け付け、
前記制御部が、前記コンテキスト情報の入力に基づいて、前記コンテキスト情報と前記コンテンツ要素を対応付けて保存する、ように機能させるための請求項6に記載の情報処理プログラム。
【請求項10】
前記制御部が、前記コンテンツ要素と前記コンテキスト情報からなるデータセットを、一定のテーマに基づいてパッケージ化して蓄積したシナリオデータベースを生成する、ように機能させるための請求項9に記載の情報処理プログラム。
【請求項11】
前記制御部が、前記シナリオデータベースに蓄積されるコンテンツ要素と前記コンテキスト情報との関係を機械学習することにより、コンテンツ要素に対してコンテキスト情報を提示する、ように機能させるための請求項10に記載の情報処理プログラム。
【請求項12】
前記制御部が、前記インターフェース部を介して、コンテンツ要素、再生範囲、音量、リピート再生、フェードイン・アウト、及び再生優先レベルのうち少なくとも1つである、再生条件の入力を取得し、前記発動条件と共に保存する、ように機能させるための請求項1に記載の情報処理プログラム。
【請求項13】
コンピュータを、
コンテンツ要素にコンテキスト情報が対応付けられ、
前記コンテキスト情報に対して、発動条件が対応付けられており、
センサデータを取得する取得部と、
前記センサデータが、コンテンツ要素を再生する条件である発動条件を満たしたとき、前記発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素を出力するように制御する制御部と、
を備え、
前記センサデータは、ユーザ若しくはユーザが使用する機器の位置を含み、
前記発動条件は、前記コンテンツ要素が出力制御される発動範囲に関連した条件を含み、
前記制御部は、前記ユーザ若しくはユーザが使用する機器の位置と、前記発動条件に応じて、前記発動条件に対応する前記コンテンツ要素の出力を制御するとともに、前記コンテンツ要素内の音源の音像定位位置を制御する、
情報処理装置として機能させるための情報処理プログラム。
【請求項14】
前記コンテンツ要素は、複数のコンテンツ要素のうちの一つであり、
前記制御部が、前記センサデータによって推定されるユーザの向きに応じて、前記複数のコンテンツ要素から、一のコンテンツ要素を特定し、前記ユーザに提示する、ように機能させるための請求項13に記載の情報処理プログラム。
【請求項15】
前記制御部が、前記センサデータが前記発動条件を満たしたとき、前記ユーザの位置周辺における前記発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素を提示可能な機器の情報を取得し、前記コンテンツ要素が前記ユーザに提示されるように当該機器を制御する、ように機能させるための請求項13に記載の情報処理プログラム。
【請求項16】
情報処理装置が、
コンテンツ要素を再生する条件である第1の発動条件に対応するジオフェンス領域を表示し、入力を受け付けることと、
前記ジオフェンス領域に対する変更の入力に基づいて、前記第1の発動条件を変更することと、
前記第1の発動条件の変更に基づいて、前記コンテンツ要素に対して、変更された前記第1の発動条件を含む発動条件を保存部に保存することと、
を含む情報処理方法。
【請求項17】
コンテンツ要素を再生する条件である第1の発動条件に対応するジオフェンス領域を表示し、入力を受け付けるインターフェース部と、
前記ジオフェンス領域に対する変更の入力に基づいて、前記第1の発動条件を変更し、
前記第1の発動条件の変更に基づいて、前記コンテンツ要素に対して、変更された前記第1の発動条件を含む発動条件を、保存部に保存する制御部と、
を備える情報処理システム。
【請求項18】
センサデータを取得する取得部と、を更に備え、
前記制御部は、前記センサデータが前記発動条件を満たしたとき、前記発動条件に応じたコンテンツ要素の出力部への出力を制御する
請求項17に記載の情報処理システム。
【請求項19】
前記コンテンツ要素、コンテキスト情報、及び前記発動条件からなるシナリオを、サーバに送信する送信部と、
前記シナリオを保存し、要求に応じて、前記シナリオを送信する前記サーバと、
を更に備える請求項17に記載の情報処理システム。
【請求項20】
前記ジオフェンス領域に対する変更は、ジオフェンス領域の位置、大きさ、形のうち少なくとも一つの変更である
請求項17に記載の情報処理システム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
本技術は、情報処理プログラム、情報処理方法、及び情報処理システムに関し、特に、より良いユーザ体験を提供することができるようにした情報処理プログラム、情報処理方法、及び情報処理システムに関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
本技術の一側面の情報処理プログラムは、コンピュータを、コンテンツ要素を再生する条件である第1の発動条件に対応するジオフェンス領域を表示し、入力を受け付けるインターフェース部と、前記ジオフェンス領域に対する変更の入力に基づいて、前記第1の発動条件を変更し、前記第1の発動条件の変更に基づいて、前記コンテンツ要素に対して、変更された前記第1の発動条件を含む発動条件を、保存部に保存する制御部と、を備える情報処理装置として機能させるための情報処理プログラムである。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
本技術の一側面の情報処理プログラムは、コンピュータを、コンテンツ要素にコンテキスト情報が対応付けられ、前記コンテキスト情報に対して、発動条件が対応付けられており、センサデータを取得する取得部と、前記センサデータが、コンテンツ要素を再生する条件である発動条件を満たしたとき、前記発動条件に応じたコンテキスト情報に対応付けられたコンテンツ要素を出力するように制御する制御部と、を備え、前記センサデータは、ユーザ若しくはユーザが使用する機器の位置を含み、前記発動条件は、前記コンテンツ要素が出力制御される発動範囲に関連した条件を含み、前記制御部は、前記ユーザ若しくはユーザが使用する機器の位置と、前記発動条件に応じて、前記発動条件に対応する前記コンテンツ要素の出力を制御するとともに、前記コンテンツ要素内の音源の音像定位位置を制御する、情報処理装置として機能させるための情報処理プログラムである。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
本技術の一側面の情報処理方法は、情報処理装置が、コンテンツ要素を再生する条件である第1の発動条件に対応するジオフェンス領域を表示し、入力を受け付けることと、前記ジオフェンス領域に対する変更の入力に基づいて、前記第1の発動条件を変更することと、前記第1の発動条件の変更に基づいて、前記コンテンツ要素に対して、変更された前記第1の発動条件を含む発動条件を保存部に保存することと、を含む情報処理方法である。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0010
【補正方法】変更
【補正の内容】
【0010】
本技術の一側面の情報処理システムは、コンテンツ要素を再生する条件である第1の発動条件に対応するジオフェンス領域を表示し、入力を受け付けるインターフェース部と、前記ジオフェンス領域に対する変更の入力に基づいて、前記第1の発動条件を変更し、前記第1の発動条件の変更に基づいて、前記コンテンツ要素に対して、変更された前記第1の発動条件を含む発動条件を、保存部に保存する制御部と、を備える情報処理システムである。