【実施例】
【0026】
図1は、本発明の共有情報提供システムの全体構成を示すブロック図である。同図において、体験共有化支援情報システム10は、体験データを収集する情報収集部101、体験データにメタデータを付与して整理する情報整理部102、複数の体験データの相関を行なう情報複合化部103、体験部104、情報格納部105、制御部106、を有する。
【0027】
情報収集部101は、素データ収集処理部1011、を有する。素データ収集処理部1011は、各種データを取り込む取り込みデータ取込部10111、10112、10113、を有する。
【0028】
取り込みデータ取込部10111〜10113は、各種デバイスやクラウド(SNSなど)201〜203から、各種の体験データ、例えば、デジカメ、モバイル機器、監視カメラなどからの静止画、動画、音声や、例えば、温度センサ、湿度センサ、音量センサ、重量センサ、風速センサからの、温度、湿度、音量、重量、風速、及び例えば、メール、ブログなどの文字データ、更にはそれらのメタデータを取り込む。メタデータは、日付や場所などである。
【0029】
また、体験データの取込みを強化するためのオプションシステムとして、多視点録画システム、監視カメラなどを用いてもよい。例えば、パーティやイベントなどの体験を共有したい場について複数視点の体験データを確保するために、複数台カメラにより記録する。
イベント参加者の体験データは、モバイル機器でとった画像などに、当該システムでとった別地点の体験データを加えて複数視点での追体験ができるようにする。また、イベントのステージ(一人称視点と同等)のほか会場状況(三人称視点)などの周辺体験データを重ねて、手厚い追体験をしやすくするとよい。
【0030】
情報整理部102は、体験データにメタデータを付与し、体験データ&メタデータを整理するデータ整理処理部1021、を有する。
【0031】
データ整理処理部1021は、前記情報収集部101により、取り込んだメタデータを、各種処理を行った素データの体験データに付与し、
図2に示すように、分析処理対象項目別、例えば、時系列、場所、人物(人脈)、その他(重み付け(体験係数)、イベント抽出、経路解析、他)ごとに整理するデータ整理部10211、10212、10213、19214、を有する。このとき、日時や場所などを自動生成により補足し、整理するとよい。
ここで、体験データを、時系列、場所、人脈(人物)、その他、例えば、重み付け(体験係数)、イベント抽出、経路解析、ごとに整理する処理とは、以下のとおりである。
【0032】
時系列処理は、各種体験データの日時情報を読み取り、また音声データの音量レベルの類似点・特徴点から時系列の情報を推測し、また古い写真の日付プリントを文字認識し、時系列に整理することである。
【0033】
場所処理は、GPS情報から場所情報を生成し、また、画像の文字データから地名等を読み取り、また大まかな場所情報を生成し、場所ごとに整理することである。
人脈(人物)処理は、顔認識で人物を識別し、人物情報を生成し、人物ごとに整理することである。
【0034】
その他の重み付けは処理、思い出を扱うため、感情での重み付けもメタデータとして管理し、好感情報や思い出管理システムなどから重み付けを取得し、体験データを重み付け整理することである。
【0035】
イベント抽出処理は、イベントの抽出/補足、例えば旅行の場合、その時の住所と異なる場所データの写真、イベントの場合、誕生日、合格日、記念日、など、イベントごとに整理することである。
【0036】
経路解析処理は、歩いて、ある場所で留まり、帰る、つまり目的地とルートごとに整理することである。
【0037】
ここで、メタデータ形式は、
図3に示すように、項目ごと、例えば、纏めID、日時、場所(位置、地名、建物)、気象(天気、気温)、イベント、人物、行動、体験係数(喜怒哀楽、記憶鮮明度、印象度、体験重要度)を有する。
【0038】
纏めIDは、複数の一連行動を関連付けるIDを付与するものである。
日時は、文字とおり日時であって、古い時代;年のみ等、曖昧関連付ける日付を付与するものである。
【0039】
場所(位置、地名、建物)は、GPS位置情報、地名、建物や山などの名称を付与するものである。気象(天気、気温)は、晴れ、晴れのち曇り、温度、その他風速などを付与するものである。
【0040】
イベントは、記念日、誕生日、各種イベント行事を付与するものである。人物は、名前、人数を付与するものである。
【0041】
行動は、笑顔・ピース、抱っこ、走る、投げる等の動作・行為を付与するものである。体験係数は、思い出を扱うための感情情報を重み付けに使うものであって、体験への感情と強さ、記憶の確かさ、良い印象/悪い印象、自分にとっての重要さに応じて、係数を付与するものである。
【0042】
情報複合化部103は、複数の体験データの相関をもって対応付けし、当該相関にある体験データを検索する体験データの相関&検索相関処理部1031、を有する。
【0043】
体験データの相関&検索相関処理部1031は、相関する体験データを検索するための検索条件を生成する検索条件生成部10311、当該検索条件をもって体験データを検索する検索部10312、を有する。
【0044】
複数の体験データの相関処理は、例えば、周知のリコメンドシステム等の技術を応用して、体験データの関連付け・ユーザ傾向分析で表示する候補を計算し、他の体験との関連付けにより、「体験の共有」ができるよう複数の体験データの相関処理を行う。リコメンド技術としては、例えば、ルールベース(ナレッジベース)、コンテンツベース(モノ属性ベース)、協調フィルタリング(人ベース)、が存在する。
【0045】
ルールベース(ナレッジベース)は、推定したルールにより、推奨提示するものであるが、この技法を利用して、例えば、見せ方として「想い」ある体験を優先的に提示し、また、入学など共通的イベントをルール化して、ユーザへの見せ方として「共感」を検索するようにする。
【0046】
コンテンツベース(モノ属性ベース)は、コンテンツの属性を分析・分類して類似度を算出し、近いものを推奨するものであるが、この技法を利用して、例えば、イベント等の近似を算出し、ユーザへの見せ方として「共感」体験を提示するようにする。
【0047】
協調フィルタリング(人ベース)は、似ている人は同じような行動をすると仮定し、購買履歴などから類似ユーザの行動を参照し、「○○を買った人は△△も興味ある」を提示するものであるが、この技法を利用して、類似行動算出を応用し、体験データの類似度を算出し、ユーザへの見せ方として「共感」体験を検索、または興味類似の「未体験」を検索するようにする。
【0048】
ここで、「体験の共有」とは、例えば、
図4に示すように、共感、未体験、想いである。共感には、共通の体験として、類似の体験(同種の体験、同時期の体験)、近似の体験、がある。未体験には、興味があるが未体験がある。想いには、人に見せたい話したい体験がある。これらは、分類(類似、違う、時期(類似、違う)をもって検索する。
【0049】
体験データの特徴は、自分が体験したことの記憶であること(体験/記憶・思い出)の記録という点に価値がある)、唯一のものであり、再生できないこと、人間側の記憶が時間と共に薄れること(忘れている場合もあり、記憶が変化・混在している場合もある)、メタ記憶化されている場合もあること(○○に旅行したという言語レベルでの記憶があるが詳細は忘れており、写真等を見て、会話する等で思い出すこともある)、自分の価値観での良否判断であること(ユーザ個別の価値処理が必要)、複数人の交流・体験共有で、新たな価値が生まれることがある、点である。
【0050】
また、体験データの検索方法は、機械的なマッチングだけでなく、近い体験を引き出して共有する。例えば、例えば、共感の場合は、イベントDBに格納している体験データの中から近い時間、場所の体験データ(花火など)を引き出してマッチングを行なう。未体験の場合は、キーワード(イチゴ、苺)を経由した異種の体験(イチゴ狩りに行った)のマッチングを行なう。想いの場合は、一方の強い思い出(人に話したいこと)を軸にしたマッチングを行なう。
【0051】
検索処理は、例えば、以下により、行なう。
(1)ユーザ希望を受ける。例えば、本システムを利用するユーザを登録する時に、予めユーザ嗜好を登録する。また、任意にどのような場面を検索するかを指定する。初めて会う人であれば、まず共通体験、次に興味あるが未体験とする。久しぶりに会う人であれば、同時期の体験、次に最近の共通の体験とする。また、この話はしたい、の指定であれば、この話しに対応する体験データを優先的に検索し、表示する。または、除外指定、例えばこの話は家族のみであれば、検索から除外する。
(2)検索条件を生成する。条件によって使う検索エンジンも変える。
(3)検索処理する。一般的に知られているリコメンドシステム等の技術を使って検索処理する。リコメンドシステムは、例えば、指定したルールにより推奨提示するルールベース(ナレッジベース)を応用して、「想い」のある体験を優先的に提示したり、入学など共通的イベントをルール化して「共感」を検索する。また、コンテンツの属性を分析・分類して類似度を算出し、近いものを推奨するコンテンツベース(モノ属性ベース)を応用して、イベント等の近似を算出し、「共感」の体験を検索する。また、似ている人は同じような行動をする仮定で、購買履歴などから類似ユーザの行動を参照し、「○○を買った人は△△も興味ある」を提示する強調フィルタリング(人ベース)を応用して、類似行動算出を応用し、体験データの類似度を算出し、「共感」を検索、又は興味近似の「未体験」を検索する。
【0052】
体験部104は、ユーザに体験してもらう体験データを表示装置に表示するものであって、表示処理部1041、を有する。表示処理部1041は、ユーザへの見せ方、つまり「共感」、「未体験」、「想い」、に応じた表示処理を行う。
図5は、その表示例を示す図である。
【0053】
複合化部103の検索処理により得られる体験データ、例えば、お薦めの体験データをユーザ端末40のモバイルや立体表示などの表示装置(図示せず)に表示し、ユーザが体験可能とするものであって、複数の体験データをもとに、他の人との体験の共有、周辺の状況を含めた複数視点での追い体験が可能となるように表示装置に表示する。表示装置に表示される体験データは、ユーザにより選択する。
【0054】
情報格納部105は、体験データ、共通イベントデータ、などを格納するDB1051を有する。
制御部106は、情報収集部101、情報整理部102、情報複合化部103、体験部104の各データ処理をスケジューリングし、また各部の処理を制御するプログラムを有する。
【0055】
以下、制御部の処理について説明する。
図6は、制御部106の全体処理フローを示す図である。同図において、情報処理部101は、ステップS710にて、情報を収集する処理を行い、情報整理部102は、ステップS720にて、収集した情報の整理処理を行い、情報複合化部103は、ステップS730にて、整理した情報の複合化処理を行い、体験部104は、ステップS740にて、複合化した情報を表示可能とする体験処理を行う。
【0056】
次に、各処理について詳述する。
図7は、情報収集部における処理を示すフロー図である。同図において、ステップS710にて、情報収集処理を開始すると、ステップS7101にて、各種情報サイトなどからの各種情報を収集し、ステップS711にて、当該処理を終了する。このデータ収集方法は、一般的に知られている方法により実現する。
【0057】
図8及び
図9は、情報整理部における処理を示すフロー図である。
図8において、ステップS730にて、情報整理処理を開始すると、ステップS7301にて個人の情報を収集し、ステップS7302にて、アップしたデータを受け、ステップS7303にて、アップしたデータの種類、つまり動画であるか否かを判定する。
【0058】
当該ステップにて、データが動画である場合(Y)には、ステップS7303にて、画像データを取り出し、ステップS7306に進む。
データが動画でない場合(N)には、ステップS7305にて、画像データであるか否かを判定する。当該ステップにて、画像データである場合(Y)には、ステップS7306に進む。画像データでない場合(N)には、ステップS7307に進む。
【0059】
ステップS7306では、ステップS7304にて取り出した画像データ、ステップS7305の画像データを受け、当該画像から単語を切り出し、ステップS7307に進む。
【0060】
ステップS7307では、ステップ7305による非画像データ、ステップ7306による切り出し単語を受け、当該非画像データや単語を含むデータ、つまり文章などからメタデータの作成を行い、ステップS7308にて、情報格納部105のDBに登録し、ステップS7309に進む。
【0061】
ステップS7309では、ステップS7302にてアップしたデータの数だけ、上述したステップ7302からのループ2を繰り返す。
【0062】
しかるのち、ステップS7310にて、ステップS7307にて作成したメタデータから出現頻度の高い単語を個人の重要単語として情報格納部105のDBに登録し、ステップS7311に進む。
【0063】
ステップS7311では、個人ごとに、ステップS7301に戻り、上述したステップのループ1を繰り返す。
【0064】
次に、
図9において、ステップS7312にて1人目の個人の重要単語を受け、ステップ7313にて、他の個人の重要単語と一致するか否か判定する。
【0065】
当該ステップによる判定結果、重要単語と一致する場合(Y)には、ステップS7314にて、共通の重要単語として情報格納部105のDBに登録し、ステップS7315に進む。一致しない場合(N)には、そのままステップS7315に進む。
【0066】
ステップS7315では、重要単語と関連性の高い単語を情報格納部105のDBより抽出し、ステップS7316に進む。
【0067】
ステップS7316では、ステップS7315にて抽出した単語を受け、ステップS7317にて他の個人の重要単語と一致するか否か判定する。
【0068】
当該ステップによる判定結果、一致する場合(Y)には、ステップS7318にて、共通の重要単語として情報格納部105のDBに登録し、ステップS7319に進む。一致しない場合(N)には、そのままステップS7319に進む。
【0069】
そして、ステップS7319では、ステップS7316に戻り、ループ4を繰り返す。しかるのち、ステップS7320にて、ステップS7312に戻り、ループ3を繰り返す。
【0070】
図10は、情報複合化部における処理フローを示す図である。同図において、ステップS740にて、複合化処理を開始すると、ステップS7401にて、入力された情報(単語)を受け、ステップS7402を介してステップS7403にて、入力された情報(単語)と一致するか否か判定する。
【0071】
当該ステップによる判定結果、一致する場合(Y)には、ステップS7404にて、優先度の最も高い共通の単語とし、ステップS7405に進む。一致しない場合(N)には、そのままステップS7405に進む。
ステップS7405では、ステップS7402(共通の単語)に戻り、ループ5を繰り返す。
【0072】
次いで、ステップS7406にて、入力された情報(単語)と関連性の高い単語を情報格納部105のDBより抽出し、ステップS7407、ステップS7408を介してステップS7409にて、情報格納部105のDBから抽出した単語と共通単語が一致するか否か判定する。
【0073】
当該ステップによる判定結果、一致する場合(Y)には、ステップS7410にて、優先度を高くし、ステップS7411、S7412に進む。
【0074】
ステップS7411では、ステップS7408に戻り、ループ7を繰り返し、ステップS7412では、ステップS7407に戻り、ループ7を繰り返す。
【0075】
しかるのち、ステップS7413にて、優先度の高い共通単語をより多く含むデータの順にデータを並び替え、ステップS7414にて終了する。
【0076】
図11は、体験処理部における処理フローを示す図である。同図において、ステップS740にて、体験処理を開始すると、ステップS7401にて、情報複合化部の複合化処理にて並べかえられたデータ順に従い、データをユーザに表示するコンテンツを作成し、ステップS741にて終了する。
【0077】
体験部によるデータをどのように表示するかは、色々な方法があるが、その方法には、知れ渡っている周知技術を利用し、例えば、端末にデータを表示するプログラムを利用すればよい。
【0078】
以上の処理をもって、ユーザ側では、見せ方(共感、未体験、想い)に応じた、関連付けされた複数の体験データを表示、確認することができる。
【0079】
本実施例によれば、例えば、以下のような効果を期待することができる。
出会う二人の話題づくり(商談や結婚情報サービスでのマッチングなど)
介護施設などでの思い出話の支援
深みのある追体験
特定の体験の経験者の募集(擬似人格データを用いた処理)
ビックデータ処理における検索条件の自動学習への応用
【0080】
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。