特許 7077585 情報処理システム、情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-23

(45)【発行日】2022-05-31

(54)【発明の名称】情報処理システム、情報処理装置およびプログラム

(51)【国際特許分類】

   G06F 16/483 20190101AFI20220524BHJP

   G06F 16/43 20190101ALI20220524BHJP

   G10L 25/54 20130101ALI20220524BHJP

【ＦＩ】

G06F16/483

G06F16/43

G10L25/54

【請求項の数】 21

(21)【出願番号】P 2017220118

(22)【出願日】2017-11-15

(65)【公開番号】P2019091290

(43)【公開日】2019-06-13

【審査請求日】2020-08-31

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】100104880

【弁理士】

【氏名又は名称】古部 次郎

(74)【代理人】

【識別番号】100125346

【弁理士】

【氏名又は名称】尾形 文雄

(74)【代理人】

【識別番号】100166981

【弁理士】

【氏名又は名称】砂田 岳彦

(72)【発明者】

【氏名】扇 一行

(72)【発明者】

【氏名】高木 友史

(72)【発明者】

【氏名】木村 英俊

【審査官】北村 学

(56)【参考文献】

【文献】特開２０１０－２０６３６４（ＪＰ，Ａ）

【文献】特開２０１０－１６５３５４（ＪＰ，Ａ）

【文献】特開２００７－１２２１５７（ＪＰ，Ａ）

【文献】特開平１１－１６１６６１（ＪＰ，Ａ）

【文献】特開２００５－０１８３４４（ＪＰ，Ａ）

【文献】特開２００６－０９２３９６（ＪＰ，Ａ）

【文献】特開２０１０－１５２７４４（ＪＰ，Ａ）

【文献】特開２０１２－１６０７９３（ＪＰ，Ａ）

【文献】特開２０１４－０４２２３５（ＪＰ，Ａ）

【文献】特開２０１６－０８１１７４（ＪＰ，Ａ）

【文献】米国特許第０９３７３０７６（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

ＩＰＣ Ｇ０６Ｆ１６／００－１６／９５８

Ｇ１０Ｌ２５／５４

(57)【特許請求の範囲】

【請求項1】

少なくとも画像および音声が含まれる情報を解析して抽出された特徴情報に基づき当該情報を分解して得られた断片データを格納したデータベースと、
少なくとも画像および音声を含む情報を、特定の条件に従って継続的に取得する情報取得手段と、
前記情報取得手段により継続的に取得される情報を順次解析して特徴情報を抽出する特徴情報抽出手段と、
前記特徴情報抽出手段により抽出された前記特徴情報を順次検索キーに加えて前記データベースを検索する検索手段と、
前記検索手段による検索結果を出力する出力手段と、
を備えることを特徴とする、情報処理システム。

【請求項2】

前記出力手段は、前記検索手段による検索結果として得られた断片データを加工し、当該断片データおよび当該断片データの特徴情報に応じて予め定められた態様で当該断片データに基づく情報画像を生成し、表示装置に表示させることを特徴とする、請求項１に記載の情報処理システム。

【請求項3】

前記出力手段は、前記検索手段による検索が行われるたびに検索結果の断片データに基づく前記情報画像を生成し、生成した当該情報画像を、既に表示されている情報画像と共に順次表示させることを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記出力手段は、前記表示装置の画面上に起点位置を設定し、新規に前記情報画像を表示する際に、新規の当該情報画像を当該起点位置に表示し、既に表示されている情報画像を現在位置よりも当該起点位置から遠い位置に移動させることを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記表示装置に表示された前記情報画像の選択を受け付ける受け付け手段をさらに備え、
前記出力手段は、選択された前記情報画像に対応する前記断片データの加工前の断片データによる出力を行うことを特徴とする請求項２に記載の情報処理システム。

【請求項6】

前記検索手段は、選択された前記情報画像に対応する前記断片データに関連付けられた断片データを検索し、得られた断片データによる出力をさらに行うことを特徴とする請求項５に記載の情報処理システム。

【請求項7】

前記検索手段は、後に抽出された前記特徴情報ほど大きい重みを与えて検索キーとして用いることを特徴とする、請求項１に記載の情報処理システム。

【請求項8】

前記検索手段は、抽出された前記特徴情報が予め定められた開始条件を満足する場合に、当該特徴情報を検索キーとして前記データベースの検索を開始することを特徴とする、請求項１に記載の情報処理システム。

【請求項9】

前記検索手段は、前記特徴情報として、場所を特定する情報、時間を特定する情報、人を特定する情報のうち少なくとも二つが抽出されたことを前記開始条件として、前記データベースの検索を開始することを特徴とする、請求項８に記載の情報処理システム。

【請求項10】

前記特徴情報抽出手段により抽出された前記特徴情報に基づいて前記情報取得手段により取得された情報を分解して断片データを生成し、生成した当該断片データを前記データベースに格納するデータ処理手段をさらに備えることを特徴とする、請求項１に記載の情報処理システム。

【請求項11】

前記データ処理手段は、一の情報を分解して生成した複数の前記断片データを互いに関連付けて前記データベースに格納することを特徴とする、請求項１０に記載の情報処理システム。

【請求項12】

前記特徴情報抽出手段は、前記特徴情報として、取得された情報に関連付けられる人物を特定する情報を抽出し、
前記データ処理手段は、前記特徴情報として抽出された人物ごとに前記断片データを分類して前記データベースに格納することを特徴とする、請求項１１に記載の情報処理システム。

【請求項13】

少なくとも画像および音声が含まれる情報を解析して抽出された特徴情報に基づき当該情報を分解して得られた断片データを格納したデータベースから、少なくとも画像および音声が含まれる情報を特定の条件に従って継続的に取得すると共に当該情報を順次解析して特徴情報を抽出し、抽出した当該特徴情報を順次検索キーに加えて検索して得られた断片データを順次取得する取得手段と、
取得した前記断片データの特徴情報に基づいて当該断片データを加工して、当該特徴情報に関連する部分を表す情報画像を生成する画像生成手段と、
前記画像生成手段により生成された前記情報画像を、前記断片データおよび当該断片データの特徴情報に応じて予め定められた態様で表示する表示手段と、
を備えることを特徴とする、情報処理装置。

【請求項14】

前記表示手段は、前記取得手段により検索結果の前記断片データが取得されるたびに、当該断片データに基づいて前記画像生成手段により生成された前記情報画像を、既に表示されている情報画像と共に順次表示することを特徴とする、請求項１３に記載の情報処理装置。

【請求項15】

前記表示手段は、画面上に起点位置を設定し、新規に前記情報画像を表示する際に、新規の当該情報画像を当該起点位置に表示し、既に表示されている情報画像を現在位置よりも当該起点位置から遠い位置に移動させることを特徴とする、請求項１４に記載の情報処理装置。

【請求項16】

前記表示手段は、複数の検索キーに合致して検出された前記断片データに関して、合致した検索キーの数に応じて前記情報画像の表示サイズを制御することを特徴とする、請求項１３に記載の情報処理装置。

【請求項17】

前記表示手段は、前記情報画像の表示サイズに応じて、当該情報画像に表示される前記断片データの部分の表示倍率を制御することを特徴とする、請求項１６に記載の情報処理装置。

【請求項18】

前記表示手段は、特定の人物との関連を示す情報を検索キーとして検出された前記断片データに基づく前記情報画像の表示に関して、人物ごとに特定された特定表示を行うことを特徴とする、請求項１３に記載の情報処理装置。

【請求項19】

表示された前記情報画像の選択を受け付ける受け付け手段をさらに備え、
前記表示手段は、選択された前記情報画像に対応する前記断片データに基づいて、当該断片データに基づくコンテンツ表示を行うことを特徴とする、請求項１３に記載の情報処理装置。

【請求項20】

前記取得手段は、選択された前記情報画像に対応する前記断片データに関連する断片データを取得し、
前記表示手段は、取得された前記関連する断片データに基づくコンテンツ表示を行うことを特徴とする、請求項１９に記載の情報処理装置。

【請求項21】

コンピュータを、
少なくとも画像および音声が含まれる情報を解析して抽出された特徴情報に基づき当該情報を分解して得られた断片データを格納したデータベースから、少なくとも画像および音声が含まれる情報を特定の条件に従って継続的に取得すると共に当該情報を順次解析して特徴情報を抽出し、抽出した当該特徴情報を順次検索キーに加えて検索して得られた断片データを順次取得する取得手段と、
取得した前記断片データの特徴情報に基づいて当該断片データを加工して、当該特徴情報に関連する部分を表す情報画像を生成する画像生成手段と、
前記画像生成手段により生成された前記情報画像を、前記断片データおよび当該断片データの特徴情報に応じて予め定められた態様で表示装置に表示させる表示制御手段として、
機能させることを特徴とする、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理装置およびプログラムに関する。

【背景技術】

【0002】

様々な場面で映像や音声等の様々な電子データが収集され、データベースに蓄積することが行われている。例えば、下記特許文献１には、動画像データを構成する１以上のシーンの各々に対応した検索情報を利用して、所望の画像を検索するための動画像検索装置が開示されている。同文献に示される先行技術において、動画像データには検索情報が対応付けられており、検索情報は、シーンを空間的に分割することにより得られる複数の空間分割ブロックを単位とする要約情報を含む。空間分割ブロック単位の要約情報は、空間分割ブロック内の動画像データに基づいて算出される画像特性を示した数値情報であり、かつシーン内での相対値で与えられる。動画像検索装置は、検索情報を読出して管理するための情報管理手段と外部から与えられる第１の検索要求に応答して、情報管理手段から検索情報に含まれる空間分割ブロック単位の要約情報を受け取り空間分割ブロック単位の要約情報を用いて第１の検索要求に合致するシーンを検索するための第１のシーン検索手段を含む。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４０２７６６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、物事に対する新たな発想は、断片的な情報の組み合わせから生まれることが多い。また、そのような断片的な情報に、意図的に選択された検索キーによる検索結果以外の情報が含まれることにより、固定観念的な着想にとらわれない発想を促すことが期待される。しかし、従来のデータ検索の方式では、蓄積されたデータから断片的な情報の組み合わせを抽出したり、意図的に選択された検索キーに該当しない情報を含む検索結果を提示したりすることはできない。

【0005】

本発明は、取得される情報に基づいてかかる情報に関連する断片的な情報を検索して提示するシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

請求項１に係る本発明は、
少なくとも画像および音声が含まれる情報を解析して抽出された特徴情報に基づき当該情報を分解して得られた断片データを格納したデータベースと、
少なくとも画像および音声を含む情報を、特定の条件に従って継続的に取得する情報取得手段と、
前記情報取得手段により継続的に取得される情報を順次解析して特徴情報を抽出する特徴情報抽出手段と、
前記特徴情報抽出手段により抽出された前記特徴情報を順次検索キーに加えて前記データベースを検索する検索手段と、
前記検索手段による検索結果を出力する出力手段と、
を備えることを特徴とする、情報処理システムである。
請求項２に係る本発明は、
前記出力手段は、前記検索手段による検索結果として得られた断片データを加工し、当該断片データおよび当該断片データの特徴情報に応じて予め定められた態様で当該断片データに基づく情報画像を生成し、表示装置に表示させることを特徴とする、請求項１に記載の情報処理システムである。
請求項３に係る本発明は、
前記出力手段は、前記検索手段による検索が行われるたびに検索結果の断片データに基づく前記情報画像を生成し、生成した当該情報画像を、既に表示されている情報画像と共に順次表示させることを特徴とする請求項２に記載の情報処理システムである。
請求項４に係る本発明は、
前記出力手段は、前記表示装置の画面上に起点位置を設定し、新規に前記情報画像を表示する際に、新規の当該情報画像を当該起点位置に表示し、既に表示されている情報画像を現在位置よりも当該起点位置から遠い位置に移動させることを特徴とする請求項３に記載の情報処理システムである。
請求項５に係る本発明は、
前記表示装置に表示された前記情報画像の選択を受け付ける受け付け手段をさらに備え、
前記出力手段は、選択された前記情報画像に対応する前記断片データの加工前の断片データによる出力を行うことを特徴とする請求項２に記載の情報処理システムである。
請求項６に係る本発明は、
前記検索手段は、選択された前記情報画像に対応する前記断片データに関連付けられた断片データを検索し、得られた断片データによる出力をさらに行うことを特徴とする請求項５に記載の情報処理システムである。
請求項７に係る本発明は、
前記検索手段は、後に抽出された前記特徴情報ほど大きい重みを与えて検索キーとして用いることを特徴とする、請求項１に記載の情報処理システムである。
請求項８に係る本発明は、
前記検索手段は、抽出された前記特徴情報が予め定められた開始条件を満足する場合に、当該特徴情報を検索キーとして前記データベースの検索を開始することを特徴とする、請求項１に記載の情報処理システムである。
請求項９に係る本発明は、
前記検索手段は、前記特徴情報として、場所を特定する情報、時間を特定する情報、人を特定する情報のうち少なくとも二つが抽出されたことを前記開始条件として、前記データベースの検索を開始することを特徴とする、請求項８に記載の情報処理システムである。
請求項１０に係る本発明は、
前記特徴情報抽出手段により抽出された前記特徴情報に基づいて前記情報取得手段により取得された情報を分解して断片データを生成し、生成した当該断片データを前記データベースに格納するデータ処理手段をさらに備えることを特徴とする、請求項１に記載の情報処理システムである。
請求項１１に係る本発明は、
前記データ処理手段は、一の情報を分解して生成した複数の前記断片データを互いに関連付けて前記データベースに格納することを特徴とする、請求項１０に記載の情報処理システムである。
請求項１２に係る本発明は、
前記特徴情報抽出手段は、前記特徴情報として、取得された情報に関連付けられる人物を特定する情報を抽出し、
前記データ処理手段は、前記特徴情報として抽出された人物ごとに前記断片データを分類して前記データベースに格納することを特徴とする、請求項１１に記載の情報処理システムである。
請求項１３に係る本発明は、
少なくとも画像および音声が含まれる情報を解析して抽出された特徴情報に基づき当該情報を分解して得られた断片データを格納したデータベースから、少なくとも画像および音声が含まれる情報を特定の条件に従って継続的に取得すると共に当該情報を順次解析して特徴情報を抽出し、抽出した当該特徴情報を順次検索キーに加えて検索して得られた断片データを順次取得する取得手段と、
取得した前記断片データの特徴情報に基づいて当該断片データを加工して、当該特徴情報に関連する部分を表す情報画像を生成する画像生成手段と、
前記画像生成手段により生成された前記情報画像を、前記断片データおよび当該断片データの特徴情報に応じて予め定められた態様で表示する表示手段と、
を備えることを特徴とする、情報処理装置である。
請求項１４に係る本発明は、
前記表示手段は、前記取得手段により検索結果の前記断片データが取得されるたびに、当該断片データに基づいて前記画像生成手段により生成された前記情報画像を、既に表示されている情報画像と共に順次表示することを特徴とする、請求項１３に記載の情報処理装置である。
請求項１５に係る本発明は、
前記表示手段は、画面上に起点位置を設定し、新規に前記情報画像を表示する際に、新規の当該情報画像を当該起点位置に表示し、既に表示されている情報画像を現在位置よりも当該起点位置から遠い位置に移動させることを特徴とする、請求項１４に記載の情報処理装置である。
請求項１６に係る本発明は、
前記表示手段は、複数の検索キーに合致して検出された前記断片データに関して、合致した検索キーの数に応じて前記情報画像の表示サイズを制御することを特徴とする、請求項１３に記載の情報処理装置である。
請求項１７に係る本発明は、
前記表示手段は、前記情報画像の表示サイズに応じて、当該情報画像に表示される前記断片データの部分の表示倍率を制御することを特徴とする、請求項１６に記載の情報処理装置である。
請求項１８に係る本発明は、
前記表示手段は、特定の人物との関連を示す情報を検索キーとして検出された前記断片データに基づく前記情報画像の表示に関して、人物ごとに特定された特定表示を行うことを特徴とする、請求項１３に記載の情報処理装置である。
請求項１９に係る本発明は、
表示された前記情報画像の選択を受け付ける受け付け手段をさらに備え、
前記表示手段は、選択された前記情報画像に対応する前記断片データに基づいて、当該断片データに基づくコンテンツ表示を行うことを特徴とする、請求項１３に記載の情報処理装置である。
請求項２０に係る本発明は、
前記取得手段は、選択された前記情報画像に対応する前記断片データに関連する断片データを取得し、
前記表示手段は、取得された前記関連する断片データに基づくコンテンツ表示を行うことを特徴とする、請求項１９に記載の情報処理装置である。
請求項２１に係る本発明は、
コンピュータを、
少なくとも画像および音声が含まれる情報を解析して抽出された特徴情報に基づき当該情報を分解して得られた断片データを格納したデータベースから、少なくとも画像および音声が含まれる情報を特定の条件に従って継続的に取得すると共に当該情報を順次解析して特徴情報を抽出し、抽出した当該特徴情報を順次検索キーに加えて検索して得られた断片データを順次取得する取得手段と、
取得した前記断片データの特徴情報に基づいて当該断片データを加工して、当該特徴情報に関連する部分を表す情報画像を生成する画像生成手段と、
前記画像生成手段により生成された前記情報画像を、前記断片データおよび当該断片データの特徴情報に応じて予め定められた態様で表示装置に表示させる表示制御手段として、
機能させることを特徴とする、プログラムである。

【発明の効果】

【0007】

請求項１の発明によれば、ユーザが意図した検索キーを用いて検索を行う構成と比較して、継続的に取得される情報に基づいて、リアルタイムで、ユーザが意図しない情報を含む検索キーによる検索を行うことができる。
請求項２の発明によれば、検索結果を単に出力する構成と比較して、検索に寄与した情報をユーザに認識させることができる。
請求項３の発明によれば、検索を行うたびに以前の検索結果を新たな検索結果に置き換える構成と比較して、継続的に行われた検索の結果を俯瞰的に参照することができる。
請求項４の発明によれば、検索を行うたびに以前の検索結果を新たな検索結果に置き換える構成と比較して、継続的に行われた検索の結果を時系列に沿って把握することが容易である。
請求項５の発明によれば、検索結果を単に出力する構成と比較して、ユーザにより選択された検索結果の情報に特定して情報の詳細を確認することができる。
請求項６の発明によれば、検索結果を単に出力する構成と比較して、ユーザが着目した検索結果に関連する情報を取得することができる。
請求項７の発明によれば、ユーザが意図した検索キーを用いて検索を行う構成と比較して、時間の経過と共に追加される情報のうち、新しい情報を重視して関連情報を検索することができる。
請求項８の発明によれば、単に取得された情報から得られる情報を検索キーとして検索を行う構成と比較して、検索条件に絞り込みをかけることができる。
請求項９の発明によれば、単に取得された情報から得られる情報を検索キーとして検索を行う構成と比較して、検索条件に関して場所、時間および人のいずれかによる絞り込みをかけることができる。
請求項１０の発明によれば、単に検索のみを行う構成と比較して、検索キーを得るために取得した情報をデータベースに蓄積し、後の検索において検索される情報に含むことができる。
請求項１１の発明によれば、単に取得した情報をそのままデータベースに蓄積する構成や、分解してデータベースに蓄積する構成と比較して、取得した情報を分解して検索対象となる個々のデータに関して余計な情報を除くと共に、検索において取得した情報から得られる特徴情報だけでは辿り得ない情報に対して同じ元情報から分解されたという関連に基づいて辿ることが可能となるため、検索制度の向上を図ることができる。
請求項１２の発明によれば、単に取得した情報をそのままデータベースに蓄積する構成や、分解してデータベースに蓄積する構成と比較して、検索結果の情報に関連する人物を識別することができる。
請求項１３の発明によれば、ユーザが意図した検索キーを用いて検索を行う構成と比較して、取得された情報に関連する情報を、ユーザが意図しない情報を含む検索キーにより検索することができると共に、検索に寄与した情報をユーザに認識させることができる。
請求項１４の発明によれば、検索を行うたびに以前の検索結果を新たな検索結果に置き換える構成と比較して、継続的に行われた検索の結果を俯瞰的に参照することができる。
請求項１５の発明によれば、検索を行うたびに以前の検索結果を新たな検索結果に置き換える構成と比較して、継続的に行われた検索の結果を時系列に沿って把握することが容易である。
請求項１６の発明によれば、検索結果を単に出力する構成と比較して、複数の検索キーに対する一致度を直感的に把握することができる。
請求項１７の発明によれば、検索結果を単に出力する構成と比較して、検索結果である情報における特徴部分の認識を容易にすることができる。
請求項１８の発明によれば、単に取得した情報をそのままデータベースに蓄積する構成や、分解してデータベースに蓄積する構成と比較して、検索結果の情報に関連する人物を識別することができる。
請求項１９の発明によれば、検索結果を単に出力する構成と比較して、ユーザにより選択された検索結果の情報に特定して情報の詳細を確認することができる。
請求項２０の発明によれば、検索結果を単に出力する構成と比較して、ユーザが着目した検索結果に関連する情報を取得することができる。
請求項２１の発明によれば、ユーザが意図した検索キーを用いて検索を行う構成と比較して、本発明のプログラムをインストールしたコンピュータにおいて、取得された情報に関連する情報を、ユーザが意図しない情報を含む検索キーにより検索することができると共に、検索に寄与した情報をユーザに認識させることができる。

【図面の簡単な説明】

【0008】

【図1】本実施形態による情報処理システムの全体構成を示す図である。

【図2】サーバの機能構成を示す図である。

【図3】パーソナルコンピュータ（ＰＣ）の機能構成を示す図である。

【図4】サーバとして用いられるコンピュータおよびパーソナルコンピュータ（ＰＣ）のハードウェア構成例を示す図である。

【図5】パーソナルコンピュータ（ＰＣ）の表示部の表示画面であって、関連情報画像が表示される関連情報画像表示画面の構成例を示す図である。

【図6】パーソナルコンピュータ（ＰＣ）の表示制御部による関連情報画像表示画面の制御例を示す図であり、図６（Ａ）は起点画像のみが表示された状態を示す図、図６（Ｂ）は起点画像の位置に関連情報画像が表示された状態を示す図、図６（Ｃ）は関連情報画像が起点画像から離れた状態を示す図、図６（Ｄ）は起点画像の位置に次の関連情報画像が追加表示された状態を示す図、図６（Ｅ）は次の関連情報画像が起点画像から離れた状態を示す図、図６（Ｆ）は関連情報画像Ｉ－３０が追加表示され、さらに起点画像ＳＰから離れた状態を示す図である。

【図7】関連情報画像の表示内容の例を示す図である。

【図8】関連情報画像に対する操作による画面の表示の切り替えの例を示す図である。

【図9】関連情報画像に対する操作による画面の表示の切り替えの他の例を示す図である。

【図10】関連断片データに基づく情報画像の表示例を示す図であり、図１０（Ａ）は図９に示した表示態様とは異なる第１の表示態様を示し、図１０（Ｂ）は第２の表示態様を示す図である。

【図11】関連情報画像表示画面において操作メニューの表示が行われた様子を示す図である。

【図12】本実施形態の情報処理システムの適用例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜システム構成＞
図１は、本実施形態による情報処理システムの全体構成を示す図である。情報処理システム１００は、情報収集手段としてのカメラ１１１と、マイクロフォン１１２と、センサ１１３とを備える。また、情報処理システム１００は、情報管理手段としてのサーバ１２０と、情報出力手段としてのパーソナル・コンピュータ（ＰＣ）１３０および表示装置１４０を備える。

【0010】

カメラ１１１は、情報としての画像を取得する撮像装置である。カメラ１１１により取得された画像は、デジタル・データとしてサーバ１２０へ送られる。カメラ１１１により取得される画像は、動画および静止画の両方を含む。動画フォーマットによる動画データの他、一定時間ごとに撮影された時系列の静止画データの集合を取得する構成としても良い。カメラ１１１により取得された画像は、デジタル・データとしてサーバ１２０へ送られる。カメラ１１１としては、撮像対象や使用環境に応じて種々の構成のものを用いて良い。例えば、可搬型のカメラ（ハンディ・カメラ）であっても良いし、固定カメラであっても良い。また、周囲の広い空間の画像を取得する広角カメラや全周カメラ、特定の対象物や場所を様々な角度で撮影する複数のカメラ群等を用いても良い。さらに、取得される画像のデータ形式に着目すれば、デジタル画像として画像を取得するデジタル・カメラであっても良いし、アナログ画像として画像を取得するアナログ・カメラであっても良い。アナログ・カメラの場合、アナログ画像として取得された画像は、デジタル・データに変換して出力される。情報処理システム１００における具体的なカメラ１１１の構成は、動画の収集が行われる環境や場面、使用可能な機器の制約等に応じて特定される。したがって、特定の環境や場面において、動画および静止画の一方のみが取得される場合もある。

【0011】

マイクロフォン１１２は、情報としての音（音響情報）を収録する録音装置である。マイクロフォン１１２としては、収録しようとする場所や音響情報の種類等に応じて種々の特性や構成を有するものを用いて良い。例えば、特定の人物の音声や特定の対象物の作動音を収録する場合は、音声や作動音の音域に合わせた音域特性を有し、指向性の高いマイクロフォン１１２が用いられる。また、会議の参加者の音声や環境音を収録する場合は、無指向性や指向性の低いマイクロフォン１１２が用いられる。マイクロフォン１１２により収録された音響情報は、デジタル・データとしてサーバ１２０へ送られる。また、マイクロフォン１１２自体の構成としては、固定マイクや集音マイク、個人が装着するピン・マイク、強い指向性を持つマイクロフォン・アレイ等、様々な構成を取り得る。情報処理システム１００における具体的なマイクロフォン１１２の構成は、収録が行われる環境や場面、使用可能な機器の制約等に応じて特定される。

【0012】

センサ１１３は、対象物や環境から様々な情報を物理量として検出する検出装置である。センサ１１３としては、検出しようとする情報の種類に応じて様々な種類のものを用いて良い。例えば、温度センサ、湿度センサ、照度センサ、速度センサ、振動センサ等が単体で、あるいは組み合わせて用いられる。そして、これらのセンサ１１３により、室温や部屋の明るさ等の環境情報、血圧や脈拍等の生体情報、対象物の位置や動作状態を特定する情報等の様々な情報が取得される。情報処理システム１００における具体的なセンサ１１３の構成は、情報を取得しようとする対象や取得しようとする情報の種類に応じて特定される。センサ１１３により取得された情報は、デジタル・データとしてサーバ１２０へ送られる。

【0013】

なお、図１に示したカメラ１１１、マイクロフォン１１２およびセンサ１１３は、情報収集手段の一例に過ぎない。本実施形態では、情報を収集する場面や収集しようとする情報の種類等に応じて、カメラ１１１、マイクロフォン１１２およびセンサ１１３の全てを用いたり、いずれか一つまたは二つの手段を用いたりして、情報が収集される。また、カメラ１１１、マイクロフォン１１２およびセンサ１１３は、特定の条件にしたがって、継続的に情報を取得する。特定の条件とは、情報の取得を開始する条件および終了する条件である。具体的には、開始指示や終了指示の入力、時間的条件等が設定される。指示の入力を条件とする場合、カメラ１１１、マイクロフォン１１２およびセンサ１１３は、開始指示を受け付けて、情報を取得する動作（撮影や音声の収録等）を開始し、終了指示を受け付けて、情報を取得する動作を終了する。時間的条件に基づく場合、カメラ１１１、マイクロフォン１１２およびセンサ１１３は、予め定められた開始時刻になったならば、情報を取得する動作を開始し、予め定められた終了時刻になったならば、情報を取得する動作を終了する。また、情報を取得する動作を開始してから予め定められた時間を経過した時点で動作を終了するようにしても良い。

【0014】

サーバ１２０は、情報収集手段であるカメラ１１１、マイクロフォン１１２およびセンサ１１３により取得された情報（以下、取得情報）を管理する装置であると共に、蓄積された情報を検索して出力する情報処理装置である。サーバ１２０は、取得情報を解析して特徴情報を抽出し、抽出した特徴情報に基づいて取得情報を分解して断片データを生成する。そして、サーバ１２０は、生成した断片データをデータベースに格納し、特徴情報に基づいて管理する。また、サーバ１２０は、取得情報から抽出される特徴情報を検索キーとして、データベースに蓄積されている断片データを検索し、検索結果として得られた断片データを出力する。サーバ１２０は、カメラ１１１、マイクロフォン１１２およびセンサ１１３による情報の取得が継続的に行われている場合、これに伴って、取得情報の解析、断片データの蓄積、断片データの検索および出力等の処理を継続的に行うようにしても良い。なお、図１には、一つのサーバ１２０が示されているが、サーバ１２０は、単体のサーバマシンに限定されず、ネットワーク上に設けられた複数のサーバマシンに分散させてサーバ１２０の機能を実現しても良い（いわゆるクラウド環境等）。サーバ１２０の各機能、特徴情報および断片データの詳細については後述する。

【0015】

ＰＣ１３０は、サーバ１２０において検索された断片データに基づく画像を表示すると共に、表示された画像に対する操作を受け付ける情報処理装置である。ＰＣ１３０は、サーバ１２０から断片データおよび断片データの特徴情報を取得する。そして、ＰＣ１３０は、取得した特徴情報に基づいて特定される態様で断片データに基づく情報画像を生成し、表示部（ディスプレイ）に表示させる。また、ＰＣ１３０は、表示部に表示された情報画像に対する操作を受け付ける。そして、ＰＣ１３０は、受け付けた操作の内容を表示部の表示に反映させたり、受け付けた操作に応じてサーバ１２０に要求を行ったりする。ＰＣ１３０としては、例えば、デスクトップ型やノートブック型のパーソナル・コンピュータの他、タブレット型情報端末やスマートフォン等の携帯情報端末を用いても良い。

【0016】

表示装置１４０は、サーバ１２０において検索された断片データに基づく画像を表示する出力装置である。表示装置１４０は、サーバ１２０から断片データおよび断片データの特徴情報を取得し、取得した特徴情報に基づいて特定される態様で断片データに基づく情報画像を生成し、表示する。表示装置１４０としては、例えば、液晶ディスプレイ等の種々のディスプレイ装置の他、スクリーンに画像を表示するプロジェクタ等を用いても良い。また、表示装置１４０にユーザの操作を受け付ける手段を設け、受け付けた操作の内容を表示に反映させたり、受け付けた操作に応じてサーバ１２０に要求を行ったりするように構成しても良い。例えば、操作手段として表示画面と一体のタッチ・パネルを設け、表示された情報画像にタッチして表示を変更させる等の直感的な操作を受け付けるようにしても良い。

【0017】

なお、図１に示したＰＣ１３０および表示装置１４０は、情報出力手段の一例に過ぎない。本実施形態では、サーバ１２０により検索された断片データによる情報を利用しようとする場面や設備等に応じて、様々な態様の情報出力手段を構成して良い。例えば、ユーザごとにＰＣ１３０や表示装置１４０を用意し、各ユーザが自身の装置に表示される情報画像を閲覧するように構成しても良いし、一つのＰＣ１３０や表示装置１４０を用意し、複数のユーザが一つの表示画面を閲覧するように構成しても良い。複数のユーザが一つの表示画面を閲覧する構成では、操作手段をタッチ・パネルとして、各ユーザが画面に直接タッチして操作するようにしても良いし、ユーザごとに用意された操作手段としての入力デバイスを用いて各ユーザが画面に触れずに操作するようにしても良い。

【0018】

図１に示すシステム構成において、カメラ１１１、マイクロフォン１１２およびセンサ１１３とサーバ１２０、サーバ１２０とＰＣ１３０および表示装置１４０は、それぞれネットワークを介して接続されている。ネットワークは、各装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して各装置を接続するように構成しても良い。一例としては、カメラ１１１、マイクロフォン１１２およびセンサ１１３とサーバ１２０とをインターネットにより接続し、サーバ１２０とＰＣ１３０および表示装置１４０とをＬＡＮにより接続する構成が考えられる。

【0019】

＜サーバの機能構成＞
図２は、サーバ１２０の機能構成を示す図である。サーバ１２０は、データ取得部１２１と、解析部１２２と、データ処理部１２３と、データベース１２４とを備える。また、サーバ１２０は、検索部１２５と、データ加工部１２６と、送受信部１２７とを備える。

【0020】

データ取得部１２１は、図１に示したカメラ１１１、マイクロフォン１１２およびセンサ１１３から送られた各種情報のデータを受け付ける情報取得手段である。データ取得部１２１が取得する情報には、少なくとも画像および音声が含まれる。カメラ１１１、マイクロフォン１１２およびセンサ１１３による情報の取得が継続的に行われる場合、データ取得部１２１も、カメラ１１１、マイクロフォン１１２およびセンサ１１３から送られるデータを継続的に受信する。また、上記の例では、継続的に情報を取得するために、カメラ１１１、マイクロフォン１１２およびセンサ１１３が特定の条件にしたがって動作することとした。これに対し、カメラ１１１、マイクロフォン１１２およびセンサ１１３は常時、情報を取得してデータをサーバ１２０へ送信し続け、データ取得部１２１が、特定の条件にしたがって継続的に情報を受け付けるように構成しても良い。

【0021】

解析部１２２は、情報取得部１２１により受け付けられた取得情報を解析して特徴情報を抽出する特徴情報抽出手段である。特徴情報とは、取得情報のコンテンツ自体やその一部を特徴づける情報である。特徴情報としては、取得情報の内容から得られる情報や取得情報に関連して得られる情報が用いられる。解析部１２２は、データ取得部１２１により情報の取得が継続的に行われる場合、継続的に取得される取得情報を順次解析して特徴情報を抽出する。

【0022】

特徴情報としての、取得情報の内容から得られる情報は、取得情報の種類に応じて異なる。画像や音響情報など様々な形態の情報が取得情報として取得されるので、取得情報の内容から得られる特徴情報も、イメージを特定する情報、音を特定する情報、概念を特定するキーワード等、様々な形態の情報が抽出される。例えば、取得情報が画像であれば、被写体（人物、対象物）、画面内における被写体の場所、画面内に写った文字（テキスト情報）等を特徴情報として抽出し得る。これらの情報は、画像解析処理により得られる。さらに、画像が動画である場合、動画を再生した場合の時間的位置（例えば、動画の最初から再生して何分経過した時点で画面に現れる被写体か等）を特徴情報としても良い。

【0023】

また、取得情報が音響情報であれば、音響特性（大きさ、高さ、音色（波形））、音源の位置や方向、これらの変化、音声か否か等を特徴情報として抽出し得る。これらの情報は、音響解析処理により得られる。さらに、音響情報が音声である場合、音声解析を行って得られる発話内容、発話者の情報を特徴情報としても良い。

【0024】

また、取得情報が各種のセンサによって取得された情報（センサ・データ）である場合、取得した値（センサ値）、センサ値が含まれる範囲（予め定められた範囲に入っているか否か）、センサ値の変化の様子等を特徴情報として抽出し得る。

【0025】

特徴情報としての、取得情報に関連して得られる情報は、例えば、取得情報であるデータの属性やコンテンツの属性、付加情報、その他のメタ情報である。具体的には、取得情報が取得された時間を特定する情報、取得情報が取得された場所を特定する情報、取得情報を取得するのに用いられた機器を特定する情報、取得情報である画像の撮影者や音響情報の録音技術者を特定する情報、取得情報の管理者や取得情報のコンテンツに関わる権限を有する者の情報、取得情報に付与されたタイトルやテーマの情報等を特徴情報として抽出し得る。

【0026】

なお、上記の各情報は特徴情報の例に過ぎず、特徴情報として用い得る情報は上記の各情報に限定しない。実際のシステムにおいては、具体的なシステム構成や運用条件等に基づき、上記の情報の一部を特徴情報として用いても良いし、上記の情報以外の情報を特徴情報として抽出して用いても良い。特徴情報を抽出するためのアルゴリズムは、特に限定しない。取得情報から抽出される特徴情報および特徴情報を抽出するためのアルゴリズムは、システム構成や運用条件の変更等に応じて追加、変更し得る。

【0027】

データ処理部１２３は、解析部１２２により抽出された特徴情報に基づいて取得情報を処理するデータ処理手段である。データ処理部１２３は、特徴情報に基づいて取得情報を分解し、断片データを生成する。一つの取得情報からは、通常、複数の断片データが生成される。断片データとは、取得情報のコンテンツを分解して得られる、一または複数の特徴情報に示される特徴を含む部分コンテンツのデータである。部分コンテンツは、取得情報のコンテンツの種類や属性等に応じて種々の条件および手法で抽出される。具体例を挙げると、取得情報が画像であれば、例えば、被写体として特定された人物や対象物ごとに、それらの被写体が写っている一定領域の画像を部分コンテンツとして切り出しても良い。さらに、画像が動画である場合、例えば、同じ被写体や同じ場所が写っている場面を集めて部分コンテンツとしても良い。また、取得情報が音響情報であれば、収録された音のうち、同一音源から発せられた音や同一話者の発話音声等を集めて部分コンテンツとしても良い。また、音が発せられた時間や音の特性、その変化パターン等に基づいて部分コンテンツを切り出しても良い。取得情報がセンサ・データであれば、データが取得された時間、センサ値の範囲、センサ値の変化パターン等に基づいて部分コンテンツを切り出しても良い。このようにして取得情報から抽出された部分コンテンツごとのデータが断片データである。

【0028】

取得情報から部分コンテンツを抽出する条件や手法は、特に限定しない。一つの特徴情報に示される特徴を有する部分を部分コンテンツとして抽出しても良いし、複数の特徴情報に示される特徴を併せ持つ部分を部分コンテンツとして抽出しても良い。また、取得情報から部分コンテンツを抽出する条件や手法は、抽出される部分コンテンツごとに独立していても良い。したがって、一つの取得情報から抽出された複数の部分コンテンツにおいて、コンテンツやデータの一部が重複しても良い。また、取得情報から部分コンテンツを抽出する条件として用いられる特徴情報は、解析部１２２により取得情報から抽出された情報の他、ユーザにより手動で入力しても良い。

【0029】

データ処理部１２３は、取得情報を分解して生成した断片データと、断片データを生成するために部分コンテンツを抽出するのに用いた特徴情報とを対応付けて、データベース１２４に格納する。このようにすれば、特徴情報を指定してデータベース１２４を検索することにより、指定された特徴情報に対応する断片データを特定することが可能となる。また、データ処理部１２３は、一つの取得情報から生成した複数の断片データを互いに関連付けてデータベース１２４に格納する。このようにすれば、データベース１２４において一つの断片データを特定すると、断片データ間の関連付けを辿ることにより、その断片データと同じ取得情報から生成された他の断片データを特定することが可能となる。また、データ処理部１２３は、特徴情報として取得情報に関連付けられる人物を特定する情報を用いて断片データを生成した場合、その特徴情報により特定される人物ごとに断片データを分類してデータベース１２４に格納する。このようにすれば、分類された個々の人物に関連付けられた種々の場面や種々の状況で取得された取得情報に基づく断片データを、その人物に紐づけて管理することができる。取得情報に関連付けられる人物とは、特徴情報として抽出され得る態様で取得情報に関係する人物である。例えば、画像の被写体や音響情報の発話者や生体情報の取得対象者としての人物、画像の撮影者や音響情報の録音技術者としての人物、取得情報の管理者や取得情報のコンテンツに関わる権限を有する者としての人物等である。

【0030】

データベース１２４は、データ処理部１２３により生成された断片データを記憶する記憶手段である。データベース１２４は、データ処理部１２３により生成された断片データを、特徴情報や他の断片データと対応付け、特徴情報として用いられた人物ごとに分類して保持する。データベース１２４は、サーバ１２０の構成の一部であるが、図２に示すように、ネットワーク上に設けられたデータベース・サーバ（いわゆるクラウドサーバ等）により実現しても良い。

【0031】

検索部１２５は、解析部１２２により抽出された特徴情報を検索キーとしてデータベース１２４に蓄積された断片データの検索を行う検索手段である。検索部１２５は、解析部１２２において抽出された特徴情報を取得する。そして、検索部１２５は、取得した特徴情報が予め定められた開始条件を満足すると、取得した特徴情報を検索キーとしてデータベース１２４の検索を開始する。特徴情報としてイメージを特定する情報、音を特定する情報、キーワード等の様々な形態の情報が抽出されるため、検索部１２５は、これらの多様な情報を検索キーとして組み合わせて検索を行う。

【0032】

開始条件は、本実施形態による情報の収集および検索が行われる場面や状況に応じて設定し得る。例えば、特定の種類の特徴情報が抽出されたことを開始条件としても良い。一例として、特徴情報として場所を特定する情報、時間を特定する情報、人を特定する情報のうち、いずれか二つあるいは三つの情報が抽出されたことを開始条件としても良い。このようにすれば、検索が開始されると、最初から場所、時間、関連人物等が検索キーに含まれる検索が行われることとなり、特定の場面や状況に関連する断片データを検索する場合に効率が良い。また、予め定められた数の特徴情報が抽出されたことを開始条件としても良い。このようにすれば、最初から検索対象が複数の検索キー（特徴情報）に該当する断片データに絞り込まれた状態で検索が行われることとなる。

【0033】

検索部１２５は、カメラ１１１、マイクロフォン１１２およびセンサ１１３とデータ取得部１２１とにより継続的に情報の取得が行われる場合、解析部１２２により抽出された特徴情報を順次検索キーに加えて、データベースの検索を繰り返し実行する。これにより、カメラ１１１、マイクロフォン１１２およびセンサ１１３による情報の取得が継続的に行われるのに伴って、リアルタイムに、検索部１２５による取得情報に関連する断片データの検索が行われることとなる。また、新たに抽出された特徴情報による検索キーを、それ以前に用いられた検索キーに加えて検索を行うことにより、それまでの検索履歴を反映した検索（いわば、文脈に即した検索）を行うこととなる。そして、単に新たに抽出された特徴情報にのみ該当する断片データではなく、それ以前に検索キーとして用いられた特徴情報にも該当する断片データが得られることとなる。言い換えれば、直近に取得された取得情報にのみ関連する断片データではなく、それ以前に取得された取得情報にも関連する断片データが得られることとなる。ここで、新たに抽出された特徴情報を順次検索キーに加える場合、後に抽出された特徴情報ほど大きい重みを与えて検索キーとして用いても良い。これにより、直近に取得された情報に対してより強く関連する断片データが得られることとなる。

【0034】

また、検索部１２５は、後述する検索指示に応じて、特定の断片データに基づき、この特定の断片データに関連する他の断片データを検索する。この場合、検索部１２５による検索の手法は、検索指示に応じて異なる場合がある。一例としては、検索部１２５は、データ処理部１２３により断片データが生成された際に付された関連情報を用い、特定の断片データと同じ取得情報から生成された他の断片データを特定して検索する。また、他の例としては、検索部１２５は、特定の断片データが該当する特徴情報を検索キーとして用いて検索を行い、他の断片データを得る。

【0035】

データ加工部１２６は、検索部１２５の検索により得られた断片データを、この断片データの特徴情報に基づいて加工する処理手段である。データ加工部１２６は、断片データに基づく関連情報画像（情報画像）を生成するために必要な情報を付加する。関連情報画像とは、断片データによる部分コンテンツを表示する画像である。部分コンテンツは、その部分コンテンツが切り出された元の取得情報のコンテンツの一部を構成するものであり、具体的には静止画、動画、音響情報、センサ・データ等である。したがって、部分コンテンツの種類によっては、関連情報画像として表示される画像を生成したり、付加的に表示される情報を付加したりする必要がある。また、部分コンテンツの種類や特徴情報の種類に応じて、特別な表示態様で関連情報画像を表示する場合がある。例えば、部分コンテンツが動画である場合、動画をそのまま表示するのではなく、動画の一場面を切り取った見本画像（サムネイル）を表示する場合がある。また、部分コンテンツが音響情報である場合、そのまま表示することはできないので、音響情報であることを示す画像やテキストを表示する場合がある。また、部分コンテンツがセンサ・データである場合、センサ値やその変化をグラフやテキストで表現して表示する場合がある。そこで、データ加工部１２６は、そのような表示を行うために必要なデータの加工を行う。

【0036】

送受信部１２７は、情報出力手段である外部装置（図１に示した構成例では、ＰＣ１３０および表示装置１４０）に対してデータ交換を行うための通信手段である。具体的には、送受信部１２７は、データ加工部１２６により加工された断片データをＰＣ１３０や表示装置１４０へ送信する。また、送受信部１２７は、ＰＣ１３０や表示装置１４０から検索指示を受け付ける。検索指示については後述する。

【0037】

＜端末装置の機能構成＞
図３は、ＰＣ１３０の機能構成を示す図である。図１に示した構成例では、サーバ１２０による検索結果を出力する情報出力手段として、ＰＣ１３０および表示装置１４０を備える構成としたが、ここでは、情報出力手段である外部装置の例として、ＰＣ１３０について機能を説明する。ＰＣ１３０は、送受信部１３１と、表示制御部１３２と、表示部１３３と、操作部１３４と、操作受け付け部１３５とを備える。

【0038】

送受信部１３１は、サーバ１２０に対してデータ交換を行うための通信手段である。具体的には、送受信部１３１は、サーバ１２０から断片データを受信する。また、送受信部１３１は、断片データに基づく関連情報画像に対する操作にしたがって、サーバ１２０に対して検索指示を送信する。

【0039】

表示制御部１３２は、サーバ１２０から取得した断片データに基づく関連情報画像を生成する画像生成手段であり、生成した関連情報画像を表示部１３３に表示させる表示制御手段である。表示制御部１３２は、サーバ１２０から断片データおよび特徴情報を取得し、取得した断片データに基づく関連情報画像を生成する。そして、表示制御部１３２は、表示部１３３における関連情報画像の表示を制御する。関連情報画像とは、断片データによる部分コンテンツの情報をＰＣ１３０のユーザに提示する画像である。関連情報画像により提示される部分コンテンツの情報は、部分コンテンツの種類や内容に応じて設定し得る。例えば、部分コンテンツが静止画や文書ファイル（テキストデータを含む）である場合、部分コンテンツ自体を表示する場合の画像（以下、コンテンツ画像）の一部を切り出して関連情報画像としても良い。また、部分コンテンツが動画である場合、動画の一場面を切り取った見本画像（サムネイル）および動画の再生を開始させる再生ボタンの画像を関連情報画像としても良い。また、部分コンテンツが音響情報である場合、音響情報であることを表す画像や音響情報の再生を開始させる再生ボタンの画像を関連情報画像としても良い。さらに、部分コンテンツが発話音声である場合は、音響情報であることを表す画像や音響情報の再生を開始させる再生ボタンの画像に加えて、音声解析により得られた発話内容の一部を示すテキストの画像を関連情報画像としても良い。

【0040】

表示制御部１３２は、サーバ１２０から断片データを受信するたびに、取得した断片データに基づいて生成した関連情報画像を、表示部１３３に、既に表示されている関連情報画像と共に順次表示する。また、表示制御部１３２は、関連情報画像の形状、色、表示サイズ、表示部１３３の画面における関連情報画像の表示位置や移動、表示態様の切り替え等の制御を行う。また、表示制御部１３２は、関連情報画像を表示した後に受け付ける指示に応じて、コンテンツ画像の表示を制御する。コンテンツ画像は、いわば、サーバ１２０のデータ加工部１２６による加工が行われる前の断片データに基づく画像である。表示制御部１３２による関連情報画像およびコンテンツ画像に関する表示制御の詳細については後述する。

【0041】

表示部１３３は、表示制御部１３２により生成された関連情報画像やコンテンツ画像を表示する表示手段である。表示部１３３は、表示制御部１３２の制御にしたがって、関連情報画像に関して、断片データの特徴情報に基づく表示を行う。また、表示部１３３は、表示制御部１３２の制御にしたがって、関連情報画像への操作により指定された部分コンテンツのコンテンツ画像の表示（コンテンツ表示）を行う。

【0042】

操作部１３４は、ユーザが表示部１３３に表示された関連情報画像に対する操作を行うためのデバイスである。操作部１３４としては、例えば、マウス等のポインティング・デバイスやタッチ・パネル等が用いられる。操作部１３４として表示部１３３の表示画面と一体に設けられたタッチ・パネルを用いれば、表示画面に表示された関連情報画像に直接タッチするような直感的な動作で関連情報画像に対する操作を行うことができる。

【0043】

操作受け付け部１３５は、操作部１３４を用いて行われた関連情報画像に対する操作を受け付ける受け付け手段である。操作受け付け部１３５は、関連情報画像が表示された表示部１３３の表示画面上で操作部１３４を用いて行われた操作による関連情報画像の選択を受け付ける。また、選択した関連情報画像に対して操作部１３４を用いて行われた種々の操作を受け付ける。

【0044】

なお、ここではＰＣ１３０の機能構成を説明したが、表示装置１４０もほぼ同様の構成として良い。具体的には、表示装置１４０は、サーバ１２０から断片データを受信する受信部（送受信部１３１）と、関連情報画像およびコンテンツ画像の表示制御を行う表示制御部（表示制御部１３２）と、関連情報画像およびコンテンツ画像を表示する表示部（表示部１３３）とを備える。関連情報画像に対する操作は、表示装置１４０に接続された外部装置としての入力デバイス（操作部１３４）を用いて行っても良い。この場合、入力デバイスの接続手段が操作受け付け部１３５に相当する。また、入力デバイスとして表示部の表示画面と一体に設けられたタッチ・パネルを用いる場合は、操作部１３４に対応する機能も表示装置１４０に設けられた構成となる。

【0045】

＜コンピュータのハードウェア構成＞
図４は、サーバ１２０として用いられるコンピュータおよびＰＣ１３０のハードウェア構成例を示す図である。図４に示すコンピュータ２００は、演算手段であるＣＰＵ（Central Processing Unit）２０１と、記憶手段である主記憶装置（メイン・メモリ）２０２および外部記憶装置２０３を備える。ＣＰＵ２０１は、外部記憶装置２０３に格納されたプログラムを主記憶装置２０２に読み込んで実行する。主記憶装置２０２としては、例えばＲＡＭ（Random Access Memory）が用いられる。外部記憶装置２０３としては、例えば磁気ディスク装置やＳＳＤ（Solid State Drive）等が用いられる。また、コンピュータ２００は、表示装置（ディスプレイ）２１０に表示出力を行うための表示機構２０４と、コンピュータ２００のユーザによる入力操作が行われる入力デバイス２０５とを備える。入力デバイス２０５としては、例えばキーボードやマウス等が用いられる。また、コンピュータ２００は、ネットワークに接続するためのネットワーク・インターフェイス２０６を備える。なお、図４に示すコンピュータ２００の構成は一例に過ぎず、本実施形態で用いられるコンピュータは図４の構成例に限定されるものではない。例えば、記憶装置としてフラッシュ・メモリ等の不揮発性メモリやＲＯＭ（Read Only Memory）を備える構成としても良い。

【0046】

図２に示したサーバ１２０が図４に示すコンピュータにより実現される場合、データ取得部１２１および送受信部１２７は、例えば、ネットワーク・インターフェイス２０６により実現される。解析部１２２、データ処理部１２３、検索部１２５およびデータ加工部１２６の各機能は、例えば、ＣＰＵ２０１がプログラムを実行することにより実現される。データベース１２４は、例えば、主記憶装置２０２や外部記憶装置２０３により実現される。データベース１２４としてネットワーク上のデータベース・サーバ等が用いられる場合は、例えば、ネットワーク・インターフェイス２０６を介してサーバ１２０とデータベース１２４とが接続される。

【0047】

図３に示したＰＣ１３０が図４に示すコンピュータにより実現される場合、送受信部１３１は、例えば、ネットワーク・インターフェイス２０６により実現される。表示制御部１３２は、例えば、プログラム制御されたＣＰＵ２０１と表示機構２０４とにより実現される。表示部１３３は、例えば、表示装置２１０により実現される。操作部１３４は、例えば、入力デバイス２０５により実現される。操作受け付け部１３５は、例えば、プログラム制御されたＣＰＵ２０１により実現される。

【0048】

特に図示しないが、情報出力手段として表示装置１４０が用いられる場合、表示装置１４０は、表示部と共に、表示制御を行うためのプロセッサおよび表示機構、サーバ１２０からデータを受信するためのネットワーク・インターフェイスを備える。画面上の関連情報画像等を操作するために外部の入力デバイスを用いる構成では、表示装置１４０は、入力デバイスを接続するためのインターフェイスを備える。また、表示装置１４０自身が、タッチ・パネル等の入力デバイスを備える構成であっても良い。

【0049】

＜関連情報画像の表示制御＞
図５は、ＰＣ１３０の表示部１３３の表示画面であって、関連情報画像が表示される画面（以下、関連情報画像表示画面）の構成例を示す図である。図５に示す例では、関連情報画像表示画面に、一つの起点画像ＳＰと、４つの関連情報画像Ｉ－１０～Ｉ－４０が表示されている。起点画像ＳＰは、関連情報画像Ｉ－１０～Ｉ－４０が表示される際の起点となる位置を示す画像である。また、起点画像ＳＰは、関連情報画像表示画面の表示を操作するための操作子として用いられる。関連情報画像Ｉ－１０は、部分コンテンツが文書ファイルである場合の関連情報画像の例である。関連情報画像Ｉ－２０は、部分コンテンツが動画である場合の関連情報画像の例である。関連情報画像Ｉ－３０は、部分コンテンツが音響情報である場合の関連情報画像の例である。関連情報画像Ｉ－４０は、部分コンテンツが静止画である場合の関連情報画像の例である。なお、関連情報画像表示画面に表示される関連情報画像の数の上限は、関連情報画像表示画面のサイズ（広さ）と関連情報画像のサイズ（大きさ）とに基づいて定まるものであり、図５に示す４つに限定されない。関連情報画像が追加表示されていき、関連情報画像表示画面に表示し得る数の上限に達したならば、次の関連情報画像が表示されるたびに、最も古い関連情報画像から順に消去していくように制御しても良い。

【0050】

図６は、ＰＣ１３０の表示制御部１３２による関連情報画像表示画面の制御例を示す図である。図６（Ａ）は起点画像ＳＰのみが表示された状態を示す図、図６（Ｂ）は起点画像ＳＰの位置に関連情報画像Ｉ－１０が表示された状態を示す図、図６（Ｃ）は関連情報画像Ｉ－１０が起点画像ＳＰから離れた状態を示す図、図６（Ｄ）は起点画像ＳＰの位置に関連情報画像Ｉ－２０が追加表示された状態を示す図、図６（Ｅ）は関連情報画像Ｉ－２０が起点画像ＳＰから離れた状態を示す図、図６（Ｆ）は関連情報画像Ｉ－３０が追加表示され、さらに起点画像ＳＰから離れた状態を示す図である。

【0051】

図６に示すように、関連情報画像表示画面の初期状態は、起点画像ＳＰのみが表示される（図６（Ａ））。サーバ１２０により最初の断片データが検索されると、この断片データに基づく関連情報画像Ｉ－１０が起点画像ＳＰの位置に表示される（図６（Ｂ））。次に、関連情報画像Ｉ－１０が起点画像ＳＰから離れた位置に移動する（図６（Ｃ））。この状態で、関連情報画像Ｉ－１０に対して、操作部１３４による操作が受け付けられるようになる。次に、サーバ１２０により次の断片データが検索され、この断片データに基づく関連情報画像Ｉ－２０が起点画像ＳＰの位置に表示される（図６（Ｄ））。そして、関連情報画像Ｉ－２０が起点画像ＳＰから離れた位置に移動する（図６（Ｅ））。より詳しくは、関連情報画像Ｉ－１０が、図６（Ｃ）に示した位置よりも起点画像ＳＰから遠い位置に移動すると共に、関連情報画像Ｉ－２０が、それまで関連情報画像Ｉ－１０が表示されていた位置に移動する。この状態で、関連情報画像Ｉ－１０および関連情報画像Ｉ－２０に対し、操作部１３４による操作が受け付けられるようになる。同様に、サーバ１２０により次の断片データが検索されると、この断片データに基づく関連情報画像Ｉ－３０が起点画像ＳＰの位置に表示され、起点画像ＳＰから離れた位置に移動する（図６（Ｆ））。このとき、関連情報画像Ｉ－１０が、図６（Ｃ）に示した位置よりもさらに起点画像ＳＰから遠い位置に移動すると共に、関連情報画像Ｉ－２０が、それまで関連情報画像Ｉ－１０が表示されていた位置に移動する。そして、関連情報画像Ｉ－３０が、それまで関連情報画像Ｉ－２０が表示されていた位置に移動する。

【0052】

このようにして、サーバ１２０において断片データが検索されるたびに、検索された断片データに基づく関連情報画像が表示され、次々と泡が表れて空間を漂うように、移動していく。ここで、新しい関連情報画像が表示されるたびに、既に表示されている関連情報画像は、それまでの表示位置（現在位置）よりも起点画像ＳＰから遠い位置に移動する。これにより、先に表示された関連情報画像ほど起点画像ＳＰから遠く、後に表示された関連情報画像ほど起点画像ＳＰの近くに表示されるため、関連情報画像の時系列が、並び順によって直感的に把握される。

【0053】

図７は、関連情報画像の表示内容の例を示す図である。図７には、部分コンテンツが文書ファイルである場合の関連情報画像の例が示されている。図７に示す例では、文書ファイルである部分コンテンツＣ－１自体を表示する場合のコンテンツ画像の一部が切り出されて関連情報画像Ｉ－１０となっている。ここで、部分コンテンツＣ－１のコンテンツ画像のうち、関連情報画像Ｉ－１０として切り出される部分は、例えば、部分コンテンツＣ－１の断片データを検索するのに用いられた特徴情報に対応する部分としても良い。具体例を挙げると、特定の単語を検索キー（キーワード）としてデータベース１２４を検索し、その単語を含む文書ファイルである部分コンテンツＣ－１が検出されたものとする。この場合、検出された部分コンテンツＣ－１のコンテンツ画像の中でその単語が実際に記載されている部分が切り出され、関連情報画像Ｉ－１０に表示される。

【0054】

部分コンテンツが静止画である場合（センサ・データをグラフ等の図で表現した画像を含む）は、上記の文書ファイルの場合と同様に、静止画のコンテンツ画像中で特徴情報に対応する部分を切り出して関連情報画像としても良い。部分コンテンツが動画や音響情報である場合、コンテンツ画像の一部を関連情報画像として用いるのではなく、見本画像や部分コンテンツの種類を示す画像が関連情報画像として用いられる。

【0055】

関連情報画像の表示サイズは、部分コンテンツの断片データの検索に用いられた特徴情報を反映して設定される。サーバ１２０の検索部１２５は、複数の特徴情報（検索キー）を組み合わせて検索を行い得る。そこで、検索において合致した検索キーの数が多いほど大きい表示サイズで関連情報画像を表示するように制御しても良い。この場合、関連情報画像の表示サイズに応じて、関連情報画像として用いられるコンテンツ画像の部分の表示倍率を制御しても良い。具体的には、関連情報画像を大きい表示サイズで表示する場合、表示されるコンテンツ画像の部分も拡大表示するようにしても良い。また、コンテンツ画像の部分の表示倍率は変更せず、より多くの情報（コンテンツ画像におけるより広い領域）を関連情報画像として表示するようにしても良い。

【0056】

＜関連情報画像に対する操作＞
関連情報画像表示画面に表示された関連情報画像に対して操作が行われると、表示制御部１３２は、操作に応じて画面の表示を切り替える。具体的には、関連情報画像を選択する操作に応じて、選択された関連情報画像に示された部分コンテンツのコンテンツ画像を表示したり、選択された関連情報画像に示された部分コンテンツに関連する他の部分コンテンツの情報を表示したりする。

【0057】

図８は、関連情報画像に対する操作による画面の表示の切り替えの例を示す図である。図８に示す例では、関連情報画像表示画面において関連情報画像Ｉ－３０を選択する操作が行われたものとする。図示の例では、操作部１３４としてタッチ・パネルが用いられ、関連情報画像を選択する操作として関連情報画像Ｉ－３０がタッチされた。ここで、関連情報画像Ｉ－３０に示された部分コンテンツが動画であるものとする。この場合、表示制御部１３２の制御により、画面の表示は、関連情報画像表示画面から部分コンテンツを表示するコンテンツ画像を表示する画面に切り替わる。ここでは、部分コンテンツが動画であるため、動画コンテンツを再生する再生ソフトウェアの操作パネルＣ－２が表示される。コンテンツ画像の表示画面は、部分コンテンツの種類に応じて種々の形態となる。例えば、選択された関連情報画像の部分コンテンツが静止画や文書ファイルであれば、これらの部分コンテンツ自体を画像として表示する画面となる。また、選択された関連情報画像の部分コンテンツが音響情報であれば、動画の場合と同様に、音響情報を再生する再生ソフトウェアの操作パネルが表示される。

【0058】

図９は、関連情報画像に対する操作による画面の表示の切り替えの他の例を示す図である。図９に示す例においても、図８と同様に、操作部１３４としてタッチ・パネルが用いられ、関連情報画像を選択する操作として関連情報画像Ｉ－３０がタッチされたものとする。ただし、ここでは図８の操作とは異なる操作として、一定時間以上継続して関連情報画像Ｉ－３０がタッチ（ロング・タッチ）されたものとする。この場合、表示制御部１３２は、サーバ１２０に対して、選択された関連情報画像に示された部分コンテンツの断片データに関連する他の断片データ（以下、関連断片データ）を要求する。サーバ１２０の検索部１２５は、この要求に応じてデータベース１２４を検索し、得られた関連断片データをＰＣ１３０に返送する。ＰＣ１３０の表示制御部１３２は、取得した関連断片データに基づく表示を行う。

【0059】

関連断片データに基づく表示は、関連情報画像と同様の表示であって良い。ただし、選択操作が行われた関連情報画像に関連付けられたものであることを明示的に示す表示が行われる。図９に示す例では、選択された関連情報画像Ｉ－３０に接触させて、関連断片データに基づく５つの情報画像Ｉ－３１が表示されている。関連断片データに基づく情報画像は、関連情報画像と同様に、選択操作による表示の切り替えが行われるようにしても良い。なお、関連断片データに基づく情報画像の表示態様は、選択された関連情報画像との関係がわかるものであれば良く、図９に示す表示態様に限定されない。

【0060】

図１０は、関連断片データに基づく情報画像の表示例を示す図である。図１０（Ａ）は図９に示した表示態様とは異なる第１の表示態様を示し、図１０（Ｂ）は第２の表示態様を示す。図１０（Ａ）に示す例では、関連情報画像の周囲に、円環状に、関連断片データに基づく情報画像を配置することにより両画像が関連することを示している。図１０（Ｂ）に示す例では、関連情報画像と関連断片データに基づく情報画像とをエッジで連結することにより両画像が関連することを示している。

【0061】

関連情報画像表示画面では、上記のように関連情報画像に対する操作を受け付けて表示制御が行われる他、起点画像ＳＰに対する操作を受け付けて表示制御を行っても良い。例えば、起点画像ＳＰに対する選択操作が行われると、関連情報画像の新規表示および移動を停止させ、再度、起点画像ＳＰに対する選択操作が行われると、関連情報画像の新規表示および移動を再開するような表示制御を行っても良い。また、起点画像ＳＰに対する選択操作が行われると操作メニューを表示し、各種の操作の指示を受け付けられるようにしても良い。

【0062】

図１１は、関連情報画像表示画面において操作メニューの表示が行われた様子を示す図である。図１１に示す例では、起点画像ＳＰに対して選択操作が行われ、関連情報画像表示画面に対する操作の指示を入力するための操作メニューＭ－１が表示されている。ユーザが操作メニューＭ－１に表示された操作を選択すると、表示制御部１３２は、関連情報画像表示画面に対して選択された操作に基づく各種の表示制御を実行する。

【0063】

＜適用例＞
本実施形態の適用例を説明する。本実施形態の情報処理システム１００は、様々な場面において、画像、音響情報、センサ・データ等の情報を収集し、蓄積すると共に、収集した取得情報から得られた特徴情報を検索キーとして蓄積されている断片的な情報を検索して出力する。したがって、画像、音響情報、センサ・データ等の情報が取得されるのに伴って、随時、取得情報に対して特徴情報により関連付けられる断片的な情報が検出され、ユーザに提示されることになる。また、情報の検索は、ユーザが意図的に入力した検索キーではなく、取得情報から抽出された種々の特徴情報を組み合わせた検索キーにより行われる。そのため、検索結果として提示される情報には、ユーザが関連情報として想定しないような情報が含まれる可能性がある。

【0064】

以下に、具体的な適用場面を想定して、本実施形態の情報処理システム１００の適用例を説明する。ここでは一例として、情報処理システム１００を会議に適用する場合について考える。適用対象の会議を次のように想定する。毎週１回、定期的に開催する。参加者は固定で、Ａ、Ｂ、Ｃの３名、会場は不特定とする。

【0065】

図１２は、本実施形態の情報処理システム１００の適用例を示す図である。図１２に示す場面は、ある時に開催された上記の会議の場面である。参加者Ａ、Ｂ、ＣはテーブルＴを囲んでおり、テーブルＴ上には周囲を撮影する全周カメラ（カメラ１１１）と、マイクロフォン１１２とが置かれている。また、参加者Ａの後方には表示装置１４０が設けられている。サーバ１２０は図示されていない。会議が開始されると、カメラ１１１およびマイクロフォン１１２のスイッチがオンにされ、情報の取得が開始される。

【0066】

カメラ１１１およびマイクロフォン１１２は、会議が行われている間、継続的に情報を取得する。したがって、会議の進行に伴って、サーバ１２０が次々と、取得情報から特徴情報を抽出し、断片データを検索する。そして、検索された断片データに基づき関連情報画像が次々と生成され、表示装置１４０に表示される。例えば、会議において、参加者の一人による「先週の会議でＢさんが話した議題」という発言をマイクロフォン１１２により取得したものとする。すると、この取得情報から特徴情報として「先週の会議」、「参加者Ｂ」、「議題」等のキーワードが抽出される。そして、データベース１２４の検索により、これらのキーワードに関連付けられた断片データが検出され、検出された断片データに基づいて関連情報画像が生成され、表示装置１４０に表示される。

【0067】

また、会議において、参加者Ｃが資料を提示し、この資料がカメラ１１１により撮影されたものとする。すると、この取得情報から資料のイメージや資料に記述されたテキスト等の情報が特徴情報として抽出される。そして、データベース１２４の検索により、これらの特徴情報に関連付けられた断片データが検出され、検出された断片データに基づいて関連情報画像が生成され、表示装置１４０に表示される。

【0068】

データベース１２４には、断片データが、特徴情報により特定される人物ごとに分類して格納されている。したがって、検索キーとして用いられた特徴情報として人物を特定する情報がある場合、検索結果として得られた断片データに関連する人物を特定することができる。そこで、図１２に示した例のように、複数人の情報が取得される場面で関連情報画像を表示する場合、誰に関連する関連情報画像かを識別できるようにしても良い。例えば、関連情報画像の枠に、関連する人物ごとに異なる色を付して表示しても良い。また、関連する人物ごとに形状を異ならせた関連情報画像を表示しても良い。さらに、関連情報画像に連接して、または関連情報画像の近傍に、視認するユーザが関連する人物を特定可能な画像（サムネイル写真等）を表示したり、関連する人物を特定可能な情報（名前等）を表示したりしても良い。

【0069】

図１２に示した例では、会議の参加者全員が視認できる表示装置１４０に関連情報画像を表示し、各参加者が一つの関連情報画像表示画面を参照するようにしたが、関連情報画像の利用方法は上記の例に限定されない。例えば、各参加者が所持する携帯型端末の表示部に関連情報画像を個別に表示するようにしても良い。以上のようにして、サーバ１２０は、会議の進行に伴い、会議中に取得される情報に基づき、リアルタイムで断片データの検索を行う。そして、得られた断片データに基づく関連情報画像を表示させる。また、サーバ１２０は、会議の進行に伴って取得した取得情報を、抽出した特徴情報に基づいて分解し、断片データとしてデータベース１２４に格納する。

【0070】

データベース１２４を検索する際に、検索キーとして用いられる特徴情報に対して重み付けを行うことにより、検索結果として得られる断片データの傾向に影響を与えることができる。例えば、個人を特定するような特徴情報に大きい重みを与えて検索を行うと、特定される個人に関連する断片データが検索される割合が大きくなることが想定される。一方、場所、時間、場面、議題などの複数ユーザが共有する特徴情報に大きい重みを与えて検索を行うと、複数ユーザに関連する断片データが検索される割合が大きくなることが想定される。図１２に示したように、会議において検索される情報を参加者全員で参照する場合は、後者のような検索を行うことで、各参加者に関連する情報を含む関連情報画像の表示が行われる可能性が高くなる。一方、関連情報画像を各参加者の携帯型端末に表示させるような場合は、前者のような検索を行い、個別に関連情報画像の表示制御を行うことで、参加者ごとに異なる関連情報画像を表示させ得る。

【0071】

なお、上記の例では、複数人が参加する会議の場面を想定して情報処理システム１００の適用例を説明したが、情報処理システム１００は、より多くの人が参加するイベントにおいて利用しても良い。また、一人のユーザが自身の情報処理装置を用いて自身の情報をデータベース１２４に蓄積させながら、関連情報画像を閲覧するようにしても良い。

【0072】

また、図１２に示すような適用例において、参加者に脈拍や血圧、一定時間の呼吸数等の生体情報を取得するセンサ１１３を持たせておき、会議中の各参加者の生体情報を取得情報として取得しても良い。そして、脈拍の変動や血圧の上昇、呼吸数の増加等を特徴情報として抽出し、データベース１２４に蓄積する断片データに付与したり、断片データの検索に用いたりすることにより、参加者の動揺や興奮等の感情の変化を、断片データの検索に反映させ得る。

【0073】

本実施形態では、種々の取得情報から抽出された種々の特徴情報を組み合わせた検索キーを用いて断片データの検索を行うため、検索結果として提示される情報には、ユーザが関連情報として想定しないような情報が含まれる可能性があることを述べた。これに加えて、断片データを検索する際に、検索キーが合致する割合が低い（特徴情報に対してあまり関連しない）断片データが適当な割合で検索結果に含まれるようにしても良い。このような制御を行うことで、より一層、ユーザの想定を外れた情報を提示し得る。

【0074】

以上、本発明の実施形態について説明したが、本発明の技術的範囲は上記実施形態には限定されない。例えば、上記の実施形態では、サーバ１２０がデータ加工部１２６を有する構成としたが、サーバ１２０は検索部１２５による検索結果をそのまま出力し、情報出力手段であるＰＣ１３０において、関連情報画像を生成するのに必要な加工を行うように構成しても良い。また、サーバ１２０において関連情報画像の表示制御までを行い、ＰＣ１３０や表示装置１４０ではサーバ１２０の制御にしたがって関連情報画像の表示のみを行うように構成しても良い。その他、本発明の技術思想の範囲から逸脱しない様々な変更や構成の代替は、本発明に含まれる。

【符号の説明】

【0075】

１００…情報処理システム、１１１…カメラ、１１２…マイクロフォン、１１３…センサ、１２０…サーバ、１２１…データ取得部、１２２…解析部、１２３…データ処理部、１２４…データベース、１２５…検索部、１２６…データ加工部、１２７…送受信部、１３０…パーソナル・コンピュータ（ＰＣ）、１３１…送受信部、１３２…表示制御部、１３３…表示部、１３４…操作部、１３５…操作受け付け部、１４０…表示装置、Ｉ－１０～Ｉ－４０…関連情報画像、ＳＰ…起点画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】