(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】情報提示システム、その制御方法、および、プログラム
(51)【国際特許分類】
G06F 16/903 20190101AFI20241111BHJP
G06T 1/00 20060101ALI20241111BHJP
【ＦＩ】
G06F16/903
G06T1/00 200E
【請求項の数】
18
(21)【出願番号】P 2020152292
(22)【出願日】2020-09-10
(65)【公開番号】P2022046316
(43)【公開日】2022-03-23
【審査請求日】2023-09-11
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】柴田 政範
(72)【発明者】
【氏名】小林 大祐
【審査官】酒井 恭信
(56)【参考文献】
【文献】特開２０１０－０６１２６５（ＪＰ，Ａ）
【文献】特開２０１３－００５２８５（ＪＰ，Ａ）
【文献】特開２００９－１６９４９０（ＪＰ，Ａ）
【文献】特開２０１４－０３５６４２（ＪＰ，Ａ）
【文献】特開２０１４－０１６９６８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００ － １６／９５８
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
被観測体の特徴を取得する取得部と、前記取得部によって取得された前記被観測体の前記特徴から前記被観測体を特定する特定部と、前記特定部によって特定された前記被観測体の情報を表示する表示部と、前記特定部が前記被観測体を特定するための特定情報が格納されたデータ格納部と、を含む情報提示システムであって、前記特定部は、前記被観測体の前記特徴に基づいて前記特定情報を検索することによって前記被観測体を特定し、
前記特定情報は、
前記特定部が前記被観測体の前記特徴に基づいて検索を行うための、複数の観測対象のそれぞれの特徴を表す複数の特徴情報と、
前記複数の特徴情報のそれぞれに対応付けられ、前記複数の観測対象の名称を含む複数の観測体情報と、を含み、
前記情報提示システムは、前記情報提示システムの外部に配されたサーバに、前記特定部によって特定された前記被観測体の観測体情報を送信し、前記特定部によって特定された前記被観測体に関する関連情報を前記サーバから取得し、前記取得した関連情報を前記データ格納部に出力するための通信部をさらに含み、
前記表示部に表示される情報は、前記関連情報を含み、
前記特定部が前記被観測体を特定し、かつ、前記複数の観測体情報のうち前記特定部によって特定された前記被観測体の観測体情報の項目と、前記関連情報の項目と、に差異がある場合、前記複数の観測体情報のうち前記特定部によって特定された前記被観測体の観測体情報の項目が、前記関連情報の項目に更新されることを特徴とする情報提示システム。
【請求項2】
前記特定部が前記被観測体を特定した場合、前記表示部は、前記複数の観測体情報のうち前記特定部によって特定された前記被観測体の観測体情報を表示し、
前記通信部は、前記関連情報の取得を開始する
ことを特徴とする請求項１に記載の情報提示システム。
【請求項3】
前記特定部が前記被観測体を特定し、かつ、前記複数の特徴情報のうち前記特定部によって特定された前記被観測体の特徴情報と前記被観測体の前記特徴とに差異がある場合、前記複数の特徴情報のうち前記特定部によって特定された前記被観測体の特徴情報を前記被観測体の前記特徴に基づいて更新することを特徴とする請求項１又は２に記載の情報提示システム。
【請求項4】
前記特定部が前記被観測体を特定できない場合、前記複数の特徴情報に前記特定部によって特定されなかった前記被観測体の前記特徴を、前記被観測体の特徴情報として追加することを特徴とする請求項１乃至３の何れか１項に記載の情報提示システム。
【請求項5】
前記特定部が前記被観測体を特定できない場合、前記通信部によって前記情報提示システムの外部に配されたサーバから取得した前記被観測体に関する情報を、前記複数の特徴情報のうち追加された特徴情報に対応付けして、前記複数の観測体情報に追加することを特徴とする請求項４に記載の情報提示システム。
【請求項6】
前記取得部は、前記被観測体の前記特徴として、人が発した音声を取得するための集音装置を含み、前記情報提示システムは、前記集音装置によって集音された音からキーワードを抽出するキーワード抽出部をさらに含み、
前記関連情報が、前記キーワード抽出部によって抽出された前記キーワードを含むことを特徴する請求項１乃至５の何れか１項に記載の情報提示システム。
【請求項7】
前記取得部が、前記被観測体の前記特徴を取得するための撮像装置をさらに含むことを特徴とする請求項６に記載の情報提示システム。
【請求項8】
前記情報提示システムが、前記被観測体を観測した際の日時を取得するための日時検出部をさらに含み、前記複数の観測体情報のうち前記被観測体に関する観測体情報に、前記日時の情報が追加されることを特徴とする請求項１乃至７の何れか１項に記載の情報提示システム。
【請求項9】
前記情報提示システムが、前記被観測体を観測した際の場所を取得するための場所検出部をさらに含み、前記複数の観測体情報のうち前記被観測体に関する観測体情報に、前記場所の情報が追加されることを特徴とする請求項１乃至８の何れか１項に記載の情報提示システム。
【請求項10】
前記複数の観測体情報のそれぞれが、前記被観測体のプロフィール、前記被観測体を観測した回数、前記被観測体を観測した日時、前記被観測体を観測した場所、前記被観測体を観測した際の状況、および、前記被観測体が人である場合に前記被観測体との会話内容および前記被観測体を観測した際に同席した人物の情報のうち少なくとも１つをさらに含むことを特徴とする請求項１乃至９の何れか１項に記載の情報提示システム。
【請求項11】
前記取得部は、前記被観測体の前記特徴を取得するための撮像装置および集音装置のうち少なくとも一方を含むことを特徴とする請求項１乃至５の何れか１項に記載の情報提示システム。
【請求項12】
前記被観測体が、人または動物であり、前記情報提示システムが、前記被観測体の前記特徴から前記被観測体の健康状態および緊張状態のうち少なくとも一方を含む前記被観測体の状態を検知する状態検知部をさらに含むことを特徴とする請求項１乃至１１の何れか１項に記載の情報提示システム。
【請求項13】
前記取得部が、前記被観測体の前記特徴として前記被観測体の発汗情報および発熱情報を含む温度情報を取得するための熱源感知センサを含み、前記状態検知部は、前記被観測体の前記温度情報から前記被観測体の前記状態を検知することを特徴とする請求項１２に記載の情報提示システム。
【請求項14】
前記関連情報が、前記被観測体のプロフィール、前記被観測体の最近の動向のうち少なくとも１つを含むことを特徴とする請求項１乃至１３の何れか１項に記載の情報提示システム。
【請求項15】
前記情報提示システムのうち少なくとも一部が、ウェアラブルデバイスに組み込まれていることを特徴とする請求項１乃至１４の何れか１項に記載の情報提示システム。
【請求項16】
前記被観測体の過去の観測結果に基づくことを特徴とする請求項１乃至１５の何れか１項に記載の情報提示システム。
【請求項17】
情報提示システムを制御するためにコンピュータによって実施される制御方法であって、被観測体の特徴を取得する工程と、
取得された前記被観測体の前記特徴から前記被観測体を特定する工程と、
前記情報提示システムの外部に配されたサーバに、特定された前記被観測体の観測体情報を送信し、特定された前記被観測体に関する関連情報を前記サーバから取得し、前記取得した関連情報をデータ格納部に出力する工程と、
特定された前記被観測体の情報を表示部に表示させる工程と、を含み、
前記表示部に表示される情報は、前記関連情報を含み、
前記特定する工程が、前記被観測体の前記特徴に基づいて、データ格納部に格納された前記被観測体を特定するための特定情報を検索する工程を含み、
前記特定情報は、
前記被観測体の前記特徴に基づいた検索を行うための、複数の観測対象のそれぞれの特徴を表す複数の特徴情報と、
前記複数の特徴情報のそれぞれに対応付けられ、前記複数の観測対象の名称を含む複数の観測体情報と、を含み、
前記被観測体が特定され、かつ、前記複数の観測体情報のうち特定された前記被観測体の観測体情報の項目と、前記関連情報の項目と、に差異がある場合、前記複数の観測体情報のうち特定された前記被観測体の観測体情報の項目を前記関連情報の項目に更新する工程をさらに含むことを特徴とする情報提示システムの制御方法。
【請求項18】
請求項１７に記載の情報提示システムの制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報提示システム、その制御方法、および、プログラムに関する。
【背景技術】
【0002】
特許文献１には、取得した画像情報から抽出された被写体を特定し、特定された被写体の個人情報を表示部に提示する撮像装置が示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－２６３６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の撮像装置において、表示部に提示される特定された被写体の個人名、個人の電話番号、個人のメールアドレス、個人の顔画像などの個人情報は、ユーザが更新しない限り更新されず、古い情報である可能性がある。
【0005】
本発明は、情報提示システムにおいて、被観測体に関する情報の精度の向上に有利な技術を提示することを目的とする。
【課題を解決するための手段】
【0006】
上記課題に鑑みて、本発明の実施形態に係る情報提示システムは、被観測体の特徴を取得する取得部と、前記取得部によって取得された前記被観測体の前記特徴から前記被観測体を特定する特定部と、前記特定部によって特定された前記被観測体の情報を表示する表示部と、前記特定部が前記被観測体を特定するための特定情報が格納されたデータ格納部と、を含む情報提示システムであって、前記特定部は、前記被観測体の前記特徴に基づいて前記特定情報を検索することによって前記被観測体を特定し、前記特定情報は、前記特定部が前記被観測体の前記特徴に基づいて検索を行うための、複数の観測対象のそれぞれの特徴を表す複数の特徴情報と、前記複数の特徴情報のそれぞれに対応付けられ、前記複数の観測対象の名称を含む複数の観測体情報と、を含み、前記情報提示システムは、前記情報提示システムの外部に配されたサーバに、前記特定部によって特定された前記被観測体の観測体情報を送信し、前記特定部によって特定された前記被観測体に関する関連情報を前記サーバから取得し、前記取得した関連情報を前記データ格納部に出力するための通信部をさらに含み、前記表示部に表示される情報は、前記関連情報を含み、前記特定部が前記被観測体を特定し、かつ、前記複数の観測体情報のうち前記特定部によって特定された前記被観測体の観測体情報の項目と、前記関連情報の項目と、に差異がある場合、前記複数の観測体情報のうち前記特定部によって特定された前記被観測体の観測体情報の項目が、前記関連情報の項目に更新されることを特徴とする。
【発明の効果】
【0007】
本発明によれば、情報提示システムにおいて、被観測体に関する情報の精度の向上に有利な技術を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態の情報提示システムの使用例を示す図。
【図2】本実施形態の情報提示システムの構成例を示す図。
【図3】本実施形態の情報提示システムの信号処理の流れを示すフロー図。
【図4】本実施形態の情報提示システムの構成例を示す図。
【図6】本実施形態の情報提示システムの構成例を示す図。
【図8】本実施形態の情報提示システムの使用例を示す図。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0010】
図１～８を参照して、本開示の実施形態による情報提示システムについて説明する。図１は、本実施形態の情報提示システム１００の使用中の状況を示す図である。情報提示システム１００を使用するユーザ１０１が、情報提示システム１００の観測対象である被観測体１０２と対面している。ここでは、観測対象として人（人物）を対象とするが、これに限られることはなく、観測対象は、ビルや駅などの建造物や動物、自然風景などであってもよい。人以外が観測対象となる例については後述する。
【0011】
図１に示される構成のように、情報提示システム１００は、例えば、スマートグラスに代表される、所謂、ウェアラブルデバイスであってもよい。また、情報提示システム１００のうち少なくとも一部が、ウェアラブルデバイスに組み込まれていてもよい。
【0012】
図２は、本実施形態における情報提示システム１００の構成例を示す図である。情報提示システム１００は、被観測体１０２の特徴を取得する取得部２０１と、取得部２０１によって取得された被観測体１０２の特徴から被観測体を特定する特定部２０２と、特定部２０２によって特定された被観測体の情報を表示する表示部２０５と、を含む。また、情報提示システム１００は、情報提示システム１００の外部に配されたサーバ２０３と通信し、特定部２０２によって特定された被観測体１０２に関する関連情報を取得するための通信部２０９を含む。また、特定部２０２が被観測体１０２を特定するための特定情報が格納されたデータ格納部２０４を含む。図２に示される構成のように、情報提示システム１００は、被観測体１０２を観測した際の日時の情報を取得するための日時検出部２１１や、被観測体１０２を観測した際の場所の情報を取得するための場所検出部２０８をさらに含んでいてもよい。日時検出部２１１は、例えば、時計などでありうる。場所検出部２０８は、例えば、ＧＰＳ（グローバル・ポジショニング・システム）受信装置などでありうる。場所検出部２０８が、ＧＰＳなどから場所だけでなく時刻の情報を取得し、日時検出部２１１として機能してもよい。
【0013】
取得部２０１は、被観測体１０２の特徴を取得するための集音装置２０６を含みうる。集音装置２０６には、例えば、マイクロフォンなどが用いられうる。また、取得部２０１は、被観測体１０２の特徴を取得するための撮像装置２０７を含みうる。撮像装置２０７には、例えば、カメラやビデオなどが用いられうる。取得部２０１は、集音装置２０６と撮像装置２０７との両方を備えていてもよいし、一方だけを備えていてもよい。また、取得部２０１は、撮像装置２０７で撮影された画像や集音装置で集音された音から、被観測体１０２の特徴を抽出するためのプロセッサなどの回路を備える特徴抽出装置２１０を含みうる。取得部２０１のうち集音装置２０６や撮像装置２０７は、例えば、上述のスマートグラスのようなウェアラブルデバイスに組み込まれていてもよい。情報提示システム１００のうち集音装置２０６や撮像装置２０７が、図１に示されるようなスマートグラスに組み込まれている場合、ユーザ１０１の視線の方向に存在する観測対象である被観測体１０２の特徴を捉える可能性が高くなりうる。
【0014】
図３は、本実施形態の情報提示システム１００の信号処理の流れを示すフロー図である。まず、Ｓ３０１にて、取得部２０１は、被観測体１０２の特徴を取得する。被観測体１０２の特徴は、例えば、特徴抽出装置２１０によって抽出された、撮像装置２０７で撮影した被観測体１０２の顔や全身の特徴や集音装置２０６で集音した被観測体１０２の音声の特徴である。取得部２０１が被観測体１０２の特徴を取得すると、情報提示システム１００は、Ｓ３０２に遷移する。
【0015】
Ｓ３０２にて、特定部２０２が、取得部２０１によって取得された被観測体１０２の特徴から被観測体１０２を特定する。より具体的には、特定部２０２は、被観測体１０２の特徴に基づいて、データ格納部２０４に格納された被観測体１０２を特定するための特定情報を検索することによって被観測体１０２を特定する。データ格納部２０４に格納された特定情報は、特定部２０２が被観測体１０２の特徴に基づいて検索を行うために、複数の観測対象のそれぞれの特徴を記憶した複数の特徴情報が含まれる。例えば、事前に特定部２０２に顔検知、音声検知など既存の特定プログラムを学習させておき、特定部２０２は、データ格納部２０４に格納された特定情報のうち顔、全身、音声などの特徴情報から被観測体１０２を特定する。
【0016】
また、データ格納部２０４に格納された特定情報は、上述の複数の特徴情報のそれぞれに対応付けられ、複数の観測対象に関する情報を記憶した複数の観測体情報を含みうる。この観測体情報の使用については後述する。
【0017】
特定部２０２が被観測体１０２を特定できない場合（Ｓ３０２のＮＯ）、情報提示システム１００は、Ｓ３０３に遷移する。Ｓ３０３において、データ格納部２０４は、特定情報のうち特徴情報に、特定部２０２によって特定されなかった被観測体１０２の特徴を、被観測体１０２の特徴情報として新規に追加する。
【0018】
次に、特定部２０２がデータ格納部２０４に格納された複数の特徴情報を検索することによって被観測体１０２を特定した場合（Ｓ３０２のＹＥＳ）について説明する。特定部２０２が被観測体１０２を特定すると、情報提示システム１００は、Ｓ３０４に遷移する。Ｓ３０４において、表示部２０５は、データ格納部２０４に格納された複数の観測体情報のうち特定部２０２によって特定された被観測体１０２の観測体情報を表示する。表示部２０５は、スマートグラス上の一部の領域であってもよい。また、例えば、表示部２０５は、スマートフォンなどのタブレット端末の画面に、特定部２０２によって特定された被観測体１０２の観測体情報を表示させてもよい。つまり、表示部２０５は、情報提示システム１００の外部に配されたタブレット端末の画面などの表示装置を制御し、観測体情報などを表示させるための信号を生成する回路であってもよい。このように、情報提示システム１００は、上述の取得部２０１、特定部２０２、データ格納部２０４、表示部２０５などの各構成が一体であってもよいし、複数に分かれて配置されていてもよい。
【0019】
表示部２０５が表示させる観測体情報は、例えば、被観測体１０２のプロフィール、これまでに被観測体１０２を観測した回数、これまでに（例えば、前回）被観測体１０２を観測した日時、これまでに（例えば、前回）被観測体１０２を観測した場所、これまでに（例えば、前回）被観測体１０２を観測した際の状況、これまでの（例えば、前回）被観測体１０２との会話内容、および、これまでに（例えば、前回）被観測体１０２を観測した際に同席した人物の情報などを含んでいてもよい。被観測体１０２のプロフィールには、例えば、被観測体１０２の氏名、勤務する会社や通学する学校などの所属先、肩書、年齢、趣味、嗜好、出身地などが含まれうる。
【0020】
表示部２０５がデータ格納部２０４に格納されている観測体情報を表示すると、情報提示システム１００は、Ｓ３０５に遷移する。Ｓ３０５において、通信部２０９は、特定部２０２によって特定された被観測体１０２に関する関連情報の取得を開始する。より具体的には、通信部２０９は、情報提示システム１００の外部に存在するサーバ２０３にアクセスし、サーバ２０３に公開されている被観測体１０２に関する関連情報を取得する。関連情報は、被観測体１０２のプロフィール、被観測体の最近の動向などを含みうる。より具体的には、関連情報は、例えば、ＳＮＳ（ソーシャル・ネットワーキング・サービス）や公式ＨＰ（ホームページ）などに記載されている所属先、肩書、年齢、趣味、嗜好など被観測体１０２の最新のプロフィールであってもよい。また、関連情報は、例えば、ＳＮＳや公式ＨＰなどに記載されている外出先の場所や活動内容など被観測体１０２の最近の動向などの情報であってもよい。通信部２０９によって被観測体１０２の関連情報が取得されると、表示部２０５は、被観測体１０２の関連情報を表示する。つまり、表示部２０５が表示させる情報は、特定部２０２によって特定された被観測体１０２の関連情報を含む。
【0021】
図３に示されるフロー図では、特定部２０２が被観測体１０２を特定し（Ｓ３０２のＹＥＳ）、表示部２０５が被観測体１０２の観測体情報を表示（Ｓ３０４）した後に、通信部２０９が被観測体１０２の関連情報を取得する（Ｓ３０５）ように示されている。しかしながら、これに限られることはなく、特定部２０２が被観測体１０２を特定した場合、Ｓ３０４とＳ３０５とが並行して実施されてもよい。
【0022】
通信部２０９が被観測体１０２の関連情報を取得すると、情報提示システム１００は、Ｓ３０６に遷移する。Ｓ３０６において、データ格納部２０４に格納された観測体情報のうち特定部２０２によって特定された被観測体１０２の観測体情報と関連情報とに差異がある場合が考えられる。被観測体１０２の観測体情報と関連情報とに差異がある場合、データ格納部２０４は、特定部２０２によって特定された被観測体１０２のデータ格納部２０４に格納されている観測体情報を、通信部２０９が取得した関連情報に基づいて更新する。例えば、データ格納部２０４は、観測体情報と通信部２０９が取得した関連情報との間に差異のある項目について、観測体情報を自動的に最新の情報に更新し、新規項目があれば追加をし、被観測体１０２についての情報を拡充させる。被観測体１０２の観測体情報と関連情報とに差異がない場合は、情報提示システム１００は、Ｓ３０７に遷移してもよい。
【0023】
データ格納部２０４に格納される観測体情報が更新されると、情報提示システム１００は、Ｓ３０７に遷移する。Ｓ３０７にて、表示部２０５は、Ｓ３０６で更新された被観測体１０２の観測体情報を表示してもよい。また、Ｓ３０６において、被観測体１０２の観測体情報と関連情報とに差異がない場合、表示部２０５は、Ｓ３０４で表示した被観測体１０２の観測体情報を継続して表示してもよい。さらに、Ｓ３０７にて、被観測体１０２との対面が終了した後に、対面した日時、場所、対面した回数、会話内容の概要などの情報について、データ格納部２０４は、データ格納部２０４に格納された観測体情報をさらに更新してもよい。これら、Ｓ３０６、Ｓ３０７での情報の更新は、自動的に実施されてもよい。また、例えば、表示部２０５が、データ格納部２０４に格納されている観測体情報と通信部２０９によって取得された関連情報との差異を表示し、ユーザ１０１が、被観測体１０２の観測体情報のうち更新する内容を選択してもよい。
【0024】
以上のように、被観測体１０２の観測体情報をデータ格納部２０４で管理し、表示部２０５に表示することによって、ペーパーレスで個人情報を安全に管理することができる。また、通信部２０９が、情報提示システム１００の外部のサーバ２０３と通信することによって、特定部２０２によって特定された被観測体１０２の関連情報を取得する。これによって、表示部２０５が、通信部２０９によって取得された最新の関連情報を表示することが可能となる。また、データ格納部２０４に格納され表示部２０５に表示される被観測体１０２の観測体情報が、常に新しい情報に更新され、被観測体１０２に関する情報の精度を向上させることが可能となる。
【0025】
また、データ格納部２０４に格納された複数の特徴情報のうち特定部２０２によって特定された被観測体１０２の特徴情報と、取得部２０１によって取得された被観測体１０２の特徴と、に差異がある場合が考えられる。この差異は、例えば、被観測体１０２が眼鏡をかけるなどの変化や、被観測体１０２の体型や声色の変化などでありうる。この場合、データ格納部２０４は、格納されている被観測体１０２の特徴情報を、取得部２０１によって取得された被観測体１０２の特徴に基づいて更新してもよい。
【0026】
さらに、データ格納部２０４は、被観測体１０２だけでなく、取得部２０１で取得した被観測体１０２と同席した１人以上の人物などの特定情報（特徴情報）も、被観測体１０２の特定情報とともに更新、追加してもよい。また、表示部２０５は、これらの同席者の特定情報のうち観測体情報を表示してもよい。
【0027】
データ格納部２０４は、上述の表示部２０５と同様に、スマートグラスなどのウェアラブルデバイス内に配されていなくてもよい。例えば、データ格納部２０４は、通信部２０９によって通信が可能なサーバ上に配されていてもよい。
【0028】
また、Ｓ３０３において、データ格納部２０４が、特定部２０２によって特定できなかった被観測体１０２の特徴を、被観測体１０２の特徴情報として新規に追加する際に、通信部２０９が外部のサーバ２０３から被観測体１０２に関する情報を取得してもよい。例えば、特定部２０２が特定できなかった被観測体１０２の顔など、取得部２０１で取得した被観測体１０２の特徴に基づいて、通信部２０９が被観測体１０２の関連情報を取得してもよい。この場合、情報提示システム１００は、被観測体１０２の特徴に基づいて、外部のサーバ２０３で被観測体１０２に関する情報を検索するための検索部をさらに備えていてもよいし、特定部２０２やデータ格納部２０４が、検索機能を有していてもよい。通信部２０９によって情報提示システム１００の外部に配されたサーバ２０３から取得した被観測体１０２に関する情報を、データ格納部２０４は、複数の特徴情報のうち追加された特徴情報に対応付けし、被観測体１０２の観測体情報として新規に追加する。通信部２０９によって特定部２０２が特定できなかった被観測体１０２に関する情報が取得できた場合、表示部２０５は、この情報を表示してもよい。また、特定部２０２が特定できなかった被観測体１０２との対面が終了した後に、対面した日時、場所、対面した回数、会話内容の概要などの情報について、データ格納部２０４に格納された観測体情報をさらに更新してもよい。また、ユーザ１０１が、特定されなかった被観測体１０２に関連する情報をタブレット端末の入力機能などを用いて、観測体情報としてデータ格納部２０４に記憶させてもよい。
【0029】
図４は、図２に示される情報提示システム１００の構成例の変形例を示す図である。図２に示される構成と比較して、図４に示される情報提示システム１００は、集音装置２０６によって集音された音からキーワードを抽出するキーワード抽出部４０１をさらに含む。
【0030】
図５は、図４に示される情報提示システム１００の信号処理の流れを示すフロー図である。Ｓ３０４までのそれぞれの工程は、上述の図３を用いて説明した工程と同様であってもよいため、ここでは説明を省略する。特定部２０２にて被観測体１０２が特定され（Ｓ３０２のＹＥＳ）、Ｓ３０４にて、表示部２０５が観測体情報を表示すると、情報提示システム１００は、Ｓ５０１に遷移する。Ｓ５０１では、Ｓ３０５と同様に、通信部２０９は、情報提示システム１００の外部に存在するサーバ２０３にアクセスし、サーバ２０３に公開されている被観測体１０２に関する関連情報の取得を実施する。通信部２０９による関連情報の取得とともに、キーワード抽出部４０１は、被観測体１０２との会話の中で、例えば、複数回にわたり出るキーワードを抽出する。抽出したキーワードから会話内容の概要を含む被観測体１０２に関する関連情報を取得する。上述のように、Ｓ３０４とＳ５０１とが、並行して実施されてもよい。
【0031】
通信部２０９およびキーワード抽出部４０１による関連情報の取得が実施された後に、情報提示システム１００は、Ｓ３０６、次いでＳ３０７と遷移する。Ｓ３０７にて、表示部２０５は、通信部２０９およびキーワード抽出部４０１が取得した関連情報に基づいてステップＳ３０６で更新された被観測体１０２の観測体情報を表示する。また、例えば、キーワード抽出部４０１が抽出したキーワードに関係する過去の会話の概要が、データ格納部２０４に格納された被観測体１０２の観測体情報に記憶されている場合がありうる。この場合、表示部２０５は、データ格納部２０４に格納されているキーワードに関する過去の会話の概要などの観測体情報を表示してもよい。Ｓ５０１におけるキーワード抽出部４０１によるキーワードの抽出は、繰り返し実施されてもよい。キーワード抽出部４０１は、例えば、データ格納部２０４に格納された被観測体１０２の観測体情報を教師データとして、抽出したキーワードの取捨選択を行うことによってキーワード抽出の精度を高めることができる。この場合、教師データには、データ格納部２０４に格納された観測体情報のうち、過去の会話におけるキーワードや趣味、嗜好などの情報が含まれていてもよい。例えば、被観測体１０２の趣味が料理であれば、キーワードとして料理名や調理法、食材などが抽出されてもよい。
【0032】
以上のように、キーワード抽出部４０１によってリアルタイムにユーザ１０１と被観測体１０２との会話の内容などから被観測体１０２の関連情報が取得される。キーワード抽出部４０１によって取得された関連情報に基づいて、データ格納部２０４に格納された被観測体１０２の観測体情報が更新される。これによって、データ格納部２０４に格納され表示部２０５に表示される被観測体１０２の観測体情報が、常に新しい情報に更新され、被観測体１０２に関する情報の精度を向上させることが可能となる。
【0033】
図６は、図２に示される情報提示システム１００の構成例の変形例を示す図である。図２に示される構成と比較して、図６に示される情報提示システム１００は、取得部２０１によって取得された被観測体１０２の特徴から被観測体１０２の健康状態および緊張状態のうち少なくとも一方を含む被観測体１０２の状態を検知する状態検知部６０１をさらに含む。
【0034】
図７は、図６に示される情報提示システム１００のうち状態検知部６０１に関連する信号処理の流れを示すフロー図である。図７に示される信号処理のフローは、上述の図３に示される信号処理のフローと並行して実施されうる。Ｓ３０１において取得部２０１が被観測体１０２の特徴を取得すると、情報提示システム１００は、Ｓ７０１に遷移する。状態検知部６０１は、取得部２０１で取得した被観測体１０２の特徴のうち顔色、眼球の動作、虹彩の開口具合、唇の動き、手足の動作情報、発汗、発熱、声色などの被観測体１０２の状態に関わる特徴を取得する。取得部２０１は、集音装置２０６、撮像装置２０７だけでなく、被観測体１０２の特徴として被観測体１０２の発汗情報および発熱情報を含む温度情報を取得するためのサーモグラフィなどの熱源感知センサ６０２を備えていてもよい。この場合、状態検知部６０１は、被観測体１０２の温度情報から被観測体１０２の状態を検知しうる。
【0035】
次いで、状態検知部６０１は、取得した被観測体１０２の状態に関わる特徴に基づいて、被観測体１０２の健康状態や緊張状態などの状態を検知する。状態検知部６０１には、予め生体情報などの人や動物などの状態に関わる特徴を学習させておく。これによって、状態検知部６０１は、取得した被観測体１０２の状態に関わる動作から特徴量を抽出し、健康状態や緊張状態などの被観測体１０２の状態を検出する。
【0036】
状態検知部６０１が被観測体１０２の状態を検知すると、情報提示システム１００は、Ｓ７０２に遷移する。Ｓ７０２では、状態検知部６０１は、検知した被観測体１０２の健康状態や緊張状態などの状態の情報に基づいて、状態検知部６０１が備える人や動物などの状態に関わる特徴に関する情報を更新する。
【0037】
状態検知部６０１が備える人や動物などの状態に関わる特徴に関する情報を更新すると、情報提示システム１００は、Ｓ７０３に遷移する。Ｓ７０３では、表示部２０５は、被観測体１０２の健康状態や緊張状態などの状態検知部６０１が検知した結果を表示する。
【0038】
以上のように、状態検知部６０１によって検知された被観測体１０２の健康状態、緊張状態など、被観測体１０２の状態を表示部２０５に表示することによって、ユーザ１０１と被観測体１０２とのコミュニケーションを支援することが可能である。
【0039】
ここで、被観測体１０２は、人（人物）だけでなく動物などであってもよい。例えば、動物の状態と、動物の表情や鳴き声（声色）、動作などと、の関係を事前に状態検知部６０１に学習させておく。これによって、状態検知部６０１は、人だけでなく動物の健康状態や緊張状態などの状態を検知できる。例えば、状態検知部６０１が、動物が緊張し威嚇する状態にあることを鳴き声や動作から検知し、表示部２０５に「危険」であることを表示させてもよい。また、例えば、動物が甘えている状態であることを鳴き声や動作から検知し、表示部２０５に「近づいてもよい」ことを表示させてもよい。このように、被観測体１０２が動物である場合であっても、ユーザ１０１と被観測体１０２との間のコミュニケーションを支援することが可能となる。
【0040】
図６に示される構成において、上述のように、図２に示される構成に対して状態検知部６０１が追加されている。しかしながら、これに限られることはなく、さらに、上述のキーワード抽出部４０１が追加されていてもよい。この場合、図７に示される信号処理のフローは、上述の図５に示される信号処理のフローと並行して実施されうる。また、図６に示される構成において、集音装置２０６や撮像装置２０７、熱源感知センサ６０２で取得した情報から被観測体１０２の状態を検知する状態検知部６０１は、取得部２０１などから独立した構成として示されている。しかし、これに限られることはなく、例えば、状態検知部６０１は、集音装置２０６や撮像装置２０７で取得した情報から被観測体１０２の特徴を抽出する特徴抽出装置２１０に含まれていてもよい。
【0041】
これまで、被観測体１０２が主に人（人物）である場合について説明した。しかしながら、上述のように被観測体１０２となる観測対象は、ビルや駅などの建造物や動物、自然風景などであってもよい。図８は、本実施形態の情報提示システム１００の使用中の状況を示す図である。図８に示されるように、観測対象となる被観測体１０２ａは、例えば、ビルや駅、橋、神社仏閣などの建造物、哺乳類や爬虫類、鳥類、両生類、魚類、貝類、昆虫などの動物（生物）、山や川などの自然風景などであってもよい。また、例えば、観測対象となる被観測体１０２ｂは、スマートフォンなどのタブレット端末やパソコン、テレビの画面に映し出された映像や写真などの画像情報としての建造物や動物、自然風景などであってもよい。
【0042】
次いで、人物以外の観測対象を被観測体１０２とする場合の情報提示システム１００の信号処理の流れについて説明する。建造物や動物、自然風景などを被観測体１０２とする場合の情報提示システム１００の信号処理は、上述の図３に示すフロー図と基本的に同様でありうる。このため、ここでは、被観測体１０２が人ではなく建造物や動物、自然風景などであることによって上述の図３の説明と変更がある部分について説明し、同様の信号処理に関しては適宜、説明を省略する。
【0043】
Ｓ３０１にて、取得部２０１は、被観測体１０２の特徴を取得する。被観測体１０２が建造物や自然風景などであれば、Ｓ３０１において、取得部２０１は、撮像装置２０７を用いて取得した画像などの情報から被観測体１０２の特徴を取得しうる。また、被観測体１０２が動物などであれば、Ｓ３０１において、取得部２０１は、撮像装置２０７を用いて取得した動物の顔や全身、集音装置２０６で取得した動物の鳴き声などから被観測体１０２の特徴を取得しうる。取得部２０１が、被観測体１０２の特徴を取得すると、情報提示システム１００は、Ｓ３０２に遷移する。
【0044】
Ｓ３０２にて、特定部２０２が、取得部２０１によって取得された被観測体１０２の特徴から被観測体１０２を特定する。被観測体１０２が人である場合と同様に、事前に特定部２０２に形状検知や形態検知、音声検知など既存の特定プログラムを学習させておく。特定部２０２は、データ格納部２０４に格納された特定情報のうち建造物の形状や動物の形態、鳴き声などの特徴情報から被観測体１０２を特定する。
【0045】
特定部２０２が被観測体１０２を特定できない場合（Ｓ３０２のＮＯ）、情報提示システム１００は、Ｓ３０３に遷移する。Ｓ３０３において、データ格納部２０４は、特定情報のうち特徴情報に、特定部２０２によって特定されなかった被観測体１０２の特徴を、被観測体１０２の特徴情報として新規に追加する。
【0046】
特定部２０２が被観測体１０２を特定すると、情報提示システム１００は、Ｓ３０４に遷移する。Ｓ３０４において、表示部２０５は、データ格納部２０４に格納された複数の観測体情報のうち特定部２０２によって特定された被観測体１０２の観測体情報を表示する。
【0047】
データ格納部２０４に格納された観測体情報には、例えば、被観測体１０２が建造物であれば、建造物名称、所在地などの被観測体１０２のプロフィールが含まれうる。また、例えば、観測体情報には、被観測体１０２が建造物であれば、訪問した回数（被観測体１０２を観測した回数）、訪問した時期（被観測体１０２を観測した日時）、場所検出部２０８が検出した現在地からの方角と距離（被観測体１０２を観測した際の状況）、訪問した時の同席者、その時の会話内容などが含まれうる。また、例えば、データ格納部２０４に格納された観測体情報には、被観測体１０２が動物であれば、動物の名称、主な生息地などの被観測体１０２のプロフィールが含まれうる。
【0048】
表示部２０５がデータ格納部２０４に格納されている観測体情報を表示すると、情報提示システム１００は、Ｓ３０５に遷移する。Ｓ３０５において、通信部２０９は、特定部２０２によって特定された被観測体１０２に関する関連情報の取得を開始する。より具体的には、通信部２０９は、情報提示システム１００の外部に存在するサーバ２０３にアクセスし、サーバ２０３に公開されている被観測体１０２に係る関連情報を取得する。
【0049】
通信部２０９が被観測体１０２の関連情報を取得すると、情報提示システム１００は、Ｓ３０６に遷移する。ここでは、Ｓ３０６において、データ格納部２０４に格納された観測体情報のうち特定部２０２によって特定された被観測体１０２の観測体情報と関連情報とに差異がある場合について説明する。被観測体１０２の観測体情報と関連情報とに差異がある場合、データ格納部２０４は、特定部２０２によって特定された被観測体１０２の観測体情報を、通信部２０９が取得した関連情報に基づいて更新する。データ格納部２０４は、観測体情報と通信部２０９が取得した関連情報との間に差異のある項目について、観測体情報を最新の情報に更新し、新規項目があれば追加をし、被観測体１０２についての情報を拡充させる。
【0050】
例えば、通信部２０９が取得する関連情報は、被観測体１０２が建造物などであれば、ユーザ１０１が前回の被観測体１０２を訪問した時からリニューアルした、火事で焼失した、地震で倒壊したなどの情報でありうる。また、例えば、関連情報は、被観測体１０２が建造物などであれば、場所検出部２０８によって検出された場所に対して、現在は別の場所に移転しているなどの情報などでありうる。また、例えば、関連情報は、被観測体１０２が動物園や水族館などの動物であれば、ユーザ１０１が前回の被観測体１０２を観測した時からの成長度合いや、その動物に子どもが誕生した、その動物の一部が別の施設に移動したなどの情報でありうる。このような通信部２０９が取得した関連情報に基づいて、特定部２０２によって特定された被観測体１０２の観測体情報が更新される。
【0051】
データ格納部２０４に格納される観測体情報が更新されると、情報提示システム１００は、Ｓ３０７に遷移する。Ｓ３０７にて、表示部２０５は、ステップＳ３０６で更新された被観測体１０２の観測体情報を表示してもよい。
【0052】
以上のように、本実施形態の情報提示システム１００は、人（人物）以外の観測対象であっても、通信部２０９が、情報提示システム１００の外部のサーバ２０３と通信することによって、特定部２０２によって特定された被観測体１０２の関連情報を取得する。これによって、表示部２０５が、通信部２０９によって取得された最新の関連情報を表示することが可能となる。また、データ格納部２０４に格納され表示部２０５に表示される被観測体１０２の観測体情報が、常に新しい情報に更新され、被観測体１０２に関する情報の精度を向上させることが可能となる。
【0053】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種の記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータにおける１つ以上のプロセッサ（例えば、ＣＰＵやＭＰＵ。）がプログラムを読み出して実行する処理である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ。）によっても実現可能である。
【0054】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0055】
１００：情報提示システム、１０２：被観測体、２０１：取得部、２０２：特定部、２０３：サーバ、２０５：表示部、２０９：通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】