特開 2024-165682 データ解析装置及びデータ解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165682

(43)【公開日】2024-11-28

(54)【発明の名称】データ解析装置及びデータ解析方法

(51)【国際特許分類】

   G06F 16/906 20190101AFI20241121BHJP

【ＦＩ】

G06F16/906

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023082073

(22)【出願日】2023-05-18

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】大橋 洋輝

(72)【発明者】

【氏名】佐藤 拓杜

(72)【発明者】

【氏名】井上 祐貴

(72)【発明者】

【氏名】昼間 彪吾

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA10

5B175FA03

5B175FB02

5B175FB04

(57)【要約】

【課題】解析対象データに対する解析精度を向上させる。
【解決手段】データ解析装置は、複数の解析対象データと、当該複数の解析対象データそれぞれに対応する解析結果と、当該複数の解析対象データそれぞれに関連する位置及び／又は物を示す空間情報と、を保持し、所定の第１条件に基づいて、空間情報が類似する解析対象データのグループを生成し、グループごとに、所定のルールに基づいて当該グループ内の解析結果を整合させ、当該整合させた解析結果を示すタグを当該グループに含まれる解析対象データに付与し、当該複数の解析対象データと、タグと、空間情報と、を示す情報を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

データ解析装置であって、
プロセッサとメモリとを有し、
前記メモリは、
複数の解析対象データと、
前記複数の解析対象データそれぞれに対応する解析結果と、
前記複数の解析対象データそれぞれに関連する位置及び／又は物を示す空間情報と、を保持し、
前記プロセッサは、
所定の第１条件に基づいて、前記空間情報が類似する解析対象データのグループを生成し、
前記グループごとに、所定のルールに基づいて当該グループ内の解析結果を整合させ、当該整合させた解析結果を示すタグを当該グループに含まれる解析対象データに付与し、
前記複数の解析対象データと、前記タグと、前記空間情報と、を示すナレッジ情報を前記メモリに格納する、データ解析装置。

【請求項2】

請求項１に記載のデータ解析装置であって、
前記プロセッサは、
前記生成したグループに含まれ、同じデータ種別の解析対象データからなる第１グループに対して、
前記解析対象データに対応する解析結果に対する所定の統計量に基づいて、前記第１グループ内の解析結果を整合させる、データ解析装置。

【請求項3】

請求項２に記載のデータ解析装置であって、
前記第１グループは、データ種別が画像である解析対象データからなり、
画像に対応する解析結果は、当該画像に各物体が含まれる確率を示し、
前記プロセッサは、
前記所定の統計量として、前記第１グループに含まれる画像において各物体が含まれる確率の平均値を算出し、
前記算出した平均値に基づいて、前記第１グループに含まれる画像に含まれる物体を決定し、
前記決定した物体を示すタグを前記第１グループに含まれる解析対象データに付与する、データ解析装置。

【請求項4】

請求項１に記載のデータ解析装置であって、
前記プロセッサは、
前記生成したグループに含まれ、複数のデータ種別の解析対象データを含む第２グループに対して、
前記複数のデータ種別に含まれる所定のデータ種別の解析対象データに対応する解析結果を優先して前記第２グループ内の解析結果を整合させる、データ解析装置。

【請求項5】

請求項４に記載のデータ解析装置であって、
前記第２グループは、データ種別が文書である解析対象データと、データ種別が加速度である解析対象データと、を含み、
前記所定のデータ種別は、文書であり、
加速度に対応する解析結果は、当該加速度の計測対象である作業員によって作業それぞれが実施された確率を示し、
文書に対応する解析結果は、当該文書に記述されている作業を示し、
前記プロセッサは、
前記第２グループに対して、前記文書に記述されている作業のうち、前記加速度に対応する解析結果における確率が最も高い作業を示すタグを、前記第２グループに含まれる解析対象データに付与する、データ解析装置。

【請求項6】

請求項１に記載のデータ解析装置であって、
前記メモリは、前記複数の解析対象データそれぞれに対応する時刻情報を保持し、
前記プロセッサは、前記所定の第１条件に基づいて前記空間情報が類似し、かつ所定の第２条件に基づいて時刻情報が近い、解析対象データのグループを生成する、データ解析装置。

【請求項7】

請求項１に記載のデータ解析装置であって、
入力装置及び表示装置に接続され、
前記プロセッサは、
前記入力装置への入力を介して、前記ナレッジ情報に含まれる解析対象データを検索する検索要求を受け付け、
前記検索要求に合致する解析対象データと、当該解析対象データと同じグループに属する解析対象データと、を検索結果として前記表示装置に表示する、データ解析装置。

【請求項8】

請求項７に記載のデータ解析装置であって、
前記空間情報が示す位置及び／又は物を含む場所の３Ｄモデルを保持し、
前記プロセッサは、
前記３Ｄモデルを参照して、前記検索結果に含まれる解析対象データに対応する位置及び／又は物を含む領域を算出し、
前記算出した領域の３Ｄモデルを前記表示装置に表示し、
前記検索結果を、前記算出した領域の３Ｄモデル上に表示する、データ解析装置。

【請求項9】

請求項７に記載のデータ解析装置であって、
他の前記データ解析装置に接続され、
前記プロセッサは、
前記他のデータ解析装置による検索結果のうち、当該検索結果に含まれる解析対象データに関連する位置及び／物を含む領域が、前記プロセッサによる前記検索結果に含まれる解析対象データに関連する位置及び／物を含む領域に、所定の第３条件に基づいて近いと判定した検索結果を、前記表示装置に表示する、データ解析装置。

【請求項10】

データ解析装置によるデータ解析方法であって、
前記データ解析装置は、プロセッサとメモリとを有し、
前記メモリは、
複数の解析対象データと、
前記複数の解析対象データそれぞれに対応する解析結果と、
前記複数の解析対象データそれぞれに関連する位置及び／又は物を示す空間情報と、を保持し、
前記データ解析方法は、
前記プロセッサが、所定の第１条件に基づいて、前記空間情報が類似する解析対象データのグループを生成し、
前記プロセッサが、前記グループごとに、所定のルールに基づいて当該グループ内の解析結果を整合させ、当該整合させた解析結果を示すタグを当該グループに含まれる解析対象データに付与し、
前記プロセッサが、前記複数の解析対象データと、前記タグと、前記空間情報と、を示すナレッジ情報を前記メモリに格納する、データ解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ解析装置及びデータ解析方法に関する。

【背景技術】

【0002】

本技術分野の背景技術として、特開２０１７－１６７８８９号公報（特許文献１）がある。この公報には、「データ管理装置は、保全設備が設置されている建物内の空間に関する空間データ、保全設備に関する設備データ、および保全設備の稼働状況を計測した計測データをオントロジ変換規則に従って関連づけた知識グラフデータを生成する知識グラフデータ生成部と、インシデントを表す文字列を含む検索キーワードを入力する検索情報入力部と、検索キーワードに基づいて知識グラフデータを検索するデータ検索部と、データ検索部の検索結果に基づいて、検索キーワードに合致する空間データ、設備データおよび計測データを関連づけて出力する検索結果出力部と、を備える。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１６７８８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の技術は、空間データ、設備データ、及び計測データを関連付けた知識グラフデータを生成しているが、計測環境等によっては正確な計測データが得られずに計測データに対する解析精度が低下するおそれがある。そこで、本発明の一態様は、解析対象データに対する解析精度を向上させる。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明の一態様は以下の構成を採用する。データ解析装置は、プロセッサとメモリとを有し、前記メモリは、複数の解析対象データと、前記複数の解析対象データそれぞれに対応する解析結果と、前記複数の解析対象データそれぞれに関連する位置及び／又は物を示す空間情報と、を保持し、前記プロセッサは、所定の第１条件に基づいて、前記空間情報が類似する解析対象データのグループを生成し、前記グループごとに、所定のルールに基づいて当該グループ内の解析結果を整合させ、当該整合させた解析結果を示すタグを当該グループに含まれる解析対象データに付与し、前記複数の解析対象データと、前記タグと、前記空間情報と、を示すナレッジ情報を前記メモリに格納する。

【発明の効果】

【0006】

本発明の一態様によれば、解析対象データに対する解析精度を向上させることができる。

【0007】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】実施例１におけるデータ解析装置の機能構成例を示すブロック図である。

【図2】実施例１におけるデータ解析装置のハードウェア構成例を示すブロック図である。

【図3】実施例１におけるセンサデータのデータ構成例を示す図である。

【図4】実施例１における空間情報付与方法データのデータ構成例を示す図である。

【図5】実施例１における測位データのデータ構成例を示す図である。

【図6】実施例１における解析モデルＤＢ（ＤａｔａＢａｓｅ）のデータ構成例を示す図である。

【図7】実施例１におけるナレッジＤＢのデータ構成例を示す図である。

【図8】実施例１におけるデータ解析処理の一例を示すフローチャートである。

【図9】実施例２におけるデータ解析装置の機能構成例を示すブロック図である。

【図10】実施例２における検索画面の画面構成例を示す図である。

【図11】実施例２における検索結果表示画面の画面構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面に基づいて詳細に説明する。本実施形態において、同一の構成には原則として同一の符号を付け、繰り返しの説明は省略する。なお、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。

【0010】

本実施形態では、データ解析装置１００が、大規模工場やプラント等の施設の環境に関するデータ、当該施設が有する設備に関するデータ、及び当該施設にいる人間の状態又は行動に関するデータ等を分析する例を説明するが、データ解析装置１００による解析対象のデータはこれらのものに限られない。

【実施例0011】

図１は、データ解析装置の機能構成例を示すブロック図である。データ解析装置１００は、例えば、いずれも機能部である空間情報付与部１０２及びデータ解析部１０３を含む。データ解析装置１００は、センサデータ１０１、空間情報付与方法データ１０４、測位データ１０５、解析モデルＤＢ（ＤａｔａＢａｓｅ）１０６、及びナレッジＤＢ１０７を含む各種情報を保持する。

【0012】

センサデータ１０１は、センサによって計測されたデータを含む。センサは、施設の環境に関する値を計測するセンサ、当該施設が有する設備に関する値を計測するセンサ、及び当該施設にいる人間（例えば、当該設備を利用する作業員や保守する作業員等）の状態又は行動に関する値を計測するセンサ等を含む。具体的には、例えば、センサは、カメラ、マイク、スマートフォン、スマートウォッチ、ウェアラブルセンサ、脳波計、アイトラッキンググラス、温度計、圧力計、及び電流計等を含む。

【0013】

センサデータ１０１に格納されるデータの種別は、例えば、画像、映像、音声、音響、モーション、加速度、ジャイロ、地磁気、心拍、脈拍、皮膚電気抵抗、発汗量、体温、脳波、注視点、気温、湿度、温度、圧力（電圧、油圧、気圧など）、及び電流などを含む。

【0014】

また、センサデータ１０１には、施設の環境に関する情報、当該施設が有する設備に関する情報、及び当該施設にいる人間の状態又は行動に関する情報であれば、センサによって計測されたデータ以外のデータが格納されてもよい。具体的には、例えば、センサデータ１０１は、作業手順書、機器マニュアル、作業報告書、及びメモなど（いずれもデータ種別は文書である）を含んでもよい。センサデータ１０１に含まれる、センサによって計測されたデータも作業手順書のようなセンサによって計測されたデータ以外のデータも、解析対象データの一例である。

【0015】

空間情報付与部１０２は、空間情報付与方法データ１０４及び測位データ１０５を参照して、センサデータ１０１に空間情報を付与する。空間情報は、センサデータ１０１に含まれるデータが収集された位置情報（２次元の平面座標値であってもよいし、高さも含めた３次元の座標値であってもよいし、施設内の部屋や区画等の名称であってもよいし、部屋や区画等の領域を示す数式（例えば不等式）であってもよい）、及び当該データに関連する物（以下、関連事物とも呼ぶ）の情報を含む。データの計測対象である物、及びデータ内に記述されている物、はいずれもデータの関連事物の一例である。

【0016】

例えば、センサデータ１０１に含まれる画像に、空間情報として、（緯度Ｘ，経度Ｙ）の地点という位置情報が付与されてもよいし（つまり、当該画像は（緯度Ｘ，経度Ｙ）で取得されたことを示す）、変圧器Ａという関連事物の情報が付与されてもよい（つまり、当該画像は変圧器Ａの画像であることを示す）。

【0017】

なお、空間情報における位置情報として、例えば、屋外であればＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって特定された位置情報を用いることができるし、屋内であればＰＤＲ（Ｐｅｄｅｓｔｒｉａｌ Ｄｅａｄ Ｒｅｃｋｏｎｉｎｇ）、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）、赤外線ビーコン、監視カメラ、及びＲＦＩＤなどによって特定された位置情報、又はこれらの組み合わせによって特定された位置情報を用いることができる。

【0018】

空間情報における関連事物の情報として、例えば、手動のユーザ入力によって当該関連事物の名称やＩＤなどが指定されてもよいし、一般物体検出などの画像認識技術によって自動識別された物体が指定されてもよい。

【0019】

空間情報付与方法データ１０４は、空間情報付与部１０２がセンサデータ１０１に空間情報を付与する方法を示す。また、例えば、空間情報付与方法データ１０４は、センサデータ１０１に付与される位置を計測する測位機器や、センサデータ１０１に付与される関連事物を検出するモデル等を示す。測位データ１０５は、センサデータ１０１に付与される空間情報としての位置を計測する測位機器による測位情報を保持する。

【0020】

データ解析部１０３は、解析モデルＤＢ１０６が示す解析モデルを用いて、センサデータ１０１を解析し、空間情報に基づいて解析結果を更新し、更新した解析結果をナレッジＤＢ１０７に格納する。

【0021】

解析モデルＤＢ１０６は、センサデータ１０１に含まれるデータが入力されると解析結果を出力する解析モデルを保持する。ナレッジＤＢ１０７は、データ解析部１０３による解析結果を保持する。

【0022】

図２は、データ解析装置１００のハードウェア構成例を示すブロック図である。データ解析装置１００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０、メモリ１２０、補助記憶装置１３０、入力装置１４０、出力装置１５０、通信装置１６０を有する計算機によって構成される。

【0023】

ＣＰＵ１１０は、プロセッサを含み、メモリ１２０に格納されたプログラムを実行する。メモリ１２０は、不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ１１０が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

【0024】

補助記憶装置１３０は、例えば、磁気記憶装置（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、ＣＰＵ１１０が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１３０から読み出されて、メモリ１２０にロードされて、ＣＰＵ１１０によって実行される。

【0025】

入力装置１４０は、キーボード、マウス、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）コントローラ、又はゲームコントローラなどの、オペレータからの入力を受ける装置である。出力装置１５０は、ディスプレイ装置やプリンタなどの、プログラムの実行結果をオペレータが視認可能な形式で出力する装置である。

【0026】

通信装置１６０は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。また、通信装置１６０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含む。

【0027】

ＣＰＵ１１０が実行するプログラムの一部またはすべては、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又は、非一時的記憶装置を備える外部計算機からネットワークを介してデータ解析装置１００に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１３０に格納されてもよい。このため、データ解析装置１００は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。

【0028】

データ解析装置１００は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。

【0029】

ＣＰＵ１１０は、データ解析装置１００に含まれる各機能部を含む。例えば、ＣＰＵ１１０は、メモリ１２０にロードされた空間情報付与プログラムに従って動作することで、空間情報付与部１０２として機能し、メモリ１２０にロードされたデータ解析プログラムに従って動作することで、データ解析部１０３として機能する。後述する他の実施例においても、プログラムと機能部の関係は同様である。

【0030】

なお、ＣＰＵ１１０に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよい。

【0031】

データ解析装置１００が保持する各種情報は、例えば、補助記憶装置１３０に格納される。なお、補助記憶装置１３０に格納されている一部又は全部の情報は、メモリ１２０に格納されていてもよいし、データ解析装置１００に接続されているデータベースに格納されていてもよい。

【0032】

なお、本実施形態において、データ解析装置１００が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

【0033】

図３は、センサデータ１０１のデータ構成例を示す図である。センサデータ１０１は、例えば、センサＩＤ欄１０１１、データ種別欄１０１２、データ欄１０１３、及び時刻欄１０１４を含む。

【0034】

センサＩＤ欄１０１１は、センサを識別するセンサＩＤを保持する。データ種別欄１０１２は、センサによって計測されるデータの種別を示す情報を保持する。データ欄１０１３は、センサによって計測されたデータを保持する。時刻欄１０１４は、センサによってデータが計測された時刻を保持する。なお、時刻欄１０１４は、時間帯を保持してもよい。

【0035】

なお、前述したようにセンサデータ１０１には、センサによって計測されたデータ以外のデータが格納されてもよい。例えば、図３のセンサデータ１０１におけるデータ種別が「文書」のレコードは、センサによって計測されたものではなく、作業手順書等の文書データが登録されたものである。

【0036】

なお、文書データのようにセンサによって計測されていないデータに対してもセンサＩＤが付与される。また、文書データのようにセンサによって計測されていないデータに対応する時刻として、当該データが登録された時刻がセンサデータ１０１に登録されてもよいし、当該データの有効期間（例えば、作業手順書の有効期間）を示す時間帯が手動で登録されてもよい。

【0037】

図４は、空間情報付与方法データ１０４のデータ構成例を示す図である。空間情報付与方法データ１０４は、例えば、センサＩＤ欄１０４１、位置欄１０４２、及び関連事物欄１０４３を保持する。

【0038】

センサＩＤ欄１０４１は、センサＩＤを保持する。位置欄１０４２は、空間情報としての位置の付与方法と、位置の付与方法に関する備考と、を示す。位置の付与方法には、手動（つまり、入力装置１４０を介してユーザによって入力される）、及び前述したＧＰＳやＰＤＲ等がある。位置欄１０４２の備考には、例えば、ＧＰＳやＰＤＲ等の手動以外の方法によって位置が付与される場合における測位機器ＩＤ（測位機器を識別する情報）等が格納される。位置の付与方法が手動である場合には、位置欄１０４２の備考はｎｕｌｌ値であってもよい。

【0039】

関連事物欄１０４３は、空間情報としての関連事物の付与方法と、関連事物の付与方法に関する備考と、を示す。関連事物の付与方法には、手動（つまり、入力装置１４０を介してユーザによって入力される）、及び前述した物体検出等がある。関連事物欄１０４３の備考には、例えば、物体検出等の手動以外の方法によって位置が付与される場合における物体検出モデル等が格納される。関連事物の付与方法が手動である場合には、関連事物欄１０４３の備考はｎｕｌｌ値であってもよい。なお、空間情報付与方法データ１０４において、各センサＩＤに対して位置欄１０４２及び関連事物欄１０４３の少なくとも一方の付与方法が登録されていればよい。

【0040】

図５は、測位データ１０５のデータ構成例を示す図である。測位データ１０５は、例えば、測位機器ＩＤ１０５１、位置欄１０５２、及び時刻欄１０５３を保持する。測位機器ＩＤ欄１０５１は、測位機器ＩＤを保持する。位置欄１０５２は、当該測位機器によって計測された位置を示す情報を保持する。時刻欄１０５３は、当該測位機器によって位置が計測された時刻を示す情報を保持する。

【0041】

図６は、解析モデルＤＢ１０６のデータ構成例を示す図である。解析モデルＤＢ１０６において、データ種別に対応する解析モデルや、データ種別と空間情報（位置及び／又は関連事物）とに対応する解析モデルが定義されている。解析モデルＤＢ１０６は、例えば、モデルＩＤ欄１０６１、データ種別欄１０６２、位置欄１０６３、関連事物欄１０６４、及び解析モデル欄１０６５を含む。

【0042】

モデルＩＤ欄１０６１は、解析モデルを識別するモデルＩＤを保持する。データ種別欄１０６２は、データ種別を示す情報を保持する。位置欄１０６３は位置を示す情報を保持する。関連事物欄１０６４は、関連事物を示す情報を保持する。

【0043】

解析モデル欄１０６５は、学習済みの解析モデルを示す保持する。具体的には、例えば、解析モデル欄１０６５には、対応するデータ種別欄１０６２のデータから説明変数としての特徴量を抽出する方法や、当該特徴量が説明変数として入力されると解析結果を示す情報を出力する解析モデルが格納されている。なお、解析モデルＤＢ１０６に格納されている学習済みの解析モデルは、例えば、対応するデータ種別の学習データを用いて、機械学習によって予め学習されたモデルである。

【0044】

図７は、ナレッジＤＢ１０７のデータ構成例を示す図である。ナレッジＤＢ１０７は、例えば、センサＩＤ欄１０７１、データ種別欄１０７２、データ欄１０７３、タグ欄１０７４、特徴量欄１０７５、位置欄１０７６、関連事物欄１０７７、及び時刻欄１０７８を含む。

【0045】

センサＩＤ欄１０７１は、センサＩＤを保持する。データ種別欄１０７２は、データ種別を示す情報を保持する。データ欄１０７３は、当該センサＩＤ及び当該データ種別のデータを保持する。

【0046】

タグ欄１０７４は、解析モデルから出力された解析結果に基づくタグを保持する。画像中に映っている物の名前は画像データに付与されるタグの一例であり、音声データ中に含まれるキーワードは音声データに付与されるタグの一例であり、文書の種別は文書データに付与されるタグの一例である。なお、タグは可読性の高いものでなくてもよく、例えば特徴抽出処理によって得られた高次元ベクトルの特徴量などであってもよい。

【0047】

特徴量欄１０７５は、データ解析部１０３によって抽出された特徴量を保持する。位置欄１０７６は、空間情報付与部１０２によって付与された位置を示す情報を保持する。関連事物欄１０７７は、空間情報付与部１０２によって付与された関連事物を示す情報を保持する。時刻欄１０７８は、データ欄１０７３のデータに対応する時刻を示す情報を保持する。

【0048】

図８は、データ解析処理の一例を示すフローチャートである。例えば、図８の処理が開始する前に、センサデータ１０１のセンサＩＤ欄１０１１及びデータ種別欄１０１２、空間情報付与方法データ１０４、並びに測位データ１０５の測位機器ＩＤ欄１０５１の情報が予め登録されているものとする。

【0049】

空間情報付与部１０２は、データ解析装置１００に接続されたセンサ若しくはデータ解析装置１００に接続された外部装置から送信された、又は入力装置１４０に入力された、センサＩＤ、データ、及び時刻（例えば、センサ値のタイムスタンプ等）を取得し、取得したデータ及び時刻をセンサデータ１０１に格納する（Ｓ８０１）。なお、空間情報付与部１０２は、自身がセンサ、外部装置、又は入力装置からデータを取得した時刻（例えば、センサの情報がアップロードされた時刻等）を時刻欄１０１４に格納してもよい。

【0050】

空間情報付与部１０２は、空間情報付与方法データ１０４及び測位データ１０５を参照して、センサデータ１０１に空間情報を付与する（Ｓ８０２）。具体的には、例えば、空間情報付与部１０２は、センサデータ１０１の各レコードについて、センサＩＤを取得し、空間情報付与方法データ１０４から当該センサＩＤに対応する位置及び関連事物の付与方法及び備考を特定し、特定した付与方法及び備考に従って、当該レコードに対して位置及び／又は関連事物の情報を付与する。

【0051】

図３及び図４の例では、センサデータ１０１のセンサＩＤが「００１」のレコードに対して、空間情報付与部１０２は、入力装置１４０を介して「手動」で入力された位置及び関連事物の情報を付与する。

【0052】

また、例えば、センサデータ１０１のセンサＩＤが「００２」のレコードに対して、空間情報付与部１０２は、測位機器ＩＤが「ＡＡＡ」の測位機器によって計測された位置の情報を測位データ１０５から取得して、付与する。なお、この場合、空間情報付与部１０２は、測位データ１０５が示す測位機器ＩＤが「ＡＡＡ」の測位機器によって計測された位置の情報のうち、時刻欄１０５３の値が、センサＩＤが「００２」の時刻欄１０１４に最も近い位置の情報を付与することが望ましい。

【0053】

また、例えば、センサデータ１０１のセンサＩＤが「００３」のレコードに対して、空間情報付与部１０２は、入力装置１４０を介して「手動」で入力された位置の情報を付与し、当該レコードのデータと、「物体認識モデルＸ」と、を用いた「物体検出」によって出力された関連事物の情報（例えば、検出された関連事物の名称）を付与する。

【0054】

データ解析部１０３は、ステップＳ１０２で空間情報が付与されたセンサデータ１０１の各レコードに対して、データ種別と、付与された空間種別と、に対応する解析モデルを解析モデルＤＢ１０６から選択する（Ｓ１０３）。なお、図６の解析モデルＤＢ１０６の例では、データ種別と、空間種別と、の組み合わせに対応する解析モデルが定義されているが、データ種別のみに対応する解析モデルが定義されていてもよい。この場合、データ解析部１０３は、ステップＳ１０２で空間情報が付与されたセンサデータ１０１の各レコードに対して、データ種別に対応する解析モデルを解析モデルＤＢ１０６から選択する。

【0055】

データ解析部１０３は、ステップＳ１０２で空間情報が付与されたセンサデータ１０１の各レコードに対して、当該レコードが示すデータから、ステップＳ１０３で選択した解析モデルが示す、説明変数としての特徴量を抽出し、抽出した特徴量を当該解析モデルに入力して解析結果を取得する（Ｓ１０４）。

【0056】

データ解析部１０３は、所定の条件に基づいて、ステップＳ１０２で付与された空間情報が類似するセンサデータ１０１をグループ化する（Ｓ１０５）。具体的には、例えば、データ解析部１０３は、センサデータ１０１において、付与された位置が近いレコード（例えば、付与された位置の座標が所定半径の円内にあるレコード、又は付与された位置が同一の部屋若しくは区画を示すレコード）をグループ化したり、付与された関連事物が同一又は類似（例えば、どの関連事物が類似するかは予め定められている）であるレコードをグループ化したりする。

【0057】

なお、データ解析部１０３は、センサデータ１０１における時刻が所定の条件に基づいて近いレコード（例えば、時刻の差が所定値以内であるレコード）のみを、空間情報に基づいて、グループ化してもよい。このようにデータ解析部１０３は、時刻情報を活用することにより、より正確にデータをグルーピングでき、ひいては後述するタグの付与の精度を向上させることができる。また、ステップＳ１０５においてグループ化されなかったレコードは、後述するステップＳ１０６において、単一のレコードのみからなるグループとして扱われる。

【0058】

データ解析部１０３は、ステップＳ１０５で作成したグループごとに、ステップＳ１０４で取得した解析結果に基づいてタグを生成し、当該グループに含まれる各レコードに付与する（Ｓ１０６）。具体的には、例えば、データ解析部１０３は、単一のレコードのみからなるグループに対しては、ステップＳ１０４で取得した解析結果をタグとして付与する。

【0059】

データ解析部１０３は、複数のレコードを含むグループに対して、所定のルールに基づいて当該グループ内の解析結果を整合させ、当該整合させた解析結果を示すタグを付与する。以下、タグを付与する当該所定のルールの例を説明する。なお、タグを付与するルールは、グループに含まれるレコードのデータ種別や、グループに含まれるレコードのデータ種別と当該レコードを解析した解析モデルとの組み合わせや、グループに含まれるレコードのデータ種別と空間情報との組み合わせ等に対応して予め定められているものとする。なお、データ解析部１０３は、対応するルールが存在しないグループに対しては、当該グループに含まれる複数のレコードそれぞれにステップＳ１０４で取得した解析結果をタグとして付与する。

【0060】

例えば、データ解析部１０３が、複数のレコードを含むグループに対して、ステップＳ１０４で取得した当該複数のレコードそれぞれに対応する解析結果に対する所定の統計量に基づいて、当該複数のレコードにタグを付与するルールがある。

【0061】

所定の統計量に基づく第１のルールの例について説明する。例えば、第１のグループに３つのレコードが含まれ、当該３つのレコードのうちの第１のレコードに対する解析結果としてＡ、第２のレコードに対する解析結果としてＢ、第３のレコードに対する解析結果としてＡ、が得られているとする。この場合、当該第１のグループにおいて最も出現頻度が高い解析結果であるＡが、当該３つのレコードそれぞれに対するタグとして付与される。

【0062】

所定の統計量に基づく第２のルールの例について説明する。例えば、第２のグループに３つのレコードが含まれ、当該３つのレコードのデータ種別がいずれも画像（以下、それぞれ画像１、画像２、画像３とも呼ぶ）であり、これら３つの画像がいずれも解析モデルである物体認識モデルに入力されたとする。また、当該物体認識モデルに画像が入力され、当該画像に含まれている物体が物体Ａである確率と、物体Ｂである確率と、物体Ｃである確率と、が解析結果として出力されるとする。

【0063】

さらに、当該物体認識モデルによる画像１に対する解析結果として、画像１に含まれている物体が物体Ａである確率０．４、物体Ｂである確率０．５、物体Ｃである確率０．１が出力され、当該物体認識モデルによる画像２に対する解析結果として、画像２に含まれている物体が物体Ａである確率０．６、物体Ｂである確率０．３、物体Ｃである確率０．１が出力され、当該物体認識モデルによる画像３に対する解析結果として、画像３に含まれている物体が物体Ａである確率０．５、物体Ｂである確率０．４、物体Ｃである確率０．１が出力されたとする。

【0064】

この場合、データ解析部１０３は、例えば、画像１、画像２、及び画像３における解析結果が示す確率をそれぞれ平均する。つまり、データ解析部１０３は、物体が物体Ａである確率の平均０．５、物体Ｂである確率の平均０．４、物体Ｃである確率の平均０．１を得る。データ解析部１０３は、確率の平均が最も高い物体Ｂを当該第２のグループの３つのレコードそれぞれに対するタグとして付与する。また、データ解析部１０３は、物体が物体Ａである確率の平均０．５、物体Ｂである確率の平均０．４、物体Ｃである確率の平均０．１を、当該第２のグループの３つのレコードそれぞれに対するタグとして付与してもよい。

【0065】

第２の例では、画像１に含まれている物体は物体Ｂである確率が最も高いものの、画像１と同一又は近い空間の画像である画像２及び画像３の情報も加味すると、画像１に含まれている物体が物体Ａであるというように解析結果を補正した上でタグを付与することができる。

【0066】

第３のルールの例について説明する。例えば、第３のグループに２つのレコードが含まれ、当該２つのレコードのうちの第１のレコードのデータ種別が画像でありかつ関連事物が機器Ａ、第２のレコードのデータ種別が音声でありかつ関連事物が機器Ａであるとする。さらに、第１のレコードにおける画像が解析モデルである物体認識モデルに入力され、機器Ａに異常が発生している確率と、発生していない確率と、が解析結果として出力されるとする。また、第２のレコードにおける音声が解析モデルである異音検知モデルに入力され、機器Ａに異常が発生している確率と、発生していない確率と、が解析結果として出力されるとする。

【0067】

この場合、データ解析部１０３は、例えば、第１のレコードの解析結果と第２のレコードの解析結果における、機器Ａに異常が発生している確率の平均値と、異常が発生していない確率の平均値と、の高い方に対応する解析結果（即ち、異常発生又は異常無しのいずれか）をタグとして、第３のグループのレコードに付与する。

【0068】

例えば、第３のグループに対応する空間が暗くなったり画像を撮影するカメラに死角があったりすると当該画像に対する解析精度は低下するものの当該音声に対する解析精度は低下しないし、当該空間において機器Ａ以外から出力される音が増えると当該音声に対する解析精度は低下するものの当該画像に対する解析精度は低下しない。このように、第３の例では、画像と音声のように異なる種別のデータ（即ちマルチモーダルのデータ）を用いることで、相補的な情報に基づいてより正確にタグを付与することができる。

【0069】

また、所定の統計量に基づくルール以外に、データ解析部１０３が、複数のレコードを含むグループに対して、ステップＳ１０４で取得した当該複数のレコードのうちのいずれかのレコードに対応する解析結果を優先して解析結果を整合させた上で、タグを付与するルールがある。

【0070】

このようなルールの一例である第４のルールを説明する。第４のグループに２つのレコードが含まれ、当該２つのレコードのうちの第１のレコードのデータ種別が（作業員の）加速度であり、第２のレコードのデータ種別が文書（作業手順書）であるとする。さらに、第１のレコードにおける加速度が解析モデルである行動認識モデルに入力され、作業員が行っている作業が作業Ａである確率と、作業Ｂである確率と、作業Ｃである確率と、が解析結果として出力されるとする。また、第２のレコードにおける文書が解析モデルである文書解析モデルに入力され、当該文書に記述された作業（の名称）が解析結果として出力されるとする。

【0071】

さらに、第１のレコードの加速度に対する解析結果として、作業員が行っている作業が作業Ａである確率０．４、作業Ｂである確率０．５、作業Ｃである確率０．１、が出力され、第２のレコードの文書に対する解析結果として作業Ａと作業Ｃが出力されたとする。

【0072】

この場合、第１のレコードの加速度に対する解析結果では作業Ｂが行われている確率が高いが、データ解析部１０３は、第２のレコードの文書に対する解析結果を優先して、第１のレコードに対する解析結果から作業Ｂを排除する。つまり、例えば、データ解析部１０３は、作業員が行っている作業が作業Ａである確率と、作業Ｃである確率と、を比較して、より確率が高い作業Ａを第１のレコードに対するタグとして付与する。また、データ解析部１０３は、第２のレコードには、作業Ａに加えて、解析結果に含まれていた作業Ｃもタグとして付与してもよい。

【0073】

このように、第４の例においても、加速度と文書のように異なる種別のデータ（即ちマルチモーダルのデータ）を用いることで、相補的な情報に基づいてより正確にタグを付与することができる。

【0074】

続いて、データ解析部１０３は、ナレッジＤＢ１０７に各種情報を登録して（Ｓ１０７）、図８のデータ解析処理を終了する。

【0075】

なお、本実施例では、ステップＳ１０６において、データ解析装置１００が、グループごとにタグを自動で付与する例を説明したが、例えば、データ解析装置１００は、空間情報が付与されグループ化されたセンサデータ１０１と、各グループのレコードに対応する解析結果と、を出力装置１５０に表示し、ユーザが当該表示を確認した上でタグを入力装置１４０に入力することで、タグを付与してもよい。

【0076】

なお、本実施例では、センサデータ１０１や測位データ１０５に時刻が付与されている例を説明したが、これらのデータに時刻が付与されていなくてもよい。この場合、ステップＳ１０５におけるデータのグループ分けにおいて時刻が考慮されない。

【0077】

また、データ解析部１０３は、同じニューラルネットワーク（解析モデルの一例）を用いて解析されたデータのうち、ステップＳ１０５において同じグループに分類されたレコードのデータから抽出される特徴量間の類似度が高くなるように、かつ異なるグループに分類されたレコードのデータから抽出される特徴量間の類似度が低くなるように、当該ニューラルネットワークにおけるネットワークパラメータを、Ｃｏｎｔｒａｓｔｉｖｅ Ｌｅａｒｎｉｎｇ等を用いて再学習するようにしてもよい。

【0078】

なお、データ解析部１０３は、ステップＳ１０５において生成されたグループを識別するグループＩＤを生成し、グループＩＤをナレッジＤＢ１０７に格納してもよい。これにより、ユーザはどのデータが空間情報によってグルーピングされたかを容易に把握することができる。

【0079】

以上、本実施例のデータ解析装置１００は、センサデータ１０１に空間情報を付与し、センサデータ１０１に含まれるデータそれぞれを解析し、空間情報に基づいてセンサデータ１０１に含まれるデータをグループ化し、データに対する解析結果を示すタグをグループごとに付与することで、タグの付与精度を向上させることができる。データ解析装置１００は、データのグループ化において、時刻情報をさらに用いることにより、タグの付与精度をさらに向上させることができる。また、データ解析装置１００は、マルチモーダルデータをグループ化してタグを付与することにより、相補的な情報に基づいてより正確にタグを付与することができる。

【実施例0080】

以下、実施例１と共通する内容については適宜説明を省略し、実施例１との相違点を主に説明する。

【0081】

図９は、データ解析装置１００の機能構成例を示すブロック図である。本実施例のデータ解析装置１００は、いずれも機能部である検索部２０１、画面データ生成部２０２、領域計算部２０４、及び意図推定部２０５をさらに有する。また、データ解析装置１００が有する各種情報は、３Ｄモデルデータ２０３をさらに含む。

【0082】

検索部２０１は、入力装置１４０に入力された情報に従って、ナレッジＤＢ１０７を検索する。画面データ生成部２０２は、検索画面や検索結果表示画面や３Ｄモデルの画面データを生成し、出力装置１５０に表示する。

【0083】

３Ｄモデルデータ２０３は、データ収集対象の施設の内部を表現する３Ｄモデルである。データ収集対象の施設が工場である場合、工場のＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）モデルは、３Ｄモデルデータ２０３の一例である。データ収集対象の施設が建築現場である場合は、現場を点群計測して作成された３Ｄモデルは、３Ｄモデルデータ２０３の一例である。

【0084】

また、３Ｄモデルデータ２０３は、３Ｄ ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）に変換されたＣＡＤデータ、点群データ、又はフォトグラメトリなど様々な形態のいずれかのデータであってもよい。また、３Ｄモデルデータ２０３に代えて、３６０度カメラによって取得された画像など、２Ｄデータが用いられてもよい。

【0085】

なお、３Ｄモデルデータ２０３は、空間情報付与部１０２が付与する空間情報と整合する空間情報を示す。具体的には、例えば、３Ｄモデルデータ２０３は、測位データ１０５位置及びユーザによって入力可能な位置と同一の座標系を有していたり、空間情報付与部１０２が自動で付与可能な関連事物及びユーザによって入力可能な関連事物の名称及びＩＤ等を含んでいたりする。これにより、画面データ生成部２０２は、空間情報を付与されたデータが３Ｄモデル上でどの位置にあるか、どの関連事物に紐づいているかなどを表示することができる。

【0086】

領域計算部２０４は、入力装置１４０に入力されたユーザからの命令に従って、３Ｄモデルデータ２０３のうちの出力装置１５０に表示する表示範囲を計算し、計算結果を画面データ生成部２０２に出力する。また、領域計算部２０４は、入力装置１４０への音声による入力やジェスチャによる入力等に基づいて、音声認識及びジェスチャ認識を行っても表示範囲を計算してもよい。また、領域計算部２０４は、ユーザの頭部のモーション推定や注視点位置推定を行い、推定した情報を基に表示範囲を計算してもよい。

【0087】

意図推定部２０５は、抽象的な表現による検索条件が指定された場合に、当該表現から推定されるユーザの意図を反映した検索を行う。

【0088】

図１０は、検索画面の画面構成例を示す図である。検索画面１０００は、例えば、検索キーワード入力領域１０１０と、検索条件設定領域１０２０と、を含む。検索部２０１は、検索キーワード入力領域１０１０に検索キーワードが入力される、かつ／又は検索条件設定領域１０２０において検索条件が設定されることによる検索要求を受け付けると、当該検索キーワード及び／又は当該検索条件に従って、ナレッジＤＢ１０７を検索する。

【0089】

検索条件設定領域１０２０は、例えば、検索タイプ設定領域１０２１、時刻設定領域１０２２、データ種別設定領域１０２３、位置設定領域１０２４、関連事物設定領域１０２５、及び自由入力領域１０２６を含む。

【0090】

検索タイプ設定領域１０２１は、例えば、検索キーワードによる検索範囲を設定するための領域である。検索タイプ設定領域１０２１において、「コンテンツ」が選択されると、例えば、コンテンツ（例えば、文書ファイル内の文や、各ファイルのファイル名等）に検索キーワードを含むデータがナレッジＤＢ１０７から検索される。

【0091】

検索タイプ設定領域１０２１において、「タグ」が選択されると、例えば、タグに検索キーワードを含むデータがナレッジＤＢ１０７から検索される。検索タイプ設定領域１０２１において、「全文」が選択されると、例えば、コンテンツ及び／又はタグに検索キーワードを含むデータがナレッジＤＢ１０７から検索される。

【0092】

時刻設定領域１０２２は、データの時刻に関する検索条件を設定するための領域である。データ種別設定領域１０２３は、データ種別に関する検索条件を設定するための領域である。

【0093】

位置設定領域１０２４は、データの位置に関する検索条件を設定するための領域である。図１０の例では、位置設定領域１０２４において、中心と、半径と、を設定可能であり、当該設定された中心と半径とによって定められる円内の位置を示すデータをナレッジＤＢ１０７から検索可能である。なお、位置設定領域１０２４において、円以外の形状の領域で位置を設定可能であってもよいし、部屋や区画の名称等も設定可能であってもよい。

【0094】

関連事物設定領域１０２５は、データの関連事物に関する検索条件を設定するための領域である。図１０の例では、関連事物設定領域１０２５において、ナレッジＤＢ１０７に含まれる関連事物を選択可能なボックスが表示されている。

【0095】

なお、上記した例では位置設定領域１０２４及び関連事物設定領域１０２５において位置及び関連事物を含む空間情報に関する検索条件が設定されるが、例えば、領域計算部２０４がユーザに指定された領域の３Ｄモデルを計算して、画面データ生成部２０２が当該領域の３Ｄモデルを出力装置１５０に表示し、出力装置１５０に表示された当該３Ｄモデル上の位置や関連事物をユーザ入力によって選択することで空間情報に関する検索条件を設定可能であってもよい。

【0096】

自由入力領域１０２６は、ユーザが検索条件を示すテキストを自由に入力するための領域である。意図推定部２０５は、自由入力領域１０２６に入力されているテキストにおけるユーザの意図を反映した検索を行う。例えば「冷却装置の下で取った画像データ」というテキストが自由入力領域１０２６に入力された場合に、意図推定部２０５は、（ｘ，ｙ）座標が冷却装置の（ｘ，ｙ）座標から所定距離以内で、かつｚ座標が冷却装置のｚ座標より小さい画像データをナレッジＤＢ１０７から検索する。

【0097】

また、例えば、「作業Ａの後に作られた報告書」というテキストが自由入力領域１０２６に入力された場合に、意図推定部２０５は、「作業Ａ」というタグに対応するデータよりも時刻が後である文書データのみをナレッジＤＢ１０７から検索する。

【0098】

なお、意図推定部２０５によるテキストからの意図の推定は、予め作成されたルールに基づいて実現されてもよいし、Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇなどの言語処理のアルゴリズムに基づいて実現されてもよい。

【0099】

また、意図推定部２０５による検索結果が後述する検索結果表示画面においてユーザに選択された場合、当該検索結果をユーザが所望するデータ（正解データ）であったとみなし、自由入力領域１０２６に入力されたテキスト（クエリ）と正解データとのペアに関する情報を蓄積し、機械学習技術により特定のクエリに対して返すべきデータを学習してもよい。

【0100】

また、意図推定部２０５は、自由入力領域１０２６に入力された意図が不明瞭であると判定した場合に意図を尋ねる質問を出力するなどしてもよい。例えば、「冷却装置の近くの画像データ」というテキストが自由入力領域１０２６に入力された場合には、意図推定部２０５は、「冷却装置の近くというのは冷却装置から半径５ｍ以内でよいでしょうか？」などのような意図を尋ねる質問を出力してもよい。

【0101】

図１１は、検索結果表示画面の画面構成例を示す図である。検索結果表示画面１１００は、例えば、３Ｄモデル表示領域１１１０と検索結果表示領域１１２０とを含む。３Ｄモデル表示領域１１１０は、検索結果に含まれるデータに対応する位置及び関連事物を含む領域の３Ｄモデル（３Ｄモデルデータ２０３から抽出される）が表示される。また、検索結果に含まれるデータに対応する位置及び関連事物が、３Ｄモデル表示領域１１１０に表示されている３Ｄモデル上においても示されている（図１１の３Ｄモデル表示領域１１１０内における「１」及び「２」の番号によって位置や関連事物が示されている）。

【0102】

検索結果表示領域１１２０には、検索画面１０００において指定された検索キーワード及び検索条件による検索結果が表示される。図１１の例では、検索結果として、データ、データ種別、時刻、タグ、位置、及び関連事物が検索結果表示領域１１２０に表示されているが、ナレッジＤＢ１１０７に含まれる任意の項目が表示されてもよい。また、例えば、検索結果表示領域１１２０においてグループＩＤが表示されてもよい。

【0103】

また、データ、データ種別、時刻、タグ、位置、及び関連事物等のナレッジＤＢ１１０７から抽出された項目も、３Ｄモデル表示領域１１１０内の３Ｄモデル上に重ねて表示されてもよい。

【0104】

なお、検索結果表示領域１１２０に表示されたデータが選択されると、当該データが表示される。

【0105】

また、検索結果表示領域１１２０において、例えば、データが時系列で並べられてもよいし、データがデータ種別でソートされた上で、時系列で並べられてもよい。例えば、検索部２０１は、検索結果として得られた画像データを時系列順に並べ、変化検知や変化キャプショニング等の画像解析手法を適用してもよく、これにより、検索条件として指定された地点で起こった主要な変化を検知又は記述してユーザに提示することができる。

【0106】

また、検索結果表示領域１１２０において、例えば、データが関連事物でソートされた上で時系列順に並べられてもよい。例えば、検索部２０１は、検索結果として得られた文書データを関連事物でソートした上で、時系列で並べ、タイムライン要約などの文書解析手法を適用してもよく、これにより、検索条件として指定された関連事物において起こった変化をユーザに提示することができる。

【0107】

なお、検索部２０１は、検索画面１０００において指定された検索キーワード及び検索条件による検索結果に加えて、当該検索結果に含まれるデータと、ステップＳ１０５において同じグループに属すると判定されたかつ／又は同じタグを有するデータも併せて、検索結果表示画面１１００に表示してもよい。

【0108】

これにより、例えば、冷却装置に事故が発生しているかを画像データによってユーザが確認したいものの、当該画像が暗い空間で撮影されたものであるために画像データをユーザが見ても事故状況を把握しづらい場合であっても、当該画像データと同じグループに属する音声データも表示されることにより、ユーザは当該音声データによって事故状況を把握することができる等のように、ユーザにとって有用であってかつユーザが気付いていない情報を提示することができる。特に、このようにユーザが指定したデータ種別とは異なるデータであって、同じグループに属すると判定されたかつ／又は同じタグを有するデータも併せて検索結果表示画面１１００に表示されることにより、相補的なマルチモーダルデータをユーザに提示することができる。

【0109】

また、例えば、検索部２０１は、検索画面１０００において指定された検索キーワード及び検索条件による検索結果に加えて、位置設定領域１０２４によって設定された位置の範囲を所定距離広げた場合に検索結果に含まれるようなるデータや、時刻設定領域１０２２によって設定された時刻の範囲を所定時間広げた（例えば、開始時刻を所定時間早めた及び／又は終了時刻を所定時間遅くした）場合に検索結果に含まれるようなるデータも併せて、検索結果表示画面１１００に表示してもよい。これにより、ユーザにとって有用であってかつユーザが気付いていない情報を提示することができる。

【0110】

なお、複数のデータ解析装置１００がインターネット等のネットワークによって接続されてもよく、このとき当該複数のデータ解析装置１００が互いに検索結果を共有して表示してもよい。具体的には、例えば、複数のデータ解析装置１００それぞれの画面データ生成部２０２は、３Ｄモデル表示領域１１１０に表示している３Ｄモデルの領域が所定距離以内である（検索結果表示領域１１２０に表示されるデータの空間情報（位置及び／関連事物を含む領域）が所定の条件に基づいて近い）検索結果を表示している他のデータ解析装置１００による検索結果を、自身の検索結果表示画面１１００に表示する。

【0111】

これにより、複数のデータ解析装置１００それぞれのユーザは、３Ｄモデル上で近い領域を参照している他のユーザが当該領域のどのような情報（タグや関連事物等）に着目しているのかを共有することができる。さらに、当該複数のデータ解析装置１００のユーザ間でチャットや通話等による議論を実行可能にすれば、当該ユーザ間で検索結果を共有することで、各ユーザが重視している情報等を互いに知ることができ、ひいては議論における合意形成を円滑に行うことができる。

【0112】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0113】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

【0114】

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。