(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
以下、本発明に係る一実施形態を、
図1ないし
図25を用いて説明する。
【0013】
本実施形態では、行動特徴量解析システムの例として、施設にいる人物がどのくらい滞在しているかを可視化する軌跡抽出システムの例を説明する。
【0014】
先ず、
図1および
図2を用いて行動特徴量解析システムの構成を説明する。
行動特徴量解析システムは、
図1に示されるように、クライアント端末CL、行動特徴量解析サーバCA、基地局BS、ビーコンBCがネットワークNWで接続された形態である。
【0015】
クライアント端末CLは、行動特徴量解析サーバCAとネットワークNW経由で接続されており、経営者USが操作して、行動特徴量解析サーバCAが出力する情報を利用する端末である。経営者USは、施設のどのエリアにどのくらい人物が滞在しているかを確認する管理者である。ここでの経営者USとは、必ずしも現実の経営者に限定されるものではなく、例えば、マネージャや施設管理者等の、施設を運営する人物であってもよい。
【0016】
ネットワークNWは、クライアント端末CLと、行動特徴量解析サーバCA、基地局BS、ビーコンBCを接続して、データのやり取りをおこなう。基地局BSは、施設内の人物を計測する計測機器であるレーザーレーダLL、カメラCRから計測した情報を無線により収集する装置である。また、ビーコンBCは、人が所持するセンサタグSTから発せられる情報を所持する装置である。
【0017】
行動特徴量解析サーバCAは、センサデータを統計処理し、施設における人物滞在の可視化や様々な統計処理したデータを表示するためのデータを生成するサーバであり、データベースCA01、計測処理部CA02、基本ピボット生成部CA03、特徴量抽出部CA04、要求部CA05、表示部CA06、業務処理部CA07の各機能部を備え、データを保持するためのデータベースCA01を有している。
【0018】
データベースCA01は、行動特徴量解析サーバCAでのデータ解析のための各種データ、テーブルを管理するデータベースである。なお、データベースCA01に保持される各種データ、テーブルについての詳細は後述する。計測処理部CA02では、基地局BSからのセンサデータを受取り、所定の計測条件に基づき、計測をおこなう。抽出した結果は、データベースCA01のテーブルに格納される。基本ピボット生成部CA03では、計測処理部CA02でおこなった計測から人物が滞在している座標やそれに付随する特徴量を求める処理をおこなう。抽出した結果は、データベースCA01のテーブルに格納される。特徴量抽出部CA04では、該当するセンサデータの有無を確認し、もし無い場合には基本ピボット生成部CA03された結果を用いて、所望する特徴量の近似特徴量を求める処理をおこなう。抽出した結果は、データベースCA01に格納される。
【0019】
要求部CA05では、クライアント端末CLからの要求を各機能部に送信する。表示部CA06では、各機能部から送られてきた結果とデータベースCA01から、表示に必要な特徴量を抽出する処理と、表示画面を生成する処理をおこなう。
【0020】
業務処理部CA07は、他の業務アプリケーションソフトウェアとの連携をおこなうための処理をおこなう。
【0021】
クライアント端末CLは、行動特徴量解析サーバCAの表示部CA06で作られた表示画面のデータを受取り、表示装置に表示する。なお、クライアント端末CLにおけるユーザインタフェースについては後に詳説する。
【0022】
次に、
図2を用いて行動特徴量解析サーバCAのハードウェア構成・ソフトウェア構成について説明する。
行動特徴量解析サーバCAのハードウェア構成は、
図2に示されるように中央処理装置(CPU:Central Processing Unit)CACP、主記憶装置CAMM、表示インタフェースCADIF、入出力インタフェースCAIOIF、ネットワークインタフェースCANIF、補助記憶インタフェースCAASIFがバスにより接続されたものである。
【0023】
表示装置CADPには、稼動状況のモニタや出力結果が表示される。入出力インタフェースCAIOIFには、キーボードCAKBやマウスCAMSなどの入出力装置が接続され、管理者は、これらの入出力装置からコマンドなどを入力する。ネットワークインタフェースCANIFには、LAN、WANなどのネットワークNWが接続され、このインタフェースを介して基地局BSやクライアント端末CLのような外部の装置と通信をおこなう。補助記憶インタフェースCAASIFには、データやプログラムを格納するハードディスク装置CAHDDやSDD(Solid State Drive)などの記憶装置が接続される。ハードディスク装置CAHDDは、アレイ上に接続されてディスクアレイを構成する場合もある。
【0024】
業務処理のアプリケーションプログラム、OS(Operating System)などは、ハードディスク装置CAHDDに格納されており、実行されるときに主記憶装置CAMMにロードされて、中央処理装置CACPにより実行される。
【0025】
特に、行動特徴量解析サーバCAとして実行されるプログラムとしては、計測処理プログラムCAP01、基本ピボット生成プログラムCAP02、特徴量抽出プログラムCAP03、要求プログラムCAP04、表示プログラムCAP05、業務処理プログラムCAP06がインストールされている。計測処理プログラムCAP01、基本ピボット生成プログラムCAP02、特徴量抽出プログラムCAP03、要求プログラムCAP04、表示プログラムCAP05、業務処理プログラムCAP06は、それぞれ、計測処理部CA02、基本ピボット生成部CA03、特徴量抽出部CA04、要求部CA05、表示部CA06、業務処理部CA07の各機能を実行するためのプログラムである。
【0026】
また、ハードディスク装置CAHDDには、データベースCA01の各種テーブルが格納される。データベースCA01のテーブルは、分類すると、環境テーブル類TE、測定データテーブル類TM、ログテーブル類TL、基本ピボットテーブル類TP、特徴量テーブル類TCのテーブル類が存在する。各種テーブル類と、その内容については後に詳説する。
【0027】
次に、
図3ないし
図19を用いて行動特徴量解析システムで用いられデータ構造について説明する。
環境テーブル類TEは、システムの計測環境に関する情報を格納するためのテーブル類であり、
図3に示す基地局・ビーコン設置テーブルTE01と、利用者情報テーブルTE02がこれに属する。
【0028】
基地局・ビーコン設置テーブルTE01は、
図3に示されるように、人物の移動や軌跡を計測するための基地局BSが何処に設置しているかの情報をまとめたテーブルである。
【0029】
基地局ID(TE011)は、基地局を識別するためのIDである。種別(TE012)は、基地局に用いたセンサの種別であり、例えば、レーザーレーダ、カメラ、ステレオカメラ、ビーコンなどがある。X座標(TE013)、Y座標(TE014)は、設置した位置のそれぞれのX座標、Y座標である。このX座標、Y座標は、物理的な空間における値と対応している。X軸計測範囲(TE015)、Y軸計測範囲(TE016)は、それぞれこの基地局が計測できるX軸、Y軸の範囲を示している。X座標(TE013)、Y座標(TE014)を中心とした半径の値を格納する。なお、
図3に示したのは一例であり、基地局情報を管理していく上で必要なデータがあれば追加することができる。
【0030】
利用者情報テーブルTE02は、
図4に示されるように、センサタグSTに関する人の情報を格納するテーブルである。すなわち、センサタグSTは人毎に装着させることができるため、分析のためにその人の属性を保持するテーブルである。
【0031】
測定データテーブル類TMは、センサから計測したデータの情報を保持するためのテーブル類であり、
図5に示されるセンサテーブル(レーザーレーダーレーダ・センサデータ)TM01、
図6に示されるセンサテーブル(レーザーレーダ・軌跡データ)TM02、
図7に示されるセンサテーブル(カメラ・センサデータ)TM03、
図8に示されるセンサテーブル(カメラ・軌跡データ)TM04、
図9に示されるセンサテーブル(センサタグ・センサデータ)TM05、
図10に示されるセンサテーブル(センサタグ・軌跡データ)TM06がこれに属する。なお、以下、測定データテーブル類TMのテーブルを単に、センサテーブルともいうことにする。
【0032】
これらのセンサテーブルは、物体とそれを検知する基地局との関係を示すのに必要なデータがあれば追加することができる。
【0033】
センサテーブル(レーザーレーダ・センサデータ)TM01は、
図5に示されるように、レーザーレーダから取得されたセンサデータを格納するテーブルである。基地局ID(TM011)は、センサデータを発信した基地局のIDである。時刻(TM012)は、センサデータを受信した時の時刻である。X座量(TM013)、Y座標(TM014)は、それぞれ、物体のX軸、Y軸の座標値である。
【0034】
センサテーブル(レーザーレーダ・軌跡データ)TM02は、
図6に示されるように、レーザーレーダのセンサテーブルTM01に格納しているデータから軌跡を抽出した結果を格納するテーブルである。固体ID(TM021)は、物体を識別するためのIDである。軌跡を線分で表現するために、始点と終点の線分情報を格納する。速度[m/s](TM028)は、物体の属性データであり、物体の速度の値である。大きさ[m
2](TM029)は、物体の属性データであり、物体の大きさの値である。
【0035】
センサテーブル(カメラ・センサデータ)TM03は、
図7に示されるように、カメラCRから取得されたセンサデータを格納するテーブルである。基地局ID(TM031)は、センサデータを発信した基地局のIDである。時刻(TM032)は、センサデータを受信した時の時刻である。画像(TM033)は、その時刻(TM032)に撮影した画像である。
【0036】
センサテーブル(カメラ・軌跡データ)TM04は、
図8に示されるように、カメラのセンサテーブルTM03に格納しているデータから軌跡や画像認識の結果を格納する。固体ID(TM041)は、物体を識別するためのIDである。軌跡を線分で表現するために、始点と終点の線分情報を格納する。カメラCRから取得できる情報としては、軌跡のみならず、カメラCRの撮像した画像を画像認識処理することにより、感情、振舞い、年齢、持ち物なども検出して、
図8に示されるように格納するようにしてもよい。
【0037】
センサテーブル(センサタグ・センサデータ)TM05は、
図9に示されるように、センサタグSTから取得されたセンサデータを格納するテーブルである。センサタグ識別ID(TM051)は、センサタグを識別するためのIDである。時刻(TM052)は、センサデータを受信した時の時刻である。センサタグSTには、複数のセンサが搭載されており、加速度、温度、照度などのそれぞれのセンサが取得したデータを格納することができる。また、対面(TM056)は、近接した者が所持しているセンサタグSTのセンサタグ識別IDである。
【0038】
センサテーブル(センサタグ・軌跡データ)TM06は、
図10に示されるように、センサタグのセンサテーブルTM05に格納しているデータから軌跡や画像認識の結果を格納する。センサタグ識別ID(TM051)は、センサタグを識別するためのIDである。軌跡を線分で表現するために、始点と終点の線分情報を格納する。センサタグSTから取得できる情報としては、軌跡のみならず、
図10に示したように、その他の速度などの情報も検出することができる。
【0039】
ログテーブル類TLは、ピボットテーブルに格納する特徴量の情報に関するログを格納するためのテーブル類であり、
図11に示される特徴量情報管理テーブルTL01がこれに属する。
【0040】
特徴量情報管理テーブルTL01は、
図11に示されるように、センサテーブルから特徴量を生成しピボットテーブルに格納したときのログを格納するテーブルである。管理ID(TL01)は、このログを管理するための識別子が格納される。開始日時(TL02)、終了日時(TL03)は、ピボットテーブルに特徴量を生成したときの開始と終了の日時である。対象開始日時(TL04)、対象終了日時(TL05)は、対象となるセンサデータの開始と終了の日時である。完了処理範囲(TL06)は、現在における処理の状況である。ピボットID(TL07)は、後に説明するピボットテーブルのピボットIDを格納する。
【0041】
基本ピボットテーブル類TPは、ある観点により情報を整理したピボットテーブルが属するテーブル類であり、
図12に示されるピボットテーブル(人ピボット)、
図13に示されるピボットテーブル(時ピボット)、
図14に示されるピボットテーブル(場ピボット)、
図15に示されるピボットテーブル(時人ピボット)、
図16に示されるピボットテーブル(場人ピボット)、
図17に示されるピボットテーブル(場時ピボット)、
図18に示されるピボットテーブル(場時人ピボット)がこれに属する。なお、以下、基本ピボットテーブル類TPのテーブルを単に、ピボットテーブル、または、基本ピボットテーブルともいうことにする。
【0042】
また、センサテーブル(センサデータ)から演算されて、各ピボットテーブルに格納される特徴量から近似演算によって求められる特徴量を近似特徴量ということにする。
【0043】
ピボットテーブル(人ピボット)TP01は、
図12に示されるように、人を中心にデータを分割し格納したテーブルであり、センサデータを個人もしくは属性毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図12に示されたのは一例であり、人ピボットを管理していく上で必要なデータがあれば追加することができる。
【0044】
ピボットテーブル(時ピボット)TP02は、
図13に示されるように、時刻を中心にデータを分割し格納したテーブルであり、センサデータを単位時間毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図13に示されたのは一例であり、人ピボットを管理していく上で必要なデータがあれば追加することができる。
【0045】
ピボットテーブル(場ピボット)TP03は、
図14に示されるように、場を中心にデータを分割し格納したテーブルであり、センサデータを単位面積(メッシュ)毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図14に示されたのは一例であり、場ピボットを管理していく上で必要なデータがあれば追加することができる。
【0046】
ピボットテーブル(時人ピボット)TP04は、
図15に示されるように、時と人を組み合わせたものを中心にデータを分割し格納したテーブルであり、単位時間かつ人属性毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図15に示されたのは一例であり、時人ピボットを管理していく上で必要なデータがあれば追加することができる。
【0047】
ピボットテーブル(場人ピボット)TP05は、
図16に示されるように、場と人を組み合わせたものを中心にデータを分割し格納したテーブルであり、単位面積(メッシュ)かつ人属性毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図16に示したのは一例であり、場人ピボットを管理していく上で必要なデータがあれば追加することができる。
【0048】
ピボットテーブル(場時ピボット)TP06は、
図17に示されるように、場と時を組み合わせたものを中心にデータを分割し格納したテーブルであり、単位面積(メッシュ)かつ単位時間毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図17に示されたのは一例であり、場時ピボットを管理していく上で必要なデータがあれば追加することができる。
【0049】
ピボットテーブル(場時人ピボット)TP07は、
図18に示されるように、ピボットテーブルでは場と時と人を組み合わせたものを中心にデータを分割し格納するテーブルであり、単位面積(メッシュ)かつ単位時間かつ人属性毎にデータを集約する。これらの特徴量は複数のセンサデータを組み合わせで求めることができる。
図18に示されたのは、一例であり、場時人ピボットを管理していく上で必要なデータがあれば追加することができる。
【0050】
特徴量テーブル類TCは、センサデータまたはピボットテーブルから抽出した特徴量を編集した結果を格納するテーブル類であり、
図19に示される特徴量テーブルTC01がこれに属する。
【0051】
特徴量テーブルTC01は、
図19に示されるように、センサデータまたはピボットテーブルから抽出した特徴量を編集した結果を格納するテーブルである。
図19に示されたのは一例であり、特徴量を管理していく上で必要なデータがあれば追加することができる。この特徴量テーブルTC01に基づいて、表示部CA06が表示データを作成し、クライアント端末CLの表示画面に表示される。
【0052】
次に、
図20ないし
図24を用いて行動特徴量解析システムの処理について説明する。
【0053】
本実施形態は、経営者USが施設にいる人物がどのくらいその施設内に、どのような状態で滞在しているかを確認する処理について説明する。
【0054】
先ず、
図20に示されるように、基地局BS、ビーコンBCなどがカメラCR、レーザーレーダLL、センサタグSTなどのセンサがスキャンしたデータ(以下、単に「センサデータ」ともいう)を収集する(S01)。
【0055】
次に、行動特徴量解析サーバCAの計測処理部CA02は、基地局BS、ビーコンBCからのセンサデータの受取り、それについて計測処理をおこない(S02)、データベースCA01に登録する(S03)。
【0056】
次に、定期的にデータベースCA01に格納されているセンサデータを取り出し、基本ピボット生成部CA03によってピボットテーブルを生成し(S04)、その結果をデータベースCA01に登録する(S05)。
【0057】
次に、経営者USが、クライアント端末CLに入力して、経営者USが施設内の人物を確認したい場所や、時刻・期間、特徴量の指定をおこなう(S06)。そして、指定した結果を、行動特徴量解析サーバCAの要求部CA05に送り、要求部CA05は、必要なデータを各機能部に転送する。
【0058】
次に、要求を受けて、特徴量抽出部CA04により特徴量抽出処理をおこない(S07)、抽出した結果をデータベースCA01に登録する(S08)。
【0059】
次に、表示部CA06は、特徴量抽出部CA04から送られてきた結果と、表示に必要な特徴量が格納されているデータベースCA01のテーブルを用いて、表示画面の表示データを生成する処理をおこなう(S09)。
【0060】
そして、行動特徴量解析サーバCAは、表示データを、クライアント端末CLに送信し、クライアント端末CLの表示装置は、表示画面として表示する(S10)。
【0061】
次に、
図21を用いて行動特徴量解析サーバCAの基本ピボット生成部CA03による基本ピボット生成処理について説明する。
ここで、基本ピボット生成とは、ピボットテーブルを生成する処理である。
先ず、基本ピボット生成部CA03は、ピボットテーブルを作成する期間や内容などの生成条件(基本ピボット範囲の絞り込み)決定する(S101)。
【0062】
次に、基本ピボット生成部CA03は、デバイス毎に特徴量を求める(S102)。
次に、デバイス毎の特徴量を統合して、一つの特徴量にする(S103)。統合の方法として、各デバイスの軌跡データで同じ地点にいる人は同一人物とみなす、または、各デバイスの軌跡が進む方向や速度が同じ人は同一人物とみなすなどがある。
【0063】
次に、S103のデバイス統合特徴量抽出によって生成されたピボットテーブルをデータベースに登録する(S104)。
次に、S101の基本ピボット範囲の絞り込みによって指定した期間に含まれるセンサデータを削除する(S105)。
次に、S101の基本ピボット範囲の絞り込みに用いた条件や処理した時刻などを、データベースCA01のピボット管理テーブルTL01に登録する(S106)。
【0064】
次に、
図22を用いて行動特徴量解析サーバCAの特徴量抽出部CA04による特徴量抽出処理について説明する。
先ず、特徴量抽出部CA04は、特徴量を作成する期間や内容などの生成条件を決定する(S201)。
【0065】
次に、ピボット管理テーブルTL01に、求める特徴量があるか否かを判定し(S202)、あると判定されたときには(S203:YES)、基本ピボットテーブルから近似量を生成し(S204)、ないと判定されたときには(S203:NO)、センサテーブルから特徴量を生成する(S206)。
そして、特徴量テーブルTLに特徴量を求めた結果を登録する(S205)。
【0066】
次に、
図23および
図24を用いて基本ピボットテーブルから近似特徴量を生成する処理(S203)について説明する。
ここでは、測定となる施設がグリッドに分割されていて、グリッド単位、計測時刻単位で近似特徴量を求める処理について説明する。
【0067】
基本ピボットテーブルから近似特徴量を生成する処理では、グリッド単位(S301−S304のループ)ごとに、時間近似(S302)と面積近似(S303)をおこなう。
【0068】
例えば、
図24に示されるように、混雑度を求めるエリアと分析する時刻を指定する(例えば、9時5分での(a)の三角形のエリア)(S401)。
【0069】
次に、該当するエリアと時間のグリッドを取得する。ここで、基本ピボットテーブルのデータとして、9:00と9:10における施設範囲のグリッドの混雑率が(a)に示されるものだったとする。
【0070】
そして、グリッド毎の時間近似をおこなう(S404)。すなわち、集計時間を比較し、異なるならば線形近似から混雑度を求める。例えば、(b)に示されるように、9:00において、混雑度が0.5のグリッドが、9:10において、混雑度が0.8になったときには、9:05には、線形近似して中間値として、混雑度として0.65が得られる。
【0071】
次に、面積近似(平方近似)をおこなう(S405、S406)。すなわち、求めるエリアとグリッドにおける重なり率を求めて、その混雑度と重なり率から該当箇所の混雑率を求める。例えば、(c)に示されるように、問題としているグリッドと求めるエリアの重なりが0.4であるとき、時間平均した混雑率が0.65であったから、求める混雑率をxとしたときには、(d)に示される比例式により、混雑率xを求めることができる。
そして、集約演算(相加平均)して、求めるエリアの混雑度を求める(S407)。
【0072】
次に、
図25を用いてクライアント端末における行動特徴量の結果表示のための表示画面について説明する。
図25は、行動特徴量の結果表示のための表示画面の一例を示す図である。
行動特徴量の結果表示のための表示画面DSは、
図25に示されるように、施設範囲表示欄DS01、混雑率グラフ表示欄DS02、期間表示欄DS03、表示対象選択欄DS04、凡例表示欄DS05からなる。
【0073】
施設範囲表示欄DS01には、凡例表示欄DS05に示された内容に従って、施設の範囲が模式的に表示される。ここで、指定範囲は、三角形で表示された部分であり、例えば、●は、レーザーレーダLLから基地局BSが収集する地点であることを示しているまた、施設範囲表示欄DS01におけるカーブは、観測された人の軌跡である。
【0074】
混雑率グラフ表示欄DS02には、混雑率の日時における移り変わりがグラフとして表示される。期間表示欄DS03には、特徴量を求めて、施設範囲表示欄DS01や混雑率グラフ表示欄DS02の表示対象なるデータの計測時間が示される。表示対象選択欄DS04には、表示する特徴量を選択する欄であり、本実施形態では、混雑度にチェックがされている。
【0075】
以上本実施形態によれば、計測対象の全体エリアに設置される計測機器の計測結果を基に人物に関する情報を抽出するシステムにおいて、最初にセンサデータからピボットテーブルを生成した際の条件と出力データを保持しておき、次から特徴量を求める際には、過去に計算したピボットテーブルに格納された特徴量を加工することで、所望する特徴量の近似特徴量を求めることができる。しかも、センサデータは、ピボットテーブルを生成したときに削除するため、ストレージ容量を節減することができる。
【0076】
また、本実施形態では、行動特徴量を計測する対象としては、人を取り扱ったが、これに限られず、広く移動体として捉え、自律または他律の産業用ロボット、無人搬送車(AGV:Automatic Guided Vehicle)であってもよい。行動特徴量を計測する対象を産業用ロボット、無人搬送車としたときには、工場などの生産管理に応用することを期待することができる。