特許 6971053 データ管理装置、データ管理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971053

(24)【登録日】2021年11月4日

(45)【発行日】2021年11月24日

(54)【発明の名称】データ管理装置、データ管理方法、およびプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20211111BHJP

   G06Q 30/02 20120101ALI20211111BHJP

【ＦＩ】

   G06Q50/10

   G06Q30/02 300

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2017-84326(P2017-84326)

(22)【出願日】2017年4月21日

(65)【公開番号】特開2018-181234(P2018-181234A)

(43)【公開日】2018年11月15日

【審査請求日】2020年3月5日

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】遠峯 康夫

(72)【発明者】

【氏名】吉野 彰真

(72)【発明者】

【氏名】十川 文

(72)【発明者】

【氏名】大利 一樹

【審査官】 岸 健司

(56)【参考文献】

【文献】 特開２０１６−１５７３８２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００３００１８（ＵＳ，Ａ１）

【文献】 特開２０１７−０４５２１７（ＪＰ，Ａ）

【文献】 特開２０１１−１８６５１６（ＪＰ，Ａ）

【文献】 特開２０１２−０８８８４３（ＪＰ，Ａ）

【文献】 アンドリュー・Ｓ・タネンバウム, 外1名，コンピュータネットワーク，第5版，日経ＢＰ社，2013年09月17日，p.74-78

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

端末装置によるアクセスに応じて取得されるログデータを取得する取得部と、
前記取得部によって取得された前記ログデータに含まれるデータのうち第１の期間が経過したデータに対して、前記ログデータに含まれる第１の項目に着目した第１のサンプリング処理を行って第１のサンプリングログを生成するとともに前記ログデータに含まれる第２の項目に着目した第２のサンプリング処理を行って第２のサンプリングログを生成するサンプリング部と、
前記取得部によって取得された前記ログデータに含まれるデータのうち前記第１の期間が経過したデータを無効化するとともに前記サンプリング部によって生成された前記第１のサンプリングログおよび第２のサンプリングログのうち前記第１の期間よりも長い第２の期間が経過した前記第１のサンプリングログおよび第２のサンプリングログを無効化する無効化部と
を備え、
前記第１のサンプリング処理は、前記第１の期間が経過したデータにおいて前記第１の項目のデータが存在するデータを抽出する処理、または、前記第１の期間が経過したデータにおいて前記第１の項目のデータが特定のフォーマットのデータを抽出する処理であり、
前記第２のサンプリング処理は、前記第１の期間が経過したデータにおいて前記第２の項目のデータが特定のコンテンツと関連付けされたデータを抽出する処理である、
データ管理装置。

【請求項2】

前記取得部によって取得された前記ログデータに含まれるデータに対して、前記第１の項目に着目した第１の編集処理を行って第１の編集データを生成するとともに前記第２の項目に着目した第２の編集処理を行って第２の編集データを生成する編集部をさらに備え、
前記第１の編集処理は、前記ログデータにおいて前記第１の項目のデータ毎に、その他の項目のデータを集約あるいは置き換える処理であり、
前記第２の編集処理は、前記ログデータにおいて前記第２の項目のデータ毎に、その他の項目のデータを集約あるいは置き換える処理である、
請求項１に記載のデータ管理装置。

【請求項3】

前記第１の項目は、前記端末装置を利用するユーザを識別する項目であり、
前記第２の項目は、前記端末装置によってアクセスされた電子ページと関連付けされたコンテンツを識別する項目である、
請求項１または２に記載のデータ管理装置。

【請求項4】

前記無効化部は、前記編集部によって生成された第１の編集データおよび第２の編集データを無効化しない、
請求項２に記載のデータ管理装置。

【請求項5】

前記サンプリング部は、所定のサンプリングレートに基づいて、前記第１のサンプリング処理および第２のサンプリング処理を行う、
請求項１から４のいずれか一項に記載のデータ管理装置。

【請求項6】

前記取得部、前記サンプリング部、および前記編集部の各々は、前記ログデータ、前記サンプリングログ、および前記編集データを、前記データ管理装置が配置された地域よりも電気代の安価な地域に配置された記憶装置に送信する、
請求項２に記載のデータ管理装置。

【請求項7】

端末装置によるアクセスに応じて取得されるログデータを取得する取得部と、
前記取得部によって取得された前記ログデータに含まれるデータのうち第１の期間が経過したデータに対して、前記ログデータに含まれる第１の項目に着目した第１の編集処理を行って第１の編集データを生成するとともに前記ログデータに含まれる第２の項目に着目した第２の編集処理を行って第２の編集データを生成する編集部と
を備え、
前記第１の編集処理は、前記ログデータにおいて前記第１の項目のデータ毎に、その他の項目のデータを集約あるいは置き換える処理であり、
前記第２の編集処理は、前記ログデータにおいて前記第２の項目のデータ毎に、その他の項目のデータを集約あるいは置き換える処理である、
データ管理装置。

【請求項8】

コンピュータが、
端末装置によるアクセスに応じて取得されるログデータを取得し、
前記取得された前記ログデータに含まれるデータのうち第１の期間が経過したデータに対して、前記ログデータに含まれる第１の項目に着目した第１のサンプリング処理を行って第１のサンプリングログを生成するとともに前記ログデータに含まれる第２の項目に着目した第２のサンプリング処理を行って第２のサンプリングログを生成し、
前記取得された前記ログデータに含まれるデータのうち前記第１の期間が経過したデータを無効化するとともに前記生成された前記第１のサンプリングログおよび第２のサンプリングログのうち前記第１の期間よりも長い第２の期間が経過した前記第１のサンプリングログおよび第２のサンプリングログを無効化し、
前記第１のサンプリング処理は、前記第１の期間が経過したデータにおいて前記第１の項目のデータが存在するデータを抽出する処理、または、前記第１の期間が経過したデータにおいて前記第１の項目のデータが特定のフォーマットのデータを抽出する処理であり、
前記第２のサンプリング処理は、前記第１の期間が経過したデータにおいて前記第２の項目のデータが特定のコンテンツと関連付けされたデータを抽出する処理である、
データ管理方法。

【請求項9】

コンピュータに、
端末装置によるアクセスに応じて取得されるログデータを取得させ、
前記取得された前記ログデータに含まれるデータのうち第１の期間が経過したデータに対して、前記ログデータに含まれる第１の項目に着目した第１のサンプリング処理を行って第１のサンプリングログを生成するとともに前記ログデータに含まれる第２の項目に着目した第２のサンプリング処理を行って第２のサンプリングログを生成させ、
前記取得された前記ログデータに含まれるデータのうち前記第１の期間が経過したデータを無効化するとともに前記生成された前記第１のサンプリングログおよび第２のサンプリングログのうち前記第１の期間よりも長い第２の期間が経過した前記第１のサンプリングログおよび第２のサンプリングログを無効化させ、
前記第１のサンプリング処理は、前記第１の期間が経過したデータにおいて前記第１の項目のデータが存在するデータを抽出する処理、または、前記第１の期間が経過したデータにおいて前記第１の項目のデータが特定のフォーマットのデータを抽出する処理であり、
前記第２のサンプリング処理は、前記第１の期間が経過したデータにおいて前記第２の項目のデータが特定のコンテンツと関連付けされたデータを抽出する処理である、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ管理装置、データ管理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、ウェブページを提供するシステムにおいては、ユーザが端末装置を用いてウェブページにアクセスした履歴を示すアクセスログを取得して記憶装置に保管する運用が行われている。また、この保管されたアクセスログを解析することで、ウェブページのアクセス回数やウェブページにアクセスしたユーザの情報などを把握する方法が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−２２８２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のアクセスログが長期間にわたって保管される場合、このアクセスログを記憶する記憶装置の容量が逼迫してしまう場合がある。この対策として、アクセスログを定期的に削除する運用が行われている。しかしながら、削除時には不要と判断されたアクセスログであっても、将来的に実施される解析処理において必要となる場合がある。このため、容量を抑えつつ解析に必要なアクセスログを保管する方法が求められている。

【0005】

また、従来のアクセスログの解析処理では、アクセスログそのものを処理対象としている。しかしながら、容量が大きなアクセスログを処理した場合、処理装置の負荷が増大し、解析処理に時間を要する場合がある。このため、解析が容易な形式でアクセスログを保管する方法が求められている。

【0006】

本発明は、このような事情を考慮してなされたものであり、容量を抑えつつ解析処理に適した形式でログデータを保管することが可能なデータ管理装置、データ管理方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明の一態様は、端末装置によるアクセスに応じて取得されるログデータを取得する取得部と、前記取得部によって取得された前記ログデータに含まれるデータのうち第１の期間が経過したデータに対して、前記ログデータに含まれる第１の項目に着目した第１のサンプリング処理を行って第１のサンプリングログを生成するとともに前記ログデータに含まれる第２の項目に着目した第２のサンプリング処理を行って第２のサンプリングログを生成するサンプリング部と、前記取得部によって取得された前記ログデータに含まれるデータのうち前記第１の期間が経過したデータを無効化するとともに前記サンプリング部によって生成された前記第１のサンプリングログおよび第２のサンプリングログのうち前記第１の期間よりも長い第２の期間が経過した前記第１のサンプリングログおよび第２のサンプリングログを無効化する無効化部とを備えるデータ管理装置である。

【発明の効果】

【0008】

本発明の一態様によれば、容量を抑えつつ解析処理に適した形式でログデータを管理することが可能である。

【図面の簡単な説明】

【0009】

【図1】データ管理システム１の一例を示す構成図である。

【図2】ログデータＬの一例を示す図である。

【図3】データ管理装置７によるデータ管理の概念を示す図である。

【図4】データ管理装置７の機能構成の一例を示すブロック図である。

【図5】データ管理装置７による処理の流れの一例を示すフローチャートである。

【図6】サンプリングログＳＬ（行動ログ）の一例を示す図である。

【図7】サンプリングログＳＬ（コンテンツログ）の一例を示す図である。

【図8】編集データＥＤ（属性データ）の一例を示す図である。

【図9】編集データＥＤ（メタデータ）の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照し、本発明のデータ管理装置、データ管理方法、およびプログラムの実施形態について説明する。本発明のデータ管理装置は、例えば、ウェブページなどの電子ページへのアクセスに応じて取得されるログデータに対してサンプリング処理、編集処理、無効化処理などを行うことで、データの保管期間、保管するデータの内容などを適宜設定し、ログデータの管理を行う。電子ページには、ブラウザによって参照されるウェブページの他、アプリケーションプログラムによって参照されるアプリページが含まれてよい。以下の説明では、ウェブページに着目して説明を行う。

【0011】

［全体構成］
図１は、データ管理システム１の一例を示す構成図である。データ管理システム１は、例えば、一以上の端末装置３と、一以上のサービス提供装置５と、一以上のデータ管理装置７とを備える。端末装置３と、サービス提供装置５と、データ管理装置７とは、ネットワークＮＷによって互いに接続されており、このネットワークＮＷを介して互いに通信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線、無線基地局、プロバイダなどを含む。

【0012】

［端末装置］
端末装置３は、サービス提供装置５が提供するサービスを利用するユーザによって操作される。端末装置３は、例えば、パーソナルコンピュータ、スマートフォンなどの携帯電話やタブレット端末、ＰＤＡ（Personal Digital Assistant）などのコンピュータ装置である。

【0013】

端末装置３は、ユーザから所定の操作を受け付けると、予めインストールされたブラウザを介してサービス提供装置５が提供するウェブページにアクセスする。例えば、サービス提供装置５が提供するウェブページは、ニュースサイト、ショッピングサイト、検索サイト、オークションサイト、ＳＮＳ（Social Networking Service）サイトなどを構成するページである。

【0014】

［サービス提供装置］
サービス提供装置５は、インターネット上において、上述したニュースサイトやショッピングサイトなどのウェブページを提供するウェブサーバ装置であってよいし、アプリケーションが起動された端末装置３と通信を行って、各種情報の受け渡しを行うアプリケーションサーバ装置であってもよい。サービス提供装置５は、自身が提供するウェブページへの端末装置３によるアクセスに応じて取得されるログデータＬを出力する。

【0015】

図２は、ログデータＬの一例を示す図である。ログデータＬには、例えば、端末装置３を利用するユーザを識別する「ユーザＩＤ１０」、ウェブページに関連付けされたコンテンツを識別する「コンテンツＩＤ１１」、端末装置３からのアクセスを処理した日付を示す「日付１２」、端末装置３からのアクセスを受けたウェブページのＵＲＬ（Uniform Resource Locator）を示す「対象ＵＲＬ１３」、対象ＵＲＬへの遷移元のウェブページのＵＲＬを示す「遷移元ＵＲＬ１４」などが含まれる。

【0016】

「ユーザＩＤ１０」は、例えば、ユーザが端末装置３を用いてサービス提供装置５にアクセスする際にログインを行っている場合におけるログインＩＤを含む。あるいは、「ユーザＩＤ１０」は、端末装置３に備えられたウェブブラウザごとに管理されるクッキー（HTTP cookie）に関する情報や、端末装置３のＩＰアドレスなどを含む。

【0017】

「コンテンツＩＤ１１」は、例えば、ウェブページに関連付けされたコンテンツである商品、サービスなどを識別する識別子である。例えば、ウェブページが「商品Ａ」を購入するショッピングサイトである場合、このウェブページには、「商品Ａ」を示すコンテンツＩＤが関連付けされている。また、例えば、ウェブページが「スポーツＡ」のニュースを提供するニュースサイトである場合、このウェブページには、「スポーツＡ」を示すコンテンツＩＤが関連付けされている。ウェブページとコンテンツとの関連付けを示すデータは、例えば、サービス提供装置５または外部の記憶装置に記憶される各種マスタに記憶されていてよい。

【0018】

ログデータＬには、例えば、端末装置３がウェブページにアクセスする度に、一行のデータが追加される。ログデータＬは、例えば、日毎、週毎などの任意のタイミングで作成されるテキストデータである。

【0019】

［データ管理装置］
データ管理装置７は、例えば、サービス提供装置５が提供するウェブページまたはアプリケーションプログラムによって参照されるアプリページのログデータＬを取得し、取得したログデータＬの管理を行う。

【0020】

図３は、データ管理装置７によるデータ管理の概念を示す図である。データ管理装置７では、ログデータＬに含まれるデータを３つの段階に分けて管理する。この３つの段階には、例えば、短期保管段階、長期保管段階、および無期限保管段階が含まれる。

【0021】

短期保管段階は、ログデータＬそのものを保管する段階である。この短期保管段階では、例えば、過去１年間のログデータＬが保管される。

【0022】

長期保管段階は、ログデータＬに対して所定のサンプリング処理を行ったサンプリングログＳＬを保管する段階である。この長期保管段階では、例えば、上述の短期保管段階よりも長い過去３年間のサンプリングログＳＬが保管される。このサンプリングログＳＬには、例えば、ログデータＬに含まれるデータに対して、「ユーザ」に関連する項目に着目してサンプリング処理を行った結果得られた「行動ログＡＬ」と、「コンテンツ」に関連する項目に着目してサンプリング処理を行った結果得られた「コンテンツログＣＬ」とが含まれる。

【0023】

無期限期保管段階は、ログデータＬに対して所定の編集処理を行った編集データＥＤを保管する段階である。この無期限保管段階では、例えば、保管期間は設けられず、過去の全ての編集データＥＤが保管される。この編集データＥＤには、例えば、ログデータＬに含まれるデータに対して、「ユーザ」に関連する項目に着目して編集処理を行った結果得られた「属性データＡＤ」と、「コンテンツ」に関連する項目に着目して編集処理を行った結果得られた「メタデータＭＤ」とが含まれる。

【0024】

図４は、データ管理装置７の機能構成の一例を示すブロック図である。データ管理装置７は、例えば、取得部２０と、サンプリング部２２と、編集部２４と、無効化部２６と、記憶部２８とを備える。記憶部２８は、例えば、ログデータ記憶部３０と、サンプリングログ記憶部３２と、編集データ記憶部３４とを備える。データ管理装置７に含まれる各機能部は、複数の装置に分散されてもよい。例えば、サンプリング部２２と他の機能部とは別体の装置によって実現されてもよい。記憶部２８は、ＮＡＳ（Network Attached Storage）などの記憶装置であってもよい。

【0025】

取得部２０、サンプリング部２２、編集部２４、および無効化部２６は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサが、記憶部２８に記憶されたプログラム（ソフトウェア）を実行することにより実現される。プログラムは、例えば、ネットワークＮＷを介してアプリケーションサーバからダウンロードされてもよいし、予めデータ管理装置７にプリインストールされていてもよい。また、これらの機能部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0026】

記憶部２８は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などによって実現されてよい。

【0027】

取得部２０は、ネットワークＮＷを介して、サービス提供装置５からログデータＬを取得する。取得部２０は、サービス提供装置５から取得したログデータＬをログデータ記憶部３０に記憶させる。

【0028】

サンプリング部２２は、取得部２０によって取得されたログデータＬに含まれるデータのうち、第１の期間が経過したログデータＬに対してサンプリング処理を行い、サンプリングログＳＬを生成する。サンプリング部２２は、生成したサンプリングログＳＬを、サンプリングログ記憶部３２に記憶させる。例えば、サンプリング部２２は、ログデータＬがサービス提供装置５によって日毎に作成される日次のテキストデータである場合、作成後１年以上経過したテキストデータに対してサンプリング処理を行う。

【0029】

（サンプリング処理）
サンプリング部２２は、第１の期間が経過したログデータＬに対してデータのサンプリング（データの間引き）を行う。このサンプリング処理は、例えば、「ユーザ」に関連する第１の項目に着目して行う第１のサンプリング処理と、「コンテンツ」に関連する第２の項目に着目して行う第２のサンプリング処理とを含む。

【0030】

「ユーザ」に関連する第１の項目に着目して行う第１のサンプリング処理は、例えば、ログデータＬにおいて、「ユーザ」に関連する「ユーザＩＤ１０」の項目のデータが存在するログデータを抽出するサンプリング処理、特定のフォーマットの「ユーザＩＤ１０」のログデータを抽出するサンプリング処理などを含む。

【0031】

「コンテンツ」に関連する第２の項目に着目して行う第２のサンプリング処理は、例えば、ログデータＬにおいて、特定のコンテンツと関連付けされた「コンテンツＩＤ１１」を含むデータを抽出するサンプリング処理などを含む。

【0032】

また、サンプリング部２２には、サンプリング処理によりサンプリングされるログデータの割合（以下、「サンプリングレート」と呼ぶ）が設定されている。例えば、サンプリング部２２は、サンプリングレートに基づいて、サンプリングログＳＬの量の調整を行う。なお、サンプリング部２２は、上述の行単位でのログデータのサンプリングの他、列単位での項目毎のサンプリング処理を行ってもよい。

【0033】

また、サンプリング部２２は、ログデータＬに対するサンプリング処理を段階的に行ってもよい。例えば、サンプリング部２２は、第１の期間が経過したログデータＬに対して第１のサンプリング処理を行った後、所定の期間が経過した後に第２のサンプリング処理を行ってもよい。さらに、サンプリング部２２は、この第２のサンプリング処理が行われたデータに対して、所定の期間が経過した後に第３のサンプリング処理を行ってもよい。このような二段階以上のサンプリング処理により、サンプリングログＳＬの短期保管、中期保管、長期保管といった段階的な保管期間の設定が可能となる。

【0034】

編集部２４は、取得部２０によって取得されたログデータＬに対して編集処理を行って編集データＥＤを生成する。編集部２４は、生成した編集データＥＤを、編集データ記憶部３４に記憶させる。例えば、編集部２４は、ログデータＬがサービス提供装置５によって日毎に作成される日次のテキストデータである場合、このテキストデータに対して編集処理を行う。

【0035】

（編集処理）
上述の編集処理は、例えば、「ユーザ」に関連する第１の項目に着目して行う第１の編集処理と、「コンテンツ」に関連する第２の項目に着目して行う第２の編集処理とを含む。

【0036】

「ユーザ」に関連する第１の項目に着目して行う第１の編集処理は、例えば、ログデータＬにおいて、「ユーザ」に関連する「ユーザＩＤ１０」の項目毎に、その他の項目を意味ベースの属性化したカラム（属性）に集約あるいは置き換え、その他の項目の並び替えおよび無効化、ログデータの並び替えなどを行い、目的に応じた所定の形式の編集データＥＤ（属性データＡＤ）を生成する。

【0037】

「コンテンツ」に関連する第２の項目に着目して行う第２の編集処理は、例えば、ログデータＬにおいて、「コンテンツ」に関連する「コンテンツＩＤ１１」毎に、その他の項目を意味ベースの属性化したカラム（属性）に集約あるいは置き換え、その他の項目の並び替えおよび無効化、ログデータの並び替えなどを行い、目的に応じた所定の形式の編集データを生成する。

【0038】

無効化部２６は、ログデータ記憶部３０に記憶されたログデータＬに含まれるデータのうち、第１の期間が経過したデータを無効化する。ログデータＬの無効化とは、例えば、ログデータ記憶部３０からログデータＬを物理的または論理的に削除することを言う。ここで無効化の対象となるログデータＬは、サンプリング部２２によるサンプリング処理の対象となったログデータである。第１の期間は、例えば、「１年」などに設定される。ここで、ログデータＬがサービス提供装置５によって日毎に作成される日次のテキストデータである場合、無効化部２６は、作成後１年以上経過したテキストデータを無効化する。

【0039】

また、無効化部２６は、サンプリングログ記憶部３２に記憶されたサンプリングＳＬのうち、第２の期間が経過したサンプリングログＳＬを無効化する。この第２の期間は、上述の第１の期間よりも長い期間が設定される。第２の期間は、例えば、「３年」などに設定される。この場合、無効化部２６は、サンプリング部２２によって生成された後３年以上経過したサンプリングログＳＬを無効化する。なお、上記のようにサンプリング部２２が段階的なサンプリング処理を行っている場合、無効化部２６は、サンプリングログＳＬに対して個別に設定された期間に応じてサンプリングログＳ毎に上記の無効化処理を行ってよい。

【0040】

ログデータ記憶部３０は、取得部２０によって取得されたログデータＬを記憶する。サンプリングログ記憶部３２は、サンプリング部２２によって生成されたサンプリングログＳＬを記憶する。編集データ記憶部３４は、編集部２４によって生成された編集データＥＤを記憶する。

【0041】

［データ管理装置の処理］
次に、図５から図９を参照しながらデータ管理装置７の動作について説明する。図５は、データ管理装置７による処理の流れの一例を示すフローチャートである。図５のフローチャートに示す処理は、日次、週次、月次などの所定のタイミングで開始される。或いは、この処理は、データ管理装置７の利用者による指示に応じて開始されてもよい。

【0042】

まず、取得部２０は、ネットワークＮＷを介して、サービス提供装置５からログデータＬを取得する（ステップＳ１０１）。取得部２０は、取得したログデータＬをログデータ記憶部３０に記憶させる。

【0043】

次に、サンプリング部２２によるサンプリング処理（ステップＳ１０３）および編集部２４による編集処理（ステップＳ１０５）のいずれか一方、または双方が実施される。実施対象となる処理は、予め設定されたスケジュールまたは利用者による指示などに応じて決定される。

【0044】

（サンプリング処理）
サンプリング部２２は、取得部２０によって取得されてログデータ記憶部３０に記憶されているログデータＬのうち、第１の期間が経過したログデータＬを読み出してサンプリング処理を行い、サンプリングログＳＬを生成する（ステップＳ１０３）。サンプリング部２２は、生成したサンプリングログＳＬをサンプリングログ記憶部３２に記憶させる。

【0045】

ここで、サンプリング部２２は、ログデータＬに含まれる項目のうち、「ユーザ」に関連する「ユーザＩＤ１０」の項目に着目して第１のサンプリング処理を行い、サンプリングログＳＬとして行動ログＡＬ（第１のサンプリングログ）を生成する。サンプリング部２２は、例えば、ログデータＬに含まれるデータのうち、ユーザＩＤ１０の項目のデータが存在するデータをサンプリングする。

【0046】

図６は、図２に示すログデータＬから、ユーザＩＤ１０の項目のデータが存在するログデータをサンプリングしたサンプリングログＳＬの一例を示す図である。図６に示すように、サンプリングログＳＬにおいては、ログデータＬに含まれるデータのうち、３行目および６行目のユーザＩＤ１０の項目のデータが存在しないデータは無効化されている。

【0047】

また、サンプリング部２２は、ログデータＬに含まれるデータの項目のうち、「コンテンツ」に関連する「コンテンツＩＤ１１」の項目に着目して第２のサンプリング処理を行い、サンプリングログＳＬとしてコンテンツログＣＬ（第２のサンプリングログ）を生成する。サンプリング部２２は、例えば、ログデータＬに含まれるデータのうち、コンテンツＩＤ１１の項目のデータが特定の形式を有するデータをサンプリングする。

【0048】

図７は、図２に示すログデータＬから、コンテンツＩＤ１１の項目のデータが“００００１”から“０００９９”の範囲であるログデータをサンプリングしたサンプリングログＳＬの一例を示す図である。図７に示すように、サンプリングログＳＬにおいては、ログデータＬに含まれるデータのうち、コンテンツＩＤ１１の項目のデータが“００００１”から“０００９９”の範囲ではない５行目から７行目のデータは無効化されている。

【0049】

また、サンプリング部２２は、予め設定されたサンプリングレートに基づいて、上述のサンプリングログＳＬに含まれるデータの量を調整する。例えば、サンプリングレートとして“３０％”が設定されている場合、サンプリングログＳＬに含まれるデータのうち３０％のデータが残るように調整を行う（７０％のデータを無効化する）。

【0050】

（編集処理）
編集部２４は、取得部２０によって取得されてログデータ記憶部３０に記憶されているログデータＬに対して編集処理を行い、編集データＥＤを生成する（ステップＳ１０５）。編集部２４は、生成した編集データＥＤを編集データ記憶部３４に記憶させる。

【0051】

編集部２４は、ログデータＬに含まれる項目のうち、「ユーザ」に関連する「ユーザＩＤ１０」の項目に着目して第１の編集処理を行い、編集データＥＤとして属性データＡＤ（第１の編集データ）を生成する。編集部２４は、マスターデータまたは所定の処理ロジックに従う第１の編集処理を行い、編集データＥＤを生成する。編集部２４は、例えば、ログデータＬにおいて、各ユーザＩＤと関連付けされた対象ＵＲＬのリンク先のページが男性向けまたは女性向けであるかや、アクセス対象のコンテンツの傾向を集計して、ユーザＩＤをキーとして、その他の項目を「性別」などの意味ベースの属性化したカラム（属性）に集約あるいは置き換える。なお、「ユーザＩＤ」と「属性」の対応付けは、ユーザがウェブページの会員登録時に入力したデータを参照することで行われてよい。

【0052】

図８は、図２に示すログデータＬに対して第１の編集処理を行うことにより得られた編集データＥＤ（行動履歴データ）の一例を示す図である。図８では、「ユーザＩＤ」が“ｂｂｂｂｂ”であるデータに対して、「属性１（性別）」が“男性”および「属性２（趣味）」が“スポーツ”が関連付けされたデータが示されている。このように「ユーザ」に関連する「ユーザＩＤ１０」の項目に着目した編集処理を行うことデータ容量を圧縮することが可能である。また、このような編集データＥＤは、ユーザの行動の統計的なデータを把握することが容易である解析処理に適した形式となっている。なお、編集部２４は、上記の「属性１（性別）」および「属性２（趣味）」に加えてあるいは代えて、年齢、アクセス頻度などの多様な属性情報を編集データＥＤに追加してよい。

【0053】

また、編集部２４は、ログデータＬに含まれる項目のうち、「コンテンツ」に関連する「コンテンツＩＤ１１」の項目に着目して第２の編集処理を行い、編集データＥＤとしてメタデータＭＤ（第２の編集データ）を生成する。編集部２４は、マスターデータまたは所定の処理ロジックに従う第２の編集処理を行い、編集データＥＤを生成する。編集部２４は、例えば、ログデータＬに含まれるコンテンツＩＤをキーとして、その他の項目を「商品、サービス」などの意味ベースの属性化したカラム（属性）に集約あるいは置き換える。また、編集部２４は、例えば、各コンテンツＩＤにアクセスしたユーザの傾向を集計して、「対象ユーザ」の属性を決定する。

【0054】

図９は、図２に示すログデータＬに対して第２の編集処理を行うことにより得られた編集データＥＤ（アクセス履歴データ）の一例を示す図である。図９では、「コンテンツＩＤ」が“００００１”であるデータに対して、「属性１（商品、サービス）」が“スポーツ”および「属性２（対象ユーザ）」が“男性”が関連付けされたデータが示されている。このように「コンテンツ」に関連する「コンテンツＩＤ１１」の項目に着目した編集処理を行うことデータ容量を圧縮することが可能である。また、このような編集データＥＤは、コンテンツＩＤと関連付けされたウェブページに対するユーザのアクセス状況を把握することが容易である解析処理に適した形式となっている。なお、編集部２４は、上記の「属性１（商品、サービス）」および「属性２（対象ユーザ）」に加えてあるいは代えて、アクセス数などの多様な属性情報を編集データＥＤに追加してよい。

【0055】

なお、各ウェブページに表示された画像に関連する情報などがログデータ記憶部３０に記憶されている場合、編集部２４は、この画像の色などの特徴量や、画像の種類（風画像景なのか、人物画像なのか）などに基づいて、編集データＥＤ（メタデータＭＤ）を生成してもよい。

【0056】

次に、無効化部２６は、ログデータ記憶部３０に記憶されたログデータＬのうち、第１の期間が経過したログデータＬを無効化し、サンプリングログ記憶部３２に記憶されたサンプリングＳＬのうち、第２の期間が経過したサンプリングログＳＬを無効化する（ステップＳ１０７）。以上により、本フローチャートの処理を終了する。

【0057】

以上において説明した実施形態によれば、容量を抑えつつ解析処理に適した形式でログデータを管理することが可能である。サンプリングログＳＬの容量は、ログデータＬよりも小さいため、必要な情報を残しつつ記憶部に記憶されるデータの容量を低減させることができる。このサンプリングログＳＬは、ログデータＬを用いて所望のモデルの生成する際に利用されることが可能である。また、編集データＥＤは、解析に適した形式を有しており、解析における処理装置の負荷を軽減するとともに、処理時間を短縮することも可能である。また、編集データＥＤは無効化されることはないため、容量を抑えつつ必要な情報を残すことが可能である。

【0058】

なお、上述の実施形態においては、取得部２０、サンプリング部２２、および編集部２４の各々が、ログデータＬ、サンプリングログＳＬ、および編集データＥＤを、データ管理装置７内に設けられた記憶部２８に記憶させる構成を説明した。しかしながら、取得部２０、サンプリング部２２、および編集部２４の各々は、ログデータＬ、サンプリングログＳＬ、および編集データＥＤを電気代の安価な地域（例えば、外国、地方など）に配置された記憶装置に送信するようにしてもよい。また、取得部２０、サンプリング部２２、および編集部２４の各々は、ログデータＬ、サンプリングログＳＬ、および編集データＥＤを磁気テープなどの外部の記憶媒体に出力してもよい。

【0059】

また、上述の実施形態においては、サンプリング部２２が、所定のサンプリングレートに基づいてサンプリング処理を行う構成を説明した。しかしながら、サンプリング部２２が、記憶部２８の空き容量を確認して、空き容量に応じてサンプリングレートを動的に変化させるようにしてもよい。

【0060】

また、上述の実施形態においては、サンプリング部２２が、所定の「第１の期間」に基づいてサンプリング処理を行い、無効化部２６が、所定の「第１の期間」および「第２の期間」に基づいて無効化処理を行う構成を説明した。しかしながら、サンプリング部２２または無効化部２６が、記憶部２８の空き容量を確認して、空き容量に応じて「第１の期間」および「第２の期間」を動的に変化させるようにしてもよい。

【0061】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0062】

１‥データ管理システム、３‥端末装置、５‥サービス提供装置、７‥データ管理装置、２０‥取得部、２２‥サンプリング部、２４‥編集部、２６‥無効化部、２８‥記憶部、３０‥ログデータ記憶部、３２‥サンプリングログ記憶部、３４‥編集データ記憶部、ＮＷ‥ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】