(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-19
(45)【発行日】2024-03-28
(54)【発明の名称】データ連携システム
(51)【国際特許分類】
H04L 67/00 20220101AFI20240321BHJP
【FI】
H04L67/00
(21)【出願番号】P 2020055179
(22)【出願日】2020-03-25
【審査請求日】2023-02-24
(73)【特許権者】
【識別番号】000006150
【氏名又は名称】京セラドキュメントソリューションズ株式会社
(74)【代理人】
【識別番号】100140796
【氏名又は名称】原口 貴志
(72)【発明者】
【氏名】中島 孝記
【審査官】木村 雅也
(56)【参考文献】
【文献】特開2018-101228(JP,A)
【文献】特表2017-531264(JP,A)
【文献】米国特許出願公開第2018/0365286(US,A1)
【文献】特開2001-273336(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/00
(57)【特許請求の範囲】
【請求項1】
情報システムが保持しているデータを収集するデータ収集システムと、
前記データ収集システムによって収集された
前記データを蓄積するデータ蓄積システムと、
前記データ蓄積システムによって蓄積されている
前記データの更新の頻度を変更する更新頻度変更システムと
を備え、
前記更新頻度変更システムは、
前記データ蓄積システムによって蓄積されている前記データを特定の頻度で更新する通常更新パスを利用している前記データ収集システムおよび前記データ蓄積システムに、
前記データ蓄積システムによって蓄積されている前記データを
前記通常更新パスより高頻度で更新する高速更新パスを一時的に利用させ
、
前記更新頻度変更システムは、前記データ蓄積システムに蓄積されている前記データのうちの一部の特定のデータのみに対して前記データ収集システムおよび前記データ蓄積システムに前記高速更新パスを利用させ、
前記データ収集システムおよび前記データ蓄積システムは、前記特定のデータに対して前記高速更新パスを利用する場合に、前記特定のデータに対して前記通常更新パスも利用し、
前記データ蓄積システムは、前記高速更新パスの利用を終了する場合に、前記特定のデータを前記通常更新パスで取得された最新のデータに更新することを特徴とするデータ連携システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報システムが保持しているデータを収集して蓄積するデータ連携システムおよび更新頻度変更システムに関する。
【背景技術】
【0002】
従来、情報システムが保持しているデータを収集して蓄積するデータ連携システムが知られている(例えば、特許文献1-3参照。)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-004366号公報
【文献】特開2016-024486号公報
【文献】特開2016-091317号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1-3に記載されているデータ連携システムにおいては、データの更新の頻度を変更することができないという問題がある。
【0005】
そこで、本発明は、データの更新の頻度を変更することができるデータ連携システムおよび更新頻度変更システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明のデータ連携システムは、情報システムが保持しているデータを収集するデータ収集システムと、前記データ収集システムによって収集されたデータを蓄積するデータ蓄積システムと、前記データ蓄積システムによって蓄積されているデータの更新の頻度を変更する更新頻度変更システムとを備え、前記更新頻度変更システムは、データを特定の頻度で更新する通常更新パスを利用している前記データ収集システムおよび前記データ蓄積システムに、前記通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させることを特徴とする。
【0007】
この構成により、本発明のデータ連携システムは、データを特定の頻度で更新する通常更新パスを利用しているデータ収集システムおよびデータ蓄積システムに、通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させるので、データの更新の頻度を変更することができる。
【0008】
本発明のデータ連携システムにおいて、前記更新頻度変更システムは、前記データ蓄積システムに蓄積されているデータのうちの一部の特定のデータのみに対して前記データ収集システムおよび前記データ蓄積システムに前記高速更新パスを利用させても良い。
【0009】
この構成により、本発明のデータ連携システムは、データ蓄積システムに蓄積されているデータのうちの一部の特定のデータのみに対してデータ収集システムおよびデータ蓄積システムに高速更新パスを利用させるので、データ蓄積システムに蓄積されている全てのデータに対してデータ収集システムおよびデータ蓄積システムに高速更新パスを利用させる構成と比較して、データの更新のコストを抑えることができる。
【0010】
本発明のデータ連携システムにおいて、前記データ収集システムおよび前記データ蓄積システムは、前記特定のデータに対して前記高速更新パスを利用する場合に、前記特定のデータに対して前記通常更新パスも利用し、前記データ蓄積システムは、前記高速更新パスの利用を終了する場合に、前記特定のデータを前記通常更新パスで取得された最新のデータに更新しても良い。
【0011】
この構成により、本発明のデータ連携システムは、特定のデータに対してデータ収集システムおよびデータ蓄積システムが高速更新パスを利用している場合に、このデータに対してデータ収集システムおよびデータ蓄積システムが通常更新パスも利用し、データ蓄積システムが高速更新パスの利用を終了する場合に、データ蓄積システムが特定のデータを通常更新パスで取得された最新のデータに更新させるので、データ蓄積システムに蓄積されている複数のデータに関して、更新された時期を揃えることができ、その結果、データ蓄積システムに蓄積されているデータ間の整合性を向上することができる。
【0012】
本発明の更新頻度変更システムは、情報システムが保持しているデータを収集するデータ収集システムによって収集されたデータを蓄積するデータ蓄積システムによって蓄積されているデータの更新の頻度を変更する更新頻度変更システムであって、データを特定の頻度で更新する通常更新パスを利用している前記データ収集システムおよび前記データ蓄積システムに、前記通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させることを特徴とする。
【0013】
この構成により、本発明の更新頻度変更システムは、データを特定の頻度で更新する通常更新パスを利用しているデータ収集システムおよびデータ蓄積システムに、通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させるので、データの更新の頻度を変更することができる。
【発明の効果】
【0014】
本発明のデータ連携システムおよび更新頻度変更システムは、データの更新の頻度を変更することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の一実施の形態に係るシステムのブロック図である。
【
図2】
図1に示すデータ蓄積システムに備えられるパイプラインのブロック図である。
【
図3】
図1に示すビッグデータ解析部によって管理されているデータのテーブルの一例を示す図である。
【
図4】ビッグデータ解析部によって管理されているデータを通常更新パスで更新する場合の
図1に示すシステムの動作のシーケンス図である。
【
図5】ビッグデータ解析部によって管理されているデータの高速の更新が利用者によって指示された場合の
図1に示すシステムの動作のシーケンス図である。
【
図6】ビッグデータ解析部によって管理されているデータを高速更新パスで更新する場合の
図1に示すシステムの動作のシーケンス図である。
【
図7】ビッグデータ解析部によって管理されているデータの高速の更新を終了する場合の
図1に示すシステムの動作のシーケンス図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について、図面を用いて説明する。
【0017】
まず、本発明の一実施の形態に係るシステムの構成について説明する。
【0018】
図1は、本実施の形態に係るシステム10のブロック図である。
【0019】
図1に示すように、システム10は、データを生み出すデータソース部20と、データソース部20によって生み出されたデータを連携するデータ連携システム30とを備えている。
【0020】
データソース部20は、データを生み出す情報システム21を備えている。情報システム21は、情報システム21の構成や設定を保存する構成管理サーバー21aを備えている。データソース部20は、情報システム21以外にも、少なくとも1つの情報システムを備えていても良い。情報システムの例としては、MFP(Multifunction Peripheral)、プリンター専用機などの画像形成装置を遠隔で管理する遠隔管理システムなどのIoT(Internet of Things)システムと、ERP(Enterprise Resource Planning)、生産管理システムなどの社内システムとが存在する。情報システムのそれぞれは、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。情報システムは、構造化データのファイルを保持しても良い。情報システムは、非構造化データのファイルを保持しても良い。情報システムは、構造化データのデータベースを保持しても良い。
【0021】
データソース部20は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをデータ連携システム30の後述のパイプラインに送信するデータ収集システムとしてのPOSTコネクター22を備えている。データソース部20は、POSTコネクター22と同様の構成のPOSTコネクターをPOSTコネクター22以外に少なくとも1つ備えても良い。POSTコネクターは、POSTコネクター自身がファイルを取得する情報システムを構成するコンピューターによって構成されても良い。なお、POSTコネクターは、データ連携システム30の構成でもある。
【0022】
POSTコネクターは、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えば1日1回などの特定の頻度でパイプラインに送信する通常更新パスと、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに送信する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、POSTコネクターは、デフォルトでは通常更新パスを利用する。
【0023】
データソース部20は、情報システムが保持している構造化データのデータベースから構造化データを取得して、取得した構造化データをデータ連携システム30の後述のパイプラインに送信するデータ収集システムとしてのPOSTエージェント23を備えている。データソース部20は、POSTエージェント23と同様の構成のPOSTエージェントをPOSTエージェント23以外に少なくとも1つ備えても良い。POSTエージェントは、POSTエージェント自身が構造化データを取得する情報システムを構成するコンピューターによって構成されても良い。なお、POSTエージェントは、データ連携システム30の構成でもある。
【0024】
POSTエージェントは、情報システムから構造化データを取得して、取得した構造化データを例えば1日1回などの特定の頻度でパイプラインに送信する通常更新パスと、情報システムから構造化データを取得して、取得した構造化データを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに送信する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、POSTエージェントは、デフォルトでは通常更新パスを利用する。
【0025】
データソース部20は、情報システムが保持しているデータに基づいて連携用の構造化データを生成するデータ収集システムとしてのGET用エージェント24を備えている。データソース部20は、GET用エージェント24と同様の構成のGET用エージェントをGET用エージェント24以外に少なくとも1つ備えても良い。GET用エージェントは、連携用の構造化データの生成の元になったデータを保持している情報システムを構成するコンピューターによって構成されても良い。なお、GET用エージェントは、データ連携システム30の構成でもある。
【0026】
GET用エージェントは、情報システムが保持しているデータに基づいて連携用の構造化データを例えば1日1回などの特定の頻度で生成する通常更新パスと、情報システムが保持しているデータに基づいて連携用の構造化データを例えばリアルタイムなど、通常更新パスより高頻度で生成する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、GET用エージェントは、デフォルトでは通常更新パスを利用する。
【0027】
データ連携システム30は、データソース部20によって生み出されたデータを蓄積するデータ蓄積システム40と、データ蓄積システム40に蓄積されているデータを利用するアプリケーション部50と、データ蓄積システム40およびアプリケーション部50に対する各種の制御を実行する制御サービス部60とを備えている。
【0028】
データ蓄積システム40は、データソース部20によって生み出されたデータを蓄積するパイプライン41を備えている。データ蓄積システム40は、パイプライン41以外にも、少なくとも1つのパイプラインを備えていても良い。情報システムにおけるデータの構成が情報システム毎に異なる可能性があるので、データ蓄積システム40は、基本的に、情報システム毎にパイプラインを備えている。パイプラインのそれぞれは、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
【0029】
図2は、データ蓄積システム40に備えられるパイプライン70のブロック図である。
【0030】
図2に示すように、パイプライン70は、POSTコネクター、POSTエージェント、後述のGETコネクター、または、後述のGETエージェントから受け取ったデータを記憶する記憶領域を備える1次ストレージ71と、1次ストレージ71に記憶されたデータのうち、情報システムの利用者の個人情報などのプライバシーに関するデータに対してデータ変換処理としてマスキング処理を実行するデータ変換システムとしてのマスキング処理部72と、マスキング処理部72によってマスキング処理が実行されたデータを、後述のビッグデータ解析部44(
図1参照。)に転送するデータ転送処理を実行するデータ転送処理部73と、ビッグデータ解析部44への転送用のデータを蓄積する記憶領域を備える2次ストレージ74とを備えている。なお、1次ストレージ71が設けられる理由は、データの処理において、例えばマスキング処理の工程やデータ転送処理の工程など、1次ストレージ71へのデータの記憶の工程より後の工程で処理が失敗した場合に、ネットワーク通信コストが高い、データソース部20からデータ連携システム30へのデータの再送信を行うことなく、1次ストレージ71に記憶されているデータを使用して、失敗した処理を再実行することを可能にするためである。1次ストレージ71および2次ストレージ74は、それぞれ単なる記憶装置ではなく、後述する種々の処理を実行することができるシステムである。
【0031】
パイプライン70は、1次ストレージ71に記憶された、更新のデータを例えば1日1回などの特定の頻度でマスキング処理部72およびデータ転送処理部73によって処理して2次ストレージ74に蓄積する通常更新パスと、1次ストレージ71に記憶された、更新のデータを例えばリアルタイムなど、通常更新パスより高頻度でマスキング処理部72およびデータ転送処理部73によって処理して2次ストレージ74に蓄積する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、パイプライン70は、デフォルトでは通常更新パスを利用する。
【0032】
図1に示すように、データ蓄積システム40は、情報システムが保持している、構造化データまたは非構造化データのファイルを取得して、取得したファイルをパイプラインに連携するデータ収集システムとしてのGETコネクター42を備えている。データ蓄積システム40は、GETコネクター42と同様の構成のGETコネクターをGETコネクター42以外に少なくとも1つ備えても良い。GETコネクターは、GETコネクター自身がファイルを連携するパイプラインを構成するコンピューターによって構成されても良い。
【0033】
GETコネクターは、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えば1日1回などの特定の頻度でパイプラインに連携する通常更新パスと、情報システムから構造化データまたは非構造化データのファイルを取得して、取得したファイルを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに連携する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、GETコネクターは、デフォルトでは通常更新パスを利用する。
【0034】
なお、システム10は、構造化データまたは非構造化データのファイルがデータ蓄積システム40側から取得されることに対応していない情報システムに対しては、データソース部20にPOSTコネクターを備える。一方、システム10は、構造化データまたは非構造化データのファイルがデータ蓄積システム40側から取得されることに対応している情報システムに対しては、データ蓄積システム40にGETコネクターを備える。
【0035】
データ蓄積システム40は、GET用エージェントによって生成された構造化データを取得して、取得した構造化データをパイプラインに連携するデータ収集システムとしてのGETエージェント43を備えている。データ蓄積システム40は、GETエージェント43と同様の構成のGETエージェントをGETエージェント43以外に少なくとも1つ備えても良い。GETエージェントは、GETエージェント自身が構造化データを連携するパイプラインを構成するコンピューターによって構成されても良い。
【0036】
GETエージェントは、GET用エージェントから構造化データを取得して、取得した構造化データを例えば1日1回などの特定の頻度でパイプラインに連携する通常更新パスと、GET用エージェントから構造化データを取得して、取得した構造化データを例えばリアルタイムなど、通常更新パスより高頻度でパイプラインに連携する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、GETエージェントは、デフォルトでは通常更新パスを利用する。
【0037】
なお、システム10は、構造化データがデータ蓄積システム40側から取得されることに対応していない情報システムに対しては、データソース部20にPOSTエージェントを備える。一方、システム10は、構造化データがデータ蓄積システム40側から取得されることに対応している情報システムに対しては、データソース部20にGET用エージェントを備えるとともに、データ蓄積システム40にGETエージェントを備える。
【0038】
データ蓄積システム40は、複数のパイプラインによって蓄積されたデータを、例えばSQLなどのデータベース言語などのクエリー言語で検索や集計が可能な形態に変換するデータ変換処理として最終変換処理を実行するデータ変換システムとしてのビッグデータ解析部44を備えている。ビッグデータ解析部44は、最終変換処理を実行したデータに対して、アプリケーション部50側からの検索要求や集計要求に応じて検索や集計を実行することも可能である。ビッグデータ解析部44は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
【0039】
最終変換処理は、複数の情報システムのデータを統合するデータ統合処理をデータ変換処理として含んでいても良い。アジアに配置されている多数の画像形成装置を遠隔で管理するためにアジアに配置されている遠隔管理システムと、ヨーロッパに配置されている多数の画像形成装置を遠隔で管理するためにヨーロッパに配置されている遠隔管理システムと、アメリカに配置されている多数の画像形成装置を遠隔で管理するためにアメリカに配置されている遠隔管理システムとをシステム10が情報システムとして備えている場合、これら3つの遠隔管理システムは、それぞれ、遠隔管理システム自身が管理している画像形成装置を管理するデバイス管理テーブルを備えている。デバイス管理テーブルは、画像形成装置毎に付与したIDに対応付けて、画像形成装置の各種の情報を示す情報である。ここで、3つの遠隔管理システムがそれぞれ独自にデバイス管理テーブルを備えているので、3つの遠隔管理システムのデバイス管理テーブル間においては、別々の画像形成装置に同一のIDが付与されている可能性がある。そこで、ビッグデータ解析部44は、3つの遠隔管理システムのデバイス管理テーブルを統合して1つのデバイス管理テーブルを生成する場合に、画像形成装置のIDを重複が生じないように付与し直す。
【0040】
ビッグデータ解析部44は、ビッグデータ解析部44自身によって管理しているデータを例えば1日1回などの特定の頻度で更新する通常更新パスと、ビッグデータ解析部44自身によって管理しているデータを例えばリアルタイムなど、通常更新パスより高頻度で更新する高速更新パスとのいずれかを利用することができる。高速更新パスは、メモリー上のデータベースを利用して処理を実行するので、ストレージ上のデータベースを利用して処理を実行する通常更新パスと比較して、処理の速度が速い。しかしながら、高速更新パスは、通常更新パスより利用料が高額である。したがって、ビッグデータ解析部44は、デフォルトでは通常更新パスを利用する。
【0041】
図3は、ビッグデータ解析部44によって管理されているデータのテーブルの一例を示す図である。
【0042】
図3に示すテーブルは、画像形成装置の各種の情報を画像形成装置毎に示す画像形成装置情報テーブルである。例えば、
図3に示す画像形成装置情報テーブルには、画像形成装置のIDと、画像形成装置におけるエラーの情報と、画像形成装置における印刷枚数を示すカウンター値、画像形成装置におけるトナーの残量など、画像形成装置における利用状態を示す情報とが含まれている。
【0043】
図1に示すように、アプリケーション部50は、ビッグデータ解析部44によって管理されているデータを利用して、例えばデータの表示や、データの分析など、利用者によって指示された特定の動作を実行するアプリケーションサービス51を備えている。アプリケーション部50は、アプリケーションサービス51以外にも、少なくとも1つのアプリケーションサービスを備えていても良い。アプリケーションサービスのそれぞれは、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
【0044】
アプリケーション部50は、ビッグデータ解析部44によって管理されているデータを利用して特定の動作を実行するAPI(Application Program Interface)を提供するAPIプラットフォーム52を備えている。APIプラットフォーム52は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。例えば、APIプラットフォーム52によって提供されるAPIとしては、画像形成装置のトナーなどの消耗品の残量が特定の量以下である場合に消耗品を発注する、システム10の外部の消耗品発注システムに、遠隔管理システムによって画像形成装置から収集された消耗品の残量のデータを送信するAPIと、画像形成装置の故障を予測する、システム10の外部の故障予測システムに、遠隔管理システムによって画像形成装置から収集された各種のデータを送信するAPIとが存在する。
【0045】
制御サービス部60は、データソース部20、データ蓄積システム40およびアプリケーション部50におけるデータに対する各段階の処理を監視する処理監視システムとしてのパイプライン・オーケストレーター61を備えている。パイプライン・オーケストレーター61は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。パイプライン・オーケストレーター61は、データ蓄積システム40によって蓄積されているデータの更新の頻度を変更することができ、本発明の更新頻度変更システムを構成している。
【0046】
制御サービス部60は、データ蓄積システム40の構成や設定を保存し、必要に応じて自動的にデプロイを実行する構成管理サーバー62を備えている。構成管理サーバー62は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。構成管理サーバー62は、データ連携システム30の構成を変更する構成変更システムを構成している。
【0047】
制御サービス部60は、情報システムの構成管理サーバーに接続し、情報システムにおけるデータベースや非構造化データに関する構成の変更、すなわち、情報システムにおけるデータの構成の変更を検出するための情報を収集する構成管理ゲートウェイ63を備えている。構成管理ゲートウェイ63は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
【0048】
制御サービス部60は、情報システムなどの各システム間を連携するために必要な鍵情報や接続文字列などのセキュリティー情報を暗号化して保管するKey管理サービス64を備えている。Key管理サービス64は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
【0049】
制御サービス部60は、データ蓄積システム40やアプリケーション部50からの要求を受け付ける管理API65を備えている。管理API65は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。
【0050】
制御サービス部60は、アプリケーション部50のアプリケーションサービスの認証認可を実行する認証認可サービス66を備えている。認証認可サービス66は、1台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。認証認可サービス66は、例えば、データ蓄積システム40に蓄積されている情報システムのデータの最新化を要求することをアプリケーションサービスが許可されているか否かを確認することができる。
【0051】
次に、システム10の動作について説明する。
【0052】
まず、ビッグデータ解析部44によって管理されているデータを通常更新パスで更新する場合のシステム10の動作について説明する。
【0053】
図4は、ビッグデータ解析部44によって管理されているデータを通常更新パスで更新する場合のシステム10の動作のシーケンス図である。
【0054】
以下においては、コネクターまたはエージェントの例としてPOSTコネクター22について説明するが、POSTコネクター22以外のPOSTコネクターでも同様であるし、POSTエージェントでも同様であるし、GETコネクターでも同様であるし、GET用エージェントおよびGETエージェントの組み合わせでも同様である。
【0055】
POSTコネクター22は、情報システム21に対してデータの更新を監視している。POSTコネクター22は、情報システム21に対する監視の結果、データの更新を検知した場合に、通常更新パスにおける取得のタイミングであるとき、
図4に示すように、データを情報システム21から通常更新パスで取得して(S101)、取得したデータをパイプラインに通常更新パスで送信する(S102)。
【0056】
以下においては、S102においてデータを送信したパイプラインがパイプライン41である場合について説明する。
【0057】
パイプライン41は、S102においてデータが送信されてくると、このデータを通常更新パスで処理する(S103)。
【0058】
次いで、パイプライン41は、S103における処理後のデータのうち、高速更新パスでの処理が指示されていないデータを通常更新パスでビッグデータ解析部44に連携させる(S104)。なお、パイプライン41は、高速更新パスでの処理が指示されている場合であっても、通常更新パスで蓄積したデータを、高速更新パスで蓄積したデータとは別に蓄積する。
【0059】
ビッグデータ解析部44は、S104においてパイプライン41からデータが連携させられると、このデータを、ビッグデータ解析部44自身が管理しているデータにおいて通常更新パスで更新する(S105)。
【0060】
次に、ビッグデータ解析部44によって管理されているデータの高速の更新が利用者によって指示された場合のシステム10の動作について説明する。
【0061】
図5は、ビッグデータ解析部44によって管理されているデータの高速の更新が利用者によって指示された場合のシステム10の動作のシーケンス図である。
【0062】
利用者は、ビッグデータ解析部44によって管理されているデータのうち、高速に更新することを希望するデータの範囲をアプリケーションサービスに指定することが可能である。ここで、指定可能なデータの範囲は、例えば、画像形成装置情報テーブルにおける先頭から2番目の列のデータなど、特定のテーブルにおける列や行の位置によって示される範囲でも良い。また、指定可能なデータの範囲は、例えば、画像形成装置情報テーブルにおけるトナーの残量のデータなど、特定のテーブルにおける属性名によって示される範囲でも良い。また、指定可能なデータの範囲は、例えば、画像形成装置情報テーブルにおける画像形成装置のIDが「00001」に関連付けられているデータなど、特定のテーブルにおける任意のユニークキーによって示される範囲でも良い。
【0063】
アプリケーションサービス51は、ビッグデータ解析部44によって管理されているデータのうち、高速に更新するデータの範囲が利用者から指定されると、
図5に示すように、この範囲を管理API65に通知する(S121)。ここで、アプリケーションサービス51は、データの高速の更新の開始時間が利用者から指定された場合、この開始時間も管理API65に通知する。また、アプリケーションサービス51は、データの高速の更新の終了時間が利用者から指定された場合、この終了時間も管理API65に通知する。また、アプリケーションサービス51は、データの高速の更新の頻度が利用者から指定された場合、この頻度も管理API65に通知する。
【0064】
管理API65は、S121の通知を受けると、S121において通知された、高速に更新するデータの範囲を、パイプライン・オーケストレーター61に通知する(S122)。ここで、管理API65は、S121においてデータの高速の更新の開始時間が通知されている場合、この開始時間もパイプライン・オーケストレーター61に通知する。また、管理API65は、S121においてデータの高速の更新の終了時間が通知されている場合、この終了時間もパイプライン・オーケストレーター61に通知する。また、管理API65は、S121においてデータの高速の更新の頻度が通知されている場合、この頻度もパイプライン・オーケストレーター61に通知する。
【0065】
パイプライン・オーケストレーター61は、S122の通知を受けると、S122において通知された範囲のデータの更新を高速更新パスで処理することを、ビッグデータ解析部44に指示する(S123)。なお、パイプライン・オーケストレーター61は、S122においてデータの高速の更新の開始時間が通知されている場合、S122において通知された開始時間に到達したときに、S123の処理を実行する。
【0066】
ビッグデータ解析部44は、S123の指示を受けると、ビッグデータ解析部44自身が管理しているデータのうち、S123において指定された範囲に対するメタデータに、高速の更新の対象であることを設定する(S124)。
【0067】
次いで、ビッグデータ解析部44は、S123において指示された範囲のデータの更新を高速更新パスで開始する(S125)。
【0068】
パイプライン・オーケストレーター61は、S123の処理の後、S122において通知された範囲のデータの更新を高速更新パスで処理することを、このデータを蓄積するパイプラインに指示する(S126)。
図5では、S126における指示の対象のパイプラインがパイプライン41である例について描かれている。
【0069】
パイプライン41は、S126の指示を受けると、S126において指示された範囲のデータの更新を高速更新パスで開始する(S127)。なお、パイプライン41は、S126において指示された範囲のデータを含め、パイプライン41自身が蓄積する全てのデータについて、通常更新パスでの更新も継続する。
【0070】
パイプライン・オーケストレーター61は、S123の処理の後、S122において通知された範囲のデータの更新を高速更新パスで処理することを、このデータを情報システムから取得するコネクターまたはエージェントに指示する(S128)。例えば、S128における指示の対象のコネクターまたはエージェントは、POSTコネクターでも良いし、POSTエージェントでも良いし、GETコネクターでも良いし、GET用エージェントおよびGETエージェントの組み合わせでも良い。
図5では、S128における指示の対象のコネクターまたはエージェントがPOSTコネクター22である例について描かれている。以下においては、コネクターまたはエージェントの例としてPOSTコネクター22について説明するが、POSTコネクター22以外のPOSTコネクターでも同様であるし、POSTエージェントでも同様であるし、GETコネクターでも同様であるし、GET用エージェントおよびGETエージェントの組み合わせでも同様である。ここで、パイプライン・オーケストレーター61は、S122においてデータの高速の更新の頻度が通知されている場合、S122において通知された範囲のデータの更新を高速更新パスで、S122において通知された頻度で処理することを、このデータを情報システムから取得するコネクターまたはエージェントにS128において指示する。
【0071】
POSTコネクター22は、S128の指示を受けると、S128において指示された範囲のデータの更新を高速更新パスで開始する(S129)。ここで、POSTコネクター22は、S128において頻度が指示されている場合、S128において指示された範囲のデータの更新を高速更新パスで、S128において通知された頻度で開始する。なお、POSTコネクター22は、S128において指示された範囲のデータを含め、POSTコネクター22が情報システム21から取得する全てのデータについて、通常更新パスでの更新も継続する。
【0072】
以上においては、利用者が、ビッグデータ解析部44によって管理されているデータのうち、高速に更新することを希望するデータの範囲をアプリケーションサービス51に指定した場合の動作について説明している。しかしながら、利用者が、ビッグデータ解析部44によって管理されているデータのうち、高速に更新することを希望するデータの範囲をアプリケーションサービス51以外のアプリケーションサービスに指定した場合の動作についても同様である。また、利用者が、ビッグデータ解析部44によって管理されているデータのうち、高速に更新することを希望するデータの範囲をAPIプラットフォーム52に指定した場合の動作についても、アプリケーションサービス51に代わってAPIプラットフォーム52が動作すること以外、同様である。
【0073】
次に、ビッグデータ解析部44によって管理されているデータを高速更新パスで更新する場合のシステム10の動作について説明する。
【0074】
図6は、ビッグデータ解析部44によって管理されているデータを高速更新パスで更新する場合のシステム10の動作のシーケンス図である。
【0075】
以下においては、コネクターまたはエージェントの例としてPOSTコネクター22について説明するが、POSTコネクター22以外のPOSTコネクターでも同様であるし、POSTエージェントでも同様であるし、GETコネクターでも同様であるし、GET用エージェントおよびGETエージェントの組み合わせでも同様である。
【0076】
POSTコネクター22は、情報システム21に対してデータの更新を監視している。POSTコネクター22は、情報システム21に対する監視の結果、S126において指示された範囲のデータの更新を検知した場合に、高速更新パスにおける取得のタイミングであるとき、
図6に示すように、S126において指示された範囲のデータを情報システム21から高速更新パスで取得して(S141)、取得したデータをパイプラインに高速更新パスで送信する(S142)。
【0077】
以下においては、S142においてデータを送信したパイプラインがパイプライン41である場合について説明する。
【0078】
パイプライン41は、S142においてデータが送信されてくると、このデータを高速更新パスで処理して(S143)、S143における処理後のデータを高速更新パスでビッグデータ解析部44に連携させる(S144)。
【0079】
ビッグデータ解析部44は、S144においてパイプライン41からデータが連携させられると、このデータを、ビッグデータ解析部44自身が管理しているデータにおいて高速更新パスで更新する(S145)。
【0080】
次に、ビッグデータ解析部44によって管理されているデータの高速の更新を終了する場合のシステム10の動作について説明する。
【0081】
図7は、ビッグデータ解析部44によって管理されているデータの高速の更新を終了する場合のシステム10の動作のシーケンス図である。
【0082】
利用者は、ビッグデータ解析部44によって管理されているデータの高速の更新の終了をアプリケーションサービス51に指示することが可能である。
【0083】
アプリケーションサービス51は、データの高速の更新の終了が利用者から指定されると、
図7に示すように、データの高速の更新の終了を管理API65に通知する(S161)。
【0084】
管理API65は、S161の通知を受けると、ビッグデータ解析部44によって管理されているデータの高速の更新の終了を、パイプライン・オーケストレーター61に通知する(S162)。
【0085】
パイプライン・オーケストレーター61は、S162の通知を受けると、データの高速の更新の終了をビッグデータ解析部44に指示する(S163)。
【0086】
ビッグデータ解析部44は、S163の指示を受けると、ビッグデータ解析部44自身が管理しているデータのうち、メタデータによって識別される、高速の更新の対象であった範囲のデータに関して、通常更新パスでパイプライン41に蓄積された最新のデータをパイプライン41から取得する(S164)。
【0087】
次いで、ビッグデータ解析部44は、ビッグデータ解析部44自身が管理しているデータのうち、メタデータによって識別される、高速の更新の対象であった範囲のデータを、S164において取得したデータで上書きする(S165)。
【0088】
次いで、ビッグデータ解析部44は、ビッグデータ解析部44自身が管理しているデータのうち、高速の更新の対象であった範囲に対するメタデータから、高速の更新の対象であることの設定を削除する(S166)。
【0089】
次いで、ビッグデータ解析部44は、データを高速更新パスで更新することを終了する(S167)。
【0090】
パイプライン・オーケストレーター61は、S163の処理の後、データの高速の更新の終了を、このデータを蓄積するパイプラインに指示する(S168)。
図7では、S168における指示の対象のパイプラインがパイプライン41である例について描かれている。
【0091】
パイプライン41は、S168の指示を受けると、データを高速更新パスで更新することを終了する(S169)。
【0092】
パイプライン・オーケストレーター61は、S163の処理の後、データの高速の更新の終了を、このデータを情報システムから取得するコネクターまたはエージェントに指示する(S170)。例えば、S170における指示の対象のコネクターまたはエージェントは、POSTコネクターでも良いし、POSTエージェントでも良いし、GETコネクターでも良いし、GET用エージェントおよびGETエージェントの組み合わせでも良い。
図7では、S170における指示の対象のコネクターまたはエージェントがPOSTコネクター22である例について描かれている。以下においては、コネクターまたはエージェントの例としてPOSTコネクター22について説明するが、POSTコネクター22以外のPOSTコネクターでも同様であるし、POSTエージェントでも同様であるし、GETコネクターでも同様であるし、GET用エージェントおよびGETエージェントの組み合わせでも同様である。
【0093】
POSTコネクター22は、S170の指示を受けると、データを高速更新パスで更新することを終了する(S171)。
【0094】
以上においては、利用者が、ビッグデータ解析部44によって管理されているデータの高速の更新の終了をアプリケーションサービス51に指定した場合の動作について説明している。しかしながら、利用者が、ビッグデータ解析部44によって管理されているデータの高速の更新の終了をアプリケーションサービス51以外のアプリケーションサービスに指定した場合の動作についても同様である。また、利用者が、ビッグデータ解析部44によって管理されているデータの高速の更新の終了をAPIプラットフォーム52に指定した場合の動作についても、アプリケーションサービス51に代わってAPIプラットフォーム52が動作すること以外、同様である。
【0095】
以上においては、ビッグデータ解析部44によって管理されているデータの高速の更新の終了が利用者から指定された場合について説明している。しかしながら、S121においてデータの高速の更新の終了時間が通知されている場合に、この終了時間に到達した場合にも、S163~S171の処理が実行される。
【0096】
以上に説明したように、データ連携システム30は、データを特定の頻度で更新する通常更新パスを利用しているデータ収集システムおよびデータ蓄積システム40に、通常更新パスより高頻度でデータを更新する高速更新パスを一時的に利用させる(S123、S126およびS128)ので、データの更新の頻度を変更することができる。
【0097】
データ連携システム30は、高速更新パスを利用してデータを更新するので、例えば、画像形成装置のデータをリアルタイムに分析することができ、その分析に基づいたアルゴリズムを作成することができる。例えば、データ連携システム30は、画像形成装置におけるトナーの消費量の変化の情報を機械学習することによって、画像形成装置におけるトナーの消費量を予測するアルゴリズムを作成することができる。
【0098】
データ連携システム30は、データ収集システムおよびデータ蓄積システム40に高速更新パスを一時的に利用させるので、データ収集システムおよびデータ蓄積システム40に常に高速更新パスのみを利用させる構成と比較して、情報システムに対する負荷を抑えることができる。
【0099】
データ連携システム30は、データ蓄積システム40に蓄積されているデータのうちの一部の特定のデータのみに対してデータ収集システムおよびデータ蓄積システム40に高速更新パスを利用させるので、データ蓄積システム40に蓄積されている全てのデータに対してデータ収集システムおよびデータ蓄積システム40に高速更新パスを利用させる構成と比較して、データの更新のコストを抑えることができる。
【0100】
データ連携システム30は、特定のデータに対してデータ収集システムおよびデータ蓄積システム40が高速更新パスを利用している場合に、このデータに対してデータ収集システムおよびデータ蓄積システム40が通常更新パスも利用し、データ蓄積システム40が高速更新パスの利用を終了する場合(S167)に、データ蓄積システムが特定のデータを通常更新パスで取得された最新のデータに更新させる(S165)ので、データ蓄積システム40に蓄積されている複数のデータに関して、更新された時期を揃えることができ、その結果、データ蓄積システム40に蓄積されているデータ間の整合性を向上することができる。
【符号の説明】
【0101】
21 情報システム
22 POSTコネクター(データ収集システム)
23 POSTエージェント(データ収集システム)
24 GET用エージェント(データ収集システム)
30 データ連携システム
40 データ蓄積システム
42 GETコネクター(データ収集システム)
43 GETエージェント(データ収集システム)
61 パイプライン・オーケストレーター(更新頻度変更システム)