知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023089474
(43)【公開日】2023-06-28
(54)【発明の名称】データ圧縮処理システム及びデータ圧縮処理方法
(51)【国際特許分類】
H04N 1/41 20060101AFI20230621BHJP
G06T 9/00 20060101ALI20230621BHJP
H04N 19/103 20140101ALI20230621BHJP
H04N 19/146 20140101ALI20230621BHJP
H04N 19/192 20140101ALI20230621BHJP
【ＦＩ】
H04N1/41
G06T9/00 200
H04N19/103
H04N19/146
H04N19/192
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021203983
(22)【出願日】2021-12-16
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】鈴木 彬史
(72)【発明者】
【氏名】圷 弘明
(72)【発明者】
【氏名】高田 正法
【テーマコード（参考）】
5B057
5C159
5C178
【Ｆターム（参考）】
5B057CG07
5B057DA17
5B057DC36
5B057DC40
5C159PP04
5C159TA17
5C159TC08
5C159TC21
5C159TC38
5C159TD01
5C159UA02
5C159UA05
5C178BC91
5C178CC03
5C178CC34
5C178CC36
5C178CC65
5C178DC79
(57)【要約】 （修正有）
【課題】処理対象データに適した圧縮処理の設定を効率的に特定するデータ圧縮処理システム及びデータ圧縮処理方法を提供する。
【解決手段】データ圧縮処理システムにおいて、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択部（ストレージノード１００）は、処理対象データの圧縮処理に要求される条件を受け付け、処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、評価用データに対する圧縮処理の結果に基づいて、処理対象データに適用した場合に条件を満たす設定を複数の圧縮処理の設定から選択し、選択した圧縮処理の設定を条件に対応付けて管理する。、選択部が選択した圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理部（センササーバ１０２）は、条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って処理対象データを圧縮する。
【選択図】図１
【解決手段】データ圧縮処理システムにおいて、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択部（ストレージノード１００）は、処理対象データの圧縮処理に要求される条件を受け付け、処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、評価用データに対する圧縮処理の結果に基づいて、処理対象データに適用した場合に条件を満たす設定を複数の圧縮処理の設定から選択し、選択した圧縮処理の設定を条件に対応付けて管理する。、選択部が選択した圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理部（センササーバ１０２）は、条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って処理対象データを圧縮する。
【選択図】図１
【特許請求の範囲】
【請求項1】
処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択部と、
前記選択部により選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理部と、を備え、
前記選択部は、
前記処理対象データの圧縮処理に要求される条件を受け付け、
前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、
前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、
選択した前記圧縮処理の設定を前記条件に対応付けて管理し、
前記圧縮処理部は、
前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する
ことを特徴とするデータ圧縮処理システム。
前記選択部により選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理部と、を備え、
前記選択部は、
前記処理対象データの圧縮処理に要求される条件を受け付け、
前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、
前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、
選択した前記圧縮処理の設定を前記条件に対応付けて管理し、
前記圧縮処理部は、
前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する
ことを特徴とするデータ圧縮処理システム。
【請求項2】
請求項１に記載のデータ圧縮処理システムであって、
前記評価用データは、過去に蓄積したデータのうち、前記処理対象データと同一の用途で利用したデータであることを特徴とするデータ圧縮処理システム。
前記評価用データは、過去に蓄積したデータのうち、前記処理対象データと同一の用途で利用したデータであることを特徴とするデータ圧縮処理システム。
【請求項3】
請求項１に記載のデータ圧縮処理システムであって、
前記選択部を備える装置は、前記圧縮処理の設定と前記条件との対応関係を保持するとともに、当該対応関係を前記圧縮処理部を有する装置に送信して保持させることで、前記対応関係を同期することを特徴とするデータ圧縮処理システム。
前記選択部を備える装置は、前記圧縮処理の設定と前記条件との対応関係を保持するとともに、当該対応関係を前記圧縮処理部を有する装置に送信して保持させることで、前記対応関係を同期することを特徴とするデータ圧縮処理システム。
【請求項4】
請求項１に記載のデータ圧縮処理システムであって、
前記処理対象データの圧縮処理に要求される条件は、複数の条件を組み合わせた条件セットであることを特徴とするデータ圧縮処理システム。
前記処理対象データの圧縮処理に要求される条件は、複数の条件を組み合わせた条件セットであることを特徴とするデータ圧縮処理システム。
【請求項5】
請求項４に記載のデータ圧縮処理システムであって、
前記条件セットは、圧縮率、書き込みの転送時間、読み出しの転送時間のうち、いずれかに対する制限を含むことを特徴とするデータ圧縮処理システム。
前記条件セットは、圧縮率、書き込みの転送時間、読み出しの転送時間のうち、いずれかに対する制限を含むことを特徴とするデータ圧縮処理システム。
【請求項6】
請求項４に記載のデータ圧縮処理システムであって、
前記条件セットは、前記処理対象データの用途、前記処理対象データの内容の分類のうち、いずれかを特定する事項を含むことを特徴とするデータ圧縮処理システム。
前記条件セットは、前記処理対象データの用途、前記処理対象データの内容の分類のうち、いずれかを特定する事項を含むことを特徴とするデータ圧縮処理システム。
【請求項7】
請求項１に記載のデータ圧縮処理システムであって、
前記圧縮処理の設定は、複数の圧縮方式の組み合わせを含むことを特徴とするデータ圧縮処理システム。
前記圧縮処理の設定は、複数の圧縮方式の組み合わせを含むことを特徴とするデータ圧縮処理システム。
【請求項8】
請求項１に記載のデータ圧縮処理システムであって、
前記圧縮処理の設定は、伸長に必要な情報を含むことを特徴とするデータ圧縮処理システム。
前記圧縮処理の設定は、伸長に必要な情報を含むことを特徴とするデータ圧縮処理システム。
【請求項9】
請求項１に記載のデータ圧縮処理システムであって、
前記圧縮処理の設定は、用途に応じたアルゴリズム及び／又は学習データを用いるものであることを特徴とするデータ圧縮処理システム。
前記圧縮処理の設定は、用途に応じたアルゴリズム及び／又は学習データを用いるものであることを特徴とするデータ圧縮処理システム。
【請求項10】
請求項１に記載のデータ圧縮処理システムであって、
前記選択部は、前記圧縮処理に要求される条件を識別する識別情報と、前記選択された圧縮処理の設定を識別する識別情報とを対応付けて管理することを特徴とするデータ圧縮処理システム。
前記選択部は、前記圧縮処理に要求される条件を識別する識別情報と、前記選択された圧縮処理の設定を識別する識別情報とを対応付けて管理することを特徴とするデータ圧縮処理システム。
【請求項11】
請求項１に記載のデータ圧縮処理システムであって、
前記選択部を備える装置と前記圧縮処理部を有する装置とが、前記処理対象データに適用可能な複数の圧縮処理の設定を予め共有することを特徴とするデータ圧縮処理システム。
前記選択部を備える装置と前記圧縮処理部を有する装置とが、前記処理対象データに適用可能な複数の圧縮処理の設定を予め共有することを特徴とするデータ圧縮処理システム。
【請求項12】
処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択ステップと、
前記選択ステップにより選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理ステップと、を含み、
前記選択ステップは、
前記処理対象データの圧縮処理に要求される条件を受け付け、
前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、
前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、
選択した前記圧縮処理の設定を前記条件に対応付けて管理し、
前記圧縮処理ステップは、
前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する
ことを特徴とするデータ圧縮処理方法。
前記選択ステップにより選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理ステップと、を含み、
前記選択ステップは、
前記処理対象データの圧縮処理に要求される条件を受け付け、
前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、
前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、
選択した前記圧縮処理の設定を前記条件に対応付けて管理し、
前記圧縮処理ステップは、
前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する
ことを特徴とするデータ圧縮処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ圧縮処理システム及びデータ圧縮処理方法に関する。
【背景技術】
【0002】
データ量の削減処理（以下、圧縮処理と記す）をニューラルネットワークにて構築し、学習によりデータ量の削減能力を獲得する技術がある。例えば、特許文献１には、「送信装置において、高画質画像を低画質画像に圧縮する第１のステップと、予測モデルを用いて圧縮した低画質画像から高画質画像を生成する第２のステップと、圧縮処理前の高画質画像と、高画質処理後の高画質画像との誤差を算出する第３のステップと、誤差が規定誤差以下となるように、予測モデルの重み付けパラメータを異ならせながら、予測モデルの再学習を実行する第４のステップと、規定誤差以下となった予測モデルの重み付けパラメータと、圧縮処理後の低画質画像とを、受信装置へ向けて送信する第５のステップとを実行し、受信装置において、送信装置から取得した重み付けパラメータに基づいて、受信装置の予測モデルを更新する第６のステップと、更新した予測モデルを用いて高画質処理を実行して、圧縮した低画質画像から高画質画像を生成する第７のステップと、を実行する。」との記載がある。こうしたニューラルネットワークにて構築される学習型圧縮/伸張器（以下、単に学習型圧縮器と記す）は、JPEG等の圧縮技術と比較して、同一データ量にて高画質または少ないデータ量にて同等の画質に変換可能なことが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１０８０４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
前述の学習型圧縮器は、データの圧縮処理を学習を通じて獲得する。この学習において、学習データや学習の目標とするロス関数を変えることで、用途に沿った非可逆圧縮方法を自動で獲得する。例えば、ロス関数に人の知覚を模擬した関数、または人の知覚を表現するニューラルネットを設定することで、主に人が観る用途に適した画像の非可逆圧縮方式を獲得できる。または、単に元画像の各ピクセルとの値の差を表す関数を設定することで、画像解析に適した非可逆圧縮方式を獲得できる。このように、学習型圧縮器の設定は多岐にわたっており、様々なタイプの学習型圧縮器を作成することが可能である。
【0005】
解析対象となる画像データの圧縮設定は、圧縮伸張により劣化した画像が解析ソフトウェアにて利用可能かどうかで判断する。一般には、解析ソフトウェアにて利用可能な画質において、最もデータが小さくなる圧縮設定が望ましい。解析ソフトウェアが複雑なものである場合、例えば、SfM(Structure from Motion)のような解析を行う場合、解析ソフトウェアで利用可能かどうかは、PSNR(Peak signal-to-noise ratio)やMS-SSIM(Multi-Scale Structural Similarity)等の画質評価指標による評価値を用いても判断することは困難である。このため、ある解析ソフトウェアにて解析する画像の適切な圧縮設定を定めるには、実際に解析ソフトウェアを実行し、解析結果を取得した後、判断する必要がある。こうした解析ソフトウェアによる解析の時間は数十分から数時間という単位の時間が必要となる。
【0006】
上記の通り、適切な圧縮設定を決定にするには解析時間が要する一方で、学習型圧縮器の圧縮設定は数十から数百単位の複数あり、こうした全ての圧縮設定の評価を行い、最適な設定を決定するには、膨大な時間が必要となる。
【課題を解決するための手段】
【0007】
上記目的を達成するために、代表的な本発明のデータ圧縮処理システムは、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択部と、前記選択部により選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理部と、を備え、前記選択部は、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理し、前記圧縮処理部は、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮することを特徴とする。
また、代表的な本発明のデータ圧縮処理方法の一つは、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択ステップと、前記選択ステップにより選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理ステップと、を含み、前記選択ステップは、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理し、前記圧縮処理ステップは、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮することを特徴とする。
また、代表的な本発明のデータ圧縮処理方法の一つは、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択ステップと、前記選択ステップにより選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理ステップと、を含み、前記選択ステップは、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理し、前記圧縮処理ステップは、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮することを特徴とする。
【発明の効果】
【0008】
本発明によれば、処理対象データに適した圧縮処理の設定を効率的に特定することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下、実施例を図面を用いて説明する。尚、本発明は、以下に説明する実施形態に限定されるものではない。
【実施例0011】
（１－１）システム構成
まず本発明が適用されるシステム構成の一例について図１を用いて説明する。図１は、本発明が適用されるシステム例の概要について示しており、本発明は、図１を例とするシステムに適用可能なものである。
図１は、複数のストレージノード１００により構成されるストレージシステムとセンササーバ１０２、クライアントサーバ１０３、解析サーバ１０４を含んで構築されるシステムである。
まず本発明が適用されるシステム構成の一例について図１を用いて説明する。図１は、本発明が適用されるシステム例の概要について示しており、本発明は、図１を例とするシステムに適用可能なものである。
図１は、複数のストレージノード１００により構成されるストレージシステムとセンササーバ１０２、クライアントサーバ１０３、解析サーバ１０４を含んで構築されるシステムである。
【0012】
図１は、本発明が適用されるストレージノード構成について示している。図１のストレージノード１００は、一次記憶領域であるＤＲＡＭ１１１、ソフトウェアに従って様々な処理を実施するプロセサ１１２、記憶媒体に接続するバックエンドインターフェース１１３、二次記憶領域となる記憶媒体１１４、他のサーバに接続するネットワークインターフェース１１６を含んで構成される。
【0013】
ＤＲＡＭ１１１は、プロセサ１１２から短時間でアクセス可能な接続にてプロセサ１１２と接続されており、プロセサ１１２が処理するプログラムや処理対象データを格納する領域である。
【0014】
プロセサ１１２は、プログラムに従って動作し、対象データを処理する装置である。プロセサ１１２は、内部に複数のプロセサコアを持ち、プロセサコアは各自独立してまたは協調してプログラムを処理するものである。また、プロセサ１１２は、内部にＤＲＡＭコントローラを持ち、プロセサからのリクエストに応じてＤＲＡＭ１１２よりデータを取得、またはＤＲＡＭ１１２にデータを格納する。また、プロセサ１１２は、外部ＩＯインターフェースを持ちバックエンドインターフェース１１３に接続する。またバックエンドインターフェース１１３を経由して二次記憶装置である記憶媒体１１４に指示を通知する事が可能である。プロセサ１１２は、センサデータの圧縮・伸張に関連する後述の各種処理を行う。
【0015】
プロセサ１１２では、データ圧縮・伸張の処理以外にもＳＤＳ(Software Defined Storage)やＤＢ(DataBase)といったストレージ関連ソフトウェアが動作しており、受領したセンサデータを圧縮後、複数のストレージノード１００により構成されるノード群に圧縮データを分散して格納する。このとき、プロセサ１１２は、ＳＤＳやＤＢの制御に従って、記憶媒体１１４にデータを記録するように制御する。
【0016】
バックエンドインターフェース１１３は、ＳＡＴＡ(Serial ATA)やＳＡＳ（Serial Attached SCSI）といった記憶媒体と通信する為のインターフェースである。バックエンドインターフェース１１３は、ライト時には、プロセサ１１２からの指示に基づき、ライト対象データをＤＲＡＭ１１１より取得し記憶媒体１１４に転送する。また、リード時には、プロセサ１１２からの指示に基づき、リード対象データを記憶媒体１１４より取得しＤＲＡＭ１１１に転送する。尚、本実施例では、バックエンドインターフェース１１３が記憶媒体１１４より独立して存在する例について記すが、本発明はこの例に限定されるものではない。記憶媒体１１４中にプロセサ１１２から直接指示するインターフェース、例えば、ＮＶＭｅ(Non-Volatile Memory Host Controller Interface)が搭載されるとしてもよい。
【0017】
記憶媒体１１４は、解析対象データを格納する二次記憶装置である。本発明においては、記憶媒体１１４はプロセサ１１２にて制御されたバックエンドインターフェースより送信されたライトデータを受領し永続的に格納する。
【0018】
センササーバ１０２が備えるネットワークインターフェースは、ストレージノード１００の間及びセンササーバ１０２と接続するネットワークに接続するためのインターフェースである。図１の例では、ストレージノード１００は、ネットワーク１０１を用いて他ストレージノードとの通信を行う。
【0019】
図１には、ストレージノード１００とネットワーク１０１を介して接続したセンササーバ１０２がある。センササーバ１０２は、ビデオカメラ１２１、静止画用カメラ１２０、センサ１２２を含むセンサ群を管理し、そのセンサにて測定されたセンサデータ（動画、静止画を含む）をネットワーク１０１を介してストレージノード１００に転送する。このとき、センササーバ１０２が圧縮を行いデータ量を削減してからストレージノード１００に転送する場合もあれば、圧縮せずにストレージノード１００に転送する場合もある。圧縮せずにストレージノード１００に転送する場合、センサデータをセンササーバ１０２より受領したストレージノード１００は、プロセサ１１２の制御により後述する圧縮処理を用いてセンサデータを圧縮して格納する。
【0020】
クライアントサーバ１０３は、ユーザがストレージノード１００に蓄えたセンサデータを利用する際に用いる端末であり、ストレージノード１００にセンサデータを要求する。クライアントサーバ１０３より要求を受けたストレージノード１００は、プロセサ１１２の制御により後述の伸張処理によって圧縮した形式にて保持しているセンサデータを伸長して、また必要であれば、伸張して違う圧縮形式（JPEG）に再圧縮し、クライアントサーバ１０３または、後述の解析サーバ１０４に転送する。また、圧縮データを解析サーバ１０４にて伸張する場合には、クライアントサーバ１０３より要求を受けたストレージノード１００は、プロセサ１１２の制御により圧縮したデータをクライアントサーバ１０３または、後述の解析サーバ１０４に転送する。
【0021】
解析サーバ１０４は、ユーザがストレージノード１００に蓄えたセンサデータを解析するために、ストレージノード１００に対してリードリクエストを発行しデータを取得する。または、ストレージノード１００からデータをWriteリクエストにて記録される。また、ストレージノード１００内にて圧縮データを伸張しない場合は、ストレージノード１００から取得または受領した圧縮データを伸張する。
【0022】
以上、図１の本実施例のシステム構成について説明した。なお、本実施例においては、図１に示したストレージノード１００にて実施する例について記すが、本発明は、この例に限定されるものではない。例えばセンササーバ１０２がストレージノードと同等の処理資源を有し、本発明が適用される圧縮処理を行うとしてもよい。また、本実施例では、圧縮処理並びに伸張処理をストレージノードのプロセサが処理する例について記すが、本発明はこの例に限定されるものではなく、ストレージノードにGPUやFPGA等が搭載されており、GPUやFPGA等の処理資源にて処理されるとしてよい。
【0023】
（１－２）圧縮設定管理情報
本実施例では、静止画像の圧縮を例に説明を行う。
本実施例におけるシステムが管理する圧縮の設定項目は複数あり、この複数の設定項目を管理する目的で圧縮設定管理情報は管理される。基本的に初期状態で複数の圧縮設定を搭載するが、装置運用中に圧縮設定を追加、更新してもかまわない。また、本実施例の圧縮設定管理情報は、圧縮を行う可能性があるセンササーバ１０２、伸張を行う可能性がある解析サーバ１０４、圧縮と伸張を行う可能性があるストレージノード１００にて、同一情報が同期して共有されている。このため、ある機器の圧縮設定管理情報が更新された場合には、その更新情報を同期するまで、圧縮および伸張の処理は行わない。
本実施例では、静止画像の圧縮を例に説明を行う。
本実施例におけるシステムが管理する圧縮の設定項目は複数あり、この複数の設定項目を管理する目的で圧縮設定管理情報は管理される。基本的に初期状態で複数の圧縮設定を搭載するが、装置運用中に圧縮設定を追加、更新してもかまわない。また、本実施例の圧縮設定管理情報は、圧縮を行う可能性があるセンササーバ１０２、伸張を行う可能性がある解析サーバ１０４、圧縮と伸張を行う可能性があるストレージノード１００にて、同一情報が同期して共有されている。このため、ある機器の圧縮設定管理情報が更新された場合には、その更新情報を同期するまで、圧縮および伸張の処理は行わない。
【0024】
本実施例の圧縮設定管理情報について図５を用いて説明する。本実施例の圧縮設定管理情報における項目は５つあり、圧縮設定インデックス５０１、ニューラルネットタイプ５０２、データサイズの重み５０３、ロス関数５０４、学習データ５０５、再圧縮JPEG設定５０６にて構成される。
【0025】
圧縮設定インデックス５０１は、圧縮設定を管理するインデックスを格納するフィールドである。システムは圧縮や伸張時にこのインデックスの値を用いることで、圧縮設定管理情報より、ニューラルネットタイプ５０２、データサイズの重み５０３、ロス関数５０４、学習データ５０５、再圧縮JPEG設定５０６の情報を取得する。
【0026】
ニューラルネットタイプ５０２は、圧縮および伸張を行うニューラルネットのタイプを格納するフィールドである。学習型圧縮器は、ニューラルネットワークタイプに依存して、圧縮や伸張の処理時間が変化し、データ削減能力も変化する。一般にニューラルネットワークの要素が少ない圧縮器は、巨大なニューラルネットワークを用いた圧縮より処理時間が短い。また、ニューラルネットワークの要素が少ない圧縮器は、巨大なニューラルネットワークを用いた圧縮器より、同一データサイズにデータを削減して比較した場合に画質が低下する。
【0027】
データサイズの重み５０３は、ニューラルネットタイプ５０２にて指定されたニューラルネットワークの事前学習時に用いたデータサイズの重みである。本実施例のニューラルネットワークは、事前学習時に「データサイズの重み×データサイズ＋ロス関数の値」という多項式の合計値を最小化するように学習する。この多項式においてデータサイズの重みが大きいほど多項式の合計値に占めるデータサイズの割合が増すため、データサイズの削減を重視して学習がなされ、ロス関数の値（一般的に画質）よりもデータサイズの削減を優先したニューラルネットワークが生成される。結果、同一ロス関数、同一ニューラルネットワークタイプにおいて、データサイズの重みが大きいほど圧縮率が向上（圧縮後のデータサイズが下がる）し、画質が低下（ロス関数の値が下がらない）する。本実施例では、同一ニューラルネットワークタイプで同一ロス関数でデータサイズの重みが異なる学習済みの圧縮器を複数搭載しており、この圧縮設定におけるデータサイズの重みの値により特定の圧縮器を選択して利用する。
【0028】
ロス関数５０４は、学習型圧縮器を構成するニューラルネットを学習する際に用いたロス関数である。前述のとおり、本実施例の圧縮器は、「データサイズの重み×データサイズ＋ロス関数の値」という式の値を最小化するように学習される。このロス関数を変更することで、様々な用途に特化した圧縮器を作成可能になる。用途とは、例えば「人が観て利用する」、「特定の解析ソフトウェアにて処理される」などである。人が観て利用する場合には、ソフトウェアで処理する場合と異なり、画像における人が認識しずらい箇所は画像が変化していても問題となる場合が少ない。また、本実施例のロス関数は一つである必要はない。複数のロス関数であっても前述の学習時の多項式に加えることで、複数の用途にバランスをとった圧縮器を作成することも可能である。また、ロス関数はニューラルネットであっても構わない。例えば人が画像を観た時につける画質スコアを模擬するニューラルネットが存在する。こうしたニューラルネットワークをロス関数として用いても構わない。このように、学習型圧縮器はロス関数を変えることで圧縮方式が変わり、ロス関数は数多く存在するため、圧縮設定の異なる圧縮器は容易に作成可能である。
【0029】
学習データ５０５は、ニューラルネットワークを学習する際に用いたデータセットを格納するフィールドである。ニューラルネットワークは、特定の画像のみを学習することで、特定の画像だけデータ削減効果を向上させることが可能である。例えば、風景の画像を圧縮する圧縮器の場合、風景が多いデータセットにて圧縮器を学習することで、雑多のデータセットで学習するよりも圧縮率を向上できる。
【0030】
再圧縮JPEG設定５０６は、本実施例にシステムにおいて、解析ソフトウェアが学習型圧縮器の圧縮フォーマットに対応せずJPEGのみに対応している場合に必要となるフィールドである。解析ソフトウェアがJPEGのみしか解析できない場合、システムは、学習型圧縮器にて圧縮した画像を一度伸張する。そして、伸張したデータをJPEGにて圧縮する。このとき、JPEGは不可逆圧縮であるため、画像は、学習型圧縮器にて圧縮した際に劣化したのに加えて、さらに劣化する。このJPEGの設定では画質を低下させないようにすることが望ましいが、データサイズを増加させるため、ストレージのリード性能を低下させる可能性がある。なお、本実施例では再圧縮の例をJPEGとした例について記すが、本発明はその例に限定されるものではなく、他の不可逆圧縮フォーマットであっても構わない。また、解析ソフトウェアが学習型圧縮器の圧縮ファイルに対応している場合、JPEG再圧縮は不要となる。この場合、JPEG再圧縮を行わないという圧縮設定として圧縮設定管理情報にて管理される。このJPEG再圧縮に格納される値の一例としては、JPEG圧縮時に指定可能なquality値である。
【0031】
本実施例では、これら圧縮管理情報の項目、ニューラルネットタイプ５０２、データサイズの重み５０３、ロス関数５０４、再圧縮JPEG設定５０６の４つを合わせたものを圧縮設定と呼び、圧縮設定インデックス５０１にて管理する。このように圧縮設定は複数の設定の組み合わせであり、組み合わせにより、数十から数百という個数の圧縮設定が生み出される。
【0032】
（１－３）ライトデータフロー
本実施例におけるストレージノード１００へのライトデータフローの概要を図２を用いて説明する。
図２は、本実施例におけるライトデータフローである。センササーバ１０２に対してカメラ１２０等で得られた画像が取得された際のデータフローを示している。本実施例の圧縮のデータフローは、センササーバ１０２にてデータを圧縮してからストレージノード１００に転送する方式と、センササーバ１０２が測定した画像をそのままストレージノード１００に転送する方式に対応している。
本実施例におけるストレージノード１００へのライトデータフローの概要を図２を用いて説明する。
図２は、本実施例におけるライトデータフローである。センササーバ１０２に対してカメラ１２０等で得られた画像が取得された際のデータフローを示している。本実施例の圧縮のデータフローは、センササーバ１０２にてデータを圧縮してからストレージノード１００に転送する方式と、センササーバ１０２が測定した画像をそのままストレージノード１００に転送する方式に対応している。
【0033】
センササーバ１０２にて圧縮する場合は、センササーバ１０２内で圧縮処理２０１を行い、データを縮小した後ストレージノード１００に転送するため、センササーバ１０２とストレージノード１００の間のネットワーク速度が低いときに、転送時間を短縮することが可能である。一方で、センササーバ１０２が圧縮せずにストレージノード１００に転送する場合は、センササーバ１０２にて圧縮処理をする必要がないため、センササーバ１０２の価格等を下げることが可能になる。また、この場合、本実施例ではストレージノード１００が圧縮処理２０１を行う。この転送の選択はユーザが設定可能である。
【0034】
圧縮処理２０１では、センササーバ１０２またはストレージノード１００のプロセサにて動作するソフトウェアが、指定されたデータセットタイプインデックスを用いて後述のデータセット管理情報より、対応付けられた圧縮設定インデックスの値を取得する。次にプロセサが、圧縮設定管理情報を用いて圧縮設定インデックスに対応づけられている圧縮設定を取得し、その圧縮設定での圧縮処理を行うものである。また、取り込まれてきた画像データがRAWフォーマットでなく圧縮されていれば、プロセサはその圧縮を伸張し、RAWデータを生成する。そして、RAWデータを取得した圧縮設定にて指定されたニューラルネットで構成される学習型圧縮器に入力して圧縮データを生成する。
【0035】
圧縮されたデータは、ストレージノード１００において保存処理２０２がなされるが、この時ストレージノード１００で動作するストレージソフトウェアが、圧縮データが消失することがないように冗長化してデータを記録する。
以上が本実施例における圧縮のデータフローである。
以上が本実施例における圧縮のデータフローである。
【0036】
（１－４）リードデータフロー
本実施例におけるストレージノードに対するリードデータフローの概要を図３を用いて説明する。図３は、本実施例におけるリードデータフローである。このデータフローは、ストレージノード１００に保存された画像の圧縮データに対して解析サーバ１０４がリードリクエストを発行した際に開始される。この動作においてストレージノード１００は保存している圧縮データの読出処理３０１を実行する。本実施例のシステムでは、読みだした圧縮データをそのまま解析サーバ１０４に転送する方式と、ストレージノード内で伸張処理３０２を行い、必要があればJPEG再圧縮処理３０３を実施してから転送する方式の二つに対応している。この方式の選択はユーザが設定可能である。読み出したデータを解析サーバ１０４にそのまま転送する場合は、解析サーバ１０４にて伸張処理３０２を行い、必要があればJPEG再圧縮処理３０３を行う。
本実施例におけるストレージノードに対するリードデータフローの概要を図３を用いて説明する。図３は、本実施例におけるリードデータフローである。このデータフローは、ストレージノード１００に保存された画像の圧縮データに対して解析サーバ１０４がリードリクエストを発行した際に開始される。この動作においてストレージノード１００は保存している圧縮データの読出処理３０１を実行する。本実施例のシステムでは、読みだした圧縮データをそのまま解析サーバ１０４に転送する方式と、ストレージノード内で伸張処理３０２を行い、必要があればJPEG再圧縮処理３０３を実施してから転送する方式の二つに対応している。この方式の選択はユーザが設定可能である。読み出したデータを解析サーバ１０４にそのまま転送する場合は、解析サーバ１０４にて伸張処理３０２を行い、必要があればJPEG再圧縮処理３０３を行う。
【0037】
伸張処理３０２は、ストレージノード１００または解析サーバ１０４のプロセサで動作するソフトウェアが行う処理であり、圧縮ファイル４００内に記録されている圧縮設定インデックス４０２の値を取得し、圧縮設定インデックス４０２の値に対応付けられた圧縮設定に従って伸張処理を行う。より具体的には、圧縮設定に記載されたニューラルネットタイプ５０２によって圧縮データを伸張する。
【0038】
また、圧縮設定インデックス４０２に対応付けられた圧縮設定にJPEG再圧縮の値が記録されている場合、JPEG再圧縮処理３０３を行う。JPEG再圧縮処理３０３では、伸張処理３０２の出力である伸張データをJPEGにて圧縮設定内のJPEG再圧縮の設定値に基づき再圧縮する。
以上が本実施例における伸張のデータフローである。
以上が本実施例における伸張のデータフローである。
【0039】
（１－５）圧縮ファイル
続いて、本実施例における圧縮ファイルについて説明する。図４は、圧縮ファイルの内容の説明図である。本実施例の圧縮ファイル４００は、内部に、圧縮データバイナリ４０１と圧縮設定インデックス４０２の値を格納している。
続いて、本実施例における圧縮ファイルについて説明する。図４は、圧縮ファイルの内容の説明図である。本実施例の圧縮ファイル４００は、内部に、圧縮データバイナリ４０１と圧縮設定インデックス４０２の値を格納している。
【0040】
圧縮データバイナリ４０１は、画像データを学習型圧縮器にて圧縮したデータである。
圧縮設定インデックス４０２は、圧縮処理２０１にて圧縮する際に用いた圧縮設定を示す圧縮設定インデックス番号である。
圧縮設定インデックス４０２は、圧縮処理２０１にて圧縮する際に用いた圧縮設定を示す圧縮設定インデックス番号である。
【0041】
（１－６）データセット管理情報
続いて、本実施例におけるデータセット管理情報について説明する。図６は実施データセット管理情報の説明図である。
本実施例のシステムでは、様々な画像データセットが圧縮して格納され、また解析ソフトウェアにて解析される。そして、データセットタイプ毎にユーザが望む圧縮設定は異なり、またユーザはどの圧縮設定が解析ソフトウェアによる解析にて許容可能な範囲の誤差に収めることが可能なのか判断できない。このため、ユーザはデータセットタイプ毎に利用条件を入力する。そして本実施例のシステムは、その利用条件を満たす複数の圧縮設定を「圧縮設定候補」として選出する。次にシステムは、その圧縮設定候補の中から指定された解析ソフトウェアにて利用が可能かどうかを判断するための劣化評価用画像データセットを生成する。そして、評価により利用可能な圧縮設定を決定したらその圧縮設定を保持する。このデータセットと圧縮設定の関係を管理するのがデータセット管理情報である。
続いて、本実施例におけるデータセット管理情報について説明する。図６は実施データセット管理情報の説明図である。
本実施例のシステムでは、様々な画像データセットが圧縮して格納され、また解析ソフトウェアにて解析される。そして、データセットタイプ毎にユーザが望む圧縮設定は異なり、またユーザはどの圧縮設定が解析ソフトウェアによる解析にて許容可能な範囲の誤差に収めることが可能なのか判断できない。このため、ユーザはデータセットタイプ毎に利用条件を入力する。そして本実施例のシステムは、その利用条件を満たす複数の圧縮設定を「圧縮設定候補」として選出する。次にシステムは、その圧縮設定候補の中から指定された解析ソフトウェアにて利用が可能かどうかを判断するための劣化評価用画像データセットを生成する。そして、評価により利用可能な圧縮設定を決定したらその圧縮設定を保持する。このデータセットと圧縮設定の関係を管理するのがデータセット管理情報である。
【0042】
データセット管理情報は、データセットタイプインデックス６０１、要求圧縮率６０２、ライト転送時間上限６０３、リード転送時間上限６０４、用途６０５、画像の内容６０６、解析サーバ情報６０７、判定条件６０８、圧縮設定インデックス６０９のフィールドを含んで構成される。
【0043】
データセットタイプインデックス６０１は、データセット毎のインデックスを管理するフィールドである。本実施例のシステムでは、ユーザがデータセット毎の圧縮設定の探索を行う際にデータセットをシステムに登録する。ここで、圧縮設定の探索とは、運用時の処理対象データに対して適用すべき圧縮処理の設定を、複数の圧縮処理の設定から探して選択する処理である。
【0044】
要求圧縮率６０２は、当該データセットに対してユーザが望む圧縮率を格納するフィールドである。ユーザは後述のユーザインターフェースを介しこのフィールドの値を入力する。
【0045】
ライト転送時間上限６０３は、当該データセットに対してユーザが望むストレージノード１００へのライト時間を入力するフィールドである。このフィールドは時間以外にも、可能な限り小さくしたいか、このフィールドに指定された時間以下であれば、より短縮可能な圧縮設定があっても探索しないなどの探索ポリシーも格納される。また、ライト転送時間を探索の条件に含めない等のポリシーも格納される。ユーザは後述のユーザインターフェースを介しこのフィールドの値を入力する。
【0046】
リード転送時間上限６０４は、当該データセットに対してユーザが望むストレージノード１００からのリード時間を入力するフィールドである。このフィールドは時間以外にも、可能な限り小さくしたいか、このフィールドに指定された時間以下であれば、より短縮可能な圧縮設定があっても探索しないなどの探索ポリシーも格納される。また、リード転送時間を探索の条件に含めない等のポリシーも格納される。ユーザは後述のユーザインターフェースを介しこのフィールドの値を入力する。
【0047】
用途６０５は、当該データセットに対してユーザが意図する用途を格納するフィールドである。ユーザは、このデータセットを「人による目視」または、「データ解析」あるいは、「人による目視＋データ解析」という用途を入力すると、本実施例のシステムがこの入力値に従い、好適な圧縮設定を選び出し、圧縮設定候補を作成する。本実施例においては、「人による目視」とされたものは、人の知覚による画質スコアを模擬するニューラルネットワーク（LPIPS(Learned Perceptual Image Patch Similarity)やDISTS(Deep Image Structure and Texture Similarity)）をロス関数として学習する。また、「データ解析」として指定されたものは、PSNRをロス関数として学習する。また「人による目視＋データ解析」とされたものはMS-SSIMまたは、PSNRと人の知覚による画質スコアを模擬するニューネットの合計値をロス関数として学習する。なお、本発明は、これらロス関数の例に限定されるものではない。ユーザは後述のユーザインターフェースを介しこのフィールドの値を入力する。
【0048】
画像の内容６０６は、当該データセットの画像の内容のカテゴリを示すフィールドである。画像の内容のカテゴリとして、「写真 風景」、「写真 人物」、「写真 空撮画像」「写真 分類不可」「イラスト」等があり、ユーザが指定する種類を格納する。本実施例では、後述の圧縮設定選定処理の際に、この値を用いて画像の内容と圧縮設定における学習データが同一カテゴリの圧縮器を優先して選択する。
【0049】
解析サーバ情報６０７は、当該データセットの評価用データセットを解析サーバにて評価する際に必要な情報を記録するフィールドである。本実施例では、後述の圧縮設定評価処理にて、圧縮設定候補に選ばれた複数の圧縮設定にて個別に、解析サーバ上で動作する解析ソフトウェアの解析にて生じる誤差がユーザにとって許容可能な範囲に収まるか評価する。こため、解析サーバに劣化評価用データを転送し、解析ソフトウェアを起動し解析処理を行う。このため、解析サーバ情報には、解析サーバのＩＰアドレス、ログインに必要なＩＤとパスワード、解析ソフトウェアを動作させるための解析スクリプト等が格納される。尚、本実施例では、説明のために解析ソフトウェアの例として、画像に対する特徴点抽出ソフトウェア（AKAZE等）を用いる。また、劣化評価用データの元となる評価用データは、ユーザが圧縮する対象とするデータと類似したデータを用いる。例えば、ユーザが、道路のひび割れを検知するための画像データを圧縮するとした場合、過去に蓄積したデータの中から、同一の用途で利用した画像データを評価用データとする。尚、評価用データは、後述の圧縮設定評価処理のＳ８０２において、解析ソフトウェアにて解析可能である必要がある。
【0050】
判定条件６０８は、後述の圧縮設定評価処理において、評価する圧縮設定が利用可能か判定するための条件を格納するフィールドである。当該データセットの画像が圧縮により劣化した際に、解析ソフトウェアの結果が変化する。この変化の幅が許容可能かどうかで圧縮設定が利用可能か判定する。本実施例では前述のとおり特徴点抽出ソフトウェアを例とし、本実施例では、この場合の判定方法の一例として、圧縮前のデータセットと圧縮して劣化したデータセットの画像群を特徴点抽出ソフトウェアに入力し、それぞれの特徴点を得た後、特徴点の座標の変化量（Chamfer Distance等）の平均値を用いる。そして、この平均値がある閾値以下となる圧縮設定を利用可能と判定する。このため、本実施例の判定条件６０８のフィールドには、判定の処理（変化量を算出）を記述したスクリプトと閾値が可能される。なお、判定条件として、画像を圧縮した際の特徴点の座標の変化を用いる例について記述したが、本発明はこの例に限定されるものではない。例えば、元画像と圧縮画像の各ピクセルの二乗誤差の平均値を判定に用い、この平均値がある閾値以下となるとしてもよい。
【0051】
圧縮設定インデックス６０９は、当該データセットに対して後述の圧縮設定評価処理にて決定した、好適な圧縮設定の圧縮設定インデックスの値を格納するフィールドである。
本実施例のシステムは、このデータセット管理情報をセンササーバ１０２とストレージノード１００にて同期して管理しており、ストレージノードへのライト時における圧縮処理２０１にて、センササーバ１０２またはストレージノード１００においてデータセットに対応付けられた圧縮設定インデックスの値を取得し、圧縮処理を行う。
本実施例のシステムは、このデータセット管理情報をセンササーバ１０２とストレージノード１００にて同期して管理しており、ストレージノードへのライト時における圧縮処理２０１にて、センササーバ１０２またはストレージノード１００においてデータセットに対応付けられた圧縮設定インデックスの値を取得し、圧縮処理を行う。
【0052】
（１－７）圧縮設定候補選定処理
続いて本実施例における圧縮設定候補選定処理について図７を用いて説明する。図７は、圧縮設定候補選定処理の各ステップを記した図である。圧縮設定候補選定処理は、ユーザがクライアントサーバ１０３に表示される後述のユーザインターフェースを用いてデータセット種を登録する際に動作するステップである。なお、本実施例における圧縮設定候補選定処理は、ストレージノード１００が行うが、本発明はその例に限定されるものではない。例えばセンササーバ１０２にて圧縮設定候補選定処理を実施するとしてもよい。
続いて本実施例における圧縮設定候補選定処理について図７を用いて説明する。図７は、圧縮設定候補選定処理の各ステップを記した図である。圧縮設定候補選定処理は、ユーザがクライアントサーバ１０３に表示される後述のユーザインターフェースを用いてデータセット種を登録する際に動作するステップである。なお、本実施例における圧縮設定候補選定処理は、ストレージノード１００が行うが、本発明はその例に限定されるものではない。例えばセンササーバ１０２にて圧縮設定候補選定処理を実施するとしてもよい。
【0053】
圧縮設定候補選定処理の最初のステップＳ７０１は、ユーザが入力した各種情報をストレージノード１００が受領する処理である。ストレージノード１００は、ユーザより、要求圧縮率、Write転送時間上限、Read転送時間上限、用途、評価用データセットを受領する。そして、ストレージノード１００は、自身が管理するデータセット管理情報に要求圧縮率、Write転送時間上限、Read転送時間上限、用途、解析サーバ情報、判定条件を登録し、登録した行を示すデータセットタイプインデックスを取得する。
【0054】
Ｓ７０１より続くステップＳ７０２では、Ｓ７０１にてユーザより取得した「用途」を用いて、該当するストレージノードが管理する圧縮設定インデックス５０１に登録された各種圧縮設定から用途に合致したロス関数の圧縮設定を選択する。なお、用途とロス関数の関係については、前述のデータセット管理情報における用途の説明にて述べたので省略する。また、Ｓ７０１にてユーザより取得した「画像内容」を用いて該当するストレージノードが管理する圧縮設定インデックス５０１に登録された各種圧縮設定から「学習データ５０５」に合致した圧縮設定を選択する。合致した圧縮設定がなければ学習データ５０５が全画像となっている圧縮設定を選択する。
【0055】
Ｓ７０２より続くステップＳ７０３では、Ｓ７０２にて選択した複数の圧縮設定の全てを用いて、Ｓ７０１にてユーザより受領した評価用データセットを圧縮し、圧縮後のデータサイズを測定する。この時、圧縮設定の内容である、「ニューラルネットワークタイプ」、「データサイズの重み」、「ロス関数」が同一の圧縮設定がある場合（JPEG再圧縮設定のみが異なる）場合には、重複を避け一つのみ実施する。
【0056】
Ｓ７０３より続くステップＳ７０４では、Ｓ７０３で取得した各圧縮設定におけるデータサイズを基に圧縮率（圧縮後のデータサイズ÷圧縮前のデータサイズ）を算出し、Ｓ７０１にてユーザより取得した要求圧縮率を満たす（圧縮率＜要求圧縮率）圧縮設定のみを選定する。
【0057】
Ｓ７０４より続くステップＳ７０５では、ストレージノード１００がセンササーバ１０２に依頼し、センササーバ１０２からストレージノード１００までサンプルデータを転送する処理を行い、センササーバ１０２からストレージノード１００までのデータ転送速度を測定する。そして、Ｓ７０３にて測定した評価用データセットの圧縮後のデータサイズを用いて、圧縮設定毎の圧縮データをセンササーバ１０２からストレージノード１００に転送する時間を推定する。なお、センササーバ１０２からストレージノード１００に圧縮せずに転送する場合、学習型圧縮器による圧縮はストレージノード１００内で行われるため、Write時の転送時間に影響を及ぼさないため、本ステップはスキップする。
【0058】
Ｓ７０５より続くステップＳ７０６では、Ｓ７０５にて推定したセンササーバ１０２からストレージノード１００への転送時間が、Ｓ７０１にて受領したWrite転送時間上限を下回っている圧縮設定のみを選定する。
【0059】
Ｓ７０６より続くステップＳ７０７では、Ｓ７０６にて選択した複数の圧縮設定の全てを用いて、Ｓ７０１にてユーザより受領した評価用データセットを圧縮して伸張し、さらにJPEGにて再圧縮した画像を生成する。そして、再圧縮して生成されたデータセットのJPEGのデータサイズを測定する。
【0060】
Ｓ７０７より続くステップＳ７０８では、ストレージノード１００が解析サーバ１０４にサンプルデータを転送する処理を行い、ストレージノード１００から解析サーバ１０４へデータを転送する際の転送速度を測定する。そして、この転送速度とＳ７０７で算出した再圧縮JPEGのデータサイズを基にストレージノード１００から解析サーバ１０４へのデータ転送時間を推定する。なお、ストレージノード１００から解析サーバ１０４に圧縮データを送り、解析サーバ１０４にて伸張&JPEG再圧縮する場合、本ステップはスキップする。
【0061】
Ｓ７０８より続くステップＳ７０９では、Ｓ７０８にて推定したストレージノード１００から解析サーバ１０４への転送時間が、Ｓ７０１にて受領したRead転送時間上限を下回っている圧縮設定のみを選定する。この処理によって本実施例の圧縮設定候補が確定する。
以上が本実施例における圧縮設定候補選定処理である。この処理の後、続いて圧縮設定評価処理に移行する。
以上が本実施例における圧縮設定候補選定処理である。この処理の後、続いて圧縮設定評価処理に移行する。
【0062】
（１－８）圧縮設定評価処理
続いて、本実施例における圧縮設定評価処理について図８を用いて説明する。本実施例の圧縮設定評価処理は、圧縮設定候補選定処理の後に開始される。
続いて、本実施例における圧縮設定評価処理について図８を用いて説明する。本実施例の圧縮設定評価処理は、圧縮設定候補選定処理の後に開始される。
【0063】
本実施例の圧縮設定評価処理の最初のステップＳ８０１では、ストレージノード１００が、Ｓ７０９で圧縮設定候補とした全ての圧縮設定にて、Ｓ７０１にて取得した評価用データの圧縮を行い、劣化評価用データを生成する。なお、Ｓ７０８にて生成したデータが残っている場合には、圧縮を行わず劣化評価用データとして利用しても構わない。
【0064】
ステップＳ８０１より続くステップＳ８０２では、ストレージノード１００は、Ｓ８０１にて作成した劣化評価用データをＳ７０１にて取得した解析サーバ情報６０７に記載されたＩＰアドレスの解析サーバに転送する。
そして、解析サーバ情報に記載された解析ソフトウェアを動作させるための解析スクリプトを実行し、解析結果を取得する。
そして、解析サーバ情報に記載された解析ソフトウェアを動作させるための解析スクリプトを実行し、解析結果を取得する。
【0065】
ステップＳ８０２より続くステップＳ８０３は、ストレージノード１００が、Ｓ８０２にて取得した各圧縮設定による劣化評価データの解析結果と、Ｓ７０１にてユーザより取得した判定条件を用いて、圧縮設定毎に利用可能か評価するステップである。このステップでは、解析結果から判定に必要な情報を取り出し（例えば元データとの差）、判定条件と比較し（例えば閾値との大小比較）を行う。そして、判定条件を満たすかどうかで、圧縮設定の利用可否を判定する。
【0066】
ステップＳ８０３より続くステップＳ８０４では、ストレージノード１００は、Ｓ８０３にて利用が可能と判定された圧縮設定の中からもっともデータ削減効果の高い圧縮設定を選ぶ。より具体的には、Ｓ７０３で取得した圧縮後のデータサイズにおいて最もデータ量の少ない圧縮設定を選択する。そして、データセット管理情報を参照し、データセット管理情報内の圧縮設定インデックスのフィールドに選択した圧縮設定を指定する圧縮設定インデックスの値を記録し、更新する。
【0067】
ステップＳ８０４より続くステップＳ８０５では、ストレージノード１００は、Ｓ８０４にて更新したデータセット管理情報を、実際に圧縮処理を行うセンササーバ１０２と解析サーバ１０４に転送し、センササーバ１０２及び解析サーバ１０４のデータセット管理情報を更新して同期する。この処理により、以降ユーザは、当該データセットに対して、適切な圧縮設定によるデータ圧縮をセンササーバ１０２にて行うことが可能になる。
【0068】
ステップＳ８０６では、Ｓ７０１よりデータセットの登録を行っていたユーザに対して、データセットの登録が完了したことと共に、登録したデータセットのデータセットタイプインデックスを通知する。データセットタイプインデックスを受領したユーザは、データ圧縮時にこのデータセットタイプインデックスを指定することで、このデータセットタイプインデックスに対応付けられた適切な圧縮設定での圧縮を行うことが可能になる。
以上が本実施例における圧縮設定評価処理である。
以上が本実施例における圧縮設定評価処理である。
【0069】
（１－９）ユーザインターフェース
続いて、本実施例におけるユーザインターフェースについて図９を用いて説明する。
ユーザインターフェース画面９００は、ユーザが設定を行うためのグラフィカルユーザインターフェース画面の一例を示している。
続いて、本実施例におけるユーザインターフェースについて図９を用いて説明する。
ユーザインターフェース画面９００は、ユーザが設定を行うためのグラフィカルユーザインターフェース画面の一例を示している。
【0070】
本実施例におけるユーザインターフェース画面９００は、ストレージノード１００または、ストレージノード１００とネットワーク１０１にて接続されたクライアントサーバ１０３が表示する画面であり、データセットタイプの圧縮条件として、要求圧縮率９０１、Write転送時間上限９０２、Read転送時間上限９０３、用途９０４、画像の内容９０５、解析サーバ情報９０６、判定条件９０７を入力するフィールドを含んで構成される。また、評価用データセットをストレージノード１００に送るため、評価用データセットのPATHフィールド９１１を含んで構成される。
【0071】
要求圧縮率９０１、Write転送時間上限９０２、Read転送時間上限９０３、用途９０４、画像の内容９０５、解析サーバ情報９０６、判定条件９０７は、全て前述のデータセット管理情報６００に格納される情報である。ユーザは利用条件に応じて各項目を入力する。
【0072】
評価用データセットのPATHフィールド９１１は、評価用データセットをストレージノードに転送するために用い、評価用データセットが格納されているディレクトリのPATHを指定するフィールドである。
以上が本実施例におけるユーザインターフェースである。
以上が本実施例におけるユーザインターフェースである。
【0073】
上記の通り、本実施例のシステムにおいてユーザは、ユーザインターフェース画面９００を用い、データセットタイプとデータセットタイプを使う際の圧縮条件、データセットタイプを評価するための評価用データを入力し、データセットタイプをストレージノード１００に登録する。ストレージノード１００はユーザが入力したデータセットタイプにおける圧縮条件を参照し、条件を満たす圧縮設定を探索する。
【0074】
上述してきたように、開示のデータ圧縮処理システムは、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択部として機能するストレージノード１００と、選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理部と、を備える。圧縮処理部は、センササーバ１０２であってもよいし、ストレージノード１００であってもよい。
前記選択部は、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理する。前記圧縮処理部は、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する。
前記選択部は、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理する。前記圧縮処理部は、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する。
【0075】
処理対象データの圧縮処理に要求される条件は、圧縮を利用するユーザによる圧縮の利用条件、解析ソフトウェアにて圧縮が利用可能かどうかを適切に判断することが可能な評価用画像データセット（データセットとは、画像データが１つのものを含む）、解析ソフトウェアにて許容可能な誤差などを含むことができる。
システムは、ユーザより受領した条件に基づき調査すべき複数の圧縮設定を「圧縮設定候補」として選定する。圧縮設定候補に選ばれたすべての圧縮設定にて、ユーザより受領した評価用画像データセットをそれぞれ圧縮して伸張することで、各圧縮設定にて劣化させた劣化評価用画像データセットを生成する。
システムは続けて、劣化評価用画像データセットを解析ソフトウェアに入力し解析を実施し、解析結果を取得する。そして、解析結果に基づき最適な圧縮設定を把握する。この時、実際に圧縮処理を行うEdgeデバイス等にも圧縮設定を通知する。
これらの処理により、開示のシステムは、ユーザは利用可能な圧縮処理をより短時間で見つけることが可能になる。また、圧縮の設定等が自動的に行われることで圧縮システムを利用するユーザの作業量を軽減できる。
前記評価用データとしては、過去に蓄積したデータのうち、前記処理対象データと同一の用途で利用したデータを用いればよい。このように、評価対象データと類似したデータを評価用データとして用いることで、圧縮設定を用途に応じて評価することができる。
システムは、ユーザより受領した条件に基づき調査すべき複数の圧縮設定を「圧縮設定候補」として選定する。圧縮設定候補に選ばれたすべての圧縮設定にて、ユーザより受領した評価用画像データセットをそれぞれ圧縮して伸張することで、各圧縮設定にて劣化させた劣化評価用画像データセットを生成する。
システムは続けて、劣化評価用画像データセットを解析ソフトウェアに入力し解析を実施し、解析結果を取得する。そして、解析結果に基づき最適な圧縮設定を把握する。この時、実際に圧縮処理を行うEdgeデバイス等にも圧縮設定を通知する。
これらの処理により、開示のシステムは、ユーザは利用可能な圧縮処理をより短時間で見つけることが可能になる。また、圧縮の設定等が自動的に行われることで圧縮システムを利用するユーザの作業量を軽減できる。
前記評価用データとしては、過去に蓄積したデータのうち、前記処理対象データと同一の用途で利用したデータを用いればよい。このように、評価対象データと類似したデータを評価用データとして用いることで、圧縮設定を用途に応じて評価することができる。
【0076】
また、開示のデータ圧縮処理システムによれば、前記選択部を備える装置は、前記圧縮処理の設定と前記条件との対応関係を保持するとともに、当該対応関係を前記圧縮処理部を有する装置に送信して保持させることで、前記対応関係を同期する。
このため、例えばセンササーバ１０２や、センサなどが圧縮処理を行う場合にも、用途等に適した圧縮を行うことができる。
このため、例えばセンササーバ１０２や、センサなどが圧縮処理を行う場合にも、用途等に適した圧縮を行うことができる。
【0077】
また、開示のデータ圧縮処理システムによれば、前記処理対象データの圧縮処理に要求される条件は、複数の条件を組み合わせた条件セットである。
前記条件セットは、圧縮率、書き込みの転送時間、読み出しの転送時間のうち、いずれかに対する制限を含むことができる。
また、前記条件セットは、前記処理対象データの用途、前記処理対象データの内容の分類のうち、いずれかを特定する事項を含むことができる。
このように、条件の組み合わせを管理することで、圧縮処理に要求される条件をパターン化し、簡易に管理することができる。
前記条件セットは、圧縮率、書き込みの転送時間、読み出しの転送時間のうち、いずれかに対する制限を含むことができる。
また、前記条件セットは、前記処理対象データの用途、前記処理対象データの内容の分類のうち、いずれかを特定する事項を含むことができる。
このように、条件の組み合わせを管理することで、圧縮処理に要求される条件をパターン化し、簡易に管理することができる。
【0078】
また、開示のデータ圧縮処理システムによれば、前記圧縮処理の設定は、複数の圧縮方式の組み合わせを含む。
このため、伝送や格納における容量削減を目的として第一の圧縮を行った後、伸長と再圧縮を行って、解析等に適した形式のデータを得ることができる。
また、前記圧縮処理の設定は、伸長に必要な情報を含むことができる。
このため、圧縮された処理対象データの伸長を容易に行うことができる。
このため、伝送や格納における容量削減を目的として第一の圧縮を行った後、伸長と再圧縮を行って、解析等に適した形式のデータを得ることができる。
また、前記圧縮処理の設定は、伸長に必要な情報を含むことができる。
このため、圧縮された処理対象データの伸長を容易に行うことができる。
【0079】
また、開示のシステムでは、前記圧縮処理の設定は、用途に応じたアルゴリズム及び／又は学習データを用いるものである。
このため、用途に応じて多様な圧縮を使い分けることができる。
このため、用途に応じて多様な圧縮を使い分けることができる。
【0080】
また、前記選択部は、前記圧縮処理に要求される条件を識別する識別情報であるデータセットタイプインデックスと、前記選択された圧縮処理の設定を識別する識別情報である圧縮設定インデックスとを対応付けて管理する。
このため、ユーザが、処理対象のデータについてデータセットタイプインデックスを指定すれば、適切な圧縮処理の設定を特定できる。
このため、ユーザが、処理対象のデータについてデータセットタイプインデックスを指定すれば、適切な圧縮処理の設定を特定できる。
【0081】
また、開示のシステムでは、前記選択部を備える装置と前記圧縮処理部を有する装置とが、前記処理対象データに適用可能な複数の圧縮処理の設定を予め共有する。
このため、ストレージノード１００、センササーバ１０２、解析サーバ１０４などの複数の装置が、共通したデータに基づいて圧縮伸長を行うことができる。
このため、ストレージノード１００、センササーバ１０２、解析サーバ１０４などの複数の装置が、共通したデータに基づいて圧縮伸長を行うことができる。
【0082】
また、開示の方法は、処理対象データに対して適用する圧縮処理の設定を複数の圧縮処理の設定から選択する選択ステップと、前記選択ステップにより選択された圧縮処理の設定に従って前記処理対象データを圧縮する圧縮処理ステップと、を含む。
このため、処理対象データ、すなわち、運用時に処理するデータの圧縮を行う前に、選択ステップにより圧縮処理の設定を特定することができる。
そして、選択ステップでは、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理する。また、前記圧縮処理ステップは、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する。
これらの処理により、処理対象データに適した圧縮処理の設定を効率的に特定することができる。
このため、処理対象データ、すなわち、運用時に処理するデータの圧縮を行う前に、選択ステップにより圧縮処理の設定を特定することができる。
そして、選択ステップでは、前記処理対象データの圧縮処理に要求される条件を受け付け、前記処理対象データに適用可能な複数の圧縮処理の設定を、評価用データに対して適用して圧縮処理し、前記評価用データに対する圧縮処理の結果に基づいて、前記処理対象データに適用した場合に前記条件を満たす設定を前記複数の圧縮処理の設定から選択し、選択した前記圧縮処理の設定を前記条件に対応付けて管理する。また、前記圧縮処理ステップは、前記条件が指定された場合に、当該条件に対応付けて管理された圧縮処理の設定に従って前記処理対象データを圧縮する。
これらの処理により、処理対象データに適した圧縮処理の設定を効率的に特定することができる。
【0083】
なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。
【符号の説明】
【0084】
１００：ストレージノード、１０１：ネットワーク、１０２：センササーバ、１０３：クライアントサーバ、１０４：解析サーバ、１１２：プロセサ、１１３：バックエンドインターフェース、１１４：記憶媒体、１１６：ネットワークインターフェース、１２０：カメラ、１２１：ビデオカメラ、１２２：センサ、２０１：圧縮処理、２０２：保存処理、３０１：読出処理、３０２：伸張処理、３０３：再圧縮処理、４００：圧縮ファイル、４０１：圧縮データバイナリ、４０２：圧縮設定インデックス、５０１：圧縮設定インデックス、５０２：ニューラルネットタイプ、５０３：重み、５０４：ロス関数、５０５：学習データ、６００：データセット管理情報、６０１：データセットタイプインデックス、６０２：要求圧縮率、６０３：ライト転送時間上限、６０４：リード転送時間上限、６０５：用途、６０６：内容、６０７：解析サーバ情報、６０８：判定条件、６０９：圧縮設定インデックス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】