特開 2023-124660 情報圧縮システム及び情報圧縮方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124660

(43)【公開日】2023-09-06

(54)【発明の名称】情報圧縮システム及び情報圧縮方法

(51)【国際特許分類】

   G06T 17/00 20060101AFI20230830BHJP

   G06T 9/00 20060101ALI20230830BHJP

   H03M 7/30 20060101ALI20230830BHJP

【ＦＩ】

G06T17/00

G06T9/00 100

H03M7/30 Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022028562

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】圷 弘明

(72)【発明者】

【氏名】佐藤 功人

(72)【発明者】

【氏名】成子 貴洋

【テーマコード（参考）】

5B080

5J064

【Ｆターム（参考）】

5B080AA00

5B080AA17

5B080AA19

5B080CA05

5B080DA06

5B080FA02

5B080FA09

5J064BA09

5J064BC16

5J064BC28

(57)【要約】

【課題】圧縮効率をより高くすることが可能な情報圧縮システムを提供する。
【解決手段】データ取得部１０１は、データを取得する。生成部（セグメンテーション部１０２及び統合部１０３）は、データに写る各物体及び各物体の意味を判定し、その判定結果に基づいて、データの要素の値を各物体及び各物体の意味を表す識別情報に変換した圧縮対象データを生成する。データストア部１０４は、圧縮対象データを圧縮した圧縮データを生成する。したがって、情報量を削減しつつ、ランダム性の高い要素の値をランダム性の低い識別情報に変換して圧縮することが可能となるため、圧縮率をより高くすることが可能となる。
【選択図】図２

【特許請求の範囲】

【請求項1】

データを圧縮する情報圧縮システムであって、
前記データを取得する取得部と、
前記データに写る各物体及び各物体の意味を判定し、当該判定結果に基づいて、前記データの各要素の値を各物体及び各物体の意味を表す識別情報に変換した圧縮対象データを生成する生成部と、
前記圧縮対象データを圧縮した圧縮データを生成する圧縮部と、を有する情報圧縮システム。

【請求項2】

前記取得部は、前記物体の表面の各位置を示す複数の座標情報を有する点群データをさらに取得し、
前記生成部は、前記点群データと前記判定結果とに基づいて、前記表面の位置ごとに前記座標情報と当該位置にある前記物体を表す前記識別情報とを有する統合データを前記圧縮対象データとして生成する、請求項１に記載の情報圧縮システム。

【請求項3】

前記取得部は、前記データから前記点群データを取得する、請求項２に記載の情報圧縮システム。

【請求項4】

前記圧縮部は、前記圧縮対象データを、当該圧縮対象データに含まれる前記座標情報を正規化及び量子化したデータに変換して圧縮する、請求項２に記載の情報圧縮システム。

【請求項5】

前記圧縮部は、前記圧縮対象データを、前記圧縮対象データに含まれる各識別情報の値を前記物体及び前記意味の類似性に基づいて入れ替えたデータに変換して圧縮する、請求項２に記載の情報圧縮システム。

【請求項6】

前記圧縮部は、前記圧縮対象データを、前記座標情報の値と当該圧縮対象データに含まれる各識別情報から生成した色を表す値とを並べたリスト形式のデータに変換して圧縮する、請求項２に記載の情報圧縮システム。

【請求項7】

前記圧縮部は、前記圧縮対象データを、前記識別情報の値を各要素の値として有するデータである３次元の配列形式のデータに変換して圧縮する、請求項１に記載の情報圧縮システム。

【請求項8】

前記生成部及び前記圧縮部は、学習済みモデルにて一体化されて構築される、請求項１に記載の情報圧縮システム。

【請求項9】

前記圧縮部は、前記識別情報ごとに前記圧縮対象データに含まれる座標情報を圧縮する、請求項２に記載の情報圧縮システム。

【請求項10】

前記圧縮データを伸張した伸張データを生成する伸張部と、
前記伸張データを加工して出力する生成部と、をさらに有する請求項１に記載の情報圧縮システム。

【請求項11】

前記データが取得された空間及び時間の少なくとも一方を指定するためのインタフェースを提供するデータ利用部をさらに有し、
前記伸張部は、前記インタフェースにて指定された指定内容に応じた前記圧縮データを伸張する、請求項１０に記載の情報圧縮システム。

【請求項12】

データを圧縮する情報圧縮システムによる圧縮方法であって、
前記データを取得し、
前記データに写る各物体及び各物体の意味を判定し、当該判定結果に基づいて、前記データの各要素の値を各物体及び各物体の意味を表す識別情報に変換した圧縮対象データを生成する生成部と、
前記圧縮対象データを圧縮した圧縮データを生成する圧縮部と、を有する情報圧縮システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報圧縮システム及び情報圧縮方法に関する。

【背景技術】

【0002】

近年、都市空間デザイン、社会インフラ及びモビリティなどの分野では、ＬｉＤＡＲ（Light Detection and Ranging）及びカメラなどのセンサにより、多次元の点群データ及び画像データなどのセンサデータが取得され、様々な用途に活用されている。しかしながら、これらの分野などでは、センサデータのデータ量が膨大になるという問題がある。

【0003】

これに対して特許文献１には、ニューラルネットワークを用いて、多次元データを圧縮する技術が開示されている。この技術によれば、多次元データの次元数及び様式に関わらず最適な圧縮が可能となる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１１１８８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、多次元データをそのまま圧縮しているため、十分な圧縮効率が得られない場合がある。

【0006】

本開示の目的は、圧縮効率をより高くすることが可能な情報圧縮システム及び情報圧縮方法を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様に従う情報圧縮システムは、データを圧縮する情報圧縮システムであって、前記データを取得する取得部と、前記データに写る各物体及び各物体の意味を判定し、当該判定結果に基づいて、前記データの要素の値を各物体及び各物体の意味を表す識別情報に変換した圧縮対象データを生成する生成部と、前記圧縮対象データを圧縮した圧縮データを生成する圧縮部と、を有する。

【発明の効果】

【0008】

本発明によれば、圧縮効率をより高くすることが可能になる。

【図面の簡単な説明】

【0009】

【図1】本開示の実施例１に係る情報圧縮システムの物理的な構成を示す図である。

【図2】ノードの論理的な構成を示す図である。

【図3】センサデータの一例を示す図である。

【図4】統合データの一例を示す図である。

【図5】センサ情報の一例を示す図である。

【図6】チャンク情報の一例を示す図である。

【図7】管理テーブルの一例を示す図である。

【図8】データ利用インタフェースの一例を示す図である。

【図9】設定インタフェースの一例を示す図である。

【図10】書き込み処理の一例を説明するためのフローチャートである。

【図11】読み込み処理の一例を説明するためのフローチャートである。

【図12】本開示の実施例１に係るデータストア部の構成例を示す図である。

【図13】本開示の実施例２に係るデータストア部の構成例を示す図である。

【図14】ＩＤ変換圧縮器による変換処理を説明するための図である。

【図15】本開示の実施例３に係るデータストア部の構成例を示す図である。

【図16】本開示の実施例３に係るデータストア部の別の構成例を示す図である。

【図17】本開示の実施例４に係るデータストア部の構成例を示す図である。

【図18】本開示の実施例５に係るデータストア部の構成例を示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施例について図面を参照して説明する。

【実施例0011】

図１は、本開示の実施例１に係る情報圧縮システムの物理的な構成を示す図である。図１に示す情報圧縮システムは、ノード１にて構成される。ノード１は、センサ２及び入出力装置３と通信可能に接続される。また、ノード１は、複数あってもよい。ノード１が複数ある場合、ノード１の少なくとも１つがセンサ２及び入出力装置３と接続されていればよい。図１の例では、２つのノード１がネットワーク４を介して相互に通信可能に接続され、一方のノード１にセンサ２が接続されている。

【0012】

ノード１は、コンピュータシステムであり、例えば、クラウドシステム、オンプレシステム、エッジコンピューティング、又は、スマートフォンのようなモバイル機器などである。

【0013】

ノード１は、メインプロセッサ１１と、メインメモリ１２と、ストレージ１３と、ＩＦ１４及び１５と、サブプロセッシングユニット１６とを有し、それらが内部バス１７を介して相互に接続されている。

【0014】

メインプロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）などであり、プログラム（コンピュータプログラム）をストレージ１３からメインメモリ１２に読み出して実行することにより、プログラムに応じた種々の処理を実行する。メインメモリ１２は、プログラムのワーク領域として用いられる記憶装置である。ストレージ１３は、プログラム、並びに、メインプロセッサ１１及びサブプロセッシングユニット１６にて使用及び生成される情報などを格納する格納装置である。ＩＦ１４及び１５は、外部装置と通信可能に接続する通信装置であり、図１では、ＩＦ１４がセンサ２と接続し、ＩＦ１５がネットワーク４を介して他のノード１と接続されている。

【0015】

サブプロセッシングユニット１６は、プログラムに応じた所定の処理を実行するためのユニットであり、例えば、ＧＰＵ（Graphics Processing Unit）などである。サブプロセッシングユニット１６は、複数の処理を同時に実行する多重処理を行うための複数のコア１６ａと、コア１６ａによりワークエリアとして使用されるサブメモリ１６ｂとを有する。

【0016】

センサ２は、Ｌｉｄａｒのような光学センサ、光学的カメラ及び重力センサなどの種々のセンシングデバイスであり、検出したセンサデータをノード１に送信する。なお、センサ２の代わりに、又は、センサ２に加えて、ＳＤカードのようなセンサデータを保存した記録媒体などが使用されてもよい。

【0017】

入出力装置３は、キーボード、タッチパネル及びポインティングデバイスのような情報圧縮システムを利用するユーザから種々の情報を受け付ける入力装置と、ディスプレイ装置及びプリンタのようなユーザに対して種々の情報を出力する出力装置とを含む。また、入出力装置３は、ユーザにて使用されるモバイル端末などでもよい。

【0018】

図２は、ノード１の論理的な構成を示す図である。図２に示すようにノード１は、データ取得部１０１と、セグメンテーション部１０２と、統合部１０３と、データストア部１０４と、データ変換部１０５と、データ利用部１０６とを有する。なお、ノード１の各部１０１～１０６は、例えば、メインプロセッサ１１及びサブプロセッシングユニット１６の少なくとも一方がプログラムを実行することで実現される。

【0019】

データ取得部１０１は、センサ２からセンサデータを取得する。本実施例では、センサデータは、Ｌｉｄａｒ又はＴＯＦ（Time of Flight）センサのような測量センサにて取得された３次元の点群データと、カラーカメラにて取得された画像データである色カメラデータとを含む。点群データは、物体の表面の各位置を示す点データの集合であり、各点データは、物体の表面の位置の座標を示す座標情報を含む。色カメラデータは、画素ごとに複数の色（本実施例では、Ｒ（赤）、Ｇ（緑）及びＢ（青））を示す色情報を画素値として有する。また、点群データ及び色カメラデータは、本実施例では、時系列データである。色カメラデータは、具体的には、動画像データである。

【0020】

なお、データ取得部１０１は、取得するセンサデータを指定するためのデータ利用インタフェースをユーザに提供し、データ利用インタフェースにて指定されたセンサデータを取得してもよい。なお、データ利用インタフェースの代わりに、取得するセンサデータを指定するためコマンド又はＡＰＩ（Application Programming Interface）などが使用されてもよい。

【0021】

セグメンテーション部１０２は、データ取得部１０１にて取得された色カメラデータに写る各物体と各物体の意味とを判定し、その判定結果に基づいて、色カメラデータの各画素値を各物体及び各物体の意味を表す識別情報に変換したセグメンテーションデータを生成する。識別情報は、物体を識別する識別情報であるインスタンスＩＤと、物体の意味を識別する識別情報である意味ＩＤを含む。なお、セグメンテーションデータでは、各画素値の少なくとも一部が識別情報に変換されればよい。

【0022】

セグメンテーション部１０２による処理であるセグメンテーション処理には、例えば、色カメラデータに写る各物体と各物体の意味とを判定するための学習済みモデルであるセグメンテーションモデルと、インスタンスＩＤ及び意味ＩＤを定義するための管理テーブルとが使用される。セグメンテーション部１０２は、セグメンテーション処理に係る設定を行うための設定インタフェースをユーザに提供し、設定インタフェースを介した設定に応じてセグメンテーション処理を実行してもよい。

【0023】

統合部１０３は、センサ２に関するセンサ情報に基づいて、データ取得部１０１にて取得された点群データと、セグメンテーション部１０２による処理結果であるセグメンテーションデータとを統合した統合データを生成する。統合データは、具体的には、色カメラデータに写る物体の表面の位置ごとに、その位置の座標を示す座標情報とその位置にある物体を表す識別情報とを有する。統合データは、本実施例では、実際に圧縮される圧縮対象データとなり、セグメンテーション部１０２及び統合部１０３は、圧縮対象データを生成する生成部を構成する。なお、統合部１０３は、センサ情報５０を用いて、データ取得部１０１にて取得された点群データを、統一化された座標空間（データ利用インタフェース８０で指定する座標空間）に変換する。これにより、データ利用インタフェース８０で統一的にデータを扱うことができ、さらに同一の物体を多視点のセンサで撮影する場合に、冗長となる点群データを、後述する量子化および圧縮処理により効率的にデータ量を削減することができる。

【0024】

データストア部１０４は、統合部１０３にて統合された統合データを圧縮した圧縮データを生成する圧縮部の機能と、圧縮データを伸張した伸張データを生成する伸張部の機能とを有する。

【0025】

例えば、データストア部１０４は、統合データをチャンクと呼ばれるデータブロック単位で圧縮する。また、データストア部１０４は、圧縮データを、その圧縮を行ったデータストア部１０４を有するノード１である自ノードに格納してもよいし、自ノードとは別のノード１である他のノードに転送して他ノードに格納してもよい。また、データストア部１０４は、所定のタイミング又はユーザからの指示に応じて、圧縮データを読み出して伸張する。

【0026】

データ変換部１０５は、データストア部１０４にて生成された伸張データを所定の形式のデータに変換する。例えば、データ変換部１０５は、伸張データをメッシュデータに変換したり、機械学習用の学習用データに変換したりする。また、伸長したデータは変換されずに、そのまま用いられてもよい。

【0027】

データ利用部１０６は、データ変換部１０５にて変換された変換データを出力データとして提供する。例えば、データ利用部１０６は、出力データを入出力装置３に表示したり他のノード１に送信したりして、伸張データのリアルタイム利用又は時系列利用などを図る。リアルタイム利用は、例えば、推論及び可視化などであり、時系列利用は学習及び解析などである。

【0028】

図３は、センサデータの一例を示す図である。図３に示すセンサデータ３０は、点群データ３０ａと、色カメラデータ３０ｂとを有する。

【0029】

点群データ３０ａは、物体の表面の位置を示す座標情報である点データ３１の集合であり、各点データは、物体の表面の位置の座標を、ｘ軸、ｙ軸及びｚ軸で定義された直交座標系で示す。ｘ軸、ｙ軸及びｚ軸は、センサ２ごとに定義されていてもよいし、広域的に定義されていてもよい。

【0030】

色カメラデータ３０ｂは、横軸方向と縦軸方向の２次元方向にマトリックス状に配置された画素ごとに、その画素の画素値を示す。画素値は、互いに異なる複数の色（本実施例では、Ｒ（赤）、Ｇ（緑）、Ｂ（青））のそれぞれを表す複数の値からなる色情報を有する。このため、色カメラデータ３０ｂは、３次元配列のデータ（［３］［Ｘ］［Ｙ］）とみなすこともできる。ここで［３］は色情報、［Ｘ］は縦軸方向の画素位置、［Ｙ］は縦軸方向の画素位置を示す。なお、図３では、簡単のため、単一の色に対応する画素値のみを示している。

【0031】

点群データ３０ａ及び色カメラデータ３０ｂは、本実施例では、時系列データであり、図３では、ある時点における点群データ３０ａ及び色カメラデータ３０ｂが示されている。

【0032】

図４は、統合データの一例を示す図である。図４に示す統合データ４０は、フィールド４１０～４３を有する。フィールド４１は、物体の表面の位置を示す座標情報（点データ）を格納する。フィールド４２は、フィールド４１の座標情報が示す位置にある物体の意味を識別する意味ＩＤを格納する。フィールド４３は、フィールド４１の座標情報が示す位置にある物体を識別するインスタンスＩＤを格納する。

【0033】

図５は、センサ情報の一例を示す図である。図５に示すセンサ情報５０は、フィールド５１～５９を有する。

【0034】

フィールド５１は、センサ２を識別する識別情報であるセンサＩＤを格納する。フィールド５２は、フィールド５１のセンサＩＤにて識別されるセンサ２の種別を格納する。本実施例では、種別には、点群データを取得するセンサ２（例えば、Ｌｉｄａｒ）である「点群」と、色カメラデータを取得するセンサ２（例えば、カラーカメラ）に対応する「色カメラ」とがある。フィールド５３は、統合データを生成する点群データ及び色カメラデータを取得するセンサ２のペアを特定するためのペアＩＤを格納する。図５の例では、種別として「色カメラ」を格納したフィールド５２に対応するフィールド５３に、その「色カメラ」のセンサ２とペアとなる「点群データ」のセンサ２のセンサＩＤがペアＩＤとして格納される。

【0035】

フィールド５４は、センサ２が配置されている位置を示す位置情報を格納する。位置情報は、センサ２の位置を、ｘ軸、ｙ軸及びｚ軸の直交座標系で示している。なお、センサ２の位置を規定するための座標軸（ｘ軸、ｙ軸及びｚ軸）と、図２に示した点群データの座標軸とは同一でなくてもよい。フィールド５５は、センサ２の向きを示す向き情報を格納する。向き情報は、図５の例では、回転角Ψ、仰角θ及び方位角Φで示されている。フィールド５６は、センサ２のスケールを格納する。フィールド５７は、センサ２の焦点距離を格納する。フィールド５８は、センサ２の解像度を格納する。フィールド５９は、センサ２の画角を格納する。

【0036】

図６は、統合データを圧縮するデータブロック単位であるチャンクに関するチャンク情報の一例を示す図である。図６に示すチャンク情報６０は、フィールド６１～６８を有する。

【0037】

フィールド６１は、圧縮する統合データの生成に用いたセンサ２を識別するセンサＩＤを格納する。フィールド６２は、統合データにおけるチャンクのｘ方向の開始位置を格納し、フィールド６３は、統合データにおけるチャンクのｙ方向の開始位置を格納し、フィールド６４は、統合データにおけるチャンクのｚ方向の開始位置を格納する。フィールド６５は、統合データにおけるチャンクの開始時刻を格納し、フィールド６６は、統合データにおけるチャンクの終了時刻を格納する。なお、ｘ方向、ｙ方向及びｚ方向のそれぞれにおけるチャンクの幅は、例えば、チャンク情報６０とは別に予め指定されている。なお、フィールド６１は、複数のセンサＩＤを格納し、複数のセンサから取得した情報を同一のチャンクに格納してもよい。

【0038】

フィールド６７は、チャンクの圧縮状態を格納する。圧縮状態は、チャンクが圧縮済みか否かを示し、チャンクが圧縮済みの場合には、チャンクを圧縮した圧縮アルゴリズムをさらに示す。フィールド６８は、チャンクを圧縮した圧縮データを格納する。圧縮データは、圧縮したチャンク本体である圧縮済みバイナリデータ、チャンクの圧縮に使用した管理テーブルを示す参照情報、及び、圧縮時に行う正規化に関する設定値などを含む。参照情報は、例えば、管理テーブルを示すポインタである。設定値は、例えば、正規化がＭｉｎ－Ｍａｘ法を用いて行われる場合、各座標軸に対応する最小値及び最大値である。

【0039】

なお、図６の例では、チャンクは位置及び時間にて設定されているが、チャンクの設定方法はこの例に限らない。例えば、チャンクは、インスタンスＩＤ及び意味ＩＤの少なくとも一方に応じて設定されてもよい。

【0040】

図７は、管理テーブルの一例を示す図である。図７に示す管理テーブル７０は、意味管理テーブル７０ａと、インスタンス管理テーブル７０ｂとを有する。

【0041】

意味管理テーブル７０ａは、フィールド７１及び７２を有する。フィールド７１は、意味ＩＤを格納する。フィールド７２は、意味ＩＤにて識別される意味を示す意味情報を格納する。本実施例では、意味情報は、「人」又は「机」などの物体の種別を意味として示す。

【0042】

インスタンス管理テーブル７０ｂは、フィールド７３及び７４を有する。フィールド７３は、インスタンスＩＤを格納する。フィールド７４は、インスタンスＩＤにて識別される物体を広域的に識別する広域ＩＤを格納する。なお、インスタンスＩＤは、単一の統合データ（又は、単一の対象空間）で物体を識別する識別情報であり、広域ＩＤは、全ての統合データに共通して対象物を識別する識別情報である。

【0043】

図８は、データ利用部１０６を介して出力データを読み出すためのデータ利用インタフェースの一例を示す図である。図８に示すデータ利用インタフェース８０は、指定欄８１～８７を含む。

【0044】

指定欄８１は、読み出す出力データに対応するセンサ２を識別するセンサＩＤを指定するための欄である。指定欄８２は、取得するセンサデータの空間上の開始位置を指定する欄であり、指定欄８３は、読み出す出力データの空間上の終了位置を指定する欄である。図８の例では、開始位置及び終了位置はｘ，ｙ，ｚ座標を指定する。指定欄８４は、読み出す出力データの開始時刻を指定する欄であり、指定欄８５は、読み出す出力データの終了時刻を指定する欄である。指定欄８６は、読み出す出力データの意味を表す意味ＩＤを指定する欄であり、指定欄８７は、読み出す出力データのインスタンスを指定する欄である。意味ＩＤ及びインスタンスＩＤが指定されると、その指定されたＩＤに対応する出力データのみが取得される。

【0045】

指定欄８１～８７では、全てを指定する「Ａｎｙ」を設定することも可能である。また、開始時刻又は終了時刻には、「リアルタイム」を指定することもできる。この場合、データ取得部１０１が取得している現在時刻のセンサデータに対応する出力データが、データ利用部１０６を介してリアルタイムにストリームにて読み出される。

【0046】

図９は、セグメンテーション部１０２によるセグメンテーション処理に係る設定を行うための設定インタフェースの一例を示す図である。図９に示す設定インタフェース９０は、選択欄９１～９３と、設定ボタン９４及び９５とを有する。

【0047】

選択欄９１は、セグメンテーション処理に使用するセグメンテーションモデルの格納場所を指定する欄である。選択欄９２は、セグメンテーション処理に使用する管理テーブルの格納場所を指定する欄である。選択欄９３は、セグメンテーション処理にて色カメラデータからセグメンテーションデータに変換する変換内容と取得の要否を指定する欄である。具体的には、選択欄９３では、データを取得する対象とする物体の意味と、その画素の画素値を識別情報に変換するか色情報のままにするかが指定される。例えば、意味「机」に対して取得が不要と設定されると、セグメンテーションの結果で「机」と判断されたデータ部分は削除され、格納されない。この機能により、不要なデータの取得を抑止し、記憶容量を節約することができる。

【0048】

設定ボタン９４は、セグメンテーションモデル及び管理テーブルを設定するためのボタンであり、押下されることで、選択欄９１及び９２にて指定された格納場所に格納されたセグメンテーションモデル及び管理テーブルが設定される。設定ボタン９５は、変換内容を設定するためのボタンであり、押下されることで、変換内容が設定される。

【0049】

設定インタフェースを用いることにより、「人」のような特定の意味を有する物体に対して色情報を削除して意味ＩＤ及びインスタンスＩＤに置き換えることが可能となるため、プライバシを保護することが可能となる。

【0050】

図１０は、センサデータを圧縮して格納するまでの処理である書き込み処理の一例を説明するためのフローチャートである。

【0051】

書き込み処理では、先ず、データ取得部１０１は、センサ２から、センサデータを取得する（ステップＳ１０１）。ここでは、センサデータは、点群データ及び色カメラデータを含む。

【0052】

セグメンテーション部１０２は、設定インタフェースにて設定されたセグメンテーションモデル及び管理テーブルを用いて、データ取得部１０１にて取得されたセンサデータ内の色カメラデータを解析して、色カメラデータに写る物体とその意味を特定する。そして、セグメンテーション部１０２は、特定した物体を識別する識別情報であるインスタンスＩＤと、物体の意味を識別する識別情報である意味ＩＤを取得する（ステップＳ１０２）。

【0053】

セグメンテーション部１０２は、設定インタフェース９０にて設定された変換内容に従って、色カメラデータをセグメンテーションデータに変換する（ステップＳ１０３）。これにより、設定インタフェース９０にて設定された意味を有する物体が写る画素だけが識別情報又は色情報としてセグメンテーションデータに残すフィルタリングが行われることとなる。

【0054】

統合部１０３は、センサ情報に基づいて、互いに対応する点群データ及びセグメンテーションデータを統合した統合データを生成する（ステップＳ１０４）。ここでは、センサデータとして、点群データ及び色カメラデータを取得している場合、統合部１０３は、セグメンテーションデータの画素の空間位置に対応した点群データの座標点に対して、識別情報を付与した統合データを生成する。また、データ取得部１０１が点群データを取得しない場合においても、統合データを生成する方法がある。具体的には、統合部１０３は、色カメラデータからセグメンテーションデータを得るとともに、深度マップ（画素に対応する物体のセンサからの距離）を深度推定法のような一般的な方法により算出し、その算出した深度マップから空間上の座標点を計算する。これにより、統合部１０３は、点群データと同様の情報を得ることができ、それを用いて同様に座標点の情報を持つ統合データを生成することができる。

【0055】

データストア部１０４は、統合部１０３にて生成された統合データを複数のチャンクデータに分割して、各チャンクデータに関するチャンク情報を生成する（ステップＳ１０５）。

【0056】

データストア部１０４は、各チャンクデータを正規化する（ステップＳ１０６）。ここでは、データストア部１０４は、Ｍｉｎ－Ｍａｘ法を用いて各チャンクデータを正規化する。

【0057】

データストア部１０４は、このタイミングでチャンクデータを圧縮する同期圧縮を行うか否かを判断する（ステップＳ１０７）。なお、同期圧縮を行うか否かは、例えば、予め設定されている。

【0058】

同期圧縮を行う場合（ステップＳ１０７：Ｙｅｓ）、データストア部１０４は、各チャンクデータの量子化を行う（ステップＳ１０８）。ここで、量子化とは、例えば、浮動小数点の座標で表現される点群データについて、量子化幅と呼ぶ値を除算した上で、ｒｏｕｎｄ関数などの演算により整数値化することである。正規化の際に、量子化幅を用いて、量子化の粒度を調整することができる。例えば、点群の場合、量子化後に、重複した同一座標点が現れる場合があるため、それを削除することにより、データ量を効率的に削減できる。ここで、重複した同一座標点の削除は、例えば、機械学習の処理系における重複の要素を排除するｕｎｉｑｕｅ関数などを用いることにより、サブプロセッシングユニット１６上で、高速に実行することができる。また、量子化の粒度を荒くすると、精度が低くなりデータ量が減り、粒度を細かくすると、精度が高くなりデータ量が増える。つまり、量子化の粒度（量子化幅）を調整することによって、データ量と座標の精度のバランスを調整することができる。さらにここで述べた量子化と同一座標点の削除は、同一の対象物を複数視点で撮影したセンサデータを同時に処理することで、より多くの重複の要素を効率的に排除できるため、全体のデータ量を効率的に削減できる。その後、データストア部１０４は、量子化した各チャンクデータを圧縮した圧縮データを対象データとして生成する（ステップＳ１０９）。一方、同期圧縮を行わない場合（ステップＳ１０７：Ｎｏ）、データストア部１０４は、ステップＳ１０８及びＳ１０９の処理をスキップして、チャンクデータを対象データとする。

【0059】

そして、データストア部１０４は、このタイミングで各対象データを他のノードに転送する同期転送を行うか否かを判断する（ステップＳ１１０）。なお、同期転送を行うか否かは、例えば、予め設定されている。

【0060】

同期転送を行う場合（ステップＳ１１０：Ｙｅｓ）、データストア部１０４は、対象データを他のノード１に転送する（ステップＳ１１１）。そして、他のノード１のデータストア部１０４は、対象データを受信すると、その対象データを格納し（ステップＳ１１２）、書き込み処理を終了する。また、同期圧縮を行わない場合（ステップＳ１１０：Ｎｏ）、データストア部１０４は、ステップＳ１１１の処理をスキップし、当該ノード１である自ノードに対象データを格納し（ステップＳ１１２）、書き込み処理を終了する。

【0061】

以上説明した書き込み処理の各処理（ステップＳ１０１～Ｓ１１２）の処理は、別々のノード１で実行されてもよい。この場合、各処理の間にデータを他のノード１に転送する転送処理が行われる。また、同期圧縮が行われなかった各チャックデータについても、任意のタイミングで圧縮することができ、同期転送が行われなかった対象データについても、任意のタイミングで他のノード１に転送することができる。

【0062】

図１１は、圧縮データを伸張して出力するまでの処理である読み込み処理の一例を説明するためのフローチャートである。

【0063】

読み込み処理では、データストア部１０４は、伸張対象となるチャンクデータを対象チャンクデータとして特定する（ステップＳ２０１）。例えば、データ利用部１０６は、データ利用インタフェースを提供して伸張対象となるチャンクデータをユーザに指定させ、データストア部１０４は、ユーザから指定されたチャンクデータを対象チャンクデータとして特定する。

【0064】

データストア部１０４は、対象チャンクデータが自ノードに格納されているか否かを判断する（ステップＳ２０２）。

【0065】

対象チャンクデータが自ノードに格納されている場合（ステップＳ２０２：Ｙｅｓ）、データストア部１０４は、対象チャンクデータを読み込む（ステップＳ２０３）。一方、対象チャンクデータが自ノードに格納されていない場合（ステップＳ２０２：Ｎｏ）、データストア部１０４は、対象チャンクデータを格納している他のノード１から対象チャンクデータを読み込む（ステップＳ２０４）。

【0066】

そして、データストア部１０４は、読み込んだ対象チャンクデータが圧縮されているか否かを判断する（ステップＳ２０５）。

【0067】

対象チャンクデータが圧縮されている場合（ステップＳ２０５：Ｙｅｓ）、データストア部１０４は、対象チャンクデータの伸張する（ステップＳ２０６）。データストア部１０４は、伸張した対象チャンクデータの逆量子化を行い（ステップＳ２０７）、さらに再正規化を行う（ステップＳ２０８）。ここでの逆量子化とは、対象チャンクデータに対して圧縮時の量子化幅を乗算し元の値のスケールに戻すことである。対象チャンクデータが圧縮されていない場合（ステップＳ２０５：Ｎｏ）、データストア部１０４は、ステップＳ２０６～Ｓ２０８の処理をスキップする。

【0068】

そして、データストア部１０４は、対象チャンクデータを結合して伸張データを生成する（ステップＳ２０９）。なお、チャンクデータに対する圧縮が可逆圧縮の場合、伸張データは統合データとなる。

【0069】

データ変換部１０５は、データストア部１０４にて生成された伸張データを所定の形式のデータに変換して出力し（ステップＳ２１０）、読み出し処理を終了する。

【0070】

以上説明した読み出し処理の各処理（ステップＳ２０１～Ｓ２１０）の処理は、別々のノード１で実行されてもよい。この場合、各処理の間にデータを他のノード１に転送する転送処理が行われる。

【0071】

図１２は、データストア部１０４のより詳細な構成を示す図である。データストア部１０４は、圧縮処理用の構成として、正規化／量子化器２０１と、ボクセル（Voxel）化器２０２と、エントロピー推定器２０３と、エントロピー符号化器２０４とを有し、伸張処理用の構成として、エントロピー復号器２１１と、エントロピー推定器２１２と、ＰＣ（Point Cloud）化器２１３と、逆量子化／再正規化器２１４とを有する。エントロピー推定器２０３及び２１２は、同一の構成としてもよい。

【0072】

圧縮処理では、先ず、正規化／量子化器２０１は、チャンクデータ内の座標情報に対して正規化及び量子化を行う。正規化及び量子化は、３次元空間を規定する座標軸（ｘ軸、ｙ軸及びｚ軸）のそれぞれについて行われる。

【0073】

続いて、ボクセル化器２０２は、座標情報が正規化及び量子化されたチャンクデータである量子化チャンクデータをボクセル化したボクセル情報を生成する。具体的には、ボクセル化器２０２は、チャンクデータを、所定の体積を有する３次元領域である複数のボクセルに分割し、各ボクセルの値を、ボクセルに含まれる各座標に対応する識別情報（意味ＩＤ及びインスタンスＩＤ）に基づいて設定する。各ボクセルの値は、具体的には、ボクセルに含まれる各座標に対応する意味ＩＤ及びインスタンスＩＤのうち、最も数の多い意味ＩＤ及びインスタンスＩＤとする。これにより、チャンクデータは、意味ＩＤ（Ｓ）を値として有するボクセルＣｈ１と、インスタンスＩＤ（Ｉ）を値として有するボクセルＣｈ２との集合であるボクセル情報に変換される。

【0074】

なお、意味ＩＤ及びインスタンスＩＤの代わりに色情報が各座標情報に対応付けられている場合、ボクセル情報は、赤色（Ｒ）を示す値を有するボクセルＣｈ３と、緑色（Ｇ）を示す値を有するボクセルＣｈ４と、青色（Ｂ）を示す値を有するボクセルＣｈ５との集合となる。また、各ボクセルは、八分木（Octree）構造で表されてもよい。

【0075】

エントロピー推定器２０３は、ボクセル情報のエントロピーを推定する。ここでは、エントロピー推定器２０３は、エントロピーとして、ボクセル情報の値となり得る各シンボルの出現確率を表す確率分布（以下、単に確率分布と呼ぶこともある）を推定する。エントロピー推定器２０３は、例えば、多層３次元畳込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）のようなＤＮＮ（Deep Neural Network）を用いた学習済みモデルにて構築される。エントロピー推定器２０３は、解像度の低いボクセル情報を入力とし、解像度の高いボクセル情報の確率分布を推定してもよい。この場合、予測精度の向上及び多様な解像度の復号(一般にプログレッシブなどと呼ばれる)への対応のため、段階的に、複数の解像度のボクセル情報を、エントロピー推定器２０３の入力として、確率分布を推定してもよい。また、推定精度の向上のために、時系列のデータを扱う際に、類似性の高い過去のボクセル情報又は、統計的な処理(例えば、所定の期間の中央値、平均値又は分散などを求める処理)を施したボクセル情報を入力としてもよい。また、推定精度の向上のために、多層３次元ＣＮＮを自己回帰モデルとして用いて、推定対象の近傍などの既知のボクセル情報のシンボル値をエントロピー推定器２０３の入力とすることで、推定対象のシンボルの確率分布が推定されてもよい。また、以上で述べた複数の方法に対応するエントロピー推定器２０３への複数の入力データについて、データの解像度を一致させたうえで結合し、多層３次元ＣＮＮのチャネルに入力するなどにより、組み合わせることで効率化してもよい。

【0076】

そして、エントロピー符号化器２０４は、エントロピー推定器２０３にて推定された確率分布に基づいて、ボクセル情報を符号化して圧縮済みバイナリデータを生成する。

【0077】

また、伸張処理では、エントロピー復号器２１１は、圧縮済みバイナリデータを復号してボクセル情報を生成する。具体的には、エントロピー復号器２１１は、エントロピー推定器２１２を用いて、ボクセルの値（シンボル）の確率分布を予測し、エントロピー復号器２１１は、圧縮済みバイナリデータと予測した確率分布を用いて、シンボルを復号し、最終的にボクセル情報として復号する。エントロピー推定器２１２としては、符号化時と同一の確率分布の推定結果を得るため、エントロピー推定器２０３と同じものが用いられる。また、エントロピー推定器２１２への入力は、に符号化時のエントロピー推定器２０３への入力と同じ内容である。また、圧縮時に異なる解像度での段階的な確率分布の推定、又は、自己回帰モデルによる確率分布の推定を実施した場合、エントロピー推定器２１２による確率分布の推定とエントロピー復号器２１１によるボクセル情報の復号を、複数回繰り返すことにより、最終的なボクセル情報が復号される。

【0078】

ＰＣ化器２１３は、エントロピー復号器２１１にて生成されたボクセル情報を座標情報と識別情報とを有する量子化チャンクデータに変換する。逆量子化／再正規化器２１４は、ＰＣ化器２１３にて変換された量子化チャンクデータの座標情報に対して逆量子化及び再正規化を行い、伸張データとなるチャンクデータを生成する。

【0079】

以上説明したように本実施例によれば、データ取得部１０１は、色カメラデータを取得する。生成部（セグメンテーション部１０２及び統合部１０３）は、色カメラデータに写る各物体及び各物体の意味を判定し、その判定結果に基づいて、色カメラデータの画素値を各物体及び各物体の意味を表す識別情報に変換した圧縮対象データを生成する。データストア部１０４は、圧縮対象データを圧縮した圧縮データを生成する。したがって、情報量を削減しつつ、ランダム性の高い画素値をランダム性の低い識別情報に変換して圧縮することが可能となるため、圧縮率をより高くすることが可能となる。

【0080】

また、本実施例では、データ取得部１０１は、物体の表面の各位置を示す複数の座標情報を有する点群データをさらに取得し、生成部は、表面の位置ごとに座標情報と当該位置にある物体を表す識別情報とを有する統合データを圧縮対象データとして生成する。このため、圧縮率をより高くすることが可能となる。さらに言えば、データ取得部１０１は、取得するデータとして、縦と横の2個の次元を持つ画像以外にも、縦と横と奥行きを持つような3次元のボクセルデータなどを取得してもよい。その場合は、セグメンテーション変換は3次元のボクセルデータに対して実行され、以降の処理も３次元のボクセルデータとして処理すればよい。

【0081】

また、本実施例では、データストア部１０４は、圧縮対象データを、その圧縮対象データに含まれる座標情報を正規化及び量子化したデータに変換して圧縮する。したがって圧縮率をより高くしつつ、識別情報をそのまま圧縮することが可能となるため、識別情報の値が量子化によってずれることを抑制することが可能となる。

【実施例0082】

図１３は、本開示の実施例２に係る情報圧縮システムに係るデータストア部１０４の構成例を示す図である。図１３に示すデータストア部１０４は、圧縮処理用の構成として、図１２に示した構成に加えて、ＩＤ変換圧縮器３０１と、ボクセル符号化器３０２とをさらに有し、伸張用の構成として、図１２に示した構成に加えて、ＩＤ変換伸張器３１１をさらに有し、また、ＰＣ化器２１３の代わりに、ボクセル復号／ＰＣ化器２１３ａをさらに有する。

【0083】

圧縮処理では、ＩＤ変換圧縮器３０１は、識別情報の値を、識別情報が示す物体及び意味の類似性に基づいて入れ替える。ＩＤ変換圧縮器３０１は、例えば、ＤＮＮなどを用いた学習済みモデルにて構築される。

【0084】

図１４は、ＩＤ変換圧縮器３０１による変換処理を説明するための図である。図１４（ａ）に示すように、通常、意味ＩＤにて識別される「意味」は、意味ＩＤの値とは独立して設定されるため、意味ＩＤの値の間の距離と「意味」の類似性（意味的な距離）とは独立している。このため、意味ＩＤをそのまま圧縮すると、圧縮による意味ＩＤの値のずれにより、圧縮前と伸張後の「意味」が大きく変化してしまう恐れがある。

【0085】

このため、ＩＤ変換圧縮器３０１は、図１４（ｂ）に示すように意味ＩＤの値を意味に応じて変換する。例えば、ＩＤ変換圧縮器３０１は、「車」と「道路」のような意味的な距離が近接する意味ＩＤの値が近くなるように変換する。

【0086】

なお、図１４では、変換前の意味ＩＤの値を整数値としている。変換後の意味ＩＤの値は、整数値に限らない。また、変換後の意味ＩＤの値は、幅を有してもよい。例えば、意味ＩＤの値が０．５～１．１までの場合、その意味ＩＤが意味として「車」を表してもよい。また、なお、図１４では、意味ＩＤを例に説明したが、変換圧縮器３０１は、インスタンスＩＤについても意味ＩＤと同様に変換してもよい。

【0087】

図１３の説明に戻る。ボクセル符号化器３０２は、ボクセル化器２０２にて生成されたボクセル情報を量子化し、その量子化したボクセル情報を非可逆変換により符号化することで特徴量マップに変換する。ボクセル符号化器３０２は、ＣＮＮのようなＤＮＮを用いた学習済みモデルにて構築される。また、量子化後のボクセル値は、その量子化範囲に含まれる識別情報のうち最も多い識別情報の値が選ばれる。

【0088】

エントロピー推定器２０３は、ボクセル符号化器３０２にて生成された特徴量マップのエントロピーとして確率分布を推定し、エントロピー符号化器２０４は、その確率分布に基づいて特徴量マップを符号化して圧縮済みバイナリデータを生成する。

【0089】

伸張処理では、エントロピー復号器２１１は、圧縮済みバイナリデータを復号して特徴量マップを生成する。ボクセル復号／ＰＣ化器２１３ａは、エントロピー復号器２１１にて生成された特徴量マップを復号してボクセル情報を生成し、そのボクセル情報を座標情報と識別情報とを有する量子化チャンクデータに変換する。

【0090】

逆量子化／再正規化器２１４は、量子化チャンクデータの座標情報に対して逆量子化及び再正規化を行い、ＩＤ変換伸張器３１１は、量子化チャンクデータのＩＤ情報に対してＩＤ変換圧縮器３０１による変換の逆変換を行うことで、伸張データとなるチャンクデータを生成する。

【0091】

以上説明したように本実施例によれば、識別情報の値が意味の類似性に基づいて入れ替えてから識別情報が圧縮されるため、識別情報の非可逆圧縮が行われても、意味のずれが発生することを抑制することが可能となる。したがって、圧縮率をより向上させることが可能となる。