特開 2024-120502 データ格納システム及びデータ格納方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120502

(43)【公開日】2024-09-05

(54)【発明の名称】データ格納システム及びデータ格納方法

(51)【国際特許分類】

   G06F 11/10 20060101AFI20240829BHJP

   G06F 12/04 20060101ALI20240829BHJP

   G06N 3/063 20230101ALI20240829BHJP

   G06F 12/06 20060101ALI20240829BHJP

【ＦＩ】

G06F11/10 604

G06F12/04 530

G06N3/063

G06F11/10 648

G06F12/06 515L

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023027331

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(74)【代理人】

【識別番号】100169199

【弁理士】

【氏名又は名称】石本 貴幸

(72)【発明者】

【氏名】広津 鉄平

【テーマコード（参考）】

5B160

【Ｆターム（参考）】

5B160DA08

(57)【要約】      （修正有）

【課題】ニューラルネットワークに用いるパラメータを圧縮した圧縮データの信頼性を高めることができる、データ格納システム及びデータ格納方法を提供する。
【解決手段】演算システム１０において、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）１４は、ニューラルネットワークによって処理されるパラメータを記憶する外部メモリ１２と、外部メモリ１２から転送されたパラメータを一時的に記憶してＰＥアレイ１６へ転送する内部メモリ２２と、を備える。外部メモリ１２は、前記パラメータを圧縮した圧縮データ、及び圧縮データを展開するためのデコードテーブルを記憶する。内部メモリ２２は、誤り訂正符号が付加されたデコードテーブル、及び誤り検出符号が付加された圧縮データを記憶する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークによって処理されるパラメータを記憶する外部メモリ（１２）と、
前記外部メモリから転送された前記パラメータを一時的に記憶してプロセッサへ転送する内部メモリ（２２）と、を備え、
前記外部メモリは、前記パラメータを圧縮した圧縮データ、及び前記圧縮データを展開するためのデコードテーブルを記憶し、
前記内部メモリは、誤り訂正符号が付加された前記デコードテーブル、及び誤り検出符号が付加された前記圧縮データを記憶する、
データ格納システム（１０）。

【請求項2】

前記内部メモリから読み出した前記圧縮データに誤りを検出した場合に、前記パラメータの替わりにゼロ値を前記プロセッサへ転送する、請求項１に記載のデータ格納システム。

【請求項3】

前記デコードテーブルに前記誤り訂正符号を付加し、前記圧縮データに前記誤り検出符号を付加して前記内部メモリに記憶させる内部メモリコントローラ（２０）を備え、
前記内部メモリコントローラは、前記誤り訂正符号によって誤り訂正された前記デコードテーブルを用いて前記圧縮データを展開して得られた前記パラメータを前記プロセッサへ転送する、請求項１又は請求項２に記載のデータ格納システム。

【請求項4】

前記内部メモリコントローラは、前記圧縮データに誤りを検出した場合に、前記パラメータの替わりにゼロ値を前記プロセッサへ転送する、請求項３に記載のデータ格納システム。

【請求項5】

ニューラルネットワークによって処理されるパラメータを圧縮した圧縮データ、及び前記圧縮データを展開するためのデコードテーブルを外部メモリが記憶し、
前記外部メモリから転送されて、誤り訂正符号が付加された前記デコードテーブル及び誤り検出符号が付加された前記圧縮データを一時的に内部メモリに記憶し、
前記デコードテーブルを用いて展開した前記圧縮データを前記内部メモリからプロセッサへ転送する、
データ格納方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ格納システム及びデータ格納方法に関する。

【背景技術】

【0002】

近年、ニューラルネットワークの大規模化が促進しており、ニューラルネットワークによるデータ処理量が増加している。このため、ニューラルネットワークで用いるパラメータであるウェイトデータのうち０に近いデータを０に丸める、所謂、枝切り処理によってニューラルネットワークで処理するデータの軽量化が行われる場合がある。

【0003】

非特許文献１には、枝切り処理を行ったウェイトデータの圧縮及び展開方法が記載されている。枝切り処理が行われたウェイトデータは、一般的にスパース行列となるため、非特許文献１では、スパース行列の行又は列毎に圧縮する方法が記載されている。

【0004】

特許文献１に記載の圧縮方法では、スパース行列を構成する行に含まれる非ゼロ要素のベクトルvjとベクトルvjの各要素の前に存在するゼロの個数を示すベクトルzjとのペアである（v,z）jで圧縮データを表す。そして、この圧縮方法では、（v,z）jの先頭を示すアドレスポインタのベクトルpjによって圧縮データのアドレスを計算する。

【先行技術文献】

【特許文献】

【0005】

【非特許文献1】Song Han, Xingyu Liu, Huizi Mao, Jing Pu, Ardavan Pedram, Mark A. Horowitz, William J. Dally, "EIE: Efficient Inference Engine on Compressed Deep Neural Network", ACM SIGARCH Computer Architecture News, Volume 44, Issue 3,June 2016, pp 243-254

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、非特許文献１の圧縮方法では、圧縮データを格納するメモリにエラーが発生した場合、特に圧縮データの展開に必要なベクトルzj，pjにエラーが発生した場合、圧縮データの展開ができなくなり、圧縮データの信頼性が低下することとなる。このため、この圧縮方法は、自動車等の高い信頼性を要する用途にそのままで用いることは難しい。

【0007】

そこで、エラーを訂正するためにウェイトデータを記憶するメモリで誤り訂正符号（Error-Correcting Code：ＥＣＣ）を付加することが考えられる。しかしながら、ＥＣＣを付加すると、メモリの容量を大きくしなければならず、それに伴う性能低下が生じる可能性がある。

【0008】

本発明は上記背景に鑑み、ニューラルネットワークに用いるパラメータを圧縮した圧縮データの信頼性を高めることができる、データ格納システム及びデータ格納方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

【0010】

本発明の一態様のデータ格納システム（１０）は、ニューラルネットワークによって処理されるパラメータを記憶する外部メモリ（１２）と、前記外部メモリから転送された前記パラメータを一時的に記憶してプロセッサへ転送する内部メモリ（２２）と、を備え、前記外部メモリは、前記パラメータを圧縮した圧縮データ、及び前記圧縮データを展開するためのデコードテーブルを記憶し、前記内部メモリは、誤り訂正符号が付加された前記デコードテーブル、及び誤り検出符号が付加された前記圧縮データを記憶する。

【0011】

本構成によれば、デコードテーブルにエラーが生じても、誤り訂正符号によってデコードテーブルのエラーを訂正し、圧縮データの展開が可能となる。また、誤り検出符号によって、圧縮データのエラーの有無を検知できる。従って、本構成のデータ格納システムは、ニューラルネットワークに用いるパラメータを圧縮した圧縮データの信頼性を高めることができる。

【0012】

上記のデータ格納システムにおいて、前記内部メモリから読み出した前記圧縮データに誤りを検出した場合に、前記パラメータの替わりにゼロ値を前記プロセッサへ転送してもよい。本構成によれば、エラーが生じたウェイトデータをニューラルネットワークに使用することを防止できる。

【0013】

上記のデータ格納システムにおいて、前記デコードテーブルに前記誤り訂正符号を付加し、前記圧縮データに前記誤り検出符号を付加して前記内部メモリに記憶させる内部メモリコントローラ（２０）を備え、前記内部メモリコントローラは、前記誤り訂正符号によって誤り訂正された前記デコードテーブルを用いて前記圧縮データを展開して得られた前記パラメータを前記プロセッサへ転送してもよい。

【0014】

上記のデータ格納システムにおいて、前記内部メモリコントローラは、前記圧縮データに誤りを検出した場合に、前記パラメータの替わりにゼロ値を前記プロセッサへ転送してもよい。

【0015】

本発明の二態様のデータ格納方法は、ニューラルネットワークによって処理されるパラメータを圧縮した圧縮データ、及び前記圧縮データを展開するためのデコードテーブルを外部メモリが記憶し、前記外部メモリから転送されて、誤り訂正符号が付加された前記デコードテーブル及び誤り検出符号が付加された前記圧縮データを一時的に内部メモリに記憶し、前記デコードテーブルを用いて展開した前記圧縮データを前記内部メモリからプロセッサへ転送してもよい。

【発明の効果】

【0016】

本発明によれば、ニューラルネットワークに用いるパラメータを圧縮した圧縮データの信頼性を高めることができる。

【図面の簡単な説明】

【0017】

【図1】本実施形態の演算システムの概略構成図である。

【図2】本実施形態の内部メモリアドレスマップを示す模式図である。

【図3】本実施形態のＤＭＡコマンドを示す模式図である。

【図4】本実施形態の内部メモリコントローラ及び内部メモリの概略構成図である。

【図5】ニューラルネットワークを構成する複数のレイヤを示す模式図である。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施形態に応じた具体的構成が適宜採用されてよい。

【0019】

図１は、本実施形態のデータ格納システムを含む演算システム１０の概略構成図である。演算システム１０は、外部メモリ１２及び演算装置であるＳｏＣ（System on a Chip）１４を備える。本実施形態の演算システム１０は、一例として、車両に搭載されて用いられるが、演算システム１０が用いられる対象は車両に限られない。

【0020】

本実施形態のＳｏＣ１４は、演算機である複数のＰＥ（Processing Element）で構成されるＰＥアレイ１６によって、ニューラルネットワークに基づく演算を行う。なお、ＰＥアレイ１６は、プロセッサの一実施形態である。

【0021】

このため、外部メモリ１２には、ニューラルネットワークによる演算に用いるパラメータの一例としてウェイトデータ（重み係数）が記憶されている。本実施形態の外部メモリ１２は、ウェイトデータを圧縮した圧縮データ、及び圧縮データを展開するためのデコードテーブルを記憶している。すなわち、外部メモリ１２は、ウェイトデータを圧縮データ及びデコードテーブルの２つに分割して記憶する。

【0022】

ウェイトデータの圧縮方法は、一例として、非特許文献１（Song Han, Xingyu Liu, Huizi Mao, Jing Pu, Ardavan Pedram, Mark A. Horowitz, William J. Dally, "EIE: Efficient Inference Engine on Compressed Deep Neural Network", ACM SIGARCH Computer Architecture News, Volume 44, Issue 3,June 2016, pp 243-254）に記載されている方法であるが、これに限らず、他の圧縮方法が用いられてもよい。

【0023】

ＳｏＣ１４は、ＰＥアレイ１６の他に、外部メモリコントローラ１８、内部メモリコントローラ２０、内部メモリ２２、及びＤＭＡＣ（DMA Controller）２４を備える。ＰＥアレイ１６、外部メモリコントローラ１８、内部メモリコントローラ２０、及びＤＭＡＣ２４は、バス２６に接続されており、各々バス２６を介してデータの入出力が可能とされている。

【0024】

外部メモリコントローラ１８は、外部メモリ１２から圧縮データ及びデコードテーブルを読み出す。

【0025】

内部メモリコントローラ２０は、デコードテーブルに誤り訂正符号（以下「ＥＣＣ」という。）を付加し、圧縮データに誤り検出符号（以下「パリティ」という。）を付加して内部メモリ２２に記憶させる。そして、内部メモリコントローラ２０は、ＥＣＣによって誤り訂正されたデコードテーブルを用いて圧縮データを展開して得られたウェイトデータをＰＥアレイ１６へ転送する。

【0026】

本実施形態の内部メモリ２２は、ＥＣＣが付加されデコードテーブルを領域１に記憶する。また、本実施形態の内部メモリ２２は、パリティが付加された圧縮データを領域２に記憶する。

【0027】

これにより、仮に、デコードテーブルにエラーが生じても、ＥＣＣによってデコードテーブルのエラーが訂正され、圧縮データの展開が可能となる。また、パリティによって、圧縮データのエラーの有無を検知できる。従って、本実施形態の演算システム１０は、ニューラルネットワークに用いるウェイトデータを圧縮した圧縮データの信頼性を高めることができる。

【0028】

また、本実施形態の演算システム１０は、圧縮データにエラーが検出された場合、ウェイトデータの替わりにゼロ値をＰＥアレイ１６へ転送するゼロマスク処理を行う。なお、ゼロマスク処理は、内部メモリコントローラ２０によって行われる。

【0029】

図２は、本実施形態の内部メモリアドレスマップの例を示す模式図である。

【0030】

内部メモリコントローラ２０は、書き込みデータのアドレスが0xa0000000～0xa000ffffの場合、デコードテーブルにＥＣＣを付加して内部メモリ２２の領域１に記憶させる。そして、内部メモリコントローラ２０は、読み出しデータのアドレスが0xa0000000～0xa000ffffの場合であって、デコードテーブルにエラーが発生した場合、ＥＣＣよりエラーを訂正する。

【0031】

また、内部メモリコントローラ２０は、書き込みデータのアドレスが0xa0010000～0xa007ffffの場合、圧縮データにパリティを付加して内部メモリ２２の領域２に記憶させる。そして、内部メモリコントローラ２０は、読み出しデータのアドレスが0xa0010000～0xa007ffffの場合であって、圧縮データにエラーが発生した場合、パリティによりエラーを検出し、読み出し値として０をＰＥアレイ１６へ転送するゼロマスク処理を行う。

【0032】

なお、図２に示されるように、一例として、デコードテーブルと圧縮データとの容量比が１：７であるように、デコードテーブルは圧縮データに比べてデータ容量は小さい。このため、デコードテーブルにＥＣＣを付加しても内部メモリ２２の使用量は小さい。一方、圧縮データは、デコードテーブルに比べてデータ容量が大きいため、パリティを付加することで、内部メモリ２２の使用量を削減できる。

【0033】

これにより仮に、デコードテーブルにエラーが生じても、ＥＣＣによってデコードテーブルのエラーを訂正し、圧縮データの展開が可能となる。また、パリティによって、圧縮データのエラーの有無を検知できる。従って、本実施形態の演算システム１０は、ニューラルネットワークに用いるウェイトデータを圧縮した圧縮データの信頼性を高めることができる。

【0034】

また、本実施形態の内部メモリコントローラ２０は、圧縮データにエラーが検出された場合、ウェイトデータの替わりにゼロ値をＰＥアレイ１６へ転送するゼロマスク処理を行うので、エラーが生じたウェイトデータをニューラルネットワークに使用することを防止できる。

【0035】

ＤＭＡＣ２４は、ＳｏＣ１４内におけるＤＭＡ転送の制御を行なう。図３は、ＤＭＡコマンドの例を示す模式図である。

【0036】

図３に示されるTransfer mode（ＴＭＯＤＥ）は、転送モードを指定するものであり、“０”の場合は通常モードであり、“１”の場合は展開モードである。通常モードは、外部メモリ１２から内部メモリ２２へデータ転送を行うモードである。展開モードは、内部メモリ２２からＰＥアレイ１６へ圧縮データを展開してデータ転送を行うモードである。

【0037】

すなわち、通常モードは、Source address1（ＳＡ１）で指定した外部メモリ１２のアドレスからData size1（ＤＳ１）で指定したデータ量をDestination address1（ＤＡ１）で指定した内部メモリ２２のアドレスへ転送する。

【0038】

通常モードによる外部メモリ１２から内部メモリ２２へのデコードテーブルの転送コマンドは、例えば、ＳＡ１が0xc0000000とされ、ＤＡ１が0xa0000000とされ、ＤＳ１が0x00004000とされる。また、通常モードによる外部メモリ１２から内部メモリ２２への圧縮データの転送コマンドは、例えば、ＳＡ１が0xc0004000とされ、ＤＡ１が0xa0010000とされ、ＤＳ１が0x00040000とされる。

【0039】

展開モードは、Source address1（ＳＡ１）からData size1（ＤＡ１）のデータ量からなるデコードテーブルを解読し、Source address2（ＳＡ２）を先頭アドレスとする圧縮データを展開してDestination address2（ＤＡ２）へ転送する。展開モードによる内部メモリ２２からＰＥアレイ１６への転送コマンドは、例えば、ＳＡ１が0xa00000000とされ、ＤＳ１が0x00004000とされ、ＳＡ２が0xa0010000とされ、ＤＡ２が0x90000000とされる。なお、内部メモリ２２からＰＥアレイ１６へは、展開済みのウェイトデータ、又はゼロマスク処理されたウェイトデータが転送される。

【0040】

図４は、本実施形態の内部メモリコントローラ２０及び内部メモリ２２の概略構成図である。

【0041】

内部メモリコントローラ２０は、バッファ３０、アドレスデコーダ３２、ＥＣＣ生成部３４、パリティ生成部３６、エラー訂正部３８、ゼロマスク処理部４０、及びセレクタ４２を備える。

【0042】

バッファ３０は、外部メモリ１２から転送されたデコードテーブルや圧縮データを一時的に記憶する。

【0043】

アドレスデコーダ３２は、ＤＭＡコマンドで指定されたアドレスにデコードテーブルや圧縮データを記憶するように、内部メモリ２２に信号を出力する。また、アドレスデコーダ３２は、ＤＭＡコマンドで指定されたアドレスのデコードテーブルや圧縮データを内部メモリ２２から読み出す。

【0044】

ＥＣＣ生成部３４は、デコードテーブルに付加するＥＣＣを生成する。ＥＣＣが付加されたデコードテーブルは、ＤＭＡコマンドで指定されたアドレスで内部メモリ２２に記憶される。

【0045】

パリティ生成部３６は、圧縮データに付加するパリティを生成する。パリティが付加された圧縮データは、ＤＭＡコマンドで指定されたアドレスで内部メモリ２２に記憶される。

【0046】

エラー訂正部３８は、内部メモリ２２の領域１から読み出したＥＣＣ付きデコードテーブルからエラーが検出された場合に、デコードテーブルのエラーを訂正してセレクタ４２へ出力する。なお、デコードテーブルにエラーが検出されなかった場合には、エラー訂正部３８はエラーの訂正を行うことなく、デコードテーブルをセレクタへ出力する。

【0047】

ゼロマスク処理部４０は、内部メモリ２２の領域２から読み出した圧縮データからエラーが検出された場合、圧縮データを０とするゼロマスク処理を行う。なお、圧縮データにエラーが検出されなかった場合、ゼロマスク処理部４０は、圧縮データにゼロ値をマスクすることなく、圧縮データをセレクタ４２へ出力する。

【0048】

セレクタ４２は、デコードテーブルを用いて圧縮データを展開して得られたウェイトデータをＤＭＡコマンドで指定されたアドレスが示すＰＥへ転送する。なお、ゼロマスク処理が行われた場合には、ゼロ値とされたウェイトデータをＤＭＡコマンドで指定されたアドレスが示すＰＥへ転送する。

【0049】

ここで、圧縮データにエラーが検出された場合、ニューラルネットワークでウェイトデータをゼロ値としても演算が可能であることを、図５を参照して説明する。図５は、ニューラルネットワークを構成する複数のレイヤを示す模式図である。図５に示すＷijはパラメータ（本実施形態ではウエイトデータ）であり、Ｘｉはニューラルネットワークへの入力値である。

【0050】

ニューラルネットワークは、一般的に、数十から数百の積和演算からなるレイヤを複数段結合して演算を行い、その最終結果として出力Ｙを求める。大規模なニューラルネットワークは、積和演算の総回数は１０００回以上となる場合もあり、その内の1回の積和演算でエラーが発生してＷij×Ｘｉ＝０になったとしても誤差は０．１％程度となる。この誤差は、積和演算の総回数が多くなるほど小さくなる。

【0051】

さらにＷijの分布は０を中心とした正規分布になる場合が多く、Ｗijを０にマスクしても、結果としてＷijに近似した値となる可能性が高いため、誤差はさらに小さくなると予想される。一方で、Ｗijにエラーが生じて、０にも近似しない全く異なる値をＷijとしてそのまま用いる方が、Ｗijを０にマスクするよりも誤差はより大きくなる可能性がある。

【0052】

また、一般的な算術演算では、演算結果である絶対値の精度が求められるが、ニューラルネットワークによる演算では、演算結果の絶対値ではなく大小関係の正しさが求められる。例えば、画像分類問題で画像が犬であるか猫であるかを判別するニューラルネットワークでは、犬である確率を示す出力１と猫である確率を示す出力２があり、ニューラルネットワークの出力が出力１＞出力２であれば画像は犬、出力１＜出力２であれば画像は猫と判断される。このため、特徴のある画像(例えば明確に犬の画像)であれば、出力の大小関係の差が大きく、積和演算の一要素が間違った場合でも大小関係の結果は変わらない可能性が高い。

【0053】

以上のことから、本実施形態のゼロマスク処理のように、圧縮データにエラーが発生した場合に、ネットワークパラメータＷijを０にマスクしても、ニューラルネットワークにおける最終結果に影響は無いといえる。

【0054】

以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

【0055】

上記実施形態では、外部メモリ１２に記憶しているパラメータをウェイトデータとする形態について説明したが、これに限らず、パラメータはニューラルネットワークに用い、ＰＥアレイ１６へ転送されるデータであれば、ウェイトデータに限らず、他のパラメータでもよい。

【0056】

１０・・・演算システム、１２・・・外部メモリ、１６・・・ＰＥアレイ、
２０・・・内部メモリコントローラ、２２・・内部メモリ

【図1】

【図2】

【図3】

【図4】

【図5】