特開 2024-131185 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131185

(43)【公開日】2024-09-30

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 17/10 20060101AFI20240920BHJP

【ＦＩ】

G06F17/10 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023041292

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】318010018

【氏名又は名称】キオクシア株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】室岡 賢一

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056AA04

5B056BB51

5B056BB74

(57)【要約】

【課題】演算コストを削減できる情報処理装置を提供すること。
【解決手段】 情報処理装置は、複数のデータからなるデータ列が格納される記憶装置と、複数のデータの値を用いた演算処理により、データ列の特徴量を取得する特徴量取得装置とを含む。演算処理は、複数のデータの値のそれぞれに対して、べき指数が非整数のべき乗を行って、複数のデータに対応する第１の複数の値を算出するステップＳ１２を含む。演算処理は、複数のデータの値のそれぞれに対して、四則演算を行って、複数のデータに対応する第２の複数の値を更に算出するステップＳ１３を更に含む。
【選択図】 図２

【特許請求の範囲】

【請求項1】

複数のデータからなるデータ列が格納される記憶装置と、
前記複数のデータの値を用いた演算処理により、前記データ列の特徴量を取得する特徴量取得装置と、
を具備し、
前記演算処理は、
前記複数のデータの値のそれぞれに対して、べき指数が非整数のべき乗を行って、前記複数のデータに対応する第１の複数の値を算出し、
前記複数のデータの値のそれぞれに対して、四則演算を行って、前記複数のデータに対応する第２の複数の値を算出する、
情報処理装置。

【請求項2】

前記演算処理は、前記第１の複数の値及び前記第２の複数の値の中から同じデータを用いて算出した二つ値に対して四則演算を行って、前記複数のデータに対応する第３の複数の値を算出することを更に含む、
請求項１に記載の情報処理装置。

【請求項3】

前記演算処理は、前記第３の複数の値の積算値を算出することを更に含む、
請求項２に記載の情報処理装置。

【請求項4】

前記演算処理は、前記複数のデータの値の積算値を算出することを更に含む、
請求項３に記載の情報処理装置。

【請求項5】

前記演算処理は、
前記複数のデータの値のそれぞれに対して、べき指数が前記非整数に１を加算した値のべき乗を行って、前記複数のデータに対応する第４の複数の値を算出することを含む、
請求項１に記載の情報処理装置。

【請求項6】

前記演算処理は、
前記複数のデータの値を加算して第１の積算値を算出すること、
前記第１の複数の値を加算して第２の積算値を算出すること、
前記第４の複数の値を加算して第３の積算値を算出することを更に含む、
請求項５に記載の情報処理装置。

【請求項7】

前記演算処理は、
前記第１の積算値をＡとし、
前記第２の積算値をＢとし、
前記第３の積算値をＣとした場合、
（Ｂ－Ｃ／Ａ）／Ａ^αの計算を行うことを更に含む、
請求項６に記載の情報処理装置。

【請求項8】

前記特徴量は、情報エントロピーである請求項１乃至７のいずれかに記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、情報処理装置に関する。

【背景技術】

【0002】

情報処理装置は、例えば、演算コストが高い対数の計算を行う場合がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】米国特許出願公開第２０２１／０３２６１０７号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

実施形態が解決しようとする課題は、演算コストを削減できる情報処理装置を提供することである。

【課題を解決するための手段】

【0005】

実施形態の情報処理装置は、複数のデータからなるデータ列が格納される記憶装置と、前記複数のデータの値を用いた演算処理により、前記データ列の特徴量を取得する特徴量取得装置とを具備する。前記演算処理は、前記複数のデータの値のそれぞれに対して、べき指数が非整数のべき乗を行って、前記複数のデータに対応する第１の複数の値を算出し、前記複数のデータの値のそれぞれに対して、四則演算を行って、前記複数のデータに対応する第２の複数の値を算出する。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図。

【図2】第１の実施形態に係る情報処理装置により行われる情報処理を示すフローチャート。

【図3】第２の実施形態に係る情報処理装置により行われる情報処理を示すフローチャート。

【図4】ｙ＝－ｘｌｏｇｘと、ｙ＝ｘ^α（１－ｘ）とを示すグラフ。

【図5】第３の実施形態に係る情報処理装置により行われる情報処理を示すフローチャート。

【図6】第４の実施形態に係る情報処理装置により行われる情報処理を示すフローチャート。

【発明を実施するための形態】

【0007】

以下、図面を参照しながら実施形態を説明する。

【0008】

（第１の実施形態）
図１は、第１の実施形態に係る情報処理装置１のハードウェア構成の一例を示すブロック図である。

【0009】

情報処理装置１は、入力装置１０と、記憶装置２０と、特徴量取得装置３０と、出力装置４０とを含んでいる。

【0010】

入力装置１０は、データ列の入力に用いられる装置である。データ列は、複数の入力データからなる。各入力データは値（数値）を有する。入力装置１０は、例えば、キーボード及びマウスを含む。

【0011】

記憶装置２０は、入力データやプログラム等を読み出し可能に格納するものである。記憶装置２０内には、入力データが読み出し可能に格納される。

【0012】

記憶装置２０は、例えば、磁気記憶装置又は半導体記憶装置を含む。磁気記憶装置は、例えば、ハードディスク装置である。半導体記憶装置、例えば、不揮発性半導体装置である。不揮発性半導体装置は、例えば、ＮＡＮＤ型フラッシュメモリを備えるソリッドステートドライブ（ＳＳＤ）である。ＳＳＤの代わりに、ＰＲＡＭ（Phase change Random Access Memory）装置、ＲｅＲＡＭ（Resistive Random Access Memory）装置、又は、ＦｅＲＡＭ（Ferroelectric Random Access Memory）装置を用いることも可能である。

【0013】

本実施形態では、特徴量取得装置３０は、記憶装置２０から取り込んだ（読み出した）入力データと、情報理論に基づく演算とを用いて、情報エントロピーを取得する装置である。特徴量取得装置３０は、上記演算を行う演算器３１を含んでいる。演算器３１は、例えば、ＣＰＵ（central processing unit）を含む。演算器３１は、記憶装置２０から取り込んだデータ列やプログラム（図示）を用いて、情報エントロピーを算出するための演算を行う。この算出に必要なプログラムは、例えば、記憶装置２０内に読み出し可能に格納される。

【0014】

なお、特徴量取得装置３０が記憶装置（不図示）を含む場合、当該記憶装置に算出に必要なプログラムを格納してもよい。更に、算出に必要なプログラムは、情報処理装置１に接続可能な外部記憶装置に読み出し可能に格納されてもよい。

【0015】

出力装置４０は、特徴量取得装置３０により取得された情報エントロピーを目視可能な形態で出力する装置である。出力装置４０は、例えば、ディスプレイやプリンタを含む。

【0016】

なお、出力装置４０は情報処理装置１の一部に含めなくても構わない。この場合、情報エントロピーを出力するときには、情報処理装置１に接続可能な出力装置を用意する。また、入力装置１０は情報処理装置１の一部に含めなくても構わない。この場合、データを入力するときには、情報処理装置１に接続可能な入力装置を用意する。

【0017】

図２は、情報処理装置１により行われる情報処理を示すフローチャートである。

【0018】

ステップＳ１では、特徴量取得装置３０は、記憶装置２０から入力データを取り込む。

【0019】

ステップＳ２では、特徴量取得装置３０は、記憶装置２０から取り込んだ入力データのα乗を計算する。ここで、αは非整数である。非整数は、整数ではない数である。

【0020】

ステップＳ３では、特徴量取得装置３０は、記憶装置２０から取り込んだ入力データを１から減算した値を計算する。ステップＳ３は、ステップＳ２の前に行われてもよい。また、ステップＳ２及びステップＳ３は並列に行われてもよい。

【0021】

ステップＳ４では、特徴量取得装置３０は、入力データのα乗と（１－入力データ）との積を計算する。

【0022】

ステップＳ５では、出力装置４０は、ステップＳ４で計算した積を演算結果（情報エントロピー）として出力する。

【0023】

ここで、入力データをｐとすると、出力装置４０は、ｐ^α（１－ｐ）を出力する。ただし、入力データｐは０≦ｐ≦１の範囲の値とする。αは０＜α＜１の定数で、望ましくは０．５程度の値、より望ましくは０．５８２（１／（ｅ－１））程度の値である。ｅは、ネイピア数である。

【0024】

本実施形態によれば、対数で表現される－ｐｌｏｇｐに代えて、その近似式であるｐ^α（１－ｐ）を用いて、情報エントロピーを求めることにより、演算コストの高い対数を直接計算することなく、べき乗と多項式の演算のみで情報エントロピーの近似値を得ることが可能となる。－ｐｌｏｇｐは、情報理論において、確率分布｛ｐ_ｉ｝のもつ情報エントロピーＳ＝Σ_ｉ（－ｐ_iｌｏｇｐ_i）を算出するときに用いる式である。

【0025】

（第２の実施形態）
本実施形態では、入力データを確率分布｛ｐ_ｉ｝（Σ_ｉｐ_ｉ＝１）として、この確率分布のもつ情報エントロピーの近似値を演算する情報処理装置について説明する。

【0026】

図３は、本実施形態の情報処理装置により行われる情報処理を示すフローチャートである。本実施形態の情報処理装置のハードウェア構成は、第１の実施形態の情報処理装置のハードウェア構成（図１）と同様である。

【0027】

ステップＳ１０では、加算器３５は格納されている入力データの配列順を示す指数ｉと格納されている入力データの値の積算値を０にする（初期化）。

【0028】

ステップＳ１１では、特徴量取得装置３０は、記憶装置２０からｉ番目の入力データを取り込む。図３では、ｉ番目の入力データは、入力データｉで表記している。

【0029】

ステップＳ１２では、特徴量取得装置３０は、記憶装置２０からの入力データｉのα乗を計算する。

【0030】

ステップＳ１３では、特徴量取得装置３０は、入力データｉを１から減算した値を計算する。ステップＳ１３は、テップＳ１２の前に行われてもよい。また、ステップＳ１２及びステップＳ１３は並列に行われてもよい。

【0031】

ステップＳ１４では、特徴量取得装置３０は、入力データｉのα乗と（１－入力データ）との積を計算する。ここでもαは０＜α＜１の定数で、望ましくは０．５８２（１／（ｅ－１））程度の値である。

【0032】

ステップＳ１５では、特徴量取得装置３０は、ステップＳ１４で計算した積の値を加算器に加算する。この加算器は、例えば、特徴量取得装置３０に設けられたものである。この場合、加算器は、特徴量取得装置３０の一部である。

【0033】

ステップＳ１６では、特徴量取得装置３０は、入力データｉが最後のデータか否かを判断する。

【0034】

入力データｉが最後のデータの場合は、ステップＳ１５で加算器に加算した値の積算値を演算結果として出力する（ステップＳ１７）。演算結果は、近似により求めた情報エントロピーである。一方、入力データｉが最後のデータでない場合は、ｉを一つ大きくしてから、ステップＳ１１に戻る。

【0035】

従来のデータ解析、例えば、いわゆるビッグデータ解析においては、確率分布｛ｐ_i｝の個々の各要素は０に近い非常に小さい値となっているため、（－ｐ_ｉｌｏｇｐ_ｉ）の計算は０×∞の不定形となる。いわゆる桁落ちを回避して所望の精度で情報エントロピーの演算を行うためには、十分に大きな有効桁数の中間演算処理が必要となる。したがって、従来のデータ解析を用いた情報処理装置には、対数の演算コストに加えて、さらなる演算コストを甘受しなければならない課題がある。

【0036】

一方、本実施形態の情報処理装置は、情報エントロピーの演算において、－ｐ_ｉｌｏｇｐ_ｉに代えて、（ｐ_ｉ）^α（１－ｐ_ｉ）を用いているため、対数の演算コストと０×∞の不定形を所望の精度で演算するコストの両方を削減でき、これにより情報処理装置の高効率化を実現することが可能となる。

【0037】

図４は、通常の情報理論で定義される情報エントロピーの式（ｙ＝－ｘｌｏｇｘ）と、本実施形態に係る情報処理装置の情報処理で使用される情報エントロピーの近似式（ｙ＝ｘ^α（１－ｘ））とを示すグラフである。

【0038】

図４から、通常の情報処理では、近似式は十分な精度で定義式の代わりに使用することが可能であり、特にｘ＝０とｘ＝１では０＜α＜１であれば、関数値と一次微分値の両方が定義式と一致することが保証されることが分かる。

【0039】

なお、図４に示すとおり、二つの関数（式）が数学的に最も類似するのは、α＝０．５８２（１／（ｅ－１））の場合であり、二つの関数は共にｘ＝１／ｅにおいて極大となる。前述のとおり、実際のビッグデータ解析等では、ｘの小さな領域が重要となるので、この領域における二つの関数の類似性を重要視する場合には、α＝０．５程度の値を用いることが有効である。

【0040】

（第３の実施形態）
情報理論においては、確率分布｛ｐ_ｉ｝は規格化されていること、すなわち、Σ_ｉｐ_ｉ＝１であることを前提として理論体系が構築されている場合が多い。しかし、現実の系に対して実際に計算を行う場合、確率分布に代わり、規格化されていない単純な頻度分布が用いられることがある。また、モデルの予測するデータ分布と観測されたデータ分布を比較しながら、モデルの最適化を行う場合にも、分布が規格化されていないことがある。

【0041】

本実施形態では、入力データが規格化されていない場合に対応できる情報処理装置について説明する。より詳細には、入力データ列｛Ｐ_ｉ｝が規格化されていない場合に、規格化定数Ａ＝Σ_ｉＰ_ｉを計算し、この規格化定数Ａを用いてｐ_ｉ＝Ｐ_ｉ／Ａと置く前処理を行うことで、規格化された確率分布｛ｐ_ｉ｝を得る、情報処理装置について説明する。

【0042】

図５は、情報処理装置により行われる情報処理を示すフローチャートである。本実施形態の情報処理装置のハードウェア構成は、第１の実施形態の情報処理装置のハードウェア構成（図１）と同様である。

【0043】

ステップＳ２０では、第２の実施形態と同様の初期化のステップＳ１０が行われ、ステップＳ２１では、第２の実施形態と同様の入力データｉの取り込みのステップＳ１１が行われる。

【0044】

ステップＳ２２では、ステップＳ２１で取り込んだ入力データｉを加算器に加算する。この加算器は、例えば、特徴量取得装置３０内に設けられたものである。

【0045】

ステップＳ２３では、特徴量取得装置３０は、入力データｉが最後のデータか否かを判断する。

【0046】

入力データｉが最後のデータの場合は、ステップＳ２２で加算器に加算した値の積算値（規格化定数）Ａとして出力する（ステップＳ２４）。一方、入力データｉが最後のデータでない場合は、ｉを一つ大きくしてから、ステップＳ２１に戻る。

【0047】

ステップＳ２４の後、ステップＳ２５では、再び入力データの配列順を示す指数ｉを０に初期化する。

【0048】

ステップＳ２６では、特徴量取得装置３０は、入力データｉを取り込む。

【0049】

ステップＳ２７では、特徴量取得装置３０は、入力データｉの値を規格化定数Ａで割った値を計算する。

【0050】

ステップＳ２８では、特徴量取得装置３０は、ステップＳ２５で計算した値を記憶する。なお、この値は記憶装置２０に記憶させてもよい。

【0051】

ステップＳ２９では、特徴量取得装置３０は、入力データｉが最後のデータか否かを判断する。

【0052】

入力データｉが最後のデータでない場合は、ｉを一つ大きくしてから、ステップＳ２６に戻る。一方、入力データｉが最後のデータの場合は、前処理（ステップＳ２０～Ｓ２９）は終了する。その後、図３に示したステップＳ１０～Ｓ１７を行う。

【0053】

本実施形態によれば、元の入力データ列｛Ｐ_ｉ｝が規格化されていない場合でも、ステップＳ２０～２９からなる前処理によって得られた確率分布｛ｐ_ｉ｝を入力データとして用いることで、元の入力データ列｛Ｐ_ｉ｝の情報エントロピーの近似値を算出することができる、情報処理装置を提供できる。

【0054】

（第４の実施形態）
図３に示した情報処理（ステップＳ１０～Ｓ１７）には一つのループ処理があり、図５に示した情報処理（ステップＳ２０～Ｓ２９）には二つのループ処理がある。そのため、図３に示した情報処理（ステップＳ１０～Ｓ１７）と図５に示した情報処理（ステップＳ２０～Ｓ２９）とを組み合わせた情報処理には、三つのループ処理がある。データ数が多い場合、演算効率の観点から、ループ処理の回数は少ないほうが望ましい。

【0055】

そこで、本実施形態では、図３に示した情報処理と図５に示した情報処理とを組み合わせた情報処理を一つのループ処理で実施できる情報処理装置について説明する。

【0056】

図６は、情報処理装置により行われる情報処理を示すフローチャートである。本実施形態の情報処理装置のハードウェア構成は、第１の実施形態の情報処理装置のハードウェア構成（図１）と同様である。

【0057】

前述のとおり、規格化されていない入力データ列｛Ｐ_ｉ｝と、規格化された確率分布｛ｐ_ｉ｝との間には、規格化定数Ａ＝Σ_ｉＰ_ｉを用いて、ｐ_ｉ＝Ｐ_ｉ／Ａの関係がある。これを情報エントロピーの近似式に代入すると、以下の式が得られる。

【0058】

【数1】

【0059】

ここで、Ｂ＝Σ_ｉＰ_ｉ ^α、Ｃ＝Σ_ｉＰ_ｉ ^α＋１とすると、情報エントロピーの近似式は、

【0060】

【数2】

【0061】

で演算することができる。図６に示すフローチャートでは、この式を利用している。

【0062】

ステップＳ３０では、入力データの配列順を示す指数ｉと第１の加算器に加算された値の積算値Ａと第２の加算器に加算された値の積算値Ｂと第３の加算器に加算された値の積算値Ｃを０にする（初期化）。これらの第１の加算器、第２の加算器及び第３の加算器は、例えば、特徴量取得装置３０に設けられたものである。

【0063】

ステップＳ３１では、特徴量取得装置３０は入力データｉを取り込む。

【0064】

ステップＳ３２では、入力データｉの値をそのまま第１の加算器に加算する。

【0065】

ステップＳ３３では、入力データｉのα乗を計算する。ステップＳ３４では、その計算結果を第２の加算器に加算する。

【0066】

ステップＳ３５では、入力データｉの（α＋１）乗を計算する。ステップＳ３６では、その計算結果を第３の加算器器に加算する。

【0067】

ステップＳ３７では、入力データｉが最後のデータか否かを判断する。

【0068】

入力データｉが最後のデータでない場合は、ｉを１大きくしてから、入力データｉを取り込むステップＳ３１に戻る。

【0069】

一方、入力データｉが最後のデータの場合、特徴量取得装置３０は、情報エントロピーとして、（Ｂ－Ｃ／Ａ）／（Ａ^α）を計算する（ステップＳ３８）。ここでもαは０＜α＜１の定数で、望ましくは０．５程度の値、より望ましくは０．５８２（１／（ｅ－１））程度の値である。

【0070】

ステップＳ３８では、出力装置４０は、ステップＳ３８で計算した（Ｂ－Ｃ／Ａ）／（Ａ^α）の値を演算結果として出力する。

【0071】

これにより、規格化されていない単純な頻度分布を入力データとする場合や、モデルの最適化過程において分布が規格化されていない場合でも、対数の演算コストと０×∞の不定形を所望の精度で演算するコストの両方を削減でき、高効率化の情報処理装置を実現することが可能となる。

【0072】

また、本実施形態は、情報エントロピー以外の量を演算する場合にも応用することが可能である。一つの例として、二つの確率分布の差異を定量化する際に用いられるカルバック・ライブラー情報量（Kullback - Leibler divergence）を以下のように近似することが可能である。

【0073】

【数3】

【0074】

これは、－ｘｌｏｇｘの近似式であるｘ^α（１－ｘ）において、ｘ＝ｐ_ｉ／ｑ_ｉとして得られる近似式であり、以下に示すとおり、元のカルバック・ライブラー情報量と同様に、非負であり、二つの確率分布が完全に等しい場合にのみ０になる。

【0075】

【数4】

【0076】

最後の不等式は、二つの（）内の値が必ず同符号になることから得ることができる。等号が成立するのは、全てのｉにおいてｐ_ｉ＝ｑ_ｉであること、すなわち二つの確率分布が等しい場合であることも明確である。なお、１行目から２行目への変形には、確率分布の性質であるΣ_ｉｐ_ｉ＝１、Σ_ｉｑ_ｉ＝１を利用している。

【0077】

このように、対数を含む演算コストの高い処理を、べき乗と多項式で近似することで、情報処理装置の高効率化を実現することができる。

【0078】

以上、本発明の実施形態について説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0079】

１…情報処理装置、１０…入力装置、２０…記憶装置、３０…特徴量取得装置、４０…出力装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】