特開 2024-153149 情報処理装置、機械学習用システム、および機械学習用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024153149

(43)【公開日】2024-10-29

(54)【発明の名称】情報処理装置、機械学習用システム、および機械学習用プログラム

(51)【国際特許分類】

   G06N 3/084 20230101AFI20241022BHJP

【ＦＩ】

G06N3/084

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023066863

(22)【出願日】2023-04-17

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】520124752

【氏名又は名称】株式会社ミライズテクノロジーズ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】佐々木 広器

(72)【発明者】

【氏名】大矢 晃示

(57)【要約】

【課題】比較的大きいノード数を処理する場合に、学習効率の低下と消費電力の増加とを抑制できる情報処理装置を提供する。
【解決手段】情報処理装置１００，１０１は、畳み込み計算を実行するＣＰＵとＧＰＵとＮＰＵとのうちのいずれか１つの第１プロセッサ１０と、組み合わせ最適化を実行するイジングマシン３０と、損失関数の計算を実行するＣＰＵである第２プロセッサ２０と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報処理装置（１００，１０１）であって、
畳み込み計算を実行するＣＰＵとＧＰＵとＮＰＵとのうちのいずれか１つの第１プロセッサ（１０）と、
組み合わせ最適化を実行するイジングマシン（３０）と、
損失関数の計算を実行するＣＰＵである第２プロセッサ（２０）と、
を備える、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置において、
前記第１プロセッサと、前記イジングマシンと、前記第２プロセッサと、で共通に使用可能な共有メモリを更に備え、
前記イジングマシンは、古典イジングマシン（３１）である、情報処理装置。

【請求項3】

請求項１に記載の情報処理装置において、
前記イジングマシンは、量子イジングマシンである、情報処理装置。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の情報処理装置において、
前記情報処理装置は、Ｄｅｔｅｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒの演算に用いられ、
前記損失関数は、前記Ｄｅｔｅｃｔｉｏｎ ＴｒａｎｓｆｏｒｍｅｒにおけるＨｕｎｇａｒｉａｎ Ｌｏｓｓであり、
前記イジングマシンは、前記Ｈｕｎｇａｒｉａｎ ＬｏｓｓにおけるＬ_{ｍａｔｃｈ}の演算を実行する、
情報処理装置。

【請求項5】

請求項４に記載の情報処理装置において、
前記Ｈｕｎｇａｒｉａｎ Ｌｏｓｓとして、前記Ｌ_{ｍａｔｃｈ}を用いる、
情報処理装置。

【請求項6】

請求項５に記載の情報処理装置を備える、機械学習用システム。

【請求項7】

機械学習用プログラムであって、
ＣＰＵとＧＰＵとＮＰＵとのうちのいずれか１つの第１プロセッサに畳み込み計算を実行させ、
古典イジングマシンに組み合わせ最適化を実行させ、
ＣＰＵである第２プロセッサに損失関数の計算を実行させる、
機械学習用プログラム。

【請求項8】

請求項７に記載の機械学習用プログラムであって、
前記機械学習用プログラムは、Ｄｅｔｅｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒの学習に用いられ、
前記古典イジングマシンは、前記Ｄｅｔｅｃｔｉｏｎ ＴｒａｎｓｆｏｒｍｅｒにおけるＬ_{ｍａｔｃｈ}の演算を実行し、
前記Ｌ_{ｍａｔｃｈ}は、前記Ｄｅｔｅｃｔｉｏｎ ＴｒａｎｓｆｏｒｍｅｒにおけるＨｕｎｇａｒｉａｎ Ｌｏｓｓとして用いられる、
機械学習用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、機械学習用システム、および機械学習用プログラムに関する。

【背景技術】

【0002】

画像中の物体検出において、例えば非特許文献１に開示されているように、Ｄｅｔｅｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ（ＤＥＴＲ）が知られている。ＤＥＴＲでは、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓを用いて推論結果と正解ラベルとのマッチングを求めている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Nicolas Carion et al, 'End-to-End Object Detection with Transformers' , Facebook AI.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、ノード数が増加すると、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓの演算時間は、指数関数的に増加する。このため、比較的大きいノード数を処理する場合に、学習効率が低下し、消費電力が増加する。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の一形態によれば、情報処理装置（１００，１０１）が提供される。この情報処理装置は、畳み込み計算を実行するＣＰＵとＧＰＵとＮＰＵとのうちのいずれか１つの第１プロセッサ（１０）と、組み合わせ最適化を実行するイジングマシン（３０）と、損失関数の計算を実行するＣＰＵである第２プロセッサ（２０）と、を備える。

【0007】

この形態の情報処理装置によれば、組み合わせ最適化を実行するイジングマシンを備えるので、イジングマシンを除いた任意のプロセッサにより組み合わせ最適化の演算を実行する構成と比較して、比較的多いノード数を処理する場合において演算時間を低減できる。これにより、比較的多いノード数を処理する場合において、学習効率を向上させることができ、消費電力を低減できる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態としての情報処理装置の機能構成を示すブロック図である。

【図2】正解ラベルｙ_ｉによる推論結果ｙ_ｉ＾の選択の一例を示す表である。

【図3】第３実施形態における情報処理装置の機能構成を示すブロック図である。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
図１に示す情報処理装置１００は、Ｄｅｔｅｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ（ＤＥＴＲ）による物体検出に用いられる。情報処理装置１００は、第１プロセッサ１０と、第２プロセッサ２０と、イジングマシン３０と、を備える。第１プロセッサ１０と、第２プロセッサ２０と、イジングマシン３０とは、内部バス５０により互いに通信可能に接続されている。

【0010】

第１プロセッサ１０は、画像の特徴量を畳み込み処理により抽出する。抽出された特徴量を用いて特徴マップが生成され、生成された特徴マップはＤＥＴＲにおけるＥｎｃｏｄｅｒに入力される。本実施形態における第１プロセッサ１０は、畳み込み処理を実行可能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、またはＮＰＵ（Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

【0011】

第２プロセッサ２０は、ＤＥＴＲにおけるＤｅｃｏｄｅｒで実行される損失関数の計算を行う。損失関数は、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓとして定義される。Ｈｕｎｇａｒｉａｎ Ｌｏｓｓは、Ｄｅｃｏｄｅｒによる出力と、正解（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）のバウンディングボックスおよびクラスラベルと、の一致度合いを評価するために用いられる。Ｈｕｎｇａｒｉａｎ Ｌｏｓｓは、次の手順によって求められる。最初に、以下の（式１）で定義されるＬ_ｂｏｘを求める。

【0012】

【数1】

【0013】

Ｌ_ｂｏｘは、予測されたバウンディングボックスと、正解のバウンディングボックスの一致度合を評価するための関数である。上記（式１）で求められたＬ_ｂｏｘを用いて、以下の（式２）で表されるＬ_{ｍａｔｃｈ}を求める。

【0014】

【数2】

【0015】

Ｌ_{ｍａｔｃｈ}は、予測と正解とのマッチングをしたときに生じるロスを表す。Ｌ_{ｍａｔｃｈ}は、組み合わせ最適化問題である。Ｌ_{ｍａｔｃｈ}における第１項は、クラスラベルのロスを表し、第２項は、バウンディングボックスの位置のロスを示す。なお、本実施形態におけるＬ_{ｍａｔｃｈ}は、後述するイジングマシン３０により計算される。詳細については後述する。

【0016】

上記（式２）で示されるＬ_{ｍａｔｃｈ}の総和が最小となるようなマッチングパターンσ＾を以下の（式３）により求める。

【0017】

【数3】

【0018】

上記（式３）によって得た対応関係の一覧から、最適な予測と正解ラベルのマッチングを以下の（式４）によって表されるＨｕｎｇａｒｉａｎ Ｌｏｓｓ（Ｌ_{Ｈｕｎｇａｒｉａｎ}）を計算することにより求める。

【0019】

【数4】

【0020】

得られたＨｕｎｇａｒｉａｎ Ｌｏｓｓの結果は、物体検出モデルの学習に用いられる。より具体的には、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓを最小化するように、物体検出モデルのパラメータが誤差逆伝播により更新されることで、予測精度の向上が実現される。

【0021】

イジングマシン３０は、上記（式２）のＬ_{ｍａｔｃｈ}の演算を行う。本実施形態におけるイジングマシン３０は、古典イジングマシンである。古典イジングマシンは、古典ビットにより演算を行う情報処理装置である。古典イジングマシンは、例えば周知の古典イジングマシンである株式会社東芝製のＳＢＭ（Ｓｉｍｕｌａｔｅｄ Ｂｉｆｕｒｃａｔｉｏｎ Ｍａｃｈｉｎｅ）や、日本電信電話株式会社製のＣＩＭ（Ｃｏｈｅｒｅｎｔ Ｉｓｉｎｇ Ｍａｃｈｉｎｅ）である。

【0022】

古典イジングマシンは、上記（式２）をそのまま演算することができない。ここで、（式２）をＯｎｅ－ｈｏｔ制約付きのＱＵＢＯ（Ｑｕａｄｒａｔｉｃ Ｕｎｃｏｎｓｔｒａｉｎｅｄ Ｂｉｎａｒｙ Ｏｐｔｉｍｉｚａｔｉｏｎ）問題へと変換することで、古典イジングマシンでＬ_{ｍａｔｃｈ}を求めることができる。より具体的には、まず、正解ラベルｙ_ｉが、推論結果ｙ_ｉ＾を選択することをＱｂｉｔにより表現する。正解ラベルｙ_ｉによる推論結果ｙ_ｉ＾の選択は、ｙ_ｉ＾毎にｑ_ｉ，ｊを用意し、結果を選択した場合にｑ_ｉ，ｊ＝１、結果を選択しなかった場合にｑ_ｉ，ｊ＝０と表すことができる。このことから、例えば図２に示す表のように、正解ラベルｙ_ｉによる推論結果ｙ_ｉ＾の選択を表現できる。すなわち、正解ラベルｙ_ｉに対応する推論結果ｙ_ｉ＾は、１つであることから、ｑ_ｉ，ｊにはＯｎｅ－ｈｏｔ制約を課すことができると言え、以下の（式５）が成立する。

【0023】

【数5】

【0024】

以上から、Ｌ_{ｍａｔｃｈ}を以下の（式６）として表すことができる。

【0025】

【数6】

【0026】

古典イジングマシンは、上記（式６）を演算し、第２プロセッサ２０は、演算された（式６）の結果を用いて、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓの演算を実行する。このようにＬ_{ｍａｔｃｈ}をＱＵＢＯ問題として扱うことで、ノード数と演算時間とが線形関係となるので、イジングマシンを除いた任意のプロセッサによりＬ_{ｍａｔｃｈ}の演算を実行する構成と比較して、比較的多いノード数を処理する場合において演算時間を低減できる。

【0027】

以上説明した第１実施形態の情報処理装置１００によれば、Ｌ_{ｍａｔｃｈ}の演算を実行するイジングマシン３０を備えるので、イジングマシン３０を除いた任意のプロセッサによりＬ_{ｍａｔｃｈ}の演算を実行する構成と比較して、比較的多いノード数を処理する場合において演算時間を低減できる。これにより、比較的多いノード数を処理する場合において、学習効率を向上させることができ、消費電力を低減できる。

【0028】

Ｂ．第２実施形態：
第２実施形態の情報処理装置は、イジングマシン３０が量子イジングマシンである点において、第１実施形態の情報処理装置１００と異なる。第２実施形態の情報処理装置におけるその他の構成は、第１実施形態の情報処理装置１００と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。

【0029】

イジングマシン３０は、量子イジングマシンであってもよい。量子イジングマシンは、量子ビットにより演算を行う情報処理装置である。量子イジングマシンは、例えば周知の量子イジングマシンであるＤ－Ｗａｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ．製のＱＰＵ（Ｑｕａｎｔｕｍ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。かかる場合、量子イジングマシンは、上記（式２）で表されるＬ_{ｍａｔｃｈ}の演算を実行できるため、第１実施形態で説明したＬ_{ｍａｔｃｈ}のＱＵＢＯ問題への変換は、行われない。すなわち、第２プロセッサ２０は、量子イジングマシンが演算した上記（式２）の結果を用いて、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓを算出する。

【0030】

以上説明した第２実施形態の情報処理装置によっても、第１実施形態の情報処理装置１００と同様の効果を奏する。

【0031】

Ｃ．第３実施形態：
図３に示す第３実施形態の情報処理装置１０１は、共有メモリ４０を更に備える点で、第１実施形態の情報処理装置１００と異なる。第３実施形態の情報処理装置１０１のその他の構成は、第１実施形態の情報処理装置１００と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。なお、第３実施形態におけるイジングマシンは、古典イジングマシン３１である。

【0032】

共有メモリ４０は、第１プロセッサ１０と、第２プロセッサ２０と、古典イジングマシン３１と、内部バス５０により通信可能に接続されている。共有メモリ４０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。共有メモリ４０は、第１プロセッサ１０と、第２プロセッサ２０と、古典イジングマシン３１と、が共有して使用するメモリである。共有メモリ４０を備えることにより、第１プロセッサ１０と、第２プロセッサ２０
と、古典イジングマシン３１と、のそれぞれが個別にメモリを備える構成と比較して、学習速度を向上でき、消費電力を低減できる。

【0033】

以上説明した第３実施形態の情報処理装置１０１によれば、第１プロセッサ１０と、第２プロセッサ２０と、古典イジングマシン３１と、で共通に使用可能な共有メモリ４０を更に備えるので、第１プロセッサ１０と、第２プロセッサ２０と、古典イジングマシン３１と、のそれぞれが個別にメモリを備える構成と比較して、学習速度を向上でき、消費電力を低減できる。

【0034】

Ｄ．第４実施形態：
第４実施形態の情報処理装置は、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓの計算方法が第１実施形態の情報処理装置１００と異なる。第４実施形態の情報処理装置のその他の構成は、第１実施形態の情報処理装置１００と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。

【0035】

第１実施形態の情報処理装置１００において、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓは、上記（式４）を第２プロセッサ２０が演算することにより求められた。これに対して、第４実施形態の情報処理装置においては、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓとして上記（式６）で表されるＬ_{ｍａｔｃｈ}をそのまま用いる。Ｈｕｎｇａｒｉａｎ ＬｏｓｓをＬ_{ｍａｔｃｈ}とすることで、第２プロセッサ２０におけるＨｕｎｇａｒｉａｎ Ｌｏｓｓの演算を省略することができる。Ｌ_{ｍａｔｃｈ}の結果は、物体検出モデルの学習に用いられる。より具体的には、Ｌ_{ｍａｔｃｈ}を最小化するように、物体検出モデルのパラメータが誤差逆伝播により更新されることで、予測精度の向上が実現される。

【0036】

以上説明した第４実施形態の情報処理装置によれば、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓとして、Ｌ_{ｍａｔｃｈ}を用いるので、Ｈｕｎｇａｒｉａｎ Ｌｏｓｓの演算を省略できる。これにより、演算時間を低減でき、情報処理装置の消費電力を低減できる。

【0037】

Ｅ．他の実施形態：
（Ｅ１）上記各実施形態において、情報処理装置１００，１０１は、Ｄｅｔｅｃｔｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒによる物体検出に用いられていたが、本開示はこれに限定されない。情報処理装置１００，１０１は、畳み込み計算と組み合わせ最適化問題とを含む任意の手法に用いられてもよい。このような構成においても、組み合わせ最適化問題をイジングマシン３０が実行することにより、組み合わせ最適化問題をＣＰＵ、ＧＰＵ、またはＮＰＵ等のプロセッサにより実行する構成と比較して、演算時間を低減でき、消費電力を低減できる。

【0038】

（Ｅ２）上記各実施形態における情報処理装置は、機械学習用システムのために用いられてもよい。このような機械学習用システムにおいて、イジングマシン３０が実行する組み合わせ最適化問題のイジングエネルギーが最小となるように、パラメータが誤差逆伝播により更新される。

【0039】

（Ｅ３）本開示に記載の第１プロセッサ１０と、第２プロセッサ２０と、イジングマシン３０と、により実行される機能は、コンピュータプログラムにより実現されてもよい。より具体的には、かかるコンピュータプログラムは機械学習に用いられ、第１プロセッサ１０に畳み込み計算を実行させ、古典イジングマシン３１に組み合わせ最適化を実行させ、ＣＰＵである第２プロセッサ２０に損失関数の計算を実行させてもよい。

【0040】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。本開示は、例えば、コンピュータプログラムを記録した一時的でない記録媒体などの形態で実現することができる。

【符号の説明】

【0041】

１０…第１プロセッサ、２０…第２プロセッサ、３０…イジングマシン、３１…古典イジングマシン、４０…共有メモリ、５０…内部バス、１００，１０１…情報処理装置

【図1】

【図2】

【図3】