特開 2024-53657 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053657

(43)【公開日】2024-04-16

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06F 15/78 20060101AFI20240409BHJP

   H04N 23/60 20230101ALI20240409BHJP

【ＦＩ】

G06F15/78 517

H04N5/232 290

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022159998

(22)【出願日】2022-10-04

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】520124752

【氏名又は名称】株式会社ミライズテクノロジーズ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】佐々木 広器

(72)【発明者】

【氏名】滝澤 哲郎

(72)【発明者】

【氏名】大矢 晃示

(72)【発明者】

【氏名】徳江 達也

【テーマコード（参考）】

5B062

5C122

【Ｆターム（参考）】

5B062CC05

5B062HH04

5C122DA03

5C122DA14

5C122EA52

5C122FH10

5C122FH11

5C122FH14

5C122GA24

5C122GF05

5C122HA35

5C122HA46

5C122HA48

5C122HA88

5C122HB01

(57)【要約】

【課題】スパース畳み込み処理を行う情報処理装置において、プロセッサに供給される電力量をプロセッサの処理負荷に応じて最適化する。
【解決手段】画像センサ１０により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置１００、１００ｂは、スパース畳み込み処理の演算を実行するプロセッサ（２）と、画像センサにより取得される画像データのデータレートを用いて、スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部（５）と、サイズ予測部による予測の結果に応じて、プロセッサに供給される電力量を制御するための制御信号をプロセッサに出力する電力量制御部（６）と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像センサ（１０）により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置（１００、１００ｂ）であって、
前記スパース畳み込み処理の演算を実行するプロセッサ（２）と、
前記画像センサにより取得される前記画像データのデータレートを用いて、前記スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部（５）と、
前記サイズ予測部による前記ルールブックサイズの予測の結果に応じて、前記プロセッサに供給される電力量を制御するための制御信号を前記プロセッサに出力する電力量制御部（６）と、
を備える、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記画像センサの周囲の環境情報を用いて、前記ルールブックサイズの最大値を予測する最大値予測部（８）を更に備え、
前記電力量制御部は、前記最大値予測部による前記最大値の予測の結果に応じた前記制御信号を出力する、情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記環境情報は、
前記画像センサの前記画像データ取得時における時刻と、
前記画像センサの前記画像データ取得時における前記画像センサの位置情報と、
前記画像センサの前記画像データ取得時における前記画像センサの周囲の天候情報と、
前記画像センサの搭載された車両のステアリング情報と、
前記画像センサの前記画像データ取得時における前記画像センサの画角内の物体数の情報と、
のうちのいずれか１つである、情報処理装置。

【請求項4】

請求項２に記載の情報処理装置であって、
前記環境情報は、
前記画像センサの前記画像データ取得時における時刻と、
前記画像センサの前記画像データ取得時における前記画像センサの位置情報と、
前記画像センサの前記画像データ取得時における前記画像センサの周囲の天候情報と、
前記画像センサの搭載された車両のステアリング情報と、
前記画像センサの前記画像データ取得時における前記画像センサの画角内の物体数の情報と、
のうちで、いずれか２つ以上を含む、情報処理装置。

【請求項5】

請求項２～４のいずれか１項に記載の情報処理装置であって、
前記画像センサにより取得された前記画像データをバッファするバッファメモリを更に備え、
前記サイズ予測部により予測された前記ルールブックサイズが、前記最大値予測部により予測された前記ルールブックサイズの前記最大値を超える場合、
前記バッファメモリは、前記画像センサにより取得された前記画像データをバッファし、
前記電力量制御部は、前記プロセッサに供給する電力量を増加させるための前記制御信号を出力する、情報処理装置。

【請求項6】

請求項２～４のいずれか１項に記載の情報処理装置であって、
前記サイズ予測部により予測された前記ルールブックサイズが、前記最大値予測部により予測された前記ルールブックサイズの前記最大値を超える場合、
前記プロセッサは、前記画像センサにより取得された前記画像データを対象として前記スパース畳み込み処理を実行せずに廃棄し、
前記電力量制御部は、前記プロセッサに供給する電力量を増加させるための前記制御信号を出力する、情報処理装置。

【請求項7】

請求項１～４のいずれか１項に記載の情報処理装置であって、
前記制御信号は、
前記プロセッサの動作周波数を制御するための制御信号と、
パワーゲーティングを制御するための制御信号と、
前記プロセッサの電源電圧を制御するための制御信号と、
のうちで、少なくとも１つを含む、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置に関する。

【背景技術】

【0002】

畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＣＮＮ）を用いた画像処理として、スパース畳み込み（Ｓｐａｒｓｅ Ｃｏｎｖｏｌｕｔｉｏｎ）が知られている（例えば非特許文献１）。スパース畳み込みでは、入力された画像データの要素と、畳み込みに用いられるカーネル（フィルタ）の要素と、畳み込みにより出力されるデータの要素と、を紐づけたルールブックが生成され、ＮＰＵ（Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がルールブックに従ってスパース畳み込み処理を実行する。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】Zhiliang Zhou, "How does sparse convolution work?", ［令和４年８月９日検索］、インターネット［URL：https://towardsdatascience.com/how-does-sparse-convolution-work-3257a0a8fd1］

【発明の概要】

【発明が解決しようとする課題】

【0004】

スパース畳み込み処理を行う情報処理装置がイベントカメラ等のセンサにより時系列的に取得されたデータを処理する場合、ＮＰＵに入力されるデータレートが変動するため、ＮＰＵで処理すべきルールブックサイズも変動する。したがって、ＮＰＵの処理負荷が変動するため、ＮＰＵに供給される電力量の最適化が困難であった。具体的には、ＮＰＵの最大負荷を想定して供給電力量を設定すると、ＮＰＵに加えられる負荷が小さい場合に、余剰電力が生じる。他方で、平均負荷を想定して供給電力量を設定すると、ＮＰＵに加えられる負荷が平均負荷よりも大きくなった場合に、電力不足が生じる。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の一形態によれば、画像センサ（１０）により時系列的に取得される画像データを対象に、スパース畳み込み処理を行う情報処理装置（１００、１００ｂ）が提供される。この情報処理装置は、前記スパース畳み込み処理の演算を実行するプロセッサ（２）と、前記画像センサにより取得される前記画像データのデータレートを用いて、前記スパース畳み込み処理におけるルールブックサイズを予測するサイズ予測部（５）と、前記サイズ予測部による予測の結果に応じて、前記プロセッサに供給される電力量を制御するための制御信号を前記プロセッサに出力する電力量制御部（６）と、を備える。

【0007】

この形態の情報処理装置によれば、サイズ予測部は、画像センサにより取得された画像データのデータレートを用いてスパース畳み込み処理におけるルールブックサイズを予測し、電力量制御部は、サイズ予測部による予測の結果に応じてプロセッサに供給される電力量を制御するための制御信号をプロセッサに出力するので、プロセッサにおけるスパース畳み込み処理の演算量に応じて、プロセッサに供給される電力量を最適化できる。

【図面の簡単な説明】

【0008】

【図1】本開示の第１実施形態における、情報処理装置の概略構成を示すブロック図である。

【図2】第１実施形態における電力量制御処理の手順を示すフローチャートである。

【図3】本開示の第２実施形態における、情報処理装置の概略構成を示すブロック図である。

【図4】第２実施形態における電力量制御処理の手順を示すフローチャートである。

【図5】第３実施形態における電力量制御処理の手順を示すフローチャートである。

【図6】第４実施形態における電力量制御処理の手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態：
Ａ１．装置構成：
図１に示す情報処理装置１００は、画像センサ１０により取得された画像データを対象にスパース畳み込み処理を実行する。情報処理装置１００は、車両、無人搬送車、ロボット等の移動体に搭載される。画像センサ１０は、イベントカメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、ＲＧＢ－Ｄカメラ等、スパース畳み込み処理可能なデータを時系列的に出力するセンサである。スパース畳み込み処理された画像データは、自動運転における物体認識や物体との距離推定等の任意のアプリケーションに用いられる。情報処理装置１００は、入出力インターフェース部（Ｉ／Ｆ）部１と、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３と、メモリ４と、を備える。入出力Ｉ／Ｆ部１と、ＮＰＵ２と、ＣＰＵ３と、メモリ４とは、いずれもバス７を介して、互いに通信可能に構成されている。

【0010】

入出力Ｉ／Ｆ部１は、画像センサ１０と電気的に接続するためのインターフェース群を有する。画像センサ１０により取得された画像データは、入出力Ｉ／Ｆ部１を介して、情報処理装置１００に入力される。

【0011】

ＮＰＵ２は、ニューラルネットワーク処理を実行するプロセッサである。本開示において、ＮＰＵ２は、画像センサ１０により時系列的に取得された画像データを対象に、スパース畳み込み処理の演算を実行する。スパース畳み込み処理では、多数の積和演算が行われるため、ＮＰＵ２には多数の（例えば、２５６個の）積和演算器が搭載されている。

【0012】

メモリ４は、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどから構成され、情報処理装置１００の各部の制御プログラムを記憶する。ＣＰＵ３は、メモリ４から制御プログラムを読み出し実行することにより、サイズ予測部５および電力量制御部６として機能する。

【0013】

サイズ予測部５は、スパース畳み込み処理におけるルールブックサイズを予測する。「スパース畳み込み処理におけるルールブック」とは、画像センサ１０により取得された画像データの要素と、畳み込みに用いられるカーネルの要素と、畳み込みにより出力されるデータの要素と、を紐づけたテーブルである。スパース畳み込み処理では、ＮＰＵ２は、作成されたルールブックに従って、画像センサ１０により取得された画像データを対象に積和演算を実行する。「ルールブックサイズ」とは、ルールブックの容量の大きさである。ルールブックサイズは、画像データの容量の大きさと、畳み込みに用いられるカーネルと、によって決定される。本開示において、カーネルは予め設定されたものであり、画像データは時系列的に取得されるため、画像データのデータレートからルールブックサイズを予測できる。「データレート」は、単位時間あたりに転送されるデータ量である。データレートは、例えばｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）で表される。ルールブックサイズの予測は、例えば、画像データのデータレートとカーネルとの関係を学習させたモデルや、単回帰分析等の手法を用いることで、実行できる。なお、以下では予測されたルールブックサイズのことを「予測値」とも呼ぶ。

【0014】

電力量制御部６は、予測値を用いて、ＮＰＵ２に供給される電力量を制御するための制御信号を出力する。上述したように、ＮＰＵ２は、スパース畳み込み処理においてルールブックに従って積和演算を実行する。ＮＰＵ２の処理負荷は、ルールブックサイズに応じて変動するため、電力量制御部６は、予測されたルールブックサイズに応じて、ＮＰＵ２に供給される電力量を制御するための制御信号を出力する。

【0015】

具体的には、電力量制御部６は、予測値と、第１上限閾値および第１下限閾値と、の比較を実行し、比較の結果に応じて、制御信号を出力する。第１上限閾値および第１下限閾値は、予め設定された閾値である。電力量制御部６は、予測値が第１上限閾値を超えている場合、ＮＰＵ２に供給される電力量を増加させるための制御信号をＮＰＵ２に出力する。また、電力量制御部６は、予測値が第１下限閾値未満である場合、ＮＰＵ２に供給される電力量を減少させるための制御信号をＮＰＵ２に出力する。また、電力量制御部６は、予測値が第１上限閾値および第１下限閾値の間の範囲内である場合、ＮＰＵ２に供給される電力量を制御するための制御信号を出力しない。

【0016】

電力量制御部６が出力する制御信号は、
１．ＮＰＵ２の動作周波数を制御する制御信号と、
２．ＮＰＵ２に搭載された演算器のパワーゲーティングを制御する制御信号と、
３．ＮＰＵ２の電源電圧を制御する制御信号と、
のうちで少なくとも１つを含む。

【0017】

例えば、電力量制御部６は、ＮＰＵ２に供給される電力量を増加させる場合、動作周波数を増加させる制御信号と、パワーゲーティングを解除させる制御信号と、電源電圧を増加させる制御信号と、のうちで少なくとも１つをＮＰＵ２に出力する。他方で、電力量制御部６は、ＮＰＵ２に供給される電力量を減少させる場合、動作周波数を減少させる制御信号と、作動する必要のない演算器のパワーゲーティングを実行させる制御信号と、電源電圧を減少させる制御信号と、のうちで少なくとも１つをＮＰＵ２に出力する。

【0018】

ＮＰＵ２の動作周波数の制御と、ＮＰＵ２に搭載された演算器のパワーゲーティングの制御と、ＮＰＵ２の電源電圧の制御とは、制御信号が出力されてから実際に電力量に変化をもたらすまでに要する時間がそれぞれ異なる。具体的には、ＮＰＵ２の動作周波数の制御は、数ナノ秒の時間を要する。パワーゲーティングの制御は、数マイクロ秒の時間を要する。ＮＰＵ２の電源電圧の制御は、数百マイクロ秒から数ミリ秒の時間を要する。このため、画像データをスパース畳み込み処理すべき時間によって、上述した３つの方法のいずれかが選択される。スパース畳み込み処理すべき時間は、スパース畳み込み処理されたデータが用いられるアプリケーション等によって変動し得る。例えば、スパース畳み込み処理に要する時間として非常に短い時間が求められるアプリケーションが実行される場合には、制御に要する時間が最も短いＮＰＵ２の動作周波数の制御のみを実行してもよい。また、例えば、スパース畳み込み処理に要する時間として比較的長い時間が許容されるアプリケーションが実行される場合には、ＮＰＵ２の動作周波数の制御と、パワーゲーティングの制御と、ＮＰＵ２の電源電圧の制御と、の３つを並行して実行してもよい。これらの制御を重ねて行うほどより省電力化が期待できる。

【0019】

Ａ２．電力量制御処理：
情報処理装置１００は、画像センサ１０から画像データを取得すると、ＮＰＵ２におけるスパース畳み込み処理に先立って、図２に示す電力量制御処理を実行する。

【0020】

サイズ予測部５は、画像センサ１０により時系列的に出力された画像データのデータレートを取得する（ステップＳ１０５）。

【0021】

サイズ予測部５は、データレートを用いて、スパース畳み込み処理におけるルールブックサイズを予測する（ステップＳ１１０）。ルールブックサイズの予測は、上述したような学習モデルや単回帰分析等の手法によって行われる。

【0022】

電力量制御部６は、予測値と、予め設定された第１上限閾値および第１下限閾値と、の比較を実行する（ステップＳ１１５）。電力量制御部６は、予測されたルールブックサイズが予め設定された第１下限閾値未満である場合、ＮＰＵ２に供給される電力量を減少させるための制御信号をＮＰＵ２に出力する（ステップＳ１２０）。また、電力量制御部６は、予測されたルールブックサイズが予め設定された第１上限閾値を超える場合、ＮＰＵ２に供給される電力量を増加させるための制御信号をＮＰＵ２に出力する（ステップＳ１２５）。また、電力量制御部６は、予測されたルールブックサイズが予め設定された第１上限閾値と第１下限閾値との間の範囲にある場合、電力量の制御を行わずに処理を終了する。

【0023】

以上説明した第１実施形態の情報処理装置１００によれば、ＮＰＵ２による画像データのスパース畳み込み処理に先立って、サイズ予測部５が、画像データのルールブックサイズを予測し、電力量制御部６が、予測されたルールブックサイズに応じてＮＰＵ２に供給される電力量を制御するための制御信号をＮＰＵ２に出力するので、ＮＰＵ２の処理負荷に応じて供給電力量を最適化できる。

【0024】

また、電力量を制御するための信号は、ＮＰＵ２の動作周波数を制御する制御信号と、ＮＰＵ２に搭載された演算器のパワーゲーティングを制御する制御信号と、ＮＰＵ２の電源電圧を制御する制御信号と、のうちで少なくとも１つ含むので、ＮＰＵ２に求められる処理能力または処理時間に応じて選択された１つまたは複数の制御信号を出力することで、より適切に電力量を制御できる。

【0025】

Ｂ．第２実施形態：
Ｂ１．装置構成：
図３に示す第２実施形態の情報処理装置１００ｂは、ルールブックサイズの最大値を予測する最大値予測部８を更に備える点と、電力量制御部６が最大値予測部８により予測されたルールブックサイズの最大値に応じてＮＰＵ２に供給される電力量を制御するための制御信号を出力する点と、で第１実施形態の情報処理装置１００と異なる。また、第２実施形態における画像センサ１０は、イベントカメラである。また、第２実施形態の情報処理装置１００ｂおよびイベントカメラは、車両に搭載される。第２実施形態の情報処理装置１００ｂのその他の構成は、第１実施形態の情報処理装置１００と同じであるので、同一の構成には同一の符号を付し、その詳細な説明を省略する。なお、最大値予測部８は、ＣＰＵ３がメモリ４から制御プログラムを読み出し実行することにより機能する。

【0026】

最大値予測部８は、イベントカメラの環境情報を用いて、ルールブックサイズの最大値を予測する。本開示において、「イベントカメラの環境情報」とは、画像データの輝度変化に影響を与える要素を含む情報である。そのような情報は、
１．画像データ取得時における時刻と、
２．画像データ取得時におけるイベントカメラの位置情報と、
３．画像データ取得時におけるイベントカメラの周囲の天候情報と、
４．イベントカメラの搭載された車両のステアリング情報と、
５．画像データ取得時におけるイベントカメラの画角内の物体数の情報と、
のうちで少なくとも１つを含む。

【0027】

イベントカメラは、撮影範囲の輝度変化を捉えて画像データを時系列的に出力する。輝度変化は、例えばイベントカメラが暗い環境に在り外部照明の影響を受ける場合や、車両が旋回することでイベントカメラの撮影範囲が移動する場合に、大きくなる。輝度変化が大きくなると、画像データのデータレートも大きくなる。これにより、ＮＰＵ２が処理すべきルールブックサイズも大きくなる。したがって、イベントカメラの環境情報を用いることで、ルールブックサイズの最大値を予測できる。なお、以下では予測されたルールブックの最大値のことを「予測最大値」とも呼ぶ。

【0028】

「画像データ取得時における時刻」は、朝・昼・夕方・晩等のいずれかの時間帯であるという情報を含む。画像データ取得時の時刻は、情報処理装置１００ｂが搭載された車両から取得されてもよいし、通信により外部のサーバー等から取得されてもよい。最大値予測部８は、画像データ取得時の時刻が昼間等の明るい時間である場合、画像データの輝度変化が小さくなるため、ルールブックサイズの最大値は小さくなると予測する。他方で、画像データ取得時の時刻が夜間等の暗い時間である場合、ＬＥＤライトなどの人工的な光源が存在する部分においては光源の点滅の影響を受けることによる大きな輝度変化が生じ易いので、最大値予測部８は、ルールブックサイズの最大値は大きくなると予測する。

【0029】

「イベントカメラの位置情報」は、屋内・屋外のいずれかであるという情報を含む。イベントカメラの位置情報は、情報処理装置１００ｂが搭載された車両から取得されてもよいし、通信により外部のサーバー等から取得されてもよい。また、イベントカメラにより取得された画像データを用いて、屋根やトンネル等の物体認識により屋内・屋外の判別が行われてもよい。最大値予測部８は、画像データ取得時におけるイベントカメラの位置が、屋外である場合、画像データの輝度変化が小さくなるため、ルールブックサイズの最大値は小さくなると予測する。他方で、最大値予測部８は、画像データ取得時におけるイベントカメラの位置が、屋内である場合、画像データの輝度変化が大きくなるため、ルールブックサイズの最大値は大きくなると予測する。屋内では、ＬＥＤライトのような点滅する光源が存在することから、大きな輝度変化が生じ易い。

【0030】

「イベントカメラの周囲の天候情報」は、イベントカメラの周囲の天候が晴れ・曇・雨・雪等のいずれかであるという情報を含む。イベントカメラの周囲の天候情報は、情報処理装置１００ｂが搭載された車両から取得されてもよいし、通信により外部のサーバー等から取得されてもよい。また、天候情報は、上述した位置情報と併せて取得されてもよい。最大値予測部８は、画像データ取得時におけるイベントカメラの周囲の天候が、晴れである場合、画像データの輝度変化が小さくなるため、ルールブックサイズの最大値は小さくなると予測する。他方で、最大値予測部８は、画像データ取得時におけるイベントカメラの周囲の天候が、雨、雪等である場合、画像データの輝度変化が大きくなるため、ルールブックサイズの最大値は大きくなると予測する。イベントカメラの周囲の天候が、雨、雪等である場合に画像データの輝度変化が大きくなる理由は、画像に写りこむ雨や雪等がイベントとして観測されるからである。

【0031】

「車両のステアリング情報」は、イベントカメラの搭載された車両の操舵角を含む情報である。車両のステアリング情報は、例えば、車両に搭載されたＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バスから取得される。車両のステアリングの操舵角が大きい場合、イベントカメラの撮影範囲も大きく移動するので、画像データの輝度変化も大きくなる。これにより、最大値予測部８は、車両のステアリングの操舵角が大きい場合、ルールブックサイズの最大値は大きくなると予測する。他方で、最大値予測部８は、車両のステアリングの操舵角が小さい場合、イベントカメラの撮影範囲の移動も小さく画像データの輝度変化も小さいので、ルールブックサイズの最大値が小さくなると予測する。

【0032】

「イベントカメラの画角内の物体数の情報」は、イベントカメラの画角内の動体の数の情報を含む。イベントカメラの画角内の動体の数は、一般的な物体検出等の手法により取得できる。最大値予測部８は、イベントカメラの画角内の動体の数が多い場合、画像データの輝度変化が大きくなるため、ルールブックサイズの最大値は大きくなると予測する。他方で、最大値予測部８は、イベントカメラの画角内の動体の数が少ない場合、画像データの輝度変化が小さくなるため、ルールブックサイズの最大値は小さくなると予測する。

【0033】

最大値予測部８は、上述したイベントカメラの環境情報のそれぞれとルールブックサイズの最大値との関係を学習させたモデルや、単回帰分析等の手法を用いることで、ルールブックサイズの最大値の予測を実行してもよい。

【0034】

電力量制御部６は、予測最大値を用いて、ＮＰＵ２に供給される電力量を制御するための制御信号を出力する。具体的には、電力量制御部６は、予測最大値と、第２上限閾値および第２下限閾値と、の比較の結果に応じて行われる。第２上限閾値および第２下限閾値は、予め設定された閾値である。電力量制御部６は、予測最大値が第２上限閾値を超えている場合、ＮＰＵ２に供給される電力量を増加させるための制御信号をＮＰＵ２に出力する。また、電力量制御部６は、予測最大値が第２下限閾値未満である場合、ＮＰＵ２に供給される電力量を減少させるための制御信号をＮＰＵ２に出力する。また、電力量制御部６は、予測最大値が第２上限閾値および第２下限閾値の間の範囲内である場合、ＮＰＵ２に供給される電力量を制御するための制御信号を出力しない。

【0035】

Ｂ２．電力量制御処理：
図４に示すように、第２実施形態の電力量制御処理は、ステップＳ２０５～ステップＳ２２５をステップＳ１０５より前に実行する点で、第１実施形態の電力量制御処理と異なる。第２実施形態の電力量制御処理におけるその他の手順は、第１実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。

【0036】

最大値予測部８は、イベントカメラの環境情報を取得する（ステップＳ２０５）。

【0037】

最大値予測部８は、取得した環境情報を用いて、スパース畳み込み処理におけるルールブックサイズの最大値を予測する（ステップＳ２１０）。

【0038】

電力量制御部６は、予測最大値と、予め設定された第２上限閾値および第２下限閾値と、の比較を実行する（ステップＳ２１５）。電力量制御部６は、予測最大値が予め設定された第２下限閾値未満である場合、ＮＰＵ２に供給される電力量を減少させるための制御信号をＮＰＵ２に出力する（ステップＳ２２０）。他方で、電力量制御部６は、予測最大値が予め設定された第２上限閾値を超える場合、ＮＰＵ２に供給される電力量を増加させるための制御信号をＮＰＵ２に出力する（ステップＳ２２５）。電力量制御部６は、予測最大値が予め設定された第２上限閾値と第２下限閾値との間の範囲にある場合、電力量の制御を行わない。

【0039】

以上説明した第２実施形態の情報処理装置１００ｂによれば、第１実施形態の情報処理装置１００と同様な効果を奏する。また、第２実施形態の情報処理装置１００ｂによれば、最大値予測部８が画像センサ１０の環境情報を用いてルールブックサイズの最大値を予測し、電力量制御部６が予測最大値に応じてＮＰＵ２に供給される電力量を制御するための制御信号を出力するので、予測値に応じた制御信号と予測最大値に応じた制御信号と、の２段階の制御信号により適切に電力量を制御できる。

【0040】

また、最大値予測に用いられる環境情報は、画像データ取得時における時刻と、画像データ取得時におけるイベントカメラの位置情報と、画像データ取得時におけるイベントカメラの周囲の天候情報と、イベントカメラの搭載された車両のステアリング情報と、画像データ取得時におけるイベントカメラの画角内の物体数の情報と、のうちで少なくとも１つを含むので、イベントカメラの周囲の環境に応じて適切な情報を用いることで、最大値予測の精度をより高めることができる。

【0041】

Ｃ．第３実施形態：
図５に示すように、第３実施形態の情報処理装置１００における電力量制御処理は、ステップＳ１１５の処理において予測値と予測最大値との比較を更に実行する点と、ステップＳ１３０の処理を更に備える点と、で第２実施形態の電力量制御処理と異なる。また、第３実施形態の情報処理装置１００は、バッファメモリを更に備える点で、第２実施形態の情報処理装置１００ｂと異なる。第３実施形態の電力量制御処理におけるその他の手順は、第２実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。

【0042】

電力量制御部６は、ステップＳ１１５において、ステップＳ１１０で予測された予測値と、ステップＳ２１０で予測された予測最大値と、の比較を更に実行し、予測値が予測最大値を超えた場合、画像センサ１０により取得された画像データをバッファメモリにバッファし、ＮＰＵ２に供給される電力量を増加させるための制御信号をＮＰＵ２に出力する（ステップＳ１３０）。なお、ステップＳ１１５における予測値と予測最大値との比較は、予測値と第１閾値および第２閾値との比較よりも先に行われる。予測値が予測最大値を超えている場合、ＮＰＵ２への供給電力不足によりＮＰＵ２の処理能力が不足するため、ＮＰＵ２が画像データのスパース畳み込み処理を完了できないおそれがある。そこで、ステップＳ１３０において画像データを一時的にバッファメモリにバッファし、電力量制御部６は、供給電力を増加させる処理信号をＮＰＵ２に出力する。供給電力の増加によりＮＰＵ２の処理能力が向上するので、ＮＰＵ２は、ステップＳ１３０に続いて、バッファした画像データをバッファメモリから取得し、スパース畳み込み処理を実行できる。

【0043】

以上説明した第３実施形態の情報処理装置１００によれば、第２実施形態の情報処理装置１００ｂと同様な効果を奏する。また、第３実施形態の情報処理装置１００によれば、予測値が予測最大値を超えた場合、即ちルールブックサイズの最大値の予測に失敗した場合であっても、画像データをバッファメモリにバッファし電力量制御部６が供給電力を増加させる処理信号をＮＰＵ２に出力するので、画像データのスパース畳み込み処理を実行できる。

【0044】

Ｄ．第４実施形態：
図６に示すように、第４実施形態の情報処理装置１００における電力量制御処理は、ステップＳ１３０の処理に代えて、ステップＳ１４０の処理を備える点で、第３実施形態の電力量制御処理と異なる。第４実施形態の電力量制御処理におけるその他の手順は、第３実施形態と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。

【0045】

電力量制御部６は、ステップＳ１１５において、ステップＳ１１０で予測された予測値と、ステップＳ２１０で予測された予測最大値との比較を更に実行し、予測値が予測最大値を超えた場合、画像データを廃棄し、ＮＰＵ２に供給される電力量を増加させるための制御信号をＮＰＵ２に出力する（ステップＳ１４０）。なお、ステップＳ１１５における予測値と予測最大値との比較は、予測値と第１閾値および第２閾値との比較よりも先に行われる。第３実施形態で説明したように、予測値が予測最大値を超えている場合、ＮＰＵ２への供給電力が不足することでＮＰＵ２の処理能力が不足するため、ＮＰＵ２が画像データのスパース畳み込み処理を完了できないおそれがある。第４実施形態の電力量制御処理では、ルールブックサイズの予測が行われた画像データをＮＰＵ２で処理せずに廃棄し、電力量制御部６は、供給電力を増加させる処理信号をＮＰＵ２に出力する。続いて、ステップＳ１０５の処理に戻り、新たな画像データのデータレートを取得する。

【0046】

以上説明した第４実施形態の情報処理装置１００によれば、第２実施形態の情報処理装置１００ｂと同様な効果を奏する。また、第４実施形態の情報処理装置１００によれば、予測値が予測最大値を超えた場合、即ちルールブックサイズの最大値の予測に失敗した場合であっても、ＮＰＵ２は画像データをスパース畳み込み処理せずに廃棄し、サイズ予測部５が新たな画像データのデータレートを取得して処理をやり直すので、継続して電力量制御処理を実行できる。

【0047】

Ｅ．他の実施形態：
（Ｅ１）各実施形態において、第１上限閾値および第１下限閾値は、ルールブックサイズと、ＮＰＵ２の処理能力に対応する電力量と、を対象とした一般的な統計的手法により定めてよい。また、第２上限閾値および第２下限閾値は、ルールブックサイズの最大値と、ＮＰＵ２の処理能力に対応する電力量と、を対象とした一般的な統計的手法により定めてよい。

【0048】

（Ｅ２）各実施形態において、電力量を制御するための制御信号は、上述した制御信号のうちで、２つ以上を組み合わせて出力されてもよい。複数の電力量制御を実行することで、ＮＰＵ２に供給される電力量の変動量を大きくできるので、ＮＰＵ２の処理負荷に応じて、より適切な電力量をＮＰＵ２に供給できる。

【0049】

（Ｅ３）第２～第４実施形態において、イベントカメラの環境情報は、上述した環境情報のうちで、２つ以上を組み合わせて用いられてもよい。イベントカメラの周囲の環境に応じて複数の環境情報を用いることで、最大値予測の精度をより高めることができる。

【0050】

（Ｅ４）第２～第４実施形態において、情報処理装置１００ｂは、車両に搭載される構成であったが、この構成に代えて、情報処理装置１００ｂは、車両の外部に設けられてもよい。そのような情報処理装置１００ｂは、例えば車両の外部に設置されたサーバーである。

【0051】

（Ｅ５）第２～第４実施形態のステップＳ２２０およびステップＳ２２５において、制御信号は、上述した電力量を制御するための制御信号のうちで、ＮＰＵ２の電源電圧を制御するための制御信号のみが用いられてもよい。上述のように、電源電圧の制御は、制御信号が入力されてから実際の電力量の変動が起きるまでに数百マイクロ秒から数ミリ秒の時間がかかり、電力量の変動に要する時間が他の２つの制御信号よりも長い。第２～第４実施形態の電力量制御処理では、ステップＳ１０５～ステップＳ１２５の予測値に応じた電力量制御に先立ってステップＳ２２０またはステップＳ２２５の電力量制御を行うので、より短時間で電力量の制御が求められる場合であっても、比較的時間を要する電源電圧の制御による電力量制御を用いることができる。

【0052】

（Ｅ６）第２～第４実施形態において、最大値予測部８は、ステップＳ２０５の処理に先立って、ルールブックサイズの最大値を予測するか否かの判定を行ってもよい。ＮＰＵ２によりスパース畳み込み処理された画像データが、例えば車両の衝突回避支援アプリケーション等のより短時間での処理が求められるアプリケーションに使用される場合、最大値予測を行ってから電力量制御をするのでは、当該アプリケーションの要求を満たせないおそれがある。そこで、最大値予測部８は、ＮＰＵ２によりスパース畳み込み処理された画像データが用いられるアプリケーションに応じて、最大値を予測するか否かの判定を行う。最大値予測部８は、より短時間での処理が求められるアプリケーションであると判定した場合、ステップＳ２０５の処理を続けて実行する。他方で、最大値予測部８は、より短時間での処理が求められるアプリケーションではないと判定した場合、ステップＳ２０５～ステップＳ２１５の処理を実行せず、続けてサイズ予測部５がステップＳ１０５の処理を実行する。このような形態によれば、スパース畳み込み処理された画像データが用いられるアプリケーションの要求する処理時間に応じて、ルールブックサイズの最大値の予測を行うか否かを判定できる。

【0053】

（Ｅ７）第３実施形態のステップＳ１３０において、画像データがバッファされるメモリは、バッファメモリであったが、各種制御プログラムが記憶されたメモリ４にバッファされてもよい。

【0054】

（Ｅ８）第３実施形態のステップＳ１３０および第４実施形態のステップＳ１４０において、電力量を増加させるための制御信号は、上述した制御信号全てであってもよい。ステップＳ１３０の処理が実行される場合、即ち予測値が予測最大値を超えている場合、ＮＰＵ２には大きな処理能力が求められる。したがって、電力量制御部６が、供給電力量が増加させるための制御信号全てを出力することで、ＮＰＵ２の処理能力を供給電力量の観点で最大限に高めることができる。

【0055】

本開示に記載のサイズ予測部５、電力量制御部６、最大値予測部８及び電力量制御処理は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載のサイズ予測部５、電力量制御部６、最大値予測部８および電力量制御処理は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載のサイズ予測部５、電力量制御部６、最大値予測部８及び電力量制御処理は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【0056】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。本開示は、例えば、電力量の制御方法、かかる方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記録した一時的でない記録媒体などの形態で実現することができる。

【符号の説明】

【0057】

１…入出力Ｉ／Ｆ部、２…ＮＰＵ、３…ＣＰＵ、４…メモリ、５…サイズ予測部、６…電力量制御部、７…バス、８…最大値予測部、１０…画像センサ、１００，１００ｂ…情報処理装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】