特開 2024-168233 演算装置、更新方法、環境認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168233

(43)【公開日】2024-12-05

(54)【発明の名称】演算装置、更新方法、環境認識装置

(51)【国際特許分類】

   G06N 3/08 20230101AFI20241128BHJP

【ＦＩ】

G06N3/08

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023084726

(22)【出願日】2023-05-23

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002365

【氏名又は名称】弁理士法人サンネクスト国際特許事務所

(72)【発明者】

【氏名】中野 和香子

(72)【発明者】

【氏名】平井 理宇

(72)【発明者】

【氏名】伊藤 浩朗

(72)【発明者】

【氏名】高田 雅士

(57)【要約】

【課題】設定される空間情報に応じてニューラルネットワークモデルの重みを更新できる。
【解決手段】演算装置は、ニューラルネットワークモデルである推論モデルを用いて入力データに対応する推論結果を出力する推論部と、推論結果と、入力データにおける少なくとも一部の領域を示す空間情報と、に基づいて、推論モデルの重みを更新する更新部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークモデルである推論モデルを用いて入力データに対応する推論結果を出力する推論部と、
前記推論結果と、前記入力データにおける少なくとも一部の領域を示す空間情報と、に基づいて、前記推論モデルの重みを更新する更新部と、を備える演算装置。

【請求項2】

請求項１に記載の演算装置において、
前記更新部は、前記推論モデルのいずれかの前記重みをゼロに更新する演算装置。

【請求項3】

請求項１に記載の演算装置において、
前記更新部は、前記推論結果が真値に近くなるように前記推論モデルの前記重みを更新する演算装置。

【請求項4】

請求項１に記載の演算装置において、
前記入力データは１組の画像であり、
前記推論結果は、前記１組の画像の重複領域における視差であり、
前記空間情報は、視差および重要度係数の対応表であり、
前記推論結果と正解値の差分である誤差値、および前記重要度係数に基づき重みづけ誤差を求める損失算出部と、をさらに備え、
前記更新部は、前記重みづけ誤差を用いて前記推論モデルの重みを決定する、演算装置。

【請求項5】

請求項４に記載の演算装置において、
前記損失算出部は、前記誤差値および前記重要度係数の積を足しあわせることで前記重みづけ誤差を算出し、
前記重要度係数にはゼロを含む演算装置。

【請求項6】

請求項１に記載の演算装置において、
前記入力データは１組の画像であり、
前記推論結果は、前記１組の画像の重複領域における視差であり、
前記空間情報は、前記重複領域における座標および重要度係数の対応表であり、
前記推論結果と正解値の差分である誤差値、および前記重要度係数に基づき重みづけ誤差を求める損失算出部と、をさらに備え、
前記更新部は、前記重みづけ誤差を用いて、前記推論モデルの重みを決定する、演算装置。

【請求項7】

請求項１に記載の演算装置において、
前記入力データは１組の画像であり、
前記推論結果は、前記１組の画像における視差であり、
前記空間情報は、視差および重要度係数の対応表であり、
前記推論結果と正解値の差分である誤差値に基づき誤差を求める損失算出部と、
前記誤差を用いて前記推論モデルにおける重みパラメタの重要度を算出し、前記重みパラメタの重要度および前記重要度係数に基づき重みづけ重要度を算出する重み解析部と、をさらに備え
前記更新部は、前記重みづけ重要度に基づき、更新候補の重みを決定する、演算装置。

【請求項8】

ニューラルネットワークモデルである推論モデルが格納される記憶部を有する演算装置が実行する更新方法であって、
前記推論モデルを用いて入力データに対応する推論結果を出力する推論処理と、
前記推論結果と、前記入力データにおける少なくとも一部の領域を示す空間情報と、に基づいて、前記推論モデルの重みを更新する更新処理と、を含む更新方法。

【請求項9】

外界センサにより取得された外界情報を用いて外界環境を認識する環境認識装置であって、
前記外界情報が入力される第一のニューラルネットワークモデルを用いた推論、および前記外界情報が入力される第二のニューラルネットワークモデルを用いた推論を行う外界推論部と、
前記外界推論部の推論結果に基づいて、外界環境を認識する環境認識部と、を備え、
前記第一のニューラルネットワークモデルは、請求項１に記載の演算装置により前記外界情報における少なくとも一部の第一の領域を示す空間情報に応じて重みが設定されたニューラルネットワークモデルであり、
前記第二のニューラルネットワークモデルは、請求項１に記載の演算装置により前記外界情報における前記第一の領域と異なる第二の領域を示す空間情報に応じて重みが設定されたニューラルネットワークモデルである、環境認識装置。

【請求項10】

請求項９に記載の環境認識装置であって、
前記外界センサはイメージセンサであり、
前記外界情報は前記外界センサを用いて撮影された撮影画像であり、
前記外界推論部は、前記第一のニューラルネットワークモデルを用いて前記撮影画像の視差を推論し、前記第二のニューラルネットワークモデルを用いて前記撮影画像中の画素にマスクを設定するか否かを推論し、
前記環境認識部は、前記推論部の推定結果に基づいて、マスクを設定すると推論された画素にマスクが設定された視差画像を生成する、環境認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、演算装置、更新方法、および環境認識装置に関する。

【背景技術】

【0002】

ステレオカメラの撮影画像を用いた視差情報の算出に機械学習モデルが利用されている。視差の算出対象となる画素数を増やし、かつ処理周波数を向上させるためには演算量の削減が求められる。演算量削減方法は、機械学習モデルの縮約とアプリケーションに特化した軽量モデルの作成が考えられる。機械学習モデルの縮約では、パラメタの冗長性の削減および演算の近似を行うことで演算量を削減する。軽量モデルの作成では、アプリケーションで情報を必要とする空間のみに対して推論し、情報が必要でない空間について推論を行わないようなモデルを作成することで演算量を削減する。たとえば自動ブレーキ用のアプリケーションでは、制動距離が２５ｍの場合には２５ｍよりも手前の空間では物体を認識する必要性が希薄となる。そのため、視差探索範囲を削減することで演算量削減が可能となる。

【0003】

視差モデルの演算量削減では、まずアプリ特化の軽量化モデルを作成した後にAIモデルの縮約を行うことで演算量を削減することが考えられる。このとき、ある程度大きな空間を持つモデルを作成し、従来手法の縮約技術を適用した後に空間情報を削減すると、縮約時にはより広い空間に対する特徴を平均的に保持するように重みを削減するため、削減したい空間の特徴を余分に保持するモデルが作成されてしまう。この一方で、空間情報を削減したモデルを作成した後に従来技術を適用すると、すべての推論結果は空間情報を削減した範囲内に収まるように推論され、空間を削減した付近に対して精度が劣化する。この状態で従来の技術を適用すると空間削減付近の精度劣化点の影響を受け、推論結果全体に推論誤差が生じる。

【0004】

特許文献１には、入力データと、重み係数を用いて演算を行うニューラルネットワークを有する演算装置であって、前記入力データによる前記ニューラルネットワークのニューロンの発火状態を算出するネットワーク解析部と、前記ニューロンの発火状態に基づいて、前記ニューラルネットワークの縮約率が設定された複数の縮約パターンから縮約パターンの候補を絞り込み、前記絞り込んだ縮約パターンの候補に基づいて前記ニューラルネットワークの縮約を実行して縮約後のニューラルネットワークを生成する縮約部と、を有することを特徴とする演算装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１２３２６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載されている発明では、ニューラルネットワークモデルの重みの更新に改善の余地がある。

【課題を解決するための手段】

【0007】

本発明の第１の態様による演算装置は、ニューラルネットワークモデルである推論モデルを用いて入力データに対応する推論結果を出力する推論部と、前記推論結果と、前記入力データにおける少なくとも一部の領域を示す空間情報と、に基づいて、前記推論モデルの重みを更新する更新部と、を備える。
本発明の第２の態様による更新方法は、ニューラルネットワークモデルである推論モデルが格納される記憶部を有する演算装置が実行する更新方法であって、前記推論モデルを用いて入力データに対応する推論結果を出力する推論処理と、前記推論結果と、前記入力データにおける少なくとも一部の領域を示す空間情報と、に基づいて、前記推論モデルの重みを更新する更新処理と、を含む。
本発明の第３の態様による環境認識装置は、外界センサにより取得された外界情報を用いて外界環境を認識する環境認識装置であって、前記外界情報が入力される第一のニューラルネットワークモデルを用いた推論、および前記外界情報が入力される第二のニューラルネットワークモデルを用いた推論を行う外界推論部と、前記外界推論部の推論結果に基づいて、外界環境を認識する環境認識部と、を備え、前記第一のニューラルネットワークモデルは、前述の演算装置により前記外界情報における少なくとも一部の第一の領域を示す空間情報に応じて重みが設定されたニューラルネットワークモデルであり、前記第二のニューラルネットワークモデルは、前述の演算装置により前記外界情報における前記第一の領域と異なる第二の領域を示す空間情報に応じて重みが設定されたニューラルネットワークモデルである。

【発明の効果】

【0008】

本発明によれば、設定される空間情報に応じてニューラルネットワークモデルの重みを更新できる。

【図面の簡単な説明】

【0009】

【図1】第１の実施の形態における演算装置の構成図

【図2】係数テーブルの一例を示す図

【図3】第１の実施の形態における演算装置の処理を示すフローチャート

【図4】設定部が入出力装置に出力する画面の一例を示す図

【図5】変形例１における係数テーブルを示す図

【図6】変形例２における係数テーブルを示す図

【図7】第２の実施の形態における演算装置の処理を示すフローチャート

【図8】図７のステップＳ３５０の詳細を示すフローチャート

【図9】第３の実施の形態における演算装置の構成図

【図10】第３の実施の形態における演算装置の処理を示すフローチャート

【図11】第４の実施の形態における環境認識装置の構成図

【図12】第４の実施の形態における環境認識装置の処理を示すフローチャート

【発明を実施するための形態】

【0010】

―第１の実施の形態―
以下、図１～図４を参照して、演算装置の第１の実施の形態を説明する。

【0011】

図１は、演算装置１の構成図である。演算装置１は、中央演算装置であるＣＰＵ２、読み出し専用の記憶装置であるＲＯＭ３、読み書き可能な記憶装置であるＲＡＭ４、ユーザインタフェースである入出力装置５、および通信装置６を備える。ＣＰＵ２がＲＯＭ３に格納されるプログラムをＲＡＭ４に展開して実行することで次の機能を実現する。すなわち、推論部４１、損失算出部４２、重み解析部４３、縮約部４４、および設定部４５がＣＰＵ２、ＲＯＭ３、およびＲＡＭ４により実現される。以下では、縮約部４４を「更新部」とも呼ぶ。

【0012】

演算装置１は、ＣＰＵ２、ＲＯＭ３、およびＲＡＭ４の組み合わせの代わりに書き換え可能な論理回路であるＦＰＧＡ（Field Programmable Gate Array）や特定用途向け集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現されてもよい。また演算装置１は、ＣＰＵ２、ＲＯＭ３、およびＲＡＭ４の組み合わせの代わりに、異なる構成の組み合わせ、たとえばＣＰＵ２、ＲＯＭ３、ＲＡＭ４とＦＰＧＡの組み合わせにより実現されてもよい。

【0013】

入出力装置５は、演算装置１を使用するオペレータの入出力インタフェースである。入出力装置５はたとえば、マウス、キーボード、および液晶ディスプレイである。通信装置６は、演算装置１が他の装置と通信を行うためのインタフェース、たとえば通信モジュールである。演算装置１は記憶装置７とデータを授受する。記憶装置７には、入力画像７１と、正解視差７２と、機械学習モデル７３と、係数テーブル７４と、推定視差７５が格納される。

【0014】

入力画像７１は、２枚１組の画像を１組以上含む。１組を構成する２枚の画像は視野が重複しており、たとえば所定のベースライン距離だけ離れて光軸が平行に配された２台のカメラで撮影された画像である。正解視差７２は、入力画像７１における１組２枚の画像における視野が重複する領域の各画素の正確な視差値（以下、「正解値」とも呼ぶ）の集合である。たとえば入力画像７１に含まれるある１組の画像において、視野が重複する領域が横１００、縦１００ピクセル、すなわち１万ピクセルであったとする。この場合に正解視差７２には、この１組の画像に対応する正しい視差値、たとえば１万ピクセルそれぞれの正しい視差値が含まれる。入力画像７１および正解視差７２は、あらかじめ作成されて記憶装置７に格納される。

【0015】

機械学習モデル７３は、２枚１組の画像を入力とし、２枚の画像における重複領域の各画素の視差である推定視差７５を出力するモデルである。なお以下では、機械学習モデル７３を「ニューラルネットワークモデル」や「推論モデル」と呼ぶこともある。本実施の形態では、この機械学習モデル７３の縮約を行う。推定視差７５は正解視差７２と一致することが理想である。以下では推定視差７５に含まれるそれぞれの値を「推定値」とも呼ぶ。係数テーブル７４は、視差と後述する重要度係数との対応表である。

【0016】

図２は、係数テーブル７４の一例を示す図である。係数テーブル７４は、視差と重要度係数との対応表である。本実施の形態における重要度係数は、対応する視差の推定誤差を考慮する度合いであり、「０」または「１」の２種類のいずれかの値をとる。重要度係数が「０」の場合は対応する視差の推定誤差を後述する重みづけ誤差の算出に考慮しないことを示し、重要度係数が「１」の場合は対応する視差の推定誤差を重みづけ誤差に考慮することを示す。

【0017】

図２に示す例では、視差が０～４８ピクセルは重要度係数が「１」に設定され、視差が４９ピクセル以上では重要度係数が「０」に設定されている。すなわち、図２に示す例では視差が４８ピクセル以下の画素のみを重みづけ誤差に考慮することを意味する。

【0018】

図３は、演算装置１が実行する処理を示すフローチャートである。本フローチャートは、ステップＳ３０１～Ｓ３０２は推論部４１、ステップＳ３０３～Ｓ３０４は損失算出部４２、ステップＳ３０５～Ｓ３０６は重み解析部４３、ステップＳ３０７～Ｓ３０９は縮約部４４が実行する。

【0019】

まずステップＳ３０１において推論部４１は、機械学習モデル７３および入力画像７１を読み込む。続くステップＳ３０２では推論部４１は、機械学習モデル７３に入力画像７１を入力して推論を実行する。この推論により推定視差７５、たとえば１万ピクセルのそれぞれについて視差の推定値が算出される。続くステップＳ３０３では損失算出部４２は、正解値と推論値との誤差である視差誤差を算出する。前述のように正解値は正解視差７２として格納されている。続くステップＳ３０４では損失算出部４２は、正解視差７２に対応する重要度係数と視差誤差との積である重みづけ誤差ＷＥを次の数式１を用いて算出する。

【0020】

【数1】

【0021】

ただし数式１において、ｄ_ｔｒｕｅは正解値を示し、ｄ_ｅｓｔは推定値を示す。また関数ｆは係数テーブル７４を示す関数であり、視差を引数として重要度係数を返す。図２に示す例では、視差が０～４８ピクセルは重要度係数が「１」に設定されており、視差が４９ピクセル以上では重要度係数が「０」に設定されているので、ｄ_ｔｒｕｅが４８ピクセル以下の場合にはｆ（ｄ_ｔｒｕｅ）は「１」を返し、ｄ_ｔｒｕｅが４９ピクセル以上の場合にはｆ（ｄ_ｔｒｕｅ）は「０」を返す。数式１は、たとえばステップＳ３０２において算出した１万ピクセル個の推論値に対して、それぞれ正解値との差を算出し、さらにその正解値が４８ピクセル以下の場合のみその差を足し合わせて重みづけ誤差ＷＥを算出する。

【0022】

ステップＳ３０５では重み解析部４３は、重みづけ誤差の値を用いて誤差逆伝搬法で勾配を算出する。続くステップＳ３０６では重み解析部４３は、ステップＳ３０５において算出した勾配と、重みパラメタを用いて重要度を算出する。たとえば重要度Ｘは勾配をｇ、重みパラメタをｗで表すと次の数式２のように算出できる。

【0023】

【数2】

【0024】

ただし、重要度の算出の方法は前述した方法に限定されず、正解値と推論値の誤差を用いて算出される重要度算出方法であればどの方法であってもよい。続くステップＳ３０７では縮約部４４は、ステップＳ３０６において算出した重要度の値を用いて、目標の演算量になるように重要度の値が小さいものから重みパラメタを０にまたは縮約対象の重みとして決定する。

【0025】

続くステップＳ３０８では縮約部４４は、縮約したモデルを用いて再学習を行うか、ファインチューニングを行う。最後のステップＳ３０９では縮約部４４は、縮約後のモデルを保存して図３に示す処理を終了する。なお、ステップＳ３０７以降の処理は一例であり、重みパラメタごとの重要度を用いて縮約する様々な公知の手法を用いることができる。

【0026】

図４は、設定部４５が入出力装置５に出力する画面８０の一例を示す図である。画面８０は、推論結果確認領域８１と、重要度係数設定領域８５とを有する。推論結果確認領域８１には、入力画像表示ボタン８２、オリジナル推論結果表示ボタン８３、および縮約後推論結果表示ボタン８４が含まれる。ユーザが入力画像表示ボタン８２を押すと、入出力装置５に推論部４１に入力される入力画像７１が表示される。ユーザがオリジナル推論結果表示ボタン８３を押すと、入出力装置５に縮約前の機械学習モデル７３を用いた推論結果が表示される。ユーザが縮約後推論結果表示ボタン８４を押すと、入出力装置５に縮約後の機械学習モデル７３を用いた推論結果が表示される。

【0027】

重要度係数設定領域８５には、視差入力欄８６、重要度係数入力欄８７、および設定ボタン８８が含まれる。ユーザが視差入力欄８６および重要度係数入力欄８７に数値を入力してから設定ボタン８８を押すと、入力内容が係数テーブル７４に追記される。ただし視差入力欄８６には複数の数値が入力されてもよい。また重要度係数設定領域８５は、係数テーブル７４を初期化するボタンを備えてもよい。

【0028】

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）演算装置１は、ニューラルネットワークモデルである機械学習モデル７３を用いて入力画像７１に対応する推論結果である推定視差７５を出力する推論部４１と、推定視差７５と、入力画像７１における少なくとも一部の領域を示す空間情報である重要度係数と、に基づいて、機械学習モデル７３の重みを更新する縮約部４４と、を備える。そのため演算装置１は、設定される係数テーブル７４に応じて機械学習モデル７３の重みを更新できる。

【0029】

（２）縮約部４４は、機械学習モデル７３のいずれかの重みをゼロに更新する。そのため、演算装置１は機械学習モデル７３を縮約できる。

【0030】

（３）入力画像７１は１組の画像である。推定視差７５は、入力画像７１である１組の画像の重複領域における視差である。係数テーブル７４は、図２に示すように視差および重要度係数の対応表である。演算装置１は、推論結果と正解値の差分である誤差値、および重要度係数に基づき重みづけ誤差を求める損失算出部４２と、重みづけ誤差を用いて、機械学習モデル７３の重みを更新する縮約部４４と、を備える。

【0031】

（４）損失算出部４２は、誤差値および重要度係数の積を足しあわせることで重みづけ誤差を算出する。図２に示すように、重要度係数にはゼロを含む。そのため、機械学習モデル７３による推定が不要な視差の重要度係数をゼロにすることで機械学習モデル７３を効率よく縮約できる。

【0032】

（変形例１）
図５は、変形例１における係数テーブル７４Ａを示す図である。上述した第１の実施の形態では、係数テーブル７４における重要度係数は「０」または「１」のいずれかであった。しかし重要度係数は「０」および「１」以外の値をとってもよいし、値の種類は「２」に限定されない。すなわち、図５に示すように、「０」～「４」の整数でもよいし、「０．１」や「５．５」などの小数でもよい。重要度係数の値や種類の数が変化しても図３に示すフローチャートの処理は特段の変更は不要である。この変形例１によれば、視差ごとの重要性を細かく設定できる。

【0033】

（変形例２）
図６は、変形例２における係数テーブル７４Ｂを示す図である。上述した第１の実施の形態および変形例１では、重要度係数は視差に対応する値として設定された。しかし重要度係数は入力画像７１の座標空間に対応する値として設定されてもよい。この場合に重要度係数は、第１の実施の形態のように「０」または「１」の２値でもよいし、変形例１のように「０」以上の３種類以上の数でもよい。

【0034】

本変形例では、推論部４１に入力される２枚１組の画像において視野が重複する領域が既知であることを前提に、視野が重複する領域における各ピクセルの重要度係数を定義する。たとえば視野の重複が縦１０００ピクセル、横１０００ピクセルの場合に、図６の下部に示すように左上の座標を（０、０）とし、右下の座標を（９９９、９９９）として、座標空間ごとに重要度係数を設定する。具体的には図６に示す例では、左上の（０、０）～（１２、１２）の領域は重要度係数が「４」に設定される。本変形例においても、図３に示すフローチャートの処理は特段の変更は不要である。

【0035】

この変形例２によれば、入力画像７１の座標空間に対して重要度係数を設定できる。そのため、入力画像７１において視差の精度が求められる座標空間に対して大きな重要度係数を設定すればよく、重要度係数の設定が容易である。

【0036】

この変形例２によれば次の作用効果が得られる。
（５）係数テーブル７４Ａは、重複領域における座標および重要度係数の対応表である。そのため、入力画像７１における機械学習モデル７３による推定が不要な領域の重要度を小さくすることで、機械学習モデル７３を効率よく縮約できる。

【0037】

―第２の実施の形態―
図７～図８を参照して、演算装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、処理の内容が第１の実施の形態と異なる。

【0038】

図７は、第２の実施の形態における演算装置１Ａの処理を示すフローチャートである。図７では、図３と同一の処理には同一のステップ番号を付し、図３と類似する処理には類似するステップ番号を付す。ステップＳ３０１～Ｓ３０２は推論部４１、ステップＳ３０３およびＳ３５０は損失算出部４２、ステップＳ３０５Ａ、Ｓ３０６Ａ、およびＳ３６０は重み解析部４３、ステップＳ３０７Ａ～Ｓ３０９は縮約部４４が実行する。

【0039】

ステップＳ３０１～Ｓ３０３は図３と同様なので説明を省略する。ステップＳ３０３の次に実行されるステップＳ３５０では、同一係数誤差算出処理を行う。同一係数誤差算出処理では、重要度係数の値ごとに誤差である同一係数誤差を算出する。ステップＳ３５０の詳細を図８を参照して説明する。

【0040】

図８は、図７のステップＳ３５０の詳細を示すフローチャートである。まずステップＳ３５１では損失算出部４２は、係数テーブル７４における重要度係数の値の種類数を特定する。たとえば図２に示す例では、重要度係数は「０」か「１」の値しかとらないので、種類数は「２」となる。続くステップＳ３５２では損失算出部４２は、重要度係数の値のうち未選択の１つを選択する。なおここで選択した値を以下では「対象係数」と呼ぶ。

【0041】

ステップＳ３５３では損失算出部４２は、対象係数に対応する視差である対象視差を列挙する。たとえば図２の例において対象係数が「１」の場合には、ステップＳ３５３では「０、１、２、・・、４８」が対象視差として列挙される。続くステップＳ３５４では損失算出部４２は、正解視差７２から正解視差７２が対象係数の視差であるピクセルの座標を全て抽出する。以下では、本ステップにおいて抽出した座標を「抽出座標」と呼ぶ。上述した例では、正解値が「０、１、２、・・、４８」である座標が抽出される。続くステップＳ３５５では損失算出部４２は、ステップＳ３０３で算出する正解値と推論値との誤差における抽出座標の値を抽出し平均を取り、同一係数誤差とする。対象係数が「Ｖ」である同一係数誤差ＳＥ_Ｖの算出は次の数式３により表される。

【0042】

【数3】

【0043】

ただし数式３において、Ｎｖは対象係数が「Ｖ」の場合にステップＳ３５４において抽出される抽出座標の総数である。数式１に示すように、本式には重要度係数の値は含まれていない点で図３のステップＳ３０４における処理と大きく異なる。続くステップＳ３５６では損失算出部４２は、重要度係数に未選択の値があるか否かを判断する。損失算出部４２は、未選択の値があると判断する場合はステップＳ３５２に戻る。損失算出部４２は、全ての値を選択した、換言すると全ての値を対象にステップＳ３５２～Ｓ３５５の処理を実行したと判断する場合は図８に示す処理を終了して図７に戻る。図７に戻って説明を続ける。

【0044】

ステップＳ３０５Ａでは重み解析部４３は、ステップＳ３５０において算出した重要度係数の種類ごとに算出した同一係数誤差を用いて誤差逆伝搬法で同一係数勾配をそれぞれ算出する。図３におけるステップＳ３０５と本ステップの処理を比較すると、重みづけ誤差と同一係数誤差のいずれを用いるかが異なる。続くステップＳ３０６Ａでは重み解析部４３は、重要度係数の種類ごとに算出した勾配それぞれについて、図３のステップＳ３０６と同様に重要度を算出する。なおここでは説明の便宜のためにステップ番号を図３とは異ならせた。

【0045】

続くステップＳ３６０では重み解析部４３は、ステップＳ３０６Ａにおいて算出した重要度係数ごとに算出した重要度（同一係数重要度）と重要度係数との積の和を重みづけ重要度として算出する。重みづけ重要度は、重みＷと同じ次元の行列である。続くステップＳ３０７Ａでは縮約部４４は、ステップＳ３０７における重要度の代わりにステップＳ３６０において算出した重み付け重要度を用いて、縮約する重みパラメタを探索する。続くステップＳ３０８およびステップＳ３０９の処理は図３と同様なので説明を省略する。

【0046】

上述した第２の実施の形態によれば、次の作用効果が得られる。
（６）係数テーブル７４は、視差および重要度係数の対応表である。演算装置１Ａは、推論結果と正解値の差分である誤差値に基づき誤差を求める損失算出部４２と、誤差を用いてニューラルネットワークモデルにおける重みパラメタの重要度を算出（図７のＳ３０６Ａ）し、重みパラメタの重要度および重要度係数に基づき重みづけ重要度を算出する（Ｓ３６０）重み解析部４３と、重みづけ重要度に基づき更新候補の重みを決定する縮約部４４と、を備える。そのため、係数テーブル７４を用いて重みづけ重要度を算出し、機械学習モデル７３を縮約できる。なお、第１の実施の形態の手法と本実施の形態の手法に明確な優劣はなく、いずれの手法でも同様の効果が得られる。

【0047】

―第３の実施の形態―
図９～図１０を参照して、演算装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、縮約ではなく学習を行う点で、第１の実施の形態と異なる。

【0048】

図９は、演算装置１Ｂの構成図である。第１の実施の形態における演算装置１との相違点は、ＲＡＭ４が縮約部４４の代わりに学習部４４Ａを備える点である。学習部４４Ａは、機械学習モデル７３を用いた推論部４１による推論結果が真値に近くなるように機械学習モデル７３の重みを更新する。以下では、学習部４４Ａを「更新部」とも呼ぶ。

【0049】

図１０は、第３の実施の形態における演算装置１Ｂの処理を示すフローチャートである。図１０では、図３と同一の処理には同一のステップ番号を付し、図３と類似する処理には類似するステップ番号を付す。ステップＳ３０１～Ｓ３０２は推論部４１、ステップＳ３０３およびＳ３０４は損失算出部４２、ステップＳ３０５は重み解析部４３、ステップＳ３８０およびＳ３０９は学習部４４Ａが実行する。第１の実施の形態における図３と比較すると、重要度を計算するステップＳ３０６が削除され、ステップＳ３０７およびステップＳ３０８の代わりにステップＳ３８０が追加されている点が異なる。

【0050】

ステップＳ３０１～Ｓ３０５の処理は第１の実施の形態と同様なので説明を省略する。ステップＳ３８０では学習部４４Ａは、勾配降下法で機械学習モデル７３の重みパラメタを変更する。続くステップＳ３０９Ａでは学習部４４Ａは、ステップＳ３８０において変更した機械学習モデル７３を保存して図１０に示す処理を終了する。

【0051】

上述した第３の実施の形態によれば、次の作用効果が得られる。
（７）学習部４４Ａは、推論結果が真値に近くなるように機械学習モデル７３の重みを更新する。

【0052】

―第４の実施の形態―
図１１～図１２を参照して、本発明の第４の実施の形態として、環境認識装置を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。本実施の形態では、演算装置１により生成された更新後または縮約後の機械学習モデル７３を搭載した環境認識装置である点で第１の実施の形態と異なる。

【0053】

図１１は、環境認識装置３００の構成図である。環境認識装置３００は、第一撮像装置３１０、第二撮像装置３１１、および車両制御装置３４０とともに車両に搭載され、外界環境を認識する。ただし環境認識装置３００が搭載される対象は車両に限定されず、移動可能な移動体であればよい。この場合には、第一撮像装置３１０、第二撮像装置３１１、および車両制御装置３４０も同一の移動体に搭載される。

【0054】

環境認識装置３００は、第一撮像装置３１０および第二撮像装置３１１において撮像された撮影画像を取得する画像取得部３２０、および視差推定を行う視差演算部３３０を備える。なお以下では、特徴量抽出部３３１、視差推論部３３３、およびマスク推論部３３４の３つをまとめて「外界推論部」とも呼び、マスク視差画像生成部３３５を「環境認識部」とも呼ぶ。

【0055】

視差演算部３３０は、取得された画像から特徴量を抽出する特徴量抽出部３３１、機械学習モデル（「ニューラルネットワークモデル」や「推論モデル」と呼ぶ）を格納する機械学習モデル格納部３３２、視差を求める視差推論部３３３、後述するマスク領域を推定するマスク推論部３３４、視差推論部３３３が求めた視差とマスク推論部３３４が求めたマスク領域を基に視差画像を生成するマスク視差画像生成部３３５を備える。特徴量抽出部３３１における画像の特徴抽出、視差推論部３３３およびマスク推論部３３４における推論処理は、機械学習モデルを用いて処理する。マスク推論部３３４により生成されたマスク視差画像は、後段の車両制御装置３４０に出力され、任意の車両制御アプリケーションの実行等に用いられる。

【0056】

第一撮像装置３１０および第二撮像装置３１１は、たとえば車両の前方を撮像することにより、互いに視差を有する一組の撮影画像（左画像Ｐ１および右画像Ｐ２）を生成するステレオカメラである。第一撮像装置３１０および第二撮像装置３１１はイメージセンサを内蔵し、車両の外界の情報を収集する。そのため、第一撮像装置３１０および第二撮像装置３１１は「外界センサ」と呼ぶこともできる。

【0057】

このステレオカメラは、左カメラとして第一撮像装置３１０および右カメラとして第二撮像装置３１１を有している。左カメラおよび右カメラは、たとえば、車両におけるフロントガラスの上部近傍に、車両の幅方向に沿って所定距離だけ離間して配置されている。また、これらの左カメラおよび右カメラは、互いに同期して撮像動作を行うように設定されている。左右のカメラの視差を利用してステレオ視差画像を生成することができる。

【0058】

なお第一撮像装置３１０および第二撮像装置３１１は、互いに視差を有する一組の撮影画像を生成できればよく、例えば３つ以上のカメラを備えた三眼カメラに第一撮像装置３１０および第二撮像装置３１１が含まれてもよい。また、車両の全周囲の重複撮像領域を含んで撮像するマルチカメラに第一撮像装置３１０および第二撮像装置３１１が含まれてもよい。さらに、第一撮像装置３１０および第二撮像装置３１１はカメラの種類がそれぞれ異なるものであってもよい。また、複数のカメラでなく単眼のカメラであってもよい。たとえば移動機構を有する単眼カメラが第１の位置で撮影を行う際に第一撮像装置３１０として扱い、その単眼カメラが第２の位置で撮影を行う際に第二撮像装置３１１として扱ってもよい。

【0059】

画像取得部３２０は、第一撮像装置３１０において取得された左画像Ｐ１、および第二撮像装置３１１において取得された右画像Ｐ２を取得する。このとき、左画像Ｐ１および右画像Ｐ２のそれぞれは１枚の画像であってもよいし、時系列に取得した複数枚の画像でもよい。

【0060】

特徴量抽出部３３１は、画像取得部３２０により取得された左画像Ｐ１および右画像Ｐ２から、視差推定用の特徴量を抽出する。特徴量の抽出には、機械学習モデルを用いることができる。特徴量抽出部３３１は、視差を有する左画像Ｐ１および右画像Ｐ２をそれぞれ特徴量推定用機械学習モデルに入力し、左画像Ｐ１および右画像Ｐ２のそれぞれから特徴量を抽出し、それぞれに対応する特徴マップＫを生成する。特徴マップＫは、例えば、幅Ｗ、高さＨ、チャンネルＣが３次元配置された画素値により構成されている。

【0061】

次に特徴量抽出部３３１は、生成された２つの特徴マップＫを用い、左画像Ｐ１および右画像Ｐ２の対応点に関する情報（以下、「視差推定用特徴量Ｕ」と呼ぶ）を作成する。ここで、左画像Ｐ１および右画像Ｐ２の対応点に関する情報とは、左画像Ｐ１および右画像Ｐ２の同一被写体のデプス（距離）に応じたずれ量を求めるための情報である。

【0062】

ただし特徴量抽出部３３１は、画像取得部３２０において取得される時系列の複数の左画像Ｐ１に対し特徴量を抽出した、時系列の特徴マップＫ間の対応点に関する情報を作成してもよい。なお、特徴量の抽出に先立って所定の前処理を施してもよい。前処理には、一例として、アフィン処理や輝度補正処理、画素補完処理等が含まれる。前処理済みの画像を用いて特徴量の抽出を行うことで、特徴量推定用機械学習モデルの演算量を削減することができる。

【0063】

視差推論部３３３は、機械学習モデルの重みパラメタ（以下、「第一のニューラルネットワークモデル」とも呼ぶ）を機械学習モデル格納部３３２から読み出す。重みパラメタは、第１の実施の形態に係る演算装置１により更新された縮約後の機械学習モデルを示すものである。すなわち、所定の視差に対する重要度係数を用いて更新された更新後の機械学習モデルである。視差推論部３３３は、重要度係数が０に設定された重みパラメタに係る乗算や加算等の計算を省略するように計算を制御する。機械学習モデル格納部３３２には、第１の実施の形態に示した演算装置１により更新された更新後の機械学習モデルに係る重みパラメタの情報が保存されている。

【0064】

ただし、機械学習モデル格納部３３２に保存される重みパラメタの情報は、重みパラメタの数値そのものでもよいし、符号化された形式でもよい。また、機械学習モデル格納部３３２には、あらかじめ重みパラメタが保存されてもよいし、図示しないネットワークを介して図示しないサーバから受信した重みパラメタを保存してもよい。さらに、機械学習モデル格納部３３２は通信インタフェースとしてのみ機能し、特徴量抽出部３３１などから要求があるたびに、図示しないサーバから重みパラメタを取得してもよい。

【0065】

視差推論部３３３は、視差推定用特徴量Ｕを入力値として、機械学習モデル格納部３３２から読み出した重みパラメタに係る更新後の機械学習モデルを用いて視差を推定する。ここで、更新後の機械学習モデルが特定の視差に対する重要度係数を基に縮約されているため、重要度係数が高く設定されている領域（以下、「第一の領域」とも呼ぶ）の視差に対する推定精度が高くなる。たとえば、自車両から近距離の領域に対応する視差の重要度係数が高く、自車両から遠距離の領域に対応する視差の重要度係数が低く設定されている場合には、重要度係数を用いた更新により、更新後の機械学習モデルは自車両から近距離の範囲において高い推論精度を有する。したがって、更新後の機械学習モデルを用いることで、車両制御アプリケーション毎に必要な精度で視差が推論できる。視差推論部３３３は、推論によって求められた各画素の画素値を示す視差画像Ｄを後段のマスク視差画像生成部３３５に出力する。

【0066】

一方、重要度係数が低く設定された領域（以下、「第二の領域」とも呼ぶ）は、更新の実行に伴い、視差の推論精度が低下する場合がある。そこで、第４の実施の形態に係る環境認識装置３００は、視差の推論精度が低くなる領域に対してマスク（遮蔽）処理を施すマスク推論部３３４を有する。

【0067】

マスク推論部３３４は、マスク推定用機械学習モデルに係る重みパラメタ（以下、「第二のニューラルネットワークモデル」とも呼ぶ）を機械学習モデル格納部３３２から読み込み、視差推定用特徴量Ｕとマスク推定用機械学習モデルとに基づいてマスクを生成する。具体的には、マスク推論部１０２は、視差推定用特徴量Ｕをマスク推定用機械学習モデルに入力し、マスク推定用機械学習モデルから出力されるデータをマスク領域データＭとして得る。

【0068】

マスク領域データＭは、重要度係数が低く設定された第二の領域のうち、重要度係数に基づいた縮約により視差の推定精度が低下している可能性のある領域（以下、「マスク領域」と呼ぶ）を遮蔽または無効化するためのデータである。マスク領域データＭはたとえば、当該マスク領域内に対応する画素に第１の値（たとえば「０」）が設定され、当該マスク領域外に対応する画素に第１の値とは異なる第２の値（たとえば「１」）が設定される。なお、マスク領域データＭの各画素に設定される値は、２値データでなくてもよく、連続値であってもよい。マスク推論部３３４は、推論によって求められたマスク領域データＭ、すなわち画素毎に設定された第１の値または第２の値を後段のマスク視差画像生成部３３５に出力する。

【0069】

マスク推定用機械学習モデルに係る重みパラメタは、前述の重要度係数が低く設定された空間情報に対応する画素に第１の値を設定し、重要度係数が高く設定された空間情報に対応する画素に第２の値を設定するように学習されている。第１の値または第２の値を設定する際の基準には、重要度係数に対する所定の閾値や評価関数等を適宜用いればよい。

【0070】

マスク視差画像生成部３３５は、視差推論部３３３およびマスク推論部３３４から入力された視差画像Ｄおよびマスク領域データＭに基づいて、マスク視差画像Ｄｍを生成する。このとき、マスク推論部３３４により「０」の値が設定された画素は視差が無効となり、「１」の値が設定された画素は視差推論部３３３により求められた視差値が使用される。マスク推論部３３４が生成するマスク領域データＭにより、視差の推論精度が低下すると予想される視差に対応する画素を無効にすることができ、誤検知や誤認識を抑制することが可能となる。生成された視差画像Ｄは、車両制御装置３４０に出力され、任意の車両制御アプリケーションや自己位置推定等に用いられる。

【0071】

図１２は、環境認識装置３００の処理を示すフローチャートである。具体的には図４は、視差推論部３３３、マスク推論部３３４およびマスク視差画像生成部３３５の処理を示している。まずステップＳ３１において、視差推論部３３３は、視差推定用特徴量Ｕを更新後の機械学習モデルに入力する。続くステップＳ３２ではマスク推論部３３４は、視差推定用特徴量Ｕをマスク推定用機械学習モデルに入力する。続くステップＳ３３では視差推論部３３３は、更新後の機械学習モデルによる推論を実行し、視差画像Ｄを出力する。

【0072】

続くステップＳ３４ではマスク推論部３３４は、マスク推定用機械学習モデルによる推論を実行し、マスク領域データＭを出力する。最後にステップＳ３５においてマスク視差画像生成部３３５は、マスク視差画像Ｄｍを生成して図１２に示す処理を終了する。なおステップＳ３１とＳ３２は実行順序が逆でもよいし並列に実行されてもよい。また、ステップＳ３３とＳ３４は実行順序が逆でもよいし並列に実行されてもよい。

【0073】

以上説明した第４の実施の形態によれば、次の作用効果が得られる。
（８）環境認識装置３００は、第一撮像装置３１０および第二撮像装置３１１に内蔵された外界センサにより取得された外界情報を用いて外界環境を認識する。環境認識装置３００は、外界情報が入力される第一のニューラルネットワークモデルを用いた推論、および外界情報が入力される第二のニューラルネットワークモデルを用いた推論を行う外界推論部、すなわち特徴量抽出部３３１、視差推論部３３３、およびマスク推論部３３４と、外界推論部の推論結果に基づいて、外界環境を認識する環境認識部、すなわちマスク視差画像生成部３３５と、を備える。第一のニューラルネットワークモデルは、第１の実施の形態に係る演算装置１により所定の視差に対する重要度係数を用いて更新された更新後の機械学習モデルである。第二のニューラルネットワークモデルは、演算装置１により外界情報における第一の領域と異なる第二の領域を示す空間情報に応じて重みが設定されたニューラルネットワークモデルである。

【0074】

（９）第一撮像装置３１０および第二撮像装置３１１が備える外界センサはイメージセンサである。外界情報は外界センサを用いて撮影された撮影画像、具体的には左画像Ｐ１および右画像Ｐ２である。特徴量抽出部３３１、視差推論部３３３、およびマスク推論部３３４は、第一のニューラルネットワークモデルを用いて撮影画像の視差を推論し、第二のニューラルネットワークモデルを用いて撮影画像中の画素にマスクを設定するか否かを推論する。マスク視差画像生成部３３５（環境認識部）は、特徴量抽出部３３１、視差推論部３３３、およびマスク推論部３３４の推定結果に基づいて、マスクを設定すると推論された画素にマスクが設定された視差画像を生成する。

【0075】

そのため、特定のアプリケーションに特化した更新後の機械学習モデルを環境認識装置３００に適用して視差推論精度が低下する領域が存在する場合であっても、誤検知や誤認識を防止することができる。第４の実施の形態では視差を推定する環境認識装置の例を示したが、深度の推定や画像に対してピクセル単位に映っているものの種類を推定するタスク等の認識でもよい。

【0076】

上述した各実施の形態および変形例において、機能ブロックの構成は一例に過ぎない。別々の機能ブロックとして示したいくつかの機能構成を一体に構成してもよいし、１つの機能ブロック図で表した構成を２以上の機能に分割してもよい。また各機能ブロックが有する機能の一部を他の機能ブロックが備える構成としてもよい。

【0077】

上述した各実施の形態および変形例において、プログラムはＲＯＭ３に格納されるとしたが、プログラムは演算装置１に内蔵される不揮発性記憶装置に格納されていてもよい。また、演算装置１が不図示の入出力インタフェースを備え、必要なときに入出力インタフェースと演算装置１が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、例えば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やＦＰＧＡにより実現されてもよい。

【0078】

上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

【符号の説明】

【0079】

１、１Ａ、１Ｂ：演算装置、５：入出力装置、６：通信装置、７：記憶装置、４１：推論部、４２：損失算出部、４３：重み解析部、４４：縮約部、４４Ａ：学習部、４５：設定部、４１：入力画像、７２：正解視差、７３：機械学習モデル、７４、７４Ａ、７４Ｂ：係数テーブル、３００：環境認識装置、３３１：特徴量抽出部（外界推論部）、３３３：視差推論部（外界推論部）、３３４：マスク推論部（外界推論部）、３３５：マスク視差画像生成部（環境認識部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】