特開 2022-160741 データ処理装置、データ処理システム及びデータ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022160741

(43)【公開日】2022-10-20

(54)【発明の名称】データ処理装置、データ処理システム及びデータ処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221013BHJP

【ＦＩ】

G06T7/00 350C

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021065113

(22)【出願日】2021-04-07

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】特許業務法人 佐野特許事務所

(72)【発明者】

【氏名】片山 雄喜

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】広見 怜

(72)【発明者】

【氏名】荻島 葵

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA60

5L096HA11

5L096JA03

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】ハイパーパラメータ最適化の計算コストを低減する。
【解決手段】複数の入力画像を含む画像データセットを用いてニューラルネットワークの機械学習を実行することにより推論モデルを作成し、推論モデルを用いた推論により各入力画像の特徴量を導出する（Ｓ１２及びＳ１３）。特徴量の導出結果に基づき複数の入力画像のクラスタリングを行い、得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する（Ｓ１４及びＳ１５）。画像データセットに対するニューラルネットワークのハイパーパラメータを調整するための調整処理を実行する（Ｓ１６）。代表特徴量と調整処理後のハイパーパラメータに関する調整結果情報とを含む組データをデータベースに格納する（Ｓ１７）。
【選択図】図７

【特許請求の範囲】

【請求項1】

複数の入力画像を含む画像データセットの供給を受け、前記画像データセットを用いてニューラルネットワークの機械学習を実行することで所定の推論を行う推論モデルを作成する機械学習処理、前記推論モデルを用いた前記推論により各入力画像の特徴量を導出する特徴量導出処理、前記特徴量導出処理の導出結果に基づき前記複数の入力画像のクラスタリングを行うクラスタリング処理、及び、前記クラスタリングにより得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する代表特徴量抽出処理を実行する処理部と、
前記画像データセットに対する前記ニューラルネットワークのハイパーパラメータを調整するための調整処理を実行するハイパーパラメータ調整部と、
前記代表特徴量抽出処理にて抽出された前記代表特徴量と前記調整処理後のハイパーパラメータに関する調整結果情報とを含む組データを、所定のデータベースに格納する記録制御部と、を備えた
、データ処理装置。

【請求項2】

前記ハイパーパラメータ調整部は、前記調整処理において、前記画像データセットに対する前記推論の精度を最適化するための前記ニューラルネットワークのハイパーパラメータを探索し、
前記ハイパーパラメータは複数種類のハイパーパラメータから成り、
前記調整結果情報は、前記複数種類のハイパーパラメータの内、前記推論の精度向上に寄与したハイパーパラメータの種類を特定するとともに、前記推論の精度の最適化のために、特定された種類のハイパーパラメータがとるべき状態を特定する
、請求項１に記載のデータ処理装置。

【請求項3】

複数の第１画像データセットの夫々に対して、前記機械学習処理、前記特徴量導出処理、前記クラスタリング処理、前記代表特徴量抽出処理及び前記調整処理が実行されることで、前記複数の第１画像データセットに対応する複数の組データが前記データベースに格納されているデータ格納状態において、前記処理部に対して他の複数の入力画像を含む第２画像データセットが供給されたとき、
前記処理部は、前記第２画像データセットに対して前記機械学習処理、前記特徴量導出処理、前記クラスタリング処理、及び、前記代表特徴量抽出処理を実行し、
前記ハイパーパラメータ調整部は、前記第２画像データセットについて抽出された前記代表特徴量と、前記データベースにおける各組データ中の前記代表特徴量とに基づき、前記複数の組データの何れかの調整結果情報を前記第２画像データセットに対する事前情報として選択し、前記事前情報に基づき前記第２画像データセットに対する前記調整処理を実行する
、請求項１又は２に記載のデータ処理装置。

【請求項4】

前記処理部は、前記代表特徴量抽出処理において、前記クラスタリングにより得られたクラスタごとに、当該クラスタに属する全特徴量の重心を導出して当該クラスタに属する全特徴量の中から前記重心に最も近い特徴量を前記代表特徴量として抽出し、
前記ハイパーパラメータ調整部は、前記データ格納状態において、前記第２画像データセットについて抽出された前記代表特徴量と、前記データベースにおける各組データ中の前記代表特徴量との類似度に基づき、前記複数の組データの何れかの調整結果情報を前記事前情報として選択する
、請求項３に記載のデータ処理装置。

【請求項5】

前記ハイパーパラメータ調整部は、前記データ格納状態において、前記複数の組データの内、前記類似度が最大となる組データ中の調整結果情報を前記事前情報として選択する
、請求項４に記載のデータ処理装置。

【請求項6】

請求項３～５の何れかに記載のデータ処理装置と、
前記データ処理装置における前記ニューラルネットワークとは別のニューラルネットワークを有する電子機器と、を備え、
前記電子機器は、前記第２画像データセットに対する前記調整処理後のハイパーパラメータを前記別のニューラルネットワークに適用し、前記別のニューラルネットワークに対して車両に設置されたカメラの撮影画像を入力する
、データ処理システム

【請求項7】

複数の入力画像を含む画像データセットの供給を受け、前記画像データセットを用いてニューラルネットワークの機械学習を実行することで所定の推論を行う推論モデルを作成する機械学習処理、前記推論モデルを用いた前記推論により各入力画像の特徴量を導出する特徴量導出処理、前記特徴量導出処理の導出結果に基づき前記複数の入力画像のクラスタリングを行うクラスタリング処理、及び、前記クラスタリングにより得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する代表特徴量抽出処理を実行する処理ステップと、
前記画像データセットに対する前記ニューラルネットワークのハイパーパラメータを調整するための調整処理を実行するハイパーパラメータ調整ステップと、
前記代表特徴量抽出処理にて抽出された前記代表特徴量と前記調整処理後のハイパーパラメータに関する調整結果情報とを含む組データを、所定のデータベースに格納する記録制御ステップと、を備えた
、データ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ処理装置、データ処理システム及びデータ処理方法に関する。

【背景技術】

【0002】

機械学習を用いた画像認識（物体分類、物体検出等）では、良いモデルを構築するために学習時にハイパーパラメータの調整が必要となる。ハイパーパラメータは、データセットやモデル構造に依存して、効果的（モデル精度向上にとっての効果的）な値や種類が変化することが知られているが、その関係性は不明点が多い。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１２６６１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ハイパーパラメータの最適化方法として、グリッドサーチ、ランダムサーチ、ベイズサーチ（ベイズ推定を用いた最適値探索）などが知られているが、ハイパーパラメータの最適化には一般的に多くの計算コスト（計算に必要な時間及び電力等）が必要である。

【0005】

本発明は、ハイパーパラメータの計算コストの低減に寄与するデータ処理装置、データ処理システム及びデータ処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係るデータ処理装置は、複数の入力画像を含む画像データセットの供給を受け、前記画像データセットを用いてニューラルネットワークの機械学習を実行することで所定の推論を行う推論モデルを作成する機械学習処理、前記推論モデルを用いた前記推論により各入力画像の特徴量を導出する特徴量導出処理、前記特徴量導出処理の導出結果に基づき前記複数の入力画像のクラスタリングを行うクラスタリング処理、及び、前記クラスタリングにより得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する代表特徴量抽出処理を実行する処理部と、前記画像データセットに対する前記ニューラルネットワークのハイパーパラメータを調整するための調整処理を実行するハイパーパラメータ調整部と、前記代表特徴量抽出処理にて抽出された前記代表特徴量と前記調整処理後のハイパーパラメータに関する調整結果情報とを含む組データを、所定のデータベースに格納する記録制御部と、を備えた構成（第１の構成）である。

【0007】

上記第１の構成に係るデータ処理装置において、 前記ハイパーパラメータ調整部は、前記調整処理において、前記画像データセットに対する前記推論の精度を最適化するための前記ニューラルネットワークのハイパーパラメータを探索し、前記ハイパーパラメータは複数種類のハイパーパラメータから成り、前記調整結果情報は、前記複数種類のハイパーパラメータの内、前記推論の精度向上に寄与したハイパーパラメータの種類を特定するとともに、前記推論の精度の最適化のために、特定された種類のハイパーパラメータがとるべき状態を特定する構成（第２の構成）であっても良い。

【0008】

上記第１又は第２の構成に係るデータ処理装置において、複数の第１画像データセットの夫々に対して、前記機械学習処理、前記特徴量導出処理、前記クラスタリング処理、前記代表特徴量抽出処理及び前記調整処理が実行されることで、前記複数の第１画像データセットに対応する複数の組データが前記データベースに格納されているデータ格納状態において、前記処理部に対して他の複数の入力画像を含む第２画像データセットが供給されたとき、前記処理部は、前記第２画像データセットに対して前記機械学習処理、前記特徴量導出処理、前記クラスタリング処理、及び、前記代表特徴量抽出処理を実行し、前記ハイパーパラメータ調整部は、前記第２画像データセットについて抽出された前記代表特徴量と、前記データベースにおける各組データ中の前記代表特徴量とに基づき、前記複数の組データの何れかの調整結果情報を前記第２画像データセットに対する事前情報として選択し、前記事前情報に基づき前記第２画像データセットに対する前記調整処理を実行する構成（第３の構成）であっても良い。

【0009】

上記第３の構成に係るデータ処理装置において、前記処理部は、前記代表特徴量抽出処理において、前記クラスタリングにより得られたクラスタごとに、当該クラスタに属する全特徴量の重心を導出して当該クラスタに属する全特徴量の中から前記重心に最も近い特徴量を前記代表特徴量として抽出し、前記ハイパーパラメータ調整部は、前記データ格納状態において、前記第２画像データセットについて抽出された前記代表特徴量と、前記データベースにおける各組データ中の前記代表特徴量との類似度に基づき、前記複数の組データの何れかの調整結果情報を前記事前情報として選択する構成（第４の構成）であっても良い。

【0010】

上記第４の構成に係るデータ処理装置において、前記ハイパーパラメータ調整部は、前記データ格納状態において、前記複数の組データの内、前記類似度が最大となる組データ中の調整結果情報を前記事前情報として選択する構成（第５の構成）であっても良い。

【0011】

本発明に係るデータ処理システムは、上記第３～第５の構成の何れかに係るデータ処理装置と、前記データ処理装置における前記ニューラルネットワークとは別のニューラルネットワークを有する電子機器と、を備え、前記電子機器は、前記第２画像データセットに対する前記調整処理後のハイパーパラメータを前記別のニューラルネットワークに適用し、前記別のニューラルネットワークに対して車両に設置されたカメラの撮影画像を入力する構成（第６の構成）である。

【0012】

本発明に係るデータ処理方法は、複数の入力画像を含む画像データセットの供給を受け、前記画像データセットを用いてニューラルネットワークの機械学習を実行することで所定の推論を行う推論モデルを作成する機械学習処理、前記推論モデルを用いた前記推論により各入力画像の特徴量を導出する特徴量導出処理、前記特徴量導出処理の導出結果に基づき前記複数の入力画像のクラスタリングを行うクラスタリング処理、及び、前記クラスタリングにより得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する代表特徴量抽出処理を実行する処理ステップと、前記画像データセットに対する前記ニューラルネットワークのハイパーパラメータを調整するための調整処理を実行するハイパーパラメータ調整ステップと、前記代表特徴量抽出処理にて抽出された前記代表特徴量と前記調整処理後のハイパーパラメータに関する調整結果情報とを含む組データを、所定のデータベースに格納する記録制御ステップと、を備えた構成（第７の構成）である。

【発明の効果】

【0013】

本発明によれば、ハイパーパラメータの計算コストの低減に寄与するデータ処理装置、データ処理システム及びデータ処理方法を提供することが可能となる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態に係るデータ処理装置の構成図である。

【図2】本発明の実施形態に係り、元画像と入力画像との関係図である。

【図3】本発明の実施形態に係り、画像データセットの構成図である。

【図4】本発明の実施形態に係り、複数の特徴量が２つのクラスタにグループ分けされる様子を示す図である。

【図5】本発明の実施形態に係り、組データの構成図である。

【図6】本発明の実施形態に係り、データ処理装置の動作フローチャートである。

【図7】本発明の実施形態に属する第１実施例に係り、蓄積工程のフローチャートである。

【図8】本発明の実施形態に属する第１実施例に係り、蓄積工程を経た後のデータべースの状態を示す図である。

【図9】本発明の実施形態に属する第１実施例に係り、蓄積結果参照工程のフローチャートである。

【図10】本発明の実施形態に属する第１実施例に係り、異なる２つの画像データセット間における代表特徴量の関係を示す図である。

【図11】本発明の実施形態に属する第１実施例に係り、ハイパーパラメータとモデル精度との関係を示す図である。

【図12】本発明の実施形態に属する第２実施例に係り、データ処理システムの構成図である。

【図13】本発明の実施形態に属する第２実施例に係り、電子機器が車両に搭載される様子を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“６０”によって参照されるハイパーパラメータ調整部は（図１参照）、ハイパーパラメータ調整部６０と表記されることもあるし、調整部６０と略記されることもあり得るが、それらは全て同じものを指す。

【0016】

図１に本実施形態に係るデータ処理装置１の構成図を示す。データ処理装置１は、画像データセット取得部１０、機械学習処理部２０、推論部３０、クラスタリング処理部４０、代表特徴量抽出部５０、ハイパーパラメータ調整部６０、記録制御部７０及びデータベース８０を備える。尚、データ処理装置１は単一のコンピュータ装置にて構成されても良いし、物理的に分離した複数のコンピュータ装置にて構成されても良い。所謂クラウドコンピューティングを利用してデータ処理装置１が構成されても良い。

【0017】

画像データセット取得部１０は、ラベル付けされた複数の入力画像を含む画像データセットを取得する。画像データセット取得部１０は、１以上の物体を含む元画像内に１つの物体を含む物体領域を設定し、各物体領域内の画像を切り出すことで入力画像を生成する。図２の画像６１０は入力画像の元となる元画像の例である。元画像は、例えば、自動車等の車両に搭載されたドライブレコーダによって撮影された画像や、ドライブレコーダによって撮影された画像の中から選ばれた多数の静止画像である。静止画像には、動画像のフレームが含まれる。入力画像の画像データに対し当該入力画像に含まれる物体のクラスを表すクラス情報を付加したデータが、複数、画像データセットに含まれる。或る物体の物体領域は、当該物体の像を取り囲む矩形領域（望ましくは最小の矩形領域）であって、バウンディングボックスとも称される。また、クラス情報はラベルとも称される。

【0018】

尚、本実施形態では、或る画像内に物体の画像データが含まれることを、当該画像に当該物体が含まれる又は存在すると表現することがある。同様に、或る画像中の注目した画像領域（例えば後述の物体領域）内に物体の画像データが含まれることを、注目した画像領域に物体が含まれる又は存在すると表現することがある。本実施形態において物体とは、データ処理装置１による画像認識の対象となる認識対象物体を指す。

【0019】

元画像６１０には３つの物体６１１～６１３が含まれている。物体６１１、６１２、６１３は、夫々、車両、人間、交通標識である。取得部１０は、元画像６１０に、物体６１１を含む物体領域６１１Ｂ、物体６１２を含む物体領域６１２Ｂ及び物体６１３を含む物体領域６１３Ｂを設定し、元画像６１０から物体領域６１１Ｂ～６１３Ｂを切り出すことで入力画像６２１～６２３を生成する。このような元画像が多数用意されることで多数の入力画像が取得される。

【0020】

物体のクラスは物体の種別と同義であり、データ処理装置１で扱われる物体のクラスとして第１～第ｍクラスがあるものとする。ｍは２以上の任意の整数である。例えば、第１クラスが車両であって第２クラスが人間である場合、物体領域６１１Ｂに対応する入力画像６２１に対して付加されるクラス情報は第１クラスを表し、物体領域６１２Ｂに対応する入力画像６２２に対して付加されるクラス情報は第２クラスを表す。他の入力画像についても同様である。

【0021】

図３に示す如く、任意の画像データセットである画像データセットＤＳは、第１入力画像の画像データＤ_１と第１入力画像に含まれる物体のクラスを表すクラス情報Ｃ_１との組と、第２入力画像の画像データＤ_２と第２入力画像に含まれる物体のクラスを表すクラス情報Ｃ_２との組と、第３入力画像の画像データＤ_３と第３入力画像に含まれる物体のクラスを表すクラス情報Ｃ_３との組と、・・・、第ｎ入力画像の画像データＤ_ｎと第ｎ入力画像に含まれる物体のクラスを表すクラス情報Ｃ_ｎとの組と、を含む。ｎは２以上の任意の整数であり、例えば数１００以上の値を持つ。

【0022】

データ処理装置１の管理者により所定のマンマシンインターフェース（不図示）を通じて与えられた操作情報に基づき、各元画像に対し物体領域が設定され且つ各物体領域のクラス情報の指定が行われて良い。或いは、取得部１０が物体検出処理を実行することで取得部１０自体が各物体領域の設定及び各物体領域のクラス情報の取得を行っても良い。また、取得部１０は、単に、データ処理装置１と異なる外部装置（不図示）から有線又は無線通信を通じ、予め作成された画像データセットＤＳの入力を受けるものであっても良い。取得部１０にて取得された画像データセットＤＳはデータ処理装置１内の各構成部位にて自由に参照可能とされる。

【0023】

機械学習処理部２０は、ニューラルネットワーク２１（以下、ＮＮ２１と称する）を有し、機械学習処理を実行する。機械学習処理部２０は、機械学習処理において、画像データセットＤＳを用いてＮＮ２１の機械学習を実行することにより所定の推論を行う推論モデルを作成する。ここにおける機械学習は深層学習に分類されるものであって良く、従って、ＮＮ２１はディープニューラルネットワークであって良い。機械学習が行われる前のＮＮ２１は有益な推論を行う機能を有さないが、機械学習の中でＮＮ２１のパラメータ（重み及びバイアス）が適正に設定される。パラメータ（重み及びバイアス）が適正に設定された後のＮＮ２１が推論モデルに相当する。尚、機械学習の中で機械学習処理部２０により設定されるパラメータ（重み及びバイアス）を、後述のハイパーパラメータと明確に区別するべく、以下、学習パラメータと称することがある。

【0024】

推論部３０は推論モデルを用いて所定の推論を行う。ＮＮ２１は画像分類用のニューラルネットワークであり、故に推論モデルにおける推論は画像分類用の推論である。即ち、推論部３０は、物体を含む入力画像が与えられたとき、推論において、当該入力画像に含まれる物体のクラスを特定（判別）するクラス識別を行う。この際、推論部３０は、クラス識別の実現に有益な特徴量を当該入力画像から導出する特徴量導出処理を実行し、特徴量に基づき当該入力画像に含まれる物体のクラスを特定（判別）する。特徴量は多次元のベクトル量であって、特徴量ベクトルと読み替えても良い。特徴量導出処理及び推論を入力画像ごとに行うことができる。

【0025】

クラスタリング処理部４０は特徴量導出処理の結果に基づくクラスタリング処理を実行する。即ち、クラスタリング処理において、クラスタリング処理部４０は、画像データセットＤＳ内の各入力画像に対して導出された特徴量に基づき、当該画像データセットＤＳにおける複数の入力画像（即ち第１～第ｎ入力画像）のクラスタリングを行う。クラスタリングは、画像データセットＤＳ内の複数の入力画像について導出された複数の特徴量間の距離に基づき実行される。特徴量間の距離は、特徴量が定義される特徴空間上の距離であって、例えば、ユークリッド距離又はコサイン類似度である。クラスタリング処理により、画像データセットＤＳ内において、類似した特徴量を持つ入力画像同士が共通のクラスタに分類される。

【0026】

クラスタリングの方法として階層型クラスタリングを用いて良い。但し、非階層型クラスタリング（ｋ平均法など）によりクラスタリングを行っても良い。ここでは、データ処理装置１で扱われる物体のクラスとして第１～第ｍクラスを想定しているため、画像データセットＤＳに対するクラスタリングにより当該画像データセットＤＳにおける複数の入力画像（即ち第１～第ｎ入力画像）がｍ個のクラスタにグループ分けされるものとする。

【0027】

代表特徴量抽出部５０は、クラスタリング処理により得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する代表特徴量抽出処理を実行する。この際、抽出部５０は、クラスタリング（クラスタリング処理）により得られたクラスタごとに、当該クラスタ内に属する全特徴量の重心を導出し、当該クラスタ内の全特徴量の内、重心に最も近い特徴量を代表特徴量として抽出する。

【0028】

図４を参照して代表特徴量抽出処理の具体例を説明する。図４の例では、“ｍ＝２”且つ“ｎ＝９”であることが想定されている。画像データセットＤＳを構成する第１～第９入力画像の夫々に対し特徴量導出処理が実行されることで第１～第９入力画像に対する第１～第９特徴量として特徴量６７１～６７９が導出される。図４は、特徴量６７１～６７９を特徴空間上にプロットした様子を示す概念図である。実際には、各特徴量は多次元ベクトル量であるが、図４では各特徴量が二次元ベクトル量であるかのように示している。特徴量が特徴空間にプロットされる様子を示す後述の他の図においても同様である。

【0029】

尚、以下では、任意の自然数ｕ及びｖについて、第ｕ入力画像が第ｖクラスタに分類される又は属することを、第ｕ特徴量が第ｖクラスタに分類される又は属すると表現することもある。即ち、第ｕ入力画像が第ｖクラスタに分類される又は属することを、第ｕ特徴量が第ｖクラスタに分類される又は属することは等価である。

【0030】

図４において、破線楕円６５０は第１クラスタに対応する境界線を示し、破線楕円６６０は第２クラスタに対応する境界線を示す。特徴空間において、破線楕円６５０内に位置する特徴量６７１～６７５は第１クラスタに属し、故に特徴量６７１～６７５に対応する第１～第５入力画像は第１クラスタに分類される。特徴空間において、破線楕円６６０内に位置する特徴量６７６～６７９は第２クラスタに属し、故に特徴量６７６～６７９に対応する第６～第９入力画像は第２クラスタに分類される。

【0031】

図４において、点Ｇ１は第１クラスタに属する全特徴量６７１～６７５の重心を表し、点Ｇ２は第２クラスタに属する全特徴量６７６～６７９の重心を表す。図４の例において、第１クラスタの全特徴量６７１～６７５の内、重心Ｇ１に最も近い特徴量は特徴量６７３であり、第２クラスタの全特徴量６７６～６７９の内、重心Ｇ２に最も近い特徴量は特徴量６７７である。このため、第１クラスタにおける代表特徴量として特徴量６７３が抽出され、第２クラスタにおける代表特徴量として特徴量６７７が抽出される。

【0032】

図１を再度参照し、パイパーパラメータ調整部６０は、画像データセットＤＳに対してＮＮ２１のパイパーパラメータを調整するための調整処理を実行する。調整処理における調整は、推論モデルとしてのＮＮ２１のモデル精度を向上させるための、パイパーパラメータの調整である。調整処理では、画像データセットＤＳに対するモデル精度を最適化（換言すれば最大化）するためのパイパーパラメータを探索して調整する。このため、ここにおける調整処理はハイパーパラメータ最適化処理とも称される。モデル精度とは推論モデルとしてのＮＮ２１が行う推論の精度を指す。ここでは、推論モデルにより画像分類用の推論が行われるので、モデル精度（即ち推論の精度）は正解率（accuracy）にて表される。

【0033】

ハイパーパラメータとして複数種類のハイパーパラメータがある。複数種類のハイパーパラメータは、ＮＮ２１の層数、ドロップアウト率、バッチサイズ及びエポック数などである。ここでは、説明の具体化のため、調整処理での調整の対象となるハイパーパラメータの種類として第１～第２０種類があるものとする。

【0034】

パイパーパラメータ調整部６０は、ベイズ推定（ベイズ最適化）を用いて調整処理を実行することにより、モデル精度を最適化（換言すれば最大化）するために第１～第２０種類のハイパーパラメータがとるべき状態（以下、最適状態と称する）を探索し且つ特定する。幾つかの種類のハイパーパラメータ（以下、ハイパーパラメータＨＰ＿ＴＹＰＥＡと称する）は連続値又は離散値などの値を持ち、モデル精度を最適化するときのハイパーパラメータＨＰ＿ＴＹＰＥＡはモデル精度を最適化させる値（以下、最適値と称する）を持つ。ハイパーパラメータＨＰ＿ＴＹＰＥＡに関しては、最適値が上記の最適状態に相当する。値によって定義されないハイパーパラメータ（以下、ハイパーパラメータＨＰ＿ＴＹＰＥＢと称する）もある。例えば、ハイパーパラメータＨＰ＿ＴＹＰＥＢの一種は、複数の選択肢の何れかを取り得るパラメータである。この場合、モデル精度を最適化するときのハイパーパラメータＨＰ＿ＴＹＰＥＢは、上記複数の選択肢の内、モデル精度を最適化させる選択肢（以下、最適選択肢と称する）をとり、このハイパーパラメータＨＰ＿ＴＹＰＥＢに関しては、最適選択肢が上記の最適状態に相当する。この他、値又は選択肢にて表現できない状態をとるハイパーパラメータもあり得る。

【0035】

但し、以下では、説明の具体化のため、第１～第２０種類のハイパーパラメータが、ハイパーパラメータＨＰ＿ＴＹＰＥＡの如く、値によって表現されるハイパーパラメータであると考える。そうすると、調整処理（ハイパーパラメータ最適化処理）において、モデル精度を最適化するための、第１～第２０種類のハイパーパラメータの各最適値が探索及び特定されることになる。即ち、調整処理におけるパイパーパラメータの探索とは、各種類のハイパーパラメータの最適値（最適状態）を探索及び特定することを意味する。

【0036】

ＮＮ２１に限らず、ニューラルネットワークに対するハイパーパラメータは、データセットやモデル構造に依存して、効果的（モデル精度向上にとっての効果的）な値や種類が変化することが知られているが、その関係性は不明点が多い。調整の対象となるハイパーパラメータの種類として第１～第２０種類があったとしても、実際にモデル精度向上に寄与するものは、その一部の種類のみであることが多い。

【0037】

パイパーパラメータ調整部６０は、画像データセットＤＳに対する調整処理の完了後、調整処理後のハイパーパラメータに関する調整結果情報を作成する。調整結果情報は、第１～第２０種類のハイパーパラメータの内、モデル精度の向上に寄与したハイパーパラメータの種類を特定するＨＰ種類情報と、特定された種類のハイパーパラメータの最適値を表すＨＰ最適値情報と、を含む（図５参照）。

【0038】

例えば、調整処理において、第１～第２０種類のハイパーパラメータの内、第１～第５種類のハイパーパラメータのみがモデル精度の向上に寄与したのであれば、調整結果情報は、第１～第５種類のハイパーパラメータを特定するＨＰ種類情報と、第１～第５種類のハイパーパラメータの最適値を表すＨＰ最適値情報と、を含む。

【0039】

或る種類のハイパーパラメータがモデル精度の向上に寄与するとは、当該種類のハイパーパラメータの値を変化させることでモデル精度が変化し、故に、当該種類のハイパーパラメータに最適値を持たせることで当該種類のハイパーパラメータに最適値以外の値を持たせる場合よりもモデル精度が向上することを意味する。或る種類のハイパーパラメータがモデル精度の向上に寄与したか否かの判別方法は公知であるので詳細な説明は割愛するが、例えば当該判別方法としてファンクショナルアノーバによる方法を利用することができる。

【0040】

記録制御部７０は、代表特徴量抽出処理の結果及び調整処理の結果に基づく組データを作成し、作成した組データをデータベース８０に格納する（換言すればデータベース８０に記録する）。

【0041】

図５に組データの構造を示す。組データは、画像データセットＤＳに対する代表特徴量データと調整結果情報とを含む。調整結果情報については上述した通りである。代表特徴量データは、画像データセットＤＳに対して設定されたクラスタごとの代表特徴量を含む。従って、図４の例の如く、画像データセットＤＳに対して第１及び第２クラスタが設定されたのであれば、第１クラスタの代表特徴量（図４の例において特徴量６７３）と第２クラスタの代表特徴量（図４の例において特徴量６７７）とを表すデータが代表特徴量データとして組データに含められる。

【0042】

データベース８０は、不揮発性の記録媒体から成り、記録制御部７０の制御の下で任意の情報及びデータを記録できる。また、データ処理装置１における各構成要素は、データベース８０の記録内容を任意に読み出すことができる。磁気ディスク、光ディスク若しくは半導体メモリ、又は、それらの組み合わせにてデータベース８０を構成することができる。尚、データベース８０はデータ処理装置１の外部に設けられた外部記録装置であっても良い。

【0043】

多くの機械学習装置では、事前情報を持たずにベイズ推定によりハイパーパラメータの最適化が図られる。ハイパーパラメータの最適化には一般的に多くの計算コスト（計算に必要な時間及び電力等）が必要である。これに鑑み、本実施形態では、端的に述べれば以下のような方法を採用する。即ち、画像データセットごとにクラスタの特徴量と、それに対応する最適なパイパーパラメータを記録しておく（組データの記録に相当）。そして、記録された特徴量に似た特徴量を持つ別の画像データセットが与えられたときには、ハイパーパラメータの最適化時に、過去に記録されたパイパーパラメータの情報を参照して事前情報を得ることで、ハイパーパラメータの最適化のための計算コストを低減させる。

【0044】

このような方法を実現するにあたり、図６に示す如く、データ処理装置１は、まずステップＳ１の蓄積工程を実施し、その後にステップＳ３の蓄積結果参照工程を実施する。各各工程の詳細は後述される。

【0045】

以下、複数の実施例の中で、データ処理装置１に関わる具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。

【0046】

＜＜第１実施例＞＞
第１実施例を説明する。図７に第１実施例に係る蓄積工程のフローチャートを示す。図７の蓄積工程を図６のステップＳ１にて行うことができる。図７の蓄積工程はステップＳ１０～Ｓ１８の処理から成る。図７の蓄積工程では、まずステップＳ１０にてデータ処理装置１により管理される変数ｉに“１”が代入される。その後、ステップＳ１１に進み、画像データセットＤＳに対してステップＳ１１～Ｓ１７の処理を順次実行する一連の動作を、Ｐ回分、繰り返し行う。これにより、互いに異なる第１～第Ｐの画像データセットＤＳの夫々に対してステップＳ１１～Ｓ１７の処理が実行される。Ｐは２以上の任意の整数である。第ｉの画像データセットＤＳは特に画像データセットＤＳ［ｉ］と称される。尚、画像データセットＤＳを構成する入力画像の枚数は、互いに異なる任意の画像データセットＤＳ間で、互いに異なり得る。以下、ステップＳ１１～Ｓ１７の処理について説明する。

【0047】

ステップＳ１１において、画像データセット取得部１０により画像データセットＤＳ［ｉ］が取得される。

【0048】

続くステップＳ１２において、機械学習処理部２０は、画像データセットＤＳ［ｉ］を用いてＮＮ２１の機械学習を行う機械学習処理が実行し、これによって所定の推論を行う推論モデルを作成する。画像データセットＤＳ［ｉ］を用いて作成された推論モデルを特に推論モデルＭＤＬ［ｉ］と称する。ステップＳ１２における機械学習処理では、各種類のハイパーパラメータは予め定められた初期値を持つものとする。ステップＳ１２の機械学習処理は、例えば、画像データセットＤＳ［ｉ］に対する推論モデルＭＤＬ［ｉ］の推論の正解率が所定閾値以上となるまで継続される。

【0049】

その後、ステップＳ１３において、推論部３０は、画像データセットＤＳ［ｉ］に対して、推論モデルＭＤＬ［ｉ］による推論を実行する。即ち、推論部３０は、画像データセットＤＳ［ｉ］を構成する入力画像ごとに当該入力画像に含まれる物体のクラスを特定（判別）するクラス識別を行う。この推論の過程で、推論部３０は、画像データセットＤＳ［ｉ］を構成する入力画像ごとに、特徴量導出処理により特徴量を導出する。

【0050】

続くステップＳ１４において、クラスタリング処理部４０は画像データセットＤＳ［ｉ］に対してクラスタリング処理を実行する。クラスタリング処理において、クラスタリング処理部４０は、画像データセットＤＳ［ｉ］内の各入力画像に対して導出された特徴量に基づき当該画像データセットＤＳ［ｉ］における複数の入力画像のクラスタリングを行う。

【0051】

続くステップＳ１５において、代表特徴量抽出部５０は画像データセットＤＳ［ｉ］に対して代表特徴量抽出処理を実行する。代表特徴量抽出処理において、代表特徴量抽出部５０は、ステップＳ１４のクラスタリング処理により得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する。クラスタリング処理により、画像データセットＤＳ［ｉ］を構成する複数の入力画像がＭ個のクラスタにてグループ分けされることで画像データセットＤＳ［ｉ］に対し第１～第Ｍクラスタが設定されたものとする（Ｍは２以上の任意の整数）。画像データセットＤＳ［ｉ］に関する第１～第Ｍクラスタの代表特徴量を、夫々、代表特徴量ＲＦＴ_１［ｉ］～ＲＦＴ_Ｍ［ｉ］と称する。

【0052】

続くステップＳ１６において、ハイパーパラメータ調整部６０は画像データセットＤＳ［ｉ］に対して調整処理（ハイパーパラメータ最適化処理）を実行する。調整処理において、ハイパーパラメータ調整部６０は、ベイズ推定を用い、画像データセットＤＳ［ｉ］に対する推論モデルＭＤＬ［ｉ］のモデル精度を最適化（換言すれば最大化）するためのパイパーパラメータを探索する。即ち、画像データセットＤＳ［ｉ］に対する各種類のハイパーパラメータの最適値（最適状態）を探索する。この探索により上述の調整結果情報（図５参照）が得られる。画像データセットＤＳ［ｉ］に対する調整結果情報を特に調整結果情報ＡＲ［ｉ］と称する。

【0053】

続くステップＳ１７において、記録制御部７０は画像データセットＤＳ［ｉ］に対する組データＧＤ［ｉ］を作成してデータベース８０に格納する。組データＧＤ［ｉ］は、ステップＳ１５にて得られた代表特徴量ＲＦＴ_１［ｉ］～ＲＦＴ_Ｍ［ｉ］と、ステップＳ１６にて得られた調整結果情報ＡＲ［ｉ］と、を含む。

【0054】

ステップＳ１７の処理の後、ステップＳ１８にて変数ｉに“１”が加算されてからステップＳ１１に戻り、ステップＳ１１以降の各処理が繰り返される。従って、１回目のステップＳ１１～Ｓ１７の処理により画像データセットＤＳ［１］に対する組データＧＤ［１］が生成されてデータベース８０に格納され、２回目のステップＳ１１～Ｓ１７の処理により画像データセットＤＳ［２］に対する組データＧＤ［２］が生成されてデータベース８０に格納される。３回目以降のステップＳ１１～Ｓ１７の処理についても同様である。

【0055】

図８に示す如く、ステップＳ１１～Ｓ１７の処理がＰ回繰り返された後には（即ち画像データセットＤＳ［１］～ＤＳ［Ｐ］の夫々に対しステップＳ１１～Ｓ１７の処理が実行された後には）、データベース８０に組データＧＤ［１］～ＧＤ［Ｐ］が格納されている。

【0056】

図９に蓄積結果参照工程のフローチャートを示す。図９の蓄積結果参照工程を図６のステップＳ３にて行うことができる。データベース８０に組データＧＤ［１］～ＧＤ［Ｐ］が格納されている状態で図９に蓄積結果参照工程が実施される。上述したようにＰは２以上の任意の整数である。図９に蓄積結果参照工程では、ステップＳ３１～Ｓ３９の処理が順次実行される。

【0057】

ステップＳ３１において、画像データセット取得部１０により画像データセットＤＳ［Ｐ＋１］が取得される。画像データセットＤＳ［Ｐ＋１］は、蓄積工程で取り扱われた画像データセットＤＳ［１］～ＤＳ［Ｐ］（複数の第１画像データセット）の何れとも異なる新たな画像データセットＤＳ（第２画像データセット）である。画像データセットＤＳ［１］～ＤＳ［Ｐ＋１］の内の任意の２つの画像データセットについて、画像データセットを構成する複数の入力画像は、当該２つの画像データセット間で異なる（但し部分的に共通する入力画像が存在している場合もあり得る）。

【0058】

続くステップＳ３２において、機械学習処理部２０は、画像データセットＤＳ［Ｐ＋１］を用いてＮＮ２１の機械学習を行う機械学習処理が実行し、これによって所定の推論を行う推論モデルを作成する。画像データセットＤＳ［Ｐ＋１］を用いて作成された推論モデルを特に推論モデルＭＤＬ［Ｐ＋１］と称する。ステップＳ３２における機械学習処理では、各種類のハイパーパラメータは予め定められた初期値を持つものとする。ステップＳ３２の機械学習処理は、例えば、画像データセットＤＳ［Ｐ＋１］に対する推論モデルＭＤＬ［Ｐ＋１］の推論の正解率が所定閾値以上となるまで継続される。

【0059】

その後、ステップＳ３３において、推論部３０は、画像データセットＤＳ［Ｐ＋１］に対して、推論モデルＭＤＬ［Ｐ＋１］による推論を実行する。即ち、推論部３０は、画像データセットＤＳ［Ｐ＋１］を構成する入力画像ごとに当該入力画像に含まれる物体のクラスを特定（判別）するクラス識別を行う。この推論の過程で、推論部３０は、画像データセットＤＳ［Ｐ＋１］を構成する入力画像ごとに、特徴量導出処理により特徴量を導出する。

【0060】

続くステップＳ３４において、クラスタリング処理部４０は画像データセットＤＳ［Ｐ＋１］に対してクラスタリング処理を実行する。クラスタリング処理において、クラスタリング処理部４０は、画像データセットＤＳ［Ｐ＋１］内の各入力画像に対して導出された特徴量に基づき当該画像データセットＤＳ［Ｐ＋１］における複数の入力画像のクラスタリングを行う。

【0061】

続くステップＳ３５において、代表特徴量抽出部５０は画像データセットＤＳ［Ｐ＋１］に対して代表特徴量抽出処理を実行する。代表特徴量抽出処理において、代表特徴量抽出部５０は、ステップＳ３４のクラスタリング処理により得られたクラスタごとに当該クラスタに属する特徴量の中から代表特徴量を抽出する。クラスタリング処理により、画像データセットＤＳ［Ｐ＋１］を構成する複数の入力画像がＭ個のクラスタにてグループ分けされることで画像データセットＤＳ［Ｐ＋１］に対し第１～第Ｍクラスタが設定されたものとする（Ｍは２以上の任意の整数）。画像データセットＤＳ［Ｐ＋１］に関する第１～第Ｍクラスタの代表特徴量を、夫々、代表特徴量ＲＦＴ_１［Ｐ＋１］～ＲＦＴ_Ｍ［Ｐ＋１］と称する。

【0062】

続くステップＳ３６において、ハイパーパラメータ調整部６０は、データベース８０の記憶内容を参照して、画像データセットＤＳ［Ｐ＋１］に対する各代表特徴量と画像データセットＤＳ［１］～ＤＳ［Ｐ］に対する各代表特徴量との類似度を導出する。画像データセットＤＳ［Ｐ＋１］に対する各代表特徴量と画像データセットＤＳ［ｉ］に対する各代表特徴量（即ち組データＧＤ［ｉ］中の各代表特徴量）との類似度を特に類似度ＳＤ［ｉ］と称する（ｉは整数）。そうすると、ステップＳ３６において類似度ＳＤ［１］～ＳＤ［Ｐ］が導出される。

【0063】

特徴空間において、代表特徴量ＲＦＴ_１［Ｐ＋１］～ＲＦＴ_Ｍ［Ｐ＋１］の分布と代表特徴量ＲＦＴ_１［ｉ］～ＲＦＴ_Ｍ［ｉ］の分布とが類似しているほど類似度ＳＤ［ｉ］が高くなる。

【0064】

類似度ＳＤ［ｉ］の具体的な導出方法例を説明する。説明の具体化及び簡略化のため、全ての画像データセットについて“ｍ＝Ｍ＝２”であるとする。図１０は、画像データセットＤＳ［ｉ］に対する代表特徴量ＲＦＴ_１［ｉ］及びＲＦＴ_２［ｉ］と、画像データセットＤＳ［Ｐ＋１］に対する代表特徴量ＲＦＴ_１［Ｐ＋１］及びＲＦＴ_２［Ｐ＋１］と、を共通の特徴空間にプロットしたものである。

【0065】

調整部６０は、特徴空間において、代表特徴量ＲＦＴ_１［ｉ］及びＲＦＴ_２［ｉ］の内、代表特徴量ＲＦＴ_１［Ｐ＋１］に近い方を第１対比特徴量（図１０ではＲＦＴ_１［ｉ］）として特定し、第１対比特徴量と代表特徴量ＲＦＴ_１［Ｐ＋１］との距離ｄ１を求める。加えて、調整部６０は、特徴空間において、代表特徴量ＲＦＴ_１［ｉ］及びＲＦＴ_２［ｉ］の内、第１対比特徴量と異なる特徴量を第２対比特徴量（図１０ではＲＦＴ_２［ｉ］）として特定し、第２対比特徴量と代表特徴量ＲＦＴ_２［Ｐ＋１］との距離ｄ２を求める。距離ｄ１が減少するほど類似度ＳＤ［ｉ］が大きくなり、且つ、距離ｄ２が減少するほど類似度ＳＤ［ｉ］が大きくなる。例えば、“ＳＤ［ｉ］＝１－ＲＭＳ”に従って類似度ＳＤ［ｉ］を求めて良い。ＲＭＳは距離ｄ１及びｄ２の二乗平均平方根を表す。

【0066】

そして、ステップＳ３６において、調整部６０は、類似度ＳＤ［１］～ＳＤ［Ｐ］に基づき、データベース８０内の組データＧＤ［１］～ＧＤ［Ｐ］の何れかの調整結果情報を画像データセットＤＳ［Ｐ＋１］に対する事前情報として選択する。具体的には、類似度ＳＤ［１］～ＳＤ［Ｐ］の内の最大の類似度に対応する組データ中の調査結果情報を画像データセットＤＳ［Ｐ＋１］に対する事前情報として選択する。故に例えば、類似度ＳＤ［１］～ＳＤ［Ｐ］の内、類似度ＳＤ［１］が最大であれば調査結果情報ＡＲ［１］が事前情報として選択され、類似度ＳＤ［２］が最大であれば調査結果情報ＡＲ［２］が事前情報として選択される。他の類似度が最大である場合も同様である。

【0067】

ステップＳ３６の後、ステップＳ３７において、調整部６０は、事前情報を基準に画像データセットＤＳ［Ｐ＋１］に対して調整処理（ハイパーパラメータ最適化処理）を実行する。ステップＳ３７の調整処理において、調整部６０は、画像データセットＤＳ［Ｐ＋１］に対する推論モデルＭＤＬ［Ｐ＋１］のモデル精度を最適化（換言すれば最大化）するためのパイパーパラメータを探索する。即ち、画像データセットＤＳ［Ｐ＋１］に対する各種類のハイパーパラメータの最適値（最適状態）を探索する。この際、事前情報を基準にベイズ推定による調整処理を行うことで調整処理を短時間で完了できることが期待される。

【0068】

具体化のため、事前情報が調査結果情報ＡＲ［２］であると仮定してステップＳ３７の処理方法につき説明を加える。調査結果情報ＡＲ［２］には、画像データセットＤＳ［２］に対するＨＰ種類情報及びＨＰ最適値情報が含まれる（図５参照）。調査結果情報ＡＲ［２］において、ＨＰ種類情報は、画像データセットＤＳ［２］に基づく推論モデルＭＤＬ［２］のモデル精度の向上に寄与したハイパーパラメータの種類を特定する。調査結果情報ＡＲ［２］において、ＨＰ最適値情報は、ＨＰ種類情報により特定された種類のハイパーパラメータの最適値を表す。

【0069】

今、調査結果情報ＡＲ［２］において、ＨＰ種類情報が第１～第５種類のハイパーパラメータのみを特定しているケース（以下、ケースαと称する）を考える。また、ケースαにおいて、調査結果情報ＡＲ［２］のＨＰ最適値情報により示される、第１～第５種類のハイパーパラメータの最適値を、夫々、最適値Ｖ［２，１］～Ｖ［２，５］と称する。ケースαに係るステップＳ３７では、事前情報として以下の第１及び第２事前情報を有した状態で、ベイズ推定を利用した調整処理（ハイパーパラメータ最適化処理）が実行される。第１事前情報は、第１～第５種類のハイパーパラメータが推論モデルＭＤＬ［Ｐ＋１］のモデル精度の向上に寄与するハイパーパラメータであること又は第１～第５種類のハイパーパラメータが推論モデルＭＤＬ［Ｐ＋１］のモデル精度の向上に寄与するハイパーパラメータである可能性が高いことを示す。第２事前情報は、推論モデルＭＤＬ［Ｐ＋１］にとっての第１～第５種類のハイパーパラメータの最適値は夫々最適値Ｖ［２，１］～Ｖ［２，５］と一致するか或いは最適値Ｖ［２，１］～Ｖ［２，５］に近いことを示す。

【0070】

第１及び第２事前情報を有した状態でのベイズ推定による調整処理では、例えば、まず第１～第５種類のハイパーパラメータに夫々最適値Ｖ［２，１］～Ｖ［２，５］を持たせた状態で推論モデルＭＤＬ［Ｐ＋１］のモデル精度（正解率等）を観測する。その後、第１～第５種類のハイパーパラメータを夫々最適値Ｖ［２，１］～Ｖ［２，５］の近辺で変化させることで、推論モデルＭＤＬ［Ｐ＋１］のモデル精度を最大化させる第１～第５種類のハイパーパラメータの値を探索する。そして、探索された値、即ち、推論モデルＭＤＬ［Ｐ＋１］のモデル精度を最大化させる第１～第５種類のハイパーパラメータの値（５つの値）を、画像データセットＤＳ［Ｐ＋１］に対する第１～第５種類のハイパーパラメータの最適値として取得する。

【0071】

ケースαに係るステップＳ３７の調整処理において、第６～第２０種類のハイパーパラメータの値を初期値で固定しておく方法ＭＴＤ１を採用して良い。方法ＭＴＤ１の採用時には、当該初期値が画像データセットＤＳ［Ｐ＋１］に対する第６～第２０種類のハイパーパラメータの最適値として取り扱われる。或いは、第６～第２０種類のハイパーパラメータの夫々も変化させて推論モデルＭＤＬ［Ｐ＋１］のモデル精度（正解率等）を観測することで、推論モデルＭＤＬ［Ｐ＋１］のモデル精度を最大化させる第６～第２０種類のハイパーパラメータの値（１５個の値）を探索する方法ＭＴＤ２が採用されても構わない。方法ＭＴＤ２の採用時には、方法ＭＴＤ２で探索された値（１５個の値）が推論モデルＭＤＬ［Ｐ＋１］のモデル精度を最大化させる第６～第２０種類のハイパーパラメータの最適値として取り扱われる。調整処理の計算コスト低減の観点からすれば方法ＭＴＤ１の方が方法ＭＴＤ２よりも優れる。

【0072】

図１１に、ケースαにおける第１種類のハイパーパラメータと推論モデルＭＤＬ［Ｐ＋１］のモデル精度（正解率等）との関係を概略的に示す。図１１において実線曲線７１０は上記関係を示す関数を表す。当該関数の全体像を得るためには、第１種類のハイパーパラメータがとり得る値の全範囲７１１で第１種類のハイパーパラメータを変化させながら、逐次、推論モデルＭＤＬ［Ｐ＋１］のモデル精度を観測しなければならない。ケースαに係るステップＳ３７では、事前情報を元に第１種類のハイパーパラメータの探索範囲を、画像データセットＤＳ［２］に対する最適値Ｖ［２，１］を基準とする範囲７１２に制限し、探索範囲７１２内で画像データセットＤＳ［Ｐ＋１］に対する第１種類のハイパーパラメータの最適値を探索する。探索範囲７１２は、ケースαに係るステップ３７の調整処理において第１種類のハイパーパラメータの値を変化させる範囲に相当し、例えば、最適値Ｖ［２，１］を中心とし且つ一定の数値幅を持つ範囲であって良い。探索範囲７１２は上記の全範囲７１１よりも小さい。図１１では、説明及び図示の簡略化上、第１種類のハイパーパラメータのみが注目されているが、第２～第５種類のハイパーパラメータも同様であり、実際には多次元の探索が行われる。

【0073】

調整がモデル精度向上にとって効果的に働くハイパラメータの種類及び値はデータセット等に依存する。このため例えば、画像データセットＤＳ［２］から抽出される代表特徴量と画像データセットＤＳ［Ｐ＋１］から抽出される代表特徴量との類似度が高いのであれば、画像データセットＤＳ［２］にとって効果的なハイパラメータの種類及び値が、画像データセットＤＳ［Ｐ＋１］にも当てはまると予想される。故に、画像データセットＤＳ［２］の調整結果情報ＡＲ［２］を事前情報として用いて事前情報を基準に画像データセットＤＳ［Ｐ＋１］に対する調整処理（ハイパーパラメータ最適化処理）を実行すれば、当該調整処理を短時間で完了できると期待される。調整結果情報ＡＲ［２］以外の調査結果情報が事前情報として選択される場合も同様である。

【0074】

図９を再度参照する。ステップＳ３７における調整処理においても調整結果情報（図５参照）が得られる。画像データセットＤＳ［Ｐ＋１］に対する調整結果情報を特に調整結果情報ＡＲ［Ｐ＋１］と称する。ステップＳ３７に続くステップＳ３８において、記録制御部７０は、画像データセットＤＳ［Ｐ＋１］に対する組データＧＤ［Ｐ＋１］を作成してデータベース８０に格納する。組データＧＤ［Ｐ＋１］は、ステップＳ３５にて得られた代表特徴量ＲＦＴ_１［Ｐ＋１］～ＲＦＴ_Ｍ［Ｐ＋１］と、ステップＳ３７にて得られた調整結果情報ＡＲ［Ｐ＋１］と、を含む。その後、ステップＳ３９にて変数Ｐに“１”が加算されてからステップＳ３１に戻る。

【0075】

従って例えば、“Ｐ＝１０”の状態で１回目のステップＳ３１～Ｓ３８の各処理が実行されたとしたならば、２回目のステップＳ３１～Ｓ３８では“Ｐ＝１１”の状態で各処理が実行されることになる。故に、１回目のステップＳ３１～Ｓ３８と比べて、２回目のステップＳ３１～Ｓ３８の方が、事前情報の候補が１つ分増加する。結果、ステップＳ３１～Ｓ３８から成る一連の処理が繰り返されるごとに事前情報の候補が増えてゆき、上記計算コストの低下の程度及び可能性が高まってゆくことが期待される。

【0076】

上述の蓄積工程の如く、画像データセットに対する代表特徴量と、当該画像データセットに対するハイパーパラメータの最適化情報ともいうべき調整結果情報と、を組データとしてデータベース８０に格納しておく。これにより、新たな画像データセット（ＤＳ［Ｐ＋１］）に対してハイパーパラメータの調整処理（最適化処理）が必要となったときに、当該調整処理の計算コストを、データベース８０内の情報を参照して低減することが可能となる。

【0077】

蓄積工程を経た上述の蓄積結果参照工程によれば、新たな画像データセット（ＤＳ［Ｐ＋１］）に対するハイパーパラメータの調整処理（最適化処理）の計算コストを、実際に、データベース８０内の情報を参照して低減することができる。

【0078】

尚、データ処理装置１は、ハードウェアとして、演算処理装置であるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等を備える。データ処理装置１は、ＲＯＭに格納されたプログラム又は他の装置から通信を通じて取得されたプログラムをＣＰＵにて実行することにより、データ処理装置１の各機能を実現して良く、故に上述の蓄積工程及び蓄積結果参照工程を実施できて良い。

【0079】

データ処理装置１により実行される処理の一部または全部は、ソフトウェアおよびハードウェアの混在処理により実現しても良い。前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本実施形態の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体は、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリである。

【0080】

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は第１実施例と組み合わせて実施される。図１２は、第２実施例に係るデータ処理システム（推論システム）ＳＹＳの全体構成図である。データ処理システムＳＹＳは、上述のデータ処理装置１と電子機器２を構成される。電子機器２は、カメラ２１０、制御部２２０及び通信部２３０を備える。

【0081】

図１３に示す如く、ここでは、電子機器２が車両ＣＲに搭載されることを想定する。車両ＣＲは任意の車両であって良いが、主として、路上を走行可能な自動車が車両ＣＲとして想定される。この場合、電子機器２は車両ＣＲに搭載されたドライブレコーダ又はカーナビゲーションシステムの構成要素であって良い。カメラ２１０はドライブレコーダのカメラであっても良いし、カーナビゲーションシステムに組み込まれるカメラであっても良い。カメラ２１０は車両ＣＲに設置され、車両ＣＲの外部の風景（例えば車両ＣＲの前方又は後方）の撮影を行う。カメラ２１０は所定のフレームレートで順次撮影を行い、カメラ２１０の撮影画像の画像データは制御部２２０に送られる。

【0082】

通信部２３０は、所定の通信網に接続され、電子機器２と異なり且つ所定の通信網に接続された他の任意の相手側装置と、双方向通信を行う。相手側装置にデータ処理装置１が含まれていて良い。通信網は移動体通信網及びインターネットを含む。

【0083】

電子機器２は車両ＣＲに固定的に搭載された車載装置であっても良いし、車両ＣＲに対して着脱任意に搭載された車載装置であっても良い。電子機器２はスマートホン又はタブレット等に分類される携帯型情報端末であっても良い。但し、何れにせよ、ここでは、カメラ２１０が車両の外部の風景の撮影を行い得るよう、電子機器２（従ってカメラ２１０）が車両ＣＲに設置されるものとする。

【0084】

制御部２２０は、図１の機械学習処理部２０及び推論部３０と同等の機械学習処理部及び推論部を備える。制御部２２０における機械学習処理部は、データ処理装置１におけるＮＮ２１（図１参照）と同様のニューラルネットワーク２２１（以下、ＮＮ２２１と称する）を有し、第１実施例で述べた機械学習処理と同様の機械学習処理をＮＮ２２１に対して実行することができる。故に、制御部２２０は、任意の画像データセットを用いてＮＮ２１の機械学習を実行することにより所定の推論を行う推論モデルを作成できて良く、作成した推論モデルを用いて所定の推論を行ってよい。

【0085】

ここにおける機械学習は深層学習に分類されるものであって良く、従って、ＮＮ２２１はディープニューラルネットワークであって良い。機械学習前のＮＮ２２１は有益な推論を行う機能を有さないが、機械学習の中でＮＮ２２１のパラメータ（重み及びバイアス）が適正に設定される。パラメータ（重み及びバイアス）が適正に設定された後のＮＮ２２１が推論モデルに相当する。

【0086】

推論モデルとして機能するＮＮ２２１のハイパーパラメータとして、データ処理装置１にて調整処理が成された後のハイパーパラメータを用いることができる。即ち例えば、図９のステップＳ３７の調整処理により探索された、画像データセットＤＳ［Ｐ＋１］に対する各種類のハイパーパラメータの最適値を、ＮＮ２２１の各種類のハイパーパラメータの値として用いることができる。換言すれば、ＮＮ２２１を、ステップＳ３７の調整処理後のＮＮ２１と同等のものにして良い。制御部２２０は、画像データセットＤＳ［Ｐ＋１］に対する各種類のハイパーパラメータの最適値を、通信部２３０を用いてデータ処理装置１から受信して良い。

【0087】

推論モデルとして機能するＮＮ２２１に対してカメラ２１０の撮影画像が入力され、ＮＮ２２１はカメラ２１０の撮影画像に対して所定の推論を行って推論結果を出力する。制御部２２０にて行われる推論は、当該撮影画像に含まれる物体のクラスを特定（判別）するクラス識別を含む。カメラ２１０の撮影画像には１以上の物体が含まれることが多い。制御部２２０は、カメラ２１０の撮影画像に含まれる物体ごとに物体を含む物体領域（バウンディングボックス）を当該撮影画像内に設定する機能を有して良く、各物体領域の画像に対してクラス識別を行うことができる。制御部２２０は、物体領域の設定内容及びクラス識別の結果を用いて車両ＣＲの運転支援又は自動運転等を実現して良い。

【0088】

データ処理システムＳＹＳによれば、車両ＣＲで用いられるニューラルネットワークのハイパーパラメータの調整（最適化）を、低い計算コストで実現することが可能となる。

【0089】

尚、制御部２２０は、ハードウェアとして、演算処理装置であるＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等を備える。制御部２２０は、ＲＯＭに格納されたプログラム又は他の装置から通信を通じて取得されたプログラムをＣＰＵにて実行することにより、制御部２２０の各機能を実現して良い。

【0090】

＜＜第３実施例＞＞
第３実施例を説明する。第３実施例では、上述した事項に対する応用技術、変形技術又は補足事項等を説明する。

【0091】

データ処理装置１で実行されると上述した処理及び動作を、データ処理装置１及び電子機器２の協働により実現するようにしても良い。この場合、例えば、第１実施例における蓄積工程及び蓄積結果参照工程の内、一部がデータ処理装置１にて行われ、残部が電子機器２にて行われる。

【0092】

尚、データ処理装置１自体が車載装置（車両ＣＲに搭載される装置）であっても構わない。車両（例えば放送中継車）によっては、豊富な計算資源を有する車載装置が設置されることもあり、この場合においては特にデータ処理装置１自体を車載装置とすることも可能である。

【0093】

パイパーパラメータ調整部６０は、ベイズ推定以外のアルゴリズムを用いて調整処理を実行しても良い。例えば、進化計算又は強化学習を用いて調整処理（ハイパーパラメータ最適化処理）を実行しても良い。

【0094】

図１のデータ処理装置１には処理部が内包される。当該処理部は、機械学習処理部２０、推論部３０、クラスタリング処理部４０及び代表特徴量抽出部５０を内包する機能ブロックであって、画像データセットＤＳの供給を受けて、機械学習処理、特徴量導出処理、クラスタリング処理及び代表特徴量抽出処理を実行できる。

【0095】

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

【符号の説明】

【0096】

１ データ処理装置
１０ 画像データセット取得部
２０ 機械学習処理部
３０ 推論部
４０ クラスタリング処理部
５０ 代表特徴量抽出部
６０ ハイパーパラメータ調整部
７０ 記録制御部
８０ データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】