特許 7469912 情報処理装置、推論装置、それらの制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-09

(45)【発行日】2024-04-17

(54)【発明の名称】情報処理装置、推論装置、それらの制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240410BHJP

   G06N 3/0495 20230101ALI20240410BHJP

   G06F 18/15 20230101ALI20240410BHJP

   G06F 18/241 20230101ALI20240410BHJP

【ＦＩ】

G06N20/00

G06N3/0495

G06F18/15

G06F18/241

【請求項の数】 19

(21)【出願番号】P 2020036041

(22)【出願日】2020-03-03

(65)【公開番号】P2021140336

(43)【公開日】2021-09-16

【審査請求日】2023-02-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】田邉 章弘

【審査官】多賀 実

(56)【参考文献】

【文献】特開２０００－０５９６２８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８３２０２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １７／１０－１７／１８

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／２０－１０／８６

(57)【特許請求の範囲】

【請求項1】

入力データを入力する入力手段と、
前記入力手段により入力した入力データの複数の値の中から、その値を０に変換する所定値を判別する第１の判別手段と、
前記入力データの前記所定値と一致する値を０値に変換する処理と、前記入力データの０値に変換する以外の値から前記所定値を減算する処理との加工処理を行う加工手段と、
前記加工手段により加工した場合の加工データに含まれる０値の割合が第１の閾値より小さい場合に、前記加工データを用いて学習済みモデルを生成する学習処理を行う学習手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記加工手段は、前記減算する処理により０より小さい値となる値を、さらに０値に変換することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記加工手段は、前記減算する処理により０より大きく第２の閾値以下となる値を、さらに０値に変換することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記加工データにおける０値の割合が前記第１の閾値以上である場合は、前記第１の判別手段は前記所定値を変更することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。

【請求項5】

前記加工手段は、前記入力データにおける０値の値に対しては、前記減算する処理を実行しないことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記入力データにおける０値の割合が第３の閾値以下であるか否かを判別する第２の判別手段をさらに備え、該第２の判別手段により、前記入力データにおける０値の割合が前記第３の閾値より大きいと判別された場合に、前記第１の判別手段は前記所定値を変更することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。

【請求項7】

前記加工データにおける０値の割合が第４の閾値以上である場合には、前記加工手段は、前記第２の閾値を変更することを特徴とする請求項３に記載の情報処理装置。

【請求項8】

前記加工手段は、前記入力データの大きさが所定以下の大きさの場合に、前記加工処理を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

前記第１の判別手段は、前記所定値を、前記入力データの中で最も出現頻度の高い値、前記入力データの平均値、前記入力データの中央値に基づいて判別することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。

【請求項10】

請求項１乃至９のいずれか１項に記載の情報処理装置により学習された学習済みモデルと、前記加工データとを用いて、推論処理を行う推論手段を備えることを特徴とする推論装置。

【請求項11】

前記加工データを符号化する符号化手段と、該符号化手段により符号化されたデータを復号化する復号化手段とをさらに備えることを特徴とする請求項１０に記載の推論装置。

【請求項12】

前記推論手段の推論の結果に対して、前記加工処理に基づいて補正を行う補正手段をさらに備えることを特徴とする請求項１０または１１に記載の推論装置。

【請求項13】

前記入力データが画像データである場合に、補正手段は前記補正を行わないことを特徴とする請求項１２に記載の推論装置。

【請求項14】

入力データを入力する入力工程と、
前記入力工程において入力した入力データの複数の値の中から、その値を０に変換する所定値を判別する第１の判別工程と、
前記入力データの前記所定値と一致する値を０値に変換する処理と、前記入力データの０値に変換する以外の値から前記所定値を減算する処理との加工処理を行う加工工程と、
前記加工工程において加工した場合の加工データに含まれる０値の割合が第１の閾値以下である場合に、前記加工データを用いて学習済みモデルを生成する学習処理を行う学習工程と、
を有することを特徴とする情報処理装置の制御方法。

【請求項15】

請求項１乃至９のいずれか１項に記載の情報処理装置により学習された学習済みモデルと、前記加工データとを用いて、推論処理を行う推論工程を有することを特徴とする推論装置の制御方法。

【請求項16】

コンピュータを、請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

【請求項17】

コンピュータを、請求項１乃至９のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【請求項18】

コンピュータを、請求項１０乃至１３のいずれか１項に記載の推論装置の各手段として機能させるためのプログラム。

【請求項19】

コンピュータを、請求項１０乃至１３のいずれか１項に記載の推論装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習におけるデータの加工技術に関するものである。

【背景技術】

【0002】

ニューラルネットワーク等に代表される機械学習手法の活用方法として、クラウド上で用いる以外に、組み込み機器において用いる方法もある。例えば撮像装置では特定の被写体をニューラルネットワークにより判別して自動的に焦点を合わせる製品が存在する。

【0003】

組み込み機器でニューラルネットワークの処理を行う際に課題となるのが、ニューラルネットワークのデータサイズである。ニューラルネットワークの種類によっては、学習済みモデルのパラメータ数が大きいため、データサイズがより大きくなる。データサイズを小さくする方法として、プルーニングと呼ばれる処理でニューラルネットワークにおけるノード数を減らしたり、あるいはノード間の接続を減らしたりする処理が知られている。

【0004】

学習済みモデルのパラメータ以外の部分のデータサイズに関しては、例えば特許文献１では、入力データであるＲＡＷデータを読み込んで、ＲＧＢデータを生成し、該当する色成分以外の画素を０にしてマスク処理した後に畳み込み演算を行う方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１４－１２３８１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、入力データの状態に基づいて、入力データ中のどの値を０に変換するかを判断しておらず、更に精度への影響は考慮されていない。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、機械学習において、精度への影響を軽減しつつ、入力データのデータサイズを小さくすることである。

【課題を解決するための手段】

【0008】

本発明に係わる情報処理装置は、入力データを入力する入力手段と、前記入力手段により入力した入力データの複数の値の中から、その値を０に変換する所定値を判別する第１の判別手段と、前記入力データの前記所定値と一致する値を０値に変換する処理と、前記入力データの０値に変換する以外の値から前記所定値を減算する処理との加工処理を行う加工手段と、前記加工手段により加工した場合の加工データに含まれる０値の割合が第１の閾値より小さい場合に、前記加工データを用いて学習済みモデルを生成する学習処理を行う学習手段と、を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、機械学習において、精度への影響を軽減しつつ、入力データのデータサイズを小さくすることが可能となる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態における情報処理装置のハードウェア構成を示すブロック図。

【図2】第１の実施形態における撮像装置のハードウェア構成を示すブロック図。

【図3】第１の実施形態における入力データの変換処理を説明する図。

【図4】第１の実施形態の情報処理装置において実行される処理のフローチャート。

【図5】第１の実施形態の撮像装置において実行される処理のフローチャート。

【図6】第２の実施形態における入力データの変換処理を説明する図。

【図7】第２の実施形態の情報処理装置において実行される処理のフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（第１の実施形態）
以下、本発明の第１の実施形態における、学習処理と推論処理について説明する。図１は、第１の実施形態に係わる学習装置として機能する情報処理装置１００のハードウェア構成を示すブロック図である。

【0013】

図１に示す様に、情報処理装置１００は、ＣＰＵ１０１と、メモリ１０２と、表示部１０３と、操作部１０５と、記録部１０６と、通信部１０７と、ニューラルネットワーク処理部１０８とを有している。

【0014】

ＣＰＵ１０１は、記録部１０６に記憶されているコンピュータプログラムを実行することによって、情報処理装置１００を構成するすべての処理ブロックの制御を行う。メモリ１０２は、主にＣＰＵ１０１のワークエリアや、データの一時バッファ領域として使用されるメモリである。

【0015】

表示部１０３は、液晶パネル、または有機ＥＬパネル等で構成され、ＣＰＵ１０１の指示に基づいて、操作画面等の表示を行う。内部バス１０４は、情報処理装置１００内の各処理ブロックを相互に接続するためのバスである。

【0016】

操作部１０５は、キーボード、マウス、ボタン、タッチパネル、またはリモコン等によって構成され、ユーザの操作指示を受け付ける。操作部１０５から入力された操作情報は、ＣＰＵ１０１に送信され、ＣＰＵ１０１は操作情報に基づいて各処理ブロックの制御を実行する。

【0017】

記録部１０６は記録媒体を有し、ＣＰＵ１０１の指示に基づいて記録媒体に様々なデータを格納したり読み出したりする処理ブロックである。記録媒体は、例えばＥＥＰＲＯＭ、内蔵フラッシュメモリ、内蔵ハードディスク、或いは着脱可能なメモリカード等で構成される。記録部１０６には、ニューラルネットワーク処理部１０８における学習用データである入力データと教師データを保存しておく。なお、教師データを新規に作成する場合は、処理時間はかかるが、高精度に判定できる高性能学習済みモデルを使用した結果を教師データとして生成して記録部１０６に記録する。

【0018】

通信部１０７は、無線ＬＡＮ及び有線ＬＡＮの通信を行うためのハードウェア等を備えている。無線ＬＡＮにおいては、例えばＩＥＥＥ８０２．１１ｎ／ａ／ｇ／ｂ方式の処理を行うブロックである。通信部１０７は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイントを経由して他の無線通信機器と無線ＬＡＮ通信を行う。また、通信部１０７は、有線ＬＡＮにおいてＥｔｈｅｒｎｅｔケーブルにより外部ルータ、またはスイッチングハブを介して通信を行う。通信部１０７は、撮像装置２００を含む外部の機器と通信を行い、画像や制御データ、学習用データ、学習済みモデル等の情報のやり取りを行う。

【0019】

ニューラルネットワーク処理部１０８は、記録部１０６に保存された学習用データと、予め作成されたニューラルネットワークのモデルを用いて、ニューラルネットワークの学習処理を行う。ニューラルネットワーク処理部１０８は、例えば画像データを入力データとして異なるクラスの被写体の夫々に対応する学習済みモデルを構築するための学習処理を行う。また、この入力データは、操作部１０５を介したユーザからの指示から得てもよいし、または予めプログラムされた通信部１０７から受信してもよいし、記録部１０６に記録された入力データを読み込んでもよい。ニューラルネットワーク処理部１０８はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成される。なお、ニューラルネットワークの学習処理は、ニューラルネットワーク処理部１０８を設けず、ＣＰＵ１０１で行ってもよいし、両方で行ってもよい。また、ニューラルネットワーク処理部１０８により行われた学習処理の結果である、学習済みモデルも記録部１０６（学習済みモデル保持手段）に保持される。また、ニューラルネットワーク処理部１０８は、記録部１０６に保存された学習済みモデルと、推論用の入力データとを用いて推論することも可能である。

【0020】

図２は、推論装置である撮像装置２００のハードウェア構成を示すブロック図である。

【0021】

図２に示すように、撮像装置２００は、ＣＰＵ２０１と、メモリ２０２と、不揮発性メモリ２０３と、操作部２０４と、ニューラルネットワーク処理部２０５と、撮像部２１２と、画像処理部２１３と、符号化処理部２１４とを有している。更に、撮像装置２００は、表示制御部２１５と、表示部２１６と、通信制御部２１７と、通信部２１８と、記録媒体制御部２１９と、内部バス２３０とを有している。また、撮像装置２００は、撮影レンズ２１１を用いて被写体の光学像を撮像部２１２の画素アレイに結像させる。撮影レンズ２１１は、撮像装置２００のボディ（筐体、本体）から、着脱不能であってもよいし、着脱可能であってもよい。また、撮像装置２００は、記録媒体制御部２１９を介して画像データの書き込み及び読み出しを不図示の記録媒体に対して行う。記録媒体は、撮像装置２００に着脱可能であってもよいし、着脱不能であってもよい。

【0022】

ＣＰＵ２０１は、不揮発性メモリ２０３に記憶されているコンピュータプログラムを実行することによって、内部バス２３０を介して撮像装置２００の各部（各機能ブロック）の動作を制御する。

【0023】

メモリ２０２は、書き換え可能な揮発性メモリである。メモリ２０２は、撮像装置２００の各部の動作を制御するためのコンピュータプログラム、撮像装置２００の各部の動作に関するパラメータ等の情報、通信制御部２１７によって受信される情報等を一時的に記録する。また、メモリ２０２は、撮像部２１２によって取得された画像、画像処理部２１３、符号化処理部２１４等によって処理された画像及び情報を一時的に記録する。メモリ２０２は、これらを一時的に記録するために十分な記憶容量を備えている。

【0024】

不揮発性メモリ２０３は、電気的に消去及び記録が可能なメモリであり、例えばＥＥＰＲＯＭ、ハードディスク等が用いられる。不揮発性メモリ２０３は、撮像装置２００の各部の動作を制御するコンピュータプログラム及び撮像装置２００の各部の動作に関するパラメータ等の情報を記憶する。このようなコンピュータプログラムに基づく処理により、撮像装置２００の各種動作が実現される。更に、不揮発性メモリ２０３は、ニューラルネットワーク処理部２０５で使用する、ニューラルネットワークの処理内容を記述したコンピュータプログラムと、重み係数やバイアス値等の学習済み係数パラメータを格納する。なお、重み係数とはニューラルネットワークにおいてノード間の接続の強さを示すための値であり、バイアスは重み係数と入力データの積算値に対してオフセットを与えるための値である。不揮発性メモリ２０３は、学習済み係数パラメータと、ニューラルネットワークの処理を記述したコンピュータプログラムとを夫々複数保持することが可能である。

【0025】

なお、メモリ２０２ではなく不揮発性メモリ２０３に、上述したニューラルネットワーク処理部２０５で使用する、ニューラルネットワークの処理を記述したコンピュータプログラム及び学習済み係数パラメータを、夫々複数格納するようにしてもよい。また、不揮発性メモリ２０３は、履歴データも格納する。

【0026】

操作部２０４は、撮像装置２００を操作するためのユーザインタフェースを提供する。操作部２０４は、電源ボタン、メニューボタン、撮影用のレリーズボタン、動画録画ボタン、キャンセルボタン等の各種ボタンを含んでおり、各種ボタンはスイッチ、タッチパネル等により構成される。ＣＰＵ２０１は、操作部２０４を介して入力されたユーザの指示に従って撮像装置２００を制御する。なお、ここでは、操作部２０４を介して入力される操作に基づいてＣＰＵ２０１が撮像装置２００を制御する場合を例に説明したが、これに限定されるものではない。例えば、不図示のリモートコントローラ、不図示の携帯端末等から通信部２１８を介して入力される要求に基づいて、ＣＰＵ２０１が撮像装置２００を制御してもよい。

【0027】

ニューラルネットワーク処理部２０５は、予め作成された学習済みモデルにおける、係数パラメータを用いてニューラルネットワークの処理を実行する。なお、ニューラルネットワークの処理とは、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と全結合層で構成されるものなどであるが、これに限定されるものではない。また上述の学習済み係数パラメータは、全結合層では各層のノード間を結ぶエッジ毎に持つ重み係数やバイアス値、ＣＮＮではカーネルの重み係数やバイアス値に相当する。また、ニューラルネットワーク処理部２０５は、圧縮された入力データや学習済み係数パラメータをデコードする機能を持っていてもよい。

【0028】

撮影レンズ（レンズユニット）２１１は、ズームレンズ、フォーカスレンズ等を含む不図示のレンズ群、不図示のレンズ制御部、不図示の絞り等によって構成される。撮影レンズ２１１は、画角を変更するズーム手段として機能し得る。撮影レンズ２１１のレンズ制御部は、ＣＰＵ２０１から送信される制御信号により、焦点の調整及び絞り値（Ｆ値）の制御を行う。

【0029】

撮像部２１２は、動画像を構成する複数の画像を順次取得する取得手段として機能し得る。撮像部２１２には、例えばＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補型金属酸化膜半導体）素子等から成るエリアイメージセンサが用いられる。撮像部２１２は、被写体の光学像を電気信号に変換する不図示の光電変換部が行列状、すなわち、２次元的に配列された不図示の画素アレイを有している。この画素アレイには、被写体の光学像が撮影レンズ２１１によって結像される。撮像部２１２は、撮像した画像を画像処理部２１３又はメモリ２０２に出力する。なお、撮像部２１２は、静止画像を取得することも可能である。

【0030】

画像処理部２１３は、撮像部２１２から出力される画像データ、又は、メモリ２０２から読み出された画像データに対し、所定の画像処理を行う。この画像処理の例としては、ダイナミックレンジ変換処理、補間処理、縮小処理（リサイズ処理）、色変換処理等が挙げられる。また、画像処理部２１３は、撮像部２１２によって取得された画像データを用いて、露光制御、焦点調節制御等のための所定の演算処理を行う。画像処理部２１３による演算処理によって得られた演算結果に基づいて、露光制御、焦点調節制御等がＣＰＵ２０１によって行われる。また、画像処理部２１３は、ニューラルネットワーク処理部２０５で使用する入力データの一部を０値化するデータ加工処理を行ってもよい。

【0031】

符号化処理部２１４は、画像データに対してフレーム内予測符号化（画面内予測符号化）、フレーム間予測符号化（画面間予測符号化）等を行うことによって、画像データのサイズを圧縮する。符号化処理部２１４は、例えば、半導体素子等により構成される。符号化処理部２１４は、撮像装置２００の外部に設けられてもよい。また、符号化処理部はニューラルネットワーク処理部２０５で使用する入力データを符号化処理することが可能である。

【0032】

表示制御部２１５は、表示部２１６を制御する。表示部２１６は、不図示の表示画面を備える。表示制御部２１５は、表示部２１６の表示画面に表示可能な画像を生成し、その画像、すなわち、画像信号を表示部２１６に出力する。また、表示制御部２１５は表示部２１６に画像データを出力するだけでなく、通信制御部２１７を介して外部機器に画像データを出力することも可能である。表示部２１６は、表示制御部２１５から送られてくる画像信号に基づいて、表示画面に画像を表示する。表示部２１６は、表示画面にメニュー等の設定画面を表示する機能であるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を備えている。表示制御部２１５は、画像信号にＯＳＤ画像を重畳して表示部２１６に画像信号を出力し得る。表示部２１６は、液晶ディスプレイ、有機ＥＬディスプレイ等により構成されており、表示制御部２１５から送られてきた画像信号を表示する。表示部２１６は、例えばタッチパネルであってもよい。表示部２１６がタッチパネルである場合、表示部２１６は、操作部２０４としても機能し得る。

【0033】

通信制御部２１７は、ＣＰＵ２０１により制御される。通信制御部２１７は、ＩＥＥＥ８０２．１１等のような無線通信規格に適合する変調信号を生成して、その変調信号を通信部２１８に出力し、外部の機器からの変調信号を、通信部２１８を介して受信する構成である。また、通信制御部２１７は、映像信号の制御信号を送受信することが可能である。例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などの通信規格に準拠した映像信号を送るために通信部２１８を制御してもよい。

【0034】

通信部２１８は、映像信号と制御信号を物理的な電気信号に変換して外部機器と送受信を行う。なお、ここでは、通信部２１８によって映像信号と制御信号などの無線通信が行われる場合を例に説明したが、通信部２１８によって行われる通信はこれらに限定されるものではない。

【0035】

記録媒体制御部２１９は、記録媒体を制御する。記録媒体制御部２１９は、ＣＰＵ２０１からの要求に基づいて、記録媒体を制御するための制御信号を記録媒体に出力する。記録媒体としては、例えば不揮発性メモリや磁気ディスク等が用いられる。

【0036】

各々の機能ブロック２０１～２０５、２１２～２１５、２１７、２１９は、内部バス２３０を介して互いにアクセス可能となっている。

【0037】

＜入力データの変換方法＞
図３は、入力データの変換処理を説明する図である。

【0038】

図３（ａ）は、入力データとしての画像データの一部の領域を示した図である。データ３０１は入力データの中で０となる画素である。データ３０２は０に変換する予定となる画素である。データ３０３は、データ３０２の０に変換する予定の画素値よりも小さい値を示す画素である。データ３０４は、データ３０１から３０３以外の画素値である。なお、画像データはＲＧＢのＲのみや、ＹＵＶの中の輝度信号のみであってもよく、ＲＧＢが混在したデータ、あるいはＹＵＶが混在した画像データであってもよい。なお、データ３０１からデータ３０４において、同じ塗りつぶし、同じ網掛けの画素値は同様のデータであることを示し、以降の説明においても同様とする。

【0039】

図３（ｂ）は、図３（ａ）で示した入力データを加工した場合の一例を示した図である。データ３０１は入力データが０であったもので、変更のない画素を示す。データ３１２は０に変換された値を示す。データ３１３は、データ３１２の値をデータ３０３から引いた値が０未満になる画素であるため０に変更した画素値である。なお、画像データ以外であれば、データ３１３のように０未満になってしまう値をそのまま使用してもよい。データ３１４はデータ３１２の値をデータ３０４から引いた値に変更された画素値である。

【0040】

＜情報処理装置１００の処理の流れ＞
図４は、第１の実施形態の情報処理装置１００において実行される入力データの加工及び学習処理の流れを示すフローチャートである。

【0041】

この動作は、情報処理装置１００の電源がオンの状態において、記録部１０６に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。

【0042】

ステップＳ４０１において、ＣＰＵ１０１は、記録部１０６に記録されている学習用の入力データをメモリ１０２に展開する。ＣＰＵ１０１は、処理をステップＳ４０１からステップＳ４０２に進める。

【0043】

ステップＳ４０２において、ＣＰＵ１０１は、メモリ１０２に展開された入力データのサイズが、あらかじめ決められた閾値である「Ｖ」よりも大きいか否かを判断する。入力データが小さい場合は、０値化する効果が少なく、精度への悪影響が考えられるため、それを避けるためにこの判断を行う。ＣＰＵ１０１は、入力データが「Ｖ」よりも大きい場合（ステップＳ４０２のＹＥＳ）、処理をステップＳ４０２からステップＳ４０３へ進める。ＣＰＵ１０１は、入力データが「Ｖ」以下（所定以下）である場合（ステップＳ４０２のＮＯ）、処理をステップＳ４０２からステップＳ４０９へ進める。

【0044】

ステップＳ４０３において、ＣＰＵ１０１は、入力データを確認して、０である入力データの総数である「Ｓｕｍ０」を算出してメモリ１０２に格納する。ＣＰＵ１０１は、処理をステップＳ４０３からステップＳ４０４に進める。

【0045】

ステップＳ４０４において、ＣＰＵ１０１は、ステップＳ４０３で算出してメモリ１０２に格納した「Ｓｕｍ０」とあらかじめ決められた閾値である「Ｓ０」を比較する。本処理では、入力データの中に０値が多すぎた場合に、さらにデータを０値化すると精度に影響を及ぼすため、入力データの０値の総数をチェックする。ＣＰＵ１０１は、 「Ｓｕｍ０」が「Ｓ０」よりも小さい場合（ステップＳ４０４のＹＥＳ）、処理をステップＳ４０４からステップＳ４０６に進める。ＣＰＵ１０１は、 「Ｓｕｍ０」が「Ｓ０」以上である場合（ステップＳ４０４のＮＯ）、処理をステップＳ４０４からステップＳ４０５に進める。

【0046】

ステップＳ４０５において、ＣＰＵ１０１は、後述するステップＳ４０７で使用する閾値「Ｘ」の値を変更する。ＣＰＵ１０１は、ステップＳ４０３で算出された「Ｓｕｍ０」の値に応じて閾値「Ｘ」を設定する。具体的には、「Ｓｕｍ０」が多ければ閾値Ｘの値を小さくし、「Ｓｕｍ０」が小さければ閾値Ｘの値を大きくする。ＣＰＵ１０１は、処理をステップＳ４０５からステップＳ４０６へ進める。

【0047】

ステップＳ４０６において、ＣＰＵ１０１は、入力データの中から、０に変換する値（所定値）である「ＶａｌＸ」を決定する。「ＶａｌＸ」の値は、図３で説明したように、入力データの中で最も出現頻度の高いものや、全入力データの平均値、中央値などから判断してもよい。ＣＰＵ１０１は、ＶａｌＸの値を持つ（ＶａｌＸと一致する値を持つ）総数をカウントし、「ＳｕｍＸ」を算出する。なお、ＣＰＵ１０１は、後述するステップＳ４０７における判定で、このステップＳ４０６に戻ってきた場合は、「ＳｕｍＸ」の数が減るように「ＶａｌＸ」の値を再設定する。ＣＰＵ１０１は、処理をステップＳ４０６からステップＳ４０７へ進める。なお、「ＶａｌＸ」を決めてから「ＳｕｍＸ」を決定する流れで説明したが、「ＳｕｍＸ」をあらかじめ決めておいて、「ＳｕｍＸ」以下となる「ＶａｌＸ」を決定してもよいものとする。

【0048】

ステップＳ４０７において、ＣＰＵ１０１は、ステップＳ４０６で求めた「ＳｕｍＸ」とあらかじめ決められた閾値Ｘを比較する。ＣＰＵ１０１は、「ＳｕｍＸ」が閾値Ｘよりも小さい場合（ステップＳ４０７のＹＥＳ）、処理をステップＳ４０７からステップＳ４０８へ進める。ＣＰＵ１０１は、「ＳｕｍＸ」が閾値Ｘ以上（閾値以上）である場合（ステップＳ４０７のＮＯ）、処理をステップＳ４０７からステップＳ４０６へ戻す。なお、ＣＰＵ１０１は、ステップＳ４０７からステップＳ４０６に処理を戻す回数が規定回数を超えた場合は、処理をステップＳ４０９に進めるか、あるいは表示部１０３を介してユーザにエラーを提示してもよい。

【0049】

ステップＳ４０８において、ＣＰＵ１０１は、入力データの加工処理を行う。ＣＰＵ１０１は、図３で説明したように、入力データの中で、ステップＳ４０６で決定した「ＶａｌＸ」の値と同じ値を持つデータを０に変換する。また、ＣＰＵ１０１は、「ＶａｌＸ」の値と同じ値を持つデータ以外に関しては、各データに対して「ＶａｌＸ」を減算する処理を行う。ＣＰＵ１０１は、加工した入力データをメモリ１０２に格納する。なお、入力データが画像データのようにマイナスの値を表現できない場合は、「ＶａｌＸ」よりも大きいデータに関しては０に変換し、元々０であったものも同様に０のままにする。

【0050】

ステップＳ４０９において、ＣＰＵ１０１は、ニューラルネットワーク処理部１０８を制御して、ステップＳ４０８でメモリ１０２に格納された加工後のデータを学習用の入力データとしてニューラルネットワークにおける学習処理を行う。ＣＰＵ１０１は、教師ありの場合は記録部１０６に保存されている教師データを用いて学習を行う。なお、教師データが入力データと同様のデータ形式を使用する学習方法の場合は、教師データに対しても上記ステップＳ４０１～ステップＳ４０８で説明した処理ステップによりデータ加工を行ってもよい。

【0051】

ステップＳ４１０において、ＣＰＵ１０１は、ステップＳ４０８で処理を行った際のデータ加工方法である、「ＶａｌＸ」の値と、「ＶａｌＸ」以下と元々０であったデータの取り扱いに関するデータを加工情報ファイルとして記録部１０６に保存する。なお、このステップＳ４１０は、ステップＳ４０１において学習予定であった全ての入力データを読み込んで「ＶａｌＸ」を算出した場合に有効となる。したがって、ステップＳ４１０における処理は省略してもよいものとする。ＣＰＵ１０１は、この処理により、本フローチャートにおける処理を終了する。

【0052】

なお、上記では１データを処理する際の流れを説明しているが、実際には複数のデータを処理することになり、例えば画像であれば１画像ではなく複数の画像データを取り扱うことになる。複数のデータを取り扱う場合は、処理におけるステップＳ４０１からステップＳ４０８を繰り返してデータを加工したのちステップＳ４０９の学習処理を実行してもよいし、ステップＳ４０１からステップＳ４０８の処理とステップＳ４０９からステップＳ４１０の処理を別タスクとして並列に処理してもよい。また、複数のデータを処理する場合、複数の全入力データから「ＶａｌＸ」の値を判定してもよい。

【0053】

＜撮像装置２００の処理の流れ＞
図５は、第１の実施形態の撮像装置２００において実行される推論処理の流れを示すフローチャートである。

【0054】

この動作は、撮像装置２００の電源がオンの状態において、不揮発性メモリ２０３に格納されているコンピュータプログラムがメモリ２０２に展開され、ＣＰＵ２０１がメモリ２０２のコンピュータプログラムを読み出して実行することにより実現される。なお、本フローチャートでは撮像装置２００を推論処理に使用する場合について説明するが、上述した情報処理装置１００を用いて実行してもよい。また、図５では例として、撮像装置２００で撮像した画像データを入力した場合について説明する。

【0055】

ステップＳ５０１において、ＣＰＵ２０１は、推論に使用する入力データを読み込む。ＣＰＵ２０１は、撮像部２１２で撮像した画像データを、画像処理部２１３に送る。ＣＰＵ２０１は、処理をステップＳ５０１からステップＳ５０２に進める。

【0056】

ステップＳ５０２において、ＣＰＵ２０１は、あらかじめ情報処理装置１００のステップＳ４１０で保存された加工情報ファイルを不揮発性メモリ２０３から取得してメモリ２０２に格納する。ＣＰＵ２０１は、メモリ２０２に格納した加工情報ファイルから、上述した「ＶａｌＸ」の値と、「ＶａｌＸ」以下と元々０であったデータの取り扱いに関するデータを取得する。なお、このステップＳ５０２における処理は、上述したステップＳ４１０における処理が学習時に実施された場合に有効であって、加工情報ファイルが無い場合は未実施と判断し、処理を行わずステップＳ５０３に進む。ＣＰＵ２０１は、処理をステップＳ５０２からステップＳ５０３に進める。

【0057】

ステップＳ５０３において、ＣＰＵ２０１は、ステップＳ５０２の処理を行った場合は、ステップＳ５０２で取得した加工情報ファイルからの情報に従い、画像処理部２１３に送られた入力データである画像データに対してデータ加工を行う。ステップＳ５０２の処理が行われなかった場合は、上述した情報処理装置１００におけるステップＳ４０１からステップＳ４０７の処理フローを実行してデータ加工処理を行うものとする。なお、データ加工の方法は、図４のステップＳ４０８と同様の処理を行うものとする。また、データ加工は、ＣＰＵ２０１により実行してもよく、画像処理部２１３で実行してもよい。ＣＰＵ２０１は、データ加工された入力データを符号化処理部２１４に送る。ＣＰＵ２０１は、処理をステップＳ５０３からステップＳ５０４に進める。

【0058】

ステップＳ５０４において、ＣＰＵ２０１は、符号化処理部２１４を用いて、データ加工された入力データに対して符号化処理を行う。なお、符号化処理は０が多い場合に圧縮効率が高まる方式で符号化を行う。ＣＰＵ２０１は、符号化されたデータをメモリ２０２に格納して、処理をステップＳ５０４からステップＳ５０５へ進める。

【0059】

ステップＳ５０５において、ＣＰＵ２０１は、ステップＳ５０４で符号化された符号化データを入力データとして、ニューラルネットワーク処理部２０５を制御することで推論処理を行う。なお、ニューラルネットワーク処理部２０５では、入力データがステップＳ５０４により符号化されている場合は、入力データをデコード（復号化）して推論処理を行う。ＣＰＵ２０１は推論を実行した結果を、メモリ２０２に保存する。ＣＰＵ２０１は処理をステップＳ５０５からステップＳ５０６に進める。

【0060】

ステップＳ５０６において、ＣＰＵ２０１は、ステップＳ５０５でメモリ２０２に保存された推論結果の修正が必要か否かを判断する。例えば推論結果が画像データであって、画像回復処理を行うような場合は、ステップＳ５０３で各データに対して減算処理をした分だけデータを戻す必要がある。ＣＰＵ２０１は、推論結果の修正が必要でない場合（ステップＳ５０６のＮＯ）、処理を終了する。ＣＰＵ２０１は、推論結果の修正が必要である場合（ステップＳ５０６のＹＥＳ）、処理をステップＳ５０６からステップＳ５０７へ進める。

【0061】

ステップＳ５０７において、ＣＰＵ２０１は、ステップＳ５０３で各データに対して減算処理をした分だけデータを戻す処理を行う。具体的には、ステップＳ５０３で「ＶａｌＸ」だけ減算したデータに対してはＶａｌＸだけ加算する。また、データがＶａｌＸよりも小さい値のため、０に変換した場合はＶａｌＸ以下の値を加算し、データが０であった箇所は０に変換する。以上で、ＣＰＵ２０１は処理を終了する。

【0062】

以上説明したように、第１の実施形態の処理を行うことにより、精度に対する影響を軽減しながら入力データの一部を０値化することができ、データ量を減らすことができる。更に、入力データの一部を０値化することで、圧縮効率を高めることが可能となり、組み込み機器でメモリ１０２におけるバスを効率的に使用することができる。

【0063】

（第２の実施形態）
以下、第２の実施形態における学習処理と、推論処理に関して説明する。第１の実施形態では、入力データを加工することで０値を増やす方法について説明した。第２の実施形態では、更に入力データにおいて、０値に近い値に対して０値化することで、更に０値を増やす処理を行う。更に、入力データだけでなく、学習済み係数パラメータの０値の割合も考慮して入力データの加工を行う。

【0064】

なお、学習装置である情報処理装置１００のハードウェア構成であるブロック図は図１に示したものと同様とし、推論装置である撮像装置２００のハードウェア構成を示すブロック図は図２に示したものと同様とする。

【0065】

＜入力データの変換方法＞
図６は、入力データの変換処理を説明する図である。

【0066】

図６（ａ）は、図３の（ｂ）と同じ入力データを加工した場合の一例を示した図である。データ６０１は０に最も近い値であり、次にデータ６０２、データ６０３の順で０に近い値となる。図６（ｂ）は、データ６０１～データ６０３を０に変換した場合の一例を示した図である。図６（ｂ）に示す通り、データ６０１～データ６０３はいずれもデータ６１１、データ６１２、データ６１３に示すように０値に変換される。

【0067】

＜情報処理装置１００の処理の流れ＞
図７のフローチャートを用いて、第２の実施形態における情報処理装置１００において実行される入力データの加工及び学習処理の流れについて説明する。

【0068】

この動作は、情報処理装置１００の電源がオンの状態において、記録部１０６に格納されているコンピュータプログラムがメモリ１０２に展開され、ＣＰＵ１０１がメモリ１０２のコンピュータプログラムを読み出して実行することにより実現される。

【0069】

ステップＳ７０１からステップＳ７０７の処理は、第１の実施形態のステップＳ４０１からステップＳ４０７までの処理と同様とする。但し、ステップＳ４０５と同様の処理であるステップＳ７０５と、ステップＳ４０７と同様の処理であるステップＳ７０７における閾値は閾値Ｘと異なる閾値Ｙを設定するものとする。ＣＰＵ１０１はステップＳ７０７の処理を終えてステップＳ７０８へ処理を進める。

【0070】

ステップＳ７０８において、ＣＰＵ１０１は、ステップＳ７０６で処理を行った加工データにおいて、０値に変更する値の範囲（閾値以下の範囲）を決定する、例えば、図６に示した加工データであれば、範囲（閾値）を１～２とすればデータ６０１のみが０値に変更され、範囲を１～１１とすればデータ６０１、データ６０２、データ６０３が０値に変更される。ＣＰＵ１０１は処理をステップＳ７０８からステップＳ７０９に進める。

【0071】

ステップＳ７０９において、ＣＰＵ１０１は、ステップＳ７０６で加工したすべてのデータに対して、ステップＳ７０８で設定した０値に変更する値の範囲のデータを０値化した場合のデータの総数である「ＳｕｍＰ」を算出してメモリ１０２に格納する。ＣＰＵ１０１は、ステップＳ７０９からステップＳ７１０に処理を進める。

【0072】

ステップＳ７１０において、ＣＰＵ１０１は、閾値Ｐと「ＳｕｍＰ」の値を比較する。ＣＰＵ１０１は、ＳｕｍＰが閾値Ｐよりも小さい場合（ステップＳ７１０のＹＥＳ）、処理をステップＳ７１０からステップＳ７１１へ進める。ＣＰＵ１０１は、ＳｕｍＰが閾値Ｐ以上である場合（ステップＳ７１０のＮＯ）、処理をステップＳ７１０からステップＳ７０８へ戻す。なお、ＣＰＵ１０１は、ステップＳ７１０からステップＳ７０８に処理を戻す回数が規定回数を超えた場合は、処理をステップＳ７１１に進めるか、あるいは表示部１０３を介してユーザにエラーを提示してもよい。

【0073】

ステップＳ７１１において、ＣＰＵ１０１は、ステップＳ４０８と同様の処理に加えて、ステップＳ７０８で決定した０に変更する値の範囲に従ってデータの加工を実行する。ＣＰＵ１０１は、処理をステップＳ７１１からステップＳ７１２に進める。

【0074】

ステップＳ７１２において、ＣＰＵ１０１は、ステップＳ４０９と同様の処理を行い、ステップＳ７１２からステップＳ７１３へ処理を進める。

【0075】

ステップＳ７１３において、ＣＰＵ１０１は、ステップＳ４１０と同様の処理に加えて、ステップＳ７０８で決定した０近傍値の範囲の情報を付加してデータ加工情報ファイルの生成を行い、ステップＳ７１３からステップＳ７１４へ処理を進める。なお、このステップはステップＳ４１０と同様に省略してもよいものとする。

【0076】

ステップＳ７１４において、ＣＰＵ１０１は、ステップＳ７１２で学習した結果である、学習済みの係数パラメータに含まれる０値の総数である「ＳｕｍＷ」を算出し、メモリ１０２に格納する。ＣＰＵ１０１は、処理をステップＳ７１４からステップＳ７１５へ進める。

【0077】

ステップＳ７１５において、ＣＰＵ１０１は、あらかじめ決められた閾値Ｗと、ステップＳ７１４で算出した「ＳｕｍＷ」を比較する。ＣＰＵ１０１は、「ＳｕｍＷ」が閾値Ｗよりも小さい場合（ステップＳ７１５のＹＥＳ）、処理をステップＳ７１５からステップＳ７１６へ進める。ＣＰＵ１０１は、「ＳｕｍＷ」が閾値Ｗ以上である場合（ステップＳ７１５のＮＯ）、本フローチャートにおける処理を終了する。

【0078】

ステップＳ７１６において、ＣＰＵ１０１は、学習済み係数パラメータに対して、公知のプルーニング処理を実行する。ここで、プルーニング処理とは、ノード数を減らす場合と、ノード間の接続を減らす方法のどちらでもよいものとする。その後、ＣＰＵ１０１は、本フローチャートにおける処理を終了する。

【0079】

＜撮像装置２００の処理フロー＞
推論処理を実行する撮像装置２００の処理フローに関しては、第１の実施形態において図５で示した処理と同様とする。但し、ステップＳ５０３においては、ステップＳ５０２においてデータ加工情報ファイルに含まれる、０近傍値の補正も含めてデータ加工処理を行うものとする。また、ステップＳ５０３において、加工情報ファイルが存在しない場合は、第２の実施形態における情報処理装置１００の処理フローである、ステップＳ７０１からステップＳ７１０の処理を行ってデータ加工を行うものとする。

【0080】

以上説明したように、第２の実施形態の処理を行うことにより、精度への影響を軽減しながら、第１の実施形態よりも更に０値を増やすことが可能であり、データ量を減らすことができる。また、入力データに対する加工にともなう精度への影響を考慮しながら、学習済み係数パラメータに対してプルーニング処理を行うことで、学習済み係数パラメータのデータを削減することも可能となる。

【0081】

（変形実施形態）
以上、本発明の実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲での様々な変形も本発明に含まれる。

【0082】

本発明が適用され得る対象は、上述の実施形態で説明した情報処理装置１００、撮像装置２００等に限定されるものではない。例えば、情報処理装置１００を複数の装置から構成されるシステムとした場合であっても上述の実施形態と同様の機能を実現することが可能である。更に、撮像装置２００の処理の一部をネットワーク上の外部装置により実施して実現することが可能である。

【0083】

また、ニューラルネットワーク処理部１０８，２０５は機械学習用のアルゴリズムにより動作する処理部であればよく、アルゴリズムはニューラルネットワークに限定されない。例えば、ＳＶＭ（サポートベクターマシン）、決定木などのアルゴリズムを用いてもよい。

【0084】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0085】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0086】

１０１，２０１：ＣＰＵ、１０２，２０２：メモリ、１０３：表示部、１０５，２０４：操作部、１０６：記録部、１０７：通信部、１０８，２０５：ニューラルネットワーク処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】