特許 7547945 認識システム、認識方法、プログラム、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】認識システム、認識方法、プログラム、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 13

(21)【出願番号】P 2020186047

(22)【出願日】2020-11-06

(65)【公開番号】P2022075329

(43)【公開日】2022-05-18

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(74)【代理人】

【識別番号】100091524

【弁理士】

【氏名又は名称】和田 充夫

(74)【代理人】

【識別番号】100161883

【弁理士】

【氏名又は名称】北出 英敏

(72)【発明者】

【氏名】籔内 智浩

(72)【発明者】

【氏名】吉田 英司

【審査官】山田 辰美

(56)【参考文献】

【文献】LEDIG,Chistian et al.，Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network，2017 IEEE Conference on Computer Vision and Pattern Recognition，米国，IEEE，2017年11月09日，p.105-p.114，https://ieeexplore.org/document/8099502

【文献】PARK，Taesung et al.，Semantic Image Synthesis With Spatially-Adaptive Normalizaiton，2019 IEEE Conference on Computer Vision and Pattern Recognition，米国，IEEE，2020年01月09日，p.2332-p.2341，https://ieeexplore.ieee.org/document/8953676

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

学習済みモデルを記憶する記憶装置と、
前記記憶装置にアクセス可能な演算回路と、
を備え、
前記学習済みモデルは、
対象物が第１解像度で写る第１解像度画像の入力に対して、前記第１解像度画像を前記第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像及び前記第１解像度画像と前記第２解像度画像との差分に相当する差分画像を出力するように学習された第１モデル部と、
前記第２解像度画像及び前記差分画像の入力に対して前記対象物の特徴量を出力するように学習された第２モデル部と、
を含み、
前記演算回路は、
前記第１解像度画像を対象画像として取得する取得処理と、
前記取得処理で取得した前記対象画像を前記学習済みモデルに与えて、前記対象画像に写る対象物の特徴量を前記学習済みモデルに算出させる推論処理と、
を実行する、
認識システム。

【請求項2】

前記推論処理は、前記対象画像に写る対象物の特徴量に基づいて前記対象物の認識を行うことを含む、
請求項１に記載の認識システム。

【請求項3】

前記演算回路は、前記推論処理の結果を出力する出力処理を実行する、
請求項１又は２に記載の認識システム。

【請求項4】

学習済みモデルを記憶する記憶装置にアクセス可能な演算回路により実行される認識方法であって、
前記学習済みモデルは、
対象物が第１解像度で写る第１解像度画像の入力に対して、前記第１解像度画像を前記第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像及び前記第１解像度画像と前記第２解像度画像との差分に相当する差分画像を出力するように学習された第１モデル部と、
前記第２解像度画像及び前記差分画像の入力に対して前記対象物の特徴量を出力するように学習された第２モデル部と、
を含み、
前記認識方法は、
前記第１解像度画像を対象画像として取得する取得処理と、
前記取得処理で取得した前記対象画像を前記学習済みモデルに与えて、前記対象画像に写る対象物の特徴量を前記学習済みモデルに算出させる推論処理と、
を含む、
認識方法。

【請求項5】

請求項４に記載の認識方法を、前記演算回路に実行させるための、
プログラム。

【請求項6】

モデルを準備する準備ステップと、
前記準備ステップで準備した前記モデルを用いて機械学習を実行する学習ステップと、
を含み、
前記モデルは、第１モデル部と、第２モデル部と、第３モデル部と、を含み、
前記第１モデル部は、対象物が第１解像度で写る第１解像度画像の入力に対して、前記第１解像度画像を前記第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像及び前記第１解像度画像と前記第２解像度画像との差分に相当する差分画像を出力するためのモデルであり、
前記第２モデル部は、前記第１モデル部からの前記第２解像度画像及び前記差分画像の入力に対して前記対象物の特徴量を出力するためのモデルであり、
前記第３モデル部は、前記第２モデル部からの前記対象物の特徴量の入力に対して前記対象物の認識の結果を出力するためのモデルであり、
前記学習ステップは、前記第１解像度画像を入力、前記第１解像度画像に写る対象物の認識の結果を正解とする学習用データセットを用いた機械学習により、前記モデルに前記第１解像度画像と前記前記第１解像度画像に写る対象物の特徴量との関係を学習させることを含む、
学習方法。

【請求項7】

前記準備ステップは、
前記第１解像度画像を入力、前記第２解像度画像及び前記差分画像を正解とする学習用データセットを生成する生成ステップと、
前記生成ステップで生成された学習用データセットを用いて前記第１モデル部に前記第１解像度画像と前記第２解像度画像及び前記差分画像との関係を学習させる事前学習ステップと、
を含む、
請求項６に記載の学習方法。

【請求項8】

前記生成ステップは、
前記第２解像度画像を取得する第１ステップと、
前記第１ステップで取得した前記第２解像度画像を前記第１解像度の画像に変換して前記第１解像度画像を生成する第２ステップと、
前記第１ステップで取得した前記第２解像度画像と前記第２ステップで生成した前記第１解像度画像とから前記差分画像を生成する第３ステップと、
前記第２ステップで生成した前記第１解像度画像を入力、前記第１ステップで用意した前記第２解像度画像及び前記第３ステップで生成した前記差分画像を正解とする学習用データセットを生成する第４ステップと、
を含む、
請求項７に記載の学習方法。

【請求項9】

前記第３ステップは、前記第２ステップで生成した前記第１解像度画像を前記第１ステップで取得した前記第２解像度画像と同じ画像サイズに拡大し、拡大後の前記第１解像度画像と前記第１ステップで取得した前記第２解像度画像との画素値の差分に基づいて前記差分画像を生成する、
請求項８に記載の学習方法。

【請求項10】

前記差分画像の各画素値の範囲は、拡大後の前記第１解像度画像と前記第１ステップで取得した前記第２解像度画像の各画素値の範囲より狭い、
請求項９に記載の学習方法。

【請求項11】

前記モデルは、前記第２解像度画像の入力に対して、前記第２解像度画像が前記第１モデル部で生成された画像か否かの判定の結果を出力するための第４モデル部を含み、
前記学習ステップは、前記第４モデル部から出力される前記判定の結果に基づいて前記第１モデル部と前記第４モデル部との少なくとも一方の追加学習を実行することを含む、
請求項６～１０のいずれか一つに記載の学習方法。

【請求項12】

対象物が第１解像度で写る第１解像度画像の入力に対して、前記第１解像度画像を前記第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像及び前記第１解像度画像と前記第２解像度画像との差分に相当する差分画像を出力するように学習され、前記第１解像度画像の入力に対して前記第２解像度画像及び前記差分画像を出力するようにコンピュータを機能させる第１モデル部と、
前記第２解像度画像及び前記差分画像の入力に対して前記対象物の特徴量を出力するように学習され、前記第２解像度画像及び前記差分画像の入力に対して前記特徴量を出力するようにコンピュータを機能させる第２モデル部と、
を含む、
学習済みモデル。

【請求項13】

対象物が写る基準画像を取得する第１ステップと、
前記基準画像を前記基準画像よりも低い解像度の低解像度画像に変換する第２ステップと、
前記基準画像と前記低解像度画像との差分に相当する差分画像を生成する第３ステップと、
前記低解像度画像を入力、前記基準画像及び前記差分画像を正解とする学習用データセットを生成する第４ステップと、
を含む、
学習用データセット生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、認識システム、認識方法、プログラム（コンピュータプログラム）、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法に関する。本開示は、特に、画像に写る対象物に関する認識システム、認識方法、プログラム（コンピュータプログラム）、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法に関する。

【背景技術】

【0002】

非特許文献１は、ディープラーニングを用いた顔認識の技術を開示する。非特許文献１では、顔認識に用いる画像の解像度の低さの影響を低減するために、低解像度の画像から高解像度の画像を生成する生成ネットワーク（超解像ネットワーク）を利用し、超解像ネットワークにより得られる高解像度の画像をもとに顔認識を実行することを開示する。

【先行技術文献】

【非特許文献】

【0003】

【文献】Bayram Bayramli，他３名，“FH-GAN: Face Hallucination and Recognition using Generative Adversarial”，［online］，２０１９年５月１６日，［２０２０年９月３日検索］，Cornell University，インターネット＜URL：https://arxiv.org/abs/1905.06537＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、対象物の認識の精度の向上が図れる、認識システム、認識方法、プログラム、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様の認識システムは、学習済みモデルを記憶する記憶装置と、記憶装置にアクセス可能な演算回路と、を備える。学習済みモデルは、第１モデル部と、第２モデル部と、を含む。第１モデル部は、第１解像度画像の入力に対して、第２解像度画像及び差分画像を出力するように学習されたモデルである。第１解像度画像は、対象物が第１解像度で写る画像である。第２解像度画像は、第１解像度画像を第１解像度より高い第２解像度に変換して得られる画像に相当する。差分画像は、第１解像度画像と第２解像度画像との差分に相当する画像である。第２モデル部は、第２解像度画像及び差分画像の入力に対して対象物の特徴量を出力するように学習されたモデルである。演算回路は、第１解像度画像を対象画像として取得する取得処理と、取得処理で取得した対象画像を学習済みモデルに与えて、対象画像に写る対象物の特徴量を学習済みモデルに算出させる推論処理と、を実行する。

【0006】

本開示の一態様の認識方法は、学習済みモデルを記憶する記憶装置にアクセス可能な演算回路により実行される認識方法である。学習済みモデルは、第１モデル部と、第２モデル部と、を含む。第１モデル部は、第１解像度画像の入力に対して、第２解像度画像及び差分画像を出力するように学習されたモデルである。第１解像度画像は、対象物が第１解像度で写る画像である。第２解像度画像は、第１解像度画像を第１解像度より高い第２解像度に変換して得られる画像に相当する。差分画像は、第１解像度画像と第２解像度画像との差分に相当する画像である。第２モデル部は、第２解像度画像及び差分画像の入力に対して対象物の特徴量を出力するように学習された。認識方法は、第１解像度画像を対象画像として取得する取得処理と、取得処理で受け取った対象画像を学習済みモデルに与えて、対象画像に写る対象物の特徴量を学習済みモデルに算出させる推論処理と、を含む。

【0007】

本開示の一態様のプログラムは、認識方法を、演算回路に実行させるための、プログラムである。

【0008】

本開示の一態様の学習方法は、モデルを準備する準備ステップと、準備ステップで準備したモデルを用いて機械学習を実行する学習ステップと、を含む。モデルは、第１モデル部と、第２モデル部と、第３モデル部と、を含む。第１モデル部は、第１解像度画像の入力に対して、第２解像度画像及び差分画像を出力するためのモデルである。第１解像度画像は、対象物が第１解像度で写る画像である。第２解像度画像は、第１解像度画像を第１解像度より高い第２解像度に変換して得られる画像に相当する。差分画像は、第１解像度画像と第２解像度画像との差分に相当する画像である。第２モデル部は、第１モデル部からの第２解像度画像及び差分画像の入力に対して対象物の特徴量を出力するためのモデルである。第３モデル部は、第２モデル部からの対象物の特徴量の入力に対して対象物の認識の結果を出力するためのモデルである。学習ステップは、第１解像度画像を入力、第１解像度画像に写る対象物の認識の結果を正解とする学習用データセットを用いた機械学習により、モデルに第１解像度画像と第１解像度画像に写る対象物の特徴量との関係を学習させることを含む。

【0009】

本開示の一態様の学習済みモデルは、第１モデル部と、第２モデル部と、を含む。第１モデル部は、第１解像度画像の入力に対して、第２解像度画像及び差分画像を出力するように学習されたモデルである。第１解像度画像は、対象物が第１解像度で写る画像である。第２解像度画像は、第１解像度画像を第１解像度より高い第２解像度に変換して得られる画像に相当する。差分画像は、第１解像度画像と第２解像度画像との差分に相当する画像である。第２モデル部は、第２解像度画像及び差分画像の入力に対して対象物の特徴量を出力するように学習されたモデルである。

【0010】

本開示の一態様の蒸留モデルは、学習済みモデルの蒸留により生成される。

【0011】

本開示の一態様の認識システムは、蒸留モデルを記憶する記憶装置と、記憶装置にアクセス可能な演算回路と、を備える。演算回路は、取得処理と、推論処理と、を実行する。取得処理は、第１解像度画像を対象画像として取得する処理である。推論処理は、取得処理で取得した対象画像を蒸留モデルに与えて、対象画像に写る対象物の特徴量を蒸留モデルに算出させる処理である。

【0012】

本開示の一態様の学習用データセット生成方法は、第１ステップと、第２ステップと、第３ステップと、第４ステップと、を含む。第１ステップは、対象物が写る基準画像を取得するステップである。第２ステップは、基準画像を基準画像よりも低い解像度の低解像度画像に変換するステップである。第３ステップは、基準画像と低解像度画像との差分に相当する差分画像を生成するステップである。第４ステップは、低解像度画像を入力、基準画像及び差分画像を正解とする学習用データセットを生成するステップである。

【発明の効果】

【0013】

本開示の態様によれば、対象物の認識の精度の向上が図れる、という効果を奏する。

【図面の簡単な説明】

【0014】

【図1】一実施の形態の認識システムのブロック図

【図2】認識システムで実行される学習済みモデルを用いた認識方法の説明図

【図3】認識方法のフローチャート

【図4】認識システムで用いる学習済みモデルを生成するための学習方法のフローチャート

【図5】学習方法の説明図

【図6】学習方法を実行する学習システムのブロック図

【発明を実施するための形態】

【0015】

（１）実施の形態
（１－１）概要
図１は、一実施の形態の認識システム１０を示す。認識システム１０は、対象物１００の認識を行うためのシステムである。特に、認識システム１０は、対象物１００の写る画像のデータを撮像システム２００から取得し、画像に写る対象物１００の認識の結果を制御システム３００に提供し、制御システム３００にて認識の結果に応じた動作を実行させるために用いられる。

【0016】

対象物１００は、認識システム１０による認識の対象となる視認可能な物体である。対象物１００は、本実施の形態では、人を想定している。対象物１００は、人に限らず、人以外の動物等の生物であってもよい。対象物１００は、生物に限らず、無生物であってもよい。無生物の例としては、二輪車、自動車、船舶、航空機等の乗り物やドローン等を含む移動物体が挙げられる。対象物１００は、物体の全体に限らず、物体の一部であってもよい。

【0017】

撮像システム２００は、対象物１００が写る画像のデータを生成するためのシステムである。本実施の形態では、「対象物１００が写る」は、対象物１００の全部ではなく少なくとも一部が写ることをいう。例えば、対象物１００が人である場合、人の顔が写る画像は、対象物１００が写る画像であるといえる。撮像システム２００は、認識システム１０に通信可能に接続され、対象物１００が写る画像のデータを認識システム１０に提供することが可能である。撮像システム２００は、１以上のカメラ（デジタルカメラ）を含む。

【0018】

制御システム３００は、対象物１００の認識の結果に応じた動作を実行する機能を持つシステムである。一例では、制御システム３００は、工場、店舗、ビル（ビル全体、フロア内）等の施設の扉の制御に利用され得る。制御システム３００は、対象物１００の認識の結果が、対象物１００が扉の通行を許可されている人であれば、扉の施錠を解除することができる。別例では、制御システム３００は、ロボットの動作（行動）の制御に利用され得る。制御システム３００は、対象物１００の認識の結果に応じてロボットの動作を決定することができる。制御システム３００は、認識システム１０に通信可能に接続され、対象物１００の認識の結果を認識システム１０から受け取ることが可能である。制御システム３００は、１以上のメモリ及び１以上のプロセッサ等を含むコンピュータシステムを含む。

【0019】

認識システム１０は、図１に示すように、学習済みモデルＭ１０を記憶する記憶装置１２と、記憶装置１２にアクセス可能な演算回路１３と、を備える。学習済みモデルＭ１０は、図２に示すように、第１モデル部Ｍ１１と、第２モデル部Ｍ１２と、を含む。第１モデル部Ｍ１１は、対象物１００が第１解像度で写る第１解像度画像Ｐ１０の入力に対して、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像Ｐ２０及び差分画像Ｐ３０を出力するように学習されたモデルである。差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する画像である。第２モデル部Ｍ１２は、第１モデル部Ｍ１１からの第２解像度画像Ｐ２０及び差分画像Ｐ３０の入力に対して対象物１００の特徴量Ｆ１１を出力するように学習されたモデルである。演算回路１３は、図３に示すように、第１解像度画像Ｐ１０を対象画像として取得する取得処理Ｓ１１と、取得処理Ｓ１１で取得した対象画像を学習済みモデルＭ１０に与えて、対象画像に写る対象物１００の特徴量Ｆ１１を学習済みモデルＭ１０に算出させる推論処理Ｓ１２と、を実行する。

【0020】

このように、認識システム１０は、対象物１００が写る第１解像度画像Ｐ１０から対象物１００の特徴量Ｆ１１を抽出するにあたって、第１解像度画像Ｐ１０よりも解像度が高い第２解像度画像Ｐ２０とともに、差分画像Ｐ３０を利用する。第２解像度画像Ｐ２０は第１解像度画像Ｐ１０よりも解像度が高いから、第１解像度画像Ｐ１０と同じ対象物１００を第１解像度画像Ｐ１０よりも近くで写した画像とであるといえる。対象物１００を近くで写した画像のほうが、対象物１００の認識の精度の向上が期待できることは経験上明らかである。この点を考慮すると、対象物１００との距離が大きくなることによって失われる情報は、対象物１００の認識の精度への影響が大きいと考えられる。例えば、第１解像度画像Ｐ１０及び第２解像度画像Ｐ２０が人の顔の画像である場合、対象物１００との距離が大きくなることによって失われる情報は、顔の目、鼻、口等に関する詳細な情報が挙げられる。一方で、顔の輪郭等の情報は、第１解像度画像Ｐ１０及び第２解像度画像Ｐ２０の間で保持されていると考えられる。差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する画像であるから、対象物１００との距離が大きくなることで第２解像度画像Ｐ２０から失われた情報を表しているといえる。認識システム１０が利用する学習済みモデルＭ１０は、差分画像Ｐ３０を第２高解像度画像Ｐ２０とともに利用して、対象物１００が写る第１解像度画像Ｐ１０から対象物１００の特徴量Ｆ１１を抽出する。したがって、認識システム１０によれば、対象物１００の認識の精度の向上が図れる。

【0021】

（１－２）詳細
（１－２－１）認識システム
以下、認識システム１０について詳細に説明する。認識システム１０は、図１に示すように、インタフェース１１と、記憶装置１２と、演算回路１３と、を備える。本実施の形態では、認識システム１０は、１台のサーバで実現される。

【0022】

インタフェース１１は、認識システム１０への情報の入力、及び、認識システム１０からの情報の出力に利用される。インタフェース１１は、入出力装置１１１と、通信装置１１２と、を含む。入出力装置１１１は、ユーザからの情報の入力のための入力装置、及び、ユーザへの情報の出力のための出力装置としての機能を有する。入出力装置１１１は、１以上のヒューマン・マシン・インタフェースを備える。ヒューマン・マシン・インタフェースの例としては、キーボード、ポインティングデバイス（マウス、トラックボール等）、タッチパッド等の入力装置、ディスプレイ、スピーカ等の出力装置、タッチパネル等の入出力装置が挙げられる。通信装置１１２は、外部装置又はシステムと通信可能に接続される。本実施の形態では、通信装置１１２は、通信ネットワークを通じた撮像システム２００及び制御システム３００との通信に用いられる。通信装置１１２は、１以上の通信インタフェースを備える。通信装置１１２は、通信ネットワークに接続可能であり、通信ネットワークを通じた通信を行う機能を有する。通信装置１１２は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。

【0023】

記憶装置１２は、演算回路１３が利用する情報及び演算回路１３で生成される情報を記憶するために用いられる。記憶装置１２は、１以上のストレージ（非一時的な記憶媒体）を含む。ストレージは、例えば、ハードディスクドライブ、光学ドライブ、及びソリッドステートドライブ（ＳＳＤ）のいずれであってもよい。また、ストレージは、内蔵型、外付け型、およびＮＡＳ（network-attached storage）型のいずれであってもよい。

【0024】

記憶装置１２に記憶される情報は、学習済みモデルＭ１０と、データベースＤ１０と、を含む。図１では、記憶装置１２が、学習済みモデルＭ１０とデータベースＤ１０との全てを記憶している状態を示している。学習済みモデルＭ１０及びデータベースＤ１０は常に記憶装置１２に記憶されている必要はなく、演算回路１３で必要とされるときに記憶装置１２に記憶されていればよい。

【0025】

学習済みモデルＭ１０は、認識システム１０で対象物１００の認識に用いられる。図２に示すように、学習済みモデルＭ１０は、第１解像度画像Ｐ１０の入力に対して、第１解像度画像Ｐ１０に写る対象物１００の特徴量Ｆ１１を出力するように学習されている。学習済みモデルＭ１０は、第１モデル部Ｍ１１と、第２モデル部Ｍ１２と、を含む。

【0026】

第１モデル部Ｍ１１は、第１解像度画像Ｐ１０の入力に対して、第２解像度画像Ｐ２０及び差分画像Ｐ３０を出力するように学習されたモデル（学習済みモデル）である。第１解像度画像Ｐ１０は、対象物１００が第１解像度で写る画像である。本実施の形態では、対象物１００は人である。第１解像度画像Ｐ１０は、対象物１００の全部ではなく一部の特徴部分が写る画像を想定している。特徴部分は、対象物１００の認識に貢献し得る部分であって、本実施の形態では、対象物１００の顔を想定している。第２解像度画像Ｐ２０は、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像に相当する。これは、第２解像度画像Ｐ２０を取得する方法に関係なく、第２解像度画像Ｐ２０が、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像と内容が同一又は実質的に同一であることを意味する。更に別の表現では、第２解像度画像Ｐ２０は、第１解像度画像Ｐ１０と同じ構図で対象物１００が写るものの、解像度が第１解像度画像Ｐ１０よりも高い画像であるといえる。つまり、第２解像度画像Ｐ２０は、対象物１００が、第１解像度画像Ｐ１０と同じ構図であるが第１解像度より高い第２解像度で写る画像である。換言すれば、第１解像度画像Ｐ１０は、第２解像度画像Ｐ２０を第２解像度より低い第１解像度に変換して得られる画像に相当する。これは、第１解像度画像Ｐ１０を取得する方法に関係なく、第１解像度画像Ｐ１０が、第２解像度画像Ｐ２０を第２解像度より低い第１解像度に変換して得られる画像と内容が同一又は実質的に同一であることを意味する。更に別の表現では、第１解像度画像Ｐ１０は、第２解像度画像Ｐ２０と同じ構図で対象物１００が写るものの、解像度が第２解像度画像Ｐ２０よりも低い画像であるといえる。つまり、第１解像度画像Ｐ１０は、対象物１００が、第２解像度画像Ｐ２０と同じ構図であるが第２解像度より低い第１解像度で写る画像である。第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との関係において、第１解像度画像Ｐ１０は、対象物１００の低解像度画像であり、第２解像度画像Ｐ２０は、対象物１００の高解像度画像である。例えば、第１解像度は、２２×２６ピクセルであり、第２解像度は、１１２×９６ピクセルである。差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する画像である。第１解像度画像Ｐ１０と第２解像度画像Ｐ２０とは、対象物１００が同じ構図であるが異なる解像度で写る画像である。よって、差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との解像度の差に起因する対象物１００の見え方の差を示す画像であるといえる。解像度の差は、対象物１００までの距離の差と考えることができる。よって、差分画像Ｐ３０は、対象物１００との距離が大きくなることで第１解像度画像Ｐ１０において第２解像度画像Ｐ２０から失われた情報を表しているといえる。第１モデル部Ｍ１１は、詳しくは後述するが、ニューラルネットワークの構造を有するモデルを用いて、第１解像度画像Ｐ１０を入力、第２解像度画像Ｐ２０及び差分画像Ｐ３０を正解とする学習用データセットを用いた機械学習（教師あり学習）を実行することによって生成される学習済みモデルから得られる。本実施の形態では、第１モデル部Ｍ１１は、第１解像度画像Ｐ１０よりも解像度が高い第２解像度画像Ｐ２０を出力するから、超解像ネットワークであるともいえる。

【0027】

第２モデル部Ｍ１２は、第２解像度画像Ｐ２０及び差分画像Ｐ３０の入力に対して対象物１００の特徴量Ｆ１１を出力するように学習されたモデル（学習済みモデル）である。対象物１００の特徴量Ｆ１１は、演算回路１３において対象物１００の認識（識別）に利用される情報である。特徴量Ｆ１１は、例えば、ｎ次元のベクトルで表される（ｎは任意の整数）。第２モデル部Ｍ１２は、詳しくは後述するが、ニューラルネットワークの構造を有するモデルを用いて、第２解像度画像Ｐ２０及び差分画像Ｐ３０を入力、対象物１００の認識の結果を正解とする学習用データセットを用いた機械学習（教師あり学習）を実行することによって生成される学習済みモデルから得られる。本実施の形態では、第１解像度画像Ｐ１０及び第２解像度画像Ｐ２００は、対象物１００の顔が写る画像であるから、第２モデル部Ｍ１２は、顔認識ネットワークであるともいえる。

【0028】

学習済みモデルＭ１０では、第１モデル部Ｍ１１の出力は、第２モデル部Ｍ１２の入力に接続される。よって、第１解像度画像Ｐ１０の入力に対して第１モデル部Ｍ１１から出力される第２解像度画像Ｐ２０及び差分画像Ｐ３０が、第２モデル部Ｍ１２に入力され、 第２モデル部Ｍ１２から、特徴量Ｆ１１が出力される。

【0029】

以上述べた学習済みモデルＭ１０は、後述する学習システム２０により生成される。学習済みモデルＭ１０の生成方法（学習方法）については、後述の「（１－２－２）学習方法」にて詳細に説明する。

【0030】

データベースＤ１０は、認識システム１０において認識（識別）する対象物１００に関するデータベースである。データベースは、認識システム１０において認識する対象物１００毎に、対象物１００の識別情報と照合用の特徴量Ｆ１２との対応関係を含んでいる。識別情報は、対象物１００に付与された識別番号を含む。照合用の特徴量Ｆ１２は、学習済みモデルＭ１０で得られる特徴量Ｆ１１との照合に利用される。本実施の形態では、対象物１００は人であり、データベースＤ１０は、例えば、人物Ａの場合、識別情報は、人物Ａの識別情報であり、特徴量Ｆ１２は人物Ａが写る画像から学習済みモデルＭ１０によって得られた特徴量Ｆ１１に対応する。特徴量Ｆ１２は、例えば、特徴量Ｆ１１と同じ次元のベクトルである。

【0031】

演算回路１３は、認識システム１０の動作を制御する回路である。演算回路１３は、インタフェース１１に接続され、記憶装置１２にアクセス可能（つまり、学習済みモデルＭ１０及びデータベースＤ１０にアクセス可能）である。演算回路１３は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。１以上のプロセッサが（１以上のメモリ又は記憶装置１２に記憶された）プログラムを実行することで、演算回路１３としての機能を実現する。プログラムは、ここでは記憶装置１２に予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0032】

演算回路１３は、取得処理Ｓ１１と、推論処理Ｓ１２と、出力処理Ｓ１３と、を実行するように構成される（図３参照）。

【0033】

取得処理Ｓ１１は、第１解像度画像Ｐ１０を対象画像として取得する処理である。本実施の形態では、取得処理Ｓ１１は、第１解像度画像Ｐ１０を対象画像として間接的に取得する。認識システム１０は、撮像システム２００にインタフェース１１を通じて接続されている。取得処理Ｓ１１は、インタフェース１１を通じて撮像システム２００から得た画像から、第１解像度画像Ｐ１０を抽出して対象画像として取得する。具体的には、取得処理Ｓ１１は、撮像システム２００からの画像から、対象物１００の写る領域を対象画像（第１解像度画像Ｐ１０）として抽出する。本実施の形態では、第１解像度画像Ｐ１０は、対象物１００の顔の画像であるから、取得処理Ｓ１１は、撮像システム２００からの画像から、対象物１００の顔の画像を抽出する。取得処理Ｓ１１は、第１解像度画像Ｐ１０を対象画像として直接的に取得することもできる。例えば、撮像システム２００からインタフェース１１を通じて第１解像度画像Ｐ１０が認識システム１０に与えられれば、取得処理Ｓ１１は、与えられた第１解像度画像Ｐ１０をそのまま対象画像として取得することができる。

【0034】

推論処理Ｓ１２は、取得処理Ｓ１１で取得した対象画像を学習済みモデルＭ１０に与えて、対象画像に写る対象物１００の特徴量Ｆ１１を学習済みモデルＭ１０に算出させる処理である。特に、本実施の形態では、推論処理Ｓ１２は、対象画像に写る対象物１００の特徴量Ｆ１１に基づいて対象物１００の認識をすることを含む。より詳細には、推論処理Ｓ１２は、対象画像に写る対象物１００の特徴量Ｆ１１を、記憶装置１２のデータベースＤ１０の特徴量Ｆ１２と比較することで、特徴量Ｆ１１と特徴量Ｆ１２との一致度（類似度）を求め、類似度に基づいて対象画像に写る対象物１００の認識を行う。本実施の形態では、特徴量Ｆ１１及び特徴量Ｆ１２はｎ次元のベクトルであるから、特徴量Ｆ１１と特徴量Ｆ１２との一致度は、コサイン類似度又はユークリッド距離等によって評価することができる。一例として、推論処理Ｓ１２は、複数の特徴量Ｆ１２のうち特徴量Ｆ１１との一致度が最も高く、かつ一致度が閾値以上である特徴量Ｆ１２に関連付けられた対象物１００を、対象画像に写る対象物１００として認識する。

【0035】

出力処理Ｓ１３は、推論処理Ｓ１２の結果を出力する処理である。本実施の形態では、推論処理Ｓ１２の結果は、対象画像に写る対象物１００の認識結果Ｒ２１を含む。認識システム１０は、制御システム３００にインタフェース１１の通信装置を通じて接続されている。出力処理Ｓ１３は、インタフェース１１を通じて制御システム３００に、推論処理Ｓ１２の結果を出力する。また、出力処理Ｓ１３は、インタフェース１１の入出力装置を通じて、推論処理Ｓ１２の結果をユーザに出力することができる。例えば、出力処理Ｓ１３は、インタフェース１１の入出力装置により推論処理Ｓ１２の結果の出力のための画面を提示することができる。

【0036】

以上述べたように、認識システム１０は、学習済みモデルＭ１０を記憶する記憶装置１２と、記憶装置１２にアクセス可能な演算回路１３と、を備える。学習済みモデルＭ１０は、第１モデル部Ｍ１１と、第２モデル部Ｍ１２と、を含む。第１モデル部Ｍ１１は、対象物１００が第１解像度で写る第１解像度画像Ｐ１０の入力に対して、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像Ｐ２０及び差分画像Ｐ３０を出力するように学習されたモデルである。差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する画像である。第２モデル部Ｍ１２は、第１モデル部Ｍ１１からの第２解像度画像Ｐ２０及び差分画像Ｐ３０の入力に対して対象物１００の特徴量Ｆ１１を出力するように学習されたモデルである。演算回路１３は、図３に示すように、第１解像度画像Ｐ１０を対象画像として取得する取得処理Ｓ１１と、取得処理Ｓ１１で取得した対象画像を学習済みモデルＭ１０に与えて、対象画像に写る対象物１００の特徴量Ｆ１１を学習済みモデルＭ１０に算出させる推論処理Ｓ１２と、を実行する。この認識システム１０によれば、対象物１００の認識の精度の向上が図れる。

【0037】

換言すれば、認識システム１０は、以下の方法（認識方法）を実行しているといえる。認識方法は、記憶装置１２にアクセス可能な演算回路１３で実行され、取得処理Ｓ１１と、推論処理Ｓ１２と、を含む。このような認識方法によれば、認識システム１０と同様に、対象物１００の認識の精度の向上が図れる。

【0038】

認識システム１０は、演算回路１３を利用して実現されている。つまり、認識システム１０が実行する方法（認識方法）は、演算回路１３がプログラムを実行することにより実現され得る。このプログラムは、演算回路１３に、上記の認識方法を実行させるためのコンピュータプログラムである。このようなプログラムによれば、認識システム１０と同様に、対象物１００の認識の精度の向上が図れる。

【0039】

認識システム１０で用いられる学習済みモデルＭ１０は、第１モデル部Ｍ１１と、第２モデル部Ｍ１２と、を含む。第１モデル部Ｍ１１は、対象物１００が第１解像度で写る第１解像度画像Ｐ１０の入力に対して、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像Ｐ２０及び差分画像Ｐ３０を出力するように学習されたモデルである。差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する画像である。第２モデル部Ｍ１２は、第１モデル部Ｍ１１からの第２解像度画像Ｐ２０及び差分画像Ｐ３０の入力に対して対象物１００の特徴量Ｆ１１を出力するように学習されたモデルである。この学習済みモデルＭ１０によれば、対象物１００の認識の精度の向上が図れる。

【0040】

（１－２－２）学習方法
次に、認識システム１０で用いる学習済みモデルＭ１０を生成するための学習方法を説明する。学習方法は、図４に示すように、準備処理Ｓ２１と、学習処理Ｓ２２と、を含む。

【0041】

準備処理Ｓ２１は、図５に示すようなモデルＭ２０を準備する処理である。モデルＭ２０は、学習済みモデルＭ１０を生成するために用いられる。モデルＭ２０は、第１モデル部Ｍ２１と、第２モデル部Ｍ２２と、第３モデル部Ｍ２３と、第４モデル部Ｍ２４と、を含む。

【0042】

第１モデル部Ｍ２１は、対象物１００が第１解像度で写る第１解像度画像Ｐ１０の入力に対して、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像Ｐ２０及び第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する差分画像Ｐ３０を出力するためのモデルである。第１モデル部Ｍ２１は、ニューラルネットワークの構造、本実施の形態では、畳み込みニューラルネットワーク（ＣＮＮ）の構造を有する。畳み込みニューラルネットワークは、入力層と出力層との間に、適宜の数の、畳み込み層、プーリング層、活性化関数、全結合層等を有する。特に、第１モデル部Ｍ２１は、学習済みモデルＭ１０の第１モデル部Ｍ１１のような超解像ネットワークを生成するための構造を有する。例えば、第１モデル部Ｍ２１の構造としては、参考文献（Christian Ledig，他１０名，“Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network”，［online］，２０１６年９月１５日，［２０２０年９月７日検索］，Cornell University，インターネット＜URL：https://arxiv.org/abs/1609.04802＞）の図４に提示されている生成ネットワークの構造を利用することが可能である。

【0043】

第２モデル部Ｍ２２は、第１モデル部Ｍ２１からの第２解像度画像Ｐ２０及び差分画像Ｐ３０の入力に対して対象物１００の特徴量Ｆ１１を出力するためのモデルである。第２モデル部Ｍ２２は、ニューラルネットワークの構造、本実施の形態では、畳み込みニューラルネットワーク（ＣＮＮ）の構造を有する。特に、第２モデル部Ｍ２２は、学習済みモデルＭ１０の第２モデル部Ｍ１２のような顔認識ネットワークを生成するための構造を有する。例えば、第２モデル部Ｍ２２の構造としては、非特許文献１に例示されている顔認識ネットワークの構造を利用することが可能である。本実施の形態では、第２解像度画像Ｐ２０は、第２モデル部Ｍ２２の入力層に入力されるが、差分画像Ｐ３０は第２モデル部Ｍ２２の入力層には入力されない。差分画像Ｐ３０は、第２モデル部Ｍ２２の入力層とは別の畳み込み層等を通じてパラメータに変換されて、第２モデル部Ｍ２２で用いられる。パラメータは、例えば、入力層に入力された画像の正規化されたデータに対して固有のスケールとシフトで変換を行うためのパラメータ（バッチノーマリゼーションで用いられるγ，β）が挙げられる。例えば、参考文献（Taesung Park，他３名，“Semantic Image Synthesis with Spatially-Adaptive Normalization”，［online］，２０１９年３月１８日，［２０２０年９月７日検索］，Cornell University，インターネット＜URL：https://arxiv.org/abs/1903.07291）には、セグメンテーションマスクを畳み込み層で畳み込んで得たテンソルを、バッチノーマリゼーションのパラメータγ，βとして利用することが開示されている。

【0044】

第３モデル部Ｍ２３は、第２モデル部Ｍ２２からの対象物１００の特徴量Ｆ１１の入力に対して対象物１００の認識の結果（認識結果）Ｒ２１を出力するためのモデルである。第３モデル部Ｍ２３は、識別器であり、例えば、Ｋ近傍法（ＫＮＮ）、サポートベクターマシーン（ＳＶＭ）等のアルゴリズムを用いることができる。

【0045】

第４モデル部Ｍ２４は、第２解像度画像Ｐ２０の入力に対して、第２解像度画像Ｐ２０が第１モデル部Ｍ２１で生成された画像か否かの判定の結果（判定結果）Ｒ２２を出力するためのモデルである。第４モデル部Ｍ２４は、ニューラルネットワークの構造、本実施の形態では、畳み込みニューラルネットワーク（ＣＮＮ）の構造を有する。第４モデル部Ｍ２４は、識別ネットワークを生成するための構造を有する。第４モデル部Ｍ２４は、第１モデル部Ｍ２１とともに、敵対的生成ネットワーク（ＧＡＮ）を構成するために用いられる。第４モデル部Ｍ２４の構造としては、上記の参考文献の図４に提示されている識別ネットワークの構造を利用することが可能である。

【0046】

準備処理Ｓ２１は、図４に示すように、生成ステップＳ２１０と、事前学習ステップＳ２１１と、を含む。

【0047】

生成ステップＳ２１０は、学習用データセット（第１学習用データセット）Ｄ２１を生成するステップである。第１学習用データセットＤ２１は、第１解像度画像Ｐ１０を入力、第２解像度画像Ｐ２０及び差分画像Ｐ３０を正解とする学習用データセットである。つまり、生成ステップＳ２１０は、学習用データセットＤ２１を生成するための学習用データセット生成方法である。

【0048】

生成ステップＳ２１０は、図４に示すように、第１ステップＳ２１０ａと、第２ステップＳ２１０ｂと、第３ステップＳ２１０ｃと、第４ステップＳ２１０ｄと、を含む。

【0049】

第１ステップＳ２１０ａは、対象物１００が写る基準画像を取得するステップである。基準画像は、対象物１００が第２解像度で写る画像である。つまり、第１ステップＳ２１０ａは、第２解像度画像Ｐ２０を取得するステップであるといえる。しかしながら、基準画像は、第１解像度画像Ｐ１０を第１解像度より高い第２解像度に変換して得られる画像ではなく、対象物１００を第２解像度で撮像して得られた画像、又は、対象物１００を第２解像度より高い第３解像度で撮像して得られた画像から第３解像度を第２解像度に変換して得られた画像を想定している。以下では、必要に応じて、学習済みモデルＭ１０の第１モデル部Ｍ１１で得られる第２解像度画像Ｐ２０を符号Ｐ２１で表す。第１ステップ２１０ａで取得される第２解像度画像Ｐ２０を符号Ｐ２２で表す。モデルＭ２０の第１モデル部Ｍ２１で得られる第２解像度画像Ｐ２０を符号Ｐ２３で表す。

【0050】

第２ステップＳ２１０ｂは、基準画像（第２解像度画像Ｐ２２）を基準画像よりも低い解像度の低解像度画像に変換するステップである。本実施の形態では、基準画像は、第２解像度よりも低い第１解像度の低解像度画像に変換される。つまり、第２ステップＳ２１０ｂは、第１ステップＳ２１０ａで取得した第２解像度画像Ｐ２２を第１解像度の画像に変換して第１解像度画像Ｐ１０を生成するステップであるといえる。ここで、低解像度画像は、対象物１００を第１解像度で撮像して得られた画像、又は、対象物１００を第１解像度より低い第４解像度で撮像して得られた画像から第４解像度を第１解像度に変換して得られた画像ではなく、第２解像度画像Ｐ２２を第２解像度より低い第１解像度に変換して得られる画像を想定している。以下では、第２解像度画像Ｐ２２から生成される低解像度画像である第１解像度画像Ｐ１０と対象物１００を第１解像度で撮像して得られた画像等の第１解像度画像Ｐ１０とを区別するために、必要に応じて、後者は符号Ｐ１１で表し、前者は符号Ｐ１２で表す。第２ステップ２１０ｂでは、第１ステップ２１０ａで取得した第２解像度画像（基準画像）Ｐ２２よりも画像サイズが小さい第１解像度画像（低解像度画像）Ｐ１２が生成される。第２解像度画像Ｐ２２から第１解像度画像Ｐ１２への変換は、平均値補間等の既知の方法により実現可能である。

【0051】

第３ステップＳ２１０ｃは、基準画像（第２解像度画像Ｐ２２）と低解像度画像（第１解像度画像Ｐ１２）との差分に相当する差分画像Ｐ３０を生成するステップである。第３ステップＳ２１０ｃは、第１ステップ２１０ａで取得した第２解像度画像Ｐ２２と第２ステップＳ２１０ｂで生成した第１解像度画像Ｐ１２とから差分画像Ｐ３０を生成するステップであるといえる。第３ステップＳ２１０ｃは、第２ステップ２１０ｂで生成した第１解像度画像Ｐ１２を第１ステップＳ２１０ａで取得した第２解像度画像Ｐ２２と同じ画像サイズに拡大する。第３ステップＳ２１０ｃは、拡大後の第１解像度画像Ｐ１２と第１ステップＳ２１０ａで取得した第２解像度画像Ｐ２２との画素値の差分に基づいて差分画像Ｐ３０を生成する。これによって、第１解像度画像Ｐ１１と第２解像度画像Ｐ２２とで画素値間の差分を容易に求めることができる。第１解像度画像Ｐ１２の拡大は、バイキュービック補間等の既知の方法により実現可能である。差分画像Ｐ３０の各画素値の範囲は、第１解像度画像Ｐ１１と第２解像度画像Ｐ２２の各画素値の範囲より狭い。例えば、第１解像度画像Ｐ１１と第２解像度画像Ｐ２２の各画素値の範囲が０～２５５である場合に、差分画像Ｐ３０の各画素値の範囲は０～１５に設定されてよい。つまり、第３ステップＳ２１０ｃは、拡大後の第１解像度画像Ｐ１２と第１ステップＳ２１０ａで取得した第２解像度画像Ｐ２２との差分そのままの画像を低諧調化して差分画像Ｐ３０を生成する。これによって、第１解像度画像Ｐ１２と第２解像度画像Ｐ２２とで差のある部分が明確に差分画像Ｐ３０に反映される。以下では、必要に応じて、学習済みモデルＭ１０の第１モデル部Ｍ１１で得られる差分画像Ｐ３０を符号Ｐ３１で表す。第３ステップ２１０ｃで生成される差分画像Ｐ３０を符号Ｐ３２で表す。モデルＭ２０の第１モデル部Ｍ２１で得られる差分画像Ｐ３０を符号Ｐ３３で表す。

【0052】

第４ステップＳ２１０ｄは、（第１）学習用データセットＤ２１を生成するステップである。第１学習用データセットＤ２１は、低解像度画像（第１解像度画像Ｐ１２）を入力、基準画像（第２解像度画像Ｐ２２）及び差分画像Ｐ３２を正解とする学習用データセットである。つまり、第４ステップＳ２１０ｄは、第２ステップＳ２１０ｂで生成した第１解像度画像Ｐ１２を入力、第１ステップＳ２１０ａで取得した第２解像度画像Ｐ２２及び第３ステップＳ２１０ｃで生成した差分画像Ｐ３２を正解とする学習用データセットを生成するステップであるともいえる。

【0053】

事前学習ステップＳ２１１は、生成ステップＳ２１０で生成された学習用データセットＤ２１を用いて第１モデル部Ｍ２１に第１解像度画像Ｐ１０（Ｐ１２）と第２解像度画像Ｐ２０（Ｐ２２）及び差分画像Ｐ３０（Ｐ３２）との関係を学習させる。これによって、第１モデル部Ｍ２１は、第１解像度画像Ｐ１０（Ｐ１２）の入力に対して、第２解像度画像Ｐ２３及び差分画像Ｐ３３を出力するように学習されることになる。事前学習ステップＳ２１１は、必要に応じて、第２モデル部Ｍ２２及び第３モデル部Ｍ２３の事前学習を含んでよい。第２解像度画像Ｐ２０及び差分画像Ｐ３０を入力、認識結果Ｒ２１を正解とする学習用データセットを用いて第２モデル部Ｍ２２及び第３モデル部Ｍ２３に第２解像度画像Ｐ２０及び差分画像Ｐ３０と認識結果Ｒ２１との関係を学習させてよい。第２モデル部Ｍ２２及び第３モデル部Ｍ２３として予め学習済みのモデルを用いる場合には、事前学習ステップＳ２１１での第２モデル部Ｍ２２及び第３モデル部Ｍ２３の事前学習は不要である。事前学習ステップＳ２１１は、必要に応じて、第４モデル部Ｍ２４の事前学習を含んでよい。例えば、第１ステップ２１０ａで取得される第２解像度画像Ｐ２２と第１モデル部Ｍ２１で生成される第２解像度画像Ｐ２３とを用いて、第４モデル部Ｍ２４をある程度訓練しておいてよい。第４モデル部Ｍ２４として予め学習済みのモデルを用いる場合には、事前学習ステップＳ２１１での第４モデル部Ｍ２４の事前学習は不要である。

【0054】

学習ステップＳ２１は、（第２）学習用データセットＤ２２を用いた機械学習により、モデルＭ２０に第１解像度画像Ｐ１２と第１解像度画像Ｐ１２に写る対象物１００の特徴量Ｆ２１との関係を学習させることを含む。第２学習用データセットＤ２２は、第１解像度画像Ｐ１２を入力、第１解像度画像Ｐ１２に写る対象物１００の認識の結果（認識結果Ｒ２１）を正解とする学習用データセットである。学習ステップＳ２１は、第４モデル部Ｍ２４から出力される判定の結果（判定結果）Ｒ２２に基づいて第１モデル部Ｍ２１と第４モデル部Ｍ２４との少なくとも一方の追加学習を実行することを含んでよい。

【0055】

このようにして機械学習がされたモデルＭ２０からは、第１モデル部Ｍ２１及び第２モデルＭ２２の学習済みパラメータを取得することができる。第１モデル部Ｍ２１及び第２モデルＭ２２の学習済みパラメータと、第１モデル部Ｍ２１及び第２モデルＭ２２の推論プログラムとを用いて、図２に示す学習済みモデルＭ１０を実装することが可能となる。

【0056】

以上述べた学習方法は、例えば、図６に示す学習システム２０により実行可能である。学習システム２０は、インタフェース２１と、記憶装置２２と、演算回路２３と、を備える。本実施の形態では、学習システム２０は、１台のサーバで実現される。

【0057】

インタフェース２１は、学習システム２０への情報の入力、及び、学習システム２０からの情報の出力に利用される。インタフェース２１は、入出力装置２１１と、通信装置２１２と、を含む。入出力装置２１１は、ユーザからの情報の入力のための入力装置、及び、ユーザへの情報の出力のための出力装置としての機能を有する。入出力装置２１１は、１以上のヒューマン・マシン・インタフェースを備える。ヒューマン・マシン・インタフェースの例としては、キーボード、ポインティングデバイス（マウス、トラックボール等）、タッチパッド等の入力装置、ディスプレイ、スピーカ等の出力装置、タッチパネル等の入出力装置が挙げられる。通信装置２１２は、外部装置又はシステムと通信可能に接続される。通信装置２１２は、１以上の通信インタフェースを備える。通信装置２１２は、通信ネットワークに接続可能であり、通信ネットワークを通じた通信を行う機能を有する。通信装置１１２は、所定の通信プロトコルに準拠している。所定の通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。

【0058】

記憶装置２２は、演算回路２３が利用する情報及び演算回路２３で生成される情報を記憶するために用いられる。記憶装置２２は、１以上のストレージ（非一時的な記憶媒体）を含む。ストレージは、例えば、ハードディスクドライブ、光学ドライブ、及びソリッドステートドライブ（ＳＳＤ）のいずれであってもよい。また、ストレージは、内蔵型、外付け型、およびＮＡＳ（network-attached storage）型のいずれであってもよい。

【0059】

記憶装置２２に記憶される情報は、モデルＭ２０と、学習用データＤ２０と、を含む。学習用データＤ２０は、第１学習用データセットＤ２１と、第２学習用データセットＤ２２と、を含む。図６では、記憶装置２２が、モデルＭ２０と学習用データＤ２０との全てを記憶している状態を示している。モデルＭ２０及び学習用データＤ２０は常に記憶装置２２に記憶されている必要はなく、演算回路２３で必要とされるときに記憶装置２２に記憶されていればよい。

【0060】

演算回路２３は、学習システム２０の動作を制御する回路である。演算回路２３は、インタフェース２１に接続され、記憶装置２２にアクセス可能（つまり、モデルＭ２０及び学習用データＤ２０にアクセス可能）である。演算回路２３は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。１以上のプロセッサが（１以上のメモリ又は記憶装置２２に記憶された）プログラムを実行することで、演算回路２３としての機能を実現する。プログラムは、ここでは記憶装置２２に予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0061】

演算回路２３は、学習方法（準備ステップＳ２１及び学習ステップＳ２２を含む）を実行するように構成される。

【0062】

以上述べたように、学習システム２０は、演算回路２３を備える。演算回路２３は、モデルＭ２０を準備する準備処理Ｓ２１と、準備ステップＳ２１で準備したモデルＭ２０を用いて機械学習を実行する学習ステップＳ２２とを含む学習方法を実行する。モデルＭ２０は、第１モデル部Ｍ２１と、第２モデル部Ｍ２２と、第３モデル部Ｍ２３と、を含む。第１モデル部Ｍ２１は、対象物１００が第１解像度で写る第１解像度画像Ｐ２０の入力に対して、第１解像度画像Ｐ２０を第１解像度より高い第２解像度に変換して得られる画像に相当する第２解像度画像Ｐ２０及び第１解像度画像Ｐ１０と第２解像度画像Ｐ２０との差分に相当する差分画像Ｐ３０を出力するためのモデルである。第２モデル部Ｍ２１は、第１モデル部Ｍ２２からの第２解像度画像Ｐ２０及び差分画像Ｐ３０の入力に対して対象物１００の特徴量Ｆ２１を出力するためのモデルである。第３モデル部Ｍ２３は、第２モデル部Ｍ２２からの対象物１００の特徴量Ｆ２１の入力に対して対象物１００の認識の結果Ｒ２１を出力するためのモデルである。学習ステップＳ２２は、第１解像度画像Ｐ１０を入力、第１解像度画像Ｐ１０に写る対象物１００の認識の結果Ｒ２１を正解とする学習用データセットＤ２１を用いた機械学習により、モデルＭ２０に第１解像度画像Ｐ１０と第１解像度画像Ｐ１０に写る対象物１００の特徴量Ｆ２１との関係を学習させることを含む。この学習システム２０によれば、対象物１００の認識の精度の向上が図れる。

【0063】

換言すれば、学習システム２０は、以下の方法（学習方法）を実行しているといえる。学習方法は、演算回路２３で実行され、準備ステップＳ２１と、学習ステップＳ２２と、を含む。このような学習方法によれば、学習システム２０と同様に、対象物１００の認識の精度の向上が図れる。

【0064】

学習システム２０は、演算回路２３を利用して実現されている。つまり、学習システム２０が実行する方法（学習方法）は、演算回路２３がプログラムを実行することにより実現され得る。このプログラムは、演算回路２３に、上記の学習方法を実行させるためのコンピュータプログラムである。このようなプログラムによれば、学習システム２０と同様に、対象物１００の認識の精度の向上が図れる。

【0065】

（１－３）性能評価
学習済みモデルＭ１０の顔認識の性能を評価するための試験を行った。試験では、学習済みモデルＭ１０の顔認識の性能を相対的に評価するために、図２に示す学習済みモデルＭ１０において、差分画像Ｐ３０を省略した学習済みモデルの顔認識の性能の評価も行った。この差分画像Ｐ３０を省略した学習済みモデルは、非特許文献１の学習済みモデルを想定している。顔認識の性能の評価のためのデータには、顔認識の公開ベンチマークの一つであるＬＦＷデータセット（http://vis-www.cs.umass.edu/lfw/）を利用し、同一人物だが種類が異なる画像のペアと異なる人物の画像のペアをそれぞれ３０００組、計６０００組を用意して正答率を評価した。非特許文献１の学習済みモデルでは、正答率は、９８．６４％となったのに対して、学習済みモデルＭ１０によれば、正答率は９８．８２％となった。これは、学習済みモデルＭ１０によれば、エラー率を１０％程度改善できていることを示している。

【0066】

（２）変形例
本開示の実施の形態は、上記実施の形態に限定されない。上記実施の形態は、本開示の課題を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施の形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

【0067】

一変形例では、認識システム１０において、演算回路１３は、学習済みモデルＭ１０に追加学習を行うこと再利用モデルを生成し、再利用モデルを利用して、推論処理Ｓ１２を実行してよい。換言すれば、演算回路１３は、学習済みモデルＭ１０の追加学習（再学習）を行う学習処理を実行してよい。

【0068】

一変形例では、認識システム１０において、記憶装置１２は、学習済みモデルＭ１０に変えて、蒸留モデルを記憶してもよい。蒸留モデルは、学習済みモデルＭ１０の蒸留により生成されるモデルである。この場合、認識システム１０は、蒸留モデルを記憶する記憶装置１２と、記憶装置１２にアクセス可能な演算回路１３と、を備える。演算回路１３は、取得処理Ｓ１１と、推論処理Ｓ１２と、を実行する。取得処理Ｓ１１は、第１解像度画像Ｐ１０を対象画像として取得する処理である。推論処理Ｓ１２は、取得処理Ｓ１１で取得した対象画像を蒸留モデルに与えて、対象画像に写る対象物１００の特徴量Ｆ１１を蒸留モデルに算出させる処理である。この場合でも、対象物１００の認識の精度の向上が図れる。

【0069】

一変形例では、認識システム１０において、取得処理Ｓ１１は、例えば、インタフェース１１の入出力装置により第１解像度画像Ｐ１０の入力のための画面を提示し、ユーザは画面の指示にしたがって第１解像度画像Ｐ１０を入力することが可能である。第１解像度画像Ｐ１０の入力は、外部装置又はシステムから第１解像度画像Ｐ１０を認識システム１０に入力することだけではなく、認識システム１０が記憶しているデータから第１解像度画像Ｐ１０として使用するデータを特定することも含んでよい。推論処理Ｓ１２は、必ずしも認識結果Ｒ１１まで求めなくてもよく、特徴量Ｆ１１を推論処理の結果としてもよい。出力処理Ｓ１３は、例えば、インタフェース１１の入出力装置により推論処理の結果の出力のための画面を提示してよい。

【0070】

一変形例では、学習方法において、モデルＭ２０の第１モデル部Ｍ２１からの第２解像度画像Ｐ２３及び差分画像Ｐ３３は、２チャンネルの画像として第２モデル部Ｍ２２（の入力層）に入力されてもよい。この場合、学習済みモデルＭ１０の第１モデル部Ｍ１１からの第２解像度画像Ｐ２１及び差分画像Ｐ３１も、２チャンネルの画像として第２モデル部Ｍ１２（の入力層）に入力される。

【0071】

一変形例では、差分画像Ｐ３０は、第１解像度画像Ｐ１０と第２解像度画像Ｐ２０の各画素値の差分自体を各画素値とする画像であってもよい。

【0072】

一変形例では、準備ステップＳ２１は必須ではない。学習用データセットＤ２１は予め用意されていてもよいからである。学習ステップＳ２２での、モデルＭ２０のエンド・トゥー・エンドの学習に代えて、モデルＭ２０の第１モデル部Ｍ２１～第４モデル部Ｍ２４の個別の学習を実行することとしてもよい。モデルＭ２０は、第４モデル部Ｍ２４を含んでいなくてもよい。つまり、ＧＡＮを用いた学習は必須ではない。

【0073】

一変形例では、認識システム１０及び学習システム２０がそれぞれ異なるコンピュータシステムで実現されることは必須ではない。認識システム１０及び学習システム２０は単一のコンピュータシステムで実現されてもよい。

【0074】

一変形例では、認識システム１０のインタフェース１１及び学習システム２０のインタフェース２１は、それぞれ、入出力装置と通信装置との両方を備える必要はない。

【0075】

一変形例では、認識システム１０及び学習システム２０の各々は、複数台のサーバ等のコンピュータシステムで実現されてもよい。つまり、認識システム１０及び学習システム２０の各々における複数の機能（構成要素）が、１つの筐体内に集約されていることは必須ではなく、認識システム１０及び学習システム２０の各々の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、認識システム１０及び学習システム２０の各々の少なくとも一部の機能、例えば、演算回路１３，２３の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0076】

（３）態様
上記実施の形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施の形態との対応関係を明示するためだけに、符号を括弧付きで付している。

【0077】

第１の態様は、認識システム（１０）であって、学習済みモデル（Ｍ１０）を記憶する記憶装置（１２）と、前記記憶装置（１２）にアクセス可能な演算回路（１３）と、を備える。前記学習済みモデル（Ｍ１０）は、第１モデル部（Ｍ１１）と、第２モデル部（Ｍ１２）と、を含む。前記第１モデル部（Ｍ１０）は、第１解像度画像（Ｐ１０）の入力に対して、第２解像度画像（Ｐ２０）及び差分画像（Ｐ３０）を出力するように学習されたモデルである。前記第１解像度画像（Ｐ１０）は、対象物（１００）が第１解像度で写る画像である。前記第２解像度画像（Ｐ２０）は、前記第１解像度画像（Ｐ１０）を前記第１解像度より高い第２解像度に変換して得られる画像に相当する。前記差分画像（Ｐ３０）は、前記第１解像度画像（Ｐ１０）と前記第２解像度画像（Ｐ２０）との差分に相当する画像である。前記第２モデル部（Ｍ１２）は、前記第２解像度画像（Ｐ２０）及び前記差分画像（Ｐ３０）の入力に対して前記対象物の特徴量（Ｆ１１）を出力するように学習されたモデルである。前記演算回路（１３）は、取得処理（Ｓ１１）と、推論処理（Ｓ１２）と、を実行する。前記取得処理（Ｓ１１）は、前記第１解像度画像（Ｐ１０）を対象画像として取得する。前記推論処理（Ｓ１２）は、前記取得処理（Ｓ１１）で取得した前記対象画像を前記学習済みモデル（Ｍ１０）に与えて、前記対象画像に写る対象物（１００）の特徴量（Ｆ１１）を前記学習済みモデル（Ｍ１０）に算出させる。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0078】

第２の態様は、第１の態様に基づく認識システム（１０）である。第２の態様では、前記推論処理（Ｓ１２）は、前記対象画像に写る対象物の特徴量（Ｆ１１）に基づいて前記対象物の認識を行うことを含む。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0079】

第３の態様は、第１又は第２の態様に基づく認識システム（１０）である。第３の態様では、前記演算回路（１３）は、前記推論処理（Ｓ１２）の結果を出力する出力処理（Ｓ１３）を実行する。この態様によれば、推論処理（Ｓ１２）の結果を提示できる。

【0080】

第４の態様は、学習済みモデル（Ｍ１０）を記憶する記憶装置（１２）にアクセス可能な演算回路（１３）により実行される認識方法である。前記学習済みモデル（Ｍ１０）は、第１モデル部（Ｍ１１）と、第２モデル部（Ｍ１２）と、を含む。前記第１モデル部（Ｍ１０）は、第１解像度画像（Ｐ１０）の入力に対して、第２解像度画像（Ｐ２０）及び差分画像（Ｐ３０）を出力するように学習されたモデルである。前記第１解像度画像（Ｐ１０）は、対象物（１００）が第１解像度で写る画像である。前記第２解像度画像（Ｐ２０）は、前記第１解像度画像（Ｐ１０）を前記第１解像度より高い第２解像度に変換して得られる画像に相当する。前記差分画像（Ｐ３０）は、前記第１解像度画像（Ｐ１０）と前記第２解像度画像（Ｐ２０）との差分に相当する画像である。前記第２モデル部（Ｍ１２）は、前記第２解像度画像（Ｐ２０）及び前記差分画像（Ｐ３０）の入力に対して前記対象物の特徴量（Ｆ１１）を出力するように学習されたモデルである。前記認識方法は、取得処理（Ｓ１１）と、推論処理（Ｓ１２）と、を含む。前記取得処理（Ｓ１１）は、前記第１解像度画像（Ｐ１０）を対象画像として取得する。前記推論処理（Ｓ１２）は、前記取得処理（Ｓ１１）で取得した前記対象画像を前記学習済みモデル（Ｍ１０）に与えて、前記対象画像に写る対象物（１００）の特徴量（Ｆ１１）を前記学習済みモデル（Ｍ１０）に算出させる。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0081】

第５の態様は、第４の態様に基づく認識方法を、前記演算回路（１３）に実行させるための、プログラムである。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0082】

第６の態様は、学習方法であって、モデル（Ｍ２０）を準備する準備ステップ（Ｓ２１）と、前記準備ステップ（Ｓ２１）で準備した前記モデル（Ｍ２０）を用いて機械学習を実行する学習ステップ（Ｓ２２）と、を含む。前記モデル（Ｍ２０）は、第１モデル部（Ｍ２１）と、第２モデル部（Ｍ２２）と、第３モデル部（Ｍ２３）と、を含む。前記第１モデル部（Ｍ２１）は、第１解像度画像（Ｐ１０）の入力に対して、第２解像度画像（Ｐ２０）及び差分画像（Ｐ３０）を出力するためのモデルである。前記第１解像度画像（Ｐ１０）は、対象物（１００）が第１解像度で写る画像である。前記第２解像度画像（Ｐ２０）は、前記第１解像度画像（Ｐ１０）を前記第１解像度より高い第２解像度に変換して得られる画像に相当する。前記差分画像（Ｐ３０）は、前記第１解像度画像（Ｐ１０）と前記第２解像度画像（Ｐ２０）との差分に相当する画像である。前記第２モデル部（Ｍ２２）は、前記第１モデル部（Ｍ２１）からの前記第２解像度画像（Ｐ２０）及び前記差分画像（Ｐ３０）の入力に対して前記対象物の特徴量（Ｆ２１）を出力するためのモデルである。前記第３モデル部（Ｍ２３）は、前記第２モデル部（Ｍ２２）からの前記対象物（１００）の特徴量（Ｆ２１）の入力に対して前記対象物（１００）の認識の結果（Ｒ２１）を出力するためのモデルである。前記学習ステップ（Ｓ２２）は、前記第１解像度画像（Ｐ１０）を入力、前記第１解像度画像（Ｐ１０）に写る対象物（１００）の認識の結果（Ｒ２１）を正解とする学習用データセット（Ｄ２２）を用いた機械学習により、前記モデル（Ｍ２０）に前記第１解像度画像（Ｐ１０）と前記前記第１解像度画像（Ｐ１０）に写る対象物の特徴量（Ｆ２１）との関係を学習させることを含む。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0083】

第７の態様は、第６の態様に基づく学習方法である。第７の態様では、前記準備ステップ（Ｓ２１）は、生成ステップ（Ｓ２１０）と、事前学習ステップ（Ｓ２１１）と、を含む。前記生成ステップ（Ｓ２１０）は、前記第１解像度画像（Ｐ１０）を入力、前記第２解像度画像（Ｐ２０）及び前記差分画像（Ｐ３０）を正解とする学習用データセット（Ｄ２１）を生成するステップである。前記事前学習ステップ（Ｓ２１１）は、前記生成ステップ（Ｓ２１０）で生成された学習用データセット（Ｄ２１）を用いて前記第１モデル部（Ｍ２１）に前記第１解像度画像（Ｐ１０）と前記第２解像度画像（Ｐ２０）及び前記差分画像（Ｐ３０）との関係を学習させるステップである。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0084】

第８の態様は、第７の態様に基づく認識システム（１０）である。第８の態様では、前記生成ステップ（Ｓ２１０）は、第１ステップ（Ｓ２１０ａ）と、第２ステップ（Ｓ２１０ｂ）と、第３ステップ（Ｓ２１０ｃ）と、第４ステップ（Ｓ２１０ｄ）と、を含む。前記第１ステップ（Ｓ２１０ａ）は、前記第２解像度画像（Ｐ２０）を取得するステップである。前記第２ステップ（Ｓ２１０ｂ）は、前記第１ステップ（Ｓ２１０ａ）で取得した前記第２解像度画像（Ｐ２０）を前記第１解像度の画像に変換して前記第１解像度画像（Ｐ１０）を生成するステップである。前記第３ステップ（Ｓ２１０ｃ）は、前記第１ステップ（Ｓ２１０ａ）で取得した前記第２解像度画像（Ｐ２０）と前記第２ステップ（Ｓ２１０ｂ）で生成した前記第１解像度画像（Ｐ１０）とから前記差分画像（Ｐ３０）を生成するステップである。前記第４ステップ（Ｓ２１０ｄ）は、前記第２ステップ（Ｓ２１０ｂ）で生成した前記第１解像度画像（Ｐ１０）を入力、前記第１ステップ（２１０ａ）で用意した前記第２解像度画像（Ｐ２０）及び前記第３ステップ（Ｓ２１０ｃ）で生成した前記差分画像（Ｐ３０）を正解とする学習用データセット（Ｄ２１）を生成するステップである。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0085】

第９の態様は、第８の態様に基づく学習方法である。第９の態様では、前記第３ステップ（Ｓ２１０ｃ）は、前記第２ステップ（Ｓ２１０ｂ）で生成した前記第１解像度画像（Ｐ１０）を前記第１ステップ（Ｓ２１０ａ）で取得した前記第２解像度画像（Ｐ２０）と同じ画像サイズに拡大する。前記第３ステップ（Ｓ２１０ｃ）は、拡大後の前記第１解像度画像（Ｐ１０）と前記第１ステップ（Ｓ２１０ａ）で取得した前記第２解像度画像（Ｐ２０）との画素値の差分に基づいて前記差分画像（Ｐ３０）を生成する。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0086】

第１０の態様は、第９の態様に基づく学習方法である。第１０の態様では、前記差分画像（Ｐ３０）の各画素値の範囲は、拡大後の前記第１解像度画像（Ｐ１０）と前記第１ステップ（Ｓ２１０ａ）で取得した前記第２解像度画像（Ｐ２０）の各画素値の範囲より狭い。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0087】

第１１の態様は、第６～第１０の態様のいずれか一つに基づく学習方法である。第１１の態様では、前記モデル（Ｍ２０）は、前記第２解像度画像（Ｐ２０）の入力に対して、前記第２解像度画像（Ｐ２０）が前記第１モデル部（Ｍ２１）で生成された画像か否かの判定の結果（Ｒ２２）を出力するための第４モデル部（Ｍ２４）を含む。前記学習ステップ（Ｓ２２）は、前記第４モデル部（Ｍ２４）から出力される前記判定の結果（Ｒ２２）に基づいて前記第１モデル部（Ｍ２１）と前記第４モデル部（Ｍ２４）との少なくとも一方の追加学習を実行することを含む。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0088】

第１２の態様は、学習済みモデル（Ｍ１０）であって、第１モデル部（Ｍ１１）と、第２モデル部（Ｍ１２）と、を含む。前記第１モデル部（Ｍ１０）は、第１解像度画像（Ｐ１０）の入力に対して、第２解像度画像（Ｐ２０）及び差分画像（Ｐ３０）を出力するように学習されたモデルである。前記第１解像度画像（Ｐ１０）は、対象物（１００）が第１解像度で写る画像である。前記第２解像度画像（Ｐ２０）は、前記第１解像度画像（Ｐ１０）を前記第１解像度より高い第２解像度に変換して得られる画像に相当する。前記差分画像（Ｐ３０）は、前記第１解像度画像（Ｐ１０）と前記第２解像度画像（Ｐ２０）との差分に相当する画像である。前記第２モデル部（Ｍ１２）は、前記第２解像度画像（Ｐ２０）及び前記差分画像（Ｐ３０）の入力に対して前記対象物の特徴量（Ｆ１１）を出力するように学習されたモデルである。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0089】

第１３の態様は、第１２の態様に基づく学習済みモデル（Ｍ１０）の蒸留により生成される、蒸留モデルである。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0090】

第１４の態様は、認識システム（１０）であって、第１３の態様に基づく蒸留モデルを記憶する記憶装置（１２）と、前記記憶装置（１２）にアクセス可能な演算回路（１３）と、を備える。前記演算回路（１３）は、取得処理（Ｓ１１）と、推論処理（Ｓ１２）と、を実行する。前記取得処理（Ｓ１１）は、前記第１解像度画像（Ｐ１０）を対象画像として取得する処理である。前記推論処理（Ｓ１２）は、前記取得処理（Ｓ１１）で取得した前記対象画像を前記蒸留モデルに与えて、前記対象画像に写る対象物（１００）の特徴量（Ｆ１１）を前記蒸留モデルに算出させる処理である。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0091】

第１５の態様は、学習用データセット生成方法であって、第１ステップ（Ｓ２１０ａ）と、第２ステップ（Ｓ２１０ｂ）と、第３ステップ（Ｓ２１０ｃ）と、第４ステップ（Ｓ２１０ｄ）と、を含む。前記第１ステップ（Ｓ２１０ａ）は、対象物（１００）が写る基準画像（Ｐ２２）を取得するステップである。前記第２ステップ（Ｓ２１０ｂ）は、 前記基準画像（Ｐ２２）を前記基準画像（Ｐ２２）よりも低い解像度の低解像度画像（Ｐ１２）に変換するステップである。前記第３ステップ（Ｓ２１０ｃ）は、前記基準画像（Ｐ２２）と前記低解像度画像（Ｐ１２）との差分に相当する差分画像（Ｐ３０）を生成するステップである。前記第４ステップ（Ｓ２１０ｄ）は、前記低解像度画像（Ｐ１２）を入力、前記基準画像（Ｐ２２）及び前記差分画像（Ｐ３０）を正解とする学習用データセット（Ｄ１１）を生成するステップである。この態様によれば、対象物（１００）の認識の精度の向上が図れる。

【0092】

なお、第２又は第３の態様は、第４及び第１４の態様にも適宜変更して適用することが可能である。

【0093】

（４）用語
本開示では、機械学習に関する用語を以下のように定義して用いる。

【0094】

「学習済みモデル」とは「学習済みパラメータ」が組み込まれた「推論プログラム」をいう。

【0095】

「学習済みパラメータ」とは、学習用データセットを用いた学習の結果、得られたパラメータ（係数）をいう。学習済みパラメータは、学習用データセットを学習用プログラムに対して入力することで、一定の目的のために機械的に調整されることで生成される。学習済みパラメータは、学習の目的にあわせて調整されているものの、単体では単なるパラメータ（数値等の情報）にすぎず、これを推論プログラムに組み込むことで初めて学習済みモデルとして機能する。例えば、ディープラーニングの場合には、学習済みパラメータの中で主要なものとしては、各ノード間のリンクの重み付けに用いられるパラメータ等がこれに該当する。

【0096】

「推論プログラム」とは、組み込まれた学習済みパラメータを適用することで、入力に対して一定の結果を出力することを可能にするプログラムをいう。例えば、入力として与えられた画像に対して、学習の結果として取得された学習済みパラメータを適用し、当該画像に対する結果（認証や判定）を出力するための一連の演算手順を規定したプログラムである。

【0097】

「学習用データセット」とは、訓練データセットともいい、生データに対して、欠測値や外れ値の除去等の前処理や、ラベル情報（正解データ）等の別個のデータの付加等、あるいはこれらを組み合わせて、変換・加工処理を施すことによって、対象とする学習の手法による解析を容易にするために生成された二次的な加工データをいう。学習用データセットには、生データに一定の変換を加えていわば「水増し」されたデータを含むこともある。

【0098】

「生データ」とは、ユーザやベンダ、その他の事業者や研究機関等により一次的に取得されたデータであって、データベースに読み込むことができるよう変換・加工処理されたものをいう。

【0099】

「学習用プログラム」とは、学習用データセットの中から一定の規則を見出し、その規則を表現するモデルを生成するためのアルゴリズムを実行するプログラムをいう。具体的には、採用する学習手法による学習を実現するために、コンピュータに実行させる手順を規定するプログラムがこれに該当する。

【0100】

「追加学習」とは、既存の学習済みモデルに、異なる学習用データセットを適用して、更なる学習を行うことで、新たに学習済みパラメータを生成することを意味する。

【0101】

「再利用モデル」とは、追加学習により新たに生成された学習済みパラメータが組み込まれた推論プログラムを意味する。

【0102】

「蒸留」とは、既存の学習済みモデルへの入力および出力結果を、新たな学習済みモデルの学習用データセットとして利用して、新たな学習済みパラメータを生成することを意味する。

【0103】

「蒸留モデル」とは、蒸留により新たに生成された学習済みパラメータが組み込まれた推論プログラムを意味する。

【産業上の利用可能性】

【0104】

本開示は、認識システム、認識方法、プログラム（コンピュータプログラム）、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法に適用可能である。具体的には画像に写る対象物に関する認識システム、認識方法、プログラム（コンピュータプログラム）、学習方法、学習済みモデル、蒸留モデル、及び、学習用データセット生成方法に、本開示は適用可能である。

【符号の説明】

【0105】

１０ 認識システム
１２ 記憶装置
１３ 演算回路
Ｍ１０ 学習済みモデル
Ｍ１１ 第１モデル部
Ｍ１２ 第２モデル部
Ｍ２０ モデル
Ｍ２１ 第１モデル部
Ｍ２２ 第２モデル部
Ｍ２３ 第３モデル部
Ｍ２４ 第４モデル部
Ｄ２１ 学習用データセット
Ｄ２２ 学習用データセット
Ｐ１０ 第１解像度画像
Ｐ２０ 第２解像度画像
Ｐ３０ 差分画像
Ｆ１１，Ｆ１２ 特徴量
Ｒ１１，Ｒ２１ 認識の結果（認識結果）
Ｒ２２ 判定の結果（判定結果）
Ｓ１１ 取得処理
Ｓ１２ 推論処理
Ｓ１３ 出力処理
Ｓ２１ 準備ステップ
Ｓ２１０ 生成ステップ
Ｓ２１０ａ 第１ステップ
Ｓ２１０ｂ 第２ステップ
Ｓ２１０ｃ 第３ステップ
Ｓ２１０ｄ 第４ステップ
Ｓ２１１ 事前学習ステップ
Ｓ２２ 学習ステップ
１００ 対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】