特許 7598921 情報処理方法、情報処理システム、及び、情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-04

(45)【発行日】2024-12-12

(54)【発明の名称】情報処理方法、情報処理システム、及び、情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   G06V 10/70 20220101ALI20241205BHJP

【ＦＩ】

G06T7/00 350B

G06V10/70

【請求項の数】 13

(21)【出願番号】P 2022505033

(86)(22)【出願日】2021-01-27

(86)【国際出願番号】 JP2021002859

(87)【国際公開番号】W WO2021176899

(87)【国際公開日】2021-09-10

【審査請求日】2023-11-02

(31)【優先権主張番号】62/984,011

(32)【優先日】2020-03-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】P 2020145219

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】石井 育規

(72)【発明者】

【氏名】佐藤 智

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２００９－１１０３４９（ＪＰ，Ａ）

【文献】特開２０１９－０９６１４６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／００－１０／９８

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実行される方法であって、
入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルを取得し、
前記第３モデルにボケを含む訓練画像を入力して前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとの差が小さくなるように、機械学習により前記第３モデルを訓練し、
訓練された前記第３モデルを出力する
情報処理方法。

【請求項2】

前記第３モデルの訓練では、前記第３モデルが有する前記第１モデルのパラメータを更新する
請求項１に記載の情報処理方法。

【請求項3】

前記第３モデルの訓練では、さらに、前記第３モデルが有する前記第２モデルのパラメータを更新する
請求項２に記載の情報処理方法。

【請求項4】

前記第３モデルの訓練では、さらに、
前記訓練画像に含まれるボケの度合いを判定し、
前記ボケの度合いに応じて、前記第１モデル及び前記第２モデルのパラメータ更新度合いを決定し、
決定された前記パラメータ更新度合いに応じて、前記第３モデルが有する前記第１モデル及び前記第２モデルのパラメータを更新する
請求項３に記載の情報処理方法。

【請求項5】

前記パラメータ更新度合いの決定では、
前記ボケの度合いが閾値より大きい場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより大きく決定する
請求項４に記載の情報処理方法。

【請求項6】

前記パラメータ更新度合いの決定では、
前記ボケの度合いが閾値より小さい場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより小さく決定する
請求項４に記載の情報処理方法。

【請求項7】

前記第３モデルの訓練では、さらに、
前記第１モデルの性能を判定し、
前記性能に応じて、前記第１モデルおよび前記第２モデルのパラメータ更新度合いを決定し、
決定された前記パラメータ更新度合いに応じて、前記第３モデルが有する前記第１モデル及び前記第２モデルのパラメータを更新する
請求項３に記載の情報処理方法。

【請求項8】

前記パラメータ更新度合いの決定では、
前記性能が閾値より高い場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより小さく決定する
請求項７に記載の情報処理方法。

【請求項9】

前記パラメータ更新度合いの決定では、
前記性能が閾値より低い場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより大きく決定する
請求項７に記載の情報処理方法。

【請求項10】

前記訓練画像は、マルチピンホールカメラの撮像により得られた画像を含む
請求項１～９のいずれか１項に記載の情報処理方法。

【請求項11】

前記訓練画像は、所定の画像に点広がり関数を畳み込むことにより得られた画像を含む
請求項１～９のいずれか１項に記載の情報処理方法。

【請求項12】

入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルを取得する取得部と、
前記第３モデルにボケを含む訓練画像を入力して前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとの差が小さくなるように、機械学習により前記第３モデルを訓練する訓練部と、
訓練された前記第３モデルを出力する出力部とを備える
情報処理システム。

【請求項13】

ボケを含む画像を取得する取得部と、
前記ボケを含む画像を、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルに入力して前記物体認識結果を取得する制御部と、
取得された前記物体認識結果に基づく情報を出力する出力部と、を備え
前記第３モデルは、ボケを含む訓練画像が入力され前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとを用いて機械学習により訓練された機械学習モデルである
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、情報処理システム、及び、情報処理装置に関する。

【背景技術】

【0002】

近年、プライバシーが保護されるように画像を加工する技術が研究開発されている。例えば、非特許文献１では、画像に映る人の顔を検出し、顔部分にボケ処理を施すことが開示されている。また、非特許文献２では、画像に映る人を検出し、人部分を他の画像に置き換えることが開示されている。

【0003】

他方で、画像を用いた機械学習による物体認識により、画像に映る物体又は文字など（以下、単に物体とも称する）の認識が行われている。機械学習による物体認識を行う場合、認識精度を向上させる観点から、入力される画像は、焦点が合っている画像（輪郭がはっきりしている画像）であることが望まれる。例えば、特許文献１には、入力された画像から輪郭が強調された輪郭強調画像を生成することが可能な画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－６７１０６号公報

【非特許文献】

【0005】

【文献】Nodari, A., Vanetti, M., Gallo, I.: Digital privacy: Replacing pedestrians from google street view images. In: Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012). pp. 2889-2893. IEEE (2012)

【文献】Fernandes, F.E., Yang, G., Do, H.M., Sheng, W.: Detection of privacy-sensitive situations for social robots in smart homes. In: 2016 IEEE International Conference on Automation Science and Engineering (CASE). pp. 727-732. IEEE (2016)

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記のような従来技術では、画像に映る物体に関するプライバシーを保護しつつ、画像に映る物体を物体認識モデルに認識させることが難しい。例えば、非特許文献１及び２の技術により加工された画像を用いた物体認識では認識結果が悪化することが多い。また、上記特許文献１に開示された技術では、画像に写っている物体等に関するプライバシーの保護が考慮されていない。

【0007】

そこで、本開示は、画像に映る物体に関するプライバシーを保護しつつ、物体認識における認識性能の低下を抑制することができる情報処理方法、情報処理システム、及び、情報処理装置を提供する。

【課題を解決するための手段】

【0008】

本開示の一態様に係る情報処理方法は、コンピュータにより実行される方法であって、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルを取得し、前記第３モデルにボケを含む訓練画像を入力して前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとの差が小さくなるように、機械学習により前記第３モデルを訓練し、訓練された前記第３モデルを出力する。

【0009】

本開示の一態様に係る情報処理システムは、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルを取得する取得部と、前記第３モデルにボケを含む訓練画像を入力して前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとの差が小さくなるように、機械学習により前記第３モデルを訓練する訓練部と、訓練された前記第３モデルを出力する出力部とを備える。

【0010】

本開示の一態様に係る情報処理装置は、ボケを含む画像を取得する取得部と、前記ボケを含む画像を、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルに入力して前記物体認識結果を取得する制御部と、取得された前記物体認識結果に基づく情報を出力する出力部と、を備え前記第３モデルは、ボケを含む訓練画像が入力され前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとを用いて機械学習により訓練された機械学習モデルである。

【発明の効果】

【0011】

本開示の一態様に係る情報処理方法等によれば、画像に映る物体に関するプライバシーを保護しつつ、物体認識における認識性能の低下を抑制することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施の形態に係る情報システムの機能構成を示すブロック図である。

【図2】図２は、実施の形態に係る情報処理システムにおける顔復元型認識ＮＷモデルの訓練手順を模式的に示す図である。

【図3】図３は、実施の形態に係る情報処理システムにおける、顔復元ＮＷモデルの訓練処理を示すフローチャートである。

【図4】図４は、実施の形態に係る情報処理システムにおける、顔認識ＮＷモデルの訓練処理を示すフローチャートである。

【図5】図５は、実施の形態に係る情報処理システムにおける、顔復元型認識ＮＷモデルの訓練処理を示すフローチャートである。

【図6】図６は、実施の形態に係る情報処理装置における、顔復元型認識ＮＷモデルを用いた認識処理を示すフローチャートである。

【図7】図７は、ボケ画像生成部により生成されたボケ画像を訓練画像として顔復元型認識ＮＷモデルを訓練した場合の、訓練条件ごとの認識性能の比較を示す図である。

【図8】図８は、マルチピンホールカメラにより撮像されたボケ画像を訓練画像として顔復元型認識ＮＷモデルを訓練した場合の、訓練条件ごとの認識性能の比較を示す図である。

【図9】図９は、実施の形態の変形例１に係る情報処理システムにおける、顔復元型認識ＮＷモデルの訓練処理を示すフローチャートである。

【図10】図１０は、実施の形態の変形例２に係る情報処理システムにおける、顔復元型認識ＮＷモデルの訓練処理を示すフローチャートである。

【発明を実施するための形態】

【0013】

（本開示に至った経緯）
本開示の実施の形態の説明に先立ち、本開示に至った経緯について説明する。

【0014】

近年、室内外に監視カメラ等のカメラが広く設置されており、屋内での人の様子、通行人の顔、自動車のナンバープレートなど、プライバシーを含む画像が取得されやすくなっている。物体認識の一例である顔認識をそのような画像に対して行うことで、個人に適した家電制御を行う、個人に適したインタラクションを得るなど、顔認識結果を様々な用途に用いることが可能となる。

【0015】

一方で、カメラで撮像された画像に映る物体に関するプライバシー保護の重要性が高まっている。プライバシー保護の観点から非特許文献１及び２に開示されたような加工された画像を用いて物体認識を行う場合、認識結果が悪化することが多い。さらに、非特許文献１及び２に開示された技術では、加工前の画像が外部に流出する等の危険があるのでプライバシーの保護が不十分である。また、特許文献１に開示された技術では、画像に映っている物体等に関するプライバシーの保護が考慮されていない。

【0016】

そこで、本開示では、画像に映る物体に関するプライバシー保護の観点から、マルチピンホールカメラを用いて物体を撮像する。詳細は後述するが、マルチピンホールカメラで撮像された画像（マルチピンホール画像：ＭＰＨ画像）は、視差特性を含んだ画像となる。言い換えると、ＭＰＨ画像は、ボケを含む画像（ボケ画像）である。これにより、取得される画像がボケ画像となるので、物体のプライバシーを保護することが可能となる。なお、マルチピンホールカメラは、マルチピンホールが形成されたマルチピンホールマスクを有するカメラである。

【0017】

このようなＭＰＨ画像に対して、例えば、機械学習により生成された物体認識モデルを用いて物体認識が行われる。当該物体認識モデルは、マルチピンホールカメラで撮像されたＭＰＨ画像が入力されても、つまりボケ画像が入力されても、物体認識を精度よく行うことが求められる。しかしながら、マルチピンホールカメラ特有のボケを有する画像であるＭＰＨ画像を物体認識する物体認識モデルを効果的に訓練する、つまり認識性能の低下を抑制することが困難である。

【0018】

そこで、本願発明者らは、プライバシーの保護が可能であるＭＰＨ画像等の画像に対して物体認識する物体認識モデルにおける認識性能の低下を抑制することについて鋭意検討を行い、以下に示す情報処理方法等を創案した。以下に示す情報処理方法等を用いて訓練された物体認識モデルは、画像を用いた物体の物体認識における物体に関するプライバシーを保護しつつ、物体認識における認識性能の低下を抑制することができる。なお、以下では、物体認識モデルが人物の顔を認識する顔認識モデル（物体認識モデルの一例）である場合について説明するが、これに限定されない。本開示は、顔認識モデル以外の物体認識モデルにおいても、適用可能である。

【0019】

本開示の一態様に係る情報処理方法は、コンピュータにより実行される方法であって、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルを取得し、前記第３モデルにボケを含む訓練画像を入力して前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとの差が小さくなるように、機械学習により前記第３モデルを訓練し、訓練された前記第３モデルを出力する。

【0020】

これにより、第３モデルは、訓練時にボケを含む訓練画像が入力画像として用いられるので、認識時にボケを含む画像が入力されても物体認識を適切に行うことができる。つまり、第３モデルは、プライバシーが保護されていないボケを含まない画像を用いることなく、物体認識を適切に行うことができる。また、第３モデルは、第１モデル及び第２モデルが連結されて一体的に訓練されるので、第１モデルの出力が第２モデルの物体認識性能が向上するように変化する。そのため、第１モデル及び第２モデルが独立して利用される（例えば、第１モデル及び第２モデルが独立して訓練される）場合に比べて、物体認識の精度を向上させることができる。また、第３モデルは、第１モデル及び第２モデルが連結されて一体化しているので、第１モデルの出力が外部に流出することがない。そのため、第１モデルと第２モデルとが独立している場合に比べて、プライバシー保護を強化することができる。また仮に、第１モデルの出力が外部に流出したとしても、第１モデルは第２モデルと連結されて一体的に訓練されることにより第１モデルの出力が人にとって認識不能な値に変化するため、プライバシーは保護される。よって、本開示の一態様に係る情報処理方法によれば、画像を用いた物体の物体認識における物体のプライバシーを保護しつつ、物体認識における認識性能の低下を抑制することができる。なお、上記のように第１モデルの出力は、第３モデルの訓練により変化するが、値が画像として扱える範囲に収まるデータであってよいし、値が画像として扱える範囲に収まらないデータであってもよい。例えば、後述のように、第１モデルの出力は、第２モデルに入力可能なサイズのテンソルであれば値は任意である。

【0021】

また、例えば、前記第３モデルの訓練では、前記第３モデルが有する前記第１モデルのパラメータを更新してもよい。

【0022】

これにより、第１モデルは、第２モデルによる物体認識により適した特徴量を出力可能となる。よって、第３モデルによる認識性能の低下をより抑制することができる。

【0023】

また、例えば、前記第３モデルの訓練では、さらに、前記第３モデルが有する前記第２モデルのパラメータを更新してもよい。

【0024】

これにより、第２モデルは、第１モデルからの特徴量により適した認識結果を出力可能となる。よって、第３モデルによる認識性能の低下をより抑制することができる。

【0025】

また、例えば、前記第３モデルの訓練では、さらに、前記訓練画像に含まれるボケの度合いを判定し、前記ボケの度合いに応じて、前記第１モデル及び前記第２モデルのパラメータ更新度合いを決定し、決定された前記パラメータ更新度合いに応じて、前記第３モデルが有する前記第１モデル及び前記第２モデルのパラメータを更新してもよい。

【0026】

これにより、訓練画像のボケの度合いに応じてパラメータ更新度合いが決定されるので、訓練画像のボケの度合いに応じて効果的にパラメータの更新を行うことができる。

【0027】

また、例えば、前記パラメータ更新度合いの決定では、前記ボケの度合いが閾値より大きい場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより大きく決定してもよい。また、例えば、前記パラメータ更新度合いの決定では、前記ボケの度合いが閾値より小さい場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより小さく決定してもよい。

【0028】

これにより、訓練画像のボケの度合いによらず、第２モデルによる物体認識に有効な特徴量を出力することができるように、第１モデルを効果的に訓練することができる。例えば、ボケの度合いが閾値より高い場合は、第１モデルのパラメータ更新度合いを大きくして物体認識に対するボケの影響がより抑制される特徴量を出力するように第１モデルを訓練できる。また、ボケの度合いが閾値より低い場合は、第１モデルのパラメータ更新度合いを小さくして物体認識に対する第２モデルのパラメータの更新度合いを相対的に大きくすることができ、認識性能が向上するように第１モデルを訓練できる。

【0029】

また、例えば、前記第３モデルの訓練では、さらに、前記第１モデルの性能を判定し、前記性能に応じて、前記第１モデルおよび前記第２モデルのパラメータ更新度合いを決定し、決定された前記パラメータ更新度合いに応じて、前記第３モデルが有する前記第１モデル及び前記第２モデルのパラメータを更新してもよい。

【0030】

これにより、第１モデルの性能に応じてパラメータ更新度合いが決定されるので、第１モデルの性能に応じて効果的にパラメータの更新を行うことができる。

【0031】

また、例えば、前記パラメータ更新度合いの決定では、前記性能が閾値より高い場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより小さく決定してもよい。また、例えば、前記パラメータ更新度合いの決定では、前記性能が閾値より低い場合、前記第１モデルの前記パラメータ更新度合いを前記第２モデルの前記パラメータ更新度合いより大きく決定してもよい。

【0032】

これにより、第２モデルにおける物体認識に有効な特徴量を出力できるように、第１モデルを第１モデルの性能に応じて効果的に訓練することができる。例えば、性能が閾値より高い場合は、第１モデルのパラメータ更新度合いを小さくして特徴量が過剰に変化しないように第１モデルを訓練できる。また、性能が閾値より低い場合は、第１モデルのパラメータ更新度合いを大きくして物体認識性能が向上するだけの特徴量に変化するように第１モデルを訓練できる。

【0033】

また、例えば、前記訓練画像は、マルチピンホールカメラの撮像により得られた画像を含んでもよい。

【0034】

これにより、マルチピンホールカメラで撮像された画像が入力されても、適切な物体認識結果を出力可能な第３モデルを生成することができる。また、マルチピンホールカメラで撮像された画像は、ボケを多く含む画像であり、物体に対するプライバシー保護の効果をより高めることができる。

【0035】

また、例えば、前記訓練画像は、所定の画像に点広がり関数を畳み込むことにより得られた画像を含んでもよい。

【0036】

これにより、マルチピンホールカメラで撮影された画像と同一又は当該画像に近い訓練画像を生成することができる。つまり、マルチピンホールカメラで訓練画像を取得するための撮像を行うことなく、訓練画像を取得することができる。よって、機械学習用の訓練画像を容易に生成することができる。

【0037】

また、本開示の一態様に係る情報処理方法は、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルを取得する取得部と、前記第３モデルにボケを含む訓練画像を入力して前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとの差が小さくなるように、機械学習により前記第３モデルを訓練する訓練部と、訓練された前記第３モデルを出力する出力部とを備える。

【0038】

これにより、上記の情報処理方法と同様の効果を奏する。

【0039】

また、本開示の一態様に係る情報処理装置は、ボケを含む画像を取得する取得部と、前記ボケを含む画像を、入力された画像にボケ除去処理を行って特徴量を出力する機械学習モデルである第１モデルの出力が、入力された画像に物体認識処理を行って物体認識結果を出力する機械学習モデルである第２モデルの入力となるように、前記第１モデルと前記第２モデルとが連結された第３モデルに入力して前記物体認識結果を取得する制御部と、取得された前記物体認識結果に基づく情報を出力する出力部と、を備え前記第３モデルは、ボケを含む訓練画像が入力され前記第３モデルから出力された前記物体認識結果と、前記訓練画像に対応する前記物体認識結果のリファレンスデータとを用いて機械学習により訓練された機械学習モデルである。

【0040】

これにより、上記の情報処理方法と同様の効果を奏する。

【0041】

さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。

【0042】

以下、本開示の一態様に係る情報処理方法、情報処理システム、及び、情報処理装置の具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0043】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。

【0044】

また、本明細書において、同一などの要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度（例えば、５％程度）の差異をも含むことを意味する表現である。

【0045】

（実施の形態）
以下、本実施の形態に係る情報処理システム等について、図１～図８を参照しながら説明する。

【0046】

［１．情報システムの構成］
まずは、本実施の形態に係る情報システムの構成について、図１を参照しながら説明する。図１は、本実施の形態に係る情報システム１０の機能構成を示す図である。情報システム１０は、顔認識のための機械学習モデルをＭＰＨ画像などのボケ画像を用いて訓練し、訓練された機械学習モデルを用いて物体認識を行うシステムである。

【0047】

図１に示すように、情報システム１０は、マルチピンホールカメラ１００と、情報処理システム２００と、情報処理装置３００とを備える。マルチピンホールカメラ１００及び情報処理システム２００、マルチピンホールカメラ１００及び情報処理装置３００、情報処理システム２００及び情報処理装置３００はそれぞれ、通信可能に接続されている。なお、以下において、マルチピンホールカメラ１００をＭＰＨカメラ１００とも記載する。また、訓練時においては、ＭＰＨカメラ１００は備えられなくてもよい。

【0048】

ＭＰＨカメラ１００は、１回の撮像動作で物体（被写体）に対する視点が互いに異なる複数の画像（ピンホール画像：ＰＨ画像）を同時に取得可能である。ＭＰＨカメラ１００は、レンズレスマルチピンホールカメラとも称される。ＭＰＨカメラ１００は、複数のピンホール（マルチピンホール）を用いたカメラであり、マルチピンホールマスクとイメージセンサとを有する。マルチピンホールマスクは、イメージセンサに対して物体側に一定距離離れて配置されている。つまり、イメージセンサには、マルチピンホールマスクを通過した光が入射する。マルチピンホールマスクには、ランダム又は等間隔に配置された複数のピンホールが形成されている。なお、複数のピンホールは、例えば、２以上のピンホールであれば数は特に限定されない。

【0049】

イメージセンサは、各ピンホールを通じて物体の画像（ＭＰＨ画像）を取得する。ＭＰＨ画像は、各ピンホールを介して取得される画像である。各ピンホールの位置及び大きさによって、取得されるＰＨ画像が異なる。イメージセンサは、複数のＰＨ画像の重畳画像（符号化画像）をＭＰＨ画像として取得する。ＭＰＨ画像は、人が視覚的に認識できない画像であり得るが、コンピュータ処理を用いれば、撮像対象の物体及び周辺環境等の画像に含まれる情報の取得が可能な画像である。

【0050】

なお、本明細書において、ＭＰＨカメラ１００のようなマルチピンホールマスクを備える種類のカメラ以外の種類のカメラで撮像された、マルチピンホールマスクにより生じるボケを含まない画像をボケ無し画像とも記載する。ボケ無し画像は、例えば、光学系を通して撮像される画像である。ボケ無し画像は、通常、光学系により集光された物体からの光を結像することによって取得される。光学系の一例は、レンズである。物体が存在する環境下で、人が物体を直接見たとき、人はボケ無し画像とほぼ同様の状態で、当該物体を知覚する。言い換えると、人は、通常のカメラ（例えば、レンズを有するカメラ）で撮像されたボケ無し画像を、実空間の状態と同様に視覚的に認識する。なお、通常のカメラは、マルチピンホールマスクを有していない。

【0051】

なお、本明細書において、ボケ画像及びボケ無し画像は、人物の顔が映る顔画像である。

【0052】

情報処理システム２００は、ＭＰＨカメラ１００で撮像されたボケ画像を入力画像（訓練画像）として、顔認識結果を出力する機械学習モデルである顔復元型認識ＮＷ（ニューラルネットワーク）モデルを生成する。顔認識結果は、例えば、２つのボケ画像に映る人物が同一人物であるか否かの判定結果であってもよいし、ボケ画像に映る人物の顔の特徴量であってもよい。

【0053】

情報処理システム２００は、ボケ画像生成部２１０と、第１記憶部２２０と、第２記憶部２３０と、第３記憶部２４０と、第１訓練部２５０と、第４記憶部２６０と、第２訓練部２７０と、第５記憶部２８０とを有する。なお、ボケ画像生成部２１０及び第１記憶部２２０は、情報処理システム２００に必須の構成ではない。また、第１記憶部２２０～第５記憶部２８０は、１つの記憶装置で実現されてもよいし、２以上の記憶装置により実現されてもよい。なお、顔復元型認識ＮＷモデルは、物体認識モデルの一例である。

【0054】

ボケ画像生成部２１０は、第１記憶部２２０に記憶されているＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点像強度分布関数）の集合であるＰＳＦ集合と、第２記憶部２３０に記憶されているボケ無し画像とに基づいて、ボケ無し画像をボケさせたボケ画像を生成する。ボケ画像生成部２１０は、例えば、ＰＳＦを用いた畳み込み演算（畳み込み積分演算）をボケ無し画像に施すことでボケ画像を生成する。ボケ画像生成部２１０は、ボケ無し画像を複数の領域に分割し、分割した領域ごとに、当該領域に対応するＰＳＦを用いて畳み込み演算を施してもよい。

【0055】

ボケ画像生成部２１０が生成したボケ画像は、後述する顔復元ＮＷモデル及び顔復元型認識ＮＷモデルの少なくとも一方の訓練時に用いられてもよいし、認識性能の確認時（後述する図７を参照）に用いられてもよい。

【0056】

なお、ＰＳＦ集合は、ＭＰＨカメラ１００が撮像した画像から抽出されたＰＳＦを含んでいてもよい。例えば、ＰＳＦ集合は、ＭＰＨカメラ１００が撮像した画像を複数の領域に分割し、分割した領域のそれぞれにおいて抽出されたＰＳＦを含んでいてもよい。

【0057】

これにより、ボケ画像生成部２１０により生成されるボケ画像は、ＭＰＨカメラ１００で撮像された画像に類似する画像となる。つまり、ボケ画像生成部２１０により生成されるボケ画像は、複数のＰＨ画像が重畳されたような画像となる。ボケ画像生成部２１０により生成されるボケ画像は、人が視覚的に認識できない画像であり得るが、物体認識モデル（例えば、顔認識モデル）の訓練用の画像としては用いることが可能な画像である。

【0058】

第１記憶部２２０は、ボケ画像生成部２１０がボケ画像を生成するための複数のＰＳＦを含むＰＳＦ集合を記憶する。ＰＳＦは、点光源を撮像したときの光学系による像のボケ方（劣化の仕方）を示すものであり、ボケたときの強度分布を表す関数である。ＰＳＦは、理想的な点光源が光学系を通過した場合に、どのように光線が広がるかを表した関数であるとも言える。ＰＳＦは、理想的にはインパルス応答となる。

【0059】

第２記憶部２３０は、第１訓練部２５０及び第２訓練部２７０での機械学習モデルの訓練に用いられる画像（訓練画像）を記憶する。第２記憶部２３０は、複数のボケ無し画像を含むボケ無し画像集合と、複数のボケ画像を含むボケ画像集合とを記憶する。ボケ無し画像集合は、通常のカメラが撮像した画像を含んでいてもよいし、インターネット上に公開されている訓練用のデータセットに含まれる画像を含んでいてもよい。ボケ画像集合は、ボケ画像生成部２１０が生成した画像を含んでいてもよいし、ＭＰＨカメラ１００が撮像した画像を含んでいてもよいし、その両方の画像を含んでいてもよい。なお、通常のカメラで撮像された画像、及び、インターネット上に公開されている訓練用のデータセットに含まれる画像は、ボケ無し画像であり、所定の画像の一例である。

【0060】

第３記憶部２４０は、第１訓練部２５０及び第２訓練部２７０での機械学習モデルの訓練に用いられる教師データ（正解情報）を記憶する。教師データは、ボケ画像に対応するボケ無し画像、並びに、ボケ画像及びボケ無し画像に映る人物の特徴を含む情報（ＩＤ情報）である。

【0061】

第１訓練部２５０は、入力されたボケ画像にボケ除去処理を行って当該ボケ画像に対応するボケ無し画像の特徴量を出力する顔復元ニューラルネットワークモデル（顔復元ＮＷモデル）、及び、特徴量が入力され当該特徴量に対応する顔認識結果を出力する顔認識ニューラルネットワークモデル（顔認識ＮＷモデル）を個々に訓練する。第１訓練部２５０は、顔復元ＮＷ訓練部２５１と、顔認識ＮＷ訓練部２５２とを有する。

【0062】

顔復元ＮＷ訓練部２５１は、ボケ画像を入力画像とし、当該ボケ画像に対応するボケ無し画像を教師データとして、機械学習により顔復元ＮＷモデルを訓練する。顔復元ＮＷモデルは、入力された画像にボケ除去処理を行ってボケ除去処理後の特徴量を出力する機械学習モデルであり、第１モデルの一例である。顔復元ＮＷモデルは、例えば、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）等のニューラルネットワーク（例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた機械学習モデルであるが、他の機械学習モデルであってもよい。顔復元ＮＷモデルは、例えば、入力層、隠れ層及び出力層を有し、隠れ層は、畳み込み層とプーリング層とを含んで構成されていてもよい。なお、復元とは、ボケ画像からボケを除去することを含む。

【0063】

顔認識ＮＷ訓練部２５２は、ボケ無し画像を入力画像とし、当該ボケ無し画像に映る人物を識別するためのＩＤ情報を教師データとして、機械学習により顔認識ＮＷモデルを訓練する。顔認識ＮＷモデルは、入力された画像に顔認識処理を行って顔認識結果（物体認識結果の一例）を出力する機械学習モデルであり、第２モデルの一例である。顔認識ＮＷモデルは、例えば、深層学習等のニューラルネットワークを用いた機械学習モデルであるが、他の機械学習モデルであってもよい。顔認識ＮＷモデルは、既存の顔認識ネットワークが用いられてもよく、例えば、「ＳｐｈｅｒｅＦａｃｅ」、「ＣｏｓＦａｃｅ」及び「ＡｒｃＦａｃｅ」などが用いられてもよい。

【0064】

第４記憶部２６０は、第１訓練部２５０により訓練された訓練済みの機械学習モデルを記憶する。第４記憶部２６０は、顔復元ＮＷ訓練部２５１により訓練された顔復元ＮＷモデルと、顔認識ＮＷ訓練部２５２により訓練された顔認識ＮＷモデルとを記憶する。なお、機械学習モデルを記憶するとは、機械学習モデルにおけるネットワークパラメータ、演算のアルゴリズム（機械学習アルゴリズム）などの情報を記憶することを意味する。

【0065】

第２訓練部２７０は、顔復元ＮＷモデルと顔認識ＮＷモデルとが連結された顔復元型認識ニューラルネットワークモデル（顔復元型認識ＮＷモデル）を訓練する。顔復元ＮＷモデル及び顔認識ＮＷモデルが連結するとは、顔復元ＮＷモデルの出力が顔認識ＮＷモデルの入力となるように、情報の入出力を関係づけることである。顔復元ＮＷモデルの出力及び顔認識ＮＷモデルの入力は、顔復元型認識ＮＷモデルにおける中間生成物となる。

【0066】

顔復元型認識ＮＷモデルは、顔復元ＮＷモデルと顔認識ＮＷモデルとを用いてボケ画像から顔認識結果を出力する機械学習モデルであり、第３モデルの一例である。第２訓練部２７０は、顔復元型認識ＮＷ訓練部２７１を有する。

【0067】

顔復元型認識ＮＷ訓練部２７１は、ボケ画像を入力画像とし、当該ボケ画像に映る人物を識別するためのＩＤ情報を教師データとして、機械学習により顔復元型認識ＮＷモデルを訓練する。顔復元型認識ＮＷ訓練部２７１は、訓練部の一例である。

【0068】

なお、第１訓練部２５０及び第２訓練部２７０における機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法（ＢＰ：ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）などによって実現される。

【0069】

第５記憶部２８０は、第２訓練部２７０により訓練された訓練済みの機械学習モデルを記憶する。第５記憶部２８０は、顔復元型認識ＮＷ訓練部２７１により訓練された顔復元型認識ＮＷモデルを記憶する。

【0070】

なお、第１記憶部２２０～第５記憶部２８０は、半導体メモリなどにより実現されるが、これに限定されない。また、第１記憶部２２０～第５記憶部２８０は、互いに異なる記憶装置によって実現されてもよいし、１つの記憶装置によって実現されてもよい。

【0071】

情報処理システム２００は、第５記憶部２８０に記憶されている訓練済みの顔復元型認識ＮＷモデルを通信により情報処理装置３００に出力する。これにより、情報処理装置３００が有する第７記憶部３２０に顔復元型認識ＮＷモデルを記憶させることができる。

【0072】

情報処理装置３００は、訓練された物体認識モデルを用いて、物体認識を行う。本実施の形態では、情報処理装置３００は、訓練された顔復元型認識ＮＷモデルを用いて、顔認識を行う。情報処理装置３００は、第６記憶部３１０と、第７記憶部３２０と、処理部３３０と、出力部３４０と、取得部３５０とを備える。

【0073】

第６記憶部３１０は、ＭＰＨカメラ１００から通信により取得部３５０が取得した複数のボケ画像（ＭＰＨ画像）を含むボケ画像集合を記憶する。当該ボケ画像は、訓練済みの顔復元型認識ＮＷモデルによる顔認識を行う対象となる画像である。ボケ画像は、物体のプライバシーが保護された画像である。

【0074】

第７記憶部３２０は、情報処理システム２００から出力された訓練済みの顔復元型認識ＮＷモデルを記憶する。

【0075】

なお、第６記憶部３１０及び第７記憶部３２０は、半導体メモリなどにより実現されるが、これに限定されない。また、第６記憶部３１０及び第７記憶部３２０は、互いに異なる記憶装置によって実現されてもよいし、１つの記憶装置によって実現されてもよい。

【0076】

処理部３３０は、ボケ画像を顔復元型認識ＮＷモデルに入力して顔認識結果を取得させる処理を行う。処理部３３０は、情報処理システム２００によって訓練された顔復元型認識ＮＷモデルに、第６記憶部３１０に記憶されたボケ画像を入力し、当該顔復元型認識ＮＷモデルからの出力を顔認識結果として取得する。処理部３３０は、制御部の一例である。

【0077】

出力部３４０は、取得された顔認識結果に基づく情報を出力する。出力部３４０は、例えば、第１のボケ画像が顔復元型認識ＮＷモデルに入力された出力である第１の顔認識結果と、第１のボケ画像と異なる第２のボケ画像が顔復元型認識ＮＷモデルに入力された出力である第２の顔認識結果とに基づいて、第１のボケ画像に映る人物と、第２のボケ画像に映る人物とが同一人物であるか否かを判定し、判定結果を出力する。

【0078】

出力部３４０は、例えば、液晶ディスプレイなどの表示装置を含んで構成され、当該情報を表示により出力してもよいし、通信回路を含んで構成され、当該情報を通信により外部の装置に出力してもよい。

【0079】

取得部３５０は、ＭＰＨカメラ１００からボケ画像を取得する。取得部３５０は、取得したボケ画像を第６記憶部３１０に記憶する。

【0080】

上記のように、情報処理装置３００は、ボケ無し画像を用いずに顔認識結果を出力するので、ボケ無し画像を入力する場合に比べて、画像漏洩等によりプライバシーが流出することを抑制することができる。

【0081】

［２．情報システムの動作］
次に、上記の情報システム１０の動作について、図２～図６を参照しながら説明する。

【0082】

［２－１．情報処理システムの動作］
まずは、情報処理システム２００の動作について、図２～図５を参照しながら説明する。図２は、本実施の形態に係る情報処理システム２００における顔復元型認識ＮＷモデルの訓練手順を模式的に示す図である。図３は、本実施の形態に係る情報処理システム２００における、顔復元ＮＷモデルの訓練処理を示すフローチャートである。

【0083】

図２に示すように、本実施の形態では、機械学習モデルの訓練は、第１ステップ、第２ステップ及び第３ステップの手順で訓練が行われる。なお、機械学習モデルの訓練は、少なくとも第３ステップの訓練を含んでいればよい。

【0084】

図２に示すように、第１ステップでは、顔復元ＮＷモデルの訓練が行われ、第２ステップでは、顔認識ＮＷモデルの訓練が行われ、第３ステップでは、顔復元ＮＷモデル及び顔認識ＮＷモデルが連結された顔復元型認識ＮＷモデルの訓練が行われる。第１ステップ及び第２ステップの訓練が行われた後に、第３ステップの訓練が行われる。また、第１ステップ及び第２ステップの訓練を行う順序は特に限定されない。

【0085】

第１ステップは、顔復元ＮＷモデルにおいて、入力されるボケ画像からボケ除去処理を適切に行えるようにするための訓練を行うステップである。つまり、第１ステップでは、ボケ画像からボケ無し画像の特徴量を復元するためのパラメータの更新が行われる。第２ステップは、ボケ無し画像から顔認識を適切に行うための訓練を行うステップである。つまり、第２ステップでは、顔認識を適切に行うためのパラメータの更新が行われる。第１ステップ及び第２ステップは、顔復元ＮＷモデル及び顔認識ＮＷモデルに対してプレトレーニングを行うステップであるとも言える。

【0086】

第３ステップは、顔復元ＮＷモデル及び顔認識ＮＷモデルを連結して、顔復元ＮＷモデル及び顔認識ＮＷモデルを訓練しなおすステップである。つまり、第３ステップでは、ボケ画像から顔認識を適切に行うためのパラメータの更新が行われる。第３ステップは、訓練済みの顔復元ＮＷモデル及び顔認識ＮＷモデルを追加訓練するファインチューニングを行うステップであるとも言える。

【0087】

図３に示すように、第１ステップにおいて、顔復元ＮＷ訓練部２５１は、第２記憶部２３０からボケ画像を読み込み、かつ、第３記憶部２４０から当該ボケ画像に対応するボケ無し画像を読み込む（Ｓ１１）。ここでのボケ画像とボケ無し画像とは、同一人物が映る画像である。

【0088】

次に、顔復元ＮＷ訓練部２５１は、顔復元ＮＷモデルを訓練する（Ｓ１２）。図２に示すように、顔復元ＮＷ訓練部２５１は、ボケ画像を訓練画像とし、ボケ無し画像を教師データとして顔復元ＮＷモデルを訓練する。これにより、顔復元ＮＷモデルは、出力する特徴量と教師データとの誤差が小さくなるように、パラメータが更新される。顔復元ＮＷモデルは、ボケ画像が入力されると、当該ボケ画像に応じたボケ無し画像の特徴量を出力することが可能となる。

【0089】

ここでの特徴量は、例えば、サイズが横幅×縦幅×チャネル数のテンソルである。テンソルの横幅は、教師データであるボケ無し画像の横幅と同じであり、テンソルの縦幅は、例えば、教師データであるボケ無し画像の縦幅と同じであり、テンソルのチャネル数は、教師データであるボケ無し画像のチャネル数と同じである。チャネル数は、例えば、一つの画素がＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）の３チャネルから構成される。つまり、特徴量は、ボケ無し画像とテンソルのサイズが同じである。

【0090】

また、特徴量は、テンソルの値が復元の程度に応じて画像である場合もあれば、画像ではない場合もある。画像ではないとは、例えば、１チャネルの値が８ｂｉｔ（０～２５５）で表現される場合において、画素の少なくとも１つの値が、０～２５５に収まらない値を含む情報である場合である。

【0091】

次に、顔復元ＮＷ訓練部２５１は、訓練済みの顔復元ＮＷモデルのパラメータを出力する（Ｓ１３）。出力されたパラメータは、第４記憶部２６０に記憶される。

【0092】

続いて、第２ステップについて、図２及び図４を参照しながら説明する。図４は、本実施の形態に係る情報処理システム２００における、顔認識ＮＷモデルの訓練処理を示すフローチャートである。

【0093】

図４に示すように、第２ステップにおいて、顔認識ＮＷ訓練部２５２は、第２記憶部２３０からボケ無し画像を読み込み、かつ、第３記憶部２４０から当該ボケ無し画像に映る人物のＩＤ情報を読み込む（Ｓ２１）。ここでのボケ無し画像は、ステップＳ１１で読み込まれ顔復元ＮＷモデルの訓練時に教師データとして用いられたボケ無し画像とテンソルのサイズが同じである。

【0094】

次に、顔認識ＮＷ訓練部２５２は、顔認識ＮＷモデルを訓練する（Ｓ２２）。図２に示すように、顔認識ＮＷ訓練部２５２は、ボケ無し画像を訓練画像とし、当該ボケ無し画像に対応するＩＤ情報を教師データとして顔認識ＮＷモデルを訓練する。これにより、顔認識ＮＷモデルは、ボケ無し画像に対する出力と教師データとの誤差が小さくなるように、パラメータが更新される。

【0095】

なお、顔認識ＮＷ訓練部２５２は、互いに比較される２つのボケ無し画像を訓練画像とし、当該２つのボケ無し画像に映る人物が互いに同一人物であるか否かを示す情報を教師データとして顔認識ＮＷモデルを訓練してもよい。

【0096】

次に、顔認識ＮＷ訓練部２５２は、訓練済みの顔認識ＮＷモデルのパラメータを出力する（Ｓ２３）。出力されたパラメータは、第４記憶部２６０に記憶される。

【0097】

続いて、第３ステップについて、図２及び図５を参照しながら説明する。図５は、本実施の形態に係る情報処理システム２００における、顔復元型認識ＮＷモデルの訓練処理を示すフローチャートである。

【0098】

図５に示すように、第３ステップにおいて、顔復元型認識ＮＷ訓練部２７１は、顔復元ＮＷモデル及び顔認識ＮＷモデルを第４記憶部２６０から読み込む（Ｓ３１）。ステップＳ３１は、第３モデルを取得することの一例である。また、顔復元型認識ＮＷ訓練部２７１は、取得部として機能する。

【0099】

次に、顔復元型認識ＮＷ訓練部２７１は、第２記憶部２３０からボケ画像を読み込み、かつ、第３記憶部２４０から当該ボケ画像に映る人物のＩＤ（ＩＤ情報）を読み込む（Ｓ３２）。ステップＳ３２で読み込まれるボケ画像は、訓練画像の一例であり、ＭＰＨカメラ１００の撮像により得られた画像を含んでいてもよいし、所定の画像に点広がり関数を畳み込むことにより得られた画像を含んでいてもよいし、それらの両方の画像を含んでいてもよい。ＩＤ情報は、リファレンスデータの一例である。

【0100】

なお、ステップＳ３２で読み込まれるボケ画像は、例えば、ステップＳ１１で読み込まれるボケ画像と異なるボケ画像であってもよいし、少なくとも一部のボケ画像が重複していてもよい。

【0101】

次に、顔復元型認識ＮＷ訓練部２７１は、顔復元ＮＷモデル及び顔認識ＮＷモデルが連結された顔復元型認識ＮＷモデルを訓練する（Ｓ３３）。図２に示すように、顔復元型認識ＮＷ訓練部２７１は、顔復元型認識ＮＷモデルにボケ画像を入力して顔復元型認識ＮＷモデルから出力された顔認識結果（物体認識結果の一例）と、ボケ画像に対応する顔認識結果の教師データであるＩＤ情報との差が小さくなるように、機械学習により顔復元型認識ＮＷモデルを訓練する。具体的には、顔復元型認識ＮＷ訓練部２７１は、ボケ画像を顔復元ＮＷモデルに入力して得られる当該ボケ画像に対応するボケ無し画像の特徴量を取得し、取得した特徴量を顔認識ＮＷモデルに入力して得られる当該特徴量に応じた顔認識結果を取得する。そして、顔復元型認識ＮＷ訓練部２７１は、顔認識結果とＩＤ情報との差が小さくなるように、顔復元型認識ＮＷモデルのパラメータを更新する。第３ステップは、プライバシーが保護されないボケ無し画像を用いずに行われる。

【0102】

これにより、顔復元ＮＷモデルは、顔認識ＮＷモデルに適応するように訓練される。つまり、顔復元ＮＷモデルは、顔認識ＮＷモデルの出力である顔認識結果が正確に出力され得る特徴量を出力可能なように訓練される。顔復元ＮＷモデルは、第１ステップではボケ画像からボケ無し画像を出力するように訓練されるが、第３ステップではボケ画像から顔認識ＮＷモデルに適応する特徴量を出力可能なように訓練される。顔認識ＮＷモデルに適応する特徴量を抽出可能に訓練された顔復元ＮＷモデルは、第１ステップで訓練されたときに比べ、ボケの除去度合いが低下することも起こり得る。なお、特徴量は、画像であってもよい。

【0103】

顔復元型認識ＮＷモデルは、出力する顔認識結果と教師データとの誤差が小さくなるように、パラメータが更新される。顔復元型認識ＮＷモデルは、ボケ画像が入力されると、当該ボケ画により適した顔認識結果を出力することが可能となる。

【0104】

このように、第３ステップが行われることにより、第１ステップの訓練が行われた顔復元ＮＷモデルと、第２ステップの訓練が行われた顔認識ＮＷモデルとを単に連結しただけの機械学習モデルに比べ、出力される顔認識結果の精度を高めることが可能となる。

【0105】

なお、顔復元型認識ＮＷ訓練部２７１は、ステップＳ３３において、顔復元ＮＷモデル及び顔認識ＮＷモデルの少なくとも一方のパラメータを更新すればよい。顔復元型認識ＮＷ訓練部２７１は、例えば、ステップＳ３３において、顔復元ＮＷモデルのパラメータを更新してもよいし、さらに顔認識ＮＷモデルのパラメータを更新してもよい。

【0106】

次に、顔復元型認識ＮＷ訓練部２７１は、訓練済みの顔復元型認識ＮＷのパラメータを出力する（Ｓ３４）。顔復元型認識ＮＷ訓練部２７１は、通信部（図示しない）を介して情報処理装置３００に出力される。また、顔復元型認識ＮＷ訓練部２７１は、顔復元型認識ＮＷのパラメータを第５記憶部２８０に記憶してもよい。顔復元型認識ＮＷ訓練部２７１は、出力部として機能する。

【0107】

［２－２．情報処理装置の動作］
続いて、上記の情報処理装置３００の動作について、図６を参照しながら説明する。図６は、本実施の形態に係る情報処理装置３００における、顔復元型認識ＮＷモデルを用いた認識処理を示すフローチャートである。なお、訓練済みの顔復元型認識ＮＷモデルは、第７記憶部３２０に記憶されており、ボケ画像は第６記憶部３１０に記憶されているとする。

【0108】

図６に示すように、処理部３３０は、第６記憶部３１０からボケ画像を読み込む（Ｓ４１）。ボケ画像は、ＭＰＨカメラ１００により撮像された画像である。

【0109】

次に、処理部３３０は、第７記憶部３２０から顔復元型認識ＮＷモデルを読み出し、読み出した顔復元型認識ＮＷモデルにボケ画像を入力する（Ｓ４２）。処理部３３０は、顔復元ＮＷモデルにボケ画像を入力することで、顔復元ＮＷモデルの出力である当該ボケ画像に対応するボケ無し画像の特徴量を取得する。そして、処理部３３０は、顔認識ＮＷモデルに取得したボケ無し画像の特徴量を入力することで、顔認識結果を取得する。

【0110】

次に、出力部３４０は、顔認識結果を出力する（Ｓ４３）。

【0111】

このように、情報処理装置３００は、プライバシーが保護されていないボケ無し画像を用いることなく、顔認識を行うことができるので、ボケ画像に映る人物のプライバシーを保護することができる。

【0112】

［３．実験結果］
ここで、上記のように生成された顔復元型認識ＮＷモデルの認識性能について、図７及び図８を参照しながら説明する。図７は、ボケ画像生成部２１０により生成されたボケ画像を訓練画像として顔復元型認識ＮＷモデルを訓練した場合の、訓練条件ごとの認識性能の比較（シミュレーション実験結果）を示す図である。図８は、ＭＰＨカメラ１００により撮像されたボケ画像を訓練画像として顔復元型認識ＮＷモデルを訓練した場合の、訓練条件ごとの認識性能の比較を示す図である。

【0113】

図７及び図８におけるＬＦＷ（Ｌａｂｅｌｌｅｄ Ｆａｃｅｓ ｉｎ ｔｈｅ Ｗｉｌｄ）、ＣＰＬＦＷ（Ｃｒｏｓｓ－Ｐｏｓｅ ＬＦＷ）及びＣＡＬＦＷ（Ｃｒｏｓｓ－Ａｇｅ ＬＦＷ）は、実験に用いた公知のデータセットを示す。ＰＳＦｉｄは、ボケ画像生成部２１０が用いたＰＳＦを示す。「３－０２５」を例に説明すると、ピンホールの数が３であり、ピンホールの間隔が０．２５ｍｍであるマルチピンホールマスクを有するＭＰＨカメラ１００を用いて取得されたＰＳＦを示す。

【0114】

図７において、訓練時に用いられた機械学習用のデータセットは、ＭＳ１ＭＶ２である。訓練画像は、ＭＳ１ＭＶ２に含まれる画像（所定の画像の一例）に、ＰＳＦｉｄが示すＰＳＦを畳み込むことにより生成されたボケ画像である。図８において、訓練時に用いられた訓練画像は、ＭＰＨカメラ１００により撮像されたボケ画像である。ＭＰＨカメラ１００が有するマルチピンホールマスクは、「３－０２５」及び「９－０２５」である。また、実験時に用いられた評価画像は、ＬＦＷ、ＣＰＬＦＷ及びＣＡＬＦＷに含まれる画像に、ＰＳＦｉｄが示すＰＳＦを畳み込むことにより生成されたボケ画像である。

【0115】

「ＳｐｈｅｒｅＦａｃｅ」、「ＣｏｓＦａｃｅ」及び「ＡｒｃＦａｃｅ」は、顔認識ＮＷモデルに用いた公知の顔認識ネットワークを示す。

【0116】

訓練条件は、（Ａ）～（Ｄ）の４条件である。条件（Ａ）は、ボケ画像で学習された顔認識ＮＷモデルに評価画像を入力したときの正解率（％）を示す。条件（Ｂ）は、訓練時に第１ステップ～第３ステップのうち第１ステップ及び第３ステップを行った顔復元型認識ＮＷモデルに評価画像を入力したときの正解率を示す。条件（Ｃ）は、訓練時に第１ステップ～第３ステップのうち第１ステップ及び第２ステップのみを行った顔復元型認識ＮＷモデルに評価画像を入力したときの正解率を示す。つまり、条件（Ｃ）は、訓練時に第３ステップを行わなかった顔復元型認識ＮＷモデルに評価画像を入力したときの正解率を示す。条件（Ｄ）は、訓練時に第１ステップ～第３ステップの全てを行った顔復元型認識ＮＷモデルに評価画像を入力したときの正解率を示す。

【0117】

また、ＰＳＦｉｄの下にある「ＳｐｈｅｒｅＦａｃｅ」、「ＣｏｓＦａｃｅ」及び「ＡｒｃＦａｃｅ」の右側の数値は、それぞれの顔認識ＮＷモデルにＬＦＷ、ＣＰＬＦＷ又はＣＡＬＦＷに含まれるボケ無し画像を評価画像として入力したときの正解率を示し、ボケ無し画像正解率とも記載する。

【0118】

図７及び図８の条件（Ｂ）～（Ｄ）に示すように、顔復元ＮＷモデル及び顔認識ＮＷモデルを連結した顔復元型認識ＮＷモデルを用いた場合、全体的にある程度の正解率が得られていることがわかる。条件（Ｂ）では、第３ステップを行わなかった条件（Ｃ）よりも正解率が高い。また、特定の顔認識ＮＷ（例えば図７のＳｐｈｅｒｅＦａｃｅ、ＡｒｃＦａｃｅ）については条件（Ａ）よりも一部で正解率が高い。他方で、条件（Ｃ）の正解率は条件（Ａ）の正解率に及ばない。つまり、第３ステップを行うことにより、認識性能を向上させることができることがわかる。また、条件（Ｄ）では、全体的にボケ無し画像正解率と同等程度の正解率が得られていることがわかる。つまり、第１ステップ～第３ステップのそれぞれを行って顔復元型認識ＮＷモデルを訓練することで、ボケ無し画像を用いた顔認識と同等程度の認識性能が得られていることがわかる。なお、公開されているボケ無し画像で訓練済みの顔認識ＮＷモデル（すなわち条件（Ａ）のようにボケ画像で訓練していない顔認識ＮＷモデル）に、実験で用いた評価画像を入力した場合、顔を認識することができないことが多く、顔認識結果の正解率は図７及び図８の条件（Ｂ）～（Ｄ）に比べて十分低いと考えられる。

【0119】

以上のように、本実施の形態に係る情報処理システム２００は、顔復元ＮＷモデル及び顔認識ＮＷモデルを連結した顔復元型認識ＮＷモデルに対して、ボケ画像を入力して顔復元型認識ＮＷモデルから出力された顔認識結果と、ボケ画像に対応する顔認識結果のリファレンスデータとの差が小さくなるように、機械学習により顔復元型認識ＮＷモデルを訓練する。

【0120】

（実施の形態の変形例１）
次に、本変形例に係る情報処理システムについて、図９を参照しながら説明する。図９は、本変形例に係る情報処理システムにおける、顔復元型認識ＮＷモデルの訓練処理を示すフローチャートである。本変形例に係る情報処理システムは、主に顔復元型認識ＮＷ訓練部が訓練時にボケ画像（訓練画像）に含まれるボケの度合い（ボケ度合い）に応じて、顔復元ＮＷモデル及び顔認識ＮＷモデルの学習率を変更する点において、実施の形態に係る情報処理システム２００と相違する。以降において、本変形例に係る情報処理システムについて、実施の形態に係る情報処理システム２００との相違点を中心に説明する。また、本変形例に係る情報処理システムの構成は、実施の形態に係る情報処理システム２００と同一であり、実施の形態に係る情報処理システム２００と同一の符号を付し、説明を省略又は簡略化する。また、図９において、図５と同一又は類似する処理には、図５と同一の符号を付し、説明を省略又は簡略化する。なお、学習率は、パラメータ更新度合いの一例である。

【0121】

図９に示すように、本変形例に係る情報処理システム２００の顔復元型認識ＮＷ訓練部２７１は、ボケ画像とＩＤ（ＩＤ情報）とを読み込む（Ｓ３２）と、読み込んだボケ画像のボケ度合いを判定する（Ｓ１３１）。ボケ画像のボケ度合いは、ボケ画像を画像解析することにより判定されてもよい。また、ボケ画像のボケ度合いは、ボケ画像がＭＰＨカメラ１００で撮像された画像である場合、ＭＰＨカメラ１００の仕様（ピンホールの数、ピンホールの間隔など）に基づいて判定されてもよい。また、ボケ画像のボケ度合いは、ボケ画像がボケ画像生成部２１０により生成された画像である場合、当該ボケ画像の生成に用いられたＰＳＦに基づいて判定されてもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ画像のボケ度合いを予め設定されたボケ度合い（１～１０などの数値、又は、「高」、「中」、「低」などのレベル）のいずれであるかを判定してもよい。

【0122】

顔復元型認識ＮＷ訓練部２７１は、顔復元型認識ＮＷモデルの訓練に用いる複数のボケ画像のボケ度合いの統計値を、当該訓練におけるボケ画像のボケ度合いであると判定してもよい。統計値は、複数のボケ画像それぞれのボケ度合いの平均値、中央値、最頻値、最小値又は最大値のいずれかであるが、これに限定されない。

【0123】

また、顔復元型認識ＮＷ訓練部２７１は、さらに判定されたボケ度合いが第１の閾値以上であるか否かを判定してもよい。第１の閾値は、予め設定されており、第４記憶部２６０に記憶されていてもよい。

【0124】

次に、顔復元型認識ＮＷ訓練部２７１は、判定されたボケ度合いに応じて、顔復元ＮＷモデル及び顔認識ＮＷモデルの学習率を決定する（Ｓ１３２）。顔復元型認識ＮＷ訓練部２７１は、例えば、ステップＳ１３３での訓練時に用いられる顔復元ＮＷモデル及び顔認識ＮＷモデルの学習率の組を１つ決定してもよいし、ボケ画像ごとに学習率の組を決定してもよい。

【0125】

顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ度合いが大きいと、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より大きくなるように学習率を決定してもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ度合いが大きいほど、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率に対してより大きくなるように学習率を決定してもよい。つまり、顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ度合いが大きいほど、顔復元ＮＷモデルの学習率と顔認識ＮＷモデルの学習率との差が大きく、かつ、顔復元ＮＷモデルの学習率の方が高くなるように学習率を決定してもよい。

【0126】

また、顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ度合いが小さいと、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より小さくなるように学習率を決定してもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ度合いが小さいほど、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率に対してより小さくなるように学習率を決定してもよい。つまり、顔復元型認識ＮＷ訓練部２７１は、例えば、ボケ度合いが小さいほど、顔復元ＮＷモデルの学習率と顔認識ＮＷモデルの学習率との差が大きく、かつ、顔認識ＮＷモデルの学習率の方が高くなるように学習率を決定してもよい。

【0127】

また、顔復元型認識ＮＷ訓練部２７１は、例えば、判定されたボケ度合いが第１の閾値以上である場合、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より大きくなるように学習率を決定し、判定されたボケ度合いが第１の閾値より小さい場合、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より小さくなるように学習率を決定してもよい。

【0128】

また、顔復元型認識ＮＷ訓練部２７１は、例えば、判定されたボケ度合いが第１の閾値以上である場合、ボケ度合いが第１の閾値未満である場合に比べて、学習率が大きくなるように学習率を決定してもよい。

【0129】

また、顔復元型認識ＮＷ訓練部２７１は、ボケ画像のボケ度合いに応じて、段階的に学習率を設定してもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、判定されたボケ度合いが第１の閾値以上かつ第１の閾値より大きい第２の閾値未満である場合、顔復元ＮＷモデルの学習率を顔認識ＮＷモデルの学習率より高い第１の学習率に決定し、判定されたボケ度合いが第２の閾値以上である場合、顔復元ＮＷモデルの学習率を第１の学習率より高い第２の学習率に決定してもよい。

【0130】

また、顔復元型認識ＮＷ訓練部２７１は、ボケ度合いが大きいほど、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率に対してより小さくなるように学習率を決定し、ボケ度合いが小さいほど、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率に対してより大きくなるように学習率を決定してもよい。

【0131】

このように、顔復元ＮＷモデルの学習率、及び、顔認識ＮＷモデルの学習率は、第３ステップにおいて用いられるボケ画像のボケ度合いに応じて、互いに異なる学習率に決定されてもよい。

【0132】

次に、顔復元型認識ＮＷ訓練部２７１は、決定された学習率を用いて、顔復元型認識ＮＷモデルを訓練する（Ｓ１３３）。顔復元型認識ＮＷ訓練部２７１は、決定された学習率に応じて、顔復元ＮＷモデル及び顔認識ＮＷモデルそれぞれのパラメータを更新する。これにより、顔復元型認識ＮＷモデルは、訓練に用いられるボケ画像のボケ度合いに応じた学習率を用いて訓練されるので、ボケ画像により適した顔認識を行うことができるようにパラメータが更新される。

【0133】

なお、ボケ度合いに応じて、顔復元ＮＷモデルのパラメータ更新度合い（以下Ｄ１）を、顔認識ＮＷモデルのパラメータ更新度合い（以下Ｄ２）と比較して大きくしたり小さくしたりする例を説明したが、パラメータの更新度合いの変更はこれに限定されない。具体的には、ボケ度合いに応じて、Ｄ１がＤ２とは関係なく変更されてもよい。例えば、Ｄ２＞Ｄ１である場合で、ボケ度合いが閾値より大きいとき、Ｄ１が増大させられるが、増大後のＤ１がＤ２より小さくてもよい。

【0134】

（実施の形態の変形例２）
次に、本変形例に係る情報処理システムについて、図１０を参照しながら説明する。図１０は、本変形例に係る情報処理システムにおける、顔復元型認識ＮＷモデルの訓練処理を示すフローチャートである。本変形例に係る情報処理システムは、主に顔復元型認識ＮＷ訓練部が顔復元ＮＷモデルの性能に応じて、顔復元ＮＷモデル及び顔認識ＮＷモデルの学習率を変更する点において、実施の形態に係る情報処理システム２００と相違する。以降において、本変形例に係る情報処理システムについて、実施の形態に係る情報処理システム２００との相違点を中心に説明する。また、本変形例に係る情報処理システムの構成は、実施の形態に係る情報処理システム２００と同一であり、実施の形態に係る情報処理システム２００と同一の符号を付し、説明を省略又は簡略化する。また、図１０において、図５と同一又は類似する処理には、図５と同一の符号を付し、説明を省略又は簡略化する。

【0135】

図１０に示すように、本変形例に係る情報処理システム２００の顔復元型認識ＮＷ訓練部２７１は、ボケ画像とＩＤ（ＩＤ情報）とを読み込む（Ｓ３２）と、ステップＳ３１で読み込んだ顔復元ＮＷモデルの性能を判定する（Ｓ２３１）。顔復元ＮＷモデルの性能は、顔復元ＮＷモデルにおけるボケ画像の復元精度（ボケ除去性能）に基づいて判定されてもよい。顔復元ＮＷモデルの性能は、例えば、第１ステップの訓練に用いられたボケ画像とは異なるボケ画像を顔復元ＮＷモデルに入力して得られる出力（特徴量）と、当該ボケ画像に対応する教師データ（ボケ無し画像の特徴量）との差分に基づいて判定されてもよい。

【0136】

顔復元型認識ＮＷ訓練部２７１は、出力と教師データとの差分の統計値を、顔復元ＮＷモデルの性能であると判定してもよい。統計値は、複数のボケ画像に対応する複数の差分の平均値、中央値、最頻値、最小値又は最大値のいずれかであるが、これに限定されない。

【0137】

また、顔復元型認識ＮＷ訓練部２７１は、さらに判定された差分が第１の閾値以上であるか否かを判定してもよい。第１の閾値は、予め設定されており、第４記憶部２６０に記憶されていてもよい。

【0138】

次に、顔復元型認識ＮＷ訓練部２７１は、顔復元ＮＷモデルの性能に応じて、顔復元ＮＷモデル及び顔認識ＮＷモデルの学習率を決定する（Ｓ２３２）。顔復元型認識ＮＷ訓練部２７１は、例えば、ステップＳ１３３での訓練時に用いられる顔復元ＮＷモデル及び顔認識ＮＷモデルの学習率の組を１つ決定してもよいし、ボケ画像ごとに学習率の組を決定してもよい。

【0139】

顔復元型認識ＮＷ訓練部２７１は、例えば、顔復元ＮＷモデルの性能が高いと、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より小さくなるように学習率を決定してもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、顔復元ＮＷモデルの性能が高いほど、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率に対してより小さくなるように学習率を決定してもよい。つまり、顔復元型認識ＮＷ訓練部２７１は、例えば、顔復元ＮＷモデルの性能が大きいほど、顔復元ＮＷモデルの学習率と顔認識ＮＷモデルの学習率との差が大きく、かつ、顔認識ＮＷモデルの学習率の方が高くなるように学習率を決定してもよい。

【0140】

また、顔復元型認識ＮＷ訓練部２７１は、例えば、顔復元ＮＷモデルの性能が低いと、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より大きくなるように学習率を決定してもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、顔復元ＮＷモデルの性能が低いほど、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率に対してより大きくなるように学習率を決定してもよい。つまり、顔復元型認識ＮＷ訓練部２７１は、例えば、顔復元ＮＷモデルの性能が低いほど、顔復元ＮＷモデルの学習率と顔認識ＮＷモデルの学習率との差が大きく、かつ、顔復元ＮＷモデルの学習率の方が高くなるように学習率を決定してもよい。

【0141】

また、顔復元型認識ＮＷ訓練部２７１は、例えば、判定された顔復元ＮＷモデルの性能が第１の閾値以上である場合、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より小さくなるように学習率を決定し、判定された顔復元ＮＷモデルの性能が第１の閾値より低い場合、顔復元ＮＷモデルの学習率が顔認識ＮＷモデルの学習率より大きくなるように学習率を決定してもよい。

【0142】

また、顔復元型認識ＮＷ訓練部２７１は、例えば、判定された顔復元ＮＷモデルの性能が第１の閾値以上である場合、顔復元ＮＷモデルの性能が第１の閾値未満である場合に比べて、学習率が小さくなるように学習率を決定してもよい。

【0143】

また、顔復元型認識ＮＷ訓練部は、顔復元ＮＷモデルの性能に応じて、段階的に学習率を設定してもよい。顔復元型認識ＮＷ訓練部２７１は、例えば、判定された顔復元ＮＷモデルの性能が第１の閾値以上かつ第１の閾値より高い第２の閾値未満である場合、顔復元ＮＷモデルの学習率を顔認識ＮＷモデルの学習率より低い第１の学習率に決定し、判定された顔復元ＮＷモデルの性能が第２の閾値以上である場合、顔復元ＮＷモデルの学習率を第１の学習率より低い第２の学習率に決定してもよい。

【0144】

このように、顔復元ＮＷモデルの学習率、及び、顔認識ＮＷモデルの学習率は、第１ステップで訓練された訓練済みの顔復元ＮＷモデルの性能に応じて、互いに異なる学習率に決定されてもよい。

【0145】

次に、顔復元型認識ＮＷ訓練部２７１は、決定された学習率を用いて、顔復元型認識ＮＷモデルを訓練する（Ｓ１３３）。顔復元型認識ＮＷ訓練部２７１は、決定された学習率に応じて、顔復元ＮＷモデル及び顔認識ＮＷモデルそれぞれのパラメータを更新する。これにより、顔復元型認識ＮＷモデルは、第１ステップで訓練された顔復元ＮＷモデルの性能に応じた学習率を用いて訓練されるので、第３ステップにおいて、顔復元ＮＷモデルの性能により適したパラメータの更新を行うことができる。

【0146】

なお、顔復元ＮＷモデルの性能に応じて、顔復元ＮＷモデルのパラメータ更新度合い（以下Ｄ１）を、顔認識ＮＷモデルのパラメータ更新度合い（以下Ｄ２）と比較して大きくしたり小さくしたりする例を説明したが、パラメータの更新度合いの変更はこれに限定されない。具体的には、顔復元ＮＷモデルの性能に応じて、Ｄ１がＤ２とは関係なく変更されてもよい。例えば、Ｄ２＞Ｄ１である場合で、顔復元ＮＷモデルの性能が閾値より大きいとき、Ｄ１が増大させられるが、増大後のＤ１がＤ２より小さくてもよい。

【0147】

（その他の実施の形態）
以上、本開示について実施の形態及び各変形例（以下において、実施の形態等とも記載する）に基づいて説明したが、本開示は、上記実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。

【0148】

また、上記実施の形態等では、画像は、カメラにより取得される例について説明したが、これに限定されない。画像は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成された画像であってもよい。

【0149】

また、上記実施の形態等では、画像は、可視光カメラにより取得される画像である例について説明したが、これに限定されない。画像は、赤外線カメラ、又は紫外線カメラ等のような不可視光カメラにより取得される画像であってもよいし、マルチスペクトルカメラ等のような可視光及び不可視光の両方をカバーするカメラにより取得される画像であってもよい。

【0150】

また、上記実施の形態等に係る情報処理装置における認識時には、ＭＰＨカメラで撮像された画像が入力画像として用いられる例について説明したが、ボケ画像生成部などにより生成されたボケ画像が入力画像として用いられてもよい。

【0151】

また、上記実施の形態等では、顔認識は、２つのボケ画像（顔画像）に映る人物が同一人物であるか否かを判定すること（１：１認証）である例について説明したが、これに限定されず、Ｎ人のボケ画像（顔画像）が予め与えられた状態で、個人が特定されていないボケ画像が入力された際に、そのボケ画像に映る人物がＮ人のうちのどれであるか、又は、どれでもないかを判定すること（１：Ｎ認証）であってもよい。

【0152】

また、上記実施の形態等では、機械学習モデルは、ニューラルネットワークを用いた機械学習モデルである例について説明したが、他の機械学習モデルであってもよい。例えば、機械学習モデルは、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、Ｇｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ等を用いた機械学習モデルであってもよい。

【0153】

また、上記実施の形態等では、訓練された物体認識モデルを用いた物体認識処理が情報処理装置において行われる例を説明したが、当該物体認識処理は情報処理システムにて行われてもよい。また、情報処理装置は、マルチピンホールカメラに内蔵されていてもよい。

【0154】

また、上記実施の形態等において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。また、複数の処理の一部は、実行されなくてもよい。

【0155】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0156】

また、情報処理システム又は情報処理装置はそれぞれ、単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、第１訓練部と第２訓練部とは、互いに異なる装置で実現されてもよい。情報処理システム又は情報処理装置が複数の装置によって実現される場合、情報処理システム又は情報処理装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。また、複数の装置間の通信方法は、特に限定されない。

【0157】

また、上記実施の形態等で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又は、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。

【0158】

さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実行されてもよい。

【0159】

また、実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【産業上の利用可能性】

【0160】

本開示は、画像を用いて物体認識を行う装置に広く利用可能である。

【符号の説明】

【0161】

１０ 情報システム
１００ マルチピンホールカメラ（ＭＰＨカメラ）
２００ 情報処理システム
２１０ ボケ画像生成部
２２０ 第１記憶部
２３０ 第２記憶部
２４０ 第３記憶部
２５０ 第１訓練部
２５１ 顔復元ＮＷ訓練部
２５２ 顔認識ＮＷ訓練部
２６０ 第４記憶部
２７０ 第２訓練部
２７１ 顔復元型認識ＮＷ訓練部（取得部、訓練部、出力部）
２８０ 第５記憶部
３００ 情報処理装置
３１０ 第６記憶部
３２０ 第７記憶部
３３０ 処理部（制御部）
３４０ 出力部
３５０ 取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】