特許 7539795 情報処理方法、情報処理システム、及び、情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-16

(45)【発行日】2024-08-26

(54)【発明の名称】情報処理方法、情報処理システム、及び、情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240819BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 9

(21)【出願番号】P 2020109061

(22)【出願日】2020-06-24

(65)【公開番号】P2021089708

(43)【公開日】2021-06-10

【審査請求日】2023-04-04

(31)【優先権主張番号】62/943,494

(32)【優先日】2019-12-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】佐藤 智

(72)【発明者】

【氏名】石井 育規

(72)【発明者】

【氏名】藤村 亮太

(72)【発明者】

【氏名】ポンサク ラサン

(72)【発明者】

【氏名】チャンシン ヂォゥ

【審査官】佐藤 実

(56)【参考文献】

【文献】Zihao W. Wang et al.，Privacy-Preserving Action Recognition Using Coded Aperture Videos，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops，IEEE，2019年06月16日，pp.1-10，https://ieeexplore.ieee.org/document/9025454

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実行される情報処理方法であって、
マルチピンホールカメラにて生成された第１画像を取得し、
前記第１画像上の複数の領域それぞれにおいて少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を抽出し、
前記第１画像を生成した前記マルチピンホールカメラとは異なるカメラで撮像された第２画像、及び、前記第２画像についての機械学習におけるリファレンスデータを取得し、
前記第１画像上の複数の領域のそれぞれにおいて抽出された前記少なくとも１つのＰＳＦを前記第２画像上の複数の領域のそれぞれに畳み込むことで、第３画像を生成し、
前記リファレンスデータと前記第３画像との組を出力する
情報処理方法。

【請求項2】

前記少なくとも１つのＰＳＦは、複数のＰＳＦであり、
前記第２画像の各領域に畳み込まれるＰＳＦは、前記複数のＰＳＦから選択される
請求項１に記載の情報処理方法。

【請求項3】

複数の前記第２画像を取得し、
前記第２画像の各領域に畳み込まれるＰＳＦとして選択されるＰＳＦは、複数の前記第２画像のそれぞれで異なる
請求項２に記載の情報処理方法。

【請求項4】

前記リファレンスデータと訓練データとしての前記第３画像とを用いて機械学習で推論モデルを訓練する
請求項１～３のいずれか１項に記載の情報処理方法。

【請求項5】

前記第１画像の各領域と前記第２画像の各領域とは、それぞれ対応する領域である
請求項１～４のいずれか１項に記載の情報処理方法。

【請求項6】

前記第１画像の各領域、及び、前記第２画像の各領域はそれぞれ、複数の画素を含む領域である
請求項１～５のいずれか１項に記載の情報処理方法。

【請求項7】

前記第２画像は、前記第１画像を得た前記マルチピンホールカメラと異なるカメラにて生成された画像である
請求項１～６のいずれか１項に記載の情報処理方法。

【請求項8】

マルチピンホールカメラにて生成された第１画像を取得する第１取得部と、
前記第１画像上の複数の領域それぞれにおいて少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を抽出するＰＳＦ抽出部と、
前記第１画像を生成した前記マルチピンホールカメラとは異なるカメラで撮像された第２画像、及び、前記第２画像についての機械学習におけるリファレンスデータを取得する第２取得部と、
前記第１画像上の複数の領域のそれぞれにおいて抽出された前記少なくとも１つのＰＳＦを前記第２画像上の複数の領域のそれぞれに畳み込むことで、第３画像を生成する画像生成部と、
前記リファレンスデータと前記第３画像との組を出力する出力部とを備える
情報処理システム。

【請求項9】

マルチピンホールカメラから第４画像を取得する取得部と、
前記第４画像を推論モデルに入力して推論結果を取得させる制御部と、
取得された前記推論結果に基づくデータを出力する出力部と、を備え
前記推論モデルは、第２画像についての機械学習におけるリファレンスデータと訓練データとしての第３画像とを用いて機械学習で訓練され、
前記第３画像は、第１画像上の複数の領域のそれぞれにおいて抽出された少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を前記第１画像とは異なる前記第２画像上の複数の領域のそれぞれに畳み込むことで生成され、
前記第１画像は、マルチピンホールカメラにて生成される
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法、情報処理システム、及び、情報処理装置に関する。

【背景技術】

【0002】

近年、画像を用いた機械学習による画像認識により、物体の認識が行われている。例えば、特許文献１には、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ：深層学習）により画像認識を行う画像処理装置が開示されている。

【0003】

また、非特許文献１には、画像認識における機械学習アルゴリズムの１つである、「ＣｅｎｔｅｒＮＥＴ－Ｒｅｓ１８」及び「ＣｅｎｔｅｒＮＥＴ－ＤＬＡ３４」について開示されている。また、非特許文献２には、画像認識における機械学習アルゴリズムの１つである「ＲｅｆｉｎｅＤｅｔ」について開示されている。また、非特許文献３には、画像認識における機械学習アルゴリズムの１つである「ＹＯＬＯｖ３－ｔｉｎｙ」について開示されている。また、また、非特許文献４には、画像認識における機械学習アルゴリズムの１つである「ＭＦＦＤ」について開示されている。なお、「ＭＦＦＤ」は、「ＴｈｉｎＮｅｔ」とも呼ばれることがある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１６３５５４号公報

【非特許文献】

【0005】

【文献】Ｘ．Ｚｈｏｕ，Ｄ．Ｗａｎｇ，ａｎｄ Ｐ．Ｋｒａｈｅｎｂｕｈｌ，“Ｏｂｊｅｃｔｓ ａｓ ｐｏｉｎｔｓ，”ｉｎ ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１９０４．０７８５０，２０１９．

【文献】Ｓ．Ｚｈａｎｇ，Ｌ．Ｗｅｎ，Ｘ．Ｂｉａｎ，Ｚ．Ｌｅｉ，ａｎｄＳ．Ｚ．Ｌｉ，“Ｓｉｎｇｌｅ－ｓｈｏｔ ｒｅｆｉｎｅｍｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｆｏｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ，”ｉｎ ＣＶＰＲ，２０１８．

【文献】Ｊ．Ｒｅｄｍｏｎ ａｎｄ Ａ．Ｆａｒｈａｄｉ，“Ｙｏｌｏｖ３：Ａｎ ｉｎｃｒｅｍｅｎｔａｌ ｉｍｐｒｏｖｅｍｅｎｔ，”ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８０４．０２７６７，２０１８．

【文献】Ｓ，Ｃａｏ，Ｙ．Ｌｉｕ，Ｐ．Ｌａｓａｎｇ，ａｎｄ Ｓ．Ｓｈｅｎ，“Ｄｅｔｅｃｔｉｎｇ ｔｈｅ ｏｂｊｅｃｔｓ ｏｎ ｔｈｅ ｒｏａｄ ｕｓｉｎｇ ｍｏｄｕｌａｒ ｌｉｇｈｔｗｅｉｇｈｔ ｎｅｔｗｏｒｋ，”ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８１１．０６６４１，２０１８．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献１に開示された技術では、画像に写っている物体のプライバシーの保護が考慮されていない。プライバシー保護の観点で画像を加工する技術が知られているが、加工後の画像を用いた画像認識では認識結果が悪化することが多い。

【0007】

そこで、本開示は、画像を用いた物体の画像認識における物体のプライバシーを保護しつつ、画像認識における認識性能の低下を抑制することができる情報処理方法、情報処理システム、及び、情報処理装置を提供する。

【課題を解決するための手段】

【0008】

本開示の一態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、マルチピンホールカメラにて生成された第１画像を取得し、前記第１画像上の複数の領域それぞれにおいて少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を抽出し、前記第１画像と異なる第２画像、及び、前記第２画像についての機械学習におけるリファレンスデータを取得し、前記第１画像上の複数の領域のそれぞれにおいて抽出された前記少なくとも１つのＰＳＦを前記第２画像上の複数の領域のそれぞれに畳み込むことで、第３画像を生成し、前記リファレンスデータと前記第３画像との組を出力する。

【0009】

本開示の一態様に係る情報処理システムは、マルチピンホールカメラにて生成された第１画像を取得する第１取得部と、前記第１画像上の複数の領域それぞれにおいて少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を抽出するＰＳＦ抽出部と、前記第１画像と異なる第２画像、及び、前記第２画像についての機械学習におけるリファレンスデータを取得する第２取得部と、前記第１画像上の複数の領域のそれぞれにおいて抽出された前記少なくとも１つのＰＳＦを前記第２画像上の複数の領域のそれぞれに畳み込むことで、第３画像を生成する画像生成部と、前記リファレンスデータと前記第３画像との組を出力する出力部とを備える。

【0010】

本開示の一態様に係る情報処理装置は、第４画像を取得する取得部と、第４画像を推論モデルに入力して推論結果を取得させる制御部と、取得された前記推論結果に基づくデータを出力する出力部と、を備え前記推論モデルは、第２画像についての機械学習におけるリファレンスデータと訓練データとしての第３画像とを用いて機械学習で訓練され、前記第３画像は、第１画像上の複数の領域のそれぞれにおいて抽出された少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を前記第１画像とは異なる前記第２画像上の複数の領域のそれぞれに畳み込むことで生成され、前記第１画像は、マルチピンホールカメラにて生成される。

【発明の効果】

【0011】

本開示の一態様に係る情報処理方法等によれば、画像を用いた物体の画像認識における物体のプライバシーを保護しつつ、画像認識における認識性能の低下を抑制することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施の形態に係る情報処理システムの機能構成を示すブロック図である。

【図2】図２は、実施の形態に係る情報処理システムの訓練用のデータセットを生成する動作を示すフローチャートである。

【図3】図３は、実施の形態に係る第１画像の取得を説明するための図である。

【図4】図４は、実施の形態に係る第１画像の一例を示す図である。

【図5】図５は、実施の形態に係るＰＳＦの抽出を説明するための図である。

【図6】図６は、実施の形態に係る第２画像から第３画像を生成することを説明するための図である。

【図7】図７は、実施の形態に係る物体認識モデルの訓練時の動作を示すフローチャートである。

【図8】図８は、認識モデルごとの認識性能を示す図である。

【図9】図９は、行動認識モデルの機械学習アルゴリズムがＲｅｆｉｎｅＤｅｔの場合の認識結果を示す図である。

【発明を実施するための形態】

【0013】

（本開示に至った経緯）
本開示の実施の形態の説明に先立ち、本開示の基礎に至った経緯について説明する。

【0014】

近年、室内外に監視カメラ等のカメラが広く設置されており、屋内での人の様子、通行人の顔、自動車のナンバープレートなど、プライバシーを含む画像が取得されやすくなる一方、カメラで撮像された画像に写る物体のプライバシー保護の重要性が高まっている。そこで、本開示では、物体のプライバシー保護の観点から、マルチピンホールカメラを用いて物体を撮像する。詳細は後述するが、マルチピンホールカメラで撮像された画像（マルチピンホール画像：ＭＰＨ画像）は、視差特性を含んだ画像となる。言い換えると、ＭＰＨ画像は、ボケ画像である。これにより、取得される画像がボケ画像となるので、物体のプライバシーを保護することが可能となる。なお、マルチピンホールカメラは、マルチピンホールが形成されたマルチピンホールマスクを有するカメラである。

【0015】

また、このようなＭＰＨ画像は、例えば、機械学習により生成された画像認識モデルを用いて画像認識が行われる。当該画像認識モデルは、マルチピンホールカメラで撮像されたＭＰＨ画像が入力されても、つまりボケ画像が入力されても、画像認識を精度よく行うことが求められる。

【0016】

画像認識モデルの訓練には、例えば、公開されている画像のデータセットが用いられることがある。しかしながら、公開されているデータセットは、普通のカメラ（例えば、デジタルカメラ）用のデータセットが主である。そのようなデータセットを用いて訓練してもマルチピンホールカメラ特有のボケを有する画像であるＭＰＨ画像を画像認識する画像認識モデルを効果的に訓練することが困難である。また、当該画像認識モデルのための訓練用のデータセットを、マルチピンホールカメラで撮像された画像を用いて生成することは可能ではあるが、多大な時間及びコストを要する。

【0017】

そこで、本願発明者らは、ＭＰＨ画像を画像認識する画像認識モデルを訓練するためのデータセットを容易に生成することについて鋭意検討を行い、以下に示す情報処理方法等を創案した。以下に示す情報処理方法等を用いて訓練された画像認識モデルは、画像を用いた物体の画像認識における物体のプライバシーを保護しつつ、画像認識における認識性能の低下を抑制することができる。なお、以下では、画像認識モデルが物体認識モデルである場合について説明するが、これに限定されない。本開示は、物体認識モデル以外の画像認識モデル（例えば、シーン認識モデルなど）においても、適用可能である。

【0018】

本開示の一態様に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、マルチピンホールカメラにて生成された第１画像を取得し、前記第１画像上の複数の領域それぞれにおいて少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を抽出し、前記第１画像と異なる第２画像、及び、前記第２画像についての機械学習におけるリファレンスデータを取得し、前記第１画像上の複数の領域のそれぞれにおいて抽出された前記少なくとも１つのＰＳＦを前記第２画像上の複数の領域のそれぞれに畳み込むことで、第３画像を生成し、前記リファレンスデータと前記第３画像との組を出力する。

【0019】

ここで、ＭＰＨ画像は、画像における複数の領域のそれぞれで異なるＰＳＦを有するという特性がある。そこで、上記のように、第１画像の複数の領域それぞれの少なくとも１つのＰＳＦを第２画像に畳み込むことで、ＭＰＨ画像と同一又はＭＰＨ画像に近い第３画像を生成することができる。つまり、マルチピンホールカメラで第３画像を取得するための撮像を行うことなく、リファレンスデータと第３画像との組を取得することができる。よって、リファレンスデータと第３画像との組である機械学習用のデータセットを容易に生成することができる。

【0020】

また、マルチピンホールカメラにて生成された画像（ＭＰＨ画像）は、ボケ画像であり、物体のプライバシーを保護可能な画像である。また、リファレンスデータと第３画像との組である機械学習用のデータセットを用いて訓練された推論モデル（画像認識モデル）は、ＭＰＨ画像を入力とし、画像認識を行うことが可能である。よって、本開示に係る情報処理方法によれば、画像を用いた物体の画像認識における物体のプライバシーを保護しつつ、認識性能の低下を抑制することができる。

【0021】

また、例えば、前記少なくとも１つのＰＳＦは、複数のＰＳＦであり、前記第２画像の各領域に畳み込まれるＰＳＦは、前記複数のＰＳＦから選択されてもよい。

【0022】

これにより、畳み込まれるＰＳＦが複数のＰＳＦから選択されるので、より訓練効率が向上される第３画像を生成することができる。よって、画像を用いた物体の画像認識における認識精度の低下をより抑制することができる。

【0023】

また、例えば、複数の前記第２画像を取得し、前記第２画像の各領域に畳み込まれるＰＳＦとして選択されるＰＳＦは、複数の前記第２画像のそれぞれで異なっていてもよい。

【0024】

これにより、複数の第２画像のそれぞれでＰＳＦが異なる、つまりボケ度合が異なる第３画像を生成することができる。よって、画像を用いた物体の画像認識における認識精度の低下をさらに抑制することができる。

【0025】

また、例えば、前記リファレンスデータと訓練データとしての前記第３画像とを用いて機械学習で推論モデルを訓練してもよい。

【0026】

これにより、推論モデルの訓練のためのデータセットと、当該データセットを用いた推論モデルの訓練とを一体的に行うことができる。よって、画像を用いた物体の画像認識における認識精度の低下を抑制しつつ、当該物体のプライバシーを保護することができる推論モデルを、容易に生成することができる。

【0027】

また、例えば、前記第１画像の各領域と前記第２画像の各領域とは、それぞれ対応する領域であってもよい。

【0028】

これにより、第２画像の各領域に対応したＰＳＦを用いて第３画像を生成することができる。よって、より効果的に訓練を行い得る第３画像を生成することができる。

【0029】

また、例えば、前記第１画像の各領域、及び、前記第２画像の各領域はそれぞれ、複数の画素を含む領域であってもよい。

【0030】

これにより、領域が１つの画素で形成されている（例えば、画素ごとにＰＳＦがある）場合に比べて、第１画像から抽出されるＰＳＦを記憶するために記憶部に要求される記憶容量を低減することができる。

【0031】

また、例えば、前記第２画像は、前記第１画像を得た前記マルチピンホールカメラと異なるカメラにて生成された画像であってもよい。

【0032】

これにより、カメラで生成された第２画像を用いて、畳み込み演算を行うだけで第３画像を生成することができる。

【0033】

また、本開示の一態様に係る情報処理システムは、マルチピンホールカメラにて生成された第１画像を取得する第１取得部と、前記第１画像上の複数の領域それぞれにおいて少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を抽出するＰＳＦ抽出部と、前記第１画像と異なる第２画像、及び、前記第２画像についての機械学習におけるリファレンスデータを取得する第２取得部と、前記第１画像上の複数の領域のそれぞれにおいて抽出された前記少なくとも１つのＰＳＦを前記第２画像上の複数の領域のそれぞれに畳み込むことで、第３画像を生成する画像生成部と、前記リファレンスデータと前記第３画像との組を出力する出力部とを備える。

【0034】

これにより、上記情報処理方法と同様の効果を奏する。

【0035】

また、本開示の一態様に係る情報処理装置は、第４画像を取得する取得部と、第４画像を推論モデルに入力して推論結果を取得させる制御部と、取得された前記推論結果に基づくデータを出力する出力部と、を備え前記推論モデルは、第２画像についての機械学習におけるリファレンスデータと訓練データとしての第３画像とを用いて機械学習で訓練され、前記第３画像は、第１画像上の複数の領域のそれぞれにおいて抽出された少なくとも１つのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を前記第１画像とは異なる前記第２画像上の複数の領域のそれぞれに畳み込むことで生成され、前記第１画像は、マルチピンホールカメラにて生成される。

【0036】

これにより、上記情報処理方法と同様の効果を奏する。

【0037】

さらに、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。

【0038】

以下、本開示の一態様に係る情報処理方法、及び、情報処理システムの具体例について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、数値、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0039】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。

【0040】

また、本明細書において、等しいなどの要素間の関係性を示す用語、および、矩形などの要素の形状を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。

【0041】

（実施の形態）
以下、本実施の形態に係る情報処理システム等について、図１～図９を参照しながら説明する。

【0042】

［１.情報処理システムの構成］
まずは、本実施の形態に係る情報処理システム１の構成について、図１を参照しながら説明する。図１は、本実施の形態に係る情報処理システム１の機能構成を示す図である。情報処理システム１は、画像認識モデルの一例である物体認識モデルの訓練用のデータセットをマルチピンホールカメラ１０で撮像されたＭＰＨ画像に基づいて生成し、生成した訓練用のデータセットを用いて、物体認識モデルの訓練（学習）を行うシステムである。訓練用のデータセットは、学習用のデータセットとも称される。なお、物体認識モデルは、推論モデルの一例でもある。

【0043】

図１に示すように、情報処理システム１は、マルチピンホールカメラ１０と、情報処理装置２０と通信接続される。

【0044】

マルチピンホールカメラ１０は、１回の撮像動作で物体（被写体）に対する視点が互いに異なる複数の画像（ピンホール画像：ＰＨ画像）を同時に取得可能である。マルチピンホールカメラ１０は、複数のピンホール（マルチピンホール）を用いたカメラであり、マルチピンホールマスクとイメージセンサとを有する。マルチピンホールマスクは、イメージセンサに対して物体側に一定距離離れて配置されている。つまり、イメージセンサには、マルチピンホールマスクを通過した光が入射する。マルチピンホールマスクには、ランダム又は等間隔に配置された複数のピンホールが形成されている。なお、複数のピンホールは、例えば、２以上のピンホールであればよい。

【0045】

イメージセンサは、各ピンホールを通じて物体の画像（ＭＰＨ画像）を取得する。ＭＰＨ画像は、各ピンホールを介して取得される画像である。各ピンホールの位置及び大きさによって、取得されるＰＨ画像が異なるため、イメージセンサは、複数のＰＨ画像の重畳画像（符号化画像）をＭＰＨ画像として取得する。

【0046】

なお、詳細は後述するが、イメージセンサは、マルチピンホールカメラ１０のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：点像強度分布関数）を取得可能なＭＰＨ画像を取得する。ＰＳＦが取得可能なＭＰＨ画像を第１画像とも記載する。なお、ＰＳＦは、点光源を撮像したときの光学系による像のボケ方（劣化の仕方）を示すものであり、ボケたときの強度分布を表す関数である。ＰＳＦは、理想的な点光源が光学系を通過した場合に、どのように光線が広がるかを表した関数であるとも言える。ＰＳＦは、理想的にはインパルス応答となる。

【0047】

ピンホールの位置は、イメージセンサ上に投影される物体の位置に影響を与え、ピンホールの大きさは、ＭＰＨ画像のボケに影響を与える。マルチピンホールカメラ１０は、マルチピンホールマスクを用いることによって、物体の位置が異なる複数のＰＨ画像を重畳してＭＰＨ画像を取得する。複数のＰＨ画像のそれぞれは、互いに視点が少しずつ異なる画像である。つまり、ＭＰＨ画像は、視差情報を含んだ画像となる。

【0048】

ＭＰＨ画像は、人が視覚的に認識できない画像であり得るが、コンピュータ処理を用いれば、撮像対象の物体及び周辺環境等の画像に含まれる情報の取得が可能な画像である。

【0049】

なお、本明細書において、マルチピンホールカメラ１０以外のカメラで撮像された画像をノーマル画像とも記載する。ノーマル画像は、例えば、光学系を通した撮像される画像である。ノーマル画像は、通常、光学系により集光された物体からの光を結像することによって取得される。光学系の一例は、レンズである。物体が存在する環境下で、人が物体を直接見たとき、人はノーマル画像とほぼ同様の状態で、当該物体を知覚する。言い換えると、人は、通常のカメラ（例えば、デジタルカメラ）で撮像されたノーマル画像を、実空間の状態と同様に視覚的に認識する。なお、通常のカメラは、マルチピンホールマスクを有していない。

【0050】

情報処理システム１は、マルチピンホールカメラ１０で撮像されたＭＰＨ画像に基づいて訓練用のデータセットを生成し、生成した訓練用のデータセットを用いて、物体認識モデルの訓練を行う。情報処理システム１は、第１制御部３０と、第２制御部４０とを有する。なお、情報処理システム１は、外部の装置と通信するための通信部を備えていてもよい。当該通信部は、例えば、通信回路により実現される。また、第１制御部３０は、マルチピンホールカメラ１０から第１画像（ＭＰＨ画像）を取得すると、当該第１画像を第１記憶部３３に記憶するものとする。

【0051】

第１制御部３０は、マルチピンホールカメラ１０から取得した第１画像（ＭＰＨ画像）に基づいて、物体認識モデルの訓練用のデータセットを生成する。第１制御部３０は、ＰＳＦ抽出部３１と、ボケ画像生成部３２と、第１記憶部３３とを有する。

【0052】

ＰＳＦ抽出部３１は、ＭＰＨ画像に基づいて、マルチピンホールカメラ１０のＰＳＦを抽出する。ＰＳＦ抽出部３１は、第１画像を複数の領域に分割し、分割した領域のそれぞれにおいて少なくとも１つのＰＳＦを抽出する。複数の領域は、２以上の領域であればよい。また、複数の領域のそれぞれは、複数の画素を含んで構成されるが、これに限定されない。例えば、複数の領域のそれぞれは、１つの画素のみを含んで構成されてもよい。つまり、画素の数だけ、領域が設定されてもよい。

【0053】

ボケ画像生成部３２は、第１記憶部３３に記憶されている第２画像（ノーマル画像）と、ＰＳＦ抽出部３１で抽出されたＰＳＦとに基づいて、第２画像をボケさせた第３画像を生成する。ボケ画像生成部３２は、例えば、ＰＳＦを用いた畳み込み演算（畳み込み積分演算）を第２画像に施すことで第３画像を生成する。ボケ画像生成部３２は、第２画像を複数の領域に分割し、分割した領域ごとに、当該領域に対応するＰＳＦであって、ＰＳＦ抽出部３１により抽出されたＰＳＦを用いて畳み込み演算を施す。ボケ画像生成部３２は、第１画像上の複数の領域のそれぞれにおいて抽出された少なくとも１つのＰＳＦを第２画像上の複数の領域のそれぞれに畳み込むことで、第２画像から第３画像を生成するとも言える。

【0054】

これにより生成される第３画像は、マルチピンホールカメラ１０で撮像された画像に類似する画像となる。つまり、第３画像は、複数のＰＨ画像が重畳された画像となる。第３画像は、人が視覚的に認識できない画像であり得るが、物体認識モデルの訓練用の画像としては用いることが可能な画像である。なお、第２画像は、第１画像とは異なる画像である。

【0055】

なお、第２画像における複数の領域は、２以上の領域であればよい。また、複数の領域のそれぞれは、複数の画素を含んで構成されるが、これに限定されない。例えば、複数の領域のそれぞれは、１つの画素のみを含んで構成されてもよい。つまり、画素の数だけ、領域が設定されてもよい。

【0056】

なお、第２画像は、例えば、第１画像を得たマルチピンホールカメラ１０と異なるカメラにて生成された画像である。本実施の形態では、第２画像は、マルチピンホールカメラ１０以外のカメラにより撮像された画像であり、例えば、通常のカメラ（例えば、デジタルカメラ）で撮像された画像である。

【0057】

また、ボケ画像生成部３２は、ＰＳＦ抽出部３１が複数の領域のそれぞれにおいて２以上のＰＳＦを抽出している場合、複数の第２画像のそれぞれで畳み込み演算に使用するＰＳＦを変更してもよい。ボケ画像生成部３２は、複数の領域のそれぞれにおいて、第２画像の畳み込み演算に使用するＰＳＦを、複数のＰＳＦから選択してもよい。なお、ボケ画像生成部３２は、複数の第２画像のそれぞれに、当該第２画像の複数の領域の少なくとも１つ領域のＰＳＦを変えればよい。ボケ画像生成部３２は、画像生成部の一例である。

【0058】

第１記憶部３３は、物体認識モデルの訓練用のデータセットを生成するための画像等を記憶する。第１記憶部３３は、例えば、第１画像（ＭＰＨ画像）、第２画像（ノーマル画像）、第２画像に対応する正解情報、マルチピンホールカメラ１０のＰＳＦ（第１画像に基づくＰＳＦ）、及び、第２画像に基づいて生成された第３画像を記憶する。第２画像及び第２画像に対応する正解情報は、インターネット上に公開されている訓練用のデータセットをダウンロードすることで取得されてもよい。正解情報は、第２画像に含まれる物体が属するカテゴリ情報と、物体の位置情報とを含む。物体のカテゴリの例は、人物、家具、自動車、自転車、信号等であるがこれに限定されない。位置情報は、第２画像上の物体の位置を含む。第１制御部３０は、第２画像と正解情報とを対応付けて、第１記憶部３３に記憶する。第１記憶部３３は、半導体メモリなどにより実現されるが、これに限定されない。なお、第１記憶部３３が記憶する正解情報は、いわゆるアノテーション情報であり、図示しない通信部を介して取得されてもよい。

【0059】

上記のように、第１制御部３０は、物体認識モデルの訓練用に用いるデータセットを生成するデータセット生成装置として機能する。

【0060】

第２制御部４０は、第１制御部３０が生成した訓練用のデータセットを用いて、物体認識モデルの訓練を行う。第２制御部４０は、訓練部４１と、第２記憶部４２とを有する。なお、物体認識モデルは、画像に基づいて物体の情報を取得する機械学習モデルの一例であり、例えば、Ｄｅｅｐ Ｌａｒｎｉｎｇ（深層学習）等のニューラルネットワークを用いた機械学習モデルであるが、他の機械学習モデルであってもよい。

【0061】

訓練部４１は、マルチピンホールカメラ１０で撮像されたＭＰＨ画像に対して物体検出を行う物体認識モデルの訓練を行う。訓練部４１は、第１制御部３０から取得したデータセット（第３画像、及び、当該第３画像に対する正解情報）を用いて物体認識モデルの訓練を行う。訓練部４１は、データセットを用いて物体認識モデルに学習させるとも言える。なお、正解情報は、機械学習におけるリファレンスデータの一例である。

【0062】

機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法（ＢＰ：ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）などによって実現される。具体的には、訓練部４１は、物体認識モデルに第３画像を入力し、物体認識モデルが出力する検出結果を取得する。そして、訓練部４１は、検出結果が正解情報となるように物体認識モデルを調整する。訓練部４１は、このような調整をそれぞれ異なる複数の（例えば数千組の）第３画像及びこれに対応する正解情報について繰り返すことによって、物体認識モデルの検出精度を向上させる。

【0063】

第２記憶部４２は、物体認識モデルを記憶する。なお、物体認識モデルを記憶するとは、物体認識モデルにおけるネットワークパラメータ、演算のアルゴリズム（機械学習アルゴリズム）などの情報を記憶することを意味する。なお、アルゴリズムは一例として、ＴｈｉｎＮｅｔ、ＹＯＬＯｖ３－ｔｉｎｙ、ＲｅｆｉｎｅＤｅｔ（Ｓｉｎｇｌｅ－Ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ）、ＣｅｎｔｅｒＮＥＴ－ｒｅｓ１８、ＣｅｎｔｅｒＮＥＴ－ＤＬＡ３４などが挙げられるが、これらに限定されない。また、第２記憶部４２は、半導体メモリなどにより実現されるが、これに限定されない。なお、第２記憶部４２と上記の第１記憶部３３とは、互いに異なる記憶装置によって実現されてもよいし、１つの記憶装置によって実現されてもよい。

【0064】

上記のように、第２制御部４０は、第１制御部３０により生成されたデータセットを用いて物体認識モデルの訓練を実行する訓練装置（学習装置）として機能する。また、第２制御部４０は、例えば、訓練された物体認識モデルを情報処理装置２０に送信する。

【0065】

情報処理装置２０は、訓練された物体認識モデルを用いて、物体認識を行う。情報処理装置２０は、取得部５０と、第３制御部６０と、出力部７０と、第３記憶部８０とを備える。

【0066】

取得部５０は、マルチピンホールカメラ１０から第４画像（ＭＰＨ画像）を取得する。ここでの第４画像は、ＰＳＦを抽出するための画像ではなく、訓練済みの物体認識モデルによる物体認識を行う対象となる画像である。第４画像は、例えば、マルチピンホールカメラ１０が所定の位置に設置され、設置された位置から撮像された画像であってもよい。第４画像は、ボケ画像であり、物体のプライバシーが保護された画像である。取得部５０は、取得した第４画像を第３記憶部８０に記憶してもよい。

【0067】

第３制御部６０は、第４画像を物体認識モデルに入力して認識結果を取得させる制御を行う。第３制御部６０は、訓練部４１によって訓練された物体認識モデルに第４画像を入力し、当該物体認識モデルからの出力を認識結果として取得する。訓練部４１によって訓練された物体認識モデルは、ＭＰＨ画像に対する認識性能が向上している。よって、第３制御部６０は、当該物体認識モデルを用いることで、ノーマル画像に対する認識性能と比較して認識性能の低下が抑制された当該ＭＰＨ画像に対する認識を行うことができる。なお、第３制御部６０は、制御部の一例であり、認識結果は、推論結果の一例である。

【0068】

出力部７０は、取得された認識結果に基づく情報を出力する。出力部７０は、例えば、液晶ディスプレイなどの表示装置であり、当該情報を表示により出力してもよいし、通信回路であり、当該データを通信により外部の装置に送信してもよい。

【0069】

第３記憶部８０は、訓練部４１によって訓練された物体認識モデルを記憶する。当該訓練された物体認識モデルは、通信を介して情報処理システム１から取得され第３記憶部８０に記憶される。

【0070】

上記のように、情報処理装置２０は、訓練された物体認識モデルを用いて、マルチピンホールカメラ１０で撮像された第４画像の物体認識を行う物体認識装置として機能する。

【0071】

なお、情報処理システム１は、第２制御部４０を備えていなくてもよい。

【0072】

［２.情報処理システムの動作］
続いて、上記で説明した情報処理システム１の動作について、図２～図９を参照しながら説明する。まずは、情報処理システム１において、訓練用のデータセットを生成する動作について、図２～図６を参照しながら説明する。図２は、本実施の形態に係る情報処理システム１の訓練用のデータセットを生成する動作を示すフローチャートである。図２に示すステップＳ１０１～Ｓ１０３は、情報処理システム１において、第１画像からＰＳＦを取得する動作を示す。また、図２に示すステップＳ１０４～Ｓ１０８は、情報処理システム１において、物体認識モデルの訓練用のデータセットを生成する動作を示す。

【0073】

図２に示すように、第１制御部３０は、マルチピンホールカメラ１０で得た第１画像を取得する（Ｓ１０１）。第１制御部３０は、マルチピンホールカメラ１０から当該マルチピンホールカメラ１０にて撮像された第１画像を取得する。第１制御部３０は、例えば、マルチピンホールカメラ１０から取得した第１画像を第１記憶部３３に記憶する。第１制御部３０は、第１画像を取得する第１取得部として機能する。

【0074】

ここで、マルチピンホールカメラ１０における第１画像の取得について、図３を参照しながら説明する。図３は、本実施の形態に係る第１画像の取得を説明するための図である。

【0075】

図３に示すように、例えば、マルチピンホールカメラ１０とスクリーン９０とを含んで構成されるカメラシステムにより、第１画像を取得するための撮像が行われる。具体的には、スクリーン９０は、複数または単一の輝点９１（ドットパターン）を映す。マルチピンホールカメラ１０は、例えば、複数の輝点９１それぞれを含む領域を撮像可能に配置される。

【0076】

マルチピンホールカメラ１０は、図３に示すドットパターンのときに撮像を行い、第１パターン画像（ピンホール画像）を取得する。次に、スクリーン９０は、複数または単一の輝点９１それぞれの位置を少しずつズラして表示する。マルチピンホールカメラ１０は、位置がズレたドットパターンを撮像することで、第２パターン画像（ピンホール画像）を取得する。マルチピンホールカメラ１０は、ドットパターンの位置が変わるごとに当該トッドパターンを撮像することで、複数のパターン画像（複数のピンホール画像）を取得する。

【0077】

なお、ＰＳＦを取得可能であれば、輝点９１の間隔、輝点９１の数、輝点９１の形状（例えば、点状、リング状など）は、図３に示すものに限定されない。

【0078】

そして、マルチピンホールカメラ１０は、複数のパターン画像を重畳することで、図４に示すような第１画像Ｐ１を生成する。図４は、本実施の形態に係る第１画像Ｐ１の一例を示す図である。

【0079】

図４に示すように、第１画像Ｐ１は、スジのような明るい部分が複数存在する画像となる。当該部分が延在する方向、当該部分の大きさ及び数は、第１画像Ｐ１上の場所で異なる。つまり、マルチピンホールカメラ１０で撮像された画像は、画像上の場所ごとにＰＳＦが異なる。そのため、ＰＳＦ抽出部３１は、以下で示すステップＳ１０２において、第１画像Ｐ１を複数の領域に分割し、複数の領域それぞれでＰＳＦを抽出する。なお、第１画像Ｐ１は、例えば、マルチピンホールカメラ１０に対して一意に決まる画像である。

【0080】

図２を再び参照して、次に、ＰＳＦ抽出部３１は、第１画像Ｐ１上の複数の領域それぞれにおいて、ＰＳＦを抽出する（Ｓ１０２）。具体的には、ＰＳＦ抽出部３１は、第１記憶部３３から第１画像Ｐ１を読み出し、読み出した第１画像Ｐ１を複数の領域に分割し、分割した複数の領域それぞれにおいて少なくとも１つのＰＳＦを抽出する。

【0081】

ここで、ＰＳＦの抽出について、図５を参照しながら説明する。図５は、本実施の形態に係るＰＳＦの抽出を説明するための図である。

【0082】

図５に示すように、ＰＳＦ抽出部３１は、第１画像Ｐ１を、例えば、９つの領域Ｒ１～Ｒ９に分割する。そして、ＰＳＦ抽出部３１は、領域Ｒ１～Ｒ９それぞれにおいて、１以上のＰＳＦを抽出する。図５の例では、ＰＳＦ抽出部３１が、領域Ｒ１～Ｒ９それぞれにおいて、１つのＰＳＦ（具体的には、ＰＳＦ１～ＰＳＦ９）を抽出した例を示している。ＰＳＦ１は、領域Ｒ１に対応するＰＳＦであり、破線枠内の明るさの分布を示す関数である。ＰＳＦ１は、ボケ具合（劣化の様子）を示す。図５の例では、ＰＳＦ１は、入射された点光源の光が、上下方向の延在する明るい部分と、左下がりの明るい部分とが現れるようにボケるＰＳＦである。なお、ＰＳＦ１は、例えば、位置情報と輝度情報の３次元関数で表される。

【0083】

また、ＰＳＦは、輝度情報の代わりに、波長ごとの受光強度情報の関数として表されてもよい。レンズ及びイメージセンサは、波長依存性がある。そのため、例えば赤、緑、青のカラー情報が取得される場合、ＰＳＦは、位置情報と赤の受光強度、緑の受光強度、青の受光強度を示す受光強度情報の５次元関数で表現されてよい。これは、撮像においてカラー用のイメージセンサ（ＲＧＢセンサ）が利用され、ＰＳＦ抽出部３１は、赤、緑、青それぞれのＰＳＦを取得するようにすればよい。また、カラー用のイメージセンサではなく、マルチスペクトルの画像を撮像するイメージセンサが利用される場合、ＰＳＦ抽出部３１は、各波長のＰＳＦを取得してもよい。

【0084】

領域Ｒ１において、破線枠が設定される位置、つまり領域Ｒ１内における明るさの分布のうちどの部分の分布をＰＳＦとして抽出するかは、特に限定されず、任意に設定可能である。

【0085】

ＰＳＦ２～ＰＳＦ９においても、ＰＳＦ１と同様に領域ごとに少なくとも１つのＰＳＦが抽出される。

【0086】

第１画像Ｐ１における複数の領域の分割条件（分割数、領域の大きさなど）に関する情報は、例えば、第１記憶部３３に予め記憶されていてもよい。ＰＳＦ抽出部３１は、例えば、当該情報に基づいて、第１画像Ｐ１を複数の領域に分割してもよい。例えば、分割数は、ＰＳＦを記憶するための第１記憶部３３の記憶容量、ボケ画像生成部３２の処理能力などに応じて、適宜決定されるとよい。また、ＰＳＦ抽出部３１が分割した領域それぞれの大きさ及び形状は、図５に示す例に限定されない。例えば、領域の大きさは、第１画像Ｐ１の中央付近の領域Ｒ４～Ｒ６が他の領域に比べて大きいことに限定されず、例えば、全ての領域の大きさは等しくてもよい。また、領域の形状は、図５に示すような矩形であることに限定されず、正方形、四角形以外の多角形などであってもよい。

【0087】

なお、ＰＳＦ抽出部３１は、１つの領域から複数のＰＳＦを抽出する場合、当該領域内の破線枠の位置を変更する。つまり、ＰＳＦ抽出部３１は、破線枠の位置を変更するだけで、１つの領域から複数のＰＳＦを抽出する。なお、破線枠の大きさは、当該破線枠が存在する領域の第１画像Ｐ１上での位置に応じて決定される。例えば、破線枠の大きさは、第１画像Ｐ１の中心の領域ほど大きく設定されてもよい。

【0088】

図２を再び参照して、ＰＳＦ抽出部３１は、ステップＳ１０２で抽出したＰＳＦを第１記憶部３３に記憶する（Ｓ１０３）。当該ＰＳＦは、マルチピンホールカメラ１０に対応するＰＳＦである。ＰＳＦ抽出部３１は、第１画像Ｐ１上での領域とＰＳＦとを対応付けて第１記憶部３３に記憶する。なお、ＰＳＦ抽出部３１は、ステップＳ１０２で抽出したＰＳＦをボケ画像生成部３２に出力してもよい。

【0089】

次に、第１制御部３０は、データセットを生成するための第２画像及び正解情報を取得する（Ｓ１０４）。第１制御部３０が取得する第２画像及び正解情報の組の数は特に限定されず、１以上であればよい。本実施の形態では、第１制御部３０は、第２画像及び正解情報の組を複数取得する。第１制御部３０は、例えば、公開されている機械学習用のデータセットを、通信部を介して取得してもよい。なお、ステップＳ１０４は、ステップＳ１０６より前の段階で実行されていればよく、例えば、ステップＳ１０１より前に実行されていてもよい。そして、ボケ画像生成部３２は、第１記憶部３３から第２画像を読み出すことで第２画像を取得する。なお、第１制御部３０は、第１画像と異なる第２画像、及び、第２画像についての機械学習におけるリファレンスデータを取得する第２取得部として機能する。

【0090】

次に、ボケ画像生成部３２は、ＰＳＦを第１記憶部３３から取得する（Ｓ１０５）。ボケ画像生成部３２は、ステップＳ１０３で記憶されたＰＳＦを第１記憶部３３から読み出すことでＰＳＦを取得する。ボケ画像生成部３２は、第２画像を分割する領域ごとに当該領域に対応するＰＳＦを取得する。

【0091】

次に、ボケ画像生成部３２は、第２画像の複数の領域それぞれに、各領域に対応するＰＳＦを畳み込んで第３画像を生成する（Ｓ１０６）。ボケ画像生成部３２は、例えば、第１画像Ｐ１の各領域と第２画像の各領域とがそれぞれ対応するように、第２画像を複数の領域に分割する。ボケ画像生成部３２は、例えば、第１画像Ｐ１と第２画像との分割数が同じになるように、第２画像を複数の領域に分割してもよい。また、ボケ画像生成部３２は、例えば、第１画像Ｐ１と第２画像との分割された領域の画像上での位置が対応するように、第２画像を分割してもよい。本実施の形態では、第１画像Ｐ１は９つの領域に分割されているので、ボケ画像生成部３２は、例えば、第１画像Ｐ１の９つの領域Ｒ１～Ｒ９と画像上の位置が同一又は類似するように、第２画像を９つの領域に分割してもよい。なお、ボケ画像生成部３２における複数の領域の分割方法は、上記に限定されず、２以上の領域に分割されればよい。

【0092】

ここで、第２画像から第３画像を生成することについて、図６を参照しながら説明する。図６は、本実施の形態に係る第２画像Ｐ２から第３画像Ｐ３を生成することを説明するための図である。

【0093】

図６の（ａ）は、９つの領域（領域Ｒ１１～Ｒ１９）に分割された第２画像Ｐ２を示す。第２画像Ｐ２の領域Ｒ１１～Ｒ１９のそれぞれは、第１画像Ｐ１の領域Ｒ１～Ｒ９のそれぞれに対応する。例えば、第２画像Ｐ２の領域Ｒ１１の大きさ及び画像上の位置は、第１画像Ｐ１の領域Ｒ１の大きさ及び画像上の位置と同一又は類似する。ボケ画像生成部３２は、例えば、画像の分割条件（分割数、領域の大きさなど）に関する情報を第１記憶部３３から読み出し、当該情報に基づいて、第２画像Ｐ２を複数の領域に分割してもよい。

【0094】

図６の（ｂ）は、第２画像Ｐ２にＰＳＦを畳み込んで生成された第３画像Ｐ３を示す。ボケ画像生成部３２は、第２画像Ｐ２の各領域に当該領域に対応したＰＳＦを畳み込むことで第３画像Ｐ３を生成する。ボケ画像生成部３２は、例えば、第２画像Ｐ２の領域Ｒ１１に、領域Ｒ１１に対応する第１画像Ｐ１上の領域Ｒ１のＰＳＦであるＰＳＦ１を畳み込む。ボケ画像生成部３２は、第２画像Ｐ２の領域Ｒ１２～Ｒ１９のそれぞれに、ＰＳＦ２～ＰＳＦ９のそれぞれを畳み込む。これにより、図６の（ｂ）に示すようなボケ画像である第３画像Ｐ３が生成される。第３画像Ｐ３は、互いに視点が少しずつ異なる複数の画像が合成されたような画像となる。つまり、第３画像Ｐ３は、マルチピンホールカメラ１０で撮像されたような画像となる。

【0095】

ボケ画像生成部３２は、第２画像Ｐ２が複数あり、かつ、ステップＳ１０２において分割領域ごとにＰＳＦが複数抽出されている場合、第２画像Ｐ２の各領域に畳み込まれるＰＳＦを、複数の第２画像Ｐ２のそれぞれで異なるように選択してもよい。また、ボケ画像生成部３２は、１枚の第２画像Ｐ２に対して、当該第２画像Ｐ２の各領域に畳み込まれるＰＳＦを変えて複数回の畳み込み処理を行ってもよい。つまり、ボケ画像生成部３２は、１つの第２画像Ｐ２からボケ度合が異なる複数の第３画像Ｐ３を生成してもよい。

【0096】

図２を再び参照して、ボケ画像生成部３２は、ステップＳ１０６で生成した第３画像Ｐ３と、当該第３画像Ｐ３を生成するもととなった第２画像Ｐ２に付加された正解情報との組を第１記憶部３３に記憶する（Ｓ１０７）。ボケ画像生成部３２は、第３画像Ｐ３と正解情報とを対応付けて第１記憶部３３に記憶する。

【0097】

上記のように、第１制御部３０は、ノーマル画像である第２画像Ｐ２から、第１画像Ｐ１に基づく各領域のＰＳＦを用いて、ボケ画像である第３画像Ｐ３を生成する。第１制御部３０は、ノーマル画像である第２画像Ｐ２から、マルチピンホールカメラ１０で撮像したような画像を生成するとも言える。情報処理システム１は、第３画像Ｐ３を物体認識モデルの訓練データとして用いることで、マルチピンホールカメラ１０を用いて訓練データ用の画像の撮像を行うことなく、訓練データを取得することができる。第１制御部３０は、例えば、公開されているデータセットに含まれる画像（第２画像Ｐ２）と、第１画像Ｐ１に基づく各領域のＰＳＦとを取得するだけで、物体認識モデルの訓練用のデータセットを容易に生成することができる。

【0098】

次に、第１制御部３０は、第３画像Ｐ３と第２画像Ｐ２に付加された正解情報との組を第２制御部４０に出力する（Ｓ１０８）。第１制御部３０は、第３画像Ｐ３と正解情報との組を第１記憶部３３から読み出し、読み出した第３画像Ｐ３と正解情報との組を第２制御部４０に出力する。第１制御部３０は、例えば、第３画像Ｐ３と正解情報との組が所定数以上となると、所定数以上の第３画像Ｐ３と正解情報との組を含むデータセットを第２制御部４０に出力してもよい。第１制御部３０は、第３画像Ｐ３と正解情報との組を出力する出力部として機能する。

【0099】

続いて、情報処理システム１において、訓練用のデータセットを用いて物体認識モデルを訓練する動作について、図７～図９を参照しながら説明する。図７は、本実施の形態に係る物体認識モデルの訓練時（学習時）の動作を示すフローチャートである。

【0100】

図７に示すように、訓練部４１は、第３画像Ｐ３、及び、第２画像Ｐ２に付加された正解情報の組を取得する（Ｓ２０１）。訓練部４１は、例えば、第１制御部３０から出力された第３画像Ｐ３及び正解情報を取得する。訓練部４１は、第１記憶部３３から第３画像Ｐ３及び正解情報を読み出すとも言える。

【0101】

次に、訓練部４１は、第３画像Ｐ３を訓練データ（入力データ）として、第２画像Ｐ２に付加された正解情報を用いて機械学習で物体認識モデルを訓練（Ｓ２０２）し、訓練された物体認識モデルを第２記憶部４２に記憶する（Ｓ２０３）。機械学習は、例えば、ディープラーニングなどにおける誤差逆伝播法などにより行われるが、これに限定されない。

【0102】

これにより、マルチピンホールカメラ１０で撮像されたＭＰＨ画像（ボケ画像）から物体検出を実行可能な物体認識モデルが生成される。

【0103】

ここで、図７に示す動作により訓練された物体認識モデルの例としての行動認識モデルにおける行動認識の認識性能について、図８及び図９を参照しながら説明する。図８は、行動認識モデルの機械学習アルゴリズムごとの認識性能を示す図である。

【0104】

行動識別の対象は、室内に設置したカメラからの撮像画像に対して「飲食している」「横になっている」「座っている」「立っている」「掃除機をかけている」の４種類の行動であり、図８は当該４種類の行動を行動認識モデルが識別した結果を示している。行動認識モデルの機械学習アルゴリズム（Ｍｅｔｈｏｄ）として、「ＣｅｎｔｅｒＮＥＴ－Ｒｅｓ１８」、「ＣｅｎｔｅｒＮＥＴ－ＤＬＡ３４」、「ＲｅｆｉｎｅＤｅｔ」、「ＹＯＬＯｖ３－ｔｉｎｙ」及び「ＭＦＦＤ」を用いている。また、通常のカメラ(Ｎｏｒｍａｌ）及びマルチピンホールカメラ１０（Ｍｕｌｔｉ－ｐｉｎｈоｌｅ）の項目に対応する数値は、認識結果の正解率であるＡＰ（Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎ）及びｍＡＰを示す。通常のカメラ画像についての正解率は、各アルゴリズムによる行動認識モデルにノーマル画像を入力したときの正解率を示す。行動認識モデルは、公開されている訓練済みモデルであってもよい。また、マルチピンホールカメラ１０の画像についての正解率は、各機械学習アルゴリズムによる行動認識モデルであって、訓練部４１により訓練された行動認識モデルにマルチピンホール画像を入力したときの正解率を示す。また、各機械学習アルゴリズムの認識速度を示すＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）も参考に記載している。

【0105】

図８に示すように、マルチピンホール画像についての正解率とノーマル画像の正解率との差は５～１１％に抑制されており、物体認識モデルとしては使用可能なレベルであると考えられる。なお、公開されている訓練済みモデルに、マルチピンホールカメラ１０のボケ画像を入力した場合は、行動を認識することができないことが多い。言い換えると、正解率が期待される値（又は許容される値）に達することが少ない。このことから、第１制御部３０で生成されたデータセットを用いて行動認識モデルの訓練を行うことで、ＭＰＨ画像に対する認識性能は大幅に向上していると言える。

【0106】

なお、データセットに含まれる第３画像Ｐ３が、第２画像Ｐ２と１つのＰＳＦとに基づいて生成された画像であった場合、当該データセットを用いて訓練された物体認識モデルの正解率は、図８に示すほど高くないと想定される。これは、上述したＭＰＨ画像の特性が要因と考えられる。よって、高性能な物体認識モデルを生成する観点から、データセットに含まれる第３画像Ｐ３が、第２画像Ｐ２と当該第２画像Ｐ２を分割した複数の領域それぞれに対応するＰＳＦとに基づいて生成された画像であるとよい。例えば、第１画像Ｐ１において、領域ごとにＰＳＦが抽出されるとよい。

【0107】

図９は、行動認識モデルの機械学習アルゴリズムがＲｅｆｉｎｅＤｅｔの場合の認識結果を示す図である。具体的には、ノーマル画像、マルチピンホール画像に対する認識結果を示す。図９では、認識対象の行動は、「横になっている」である。また、各枠（バウンディングボックス）は、認識結果における「横になっている」候補を示す。

【0108】

このように、第１制御部３０で生成されたデータセットは、様々なアルゴリズムによる行動識別モデルのそれぞれにおいて、所望の認識性能を得られるデータセットとなっていることがわかる。つまり、第１制御部３０は、ＭＰＨ画像を認識可能なようにモデルを訓練する機械学習に有効な画像（第３画像）を生成することができている。このようなデータセットを用いて訓練された物体認識モデルに、実際にマルチピンホールカメラ１０で撮像された画像が入力されると、所望の認識性能での物体認識を行うことができる。

【0109】

（その他の実施の形態）
以上、本開示について実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。

【0110】

例えば、上記実施の形態では、第２画像は、マルチピンホールカメラ以外のカメラで撮像された画像である例について説明したが、これに限定されない。第２画像は、図１に示すマルチピンホールカメラ１０以外のマルチピンホールカメラ（例えば、ボケ度合が異なるマルチピンホールカメラ）で撮像された画像であってもよい。この場合、当該画像はボケ画像であるので、当該画像からボケを取り除く処理を施すことで、第２画像が取得される。

【0111】

また、上記実施の形態では、第２画像は、カメラにより取得される例について説明したが、これに限定されない。第２画像は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）により生成された画像であってもよい。また、第２画像は、絵画などを取り込んだ画像であってもよいし、アニメーション（例えば、ＣＧアニメーション）であってもよい。

【0112】

また、上記実施の形態では、第１制御部は、物体認識モデルの訓練用のデータセットを、第１画像から取得されるＰＳＦに基づいて生成する例について説明したが、さらに訓練された物体認識モデルの認識性能などを確認するための確認用のデータセットを、当該ＰＳＦに基づいて生成してもよい。

【0113】

また、上記実施の形態では、機械学習モデルは、ニューラルネットワークを用いた機械学習モデルである例について説明したが、他の機械学習モデルであってもよい。例えば、機械学習モデルは、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ、又はＧｅｎｅｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ等を用いた機械学習モデルであってもよい。

【0114】

また、上記実施の形態では、訓練された物体認識モデルを用いた認識処理が情報処理装置にて行われる例を説明したが、当該認識処理は情報処理システムにて行われてもよい。また、情報処理装置は、マルチピンホールカメラに内蔵されていてもよい。

【0115】

また、上記実施の形態等において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理は、並行して実行されてもよい。また、複数の処理の一部は、実行されなくてもよい。

【0116】

また、上記実施の形態等で説明した各構成要素は、ソフトウェアとして実現されても良いし、典型的には、集積回路であるＬＳＩとして実現されてもよい。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅ Ａｒｒａｙ）又は、ＬＳＩ内部の回路セルの接続若しくは設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて構成要素の集積化を行ってもよい。

【0117】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0118】

また、情報処理装置は、単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、第１制御部と、第２制御部と、取得部、第３制御部及び出力部とは、互いに異なる装置で実現されてもよい。情報処理装置が複数の装置によって実現される場合、情報処理装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。また、複数の装置間の通信方法は、特に限定されない。

【0119】

さらに、本開示の技術は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。例えば、上記プログラム及び上記プログラムからなるデジタル信号は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものであってもよい。また、上記プログラム及び上記プログラムからなるデジタル信号は、記録媒体に記録して移送されることにより、又はネットワーク等を経由して移送されることにより、独立した他のコンピュータシステムにより実行されてもよい。

【0120】

また、各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【産業上の利用可能性】

【0121】

本開示は、画像を用いて画像認識を行う装置に広く利用可能である。

【符号の説明】

【0122】

１ 情報処理システム
１０ マルチピンホールカメラ
２０ 情報処理装置
３０ 第１制御部
３１ ＰＳＦ抽出部
３２ ボケ画像生成部
３３ 第１記憶部
４０ 第２制御部
４１ 訓練部
４２ 第２記憶部
５０ 取得部
６０ 第３制御部
７０ 出力部
８０ 第３記憶部
９０ スクリーン
９１ 輝点
Ｐ１ 第１画像
Ｐ２ 第２画像
Ｐ３ 第３画像
Ｒ１～Ｒ９、Ｒ１１～Ｒ１９ 領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】