特許 7549411 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240904BHJP

   G06T 7/80 20170101ALI20240904BHJP

【ＦＩ】

G06T7/00 350C

G06T7/80

【請求項の数】 7

(21)【出願番号】P 2024118626

(22)【出願日】2024-07-24

【審査請求日】2024-07-24

【早期審査対象出願】

(73)【特許権者】

【識別番号】515237795

【氏名又は名称】アキュイティー株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(72)【発明者】

【氏名】小山 侑馬

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０２３／０６２９９２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／００４３１９７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ １／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

Ｈ０４Ｎ ２３／００－２３／９５９

(57)【特許請求の範囲】

【請求項1】

撮像装置が撮像した画像データであって、前記撮像装置の光学系のパラメータを算出する対象の画像データである算出対象画像データを取得する取得部と、
（１）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークと、（２）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークであって、前記第１のニューラルネットワークと異なる前記第２のニューラルネットワークと、（３）前記第１の特徴量及び前記第２の特徴量を入力として、前記算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである出力ネットワークと、を有する学習済みモデルを記憶する記憶部と、
前記算出対象画像データを前記学習済みモデルに入力し、前記算出対象画像データに対応するパラメータを出力させる推論部と、
を有する情報処理装置。

【請求項2】

前記第１のニューラルネットワークは、トランスフォーマー型のエンコーダーを有し、
前記第２のニューラルネットワークは、ＣＮＮ（Convolutional Neural Network）型のエンコーダーを有する、
請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、同一の撮像装置が撮像した複数の算出対象画像データを取得するとともに、補正対象の画像データである補正対象画像データを取得し、
前記推論部は、前記複数の算出対象画像データそれぞれを前記学習済みモデルに入力し、前記複数の算出対象画像データそれぞれに対応するパラメータを出力させ、
前記情報処理装置は、前記複数の算出対象画像データそれぞれに対応するパラメータの平均値に基づいて、前記補正対象画像データを補正する補正部をさらに有する、
請求項１に記載の情報処理装置。

【請求項4】

前記取得部は、
（１）前記算出対象画像データと、撮像装置を識別するための撮像装置識別情報であって、前記算出対象画像データを撮像した撮像装置の前記撮像装置識別情報と、を関連付けて取得するとともに、
（２）補正対象の画像データである補正対象画像データと、前記補正対象画像データを撮像した撮像装置の撮像装置識別情報と、を関連付けて取得し、
前記推論部は、前記算出対象画像データを撮像した撮像装置の撮像装置識別情報と、前記撮像装置識別情報に関連付けられた前記算出対象画像データに基づいて出力されたパラメータと、を関連付けたパラメータテーブルを記憶部に記憶させ、
前記情報処理装置は、前記補正対象画像データを撮像した撮像装置の撮像装置識別情報に前記パラメータテーブルにおいて対応する撮像装置識別情報に関連付けられたパラメータに基づいて、前記補正対象画像データを補正する補正部をさらに有する、
請求項１に記載の情報処理装置。

【請求項5】

前記撮像装置の光学系のパラメータは、当該光学系の歪係数と焦点距離とを含み、
前記補正部は、前記撮像装置の光学系に起因する前記補正対象画像データの歪みを補正する、
請求項３又は４に記載の情報処理装置。

【請求項6】

コンピュータが実行する、
撮像装置が撮像した画像データであって、前記撮像装置の光学系のパラメータを算出する対象の画像データである算出対象画像データを取得するステップと、
（１）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークと、（２）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークであって、前記第１のニューラルネットワークと異なる前記第２のニューラルネットワークと、（３）前記第１の特徴量及び前記第２の特徴量を入力として、前記算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである出力ネットワークと、を有する学習済みモデルに前記算出対象画像データを入力し、前記算出対象画像データに対応するパラメータを出力させるステップと、
を有する情報処理方法。

【請求項7】

コンピュータに、
撮像装置が撮像した画像データであって、前記撮像装置の光学系のパラメータを算出する対象の画像データである算出対象画像データを取得するステップと、
（１）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークと、（２）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークであって、前記第１のニューラルネットワークと異なる前記第２のニューラルネットワークと、（３）前記第１の特徴量及び前記第２の特徴量を入力として、前記算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである出力ネットワークと、を有する学習済みモデルに前記算出対象画像データを入力し、前記算出対象画像データに対応するパラメータを出力させるステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いてカメラの光学系のパラメータを推論する技術が知られている（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Oleksandr Bogdan, Viktor Eckstein, Francois Rameau and Jean-Charles Bazin.2018.DeepCalib: A Deep Learning Approach for Automatic IntrinsicCalibration of Wide Field-of-View Cameras. In Proceedings of CVMP ’18: European Conference on Visual Media Production, London, United Kingdom, December 13－14, 2018 (CVMP ’18), 10 pages, <URL https://doi.org/10.1145/3278471.3278479>

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術においては入力される画像によってはパラメータの推論精度が出せないことがあり、カメラの光学系のパラメータの推論には精度向上の余地がある。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、カメラの光学系のパラメータを推論する精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様にかかる情報処理装置においては、撮像装置が撮像した画像データであって、前記撮像装置の光学系のパラメータを算出する対象の画像データである算出対象画像データを取得する取得部と、（１）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークと、（２）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークであって、前記第１のニューラルネットワークと異なる前記第２のニューラルネットワークと、（３）前記第１の特徴量及び前記第２の特徴量を入力として、前記算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである出力ネットワークと、を有する学習済みモデルを記憶する記憶部と、前記算出対象画像データを前記学習済みモデルに入力し、前記算出対象画像データに対応するパラメータを出力させる推論部と、を有する。

【0007】

前記第１のニューラルネットワークは、トランスフォーマー型のエンコーダーを有し、前記第２のニューラルネットワークは、ＣＮＮ（Convolutional Neural Network）型のエンコーダーを有するよう構成されてもよい。

【0008】

前記取得部は、同一の撮像装置が撮像した複数の算出対象画像データを取得するとともに、補正対象の画像データである補正対象画像データを取得し、前記推論部は、前記複数の算出対象画像データそれぞれを前記学習済みモデルに入力し、前記複数の算出対象画像データそれぞれに対応するパラメータを出力させ、前記情報処理装置は、前記複数の算出対象画像データそれぞれに対応するパラメータの平均値に基づいて、前記補正対象画像データを補正する補正部をさらに有するよう構成されてもよい。

【0009】

前記取得部は、（１）前記算出対象画像データと、撮像装置を識別するための撮像装置識別情報であって、前記算出対象画像データを撮像した撮像装置の前記撮像装置識別情報と、を関連付けて取得するとともに、（２）補正対象の画像データである補正対象画像データと、前記補正対象画像データを撮像した撮像装置の撮像装置識別情報と、を関連付けて取得し、前記推論部は、前記算出対象画像データを撮像した撮像装置の撮像装置識別情報と、前記撮像装置識別情報に関連付けられた前記算出対象画像データに基づいて出力されたパラメータと、を関連付けたパラメータテーブルを記憶部に記憶させ、前記情報処理装置は、前記補正対象画像データを撮像した撮像装置の撮像装置識別情報に前記パラメータテーブルにおいて対応する撮像装置識別情報に関連付けられたパラメータに基づいて、前記補正対象画像データを補正する補正部をさらに有するよう構成されてもよい。

【0010】

前記撮像装置の光学系のパラメータは、当該光学系の歪係数と焦点距離とを含み、前記補正部は、前記撮像装置の光学系に起因する前記補正対象画像データの歪みを補正してもよい。
本発明の第２の態様の情報処理方法においては、コンピュータが実行する、撮像装置が撮像した画像データであって、前記撮像装置の光学系のパラメータを算出する対象の画像データである算出対象画像データを取得するステップと、（１）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークと、（２）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークであって、前記第１のニューラルネットワークと異なる前記第２のニューラルネットワークと、（３）前記第１の特徴量及び前記第２の特徴量を入力として、前記算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである出力ネットワークと、を有する学習済みモデルに前記算出対象画像データを入力し、前記算出対象画像データに対応するパラメータを出力させるステップと、を有する。

【0011】

本発明の第３の態様のプログラムにおいては、コンピュータに、撮像装置が撮像した画像データであって、前記撮像装置の光学系のパラメータを算出する対象の画像データである算出対象画像データを取得するステップと、（１）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークと、（２）前記算出対象画像データを入力として、前記算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークであって、前記第１のニューラルネットワークと異なる前記第２のニューラルネットワークと、（３）前記第１の特徴量及び前記第２の特徴量を入力として、前記算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである出力ネットワークと、を有する学習済みモデルに前記算出対象画像データを入力し、前記算出対象画像データに対応するパラメータを出力させるステップと、を実行させる。

【発明の効果】

【0012】

本発明によれば、カメラの光学系のパラメータを推論する精度を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態にかかる情報処理システムＳの概要を説明するための図である。

【図2】学習済みモデルＭの構造を説明するための図である。

【図3】学習済みモデルＭの構造を説明するための図である。

【図4】情報処理装置１の構成を示すブロック図である。

【図5】記憶部１２が記憶するパラメータテーブルのデータ構造の一例を示す図である。

【図6】情報処理装置１における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0014】

［情報処理システムＳの概要］
図１は、実施形態にかかる情報処理システムＳの概要を説明するための図である。情報処理システムＳは、画像を撮像した撮像装置の光学系のパラメータを推論するためのシステムである。情報処理システムＳは、情報処理装置１及び情報端末２を有する。

【0015】

情報処理装置１は、画像データを撮像した撮像装置の光学系のパラメータを推論するための装置である。一例として、情報処理装置１は画像の歪みに関するパラメータを推論する。情報処理装置１は、推論したパラメータに基づいて画像を補正する。情報処理装置１は、画像データが入力されると、画像を撮像した撮像装置の光学系のパラメータを出力する学習済みモデルを記憶する。学習済みモデルが推論する撮像装置の光学系のパラメータは、一例として、歪係数と焦点距離である。学習済みモデルが推論の対象とする撮像装置のパラメータは、例えば光学中心やせん断係数であってもよい。

【0016】

情報端末２は、情報処理システムＳを利用するユーザが使用する端末である。情報端末２は、情報処理装置１に学習又は推論用の画像データを入力する。また、情報端末２は、情報処理装置１に学習又は推論を行う指示をする。情報端末２は、情報処理装置１が補正した画像データを取得し、取得した画像データを表示する。

【0017】

情報処理装置１は、学習用画像データを取得する。学習用画像データは、学習済みモデルを学習させるための画像データである。図２を参照して学習済みモデルＭの構造を説明する。

【0018】

学習済みモデルＭは、第１のニューラルネットワークＮＡと、第２のニューラルネットワークＮＢと、出力ネットワークＮＣと、を有する。第１のニューラルネットワークＮＡは、算出対象画像データを入力として、算出対象画像データが示す画像の特徴量である第１の特徴量を出力する。第２のニューラルネットワークＮＢは、算出対象画像データを入力として、算出対象画像データが示す画像の特徴量である第２の特徴量を出力する。

【0019】

第１のニューラルネットワークＮＡと第２のニューラルネットワークＮＢとは異なる構造を有する。具体的には、第１のニューラルネットワークＮＡは、トランスフォーマー（Transformer）型のエンコーダーを有し、第２のニューラルネットワークＮＢは、ＣＮＮ（Convolutional Neural Network）型のエンコーダーを有する。一例として、第１のニューラルネットワークＮＡは、既知のＣｏｎｖＦｏｒｍｅｒであり、第２のニューラルネットワークＮＢは、既知のＣｏｎｖＮｅＸｔ－Ｖ２であってもよい。

【0020】

異なる構造を有する複数のニューラルネットワークそれぞれが特徴量を抽出することにより、画像データにおける様々な特徴を捉えることが可能になり、パラメータの推論精度が向上することが期待される。また、注意機構（Attention Mechanism）を有するトランスフォーマー型のエンコーダーを一方のニューラルネットワークに採用して特徴量を抽出することで、画像において離れた位置における情報に基づいてパラメータを推論できるようになり、その結果、パラメータの推論精度が向上することが期待される。

【0021】

出力ネットワークＮＣは、第１の特徴量及び第２の特徴量を入力として、算出対象画像データを撮像した撮像装置の光学系のパラメータを出力するニューラルネットワークである。一例として、出力ネットワークＮＣは、第１の特徴量及び第２の特徴量を結合（Concatenate）したベクトルを入力として受付けるよう構成されてもよい。

【0022】

なお、図２においては、出力ネットワークＮＣが１つのニューラルネットワークで構成される例を示したが、出力するパラメータが複数である場合、出力ネットワークＮＣは、出力するパラメータごとにそれぞれ独立したネットワークを有していてもよい。すなわち、学習済みモデルＭは、図３に示すとおり、出力するパラメータ（パラメータＡ及びパラメータＢ）それぞれについての出力ネットワーク（ＮＣ１及びＮＣ２）を有してもよい。

【0023】

なお、図２及び図３においては、出力するパラメータが２種類である例を示したが、これに限られない。すなわち、学習済みモデルＭが出力するパラメータは１種類であってもよいし、３種類以上であってもよい。以下では、学習済みモデルＭが出力するパラメータが焦点距離と歪係数である例を用いて、情報処理システムＳについて説明する。

【0024】

図１に戻り、情報処理システムＳの処理の概要を説明する。情報処理装置１は、情報端末２から学習用画像データを取得する（図１における（１））。学習用画像データは、学習済みモデルＭの学習に使用される画像データである。学習用画像データは、学習用画像データを撮像した撮像装置のパラメータと関連付けられている。

【0025】

情報処理装置１は、学習用画像データと、学習用画像データを撮像した撮像装置のパラメータと、を教師データとして学習を実行し、学習済みモデルＭを生成する（図１における（２））。情報処理装置１は、生成した学習済みモデルＭを記憶する。

【0026】

情報処理装置１は、情報端末２から算出対象画像データを取得する（図１における（３））。対象画像データは、撮像装置の光学系のパラメータを算出する対象の撮像装置が撮像した画像データである。情報処理装置１は、算出対象画像データを学習済みモデルＭに入力し、パラメータを出力させる（図１における（４））。情報処理装置１は、後述するように撮像装置が撮像した複数の対象画像データに基づいて画像の補正に用いるパラメータを決定してもよい。

【0027】

情報処理装置１は、情報端末２から補正対象画像データを取得する（図１における（５））。補正対象画像データは、画像を補正する対象の画像データである。補正対象画像データは、算定対象画像データを撮像した撮像装置と同一の撮像装置に撮像されている。

【0028】

情報処理装置１は、学習済みモデルＭが算定対象画像データに基づいて出力したパラメータに基づいて、補正対象画像データを補正する（図１における（６））。より具体的には、情報処理装置１は、学習済みモデルＭが出力した焦点距離と歪係数に基づいて、補正対象画像データの歪みを補正し、補正後画像データを生成する。

【0029】

情報処理装置１は、補正後画像データを出力する（図１における（７））。一例として、情報処理装置１は、補正後画像データを情報端末２の表示部に表示させる。

【0030】

学習済みモデルＭは、複数の構造が異なるニューラルネットワークにより特徴量を抽出することで、異なる観点の特徴量を抽出するように構成されている。このため、光学系のパラメータを推定に異なる観点の特徴量を利用できるので、情報処理システムＳは、カメラの光学系のパラメータを推論する精度を向上させることができ、その結果、画像の補正精度を向上させることができる。

【0031】

なお、上記の説明においては、情報処理装置１が情報端末２から画像データを取得する例を説明したがこれに限られない。情報処理装置１は、撮像装置（不図示）から画像データを取得してもよいし、外部装置（不図示）から画像データを取得してもよい。

【0032】

図４は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、通信部１１、記憶部１２及び制御部１３を有する。制御部１３は、取得部１３１、推論部１３２、表示制御部１３３及び補正部１３４を有する。

【0033】

通信部１１は、ネットワークを介して他の装置とデータの送受信をするための通信インターフェースである。記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを予め記憶している。記憶部１２は、学習済みモデルＭを記憶する。

【0034】

制御部１３は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、推論部１３２、表示制御部１３３及び補正部１３４として機能する。

【0035】

取得部１３１は、算出対象画像データを取得する。取得部１３１は、情報端末２から算出対象画像データを取得してもよいし、不図示の外部装置から算出対象画像データを取得してもよい。

【0036】

推論部１３２は、算出対象画像データを学習済みモデルＭに入力し、算出対象画像データに対応するパラメータを出力させる。推論部１３２は、算出対象画像データを学習済みモデルＭに入力し、算出対象画像データを撮像した撮像装置の焦点距離と歪係数とを出力させる。一例として、推論部１３２は、学習済みモデルＭが出力した焦点距離と歪係数とを記憶部１２に記憶させる。表示制御部１３３は、学習済みモデルＭが出力したパラメータを表示する画面を情報端末２に表示させてもよい。

【0037】

複数の構造が異なるニューラルネットワークにより異なる観点の特徴量を抽出するよう構成された学習済みモデルＭを用いて光学系のパラメータを推論するよう情報処理装置１が構成されることで、カメラの光学系のパラメータを推論する精度を向上させることができる。

【0038】

［補正処理］
取得部１３１は、補正対象画像データを取得する。補正部１３４は、撮像装置の光学系に起因する補正対象画像データの歪みを補正する。具体的には、補正部１３４は、学習済みモデルＭが出力した焦点距離及び歪係数に基づいて補正対象画像データを補正し、補正後画像データを生成する。撮像装置の焦点距離及び歪み係数に基づいて画像を補正する技術は既知であり、補正部１３４は、既知のカメラキャリブレーション技術に基づいて補正対象画像データを補正すればよい。表示制御部１３３は、補正部１３４が生成した補正後画像データを表示する画面を情報端末２に表示させてもよい。

【0039】

入力する画像データによっては学習済みモデルＭが出力するパラメータに誤差が生じる場合がある。そこで、同一の撮像装置が撮像した画像データに基づいて学習済みモデルＭが出力したパラメータの平均値に基づいて、画像を補正するよう情報処理装置１が構成されてもよい。撮像装置が同じであれば、推論対象とする光学系のパラメータも同一であることが想定できるからである。

【0040】

取得部１３１は、同一の撮像装置が撮像した複数の算出対象画像データを取得する。推論部１３２は、複数の算出対象画像データそれぞれを学習済みモデルＭに入力し、複数の算出対象画像データそれぞれに対応するパラメータを出力させる。具体的には、推論部１３２は、複数の算出対象画像データそれぞれに基づいて学習済みモデルＭが出力した焦点距離及び歪係数それぞれの平均値を算出する。

【0041】

補正部１３４は、複数の算出対象画像データそれぞれに対応するパラメータの平均値に基づいて、補正対象画像データを補正する。具体的には、補正部１３４は、取得部１３１が取得した補正対象画像データを、推論部１３２が算出した焦点距離及び歪係数それぞれの平均値に基づいて補正する。

【0042】

学習済みモデルＭが出力するパラメータに異常な値が含まれる場合が想定される。そこで、統計的に異常な値を除去し、パラメータの平均値をとるよう補正部１３４が構成されてもよい。

【0043】

推論部１３２は、学習済みモデルＭが複数の算出対象画像データに基づいて出力したパラメータの平均値及び標準偏差を算出する。推論部１３２は、標準偏差が所定の閾値以上又は閾値以下のパラメータを除く、学習済みモデルＭが出力したパラメータに基づいて平均値を算出する。

【0044】

学習済みモデルＭが出力したパラメータの平均値に基づいて情報処理装置１がこのように構成されることで、光学系のパラメータの推定精度を向上させることができる。

【0045】

同種の部品を使用して同一の工程で製造した撮像装置であっても、部品を組み付ける際にパラメータに誤差が生じ得る。そこで、撮像装置ごとのパラメータを特定し、撮像装置ごとのパラメータに基づいて、それぞれの撮像装置が撮像した画像を補正するよう情報処理装置１が構成されてもよい。

【0046】

取得部１３１は、算出対象画像データと、算出対象画像データを撮像した撮像装置の撮像装置ＩＤと、を関連付けて取得する。撮像装置ＩＤは、撮像装置を識別するため識別情報である。一例として、撮像装置ＩＤは、算出対象画像データに関連付けられたメタデータに含まれる。

【0047】

推論部１３２は、取得した算出対象画像データを学習済みモデルＭに入力し、パラメータを出力させる。推論部１３２は、算出対象画像データを撮像した撮像装置の撮像装置ＩＤと、撮像装置ＩＤに関連付けられた算出対象画像データに基づいて出力されたパラメータと、を関連付けたパラメータテーブルを記憶部１２に記憶させる。

【0048】

図５は、記憶部１２が記憶するパラメータテーブルのデータ構造の一例を示す図である。図５に示すパラメータテーブルは、少なくとも「撮像装置ＩＤ」、「焦点距離」及び「「歪係数」を有する。

【0049】

取得部１３１は、補正対象画像データと、補正対象画像データを撮像した撮像装置の撮像装置ＩＤと、を関連付けて取得する。一例として、撮像装置ＩＤは、補正対象画像データに関連付けられたメタデータに含まれる。

【0050】

補正部１３４は、補正対象画像データを撮像した撮像装置の撮像装置ＩＤにパラメータテーブルにおいて対応する撮像装置ＩＤに関連付けられたパラメータに基づいて、補正対象画像データを補正する。補正部１３４は、記憶部１２が記憶するパラメータテーブルを参照し、補正対象画像に関連付けられた撮像装置ＩＤに対応するパラメータを特定する。補正部１３４は、特定したパラメータに基づいて、補正対象画像データを補正する処理をする。

【0051】

情報処理装置１が補正対象画像データを撮像した撮像装置について算出されたパラメータを用いて画像を補正するよう構成されることで、同種の装置であっても個々に異なるパラメータに基づいて撮像された画像を補正することができる。特に、大量の同種の撮像装置それぞれが撮像した画像を補正する際に、撮像装置ごとのバラつきに起因する画像の歪を補正する精度を向上させることができる。

【0052】

［情報処理装置１における処理の流れ］
図６は、情報処理装置１における処理の流れを示すフローチャートである。図６に示すフローチャートは、学習済みモデルＭの学習が完了し、算出対象画像データを受付けることが可能になった時点から開始している。

【0053】

取得部１３１は、算出対象画像データを取得する（Ｓ０１）。推論部１３２は、算出対象画像データを学習済みモデルＭに入力し、算出対象画像データを撮像した撮像装置のパラメータを出力させる（Ｓ０２）。

【0054】

取得部１３１は、補正対象画像データを取得する（Ｓ０３）。補正部１３４は、補正対象画像データを撮像した撮像装置のパラメータを特定する（Ｓ０４）。補正部１３４は、特定したパラメータに基づいて補正対象画像データを補正する（Ｓ０５）。そして情報処理装置１は処理を終了する。

【0055】

［情報処理装置１による効果］
以上説明したように、複数の構造が異なるニューラルネットワークにより特徴量を抽出するよう構成された学習済みモデルにより光学系のパラメータを推論することにより、情報処理装置１は、カメラの光学系のパラメータを推論する精度を向上させることができる。

【0056】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0057】

１ 情報処理装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 取得部
１３２ 推論部
１３３ 表示制御部
１３４ 補正部

【要約】

【課題】カメラの光学系のパラメータを推論する精度を向上させる。
【解決手段】算出対象画像データを取得する取得部１３１と、（１）算出対象画像データを入力として、算出対象画像データが示す画像の特徴量である第１の特徴量を出力する第１のニューラルネットワークＮＡと、（２）算出対象画像データを入力として、算出対象画像データが示す画像の特徴量である第２の特徴量を出力する第２のニューラルネットワークＮＢと、（３）第１の特徴量及び第２の特徴量を入力として、算出対象画像データを撮像した撮像装置の光学系のパラメータを出力する出力ネットワークＮＣと、を有する学習済みモデルを記憶する記憶部１２と、算出対象画像データを学習済みモデルに入力し、算出対象画像データに対応するパラメータを出力させる推論部１３２と、を有する情報処理装置１である。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】