特開 2023-128093 情報処理装置、補正処理方法、および補正処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023128093

(43)【公開日】2023-09-14

(54)【発明の名称】情報処理装置、補正処理方法、および補正処理プログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20230907BHJP

   H04N 23/60 20230101ALI20230907BHJP

【ＦＩ】

G06T3/00

H04N5/232 290

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022032192

(22)【出願日】2022-03-02

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】一場 利幸

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057AA19

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD12

5B057CE06

5B057CH07

5B057CH09

5B057DA17

5B057DB02

5B057DB09

5C122EA31

5C122EA33

5C122EA68

5C122FA18

5C122FH06

5C122GA34

5C122GC14

5C122GC52

5C122GC77

5C122HB01

(57)【要約】

【課題】帯域使用量の低減化を図ること。
【解決手段】情報処理装置１００は、複数の画像撮像装置のうち、同一の型番を有する２つの画像撮像装置をグループ化する。情報処理装置１００は、グループ化した２つの画像撮像装置のそれぞれの画像撮像装置から受信済みの付随データに含まれる補正パラメータに基づいて、リマップテーブル８２０を生成し、ＦＰＧＡ３０６がアクセス可能に、メモリのＤＲＡＭに記憶する。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置が有する同一の型番に対応付けられたリマップテーブル８２０を、バッファ１００２に読み込む。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置のそれぞれの画像撮像装置で撮像された画像を受け付けると、バッファ１００２に一時保存されたリマップテーブル８２０を読み出し、受け付けた画像に対してリマップ処理を実施する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

画像に対してひずみ補正を行うための補正情報を記憶する記憶部と、
それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、前記補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、制御部と、
を有することを特徴とする情報処理装置。

【請求項2】

前記制御部は、
前記複数の撮像部のそれぞれの撮像部から取得した、当該撮像部で撮像された画像に関するパラメータに基づいて、２以上の撮像部をグループ化する、ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記記憶部の帯域使用量が閾値を超える場合、前記記憶部に記憶された前記補正情報の一部に基づいて、前記補正情報を推定した第２の補正情報を生成し、
生成した前記第２の補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記制御部は、
前記複数の撮像部のうち、前記記憶部に記憶された前記補正情報に類似の補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部について、当該撮像部で撮像された画像に対してひずみ補正を行うための、前記補正情報に類似の第３の補正情報を生成し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、生成した前記第３の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする請求項１～３のいずれか一つに記載の情報処理装置。

【請求項5】

前記記憶部は、
異なる画像に対してひずみ補正を行うための複数の補正情報のそれぞれの補正情報を特定可能にする、前記それぞれの補正情報と、特定のパラメータから生成可能な基準の補正情報との差分情報を記憶し、
前記制御部は、
前記複数の撮像部のうち、前記複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、前記特定のパラメータから生成された前記基準の補正情報と、前記記憶部に記憶された前記差分情報とに基づいて、前記複数の補正情報のうち、当該撮像部で撮像された画像に対してひずみ補正を行うための第４の補正情報を生成し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、生成した前記第４の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする請求項１～４のいずれか一つに記載の情報処理装置。

【請求項6】

前記制御部は、
前記記憶部に記憶された、グループ化した前記２以上の撮像部のいずれかの撮像部に対応する前記補正情報を特定し、
特定した前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする請求項１～５のいずれか一つに記載の情報処理装置。

【請求項7】

前記制御部は、
グループ化した前記２以上の撮像部の少なくともいずれかの撮像部の属性情報に基づいて、前記記憶部に記憶された前記補正情報を特定し、
特定した前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする請求項１～６のいずれか一つに記載の情報処理装置。

【請求項8】

前記制御部は、
グループ化した前記２以上の撮像部の少なくともいずれかの撮像部で撮像された画像の属性情報に基づいて、前記記憶部に記憶された前記補正情報を特定し、
特定した前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする請求項１～７のいずれか一つに記載の情報処理装置。

【請求項9】

グループ化した前記２以上の撮像部の特性に基づいて、前記それぞれの撮像部で撮像された画像に対してひずみ補正を行うための前記補正情報を生成し、前記記憶部に格納する格納部、
をさらに有することを特徴とする請求項１～８のいずれか一つに記載の情報処理装置。

【請求項10】

それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、画像に対してひずみ補正を行うための補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記補正情報を記憶する記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、
処理をコンピュータが実行することを特徴とする補正処理方法。

【請求項11】

それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、画像に対してひずみ補正を行うための補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記補正情報を記憶する記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、
処理をコンピュータに実行させることを特徴とする補正処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、補正処理方法、および補正処理プログラムに関する。

【背景技術】

【0002】

従来、カメラで撮像された画像に対してひずみ補正を実施する技術がある。例えば、カメラごとに、当該カメラで撮像された画像に対してひずみ補正を実施可能にするリマップテーブルを対応付けて記憶する主記憶装置を参照して、複数のカメラのそれぞれのカメラで撮像された画像に対してひずみ補正を実施することが考えられる。

【0003】

先行技術としては、例えば、複数の入力レジスタの入力画像データに対して並列的に画像処理を行うものがある。また、例えば、フレームの領域に応じて、参照する参照パラメータを削減するよう、予め選択して参照パラメータテーブルメモリに格納する技術がある。また、例えば、２セットの画像データごとに特性値の複数の差分パラメータを計算し、所定の時間内に差分パラメータを累積し、累積した差分パラメータに従って、ピクセルに対応する複数の重み付け値を決定する技術がある。また、例えば、センサ固有の補正マトリックスの１つに含まれる要素の数よりも少ない、カラーイメージセンサの製造に使用されるＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）製造プロセスの変動をモデル化したパラメータを保存する技術がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１－９２９４９号公報

【特許文献2】特表２０１３－１８７６３０号公報

【特許文献3】米国特許出願公開第２０２０／０２０４７２８号明細書

【特許文献4】米国特許第６４３０３１３号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、主記憶装置に対する帯域使用量の増大化を招くという問題がある。例えば、カメラが複数存在すると、主記憶装置からそれぞれのカメラに対応するリマップテーブルを読み出すことになり、カメラの数が増大するほど、主記憶装置に対する帯域使用量が増大してしまうという問題がある。このため、カメラで撮像された画像に対するひずみ補正を実施する際にかかる処理時間が増大してしまう傾向がある。

【0006】

１つの側面では、本発明は、帯域使用量の低減化を図ることを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、画像に対してひずみ補正を行うための補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、前記補正情報を記憶する記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う情報処理装置、補正処理方法、および補正処理プログラムが提案される。

【発明の効果】

【0008】

一態様によれば、帯域使用量の低減化を図ることが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる補正処理方法の一実施例を示す説明図である。

【図2】図２は、情報処理システム２００の一例を示す説明図である。

【図3】図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、画像撮像装置２０１のハードウェア構成例を示すブロック図である。

【図5】図５は、情報処理装置１００の機能的構成例を示すブロック図である。

【図6】図６は、リマップ処理の内容を示す説明図である。

【図7】図７は、補正パラメータの具体例を示す説明図である。

【図8】図８は、ひずみ補正を実施する状況の一例を示す説明図である。

【図9】図９は、管理テーブル９００とリマップテーブル９１０との一例を示す説明図である。

【図10】図１０は、情報処理装置１００の動作例１を示す説明図である。

【図11】図１１は、情報処理装置１００による効果の一例を示す説明図である。

【図12】図１２は、動作例１における全体処理手順の一例を示すフローチャートである。

【図13】図１３は、画像処理の一例を示す説明図である。

【図14】図１４は、情報処理装置１００の動作例２を示す説明図である。

【図15】図１５は、リマップテーブル１４０２を推定する一例を示す説明図である。

【図16】図１６は、動作例２における全体処理手順の一例を示すフローチャートである。

【図17】図１７は、補正パラメータの関係性を示す説明図である。

【図18】図１８は、情報処理装置１００の動作例３を示す説明図である。

【図19】図１９は、動作例３における全体処理手順の一例を示すフローチャートである。

【図20】図２０は、基準テーブル２０１０と差分テーブル２０２０との一例を示す説明図である。

【図21】図２１は、情報処理装置１００の動作例４を示す説明図である。

【図22】図２２は、動作例４における全体処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる情報処理装置、補正処理方法、および補正処理プログラムの実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる補正処理方法の一実施例）
図１は、実施の形態にかかる補正処理方法の一実施例を示す説明図である。情報処理装置１００は、画像に対してひずみ補正を実施するコンピュータである。

【0012】

従来、カメラで撮像された画像に対してひずみ補正を実施することがある。ひずみ補正は、画像のリマップによって実現される。リマップは、ひずみ補正前の画像に含まれる画素情報を、ひずみ補正後の画像に含まれる特定の位置の画素情報に設定することにより、ひずみ補正後の画像を生成する処理である。

【0013】

例えば、カメラで撮像された画像に対してひずみ補正を実施可能にするリマップテーブルに基づいて、当該カメラで撮像された画像に対してひずみ補正を実施することが考えられる。リマップテーブルは、ひずみ補正前の画像に含まれるそれぞれの画素情報の位置と、当該画素情報の位置に対応する、ひずみ補正後の画像に含まれる画素情報の位置との対応関係を示す補正情報である。リマップテーブルは、例えば、カメラの特性に対応する。リマップテーブルは、対応関係により、ひずみ補正前の画像から、ひずみ補正後の画像を生成可能にすることにより、ひずみ補正を実施可能にする。

【0014】

カメラは、例えば、画像を連続的に撮像する場合がある。カメラは、具体的には、いずれかの地点の画像を連続的に撮像する監視カメラである場合が考えられる。この場合、例えば、カメラで画像が撮像される都度、当該画像に対してひずみ補正をリアルタイムに実施していくことが考えられる。

【0015】

画像のデータ量が大きくなる傾向があり、ひずみ補正を実施する際にかかる処理時間の低減化が望まれることがある。このため、ひずみ補正は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によって実施される場合がある。

【0016】

ここで、ＦＰＧＡの内蔵メモリは、記憶容量が比較的小さい傾向がある。内蔵メモリは、例えば、オンチップメモリとも呼ばれる。内蔵メモリは、例えば、３０ＭＢ（Ｍｅｇａ Ｂｙｔｅ）程度である。一方で、ＦＰＧＡ外部の主記憶装置は、記憶容量が比較的大きい傾向がある。主記憶装置は、例えば、オフチップメモリとも呼ばれる。主記憶装置は、例えば、３２ＧＢ（Ｇｉｇａ Ｂｙｔｅ）程度である。

【0017】

従って、内蔵メモリに、画像を一部ずつ読み出すラインバッファを用意することにより、内蔵メモリのひっ迫を抑制することが考えられる。また、画像のサイズが増大するほど、当該画像に対してひずみ補正を実施可能にするリマップテーブルのデータ量が増大するため、リマップテーブルは、主記憶装置に記憶される傾向がある。

【0018】

しかしながら、主記憶装置に対する帯域使用量の増大化を招くという問題がある。このため、ＦＰＧＡが、カメラで撮像された画像に対するひずみ補正を実施する際にかかる処理時間が増大してしまうことがある。例えば、リマップテーブルのデータ量が増大するほど、主記憶装置に対する帯域使用量が増大することになる。例えば、ＦＰＧＡが、リマップテーブルを一度で読み出すことができず、カメラで撮像された画像に対するひずみ補正を実施する際にかかる処理時間が増大してしまうことがある。

【0019】

これに対し、ＦＰＧＡが、リマップテーブルの一部を読み出し、リマップテーブルを推定することにより、推定したリマップテーブルに基づいて、カメラで撮像された画像に対するひずみ補正を実施する手法が考えられる。この手法でも、主記憶装置に対する帯域使用量の増大化を抑制することが難しい場合がある。

【0020】

例えば、カメラが、複数存在する場合がある。この場合、複数のカメラのそれぞれのカメラで撮像された画像に対してひずみ補正を実施することになる。例えば、ＦＰＧＡは、それぞれのカメラで撮像された画像に対してひずみ補正を実施可能にするリマップテーブルに基づいて、それぞれのカメラで撮像された画像に対してひずみ補正を実施する。

【0021】

ここで、カメラの数が増大するほど、主記憶装置から読み出すリマップテーブルの数が増大するため、主記憶装置に対する帯域使用量が増大してしまうことになる。同様に、カメラの数が増大するほど、内蔵メモリが、ひっ迫し易くなってしまうと考えられる。また、カメラの数が増大するほど、ひずみ補正を実施する画像の数が増大してしまう。

【0022】

このため、ＦＰＧＡが、カメラで撮像された画像に対するひずみ補正を実施する際にかかる処理時間が増大してしまう傾向がある。結果として、ＦＰＧＡは、カメラで画像が撮像される都度、画像に対するひずみ補正を実施しようとしても、次の画像が撮像されるまでに、現在の画像に対するひずみ補正を実施しきれなくなることがある。

【0023】

そこで、本実施の形態では、帯域使用量の低減化を図ることができる補正処理方法について説明する。

【0024】

図１において、それぞれ異なる画像１０１を撮像する複数の撮像部が存在する。図１の例では、２つの撮像部が存在するとする。撮像部は、例えば、カメラである。情報処理装置１００は、それぞれのカメラで撮像された画像１０１に対してひずみ補正を実施することが望まれる。

【0025】

情報処理装置１００は、記憶部１１０を有する。記憶部１１０は、画像１０１に対してひずみ補正を実施可能にする補正情報を特定可能に記憶する。記憶部１１０は、例えば、画像１０１に対してひずみ補正を実施可能にする補正情報そのものを記憶する。補正情報は、具体的には、リマップテーブルである。記憶部１１０は、例えば、撮像部が有し得る特性に対応付けて、当該特性を有する撮像部で撮像された画像１０１に対してひずみ補正を実施可能にする補正情報を記憶する。記憶部１１０は、例えば、主記憶装置である。

【0026】

情報処理装置１００は、制御部１２０を有する。制御部１２０は、例えば、ＦＰＧＡを用いて実現される。制御部１２０は、内蔵メモリを有する。内蔵メモリは、例えば、バッファを有する。バッファは、例えば、画像１０１が一時記憶される。バッファは、例えば、補正情報が一時記憶される。

【0027】

（１－１）情報処理装置１００は、制御部１２０により、それぞれの撮像部の特性に基づいて、複数の撮像部のうち、第１の補正情報１１１に基づいて画像１０１に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化する。情報処理装置１００は、例えば、それぞれの撮像部の特性に基づいて、記憶部１１０に記憶された第１の補正情報１１１に対応する同一の特性を有する２以上の撮像部をグループ化する。

【0028】

（１－２）情報処理装置１００は、制御部１２０により、記憶部１１０の記憶内容から特定された第１の補正情報１１１に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像１０１に対してひずみ補正を実施する。情報処理装置１００は、例えば、グループ化した２以上の撮像部が有する同一の特性に対応付けて記憶部１１０に記憶された第１の補正情報１１１を特定し、記憶部１１０から読み出す。情報処理装置１００は、例えば、読み出した第１の補正情報１１１に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像１０１に対してひずみ補正を実施する。

【0029】

情報処理装置１００は、具体的には、読み出した第１の補正情報１１１に基づいて、グループ化した２以上の撮像部の一方の撮像部で撮像された画像１０１に対してひずみ補正処理Ａを実施する。情報処理装置１００は、具体的には、読み出した第１の補正情報１１１に基づいて、グループ化した２以上の撮像部の他方の撮像部で撮像された画像１０１に対してひずみ補正処理Ｂを実施する。

【0030】

これにより、情報処理装置１００は、記憶部１１０の帯域使用量の低減化を図ることができる。また、情報処理装置１００は、制御部１２０の内蔵メモリの使用量の低減化を図ることができ、内蔵メモリのひっ迫を抑制することができる。このため、情報処理装置１００は、複数の画像１０１に対してひずみ補正を実施する際にかかる処理時間の増大化を抑制することができる。

【0031】

ここでは、記憶部１１０が、画像１０１に対してひずみ補正を実施可能にする補正情報そのものを記憶する場合について説明したが、これに限らない。例えば、記憶部１１０が、画像１０１に対してひずみ補正を実施可能にする補正情報を特定可能にするパラメータなどを記憶する場合があってもよい。

【0032】

ここでは、記憶部１１０に、第１の補正情報１１１が記憶済みである場合について説明したが、これに限らない。そして、情報処理装置１００が、第１の補正情報１１１に基づいて画像１０１に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化する場合について説明したが、これに限らない。例えば、情報処理装置１００が、同一の補正情報に基づいて画像１０１に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化した後、当該補正情報を生成する場合があってもよい。この場合、情報処理装置１００は、生成した補正情報を、第１の補正情報１１１として記憶部１１０に格納することになる。

【0033】

ここでは、情報処理装置１００が、単独で動作する場合について説明したが、これに限らない。例えば、複数のコンピュータが、協働して情報処理装置１００としての機能を実現する場合があってもよい。

【0034】

（情報処理システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、情報処理システム２００の一例について説明する。

【0035】

図２は、情報処理システム２００の一例を示す説明図である。図２において、情報処理システム２００は、情報処理装置１００と、複数の画像撮像装置２０１とを含む。

【0036】

情報処理システム２００において、情報処理装置１００と画像撮像装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

【0037】

情報処理装置１００は、画像に対してひずみ補正を実施するコンピュータである。情報処理装置１００は、ＦＰＧＡを有する。情報処理装置１００は、画像に対してひずみ補正を実施可能にする補正情報を特定可能に記憶する。情報処理装置１００は、例えば、画像撮像装置２０１が有し得る型番ごとに、当該画像撮像装置２０１で撮像された画像に対してひずみ補正を実施可能にする補正情報を対応付けて記憶する。情報処理装置１００は、それぞれの画像撮像装置２０１から、当該画像撮像装置２０１で撮像された画像を受信する。

【0038】

情報処理装置１００は、それぞれの画像撮像装置２０１の特性に基づいて、それぞれの画像撮像装置２０１をグループ分けする。特性は、例えば、画像撮像装置２０１の属性である。属性は、例えば、型番などである。特性は、例えば、画像撮像装置２０１が有するカメラのレンズの属性であってもよい。特性は、例えば、画像撮像装置２０１で撮像された画像の属性であってもよい。属性は、例えば、解像度、または、サイズなどである。情報処理装置１００は、例えば、複数の画像撮像装置２０１のうち、同一の型番を有する２以上の画像撮像装置２０１をグループ化する。

【0039】

情報処理装置１００は、グループ化した２以上の画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施するよう、ＦＰＧＡを書き換える。情報処理装置１００は、ＦＰＧＡにより、グループ化した２以上の画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する。

【0040】

情報処理装置１００は、例えば、ＦＰＧＡにより、グループ化した２以上の画像撮像装置２０１が有する同一の型番に対応する補正情報を読み出す。情報処理装置１００は、例えば、ＦＰＧＡにより、読み出した補正情報に基づいて、グループ化した２以上の画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する。

【0041】

情報処理装置１００は、ＦＰＧＡにより、ひずみ補正を実施後の画像を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0042】

画像撮像装置２０１は、画像を撮像するコンピュータである。画像撮像装置２０１は、撮像した画像を、情報処理装置１００に送信する。画像撮像装置２０１は、撮像した画像と共に、自装置の型番などを、情報処理装置１００に送信してもよい。画像撮像装置２０１は、例えば、監視カメラなどである。画像撮像装置２０１は、例えば、スマートフォンなどであってもよい。

【0043】

ここでは、情報処理装置１００が、画像撮像装置２０１とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、画像撮像装置２０１としての機能を有し、画像撮像装置２０１としても動作する場合があってもよい。

【0044】

（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。

【0045】

図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５と、ＦＰＧＡ３０６とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0046】

ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。ＲＡＭは、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）である。

【0047】

具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。

【0048】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0049】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。

【0050】

ＦＰＧＡ３０６は、動的に処理内容を変更可能な演算回路である。ＦＰＧＡ３０６は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）を有する。ＦＰＧＡ３０６は、メモリ３０２にアクセス可能である。ＦＰＧＡ３０６は、例えば、メモリ３０２が有するＤＲＡＭにアクセス可能である。

【0051】

情報処理装置１００は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

【0052】

（画像撮像装置２０１のハードウェア構成例）
次に、図４を用いて、画像撮像装置２０１のハードウェア構成例について説明する。

【0053】

図４は、画像撮像装置２０１のハードウェア構成例を示すブロック図である。図４において、画像撮像装置２０１は、ＣＰＵ４０１と、メモリ４０２と、ネットワークＩ／Ｆ４０３と、記録媒体Ｉ／Ｆ４０４と、記録媒体４０５と、カメラ４０６とを有する。また、各構成部は、バス４００によってそれぞれ接続される。

【0054】

ここで、ＣＰＵ４０１は、画像撮像装置２０１の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることにより、コーディングされている処理をＣＰＵ４０１に実行させる。

【0055】

ネットワークＩ／Ｆ４０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ４０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ４０３は、例えば、モデムやＬＡＮアダプタなどである。

【0056】

記録媒体Ｉ／Ｆ４０４は、ＣＰＵ４０１の制御に従って記録媒体４０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ４０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体４０５は、記録媒体Ｉ／Ｆ４０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体４０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体４０５は、画像撮像装置２０１から着脱可能であってもよい。カメラ４０６は、複数の撮像素子を有し、複数の撮像素子によって画像を撮像する。カメラ４０６は、例えば、監視カメラである。

【0057】

画像撮像装置２０１は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、画像撮像装置２０１は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を複数有していてもよい。また、画像撮像装置２０１は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を有していなくてもよい。

【0058】

（情報処理装置１００の機能的構成例）
次に、図５を用いて、情報処理装置１００の機能的構成例について説明する。

【0059】

図５は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部５００と、取得部５０１と、分類部５０２と、補正部５０３と、格納部５０４と、出力部５０５とを含む。

【0060】

記憶部５００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。記憶部５００は、具体的には、メモリ３０２が有するＤＲＡＭの記憶領域によって実現される。以下では、記憶部５００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部５００が、情報処理装置１００とは異なる装置に含まれ、記憶部５００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。

【0061】

取得部５０１～出力部５０５は、制御部の一例として機能する。取得部５０１～出力部５０５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。少なくとも補正部５０３は、具体的には、例えば、ＦＰＧＡ３０６により、その機能を実現してもよい。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0062】

記憶部５００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部５００は、例えば、画像に対してひずみ補正を実施可能にする補正情報を特定可能に記憶する。画像は、撮像部によって撮像される。撮像部は、例えば、画像撮像装置２０１である。撮像部は、具体的には、画像撮像装置２０１が有するカメラ４０６である。実施可能は、例えば、ひずみ補正前の画像から、ひずみ補正後の画像を生成することができることである。

【0063】

記憶部５００は、具体的には、画像に対してひずみ補正を実施可能にする補正情報そのものを記憶する。記憶部５００は、より具体的には、２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施可能にする第１の補正情報を記憶する。記憶部５００は、具体的には、画像に対してひずみ補正を実施可能にする補正情報を特定可能にするパラメータを記憶してもよい。特定可能は、例えば、パラメータから補正情報を形成する値を算出することができることである。

【0064】

第１の補正情報は、具体的には、２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を直接的に実施可能にする補正情報である。第１の補正情報は、具体的には、２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を間接的に実施可能にする補正情報であってもよい。第１の補正情報は、より具体的には、２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を直接的に実施可能にする他の補正情報を特定可能にする元の補正情報であってもよい。特定可能は、例えば、元の補正情報から、他の補正情報を生成することができることである。

【0065】

記憶部５００は、具体的には、異なる画像に対してひずみ補正を実施可能にする複数の補正情報のそれぞれの補正情報を特定可能に、それぞれの補正情報と、基準の補正情報との差分情報を記憶してもよい。基準の補正情報は、例えば、特定のパラメータから生成可能である。特定のパラメータは、例えば、補正部５０３が有していてもよい。生成可能は、例えば、パラメータから補正情報を形成する値を算出することができることである。

【0066】

取得部５０１は、各機能部の処理に用いられる各種情報を取得する。取得部５０１は、取得した各種情報を、記憶部５００に記憶し、または、各機能部に出力する。また、取得部５０１は、記憶部５００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部５０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部５０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

【0067】

取得部５０１は、撮像部で撮像された画像を取得する。取得部５０１は、例えば、撮像部で撮像された画像を、撮像部から受信することにより取得する。

【0068】

取得部５０１は、撮像部の特性を取得してもよい。特性は、例えば、撮像部の属性などである。取得部５０１は、例えば、撮像部の特性として、撮像部の属性を取得する。属性は、例えば、型番などである。取得部５０１は、例えば、撮像部の特性として、撮像部が有するレンズの属性を取得する。属性は、例えば、曲率などである。取得部５０１は、例えば、撮像部の特性として、撮像部で撮像された画像の属性を、当該画像と共に取得する。属性は、例えば、画像に関するパラメータである。属性は、例えば、解像度、または、サイズなどである。

【0069】

取得部５０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。

【0070】

取得部５０１は、例えば、画像を取得したことを、補正部５０３の処理を開始する開始トリガーとして受け付ける。取得部５０１は、例えば、特性を取得したことを、分類部５０２の処理を開始する開始トリガーとして受け付けてもよい。

【0071】

分類部５０２は、それぞれの撮像部をグループ分けする。分類部５０２は、例えば、それぞれの撮像部の特性に基づいて、複数の撮像部のうち、同一の補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化する。同一の補正情報は、記憶部５００に記憶されたいずれかの補正情報である。

【0072】

分類部５０２は、具体的には、同一の特性を有する２以上の撮像部を、第１の補正情報に基づいて画像に対してひずみ補正を直接的に実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0073】

分類部５０２は、具体的には、それぞれの撮像部から取得した、当該撮像部の属性に基づいて、２以上の撮像部をグループ化する。分類部５０２は、より具体的には、同一または類似の属性を有する２以上の撮像部を、同一の第１の補正情報に基づいて画像に対してひずみ補正を直接的に実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0074】

分類部５０２は、具体的には、それぞれの撮像部から取得した、当該撮像部で撮像された画像の属性に基づいて、２以上の撮像部をグループ化する。分類部５０２は、より具体的には、同一または類似の属性を有する異なる画像を撮像する２以上の撮像部を、同一の第１の補正情報に基づいて画像に対してひずみ補正を直接的に実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0075】

分類部５０２は、例えば、複数の撮像部のうち、同一の補正情報に基づいて画像に対してひずみ補正を間接的に実施可能であるとそれぞれ判断された２以上の撮像部をグループ化してもよい。分類部５０２は、具体的には、複数の撮像部のうち、同一の補正情報に類似の補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化する。類似の補正情報は、例えば、同一の補正情報から生成可能な２以上の補正情報に含まれる補正情報である。

【0076】

分類部５０２は、より具体的には、同一または類似の属性を有する２以上の撮像部を、同一の補正情報に類似の補正情報に基づいて画像に対してひずみ補正を実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0077】

分類部５０２は、より具体的には、同一または類似の属性を有する異なる画像を撮像する２以上の撮像部を、同一の補正情報に類似の補正情報に基づいて画像に対してひずみ補正を実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0078】

分類部５０２は、例えば、複数の撮像部のうち、複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化してもよい。複数の補正情報は、基準の補正情報と、記憶部５００に記憶されたいずれかの差分情報とに基づいて生成可能な補正情報を含む。

【0079】

分類部５０２は、より具体的には、同一または類似の属性を有する２以上の撮像部を、複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0080】

分類部５０２は、より具体的には、同一または類似の属性を有する異なる画像を撮像する２以上の撮像部を、複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を実施可能であると判断してグループ化する。これにより、分類部５０２は、記憶部５００からの補正情報の読み出し処理を共通化可能な、２以上の撮像部のグループを特定することができる。

【0081】

補正部５０３は、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施する。補正部５０３は、例えば、記憶部５００の記憶内容を参照して、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を直接的に実施可能にする第１の補正情報を取得する。

【0082】

補正部５０３は、具体的には、記憶部５００の記憶内容のうち、グループ化した２以上の撮像部のいずれかの撮像部に対応する補正情報を、第１の補正情報として特定して取得する。補正部５０３は、より具体的には、グループ化した２以上の撮像部の少なくともいずれかの撮像部の属性に基づいて、記憶部５００の記憶内容を参照して、第１の補正情報を特定して取得する。補正部５０３は、より具体的には、グループ化した２以上の撮像部の少なくともいずれかの撮像部で撮像された画像の属性情報に基づいて、記憶部５００の記憶内容を参照して、第１の補正情報を特定して取得する。

【0083】

補正部５０３は、例えば、取得した第１の補正情報に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施する。これにより、補正部５０３は、２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施する際にかかる記憶部５００の帯域使用量の低減化を図ることができる。帯域使用量は、例えば、記憶部５００となるメモリ３０２が有するＤＲＡＭと、補正部５０３となるＦＰＧＡ３０６との帯域使用量である。

【0084】

補正部５０３は、例えば、記憶部５００の帯域使用量が閾値を超えるか否かを判定してもよい。補正部５０３は、例えば、記憶部５００の帯域使用量が閾値を超える場合、記憶部５００の記憶内容を参照して、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を直接的に実施可能にする第１の補正情報の一部を取得する。補正部５０３は、例えば、取得した第１の補正情報の一部に基づいて、第１の補正情報を推定した第２の補正情報を生成する。補正部５０３は、例えば、生成した第２の補正情報に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施する。これにより、補正部５０３は、２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施する際にかかる記憶部５００の帯域使用量の低減化を図ることができる。

【0085】

補正部５０３は、例えば、記憶部５００の記憶内容を参照して、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施可能にする第３の補正情報を生成可能にする第１の補正情報を取得してもよい。補正部５０３は、例えば、グループ化した２以上の撮像部のそれぞれの撮像部について、当該撮像部で撮像された画像に対してひずみ補正を実施可能にする、取得した第１の補正情報に類似の第３の補正情報を生成する。補正部５０３は、例えば、グループ化した２以上の撮像部のそれぞれの撮像部について、生成した第３の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施する。これにより、補正部５０３は、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を精度よく実施可能にすることができる。

【0086】

補正部５０３は、例えば、特定のパラメータから、基準の補正情報を生成してもよい。補正部５０３は、例えば、記憶部５００の記憶内容を参照して、グループ化した２以上の撮像部のそれぞれの撮像部について、当該撮像部に対応する差分情報を取得する。補正部５０３は、例えば、グループ化した２以上の撮像部のそれぞれの撮像部について、生成した基準の補正情報と、取得した差分情報とに基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施可能にする第４の補正情報を生成する。補正部５０３は、例えば、グループ化した２以上の撮像部のそれぞれの撮像部について、生成した第４の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施する。これにより、補正部５０３は、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を精度よく実施可能にすることができる。

【0087】

格納部５０４は、グループ化した２以上の撮像部の特性に基づいて、第１の補正情報を生成し、記憶部５００に格納する。これにより、格納部５０４は、補正部５０３でグループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施可能にすることができる。

【0088】

出力部５０５は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部５０５は、少なくともいずれかの機能部の処理結果を利用者に通知可能にし、情報処理装置１００の利便性の向上を図ることができる。

【0089】

出力部５０５は、例えば、補正部５０３で補正した補正後の画像を出力する。出力部５０５は、具体的には、補正後の画像を、利用者が参照可能に出力する。出力部５０５は、具体的には、補正後の画像を、画像を解析する解析部（不図示）などに出力してもよい。これにより、出力部５０５は、有用な画像を出力することができる。出力部５０５は、例えば、利用者が、有用な画像を利用可能にすることができる。出力部５０５は、例えば、画像に基づく解析精度の向上を図ることができる。

【0090】

（情報処理装置１００の動作例１）
次に、図６～図１２を用いて、情報処理装置１００の動作例１について説明する。まず、例えば、図６を用いて、ひずみ補正を実施するリマップ処理の内容について説明する。

【0091】

図６は、リマップ処理の内容を示す説明図である。図６に示すように、リマップ処理は、ひずみ補正前の画像６０１のいずれの画素が、ひずみ補正後の画像６０２のいずれの画素に対応するかの対応関係を特定し、画像６０１に対してひずみ補正を実施することにより画像６０２を生成する処理である。

【0092】

例えば、画像６０１の座標（ｕ，ｖ）の画素Ｑ₅と、画像６０２の座標（ｕ’，ｖ’）の画素Ｐ₅との対応関係が特定されることが考えられる。対応関係は、例えば、リマップテーブルによって規定される。ひずみ補正については、例えば、下記参考文献１、下記参考文献２、および、下記参考文献３などを参照することができる。

【0093】

参考文献１ ： Ｚｈａｎｇ， Ｚｈｅｎｇｙｏｕ． “Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ．” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ ２２．１１ （２０００）： １３３０－１３３４．

【0094】

参考文献２ ： 門田仁， ａｎｄ 藤田悟． “３Ｄ キャプチャリングの歪み補正方式．” 第 ７６ 回全国大会講演論文集 ２０１４．１ （２０１４）： ２１５－２１６．

【0095】

参考文献３ ： “カメラキャリブレーションと３次元再構成”、［ｏｎｌｉｎｅ］、２０１０年、［令和４年２月２５日検索］、インターネット ＜ ＵＲＬ ： ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｊｐ／ｏｐｅｎｃｖ－２．１／ｃｐｐ／ｃａｍｅｒａ＿ｃａｌｉｂｒａｔｉｏｎ＿ａｎｄ＿３ｄ＿ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ．ｈｔｍｌ＞

【0096】

例えば、座標（ｕ，ｖ）と、座標（ｕ’，ｖ’）との対応関係は、下記式（１）～下記式（６）によって特定され、リマップテーブルとして管理される。

【0097】

ｘ＝（ｕ’－ｃ_x）／ｆ_x ・・・（１）

【0098】

ｙ＝（ｕ’－ｃ_y）／ｆ_y ・・・（２）

【0099】

ｘ’＝ｘ（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ₁ｘｙ＋ｐ₂（ｒ²＋２ｘ²） ・・・（３）

【0100】

ｙ’＝ｙ（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋ｐ₁（ｒ²＋２ｘ²）＋２ｐ₂ｘｙ ・・・（４）

【0101】

ｕ＝（ｆ_xｘ’）＋ｃ_x ・・・（５）

【0102】

ｖ＝（ｆ_yｙ’）＋ｃ_y ・・・（６）

【0103】

ｆ_x，ｆ_yは、ピクセル単位の焦点距離である。ｃ_x，ｃ_yは、主点である。主点は、例えば、画像の中心点である。ｋ₁，ｋ₂は、半径方向のひずみ係数である。ｐ₁，ｐ₂は、円周方向のひずみ係数である。ｆ_x，ｆ_y，ｃ_x，ｃ_y，ｋ₁，ｋ₂，ｐ₁，ｐ₂は、補正パラメータと呼ばれる。次に、図７を用いて、補正パラメータの具体例について説明する。

【0104】

図７は、補正パラメータの具体例を示す説明図である。図７の表７００は、Ｋｉｎｅｃｔ（登録商標）の３つの画像撮像装置２０１のそれぞれの画像撮像装置２０１の補正パラメータの具体例を示す。それぞれの画像撮像装置２０１は、便宜上、Ｋｉｎｅｃｔ１、Ｋｉｎｅｃｔ２、および、Ｋｉｎｅｃｔ３と表記する場合がある。次に、図８を用いて、ひずみ補正を実施する状況の一例について説明する。

【0105】

図８は、ひずみ補正を実施する状況の一例を示す説明図である。図８において、例えば、２つの画像撮像装置２０１のそれぞれの画像装置で撮像された画像８０１に対してひずみ補正を実施し、ひずみ補正後の画像８０２を生成することが望まれる状況が考えられる。

【0106】

従来では、この状況に対して、図８に示すように、画像撮像装置２０１ごとに、当該画像撮像装置２０１で撮像された画像８０１を一部ずつ格納するラインバッファ８１０と、リマップテーブル８２０とが用意される。ラインバッファ８１０は、例えば、従来のＦＰＧＡ８００内に用意される。リマップテーブルは、画像撮像装置２０１に対応し、当該画像撮像装置２０１で撮像された画像８０１に対してひずみ補正を実施可能にする。リマップテーブル８２０は、例えば、従来のＦＰＧＡ８００外に用意される。リマップテーブル８２０は、具体的には、主記憶装置に記憶される。

【0107】

従来のＦＰＧＡ８００は、画像撮像装置２０１ごとに、当該画像撮像装置２０１に対応するリマップテーブル８２０を読み出して、ラインバッファ８１０に読み出した、当該画像撮像装置２０１で撮像された画像８０１の一部ずつに対してひずみ補正を実施する。従来では、画像撮像装置２０１ごとに、当該画像撮像装置２０１に対応するリマップテーブル８２０を読み出すため、リマップテーブル８２０を記憶する主記憶装置に対する帯域使用量の増大化を招く。

【0108】

この状況に対して、情報処理装置１００を適用することが考えられる。次に、図９および図１０を用いて、この状況に対して、情報処理装置１００を適用した場合における動作例１について説明する。まず、例えば、図９を用いて、動作例１において、メモリ３０２のＤＲＡＭに用意する管理テーブル９００とリマップテーブル９１０との一例について説明する。

【0109】

図９は、管理テーブル９００とリマップテーブル９１０との一例を示す説明図である。管理テーブル９００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。リマップテーブル９１０は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0110】

図９に示すように、管理テーブル９００は、特性と、リマップテーブルとのフィールドを有する。管理テーブル９００は、特性ごとに各フィールドに情報を設定することにより、管理情報がレコード９００－ａとして記憶される。ａは、任意の整数である。

【0111】

特性のフィールドには、画像撮像装置２０１の特性が設定される。特性は、例えば、画像撮像装置２０１の属性である。属性は、例えば、型番などである。特性は、例えば、画像撮像装置２０１が有するカメラのレンズの属性であってもよい。特性は、例えば、画像撮像装置２０１で撮像された画像の属性であってもよい。リマップテーブルのフィールドには、上記画像撮像装置２０１に対応するリマップテーブルの識別情報が設定される。

【0112】

図９に示すように、リマップテーブル９１０は、前座標と、後座標とのフィールドを有する。リマップテーブル９１０は、座標ペアごとに各フィールドに情報を設定することにより、リマップ情報がレコード９１０－ｂとして記憶される。ｂは、任意の整数である。

【0113】

前座標のフィールドには、ひずみ補正前の画像に含まれる画素の座標を示す前座標が設定される。後座標のフィールドには、上記前座標に対応する、ひずみ補正後の画像に含まれる画素の座標を表す後座標が設定される。上記前座標と、上記後座標との座標ペアにより、画像に対してひずみ補正を実施可能にすることができる。次に、図１０を用いて、情報処理装置１００の動作例１について説明する。

【0114】

図１０は、情報処理装置１００の動作例１を示す説明図である。図１０において、情報処理装置１００は、情報処理システム２００の実運用開始前に、複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１から、当該画像撮像装置２０１で撮像された画像と、当該画像に関する付随データとを受信する。複数の画像撮像装置２０１は、例えば、情報処理システム２００に含まれ、または、情報処理システム２００に含める予定である。付随データは、例えば、画像撮像装置２０１の属性と、ひずみ補正に関する補正パラメータとを含む。属性は、例えば、型番などである。

【0115】

情報処理装置１００は、受信した付随データに基づいて、複数の画像撮像装置２０１のうち、同一のリマップテーブル８２０に基づいて画像に対するひずみ補正が直接的に実施可能であるとそれぞれ判断される２以上の画像撮像装置２０１をグループ化する。情報処理装置１００は、例えば、同一の型番を有する２以上の画像撮像装置２０１をグループ化する。これにより、情報処理装置１００は、画像に対してひずみ補正を実施するにあたってリマップテーブル８２０の読み出し処理を共通化可能な２以上の画像撮像装置２０１をグループ化することができる。

【0116】

図１０の例では、情報処理装置１００は、同一の型番を有する２つの画像撮像装置２０１をグループ化したとする。情報処理装置１００は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータに基づいて、リマップテーブル８２０を生成する。情報処理装置１００は、例えば、それぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータの平均値に基づいて、リマップテーブル８２０を生成してもよい。リマップテーブル８２０は、例えば、図９に示したリマップテーブル９１０に対応する。情報処理装置１００は、生成したリマップテーブル８２０を、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けて、図９に示した管理テーブル９００（不図示）を生成しておいてもよい。

【0117】

情報処理装置１００は、生成したリマップテーブル８２０を、ＦＰＧＡ３０６がアクセス可能に、メモリ３０２のＤＲＡＭに記憶する。情報処理装置１００は、情報処理システム２００の実運用開始後に、ＦＰＧＡ３０６によって、リマップテーブル８２０を参照して、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する。

【0118】

ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１について、当該画像撮像装置２０１で撮像された画像を一部ずつ格納するラインバッファ１００１を有する。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１に共通で、リマップテーブル８２０を格納するバッファ１００２を有する。

【0119】

ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けられたリマップテーブル８２０を、バッファ１００２に読み込む。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像を受け付けると、バッファ１００２に一時保存されたリマップテーブル８２０を読み出し、受け付けた画像に対してリマップ処理を実施する。

【0120】

ＦＰＧＡ３０６は、例えば、グループ化した２つの画像撮像装置２０１のうち一方の画像撮像装置２０１で撮像された画像に対してリマップ処理Ａを実施する。ＦＰＧＡ３０６は、例えば、グループ化した２つの画像撮像装置２０１のうち他方の画像撮像装置２０１で撮像された画像に対してリマップ処理Ｂを実施する。

【0121】

これにより、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施するにあたって、リマップテーブル８２０の読み出し処理を共通化することができる。このため、情報処理装置１００は、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制することができる。また、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。次に、図１１を用いて、情報処理装置１００による効果の一例について説明する。

【0122】

図１１は、情報処理装置１００による効果の一例を示す説明図である。図１１において、従来のＦＰＧＡ８００は、帯域使用量の観点で、外部にあるリマップテーブル８２０を一度に１つずつ読み出すことにする。このため、図１１のグラフ１１０１に示すように、従来のＦＰＧＡ８００は、あるリマップテーブル８２０を読み出しながらリマップ処理Ａを実施した後、別のリマップテーブル８２０を読み出しながらリマップ処理Ｂを実施することになる。従って、複数の画像に対してひずみ補正を実施する際にかかる処理時間が増大し易いという問題がある。

【0123】

同様に、情報処理装置１００のＦＰＧＡ３０６は、帯域使用量の観点で、リマップテーブル８２０を一度に１つずつ読み出すことにする。ＦＰＧＡ３０６は、リマップテーブル８２０を読み出して、バッファ１００２に一時保存しながら、リマップ処理Ａとリマップ処理Ｂとを並列に実施することができる。ＦＰＧＡ３０６は、リマップテーブル８２０を一部ずつ読み出してバッファ１００２に一時保存しながら、リマップ処理Ａとリマップ処理Ｂとを並列に実施する際には、リマップ処理Ａとリマップ処理Ｂとを同期することになる。

【0124】

これにより、ＦＰＧＡ３０６は、従来のＦＰＧＡ８００に比べて、複数の画像に対してひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。また、ＦＰＧＡ３０６は、複数の画像に対してひずみ補正を実施する場合について、リマップテーブル８２０の読み出し処理にかかる帯域使用量の増大化を抑制することができる。

【0125】

例えば、５ｃｈ分の画像撮像装置２０１が存在し、それぞれの画像撮像装置２０１が、３０ｆｐｓで１２８０×７２０の画像を撮像するという場合が考えられる。リマップテーブル８２０は、５．５３ＭＢであるとする。この場合、従来のＦＰＧＡ８００は、５．５３ＭＢ×３０ｆｐｓ×５ｃｈ＝８２９．４ＭＢ／ｓの帯域を使用することとなる。

【0126】

一方で、情報処理装置１００は、例えば、５ｃｈ分の画像撮像装置２０１を、２ｇｒｏｕｐにグループ分けしたとする。このため、ＦＰＧＡ３０６は、５．５３ＭＢ×３０ｆｐｓ×２ｇｒｏｕｐ＝３３１．８ＭＢ／ｓの帯域を使用することとなる。このように、情報処理装置１００は、従来に比べて、リマップテーブル８２０の読み出し処理にかかる帯域使用量の低減化を図ることができる。

【0127】

ここでは、ＦＰＧＡ３０６が、リマップテーブル８２０の全体をそのまま読み出す場合について説明したが、これに限らない。例えば、ＦＰＧＡ３０６が、リマップテーブル８２０の一部を読み出し、リマップテーブル８２０の全体を推定して利用する場合があってもよい。この場合、ＦＰＧＡ３０６は、リマップテーブル８２０の読み出し処理にかかる帯域使用量の更なる低減化を図ることができる。この場合の具体例については、例えば、図１３～図１５を用いて後述する動作例２を参照することができる。

【0128】

ここでは、情報処理装置１００が、同一のリマップテーブル８２０に基づいて画像に対してひずみ補正を実施可能とそれぞれ判断された２以上の画像撮像装置２０１をグループ化する場合について説明したが、これに限らない。例えば、情報処理装置１００が、異なるリマップテーブル８２０に基づいて画像に対してひずみ補正を実施可能とそれぞれ判断された２以上の画像撮像装置２０１をグループ化する場合があってもよい。

【0129】

具体的には、情報処理装置１００が、あるリマップテーブル８２０から生成可能な２以上のリマップテーブル８２０それぞれに基づいて画像に対するひずみ補正を実施可能と判断された画像撮像装置２０１を、同一のグループに含める場合があってもよい。この場合の具体例については、例えば、図１７および図１８を用いて後述する動作例３、または、図２０および図２１を用いて後述する動作例４などを参照することができる。

【0130】

（動作例１における全体処理手順）
次に、図１２を用いて、動作例１において情報処理装置１００が実行する全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３と、ＦＰＧＡ３０６とによって実現される。

【0131】

図１２は、動作例１における全体処理手順の一例を示すフローチャートである。図１２において、情報処理装置１００は、予め、設置される画像撮像装置２０１のキャリブレーションを実施し、画像撮像装置２０１の型番に対応付けられたリマップテーブル８２０を生成する（ステップＳ１２０１）。情報処理装置１００は、例えば、情報処理システム２００の稼働前に、画像撮像装置２０１の型番に対応付けられたリマップテーブル８２０を生成する。

【0132】

次に、情報処理装置１００は、設置された複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１の型番に基づいて、同一の型番の２以上の画像撮像装置２０１をグループ化する（ステップＳ１２０２）。情報処理装置１００は、例えば、情報処理システム２００の稼働後に、同一の型番の２以上の画像撮像装置２０１をグループ化する。

【0133】

そして、情報処理装置１００は、グループ化した２以上の画像撮像装置２０１で撮像された画像に対して、当該２以上の画像撮像装置２０１で同一の型番に対応するリマップテーブル８２０に基づいて、リマップ処理を実施する（ステップＳ１２０３）。

【0134】

次に、情報処理装置１００は、情報処理システム２００に、画像撮像装置２０１が追加または削除されたか否かを判定する（ステップＳ１２０４）。ここで、画像撮像装置２０１が追加または削除された場合（ステップＳ１２０４：Ｙｅｓ）、情報処理装置１００は、ステップＳ１２０２の処理に戻る。一方で、画像撮像装置２０１が追加されず、かつ、画像撮像装置２０１が削除されない場合（ステップＳ１２０４：Ｎｏ）、情報処理装置１００は、ステップＳ１２０３の処理に戻る。

【0135】

（情報処理装置１００の動作例２）
次に、図１３～図１５を用いて、情報処理装置１００の動作例２について説明する。まず、図１３を用いて、ひずみ補正を含む画像処理の一例について説明する。

【0136】

図１３は、画像処理の一例を示す説明図である。図１３に示すように、ＦＰＧＡ３０６は、例えば、ローパスフィルタと、ひずみ補正とを実施することがある。ＦＰＧＡ３０６は、例えば、動的に処理内容が変更され、背景除去をさらに実施するようになることがある。従って、ＦＰＧＡ３０６による、メモリ３０２のＤＲＡＭに対する帯域使用量は、動的に変化することが考えられる。このため、情報処理装置１００が、動的に変化する帯域使用量に対処することが望まれる。動作例２は、情報処理装置１００が、動的に変化する帯域使用量に対処可能にする動作例である。次に、図１４を用いて、情報処理装置１００の動作例２について説明する。

【0137】

図１４は、情報処理装置１００の動作例２を示す説明図である。図１４において、情報処理装置１００は、情報処理システム２００の実運用開始前に、複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１から、当該画像撮像装置２０１で撮像された画像と、当該画像に関する付随データとを受信する。複数の画像撮像装置２０１は、例えば、情報処理システム２００に含まれ、または、情報処理システム２００に含める予定である。付随データは、例えば、画像撮像装置２０１の属性と、ひずみ補正に関する補正パラメータとを含む。属性は、例えば、型番などである。

【0138】

情報処理装置１００は、受信した付随データに基づいて、複数の画像撮像装置２０１のうち、同一のリマップテーブル１４０２に基づいて画像に対するひずみ補正が直接的に実施可能であるとそれぞれ判断される２以上の画像撮像装置２０１をグループ化する。情報処理装置１００は、例えば、同一の型番を有する２以上の画像撮像装置２０１をグループ化する。これにより、情報処理装置１００は、画像に対してひずみ補正を実施するにあたってリマップテーブル１４０２の読み出し処理を共通化可能な２以上の画像撮像装置２０１をグループ化することができる。

【0139】

図１４の例では、情報処理装置１００は、同一の型番を有する２つの画像撮像装置２０１をグループ化したとする。情報処理装置１００は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータに基づいて、リマップテーブル１４０２を生成する。情報処理装置１００は、例えば、それぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータの平均値に基づいて、リマップテーブル１４０２を生成してもよい。情報処理装置１００は、生成したリマップテーブル１４０２を、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けて、図９に示した管理テーブル９００（不図示）を生成しておいてもよい。

【0140】

情報処理装置１００は、生成したリマップテーブル１４０２を、ＦＰＧＡ３０６がアクセス可能に、メモリ３０２のＤＲＡＭに記憶する。情報処理装置１００は、情報処理システム２００の実運用開始後に、ＦＰＧＡ３０６によって、リマップテーブル１４０２を参照して、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する。

【0141】

ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１について、当該画像撮像装置２０１で撮像された画像を一部ずつ格納するラインバッファ１４０１を有する。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１に共通で、リマップテーブル１４０２を格納するバッファ１４０３を有する。

【0142】

ここで、ＦＰＧＡ３０６は、メモリ３０２のＤＲＡＭに対する帯域使用量が閾値を超えたか否かを判定し、帯域使用量が閾値以下であれば、リマップテーブル１４０２をそのまま読み出して利用する。一方で、ＦＰＧＡ３０６は、帯域使用量が閾値以下であれば、リマップテーブル１４０２の一部を読み出して、リマップテーブル１４０２の一部に対して補間処理を実施し、元のリマップテーブル１４０２を推定して利用する。

【0143】

ＦＰＧＡ３０６は、例えば、帯域使用量が閾値以下であれば、動作例１と同様に、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けられたリマップテーブル１４０２を、バッファ１４０３に読み込む。ＦＰＧＡ３０６は、動作例１と同様に、それぞれの画像撮像装置２０１で撮像された画像を受け付けると、バッファ１４０３に一時保存されたリマップテーブル１４０２を読み出し、当該画像に対してリマップ処理を実施する。

【0144】

一方で、ＦＰＧＡ３０６は、例えば、帯域使用量が閾値を超えていれば、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けられたリマップテーブル１４０２の一部を読み出す。一部は、例えば、リマップテーブル１４０２の１／ｎである。ｎは、２以上の整数である。一部は、例えば、リマップテーブル１４０２が示す連続する一連の座標に関する情報のうち、所定の幅ごとの座標に関する情報を抜き出して得られる。

【0145】

ＦＰＧＡ３０６は、例えば、読み出した一部に対して補間処理を実施することにより、リマップテーブル１４０２を推定する。ＦＰＧＡ３０６が、リマップテーブル１４０２を推定する一例については、図１５を用いて後述する。

【0146】

ＦＰＧＡ３０６は、例えば、推定したリマップテーブル１４０２を、バッファ１４０３に格納する。ＦＰＧＡ３０６は、例えば、それぞれの画像撮像装置２０１で撮像された画像を受け付けると、バッファ１４０３に一時保存されたリマップテーブル１４０２を読み出し、当該画像に対してリマップ処理を実施する。

【0147】

ＦＰＧＡ３０６は、具体的には、グループ化した２つの画像撮像装置２０１のうち一方の画像撮像装置２０１で撮像された画像に対してリマップ処理Ａを実施する。ＦＰＧＡ３０６は、具体的には、グループ化した２つの画像撮像装置２０１のうち他方の画像撮像装置２０１で撮像された画像に対してリマップ処理Ｂを実施する。

【0148】

これにより、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施するにあたって、リマップテーブル１４０２の読み出し処理を共通化することができる。このため、情報処理装置１００は、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制することができる。また、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。

【0149】

情報処理装置１００は、動的に変化する帯域使用量に対処することができる。情報処理装置１００は、例えば、帯域使用量が閾値を超えたことに応じて、帯域使用量の低減化を図ることができる。このため、情報処理装置１００は、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制することができる。また、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。

【0150】

例えば、５ｃｈ分の画像撮像装置２０１が存在し、それぞれの画像撮像装置２０１が、３０ｆｐｓで１２８０×７２０の画像を撮像するという場合が考えられる。動作例２では、情報処理装置１００は、補間処理により、１６５．９ＭＢ／ｓの帯域を使用すれば済むようにすることができる。次に、図１５を用いて、ＦＰＧＡ３０６が、リマップテーブル１４０２を推定する一例について説明する。

【0151】

図１５は、リマップテーブル１４０２を推定する一例を示す説明図である。図１５に示すように、リマップテーブル１４０２は、ひずみ補正実施前の画像における画素の座標を表す前座標と、当該画素に対応するひずみ補正実施後の画像における画素の座標を表す後座標との対応関係を示す。図１５の例では、（ｉ，ｊ）は、後座標を示す。ｉ，ｊは、自然数である。（ｉ，ｊ）が記述された矩形の位置は、前座標を示す。

【0152】

ＦＰＧＡ３０６は、例えば、帯域使用量が閾値を超えていれば、リマップテーブル１４０２の全体に代わり、間引きテーブル１５００を読み出す。間引きテーブル１５００は、ひずみ補正実施前の画像のうち、列方向の奇数個目に存在する画素それぞれについて、前座標と後座標との対応関係を示す。ＦＰＧＡ３０６は、例えば、間引きテーブル１５００に対して補間処理を実施し、リマップテーブル１４０２を推定する。

【0153】

ＦＰＧＡ３０６は、具体的には、線形補間により、間引きテーブル１５００に基づいて、リマップテーブル１４０２を推定する。ＦＰＧＡ３０６は、より具体的には、ひずみ補正実施前の画像のうち、列方向の奇数個目に存在する画素それぞれについての前座標と後座標との対応関係に基づいて、偶数個目に存在する画素それぞれについての前座標と後座標との対応関係を推定する。これにより、ＦＰＧＡ３０６は、リマップテーブル１４０２を精度よく推定することができる。

【0154】

（動作例２における全体処理手順）
次に、図１６を用いて、動作例２において情報処理装置１００が実行する全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３と、ＦＰＧＡ３０６とによって実現される。

【0155】

図１６は、動作例２における全体処理手順の一例を示すフローチャートである。図１６において、情報処理装置１００は、予め、設置される画像撮像装置２０１のキャリブレーションを実施し、補正パラメータを特定する（ステップＳ１６０１）。

【0156】

次に、情報処理装置１００は、特定した補正パラメータに基づいて、設置される画像撮像装置２０１の型番に対応付けられたリマップテーブル１４０２を生成する（ステップＳ１６０２）。情報処理装置１００は、例えば、情報処理システム２００の稼働前に、画像撮像装置２０１の型番に対応付けられたリマップテーブル１４０２を生成する。

【0157】

次に、情報処理装置１００は、設置された複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１の型番に基づいて、同一の型番の２以上の画像撮像装置２０１をグループ化する（ステップＳ１６０３）。情報処理装置１００は、例えば、情報処理システム２００の稼働後に、同一の型番の２以上の画像撮像装置２０１をグループ化する。

【0158】

そして、情報処理装置１００は、グループ化した２以上の画像撮像装置２０１で撮像された画像に対して、当該２以上の画像撮像装置２０１で同一の型番に対応するリマップテーブル１４０２に基づいて、リマップ処理を実施する（ステップＳ１６０４）。リマップ処理は、動作開始前の補間処理を含む。リマップ処理は、補間処理が動作開始前であれば、リマップテーブル１４０２の全体を読み出して、ひずみ補正を実施する。

【0159】

次に、情報処理装置１００は、画像撮像装置２０１が追加または削除されたか否かを判定する（ステップＳ１６０５）。ここで、画像撮像装置２０１が追加または削除された場合（ステップＳ１６０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ１６０３の処理に戻る。一方で、画像撮像装置２０１が追加されず、かつ、画像撮像装置２０１が削除されない場合（ステップＳ１６０５：Ｎｏ）、情報処理装置１００は、ステップＳ１６０６の処理に移行する。

【0160】

ステップＳ１６０６では、情報処理装置１００は、帯域使用量の削減条件を満たすか否かを判定する（ステップＳ１６０６）。削減条件は、帯域使用量が閾値を超えることである。ここで、削減条件を満たさない場合（ステップＳ１６０６：Ｎｏ）、情報処理装置１００は、ステップＳ１６０４の処理に戻る。一方で、削減条件を満たす場合（ステップＳ１６０６：Ｙｅｓ）、情報処理装置１００は、ステップＳ１６０７の処理に移行する。

【0161】

ステップＳ１６０７では、情報処理装置１００は、リマップ処理に含まれる補間処理を動作開始する（ステップＳ１６０７）。リマップ処理は、補間処理が動作開始後であれば、リマップテーブル１４０２の一部を読み出して、リマップテーブル１４０２の全体を推定し、ひずみ補正を実施する。情報処理装置１００は、ステップＳ１６０４の処理に戻る。

【0162】

（情報処理装置１００の動作例３）
次に、図１７および図１８を用いて、情報処理装置１００の動作例３について説明する。

【0163】

ここで、同一の型番の複数の画像撮像装置２０１それぞれで撮像された画像のひずみ具合が同一であるとは限らない。例えば、画像撮像装置２０１の製造ばらつきなどにより、画像のひずみ具合が変化する状況が考えられる。このため、同一の型番の複数の画像撮像装置２０１それぞれに共通ではなく、固有の補正パラメータが存在する。

【0164】

動作例３は、ＦＰＧＡ３０６が、上述した状況などを考慮して、グループ化した２以上の画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する場合に対応する動作例である。まず、図１７を用いて、それぞれ異なる画像撮像装置２０１に対応する補正パラメータの関係性について説明する。

【0165】

図１７は、補正パラメータの関係性を示す説明図である。図１７のグラフ１７０１は、Ｋｉｎｅｃｔ１、Ｋｉｎｅｃｔ２、および、Ｋｉｎｅｃｔ３について、補正パラメータのうちのｋ₁とｋ₂との関係性を示す。グラフ１７０１に示すように、ｋ₁とｋ₂とについて、画像撮像装置２０１の個体差は比較的小さいという性質があると考えられる。

【0166】

図１７のグラフ１７０２は、Ｋｉｎｅｃｔ１、Ｋｉｎｅｃｔ２、および、Ｋｉｎｅｃｔ３について、補正パラメータのうちのｐ₁とｐ₂との関係性を示す。グラフ１７０２に示すように、ｐ₁とｐ₂とについて、画像撮像装置２０１の個体差は比較的大きいという性質があると考えられる。次に、図１８を用いて、情報処理装置１００の動作例３について説明する。

【0167】

図１８は、情報処理装置１００の動作例３を示す説明図である。上述した性質を考慮すると、メモリ３０２のＤＲＡＭに、ｋ₁とｋ₂とに基づくリマップテーブル１８０２を記憶した上で、ＦＰＧＡ３０６が、リマップテーブル１８０２を読み出して、ｐ₁とｐ₂とに基づいて補正することが考えられる。

【0168】

例えば、情報処理装置１００は、情報処理システム２００の実運用開始前に、複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１から、当該画像撮像装置２０１で撮像された画像と、当該画像に関する付随データとを受信する。複数の画像撮像装置２０１は、例えば、情報処理システム２００に含まれ、または、情報処理システム２００に含める予定である。付随データは、例えば、画像撮像装置２０１の属性と、ひずみ補正に関する補正パラメータとを含む。

【0169】

情報処理装置１００は、受信した付随データに基づいて、複数の画像撮像装置２０１のうち、同一のリマップテーブル１８０２に基づいて画像に対するひずみ補正が間接的に実施可能であるとそれぞれ判断される２以上の画像撮像装置２０１をグループ化する。情報処理装置１００は、例えば、同一のリマップテーブル１８０２を補正して生成可能なリマップテーブル１８０２’（不図示）のいずれかに基づいてひずみ補正が直接的に実施可能であるとそれぞれ判断される２以上の画像撮像装置２０１をグループ化する。

【0170】

情報処理装置１００は、具体的には、同一の型番を有する２以上の画像撮像装置２０１をグループ化する。これにより、情報処理装置１００は、画像に対してひずみ補正を実施するにあたってリマップテーブル１８０２の読み出し処理を共通化可能な２以上の画像撮像装置２０１をグループ化することができる。

【0171】

図１８の例では、情報処理装置１００は、同一の型番を有する２つの画像撮像装置２０１をグループ化したとする。情報処理装置１００は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータに基づいて、リマップテーブル１８０２を生成する。

【0172】

情報処理装置１００は、例えば、上記式（３）および上記式（４）を、下記式（７）および下記式（８）に置き換えて、座標（ｕ，ｖ）と、座標（ｕ’，ｖ’）との対応関係を特定し、リマップテーブル１８０２を生成する。

【0173】

下記式（７）は、上記式（３）の一部である。下記式（７）は、上記式（３）のうちｋ₁とｋ₂とに関する一部である。下記式（８）は、上記式（４）の一部である。下記式（８）は、上記式（４）のうちｋ₁とｋ₂とに関する一部である。ｋ₁とｋ₂とは、平均値であってもよい。

【0174】

ｘ’＝ｘ（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴） ・・・（７）

【0175】

ｙ’＝ｙ（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴） ・・・（８）

【0176】

情報処理装置１００は、生成したリマップテーブル１８０２を、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けて、図９に示した管理テーブル９００（不図示）を生成しておいてもよい。

【0177】

情報処理装置１００は、生成したリマップテーブル１８０２を、ＦＰＧＡ３０６がアクセス可能に、メモリ３０２のＤＲＡＭに記憶する。情報処理装置１００は、情報処理システム２００の実運用開始後に、ＦＰＧＡ３０６によって、リマップテーブル１８０２を参照して、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する。

【0178】

ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１について、当該画像撮像装置２０１で撮像された画像を一部ずつ格納するラインバッファ１８０１を有する。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１に共通で、リマップテーブル１８０２を格納するバッファ１８０３を有する。

【0179】

ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１が有する同一の型番に対応付けられたリマップテーブル１８０２を、バッファ１８０３に読み込む。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像と、補正パラメータとを受け付けると、バッファ１８０３に一時保存されたリマップテーブル１８０２を読み出す。

【0180】

ＦＰＧＡ３０６は、それぞれの画像撮像装置２０１で撮像された画像について、受け付けた補正パラメータに基づいて、読み出したリマップテーブル１８０２を補正し、当該画像に対してひずみ補正を実施可能にするリマップテーブル１８０２’を生成する。

【0181】

ＦＰＧＡ３０６は、具体的には、上記式（１）、上記式（２）、および下記式（９）～下記式（１１）に従って、リマップテーブル１８０２が示す座標（ｕ’，ｖ’）に対応する座標（ｕ”，ｖ”）を特定し、リマップテーブル１８０２’を生成する。下記式（９）～下記式（１１）は、個体差が比較的大きいｐ₁とｐ₂とに関する。

【0182】

ｒ²＝ｘ²＋ｙ² ・・・（９）

【0183】

ｕ”＝ｕ’＋ｆ_x（２ｐ₁ｘｙ＋ｐ₂（ｒ²＋２ｘ²）） ・・・（１０）

【0184】

ｖ”＝ｖ’＋ｆ_y（ｐ₁（ｒ²＋２ｘ²）＋２ｐ₂ｘｙ） ・・・（１１）

【0185】

ＦＰＧＡ３０６は、受け付けた画像について、生成したリマップテーブル１８０２’に基づいて、当該画像に対してリマップ処理を実施する。ＦＰＧＡ３０６は、例えば、グループ化した２つの画像撮像装置２０１のうち一方の画像撮像装置２０１で撮像された画像に対してリマップ処理Ａを実施する。ＦＰＧＡ３０６は、例えば、グループ化した２つの画像撮像装置２０１のうち他方の画像撮像装置２０１で撮像された画像に対してリマップ処理Ｂを実施する。

【0186】

これにより、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施するにあたって、リマップテーブル１８０２の読み出し処理を共通化することができる。このため、情報処理装置１００は、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制することができる。

【0187】

例えば、５ｃｈ分の画像撮像装置２０１が存在し、それぞれの画像撮像装置２０１が、３０ｆｐｓで１２８０×７２０の画像を撮像するという場合が考えられる。動作例３では、情報処理装置１００は、それぞれ異なるリマップテーブル１８０２’に対応する複数の画像撮像装置２０１をグループ化可能である。このため、情報処理装置１００は、例えば、５ｃｈ分の画像撮像装置２０１を、１ｇｒｏｕｐにグループ分けしたとする。このため、情報処理装置１００は、１６５．９ＭＢ／ｓの帯域を使用すれば済むようにすることができる。

【0188】

また、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。情報処理装置１００は、リマップテーブル１８０２を基に、それぞれの画像撮像装置２０１に適したリマップテーブル１８０２’を生成可能であるため、それぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を精度よく実施可能にすることができる。情報処理装置１００は、それぞれ異なるリマップテーブル１８０２’に対応する複数の画像撮像装置２０１をグループ化可能であるため、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制し易くすることができる。

【0189】

ここでは、情報処理装置１００が、同一の型番を有する２以上の画像撮像装置２０１をグループ化する場合について説明したが、これに限らない。例えば、情報処理装置１００が、異なる型番を有する２以上の画像撮像装置２０１をグループ化する場合があってもよい。情報処理装置１００は、それぞれの画像撮像装置２０１に適したリマップテーブル１８０２’を生成可能であるため、この場合に対しても適用可能である。

【0190】

（動作例３における全体処理手順）
次に、図１９を用いて、動作例３において情報処理装置１００が実行する全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３と、ＦＰＧＡ３０６とによって実現される。

【0191】

図１９は、動作例３における全体処理手順の一例を示すフローチャートである。図１９において、情報処理装置１００は、予め、設置される画像撮像装置２０１のキャリブレーションを実施し、画像撮像装置２０１の型番に対応付けられたリマップテーブル１８０２を生成する（ステップＳ１９０１）。情報処理装置１００は、例えば、情報処理システム２００の稼働前に、画像撮像装置２０１の型番に対応付けられたリマップテーブル１８０２を生成する。

【0192】

次に、情報処理装置１００は、設置された複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１の型番に基づいて、同一の型番の２以上の画像撮像装置２０１をグループ化する（ステップＳ１９０２）。情報処理装置１００は、例えば、情報処理システム２００の稼働後に、同一の型番の２以上の画像撮像装置２０１をグループ化する。

【0193】

次に、情報処理装置１００は、グループ化した２以上の画像撮像装置２０１で同一の型番に対応するリマップテーブル１８０２に基づいて、それぞれの画像撮像装置２０１に対応するリマップテーブル１８０２を生成する（ステップＳ１９０３）。そして、情報処理装置１００は、それぞれの画像撮像装置２０１で撮像された画像に対して、生成した当該画像撮像装置２０１に対応するリマップテーブル１８０２に基づいて、リマップ処理を実施する（ステップＳ１９０４）。

【0194】

次に、情報処理装置１００は、画像撮像装置２０１が追加または削除されたか否かを判定する（ステップＳ１９０５）。ここで、画像撮像装置２０１が追加または削除された場合（ステップＳ１９０５：Ｙｅｓ）、情報処理装置１００は、ステップＳ１９０２の処理に戻る。一方で、画像撮像装置２０１が追加されず、かつ、画像撮像装置２０１が削除されない場合（ステップＳ１９０５：Ｎｏ）、情報処理装置１００は、ステップＳ１９０４の処理に戻る。

【0195】

（情報処理装置１００の動作例４）
次に、図２０および図２１を用いて、情報処理装置１００の動作例４について説明する。

【0196】

ここで、上述したように、同一の型番の複数の画像撮像装置２０１それぞれで撮像された画像のひずみ具合が同一であるとは限らない。例えば、画像撮像装置２０１の製造ばらつきなどにより、画像のひずみ具合が変化する状況が考えられる。このため、同一の型番の複数の画像撮像装置２０１それぞれに共通ではなく、固有の補正パラメータが存在する。

【0197】

動作例４は、動作例３と同様に、ＦＰＧＡ３０６が、上述した状況などを考慮して、グループ化した２以上の画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する場合に対応する動作例である。

【0198】

動作例４では、具体的には、図２０に後述する基準テーブル２０１０と、図２０に後述する差分テーブル２０２０とに基づいて、画像撮像装置２０１に固有のリマップテーブルを生成可能にする。まず、図２０を用いて、動作例４における、基準テーブル２０１０と差分テーブル２０２０との一例について説明する。

【0199】

図２０は、基準テーブル２０１０と差分テーブル２０２０との一例を示す説明図である。図２０において、管理テーブル２０００が存在する。管理テーブル２０００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0200】

図２０において、基準テーブル２０１０と、差分テーブル２０２０とが存在する。基準テーブル２０１０は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。差分テーブル２０２０は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0201】

図２０に示すように、管理テーブル２０００は、特性と、差分テーブルとのフィールドを有する。管理テーブル２０００は、特性ごとに各フィールドに情報を設定することにより、管理情報がレコード２０００－ｃとして記憶される。ｃは、任意の整数である。

【0202】

特性のフィールドには、画像撮像装置２０１の特性が設定される。特性は、例えば、画像撮像装置２０１の属性である。属性は、例えば、画像撮像装置２０１に固有の識別情報などである。特性は、例えば、画像撮像装置２０１が有するカメラのレンズの属性であってもよい。特性は、例えば、画像撮像装置２０１で撮像された画像の属性であってもよい。差分テーブルのフィールドには、基準テーブル２０１０と組み合わせて、上記画像撮像装置２０１に対応するリマップテーブルを生成可能にする差分テーブル２０２０の識別情報が設定される。

【0203】

図２０に示すように、基準テーブル２０１０は、前座標と、後座標とのフィールドを有する。基準テーブル２０１０は、座標ペアごとに各フィールドに情報を設定することにより、基準情報がレコード２０１０－ｄとして記憶される。ｄは、任意の整数である。基準テーブル２０１０は、リマップテーブル９１０と同様の記憶内容である。

【0204】

前座標のフィールドには、ひずみ補正前の画像に含まれる画素の座標を示す前座標が設定される。後座標のフィールドには、上記前座標に対応する、ひずみ補正後の画像に含まれる画素の座標を表す後座標が設定される。後座標は、例えば、補正パラメータの平均値によって特定される。後座標は、具体的には、補正パラメータの平均値を用いた上記式（３）および上記式（４）によって規定される。

【0205】

図２０に示すように、差分テーブル２０２０は、差分のフィールドを有する。差分テーブル２０２０は、座標ペアごとに各フィールドに情報を設定することにより、差分情報がレコード２０２０－ｅとして記憶される。ｅは、任意の整数である。

【0206】

差分のフィールドには、上記後座標に足し合わせて、上記後座標を補正するための差分値が設定される。差分値は、例えば、後座標と、それぞれの画像撮像装置２０１の補正パラメータを用いた上記式（３）および上記式（４）との差分によって規定される。次に、図１０を用いて、情報処理装置１００の動作例４について説明する。

【0207】

図２１は、情報処理装置１００の動作例４を示す説明図である。情報処理装置１００は、情報処理システム２００の実運用開始前に、情報処理システム２００に含まれる複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１から、当該画像撮像装置２０１で撮像された画像と、当該画像に関する付随データとを受信する。付随データは、例えば、画像撮像装置２０１の属性と、ひずみ補正に関する補正パラメータとを含む。

【0208】

情報処理装置１００は、受信した付随データに基づいて、複数の画像撮像装置２０１のうち、同一の基準テーブル２０１０に基づいて画像に対するひずみ補正が間接的に実施可能であるとそれぞれ判断される２以上の画像撮像装置２０１をグループ化する。情報処理装置１００は、例えば、同一の基準テーブル２０１０を基に生成可能なリマップテーブル２１０２のいずれかに基づいて画像に対するひずみ補正が直接的に実施可能であるとそれぞれ判断される２以上の画像撮像装置２０１をグループ化する。情報処理装置１００は、具体的には、同一の型番を有する２以上の画像撮像装置２０１をグループ化する。

【0209】

図２１の例では、情報処理装置１００は、同一の型番を有する２つの画像撮像装置２０１をグループ化したとする。情報処理装置１００は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータに基づいて、基準テーブル２０１０を生成する。

【0210】

情報処理装置１００は、例えば、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータのうち、ｋ₁とｋ₂との平均値に基づいて、基準テーブル２０１０を生成する。情報処理装置１００は、具体的には、上記式（７）および上記式（８）に従って、座標（ｕ，ｖ）と、座標（ｕ’，ｖ’）との対応関係を特定し、基準テーブル２０１０を生成する。

【0211】

情報処理装置１００は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１から受信済みの付随データに含まれる補正パラメータに基づいて、当該画像撮像装置２０１に対応するリマップテーブル２１０２を生成する。情報処理装置１００は、具体的には、上記式（３）および上記式（４）に従って、座標（ｕ，ｖ）と、座標（ｕ’，ｖ’）との対応関係を特定し、リマップテーブル２１０２を生成する。

【0212】

情報処理装置１００は、それぞれの画像撮像装置２０１に対応するリマップテーブル２１０２と、生成した基準テーブル２０１０との差分を算出し、差分テーブル２１１２を生成する。差分テーブル２１１２は、図２０に示した差分テーブル２０２０に対応する。

【0213】

以下の説明では、グループ化した２つの画像撮像装置２０１のうち、一方の画像撮像装置２０１に対応する差分テーブル２１１２を「差分テーブルＡ２１１２」と表記する場合がある。また、他方の画像撮像装置２０１に対応する差分テーブル２１１２を「差分テーブルＢ２１１２」と表記する場合がある。

【0214】

情報処理装置１００は、それぞれの画像撮像装置２０１に固有の識別情報に対応付けて、生成した当該画像撮像装置２０１に対応する差分テーブル２１１２を記憶した、図２０に示した管理テーブル２０００（不図示）を生成しておいてもよい。

【0215】

情報処理装置１００は、生成した差分テーブル２１１２を、ＦＰＧＡ３０６がアクセス可能に、メモリ３０２のＤＲＡＭに記憶する。情報処理装置１００は、基準テーブル２０１０を生成可能にするパラメータ２１１１を、ＦＰＧＡ３０６の内蔵メモリに記憶する。パラメータ２１１１は、例えば、ｋ₁とｋ₂との平均値を含む。これにより、情報処理装置１００は、ＦＰＧＡ３０６が、基準テーブル２０１０を生成可能にすることができる。

【0216】

情報処理装置１００は、情報処理システム２００の実運用開始後に、ＦＰＧＡ３０６によって、差分テーブル２１１２を参照して、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対してひずみ補正を実施する。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１について、当該画像撮像装置２０１で撮像された画像を一部ずつ格納するラインバッファ２１０１を有する。

【0217】

ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像と、補正パラメータと、当該画像撮像装置２０１に固有の識別情報とを受け付ける。ＦＰＧＡ３０６は、受け付けたそれぞれの画像撮像装置２０１に固有の識別情報に基づいて、当該画像撮像装置２０１に対応する差分テーブル２１１２を、メモリ３０２のＤＲＡＭから読み出す。

【0218】

ＦＰＧＡ３０６は、パラメータ２１１１に基づいて、基準値計算処理を実施し、基準テーブル２０１０を生成する。ＦＰＧＡ３０６は、グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１について、当該画像撮像装置２０１に対応する差分テーブル２１１２と、基準テーブル２０１０とを合成し、リマップテーブル２１０２を生成する。

【0219】

ＦＰＧＡ３０６は、受け付けたそれぞれの画像撮像装置２０１で撮像された画像について、生成した当該画像撮像装置２０１に対応するリマップテーブル２１０２に基づいて、当該画像に対してリマップ処理を実施する。ここで、ラインバッファ２１０１をそれぞれ区別可能に、「ラインバッファＡ２１０１」および「ラインバッファＢ２１０１」と表記する。グループ化した２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像を区別可能に、「入力画像Ａ」および「入力画像Ｂ」と表記する。

【0220】

ＦＰＧＡ３０６は、例えば、グループ化した２つの画像撮像装置２０１のうち一方の画像撮像装置２０１で撮像された入力画像ＡをラインバッファＡ２１０１に読み出しながら、ラインバッファＡ２１０１に読み出した部分ごとにリマップ処理Ａを実施する。そして、ＦＰＧＡ３０６は、例えば、リマップ処理Ａにより得られた出力画像Ａを出力する。ＦＰＧＡ３０６は、例えば、グループ化した２つの画像撮像装置２０１のうち他方の画像撮像装置２０１で撮像された入力画像ＢをラインバッファＢ２１０１に読み出しながら、ラインバッファＡ２１０１に読み出した部分ごとにリマップ処理Ｂを実施する。そして、ＦＰＧＡ３０６は、例えば、リマップ処理Ｂにより得られた出力画像Ｂを出力する。

【0221】

これにより、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施するにあたって、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制することができる。例えば、差分テーブル２１１２のデータ量は、リマップテーブル２１０２のデータ量に比べて小さくなる傾向がある。

【0222】

具体的には、リマップテーブル２１０２のデータ量は、画像のサイズに応じて大きくなる傾向があり、リマップテーブル２１０２の各軸の座標値は、例えば、整数部１２ｂｉｔで表現される。一方で、差分テーブル２１１２の各軸の差分値は、例えば、整数部４ｂｉｔで表現可能である。このため、情報処理装置１００は、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制することができる。

【0223】

また、情報処理装置１００は、２つの画像撮像装置２０１のそれぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。情報処理装置１００は、差分テーブル２１１２を基に、それぞれの画像撮像装置２０１に適したリマップテーブル２１０２を精度よく再現可能である。このため、情報処理装置１００は、それぞれの画像撮像装置２０１で撮像された画像に対するひずみ補正を精度よく実施可能にすることができる。

【0224】

情報処理装置１００は、それぞれ異なるリマップテーブル２１０２に対応する複数の画像撮像装置２０１をグループ化可能であるため、メモリ３０２のＤＲＡＭに対する帯域使用量の増大化を抑制し易くすることができる。

【0225】

ここでは、情報処理装置１００が、同一の型番を有する２以上の画像撮像装置２０１をグループ化する場合について説明したが、これに限らない。例えば、情報処理装置１００が、異なる型番を有する２以上の画像撮像装置２０１をグループ化する場合があってもよい。情報処理装置１００は、それぞれの画像撮像装置２０１に適したリマップテーブル２１０２を生成可能であるため、この場合に対しても適用可能である。

【0226】

（動作例４における全体処理手順）
次に、図２２を用いて、動作例４において情報処理装置１００が実行する全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３と、ＦＰＧＡ３０６とによって実現される。

【0227】

図２２は、動作例４における全体処理手順の一例を示すフローチャートである。図２２において、情報処理装置１００は、予め、設置される画像撮像装置２０１のキャリブレーションを実施し、補正パラメータを特定する（ステップＳ２２０１）。

【0228】

次に、情報処理装置１００は、同一の型番を有する画像撮像装置２０１それぞれについて特定した補正パラメータの平均値を、基準パラメータに設定する（ステップＳ２２０２）。

【0229】

そして、情報処理装置１００は、基準パラメータに基づいて、同一の型番に対応付けられた基準テーブル２０１０を生成する（ステップＳ２２０３）。情報処理装置１００は、例えば、情報処理システム２００の稼働前に、画像撮像装置２０１の型番に対応付けられた基準テーブル２０１０を生成する。

【0230】

次に、情報処理装置１００は、設置される画像撮像装置２０１それぞれに対応付けられた、当該型番の画像撮像装置２０１に対応するリマップテーブル２１０２と、基準テーブル２０１０との差分を表す差分テーブル２０２０を生成する（ステップＳ２２０４）。差分テーブル２０２０は、例えば、メモリ３０２のＤＲＡＭに記憶される。

【0231】

次に、情報処理装置１００は、設置された複数の画像撮像装置２０１のそれぞれの画像撮像装置２０１の型番に基づいて、同一の型番の２以上の画像撮像装置２０１をグループ化する（ステップＳ２２０５）。情報処理装置１００は、例えば、情報処理システム２００の稼働後に、同一の型番の２以上の画像撮像装置２０１をグループ化する。

【0232】

そして、情報処理装置１００は、グループ化した２以上の画像撮像装置２０１で同一の型番に対応する基準テーブル２０１０を読み出す。情報処理装置１００は、読み出した基準テーブル２０１０と、それぞれの画像撮像装置２０１に対応する差分テーブル２０２０とに基づいて、当該画像撮像装置２０１に対応するリマップテーブル２１０２を生成する（ステップＳ２２０６）。

【0233】

次に、情報処理装置１００は、それぞれの画像撮像装置２０１で撮像された画像に対して、生成した当該画像撮像装置２０１に対応するリマップテーブル２１０２に基づいて、リマップ処理を実施する（ステップＳ２２０７）。

【0234】

そして、情報処理装置１００は、画像撮像装置２０１が追加または削除されたか否かを判定する（ステップＳ２２０８）。ここで、画像撮像装置２０１が追加または削除された場合（ステップＳ２２０８：Ｙｅｓ）、情報処理装置１００は、ステップＳ２２０５の処理に戻る。一方で、画像撮像装置２０１が追加されず、かつ、画像撮像装置２０１が削除されない場合（ステップＳ２２０８：Ｎｏ）、情報処理装置１００は、ステップＳ２２０６の処理に戻る。

【0235】

以上説明したように、情報処理装置１００によれば、画像に対してひずみ補正を実施可能にする補正情報を特定可能に、記憶部５００に記憶することができる。情報処理装置１００によれば、複数の撮像部のそれぞれの撮像部の特性に基づいて、複数の撮像部のうち、第１の補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化することができる。情報処理装置１００によれば、記憶部５００の記憶内容から特定された第１の補正情報に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施することができる。これにより、情報処理装置１００は、記憶部５００に対する帯域使用量の増大化を抑制することができる。

【0236】

情報処理装置１００によれば、複数の撮像部のそれぞれの撮像部から取得した、当該撮像部で撮像された画像に関するパラメータに基づいて、２以上の撮像部をグループ化することができる。これにより、情報処理装置１００は、補正情報を共通して利用可能な２以上の撮像部を適切にグループ化し易くすることができる。

【0237】

情報処理装置１００によれば、記憶部５００の帯域使用量が閾値を超える場合、記憶部５００の記憶内容から特定された第１の補正情報の一部に基づいて、第１の補正情報を推定した第２の補正情報を生成することができる。情報処理装置１００によれば、生成した第２の補正情報に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を実施することができる。これにより、情報処理装置１００は、記憶部５００に対する帯域使用量の低減化を図ることができる。

【0238】

情報処理装置１００によれば、複数の撮像部のうち、第１の補正情報に類似の補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化することができる。情報処理装置１００によれば、第１の補正情報に基づいて、グループ化した２以上の撮像部のそれぞれの撮像部について、当該撮像部で撮像された画像に対してひずみ補正を実施可能にする、第１の補正情報に類似の第３の補正情報を生成することができる。情報処理装置１００によれば、グループ化した２以上の撮像部のそれぞれの撮像部について、生成した第３の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施することができる。これにより、情報処理装置１００は、グループ化する撮像部の数の増大化を図ることができ、記憶部５００に対する帯域使用量の低減化を図ることができる。

【0239】

情報処理装置１００によれば、異なる画像に対してひずみ補正を実施可能にする複数の補正情報のそれぞれの補正情報を特定可能に、それぞれの補正情報と、特定のパラメータから生成可能な基準の補正情報との差分情報を記憶することができる。情報処理装置１００によれば、複数の撮像部のうち、複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化することができる。情報処理装置１００によれば、それぞれの撮像部について、基準の補正情報と、記憶部５００の記憶内容から特定された差分情報とに基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施可能にする第４の補正情報を生成することができる。情報処理装置１００によれば、グループ化した２以上の撮像部のそれぞれの撮像部について、生成した第４の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施することができる。これにより、情報処理装置１００は、グループ化する撮像部の数の増大化を図ることができ、記憶部５００に対する帯域使用量の低減化を図ることができる。

【0240】

情報処理装置１００によれば、記憶部５００の記憶内容のうち、グループ化した２以上の撮像部のいずれかの撮像部に対応する補正情報を、第１の補正情報として特定することができる。これにより、情報処理装置１００は、画像に対してひずみ補正を実施可能にすることができる。

【0241】

情報処理装置１００によれば、グループ化した２以上の撮像部の少なくともいずれかの撮像部の属性情報に基づいて、記憶部５００の記憶内容を参照して、第１の補正情報を特定することができる。これにより、情報処理装置１００は、画像に対してひずみ補正を実施可能にすることができる。

【0242】

情報処理装置１００によれば、グループ化した２以上の撮像部の少なくともいずれかの撮像部で撮像された画像の属性情報に基づいて、記憶部５００の記憶内容を参照して、第１の補正情報を特定することができる。これにより、情報処理装置１００は、画像に対してひずみ補正を実施可能にすることができる。

【0243】

情報処理装置１００によれば、グループ化した２以上の撮像部の特性に基づいて、第１の補正情報を生成し、記憶部５００に格納することができる。これにより、情報処理装置１００は、画像に対してひずみ補正を実施可能に、記憶部５００の記憶内容を更新することができる。

【0244】

情報処理装置１００によれば、外部の記憶部５００にアクセス可能なＦＰＧＡ３０６を用いて、少なくともひずみ補正を実施することができる。これにより、情報処理装置１００は、画像に対してひずみ補正を実施する際にかかる処理時間の低減化を図ることができる。

【0245】

情報処理装置１００によれば、異なる画像に対してひずみ補正を実施可能にする複数の補正情報のそれぞれの補正情報を特定可能に、それぞれの補正情報と、特定のパラメータから生成可能な基準の補正情報との差分情報を、記憶部５００に記憶することができる。情報処理装置１００によれば、複数の撮像部のうち、複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を実施可能であるとそれぞれ判断された２以上の撮像部をグループ化することができる。情報処理装置１００によれば、それぞれの撮像部について、基準の補正情報と、記憶部５００の記憶内容から特定された差分情報とに基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施可能にする第４の補正情報を生成することができる。情報処理装置１００によれば、グループ化した２以上の撮像部のそれぞれの撮像部について、生成した第４の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を実施することができる。これにより、情報処理装置１００は、グループ化する撮像部の数の増大化を図ることができ、記憶部５００に対する帯域使用量の低減化を図ることができる。

【0246】

なお、本実施の形態で説明した補正処理方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した補正処理プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した補正処理プログラムは、インターネットなどのネットワークを介して配布してもよい。

【0247】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0248】

（付記１）画像に対してひずみ補正を行うための補正情報を記憶する記憶部と、
それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、前記補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、制御部と、
を有することを特徴とする情報処理装置。

【0249】

（付記２）前記制御部は、
前記複数の撮像部のそれぞれの撮像部から取得した、当該撮像部で撮像された画像に関するパラメータに基づいて、２以上の撮像部をグループ化する、ことを特徴とする付記１に記載の情報処理装置。

【0250】

（付記３）前記制御部は、
前記記憶部の帯域使用量が閾値を超える場合、前記記憶部に記憶された前記補正情報の一部に基づいて、前記補正情報を推定した第２の補正情報を生成し、
生成した前記第２の補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする付記１または２に記載の情報処理装置。

【0251】

（付記４）前記制御部は、
前記複数の撮像部のうち、前記記憶部に記憶された前記補正情報に類似の補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部について、当該撮像部で撮像された画像に対してひずみ補正を行うための、前記補正情報に類似の第３の補正情報を生成し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、生成した前記第３の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする付記１～３のいずれか一つに記載の情報処理装置。

【0252】

（付記５）前記記憶部は、
異なる画像に対してひずみ補正を行うための複数の補正情報のそれぞれの補正情報を特定可能にする、前記それぞれの補正情報と、特定のパラメータから生成可能な基準の補正情報との差分情報を記憶し、
前記制御部は、
前記複数の撮像部のうち、前記複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、前記特定のパラメータから生成された前記基準の補正情報と、前記記憶部に記憶された前記差分情報とに基づいて、前記複数の補正情報のうち、当該撮像部で撮像された画像に対してひずみ補正を行うための第４の補正情報を生成し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、生成した前記第４の補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする付記１～４のいずれか一つに記載の情報処理装置。

【0253】

（付記６）前記制御部は、
前記記憶部に記憶された、グループ化した前記２以上の撮像部のいずれかの撮像部に対応する前記補正情報を特定し、
特定した前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする付記１～５のいずれか一つに記載の情報処理装置。

【0254】

（付記７）前記制御部は、
グループ化した前記２以上の撮像部の少なくともいずれかの撮像部の属性情報に基づいて、前記記憶部に記憶された前記補正情報を特定し、
特定した前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする付記１～６のいずれか一つに記載の情報処理装置。

【0255】

（付記８）前記制御部は、
グループ化した前記２以上の撮像部の少なくともいずれかの撮像部で撮像された画像の属性情報に基づいて、前記記憶部に記憶された前記補正情報を特定し、
特定した前記記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、ことを特徴とする付記１～７のいずれか一つに記載の情報処理装置。

【0256】

（付記９）グループ化した前記２以上の撮像部の特性に基づいて、前記それぞれの撮像部で撮像された画像に対してひずみ補正を行うための前記補正情報を生成し、前記記憶部に格納する格納部、
をさらに有することを特徴とする付記１～８のいずれか一つに記載の情報処理装置。

【0257】

（付記１０）前記制御部は、外部の前記記憶部にアクセス可能なＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙを用いて、少なくとも前記ひずみ補正を行う、ことを特徴とする付記１～９のいずれか一つに記載の情報処理装置。

【0258】

（付記１１）異なる画像に対してひずみ補正を行うための複数の補正情報のそれぞれの補正情報を特定可能にする、前記それぞれの補正情報と、特定のパラメータから生成可能な基準の補正情報との差分情報を記憶する記憶部と、
それぞれ異なる画像を撮像する複数の撮像部のうち、前記複数の補正情報に含まれる補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、前記特定のパラメータから生成された前記基準の補正情報と、前記記憶部に記憶された前記差分情報とに基づいて、前記複数の補正情報のうち、当該撮像部で撮像された画像に対してひずみ補正を行うための補正情報を生成し、
グループ化した前記２以上の撮像部のそれぞれの撮像部について、生成した前記補正情報に基づいて、当該撮像部で撮像された画像に対してひずみ補正を行う、制御部と、
を有することを特徴とする情報処理装置。

【0259】

（付記１２）それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、画像に対してひずみ補正を行うための補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記補正情報を記憶する記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、
処理をコンピュータが実行することを特徴とする補正処理方法。

【0260】

（付記１３）それぞれ異なる画像を撮像する複数の撮像部のそれぞれの撮像部の特性に基づいて、前記複数の撮像部のうち、画像に対してひずみ補正を行うための補正情報に基づいて画像に対してひずみ補正を行うことが可能であるとそれぞれ判断された２以上の撮像部をグループ化し、
前記補正情報を記憶する記憶部に記憶された前記補正情報に基づいて、グループ化した前記２以上の撮像部のそれぞれの撮像部で撮像された画像に対してひずみ補正を行う、
処理をコンピュータに実行させることを特徴とする補正処理プログラム。

【符号の説明】

【0261】

１００ 情報処理装置
１０１，６０１，６０２，８０１，８０２ 画像
１１０，５００ 記憶部
１１１ 第１の補正情報
１２０ 制御部
２００ 情報処理システム
２０１ 画像撮像装置
２１０ ネットワーク
３００，４００ バス
３０１，４０１ ＣＰＵ
３０２，４０２ メモリ
３０３，４０３ ネットワークＩ／Ｆ
３０４，４０４ 記録媒体Ｉ／Ｆ
３０５，４０５ 記録媒体
３０６，８００ ＦＰＧＡ
４０６ カメラ
５０１ 取得部
５０２ 分類部
５０３ 補正部
５０４ 格納部
５０５ 出力部
７００ 表
７１０，１００１，１４０１，１８０１，２１０１ ラインバッファ
７２０，８２０，９１０，１４０２，１８０２，２１０２ リマップテーブル
９００，２０００ 管理テーブル
１００２，１４０３，１８０３ バッファ
１１０１，１７０１，１７０２ グラフ
１５００ 間引きテーブル
２０１０ 基準テーブル
２０２０，２１１２ 差分テーブル
２１１１ パラメータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】