特開 2024-80208 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080208

(43)【公開日】2024-06-13

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/80 20170101AFI20240606BHJP

   G06T 7/33 20170101ALI20240606BHJP

【ＦＩ】

G06T7/80

G06T7/33

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022193209

(22)【出願日】2022-12-02

(71)【出願人】

【識別番号】507071774

【氏名又は名称】株式会社アイヴィス

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】川▲崎▼ 辰吾

(72)【発明者】

【氏名】松本 大輝

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA05

5L096DA01

5L096DA02

5L096FA25

5L096FA67

5L096FA69

5L096GA04

5L096MA03

(57)【要約】

【課題】撮像装置の種類によらず撮像装置の校正に用いられるデータを決定しやすくする。
【解決手段】画像処理装置１は、第１撮像装置２で校正用画像が撮像されて生成された第１画像データと、第１画像データと異なる第２画像データと、を取得する画像データ取得部１３１と、第１画像データに含まれる校正用画像の明度の勾配を示す第１特徴情報群と、第２画像データに含まれる校正用画像の明度の勾配を示す第２特徴情報群とを抽出する特徴情報群抽出部１３２と、第２画像データに含まれる校正用画像の複数の参照点を特定する参照点特定部１３３と、複数の参照点の座標を第１特徴情報群と第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定する座標変換部１３４と、複数の補正参照点の座標に基づいて、第１撮像装置２の校正用データを生成するデータ生成部１３５と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１撮像装置で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、前記校正用画像と同じ特徴を有する画像に対応し前記第１画像データと異なる第２画像データと、を取得する画像データ取得部と、
前記第１画像データに含まれる前記校正用画像の明度の勾配を示す第１特徴情報群と、前記第２画像データに含まれる前記校正用画像の明度の勾配を示す第２特徴情報群とを抽出する特徴情報群抽出部と、
前記第２画像データに含まれる前記校正用画像の模様の複数の参照点を特定する参照点特定部と、
前記複数の参照点の座標を前記第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定する座標変換部と、
前記座標変換部が特定した前記複数の補正参照点の座標に基づいて、前記第１撮像装置の校正用データを生成するデータ生成部と、
を有する画像処理装置。

【請求項2】

前記第１特徴情報群と前記第２特徴情報群は、明度の勾配の方向情報を含む情報であり、前記座標変換部は、前記第１特徴情報群に対応する第１方向情報と前記第２特徴情報群に対応する第２方向情報とを照合する、
請求項１に記載の画像処理装置。

【請求項3】

前記座標変換部は、前記第１画像データと前記第２画像データとを照合し易いように、前記第１画像データ又は前記第２画像データの少なくともいずれかを変形させてから前記第１画像データと前記第２画像データとを照合する、
請求項１に記載の画像処理装置。

【請求項4】

前記座標変換部は、前記照合した結果が所定の条件を満たすように、１つ以上のパラメータにより座標変換の内容が変化する変換関数の前記パラメータを決定し、当該パラメータを利用した前記変換関数に基づいて前記複数の参照点の座標を変換する、
請求項１に記載の画像処理装置。

【請求項5】

前記第１画像データ中の第１特定領域を計測するために、前記参照点特定部は、前記第２画像データに含まれる、前記第１特定領域に対応する第２特定領域を構成する複数の前記参照点を特定し、
前記データ生成部は、前記座標変換部が前記第２特定領域を構成する複数の参照点を座標変換することにより決定した前記複数の補正参照点の座標に基づいて、前記第１画像データ中の前記第１特定領域の計測データを出力する、
請求項１に記載の画像処理装置。

【請求項6】

前記第１画像データは、前記校正用画像を含む板状物体が撮像されることにより生成された画像データであり、前記校正用画像の模様には、前記板状物体に形成された開口も含まれる、
請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記第１撮像装置は、赤外線を用いて前記校正用画像を撮像する赤外線カメラであり、
前記第２画像データは、可視光を用いて撮像する可視光カメラである第２撮像装置によって前記校正用画像が撮影されることにより生成された画像データ、又はコンピュータの演算により生成された画像データである、
請求項１から５のいずれか一項に記載の画像処理装置。

【請求項8】

コンピュータが実行する、
第１撮像装置で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、前記校正用画像と同じ特徴を有する画像に対応し前記第１画像データと異なる第２画像データと、を取得するステップと、
前記第１画像データに含まれる前記校正用画像の明度の勾配を示す第１特徴情報群と、前記第２画像データに含まれる前記校正用画像の明度の勾配を示す第２特徴情報群とを抽出するステップと、
前記第２画像データに含まれる前記校正用画像の模様の複数の参照点を特定するステップと、
前記複数の参照点の座標を前記第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定するステップと、
特定した前記複数の補正参照点の座標に基づいて、前記第１撮像装置の校正用データを生成するステップと、
を有する画像処理方法。

【請求項9】

コンピュータに、
第１撮像装置で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、前記校正用画像と同じ特徴を有する画像に対応し前記第１画像データと異なる第２画像データと、を取得するステップと、
前記第１画像データに含まれる前記校正用画像の明度の勾配を示す第１特徴情報群と、前記第２画像データに含まれる前記校正用画像の明度の勾配を示す第２特徴情報群とを抽出するステップと、
前記第２画像データに含まれる前記校正用画像の模様の複数の参照点を特定するステップと、
前記複数の参照点の座標を前記第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定するステップと、
特定した前記複数の補正参照点の座標に基づいて、前記第１撮像装置の校正用データを生成するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

従来、カメラ校正用ボードを複数の種類のカメラで撮影することにより生成された撮像画像内の特徴点を比較することにより、カメラの校正に用いられるパラメータを計測する方法が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開２０１７／０５６４７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の方法においては、ハリスのコーナー検出手法を用いて、カメラ校正用ボードにおける特徴点を検出することが想定されている。しかしながら、カメラの種類によっては、カメラ校正用ボードに含まれている模様のエッジ位置において画素値が大きく変化しないという場合がある。このような場合、カメラ校正用ボードにおける特徴点を検出することができないので、カメラの校正に用いられるパラメータを決定することが困難であるという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、撮像装置の種類によらず撮像装置の校正に用いられるデータを生成しやすくすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の画像処理装置は、第１撮像装置で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、前記校正用画像と同じ特徴を有する画像に対応し前記第１画像データと異なる第２画像データと、を取得する画像データ取得部と、前記第１画像データに含まれる前記校正用画像の明度の勾配を示す第１特徴情報群と、前記第２画像データに含まれる前記校正用画像の明度の勾配を示す第２特徴情報群とを抽出する特徴情報群抽出部と、前記第２画像データに含まれる前記校正用画像の模様の複数の参照点を特定する参照点特定部と、前記複数の参照点の座標を前記第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定する座標変換部と、前記座標変換部が特定した前記複数の補正参照点の座標に基づいて、前記第１撮像装置の校正用データを生成するデータ生成部と、を有する。

【0007】

前記第１特徴情報群と前記第２特徴情報群は、明度の勾配の方向情報を含む情報であり、前記座標変換部は、前記第１特徴情報群に対応する第１方向情報と前記第２特徴情報群に対応する第２方向情報とを照合してもよい。

【0008】

前記座標変換部は、前記第１画像データと前記第２画像データとを照合し易いように、前記第１画像データ又は前記第２画像データの少なくともいずれかを変形させてから前記第１画像データと前記第２画像データとを照合してもよい。

【0009】

前記座標変換部は、前記照合した結果が所定の条件を満たすように、１つ以上のパラメータにより座標変換の内容が変化する変換関数の前記パラメータを決定し、当該パラメータを利用した前記変換関数に基づいて前記複数の参照点の座標を変換してもよい。

【0010】

前記第１画像データ中の第１特定領域を計測するために、前記参照点特定部は、前記第２画像データに含まれる、前記第１特定領域に対応する第２特定領域を構成する複数の前記参照点を特定し、前記データ生成部は、前記座標変換部が前記第２特定領域を構成する複数の参照点を座標変換することにより決定した前記複数の補正参照点の座標に基づいて、前記第１画像データ中の前記第１特定領域の計測データを出力してもよい。

【0011】

前記第１画像データは、前記校正用画像を含む板状物体が撮像されることにより生成された画像データであり、前記校正用画像の模様には、前記板状物体に形成された開口も含まれてもよい。

【0012】

前記第１撮像装置は、赤外線を用いて前記校正用画像を撮像する赤外線カメラであり、前記第２画像データは、可視光を用いて撮像する可視光カメラである第２撮像装置によって前記校正用画像が撮影されることにより生成された画像データ、又はコンピュータの演算により生成された画像データであってもよい。

【0013】

本発明の第２の態様の画像処理方法は、コンピュータが実行する、第１撮像装置で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、前記校正用画像と同じ特徴を有する画像に対応し前記第１画像データと異なる第２画像データと、を取得するステップと、前記第１画像データに含まれる前記校正用画像の明度の勾配を示す第１特徴情報群と、前記第２画像データに含まれる前記校正用画像の明度の勾配を示す第２特徴情報群とを抽出するステップと、前記第２画像データに含まれる前記校正用画像の模様の複数の参照点を特定するステップと、前記複数の参照点の座標を前記第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定するステップと、特定した前記複数の補正参照点の座標に基づいて、前記第１撮像装置の校正用データを生成するステップと、を有する。

【0014】

本発明の第３の態様のプログラムは、コンピュータに、第１撮像装置で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、前記校正用画像と同じ特徴を有する画像に対応し前記第１画像データと異なる第２画像データと、を取得するステップと、前記第１画像データに含まれる前記校正用画像の明度の勾配を示す第１特徴情報群と、前記第２画像データに含まれる前記校正用画像の明度の勾配を示す第２特徴情報群とを抽出するステップと、前記第２画像データに含まれる前記校正用画像の模様の複数の参照点を特定するステップと、前記複数の参照点の座標を前記第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより複数の補正参照点の座標を特定するステップと、特定した前記複数の補正参照点の座標に基づいて、前記第１撮像装置の校正用データを生成するステップと、を実行させる。

【発明の効果】

【0015】

本発明によれば、撮像装置の種類によらず撮像装置の校正に用いられるデータを生成しやすくすることができるという効果を奏する。

【図面の簡単な説明】

【0016】

【図1】画像処理装置１の概要を説明するための図である。

【図2】画像処理装置１の構成を示す図である。

【図3】特徴情報群の概要を説明するための図である。

【図4】ワープ関数により変形した後の第１画像データの一部と第２画像データの一部とを切り出してタイル状に並べた画像を示す図である。

【図5】座標変換部１３４が算出した補正参照点の位置を示すマーカーを第1画像データに重ねた状態を示す図である。

【図6】画像処理装置１における処理の流れを示す図である。

【図7】校正用画像の他の例を示す図である。

【図8】校正用ボードの他の例を示す図である。

【発明を実施するための形態】

【0017】

［画像処理装置１の概要］
図１は、画像処理装置１の概要を説明するための図である。画像処理装置１は、撮像装置の校正に用いられる校正用データを作成するための装置であり、例えばコンピュータである。図１においては、画像処理装置１が、第１撮像装置２が校正用画像を含む校正用ボードを撮影することにより生成した第１画像データと、第２撮像装置３が校正用画像を含む校正用ボードを撮影することにより生成した第２画像データとを用いて、第１撮像装置２の校正用データを作成する流れが示されている。

【0018】

第１撮像装置２は第２撮像装置３と異なる性能を有している。第１撮像装置２は、校正用画像の模様を明瞭に撮像することができない撮像装置であり、例えば赤外線カメラ又は画像フィルタが装着されたカメラである。第２撮像装置３は、校正用画像の模様を第１撮像装置２よりも明瞭に撮像することができる撮像装置であり、例えば可視光カメラである。第１撮像装置２が生成した第１画像データにおける校正用画像の模様の輪郭が不明瞭だと、第１画像データにおける校正用画像の特徴点の位置を正確に特定することが困難であり、第１撮像装置２の校正用データを生成することも困難である。

【0019】

このような課題を解決するために、本実施形態に係る画像処理装置１は、第１画像データに含まれる校正用画像の明度の勾配を示す第１特徴情報群と、第２画像データに含まれる校正用画像の明度の勾配を示す第２特徴情報群とを照合することにより、第１画像データにおける複数の位置と第２画像データにおける複数の位置との関係を特定することを特徴としている。

【0020】

明度の勾配は、対象となる画素の明度と、当該画素から所定の距離内の所定の方向の複数の画素の明度との差により表される。複数の画素の明度は、例えば複数の画素の明度の平均値又は中央値等の統計値により表される。所定の距離は、例えばユーザにより設定された連続する画素数に対応する距離であり、一例として５画素分の距離である。詳細については後述するが、第１特徴情報群と第２特徴情報群は、それぞれ第１画像データ及び第２画像データの各画素における明度の勾配の方向情報を含む情報である。

【0021】

画像処理装置１は、第１画像データにおける複数の位置と第２画像データにおける複数の位置との関係を特定した結果に基づいて、第２画像データに含まれている校正用画像の参照点（例えば格子点）の位置が、第１画像データにおけるどの位置に対応するかを特定する。すなわち、画像処理装置１は、第２画像データにおける複数の参照点の座標を、第１特徴情報群と前記第２特徴情報群とを照合した結果に基づいて座標変換することにより、第１画像データにおいて複数の参照点に対応する複数の補正参照点の座標を決定する。画像処理装置１は、このようにして決定した複数の補正参照点の座標に基づいて校正用データを生成することができる。このように、画像処理装置１は、撮像カメラが赤外線カメラのように校正用画像の模様の輪郭線を明瞭に撮影することができない撮像装置であっても校正用データを生成することができる。

【0022】

なお、上記の説明においては、第２画像データが第２撮像装置３により生成された画像データであるとしたが、第２画像データの生成方法は、校正用画像の模様が第１画像データよりも明瞭に表れている限りにおいて任意である。一例として、第２画像データは、コンピュータの演算により生成された、第１撮像装置２が撮影する校正用画像を示す画像データであってもよい。

【0023】

［画像処理装置１の構成］
以下、画像処理装置１の構成及び動作を詳細に説明する。
図２は、画像処理装置１の構成を示す図である。画像処理装置１は、通信部１１と、記憶部１２と、制御部１３と、を有する。制御部１３は、画像データ取得部１３１と、特徴情報群抽出部１３２と、参照点特定部１３３と、座標変換部１３４と、データ生成部１３５と、を有する。

【0024】

通信部１１は、他の装置との間でデータを送受信するための通信インターフェースである。通信部１１は、例えば、第１撮像装置２から第1画像データを受信し、第２撮像装置３から第２画像データを受信する。通信部１１は、第１撮像装置２又は第２撮像装置３と異なる装置（例えばコンピュータ）から第１画像データ又は第２画像データの少なくともいずれかを受信してもよい。通信部１１は、受信した第１画像データ及び第２画像データを画像データ取得部１３１に入力する。通信部１１は、受信した第１画像データ及び第２画像データを記憶部１２に記憶させることにより、第１画像データ及び第２画像データを画像データ取得部１３１に入力してもよい。

【0025】

通信部１１は、データ生成部１３５が生成した校正用データを外部の装置に送信してもよい。通信部１１は、例えば、校正用データを生成するための操作を行ったユーザが使用するコンピュータに校正用データを送信する。通信部１１は、画像処理装置１に接続されたディスプレイに校正用データを送信してもよい。

【0026】

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１２は、制御部１３が実行するプログラムを記憶する。また、記憶部１２は、制御部１３が校正用データを生成するために使用する各種のデータを記憶する。記憶部１２は、例えば、特徴情報群抽出部１３２が第１画像データ及び第２画像データにおいて特定した校正用画像の明度の勾配を示す特徴情報群を記憶する。

【0027】

図３は、特徴情報群の概要を説明するための図である。特徴情報群は、画像データに含まれる複数の画素それぞれに対して決定された複数の方向符号により構成されている。方向符号は、対象となる画素における明度の勾配の方向を示すデータである。方向符号は、例えば、対象となる画素を中心とする複数の方向における明度の勾配を示すデータである。

【0028】

図３（ａ）は、方向符号に明度の勾配が含まれる複数の方向を示す図である。図３（ａ）においては、中央の黒丸で示されている１つの画素に対して（１）から（１６）までの方向が示されているが、方向符号に含まれる方向の数は任意である。方向符号には、例えば１度ずつ異なる方向ごとに明度の勾配が含まれていてもよい。

【0029】

図３（ｂ）は、方向符号に含まれているデータの一例を示す図である。方向符号においては、方向を示すデータと、明度の勾配の大きさを示すデータとが関連付けられている。図３（ｂ）における明度の勾配の大きさは１から８までの８段階で示されているが、明度の勾配は、さらに多くの段階で示されてもよい。記憶部１２は、複数の画素それぞれの座標にこのような方向符号が関連付けられた特徴情報群を記憶する。

【0030】

方向符号は図３に示した例に限られず、対象となる画素における明度の勾配が最大になる方向又は向きを示す値を量子化した符号であってもよい。この場合、全方向の勾配が同一である画素の符号には、例えば、勾配がないということを示す値が付与される。

【0031】

制御部１３は、例えばＣＰＵ（Central Processing Unit）を有する。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、画像データ取得部１３１、特徴情報群抽出部１３２、参照点特定部１３３、座標変換部１３４及びデータ生成部１３５として機能する。

【0032】

画像データ取得部１３１は、通信部１１を介して、第１撮像装置２で所定の模様の校正用画像が撮像されることにより生成された第１画像データと、第１撮像装置２が撮影した校正用画像と同じ特徴を有する画像に対応し第１画像データと異なる第２画像データと、を取得する。画像データ取得部１３１は、取得した第１画像データ及び第２画像データを特徴情報群抽出部１３２及び参照点特定部１３３に入力する。

【0033】

上述のとおり、第２画像データは、第１撮像装置２が撮影する校正用画像を第２撮像装置３が撮影することにより生成された画像データであってもよく、コンピュータにより生成された、第１撮像装置２が撮影する校正用画像と同じ特徴を有する画像に対応する画像データであってもよい。校正用画像と同じ特徴を有する画像は、校正用画像と同一であってもよく、特徴点の位置が同じであり色が異なる画像であってもよい。校正用画像が、図１に示したように白と黒の複数の四角形により構成されている場合、校正用画像は、図１に示した校正用画像における白と黒が逆になった画像であってもよい。

【0034】

特徴情報群抽出部１３２は、第１画像データに含まれる校正用画像の明度の勾配を示す第１特徴情報群と、第２画像データに含まれる校正用画像の明度の勾配を示す第２特徴情報群とを抽出する。特徴情報群抽出部１３２は、第１特徴情報群と第２特徴情報群とを抽出するために、まず、第１画像データ及び第２画像データそれぞれに含まれる複数の画素の明度を特定する。続いて、特徴情報群抽出部１３２は、１つの画素を選択し、選択した画素から、所定の複数の方向それぞれにおける所定の距離内の画素の平均的な明度（例えば平均値又は中央値）を算出する。

【0035】

特徴情報群抽出部１３２は、選択した画素の明度と算出した平均的な明度との差を所定の距離で除算することにより、選択した画素に対応する明度の勾配を特定する。特徴情報群抽出部１３２は、特定した勾配の値を量子化することにより、例えば８段階の勾配の値のうち、特定した勾配に対応する値を特定する。特徴情報群抽出部１３２は、全ての画素に対してこの処理を実行することにより、図３（ｂ）に示したような方向符号を生成する。特徴情報群抽出部１３２は、複数の画素それぞれに対応する方向符号を含む特徴情報群を記憶部１２に記憶させることにより、特徴情報群を参照点特定部１３３及び座標変換部１３４に通知する。

【0036】

参照点特定部１３３は、第２画像データに含まれる校正用画像の模様の複数の参照点を特定する。参照点特定部１３３は、例えば、特徴情報群抽出部１３２が生成した第２特徴群情報群において、閾値以上の勾配を有する画素の位置を特定することにより、校正用画像の模様に含まれている特徴的な点である参照点を特定する。参照点は、例えば、校正用画像に含まれている多角形の頂点又は円の中心である。校正用画像が図１に示したような格子模様の画像である場合、参照点は格子点である。参照点特定部１３３は、特定した複数の参照点の座標を座標変換部１３４に通知する。

【0037】

座標変換部１３４は、第２特徴情報群に含まれる複数の参照点の座標を、第１特徴情報群と第２特徴情報群とを照合した結果に基づいて座標変換することにより、複数の補正参照点の座標を決定する。座標変換部１３４は、複数の補正参照点の座標を決定するために、まず、第１特徴情報群に対応する第１方向情報と第２特徴情報群に対応する第２方向情報とを照合する。座標変換部１３４は、照合した結果が所定の条件を満たすように、１つ以上のパラメータにより座標変換の内容が変化する変換関数のパラメータを決定する。この変換関数は、第１画像データと第２画像データとの大局的な幾何学的対応関係を示す関数であり、例えばパラメトリックな２次のワープ関数である。座標変換部１３４は、当該パラメータを利用した変換関数に基づいて複数の参照点の座標を変換することにより、複数の補正参照点の座標を決定する。

【0038】

具体的には、座標変換部１３４は、まず、第１特徴情報群に含まれる方向符号が示す複数の画素の第１方向情報と第２特徴情報群に含まれる方向符号が示す複数の画素の第２方向情報との差が最小になるように、第１方向情報の値又は第２方向情報の値の少なくともいずれかを変換するための変換関数のパラメータを算出する。すなわち、座標変換部１３４は、画像処理装置１のレンズ歪みに起因して第１画像データに生じる明度の勾配の変化に対応するワープ関数のパラメータを算出する。

【0039】

座標変換部１３４は、ワープ関数のパラメータを制御変数として目的関数の最小化問題を解くことによりパラメータを決定する。具体的には、座標変換部１３４は、暫定的に決定したパラメータを用いて第１方向情報の値又は第２方向情報の値の少なくともいずれかを変換した後に、変換後の第１方向情報の値と第２方向情報の値とを照合し、先に照合した結果よりも差が小さくなっている場合に、暫定的に決定したパラメータを最新のパラメータに更新する。座標変換部１３４は、この処理を所定の回数繰り返すことにより、変換後の第１方向情報の値と第２方向情報の値との差が十分に小さくなるパラメータを決定する。

【0040】

一例として、座標変換部１３４は、画像座標をＸ＝（ｘ,ｙ）^Ｔ、パラメータをＰ＝（ｐ１,ｐ２,ｐ３,ｐ４,ｐ５,ｐ６,ｐ７,ｐ８）^Ｔとして、２次のワープ関数Ｗ（Ｘ；Ｐ）を以下の式（１）のように定義する。

【0041】

図４は、ワープ関数を用いた座標変換により変形した後の第１画像データの一部と第２画像データの一部とを切り出してタイル状に並べた画像を示す図である。図４において、変形後の第１画像データにおける校正用画像内の格子点の位置が、第２画像データにおける校正用画像内の格子点の位置と一致していることを確認できる。なお、見やすくするために図４の第１画像データには色調補正が施されている。

【0042】

続いて、座標変換部１３４は、参照点特定部１３３が特定した第２画像データに含まれる校正用画像の模様の複数の参照点の位置を、算出したワープ関数により変換することにより、複数の補正参照点の位置を特定する。具体的には、座標変換部１３４は、例えば式（１）に示したワープ関数に、参照点特定部１３３が特定した複数の参照点の座標におけるｘ及びｙを入力して出力されるｘ座標及びｙ座標を、補正参照点の座標とする。

【0043】

図５は、座標変換部１３４が算出した補正参照点の位置を示すマーカーを第１画像データに重ねた状態を示す図である。図５においては、補正参照点の位置が「＋」のマーカーにより示されている。第１画像データにおいては格子点の位置が明確ではないが、暗い領域と明るい領域の周囲に補正参照点が示されており、第１画像データにおける格子点の位置が適切に特定されていることがわかる。

【0044】

ところで、第１画像データの形状と第２画像データの形状とが異なっていると、座標変換部１３４が適切なワープ関数を算出することができない。そこで、座標変換部１３４は、第１画像データと第２画像データとを照合し易いように、第１画像データに対応する画像又は第２画像データに対応する画像の少なくともいずれかを変形させてから第１画像データと第２画像データとを照合してもよい。

【0045】

座標変換部１３４は、例えば、所定のアフィン変換等の画像変換処理を第１画像データ又は第２画像データの少なくともいずれかに施すことにより、第１画像データの形状と第２画像データの形状とがほぼ同等になるように変形させる。変形には、形状の変更、大きさの変更又は回転の少なくともいずれかが含まれる。アフィン変換のパラメータは、予め第１撮像装置２が生成する画像データの形状又は大きさの少なくともいずれかと、第２撮像装置３が生成する画像データの形状又は大きさの少なくともいずれかとの既知の関係に基づいて定められている。

【0046】

座標変換部１３４は、第１画像データ及び第２画像データの輪郭線（例えば校正用ボードの輪郭線）の形状を比較することにより、第１画像データの輪郭線と第２画像データの輪郭線とが同じ形状になるように第１画像データ又は第２画像データの少なくともいずれかを変形してもよい。座標変換部１３４がこのように動作することで、同等の形状の第１画像データと第２画像データとを照合してワープ関数を算出することができるので、ワープ関数の精度が向上する。

【0047】

データ生成部１３５は、座標変換部１３４が特定した複数の補正参照点の座標に基づいて、第１撮像装置２の校正用データを生成する。データ生成部１３５は、例えば、複数の補正参照点の座標に基づいて、複数の参照点の間の位置の座標に対しても補正した座標を生成し、第１撮像装置が生成した第１画像データにおける複数の座標に対する複数の補正座標を示す校正用データを生成する。データ生成部１３５は、通信部１１を介して、第１画像データを校正する処理を行うコンピュータ等の外部装置に校正用データを出力する。

【0048】

［画像データに基づく計測］
第１画像データに含まれている物体の長さ又は大きさ等の形状の計測が要求される場合がある。ところが第１画像データにおいて物体の輪郭線が明瞭でない場合、当該物体の形状の計測は困難である。

【0049】

そこで、画像処理装置１は、第２画像データを用いて第１画像データに含まれている特定の領域の形状を計測してもよい。具体的には、第１画像データ中の第１特定領域を画像処理装置１が計測するために、参照点特定部１３３は、第２画像データに含まれる、第１特定領域に対応する第２特定領域を構成する複数の参照点を特定する。データ生成部１３５は、第２特定領域を構成する複数の参照点を座標変換することにより決定した複数の補正参照点の座標に基づいて、第１画像データ中の第１特定領域の計測データを生成する。

【0050】

一例として、第１画像データ内の第１特定領域に含まれている図１に示した校正用画像の格子点間の距離を画像処理装置１が計測する場合、参照点特定部１３３は、第２画像データ内の第２特定領域である校正用画像が含まれている領域内の複数の格子点を複数の参照点として特定する。データ生成部１３５は、ワープ関数を用いて複数の格子点の位置を補正した複数の補正参照点の座標を算出し、算出した複数の補正参照点の間の距離を計測することで、第１画像データ内の校正用画像の格子点間の距離を計測することができる。このように、画像処理装置１は、第１撮像装置２が生成した画像データに含まれている物体等の輪郭線が不明瞭であっても、当該物体の形状等を計測することができる。

【0051】

［画像処理装置１における処理の流れ］
図６は、画像処理装置１における処理の流れを示す図である。画像データ取得部１３１は、例えば第１撮像装置２から第１画像データを取得し（Ｓ１）、第２撮像装置３から第２画像データを取得する（Ｓ２）。画像データ取得部１３１は、所定の時間間隔で第１画像データ及び第２画像データを取得してもよく、校正用データを作成するための指示を受けた時点で第１画像データ及び第２画像データを取得してもよい。

【0052】

続いて、座標変換部１３４は、第１画像データに対応する画像と第２画像データに対応する画像とが同等の形状でない場合（Ｓ３においてＹＥＳ）、第１画像データに対応する画像又は第２画像データに対応する画像の少なくともいずれかを変形させる（Ｓ４）。座標変換部１３４は、第１画像データに対応する画像と第２画像データに対応する画像とが同等の形状である場合（Ｓ３においてＮＯ）、第１画像データに対応する画像及び第２画像データに対応する画像を変形させない。座標変換部１３４は、第１特徴情報群に対応する第１方向情報と第２特徴情報群に対応する第２方向情報とを照合した結果が所定の条件（例えば最小になるという条件）に基づいて、座標変換パラメータ、すなわち変換関数のパラメータを特定する（Ｓ５）。

【0053】

Ｓ３からＳ５の処理の前、Ｓ３からＳ５の処理の後、又はＳ３からＳ５の処理と並行して、参照点特定部１３３は、第２画像データに含まれる校正用画像の模様の複数の参照点を特定する（Ｓ６）。

【0054】

続いて、座標変換部１３４は、Ｓ５で特定したパラメータの変換関数を用いて、参照点特定部１３３が特定した複数の参照点の座標を変換することにより、第１画像データにおける複数の補正参照点の座標を特定する（Ｓ７）。データ生成部１３５は、座標変換部１３４が特定した複数の補正参照点の座標に基づいて、第１撮像装置２の校正用データを生成する（Ｓ８）。

【0055】

［変形例］
以上説明した例の他に各種の変形例が想定される。図１においては、黒色と白色の四角形が交互に配置された校正用画像が示されていたが、校正用画像及び校正用ボードの形態は任意である。

【0056】

図７は、校正用画像の他の例を示す図である。図７（ａ）の校正用画像においては、黒い円が等間隔で上下左右方向に配置されている。図７（ｂ）の校正用画像においては、それぞれ模様が異なる四角形が等間隔で上下左右方向に配置されている。このように、参照点を抽出できる模様が含まれている限りにおいて、校正用画像の形態は任意である。

【0057】

図８は、校正用ボードの他の例を示す図である。図８に示す校正用ボードは開口を有することを特徴としている。すなわち、第１画像データは、校正用画像を含む板状物体が撮像されることにより生成された画像データであり、校正用画像の模様には、板状物体に形成された開口も含まれる。図８に示す校正用ボードには、２つの円形の開口、四角形の開口及び星形の開口が形成されており、開口を通して背景が見えている。校正用ボードの色と背景の色とが異なることで、校正用ボードに校正用画像が描かれている場合と同等の作用が生じる。

【0058】

［画像処理装置１による効果］
以上説明したように、特徴情報群抽出部１３２は、第１画像データに含まれる校正用画像の明度の勾配を示す第１特徴情報群と、第２画像データに含まれる校正用画像の明度の勾配を示す第２特徴情報群とを抽出する。そして、座標変換部１３４は、参照点特定部１３３が特定した第２画像データに含まれている複数の参照点の座標を、第１特徴情報群と第２特徴情報群とを照合した結果に基づいて座標変換することにより、複数の補正参照点の座標を特定する。そして、データ生成部１３５は、複数の補正参照点の座標に基づいて、第１撮像装置２の校正用データを生成する。

【0059】

画像処理装置１がこのように構成されていることで、第１画像データが例えば赤外線画像データである場合のように、校正用画像の参照点の位置が不明瞭な場合であっても、第１画像データにおける参照点の位置を特定することができる。その結果、画像処理装置１は、赤外線カメラのように校正用画像の模様の輪郭線を明瞭に撮影できない撮像装置の校正用データを生成することができる。すなわち、画像処理装置１により、撮像装置の種類によらず撮像装置の校正に用いられるデータを生成しやすくなる。

【0060】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0061】

１ 画像処理装置
２ 第１撮像装置
３ 第２撮像装置
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 画像データ取得部
１３２ 特徴情報群抽出部
１３３ 参照点特定部
１３４ 座標変換部
１３５ データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】