特許 7583250 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241107BHJP

   G06T 3/047 20240101ALI20241107BHJP

   G06T 5/00 20240101ALI20241107BHJP

   G06T 7/00 20170101ALI20241107BHJP

【ＦＩ】

H04N23/60 500

G06T3/047

G06T5/00 700

G06T7/00 660A

【請求項の数】 6

(21)【出願番号】P 2020185948

(22)【出願日】2020-11-06

(65)【公開番号】P2022075264

(43)【公開日】2022-05-18

【審査請求日】2023-07-24

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】100095795

【弁理士】

【氏名又は名称】田下 明人

(74)【代理人】

【識別番号】100143454

【弁理士】

【氏名又は名称】立石 克彦

(72)【発明者】

【氏名】関 正貴

【審査官】門田 宏

(56)【参考文献】

【文献】特開２０１３－１６２２８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

Ｇ０６Ｔ ３／０４７

Ｇ０６Ｔ ５／８０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像レンズと前記撮像レンズによる像を撮像する撮像素子とを有する撮像部と、
前記撮像部の撮像画像の歪みを補正するための歪み係数を算出する歪み係数算出部と、
前記歪み係数算出部により算出された前記歪み係数に基づいて前記撮像部の撮像画像の歪みを補正する歪み補正部と、
前記歪み補正部によって歪みを補正された補正画像を利用した処理を行う処理部と、
を備え、
前記歪み係数算出部は、複数のセルが配列されてなる二次元コードを前記撮像部にて撮像した撮像画像において前記複数のセルの少なくとも一部となる座標比較用セルのそれぞれの座標となるピクセル座標と、前記座標比較用セルに対応する前記二次元コードのセルのそれぞれの三次元位置座標とに基づいて、前記歪み係数を算出し、
前記撮像部により撮像された前記二次元コードの撮像画像に対して当該二次元コードをデコードするデコード処理を行うデコード部を備え、
前記二次元コードには、利用者の顔画像から抽出された顔特徴点に関する顔特徴点情報が記録され、
前記処理部は、前記デコード部によるデコード結果として得られた前記顔特徴点情報と、前記撮像部により撮像されて前記歪み補正部によって歪みを補正された前記利用者の顔画像から抽出された顔特徴点とを利用して、前記利用者の認証処理を行うことを特徴とする画像処理装置。

【請求項2】

前記二次元コードには、当該二次元コードのセルのサイズに関する情報が記録されることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

撮像レンズと前記撮像レンズによる像を撮像する撮像素子とを有する撮像部と、
前記撮像部の撮像画像の歪みを補正するための歪み係数を算出する歪み係数算出部と、
前記歪み係数算出部により算出された前記歪み係数に基づいて前記撮像部の撮像画像の歪みを補正する歪み補正部と、
前記歪み補正部によって歪みを補正された補正画像を利用した処理を行う処理部と、
を備え、
前記歪み係数算出部は、複数のセルが配列されてなる二次元コードを前記撮像部にて撮像した撮像画像において前記複数のセルの少なくとも一部となる座標比較用セルのそれぞれの座標となるピクセル座標と前記座標比較用セルに対応する前記二次元コードのセルのそれぞれの三次元位置座標から算出されるピクセル座標との誤差が小さくなるように、前記歪み係数を算出することを特徴とする画像処理装置。

【請求項4】

前記撮像部は、前記撮像レンズとして魚眼レンズを採用することで魚眼カメラとして機能することを特徴とする請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記歪み係数算出部は、複数回撮像された前記二次元コードの前記ピクセル座標と前記三次元位置座標とに基づいて、前記歪み係数を算出することを特徴とする請求項１～４のいずれか一項に記載の画像処理装置。

【請求項6】

前記二次元コードは、画面表示されていることを特徴とする請求項１～５のいずれか一項に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像した撮像画像の歪みを補正してその補正した補正画像を利用した処理を行う画像処理装置に関するものである。

【背景技術】

【0002】

魚眼レンズを採用した魚眼カメラ等で撮像対象を撮像した撮像画像では、撮像対象が歪むように撮像されるため、その撮像画像を利用した処理によっては、撮像画像での歪みの補正を要する場合がある。このように撮像画像の歪みを補正するための技術として、例えば、下記特許文献１に開示されるキャリブレーションシステムが知られている。このキャリブレーションシステムでは、キャリブレーション装置は、撮像装置によってキャリブレーション用のチャートが撮影された画像のデータを取得し、それに基づきキャリブレーションの演算を行うことで、撮像装置のカメラの歪み補正係数や内部パラメータ、外部パラメータなどのカメラパラメータを導出するように構成されている。このように導出されたカメラパラメータを利用することで、撮像装置の撮像画像の歪みを抑制するように補正処理を行うことができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７６４５３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、カメラの個体差により固有のカメラパラメータにばらつきが発生しうるため、その発生したばらつきが大きくなるために、カメラごとに歪み補正係数等を算出するためのカメラキャリブレーションが必要になる場合がある。すなわち、製品出荷前など、事前にカメラごとにカメラキャリブレーションを要する場合があり、工程作業時間の短縮等が図り難くなるという問題がある。このようなカメラキャリブレーションに関する問題は、魚眼レンズを採用した魚眼カメラや広角レンズを採用した広角カメラだけでなく、一般的な撮像レンズを採用したカメラであっても生じる場合がある。

【0005】

本発明は、上述した課題を解決するためになされたものであり、その目的とするところは、事前にカメラごとにカメラキャリブレーションを実施することなく、撮像画像の歪みを補正可能な構成を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するため、特許請求の範囲の請求項１に記載の画像処理装置（２０）は、
撮像レンズと前記撮像レンズによる像を撮像する撮像素子とを有する撮像部（２３）と、
前記撮像部の撮像画像の歪みを補正するための歪み係数を算出する歪み係数算出部（２１）と、
前記歪み係数算出部により算出された前記歪み係数に基づいて前記撮像部の撮像画像の歪みを補正する歪み補正部（２１）と、
前記歪み補正部によって歪みを補正された補正画像を利用した処理を行う処理部（２１）と、
を備え、
前記歪み係数算出部は、複数のセルが配列されてなる二次元コード（Ｃ）を前記撮像部にて撮像した撮像画像において前記複数のセルの少なくとも一部となる座標比較用セルのそれぞれの座標となるピクセル座標と、前記座標比較用セルに対応する前記二次元コードのセルのそれぞれの三次元位置座標とに基づいて、前記歪み係数を算出し、
前記撮像部により撮像された前記二次元コードの撮像画像に対して当該二次元コードをデコードするデコード処理を行うデコード部を備え、
前記二次元コードには、利用者の顔画像から抽出された顔特徴点に関する顔特徴点情報が記録され、
前記処理部は、前記デコード部によるデコード結果として得られた前記顔特徴点情報と、前記撮像部により撮像されて前記歪み補正部によって歪みを補正された前記利用者の顔画像から抽出された顔特徴点とを利用して、前記利用者の認証処理を行うことを特徴とする。
なお、上記各括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

【発明の効果】

【0007】

請求項１の発明では、歪み係数算出部により算出された歪み係数に基づいて撮像部の撮像画像の歪みが歪み補正部により補正され、この補正画像を利用した処理が処理部により行われる。歪み係数算出部では、複数のセルが配列されてなる二次元コードを撮像部にて撮像した撮像画像において複数のセルの少なくとも一部となる座標比較用セルのそれぞれの座標となるピクセル座標と、座標比較用セルに対応する二次元コードのセルのそれぞれの三次元位置座標とに基づいて、歪み係数が算出される。

【0008】

このように、撮像された二次元コードを用いて歪み係数が算出されるため、専用のキャリブレーション用のチャート等を用意することなく、容易に歪み係数を算出することができる。このため、撮像画像を利用した処理を行うごとに二次元コードを撮像して歪み係数を算出することもできるので、事前にカメラごとにカメラキャリブレーションを実施することなく、その算出された歪み係数に基づいて撮像画像の歪みを補正することができる。

【0009】

請求項４の発明のように、撮像部が撮像レンズとして魚眼レンズを採用することで魚眼カメラとして機能する構成でも、魚眼画像を利用した処理を行うごとに撮像した二次元コードを利用して歪み係数を算出することで、その算出された歪み係数に基づいて魚眼画像の歪みを補正することができる。

【0010】

請求項１の発明では、撮像部により撮像された二次元コードの撮像画像に対して当該二次元コードをデコードするデコード処理を行うデコード部が設けられ、デコード部によるデコード結果を用いて補正画像を利用した処理が処理部により行われる。これにより、デコード結果を得るために撮像した二次元コードの撮像画像から歪み係数を算出できるので、歪み係数を算出するためだけにデコード不要な二次元コードを撮像することもないので、処理の効率化を図ることができる。

【0011】

請求項１の発明では、二次元コードには、利用者の顔画像から抽出された顔特徴点に関する顔特徴点情報が記録され、処理部では、デコード部によるデコード結果として得られた顔特徴点情報と、撮像部により撮像されて歪み補正部によって歪みを補正された利用者の顔画像から抽出された顔特徴点とを利用して、利用者の認証処理が行われる。これにより、顔特徴点情報を得るために撮像した二次元コードの撮像画像から歪み係数を算出できるだけでなく、その歪み係数に基づいて顔特徴点を抽出する利用者の顔画像の歪みを補正できるので、認証処理の認証精度を向上させることができる。

【0012】

請求項２の発明では、二次元コードには、当該二次元コードのセルのサイズに関する情報が記録されるため、撮像した二次元コードの実際の形状を正確に把握できる。これにより、上記座標比較用セルに対応する二次元コードのセルのそれぞれの三次元位置座標を正確に算出しやすくなるので、歪み係数の算出精度、すなわち、撮像画像の歪み補正精度を向上させることができる。

【0013】

請求項５の発明では、歪み係数算出部により、複数回撮像された二次元コードのピクセル座標と三次元位置座標とに基づいて、歪み係数が算出される。これにより、１つの撮像画像から二次元コードのピクセル座標と三次元位置座標とに基づいて歪み係数が算出される場合と比較して、撮像時の手振れ等の影響を抑制しやすくなるので、歪み係数の算出精度、すなわち、撮像画像の歪み補正精度を向上させることができる。

【0014】

請求項６の発明では、二次元コードは、画面表示されているため、用紙等に印刷されたために撮像時に二次元コード自体が歪むようなこともないので、歪み係数の算出精度、すなわち、撮像画像の歪み補正精度を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係る画像処理装置を備える認証システムの構成を概略的に示す説明図である。

【図2】撮像された顔画像データから顔特徴点を抽出する箇所の一部を例示する説明図である。

【図3】画像処理装置の電気的構成を概略的に示すブロック図である。

【図4】携帯端末の電気的構成を概略的に示すブロック図である。

【図5】画像処理装置による認証処理の流れを例示するフローチャートの一部である。

【図6】画像処理装置による認証処理の流れを例示するフローチャートの一部である。

【図7】カメラ座標系とピクセル座標系との関係を説明する説明図である。

【発明を実施するための形態】

【0016】

［第１実施形態］
以下、本発明に係る画像処理装置を備える認証システムを具現化した一実施形態について、図面を参照して説明する。
図１に示す認証システム１０は、主として、画像処理装置２０を備えており、利用者の顔画像から抽出された顔特徴点や個人情報等が記録される認証用の二次元コード（以下、認証用コードＣともいう）を利用してその利用者の個人認証を行うシステムとして構成されている。

【0017】

本実施形態では、認証システム１０は、例えば、顔認証が成功した利用者が特定の部屋への入室を許可される入退管理システムに採用されている。利用者は、認証用コードＣを備える情報コード記録媒体として携帯端末３０を携帯しており、上記特定の部屋への出入口に設置される画像処理装置２０に対して携帯端末３０に画面表示された認証用コードＣを撮像させる動作を行うことで、認証成功時に上記特定の部屋への入室が許可される。具体的には、画像処理装置２０から認証成功情報が出入口の扉に設けられる電気錠の施解錠を制御する施解錠制御装置に送信されることで、施解錠制御装置によって電気錠が解錠状態になることで、上記特定の部屋への入室が許可される。

【0018】

認証用コードＣは、複数の明色系セル及び暗色系セルが配列されてなる二次元コード、具体的には、ＱＲコード（登録商標）として構成されて、個人認証を申請する利用者からその顔画像データを取得した所定のコード生成装置によって生成される。このコード生成装置は、利用者から取得した顔画像データから顔特徴点を抽出し、この顔特徴点に関する顔特徴点情報や利用者の個人情報に加えて、セルのサイズに関する情報（以下、単に、セルサイズともいう）等を情報コード化して認証用コードＣを生成する。本実施形態では、顔特徴点として、目、眉、鼻、耳、口などの顔器官のそれぞれの大きさや形状、輪郭や顔器官同士の配置位置等の項目が採用されている。そして、コード生成装置により実施される公知の顔特徴点を抽出するための顔特徴点抽出処理に応じて、例えば、図２に例示するように取得した顔画像データＤについて、項目ごとの特徴、例えば、「Ｄ１：目が切れ長」や「Ｄ２：口が大きめ」等のデータが顔特徴点としてそれぞれ算出されて抽出される。そして、コード生成装置により実施される公知の情報コード生成処理に応じて、上述のように抽出された顔特徴点に関する情報や個人情報、セルサイズ等に基づいて、復号鍵（暗号鍵）を用いて復号可能に暗号化して認証用コードＣが生成される。

【0019】

次に、画像処理装置２０について、図１及び図３を用いて説明する。
画像処理装置２０は、携帯端末３０に画面表示された認証用コードＣを利用して利用者の認証を行う認証装置として構成されるものであり、上記特定の部屋への出入口、具体的には、出入口に設けられる扉近傍の壁面にて利用者の目線の高さとなる位置に設置されている。この画像処理装置２０は、図３に示すように、制御部２１、記憶部２２、撮像部２３、表示部２４、照明部２５、操作部２６、通信部２７などを備えている。

【0020】

制御部２１は、マイコンを主体として構成されて、画像処理装置２０の全体的制御や各種演算を行うものであり、後述する認証処理を実行するように機能する。記憶部２２は、ＲＯＭ、ＲＡＭ、ＨＤＤ、不揮発性メモリなどの公知の記憶媒体によって構成されており、認証処理を実行するためのアプリケーションプログラムや所定のデータベース等が、制御部２１により利用可能に予め格納されている。また、記憶部２２には、認証用コードＣを解読するための復号鍵が予め記憶されている。

【0021】

撮像部２３は、撮像レンズとこの撮像レンズによる像を撮像する撮像素子（例えば、Ｃ－ＭＯＳエリアセンサ、ＣＣＤエリアセンサ等）とを有するカメラとして構成されるもので、読取窓（撮像窓）を介して撮像した撮像画像の画像データが制御部２１に出力されるように構成されている。本実施形態では、撮像部２３は、撮像レンズとして魚眼レンズを採用することでより広範囲を撮像可能な魚眼カメラとして構成されている。

【0022】

制御部２１では、後述するように撮像部２３にて撮像された利用者の顔画像の歪みが補正された後、この補正画像に対して上記コード生成装置と同様に顔特徴点抽出処理が実施されることで、顔特徴点が抽出される。また、制御部２１では、撮像部２３により撮像された認証用コードＣの撮像画像に対して、記憶部２２に記憶されている復号鍵を用いて暗号化された認証用コードＣをデコードするデコード処理が行われることで、認証用コードＣに記録された顔特徴点情報やセルサイズ等がデコード結果として得られる。

【0023】

表示部２４は、例えば、ＬＥＤであって、図１に示すように撮像部２３の読取窓を囲うように略四角環状に配置されており、制御部２１により制御されて、顔特徴点の抽出の成否や認証処理の結果等に応じて、その点灯・点滅状態が変化するように構成されている。このような配置構成のため、撮像部２３は、表示部２４を見ている利用者の視野範囲内となる位置に配置されることとなる。

【0024】

照明部２５は、照明光源や照明レンズ等を備えており、制御部２１により制御されて、撮像部２３の撮像範囲に向けて照明光を照射するように構成されている。操作部２６は、入力操作に応じた操作信号を制御部２１に対して出力する構成をなしており、制御部２１は、この操作信号を受けて入力操作に応じた処理を行うようになっている。通信部２７は、上記施解錠制御装置や入退管理用のサーバなどの外部装置との間でデータ通信を行うための通信インタフェースとして構成されており、制御部２１と協働して通信処理を行うように構成されている。

【0025】

次に、携帯端末３０について図１及び図４を用いて説明する。
図１及び図４に示す携帯端末３０は、例えば、スマートフォンであって、ＣＰＵ等からなる制御部３１、メモリ３２、カメラとして構成される撮像部３３、制御部３１によって表示内容が制御されるタッチパネル３４、タッチパネル３４に対するタッチ操作やキー操作に信号を制御部３１に出力する操作部３５、外部機器等と通信するための通信部３６などを備えている。

【0026】

このように構成される携帯端末３０のメモリ３２には、上述したコード生成装置にて生成された認証用コードＣが予め記憶されている。そして、利用者による操作部３５に対する所定の操作等に応じて、メモリ３２から読み出された認証用コードＣがタッチパネル３４に画面表示された状態になる（図１参照）。

【0027】

次に、画像処理装置２０にてなされる認証処理について、図５及び図６に示すフローチャートを参照して詳述する。
画像処理装置２０の制御部２１により認証処理が開始されると、図５のステップＳ１０１に示す撮像処理がなされる。この処理では、照明部２５により読取窓を介して照明光が照射された状態で撮像部２３による撮像がなされる。続いて、ステップＳ１０３の判定処理にて、撮像画像に占める大きさが規定値（例えば、撮像領域の３０％）以上となる二次元コードが撮像されているか否かについて判定される。ここで、二次元コードが撮像されていないか、撮像されていてもその大きさが上記規定値未満であると、ステップＳ１０３にてＮｏと判定されて、上記ステップＳ１０１からの処理がなされる。

【0028】

一方、撮像画像に占める大きさが上記規定値以上となる二次元コードが撮像されている場合には（Ｓ１０３でＹｅｓ）、その二次元コードが認証用コードＣであることを前提に、撮像画像に対して上記復号鍵を用いたデコード処理がなされる（Ｓ１０５）。そして、認証用コードＣのデコードに成功すると（Ｓ１０７でＹｅｓ）、そのデコードに成功した撮像画像が記憶部２２に保存（記憶）される。（Ｓ１０９）。なお、上記デコード処理を行う制御部２１は、「デコード部」の一例に相当し得る。

【0029】

続いて、ステップＳ１１１に示す判定処理にて、記憶部２２に保存された撮像画像の数が規定数（例えば、１０枚）であるか否かについて判定され、保存された撮像画像の数が上記規定数に達していない場合には（Ｓ１１１でＮｏ）、上記ステップＳ１０１からの処理がなされる。

【0030】

利用者が携帯端末３０に画面表示された認証用コードＣを読取窓に近づけるようにしてかざしていることから、撮像画像に占める大きさが上記規定値以上となる認証用コードＣが連続して撮像されて、その撮像画像の保存回数が上記規定数に達すると（Ｓ１１１でＹｅｓ）、ステップＳ１１３に示す顔特徴点情報等取得処理がなされる。この処理では、上記デコード処理のデコード結果に基づいて、顔特徴点情報及びセルサイズ等が取得される。

【0031】

続いて、ステップＳ１１５に示すピクセル座標取得処理がなされる。この処理では、記憶部２２に保存されている上記規定数の認証用コードＣの撮像画像に対して、認証用コードＣを構成する各暗色系セルが座標比較用セルとして選択され、画像平面を基準とするピクセル座標系において、撮像画像での各座標比較用セルの中心位置をピクセル座標（画像座標）ｍ_２ｉ（ｕ，ｖ）として二次元的に算出するための処理がそれぞれの撮像画像に対してなされる。

【0032】

次に、ステップＳ１１７に示す三次元位置座標取得処理がなされる。この処理では、認証用コードＣの撮像画像ごとに、撮像部２３を基準とするカメラ座標系において、認証用コードＣの上記座標比較用セルに相当する実際のセルの中心位置を三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）として三次元的に算出するための処理がなされる。具体的には、認証用コードＣの四隅のいずれかを仮に原点として、上述のように取得されたセルサイズを利用することで認証用コードＣの正確な形状を把握できるので、上記三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）を正確に算出することができる。

【0033】

上述のようにピクセル座標ｍ_２ｉ（ｕ，ｖ）及び三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）が算出されて取得されると、ステップＳ１１９に示す歪み係数算出処理がなされる。この処理では、図７に示すように、Ｚｈａｎｇの手法を用いて、認証用コードＣの三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）とその認証用コードＣを撮像したときのピクセル座標ｍ_２ｉ（ｕ，ｖ）との上記座標比較用セルごとのペアを集めて、三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）から算出されるピクセル座標ｍ_３ｉ（ｕ，ｖ）と上記ピクセル座標ｍ_２ｉ（ｕ，ｖ）との誤差が小さくなるように歪み係数（カメラパラメータｐ）が算出される。ピクセル座標ｍ_３ｉ（ｕ，ｖ）を計算する関数をＦ、カメラパラメータをまとめてｐとしたとき、以下の式（１）のように表すことができる。

【数1】

【0034】

上述した関数Ｆに関して、カメラ座標系から見てｘ_ｉ（ｘ，ｙ、ｚ）にある座標比較用セルは、以下の式（２）～（８）を用いることで、ピクセル座標ｍ_３ｉ（ｕ，ｖ）に変換される。
ｘ’＝ｘ／ｚ ・・・（２）
ｙ’＝ｙ／ｚ ・・・（３）

【数4】

【数5】

ｒ^２＝ｙ’^２＋ｘ’^２ ・・・（６）
ｕ＝ｆ_ｘｘ”＋ｃ_ｘ ・・・（７）
ｖ＝ｆ_ｙｙ”＋ｃ_ｙ ・・・（８）
ここで、（ｘ’，ｙ’）は、ｚ＝１に画像平面があると仮定したときの座標比較用セルを二次元座標画像平面に映し込んだ時の座標（理想）に相当する。また、（ｘ”，ｙ”）は、（ｘ’，ｙ’）に対して歪みを考慮した場合の三次元位置座標に相当する。また、ｋ_１～ｋ_６，ｐ_１～ｐ_２，ｓ_１～ｓ_４は、歪み係数（歪みパラメータ）であり、ｆ_ｘ，ｆ_ｙは、焦点距離であり、ｃ_ｘ，ｃ_ｙは、カメラ（撮像部２３）の光軸中心である。

【0035】

上記式（２）～（８）を利用するように上記式（１）の最適化問題を解くことで、歪み係数ｋ_１～ｋ_６，ｐ_１～ｐ_２，ｓ_１～ｓ_４を算出することができる。なお、最適化問題では、様々な手法を用いることができ、例えば、ＬＭ（レーベンバーグ・マーカート）法や最小二乗法を用いることができる。なお、上記歪み係数算出処理を行う制御部２１は、「歪み係数算出部」の一例に相当し得る。

【0036】

上述のように歪み係数が算出されると、図６のステップＳ１２１に示す顔撮像処理がなされ、撮像部２３により読取窓を介して利用者の顔画像を撮像するための処理がなされる。続いて、ステップＳ１２３に示す画像補正処理がなされ、上記ステップＳ１２１にて撮像された撮像画像が、上記ステップＳ１１９にて算出された歪み係数に応じて、歪みが抑制されるように補正される。なお、上記画像補正処理を行う制御部２１は、「歪み補正部」の一例に相当し得る。

【0037】

続いて、ステップＳ１２５に示す顔特徴点抽出処理がなされ、上述のように補正された撮像画像（補正画像）から顔特徴点を抽出するための処理がなされる。この補正画像から顔特徴点が抽出されない場合には（Ｓ１２７でＮｏ）、上記ステップＳ１２１からの処理がなされて、再び撮像されて歪み補正された補正画像から顔特徴点を抽出処理が繰り返される。なお、上記顔特徴点抽出処理を行う制御部２１は、補正画像を利用した処理を行う「処理部」の一例に相当し得る。

【0038】

そして、補正画像から顔特徴点の抽出に成功すると（Ｓ１２７でＹｅｓ）、ステップＳ１２９に示す照合処理がなされ、補正画像から抽出した顔特徴点と認証用コードＣのデコード処理（Ｓ１０５）によるデコード結果として得られた顔特徴点情報とを利用して、顔特徴点における全ての項目について一致するか否か照合される。

【0039】

そして、ステップＳ１３１に示す判定処理にて、顔特徴点における全ての項目が一致することから認証成功と判定されると（Ｓ１３１でＹｅｓ）、上記施解錠制御装置に対して認証成功情報が送信されることで（Ｓ１３３）、本認証処理が終了する。なお、上記判定処理では、顔特徴点における所定数の項目が一致するとみなされる場合に認証成功と判定されてもよい。

【0040】

上述のように画像処理装置２０から認証成功情報が送信されて、この認証成功情報を受信した施解錠制御装置により電気錠が解錠状態になることで、利用者は、上記特定の部屋への入室が可能となる。

【0041】

以上説明したように、本実施形態に係る画像処理装置２０では、歪み係数算出処理（Ｓ１１９）により算出された歪み係数に基づいて撮像部２３の撮像画像の歪みが画像補正処理（Ｓ１２３）により補正され、この補正画像を利用した顔特徴点抽出処理（Ｓ１２５）が行われる。上記歪み係数算出処理では、複数のセルが二次元的に配列されてなる認証用コードＣを撮像部２３にて撮像した撮像画像において複数のセルの少なくとも一部となる座標比較用セルのそれぞれの座標となるピクセル座標ｍ_２ｉ（ｕ，ｖ）と、座標比較用セルに対応する認証用コードＣのセルのそれぞれの三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）とに基づいて、歪み係数が算出される。

【0042】

このように、撮像された認証用コードＣを用いて歪み係数が算出されるため、専用のキャリブレーション用のチャート等を用意することなく、容易に歪み係数を算出することができる。このため、撮像画像を利用した処理を行うごとに認証用コードＣを撮像して歪み係数を算出できるので、事前にカメラごとにカメラキャリブレーションを実施することなく、その算出された歪み係数に基づいて撮像画像の歪みを補正することができる。

【0043】

そして、撮像部２３が撮像レンズとして魚眼レンズを採用することで魚眼カメラとして機能する構成でも、魚眼画像を利用した顔特徴点抽出処理等を行うごとに撮像した認証用コードＣを利用して歪み係数を算出することで、その算出された歪み係数に基づいて魚眼画像の歪みを補正することができる。なお、撮像部２３は、魚眼レンズを採用した魚眼カメラとして構成されることに限らず、魚眼カメラよりも画角が狭い広角レンズを採用した広角カメラとして構成されてもよいし、一般的な撮像レンズを採用したカメラとして構成されてもよい。このように構成される場合でも、広角画像等の歪みを補正することができる。

【0044】

特に、撮像部２３により撮像された認証用コードＣの撮像画像に対して当該認証用コードＣをデコードするデコード処理がなされ、デコード結果を用いて補正画像を利用した顔特徴点抽出処理等が行われる。これにより、デコード結果を得るために撮像した認証用コードＣの撮像画像から歪み係数を算出できるので、歪み係数を算出するためだけにデコード不要な二次元コードを撮像することもないので、処理の効率化を図ることができる。

【0045】

さらに、認証用コードＣには、利用者の顔画像から抽出された顔特徴点に関する顔特徴点情報が記録され、デコード結果として得られた顔特徴点情報と、撮像部２３により撮像されて画像補正処理によって歪みを補正された利用者の顔画像から抽出された顔特徴点とを利用して、利用者の認証処理が行われる。これにより、顔特徴点情報を得るために撮像した認証用コードＣの撮像画像から歪み係数を算出できるだけでなく、その歪み係数に基づいて顔特徴点を抽出する利用者の顔画像の歪みを補正できるので、認証処理の認証精度を向上させることができる。

【0046】

また、認証用コードＣには、当該認証用コードＣのセルのサイズに関する情報が記録されるため、撮像した認証用コードＣの実際の形状を正確に把握できる。これにより、上記座標比較用セルに対応する認証用コードＣのセルのそれぞれの三次元位置座標を正確に算出しやすくなるので、歪み係数の算出精度、すなわち、撮像画像の歪み補正精度を向上させることができる。なお、認証用コードＣは、予め決められたセルサイズでコード生成されることで、セルサイズの記録を不要としてもよい。

【0047】

また、上記歪み係数算出処理では、上記規定数に応じて複数回撮像された認証用コードＣのピクセル座標ｍ_２ｉ（ｕ，ｖ）と三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）とに基づいて、歪み係数が算出される。これにより、１つの撮像画像から認証用コードＣのピクセル座標と三次元位置座標とに基づいて歪み係数が算出される場合と比較して、撮像時の手振れ等の影響を抑制しやすくなるので、歪み係数の算出精度、すなわち、撮像画像の歪み補正精度を向上させることができる。

【0048】

また、認証用コードＣは、携帯端末３０にて画面表示されているため、用紙等に印刷されたために撮像時に認証用コードＣ自体が歪むようなこともないので、歪み係数の算出精度、すなわち、撮像画像の歪み補正精度を向上させることができる。なお、認証用コードＣは、画面表示されて利用されることに限らず、例えば、社員証や会員証などの歪み難い印刷媒体等に印刷されて利用されてもよい。

【0049】

［他の実施形態］
なお、本発明は上記各実施形態及び変形例等に限定されるものではなく、例えば、以下のように具体化してもよい。
（１）画像処理装置２０の制御部２１にてなされる認証処理では、利用者によりかざされた認証用コードＣを撮像するごとに歪み係数を算出することに限らず、所定期間以内で既に算出した歪み係数の流用を前提に、上記ステップＳ１０１の処理から上記ステップＳ１１９までの処理を廃止してもよい。

【0050】

（２）ピクセル座標ｍ_２ｉ（ｕ，ｖ）及び三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）の算出対象となる座標比較用セルは、認証用コードＣを構成する各暗色系セルに設定されることに限らず、例えば、さらに一部の暗色系セルに設定されてもよいし、各明色系セルに設定されてもよい。また、ピクセル座標ｍ_２ｉ（ｕ，ｖ）及び三次元位置座標ｘ_ｉ（ｘ，ｙ、ｚ）は、座標比較用セルの中心位置に設定されることに限らず、例えば、四隅の１つに設定されてもよい。

【0051】

（３）本発明は、顔画像を用いた認証処理を行う画像処理装置２０に採用されることに限らず、例えば、二次元コードのデコード結果と撮像画像を補正した補正画像とを利用した所定の処理を行う画像処理装置に採用されてもよい。また、本発明は、例えば、デコード結果を利用しない二次元コードの撮像画像から算出した歪み係数に基づいて補正した補正画像を利用する画像処理装置に採用されてもよい。

【0052】

（４）認証用コードＣは、ＱＲコードとして構成されることに限らず、複数の暗色系セル及び明色系セルが配列されてなる他のコード種別の二次元コード、例えば、データマトリックスコード、マキシコード等として構成されてもよいし、複数のカラーセルが二次元状に配列されてなる二次元コードとして構成されてもよい。

【符号の説明】

【0053】

１０…認証システム
２０…画像処理装置
２１…制御部（歪み係数算出部，歪み補正部，処理部，デコード部）
２３…撮像部
３０…携帯端末
Ｃ…認証用コード（二次元コード）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】