特開 2020-160221 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-160221(P2020-160221A)

(43)【公開日】2020年10月1日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G09G 5/00 20060101AFI20200904BHJP

   H04N 5/66 20060101ALI20200904BHJP

   G09G 5/36 20060101ALI20200904BHJP

   G06T 7/33 20170101ALI20200904BHJP

【ＦＩ】

   G09G5/00 X

   H04N5/66 Z

   G09G5/00 550C

   G09G5/00 530H

   G09G5/36 520D

   G06T7/33

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2019-58469(P2019-58469)

(22)【出願日】2019年3月26日

(71)【出願人】

【識別番号】000001487

【氏名又は名称】クラリオン株式会社

(74)【代理人】

【識別番号】110000198

【氏名又は名称】特許業務法人湘洋内外特許事務所

(74)【代理人】

【識別番号】110000279

【氏名又は名称】特許業務法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】樋口 晴彦

【テーマコード（参考）】

5C058

5C182

5L096

【Ｆターム（参考）】

5C058BA27

5C182AA02

5C182AA03

5C182AA04

5C182AB08

5C182AB15

5C182AB25

5C182AC03

5C182BA14

5C182CB11

5C182CC26

5C182DA70

5L096AA02

5L096EA33

5L096EA35

5L096EA43

5L096FA09

5L096FA25

5L096FA26

5L096FA69

5L096GA22

5L096JA03

5L096JA18

(57)【要約】

【課題】、撮像画像に含まれない表示画像の撮像位置を推定する。
【解決手段】補間推定部１０４は、表示装置１１０により表示された表示画像の情報および画像解析部１０３で解析された撮像画像の特徴点の位置情報に基づいて、撮像装置１２０により撮像できない表示画像の撮像位置を推定し、画像変形部１０６による変形に必要な情報を生成し、画像変形部１０６は、表示装置１１０の表示部に表示された表示画像の撮像画像が、画像入力部１０１より入力された期待値画像と形状が一致するように、アフィン変換または射影変換または複数の変換の組合せにより画像変形を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

表示画像を撮像させる撮像制御部と、
前記表示画像が撮像された撮像画像の特徴点の位置情報を解析する画像解析部と、
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する推定部とを備える画像処理装置。

【請求項2】

前記推定部は、前記撮像画像の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示部の周縁部の位置を推定する請求項１に記載の画像処理装置。

【請求項3】

前記表示画像は、前記撮像画像に含まれる位置に表示される参照パターンを備え、
前記推定部は、前記参照パターンの撮像結果の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する請求項１に記載の画像処理装置。

【請求項4】

前記推定部で推定される前記表示画像の撮像位置は、前記表示画像を表示させる表示装置の筐体枠で覆われている請求項３に記載の画像処理装置。

【請求項5】

前記参照パターンは、前記筐体枠よりも内側に配置された黒枠パターンであり、
前記推定部は、前記表示部に表示された前記黒枠パターンの撮像位置と、前記表示画像を表示させる表示部の周縁部の位置情報に基づいて、前記筐体枠で覆われた前記表示部の周縁部の位置を推定する請求項４に記載の画像処理装置。

【請求項6】

前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像の画像変形を行う画像変形部をさらに備える請求項１に記載の画像処理装置。

【請求項7】

前記画像変形部は、前記撮像画像の透視変換およびＮ（Ｎは２以上の整数）領域分割自由変形を行う請求項６に記載の画像処理装置。

【請求項8】

前記画像解析部は、表示されたパターン画像の撮像結果の論理積演算に基づいて、前記撮像画像のＮ領域分割画像を抽出する請求項７に記載の画像処理装置。

【請求項9】

前記画像解析部は、前記表示画像の撮像される範囲および撮像されない範囲を切り出す請求項１に記載の画像処理装置。

【請求項10】

前記撮像制御部は、前記撮像画像の階調情報が潰れない撮像条件を設定する請求項１に記載の画像処理装置。

【請求項11】

前記撮像制御部は、２以上の表示画像の撮像条件を固定する請求項１０に記載の画像処理装置。

【請求項12】

前記撮像画像が画像変形された幾何補正後画像に基づいて、撮像されない表示画像の位置情報を推定する請求項６に記載の画像処理装置。

【請求項13】

プロセッサにて実行される画像処理方法であって、
前記プロセッサは、
表示画像が撮像された撮像画像の特徴点の位置情報を解析し、
前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する画像処理方法。

【請求項14】

前記撮像画像の特徴点の位置情報と、前記表示画像を表示させる表示部の位置情報に基づいて、前記撮像画像に含まれない前記表示部の周縁部の位置を推定する請求項１３に記載の画像処理方法。

【請求項15】

前記表示画像の周縁部は、前記表示画像を表示させる表示部の筐体枠で覆われ、
前記表示画像は、前記筐体枠よりも内側に表示される黒枠パターンを備え、
前記プロセッサは、前記表示部に表示された前記黒枠パターンの撮像画像の特徴点の位置情報と、前記表示部の周縁部の位置情報に基づいて、前記筐体枠で覆われた前記表示部の周縁部の位置を推定する請求項１４に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

投影面に含まれる画像に投影用画像を重畳する際の位置ずれを容易に調整できる技術技術として、例えば、特許文献１に開示がある。

【0003】

特許文献１では、「投影面に画像を投影する投影手段と、前記投影面に含まれる画像の色に関する情報を取得する取得手段と、前記取得手段により取得した情報から投影面に含まれる画像と前記投影面に投影された画像との位置ずれを調整するための位置合わせ用画像を生成する生成手段と、前記位置合わせ用画像を前記投影面の画像に重ねて投影するように前記投影手段を制御する制御手段と、を有し、前記生成手段は、前記取得手段により取得した情報に基づいて、前記投影面に含まれる画像の色に対して所定の関係を有し、前記投影面に投影された画像との位置ずれ量を示す位置合わせ用画像を生成することを特徴とする投影装置」が開示されている。特許文献１に開示された技術では、撮影画像から対象を検出し、位置ズレが最小になるように画像の形状を補正できる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８−１９７８２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

表示部を含む製品の試験評価として、表示部に表示される画像をカメラで撮像して製品設計時の画像と一致するか照合し判定する方法がある。この場合、撮像画像から照合される対象である表示部分を検出し、照合する画像との位置ズレを求めて画像を変形させる必要がある。

【0006】

しかしながら、特許文献１には、照合される対象の一部が覆われているときに、その覆われている対象を検出する手法については開示されていない。このため、特許文献１に開示された技術では、表示部の周縁部が筐体によって覆われるような製品であった場合、撮像画像には表示部の周縁部が撮像されず、表示部分を正確に検出し画像変形することができなかった。

【0007】

本発明は、上記事情に鑑みなされたものであり、その目的は、撮像画像に含まれない表示画像の撮像位置を推定することが可能な画像処理装置および画像処理方法を提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、第１の観点に係る画像処理装置は、表示画像を撮像させる撮像制御部と、前記表示画像が撮像された撮像画像の特徴点の位置情報を解析する画像解析部と、前記撮像画像の特徴点の位置情報に基づいて、前記撮像画像に含まれない前記表示画像の撮像位置を推定する推定部とを備える。

【発明の効果】

【0009】

本発明によれば、撮像画像に含まれない表示画像の撮像位置を推定することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、実施形態に係る画像処理装置の構成を示すブロック図である。

【図2】図２は、実施形態に係る画像処理装置が適用される画像表示システムの構成を示す斜視図である。

【図3】図３（ａ）は、期待値画像の一例を示す図、図３（ｂ）は、周縁部が筐体枠で覆われていない場合の図３（ａ）の期待値画像の表示例を示す図、図３（ｃ）は、周縁部が筐体枠で覆われている場合の図３（ａ）の期待値画像の表示例を示す図、図３（ｄ）は、図３（ｂ）の表示画像の撮像例を示す図、図３（ｅ）は、図３（ｃ）の表示画像の撮像例を示す図である。

【図4】図４（ａ）は、黒枠パターンが付加されていない解析用画像の１６分割時の境界座標の一例を示す図、図４（ｂ）は、１６分割画像の生成に用いられる５個のパターン画像の例を示す図、図４（ｃ）は、周縁部が筐体枠で覆われていない場合の図４（ｂ）のパターン画像の撮像例を示す図、図４（ｄ）は、周縁部が筐体枠で覆われている場合の図４（ｂ）のパターン画像の撮像例を示す図である。

【図5】図５（ａ）は、黒枠パターンが付加された解析用画像の１６分割時の境界座標の一例を示す図、図５（ｂ）は、周縁部が筐体枠で覆われている場合の黒枠パターンが図４（ａ）のパターン画像に付加された５個のパターン画像の例を示す図、図５（ｃ）は、周縁部が筐体枠で覆われていない場合の図５（ｂ）のパターン画像の撮像例を示す図、図５（ｄ）は、周縁部が筐体枠で覆われている場合の図５（ｂ）のパターン画像の撮像例を示す図である。

【図6】図６（ａ）は、図５（ｃ）の撮像画像の２値画像を示す図、図６（ｂ）は、図６（ａ）の２値画像を反転させた反転画像を示す図である。

【図7】図７は、図６（ａ）の２値画像および図６（ｂ）の反転画像に基づいて１６分割画像を生成する場合の論理積演算方法を示す図である。

【図8】図８は、撮像画像から解析された１６分割画像の特徴点の座標を示す図である。

【図9】図９は、撮像画像から解析された１６分割画像の特徴点に基づいて推定された周縁部の座標値を示す図である。

【図10】図１０は、実施形態に係る画像処理方法を示すフローチャートである。

【図11】図１１は、図１の画像処理装置のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また、実施形態の中で説明されている諸要素およびその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0012】

図１は、実施形態に係る画像処理装置の構成を示すブロック図である。
図１において、画像処理装置１００は、画像入力部１０１、撮像制御部１０２、画像解析部１０３、補間推定部１０４、画像出力部１０５および画像変形部１０６を備える。画像入力部１０１、撮像制御部１０２、画像解析部１０３、補間推定部１０４、画像出力部１０５および画像変形部１０６は、バス１０７を介して接続されている。このとき、バス１０７は、バス１０７に接続されている各処理部で扱われる画像データ、制御情報および解析情報を仲介する。

【0013】

画像処理装置１００は、バス１０７を介して表示装置１１０および撮像装置１２０に接続されている。画像処理装置１００は、表示装置１１０および撮像装置１２０入と有線接続されてもよいし、無線接続されてもよい。なお、図１では、表示装置１１０および撮像装置１２０は、画像処理装置１００の外部に設けた例で示したが、画像処理装置１００に内蔵されていてもよい。

【0014】

画像入力部１０１は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの外部接続機器から入力される入力画像の処理を行う。例えば、画像入力部１０１は、入力画像がアナログ画像であった場合にはデコード処理によりアナログ画像を量子化し、以降の処理で扱われるデジタル画像に変換する。以降、画像入力部１０１により入力した入力画像を期待値画像と呼ぶ。期待値画像は、例えば、撮像装置１２０で撮像された撮像画像との照合対象である設計画像である。

【0015】

撮像制御部１０２は、画像解析部１０３による画像解析用の撮像を撮像装置１２０に行わせる。このとき、撮像制御部１０２は、画像解析部１０３による画像解析が好適になされるように、撮像装置１２０の露光条件及びホワイトバランスを設定することができる。また、撮像制御部１０２は、表示装置１１０により表示される表示画像の切り替えに合わせて、表示画像の撮像を制御する。例えば、撮像制御部１０２は、表示装置１１０に表示された表示画像を撮像装置１２０に撮像させるときに、撮像画像の階調情報が潰れない撮像条件を設定し、以降の撮像において同一の露光条件およびホワイトバランスを設定する。

【0016】

画像解析部１０３は、表示装置１１０により表示された表示画像が撮像された撮像画像に含まれる形状情報および色情報を解析する。画像解析部１０３は、撮像画像内で特定の特徴を持つ特徴点の座標情報を求め、補間推定部１０４による補間推定に必要な情報を生成したり、画像変形部１０６による画像変形に必要な情報を生成する。画像解析部１０３は、表示画像の撮像される範囲および撮像されない範囲を切り出すことができる。特徴点の座標情報を求める方法の例は、画像のエッジ検出やパターンマッチングなどの特徴量抽出方法等である。

【0017】

補間推定部１０４は、表示装置１１０により表示された解析用画像の情報および画像解析部１０３で解析された撮像画像の特徴点の位置情報に基づいて、撮像装置１２０により撮像できない表示画像の撮像位置を推定し、画像変形部１０６による変形に必要な情報を生成する。撮像装置１２０により撮像できない表示画像の撮像位置は、例えば、表示画像を表示する表示部の周縁部が筐体枠で覆われた状態で撮像されたときの筐体枠に隠れた部分の位置である。

【0018】

このとき、補間推定部１０４は、例えば、撮像装置１２０により撮像された表示画像の位置情報に基づいて、撮像装置１２０により撮像できない表示画像の撮像位置を外挿し、撮像装置１２０により撮像できない表示画像の撮像位置を推定することができる。

【0019】

画像出力部１０５は、画像変形部１０６により画像変形された画像をＰＣなどの外部接続機器に出力する。

【0020】

画像変形部１０６は、撮像装置１２０から入力される撮像画像に対して、画像解析部１０３および補間推定部１０４により得られた情報に基づき画像変形を行う。このとき、画像変形部１０６は、撮像装置１２０により撮像できない表示画像の撮像位置が補間推定された補間推定画像に基づいて画像変形を行う。例えば、画像変形部１０６は、撮像装置１２０により撮像された撮像画像の補間推定画像の形状が、画像入力部１０１より入力された期待値画像の形状と一致するように、アフィン変換または射影変換または複数の変換の組合せにより画像変形を行うことができる。このとき、画像変形部１０６は、補間推定画像の透視変換およびＮ（Ｎは２以上の整数）領域分割自由変形の組合せにより画像変形を行うようにしてもよい。以降、画像変形部１０６により画像変形された画像を幾何補正後画像と呼ぶ。

【0021】

表示装置１１０は、解析用の表示画像または画像入力部１０１により入力された期待値画像を表示する。なお、表示装置１１０は、液晶表示装置であってもよいし、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイまたはブラウン管を用いた表示部であってもよい。また、表示装置１１０は、カーナビゲーションシステム、スマートフォンまたはタブレット端末などの表示部を有する情報処理装置であってもよい。

【0022】

撮像装置１２０は、表示装置１１０により表示される表示画像を撮像する。撮像装置１２０は、表示装置１１０により表示される表示画像を撮像するように設置され、または撮像範囲が設定される。なお、撮像装置１２０は、可視光を撮像するカメラであってもよいし、赤外光を撮像するカメラであってもよい。

【0023】

以下、画像処理装置１００の動作について、表示装置１１０の周縁部が筐体枠により覆われ、撮像装置１２０により表示画像の周縁部が撮像できない場合を例にとって説明する。

【0024】

図２は、実施形態に係る画像処理装置が適用される画像表示システムの構成を示す斜視図である。
図２において、画像表示システムは、画像処理装置１００、表示装置１１０および撮像装置１２０を備える。表示装置１１０は、表示画像を表示する表示部２０１を備える。表示部２０１は、その周縁部が筐体枠２０２で覆われ、表示部２０１に表示された表示画像のうち、筐体枠２０２で覆われた部分は撮像装置１２０から撮像できない。

【0025】

画像処理装置１００は、表示装置１１０に表示画像を表示させ、撮像装置１２０により表示画像を撮像させる。このとき、表示部２０１の周縁部は筐体枠２０２で覆われているため、撮像装置１２０により撮像された撮像画像は、表示部２０１に表示された表示画像のうち、筐体枠２０２で覆われた部分を含まない。

【0026】

図３（ａ）は、期待値画像の一例を示す図、図３（ｂ）は、周縁部が筐体枠で覆われていない場合の図３（ａ）の期待値画像の表示例を示す図、図３（ｃ）は、周縁部が筐体枠で覆われている場合の図３（ａ）の期待値画像の表示例を示す図、図３（ｄ）は、図３（ｂ）の表示画像の撮像例を示す図、図３（ｅ）は、図３（ｃ）の表示画像の撮像例を示す図である。

【0027】

図３（ａ）において、例えば、期待値画像としてチェッカー画像３０１が画像処理装置１１０に入力されたものとする。このとき、画像処理装置１１０は、図３（ｂ）および図３（ｃ）に示すように、そのチェッカー画像３０１を表示部２０１に表示させる。そして、画像処理装置１１０は、図３（ｄ）および図３（ｅ）に示すように、表示部２０１に表示された表示画像を撮像装置１２０に撮像させる。

【0028】

ここで、図３（ｂ）に示すように、図２の表示部２０１の周縁部が筐体枠２０２で覆われていない場合、画像処理装置１００から入力した図３（ａ）のチェッカー画像３０１は、欠落なく表示部２０１に表示される。

【0029】

このため、図３（ｂ）の表示部２０１に表示された表示画像が撮像装置１２０にて撮像されると、図３（ｄ）に示すように、チェッカー画像３０１の外縁２０３の部分に対応した周縁部３０２の欠落がない撮像画像３０１ａが得られる。

【0030】

一方、図３（ｃ）に示すように、図２の表示部２０１の周縁部が筐体枠２０２で覆われている場合、表示部２０１に表示された表示画像の外縁２０３の部分は見えない。このため、画像処理装置１００から入力した図３（ａ）のチェッカー画像３０１は、外縁２０３の部分が欠落した状態で表示部２０１に表示される。

【0031】

このため、図３（ｃ）の表示部２０１に表示された表示画像が撮像装置１２０にて撮像されると、図３（ｅ）に示すように、チェッカー画像３０１の外縁２０３の部分に対応した周縁部３０２が欠落した撮像画像３０１ｂが得られる。

【0032】

図４（ａ）は、黒枠パターンが付加されていない解析用画像の１６分割時の境界座標の一例を示す図、図４（ｂ）は、１６分割画像の生成に用いられる５個のパターン画像の例を示す図、図４（ｃ）は、周縁部が筐体枠で覆われていない場合の図４（ｂ）のパターン画像の撮像例を示す図、図４（ｄ）は、周縁部が筐体枠で覆われている場合の図４（ｂ）のパターン画像の撮像例を示す図である。

【0033】

図４（ａ）において、表示部２０１を水平方向および垂直方向にそれぞれ４分割する。そして、水平方向および垂直方向にそれぞれ４分割された１６個の分割領域の境界座標が既知である解析用画像４００を想定する。これら１６個の分割領域の境界座標は、各分割領域の四隅の座標（ｘ_０、ｙ_０）〜（ｘ_４、ｙ_４）とすることができる。

【0034】

ここで、これら１６個の分割領域に対応した撮像画像を得るために、図４（ｂ）に示すように、５個のパターン画像４０１〜４０５を用いる。パターン画像４０１〜４０５は、期待値画像を示す。パターン画像４０１は、白画像が全面に設定される。パターン画像４０２は、垂直方向に２分割され、白画像および黒画像が各分割領域に設定される。パターン画像４０３は、垂直方向に４分割され、白画像および黒画像が各分割領域に交互に設定される。パターン画像４０４は、水平方向に２分割され、白画像および黒画像が各分割領域に設定される。パターン画像４０５は、水平方向に４分割され、白画像および黒画像が各分割領域に交互に設定される。

【0035】

パターン画像４０１〜４０５が画像処理装置１１０に順次入力されたものとする。このとき、画像処理装置１１０は、そのパターン画像４０１〜４０５を表示部２０１に順次表示させる。そして、画像処理装置１１０は、図４（ｃ）および図４（ｄ）に示すように、表示部２０１に表示された表示画像を撮像装置１２０に順次撮像させる。

【0036】

ここで、周縁部が筐体枠２０２で覆われていない場合、図４（ｃ）の５個の撮像画像４０１ａ〜４０５ａが得られる。画像処理装置１１０は、これら５個の撮像画像４０１ａ〜４０５ａの論理積演算に基づいて、解析用画像４００についての１６個の分割領域の撮像画像を抽出する。

【0037】

一方、周縁部が筐体枠２０２で覆われている場合、図４（ｄ）の５個の撮像画像４０１ｂ〜４０５ｂが得られる。画像処理装置１１０は、これら５個の撮像画像４０１ｂ〜４０５ｂの論理積演算に基づいて、解析用画像４００についての１６個の分割領域の撮像画像を抽出する。

【0038】

そして、画像処理装置１１０は、１６個の分割領域の撮像画像の特徴点の座標値に基づいて幾何補正を実施する。このとき、画像処理装置１１０は、次のような手順にて空間コードを利用した幾何補正を実施することができる。

【0039】

例えば、画像処理装置１１０は、黒と白のように色情報が変化する特徴点の座標値が既知であるパターン画像を表示部２０１またはプロジェクタに表示させる。

【0040】

次に、画像処理装置１１０は、撮像装置１２０により表示映像もしくはプロジェクタ投影像を撮像させ、撮像画像から特徴点を検出して、その特徴点の座標値を求める。そして、画像処理装置１１０は、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係を得る。

【0041】

次に、画像処理装置１１０は、特徴点の座標値が異なるパターン画像を表示させ、撮像装置１２０により表示映像もしくはプロジェクタ投影像を撮像させる。そして、画像処理装置１１０は、撮像画像から特徴点を検出し、その特徴点の座標値を求め、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係を複数得る。

【0042】

次に、画像処理装置１１０は、パターン画像の特徴点の座標値と、撮像画像の特徴点の座標値の対応関係に基づいて、アフィン変換または射影変換または複数の変換の組合せにより、画像を変形させる。図４では、表示および撮像する５枚のパターン画像４０１〜４０５を用いた例を示し、水平方向でｘ０〜ｘ４の５点、垂直方向でｙ０〜ｙ４の５点について、座標値の対応関係が得られる。

【0043】

このとき、これらの座標値の対応関係の個数が多いほど、より小さな領域ごとに画像変形を実行することができ、光学歪みによる撮像画像４０１ａ〜４０５ａの不均一な変形歪みに対する幾何補正の精度を向上させることができる。

【0044】

一方、撮像画像４０１ｂ〜４０５ｂのように表示画像の一部が欠けて撮像されると、検出される特徴点の座標値にズレが発生する。このため、画像変形の結果である幾何補正後画像が崩れ、幾何補正後画像と期待値画像の照合精度が低下する。

【0045】

このとき、画像処理装置１１０は、幾何補正後画像と期待値画像の照合精度を向上させるため、表示画像の一部が欠けて撮像された撮像画像の特徴点の位置情報に基づいて、撮像装置１２０により撮像できない表示画像の撮像位置を推定し、画像変形部１０６による変形に必要な情報を生成する。

【0046】

図５（ａ）は、黒枠パターンが付加された解析用画像の１６分割時の境界座標の一例を示す図、図５（ｂ）は、周縁部が筐体枠で覆われている場合の黒枠パターンが図４（ａ）のパターン画像に付加された５個のパターン画像の例を示す図、図５（ｃ）は、周縁部が筐体枠で覆われていない場合の図５（ｂ）のパターン画像の撮像例を示す図、図５（ｄ）は、周縁部が筐体枠で覆われている場合の図５（ｂ）のパターン画像の撮像例を示す図である。

【0047】

図５（ａ）において、幅ｍとする周縁部の内側で表示部２０１が水平方向および垂直方向にそれぞれ４分割されている。そして、水平方向および垂直方向にそれぞれ４分割された１６個の分割領域の境界座標と、周縁部の幅ｍが既知である解析用画像６００を想定する。これらの分割領域の境界座標は、各分割領域の四隅の座標（ｘ_０、ｙ_０）〜（ｘ_４、ｙ_４）とすることができる。幅ｍとする周縁部の四隅の座標は、（０、０）、（ｘ_５、０）、（０、ｙ_５）、（ｘ_５、ｙ_５）とすることができる。

【0048】

ここで、幅ｍとする周縁部が補間推定された１６個の分割領域の撮像画像を得るために、図５（ｂ）に示すように、５個のパターン画像６０１〜６０５を用いる。各パターン画像６０１〜６０５は、図４（ｂ）の各パターン画像４０１〜４０５の周囲に黒枠パターンＫ１〜Ｋ５が付加されている。黒枠パターンＫ１〜Ｋ５は、図２の表示部２０１が筐体枠２０２で覆われている場合においても、黒枠パターンＫ１〜Ｋ５の内側の四隅が撮像される位置に配置される。このとき、黒枠パターンＫ１〜Ｋ５は、補間推定のための特徴点の位置情報を撮像画像から検出する参照パターンとして用いることができる。なお、参照パターンは、必ずしも黒枠パターンＫ１〜Ｋ５に限定されることなく、補間推定のための特徴点の位置情報を撮像画像から検出できれば、任意のパターンを用いることができる。

【0049】

パターン画像６０１〜６０５が画像処理装置１１０に順次入力されたものとする。このとき、画像処理装置１１０は、それらのパターン画像６０１〜６０５を表示部２０１に順次表示させる。そして、画像処理装置１１０は、図５（ｃ）に示すように、表示部２０１に表示された表示画像を撮像装置１２０に順次撮像させ、撮像画像６０１ａ〜６０５ａを取得する。

【0050】

撮像画像６０１ａ〜６０５ａでは、表示部２０１に表示された黒枠パターンＫ１〜Ｋ５の撮像パターンＺ１〜Ｚ５は、図５（ｄ）に示すように、図２の筐体枠２０２の撮像位置ＰＫの内側に配置される。このため、撮像画像６０１ａ〜６０５ａには、表示部２０１が筐体枠２０２で覆われている場合においても、黒枠パターンＫ１〜Ｋ５に対応した撮像パターンＺ１〜Ｚ５が含まれる。

【0051】

そして、画像処理装置１１０は、撮像パターンＺ１〜Ｚ５の境界座標と、解析用画像６００に設定された幅ｍとする周縁部の境界座標に基づいて、筐体枠２０２で覆われていないときの撮像画像６０１ａ〜６０５ａにおける表示部２０１の外縁座標を推定する。

【0052】

画像処理装置１１０は、表示部２０１の外縁部の撮像位置が補間推定された撮像画像６０１ａ〜６０５ａの論理積演算に基づいて、解析用画像６００についての１６個の分割領域の撮像画像を抽出する。そして、画像処理装置１１０は、これら１６個の分割領域の撮像画像の特徴点の座標値に基づいて、照合される対象である撮像画像の幾何補正を実施する。

【0053】

なお、解析用画像６００における幅ｍの周縁部は、表示部２０１が筐体枠２０２により覆われる領域よりも大きければよく、パターン画像の上下左右で異なる幅を設けるようにしてもよい。

【0054】

図６（ａ）は、図５（ｃ）の撮像画像の２値画像を示す図、図６（ｂ）は、図６（ａ）の２値画像を反転させた反転画像を示す図である。
図６（ａ）において、画像解析部１０３は、図５（ｃ）の撮像画像６０１ａ〜６０５ａより２値画像７０１〜７０５を求める。例えば、撮像画像６０１ａ〜６０５ａがＲＧＢ３チャンネルそれぞれ２５６階調の濃淡を持っている場合であれば、画像解析部１０３は、ＲＧＢの画素値からＹＣｂＣｒのうち輝度Ｙを求めた後に２値化する。

【0055】

さらに、画像解析部１０３は、図６（ｂ）に示すように、２値画像７０２〜７０５より、白と黒とを反転させた反転画像７１２〜７１５を求める。次に、画像解析部１０３は、２値画像７０１〜７０５および反転画像７１２〜７１５の論理積により、図５の解析用画像６００の１６個の分割領域に対応する撮像領域を抽出する。

【0056】

図７は、図６（ａ）の２値画像および図６（ｂ）の反転画像に基づいて１６分割画像を生成する場合の論理積演算方法を示す図である。
図７において、図１の画像解析部１０３は、２値画像７０１〜７０５および反転画像７１２〜７１５を１６通りに組み合わせた論理積演算＃１〜＃１６に基づいて、１６個の１６分割画像８０２を生成する。

【0057】

例えば、論理積演算＃１では、図６の２値画像７０１と反転画像７１２、７１３、７１４、７１５の論理積を求める。このとき、論理積で用いた画像全てにおいて、画素値が白である部分のみが白として抽出される。例えば、論理積演算＃１では、１６分割領域のうち、最も左上の領域のみが抽出される。論理積に与える画像を異ならせることにより、異なる領域を抽出する。

【0058】

ここで、撮像装置１２０により１６分割画像８０２を直接生成する場合には、撮像を１６回繰り返す必要がある。一方、図５（ｃ）の撮像画像６０１ａ〜６０５ａに基づく論理積演算により、１６分割画像８０２を生成する場合には、１６分割画像８０２を生成するのに必要な撮像を５回で済ませることができる。このため、１６分割画像８０２を生成するのに必要な撮像条件を安定化させることができ、１６分割画像８０２から抽出される特徴点の位置精度を向上させることができる。

【0059】

図８は、撮像画像から解析された１６分割画像の特徴点の座標を示す図である。
図８において、図１の画像解析部１０３は、図７の１６個の１６分割画像８０２に基づいて、計２５点の特徴点Ｐ_００〜Ｐ_４４を抽出した解析後画像９０１を生成する。

【0060】

図９は、撮像画像から解析された１６分割画像の特徴点に基づいて推定された周縁部の座標値を示す図である。
図９において、図１の補間推定部１０４は、計１６点の外挿点Ｅ_００〜Ｅ_４４を付加した補間推定画像１００１を生成する。

【0061】

以下、撮像画像における表示部２０１の周縁部の座標値の補間推定方法について説明する。

【0062】

例えば、外挿点Ｅ_１０は、図８の特徴点Ｐ_１０と特徴点Ｐ_１１を結ぶ線上にあると近似することができる。また、図５の解析用画像６００より、周縁部と特徴点Ｐ_１０の距離および特徴点Ｐ_１０と特徴点Ｐ_１１の距離の比は、ｘ_０：ｘ_１−ｘ_０である。よって、外挿点Ｅ_１０の座標値（ｘ_Ｅ１０，ｙ_Ｅ１０）は、座標値Ｐ_１０（ｘ_１０，ｙ_１０）、Ｐ_１１（ｘ_１１，ｙ_１１）を用いて以下の計算式で求めることができる。

【0063】

【数1】

【0064】

【数2】

【0065】

【数3】

【0066】

同様にして、他の外挿点の座標値も求めることができる。

【0067】

撮像画像およびパターン画像について、特徴点４点で囲まれた面に対して、撮像画像（ｘ，ｙ）から期待値画像（ｘ’，ｙ’）に射影変換する一般式は、以下のようにして得られる。８つの変数ａ_１〜ａ_８は、特徴点４点それぞれのｘ座標値およびｙ座標値により求めることができる。

【0068】

【数4】

【0069】

【数5】

【0070】

図１０は、実施形態に係る画像処理方法を示すフローチャートである。
図１０において、Ｓ５０１では、図１の撮像制御部１０２は、図２の筐体枠２０２により覆われる周縁部よりも内側にパターン画像６０１〜６０５を表示装置１１０に表示させ、撮像装置１２０により撮像させる。

【0071】

次に、Ｓ５０２では、画像解析部１０３は、撮像装置１２０により撮像された撮像画像６０１ａ〜６０５ａの論理積演算に基づいて、図７の１６個の１６分割画像８０２を抽出する。

【0072】

次に、Ｓ５０３では、画像解析部１０３は、１６分割画像８０２から１６個の矩形領域の４隅を特徴点として検出し、その特徴点の座標値を取得する。このとき、画像解析部１０３は、エッジ検出や線分検出などの手法にて矩形領域の４辺を抽出し、各辺の交点である矩形領域の４隅の座標値を求める。１６分割画像８０２の１６個の矩形領域の特徴点の座標値を全て取得すると、図８に示すように、計２５点の特徴点Ｐ_００〜Ｐ_４４の座標値Ｐ_００（ｘ_００，ｙ_００）〜Ｐ_４４（ｘ_４４，ｙ_４４）が得られる。

【0073】

次に、Ｓ５０４では、補間推定部１０４は、Ｓ５０３で求めた２５点の特徴点の座標値とパターン画像の特徴点の座標値に基づいて、撮像画像における表示部２０１の周縁部の座標値を補間して求める。このとき、撮像画像における表示部２０１の周縁部の座標値として、図９に示すように、計１６点の外挿点Ｅ_００〜Ｅ_４４の座標値（ｘ_Ｅ００，ｙ_Ｅ４４）が得られる。

【0074】

次に、Ｓ５０５では、画像変形部１０６は、Ｓ５０３で検出した座標値およびＳ５０４で補間推定した座標値を用いて、画像変形用のパラメータを算出する。

【0075】

以上説明したように、上述した実施形態によれば、撮像画像に含まれない表示画像の撮像位置を推定補間した上、画像変形用のパラメータを算出することができる。このため、照合される対象の一部が撮像画像に含まれない場合においても、照合される対象の撮像画像の画像変形の精度を向上させることができる。

【0076】

なお、図１の画像処理装置１００は、撮像画像が画像変形された幾何補正後画像に基づいて、撮像されない表示画像の撮像位置を推定するようにしてもよい。このとき、画像処理装置１００は、図２の筐体枠２０２で覆われた撮像画像の位置を推定することができ、撮像画像の照合時に、図２の筐体枠２０２で覆われた部分を除外することができる。

【0077】

図１１は、図１の画像処理装置のハードウェア構成例を示すブロック図である。
図１１において、画像処理装置１００は、プロセッサ１１、通信制御デバイス１２、通信インタフェース１３、主記憶デバイス１４および外部記憶デバイス１５を備える。プロセッサ１１、通信制御デバイス１２、通信インタフェース１３、主記憶デバイス１４および外部記憶デバイス１５は、内部バス１６を介して相互に接続されている。主記憶デバイス１４および外部記憶デバイス１５は、プロセッサ１１からアクセス可能である。

【0078】

また、画像処理装置１００の外部には、入力装置２０および出力装置２１が設けられている。入力装置２０および出力装置２１は、入出力インタフェース１７を介して内部バス１６に接続されている。入力装置２０は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置、撮像装置、スキャナ等である。出力装置２１は、例えば、画面表示装置（液晶モニタ、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、グラフィックカード等）、音声出力装置（スピーカ等）、印字装置等である。

【0079】

プロセッサ１１は、画像処理装置１００全体の動作制御を司るハードウェアである。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよいし、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ１１は、シングルコアロセッサであってもよいし、マルチコアロセッサであってもよい。プロセッサ１１は、処理の一部または全部を行うハードウェア回路（例えば、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を備えていてもよい。プロセッサ１１は、ニューラルネットワークを備えていてもよい。

【0080】

主記憶デバイス１４は、例えば、ＳＲＡＭまたはＤＲＡＭなどの半導体メモリから構成することができる。主記憶デバイス１４には、プロセッサ１１が実行中のプログラムを格納したり、プロセッサ１１がプログラムを実行するためのワークエリアを設けたりすることができる。

【0081】

外部記憶デバイス１５は、大容量の記憶容量を備える記憶デバイスであり、例えば、ハードディスク装置またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。外部記憶デバイス１５は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。外部記憶デバイス１５には、画像処理プログラム１５Ａを格納することができる。画像処理プログラム１５Ａは、画像処理装置１００にインストール可能なソフトウェアであってもよいし、画像処理装置１００にファームウェアとして組み込まれていてもよい。

【0082】

通信制御デバイス１２は、外部との通信を制御する機能を備えるハードウェアである。通信制御デバイス１２は、通信インタフェース１３を介してネットワーク１９に接続される。ネットワーク１９は、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷＡＮとＬＡＮが混在していてもよい。

【0083】

入出力インタフェース１７は、入力装置２０から入力されるデータをプロセッサ１１が処理可能なデータ形式に変換したり、プロセッサ１１から出力されるデータを出力装置２１が処理可能なデータ形式に変換したりする。

【0084】

プロセッサ１１が画像処理プログラム１５Ａを主記憶デバイス１４に読み出し、画像処理プログラム１５Ａを実行することにより、表示画像が撮像された撮像画像の特徴点の位置情報を解析し、撮像画像の特徴点の位置情報に基づいて、撮像画像に含まれない表示画像の撮像位置を推定することができる。このとき、プロセッサ１１は、図１の画像入力部１０１、撮像制御部１０２、画像解析部１０３、補間推定部１０４、画像出力部１０５および画像変形部１０６の機能を実現することができる。

【0085】

なお、画像処理プログラム１５Ａの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ１１は、ネットワーク１９を介してクラウドコンピュータなどに画像処理プログラム１５Ａの全部または一部の実行を指示し、その実行結果を受け取るようにしてもよい。

【0086】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。

【符号の説明】

【0087】

１００ 画像処理装置、１０１ 画像入力部、１０２ 撮像制御部、１０３ 画像解析部、１０４ 補間推定部、１０５ 画像出力部、１０６ 画像変形部、１０７ バス、１１０ 表示装置、１２０ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】