特許 6244787 画像認識装置、画像認識方法および画像認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6244787

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像認識装置、画像認識方法および画像認識プログラム

(51)【国際特許分類】

   H04N 5/21 20060101AFI20171204BHJP

   G06T 7/60 20170101ALI20171204BHJP

   H04N 1/409 20060101ALI20171204BHJP

【ＦＩ】

   H04N5/21

   G06T7/60 300A

   H04N1/40 101C

【請求項の数】19

【全頁数】18

(21)【出願番号】特願2013-204764(P2013-204764)

(22)【出願日】2013年9月30日

(65)【公開番号】特開2015-69530(P2015-69530A)

(43)【公開日】2015年4月13日

【審査請求日】2016年8月30日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】手島 義裕

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００７−３１５９６７（ＪＰ，Ａ）

【文献】 特開平１１−１８４４４５（ＪＰ，Ａ）

【文献】 井上 育徳、辻原 進，“ＣＲＴ投写型ディスプレイ用オートセットアップ方式”，画像情報工学と放送技術，日本，社団法人テレビジョン学会，１９９５年 １月２０日，Vol.49, No.1，pp.73-77

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４０−１／４０９，５／２０−５／２１７

Ｇ０６Ｔ １／００，５／００，５／２０，７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

所定の情報を示すアイコンである表示画像を撮影する撮影手段と、
前記撮影手段が前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識手段と、
を備えることを特徴とする画像認識装置。

【請求項2】

前記アイコンは白黒データである、
ことを特徴とする請求項１に記載の画像認識装置。

【請求項3】

前記表示画像は、前記アイコンと、前記色縞雑音の向きと異なる向きの線で構成され前記アイコンの周囲に配置されるアイコン枠とから構成され、
前記縞除去画像または前記撮影画像から前記アイコン枠を検出することにより、前記アイコンの位置合せを行う位置合せ手段をさらに備える、
ことを特徴とする請求項１又は２に記載の画像認識装置。

【請求項4】

前記アイコン枠はひし形の枠である、
ことを特徴とする請求項３に記載の画像認識装置。

【請求項5】

前記アイコン枠は円形の枠である、
ことを特徴とする請求項３に記載の画像認識装置。

【請求項6】

所定の情報を示す表示画像を撮影する撮影手段と、
前記撮影手段が前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識手段と、
を備え、
前記表示画像はデジタルミラーデバイスを備えた投影装置によって投影面上に投影された画像である、
ことを特徴とする画像認識装置。

【請求項7】

所定の情報を示す表示画像を撮影する撮影手段と、
前記撮影手段が前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識手段と、
を備え、
前記画像認識手段は、前記縞除去画像中の前記表示画像を、前記表示画像と同じ表示画像が登録されている画像データベース上の各登録画像と照合して、撮影した前記表示画像を認識し、
前記画像認識手段は、前記撮影画像中の前記表示画像と前記画像データベース中の前記各登録画像との照合において、エッジベース特徴量を用いた類似度を評価するとともに、
前記画像認識手段は、前記画像データベースに登録されている前記登録画像から作成したマスク画像を前記縞除去画像に適用して得られる画像領域から前記エッジベース特徴量を算出する、
ことを特徴とする画像認識装置。

【請求項8】

所定の情報を示す表示画像を撮影する撮影手段と、
前記撮影手段が前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識手段と、
を備え、
前記画像認識手段は、前記縞除去画像中の前記表示画像を、前記表示画像と同じ表示画像が登録されている画像データベース上の各登録画像と照合して、撮影した前記表示画像を認識し、
前記画像認識手段は、前記撮影画像中の前記表示画像と前記画像データベース中の前記各登録画像との照合において、エッジベース特徴量を用いた類似度を評価するとともに、
前記画像認識手段は、前記撮影画像または前記縞除去画像から作成したマスク画像を前記縞除去画像に適用して得られる画像領域から前記エッジベース特徴量を算出する、
ことを特徴とする画像認識装置。

【請求項9】

前記画像データベースは前記画像認識装置に内蔵される、
ことを特徴とする請求項７又は８に記載の画像認識装置。

【請求項10】

前記画像データベースは前記画像認識装置とは異なるサーバ装置に内蔵され、
前記画像認識手段は、前記サーバ装置内の前記画像データベースと通信することにより、前記表示画像を認識する処理を実行する、
ことを特徴とする請求項７又は８に記載の画像認識装置。

【請求項11】

前記マスク画像は、前記撮影画像の色成分を除去した後に、エッジ抽出した第１のデータと、前記撮影画像の色相成分から抽出したエッジを膨張した第２のデータから作成する、
ことを特徴とする請求項７又は８に記載の画像認識装置。

【請求項12】

前記エッジベース特徴量は、ＨＯＧ特徴量である、
ことを特徴とする請求項７乃至１１の何れか一項に記載の画像認識装置。

【請求項13】

所定の情報を示す表示画像を撮影する撮影手段と、
前記撮影手段が前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識手段と、
を備え、
前記色縞雑音除去手段は、前記撮影画像の色成分を除去する、
ことを特徴とする画像認識装置。

【請求項14】

前記色縞雑音除去手段は、前記撮影画像の画素ごとに、ＨＳＶ色空間の彩度値を０にする処理を実行し、前記縞除去画像を生成する、
ことを特徴とする請求項１３に記載の画像認識装置。

【請求項15】

前記色縞雑音除去手段は、前記撮影画像の画素ごとに、Ｒ成分値、Ｇ成分値、およびＢ成分値を当該各成分値の中の最大値で置き換える処理を実行し、前記縞除去画像を生成する、
ことを特徴とする請求項１３に記載の画像認識装置。

【請求項16】

所定の情報を示すアイコンである表示画像を撮影し、
前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去し、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する、
ことを特徴とする画像認識方法。

【請求項17】

画像認識装置のコンピュータに、
所定の情報を示すアイコンである表示画像を撮影する撮影ステップと、
前記撮影ステップで前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去ステップと、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識ステップと、
を実行させるための画像認識プログラム。

【請求項18】

所定の情報を示す表示画像を撮影し、
前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去し、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識し、
前記色縞雑音の除去は、前記撮影画像の色成分を除去する、
ことを特徴とする画像認識方法。

【請求項19】

画像認識装置のコンピュータに、
所定の情報を示す表示画像を撮影する撮影ステップと、
前記撮影ステップで前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去ステップと、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識ステップと、
を実行させ、
前記色縞雑音除去ステップは、前記撮影画像の色成分を除去する、
画像認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識技術に関する。

【背景技術】

【0002】

従来、被認識画像を入力し、認識テンプレート画像を記憶したデータベースから認識テンプレート画像を読み出し、この認識テンプレート画像を被認識画像と比較することにより認識を行う技術が知られている（例えば特許文献１）。

【0003】

このような画像認識においては、認識対象となる画像に含まれる雑音成分をいかに有効に除去するかが、画像の認識精度を高める上で重要である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００４−１５１７７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、画像認識の対象となる表示画像をデジタルカメラ等の撮影装置によって取り込む場合、表示画像の表示特性と撮影装置の構造に起因して生じる色縞雑音が問題となることがある。特に、デジタルミラーデバイス（ＤＭＤ：Ｄｉｇｉｔａｌ Ｍｉｒｒｏｒ Ｄｅｖｉｃｅ）を備えたＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（「ＤＬＰ」は米国Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ Ｉｎｃｏｒｐｏｒａｔｅｄの登録商標）と呼ばれる投影装置（プロジェクタ）によって投影面（スクリーン）上に投影された画像を、自動露光制御を行うスマートフォン内蔵カメラ等で撮影した場合に、色縞雑音が顕著に現れる。

【0006】

ＤＬＰ投影装置では、デジタルミラーデバイスにおけるミラーのオンとオフの時間比率を制御することにより、投影面に投影される表示画像の輝度を制御する。さらに、ＤＬＰ投影装置でよく使用される単板式の投影方式では、Ｒ、Ｇ、Ｂの光を高速で切り替えることにより、色を制御する。投影面に投影される表示画像では、非常に短い時間で観察すると、ミラーがオンで光があたっている瞬間とミラーがオフで光があたっていない瞬間や、Ｒ、Ｇ、Ｂ単色で表示されている瞬間が存在し、人間の目で見るとそれらの時間比が表示画像の輝度に感じ、Ｒ、Ｇ、Ｂを合成した色が表示画像の色として感じる。一方、自動露光制御の撮影装置では、表示画像の明るさに応じて、表示画像上のライン毎に露光タイミングを制御して撮影画像をライン毎に取り込む。従って、あるラインタイミングにおいては光が投影面にあたっている瞬間に表示画像の該当するライン上の各画素値が取り込まれ、他のラインタイミングにおいては光が投影面にあたっていない瞬間に表示画像の該当するライン上の各画素値が取り込まれる可能性が生じる。また、Ｒ、Ｇ、Ｂ単色が投影面にあたっている瞬間に表示画像の該当するライン上の各画素値が取り込まれる可能性が生じる。この結果、撮影画像上で、明るく撮影されるラインと暗く撮影されるラインや、Ｒ、Ｇ、Ｂ単色で撮影されるラインが存在することにより、それが色縞雑音として現れる。

【0007】

このような色縞雑音は、その他の表示画像の表示特性と撮影装置の構造に起因しても現れる可能性がある。

【0008】

そして、この色縞雑音は、撮影画像に基づいて画像認識を行う場合に、認識精度を低下させる。

【0009】

このような色縞雑音は、投影装置による輝度制御タイミングと撮影装置による露光制御タイミングの組合せによりほぼランダムに発生する。このため、従来は、撮影装置で撮影した撮影画像上で発生する色縞雑音を有効に除去する従来技術は知られておらず、色縞雑音を有効に除去できないという問題点を有していた。

【0010】

本発明は、撮影画像に基づいて撮影画像中の表示画像を認識する画像認識装置において、表示画像の表示特性と撮影装置の構造に起因して生じる色縞雑音を有効に除去して、画像認識の精度を向上させることを目的とする。

【課題を解決するための手段】

【0011】

態様の一例では、画像認識装置であって、所定の情報を示すアイコンである表示画像を撮影する撮影手段と、撮影手段が表示画像を撮影して得た撮影画像において、表示画像の表示特性と撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、色縞雑音が除去されて得られる縞除去画像中の表示画像を認識する画像認識手段とを備える。
態様の他の一例では、画像認識装置であって、所定の情報を示す表示画像を撮影する撮影手段と、撮影手段が表示画像を撮影して得た撮影画像において、表示画像の表示特性と撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、色縞雑音が除去されて得られる縞除去画像中の表示画像を認識する画像認識手段とを備え、前記表示画像はデジタルミラーデバイスを備えた投影装置によって投影面上に投影された画像である。
態様の他の一例では、画像認識装置であって、所定の情報を示す表示画像を撮影する撮影手段と、撮影手段が表示画像を撮影して得た撮影画像において、表示画像の表示特性と撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、色縞雑音が除去されて得られる縞除去画像中の表示画像を認識する画像認識手段とを備え、前記画像認識手段は、前記縞除去画像中の前記表示画像を、前記表示画像と同じ表示画像が登録されている画像データベース上の各登録画像と照合して、撮影した前記表示画像を認識し、前記画像認識手段は、前記撮影画像中の前記表示画像と前記画像データベース中の前記各登録画像との照合において、エッジベース特徴量を用いた類似度を評価するとともに、前記画像認識手段は、前記画像データベースに登録されている前記登録画像から作成したマスク画像を前記縞除去画像に適用して得られる画像領域から前記エッジベース特徴量を算出する。
態様の他の一例では、画像認識装置であって、所定の情報を示す表示画像を撮影する撮影手段と、撮影手段が表示画像を撮影して得た撮影画像において、表示画像の表示特性と撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、色縞雑音が除去されて得られる縞除去画像中の表示画像を認識する画像認識手段とを備え、前記画像認識手段は、前記縞除去画像中の前記表示画像を、前記表示画像と同じ表示画像が登録されている画像データベース上の各登録画像と照合して、撮影した前記表示画像を認識し、前記画像認識手段は、前記撮影画像中の前記表示画像と前記画像データベース中の前記各登録画像との照合において、エッジベース特徴量を用いた類似度を評価するとともに、前記画像認識手段は、前記撮影画像または前記縞除去画像から作成したマスク画像を前記縞除去画像に適用して得られる画像領域から前記エッジベース特徴量を算出する。
態様の他の一例では、画像認識装置であって、所定の情報を示す表示画像を撮影する撮影手段と、撮影手段が表示画像を撮影して得た撮影画像において、表示画像の表示特性と撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、色縞雑音が除去されて得られる縞除去画像中の表示画像を認識する画像認識手段とを備え、前記色縞雑音除去手段は、前記撮影画像の色成分を除去する。

【発明の効果】

【0012】

本発明によれば、撮影画像に基づいて撮影画像中の表示画像を認識する画像認識装置において、表示画像の表示特性と撮影装置の構造に起因して生じる色縞雑音を有効に除去して、画像認識の精度を向上させることが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態に係る画像認識装置のブロック図である。

【図2】マスク枠の例を示す図である。

【図3】マスク画像の説明図である。

【図4】第１の画像認識処理の説明図である。

【図5】第２の画像認識処理におけるマスク画像の生成処理の説明図である。

【図6】画像認識装置のハードウェア構成例を示すブロック図である。

【図7】第１の画像認識処理を含む本実施形態の処理例を示すフローチャートである。

【図8】第２の画像認識処理を含む本実施形態の処理例を示すフローチャートである。

【図9】ＨＯＧ特徴量算出処理の例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る画像認識装置１００のブロック図である。本実施形態の画像認識装置１００は、撮影手段１０１、色縞雑音除去手段１０２、画像認識手段１０３、および位置合せ手段１０７を備える。

【0015】

撮影手段１０１は、所定の情報を示す表示画像１０４を撮影する。この表示画像１０４は例えば、所定の情報を示すアイコンである。また、このアイコンは例えば、白黒データである。表示画像１０４は例えば、デジタルミラーデバイスを備えた投影装置によって投影面上に投影された画像である。

【0016】

色縞雑音除去手段１０２は、撮影手段１０１が表示画像１０４を撮影して得た撮影画像１０５において、表示画像１０４の表示特性と撮影手段１０１の構造に起因して生じる色縞雑音を除去する。表示画像１０４の表示特性は例えば、デジタルミラーデバイスを備えた投影装置が投影面上に表示画像１０４を投影させるときのミラーのオンとオフのタイミング特性である。撮影手段１０１の構造は例えば、撮影手段１０１におけるラインスキャン時の露光タイミングを制御する構造である。ここで、撮影画像１０５に現れる色縞雑音は、投影に使用する光源の色や、それらを混ぜた色として表れる。そのため、色縞雑音除去手段１０２は、撮影画像１０５の画素毎の色成分の除去により色縞雑音の除去を行う。より具体的には、色縞雑音除去手段１０２は、撮影画像１０５の画素ごとに、ＨＳＶ色空間の彩度値（Ｓ値）を０にする処理を実行し、縞除去画像１０６を生成する。あるいは、色縞雑音除去手段１０２は、撮影画像１０５の画素ごとに、Ｒ成分値、Ｇ成分値、およびＢ成分値を各成分値の中の最大値で置き換える処理を実行し、縞除去画像１０６を生成する。この結果、図１に例示されるような色縞雑音の影響を受けた撮影画像１０５から、その色縞雑音の影響を軽減させた図１に例示されるような縞除去画像１０６を生成することができる。

【0017】

画像認識手段１０３は、色縞雑音が除去されて得られる縞除去画像１０６中の表示画像１０４を認識する。画像認識手段１０３は例えば、縞除去画像１０６中の表示画像１０４を、表示画像１０４と同じ表示画像１０４が登録されている画像データベース１０８上の各登録画像と照合して、撮影した表示画像１０４を認識する。画像データベース１０８は例えば、画像認識装置１００に内蔵される。あるいは、画像データベース１０８は、画像認識装置１００とは異なる特には図示しないサーバ装置に内蔵される。この場合、画像認識手段１０３は、サーバ装置内の画像データベース１０８と通信することにより、表示画像１０４を認識する処理を実行する。

【0018】

ここで、例えば色縞雑音除去手段１０２と画像認識手段１０３の間（撮影手段１０１と色縞雑音除去手段１０２の間でもよい）に、位置合せ手段１０７を備えてよい。この場合、表示画像１０４は、アイコンと、色縞雑音の向きと異なる向きの線で構成されアイコンの周囲に配置されるアイコン枠とから構成され、位置合せ手段１０７は、縞除去画像１０６（または撮影画像１０５）からアイコン枠を検出することにより、アイコンの位置合せを行う。この位置合せの処理は、画像認識手段１０３が画像認識のために算出する特徴量が、表示画像１０４の位置等により変化してしまうことを防止するための処理である。画像認識手段１０３が算出する特徴量が、表示画像１０４の位置やサイズに不変な特徴量の場合は、位置合せ手段１０７は備えなくてもよい。アイコン枠としては例えば、図２（ａ）に示されるひし形の枠が使用される。この形状は、色縞雑音の縞と平行する成分を含まないため、アイコン枠の検出の際に色縞雑音の影響を受けにくい。位置合せ処理では、まず、ハフ変換によりひし形の枠の四辺の直線が検出され、検出された直線の交点（ひし形の頂点）が算出される。そして、算出された４つの交点を使って、射影変換により位置合せが行われる。アイコン枠の形状としては、図２（ａ）に示されるひし形以外にも、図２（ｂ）に示される円形など、色縞雑音の縞と平行な成分を含まない（検出に使用しない）形状であればよい。

【0019】

図１の構成において、画像認識手段１０３は例えば、撮影画像１０５中の表示画像１０４と画像データベース１０８中の各登録画像との照合において、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ：輝度勾配ヒストグラム）特徴量等のエッジベース特徴量を用いた類似度を評価する。

【0020】

エッジベース特徴量を用いた類似度の評価に関する画像認識手段１０３の具体的な動作例として、画像認識手段１０３が第１の画像認識処理を実行する場合の動作について説明する。この場合、画像認識手段１０３は、画像データベース１０８に登録されている登録画像から作成した各マスク画像を縞除去画像１０６にそれぞれ適用して得られる各画像領域から各エッジベース特徴量を算出する。
図３は、マスク画像の説明図、図４は、第１の画像認識処理の説明図である。

【0021】

図３は、表示画像１０４とそれに対応するマスク画像３０１の関係を示す図である。マスク画像３０１が表示画像１０４に適用されたときに、図３（ｂ）に例示される白い色の部分は表示画像１０４上の画素をそのまま出力し、図３（ｂ）に例示される黒い色の部分は表示画像１０４上の画素はマスクして出力しない。

【0022】

ここで、画像データベース１０８には、表示画像１０４のさまざまなパターンのアイコンと同じアイコンが登録されている。この登録アイコンの種類数を例えばＮ種類とする。すなわち、画像データベース１０８には、Ｎ種類の登録アイコンが登録されている。

【0023】

また、画像認識手段１０３が第１の画像認識処理を実行する場合には、画像データベース１０８には、Ｎ種類の登録アイコンに対応して、それぞれのアイコンの輪郭部分以外の部分をマスクするように作成された、例えば図４に示されるＮ種類のマスク画像４０１（＃１）から４０１（＃Ｎ）が登録されている。

【0024】

画像認識手段１０３は、図４の各マスク画像４０１（＃１）〜４０１（＃Ｎ）をそれぞれ、縞除去画像１０６に適用して得られる画像領域から、特徴量４０２（＃１）〜４０２（＃Ｎ）を算出する。この特徴量が例えばＨＯＧ特徴量であれば、特徴量４０２（＃１）〜４０２（＃Ｎ）はそれぞれ、輝度勾配ヒストグラムとなる。

【0025】

ここで、例えば図４において、マスク画像４０１（＃１）のように、縞除去画像１０６上のアイコンによく一致するマスク画像が縞除去画像１０６に適用された場合には、それより算出される特徴量４０２（＃１）は、縞除去画像１０６中のアイコンの特徴を良く示す特徴量となる。この特徴量４０２（＃１）について、画像データベース１０８に記憶されているマスク画像４０１（＃１）に対応する登録アイコンの特徴量との間で距離計算が実行された場合には、その計算結果は非常に近い距離を示すことになる。

【0026】

一方、例えば図４において、マスク画像４０１（＃２）〜４０１（＃Ｎ）のように、縞除去画像１０６上のアイコンに一致しないマスク画像が縞除去画像１０６に適用された場合には、それより算出される特徴量４０２（＃２）〜４０２（＃Ｎ）は、縞除去画像１０６中のアイコンの特徴をほとんど示さないものとなる。これらの特徴量４０２（＃２）〜４０２（＃Ｎ）が、画像データベース１０８に記憶されている各マスク画像４０１（＃１）〜４０１（＃Ｎ）に対応する各登録アイコンの各特徴量との間で各距離計算が実行された場合には、どの計算結果も遠い距離を示すことになる。

【0027】

以上のようにして、画像認識手段１０３が第１の画像認識処理を実行する場合、マスク画像４０１（＃１）〜４０１（＃Ｎ）は、縞除去画像１０６上のアイコンの存在をより際立たせる効果を有するとともに、色縞雑音の影響をさらに除去する効果を有し、これにより、画像認識率を向上させることが可能となる。

【0028】

次に、エッジベース特徴量を用いた類似度の評価に関する画像認識手段１０３の具体的な他の動作例として、画像認識手段１０３が第２の画像認識処理を実行する場合の動作について説明する。この場合、画像認識手段１０３は、撮影画像１０５または縞除去画像１０６自身から作成したマスク画像を縞除去画像１０６に適用して得られる画像領域からエッジベース特徴量を算出する。

【0029】

この場合のマスク画像は、次のようにして生成される。図５は、第２の画像認識処理におけるマスク画像の生成処理の説明図である。まず、図１の色縞雑音除去手段１０２により、撮影画像１０５から色縞雑音成分が除去されて、縞除去画像１０６が得られる。次に、この縞除去画像１０６からエッジ成分５０１が抽出されて第１のデータ５０１とされる。一方、撮影画像１０５から色相成分５０２が抽出され、その色相成分５０２からエッジ成分５０３が抽出され、さらにそのエッジ成分５０３中の各エッジ部分が膨張させられてエッジ膨張成分５０４が作成されて第２のデータ５０４とされる。この第２のデータのエッジ膨張成分５０４によって、第１のデータのエッジ成分５０１をマスキングすることにより、色縞雑音の影響が除かれたアイコンおよびアイコン枠部分のマスク画像５０５が算出される。

【0030】

画像認識手段１０３は、以上のようにして撮影画像１０５または縞除去画像１０６自身から作成したマスク画像５０５を縞除去画像１０６に適用して得られる画像領域から、エッジベース特徴量を算出する。この特徴量が例えばＨＯＧ特徴量であれば、特徴量５０６は、輝度勾配ヒストグラムとなる。

【0031】

図５において、マスク画像５０５は、撮影画像１０５または縞除去画像１０６自身から作成されているため、縞除去画像１０６上のアイコンによく一致するマスク画像となっている。従って、そのマスク画像５０５が縞除去画像１０６に適用された場合には、それより算出される特徴量５０６は、縞除去画像１０６中のアイコンの特徴を良く示す特徴量となる。この特徴量５０６について、画像データベース１０８に記憶されている各登録アイコンの各特徴量との間で各距離計算が実行されることにより、縞除去画像１０６中のアイコンに最も良く似たアイコンを含む登録アイコンの特徴量との距離を最も小さくすることができる。これにより、画像認識手段１０３は、正しい画像認識結果を得ることが可能となる。

【0032】

以上のようにして、図１に示される画像認識装置１００により、表示画像１０４の表示特性と撮影手段１０１の構造に起因して生じる色縞雑音を有効に除去して、画像認識の精度を向上させることが可能となる。

【0033】

図６は、図１の画像認識装置１００のハードウェア構成例を示すブロック図である。

【0034】

この画像認識装置１００は例えば、いわゆるスマートフォンなどの携帯情報端末であるコンピュータシステム上に実現される。

【0035】

画像認識装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）６０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０４を備える。また、画像認識装置１００は、ソリッド記憶装置等の外部記憶装置６０５と、通信インタフェース６０６と、タッチパネルディスプレイ装置などの入力装置６０７および表示装置６０８を備える。さらに、画像認識装置１００は、マイクロＳＤメモリカードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリカードなどの可搬記録媒体１６０をセット可能な可搬記録媒体駆動装置６０９を備える。撮像装置６１２は、静止画像やビデオ画像を撮像することのできるデジタルカメラ機構であり、レンズ、オートフォーカス駆動制御装置、露出制御装置、撮像センサ等を備える。上述の各機器６０２〜６０９および６１２は、バス６１１によって相互に接続される。

【0036】

ＲＯＭ６０３には、スマートフォン全体の一般的な動作を制御するプログラムのほか、後述する図７から図９のフローチャートによって示される画像認識処理の制御プログラムが記憶されている。ＣＰＵ６０２は、ＲＯＭ６０３から、この制御プログラムを読み出し、ＲＡＭ６０４をワークメモリとして実行することにより、図１のブロックで示される画像認識機能が実現される。この結果、例えばユーザが、撮像装置６１２によってアイコンを含む表示画像１０４を撮像して得られる撮影画像１０５から、アイコンを認識する画像認識処理が実行される。図１の画像データベース１０８は、図６の外部記憶装置６０５に内蔵されてもよいが、例えば特には図示しないインターネット上のサーバ装置に内蔵されてもよい。この場合には、ＣＰＵ６０２は、通信インタフェース６０６からインターネットを介してサーバ装置内の画像データベース１０８と通信をして、画像認識処理を実行する。ＣＰＵ６０２は、アイコン等の画像認識結果を、表示装置６０８に表示させる。

【0037】

図７は、図６のＣＰＵ６０２が実行する、前述した画像認識手段１０３による第１の画像認識処理（図４参照）を含む本実施形態の処理例を示すフローチャートである。この処理は、ＣＰＵ６０２が、ＲＯＭ６０３またはＲＡＭ６０４に記憶された制御プログラムを実行する動作として実現される。

【0038】

まず、ＣＰＵ６０２は、前処理を実行する（ステップＳ７０１）。ここでは、ＣＰＵ６０２は、図１で前述した撮影画像１０５の取得（撮影手段１０１の機能）と、撮影画像１０５からの色縞雑音の除去による縞除去画像１０６の生成（色縞雑音除去手段１０２の機能）、および位置合わせの処理（位置合せ手段１０７の機能）を実行する。

【0039】

具体的には、ＣＰＵ６０２は、撮像装置６１２を制御することにより、撮影画像１０５を、例えばＲＡＭ６０４に取得する。

【0040】

色縞雑音の除去では、ＣＰＵ６０２は、前述したように、取得した撮影画像１０５の画素ごとに、ＨＳＶ色空間の彩度値（Ｓ値）を０にする処理、あるいはＲ成分値、Ｇ成分値、およびＢ成分値を各成分値の中の最大値で置き換える処理を実行する。ＣＰＵ６０２は、この結果得られる縞除去画像１０６を、例えばＲＡＭ６０４に記憶させる。

【0041】

位置合わせの処理では、ＣＰＵ６０２は、前述したように、ハフ変換により例えばひし形（図２（ａ）参照）の枠の四辺の直線を検出し、検出した直線の交点（ひし形の頂点）を算出し、その４つの交点を使って射影変換により位置合せを行う。

【0042】

次に、ＣＰＵ６０２は、前述した第１の画像認識処理を実行する（ステップＳ７０２→Ｓ７０３→Ｓ７０４の繰返し処理→Ｓ７０５）。

【0043】

まず、ＣＰＵ６０２は、外部記憶装置６０５に記憶されたまたは通信インタフェース６０６からアクセス可能な画像データベース１０８から、各登録アイコンに対応するマスク画像４０１（＃１〜＃Ｎ）（図４参照）を順次取得し、取得した１つのマスク画像４０１を縞除去画像１０６に適用し、その結果得られる画像に対して、特徴量抽出を実行する（ステップＳ７０２）。特徴量抽出の詳細については、図９で後述する。

【0044】

ＣＰＵ６０２は、マスク画像４０１に対応して得た特徴量４０２（＃１〜＃Ｎのうちのいずれか）（図４参照）について、画像データベース１０８内の各登録アイコンの各特徴量との間で特徴量距離を計算する（ステップＳ７０３）。

【0045】

ＣＰＵ６０２は、全ての登録アイコンについて処理が終了したか否かを判定する（ステップＳ７０４）。

【0046】

ステップＳ７０４の判定がＮＯならば、ＣＰＵ６０２は、さらに次の登録アイコンのマスク画像４０１を用いて、ステップＳ７０２とＳ７０３の処理を繰り返し実行する。

【0047】

ステップＳ７０４の判定がＹＥＳになったら、ＣＰＵ６０２は、ステップＳ７０３の特徴量距離計算の結果が最も近い距離を示したときの画像データベース１０８上の登録アイコンを、認識結果として選択し、表示装置６０８に出力する（ステップＳ７０５）。

【0048】

図８は、図６のＣＰＵ６０２が実行する、前述した画像認識手段１０３による第２の画像認識処理（図５参照）を含む本実施形態の処理例を示すフローチャートである。この処理は、図７の場合と同様に、ＣＰＵ６０２が、ＲＯＭ６０３またはＲＡＭ６０４に記憶された制御プログラムを実行する動作として実現される。

【0049】

まず、ＣＰＵ６０２は、前処理を実行する（ステップＳ８０１）。ここでの処理は、図７のステップＳ７０１と同様であり、ＣＰＵ６０２は、撮影画像１０５の取得と、撮影画像１０５からの色縞雑音の除去による縞除去画像１０６の生成、および位置合わせの処理を実行する。

【0050】

次に、ＣＰＵ６０２は、前述した第２の画像認識処理を実行する（ステップＳ８０２→Ｓ８０３→Ｓ８０４とＳ８０５の繰返し処理→Ｓ８０６）。

【0051】

まず、ＣＰＵ６０２は、マスク画像５０５（図５参照）の生成処理を実行する。図５で説明したように、ＣＰＵ６０２は、縞除去画像１０６から第１のデータであるエッジ成分５０１を抽出してＲＡＭ６０４に記憶する。一方、ＣＰＵ６０２は、撮影画像１０５から色相成分５０２を抽出し、その色相成分５０２からエッジ成分５０３を抽出し、さらにそのエッジ成分５０３中の各エッジ部分を膨張さてエッジ膨張成分５０４を作成して第２のデータ５０４としてＲＡＭ６０４に記憶する。ＣＰＵ６０２は、ＲＡＭ６０４上の第２のデータのエッジ膨張成分５０４によって、ＲＡＭ６０４上の第１のデータのエッジ成分５０１をマスキングすることにより、色縞雑音の影響が除かれたアイコンおよびアイコン枠部分のマスク画像５０５を算出し、ＲＡＭ６０４に記憶させる。

【0052】

ＣＰＵ６０２は、ＲＡＭ６０４に生成したマスク画像５０５を縞除去画像１０６に適用し、その結果得られる画像に対して、特徴量抽出を実行する（ステップＳ８０３）。この処理は、図７のステップＳ７０２と異なり、１回だけ実行されればよい。特徴量抽出の詳細については、図９で後述する。

【0053】

ＣＰＵ６０２は、マスク画像５０５に対応して得た特徴量５０６（図５参照）について、画像データベース１０８内の各登録アイコンの各特徴量との間で特徴量距離を計算する（ステップＳ８０４）。

【0054】

ＣＰＵ６０２は、全ての登録アイコンについて処理が終了したか否かを判定する（ステップＳ８０５）。

【0055】

ステップＳ８０５の判定がＮＯならば、ＣＰＵ６０２は、さらに次の登録アイコンについて、ステップＳ８０４の特徴量距離計算を繰り返し実行する。

【0056】

ステップＳ８０５の判定がＹＥＳになったら、ＣＰＵ６０２は、ステップＳ８０４の特徴量距離計算の結果が最も近い距離を示したときの画像データベース１０８上の登録アイコンを、認識結果として選択し、表示装置６０８に出力する（ステップＳ８０６）。

【0057】

図９は、図７のステップＳ７０２または図８のステップＳ８０３の特徴量抽出の処理であるＨＯＧ特徴量算出処理の例を示すフローチャートである。

【0058】

ＨＯＧ特徴量は、画像の局所領域から輝度勾配・輝度強度を算出して得られる特徴量であり、アイコンの大まかな形状を表現可能な特徴量である。

【0059】

ＣＰＵ６０２はまず、マスク適用された後の画像をブロックに分割する（ステップＳ９０１）。

【0060】

次に、ＣＰＵ６０２は、ブロックを画像内で移動させながら、ブロックをさらに分割したセル毎に、輝度勾配と輝度強度を算出する（ステップＳ９０２）。

【0061】

ＣＰＵ６０２は、上記ブロック内のセル毎に、輝度勾配ヒストグラムのステップＳ９０２で算出した輝度勾配に対応する要素に、ステップＳ９０２で算出した輝度強度を累積してゆく（ステップＳ９０３）。

【0062】

次に、ＣＰＵ６０２は、ブロックごとに輝度勾配ヒストグラムを正規化する（ステップＳ９０４）。正規化処理により輝度勾配ヒストグラムの形状を整えることができるので、明るさの変化に対応可能である。

【0063】

ＣＰＵ６０２は、画像内の全ブロックについて処理が終了したか判定する（ステップＳ９０５）。

【0064】

ステップＳ９０５の判定がＮＯならば、ＣＰＵ６０２は、次のブロックについて、ステップＳ９０２からＳ９０４の一連の処理を実行する。

【0065】

ステップＳ９０５の判定がＹＥＳになったら、ＣＰＵ６０２は、ＨＯＧ特徴量抽出の処理を終了する。

【0066】

以上のようにして、本実施形態では、前処理として色成分の除去をすることで、特徴量計算における色縞雑音の影響を軽減することが可能となる。
また、マスクを使用して特徴量の計算をすることで、特徴量に対する色縞雑音の影響をさらに軽減することが可能となる。
ここで、マスクを、登録アイコンから作成することで、色縞雑音の影響をより軽減することが可能となる。
あるいは、マスクを、撮影画像または縞除去画像から作成することで、特徴量の計算が１度ですむため、高速に認識処理を実行することが可能となる。
本実施形態では、色縞雑音の縞と平行な成分を含まない形状のアイコン枠を使用して位置合せを行うことにより、色縞雑音に影響されないアイコン枠の検出が可能となる。

【0067】

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
所定の情報を示す表示画像を撮影する撮影手段と、
前記撮影手段が前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去手段と、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識手段と、
を備えることを特徴とする画像認識装置。

【0068】

（付記２）
前記表示画像は前記所定の情報を示すアイコンである、
ことを特徴とする付記１に記載の画像認識装置。

【0069】

（付記３）
前記アイコンは白黒データである、
ことを特徴とする付記２に記載の画像認識装置。

【0070】

（付記４）
前記表示画像はデジタルミラーデバイスを備えた投影装置によって投影面上に投影された画像である、
ことを特徴とする付記１乃至３の何れか一項に記載の画像認識装置。

【0071】

（付記５）
前記画像認識手段は、前記縞除去画像中の前記表示画像を、前記表示画像と同じ表示画像が登録されている画像データベース上の各登録画像と照合して、撮影した前記表示画像を認識する、
ことを特徴とする付記１乃至３の何れか一項に記載の画像認識装置。

【0072】

（付記６）
前記画像データベースは前記画像認識装置に内蔵される、
ことを特徴とする付記５に記載の画像認識装置。

【0073】

（付記７）
前記画像データベースは前記画像認識装置とは異なるサーバ装置に内蔵され、
前記画像認識手段は、前記サーバ装置内の前記画像データベースと通信することにより、前記表示画像を認識する処理を実行する、
ことを特徴とする付記５に記載の画像認識装置。

【0074】

（付記８）
前記表示画像は、前記アイコンと、前記色縞雑音の向きと異なる向きの線で構成され前記アイコンの周囲に配置されるアイコン枠とから構成され、
前記撮影画像から前記アイコン枠を検出することにより、前記アイコンの位置合せを行う位置合せ手段をさらに備える、
ことを特徴とする付記２又は３に記載の画像認識装置。

【0075】

（付記９）
前記アイコン枠はひし形の枠である、
ことを特徴とする付記８に記載の画像認識装置。

【0076】

（付記１０）
前記アイコン枠は円形の枠である、
ことを特徴とする付記８に記載の画像認識装置。

【0077】

（付記１１）
前記色縞雑音除去手段は、前記撮影画像の色成分を除去する、
ことを特徴とする付記１乃至１０の何れか一項に記載の画像認識装置。

【0078】

（付記１２）
前記色縞雑音除去手段は、前記撮影画像の画素ごとに、ＨＳＶ色空間の彩度値を０にする処理を実行し、前記縞除去画像を生成する、
ことを特徴とする付記１１に記載の画像認識装置。

【0079】

（付記１３）
前記色縞雑音除去手段は、前記撮影画像の画素ごとに、Ｒ成分値、Ｇ成分値、およびＢ成分値を当該各成分値の中の最大値で置き換える処理を実行し、前記縞除去画像を生成する、
ことを特徴とする付記１１に記載の投影画像認識システム。

【0080】

（付記１４）
前記画像認識手段は、前記撮影画像中の前記表示画像と前記画像データベース中の前記各登録画像との照合において、エッジベース特徴量を用いた類似度を評価する、
ことを特徴とする付記５乃至７の何れか一項に記載の画像認識装置。

【0081】

（付記１５）
前記画像認識手段は、前記画像データベースに登録されている前記登録画像から作成したマスク画像を前記縞除去画像に適用して得られる画像領域から前記エッジベース特徴量を算出する、
ことを特徴とする付記１４に記載の画像認識装置。

【0082】

（付記１６）
前記画像認識手段は、前記撮影画像または前記縞除去画像から作成したマスク画像を前記縞除去画像に適用して得られる画像領域から前記エッジベース特徴量を算出する、
ことを特徴とする付記１４に記載の画像認識装置。

【0083】

（付記１７）
前記マスク画像は、前記撮影画像の色成分を除去した後に、エッジ抽出した第１のデータと、前記撮影画像の色相成分から抽出したエッジを膨張した第２のデータから作成する、
ことを特徴とする付記１６に記載の画像認識装置。

【0084】

（付記１８）
前記エッジベース特徴量は、ＨＯＧ特徴量である、
ことを特徴とする付記１４乃至１７の何れか一項に記載の画像認識装置。

【0085】

（付記１９）
所定の情報を示す表示画像を撮影し、
前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去し、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する、
ことを特徴とする画像認識方法。

【0086】

（付記２０）
コンピュータに、
所定の情報を示す表示画像を撮影する撮影ステップと、
前記撮影ステップで前記表示画像を撮影して得た撮影画像において、前記表示画像の表示特性と前記撮影手段の構造に起因して生じる色縞雑音を除去する色縞雑音除去ステップと、
前記色縞雑音が除去されて得られる縞除去画像中の前記表示画像を認識する画像認識ステップと、
を実行させるための画像認識プログラム。

【0087】

（付記２１）
所定の情報を示す画像を投影する投影装置と、当該投影装置が投影した投影画面に映る前記画像を撮影し撮影した前記画像を認識する撮影装置と、からなる投影画像認識システムにおいて、
前記投影装置と前記撮影装置の構造に起因する撮影画像の色縞雑音を除去する色縞雑音除去手段を備える、
ことを特徴とする投影画像認識システム。

【符号の説明】

【0088】

１００ 画像認識装置
６０２ ＣＰＵ
６０３ ＲＯＭ
６０４ ＲＡＭ
６０５ 外部記憶装置
６０６ 通信インタフェース
６０７ 入力装置
６０８ 表示装置
６０９ 可搬記録媒体駆動装置
６１０ 可搬記録媒体
６１１ バス
６１２ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】