特許 5776903 画像処理装置及び画像処理方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5776903

(24)【登録日】2015年7月17日

(45)【発行日】2015年9月9日

(54)【発明の名称】画像処理装置及び画像処理方法並びにプログラム

(51)【国際特許分類】

   G06T 7/00 20060101AFI20150820BHJP

   H04N 5/225 20060101ALI20150820BHJP

   H04N 5/232 20060101ALI20150820BHJP

   G03B 15/00 20060101ALI20150820BHJP

   G03B 17/38 20060101ALI20150820BHJP

   G06K 1/12 20060101ALI20150820BHJP

【ＦＩ】

   G06T7/00 T

   H04N5/225 F

   H04N5/232 Z

   G03B15/00 Q

   G03B17/38 B

   G06K1/12 E

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2012-46743(P2012-46743)

(22)【出願日】2012年3月2日

(65)【公開番号】特開2013-182483(P2013-182483A)

(43)【公開日】2013年9月12日

【審査請求日】2014年9月9日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(72)【発明者】

【氏名】橋本 章吾

(72)【発明者】

【氏名】浜田 玲

(72)【発明者】

【氏名】手島 義裕

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００５−２９３１４１（ＪＰ，Ａ）

【文献】 吉永 崇、外３名，“在宅における遠隔超音波診断のための３次元空間共有ＡＲインターフェースの開発”，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人日本バーチャルリアリティ学会，２００９年 ９月３０日，Vol.14, No.3，pp.413-420

【文献】 山田 一葉、外６名，“Ｂｅ−ｃｏｄｅ：ロゴ画像への情報埋め込み”，Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２０１１ 予稿集，日本，一般社団法人画像電子学会、（社）情報処理学会、（社）映像情報メディア学会，２０１１年 ６月２４日，pp.1-6

【文献】 西坂 信哉、外３名，“内装模様を利用した位置計測のロバスト性の向上に関する研究”，ヒューマンインタフェース学会研究報告集，日本，特定非営利活動法人ヒューマンインタフェース学会，２００９年 ６月 ８日，Vol.11, No.3，pp.43-48

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，５／００，７／００−７／６０

Ｈ０４Ｎ ５／２２５，５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像素子を備える撮像手段と、
前記撮像素子に映っている実画像を適応二値化法に従って二値化する処理を行う第１の二値化手段と、
前記第１の二値化手段により二値化された二値化画像の中から拡張現実マーカを検出する第１の検出手段と、
前記検出手段により検出された拡張現実マーカを基に二値化閾値を決定する閾値決定手段と、
前記閾値決定手段により二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する処理を行う第２の二値化手段と、
前記第２の二値化手段により二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出手段と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記実画像内の前記拡張現実マーカをフレーム毎に継続して検出する場合に前記第１の検出手段によって拡張現実マーカが検出された後の次回フレーム以降からは前記第２の検出手段によって前記拡張現実マーカを検出する、
ようにしたことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記閾値決定手段は、前記検出手段により検出された前記拡張現実マーカの領域内において、クラス内分散及びクラス間分散を基準としてクラス内分散が最小となり、クラス間分散が最大となる閾値を二値化閾値として決定する、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の画像処理装置。

【請求項4】

前記閾値決定手段は、前記撮像素子に映っている実画像の全体を複数の小領域に分割し、領域毎に求めた閾値の拡張現実マーカ内の平均値を前記二値化閾値として決定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。

【請求項5】

前記撮像手段による撮影時にその撮影状況に基づいて撮影パラメータを調整しながら撮影を行う撮影パラメータ調整手段を更に備え、
前記撮影パラメータ調整手段は、前記第１の検出手段によって拡張現実マーカが検出された際に、その検出時の前記撮影パラメータを維持することによって固定する、
ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。

【請求項6】

前記第２の検出手段により拡張現実マーカを検出することができなかった場合に、前記第１の二値化手段は、適応二値化法に従った二値化処理を再開し、前記撮影パラメータ調整手段は、前記撮影パラメータの固定を解除する、
ようにしたことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記撮影パラメータ調整手段は、少なくともホワイトバランス、露出、フォーカスのいずれかを調整する、
ようにしたことを特徴とする請求項５あるいは請求項６に記載の画像処理装置。

【請求項8】

前記撮像手段により撮影された実画像内において、前記第２の検出手段により検出された拡張現実マーカの位置に所定の仮想画像を合成して表示する合成表示手段と、
前記合成表示手段が前記実画像内の拡張現実マーカの位置に仮想画像をフレーム毎に合成して表示動作中において、前記第２の検出手段が前記拡張現実マーカを検出することができなくなった時点で前記合成表示手段による表示動作を中断させると共に、前記第１の二値化手段による二値化処理を再開させる制御手段と、
を更に備える、
ようにしたことを特徴とする請求項１〜７のいずれかに記載の画像処理装置。

【請求項9】

撮像素子に映っている実画像を適応二値化法に従って二値化する処理を行う第１の二値化ステップと、
前記適応二値化法に従って二値化された二値化画像の中から拡張現実マーカを検出する検出ステップと、
前記検出された拡張現実マーカを基に二値化閾値を決定する閾値決定ステップと、
前記二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する処理を行う第２の二値化ステップと、
前記固定閾値二値化法に従って二値化された二値化画像を基に前記拡張現実マーカを検出するする第２の検出ステップと、
を含むことを特徴とする画像処理方法。

【請求項10】

コンピュータに対して、
撮像素子に映っている実画像を適応二値化法に従って二値化する処理を行う第１の二値化機能と、
前記適応二値化法に従って二値化された二値化画像の中から拡張現実マーカを検出する検出機能と、
前記検出された拡張現実マーカを基に二値化閾値を決定する閾値決定機能と、
前記二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する処理を行う第２の二値化機能と、
前記固定閾値二値化法に従って二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像の中から拡張現実マーカを認識する画像処理装置及び画像処理方法並びにプログラムに関する。

【背景技術】

【0002】

一般に、スマートフォンなどの携帯端末装置にあっては、その多機能化が進み、カメラ機能（撮像機能）のほかに、ＡＲ（Augmented Reality：拡張現実）という画像処理機能が搭載されており、撮影された画像内の所定の位置に仮想画像（例えば、キャラクタ画像など）を合成して表示するようにしている。すなわち、被写体の位置又はその付近に印刷物としての拡張現実マーカ（ＡＲマーカ：正方形の黒枠内に白パターンを描いたマーカ）が配置されている状態において、その被写体が撮像機能によって撮影されると、携帯端末装置は、その撮影画像を解析することによりその中に含まれているＡＲマーカを認識し、このＡＲマーカの位置に仮想画像を合成して表示するようにしている。その際、ＡＲマーカを認識するために、撮影された画像を例えば、グレースケール化し、そのグレースケール画像を適応型二値化法を用いて二値化するようにしている。このように適応型二値化法を用いて画像を二値化する技術としては、例えば、特許文献１などが提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−５７０８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、適応型二値化法を用いて画像を二値化する技術にあっては、撮影された画像をフレーム毎に二値化処理するようにしているが、スマートフォンなどの携帯端末装置のＣＰＵ性能では処理が重くなり過ぎてしまい、処理速度が遅くなり、ＡＲマーカをスムーズに認識することができないという問題があった。
そこで、二値化閾値を固定的に用いる固定閾値二値化法によって撮影画像を二値化するようにすればよいが、撮影された画像全体に対する二値化閾値を算出するようにしているために、ＡＲマーカ内での最適な二値化閾値を算出することが難しくなり、処理速度は速いが、認識率が低いという問題点がある。

【0005】

本発明の課題は、拡張現実マーカの認識率向上と処理速度向上を同時に実現できるようにすることである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために本発明の画像処理装置は、
撮像素子を備える撮像手段と、
前記撮像素子に映っている実画像を適応二値化法に従って二値化する第１の二値化手段と、
前記第１の二値化手段により二値化された二値化画像の中から拡張現実マーカを検出する検出手段と、
前記検出手段により検出された拡張現実マーカを基に二値化閾値を決定する閾値決定手段と、
前記閾値決定手段により二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する第２の二値化手段と、
前記第２の二値化手段により二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出手段と、
を備えることを特徴とする画像処理装置である。

【0007】

上述した課題を解決するために本発明の画像処理方法は、
撮像素子に映っている実画像を適応二値化法に従って二値化する第１の二値化ステップと、
前記適応二値化法に従って二値化された二値化画像の中から拡張現実マーカを検出する検出ステップと、
前記検出された拡張現実マーカを基に二値化閾値を決定する閾値決定ステップと、
前記二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する第２の二値化ステップと、
前記固定閾値二値化法に従って二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出ステップと、
を含むことを特徴とする画像処理方法である。

【0008】

上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
撮像素子に映っている実画像を適応二値化法に従って二値化する第１の二値化機能と、
前記適応二値化法に従って二値化された二値化画像の中から拡張現実マーカを検出する検出機能と、
前記検出された拡張現実マーカを基に二値化閾値を決定する閾値決定機能と、
前記二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する第２の二値化機能と、
前記固定閾値二値化法に従って二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出機能と、
を実現させるためのプログラムである。

【発明の効果】

【0009】

本発明によれば、拡張現実マーカの認識率向上と処理速度向上を同時に実現することができ、実用性に富んだものとなる。

【図面の簡単な説明】

【0010】

【図1】画像処理装置として適用したカメラ機能付き多機能型携帯電話機（スマートフォン）の基本的な構成要素を示したブロック図。

【図2】拡張現実処理時に使用される拡張現実マーカ（ＡＲマーカ）を例示した図。

【図3】拡張現実撮影モードの切り換えに応じて実行開始される拡張現実処理を説明するためのフローチャート。

【図4】ＡＲマーカの領域が検出された場合にそれを特定するための４点座標を示した図。

【図5】本実施形態の変形例を示し、適応型二値化処理で得られた閾値の平均値を二値化閾値として算出する場合を説明するための図。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図１〜図４を参照して説明する。
本実施形態は、画像処理装置としてカメラ機能付き多機能型携帯電話機（スマートフォン）に適用した場合を例示したもので、図１は、このカメラ機能付き多機能型携帯電話機の基本的な構成要素を示したブロック図である。
この多機能型携帯電話機は、通話機能、電子メール機能、インターネット接続機能、カメラ機能の基本機能のほか、カメラ機能によって撮影された画像内に所定の仮想画像（例えば、キャラクタ画像）を合成して表示する拡張現実処理機能などを備えている。

【0012】

ＣＰＵ１は、二次電池（図示省略）を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの携帯電話機の全体動作を制御する中央演算処理装置である。記憶部３には、プログラムメモリＭ１、ワークメモリＭ２などが設けられている。プログラムメモリＭ１は、図３に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。ワークメモリＭ２は、携帯電話機が動作するために必要となる各種の情報（例えば、撮影された画像、フラグ、タイマなど）を一時的に記憶するワーク領域である。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、また、その一部が図示しない所定の外部サーバの領域を含むものであってもよい。

【0013】

無線通信部４は、音声通話機能、電子メール機能、インターネット接続機能時に使用される広域通信部であり、通話機能の動作時には音声信号処理部５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部５から取り込んでアンテナから発信出力させる。タッチ入力表示部６は、表示部６Ａとタッチ入力部６Ｂを有する構成で、高精細な表示部６Ａの前面にタッチ入力部６Ｂを配置することによりソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ操作に応じたデータを入力したりするデバイスである。表示部６Ａは、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイなどであり、カメラ機能の使用時には撮影された画像をライブビュー画像（モニタ画像）として表示するファインダ画面となる。

【0014】

撮像部７は、被写体を高精細に撮影可能なカメラ部を構成するもので、ズームレンズやフォーカスレンズ（図示省略）などを備えたレンズ部７Ａと、ＣＣＤ又はＣＭＯＳなどの撮像素子７Ｂと、照度計などの各種のセンサを備えたセンサ部７Ｃを有するほか、更に撮像素子７Ｂで光電変換された画像信号（アナログ値の信号）に対して、色分離やＲＧＢの色成分毎のゲイン調整などを行ってデジタル値のデータに変換するアナログ処理回路７Ｄと、このアナログ処理回路７Ｄによりデジタル変換された画像データに対して色補間処理（デモザイク処理）などを施すデジタル信号処理回路７Ｅを有する構成となっている。

【0015】

また、本実施形態では、例えば、夜景撮影モード、夕焼け撮影モードなどの各種の撮影モードに切り換え可能となっており、この各種の撮影モードの中には拡張現実撮影モードが含まれている。この拡張現実撮影モードは、拡張現実処理機能を使用して撮影を行う撮影モードで、この拡張現実撮影モードに切り換えられると、オートフォーカス（ＡＦ）調整機能、自動露出（ＡＥ）調整機能、自動ホワイトバランス（ＡＷＢ）調整機能を動作させるようにしている。なお、ＡＦ機能は、コントラストＡＦ方式を採用しているが、位相差ＡＦ方式であってもよく、また、ＡＥ機能は、周囲の明るさを検出する方式に限らず、画像データを基に輝度を検出する方式であってもよい。

【0016】

図２は、拡張現実処理時に使用される拡張現実マーカ（ＡＲマーカ）を例示した図である。
ＡＲマーカは、例えば、印刷物であり、正方形の黒枠内に任意形状の白領域のパターンを配置した構成で、黒の領域と白の領域とは所定の割合となっている。このような構成のＡＲマーカが撮影目的の被写体自身又はその付近に配置されている状態において、その被写体が撮像部７によって撮影されると、ＣＰＵ１は、撮像素子７Ｂに映っている画像（実画像）を解析し、その中のＡＲマーカの黒枠部分に着目して、ＡＲマーカの領域（黒枠の領域）を検出すると共に、ＡＲマーカ内に描かれている白領域のパターンを特定することによりＡＲマーカを検出するようにしている。

【0017】

ここで、本実施形態においては、撮像素子７Ｂに映っている実画像の中からＡＲマーカを検出するまでは、実画像を解析してフレーム毎に適応型二値化法に従った二値化処理を行う。そして、ＡＲマーカの検出後にあっては、検出したＡＲマーカの領域を基にその二値化閾値を決定し、この二値化閾値を用い固定閾値二値化法に従ってそのＡＲマーカに対する二値化処理を行い、ＡＲマーカを追跡しながら検出するようにしている。これによって認識したＡＲマーカの位置に所定の仮想画像（例えば、キャラクタ画像など）を合成表示させるようにしている。

【0018】

次に、本実施形態における多機能型携帯電話機の動作概念を図３に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。なお、図３は、多機能型携帯電話機の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

【0019】

図３は、拡張現実撮影モードの切り換えに応じて実行開始される拡張現実処理を説明するためのフローチャートである。
先ず、ＣＰＵ１は、ユーザ操作などにより拡張現実撮影モードに切り換えられると、拡張現実撮影アプリケーションを起動（ステップＳ１）させた後、オートフォーカス（ＡＦ）調整機能、自動露出（ＡＥ）調整機能、自動ホワイトバランス（ＡＷＢ）調整機能の動作を開始させる（ステップＳ２）。この状態において、撮像素子７Ｂに映っている画像（実画像）を取得し（ステップＳ３）、この取得した実画像をその明度に応じてグレースケール化（ステップＳ４）した後、このグレースケールの画像に対して適応型二値化法に従った二値化処理を行う（ステップＳ５）。そして、二値化した二値化画像を基にＡＲマーカを検出する処理を行う（ステップＳ６）。この場合、例えば、正方形の黒枠をＡＲマーカの領域として検出するようにしている。

【0020】

その結果、ＡＲマーカを検出することができたかを調べ（ステップＳ７）、ＡＲマーカ検出することができなかったときには（ステップＳ７でＮＯ）、上述のステップＳ３に戻って撮像素子７Ｂに映っている次のフレームの実画像を取得し、この取得した実画像に対してグレースケール化（ステップＳ４）、適応型二値化法に従った二値化処理を行う（ステップＳ５）。以下、ＡＲマーカの領域を検出するまでは撮像素子７Ｂに映っている実画像を取得しながらフレーム毎に上述の処理を繰り返す。

【0021】

これによってＡＲマーカを検出することができたときには（ステップＳ７でＹＥＳ）、その検出したマーカに基づいてＡＲマーカの領域の４点座標を取得する（ステップＳ８）。図４は、ＡＲマーカが検出された場合にそれを特定するための４点座標を示した図である。ここで、黒枠の正方形の各角部Ａ、Ｂ、Ｃ、ＤをＡＲマーカの領域の４点座標として求める。この４点座標Ａ、Ｂ、Ｃ、Ｄを基に二値化画像内でのＡＲマーカの領域が特定されると、この特定したＡＲマーカの領域内において、大津の二値化法（大津展之氏の論文、判別および最小２乗基準に基づく自動しきい値選定法」、電子通信学会論文誌、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４、ｐｐ．３４９−３５６（１９８０）を参照。）を使用して、ＡＲマーカの領域内での二値化閾値Ｔを算出する（ステップＳ９）。この場合、大津の二値化法ではＡＲマーカの領域内においてクラス内分散及びクラス間分散を基準として、クラス内分散が最小となり、クラス間分散が最大となる閾値を二値化閾値Ｔとして算出取得する。そして、そのときにオートフォーカス（ＡＦ）調整機能、自動露出（ＡＥ）調整機能、自動ホワイトバランス（ＡＷＢ）調整機能によって得られた各撮影パラメータ値（フォーカス、露出、ホワイトバランス）を固定するためにＡＦ・ＡＥ・ＡＷＢ調整機能をロックする（ステップＳ１０）。

【0022】

このようにしてＡＲマーカの領域を検出した後は、撮像素子７Ｂに映っている実画像を取得し（ステップＳ１１）、この取得した実画像に対して二値化閾値Ｔを用い固定閾値二値化法に従った二値化処理を行い（ステップＳ１２）、この二値化画像を基にＡＲマーカを認識する処理を行う（ステップＳ１３）。この場合、ＡＲマーカ内に描かれている白領域のパターンを特定することによりＡＲマーカを認識するようにしている。その結果、ＡＲマーカを認識することができなければ（ステップＳ１４でＮＯ）、ＡＦ・ＡＥ・ＡＷＢ調整機能のロック、つまり、各撮影パラメータ値（フォーカス、露出、ホワイトバランス）の固定を解除（ステップＳ１５）した後、上述のステップＳ３に戻って次のフレームの実画像を取得し、フレーム毎に適応型二値化法に従った二値化処理を再開する。

【0023】

一方、ＡＲマーカを正常に認識することができたときには（ステップＳ１４でＹＥＳ）、画像解析によりそのＡＲマーカの大きさ及び向きを特定すると共に（ステップＳ１５）、認識したＡＲマーカに対応付けられている仮想画像（例えば、キャラクタ画像など）を取得する（ステップＳ１６）。なお、記憶部３には予めＡＲマーカの種類に対応する仮想画像が記憶されている場合には、上述のようにした認識したＡＲマーカの種類に対応付けられている仮想画像を記憶部３から読み出し取得するようにすればよい。

【0024】

そして、ＡＲマーカの大きさ及び向きに応じて撮影距離及び撮影角度（撮影方向）を算出し（ステップＳ１８）、その算出結果（撮影距離及び撮影角度）に応じたサイズ及び向きの仮想画像を生成した後、実画像内のＡＲマーカの位置にその生成画像（仮想画像）を重畳して合成表示させる（ステップＳ１９）。以下、拡張現実処理の終了がユーザ操作により指示されたかを調べ（ステップＳ２０）、終了指示があれば（ステップＳ２０でＹＥＳ）、図３のフローから抜けるが、拡張現実処理の終了指示がなければ（ステップＳ２０でＮＯ）、上述のステップＳ１１に戻り、以下、撮像素子７Ｂに映っている実画像を取得して、固定閾値二値化法に従った二値化処理を行いながら（ステップＳ１２）、この二値化画像を基にＡＲマーカを認識（ステップＳ１３）する処理を繰り返す。このような仮想画像の合成表示中において、ＡＲマーカを認識することができなくなって（ステップＳ１４でＮＯ）、ＡＲマーカを見失ったときには、撮影パラメータのロックを解除した後（ステップＳ１５）、上述のステップＳ３に戻り、適応型二値化処理を再開する。

【0025】

以上のように、本実施形態においてＣＰＵ１は、撮像素子７Ｂに映っている実画像を適応二値化法に従って二値化すると共に、この二値化画像の中からＡＲマーカを検出して、このＡＲマーカを基に二値化閾値を決定した後、撮像素子７Ｂに映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化して、この二値化画像を基にＡＲマーカを検出するようにしたので、適応二値化法と固定閾値二値化法の利点を併せ持つことができ、ＡＲマーカの認識率を維持しながら処理速度を向上させることが可能となり、実用性に富んだものとなる。

【0026】

ＡＲマーカをフレーム毎に継続して検出する場合において、実画像を適応二値化法に従った二値化によってＡＲマーカを検出した後の次回フレーム以降からは、固定閾値二値化法に従った二値化によってＡＲマーカを検出するようにしたので、フレーム単位で二値化法の切り換えが可能となる。

【0027】

ＡＲマーカを基に二値化閾値を決定する場合に、ＡＲマーカ内において、クラス内分散及びクラス間分散を基準としてクラス内分散が最小となり、クラス間分散が最大となる閾値を二値化閾値として決定するようにしたので、ＡＲマーカにおける最適な二値化閾値を算出することができる。

【0028】

オートフォーカス（ＡＦ）調整機能、自動露出（ＡＥ）調整機能、自動ホワイトバランス（ＡＷＢ）調整機能の動作を開始させた状態において、二値化閾値Ｔを算出した際に、そのときの撮影パラメータ（フォーカス、露出、ホワイトバランス）を維持することによりロック（固定）するようにしたので、ＡＲマーカの領域が鮮明となり、更にマーカ認識率を向上させることができる。

【0029】

固定閾値二値化法でのＡＲマーカの検出中に、それを検出することができなくなったときには、適応二値化法に従った二値化処理を再開すると共に、撮影パラメータの固定を解除するようにしたので、ＡＲマーカを認識できるまで最初からやり直すことができる。

【0030】

実画像内のＡＲマーカの位置に仮想画像をフレーム毎に合成して表示動作中において、ＡＲマーカを検出することができなくなった時点でその表示動作を中断させると共に、適応二値化法に従った二値化処理を再開するようにしたので、一旦、ＡＲマーカを検出した後にＡＲマーカを見失ったときでも最初からやり直すことができる。

【0031】

なお、上述した実施形態においては、大津の二値化法を使用してＡＲマーカの領域内における二値化閾値Ｔを算出するようにしたが、適応型二値化処理で得られた閾値のＡＲマーカの領域内の平均値を二値化閾値Ｔとして算出するようにしてもよい。図５は、適応型二値化処理で得られた閾値の平均値を二値化閾値Ｔとして算出する場合を説明するための図で、撮像素子７Ｂに映っている実画像の全体を図５に示すような複数の小領域（例えば、正方形領域）に分割し、領域毎の閾値Ｔ１、Ｔ２、Ｔ３、…Ｔｎの拡張現実マーカの領域内の平均値を二値化閾値Ｔとして算出するようにしてもよい。

【0032】

また、上述した実施形態においては、固定閾値二値化法に従った二値化処理の開始タイミングをＡＲマーカの領域（黒枠領域）の検出時とした場合を例示したが、その開始タイミングはマーカの検出時（マーカ認識時）であってもよい。

【0033】

また、ＡＲマーカの領域内での重み付けによる加重平均（ガウシアンの重み付け）から二値化閾値Ｔを決定するようにしてもよい。つまり、ＡＲマーカの領域内での最適な二値化閾値Ｔを算出することができれば、その手法は問わない。

【0034】

また、上述した実施形態においては、二値化閾値Ｔを算出した際に、そのときの撮影パラメータにロックするようにしたが、ＡＲマーカが検出された際に、そのときの撮影パラメータにロックするようにしてもよい。

【0035】

また、上述した実施形態においては、カメラ機能付き多機能型携帯電話機（スマートフォン）に適用した場合を例示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤー・電子ゲーム機などであってもよく、勿論、デジタルカメラ自体であってもよい。

【0036】

また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

【0037】

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像素子を備える撮像手段と、
前記撮像素子に映っている実画像を適応二値化法に従って二値化する処理を行う第１の二値化手段と、
前記第１の二値化手段により二値化された二値化画像の中から拡張現実マーカを検出する検出手段と、
前記検出手段により検出された拡張現実マーカを基に二値化閾値を決定する閾値決定手段と、
前記閾値決定手段により二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する処理を行う第２の二値化手段と、
前記第２の二値化手段により二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記実画像内の前記拡張現実マーカをフレーム毎に継続して検出する場合に前記第１の検出手段によって拡張現実マーカが検出された後の次回フレーム以降からは前記第２の検出手段によって前記拡張現実マーカを検出する、
ようにしたことを特徴とする請求項１に記載の画像処理装置。
（請求項３） 請求項３に記載の発明は、請求項１あるいは請求項２に記載の画像処理装置において、
前記閾値決定手段は、前記検出手段により検出された前記拡張現実マーカの領域内において、クラス内分散及びクラス間分散を基準としてクラス内分散が最小となり、クラス間分散が最大となる閾値を二値化閾値として決定する、
ようにしたことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の画像処理装置において、
前記閾値決定手段は、前記撮像素子に映っている実画像の全体を複数の小領域に分割し、領域毎に求めた閾値の拡張現実マーカ内の平均値を前記二値化閾値として決定する、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の画像処理装置において、
前記撮像手段による撮影時にその撮影状況に基づいて撮影パラメータを調整しながら撮影を行う撮影パラメータ調整手段を更に備え、
前記撮影パラメータ調整手段は、前記第１の検出手段によって拡張現実マーカが検出された際に、その検出時の前記撮影パラメータを維持することによって固定する、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記第２の検出手段により拡張現実マーカを検出することができなかった場合に、前記第１の二値化手段は、適応二値化法に従った二値化処理を再開し、前記撮影パラメータ調整手段は、前記撮影パラメータの固定を解除する、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項５あるいは請求項６に記載の画像処理装置において、
前記撮影パラメータ調整手段は、少なくともホワイトバランス、露出、フォーカスのいずれかを調整する、
ようにしたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜７のいずれかに記載の画像処理装置において、
前記撮像手段により撮影された実画像内において、前記第２の検出手段により検出された拡張現実マーカの位置に所定の仮想画像を合成して表示する合成表示手段と、
前記合成表示手段が前記実画像内の拡張現実マーカの位置に仮想画像をフレーム毎に合成して表示動作中において、前記第２の検出手段が前記拡張現実マーカを検出することができなくなった時点で前記合成表示手段による表示動作を中断させると共に、前記第１の二値化手段による二値化処理を再開させる制御手段と、
を更に備える、
ようにしたことを特徴とする画像処理装置である。
（請求項９）
請求項９に記載の発明は、
撮像素子に映っている実画像を適応二値化法に従って二値化する処理を行う第１の二値化ステップと、
前記適応二値化法に従って二値化された二値化画像の中から拡張現実マーカを検出する検出ステップと、
前記検出された拡張現実マーカの領域を基に二値化閾値を決定する閾値決定ステップと、
前記二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する処理を行う第２の二値化ステップと、
前記固定閾値二値化法に従って二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出ステップと、
を含むことを特徴とする画像処理方法である。
（請求項１０）
請求項１０に記載の発明は、
コンピュータに対して、
撮像素子に映っている実画像を適応二値化法に従って二値化する処理を行う第１の二値化機能と、
前記適応二値化法に従って二値化された二値化画像の中から拡張現実マーカを検出する検出機能と、
前記検出された拡張現実マーカを基に二値化閾値を決定する閾値決定機能と、
前記二値化閾値が決定された後、前記撮像素子に映っている実画像をその二値化閾値を用い固定閾値二値化法に従って二値化する処理を行う第２の二値化機能と、
前記固定閾値二値化法に従って二値化された二値化画像を基に前記拡張現実マーカを検出する第２の検出機能と、
を実現させるためのプログラムである。

【符号の説明】

【0038】

１ ＣＰＵ
３ 記憶部
６ タッチ入力表示部
７ 撮像部
７Ａ レンズ部
７Ｂ 撮像素子
７Ｃ センサ部
７Ｄ アナログ処理回路
７Ｅ デジタル信号処理回路
Ｔ 二値化閾値

【図1】

【図2】

【図3】

【図4】

【図5】