特許 7182858 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-25

(45)【発行日】2022-12-05

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20221128BHJP

【ＦＩ】

H04N1/387

【請求項の数】 9

(21)【出願番号】P 2017126767

(22)【出願日】2017-06-28

(65)【公開番号】P2019009747

(43)【公開日】2019-01-17

【審査請求日】2020-06-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】井上 雄一

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１７－０７３６５２（ＪＰ，Ａ）

【文献】特開２００３－１３４０３８（ＪＰ，Ａ）

【文献】国際公開第２００７／０１５４５２（ＷＯ，Ａ１）

【文献】特開２０１６－０８２４６９（ＪＰ，Ａ）

【文献】特開２０１６－０６３２６２（ＪＰ，Ａ）

【文献】特開２００７－２０１６３１（ＪＰ，Ａ）

【文献】特開２００５－０２６７９７（ＪＰ，Ａ）

【文献】特開２００５－２９５４５８（ＪＰ，Ａ）

【文献】特開２００８－２８３６４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３８７

Ｈ０４Ｎ １／３２

(57)【特許請求の範囲】

【請求項1】

画像処理装置であって、
電子透かしによって付加情報が埋め込まれた印刷物を撮影する撮影手段と、
前記撮影手段によって取得された撮影画像情報から前記付加情報を抽出する抽出処理を実行する抽出手段と、
前記印刷物には前記付加情報と前記付加情報の埋め込み位置を示す位置情報とが電子透かしによって埋め込まれており、取得された位置情報の数が前記付加情報の抽出処理を実行するために必要な数未満であり、かつ、１以上である場合、読み取り中であることを示すメッセージを通知する第１通知手段と、
前記読み取り中であることを示すメッセージを通知してから一定時間経過しても前記付加情報の読取が完了していないことに基づいて前記画像処理装置と前記印刷物の距離に関するメッセージまたは前記印刷物に対する前記画像処理装置の傾きに関するメッセージを通知する第２通知手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記画像処理装置と前記印刷物の距離に関するメッセージまたは前記印刷物に対する前記画像処理装置の傾きに関するメッセージが前記第２通知手段により通知された 後に前記付加情報の前記抽出処理が進んだ場合に、前記第１通知手段は、前記読み取り中であることを示すメッセージを通知することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像処理装置と前記印刷物の距離に関するメッセージまたは前記印刷物に対する前記画像処理装置の傾きに関するメッセージが通知される前に前記読み取り中であることを示すメッセージが通知される第１条件と、前記画像処理装置と前記印刷物の距離に関するメッセージまたは前記印刷物に対する前記画像処理装置の傾きに関するメッセージが通知されてから再度前記読み取り中であることを示すメッセージが通知される第２条件は異なることを特徴とする請求項２に記載の画像処理装置 。

【請求項4】

前記撮影手段と前記付加情報との位置関係は、前記撮影手段によって抽出された前記位置情報に基づいて定められることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記抽出処理を開始するための条件は、前記抽出手段によって抽出された前記位置情報の数によって定められていることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第１通知手段及び前記第２通知手段は、前記メッセージを通知する画面を表示する表示手段によって構成されていることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第１通知手段及び前記第２通知手段は、前記メッセージを音声によって通知する音声出力手段によって構成されていることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。

【請求項8】

画像処理装置において実行する画像処理方法であって
電子透かしによって付加情報が埋め込まれた印刷物を撮影する撮影工程と、
前記撮影工程によって取得された撮影画像情報から前記付加情報を抽出する抽出処理を実行する抽出工程と、
前記印刷物には前記付加情報と前記付加情報の埋め込み位置を示す位置情報とが電子透かしによって埋め込まれており、取得された位置情報の数が前記付加情報の抽出処理を実行するために必要な数未満であり、かつ、１以上である場合、読み取り中であることを示すメッセージを通知する第１通知工程と、
前記読み取り中であることを示すメッセージを通知してから一定時間経過しても前記付加情報の読取が完了していないことに基づいて前記画像処理装置と前記印刷物の距離に関するメッセージまたは前記印刷物に対する前記画像処理装置の傾きに関するメッセージを通知する第２通知工程と、
を有することを特徴とする画像処理方法。

【請求項9】

コンピュータを請求項１ないし７のいずれか１項に記載の手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視覚的に認識されにくい付加情報が埋め込まれた画像情報から付加情報を抽出する画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

現在、電子透かし技術と称し、写真、絵画等の画像情報の中に、その著作者名や、使用許可の可否等の付加情報を視覚的に認識しにくい状態に多重化して埋め込む技術が用いられている。この電子透かし技術によって埋め込まれた付加情報の読み取りは、カメラ等の撮影装置で対象を撮影し、得られた画像情報を解析して付加情報を抽出する方法がとられている。

【0003】

特許文献１には、ユーザがカメラ等の撮影装置を手持ちで移動させながら印刷物を撮影した際に手ブレが生じたとしても印刷物に埋め込まれている付加情報を正確に読み取ることを可能にする技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１６－６３２６３号公報

【発明の開示】

【発明が解決しようとする課題】

【0005】

ところで、付加情報を容易に抽出するために撮影装置の操作性を向上させることが望まれている。

【0006】

本発明は、上記課題に鑑みてなされたものであり、ユーザへの通知によって、撮影手段による抽出操作をユーザが容易かつ効率的に行うことが可能な画像処理装置、画像処理方法、およびプログラムの提供を目的とする。

【課題を解決するための手段】

【0007】

本発明は、画像処理装置であって、電子透かしによって付加情報が埋め込まれた印刷物を撮影する撮影手段と、前記撮影手段によって取得された撮影画像情報から前記付加情報を抽出する抽出処理を実行する抽出手段と、前記印刷物には前記付加情報と前記付加情報の埋め込み位置を示す位置情報とが電子透かしによって埋め込まれており、取得された位置情報の数が前記付加情報の抽出処理を実行するために必要な数未満であり、かつ、１以上である場合、読み取り中であることを示すメッセージを通知する第１通知手段と、前記読み取り中であることを示すメッセージを通知してから一定時間経過しても前記付加情報の読取が完了していないことに基づいて前記画像処理装置と前記印刷物の距離に関するメッセージまたは前記印刷物に対する前記画像処理装置の傾きに関するメッセージを通知する第２通知手段を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、印刷物における付加情報の埋め込み位置と撮影手段との位置関係を通知することにより、撮影手段による抽出操作をユーザが容易かつ効率的に行うことが可能になる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態における画像処理システムの全体構成を示すブロック図である。

【図2】図１に示す付加情報多重化装置の構成を示すブロック図である。

【図3】図２に示す誤差拡散処理ブロック図である。

【図4】付加情報多重化処理を示すフローチャートである。

【図5】付加情報画像を示す図である。

【図6】多重化の量子化条件を示す図である。

【図7】図１に示す付加情報分離装置の構成を示すブロック図である。

【図8】撮影画像と同画像に含まれる印刷画像との位置関係の一例を示す図である。

【図9】付加情報分離装置に用いられる空間フィルタの例を示す図である。

【図10】二次元周波数領域での周波数ベクトルを説明する図である。

【図11】付加情報分離処理を示すフローチャートである。

【図12】間引き処理に使用する間引きテーブルの一例を示す図である。

【図13】間引き処理に使用する間引きテーブルの他の例を示す図である。

【図14】撮影時における撮影装置の姿勢の表す模式図である。

【図15】読み取り状況の通知処理を示すフローチャートである。

【図16】撮影画像の例を示す図である。

【図17】読み取り処理における読み取り指示画面、読み取り状況画面、注意画面を示す図である。

【図18】付加情報の抽出処理に関する通知動作例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る実施形態を、図面を参照しつつ詳細に説明する。但し、以下の実施形態に記載されている構成はあくまで例示であり、本発明の範囲を以下に説明する実施形態のみに限定するものではない。

【0011】

なお、本明細書において、「記録」（「プリント」、又は「印刷」という場合もある）とは、文字、図形などの優位の情報を形成するのみならず、有意無意を問わずに情報を形成することを表すことを意味する。さらに、人間が視覚で認識し得るように顕在化したものであるか否かを問わず、広く記録媒体上に画像、模様、パターン等を形成する、又は媒体の可能を行う場合も表すものとする。

【0012】

また、「記録媒体」とは、一般的な記録装置で用いられる紙のみならず、布、プラスチックフィルム、金属板、ガラス、セラミックス、木材、皮革等のように、インクを付与可能なものを広く表すものとする。

【0013】

また、撮影手段（装置）による「読み取り」とは、撮影手段によって印刷物に形成された情報を抽出する処理（抽出処理）を意味し、抽出ともいう。

【0014】

さらに、「付加情報」とは、印刷物にこれから埋め込む情報、あるいは既に印刷物に埋め込まれた情報を指す。付加情報は、視覚的に認識しにくいように印刷物に埋め込まれている。このように付加情報を埋め込むことを、以下の説明において、「付加する」、「多重化する」、あるいは「重畳」する、という場合もある。

【0015】

また、記録媒体に記録（又は印刷）されたものを印刷物という。この印刷物には、人間によって視認可能な画像の他、視認不能あるいは視認しにくい状態に付加情報が埋め込まれた（多重化された）ものを含み、付加情報が多重化されて埋め込まれた印刷物を、「多重化印刷物」ともいう。

【0016】

（画像処理システム）
本実施形態における画像処理システムは、付加情報を印刷物に埋め込むための付加情報多重化装置と、印刷物から付加情報の抽出処理を行う付加情報抽出分離装置などの画像処理装置を備える。付加情報多重化装置としての機能は、プリンタエンジンへ出力すべき画像情報を作成するプリンタドライバソフト、もしくはアプリケーションソフトなどを内蔵するコンピュータや、スマートフォン等の多機能形態装置によって実現することができる。また、複写機、ファクシミリ、プリンタ本体等に内蔵されるハードウエア、及びソフトウエアによって付加情報多重化装置としての機能を実現することも可能である。

【0017】

一方、付加情報分離装置としては、カメラなどの撮影機能を備えた、携帯電話、スマートフォン、あるいはタブレットＰＣなどが挙げられる。以下、このような撮影機能を備えた携帯可能なデバイスをカメラ付携帯端末と呼ぶ。また、付加情報分離装置としての機能は、デジタルスチールカメラで撮影して得られた画像情報からコンピュータ内のアプリケーションソフトで付加情報を分離する一連の装置によって実現することも可能である。

【0018】

（付加情報多重化装置）
図１は、本発明の実施例の画像処理システム１の構成を示すブロック図である。本実施形態における画像処理システム１では、入力端子１００から多階調の入力画像情報が入力され、入力端子１０１からは入力画像情報の中に埋め込むべき付加情報が入力される。現在、この付加情報としては種々の情報が用いられている。例えば、音声情報や動画情報、テキスト文書情報、著作権情報、撮影日時、撮影場所、撮影者等の入力画像に関係する諸情報、あるいは、入力画像情報とは全く別の画像情報等、様々な情報を付加情報として入力画像情報に埋め込むことが可能である。

【0019】

付加情報多重化装置１０２は、付加情報が視覚的に判別されにくいように、入力画像情報中に付加情報を埋め込ませる装置である。この付加情報多重化装置１０２は、多階調の入力画像情報の量子化を行う際に、付加情報を多重化する処理を併せて行う。そして、ここで量子化された多重化画像情報は、プリンタ１０３に送られる。なお、付加情報多重か装置１０２の構成については後述する。

【0020】

プリンタ１０３は、入力された多重化画像情報に基づいて、所定の記録媒体に画像を記録し、印刷物を作成する。本実施形態では、インクジェットプリンタ、レーザープリンタ等、疑似階調処理によって階調表現を行うプリンタが使用可能である。プリンタ１０３によって作成された印刷物は、カメラ付携帯端末（画像処理装置）１０４によって撮影される。

【0021】

カメラ付携帯端末１０４は、印刷物上の情報を撮影する撮像センサ１０５、撮影された画像情報から付加情報を分離する分離装置１０６などを備える。さらにカメラ付携帯端末１０４は、出力装置としてスピーカ、ディスプレイ、などを備え得ると共に、加速度センサ１１０及び第２撮像センサ１１１などの複数のセンサを備える。

【0022】

印刷物を撮像センサ（撮像手段）１０５によって撮影することによって得られる画像情報は、付加情報分離装置（抽出手段）１０６に送られ、印刷物中に埋め込まれた付加情報が抽出（分離）された後、出力端子１０７に出力される。この出力端子１０７は、取得した付加情報を出力するインターフェイスであり、付加情報をその種類に応じた出力装置へと出力する。例えば、取得した情報が音声情報であれば、その音声情報をカメラ付携帯端末１０４の通知手段の１つであるスピーカ（音声出力手段）１０８へと出力する。また、取得した情報が画像情報であれば、その画像情報を通知手段の１つであるディスプレイ１０９（表示手段）へと出力する。また、出力端子１０７は、外部デバイスへデータを出力するインターフェイスであってもよい。さらに、カメラ付携帯端末１０４に複数の撮像センサがある場合、印刷物の撮影は第２撮像センサ１１１で行ってもよい。なお、本実施形態では、カメラ付携帯端末１０４が多重化アプリケーションを備える。カメラ付携帯端末１０４は、多重化アプリケーションを利用することで、付加情報が埋め込まれた印刷情報を生成したり、印刷物から付加情報を抽出したりすることができる。また、カメラ付き携帯端末１０４は、ＣＰＵ２０００を備える。このＣＰＵ２０００が、カメラ付き携帯端末１０４の処理を制御する。なお、ＣＰＵ２０００は、プログラムをメモリから読みだして実行することで後述するフローチャートの各ステップを実行する。

【0023】

図２は、図１の付加情報多重化装置１０２の構成を示す機能ブロック図である。付加情報多重化装置１０２は、入力端子１００より入力された画像情報に対して誤差拡散法を用いた疑似階調処理を施すことによって、入力階調数よりも少ない量子化レベルに変換し、複数画素の量子化値によって面積的に階調性を表現する。誤差拡散処理についての詳細は後述する。

【0024】

ブロック化部２０１は、入力された画像情報を所定領域単位に区分する処理を行う。このブロック化部２０１によってブロック化される領域は矩形でもよいし、矩形以外であってもよい。量子化条件制御部２０２は、入力端子１０１から入力された付加情報に基づいて、ブロック化部２０１にてブロック化した領域単位で量子化条件を変更、制御する。

【0025】

以上の付加情報多重化装置１０２としての機能は、前述のような多機能形態装置などに搭載されているＣＰＵ２１１、ＲＯＭ２１２、およびＲＡＭ２１３を備える制御部によって実現される。すなわち、ＣＰＵ２１１は、ＲＯＭ２１２に保持された制御プログラムに従ってＲＡＭ２１３を作業領域として使用しつつ種々の処理を実行し、上述のブロック化部２０１、量子化条件制御部２０２、及び誤差拡散部２００としての機能を実現する。

【0026】

図３は、誤差拡散処理部２００の構成を示すブロック図である。本実施形態では、多値の階調で表される入力画像情報を、２値の階調値に量子化された画像情報へと変換する誤差拡散処理を例に採り説明する。加算器３００は、入力された画像情報の注目画素値と、既に２値化されている周辺画素から分配された量子化誤差とを加算した加算結果を出力する。

【0027】

比較部３０１は、量子化条件制御部２０２から出力された量子化閾値と、加算器３００から出力された加算結果と、を比較し、加算結果が量子化閾値よりも大きい場合には"１"を、それ以外では"０"を出力する。例えば、８ビットの精度で画素の階調を表現する場合には、最大値である"２５５"と最小値である"０"で表現するのが一般的である。量子化値が"１"のとき記録媒体上にインクまたはトナー等でドットが形成されるものとする。

【0028】

減算器３０２は、前述の量子化結果と加算結果との誤差を算出する。この誤差に基づき、誤差配分演算部３０３は、今後の量子化処理が施される周辺画素に誤差を算出する。誤差の配分割合は注目画素との相対的な距離に基づいて実験的に定められた誤差の配分テーブル３０４を予め設けておき、配分テーブルに記された配分割合に基づいて誤差を分配する。図３の配分テーブル３０４は、周囲４画素分の配分テーブルを示しているが、これに限るものではない。

【0029】

次に、量子化条件制御部２０２を含む付加情報多重化装置１０２によって実行される全体的な処理手順について、図４のフローチャートに従って説明する。なお、量子化値は２値である例について述べる。ステップＳ４０１では、変数iの初期化を行う。変数iは画像の垂直方向における画素のアドレスをカウントする変数である。また、ステップＳ４０２では、変数jの初期化を行う。変数jは画像の水平方向における画像のアドレスをカウントする変数である。

【0030】

次に、ステップＳ４０３では、現在の処理アドレスi、jで示される画素が、多重化処理を実行すべき領域に属しているか否かを判定する。ここで、図５に基づき、多重化領域について説明する。図５は、水平画素数がWIDTH、垂直画素数がHEIGHTである、１つの画像の例を示している。

【0031】

図５に示す画像では、左上を原点とし、横Ｎ画素、縦Ｍ画素の領域を１つのブロックとしてブロック化を行う。また、図５では、原点を基準点としてブロック化を行う例を示しているが、原点から離れた点を基準点としてブロックの設定を行ってもよい。この画像中に最大限の情報を多重化する場合には、Ｎ×Ｍの画素からなるブロックを基準点から配置していく。この場合、水平方向に配置可能なブロック数をＷ、垂直方向に配置可能なブロック数をＨとすると、ブロック数Ｗ、Ｈは、それぞれ水平、垂直方向における画素数に対しして以下の関係になる。
W = INT(WIDTH / N) …式１
H = INT(HEIGHT / M) …式２
但し、INT( )は( )内の整数部分を示す。

【0032】

式１、式２において割り切れない剰余画素数が、Ｎ×Ｍのブロックを複数配置した時の端部の領域に相当し、これが符号多重化領域外の領域となる。

【0033】

図４のステップＳ４０３において、現在処理している注目画素が多重化領域外であると判定された場合には、ステップＳ４０４において量子化条件Ｃが設定される。一方、現在処理している注目画素が多重化領域内であると判定された場合には、ステップＳ４０５へ進み、多重化すべき情報を読み込む。

【0034】

多重化領域内には位置情報と付加情報を多重化する。図５における網掛けされたマス（Ｎ×Ｍの画素からなるブロック）５０１は画像に埋め込まれた（多重化された）位置情報を表している。位置情報は、網掛けされたマスを１セットとして画像中に９セット配置している。また、これら位置情報に囲まれた領域には、付加情報５０２ａ～５０２ｄが埋め込まれている（多重化されている）。

【0035】

ここでは、説明を容易にするために位置情報は（０）～（８）の位置番号で表現するものとするが、より詳細にはさらに多くの網掛けされたマスを使用してＸＹ座標のブロック数や画素数、距離で表現する。いま、位置情報及び付加情報をcode[ ]という配列を用いて、各１ビットずつ表現するものとする。例えば位置情報及び付加情報を１４×１４＝１９６ビット分の情報と仮定すると、配列code[ ]はcode[0]からcode[195]まで、各１ビットずつが格納されていることになる。

【0036】

基準点に一番近い位置情報のセット５０１は位置番号（０）を、４ブロック（bit）を使用して“００００”の情報を多重化する。また、基準点から一番遠い位置情報のセット５０３は位置番号（８）を、４ブロック（bit）を使用して“１０００”の情報を多重化する。同様に間の位置情報のセット５０４は位置番号（６）を、４ブロック（bit）を使用して“０１１０”の情報を多重化する。

【0037】

付加情報５０２は、位置番号（０）、（１）、（３）、（４）の位置情報で囲まれており、これらの位置情報を撮像センサによって取得できた場合には、撮像センサの位置が付加情報５０２ａを読み取り得る位置に存在すると判定できる。すなわち、読み取り時に前述の位置番号（１）～（４）が取得できた場合には、付加情報５０２ａの読み取りを実行できる。また、付加情報５０２ｂは、位置情報（１）、（２）、（４）、（５）が抽出されたときにのみ、付加情報の読み取り処理（抽出処理）を実行することができる。同様に、付加情報５０２ｃは位置情報（３）、（４）、（６）、（７）が抽出されたとき、付加情報５０２ｄは位置情報（４）、（５）、（７）、（８）が抽出されたときに、それぞれ付加情報に関する読み取り動作を実行することができる。換言すれば、付加情報の読み取り動作を開始し得る条件として４つの位置情報を定め、全ての位置情報を抽出し得る位置に撮像センサ１０５が位置する場合にのみ、付加情報の抽出処理を実行する。従って、４つの位置情報の中の一部の条件を満たしただけ（１～３の位置情報を取得しただけ）では、付加情報の読み取りは実行されない。

【0038】

ステップＳ４０５では、量子化条件制御部２０２が多重器すべき付加情報に基づいて現在処理している注目画素が含まれるブロックに割り振る変数ビット（bit）を決定する。変数bitには、以下のように配列code[ ]内の情報が代入される。
bit = code[INT(i / M)×W + INT(j / N)] …式３

【0039】

続いて、Ｓ４０６では、変数bitが"１"か否かを判定する。前述したように、配列code[ ]内の情報は各１ビットずつ格納されているため、変数bitの値も"０"か"１"かの何れかを示すことになる。Ｓ４０６にて、bit が"０"と判定された場合には、ステップＳ４０７にて量子化条件Ａを設定し、bit が"１"と判定された場合には、ステップＳ４０８にて量子化条件Ｂを設定する。この後、ステップＳ４０９では、設定された量子化条件に基づいて量子化処理を行う。この量子化処理は、図３において説明した誤差拡散法に相当する。

【0040】

次に、Ｓ４１０では水平方向の変数j をカウントアップする。さらに、Ｓ４１１では変数j が画像の水平画素数であるWIDTH未満か否かを判定し、処理画素数がWIDTHになるまで前述のＳ４０３～Ｓ４１１までの処理を繰り返す。また、水平方向の処理がWIDTH画素数分終了すると、Ｓ４１２にて垂直方向の変数iをカウントアップし、その変数ｉがＳ４１３にて画像の垂直画素数であるHEIGHT未満か否かを判定する。そして、処理画素数がHEIGHTになるまで前述の処理Ｓ４０２～Ｓ４１３の処理を繰り返す。以上の動作手順により、Ｎ×Ｍ画素よりなるブロック単位で、量子化条件を変更することが可能になる。

【0041】

ここで、量子化条件Ａ、Ｂ、Ｃの例について説明する。誤差拡散法における量子化条件には様々な因子があるが、本実施形態では量子化条件を量子化閾値としている。量子化条件Ｃは多重化領域外において設定される条件であるため、量子化閾値は任意の値に設定可能である。前述のように、１画素が８ビットによって階調表現され、量子化レベルが２値である場合には、最大の階調値である"２５５"、及び、最小の階調値である"０"が量子化代表値となる。この場合、中間値となる"１２８"を量子化閾値として設定することが多い。すなわち、量子化条件Ｃでは、量子化閾値を"１２８"に固定する。

【0042】

一方、量子化条件Ａおよび量子化条件Ｂは多重化領域内のブロックで使用される条件である。このため、量子化条件の違いによって画質の違いを生じさせることが求められる。但し、画質の違いは視覚的には判別しにくいように表現し、かつ、記録媒体上から容易に識別できることが好ましい。

【0043】

図６は、量子化条件Ａ、Ｂを表した例である。図６（ａ）は、量子化条件Ａにおける量子化閾値の変化の周期を示した図である。図６（ａ）において、ひとつのマスを１画素分と想定し、白いマスを固定閾値、網掛けされたマスを変動閾値とする。すなわち、図６（ａ）の例では、横８画素、縦４画素のマトリクスを組み、網掛けされたマスの閾値のみ突出した値を閾値として設定する。

【0044】

図６（ｂ）は、図６（ａ）と同様に、量子化条件Ｂにおける量子化閾値の変化の周期を示した図である。図６（ｂ）の例では、図６（ａ）とは異なり、横４画素、縦８画素のマトリクスを組み、網掛けされた網掛けされたマスの閾値のみ突出した値を閾値として設定する。

【0045】

いま、前述のように１画素が８ビットの階調値で表される場合に、例えば、固定閾値を"１２８"、突出した閾値を"１０"と設定する。量子化閾値が低くなると、注目画素の量子化値が"１"（量子化代表値"２５５"）になりやすくなる。すなわち、図６（ａ）、（ｂ）ともに、図中の網掛けされたマスの並びで量子化値"１"が並びやすくなる。言い換えると、Ｎ×Ｍ画素のブロック毎に、図６（ａ）の網掛けされたマスの並びでドットが発生するブロックと、図６（ｂ）の網掛けされたマスの並びでドットが発生するブロックとが混在することになる。

【0046】

なお、以上の説明では、誤差拡散法の量子化閾値に付加情報の符号（ビット）を表す所定の周期性を重畳することにより多重化を実現する方式を説明したが、多重化を行う方式はこれに限定されるものではない。例えば、以下の方式を採ることも可能である。
ＲＧＢの輝度情報に、直接、周期性を重畳する方式
ＲＧＢの輝度情報を、輝度‐色差情報（例えばＹ，Ｃｒ，Ｃｂ信号、XYZ信号、L*a*b*信号）に分離して周期性を多重化する方式

【0047】

ＲＧＢの輝度情報をインク色（例えばＣＭＹＫ）の信号に分離して周期性を多重化する方式、つまり、量子化閾値ではなく、画像データに直接周期性を多重化してもよい。すなわち、所定の周期の画素をプラスα（あるいはマイナスα）し、他の画素をマイナスα（あるいはプラスα）するような方式であってもよい。また、上述した例では、量子化後の情報をプリンタ１０３に送信する方式を示しているが、多重化処理及び量子化処理をプリンタ１０３の本体内部で処理する構成でもよい。

【0048】

（付加情報分離装置）
次に、図１に示す画像処理システムにおける付加情報分離装置１０６について説明する。

【0049】

図７は、付加情報分離装置１０６の構成を示すブロック図である。説明を容易にするために、付加情報多重化装置１０２と同様に、分割したブロック内に各１ビットずつの付加情報が多重化されている印刷物から付加情報を分離（抽出）する例について説明する。この場合、付加情報多重化装置１０２における１ブロックあたりの付加情報量と、付加情報分離装置１０６における１ブロックあたりの分離情報量は等しくなる。

【0050】

入力端子７００には、カメラ付携帯端末１０４で読み込まれた（撮影された）画像情報が入力される。使用するカメラ付携帯端末１０４の撮像センサの解像度は、印刷物を作成するプリンタの解像度と同等以上であることが好ましい。正確に印刷物のドットの点在情報を読み込むためには、サンプリング定理により、撮像センサ側はプリンタ側よりも２倍以上の解像度が必要になる。しかし、プリンタ側と同等の解像度を有する撮像センサであれば、正確でなくとも、ある程度ドットが点在しているのを判別することは可能である。第１の実施形態では、説明を容易にするためにプリンタ解像度と撮像センサの解像度とが同一の解像度を有する場合を想定する。

【0051】

また、幾何学的ずれ検出部７０１は、カメラ付携帯端末１０４で撮影した画像の幾何学的ずれを検出する。入力端子７００から送信される画像情報は、プリンタでの出力、及びプリンタで出力された画像をカメラ付携帯端末１０４で撮影するという過程を経て得られる情報である。このため、プリンタから出力される以前の画像情報（プリンタへの入力画像情報）とは幾何学的に大きくずれている場合がある。そこで、幾何学的ずれ検出部７０１では、図８に示すように撮影された画像Ｉｍの中に含まれる、印刷物の画像Ｉｍ１と印刷物の画像以外の領域との境界線をエッジ検出にて検出する。

【0052】

図８は、撮影画像を示した図である。いま、プリンタ解像度と撮像センサ解像度が同一解像度であれば、プリンタの記録媒体への記録時の斜行、及び、カメラ付携帯端末１０４を印刷物にかざす時のずれ等により、画像の回転方向（傾き）が補正すべき大きな要因となる。そのため、この印刷物の境界線を検出することにより、どの程度回転方向でずれが生じているかが判断できる。

【0053】

ブロック化部７０２は、入力端子７００から入力された画像を、横Ｐ画素、縦Ｑ画素単位にブロック化をする。このブロックは、電子透かしの重畳時にブロック化したＮ×Ｍ画素よりも小さい。すなわち、
Ｐ≦Ｎ、かつ Ｑ≦Ｍ …式４
の関係が成り立つ。

【0054】

また、Ｐ×Ｑ画素単位のブロック化は、ある一定間隔毎スキップしてブロック化を行う。すなわち、多重化時のＮ×Ｍ画素よりなるブロックと想定される領域内に、Ｐ×Ｑ画素単位のブロックが１つ内包するようにブロック化する（図８参照）。スキップ画素数は、水平Ｎ画素分、垂直Ｍ画素分が基本となるが、幾何学的ずれ検出手段７０１よって検出したずれ量をブロック数で割り出し、１ブロックあたりのずれ量を演算して、スキップ画素数に加算して補正する必要がある。

【0055】

空間フィルタＡ７０３、７０４は、それぞれ特性の異なる空間フィルタを示す。フィルタリング部７０５は、周辺画素との積和を演算するディジタルフィルタリング部を示している。各フィルタリング部７０５は、周辺画素との積和を演算するディジタルフィルタリング部を示している。各フィルタリング部７０５は、空間フィルタＡ７０３または空間フィルタＢ７０４を用いたフィルタリング処理を行う。空間フィルタの各係数は、多重化時の量子化条件の変動閾値の周期に適応して作成されている。

【0056】

図９は、図６（ａ）および図６（ｂ）に示す周期性を有する量子化条件を用いて多重化された付加情報を、付加情報分離部１０６で分離する際に使用する空間フィルタの例を示している。図９（ａ）は、空間フィルタＡ７０３の例を示す。図９（ｂ）は、空間フィルタＢ７０４の例を示す。図９においては、５×５画素の中央部が注目画素に対応する。それ以外の２４画素分が周辺画素に対応する。図９において、空白部の画素は、フィルタ係数が"０"であることを表している。空白部以外の画素は、標記している値がフィルタ係数となる。

【0057】

図９から明らかなように、図９（ａ）、（ｂ）はエッジ強調のフィルタである。さらに、その強調するエッジの方向性と多重化した時の変動閾値の方向性とが一致している。つまり、図９（ａ）に示す空間フィルタＡ７０３は図６（ａ）に一致するように作成されている。また、図９（ｂ）に示す空間フィルタＢ７０４は図６（ｂ）に一致するように作成されている。フィルタリング部７０５では、Ｐ×Ｑ画素単位の各ブロックに対して、それぞれ空間フィルタＡ７０３、空間フィルタＢ７０４を用いてフィルタリング処理を行う。

【0058】

間引き部Ａ７０６および間引き部Ｂ７０７は、Ｐ×Ｑ画素より成るブロック内のフィルタリング後の信号（以下、変換値と称す）を、ある規則性に基づいて間引き処理する。本実施形態では、この間引きの規則性を周期性と位相とに分離して処理する。すなわち、間引き部Ａ７０６及び間引き部Ｂ７０７では間引きの周期性が異なっている。各間引き部では、位相を変化させた複数の間引き処理をそれぞれ実行する。間引き方法については後述する。

【0059】

変換値加算部７０８は、間引き部Ａ７０６及び間引き部Ｂ７０７にて間引きした変換値を、位相毎にそれぞれ加算する。この間引き処理、及び、変換値の加算処理は、空間フィルタで強調した所定周波数ベクトルの電力を抽出することに相当する。

【0060】

分散値算出部７０９は、位相毎に加算した複数の加算値の分散を、それぞれの周期性において算出する。判定部７１０は、分散値算出部７０９で算出されたそれぞれの周期性における分散値に基づいて、多重化された符号（すなわち、“０”か“１”）を判定する。以下、具体的に説明する。

【0061】

図１０は、二次元の周波数領域で第１の実施形態の概略を示した図である。横軸は水平方向の周波数、縦軸は垂直方向の周波数を示している。中心となる原点は直流成分を示し、原点から遠ざかるにつれて、高周波域となる。図１０に示す円は、誤差拡散によるカットオフ周波数を示している。誤差拡散法のフィルタ特性は、低周波域がカットオフされたＨＰＦ（ハイパスフィルタ）の特性を示し、そのカットオフされる周波数は、対象画像の濃度に応じて変化する。

【0062】

本実施形態では、付加情報を付加する際に量子化条件（量子化閾値）を切換える制御を行うことにより、量子化後に発生する周波数特性が変化する。図６（ａ）に示す量子化条件を用いた場合、図１０に示す周波数ベクトルＡ上に大きなパワースペクトルが生じる。また、図６（ｂ）に示す量子化条件を用いた場合、図１０に示す周波数ベクトルＢ上に大きなパワースペクトルが生じる。付加情報を分離する場合には、この大きなパワースペクトルが発生する周波数ベクトルを検出することで多重化信号の判定が行われる。本実施形態では、各々の周波数ベクトルを個別に強調、抽出する処理が行われる。

【0063】

図９（ａ）、（ｂ）は、特定の周波数ベクトルの方向性を有するＨＰＦに相当する。すなわち、図９（ａ）の空間フィルタでは、図１０の直線Ａ上の周波数ベクトルを強調することが可能になる。また、図９（ｂ）の空間フィルタでは、図１０の直線Ｂ上の周波数ベクトルを強調することが可能になる。

【0064】

例えば、今、図６（ａ）による量子化条件を用いて量子化しょり（誤差拡散処理）が行われることによって、図１０の直線Ａの周波数ベクトル上に大きなパワースペクトルが発生したと仮定する。この場合、図９（ａ）の空間フィルタではパワースペクトルの変化量が増幅するが、図９（ｂ）の空間フィルタでは、ぱわースペクトルの変化量はほとんど増幅されない。すなわち、複数の空間フィルタを並列にフィルタリングした場合には、周波数ベクトルが一致した空間フィルタ時のみパワースペクトルが増幅し、それ以外のフィルタでは増幅がほとんどない。このため、いかなる周波数ベクトル上に大きなパワースペクトルが発生しているかを容易に特定することができる。

【0065】

図１１は、図７の間引き部Ａ７０６、及び間引き部Ｂ７０７、変換値加算部７０８、分散値算出部７０９、および判定部７１０の動作手順を示すフローチャートである。図１１中、ステップＳ１１０１、及びステップＳ１１０２では、変数の初期化処理を行う。具体的には、本フローで用いる変数i、jの値を０に初期化する処理を行う。まず、図１１を用いて全体の処理を説明した後、図１２および図１３において具体例を示しながら説明を行う。

【0066】

ステップＳ１１０３では、間引き部Ａ７０６および間引き部Ｂ７０７による間引き処理の規則性の因子が決定される。すなわち、"周期性"、及び"位相"の２因子を決定する処理が行われる。本フローでは、周期性に関する変数をi、位相に関する変数をjとする。この周期性、及び位相の条件は、番号（ナンバー）により管理されていている。ステップＳ１１０３では、この時点における周期性ナンバー（以下No.と略す）がiであり、位相No.がjである間引き処理の規則性の因子が設定される。そして、設定された規則性の因子に従って、間引き処理が行われる。

【0067】

ステップＳ１１０４において、変換値加算部７０８は、間引きをすることで得られたブロック内の変換値を加算する。加算した加算値は、変数の配列TOTAL[i][j]に格納される。

【0068】

ステップＳ１１０５にて変数jをカウントアップして、ステップＳ１１０６にて変数ｊと固定値Jとが比較される。固定値Jは、位相を変化させて間引き処理をする回数が格納されている。変数jがJ未満であれば、ステップＳ１１０３に戻り、カウントアップ後のjによる新たな位相No.により、間引き処理、及び、間引き画素の加算処理が繰り返される。

【0069】

位相をずらした間引き処理及び加算処理が、設定回数（固定値Ｊの回数）終了した場合には、ステップＳ１１０７に進み、分散値算出部７０９は、加算結果TOTAL[i][j]の分散値を算出する。すなわち、各加算結果が、位相の差により、どの程度ばらついているかを評価する。ここでは、周期性の因子iを固定し、J個のTOTAL[i][j]の分散値を求める。つまり、TOTAL[i][0] 、TOTAL[i][1] 、…TOTAL[i][J]の分散値を求める。分散値はB[i]に格納する。

【0070】

ステップＳ１１０８にて変数iをカウントアップして、ステップＳ１１０９にて変数ｉと固定値Iとが比較される。固定値Iは、周期性を変化させて間引き処理をする回数が格納されている。変数iがI未満であれば、ステップＳ１１０２に戻り、カウントアップ後のiによる新たな周期性No.の条件を用いて、再び、間引き処理、及び、変換値の加算処理が繰り返される。

【0071】

ステップＳ１１０９にてiが設定回数終了したと判断されると、分散値B[i]は、I個算出されて格納されていることになる。ステップＳ１１１０において、判定部７１０は、I個の分散値の集合から、分散値の最大値を検出する。また、判定部７１０は、検出したｉの値を変数imaxに代入する。

【0072】

ステップＳ１１１１では、判定部７１０が、多次羽化された符号（分離情報）を判定する。すなわち、周期性No.がimaxである符号を、多重化された符号（分離情報）であると判定し、処理を終了する。次に具体例を用いて説明する。

【0073】

また、図１２および図１３は間引き方法の具体例を示す図である。ここでは、周期性の数を２（Ｉ＝２）とし、位相の数を４（Ｊ＝４）とした場合の例を示す。図１２および図１３は、ブロックサイズをＰ＝Ｑ＝１６とした場合の間引き方法を、テーブル形式にて示している。各図においして、ブロック内の１つのマスが１画素分に対応している。図１２および図１３では、ブロック形状をＰ＝Ｑの正方としているが、当然正方には限らないし、矩形以外でも良い。

【0074】

図１２は、周期性No. = 0の時の間引き方法（図７の間引き部Ａ７０６に相当）を示している。図１３は、周期性No. = １の場合における間引き方法（図７の間引き部Ｂ７０７に相当）を示している。各図のブロック内の各画素に示している値は、位相No.であるjの間引き画素を示している。例えば"０"と表示している画素は、j= 0の時の間引き画素に対応する。すなわち、図１２、図１３ともに、位相は４種であり、位相No.jが０～３の時の間引き方法に相当する。

【0075】

図１２は、図６（ａ）の周期性に一致している。図１３は、図６（ｂ）の周期性に一致している。前述のように、図６（ａ）および図６（ｂ）の網掛けされたマスの並びで量子化値“１"（但し、“０"、“１"の２値の場合）が並びやすくなる。そのため、例えば、多重化時に量子化条件Ａであったブロックの場合には、図６（ａ）の周期性で量子化値"１"が並びやすくなり、適合した空間フィルタ時には更にその周波数成分が増幅される。そして、図１２に示す周期性で変換値を間引きして加算すると、その加算結果の分散は大きくなる。

【0076】

一方、量子化条件Ａであったブロックを、適合しない空間フィルタを用いてフィルタリングし、なおかつ、図１３の周期性により間引きをした場合には、変換値の加算結果の分散値は小さくなる。すなわち、量子化値の周期性と間引きの周期性が異なるため、間引きの位相の違いによる変換値の加算値は平均的になり、ばらつきは小さくなるからである。反対に、多重化時に量子化条件Ｂであったブロックでは、図１２の間引きでは、分散値は小さくなり、図１３の間引きでは分散値は大きくなる。

【0077】

図４に示したフローチャートの例を適用すると、bit = ０を量子化条件Ａ、bit = １を量子化条件Ｂに設定している。このため、周期性No. = ０の分散値が大きいときにはbit = ０、逆に周期性No. = １の分散値が大きいときには bit = １と判断することができる。

【0078】

すなわち、量子化条件と、空間フィルタ特性および間引き条件の周期性とを関連づけることで、付加情報を容易に多重化でき、かつ付加情報を容易に分離することができる。本実施形態では、周期性No.は０と１の２種であり、ブロック内の多重化符号は１ビットであったが、多重化符号はこれ以上でも良いのは勿論である。当然、量子化条件の種類と、空間フィルタの種類および間引き条件の周期性No.の種類（Ｉの値）とは一致することになる。

【0079】

本実施形態では、直交変換による量子化条件の規則性に対応した周波数の電力値の比較をしなくても、容易に符号を分離できる。しかも、実空間領域の処理のため、非常に高速に分離処理が実現できる。

【0080】

また、上述の量子化条件Ａ、Ｂ、及び、空間フィルタＡ、Ｂ、間引き手段Ａ，Ｂは一例であり、これに限るものではない。他の周期性を持たせても良いし、空間フィルタのタップ数、間引きのブロックサイズ等は前述した例よりも大きくても小さくても構わない。

【0081】

また、図１１に示す処理では、周期性No.である変数ｉ、及び、位相No.である変数ｊの繰り返し処理にて説明している。しかし、実際には、Ｐ×Ｑ画素よりなるブロック内の画素アドレスによる繰り返し処理の方が、実現が容易である。すなわち図１２、及び図１３に示したように、ブロック内の各画素アドレスに対して周期性No.、及び位相No.の２種の情報をテーブルとして予め格納しておく。そして、対応した周期性No.、及び位相No.の各々の変数に対して変換値を加算していく処理でもよい。この処理方法では、Ｐ×Ｑ画素分を処理するだけで、並列に、周期性No.および位相No.の各集合の加算値を算出することができる。

【0082】

また、図１１の動作手順では、空間フィルタ後の間引きした変換値の加算結果の分散を算出して、分散値の大小比較により、符号を判定していたが、これに限るものではない。分散値を用いない評価関数の比較による方法も考えられる。間引きした変換値の加算結果の偏りは、位相をずらした際に、１つの位相の時だけ値が突出しやすいため、“ばらつき度合い"が評価できればよい。

【0083】

例えば、ばらつき度合いを評価するには、分散値以外に次の評価関数が考えられる。
１． 間引きした変換値を加算した加算値の最大値と最小値の差分
２． 間引きした変換値を加算した加算値の最大値と２番目に大きな値との差分、もしくは、最小値と２番目に小さな値との差分のどちらか
３． 間引きした変換値を加算した加算値によるヒストグラムを作成した時の、前後の順番の差分の最大値

【0084】

また、上記１、２、３の評価関数は絶対的な差分値であるが、これらの差分値と変換値、もしくは画素値や変換値の総和等との相対的な比率も評価関数として用いることができる。また、量子化値は２値化を例にして説明したが、これには限らない。

【0085】

以上のように、本実施形態によれば、画像をＭ×Ｎ画素よりなるブロック単位で量子化条件を変更し、該量子化条件に従って画像を量子化することにより画像に対して所定の情報を埋め込むことができる。このため、従来における情報埋め込み方法、例えば直交変換をして情報を埋め込む方法に比べて、画質劣化を抑制することができる。さらに、高速埋め込まれた情報を高速かつ高精度に抽出できるように画像に対して情報を埋め込むことが可能になる。

【0086】

（カメラ付き携帯端末の撮影と通知）
次に、本実施形態における特徴的な処理を説明する。本実施形態では、カメラ付き携帯端末により、付加情報の埋め込まれた画像が形成された印刷物（以下、多重化印刷物ともいう）を撮影する際に、以下のような特徴的な処理が行われる。以下の説明では、撮影方向の反対側にディスプレイが配置されたスマートフォンを例に採り説明する。

【0087】

スマートフォンを用いて多重化印刷物を撮影する場合、図１４（ａ）に示すようにユーザは、スマートフォン１０４と、多重化印刷物１４０１との適切な距離や傾きなどの位置関係を判断することが困難である。このため、従来の装置では、多重化印刷物１４０１に対してカメラ付携帯端末１０４を過剰に遠くかざしたり傾けたりしてしまうことがある。例えば、図１４（ａ）のようにスマートフォン１０４を多重化印刷物１４０１に対して傾けた姿勢で多重化印刷物１４０１の撮影を行った場合、撮影画像は図１６（ａ）のようになる。すなわち、多重化印刷物１４０１の前後でカメラ付携帯端末１０４からの距離が変わるため、例えば多重化印刷物１４０１の前側で焦点を合わせると後側の焦点があわずにボケてしまう。つまり多重化印刷物１４０１の前側の付加情報は分離（抽出）できるが、後側の付加情報が分離できないケースがある。従って、多重化印刷物１４０１の前後がボケないようにするためには、図１４（ｂ）のように、多重化印刷物１４０１に対してスマートフォン１０４が正対する姿勢で多重化印刷物１４０１を撮影することが望ましい。この際に得られる撮影画像は、図１６（ｂ）のようになる。

【0088】

しかしながら、図１４（ｂ）のように位置関係を設定することは、読み取りに不慣れなユーザには難しい。印刷物の画像（付加情報も含む）を適正に読み取るためには、印刷された画像に対して撮影装置が適切な距離および角度に保たれていることが必要になる。すなわち、画像と撮影装置との間が所定の距離に保たれ、かつ画像に対して撮影装置が傾くことなく正対した状態にあることが、付加情報を適正に読み取る上で必要となる。

【0089】

従って、付加情報を適切に読み取るためには、まず、撮影装置を適切な読み取り位置（撮影位置）へと移動させる必要がある。しかしながら、ユーザは、付加情報の読み取りに適した位置がどこであるかを認識しにくく、これが付加情報の読み取り操作を困難にする要因となっている。例えば、適切な位置に撮影装置が存在しない場合には、読み取り動作自体が開始されず、プログレスバーなどによる「読み取り処理の進捗」も表示されない。そのため、ユーザは、プログレスバーなどのＵＩを用いて適切な読み取り位置を探ることも困難である。よって、本実施形態では、カメラ付き携帯端末（スマートフォン）１０４が読み取りを適正に行い得る位置関係に近いことを早い段階でユーザに通知し、適切な位置関係へと誘導する。

【0090】

ここで、図１５のフローチャートを用いてカメラ付携帯端末１０４と多重化印刷物１４０１との位置関係が付加情報などの読み取りに適した位置（読取可能位置）に近い位置にあることを通知する方法を説明する。なお、以下の説明において、読取可能位置に近い位置を読取準備位置と称す。図１５において、ステップＳ１５０１では、ＣＰＵ２０００は、ユーザへの読み取りを指示する読取指示画面を表示する。例えば、図１７の１７０１に示すように、「写真にかざしてください」などの読取指示画面をスマートフォンのディスプレイ１０９に表示する。また、スマートフォン１０４のスピーカ（図示せず）から音声によって読取指示を出してもよい。ユーザはこの指示に従い、カメラ付携帯端末１０４を多重化印刷物１４０１にかざす。

【0091】

ステップＳ１５０２で、ＣＰＵ２０００は、カメラ付き携帯端末１０４の撮像センサが撮影した画像の画像データを取得する。次いで、ステップＳ１５０３で、ＣＰＵ２０００は、付加情報分離装置１０６によって撮影画像情報から位置情報を分離（抽出）する。多重化印刷物１４０１には、図５に示すように、付加情報５０２に加えて（０）～（８）の位置情報５０１、５０３等も多重化されている。位置情報は、4つマスを使って埋め込まれるため、1つマスごとに埋め込まれている付加情報よりも分離（抽出）しやすい。

【0092】

また位置情報は、印刷画像内に分散して配置されているため、位置情報の抽出個数が多いほど印刷画像全面にフォーカスが合っており、距離も最適で、付加情報を読み取りやすい状態と言える。そのため位置情報の抽出個数が、適切な位置関係に近いことを示す尺度となる。本実施形態では、位置情報の抽出個数を、「読み取り感度」と定義する。この「読み取り感度」は、付加情報の読み取りの進捗を示す「読み取りの進捗」とは尺度の異なる情報となる。

【0093】

本実施形態では、位置情報の抽出結果に基づいて、多重化印刷物１４０１に対する読取可能位置とスマートフォンとの位置関係を検知するように構成されている。しかし、本発明はこれに限定されるものではなく、位置情報の抽出結果以外の情報に基づいてスマートフォン１０４と読取可能位置との位置関係を検知することも可能である。例えば、撮影画像から多重化印刷物１４０１を検出し、その画像の大きさや傾きに基づいて、多重化印刷物１４０１の読取可能位置に対してスマートフォン１０４が近い位置にあることを検知してもよい。

【0094】

ステップＳ１５０４で、ＣＰＵ２０００は、位置情報が１つ以上抽出されたか否かを判定し、位置情報を1つも抽出できなかった場合には、ステップＳ１５０２に戻り撮影画像の取得を再度行う。また、位置情報が1つ以上抽出された場合には、ステップＳ１５０５に進み、読取状況画面を表示する。例えば、Ｓ１５０５では、図１７の画面１７０２が表示される。

【0095】

本実施形態では、読取状況画面を表示するか、撮影画像の取得を再度行うかの判断を、１つ以上の位置情報が抽出されたか否かに基づいて行うようにした。しかし、判断の基準となる位置情報の抽出数（閾値）は、2以上としてもよい。ただし、閾値を大きくすれば、スマートフォン１０４が、より読取可能位置へと近づかないと読取状況画面の表示へと移行できなくなるため、より広い範囲で上記の判断を行い得るようにするためには、閾値を小さくすることが望ましい。

【0096】

また、前述のように本実施形態では、付加情報５０２ａ～５０２ｄのいずれかを読み取るには、その付加情報を囲む4つの位置情報を取得（抽出）する必要がある。つまり、位置情報が１つだけ抽出された状態では、付加情報を適切に読み取り得ない状況も有り得るため、位置情報の読み取りを実際に開始することはない。しかしながら、位置情報を1つでも取得できた時点で所定の表示（例えば、図１７の１７０２の表示）を行うことによって、カメラ付携帯端末（スマートフォン）１０４と多重化印刷物１４０１の位置関係が適切な状態に近いことをユーザに知らせることができる。以下、カメラ付携帯端末１０４によって多重化印刷物１４０１の付加情報を適切に読み取り得る位置を読み取り可能位置と称す。また、位置情報を1つでも取得できた位置を、読み取りを行うための準備段階の位置として「読み取り準備位置」と称す。

【0097】

図１７は本実施形態におけるスマートフォン１０４における表示画面を示す図である。読み取り状況画面１７０２は、図１７に示すように、「読み取り中」であることを通知するメッセージと「読み取りの進捗」とを表示する。読み取りの進捗は、多重化印刷物１４０１に埋め込まれた付加情報の全容量のうち、読み込めた容量の割合をパーセント表示やプログレスバーによる表示などで行う。

【0098】

本実施形態では、付加情報を囲む４つの位置情報のうち１つないし３つの位置情報しか取得されておらず、実際には読み取り動作が開始されていない状況であっても、「読み取り中」であることを表示するようにしている。このように、「読み取り中」の表示を、読み取りの準備段階において実施することにより、ユーザがむやみにスマートフォン１０４の位置を移動させることはなくなり、読み取り位置の探索における混乱や無駄な移動を低減することが可能になる。

【0099】

なお、読み取り状況画面１７０２の表示は、多重化印刷物１４０１の読取可能位置にスマートフォン１０４が近い位置（読み取り準備位置）にあることを示すメッセージを表示してもよいし、「読み取り感度」をインジケーターで示すようなUIであってもよい。

【0100】

以上のように、本実施形態では読み取り状況画面１７０２を表示することで、スマートフォン１０４が多重化印刷物１４０１の付加情報に対して読み取り可能位置にあるか、あるいは読み取り可能位置に近い位置にあることをユーザに通知することができる。従って、ユーザは、読み取り可能位置に近い位置にあるスマートフォンをむやみに移動させることはなくなり、読み取り可能位置への移動をより効率的に行うことが可能になる。

【0101】

次に、上記の読み取り状況画面１７０２を表示した後の処理を図１８のフローチャートを用いて説明する。まず、ステップＳ１８０１で、ＣＰＵ２０００は、読み取り状況画面１７０２が表示された後、ステップＳ１８０２で撮影画像の取得と付加情報の読み取りを実行する。付加情報の読み取りでは、前述のように、撮影画像から抽出した位置情報（５０１、５０３等）から付加情報（５０２ａ～５０２ｂ）が埋め込まれた領域を判定し、その領域の読み取りを行う。

【0102】

ステップＳ１８０３で、ＣＰＵ２０００は、付加情報の全てのデータの読み取りが完了したか否かを判定し、全てのデータについて読み取りが行われた場合には読み取り処理を終了する。

【0103】

一方、読み取りが完了していない場合には、ステップＳ１８０４で、ＣＰＵ２０００は、読み取りの進捗が止まってから一定時間が経過しているかを判定する。読み取りの進捗停止から一定時間が経過してない場合は、Ｓ１８０２に戻り読み取りを再実行する。

【0104】

また、読み取りの進捗停止から一定時間が経過している場合には、図１７に示すような注意画面１７０３を表示し、多重化印刷物１４０１との距離や傾きを調整するようにユーザに指示する。なお注意画面１７０３を表示する条件は、読み取り感度が0になった場合（位置情報が全く抽出されない場合）や、読み取りの進捗の進み具合が遅くなった場合などを条件にしてもよい。

【0105】

注意画面が表示された後、ステップＳ１８０６で、ＣＰＵ２０００は、再度撮影画像の取得と付加情報の読み取りを行い、読み取りの進捗があるか否かを判断する（Ｓ１８０７）。スマートフォン１０４と多重化印刷物１４０１との位置関係が適切でなく、読み取りの進捗が進まなかった場合にはステップＳ１８０６に戻り、読み取りを再実行する。なお、Ｓ１８０６－Ｓ１８０７が実行されている最中、注意画面１７０３の表示が維持される。また、スマートフォン１０４と多重化印刷物１４０１との位置関係が適切であり、読み取りに進捗があった場合には、ステップＳ１８０１に戻り、表示画面を、注意画面１７０３から読み取り状況画面１７０２に戻す。

【0106】

このように、読み取り状況画面１７０２に戻す条件は、「読み取り感度」が１以上なることではなく、付加情報の読み込みに進捗があることである。また読み取り感度の閾値を上げ（例えば、閾値を１以上から２以上などに上げ）、読み取り感度がその閾値を超えた場合にスマートフォン１０４の表示を遷移させるようにしてもよい。このようにすれば、より適切な位置関係に近づけないと読み取り状況画面１７０２に遷移しないため、スマートフォン１０４を多重化印刷物に対してより適切な位置関係となる位置へと誘導することができる。

【0107】

なお本実施例では、スマートフォンなどのカメラ付携帯端末１０４の読み取り指示画面１７０１、読み取り状況画面１７０２、注意画面１７０３を遷移することでユーザに通知する例を示したが、画面遷移せずに１画面で表示内容を変えるようにしてもよい。例えば、読み取り中に進捗が止まった場合はプログレスバーを表示させつつ、距離や傾きを調整する指示を同一画面内に表示させるようにしてもよい。

【0108】

以上のように本実施形態によれば、多重化印刷物とカメラ付携帯端末との位置関係に基づいて、読み取り状況を通知することで、カメラ付携帯端末１０４と多重化印刷物１４０１の位置関係が適切な状態に近いことユーザに知らせることができる。これにより、カメラ付携帯端末１０４の読み取り可能位置への移動をより効率的に行うことが可能になる。

【0109】

（他の実施形態）
上記実施形態では、読み取り指示画面を表示した後、読み取り状況画面１７０２を表示し、さらに、読み取りに進捗がない場合には、カメラ付携帯端末１０４などの撮影手段による撮影位置の変更を促す注意画面１７０３を表示するようにした。しかし、読み取り指示画面に従って撮影手段を多重化印刷物に対して任意の撮影位置に位置させたとき、位置情報などの抽出結果に基づいて、直ちに注意画面１７０３を表示させるようにしてもよい。この場合、位置情報が全く抽出されない場合には、撮影手段の位置が読み取り可能位置から大きくずれていることを知らせる通知、および、撮影手段を大きく平行移動、あるいは回転させることを指示する通知などを行うにしてもよい。

【0110】

また、カメラ付き携帯端末１０４が、カメラ付き携帯端末１０４と印刷物間の距離を測定できる場合、更なるメッセージを表示しても良い。例えば、カメラ付き携帯端末１０４が、基準となる距離と測定された距離とに基づいて、「携帯端末を印刷物に近づけて下さい」または「携帯端末を印刷物から遠ざけて下さい」といったメッセージを表示しても良い。また、測定された距離が基準となる距離であるにも関わらずＳ１８０４において読み取りの進捗が進まないと判定された場合、カメラ付き携帯端末１０４は、カメラ付き携帯端末１０４を傾けないことを示すメッセージを表示しても良い。

【0111】

また、以上の説明では、ユーザへの通知手段として、表示画面を表示させる表示手段あるいは、音声を出力させる音声出力手段のいずれかを用いる例を示した。しかし、ユーザへの通知を表示手段および音声出力手段を同時に作動させて行うようにすることも可能である。

【0112】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0113】

１０４ カメラ付携帯端末（画像処理装置）
１０５ 撮像センサ（撮影手段）
１０６ 付加情報分離装置（抽出手段）
１０８ スピーカ（通知手段）
１０９ ディスプレイ（通知手段）
１４０１ 多重化印刷物（印刷物）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】