特許 7438752 情報処理装置、情報処理装置の制御方法、記憶媒体およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】情報処理装置、情報処理装置の制御方法、記憶媒体およびプログラム

(51)【国際特許分類】

   H04N 1/32 20060101AFI20240219BHJP

   H04N 1/00 20060101ALI20240219BHJP

【ＦＩ】

H04N1/32 144

H04N1/00 127A

H04N1/00 Z

【請求項の数】 11

(21)【出願番号】P 2019237033

(22)【出願日】2019-12-26

(65)【公開番号】P2021106332

(43)【公開日】2021-07-26

【審査請求日】2022-12-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】石田 祐樹

(72)【発明者】

【氏名】酒井 洋行

(72)【発明者】

【氏名】大曲 勇気

(72)【発明者】

【氏名】鈴木 智博

(72)【発明者】

【氏名】浦谷 充

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２０１３－２３５５５３（ＪＰ，Ａ）

【文献】特開２００６－０７２５８０（ＪＰ，Ａ）

【文献】特開２０１６－１６１４７９（ＪＰ，Ａ）

【文献】特開２０１２－１８１７０１（ＪＰ，Ａ）

【文献】特開２０１４－２１５７２３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３２ － １／３６

１／４２ － １／４４

Ｈ０４Ｎ １／００

(57)【特許請求の範囲】

【請求項1】

画像を撮像して撮像画像を取得する取得手段と、
前記撮像画像から、前記画像に電子透かしとして埋め込まれた付加情報を抽出する抽出手段と、
ユーザがタッチパネルに触れたことに対応するタッチ情報が取得された場合に、前記抽出手段で抽出された付加情報を前記タッチパネルに表示するように制御する制御手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記制御手段は、ユーザが前記タッチパネルの特定の位置に触れた場合に、前記抽出手段で抽出された付加情報を前記タッチパネルに表示するように制御することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記制御手段は、ユーザが前記タッチパネルに表示された前記撮像画像の特定の部分に触れた場合に、前記抽出手段で抽出された付加情報を前記タッチパネルに表示するように制御することを特徴とする請求項１に記載の情報処理装置。

【請求項4】

画像を撮像して撮像画像を取得する第１の取得手段と、
前記撮像画像から、前記画像に電子透かしとして埋め込まれた付加情報であって、閲覧情報と、前記閲覧情報の閲覧を許可されたユーザのＩＤである第１ユーザＩＤとを含む付加情報を抽出する抽出手段と、
前記画像を撮影したユーザのＩＤである第２ユーザＩＤを取得する第２の取得手段と、
前記第１ユーザＩＤと前記第２ユーザＩＤとが一致する場合に、前記抽出手段で抽出された付加情報に含まれる前記閲覧情報を表示するように制御する制御手段と、
を有することを特徴とする情報処理装置。

【請求項5】

前記第２ユーザＩＤは、顔認証によって得られることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記第１の取得手段は、第１のカメラで撮像された前記撮像画像を取得し、
前記第２の取得手段は、前記第１のカメラとは異なる第２のカメラによってユーザを撮影した撮影画像から顔認証によって前記第２ユーザＩＤを取得することを特徴とする請求項４に記載の情報処理装置。

【請求項7】

前記第２の取得手段は、前記情報処理装置が備える指紋認証機能を用いた指紋認証によって特定されたユーザ、あるいは前記情報処理装置が備える音声認証機能を用いた音声認証によって特定されたユーザのＩＤを前記第２ユーザＩＤとして取得することを特徴とする請求項４に記載の情報処理装置。

【請求項8】

コンピュータを、請求項１乃至７のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

【請求項9】

コンピュータを、請求項１乃至７のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【請求項10】

画像を撮像して撮像画像を取得する取得ステップと、
前記撮像画像から、前記画像に電子透かしとして埋め込まれた付加情報を抽出する抽出ステップと、
ユーザがタッチパネルに触れたことに対応するタッチ情報が取得された場合に、前記抽出ステップで抽出した付加情報を前記タッチパネルに表示するように制御する制御ステップと、
を有することを特徴とする情報処理装置の制御方法。

【請求項11】

画像を撮像して撮像画像を取得する第１の取得ステップと、
前記撮像画像から、前記画像に電子透かしとして埋め込まれた付加情報であって、閲覧情報と、前記閲覧情報の閲覧を許可されたユーザのＩＤである第１ユーザＩＤとを含む付加情報を抽出する抽出ステップと、
前記画像を撮影したユーザのＩＤである第２ユーザＩＤを取得する第２の取得ステップと、
前記第１ユーザＩＤと前記第２ユーザＩＤとが一致する場合に、前記抽出ステップで抽出された付加情報に含まれる前記閲覧情報を表示するように制御する制御ステップと、
を有することを特徴とする情報処理装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内に電子透かしとして埋め込まれた付加情報を取得して、所定の処理を行う情報処理装置、情報処理装置の制御方法、記憶媒体およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、画像に付加情報としてＵｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ（以下、ＵＲＬという）を埋め込み、ソフトウエアによって埋め込まれたＵＲＬを読み取ることで、ユーザがネットワークにアクセスすることが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－０５１７９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の方法では、画像に埋め込まれた付加情報は、変更することができない。そのため、ソフトウエアによって埋め込まれた付加情報を読み取ることで成される処理は、常に同じ処理であり、例えば、ユーザが画像を読み取った日時や場所などの状況に合わせた処理を行うことはできなかった。

【0005】

よって本発明は、画像から付加情報を読み取り、ユーザが画像を読み取った日時や場所などの状況に応じた処理を実行することができる情報処理装置、情報処理装置の制御方法、記憶媒体およびプログラムを提供する。

【課題を解決するための手段】

【0006】

そのため本発明の情報処理装置は、画像を撮像して撮像画像を取得する取得手段と、前記撮像画像から、前記画像に電子透かしとして埋め込まれた付加情報を抽出する抽出手段と、ユーザがタッチパネルに触れたことに対応するタッチ情報が取得された場合に、前記抽出手段で抽出された付加情報を前記タッチパネルに表示するように制御する制御手段と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、画像から付加情報を読み取り、ユーザが画像を読み取った日時や場所などの状況に応じた処理を実行することができる情報処理装置、情報処理装置の制御方法、記憶媒体およびプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】多重化エンコードのためのハードウェアの構成を示した図である。

【図2】図１（ａ）の付加情報多重化装置のハードウェア構成を示した図である。

【図3】画像情報から付加情報を抽出するハードウェアの構成を示した図である。

【図4】多重化エンコード処理を行うファームウェア構成を示したブロック図である。

【図5】画像情報を復号化する画像復元処理を示したフローチャートである。

【図6】色補正テーブルを示した図である。

【図7】四面体補間のイメージ図である。

【図8】色分解テーブルの一例を示した図である。

【図9】誤差拡散法における誤差分配方法を説明する図である。

【図10】バイナリデータに対応するマスクデータを示した図である。

【図11】多重化エンコード処理を示すフローチャートである。

【図12】多重化部のファームウェア構成を示したブロック図である。

【図13】周波数特性が異なるマスクパターンを数値化した図である。

【図14】多重化エンコード処理後の記録処理を示したフローチャートである。

【図15】多重化デコード処理のファームウェアのブロック構成とイメージ図である。

【図16】周波数特性の差を示す図とブロック毎に多重化された記録媒体の図である。

【図17】周波数特性を判定する際の検出位置を説明するための図である。

【図18】多重化デコード処理を示すフローチャートである。

【図19】画像を抽出するイメージ図と抽出処理を示したフローチャートである。

【図20】画像を抽出するイメージ図と抽出処理を示したフローチャートである。

【図21】画像を抽出するイメージ図と抽出処理を示したフローチャートである。

【図22】画像を抽出するイメージ図と抽出処理を示したフローチャートである。

【図23】画像を抽出するイメージ図と抽出処理を示したフローチャートである。

【図24】抽出処理を示したフローチャートである。

【発明を実施するための形態】

【0009】

以下、電子透かしとして付加情報が埋め込まれた画像に関する実施形態について記載する。ここでの電子透かしとは、画像に対して不可視に、もしくは視認することが困難な状態で埋め込まれた情報である。このような情報は、該画像に対して装置が解析を行うことにより抽出可能である。この解析の詳細については後述する。なお、以降の説明において、電子透かしとしての情報の埋め込みを、画像に対する該情報の「多重化」として表現する。

【0010】

（第１の実施形態）
以下、図面を参照して本発明の第１の実施形態について説明する。先ず、画像情報に付加情報を埋め込む多重化エンコード処理部と、撮影画像（撮像情報）から付加情報を抽出する多重化デコード処理部の基本構成について説明する。

【0011】

先ず、多重化エンコード処理部と多重化エンコード処理について説明する。
図１は、本実施形態において、画像情報Ａに付加情報Ｂを埋め込む多重化エンコードのためのハードウェアの構成を示した図である。このハードウェアは、画像情報Ａと付加情報Ｂとを取得し、それらの画像情報Ａに付加情報Ｂが埋め込まれた印刷物Ｃを生成する。

【0012】

図１（ａ）のハードウェアは、付加情報多重化装置１０２と記録装置１０３とを備えており、付加情報多重化装置１０２によって画像情報Ａに付加情報Ｂを埋め込む処理が行われ、記録装置１０３で画像情報Ａに付加情報Ｂが埋め込まれた印刷物Ｃが生成される。図１（ｂ）のハードウェアは、記録装置１０３の内部に付加情報多重化部１０５と記録部１０６とを備え、付加情報多重化部１０５によって画像情報Ａに付加情報Ｂを埋め込む処理が行われ、記録部１０６で画像情報Ａに付加情報Ｂが埋め込まれた印刷物Ｃが生成される。本実施形態を実現可能なハードウェアの構成は、図１（ａ）または図１（ｂ）のいずれの構成でもよい。

【0013】

図１（ａ）の構成において、入力端子１００から入力される画像情報Ａは、色成分を含む多階調の画像情報である。入力端子１０１から入力される付加情報Ｂは、テキスト文書情報、音声情報、動画情報、あるいはテキスト文書情報、音声情報、画像、動画情報を圧縮した情報、および他のバイナリ値に変換された情報などである。多重化装置１０２は、後述するように、画像情報Ａに付加情報Ｂを埋め込む多重化処理を行う。記録装置１０３は、付加情報Ｂが埋め込まれた画像情報Ａ’に基づいて記録動作を行うことによって印刷物Ｃを生成する。

【0014】

図１（ｂ）の構成において、図１（ａ）の多重化装置１０２に相当する多重化部１０５は、記録装置１０３に含まれており、図１（ａ）の構成と同様に、入力端子１００から画像情報Ａが入力され、入力端子１０１から付加情報Ｂが入力される。記録装置１０３内の多重化部１０５は、画像情報Ａに付加情報Ｂを埋め込む処理を行う。また、記録部１０６は、付加情報Ｂが埋め込まれた画像情報Ａ’に基づいて記録動作を行うことによって印刷物Ｃを生成する。このように付加情報Ｂが埋め込まれた画像情報Ａ’に基づいて印刷物Ｃを生成する処理を「多重化エンコード処理」ともいう。

【0015】

図２は、図１（ａ）の付加情報多重化装置１０２のハードウェア構成を示した図である。ＣＰＵ２０２は、中央演算装置であり、例えば、付加情報Ｂを多重化する処理をプログラムに従って実行する。ＲＯＭ２０３は、ＣＰＵ２０２により実行されるプログラムを記憶する。ＲＡＭ２０４は、ＣＰＵ２０２によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供する。２次記憶装置２０５は、例えばハードディスクであり、画像ファイルや付加情報などを保存するための記憶媒体である。ディスプレイ２０６は、ユーザインタフェース画面や処理内容等を表示する。キー入力装置２０７は、キーボードなどの機器の操作を介して処理の指示や設定、文字入力等を受け付ける。ネットワークインタフェース２０８は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されている。また、ＬＡＮは、インターネットに接続されている。ＣＰＵ２０２は、ネットワークインタフェース２０８により、インターネットに接続されたサイトにアクセスして、ディスプレイ２０６にサイトの画面を表示させ、情報を送受信する。付加情報多重化装置１０２は、例えばコンピュータやスマートフォンなどの情報処理装置であるが、画像情報Ａに付加情報Ｂを埋め込む処理が実行可能であれば他の形態の装置でもよい。

【0016】

図３は、印刷物Ｃに記録された画像情報Ａ’から付加情報Ｂを抽出するハードウェアの構成を示した図である。ここでは、画像情報Ａ’から付加情報Ｂを抽出するハードウェアとしてモバイル端末３０１を例に説明する。

【0017】

モバイル端末３０１は、多重化エンコード処理された印刷物Ｃをカメラなどの撮像装置によって撮像して、その撮影画像を解析することによって、画像に埋め込まれている付加情報Ｂを抽出する。

【0018】

撮像センサ３０２を保持するカメラ付きのモバイル端末（情報処理装置）３０１は、印刷物Ｃの撮影機能をもつ。付加情報Ｂの分離装置３０３は、撮像センサ３０２によって撮影された画像を解析することによって、後述するように、付加情報Ｂを抽出する。ＣＰＵ（中央演算装置）３０４は、プログラムにしたがって情報処理方法を実行し、ＲＯＭ３０５には、ＣＰＵ３０４によって実行されるプログラムが記憶されている。ＲＡＭ３０６は、ＣＰＵ３０４によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリとして機能する。ハードディスク等の２次記憶装置３０７は、画像ファイルおよび画像解析結果を含むデータベースなどを保存する。ディスプレイ３０８は、ＣＰＵ３０４の処理結果などをユーザに提示する。

【0019】

キー入力装置３０９は、タッチパネル機能を備えるディスプレイ３０８を用いて、タッチパネルの操作によって処理の指示および文字の入力等を行う。無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）３１０はインターネットに接続されており、インターネットに接続されたサイトにアクセスして、ディスプレイ３０８にサイトの画面などを表示させる。無線ＬＡＮ３１０は、データを送受信などにも用いられる。スピーカー３１１は、抽出された付加情報Ｂが音声情報または音声付動画データの場合に、音声を出力する。また、インターネットの接続先に動画データがある場合には、その動画データの再生時に音声を出力する。加速度計３１２は、モーションセンサを搭載しており、モバイル端末３０１を所持して歩いた時の歩数やモバイル端末３０１がどちらの方角を向いているかを提示する。

【0020】

ジャイロスコープ３１３は、モバイル端末３０１がどのような姿勢を維持しているかを感知し、加速度計３１２の精度をさらに向上させる。ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）３１４は人工衛星と通信しモバイル端末３０１の地球上の位置を提示する。第二撮像センサ３１５は撮像センサ３０２と同等の機能を持つ撮像センサであり、撮像センサ３０２と同様に画像や動画を撮影することができる。時計３１６は時刻を管理する。ユーザが手動で時刻を調整する事もできるが、無線ＬＡＮ３１０を介してサーバ上の時刻を取得し、自動で調整する事も可能である。国や地球上の位置によって時刻は変わる為、ユーザは手動もしくは自動で調整する。

【0021】

モバイル端末３０１はスマートフォン、タブレット、ＰＣ、デジタルカメラ、ビデオカメラやウェアラブル端末を使った構成が考えられる。また、モバイル端末３０１は、撮像センサ３０２を内蔵する構成に限定されない。例えば、モバイル端末３０１とは別の装置によって撮像センサ３０２を制御して、撮影画像を付加情報の分離装置３０３に送信する構成であってもよい。撮像センサ３０２としては、デジタルカメラおよびビデオカメラなどを用いることができる。また、付加情報Ｂの分離装置３０３としては、パソコンおよびスマートフォンなどを用いることができ、印刷物Ｃから付加情報Ｂを抽出できる構成であればよい。

【0022】

図４は、多重化エンコード処理を行う基本的なファームウェア構成を示したブロック図である。付属情報の取得部４０１は、画像情報Ａを圧縮する際に使用された各種パラメータを取得する。その取得された各種パラメータは、復元部４０２で、圧縮された画像から画像情報を抽出するための処理に利用される。また、その取得された各種パラメータは、圧縮度を算出するための処理に利用される。例えば、入力画像は、文書情報をＪＰＥＧフォーマットで圧縮して得られた非可逆画像情報であり、記録媒体に記録される。非可逆画像情報には、圧縮する際に使用された量子化テーブルと画像情報サイズとが含まれている。取得された画像情報サイズ情報および量子化テーブルは、画像情報の復元部４０２に送られる。

【0023】

画像情報の復元部４０２は、符号化された画像情報を復号化して、画像情報を抽出する。以下では、入力画像をＪＰＥＧ画像として説明する。

【0024】

ここで図５は、符号化された画像情報を復号化する画像復元処理を示したフローチャートである。以下、このフローチャートを用いて画像復元処理を説明する。図５の処理は、例えば、ＣＰＵ２０２がＲＯＭ２０３に記憶されたプログラムをＲＡＭ２０４に読み出して実行することにより実現される。ここでは、ＪＰＥＧ形式の画像がＮ個の８画素正方ブロック（８×８画素のブロック）に分割されているものとする。

【0025】

画像復元処理が開始されると、ＣＰＵ２０２はＳ５１でｎ＝１として、ＣＰＵ２０２はＳ５２で、ｎ番目のブロックをハフマン符号化する。ハフマン符号化は、頻度の高いデータに短いビット数の符号を割当てることによって、全体のビット数を減らすように圧縮する方法である。ハフマン復号化は、予めハフマン符号を仕様で定義しておいて元のデータに復号化する。その後、ＣＰＵ２０２はＳ５３で、量子化テーブルを用いて逆量子化する、逆量子化では、付属情報取得部４０１によって取得された量子化テーブル（画像情報を圧縮する際に使用された量子化テーブル）を用いた逆量子化により画像情報に展開する。次に、ＣＰＵ２０２はＳ５４で、画像情報に展開したものを逆ＤＣＴ変換する。逆ＤＣＴ変換は、直流成分（ＤＣ成分）と交流成分（ＡＣ成分）にＤＣＴ変換された画像情報を元の画像濃度成分のデータに戻すための逆変換を行う。

【0026】

そして、ＣＰＵ２０２はＳ５５でｎ＝ｎ＋１として、ＣＰＵ２０２はＳ５６で、Ｎ＝ｎであるか否かを判定し否判定であればＳ５２に戻り処理を繰り返す。このようにして、上記の処理を対象画面のＮ個の全ブロックについて実行する。

【0027】

ＪＰＥＧ圧縮は、輝度Ｙ、色差Ｃｂ、Ｃｒ形式で実施されることが多く、その場合、逆ＤＣＴ処理が施されたデータもＹＣｂＣｒの形式になる。下式１により、ＹＣｂＣｒ形式の値をＲＧＢ形式の画像信号値に変換する。
式１：
Ｒ ＝ Ｙ ＋ １．４０２×Ｃｒ
Ｇ ＝ Ｙ － ０．３４４×Ｃｂ － ０．７１４×Ｃｒ
Ｂ ＝ Ｙ ＋ １．７７２×Ｃｂ

【0028】

図４のブロック図に戻り、画像補正部４０３は、画像情報復元部４０２により複合化されたＲＧＢデータに対し、画像の補正処理を施す。画像の補正としては、全体の色を明るくまたは暗くする明度調整、コントラスト調整、およびカラーバランスの調整の他、写真の記録を想定した逆光補正および赤目補正などの様々な補正が挙げられる。これらの補正を画像補正部４０３において一元的に処理することにより、記録装置に依存しない処理を実現することができる。

【0029】

解像度変換部４０４は、画像情報を記録装置に対応する解像度に変換する。入力される画像情報と、記録装置の解像度と、に応じて導き出された変倍量に基づいて、拡大または縮小の処理を施す。変倍処理としては、ニアレストネイバー、バイリニア、バイキュービック法などが存在し、処理の特性、および処理速度を考慮して適宜選択すればよい。

【0030】

色補正部４０５は、記録装置１０３による記録画像が好適な色となるように、画像情報に変換処理を施す。例えば、表示装置に表示された画像を記録する場合、表示装置と記録装置とにおける色再現範囲は必ずしも一致しない。ある色では記録装置の再現範囲の方が狭く、また、別の色では記録装置の再現範囲の方が広い場合がある。そのため、画像の劣化を最小限にして、適宜、色の圧縮および伸長を行う必要がある。

【0031】

本実施形態では、それらの変換処理をＲＧＢ形式で実施する。つまり、記録装置１０３の再現性を考慮して、色補正部４０５に入力されたＲＧＢ値を記録装置用のＲＧＢ値（以下、「記録装置用ＲＧＢ」ともいう）に変換する。この変換は、マトリクスなどの演算によって行うことも可能である。一般的には、３次元の色補正テーブル４１１が利用される。入力されるＲＧＢ値を各色８ビット（２５６階調）とした場合、全ての組み合わせを保持することは記憶容量の観点から現実的でないため、色補正テーブル４１１として、所定の間隔で間引かれたテーブルを用いる。

【0032】

ここで図６は、色補正テーブル４１１を示した図であり、図７は、四面体補間のイメージ図である。本実施形態の色補正テーブル４１１は、各色２５６階調を１７点のグリッド点とし、それに対応する記録装置用ＲＧＢ値を記載したテーブルである（１７＊１７＊１７＝４９１３グリッド点）。グリッド点間の値は、補間処理を利用して算出する。補間方法は、幾つかの方法の中から選択して利用することができ、本実施形態においては四面体補間法を利用した。四面体補間法とは、３次元空間の分割単位を四面体として、４つの格子点を用いる線形補間である。この四面体補間法においては、まず、図７（ａ）のように３次元空間を四面体に分割してから、ターゲットとなる点ｐが、分割された四面体のうちのいずれに属するかを決定する。その四面体の４頂点をそれぞれｐ０、ｐ１、ｐ２、ｐ３とし、図７（ｂ）のように、その四面体をさらに細かい小四面体に分割する。各点の変換値をそれぞれｆ（ｐ０）、ｆ（ｐ１）、ｆ（ｐ２）、ｆ（ｐ３）とした場合、下式２により補間値ｆ（ｐ）を求めることができる。

【0033】

【数1】

【0034】

ここで、ｗ０、ｗ１、ｗ２、ｗ３は、各頂点ｐｉと反対向位置における小四面体の体積比である。このように、対象となるＲＧＢ値に対応した記録装置用ＲＧＢ値を算出する。その場合、階調性を考慮して、出力を８ビット以上としてもよい。また、色補正テーブルは、記録装置の色再現範囲にも依存するため、例えば、記録に使用する記録用紙（記録媒体）が異なる場合は、それに応じたテーブルを準備することが望ましい。

【0035】

図４のブロック図に戻り、インク色変換部４０６は、色補正部４０５によって変換された記録装置用ＲＧＢ値をインク色の値に変換する。この変換には、記録装置用ＲＧＢ値の組み合わせと、インク色の値と、が予め対応付けられた色分解テーブル４１２を用いる。色補正部４０５と同様に、インク色変換部４０６においてもグリッド点１７のテーブルを利用する。

【0036】

ここで図８は、色分解テーブル４１２の一例を示した図である。本実施形態の色分解テーブル４１２では、インク色として、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）の４色を想定し、各グリッド点に対応した４色の値が収められている。これらの値は、記録用紙の記録面上においてインクが溢れないこと、インク同士が隣接した際に滲まないこと、などを考慮して決定される。そのため、記録に使用する記録用紙が異なる場合は、それに応じた色分解テーブル４１２を準備することが望ましい。また、上述の色補正部４０５と同様に、記録装置用ＲＧＢ値に対応するインク色の値は、四面体補間処理によって補間することができる。

【0037】

図４のブロック図に戻り、濃度補正部４０７は、画像の記録濃度を補正する。一般的にインクジェット記録装置では、記録用紙上にドットを形成するために付与されるインクの量が多くなるにしたがって、ドットの重なりが増加し、画像の記録濃度が上昇しにくくなる。濃度補正部４０７は、このような濃度の応答性を均一にするために濃度を補正する。

【0038】

濃度補正により、色補正テーブル４１１および色分解テーブル４１２の作成を高精度に行うことができる。Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｋ（ブラック）のインクを用いる記録装置においては、それらのインク色について濃度補正を行う。本実施形態おいては、１次元の濃度補正テーブル４１３を用いる。そのテーブルとしては、インク色毎の入力８ビット（２５６階調）に対応したテーブルを用意しておけばよく、特に間引くことなく、入力信号値と補正後の出力信号値とを対応付けたテーブルを用いることができる。

【0039】

階調変換部４０８は、インク色毎に変換されて濃度補正が施された多ビットデータを、記録装置において記録可能な階調数に変換する。本実施形態においては、記録「１」／非記録「０」の２階調（１ビット）に変換し、階調の変換方法としては、画像の低周波成分を排除して、視覚に好適な階調の再現が可能な誤差拡散法を用いる。また、入力信号として、０～２５５の８ビットのデータを想定する。

【0040】

ここで図９は、誤差拡散法における誤差分配方法を説明する図である。ターゲットピクセルの信号値を信号値Ｌとし、しきい値ＴＨとして、信号値Ｌとしきい値ＴＨとを比較する。本実施形態においては、０～２５５を２値化するためにしきい値ＴＨを１２７とし、下記のように、そのターゲットピクセルが「１」（記録）または「０」（非記録）のいずれであるかを判定する。
Ｌ＞ＴＨ ・・・・・・ １（記録）
Ｌ≦ＴＨ ・・・・・・ ０（非記録）

【0041】

この判定結果に応じて、量子化代表値Ｖを下記のように設定する。
１（記録） ・・・・・・ ２５５
０（非記録） ・・・・・・ ０

【0042】

このように量子化代表値Ｖを設定することにより、発生する誤差Ｅ（＝Ｌ－Ｖ）は、図９の分配係数にしたがって周囲のピクセルに分配される。

【0043】

次のターゲットピクセルの信号値Ｌに、分配された誤差Ｅａを加算した値Ｌａと、しきい値ＴＨと、を比較し、下記のように、そのターゲットピクセルが「１」（記録）または「０」（非記録）のいずれであるかを判定する。
Ｌａ＞ＴＨ ・・・・・・ １（記録）
Ｌａ≦ＴＨ ・・・・・・ ０（非記録）

【0044】

このような処理を全てのピクセル、および全てのインク色Ｃ、Ｍ、Ｙ、Ｋに対して実行することにより、記録可能な１ビットのインク色毎の記録データが得られる。

【0045】

図４のブロック図に戻り、付加情報４０９は、図１（ａ）の多重化装置１０２もしくは図１（ｂ）多重化部１０５において、画像情報Ａに埋め込まれる付加情報Ｂであり、テキスト文書情報などである。テキスト文書情報は、例えば、既に公知である文字コードを利用して、数字および文字を数値に割り当てた数値情報であり、この数値情報が付加情報４０９として多重化部４１０に送信される。

【0046】

具体例として、「ｈｅｌｌｏ」という文字に対応するテキスト文書情報について説明する。テキスト文書情報は、数値情報いわゆるバイナリデータとする。バイナリデータとは「０」もしくは「１」の情報であり、この「０」もしくは「１」の情報の連続的なつながりが特定の意味を持つ。バイナリデータと文字との対応は、「文字コード」によって定義されている。文字コードの中の１つである「シフトＪＩＳ」の場合、「ｈ」はバイナリデータの「０１１０１０００」に対応する。

【0047】

同様に、「ｅ」は「０１１００１０１」、「ｌ」は「０１１０１１００」、「ｏ」は「０１１０１１１１」のバイナリデータに対応する。したがって、「ｈｅｌｌｏ」という文字はバイナリデータでは、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」と表現できる。逆に、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」というバイナリデータを取得できれば、「ｈｅｌｌｏ」という文字を取得することができる。付加情報４０９は、このようなバイナリデータに変換された数値情報に対応する。

【0048】

付加情報多重化部４１０は、解像度変換部４０４において変換された画像情報と、付加情報４０９と、を受け取り、画像情報に付加情報４０９を埋め込む。この埋め込み処理（多重化処理）においては、付加情報４０９（「０」、「１」のバイナリデータに変換されたテキスト文書など）が埋め込まれた画像情報の記録画像から、その付加情報４０９が読み取れるように、付加情報４０９を画像情報に埋め込む。例えば、付加情報４０９の「０」，「１」のバイナリデータが読み取れるように、画像情報にマスク処理を施して、バイナリデータに対応する「０」，「１」の情報を埋め込む。

【0049】

ここで図１０（ａ）,（ｂ）は、「０」、「１」のバイナリデータに対応するマスクデータを示した図である。画像データにマスク処理を施すことにより、所定領域の画像情報に、「０」,「１」のバイナリデータに対応する異なる周期性を持たせる。これらのマスクデータを使用する付加情報多重化部４１０における処理の詳細については後述する。

【0050】

図１１は、多重化エンコード処理を示すフローチャートである。以下、このフローチャートを用いて多重化エンコード処理を説明する。図１１の処理は、例えば、ＣＰＵ２０２がＲＯＭ２０３に記憶されたプログラムをＲＡＭ２０４に読み出して実行することにより実現される。多重化エンコード処理が開始されると、ＣＰＵ２０２はＳ１１で、付属情報取得部４０１および画像情報復元部４０２によって、記録用の画像情報Ａを取得する。例えば、画像情報Ａは、モバイル端末３０１により予め撮影して、ＪＰＥＧフォーマットでモバイル端末内のメモリに保存されたデータである。取得したＪＰＥＧの画像情報Ａを解凍し、静止画の３色８ビットのＲＧＢの画像情報を生成する。また、必要に応じて、画像補正部４０３によって、取得した画像情報Ａに補正もしくは加工処理を施す。

【0051】

その後、ＣＰＵ２０２はＳ１２で、画像情報Ａに埋め込む付加情報４０９を取得する。例えば、スマートフォンでキー入力されたテキスト文書情報を取得する。テキスト文書情報は、例えば、公知の文字コードシフトＪＩＳを利用して、数字および文字を数値に割り当てた数値情報とする。その数値情報は、付加情報４０９として多重化部４１０に送信される。そして、ＣＰＵ２０２はＳ１３で、任意に選択された記録媒体のサイズおよび記録装置１０３の解像度に基づいて、取得した画像情報Ａに対して解像度変換処理を施す。例えば、選択された記録媒体のサイズを２Ｌとした場合、記録装置１０３における入力解像度の画素数に合わせて、画像情報Ａの解像度を変換する。

【0052】

具体的には、記録装置１０３における入力解像度を６００ｄｐｉ（ｄｏｔ ｐｅｒ ｉｎｃｈ）とした場合、記録媒体のサイズ２Ｌの画素数を３０００画素×４０００画素に設定する。この場合、画素数が１５００画素×２０００画素の画像情報Ａに対しては、縦方向および横方向の画素数がそれぞれ２倍となるように解像度変換を行う。入力画像のアスペクト比を変更させたくない場合に、縦方向および横方向の拡大および縮小率を同じにして解像度変換を行う。その後、ＣＰＵ２０２はＳ１４で、付加情報の多重化部４１０によって、画像情報Ａに付加情報４０９を埋め込むための付加情報多重化処理を行って処理を終了する。

【0053】

図１２は、本実施形態における多重化部４１０のファームウェア構成を示したブロック図である。以下、多重化部４１０における各処理部について説明する。

【0054】

色空間変換部１２０１は、解像度変換部４０４においてサイズが変更された画像情報の色空間を、情報多重化のための色空間に変換する処理部である。例えば、下式３のように、情報多重化を行う色空間を色空間ＹＵＶのＵとし、画像情報のＲＧＢの色空間をＹＵＶの色空間に変換する。
式３：
Ｙ ＝ ０．２９９×Ｒ ＋ ０．５８７×Ｇ ＋ ０．１１４×Ｂ
Ｕ ＝－０．１６９×Ｒ － ０．３３１×Ｇ ＋ ０．５００×Ｂ
Ｖ ＝ ０．５００×Ｒ － ０．４１９×Ｇ － ０．０８１×Ｂ

【0055】

ブロック位置設定部１２０２では、後述するブロックの位置座標を設定する。本実施形態では、画像情報を複数のブロック領域に分け、ブロック単位で各画素の濃度を変調させて、図１０（ａ）,（ｂ）のマスクデータに対応するパターンを形成させることにより、付加情報４０９を埋め込む。そのため、ブロック位置設定部１２０２では、色空間変換後の画像情報を取得し、指定された色のプレーン画像に対して、指定された１つのブロックのサイズに合わせて、ブロックの位置座標を設定する。例えば、色空間ＹＵＶのＵ色のプレーン画像のサイズを縦幅６４０ｐｘ、横幅４８０ｐｘとし、ブロックサイズを縦幅８ｐｘ、横幅８ｐｘとする。この場合、縦ブロック数は８０（＝６４０÷８）、横ブロック数は６０（＝４８０÷８）、合計のブロック数は４８００（＝８０×６０）となる。例えば、各ブロックの左上座標をブロック位置と定めて設定することができる。

【0056】

数値化部１２０３は、受信した付加情報４０９を数値化したデータに変換する。例えば、付加情報４０９をシフトＪＩＳの文字列とする。この場合には、シフトＪＩＳの形式によって文字と数値とが対応付けられた変換マップを予め保持しておき、その変換マップを用いて文字列を数値列に変換する。例えば、文字列「ｈｅｌｌｏ」の場合、変換後の数値列「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」となる。

【0057】

パターン選択部１２０４には、ブロック単位で各画素の濃度変調を行うためのマスクパターンが登録されており、数値化部１２０３によって数値化された付加情報４０９に対して適用すべきマスクパターンを選択する。

【0058】

ここで図１３（ａ），（ｂ）は、周波数特性が異なる図１０（ａ），（ｂ）のマスクパターンを数値化した図である。前述したように、図１０（ａ）および図１３（ａ）のマスクパターンは、付加情報４０９のバイナリデータの「０」に対応し、図１０（ｂ）および図１３（ｂ）のパターンは、付加情報４０９のバイナリデータの「１」に対応する。図１０（ａ），（ｂ）の黒の領域９０１が図１３（ａ），（ｂ）の「２」に対応する。同様に白の領域９０２が「０」に対応し、斜線の領域９０３が「－１」に対応する。

【0059】

情報多重化部１２０５は、色空間変換部１２０１において色空間変換した画像情報と、ブロック位置設定部１２０２において設定された各ブロックの位置と、パターン選択部１２０４において選択されたマスクパターンとを取得する。情報多重化部１２０５は、これらの取得情報から、画像情報にマスクパターンを適用した画像情報を生成する。

【0060】

印刷物Ｃの記録画像を撮影する際に、必ずしも画像全体を撮影できるとは限らない。そのため、印刷物Ｃの記録画像の一部を撮影だけでも付加情報が抽出できるように、同じ付加情報を記録画像中の複数個所に埋め込む。例えば、８０ブロックを１つの付加情報とした場合、全ブロック数４８００に対して、同じ付加情報を６０（＝４８００÷８０）領域に分けて埋め込む。したがって画像情報は６０の領域に分けられ、それらのうちの１つの領域に対して、縦幅８ｐｘ、横幅８ｐｘを１ブロックとした８０ブロックの付加情報が埋め込まれる。８０ブロックを１つの付加情報として取り扱うことにより、８０ビットの付加情報が設定できる。但し、８０ビットの開始位置が分かるように、シフトＪＩＳにおいては文字として表現されていない「１１１１１１１１」の８ビットを付加情報の先頭に含ませる。したがって、７２（＝８０－８）ビットのデータが付加情報となる。

【0061】

８０ビット内に収まるデータは、数値化部１２０３において数値化された付加情報の「０」，「１」の数値列であり、８ｐｘ×８ｐｘの１ブロック毎に数値が定義され、その数値に対応するマスクパターンが選択される。画像情報における８ｐｘ×８ｐｘのブロックに、付加情報に対応するマスクパターンが埋め込まれる。例えば、画像データをＹＵＶのＵ色プレーンとし、それを１ブロック毎に処理し、そのＹＵＶのＵ色プレーンの値に図１２（ａ），（ｂ）のマスクパターンの値を適用する。例えば、下記のように、それらのマスクパターンの数値に応じてＹＵＶのＵ色プレーンの値（Ｕ値）を加減算処理し、その加減算処理を行う基準値を１０とする。
式４：
適用後のＵ値 ＝ ＹＵＶのＵ値 ＋ 基準値 × マスクパターンの数値

【0062】

例えば、１ブロック内の１画素のＵ値が「２０」であり、適用するマスクパターンの数値が「０」である場合には、下式５のようにＵ値が処理される。
式５：
適用後のＵ値 ＝ ２０ ＋ １０ × ０ ＝ ２０

【0063】

また、１ブロック内の１画素のＵ値が「３０」であり、適用するマスクパターンの数値が「２」の場合には、下式６のようにＵ値が処理される。
式６：
適用後のＵ値 ＝ ３０ ＋ １０ × ２ ＝ ５０

【0064】

このように本実施形態においては、画素毎に適用するマスクパターンの数値と、基準値と、を掛け合わせた値を加算することによって、多重化を実現する。マスクパターンの適用方法は、Ｕ色プレーン上に、マスクパターンを埋め込むことができればよく、本実施形態の方法に限定されず、例えば、ＹＵＶのＵ値に、マスクパターンの数値を掛け合わせてもよい。

【0065】

このような多重化エンコード処理は、図１（ａ）の付加情報多重化装置１０２または図１（ｂ）の付加情報多重化部１０５によって実行される。多重化エンコード処理は、記録装置１０３によって処理されてもよく、記録装置１０３によって処理されなくてもよい。多重化装置１０２もしくは多重化部１０５において生成された多重化エンコード処理後の画像情報は、記録装置１０３もしくは記録部１０６に送信される。

【0066】

図１４は、多重化エンコード処理後の画像情報の記録処理を示したフローチャートである。図１４の処理は、例えば、記録装置が備えるＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに読み出して実行することにより実現される。以下、このフローチャートを用いて多重化エンコード処理後の画像情報の記録処理を説明する。

【0067】

多重化エンコード処理後の画像情報の記録処理が開始されると、ＣＰＵはＳ３１で、付加情報多重化部４１０において付加情報４０９が埋め込まれた画像情報（多重化画像データ）を取得する。次にＣＰＵはＳ３２で、色補正部４０５によって、多重化画像データに適宜、色補正を施す。次にＣＰＵはＳ３３で、インク色変換部４０６、濃度補正部４０７、階調変換部４０８において、色補正後の画像情報をインク色の値に変換してから濃度を補正し、その濃度補正後の画像情報を階調数に変換することにより記録データを生成する。生成された記録データは、記録エンジンに送信される。そして、ＣＰＵはＳ３４で記録エンジンを制御することで、記録データに基づいて各色のインクを記録媒体に付与することにより印刷物Ｃを生成する。

【0068】

以下、多重化デコード処理部と多重化デコード処理について説明する。
図１５（ａ）は、本実施形態における多重化デコード処理の基本ファームウェアのブロック構成を示す図であり、図１５（ｂ）は、多重化エンコード処理された印刷物をカメラ付きのモバイル端末３０１で撮影するイメージを示した図である。多重化デコード処理によって印刷物に埋め込まれている付加情報を抽出する。以下、多重化デコード処理部の詳細について説明する。

【0069】

撮像センサ３０２は、撮像部１５０１と色調整部１５０２とを含む。付加情報分離装置３０３は、多重化位置検出部１５０３、付加情報分離部１５０４、抽出データ解析部１５０５を含む。本実施形態では、テキスト文書データや音声データや動画データなどの数値化された付加情報のデータが、印刷物１４１１上にパターン形状として付加されているものとする。例えば、付加情報は、印刷物Ｃ全体に、同じ情報を領域毎に繰り返し付加されている。撮像部１５０１は、多重化エンコード処理された印刷物Ｃを、撮像センサ３０２内の撮像素子で、撮像画像データに変換する。

【0070】

撮像センサ３０２が備える撮像素子であるＣＣＤについては、既に公知の技術なので、詳細な説明は省略する。概略を説明すると、ＣＣＤは、光をフォトダイオードという受光素子が感知して、光を電圧に変化させることが可能である。その際に、素子毎に配置したＲＧＢやＣＭＹなどのカラーフィルタを通すことにより、光を色のデータとして変換させることができる。撮像部１５０１で撮影されたセンサ値は、色調整部１５０２に送られる。

【0071】

色調整部１５０２は、撮像部１５０１においてフォトダイオードで取り出したセンサ値に対し、例えば、１画素ＹＵＶ、８ビットデータとして、画像データに変換する。また、ホワイトバランスや明るさ調整など、通常撮影時に実行される色調整処理も併せて行う。

【0072】

多重化位置検出部１５０３は、多重化した印刷物が撮影され色調整された画像データを取得する。多重化位置検出部１５０３は、取得した画像データに対して、周波数特性を取得する。多重化位置検出部１５０３は、取得した周波数特性を判定することで、多重化されている位置を検出する。

【0073】

図１６（ａ）は、二次元の周波数領域で周波数特性の差を示す概略図である。横軸は水平方向の周波数、縦軸は垂直方向の周波数を示している。中心となる原点は直流成分を示し、原点から遠ざかるにつれて、高周波域となる。本実施形態では、図１３（ａ）、（ｂ）のマスクパターンの切換えにより、多重化された印刷物のＹＵＶのＵ成分の周波数特性が変わる。

【0074】

例えば、図１３（ａ）によるＵ成分の特性の変化により、図１６（ａ）の直線１６０１の周波数ベクトル上に大きなパワースペクトルが生じるとする。また、図１３（ｂ）によるＵ成分の特性の変化により、図１６（ａ）の直線１６０２の周波数ベクトル上に大きなパワースペクトルが生じるとする。付加情報分離時には、この大きなパワースペクトルが発生する周波数ベクトルを検出することで多重化信号を判定することができる。

【0075】

図１３（ａ）、（ｂ）は、特定の周波数ベクトルの方向性を有するＨＰＦ（ハイパスフィルタ）に相当する。図１３（ａ）、（ｂ）は、周波数ベクトル検出時の空間フィルタとしても用いられる。即ち、図１３（ａ）の空間フィルタでは、直線１６０１上の周波数ベクトルを強調することが可能になり、また、図１３（ｂ）の空間フィルタでは、直線１６０２上の周波数ベクトルを強調することが可能になる。

【0076】

例えば、今、図１３（ａ）のマスクパターンにより、図１６（ａ）の直線１６０１の周波数ベクトル上に大きなパワースペクトルが発生したとする。その場合、図１３（ａ）の空間フィルタではパワースペクトルの変化量が増幅するが、図１３（ｂ）の空間フィルタでは、ほとんど増幅されない。即ち、複数の空間フィルタを並列にフィルタリングすると、周波数ベクトルが一致した空間フィルタ時のみ増幅し、それ以外のフィルタでは増幅がほとんど生じない。従って、いかなる周波数ベクトル上に大きなパワースペクトルが発生しているかを容易に判定することができる。

【0077】

また、今回ＹＵＶのＵ成分において周波数特性を変化させて多重化された印刷物の付加情報分離時にＵ成分により周波数ベクトルを検出したが、Ｕ成分が失われてしまうと付加情報が分離できないことになる。Ｕ成分ではなく他のＹ成分やＶ成分に特性が移った場合、Ｙ成分やＶ成分で周波数特性を判定すると付加情報を分離することができるが、Ｕ成分のみ解析するよりも時間がかかってしまう。

【0078】

上記のように、周波数特性の判定を行うことで、データを抽出することが可能となる。しかしながら、周波数特性を判定する際に、抽出すべき位置がずれていると、正しく抽出しにくくなってしまう。

【0079】

図１７は、周波数特性を判定する際の検出位置を説明するための図である。画像１７０１は、印刷物の４つのブロックにおいて多重化されている画像を示す。領域１７０２、１７０３は、ブロック単位で周波数特性を判定する領域を示す。図１７において、領域１７０２は、多重化されているブロックの位置とずれていることを示す。領域１７０３は、多重化されているブロックの位置と合っていることを示す。この場合、領域１７０３は、予め決めた周波数を正しく特定することが可能だが、領域１７０２は、特定の周波数ベクトルのパワースペクトルが下がってしまうので、予め決めた周波数の特定が困難になる。

【0080】

多重化位置検出部１５０３は、特定の周波数ベクトルのパワースペクトルが強いか弱いかに基づいてブロック位置を検出する。そこで、多重化位置検出部１５０３は、取得した撮像後の画像データに対し、ブロック位置をずらしながら周波数特性の判定を行い、多重化されたブロックの位置を検出する。

【0081】

付加情報分離部１５０４は、多重化位置検出部１５０３で検出した位置を基準とし、周波数特性を判定した結果を利用して、多重化されている付加情報を抽出する。

【0082】

図１６（ｂ）は、記録媒体にブロック毎に多重化されている様子を示す図である。同図において、記録媒体１６０３は、印刷用紙を示し、ブロック１６０４は、多重化されるブロックを示す。多重化されているブロック数が横８ブロック、縦１２ブロック、計９６ブロックとする。図１６（ｂ）において、ブロック毎に、多重化エンコード処理で、付加情報の「０」と「１」が埋め込まれているものとする。

【0083】

例えば、図１６（ａ）の、直線１６０１の周波数ベクトルのパワースペクトルがある閾値を超えていれば、データ「０」と判定される。また、直線１６０２上の周波数ベクトルのパワースペクトルがある閾値を超えていれば、データ「１」と判定される。多重化位置検出部１５０３で検出した位置を基準に、ブロック単位で、９６ブロック分、位置をずらしながら、周波数特性の判定が行われる。この場合、１ブロック毎に、「０」「１」の１ビットを判定できるので、合計９６ビットのデータを抽出することができる。このように、位置をずらしながら周波数特性の判定を行うことで、多重化されたデータを抽出することができる。

【0084】

抽出データ解析部１５０５は、付加情報分離部１５０４で付加情報として分離した数値列に対して、データを解析し、元々埋め込んだ付加情報の形式に変換する処理である。例えば、予め多重化する付加情報を、テキスト文書データとして、文字コードを「シフトＪＩＳ」で数値化した値であるとする。

【0085】

シフトＪＩＳの１バイトコード（半角文字）では、上位４ビットと下位４ビットの組み合わせで、数値及び文字に対応した変換を行える。例えば、上位４ビットが「０１００」で、下位４ビットが「０００１」の場合、文字列として、「Ａ」と判定される。このように、変換マップを予め保持しておき、数値列を対応させることで、文字へと変換することができる。

【0086】

付加情報として分離した数値列は、図３のＲＡＭ３０６に、一時的に保持しておき、２次記憶装置３０７に予め保持していた「シフトＪＩＳ」変換マップを参照可能なようにしておく。

【0087】

例えば、付加情報分離部１５０４で分離した付加情報の数値列が、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」とする。この場合、変換マップに対応させると以下のようになる。上位４ビット「０１１０」、下位４ビット「１０００」で、文字「ｈ」となる。上位４ビット「０１１０」、下位４ビット「０１０１」で、文字「ｅ」となる。上位４ビット「０１１０」、下位４ビット「１１００」で、文字「ｌ」となる。上位４ビット「０１１０」、下位４ビット「１１００」で、文字「ｌ」となる。上位４ビット「０１１０」、下位４ビット「１１１１」で、文字「ｏ」となる。従って、文字列として、「ｈｅｌｌｏ」が抽出される。

【0088】

付加情報を抽出すると、例えば抽出された文字列を図３のディスプレイ３０８で表示する。また、抽出された文字列がＵＲＬ(Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ)である場合、無線ＬＡＮ３１０でネットワークに接続し、ブラウザを利用して、ディスプレイ３０８にＵＲＬ先の画面を表示する。また、そのＵＲＬが動画サイトであった場合、ディスプレイ３０８で動画を表示し、スピーカー３１１で、音声を出力する。

【0089】

図１８は、本実施形態における多重化デコード処理を示すフローチャートである。図１８の処理は、例えば、モバイル端末３０１のＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0090】

Ｓ１８０１では、ＣＰＵ３０４は、撮像センサ３０２により、多重化された印刷物Ｃの撮影を行う。撮像センサ３０２は、撮影された光が色データ値に変換されたセンサ値を、色調整部１５０２に送信する。Ｓ１８０１の処理は、図１５（ａ）の撮像部１５０１の撮像センサによる撮影画像を取得する処理に対応する。

【0091】

Ｓ１８０２では、ＣＰＵ３０４は、取得した撮影画像の色調整を行う。色調整部１５０２は、撮像部１５０１から色データ値を受信し、ホワイトバランス調整を行い、ホワイトバランス調整された色データを画像データとして生成する。色調整部１５０２は、生成した画像データを付加情報分離装置３０３へ送信する。もしくは、生成した画像データは、図３の２次記憶装置３０７に保存される。Ｓ１８０２の処理は、図１５（ａ）の色調整部１５０２による、ホワイトバランスの色調整を行った画像を生成する処理に対応する。

【0092】

Ｓ１８０３では、ＣＰＵ３０４は、色調整部１５０２からホワイトバランス後の画像データを受信し、もしくは、図３の２次記憶装置３０７に保存された画像データを取得する。多重化位置検出部１５０３は、取得した画像データに対して、周波数特性の判定を行い、多重化されている位置を検出する。Ｓ１８０３の処理は、図１５（ａ）の多重化位置検出部１５０３による、画像データから多重化されている基準位置を検出する処理に対応する。

【0093】

Ｓ１８０４では、ＣＰＵ３０４は、多重化位置検出部１５０３により、画像データから、多重化されている基準位置を検出できたか否かを判定する。検出できたと判定された場合、Ｓ１８０５へ進み、検出できなかったと判定された場合、Ｓ１８０１に戻り処理を繰り返す。

【0094】

Ｓ１８０５では、ＣＰＵ３０４は、色調整部１５０２で生成された画像データと、多重化位置検出部１５０３で検出した多重化されている基準位置に基づいて、周波数特性を判定した結果を用いて、多重化されている付加情報を数値データとして抽出する。Ｓ１８０５の処理は、図１５（ａ）の付加情報分離部１５０４による、画像データから付加情報を抽出する処理に対応する。付加情報分離部１５０４は、抽出した数値データを図１５（ａ）の抽出データ解析部１５０５へ送信する。もしくは、付加情報分離部１５０４は、図３のＲＡＭ３０６に一時的に保存し、抽出データ解析部１５０５へ、その旨を通知する。

【0095】

Ｓ１８０６では、ＣＰＵ３０４は、図１５（ａ）の抽出データ解析部１５０５により、分離した付加情報に相当する数値データを取得し、数字データを解析し、文字データなどの付加情報に変換する。Ｓ１８０６の処理は、図１５（ａ）の抽出データ解析部１５０５による、付加情報を抽出する処理に対応する。

【0096】

Ｓ１８０７では、ＣＰＵ３０４は、図１５（ａ）の抽出データ解析部１５０５で抽出した付加情報の取得を完了したか否かを判定する。付加情報の取得を完了したと判定した場合、図１８の多重化デコード処理を終了し、取得を完了していないと判定した場合、Ｓ１８０１の処理を繰り返す。

【0097】

多重化された印刷物から付加情報を抽出できた場合、図３のディスプレイ３０８などに、結果を表示したり、ネットワークにアクセスしたりする。多重化された印刷物から付加情報を抽出できなかった場合、例えば、撮影された画像データが、付加情報を抽出するだけの領域を全て含んでいない場合が考えられる。その場合、付加情報の一部しか抽出できなかったためにデータが完全ではなく、再度、撮影し直す必要がある。

【0098】

以下、本実施形態の特徴的な構成について説明する。
図１９（ａ）は、付加情報が埋め込まれている画像を抽出するモバイル端末２０１を示した図であり、図１９（ｂ）は、モバイル端末３０１による付加情報の抽出処理を示したフローチャートである。本実施形態では付加情報として、例えば「http://www.XXX.XX.XX/」のようなＵＲＬの一部と、例えば「１８０２１９」のような日付閾値情報と、を画像から抽出する。なお、「１８０２１９」は、２０１８年２月１９日を示すものとする。また、抽出した付加情報に加えて、ユーザが付加情報を抽出した日時の日時情報をモバイル端末３０１の時計３１６から取得する。以下、図１９（ｂ）のフローチャートを用いて本実施形態の付加情報の抽出処理を説明する。図１９（ｂ）の処理は、例えば、モバイル端末３０１のＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0099】

付加情報の抽出処理が開始されると、ＣＰＵ３０４はＳ１９０１で、撮像センサ３０２によって印刷物を撮影して、印刷物に埋め込まれた付加情報を取得する。ここではモバイル端末３０１は、印刷物からＵＲＬの一部と日付閾値情報とを取得する。その後、ＣＰＵ３０４はＳ１９０２で、時計３１６から日時情報を取得する。そして、ＣＰＵ３０４はＳ１９０３で、取得した付加情報と日時情報とからＵＲＬを作成する。

【0100】

具体的には、付加情報に含まれる日付閾値情報と、モバイル端末３０１から取得した日時情報とを比較して、日時情報の日付が日付閾値情報の日付の前か後かで、作成するＵＲＬを異ならせる。例えば、印刷物を撮影した日付である日時情報の日付が「２０１８年２月１７日」だった場合、日付閾値情報「１８０２１９」が示す２０１８年２月１９日より前であるため、合成するＵＲＬとして「http://www.XXX.XX.XX/before/」を作成する。また、日時情報の日付が「２０１８年２月２０日」だった場合、日付閾値情報「１８０２１９」が示す２０１８年２月１９日より後であるため、合成するＵＲＬとして「http://www.XXX.XX.XX/after/」を作成する。

【0101】

日付閾値情報と取得した日時情報の日付とが同じであった場合は、「http://www.XXX.XX.XX/before/」か「http://www.XXX.XX.XX/after/」のいずれか一方のＵＲＬとなるように予め設定しておき、その設定に基づいていずれかのＵＲＬに決定される。その後、ＣＰＵ３０４はＳ１９０４で、作成したＵＲＬにアクセスし、ＵＲＬ先のコンテンツをモバイル端末３０１に表示して処理を終了する。このように、本実施形態では取得した日時情報に応じて、その後の処理の内容を切り替えることができる。

【0102】

本実施形態が想定するケースとしては、結婚式の招待状に付加情報を埋め込んでおき、結婚式の前には招待者からのメッセージ動画を表示し、結婚式の後には結婚式動画を表示するケースが考えられる。

【0103】

なお、本実施形態では日付について閾値を設けた例を説明したが、これに限定するものでなく、日付と時間とで閾値を設け、日時情報として日付と時間とを取得してもよい。

【0104】

また、本実施形態においては付加情報と日時情報とをモバイル端末３０１の中で合成したが、付加情報と日時情報とをサーバに送りサーバ内で処理の内容を切り替えて、ＵＲＬを作成してモバイル端末に送信し、そのＵＲＬをモバイル端末３０１が受信してもよい。

【0105】

このように、本実施形態のモバイル端末は、撮像した画像より付加情報を取得し、更に、撮像の際の状況に関する撮像状況情報を取得して、その付加情報と撮像状況情報とに基づいて処理を行う。これによって、画像から付加情報を読み取り、ユーザが画像を読み取った日時や場所などの状況に応じた処理を実行することができる情報処理装置、情報処理方法およびプログラムを実現することができる。

【0106】

（第２の実施形態）
以下、図面を参照して本発明の第２の実施形態を説明する。なお、本実施形態の基本的な構成は第１の実施形態と同様であるため、以下では特徴的な構成について説明する。

【0107】

図２０（ａ）は、モバイル端末３０１で付加情報が埋め込まれている画像を抽出するイメージを示した図であり、図２０（ｂ）は、付加情報の抽出処理を示したフローチャートである。本実施形態では付加情報として目的地のＧＰＳ情報（所定場所の位置を示すＧＰＳ情報）を取得する。また、抽出した付加情報に加えてモバイル端末３０１のＧＰＳ３１４より、現在のモバイル端末３０１の位置を示すＧＰＳ情報を取得する。以下、図２０（ｂ）のフローチャートを用いて本実施形態の付加情報の抽出処理を説明する。図２０（ｂ）の処理は、例えば、ＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0108】

付加情報の抽出処理が開始されると、ＣＰＵ３０４はＳ２００１で、モバイル端末３０１によって印刷物を撮影して、印刷物に埋め込まれた付加情報を取得する。ここではモバイル端末３０１は、目的地のＧＰＳ情報を取得する。その後、ＣＰＵ３０４はＳ２００２で、モバイル端末３０１のＧＰＳ３１４よりより現在のモバイル端末３０１位置を示すＧＰＳ情報を取得する。そして、ＣＰＵ３０４はＳ２００３で、付加情報とＧＰＳ情報とから目的地と現在地との経路を算出する。経路を計算する方法はインターネット上にある地図サービスを利用する。モバイル端末３０１を所持しているユーザが移動し、現在地のＧＰＳ情報が変わった場合、地図上に表示される経路も変わる。その後、ＣＰＵ３０４はＳ３００４で、モバイル端末３０１のディスプレイ３０８に算出した経路を表示して処理を終了する。

【0109】

本実施形態が想定するケースとしては、コンサートチケット２０１１に付加情報を埋め込んでおくケースを想定している。モバイル端末３０１で付加情報と、現在地のＧＰＳ情報とを取得し、現在地からコンサート会場までの経路を表示することで、ユーザがどこにいてもユーザの居る場所からコンサート会場へとユーザを案内することができる。

【0110】

なお、目的地のＧＰＳ情報と現在地のＧＰＳ情報とをインターネット上の経路探索サービスに送信し、地図と経路とを受信して表示してもよい。

【0111】

（第３の実施形態）
以下、図面を参照して本発明の第３の実施形態を説明する。なお、本実施形態の基本的な構成は第１の実施形態と同様であるため、以下では特徴的な構成について説明する。

【0112】

図２１（ａ）は、モバイル端末３０１で付加情報が埋め込まれている画像を抽出するイメージを示した図であり、図２１（ｂ）は、付加情報の抽出処理を示したフローチャートである。本実施形態では付加情報として商品の価格を取得する。また、抽出した付加情報に加えて、モバイル端末３０１からユーザの居住国情報を取得する。以下、図２1（ｂ）のフローチャートを用いて本実施形態の付加情報の抽出処理を説明する。図２１（ｂ）の処理は、例えば、ＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0113】

付加情報の抽出処理が開始されると、ＣＰＵ３０４はＳ２１０２で、モバイル端末３０１によって印刷物を撮影して、印刷物２１１１に埋め込まれた付加情報を取得する。ここではモバイル端末３０１は、商品の価格、例えば「＄２」を取得する。その後、ＣＰＵ３０４はＳ２１０２で、モバイル端末よりユーザの居住国情報を取得する。本実施形態では、ユーザの居住国情報はモバイル端末３０１の設定値を利用するが、ＧＳＰ履歴やユーザ入力等他の方法を用いてもよい。また、居住国ではなく任意の国を選択してもよい。そして、ＣＰＵ３０４はＳ２１０３で、取得した価格情報、例えば「＄２」と、ユーザの居住国情報、例えば「日本」と、からインターネットの為替変換サービスを利用し、価格情報の価格を居住国の通貨に換算した価格を取得する。具体的には、取得した価格が「＄２」であれば、為替レートが＄１＝１００円だった場合、換算された価格情報は「２００円」となる。Ｓ２１０４で変換された価格情報を表示して処理を終了する。

【0114】

本実施形態が想定するケースとしては、商品のパッケージ２０１１に付加情報を埋め込むケースである。例えば、日本からアメリカに海外旅行中に、現地の商品の価格を現在の為替で日本円に換算した価格を知りたいケースを想定する。

【0115】

なお、本実施形態では商品のパッケージから取得した商品の価格を居住国の価格に変換したが、これに限定するものではない。例えば領収書や見積書、決算書など価格情報が必要とされているものであれば、本発明を適用可能である。

【0116】

（第４の実施形態）
以下、図面を参照して本発明の第４の実施形態を説明する。なお、本実施形態の基本的な構成は第１の実施形態と同様であるため、以下では特徴的な構成について説明する。

【0117】

図２２（ａ）は、モバイル端末３０１で付加情報が埋め込まれている画像を抽出するイメージを示した図であり、図２２（ｂ）は、付加情報の抽出処理を示したフローチャートである。本実施形態では美術館の絵画２２１１の説明表示２２１２に付加情報としてＵＲＬを埋め込む。以下、図２２（ｂ）のフローチャートを用いて本実施形態の付加情報の抽出処理を説明する。図２２（ｂ）の処理は、例えば、ＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0118】

付加情報の抽出処理が開始されると、ＣＰＵ３０４はＳ２２０１で、モバイル端末３０１によって説明表示２２１２を撮影して、説明表示２２１２に埋め込まれた付加情報を取得する。説明表示２２１２には絵画２２１１の簡単な説明が記載されており、説明表示２２１２をモバイル端末３０１で撮影することで、付加情報としてＵＲＬを取得する。複数の美術品の説明表示２２１２には、どれも同じＵＲＬが埋め込まれており、ＵＲＬ先には美術品が美術館のどの場所に掲示されているかを示す「レイアウト情報」と「各美術品の詳細な説明文」とが記載されている。

【0119】

その後、ＣＰＵ３０４はＳ２２０２で、モバイル端末３０１からＧＰＳ情報と端末向き情報とを取得する。ＧＰＳ情報は、ＧＰＳ３１４から取得し、このＧＰＳ情報によって美術館の中のユーザの位置を取得することができる。また、端末向き情報は、加速度計３１２とジャイロスコープ３１３とから取得し、この端末向き情報によってモバイル端末３０１の向きを取得することができる。ＣＰＵ３０４はＳ２２０３で、ＵＲＬ先のレイアウト情報と、ユーザの位置と、モバイル端末３０１の向きと、から美術館内でユーザが見ている美術品を特定し、特定した美術品の詳細な説明文をモバイル端末３０１が取得する。その後、ＣＰＵ３０４はＳ２２０４で、ユーザが見ている美術品の詳細な説明文をモバイル端末３０１に表示して処理を終了する。

【0120】

どの美術品にも同じ付加情報を埋め込んでおくことで、美術品のレイアウトや説明表示を変更しても、ユーザのモバイル端末３０１には、ユーザが見ている美術品の詳細な説明文が表示される。

【0121】

なお、本実施形態では美術館の例を示したが、同様に動物園や水族館などでも使用可能である。また、宝探しゲームに応用し物品とスマホとが所定の位置、所定の向きになった時だけ情報を取得できるようにしてもよい。また、加速度計２１２とジャイロスコープ２１３とを使用して、ユーザの歩数を測定し、ユーザの歩数に応じてコンテンツを切り替えてもよい。

【0122】

また、本実施形態は、メガネタイプのウェアラブル端末に搭載されたカメラを用いることにより、より効果的に適用できる。例えば、美術館でメガネタイプのウェアラブル端末で見た方向の印刷物から付加情報を取得し、対応した情報を表示することができる。

【0123】

（第５の実施形態）
以下、図面を参照して本発明の第５の実施形態を説明する。なお、本実施形態の基本的な構成は第１の実施形態と同様であるため、以下では特徴的な構成について説明する。

【0124】

図２３（ａ）は、モバイル端末３０１で付加情報が埋め込まれている画像を抽出するイメージを示した図であり、図２３（ｂ）は、付加情報の抽出処理を示したフローチャートである。本実施形態では、印刷物２３１１には付加情報が埋め込まれており、モバイル端末３０１は、印刷物２３１１の撮影後のタッチ情報を取得する。以下、図２３（ｂ）のフローチャートを用いて本実施形態の付加情報の抽出処理を説明する。図２３（ｂ）の処理は、例えば、ＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0125】

付加情報の抽出処理が開始されると、ＣＰＵ３０４はＳ２３０１で、モバイル端末３０１によって印刷物を撮影して、説明表示２３１１に埋め込まれた付加情報を取得する。その後、ＣＰＵ３０４はＳ２３０２では、モバイル端末３０１のディスプレイ３０８からユーザがディスプレイ３０８に触れることに対応する情報であるタッチ情報を取得する。印刷物２３１１には押しボタンが記録されており、ユーザがモバイル端末３０１で印刷物２３１１を撮影し、モバイル端末３０１のディスプレイ３０８に表示された印刷物２３１１の押しボタンにユーザが触れることでモバイル端末３０１はタッチ情報を取得する。

【0126】

ＣＰＵ３０４はＳ２３０３では、モバイル端末３０１がタッチ情報を取得したか否かを判定する。タッチ情報を取得していれば、Ｓ２３０４に移行し、タッチ情報を取得していなければ処理を終了する。Ｓ２３０４に移行した場合は、ＣＰＵ３０４はＳ２３０１で取得した付加情報をモバイル端末３０１のディスプレイ３０８に表示して処理を終了する。

【0127】

なお、付加情報は所定情報であり、どのような情報でもよく、例えば、印刷物は押しボタンが記録された商品の広告であり、撮影してディスプレイの押しボタン画像に触れることで、付加情報である商品の詳細情報が記載されたＵＲＬの画面をディスプレイに表示してもよい。このように、ユーザのタッチ動作に応じて付加情報を表示させることもできる。

【0128】

（第６の実施形態）
以下、図面を参照して本発明の第６の実施形態を説明する。なお、本実施形態の基本的な構成は第１の実施形態と同様であるため、以下では特徴的な構成について説明する。

【0129】

図２４は、本実施形態における付加情報の抽出処理を示したフローチャートである。本実施形態では、印刷物には付加情報が埋め込まれており、モバイル端末３０１は、印刷物を撮影することで、情報α（閲覧情報）と、情報αの閲覧を許可されたユーザのユーザＩＤとが含まれた付加情報を取得する。モバイル端末には２つのカメラを搭載したものがあり、風景を撮影するためのモバイル端末の裏側に搭載されたカメラと、ユーザ自身を撮影するために表側に搭載されたカメラとがある。本実施形態では、モバイル端末３０１は、裏側のカメラによって付加情報を取得し、表側のカメラでユーザの顔を写すことで、顔認証情報を取得する。以下、図２４のフローチャートを用いて本実施形態の付加情報の抽出処理を説明する。図２４の処理は、例えば、ＣＰＵ３０４がＲＯＭ３０５に記憶されたプログラムをＲＡＭ３０６に読み出して実行することにより実現される。

【0130】

付加情報の抽出処理が開始されると、ＣＰＵ３０４はＳ２４０１で、モバイル端末３０１によって印刷物を撮影して、印刷物に埋め込まれた付加情報を取得する。付加情報には情報αと、情報αの閲覧を許可されたユーザのユーザＩＤとが含まれている。その後、ＣＰＵ３０４はＳ２４０２で、モバイル端末３０１でユーザを撮影して、顔認証情報を取得する。本実施形態では、１つ目のカメラ（撮像センサ２０２）で印刷物を撮影し、２つ目のカメラ（第二撮像センサ２１５）でユーザ自身を撮影するケースを想定する。顔認証情報は、第二撮像センサ２１５で取得した顔画像を用いて、特定のユーザを指し示すユーザＩＤを算出する。顔認証は多くの方法が提案されているが、ユーザが特定できればどの方法を用いてもよい。そして、ＣＰＵ３０４はＳ２４０３で、顔認証で取得したユーザＩＤが、Ｓ２４０１で取得した情報αの閲覧を許可されたユーザのユーザＩＤと一致するか否かを判定する。一致していればＳ２４０４に移行して、一致していなければ処理を終了する。Ｓ２４０４に移行した場合、ＣＰＵ３０４は、情報αのロックを解除して、Ｓ２４０２で情報αをモバイル端末３０１のディスプレイ３０８に表示する。

【0131】

なお、本実施形態ではユーザの特定に顔認証を用いて情報αに対するロックの解除を行ったが、ユーザの特定は他の方法を用いてもよい。例えば、指紋認証機能を備えたモバイル端末で指紋認証を用いてユーザを特定してもよいし、音声認証機能を備えたモバイル端末で音声認証を用いてユーザを特定してもよい。

【符号の説明】

【0132】

１０２ 付加情報多重化装置
１０３ 記録装置
３０１ モバイル端末
３０４ ＣＰＵ
３０８ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】