特許 7451159 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   H04N 1/32 20060101AFI20240311BHJP

【ＦＩ】

H04N1/32 144

【請求項の数】 9

(21)【出願番号】P 2019222015

(22)【出願日】2019-12-09

(65)【公開番号】P2021093589

(43)【公開日】2021-06-17

【審査請求日】2022-12-05

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】小川 広晃

(72)【発明者】

【氏名】溝口 慶範

(72)【発明者】

【氏名】後藤 文孝

(72)【発明者】

【氏名】酒井 洋行

(72)【発明者】

【氏名】山口 裕充

(72)【発明者】

【氏名】土井 司

(72)【発明者】

【氏名】佐々木 建

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２００６－１３５７５５（ＪＰ，Ａ）

【文献】特開２００７－１２２５３３（ＪＰ，Ａ）

【文献】特開２００３－２０９６７６（ＪＰ，Ａ）

【文献】特開２０１２－１３８８９２（ＪＰ，Ａ）

【文献】国際公開第２０１３／１１１２７８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３２ － １／３６

１／４２ － １／４４

(57)【特許請求の範囲】

【請求項1】

画像内のオブジェクトを認識する認識手段と、
記憶手段に記憶された情報のうち、前記認識手段によって認識されたオブジェクトに紐付けられた情報を、前記画像内の、該認識されたオブジェクトに対するオブジェクト領域を除く領域にレイアウトするレイアウト手段と、
を有し、
前記レイアウト手段は、
前記画像を分割した分割領域ごとに、前記オブジェクト領域が内部に存在するか判定する第１の判定を行い、
前記第１の判定により前記オブジェクト領域が内部に存在しないと判定された分割領域について、前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の範囲内に存在するかを判定する第２の判定を行い、
前記オブジェクト領域が内部に存在する分割領域については、情報を埋め込まない領域と決定し、
前記画像内の、前記認識されたオブジェクトに対するオブジェクト領域を除く領域であって、前記オブジェクト領域が内部に存在せず、かつ前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の範囲内に存在する分割領域については、情報を埋め込む領域と決定し、
前記オブジェクト領域が内部に存在せず、かつ前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の周囲に存在しない分割領域については、情報を埋め込まない領域と決定することを特徴とする画像処理装置。

【請求項2】

前記レイアウト手段は、前記画像を分割した分割領域ごとに、前記オブジェクト領域が内部に存在するか判定する第１判定手段を有することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記レイアウト手段は、前記オブジェクト領域が内部に存在しない分割領域については、情報を埋め込む領域と決定する一方、前記オブジェクト領域が内部に存在する分割領域については、情報を埋め込まない領域と決定する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

１つの分割領域に対して、異なる複数のオブジェクトに対応する複数の情報が重畳して埋め込まれることのないよう、前記複数のオブジェクトに対応して情報を埋め込む領域と判定された重複分割領域の数を、前記複数のオブジェクトの数で除算し、該除算によって導出した商の数分の重複分割領域に対して、任意の１つのオブジェクトに対応する情報を埋め込むように、埋め込み領域を調整する調整手段を更に有することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。

【請求項5】

撮像することにより認識可能な情報が埋め込まれた画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。

【請求項6】

画像内のオブジェクトを認識する認識ステップと、
記憶手段に記憶された情報のうち、認識されたオブジェクトに紐付けられた情報を、前記画像内の、該認識されたオブジェクトに対するオブジェクト領域を除く領域にレイアウトするレイアウトステップと、
を有し、
前記レイアウトステップにおいて、
前記画像を分割した分割領域ごとに、前記オブジェクト領域が内部に存在するか判定する第１の判定を行い、
前記第１の判定により前記オブジェクト領域が内部に存在しないと判定された分割領域について、前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の範囲内に存在するかを判定する第２の判定を行い、
前記オブジェクト領域が内部に存在する分割領域については、情報を埋め込まない領域と決定し、
前記画像内の、前記認識されたオブジェクトに対するオブジェクト領域を除く領域であって、前記オブジェクト領域が内部に存在せず、かつ前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の範囲内に存在する分割領域については、情報を埋め込む領域と決定し、
前記オブジェクト領域が内部に存在せず、かつ前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の周囲に存在しない分割領域については、情報を埋め込まない領域と決定することを特徴とする画像処理方法。

【請求項7】

コンピュータに請求項６に記載の方法を実行させるためのプログラム。

【請求項8】

少なくとも１つのコンピュータを、請求項１乃至５の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

【請求項9】

少なくとも１つのコンピュータを、請求項１乃至５の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報を画像に埋め込む多重化情報生成に関する。

【背景技術】

【0002】

従来、電子透かし技術と称される、印刷物に対して付加情報を視覚的に判別しづらいように多重化する技術が利用されている。以降、ステガノグラフィ、ウォーターマークなど、データに対して別の意味合いを持つデータを重畳させること、もしくはその技術分野を総称して「多重化」と記載する。

【0003】

多重化の分野において、紙幣、印紙、有価証券などの不正な偽造を防止する識別情報の多重化や、写真に対する音声情報の埋め込みなどの応用技術がある。これらの情報を例えばスマートフォンなどで読み取ることで、ユーザに対して付加価値を提供することができる。

【0004】

ところで、多重化の技術には、多重化対象のデータ、例えば画像に変化を加えておき、その変化を捉えることで埋め込んだ多重化情報を復号する技術が含まれる。このような多重化において、多重化情報を埋め込むにはデータに変化を加える必要があり、変化を加えたデータが画像の場合、変化を加えた部分の画質が劣化するおそれがある。

【0005】

また、画像には注目して見られる領域と、そうでない領域がある。例えば、ユーザが自分の子供を映した写真の画像を見る場合、画像の中で子供が写っている部分（オブジェクト領域とする）に注目する可能性が高く、背景を注目して見ること可能性は低い。そのような画像に多重化情報を埋め込む場合、子供が写っている部分に多重化情報を埋め込むと、子供が写っている領域の画質が劣化するおそれがある。

【0006】

特許文献１には、画像を複数の分割領域にすること、複数の異なる周期性を発生させること、周期性に基づき、分割領域の画素値に所定値を加算することが開示されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００３－１７４５５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、多重化情報を画像全体に埋め込む技術であり、注目オブジェクトの劣化軽減については考慮されていなかった。

【0009】

そこで本発明の一実施形態は、上記の課題に鑑み、画像に情報を埋め込む場合に、ユーザにより注視されるオブジェクト領域の画質劣化を軽減することを目的とする。

【課題を解決するための手段】

【0010】

本発明の一実施形態は、画像内のオブジェクトを認識する認識手段と、記憶手段に記憶された情報のうち、前記認識手段によって認識されたオブジェクトに紐付けられた情報を、前記画像内の、該認識されたオブジェクトに対するオブジェクト領域を除く領域にレイアウトするレイアウト手段と、を有し、前記レイアウト手段は、前記画像を分割した分割領域ごとに、前記オブジェクト領域が内部に存在するか判定する第１の判定を行い、前記第１の判定により前記オブジェクト領域が内部に存在しないと判定された分割領域について、前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の範囲内に存在するかを判定する第２の判定を行い、前記オブジェクト領域が内部に存在する分割領域については、情報を埋め込まない領域と決定し、前記画像内の、前記認識されたオブジェクトに対するオブジェクト領域を除く領域であって、前記オブジェクト領域が内部に存在せず、かつ前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の範囲内に存在する分割領域については、情報を埋め込む領域と決定し、前記オブジェクト領域が内部に存在せず、かつ前記オブジェクト領域が存在する他の分割領域が、分割領域１個分の距離の周囲に存在しない分割領域については、情報を埋め込まない領域と決定することを特徴とする画像処理装置である。

【発明の効果】

【0011】

本発明の一実施形態によれば、画像に情報を埋め込む場合に、ユーザにより注視されるオブジェクト領域の画質劣化を軽減できる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態におけるシステムのうち、多重化エンコードに関わる部分の構成を示すブロック図

【図2】第１の実施形態におけるオブジェクト情報、多重化情報に関わるＤＢと、紐付けに関わるＤＢとの関係を説明するための図

【図3】第１の実施形態における情報選択処理のフローチャート

【図4】マスクパターンを示す図

【図5】第１の実施形態における多重化情報レイアウト処理のフローチャート

【図6】第１の実施形態における多重化情報レイアウト処理を説明するための図

【図7】第１の実施形態における記録処理のフローチャート

【図8】第２の実施形態におけるレイアウト結果を示す図

【図9】第２の実施形態における多重化情報レイアウト処理のフローチャート

【図10】第２の実施形態におけるレイアウト結果を示す図

【図11】第３の実施形態におけるレイアウトを説明するための図

【図12】第３の実施形態における埋め込み領域調整処理のフローチャート

【図13】第４の実施形態におけるＤＢを示す図

【図14】第４の実施形態における情報選択処理のフローチャート

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明に係る好適な実施形態を詳細に説明する。尚、以下の説明における画像処理装置とは、多重化情報を埋め込む情報多重化装置である。このような情報多重化装置は、プリンタエンジンへ出力すべき画像データを作成する情報処理装置（コンピュータ）内のプリンタドライバソフト、もしくは、アプリケーションソフトとして実装することが効率的である。但し、これらの形態に限定されず、複写機、ファクシミリ、記録装置本体等に、ハードウェアまたはソフトウェアとして実装されてもよい。

【0014】

［第１の実施形態］
ユーザが画像を見たとき、注視される部分はオブジェクト領域である。そのため、オブジェクト領域内に情報を埋め込み、画質を劣化させてしまうと、該オブジェクト領域は注視されるため劣化が目立つ。そこで、本実施形態では、オブジェクト領域ではない部分に情報を埋め込むことで、画質の劣化の目立ち具合を低減させる。尚、本実施形態では、画像内にオブジェクトが１つの場合の処理について記載する。

【0015】

図１（ａ）及び図１（ｂ）は、画像に多重化情報を埋め込むシステムのうち多重化エンコードに関わる部分の構成例を示すブロック図である。図１（ａ）または図１（ｂ）に示すように、これらのシステムは、画像データと多重化情報とを取得し、画像が記録され且つ多重化情報が埋め込まれた記録物Ｃを生成する。

【0016】

図１（ａ）のシステムは、記録装置１０９（例えばプリンタ等）とは別の画像処理装置によって、画像に多重化情報を埋め込む処理を行うように構成されている。これに対し、図１（ｂ）のシステムは、記録装置１０９内で、画像に多重化情報を埋め込む処理を行うように構成されている。以下、図１（ａ）の構成について説明する。尚、図１（ｂ）の構成については、記録装置１０９内で埋め込む処理を行うか、記録装置１０９外で埋め込む処理を行うかの違いのみなので、詳しい説明を割愛する。

【0017】

図１（ａ）の構成において、入力端子から入力される画像データ１００は例えば、色成分を含む多階調の画像データ、具体的に例えば、シアン、マゼンダ、イエロー、ブラックの４チャンネル、画素値が８ビットのビットマップ形式画像データである。画像に埋め込む多重化情報としては、テキスト文書データ、音声データ、動画データ等の生データ、テキスト文書情報、音声情報、画像情報、動画情報等を圧縮した圧縮データ、及びバイナリ値に変換された他のデータ等が挙げられる。多重化情報は、画像データとともに入力されてもよいし、多重化情報ＤＢに予め記憶されていてもよい。尚、以降では、シアン、マゼンダ、イエロー、ブラックの４色についてはＣ、Ｍ、Ｙ、Ｋと夫々一文字で表し、赤、緑、青の３色についてはＲ、Ｇ、Ｂと夫々一文字で表す。

【0018】

オブジェクト認識部１０１は、画像データに対してオブジェクト認識処理を行う。オブジェクト認識に関する技術として、例えば顔認識技術がある。顔認識の処理の流れとしては、まず画像中の顔らしい領域を特定し、該特定した顔らしい領域について特徴量を導出する。この特徴量はある計算式に従って算出され、例えば、指定領域のヒストグラムを取得することや、周波数変換を実施した結果の振幅・位相情報を取得すること等も、特徴量算出の範疇に含まれる。予め複数の顔情報について、異なる人物毎に特徴量マップを作成しておく。顔認識技術の分野では、特徴量マップの作成に用いた画像データやマッピングされたデータを「教師データ」と呼ぶ。オブジェクトＤＢ１０２は、教師データを保持するためのデータベースである。画像中の顔らしい領域に対して導出された特徴量に基づいて、この領域内の人物が、特徴量マップにマッピングされたどの人物に近いか決定される。以上が、一般的な顔認識技術の処理内容である。

【0019】

図２（ａ）は、オブジェクト認識を実行するにあたって保持されている教師データのデータベースを表している。つまり図２（ａ）は、オブジェクトＤＢ１０２の一例である。図２（ａ）に示すように、オブジェクトＮｏ値Ｉ₁は特徴クラスタ値Ｆ₁に対応し、同様に、Ｉ₂はＦ₂に対応し、Ｉ₃はＦ₃に対応する。

【0020】

図２（ｂ）は、教師データのマップの概念図である。この図では、３次元マップに特徴クラスタ値Ｆ₁～Ｆ₃がマッピングされている。オブジェクト認識部１０１は、画像内のオブジェクトの特徴量を導出し、該導出した特徴量に基づき、３次元マップ内の特徴クラスタ値Ｆ₁～Ｆ₃の何れに該当するか決定する。ここで述べるクラスタとは、マップ中で該当のオブジェクトであると判定される範囲を示している。導出された特徴量群に対応する１点が、マップの軸を基準にプロットされ、プロットされた場所がクラスタに含まれているか否かに基づいて、当該クラスタのオブジェクトであるか否かが決定される。尚、複雑な特徴を持つ情報を区別したい場合や、区別したいオブジェクトの種類が多い場合は、マップの軸はより多くなる傾向がある。また、特徴クラスタ値Ｆ_nの取りうる範囲は、特徴クラスタ値それぞれに対し数百～数千オーダーのオブジェクトの特徴をマッピングして精度を向上させたものであることが望ましい。

【0021】

多重化情報選択部１０３は、オブジェクト認識部１０１によって認識されたオブジェクトに応じて、多重化情報ＤＢ１０４の中から最適な多重化情報を選択する。多重化情報選択部１０３による処理は、画像データに埋め込まれる多重化情報を選択する処理に相当する。

【0022】

多重化情報にはテキスト文書データ等が含まれる。テキスト文書データは、例えば、既に公知である文字コードを利用して、数字および文字を数値に割り当てた数値データである。このような数値データが多重化情報として多重化情報ＤＢ１０４に保持される。

【0023】

具体例として、「ｈｅｌｌｏ」という文字に対応するテキスト文書データについて説明する。テキスト文書データは、数値データいわゆるバイナリデータとする。バイナリデータとは「０」及び「１」で表現される情報であり、この「０」及び「１」の連続的なつながりが特定の意味を持つ。バイナリデータと文字との対応は、「文字コード」によって定義されている。文字コードの中の１つである「シフトＪＩＳ」の場合、「ｈ」はバイナリデータの「０１１０１０００」に対応する。同様に、「ｅ」は「０１１００１０１」、「ｌ」は「０１１０１１００」、「ｏ」は「０１１０１１１１」のバイナリデータに対応する。従って、「ｈｅｌｌｏ」という文字は、バイナリデータによれば「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」と表現できる。逆に、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」というバイナリデータを取得できれば、該取得したバイナリデータに基づき「ｈｅｌｌｏ」という文字を取得することができる。多重化情報ＤＢ１０４は、このようなバイナリデータに変換された数値データに対応する。

【0024】

図２（ｃ）は、多重化情報ＤＢ１０４の一例を表している。図２（ｃ）のテーブルには、多重化情報として埋め込みたい「ｈｅｌｌｏ」、「ｂｙｅ」、「ｌｕｎｃｈ」という文字が保持されており、これらは、文字を識別するための多重化情報Ｎｏの値（本例ではＢ₁～Ｂ₃の何れか）と夫々対応する。

【0025】

多重化情報選択部１０３は、紐付け情報ＤＢ１０５を参照する。紐付け情報ＤＢ１０５には、認識したオブジェクトと、多重化情報ＤＢ１０４に保持された内容とを紐付けるための情報が保持される。

【0026】

図２（ｄ）は、紐付け情報ＤＢ１０５の具体例として、図２（ａ）のテーブルの各値と、図２（ｃ）のテーブルの各値とを紐付けする紐付け情報を保持するためのデータベースを表している。図２（ｄ）では、紐付け情報である紐付けＮｏの値Ｓ₁は、Ｂ₁とＩ₃との対応関係に紐付いており、Ｓ₂は、Ｂ₂とＩ₁との対応関係に紐付いており、Ｓ₃は、Ｂ₃とＩ₂との対応関係に紐付いている。多重化情報選択部１０３は、紐付け情報を用いて多重化情報ＤＢ１０４を参照することで、画像中のオブジェクトに最適な多重化情報を選択することが可能である。以下、多重化情報選択部１０３によって実行される、画像中のオブジェクトに対して最適な多重化情報を選択する（情報選択処理とする）について、図３を用いて説明する。

【0027】

図３は、本実施形態における情報選択処理のフローチャートであり、オブジェクト認識部１０１で認識されたオブジェクトに対して多重化情報を選択する手順をステップ毎に示す。尚、以下では、具体例として、認識されたオブジェクトに対するオブジェクトＮｏの値がＩ₁であったケースを挙げながら説明する。画像中で複数のオブジェクトが認識された場合は、該認識された複数のオブジェクトそれぞれについて、同様のフローの処理を実行する。なお、図３の各ステップは、画像処理装置のＣＰＵ（図１（ａ）の場合）、または、記録装置１０９のＣＰＵ（図１（ｂ）の場合）によって実行される。

【0028】

ステップＳ３０１において、多重化情報選択部１０３は、オブジェクト認識部１０１で認識された対象オブジェクトに対応するオブジェクトＮｏの値を取得する。図２（ａ）では、オブジェクトＮｏの値としてＩ₁～Ｉ₃が存在するが、以下では、対象オブジェクトに対応するオブジェクトＮｏの値がＩ₁のケースを想定して説明する。つまり、オブジェクト認識部１０１が、画像内のオブジェクトから抽出された特徴量「Ｆ₁」を多重化情報選択部１０３に出力する。そして、多重化情報選択部１０３は、特徴量「Ｆ₁」とオブジェクトＤＢ１０２に基づいて、オブジェクトＮｏの値として「Ｉ₁」を取得する。尚、以降では「ステップＳ～」を「Ｓ～」と略記する。

【0029】

Ｓ３０２において、多重化情報選択部１０３は、最大で紐付け情報ＤＢ１０５（例えば図２（ｄ））に保持されている紐付けＮｏの値の個数（Ｎ個とする）分の、Ｓ３０３～Ｓ３０４のループ処理を実行する。例えば、図２（ｄ）のテーブルを用いる場合、紐付けＮｏの値としてＳ₁～Ｓ₃が保持されているため、繰り返しの処理を最大で３回実行することになる。尚、Ｓ３０３～Ｓ３０４のループ処理は、Ｓ３０１で取得したオブジェクトＮｏの値に対応する多重化情報Ｎｏの値を見つけた時点で終了し、Ｓ３０５に進む。

【0030】

Ｓ３０３において、多重化情報選択部１０３は、紐付け情報ＤＢ１０５（例えば図２（ｄ））を参照し、注目紐付けＮｏの行において、Ｓ３０１で取得したオブジェクトＮｏの値（本例ではＩ₁）と一致するオブジェクトＮｏの値が保持されているか判定する。本ステップの判定処理が真の場合、Ｓ３０４に進む一方、該判定結果が偽の場合、次のループ処理（Ｓ３０３～Ｓ３０４）に移行する。

【0031】

Ｓ３０４において、多重化情報選択部１０３は、紐付け情報ＤＢ１０５（例えば図２（ｄ））を参照し、認識された対象オブジェクトのオブジェクトＮｏの値と紐付けられた多重化情報Ｎｏの値を選択する。具体的には、多重化情報選択部１０３は、対象オブジェクトに付加する情報の内容を識別するための多重化情報Ｎｏの値として、Ｓ３０１で取得したオブジェクトＮｏの値に紐付けされている多重化情報Ｎｏの値を選択的に決定する。尚、Ｓ３０１で取得したオブジェクトＮｏの値がＩ₁であり、かつ図２（ｄ）のテーブルを用いる場合、本ステップでは、多重化情報Ｎｏの値としてＢ₂が選択される。

【0032】

Ｓ３０５において、多重化情報選択部１０３は、オブジェクト認識部１０１で認識された対象オブジェクトに最適な多重化情報が、紐付け情報ＤＢ１０５に保持されていたか判定する。本ステップの判定結果が真の場合、Ｓ３０６に進む一方、該判定結果が偽の場合、Ｓ３０７に進む。なお、本実施形態の具体例では、Ｓ３０４において多重化情報Ｎｏの値としてB₂が選択されたため、Ｓ３０５の判定結果は、真である。

【0033】

Ｓ３０６において、多重化情報選択部１０３は、Ｓ３０４で選択した多重化情報Ｎｏの値（本実施例では、「Ｂ₂」）を出力し、画像処理装置のＣＰＵは、該出力された値を取得する。

【0034】

Ｓ３０７において、多重化情報選択部１０３は、対象オブジェクトに最適な多重化情報が紐付け情報ＤＢ１０５に保持されていなかったため、多重化情報を選択しなかった旨を示す値（「非選択」を示す値）を出力する。そして、画像処理装置のＣＰＵは、出力された値を取得する。以上が、情報選択処理の内容である。図３のフローチャートの処理を実行することで、認識されたオブジェクトの種類（オブジェクトＮｏ）に対応する多重化情報が自動的に選択されるため、操作性が向上する。

【0035】

パターン選択部１０６は、ブロック単位で各画素の濃度変調を行うためのマスクパターンの中から、多重化情報選択部１０３より受信した数値化された多重化情報に対して適用すべきマスクパターンを選択する。尚、本ステップで選択されるマスクパターンは、画像処理装置の記憶手段に予め記憶されている。

【0036】

図４（ａ）及び図４（ｂ）は、バイナリデータに対応するマスクパターンを示しており、図４（ａ）のマスクパターンが「０」に対応し、図４（ｂ）のマスクパターンが「１」に対応する。これらのマスクパターンは、５ｐｘ×５ｐｘの領域に対応するサイズを有する。５ｐｘ×５ｐｘの領域に対応する画像データに対して、図４（ａ）または図４（ｂ）のような異なる周期性を持つパターンを組み合わせる（適用する）ことにより、「０」か「１」のバイナリデータを埋め込む。逆に、記録画像を読み取る際には、取得データに対する周波数解析などによって、「０」、「１」のバイナリデータに対応する周期性を認識することにより、「０」、「１」のバイナリデータを読み取ることができる。尚、パターン選択はパターン選択部１０６で行わなくてもよく、後述の情報多重化部１０８で行ってもよい。

【0037】

多重化情報レイアウト部１０７は、多重化情報選択部１０３で選択された多重化情報を、画像中のどの位置にレイアウトするか決定する処理（多重化情報レイアウト処理とする）を実行する。以下、多重化情報レイアウト処理について、図５を用いて説明する。

【0038】

図５は、多重化情報レイアウト処理のフローチャートであり、多重化情報選択部１０３によって選択された多重化情報を画像中に埋め込む位置を決定する手順をステップ毎に示す。なお、図５の各ステップは、画像処理装置のＣＰＵ（図１（ａ）の場合）、または、記録装置１０９のＣＰＵ（図１（ｂ）の場合）によって実行される。

【0039】

Ｓ５０１において、多重化情報レイアウト部１０７は、オブジェクト認識部１０１が認識した対象オブジェクトの位置情報を取得する。尚、本ステップで取得する位置情報は、オブジェクト認識部１０１が領域特定を行った際に取得したものであってもよいし、多重化情報レイアウト部１０７にて改めてオブジェクトが存在する領域を特定し、該特定した領域の位置情報を求めても良い。

【0040】

Ｓ５０２において、多重化情報レイアウト部１０７は、対象オブジェクトに対して選択された多重化情報があるか判定する。例えば、Ｓ５０２は、多重化情報レイアウト部１０７が多重化情報選択部１０３から取得される情報に基づいて判定処理を行う。具体的には、オブジェクト認識部１０１が、対象オブジェクトから抽出された特徴量「Ｆ₁」を多重化情報選択部１０３に出力する。そして多重化情報選択部１０３は、特徴量「Ｆ₁」とオブジェクトＤＢ１０２に基づいて、オブジェクトＮｏの値として「Ｉ₁」を取得する。さらに多重化情報選択部１０３は、オブジェクトＮｏの値「Ｉ₁」と紐付け情報ＤＢ１０５に基づいて特定された多重化情報Ｎｏ「Ｂ₂」を多重化情報レイアウト部１０７に出力する。ここで多重化情報レイアウト部１０７は、多重化情報Ｎｏを取得できた場合、Ｓ５０２において真と判定する。一方、多重化情報レイアウト部１０７は、多重化情報Ｎｏを取得できない場合、Ｓ５０２において偽と判定する。本ステップの判定結果が真の場合、Ｓ５０３に進む一方、該判定家結果が偽の場合、多重化情報レイアウト処理は終了する。

【0041】

Ｓ５０３において、多重化情報レイアウト部１０７は、画像の分割を行う。図６（ａ）は、分割された画像を示す。分割した後の１つの小領域（分割領域とする）の大きさは、（埋め込みたい情報のバイナリデータのｂｉｔ数）×（バイナリデータ１ｂｉｔを表現するのに必要なマスクパターンの大きさ）となる。例えば「ｈｅｌｌｏ」という文字をバイナリデータで表現した場合、上記で説明したように「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」の４０ｂｉｔとなる。バイナリデータ１ｂｉｔを表現するのに必要なマスクパターンの大きさは前述したように５ｐｘ×５ｐｘである。従って、「ｈｅｌｌｏ」という文字を埋め込もうとした場合、４０×５×５＝１０００ｐｘの大きさの領域が必要となる。尚、分割領域の形状は正方形でもよいし、長方形でもよい。多重化情報レイアウト部１０７は、分割領域の大きさと形状とを決定した後、分割領域がその大きさと形状とになるよう、画像を分割する。

【0042】

Ｓ５０４において、多重化情報レイアウト部１０７は、分割領域の個数分の、Ｓ５０５～Ｓ５０７のループ処理を実行する。

【0043】

Ｓ５０５において、多重化情報レイアウト部１０７は、Ｓ５０１で取得した対象オブジェクトの位置情報を用いて、注目する分割領域（注目分割領域とする）内に対象オブジェクトの領域が存在するか判定する。尚、注目分割領域の全てにわたって対象オブジェクトの領域が存在する場合だけでなく、注目分割領域の一部に対象オブジェクトの領域が存在する場合も、注目分割領域に対象オブジェクトの領域が存在すると判定する。本ステップの判定結果が真の場合、Ｓ５０６に進む一方、該判定結果が偽の場合、Ｓ５０７に進む。

【0044】

Ｓ５０６において、多重化情報レイアウト部１０７は、注目分割領域に関しては、多重化情報を埋め込まない領域と決定する。図６（ｂ）は、多重化情報を埋め込む分割領域、及び、多重化情報を埋め込まない分割領域を示す図である。図６（ｂ）で多重化情報を埋め込まない分割領域と示されている部分が、Ｓ５０６で埋め込まない領域と決定された領域である。本実施形態では、オブジェクト領域を避けて多重化情報を埋め込みたいため、オブジェクト領域が存在する分割領域に関しては、本ステップにて、多重化情報を埋め込まない領域と決定する。

【0045】

Ｓ５０７において、多重化情報レイアウト部１０７は、注目分割領域に関しては、多重化情報を埋め込む領域と決定する。図６（ｂ）で多重化情報を埋め込む分割領域と示されている部分が、Ｓ５０７で埋め込む領域と決定された領域である。本実施形態では、オブジェクト領域を避けて多重化情報を埋め込みたいため、オブジェクト領域が存在しない分割領域に関しては、本ステップにて、多重化情報を埋め込む領域と決定する。以上、多重化情報レイアウト処理の内容である。図５の処理により、ユーザにより注視されるオブジェクト領域の画質劣化を軽減できる。

【0046】

情報多重化部１０８は、画像データ１００と、パターン選択部１０６で選択されたマスクパターンと、多重化情報レイアウト部１０７で設定されたレイアウト情報とを取得する。このレイアウト情報は、多重化情報を画像中のどの分割領域に埋め込むか示す位置情報である。これらの情報を取得した後、情報多重化部１０８は、該取得した情報に基づき、画像データ１００で表される画像の指定領域にマスクパターンを適用した画像データを生成する。

【0047】

例えば、画像データをＹＵＶのＵ色プレーンとし、それを指定領域の内部に属する１ブロック（５ｐｘ×５ｐｘ）毎に処理し、そのＹＵＶのＵ色プレーンの値に図４（ａ）または図４（ｂ）のマスクパターンの値を適用するケースについて検討する。ここでは、一例として、式（１）のように、これらのマスクパターンの数値に応じてＹＵＶのＵ色プレーンの値（Ｕ値とする）に対する加減算処理を行うものとし、その加減算処理を行う基準値を１０とする。

【0048】

【数1】

【0049】

例えば、１ブロック内の１画素のＵ値が「２０」であり、適用するマスクパターンの数値が「０」である場合には、式（２）のようにＵ値が処理される。

【0050】

【数2】

【0051】

また例えば、１ブロック内の１画素のＵ値が「３０」であり、適用するマスクパターンの数値が「２」の場合には、式（３）のようにＵ値が処理される。

【0052】

【数3】

【0053】

また例えば、１ブロック内の１画素のＵ値が「４０」であり、適用するマスクパターンの数値が「－１」の場合には、式（４）のようにＵ値が処理される。

【0054】

【数4】

【0055】

このように本実施形態では、画素毎に、適用するマスクパターンの数値と、基準値と、を掛け合わせた値を加算することによって、多重化を実現する。尚、マスクパターンの適用方法は、Ｕ色プレーン上に、マスクパターンを埋め込むことができれば任意の方法を採用してよく、ここで挙げた方法に限定されない。

【0056】

尚、前述したオブジェクト認識部１０１によって実行される処理ないし情報多重化部１０８によって実行される処理について、記録装置１０９外で実行してもよいし（図１（ａ）参照）、記録装置１０９内で実行してもよい（図１（ｂ）参照）。情報多重化部１０８が出力した多重化エンコード処理後の画像データは、記録装置１０９、又は、記録部１１１に送信される。

【0057】

図７は、多重化エンコード処理後の画像データに基づく記録処理のフローチャートである。尚、図７における各ステップの処理は、記録装置１０９のＣＰＵが実行するものとして説明するが（図１（ａ）の場合）、記録部１１１が実行してもよい（図１（ｂ）の場合）。

【0058】

Ｓ７０１において、記録装置１０９のＣＰＵは、情報多重化部１０８によって多重化情報が埋め込まれた画像データ（多重化画像データと呼ぶ）を取得する。

【0059】

Ｓ７０２において、記録装置１０９のＣＰＵは、多重化画像データに対して色補正を施す。「色補正」とは、記録装置によって記録媒体に記録される画像の色が好適な色となるように、画像データを変換する処理を指す。例えば、モニタ等の表示装置に表示された画像を記録する場合、表示装置における色再現範囲と記録装置における色再現範囲とは、必ずしも一致しない。ある色では、表示装置と比べて記録装置の再現範囲の方が狭く、また、別の色では、表示装置と比べて記録装置の再現範囲の方が広い場合がある。そのため、画像の劣化を最小限にして、適宜、色の圧縮および伸長を行う必要がある。本実施形態では一例として、それらの処理をＲＧＢ形式で実施する。つまり、記録装置の再現性を考慮して、入力されたＲＧＢ値を記録装置用のＲＧＢ値（記録装置用ＲＧＢ値と呼ぶ）に変換する。この変換は、マトリクス演算によって行うことも可能だが、一般的には、３次元の色補正テーブルが利用される。入力されるＲＧＢ値を各色８ビット（２５６階調）とした場合、全ての組み合わせを保持することは記憶容量の観点から現実的でないため、色補正テーブルとして、所定の間隔で間引かれたテーブルを用いる。本実施形態では一例として、グリッド点の数が１７のテーブルを用いるものとする。

【0060】

Ｓ７０３において、記録装置１０９のＣＰＵは、インク色変換を行う。インク色変換では、Ｓ７０２の色補正によって得た記録装置用ＲＧＢ値をインク色の値（例えばＣＭＹＫ値）に変換する。この変換には、記録装置用ＲＧＢ値の組み合わせと、インク色の値（例えばＣＭＹＫ値）の組み合わせと、が予め対応付けられた色分解テーブルを用いる。尚、Ｓ７０２の色補正と同様、本ステップでもグリッド点の数が１７のテーブルを用いるものとする。

【0061】

Ｓ７０４において、記録装置１０９のＣＰＵは、濃度補正を行う。インクジェット記録装置においては、用紙等の記録媒体上にドットを形成するために付与されるインクの量が多くなるにしたがって、ドットの重なりが増加し、記録画像における濃度が上昇しにくくなる。Ｓ７０４では、このような濃度の応答性を均一にするために濃度を補正する。このような濃度補正により、色補正テーブルおよび色分解テーブルの作成精度が確保しやすくなる。ＣＭＹＫの４色インクを用いる記録装置においては、それらのインク色について濃度補正を行う。本実施形態では一例として、１次元の濃度補正テーブルを用いる。このテーブルとしては、インク色毎の入力８ビット（２５６階調）に対応したテーブルであって、入力信号値と補正後の出力信号値とを対応付けたテーブルを予め用意しておけばよい。

【0062】

Ｓ７０５において、記録装置１０９のＣＰＵは、階調変換を行う。「階調変換」とは、Ｓ７０４でインク色毎に濃度補正が施された後の多ビットデータを、記録装置において記録可能な階調数のデータに変換する処理を指す。尚、本実施形態では一例として、多ビットデータを記録「１」または非記録「０」の２階調（１ｂｉｔ）データに変換する。また、階調の変換方法としては、画像の低周波成分を排除して、視覚に好適な階調の再現が可能な誤差拡散法を採用する。また、入力信号（多ビットデータ）として、画素値が０～２５５の８ビットのデータを想定する。Ｓ７０５の階調変換を全てのインク色Ｃ、Ｍ、Ｙ、Ｋに対して実行することにより、記録装置１０９で記録可能な１ビットのインク色毎の記録データが得られる。

【0063】

Ｓ７０６において、記録装置１０９のＣＰＵは、記録処理を行う。詳しく説明すると、記録装置１０９のＣＰＵは、Ｓ７０５で得た記録データを記録エンジンに送信し、該記録エンジンを用いて、該送信した記録データに基づいて各色のインクを記録媒体に付与する。本ステップにより、記録媒体上にインクで画像が形成された記録物を生成する。

【0064】

なお、本実施形態により多重化情報が埋め込まれた印刷物を、例えば、カメラおよび表示部を備えるスマートフォンで撮像した場合、スマートフォンの表示部には、印刷物の画像と共に、印刷物に埋め込まれた多重化情報から認識された文字列等が表示される。

【0065】

＜本実施形態の効果＞
本実施形態によれば、注視されるオブジェクト領域を避けて情報を埋め込むことが可能である。従って、画像劣化領域が注視されなくなり、画質の劣化が目立たなくなる。

【0066】

［第２の実施形態］
第１の実施形態では、多重化情報を埋め込む領域を、オブジェクト領域を除く全ての領域としていた。オブジェクトが１つの場合はそれでもよいが、オブジェクトが画像内に複数あった場合に、オブジェクト領域を除く全ての領域に、それぞれのオブジェクトの多重化情報を埋め込んでしまうと、１つの領域に複数の多重化情報を埋め込むことになる。同じ領域に複数の多重化情報が埋め込まれた場合、情報を抽出する際に複数の多重化情報を判別する処理が必要になるため、１つの領域には１つの情報のみが埋め込まれることが望ましい。

【0067】

そこで本実施形態では、多重化情報を埋め込む領域を、オブジェクト領域の周囲に限定する。これにより、複数のオブジェクトがあった場合でも、それぞれのオブジェクトが十分離れているならば、１つの領域に複数の多重化情報を埋め込むことがなくなる。こうすることで、１つの領域に複数の多重化情報を埋め込まないようにしつつ、多重化情報をオブジェクト領域ではない部分に埋め込むことができる。尚、以降、既述の実施形態との差分について主に説明し、既述の実施形態と同様の内容については説明を適宜省略する。

【0068】

注目分割領域がオブジェクト領域の周囲か否かを判定する方法としては、Ｓ５０４のループ終了後に行う方法と、注目分割領域内に対象オブジェクトの領域が存在しないと判定された後（Ｓ５０５でＮＯの後）に行う方法がある。

【0069】

Ｓ５０４のループ終了後に行う場合、ループ終了後にそれぞれの分割領域に対して、該それぞれの分割領域と最も距離が近いオブジェクトの多重化情報をレイアウトする処理を行う。このときに求める距離として、重畳している領域から、該重畳している領域に最短の「オブジェクトを含む領域」までの領域に沿ったマンハッタン距離を採用してよい。或いは、重畳している領域の中心と、オブジェクトの中心との間の距離であるユークリッド距離を採用してもよい。図８は、マンハッタン距離を採用して、それぞれの分割領域に対して、該それぞれの分割領域に最も近いオブジェクトの多重化情報を選んだ場合のレイアウト結果を示す。

【0070】

一方、注目分割領域内に対象オブジェクトの領域が存在しないと判定された後（Ｓ５０５でＮＯの後）に行う場合、図５に示したフローチャートを変更する必要がある。以下、この場合の多重化情報レイアウト処理について、図９を用いて説明する。なお、図９の各ステップは、画像処理装置のＣＰＵ（図１（ａ）の場合）、または、記録装置１０９のＣＰＵ（図１（ｂ）の場合）によって実行される。

【0071】

Ｓ９０１において、多重化情報レイアウト部１０７は、対象オブジェクトの位置情報を取得する。本ステップは、図５のＳ５０１と同様である。

【0072】

Ｓ９０２において、多重化情報レイアウト部１０７は、対象オブジェクトに対して選択された多重化情報があるか判定する。本ステップの判定結果が真の場合、Ｓ９０３に進む一方、該判定家結果が偽の場合、多重化情報レイアウト処理は終了する。本ステップは、図５のＳ５０２と同様である。

【0073】

Ｓ９０３において、多重化情報レイアウト部１０７は、画像の分割を行う。本ステップは、図５のＳ５０３と同様である。

【0074】

Ｓ９０４において、多重化情報レイアウト部１０７は、分割領域の個数分の、Ｓ９０５～Ｓ９０９のループ処理を実行する。

【0075】

Ｓ９０５において、多重化情報レイアウト部１０７は、Ｓ９０１で取得した対象オブジェクトの位置情報を用いて、注目分割領域内に対象オブジェクトの領域が存在するか判定する。尚、注目分割領域の全てにわたって対象オブジェクトの領域が存在する場合だけでなく、注目分割領域の一部に対象オブジェクトの領域が存在する場合も、注目分割領域に対象オブジェクトの領域が存在すると判定する。本ステップの判定結果が真の場合、Ｓ９０６に進む一方、該判定結果が偽の場合、Ｓ９０７に進む。

【0076】

Ｓ９０６において、多重化情報レイアウト部１０７は、注目分割領域に関しては、多重化情報を埋め込まない領域と決定する。本実施形態では、オブジェクト領域を避けて多重化情報を埋め込みたいため、オブジェクト領域が存在する分割領域に関しては、本ステップにて、多重化情報を埋め込まない領域と決定する。

【0077】

Ｓ９０７において、多重化情報レイアウト部１０７は、注目分割領域の周囲に（具体的には、注目分割領域との距離が分割領域Ｎ個分の範囲内に）、にオブジェクト領域が存在する他の分割領域があるか判定する。本ステップの判定結果が真の場合、Ｓ９０８に進む一方、該判定結果が偽の場合、Ｓ９０９に進む。図１０は、Ｓ９０７においてＮ＝１とし、オブジェクト周囲の分割領域であって、オブジェクト領域が存在する他の分割領域との距離が領域１個分となる分割領域を、多重化情報を埋め込む領域としたときの様子を示す。

【0078】

Ｓ９０８において、多重化情報レイアウト部１０７は、注目分割領域に関しては、多重化情報を埋め込む領域と決定する。前述したように、本実施形態では、オブジェクト領域を避けながら、その周囲に多重化情報を埋め込みたい。従って、オブジェクト領域が存在しない分割領域であって、その周囲にオブジェクト領域が存在する他の分割領域が存在する分割領域に関しては、本ステップにて、多重化情報を埋め込む領域と決定する。

【0079】

Ｓ９０９において、多重化情報レイアウト部１０７は、注目分割領域に関しては、多重化情報を埋め込まない領域と決定する。本実施形態では、オブジェクト領域を避けながら、オブジェクト領域の周囲に限定して多重化情報を埋め込みたい。従って、オブジェクト領域が存在しない分割領域であっても、その周囲にオブジェクト領域が存在する他の分割領域が存在しない分割領域に関しては、本ステップにて、多重化情報を埋め込まない領域と決定する。

【0080】

＜本実施形態の効果＞
前述したように本実施形態では、多重化情報を埋め込む領域を該多重化情報に対応するオブジェクト領域の周囲に限定する。これにより、複数のオブジェクトが存在する画像においても、埋め込み領域を重畳させることなく多重化情報を埋め込むことができる。

【0081】

［第３の実施形態］
第２の実施形態では、多重化情報をオブジェクト領域の周囲に埋め込む方法を説明したが、この方法では、画像内で異なるオブジェクト同士が近くに存在するときに埋め込む領域が被ってしまうことがあった。その結果、同じ領域に複数の多重化情報が埋め込まれた場合、情報を抽出する際に複数の多重化情報を判別する処理が必要になる。従って、前述したように、１つの領域には１つの情報のみが埋め込まれていることが望ましいことから、課題があった。

【0082】

そこで本実施形態では、オブジェクト同士が近くに存在するときにも、多重化情報を埋め込む領域が重畳しないよう埋め込み領域を調整することで、埋め込み領域の重畳を防ぎながら埋め込みを行う。

【0083】

埋め込み領域の調整は、例えば図１１（ａ）のような画像に対して実施される。図１１（ａ）に示す画像には、オブジェクトａとオブジェクトｂとの２つのオブジェクトが写っている。ここで、図１１（ａ）の画像に対し、第２の実施形態を適用した場合を説明する。この場合、オブジェクト領域の周囲の各分割領域について、オブジェクトａの情報である情報Ａを埋め込む領域と、オブジェクトｂの情報である情報Ｂを埋め込む領域との何れに該当するか決定する必要がある。しかし、第２の実施形態における方法を用いた場合、一部の分割領域について、情報Ａを埋め込む領域と、情報Ｂを埋め込む領域との何れに該当するか決定することができない。図１１（ａ）に示すように、オブジェクトａとオブジェクトｂとの間には、クエスチョンマークが書かれた分割領域がある。これらの分割領域が、情報Ａを埋め込む領域と、情報Ｂを埋め込む領域との何れに該当するかを決定できなかった領域、言い換えると、情報Ａを埋め込む領域と、情報Ｂを埋め込む領域とが重畳している領域である。

【0084】

＜埋め込み領域調整処理＞
以下、本実施形態における埋め込み領域調整処理について、図１２を用いて説明する。尚、図１２に示す埋め込み領域調整処理は、多重化情報レイアウト部１０７によって実行される多重化情報レイアウト処理と、情報多重化部１０８によって実行される多重化処理との間に実行される。また、図１２の各ステップの処理は、画像処理装置のＣＰＵ（図１（ａ）の場合）、または、記録装置１０９のＣＰＵ（図１（ｂ）の場合）によって実行される。

【0085】

Ｓ１２０１において、ＣＰＵは、重畳している分割領域（重畳分割領域とする）の個数を数える。言い換えると、ＣＰＵは、複数の多重化情報の埋め込み位置と判定された分割領域の個数を数える。例えば図１１（ａ）の場合、重複分割領域の個数は５となる。

【0086】

Ｓ１２０２において、ＣＰＵは、Ｓ１２０１で取得した個数分の、Ｓ１２０３～１２０５のループ処理を実行する。例えば図１１（ａ）の場合、５回のループ処理を実行する。

【0087】

Ｓ１２０３において、ＣＰＵは、注目する重畳分割領域と、オブジェクトの領域（以下、オブジェクト領域とする）との間の距離に関して、異なるオブジェクト間で同じか判定する。本ステップの判定結果が真の場合、Ｓ１２０４に進む一方、該判定結果が偽の場合、Ｓ１２０５に進む。

【0088】

例えば、ある重畳分割領域に対し、オブジェクトａの情報Ａ、又は、オブジェクトｂの情報Ｂを埋め込もうとしている場合、該重畳分割領域とオブジェクトａの領域との間の距離と、該重畳分割領域とオブジェクトｂの領域との間の距離とが同じか判定する。同じと判定された場合、Ｓ１２０４へ進む一方、同じでないと判定された場合、Ｓ１２０５へ進む。

【0089】

本ステップで求める距離として、第２の実施形態と同様、マンハッタン距離またはユークリッド距離を採用することができる。図１１（ａ）において、マンハッタン距離を採用して、Ｓ１２０３の距離判定を行った場合を検討する。この場合、図中一番上のクエスチョンマークの分割領域に関しては、該分割領域とオブジェクトａの領域との間の距離、及び、該分割領域とオブジェクトｂの領域との間の距離はどちらも１である。従って、Ｓ１２０３でＹＥＳと判定され、Ｓ１２０４に進む。尚、図１１（ａ）では、クエスチョンマークで示す分割領域が５つあるが、これらの分割領域は何れも、相異なるオブジェクトとの距離が１であることから、フローはＳ１２０３の後、Ｓ１２０４に進む。

【0090】

Ｓ１２０４において、ＣＰＵは、注目する重畳分割領域とオブジェクト領域との間の距離に関して、異なるオブジェクト間で同じと決定する。この場合、注目する重畳分割領域とオブジェクト領域との間の距離のみに基づいて、何れのオブジェクトの情報をこの分割領域に埋め込むか判定できない。従って、本ステップでは、情報の埋め込みを行わない。

【0091】

Ｓ１２０５において、ＣＰＵは、注目する重畳分割領域に最も近いオブジェクトに対応する多重化情報を、該注目する重畳分割領域に埋め込む。

【0092】

Ｓ１２０６において、ＣＰＵは、Ｓ１２０４で距離が同じと判定された重複分割領域のそれぞれに対し、複数のオブジェクトのうち１つのオブジェクトに対応する多重化情報を埋め込む。このとき、１つのオブジェクトに対応する多重化情報が埋め込まれた重複分割領域の数が、異なるオブジェクト間で均等になるようにする。

【0093】

Ｓ１２０４で距離が同じと決定された重畳分割領域に関しては、それぞれのオブジェクトからの距離が等しいことから、複数オブジェクトのうち何れの多重化情報を埋め込んでもよい。従って、ある１つのオブジェクトに対応する多重化情報を埋め込む重複分割領域の数が、異なるオブジェクト間で可能な限り均等になるように、重複分割領域それぞれに対して、埋め込む多重化情報を選択する必要がある。具体的には、重複分割領域の数をオブジェクトの数で除算し、該除算によって導出した商の数分の重複分割領域に対して、任意の１つのオブジェクトに対応する多重化情報を埋め込む。尚、剰余分（割り切れなかった分）の重複分割領域に対しては、同一オブジェクトの多重化情報を選択しないようランダムに振り分ければよい。

【0094】

図１１（ｂ）は、領域の振り分け後の具体例を示す図である。図１１（ｂ）の例では、Ｓ１２０４で同距離と判定された重畳分割領域の数が５つであり、オブジェクトの数が２つである。従って、この５つの領域について、２つの領域をオブジェクトａに、２つの領域をオブジェクトｂに振り分け、残った１つの領域をオブジェクトａ又はオブジェクトｂの何れかにランダムに振り分ける。尚、図１１（ｂ）では、残った１つの領域はオブジェクトａに振り分けられたものとしている。

【0095】

＜本実施形態の効果＞
前述したように本実施形態では、多重化情報を埋め込む領域が被った場合に、埋め込み領域を調整する。これにより、埋め込み領域の重畳を防ぎながら埋め込みを行うことができる。

【0096】

［第４の実施形態］
第１～第３の実施形態では、オブジェクト認識結果と多重化情報とが１対１対応して紐付けされており、多重化情報は、紐付け情報を用いて選択される（もしくは非選択となる）。但し、実際のユースケースとして、オブジェクト認識結果に対する多重化情報の選択候補が複数存在する場合がある。複数の選択候補の中から最適な多重化情報を選択するために、本実施形態では、評価処理のステップを設ける。尚、この評価処理は、図１における多重化情報選択部１０３によって実行される。

【0097】

図１３は、第４の実施形態を説明するための図であり、ＤＢの具体例を示す。図１３（ａ）は、オブジェクト認識で用いる教師データのデータベースを示している。図１３（ｂ）は、多重化情報のデータベースである。図１３（ａ）は図２（ａ）と同様であり、図１３（ｂ）は図２（ｃ）と同様である。本実施形態は、図１３（ｃ）のような紐付け情報を保持するデータベース用いる点で、前述の実施形態と異なる。

【0098】

図１３（ｃ）では、紐付けＮｏ値Ｓ₁～Ｓ₉に対して多重化情報Ｎｏ値Ｂ₁～Ｂ₈が対応付けられている。紐付けＮｏ値Ｓ₂及びＳ₆は双方ともに、多重化情報Ｎｏ値Ｂ₂と対応している。オブジェクトＮｏ値Ｉ₁～Ｉ₅も同様に、紐付けＮｏ値や多重化情報Ｎｏ値と１対１対応していない。本実施形態では、オブジェクトの数、オブジェクトのサイズ、及びオブジェクトの位置を紐付け情報を選択するための条件として使用する。なお、オブジェクトの数、オブジェクトのサイズおよびオブジェクトの位置は、オブジェクトの種類以外のオブジェクトに関わる情報と呼ぶこともある。

【0099】

紐付けＮｏ値Ｓ₁及びＳ₄はそれぞれ、同じオブジェクトＮｏ値Ｉ₃と対応しており、あるオブジェクトに対する紐付けＮｏ値を一意に求めるために、画像内のオブジェクト領域の位置に基づいて紐付けＮｏ値を区別する。本例では図１３（ｃ）に示すように、オブジェクトの位置について、所定の閾値Ｙ＿ＴＨを設定し、画像内のオブジェクトのＹ座標がこの閾値以上の場合は紐付けＮｏ値Ｓ₁であるとして、そうでない場合は紐付けＮｏ値Ｓ₄であるとした。尚、原点が画像左上であると仮定している。このような実施形態が有効なユースケースとして、大判ポスターが挙げられる。印刷物が大きい大判ポスターの場合、同じオブジェクトであっても読み取り側のユーザに依って、スマートフォン等の端末をかざす位置が異なる。仮に、大人は高い位置のオブジェクトに端末をかざす一方、子供は低い位置のオブジェクトに端末をかざすことを想定すれば、オブジェクトに埋め込む多重化情報は大人用と子供用とで分けることが有効である。同じ文字情報による多重化情報でも、大人用は漢字と平仮名である一方、子供用は平仮名だけ、といった使い分けが可能である。図１３（ｃ）の紐付けＮｏ値Ｓ₁及びＳ₄を、大人用と子供用とで使い分けることを想定する場合、紐付けＮｏ値Ｓ₄は大人用、紐付けＮｏ値Ｓ₁は子供用になる。

【0100】

紐付けＮｏ値Ｓ₂及びＳ₉はそれぞれ、同じオブジェクトＮｏ値Ｉ₁と対応しており、あるオブジェクトに対する紐付けＮｏ値を一意に求めるために、画像内のオブジェクト領域のサイズ（オブジェクトサイズとする）に基づいて紐付けＮｏ値を区別する。本例では図１３（ｃ）に示すように、オブジェクトサイズについて、所定の閾値ＳＩＺＥ＿ＴＨを設定し、画像におけるオブジェクトサイズがこの閾値以上の場合は紐付けＮｏ値Ｓ₂であるとして、そうでない場合は紐付けＮｏ値Ｓ₉であるとしている。このような実施形態が有効なユースケースとして、同じオブジェクトに対する詳細な多重化情報と簡易な多重化情報との使い分けが挙げられる。具体的に説明すると、冊子のページ中で同じオブジェクトが大きく掲載されているか小さく掲載されているかに応じて、そのオブジェクトがページ中にメインで掲載されているか否かが分かる。大きく掲載されている場合は、詳細な多重化情報を選択する一方で、小さく掲載されている場合は、簡易な多重化情報を選択する。簡易な多重化情報であれば埋め込みデータ量が小さいことから、画像中の小さな領域に埋め込むことができる。ページ中にメインで掲載されていない場合は簡易な多重化情報を選択すれば、メインで掲載されるオブジェクトに紐付く多重化情報と重畳して埋め込んでしまうことを極力避けることができる。

【0101】

紐付けＮｏ値Ｓ₇及びＳ₈はそれぞれ、同じオブジェクトＮｏ値Ｉ₅と対応しており、あるオブジェクトに対する紐付けＮｏ値を一意に求めるために、画像内のオブジェクト数に基づいて紐付けＮｏ値を区別する。本例では図１３（ｃ）に示すように、オブジェクト数について、所定の閾値ＮＵＭ＿ＴＨを設定し、画像内のオブジェクト数がこの閾値以上の場合は紐付けＮｏ値Ｓ₇であるとして、そうでない場合は紐付けＮｏ値Ｓ₈であるとしている。このような実施形態が有効なユースケースとして、群情報用の多重化情報と個情報用の多重化情報との使い分けが挙げられる。例えばオブジェクトを認識した結果、複数の服が近接で認識された場合は、その服のブランドの紹介といった群情報を多重化情報として埋め込む。一方で、１枚の服が認識された場合は、その服の製品名や値段といった個情報を多重化情報として埋め込む。

【0102】

紐付けＮｏ値Ｓ₅のように、オブジェクトＮｏ値がブランクの紐付け情報が用意されても良い。この場合、オブジェクトの種類に依らず、任意のオブジェクトのオブジェクトサイズが所定の条件を満たす場合（Ｓｉｚｅ≧ＳＩＺＥ＿ＴＨ）に、多重化情報Ｂ₅が選択される。

【0103】

なお、図１３（ｃ）を使用する場合、１つのオブジェクトが複数の紐付け情報を選択するための条件に一致する可能性もある。例えば、画像内にオブジェクトＮｏ「Ｉ₁」に相当し、かつ、サイズがＴＨ以上のオブジェクトがあったとする。このオブジェクトは、紐付けＮｏ「Ｓ₂」と「Ｓ₅」に該当することになる。このようなケースにおいて複数の紐付け条件から多重化情報を選択するために、評価処理のステップを設けることが有効である。評価手法としては、上記のような紐付け情報を選択するための条件に基づいて選択的に決定する手法の他に、重み付け総和を算出して関連度合いを評価する手法がある。オブジェクトＮｏ、オブジェクト数、オブジェクトサイズ、オブジェクト位置の重みをそれぞれα₁、α₂、α₃、α₄と設定する。式（５）に示すように、それぞれ条件に合致していた場合は、重みを累積加算して評価値を算出する。最終的な評価値が最も高い紐付けＮｏ値を選択し、その時の多重化情報Ｎｏ値を出力する。

【0104】

【数5】

【0105】

Ｓ_Lは紐付けＮｏの各値を示している。Ｔは紐付けＮｏに対して与えられているオブジェクトＮｏ、オブジェクト数、オブジェクトサイズ、オブジェクト位置の条件に対して合致していれば１、合致していなければ－１を表す変数である。紐付けＮｏに対して与えられている条件について図１３（ｃ）中の「－」のようにブランクである場合は、Ｔ＝０であるとする。ＳＵＭの値が大きいものに紐付く多重化情報Ｎｏの値を、最終的な選択結果とする。

【0106】

例えば紐付けＮｏ値Ｓ₂とＳ₅とは両方とも、同一のオブジェクトサイズ条件を持つが、紐付けＮｏ値Ｓ₂はオブジェクトＮｏ値Ｉ₁を指定する一方で、紐付けＮｏ値Ｓ₅は指定がない。指定がない場合はＴ＝０であるため、その分評価値は下がる。仮に全ての重みが同値で、認識したオブジェクトのオブジェクトＮｏ値がＩ₁であり、オブジェクトサイズがＳｉｚｅ≧ＳＩＺＥ＿ＴＨを満たしたとすれば、評価結果として対象のオブジェクトに対して、多重化情報Ｎｏ値Ｂ₂が選択される。しかし、認識したオブジェクトのオブジェクトＮｏ値がＩ₁でなかった場合は、対象のオブジェクトに対して、多重化情報Ｎｏ値Ｂ₅が選択される。

【0107】

ＳＵＭに対して閾値を設定することも可能である。その場合、全ての紐付けＮｏ値に対応するＳＵＭが閾値を超えられなかった場合は、「非選択」を示す値を選択結果として出力する。「非選択」とされた対象オブジェクトについてのレイアウト処理は、第１の実施形態と同様である。

【0108】

図１４は、本実施形態における情報選択処理のフローチャートである。尚、図１４の各ステップの内、第１の実施形態と同様のステップについては、説明を割愛する（図３参照）。

【0109】

Ｓ１４０１において、多重化情報選択部１０３は、注目する紐付けＮｏ値に対応する評価値ＳＵＭを算出する。

【0110】

Ｓ１４０２において、多重化情報選択部１０３は、全ての紐付け情報Ｎｏ値に対する評価値ＳＵＭの中で最も大きい値を、ＳＵＭ＿ＭＡＸと設定する。そして、多重化情報選択部１０３は、ＳＵＭ＿ＭＡＸが所定の閾値ＳＵＭ＿ＴＨ以上か判定する。本ステップの判定結果が真の場合、Ｓ１４０３に進む一方、該判定結果が偽の場合、Ｓ３０６に進む。

【0111】

Ｓ１４０３において、多重化情報選択部１０３は、ＳＵＭ＿ＭＡＸとなる紐付けＮｏ値に対応する多重化情報Ｎｏ値を出力し、画像処理装置のＣＰＵは、該出力された値を取得する。

【0112】

＜本実施形態の効果＞
前述したように本実施形態では、多様なユースケースに関わるオブジェクト情報や、多重化情報を紐付けるために、複数の評価項目と評価ステップとを用いて多重化情報を選択する。これにより、多様なユースケースに対して多重化情報が自動で選択されることになり、ユーザの負荷が軽減される。

【0113】

［第５の実施形態］
前述した第１の実施形態、第４の実施形態では、紐付け情報としてオブジェクトＮｏ等を用いていた。通常、紐付け情報は手動で設定するが、自動で設定することも可能である。

【0114】

例えば、オブジェクトＤＢ１０２に記憶する教師データを動画から取得することを想定する。動画内のあるフレームを抜き出して、該抜き出したフレームに対してオブジェクト認識を実施することが可能である。一方で、動画には音声が含まれているため、フレームの前後数秒間の音声を多重化情報として設定する事が可能である。フレームに写る人物をオブジェクト認識した場合、その「人物」の情報と、そのときの「音声」の情報とを、互いに紐付けることが可能である。このような、画像に写るオブジェクトの種類を示す情報と、多重化対象の情報とが一揃いで含まれるような情報に対しては、紐付け情報を自動的に生成することができる。なお、多重化可能な情報（本実施形態では音声）は、付加情報に対応する情報と呼ぶこともある。

【0115】

別の例として、ＳＮＳ情報がある。ＳＮＳでは一般的に、写真と、コメントとが同時に記載されている。コメントを多重化情報として埋め込みたい場合は、写真に写る「人物」の情報と、そのときの「コメント」の内容とを、互いに紐付けることが可能である。

【0116】

＜本実施形態の効果＞
本実施形態によれば、紐付け情報を自動で設定することが可能であるため、手動で設定する場合と比べて、ユーザの負荷を減らすことができる。

【0117】

［その他の実施形態］
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、本発明は、前述の実施形態の要素を適宜組み合わせてもよい。

【符号の説明】

【0118】

１０１ オブジェクト認識部
１０７ 多重化情報レイアウト部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】