特許 5784237 カメラを搭載したコンピューティングデバイスを用いた偽造印刷物の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5784237

(24)【登録日】2015年7月31日

(45)【発行日】2015年9月24日

(54)【発明の名称】カメラを搭載したコンピューティングデバイスを用いた偽造印刷物の検出

(51)【国際特許分類】

   G06T 7/00 20060101AFI20150907BHJP

【ＦＩ】

   G06T7/00 100D

【請求項の数】20

【全頁数】17

(21)【出願番号】特願2014-534904(P2014-534904)

(86)(22)【出願日】2011年10月12日

(65)【公表番号】特表2014-531077(P2014-531077A)

(43)【公表日】2014年11月20日

(86)【国際出願番号】CN2011080674

(87)【国際公開番号】WO2013053111

(87)【国際公開日】20130418

【審査請求日】2014年6月9日

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ウィリアム・ワイ・ホワン

(72)【発明者】

【氏名】ミンシ・ファン

(72)【発明者】

【氏名】シャオイー・ジュ

(72)【発明者】

【氏名】ルオウェイ・ワン

(72)【発明者】

【氏名】ファン・リン

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特許第４７７５７２７（ＪＰ，Ｂ２）

【文献】 特開２００９−１７０９７０（ＪＰ，Ａ）

【文献】 国際公開第２００７／００４５２２（ＷＯ，Ａ１）

【文献】 特開平１１−３１６８３９（ＪＰ，Ａ）

【文献】 特開２００５−１５７９６４（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１２４０８４（ＷＯ，Ａ１）

【文献】 内山 英昭，交差点マーク付き地図と交差点データベースを用いた地理データマッチングに基づくＧＩＳデータのＡＲ提示システム，映像情報メディア学会誌 Vol.64, No.4，日本，（社）映像情報メディア学会，２０１０年 ４月 １日，Vol.64, No.4，P.563-569

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０７Ｄ ７／００ − ７／２０

(57)【特許請求の範囲】

【請求項1】

印刷物の真正性を検査するための方法であって、
前記印刷物の1ページの少なくとも一部の画像を、モバイルデバイスのカメラで撮影するステップと、
前記画像の参照点を決定するステップと、
前記参照点における第1の色バランス比を計算するステップと、
前記第1の色バランス比に少なくとも部分的に基づいて、前記印刷物の真正性を決定するステップと、を含む方法。

【請求項2】

前記カメラの収差を補償するために、前記画像の色バランスをとるステップをさらに含む、請求項1に記載の方法。

【請求項3】

前記画像の前記参照点を決定するステップは、
コンピュータ視覚認識を用いて、前記ページ上の所定の目標画像を検出するステップと、
前記所定の目標画像に対する前記参照点を識別するステップと、を含む、請求項1に記載の方法。

【請求項4】

所定の目標画像を検出するステップは、拡張現実(AR)アルゴリズムを適用するステップを含む、請求項3に記載の方法。

【請求項5】

前記ページの少なくとも一部の撮影画像の少なくとも1つのセクションを、前記モバイルデバイスのディスプレイに表示するステップをさらに含み、前記印刷物が真正であると決定された場合には、前記ARアルゴリズムは前記目標画像と関連する付加的な内容を含むように前記表示された画像を拡張し、前記印刷物が真正でないと決定された場合には、前記ARアルゴリズムは前記付加的な内容を含まない、請求項4に記載の方法。

【請求項6】

前記印刷物は教材を含み、前記付加的な内容は、ゲーム、前記目標画像に表される対象物に関する情報、対話型プロンプト、試験、クイズ、または評価を含む、請求項5に記載の方法。

【請求項7】

前記ページは、人工物、自然物、色特性、カラー縁取り、もしくはカラーロゴの写真またはグラフィクスを含む、請求項1に記載の方法。

【請求項8】

前記第1の色バランス比は、赤と緑との比、赤と青との比、または緑と青との比を含む、請求項1に記載の方法。

【請求項9】

前記印刷物の前記真正性に基づいて、アプリケーションを切り換えるステップをさらに含む、請求項1に記載の方法。

【請求項10】

前記アプリケーションを切り換えるステップは、前記印刷物が真正である場合には、ユーザに対して付加的な内容を提供することを可能にするステップを含む、請求項9に記載の方法。

【請求項11】

前記画像の1つの点における第2の色バランス比を計算するステップをさらに含み、
前記印刷物の前記真正性を決定するステップは、前記第1の色バランス比および前記第2の色バランス比に少なくとも部分的に基づいて、前記印刷物の前記真正性決定するステップを含む、請求項1に記載の方法。

【請求項12】

前記第2の色バランス比が計算される前記点は、前記参照点と同一である、請求項11に記載の方法。

【請求項13】

前記第2の色バランス比が計算される前記点は、前記参照点から分離されている、請求項11に記載の方法。

【請求項14】

前記第1の色バランス比に少なくとも部分的に基づいて前記印刷物の真正性を決定するステップは、前記第1の色バランス比が期待値のしきい値内にあるかどうかを決定するステップを含む、請求項1に記載の方法。

【請求項15】

前記しきい値は、所定の比の百分率、または前記所定の比からの所定の偏差である、請求項14に記載の方法。

【請求項16】

前記しきい値および期待値は、範囲によって表される、請求項14に記載の方法。

【請求項17】

印刷物の真正性を検査するためのモバイルデバイスであって、
前記印刷物の1ページの少なくとも一部の画像を撮影するように構成されるカメラと、
前記カメラから前記画像を受け取るように結合されるプロセッサと、を備え、
前記プロセッサは、
前記画像の参照点を決定するステップと、
前記参照点における第1の色バランス比を計算するステップと、
前記第1の色バランス比に少なくとも部分的に基づいて、前記印刷物の真正性を決定するステップと、を可能にするように構成される、モバイルデバイス。

【請求項18】

印刷物の真正性を検査するためのモバイルデバイスであって、
前記印刷物の1ページの少なくとも一部の画像を撮影するための手段と、
前記画像の参照点を決定するための手段と、
前記参照点における第1の色バランス比を計算するための手段と、
前記第1の色バランス比に少なくとも部分的に基づいて、前記印刷物の真正性を決定するための手段と、を備えるモバイルデバイス。

【請求項19】

プロセッサおよびメモリを備えるデバイスであって、前記メモリは、デバイスが印刷物の真正性を検査するためのソフトウェア命令を含み、前記ソフトウェア命令は、
モバイルデバイスのカメラで撮影された、前記印刷物の1ページの少なくとも一部の画像を取得し、
前記画像の参照点を決定し、
前記参照点における第1の色バランス比を計算し、
前記第1の色バランス比に少なくとも部分的に基づいて、前記印刷物の真正性を決定するためのコードを含むデバイス。

【請求項20】

印刷物の真正性を検査するための記憶されたプログラムコードを含む非一時的なコンピュータ可読記憶媒体であって、前記プログラムコードは、
モバイルデバイスのカメラで撮影された、前記印刷物の1ページの少なくとも一部の画像を取得し、
前記画像の参照点を決定し、
前記参照点における第1の色バランス比を計算し、
前記第1の色バランス比に少なくとも部分的に基づいて、前記印刷物の真正性を決定するためのコードを含むコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、2011年10月12日に出願された国際特許出願PCT/CN2011/080674号の国内段階である。上記出願は、全体として参照により本明細書に組み込まれる。

【0002】

本開示は、一般的に、偽造印刷物を検出するためのシステム、装置および方法に関する。より詳しくは、スマートフォンまたはモバイルデバイスなどのカメラを搭載したコンピューティングデバイスを用いて、真正な印刷物と偽造された印刷物とを区別することに関する。

【背景技術】

【0003】

出版者は、教育および娯楽のために、消費者にオリジナルの印刷物を提供する。出版者およびその他の者は、印刷物のユーザに、付加的な内容を提供することができる。この印刷されたおよび/または付加的な内容は、しばしば多くの費用をかけて作成される。

【0004】

いくつかのシナリオにおいて、偽造者は、印刷物の真正なコピーの無許可のコピーをすることができる。偽造者は、しばしば、たとえば低コストのカラースキャナ、カラープリンタ、およびカラーコピー機を用いてオリジナルの印刷物を複製する。これらの状況では、偽造印刷物の消費者は、オリジナルの印刷物を購入せずに付加的な内容にアクセスすることができる。この場合、出版者は付加的な印刷物を販売する報酬を獲得せず、また付加的な内容が同意または補償なしに用いられる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、オリジナルでない無許可の印刷物またはオリジナルの印刷物からの偽造印刷物を決定するための方法が必要である。

【課題を解決するための手段】

【0006】

印刷物の真正性を検査するための装置および方法が開示される。いくつかの態様に従って、たとえば、オリジナルの印刷物と偽造印刷物とを区別するための、印刷物の真正性を検査するための方法が開示される。本方法は、印刷物の1ページの少なくとも一部の画像を、モバイルデバイスのカメラで撮影するステップと、画像の参照点を決定するステップと、参照点における第1の色バランス比を計算するステップと、第1の色バランス比に少なくとも部分的に基づいて、印刷物の真正性を決定するステップと、を含む。本方法は、モバイルデバイスで、または、モバイルデバイスで取り込まれた画像を利用するサーバで実行することができる。あるいは、本方法は、モバイルデバイスとサーバとの組合せを用いて実行することができる。

【0007】

いくつかの態様に従って、たとえば、オリジナルの印刷物と偽造印刷物とを区別するための、印刷物の真正性を検査するためのモバイルデバイスが開示される。モバイルデバイスは、印刷物の1ページの少なくとも一部の画像を撮影するカメラと、カメラから画像を受け取るように結合されるプロセッサおよびメモリと、プロセッサに結合されるディスプレイと、を備え、プロセッサは、画像の参照点を決定するステップと、参照点における第1の色バランス比を計算するステップと、第1の色バランス比に少なくとも部分的に基づいて、印刷物の真正性を決定するステップと、を可能にする。

【0008】

いくつかの態様に従って、たとえば、オリジナルの印刷物と偽造印刷物とを区別するための、印刷物の真正性を検査するためのモバイルデバイスが開示される。モバイルデバイスは、印刷物の1ページの少なくとも一部の画像を撮影するための手段と、画像の参照点を決定するための手段と、参照点における第1の色バランス比を計算するための手段と、第1の色バランス比に少なくとも部分的に基づいて、印刷物の真正性を決定するための手段と、を備える。

【0009】

いくつかの態様に従って、プロセッサおよびメモリを備えるデバイスが開示され、メモリは、たとえば、オリジナルの印刷物と偽造印刷物とを区別するための、印刷物の真正性を検査するためのソフトウェア命令を含む。ソフトウェア命令は、モバイルデバイスのカメラで撮影された、印刷物の1ページの少なくとも一部の画像を取得し、画像の参照点を決定し、参照点における第1の色バランス比を計算し、第1の色バランス比に少なくとも部分的に基づいて、印刷物の真正性を決定するためのコードを含む。本命令は、モバイルデバイスで、または、モバイルデバイスで取り込まれた画像を利用するサーバで実行することができる。あるいは、本命令は、モバイルデバイスとサーバとの組合せを用いて実行することができる。

【0010】

いくつかの態様に従って、たとえば、オリジナルの印刷物と偽造印刷物とを区別するための、印刷物の真正性を検査するための記憶されたプログラムコードを含む固定コンピュータ可読記憶媒体が開示される。プログラムコードは、モバイルデバイスのカメラで撮影された、印刷物の1ページの少なくとも一部の画像を取得し、画像の参照点を決定し、参照点における第1の色バランス比を計算し、第1の色バランス比に少なくとも部分的に基づいて、印刷物の真正性を決定するためのコードを含む。本コードは、モバイルデバイスで、または、モバイルデバイスで取り込まれた画像を利用するサーバで実行することができる。あるいは、本コードは、モバイルデバイスとサーバとの組合せを用いて実行することができる。

【0011】

当業者にとっては、他の態様は以下の「発明を実施するための形態」から直ちに明らかになるものと理解される。それは示され、実例として様々な態様について記載される。図面および「発明を実施するための形態」は、事実上例示的なものとしてみなされるべきであって、限定的なものとみなされるべきではない。

【0012】

例として挙げるに過ぎないが図面を参照して、本発明の実施形態について説明する。

【図面の簡単な説明】

【0013】

【図1】印刷物の画像を撮影するカメラを搭載したコンピューティングデバイスを示す。

【図2】本発明の実施形態による、モバイルデバイス100のブロック図を示す。

【図3】許可された複製からの無許可のコピーの作成を示す。

【図4】本発明の実施形態による、真正性を検出し、付加的な内容を提供または禁止するための方法を示す。

【図5】本発明の実施形態による、真正性を検出し、付加的な内容を提供または禁止するための方法を示す。

【図6】本発明の実施形態による、印刷物の1ページの少なくとも一部を含む撮影された画像を示す。

【図7】本発明の実施形態による、可能な比の範囲を示す。

【図8】本発明の実施形態による、オリジナルの印刷物と偽造印刷物とを区別するためのモバイルデバイスにおける方法を示す。

【発明を実施するための形態】

【0014】

添付の図面に関連して以下に述べる発明を実施するための形態は、本開示の様々な態様の説明を意図するものであり、本開示が実施され得る唯一の態様を表すことを意図するものではない。この開示に記載される各態様は、単に本開示の一例または図示に過ぎないものとして提供され、他の態様よりも好適なまたは有利なものと必ずしも解釈されなければならないというわけではない。発明を実施するための形態は、本開示の完全な理解を提供するために、具体的な詳細を含む。しかし、当業者にとって明らかであるように、本開示はこれらの具体的な詳細なしで実現することができる。いくつかの場合には、本開示の概念が不明瞭になることを回避するために、周知の構造およびデバイスをブロック図形式で示す。頭字語および他の記述用語は、単に簡便さおよび明快さのために用いられるに過ぎず、本開示の範囲を限定することを意図するものではない。

【0015】

本明細書で用いられるように、カメラを搭載したコンピューティングデバイスは、モバイルデバイス、移動局(MS)、もしくはユーザ機器(UE)を含むことができ、および/または、時にはこれらのように呼ぶことができる。これらは、たとえばセルラー電話、モバイル電話またはその他ワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、パーソナルインフォメーションマネージャ(PIM)、パーソナル携帯情報機器(PDA)、ラップトップ、または他の好適なモバイルデバイスなどである。いくつかのモバイルデバイスはワイヤレス通信および/またはナビゲーション信号を受信することができるが、他のモバイルデバイスはワイヤレスアクセスを有することができない。また、「カメラを搭載したコンピューティングデバイス」または「モバイルデバイス」という用語は、たとえば短距離ワイヤレス、赤外線、ワイヤライン接続または他の接続などによりパーソナルナビゲーションデバイス(PND)と通信するデバイスを含むことを意図しており、それは衛星信号受信、支援データ受信、および/または位置に関連する処理がデバイスで行われるか、あるいはPNDで行われるかに関わらない。また、「カメラを搭載したコンピューティングデバイス」または「モバイルデバイス」は、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含む、たとえばインターネット、WiFi、または他のネットワークなどを介してサーバと通信可能なすべてのデバイスを含むことを意図しており、それは衛星信号受信、支援データ受信、および/または位置に関連する処理がデバイスで行われるか、サーバで行われるか、あるいはネットワークと関連する別のデバイスで行われるかに関わらない。上記のいかなる実施可能な組合せも、「カメラを搭載したコンピューティングデバイス」または「モバイルデバイス」と考えられる。

【0016】

下記の説明では、オリジナルの許可された印刷物が、たとえば、より低品質のカラースキャナ/プリンタによって、または、より低品質のカラーコピー機によって、いつ複製されたかを検出するための技術について述べる。たとえばスマートフォンまたは他のモバイルデバイスなどのカメラが使用可能なコンピューティングデバイスは、そのカメラおよびプロセッサを用いて、許可された印刷物と偽造された印刷物とを区別し、偽造された印刷物を検出した場合には特徴(たとえば付加的な内容の提供)を無効にすることができる。典型的には、偽造者によって用いられる低コストの印刷処理によって、偽造印刷物は色の歪みを含む。偽造コピーをオリジナルの印刷物から区別するために、この色の歪みを用いることができる。また偽造印刷物は、インク強度がオリジナルの印刷物と異なる可能性がある。しかし、照明条件の広範な変動により、輝度またはインクの強度を含む高速の試験では確定できないおそれがある。一方、色の比は、一般に強度または輝度に無関係であり、したがって、様々な部屋照明条件においてより有用である。また、典型的なスキャン/印刷処理を用いて複製された偽造印刷物は、微細なまたは複雑な印刷パターンに合致させるのが困難であり得る。そして、それは複製処理の劣化をこうむる。本明細書に記載される実施形態は、偽造印刷物とオリジナルの印刷物とを区別するために、これらの欠陥に資本を投下する。

【0017】

オリジナルの印刷物の出版者は、高価な高品質の印刷機などを使用して、たとえば本、パンフレット、小冊子およびポスターなど数百、数千またはそれ以上の文書のコピーを作成する。

【0018】

出版者およびその他の者は、印刷物のユーザに、付加的な内容を提供することができる。例として、出版者は、診断テスト、章クイズ、正誤表、追加の議論、より詳細な情報、背景情報および他の付加情報を提供することができる。付加情報は、テキストおよびグラフィクス、オーディオファイル、ビデオファイルとして、さらに拡張現実(AR)アプリケーションによっても提供することができる。たとえば、消費者は、印刷物の特定のページに、スマートフォンなどのモバイルデバイスのカメラを向けることができる。モバイルデバイスは、ページ上の特定の目標画像を見いだすために、コンピュータ視覚(CV)認識を用いることができる。その特定の目標画像に基づいて、モバイルデバイスは消費者の消費のために付加的な内容を提供することができる。消費者が印刷物を最初に購入することによって、出版者はすでに財政的に利益を得ているので、出版者は無料でまたはわずかな金額で付加的な内容を消費者に提供することができる。

【0019】

出版者は、印刷機において、スケーリング、方向づけ、線粒状度、インク密度、色強度および色変化を厳しく制御する。肉眼によって、同じ印刷機による任意の2つのコピーの差異を検出することは困難であるか、または不可能であり得る。よりローエンドのカラースキャナ、プリンタおよびコピー機を用いて作成される剽窃された偽造の無許可コピーでは、同じ制御を行うことができない。偽造複製処理の間、スケーリング、方向づけ、線粒状度、色強度および色バランスは、しばしば無視されるか、または多くの状況では厳しく制御することができない。このように、色関係および線粒状度の変化は、たとえば、本明細書に記載された方法によって検出可能であり得る。したがって、本発明の実施形態は、偽造印刷物には見いだされるがオリジナルの印刷物には見いだされないアーチファクト、またはその逆のアーチファクトを区別することができる。

【0020】

図1は、印刷物200の画像を撮影するカメラを搭載したコンピューティングデバイスを示す。カメラを搭載したコンピューティングデバイスは、モバイルデバイス100とも呼ばれ、カメラ110(図示せず)およびディスプレイ120を含む。カメラ110は、見通し線160に沿って画像を取り込む。教科書などの印刷物200は、着色領域220を有するページ210を含むことができる。着色領域220は、カラー画像、カラーグラフィクス、カラー文字、カラーアイコン、着色したアイコンまたは他のいかなる種類のカラー印刷であってもよく、いかなる数のサイズおよび/または形状で印刷されてもよい。

【0021】

着色した領域220は、所定の目標画像230を含むことができる。モバイルデバイス100は、ページ210上の所定の目標画像230を見いだす。所定の目標画像230は、画像またはグラフィクスであってもよく、たとえば、(1)たとえば椅子または車などの人工物、(2)たとえば蝶の羽または山脈などの自然物、または(3)カラーロゴまたはカラー縁取りの画像またはグラフィクスであってもよい。場合によっては、拡張現実(AR)アプリケーションは、所定の目標画像230の位置を決め、識別し、および/または、認識する。そして、それは付加的な内容の表現を起動させることができる。残念なことに、現在のデバイスは、出版物200が真正であることを検証せずに付加的な内容を提供することができる。したがって、印刷物が未許可のまたは違法コピーを含む場合であっても、付加的な内容を見ることができるか、または利用することができる。本発明の実施形態は、付加的な内容の提示を許可する前に、出版物200が真正であるか真正でないかを決定する。

【0022】

図2は、本発明の実施形態による、モバイルデバイス100のブロック図を示す。モバイルデバイス100は、カメラ110、ディスプレイ120、プロセッサ130およびメモリ140を含む。プロセッサ130は、本明細書に記載された処理および方法を実行するための手段として動作することができる。

【0023】

プロセッサ130は、カメラ110からカラー画像170を受け取るように結合される。画像170は、ビットマップ(BMP)形式、画像交換形式(GIF)、共同写真エキスパートグループ2000形式(JPEG)、タグ付き画像ファイル形式(TIFF)、YCbGr形式、YUV形式または等価なディジタルカラー画像形式であってもよい。プロセッサ130は、画像170の色バランシングを実行することができる。色バランシングは、カメラ110およびそのレンズによって導入される特定の効果または歪みを逆転させる。

【0024】

プロセッサ130は、メモリ140とも結合される。メモリ140は、本明細書に記載された処理および方法を実行するための、プロセッサで実行可能な命令を含むことができる。メモリ140は、着色領域220の様々な参照点についての有効な色バランス比の範囲を示す値を含むこともできる。色バランス比および範囲については、後でさらに詳細に述べる。

【0025】

また、プロセッサ130は、モバイルデバイス100のディスプレイ120に結合されてもよい。ディスプレイ120に替えて、または、ディスプレイ120に加えて、モバイルデバイス100は、スピーカーを含んでもよい。付加的な内容は、画像170が許可された印刷物のページ210の少なくとも一部を含むことを決定するプロセッサ130に基づいて、ディスプレイ120および/またはスピーカーを介して提供することができる。

【0026】

図3は、許可された複製からの無許可コピーの作成を示す。印刷業者および出版者は、数百、数千またはそれ以上の許可された複製(たとえばオリジナルの印刷物310)を作成するために用いる1つまたは複数の極めて高品質のマスター(たとえばマスター300など)をしばしば有する。多くの状況では、マスター300は、印刷機400または非常に高品質のカラーコピー機に適用される。このようにして、出版者は、許可された複製(個々にオリジナルの印刷物310と呼ばれる)を作成し、印刷物を所望する消費者およびユーザに配布する。この時点で、偽造者は許可された複製を取得し、1つまたは複数の無許可の複製(偽造印刷物320とも呼ばれる)を作成するために、許可された複製をコピーする(たとえば、カラーコピー機410Aおよび/またはカラースキャナおよびカラープリンタ410Bを用いて)ことを試みることができる。上述したように、しばしば、偽造された複製は、許可された複製に見いだされるより高い品質を欠いている。

【0027】

図4および図5は、本発明の実施形態による、真正性を検出し、付加的な内容を提供するか、または禁止するための方法を示す。図4では、オリジナルの印刷物310の最終用途を示す。モバイルデバイス100のカメラ110は、オリジナルの印刷物310のカラーページ210の少なくとも一部を含む画像170を取り込む。カラーページ210は、カラー画像、カラー図面、カラーペインティング、カラー縁取り、カラーロゴなどを含むことができる。色を有する単一の画素または画素のグループ化を、色バランス比を計算するために用いることができる。プロセッサ130は、画像170の特定のピクセル位置(図6に関して参照点240として後述する)を決定し、画像170のこの位置の2つの色成分を決定し、次いで、この位置についての色バランス比を計算する。たとえば、プロセッサ130は、画像170の1つのピクセル位置における、赤の量および青の量を決定することができる。この位置は、たとえば、見通し線160の角度および/またはカメラ110によって取り込まれるページ210の部分によって、画像170に関して変化してもよいが、しかし、その位置は、ページ210、着色領域220、および/または目標画像230に関しては固定されてもよい。

【0028】

次いで、プロセッサ130は、色バランス比を見いだすために、これらの2つの色の量の比を計算する。このようにして、プロセッサ130は、第1の色成分または色相および第2の色成分または色相の比を算出することができる。色バランス比が期待値または所定の比に近い場合、たとえば所定のしきい値内にある場合には、印刷物は真正であると決定される。あるいは、色バランス比は、いくつかの分離した参照点の各々について計算することができる。いくつかの実施形態では、すべての比は、それぞれの期待値のしきい値内でなければならない。他の実施形態では、大多数の比率は、それぞれの期待値のしきい値内でなければならない。さらに他の実施形態では、所定の数または所定のパーセンテージの比は、それぞれの期待値のしきい値内でなければならない。しきい値は参照点ごとに類似であってもよいし、または、しきい値は参照点ごとに変化してもよい。いくつかの実施形態では、複数の色比率は、参照点ごとに計算される。たとえば、赤対青の比率、赤対緑の比率および青対緑の比率(またはその任意のサブセット)は、複数の参照点の各々について計算することができる。印刷物が真正であるとみなされる場合には、付加的な内容180をモバイルデバイス100のユーザに提供することができる。

【0029】

実際には、プロセッサ130は、この画像170を受け取り、カメラ110のレンズ収差を補償するために、画像の色バランシングを実行することができる。次いで、プロセッサ130は、1つまたは複数の所定のピクセル位置(参照点と呼ばれる)を識別し、識別されたピクセル位置ごとに1つまたは複数の色バランス比を計算する。たとえば、プロセッサ130は、参照点のページ210上の位置に基づいて、画像170の特定ピクセルまたはピクセルのグループ化を識別することができる。プロセッサ130は、第1の色がどのくらい存在するか(たとえば、赤がどのくらいか)を決定し、第2の色がどのくらい存在するか(たとえば、青がどのくらいか)を決定する。これらの色値は、画像形式に基づいて、画像170から直接的または間接的に抽出可能であってもよい。次いで、プロセッサ130は、これらの色の比率を計算し、これによって参照点のその特定のピクセルまたはピクセルのグループ化の色バランス比を決定する。

【0030】

図5に、無許可の複製(偽造印刷物320)を用いる処理を示す。この処理は、プロセッサ130が有効な範囲外にある色バランス比を計算することを除いて、図4について説明した処理と同一である。このようにして、プロセッサ130は、印刷物200は許可されたものではなく、偽造印刷物320であると決定する。この場合には、プロセッサ130は、付加的な内容がモバイルデバイス100のユーザに提供されることを禁止またはブロックすることができる。

【0031】

図6は、本発明の実施形態による、印刷物200のページ210の少なくとも一部を含む撮影された画像170を示す。例示するページは上から見た図として示しているが、印刷物200のカメラ110からの見え方は変化することができる。ページ210は着色領域220を有し、着色領域220は所定の目標画像230を含むことができる。着色領域220は、目標画像230より多くのものを含む画像であってもよく、または目標画像230それ自体であってもよい。目標画像230は、人工物、自然の特徴、カラーアイコン、カラーシンボル、カラー縁取りまたは他の着色した特徴であってもよい。いくつかの実施形態では、目標画像230は、コンピュータ視覚(CV)によって、たとえば拡張現実(AR)アプリケーションまたはプロセッサで用いられるコンピュータ視覚画像検出アルゴリズムなどによって検出される。一旦、着色領域220または所定の目標画像230が見いだされると、参照点または参照点240のセットを識別することができる。参照点240は、着色領域220内のそれらの配置に関して、または、ページ210の目標画像230に関して、前もって決定される。しかし、いくつかの実施形態では、たとえば、画像170に取り込まれ得る視野またはズームレベルが変化することを考慮に入れるために、参照点240の配置を、画像170の参照点240の配置に関して前もって決定することができない。しかし、参照点240の配置を、画像170内の他の位置と関連させて予め決定することができる。たとえば、目標画像230が画像170内に取り込まれた場合には、目標画像230と関連させて予め決定することができる。各参照点240は、単一のピクセルまたは一組の隣接するピクセルであってもよい。プロセッサ130は色を検出して、参照点240ごとに色バランス比を計算する。たとえば、プロセッサ130が参照点240は10単位の赤および20単位の緑を含むと決定した場合には、プロセッサ130は10:20または0.5の色バランス比を算出する。算出された色バランス比が所定の比に等しいかもしくはそれに近いか、または期待される色バランス比に等しいかもしくはそれに近い場合には(図7の期待値510参照)、印刷物200は真正なオリジナルの印刷物310であると決定することができる。印刷物200が真正であると決定された場合には、ディスプレイ120またはユーザと相互作用するために構成される他の素子は、ページ210、着色領域220、および/または画像230と関連した内容を提供することができる。あるいは、色バランス比が期待値510に近くない場合には、印刷物200を無許可の偽造印刷物320とみなすことができる。

【0032】

図7は、本発明の実施形態による、可能な比の範囲を示す。可能な比の中央に、期待値510がある。期待値510は、期待される色バランス比である所定の比を含むことができる。期待値510は、印刷物200のマスター300から、または、許可された複製(オリジナルの印刷物310)から決定することができる。色バランス比がオリジナルの印刷物310の複数のコピーについて算出された場合には、たとえば、印刷および/または画像取り込み処理の違いに起因して、範囲520内のいくらかの変化が期待される。しかし、偽造印刷物320間の変化の方がより大きいと期待される。すなわち、特定の色バランス算出が期待値510からしきい値530内に入る場合には、参照点240は許可されたコピー(たとえば、画像Aについての比550の配置参照)に属するとみなされる。特定の色バランス算出が期待値510からしきい値530外に外れる場合には、参照点240は無許可のコピー(たとえば、画像Bについての比560の配置参照)に属するとみなされる。

【0033】

無許可の複製については、単一の参照点240が偶然しきい値530内に入ることが起こり得る。しかし、複数の分離した参照点240が考慮される場合には、いくつかの比率は有効な範囲内に入り、他の比率は有効な範囲外になり得る。したがって、複数の参照点240からの比率計算を用いることで、無許可の複製を検出する可能性がより高くなる。すなわち、複数の分離した参照点について1つの比率を計算する場合には、偽造を検出する可能性がより高くなる。同様に、2つの色バランス比が特定の参照点240について決定される場合には、参照点240について1つの比率だけをチェックするよりも、より高い精度が得られる。たとえば、赤対青の色比率を1つの参照点について検出することができ、青対緑の比率を同じ参照点について決定することができる。

【0034】

期待値に関して、各期待値510はメモリ140に記憶することができる。期待値510は範囲520の形式であってもよいし、または中心値およびしきい値530の形式であってもよい。各参照点240は、複数の期待値(たとえば、1つ、2つまたは3つの期待値510)を有することができる。たとえば、参照点240は、許可された複製に対して期待される、赤と青との比を表す第1の期待値および赤と緑との比を表す第2の期待値を有することができる。同様に、参照点は、青と緑との比を表す第3の期待値を有することができる。

【0035】

参照点240の期待値510は、この認証処理が印刷物200の真正性を決定するために用いられるずっと前に、それ自体で、または他の期待値とともに、ファイルまたはアプリケーション(たとえば、付加的な内容を含むアプリケーション)にダウンロードすることができる。あるいは、期待値510は、認証処理の間、必要に応じて動的に取得することができる。たとえば、着色領域220および/もしくは画像230を識別または認識するARあるいはCVアプリケーションに応答して、期待値510を取得することができる。期待値510は、ワイヤレスで、または、ワイヤによって、遠隔サーバ上のデータベースから取得することができる。いくつかの実施形態では、特定の着色領域の特定の参照点について、常に同じ期待値510および/またはしきい値を用いることができる。たとえば、モバイルデバイス100によって実行される色バランシングによって、このような期待値および/またはしきい値を使用可能にすることができる。他の実施形態では、参照点の期待値および/またはしきい値は、たとえば画像170を取り込むために用いるカメラまたはモバイルデバイスのタイプに応じて、変化してもよい。

【0036】

比率計算は、モバイルデバイス100で実行することができる。あるいは、画像170の参照点240で見いだされる画像170またはピクセルまたは色値は、遠隔サーバが印刷物200の真正性を決定することができるように、遠隔サーバに送信することができる。その場合には、遠隔サーバが色バランス比を計算し、その色バランス比から印刷物200が真正かどうか決定することができる。たとえば、モバイルデバイス100は画像170または画像170の一部を遠隔サーバに送信し、その後、その遠隔サーバから印刷物200の妥当性の表示を受け取る。遠隔サーバは、画像170を受信し、画像170の参照点240を見いだし、色バランス比を計算し、次いで計算された色バランス比が期待値のしきい値内にあるかどうかを決定することができる。

【0037】

理論的方法または経験的方法のいずれも、期待値510を決定するために用いることができる。理論的な方法を用いて、一組のCMYK値またはPMS番号を期待値510に変換することができる。CMYKとは、4つのインクを意味する。すなわち、(1)シアン、(2)マジェンタ、(3)イエロー、そして(4)キーブラックである。CMYK色モデルは、カラー印刷で用いられる減算色モデルであり、印刷処理を記述するためにも用いられる。また、PMSすなわちパントーン対応システムも、カラー印刷で用いられる独占所有権のある色空間である。出版者は、参照点240についての一組のCMYK値またはパントーン値として色を提供することができる。この色は、モバイルデバイス100によって用いられ、あるいは、カメラ110もしくはプロセッサ130により用いられる一組のRGB値または他のカラーシステムに変換することができる。期待値510は、この変換された色値に基づいて計算することができる。

【0038】

あるいは、所定の比率510を経験的に決定することができる。すなわち、カメラは、マスター300またはオリジナルの印刷物310の特定のページ210の参照点240の1つもしくは複数の画像を撮影するために用いることができる。画像170内の1つの点を参照点240として選択することができる。次いで、プロセッサは、マスター300またはオリジナルの印刷物310の画像内のその参照点240についての色値を決定することができる。画像は、差異を決定するために、いくつかのサンプルから撮影することができる。その差異は、しきい値530を決定するために用いることができる。

【0039】

値510および値540の異なる値は、異なるタイプのハードウェアのために利用することができる。このような実施形態では、画像170を取り込み、および/または付加的な内容を提供するためにARアプリケーションを実行するために用いられるデバイスまたはカメラのタイプに対応する値510/540の表は、値510および値540の適切な組合せを決定するために用いることができる。このような表または他の情報は、プロセッサ130および/またはメモリ140に格納することができ、あるいは遠隔で、たとえばモバイルデバイス100と通信するサーバに格納することができる。

【0040】

図8は、本発明の実施形態による、オリジナルの印刷物310と偽造印刷物320とを区別するためのモバイルデバイス100における方法を示す。この方法を一般的に符号600で示す。

【0041】

ステップ610では、モバイルデバイス100は、モバイルデバイス100のカメラ110を用いて、印刷物200のページ210の少なくとも一部を含む画像170を取り込む。カメラ110およびそのレンズによる歪みを逆転させるために、画像170は、カメラ110またはプロセッサ130の色バランシングを選択的に受けることができる。この色バランシングは、後述する計算された色バランス比とは異なる。カメラ110は、プロセッサ130に画像170を提供する。

【0042】

ステップ620では、モバイルデバイス100のプロセッサ130は、印刷物200のページ210上の1つまたは複数の参照点240を検出する。モバイルデバイス100は、たとえばコンピュータ視覚認識を用いて、画像170の着色領域220の所定の目標画像230を選択的に検出することができる。所定の目標画像230は、たとえば家具、建物もしくはコンピュータの写真または図面などの人工物の画像であってもよく、または、たとえば動物、昆虫、地形、山脈または樹木などの自然物の画像であってもよい。あるいは、所定の目標画像230は、カラー縁取り、カラー文字、または他の任意のカラー印刷された対象物であってもよい。参照点240は、所定の目標画像230内にあってもよく、またはその一部であってもよい。また参照点240は、着色領域220内であるが所定の目標画像230から離れた他の位置にあってもよい。参照点240の位置を決める場合に、所定の目標画像230は扱いやすい参照であり得る。いくつかの実施形態では、目標画像230は、AR処理またはアルゴリズムを用いて認識され、および/または検出される。このような認識または検出は、AR処理またはアルゴリズムが提供する付加的な内容と関係付けることができる。しかし、付加的な内容を提供する前に、印刷物200の真正性を決定することができる。

【0043】

ステップ630では、モバイルデバイス100は、画像170の参照点240における第1の色バランシング比(たとえば、図7の550または560)を計算する。いくつかの実施形態では、モバイルデバイス100は、第1の色ペア(たとえば赤と緑、赤と青、または緑と青)の比を計算する。画像170において色彩が表現される方法に応じて、他のカラースキームが可能であり得る。いくつかの実施形態では、モバイルデバイス100は第1の色ペアの単一の比を計算するが、他の実施形態では、モバイルデバイス100は参照点240について第1の色ペアの第1の比および第2の色ペアの第2の比を計算する。いくつかの実施形態では、複数の参照点240が決定されて、参照点240ごとに1つ、2つ、3つまたはそれ以上の色バランス比が計算される。

【0044】

ステップ640では、モバイルデバイス100は、少なくとも第1の色バランス比に基づいて印刷物の真正性を決定する。たとえば、第1の色バランス比が期待値510からしきい値530外にあるか、または、しきい値530内にあるかに基づく。しきい値530および期待値510は、範囲として表すことができる。モバイルデバイス100は、計算された比率をこの有効な比率の範囲と比較する。比率の有効な範囲は、期待値510からの百分率として決定することができる。同様に、比率の有効な範囲は、固定された定数または期待値510からの「距離」として決定することができる。しきい値530は、真正な印刷物を偽造とみなす誤検出を回避するために広く設定されてもよく、または、偽造印刷物を真正とみなす誤検出を回避するために狭く設定されてもよい。あるいは、しきい値は、期待値510から許可された複製の最も遠い観察された比率までの距離に設定されてもよい。

【0045】

いくつかの実施形態では、いくつかの異なる参照点240について計算された色バランス比に基づいて、真正性が決定される。いくつかの実施形態では、印刷物200が真正であるとみなす前に、いくつかの参照点240についての色バランス比が真正であるとみなさなければならない。すなわち、その参照点240についてしきい値530または範囲520の外側になるいかなる1つの色バランス比も、結果として印刷物200が真正でないという結論に導かれる。

【0046】

選択的に、ステップ650では、モバイルデバイス100は、印刷物200の真正性に基づいてアプリケーションを切り換える。たとえば、真正である場合には、モバイルデバイス100はアプリケーション、たとえばページ210、着色領域220または所定の目標画像230に関連したAR内容を提供するアプリケーション(たとえば、ページ210は印刷物200の現在の章を示す)を有効にすることができる。いくつかの実施形態では、カメラ110から取得された画像170またはビデオの描写はディスプレイ120に表示され、表示はビジュアルコンテンツで強化される。たとえば、目標画像230または印刷物の着色領域220もしくはページの他の態様に関する付加情報は、目標画像230のそれぞれの部分または印刷物の着色領域220もしくはページの他の態様と視覚的に関係付けられてもよい。1つの例では、ゲームが提供される。いくつかの実施形態では、AR内容は、たとえばユーザが印刷物の着色領域220もしくはページの特定の対象物または態様を識別することを要求する、モバイルデバイスのユーザのための対話型プロンプトを含む。いくつかの実施形態では、ユーザは、ディスプレイ120または印刷物にタッチすることにより、そうすることができる。一つの例では、モバイルデバイス100は、読者が最近の資料を理解したかどうかテストするために、クイズまたは評価を提供することができる。このようなAR内容は、たとえば、印刷教材と併用して用いることができる。

【0047】

本明細書に記載した方法論は、アプリケーションに応じて、様々な手段によって実現することができる。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェアまたはそれらの任意の組合せで実現することができる。ハードウェアによる実現では、処理ユニットは1つまたは複数の特定用途向け集積回路(ASIC)、ディジタル信号プロセッサ(DSP)、ディジタル信号処理デバイス(DSPDs)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGAs)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載された機能を実行するように設計された他の電子ユニット、またはそれらの組合せの範囲内で実現することができる。

【0048】

ファームウェアおよび/またはソフトウェアによる実現では、本方法論は、本明細書に記載された機能を実行するモジュール(たとえば、手順、関数など)を用いて実現することができる。本明細書に記載された方法論を実現する際には、命令を明白に、または非一時的に実現するいかなる機械可読媒体も用いることができる。たとえば、ソフトウェアコードは、メモリに格納することができて、プロセッサユニットによって実行することができる。メモリは、プロセッサユニット内に実装されてもよいし、またはプロセッサユニットの外部にあってもよい。本明細書において、「メモリ」という用語は、長期の、短期の、揮発性の、不揮発性の、またはその他のメモリの任意のタイプを指し、メモリのいかなる特定のタイプ、メモリの数、またはメモリが格納される媒体のタイプに限定されるべきではない。

【0049】

ファームウェアおよび/またはソフトウェアで実現する場合には、機能はコンピュータ可読媒体上の1つまたは複数の命令またはコードとして格納することができる。例として、データ構造を用いてコード化されたコンピュータ可読媒体、およびコンピュータプログラムを用いてコード化されたコンピュータ可読媒体が挙げられる。コンピュータ可読媒体は、物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体であってもよい。例として、これらに限定されないが、このようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、所望のプログラムコードを命令もしくはデータ構造の形式で格納するために用いることができ、コンピュータによってアクセスすることができる他の任意の媒体を含むことができる。ディスク(disk)およびディスク(disc)は、本明細書で用いられるように、コンパクトディスク(CD)、レーザーディスク（登録商標）、光ディスク、ディジタル多用途ディスク(DVD)、フロッピー（登録商標）ディスクおよびブルーレイディスクを含む。ディスク(disk)は通常磁気的にデータを複製するが、ディスク(disc)はレーザーを用いて光学的にデータを複製する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

【0050】

コンピュータ可読媒体上の記憶に加えて、通信装置に含まれる伝送媒体上の信号として、命令および/またはデータを提供することができる。たとえば、通信装置は、命令およびデータを表す信号を有するトランシーバを含むことができる。命令およびデータは、1つまたは複数のプロセッサに特許請求の範囲で概説される機能を実現させるように構成される。すなわち、通信装置は、開示された機能を実行するための情報を表す信号を有する伝送媒体を含む。第1の時間では、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第1の部分を含むことができる。一方、第2の時間では、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第2の部分を含むことができる。

【0051】

開示された態様についての上記の記述は、いかなる当業者も本開示を作製または使用することができるように提供される。これらの態様に対する様々な修正は、当業者にとっては直ちに明らかなことであろう。そして、本明細書で定義された一般的な原理は、本開示の趣旨または範囲を逸脱することなく、他の態様に適用することができる。

【符号の説明】

【0052】

100 モバイルデバイス
110 カメラ
120 ディスプレイ
130 プロセッサ
140 メモリ
160 見通し線
170 画像
180 付加的な内容
200 印刷物(出版物)
210 ページ
220 着色領域
230 目標画像
240 参照点
300 マスター
310 許可された複製(オリジナルの印刷物)
320 無許可の複製(偽造印刷物)
400 印刷機
410A カラーコピー機
410B カラースキャナ/カラープリンタ
510 期待値
520 範囲
530 しきい値
540 値
550 画像Aについての比
560 画像Bについての比
600 オリジナルの印刷物と偽造印刷物とを区別するための方法

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】