特許7621485 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ヨーロピアンセントラルバンクの特許一覧

特許7621485デジタルサンプル画像の複製防止方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-16

(45)【発行日】2025-01-24

(54)【発明の名称】デジタルサンプル画像の複製防止方法

(51)【国際特許分類】

G06V 10/82 20220101AFI20250117BHJP

G06T 7/00 20170101ALI20250117BHJP

G07D 7/004 20160101ALI20250117BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G07D7/004

【請求項の数】 28

(21)【出願番号】P 2023531548

(86)(22)【出願日】2021-05-25

(65)【公表番号】

(43)【公表日】2024-01-10

(86)【国際出願番号】 EP2021063914

(87)【国際公開番号】W WO2022111864

(87)【国際公開日】2022-06-02

【審査請求日】2024-01-12

(31)【優先権主張番号】20209547.7

(32)【優先日】2020-11-24

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】522206504

【氏名又は名称】ヨーロピアンセントラルバンク

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部英隆

(72)【発明者】

【氏名】ハロック，ジョンスコット

(72)【発明者】

【氏名】ビガール，パスカル

(72)【発明者】

【氏名】ショッソン，シルヴァン

(72)【発明者】

【氏名】ベッリーニ，クラウディオ

(72)【発明者】

【氏名】アイヒェンベルガー，マルティン

(72)【発明者】

【氏名】シュルツ，エリーザベト

【審査官】秦野孝一郎

(56)【参考文献】

【文献】特表２０１９－５３４５２６（ＪＰ，Ａ）

【文献】特開平４－２８９８７５（ＪＰ，Ａ）

【文献】Weizhong Sun;Yue Ma;Zhenyu Yin;Ai Gu，Banknote Fitness Classification Based on Convolutional Neural Network，2018 IEEE International Conference on Information and Automation ，米国，IEEE，2018年08月，p.1545-1549，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8812472

【文献】Tuyen Danh Pham;Chanhum Park;Dat Tien Nguyen;Ganbayar Batchuluun;Kang Ryoung Park，Deep Learning-Based Fake-Banknote Detection for the Visually Impaired People Using Visible-Light Images Captured by Smartphone Cameras，IEEE Access，米国，IEEE，2020年04月15日，p.63144-63161，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9050503

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

Ｇ０７Ｄ７／００－７／２０７

(57)【特許請求の範囲】

【請求項1】

セキュリティ機能を認証することなく、デジタル画像をセキュリティ文書（１１０、Ａ）とみなすかそうでないかを分類するのに適用可能な人工知能ベースのニューラルネットワーク（１５０）をトレーニングするためのコンピュータによって実行される方法（１００）であって、
ａ）少なくとも１つのセキュリティ文書（１１０、Ａ）の少なくとも１つのデジタル画像（Ａ１）を基準として提供することと、
ｂ）デジタルトレーニング画像（１２０、Ｂ１）のセットを提供することであって、
前記デジタルトレーニング画像（１２０、Ｂ１）は、前記セキュリティ文書（１１０、Ａ）の前記デジタル画像（Ａ１）と比較して変更されており、
デジタルトレーニング画像（１２０、Ｂ１）の前記セットは、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像（１２５、Ｂ１－１）の複製を、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を表すとみなすほどの視覚的影響を与える変更を有するポジティブデジタルトレーニング画像（１２５、Ｂ１－１）の第１のサブセットを含み、
デジタルトレーニング画像（１２０、Ｂ１）の前記セットは、前記先入観のない人間の観察者が、それぞれのデジタルトレーニング画像（１２５、Ｂ１－１）の複製を、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を表すとみなすほどには視覚的影響を与えない変更を有するネガティブデジタルトレーニング画像（１３０、Ｂ１～２）の第２のサブセットを含んでおり、
ｃ）ステップｂ）において、各デジタルトレーニング画像（１２０、Ｂ１）についてグラウンドトゥルース（１４０）を人工知能ベースのニューラルネットワーク（１５０）に提供することであって、前記グラウンドトゥルース（１４０）は、それぞれの前記デジタルトレーニング画像（１２０、Ｂ１）の複製が、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を示していると考えられるか示していないと考えられるかに関して、１人以上の先入観のない人間の観察者の少なくとも１つの許容レベルを表している、提供することと
を包含する、方法。

【請求項2】

ステップｂ）における少なくとも１つの変更されたデジタルトレーニング画像（１２０、Ｂ１）の品質は劣化されており、
前記デジタルトレーニング画像の品質の劣化は、
化学的または物理的に侵食されたトレーニング文書（Ｂ）、または、
デジタル的に侵食を受けている、トレーニング文書（Ｂ）のデジタル画像
に基づいている、請求項１に記載の方法（１００）。

【請求項3】

ステップｂ）における少なくとも１つの変更されたデジタルトレーニング画像（１２０、Ｂ１）は、解像度、精細度、一般的なアスペクト、形状、色、色分布、およびアスペクト比のうちの少なくとも１つに関して、前記セキュリティ文書（１１０、Ａ）のデジタル画像（Ａ１）と異なる、請求項１～２のいずれか一項に記載の方法（１００）。

【請求項4】

ステップｂ）における少なくとも１つの変更されたデジタルトレーニング画像（１２０、Ｂ１）は、遠近角、基調的な照明、彩色、折り目、しわのうちの少なくとも１つに関して前記セキュリティ文書（１１０、Ａ）のデジタル画像（Ａ１）と異なる、請求項１～３のいずれか一項に記載の方法（１００）。

【請求項5】

前記セキュリティ文書（１１０、Ａ）は、１つ以上のグラフィックデザイン特徴、特に肖像画、建築画像、または自然画像を有しており、
ステップｂ）の少なくとも１つのデジタルトレーニング画像（１２０、Ｂ１）は、少なくとも１つのデザイン特徴が、異なるデザイン特徴、特に、異なる肖像画または異なる建築画像または異なる自然画像、で置き換えられている点において、前記セキュリティ文書（１１０、Ａ）のデジタル画像（Ａ１）と異なる、
請求項１～４のいずれか一項に記載の方法（１００）。

【請求項6】

前記グラウンドトゥルース（１４０）は、少なくとも４人の先入観のない人間観察者の許容レベルを表し、前記グラウンドトゥルース（１４０）は、少なくとも５つの異なる許容レベルを含む、またはそれらから構成される、請求項１～５のいずれか一項に記載の方法（１００）。

【請求項7】

前記セキュリティ文書（１１０、Ａ）は紙幣であり、
ステップａ）において、それぞれが表面画像（Ａ２）および裏面画像（Ａ３）を含む２つのデジタル画像が提供され、
ステップｂ）において、各ポジティブデジタルトレーニング画像（１２５、Ｂ１－１）は、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像（１２５、Ｂ１－１）の複製を、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）の表面画像（Ａ２）および／または裏面画像（Ａ３）とみなすほどの視覚的影響を与える変更を有している、
請求項１～６のいずれか一項に記載の方法（１００）。

【請求項8】

前記方法は、１以上のニューラル層を有するディープニューラルネットワーク（１５０）を使用して実行され、
特に、各層は他の層とは独立して多数のニューロンを示しており、および／または各層は分岐または非分岐のアーキテクチャ構造を有する、
請求項１～７のいずれか一項に記載の方法（１００）。

【請求項9】

前記人工知能ベースのニューラルネットワーク（１５０）は、機械学習機能を有する、請求項１～８のいずれか一項に記載の方法（１００）。

【請求項10】

前記方法（１００）は、複数のセキュリティ文書（１１０、Ａ）の閉集合について実行され、前記人工知能ベースのニューラルネットワーク（１５０）は、セキュリティ文書（１１０，Ａ）の前記閉集合のセキュリティ文書ごとにトレーニングされる、
請求項１～９のいずれか一項に記載の方法（１００）。

【請求項11】

前記ニューラルネットワーク（１５０）は、
少なくとも１つの層を飛び越えるためにスキップ接続および／またはショートカットをさらに利用する残差ニューラルネットワークを使用し、好ましくは、前記残差ニューラルネットワークは５０層以上を含み、または、
異なるカーネルサイズの畳み込み、好ましくは３ｘ３カーネルの２つの畳み込み、を組み合わせるインセプションネットワークを使用するか、または、
高密度ブロックを使用するＤｅｎｓｅＮｅｔを使用し、各層はすべての先行層からの入力を受け取り、好ましくは１２１層のＤｅｎｓｅＮｅｔを使用する、
請求項１～１０のいずれか一項に記載の方法（１００）。

【請求項12】

一般画像データセットがさらに提供され、
ステップａ）およびステップｂ）の前記デジタル画像（１２０）を用いて前記ニューラルネットワークをトレーニングする前に、大規模汎用画像データセットで前記ニューラルネットワーク（１５０）が事前トレーニングされる、請求項１１に記載の方法（１００）。

【請求項13】

ステップａ）およびステップｂ）の前記デジタル画像（１２０）が同じ標準化されたサイズで提供され、好ましくは事前トレーニングする場合に、ステップａ）およびステップｂ）の前記デジタル画像（１２０）が前記事前トレーニングで用いられたと前記画像データと同じ標準化されたサイズで提供され、好ましくは、画像サイズは（６４，１２８）、（１２８，２５６）、（１９２，３８４）、（２５６，５１２）、または（２９９，２９９）のいずれかであり、より好ましくは（６４，１２８）である、請求項１１または１２に記載の方法（１００）。

【請求項14】

前記方法（１００）は、ステップａ）およびステップｂ）の合計で８以上、１６以上、または３２以上のデジタル画像（１２０）のバッチサイズを使用する、請求項１～１３のいずれか一項に記載の方法（１００）。

【請求項15】

前記方法（１００）は、０．００５、０．０１、０．５、または０．１のうちの１つ、好ましくは０．００５、の学習率を使用する、請求項１～１４のいずれか一項に記載の方法（１００）。

【請求項16】

前記方法（１００）は、ステップｂ）の前記画像分類器のアンサンブルを使用する、請求項１から１５のいずれか一項に記載の方法（１００）。

【請求項17】

前記方法（１００）は、１つまたは複数のテキスト分類器をさらに使用する、請求項１～１６のいずれか一項に記載の方法（１００）。

【請求項18】

前記方法（１００）は、前記１つ以上のテキスト分類器のアンサンブルを使用する、請求項１７に記載の方法（１００）。

【請求項19】

セキュリティ機能を認証することなく、少なくとも１つのセキュリティ文書（１１０、Ａ）のコピーを防止するためのコンピュータによって実行される方法（２００）であって、
ａ）デジタルサンプル画像（２１０、Ｃ１）を提供することと、
ｂ）前記デジタルサンプル画像（２１０、Ｃ１）を第１のカテゴリまたは第２のカテゴリに分類するために人工知能ベースのニューラルネットワーク（１５０）を適用することであって、
前記ニューラルネットワーク（１５０）は、請求項１から１８のいずれかの方法（１００）に従ってトレーニングされ、
前記デジタルサンプル画像（２１０、Ｃ１）の少なくとも一部の複製が、先入観のない人間の観察者によって、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を表すとみなし得ると前記ニューラルネットワーク（１５０）が判断した場合、前記デジタルサンプル画像（２１０、Ｃ１）は前記第１のカテゴリに分類され、
前記デジタルサンプル画像（２１０、Ｃ１）のすべてについて、複製が、先入観のない人間の観察者によって、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を表すとみなされ得ないと前記ニューラルネットワーク（１５０）が判断した場合、前記デジタルサンプル画像（２１０、Ｃ１）は、前記第２のカテゴリに分類され、および
ｃ）前記ニューラルネットワーク（１５０）が前記デジタルサンプル画像（２１０、Ｃ１）を前記第１のカテゴリに分類する場合、前記デジタルサンプル画像（２１０、Ｃ１）の複製を防止する、
方法。

【請求項20】

前記デジタルサンプル画像（２１０、Ｃ１）は、前記セキュリティドキュメント（１１０、Ａ）の前記デジタル画像（Ａ１）と比較して変更されており、前記変更されたデジタルサンプル画像（２１０、Ｃ１）は、遠近角、基調的な照明、彩色、折り目、しわのうちの少なくとも１つに関して前記セキュリティ文書（１１０、Ａ）のデジタル画像（Ａ１）と異なる、請求項１９に記載の方法（２００）。

【請求項21】

前記セキュリティ文書（１１０、Ａ）は、１つ以上のグラフィックデザイン特徴、特に肖像画、建築画像、または自然画像を有しており、
前記デジタルサンプル画像（２１０、Ｃ１）は、少なくとも１つのデザイン特徴が、異なるデザイン特徴、特に、異なる肖像画または異なる建築画像または異なる自然画像、で置き換えられている点において、前記セキュリティ文書（１１０、Ａ）のデジタル画像（１１０、Ａ）と異なる、
請求項１９または２０に記載の方法（２００）。

【請求項22】

前記セキュリティ文書（１１０、Ａ）は表面と裏面を含み、
前記デジタルサンプル画像（２１０、Ｃ１）の少なくとも一部の複製が、前記先入観のない人間の観察者によって、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）の前記前面および／または前記裏面を表すとみなし得ると前記ニューラルネットワーク（１５０）が判断した場合、前記デジタルサンプル画像（２１０、Ｃ１）は、請求項１９のステップｂ）の前記第１のカテゴリに分類され、
前記デジタルサンプル画像（２１０、Ｃ１）のすべてについて、複製が、前記先入観のない人間の観察者によって、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）の前記前面および／または前記裏面を表すとみなし得ないと前記ニューラルネットワーク（１５０）が判断した場合、前記デジタルサンプル画像（２１０、Ｃ１）は、請求項１９のステップｂ）の前記第２のカテゴリに分類される、
請求項１９から２１のいずれかに記載の方法（２００）。

【請求項23】

請求項１のステップｃ）において、前記グランドトゥルース（１４０）は、第１の部分範囲および第２の部分範囲を含む、またはそれらからなる許容レベルの範囲を表し、
請求項１９のステップｂ）において、前記デジタルサンプル画像（２１０、Ｃ１）の少なくとも一部の複製が、先入観のない人間の観察者によって、前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を表すとみなし得る、として、前記ニューラルネットワーク（１５０）が前記第１の部分範囲に従って許容レベルを決定する場合、前記デジタルサンプル画像（２１０、Ｃ１）は、前記第１のカテゴリに分類され、
請求項１９のステップｂ）において、先入観のない人間の観察者が、前記デジタルサンプル画像（２１０、Ｃ１）のすべてについて、複製が、前記先入観のない公平な人間の観察者によって前記セキュリティ文書（１１０、Ａ）または複数のセキュリティ文書（１１０、Ａ）を表すとみなされ得ないと前記ニューラルネットワーク（１５０）が判断した場合、前記デジタルサンプル画像（２１０、Ｃ１）は、前記第２のカテゴリに分類され、および
前記第１の部分範囲は前記第２の部分範囲よりも大きい、
請求項１９から２２のいずれかに記載の方法（２００）。

【請求項24】

通信手段（３３０）およびデータ処理ユニット（３３５）を備える、またはそれらからなる紙幣検出器（３００）であって、
前記通信手段（３３０）は、デジタルサンプル画像（２１０、３２５、Ｃ１）を受信するよう構成され、前記デジタルサンプル画像（２１０、３２５、Ｃ１）を前記データ処理ユニット（３３５）に提供するように構成され、
前記データ処理ユニット（３３５）は、請求項１９から２３のいずれかに記載の方法（２００）を実行するように構成され、
前記デジタルサンプル画像（２１０、３２５、Ｃ１）の複製を防止するように構成されている、紙幣検出器（３００）。

【請求項25】

前記紙幣検出器（３００）はソフトウェアで実装され、
前記紙幣検出器（３００）は、前記デジタルサンプル画像（２１０、３２５、Ｃ１）を複製するための装置内に含まれるか、または前記紙幣検出器（３００）は、クラウドベースまたはサーバベースのアプリケーションとして構成される、請求項２４に記載の紙幣検出器（３００）。

【請求項26】

前記紙幣検出器（３００）は、
前記デジタルサンプル画像（２１０、３２５、Ｃ１）が請求項１９のステップｂ）における前記第１のカテゴリに分類される場合に、前記デジタルサンプル画像（２１０、３２５、Ｃ１）を真正性に関して評価するようにさらに構成されており、
前記デジタルサンプル画像（２１０、３２５、Ｃ１）は、前記少なくとも１つのセキュリティ文書（１１０、Ａ）に含まれる少なくとも１つのセキュリティ機能に関して評価される、
請求項２４または２５に記載の紙幣検出器（３００）。

【請求項27】

前記デジタルサンプル画像（２１０、３２５、Ｃ１）は、前記少なくとも１つのセキュリティ文書（１１０、Ａ）に含まれるコピー防止のための少なくとも１つの画像セキュリティ機能に関して認証される、請求項２６に記載の紙幣検出器（３００）。

【請求項28】

データ処理ユニットによってプログラムが実行されると、前記データ処理装置に請求項１９のステップｂ）を実行させる命令を含む、または命令からなるコンピュータプログラム製品（４００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、セキュリティ機能を認証することなく、セキュリティ文書として考慮されるかどうかを分類するために使用される人工知能ベースのニューラルネットワークのトレーニング方法、少なくとも１つのセキュリティ文書の複製防止のための、コンピュータによって実行される方法、紙幣検出器、およびコンピュータプログラム製品に関する。

【背景技術】

【0002】

セキュリティに関連するフライトチケットや紙幣などの文書は、偽造などの複製行為の対象となることがよくある。偽造文書に対するアプローチの一つは、疑わしい文書の真正性の評価に関連する。しかし、このアプローチは、疑わしい文書の認証プロセスを実行する時点で元の文書は既に複製されているため、後段の活動となる。そのため、認証に関連する対策は望ましくない。

【0003】

元の文書の複製（reproduction）は、スキャン装置、プリンタ、および／またはコピー機を使用して行われることがある。複製は、データ変換などのデータコピー処理とも考えられる。この点において、文書が複製される場合、それが潜在的に元のセキュリティ文書と見なされる可能性がある場合、複製行為そのものを避けることが望ましい。この場合、複製が行われる前に複製を回避する。このような方法は、セキュリティ文書に含まれる特殊なセキュリティ機能に関して存在する。つまり、疑わしい文書に対して、その文書が元のセキュリティ文書に最初から含まれていたセキュリティ機能を有しているかどうかが評価される。しかし、これらのアプローチはいくつかの理由で好ましくない。第一に、セキュリティ機能に関する評価は複雑で高度な装置が必要である。第二に、その評価プロセスにはセキュリティ機能に関する具体的な情報が含まれている必要がある。もしも偽造者が評価プロセスを知れば、その情報を入手することができる。第三に、偽造者は対象となる文書内のセキュリティ機能や修正された機能に対して攻撃を行う可能性があり、評価方法の結果に誤りが生じる可能性がある。

【0004】

上記の行動を防止するため、さまざまなセキュリティ機能が存在する。たとえば、前述の装置の特殊な検出器によって認識される印刷されたグラフィカルなデザイン要素が含まれる場合がある。検出器はそれに応じて反応し、処理を拒否するか、劣化した画像を印刷するなどの望ましくない行動に干渉することがある。このようなグラフィカルな要素は、セキュリティ文書のアートワークの一部であるかのように見えるようにデザインされる場合がある。このような要素の使用例は、米国特許５，８４５，００８に見られるかもしれない。他の場合では、印刷されたデザインに目視でほとんど感知できない特殊な信号を追加し、前述の装置の特殊な検出器によって認識されるようにすることがある。その後、これらの検出器は上記で説明したような反応を引き起こす可能性がある。このような要素の使用例は、米国特許６，４４９，３７７に見られるかもしれない。

【0005】

しかし、これらのセキュリティ機能には固有の脆弱性が存在する。グラフィカルなデザイン要素は、アートワークの一部のように見せるための試みがされていても、熟練者によってそのセキュリティ目的が容易に認識されることがしばしばある。その結果、わずかに変更されるだけで、特殊な検出器がそれらを識別できなくなり、複製者の望ましい行動を中断することができなくなる可能性がある。また、これらの要素が正当な利用者によって保護の対象とされていない他の文書に適用され、その結果、人々がこれらの文書のスキャン、コピー、印刷などの操作を完了できなくなる可能性がある。

【0006】

電子透かしなどの特別な信号には、印刷された文書が歪んで見えるという望ましくない特性がある場合もある。紙幣のアートワークの場合、これは特に望ましくない可能性がある。信号強度は犠牲になるが、歪みは軽減できる。通常は妥協が求められる。

【0007】

機械学習と組み合わせた人工知能は、顔認識やその他の物体識別などの用途にますます使用されている。このようなアプリケーションでは、潜在的な画像が無限に存在し、それらを確実に認識する必要がある場合がある。たとえば、ハイイロリスの画像そのものを認識するようにトレーニングされたアプリケーションは、ハイイロリスのサイズ、ポーズ、年齢、色合い、照明、またはその他の多数の個々の特徴の膨大なバリエーションのいずれかに遭遇する可能性がある。個々の人の顔を確実に認識するように設計されたアプリケーションは、同様の変動に直面する必要があり、少なくともアプリケーションの計算の複雑さとコンピューティングリソースの必要性が増大する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

解決すべき客観的な技術的課題は、セキュリティ機能を認証することなくデジタル画像をセキュリティ文書と見なすか否かを分類するのに適用可能な人工知能ベースのニューラルネットワークをトレーニングする方法と、コピー防止方法を提供することにあると考えられる。このようにトレーニングされたニューラルネットワークを利用したセキュリティ文書は、従来技術と比較して改善されている。

【課題を解決するための手段】

【0009】

本発明によれば、ニューラルネットワークは、デジタル画像、特にセキュリティ文書のデジタル画像を認証するようにトレーニングされていない。さらに、セキュリティ文書のコピー防止のための本発明の方法は、いかなる認証プロセスも置き換えるものではない。対照的に、本発明のコピー防止方法は一般に、デジタルサンプル画像の複製が先入観のない人間の観察者(an unbiased human observer)によってセキュリティ文書として認識されるかどうかを評価するために適用できる追加の手段を表すことができる。

【0010】

この問題は、独立請求項の主題によって解決される。好ましい実施形態は、従属請求項および以下の説明内に示されており、それらのそれぞれは、個別にまたは組み合わせて、本発明の態様を表すことができる。示された装置に関して説明された利点および好ましい実施形態は、対応する方法に同様に移転され、またその逆も同様である。

【図面の簡単な説明】

【0011】

【図1】人工知能ベースのニューラルネットワーク１５０をトレーニングするための方法１００の簡略化された概略図

【図2】少なくとも１つのセキュリティ文書１１０のコピー防止のための方法２００の簡略化された概略図

【図3】紙幣検出器３００の簡略化した概略図

【図4】コンピュータプログラム製品の簡略化された概略図

【発明を実施するための形態】

【0012】

本発明は、文書のデジタル画像がコピー／複製されてよいかどうかを決定するために、独創的にトレーニングされた人工知能ベースのニューラルネットワークを使用し、したがって、コピー保護のためのコードを表すセキュリティ機能の存在を利用しない。したがって、コピーを防止すべき文書は、特にデジタル画像の複製を防止するために、コピー防止のためのコードを含む必要はない。本発明によれば、コピープロテクトされる文書のデザインは、コピー保護のための追加コードの使用によって歪められる必要がなく、これにより、偽造者がプロテクトのためのコードの領域を特定するリスクも低減される。また、文書上にコピー防止用のコードが存在しないことにより、コピー防止用のコードがハッキングされたり、そのコードが他の物品に不正に使用されて複製を違法に停止させられたりする危険性が低減される。本発明のトレーニングされた人工知能ベースのニューラルネットワークを使用する本発明のコピー保護方法は、セキュリティ文書、特に紙幣の高スループット分類および／またはコピー／複製ソリューションに特に適している。これは、コピー保護のために特定のコードの認証を必要とするセキュリティ文書の一般的な認証方法よりも、文書を複製するかどうかの決定に必要な時間が短いため、より短い時間スケールで実行できる可能性がある。

【0013】

第１の態様によれば、人工知能ベースのニューラルネットワークをトレーニングするための、コンピュータによって実行される方法（コンピュータ実装方法）が提供される。ニューラルネットワークは、デジタル画像をセキュリティ文書（以下では参考のためにＡとも示す）として考慮するかどうかを分類するのに適用できる。これは、デジタル画像をセキュリティ文書Ａとみなされるように分類するか、またはデジタル画像がセキュリティ文書とみなされないように分類するためにネットワークをトレーニングするように方法を構成できることを意味する。人工知能ベースのニューラルネットワーク、特に深層学習モデルとしての畳み込みネットワークの利点は、主に正規化と標準化を除いた未処理の画像全体の解釈から得られる。次に、ニューラルネットワークは通常、分類が行われる基準に基づいて信号を一連の特徴に変換する。一連の特徴は、そのアーキテクチャとトレーニングプロセスによりモデル間で異なるが、一般に、画像のコンテンツに関する凝縮された情報として解釈できる。

【0014】

この方法は、少なくとも１つのセキュリティ文書の少なくとも１つのデジタル画像Ａ１を基準として提供することを含む。

【0015】

この方法はまた、デジタルトレーニング画像のセットを提供することを含む（以下では、参考のためにＢ１とも示す）。デジタルトレーニング画像に基づいて、分類プロセスに関してニューラルネットワークをトレーニングできる。デジタルトレーニング画像は、セキュリティ文書のデジタル画像と比較して変更されている。

【0016】

デジタルトレーニング画像のセットは、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像の複製を、セキュリティ文書または複数のセキュリティ文書を表すとみなすほどの視覚的影響を与える変更を有するポジティブデジタルトレーニング画像の第１のサブセット（以下では参照目的のためにＢ１－１とも示す）を含む。

【0017】

デジタルトレーニング画像のセットは、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像の複製を、セキュリティ文書または複数のセキュリティ文書を表すとみなすほどには視覚的影響を与えない変更を有するネガティブデジタルトレーニング画像の第２サブセット（以下でもＢ１－２で示される）も含む。

【0018】

この方法はさらに、各デジタルトレーニング画像のグラウンドトゥルースを人工知能ベースのニューラルネットワークに提供するステップを含む。グラウンドトゥルースは、それぞれのデジタルトレーニング画像の複製がセキュリティ文書または複数のセキュリティ文書を表すかどうかについて、１人または複数の先入観のない人間の観察者の少なくとも１つの許容レベルを表す。言い換えれば、グラウンドトゥルースは、分類の決定プロセスに関してニューラルネットワークをトレーニングするために使用される。グラウンドトゥルースは、このトレーニングプロセスで特定のデジタルトレーニング画像がどのように解釈されるかを記述する。少なくとも１つの許容レベルは、それぞれのトレーニング画像の複製がセキュリティ文書を表すか否かについての決定に関する先入観のない人間観察者の１つ以上の応答をそれぞれ含む。たとえば、１人の先入観のない人間観察者の場合、許容レベルはこの人間観察者のそれぞれの反応を表す。人間の観察者が２人、３人、４人以上の場合、２人、３人、４人以上の人間の観察者の応答がそれぞれ許容レベルを表すために使用される。

【0019】

このように設計された方法は、少なくとも１つのセキュリティ文書に関するデジタルトレーニング画像に関して人工知能ベースのニューラルネットワークを有利にトレーニングできる。したがって、ニューラルネットワークは、先入観のない人間の観察者によって特定のデジタルトレーニング画像の複製がセキュリティ文書とみなされる許容レベルに関して各デジタルトレーニング画像に対してトレーニングされ得る。したがって、ニューラルネットワークは、デジタル画像の複製がセキュリティ文書とみなされる場合の決定動作をトレーニングできる。

【0020】

本発明のすべての態様の文脈内で、し得る、可能性がある、できる、などの用語には、相関する動詞の直説法(indicative mood)／事実的な叙法(realis mood)も含まれる。たとえば、「データファイルはデジタルコードの画像手段の特性を記述するのに適している」という表現には、「データファイルはデジタルコードの画像手段の特性を記述するのに適している」という直説法／事実的な叙法も含まれる。

【0021】

本発明の文脈内では、「セキュリティ文書とみなされる画像」、「セキュリティ文書とみなされるデジタル画像」、「セキュリティ文書とみなされる画像の複製」、または「セキュリティ文書とみなされるデジタル画像の複製」とは、先入観のない人間の観察者が、（デジタル）画像の複製をセキュリティ文書として（少なくとも一定の許容レベルまでは）認識し／みなし／解釈できることを意味する。言い換えれば、先入観のない人間の観察者は、セキュリティ文書、その（デジタル）画像、またはその複製を認証せず、その代わりに、先入観のない人間の観察者は、デジタル画像を閲覧／観察または使用により、（デジタル）画像またはその複製がセキュリティ文書またはその見本を表していると、少なくとも一定の許容レベルについて考慮／印象を持つ／想像する。したがって、上で示した特徴表現は、先入観のない人間の観察者が、基礎となる認証プロセスなしで（デジタル）画像またはその複製をセキュリティ機能のサンプルとして許容するかどうかに関するものとみなすこともできる。

【0022】

本発明の文脈内では、デジタル画像とは、通常はコンピュータ言語で書かれたデジタルコードを指し、したがって特定の画像をデータファイルとして表すコンピュータ可読コードである。データファイルは、デジタルコードを使用して画像の特性を記述するのに適している。

【0023】

セキュリティ文書のデジタル画像は、５０ｄｐｉ～２０００ｄｐｉの範囲内、特に１００ｄｐｉ～１０００ｄｐｉの範囲内、さらに特に２００ｄｐｉ～６００ｄｐｉ、さらに、特に３００ｄｐｉ～４００ｄｐｉの範囲内の解像度を有し得る。

【0024】

本方法の文脈内では、デジタル画像の複製とは、デジタル画像が物理的に処理されて、数年程度の、少なくとも一定の時間、印刷可能な媒体上に永久に見えるように処理される、ハードコピーおよび／または印刷プロセスを指す。さらに、デジタル画像の複製には、それぞれのデジタル画像の基礎となるデータに関するデータ処理、変換または保存プロセスも含まれる場合がある。

【0025】

デジタルトレーニング画像は、基準と比較して変更される場合がある。本発明の文脈内では、変更されたデジタルトレーニング画像は、基準と比較して品質が異なる、または品質が低下したデジタルトレーニング画像とみなされてもよい。画像の変更／変換の例は、
・明るさ、コントラスト、彩度、色相などのパラメータを含むＣｏｌｏｒＪｉｔｔｅｒ拡張
・度数、平行移動、スケール、せん断、補間、および／または塗りつぶしのパラメータを含み得るＲａｎｄｏｍＡｆｆｉｎｅ拡張
・カーネルサイズおよび／または標準偏差のパラメータを含み得るＧｕａｓｓｉａｎＢｌｕｒの拡張
に関連する場合がある。

【0026】

セキュリティ文書として認識可能であるとラベル付けされた変更されたデジタルトレーニング画像には、基準セキュリティ文書と比較して次の変更／変換範囲が含まれる場合がある：
ＣｏｌｏｒＪｉｔｔｅｒ拡張。これは、明るさ（例：±５％の範囲）、コントラスト（例：±８％の範囲）、彩度（例：±８％の範囲）のパラメータの変更が含まれる場合がある。）および／または色相（例：±６％の範囲）を含み得る；
ＲａｎｄｏｍＡｆｆｉｎｅ拡張。これは、パラメータの度数（例：０．０５度）、移動（たとえば、水平方向または垂直方向の画像サイズの０％から１％の間）、スケール（例：サイズを１％ずつ拡大または縮小する）、シアー（たとえば、－０．５度から＋０．５度の間でｘ軸に平行にせん断する）、補間（例：最近傍補間）、および／またはフィル（白）の変更を含み得る；」
ＧｕａｓｓｉａｎＢｌｕｒの拡張。これは、カーネルサイズ（例：５ｘ５）および／または標準偏差（例：０．３）のパラメータの変更を含み得る。

【0027】

同様に、セキュリティとして認識できないとラベル付けされた変更されたデジタルトレーニング画像には、基準セキュリティ文書と比較して次の変更／変換範囲を含み得る：
・パラメータの変更：明るさ（例：±５％以上の範囲）、コントラスト（例：±８％以上の範囲）、彩度（例：±８％以上の範囲）、および／または色相（例：±６％以上の範囲）；
・ＲａｎｄｏｍＡｆｆｉｎｅ拡張。これは、パラメータの度数（たとえば、０．０５度以上）、移動（例：水平方向または垂直方向の画像サイズの１％以上）、スケール（例：サイズを１％を超えて拡大または縮小する）、シアー（例：－０．５度を超えて＋０．５度を超える範囲でｘ軸に平行なせん断）の変更を含み得る。

【0028】

あるいは、デジタルトレーニング画像は、印刷などの複製の観点からは同様の品質を有するが、基準セキュリティ文書と区別するために加工または変更されてもよい。例としては、デザインおよび／またはテキスト要素の修正／置換、デザインおよび／またはテキスト要素の異なる配置などが挙げられる。

【0029】

一例によれば、基準セキュリティ文書は、例えば、英国女王の肖像画を含む特定の紙幣であってもよい。デジタルトレーニング画像は、解像度、形状、寸法、色などの印刷特性に関して同様の品質を持つ可能性がある。ただし、英国女王の肖像画は別の人物、たとえば英国首相やその他の人物に置き換えられる可能性がある。先入観のない人間の観察者がこの文書をセキュリティ文書であるとみなせるように、関係者に提供する。このような変更されたデジタルトレーニング画像は、本発明によれば、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像の複製をセキュリティ文書または複数のセキュリティ文書を表すとみなすような変更とみなすことができる。変更には劣化が含まれる場合がある。別の実施形態によれば、英国女王の肖像画は、先入観のない人間の観察者がこの文書をセキュリティ文書と考えられないことを直接理解できるように、アメリカ合衆国大統領または任意の無関係な人物の肖像画に置き換えることができる。この場合、デジタルトレーニング画像は依然として変更または劣化しているとみなされる可能性があるが、先入観のない人間の観察者は、それぞれのデジタルトレーニング画像の複製がセキュリティ文書または複数のセキュリティ文書を表すとは考えないであろう。

【0030】

変更されたデジタルトレーニング画像の品質は劣化し得る。この場合、デジタルトレーニング画像は、化学的または物理的に侵食されたトレーニング文書Ｂに基づき得る。これは、トレーニング文書の品質が化学的または物理的に劣化し得ることを意味する。たとえば、化学反応性物質が適用されたり、トレーニング文書に傷がついたりする可能性がある。デジタルトレーニングイメージは、基礎となるトレーニングドキュメントが侵食された後に取得される可能性がある。したがって、デジタルトレーニングイメージには、基礎となるトレーニングドキュメントに対する侵食によって引き起こされた変更が現れる可能性がある。

【0031】

あるいは、デジタル画像は改変されていないトレーニング文書に基づいて取得された可能性があるが、デジタル画像自体がデジタル的に侵食を受けた可能性がある。たとえば、デジタル画像は、デジタルフィルタを適用することによって変更／拡張されている可能性がある。変更／増強には、明るさ、コントラスト、彩度、および／または色相のパラメータを含むＣｏｌｏｒＪｉｔｔｅｒ増強が含まれる場合がある。ＲａｎｄｏｍＡｆｆｉｎｅ拡張には、度数、平行移動、スケール、せん断、補間、および／または塗りつぶしのパラメータが含まれる場合がある。ＧｕａｓｓｉａｎＢｌｕｒ拡張には、カーネルサイズおよび／または標準偏差のパラメータが含まれる場合がある。この場合、デジタルトレーニング画像は、デジタル的に侵食を受けたデジタル画像である可能性がある。

【0032】

変更されたデジタルトレーニング画像は、下記の少なくとも１つに関して、セキュリティ文書のデジタル画像と異なっている：ピクセル化、解像度、精細度、一般的なアスペクト、形状、色、色分布、画像処理フィルタ、そしてアスペクト比。例えば、デジタルトレーニング画像は、基準の解像度と比較して低減された、単位面積当たりのピクセル密度を意味する解像度を有できる。したがって、視覚的なインパクトが異なる場合がある。それでも、複製されるとき、デジタルトレーニング画像の解像度は、先入観のない人間の観察者が、その複製をセキュリティ文書を表すとみなすのに十分である可能性がある。一般的な側面とは、デジタルトレーニング文書には同様に含まれない、セキュリティ文書のデジタル画像の特徴を指す。たとえば、セキュリティ文書には、いくつかの山を含む特定の風景が部分的に示されている場合がある。デジタルトレーニング画像は、同じ数の山を持つ異なる風景を示している場合もあれば、原理的には同じ風景を示しているが、セキュリティ文書に含まれる山の一部を見逃している場合もある。アスペクト比は、セキュリティ文書とデジタルトレーニング画像の長さと幅の一般的な比率を指す。精細度は各項目の水平方向と垂直方向の合計ピクセル数を指す。画像処理フィルタには、ノイズ低減フィルタ、ぼかしフィルタ、ＡＩを利用して画像を処理するいわゆるニューラルフィルタ、および同様のデジタルフィルタが含まれ得る。

【0033】

変更されたデジタルトレーニング画像は、遠近角、基調的な照明（underlying illumination）、色合い（coloration）、折り目(fold)、またはしわ(crease)のうちの少なくとも１つに関して、セキュリティ文書のデジタル画像とは異なる場合がある。遠近角は、デジタルトレーニング画像が取得されたように見える角度を指す場合がある。例えば、セキュリティ文書は長方形の形状を有していてもよい。デジタルトレーニング画像の取得中の遠近角により（またはそれぞれのデジタル的な侵食により）、デジタルトレーニング画像は長方形の形状を持たない可能性がある。さらに、特定の遠近角を指定すると、デジタルトレーニング画像内の特定の特徴が歪む可能性がある。照明は、上面図で十分に照明されたときにセキュリティ文書が示す輝度分布とは異なる、デジタルトレーニング文書内に存在する輝度分布を指す場合がある。同様に、デジタルトレーニング画像は、配色、すなわち少なくとも一部の特定の色、またはより一般的にはデジタルトレーニング画像全体にわたる色の分布に従って、セキュリティ文書とは異なっていてもよい。デジタルトレーニングドキュメントが取得されたトレーニングドキュメントに折り目またはしわがある可能性がある。したがって、折り目またはしわは、一般に、デジタルトレーニング画像内でも認識可能である。

【0034】

さらに、セキュリティ文書には、肖像画、例えば英国女王の肖像画、や、建築画像（橋、建物など）、自然画像（葉などの植物またはその一部（いわゆる花／植物のエンブレムまたは花／植物の要素）、または動物相／動物（いわゆる野生動物のエンブレムまたは野生動物の要素）など）などの１つまたは複数のグラフィックデザインの特徴が含まれる場合がある。次いで、変更されたデジタルトレーニング画像は、デジタルトレーニング画像が、セキュリティ文書の対応するデザイン特徴を置換する少なくとも１つの異なるデザイン特徴、例えば、別個の、関係するまたは無関係の人物の別個の肖像画、無関係の人物、関係するまたは無関係の別個の建築画像、あるいは自然界の別個の関係するまたは無関係の画像のような、セキュリティ文書の異なるデザイン特徴を含むことができるという点で、セキュリティ文書のデジタル画像とは異なっていてもよい。この点において、デジタルトレーニング画像は変更されていると考えることができる。ニューラルネットワークは、この点に関して、すなわち、先入観のない人間の観察者が、それぞれ変更されたデジタル画像をセキュリティ文書に関連するとみなすかどうかに応じてトレーニングできる。一実施形態によれば、先入観のない人間の観察者は、グラフィックデザイン特徴が関連するグラフィックデザイン特徴によって置き換えられる場合、変更後の画像をセキュリティ文書に関連するとみなし得る。例えば英国ポンド紙幣の場合、エリザベス女王の肖像画が英国首相の肖像画、または英国王室の他のメンバーの肖像画に置き換えられ得る。別の実施形態によれば、先入観のない人間の観察者は、グラフィックデザイン特徴が無関係のグラフィックデザイン特徴に置き換えられる場合、変更後の画像をセキュリティ文書に関連するとみなし得る。例えば英国ポンド紙幣の場合、エリザベス女王の肖像画がアメリカ合衆国または他の国の大統領の肖像画に置き換えられ得る。本発明によれば、建築画像は、例えば橋、建物などの同じカテゴリに属する場合、または同じ国を表すとみなされる建築画像に属する場合（例えば、英国を代表するタワーブリッジ、ウェストミンスターブリッジおよび／またはウェストミンスター寺院、ビッグベン、またはフランスを代表するエッフェル塔とポンヌフ）に、相互に関連していると見なすことができる。本発明の別の実施形態によれば、自然画像は、それらが同じカテゴリ、例えば植物またはその一部（葉、動物など）に属する場合、またはそれらが同じカテゴリに属する場合、同じ国を表すとみなされる自然画像に属する場合（たとえば、オーストラリアを表すカンガルー、カモノハシ、コアラ）に、相互に関連していると見なすことができる。

【0035】

これは、デジタルトレーニング画像が一般にセキュリティ文書のデジタル画像と等しくないことを意味する。ただし、その違いは十分に小さいため、デジタルトレーニング画像の複製は依然としてセキュリティ文書とみなされる。言い換えれば、ニューラルネットワークは、少なくとも特定の許容レベルにおいて、先入観のない人間の観察者によって、複製される際に、セキュリティ文書のデジタル画像とは異なるデジタル画像もセキュリティ文書を表すとみなされる可能性があるという発見を反映するように有利にトレーニングされる。この点において、許容レベルは、先入観のない人間の観察者の誤った信念を表す可能性がある。デジタルトレーニング画像とセキュリティ文書との間にかなりの差異が存在する可能性があるが、観察者は依然としてデジタルトレーニング画像の複製を、セキュリティ文書を表すとみなすことができる。セキュリティ文書とデジタルトレーニング画像を直接比較すると、そのような差異は容易に認識できる可能性がある。しかし、人間の認識と記憶には限界がある。たとえば、本物の紙幣とは外観が大きく異なる偽造紙幣を人々が許容することが多いことはよく知られている。したがって、先入観のない人間の観察者は、違いがそれほど強くない場合、少なくともある程度（許容レベル）までは、異なるアイテムを同じであると一般にみなす可能性がある。たとえば、人間の観察者は、偽造された紙幣を、オリジナルの紙幣を表しているとみなす可能性がある。本発明のニューラルネットワークは、これらの違いと、人間の知覚と記憶に関する詳細を有利に組み込むようにトレーニングされる。

【0036】

許容レベルは、変更されたデジタルトレーニング画像と、これら（複製）がそれぞれの数の人間の観察者によってどの程度相互に区別されるとみなされるかに関する基準との間の類似性メトリックを記述するものと考えることができる。

【0037】

先入観のない人間の観察者は、その分野の専門家である必要はないが、セキュリティ文書を一般的に使用する人物とみなされる。

【0038】

グラウンドトゥルースは、少なくとも４人の先入観のない人間の観察者の許容レベルを表す可能性がある。この場合、グランドトゥルースは、少なくとも５つの異なる許容レベルを含み得る。デジタルトレーニング画像の複製がセキュリティ文書を表すかどうかは人間によって異なる判断がされる可能性があるため、決定的に先入観のない人間の観察者の数を増やすことによって、この不確実性がトレーニングプロセスに組み込まれる。したがって、グラウンドトゥルースには、許容レベルに関する改善された分布が含まれるという利点がある。たとえば、先入観のない人間の観察者（ラベル作成者）が４人いる場合、これらは一般に５つの異なる許容レベルをもたらす。この場合、複製がセキュリティ文書またはその倍数を表すとみなされるかどうか、またはこれがセキュリティ文書であるとみなされるかどうかに関する許容レベルに関する分布が決まる。そうでない場合は、４／０、３／１、２／２、１／３、０／４のいずれかになる。換言すれば、４人のラベラーがデジタルトレーニング画像にラベルを付ける場合、少なくとも１人のラベラー（またはラベラーの少なくとも２５％）がこの画像をセキュリティ文書としてラベル付けする場合に備えて、トレーニング画像はセキュリティ文書として知覚可能なものとしてラベル付けされる可能性がある。あるいは、少なくとも２人のラベラー（またはラベラーの少なくとも５０％）がこの画像をセキュリティ文書としてラベル付けする場合に備えて、トレーニング画像をセキュリティ文書として認識できるものとしてラベル付けすることもできる。

【0039】

もちろん、許容レベルのより細かいセグメント化も同様に、オプションで、評価されたデジタル画像から抽出された情報および／または抽出された情報に基づいて決定されたスコアと相互に関連付けることができる。したがって、ニューラルネットワークによって実行されるデジタル画像を分類するときの決定メカニズムは、より洗練される可能性がある。

【0040】

一般に、「ポジティブデジタルトレーニング画像の第１サブセット（Ｂ１－１）」として分類されたトレーニング画像にはそれぞれ１が割り当てられ、「ネガティブデジタルトレーニング画像の第２サブセット（Ｂ１－２）」として分類されたトレーニング画像にはそれぞれ番号０が割り当てられる。したがって、深層学習モデルは、０から１までの連続数値であるスコアを出力する。このスコアは、特定の画像が特定のクラスである可能性を表す。したがって、出力スコアが１に近いほど、デジタル画像がセキュリティ文書として認識される可能性が高くなる。つまり、スコアが０に近いほど、デジタル画像がセキュリティ文書として認識されない可能性が高くなる。一般に、２つのクラス間のしきい値は０．５以上になる。

【0041】

このしきい値は、許容レベルと相関することもある。許容レベルが低い場合、例えば、デジタル画像をポジティブデジタルトレーニング画像の第１のサブセットに分類するラベラーの５０％未満の場合、閾値レベルは０．５以上であると決定され得る。許容レベルがより高い場合、すなわちラベラーの５０％以上がそれぞれのデジタル画像をポジティブデジタルトレーニング画像の第１のサブセットに分類する場合、出力スコアの閾値は０．５より低いと決定され得る。

【0042】

代替または追加として、このしきい値は各モデルの精度／再現要件に基づいて調整できる。したがって、閾値は、少なくとも０．１以上、０．１５以上、０．２以上、０．２５以上、０．３以上、０．３５以上、０．４以上、０．４５以上であってもよい。

【0043】

セキュリティ文書は紙幣であってもよい。この場合、紙幣の表面画像と裏面画像からなる２つのデジタル画像が２つの基準として提供されてもよい。次に、各ポジティブデジタルトレーニング画像は、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像の複製をセキュリティ文書の表面画像および／または裏面画像または複数を表すとみなすほどに、変更の視覚的影響を与える可能性がある。紙幣の裏面も印刷され、特に表面とは異なる方法で印刷されるため、ポジティブデジタルトレーニング画像は基本的には両面のうちの一方、または両面の組み合わせと一致する。いずれにせよ、先入観のない人間の観察者が、少なくとも片面または様々な組み合わせに関して、特定のデジタルトレーニング画像の複製を、紙幣を表すとみなし得るため、そのようなデジタルトレーニング画像はポジティブデジタルトレーニング画像と言える。したがって、紙幣の両面を基準として提供する必要があり、それに応じてトレーニング画像のセットが適応される。

【0044】

本発明のあらゆる側面において、人工知能（ＡＩ）ニューラルネットワークとは、決定を下すように構成されたソフトウェアまたはハードウェアベースの技術、例えばコンピュータで実行されるアルゴリズムを指す。ＡＩは、意図された目的に関して提供されたデータを自動的に活用し、それぞれの結果をユーザに自動的に提供するように構成することもできる。

【0045】

入力データとして１つ以上のデジタル画像が使用され、好ましくは２つ以上のデジタル画像のバッチ、特に８枚以上、１６枚以上、または３２枚以上のデジタル画像が、０から１までの予測スコアを出力するため、ニューラルネットワーク予測モデルの入力データとして一度に使用される。一般に、予測出力スコアが１に近づくほど、それぞれのデジタル画像がセキュリティ文書（ポジティブ）として認識される可能性が高くなる。逆も同様で、予測出力スコアが０に近づくほど、それぞれのデジタル画像がセキュリティ文書として認識されないと分類されたそれぞれのデジタル画像（ネガティブ）として認識される可能性が高くなる。閾値レベルは一般に０．５以上であるが、それぞれのモデルの精度および再現率に基づいて、および／または許容レベルに基づいて調整されてもよい。したがって、閾値は、例えば、０．１以上、０．１５以上、０．２以上、０．２５以上、０．３以上、０．３５以上、０．４以上、または０．４５以上であり得る。

【0046】

デジタルサンプル画像は、適切な画像サイズで提供されるか、それに応じてサイズ変更されることが好ましい。適切な画像サイズは、（６４，１２８）、（１２９，２５６）、（１９２，３８４）、（２５６，５１２）、または（２９９，２９９）である。好ましくは、画像サイズは、予測モデルをトレーニングするために使用されるサイズであり、好ましくは、画像サイズは（６４，１２８）であり得る。

【0047】

この方法は、１つ以上のニューラル層を有するディープニューラルネットワークを使用して実行できる。各層は、他の層から独立して多数のニューロンを示す場合がある。各層は、分岐または非分岐のアーキテクチャ構造を持つことができる。したがって、ニューラルネットワークは、トレーニングメカニズムをより詳細に実行できるように進歩させることができる。

【0048】

すべての発明の態様の人工知能ベースのニューラルネットワークは、機械学習機能を備えることができる。したがって、ニューラルネットワークは、トレーニングメカニズムから学習し、提供されたデジタルトレーニング画像に基づいて決定プロセスを一般化するように構成され得る。

【0049】

機械学習機能を含む本発明のニューラルネットワークは、描画決定のプロセスを改善するために複数の入力を含むように構成できる。言い換えれば、ネットワークは、単一の入力に基づいて決定を下す精度と比較して、決定を下す精度の確率を向上させるために、いくつかの同様の入力を認識するように構成できる。

【0050】

要約すると、既に利用可能な画像分類に適したアーキテクチャおよびデータセットを本発明に使用できる。例として、次の予測モデルアーキテクチャは、同様の問題に対して高いパフォーマンスを発揮し、微調整を使用してさまざまなタスクに適応できる柔軟性があるため、使用できる。

【0051】

ＲｅｓＮｅｔ（レズネット）
ＲｅｓＮｅｔアーキテクチャ（ヒーら。「画像認識のための深層残差学習」、https://arxiv.org/abs/1512.03385）は、ＩＬＳＶＲＣ（ルサコフスキーら。「Imagenetの大規模視覚認識チャレンジ」、https://arxiv.org/abs/1409.0575）２０１５分類コンテストで優勝した。当時、研究者らは、ネットワークの層数が多いほど、多くの問題に対してパフォーマンスが向上する可能性があることを発見した。ただし、実際には、出力から遠く離れた初期層の重みを更新するのが難しいため（勾配消失問題）、これらのより深いアーキテクチャをトレーニングするのは困難であった。残差ブロックの導入により、１５２層のＲｅｓＮｅｔ１５２をトレーニングすることが可能になった。

【0052】

ＲｅｓＮｅｔアーキテクチャは、層間の通常の接続に加えて、スキップ層を追加することによって機能する（ジェブラド。「残差ニューラルネットの標準形式」、https://commons.wikimedia.org/wiki/File:ResNets.svg）。これにより、層ｌ－２の出力が中間の層ｌ－１を最初に通過する必要がなく、次の層ｌに直接影響を与えるため、バックプロパゲーション中の勾配が増加する。通常の接続のみでは消滅する勾配は、残差ブロックが存在する場合には十分に大きな値を持つ。

【0053】

ＲｅｓＮｅｔには、ＲｅｓＮｅＸｔ４やＷｉｄｅＲｅｓＮｅｔ５など、いくつかの亜種が存在する。本アプリケーションの場合、トレーニングの労力と予測パフォーマンスのバランスが適切に保たれる可能性があるため、５０層の元のＲｅｓＮｅｔアーキテクチャが選択される可能性がある。

【0054】

インセプションｖ３
インセプションネットワークの最初のバージョン（セゲディら。「コンピュータービジョンのインセプションアーキテクチャの再考」、https://arxiv.org/abs/1512.00567）（GoogLeNetとしても知られる、Szegedyら。「畳み込みを用いてより深く」（“Going Deeper with Convolutions”）、https://arxiv.org/abs/1409.4842）では、さまざまなスケールの機能を使用するために、さまざまなカーネルサイズの畳み込みを組み合わせるインセプションモジュールが導入された。さらに、補助分類器（小さな畳み込みニューラルネットワーク）が、いくつかの層間の正則化子として追加された。これらは、ネットワークが目に見えない画像をより適切に一般化するのに役立った。このアーキテクチャは、ＩＬＳＶＲＣ２０１４コンペティション（「ImageNet Large Scale Visual Recognition Challenge 2014」、https://image-net.org/challenges/LSVRC/2014/）で優勝した。

【0055】

第２のバージョンでは、より大きな畳み込みをより小さな畳み込みに因数分解することで、より高い計算効率が達成された。たとえば、５ｘ５カーネルを使用した畳み込みは、３ｘ３カーネルを使用した２つの畳み込みに分割されるため、パラメータの数が２５から１８に減る。

【0056】

Ｉｎｃｅｐｔｉｏｎｖ３には、以前のバージョンのアイデアが組み込まれており、さらに因数分解と補助分類器への変更を使用して改良されている。

【0057】

ＤｅｎｓｅＮｅｔ（高密度ネット）
ＤｅｎｓｅＮｅｔは、３つのモデルの中で最も新しいアーキテクチャである（フアンら。「Densely Connected Convolutional Networks」、https://arxiv.org/abs/1608.06993）。２０１７年のＣＶＰＲ１０カンファレンス（「CVPR 2017」、https://cvpr2017.thecvf.com/）で最優秀論文賞を受賞した。これは、高密度ブロック（Dense Blocks）を使用して単一レイヤーをスキップするというＲｅｓＮｅｔのアイデアをさらに一歩進めたものである。すべての高密度ブロックでは、各層が先行するすべての層から入力を受け取る。以前のすべてのレイヤーからの特徴マップが連結され、次のレイヤーの入力として使用される。したがって、ブロック内の最後の層は集合情報全体にアクセスできる。特に、１００以上、特に１２１の層を有するＤｅｎｓｅＮｅｔを本用途に使用できる。

【0058】

事前トレーニング
特定のタスクのために１つのデータセットでトレーニングすることによってニューラルネットワークが学習する特徴は、異なるデータセットを含む別のタスクにも意味があることが示されている。特にネットワークの最初の層は、より一般化可能な機能を学習することが知られている。これらの調査結果に基づいて、ImageNet(「ImageNet大規模視覚認識チャレンジ2014」、https://image-net.org/challenges/LSVRC/2014/）やCOCO（リンら。「Microsoft COCO：コンテキスト内の共通オブジェクト」、https://arxiv.org/abs/1405.0312）などの大規模なデータセットでトレーニングされたネットワークを取得し、次に対象となる第２のデータセットでその重みを微調整するのが一般的である。事前トレーニングされた重みを使用するこのアプローチは、第２のデータセットが非常に小さい場合でも効果的であることが示されている。

【0059】

したがって、本発明のトレーニング方法は、好ましい実施形態によれば、一般的な大きな画像データセットに対する事前トレーニングを使用し、それによって、モデルの重みを、ＩｍａｇｅＮｅｔまたはＣＯＣＯなどのそれぞれの画像データセット上で良好に機能する状態に初期化する。ここでは、ＩｍａｇｅＮｅｔは分類モデルのベンチマークの標準となっている。

【0060】

次に、セキュリティ文書（ポジティブトレーニング文書）として認識されるトレーニング画像の第１のサブセットのデジタル画像と、セキュリティ文書として認識されるトレーニング画像の第２のサブセットのデジタル画像を含むデータセットでトレーニングすることによって、それぞれの予測モデルアーキテクチャが微調整される。それぞれ紙幣やセキュリティ文書として認識されることはない。

【0061】

本発明の第１の態様の方法は、複数のセキュリティ文書の閉じたセットに対して実行できる。次に、人工知能ベースのニューラルネットワークは、セキュリティ文書の閉じたセットのすべてのセキュリティ文書に対してトレーニングされ得る。したがって、閉集合は、ニューラルネットワークがトレーニングされる特定の数のセキュリティ文書を含むか、またはそれらから構成され得る。これは、特定の数の異なる要素のみが存在する特定のタイプのセキュリティ文書にニューラルネットワークを使用する場合に有利である可能性がある。たとえば、セキュリティ文書の閉じたセットは、限られた数の通貨システムのさまざまな紙幣の種類によって決定できる。

【0062】

データ処理
すでに前述したように、入力データは、予測モデルで一度に使用される１つ以上、好ましくは８つ以上、１６つ以上、または３２つ以上のデジタル画像のバッチに関する。たとえば、３２個のデジタル画像を含むバッチは、特に上記のモデル例で有利なパフォーマンスを示す。

【0063】

本トレーニング方法およびコピー防止方法の好ましい実施形態によれば、それぞれのバッチのデジタル画像は、重みに有利な影響を与えるために、共通のサイズ、例えば、（６４，１２８）、（１２８，２５６）、（１９２，３８４）、（２５６，５１２）、（２９９，２９９）にサイズ変更され得る。一般的な画像データセットを使用した事前トレーニングが実行されている場合、サイズ変更には、ＩｍａｇｅＮｅｔやＣＯＣＯなどの画像データセットの平均標準偏差を使用することが好ましい。換言すれば、本発明のトレーニングデータがトレーニング前の画像データ資産と同様に標準化されている場合、事前トレーニングされた重みは本発明のトレーニングデータに対してうまく機能する。

【0064】

本発明の追加的または代替的な実施形態によれば、トレーニング画像の数は、適切な拡張、例えば、パラメータの明るさ、コントラスト、彩度および／または色相を含むことができるＣｏｌｏｒＪｉｔｔｅｒ拡張、ＲａｎｄｏｍＡｆｆｉｎｅ拡張、ＧｕａｓｓｉａｎＢｌｕｒ拡張、を使用して人為的に増加できる。ＲａｎｄｏｍＡｆｆｉｎｅ拡張には、度数、平行移動、スケール、せん断、補間、および／または塗りつぶしのパラメータが含まれる場合がある。ＧｕａｓｓｉａｎＢｌｕｒ拡張には、カーネルサイズおよび／または標準偏差のパラメータが含まれる場合がある。より具体的には、トレーニング時に、トレーニング画像の一部またはすべてに小さな摂動を適用できる。これらの摂動の強度は、事前定義された範囲からランダムに選択される。この範囲は、摂動がグランドトゥルースを変更するほど強力にならないように慎重に定義される。つまり、セキュリティ文書として許容されると考えられる画像、特に紙幣は、摂動を適用した後も許容可能なままになる。

【0065】

したがって、セキュリティ文書として認識可能であるとラベル付けされた拡張デジタルトレーニング画像には、次の変更／変換範囲が含まれる可能性がある：
ＣｏｌｏｒＪｉｔｔｅｒ拡張。これには、明るさ（例：±５％の範囲）、コントラスト（例：±８％の範囲）、彩度（例：±８％の範囲）および／またはパラメータの変更が含まれる場合がある。色相（例：±６％の範囲）；
ＲａｎｄｏｍＡｆｆｉｎｅ拡張。パラメータの度数（例：０．０５度）、移動（たとえば、水平方向または垂直方向の画像サイズの０％から１％の間）、スケール（例：サイズを１％ずつ拡大または縮小する）、シアー（たとえば、－０．５度から＋０．５度の間でｘ軸に平行にせん断する）、補間（例：最近傍補間）、および／またはフィル（白）の変更が含まれる場合がある；
ＧｕａｓｓｉａｎＢｌｕｒの拡張。これには、カーネルサイズ（例：５ｘ５）および／または標準偏差（例：０．３）のパラメータの変更が含まれる場合がある。前述の変換は、ｔｏｒｃｈｖｉｓｉｏｎフレームワークを使用して適用できる。

【0066】

しかしながら、本実験の結果によれば（例のセクションを参照）、そのような人為的な増強はトレーニングを改善しない。代わりに、画像拡張をモデルの評価に使用することもできる。

【0067】

０．００５、０．０１、０．０５、または０．１などの適切な学習率を使用して、予測モデルをトレーニングできる。言い換えれば、学習率は、モデルの学習プロセスを最適化するために使用されるステップサイズを定義する。したがって、ステップサイズが小さいほど、モデル学習プロセスの最適化がより早く実行され、全体的なパフォーマンスは向上するが、全体的な計算負荷は高くなる。今回の実験によれば、ステップサイズ０．００５が最高のパフォーマンスを示した。

【0068】

オプティマイザ
一般に、ニューラルネットワークのトレーニングは最適化問題である。この最適化は通常、さまざまなオプティマイザを介して実行できるが、その中で確率的勾配降下法が最もよく知られている。通常、オプティマイザは、単一バッチの損失関数の値を計算し、この関数の勾配を決定し、損失を最小化する方向に向かって（学習率によって定義される）ステップを実行することにより、モデルの重みを繰り返し更新する。例えば、Adam (Kingma et al. 「Adam: A Method for Stochastic Optimization」、https://arxiv.org/abs/1412.6980）オプティマイザを、本発明のトレーニング方法に適したオプティマイザとして使用できる。これは確率的勾配降下法に基づいて構築されており、各パラメータに個別の学習率があり、トレーニングの進行状況に応じてこれらを調整する。

【0069】

ハイパーパラメータ検索
本発明の追加または代替の好ましい実施形態によれば、機能モデルをベースラインとして確立した後、モデルの性能を最適化することが好ましい。これは、トレーニング中にさまざまなパラメータの組み合わせを試すことで実行できる。

【0070】

加えて、または別個に、本発明のトレーニング方法は、数字など（例えば、紙幣の場合、額面金額、文字または単語）の適切なテキストベースの分類器を実装し得るし、および／または、画像分類器のみのアンサンブル、または画像とテキストベースの分類器のアンサンブルを使用するなど、アンサンブル戦略とモデルを実装し得る。特にアンサンブルを使用すると、パフォーマンスが向上し、より堅牢になり得る。

【0071】

本発明のトレーニング方法は、一般に、精度、適合率（「陽性的中率」とも呼ばれる）、再現率（「感受性」とも呼ばれる）、Ｆ１およびマシュー相関係数（ＭＣＣ）などの１つまたは複数の一般的な指標を使用して評価される。

【0072】

混同行列は通常、モデルのパフォーマンスの全体的なビューを提供する。それは、混同行列は、分類器の予測品質を記述し、かつ、グラウンドトゥルース（ターゲット）の正および負に分類されたデジタル画像と、予測（モデル）の正および負に分類されたデジタル画像とを表示することによって、正しい予測と誤った予測がどこで発生するかを示すためである。よって、混同行列は、真陽性（ＴＰ）、偽陽性（ＦＰ）、真陰性（ＴＮ）、および偽陰性（ＦＮ）に分類されたデジタル画像の数を示す。

【0073】

各評価メトリックは、混同行列を１つの値で要約することを試みる。

【0074】

評価指標の「精度」は、正しい予測の割合に関係する。つまり、精度＝（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ）となる。バランスの取れたクラス、つまりポジティブクラスとネガティブクラスのデジタル画像の数が同じ場合、精度は全体的なパフォーマンスの適切な尺度になる。

【0075】

評価指標「再現率」は、モデルによって予測できる真陽性の割合に関連する。言い換えると、再現率＝ＴＰ／（ＴＰ＋ＦＮ）となる。

【0076】

評価指標の「精度」は、陽性を予測する場合の真陽性の割合に関連する。つまり、精度＝ＴＰ／（ＴＰ＋ＦＰ）となる。

【0077】

評価指標「Ｆ１」は、単一の指標における適合率と再現率の組み合わせに関連しており、適合率と再現率の調和平均として定義される。言い換えると、Ｆ１＝（２ｘ精度ｘ再現率）／（精度＋再現率）となる。

【0078】

評価指標「マシューズ相関係数（ＭＣＣ）」は、クラスの不均衡に対するロバスト性を提供し、いくつかの望ましいモデル特性が１つの数値にマージされる。値は［－１，＋１］の間で、－１が最悪で＋１が最高である。言い換えると、ＭＣＣ＝［（ＴＰｘＴＮ）－（ＦＦＰｘＦＮ）］／［（ＴＰ＋ＦＰ）ｘ（ＴＰ＋ＦＮ）ｘ（ＴＮ＋ＦＰ）ｘ（ＴＮ＋ＦＮ）］となる。

【0079】

以下の例のセクションで詳しく説明するように、紙幣を分類するために設定された実験トレーニングでは、入力画像サイズ（６４，１２８）、バッチサイズ３２、学習率０．００５、および標準の変換を組み合わせたＲｅｓＮｅｔ５０のアーキテクチャが、最高のパフォーマンスを示した。

【0080】

本発明により構成されたコピー防止方法は、安全性に関して有利に改善される。デジタル画像の分類の予測に基づいて実行されるデジタル画像の特性はアプリオリに決定されていないため、デジタル画像がどのような基準に基づいてデジタル画像が分析されるのかは、一般には知られておらず、したがって可能性のある反適合者にも知られていない。したがって、偽造者は、コピー防止を回避したりコピーを容易にしたりするデジタル画像を設計できない。

【0081】

本発明の第１の態様に関して開示されたすべての特徴および実施形態は、結果として得られる組み合わせを条件として、単独で、またはその好ましい実施形態のそれぞれを含む本発明の第２から第５の態様のひとつと、またはそれらの（サブ）コンビネーションで組み合わせることができる。特徴のいくつかは当業者にとって合理的である。

【0082】

第２の態様によれば、少なくとも１つのセキュリティ文書Ａのコピー防止のための、コンピュータによって実行される方法が提供される。

【0083】

この方法は、デジタルサンプル画像Ｃ１を提供することを含んでもよい。この方法はまた、デジタルサンプル画像を第１のカテゴリまたは第２のカテゴリに分類するために人工知能ベースのニューラルネットワークを適用することを含んでもよい。ニューラルネットワークは、本明細書で前述した方法に従ってトレーニングできる。

【0084】

デジタルサンプル画像の少なくとも一部の複製が先入観のない人間の観察者によって少なくとも１つのセキュリティ文書または複数のセキュリティ文書を表すとみなされ得るとニューラルネットワークが判断した場合、デジタルサンプル画像は第１のカテゴリに分類され得る。この予測は、予測モデルの出力スコアのしきい値に関連する。閾値が０．５の場合、０．５以上のスコアを獲得したデジタルサンプル画像が最初（第１）のカテゴリに分類される。あるいは、閾値が０．１以上、０．１５以上、０．２以上、０．２５以上、０．３以上、０．３５以上、０．４以上、０．４５以上の場合で、スコアがそれぞれ少なくとも０．１以上、０．１５以上、０．２以上、０．２５以上、０．３以上、０．３５以上、０．４以上、または０．４５以上の場合、デジタルサンプル画像は第１のカテゴリに分類される。セキュリティ文書として認識できる文書、特に紙幣が複製されない可能性を高めるために、閾値を下げることができる。ただし、この場合、デジタル画像の数が増加するというトレードオフがあり、これらは一般にセキュリティ文書、特に紙幣として認識される可能性が低いと考えられている。不正コピー防止の数を減らすために、人工知能検出をプレフィルタとして使用できる。これにより、ユーリオンやオムロンリングなどの、コピー防止画像のセキュリティ機能を識別するための適切な検出器を使用して、後のステップで元のデジタル画像の一部のみを認証する必要がある。言い換えれば、最初の人工知能検出（認証セキュリティ機能を使用しない）で第１のカテゴリに分類されたデジタル画像のこの部分のみが、共通の画像セキュリティ機能を使用して第２のステップで認証される。第２の認証ステップでコピー防止画像セキュリティ機能が識別された場合、コピープロセスは防止される。画像セキュリティ機能の２段階目の認証でそれぞれの画像セキュリティ機能が識別されない場合、コピープロセスは阻止されない。したがって、人工知能検出をプレフィルタとして組み合わせ、その後、第１ステップのポジティブな部分にのみコピー防止認証を適用する好ましい実施形態は、コピー防止画像セキュリティ機能を含まない、これらのデジタル画像に関するコピー防止の部分を削減することを容易にする。同時に、人工知能の検出はその後のコピー防止画像セキュリティ機能の認証よりも時間がかからないため、全体の認証時間が短縮される。さらに、人工知能プレフィルタは、コピー防止画像セキュリティ機能を違法に備えているが、セキュリティ文書として認識可能とはみなされていない文書の複製を阻止しない。

【0085】

代替案では、デジタルサンプル画像のどの部分についても、先入観のない人間の観察者によって複製が少なくとも１つのセキュリティ文書または複数のセキュリティ文書を表すとみなされる可能性がないとニューラルネットワークが判断した場合、デジタルサンプル画像は第２のカテゴリに分類され得る。この予測は、予測モデルの出力スコアのしきい値にも関係する。しきい値が０．５の場合、０．５未満のスコアを受け取ったデジタルサンプル画像は第２のカテゴリに分類される。あるいは、閾値が０．１以上、０．１５以上、０．２以上、０．２５以上、０．３以上、０．３５以上、０．４以上、０．４５以上の場合で、スコアがそれぞれ０．１未満、０．１５未満、０．２未満、０．２５未満、０．３未満、０．３５未満、０．４未満、０．４５未満の場合、デジタルサンプル画像は、第２のカテゴリに分類される。

【0086】

さらに、この方法は、ニューラルネットワークがデジタルサンプル画像を第１のカテゴリに分類する場合、デジタルサンプル画像の複製を防止するステップを含んでもよい。

【0087】

本出願の文脈内では、デジタルサンプル画像はサンプル文書Ｃのデジタル画像を指す。例えば、複製を禁止すべきか許可すべきかを決定すべきサンプル文書があり得る。明らかに、先入観のない人間の観察者がサンプル文書のどの部分もセキュリティ文書を表しているとみなし得るのであれば、複製は避けるべきである。次に、（オリジナルの）セキュリティ文書として不適切または違法に使用される可能性のある候補の複製を回避するための効果的な手段が提供される。

【0088】

したがって、サンプル文書のデジタル画像を取得してデジタルサンプル画像を得ることができる。このデジタルサンプル画像は、ニューラルネットワークに提供される。ニューラルネットワークは、前述の詳細に従ってトレーニングされ得るため、少なくとも１つのセキュリティ文書のデジタル画像を基準として認識する。次に、ニューラルネットワークは、デジタルサンプル画像の複製が、先入観のない人間の観察者によってセキュリティ文書またはその複数を表すとみなされるかどうかを判断できるようにできる。このプロセス中に、ニューラルネットワークはデジタルサンプル画像と基準画像の間の差異を考慮する場合がある。これらの違いは存在する可能性があるが、ネットワークは、少なくとも一定の許容レベルで、先入観のない人間の観察者によってデジタルサンプル画像の少なくとも一部の複製がセキュリティ文書を表すとみなされる可能性があると判断する可能性がある。この条件が、少なくとも一定の許容レベルまで真であると判定された場合、デジタルサンプル画像は第１のカテゴリに分類され得る。これは、第１のカテゴリは悪用される可能性のあるデジタルサンプル画像を含む、またはそれらから構成されることを意味する。したがって、第１のカテゴリに分類されるデジタルサンプル画像については、現状の方法で実現できる不正利用を防止するために、複製を防止できる。複製の防止には、デジタルサンプル画像のハードコピーが取得できないようにデジタルサンプル画像の処理を防止することが含まれる場合がある。加えて、または代わりに、防止措置には、デジタルサンプル画像の基礎となるデータの処理、変換、または保存を防止することも含まれ得る。

【0089】

本方法の文脈内では、セキュリティ文書は、紙幣、小切手、証書、切符、パスポート、または航空券のうちの１つであり得る。これらの種類の文書の場合、それぞれのデジタル画像を不正に複製すると、経済的理由とセキュリティ関連の両方の理由で重大なリスクが生じる。これらのリスクは、本明細書で前述したコピー防止の方法によって回避されるか、少なくとも軽減される。

【0090】

本発明によりトレーニングされたニューラルネットワークがデジタルサンプル画像を第１のカテゴリに分類する場合、デジタルサンプル画像の複製を阻止することは、禁止手段の起動を含むことができる。禁止手段は、ソフトウェアまたはハードウェアで実装された構造とできる。禁止手段は、プリンタや複写機等の複製手段によるデジタルサンプル画像の複製を禁止するものであってもよい。禁止手段は、データの保存やデータの変換処理を禁止するように構成することもできる。これは、マスタ／スレーブシステムによって達成でき、禁止手段は、そのようなデバイスまたは共通のデータ処理システムに含まれるデータ処理ユニットを制御できる。さらに、または代わりに、デジタルサンプル画像を表すデータは、複製装置、すなわちプリンタまたは複写機によって読み取れない、または処理できないように、禁止手段によって修正されてもよい。データを修正することは、マーク／属性／フラグを含むようにデータを修正することを含むことができ、マーク／属性／フラグはデータの複製を防止する。

【0091】

デジタルサンプル画像は、セキュリティ文書のデジタル画像と比較して変更されている可能性がある。デジタルサンプル画像は、特に、セキュリティ文書のデジタル画像と比較して劣化する可能性がある。変更されたデジタルサンプル画像は、遠近角、基調的な照明、色合い、折り目、またはしわのうちの少なくとも１つに関して、セキュリティ文書のデジタル画像とは異なる場合がある。デジタルトレーニング画像の文脈内で本明細書に記載される変更（同義語：劣化または修正）に関して説明される詳細は、変更されたデジタルサンプル画像にも同様に適用され得る。同様に、変更されたデジタルトレーニング画像の場合と同様に、デジタルサンプル画像は、さまざまな理由、特に劣化により最適ではない可能性がある。さらに、照明の制限または画像取得手段の最適化されていない配置により、画像取得が最適化されない可能性がある。さらに、サンプル文書自体は、例えば機能、特にグラフィックデザイン機能、の流通または交換により、セキュリティ文書とは異なる場合がある。したがって、そのような違いはデジタルサンプル画像自体に存在する可能性がある。しかし、それに応じてニューラルネットワークがトレーニングされると、先入観のない人間の観察者によってデジタルサンプル画像の複製がセキュリティ文書に関連するとみなされるかどうかを判断できる可能性がある。言い換えれば、ニューラルネットワークは、基準と比較して変更されたデジタルトレーニング画像を使用してトレーニングされている可能性があるため、ニューラルネットワークは、変更されたデジタルサンプル画像と基準との間に存在する差異を補うことができる。ニューラルネットワークは、先入観のない人間の観察者が、基準との関係でデジタルサンプル画像の少なくとも一部の複製を、どのようにみなす考慮するかを評価することに適合するよう、変更されたデジタルサンプル画像と基準との間の差異に適切にアクセスするように構成されている。

【0092】

セキュリティ文書は表面と裏面を含む場合がある。次に、デジタルサンプル画像の少なくとも一部の複製が先入観のない人間の観察者によって、セキュリティ文書の１つまたは複数のセキュリティ文書の表面および／または裏面を表すとみなされる可能性があるとニューラルネットワークが判断した場合、デジタルサンプル画像は第１のカテゴリに分類され得る。あるいは、デジタルサンプル画像のどの部分も先入観のない人間の観察者によって、複製が、セキュリティ文書または複数のセキュリティ文書の表側および／または裏側を表しているとみなされ得ないとニューラルネットワークが判断した場合、デジタルサンプル画像は第２のカテゴリに分類される。

【0093】

ニューラルネットワークをトレーニングするための方法において提供されるグランドトゥルースは、第１の部分範囲および第２の部分範囲を含む、またはそれらからなる許容レベルの範囲を表すことができる。そして、デジタルサンプル画像の少なくとも一部の複製が先入観のない人間の観察者によって、少なくとも１つのセキュリティ文書または複数のセキュリティ文書を表すとみなされ得るという許容レベルを、第１の部分範囲に従ってニューラルネットワークが決定する場合に、デジタルサンプル画像が第１のカテゴリに分類される限りにおいて、コピー防止の方法を修正できる。

【0094】

あるいは、デジタルサンプル画像のどの部分も、先入観のない人間の観察者によって、少なくとも１つのセキュリティ文書または複数のセキュリティ文書の複製を表すとみなされ得ないという許容レベルを、第２の部分範囲に従ってニューラルネットワークが決定する場合に、デジタルサンプル画像が第２のカテゴリに分類され得る。このシナリオでは、第１の部分範囲が第２の部分範囲よりも大きい可能性がある。

【0095】

決定された許容レベルは、出力スコアの閾値と相関関係にあり得る。すなわち、閾値の数値が高くなるほど、数値の許容レベルは低くなり、その逆も同様である。

【0096】

許容レベルは、変更されたデジタルサンプル画像と、それぞれの数の人間の観察者がこれら（複製）をどの程度区別するかについての基準との間の類似性メトリックを記述すると考えることができる。

【0097】

これは、デジタルサンプル画像の複製が先入観のない人間の観察者によってセキュリティ文書を表すとみなされるかどうかについて、複数の異なる許容レベルを決定できるようにニューラルネットワークをトレーニングできることを意味する。有利なことに、許容レベルの範囲は、デジタルサンプル画像の分類メカニズムに関して非対称に分散される。換言すれば、許容レベルが非常に低い場合にのみ、デジタルサンプル画像は、複製が必ずしも阻止されない第２のカテゴリに分類されてもよい。許容レベルのより大きな部分範囲に従って、デジタルサンプル画像は、複製が防止されるように、代わりに第１のカテゴリに分類され得る。言い換えると、第１の部分範囲が第２の部分範囲より大きい場合、少なくとも、さまざまな許容レベルに関して少なくともデジタルサンプルの均一な分布を仮定すると、第１のカテゴリに分類されるデジタルサンプル画像の数と第２のカテゴリに分類されるデジタルサンプル画像の数の間に非対称があり得る。

【0098】

単純なシナリオでは、先入観のない人間の観察者は、デジタルサンプル画像の複製を、０～１の範囲の５０％許容レベルでセキュリティ文書を表すとみなし得る。第１の部分範囲が第２の部分範囲より大きいと仮定すると、このデジタルサンプル画像は、５０％の許容レベルにより、第１のカテゴリに分類される。部分範囲間の閾値は、特に、非常に低く決定でき、例えば、０から１の範囲では０．３対０．７、さらに０から１の範囲では０．２対０．８、例えば０から１の範囲では０．１対０．９であり、許容レベルの同じ範囲では、例えば０．０１対０．９９である。

【0099】

決定された許容レベルに応じてデジタルサンプル画像を第１のカテゴリまたは第２のカテゴリに分類することに関する非対称分布も、偽陰性イベントと比較した偽陽性イベント間の割合の非対称を引き起こす可能性がある。偽陽性の数は偽陰性の数よりも多く、特にはるかに多くなる可能性がある。ここで、偽陽性とは、観察者が実際には、複製を、セキュリティ文書を表さないとみなしているにもかかわらず、デジタルサンプル画像の少なくとも一部の複製が、先入観のない人間の観察者によってセキュリティ文書を表しているとみなされるとニューラルネットワークが判断する構成を指す。偽陰性とは、先入観のない人間の観察者が、実際には、少なくともデジタルサンプル画像の一部の複製を、セキュリティ文書を表すとみなすのであろうが、先入観のない人間の観察者が、少なくともデジタルサンプル画像の一部の複製を、セキュリティ文書を表すとみなさない、とニューラルネットワークが判断する構成を指し得る。偽陽性と偽陰性とに非対称性があるその背後の理由は、第１の部分範囲と第２部分範囲との間の許容レベルに関する閾値にあり得る。これらの部分範囲間の閾値許容レベルが低い場合、デジタルサンプル画像はむしろ第１のカテゴリに分類される。第２のカテゴリに分類されるのはまれなケースである。したがって、偽陰性の数は、偽陽性の数よりも少なく、特にはるかに少なくなる。

【0100】

許容レベルに関する第１および第２の部分範囲の特定のサイズは、ニューラルネットワークに適用されたトレーニングプロセスの結果であり得る。

【0101】

あるいは、ニューラルネットワークは、第１および第２の部分範囲が、許容レベルの全体範囲に関して基本的に同じサイズとなるようにトレーニングされてもよい。この場合、セキュリティ文書のコピー防止のためにニューラルネットワークを使用する前または使用中に、それぞれの閾値許容レベルを設定することによって、非対称性を手動で導入できる。閾値許容レベルの設定または適応は、例えば、デジタルサンプル画像の分類によって動機付けられることがある。第２のカテゴリが、複製を防止すべきデジタルサンプル画像を含む、またはそれらから構成される場合、閾値許容レベルは、それに応じて適応され得る。

【0102】

別の代替例では、閾値許容レベルは、ニューラルネットワーク自体がその固有の機械学習能力に基づいて適応され得る。

【0103】

少なくとも１つのセキュリティ文書のコピー防止のための方法は、コードに基づくことができ、方法のそれぞれのコードは、１００ｋＢから５０ＭＢの間、特に２００ｋＢから１０ＭＢの間、さらに特に２００ｋＢから１０ＭＢの間、さらに特に５００ｋＢと１ＭＢ、のバイナリサイズを有し得る。コードは同等の小さいサイズであるため、コードは、スキャン装置、プリンタ、コピー装置などの非ハイエンドデータ処理装置にも実装できるという利点がある。

【0104】

少なくとも１つのセキュリティ文書のコピー防止のための方法は、６０秒未満の時間内、特に１００ミリ秒から３０秒の間の時間内、特に１秒未満の時間内、で実行可能であるように構成できる。このように構成された方法は、デジタル画像の印刷など、リアルタイムでの通常のデータ処理手順中にも、許容可能な時間を費やして有利に適用できる。

【0105】

特に、コピー防止のための方法は、印刷プロセスなどの複製プロセスを実質的に遅くしない速度で実行可能であってもよい。この場合、本発明の第２の態様による方法の処理は、印刷装置の機械的待ち時間内で行うことができる。例えば、一実施形態によれば、プリンタ、例えばインクジェットプリンタを使用する場合、これは、コピー防止のために複製／印刷動作が停止される前に、デジタル画像の数ラインだけが複製／印刷され得ることを意味し得る。それでもなお、この実施形態は本発明の目的を達成する。本発明の第２の態様に関して開示されたすべての特徴および実施形態は、単独で、または好ましい実施形態のそれぞれを含む本発明の第１または第３から第４の態様のいずれかと（サブ）組み合わせて組み合わせることができる。得られる特徴の組み合わせは、当業者にとって合理的である。

【0106】

本発明の第３の態様によれば、通信手段およびデータ処理ユニットを備える、または通信手段およびデータ処理ユニットからなる紙幣検出器が提供される。通信手段は、デジタルサンプル画像を受信し、そのデジタルサンプル画像をデータ処理ユニットに提供するように構成され得る。データ処理ユニットは、少なくとも１つのセキュリティ文書のコピー防止のための方法を実行するように構成され得る。紙幣検出器は、デジタルサンプル画像の複製を防止するように構成できる。

【0107】

本発明の紙幣検出器は、特に、コピー機やプリンタなどのサンプル文書を複製するための装置に実装できる。したがって、紙幣検出器は、デジタルサンプル画像が前述した第１のカテゴリに分類される場合、サンプル文書またはデジタルサンプル画像の複製処理を有利に防止できる。

【0108】

本発明の紙幣検出器はソフトウェアで実装できる。紙幣検出器は、デジタルサンプル画像を複製するための装置内に含まれていてもよい。あるいは、紙幣検出器はクラウドベースまたはサーバベースのアプリケーションとして構成されてもよい。

【0109】

代替案によれば、紙幣検出器は少なくとも部分的にハードウェアで実装されてもよい。この場合、紙幣検出器の機能の少なくとも一部は、ＣＰＵまたはＣＰＵに結合されたネットワーク通信装置などのハードウェアベースのデータ処理コンポーネントによって実装され得る。ニューラルネットワークでさえ、量子コンピューティングデバイスを使用するなど、少なくとも部分的にハードウェアベースで実装することもできる。あるいは、ニューラルネットワークは、例えばＣＰＵによって実行されるプロセッサコマンドによってソフトウェアで実装されてもよい。

【0110】

本発明の紙幣検出器は、全体がデジタルコードとして実現され、コンピュータ言語で書かれてもよい。したがって、紙幣検出器は、複製装置、特に複写機やプリンタのファームウェアに容易に組み込むことができる。さらに、紙幣検出器の更新は、そのようなデバイスのアップグレードされたファームウェアバージョンを提供することによって簡単に実現できる。あるいは、そのようなデバイスは紙幣検出器のクライアント部分のみを含み、紙幣検出器自体はクラウドサービスまたはサーバ内に含まれていてもよい。次に、クライアント部分は、クラウドまたはサーバと通信して、クライアントに存在するローカルデジタルサンプル画像に関してクラウド内またはサーバ上で紙幣検出器を実行するように構成され得る。この場合、デジタルサンプル画像に関するデータをクラウドやサーバに転送する必要がある場合がある。

【0111】

本発明の紙幣検出器は、デジタルサンプル画像が第１のカテゴリに分類される場合に、デジタルサンプル画像を真正性に関して評価するようにさらに構成され得る。デジタルサンプル画像は、少なくとも１つのセキュリティ文書に含まれる少なくとも１つのセキュリティ機能、すなわちコピー防止のための画像セキュリティ機能に関して評価され得る。特に、オムロンリングとも呼ばれる、いわゆるユーリオン（Eurion constellation）などの特定のコピー防止セキュリティ機能がこの点で使用される場合がある。この実施形態は、第１のカテゴリに分類されるデジタル画像、すなわちセキュリティ文書を表すと考えられるデジタル画像が、実際にコピーが禁止されるセキュリティ文書を表すかどうかをさらに検証できるため有利である。換言すれば、このような好ましい本発明の実施形態は、第１のカテゴリに分類されたデジタル画像が「真の」ポジティブなセキュリティ文書であるかどうかのクロスチェックを提供し、したがって、非セキュリティ書類に違法に適用されるであろう画像セキュリティ機能の悪用を防止する。認証プロセスは、プレフィルタＡＩ検出プロセスと比較して一般に時間がかかることを考慮すると、好ましい実施形態は、真陽性ヒットをクロスチェックすることを可能にするだけでなく、画像の認証プロセスとして全体的な時間を節約することもできる。セキュリティ機能は、第１のカテゴリに分類されたデジタル画像のサブセットに対してのみ実行する必要がある。

【0112】

本発明のコピー防止方法は、特定のコピー防止セキュリティ機能（ユーリオン）に（のみ）依存しないため、人工知能ニューラルネットワークも、プリンタや複写機に実装されている既知の機構とは異なる。これらには、そのような特定のコピー防止セキュリティ機能がサンプルドキュメントに存在する必要がある。しかしながら、第１に、この方法は真の物理的サンプル文書に依存せず、その代わりにデジタルサンプル画像に依存し、第２に、これらのデジタルサンプル画像は、それぞれのデジタルサンプル画像に含まれる視覚的特徴のかなり広範な範囲に基づいて分類できるため、コピー防止のための本発明の方法の有用性ははるかに広い。

【0113】

それとは対照的に、本発明の第１の態様による人工知能ベースのニューラルネットワークをトレーニングする方法および本発明の第２の態様による少なくとも１つのセキュリティ文書のコピー防止方法は、セキュリティ文書内に含まれる任意のセキュリティ機能には依存しない。よって、セキュリティ文書を認証しない。したがって、特定のセキュリティ機能、特にコピー防止のための画像セキュリティ機能の誤用または改変は、本発明のコピー防止方法に影響を及ぼさない。前述したように、本発明は、一般的な認証方法と比較して、文書をさらに処理するか、特にコピー、印刷、その他の方法で複製するかどうかの分類を、コピー防止のコードのための完全な認証ステップを実行するよりも迅速に実行できるという利点を有する。したがって、より迅速なニューラルネットワークベースの方法を最初に適用して、デジタルサンプル画像の複製がセキュリティ文書であると一般にみなされるかどうかを評価できる。

【0114】

デジタルサンプル画像の複製が一般にセキュリティ文書として知覚可能であると考えられるかどうかを評価する人工知能手法を、それぞれのセキュリティ機能に対してその後に適用される認証方法と組み合わせて順次適用すること、すなわち、画像セキュリティ機能人為的な方法の最初のステップでセキュリティ文書を表すと分類された文書に対してのみ実行されるコピーの防止により、全体的な時間が短縮される。

【0115】

デジタルサンプル画像の複製が一般にセキュリティ文書として認識可能であるとみなされるかどうかを評価する人工知能手法の最初のステップでは、一般に、調査されたデジタルサンプル画像の大部分は、人間によるものとして第２のカテゴリに分類される可能性がある。観察者は、デジタルサンプル画像のいかなる部分の複製もセキュリティ文書とはみなさない。本発明の好ましい方法によれば、第１ステップにおいて、これらの文書が一般にセキュリティ文書として認識されることが本発明のコピー防止方法によってすでに除外されているため、この大部分については認証方法を実行する必要すらない。したがって、プロセスを順次適用することにより、デジタルサンプル画像のセット全体の完全な認証が実行される場合と比較して時間を節約できる。

【0116】

さらに、コピー防止コードの使用によって文書デザインが歪められることがなく、コピー防止コードの不正適用によるハッキングの危険性も低減される。原則として、デジタルサンプル画像に関する評価は、コピープロテクトのセキュリティ機能／コードとは独立している。したがって、デジタルサンプル画像が第１のカテゴリに分類される場合、複製は防止されるべきである。

【0117】

基礎となるセキュリティ文書のセキュリティ機能または特性が、そのようにマークされることを意図していない文書上で悪用された場合、追加の局面により時間の節約も実現され得る。セキュリティ機能またはセキュリティ文書の特性の使用は、認可された当局に制限される場合がある。特徴または特性が、セキュリティ文書として使用することを意図していない文書上で、または文書とともに違法な方法で使用された場合、本発明の方法は、最初のステップで、プレフィルタとしてのＡＩ検出方法を使用して、この文書のデジタル画像が以下の内容を含んでいるかどうかを評価する。コピー防止のために違法に適用された画像セキュリティ機能は、第１のカテゴリ（セキュリティ文書として認識可能）または第２のカテゴリ（セキュリティ文書として認められない）に分類される。デジタル画像が第２のカテゴリに分類される場合、本発明の方法は後続の認証プロセスを適用しないため、コピー防止のために不法に適用された画像セキュリティ機能は複製プロセスを停止できない。セキュリティ文書（第１のカテゴリに分類される）として認識される可能性のあるデジタル画像に対してのみ、コピー防止のための画像セキュリティ機能に対する後続の認証プロセスが適用され、複製プロセスの防止につながる。しかしながら、先入観のない人間であれば、このデジタル画像のデジタル複製を、セキュリティ文書を表すとみなし得るので、これは有利である。したがって、第１のカテゴリに分類される誤使用ケースについてのみ、時間のかかる認証プロセスを実行し、第２のカテゴリに分類される誤使用ケースについては、時間のかかる認証プロセスを完全に回避できる。

【0118】

認証を含む文書のより高度な評価を提供するために、紙幣検出器は、コピー防止のためのコードを含む１つまたは複数のセキュリティ機能を評価するための認証手段をさらに備えることができ、デジタルサンプル画像の真正性を判定するように構成できる。偽造文書に基づくデジタル画像を識別するために基準と比較する。例えば、追加の認証手段として、紙幣検出器は、オムロンリングとも呼ばれるいわゆるユーリオンなど、コピー防止のための１つ以上のコードに関してデジタルサンプル画像を評価するように構成できる。追加の認証ステップにより、文書にコピー防止用の１つ以上のコードが含まれていないと判定された場合でも、さらなる処理は停止され、文書はさらに偽造文書として分類される可能性がある。この場合、コピー保護のためのコードの認証方法に加えて本発明のコピー防止方法を組み合わせると、コピー保護のためのコード、例えばユーリオンが違法にハッキングされ、非合法的に非セキュリティ書類に適用される場合にさらなる利点がもたらされる。従来技術のコピー防止方法によれば、文書の性質に関係なく、すなわち先入観のない人間の観察者が文書の（デジタル）画像またはその複製をセキュリティ文書とみなすかどうかにかかわらず、文書に不法に適用されたコピー防止コードが認証され、コピー操作が停止される。これとは対照的に、本発明の第２の局面のコピー防止方法は、デジタル画像を第１のカテゴリに分類する、または第２のカテゴリに分類することを必要とする。第１のカテゴリに分類することは、少なくとも一定の許容レベルまでは、画像またはその複製が、先入観のない人間の観察者によって、画像またはその複製とみなされ得ることを意味する。第２のカテゴリに分類することは、少なくとも一定の許容レベルまでは、画像またはその複製が、先入観のない人間の観察者によって、画像またはその複製とみなされ得ないことを意味する。デジタル画像が第２のカテゴリに分類される場合、たとえユーリオンが追加の認証方法で認証されたとしても、コピー防止は行われない可能性がある。したがって、不法に適用されたコピー保護コードは、不法なコピー保護を許可しない。

【0119】

本発明の第２の態様のコピー防止方法を従来技術の認証方法と組み合わせることの別の利点は、偽造文書の（デジタル）画像がコピー防止のコードを持たない場合にコピーを防止でき、したがって、複製が不可能になることである。先入観のない人間の観察者によってセキュリティ文書と見なされる場合には、従来技術の認証方法によって阻止される可能性がある。

【0120】

したがって、本発明の第１の態様による人工知能ベースのニューラルネットワークをトレーニングする方法と、本発明の第２の態様による少なくとも１つのセキュリティ文書のコピー防止方法は、偽造文書に基づくデジタル画像を識別して、それらの画像の複製を防止するために、少なくとも１つのセキュリティ機能の信頼性を評価する方法とともに、順次または同時に適用できる。逐次適用の場合、認証方法は、人工知能ベースのニューラルネットワークの適用に基づく本発明のコピー保護方法に続いて適用される。

【0121】

紙幣検出器は、モバイルデバイスで一般的に使用される下位のＡＲＭタイプのマルチコアＣＰＵまたは同様のＣＰＵで構成できる。デバイスは、４ＭＢから８ＧＢの範囲内、さらに特に１６ＭＢから２ＧＢの範囲内、さらに特に６４ＭＢから５１２ＭＢの範囲内、さらに特に１２８ＭＢから２５６ＭＢの範囲内のメインメモリをさらに備えることができる。少なくとも１つのセキュリティ文書のコピー防止方法は、指定されたサイズのメインメモリを使用して、ローカルまたはリモート方式で指定されたＣＰＵタイプ上で実行可能であるように構成できる。

【0122】

本発明の第３の態様に関して開示されたすべての特徴および実施形態は、単独で、または好ましい実施形態のそれぞれを含む本発明の第１、第２、および第４の態様のいずれかと（サブ）組み合わせて組み合わせることができる。得られる特徴の組み合わせは、当業者にとって合理的である。

【0123】

第４の態様によれば、プログラムがデータ処理ユニットによって実行されるとき、データ処理ユニットに、デジタルサンプル画像を第１のカテゴリまたは第２のカテゴリに分類するための人工知能ベースのニューラルネットワークを適用させる命令を含む、または命令からなるコンピュータプログラム製品である。この場合、ニューラルネットワークは、本明細書で前述した方法に従ってトレーニングでき、分類プロセスは、本明細書で前述したように達成できる。

【0124】

コンピュータプログラム製品は、暗号化および／またはエラーコード化して保存できる。基礎となるテクニックや手順のいくつかは、セキュリティ上の理由から秘密にしておく必要がある。したがって、コードが暗号化されて保存される場合、基礎となる技術および命令が公開されるのを有利に防止できる。

【0125】

あるいは、コンピュータプログラム製品はオープンアクセスであってもよい。一般に、このプログラムは、電子透かし検出器などと同じ方法で実際に悪用されることはないため、これにはいかなるリスクもない。電子透かしの場合、コードが悪用されると、偽造者が電子透かし信号を再構築し、不正な画像に適用できる可能性がある。しかしながら、本発明の第２の態様によるコピー防止方法の場合、デジタルサンプル画像の少なくとも一部の複製は、先入観のない人間の観察者によってセキュリティ文書を表すとみなされるか、そうでないかのいずれかである。したがって、現在のコンピュータプログラム製品を悪用しても同様のリスクはない。

【0126】

本発明の第４の態様に関して開示されたすべての特徴および実施形態は、結果として得られる組み合わせを条件として、単独でまたは本発明の好ましい実施形態のそれぞれを含む本発明の第１から第３の態様のいずれかと（サブ）組み合わせて組み合わせることができる。特徴のいくつかは当業者にとって合理的である。

【0127】

本発明のさらなる態様および特徴は、添付の図面を参照した本発明の好ましい実施形態の以下の説明から明らかになるであろう。
－図１は、デジタル画像をセキュリティ文書と見なすかそうでないかを分類するために適用可能な人工知能ベースのニューラルネットワークをトレーニングするための方法の簡略化された概略図
－図２は、少なくとも１つのセキュリティ文書のコピー防止のための方法の簡略化された概略図
－図３は、紙幣検出器の簡略化した概略図
－図４は、コンピュータプログラム製品の簡略化された概略図を示す。

【0128】

例示的な実施形態および／または添付の図面に関して以下に開示されるすべての特徴は、単独で、または任意の部分的な組み合わせで、結果として得られる特徴の組み合わせが以下であることを条件として、好ましい実施形態の特徴を含む本発明の態様の特徴と組み合わせることができる。当業者にとって合理的である。

【0129】

図１は、人工知能ベースのニューラルネットワーク１５０をトレーニングするための方法１００の簡略化された概略図を示す。方法１００は、例示の目的でデバイス型ニューラルネットワーク１５０を参照して以下に説明される。しかしながら、これは方法１００を限定するものとして解釈されるべきではない。

【0130】

ニューラルネットワーク１５０は、デジタル画像をセキュリティ文書１１０と見なすか否かを分類するのに適用可能である。ニューラルネットワーク１００は、複数の層を有するディープニューラルネットワークであってもよい。この方法１００内で、ニューラルネットワーク１５０は３つの入力に基づいてトレーニングされる。ニューラルネットワーク１５０は、１つ以上の層にわたるスキップ接続またはショートカットをさらに利用する残差ニューラルネットワーク（ＲｅｓＮｅｔ）であってもよい。例のセクションで説明したように、本発明に関しては、５０層を有する残差ニューラルネットワークが使用されている。あるいは、ニューラルネットワーク１５０は、異なるスケールの特徴を使用するために、異なるカーネルサイズと畳み込みを組み合わせるインセプションネットワークを利用することもできる。インセプションｖ３は、例のセクションで説明したように使用されている。あるいは、ニューラルネットワーク１５０は、ＤｅｎｓｅＮｅｔアーキテクチャを利用してもよく、高密度ブロックの各層は、前のすべての層からの入力を受信し、それにより、前のすべての層からの特徴マップが連結され、次の層の入力として使用される。この場合、高密度ブロックの最後の層は集合情報全体にアクセスできる。例のセクションで説明したように、１２１層のＤｅｎｓｅＮｅｔが使用されている。

【0131】

まず、セキュリティ文書１１０のデジタル画像が、ニューラルネットワーク１５０への基準として提供される。したがって、セキュリティ文書１１０は、デジタル画像がセキュリティ文書１１０としてみなされるか否かについて分類されるための基準を表す。

【0132】

第２に、一組のデジタルトレーニング画像１２０がニューラルネットワーク１５０に提供される。デジタルトレーニング画像１２０は、一般に、セキュリティ文書１１０のデジタル画像とは異なる場合がある。特に、デジタルトレーニング画像１２０は、セキュリティ文書１１０のデジタル画像との関係で変更される。デジタルトレーニング画像１２０の変更は、本明細書で上述した少なくとも１つの態様に関するものであってもよい。

【0133】

特定の例では、変更は、デジタルトレーニング画像が磨耗したインク、小さな穴、表面の特定の割合までの熱損傷、追加の落書き、汚れ、マーク、テープ、ホッチキス、または破れのうちの１つを少なくとも部分的に含み得ることに基づく劣化を含み得る。

【0134】

トレーニング画像のセット１２０は、ポジティブデジタルトレーニング画像１２５の第１のサブセットおよびネガティブデジタルトレーニング画像１３０の第２のサブセットを含む、またはそれらから構成される。この点に関して、ポジティブデジタルトレーニング画像１２５は、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像１２５の複製をセキュリティ文書１１０または複数のセキュリティ文書１１０を表すとみなすような、変更の視覚的影響を有し得る。ネガティブデジタルトレーニング画像１３０は、先入観のない人間の観察者が、それぞれのデジタルトレーニング画像１３０の複製がセキュリティ文書１１０またはその複数を表すとはみなさないような、変更の視覚的影響を有し得る。

【0135】

デジタル画像は、同じ画像サイズを示すように提供されてもよい。好ましくは、一般的な画像データによる事前トレーニングが実施された場合、事前トレーニングされた重み付けがさらに機能するように、画像サイズを一般的な画像データで使用される画像サイズに標準化できる。画像サイズは、（６４，１２８）、（１２８，２５６）、（１９２，３８４）、（２５６，５１２）、または（２９９，２９９）のいずれかであり、好ましくは（６４，１２８）である。

【0136】

トレーニングの目的で、適切な数のデジタル画像が一度に処理される。例えば、一度に８枚以上、１６枚以上、３２枚以上のデジタル画像が処理される。計算負荷を考慮したトレードオフの観点から、３２枚のデジタル画像を含むバッチは良好なパフォーマンスを示すことが証明されている。

【0137】

学習率は適切に選択されるべきである。特に、０．００５、０．０１、０．０５、または０．１のいずれかのステップサイズを持つ学習率を使用することがある。計算負荷を考慮したトレードオフの観点から、学習率のステップサイズは０．００５とすることができる。

【0138】

モデル学習プロセスは、前述のように最適化できる。この最適化は通常、さまざまなオプティマイザを介して実行できるが、その中で確率的勾配降下法が最もよく知られている。通常、オプティマイザは、単一バッチの損失関数の値を計算し、この関数の勾配を決定し、損失を最小化する方向に向かって（学習率によって定義される）ステップを実行することにより、モデルの重みを繰り返し更新する。例えば、Adam (Kingma et al.「Adam: A Method for Stochastic Optimization」、https://arxiv.org/abs/1412.6980）オプティマイザを、本発明のトレーニング方法に適したオプティマイザとして使用できる。これは確率的勾配降下法に基づいて構築されており、各パラメータに個別の学習率があり、トレーニングの進行状況に応じてこれらを調整する。

【0139】

本発明の追加または代替の好ましい実施形態によれば、機能モデルをベースラインとして確立した後、モデルの性能を最適化することが好ましい。これは、トレーニング中にさまざまなパラメータの組み合わせを試すことで実行できる。

【0140】

加えて、または別個に、本発明のトレーニング方法は、数字などのテキストベースの分類器を実装し得る。数字など、とは、例えば、例えば紙幣の場合、額面金額、文字または単語、および／または、アンサンブル戦略とモデルの実装であり、画像分類器のみのアンサンブル、または画像とテキストベースの分類器を使用するなど、である。特にアンサンブルを使用すると、パフォーマンスが向上し、より堅牢になり得る。

【0141】

複製は、特に、例えばプリンタや複写機によるハードコピータイプの複製、あるいはデータの変換、保存、または処理動作とみなされる場合がある。

【0142】

当然のことながら、複製が望まれる画像が単一のセキュリティ文書を表すか、それともその複数を表すかは同様に興味深い。両方のイベントを考慮する必要がある。

【0143】

先入観のない人間の観察者については前に説明した。

【0144】

第三に、グラウンドトゥルース１４０がニューラルネットワーク１５０に提供される。グランドトゥルース１４０は、各ポジティブデジタルトレーニング画像１２５および各ネガティブデジタルトレーニング画像１３０に対するそれぞれのデジタルトレーニング画像１２０の複製がニューラルネットワーク１５０によって、セキュリティ文書１１０またはその複数を表すと見なされるかどうかに関する、１人または複数の先入観のない人間観察者の少なくとも１つの許容レベルを表す。換言すれば、デジタルトレーニング画像１２０は、デジタル画像ごとに１以上のラベラー、この場合は４つのラベラー、を使用して、ポジティブデジタルトレーニング画像１２５の第１のサブセットまたはネガティブデジタルトレーニング画像１３０の第２のサブセットに分類される。少なくとも１つのラベラー、この場合は２つのラベラー、がデジタルトレーニング画像を第１のポジティブサブセット１２５または第２のネガティブサブセット１３０のいずれかに分類する場合、デジタル画像は分類されることになる。

【0145】

許容レベルは、先入観のない人間の観察者がセキュリティ文書１１０に関連してデジタルトレーニング画像１２０の複製をどのように解釈するかを離散値で表していると考えられ得る。

【0146】

方法１００に基づいて、ニューラルネットワーク１５０は、提供されたデジタルトレーニング画像１２０の複製がセキュリティ文書１１０としてみなされるべきか否かに関する決定動作をトレーニングされ得る。この決定動作は、少なくとも１人の先入観のない人間観察者の受容レベルに基づいている。したがって、予測出力スコアはデジタル画像に割り当てられ、そのスコアは、それぞれのデジタル画像がセキュリティ文書、特に紙幣、として認識できる可能性を示している。スコアは０～１の範囲に正規化される。スコアが１に近づくほど、デジタル画像がセキュリティ文書として認識される可能性が高くなる。スコアが０に近づくほど、デジタル画像がセキュリティ文書として認識される可能性は低くなる。閾値出力スコアは、閾値以上を表す予測出力スコアを有するデジタル画像がセキュリティ文書として認識可能であるとみなされるように、予め定められてもよい。逆に、予測出力スコアがしきい値未満を表すデジタル画像は、セキュリティ文書として認識できないと見なされる。閾値は、許容レベルと相関して決定されてもよい。言い換えると、許容レベルが低い場合、つまり、デジタル画像を第１のポジティブなサブセットに分類するラベラーの５０％未満の場合、しきい値は０．５以上になる可能性がある。一方、許容レベルが高い場合、つまりラベラーの５０％以上がデジタル画像を第１のポジティブなサブセットに分類する場合、閾値は０．５未満になる可能性がある。

【0147】

方法１００内では、セキュリティ文書１００およびデジタルトレーニング画像のセット１２０はそれぞれ閉集合であってもよい。例えば、所与の一連のセキュリティ文書、例えばユーロ紙幣の場合、デジタルトレーニング画像１２０のセットは、それぞれ異なるポジティブおよびネガティブデジタルトレーニング画像１２５、１３０を含む、またはそれらから構成され得る。さらなる例では、基準としてのセキュリティ文書１１０およびデジタルトレーニング画像１２０が、異なる通貨の異なる額面金額に対して提供され得る。

【0148】

例示的に、デジタルトレーニング画像のセット１２０は、ポジティブデジタルトレーニング画像１２５およびネガティブデジタルトレーニング画像１３０のそれぞれについて数百または数千を含むことができる。

【0149】

図２は、少なくとも１つのセキュリティ文書１１０のコピー防止のための方法２００の簡略化された概略図を示す。再び、例示の目的で、方法２００は、ニューラルネットワーク１５０を参照して説明される。しかしながら、これは方法２００を限定するものとして理解されるべきではない。

【0150】

ニューラルネットワーク１５０は、特に、人工知能ベースのニューラルネットワーク１５０をトレーニングするための方法１００に従ってトレーニングされ得る。したがって、ニューラルネットワークは、セキュリティ文書１１０としてみなされるデジタル画像を分類するのに適用可能である可能性がある。ニューラルネットワーク１５０は、トレーニング方法１００に従ってトレーニングされるので、ニューラルネットワーク１５０は、基準として少なくとも１つのセキュリティ文書１１０を認識する。もちろん、複数のセキュリティ文書１１０をニューラルネットワーク１５０でトレーニングできる。

【0151】

コピー防止のための方法２００内で、デジタルサンプル画像２１０がニューラルネットワークに提供される。デジタルサンプル画像２１０は一般に、以前にニューラルネットワークに提供されたセキュリティ文書１１０とは異なる。特に、デジタルサンプル画像２１０は、セキュリティ文書１１０と比較して変更される可能性がある。前述したように変更が現れる場合がある。

【0152】

次に、ニューラルネットワーク１５０は、デジタルサンプル画像２１０の少なくとも一部の複製が先入観のない人間の観察者によって、少なくとも１つのセキュリティ文書１１０または複数のセキュリティ文書１１０を表すとみなされる可能性があると判断した場合、このデジタルサンプル画像２１０を第１のカテゴリに分類する。あるいは、ニューラルネットワーク１５０は、デジタルサンプル画像２１０のどの部分についても、複製が先入観のない人間の観察者によって、少なくとも１つのセキュリティ文書１１０または複数のセキュリティ文書１１０を表すと見なされ得ないとニューラルネットワーク１５０が判断した場合、このデジタルサンプル画像２１０を第２のカテゴリに分類する。この点において、ニューラルネットワークは、デジタルサンプル画像２１０とセキュリティ文書１１０との間の差異を考慮する。しかしながら、ニューラルネットワーク１５０は、トレーニングされた決定行動に基づいて、先入観のない人間の観察者がデジタルサンプル画像２１０の少なくとも一部の複製を、セキュリティ文書１１０を表すものとみなすことができる許容レベルを少なくともどの程度まで決定できる。

【0153】

さらに、ニューラルネットワークは、デジタルサンプル画像２１０が第１のカテゴリに分類された場合、その複製を防止する。

【0154】

オプションとして、方法２００は、好ましくは第１のカテゴリに分類されるデジタルサンプル画像２１０、すなわちセキュリティ文書として知覚可能なデジタルサンプル画像２１０に対してのみ実行される、その後に適用される認証プロセスと組み合わせることができる。認証プロセス中に、第１のカテゴリのデジタルサンプル画像は、ユーリオンなどのコピー防止のための特定の画像セキュリティ機能に関して評価される。画像セキュリティ機能に続いて適用されるこの認証プロセスは、迅速ＡＩ検出方法でセキュリティ文書として認識される文書の肯定的な評価が、実際にコピー防止用のそれぞれの画像セキュリティ文書を構成する「真の」ポジティブヒットであるかどうかのクロスチェックを提供する。コピー防止のための画像セキュリティ機能を考慮した認証には、セキュリティ文書全体の詳細な評価が必要であるため、認証プロセスには同等の時間がかかる。したがって、ＡＩ検出プロセスと認証プロセスの組み合わせはより複雑に見えるが、全体的な時間の節約につながるという利点も関係する。それは、コピー防止のための画像セキュリティ機能の観点から、第１のカテゴリに分類されるデジタルサンプル画像２１０のごく一部のみを認証する必要があり、及び、デジタルサンプル画像２１０の大部分は第２のカテゴリに分類され得るため、都合よく省略できるからである。

【0155】

図３は、紙幣検出器３００の簡略化した概略図を示す。紙幣検出器３００は、複写機３２０内にソフトウェアで実装され、少なくとも１つのセキュリティ文書の複写防止のための方法２００を実行するように構成されている。

【0156】

例示的なシナリオでは、コピー機３００のユーザが複製することを望むサンプル文書３１０がコピー機３２０に提供される。複写機３２０は、サンプル文書３１０に基づいてデジタルサンプル画像３２５を取得するように構成されている。デジタルサンプル画像３２５は、通信手段３３０、例えば紙幣検出器３００の通信インターフェースに提供される。通信手段３３０は、デジタルサンプル画像３２５をデータ処理ユニット３３５に提供するように構成されている。データ処理ユニット３３５は、人工知能ベースのニューラルネットワーク３４０を備える。ニューラルネットワーク３４０は、前述のコピー防止方法２００を実行するように構成されている。ニューラルネットワーク３４０は、デジタルサンプル画像３２５を第１または第２のカテゴリに分類する。デジタルサンプル画像３２５が第１のカテゴリに分類された場合、紙幣検出器は禁止手段３５０を作動させる。禁止手段３５０は、割り込み３５５で所望の複製処理を中断するように構成されている。したがって、デジタルサンプル画像３２５の複製を回避できる。デジタルサンプル画像３２５がニューラルネットワーク３４０によって第２のカテゴリに分類された場合、禁止手段３５０は作動しない。したがって、複製プロセスは回避されず、サンプル文書３１０の複製３１０ａが作成され得る。

【0157】

図４は、コンピュータプログラム製品４００の簡略化された概略図を示す。コンピュータプログラム製品は、特に、データ処理ユニットによって実行されると、デジタルサンプル画像の分類に関連するステップをデータ処理ユニットに実行させる命令を含む、または命令から構成され得る。さらに、コンピュータプログラム製品４００は、データ処理ユニットによって実行されると、第１のカテゴリに分類されたデジタルサンプル画像の複製をデータ処理ユニットに防止させる命令を含む、または命令から構成されてもよい。

【0158】

あるいは、データ処理ユニットは、第１のカテゴリに分類されたデジタルサンプル画像の複製を防止するように配置および構成され得るアクティブ禁止手段への含まれる命令に基づいて実行され得る。

【0159】

以上、本発明を特定の実施形態を参照して説明したが、これらの実施形態に限定されるものではなく、請求される本発明の範囲内にある更なる代替案が当業者に想起されることは疑いない。

【0160】

例：
トレーニングデータセットには６，０００枚のデジタル画像が含まれており、３，０００枚にはポジティブ（セキュリティ文書、つまり紙幣として知覚可能であるとみなされるポジティブクラス）のラベルが付けられ、３，０００枚にはネガティブ（セキュリティ文書として認識できないと考えられるネガティブクラス、つまり紙幣）のラベルが付けられている。本発明のトレーニング後のテスト／評価の目的で、クラスごとに５００枚のデジタル画像が隠される。

【0161】

このデータセットでは、ポジティブクラスに属する一部のデジタル画像はまったく劣化のない真の紙幣（基準紙幣）に関連しており、一部のデジタル画像はわずかな劣化があるが、ラベラーによってまだポジティブクラスに属するとみなされ、その他は深刻な劣化があるため、ラベラーはそれらをネガティブクラスに分類する。劣化のある紙幣に関してのみ、４つのラベラーを使用してそれぞれのデジタル画像を分類した。この場合、少なくとも２つのラベラー、つまり５０％が画像をポジティブクラスにラベル付けした場合、それぞれのデジタル画像はポジティブクラスにラベル付けされた。

【0162】

５０層の深層学習モデルＲｅｓＮｅｔ５０、１２１層のＩｎｃｅｐｔｉｏｎｖ３およびＤｅｎｓｅＮｅｔ１２１が使用された。

【0163】

ＩｍａｇｅＮｅｔの一般的な画像データセットを使用して事前トレーニングが行われた。

【0164】

この例では、モデルの重みは、分類モデルのベンチマークの標準となっているＩｍａｇｅＮｅｔデータセットで適切に実行される状態に初期化される。次に、モデルは、トレーニングデータセットでトレーニングすることによって微調整される。トレーニングデータセットは、ＩｍａｇｅＮｅｔデータセットの標準に合わせてサイズ変更される。

【0165】

この例では、確率的勾配降下法に基づいて構築され、各パラメータに個別の学習率があり、トレーニングの進行状況に応じてこれらを調整するＡｄａｍオプティマイザが使用される。

【0166】

この場合、ポジティブクラスのデジタル画像にはそれぞれ番号１が割り当てられ、ネガティブクラスのデジタル画像にはそれぞれ番号０が割り当てられた。深層学習モデルは、０から１までの連続数値であるスコアを出力する。このスコアは、特定の画像が特定のクラスである可能性を表す。より具体的には、このスコアが０に近づくほど、先入観のない人間の観察者によって紙幣が紙幣として認識されないとみなされる可能性が高くなる。その逆もまた真である。コップのスコアが１に近い場合、その紙幣は先入観のない人間の観察者によって紙幣として認識されるとみなされる可能性が高くなる。

【0167】

デフォルトでは、２つのクラス間のしきい値は０．５に定義されている。ただし、このしきい値は精度／再現率の要件に基づいて調整できる。デフォルトのしきい値を使用すると、画像の予測クラスは、スコアがしきい値（たとえば０．５）以下の場合はスコアを０に切り捨て、しきい値より大きい場合はスコアを１に切り上げることによって決定される。たとえば０．５である。

【0168】

次の表１は、本発明のトレーニング方法による実験例として使用された、さまざまなパラメータとその可能な値を示している。

【0169】

【表1】