知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-02-04
(54)【発明の名称】光学的に読み取り可能なコードの読み取り
(51)【国際特許分類】
G06T 5/60 20240101AFI20250128BHJP
G06K 7/14 20060101ALI20250128BHJP
G06N 3/02 20060101ALI20250128BHJP
G06N 20/00 20190101ALI20250128BHJP
G06T 5/70 20240101ALI20250128BHJP
【ＦＩ】
G06T5/60
G06K7/14 017
G06K7/14 082
G06N3/02
G06N20/00
G06T5/70
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024538179
(86)(22)【出願日】2022-12-15
(85)【翻訳文提出日】2024-08-21
(86)【国際出願番号】 EP2022086140
(87)【国際公開番号】W WO2023117688
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】21216812.4
(32)【優先日】2021-12-22
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】21216923.9
(32)【優先日】2021-12-22
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】22156217.6
(32)【優先日】2022-02-10
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】591063187
【氏名又は名称】バイエル アクチェンゲゼルシャフト
【氏名又は名称原語表記】Ｂａｙｅｒ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ディルク・シェファー
(72)【発明者】
【氏名】ベンヤミン・ヘッター
(72)【発明者】
【氏名】グレーゴール・フィッシャー
(72)【発明者】
【氏名】クラウス・リュルベルク
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE02
5B057CE03
5B057CE05
5B057CE16
5B057DA06
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
本発明は、光学的に読み取り可能なコードによる物品のマーキングおよびコードの復号の技術分野に関する。このようなコードは、物品の表面に導入される。コードは、変換済みコードの取り込み画像に基づいて復号される。変換済み取り込み画像は、機械学習モデルを使用してコードの少なくとも1つの取り込み画像から生成される。モデルは、少なくとも1つの取り込み画像から変換済み取り込み画像を生成するように訓練され、光学的に読み取り可能なコードの読み取りは、少なくとも1つの取り込み画像内のコードの読み取りよりも少ない復号エラーをもたらす。本発明は、機械学習モデルを訓練するための方法、ならびに訓練済み機械学習モデルを使用してコードを復号するための方法、システム、およびコンピュータプログラム製品に関する。
【特許請求の範囲】
【請求項1】
機械学習モデルを訓練する方法であって、－訓練データを提供するステップであって、複数の対象物の各対象物の前記訓練データは、i）前記対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）前記光学コードの変換済み参照画像記録を含み、前記変換済み参照画像記録内の前記光学コードを復号することは、前記参照画像記録内の前記光学コードを復号することよりも少ない復号エラーを生成する、ステップと、
－機械学習モデルを提供するステップであって、前記機械学習モデルは、少なくとも1つの第1の画像記録およびモデルパラメータに基づいて第2の画像記録を生成するように構成される、ステップと、
－前記機械学習モデルを訓練するステップであって、前記複数の対象物の各対象物についての訓練は、
〇前記少なくとも1つの参照画像記録を前記機械学習モデルに入力するステップと、
〇前記機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇前記変換済み参照画像記録と前記予測変換済み参照画像記録との間の偏差を計算するステップと、
〇前記偏差を低減することに関して前記モデルパラメータを修正するステップと、を含む、ステップと、
－前記訓練済み機械学習モデルを記憶および／または出力するステップ、および／または前記訓練済み機械学習モデルを別個のコンピュータシステムに送信するステップ、および／または前記訓練済み機械学習モデルを使用して、対象物の少なくとも1つの新しい画像記録の変換済み画像記録を生成するステップと、を含む、方法。
【請求項2】
各対象物について、前記変換済み参照画像記録は、前記少なくとも1つの参照画像記録に1つまたは複数の変換を適用することによって生成された、請求項1に記載の方法。
【請求項3】
前記変換済み参照画像記録内の前記光学的に読み取り可能なコードを読み取ることが、前記少なくとも1つの参照画像記録において前記光学的に読み取り可能なコードを読み取ることよりも少ない復号エラーをもたらすように、前記1つまたは複数の変換が選択された、請求項2に記載の方法。
【請求項4】
前記1つまたは複数の変換は経験的に決定された、請求項2または3に記載の方法。
【請求項5】
前記対象物は植物または動物製品の異なる試料である、請求項1から4のいずれか一項に記載の方法。
【請求項6】
前記対象物は医薬品の異なる試料である、請求項1から5のいずれか一項に記載の方法。
【請求項7】
前記機械学習モデルは人工ニューラルネットワークであるか、またはそのようなネットワークを含む、請求項1から6のいずれか一項に記載の方法。
【請求項8】
前記光学的に読み取り可能なコードは、レーザによって前記対象物の前記表面に導入されている、請求項1から7のいずれか一項に記載の方法。
【請求項9】
前記光学的に読み取り可能なコードは、マトリクスコードまたはバーコードである、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記光学的に読み取り可能なコードは英数字を含む、請求項1から8のいずれか一項に記載の方法。
【請求項11】
対象物の表面に導入される光学的に読み取り可能なコードを復号するコンピュータ実装方法であって、－前記光学的に読み取り可能なコードの画像記録を受信するステップと、
－前記画像記録を訓練済み機械学習モデルに供給するステップであって、前記訓練済み機械学習モデルは、請求項1から10のいずれか一項に記載の方法で訓練されている、ステップと、
－前記機械学習モデルから変換済み画像記録を受信するステップと、
－前記変換済み画像記録において撮像された前記光学的に読み取り可能なコードを復号するステップと、を含む、方法。
【請求項12】
－前記復号された光学的に読み取り可能なコードおよび／または前記復号されたコードにリンクされた情報を出力するステップをさらに含む、請求項11に記載の方法。
【請求項13】
少なくとも1つのプロセッサを備えるシステムであって、前記プロセッサは、－光学的に読み取り可能なコードの画像記録を受信することであって、前記光学的に読み取り可能なコードは対象物の表面に導入される、受信することと、
－前記画像記録を訓練済み機械学習モデルに供給することであって、前記訓練済み機械学習モデルは、請求項1から10のいずれか一項に記載の方法で訓練されている、供給することと、
－前記機械学習モデルから変換済み画像記録を受信することと、
－前記変換済み画像記録において撮像された前記光学的に読み取り可能なコードを復号することと、を実行するように構成されている、システム。
【請求項14】
前記プロセッサは、前記復号されたコードまたは前記復号されたコードにリンクされた情報を出力するように構成されている、請求項13に記載のシステム。
【請求項15】
コンピュータプログラムが記憶されるデータキャリアを備えるコンピュータプログラム製品であって、前記コンピュータプログラムは、コンピュータシステムのメインメモリにロードすることができ、前記コンピュータシステムに、－光学的に読み取り可能なコードの画像記録を受信するステップであって、前記光学的に読み取り可能なコードは対象物の表面に導入される、ステップと、
－前記画像記録を訓練済み機械学習モデルに供給するステップであって、前記訓練済み機械学習モデルは、請求項1から10のいずれか一項に記載の方法で訓練されている、ステップと、
－前記訓練済み機械学習モデルから変換済み画像記録を受信するステップと、
－前記変換済み画像記録において撮像された前記光学的に読み取り可能なコードを復号するステップと、
－前記復号された光学的に読み取り可能なコードおよび／または前記復号されたコードにリンクされた情報を出力するステップと、を実行させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光学的に読み取り可能なコードで対象物をマーキングし、コードを読み取る（復号する）技術分野に関する。
【背景技術】
【0002】
商品および製品の追跡は、経済の多くの分野で重要な役割を果たしている。製品および商品またはそれらの包装および／または容器には、それらのサプライチェーンに沿ってそれらを追跡し、機械によって入出製品を捕捉することができるように、固有の識別子（例えばシリアル番号）が提供される（シリアル化）（例えば、米国特許第10，140，492号明細書、中国特許出願公開第112434544号明細書を参照）。
【0003】
多くの場合、識別子は、光学的に読み取り可能な形態で、例えばバーコード（例えばEAN－8バーコード）またはマトリクスコード（例えばQRコード(登録商標)）の形態で、製品および商品またはそれらの包装および／または容器に適用される。バーコードまたはマトリクスコードは、製品または商品の種類および起源に関する情報を通常提供するシリアル番号を隠すことが多い。
【0004】
いくつかの医薬品の場合、個々のパックの個々のマーキングさえも必要とされる。EU偽造医薬品指令2011／62／EU（FMD）により改正された指令2001／83／ECの第54a条第1項に従うと、少なくとも処方の対象となる医薬品は、特に真正性をチェックし、個々のパックを識別することを可能にする個々の認識機能（一意識別子と呼ばれる）でマーキングされるべきである。
【0005】
植物および動物製品には、通常、シリアルコードのみが提供される。植物および動物製品の場合、マーキングは、通常、例えばステッカーまたは刻印の形態で包装および／または容器に適用または取り付けられる。
【0006】
場合によっては、識別子はまた植物または動物製品に直接適用される。例えば、欧州連合では、卵には生産者コードが提供され、そこから養鶏業、卵の原産国、および卵の原産企業が導出され得る。果実および野菜ユニットの皮にも、ますますマーキングが施されるようになってきている（例えば、E．EtxeberriaらのAnatomical and Morphological Characteristics of Laser Etching Depressions for Fruit Labeling，2006年、HortTechnology．16、10．21273／HORTTECH．16．3．0527を参照）。
【0007】
消費者は、植物および動物製品の起源およびサプライチェーンに対する関心を高めている。彼らは、例えば、それぞれの製品がどこから来たのか、それが処理されたかどうかおよびどのように処理されたか（例えば、作物防疫組成物）、輸送がどのくらい続いたか、輸送中にどのような条件が優勢であったかなどを知りたい。
【0008】
欧州特許第3896629号明細書は、光学的に読み取り可能なコードの形態の固有の識別子を有する植物および動物製品を提供することを提案している。コードは、例えば自分のスマートフォンのカメラを介して消費者が読み取ることができる。読み取られたコードに基づいて、植物または動物製品に関する様々な情報を消費者に表示することができる。欧州特許第3896629号明細書は、例えば、レーザによって植物または動物製品の表面に光学的に読み取り可能なコードを導入することを提案している。植物または動物製品の表面に導入された光学コードは、周囲の組織に対してコントラストが低く、したがって、例えば、ステッカーまたはタグの場合に通常あるように、白色背景に黒色で適用された光学コードよりも読み取ることが困難である。さらに、異なる対象物上の光学コードは異なる外観を有する。例えば、多くの果物および野菜の種類の場合にあるように、光学的に読み取り可能なコードが曲面にレーザによって適用される場合、コードの歪みが発生する可能性があり、読み取りを妨げる。光学的に読み取り可能なコードが滑らかな表面に適用される場合、（例えば、周囲光の結果として）読み取り中に表面で反射が発生し、読み取りを妨げる可能性がある。果物および野菜の表面は不均一になることがある。例えば、リンゴは、苦みのある穴および斑点を有することがある。ジャガイモには、凹凸がある場合がある。そのような不画一性および不均一性は、コードの読み取りを妨げる可能性がある。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】米国特許第10，140，492号明細書
【特許文献2】中国特許出願公開第112434544号明細書
【特許文献3】欧州特許第3896629号明細書
【非特許文献】
【0010】
【非特許文献1】E．EtxeberriaらAnatomical and Morphological Characteristics of Laser Etching Depressions for Fruit Labeling，2006年、HortTechnology．16、10．21273／HORTTECH．16．3．0527
【発明の概要】
【発明が解決しようとする課題】
【0011】
したがって、対処される問題は、例えばスマートフォンなどの単純な手段を使用して、多数の異なる対象物、特に多数の植物および動物製品上の光学的に読み取り可能なコードを消費者が確実に読み取ることができる手段を提供することである。
【課題を解決するための手段】
【0012】
この問題は、独立請求項の主題によって解決される。好ましい実施形態は、従属請求項、本明細書および図面に見出される。
【0013】
本発明の第1の主題は、機械学習モデルを訓練する方法であって、方法は、
－訓練データを提供するステップであって、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含む、ステップと、
－機械学習モデルを提供するステップであって、機械学習モデルは、少なくとも1つの第1の画像記録およびモデルパラメータに基づいて第2の画像記録を生成するように構成される、ステップと、
－機械学習モデルを訓練するステップであって、複数の対象物の各対象物についての訓練は、
〇少なくとも1つの参照画像記録を前記機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含む、ステップと、
－訓練済み機械学習モデルを記憶および／または出力するステップ、および／または訓練済み機械学習モデルを別個のコンピュータシステムに送信するステップ、および／または訓練済み機械学習モデルを使用して、対象物の少なくとも1つの新しい画像記録の変換済み画像記録を生成するステップと、を含む。
－訓練データを提供するステップであって、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含む、ステップと、
－機械学習モデルを提供するステップであって、機械学習モデルは、少なくとも1つの第1の画像記録およびモデルパラメータに基づいて第2の画像記録を生成するように構成される、ステップと、
－機械学習モデルを訓練するステップであって、複数の対象物の各対象物についての訓練は、
〇少なくとも1つの参照画像記録を前記機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含む、ステップと、
－訓練済み機械学習モデルを記憶および／または出力するステップ、および／または訓練済み機械学習モデルを別個のコンピュータシステムに送信するステップ、および／または訓練済み機械学習モデルを使用して、対象物の少なくとも1つの新しい画像記録の変換済み画像記録を生成するステップと、を含む。
【0014】
本発明のさらなる主題は、対象物の表面に導入される光学的に読み取り可能なコードを復号するコンピュータ実装方法であり、方法は、
－光学的に読み取り可能なコードの画像記録を受信するステップと、
－画像記録を訓練済み機械学習モデルに供給するステップであって、訓練済み機械学習モデルは訓練データを使用して訓練されており、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含み、変換済み参照画像記録で光学コードを復号するステップは、参照画像記録に光学コードを復号するよりも少ない復号エラーを生成し、複数の対象物の各対象物の訓練は、
〇少なくとも1つの参照画像記録を機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含む、ステップと、
－機械学習モデルから変換済み画像記録を受信するステップと、
－変換済み画像記録において撮像された光学的に読み取り可能なコードを復号するステップと、を含む。
－光学的に読み取り可能なコードの画像記録を受信するステップと、
－画像記録を訓練済み機械学習モデルに供給するステップであって、訓練済み機械学習モデルは訓練データを使用して訓練されており、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含み、変換済み参照画像記録で光学コードを復号するステップは、参照画像記録に光学コードを復号するよりも少ない復号エラーを生成し、複数の対象物の各対象物の訓練は、
〇少なくとも1つの参照画像記録を機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含む、ステップと、
－機械学習モデルから変換済み画像記録を受信するステップと、
－変換済み画像記録において撮像された光学的に読み取り可能なコードを復号するステップと、を含む。
【0015】
本発明のさらなる主題は、少なくとも1つのプロセッサを備えるシステムであって、プロセッサは、
－対象物の表面に導入される光学的に読み取り可能なコードの画像記録を受信し、
－画像記録を訓練済み機械学習モデルに供給し、訓練済み機械学習モデルは訓練データを使用して訓練されており、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含み、変換済み参照画像記録で光学コードを復号するステップは、参照画像記録に光学コードを復号するよりも少ない復号エラーを生成し、複数の対象物の各対象物の訓練は、
〇少なくとも1つの参照画像記録を機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含み、
－機械学習モデルから変換済み画像記録を受信し、
－変換済み画像記録において撮像された光学的に読み取り可能なコードを復号するように構成される。
－対象物の表面に導入される光学的に読み取り可能なコードの画像記録を受信し、
－画像記録を訓練済み機械学習モデルに供給し、訓練済み機械学習モデルは訓練データを使用して訓練されており、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含み、変換済み参照画像記録で光学コードを復号するステップは、参照画像記録に光学コードを復号するよりも少ない復号エラーを生成し、複数の対象物の各対象物の訓練は、
〇少なくとも1つの参照画像記録を機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含み、
－機械学習モデルから変換済み画像記録を受信し、
－変換済み画像記録において撮像された光学的に読み取り可能なコードを復号するように構成される。
【0016】
本発明のさらなる主題は、コンピュータプログラムが記憶されるデータキャリアを含むコンピュータプログラム製品であり、コンピュータプログラムは、コンピュータのメインメモリにロードすることができ、コンピュータに、
－光学的に読み取り可能なコードの画像記録を受信するステップと、
－画像記録を訓練済み機械学習モデルに供給するステップであって、訓練済み機械学習モデルは訓練データを使用して訓練されており、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含み、変換済み参照画像記録で光学コードを復号するステップは、参照画像記録に光学コードを復号するよりも少ない復号エラーを生成し、複数の対象物の各対象物の訓練は、
〇少なくとも1つの参照画像記録を機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含む、ステップと、
－機械学習モデルから変換済み画像記録を受信するステップと、
－変換済み画像記録において撮像された光学的に読み取り可能なコードを復号するステップと、を実行させる。
－光学的に読み取り可能なコードの画像記録を受信するステップと、
－画像記録を訓練済み機械学習モデルに供給するステップであって、訓練済み機械学習モデルは訓練データを使用して訓練されており、複数の対象物の各対象物の訓練データは、i）対象物の表面に導入される光学コードの少なくとも1つの参照画像記録、およびii）光学コードの変換済み参照画像記録を含み、変換済み参照画像記録で光学コードを復号するステップは、参照画像記録に光学コードを復号するよりも少ない復号エラーを生成し、複数の対象物の各対象物の訓練は、
〇少なくとも1つの参照画像記録を機械学習モデルに入力するステップと、
〇機械学習モデルから予測変換済み参照画像記録を受信するステップと、
〇変換済み参照画像記録と予測変換済み参照画像記録との間の偏差を計算するステップと、
〇偏差を低減することに関してモデルパラメータを修正するステップと、を含む、ステップと、
－機械学習モデルから変換済み画像記録を受信するステップと、
－変換済み画像記録において撮像された光学的に読み取り可能なコードを復号するステップと、を実行させる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
本発明は、本発明の主題（訓練方法、復号方法、システム、コンピュータプログラム製品）を区別することなく以下により詳細に説明される。代わりに、以下の説明は、それらが提供される文脈（訓練方法、復号方法、システム、コンピュータプログラム製品）にかかわらず、本発明のすべての主題に同様に適用されるものとする。
【0019】
本明細書または特許請求の範囲においてステップが順序で記載されている場合、これは、本発明が記載された順序に限定されることを必ずしも意味しない。代わりに、1つのステップが別のステップの上に構築され、前のステップの上に構築されたステップがその後で実行されることが絶対必要な場合を除き、ステップは異なる順序で、または互いに並行して実行されることも考えられる（ただし、これは個々のケースで明らかになる）。したがって、記載された順序は、本発明の好ましい実施形態である。
【0020】
本発明は、光学的に読み取り可能なコードを読み取る（復号する）ための手段を提供する。「読み取り」および「復号」という用語は、本明細書では同義に使用される。
【0021】
「光学的に読み取り可能なコード」という用語は、例えば、カメラを用いて取り込まれ、英数字に変換され得るマーキングを意味すると理解される。
【0022】
光学的に読み取り可能なコードの例は、バーコード、積層コード、複合コード、マトリクスコード、および3Dコードである。自動テキスト認識（光学文字認識と呼ばれ、OCRと略される）によって取り込み（解釈済み、読み取り）およびデジタル化することができる英数字文字も、光学的に読み取り可能なコードという用語に属する。
【0023】
光学的に読み取り可能なコードは、機械可読コード、すなわち機械によって取り込みおよび処理することができるコードに属する。光学的に読み取り可能なコードの場合、そのような「機械」は通常、カメラを備える。
【0024】
カメラは、通常、画像センサおよび光学素子を備える。画像センサは、電気的手段により光から2次元画像を記録する装置である。これは、通常、半導体ベースの画像センサ、例えばCCD（CCD＝電荷結合素子）またはCMOSセンサ（CMOS＝相補型金属酸化膜半導体）を含む。光学素子（レンズ、ストップなど）は、画像センサ上にデジタル画像記録が生成される対象物の撮像の最大の鮮明さを提供する。
【0025】
光学的に読み取り可能なコードは、多くの消費者が簡単な手段を用いて読み取ることができるという利点を有する。これに関して、多くの消費者は、例えば、1つまたは複数のカメラを備えたスマートフォンを有する。そのようなカメラによって、画像センサ上に光学的に読み取り可能なコードの画像表現を生成することが可能である。画像表現は、スマートフォンに記憶されたコンピュータプログラムによってデジタル化ならびに処理および／または記憶することができる。そのようなコンピュータプログラムは、光学的に読み取り可能なコードを識別して解釈するように、すなわち、光学的に読み取り可能なコードの形態でどのような情報が存在するかに応じて、光学的に読み取り可能なコードを異なる形態、例えば、数字列、文字列などに変換するように構成することができる。
【0026】
光学的に読み取り可能なコードは、対象物の表面に導入される。そのような対象物は、現実の物理的な有形の対象物である。そのような対象物は、自然な対象物または工業的に製造された対象物であり得る。本発明の意味における対象物の例は、工具、機械部品、回路基板、チップ、容器、包装、宝飾品、設計対象物、アート対象物、医薬品（例えば錠剤の形態）、医薬品包装ならびに植物および動物製品である。
【0027】
本発明の1つの好ましい実施形態では、対象物は医薬品（例えば、錠剤またはカプセルの形態）または医薬品包装である。
【0028】
本発明のさらに好ましい実施形態では、対象物は、機械用部品などの工業的に製造された製品である。
【0029】
本発明のさらに好ましい実施形態では、対象物は植物または動物製品である。
【0030】
植物製品は、個々の植物または植物の一部（例えば、果実）または植物の群または植物の部分の群である。動物製品は、動物または動物の一部、あるいは動物の群または動物の一部の群、あるいは動物によって製造された対象物（例えば雌鶏の卵など）である。例えばチーズおよびソーセージ製品などの工業的に加工された製品も、植物または動物製品という用語に含まれることが意図されている。
【0031】
植物または動物製品は、通常、ヒトまたは動物による消費に適したおよび／または意図された植物または動物の一部である。
【0032】
植物製品は、作物植物の少なくとも一部であることが好ましい。「作物植物」という用語は、人間の介入によって有用植物として特に栽培される植物を意味すると理解される。好ましい一実施形態では、作物植物は、果実植物または野菜植物である。真菌は生物学的に植物と見なされないが、真菌、特に真菌の子実体も植物製品という用語に入ることが意図されている。
【0033】
好ましくは、作物植物は、以下の百科事典：Christopher Cumo：Encyclopedia of Cultivated Plants：From Acacia to Zinnia、1巻～3巻、ABC－CLIO、2013年、ISBN 9781598847758に列挙されている植物の1つである。
【0034】
植物または動物製品は、例えば、リンゴ、ナシ、レモン、オレンジ、タンジェリン、ライム、グレープフルーツ、キウイ、バナナ、モモ、プラム、ミラベルプラム、アンズ、トマト、キャベツ（カリフラワー、白キャベツ、赤キャベツ、ケール、芽キャベツなど）、メロン、カボチャ、キュウリ、胡椒、ズッキーニ、ナス、ジャガイモ、サツマイモ、ニラ、セロリ、コールラビ、ダイコン、ニンジン、パースニップ、スコゾネラ、アスパラガス、サトウダイコン、ルバーブ、ショウガの根、ココナッツ、ブラジルナッツ、クルミ、ヘーゼルナッツ、ヨーロッパグリ、卵、魚、肉片、チーズ片、ソーセージなどであり得る。
【0035】
光学的に読み取り可能なコードは、対象物の表面に導入される。これは、光学的に読み取り可能なコードがタグの形態で対象物に取り付けられておらず、ステッカーの形態で対象物に適用されているわけでもないことを意味する。代わりに、対象物の表面は、表面自体が光学的に読み取り可能なコードを担持するように変更された。
【0036】
植物製品および卵の場合、表面は、例えば、皮／殻であり得る。
【0037】
光学的に読み取り可能なコードは、対象物に彫り込み、エッチング、焼き付け、刻印され、および／または何らかの他の方法で対象物の表面に導入され得る。好ましくは、光学的に読み取り可能なコードは、レーザによって対象物の表面（例えば、果物または野菜の場合は皮）に導入される。この場合、レーザは、対象物の表面の色素分子を修飾（例えば漂白および／または破壊）し、および／または局所的に燃焼および／または破壊および／または組織の化学的および／または物理的修飾（例えば、水の蒸発、タンパク質の変性など）の事例をもたらし、したがって表面の周囲部分（レーザによって修飾されていない部分）に対するコントラストを生じさせることができる。
【0038】
光学的に読み取り可能なコードは、ウォータージェットまたは砂の流れによって対象物の表面に導入することもできる。
【0039】
光学的に読み取り可能なコードはまた、スクライブ、突刺し、分割、擦り付け、削り取り、打ち抜きなどによって機械的に対象物の表面に導入することができる。
【0040】
対象物、特に植物または動物製品のマーキングに関する詳細は、従来技術（例えば、欧州特許第2281468号明細書、国際特許第2015／117438号明細書、国際特許第2015／117541号明細書、国際特許第2016／118962号明細書、国際特許第2016／118973号明細書、ドイツ特許第102005019008号明細書、国際特許第2007／130968号明細書、米国特許第5660747号明細書、欧州特許第1737306号明細書、米国特許第10481589号明細書、米国特許第20080124433号明細書を参照）から収集することができる。
【0041】
好ましくは、光学的に読み取り可能なコードは、二酸化炭素レーザ（CO2レーザ）によって対象物の表面に導入されている。
【0042】
対象物の表面に光学的に読み取り可能なコードを導入することは、通常、例えば、白色ステッカー上の黒色または着色された刻印の形態の光学的に読み取り可能なコードよりも低いコントラストを有するマーキングをもたらす。コントラストは、ステッカーの個々のデザインの可能性によって最適化することができる。一例として、白色背景上の黒色マーキング（例えば、黒色バーコードまたは黒色マトリクスコード）は、非常に高いコントラストを有する。このような高いコントラストは、通常、特に植物または動物製品の場合、および医薬品の場合、対象物の表面に光学的に読み取り可能なコードを導入することによっては達成されない。これは、コードを読み取る際に困難をもたらす可能性がある。さらに、例えばレーザによって対象物の表面に導入された光学的に読み取り可能なコードは、異なる対象物に対して異なる外観を有する。言い換えれば、例えば、リンゴに導入された光学的に読み取り可能なコードは、通常、バナナ、トマト、カボチャ、またはジャガイモに導入された光学的に読み取り可能なコードとは異なる外観を有する。果実のそれぞれの種類はまた、光学的に読み取り可能なコードの外観に影響を及ぼす可能性があり、「グラニースミス」種のリンゴの光学的に読み取り可能なコードは、「ピンクレディ」種のリンゴの光学的に読み取り可能なコードとは異なる外観を有する。植物または動物製品の表面の構造はまた、光学的に読み取り可能なコードの外観に影響を及ぼす可能性があり、キウイの比較的粗い表面構造は、ジャガイモおよびリンゴの皮の凹凸および傷と全く同じ方法で光学的に読み取り可能なコードの読み取りを妨げる可能性がある。果物および野菜の表面は、通常、曲率を有する。光学コードが曲面に導入されると、コードの歪みが発生する可能性があり、コードは、例えば糸巻き型または樽型の歪みを有することがある。このような歪みは、コードの復号を妨げる可能性がある。歪みの程度は、通常、この場合の曲率の程度に依存する。2cm×2cmのサイズの光学的に読み取り可能なコードをリンゴに導入した場合、同じコードをメロンに導入した場合よりも歪みが大きくなる。さらに、ほぼ球形の製品（例えば、リンゴ、トマト、メロン）に生じる歪みは、ほぼ円筒形の製品（例えば、キュウリ）の歪みとは異なる。（例えばリンゴの場合のような）滑らかな表面は、（例えばキウイの場合のような）粗い表面よりも（例えば、周囲光の結果として）多くの反射を生じる。
【0043】
対象物の上記の特性（凹凸、不均一性、傷、曲面、平滑な（鏡面反射性の）表面、着色、質感、表面粗さなど）は、本明細書では外乱因子とも呼ばれる。
【0044】
したがって、本発明によれば、対象物の表面に導入された光学的に読み取り可能なコードの画像記録は、コードが読み取られる（復号される）前に1つの変換または複数の変換を受ける。そのような変換は、光学的に読み取り可能なコードと表面の周囲部分（コードを担持しない表面の部分）との間のコントラストを増加させ、および／または歪みを低減もしくは排除し、および／または反射を低減もしくは排除し、および／または存在する特定の対象物に起因する他のアーチファクトを低減もしくは排除することができる。
【0045】
「変換」は、画像を入力として受け取り、出力として画像を生成する関数または演算子である。変換は、入力画像において撮像された光学的に読み取り可能なコードが、入力画像よりも出力画像においてその周囲に対してより高いコントラストを有すること、および／または入力画像よりも出力画像においてより少ない歪みを有することを保証することができる。変換は、入力画像と比較して出力画像において対象物の表面上の光の反射が低減されることを保証することができる。変換は、対象物の表面上の不均一性および／または不画一性が入力画像よりも出力画像において明確に現れないことを保証することができる。一般に、変換は、撮像された光学的に読み取り可能なコードの復号中に、入力画像よりも少ない復号エラーを出力画像が生成することを保証する。このような復号エラーは、例えば、QRコードの白い四角が画像センサによって黒い四角として解釈されると発生する。
【0046】
まず、対象物の表面に導入された光学的に読み取り可能なコードの画像記録が生成される。光学的に読み取り可能なコードの複数の画像記録を生成することも考えられる。
【0047】
「画像記録」という用語は、好ましくは、対象物またはその一部の2次元画像表現を意味すると理解される。画像記録は、通常、デジタル画像記録である。「デジタル」という用語は、画像記録が機械、一般にコンピュータシステムによって処理され得ることを意味する。「処理」は、電子データ処理（EDP）のための既知の方法を意味すると理解される。
【0048】
デジタル画像記録は、例えば、コンピュータシステムおよびソフトウェアによって、処理、編集、および再生され、JPEG、ポータブルネットワークグラフィックス（Portable Network Graphics、PNG）またはスケーラブルベクターグラフィックス（Scalable Vector Graphics、SVG）などの標準化されたデータフォーマットに変換することもできる。デジタル画像記録は、例えば、コンピュータモニタ、プロジェクタおよび／またはプリンタなどの適切な表示装置によって視覚化することができる。
【0049】
デジタル画像記録では、画像コンテンツは通常、整数で表され、記憶される。ほとんどの場合、これは、バイナリコード化され、任意選択的に圧縮され得る2次元画像を含む。デジタル画像記録は、通常、画像情報が均一なラスタグリッドに記憶されるラスタグラフィックスを含む。ラスタグラフィックスは、2次元表現の場合にはいわゆる画像要素（画素）のラスタ配列からなり、3次元表現の場合にはボリューム要素（ボクセル）からなり、各々の場合で色またはグレースケール値が割り当てられる。したがって、2Dラスタグラフィックの主な特徴は、画像サイズ（略式に画像解像度とも呼ばれる画素単位で測定される幅および高さ）および色深度である。色は、通常、デジタル画像ファイルの画素に割り当てられる。画素に使用される色コーディングは、とりわけ、色空間および色深度に関して定義される。最も単純なケースは、画素が白黒値を記憶するバイナリ画像である。その色がいわゆるRGB色空間（RGBは、赤、緑、および青の原色を表す）に関して定義されている画像の場合、各ピクセルは3つの色値からなり、1つの色値は赤、1つの色値は緑、1つの色値は青である。画素の色は、3つの色値の重ね合わせ（加法的混合）から生じる。個々の色値は、例えば256の識別可能なレベルに離散化され、これはトーン値と呼ばれ、通常0から255の範囲である。各色チャネルの色のニュアンス「0」は最も暗い。3つのチャネルすべてがトーン値0を有する場合、対応する画素は黒に見え、3つのチャネルすべてがトーン値255を有する場合、対応する画素は白に見える。本発明を実施するとき、デジタル画像記録は特定の操作（変換）を受ける。この場合、動作は、主に、例えばエッジ検出器などのいわゆる空間演算子としての画素、または例えば色空間変換の場合のような個々の画素のトーン値に関する。多数の可能なデジタル画像フォーマットおよび色コーディングがある。簡略化のために、この説明では、現在の画像は特定の画素数を有するRGBラスタグラフィックスであると仮定する。しかしながら、この仮定は決して限定として理解されるべきではない。画像処理の当業者にとって、本明細書の教示が、他の画像フォーマットで存在する、および／または色値が異なるように符号化されている画像ファイルにどのように適用され得るかは明らかである。
【0050】
少なくとも1つの画像記録は、ビデオシーケンスからの1つまたは複数の抜粋とすることもできる。
【0051】
少なくとも1つの画像記録は、1つのカメラまたは複数のカメラを用いて生成される。好ましくは、少なくとも1つの画像記録は、スマートフォンの1つまたは複数のカメラによって生成される。
【0052】
異なる方向から対象物を見て、異なる観察方向から画像記録を生成する複数のカメラの使用は、深度情報が取り込まれるという利点を有する。一例として、存在する撮像された対象物の曲率に関する情報は、そのような深度情報から導出および／または収集することができる。
【0053】
少なくとも1つの画像記録は、対象物の表面に導入された光学的に読み取り可能なコードを示す。
【0054】
次のステップでは、画像記録から変換済み画像記録が生成される。複数の画像記録が変換済み画像記録の生成に関与することが考えられる。
【0055】
変換済み画像記録は、1つまたは複数の変換を受けた画像記録である。変換済み画像記録は、1つまたは複数の画像記録および／または1つまたは複数の変換済み画像記録が組み合わされて1つの画像記録を形成する画像記録であってもよい。
【0056】
変換済み画像記録では、1つまたは複数の画像記録と同じ光学コードが画像化されて変換済み画像記録を生成する役割を果たす。しかしながら、変換済み画像記録では、光学コードは、1つまたは複数の変換されていない画像記録よりも、より明確に、および／またはより明瞭に、および／またはより少ない歪みで、および／またはより少ない反射で、および／または復号エラーにつながり得るより少ない特色的特徴で撮像される。
【0057】
本発明によれば、変換済み画像記録は、訓練済み機械学習モデルを用いて生成される。
【0058】
そのようなモデルは、教師あり学習方法において、1つまたは複数の画像記録から変換済み画像記録を生成するように訓練することができる。
【0059】
「機械学習モデル」は、コンピュータ実装データ処理アーキテクチャとして理解することができる。モデルは、入力データを受け取り、前記入力データおよびモデルパラメータに基づいて出力データを供給することができる。モデルは、訓練によって入力データと出力データとの間の関係を学習することができる。訓練中、モデルパラメータは、特定の入力に対して所望の出力を供給するように適合させることができる。
【0060】
そのようなモデルの訓練中、モデルは、そこから学習することができる訓練データを提示される。訓練済み機械学習モデルは、訓練プロセスの結果である。訓練データは、入力データに加えて、モデルが入力データに基づいて生成しようとする正しい出力データ（目標データ）を含む。入力データを目標データにマッピングするパターンは、訓練中に認識される。
【0061】
訓練プロセスでは、訓練データの入力データがモデルに入力され、モデルが出力データを生成する。出力データは、目標データ（いわゆるグラウンドトゥルースデータ）と比較される。モデルパラメータは、出力データと目標データとの間の偏差を（定義された）最小値に減少させるように変更される。
【0062】
訓練中、損失関数を使用して、モデルの予測品質を評価することができる。損失関数は、出力データと目標データとの間の所望の関係に報酬を与え、および／または出力データと目標データとの間の望ましくない関係に罰を与えるように選択することができる。そのような関係は、例えば、類似性、非類似性、または何らかの他の関係であり得る。
【0063】
損失関数を使用して、出力データと目標データとを含む所与のペアの損失を計算することができる。訓練プロセスの目的は、訓練データセットのすべてのペアの損失が（定義された）最小値に低減されるように、機械学習モデルのパラメータを変更する（適合させる）ことにある。
【0064】
損失関数は、例えば、特定の入力データに対するモデルの出力データと目標データとの間の偏差を定量化することができる。例えば、出力データおよび目標データが数字である場合、損失関数は、これらの数字の絶対差とすることができる。この場合、損失関数の絶対値が高いことは、1つまたは複数のモデルパラメータを大幅に変更しなければならないことを意味し得る。
【0065】
ベクトル形式の出力データの場合、例えば、平均二乗誤差、コサイン距離、ユークリッド距離などの差分ベクトルのノルム、チェビシェフ距離、差分ベクトルのLpノルム、重み付きノルム、または2つのベクトルの任意の他のタイプの差分メトリックなどのベクトル間の差分メトリックを損失関数として選択することができる。
【0066】
例えば2次元、3次元またはより高次の出力などの高次元出力の場合、例えば要素ごとの差分メトリックを使用することができる。代替的または追加的に、出力データは、損失値の計算の前に、例えば1次元ベクトルに変換することができる。
【0067】
この場合、機械学習モデルは、1つまたは複数の第1の画像記録に基づいて第2の画像記録を生成するように構成されたモデルである。
【0068】
この場合、機械学習モデルは、1つまたは複数の画像記録から変換済み画像記録を生成するように訓練することができる。訓練は、訓練データに基づいて行うことができる。訓練データは、多数の参照画像記録および変換済み参照画像記録を含むことができる。「参照」という用語は、この説明では、機械学習モデルを訓練するために使用されるデータを訓練済み機械モデルの使用中に使用されるデータと区別するために使用される。しかしながら、この用語は決して限定的であることを意図しない。
【0069】
用語「多数の」は、好ましくは100超を意味する。参照画像記録は、通常、対象物の多数の異なる試料の表面に導入された光学的に読み取り可能なコードを示す。変換済み参照画像記録は、変換されていない参照画像記録と同じ光学的に読み取り可能なコードを示す。変換済み参照画像記録は、参照画像記録に基づいて光学画像処理の分野の1人または複数の専門家によって生成されたものであり得る。1人または複数の専門家は、光学的に読み取り可能なコードをより明確かつ／またはより明瞭かつ／またはより少ない歪みおよび／またはより少ない反射および／または変換されていない参照画像記録の場合よりも復号エラーにつながる可能性があるより少ない特性的特徴を有するようにするために、参照画像記録に1つまたは複数の変換を適用することができる。1人または複数の専門家は、変換済み参照画像記録を生成するために、同じ対象物の表面上の同じ光学的に読み取り可能なコードを示す複数の参照画像記録を互いに組み合わせることができる。変換および／または組み合わせの目的は、撮像された光学コードの読み取り中に、変換されていない参照画像記録よりも少ない復号エラーを生成する変換済み参照画像記録を生成することである。
【0070】
復号エラーは経験的に決定することができる。これは、例えば、（正しく）復号できなかったコードの割合であり得る。したがって、例えば、100個の参照画像記録で撮像された100個のコードのうちの10個が復号できなかったか、または1つまたは複数の読み取りエラーを生成した場合、正しく復号できなかったコードの割合は10％である。1人または複数の画像処理専門家によって、100個の参照画像記録から例えば100個の変換済み参照画像記録が生成される。変換済み参照画像記録内で撮像されたコードは復号される。専門家が作業を正しく行った場合、100個の変換済み参照画像記録内の100個のコードのうちの90個より多く、理想的には100個すべてが正しく復号されるべきである。
【0071】
多くの光学的に読み取り可能なコードは、エラー補正のための手段を有する。復号エラーはまた、コード内の補正されたビットの数を示すことができる。
【0072】
1人または複数の画像処理専門家は、その周囲に対する光学的に読み取り可能なコードのコントラストの増加をもたらし、および／または歪みの低減／排除をもたらし、および／または反射を低減／排除し、および／または復号エラーをもたらし得る他の特徴を低減／排除する参照画像記録変換を規定することができる。変換の各々を試験することができる。それらが所望の成功をもたらさない場合、それらは破棄され、洗練され、変更され、および／またはさらなる変換によって拡張され得る。
【0073】
変換の例は、空間ローパスフィルタリング、空間ハイパスフィルタリング、鮮明化、ぼかし（例えば、ガウスぼかし）、アンシャープマスキング、浸食、メディアンフィルタ、最大フィルタ、コントラスト範囲の縮小、エッジ検出、色深度の縮小、グレースケールレベル変換、ネガ作成、色補正（色バランス、ガンマ補正、彩度）、色置換、フーリエ変換、フーリエローパスフィルタ、フーリエハイパスフィルタ、逆フーリエ変換である。
【0074】
いくつかの変換は、1つまたは複数の畳み込み行列（畳み込みカーネルと呼ばれる）を使用してラスタグラフィックスの畳み込みによって実行することができる。後者は、通常、様々なサイズ（例えば、3×3、5×5、9×9など）を有することができる奇数次元を有する正方行列である。いくつかの変換は線形システムとして表すことができ、離散畳み込み、線形演算が適用される。離散2次元関数（デジタル画像）の場合、離散畳み込みについて以下の計算式が生じる。
ここで、I＊（x，y）は変換済み画像記録の結果画素を表し、Iは変換が適用される元の画像記録である。aは、正方形の畳み込み行列の中心点の座標を示し、k（i，j）は、畳み込み行列の要素である。3×3の畳み込み行列の場合、n＝3およびa＝2であり、5×5行列の場合、n＝5およびa＝3である。
【数1】
【0075】
例えばリンゴの場合、変換済み参照画像記録が変換されていない参照画像記録よりも少ない復号エラーを生成するという効果を有する変換および変換のシーケンスを以下に列挙する。
－強度線形RGB信号への色変換
－例えば、反射チャネルおよび／または照明チャネルと、コード化された表面部分とコード化されていない表面部分とを区別するための少なくとも2つの色チャネルとへの線形RGB信号の色変換。この目的のために、強度線形RGB色信号は、コード化された表面部分とコード化されていない表面部分との間の可能な限り最良の区別を達成するように互いに線形に組み合わされる。
－少なくとも2つの色チャネルから反射チャネルを減算することによる反射補正（加法補正）
－少なくとも2つの色チャネルを照明チャネルに正規化することによる照明補正（乗算補正）
－外乱の検出および不完全性の周囲からの空間補間によるリンゴ表面の外乱の補正
－フィルタマスクを使用した照明および反射補正された画像セグメントのアンシャープマスキングは、程度に関して、例えば画像輝度の空間的不均一性がリンゴの曲面形状によって十分に補償され、コード化された表面部分とコード化されていない表面部分との間の画像コントラストが、高周波数画像部分を増加させることによって増幅され最適化されるという結果をもたらす。
－強度線形RGB信号への色変換
－例えば、反射チャネルおよび／または照明チャネルと、コード化された表面部分とコード化されていない表面部分とを区別するための少なくとも2つの色チャネルとへの線形RGB信号の色変換。この目的のために、強度線形RGB色信号は、コード化された表面部分とコード化されていない表面部分との間の可能な限り最良の区別を達成するように互いに線形に組み合わされる。
－少なくとも2つの色チャネルから反射チャネルを減算することによる反射補正（加法補正）
－少なくとも2つの色チャネルを照明チャネルに正規化することによる照明補正（乗算補正）
－外乱の検出および不完全性の周囲からの空間補間によるリンゴ表面の外乱の補正
－フィルタマスクを使用した照明および反射補正された画像セグメントのアンシャープマスキングは、程度に関して、例えば画像輝度の空間的不均一性がリンゴの曲面形状によって十分に補償され、コード化された表面部分とコード化されていない表面部分との間の画像コントラストが、高周波数画像部分を増加させることによって増幅され最適化されるという結果をもたらす。
【0076】
変換のさらなる例は、デジタル画像処理のトピックに関する多数の刊行物から収集することができる。
【0077】
多数の変換済み参照画像記録が生成されている場合、訓練データを機械学習モデルの訓練に使用することができる。この場合、（変換されていない）参照画像記録は、入力データとしてモデルに供給される。モデルは、1つまたは複数の参照画像記録から出力画像記録を生成するように構成される。出力画像記録は、変換済み参照画像記録（目標データ）と比較される。出力画像記録と変換済み参照画像記録との間の偏差は、損失関数で定量化することができる。決定された誤差値は、誤差値が低減されるように機械学習モデルのモデルパラメータを適合させるために使用することができる。誤差値が所定の最小値に達する場合、モデルは訓練され、新しい画像記録に基づいて新しい変換済み画像記録を生成するために使用することができる。この場合、「新しい」という用語は、対応する画像記録がモデルの訓練中に使用されなかったことを意味する。
【0078】
機械学習モデルは、例えば、人工ニューラルネットワークであってもよく、またはそのようなネットワークを含んでもよい。
【0079】
人工ニューラルネットワークは、処理要素の少なくとも3つの層、すなわち、入力ニューロン（ノード）を有する第1の層、少なくとも1つの出力ニューロン（ノード）を有する第Nの層、およびN－2個の内層を含み、Nは自然数であり、2より大きい。
【0080】
入力ニューロンは、1つまたは複数の画像記録を受信する役割を果たす。出力ニューロンは、変換済み画像記録を出力する役割を果たす。
【0081】
入力ニューロンと出力ニューロンとの間の階層の処理要素は、所定の接続重みで所定のパターンで接続される。
【0082】
ニューラルネットワークの訓練は、例えば、逆伝播法によって実行することができる。ここでのネットワークに関する目的は、所与の入力データの所与の出力データへのマッピングの最大信頼性である。マッピング品質は損失関数によって記述される。目的は、損失関数を最小化することである。逆伝播法の場合、接続重みの変更によって人工ニューラルネットワークが教示される。
【0083】
訓練された状態では、処理要素間の接続重みは、画像記録と変換済み画像記録との間の関係に関する情報を含む。
【0084】
データを訓練データセットおよび検証データセットに分割するために、交差検証法を使用することができる。訓練データセットは、ネットワーク重みの逆伝播訓練において使用される。検証データセットは、訓練済みネットワークを未知のデータに適用することができる予測の精度をチェックするために使用される。
【0085】
特に好ましい一実施形態では、機械学習モデルは、敵対的生成ネットワーク（GANと略す）を含む。これらおよび他の人工ニューラルネットワークに関する詳細は、従来技術（例えば、M．－Y．LiuらのGenerative Adversarial Networks for Image and Video Synthesis：Algorithms and Applications，arXiv：2008．02793、J．HenryらのPix2Pix GAN for Image－to－Image Translation、DOI：10．13140／RG．2．2．32286．66887参照）から収集することができる。
【0086】
機械学習モデルが訓練されると、新しい画像記録に基づいて新しい変換済み画像記録を生成するために使用することができる。
【0087】
画像記録（または複数の画像記録）は訓練済みモデルに供給され、モデルは変換済み画像記録を生成する。
【0088】
変換済み画像記録では、光学的に読み取り可能なコードは、元の（変換されていない）画像記録（または複数の画像記録の場合は元の画像記録）よりも認識可能かつ読み取り可能である。
【0089】
変換済み画像記録における光学的に読み取り可能なコードは、次のステップで読み取られる（復号される）。使用されるコードに応じて、ここでは、それぞれのコードを読み取る（復号する）ための既存の方法が存在する。
【0090】
読み取られた（復号された）コードは、コードが導入された表面内の対象物に関する情報を含むことができる。
【0091】
好ましい一実施形態では、読み取られたコードは（固有の）識別子を含み、それに基づいて消費者は、例えばデータベースから対象物に関するさらなる情報を取得することができる。読み取られたコードおよび／または読み取られたコードにリンクされた情報は、出力、すなわち画面上に表示、プリンタ上で印刷、および／またはデータ記憶媒体に記憶することができる。
【0092】
そのような（固有の）識別子、および識別子にリンクされた対象物に関して記憶することができ、消費者に表示することができる情報に関するさらなる情報は、欧州特許出願第3896629号明細書に記載されており、その内容は、参照により本明細書に完全に組み込まれるものとする。
【0093】
本発明は、本発明を図面に示される特徴および特徴の組み合わせに限定することを望まずに、図面を参照して以下により詳細に説明される。
【0094】
図1は、例として、機械学習モデルを訓練するための方法を概略的に示す。
【0095】
機械学習モデル（MLM）の訓練は、訓練データ（TD）に基づいて行われる。訓練データは、通常、複数の対象物の各対象物について、i）少なくとも1つの参照画像記録（RI）およびii）変換済み参照画像記録（RIt）を含む。1つの対象物に対して1つのデータセットのみが図1に示されている。対象物は、本例ではリンゴである。光学コードが対象物の表面に導入されている。本実施例では、QRコードがリンゴの皮に導入されている。変換済み参照画像記録（RIt）および変換されていない画像記録（RI）の両方は、対象物の表面に導入された光学的に読み取り可能なコードを示す。変換済み参照画像記録（RIt）は、変換されていない画像記録（RI）に基づいて専門家によって生成されたものであってもよい。専門家は、変換済み参照画像記録（RIt）における光学的に読み取り可能なコードの読み取りが、変換されていない参照画像記録（RI）における光学的に読み取り可能なコードの読み取りよりも少ない復号エラーを生成することを保証する1つまたは複数の変換を、変換されていない画像記録（RI）について決定するという目的に直面していたかもしれない。
【0096】
参照画像記録（RI）は、機械学習モデル（MLM）に供給される（ステップ110）。機械学習モデル（MLM）は、参照画像記録（RI）およびモデルパラメータ（MP）に基づいて出力画像記録（I＊）を生成するように構成される（ステップ120）。出力画像記録（I＊）は、予測変換済み参照画像記録である。出力画像記録（I＊）は、変換済み参照画像記録（RIt）と比較することができる。損失関数（LF）を用いて、出力画像記録（I＊）と変換済み参照画像記録（RIt）との間の損失（L）を計算することが可能であり（ステップ130）、損失（L）は、出力画像記録（I＊）と変換済み参照画像記録（RIt）との間の偏差の定量化である。損失（L）は、偏差を低減することに関してモデルパラメータ（MP）を修正するために使用することができる。これは、最適化方法、例えば勾配法で行うことができる。
【0097】
機械学習モデル（MLM）は、入力データとしての多数の参照画像記録および目標データとしての変換済み参照画像記録に基づいて訓練される。結果として、モデルは、読み取り中の復号エラーをより少なくするような変換を学習する。
【0098】
図2は、対象物の表面に導入された光学的に読み取り可能なコードの読み取りをフローチャートの形式で概略的にかつ例として示す。
【0099】
第1のステップ（210）において、対象物（O）の表面に導入された光学的に読み取り可能なコードのデジタル画像記録（I）が、カメラ（C）を用いて生成される。第2のステップ（220）において、デジタル画像記録（I）は、訓練済み機械学習モデル（MLMt）に供給される。機械学習モデル（MLMt）は、画像記録（I）に基づいて変換済み画像記録（I＊）を生成するように構成および訓練される。機械学習モデル（MLMt）の訓練は、図1に関連して説明したように実行することができる。第3のステップ（230）において、機械学習モデル（MLMt）は、変換済み画像記録（I＊）を供給し、ここで、対象物（O）の表面に導入された光学的に読み取り可能なコード（この場合はQRコード）は、その周囲に対してより高いコントラストを有し、したがって、変換されていない画像記録（I）の場合の光学的に読み取り可能なコードよりも明確に認識可能であり、読み取りやすい。第4のステップ（140）において、光学的に読み取り可能なコードが読み取られ、読み取られたコード（OI）が提供される。読み取られたコード（OI）を表示することができ、および／または読み取られたコード（OI）に基づいて対象物（O）に関する情報を、例えばデータベースから読み取って提供することができる（例えば、通信されて表示される）。
【0100】
図3は、例として本発明によるシステムを概略的に示す。
【0101】
システム（1）は、コンピュータシステム（10）と、カメラ（20）と、1つまたは複数のデータ記憶媒体（30）とを備える。対象物の画像記録は、カメラ（20）を用いて生成することができる。カメラ（20）は、生成された画像記録をコンピュータシステム（10）に送信することができるように、コンピュータシステム（10）に接続されている。カメラ（20）は、ケーブル接続および／または無線接続を介してコンピュータシステム（10）に接続することができる。1つまたは複数のネットワークを介した接続も考えられる。さらに、例えば今日のスマートフォンおよびタブレットコンピュータの場合のように、カメラ（20）がコンピュータシステム（10）の一体部分であることが考えられる。
【0102】
コンピュータシステム（10）は、（例えば、コンピュータプログラムによって）（カメラまたはデータ記憶媒体から）1つまたは複数の画像記録を受信し、変換済み画像記録を生成し、変換済み画像記録内の光学コードを復号し、復号済みコードを出力し、および／または復号済みコードにリンクされた情報を提供するように構成される。
【0103】
画像記録、モデル、モデルパラメータ、コンピュータプログラムおよび／または他の／さらなる情報をデータ記憶媒体（30）に記憶することができる。データ記憶媒体（30）は、ケーブル接続および／または無線接続を介してコンピュータシステム（10）に接続することができる。1つまたは複数のネットワークを介した接続も考えられる。さらに、データ記憶媒体（30）は、コンピュータシステム（10）の一体部分であることが考えられる。さらに、複数のデータ記憶媒体が存在することが考えられる。
【0104】
図4は、コンピュータシステム（10）を概略的に示す。そのようなコンピュータシステム（10）は、1つまたは複数の固定式または可搬式電子デバイスを備えることができる。コンピュータシステム（10）は、例えば記憶媒体（15）に接続された処理ユニット（11）などの、1つまたは複数の構成要素を備えることができる。
【0105】
処理ユニット（11）は、単独で、あるいは1つまたは複数の記憶媒体と組み合わせて、1つまたは複数のプロセッサを備えることができる。処理ユニット（11）は、例えばデジタル画像記録、コンピュータプログラムおよび／または他のデジタル情報などの情報を処理することができる慣用的なコンピュータハードウェアを含むことができる。処理ユニット（11）は、通常、電子回路の構成からなり、その一部は、集積回路として、または互いに接続された複数の集積回路（集積回路は「チップ」と呼ばれることもある）として具現化することができる。処理ユニット（11）は、処理ユニット（11）のメインメモリまたは同じもしくは異なるコンピュータシステムの記憶媒体（15）に記憶することができるコンピュータプログラムを実行するように構成することができる。
【0106】
記憶媒体（15）は、例えばデジタル画像記録、データ、コンピュータプログラムおよび／または他のデジタル情報などの情報を一時的および／または永続的に記憶することができる慣用的なコンピュータハードウェアとすることができる。記憶媒体（15）は、揮発性および／または不揮発性の記憶媒体を備えることができ、固定的に内蔵または取り外し可能とすることができる。適切な記憶媒体の例は、RAM（ランダムアクセスメモリ）、ROM（読み取り専用メモリ）、ハードディスク、フラッシュメモリ、交換可能コンピュータフロッピーディスク、光ディスク、磁気テープ、または前述の組み合わせである。光ディスクは、読み取り専用メモリを有するコンパクトディスク（CD－ROM）、読み取り／書き込み機能を有するコンパクトディスク（CD－R／W）、DVD、ブルーレイディスクなどを含むことができる。
【0107】
記憶媒体（15）に加えて、処理ユニット（11）は、情報を表示し、送信し、および／または受信するために、1つまたは複数のインターフェース（12，13，14，17，18）に接続することもできる。インターフェースは、1つもしくは複数の通信インターフェース（17，18）および／または1つもしくは複数のユーザインターフェース（12，13，14）を備えることができる。1つまたは複数の通信インターフェースは、例えば、カメラ、他のコンピュータ、ネットワーク、データ記憶媒体などとの間で情報を送信および／または受信するように構成することができる。1つまたは複数の通信インターフェースは、物理的（有線）および／または無線通信接続を介して情報を送信および／または受信するように構成することができる。1つまたは複数の通信インターフェースは、例えば、携帯電話、Wi－Fi、衛星、ケーブル、DSL、光ファイバなどの技術を使用して、ネットワークに接続するための1つまたは複数のインターフェースを含むことができる。いくつかの例では、1つまたは複数の通信インターフェースは、NFC、RFID、Bluetooth、Bluetooth LE、ZigBee、赤外線（例えば、IrDA）などの近距離通信技術でデバイスを接続するように構成された1つまたは複数の近距離通信インターフェースを備えることができる。
【0108】
ユーザインターフェース（12，13，14）は、ディスプレイ（14）を備えることができる。ディスプレイ（14）は、ユーザに情報を表示するように構成することができる。好適な例は、液晶ディスプレイ（LCD）、発光ダイオードディスプレイ（LED）、プラズマディスプレイパネル（PDP）などである。ユーザ入力インターフェース（12，13）は、有線または無線とすることができ、例えば処理、記憶および／または表示のために、ユーザからコンピュータシステム（10）に情報を受信するように構成することができる。ユーザ入力インターフェースの適切な例は、マイクロフォン、画像またはビデオ記録装置（例えば、カメラ）、キーボードまたはキーパッド、ジョイスティック、タッチ感知面（タッチスクリーンとは別個であるか、またはタッチスクリーンに組み込まれている）などである。いくつかの例では、ユーザインターフェースは、機械可読情報のための自動識別およびデータ取り込み技術（AIDC）を含むことができる。それは、バーコード、無線周波数識別（RFID）、磁気ストリップ、光学文字認識（OCR）、集積回路カード（ICC）などを含むことができる。ユーザインターフェースは、プリンタなどの周辺機器と通信するための1つまたは複数のインターフェースをさらに備えることができる。
【0109】
1つまたは複数のコンピュータプログラム（16）は、記憶媒体（15）に記憶することができ、処理ユニット（11）によって実行することができ、それによって、本明細書に記載された機能を果たすようにプログラムされる。コンピュータプログラム（16）の命令のフェッチ、ロード、および実行は、それぞれの命令がフェッチ、ロード、および実行されるように順次行うことができる。しかしながら、フェッチ、ロード、および／または実行は、並行して行うこともできる。
【0110】
本発明によるシステムは、ラップトップ、ノートブック、ネットブック、タブレットPCおよび／またはハンドヘルドデバイス（例えば、スマートフォン）として具現化することができる。好ましくは、本発明によるシステムはカメラを備える。
【0111】
図5は、例として、機械学習モデルを訓練するための訓練データセットの生成を概略的に示す。訓練データセットに基づいて、機械学習モデルは、画像記録の1つまたは複数の変換を実行するように訓練することができる。
【0112】
訓練データセットの生成は、1人または複数の専門家によって実行される手動プロセスとすることができる。この例における開始点は、参照画像記録RI1～RInの数nであり、nは、好ましくは100より大きい整数である。各参照画像記録は、対象物の表面に導入された光学コードを示す。好ましくは、各参照画像記録は、対象物の異なる試料に導入された光学的に読み取り可能なコードを示す。対象物は、例えばリンゴであり得る。その場合、各参照画像記録は、好ましくは、異なるリンゴ試料における光学的に読み取り可能なコードを示す。
【0113】
例えばリンゴなど、参照対象物が常に同じである場合、訓練データセットを使用して、リンゴに導入された光学的に読み取り可能なコードの画像記録における外乱を低減および／または排除するように機械学習モデルを訓練することができる。
【0114】
例えば、異なる果物（例えば、リンゴおよびナシ）などの異なる参照対象物がある場合、訓練データセットを使用して、異なる果物に導入された光学的に読み取り可能なコードの画像記録における外乱を低減および／または排除するように機械学習モデルを訓練することができる。参照画像記録で撮像された参照対象物がより異なる（バリアントの数が多い）ほど、必要な訓練データの量がより多くなり、訓練済み機械学習モデルをより多様に使用することができる。定義された品種のリンゴの参照画像記録のみに基づいて訓練された機械学習モデルは、バナナのコードを読み取るために使用される場合、異なる品種のリンゴおよびバナナの参照画像記録に基づいて訓練済みモデルよりも悪い結果を達成する。参照画像記録で撮像された光学的に読み取り可能なコードは、同様に、すべての参照画像記録において同一であっても異なっていてもよい。
【0115】
本実施例（図5）では、少なくとも1人の専門家が、それぞれの参照画像記録から変換済み参照画像記録を生成する。本明細書で説明するように、複数の参照画像記録を組み合わせて、変換済み参照画像記録を形成することもできる。変換済み参照画像記録は、参照画像記録が1つまたは複数の変換を受けることによって生成される。どのような変換が実行されるか、および複数の変換の場合にどのような順序で変換が実行されるかは、少なくとも1人の専門家によってその専門知識に基づいて規定される。変換の目的は、少なくとも1つの参照画像記録から、存在する外乱がより少なく、したがって復号エラーの発生確率が低減される変換済み参照画像記録を生成することである。
【0116】
外乱因子は、少なくとも1つの画像記録において外乱をもたらす対象物および／または対象物の表面に導入された光学的に読み取り可能なコードの特徴である。
【0117】
そのような外乱は、例えば、歪み、光反射、異なる色および／またはサイズを有するコード要素などである。
【0118】
外乱因子および外乱は、少なくとも1つの画像記録において撮像されるような光学的に読み取り可能なコードの要素が認識されないか、または誤って解釈されるという効果を有することができる。
【0119】
外乱因子および外乱は、少なくとも1つの画像記録において撮像されるような対象物の特徴が、光学的に読み取り可能なコードの一部ではないにもかかわらず、光学コードの特徴として解釈されるという効果を有することができる。
【0120】
少なくとも1つの画像記録における1つまたは複数の外乱は、本発明の助けを借りて低減および／または排除される。これは、1つまたは複数の変換を用いて行われる。
【符号の説明】
【0121】
1 システム
10 コンピュータシステム
11 処理ユニット
12 ユーザ入力インターフェース
13 ユーザ入力インターフェース
14 ユーザインターフェース、ディスプレイ
15 記憶媒体
16 コンピュータプログラム
17 通信インターフェース
18 通信インターフェース
20 カメラ
30 データ記憶媒体
10 コンピュータシステム
11 処理ユニット
12 ユーザ入力インターフェース
13 ユーザ入力インターフェース
14 ユーザインターフェース、ディスプレイ
15 記憶媒体
16 コンピュータプログラム
17 通信インターフェース
18 通信インターフェース
20 カメラ
30 データ記憶媒体
【図1】
【図2】
【図3】
【図4】
【図5】
【国際調査報告】