知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024172251
(43)【公開日】2024-12-12
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241205BHJP
G06K 7/14 20060101ALI20241205BHJP
G06K 7/10 20060101ALI20241205BHJP
G06N 20/00 20190101ALI20241205BHJP
G06T 5/77 20240101ALI20241205BHJP
【ＦＩ】
G06T7/00 350B
G06K7/14 017
G06K7/10 372
G06K7/14 060
G06N20/00
G06T5/00 720
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023089836
(22)【出願日】2023-05-31
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】110001357
【氏名又は名称】弁理士法人つばさ国際特許事務所
(72)【発明者】
【氏名】陸 夢倩
(72)【発明者】
【氏名】田中 久徳
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057AA01
5B057CA08
5B057CA12
5B057CA16
5B057CB06
5B057CB12
5B057CB16
5B057CE12
5B057DB02
5B057DB08
5L096AA06
5L096BA03
5L096EA33
5L096EA43
5L096GA51
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】撮影条件に起因する読み取り率の悪化を抑制することの可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】本開示の一側面に係る画像処理装置は、学習モデルを備えている。学習モデルは、撮像により得られたコード画像、およびコード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルである。学習モデルは、コード画像またはコード画像に対して所定の処理がなされた処理済み画像が入力されると、コード画像または処理済み画像に対応する二値画像を出力することが可能となっている。
【選択図】図２
【解決手段】本開示の一側面に係る画像処理装置は、学習モデルを備えている。学習モデルは、撮像により得られたコード画像、およびコード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルである。学習モデルは、コード画像またはコード画像に対して所定の処理がなされた処理済み画像が入力されると、コード画像または処理済み画像に対応する二値画像を出力することが可能となっている。
【選択図】図２
【特許請求の範囲】
【請求項1】
受付部と、第１学習モデルと、デコード部とを備え、
前記受付部は、ワーク上のコードを撮像することにより得られたコード画像を受け付けることが可能となっており、
前記第１学習モデルは、撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであり、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像が入力されると、前記コード画像または前記処理済み画像に対応する二値画像を出力することが可能となっており、
前記デコード部は、前記二値画像をデコードすることにより識別コードを生成することが可能となっている
画像処理装置。
前記受付部は、ワーク上のコードを撮像することにより得られたコード画像を受け付けることが可能となっており、
前記第１学習モデルは、撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであり、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像が入力されると、前記コード画像または前記処理済み画像に対応する二値画像を出力することが可能となっており、
前記デコード部は、前記二値画像をデコードすることにより識別コードを生成することが可能となっている
画像処理装置。
【請求項2】
第２学習モデルを更に備え、
前記第２学習モデルは、撮像により得られた第２コード画像、および前記第２コード画像に対して欠陥が付与された欠陥画像を学習データとする機械学習がなされたモデルであり、前記コード画像が入力されると、前記コード画像に含まれる欠陥が修復された画像を前記処理済み画像として出力することが可能となっている
請求項１に記載の画像処理装置。
前記第２学習モデルは、撮像により得られた第２コード画像、および前記第２コード画像に対して欠陥が付与された欠陥画像を学習データとする機械学習がなされたモデルであり、前記コード画像が入力されると、前記コード画像に含まれる欠陥が修復された画像を前記処理済み画像として出力することが可能となっている
請求項１に記載の画像処理装置。
【請求項3】
撮像支援部と、学習部とを更に備え、
前記撮像支援部は、前記デコード部において前記識別コードが生成できなかった場合に、前記コード画像を生成することの可能な撮像装置に対して撮像条件の変更を指示する制御信号を、前記デコード部において前記識別コードが生成できるまで前記撮像条件を変えながら繰り返し出力することが可能となっており、
前記学習部は、前記第１学習モデルのバックアップデータであるマスタ学習モデルを有し、前記第１学習モデルを、前記マスタ学習モデルに対して機械学習を行うことにより得られる新学習モデルに置き換えることが可能となっており、
前記学習部は、前記撮像支援部による前記撮像条件の変更によって前記撮像装置で得られる前記コード画像を前記第１コード画像とし、前記撮像支援部による前記撮像条件の変更によって前記第１学習モデルから出力される前記二値画像を前記SemanticSegmentation画像として、前記マスタ学習モデルに対して機械学習を行うことにより前記新学習モデルを生成することが可能となっている
請求項１に記載の画像処理装置。
前記撮像支援部は、前記デコード部において前記識別コードが生成できなかった場合に、前記コード画像を生成することの可能な撮像装置に対して撮像条件の変更を指示する制御信号を、前記デコード部において前記識別コードが生成できるまで前記撮像条件を変えながら繰り返し出力することが可能となっており、
前記学習部は、前記第１学習モデルのバックアップデータであるマスタ学習モデルを有し、前記第１学習モデルを、前記マスタ学習モデルに対して機械学習を行うことにより得られる新学習モデルに置き換えることが可能となっており、
前記学習部は、前記撮像支援部による前記撮像条件の変更によって前記撮像装置で得られる前記コード画像を前記第１コード画像とし、前記撮像支援部による前記撮像条件の変更によって前記第１学習モデルから出力される前記二値画像を前記SemanticSegmentation画像として、前記マスタ学習モデルに対して機械学習を行うことにより前記新学習モデルを生成することが可能となっている
請求項１に記載の画像処理装置。
【請求項4】
判定部を更に備え、
前記判定部は、前記デコード部で生成される前記識別コードが所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記デコード部で生成される前記識別コードが前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
請求項１に記載の画像処理装置。
前記判定部は、前記デコード部で生成される前記識別コードが所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記デコード部で生成される前記識別コードが前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
請求項１に記載の画像処理装置。
【請求項5】
判定部を更に備え、
前記判定部は、前記第１学習モデルから得られる前記二値画像と、前記デコード部で生成される前記識別コードをエンコードすることにより得られる判定用二値画像との一致率が所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記一致率が前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
請求項１に記載の画像処理装置。
前記判定部は、前記第１学習モデルから得られる前記二値画像と、前記デコード部で生成される前記識別コードをエンコードすることにより得られる判定用二値画像との一致率が所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記一致率が前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
請求項１に記載の画像処理装置。
【請求項6】
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされた第１学習モデルに対して、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を入力し、それにより、前記コード画像または前記処理済み画像に対応する二値画像を前記第１学習モデルから取得することと、
前記二値画像をデコードすることにより識別コードを生成することと
を含む
画像処理方法。
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされた第１学習モデルに対して、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を入力し、それにより、前記コード画像または前記処理済み画像に対応する二値画像を前記第１学習モデルから取得することと、
前記二値画像をデコードすることにより識別コードを生成することと
を含む
画像処理方法。
【請求項7】
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであって、かつ、入力画像が入力されると、前記入力画像に対応する二値画像を出力することの可能な第１学習モデルを含み、
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を前記入力画像として前記第１学習モデルに入力し、それにより、前記二値画像として、前記コード画像または前記処理済み画像に対応する画像を前記第１学習モデルから取得することと
をコンピュータに実行させることの可能な画像処理プログラム。
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を前記入力画像として前記第１学習モデルに入力し、それにより、前記二値画像として、前記コード画像または前記処理済み画像に対応する画像を前記第１学習モデルから取得することと
をコンピュータに実行させることの可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
近年、物品の表面に、一次元バーコードや二次元コード等のコードを付与し、コードをデコードすることにより得られる識別コードに対して、物品に関する情報を紐付けることにより、物品を管理することが行われている。物品の表面に付与されたコードを読み取る際に、例えば、照明の当たり方や、コードの印刷品質、コードを読み取る撮像装置の特性等の撮影条件により、撮像装置で得られたコードの画像（以下、「コード画像」と称する。）の品質にばらつきが生じる。そのため、同じコード、および同じ二値化演算ルールを用いた場合であっても、コード画像に対して二値化処理を行うことにより得られる二値画像が、撮影条件によりばらついてしまうことがある。その結果、読み取り率が悪化してしまうことがある。
【0003】
そのような問題に対して、例えば、特許文献１に記載の発明では、読み取りに適さないコードを読み取り易いコードに修復する学習モデルを用いることが提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－６７２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、特許文献１に記載の発明では、一般的なデコード処理、つまり閾値を用いた二値化処理が行われているので、撮影条件に起因する読み取り率の悪化を抑制することは難しい。撮影条件に起因する読み取り率の悪化を抑制することの可能な画像処理装置、画像処理方法および画像処理プログラムを提供することが望ましい。
【課題を解決するための手段】
【0006】
本開示の第１の側面に係る画像処理装置は、受付部と、学習モデルと、デコード部とを備えている。受付部は、ワーク上のコードを撮像することにより得られたコード画像を受け付けることが可能となっている。学習モデルは、撮像により得られたコード画像、およびコード画像に対応する２クラスのSemanticSegmentation画像を学習データとする機械学習がなされたモデルである。学習モデルは、コード画像またはコード画像に対して所定の処理がなされた処理済み画像が入力されると、コード画像または処理済み画像に対応する二値画像を出力することが可能となっている。デコード部は、二値画像をデコードすることにより識別コードを生成することが可能となっている。
【0007】
本開示の第２の側面に係る画像処理方法は、以下の３つを含む。
（Ａ１）ワーク上のコードを撮像することにより得られたコード画像を取得すること
（Ａ２）撮像により得られたコード画像、およびコード画像に対応する２クラスのSemanticSegmentation画像を学習データとする機械学習がなされた学習モデルに対して、コード画像またはコード画像に対して所定の処理がなされた処理済み画像を入力し、それにより、コード画像または処理済み画像に対応する二値画像を学習モデルから取得すること
（Ａ３）二値画像をデコードすることにより識別コードを生成すること
（Ａ１）ワーク上のコードを撮像することにより得られたコード画像を取得すること
（Ａ２）撮像により得られたコード画像、およびコード画像に対応する２クラスのSemanticSegmentation画像を学習データとする機械学習がなされた学習モデルに対して、コード画像またはコード画像に対して所定の処理がなされた処理済み画像を入力し、それにより、コード画像または処理済み画像に対応する二値画像を学習モデルから取得すること
（Ａ３）二値画像をデコードすることにより識別コードを生成すること
【0008】
本開示の第３の側面に係る画像処理プログラムは、撮像により得られたコード画像、およびコード画像に対応する２クラスのSemanticSegmentation画像を学習データとする機械学習がなされたモデルであって、かつ、入力画像が入力されると、入力画像に対応する二値画像を出力することの可能な学習モデルを含む。この画像処理プログラムは、以下の２つをコンピュータに実行させることが可能となっている。
（Ｂ１）ワーク上のコードを撮像することにより得られたコード画像を取得すること
（Ｂ２）コード画像またはコード画像に対して所定の処理がなされた処理済み画像を入力画像として学習モデルに入力し、それにより、二値画像として、コード画像または処理済み画像に対応する画像を学習モデルから取得すること
（Ｂ１）ワーク上のコードを撮像することにより得られたコード画像を取得すること
（Ｂ２）コード画像またはコード画像に対して所定の処理がなされた処理済み画像を入力画像として学習モデルに入力し、それにより、二値画像として、コード画像または処理済み画像に対応する画像を学習モデルから取得すること
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
【0011】
＜１．実施の形態＞
[構成]
本開示の一実施の形態に係る画像処理装置１００について説明する。図１は、画像処理装置１００の概略構成例を表したものである。画像処理装置１００は、例えば、図１に示したように、レンズ１１０、撮像部１２０および画像処理部１３０を備えている。画像処理部１３０が、本開示の一実施の形態に係る「画像処理装置」の一具体例に対応する。
[構成]
本開示の一実施の形態に係る画像処理装置１００について説明する。図１は、画像処理装置１００の概略構成例を表したものである。画像処理装置１００は、例えば、図１に示したように、レンズ１１０、撮像部１２０および画像処理部１３０を備えている。画像処理部１３０が、本開示の一実施の形態に係る「画像処理装置」の一具体例に対応する。
【0012】
レンズ１１０は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を撮像部１２０に導き、撮像部１２０の受光面に結像させることが可能となっている。
【0013】
撮像部１２０は、レンズ１１０を介して受光面に結像される光に応じて、周期的に信号電荷を蓄積することが可能となっている。撮像部１２０に蓄積された信号電荷は、画素信号（画像データ）として、撮像部１２０内のＤＳＰ回路に転送される。つまり、撮像部１２０は、レンズ１１０を介して入射された像光（入射光）を受光し、受光した像光（入射光）に応じた画素信号をＤＳＰ回路に出力することが可能となっている。ＤＳＰ回路は、画素信号（画像データ）を処理する信号処理回路である。撮像部１２０は、ＤＳＰ回路により処理された画像を、フレーム単位で一時的にフレームメモリに保持することが可能となっている。撮像部１２０は、フレームメモリから読み出した画像をＲＡＷ画像として画像処理部１３０に出力することが可能となっている。
【0014】
撮像部１２０は、後段の画像処理部１３０で処理を行い易くするために、ＲＡＷ画像の撮像環境依存を緩和する処理を行うことが可能となっていてもよい。このとき、撮像部１２０は、例えば、ＲＡＷ画像に対して、撮像環境に対応したデモザイク、リニアマトリクス演算もしくはガンマ補正などを行うことが可能となっている。撮像部１２０は、例えば、上記処理により得られた画像を画像処理部１３０に出力することが可能となっている。
【0015】
本実施の形態では、被写体は、ワーク上のコードである。コードには、一次元バーコードおよび二次元コードの両方が含まれる。二次元コードとしては、例えば、ＱＲコード（登録商標）、マイクロＱＲコード、データマトリクス（Data matrix; Data code）、ベリコード（Veri code）、アズテックコード（Aztec code）、ＰＤＦ４１７、マキシコード（Maxi code）などが挙げられる。二次元コードにはスタック型とマトリクス型が含まれるが、本実施の形態では、コードは、いずれの二次元コードであってもよい。コードは、ワークに直接印刷あるいは刻印することによって付されたものであってもよいし、ラベルに印刷した後にワークに貼付することによって付されたものであってもよい。
【0016】
また、本実施の形態では、撮像部１２０から出力される画像（画像処理部１３０に入力される画像）は、ワーク上のコードを撮像部１２０で撮像することにより得られるコード画像である。以下では、このコード画像をコード画像Ｉｃと称するものとする。コード画像Ｉｃには、ワーク上のコードを読み取る際に、例えば、照明の当たり方や、コードの印刷品質、撮像装置１２０の特性等の撮影条件により品質にばらつきが生じていてもよい。コード画像Ｉｃが、本開示の一実施の形態に係る「コード画像」の一具体例に対応する。
【0017】
図２は、画像処理部１３０の概要構成例を表したものである。画像処理部１３０は、例えば、図２に示したように、受付部１３１、記憶部１３２、制御部１３３、デコード部１３４、出力部１３５および通信部１３６を有している。受付部１３１、記憶部１３２、制御部１３３、デコード部１３４、出力部１３５および通信部１３６は、バス１３７に接続されており、バス１３７を介して相互にデータの送受信を行うことが可能となっている。受付部１３１が、本開示の一実施の形態に係る「受付部」の一具体例に対応する。デコード部１３４が、本開示の一実施の形態に係る「デコード部」の一具体例に対応する。
【0018】
受付部１３１は、撮像部１２０からコード画像Ｉｃを受け付けることの可能な入力インタフェースである。受付部１３１は、受け付けたコード画像Ｉｃを制御部１３３に出力することが可能となっている。
【0019】
記憶部１３２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリ、または、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリなどの不揮発性メモリで構成されている。記憶部１３２には、深層学習モデル１３２ａおよび画像処理プログラム１３２ｂが記憶されている。深層学習モデル１３２ａが、本開示の一実施の形態に係る「第１学習モデル」の一具体例に対応する。深層学習モデル１３２ａおよび画像処理プログラム１３２ｂが、本開示の一実施の形態に係る「画像処理プログラム」の一具体例に対応する。
【0020】
深層学習モデル１３２ａは、例えば、Ｕ－ｎｅｔ等の、Segmentationを推定することの可能なネットワークである。深層学習モデル１３２ａは、例えば、画素ごとにクラス分類することの可能なSemanticSegmentationモデルであり、例えば、画素ごとに２クラス（例えば、前景、背景）の分類が可能なSemanticSegmentationモデルである。深層学習モデル１３２ａは、撮像により得られたコード画像、およびこのコード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルである。深層学習モデル１３２ａは、学習装置２００に格納された深層学習モデル２２１（後述）と同一のモデルであり、例えば、深層学習モデル２２１のコピーである。深層学習モデル１３２ａは、コード画像Ｉｃまたはコード画像Ｉｃに対して所定の処理がなされた処理済み画像が入力されると、コード画像Ｉｃまたは処理済み画像に対応する二値画像Ｉｂを出力することが可能となっている。
【0021】
画像処理プログラム１３２ｂは、画像処理部１３０において画像処理を行うための一連の手順が記述されたプログラムである。例えば、画像処理プログラム１３２ｂが制御部１３３にロードされることにより、画像処理プログラム１３２ｂに記述された画像処理を行うための一連の手順が制御部１３３において実行される。
【0022】
制御部１３３は、例えば、画像処理を行うＧＰＵ（Graphics Processing Unit）、または、画像処理プログラム１３２ｂがロードされたＣＰＵ（Central Processing Unit）を含んで構成されている。制御部１３３は、受付部１３１を介してコード画像Ｉｃを取得することが可能となっている。制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３２ａに入力し、その入力に対する応答として、二値画像Ｉｂを取得することが可能となっている。制御部１３３は、取得した二値画像Ｉｂをデコード部１３４に入力し、その入力に対する応答として、識別コードＤｃｏｄｅを取得することが可能となっている。制御部１３３は、取得した識別コードＤｃｏｄｅを出力部１３５に出力することが可能となっている。制御部１３３は、通信部１３６を介して深層学習モデル２２１のコピーを取得することが可能となっている。制御部１３３は、取得した深層学習モデル２２１のコピーを、深層学習モデル１３２ａとして記憶部１３２に格納することが可能となっている。つまり、制御部１３３は、取得した深層学習モデル２２１のコピーを利用して、深層学習モデル１３２ａを更新することが可能となっている。
【0023】
デコード部１３４は、ワーク上のコードの規格におけるデコードアルゴリズムに基づいて、二値画像Ｉｂをデコードすることにより識別コードＤｃｏｄｅを生成することが可能となっている。デコード部１３４は、例えば、二値画像Ｉｂに対するデコードを行うことの可能なＩＣによって構成されている。
【0024】
出力部１３５は、識別コードＤｃｏｄｅを所定のデータ形式の出力データＤｏｕｔに変換して外部に出力することの可能な出力インタフェースである。通信部１３６は、所定のネットワークを介して学習装置２００と通信することの可能な通信インタフェースである。通信部１３６は、学習装置２００から深層学習モデル２２１のコピーを受信することが可能となっている。通信部１３６は、受信した深層学習モデル２２１のコピーを制御部１３３に出力することが可能となっている。「所定のネットワーク」と、例えば、インターネット、クラウドネットワーク、または、事業者固有のネットワークなどを含んで構成されている。
【0025】
図３は、学習装置２００の概要構成例を表したものである。学習装置２００は、例えば、図３に示したように、通信部２１０、記憶部２２０および制御部２３０を有している。通信部２１０、記憶部２２０および制御部２３０は、バス２４０に接続されており、バス２４０を介して相互にデータの送受信を行うことが可能となっている。
【0026】
通信部２１０は、上述の「所定のネットワーク」を介して画像処理装置１００と通信することの可能な通信インタフェースである。通信部２１０は、制御部２３０から入力された深層学習モデル２２１のコピーを画像処理装置１００に送信することが可能となっている。
【0027】
記憶部２２０は、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部２２０には、深層学習モデル２２１、ＲＡＷコード画像２２２、SemanticSegmentation画像２２３および学習プログラム２２４が記憶されている。ＲＡＷコード画像２２２が、本開示の一実施の形態に係る「第１コード画像」の一具体例に対応する。SemanticSegmentation画像２２３が、本開示の一実施の形態に係る「SemanticSegmentation画像」の一具体例に対応する。
【0028】
ＲＡＷコード画像２２２は、撮像により得られたＲＡＷ画像であり、ワーク上のコードを撮像することにより得られたコード画像である。SemanticSegmentation画像２２３は、ＲＡＷコード画像２２２に対応するSemanticSegmentation画像である。SemanticSegmentation画像２２３では、画素ごとに２クラス（例えば、前景、背景）の分類がなされている。
【0029】
深層学習モデル２２１は、例えば、Ｕ－ｎｅｔ等の、Segmentationを推定することの可能なネットワークである。深層学習モデル２２１は、例えば、画素ごとにクラス分類することの可能なSemanticSegmentationモデルであり、例えば、画素ごとに２クラス（例えば、前景、背景）の分類が可能なSemanticSegmentationモデルである。深層学習モデル２２１は、撮像により得られたＲＡＷコード画像２２２、およびＲＡＷコード画像２２２に対応するSemanticSegmentation画像２２３を学習データとする機械学習がなされたモデルである。深層学習モデル２２１は、コード画像Ｉｃが入力されると、コード画像Ｉｃに対応する二値画像Ｉｂを出力することが可能となっている。
【0030】
学習プログラム２２４は、学習装置２００において深層学習モデル２２１に対して機械学習を行うための一連の手順が記述されたプログラムである。例えば、学習プログラム２２４が制御部２３０にロードされることにより、学習プログラム２２４に記述された機械学習を行うための一連の手順が制御部２３０において実行される。
【0031】
制御部２３０は、例えば、深層学習モデル２２１に対して機械学習を行うＧＰＵ、または、学習プログラム２２４がロードされたＣＰＵを含んで構成されている。制御部２３０は、深層学習モデル２２１に対して、ＲＡＷコード画像２２２およびSemanticSegmentation画像２２３を学習データとする機械学習を行うことが可能となっている。制御部２３０は、学習済みの深層学習モデル２２１のコピーを通信部２１０に出力することが可能となっている。
【0032】
[画像処理]
次に、画像処理装置１００における画像処理について説明する。
次に、画像処理装置１００における画像処理について説明する。
【0033】
図４は、画像処理装置１００における画像処理の処理手順の一例を表したものである。まず、制御部１３３は、撮像部１２０からコード画像Ｉｃを取得する（ステップＳ１０１）。次に、制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３２ａに入力する（ステップＳ１０２）。深層学習モデル１３２ａは、コード画像Ｉｃが入力されると、コード画像Ｉｃに対応する二値画像Ｉｂを出力する。制御部１３３は、深層学習モデル１３２ａから二値画像Ｉｂを取得する（ステップＳ１０３）。
【0034】
次に、制御部１３３は、二値画像Ｉｂをデコード部１３４に入力する。デコード部１３４は、二値画像Ｉｂが入力されると、ワーク上のコードの規格におけるデコードアルゴリズムに基づいて、二値画像Ｉｂをデコードすることにより識別コードＤｃｏｄｅを生成する（ステップＳ１０４）。デコード部１３４は、生成した識別コードＤｃｏｄｅを制御部１３３に出力する。制御部１３３は、識別コードＤｃｏｄｅを取得する。制御部１３３は、取得した識別コードＤｃｏｄｅを出力部１３５に出力する。出力部１３５は、制御部１３３から識別コードＤｃｏｄｅが入力されると、入力された識別コードＤｃｏｄｅを所定のデータ形式の出力データＤｏｕｔに変換して外部装置３００に出力する（ステップＳ１０５）。外部装置３００は、画像処理装置１００から入力された出力データＤｏｕｔを利用した所定の情報処理を行う。このようにして、画像処理装置１００における画像処理が行われる。
【0035】
[効果]
次に、画像処理装置１００の効果について説明する。
次に、画像処理装置１００の効果について説明する。
【0036】
本実施の形態では、ＲＡＷコード画像２２２およびSemanticSegmentation画像２２３を学習データとする機械学習がなされた深層学習モデル１３２ａに対して、撮像部１２０により得られたコード画像Ｉｃを入力することにより、コード画像Ｉｃに対応する二値画像Ｉｂが得られる。そして、得られた二値画像Ｉｂをデコードすることにより識別コードＤｃｏｄｅが生成される。これにより、一般的なデコード処理、つまり閾値を用いた二値化処理を行う場合と比べて、撮影条件の影響を抑えた二値画像Ｉｂを得ることができる。その結果、撮影条件に起因する読み取り率の悪化を抑制することができる。
【0037】
＜２．変形例＞
次に、上記実施の形態に係る画像処理装置１００の変形例について説明する。以下では、共通の構成要素に対しては、共通の符号を付与し、共通の構成要素についての説明を適宜、省略するものとする。
次に、上記実施の形態に係る画像処理装置１００の変形例について説明する。以下では、共通の構成要素に対しては、共通の符号を付与し、共通の構成要素についての説明を適宜、省略するものとする。
【0038】
［変形例Ａ］
上記実施の形態において、画像処理部１３０は、例えば、図５に示したように、深層学習モデル１３８ａが記憶された記憶部１３８を更に有していてもよい。深層学習モデル１３８ａが、本開示の一実施の形態に係る「第２学習モデル」の一具体例に対応する。さらに、上記実施の形態において、学習装置２００は、例えば、図６に示したように、深層学習モデル２５１、ＲＡＷコード画像２５２，２５３および学習プログラム２５４が記憶された記憶部２５０を更に有していてもよい。
上記実施の形態において、画像処理部１３０は、例えば、図５に示したように、深層学習モデル１３８ａが記憶された記憶部１３８を更に有していてもよい。深層学習モデル１３８ａが、本開示の一実施の形態に係る「第２学習モデル」の一具体例に対応する。さらに、上記実施の形態において、学習装置２００は、例えば、図６に示したように、深層学習モデル２５１、ＲＡＷコード画像２５２，２５３および学習プログラム２５４が記憶された記憶部２５０を更に有していてもよい。
【0039】
記憶部１３８は、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。深層学習モデル１３８ａは、例えば、オートエンコーダ等のニューラルネットワークである。深層学習モデル１３８ａは、例えば、撮像により得られたコード画像、およびコード画像に対して欠陥が付与された欠陥画像を学習データとする機械学習がなされたモデルである。深層学習モデル１３８ａは、学習装置２００に格納された深層学習モデル２５１と同一のモデルであり、例えば、深層学習モデル２５１のコピーである。深層学習モデル１３８ａは、コード画像Ｉｃが入力されると、コード画像Ｉｃに含まれる欠陥が修復された画像を処理済み画像Ｉｄとして出力することが可能となっている。
【0040】
制御部１３３は、受付部１３１を介してコード画像Ｉｃを取得することが可能となっている。制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３８ａに入力し、その入力に対する応答として、コード画像Ｉｃにおける欠陥が修復された画像を処理済み画像Ｉｄとして取得することが可能となっている。制御部１３３は、取得した処理済み画像Ｉｄを深層学習モデル１３２ａに入力し、その入力に対する応答として、二値画像Ｉｂを取得することが可能となっている。制御部１３３は、取得した二値画像Ｉｂをデコード部１３４に入力し、その入力に対する応答として、識別コードＤｃｏｄｅを取得することが可能となっている。制御部１３３は、取得した識別コードＤｃｏｄｅを出力部１３５に出力することが可能となっている。
【0041】
制御部１３３は、通信部１３６を介して深層学習モデル２２１，２５１のコピーを取得することが可能となっている。制御部１３３は、取得した深層学習モデル２２１のコピーを、深層学習モデル１３２ａとして記憶部１３２に格納することが可能となっている。つまり、制御部１３３は、取得した深層学習モデル２２１のコピーを利用して、深層学習モデル１３２ａを更新することが可能となっている。制御部１３３は、取得した深層学習モデル２５１のコピーを、深層学習モデル１３８ａとして記憶部１３８に格納することが可能となっている。つまり、制御部１３３は、取得した深層学習モデル２５１のコピーを利用して、深層学習モデル１３８ａを更新することが可能となっている。
【0042】
通信部１３６は、学習装置２００から深層学習モデル２２１，２５１のコピーを受信することが可能となっている。通信部１３６は、受信した深層学習モデル２２１，２５１のコピーを制御部１３３に出力することが可能となっている。
【0043】
記憶部２５０は、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。ＲＡＷコード画像２５２は、撮像により得られたＲＡＷ画像であり、ワーク上のコードを撮像することにより得られたコード画像である。ＲＡＷコード画像２５３は、ＲＡＷコード画像２５２に対して欠陥（欠陥部分ｄｆ）が付与された欠陥画像である。
【0044】
深層学習モデル２５１は、例えば、オートエンコーダ等のニューラルネットワークである。深層学習モデル２５１は、例えば、撮像により得られたＲＡＷコード画像２５２、およびＲＡＷコード画像２５２に対して欠陥（欠陥部分ｄｆ）が付与された欠陥画像であるＲＡＷコード画像２５３を学習データとする機械学習がなされたモデルである。深層学習モデル２５１は、コード画像Ｉｃが入力されると、コード画像Ｉｃにおける欠陥が修復された画像を処理済み画像Ｉｄとして出力することが可能となっている。
【0045】
学習プログラム２５４は、学習装置２００において深層学習モデル２５１に対して機械学習を行うための一連の手順が記述されたプログラムである。例えば、学習プログラム２５４が制御部２３０にロードされることにより、学習プログラム２５４に記述された機械学習を行うための一連の手順が制御部２３０において実行される。
【0046】
制御部２３０は、例えば、深層学習モデル２５１に対して機械学習を行うＧＰＵ、または、学習プログラム２５１がロードされたＣＰＵを含んで構成されている。制御部２３０は、深層学習モデル２５１に対して、ＲＡＷコード画像２５２，２５３を学習データとする機械学習を行うことが可能となっている。制御部２３０は、学習済みの深層学習モデル２５１のコピーを通信部２１０に出力することが可能となっている。
【0047】
次に、本変形例に係る画像処理装置１００における画像処理について説明する。
【0048】
図７は、本変形例に係る画像処理装置１００における画像処理の処理手順の一例を表したものである。まず、制御部１３３は、撮像部１２０からコード画像Ｉｃを取得する（ステップＳ２０１）。次に、制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３８ａに入力する（ステップＳ２０２）。深層学習モデル１３８ａは、コード画像Ｉｃが入力されると、コード画像Ｉｃにおける欠陥が修復された画像を処理済み画像Ｉｄとして出力する。制御部１３３は、深層学習モデル１３８ａから処理済み画像Ｉｄを取得する（ステップＳ２０３）。制御部１３３は、取得した処理済み画像Ｉｄを深層学習モデル１３２ａに入力する（ステップＳ２０４）。深層学習モデル１３２ａは、処理済み画像Ｉｄが入力されると、処理済み画像Ｉｄに対応する二値画像Ｉｂを出力する。制御部１３３は、深層学習モデル１３２ａから二値画像Ｉｂを取得する（ステップＳ２０５）。
【0049】
次に、制御部１３３は、二値画像Ｉｂをデコード部１３４に入力する。デコード部１３４は、二値画像Ｉｂが入力されると、ワーク上のコードの規格におけるデコードアルゴリズムに基づいて、二値画像Ｉｂをデコードすることにより識別コードＤｃｏｄｅを生成する（ステップＳ２０６）。デコード部１３４は、生成した識別コードＤｃｏｄｅを制御部１３３に出力する。制御部１３３は、識別コードＤｃｏｄｅを取得する。制御部１３３は、取得した識別コードＤｃｏｄｅを出力部１３５に出力する。出力部１３５は、制御部１３３から識別コードＤｃｏｄｅが入力されると、入力された識別コードＤｃｏｄｅを所定のデータ形式の出力データＤｏｕｔに変換して外部装置３００に出力する（ステップＳ２０７）。外部装置３００は、画像処理装置１００から入力された出力データＤｏｕｔを利用した所定の情報処理を行う。このようにして、本変形例に係る画像処理装置１００における画像処理が行われる。
【0050】
次に、本変形例に係る画像処理装置１００の効果について説明する。
【0051】
本変形例では、ＲＡＷコード画像２５２，２５３を学習データとする機械学習がなされた深層学習モデル１３８ａに対して、撮像部１２０により得られたコード画像Ｉｃを入力することにより、コード画像Ｉｃにおける欠陥が修復された画像（処理済み画像Ｉｄ）が得られる。そして、深層学習モデル１３２ａに対して処理済み画像Ｉｄを入力することにより、二値画像Ｉｂが得られる。これにより、例えば、ワーク上のコードやレンズ１１０等に汚れが付着している場合であっても、そのような撮影条件の影響を抑えた二値画像Ｉｂを得ることができる。その結果、撮影条件に起因する読み取り率の悪化を抑制することができる。
【0052】
［変形例Ｂ］
上記実施およびその変形例において、画像処理部１３０は、例えば、図８に示したように、撮像部１２０に対して、撮像条件の変更を指示する制御信号ｃｔｌを出力することが可能となっていてもよい。本変形例において、制御部１３３は、本開示の一実施の形態に係る「撮像支援部」の一具体例に対応する。
上記実施およびその変形例において、画像処理部１３０は、例えば、図８に示したように、撮像部１２０に対して、撮像条件の変更を指示する制御信号ｃｔｌを出力することが可能となっていてもよい。本変形例において、制御部１３３は、本開示の一実施の形態に係る「撮像支援部」の一具体例に対応する。
【0053】
図９は、本変形例に係る画像処理部１３０の概略構成例を表したものである。画像処理部１３０は、例えば、図９に示したように、送信部１３９を更に有している。送信部１３９は、撮像部１２０に対して制御信号ｃｔｌを出力することの可能な出力インタフェースである。制御部１３３は、デコード部１３４において識別コードＩｂが生成できなかった場合に、撮像装置１２０に対して制御信号ｃｔｌを、デコード部１３４において識別コードＩｂが生成できるまで撮像条件を変えながら繰り返し送信部１３９に出力することが可能となっている。撮像部１２０は、画像処理部１３０から制御信号ｃｔｌが入力されると、入力された制御信号ｃｔｌに従って、撮像条件を変更（設定）することが可能となっている。
【0054】
図１０は、本変形例に係る学習装置２００の概略構成例を表したものである。例えば、図１０に示したように、記憶部２２０には、深層学習モデル２２１～学習プログラム２２４の他に、ＲＡＷコード画像２２５および二値画像２２６が更に記憶される。ＲＡＷコード画像２２５および二値画像２２６は、本変形例に係る画像処理部１３０における画像処理に伴って生成される。ＲＡＷコード画像２２５は、制御信号ｃｔｌに従って撮像条件が変更（設定）されたときに撮像部１２０で得られるコード画像Ｉｃである。二値画像２２６は、ＲＡＷコード画像２２５が深層学習モデル１３２ａに入力されることにより深層学習モデル１３２ａから出力される二値画像Ｉｂである。深層学習モデル２２１が、本開示の一実施の形態に係る「第１学習モデルのバックアップデータであるマスタ学習モデル」の一具体例に対応する。
【0055】
制御部２３０は、深層学習モデル２２１に対して、ＲＡＷコード画像２２５および二値画像２２６を学習データとする機械学習（追加学習）を行うことが可能となっている。制御部２３０は、追加学習済みの深層学習モデル２２１のコピーを通信部２１０に出力することが可能となっている。通信部２１０は、制御部２３０から入力された追加学習済みの深層学習モデル２２１のコピーを画像処理装置１００に送信することが可能となっている。
【0056】
次に、本変形例に係る画像処理装置１００における画像処理について説明する。
【0057】
図１１は、本変形例に係る画像処理装置１００における画像処理の処理手順の一例を表したものである。まず、制御部１３３は、撮像部１２０からコード画像Ｉｃを取得する（ステップＳ３０１）。次に、制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３２ａに入力する（ステップＳ３０２）。深層学習モデル１３２ａは、コード画像Ｉｃが入力されると、コード画像Ｉｃに対応する二値画像Ｉｂを出力する。制御部１３３は、深層学習モデル１３２ａから二値画像Ｉｂを取得する（ステップＳ３０３）。
【0058】
このとき、制御部１３３は、通信部１３６を介して、コード画像Ｉｃおよび二値画像Ｉｂを学習装置２００に送信する（ステップＳ３０４）。学習装置２００は、画像処理装置１００からコード画像Ｉｃおよび二値画像Ｉｂを受信すると、受信したコード画像Ｉｃおよび二値画像Ｉｂを、ＲＡＷコード画像２２５および二値画像２２６として記憶部２２０に格納する。
【0059】
次に、制御部１３３は、二値画像Ｉｂをデコード部１３４に入力する。デコード部１３４は、二値画像Ｉｂが入力されると、ワーク上のコードの規格におけるデコードアルゴリズムに基づいて、二値画像Ｉｂをデコードする（ステップＳ３０５）。このとき、制御部１３３は、二値画像Ｉｂのデコードに成功したか否かを判定する（ステップＳ３０６）。二値画像Ｉｂのデコードに失敗した場合（ステップＳ３０６；Ｎ）、つまり、デコード部１３４が、二値画像Ｉｂから識別コードＤｃｏｄｅを生成することができなかった場合には、制御部１３３は、制御信号ｃｔｌを出力して撮像部１２０の撮像条件を変更する（ステップＳ３０７）。そして、制御部１３３は、変更後の撮像条件での撮像により撮像部１２０で得られたコード画像Ｉｃを利用してステップＳ３０１～Ｓ３０５を再度実行する。
【0060】
一方、二値画像Ｉｂのデコードに成功した場合（ステップＳ３０６；Ｙ）、つまり、デコード部１３４が、二値画像Ｉｂから識別コードＤｃｏｄｅを生成することができた場合には、生成した識別コードＤｃｏｄｅを制御部１３３に出力する。制御部１３３は、識別コードＤｃｏｄｅを取得する。制御部１３３は、取得した識別コードＤｃｏｄｅを出力部１３５に出力する。出力部１３５は、制御部１３３から識別コードＤｃｏｄｅが入力されると、入力された識別コードＤｃｏｄｅを所定のデータ形式の出力データＤｏｕｔに変換して外部装置３００に出力する（ステップＳ３０８）。外部装置３００は、画像処理装置１００から入力された出力データＤｏｕｔを利用した所定の情報処理を行う。
【0061】
制御部１３３は、学習装置２００から、追加学習済みの深層学習モデル２２１のコピーを取得する。制御部１３３は、取得した深層学習モデル２２１のコピーを利用して、深層学習モデル１３２ａを更新する（ステップＳ３０９）。つまり、制御部１３３は、深層学習モデル１３２ａを、追加学習済みの深層学習モデル２２１のコピーに置き換える。このようにして、画像処理装置１００における画像処理が行われる。
【0062】
次に、本変形例に係る学習装置２００における追加学習について説明する。
【0063】
図１２は、本変形例に係る学習装置２００における追加学習の処理手順の一例を表したものである。まず、制御部２３０は、通信部２１０を介して、画像処理装置１００からコード画像Ｉｃおよび二値画像Ｉｂを受信する（ステップＳ４０１）。制御部２３０は、受信したコード画像Ｉｃおよび二値画像Ｉｂを、ＲＡＷコード画像２２５および二値画像２２６として記憶部２２０に格納する。制御部２３０は、コード画像Ｉｃおよび二値画像Ｉｂを受信するたびに、受信したコード画像Ｉｃおよび二値画像Ｉｂを、ＲＡＷコード画像２２５および二値画像２２６として記憶部２２０に格納する。
【0064】
その後、制御部２３０は、深層学習モデル２２１に対して、記憶部２２０に格納されたＲＡＷコード画像２２５および二値画像２２６を学習データとする機械学習（追加学習）を行う（ステップＳ４０２）。このとき、得られる追加学習済みの深層学習モデル２２１が、本開示の一実施の形態に係る「新学習モデル」の一具体例に対応する。制御部２３０は、通信部２１０を介して、追加学習済みの深層学習モデル２２１のコピーを画像処理装置１００に送信する（ステップＳ４０３）。画像処理装置１００は、追加学習済みの深層学習モデル２２１のコピーを学習装置２００から受信すると、受信した追加学習済みの深層学習モデル２２１のコピーを利用して、深層学習モデル１３２ａを更新する。つまり、画像処理装置１００は、深層学習モデル１３２ａを、追加学習済みの深層学習モデル２２１のコピーに置き換える。このようにして、学習装置２００における追加学習が行われる。
【0065】
次に、本変形例に係る画像処理装置１００の効果について説明する。
【0066】
本変形例では、デコード部１３４において識別コードＤｃｏｄｅが生成できなかった場合に、深層学習モデル１３２ａが、撮像条件を変えながら得られたＲＡＷコード画像２２５および二値画像２２６を学習データとする機械学習（追加学習）を行うことにより得られた追加学習済みの深層学習モデル２２１に置き換えられる。これにより、一般的なデコード処理、つまり閾値を用いた二値化処理を行う場合と比べて、撮影条件の影響を抑えた二値画像Ｉｂを得ることができる。その結果、撮影条件に起因する読み取り率の悪化を抑制することができる。
【0067】
［変形例Ｃ］
上記実施およびその変形例において、記憶部１３２は、例えば、図１３に示したように、判定条件１３２ｃを記憶していてもよい。判定条件１３２ｃは、出力データＤｏｕｔの出力の可否を判定するための情報である。
上記実施およびその変形例において、記憶部１３２は、例えば、図１３に示したように、判定条件１３２ｃを記憶していてもよい。判定条件１３２ｃは、出力データＤｏｕｔの出力の可否を判定するための情報である。
【0068】
図１４は、本変形例に係る画像処理装置１００における画像処理の処理手順の一例を表したものである。まず、制御部１３３は、撮像部１２０からコード画像Ｉｃを取得する（ステップＳ５０１）。次に、制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３２ａに入力する（ステップＳ５０２）。深層学習モデル１３２ａは、コード画像Ｉｃが入力されると、コード画像Ｉｃに対応する二値画像Ｉｂを出力する。制御部１３３は、深層学習モデル１３２ａから二値画像Ｉｂを取得する（ステップＳ５０３）。
【0069】
次に、制御部１３３は、二値画像Ｉｂをデコード部１３４に入力する。デコード部１３４は、二値画像Ｉｂが入力されると、ワーク上のコードの規格におけるデコードアルゴリズムに基づいて、二値画像Ｉｂをデコードすることにより識別コードＤｃｏｄｅを生成する（ステップＳ５０４）。デコード部１３４は、生成した識別コードＤｃｏｄｅを制御部１３３に出力する。制御部１３３は、識別コードＤｃｏｄｅを取得する。
【0070】
次に、制御部１３３は、識別コードＤｃｏｄｅが判定条件１３２ｃ（所定の条件）を満たすか否か判定する（ステップＳ５０５）。その結果、識別コードＤｃｏｄｅが判定条件１３２ｃ（所定の条件）を満たさないとき（ステップＳ５０５；Ｎ）、制御部１３３は、識別コードＤｃｏｄｅが正しく読み取れたデータではないことを示す処理を行う。制御部１３３は、例えば、識別コードＤｃｏｄｅを出力部１３５に出力するのを取りやめる（ステップＳ５０６）。一方、識別コードＤｃｏｄｅが判定条件１３２ｃ（所定の条件）を満たすとき（ステップＳ５０５；Ｙ）、制御部１３３は、識別コードＤｃｏｄｅを出力部１３５に出力する（ステップＳ５０７）。出力部１３５は、制御部１３３から識別コードＤｃｏｄｅが入力されると、入力された識別コードＤｃｏｄｅを所定のデータ形式の出力データＤｏｕｔに変換して外部装置３００に出力する。外部装置３００は、画像処理装置１００から入力された出力データＤｏｕｔを利用した所定の情報処理を行う。このようにして、画像処理装置１００における画像処理が行われる。
【0071】
本変形例では、識別コードＤｃｏｄｅが判定条件１３２ｃを満たさないとき、識別コードＤｃｏｄｅが正しく読み取れたデータではないことを示す処理が行われ、識別コードＤｃｏｄｅが判定条件１３２ｃを満たすとき、識別コードＤｃｏｄｅが出力部１３５に出力される。これにより、外部装置３００において、誤った識別コードＤｃｏｄｅに基づいた処理が行われるのを防ぐことができる。
【0072】
［変形例Ｄ］
上記実施およびその変形例において、記憶部１３２は、例えば、図１５に示したように、判定条件１３２ｄを記憶していてもよい。判定条件１３２ｄは、出力データＤｏｕｔの出力の可否を判定するための情報である。さらに、上記実施およびその変形例において、画像処理部１３０は、例えば、図１５に示したように、エンコード部１４１を更に有していてもよい。エンコード部１４１は、ワーク上のコードの規格におけるエンコードアルゴリズムに基づいて識別コードＤｃｏｄｅをエンコードすることにより二値画像Ｉｂ’を生成することが可能となっている。エンコード部１４１は、例えば、識別コードＤｃｏｄｅに対するエンコードを行うことの可能なＩＣによって構成されている。本変形例において、制御部１３３が、本開示の一実施の形態に係る「判定部」の一具体例に対応する。
上記実施およびその変形例において、記憶部１３２は、例えば、図１５に示したように、判定条件１３２ｄを記憶していてもよい。判定条件１３２ｄは、出力データＤｏｕｔの出力の可否を判定するための情報である。さらに、上記実施およびその変形例において、画像処理部１３０は、例えば、図１５に示したように、エンコード部１４１を更に有していてもよい。エンコード部１４１は、ワーク上のコードの規格におけるエンコードアルゴリズムに基づいて識別コードＤｃｏｄｅをエンコードすることにより二値画像Ｉｂ’を生成することが可能となっている。エンコード部１４１は、例えば、識別コードＤｃｏｄｅに対するエンコードを行うことの可能なＩＣによって構成されている。本変形例において、制御部１３３が、本開示の一実施の形態に係る「判定部」の一具体例に対応する。
【0073】
図１６は、本変形例に係る画像処理装置１００における画像処理の処理手順の一例を表したものである。まず、制御部１３３は、撮像部１２０からコード画像Ｉｃを取得する（ステップＳ６０１）。次に、制御部１３３は、取得したコード画像Ｉｃを深層学習モデル１３２ａに入力する（ステップＳ６０２）。深層学習モデル１３２ａは、コード画像Ｉｃが入力されると、コード画像Ｉｃに対応する二値画像Ｉｂを出力する。制御部１３３は、深層学習モデル１３２ａから二値画像Ｉｂを取得する（ステップＳ６０３）。
【0074】
次に、制御部１３３は、二値画像Ｉｂをデコード部１３４に入力する。デコード部１３４は、二値画像Ｉｂが入力されると、ワーク上のコードの規格におけるデコードアルゴリズムに基づいて、二値画像Ｉｂをデコードすることにより識別コードＤｃｏｄｅを生成する（ステップＳ６０４）。デコード部１３４は、生成した識別コードＤｃｏｄｅを制御部１３３に出力する。制御部１３３は、識別コードＤｃｏｄｅを取得する。続いて、制御部１３３は、識別コードＤｃｏｄｅをエンコード部１４１に出力する。エンコード部１４１は、識別コードＤｃｏｄｅが入力されると、ワーク上のコードの規格におけるエンコードアルゴリズムに基づいて識別コードＤｃｏｄｅをエンコードすることにより二値画像Ｉｂ’を生成する（ステップＳ６０５）。
【0075】
次に、制御部１３３は、二値画像Ｉｂと二値画像Ｉｂ’との一致率を計算する（ステップＳ６０６）。続いて、制御部１３３は、計算により得られた一致率が判定条件１３２ｄ（所定の条件）を満たすか否かを判定する（ステップＳ６０７）。その結果、一致率が判定条件１３２ｄ（所定の条件）を満たさないとき（ステップＳ６０７；Ｎ）、制御部１３３は、識別コードＤｃｏｄｅが正しく読み取れたデータではないことを示す処理を行う。制御部１３３は、例えば、識別コードＤｃｏｄｅを出力部１３５に出力するのを取りやめる（ステップＳ６０８）。一方、一致率が判定条件１３２ｄ（所定の条件）を満たすとき（ステップＳ６０７；Ｙ）、制御部１３３は、識別コードＤｃｏｄｅを出力部１３５に出力する（ステップＳ６０９）。出力部１３５は、制御部１３３から識別コードＤｃｏｄｅが入力されると、入力された識別コードＤｃｏｄｅを所定のデータ形式の出力データＤｏｕｔに変換して外部装置３００に出力する。外部装置３００は、画像処理装置１００から入力された出力データＤｏｕｔを利用した所定の情報処理を行う。このようにして、画像処理装置１００における画像処理が行われる。
【0076】
本変形例では、一致率が判定条件１３２ｄを満たさないとき、識別コードＤｃｏｄｅが正しく読み取れたデータではないことを示す処理が行われ、一致率が判定条件１３２ｄを満たすとき、識別コードＤｃｏｄｅが出力部１３５に出力される。これにより、外部装置３００において、誤った識別コードＤｃｏｄｅに基づいた処理が行われるのを防ぐことができる。
【0077】
［変形例Ｅ］
上記実施およびその変形例において、画像処理部１３０は、例えば、図１７に示したように、画像処理部１３０の代わりに画像処理部１４０を有していてもよい。画像処理部１４０は、例えば、図１８に示したように、図２に記載の画像処理部１３０において、通信部１３６が省略され、記憶部２２０が更に設けられたものであってもよい。
上記実施およびその変形例において、画像処理部１３０は、例えば、図１７に示したように、画像処理部１３０の代わりに画像処理部１４０を有していてもよい。画像処理部１４０は、例えば、図１８に示したように、図２に記載の画像処理部１３０において、通信部１３６が省略され、記憶部２２０が更に設けられたものであってもよい。
【0078】
画像処理部１４０は、例えば、図１９に示したように、図５に記載の画像処理部１３０において、通信部１３６が省略され、記憶部２２０，２５０が更に設けられたものであってもよい。画像処理部１４０は、例えば、図２０に示したように、図９に記載の画像処理部１３０において、通信部１３６が省略され、記憶部２２０が更に設けられたものであってもよい。画像処理部１４０は、例えば、図２１に示したように、図１３に記載の画像処理部１３０において、通信部１３６が省略され、記憶部２２０が更に設けられたものであってもよい。画像処理部１４０は、例えば、図２２に示したように、図１５に記載の画像処理部１３０において、通信部１３６が省略され、記憶部２２０が更に設けられたものであってもよい。
【0079】
本変形例では、学習装置２００内に設けられていた記憶部２００（さらには記憶部２５０）が、画像処理装置１００内に設けられている。このようにした場合であっても、上記実施の形態およびその変形例と同様の効果を得ることができる。
【0080】
なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。また、本明細書中に実施例を分けて記載しているが、これらの実施例を組み合わせてもよいことは言うまでもない。
【0081】
また、例えば、本開示は以下のような構成を取ることができる。
（１）
受付部と、第１学習モデルと、デコード部とを備え、
前記受付部は、ワーク上のコードを撮像することにより得られたコード画像を受け付けることが可能となっており、
前記第１学習モデルは、撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであり、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像が入力されると、前記コード画像または前記処理済み画像に対応する二値画像を出力することが可能となっており、
前記デコード部は、前記二値画像をデコードすることにより識別コードを生成することが可能となっている
画像処理装置。
（２）
第２学習モデルを更に備え、
前記第２学習モデルは、撮像により得られた第２コード画像、および前記第２コード画像に対して欠陥が付与された欠陥画像を学習データとする機械学習がなされたモデルであり、前記コード画像が入力されると、前記コード画像に含まれる欠陥が修復された画像を前記処理済み画像として出力することが可能となっている
（１）に記載の画像処理装置。
（３）
撮像支援部と、学習部とを更に備え、
前記撮像支援部は、前記デコード部において前記識別コードが生成できなかった場合に、前記コード画像を生成することの可能な撮像装置に対して撮像条件の変更を指示する制御信号を、前記デコード部において前記識別コードが生成できるまで前記撮像条件を変えながら繰り返し出力することが可能となっており、
前記学習部は、前記第１学習モデルのバックアップデータであるマスタ学習モデルを有し、前記第１学習モデルを、前記マスタ学習モデルに対して機械学習を行うことにより得られる新学習モデルに置き換えることが可能となっており、
前記学習部は、前記撮像支援部による前記撮像条件の変更によって前記撮像装置で得られる前記コード画像を前記第１コード画像とし、前記撮像支援部による前記撮像条件の変更によって前記第１学習モデルから出力される前記二値画像を前記SemanticSegmentation画像として、前記マスタ学習モデルに対して機械学習を行うことにより前記新学習モデルを生成することが可能となっている
（１）または（２）に記載の画像処理装置。
（４）
判定部を更に備え、
前記判定部は、前記デコード部で生成される前記識別コードが所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記デコード部で生成される前記識別コードが前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
判定部を更に備え、
前記判定部は、前記第１学習モデルから得られる前記二値画像と、前記デコード部で生成される前記識別コードをエンコードすることにより得られる判定用二値画像との一致率が所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記一致率が前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
（１）ないし（３）のいずれか１つに記載の画像処理装置。
（６）
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされた第１学習モデルに対して、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を入力し、それにより、前記コード画像または前記処理済み画像に対応する二値画像を前記第１学習モデルから取得することと、
前記二値画像をデコードすることにより識別コードを生成することと
を含む
画像処理方法。
（７）
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであって、かつ、入力画像が入力されると、前記入力画像に対応する二値画像を出力することの可能な第１学習モデルを含み、
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を前記入力画像として前記第１学習モデルに入力し、それにより、前記二値画像として、前記コード画像または前記処理済み画像に対応する画像を前記第１学習モデルから取得することと
をコンピュータに実行させることの可能な画像処理プログラム。
（１）
受付部と、第１学習モデルと、デコード部とを備え、
前記受付部は、ワーク上のコードを撮像することにより得られたコード画像を受け付けることが可能となっており、
前記第１学習モデルは、撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであり、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像が入力されると、前記コード画像または前記処理済み画像に対応する二値画像を出力することが可能となっており、
前記デコード部は、前記二値画像をデコードすることにより識別コードを生成することが可能となっている
画像処理装置。
（２）
第２学習モデルを更に備え、
前記第２学習モデルは、撮像により得られた第２コード画像、および前記第２コード画像に対して欠陥が付与された欠陥画像を学習データとする機械学習がなされたモデルであり、前記コード画像が入力されると、前記コード画像に含まれる欠陥が修復された画像を前記処理済み画像として出力することが可能となっている
（１）に記載の画像処理装置。
（３）
撮像支援部と、学習部とを更に備え、
前記撮像支援部は、前記デコード部において前記識別コードが生成できなかった場合に、前記コード画像を生成することの可能な撮像装置に対して撮像条件の変更を指示する制御信号を、前記デコード部において前記識別コードが生成できるまで前記撮像条件を変えながら繰り返し出力することが可能となっており、
前記学習部は、前記第１学習モデルのバックアップデータであるマスタ学習モデルを有し、前記第１学習モデルを、前記マスタ学習モデルに対して機械学習を行うことにより得られる新学習モデルに置き換えることが可能となっており、
前記学習部は、前記撮像支援部による前記撮像条件の変更によって前記撮像装置で得られる前記コード画像を前記第１コード画像とし、前記撮像支援部による前記撮像条件の変更によって前記第１学習モデルから出力される前記二値画像を前記SemanticSegmentation画像として、前記マスタ学習モデルに対して機械学習を行うことにより前記新学習モデルを生成することが可能となっている
（１）または（２）に記載の画像処理装置。
（４）
判定部を更に備え、
前記判定部は、前記デコード部で生成される前記識別コードが所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記デコード部で生成される前記識別コードが前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
判定部を更に備え、
前記判定部は、前記第１学習モデルから得られる前記二値画像と、前記デコード部で生成される前記識別コードをエンコードすることにより得られる判定用二値画像との一致率が所定の条件を満たすとき、前記識別コードを外部装置に出力し、前記一致率が前記所定の条件を満たさないとき、前記識別コードが正しく読み取れたデータではないことを示す処理を行うことが可能となっている
（１）ないし（３）のいずれか１つに記載の画像処理装置。
（６）
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされた第１学習モデルに対して、前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を入力し、それにより、前記コード画像または前記処理済み画像に対応する二値画像を前記第１学習モデルから取得することと、
前記二値画像をデコードすることにより識別コードを生成することと
を含む
画像処理方法。
（７）
撮像により得られた第１コード画像、および前記第１コード画像に対応する２クラス分類がなされたSemanticSegmentation画像を学習データとする機械学習がなされたモデルであって、かつ、入力画像が入力されると、前記入力画像に対応する二値画像を出力することの可能な第１学習モデルを含み、
ワーク上のコードを撮像することにより得られたコード画像を取得することと、
前記コード画像または前記コード画像に対して所定の処理がなされた処理済み画像を前記入力画像として前記第１学習モデルに入力し、それにより、前記二値画像として、前記コード画像または前記処理済み画像に対応する画像を前記第１学習モデルから取得することと
をコンピュータに実行させることの可能な画像処理プログラム。
【0082】
本開示の第１の側面に係る画像処理装置、本開示の第２の側面に係る画像処理方法、および本開示の第３の側面に係る記録媒体では、撮像画像から抽出された、被写体を含む領域画像をエンコードすることにより特徴量画像が生成され、撮像画像と特徴量画像とを互いに合成することによりマスク画像が生成される。ここで、マスク画像に含まれる特徴量画像は、被写体を識別する情報としての意味をなさない。そのため、マスク画像からは、被写体を識別する情報を取得することができないので、マスク画像を外部に提供した場合であっても、被写体を識別する情報が外部に流出するのを防止することができる。また、特徴量画像を公知のデコーダによってデコードすることにより得られるＭ次元の特徴量データには、被写体に固有の特徴がみられる。そのため、特徴量画像から得られるＭ次元の特徴量データを解析することにより、被写体の同定を行うことができる。従って、被写体認識機能を損なうことなく、被写体を識別する情報を特定し難くする処理を行うことができる。
【符号の説明】
【0083】
１００…画像処理装置、１１０…レンズ、１２０…撮像部、１３０…画像処理部、１３１…受付部、１３２…記憶部、１３２ａ…深層学習モデル、１３２ｂ…画像処理プログラム、１３２ｃ…判定条件、１３３…制御部、１３４…デコード部、１３５…出力部、１３６…通信部、１３７…バス、１３８…記憶部、１３８ａ…深層学習モデル、１３９…送信部、１４０…画像処理部、１４１…エンコード部、２００…学習装置、２１０…通信部、２２０…記憶部、２２１…深層学習モデル、２２２…ＲＡＷコード画像、２２３…SemanticSegmentation画像、２２４…画像処理プログラム、２２５…ＲＡＷコード画像、２２６…二値画像、２３０…制御部、２４０…バス、２５０…記憶部、２５１…深層学習モデル、２５２，２５３…ＲＡＷコード画像、３００…外部装置、ｃｔｒ…制御信号、Ｄｃｏｄｅ…識別コード、Ｄｏｕｔ…出力データ、Ｉｂ，Ｉｂ’…二値画像、Ｉｃ…コード画像、Ｉｄ…処理済み画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
