(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023079346
(43)【公開日】2023-06-08
(54)【発明の名称】光学情報読取装置
(51)【国際特許分類】
G06K 7/14 20060101AFI20230601BHJP
G06K 7/10 20060101ALI20230601BHJP
G06T 7/00 20170101ALI20230601BHJP
G06T 5/00 20060101ALI20230601BHJP
【ＦＩ】
G06K7/14 060
G06K7/10 372
G06K7/14 017
G06T7/00 350C
G06T5/00 700
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2021192770
(22)【出願日】2021-11-29
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】江渕 文人
(72)【発明者】
【氏名】西澤 有翼
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057AA02
5B057BA02
5B057CA02
5B057CA08
5B057CA12
5B057CA16
5B057CB02
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CD10
5B057CE02
5B057CE05
5B057CE06
5B057CG01
5B057DA17
5B057DB02
5B057DB05
5B057DB09
5B057DC40
5L096AA03
5L096AA06
5L096BA03
5L096BA18
5L096CA02
5L096CA22
5L096DA01
5L096EA03
5L096EA05
5L096EA06
5L096EA07
5L096FA32
5L096GA55
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】ニューラルネットワークによる修復後の画像でデコードする場合に、実際の画像を反映したマッチングレベルが得られるようにする。
【解決手段】ニューラルネットワークに読取画像を入力して修復した修復画像をデコードする。修復前の読取画像を用いて、デコードのし易さを示すマッチングレベルを算出する。
【選択図】図２５
【解決手段】ニューラルネットワークに読取画像を入力して修復した修復画像をデコードする。修復前の読取画像を用いて、デコードのし易さを示すマッチングレベルを算出する。
【選択図】図２５
【特許請求の範囲】
【請求項1】
ワークに付与されたコードを読み取る光学情報読取装置であって、
コードが付与されたワークを撮影し、コードを含む読取画像を生成するカメラと、
前記カメラにより生成された読取画像に対応する理想画像を推定するためのニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行し、当該修復画像をデコードするデコード部と、
前記推論処理が適用される前の読取画像を用いて、前記デコード部によるデコードのし易さを示すマッチングレベルを算出するマッチングレベル算出部と、を備える光学情報読取装置。
コードが付与されたワークを撮影し、コードを含む読取画像を生成するカメラと、
前記カメラにより生成された読取画像に対応する理想画像を推定するためのニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行し、当該修復画像をデコードするデコード部と、
前記推論処理が適用される前の読取画像を用いて、前記デコード部によるデコードのし易さを示すマッチングレベルを算出するマッチングレベル算出部と、を備える光学情報読取装置。
【請求項2】
請求項１に記載の光学情報読取装置において、
前記デコード部は、前記読取画像をデコードする第１デコード部と、前記修復画像をデコードする第２デコード部とを含む光学情報読取装置。
前記デコード部は、前記読取画像をデコードする第１デコード部と、前記修復画像をデコードする第２デコード部とを含む光学情報読取装置。
【請求項3】
請求項２に記載の光学情報読取装置において、
前記第１デコード部による前記読取画像のデコードと、前記第２デコード部による前記修復画像のデコードとは並列に実行する光学情報読取装置。
前記第１デコード部による前記読取画像のデコードと、前記第２デコード部による前記修復画像のデコードとは並列に実行する光学情報読取装置。
【請求項4】
請求項２または３に記載の光学情報読取装置において、
前記マッチングレベル算出部は、前記第１デコード部の第１マッチングレベルと、前記第２デコード部の第２マッチングレベルとを個別に算出する光学情報読取装置。
前記マッチングレベル算出部は、前記第１デコード部の第１マッチングレベルと、前記第２デコード部の第２マッチングレベルとを個別に算出する光学情報読取装置。
【請求項5】
請求項４に記載の光学情報読取装置において、
前記マッチングレベル算出部は、第１マッチングレベルと第２マッチングレベルの平均を算出し、
前記マッチングレベル算出部により算出された第１マッチングレベルと第２マッチングレベルの平均を用いて前記カメラの撮像条件を設定するチューニング実行部を備えている光学情報読取装置。
前記マッチングレベル算出部は、第１マッチングレベルと第２マッチングレベルの平均を算出し、
前記マッチングレベル算出部により算出された第１マッチングレベルと第２マッチングレベルの平均を用いて前記カメラの撮像条件を設定するチューニング実行部を備えている光学情報読取装置。
【請求項6】
請求項４に記載の光学情報読取装置において、
第１マッチングレベルを用いて前記カメラの撮像条件を設定するチューニング実行部を備えている光学情報読取装置。
第１マッチングレベルを用いて前記カメラの撮像条件を設定するチューニング実行部を備えている光学情報読取装置。
【請求項7】
請求項２から６のいずれか１つに記載の光学情報読取装置において、
前記第１デコード部によるデコードと、前記第２デコード部によるデコードとのうち、どちらのデコードが成功したかを通知する光学情報読取装置。
前記第１デコード部によるデコードと、前記第２デコード部によるデコードとのうち、どちらのデコードが成功したかを通知する光学情報読取装置。
【請求項8】
請求項１から７のいずれか１つに記載の光学情報読取装置において、
運用時に、前記推論処理が適用される前の読取画像と、前記読取画像を修復した修復画像とを表示可能な表示部を備えている光学情報読取装置。
運用時に、前記推論処理が適用される前の読取画像と、前記読取画像を修復した修復画像とを表示可能な表示部を備えている光学情報読取装置。
【請求項9】
請求項１から８のいずれか１つに記載の光学情報読取装置において、
運用時に、前記マッチングレベル算出部が、前記推論処理が適用される前の読取画像を用いて算出したマッチングレベルを表示可能な表示部を備えている光学情報読取装置。
運用時に、前記マッチングレベル算出部が、前記推論処理が適用される前の読取画像を用いて算出したマッチングレベルを表示可能な表示部を備えている光学情報読取装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ワークに付与されたコードを読み取る光学読取装置に関する。
【背景技術】
【0002】
一般的に、光学情報読取装置は、ワークに付与されたバーコードや二次元コード等のコードをカメラによって撮像し、取得された画像に含まれるコードを画像処理によって切り出して二値化し、デコード処理して情報を読み取ることができるように構成されている。この種の光学情報読取装置は、例えば物品の流通経路を製造段階から消費段階あるいは廃棄段階まで追跡可能にする、いわゆるトレーサビリティを目的として利用されている。
【0003】
特許文献１には、ＦＡＸ送信やコピー等の繰り返しによって劣化した読取画像を学習済みのニューラルネットワークに入力して修復し、修復後の画像をデコードする画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－４６７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、工場や倉庫における物品のトレーサビリティを目的とした場合、光学情報読取装置の設置条件や設置条件は様々であり、デコードが成功したとしても、成功したコードのデコードのし易さを示す読取余裕度（マッチングレベルともいう）がどの程度であるかを把握しておくことは重要である。マッチングレベルを把握しておくことは、デコード成功率をより一層高めるための条件設定に役立ち、ひいては安定した運用に繋がるからである。
【0006】
ところが、特許文献１のように、劣化した読取画像をニューラルネットワークに入力して修復すると、実際の画像とは異なる綺麗な画像に修復されるため、修復後の画像に基づいてマッチングレベルを算出すると、実際の画像の品質を正しく評価できなくなる。すなわち、どの程度の余裕を持ってデコードに成功しているかをマッチングレベルに基づいて判断できなくなるため、画像のコントラストが一定以上低下すると、急激に読取性能が低下してしまう。
【0007】
本開示は、かかる点に鑑みれたものであり、その目的とするところは、ニューラルネットワークによる修復後の画像でデコードする場合に、実際の画像を反映したマッチングレベルが得られるようにすることにある。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本開示の一形態に係る光学情報読取装置は、カメラにより生成された読取画像に対応する理想画像を推定するためのニューラルネットワークの構造及びパラメータを記憶する記憶部と、前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行し、当該修復画像をデコードするデコード部と、前記推論処理が適用される前の読取画像を用いて、前記デコード部によるデコードのし易さを示すマッチングレベルを算出するマッチングレベル算出部と、を備えている。
【0009】
この構成によれば、カメラにより生成された読取画像をニューラルネットワークに入力することによって修復された修復画像をデコード部がデコードするので、劣化した読取画像であっても読取成功率を高めることができる。一方、マッチングレベル算出部は、修復前の読取画像を用いてマッチングレベルを算出するので、実際の画像の状態を反映したマッチングレベルが得られる。そして、得られたマッチングレベルを用いてチューニング実行部が撮像条件を設定することが可能になるので、実際の現場の状況に適した条件設定が行える。
【0010】
他の形態では、読取画像をデコードする第１デコード部と、修復画像をデコードする第２デコード部とを備えた構成とすることができ、この場合、読取画像のデコードと、修復画像のデコードとを並列に実行することで処理を高速化できる。
【0011】
他の形態では、第１デコード部の第１マッチングレベルと、第２デコード部の第２マッチングレベルとを個別に算出し、第１マッチングレベルと第２マッチングレベルの平均を算出し、算出したマッチングレベルを用いてチューニング実行部が撮像条件を設定することができる。第１マッチングレベルと第２マッチングレベルの平均は、重み付け平均であってもよい。
【0012】
他の形態では、チューニング実行部は、第１マッチングレベルを用いて前記撮像条件を設定することもできる。
【発明の効果】
【0013】
以上説明したように、読取画像をニューラルネットワークに入力して修復した修復画像をデコードする場合に、修復前の読取画像を用いてマッチングレベルを算出するようにしたので、実際の画像を反映したマッチングレベルを得ることができる。
【図面の簡単な説明】
【0014】
【図1】光学情報読取装置の運用時を説明する図である。
【図2】光学情報読取装置のブロック図である。
【図3】光学情報読取装置の正面図である。
【図4】光学情報読取装置をコネクタ側から見た斜視図である。
【図5】光学情報読取装置を背面側から見た斜視図である。
【図6】プロセッサによって構成される各部を説明する図である。
【図7】ニューラルネットワークの概念図である。
【図8】ニューラルネットワークの学習時の基本手順の一例を示すフローチャートである。
【図9】不良画像と理想画像のペアを示し、（Ａ）は不良画像、（Ｂ）は理想画像の例である。
【図10】画像変換に用いられる畳み込みニューラルネットワークの概念図である。
【図11】光学情報読取装置の設定時に行われるチューニング工程の手順の一例を示すフローチャートである。
【図12】縮小率及び拡大率決定前のデコード処理手順の一例を示すフローチャートである。
【図13】縮小率及び拡大率決定後のデコード処理手順の一例を示すフローチャートである。
【図14】（Ａ）はカメラで生成された読取画像の例を示し、（Ｂ）は画像処理フィルタ実行後の画像の例を示す図である。
【図15】（Ａ）は縮小処理後の画像の例を示し、（Ｂ）はコード領域抽出後の画像の例を示す図である。
【図16】ニューラルネットワークによる読取画像の修復例を示す図である。
【図17】運用時の処理の一例を示す図である。
【図18】第１デコード部及び第２デコード部によるデコード処理のタイムチャートである。
【図19】デコード部によるデコード処理のタイムチャートである。
【図20】第１デコード処理及び第２デコード処理の一例を示すフローチャートである。
【図21】各処理の画像例を示す図である。
【図22】複数のニューラルネットワークを用いてコードの白黒反転に対応する場合について説明する図である。
【図23】１つのニューラルネットワークを用いてコードの白黒反転に対応する場合について説明する図である。
【図24】コントラストとマッチングレベルの関係を示すグラフである。
【図25】マッチングレベルの算出処理の一例を示すフローチャートである。
【図26】表示部に表示されるユーザインターフェースの例を示す図である。
【図27】ＡＩチップ付き撮像素子を用いた例を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0016】
図１は、本発明の実施形態に係る光学情報読取装置１の運用時を模式的に示す図である。この例では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における矢印Ｙの方向へ搬送されており、そのワークＷから上方へ離れた所に、実施形態に係る光学情報読取装置１が設置されている。光学情報読取装置１は、ワークＷに付されているコードを撮影し、撮影された画像に含まれるコードをデコード処理して情報を読み取ることができるように構成されたコードリーダである。図１に示す例では、光学情報読取装置１が定置式の場合である。この定置式の光学情報読取装置１の運用時には、光学情報読取装置１が動かないようにブラケット等（図示せず）に固定して使用する。尚、定置式の光学情報読取装置１をロボット（図示せず）が把持した状態で使用してもよい。また、静止状態にあるワークＷのコードを光学情報読取装置１によって読み取るようにしてもよい。定置式の光学情報読取装置１の運用時とは、搬送用ベルトコンベアＢによって搬送されるワークＷのコードを順に読み取る動作を行っている時である。
【0017】
また、各ワークＷの外面にはコードが付されている。コードには、バーコード及び二次元コードの両方が含まれる。二次元コードとしては、たとえば、ＱＲコード（登録商標）、マイクロＱＲコード、データマトリクス（Ｄａｔａ ｍａｔｒｉｘ；Ｄａｔａ ｃｏｄｅ）、ベリコード（Ｖｅｒｉ ｃｏｄｅ）、アズテックコード（Ａｚｔｅｃ ｃｏｄｅ）、ＰＤＦ４１７、マキシコード（Ｍａｘｉ ｃｏｄｅ）などがある。二次元コードにはスタック型とマトリクス型があるが、本発明はいずれの二次元コードに対しても適用できる。コードは、ワークＷに直接印刷あるいは刻印することによって付してもよいし、ラベルに印刷した後にワークＷに貼付することによって付してもよく、その手段、方法は問わない。
【0018】
（読取開始トリガ信号）
光学情報読取装置１は、設定装置１００及びプログラマブル・ロジック・コントローラ（ＰＬＣ）１０１にそれぞれ信号線１００ａ、１０１ａによって有線接続されているが、これに限らず、光学情報読取装置１、設定装置１００及びＰＬＣ１０１に通信モジュールを内蔵し、光学情報読取装置１と、設定装置１００及びＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送用ベルトコンベアＢ及び光学情報読取装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。設定装置１００は、汎用あるいは専用の電子計算機や携帯型端末等を利用することができる。
光学情報読取装置１は、設定装置１００及びプログラマブル・ロジック・コントローラ（ＰＬＣ）１０１にそれぞれ信号線１００ａ、１０１ａによって有線接続されているが、これに限らず、光学情報読取装置１、設定装置１００及びＰＬＣ１０１に通信モジュールを内蔵し、光学情報読取装置１と、設定装置１００及びＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送用ベルトコンベアＢ及び光学情報読取装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。設定装置１００は、汎用あるいは専用の電子計算機や携帯型端末等を利用することができる。
【0019】
また、光学情報読取装置１は、その運用時において、ＰＬＣ１０１から信号線１０１ａを介して、コード読取の開始タイミングを規定する読取開始トリガ信号を受信する。そして、光学情報読取装置１は、この読取開始トリガ信号に基づいてコードの撮像やデコードを行う。その後、デコードした結果は、信号線１０１ａを介してＰＬＣ１０１へ送信される。このように、光学情報読取装置１の運用時には、光学情報読取装置１とＰＬＣ１０１等の外部制御装置との間で、信号線１０１ａを介して読取開始トリガ信号の入力とデコード結果の出力が繰り返し行われる。なお、読取開始トリガ信号の入力やデコード結果の出力は、上述したように、光学情報読取装置１とＰＬＣ１０１との間の信号線１０１ａを介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークＷの到着を検知するためのセンサと光学情報読取装置１とを直接的に接続し、そのセンサから光学情報読取装置１へ読取開始トリガ信号を入力するようにしてもよい。
【0020】
（光学情報読取装置の構成）
図２～図５に示すように、光学情報読取装置１は、筐体２と、照明部４及びカメラ５と、プロセッサ２０とを備えている。照明部４は、ワークＷを照明する部分であり、また、カメラ５は、コードが付与されたワークＷを照明部４によって照明された状態で撮影し、コードを含む読取画像を取得する部分である。
図２～図５に示すように、光学情報読取装置１は、筐体２と、照明部４及びカメラ５と、プロセッサ２０とを備えている。照明部４は、ワークＷを照明する部分であり、また、カメラ５は、コードが付与されたワークＷを照明部４によって照明された状態で撮影し、コードを含む読取画像を取得する部分である。
【0021】
この実施形態の説明では、図３～図５に示すように光学情報読取装置１の上下、左右、前後をそれぞれ定義するが、これは説明の便宜を図るためだけであり、光学情報読取装置１の使用時における向きを限定するものではない。すなわち、図１に示すように、光学情報読取装置１の前面（正面）が下に向き、後面（背面）が上に向くように設置して使用すること、光学情報読取装置１の前面が上に向くように設置して使用すること、あるいは光学情報読取装置１の前面が傾斜した状態となるように設置して使用すること等が可能である。また、光学情報読取装置１の左右方向は幅方向と呼ぶこともできる。
【0022】
筐体２は、上下方向に長い略矩形箱状をなしており、前面２ａ、後面２ｂ、左側面２ｃ、右側面２ｄ、上面２ｅ、下面２ｆを少なくとも有している。カメラ５は筐体２内に設けられている。図２に示すように、カメラ５は、照明部４によって照明されているコードを撮像する撮像素子５ａと、レンズ等を有する光学系５ｂと、ＡＦモジュール（オートフォーカスモジュール）５ｃとを備えている。光学系５ｂには、ワークＷのコードが付与された部分から反射した光が入射するようになっている。撮像素子５ａは、光学系５ｂを通して得られたコードの画像を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の受光素子からなるイメージセンサである。撮像素子５ａはプロセッサ２０に接続されていて、撮像素子５ａによって変換された電気信号は、プロセッサ２０に入力される。また、ＡＦモジュール５ｃは、光学系５ｂを構成するレンズのうち、合焦用レンズの位置や屈折率を変更することによってピント合わせを行う機構である。ＡＦモジュール５ｃもプロセッサ２０に接続され、プロセッサ２０により制御される。
【0023】
図２に示すように、照明部４は、複数の第１発光素子４ａと、複数の第２発光素子４ｂと、複数の第３発光素子４ｃとを有している。各発光素子４ａ、４ｂ、４ｃは、例えば発光ダイオード等で構成されている。複数の第１発光素子４ａにより第１のグループが構成され、複数の第２発光素子４ｂにより第２のグループが構成され、複数の第３発光素子４ｃにより第３のグループが構成される。
【0024】
図３及び図４に示すように、筐体２の前面２ａには、第１発光素子４ａの前方に配置される透光板５０と、第２発光素子４ｂの前方に配置される拡散板５１と、第３発光素子４ｃの前方に配置される偏光板５２とが設けられている。透光板５０は、例えば無色透明であり、偏光効果及び拡散効果を有していない板である。拡散板５１は、その表面等に細かなシボを形成した透光性を有する板であり、入射した光を拡散させて出射する。偏光板５２は、偏光効果を有する板である。
【0025】
光学情報読取装置１は、発光ダイオード等の発光体で構成されたエイマー１０を備えている。このエイマー１０は、光学情報読取装置１の前方へ向けて光を照射することによってカメラ５の視野や照明部４の光軸の位置を示すためのものである。ユーザは、エイマー１０から照射される光（エイマー光）を参照して光学情報読取装置１を設置することもできる。
【0026】
この実施形態では、透光板５０、拡散板５１及び偏光板５２が筐体２の前面２ａに固定されている例について説明したが、これに限らず、透光板５０、拡散板５１及び偏光板５２の少なくともいずれか一つは、筐体２に対して着脱可能に取り付けられていてもよい。図示しないが、例えば、透光板５０、拡散板５１及び偏光板５２の少なくともいずれか１つと、枠体とを一体化したアタッチメントとしておき、枠体を筐体２の前面２ａに対して、例えば爪嵌合構造やネジ等による締結固定構造を用いて取り付けることもできる。この場合、透光板５０、拡散板５１及び偏光板５２の少なくともいずれか一つを必要に応じて取り付けたり、取り外したりすることができる。アタッチメントは、拡散板５１のみを有していてもよいし、偏光板５２のみを有していてもよいし、拡散板５１及び偏光板５２を有していてもよい。
【0027】
図２に示すように、照明部４は照明駆動部４ｄを有している。すなわち、第１発光素子４ａ、第２発光素子４ｂ及び第３発光素子４ｃは、照明駆動部４ｄに接続されており、当該照明駆動部４ｄよって制御される。照明駆動部４ｄは、プロセッサ２０の一部で構成されていてもよい。
【0028】
照明駆動部４ｄは、第２発光素子４ｂの発光素子を点灯させているときには他の照明発光素子４ａ、４ｃの発光素子を点灯させないように照明部４を制御すること、第１発光素子４ａの発光素子を点灯させているときには他の照明発光素子４ｂ、４ｃの発光素子を点灯させないように照明部４を制御すること、第３発光素子４ｃの発光素子を点灯させているときには他の照明発光素子４ａ、４ｂの発光素子を点灯させないように照明部４を制御することが可能になっている。つまり、照明駆動部４ｄは、直接光（透光板５０を透過した光）、拡散光、偏光光を切り替えてコードに照射可能に構成されている。また、拡散光が不要なワークＷの場合には、直接光に切り替えることで、大光量でコードを照射して高コントラストの読取画像を取得できる。また、必要に応じて偏光光に切り替えることでも高コントラストの読取画像を取得できる。よって、読取可能なワークＷの範囲が拡大する。
【0029】
（本体表示部）
図５に示すように、筐体２の上面２ｅには本体表示部６が設けられている。本体表示部６は、たとえば有機ＥＬディスプレイや液晶ディスプレイ等からなるものである。図２に示すように、本体表示部６は、プロセッサ２０に接続されている。本体表示部６には、例えばカメラ５で撮影された読取画像、読取画像をデコードした結果である文字列、読み取り成功率、マッチングレベル等を表示させることができる。
図５に示すように、筐体２の上面２ｅには本体表示部６が設けられている。本体表示部６は、たとえば有機ＥＬディスプレイや液晶ディスプレイ等からなるものである。図２に示すように、本体表示部６は、プロセッサ２０に接続されている。本体表示部６には、例えばカメラ５で撮影された読取画像、読取画像をデコードした結果である文字列、読み取り成功率、マッチングレベル等を表示させることができる。
【0030】
読み取り成功率とは、複数回読み取り処理を実行したときの平均読み取り成功率である。マッチングレベルとは、デコードが成功したコードの読み取りのしやすさを示す読取余裕度である。これはデコード時に発生した誤り訂正の数等から求めることができ、たとえば数値で表すことができる。誤り訂正が少なければ少ないほどマッチングレベル（読取余裕度）が高くなり、一方、誤り訂正が多ければ多いほどマッチングレベルが低くなる。マッチングレベルは、後述するマッチングレベル算出部２０ｎ（図６で示す）で算出される。
【0031】
（操作ボタン）
筐体２の上面２ｅには、光学情報読取装置１の設定時等に使用するセレクトボタン１１及びエンターボタン１２とが設けられている。セレクトボタン１１及びエンターボタン１２はプロセッサ２０に接続されていて、プロセッサ２０はセレクトボタン１１及びエンターボタン１２の操作状態を検出可能になっている。セレクトボタン１１は、本体表示部６に表示された複数の選択肢の中から１つを選択する際に操作するボタンである。エンターボタン１２は、セレクトボタン１１で選択した結果を確定する際に操作するボタンである。
筐体２の上面２ｅには、光学情報読取装置１の設定時等に使用するセレクトボタン１１及びエンターボタン１２とが設けられている。セレクトボタン１１及びエンターボタン１２はプロセッサ２０に接続されていて、プロセッサ２０はセレクトボタン１１及びエンターボタン１２の操作状態を検出可能になっている。セレクトボタン１１は、本体表示部６に表示された複数の選択肢の中から１つを選択する際に操作するボタンである。エンターボタン１２は、セレクトボタン１１で選択した結果を確定する際に操作するボタンである。
【0032】
（インジケータ）
筐体２の上面２ｅには、インジケータ９も設けられている。インジケータ９は、プロセッサ２０に接続されていて、たとえば発光ダイオード等の発光体で構成することができる。光学情報読取装置１の作動状態をインジケータ９の点灯状態によって外部に報知することができる。例えば、光学情報読取装置１がコード画像の読取に成功した場合にはインジケータ９が緑色に点灯する一方、光学情報読取装置１がコード画像の読取に失敗した場合にはインジケータ９が赤色に点灯する等、制御可能になっている。
筐体２の上面２ｅには、インジケータ９も設けられている。インジケータ９は、プロセッサ２０に接続されていて、たとえば発光ダイオード等の発光体で構成することができる。光学情報読取装置１の作動状態をインジケータ９の点灯状態によって外部に報知することができる。例えば、光学情報読取装置１がコード画像の読取に成功した場合にはインジケータ９が緑色に点灯する一方、光学情報読取装置１がコード画像の読取に失敗した場合にはインジケータ９が赤色に点灯する等、制御可能になっている。
【0033】
（コネクタ）
筐体２の下部には、回転コネクタ６０が設けられている。回転コネクタ６０は、筐体２の本体部分に対して図５に示す中心線Ｌ３周りに回動可能に取り付けられている。回転コネクタ６０には、光学情報読取装置１に電力を供給するための電力配線が接続される電源コネクタ７と、設定装置１００及びＰＬＣ１３０に接続されるＥｔｈｅｒｎｅｔコネクタ８とが設けられている。尚、Ｅｔｈｅｒｎｅｔ規格は一例であり、Ｅｔｈｅｒｎｅｔ規格以外の規格の信号線を利用することもできる。
筐体２の下部には、回転コネクタ６０が設けられている。回転コネクタ６０は、筐体２の本体部分に対して図５に示す中心線Ｌ３周りに回動可能に取り付けられている。回転コネクタ６０には、光学情報読取装置１に電力を供給するための電力配線が接続される電源コネクタ７と、設定装置１００及びＰＬＣ１３０に接続されるＥｔｈｅｒｎｅｔコネクタ８とが設けられている。尚、Ｅｔｈｅｒｎｅｔ規格は一例であり、Ｅｔｈｅｒｎｅｔ規格以外の規格の信号線を利用することもできる。
【0034】
（プロセッサの具体的な構成）
図２に示すように、プロセッサ２０は、ＣＰＵコア２１と、ＤＳＰコア２２と、ＡＩチップ２３とを備えている。ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、１つの基板上に実装されている。尚、ＤＳＰコア２２やＡＩチップ２３は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されない形態となるが、その場合も本発明の範囲に含まれる。
図２に示すように、プロセッサ２０は、ＣＰＵコア２１と、ＤＳＰコア２２と、ＡＩチップ２３とを備えている。ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、１つの基板上に実装されている。尚、ＤＳＰコア２２やＡＩチップ２３は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されない形態となるが、その場合も本発明の範囲に含まれる。
【0035】
ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３には、高速なＲＡＭ４１が接続されており、ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３のいずれもＲＡＭ４１にアクセス可能となっている。また、プロセッサ２０には、ＲＯＭ４０が接続されており、ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３のいずれもＲＯＭ４０にアクセス可能となっている。
【0036】
ＣＰＵコア２１は、汎用プロセッサであり、例えばＡＦ制御、照明制御、カメラ制御、読取画像に対するデコード等を実行する部分である。ＤＳＰコア２２は、例えば読取画像に対して各種フィルタ処理等を実行する部分である。ＡＩチップ２３は、ニューラルネットワークによる読取画像の修復の試行専用の集積回路であり、ニューラルネットワークによる処理に必要な積和演算を超高速に実行することに特化したものである。
【0037】
図６に示すように、プロセッサ２０により、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード部２０ｆ、抽出部２０ｇ、縮小部２０ｈ、拡大部２０ｉ、画像修復部２０ｊ及びマッチングレベル算出部２０ｎが構成される。ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード部２０ｆ、抽出部２０ｇ、縮小部２０ｈ、拡大部２０ｉ及びマッチングレベル算出部２０ｎは、ＣＰＵコア２１またはＤＳＰコア２２の演算処理によって構成される部分である。一方、画像修復部２０ｊは、ＡＩチップ２３によって構成される部分である。
【0038】
（ＡＦ制御部の構成）
ＡＦ制御部２０ａは、図２に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。
ＡＦ制御部２０ａは、図２に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。
【0039】
（撮像制御部の構成）
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１発光素子４ａ、第２発光素子４ｂ及び第３発光素子４ａを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１発光素子４ａ、第２発光素子４ｂ及び第３発光素子４ａを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。
【0040】
（フィルタ処理部の構成）
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分である。フィルタ処理部２０ｃは、カメラ５により生成された画像に含まれるノイズを除去するノイズ除去フィルタや、コントラストを補正するコントラスト補正フィルタ、平均化フィルタ等を実行する。フィルタ処理部２０ｃが実行する画像処理フィルタは、ノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタに限られるものではなく、他の画像処理フィルタを含んでいてもよい。
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分である。フィルタ処理部２０ｃは、カメラ５により生成された画像に含まれるノイズを除去するノイズ除去フィルタや、コントラストを補正するコントラスト補正フィルタ、平均化フィルタ等を実行する。フィルタ処理部２０ｃが実行する画像処理フィルタは、ノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタに限られるものではなく、他の画像処理フィルタを含んでいてもよい。
【0041】
フィルタ処理部２０ｃは、後述する画像修復前の読取画像に対して画像処理フィルタを実行するように構成されている。また、フィルタ処理部２０ｃは、後述する拡大、縮小前の読取画像に対して画像処理フィルタを実行するように構成されている。尚、フィルタ処理部２０ｃは、画像修復後の読取画像に対して画像処理フィルタを実行するように構成されていてもよいし、拡大、縮小後の読取画像に対して画像処理フィルタを実行するように構成されていてもよい。
【0042】
（チューニング実行部の構成）
図６に示すチューニング実行部２０ｄは、カメラ５の撮像条件を変化させて、撮像及びデコードを繰り返し、各条件にてマッチングレベル算出部２０ｎで算出されたマッチングレベルを用いて、最適な撮像条件を決定するチューニング処理を実行する。また、チューニング実行部２０ｄは、同様にして、読取対象のコードの大きさを設定することもできる。
図６に示すチューニング実行部２０ｄは、カメラ５の撮像条件を変化させて、撮像及びデコードを繰り返し、各条件にてマッチングレベル算出部２０ｎで算出されたマッチングレベルを用いて、最適な撮像条件を決定するチューニング処理を実行する。また、チューニング実行部２０ｄは、同様にして、読取対象のコードの大きさを設定することもできる。
【0043】
具体的には、チューニング実行部２０ｄは、光学情報読取装置１の設定時に、カメラ５のゲイン、照明部４の光量及び露光時間等の撮像条件や、フィルタ処理部２０ｃにおける画像処理条件を変更してデコードに適した条件となるように各種条件（チューニングパラメータ）を設定する部分である。フィルタ処理部２０ｃにおける画像処理条件とは、画像処理フィルタの係数（フィルタの強弱）や、複数の画像処理フィルタがある場合に画像処理フィルタの切替、種類の異なる画像処理フィルタの組み合わせ等である。搬送時のワークＷに対する外光の影響や、コードが付されている面の色及び材質等によって適切な撮像条件及び画像処理条件は異なる。よって、チューニング実行部２０ｄは、より適切な撮像条件及び画像処理条件を探索して、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃによる処理を設定する。
【0044】
チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコードのサイズを取得可能に構成されている。コードのサイズを取得する場合、始めに、チューニング実行部２０ｄは、コードらしさを示す特徴量に基づいてコードを探索する。次いで、チューニング実行部２０ｄは、探索したコードのＰＰＣ、コード種、コードサイズ等を取得する。ＰＰＣ、コード種、コードサイズ等は、コードパラメータまたはコード条件に含まれるものであり、従って、チューニング実行部２０ｄは、探索したコードのコードパラメータまたはコード条件を取得可能に構成されている。
【0045】
二次元コードは、複数の白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されている。例えば、ＱＲコードのモデル２ではモジュール数は２１×２１～１７７×１７７まである。光学情報読取装置１により、事前に読み取り対象のコードを読み取ることで、モジュール数やＰＰＣを限定し、コードの大きさ（ピクセルサイズ）をモジュール数×ＰＰＣに限定して運用する。
【0046】
コードを構成するモジュールのうち、１つのモジュールに着目した時、そのモジュールがいくつのピクセル（画素）で構成されているかを示すコードパラメータがＰＰＣである。チューニング実行部２０ｄは、１つのモジュールを特定した後、１つのモジュールを構成している画素数をカウントすることで、ＰＰＣを取得できる。
【0047】
コード種は、例えばＱＲコード、データマトリクスコード、ベリコードといったコードの種類のことである。各コードには特徴があるので、チューニング実行部２０ｄは、例えばファインダパターンの有無等によってコード種を判別することが可能である。
【0048】
また、コードサイズは、コードの縦または横方向に並ぶモジュールの数とＰＰＣとによって算出できる。チューニング実行部２０ｄは、コードの縦または横方向に並ぶモジュールの数を算出するとともに、ＰＰＣを算出し、縦または横方向に並ぶモジュールの数とＰＰＣとを積算することによってコードサイズを取得できる。
【0049】
（デコード部の構成）
デコード部２０ｆは、第１発光素子４ａからの光を透光板５０を介してコードに照射しカメラ５で取得した読取画像と、第２発光素子４ｂからの光を拡散板５１を介してコードに照射しカメラ５で取得した読取画像と、第３発光素子４ｃからの光を偏光板５２を介してコードに照射しカメラ５で取得した読取画像とをデコードする。
デコード部２０ｆは、第１発光素子４ａからの光を透光板５０を介してコードに照射しカメラ５で取得した読取画像と、第２発光素子４ｂからの光を拡散板５１を介してコードに照射しカメラ５で取得した読取画像と、第３発光素子４ｃからの光を偏光板５２を介してコードに照射しカメラ５で取得した読取画像とをデコードする。
【0050】
デコード部２０ｆは、白黒の二値化されたデータをデコードする部分である。デコードには、符号化されたデータの対照関係を示すテーブルを使用することができる。さらに、デコード部２０ｆは、デコードした結果が正しいか否かを所定のチェック方式に従ってチェックする。データに誤りが発見された場合にはエラー訂正機能を使用して正しいデータを演算する。エラー訂正機能はコードの種類によって異なる。
【0051】
この実施形態では、デコード部２０ｆは、後述する画像修復後の読取画像（修復画像）に含まれるコードをデコードするが、画像修復前の読取画像に含まれるコードをデコードすることもできる。デコード部２０ｆは、コードをデコードして得られたデコード結果を図２に示す記憶部３０のデコード結果記憶部３０ｂに書き込むように構成されている。
【0052】
（抽出部の構成）
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。
【0053】
（記憶部の構成）
図２に示す記憶部３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができるが、以下に示す各記憶部３０ａ、３０ｂ、３０ｃ、３０ｄは、上記記憶装置ではなく、ＲＯＭ４０に設けられていてもよい。すなわち、本実施形態では、画像データ記憶部３０ａと、デコード結果記憶部３０ｂと、パラメータセット記憶部３０ｃと、ニューラルネットワーク記憶部３０ｄとがＲＯＭ４０に含まれている形態も対象である。画像データ記憶部３０ａは、カメラ５で生成された読取画像を記憶する部分である。デコード結果記憶部３０ｂは、デコード部２０ｆで実行されたコードのデコード結果を記憶する部分である。パラメータセット記憶部３０ｃは、チューニング実行部２０ｄが実行したチューニングの結果、設定された各種条件やユーザが設定した各種条件を記憶する部分である。ニューラルネットワーク記憶部３０ｄは、後述する学習済みのニューラルネットワークの構造及びパラメータを記憶する部分である。
図２に示す記憶部３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができるが、以下に示す各記憶部３０ａ、３０ｂ、３０ｃ、３０ｄは、上記記憶装置ではなく、ＲＯＭ４０に設けられていてもよい。すなわち、本実施形態では、画像データ記憶部３０ａと、デコード結果記憶部３０ｂと、パラメータセット記憶部３０ｃと、ニューラルネットワーク記憶部３０ｄとがＲＯＭ４０に含まれている形態も対象である。画像データ記憶部３０ａは、カメラ５で生成された読取画像を記憶する部分である。デコード結果記憶部３０ｂは、デコード部２０ｆで実行されたコードのデコード結果を記憶する部分である。パラメータセット記憶部３０ｃは、チューニング実行部２０ｄが実行したチューニングの結果、設定された各種条件やユーザが設定した各種条件を記憶する部分である。ニューラルネットワーク記憶部３０ｄは、後述する学習済みのニューラルネットワークの構造及びパラメータを記憶する部分である。
【0054】
（ニューラルネットワークを利用した画像修復）
光学情報読取装置１は、カメラ５で取得した読取画像を、ニューラルネットワークを利用して修復する画像修復機能を有している。本実施形態では、光学情報読取装置１で機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学情報読取装置１が予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して画像修復を行うように構成されている。
光学情報読取装置１は、カメラ５で取得した読取画像を、ニューラルネットワークを利用して修復する画像修復機能を有している。本実施形態では、光学情報読取装置１で機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学情報読取装置１が予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して画像修復を行うように構成されている。
【0055】
ニューラルネットワークは、図７に示すように、入力データ（本例では画像データ）が入力される入力層と、出力データを出力する出力層と、入力層及び出力層の間に設けられる中間層とを有している。中間層は例えば複数設けることができ、これにより、多層構造のニューラルネットワークとすることができる。
【0056】
（ニューラルネットワークの学習）
始めに、図８に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学情報読取装置１以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。
始めに、図８に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学情報読取装置１以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。
【0057】
スタート後のステップＳＡ１では予め準備している不良画像のデータを読み込む。不良画像は、コードの読み取りに不適切な部分を有する画像であり、図９のＦＩＧ．９Ａに示すような画像を例示することができる。不適切な部分とは、例えば汚れた部分や着色された部分等である。その後、ステップＳＡ２に進み、予め準備している理想画像のデータを読み込む。理想画像は、コードの読み取りに適切な画像であり、図９のＦＩＧ．９Ｂに示すような画像を例示することができる。不良画像と理想画像とはペアとしておき、このようなペアを複数準備しておく。
【0058】
ステップＳＡ２では、損失関数を計算し、不良画像と理想画像との差分を求める。ステップＳＡ３では、ステップＳＡ２で求めた差分を反映させてニューラルネットワークのパラメータを更新する。
【0059】
ステップＳＡ４では機械学習の完了条件を満たすか否かを判定する。機械学習の完了条件とは、ステップＳＡ２で求めた差分に基づいて設定することができ、例えば差分が所定以下であれば、機械学習の完了条件を満たすと判定できる。ステップＳＡ４でＹＥＳと判定されて機械学習の完了条件を満たしている場合には機械学習を終了する。一方、ステップＳＡ４でＮＯと判定されて機械学習の完了条件を満たしていない場合にはステップＳＡ１に戻り、別の不良画像を読み込んだ後、ステップＳＡ２に進んで当該別の不良画像とペアになっている別の理想画像を読み込む。
【0060】
このようにして、複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とを機械学習させることにより、学習済みのニューラルネットワークを予め生成することができる。学習済みのニューラルネットワークの構造及びパラメータを光学情報読取装置１が保持しておくことで、光学情報読取装置１内で学習済みのニューラルネットワークを構築することができる。すなわち、機械学習を行う際には、膨大な数の不良画像と理想画像とをニューラルネットワークに入力することになるので、その際の演算能力としては極めて高いものが要求される。光学情報読取装置１内でそのような高い演算能力を確保するのは、装置の小型軽量化の要求を満たすことができなくなるおそれがあり、困難である。本例のように、光学情報読取装置１外で機械学習を行い、その結果得られたニューラルネットワークの構造及びパラメータを光学情報読取装置１で保持しておけば、光学情報読取装置１の小型軽量化を実現しながら、ニューラルネットワークによる画像修復が可能になる。
【0061】
図１０は、上述のようにして構成された畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の概念図である。「Convolution」では、入力された画像の特徴の抽出を行う。この層は、画像処理フィルタのような畳み込み演算で構成される。フィルタの重みをカーネルと呼び、カーネルに合わせた特徴量の抽出を行う。畳み込み層は一般的に複数の異なるカーネルを持ち、カーネル数に応じてマップ数（Ｄ）が増えていく。カーネルサイズは、例えば３×３、５×５などを取ることができる。
【0062】
「pooling」では、縮小処理を行って各カーネルの反応をまとめる。「Deconvolution」では、逆畳み込みフィルタにより、特徴値から画像を再構成する。「Unpooling」では、拡大処理を行って反応値を先鋭化する。
【0063】
学習済みのニューラルネットワークの構造及びパラメータは、図２に示す記憶部３０のニューラルネットワーク記憶部３０ｄに記憶される。ニューラルネットワークの構造とは、入力層と出力層との間に設けられる中間層の数（Ｄ）や、画像処理フィルタの数等である。ニューラルネットワークのパラメータは、図７に示すフローチャートのステップＳＡ３で設定されたパラメータである。
【0064】
また、ニューラルネットワーク記憶部３０ｄには、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータを記憶することが可能になっている。具体的には、白地に黒いセルを有するコードを修復するための第１ニューラルネットワークと、黒地に白いセルを有するコードを修復するための第２ニューラルネットワークとの両方をニューラルネットワーク記憶部３０ｄに記憶させておくことができる。
【0065】
白地に黒いセルを有するコードは白地に黒印字されたコードである。第１ニューラルネットワークの学習時には、白地に黒いセルを有するコードを撮像した不良画像と理想画像のペアを使用する。
【0066】
また、黒地に白いセルを有するコードは黒地に白印字されたコードである。第２ニューラルネットワークの学習時には、黒地に白いセルを有するコードを撮像した不良画像と理想画像のペアを使用する。
【0067】
尚、ニューラルネットワーク記憶部３０ｄには、第１ニューラルネットワークと第２ニューラルネットワークとのいずれか一方の構造及びパラメータを記憶していてもよい。
【0068】
また、複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けた状態でニューラルネットワーク記憶部３０ｄに記憶することができる。例えば、あるニューラルネットワークを構成するための当該ニューラルネットワークの構造及びパラメータと、そのニューラルネットワークに対応するコード条件とを関連付ける。関連付けを行う際、ニューラルネットワークの層の数またはフィルタの数は、第１のコード条件、特に第１のＰＰＣによって最適な数を事前に特定しておくことができるものなので、この関係が保たれるように関連付けておく。同様に、別のニューラルネットワークの構造及びパラメータと、第１のコード条件とは異なる第２のコード条件とを関連付ける。
【0069】
複数のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部３０ｄに記憶している場合には、光学情報読取装置１の設定時に、次のようにチューニング実行部２０ｄが動作する構成とすることも可能である。すなわち、チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコード条件を設定する際、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部３０ｄから読み出して運用時に使用するニューラルネットワークとして特定する。例えば、チューニング実行部２０ｄが読取画像に含まれるコード条件をして第１のコード条件を設定した場合には、第１のコード条件と関連付けられたニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部３０ｄから読み出す。そして、ニューラルネットワークの構造及びパラメータを光学情報読取装置１の運用時に使用するニューラルネットワークとして特定する。これにより、コード条件に最適なニューラルネットワークの構造及びパラメータで読取画像の修復を試行できるので、読み取り精度を高めることができる。
【0070】
ニューラルネットワークの学習にあたっては、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させることもできる。モジュールのピクセル分解能は、例えばコードを構成する１つのモジュールのピクセル数（ＰＰＣ）で表すことができ、ＰＰＣが特定範囲内にある不良画像及び理想画像のみでニューラルネットワークの機械学習を行ってもよい。
【0071】
上記特定範囲は、読取画像の修復効果の高いピクセル分解能を含み、かつ、読取画像の修復効果が殆ど向上しないピクセル分解能を除外する範囲であり、複数のモジュールで構成されたコードを含む画像の修復を前提として設定することができる。これにより、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させることができる。
【0072】
上記ピクセル数の特定範囲としては、例えば４ＰＰＣ以上６ＰＰＣ以下とすることができるが、４ＰＰＣ未満であってもよいし、６ＰＰＣよりも多くてもよい。また、例えば特定範囲を４ＰＰＣ以上６ＰＰＣ以下に限定して機械学習することで、学習に用いる画像から余分なスケールの変動を排除することができ、学習済みニューラルネットワーク構造の適正化を図ることもできる。
【0073】
（修復の試行）
図６に示すように、光学情報読取装置１のプロセッサ２０には、ＡＩチップ２３によって構成される画像修復部２０ｊが設けられている。画像修復部２０ｊは、記憶部３０のニューラルネットワーク記憶部３０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学情報読取装置１内にニューラルネットワークを構成する。光学情報読取装置１内に構成されたニューラルネットワークは、図８のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。
図６に示すように、光学情報読取装置１のプロセッサ２０には、ＡＩチップ２３によって構成される画像修復部２０ｊが設けられている。画像修復部２０ｊは、記憶部３０のニューラルネットワーク記憶部３０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学情報読取装置１内にニューラルネットワークを構成する。光学情報読取装置１内に構成されたニューラルネットワークは、図８のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。
【0074】
画像修復部２０ｊは、カメラ５により生成された読取画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶されたニューラルネットワークの構造及びパラメータに従って読取画像の修復を試行する。そして、修復された読取画像に対してデコード部２０ｆがデコード処理を実行する。
【0075】
フィルタ処理部２０ｃは、カメラ５により生成された読取画像を画像修復部２０ｊがニューラルネットワークに入力する前に、読取画像に対して画像処理フィルタを実行するように構成されている。これにより、ニューラルネットワークによる修復を試行する前に適切な画像処理を実行しておくことができ、その結果、読取画像の修復がより的確なものになる。
【0076】
デコード部２０ｆでデコード処理する全ての読取画像に対して画像修復部２０ｊが画像修復を試行してもよいし、デコード部２０ｆでデコード処理する一部の読取画像に対してのみ画像修復部２０ｊが画像修復を試行してもよい。例えば、デコード部２０ｆは、修復を試行する前の読取画像に対してデコード処理を実行し、デコードが成功したか否かを判定する。デコードに成功した場合には、修復が不要な読取画像であったということであり、そのまま結果を出力する。一方、デコードに失敗した場合には、画像修復部２０ｊが読取画像の修復を試行し、修復された読取画像に対してデコード部２０ｆがデコード処理を実行する。
【0077】
（部分画像の入力）
画像修復部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図１０に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。
画像修復部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図１０に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。
【0078】
一方、カメラ５により生成された読取画像の全体にコードが存在しているケースは皆無といってよく、通常の運用時には読取画像の一部の領域にのみコードが存在しており、その領域のみニューラルネットワークによる修復を行うことができれば、読み取り精度を高めることができる。
【0079】
そこで、画像修復部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の一部、即ちコードを含んだ部分画像とすることができる。具体的には、画像修復部２０ｊは、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を、カメラ５により生成された読取画像から切り出す。画像修復部２０ｊは切り出した部分画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータに従って部分画像の修復を試行する。そして、修復された部分画像に対してデコード部２０ｆがデコード処理を実行する。
【0080】
上述したように読取画像の全体にコードが存在しているケースは殆ど無いので、コード候補領域に対応する部分画像のサイズは、読取画像のサイズよりも小さくなる。これにより、ニューラルネットワークに入力する画像のサイズが小さくなるので、プロセッサ２０の演算負荷が軽くなり、ひいては処理速度の高速化が実現される。また、部分画像は、コードが存在する可能性が高い領域に対応しているので、読み取りに必要な情報、即ちコードの全体を含んだ画像とすることが可能である。このコードの全体を含んだ画像をニューラルネットワークに入力するので、読み取り精度の低下は抑制される。
【0081】
画像修復部２０ｊは、チューニング実行部２０ｄで取得したコードサイズに基づいて部分画像のニューラルネットワークへの入力サイズを決定することができる。上述したように、チューニング実行部２０ｄはコードサイズを取得することができる。画像修復部２０ｊは、ニューラルネットワークへ入力する部分画像の入力サイズを、チューニング実行部２０ｄで取得したコードサイズよりも所定量だけ大きくする。
【0082】
すなわち、部分画像をニューラルネットワークへ入力することで演算負荷を軽くすることができる反面、例えばコードが回転していたり、コードの位置が精密に検出できなかった場合には、部分画像中のコードの一部が欠けてしまい、デコード処理に失敗する可能性もある。本実施形態では、ニューラルネットワークへの入力サイズがチューニング実行部２０ｄで取得したコードサイズと同じではなく、コードサイズよりも所定量だけ大きいので、部分画像中でコードの一部が欠けるのを抑制できる。尚、コードサイズよりも所定量だけ大きくしていることで、ニューラルネットワークへの入力サイズに上限を持たせることができ、よって、演算負荷が重くならないようにすることができる。「所定量」とは、例えばニューラルネットワークへ入力される部分画像の横（または縦）の長さが、チューニング実行部２０ｄで取得したコードの横（または縦）の長さの１．５倍以上、または２．０倍以上、または３．０倍以上であってもよい。
【0083】
画像修復部２０ｊがニューラルネットワークへ入力する部分画像の入力サイズを決定する際、チューニング実行部２０ｄで取得したコードを構成する１つのモジュールのピクセル数と当該コードの縦または横方向に並ぶモジュール数とに基づいて決定することができる。
【0084】
また、チューニング実行部２０ｄでは上述したようにコード条件を設定することができる。画像修復部２０ｊは、チューニング実行部２０ｄで設定されたコード条件に基づいて、ニューラルネットワークに入力する読取画像のサイズを設定することもできる。例えば、チューニング実行部２０ｄで設定されたコード条件のうち、コードサイズを画像修復部２０ｊが取得すると、取得したコードサイズよりも所定量だけ大きなサイズの部分画像をニューラルネットワークに入力する。コードサイズが大きければニューラルネットワークに入力する部分画像のサイズが大きくなる一方、コードサイズが小さければニューラルネットワークに入力する部分画像のサイズが小さくなる。つまり、ニューラルネットワークに入力する部分画像のサイズをコード条件に応じて変えることができる。
【0085】
（縮小・拡大機能）
ここで、図１０に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した画像に修復するためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
ここで、図１０に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した画像に修復するためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
【0086】
しかし、コードは白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されているため、広範囲でのピクセル値の関係は希薄であり、カバーするピクセル範囲を一定以上に広げても修復効果は殆ど向上しない。このような特徴を、本明細書では狭範囲特徴と呼ぶ。
【0087】
また、コードに含まれるファインダパターンなど決まったモジュールパターンの配置やコード全体として四角形状であることは広範囲特徴になり得るが、モジュールと背景とを大まかに分離するだけであれば、広範囲特徴を用いることなく、狭範囲特徴のみを用いても十分に修復可能である。尚、広範囲特徴とは、広範囲に渡って決まった形状を持つ特徴と定義することができる。
【0088】
そこで、図８に示すニューラルネットワークの学習の際、コードのＰＰＣが特定範囲にある画像を用いることができる。これにより、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させることができる反面、ＰＰＣが特定範囲外にある読取画像に対する修復効果は低下する懸念がある。尚、ニューラルネットワークの学習の際、コードのＰＰＣが特定範囲外にある画像を用いてもよい。
【0089】
本実施形態の光学情報読取装置１では、読取画像のＰＰＣが特定範囲に入るようにするために、読取画像の縮小・拡大機能を備えている。図６に示すように、プロセッサ２０には、縮小部２０ｈ及び拡大部２０ｉが構成されている。縮小部２０ｈは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように縮小した読取画像を生成する部分であり、また、拡大部２０ｉは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように拡大した読取画像を生成する部分である。
【0090】
縮小部２０ｈ及び拡大部２０ｉは、例えばカメラ５により生成された読取画像におけるコードのＰＰＣが特定範囲（４ＰＰＣ以上６ＰＰＣ以下）外にあるか否かを判定し、特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行する。縮小または拡大を実行することで、画像修復部２０ｊがニューラルネットワークへ入力する部分画像におけるコードのＰＰＣが特定範囲内に入る。
【0091】
画像修復部２０ｊは、特定範囲内となるように拡大または縮小した読取画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像の修復を試行する。そして、修復された読取画像に対してデコード部２０ｆがデコード処理を実行する。
【0092】
抽出部２０ｇは、拡大部２０ｉにより拡大した読取画像または縮小部２０ｈにより縮小した読取画像に対してコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出するように構成してもよい。この場合、画像修復部２０ｊは、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像の修復を試行する。
【0093】
光学情報読取装置１の設定時には、チューニング実行部２０ｄが、拡大率を変えた複数の読取画像（拡大画像）を生成すること、及び縮小率を変えた複数の読取画像（縮小画像）を生成することができる。チューニング実行部２０ｄは、生成した複数の読取画像（拡大画像または縮小画像）をニューラルネットワークに入力して各読取画像の修復を試行し、修復された各読取画像に対してデコード処理を実行し、コードの読み取りのしやすさを示す読取余裕度を求める。チューニング実行部２０ｄは、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定する。チューニング実行部２０ｄが拡大率または縮小率を特定した場合、光学情報読取装置１の運用時には、縮小部２０ｈ及び拡大部２０ｉは、チューニング実行部２０ｄが特定した拡大率または縮小率で読取画像を拡大または縮小する。
【0094】
すなわち、例えば特定範囲にある程度の広さがある場合、その特定範囲内であっても拡大率や縮小率を変えると、読取余裕度が変化することが考えられる。チューニング実行部２０ｄが求めた読取余裕度が所定よりも高くなるように、運用時における読取画像の拡大率または縮小率を特定することができるので、処理速度及び読み取り精度が向上する。
【0095】
チューニング実行部２０ｄは、各読取画像の読取余裕度を求めた後、求めた複数の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定することができる。これにより、処理速度及び読み取り精度を更に向上させることができる。
【0096】
また、縮小部２０ｈ及び拡大部２０ｉで読取画像を縮小及び拡大できることを利用して、パラメータセットの種類を増やすこともできる。縮小部２０ｈによる縮小率が異なる複数のパラメータセットと、拡大部２０ｉによる拡大率が異なる複数のパラメータセットを生成し、これらパラメータセットを記憶部３０のパラメータセット記憶部３０ｃに記憶させることができる。例えば、縮小部２０ｈによる縮小率が１／２、１／４、１／８のように複数設定可能な場合、縮小率が１／２のパラメータセット、縮小率が１／４のパラメータセット、縮小率が１／８のパラメータセットをパラメータセット記憶部３０ｃに記憶させることができる。また、拡大部２０ｉによる拡大率が２倍、４倍、８倍のように複数設定可能な場合、拡大率が２倍のパラメータセット、拡大率が４倍のパラメータセット、拡大率が８倍のパラメータセットをパラメータセット記憶部３０ｃに記憶させることができる。そして、パラメータセット記憶部３０ｃに記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用することができる。
【0097】
（画像修復フィルタ）
画像修復部２０ｊは、ニューラルネットワークを利用して読取画像の修復を試行する画像修復フィルタを実行する部分であってもよい。画像修復フィルタは、読取画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータに従って読取画像の修復を試行するフィルタであり、上述した画像修復と同じ機能を発揮する。
画像修復部２０ｊは、ニューラルネットワークを利用して読取画像の修復を試行する画像修復フィルタを実行する部分であってもよい。画像修復フィルタは、読取画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータに従って読取画像の修復を試行するフィルタであり、上述した画像修復と同じ機能を発揮する。
【0098】
画像修復フィルタを実行可能にする場合、画像修復フィルタを設定するための設定部２０ｅ（図６に示す）を設けることができる。設定部２０ｅは、ユーザによる画像修復フィルタの設定を受付可能に構成されている。設定部２０ｅは、例えば光学情報読取装置１の設定時に、「画像修復フィルタの適用」と「画像修復フィルタの非適用」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６に表示させ、ユーザによる選択を受け付けるように構成することができる。したがって、画像修復部２０ｊは、設定部２０ｅにより設定された画像修復フィルタを読取画像に適用することで、当該読取画像に対して修復を試行する。
【0099】
設定部２０ｅは、チューニング実行部２０ｄに含まれていてもよいし、チューニング実行部２０ｄとは別に構成されていてもよい。設定部２０ｅがチューニング実行部２０ｄに含まれている場合、チューニング時に画像修復フィルタに関するパラメータを設定することが可能になる。画像修復フィルタに関するパラメータとしては、「画像修復フィルタの適用」と「画像修復フィルタの非適用」とを含むことができる。「画像修復フィルタの適用」とは、画像修復フィルタを実行可能に設定することであり、「画像修復フィルタの非適用」とは、画像修復フィルタを設定しないことである。
【0100】
画像修復フィルタに関するパラメータは、画像修復フィルタに関する情報でもあり、この場合、画像修復フィルタの設定に関する情報を含むパラメータセットをパラメータセット記憶部３０ｃに記憶することができる。画像修復フィルタに関するパラメータは、「画像修復フィルタの適用」と「画像修復フィルタの非適用」とがあるので、パラメータセット記憶部３０ｃに記憶されるパラメータセットには、画像修復フィルタを実行可能に設定する第１のパラメータセットと、画像修復フィルタを設定しない第２のパラメータセットと含まれる。光学情報読取装置１の運用時には、第１のパラメータセットと、第２のパラメータセットとの中から選択された一方のパラメータセットが適用される。第１のパラメータセットが適用された場合には、画像修復フィルタによって画像修復が実行された読取画像に対してデコード部２０ｆによるデコード処理が実行される一方、第２のパラメータセットが適用された場合には、画像修復が実行されない読取画像に対してデコード部２０ｆによるデコード処理が実行される。
【0101】
パラメータセット記憶部３０ｃに記憶されるパラメータセットには、カメラ５により生成された読取画像に含まれるコード条件を設定する項目も含まれる。コード条件を設定する項目では、チューニング実行部２０ｄが取得したＰＰＣ、コード種、コードサイズ等が設定される。例えば、１つのパラメータセットには、コード条件を設定する項目としてのＰＰＣ、コード種、コードサイズと、撮像条件としてのカメラ５のゲイン、照明部４の光量、露光時間と、フィルタ処理部２０ｃが適用する画像処理フィルタの項目としての画像処理フィルタ種類、当該画像処理フィルタのパラメータと、画像修復フィルタの適用項目とを含むことができる。これら各項目は、チューニング実行部２０ｄが設定した値等をそのまま用いてもよいし、ユーザが任意に変更することもできる。
【0102】
（チューニング工程の手順の一例）
光学情報読取装置１の設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１１に示すフローチャートに基づいて具体的に説明する。図１１に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる画像修復を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード部２０ｆにデコード処理を実行させる。
光学情報読取装置１の設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１１に示すフローチャートに基づいて具体的に説明する。図１１に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる画像修復を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード部２０ｆにデコード処理を実行させる。
【0103】
デコード処理後、ステップＳＢ３に進み、ステップＳＢ２のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＢ３でＮＯと判定されてステップＳＢ２のデコード処理が失敗した場合、即ちコードの読み取りができなかった場合には、ステップＳＢ４に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ２で再度デコード処理を実行する。全てのデコード処理パラメータでデコード処理を失敗した場合にはこのフローを終了してユーザに報知する。
【0104】
一方、ステップＳＢ３でＹＥＳと判定されてステップＳＢ２のデコード処理が成功した場合には、ステップＳＢ５に進み、チューニング実行部２０ｄがコードパラメータ（ＰＰＣ、コード種、コードサイズ等）を決定する。チューニング実行部２０ｄがコードパラメータを決定すると、コードパラメータと関連付けられてニューラルネットワーク記憶部３０ｄに記憶されているニューラルネットワークの構造及びパラメータも決定される（ステップＳＢ６）。ステップＳＢ６では、ニューラルネットワーク記憶部３０ｄから読み出した構造及びパラメータでニューラルネットワークを構成する。
【0105】
ステップＳＢ７では、画像修復部２０ｊが、ステップＳＢ６で構成されたニューラルネットワークに読取画像を入力することにより、読取画像の修復を試行し、前記修復された読取画像に対してデコード部２０ｆがデコード処理を実行する。その後、ステップＳＢ８に進み、チューニング実行部２０ｄがステップＳＢ７のデコード処理結果に基づいて読取余裕度を評価し、一旦記憶しておく。
【0106】
ステップＳＢ９では、全てのデコード処理パラメータでデコード処理の実行が完了したか否かを判定する。ステップＳＢ９でＮＯと判定されて、全てのデコード処理パラメータでデコード処理の実行が完了していない場合にはステップＳＢ１０に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ７に進む。
【0107】
一方、ステップＳＢ９でＹＥＳと判定されて全てのデコード処理パラメータでデコード処理の実行が完了するとステップＳＢ１１に進む。ステップＳＢ１１では、チューニング実行部２０ｄが、全てのデコード処理パラメータの中から読取余裕度が最も高いデコード処理パラメータを選択し、その選択したデコード処理パラメータを運用時に適用するパラメータとして決定する。尚、チューニング工程では、撮像条件等も適切な条件に設定される。
【0108】
（縮小率及び拡大率決定前のデコード処理手順）
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１２に示すフローチャートに基づいて具体的に説明する。図１２に示すフローチャートで特定される処理は、図１１に示すフローチャートのステップＳＢ２で実行することができる。
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１２に示すフローチャートに基づいて具体的に説明する。図１２に示すフローチャートで特定される処理は、図１１に示すフローチャートのステップＳＢ２で実行することができる。
【0109】
図１２に示すフローチャートのスタート後のステップＳＣ１では、チューニング実行部２０ｄが、複数の画像処理フィルタの中から任意の画像処理フィルタを選択する。この画像処理フィルタは、フィルタ処理部２０ｃで実行されるフィルタである。その後、ステップＳＣ２では、ステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。
【0110】
次いで、ステップＳＣ３に進み、画像ピラミッドを作成する。画像ピラミッドは、元の読取画像、元の読取画像を１／２に縮小した画像、元の読取画像を１／４に縮小した画像、元の読取画像を１／８に縮小した画像、…で構成されている。読取画像の縮小は、縮小部２０ｈで実行される。また、画像ピラミッドは、元の読取画像、元の読取画像を２倍に拡大した画像、元の読取画像を４倍に拡大した画像、元の読取画像を８倍に拡大した画像、…で構成することもできる。読取画像の拡大は、拡大部２０ｉで実行される。尚、縮小した画像と、拡大した画像とのうち、一方を省略してもよい。
【0111】
画像ピラミッドを作成した後、ステップＳＣ４に進み、画像ピラミッドを構成する複数の読取画像の中から任意の読取画像を選択する。この選択された画像の中には、縮小及び拡大されていない元の読取画像が含まれる場合もある。ステップＳＣ５では、抽出部２０ｇが、ステップＳＣ４で選択した読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。その後、ステップＳＣ６に進み、画像修復部２０ｊが、ステップＳＣ５で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して読取画像の修復を試行する。ニューラルネットワークに入力する部分画像のサイズは、上述したコード条件によって決定する。
【0112】
読取画像の修復後、ステップＳＣ７に進み、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行する。位置決め処理後、ステップＳＣ８に進み、コードを構成している各モジュールが白であるか、黒であるかを判別する。白黒の判別後、ステップＳＣ９に進み、修復された読取画像に対してデコード部２０ｆがデコード処理を実行する。デコード処理では、例えばモジュールの０－１マトリックスから文字列を復元する手法を採用することができる。
【0113】
その後、ステップＳＣ１０に進み、ステップＳＣ９のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＣ１０でＮＯと判定されてステップＳＣ９のデコード処理が失敗した場合には、ステップＳＣ１１に進み、画像ピラミッドを構成している全ての読取画像が選択されたか否かを判定する。ステップＳＣ１１でＮＯと判定されて画像ピラミッドを構成している全ての読取画像が選択されていない場合にはステップＳＣ４に進み、画像ピラミッドを構成している別の縮小された読取画像または別の拡大された読取画像を選択し、ステップＳＣ５に進む。
【0114】
一方、ステップＳＣ１１でＹＥＳと判定されて画像ピラミッドを構成している全ての読取画像が選択された場合にはこのフローを終了し、デコードが成功した条件を記憶しておく。
【0115】
（縮小率及び拡大率決定後のデコード処理手順）
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１３に示すフローチャートに基づいて具体的に説明する。図１３に示すフローチャートで特定される処理は、図１１に示すフローチャートのステップＳＢ７及び光学情報読取装置１の運用時に実行することができる。
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１３に示すフローチャートに基づいて具体的に説明する。図１３に示すフローチャートで特定される処理は、図１１に示すフローチャートのステップＳＢ７及び光学情報読取装置１の運用時に実行することができる。
【0116】
図１３に示すフローチャートのスタート後のステップＳＤ１では、図１２に示すフローチャートのステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。このとき、図１４のＦＩＧ．１４Ａに示すような読取画像に対してフィルタ処理部２０ｃが平均化フィルタを実行した場合には、図１４のＦＩＧ．１４Ｂに示すような画像処理フィルタ実行後の画像が得られる。
【0117】
その後、ステップＳＤ２に進み、必要に応じて読取画像の縮小・拡大処理を実行する。具体的には、画像処理フィルタ実行後の読取画像におけるコードのＰＰＣが特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行し、ＰＰＣが特定範囲内に入るようにする。図１５のＦＩＧ．１５Ａに、縮小処理後の読取画像の例を示している。
【0118】
次いで、ステップＳＤ３では、抽出部２０ｇが、ステップＳＤ２で縮小または拡大された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。図１５のＦＩＧ．１５Ａに、コード候補領域抽出画像の例を示している。尚、ステップＳＤ２で縮小または拡大されていない場合には、ステップＳＤ３で元の読取画像に対して抽出処理が実行されることになる。
【0119】
その後、ステップＳＤ４に進み、画像修復部２０ｊが、ステップＳＤ３で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して読取画像の修復を試行する。図１６に修復前の読取画像と修復後の読取画像の例を示している。読取画像の修復後、ステップＳＤ５～ＳＤ７を経てこのフローが終了する。ステップＳＤ５～ＳＤ７は、図１２に示すフローチャートのステップＳＣ７～ＳＣ９と同じである。
【0120】
（運用時の処理の例）
図１７は、光学情報読取装置１の運用時における処理の手順の一例を説明する図である。プロセッサ２０により、前処理部２００と、後処理部２０１と、第１デコード部２０２と、第２デコード部２０３とが構成されている。第１デコード部２０２及び第２デコード部２０３は、デコード部２０ｆに含まれるものであり、デコード処理を並列に実行可能になっている。前処理部２００は、カメラ５により生成された読取画像に対してノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタ等を実行する部分である。
図１７は、光学情報読取装置１の運用時における処理の手順の一例を説明する図である。プロセッサ２０により、前処理部２００と、後処理部２０１と、第１デコード部２０２と、第２デコード部２０３とが構成されている。第１デコード部２０２及び第２デコード部２０３は、デコード部２０ｆに含まれるものであり、デコード処理を並列に実行可能になっている。前処理部２００は、カメラ５により生成された読取画像に対してノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタ等を実行する部分である。
【0121】
第１デコード部２０２は、カメラ５により生成された読取画像に対するデコード処理を実行する部分であり、この第１デコード部２０２によるデコード処理を第１デコード処理ともいう。プロセッサ２０が複数のコア（Ｎ個のコア）を有している場合、そのうちのコア０～コアｉによって第１デコード部２０２が構成される。１つのコアで第１デコード部２０２が構成されていてもよい。
【0122】
また、第２デコード部２０３は、画像修復部２０ｊが生成した修復画像に対するデコード処理を実行する部分であり、この第２デコード部２０３によるデコード処理を第２デコード処理ともいう。プロセッサ２０がＮ個のコアを有している場合、そのうちのコアｉ＋１～コアＮ－１によって第２デコード部２０３が構成される。１つのコアで第２デコード部２０３が構成されていてもよい。
【0123】
図１８にも示すように、コア０～コアｉによって第１デコード部２０２が構成されている場合、コア０～コアｉの各々がカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出した後、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行し、その後、コードを構成している各モジュールが白であるか、黒であるかを判別し、デコード処理を実行する。処理結果は後処理部２０１に出力される。
【0124】
一方、コアｉ＋１～コアＮ－１によって第２デコード部２０３が構成されている場合、コアｉ＋１～コアＮ－１の各々が、読取画像からコードが存在する可能性が高いコード候補領域を修復用コード領域として抽出するとともに、画像修復部２０ｊに対し、推論処理を実行するようトリガ信号を送出する。この図１８では、２つのコアによって１つのタスクを実行するように記載しているが、任意の１つ以上のコアによって１つのタスクを実行すればよい。
【0125】
具体的には、第２デコード部２０３を構成しているコアＮ－２及びコアＮ－１が修復用コード候補領域を抽出すると、トリガ信号（トリガ１）を画像修復部２０ｊに出力し、画像修復部２０ｊに対して推論処理を実行させる。画像修復部２０ｊは、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ１）を受信すると、コアＮ－２及びコアＮ－１が抽出した修復用コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する（画像修復１）。画像修復１で生成した修復画像は、コアＮ－２及びコアＮ－１へ送られる。コアＮ－２及びコアＮ－１は、画像修復１で生成した修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する。
【0126】
一方、第２デコード部２０３を構成しているコアｉ＋１及びコアｉ＋２が修復用コード候補領域を抽出すると、トリガ信号（トリガ２）を画像修復部２０ｊに出力し、画像修復部２０ｊに対して推論処理を実行させる。画像修復部２０ｊは、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ２）を受信すると、コアｉ＋１及びコアｉ＋２が抽出した修復用コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する（画像修復２）。画像修復２で生成した修復画像は、コアｉ＋１及びコアｉ＋２へ送られる。コアｉ＋１及びコアｉ＋２は、画像修復２で生成した修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する。
【0127】
以下、同様にして、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ３）により画像修復３が実行され、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ４）により画像修復４が実行され、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ５）により画像修復５が実行され、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ６）により画像修復６が実行され、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ７）により画像修復７が実行される。
【0128】
このタイムチャートに示すように、画像修復部２０ｊによる推論処理と第１デコード部２０２による第１デコード処理とは並列的に実行される。例えば、第１デコード部２０２がコード領域抽出、グリッド位置決め、デコード処理を継続して行う間、画像修復部２０ｊによる推論処理が１回または複数回実行される。また、第１デコード部２０２がコード領域抽出、グリッド位置決め、デコード処理を継続して行う間、第２デコード部２０３による修復用コード領域の抽出、トリガ信号の出力、グリッド位置決め、第２デコード処理が実行される。このように、画像修復部２０ｊは、修復用コード候補領域に対応する部分画像の修復に特化すればよいので、推論処理速度を高速化できる。
【0129】
第２デコード部が第２デコード処理を実行している期間の少なくとも一部は、画像修復部２０ｊによる推論処理が実行されない休止期間を有している。すなわち、図１８に示すように、画像修復部２０ｊの画像修復１の終了後、第２デコード部２０３が第２デコード処理を開始するのであるが、画像修復部２０ｊが次の画像修復２を開始するまでの間に、所定の期間が設けられており、この所定の期間は、画像修復部２０ｊが画像修復を行わない休止期間とされている。この休止期間は画像修復部２０ｊが推論処理を行わない期間であり、休止期間を設けることにより、画像修復部２０ｊの負荷を低減して、ＡＩチップ２３の発熱を抑制できる。なお、グリッド位置決めの処理時間は、処理対象の修復画像によって長い場合や短い場合が存在する。図１８では各コアの処理が交互に実行される例を記載しているが、グリッド位置決めの処理時間によっては、各コアの処理は必ずしも交互に実行されない。すなわち、処理が空いているコアから順にトリガ発出や、グリッド位置決めを実行してもよい。
【0130】
上述したように、設定部２０ｅは、「画像修復フィルタの適用」と「画像修復フィルタの非適用」との一方をユーザが選択可能に構成されている。画像修復フィルタを適用するということは、画像修復を行うということであり、また、画像修復フィルタを非適用にするということは、画像修復を行わないということなので、設定部２０ｅは、第２デコード部２０３が第２デコード処理を実行するか否かを設定する部分にも相当する。この設定はユーザによって実行されるので、設定部２０ｅはユーザによる操作を受け付けることができるように構成されている。画像修復フィルタの適用、非適用という設定形態に限定されるものではなく、例えば推論処理（修復処理）の適用、非適用、ＡＩによる処理の適用、非適用といった設定形態であってもよい。ユーザによる操作は、例えばユーザインターフェース画面に表示したボタン等の操作を挙げることができる。
【0131】
光学情報読取装置１では、上記チューニング処理行ってから運用される。例えばワークＷがラベルのような場合では、コードが鮮明に印字されているので、チューニング処理により適切な条件設定がなされれば、高い読み取り率を実現できる。しかし、金属や樹脂などのワークＷにおいては、チューニング処理時の最適な条件が設定されるものの、微弱な外乱光による読取画像の変化などが原因で読み取りにくい状態になったり、そもそも光学設計とアルゴリズム設計上、超低コントラストで読み取れないケースが発生してしまうことがある。
【0132】
本例の画像修復部２０ｊが実行する画像修復アルゴリズムを、画像修復しないでデコード処理する場合と並列に実施することで、従来の読み取り性能を維持しながら金属や樹脂などのワークＷに対しての読み取り性能を向上させ、読み取り安定性を高めることができる。また、従来の光学設計とアルゴリズムでは読めないワークＷに対しても、画像修復アルゴリズムを適用することにより読み取りが可能になる。
【0133】
具体例を示すと、ある工場で箱に付されたシール上に印字されたコードを読み取る工程で、光学情報読取装置１の設置条件に制約がなく、最適な設置が可能な場合においては、従来の読み取り性能でも安定した運用が可能であることから、画像修復フィルタを非適用にしてタクトを優先することができる。
【0134】
また、ある工場において、金属にはっきりと印字されたコードを読み取る工程があり、読み取り設定時のチューニング処理においては最適な条件が決定されるものの、実際に運用してみると、金属表面の傷、読み取り位置・角度のばらつき、周囲環境の明るさ変化などで読み取りが不安定になるケースがある。このようなケースでは、画像修復フィルタを適用して、画質改善することで、上記のような条件のばらつきに強くなり、読み取り性能が向上する。
【0135】
また、一部のワークでは、従来のアルゴリズムでの読み取りが不可能であるが、そのようなケースでは画像修復フィルタを適用することで、読み取りができるようになるケースがある。例えば、コードの損傷が著しかったり、コントラストが明確でない場合でも、画像修復フィルタを適用することによって、コントラストや傷を修復し、読み取りが可能になる。
【0136】
画像修復フィルタを適用した場合に実行される第２デコード処理は、修復画像に対してデコード処理を実行するため、通常の読取画像のデコード処理を実行する第１デコード処理に比べて処理にかかる時間が長い場合が多い。したがって、第１デコード部２０２は、第２デコード部２０３による第２デコード処理にかかる時間よりも短い時間で第１デコード処理を実行可能である。本例では、このことを前提とし、デコード処理の制限時間である、デコードタイムアウト時間を設定部２０ｅが変更可能になっている。
【0137】
具体的には、設定部２０ｅは、第２デコード処理を実行すると設定されている場合は、第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定可能に構成されるとともに、第２デコード処理を実行しないと設定されている場合は、第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている。これにより、運用時には、第２デコード処理を実行する場合、一般的な第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定することができるので、修復画像に対するデコード処理を確実に実行できる。一方、第２デコード処理を実行しないと設定されている場合は、一般に第２デコード処理よりも短い時間でデコード処理が可能な第１デコード処理のみを実行することになるので、第１デコード処理に対応した短いデコードタイムアウト時間を設定できる。このようにデコードタイムアウト時間を変更することで、第１デコード処理及び第２デコード処理のそれぞれに対応したデコードタイムアウト時間にすることができる。
【0138】
また、図１８では、第１デコード部２０２と第２デコード部２０３とを別にしているが、図１９に示すように、第１デコード部２０２と第２デコード部２０３とをまとめてデコード部２０ｆとしてもよい。デコード部２０ｆは、カメラ５により生成された読取画像に対する第１デコード処理と並列に、修復画像に対する第２デコード処理を実行する。このようにデコード処理を実行する部分は、ハードウエア上で任意に分けることもできるし、統合することもできる。以下、デコード処理を実行する部分を１つに統合した例で説明するが、これに限らず、複数に分けた場合にも同様に適用できる。
【0139】
デコード部２０ｆは、設定部２０ｅにより第２デコード処理を実行しないと設定されている場合には、第２デコード処理に使われる処理のリソースを第１デコード処理に振り分け、第２デコード処理を実行すると設定されている場合に比べ、第１デコード処理を高速化するように構成されている。処理のリソースとは、例えばメモリの使用領域や、マルチコアＣＰＵを構成しているコア等である。具体的には、第２デコード処理を実行しないと設定されている場合には、第２デコード処理を実行すると設定されている場合に比べて、第１デコード処理を受け持つコアの数を多くする。また、第２デコード処理を実行しないと設定されている場合には、第２デコード処理を実行すると設定されている場合に比べて、第１デコード処理で使用するメモリの領域を拡大する。コアの数を多くすることと、メモリの領域を拡大することとは、併用してもよいし、いずれか一方のみ実行してもよい。これにより、マルチコアＣＰＵの性能を最大限に引き出して第１デコード処理を高速化できる。
【0140】
デコード部２０ｆは、画像修復に先立ち、読取画像からコードが存在する可能性が高いコード候補領域を抽出する。すなわち、ニューラルネットワークを用いた画像修復時に当該ニューラルネットワークに入力する画像が大きいと演算時間が長時間化してしまうという問題がある。また、処理の高速化の観点からは、デコードの試行回数もできるだけ少なくしたい。これらのことに対し、本例では、コード候補領域を多少時間がかかっても確実に抽出可能にするために、ラインサーチベースではなく、ヒートマップベースのサーチ手法を採用している。例えば、デコード部２０ｆは、コードの特徴量を定量化し、特徴量の大きさを各画素値に割り当てたヒートマップを生成し、当該ヒートマップ上で、コードが存在する可能性が高いコード候補領域を抽出する。具体例としては、ヒートマップにおいて相対的に熱く（特徴量が大きく）示されている領域で２次元コードの特徴部分（例：ファインダパターン等）を取得する方法がある。特徴部分が複数取得された場合には、優先づけをして抽出し、ＲＡＭ４１や記憶部３０等に記憶させておくことができる。
【0141】
デコード部２０ｆがコード候補領域を抽出した後、抽出したコード候補領域に対応する部分画像を画像修復部２０ｊに出力する。画像修復部２０ｊは、デコード部２０ｆが抽出したコード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する。これにより、演算時間を短縮できる。
【0142】
また、デコード部２０ｆは、上述したチューニング処理により設定された読取対象のコードを包含できるサイズで、かつ読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してからニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードするように構成されていてもよい。抽出された画像を予め定められたサイズの画像に拡大・縮小してニューラルネットワークに入力することで、ニューラルネットワークに入力されるコード画像のＰＰＣを所定の範囲内に収めることができ、ニューラルネットワークによる画像修復効果を安定的に引き出すことができる。また、読取対象のコードサイズは様々であることが考えられるが、最終的にニューラルネットワークに入力されるコードのサイズを固定できるので、処理の高速性とデコードのし易さのバランスを一定以上に保つことができる。
【0143】
以下、第１デコード処理及び第２デコード処理のフローチャートについて、図２０に基づいて詳細に説明する。スタート後のステップＳＥ１では、プロセッサ２０がカメラ５に読取画像を生成させ、読取画像を取得する。ステップＳＥ１で取得された読取画像は、デコード部２０ｆに入力される。ステップＳＥ２では、ステップＳＥ１で取得された読取画像に対して画像修復を施すことなく、第１デコード処理を実行する。第１デコード処理が成功すれば、ステップＳＥ４に進んで終了処理、即ちデコード結果の出力処理を実行する。ステップＳＥ２で第１デコード処理が失敗すれば、ステップＳＥ２に戻り、第１デコード処理を再度実行する。所定のデコードタイムアウト時間が経過すると、当該読取画像に対する第１デコード処理を中止する。
【0144】
一方、ステップＳＥ１からステップＳＥ５に進むルートでは、デコード部２０ｆが読取画像から修復用コード領域を抽出する。具体的には、チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ読取画像の中でコードが存在する可能性が高いコード候補領域を抽出する。このとき、修復用コード領域が複数抽出された場合には、候補領域Ｒ１、Ｒ２、…として一時的に保存しておく。抽出された修復用コード領域の一例を図２０に示す。その後、ステップＳＥ６に進み、ｋの値を１にしておく。
【0145】
ステップＳＥ７では、候補領域Ｒｋに対応する部分画像に対してリサイズ処理を実行する。リサイズ処理は、ステップＳＥ５で抽出された修復用コード領域に対応する部分画像を、予め定められたサイズとなるように縮小又は拡大する処理である。このリサイズ処理により、後述するニューラルネットワークに入力する画像の大きさを予め所定の大きさにしておくことができる。図２１に示す例では、ニューラルネットワークに入力する部分画像の大きさが２５６ピクセル×２５６ピクセルである場合について示しているが、部分画像の大きさはこれに限られるものではなく、処理速度等を勘案して任意の大きさにリサイズすることができる。
【0146】
ステップＳＥ８では、白黒反転設定が「両方」になっているか否かを判定する。すなわち、画像修復は、数学的には写像を行っているだけであり、白から黒、黒から白、黒から黒、白から白の写像を単一のニューラルネットワークで実現することは難易度が高い場合がある。そのため、白地に黒印字された画像となるようにプロパティに基づいて白黒反転処理を実行する。ニューラルネットワークの学習のさせ方によっては、黒地に白印字された画像であってもよい。白黒反転処理の一例を図２１に示す。白黒反転処理の詳細については後述する。
【0147】
ステップＳＥ８でＹＥＳと判定されて白黒反転設定が「両方」になっている場合にはステップＳＥ９に進み、リサイズ処理後の画像を画像修復部２０ｊに入力して画像修復を実行する。その後、ステップＳＥ１０に進み、デコード部２０ｆが修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１０で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１０で第２デコード処理が失敗すれば、ステップＳＥ１１に進み、リサイズ処理後の画像を白黒反転処理する。その後、ステップＳＥ１１で白黒反転処理後の画像を画像修復部２０ｊに入力して画像修復を実行する（図２１参照）。次いで、ステップＳＥ１３に進み、デコード部２０ｆが修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１３で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１３で第２デコード処理が失敗すれば、ステップＳＥ１４に進む。ステップＳＥ１４では、ステップＳＥ５で抽出した候補領域がまだあるか否かを判定し、候補領域がない場合にはステップＳＥ４に進んで終了処理を実行する。
【0148】
一方、ステップＳＥ８でＮＯと判定されて白黒反転設定が「両方」になっていない場合にはステップＳＥ１５に進み、白黒反転設定が「ＯＦＦ」になっているか否かを判定する。ステップＳＥ１５でＮＯと判定されて白黒反転設定が「ＯＦＦ」になっていない場合には、ステップＳＥ１６に進んでリサイズ処理後の画像を白黒反転する処理する。その後、ステップＳＥ１７で白黒反転処理後の画像を画像修復部２０ｊに入力して画像修復を実行する。次いで、ステップＳＥ１８に進み、デコード部２０ｆが修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１８で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１８で第２デコード処理が失敗すれば、ステップＳＥ１４に進む。ステップＳＥ１４で候補領域がまだあるか否かを判定し、候補領域がない場合にはステップＳＥ４に進んで終了処理を実行する。
【0149】
ステップＳＥ１４で候補領域がまだあると判定された場合には、ステップＳＥ１９に進み、ｋの値に１を加えてステップＳＥ７に進む。ステップＳＥ７では、前回のフローからｋの値が１つ増えているので、次の候補領域Ｒｋに対応する部分画像に対して同様にリサイズ処理を実行する。ステップＳＥ８以降は上述したとおりである。つまり、第１デコード処理または第２デコード処理の一方でデコードが成功すれば、成功した時点でデコード結果を出力して他の候補領域に対するデコード処理は行わず、次のワークＷを撮像した読取画像を取得し、同様な処理を実行する。
【0150】
図２１に示す後処理部２０１は、リサイズ処理後に画像修復していない部分画像と、リサイズ処理後に画像修復部２０ｊが画像修復した部分画像とを合成する処理を実行する。すなわち、ニューラルネットワークを用いた画像修復では、修復前のコードが人間の目視で確認できるのに、画像修復がうまくいかないことや、画像修復するとセルが丸くなることが起こり得る。これらのことに対して、画像修復していない部分画像と、画像修復した部分画像とを適切な割合で重ね合わせると、その後のデコード処理が容易になる場合がある。画像修復していない部分画像と、画像修復した部分画像とを重ね合わせる割合は、所定の固定値であってもよいし、固定値以外であってもよく、例えば画像修復部２０ｊによるの修復の安定度に基づいて、読み取り時に動的に、あるいは事前評価（チューニング）で最適化して決定してもよい。例えば事前評価において、その割合をユーザがスケールバー等で調整可能にし、合成後の画像をユーザに提示しながら調整が行えるようにしてもよい。
【0151】
（バンク切り替え機能）
本実施形態では、例えばカメラ５の撮像条件を構成するパラメータ及びデコード部２０ｆにおける処理条件等を構成するパラメータがセットになったパラメータセットを上記パラメータセット記憶部３０ｃに記憶することができるように構成されている。パラメータセットは、バンクと呼ぶことができる。バンクは複数設けられており、それぞれに異なるパラメータが記憶されている。例えば、パラメータセット記憶部３０ｃには、チューニング実行部２０ｄにより設定された第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件とがそれぞれ別のパラメータセットとして記憶されている。
本実施形態では、例えばカメラ５の撮像条件を構成するパラメータ及びデコード部２０ｆにおける処理条件等を構成するパラメータがセットになったパラメータセットを上記パラメータセット記憶部３０ｃに記憶することができるように構成されている。パラメータセットは、バンクと呼ぶことができる。バンクは複数設けられており、それぞれに異なるパラメータが記憶されている。例えば、パラメータセット記憶部３０ｃには、チューニング実行部２０ｄにより設定された第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件とがそれぞれ別のパラメータセットとして記憶されている。
【0152】
この光学情報読取装置１では、パラメータセット記憶部３５ｃに記憶されている複数のパラメータセットのうち、第１の撮像条件及びコード条件を含む一のパラメータセットから、第２の撮像条件及びコード条件を含む他のパラメータセットへ切り替えることや、その反対の切り替えができるように構成されている。パラメータセットの切替は、プロセッサ２０が行うことや、ユーザが行うこともできるし、ＰＬＣ１０１等の外部制御装置からの切替信号によって行うように構成することもできる。パラメータセットの切替をユーザが行う場合には、例えばユーザインターフェースに組み込まれているパラメータセット切替部を操作すればよい。パラメータセット切替部を「有効」にすることで、そのバンクのパラメータセットが光学情報読取装置１の運用時に使用され、また、パラメータセット切替部を「無効」にすることで、そのバンクのパラメータセットが光学情報読取装置１の運用時に使用されないようになる。つまり、パラメータセット切替部は、一のパラメータセットから他のパラメータセットに切り替えるためのものである。
【0153】
本例のデコード部２０ｆは、一のパラメータセットを使用して運用している時に、修復画像に対する第２デコード処理に失敗すると、他のパラメータセットに切り替えてから、別の条件で撮像された読取画像に対して画像修復、第２デコード処理を実行する。例えば、デコード部２０ｆが第２デコード処理に失敗したことを検出すると、現在しているパラメータセット以外のパラメータセットに切り替えた後、画像修復、第２デコード処理を実行し、このパラメータセットでも第２デコード処理に失敗したことを検出すると、これまで使用していない他のパラメータセットに切り替えた後、画像修復、第２デコード処理を実行する。パラメータセットを切り替えると、カメラ５の撮像条件だけなく、読取対象のコードサイズも変更される場合があり、この場合にはコードが存在する可能性が高いコード候補領域を抽出する際のサイズも変わることになる。その結果、ニューラルネットワークに入力する画像の縮小率又は拡大率も変わり、画像修復の結果も変わることになる。
【0154】
（白地に黒印字されたコード、黒地に白印字されたコードの読取対応）
例えば、工場や倉庫における物品のトレーサビリティを目的として光学読取装置１を使用する場合、ワークＷの色が白であるとは限らず、黒または黒に近い暗い色の場合がある。ワークＷの色が黒等であれば、それに印字するコードの色は白または白に近い明るい色とされる。また、光の当たり方によっても、白と黒の関係が入れ替わって見えることがある。つまり、白地に黒印字されたコードと、黒地に白印字されたコードとが混在する現場があるが、本実施形態の光学読取装置１はそのいずれにも対応可能に構成されている。
例えば、工場や倉庫における物品のトレーサビリティを目的として光学読取装置１を使用する場合、ワークＷの色が白であるとは限らず、黒または黒に近い暗い色の場合がある。ワークＷの色が黒等であれば、それに印字するコードの色は白または白に近い明るい色とされる。また、光の当たり方によっても、白と黒の関係が入れ替わって見えることがある。つまり、白地に黒印字されたコードと、黒地に白印字されたコードとが混在する現場があるが、本実施形態の光学読取装置１はそのいずれにも対応可能に構成されている。
【0155】
以下、図２２及び図２３に基づいて具体的に説明する。図２２は、白地に黒印字のコードで学習した第１ニューラルネットワークと、黒地に白印字のコードで学習した第２ニューラルネットワークとを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．２２Ａは、読取画像（左端の画像）を、第１ニューラルネットワークと、第２ニューラルネットワークとにそれぞれ入力し、第１ニューラルネットワーク及び第２ニューラルネットワークからデコード結果を出力させる方式を示しており、この方式を並行実施方式と呼ぶ。読取画像は、白地に黒印字のコードを撮像した画像なので、第１ニューラルネットワークによる修復画像ではデコード処理に成功するが、第２ニューラルネットワークによる修復画像ではデコード処理に失敗する。
【0156】
つまり、ＦＩＧ．２２Ａに示す例では、ニューラルネットワーク記憶部３０ｄは、第１ニューラルネットワークと第２ニューラルネットワークとを記憶している。また、デコード部２０ｆは、読取画像を第１ニューラルネットワーク及び第２ニューラルネットワークの両方に入力し、その結果、生成された修復画像をデコードする。
【0157】
ＦＩＧ．２２Ｂは、読取画像（左端の画像）を、まず、第２ニューラルネットワークのみに入力し、修復画像のデコード処理を試みる。デコード処理に失敗した場合のみ、読取画像を、第１ニューラルネットワークに入力して修復画像を生成する。この方式は、失敗後に別ネットワークを使用する方式である。
【0158】
つまり、ＦＩＧ．２２Ｂに示す例では、ニューラルネットワーク記憶部３０ｄは、第１ニューラルネットワークと第２ニューラルネットワークとを記憶しているが、デコード部２０ｆは、読取画像を第２ニューラルネットワークのみに入力した後、第２ニューラルネットワークに入力して生成された修復画像のデコードに失敗した場合にのみ、読取画像を第１ニューラルネットワークに入力して修復画像を生成し、第１ニューラルネットワークで生成された修復画像をデコードする。
【0159】
ＦＩＧ．２２Ｃは、ユーザによる設定に基づいて、読取画像を入力するニューラルネットワークを選択する方式である。すなわち、図６に示す設定部２０ｅは、第１ニューラルネットワークと第２ニューラルネットワークとのうち、どちらのニューラルネットワークに読取画像を入力するかの選択を受け付ける部分である。例えば光学情報読取装置１の設定時に、「第１ニューラルネットワーク」と「第２ニューラルネットワーク」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６や設定装置１００の表示器１００ｂ等に表示させ、ユーザによる選択を受け付けるように構成することができる。
【0160】
選択方式としては、上述したようにニューラルネットワークの種別を直接選択する方式であってもよいし、入力する読取画像を選択する方式であってもよい。入力する読取画像を選択する方式の場合、「読取画像が白地に黒印字のコードを撮像した画像」と、「読取画像が黒地に白印字のコードを撮像した画像」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６や設定装置１００の表示器１００ｂ等に表示させ、ユーザによる選択を受け付けるように構成することができる。「読取画像が白地に黒印字のコードを撮像した画像」の選択は、「第１ニューラルネットワーク」の選択に対応し、「読取画像が黒地に白印字のコードを撮像した画像」の選択は、「第２ニューラルネットワーク」の選択に対応する。
【0161】
ユーザによる選択結果は、プロセッサ２０で受信される。プロセッサ２０には、デコード部２０ｆの一部を構成するネットワーク選択モジュール２０ｋが設けられている。ネットワーク選択モジュール２０ｋは、「第１ニューラルネットワーク」が選択されていれば、読取画像を第１ニューラルネットワークに入力し、第２ニューラルネットワークには入力しない。一方、ネットワーク選択モジュール２０ｋは、「第２ニューラルネットワーク」が選択されていれば、読取画像を第２ニューラルネットワークに入力し、第１ニューラルネットワークには入力しない。
【0162】
ＦＩＧ．２２Ｃの左側に示すケースは、読取画像が白地に黒印字のコードを撮像した画像であると設定されている場合である。この場合、ネットワーク選択モジュール２０ｋが第１ニューラルネットワークを選択する。そして、デコード部２０ｆは、読取画像（左端の画像）を第１ニューラルネットワークに入力して修復画像を生成し、当該第１ニューラルネットワークで生成された修復画像をデコードする。一方、ＦＩＧ．２２Ｃの右側に示すケースは、読取画像が黒地に白印字のコードを撮像した画像であると設定されている場合である。この場合、ネットワーク選択モジュール２０ｋが第２ニューラルネットワークを選択する。そして、デコード部２０ｆは、読取画像（左端の画像）を第２ニューラルネットワークに入力し、当該第２ニューラルネットワークで生成された修復画像をデコードする。
【0163】
図２３は、ニューラルネットワーク記憶部３０ｄが第１ニューラルネットワークと第２ニューラルネットワークのいずれか一方を記憶しており、一方のニューラルネットワークのみを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．２３Ａでは、デコード部２０ｆが読取画像（左端の画像）を白黒反転処理することにより、白黒反転画像を生成する場合について示している。白黒反転処理しない画像と、白黒反転処理した画像とをそれぞれ第１ニューラルネットワークに入力する。読取画像は、黒地に白印字のコードを撮像した画像なので、第１ニューラルネットワークによる修復画像ではデコード処理に失敗するが、白黒反転処理した後の画像を第１ニューラルネットワークで修復して修復画像を生成することで、デコード処理に成功する。つまり、デコード部２０ｆは、読取画像の白黒関係を、ニューラルネットワーク記憶部３０ｄに記憶されているニューラルネットワークで修復できる白黒関係と一致させるように、当該読取画像の白黒関係を反転させる白黒反転処理を実行してから、ニューラルネットワーク記憶部３０ｄに記憶されているニューラルネットワークに入力する。
【0164】
ＦＩＧ．２３Ｂの上に示す例では、読取画像（左端の画像）が黒地に白印字されたコードの画像であるため、第１ニューラルネットワークに入力すると、デコード処理に失敗する。その後、白黒反転処理した画像を生成して第１ニューラルネットワークに入力すると、デコード処理に成功する。
【0165】
ＦＩＧ．２３Ｂの下に示す例では、読取画像（左端の画像）が白地に黒印字されたコードの画像であるため、第２ニューラルネットワークに入力すると、デコード処理に失敗する。その後、白黒反転処理した画像を生成して第２ニューラルネットワークに入力すると、デコード処理に成功する。
【0166】
すなわち、デコード部２０ｆは、白黒反転処理を実行しない読取画像を、ニューラルネットワーク記憶部３０ｄに記憶されているニューラルネットワークに入力して生成された修復画像のデコードに失敗した場合にのみ、白黒反転処理を実行した読取画像を、ニューラルネットワーク記憶部３０ｄに記憶されているニューラルネットワークに入力するように構成されている。
【0167】
ＦＩＧ．２３Ｃは、ユーザによる設定に基づいて、白黒反転処理を実行するか、非実行とするかを決定する方式である。すなわち、図６に示す設定部２０ｅは、白黒反転処理するか否かの選択を受け付ける部分である。例えば光学情報読取装置１の設定時に、「白黒反転処理実行」と「白黒反転処理非実行」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６や設定装置１００の表示器１００ｂ等に表示させ、ユーザによる選択を受け付けるように構成することができる。
【0168】
選択方式としては、上述したように白黒反転処理の実行、非実行を直接選択する方式であってもよいし、入力する読取画像を選択する方式であってもよい。入力する読取画像を選択する方式の場合、「読取画像が白地に黒印字のコードを撮像した画像」と、「読取画像が黒地に白印字のコードを撮像した画像」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６や設定装置１００の表示器１００ｂ等に表示させ、ユーザによる選択を受け付けるように構成することができる。第１ニューラルネットワークのみを記憶している場合に、「読取画像が白地に黒印字のコードを撮像した画像」が選択されると、「白黒反転処理非実行」とし、第１ニューラルネットワークのみを記憶している場合に、「読取画像が黒地に白印字のコードを撮像した画像」が選択されると、「白黒反転処理実行」とする。また、第２ニューラルネットワークのみを記憶している場合に、「読取画像が白地に黒印字のコードを撮像した画像」が選択されると、「白黒反転処理実行」とし、第２ニューラルネットワークのみを記憶している場合に、「読取画像が黒地に白印字のコードを撮像した画像」が選択されると、「白黒反転処理非実行」とする。
【0169】
ユーザによる選択結果は、プロセッサ２０で受信される。プロセッサ２０には、デコード部２０ｆの一部を構成する白黒反転処理モジュール２０ｌが構成されている。白黒反転処理モジュール２０ｌは、「白黒反転処理実行」が選択されていれば、読取画像に白黒反転処理を実行する一方、「白黒反転処理非実行」が選択されていれば、読取画像に白黒反転処理を実行しない。
【0170】
ＦＩＧ．２３Ｃの上側に示すケースは、第１ニューラルネットワークのみを記憶していて、読取画像が白地に黒印字のコードを撮像した画像であると設定されている場合である。この場合、白黒反転処理モジュール２０ｌが白黒反転処理を実行することなく、そのまま第１ニューラルネットワークに入力する。一方、ＦＩＧ．２３Ｃの下側に示すケースは、第１ニューラルネットワークのみを記憶していて、読取画像が黒地に白印字のコードを撮像した画像であると設定されている場合である。この場合、白黒反転処理モジュールが白黒反転処理を実行する。そして、白黒反転処理した画像を第１ニューラルネットワークに入力する。
【0171】
（コントラストとマッチングレベルの関係）
マッチングレベル算出部２０ｎで算出されるマッチングレベルは、例えばチューニング時のスコアとして使用したり、運用時の印字品質／読み取り性能の管理に使用される。例えば、マッチングレベルは０～１００の正の整数値で定義されており、５０以上では読み取り率テストを実施した場合に読み取り率１００％になるように設計することができる。また、マッチングレベル０は読み取れない場合、マッチングレベル１は読み取れる場合の最低値である。
マッチングレベル算出部２０ｎで算出されるマッチングレベルは、例えばチューニング時のスコアとして使用したり、運用時の印字品質／読み取り性能の管理に使用される。例えば、マッチングレベルは０～１００の正の整数値で定義されており、５０以上では読み取り率テストを実施した場合に読み取り率１００％になるように設計することができる。また、マッチングレベル０は読み取れない場合、マッチングレベル１は読み取れる場合の最低値である。
【0172】
図２４は、コントラストとマッチングレベルの関係を示すグラフであり、実線は画像修復部２０ｊにより画像修復された画像（修復画像）のコントラストとマッチングレベルの関係を示し、また、破線は画像修復部２０ｊにより画像修復していない画像（読取画像）のコントラストとマッチングレベルの関係を示している。このグラフから明らかなように、修復画像のマッチングレベルは読取画像のマッチングレベルよりも全体的に高くなっているが、ある一定以上画質が悪化すると、マッチングレベルが急激に低下してしまう。
【0173】
（マッチングレベルの算出処理）
マッチングレベルはアルゴリズムごとに設定されており、一般的には１コード種につき、１つのアルゴリズムである。しかしながら、本実施形態では、画像修復機能の搭載により、１つのコード種で２つのアルゴリズム（画像修復するアルゴリズムと、画像修復しないアルゴリズム）が実行される。この２つのアルゴリズムのうち、デコード処理が早く成功した方の結果が出力されるため、仮に、２つのアルゴリズムで交互にデコード処理に成功するケースにおいてはマッチングレベルの値が不安定になるおそれがある。また、画像修復を実行することで読み取りやすい画像になるため、従来と類似したマッチングレベルの算出方法ではマッチングレベルが既存のものと比較して高くなりやすい。これらのことに対し、本実施形態では、２つのアルゴリズムのマッチングレベルの重みづけ和をとり、マッチングレベルの値を調整するようにした。以下、具体例について、図２５に示すフローチャートに基づいて説明する。
マッチングレベルはアルゴリズムごとに設定されており、一般的には１コード種につき、１つのアルゴリズムである。しかしながら、本実施形態では、画像修復機能の搭載により、１つのコード種で２つのアルゴリズム（画像修復するアルゴリズムと、画像修復しないアルゴリズム）が実行される。この２つのアルゴリズムのうち、デコード処理が早く成功した方の結果が出力されるため、仮に、２つのアルゴリズムで交互にデコード処理に成功するケースにおいてはマッチングレベルの値が不安定になるおそれがある。また、画像修復を実行することで読み取りやすい画像になるため、従来と類似したマッチングレベルの算出方法ではマッチングレベルが既存のものと比較して高くなりやすい。これらのことに対し、本実施形態では、２つのアルゴリズムのマッチングレベルの重みづけ和をとり、マッチングレベルの値を調整するようにした。以下、具体例について、図２５に示すフローチャートに基づいて説明する。
【0174】
スタート後のステップＳＦ１では読取画像をプロセッサ２０に入力する。ステップＳＦ２では、画像修復することなく、第１デコード部２０２が第１デコード処理を実行する。ステップＳＦ３では、第１デコード処理による第１マッチングレベルＡ（ＭＬＡ）を算出する。つまり、マッチングレベル算出部２０ｎは、推論処理が適用される前の読取画像を用いて、第１デコード部２０２によるデコードのし易さを示すマッチングレベルを算出する。
【0175】
一方、ステップＳＦ４では、読取画像を画像修復部２０ｊに入力して画像修復処理を実行する。その後、ステップＳＦ５に進み、修復画像に対して第２デコード部２０３が第２デコード処理を実行する。ステップＳＦ６では、第２デコード処理による第２マッチングレベルＢ（ＭＬＢ）を算出する。つまり、マッチングレベル算出部２０ｎは、第１デコード部２０２の第１マッチングレベルＭＬＡと、第２デコード部２０３の第２マッチングレベルＭＬＢとを個別に算出する。尚、ステップＳＦ２でデコードに成功しなかった場合にはＭＬＡ＝０となり、またステップＳＦ５でデコードに成功しなかった場合にはＭＬＢ＝０となる。
【0176】
ステップＳＦ７では、例えば平均化関数等を用いてＭＬＡとＭＬＢの値を調整する。具体的には、マッチングレベル算出部２０ｎが、第１マッチングレベルＭＬＡと第２マッチングレベルＭＬＢの平均を算出する。第１マッチングレベルＭＬＡと第２マッチングレベルＭＬＢの平均を算出した場合、チューニング実行部２０ｄは、第１マッチングレベルＭＬＡと第２マッチングレベルＭＬＢの平均を用いてチューニグ処理を実行し、撮像条件を設定する。尚、チューニング実行部２０ｄは、第１マッチングレベルＭＬＡを用いてチューニグ処理を実行し、撮像条件を設定してもよい。また、ステップＳＦ２、ＳＦ５のどちらでデコードに成功しても、ＭＬＡの値に重みを付ける処理を行う。
【0177】
（ユーザインターフェースの例）
図２６は、運用時に設定装置１００の表示部１０１に表示されるユーザインターフェース３００の例を示す図である。設定装置１００は、ユーザインターフェース３００を生成し、表示部１０１に表示させる。ユーザインターフェース３００には、カメラ５で現在撮像されている画像（ライブビュー画像）が表示される第１画像表示領域３０１と、読取画像が表示される第２画像表示領域３０２と、画像修復部２０ｊにより修復された修復画像が表示される第３表示領域３０３とが設けられている。これにより、読取画像と修復画像とを比較可能な形態でユーザに提示できる。また、デコード処理が実行される画像、またはデコード処理が実行された後の画像がどのような画像であるかをユーザが把握できる。
図２６は、運用時に設定装置１００の表示部１０１に表示されるユーザインターフェース３００の例を示す図である。設定装置１００は、ユーザインターフェース３００を生成し、表示部１０１に表示させる。ユーザインターフェース３００には、カメラ５で現在撮像されている画像（ライブビュー画像）が表示される第１画像表示領域３０１と、読取画像が表示される第２画像表示領域３０２と、画像修復部２０ｊにより修復された修復画像が表示される第３表示領域３０３とが設けられている。これにより、読取画像と修復画像とを比較可能な形態でユーザに提示できる。また、デコード処理が実行される画像、またはデコード処理が実行された後の画像がどのような画像であるかをユーザが把握できる。
【0178】
また、ユーザインターフェース３００は、第１デコード部２０２によるデコードと、第２デコード部２０３によるデコードとのうち、どちらのデコードが成功したかを通知可能に構成されている。具体的には、第２画像表示領域３０２に表示されている読取画像を用いた第１デコード部２０２によるデコードの成否情報を表示する第１成否情報表示領域３０４と、第３画像表示領域３０３に表示されている修復画像を用いた第２デコード部２０３によるデコードの成否情報を表示する第２成否情報表示領域３０５とがユーザインターフェース３００に設けられている。成否情報の表示形態としては、例えば「成功」及び「失敗」といった文字、これに対応する意味を持った文字、記号等を挙げることができ、どのような形態であってもよい。
【0179】
ユーザインターフェース３００には、運用時に、マッチングレベル算出部２０ｎが算出したマッチングレベルを表示するマッチングレベル表示領域３０６が設けられている。マッチングレベル算出部２０ｎがマッチングレベルを算出する都度、マッチングレベル表示領域３０６に表示されるマッチングレベルが更新される。
【0180】
（ＡＩチップ付き撮像素子の例）
図２７は、ＡＩチップ付き撮像素子５ａを用いた例を示す図であり、各図に示すようにカメラ５の撮像素子５ａを構成することができる。ＦＩＧ．２７Ａは、撮像素子５ａに画像修復を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２７Ｂは、撮像素子５ａに、修復用コード領域の抽出と、画像修復とを実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２７Ｃは、撮像素子５ａに、修復用コード領域の抽出を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像をプロセッサ２０に出力する。
図２７は、ＡＩチップ付き撮像素子５ａを用いた例を示す図であり、各図に示すようにカメラ５の撮像素子５ａを構成することができる。ＦＩＧ．２７Ａは、撮像素子５ａに画像修復を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２７Ｂは、撮像素子５ａに、修復用コード領域の抽出と、画像修復とを実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２７Ｃは、撮像素子５ａに、修復用コード領域の抽出を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像をプロセッサ２０に出力する。
【0181】
また、ＦＩＧ．２７Ａに示す例において、撮像素子５ａで取得した読取画像をプロセッサ２０に出力するとともに、ＡＩチップによって画像修復を実行し、修復画像をプロセッサ２０に出力してもよい。ＦＩＧ．２７Ｂ，ＦＩＧ．２７Ｃに示す例についても同様である。
【0182】
（実施形態の作用効果）
以上説明したように、本実施形態によれば、カメラ５により生成された読取画像をニューラルネットワークに入力することによって修復された修復画像をデコード部２０ｆがデコードするので、劣化した読取画像であっても読取成功率を高めることができる。一方、マッチングレベル算出部２０ｎは、修復前の読取画像を用いてマッチングレベルを算出するので、実際の画像の状態を反映したマッチングレベルが得られる。そして、得られたマッチングレベルを用いてチューニング実行部２０ｄが撮像条件を設定するので、実際の現場の状況に適した条件設定が行える。
以上説明したように、本実施形態によれば、カメラ５により生成された読取画像をニューラルネットワークに入力することによって修復された修復画像をデコード部２０ｆがデコードするので、劣化した読取画像であっても読取成功率を高めることができる。一方、マッチングレベル算出部２０ｎは、修復前の読取画像を用いてマッチングレベルを算出するので、実際の画像の状態を反映したマッチングレベルが得られる。そして、得られたマッチングレベルを用いてチューニング実行部２０ｄが撮像条件を設定するので、実際の現場の状況に適した条件設定が行える。
【0183】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0184】
以上説明したように、本発明に係る光学情報読取装置は、例えばワークに付与されたコードを読み取る場合に利用することができる。
【符号の説明】
【0185】
１ 光学情報読取装置
４ 照明部
５ カメラ
２０ｄ チューニング実行部
２０ｆ デコード部
２０ｎ マッチングレベル算出部
３０ｄ ニューラルネットワーク記憶部
２０２ 第１デコード部
２０３ 第２デコード部
４ 照明部
５ カメラ
２０ｄ チューニング実行部
２０ｆ デコード部
２０ｎ マッチングレベル算出部
３０ｄ ニューラルネットワーク記憶部
２０２ 第１デコード部
２０３ 第２デコード部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
