特開 2022-134482 光学的情報読取装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022134482

(43)【公開日】2022-09-15

(54)【発明の名称】光学的情報読取装置

(51)【国際特許分類】

   G06K 7/14 20060101AFI20220908BHJP

   G06K 19/06 20060101ALI20220908BHJP

   G06K 7/10 20060101ALI20220908BHJP

   G06T 3/40 20060101ALI20220908BHJP

【ＦＩ】

G06K7/14 069

G06K19/06 121

G06K19/06 037

G06K7/14 017

G06K7/14 082

G06K7/10 456

G06T3/40 725

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021033621

(22)【出願日】2021-03-03

(71)【出願人】

【識別番号】000129253

【氏名又は名称】株式会社キーエンス

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】江渕 文人

(72)【発明者】

【氏名】山田 郁生

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CD05

5B057CE02

5B057CE05

5B057CE06

5B057CH09

5B057DA16

5B057DB02

5B057DB09

5B057DC40

(57)【要約】

【課題】デコード処理ができなくなるほどＰＰＣが小さい場合に超解像処理をニューラルネットワークによって自動的に適用できるようにしてデコード処理が可能なＰＣＣの下限を引き下げる。
【解決手段】光学的情報読取装置は、カメラにより生成された読取画像に含まれるコードを構成する各モジュールのピクセル数を示すＰＰＣを拡大した拡大画像を出力するニューラルネットワークの構造及びパラメータを記憶する記憶部と、記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークにカメラにより生成された読取画像を入力し、入力された読取画像のＰＰＣ値を拡大した拡大画像を生成し、当該拡大画像にデコード処理を実行するプロセッサとを備える。
【選択図】図１９

【特許請求の範囲】

【請求項1】

ワークに付されたコードを読み取る光学的情報読取装置において、
コードを撮影し、読取画像を生成するカメラと、
前記カメラにより生成された読取画像に含まれるコードを構成する各モジュールのピクセル数を示すＰＰＣを拡大した拡大画像を出力するニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、入力された読取画像のＰＰＣ値を拡大した拡大画像を生成し、当該拡大画像にデコード処理を実行するプロセッサとを備える光学的情報読取装置。

【請求項2】

請求項１に記載の光学的情報読取装置において、
前記カメラにより生成された読取画像に含まれるコードのＰＰＣ値を取得するＰＰＣ値取得部を備え、
前記プロセッサは、前記ＰＰＣ値取得部で取得されたＰＰＣ値が所定値以下の場合に前記拡大画像を生成する一方、前記ＰＰＣ値取得部で取得されたＰＰＣ値が前記所定値を超える場合に前記拡大画像を非生成とする光学的情報読取装置。

【請求項3】

請求項２に記載の光学的情報読取装置において、
前記ＰＰＣ値取得部は、前記光学的情報読取装置の設定時に前記カメラにより生成された読取画像を取得し、取得した読取画像に含まれるコードのＰＰＣ値を取得する光学的情報読取装置。

【請求項4】

請求項３に記載の光学的情報読取装置において、
前記プロセッサは、前記光学的情報読取装置の設定時に前記カメラにより生成された読取画像に含まれるコードのデコード処理に失敗した場合に前記拡大画像を生成し、当該拡大画像にデコード処理を実行する光学的情報読取装置。

【請求項5】

請求項１から４のいずれか１つに記載の光学的情報読取装置において、
前記プロセッサは、カメラにより生成された読取画像をデコードする第１デコード処理と前記拡大画像をデコードする第２デコード処理とを実行するデコード処理部を有している光学的情報読取装置。

【請求項6】

請求項５に記載の光学的情報読取装置において、
前記プロセッサは、前記第１デコード処理と前記第２デコード処理とを別スレッドで並列的に実行するコアを有している光学的情報読取装置。

【請求項7】

請求項５に記載の光学的情報読取装置において、
前記デコード処理部は、前記第１デコード処理と前記第２デコード処理とを異なるコアで実行可能なマルチコアで構成されている光学的情報読取装置。

【請求項8】

請求項１から７のいずれか１つに記載の光学的情報読取装置において、
前記カメラにより生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する領域抽出部を備え、
前記プロセッサは、前記領域抽出部により抽出されたコード候補領域に対応する部分画像を前記ニューラルネットワークに入力して前記拡大画像を生成する光学的情報読取装置。

【請求項9】

請求項８に記載の光学的情報読取装置において、
前記領域抽出部は、前記カメラにより生成された読取画像に対して、コードを特定するための情報に基づいてコードを探索し、探索されたコードを含む領域を前記コード候補領域として抽出する光学的情報読取装置。

【請求項10】

請求項９に記載の光学的情報読取装置において、
前記カメラの撮影視野範囲内へ向けて環境光とは異なる色の可視光を照射して目印を形成するための光照射部を備え、
前記領域抽出部は、前記カメラにより生成された読取画像の中から、前記光照射部により形成された目印に対応する部分を特定し、当該特定された部分を前記コード候補領域として抽出する光学的情報読取装置。

【請求項11】

請求項１から１０のいずれか１つに記載の光学的情報読取装置において、
前記カメラにより生成された読取画像を前記ニューラルネットワークに入力する前に、当該読取画像に対してノイズ除去フィルタを実行するフィルタ処理部を更に備える光学的情報読取装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報を光学的に読み取る光学的情報読取装置に関する。

【背景技術】

【0002】

近年、たとえば物品の流通経路を製造段階から消費段階あるいは廃棄段階まで追跡可能にする、いわゆるトレーサビリティが重要視されてきており、このトレーサビリティを目的としたコードリーダが普及してきている。また、トレーサビリティ以外にもコードリーダは様々な分野で利用されている。

【0003】

一般的に、コードリーダは、ワークに付されたバーコードや二次元コード等のコードをカメラによって撮影し、得られた画像に含まれるコードを画像処理によって切り出して二値化し、デコード処理して情報を読み取ることができるように構成されており、情報を光学的に読み取る装置であることから光学的情報読取装置とも呼ばれている。

【0004】

この種の光学的情報読取装置としては、例えば特許文献１に開示されているように、ロボットの視覚センサにより取得したコードの画像と、理想的なコードの画像との関係を示すモデル構造を学習する機械学習装置を備えたものが知られている。特許文献１には、運用時に視覚センサにより取得したコードの画像に、機械学習装置による学習結果を適用することで、読み取りに適した画像に修復することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第６６８３６６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、コードをカメラで撮影して得られた読取画像では、コードを構成する各モジュールのピクセル数（ＰＰＣ）により、デコード処理が可能な限界が存在する。安定的にデコード処理を成功させるためには、ＰＰＣが一定以上であることが求められ、ＰＰＣがある数値を下回ると全くデコード処理ができなくなる場合がある。

【0007】

ここで、ＰＰＣ、即ち読取画像の解像度を上げるための技術としては様々な超解像処理が知られている。光学的情報読取装置への適用例としては、例えば複数のフレーム画像を使った超解像技術が存在しているが、複数のフレーム画像を使った超解像処理は複数フレームを撮影する必要があり処理に時間がかかることや、フレーム画像間の位置合わせが難しいという問題があった。

【0008】

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、デコード処理ができなくなるほどＰＰＣが小さい場合に超解像処理をニューラルネットワークによって自動的に適用できるようにしてデコード処理が可能なＰＰＣの下限を引き下げることにある。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本開示の第１の側面は、ワークに付されたコードを読み取る光学的情報読取装置を前提とすることができる。光学的情報読取装置は、コードを撮影し、読取画像を生成するカメラと、前記カメラにより生成された読取画像に含まれるコードを構成する各モジュールのピクセル数を示すＰＰＣを拡大した拡大画像を出力するニューラルネットワークの構造及びパラメータを記憶する記憶部と、プロセッサとを備えている。プロセッサは、前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、入力された読取画像のＰＰＣ値を拡大した拡大画像を生成し、当該拡大画像にデコード処理を実行可能に構成されている。

【0010】

すなわち、例えばワークからカメラが離れれば離れるほどコードが小さく撮影されるのでＰＰＣが読取限界以下となり、また、例えば手持ち式の光学的情報読取装置の光学系では距離が離れていなくてもモジュールが小さくてＰＰＣが読取限界以下となることがある。このような読取画像をニューラルネットワークに入力すると、入力された読取画像のＰＰＣ値を拡大した拡大画像をプロセッサが生成する。これにより、読取限界よりも大きなＰＰＣ値を持った拡大画像にデコード処理を実行できる。

【0011】

本開示の第２の側面では、光学的情報読取装置が、前記カメラにより生成された読取画像に含まれるコードのＰＰＣ値を取得するＰＰＣ値取得部を備えている。前記プロセッサは、前記ＰＰＣ値取得部で取得されたＰＰＣ値が所定値以下の場合に前記拡大画像を生成する一方、前記ＰＰＣ値取得部で取得されたＰＰＣ値が前記所定値を超える場合に前記拡大画像を非生成とすることができる。

【0012】

この構成によれば、ＰＰＣ値が所定値以下、例えば読取限界以下である場合には拡大画像を生成することで、デコード処理が可能になる。一方、ＰＰＣ値が読取限界を超えている場合には拡大画像を生成することなく、デコード処理が可能であるので、この場合にはニューラルネットワークによる処理が行われずにデコード結果を早期に出力できる。

【0013】

本開示の第３の側面では、前記ＰＰＣ値取得部が、前記光学的情報読取装置の設定時に前記カメラにより生成された読取画像を取得し、取得した読取画像に含まれるコードのＰＰＣ値を取得することができる。

【0014】

この構成によれば、光学的情報読取装置の撮像条件等の設定を行う設定時にカメラにより生成された読取画像を取得し、その取得した読取画像に含まれるコードのＰＰＣ値を取得することができるので、拡大画像の生成が必要か否かを設定時に判断し、必要に応じて運用時に拡大画像の自動生成が可能になる。

【0015】

本開示の第４の側面では、前記プロセッサが、前記光学的情報読取装置の設定時に前記カメラにより生成された読取画像に含まれるコードのデコード処理に失敗した場合に前記拡大画像を生成し、当該拡大画像にデコード処理を実行することができる。

【0016】

すなわち、光学的情報読取装置の撮像条件等の設定を行うためには、デコード処理を成功させる必要があり、設定時に使用する読取画像のコードのＰＰＣが読取限界以下では、設定が行えない可能性がある。この場合にプロセッサが拡大画像を生成することで、デコード処理が可能になり、その結果、各種設定も行えるようになる。

【0017】

本開示の第５の側面では、前記プロセッサが、カメラにより生成された読取画像をデコードする第１デコード処理と前記拡大画像をデコードする第２デコード処理とを実行するデコード処理部を有している構成とすることができる。

【0018】

この構成によれば、例えば第１デコード処理で読取画像のデコード処理が失敗した場合には、第２デコード処理で拡大画像のデコード処理を実行することができる。第１デコード処理と第２デコード処理とは並列的に実行してもよいし、一方を先に実行した後、他方を実行してもよい。

【0019】

本開示の第６の側面では、前記プロセッサが、前記第１デコード処理と前記第２デコード処理とを別スレッドで並列的に実行するコアを有していてもよい。

【0020】

本開示の第７の側面では、前記デコード処理部が、前記第１デコード処理と前記第２デコード処理とを異なるコアで実行可能なマルチコアで構成されていてもよい。この構成によれば、第１デコード処理を実行するコアと、第２デコード処理を実行するコアとが別のコアになるので、第１デコード処理と第２デコード処理と並列的に実行でき、処理時間が短縮される。

【0021】

本開示の第８の側面では、光学的情報読取装置が、前記カメラにより生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する領域抽出部を備えている。前記プロセッサは、前記領域抽出部により抽出されたコード候補領域に対応する部分画像を前記ニューラルネットワークに入力して前記拡大画像を生成することができる。

【0022】

この構成によれば、光学的情報読取装置の運用時に、カメラにより生成された読取画像の中からコード候補領域が抽出されると、そのコード候補領域に対応する部分画像がニューラルネットワークに入力されて拡大画像が生成される。この場合、読取画像の全体にコードが存在しているケースは殆ど無いので、コード候補領域に対応する部分画像のサイズは、読取画像のサイズよりも小さくなる。これにより、ニューラルネットワークに入力する画像のサイズが小さくなるので、プロセッサの演算負荷が軽くなり、ひいては処理速度の高速化が実現される。

【0023】

本開示の第９の側面では、前記領域抽出部が、前記カメラにより生成された読取画像に対して、コードを特定するための情報に基づいてコードを探索し、探索されたコードを含む領域を前記コード候補領域として抽出することができる。

【0024】

この構成によれば、ユーザがコード候補領域を抽出するための操作を行わなくても、光学的情報読取装置が自動的にコード候補領域を抽出するので、ユーザの負担を軽減できる。

【0025】

本開示の第１０の側面では、光学的情報読取装置が、前記カメラの撮影視野範囲内へ向けて環境光とは異なる色の可視光を照射して目印を形成するための光照射部を備えている。前記領域抽出部は、前記カメラにより生成された読取画像の中から、前記光照射部により形成された目印に対応する部分を特定し、当該特定された部分を前記コード候補領域として抽出することができる。

【0026】

この構成によれば、カメラの撮影視野範囲内に可視光によって目印が形成される。例えば、運用時にユーザが把持するための把持部を有する手持ち式のハウジングを備えている光学的情報読取装置では、目印をコードに合わせる操作をユーザが行うことで、コードが確実に含まれる範囲をカメラで撮影できる。したがって、カメラにより生成された読取画像のうち、目印に対応する部分にはコードが存在する可能性が高い。この目印に対応する部分をコード候補領域として抽出することで、抽出された領域にコードが含まれる可能性がより一層高まり、ひいてはデコード処理の成功率を高めることができる。

【0027】

本開示の第１１の側面では、学的情報読取装置が、前記カメラにより生成された読取画像を前記ニューラルネットワークに入力する前に、当該読取画像に対してノイズ除去フィルタを実行するフィルタ処理部を更に備えていてもよい。

【0028】

この構成によれば、ニューラルネットワークによる拡大画像の生成の際に悪影響となる要因を排除することができる。

【発明の効果】

【0029】

以上説明したように、読取画像に含まれるコードを構成する各モジュールのピクセル数を示すＰＰＣを拡大した拡大画像を出力するニューラルネットワークを利用することで、読取が可能なＰＣＣの下限を引き下げることができるので、例えば遠距離で撮影されたコードやモジュールサイズの小さなコードのデコード処理が可能になる。

【図面の簡単な説明】

【0030】

【図1】定置式の光学的情報読取装置の運用時を説明する図である。

【図2】定置式の光学的情報読取装置の斜視図である。

【図3】光学的情報読取装置のブロック図である。

【図4】手持ち式の光学的情報読取装置の斜視図である。

【図5】エイマーの光軸とカメラの光軸との位置関係を示す模式図である。

【図6】光学的情報読取装置及びワークの距離と、エイマー光及び視野との位置関係を示す図である。

【図7】プロセッサによって構成される各部を説明する図である。

【図8】エイマー光の位置情報を用いてコード候補領域を抽出する場合を説明する図である。

【図9】ニューラルネットワークの概念図である。

【図10】ニューラルネットワークの学習時の基本手順の一例を示すフローチャートである。

【図11】不良画像と理想画像のペアを示す図である。

【図12】画像変換に用いられる畳み込みニューラルネットワークの概念図である。

【図13】光学的情報読取装置の設定時に行われるチューニング工程の手順の一例を示すフローチャートである。

【図14】縮小率及び拡大率決定前のデコード処理手順の一例を示すフローチャートである。

【図15】縮小率及び拡大率決定後のデコード処理手順の一例を示すフローチャートである。

【図16】カメラで生成された読取画像の例と、画像処理フィルタ実行後の画像の例を示す図である。

【図17】縮小処理後の画像の例と、コード領域抽出後の画像の例を示す図である。

【図18】ニューラルネットワークによって読取画像に対して推論処理を実行した例を示す図である。

【図19】超解像処理を含んだ運用時の第１の例を示すフローチャートである。

【図20】読取画像の中からコード候補領域を抽出し、フィルタ処理を実行した画像例を示す図である。

【図21】画像フィルタ処理後の部分画像から拡大画像を生成した例を示す図である。

【図22】超解像処理を含んだ運用時の第２の例を示すフローチャートである。

【図23】超解像処理を含んだ運用時の第３の例を示すフローチャートである。

【図24】超解像処理を含んだ運用時の第４の例を示すフローチャートである。

【図25】超解像処理の実行と非実行との区分を示す図５相当図である。

【図26】第１デコード処理で読み取りが成功した場合のタスクシーケンス図である。

【図27】第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。

【図28】第１デコード処理と第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。

【図29】第２デコード処理で２回読み取りが成功した場合のタスクシーケンス図である。

【発明を実施するための形態】

【0031】

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

【0032】

（定置式の光学的情報読取装置）
図１は、本発明の実施形態に係る定置式の光学的情報読取装置１の運用時を模式的に示す図である。この例では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における矢印Ｙの方向へ搬送されており、そのワークＷから上方へ離れた所に、実施形態に係る光学的情報読取装置１が設置されている。光学的情報読取装置１は、ワークＷに付されているコードを撮影し、撮影された画像に含まれるコードをデコード処理して情報を読み取ることができるように構成されたコードリーダである。図１に示す例では、光学的情報読取装置１が定置式の場合である。この定置式の光学的情報読取装置１の運用時には、光学的情報読取装置１が動かないようにブラケット等（図示せず）に固定して使用する。尚、定置式の光学的情報読取装置１をロボット（図示せず）が把持した状態で使用してもよい。また、静止状態にあるワークＷのコードを光学的情報読取装置１によって読み取るようにしてもよい。定置式の光学的情報読取装置１の運用時とは、搬送用ベルトコンベアＢによって搬送されるワークＷのコードを順に読み取る動作を行っている時である。

【0033】

また、各ワークＷの外面にはコードが付されている。コードには、バーコード及び二次元コードの両方が含まれる。二次元コードとしては、たとえば、ＱＲコード（登録商標）、マイクロＱＲコード、データマトリクス（Ｄａｔａ ｍａｔｒｉｘ；Ｄａｔａ ｃｏｄｅ）、ベリコード（Ｖｅｒｉ ｃｏｄｅ）、アズテックコード（Ａｚｔｅｃ ｃｏｄｅ）、ＰＤＦ４１７、マキシコード（Ｍａｘｉ ｃｏｄｅ）などがある。二次元コードにはスタック型とマトリクス型があるが、本発明はいずれの二次元コードに対しても適用できる。コードは、ワークＷに直接印刷あるいは刻印することによって付してもよいし、ラベルに印刷した後にワークＷに貼付することによって付してもよく、その手段、方法は問わない。

【0034】

光学的情報読取装置１は、コンピュータ１００及びプログラマブル・ロジック・コントローラ（ＰＬＣ）１０１にそれぞれ信号線１００ａ、１０１ａによって有線接続されているが、これに限らず、光学的情報読取装置１、コンピュータ１００及びＰＬＣ１０１に通信モジュールを内蔵し、光学的情報読取装置１と、コンピュータ１００及びＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送用ベルトコンベアＢ及び光学的情報読取装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。コンピュータ１００は、汎用あるいは専用の電子計算機や携帯型端末等を利用することができる。

【0035】

また、光学的情報読取装置１は、その運用時において、ＰＬＣ１０１から信号線１０１ａを介して、コード読取の開始タイミングを規定する読取開始トリガ信号を受信する。そして、光学的情報読取装置１は、この読取開始トリガ信号に基づいてコードの撮像やデコードを行う。その後、デコードした結果は、信号線１０１ａを介してＰＬＣ１０１へ送信される。このように、光学的情報読取装置１の運用時には、光学的情報読取装置１とＰＬＣ１０１等の外部制御装置との間で、信号線１０１ａを介して読取開始トリガ信号の入力とデコード結果の出力が繰り返し行われる。なお、読取開始トリガ信号の入力やデコード結果の出力は、上述したように、光学的情報読取装置１とＰＬＣ１０１との間の信号線１０１ａを介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークＷの到着を検知するためのセンサと光学的情報読取装置１とを直接的に接続し、そのセンサから光学的情報読取装置１へ読取開始トリガ信号を入力するようにしてもよい。

【0036】

図２に示すように、光学的情報読取装置１は、箱状のハウジング２と、偏光フィルタアタッチメント３と、照明部４と、カメラ５と、表示部６と、電源コネクタ７と、信号線コネクタ８とが設けられている。さらに、ハウジング２には、インジケータ９と、エイマー光照射部（光照射部）１０と、操作ボタン１１、１２とが設けられており、インジケータ９、エイマー光照射部１０及び操作ボタン１１、１２も光学的情報読取装置１の構成要素である。

【0037】

ハウジング２は、所定方向に長い形状となっているが、ハウジング２の形状は図示した形状に限られるものではない。ハウジング２の前側の外面には、偏光フィルタアタッチメント３が脱着可能に取り付けられている。このハウジング２の内部に、照明部４、カメラ５、エイマー光照射部１０、プロセッサ２０、記憶装置３０、ＲＯＭ４０、ＲＡＭ４１等が収容されている。プロセッサ２０、記憶装置３０、ＲＯＭ４０及びＲＡＭ４１も光学的情報読取装置１の構成要素である。

【0038】

ハウジング２の前側には、照明部４が設けられている。照明部４は、光学的情報読取装置１の前方へ向けて光を照射することによってワークＷの少なくともコードを照明するための部分である。図３にも示すように、照明部４は、複数の発光ダイオード（(ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）からなる第１照明部４ａと、複数の発光ダイオードからなる第２照明部４ｂと、第１照明部４ａ及び第２照明部４ｂを駆動するＬＥＤドライバ等からなる照明駆動部４ｃとを備えている。第１照明部４ａ及び第２照明部４ｂは、照明駆動部４ｃにより個別に駆動され、別々に点灯及び消灯させることができるようになっている。照明駆動部４ｃはプロセッサ２０に接続されており、プロセッサ２０によって照明駆動部４ｃが制御されるようになっている。尚、第１照明部４ａ及び第２照明部４ｂのうち、一方を省略してもよい。

【0039】

図２に示すように、ハウジング２の前側の中央部には、カメラ５が設けられている。カメラ５の光軸方向は、照明部４による光の照射方向と略一致している。カメラ５は、コードを撮影し、読取画像を生成する部分である。図３に示すように、カメラ５は、ワークＷに付されていて上記照明部４によって照明されているコードからの反射光を受光する撮像素子５ａと、レンズ等を有する光学系５ｂと、ＡＦモジュール（オートフォーカスモジュール）５ｃとを備えている。光学系５ｂには、ワークＷのコードが付された部分から反射した光が入射するようになっており、入射した光は撮像素子５ａへ向けて出射されて撮像素子５ａの撮像面上で結像する。

【0040】

撮像素子５ａは、光学系５ｂを通して得られたコードの画像を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の受光素子からなるイメージセンサである。撮像素子５ａはプロセッサ２０に接続されていて、撮像素子５ａによって変換された電気信号は、読取画像のデータとしてプロセッサ２０に入力される。また、ＡＦモジュール５ｃは、光学系５ｂを構成するレンズのうち、合焦用レンズの位置や屈折率を変更することによってピント合わせを行う機構である。ＡＦモジュール５ｃもプロセッサ２０に接続され、プロセッサ２０により制御される。

【0041】

図２に示すように、ハウジング２の側面には表示部６が設けられている。表示部６は、たとえば有機ＥＬディスプレイや液晶ディスプレイ等からなるものである。表示部６は、プロセッサ２０に接続され、たとえば撮像部５で撮像されたコード、コードのデコード結果である文字列、読み取り成功率、マッチングレベル等を表示させることができる。読み取り成功率とは、複数回読み取り処理を実行したときの平均読み取り成功率である。マッチングレベルとは、デコードが成功したコードの読み取りのしやすさを示す読取余裕度である。これはデコード時に発生した誤り訂正の数等から求めることができ、たとえば数値で表すことができる。誤り訂正が少なければ少ないほどマッチングレベル（読取余裕度）が高くなり、一方、誤り訂正が多ければ多いほどマッチングレベル（読取余裕度）が低くなる。

【0042】

電源コネクタ７には、光学的情報読取装置１に外部から電源を供給するための電源ケーブル（図示せず）が接続される。また、信号線コネクタ８には、コンピュータ１００及びＰＬＣ１０１と通信を行うための信号線１００ａ、１０１ａ等が接続される。信号線コネクタ８は、例えばＥｔｈｅｒｎｅｔコネクタ、ＲＳ２３２Ｃ等のシリアル通信用コネクタ、ＵＳＢコネクタ等で構成することができる。

【0043】

ハウジング２には、インジケータ９が設けられている。インジケータ９は、プロセッサ２０に接続されていて、たとえば発光ダイオード等の発光体で構成することができる。光学的情報読取装置１の作動状態をインジケータ９の点灯状態によって外部に報知することができる。

【0044】

ハウジング２の前側には、カメラ５を挟むように一対のエイマー光照射部１０が設けられている。図３に示すように、エイマー光照射部１０は、発光ダイオード等からなるエイマー１０ａと、エイマー１０ａを駆動するエイマー駆動部１０ｂと、エイマー１０ａから照射された光が入射するエイマーレンズ１０ｃとを備えている。エイマー１０ａは、光学的情報読取装置１の前方へ向けて光（エイマー光）を照射することによってカメラ５の撮影範囲や視野中心、照明部４の光軸の目安等を示すためのものであり、光を照射する素子を備えている。具体的には、エイマー１０ａは、カメラ５の撮影視野範囲内へ向けて環境光とは異なる色（例えば赤色や緑色等）の可視光を照射し、その可視光が照射された面に肉眼で視認可能な目印を形成する。目印は各種図形や記号、文字等であってもよい。ユーザは、エイマー１０ａから照射される光を参照して光学的情報読取装置１を設置することもできる。

【0045】

図２に示すように、ハウジング２の側面には、光学的情報読取装置１の設定時等に使用する操作ボタン１１、１２が設けられている。操作ボタン１１、１２は、例えばセレクトボタンやエンターボタン等を含んでいる。操作ボタン１１、１２以外にも、例えばタッチパネル式の操作手段が設けられていてもよい。操作ボタン１１、１２はプロセッサ２０に接続されていて、プロセッサ２０は操作ボタン１１、１２の操作状態を検出可能になっている。操作ボタン１１、１２の操作により、表示部６に表示された複数の選択肢の中から１つを選択することや、選択した結果を確定することができる。

【0046】

（手持ち式の光学的情報読取装置）
上述した例では、光学的情報読取装置１が定置式である場合を示したが、本発明は定置式の光学的情報読取装置１以外にも適用可能である。図４は、手持ち式の光学的情報読取装置１Ａを示すものであり、この図に示すような手持ち式の光学的情報読取装置１Ａにも本発明を適用することができる。

【0047】

手持ち式の光学的情報読取装置１Ａのハウジング２Ａは、上下方向に長い形状とされている。尚、光学的情報読取装置１Ａの使用時の向きは図示した向きに限定されるものではなく、様々な向きで使用可能であるが、説明の便宜上、光学的情報読取装置１Ａの上下方向を特定している。

【0048】

ハウジング２Ａの上側部分には、表示部６Ａが設けられている。表示部６Ａは、定置式の光学的情報読取装置１の表示部６と同様に構成されている。ハウジング２Ａの下側部分は、運用時にユーザが把持するための把持部２Ｂである。把持部２Ｂは、一般的な成人が片手で握るようにして持つことが可能な部分であり、形状や大きさは自由に設定できる。この把持部２Ｂを持つことで、光学的情報読取装置１Ａを携帯して移動することができる。つまり、この光学的情報読取装置１Ａは、携帯型端末装置であり、例えばハンディターミナルと呼ぶこともできるものである。

【0049】

定置式の光学的情報読取装置１と同様に、手持ち式のハウジング２Ａにも、照明部、カメラ、エイマー光照射部、プロセッサ、記憶部、ＲＯＭ、ＲＡＭ等（図示せず）が収容されている。照明部の光軸、カメラの光軸、エイマー光照射部の光軸は、ハウジング２Ａの上端近傍から斜め上方に向いている。また、手持ち式のハウジング２Ａには、ブザー（図示せず）も設けられている。

【0050】

把持部２Ｂやその近傍には、複数の操作ボタン１１Ａ及びトリガーキー１１Ｂが設けられている。操作ボタン１１Ａは、定置式の光学的情報読取装置１の操作ボタン１１等と同様である。ユーザが光学読取装置１Ａの先端（上端）をワークＷに向けてトリガーキー１１Ｂを押下すれば、光学読取装置１Ａの先端からエイマー光が照射され、エイマー光が照射された面に肉眼で視認可能な目印を形成する。ユーザは、ワークＷの表面で反射されるエイマー光（目印）を目視しながら光学読取装置１Ａの向きを調整し、エイマー光を読取対象のコードに合わせれば、コードの読み取り及びデコード処理が自動的に行われる。読み取りが完了すると、ブザーから完了報知音が発せられる。

【0051】

手持ち式の光学的情報読取装置１Ａの使用例として、物流倉庫内におけるピッキング作業に手持ち式の光学的情報読取装置１Ａを用いる例がある。例えば、受注した商品を物流倉庫から発送する場合、商品倉庫内の商品棚から必要な商品がピッキングされる。このピッキング作業は、コードが記載された受注伝票を持ったユーザが、商品棚まで移動した後、受注伝票のコードと、商品又は商品棚に付されたコードとを照合しながら行われる。この場合、受注伝票のコードと、商品又は商品棚に付されたコードとを交互に手持ち式の光学的情報読取装置１Ａで読み取る。

【0052】

図５は、手持ち式の光学的情報読取装置１Ａのエイマー１０の光軸と、カメラ５の光軸との関係を簡易的に示す図である。この図に示すように、エイマー１０の光軸とカメラ５の光軸とは異なるため、目印となるエイマー光の中心はカメラ５の視野の中心から大きく外れることがある。例えば、図６に「近距離」、「中距離」及び「遠距離」として示すように、手持ち式の光学的情報読取装置１ＡとワークＷとの距離に応じて、エイマー光１０ｄの中心とカメラ５の視野５ｄの中心との相対的な位置が変化する。この図６では、エイマー光１０ｄが＋字形状である場合について示しているが、これに限られるものではない。

【0053】

図４に示すように、手持ち式の光学的情報読取装置１Ａでは、複数のカメラ５、５Ａを設けることができる。一方のカメラ５は近距離を撮影するための光学系を備えたカメラとし、他方のカメラ５Ａは一方のカメラ５よりも遠距離を撮影するための光学系を備えたカメラとすることができる。カメラ５、５Ａはオートフォーカス機能を有しているので、近距離から遠距離までピントの合った読取画像を生成することができる。

【0054】

複数のカメラ５、５Ａを設ける場合、近距離用のカメラ５をモノクロカメラとし、遠距離用のカメラ５Ａをカラーカメラとすることができる。

【0055】

（プロセッサの構成）
以下の説明は、定置式の光学的情報読取装置１と、手持ち式の光学的情報読取装置１Ａとで共通しており、特に断りがなければ、いずれの装置１、１Ａでも適用できる。図３に示すように、プロセッサ２０は、中央演算処理装置であるコアを複数有するマルチコアプロセッサで構成されている。具体的には、プロセッサ２０は、第１汎用コア２１、第２汎用コア２２、第３汎用コア２３、第４汎用コア２４及びニューラルネットワークによる推論処理専用の専用コア２５を備えている。第１～第４汎用コア２１～２４及び専用コア２５は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、同一の基板上に実装されている。尚、第１～第４汎用コア２１～２４及び専用コア２５は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されなくともよい形態となるが、その場合も本発明の範囲に含まれる。この実施形態では、汎用コアの数が４つの場合について説明するが、これに限らず、汎用コアは１つであってもよいし、２以上の任意の数（例えば６コア、８コア等）であってもよい。

【0056】

第１～第４汎用コア２１～２４及び専用コア２５には、同一のメモリとしてのＲＡＭ４１が接続されており、第１～第４汎用コア２１～２４及び専用コア２５のいずれもが同一のＲＡＭ４１にアクセス可能となっている。また、プロセッサ２０には、同一のメモリとしてのＲＯＭ４０が接続されており、第１～第４汎用コア２１～２４及び専用コア２５のいずれもが同一のＲＯＭ４０にもアクセス可能となっている。

【0057】

第１～第４汎用コア２１～２４は、いわゆる汎用プロセッサであり、例えばＡＦ制御、照明制御、カメラ制御、コード候補領域を抽出する抽出処理、読取画像に対するデコード処理、読取画像に対する各種フィルタ処理等を実行する部分である。第１～第４汎用コア２１～２４の具体的な処理例については後述する。

【0058】

一方、専用コア２５は、ニューラルネットワークを利用して、読取画像に対して超解像処理を実行したり、読取画像に対応する理想画像を生成する推論処理を実行するためのコアであり、ニューラルネットワークによる処理に必要な積和演算を超高速に実行することに特化したものである。専用コア２５は、例えばＩＣやＦＰＧＡ等を含む。尚、ニューラルネットワークによる学習結果を適用して推論処理することで、読取画像をデコードに適した画像に修復することができるので、推論処理によって理想画像を生成することを読取画像の修復とも呼ぶ。この場合、専用コア２５は、ニューラルネットワークを利用して読取画像の修復を試行する部分である。

【0059】

図７に示すように、プロセッサ２０により、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード処理部２０ｆ、抽出部２０ｇ、縮小部２０ｈ、拡大部２０ｉ、推論処理部２０ｊ及び超解像処理部２０ｋが構成される。ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード処理部２０ｆ、抽出部２０ｇ、縮小部２０ｈ及び拡大部２０ｉは、第１～第４汎用コア２１～２４の演算処理によって構成される部分である。一方、推論処理部２０ｊ及び超解像処理部２０ｋは、専用コア２５によって構成される部分である。

【0060】

（ＡＦ制御部の構成）
ＡＦ制御部２０ａは、図３に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。ＡＦ制御部２０ａは、第１～第４汎用コア２１～２４のうち、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。

【0061】

（撮像制御部の構成）
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１照明部４ａと第２照明部４ｂを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。撮像制御部２０ｂは、第１～第４汎用コア２１～２４のうち、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。尚、上記ＡＦ制御部２０ａと撮像制御部２０ｂとは、同じコアで構成してもよいし、別のコアで構成してもよい。

【0062】

（フィルタ処理部の構成）
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分であり、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。フィルタ処理部２０ｃを構成するコアはＤＳＰコアであってもよい。

【0063】

フィルタ処理部２０ｃは、カメラ５により生成された画像に含まれるノイズを除去するノイズ除去フィルタや、コントラストを補正するコントラスト補正フィルタ、平均化フィルタ等を実行する。フィルタ処理部２０ｃが実行する画像処理フィルタは、ノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタに限られるものではなく、他の画像処理フィルタを含んでいてもよい。

【0064】

フィルタ処理部２０ｃは、後述する超解像処理実行前及び推論処理実行前の読取画像に対して画像処理フィルタを実行するように構成されている。また、フィルタ処理部２０ｃは、後述する拡大、縮小前の読取画像に対して画像処理フィルタを実行するように構成されている。尚、フィルタ処理部２０ｃは、超解像処理実行後及び推論処理実行後の読取画像に対して画像処理フィルタを実行するように構成されていてもよいし、拡大、縮小後の読取画像に対して画像処理フィルタを実行するように構成されていてもよい。

【0065】

（チューニング実行部の構成）
図５に示すチューニング実行部２０ｄは、光学的情報読取装置１、１Ａの設定時に、カメラ５のゲイン、照明部４の光量及び露光時間等の撮像条件や、フィルタ処理部２０ｃにおける画像処理条件を変更してデコードに適した条件となるように各種条件（チューニングパラメータ）を設定する部分である。フィルタ処理部２０ｃにおける画像処理条件とは、画像処理フィルタの係数（フィルタの強弱）や、複数の画像処理フィルタがある場合に画像処理フィルタの切替、種類の異なる画像処理フィルタの組み合わせ等である。搬送時のワークＷに対する外光の影響や、コードが付されている面の色及び材質等によって適切な撮像条件及び画像処理条件は異なる。よって、チューニング実行部２０ｄは、より適切な撮像条件及び画像処理条件を探索して、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃによる処理を設定する。

【0066】

また、チューニング実行部２０ｄは、ＰＰＣ値取得部２０ｎを備えている。ＰＰＣ値取得部２０ｎは、光学的情報読取装置１の設定時にカメラ５により生成された読取画像に含まれるコードのＰＰＣ値を取得する部分であるとともに、カメラ５により生成された読取画像に含まれるコードのサイズを取得可能に構成されている。コードのサイズを取得する場合、始めに、ＰＰＣ値取得部２０ｎは、コードらしさを示す特徴量に基づいてコードを探索する。次いで、チューニング実行部２０ｄは、探索したコードのＰＰＣ、コード種、コードサイズ等を取得する。ＰＰＣ、コード種、コードサイズ等は、コードパラメータまたはコード条件に含まれるものであり、従って、ＰＰＣ値取得部２０ｎは、探索したコードのコードパラメータまたはコード条件を取得可能に構成されている。

【0067】

二次元コードは、複数の白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されている。例えば、ＱＲコードのモデル２ではモジュール数は２１×２１～１７７×１７７まである。定置式の光学的情報読取装置１の場合は事前に読み取り対象のコードを読み取ることで、モジュール数やＰＰＣを限定し、コードの大きさ（ピクセルサイズ）をモジュール数×ＰＰＣに限定して運用する。

【0068】

コードを構成するモジュールのうち、１つのモジュールに着目した時、そのモジュールがいくつのピクセル（画素）で構成されているかを示すコードパラメータがＰＰＣである。ＰＰＣ値取得部２０ｎは、１つのモジュールを特定した後、１つのモジュールを構成している画素数をカウントすることで、ＰＰＣを取得できる。

【0069】

コード種は、例えばＱＲコード、データマトリクスコード、ベリコードといったコードの種類のことである。各コードには特徴があるので、チューニング実行部２０ｄは、例えばファインダパターンの有無等によってコード種を判別することが可能である。

【0070】

また、コードサイズは、コードの縦または横方向に並ぶモジュールの数とＰＰＣとによって算出できる。ＰＰＣ値取得部２０ｎは、コードの縦または横方向に並ぶモジュールの数を算出するとともに、ＰＰＣを算出し、縦または横方向に並ぶモジュールの数とＰＰＣとを積算することによってコードサイズを取得できる。

【0071】

（デコード処理部の構成）
デコード処理部２０ｆは、白黒の二値化されたデータをデコードする部分である。デコードには、符号化されたデータの対照関係を示すテーブルを使用することができる。さらに、デコード処理部２０ｆは、デコードした結果が正しいか否かを所定のチェック方式に従ってチェックする。データに誤りが発見された場合にはエラー訂正機能を使用して正しいデータを演算する。エラー訂正機能はコードの種類によって異なる。

【0072】

この実施形態では、デコード処理部２０ｆは、後述する超解像処理後の拡大画像に含まれるコードをデコードする。また、デコード処理部２０ｆは、推論処理後の理想画像に含まれるコードをデコードする。尚、デコード処理部２０ｆは、超解像処理前の読取画像及び推論処理前の読取画像に含まれるコードをデコードすることもできる。デコード処理部２０ｆは、コードをデコードして得られたデコード結果を図３に示すＲＯＭ４０のデコード結果記憶部４０ｂに書き込むように構成されている。

【0073】

（抽出部の構成）
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。

【0074】

抽出部２０ｇは、エイマー光照射部１０から照射されたエイマー光の位置情報を、コードを特定するための情報として利用し、コード候補領域を抽出することもできる。この場合、例えば図８に示すように、抽出部２０ｇは、カメラ５の視野５ｄ内の読取画像の中から、エイマー光照射部１０から照射されたエイマー光１０ｄによって形成された目印に対応する部分を画像処理によって特定し、当該特定された部分をコード候補領域として抽出する。すなわち、上述したように、エイマー光１０ｄはカメラ５の撮影範囲や視野５ｄの中心及びその近傍を示すためのものであることから、エイマー光１０ｄによって形成される目印は、予めカメラ５の視野５ｄ内に位置付けておくことが可能である。特に、手持ち式の光学的情報読取装置１Ａの場合、ユーザはエイマー光１０ｄを読取対象のコードに合わせるので、エイマー光１０ｄによって形成される目印は、コードと重なっている確率が高い。つまり、エイマー光照射部１０により形成された目印に対応する部分をカメラ５の視野５ｄ内に位置付けておくことで、抽出部２０ｇがカメラ５の視野５ｄ内におけるエイマー光１０ｄに対応する領域を抽出すると、その領域はコードが存在する可能性が高い領域となる。この場合、エイマー光照射部１０により形成された目印に対応する部分をカメラ５の視野中心と完全に一致させておかなくてもよく、例えば図６に示すように視野５ｄの縦方向または横方向に多少ずれていてもよい。また、コードは所定の大きさを有しているので、抽出部２０ｇが抽出する領域は、カメラ５の視野５ｄの中心だけではなく、視野５ｄの中心を含む所定の大きさを持った領域である。

【0075】

図６に示すように、エイマー光１０ｄの視野５ｄ内における位置は、手持ち式の光学的情報読取装置１Ａとコードとの距離によって変化する。正確には、カメラ５の撮像素子５ａの受光面とコードとの距離によって変化する。従って、光学的情報読取装置１Ａとコードとの距離と、エイマー光１０ｄの視野５ｄ内における位置との関係を事前に計算して記憶装置３０等に記憶させておき、運用時には、周知の距離センサやカメラ５のフォーカス情報等を利用して光学的情報読取装置１Ａとコードとの距離を取得し、取得した距離に基づいてエイマー光１０ｄの視野５ｄ内における位置を算出することができる。

【0076】

抽出部２０ｇは、読取画像に含まれるコードのファインダパターンを探索し、その探索結果に基づいてコード候補領域を抽出することもできる。例えば、コードを含む読取画像の中から画像処理でファインダパターンを探索し、そのファインダパターンを含む所定範囲の領域をコード候補領域として決定し、その領域をコード候補領域に対応する部分画像とする。

【0077】

抽出部２０ｇは、読取画像の中心部分を特定し、当該中心部分をコード候補領域として抽出することもできる。例えば、カメラ５の視野中心を、コードを特定するための情報として予め取得しておくことで、このカメラ５の視野中心となる部分を読取画像上で特定することができる。特に、手持ち式の光学的情報読取装置１Ａの場合、読取画像上で特定した中心部分は、エイマー光照射部１０により形成された目印に対応しているので、その中心部分はコードが存在する可能性が高い領域となる。

【0078】

抽出部２０ｇは、読取画像の中から、ユーザによる所定の部分の指定を受け付けるように構成することができ、当該指定された部分をコード候補領域として抽出することができる。すなわち、ユーザは読取画像上の任意の位置（座標）で任意の大きさの領域指定を行うと、抽出部２０ｇは、その位置の座標及び大きさの情報に基づいて読取画像の中から所定の部分の指定を受け付ける。抽出部２０ｇは、受け付けた部分をコード候補領域として抽出する。例えば、定置式の光学的情報読取装置１の場合、図１に示すように搬送用ベルトコンベアＢによって搬送されているワークＷを撮影してコードのデコード処理を実行することになるが、搬送用ベルトコンベアＢの幅方向中央部にワークＷが存在しているとは限らず、端にワークＷが存在していることがあり、この場合には、読取画像の中から、搬送用ベルトコンベアＢの端に対応する部分を指定することで、コードが存在する可能性が高い領域として的確な抽出が可能になる。その他にも、大きなワークＷで、その中央部から離れた端近傍にコードが表示されている場合もあり、この場合には、読取画像の中から、ワークＷの端近傍に対応する部分を指定することで、コードが存在する可能性が高い領域として的確な抽出が可能になる。

【0079】

（記憶装置、ＲＯＭの構成）
図３に示す記憶装置３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができる。記憶装置３０には、各種プログラムや設定情報、画像データ等を記憶しておくことができる。

【0080】

ＲＯＭ４０には、画像データ記憶部４０ａと、デコード結果記憶部４０ｂと、パラメータセット記憶部４０ｃと、ニューラルネットワーク記憶部４０ｄとが含まれている。画像データ記憶部４０ａは、カメラ５で生成された読取画像や超解像処理によって生成された拡大画像、推論処理によって生成された理想画像等を記憶する部分である。デコード結果記憶部４０ｂは、デコード処理部２０ｆで実行されたコードのデコード結果を記憶する部分である。パラメータセット記憶部４０ｃは、チューニング実行部２０ｄが実行したチューニングの結果、設定された各種条件、ＰＰＣ値を含むコード情報やユーザが設定した各種条件を記憶する部分である。ニューラルネットワーク記憶部４０ｄは、後述する学習済みのニューラルネットワークの構造及びパラメータを記憶する部分である。

【0081】

上記記憶部４０ａ、４０ｂ、４０ｃ、４０ｄの少なくとも一部は、ＲＯＭ４０以外の部分に設けられていてもよく、例えば、記憶装置３０に設けられていてもよい。

【0082】

（ニューラルネットワークを利用した処理）
光学的情報読取装置１、１Ａは、カメラにより生成された読取画像を、ニューラルネットワークを利用して超解像処理することによって拡大画像を生成する拡大画像生成機能と、カメラ５で取得した読取画像を、ニューラルネットワークを利用して推論処理することによって理想画像を生成する理想画像生成機能を有している。本実施形態では、理想画像生成機能は必須ではない。

【0083】

本実施形態では、光学的情報読取装置１、１Ａで機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して推論処理を実行するように構成されている例について説明するが、これに限らず、光学的情報読取装置１、１Ａで機械学習を行ってニューラルネットワークの構造及びパラメータを変更してもよい。

【0084】

ニューラルネットワークは、図９に示すように、入力データ（本例では画像データ）が入力される入力層と、出力データを出力する出力層と、入力層及び出力層の間に設けられる中間層とを有している。中間層は例えば複数設けることができ、これにより、多層構造のニューラルネットワークとすることができる。

【0085】

（ニューラルネットワークの学習）
始めに、図１０に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学的情報読取装置１、１Ａ以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、光学的情報読取装置１、１Ａで学習を行ってもよい。ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。

【0086】

スタート後のステップＳＡ１では予め準備している不良画像のデータを読み込む。不良画像は、コードの読み取りに不適切な部分を有する画像であり、図１１の左側に示すような画像を例示することができる。不適切な部分とは、例えば汚れた部分や着色された部分等である。その後、ステップＳＡ２に進み、予め準備している理想画像のデータを読み込む。理想画像は、コードの読み取りに適切な画像であり、図１１の右側に示すような画像を例示することができる。不良画像と理想画像とはペアとしておき、このようなペアを複数準備しておく。光学的情報読取装置１、１Ａで学習を行う場合には、光学的情報読取装置１、１Ａに不良画像と理想画像を入力する。

【0087】

ステップＳＡ２では、損失関数を計算し、不良画像と理想画像との差分を求める。ステップＳＡ３では、ステップＳＡ２で求めた差分を反映させてニューラルネットワークのパラメータを更新する。

【0088】

ステップＳＡ４では機械学習の完了条件を満たすか否かを判定する。機械学習の完了条件とは、ステップＳＡ２で求めた差分に基づいて設定することができ、例えば差分が所定以下であれば、機械学習の完了条件を満たすと判定できる。ステップＳＡ４でＹＥＳと判定されて機械学習の完了条件を満たしている場合には機械学習を終了する。一方、ステップＳＡ４でＮＯと判定されて機械学習の完了条件を満たしていない場合にはステップＳＡ１に戻り、別の不良画像を読み込んだ後、ステップＳＡ２に進んで当該別の不良画像とペアになっている別の理想画像を読み込む。

【0089】

このようにして、複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とを機械学習させることにより、学習済みのニューラルネットワークを予め生成することができる。学習済みのニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが保持しておくことで、光学的情報読取装置１、１Ａ内で学習済みのニューラルネットワークを構築することができる。本例のように、光学的情報読取装置１、１Ａ外で機械学習を行い、その結果得られたニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａで保持しておけば、光学的情報読取装置１、１Ａの小型軽量化を実現しながら、ニューラルネットワークによる推論処理が可能になる。尚、演算処理能力が十分に高いプロセッサ２０を搭載している場合には、光学的情報読取装置１、１Ａで学習を行っても問題とはならない。

【0090】

また、超解像処理の実行が可能なニューラルネットワークの学習を行う場合、例えば、低解像度の画像を入力画像（不良画像）として用意しておき、この入力画像をニューラルネットワークに入力することで高解像度の画像が出力されるように機械学習を行う。この場合のニューラルネットワークの損失関数には、低解像度の画像を超解像した画像と、元の高解像度の画像(教師画像)の平均二乗誤差を使用することができ、この誤差が小さくなるようにニューラルネットワークのパラメータを変更する。このようにして学習したニューラルネットワークは、超解像処理が可能になるので、カメラ５により生成された読取画像に含まれるコードを構成する各モジュールのピクセル数を示すＰＰＣを拡大した拡大画像を出力することが可能な超解像処理用のニューラルネットワークとなる。超解像処理用のニューラルネットワークは、当該ニューラルネットワークの構造及びパラメータによって特定することができる。超解像処理用のニューラルネットワークとしては、例えばＦＳＲＣＮＮを利用することができる。

【0091】

超解像処理用のニューラルネットワークの学習の際に使用する不良画像としては、例えば一定範囲のＰＰＣのコードを含む画像とすることができる。一定範囲とは、例えばＰＰＣが１．２～２．０である。また、不良画像の撮影時のチルト角は、略水平及び略垂直に限定することができるが、プラスマイナス１０゜程度のチルト角が付いていてもよい。

【0092】

図１２は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一例を示す概念図である。「Convolution」では、入力された画像の特徴の抽出を行う。この層は、画像処理フィルタのような畳み込み演算で構成される。フィルタの重みをカーネルと呼び、カーネルに合わせた特徴量の抽出を行う。畳み込み層は一般的に複数の異なるカーネルを持ち、カーネル数に応じてマップ数（Ｄ）が増えていく。カーネルサイズは、例えば３×３、５×５などを取ることができる。

【0093】

「pooling」では、縮小処理を行って各カーネルの反応をまとめる。「Deconvolution」では、逆畳み込みフィルタにより、特徴値から画像を再構成する。「Unpooling」では、拡大処理を行って反応値を先鋭化する。

【0094】

学習済みのニューラルネットワークの構造及びパラメータは、図３に示すＲＯＭ４０のニューラルネットワーク記憶部４０ｄに記憶される。ニューラルネットワークの構造とは、入力層と出力層との間に設けられる中間層の数（Ｄ）や、画像処理フィルタの数等である。ニューラルネットワークのパラメータは、図７に示すフローチャートのステップＳＡ３で設定されたパラメータである。

【0095】

また、ニューラルネットワーク記憶部４０ｄには、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータを記憶することが可能になっている。この場合、複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けた状態でニューラルネットワーク記憶部４０ｄに記憶することができる。例えば、第１のニューラルネットワークを構成するための当該ニューラルネットワークの構造及びパラメータと、第１のニューラルネットワークに対応する第１のコード条件とを関連付ける。関連付けを行う際、第１のニューラルネットワークの層の数またはフィルタの数は、第１のコード条件、特に第１のＰＰＣによって最適な数を事前に特定しておくことができるものなので、この関係が保たれるように関連付けておく。同様に、第１のニューラルネットワークとは異なる第２のニューラルネットワークの構造及びパラメータと、第１のコード条件とは異なる第２のコード条件とを関連付ける。

【0096】

複数のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部４０ｄに記憶している場合には、光学的情報読取装置１、１Ａの設定時に、次のようにチューニング実行部２０ｄが動作する。すなわち、チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコード条件を設定する際、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部４０ｄから読み出して運用時に使用するニューラルネットワークとして特定する。例えば、チューニング実行部２０ｄが読取画像に含まれるコード条件をして第１のコード条件を設定した場合には、第１のコード条件と関連付けられた第１のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部４０ｄから読み出す。そして、第１のニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａの運用時に使用するニューラルネットワークとして特定する。これにより、コード条件に最適なニューラルネットワークの構造及びパラメータで読取画像に対して推論処理を実行できるので、読み取り精度を高めることができる。

【0097】

ニューラルネットワークの学習にあたっては、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させることもできる。モジュールのピクセル分解能は、例えばコードを構成する１つのモジュールのピクセル数（ＰＰＣ）で表すことができ、ＰＰＣが特定範囲内にある不良画像及び理想画像のみでニューラルネットワークの機械学習を行ってもよい。

【0098】

上記特定範囲は、読取画像に対する推論処理効果の高いピクセル分解能を含み、かつ、読取画像に対する推論処理効果が殆ど向上しないピクセル分解能を除外する範囲であり、複数のモジュールで構成されたコードを含む画像に対する推論処理を前提として設定することができる。これにより、コードを含む画像に対する推論処理に特化したニューラルネットワーク構造として処理速度を向上させることができる。

【0099】

上記ピクセル数の特定範囲としては、例えば４ＰＰＣ以上６ＰＰＣ以下とすることができるが、４ＰＰＣ未満であってもよいし、６ＰＰＣよりも多くてもよい。また、例えば特定範囲を４ＰＰＣ以上６ＰＰＣ以下に限定して機械学習することで、学習に用いる画像から余分なスケールの変動を排除することができ、学習済みニューラルネットワーク構造の適正化を図ることもできる。

【0100】

（推論処理）
図７に示すように、光学的情報読取装置１、１Ａのプロセッサ２０には、専用コア２５によって構成される推論処理部２０ｊが設けられている。推論処理部２０ｊは、ＲＯＭ４０のニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学的情報読取装置１、１Ａ内に推論処理用のニューラルネットワークを構成する。光学的情報読取装置１、１Ａ内に構成されたニューラルネットワークは、図１０のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。

【0101】

推論処理部２０ｊは、カメラ５により生成された読取画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータに従って読取画像に対応する理想画像を生成する推論処理を実行する。推論処理部２０ｊが生成した理想画像は、あくまでも推論処理によって生成した画像であることから、上述した学習時に用いた理想画像と同じであるとは限らないが、本実施形態では推論処理部２０ｊが生成した画像も理想画像と呼ぶ。

【0102】

フィルタ処理部２０ｃは、カメラ５により生成された読取画像を推論処理部２０ｊがニューラルネットワークに入力する前に、読取画像に対して画像処理フィルタを実行するように構成されている。これにより、ニューラルネットワークによる推論処理を実行する前に適切な画像処理を実行しておくことができ、その結果、推論処理がより的確なものになる。

【0103】

デコード処理部２０ｆでデコード処理する全ての読取画像に対して推論処理部２０ｊが推論処理を実行してもよいし、デコード処理部２０ｆでデコード処理する一部の読取画像に対してのみ推論処理部２０ｊが推論処理を実行してもよい。例えば、デコード処理部２０ｆは、推論処理を実行する前の読取画像に対してデコード処理を実行し、デコードが成功したか否かを判定する。デコードに成功した場合には、推論処理が不要な読取画像であったということであり、そのまま結果を出力する。一方、デコードに失敗した場合には、推論処理部２０ｊが推論処理を実行し、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。

【0104】

（超解像処理）
図７に示すように、光学的情報読取装置１、１Ａのプロセッサ２０には、専用コア２５によって構成される超解像処理部２０ｋが設けられている。超解像処理部２０ｋは、ＲＯＭ４０のニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学的情報読取装置１、１Ａ内に超解像処理用のニューラルネットワークを構成する。光学的情報読取装置１、１Ａ内に構成された超解像処理用のニューラルネットワークは、上述した低解像画像及び高解像画像で学習した学習済みニューラルネットワークと同じものである。

【0105】

超解像処理部２０ｋは、カメラ５により生成された読取画像を超解像処理用のニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータに従って読取画像のＰＰＣ値を拡大した拡大画像を生成する。すなわち、超解像処理部２０ｋが生成した拡大画像は、画素間の補間ではなく元の読取画像に含まれない高周波成分の推定をニューラルネットワークで行った画像であり、これにより、読取画像のＰＰＣ値を拡大することができる。

【0106】

例えば、カメラ５により生成された読取画像に含まれるコードのＰＰＣ値が２未満（例えば１．２～１．５程度）であると、全くデコード処理ができなくなる場合があるが、超解像処理部２０ｋによる超解像処理によってＰＰＣ値を２以上にすることで、デコード処理が可能になる。本実施形態では、ＰＰＣ値が０．１であっても超解像処理を適用することでデコード処理が可能になる。

【0107】

また、カメラ５により生成された読取画像に含まれるコードのＰＰＣ値が１．５～２．０未満では、デコード処理がかろうじて可能であるが、デコード処理が安定しないので、この範囲にあるＰＰＣ値を２．０以上にすることで、安定したデコード処理が可能になる。

【0108】

拡大後のＰＰＣ値としては、例えば２．２以上、または２．４以上とすることができる。拡大後のＰＰＣ値は、ニューラルネットワークによる拡大率によって設定することができる。ニューラルネットワークによる拡大率は、任意の整数倍にすることができ、例えば２．０倍、３．０倍等にすることができる。ニューラルネットワークによる拡大率を２．０倍とした場合、ニューラルネットワークに入力した読取画像のサイズが１２８×１２８（ピクセル）であったとすると、出力される拡大画像のサイズは２５６×２５６（ピクセル）となる。

【0109】

超解像処理部２０ｋは、ＰＰＣ値取得部２０ｎで取得されたＰＰＣ値が所定値以下の場合に拡大画像を生成する一方、ＰＰＣ値取得部２０ｎで取得されたＰＰＣ値が所定値を超える場合に拡大画像を非生成とするように構成されている。所定値は、例えば２．０～２．３の間の任意の値とすることができる。上述したように、ＰＰＣ値が２を超えれば、デコード処理が安定して可能になるので、拡大画像の必要性が低く、この場合には超解像処理を非実行にすることで、処理速度を向上できる。

【0110】

また、図４に示す手持ち式の光学的情報読取装置１Ａでは近距離用のカメラ５と遠距離用のカメラ５Ａとを有しており、各カメラ５、５Ａにより近距離から遠距離までピントの合った読取画像を生成することができる。この場合、近距離用のカメラ５で生成した読取画像と、遠距離用のカメラ５Ａで生成した読取画像との両方に超解像処理を実行してもよい。これにより、遠距離にあるコードや、近距離で撮影しても読み取りにくい小さなコードを含む読取画像から拡大画像を生成することができる。

【0111】

また、近距離用のカメラ５をモノクロカメラとし、遠距離用のカメラ５Ａをカラーカメラとした場合、遠距離用のカメラ５Ａで生成したカラーの読取画像をモノクロに変換した後に、超解像処理を実行してもよい。この場合、プロセッサ２０がモノクロ変換部を備えた構成となる。

【0112】

フィルタ処理部２０ｃは、カメラ５により生成された読取画像を超解像処理用のニューラルネットワークに入力する前に、読取画像に対して画像処理フィルタを実行するように構成されている。これにより、超解像処理用のニューラルネットワークによる超解像処理を実行する前に適切な画像処理を実行しておくことができ、その結果、拡大処理がより鮮明なものになる。

【0113】

デコード処理部２０ｆでデコード処理する全ての読取画像に対して超解像処理部２０ｋが超解像処理を実行してもよいし、デコード処理部２０ｆでデコード処理する一部の読取画像に対してのみ超解像処理部２０ｋが超解像処理を実行してもよい。例えば、デコード処理部２０ｆは、超解像処理を実行する前の読取画像に対してデコード処理を実行し、デコードが成功したか否かを判定する。デコードに成功した場合には、超解像処理が不要な読取画像であったということであり、そのまま結果を出力する。一方、デコードに失敗した場合には、超解像処理部２０ｋが超解像処理を実行し、生成された拡大画像に対してデコード処理部２０ｆがデコード処理を実行する。

【0114】

（部分画像の入力）
推論処理部２０ｊ及び超解像処理部２０ｋがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図１２に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。

【0115】

一方、カメラ５により生成された読取画像の全体にコードが存在しているケースは皆無といってよく、通常の運用時には読取画像の一部の領域にのみコードが存在しており、その領域のみニューラルネットワークによる推論処理を実行することができれば、読み取り精度を高めることができる。

【0116】

そこで、推論処理部２０ｊ及び超解像処理部２０ｋがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の一部、即ちコードを含んだ部分画像とすることができる。具体的には、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を画像データ記憶部４０ａに記憶させておき、推論処理部２０ｊ及び超解像処理部２０ｋがアクセス可能にしておく。推論処理部２０ｊ及び超解像処理部２０ｋは部分画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータに従って部分画像に推論処理及び超解像処理を実行する。また、超解像処理部２０ｋによる超解像処理を実行した後に推論処理部２０ｊによる推論処理を実行し、その後、デコード処理部２０ｆがデコード処理を実行してもよい。

【0117】

そして、生成された理想画像または拡大画像に対してデコード処理部２０ｆがデコード処理を実行する。また、後述するように、部分画像に推論処理及び超解像処理を実行することなく、デコード処理を実行する場合には、デコード処理部２０ｆが画像データ記憶部４０ａにアクセス可能にしておき、画像データ記憶部４０ａに記憶された部分画像をデコード処理部２０ｆが読み込んでデコード処理を実行する。

【0118】

上述したように読取画像の全体にコードが存在しているケースは殆ど無いので、コード候補領域に対応する部分画像のサイズは、読取画像のサイズよりも小さくなる。これにより、ニューラルネットワークに入力する画像のサイズが小さくなるので、プロセッサ２０の演算負荷が軽くなり、ひいては処理速度の高速化が実現される。また、部分画像は、コードが存在する可能性が高い領域に対応しているので、読み取りに必要な情報、即ちコードの全体を含んだ画像とすることが可能である。このコードの全体を含んだ画像をニューラルネットワークに入力するので、読み取り精度の低下は抑制される。

【0119】

推論処理部２０ｊ及び超解像処理部２０ｋは、チューニング実行部２０ｄで取得したコードサイズに基づいて部分画像のニューラルネットワークへの入力サイズを決定することができる。上述したように、チューニング実行部２０ｄはコードサイズを取得することができる。推論処理部２０ｊ及び超解像処理部２０ｋは、ニューラルネットワークへ入力する部分画像の入力サイズを、チューニング実行部２０ｄで取得したコードサイズよりも所定量だけ大きくする。

【0120】

すなわち、部分画像をニューラルネットワークへ入力することで演算負荷を軽くすることができる反面、例えばコードが回転していたり、コードの位置が精密に検出できなかった場合には、部分画像中のコードの一部が欠けてしまい、デコード処理に失敗する可能性もある。本実施形態では、ニューラルネットワークへの入力サイズがチューニング実行部２０ｄで取得したコードサイズと同じではなく、コードサイズよりも所定量だけ大きいので、部分画像中でコードの一部が欠けるのを抑制できる。尚、コードサイズよりも所定量だけ大きくしていることで、ニューラルネットワークへの入力サイズに上限を持たせることができ、よって、演算負荷が重くならないようにすることができる。「所定量」とは、例えばニューラルネットワークへ入力される部分画像の横（または縦）の長さが、チューニング実行部２０ｄで取得したコードの横（または縦）の長さの１．５倍以上、または２．０倍以上、または３．０倍以上であってもよい。

【0121】

推論処理部２０ｊ及び超解像処理部２０ｋがニューラルネットワークへ入力する部分画像の入力サイズを決定する際、チューニング実行部２０ｄで取得したコードを構成する１つのモジュールのピクセル数と当該コードの縦または横方向に並ぶモジュール数とに基づいて決定することができる。

【0122】

また、チューニング実行部２０ｄでは上述したようにコード条件を設定することができる。推論処理部２０ｊ及び超解像処理部２０ｋは、チューニング実行部２０ｄで設定されたコード条件に基づいて、ニューラルネットワークに入力する読取画像のサイズを設定することもできる。例えば、チューニング実行部２０ｄで設定されたコード条件のうち、コードサイズを推論処理部２０ｊ及び超解像処理部２０ｋが取得すると、取得したコードサイズよりも所定量だけ大きなサイズの部分画像をニューラルネットワークに入力する。コードサイズが大きければニューラルネットワークに入力する部分画像のサイズが大きくなる一方、コードサイズが小さければニューラルネットワークに入力する部分画像のサイズが小さくなる。つまり、ニューラルネットワークに入力する部分画像のサイズをコード条件に応じて変えることができる。

【0123】

（縮小・拡大機能）
ここで、図１２に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した理想画像にするためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。

【0124】

しかし、コードは白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されているため、広範囲でのピクセル値の関係は希薄であり、カバーするピクセル範囲を一定以上に広げても推論処理効果は殆ど向上しない。このような特徴を、本明細書では狭範囲特徴と呼ぶ。

【0125】

また、コードに含まれるファインダパターンなど決まったモジュールパターンの配置やコード全体として四角形状であることは広範囲特徴になり得るが、モジュールと背景とを大まかに分離するだけであれば、広範囲特徴を用いることなく、狭範囲特徴のみを用いても十分に推論処理可能である。尚、広範囲特徴とは、広範囲に渡って決まった形状を持つ特徴と定義することができる。

【0126】

そこで、図１０に示すニューラルネットワークの学習の際、コードのＰＰＣが特定範囲にある画像を用いることができる。これにより、コードを含む画像に対する推論処理に特化したニューラルネットワーク構造として処理速度を向上させることができる反面、ＰＰＣが特定範囲外にある読取画像に対する推論処理効果は低下する懸念がある。尚、ニューラルネットワークの学習の際、コードのＰＰＣが特定範囲外にある画像を用いてもよい。

【0127】

本実施形態の光学的情報読取装置１、１Ａでは、読取画像のＰＰＣが特定範囲に入るようにするために、読取画像の縮小・拡大機能を備えている。図７に示すように、プロセッサ２０には、縮小部２０ｈ及び拡大部２０ｉが構成されている。縮小部２０ｈは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように縮小した読取画像を生成する部分であり、また、拡大部２０ｉは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように拡大した読取画像を生成する部分である。

【0128】

縮小部２０ｈ及び拡大部２０ｉは、例えばカメラ５により生成された読取画像におけるコードのＰＰＣが特定範囲（４ＰＰＣ以上６ＰＰＣ以下）外にあるか否かを判定し、特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行する。縮小または拡大を実行することで、推論処理部２０ｊ及び超解像処理部２０ｋがニューラルネットワークへ入力する部分画像におけるコードのＰＰＣが特定範囲内に入る。

【0129】

推論処理部２０ｊ及び超解像処理部２０ｋは、特定範囲内となるように拡大または縮小した読取画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像に対する推論処理を実行する。そして、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。

【0130】

抽出部２０ｇは、拡大部２０ｉにより拡大した読取画像または縮小部２０ｈにより縮小した読取画像に対してコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出するように構成してもよい。この場合、推論処理部２０ｊ及び超解像処理部２０ｋは、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像に対する推論処理を実行する。

【0131】

光学的情報読取装置１、１Ａの設定時には、チューニング実行部２０ｄが、拡大率を変えた複数の読取画像（拡大画像）を生成すること、及び縮小率を変えた複数の読取画像（縮小画像）を生成することができる。チューニング実行部２０ｄは、生成した複数の読取画像（拡大画像または縮小画像）をニューラルネットワークに入力して各読取画像の推論処理を実行し、生成された各理想画像に対してデコード処理を実行し、コードの読み取りのしやすさを示す読取余裕度を求める。チューニング実行部２０ｄは、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定する。チューニング実行部２０ｄが拡大率または縮小率を特定した場合、光学的情報読取装置１、１Ａの運用時には、縮小部２０ｈ及び拡大部２０ｉは、チューニング実行部２０ｄが特定した拡大率または縮小率で読取画像を拡大または縮小する。

【0132】

すなわち、例えば特定範囲にある程度の広さがある場合、その特定範囲内であっても拡大率や縮小率を変えると、読取余裕度が変化することが考えられる。チューニング実行部２０ｄが求めた読取余裕度が所定よりも高くなるように、運用時における読取画像の拡大率または縮小率を特定することができるので、処理速度及び読み取り精度が向上する。

【0133】

チューニング実行部２０ｄは、各読取画像の読取余裕度を求めた後、求めた複数の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定することができる。これにより、処理速度及び読み取り精度を更に向上させることができる。

【0134】

また、縮小部２０ｈ及び拡大部２０ｉで読取画像を縮小及び拡大できることを利用して、パラメータセットの種類を増やすこともできる。縮小部２０ｈによる縮小率が異なる複数のパラメータセットと、拡大部２０ｉによる拡大率が異なる複数のパラメータセットを生成し、これらパラメータセットをＲＯＭ４０のパラメータセット記憶部４０ｃに記憶させることができる。例えば、縮小部２０ｈによる縮小率が１／２、１／４、１／８のように複数設定可能な場合、縮小率が１／２のパラメータセット、縮小率が１／４のパラメータセット、縮小率が１／８のパラメータセットをパラメータセット記憶部４０ｃに記憶させることができる。また、拡大部２０ｉによる拡大率が２倍、４倍、８倍のように複数設定可能な場合、拡大率が２倍のパラメータセット、拡大率が４倍のパラメータセット、拡大率が８倍のパラメータセットをパラメータセット記憶部４０ｃに記憶させることができる。そして、パラメータセット記憶部４０ｃに記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用することができる。

【0135】

（推論処理フィルタ及び超解像処理フィルタ）
推論処理部２０ｊは、ニューラルネットワークを利用して推論処理を実行する推論処理フィルタを実行する部分であってもよい。また、超解像処理部２０ｋは、ニューラルネットワークを利用して超解像処理を実行する超解像処理フィルタを実行する部分であってもよい。

【0136】

推論処理フィルタは、読取画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータに従って推論処理を実行するフィルタであり、上述した推論処理機能と同じ機能を発揮する。

【0137】

また、超解像処理フィルタは、読取画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成された超解像処理用のニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータに従って超解像処理を実行するフィルタであり、上述した超解像処理機能と同じ機能を発揮する。

【0138】

推論処理フィルタまたは超解像処理フィルタを実行可能にする場合、推論処理フィルタまたは超解像処理フィルタを設定するための設定部２０ｅ（図７に示す）を設けることができる。設定部２０ｅは、ユーザによる推論処理フィルタまたは超解像処理フィルタの設定を受付可能に構成されている。設定部２０ｅは、例えば光学的情報読取装置１、１Ａの設定時に、「推論処理フィルタの適用」と「推論処理フィルタの非適用」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６に表示させ、ユーザによる選択を受け付けるように構成することができる。また、設定部２０ｅは、例えば光学的情報読取装置１、１Ａの設定時に、「超解像処理フィルタの適用」と「超解像処理フィルタの非適用」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６に表示させ、ユーザによる選択を受け付けるように構成することができる。

【0139】

設定部２０ｅは、チューニング実行部２０ｄに含まれていてもよいし、チューニング実行部２０ｄとは別に構成されていてもよい。設定部２０ｅがチューニング実行部２０ｄに含まれている場合、チューニング時に推論処理フィルタまたは超解像処理フィルタに関するパラメータを設定することが可能になる。推論処理フィルタに関するパラメータとしては、「推論処理フィルタの適用」と「推論処理フィルタの非適用」とを含むことができる。「推論処理フィルタの適用」とは、推論処理フィルタを実行可能に設定することであり、「推論処理フィルタの非適用」とは、推論処理フィルタを設定しないことである。

【0140】

また、超解像処理フィルタに関するパラメータとしては、「超解像処理フィルタの適用」と「超解像処理フィルタの非適用」とを含むことができる。「超解像処理フィルタの適用」とは、超解像処理フィルタを実行可能に設定することであり、「超解像処理フィルタの非適用」とは、超解像処理フィルタを設定しないことである。

【0141】

推論処理フィルタまたは超解像処理フィルタに関するパラメータは、推論処理フィルタまたは超解像処理フィルタに関する情報でもあり、この場合、推論処理フィルタまたは超解像処理フィルタの設定に関する情報を含むパラメータセットをパラメータセット記憶部４０ｃに記憶することができる。パラメータセット記憶部４０ｃに記憶されるパラメータセットには、推論処理フィルタを実行可能に設定する第１のパラメータセットと、推論処理フィルタを設定しない第２のパラメータセットと、超解像処理フィルタを実行可能に設定する第３のパラメータセットと、超解像処理フィルタを設定しない第４のパラメータセットとを含むことができる。

【0142】

光学的情報読取装置１、１Ａの運用時には、第１のパラメータセットと、第２のパラメータセットと、第３のパラメータセットと、第４のパラメータセットの中から選択された一のパラメータセットが適用される。第１のパラメータセットが適用された場合には、推論処理フィルタによって推論処理が実行された理想画像に対してデコード処理部２０ｆによるデコード処理が実行される一方、第２のパラメータセットが適用された場合には、推論処理が実行されない読取画像に対してデコード処理部２０ｆによるデコード処理が実行される。第３のパラメータセット及び第４のパラメータセットも同様である。

【0143】

パラメータセット記憶部４０ｃに記憶されるパラメータセットには、カメラ５により生成された読取画像に含まれるコード条件を設定する項目も含まれる。コード条件を設定する項目では、チューニング実行部２０ｄが取得したＰＰＣ、コード種、コードサイズ等が設定される。例えば、１つのパラメータセットには、コード条件を設定する項目としてのＰＰＣ、コード種、コードサイズと、撮像条件としてのカメラ５のゲイン、照明部４の光量、露光時間と、フィルタ処理部２０ｃが適用する画像処理フィルタの項目としての画像処理フィルタ種類、当該画像処理フィルタのパラメータと、推論処理フィルタ、超解像処理フィルタの適用項目とを含むことができる。これら各項目は、チューニング実行部２０ｄが設定した値等をそのまま用いてもよいし、ユーザが任意に変更することもできる。

【0144】

（チューニング工程の手順の一例）
光学的情報読取装置１、１Ａの設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１３に示すフローチャートに基づいて具体的に説明する。図１３に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる推論処理、超解像処理を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード処理部２０ｆにデコード処理を実行させる。

【0145】

デコード処理後、ステップＳＢ３に進み、ステップＳＢ２のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＢ３でＮＯと判定されてステップＳＢ２のデコード処理が失敗した場合、即ちコードの読み取りができなかった場合には、ステップＳＢ４に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ２で再度デコード処理を実行する。例えば、超解像処理が実行されないパラメータであった場合には、超解像処理が実行されるパラメータに変更し、ステップＳＢ２の前に、読取画像に対して超解像処理を実行する。全てのデコード処理パラメータでデコード処理を失敗した場合にはこのフローを終了してユーザに報知する。

【0146】

一方、ステップＳＢ３でＹＥＳと判定されてステップＳＢ２のデコード処理が成功した場合には、ステップＳＢ５に進み、チューニング実行部２０ｄがコードパラメータ（ＰＰＣ、コード種、コードサイズ等）を決定する。チューニング実行部２０ｄがコードパラメータを決定すると、コードパラメータと関連付けられてニューラルネットワーク記憶部４０ｄに記憶されているニューラルネットワークの構造及びパラメータも決定される（ステップＳＢ６）。ステップＳＢ６では、ニューラルネットワーク記憶部４０ｄから読み出した構造及びパラメータでニューラルネットワークを構成する。

【0147】

ステップＳＢ７では、推論処理部２０ｊが、ステップＳＢ６で構成されたニューラルネットワークに読取画像を入力することにより、推論処理を実行し、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。その後、ステップＳＢ８に進み、チューニング実行部２０ｄがステップＳＢ７のデコード処理結果に基づいて読取余裕度を評価し、一旦記憶しておく。

【0148】

ステップＳＢ９では、全てのデコード処理パラメータでデコード処理の実行が完了したか否かを判定する。ステップＳＢ９でＮＯと判定されて、全てのデコード処理パラメータでデコード処理の実行が完了していない場合にはステップＳＢ１０に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ７に進む。

【0149】

一方、ステップＳＢ９でＹＥＳと判定されて全てのデコード処理パラメータでデコード処理の実行が完了するとステップＳＢ１１に進む。ステップＳＢ１１では、チューニング実行部２０ｄが、全てのデコード処理パラメータの中から読取余裕度が最も高いデコード処理パラメータを選択し、その選択したデコード処理パラメータを運用時に適用するパラメータとして決定する。尚、チューニング工程では、撮像条件等も適切な条件に設定される。

【0150】

（縮小率及び拡大率決定前のデコード処理手順）
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１４に示すフローチャートに基づいて具体的に説明する。図１４に示すフローチャートで特定される処理は、図１３に示すフローチャートのステップＳＢ２で実行することができる。

【0151】

図１４に示すフローチャートのスタート後のステップＳＣ１では、チューニング実行部２０ｄが、複数の画像処理フィルタの中から任意の画像処理フィルタを選択する。この画像処理フィルタは、フィルタ処理部２０ｃで実行されるフィルタである。その後、ステップＳＣ２では、ステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。

【0152】

次いで、ステップＳＣ３に進み、画像ピラミッドを作成する。画像ピラミッドは、元の読取画像、元の読取画像を１／２に縮小した画像、元の読取画像を１／４に縮小した画像、元の読取画像を１／８に縮小した画像、…で構成されている。読取画像の縮小は、縮小部２０ｈで実行される。また、画像ピラミッドは、元の読取画像、元の読取画像を２倍に拡大した画像、元の読取画像を４倍に拡大した画像、元の読取画像を８倍に拡大した画像、…で構成することもできる。読取画像の拡大は、拡大部２０ｉで実行される。尚、縮小した画像と、拡大した画像とのうち、一方を省略してもよい。

【0153】

画像ピラミッドを作成した後、ステップＳＣ４に進み、画像ピラミッドを構成する複数の読取画像の中から任意の読取画像を選択する。この選択された画像の中には、縮小及び拡大されていない元の読取画像が含まれる場合もある。ステップＳＣ５では、抽出部２０ｇが、ステップＳＣ４で選択した読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。その後、ステップＳＣ６に進み、超解像処理が実行されるパラメータの場合には、超解像処理部２０ｋがステップＳＣ５で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して超解像処理を実行する。また、ステップＳＣ６では、推論処理が実行されるパラメータの場合には、推論処理部２０ｊが、ステップＳＣ５で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して推論処理を実行する。ニューラルネットワークに入力する部分画像のサイズは、上述したコード条件によって決定する。尚、超解像処理が実行されないパラメータの場合には、ステップＳＣ６で超解像処理を実行せず、また、推論処理が実行されないパラメータの場合には、ステップＳＣ６で推論処理を実行しない。

【0154】

ステップＳＣ６を経た後、ステップＳＣ７に進み、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行する。位置決め処理後、ステップＳＣ８に進み、コードを構成している各モジュールが白であるか、黒であるかを判別する。白黒の判別後、ステップＳＣ９に進み、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。デコード処理では、例えばモジュールの０－１マトリックスから文字列を復元する手法を採用することができる。

【0155】

その後、ステップＳＣ１０に進み、ステップＳＣ９のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＣ１０でＮＯと判定されてステップＳＣ９のデコード処理が失敗した場合には、ステップＳＣ１１に進み、画像ピラミッドを構成している全ての読取画像が選択されたか否かを判定する。ステップＳＣ１１でＮＯと判定されて画像ピラミッドを構成している全ての読取画像が選択されていない場合にはステップＳＣ４に進み、画像ピラミッドを構成している別の縮小された読取画像または別の拡大された読取画像を選択し、ステップＳＣ５に進む。

【0156】

一方、ステップＳＣ１１でＹＥＳと判定されて画像ピラミッドを構成している全ての読取画像が選択された場合にはこのフローを終了し、デコードが成功した条件を記憶しておく。

【0157】

（縮小率及び拡大率決定後のデコード処理手順）
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１５に示すフローチャートに基づいて具体的に説明する。図１５に示すフローチャートで特定される処理は、図１３に示すフローチャートのステップＳＢ７及び光学的情報読取装置１、１Ａの運用時に実行することができる。

【0158】

図１５に示すフローチャートのスタート後のステップＳＤ１では、図１４に示すフローチャートのステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。このとき、図１６の上側に示すような読取画像に対してフィルタ処理部２０ｃが平均化フィルタを実行した場合には、図１６の下側に示すような画像処理フィルタ実行後の画像が得られる。

【0159】

その後、ステップＳＤ２に進み、必要に応じて読取画像の縮小・拡大処理を実行する。具体的には、画像処理フィルタ実行後の読取画像におけるコードのＰＰＣが特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行し、ＰＰＣが特定範囲内に入るようにする。図１７の上側に、縮小処理後の読取画像の例を示している。

【0160】

次いで、ステップＳＤ３では、抽出部２０ｇが、ステップＳＤ２で縮小または拡大された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。図１７の下側に、コード候補領域抽出画像の例を示している。尚、ステップＳＤ２で縮小または拡大されていない場合には、ステップＳＤ３で元の読取画像に対して抽出処理が実行されることになる。

【0161】

その後、ステップＳＤ４に進み、推論処理部２０ｊが、ステップＳＤ３で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して推論処理を実行する。図１８に推論処理実行前の読取画像と推論処理実行後の理想画像の例を示している。理想画像の生成後、ステップＳＤ５～ＳＤ７を経てこのフローが終了する。ステップＳＤ５～ＳＤ７は、図１４に示すフローチャートのステップＳＣ７～ＳＣ９と同じである。

【0162】

（超解像処理を含んだ運用時の第１の例）
光学的情報読取装置１、１Ａの運用時に超解像処理を実行する場合の第１の例について、図１９に示すフローチャートに基づいて説明する。スタート後のステップＳＥ１では、抽出部２０ｇが、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。図２０に画像例を示すように、読取画像中の矩形枠で囲まれた領域がコード候補領域であり、このコード候補領域を部分画像として抜き出す。

【0163】

その後、ステップＳＥ２に進み、部分画像に対してフィルタ処理部２０ｃが画像処理フィルタを実行する。画像処理フィルタは、ノイズ除去フィルタである。特にカメラ５とコードとが離れている遠距離撮影時においては照明がコードまで届かず、カメラ５は自動明るさ制御にてゲインを上げるためランダムノイズが増える場合がある。ランダムノイズが多い状態で超解像処理を実行すると、ノイズを強調してしまいセル復元に悪影響が出ることがある。したがって、超解像処理を実行する前にノイズ除去フィルタを実行して余分なノイズを落とすことで、超解像処理の効果を高めることができる。ノイズ除去フィルタとして通常の平均化フィルタではセルの情報をつぶしてしまうことがあるため、例えばＬ１スパースモデリング等を利用したノイズ除去を実行する。また、このとき、コントラストの調整も行う。画像処理フィルタ後の部分画像を図２０の下側に示す。ステップＳＥ１とステップＳＥ２とは順番が逆でもよい。すなわち、画像処理フィルタの実行後に、コード候補領域を抽出してもよい。

【0164】

次いで、ステップＳＥ３に進み、画像処理フィルタ処理後の部分画像に対して超解像処理部２０ｋが超解像処理を実行する。これにより、図２１の下側に示すように、拡大画像が生成される。この例では、拡大率が２倍の場合を示している。その後のステップＳＥ４～ＳＥ６は、図１４に示すフローチャートのステップＳＣ７～ＳＣ９と同じである。

【0165】

（超解像処理を含んだ運用時の第２の例）
光学的情報読取装置１、１Ａの運用時に超解像処理を実行する場合の第２の例について、図２２に示すフローチャートに基づいて説明する。第２の例を説明する前に、２種類のデコード処理について説明する。上述したように本実施形態では、カメラ５により生成された読取画像に超解像処理部２０ｋが超解像処理を実行することなく、当該読取画像に対してデコード処理部２０ｆがデコード処理する場合と、カメラ５により生成された読取画像に超解像処理部２０ｋが超解像処理を実行して拡大画像を生成し、生成した拡大画像に対してデコード処理部２０ｆがデコード処理する場合とがある。前者の場合、即ち、読取画像に対してデコード処理する場合を第１デコード処理といい、後者の場合、即ち、超解像処理で生成された拡大画像に対してデコード処理する場合を第２デコード処理という。

【0166】

第１デコード処理及び第２デコード処理は、共にデコード処理部２０ｆで実行されるが、異なるデコード処理部で実行するようにしてもよい。すなわち、プロセッサ２０は、専用コア２５と第１～第４汎用コア２１～２４とを有しているので、専用コア２５で構成される超解像処理部２０ｋによる超解像処理と、第１～第４汎用コア２１～２４の少なくとも１つで構成されるデコード処理部２０ｆによる第１デコード処理とを並列的にかつ高速で実行することができる。さらに、プロセッサ２０は、超解像処理部２０ｋによる超解像処理の完了後に、デコード処理部２０ｆによる第２デコード処理を実行することができる。

【0167】

一例として、第１汎用コア２１が第１デコード処理を実行し、第２汎用コア２２が第２デコード処理を実行することができる。具体的には、第１汎用コア２１が第１デコード処理を実行する間に専用コア２５が超解像処理を実行する。第２汎用コア２２は、超解像処理が終了すると、第１デコード処理の終了を待つことなく、第２デコード処理を実行する。これにより、第１デコード処理と第２デコード処理とをそれぞれ別の汎用コアで実行できるので、処理がより一層高速になる。

【0168】

また、プロセッサ２０の第１～第４汎用コア２１～２４のうち、任意の１つは、第１デコード処理と第２デコード処理とを別スレッドで並列的に実行するように構成されていてもよい。具体的には、例えば第１汎用コア２１が第１デコード処理を実行する間に専用コア２５が超解像処理を実行する。第１汎用コア２１は、超解像処理が終了すると、第１デコード処理の終了を待つことなく、第１デコード処理とは別スレッドで第２デコード処理を実行する。

【0169】

図２２に示すフローチャートのスタート後のステップＳＦ１では、プロセッサ２０が読取画像を取得する。その後、ステップＳＦ２で第１デコード処理、即ち、読取画像に対してデコード処理部２０ｆがデコード処理を実行する。第１デコード処理後にステップＳＦ３に進み、読み取りが成功したか否かを判定する。読み取りが成功しなければ、ステップＳＦ２に戻り、第１デコード処理を再度実行する。所定回数（時間）経過しても読み取りが成功しなければタイムアウトとなり、デコード処理を終了する。一方、ステップＳＦ３で読み取りが成功したと判定された場合には、デコード処理を終了する。

【0170】

また、ステップＳＦ１からステップＳＦ２に進むのと並行してステップＳＦ４に進む。ステップＳＦ４では、抽出部２０ｇが、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。その後、ステップＳＦ５に進み、ステップＳＦ４で抽出された複数のコード候補領域の中から任意の１つのコード候補領域を選択し、ステップＳＦ６に進む。

【0171】

ステップＳＦ６では、カメラ５により生成された読取画像に超解像処理部２０ｋが超解像処理を実行して拡大画像を生成する。この例では、超解像処理を専用コア２５が実行するようにしているが、汎用コア２１～２４が実行してもよい。拡大画像の生成と、ステップＳＦ２の第１デコード処理とは並行して実行される。ステップＳＦ６で拡大画像を生成した後、ステップＳＦ７に進み、第２デコード処理、即ち、ステップＳＦ６で生成した拡大画像に対してデコード処理部２０ｆがデコード処理を実行する。第２デコード処理後にステップＳＦ８に進み、読み取りが成功したか否かを判定する。読み取りが成功しなければ、ステップＳＦ５に戻り、別のコード候補領域を選択した後、ステップＳＦ６、ＳＦ７に順に進み、第２デコード処理を再度実行する。所定回数（時間）経過しても読み取りが成功しなければタイムアウトとなり、デコード処理を終了する。一方、ステップＳＦ８で読み取りが成功したと判定された場合には、デコード処理を終了する。

【0172】

ステップＳＦ２に進む場合と、ステップＳＦ４に進む場合とをＰＰＣ値によって区別することができる。例えば、ＰＰＣ値が所定値を超える場合にはステップＳＦ２に進み、一方、ＰＰＣ値が所定値以下の場合には、ステップＳＦ４に進むように判定する判定部をプロセッサ２０に設けることができる。具体的には、ＰＰＣ値が２．０以上である場合には、ステップＳＦ２に進み、一方、ＰＰＣ値が２．０未満である場合には、ステップＳＦ４に進むように判定部を構成することができる。これにより、幅広いＰＰＣのコードをデコード処理することができる。特に、手持ち式の光学的情報読取装置１Ａでは、コードまでの距離やコードサイズが一定でない場合が多いが、このような場合であっても本例ではデコード処理の成功率を高めることができる。また、定置式の光学的情報読取装置１では設置自由度を高めることができる。

【0173】

ステップＳＦ４～ＳＦ８をキャンセルする機能を光学的情報読取装置１に設けてもよい。ステップＳＦ４～ＳＦ８は、超解像処理及び第２デコード処理を実行するステップであるが、特に超解像処理には時間を要するため、ステップＳＦ４～ＳＦ８をキャンセルすることで、処理を高速化できる。ステップＳＦ４～ＳＦ８をキャンセルする方法としては、例えばユーザの操作による方法がある。例えば、パラメータセット記憶部４０ｃに記憶されるパラメータの一つとして、超解像処理を実行するか否かの選択パラメータを含んでいてもよい。この選択パラメータをユーザが変更することで、超解像処理を実行するモードと、実行しないモードとの一方に切り替えることができる。選択パラメータとしては、例えば「速度優先モード」の選択パラメータであってもよい。「速度優先モード」がユーザにより選択された場合には、超解像処理を実行しないモードで動作させ、一方、「速度優先モード」が選択されない場合には、超解像処理を実行するモードで動作させる。尚、チューニングによって得られた情報に基づいて、超解像処理が不要な状況であると判定される場合には超解像処理を自動的にキャンセルするようにしてもよい。

【0174】

（超解像処理を含んだ運用時の第３の例）
光学的情報読取装置１、１Ａの運用時に超解像処理を実行する場合の第３の例について、図２３に示すフローチャートに基づいて説明する。第３の例は、手持ち式の光学的情報読取装置１Ａを使用してコードを読み取る場合に適用可能な例である。上述したように、手持ち式の光学的情報読取装置１Ａで小さなコードや遠距離でコードの読み取りを行うときは、エイマー光を頼りにコードを読む。図５に示すようにエイマー光学系は通常、カメラ光学系と光軸が異なるため、図６に示すようにエイマー光１０ｄの中心とカメラ５の視野５ｄの中心とは、ずれることが多い。超解像処理を実行する領域は処理時間の都合上、小さい方がよいので、第３の例では、エイマー光１０ｄとの位置関係によって超解像処理を実行する領域を限定する。

【0175】

図２３に示すフローチャートのスタート後、読取画像が入力されるとステップＳＧ１で領域抽出部２０ｇがエイマー光１０ｄ（図８に示す）の位置を検出する。このステップＳＧ１では、例えば、図８に示すようなエイマー光１０ｄが写る読取画像をカメラ５で生成してエイマー光１０ｄの位置を画像処理で検出する方法や、光学的情報読取装置１Ａとコードとの距離と、エイマー光１０ｄの視野５ｄ内における位置との関係を事前に計算して記憶装置３０等に記憶させておき、周知の距離センサやカメラ５のフォーカス情報等を利用して光学的情報読取装置１Ａとコードとの距離を取得し、取得した距離に基づいてエイマー光１０ｄの視野５ｄ内における位置を算出する方法等を適用できる。

【0176】

その後、ステップＳＧ２に進み、領域抽出部２０ｇがエイマー光１０ｄの位置に基づいてコード候補領域を決定する。このステップＳＧ２では、図８に示すように、エイマー光１０ｄの位置が検出されると、その中心を含む所定範囲の領域をコード候補領域として決定し、その領域をコード候補領域に対応する部分画像とする。

【0177】

次いで、ステップＳＧ３に進み、フィルタ処理部２０ｃがコード候補領域に対応する部分画像に対してノイズ除去フィルタ処理を実行するとともに、コントラスト調整を実行する。その後、ステップＳＧ４に進み、フィルタ処理後の部分画像に対して超解像処理部２０ｋが超解像処理を実行して拡大画像を生成する。ステップＳＧ５～ＳＧ７は、図１９に示すフローチャートのステップＳＥ４～ＳＥ６と同じである。

【0178】

（超解像処理を含んだ運用時の第４の例）
光学的情報読取装置１、１Ａの運用時に超解像処理を実行する場合の第４の例について、図２４に示すフローチャートに基づいて説明する。第４の例は、手持ち式の光学的情報読取装置１Ａを使用してコードを読み取る場合に適用可能な例であり、カメラ５とコードとの距離に応じて超解像処理の実行と非実行を切り替える制御を含んでいる。

【0179】

すなわち、図２５に示すように、超解像処理を実行したい場合は、カメラ５とコードとが離れていてピクセル分解能が低くなる長距離の場合と、小さなコード（小コード）を近距離で読む場合とがある。カメラ５とコードとの距離を測定して近距離（距離ｄ≦距離ｄ１）または長距離（距離ｄ≧距離ｄ２）の場合にのみ超解像処理を実行することで、中距離で超解像処理を実行することによる処理速度の低下を回避することができる。

【0180】

図２４に示すフローチャートのステップＳＨ１～ＳＨ３は、図２２に示すフローチャートのステップＳＦ１～ＳＦ３と同じである。ステップＳＨ１からステップＳＨ２に進むのと並行してステップＳＨ４に進む。ステップＳＨ４では、プロセッサ２０が、カメラ５とコードとの距離が中距離にあるか否かを判定する。具体的には、図２５に示すように、カメラ５の撮像素子５ａの受光面とコードとの距離ｄを測定する。距離ｄは、例えば距離センサやカメラ５のフォーカス情報等を利用して取得できる。そして、距離ｄが距離ｄ１以下である（近距離である）か、距離ｄが距離ｄ２以上である（遠距離である）場合にはステップＳＨ５に進む。一方、距離ｄが距離ｄ１を超え、かつ、距離ｄ２未満である（中距離である）場合には、超解像処理の実行が不要な距離であると判断し、終了する。距離ｄ１、距離ｄ２は、読取画像に含まれるコードのＰＰＣが所定値以下となる距離とすることができる。

【0181】

その後、ステップＳＨ５に進む。ステップＳＨ５～ＳＨ９は、図２２に示すフローチャートのステップＳＦ４～ＳＦ８と同じである。

【0182】

（タスクシーケンスの説明）
図２６は、読取画像に対してデコード処理する第１デコード処理で読み取りが成功した場合のタスクシーケンス図である。この図では、制御タスク、第１デコード処理タスク、第２デコード処理タスク及び超解像処理タスクを示しており、制御タスクが第１デコード処理タスクに読み取り実行命令１を出すと、第１デコード処理を開始する。第１デコード処理で読み取りが成功した段階で読み取り成功通知２を制御タスクに出す。制御タスクは、読み取り成功通知２を受けると、処理終了命令３を第１デコード処理タスクに出し、第１デコード処理タスクは処理終了通知４を制御タスクに出す。

【0183】

また、制御タスクは、第２デコード処理タスクに読み取り実行命令５を出すと、第２デコード処理タスクは、超解像処理タスクに超解像開始命令６を出す。超解像処理タスクは超解像処理が完了すると超解像完了通知７を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、超解像処理タスクに次の超解像開始命令８を出す。その後、処理終了通知４が制御タスクに出されたので、制御タスクは、処理終了命令９を第２デコード処理タスクに出す。第２デコード処理タスクは、超解像処理タスクに超解像終了命令１０を出し、超解像処理タスクは超解像終了通知１１を第２デコード処理タスクに出す。次いで、第２デコード処理タスクは、処理終了通知１２を制御タスクに出して読み取りを終了する。つまり、プロセッサ２０は、第１デコード処理でデコードに成功した場合は、超解像処理部２０ｊによる超解像処理が完了していなくても、超解像処理を途中で終了させるように構成されている。これにより、次の超解像処理を早期に開始できる。

【0184】

図２７は、超解像処理で生成された拡大画像に対してデコード処理する第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。制御タスクが第１デコード処理タスクに読み取り実行命令１を出し、第２デコード処理タスクに読み取り実行命令２を出す。第２デコード処理タスクは、超解像処理タスクに超解像開始命令３を出す。超解像処理タスクは超解像処理が完了すると超解像完了通知４を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、超解像処理タスクに次の超解像開始命令５を出す。

【0185】

第２デコード処理タスクは、超解像完了通知４を受けて第２デコード処理を開始する。第２デコード処理で読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知６を出すと、制御タスクは第２デコード処理タスクに処理終了命令７を出す。このとき、制御タスクは第１デコード処理タスクにも処理終了命令８を出す。

【0186】

第２デコード処理タスクが処理終了命令７を受けると、超解像処理タスクに超解像終了命令９を出し、超解像処理タスクは第２デコード処理タスクに超解像終了通知１０を出す。また、第１デコード処理タスクは制御タスクに処理終了通知１１を出す。また、第２デコード処理タスクは制御タスクに処理終了通知１２を出す。この例では、第２デコード処理でデコードに成功した場合に、超解像処理部２０ｋによる超解像処理を終了させることができる。

【0187】

図２８は、第１デコード処理と第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。制御タスクが第１デコード処理タスクに読み取り実行命令１を出し、第２デコード処理タスクに読み取り実行命令２を出す。第２デコード処理タスクは、超解像処理タスクに超解像開始命令３を出す。第１デコード処理タスクは、第１デコード処理を開始する。第１デコード処理で読み取りが成功し、第１デコード処理タスクが制御タスクに読み取り成功通知４を出すと、制御タスクは第２デコード処理タスクに処理終了命令５を出す。第２デコード処理タスクは制御タスクに処理終了通知６を出す。

【0188】

一方、超解像処理タスクは超解像処理が完了すると超解像完了通知７を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、超解像処理タスクに次の超解像開始命令８を出す。第２デコード処理タスクは、超解像完了通知７を受けて第２デコード処理を開始する。第２デコード処理で読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知９を出すと、制御タスクは第２デコード処理タスクに処理終了命令１０を出す。

【0189】

第２デコード処理タスクが処理終了命令１０を受けると、超解像処理タスクに超解像終了命令１１を出し、超解像処理タスクは第２デコード処理タスクに超解像終了通知１２を出す。第２デコード処理タスクは超解像終了通知１２を受け取った後、制御タスクに処理終了通知１３を出す。この例では、第１デコード処理及び第２デコード処理の両方でデコードに成功した場合に、超解像処理部２０ｋによる超解像処理を終了させることができる。

【0190】

図２９は、第２デコード処理で２回読み取りが成功した場合のタスクシーケンス図である。制御タスクが第１デコード処理タスクに読み取り実行命令１を出し、第２デコード処理タスクに読み取り実行命令２を出す。第２デコード処理タスクは、超解像処理タスクに超解像開始命令３を出す。超解像処理タスクは超解像処理が完了すると超解像完了通知４を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、超解像処理タスクに次の超解像開始命令５を出す。第２デコード処理タスクは、超解像完了通知４を受けて第２デコード処理を開始する。第２デコード処理で読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知６を出す。

【0191】

その後、超解像処理タスクでは２回目の超解像処理が完了して２回目の超解像完了通知７を第２デコード処理タスクに出す。第２デコード処理タスクは、２回目の超解像完了通知７を受けて２回目の第２デコード処理を開始する。２回目の第２デコード処理でも読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知８を出す。この間、第１デコード処理タスクでは読み取りが成功していないので、第１デコード処理タスクから読み取り成功通知は出されない。

【0192】

制御タスクは第２デコード処理タスクに処理終了命令９を出す。第２デコード処理タスクが処理終了命令９を受けると、超解像処理タスクに超解像終了命令１０を出し、超解像処理タスクは第２デコード処理タスクに超解像終了通知１１を出す。第２デコード処理タスクは超解像終了通知１１を受け取った後、制御タスクに処理終了通知１２を出す。また、制御タスクは第１デコード処理タスクに処理終了命令１３を出すと、第１デコード処理タスクは制御タスクに処理終了通知１４を出す。この例では、１回目の第２デコード処理及び２回目の第２デコード処理の両方でデコードに成功した場合に、超解像処理部２０ｋによる超解像処理を終了させることができる。

【0193】

（実施形態の作用効果）
以上説明したように、この実施形態によれば、読取画像に含まれるコードを構成する各モジュールのピクセル数を示すＰＰＣを拡大した拡大画像をニューラルネットワークによって生成することができる。これにより、読取が可能なＰＣＣの下限を引き下げることができるので、例えば遠距離で撮影されたコードやモジュールサイズの小さなコードのデコード処理が可能になる。

【0194】

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

【産業上の利用可能性】

【0195】

以上説明したように、本発明に係る光学的情報読取装置は、例えばワークに付されたコードを読み取る場合に利用することができる。

【符号の説明】

【0196】

１ 定置式の光学的情報読取装置
１Ａ 手持ち式の光学的情報読取装置
５、５Ａ カメラ
１０ エイマー光照射部（光照射部）
２０ プロセッサ
２０ｆ デコード処理部
２０ｇ 領域抽出部
２０ｎ ＰＰＣ値取得部
２０ｋ 超解像処理部
２１～２４ 第１～第４汎用コア
２５ 専用コア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】