知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022111040
(43)【公開日】2022-07-29
(54)【発明の名称】光学的情報読取装置
(51)【国際特許分類】
G06K 7/14 20060101AFI20220722BHJP
G06K 7/10 20060101ALI20220722BHJP
G06N 20/00 20190101ALI20220722BHJP
G06V 30/16 20220101ALI20220722BHJP
G06T 5/00 20060101ALI20220722BHJP
【ＦＩ】
G06K7/14 082
G06K7/10 372
G06K7/14 017
G06K7/14 039
G06N20/00
G06K9/36
G06T5/00 700
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2021164234
(22)【出願日】2021-10-05
(31)【優先権主張番号】P 2021005658
(32)【優先日】2021-01-18
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】特許業務法人前田特許事務所
(72)【発明者】
【氏名】上里 晃平
【テーマコード（参考）】
5B029
5B057
【Ｆターム（参考）】
5B029AA01
5B029BB02
5B029BB12
5B029BB17
5B029DD04
5B029EE01
5B029EE13
5B057AA02
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB02
5B057CB06
5B057CB12
5B057CB16
5B057CC01
5B057CE01
5B057CE02
5B057CE05
5B057CE06
(57)【要約】
【課題】コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させながら、幅広いピクセル分解能のコードを含む画像の修復を可能にする。
【解決手段】プロセッサは、コードを構成するモジュールのピクセル分解能が特定範囲内となるように拡大または縮小した読取画像を、記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、読取画像の修復を試行し、修復された読取画像に対してデコード処理を実行する。
【選択図】図１２
【解決手段】プロセッサは、コードを構成するモジュールのピクセル分解能が特定範囲内となるように拡大または縮小した読取画像を、記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、読取画像の修復を試行し、修復された読取画像に対してデコード処理を実行する。
【選択図】図１２
【特許請求の範囲】
【請求項1】
ワークに付されたコードを読み取る光学的情報読取装置であって、
コードを撮影し、読取画像を生成するカメラと、
コードの読み取りに不適切な部分を有する複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とのうち、コードを構成するモジュールのピクセル分解能が特定範囲内である前記不良画像及び前記理想画像を機械学習させることにより予め生成されたニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル分解能が前記特定範囲内となるように拡大または縮小した前記読取画像を、前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、前記記憶部に記憶された構造及びパラメータに従って前記読取画像の修復を試行し、前記修復された読取画像に対してデコード処理を実行するプロセッサとを備える光学的情報読取装置。
コードを撮影し、読取画像を生成するカメラと、
コードの読み取りに不適切な部分を有する複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とのうち、コードを構成するモジュールのピクセル分解能が特定範囲内である前記不良画像及び前記理想画像を機械学習させることにより予め生成されたニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル分解能が前記特定範囲内となるように拡大または縮小した前記読取画像を、前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、前記記憶部に記憶された構造及びパラメータに従って前記読取画像の修復を試行し、前記修復された読取画像に対してデコード処理を実行するプロセッサとを備える光学的情報読取装置。
【請求項2】
請求項１に記載の光学的情報読取装置において、
前記ニューラルネットワークの構造及びパラメータは、コードを構成するモジュールのピクセル数が特定範囲内である前記不良画像及び前記理想画像を機械学習させることにより予め生成されており、
前記プロセッサは、前記カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル数が前記特定範囲内となるように拡大または縮小した前記読取画像を、前記ニューラルネットワークに入力する光学的情報読取装置。
前記ニューラルネットワークの構造及びパラメータは、コードを構成するモジュールのピクセル数が特定範囲内である前記不良画像及び前記理想画像を機械学習させることにより予め生成されており、
前記プロセッサは、前記カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル数が前記特定範囲内となるように拡大または縮小した前記読取画像を、前記ニューラルネットワークに入力する光学的情報読取装置。
【請求項3】
請求項１または２に記載の光学的情報読取装置において、
前記カメラにより生成された読取画像を前記拡大または縮小する前に、当該読取画像に対して画像処理フィルタを実行するフィルタ処理部を更に備える光学的情報読取装置。
前記カメラにより生成された読取画像を前記拡大または縮小する前に、当該読取画像に対して画像処理フィルタを実行するフィルタ処理部を更に備える光学的情報読取装置。
【請求項4】
請求項１から３のいずれか１つに記載の光学的情報読取装置において、
前記光学的情報読取装置の設定時に、拡大率を変えた複数の読取画像または縮小率を変えた複数の読取画像を生成し、生成した複数の読取画像を前記ニューラルネットワークに入力して各読取画像の修復を試行し、修復された各読取画像に対してデコード処理を実行して読取余裕度を求め、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定するチューニング実行部を更に備え、
前記プロセッサは、前記光学的情報読取装置の運用時に、前記チューニング実行部が特定した拡大率または縮小率に前記読取画像を拡大または縮小する光学的情報読取装置。
前記光学的情報読取装置の設定時に、拡大率を変えた複数の読取画像または縮小率を変えた複数の読取画像を生成し、生成した複数の読取画像を前記ニューラルネットワークに入力して各読取画像の修復を試行し、修復された各読取画像に対してデコード処理を実行して読取余裕度を求め、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定するチューニング実行部を更に備え、
前記プロセッサは、前記光学的情報読取装置の運用時に、前記チューニング実行部が特定した拡大率または縮小率に前記読取画像を拡大または縮小する光学的情報読取装置。
【請求項5】
請求項４に記載の光学的情報読取装置において、
前記チューニング実行部は、各読取画像の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定する光学的情報読取装置。
前記チューニング実行部は、各読取画像の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定する光学的情報読取装置。
【請求項6】
請求項１から３のいずれか１つに記載の光学的情報読取装置において、
前記記憶部は、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けて記憶しており、
前記光学的情報読取装置の設定時に、前記カメラにより生成された読取画像に含まれるコード条件を設定し、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータを前記記憶部から読み出して運用時に使用するニューラルネットワークとして特定するチューニング実行部を更に備え、
前記プロセッサは、前記光学的情報読取装置の運用時に、前記チューニング実行部が特定したニューラルネットワークで前記読取画像の修復を試行する光学的情報読取装置。
前記記憶部は、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けて記憶しており、
前記光学的情報読取装置の設定時に、前記カメラにより生成された読取画像に含まれるコード条件を設定し、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータを前記記憶部から読み出して運用時に使用するニューラルネットワークとして特定するチューニング実行部を更に備え、
前記プロセッサは、前記光学的情報読取装置の運用時に、前記チューニング実行部が特定したニューラルネットワークで前記読取画像の修復を試行する光学的情報読取装置。
【請求項7】
請求項４から６のいずれか１つに記載の光学的情報読取装置において、
前記チューニング実行部は、前記カメラにより生成された読取画像に含まれるコード条件を設定し、設定したコード条件であるモジュールのピクセル数を取得し、取得したピクセル数が前記特定範囲内である場合には、前記プロセッサによる前記拡大または縮小を非実行にする光学的情報読取装置。
前記チューニング実行部は、前記カメラにより生成された読取画像に含まれるコード条件を設定し、設定したコード条件であるモジュールのピクセル数を取得し、取得したピクセル数が前記特定範囲内である場合には、前記プロセッサによる前記拡大または縮小を非実行にする光学的情報読取装置。
【請求項8】
請求項４に記載の光学的情報読取装置において、
前記記憶部は、前記プロセッサによる前記拡大率が異なる複数のパラメータセットまたは前記プロセッサによる前記縮小率が異なる複数のパラメータセットを記憶するように構成され、
前記プロセッサは、前記記憶部に記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用してデコード処理を実行する光学的情報読取装置。
前記記憶部は、前記プロセッサによる前記拡大率が異なる複数のパラメータセットまたは前記プロセッサによる前記縮小率が異なる複数のパラメータセットを記憶するように構成され、
前記プロセッサは、前記記憶部に記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用してデコード処理を実行する光学的情報読取装置。
【請求項9】
請求項１から６のいずれか１つに記載の光学的情報読取装置において、
前記プロセッサは、拡大または縮小した前記読取画像に対して、コードを特定するための情報に基づいてコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出し、抽出したコード候補領域に対応する部分画像を前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、前記記憶部に記憶された構造及びパラメータに従って前記部分画像の修復を試行し、前記修復された部分画像に対してデコード処理を実行する光学的情報読取装置。
前記プロセッサは、拡大または縮小した前記読取画像に対して、コードを特定するための情報に基づいてコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出し、抽出したコード候補領域に対応する部分画像を前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、前記記憶部に記憶された構造及びパラメータに従って前記部分画像の修復を試行し、前記修復された部分画像に対してデコード処理を実行する光学的情報読取装置。
【請求項10】
請求項１から９のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、をさらに備え、
前記第２デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出するとともに、前記画像修復部に対し、推論処理を実行するようトリガ信号を送出し、
前記画像修復部は、前記第２デコード処理部から送出されたトリガ信号を受信すると、前記第２デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記第２デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、をさらに備え、
前記第２デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出するとともに、前記画像修復部に対し、推論処理を実行するようトリガ信号を送出し、
前記画像修復部は、前記第２デコード処理部から送出されたトリガ信号を受信すると、前記第２デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記第２デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する光学的情報読取装置。
【請求項11】
請求項１０に記載の光学的情報読取装置において、
前記画像修復部による推論処理と前記第１デコード処理部による第１デコード処理は並列に実行され、前記第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は前記画像修復部による推論処理が実行されない休止期間を有する光学的情報読取装置。
前記画像修復部による推論処理と前記第１デコード処理部による第１デコード処理は並列に実行され、前記第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は前記画像修復部による推論処理が実行されない休止期間を有する光学的情報読取装置。
【請求項12】
請求項１から１１のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記第１デコード処理部は、前記第２デコード処理にかかる時間よりも短い時間で前記第１デコード処理を実行可能であり、
前記設定部は、前記第２デコード処理を実行すると設定されている場合は、前記第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定されるとともに、前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記第１デコード処理部は、前記第２デコード処理にかかる時間よりも短い時間で前記第１デコード処理を実行可能であり、
前記設定部は、前記第２デコード処理を実行すると設定されている場合は、前記第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定されるとともに、前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている光学的情報読取装置。
【請求項13】
請求項１から９のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理と、前記第１デコード処理と並列に、前記画像修復部が生成した修復画像に対する第２デコード処理を実行するデコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記デコード処理部は、前記設定部により前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理に使われる処理のリソースを前記第１デコード処理に振り分け、前記第２デコード処理を実行すると設定されている場合に比べ、前記第１デコード処理を高速化する光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理と、前記第１デコード処理と並列に、前記画像修復部が生成した修復画像に対する第２デコード処理を実行するデコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記デコード処理部は、前記設定部により前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理に使われる処理のリソースを前記第１デコード処理に振り分け、前記第２デコード処理を実行すると設定されている場合に比べ、前記第１デコード処理を高速化する光学的情報読取装置。
【請求項14】
請求項１から９のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、をさらに備え、
前記デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出し、
前記画像修復部は、前記デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行する光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、をさらに備え、
前記デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出し、
前記画像修復部は、前記デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行する光学的情報読取装置。
【請求項15】
請求項１から９のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件及び前記デコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行するチューニング実行部と、を更に備え、
前記デコード処理部は、
前記チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ前記読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してから前記ニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードする光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件及び前記デコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行するチューニング実行部と、を更に備え、
前記デコード処理部は、
前記チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ前記読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してから前記ニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードする光学的情報読取装置。
【請求項16】
請求項１から９のいずれか１つに記載の光学的情報読取装置において、
少なくともコードを照明する照明光を発生する複数の光源と、
前記光源で発生した光のうち、第１の偏光成分の光を通過させる第１偏光板と、
前記第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板と、をさらに備え、
前記カメラは、前記第１偏光板を通過し、コードから反射した光を前記第２偏光板を介して受光し、前記ワークの正反射成分を除去することにより、前記第１偏光板及び前記第２偏光板を介さない場合に比べて低コントラストな読取画像を生成し、
前記プロセッサは、前記低コントラストな読取画像を前記ニューラルネットワークに入力することにより、入力前に比べて高コントラストな修復画像に変換し、当該修復画像に対してデコード処理を実行する光学情報読取装置。
少なくともコードを照明する照明光を発生する複数の光源と、
前記光源で発生した光のうち、第１の偏光成分の光を通過させる第１偏光板と、
前記第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板と、をさらに備え、
前記カメラは、前記第１偏光板を通過し、コードから反射した光を前記第２偏光板を介して受光し、前記ワークの正反射成分を除去することにより、前記第１偏光板及び前記第２偏光板を介さない場合に比べて低コントラストな読取画像を生成し、
前記プロセッサは、前記低コントラストな読取画像を前記ニューラルネットワークに入力することにより、入力前に比べて高コントラストな修復画像に変換し、当該修復画像に対してデコード処理を実行する光学情報読取装置。
【請求項17】
請求項１から９のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、前記撮像条件及び読取対象のコードのコード条件を複数設定可能なチューニング実行部と、を更に備え、
前記記憶部は、前記チューニング実行部により設定された第１の撮像条件及びコード条件と第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件を記憶し、
前記デコード処理部は、前記記憶部に記憶されている複数の読取条件の内、前記第１の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコード処理に失敗した場合は前記第２の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコードを実行する光学情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、前記撮像条件及び読取対象のコードのコード条件を複数設定可能なチューニング実行部と、を更に備え、
前記記憶部は、前記チューニング実行部により設定された第１の撮像条件及びコード条件と第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件を記憶し、
前記デコード処理部は、前記記憶部に記憶されている複数の読取条件の内、前記第１の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコード処理に失敗した場合は前記第２の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコードを実行する光学情報読取装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報を光学的に読み取る光学的情報読取装置に関する。
【背景技術】
【0002】
近年、たとえば物品の流通経路を製造段階から消費段階あるいは廃棄段階まで追跡可能にする、いわゆるトレーサビリティが重要視されてきており、このトレーサビリティを目的としたコードリーダが普及してきている。また、トレーサビリティ以外にもコードリーダは様々な分野で利用されている。
【0003】
一般的に、コードリーダは、ワークに付されたバーコードや二次元コード等のコードをカメラによって撮影し、得られた画像に含まれるコードを画像処理によって切り出して二値化し、デコード処理して情報を読み取ることができるように構成されており、情報を光学的に読み取る装置であることから光学的情報読取装置とも呼ばれている。
【0004】
この種の光学的情報読取装置としては、例えば特許文献１に開示されているように、ロボットの視覚センサにより取得したコードの画像と、理想的なコードの画像との関係を示すモデル構造を学習する機械学習装置を備えたものが知られている。特許文献１には、運用時に視覚センサにより取得したコードの画像に、機械学習装置による学習結果を適用することで、読み取りに適した画像に修復することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６６８３６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、コードの特徴を十分に捉え、読み取りに適した画像に修復するためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。
【0007】
つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
【0008】
しかし、コードは白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されているため、広範囲でのピクセル値の関係は希薄であり、カバーするピクセル範囲を一定以上に広げても修復効果は殆ど向上しない。
【0009】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させながら、幅広いピクセル分解能のコードを含む画像の修復を可能にすることにある。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本開示の一態様では、ワークに付されたコードを読み取る光学的情報読取装置を前提とすることができる。光学的情報読取装置は、コードを撮影し、読取画像を生成するカメラと、コードの読み取りに不適切な部分を有する複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とのうち、コードを構成するモジュールのピクセル分解能が特定範囲内である前記不良画像及び前記理想画像を機械学習させることにより予め生成されたニューラルネットワークの構造及びパラメータを記憶する記憶部と、前記カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル分解能が前記特定範囲内となるように拡大または縮小した前記読取画像を、前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、前記記憶部に記憶された構造及びパラメータに従って前記読取画像の修復を試行し、前記修復された読取画像に対してデコード処理を実行するプロセッサとを備えている。
【0011】
この構成によれば、ニューラルネットワークの構造及びパラメータを生成する際に、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させる。特定範囲は、修復効果の高いピクセル分解能を含み、かつ、修復効果が殆ど向上しないピクセル分解能を除外する範囲であり、複数のモジュールで構成されたコードを含む画像の修復を前提として設定することができる。これにより、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させることができる。
【0012】
また、カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル分解能が前記特定範囲外にある場合には、特定範囲内となるように読取画像を拡大または縮小してからニューラルネットワークに入力するので、幅広いピクセル分解能のコードを含む画像の修復が可能になる。
【0013】
尚、コードに含まれるファインダパターンなど決まったモジュールパターンの配置やコード全体として四角形状であることは広範囲特徴になる得るが、モジュールと背景とを大まかに分離するだけであれば、広範囲特徴を用いることなく、狭範囲特徴のみを用いても十分に修復可能である。
【0014】
本開示の他の態様では、前記ニューラルネットワークの構造及びパラメータは、コードを構成するモジュールのピクセル数が特定範囲内である前記不良画像及び前記理想画像を機械学習させることにより予め生成されており、前記プロセッサは、前記カメラにより生成された読取画像の中のコードを構成するモジュールのピクセル数が前記特定範囲内となるように拡大または縮小した前記読取画像を、前記ニューラルネットワークに入力することができる。
【0015】
この構成によれば、特定範囲内のピクセル数に限定してニューラルネットワークを生成することで、コードを含む画像の修復により一層特化したニューラルネットワーク構造とすることができる。ピクセル数の特定範囲としては、例えば４ＰＰＣ以上６ＰＰＣ以下とすることができるが、４ＰＰＣ未満であってもよいし、６ＰＰＣよりも多くてもよい。ＰＰＣは、１つのモジュールが何ピクセル（画素）であるかを示す単位である。
【0016】
また、例えば特定範囲を４ＰＰＣ以上６ＰＰＣ以下に限定して機械学習することで、学習に用いる画像から余分なスケールの変動を排除することができ、ニューラルネットワーク構造の適正化を図ることもできる。
【0017】
本開示の他の態様では、前記カメラにより生成された読取画像を前記拡大または縮小する前に、当該読取画像に対して画像処理フィルタを実行するフィルタ処理部を更に備えているので、読取画像の拡大または縮小前に適切な画像処理を実行しておくことができ、その結果、読取画像の修復がよい的確なものになる。画像処理フィルタとしては、例えばノイズ除去フィルタ等を挙げることができる。
【0018】
本開示の他の態様では、前記光学的情報読取装置の設定時に、拡大率を変えた複数の読取画像または縮小率を変えた複数の読取画像を生成し、生成した複数の読取画像を前記ニューラルネットワークに入力して各読取画像の修復を試行し、修復された各読取画像に対してデコード処理を実行して読取余裕度を求め、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定するチューニング実行部を光学的情報読取装置が更に備えている。前記プロセッサは、前記光学的情報読取装置の運用時に、前記チューニング実行部が特定した拡大率または縮小率に前記読取画像を拡大または縮小することができる。
【0019】
すなわち、前記特定範囲にある程度の広さがある場合、その特定範囲内であっても拡大率や縮小率を変えると、読取余裕度が変化することが考えられる。本構成では、読取余裕度が所定よりも高くなるように、運用時における読取画像の拡大率または縮小率を特定することができるので、処理速度及び読み取り精度が向上する。
【0020】
本開示の他の態様では、前記チューニング実行部は、各読取画像の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定するので、処理速度及び読み取り精度が更に向上する。
【0021】
本開示の他の態様では、前記記憶部が、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けて記憶している。前記カメラにより生成された読取画像に含まれるコード条件を設定し、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータを前記記憶部から読み出して運用時に使用するニューラルネットワークとして特定するチューニング実行部を光学的情報読取装置が更に備えている。前記プロセッサは、前記光学的情報読取装置の運用時に、前記チューニング実行部が特定したニューラルネットワークで前記読取画像の修復を試行することができる。
【0022】
すなわち、ニューラルネットワークの層の数またはフィルタの数は、コード条件、特にＰＰＣによって最適な数を事前に特定しておくことができるので、これらを関連付けておくことができる。そして、光学的情報読取装置の設定時にコード条件を特定すれば、そのコード条件に関連付けられたニューラルネットワークの構造及びパラメータも特定することができる。したがって、コード条件に最適なニューラルネットワークの構造及びパラメータで修復を試行できるので、読み取り精度を高めることができる。
【0023】
本開示の他の態様では、前記チューニング実行部は、前記カメラにより生成された読取画像に含まれるコード条件を設定し、設定したコード条件であるモジュールのピクセル数を取得し、取得したピクセル数が前記特定範囲内である場合には、前記プロセッサによる前記拡大または縮小を非実行にするので、モジュールのピクセル数が特定範囲外にあるときのみ拡大または縮小することができる。
【0024】
本開示の他の態様では、前記記憶部は、前記プロセッサによる前記拡大率が異なる複数のパラメータセットまたは前記プロセッサによる前記縮小率が異なる複数のパラメータセットを記憶するように構成されている。前記プロセッサは、前記記憶部に記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用してデコード処理を実行することができる。これにより、例えばコードのモジュールのピクセル数が変化した場合に、ピクセル数に対応した拡大率または縮小率のパラメータを適用して光学的情報読取装置を運用することができる。
【0025】
本開示の他の態様では、前記プロセッサが、拡大または縮小した前記読取画像に対して、コードを特定するための情報に基づいてコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出し、抽出したコード候補領域に対応する部分画像を前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、前記記憶部に記憶された構造及びパラメータに従って前記部分画像の修復を試行し、前記修復された部分画像に対してデコード処理を実行する。
【0026】
この構成によれば、ニューラルネットワークに入力する画像のサイズを小さくすることができる。これにより、プロセッサの演算負荷が軽くなり、ひいては処理速度の高速化が実現される。また、部分画像は、コードが存在する可能性が高い領域に対応しているので、読み取りに必要な情報、即ちコードの全体を含んだ画像とすることが可能である。このコードの全体を含んだ画像をニューラルネットワークに入力するので、読み取り精度の低下は抑制される。
【0027】
本開示の他の態様では、ニューラルネットワークに読取画像を入力し、読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部とをさらに備えている。第２デコード処理部は、読取画像からコード候補領域を抽出するとともに、画像修復部に対し、推論処理を実行するようトリガ信号を送出する。画像修復部は、第２デコード処理部から送出されたトリガ信号を受信すると、コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する。第２デコード処理部は、修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行することができる。つまり、推論処理されていない通常の読取画像のデコードを第１デコード処理部が実行し、また、推論処理による修復画像の生成を画像修復部が実行し、また、推論処理により修復された修復画像のデコードを第２デコード処理部が実行することで、それぞれに適した処理回路を構築して処理速度の高速化を図ることができる。加えて、画像修復部は、コード候補領域に対応する部分画像を修復すればよいので、処理速度の更なる高速化が可能になる。
【0028】
本開示の他の態様では、画像修復部による推論処理と、第１デコード処理部による第１デコード処理を並列に実行することで、処理速度の高速化を図ることができる。また、第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は、画像修復部による推論処理が実行されない休止期間を有しているので、画像修復部の負荷低減や、発熱を抑制できる。この場合、第２デコード処理部は、複数のコアで構成されていてもよい。
【0029】
本開示の他の態様では、第１デコード処理部は、第２デコード処理にかかる時間よりも短い時間で第１デコード処理を実行できる。また、設定部により、第２デコード処理を実行するか否か、即ち、修復画像のデコード処理を実行するか否かを切り替えることができる。第２デコード処理は、修復画像のデコード処理を実行するため、通常の読取画像のデコード処理を実行する第１デコード処理に比べて処理にかかる時間が長い。これを前提としたとき、第２デコード処理を実行すると設定されている場合は、第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間（デコード制限時間）を設定することができる。一方、第２デコード処理を実行しないと設定されている場合は、第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定することができるので、修復画像に対するデコードがデコードタイムアウト時間を超過すると、速やかに次に撮像された画像のデコード処理に移行できる。
【0030】
本開示の他の態様に係るデコード処理部は、カメラにより生成された読取画像に対する第１デコード処理と並列に、修復画像に対する第２デコード処理を実行できるので、読取画像と修復画像とが混在していても、処理速度を高速化できる。このデコード処理部は、設定部により第２デコード処理を実行しないと設定されている場合は、第２デコード処理に使われる処理のリソースを第１デコード処理に振り分けることができる。処理のリソースとは、例えばメモリの使用領域や、マルチコアＣＰＵを構成しているコア等であり、第２デコード処理に使われる処理のリソースとしてメモリ領域やコアが予め設定されている場合に、第２デコード処理を実行しないと設定されると、そのメモリ領域やコアを第１デコード処理に使うことができるので、第１デコード処理をより一層高速化できる。
【0031】
本開示の他の態様に係るデコード処理部は、読取画像からコードが存在する可能性が高いコード候補領域を抽出する。画像修復部は、コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する。デコード処理部は、画像修復部が生成した修復画像に基づいてグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行する。すなわち、修復画像の生成には時間がかかる場合が多いので、修復画像の生成前に、例えばコードらしさを示す特徴量に基づいてコード候補領域を抽出しておくことで、修復画像の生成に要する時間を短縮できる。また、グリッド位置の決定は修復後の画像に基づいて高精度に実行できるので、読取性能が向上する。
【0032】
本開示の他の態様では、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行する。デコード処理部は、チューニング処理で設定されたコードの大きさに基づき、読取画像の中からコード候補領域を含む抽出画像のサイズを決定できる。その抽出画像を予め定められたサイズの画像に拡大・縮小してニューラルネットワークに入力することで、ニューラルネットワークに入力されるコード画像のＰＰＣを所定の範囲内に収めることができ、ニューラルネットワークによる画像修復効果を安定的に引き出すことができる。また、読取対象のコードサイズは様々であることが考えられるが、最終的にニューラルネットワークに入力されるコードのサイズを固定できるので、処理の高速性とデコードのし易さのバランスを一定以上に保つことができる。
【0033】
本開示の他の態様に係るカメラは、第１偏光板を通過し、コードから反射した光を第２偏光板を介して受光し、第１偏光板及び第２偏光板を介さない場合に比べて低コントラストな読取画像を生成する。偏光板を使用することで、ワークの正反射成分が除去されるので、正反射成分の影響が軽減された読取画像を取得できる。例えば金属ワークを撮像した場合のように正反射成分が多くなる画像に偏光板は適しているものの、光量の低下によって読取画像が暗くなり、コントラストが低下することがある。このような場合に、ニューラルネットワークの推論処理によって高コントラストな修復画像に変換することで、読取性能が向上する。
【0034】
本開示の他の態様では、チューニング実行部により、第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件を設定することができる。デコード処理部は、第１の撮像条件及びコード条件で生成された読取画像をニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコード処理に失敗した場合は、第１の撮像条件及びコード条件とは異なる第２の撮像条件及びコード条件で生成された読取画像をニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコードを実行することができる。
【発明の効果】
【0035】
以上説明したように、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させることにより予め生成されたニューラルネットワークに、読取画像の中のコードを構成するモジュールのピクセル分解能が特定範囲内となるように拡大または縮小した読取画像を入力し、当該ニューラルネットワークにより読取画像の修復を試行することができる。これにより、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させながら、幅広いピクセル分解能のコードを含む画像の修復を試行できる。
【図面の簡単な説明】
【0036】
【図1】定置式の光学的情報読取装置の運用時を説明する図である。
【図2】定置式の光学的情報読取装置の斜視図である。
【図3】光学的情報読取装置のブロック図である。
【図4】手持ち式の光学的情報読取装置の斜視図である。
【図5】プロセッサによって構成される各部を説明する図である。
【図6】ニューラルネットワークの概念図である。
【図7】ニューラルネットワークの学習時の基本手順の一例を示すフローチャートである。
【図8】不良画像と理想画像のペアを示し、（Ａ）は不良画像、（Ｂ）は理想画像の例である。
【図9】画像変換に用いられる畳み込みニューラルネットワークの概念図である。
【図10】光学的情報読取装置の設定時に行われるチューニング工程の手順の一例を示すフローチャートである。
【図11】縮小率及び拡大率決定前のデコード処理手順の一例を示すフローチャートである。
【図12】縮小率及び拡大率決定後のデコード処理手順の一例を示すフローチャートである。
【図13】（Ａ）はカメラで生成された読取画像の例を示し、（Ｂ）は画像処理フィルタ実行後の画像の例を示す図である。
【図14】（Ａ）は縮小処理後の画像の例を示し、（Ｂ）はコード領域抽出後の画像の例を示す図である。
【図15】ニューラルネットワークによる読取画像の修復例を示す図である。
【図16】その他の実施形態に係るデコード処理手順の一例を示す図である。
【図17】第１デコード処理部及び第２デコード処理部によるデコード処理のタイムチャートである。
【図18】デコード処理部によるデコード処理のタイムチャートである。
【図19】第１デコード処理及び第２デコード処理の一例を示すフローチャートである。
【図20】各処理の画像例を示す図である。
【図21】複数のニューラルネットワークを用いてコードの白黒反転に対応する場合について説明する図である。
【図22】１つのニューラルネットワークを用いてコードの白黒反転に対応する場合について説明する図である。
【図23】コントラストとマッチングレベルの関係を示すグラフである。
【図24】マッチングレベルの算出処理の一例を示すフローチャートである。
【図25】表示部に表示されるユーザインターフェースの例を示す図である。
【図26】ＡＩチップ付き撮像素子を用いた例を示す図である。
【発明を実施するための形態】
【0037】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0038】
（定置式の光学的情報読取装置）
図１は、本発明の実施形態に係る定置式の光学的情報読取装置１の運用時を模式的に示す図である。この例では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における矢印Ｙの方向へ搬送されており、そのワークＷから上方へ離れた所に、実施形態に係る光学的情報読取装置１が設置されている。光学的情報読取装置１は、ワークＷに付されているコードを撮影し、撮影された画像に含まれるコードをデコード処理して情報を読み取ることができるように構成されたコードリーダである。図１に示す例では、光学的情報読取装置１が定置式の場合である。この定置式の光学的情報読取装置１の運用時には、光学的情報読取装置１が動かないようにブラケット等（図示せず）に固定して使用する。尚、定置式の光学的情報読取装置１をロボット（図示せず）が把持した状態で使用してもよい。また、静止状態にあるワークＷのコードを光学的情報読取装置１によって読み取るようにしてもよい。定置式の光学的情報読取装置１の運用時とは、搬送用ベルトコンベアＢによって搬送されるワークＷのコードを順に読み取る動作を行っている時である。
図１は、本発明の実施形態に係る定置式の光学的情報読取装置１の運用時を模式的に示す図である。この例では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における矢印Ｙの方向へ搬送されており、そのワークＷから上方へ離れた所に、実施形態に係る光学的情報読取装置１が設置されている。光学的情報読取装置１は、ワークＷに付されているコードを撮影し、撮影された画像に含まれるコードをデコード処理して情報を読み取ることができるように構成されたコードリーダである。図１に示す例では、光学的情報読取装置１が定置式の場合である。この定置式の光学的情報読取装置１の運用時には、光学的情報読取装置１が動かないようにブラケット等（図示せず）に固定して使用する。尚、定置式の光学的情報読取装置１をロボット（図示せず）が把持した状態で使用してもよい。また、静止状態にあるワークＷのコードを光学的情報読取装置１によって読み取るようにしてもよい。定置式の光学的情報読取装置１の運用時とは、搬送用ベルトコンベアＢによって搬送されるワークＷのコードを順に読み取る動作を行っている時である。
【0039】
また、各ワークＷの外面にはコードが付されている。コードには、バーコード及び二次元コードの両方が含まれる。二次元コードとしては、たとえば、ＱＲコード（登録商標）、マイクロＱＲコード、データマトリクス（Ｄａｔａ ｍａｔｒｉｘ；Ｄａｔａ ｃｏｄｅ）、ベリコード（Ｖｅｒｉ ｃｏｄｅ）、アズテックコード（Ａｚｔｅｃ ｃｏｄｅ）、ＰＤＦ４１７、マキシコード（Ｍａｘｉ ｃｏｄｅ）などがある。二次元コードにはスタック型とマトリクス型があるが、本発明はいずれの二次元コードに対しても適用できる。コードは、ワークＷに直接印刷あるいは刻印することによって付してもよいし、ラベルに印刷した後にワークＷに貼付することによって付してもよく、その手段、方法は問わない。
【0040】
光学的情報読取装置１は、コンピュータ１００及びプログラマブル・ロジック・コントローラ（ＰＬＣ）１０１にそれぞれ信号線１００ａ、１０１ａによって有線接続されているが、これに限らず、光学的情報読取装置１、コンピュータ１００及びＰＬＣ１０１に通信モジュールを内蔵し、光学的情報読取装置１と、コンピュータ１００及びＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送用ベルトコンベアＢ及び光学的情報読取装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。コンピュータ１００は、汎用あるいは専用の電子計算機や携帯型端末等を利用することができる。
【0041】
また、光学的情報読取装置１は、その運用時において、ＰＬＣ１０１から信号線１０１ａを介して、コード読取の開始タイミングを規定する読取開始トリガ信号を受信する。そして、光学的情報読取装置１は、この読取開始トリガ信号に基づいてコードの撮像やデコードを行う。その後、デコードした結果は、信号線１０１ａを介してＰＬＣ１０１へ送信される。このように、光学的情報読取装置１の運用時には、光学的情報読取装置１とＰＬＣ１０１等の外部制御装置との間で、信号線１０１ａを介して読取開始トリガ信号の入力とデコード結果の出力が繰り返し行われる。なお、読取開始トリガ信号の入力やデコード結果の出力は、上述したように、光学的情報読取装置１とＰＬＣ１０１との間の信号線１０１ａを介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークＷの到着を検知するためのセンサと光学的情報読取装置１とを直接的に接続し、そのセンサから光学的情報読取装置１へ読取開始トリガ信号を入力するようにしてもよい。
【0042】
図２に示すように、光学的情報読取装置１は、箱状のハウジング２と、偏光フィルタアタッチメント３と、照明部４と、カメラ５と、表示部６と、電源コネクタ７と、信号線コネクタ８とが設けられている。さらに、ハウジング２には、インジケータ９と、エイマー光照射部（光照射部）１０と、操作ボタン１１、１２とが設けられており、インジケータ９、エイマー光照射部１０及び操作ボタン１１、１２も光学的情報読取装置１の構成要素である。
【0043】
ハウジング２は、所定方向に長い形状となっているが、ハウジング２の形状は図示した形状に限られるものではない。ハウジング２の前側の外面には、偏光フィルタアタッチメント３が脱着可能に取り付けられている。このハウジング２の内部に、照明部４、カメラ５、エイマー光照射部１０、プロセッサ２０、記憶部３０、ＲＯＭ４０、ＲＡＭ４１等が収容されている。プロセッサ２０、記憶部３０、ＲＯＭ４０及びＲＡＭ４１も光学的情報読取装置１の構成要素である。
【0044】
ハウジング２の前側には、照明部４が設けられている。照明部４は、光学的情報読取装置１の前方へ向けて光を照射することによってワークＷの少なくともコードを照明するための部分である。図３にも示すように、照明部４は、複数の発光ダイオード（(ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）からなる第１照明部４ａと、複数の発光ダイオードからなる第２照明部４ｂと、第１照明部４ａ及び第２照明部４ｂを駆動するＬＥＤドライバ等からなる照明駆動部４ｃとを備えている。第１照明部４ａ及び第２照明部４ｂは、照明駆動部４ｃにより個別に駆動され、別々に点灯及び消灯させることができるようになっている。照明駆動部４ｃはプロセッサ２０に接続されており、プロセッサ２０によって照明駆動部４ｃが制御されるようになっている。尚、第１照明部４ａ及び第２照明部４ｂのうち、一方を省略してもよい。
【0045】
図２に示すように、ハウジング２の前側の中央部には、カメラ５が設けられている。カメラ５の光軸方向は、照明部４による光の照射方向と略一致している。カメラ５は、コードを撮影し、読取画像を生成する部分である。図３に示すように、カメラ５は、ワークＷに付されていて上記照明部４によって照明されているコードからの反射光を受光する撮像素子５ａと、レンズ等を有する光学系５ｂと、ＡＦモジュール（オートフォーカスモジュール）５ｃとを備えている。光学系５ｂには、ワークＷのコードが付された部分から反射した光が入射するようになっており、入射した光は撮像素子５ａへ向けて出射されて撮像素子５ａの撮像面上で結像する。
【0046】
撮像素子５ａは、光学系５ｂを通して得られたコードの画像を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の受光素子からなるイメージセンサである。撮像素子５ａはプロセッサ２０に接続されていて、撮像素子５ａによって変換された電気信号は、読取画像のデータとしてプロセッサ２０に入力される。また、ＡＦモジュール５ｃは、光学系５ｂを構成するレンズのうち、合焦用レンズの位置や屈折率を変更することによってピント合わせを行う機構である。ＡＦモジュール５ｃもプロセッサ２０に接続され、プロセッサ２０により制御される。
【0047】
図２に示すように、ハウジング２の側面には表示部６が設けられている。表示部６は、たとえば有機ＥＬディスプレイや液晶ディスプレイ等からなるものである。表示部６は、プロセッサ２０に接続され、たとえば撮像部５で撮像されたコード、コードのデコード結果である文字列、読み取り成功率、マッチングレベル等を表示させることができる。読み取り成功率とは、複数回読み取り処理を実行したときの平均読み取り成功率である。マッチングレベルとは、デコードが成功したコードの読み取りのしやすさを示す読取余裕度である。これはデコード時に発生した誤り訂正の数等から求めることができ、たとえば数値で表すことができる。誤り訂正が少なければ少ないほどマッチングレベル（読取余裕度）が高くなり、一方、誤り訂正が多ければ多いほどマッチングレベル（読取余裕度）が低くなる。
【0048】
電源コネクタ７には、光学的情報読取装置１に外部から電源を供給するための電源ケーブル（図示せず）が接続される。また、信号線コネクタ８には、コンピュータ１００及びＰＬＣ１０１と通信を行うための信号線１００ａ、１０１ａ等が接続される。信号線コネクタ８は、例えばＥｔｈｅｒｎｅｔコネクタ、ＲＳ２３２Ｃ等のシリアル通信用コネクタ、ＵＳＢコネクタ等で構成することができる。
【0049】
ハウジング２には、インジケータ９が設けられている。インジケータ９は、プロセッサ２０に接続されていて、たとえば発光ダイオード等の発光体で構成することができる。光学的情報読取装置１の作動状態をインジケータ９の点灯状態によって外部に報知することができる。
【0050】
ハウジング２の前側には、カメラ５を挟むように一対のエイマー光照射部１０が設けられている。図３に示すように、エイマー光照射部１０は、発光ダイオード等からなるエイマー１０ａと、エイマー１０ａを駆動するエイマー駆動部１０ｂとを備えている。エイマー１０ａは、光学的情報読取装置１の前方へ向けて光（エイマー光）を照射することによってカメラ５の撮影範囲や視野中心、照明部４の光軸の目安等を示すためのものである。具体的には、エイマー１０ａは、カメラ５の撮影視野範囲内へ向けて環境光とは異なる色（例えば赤色や緑色等）の可視光を照射し、その可視光が照射された面に肉眼で視認可能な目印を形成する。目印は各種図形や記号、文字等であってもよい。ユーザは、エイマー１０ａから照射される光を参照して光学的情報読取装置１を設置することもできる。
【0051】
図２に示すように、ハウジング２の側面には、光学的情報読取装置１の設定時等に使用する操作ボタン１１、１２が設けられている。操作ボタン１１、１２は、例えばセレクトボタンやエンターボタン等を含んでいる。操作ボタン１１、１２以外にも、例えばタッチパネル式の操作手段が設けられていてもよい。操作ボタン１１、１２はプロセッサ２０に接続されていて、プロセッサ２０は操作ボタン１１、１２の操作状態を検出可能になっている。操作ボタン１１、１２の操作により、表示部６に表示された複数の選択肢の中から１つを選択することや、選択した結果を確定することができる。
【0052】
（手持ち式の光学的情報読取装置）
上述した例では、光学的情報読取装置１が定置式である場合を示したが、本発明は定置式の光学的情報読取装置１以外にも適用可能である。図４は、手持ち式の光学的情報読取装置１Ａを示すものであり、この図に示すような手持ち式の光学的情報読取装置１Ａにも本発明を適用することができる。
上述した例では、光学的情報読取装置１が定置式である場合を示したが、本発明は定置式の光学的情報読取装置１以外にも適用可能である。図４は、手持ち式の光学的情報読取装置１Ａを示すものであり、この図に示すような手持ち式の光学的情報読取装置１Ａにも本発明を適用することができる。
【0053】
手持ち式の光学的情報読取装置１Ａのハウジング２Ａは、上下方向に長い形状とされている。尚、光学的情報読取装置１Ａの使用時の向きは図示した向きに限定されるものではなく、様々な向きで使用可能であるが、説明の便宜上、光学的情報読取装置１Ａの上下方向を特定している。
【0054】
ハウジング２Ａの上側部分には、表示部６Ａが設けられている。表示部６Ａは、定置式の光学的情報読取装置１の表示部６と同様に構成されている。ハウジング２Ａの下側部分は、運用時にユーザが把持するための把持部２Ｂである。把持部２Ｂは、一般的な成人が片手で握るようにして持つことが可能な部分であり、形状や大きさは自由に設定できる。この把持部２Ｂを持つことで、光学的情報読取装置１Ａを携帯して移動することができる。つまり、この光学的情報読取装置１Ａは、携帯型端末装置であり、例えばハンディターミナルと呼ぶこともできるものである。
【0055】
定置式の光学的情報読取装置１と同様に、手持ち式のハウジング２Ａにも、照明部、カメラ、エイマー光照射部、プロセッサ、記憶部、ＲＯＭ、ＲＡＭ等（図示せず）が収容されている。照明部の光軸、カメラの光軸、エイマー光照射部の光軸は、ハウジング２Ａの上端近傍から斜め上方に向いている。また、手持ち式のハウジング２Ａには、ブザー（図示せず）も設けられている。
【0056】
把持部２Ｂやその近傍には、複数の操作ボタン１１Ａ及びトリガーキー１１Ｂが設けられている。操作ボタン１１Ａは、定置式の光学的情報読取装置１の操作ボタン１１等と同様である。ユーザが光学読取装置１Ａの先端（上端）をワークＷに向けてトリガーキー１１Ｂを押下すれば、光学読取装置１Ａの先端からエイマー光が照射される。ユーザは、ワークＷの表面で反射されるエイマー光を目視しながら光学読取装置１Ａの向きを調整し、エイマー光を読取対象のコードに合わせれば、コードの読み取り及びデコード処理が自動的に行われる。読み取りが完了すると、ブザーから完了報知音が発せられる。
【0057】
手持ち式の光学的情報読取装置１Ａの使用例として、物流倉庫内におけるピッキング作業に手持ち式の光学的情報読取装置１Ａを用いる例がある。例えば、受注した商品を物流倉庫から発送する場合、商品倉庫内の商品棚から必要な商品がピッキングされる。このピッキング作業は、コードが記載された受注伝票を持ったユーザが、商品棚まで移動した後、受注伝票のコードと、商品又は商品棚に付されたコードとを照合しながら行われる。この場合、受注伝票のコードと、商品又は商品棚に付されたコードとを交互に手持ち式の光学的情報読取装置１Ａで読み取る。
【0058】
（プロセッサの構成）
以下の説明は、定置式の光学的情報読取装置１と、手持ち式の光学的情報読取装置１Ａとで共通しており、特に断りがなければ、いずれの装置１、１Ａでも適用できる。図３に示すように、プロセッサ２０は、ＣＰＵコア２１と、ＤＳＰコア２２と、ＡＩチップ２３とを備えている。ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、１つの基板上に実装されている。尚、ＤＳＰコア２２やＡＩチップ２３は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されない形態となるが、その場合も本発明の範囲に含まれる。
以下の説明は、定置式の光学的情報読取装置１と、手持ち式の光学的情報読取装置１Ａとで共通しており、特に断りがなければ、いずれの装置１、１Ａでも適用できる。図３に示すように、プロセッサ２０は、ＣＰＵコア２１と、ＤＳＰコア２２と、ＡＩチップ２３とを備えている。ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、１つの基板上に実装されている。尚、ＤＳＰコア２２やＡＩチップ２３は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されない形態となるが、その場合も本発明の範囲に含まれる。
【0059】
ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３には、高速なＲＡＭ４１が接続されており、ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３のいずれもＲＡＭ４１にアクセス可能となっている。また、プロセッサ２０には、ＲＯＭ４０が接続されており、ＣＰＵコア２１、ＤＳＰコア２２及びＡＩチップ２３のいずれもＲＯＭ４０にアクセス可能となっている。
【0060】
ＣＰＵコア２１は、汎用プロセッサであり、例えばＡＦ制御、照明制御、カメラ制御、読取画像に対するデコード処理等を実行する部分である。ＤＳＰコア２２は、例えば読取画像に対して各種フィルタ処理等を実行する部分である。ＡＩチップ２３は、ニューラルネットワークによる読取画像の修復の試行専用の集積回路であり、ニューラルネットワークによる処理に必要な積和演算を超高速に実行することに特化したものである。
【0061】
図５に示すように、プロセッサ２０により、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード処理部２０ｆ、抽出部２０ｇ、縮小部２０ｈ、拡大部２０ｉ及び画像修復部２０ｊが構成される。ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード処理部２０ｆ、抽出部２０ｇ、縮小部２０ｈ及び拡大部２０ｉは、ＣＰＵコア２１またはＤＳＰコア２２の演算処理によって構成される部分である。一方、画像修復部２０ｊは、ＡＩチップ２３によって構成される部分である。
【0062】
（ＡＦ制御部の構成）
ＡＦ制御部２０ａは、図３に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。
ＡＦ制御部２０ａは、図３に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。
【0063】
（撮像制御部の構成）
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１照明部４ａと第２照明部４ｂを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１照明部４ａと第２照明部４ｂを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。
【0064】
（フィルタ処理部の構成）
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分である。フィルタ処理部２０ｃは、カメラ５により生成された画像に含まれるノイズを除去するノイズ除去フィルタや、コントラストを補正するコントラスト補正フィルタ、平均化フィルタ等を実行する。フィルタ処理部２０ｃが実行する画像処理フィルタは、ノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタに限られるものではなく、他の画像処理フィルタを含んでいてもよい。
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分である。フィルタ処理部２０ｃは、カメラ５により生成された画像に含まれるノイズを除去するノイズ除去フィルタや、コントラストを補正するコントラスト補正フィルタ、平均化フィルタ等を実行する。フィルタ処理部２０ｃが実行する画像処理フィルタは、ノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタに限られるものではなく、他の画像処理フィルタを含んでいてもよい。
【0065】
フィルタ処理部２０ｃは、後述する画像修復前の読取画像に対して画像処理フィルタを実行するように構成されている。また、フィルタ処理部２０ｃは、後述する拡大、縮小前の読取画像に対して画像処理フィルタを実行するように構成されている。尚、フィルタ処理部２０ｃは、画像修復後の読取画像に対して画像処理フィルタを実行するように構成されていてもよいし、拡大、縮小後の読取画像に対して画像処理フィルタを実行するように構成されていてもよい。
【0066】
（チューニング実行部の構成）
図５に示すチューニング実行部２０ｄは、カメラ５の撮像条件及びデコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行する。具体的には、チューニング実行部２０ｄは、光学的情報読取装置１、１Ａの設定時に、カメラ５のゲイン、照明部４の光量及び露光時間等の撮像条件や、フィルタ処理部２０ｃにおける画像処理条件を変更してデコードに適した条件となるように各種条件（チューニングパラメータ）を設定する部分である。フィルタ処理部２０ｃにおける画像処理条件とは、画像処理フィルタの係数（フィルタの強弱）や、複数の画像処理フィルタがある場合に画像処理フィルタの切替、種類の異なる画像処理フィルタの組み合わせ等である。搬送時のワークＷに対する外光の影響や、コードが付されている面の色及び材質等によって適切な撮像条件及び画像処理条件は異なる。よって、チューニング実行部２０ｄは、より適切な撮像条件及び画像処理条件を探索して、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃによる処理を設定する。
図５に示すチューニング実行部２０ｄは、カメラ５の撮像条件及びデコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行する。具体的には、チューニング実行部２０ｄは、光学的情報読取装置１、１Ａの設定時に、カメラ５のゲイン、照明部４の光量及び露光時間等の撮像条件や、フィルタ処理部２０ｃにおける画像処理条件を変更してデコードに適した条件となるように各種条件（チューニングパラメータ）を設定する部分である。フィルタ処理部２０ｃにおける画像処理条件とは、画像処理フィルタの係数（フィルタの強弱）や、複数の画像処理フィルタがある場合に画像処理フィルタの切替、種類の異なる画像処理フィルタの組み合わせ等である。搬送時のワークＷに対する外光の影響や、コードが付されている面の色及び材質等によって適切な撮像条件及び画像処理条件は異なる。よって、チューニング実行部２０ｄは、より適切な撮像条件及び画像処理条件を探索して、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃによる処理を設定する。
【0067】
チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコードのサイズを取得可能に構成されている。コードのサイズを取得する場合、始めに、チューニング実行部２０ｄは、コードらしさを示す特徴量に基づいてコードを探索する。次いで、チューニング実行部２０ｄは、探索したコードのＰＰＣ、コード種、コードサイズ等を取得する。ＰＰＣ、コード種、コードサイズ等は、コードパラメータまたはコード条件に含まれるものであり、従って、チューニング実行部２０ｄは、探索したコードのコードパラメータまたはコード条件を取得可能に構成されている。
【0068】
二次元コードは、複数の白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されている。例えば、ＱＲコードのモデル２ではモジュール数は２１×２１～１７７×１７７まである。定置式の光学的情報読取装置１の場合は事前に読み取り対象のコードを読み取ることで、モジュール数やＰＰＣを限定し、コードの大きさ（ピクセルサイズ）をモジュール数×ＰＰＣに限定して運用する。
【0069】
コードを構成するモジュールのうち、１つのモジュールに着目した時、そのモジュールがいくつのピクセル（画素）で構成されているかを示すコードパラメータがＰＰＣである。チューニング実行部２０ｄは、１つのモジュールを特定した後、１つのモジュールを構成している画素数をカウントすることで、ＰＰＣを取得できる。
【0070】
コード種は、例えばＱＲコード、データマトリクスコード、ベリコードといったコードの種類のことである。各コードには特徴があるので、チューニング実行部２０ｄは、例えばファインダパターンの有無等によってコード種を判別することが可能である。
【0071】
また、コードサイズは、コードの縦または横方向に並ぶモジュールの数とＰＰＣとによって算出できる。チューニング実行部２０ｄは、コードの縦または横方向に並ぶモジュールの数を算出するとともに、ＰＰＣを算出し、縦または横方向に並ぶモジュールの数とＰＰＣとを積算することによってコードサイズを取得できる。
【0072】
（デコード処理部の構成）
デコード処理部２０ｆは、白黒の二値化されたデータをデコードする部分である。デコードには、符号化されたデータの対照関係を示すテーブルを使用することができる。さらに、デコード処理部２０ｆは、デコードした結果が正しいか否かを所定のチェック方式に従ってチェックする。データに誤りが発見された場合にはエラー訂正機能を使用して正しいデータを演算する。エラー訂正機能はコードの種類によって異なる。
デコード処理部２０ｆは、白黒の二値化されたデータをデコードする部分である。デコードには、符号化されたデータの対照関係を示すテーブルを使用することができる。さらに、デコード処理部２０ｆは、デコードした結果が正しいか否かを所定のチェック方式に従ってチェックする。データに誤りが発見された場合にはエラー訂正機能を使用して正しいデータを演算する。エラー訂正機能はコードの種類によって異なる。
【0073】
この実施形態では、デコード処理部２０ｆは、後述する画像修復後の読取画像に含まれるコードをデコードするが、画像修復前の読取画像に含まれるコードをデコードすることもできる。デコード処理部２０ｆは、コードをデコードして得られたデコード結果を図３に示す記憶部３０のデコード結果記憶部３０ｂに書き込むように構成されている。
【0074】
（抽出部の構成）
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。
【0075】
抽出部２０ｇは、エイマー光照射部１０から照射されたエイマー光の位置情報を、コードを特定するための情報として利用し、コード候補領域を抽出することもできる。この場合、抽出部２０ｇは、読取画像の中から、エイマー光照射部１０により形成された目印に対応する部分を特定し、当該特定された部分をコード候補領域として抽出する。すなわち、上述したように、エイマー光はカメラ５の撮影範囲や視野中心を示すためのものであることから、エイマー光によって形成される目印は、予めカメラ５の視野中心と一致させておくことが可能である。特に、手持ち式の光学的情報読取装置１Ａの場合、ユーザはエイマー光を読取対象のコードに合わせるので、エイマー光によって形成される目印は、コードと重なっている確率が高い。つまり、エイマー光照射部１０により形成された目印に対応する部分をカメラ５の視野中心と一致させておくことで、抽出部２０ｇがカメラ５の視野中心を含む領域を抽出すると、その領域はコードが存在する可能性が高い領域となる。この場合、エイマー光照射部１０により形成された目印に対応する部分をカメラ５の視野中心と完全に一致させておかなくてもよく、視野の縦方向または横方向に多少ずれていてもよい。また、コードは所定の大きさを有しているので、抽出部２０ｇが抽出する領域は、カメラ５の視野中心だけではなく、視野中心を含む所定の大きさを持った領域である。
【0076】
抽出部２０ｇは、読取画像の中心部分を特定し、当該中心部分をコード候補領域として抽出することもできる。例えば、カメラ５の視野中心を、コードを特定するための情報として予め取得しておくことで、このカメラ５の視野中心となる部分を読取画像上で特定することができる。特に、手持ち式の光学的情報読取装置１Ａの場合、読取画像上で特定した中心部分は、エイマー光照射部１０により形成された目印に対応しているので、その中心部分はコードが存在する可能性が高い領域となる。
【0077】
抽出部２０ｇは、読取画像の中から、ユーザによる所定の部分の指定を受け付けるように構成することができ、当該指定された部分をコード候補領域として抽出することができる。すなわち、ユーザは読取画像上の任意の位置（座標）で任意の大きさの領域指定を行うと、抽出部２０ｇは、その位置の座標及び大きさの情報に基づいて読取画像の中から所定の部分の指定を受け付ける。抽出部２０ｇは、受け付けた部分をコード候補領域として抽出する。例えば、定置式の光学的情報読取装置１の場合、図１に示すように搬送用ベルトコンベアＢによって搬送されているワークＷを撮影してコードのデコード処理を実行することになるが、搬送用ベルトコンベアＢの幅方向中央部にワークＷが存在しているとは限らず、端にワークＷが存在していることがあり、この場合には、読取画像の中から、搬送用ベルトコンベアＢの端に対応する部分を指定することで、コードが存在する可能性が高い領域として的確な抽出が可能になる。その他にも、大きなワークＷで、その中央部から離れた端近傍にコードが表示されている場合もあり、この場合には、読取画像の中から、ワークＷの端近傍に対応する部分を指定することで、コードが存在する可能性が高い領域として的確な抽出が可能になる。
【0078】
（記憶部の構成）
図３に示す記憶部３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができるが、以下に示す各記憶部３０ａ、３０ｂ、３０ｃ、３０ｄは、上記記憶装置ではなく、ＲＯＭ４０に設けられていてもよい。すなわち、本実施形態では、画像データ記憶部３０ａと、デコード結果記憶部３０ｂと、パラメータセット記憶部３０ｃと、ニューラルネットワーク記憶部３０ｄとがＲＯＭ４０に含まれている形態も対象である。画像データ記憶部３０ａは、カメラ５で生成された読取画像を記憶する部分である。デコード結果記憶部３０ｂは、デコード処理部２０ｆで実行されたコードのデコード結果を記憶する部分である。パラメータセット記憶部３０ｃは、チューニング実行部２０ｄが実行したチューニングの結果、設定された各種条件やユーザが設定した各種条件を記憶する部分である。ニューラルネットワーク記憶部３０ｄは、後述する学習済みのニューラルネットワークの構造及びパラメータを記憶する部分である。
図３に示す記憶部３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができるが、以下に示す各記憶部３０ａ、３０ｂ、３０ｃ、３０ｄは、上記記憶装置ではなく、ＲＯＭ４０に設けられていてもよい。すなわち、本実施形態では、画像データ記憶部３０ａと、デコード結果記憶部３０ｂと、パラメータセット記憶部３０ｃと、ニューラルネットワーク記憶部３０ｄとがＲＯＭ４０に含まれている形態も対象である。画像データ記憶部３０ａは、カメラ５で生成された読取画像を記憶する部分である。デコード結果記憶部３０ｂは、デコード処理部２０ｆで実行されたコードのデコード結果を記憶する部分である。パラメータセット記憶部３０ｃは、チューニング実行部２０ｄが実行したチューニングの結果、設定された各種条件やユーザが設定した各種条件を記憶する部分である。ニューラルネットワーク記憶部３０ｄは、後述する学習済みのニューラルネットワークの構造及びパラメータを記憶する部分である。
【0079】
（ニューラルネットワークを利用した画像修復）
光学的情報読取装置１、１Ａは、カメラ５で取得した読取画像を、ニューラルネットワークを利用して修復する画像修復機能を有している。本実施形態では、光学的情報読取装置１、１Ａで機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して画像修復を行うように構成されている点で、従来の光学的情報読取装置とは相違している。
光学的情報読取装置１、１Ａは、カメラ５で取得した読取画像を、ニューラルネットワークを利用して修復する画像修復機能を有している。本実施形態では、光学的情報読取装置１、１Ａで機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して画像修復を行うように構成されている点で、従来の光学的情報読取装置とは相違している。
【0080】
ニューラルネットワークは、図６に示すように、入力データ（本例では画像データ）が入力される入力層と、出力データを出力する出力層と、入力層及び出力層の間に設けられる中間層とを有している。中間層は例えば複数設けることができ、これにより、多層構造のニューラルネットワークとすることができる。
【0081】
（ニューラルネットワークの学習）
始めに、図７に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学的情報読取装置１、１Ａ以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。
始めに、図７に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学的情報読取装置１、１Ａ以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。
【0082】
スタート後のステップＳＡ１では予め準備している不良画像のデータを読み込む。不良画像は、コードの読み取りに不適切な部分を有する画像であり、図８の左側に示すような画像を例示することができる。不適切な部分とは、例えば汚れた部分や着色された部分等である。その後、ステップＳＡ２に進み、予め準備している理想画像のデータを読み込む。理想画像は、コードの読み取りに適切な画像であり、図８の右側に示すような画像を例示することができる。不良画像と理想画像とはペアとしておき、このようなペアを複数準備しておく。
【0083】
ステップＳＡ２では、損失関数を計算し、不良画像と理想画像との差分を求める。ステップＳＡ３では、ステップＳＡ２で求めた差分を反映させてニューラルネットワークのパラメータを更新する。
【0084】
ステップＳＡ４では機械学習の完了条件を満たすか否かを判定する。機械学習の完了条件とは、ステップＳＡ２で求めた差分に基づいて設定することができ、例えば差分が所定以下であれば、機械学習の完了条件を満たすと判定できる。ステップＳＡ４でＹＥＳと判定されて機械学習の完了条件を満たしている場合には機械学習を終了する。一方、ステップＳＡ４でＮＯと判定されて機械学習の完了条件を満たしていない場合にはステップＳＡ１に戻り、別の不良画像を読み込んだ後、ステップＳＡ２に進んで当該別の不良画像とペアになっている別の理想画像を読み込む。
【0085】
このようにして、複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とを機械学習させることにより、学習済みのニューラルネットワークを予め生成することができる。学習済みのニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが保持しておくことで、光学的情報読取装置１、１Ａ内で学習済みのニューラルネットワークを構築することができる。すなわち、機械学習を行う際には、膨大な数の不良画像と理想画像とをニューラルネットワークに入力することになるので、その際の演算能力としては極めて高いものが要求される。光学的情報読取装置１、１Ａ内でそのような高い演算能力を確保するのは、装置の小型軽量化の要求を満たすことができなくなるおそれがあり、困難である。本例のように、光学的情報読取装置１、１Ａ外で機械学習を行い、その結果得られたニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａで保持しておけば、光学的情報読取装置１、１Ａの小型軽量化を実現しながら、ニューラルネットワークによる画像修復が可能になる。
【0086】
図９は、上述のようにして構成された畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の概念図である。「Convolution」では、入力された画像の特徴の抽出を行う。この層は、画像処理フィルタのような畳み込み演算で構成される。フィルタの重みをカーネルと呼び、カーネルに合わせた特徴量の抽出を行う。畳み込み層は一般的に複数の異なるカーネルを持ち、カーネル数に応じてマップ数（Ｄ）が増えていく。カーネルサイズは、例えば３×３、５×５などを取ることができる。
【0087】
「pooling」では、縮小処理を行って各カーネルの反応をまとめる。「Deconvolution」では、逆畳み込みフィルタにより、特徴値から画像を再構成する。「Unpooling」では、拡大処理を行って反応値を先鋭化する。
【0088】
学習済みのニューラルネットワークの構造及びパラメータは、図３に示す記憶部３０のニューラルネットワーク記憶部３０ｄに記憶される。ニューラルネットワークの構造とは、入力層と出力層との間に設けられる中間層の数（Ｄ）や、画像処理フィルタの数等である。ニューラルネットワークのパラメータは、図７に示すフローチャートのステップＳＡ３で設定されたパラメータである。
【0089】
また、ニューラルネットワーク記憶部３０ｄには、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータを記憶することが可能になっている。この場合、複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けた状態でニューラルネットワーク記憶部３０ｄに記憶することができる。例えば、第１のニューラルネットワークを構成するための当該ニューラルネットワークの構造及びパラメータと、第１のニューラルネットワークに対応する第１のコード条件とを関連付ける。関連付けを行う際、第１のニューラルネットワークの層の数またはフィルタの数は、第１のコード条件、特に第１のＰＰＣによって最適な数を事前に特定しておくことができるものなので、この関係が保たれるように関連付けておく。同様に、第１のニューラルネットワークとは異なる第２のニューラルネットワークの構造及びパラメータと、第１のコード条件とは異なる第２のコード条件とを関連付ける。
【0090】
複数のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部３０ｄに記憶している場合には、光学的情報読取装置１、１Ａの設定時に、次のようにチューニング実行部２０ｄが動作する。すなわち、チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコード条件を設定する際、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部３０ｄから読み出して運用時に使用するニューラルネットワークとして特定する。例えば、チューニング実行部２０ｄが読取画像に含まれるコード条件をして第１のコード条件を設定した場合には、第１のコード条件と関連付けられた第１のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部３０ｄから読み出す。そして、第１のニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａの運用時に使用するニューラルネットワークとして特定する。これにより、コード条件に最適なニューラルネットワークの構造及びパラメータで読取画像の修復を試行できるので、読み取り精度を高めることができる。
【0091】
ニューラルネットワークの学習にあたっては、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させることもできる。モジュールのピクセル分解能は、例えばコードを構成する１つのモジュールのピクセル数（ＰＰＣ）で表すことができ、ＰＰＣが特定範囲内にある不良画像及び理想画像のみでニューラルネットワークの機械学習を行ってもよい。
【0092】
上記特定範囲は、読取画像の修復効果の高いピクセル分解能を含み、かつ、読取画像の修復効果が殆ど向上しないピクセル分解能を除外する範囲であり、複数のモジュールで構成されたコードを含む画像の修復を前提として設定することができる。これにより、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させることができる。
【0093】
上記ピクセル数の特定範囲としては、例えば４ＰＰＣ以上６ＰＰＣ以下とすることができるが、４ＰＰＣ未満であってもよいし、６ＰＰＣよりも多くてもよい。また、例えば特定範囲を４ＰＰＣ以上６ＰＰＣ以下に限定して機械学習することで、学習に用いる画像から余分なスケールの変動を排除することができ、学習済みニューラルネットワーク構造の適正化を図ることもできる。
【0094】
（修復の試行）
図５に示すように、光学的情報読取装置１、１Ａのプロセッサ２０には、ＡＩチップ２３によって構成される画像修復部２０ｊが設けられている。画像修復部２０ｊは、記憶部３０のニューラルネットワーク記憶部３０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学的情報読取装置１、１Ａ内にニューラルネットワークを構成する。光学的情報読取装置１、１Ａ内に構成されたニューラルネットワークは、図７のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。
図５に示すように、光学的情報読取装置１、１Ａのプロセッサ２０には、ＡＩチップ２３によって構成される画像修復部２０ｊが設けられている。画像修復部２０ｊは、記憶部３０のニューラルネットワーク記憶部３０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学的情報読取装置１、１Ａ内にニューラルネットワークを構成する。光学的情報読取装置１、１Ａ内に構成されたニューラルネットワークは、図７のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。
【0095】
画像修復部２０ｊは、カメラ５により生成された読取画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶されたニューラルネットワークの構造及びパラメータに従って読取画像の修復を試行する。そして、修復された読取画像に対してデコード処理部２０ｆがデコード処理を実行する。
【0096】
フィルタ処理部２０ｃは、カメラ５により生成された読取画像を画像修復部２０ｊがニューラルネットワークに入力する前に、読取画像に対して画像処理フィルタを実行するように構成されている。これにより、ニューラルネットワークによる修復を試行する前に適切な画像処理を実行しておくことができ、その結果、読取画像の修復がより的確なものになる。
【0097】
デコード処理部２０ｆでデコード処理する全ての読取画像に対して画像修復部２０ｊが画像修復を試行してもよいし、デコード処理部２０ｆでデコード処理する一部の読取画像に対してのみ画像修復部２０ｊが画像修復を試行してもよい。例えば、デコード処理部２０ｆは、修復を試行する前の読取画像に対してデコード処理を実行し、デコードが成功したか否かを判定する。デコードに成功した場合には、修復が不要な読取画像であったということであり、そのまま結果を出力する。一方、デコードに失敗した場合には、画像修復部２０ｊが読取画像の修復を試行し、修復された読取画像に対してデコード処理部２０ｆがデコード処理を実行する。
【0098】
（部分画像の入力）
画像修復部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図９に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。
画像修復部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図９に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。
【0099】
一方、カメラ５により生成された読取画像の全体にコードが存在しているケースは皆無といってよく、通常の運用時には読取画像の一部の領域にのみコードが存在しており、その領域のみニューラルネットワークによる修復を行うことができれば、読み取り精度を高めることができる。
【0100】
そこで、画像修復部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の一部、即ちコードを含んだ部分画像とすることができる。具体的には、画像修復部２０ｊは、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を、カメラ５により生成された読取画像から切り出す。画像修復部２０ｊは切り出した部分画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータに従って部分画像の修復を試行する。そして、修復された部分画像に対してデコード処理部２０ｆがデコード処理を実行する。
【0101】
上述したように読取画像の全体にコードが存在しているケースは殆ど無いので、コード候補領域に対応する部分画像のサイズは、読取画像のサイズよりも小さくなる。これにより、ニューラルネットワークに入力する画像のサイズが小さくなるので、プロセッサ２０の演算負荷が軽くなり、ひいては処理速度の高速化が実現される。また、部分画像は、コードが存在する可能性が高い領域に対応しているので、読み取りに必要な情報、即ちコードの全体を含んだ画像とすることが可能である。このコードの全体を含んだ画像をニューラルネットワークに入力するので、読み取り精度の低下は抑制される。
【0102】
画像修復部２０ｊは、チューニング実行部２０ｄで取得したコードサイズに基づいて部分画像のニューラルネットワークへの入力サイズを決定することができる。上述したように、チューニング実行部２０ｄはコードサイズを取得することができる。画像修復部２０ｊは、ニューラルネットワークへ入力する部分画像の入力サイズを、チューニング実行部２０ｄで取得したコードサイズよりも所定量だけ大きくする。
【0103】
すなわち、部分画像をニューラルネットワークへ入力することで演算負荷を軽くすることができる反面、例えばコードが回転していたり、コードの位置が精密に検出できなかった場合には、部分画像中のコードの一部が欠けてしまい、デコード処理に失敗する可能性もある。本実施形態では、ニューラルネットワークへの入力サイズがチューニング実行部２０ｄで取得したコードサイズと同じではなく、コードサイズよりも所定量だけ大きいので、部分画像中でコードの一部が欠けるのを抑制できる。尚、コードサイズよりも所定量だけ大きくしていることで、ニューラルネットワークへの入力サイズに上限を持たせることができ、よって、演算負荷が重くならないようにすることができる。「所定量」とは、例えばニューラルネットワークへ入力される部分画像の横（または縦）の長さが、チューニング実行部２０ｄで取得したコードの横（または縦）の長さの１．５倍以上、または２．０倍以上、または３．０倍以上であってもよい。
【0104】
画像修復部２０ｊがニューラルネットワークへ入力する部分画像の入力サイズを決定する際、チューニング実行部２０ｄで取得したコードを構成する１つのモジュールのピクセル数と当該コードの縦または横方向に並ぶモジュール数とに基づいて決定することができる。
【0105】
また、チューニング実行部２０ｄでは上述したようにコード条件を設定することができる。画像修復部２０ｊは、チューニング実行部２０ｄで設定されたコード条件に基づいて、ニューラルネットワークに入力する読取画像のサイズを設定することもできる。例えば、チューニング実行部２０ｄで設定されたコード条件のうち、コードサイズを画像修復部２０ｊが取得すると、取得したコードサイズよりも所定量だけ大きなサイズの部分画像をニューラルネットワークに入力する。コードサイズが大きければニューラルネットワークに入力する部分画像のサイズが大きくなる一方、コードサイズが小さければニューラルネットワークに入力する部分画像のサイズが小さくなる。つまり、ニューラルネットワークに入力する部分画像のサイズをコード条件に応じて変えることができる。
【0106】
（縮小・拡大機能）
ここで、図９に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した画像に修復するためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
ここで、図９に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した画像に修復するためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
【0107】
しかし、コードは白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されているため、広範囲でのピクセル値の関係は希薄であり、カバーするピクセル範囲を一定以上に広げても修復効果は殆ど向上しない。このような特徴を、本明細書では狭範囲特徴と呼ぶ。
【0108】
また、コードに含まれるファインダパターンなど決まったモジュールパターンの配置やコード全体として四角形状であることは広範囲特徴になり得るが、モジュールと背景とを大まかに分離するだけであれば、広範囲特徴を用いることなく、狭範囲特徴のみを用いても十分に修復可能である。尚、広範囲特徴とは、広範囲に渡って決まった形状を持つ特徴と定義することができる。
【0109】
そこで、図７に示すニューラルネットワークの学習の際、コードのＰＰＣが特定範囲にある画像を用いることができる。これにより、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させることができる反面、ＰＰＣが特定範囲外にある読取画像に対する修復効果は低下する懸念がある。尚、ニューラルネットワークの学習の際、コードのＰＰＣが特定範囲外にある画像を用いてもよい。
【0110】
本実施形態の光学的情報読取装置１、１Ａでは、読取画像のＰＰＣが特定範囲に入るようにするために、読取画像の縮小・拡大機能を備えている。図５に示すように、プロセッサ２０には、縮小部２０ｈ及び拡大部２０ｉが構成されている。縮小部２０ｈは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように縮小した読取画像を生成する部分であり、また、拡大部２０ｉは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように拡大した読取画像を生成する部分である。
【0111】
縮小部２０ｈ及び拡大部２０ｉは、例えばカメラ５により生成された読取画像におけるコードのＰＰＣが特定範囲（４ＰＰＣ以上６ＰＰＣ以下）外にあるか否かを判定し、特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行する。縮小または拡大を実行することで、画像修復部２０ｊがニューラルネットワークへ入力する部分画像におけるコードのＰＰＣが特定範囲内に入る。
【0112】
画像修復部２０ｊは、特定範囲内となるように拡大または縮小した読取画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像の修復を試行する。そして、修復された読取画像に対してデコード処理部２０ｆがデコード処理を実行する。
【0113】
抽出部２０ｇは、拡大部２０ｉにより拡大した読取画像または縮小部２０ｈにより縮小した読取画像に対してコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出するように構成してもよい。この場合、画像修復部２０ｊは、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像の修復を試行する。
【0114】
光学的情報読取装置１、１Ａの設定時には、チューニング実行部２０ｄが、拡大率を変えた複数の読取画像（拡大画像）を生成すること、及び縮小率を変えた複数の読取画像（縮小画像）を生成することができる。チューニング実行部２０ｄは、生成した複数の読取画像（拡大画像または縮小画像）をニューラルネットワークに入力して各読取画像の修復を試行し、修復された各読取画像に対してデコード処理を実行し、コードの読み取りのしやすさを示す読取余裕度を求める。チューニング実行部２０ｄは、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定する。チューニング実行部２０ｄが拡大率または縮小率を特定した場合、光学的情報読取装置１、１Ａの運用時には、縮小部２０ｈ及び拡大部２０ｉは、チューニング実行部２０ｄが特定した拡大率または縮小率で読取画像を拡大または縮小する。
【0115】
すなわち、例えば特定範囲にある程度の広さがある場合、その特定範囲内であっても拡大率や縮小率を変えると、読取余裕度が変化することが考えられる。チューニング実行部２０ｄが求めた読取余裕度が所定よりも高くなるように、運用時における読取画像の拡大率または縮小率を特定することができるので、処理速度及び読み取り精度が向上する。
【0116】
チューニング実行部２０ｄは、各読取画像の読取余裕度を求めた後、求めた複数の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定することができる。これにより、処理速度及び読み取り精度を更に向上させることができる。
【0117】
また、縮小部２０ｈ及び拡大部２０ｉで読取画像を縮小及び拡大できることを利用して、パラメータセットの種類を増やすこともできる。縮小部２０ｈによる縮小率が異なる複数のパラメータセットと、拡大部２０ｉによる拡大率が異なる複数のパラメータセットを生成し、これらパラメータセットを記憶部３０のパラメータセット記憶部３０ｃに記憶させることができる。例えば、縮小部２０ｈによる縮小率が１／２、１／４、１／８のように複数設定可能な場合、縮小率が１／２のパラメータセット、縮小率が１／４のパラメータセット、縮小率が１／８のパラメータセットをパラメータセット記憶部３０ｃに記憶させることができる。また、拡大部２０ｉによる拡大率が２倍、４倍、８倍のように複数設定可能な場合、拡大率が２倍のパラメータセット、拡大率が４倍のパラメータセット、拡大率が８倍のパラメータセットをパラメータセット記憶部３０ｃに記憶させることができる。そして、パラメータセット記憶部３０ｃに記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用することができる。
【0118】
（画像修復フィルタ）
画像修復部２０ｊは、ニューラルネットワークを利用して読取画像の修復を試行する画像修復フィルタを実行する部分であってもよい。画像修復フィルタは、読取画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータに従って読取画像の修復を試行するフィルタであり、上述した画像修復と同じ機能を発揮する。
画像修復部２０ｊは、ニューラルネットワークを利用して読取画像の修復を試行する画像修復フィルタを実行する部分であってもよい。画像修復フィルタは、読取画像を、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部３０ｄに記憶された構造及びパラメータに従って読取画像の修復を試行するフィルタであり、上述した画像修復と同じ機能を発揮する。
【0119】
画像修復フィルタを実行可能にする場合、画像修復フィルタを設定するための設定部２０ｅ（図５に示す）を設けることができる。設定部２０ｅは、ユーザによる画像修復フィルタの設定を受付可能に構成されている。設定部２０ｅは、例えば光学的情報読取装置１、１Ａの設定時に、「画像修復フィルタの適用」と「画像修復フィルタの非適用」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６に表示させ、ユーザによる選択を受け付けるように構成することができる。したがって、画像修復部２０ｊは、設定部２０ｅにより設定された画像修復フィルタを読取画像に適用することで、当該読取画像に対して修復を試行する。
【0120】
設定部２０ｅは、チューニング実行部２０ｄに含まれていてもよいし、チューニング実行部２０ｄとは別に構成されていてもよい。設定部２０ｅがチューニング実行部２０ｄに含まれている場合、チューニング時に画像修復フィルタに関するパラメータを設定することが可能になる。画像修復フィルタに関するパラメータとしては、「画像修復フィルタの適用」と「画像修復フィルタの非適用」とを含むことができる。「画像修復フィルタの適用」とは、画像修復フィルタを実行可能に設定することであり、「画像修復フィルタの非適用」とは、画像修復フィルタを設定しないことである。
【0121】
画像修復フィルタに関するパラメータは、画像修復フィルタに関する情報でもあり、この場合、画像修復フィルタの設定に関する情報を含むパラメータセットをパラメータセット記憶部３０ｃに記憶することができる。画像修復フィルタに関するパラメータは、「画像修復フィルタの適用」と「画像修復フィルタの非適用」とがあるので、パラメータセット記憶部３０ｃに記憶されるパラメータセットには、画像修復フィルタを実行可能に設定する第１のパラメータセットと、画像修復フィルタを設定しない第２のパラメータセットと含まれる。光学的情報読取装置１、１Ａの運用時には、第１のパラメータセットと、第２のパラメータセットとの中から選択された一方のパラメータセットが適用される。第１のパラメータセットが適用された場合には、画像修復フィルタによって画像修復が実行された読取画像に対してデコード処理部２０ｆによるデコード処理が実行される一方、第２のパラメータセットが適用された場合には、画像修復が実行されない読取画像に対してデコード処理部２０ｆによるデコード処理が実行される。
【0122】
パラメータセット記憶部３０ｃに記憶されるパラメータセットには、カメラ５により生成された読取画像に含まれるコード条件を設定する項目も含まれる。コード条件を設定する項目では、チューニング実行部２０ｄが取得したＰＰＣ、コード種、コードサイズ等が設定される。例えば、１つのパラメータセットには、コード条件を設定する項目としてのＰＰＣ、コード種、コードサイズと、撮像条件としてのカメラ５のゲイン、照明部４の光量、露光時間と、フィルタ処理部２０ｃが適用する画像処理フィルタの項目としての画像処理フィルタ種類、当該画像処理フィルタのパラメータと、画像修復フィルタの適用項目とを含むことができる。これら各項目は、チューニング実行部２０ｄが設定した値等をそのまま用いてもよいし、ユーザが任意に変更することもできる。
【0123】
（チューニング工程の手順の一例）
光学的情報読取装置１、１Ａの設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１０に示すフローチャートに基づいて具体的に説明する。図１０に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる画像修復を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード処理部２０ｆにデコード処理を実行させる。
光学的情報読取装置１、１Ａの設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１０に示すフローチャートに基づいて具体的に説明する。図１０に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる画像修復を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード処理部２０ｆにデコード処理を実行させる。
【0124】
デコード処理後、ステップＳＢ３に進み、ステップＳＢ２のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＢ３でＮＯと判定されてステップＳＢ２のデコード処理が失敗した場合、即ちコードの読み取りができなかった場合には、ステップＳＢ４に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ２で再度デコード処理を実行する。全てのデコード処理パラメータでデコード処理を失敗した場合にはこのフローを終了してユーザに報知する。
【0125】
一方、ステップＳＢ３でＹＥＳと判定されてステップＳＢ２のデコード処理が成功した場合には、ステップＳＢ５に進み、チューニング実行部２０ｄがコードパラメータ（ＰＰＣ、コード種、コードサイズ等）を決定する。チューニング実行部２０ｄがコードパラメータを決定すると、コードパラメータと関連付けられてニューラルネットワーク記憶部３０ｄに記憶されているニューラルネットワークの構造及びパラメータも決定される（ステップＳＢ６）。ステップＳＢ６では、ニューラルネットワーク記憶部３０ｄから読み出した構造及びパラメータでニューラルネットワークを構成する。
【0126】
ステップＳＢ７では、画像修復部２０ｊが、ステップＳＢ６で構成されたニューラルネットワークに読取画像を入力することにより、読取画像の修復を試行し、前記修復された読取画像に対してデコード処理部２０ｆがデコード処理を実行する。その後、ステップＳＢ８に進み、チューニング実行部２０ｄがステップＳＢ７のデコード処理結果に基づいて読取余裕度を評価し、一旦記憶しておく。
【0127】
ステップＳＢ９では、全てのデコード処理パラメータでデコード処理の実行が完了したか否かを判定する。ステップＳＢ９でＮＯと判定されて、全てのデコード処理パラメータでデコード処理の実行が完了していない場合にはステップＳＢ１０に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ７に進む。
【0128】
一方、ステップＳＢ９でＹＥＳと判定されて全てのデコード処理パラメータでデコード処理の実行が完了するとステップＳＢ１１に進む。ステップＳＢ１１では、チューニング実行部２０ｄが、全てのデコード処理パラメータの中から読取余裕度が最も高いデコード処理パラメータを選択し、その選択したデコード処理パラメータを運用時に適用するパラメータとして決定する。尚、チューニング工程では、撮像条件等も適切な条件に設定される。
【0129】
（縮小率及び拡大率決定前のデコード処理手順）
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１１に示すフローチャートに基づいて具体的に説明する。図１１に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ２で実行することができる。
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１１に示すフローチャートに基づいて具体的に説明する。図１１に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ２で実行することができる。
【0130】
図１１に示すフローチャートのスタート後のステップＳＣ１では、チューニング実行部２０ｄが、複数の画像処理フィルタの中から任意の画像処理フィルタを選択する。この画像処理フィルタは、フィルタ処理部２０ｃで実行されるフィルタである。その後、ステップＳＣ２では、ステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。
【0131】
次いで、ステップＳＣ３に進み、画像ピラミッドを作成する。画像ピラミッドは、元の読取画像、元の読取画像を１／２に縮小した画像、元の読取画像を１／４に縮小した画像、元の読取画像を１／８に縮小した画像、…で構成されている。読取画像の縮小は、縮小部２０ｈで実行される。また、画像ピラミッドは、元の読取画像、元の読取画像を２倍に拡大した画像、元の読取画像を４倍に拡大した画像、元の読取画像を８倍に拡大した画像、…で構成することもできる。読取画像の拡大は、拡大部２０ｉで実行される。尚、縮小した画像と、拡大した画像とのうち、一方を省略してもよい。
【0132】
画像ピラミッドを作成した後、ステップＳＣ４に進み、画像ピラミッドを構成する複数の読取画像の中から任意の読取画像を選択する。この選択された画像の中には、縮小及び拡大されていない元の読取画像が含まれる場合もある。ステップＳＣ５では、抽出部２０ｇが、ステップＳＣ４で選択した読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。その後、ステップＳＣ６に進み、画像修復部２０ｊが、ステップＳＣ５で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して読取画像の修復を試行する。ニューラルネットワークに入力する部分画像のサイズは、上述したコード条件によって決定する。
【0133】
読取画像の修復後、ステップＳＣ７に進み、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行する。位置決め処理後、ステップＳＣ８に進み、コードを構成している各モジュールが白であるか、黒であるかを判別する。白黒の判別後、ステップＳＣ９に進み、修復された読取画像に対してデコード処理部２０ｆがデコード処理を実行する。デコード処理では、例えばモジュールの０－１マトリックスから文字列を復元する手法を採用することができる。
【0134】
その後、ステップＳＣ１０に進み、ステップＳＣ９のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＣ１０でＮＯと判定されてステップＳＣ９のデコード処理が失敗した場合には、ステップＳＣ１１に進み、画像ピラミッドを構成している全ての読取画像が選択されたか否かを判定する。ステップＳＣ１１でＮＯと判定されて画像ピラミッドを構成している全ての読取画像が選択されていない場合にはステップＳＣ４に進み、画像ピラミッドを構成している別の縮小された読取画像または別の拡大された読取画像を選択し、ステップＳＣ５に進む。
【0135】
一方、ステップＳＣ１１でＹＥＳと判定されて画像ピラミッドを構成している全ての読取画像が選択された場合にはこのフローを終了し、デコードが成功した条件を記憶しておく。
【0136】
（縮小率及び拡大率決定後のデコード処理手順）
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１２に示すフローチャートに基づいて具体的に説明する。図１２に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ７及び光学的情報読取装置１、１Ａの運用時に実行することができる。
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１２に示すフローチャートに基づいて具体的に説明する。図１２に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ７及び光学的情報読取装置１、１Ａの運用時に実行することができる。
【0137】
図１２に示すフローチャートのスタート後のステップＳＤ１では、図１１に示すフローチャートのステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。このとき、図１３の上側に示すような読取画像に対してフィルタ処理部２０ｃが平均化フィルタを実行した場合には、図１３の下側に示すような画像処理フィルタ実行後の画像が得られる。
【0138】
その後、ステップＳＤ２に進み、必要に応じて読取画像の縮小・拡大処理を実行する。具体的には、画像処理フィルタ実行後の読取画像におけるコードのＰＰＣが特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行し、ＰＰＣが特定範囲内に入るようにする。図１４の上側に、縮小処理後の読取画像の例を示している。
【0139】
次いで、ステップＳＤ３では、抽出部２０ｇが、ステップＳＤ２で縮小または拡大された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。図１４の下側に、コード候補領域抽出画像の例を示している。尚、ステップＳＤ２で縮小または拡大されていない場合には、ステップＳＤ３で元の読取画像に対して抽出処理が実行されることになる。
【0140】
その後、ステップＳＤ４に進み、画像修復部２０ｊが、ステップＳＤ３で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して読取画像の修復を試行する。図１５に修復前の読取画像と修復後の読取画像の例を示している。読取画像の修復後、ステップＳＤ５～ＳＤ７を経てこのフローが終了する。ステップＳＤ５～ＳＤ７は、図１１に示すフローチャートのステップＳＣ７～ＳＣ９と同じである。
【0141】
（実施形態の作用効果）
以上説明したように、この実施形態によれば、光学的情報読取装置１、１Ａの運用時に、カメラ５により生成された読取画像をニューラルネットワークに入力すると、読取画像の修復が試行されるので、コードの読み取りに適した画像となるように修復された修復試行後の読取画像が得られる。この修復試行後の読取画像に対してデコード処理が実行されるので、読み取り精度が高まる。
以上説明したように、この実施形態によれば、光学的情報読取装置１、１Ａの運用時に、カメラ５により生成された読取画像をニューラルネットワークに入力すると、読取画像の修復が試行されるので、コードの読み取りに適した画像となるように修復された修復試行後の読取画像が得られる。この修復試行後の読取画像に対してデコード処理が実行されるので、読み取り精度が高まる。
【0142】
修復に利用されるニューラルネットワークは、複数の不良画像と複数の理想画像とを予め機械学習させることによって得られた構造及びパラメータによって構成されたものであることから、光学的情報読取装置１、１Ａでは学習処理を行うことなく、ニューラルネットワークによる推論処理のみ行えばよく、これにより、プロセッサ２０の演算負荷が軽くなる。その結果、手持ち式の光学的情報読取装置１Ａの小型軽量化が可能になるとともに、定置式の光学的情報読取装置１の処理速度を高速化できる。
【0143】
また、光学的情報読取装置１、１Ａの運用時に、読取画像の中からコード候補領域が抽出されると、そのコード候補領域に対応する部分画像がニューラルネットワークに入力されて部分画像の修復が試行される。これにより、ニューラルネットワークに入力する画像のサイズが小さくなるので、プロセッサ２０の演算負荷が軽くなり、ひいては処理速度の高速化が実現される。また、部分画像は、コードが存在する可能性が高い領域に対応しているので、読み取りに必要な情報、即ちコードの全体を含んだ画像とすることが可能である。このコードの全体を含んだ画像をニューラルネットワークに入力するので、読み取り精度の低下は抑制される。
【0144】
さらに、ニューラルネットワークの構造及びパラメータを生成する際に、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させるようにしているので、コードを含む画像の修復に特化したニューラルネットワーク構造として処理速度を向上させることができる。そして、読取画像の中のコードを構成するモジュールのピクセル分解能が特定範囲外にある場合には、特定範囲内となるように読取画像を拡大または縮小してからニューラルネットワークに入力するので、幅広いピクセル分解能のコードを含む画像の修復が可能になる。
【0145】
（その他の実施形態）
図１６は、その他の実施形態に係る光学的情報読取装置１の運用時における処理の手順の一例を説明する図である。この実施形態では、プロセッサ２０により、前記画像修復部２０ｊの他に、前処理部２００と、後処理部２０１と、第１デコード処理部２０２と、第２デコード処理部２０３とが構成されている。前処理部２００は、上記フィルタ処理部２０ｃと同様に、カメラ５により生成された読取画像に対してノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタ等を実行する部分である。
図１６は、その他の実施形態に係る光学的情報読取装置１の運用時における処理の手順の一例を説明する図である。この実施形態では、プロセッサ２０により、前記画像修復部２０ｊの他に、前処理部２００と、後処理部２０１と、第１デコード処理部２０２と、第２デコード処理部２０３とが構成されている。前処理部２００は、上記フィルタ処理部２０ｃと同様に、カメラ５により生成された読取画像に対してノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタ等を実行する部分である。
【0146】
第１デコード処理部２０２は、カメラ５により生成された読取画像に対するデコード処理を実行する部分であり、この第１デコード処理部２０２によるデコード処理を第１デコード処理ともいう。プロセッサ２０が複数のコア（Ｎ個のコア）を有している場合、そのうちのコア０～コアｉによって第１デコード処理部２０２が構成される。１つのコアで第１デコード処理部２０２が構成されていてもよい。
【0147】
また、第２デコード処理部２０３は、画像修復部２０ｊが生成した修復画像に対するデコード処理を実行する部分であり、この第２デコード処理部２０３によるデコード処理を第２デコード処理ともいう。プロセッサ２０がＮ個のコアを有している場合、そのうちのコアｉ＋１～コアＮ－１によって第２デコード処理部２０３が構成される。１つのコアで第２デコード処理部２０３が構成されていてもよい。
【0148】
図１７にも示すように、コア０～コアｉによって第１デコード処理部２０２が構成されている場合、コア０～コアｉの各々がカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出した後、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行し、その後、コードを構成している各モジュールが白であるか、黒であるかを判別し、デコード処理を実行する。処理結果は後処理部２０１に出力される。
【0149】
一方、図１７に示すように、コアｉ＋１～コアＮ－１によって第２デコード処理部２０３が構成されている場合、コアｉ＋１～コアＮ－１の各々が、読取画像からコードが存在する可能性が高いコード候補領域を修復用コード領域として抽出するとともに、画像修復部２０ｊに対し、推論処理を実行するようトリガ信号を送出する。この図１７では、２つのコアによって１つのタスクを実行するように記載しているが、任意の１つ以上のコアによって１つのタスクを実行すればよい。
【0150】
具体的には、第２デコード処理部２０３を構成しているコアＮ－２及びコアＮ－１が修復用コード候補領域を抽出すると、トリガ信号（トリガ１）を画像修復部２０ｊに出力し、画像修復部２０ｊに対して推論処理を実行させる。画像修復部２０ｊは、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ１）を受信すると、コアＮ－２及びコアＮ－１が抽出した修復用コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する（画像修復１）。画像修復１で生成した修復画像は、コアＮ－２及びコアＮ－１へ送られる。コアＮ－２及びコアＮ－１は、画像修復１で生成した修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する。
【0151】
一方、第２デコード処理部２０３を構成しているコアｉ＋１及びコアｉ＋２が修復用コード候補領域を抽出すると、トリガ信号（トリガ２）を画像修復部２０ｊに出力し、画像修復部２０ｊに対して推論処理を実行させる。画像修復部２０ｊは、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ２）を受信すると、コアｉ＋１及びコアｉ＋２が抽出した修復用コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する（画像修復２）。画像修復２で生成した修復画像は、コアｉ＋１及びコアｉ＋２へ送られる。コアｉ＋１及びコアｉ＋２は、画像修復２で生成した修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する。
【0152】
以下、同様にして、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ３）により画像修復３が実行され、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ４）により画像修復４が実行され、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ５）により画像修復５が実行され、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ６）により画像修復６が実行され、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ７）により画像修復７が実行される。
【0153】
このタイムチャートに示すように、画像修復部２０ｊによる推論処理と第１デコード処理部２０２による第１デコード処理とは並列的に実行される。例えば、第１デコード処理部２０２がコード領域抽出、グリッド位置決め、デコード処理を継続して行う間、画像修復部２０ｊによる推論処理が１回または複数回実行される。また、第１デコード処理部２０２がコード領域抽出、グリッド位置決め、デコード処理を継続して行う間、第２デコード処理部２０３による修復用コード領域の抽出、トリガ信号の出力、グリッド位置決め、第２デコード処理が実行される。このように、画像修復部２０ｊは、修復用コード候補領域に対応する部分画像の修復に特化すればよいので、推論処理速度を高速化できる。
【0154】
第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は、画像修復部２０ｊによる推論処理が実行されない休止期間を有している。すなわち、図１７に示すように、画像修復部２０ｊの画像修復１の終了後、第２デコード処理部２０３が第２デコード処理を開始するのであるが、画像修復部２０ｊが次の画像修復２を開始するまでの間に、所定の期間が設けられており、この所定の期間は、画像修復部２０ｊが画像修復を行わない休止期間とされている。この休止期間は画像修復部２０ｊが推論処理を行わない期間であり、休止期間を設けることにより、画像修復部２０ｊの負荷を低減して、ＡＩチップ２３の発熱を抑制できる。なお、グリッド位置決めの処理時間は、処理対象の修復画像によって長い場合や短い場合が存在する。図１７では各コアの処理が交互に実行される例を記載しているが、グリッド位置決めの処理時間によっては、各コアの処理は必ずしも交互に実行されない。すなわち、処理が空いているコアから順にトリガ発出や、グリッド位置決めを実行してもよい。
【0155】
上述したように、設定部２０ｅは、「画像修復フィルタの適用」と「画像修復フィルタの非適用」との一方をユーザが選択可能に構成されている。画像修復フィルタを適用するということは、画像修復を行うということであり、また、画像修復フィルタを非適用にするということは、画像修復を行わないということなので、設定部２０ｅは、第２デコード処理部２０３が第２デコード処理を実行するか否かを設定する部分にも相当する。この設定はユーザによって実行されるので、設定部２０ｅはユーザによる操作を受け付けることができるように構成されている。画像修復フィルタの適用、非適用という設定形態に限定されるものではなく、例えば推論処理（修復処理）の適用、非適用、ＡＩによる処理の適用、非適用といった設定形態であってもよい。ユーザによる操作は、例えばユーザインターフェース画面に表示したボタン等の操作を挙げることができる。
【0156】
光学的情報読取装置１では、露光時間やゲインなどの撮像条件、画像処理フィルタなどの設定をあらかじめ決定するチューニング処理行ってから運用される。例えばワークＷがラベルのような場合では、コードが鮮明に印字されているので、チューニング処理により適切な条件設定がなされれば、高い読み取り率を実現できる。しかし、金属や樹脂などのワークＷにおいては、チューニング処理時の最適な条件が設定されるものの、微弱な外乱光による読取画像の変化などが原因で読み取りにくい状態になったり、そもそも光学設計とアルゴリズム設計上、超低コントラストで読み取れないケースが発生してしまうことがある。
【0157】
本例の画像修復部２０ｊが実行する画像修復アルゴリズムを、画像修復しないでデコード処理する場合と並列に実施することで、従来の読み取り性能を維持しながら金属や樹脂などのワークＷに対しての読み取り性能を向上させ、読み取り安定性を高めることができる。また、従来の光学設計とアルゴリズムでは読めないワークＷに対しても、画像修復アルゴリズムを適用することにより読み取りが可能になる。
【0158】
具体例を示すと、ある工場で箱に付されたシール上に印字されたコードを読み取る工程で、光学的情報読取装置１の設置条件に制約がなく、最適な設置が可能な場合においては、従来の読み取り性能でも安定した運用が可能であることから、画像修復フィルタを非適用にしてタクトを優先することができる。
【0159】
また、ある工場において、金属にはっきりと印字されたコードを読み取る工程があり、読み取り設定時のチューニング処理においては最適な条件が決定されるものの、実際に運用してみると、金属表面の傷、読み取り位置・角度のばらつき、周囲環境の明るさ変化などで読み取りが不安定になるケースがある。このようなケースでは、画像修復フィルタを適用して、画質改善することで、上記のような条件のばらつきに強くなり、読み取り性能が向上する。
【0160】
また、一部のワークでは、従来のアルゴリズムでの読み取りが不可能であるが、そのようなケースでは画像修復フィルタを適用することで、読み取りができるようになるケースがある。例えば、コードの損傷が著しかったり、コントラストが明確でない場合でも、画像修復フィルタを適用することによって、コントラストや傷を修復し、読み取りが可能になる。
【0161】
画像修復フィルタを適用した場合に実行される第２デコード処理は、修復画像に対してデコード処理を実行するため、通常の読取画像のデコード処理を実行する第１デコード処理に比べて処理にかかる時間が長い場合が多い。したがって、第１デコード処理部２０２は、第２デコード処理部２０３による第２デコード処理にかかる時間よりも短い時間で第１デコード処理を実行可能である。本例では、このことを前提とし、デコード処理の制限時間である、デコードタイムアウト時間を設定部２０ｅが変更可能になっている。
【0162】
具体的には、設定部２０ｅは、第２デコード処理を実行すると設定されている場合は、第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定可能に構成されるとともに、第２デコード処理を実行しないと設定されている場合は、第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている。これにより、運用時には、第２デコード処理を実行する場合、一般的な第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定することができるので、修復画像に対するデコード処理を確実に実行できる。一方、第２デコード処理を実行しないと設定されている場合は、一般に第２デコード処理よりも短い時間でデコード処理が可能な第１デコード処理のみを実行することになるので、第１デコード処理に対応した短いデコードタイムアウト時間を設定できる。このようにデコードタイムアウト時間を変更することで、第１デコード処理及び第２デコード処理のそれぞれに対応したデコードタイムアウト時間にすることができる。
【0163】
また、図１７では、第１デコード処理部２０２と第２デコード処理部２０３とを別にしているが、図１８に示すように、第１デコード処理部２０２と第２デコード処理部２０３とをまとめてデコード処理部２１０としてもよい。デコード処理部２１０は、カメラ５により生成された読取画像に対する第１デコード処理と並列に、修復画像に対する第２デコード処理を実行する。このようにデコード処理を実行する部分は、ハードウエア上で任意に分けることもできるし、統合することもできる。以下、デコード処理を実行する部分を１つに統合した例で説明するが、これに限らず、複数に分けた場合にも同様に適用できる。
【0164】
デコード処理部２１０は、設定部２０ｅにより第２デコード処理を実行しないと設定されている場合には、第２デコード処理に使われる処理のリソースを第１デコード処理に振り分け、第２デコード処理を実行すると設定されている場合に比べ、第１デコード処理を高速化するように構成されている。処理のリソースとは、例えばメモリの使用領域や、マルチコアＣＰＵを構成しているコア等である。具体的には、第２デコード処理を実行しないと設定されている場合には、第２デコード処理を実行すると設定されている場合に比べて、第１デコード処理を受け持つコアの数を多くする。また、第２デコード処理を実行しないと設定されている場合には、第２デコード処理を実行すると設定されている場合に比べて、第１デコード処理で使用するメモリの領域を拡大する。コアの数を多くすることと、メモリの領域を拡大することとは、併用してもよいし、いずれか一方のみ実行してもよい。これにより、マルチコアＣＰＵの性能を最大限に引き出して第１デコード処理を高速化できる。
【0165】
デコード処理部２１０は、画像修復に先立ち、読取画像からコードが存在する可能性が高いコード候補領域を抽出する。すなわち、ニューラルネットワークを用いた画像修復時に当該ニューラルネットワークに入力する画像が大きいと演算時間が長時間化してしまうという問題がある。また、処理の高速化の観点からは、デコードの試行回数もできるだけ少なくしたい。これらのことに対し、本例では、コード候補領域を多少時間がかかっても確実に抽出可能にするために、ラインサーチベースではなく、ヒートマップベースのサーチ手法を採用している。例えば、デコード処理部２１０は、コードの特徴量を定量化し、特徴量の大きさを各画素値に割り当てたヒートマップを生成し、当該ヒートマップ上で、コードが存在する可能性が高いコード候補領域を抽出する。具体例としては、ヒートマップにおいて相対的に熱く（特徴量が大きく）示されている領域で２次元コードの特徴部分（例：ファインダパターン等）を取得する方法がある。特徴部分が複数取得された場合には、優先づけをして抽出し、ＲＡＭ４１や記憶部３０等に記憶させておくことができる。
【0166】
デコード処理部２１０がコード候補領域を抽出した後、抽出したコード候補領域に対応する部分画像を画像修復部２０ｊに出力する。画像修復部２０ｊは、デコード処理部２１０が抽出したコード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する。これにより、演算時間を短縮できる。
【0167】
また、デコード処理部２１０は、上述したチューニング処理により設定された読取対象のコードを包含できるサイズで、かつ読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してからニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードするように構成されていてもよい。抽出された画像を予め定められたサイズの画像に拡大・縮小してニューラルネットワークに入力することで、ニューラルネットワークに入力されるコード画像のＰＰＣを所定の範囲内に収めることができ、ニューラルネットワークによる画像修復効果を安定的に引き出すことができる。また、読取対象のコードサイズは様々であることが考えられるが、最終的にニューラルネットワークに入力されるコードのサイズを固定できるので、処理の高速性とデコードのし易さのバランスを一定以上に保つことができる。
【0168】
以下、第１デコード処理及び第２デコード処理のフローチャートについて、図１９に基づいて詳細に説明する。スタート後のステップＳＥ１では、プロセッサ２０がカメラ５に読取画像を生成させ、読取画像を取得する。ステップＳＥ１で取得された読取画像は、デコード処理部２１０に入力される。ステップＳＥ２では、ステップＳＥ１で取得された読取画像に対して画像修復を施すことなく、第１デコード処理を実行する。第１デコード処理が成功すれば、ステップＳＥ４に進んで終了処理、即ちデコード結果の出力処理を実行する。ステップＳＥ２で第１デコード処理が失敗すれば、ステップＳＥ２に戻り、第１デコード処理を再度実行する。所定のデコードタイムアウト時間が経過すると、当該読取画像に対する第１デコード処理を中止する。
【0169】
一方、ステップＳＥ１からステップＳＥ５に進むルートでは、デコード処理部２１０が読取画像から修復用コード領域を抽出する。具体的には、チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ読取画像の中でコードが存在する可能性が高いコード候補領域を抽出する。このとき、修復用コード領域が複数抽出された場合には、候補領域Ｒ１、Ｒ２、…として一時的に保存しておく。抽出された修復用コード領域の一例を図２０に示す。その後、ステップＳＥ６に進み、ｋの値を１にしておく。
【0170】
ステップＳＥ７では、候補領域Ｒｋに対応する部分画像に対してリサイズ処理を実行する。リサイズ処理は、ステップＳＥ５で抽出された修復用コード領域に対応する部分画像を、予め定められたサイズとなるように縮小又は拡大する処理である。このリサイズ処理により、後述するニューラルネットワークに入力する画像の大きさを予め所定の大きさにしておくことができる。図２０に示す例では、ニューラルネットワークに入力する部分画像の大きさが２５６ピクセル×２５６ピクセルである場合について示しているが、部分画像の大きさはこれに限られるものではなく、処理速度等を勘案して任意の大きさにリサイズすることができる。
【0171】
ステップＳＥ８では、白黒反転設定が「両方」になっているか否かを判定する。すなわち、画像修復は、数学的には写像を行っているだけであり、白から黒、黒から白、黒から黒、白から白の写像を単一のニューラルネットワークで実現することは難易度が高い場合がある。そのため、白地に黒印字された画像となるようにプロパティに基づいて白黒反転処理を実行する。ニューラルネットワークの学習のさせ方によっては、黒地に白印字された画像であってもよい。白黒反転処理の一例を図２０に示す。白黒反転処理の詳細については後述する。
【0172】
ステップＳＥ８でＹＥＳと判定されて白黒反転設定が「両方」になっている場合にはステップＳＥ９に進み、リサイズ処理後の画像を画像修復部２０ｊに入力して画像修復を実行する。その後、ステップＳＥ１０に進み、デコード処理部２１０が修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１０で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１０で第２デコード処理が失敗すれば、ステップＳＥ１１に進み、リサイズ処理後の画像を白黒反転処理する。その後、ステップＳＥ１１で白黒反転処理後の画像を画像修復部２０ｊに入力して画像修復を実行する（図２０参照）。次いで、ステップＳＥ１３に進み、デコード処理部２１０が修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１３で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１３で第２デコード処理が失敗すれば、ステップＳＥ１４に進む。ステップＳＥ１４では、ステップＳＥ５で抽出した候補領域がまだあるか否かを判定し、候補領域がない場合にはステップＳＥ４に進んで終了処理を実行する。
【0173】
一方、ステップＳＥ８でＮＯと判定されて白黒反転設定が「両方」になっていない場合にはステップＳＥ１５に進み、白黒反転設定が「ＯＦＦ」になっているか否かを判定する。ステップＳＥ１５でＮＯと判定されて白黒反転設定が「ＯＦＦ」になっていない場合には、ステップＳＥ１６に進んでリサイズ処理後の画像を白黒反転する処理する。その後、ステップＳＥ１７で白黒反転処理後の画像を画像修復部２０ｊに入力して画像修復を実行する。次いで、ステップＳＥ１８に進み、デコード処理部２１０が修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１８で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１８で第２デコード処理が失敗すれば、ステップＳＥ１４に進む。ステップＳＥ１４で候補領域がまだあるか否かを判定し、候補領域がない場合にはステップＳＥ４に進んで終了処理を実行する。
【0174】
ステップＳＥ１４で候補領域がまだあると判定された場合には、ステップＳＥ１９に進み、ｋの値に１を加えてステップＳＥ７に進む。ステップＳＥ７では、前回のフローからｋの値が１つ増えているので、次の候補領域Ｒｋに対応する部分画像に対して同様にリサイズ処理を実行する。ステップＳＥ８以降は上述したとおりである。つまり、第１デコード処理または第２デコード処理の一方でデコードが成功すれば、成功した時点でデコード結果を出力して他の候補領域に対するデコード処理は行わず、次のワークＷを撮像した読取画像を取得し、同様な処理を実行する。
【0175】
図２０に示す後処理部２０１は、リサイズ処理後に画像修復していない部分画像と、リサイズ処理後に画像修復部２０ｊが画像修復した部分画像とを合成する処理を実行する。すなわち、ニューラルネットワークを用いた画像修復では、修復前のコードが人間の目視で確認できるのに、画像修復がうまくいかないことや、画像修復するとセルが丸くなることが起こり得る。これらのことに対して、画像修復していない部分画像と、画像修復した部分画像とを適切な割合で重ね合わせると、その後のデコード処理が容易になる場合がある。画像修復していない部分画像と、画像修復した部分画像とを重ね合わせる割合は、所定の固定値であってもよいし、固定値以外であってもよく、例えば画像修復部２０ｊによるの修復の安定度に基づいて、読み取り時に動的に、あるいは事前評価（チューニング）で最適化して決定してもよい。例えば事前評価において、その割合をユーザがスケールバー等で調整可能にし、合成後の画像をユーザに提示しながら調整が行えるようにしてもよい。
【0176】
（バンク切り替え機能）
本実施形態では、例えばカメラ５の撮像条件を構成するパラメータ及びデコード処理部２１０における処理条件等を構成するパラメータがセットになったパラメータセットを上記パラメータセット記憶部３０ｃに記憶することができるように構成されている。パラメータセットは、バンクと呼ぶことができる。バンクは複数設けられており、それぞれに異なるパラメータが記憶されている。例えば、パラメータセット記憶部３０ｃには、チューニング実行部２０ｄにより設定された第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件とがそれぞれ別のパラメータセットとして記憶されている。
本実施形態では、例えばカメラ５の撮像条件を構成するパラメータ及びデコード処理部２１０における処理条件等を構成するパラメータがセットになったパラメータセットを上記パラメータセット記憶部３０ｃに記憶することができるように構成されている。パラメータセットは、バンクと呼ぶことができる。バンクは複数設けられており、それぞれに異なるパラメータが記憶されている。例えば、パラメータセット記憶部３０ｃには、チューニング実行部２０ｄにより設定された第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件とがそれぞれ別のパラメータセットとして記憶されている。
【0177】
この光学的情報読取装置１では、パラメータセット記憶部３５ｃに記憶されている複数のパラメータセットのうち、第１の撮像条件及びコード条件を含む一のパラメータセットから、第２の撮像条件及びコード条件を含む他のパラメータセットへ切り替えることや、その反対の切り替えができるように構成されている。パラメータセットの切替は、プロセッサ２０が行うことや、ユーザが行うこともできるし、ＰＬＣ１０１等の外部制御装置からの切替信号によって行うように構成することもできる。パラメータセットの切替をユーザが行う場合には、例えばユーザインターフェースに組み込まれているパラメータセット切替部を操作すればよい。パラメータセット切替部を「有効」にすることで、そのバンクのパラメータセットが光学的情報読取装置１の運用時に使用され、また、パラメータセット切替部を「無効」にすることで、そのバンクのパラメータセットが光学的情報読取装置１の運用時に使用されないようになる。つまり、パラメータセット切替部は、一のパラメータセットから他のパラメータセットに切り替えるためのものである。
【0178】
本例のデコード処理部２１０は、一のパラメータセットを使用して運用している時に、修復画像に対する第２デコード処理に失敗すると、他のパラメータセットに切り替えてから、別の条件で撮像された読取画像に対して画像修復、第２デコード処理を実行する。例えば、デコード処理部２１０が第２デコード処理に失敗したことを検出すると、現在しているパラメータセット以外のパラメータセットに切り替えた後、画像修復、第２デコード処理を実行し、このパラメータセットでも第２デコード処理に失敗したことを検出すると、これまで使用していない他のパラメータセットに切り替えた後、画像修復、第２デコード処理を実行する。パラメータセットを切り替えると、カメラ５の撮像条件だけなく、読取対象のコードサイズも変更される場合があり、この場合にはコードが存在する可能性が高いコード候補領域を抽出する際のサイズも変わることになる。その結果、ニューラルネットワークに入力する画像の縮小率又は拡大率も変わり、画像修復の結果も変わることになる。
【0179】
（白黒反転対応）
次に、図２１及び図２２に基づいてコードの白黒反転対応について説明する。図２１は、２つのニューラルネットワーク、即ち、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．２１Ａは、読取画像（左端の画像）を、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとにそれぞれ入力し、各ニューラルネットワークからデコード結果を出力させる方式を示しており、この方式を並行実施方式と呼ぶ。読取画像は、白地に黒印字のコードを撮像した画像なので、白地に黒印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に成功するが、黒地に白印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に失敗する。
次に、図２１及び図２２に基づいてコードの白黒反転対応について説明する。図２１は、２つのニューラルネットワーク、即ち、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．２１Ａは、読取画像（左端の画像）を、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとにそれぞれ入力し、各ニューラルネットワークからデコード結果を出力させる方式を示しており、この方式を並行実施方式と呼ぶ。読取画像は、白地に黒印字のコードを撮像した画像なので、白地に黒印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に成功するが、黒地に白印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に失敗する。
【0180】
ＦＩＧ．２１Ｂは、読取画像（左端の画像）を、まず、黒地に白印字のコードで学習したニューラルネットワークのみに入力し、修復画像のデコード処理を試みる。デコード処理に失敗した場合のみ、読取画像を、白地に黒印字のコードで学習したニューラルネットワークに入力して修復画像を生成する。この方式は、失敗後に別ネットワークを使用する方式である。
【0181】
ＦＩＧ．２１Ｃは、ユーザによる設定に基づいて、読取画像を入力するニューラルネットワークを選択する方式である。左側に示すケースは、読取画像が白地に黒印字のコードを撮像した画像であると設定されている場合である。この場合、ネットワーク選択モジュールが白地に黒印字のコードで学習したニューラルネットワークを選択する。そして、読取画像（左端の画像）を白地に黒印字のコードで学習したニューラルネットワークに入力する。一方、右側に示すケースは、読取画像が黒地に白印字のコードを撮像した画像であると設定されている場合である。この場合、ネットワーク選択モジュールが黒地に白印字のコードで学習したニューラルネットワークを選択する。そして、読取画像（左端の画像）を黒地に白印字のコードで学習したニューラルネットワークに入力する。
【0182】
図２２は、１つのニューラルネットワークのみを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．２２Ａでは、読取画像（左端の画像）を白黒反転処理することにより、白黒反転画像を生成する場合について示している。白黒反転処理しない画像と、白黒反転処理した画像とをそれぞれ白地に黒印字のコードで学習したニューラルネットワークに入力する。読取画像は、黒地に白印字のコードを撮像した画像なので、白地に黒印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に失敗するが、白黒反転処理した後の画像を使用することで、デコード処理に成功する。
【0183】
ＦＩＧ．２２Ｂの上に示す例では、読取画像（左端の画像）が黒地に白印字されたコードの画像であるため、白地に黒印字のコードで学習したニューラルネットワークに入力すると、デコード処理に失敗する。その後、白黒反転処理した画像を生成して白地に黒印字のコードで学習したニューラルネットワークに入力すると、デコード処理に成功する。
【0184】
ＦＩＧ．２２Ｂの下に示す例では、読取画像（左端の画像）が白地に黒印字されたコードの画像であるため、黒地に白印字のコードで学習したニューラルネットワークに入力すると、デコード処理に失敗する。その後、白黒反転処理した画像を生成して黒地に白印字のコードで学習したニューラルネットワークに入力すると、デコード処理に成功する。
【0185】
ＦＩＧ．２２Ｃは、ユーザによる設定に基づいて、白黒反転処理を実行するか否かを決定する方式である。上側に示すケースは、読取画像が白地に黒印字のコードを撮像した画像であると設定されている場合である。この場合、白黒反転処理モジュールが白黒反転処理を実行することなく、そのまま白地に黒印字のコードで学習したニューラルネットワークに入力する。一方、下側に示すケースは、読取画像が黒地に白印字のコードを撮像した画像であると設定されている場合である。この場合、白黒反転処理モジュールが白黒反転処理を実行する。そして、白黒反転処理した画像を白地に黒印字のコードで学習したニューラルネットワークに入力する。
【0186】
（コントラストとマッチングレベルの関係）
マッチングレベルは、例えばチューニング時のスコアとして使用したり、運用時の印字品質／読み取り性能の管理に使用される。例えば、マッチングレベルは０～１００の正の整数値で定義されており、５０以上では読み取り率テストを実施した場合に読み取り率１００％になるように設計することができる。また、マッチングレベル０は読み取れない場合、マッチングレベル１は読み取れる場合の最低値である。
マッチングレベルは、例えばチューニング時のスコアとして使用したり、運用時の印字品質／読み取り性能の管理に使用される。例えば、マッチングレベルは０～１００の正の整数値で定義されており、５０以上では読み取り率テストを実施した場合に読み取り率１００％になるように設計することができる。また、マッチングレベル０は読み取れない場合、マッチングレベル１は読み取れる場合の最低値である。
【0187】
図２３は、コントラストとマッチングレベルの関係を示すグラフであり、実線は画像修復部２０ｊにより画像修復された画像（修復画像）のコントラストとマッチングレベルの関係を示し、また、破線は画像修復部２０ｊにより画像修復していない画像（読取画像）のコントラストとマッチングレベルの関係を示している。このグラフから明らかなように、修復画像のマッチングレベルは読取画像のマッチングレベルよりも全体的に高くなっているが、ある一定以上画質が悪化すると、マッチングレベルが急激に低下してしまう。
【0188】
（マッチングレベルの算出処理）
マッチングレベルはアルゴリズムごとに設定されており、一般的には１コード種につき、１つのアルゴリズムである。しかしながら、本実施形態では、画像修復機能の搭載により、１つのコード種で２つのアルゴリズム（画像修復するアルゴリズムと、画像修復しないアルゴリズム）が実行される。この２つのアルゴリズムのうち、デコード処理が早く成功した方の結果が出力されるため、仮に、２つのアルゴリズムで交互にデコード処理に成功するケースにおいてはマッチングレベルの値が不安定になるおそれがある。また、画像修復を実行することで読み取りやすい画像になるため、従来と類似したマッチングレベルの算出方法ではマッチングレベルが既存のものと比較して高くなりやすい。これらのことに対し、本実施形態では、２つのアルゴリズムのマッチングレベルの重みづけ和をとり、マッチングレベルの値を調整するようにした。以下、具体例について、図２４に示すフローチャートに基づいて説明する。
マッチングレベルはアルゴリズムごとに設定されており、一般的には１コード種につき、１つのアルゴリズムである。しかしながら、本実施形態では、画像修復機能の搭載により、１つのコード種で２つのアルゴリズム（画像修復するアルゴリズムと、画像修復しないアルゴリズム）が実行される。この２つのアルゴリズムのうち、デコード処理が早く成功した方の結果が出力されるため、仮に、２つのアルゴリズムで交互にデコード処理に成功するケースにおいてはマッチングレベルの値が不安定になるおそれがある。また、画像修復を実行することで読み取りやすい画像になるため、従来と類似したマッチングレベルの算出方法ではマッチングレベルが既存のものと比較して高くなりやすい。これらのことに対し、本実施形態では、２つのアルゴリズムのマッチングレベルの重みづけ和をとり、マッチングレベルの値を調整するようにした。以下、具体例について、図２４に示すフローチャートに基づいて説明する。
【0189】
スタート後のステップＳＦ１では読取画像をデコード処理部２１０に入力する。ステップＳＦ２では、画像修復することなく、デコード処理部２１０が第１デコード処理を実行する。ステップＳＦ３では、第１デコード処理によるマッチングレベルＡ（ＭＬＡ）を算出する。一方、ステップＳＦ４では、読取画像を画像修復部２０ｊに入力して画像修復処理を実行する。その後、ステップＳＦ５に進み、修復画像に対してデコード処理部２１０が第２デコード処理を実行する。ステップＳＦ６では、第２デコード処理によるマッチングレベルＢ（ＭＬＢ）を算出する。尚、ステップＳＦ２でデコードに成功しなかった場合にはＭＬＡ＝０となり、またステップＳＦ５でデコードに成功しなかった場合にはＭＬＢ＝０となる。
【0190】
ステップＳＦ７では、例えば平均化関数等を用いてＭＬＡとＭＬＢの値を調整する。また、ステップＳＦ２、ＳＦ５のどちらでデコードに成功しても、ＭＬＡの値に重みを付ける処理を行う。
【0191】
（ユーザインターフェースの例）
図２５は、表示部６に表示されるユーザインターフェース３００の例を示す図である。プロセッサ２０は、ユーザインターフェース３００を生成し、表示部６に表示させる。ユーザインターフェース３００には、カメラ５で現在撮像されている画像（ライブビュー画像）が表示される第１画像表示領域３０１と、読取画像が表示される第２画像表示領域３０２と、画像修復部２０ｊにより修復された修復画像が表示される第３表示領域３０３とが設けられている。これにより、読取画像と修復画像とを比較可能な形態でユーザに提示できる。また、デコード処理が実行される画像、またはデコード処理が実行された後の画像がどのような画像であるかをユーザが把握できる。
図２５は、表示部６に表示されるユーザインターフェース３００の例を示す図である。プロセッサ２０は、ユーザインターフェース３００を生成し、表示部６に表示させる。ユーザインターフェース３００には、カメラ５で現在撮像されている画像（ライブビュー画像）が表示される第１画像表示領域３０１と、読取画像が表示される第２画像表示領域３０２と、画像修復部２０ｊにより修復された修復画像が表示される第３表示領域３０３とが設けられている。これにより、読取画像と修復画像とを比較可能な形態でユーザに提示できる。また、デコード処理が実行される画像、またはデコード処理が実行された後の画像がどのような画像であるかをユーザが把握できる。
【0192】
（ＡＩチップ付き撮像素子の例）
図２６は、ＡＩチップ付き撮像素子５ａを用いた例を示す図であり、各図に示すようにカメラ５の撮像素子５ａを構成することができる。ＦＩＧ．２６Ａは、撮像素子５ａに画像修復を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２６Ｂは、撮像素子５ａに、修復用コード領域の抽出と、画像修復とを実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２６Ｃは、撮像素子５ａに、修復用コード領域の抽出を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像をプロセッサ２０に出力する。
図２６は、ＡＩチップ付き撮像素子５ａを用いた例を示す図であり、各図に示すようにカメラ５の撮像素子５ａを構成することができる。ＦＩＧ．２６Ａは、撮像素子５ａに画像修復を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２６Ｂは、撮像素子５ａに、修復用コード領域の抽出と、画像修復とを実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．２６Ｃは、撮像素子５ａに、修復用コード領域の抽出を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像をプロセッサ２０に出力する。
【0193】
また、ＦＩＧ．２６Ａに示す例において、撮像素子５ａで取得した読取画像をプロセッサ２０に出力するとともに、ＡＩチップによって画像修復を実行し、修復画像をプロセッサ２０に出力してもよい。ＦＩＧ．２６Ｂ，ＦＩＧ．２６Ｃに示す例についても同様である。
【0194】
（偏光フィルタアタッチメント３）
本実施形態では、図２に示すように、少なくともコードを照明する照明光を発生する光源として複数の発光ダイオードからなる第１照明部４ａ及び第２照明部４ｂを備えている。偏光フィルタアタッチメント３は、第２照明部４ｂを構成する発光ダイオードで発生した光のうち、第１の偏光成分の光を通過させる第１偏光板３ａと、第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板３ｂとを備えている。第１偏光板３ａ及び第２偏光板３ｂは、図２中、斜線を引いた範囲にそれぞれ設けることができ、例えば、第１偏光板３ａは、第２照明部４ｂを覆うように配置され、また、第２偏光板３ｂは、カメラ５の光学系５ｂを光の入射側から覆うように配置されている。
本実施形態では、図２に示すように、少なくともコードを照明する照明光を発生する光源として複数の発光ダイオードからなる第１照明部４ａ及び第２照明部４ｂを備えている。偏光フィルタアタッチメント３は、第２照明部４ｂを構成する発光ダイオードで発生した光のうち、第１の偏光成分の光を通過させる第１偏光板３ａと、第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板３ｂとを備えている。第１偏光板３ａ及び第２偏光板３ｂは、図２中、斜線を引いた範囲にそれぞれ設けることができ、例えば、第１偏光板３ａは、第２照明部４ｂを覆うように配置され、また、第２偏光板３ｂは、カメラ５の光学系５ｂを光の入射側から覆うように配置されている。
【0195】
したがって、カメラ５は、第１偏光板３ａを通過し、ワークＷの表面（コード）から反射した光を、第２偏光板３ｂを介して受光する。これにより、ワークＷの正反射成分が除去され、第１偏光板３ａ及び第２偏光板３ｂを介さない場合に比べて低コントラストな読取画像をカメラ５が生成する。この低コントラストな読取画像をプロセッサ２０が取得する。プロセッサ２０は、低コントラストな読取画像をニューラルネットワークに入力することにより、入力前に比べて高コントラストな修復画像に変換し、当該修復画像に対してデコード処理を実行する。
【0196】
すなわち、偏光板３ａ、３ｂを使用することで、ワークＷの正反射成分が除去されるので、正反射成分の影響が軽減された読取画像を取得できる。例えば金属ワークを撮像した場合のように正反射成分が多くなる画像に偏光板３ａ、３ｂは適しているものの、光量の低下によって読取画像が暗くなり、コントラストが低下することがある。このような場合に、ニューラルネットワークの推論処理によって高コントラストな修復画像に変換することで、読取性能が向上する。
【0197】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0198】
以上説明したように、本発明に係る光学的情報読取装置は、例えばワークに付されたコードを読み取る場合に利用することができる。
【符号の説明】
【0199】
１ 定置式の光学的情報読取装置
１Ａ 手持ち式の光学的情報読取装置
２ ハウジング
２Ａ 手持ち式のハウジング
２Ｂ 把持部
５ カメラ
２０ プロセッサ
２０ｃ フィルタ処理部
２０ｄ チューニング実行部
２０ｅ 設定部
２０ｆ デコード処理部
２０ｇ 抽出部
２０ｈ 縮小部
２０ｉ 拡大部
２０ｊ 画像修復部
３０ 記憶部
３０ｄ ニューラルネットワーク記憶部
Ｗ ワーク
１Ａ 手持ち式の光学的情報読取装置
２ ハウジング
２Ａ 手持ち式のハウジング
２Ｂ 把持部
５ カメラ
２０ プロセッサ
２０ｃ フィルタ処理部
２０ｄ チューニング実行部
２０ｅ 設定部
２０ｆ デコード処理部
２０ｇ 抽出部
２０ｈ 縮小部
２０ｉ 拡大部
２０ｊ 画像修復部
３０ 記憶部
３０ｄ ニューラルネットワーク記憶部
Ｗ ワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
