知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022135893
(43)【公開日】2022-09-15
(54)【発明の名称】光学的情報読取装置
(51)【国際特許分類】
G06K 7/14 20060101AFI20220908BHJP
G06K 7/10 20060101ALI20220908BHJP
G06N 20/00 20190101ALI20220908BHJP
G06T 1/40 20060101ALI20220908BHJP
G06V 30/162 20220101ALI20220908BHJP
G06T 5/00 20060101ALI20220908BHJP
【ＦＩ】
G06K7/14 082
G06K7/10 372
G06K7/14 017
G06K7/14 039
G06N20/00
G06T1/40
G06K9/38 Z
G06T5/00 700
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2021164236
(22)【出願日】2021-10-05
(31)【優先権主張番号】P 2021033619
(32)【優先日】2021-03-03
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】山田 郁生
【テーマコード（参考）】
5B029
5B057
【Ｆターム（参考）】
5B029AA01
5B029BB02
5B029BB12
5B029BB17
5B029DD04
5B029EE01
5B029EE13
5B057CA08
5B057CA12
5B057CA16
5B057CB02
5B057CB06
5B057CB12
5B057CB16
5B057CC01
5B057CE01
5B057CE02
5B057CE05
5B057CE06
5B057CE11
(57)【要約】
【課題】機械学習の推論処理によって読み取り精度を向上させながら、当該推論処理の負荷によって処理時間が長時間化してしまうのを抑制する。
【解決手段】光学的情報読取装置は、ニューラルネットワークに読取画像を入力し、読取画像に対応する理想画像を生成する推論処理を実行する推論処理部と、読取画像をデコードする第１デコード処理と推論処理部が生成した理想画像をデコードする第２デコード処理とを実行するデコード処理部とを有するプロセッサとを備えている。プロセッサは、推論処理と第１デコード処理とを並列的に実行するとともに、推論処理の完了後に、第２デコード処理を実行する。
【選択図】図１６
【解決手段】光学的情報読取装置は、ニューラルネットワークに読取画像を入力し、読取画像に対応する理想画像を生成する推論処理を実行する推論処理部と、読取画像をデコードする第１デコード処理と推論処理部が生成した理想画像をデコードする第２デコード処理とを実行するデコード処理部とを有するプロセッサとを備えている。プロセッサは、推論処理と第１デコード処理とを並列的に実行するとともに、推論処理の完了後に、第２デコード処理を実行する。
【選択図】図１６
【特許請求の範囲】
【請求項1】
ワークに付されたコードを読み取る光学的情報読取装置であって、
コードを撮影し、読取画像を生成するカメラと、
前記カメラにより生成された読取画像に対応する理想画像を推定するためのニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像に対応する理想画像を生成する推論処理を実行する推論処理部と、前記カメラにより生成された読取画像をデコードする第１デコード処理と前記推論処理部が生成した理想画像をデコードする第２デコード処理とを実行するデコード処理部とを有するプロセッサとを備え、
前記プロセッサは、前記推論処理部による推論処理と前記デコード処理部による第１デコード処理とを並列的に実行するとともに、前記推論処理部による推論処理の完了後に、前記デコード処理部による前記第２デコード処理を実行するように構成されている光学的情報読取装置。
コードを撮影し、読取画像を生成するカメラと、
前記カメラにより生成された読取画像に対応する理想画像を推定するためのニューラルネットワークの構造及びパラメータを記憶する記憶部と、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像に対応する理想画像を生成する推論処理を実行する推論処理部と、前記カメラにより生成された読取画像をデコードする第１デコード処理と前記推論処理部が生成した理想画像をデコードする第２デコード処理とを実行するデコード処理部とを有するプロセッサとを備え、
前記プロセッサは、前記推論処理部による推論処理と前記デコード処理部による第１デコード処理とを並列的に実行するとともに、前記推論処理部による推論処理の完了後に、前記デコード処理部による前記第２デコード処理を実行するように構成されている光学的情報読取装置。
【請求項2】
請求項１に記載の光学的情報読取装置において、
前記デコード処理部は、前記第１デコード処理と前記第２デコード処理とを別スレッドで並列的に実行するコアを有している光学的情報読取装置。
前記デコード処理部は、前記第１デコード処理と前記第２デコード処理とを別スレッドで並列的に実行するコアを有している光学的情報読取装置。
【請求項3】
請求項１に記載の光学的情報読取装置において、
前記デコード処理部は、前記第１デコード処理と前記第２デコード処理とを異なるコアで実行可能なマルチコアで構成されている光学的情報読取装置。
前記デコード処理部は、前記第１デコード処理と前記第２デコード処理とを異なるコアで実行可能なマルチコアで構成されている光学的情報読取装置。
【請求項4】
請求項１から３のいずれか１つに記載の光学的情報読取装置において、
前記デコード処理部は、前記カメラにより生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する抽出処理と、当該抽出処理により読取画像の中から抽出された部分画像をデコードする前記第１デコード処理とを実行する汎用コアを有し、
前記推論処理部は、抽出処理により読取画像の中から抽出された部分画像を入力し、当該読取画像に対応する理想画像を生成する推論処理を実行する推論処理専用コアを有している光学的情報読取装置。
前記デコード処理部は、前記カメラにより生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する抽出処理と、当該抽出処理により読取画像の中から抽出された部分画像をデコードする前記第１デコード処理とを実行する汎用コアを有し、
前記推論処理部は、抽出処理により読取画像の中から抽出された部分画像を入力し、当該読取画像に対応する理想画像を生成する推論処理を実行する推論処理専用コアを有している光学的情報読取装置。
【請求項5】
請求項４に記載の光学的情報読取装置において、
前記汎用コアは、前記推論処理専用コアによる推論処理で生成された理想画像をデコードする第２デコード処理を実行する光学的情報読取装置。
前記汎用コアは、前記推論処理専用コアによる推論処理で生成された理想画像をデコードする第２デコード処理を実行する光学的情報読取装置。
【請求項6】
請求項４または５に記載の光学的情報読取装置において、
前記汎用コアは、前記抽出処理を実行する第１コアと、前記第１デコード処理を実行する第２コアと、前記第２デコード処理を実行する第３コアとを有している光学的情報読取装置。
前記汎用コアは、前記抽出処理を実行する第１コアと、前記第１デコード処理を実行する第２コアと、前記第２デコード処理を実行する第３コアとを有している光学的情報読取装置。
【請求項7】
請求項４から６のいずれか１つに記載の光学的情報読取装置において、
前記汎用コアは、前記推論処理専用コアによる推論処理で理想画像が生成された場合、前記第１デコード処理に優先して前記理想画像をデコードする前記第２デコード処理を実行する光学的情報読取装置。
前記汎用コアは、前記推論処理専用コアによる推論処理で理想画像が生成された場合、前記第１デコード処理に優先して前記理想画像をデコードする前記第２デコード処理を実行する光学的情報読取装置。
【請求項8】
請求項５から７のいずれか１つに記載の光学的情報読取装置において、
前記推論処理専用コアは、前記汎用コアによる抽出処理の結果、複数の前記部分画像が抽出された場合、複数の前記部分画像に対して所定の順番に従って推論処理を実行し、
前記汎用コアは、前記抽出処理の結果、複数の前記部分画像が抽出された場合、複数の前記部分画像に対して所定の順番に従って前記第１デコード処理を実行する光学的情報読取装置。
前記推論処理専用コアは、前記汎用コアによる抽出処理の結果、複数の前記部分画像が抽出された場合、複数の前記部分画像に対して所定の順番に従って推論処理を実行し、
前記汎用コアは、前記抽出処理の結果、複数の前記部分画像が抽出された場合、複数の前記部分画像に対して所定の順番に従って前記第１デコード処理を実行する光学的情報読取装置。
【請求項9】
請求項８に記載の光学的情報読取装置において、
前記プロセッサは、前記第１デコード処理でデコードに成功した場合は、前記推論処理部による推論処理を終了させるように構成されている光学的情報読取装置。
前記プロセッサは、前記第１デコード処理でデコードに成功した場合は、前記推論処理部による推論処理を終了させるように構成されている光学的情報読取装置。
【請求項10】
請求項４から９のいずれか１つに記載の光学的情報読取装置において、
前記汎用コアは、前記コード候補領域を第１の所定条件で抽出する第１抽出処理と、前記コード候補領域を前記第１の所定条件よりも精度の高い抽出を可能にする第２の所定条件で抽出する第２抽出処理と、前記第１抽出処理により読取画像の中から抽出された部分画像をデコードする前記第１デコード処理とを実行し、
前記推論処理専用コアは、前記第２抽出処理により読取画像の中から抽出された部分画像を入力し、当該読取画像に対応する理想画像を生成する推論処理を実行する光学的情報読取装置。
前記汎用コアは、前記コード候補領域を第１の所定条件で抽出する第１抽出処理と、前記コード候補領域を前記第１の所定条件よりも精度の高い抽出を可能にする第２の所定条件で抽出する第２抽出処理と、前記第１抽出処理により読取画像の中から抽出された部分画像をデコードする前記第１デコード処理とを実行し、
前記推論処理専用コアは、前記第２抽出処理により読取画像の中から抽出された部分画像を入力し、当該読取画像に対応する理想画像を生成する推論処理を実行する光学的情報読取装置。
【請求項11】
請求項４から１０のいずれか１つに記載の光学的情報読取装置において、
前記抽出処理により読取画像の中から抽出された部分画像が記憶されており、前記汎用コア及び前記推論処理専用コアが共にアクセス可能なメモリを備えている光学的情報読取装置。
前記抽出処理により読取画像の中から抽出された部分画像が記憶されており、前記汎用コア及び前記推論処理専用コアが共にアクセス可能なメモリを備えている光学的情報読取装置。
【請求項12】
請求項４から１１のいずれか１つに記載の光学的情報読取装置において、
前記汎用コア及び前記推論処理専用コアが同一の基板上に実装されており、
前記推論処理専用コアは、ニューラルネットワークによる推論処理専用の専用コアで構成されている光学的情報読取装置。
前記汎用コア及び前記推論処理専用コアが同一の基板上に実装されており、
前記推論処理専用コアは、ニューラルネットワークによる推論処理専用の専用コアで構成されている光学的情報読取装置。
【請求項13】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、をさらに備え、
前記第２デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出するとともに、前記画像修復部に対し、推論処理を実行するようトリガ信号を送出し、
前記画像修復部は、前記第２デコード処理部から送出されたトリガ信号を受信すると、前記第２デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記第２デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、をさらに備え、
前記第２デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出するとともに、前記画像修復部に対し、推論処理を実行するようトリガ信号を送出し、
前記画像修復部は、前記第２デコード処理部から送出されたトリガ信号を受信すると、前記第２デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記第２デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する光学的情報読取装置。
【請求項14】
請求項１３に記載の光学的情報読取装置において、
前記画像修復部による推論処理と前記第１デコード処理部による第１デコード処理は並列に実行され、前記第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は前記画像修復部による推論処理が実行されない休止期間を有する光学的情報読取装置。
前記画像修復部による推論処理と前記第１デコード処理部による第１デコード処理は並列に実行され、前記第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は前記画像修復部による推論処理が実行されない休止期間を有する光学的情報読取装置。
【請求項15】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記第１デコード処理部は、前記第２デコード処理にかかる時間よりも短い時間で前記第１デコード処理を実行可能であり、
前記設定部は、前記第２デコード処理を実行すると設定されている場合は、前記第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定されるとともに、前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、
前記画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記第１デコード処理部は、前記第２デコード処理にかかる時間よりも短い時間で前記第１デコード処理を実行可能であり、
前記設定部は、前記第２デコード処理を実行すると設定されている場合は、前記第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定されるとともに、前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている光学的情報読取装置。
【請求項16】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理と、前記第１デコード処理と並列に、前記画像修復部が生成した修復画像に対する第２デコード処理を実行するデコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記デコード処理部は、前記設定部により前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理に使われる処理のリソースを前記第１デコード処理に振り分け、前記第２デコード処理を実行すると設定されている場合に比べ、前記第１デコード処理を高速化する光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記カメラにより生成された読取画像に対する第１デコード処理と、前記第１デコード処理と並列に、前記画像修復部が生成した修復画像に対する第２デコード処理を実行するデコード処理部と、
前記第２デコード処理を実行するか否かを設定する設定部と、をさらに備え、
前記デコード処理部は、前記設定部により前記第２デコード処理を実行しないと設定されている場合は、前記第２デコード処理に使われる処理のリソースを前記第１デコード処理に振り分け、前記第２デコード処理を実行すると設定されている場合に比べ、前記第１デコード処理を高速化する光学的情報読取装置。
【請求項17】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、をさらに備え、
前記デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出し、
前記画像修復部は、前記デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行する光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、をさらに備え、
前記デコード処理部は、前記読取画像からコードが存在する可能性が高いコード候補領域を抽出し、
前記画像修復部は、前記デコード処理部が抽出した前記コード候補領域に対応する部分画像を前記ニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行し、
前記デコード処理部は、前記修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行する光学的情報読取装置。
【請求項18】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件及び前記デコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行するチューニング実行部と、を更に備え、
前記デコード処理部は、
前記チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ前記読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してから前記ニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードする光学的情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件及び前記デコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行するチューニング実行部と、を更に備え、
前記デコード処理部は、
前記チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ前記読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してから前記ニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードする光学的情報読取装置。
【請求項19】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
少なくともコードを照明する照明光を発生する複数の光源と、
前記光源で発生した光のうち、第１の偏光成分の光を通過させる第１偏光板と、
前記第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板と、をさらに備え、
前記カメラは、前記第１偏光板を通過し、コードから反射した光を前記第２偏光板を介して受光し、前記ワークの正反射成分を除去することにより、前記第１偏光板及び前記第２偏光板を介さない場合に比べて低コントラストな読取画像を生成し、
前記プロセッサは、前記低コントラストな読取画像を前記ニューラルネットワークに入力することにより、入力前に比べて高コントラストな修復画像に変換し、当該修復画像に対してデコード処理を実行する光学情報読取装置。
少なくともコードを照明する照明光を発生する複数の光源と、
前記光源で発生した光のうち、第１の偏光成分の光を通過させる第１偏光板と、
前記第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板と、をさらに備え、
前記カメラは、前記第１偏光板を通過し、コードから反射した光を前記第２偏光板を介して受光し、前記ワークの正反射成分を除去することにより、前記第１偏光板及び前記第２偏光板を介さない場合に比べて低コントラストな読取画像を生成し、
前記プロセッサは、前記低コントラストな読取画像を前記ニューラルネットワークに入力することにより、入力前に比べて高コントラストな修復画像に変換し、当該修復画像に対してデコード処理を実行する光学情報読取装置。
【請求項20】
請求項１から１２のいずれか１つに記載の光学的情報読取装置において、
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、前記撮像条件及び読取対象のコードのコード条件を複数設定可能なチューニング実行部と、を更に備え、
前記記憶部は、前記チューニング実行部により設定された第１の撮像条件及びコード条件と第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件を記憶し、
前記デコード処理部は、前記記憶部に記憶されている複数の読取条件の内、前記第１の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコード処理に失敗した場合は前記第２の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコードを実行する光学情報読取装置。
前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、
前記画像修復部が生成した修復画像に対するデコード処理を実行するデコード処理部と、
前記カメラの撮像条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、前記撮像条件及び読取対象のコードのコード条件を複数設定可能なチューニング実行部と、を更に備え、
前記記憶部は、前記チューニング実行部により設定された第１の撮像条件及びコード条件と第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件を記憶し、
前記デコード処理部は、前記記憶部に記憶されている複数の読取条件の内、前記第１の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコード処理に失敗した場合は前記第２の撮像条件及びコード条件で生成された読取画像を前記ニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコードを実行する光学情報読取装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報を光学的に読み取る光学的情報読取装置に関する。
【背景技術】
【0002】
近年、たとえば物品の流通経路を製造段階から消費段階あるいは廃棄段階まで追跡可能にする、いわゆるトレーサビリティが重要視されてきており、このトレーサビリティを目的としたコードリーダが普及してきている。また、トレーサビリティ以外にもコードリーダは様々な分野で利用されている。
【0003】
一般的に、コードリーダは、ワークに付されたバーコードや二次元コード等のコードをカメラによって撮影し、得られた画像に含まれるコードを画像処理によって切り出して二値化し、デコード処理して情報を読み取ることができるように構成されており、情報を光学的に読み取る装置であることから光学的情報読取装置とも呼ばれている。
【0004】
この種の光学的情報読取装置としては、例えば特許文献１に開示されているように、ロボットの視覚センサにより取得したコードの画像と、理想的なコードの画像との関係を示すモデル構造を学習する機械学習装置を備えたものが知られている。特許文献１には、運用時に視覚センサにより取得したコードの画像に、機械学習装置による学習結果を適用することで、読み取りに適した画像に修復することが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６６８３６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、機械学習による画像の修復、即ち理想画像の推論処理はプロセッサの演算負荷が重く、処理に時間がかかる。そのため、読み取りが難しくない読取画像、即ち印字状態が良好な読取画像であれば、ニューラルネットワークに入力して理想画像の推論処理を実行するまでもなく、ただちに読取画像に対してデコード処理を実行する方が処理時間を考慮すると好ましい。一方、機械学習による推論処理が必要かどうかを読取画像から事前に判断することは容易ではなく、また、デコード処理と機械学習による推論処理をシリアルに実施すると処理に時間がかかってしまう。
【0007】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、機械学習の推論処理によって読み取り精度を向上させながら、当該推論処理の負荷によって処理時間が長時間化してしまうのを抑制することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本開示の一態様では、ワークに付されたコードを読み取る光学的情報読取装置を前提とすることができる。光学的情報読取装置は、コードを撮影し、読取画像を生成するカメラと、前記カメラにより生成された読取画像に対応する理想画像を推定するためのニューラルネットワークの構造及びパラメータを記憶する記憶部と、前記記憶部に記憶された構造及びパラメータで構成されたニューラルネットワークに前記カメラにより生成された読取画像を入力し、前記読取画像に対応する理想画像を生成する推論処理を実行する推論処理部と、前記カメラにより生成された読取画像をデコードする第１デコード処理と前記推論処理部が生成した理想画像をデコードする第２デコード処理とを実行するデコード処理部とを有するプロセッサとを備えている。前記プロセッサは、前記推論処理部による推論処理と前記デコード処理部による第１デコード処理とを並列的に実行するとともに、前記推論処理部による推論処理の完了後に、前記デコード処理部による前記第２デコード処理を実行するように構成されている。
【0009】
この構成によれば、コードの印字状態が悪い場合のように、光学的情報読取装置の運用時にカメラにより生成された読取画像がコードの読取に適していない場合には、カメラにより生成された読取画像を推論処理部に入力して推論処理を実行することで理想画像が生成される。一方、コードの印字状態が良好な場合のように、光学的情報読取装置の運用時にカメラにより生成された読取画像がコードの読取に適している場合には、カメラにより生成された読取画像を推論処理部に入力することなく、デコード処理部で第１デコード処理する。推論処理と、第１デコード処理とが並列的に実行されるので、推論処理が必要な読取画像に対する推論処理の実行中に、推論処理が不要な別の読取画像に対するデコード処理を実行すること、または、推論処理が不要な読取画像に対するデコード処理の実行中に、推論処理が必要な別の読取画像に対する推論処理を実行することができる。これにより、処理時間が短縮される。尚、第１デコード処理と、推論処理とが同じ読取画像に対して実行されてもよい。
【0010】
また、推論処理部による推論処理の完了後には、第２デコード処理を実行して理想画像をデコードするので、読み取り精度が高まる。
【0011】
本開示の他の態様では、前記デコード処理部が、前記第１デコード処理と前記第２デコード処理とを別スレッドで並列的に実行するコアを有していてもよい。
【0012】
本開示の他の態様では、前記デコード処理部が、前記第１デコード処理と前記第２デコード処理とを異なるコアで実行可能なマルチコアで構成されていてもよい。
【0013】
この構成によれば、第１デコード処理を実行するコアと、第２デコード処理を実行するコアとが別のコアになるので、第１デコード処理と第２デコード処理と並列的に実行でき、処理時間が短縮される。
【0014】
本開示の他の態様では、前記デコード処理部が、前記カメラにより生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する抽出処理と、当該抽出処理により読取画像の中から抽出された部分画像をデコードする前記第１デコード処理とを実行する汎用コアを有している。前記推論処理部は、抽出処理により読取画像の中から抽出された部分画像を入力し、当該読取画像に対応する理想画像を生成する推論処理を実行する推論処理専用コアを有している。
【0015】
この構成によれば、コード候補領域の抽出処理と、抽出処理により抽出された部分画像をデコードする第１デコード処理とを汎用コアで実行し、推論処理を汎用コアとは別の推論処理に特化した推論処理専用コアで実行することができるので、推論処理を高速化できる。
【0016】
本開示の他の態様では、前記汎用コアが、前記推論処理専用コアによる推論処理で生成された理想画像をデコードする第２デコード処理を実行するものである。
【0017】
本開示の他の態様では、前記汎用コアが、前記抽出処理を実行する第１コアと、前記第１デコード処理を実行する第２コアと、前記第２デコード処理を実行する第３コアとを有している。
【0018】
この構成によれば、抽出処理、第１デコード処理及び第２デコード処理を全て別のコアで実行することができる。特に、第２コア及び第３コアをデコード処理に特化したコアにすることができるので、処理がより一層高速化する。
【0019】
本開示の他の態様では、前記推論処理専用コアによる推論処理で理想画像が生成された場合、前記汎用コアが前記第１デコード処理に優先して前記理想画像をデコードする前記第２デコード処理を実行するものである。
【0020】
すなわち、推論処理で理想画像が生成される場合は、カメラで生成された読取画像に対する第１デコード処理の処理時間が長くかかり、読み取りにくい画像であると考えられる。従って、理想画像が生成された場合には、カメラで生成された読取画像に対する第１デコード処理に優先して理想画像をデコードすることで、結果的に短時間で高精度な読み取り結果が得られる。
【0021】
本開示の他の態様では、前記汎用コアによる抽出処理の結果、複数の前記部分画像が抽出された場合、前記推論処理専用コアが、複数の前記部分画像に対して所定の順番に従って推論処理を実行することができる。また、前記汎用コアは、前記抽出処理の結果、複数の前記部分画像が抽出された場合、複数の前記部分画像に対して所定の順番に従って前記第１デコード処理を実行することができる。
【0022】
すなわち、ワークを撮影して１枚の読取画像が生成された場合に、その１枚の読取画像に複数のコード候補領域が存在することがある。この場合、複数の部分画像が抽出されることになる。複数の部分画像に対して、例えば推論処理の優先度が高い順番に推論処理を実行することができる。また、複数の部分画像に対して、例えばデコード処理の優先度が高い順番に第１デコード処理を実行することができる。優先度は、所定の順番を決定するための条件に基づくものであってもよく、例えばコードの可能性が高い部分画像から処理を実行していってもよい。
【0023】
本開示の他の態様では、前記プロセッサが、前記第１デコード処理でデコードに成功した場合は、前記推論処理部による推論処理を終了させるように構成されている。
【0024】
すなわち、第１デコード処理は、推論処理をしていない読取画像に対するデコード処理である。この読取画像に対するデコード処理が成功したということは、読み取りが難しくない読取画像であったということであり、推論処理が不要な場合である。この場合に推論処理が途中であっても当該推論処理を終了させることで、次に入力された別の読取画像に対する推論処理を早期に開始させることが可能になる。
【0025】
本開示の他の態様では、前記汎用コアが、前記コード候補領域を第１の所定条件で抽出する第１抽出処理と、前記コード候補領域を前記第１の所定条件よりも精度の高い抽出を可能にする第２の所定条件で抽出する第２抽出処理と、前記第１抽出処理により読取画像の中から抽出された部分画像をデコードする前記第１デコード処理とを実行することができる。また、前記推論処理専用コアは、前記第２抽出処理により読取画像の中から抽出された部分画像を入力し、当該読取画像に対応する理想画像を生成する推論処理を実行することができる。
【0026】
この構成によれば、汎用コアが、比較的精度の低い第１抽出処理と、比較的精度の高い第２抽出処理とを行うことができる。第１抽出処理は、精度が低い分、高速な抽出が可能になるので、この第１抽出処理により読取画像の中から抽出された部分画像を第１デコード処理でデコードし、デコードに成功すれば、読み取り結果を短時間で出力することができる。
【0027】
一方、第１デコード処理でデコードを失敗する読取画像は、読み取りが難しい画像であり、第１抽出処理での抽出が困難な場合がある。この場合には、より高精度な抽出が可能な第２抽出処理で抽出された部分画像を推論処理専用コアによって推論処理し、理想画像を生成する。生成された理想画像に対して第２デコード処理することで、読み取り精度が高まる。
【0028】
すなわち、第１デコード処理は、読み取りが簡単な読取画像の読み取り結果を高速に出力することができ、また、第２デコード処理は、第１デコード処理でデコードを失敗する可能性の高い読取画像に対しても読み取りを可能にしてデコードが失敗する頻度を低くすることができる。
【0029】
本開示の他の態様では、前記抽出処理により読取画像の中から抽出された部分画像が記憶されており、前記汎用コア及び前記推論処理専用コアが共にアクセス可能なメモリを光学的情報読取装置が備えている。
【0030】
この構成によれば、抽出処理による抽出結果を汎用コアと推論処理専用コアとで共有することができるので、処理を高速化できる。メモリはＲＡＭ等で構成されており、汎用コアと推論処理専用コアとが同一のＲＡＭにアクセス可能に構成できる。
【0031】
本開示の他の態様では、前記汎用コア及び前記推論処理専用コアが同一の基板上に実装されていてもよい。この場合、前記推論処理専用コアは、ニューラルネットワークによる推論処理専用のＩＣやＦＰＧＡ等で構成することができる。
【0032】
本開示の他の態様では、ニューラルネットワークに読取画像を入力し、読取画像を修復した修復画像を生成する推論処理を実行する画像修復部と、カメラにより生成された読取画像に対する第１デコード処理を実行する第１デコード処理部と、画像修復部が生成した修復画像に対する第２デコード処理を実行する第２デコード処理部とをさらに備えている。第２デコード処理部は、読取画像からコード候補領域を抽出するとともに、画像修復部に対し、推論処理を実行するようトリガ信号を送出する。画像修復部は、第２デコード処理部から送出されたトリガ信号を受信すると、コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する。第２デコード処理部は、修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行することができる。つまり、推論処理されていない通常の読取画像のデコードを第１デコード処理部が実行し、また、推論処理による修復画像の生成を画像修復部が実行し、また、推論処理により修復された修復画像のデコードを第２デコード処理部が実行することで、それぞれに適した処理回路を構築して処理速度の高速化を図ることができる。加えて、画像修復部は、コード候補領域に対応する部分画像を修復すればよいので、処理速度の更なる高速化が可能になる。
【0033】
本開示の他の態様では、画像修復部による推論処理と、第１デコード処理部による第１デコード処理を並列に実行することで、処理速度の高速化を図ることができる。また、第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は、画像修復部による推論処理が実行されない休止期間を有しているので、画像修復部の負荷低減や、発熱を抑制できる。この場合、第２デコード処理部は、複数のコアで構成されていてもよい。
【0034】
本開示の他の態様では、第１デコード処理部は、第２デコード処理にかかる時間よりも短い時間で第１デコード処理を実行できる。また、設定部により、第２デコード処理を実行するか否か、即ち、修復画像のデコード処理を実行するか否かを切り替えることができる。第２デコード処理は、修復画像のデコード処理を実行するため、通常の読取画像のデコード処理を実行する第１デコード処理に比べて処理にかかる時間が長い。これを前提としたとき、第２デコード処理を実行すると設定されている場合は、第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間（デコード制限時間）を設定することができる。一方、第２デコード処理を実行しないと設定されている場合は、第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定することができるので、修復画像に対するデコードがデコードタイムアウト時間を超過すると、速やかに次に撮像された画像のデコード処理に移行できる。
【0035】
本開示の他の態様に係るデコード処理部は、カメラにより生成された読取画像に対する第１デコード処理と並列に、修復画像に対する第２デコード処理を実行できるので、読取画像と修復画像とが混在していても、処理速度を高速化できる。このデコード処理部は、設定部により第２デコード処理を実行しないと設定されている場合は、第２デコード処理に使われる処理のリソースを第１デコード処理に振り分けることができる。処理のリソースとは、例えばメモリの使用領域や、マルチコアＣＰＵを構成しているコア等であり、第２デコード処理に使われる処理のリソースとしてメモリ領域やコアが予め設定されている場合に、第２デコード処理を実行しないと設定されると、そのメモリ領域やコアを第１デコード処理に使うことができるので、第１デコード処理をより一層高速化できる。
【0036】
本開示の他の態様に係るデコード処理部は、読取画像からコードが存在する可能性が高いコード候補領域を抽出する。画像修復部は、コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する。デコード処理部は、画像修復部が生成した修復画像に基づいてグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコードを実行する。すなわち、修復画像の生成には時間がかかる場合が多いので、修復画像の生成前に、例えばコードらしさを示す特徴量に基づいてコード候補領域を抽出しておくことで、修復画像の生成に要する時間を短縮できる。また、グリッド位置の決定は修復後の画像に基づいて高精度に実行できるので、読取性能が向上する。
【0037】
本開示の他の態様では、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行する。デコード処理部は、チューニング処理で設定されたコードの大きさに基づき、読取画像の中からコード候補領域を含む抽出画像のサイズを決定できる。その抽出画像を予め定められたサイズの画像に拡大・縮小してニューラルネットワークに入力することで、ニューラルネットワークに入力されるコード画像のＰＰＣを所定の範囲内に収めることができ、ニューラルネットワークによる画像修復効果を安定的に引き出すことができる。また、読取対象のコードサイズは様々であることが考えられるが、最終的にニューラルネットワークに入力されるコードのサイズを固定できるので、処理の高速性とデコードのし易さのバランスを一定以上に保つことができる。
【0038】
本開示の他の態様に係るカメラは、第１偏光板を通過し、コードから反射した光を第２偏光板を介して受光し、第１偏光板及び第２偏光板を介さない場合に比べて低コントラストな読取画像を生成する。偏光板を使用することで、ワークの正反射成分が除去されるので、正反射成分の影響が軽減された読取画像を取得できる。例えば金属ワークを撮像した場合のように正反射成分が多くなる画像に偏光板は適しているものの、光量の低下によって読取画像が暗くなり、コントラストが低下することがある。このような場合に、ニューラルネットワークの推論処理によって高コントラストな修復画像に変換することで、読取性能が向上する。
【0039】
本開示の他の態様では、チューニング実行部により、第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件を設定することができる。デコード処理部は、第１の撮像条件及びコード条件で生成された読取画像をニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコード処理に失敗した場合は、第１の撮像条件及びコード条件とは異なる第２の撮像条件及びコード条件で生成された読取画像をニューラルネットワークに入力して修復画像を生成し、当該修復画像のデコードを実行することができる。
【発明の効果】
【0040】
以上説明したように、論処理部による推論処理とデコード処理部によるデコード処理とを並列的に実行するとともに、推論処理の完了後に理想画像にデコード処理を実行することができるので、推論処理によって読み取り精度を向上させながら、推論処理の負荷によって処理時間が長時間化してしまうのを抑制できる。
【図面の簡単な説明】
【0041】
【図1】定置式の光学的情報読取装置の運用時を説明する図である。
【図2】定置式の光学的情報読取装置の斜視図である。
【図3】光学的情報読取装置のブロック図である。
【図4】手持ち式の光学的情報読取装置の斜視図である。
【図5】プロセッサによって構成される各部を説明する図である。
【図6】ニューラルネットワークの概念図である。
【図7】ニューラルネットワークの学習時の基本手順の一例を示すフローチャートである。
【図8】不良画像と理想画像のペアを示し、（Ａ）は不良画像、（Ｂ）は理想画像の例である。
【図9】画像変換に用いられる畳み込みニューラルネットワークの概念図である。
【図10】光学的情報読取装置の設定時に行われるチューニング工程の手順の一例を示すフローチャートである。
【図11】縮小率及び拡大率決定前のデコード処理手順の一例を示すフローチャートである。
【図12】縮小率及び拡大率決定後のデコード処理手順の一例を示すフローチャートである。
【図13】（Ａ）はカメラで生成された読取画像の例を示し、（Ｂ）は画像処理フィルタ実行後の画像の例を示す図である。
【図14】（Ａ）は縮小処理後の画像の例を示し、（Ｂ）はコード領域抽出後の画像の例を示す図である。
【図15】ニューラルネットワークによって読取画像に対して推論処理を実行した例を示す図である。
【図16】読取画像に対するデコード処理と、推論処理とを並列的に実行する場合の第１の例を示すフローチャートである。
【図17A】第１の例のシーケンス例１を示すシーケンス図である。
【図17B】第１の例のシーケンス例２を示すシーケンス図である。
【図17C】第１の例のシーケンス例３を示すシーケンス図である。
【図18】読取画像に対するデコード処理と、推論処理とを並列的に実行する場合の第２の例を示すフローチャートである。
【図19】第２の例のシーケンス例を示すシーケンス図である。
【図20】読取画像に対するデコード処理と、推論処理とを並列的に実行する場合の第３の例を示すフローチャートである。
【図21】第３の例のシーケンス例を示すシーケンス図である。
【図22】第１デコード処理で読み取りが成功した場合のタスクシーケンス図である。
【図23】第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。
【図24】第１デコード処理と第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。
【図25】第２デコード処理で２回読み取りが成功した場合のタスクシーケンス図である。
【図26】連続撮影時の読み取りシーケンス図である。
【図27】連続撮影時のデコード処理シーケンス図である。
【図28】その他の実施形態に係るデコード処理手順の一例を示す図である。
【図29】第１デコード処理部及び第２デコード処理部によるデコード処理のタイムチャートである。
【図30】デコード処理部によるデコード処理のタイムチャートである。
【図31】第１デコード処理及び第２デコード処理の一例を示すフローチャートである。
【図32】各処理の画像例を示す図である。
【図33】複数のニューラルネットワークを用いてコードの白黒反転に対応する場合について説明する図である。
【図34】１つのニューラルネットワークを用いてコードの白黒反転に対応する場合について説明する図である。
【図35】コントラストとマッチングレベルの関係を示すグラフである。
【図36】マッチングレベルの算出処理の一例を示すフローチャートである。
【図37】表示部に表示されるユーザインターフェースの例を示す図である。
【図38】ＡＩチップ付き撮像素子を用いた例を示す図である。
【発明を実施するための形態】
【0042】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0043】
（定置式の光学的情報読取装置）
図１は、本発明の実施形態に係る定置式の光学的情報読取装置１の運用時を模式的に示す図である。この例では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における矢印Ｙの方向へ搬送されており、そのワークＷから上方へ離れた所に、実施形態に係る光学的情報読取装置１が設置されている。光学的情報読取装置１は、ワークＷに付されているコードを撮影し、撮影された画像に含まれるコードをデコード処理して情報を読み取ることができるように構成されたコードリーダである。図１に示す例では、光学的情報読取装置１が定置式の場合である。この定置式の光学的情報読取装置１の運用時には、光学的情報読取装置１が動かないようにブラケット等（図示せず）に固定して使用する。尚、定置式の光学的情報読取装置１をロボット（図示せず）が把持した状態で使用してもよい。また、静止状態にあるワークＷのコードを光学的情報読取装置１によって読み取るようにしてもよい。定置式の光学的情報読取装置１の運用時とは、搬送用ベルトコンベアＢによって搬送されるワークＷのコードを順に読み取る動作を行っている時である。
図１は、本発明の実施形態に係る定置式の光学的情報読取装置１の運用時を模式的に示す図である。この例では、複数のワークＷが搬送用ベルトコンベアＢの上面に載置された状態で図１における矢印Ｙの方向へ搬送されており、そのワークＷから上方へ離れた所に、実施形態に係る光学的情報読取装置１が設置されている。光学的情報読取装置１は、ワークＷに付されているコードを撮影し、撮影された画像に含まれるコードをデコード処理して情報を読み取ることができるように構成されたコードリーダである。図１に示す例では、光学的情報読取装置１が定置式の場合である。この定置式の光学的情報読取装置１の運用時には、光学的情報読取装置１が動かないようにブラケット等（図示せず）に固定して使用する。尚、定置式の光学的情報読取装置１をロボット（図示せず）が把持した状態で使用してもよい。また、静止状態にあるワークＷのコードを光学的情報読取装置１によって読み取るようにしてもよい。定置式の光学的情報読取装置１の運用時とは、搬送用ベルトコンベアＢによって搬送されるワークＷのコードを順に読み取る動作を行っている時である。
【0044】
また、各ワークＷの外面にはコードが付されている。コードには、バーコード及び二次元コードの両方が含まれる。二次元コードとしては、たとえば、ＱＲコード（登録商標）、マイクロＱＲコード、データマトリクス（Ｄａｔａ ｍａｔｒｉｘ；Ｄａｔａ ｃｏｄｅ）、ベリコード（Ｖｅｒｉ ｃｏｄｅ）、アズテックコード（Ａｚｔｅｃ ｃｏｄｅ）、ＰＤＦ４１７、マキシコード（Ｍａｘｉ ｃｏｄｅ）などがある。二次元コードにはスタック型とマトリクス型があるが、本発明はいずれの二次元コードに対しても適用できる。コードは、ワークＷに直接印刷あるいは刻印することによって付してもよいし、ラベルに印刷した後にワークＷに貼付することによって付してもよく、その手段、方法は問わない。
【0045】
光学的情報読取装置１は、コンピュータ１００及びプログラマブル・ロジック・コントローラ（ＰＬＣ）１０１にそれぞれ信号線１００ａ、１０１ａによって有線接続されているが、これに限らず、光学的情報読取装置１、コンピュータ１００及びＰＬＣ１０１に通信モジュールを内蔵し、光学的情報読取装置１と、コンピュータ１００及びＰＬＣ１０１とを無線接続するようにしてもよい。ＰＬＣ１０１は、搬送用ベルトコンベアＢ及び光学的情報読取装置１をシーケンス制御するための制御装置であり、汎用のＰＬＣを利用することができる。コンピュータ１００は、汎用あるいは専用の電子計算機や携帯型端末等を利用することができる。
【0046】
また、光学的情報読取装置１は、その運用時において、ＰＬＣ１０１から信号線１０１ａを介して、コード読取の開始タイミングを規定する読取開始トリガ信号を受信する。そして、光学的情報読取装置１は、この読取開始トリガ信号に基づいてコードの撮像やデコードを行う。その後、デコードした結果は、信号線１０１ａを介してＰＬＣ１０１へ送信される。このように、光学的情報読取装置１の運用時には、光学的情報読取装置１とＰＬＣ１０１等の外部制御装置との間で、信号線１０１ａを介して読取開始トリガ信号の入力とデコード結果の出力が繰り返し行われる。なお、読取開始トリガ信号の入力やデコード結果の出力は、上述したように、光学的情報読取装置１とＰＬＣ１０１との間の信号線１０１ａを介して行ってもよいし、それ以外の図示しない信号線を介して行ってもよい。例えば、ワークＷの到着を検知するためのセンサと光学的情報読取装置１とを直接的に接続し、そのセンサから光学的情報読取装置１へ読取開始トリガ信号を入力するようにしてもよい。
【0047】
図２に示すように、光学的情報読取装置１は、箱状のハウジング２と、偏光フィルタアタッチメント３と、照明部４と、カメラ５と、表示部６と、電源コネクタ７と、信号線コネクタ８とが設けられている。さらに、ハウジング２には、インジケータ９と、エイマー光照射部（光照射部）１０と、操作ボタン１１、１２とが設けられており、インジケータ９、エイマー光照射部１０及び操作ボタン１１、１２も光学的情報読取装置１の構成要素である。
【0048】
ハウジング２は、所定方向に長い形状となっているが、ハウジング２の形状は図示した形状に限られるものではない。ハウジング２の前側の外面には、偏光フィルタアタッチメント３が脱着可能に取り付けられている。このハウジング２の内部に、照明部４、カメラ５、エイマー光照射部１０、プロセッサ２０、記憶装置３０、ＲＯＭ４０、ＲＡＭ４１等が収容されている。プロセッサ２０、記憶装置３０、ＲＯＭ４０及びＲＡＭ４１も光学的情報読取装置１の構成要素である。
【0049】
ハウジング２の前側には、照明部４が設けられている。照明部４は、光学的情報読取装置１の前方へ向けて光を照射することによってワークＷの少なくともコードを照明するための部分である。図３にも示すように、照明部４は、複数の発光ダイオード（(ＬＥＤ：Ｌｉｇｈｔ Ｅｍｉｓｓｉｏｎ Ｄｉｏｄｅ）からなる第１照明部４ａと、複数の発光ダイオードからなる第２照明部４ｂと、第１照明部４ａ及び第２照明部４ｂを駆動するＬＥＤドライバ等からなる照明駆動部４ｃとを備えている。第１照明部４ａ及び第２照明部４ｂは、照明駆動部４ｃにより個別に駆動され、別々に点灯及び消灯させることができるようになっている。照明駆動部４ｃはプロセッサ２０に接続されており、プロセッサ２０によって照明駆動部４ｃが制御されるようになっている。尚、第１照明部４ａ及び第２照明部４ｂのうち、一方を省略してもよい。
【0050】
図２に示すように、ハウジング２の前側の中央部には、カメラ５が設けられている。カメラ５の光軸方向は、照明部４による光の照射方向と略一致している。カメラ５は、コードを撮影し、読取画像を生成する部分である。図３に示すように、カメラ５は、ワークＷに付されていて上記照明部４によって照明されているコードからの反射光を受光する撮像素子５ａと、レンズ等を有する光学系５ｂと、ＡＦモジュール（オートフォーカスモジュール）５ｃとを備えている。光学系５ｂには、ワークＷのコードが付された部分から反射した光が入射するようになっており、入射した光は撮像素子５ａへ向けて出射されて撮像素子５ａの撮像面上で結像する。
【0051】
撮像素子５ａは、光学系５ｂを通して得られたコードの画像を電気信号に変換するＣＣＤ(charge-coupled device)やＣＭＯＳ（complementary metal oxide semiconductor）等の受光素子からなるイメージセンサである。撮像素子５ａはプロセッサ２０に接続されていて、撮像素子５ａによって変換された電気信号は、読取画像のデータとしてプロセッサ２０に入力される。また、ＡＦモジュール５ｃは、光学系５ｂを構成するレンズのうち、合焦用レンズの位置や屈折率を変更することによってピント合わせを行う機構である。ＡＦモジュール５ｃもプロセッサ２０に接続され、プロセッサ２０により制御される。
【0052】
図２に示すように、ハウジング２の側面には表示部６が設けられている。表示部６は、たとえば有機ＥＬディスプレイや液晶ディスプレイ等からなるものである。表示部６は、プロセッサ２０に接続され、たとえば撮像部５で撮像されたコード、コードのデコード結果である文字列、読み取り成功率、マッチングレベル等を表示させることができる。読み取り成功率とは、複数回読み取り処理を実行したときの平均読み取り成功率である。マッチングレベルとは、デコードが成功したコードの読み取りのしやすさを示す読取余裕度である。これはデコード時に発生した誤り訂正の数等から求めることができ、たとえば数値で表すことができる。誤り訂正が少なければ少ないほどマッチングレベル（読取余裕度）が高くなり、一方、誤り訂正が多ければ多いほどマッチングレベル（読取余裕度）が低くなる。
【0053】
電源コネクタ７には、光学的情報読取装置１に外部から電源を供給するための電源ケーブル（図示せず）が接続される。また、信号線コネクタ８には、コンピュータ１００及びＰＬＣ１０１と通信を行うための信号線１００ａ、１０１ａ等が接続される。信号線コネクタ８は、例えばＥｔｈｅｒｎｅｔコネクタ、ＲＳ２３２Ｃ等のシリアル通信用コネクタ、ＵＳＢコネクタ等で構成することができる。
【0054】
ハウジング２には、インジケータ９が設けられている。インジケータ９は、プロセッサ２０に接続されていて、たとえば発光ダイオード等の発光体で構成することができる。光学的情報読取装置１の作動状態をインジケータ９の点灯状態によって外部に報知することができる。
【0055】
ハウジング２の前側には、カメラ５を挟むように一対のエイマー光照射部１０が設けられている。図３に示すように、エイマー光照射部１０は、発光ダイオード等からなるエイマー１０ａと、エイマー１０ａを駆動するエイマー駆動部１０ｂとを備えている。エイマー１０ａは、光学的情報読取装置１の前方へ向けて光（エイマー光）を照射することによってカメラ５の撮影範囲や視野中心、照明部４の光軸の目安等を示すためのものである。具体的には、エイマー１０ａは、カメラ５の撮影視野範囲内へ向けて環境光とは異なる色（例えば赤色や緑色等）の可視光を照射し、その可視光が照射された面に肉眼で視認可能な目印を形成する。目印は各種図形や記号、文字等であってもよい。ユーザは、エイマー１０ａから照射される光を参照して光学的情報読取装置１を設置することもできる。
【0056】
図２に示すように、ハウジング２の側面には、光学的情報読取装置１の設定時等に使用する操作ボタン１１、１２が設けられている。操作ボタン１１、１２は、例えばセレクトボタンやエンターボタン等を含んでいる。操作ボタン１１、１２以外にも、例えばタッチパネル式の操作手段が設けられていてもよい。操作ボタン１１、１２はプロセッサ２０に接続されていて、プロセッサ２０は操作ボタン１１、１２の操作状態を検出可能になっている。操作ボタン１１、１２の操作により、表示部６に表示された複数の選択肢の中から１つを選択することや、選択した結果を確定することができる。
【0057】
（手持ち式の光学的情報読取装置）
上述した例では、光学的情報読取装置１が定置式である場合を示したが、本発明は定置式の光学的情報読取装置１以外にも適用可能である。図４は、手持ち式の光学的情報読取装置１Ａを示すものであり、この図に示すような手持ち式の光学的情報読取装置１Ａにも本発明を適用することができる。
上述した例では、光学的情報読取装置１が定置式である場合を示したが、本発明は定置式の光学的情報読取装置１以外にも適用可能である。図４は、手持ち式の光学的情報読取装置１Ａを示すものであり、この図に示すような手持ち式の光学的情報読取装置１Ａにも本発明を適用することができる。
【0058】
手持ち式の光学的情報読取装置１Ａのハウジング２Ａは、上下方向に長い形状とされている。尚、光学的情報読取装置１Ａの使用時の向きは図示した向きに限定されるものではなく、様々な向きで使用可能であるが、説明の便宜上、光学的情報読取装置１Ａの上下方向を特定している。
【0059】
ハウジング２Ａの上側部分には、表示部６Ａが設けられている。表示部６Ａは、定置式の光学的情報読取装置１の表示部６と同様に構成されている。ハウジング２Ａの下側部分は、運用時にユーザが把持するための把持部２Ｂである。把持部２Ｂは、一般的な成人が片手で握るようにして持つことが可能な部分であり、形状や大きさは自由に設定できる。この把持部２Ｂを持つことで、光学的情報読取装置１Ａを携帯して移動することができる。つまり、この光学的情報読取装置１Ａは、携帯型端末装置であり、例えばハンディターミナルと呼ぶこともできるものである。
【0060】
定置式の光学的情報読取装置１と同様に、手持ち式のハウジング２Ａにも、照明部、カメラ、エイマー光照射部、プロセッサ、記憶部、ＲＯＭ、ＲＡＭ等（図示せず）が収容されている。照明部の光軸、カメラの光軸、エイマー光照射部の光軸は、ハウジング２Ａの上端近傍から斜め上方に向いている。また、手持ち式のハウジング２Ａには、ブザー（図示せず）も設けられている。
【0061】
把持部２Ｂやその近傍には、複数の操作ボタン１１Ａ及びトリガーキー１１Ｂが設けられている。操作ボタン１１Ａは、定置式の光学的情報読取装置１の操作ボタン１１等と同様である。ユーザが光学読取装置１Ａの先端（上端）をワークＷに向けてトリガーキー１１Ｂを押下すれば、光学読取装置１Ａの先端からエイマー光が照射される。ユーザは、ワークＷの表面で反射されるエイマー光を目視しながら光学読取装置１Ａの向きを調整し、エイマー光を読取対象のコードに合わせれば、コードの読み取り及びデコード処理が自動的に行われる。読み取りが完了すると、ブザーから完了報知音が発せられる。
【0062】
手持ち式の光学的情報読取装置１Ａの使用例として、物流倉庫内におけるピッキング作業に手持ち式の光学的情報読取装置１Ａを用いる例がある。例えば、受注した商品を物流倉庫から発送する場合、商品倉庫内の商品棚から必要な商品がピッキングされる。このピッキング作業は、コードが記載された受注伝票を持ったユーザが、商品棚まで移動した後、受注伝票のコードと、商品又は商品棚に付されたコードとを照合しながら行われる。この場合、受注伝票のコードと、商品又は商品棚に付されたコードとを交互に手持ち式の光学的情報読取装置１Ａで読み取る。
【0063】
（プロセッサの構成）
以下の説明は、定置式の光学的情報読取装置１と、手持ち式の光学的情報読取装置１Ａとで共通しており、特に断りがなければ、いずれの装置１、１Ａでも適用できる。図３に示すように、プロセッサ２０は、中央演算処理装置であるコアを複数有するマルチコアプロセッサで構成されている。具体的には、プロセッサ２０は、第１汎用コア２１、第２汎用コア２２、第３汎用コア２３、第４汎用コア２４及びニューラルネットワークによる推論処理専用の専用コア２５を備えている。第１～第４汎用コア２１～２４及び専用コア２５は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、同一の基板上に実装されている。尚、第１～第４汎用コア２１～２４及び専用コア２５は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されなくともよい形態となるが、その場合も本発明の範囲に含まれる。この実施形態では、汎用コアの数が４つの場合について説明するが、これに限らず、汎用コアは１つであってもよいし、２以上の任意の数（例えば６コア、８コア等）であってもよい。
以下の説明は、定置式の光学的情報読取装置１と、手持ち式の光学的情報読取装置１Ａとで共通しており、特に断りがなければ、いずれの装置１、１Ａでも適用できる。図３に示すように、プロセッサ２０は、中央演算処理装置であるコアを複数有するマルチコアプロセッサで構成されている。具体的には、プロセッサ２０は、第１汎用コア２１、第２汎用コア２２、第３汎用コア２３、第４汎用コア２４及びニューラルネットワークによる推論処理専用の専用コア２５を備えている。第１～第４汎用コア２１～２４及び専用コア２５は、いわゆるＳｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ（ＳｏＣ，ＳＯＣ）であり、同一の基板上に実装されている。尚、第１～第４汎用コア２１～２４及び専用コア２５は、ＳｏＣでなくてもよく、その場合は同じ基板上に実装されなくともよい形態となるが、その場合も本発明の範囲に含まれる。この実施形態では、汎用コアの数が４つの場合について説明するが、これに限らず、汎用コアは１つであってもよいし、２以上の任意の数（例えば６コア、８コア等）であってもよい。
【0064】
第１～第４汎用コア２１～２４及び専用コア２５には、同一のメモリとしてのＲＡＭ４１が接続されており、第１～第４汎用コア２１～２４及び専用コア２５のいずれもが同一のＲＡＭ４１にアクセス可能となっている。また、プロセッサ２０には、同一のメモリとしてのＲＯＭ４０が接続されており、第１～第４汎用コア２１～２４及び専用コア２５のいずれもが同一のＲＯＭ４０にもアクセス可能となっている。
【0065】
第１～第４汎用コア２１～２４は、いわゆる汎用プロセッサであり、例えばＡＦ制御、照明制御、カメラ制御、コード候補領域を抽出する抽出処理、読取画像に対するデコード処理、読取画像に対する各種フィルタ処理等を実行する部分である。第１～第４汎用コア２１～２４の具体的な処理例については後述する。
【0066】
一方、専用コア２５は、ニューラルネットワークを利用して、読取画像に対応する理想画像を生成する推論処理を実行するための推論処理専用コアであり、ニューラルネットワークによる処理に必要な積和演算を超高速に実行することに特化したものである。専用コア２５は、例えばＩＣやＦＰＧＡ等を含む。尚、ニューラルネットワークによる学習結果を適用して推論処理することで、読取画像をデコードに適した画像に修復することができるので、推論処理によって理想画像を生成することを読取画像の修復とも呼ぶ。この場合、専用コア２５は、ニューラルネットワークを利用して読取画像の修復を試行する部分である。
【0067】
図５に示すように、プロセッサ２０により、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード処理部２０ｆ、抽出部２０ｇ、縮小部２０ｈ、拡大部２０ｉ及び推論処理部２０ｊが構成される。ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃ、チューニング実行部２０ｄ、デコード処理部２０ｆ、抽出部２０ｇ、縮小部２０ｈ及び拡大部２０ｉは、第１～第４汎用コア２１～２４の演算処理によって構成される部分である。一方、推論処理部２０ｊは、専用コア２５によって構成される部分であり、読取画像を修復した修復画像を生成する推論処理を実行する部分であることから画像修復部とも呼ぶ。
【0068】
（ＡＦ制御部の構成）
ＡＦ制御部２０ａは、図３に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。ＡＦ制御部２０ａは、第１～第４汎用コア２１～２４のうち、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。
ＡＦ制御部２０ａは、図３に示すＡＦモジュール５ｃを制御するユニットであり、従来から周知のコントラストＡＦや位相差ＡＦによって光学系５ｂのピント合わせを行うことができるように構成されている。ＡＦ制御部２０ａは、第１～第４汎用コア２１～２４のうち、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。
【0069】
（撮像制御部の構成）
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１照明部４ａと第２照明部４ｂを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。撮像制御部２０ｂは、第１～第４汎用コア２１～２４のうち、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。尚、上記ＡＦ制御部２０ａと撮像制御部２０ｂとは、同じコアで構成してもよいし、別のコアで構成してもよい。
撮像制御部２０ｂは、カメラ５のゲインを調整したり、照明部４の光量を制御したり、撮像素子５ａの露光時間（シャッタースピード）を制御するユニットである。ここで、カメラ５のゲインとは、撮像素子５ａから出力された画像の明るさをデジタル画像処理によって増幅する際の増幅率（倍率とも呼ばれる）のことである。照明部４の光量については、第１照明部４ａと第２照明部４ｂを別々に制御して変更することができる。ゲイン、照明部４の光量及び露光時間は、カメラ５の撮像条件である。撮像制御部２０ｂは、第１～第４汎用コア２１～２４のうち、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。尚、上記ＡＦ制御部２０ａと撮像制御部２０ｂとは、同じコアで構成してもよいし、別のコアで構成してもよい。
【0070】
（フィルタ処理部の構成）
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分であり、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。フィルタ処理部２０ｃを構成するコアはＤＳＰコアであってもよい。
フィルタ処理部２０ｃは、読取画像に対して画像処理フィルタを実行する部分であり、デコード処理部２０ｆ及び抽出部２０ｇとなるコアで構成してもよいし、デコード処理部２０ｆ及び抽出部２０ｇとなるコア以外のコアで構成してもよい。フィルタ処理部２０ｃを構成するコアはＤＳＰコアであってもよい。
【0071】
フィルタ処理部２０ｃは、カメラ５により生成された画像に含まれるノイズを除去するノイズ除去フィルタや、コントラストを補正するコントラスト補正フィルタ、平均化フィルタ等を実行する。フィルタ処理部２０ｃが実行する画像処理フィルタは、ノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタに限られるものではなく、他の画像処理フィルタを含んでいてもよい。
【0072】
フィルタ処理部２０ｃは、後述する推論処理実行前の読取画像に対して画像処理フィルタを実行するように構成されている。また、フィルタ処理部２０ｃは、後述する拡大、縮小前の読取画像に対して画像処理フィルタを実行するように構成されている。尚、フィルタ処理部２０ｃは、推論処理実行後の読取画像に対して画像処理フィルタを実行するように構成されていてもよいし、拡大、縮小後の読取画像に対して画像処理フィルタを実行するように構成されていてもよい。
【0073】
（チューニング実行部の構成）
図５に示すチューニング実行部２０ｄは、カメラ５の撮像条件及びデコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行する。具体的には、チューニング実行部２０ｄは、光学的情報読取装置１、１Ａの設定時に、カメラ５のゲイン、照明部４の光量及び露光時間等の撮像条件や、フィルタ処理部２０ｃにおける画像処理条件を変更してデコードに適した条件となるように各種条件（チューニングパラメータ）を設定する部分である。フィルタ処理部２０ｃにおける画像処理条件とは、画像処理フィルタの係数（フィルタの強弱）や、複数の画像処理フィルタがある場合に画像処理フィルタの切替、種類の異なる画像処理フィルタの組み合わせ等である。搬送時のワークＷに対する外光の影響や、コードが付されている面の色及び材質等によって適切な撮像条件及び画像処理条件は異なる。よって、チューニング実行部２０ｄは、より適切な撮像条件及び画像処理条件を探索して、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃによる処理を設定する。
図５に示すチューニング実行部２０ｄは、カメラ５の撮像条件及びデコード処理のデコード条件を変化させて、撮像及びデコード処理を繰り返し、各撮像条件及びデコード条件にて算出されたコードの読み取りのしやすさを示すマッチングレベルに基づいて、最適な撮像条件及びデコード条件を決定するとともに、読取対象のコードの大きさを設定するチューニング処理を実行する。具体的には、チューニング実行部２０ｄは、光学的情報読取装置１、１Ａの設定時に、カメラ５のゲイン、照明部４の光量及び露光時間等の撮像条件や、フィルタ処理部２０ｃにおける画像処理条件を変更してデコードに適した条件となるように各種条件（チューニングパラメータ）を設定する部分である。フィルタ処理部２０ｃにおける画像処理条件とは、画像処理フィルタの係数（フィルタの強弱）や、複数の画像処理フィルタがある場合に画像処理フィルタの切替、種類の異なる画像処理フィルタの組み合わせ等である。搬送時のワークＷに対する外光の影響や、コードが付されている面の色及び材質等によって適切な撮像条件及び画像処理条件は異なる。よって、チューニング実行部２０ｄは、より適切な撮像条件及び画像処理条件を探索して、ＡＦ制御部２０ａ、撮像制御部２０ｂ、フィルタ処理部２０ｃによる処理を設定する。
【0074】
チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコードのサイズを取得可能に構成されている。コードのサイズを取得する場合、始めに、チューニング実行部２０ｄは、コードらしさを示す特徴量に基づいてコードを探索する。次いで、チューニング実行部２０ｄは、探索したコードのＰＰＣ、コード種、コードサイズ等を取得する。ＰＰＣ、コード種、コードサイズ等は、コードパラメータまたはコード条件に含まれるものであり、従って、チューニング実行部２０ｄは、探索したコードのコードパラメータまたはコード条件を取得可能に構成されている。
【0075】
二次元コードは、複数の白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されている。例えば、ＱＲコードのモデル２ではモジュール数は２１×２１～１７７×１７７まである。定置式の光学的情報読取装置１の場合は事前に読み取り対象のコードを読み取ることで、モジュール数やＰＰＣを限定し、コードの大きさ（ピクセルサイズ）をモジュール数×ＰＰＣに限定して運用する。
【0076】
コードを構成するモジュールのうち、１つのモジュールに着目した時、そのモジュールがいくつのピクセル（画素）で構成されているかを示すコードパラメータがＰＰＣである。チューニング実行部２０ｄは、１つのモジュールを特定した後、１つのモジュールを構成している画素数をカウントすることで、ＰＰＣを取得できる。
【0077】
コード種は、例えばＱＲコード、データマトリクスコード、ベリコードといったコードの種類のことである。各コードには特徴があるので、チューニング実行部２０ｄは、例えばファインダパターンの有無等によってコード種を判別することが可能である。
【0078】
また、コードサイズは、コードの縦または横方向に並ぶモジュールの数とＰＰＣとによって算出できる。チューニング実行部２０ｄは、コードの縦または横方向に並ぶモジュールの数を算出するとともに、ＰＰＣを算出し、縦または横方向に並ぶモジュールの数とＰＰＣとを積算することによってコードサイズを取得できる。
【0079】
（デコード処理部の構成）
デコード処理部２０ｆは、白黒の二値化されたデータをデコードする部分である。デコードには、符号化されたデータの対照関係を示すテーブルを使用することができる。さらに、デコード処理部２０ｆは、デコードした結果が正しいか否かを所定のチェック方式に従ってチェックする。データに誤りが発見された場合にはエラー訂正機能を使用して正しいデータを演算する。エラー訂正機能はコードの種類によって異なる。
デコード処理部２０ｆは、白黒の二値化されたデータをデコードする部分である。デコードには、符号化されたデータの対照関係を示すテーブルを使用することができる。さらに、デコード処理部２０ｆは、デコードした結果が正しいか否かを所定のチェック方式に従ってチェックする。データに誤りが発見された場合にはエラー訂正機能を使用して正しいデータを演算する。エラー訂正機能はコードの種類によって異なる。
【0080】
この実施形態では、デコード処理部２０ｆは、後述する推論処理後の理想画像に含まれるコードをデコードするが、推論処理前の読取画像に含まれるコードをデコードすることもできる。デコード処理部２０ｆは、コードをデコードして得られたデコード結果を図３に示すＲＯＭ４０のデコード結果記憶部４０ｂに書き込むように構成されている。
【0081】
（抽出部の構成）
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。
抽出部２０ｇは、カメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する部分である。コード候補領域は、コードらしさを示す特徴量に基づいて抽出することができ、この場合、コードらしさを示す特徴量はコードを特定するための情報となる。例えば、抽出部２０ｇは、読取画像を取得し、取得した読取画像に対して、コードらしさを示す特徴量に基づいてコードを探索することができる。具体的には、取得した読取画像の中に、コードらしさを示す特徴量を所定以上持った部分が存在するか否かを探索し、その結果、コードらしさを示す特徴量を持った部分を探索することができれば、その部分を含む領域をコード候補領域として抽出する。コード候補領域には、コード以外の領域が含まれていてもよいが、少なくともコードである可能性が所定以上高い部分を含んでいる。尚、コード候補領域は、あくまでもコードが存在する可能性が高い領域であることから、結果的にコードが含まれない領域の場合もあり得る。
【0082】
抽出部２０ｇは、エイマー光照射部１０から照射されたエイマー光の位置情報を、コードを特定するための情報として利用し、コード候補領域を抽出することもできる。この場合、抽出部２０ｇは、読取画像の中から、エイマー光照射部１０により形成された目印に対応する部分を特定し、当該特定された部分をコード候補領域として抽出する。すなわち、上述したように、エイマー光はカメラ５の撮影範囲や視野中心を示すためのものであることから、エイマー光によって形成される目印は、予めカメラ５の視野中心と一致させておくことが可能である。特に、手持ち式の光学的情報読取装置１Ａの場合、ユーザはエイマー光を読取対象のコードに合わせるので、エイマー光によって形成される目印は、コードと重なっている確率が高い。つまり、エイマー光照射部１０により形成された目印に対応する部分をカメラ５の視野中心と一致させておくことで、抽出部２０ｇがカメラ５の視野中心を含む領域を抽出すると、その領域はコードが存在する可能性が高い領域となる。この場合、エイマー光照射部１０により形成された目印に対応する部分をカメラ５の視野中心と完全に一致させておかなくてもよく、視野の縦方向または横方向に多少ずれていてもよい。また、コードは所定の大きさを有しているので、抽出部２０ｇが抽出する領域は、カメラ５の視野中心だけではなく、視野中心を含む所定の大きさを持った領域である。
【0083】
抽出部２０ｇは、読取画像の中心部分を特定し、当該中心部分をコード候補領域として抽出することもできる。例えば、カメラ５の視野中心を、コードを特定するための情報として予め取得しておくことで、このカメラ５の視野中心となる部分を読取画像上で特定することができる。特に、手持ち式の光学的情報読取装置１Ａの場合、読取画像上で特定した中心部分は、エイマー光照射部１０により形成された目印に対応しているので、その中心部分はコードが存在する可能性が高い領域となる。
【0084】
抽出部２０ｇは、読取画像の中から、ユーザによる所定の部分の指定を受け付けるように構成することができ、当該指定された部分をコード候補領域として抽出することができる。すなわち、ユーザは読取画像上の任意の位置（座標）で任意の大きさの領域指定を行うと、抽出部２０ｇは、その位置の座標及び大きさの情報に基づいて読取画像の中から所定の部分の指定を受け付ける。抽出部２０ｇは、受け付けた部分をコード候補領域として抽出する。例えば、定置式の光学的情報読取装置１の場合、図１に示すように搬送用ベルトコンベアＢによって搬送されているワークＷを撮影してコードのデコード処理を実行することになるが、搬送用ベルトコンベアＢの幅方向中央部にワークＷが存在しているとは限らず、端にワークＷが存在していることがあり、この場合には、読取画像の中から、搬送用ベルトコンベアＢの端に対応する部分を指定することで、コードが存在する可能性が高い領域として的確な抽出が可能になる。その他にも、大きなワークＷで、その中央部から離れた端近傍にコードが表示されている場合もあり、この場合には、読取画像の中から、ワークＷの端近傍に対応する部分を指定することで、コードが存在する可能性が高い領域として的確な抽出が可能になる。
【0085】
（記憶装置、ＲＯＭの構成）
図３に示す記憶装置３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができる。記憶装置３０には、各種プログラムや設定情報、画像データ等を記憶しておくことができる。
図３に示す記憶装置３０は、例えばＳＳＤ（ソリッドステートドライブ）等のような読み書き可能な記憶装置で構成することができる。記憶装置３０には、各種プログラムや設定情報、画像データ等を記憶しておくことができる。
【0086】
ＲＯＭ４０には、画像データ記憶部４０ａと、デコード結果記憶部４０ｂと、パラメータセット記憶部４０ｃと、ニューラルネットワーク記憶部４０ｄとが含まれている。画像データ記憶部４０ａは、カメラ５で生成された読取画像を記憶する部分である。デコード結果記憶部４０ｂは、デコード処理部２０ｆで実行されたコードのデコード結果を記憶する部分である。パラメータセット記憶部４０ｃは、チューニング実行部２０ｄが実行したチューニングの結果、設定された各種条件やユーザが設定した各種条件を記憶する部分である。ニューラルネットワーク記憶部４０ｄは、後述する学習済みのニューラルネットワークの構造及びパラメータを記憶する部分である。
【0087】
上記記憶部４０ａ、４０ｂ、４０ｃ、４０ｄの少なくとも一部は、ＲＯＭ４０以外の部分に設けられていてもよく、例えば、記憶装置３０に設けられていてもよい。
【0088】
（ニューラルネットワークを利用した推論処理）
光学的情報読取装置１、１Ａは、カメラ５で取得した読取画像を、ニューラルネットワークを利用して推論処理することによって理想画像を生成する理想画像生成機能を有している。本実施形態では、光学的情報読取装置１、１Ａで機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して推論処理を実行するように構成されている例について説明するが、これに限らず、光学的情報読取装置１、１Ａで機械学習を行ってニューラルネットワークの構造及びパラメータを変更してもよい。
光学的情報読取装置１、１Ａは、カメラ５で取得した読取画像を、ニューラルネットワークを利用して推論処理することによって理想画像を生成する理想画像生成機能を有している。本実施形態では、光学的情報読取装置１、１Ａで機械学習を行うのではなく、既に学習が終わったニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが予め保持しておき、その保持している構造及びパラメータで構成されたニューラルネットワークを利用して推論処理を実行するように構成されている例について説明するが、これに限らず、光学的情報読取装置１、１Ａで機械学習を行ってニューラルネットワークの構造及びパラメータを変更してもよい。
【0089】
ニューラルネットワークは、図６に示すように、入力データ（本例では画像データ）が入力される入力層と、出力データを出力する出力層と、入力層及び出力層の間に設けられる中間層とを有している。中間層は例えば複数設けることができ、これにより、多層構造のニューラルネットワークとすることができる。
【0090】
（ニューラルネットワークの学習）
始めに、図７に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学的情報読取装置１、１Ａ以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、光学的情報読取装置１、１Ａで学習を行ってもよい。ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。
始めに、図７に示すフローチャートに基づいてニューラルネットワークの学習時の基本手順について説明する。ニューラルネットワークの学習は、光学的情報読取装置１、１Ａ以外の学習用として用意したコンピュータを用いて行うことができるが、学習用以外の汎用コンピュータを用いて行ってもよい。また、光学的情報読取装置１、１Ａで学習を行ってもよい。ニューラルネットワークの学習方法は従来から周知の方法を用いてもよい。
【0091】
スタート後のステップＳＡ１では予め準備している不良画像のデータを読み込む。不良画像は、コードの読み取りに不適切な部分を有する画像であり、図８の左側に示すような画像を例示することができる。不適切な部分とは、例えば汚れた部分や着色された部分等である。その後、ステップＳＡ２に進み、予め準備している理想画像のデータを読み込む。理想画像は、コードの読み取りに適切な画像であり、図８の右側に示すような画像を例示することができる。不良画像と理想画像とはペアとしておき、このようなペアを複数準備しておく。光学的情報読取装置１、１Ａで学習を行う場合には、光学的情報読取装置１、１Ａに不良画像と理想画像を入力する。
【0092】
ステップＳＡ２では、損失関数を計算し、不良画像と理想画像との差分を求める。ステップＳＡ３では、ステップＳＡ２で求めた差分を反映させてニューラルネットワークのパラメータを更新する。
【0093】
ステップＳＡ４では機械学習の完了条件を満たすか否かを判定する。機械学習の完了条件とは、ステップＳＡ２で求めた差分に基づいて設定することができ、例えば差分が所定以下であれば、機械学習の完了条件を満たすと判定できる。ステップＳＡ４でＹＥＳと判定されて機械学習の完了条件を満たしている場合には機械学習を終了する。一方、ステップＳＡ４でＮＯと判定されて機械学習の完了条件を満たしていない場合にはステップＳＡ１に戻り、別の不良画像を読み込んだ後、ステップＳＡ２に進んで当該別の不良画像とペアになっている別の理想画像を読み込む。
【0094】
このようにして、複数の不良画像と、当該複数の不良画像にそれぞれ対応する複数の理想画像とを機械学習させることにより、学習済みのニューラルネットワークを予め生成することができる。学習済みのニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａが保持しておくことで、光学的情報読取装置１、１Ａ内で学習済みのニューラルネットワークを構築することができる。本例のように、光学的情報読取装置１、１Ａ外で機械学習を行い、その結果得られたニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａで保持しておけば、光学的情報読取装置１、１Ａの小型軽量化を実現しながら、ニューラルネットワークによる推論処理が可能になる。尚、演算処理能力が十分に高いプロセッサ２０を搭載している場合には、光学的情報読取装置１、１Ａで学習を行っても問題とはならない。
【0095】
図９は、上述のようにして構成された畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の概念図である。「Convolution」では、入力された画像の特徴の抽出を行う。この層は、画像処理フィルタのような畳み込み演算で構成される。フィルタの重みをカーネルと呼び、カーネルに合わせた特徴量の抽出を行う。畳み込み層は一般的に複数の異なるカーネルを持ち、カーネル数に応じてマップ数（Ｄ）が増えていく。カーネルサイズは、例えば３×３、５×５などを取ることができる。
【0096】
「pooling」では、縮小処理を行って各カーネルの反応をまとめる。「Deconvolution」では、逆畳み込みフィルタにより、特徴値から画像を再構成する。「Unpooling」では、拡大処理を行って反応値を先鋭化する。
【0097】
学習済みのニューラルネットワークの構造及びパラメータは、図３に示すＲＯＭ４０のニューラルネットワーク記憶部４０ｄに記憶される。ニューラルネットワークの構造とは、入力層と出力層との間に設けられる中間層の数（Ｄ）や、画像処理フィルタの数等である。ニューラルネットワークのパラメータは、図７に示すフローチャートのステップＳＡ３で設定されたパラメータである。
【0098】
また、ニューラルネットワーク記憶部４０ｄには、層の数または画像処理フィルタの数が異なる複数のニューラルネットワークの構造及びパラメータを記憶することが可能になっている。この場合、複数のニューラルネットワークの構造及びパラメータと、コード条件とを関連付けた状態でニューラルネットワーク記憶部４０ｄに記憶することができる。例えば、第１のニューラルネットワークを構成するための当該ニューラルネットワークの構造及びパラメータと、第１のニューラルネットワークに対応する第１のコード条件とを関連付ける。関連付けを行う際、第１のニューラルネットワークの層の数またはフィルタの数は、第１のコード条件、特に第１のＰＰＣによって最適な数を事前に特定しておくことができるものなので、この関係が保たれるように関連付けておく。同様に、第１のニューラルネットワークとは異なる第２のニューラルネットワークの構造及びパラメータと、第１のコード条件とは異なる第２のコード条件とを関連付ける。
【0099】
複数のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部４０ｄに記憶している場合には、光学的情報読取装置１、１Ａの設定時に、次のようにチューニング実行部２０ｄが動作する。すなわち、チューニング実行部２０ｄは、カメラ５により生成された読取画像に含まれるコード条件を設定する際、設定したコード条件に関連付けられたニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部４０ｄから読み出して運用時に使用するニューラルネットワークとして特定する。例えば、チューニング実行部２０ｄが読取画像に含まれるコード条件をして第１のコード条件を設定した場合には、第１のコード条件と関連付けられた第１のニューラルネットワークの構造及びパラメータをニューラルネットワーク記憶部４０ｄから読み出す。そして、第１のニューラルネットワークの構造及びパラメータを光学的情報読取装置１、１Ａの運用時に使用するニューラルネットワークとして特定する。これにより、コード条件に最適なニューラルネットワークの構造及びパラメータで読取画像に対して推論処理を実行できるので、読み取り精度を高めることができる。
【0100】
ニューラルネットワークの学習にあたっては、コードを構成するモジュールのピクセル分解能が特定範囲内である不良画像及び理想画像を機械学習させることもできる。モジュールのピクセル分解能は、例えばコードを構成する１つのモジュールのピクセル数（ＰＰＣ）で表すことができ、ＰＰＣが特定範囲内にある不良画像及び理想画像のみでニューラルネットワークの機械学習を行ってもよい。
【0101】
上記特定範囲は、読取画像に対する推論処理効果の高いピクセル分解能を含み、かつ、読取画像に対する推論処理効果が殆ど向上しないピクセル分解能を除外する範囲であり、複数のモジュールで構成されたコードを含む画像に対する推論処理を前提として設定することができる。これにより、コードを含む画像に対する推論処理に特化したニューラルネットワーク構造として処理速度を向上させることができる。
【0102】
上記ピクセル数の特定範囲としては、例えば４ＰＰＣ以上６ＰＰＣ以下とすることができるが、４ＰＰＣ未満であってもよいし、６ＰＰＣよりも多くてもよい。また、例えば特定範囲を４ＰＰＣ以上６ＰＰＣ以下に限定して機械学習することで、学習に用いる画像から余分なスケールの変動を排除することができ、学習済みニューラルネットワーク構造の適正化を図ることもできる。
【0103】
（推論処理）
図５に示すように、光学的情報読取装置１、１Ａのプロセッサ２０には、専用コア２５によって構成される推論処理部２０ｊが設けられている。推論処理部２０ｊは、ＲＯＭ４０のニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学的情報読取装置１、１Ａ内にニューラルネットワークを構成する。光学的情報読取装置１、１Ａ内に構成されたニューラルネットワークは、図７のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。
図５に示すように、光学的情報読取装置１、１Ａのプロセッサ２０には、専用コア２５によって構成される推論処理部２０ｊが設けられている。推論処理部２０ｊは、ＲＯＭ４０のニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータを読み出し、読み出したニューラルネットワークの構造及びパラメータで光学的情報読取装置１、１Ａ内にニューラルネットワークを構成する。光学的情報読取装置１、１Ａ内に構成されたニューラルネットワークは、図７のフローチャートに示す手順で学習した学習済みニューラルネットワークと同じものである。
【0104】
推論処理部２０ｊは、カメラ５により生成された読取画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶されたニューラルネットワークの構造及びパラメータに従って読取画像に対応する理想画像を生成する推論処理を実行する。推論処理部２０ｊが生成した理想画像は、あくまでも推論処理によって生成した画像であることから、上述した学習時に用いた理想画像と同じであるとは限らないが、本実施形態では推論処理部２０ｊが生成した画像も理想画像と呼ぶ。
【0105】
フィルタ処理部２０ｃは、カメラ５により生成された読取画像を推論処理部２０ｊがニューラルネットワークに入力する前に、読取画像に対して画像処理フィルタを実行するように構成されている。これにより、ニューラルネットワークによる推論処理を実行する前に適切な画像処理を実行しておくことができ、その結果、推論処理がより的確なものになる。
【0106】
デコード処理部２０ｆでデコード処理する全ての読取画像に対して推論処理部２０ｊが推論処理を実行してもよいし、デコード処理部２０ｆでデコード処理する一部の読取画像に対してのみ推論処理部２０ｊが推論処理を実行してもよい。例えば、デコード処理部２０ｆは、推論処理を実行する前の読取画像に対してデコード処理を実行し、デコードが成功したか否かを判定する。デコードに成功した場合には、推論処理が不要な読取画像であったということであり、そのまま結果を出力する。一方、デコードに失敗した場合には、推論処理部２０ｊが推論処理を実行し、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。
【0107】
（部分画像の入力）
推論処理部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図９に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。
推論処理部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の全部であってもよいが、入力する画像のサイズが大きければ大きいほどニューラルネットワークによる演算量が増大し、プロセッサ２０の演算負荷が重くなり、ひいては処理速度の低下を招くおそれがある。具体的には、図９に示すようなＦＣＮ（Fully Convolutional Network）型のニューラルネットワークでは、構造が等しいと仮定した場合、演算量は入力画像サイズに比例した量となり、入力画像サイズはコードの大きさの二乗に比例するため、演算量もコードの大きさの二乗に比例することになる。
【0108】
一方、カメラ５により生成された読取画像の全体にコードが存在しているケースは皆無といってよく、通常の運用時には読取画像の一部の領域にのみコードが存在しており、その領域のみニューラルネットワークによる推論処理を実行することができれば、読み取り精度を高めることができる。
【0109】
そこで、推論処理部２０ｊがニューラルネットワークに入力する画像は、カメラ５により生成された読取画像の一部、即ちコードを含んだ部分画像とすることができる。具体的には、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を画像データ記憶部４０ａに記憶させておき、推論処理部２０ｊがアクセス可能にしておく。推論処理部２０ｊは部分画像をニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータに従って部分画像に推論処理を実行する。そして、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。また、後述するように、部分画像に推論処理を実行することなく、デコード処理を実行する場合には、デコード処理部２０ｆが画像データ記憶部４０ａにアクセス可能にしておき、画像データ記憶部４０ａに記憶された部分画像をデコード処理部２０ｆが読み込んでデコード処理を実行する。
【0110】
上述したように読取画像の全体にコードが存在しているケースは殆ど無いので、コード候補領域に対応する部分画像のサイズは、読取画像のサイズよりも小さくなる。これにより、ニューラルネットワークに入力する画像のサイズが小さくなるので、プロセッサ２０の演算負荷が軽くなり、ひいては処理速度の高速化が実現される。また、部分画像は、コードが存在する可能性が高い領域に対応しているので、読み取りに必要な情報、即ちコードの全体を含んだ画像とすることが可能である。このコードの全体を含んだ画像をニューラルネットワークに入力するので、読み取り精度の低下は抑制される。
【0111】
推論処理部２０ｊは、チューニング実行部２０ｄで取得したコードサイズに基づいて部分画像のニューラルネットワークへの入力サイズを決定することができる。上述したように、チューニング実行部２０ｄはコードサイズを取得することができる。推論処理部２０ｊは、ニューラルネットワークへ入力する部分画像の入力サイズを、チューニング実行部２０ｄで取得したコードサイズよりも所定量だけ大きくする。
【0112】
すなわち、部分画像をニューラルネットワークへ入力することで演算負荷を軽くすることができる反面、例えばコードが回転していたり、コードの位置が精密に検出できなかった場合には、部分画像中のコードの一部が欠けてしまい、デコード処理に失敗する可能性もある。本実施形態では、ニューラルネットワークへの入力サイズがチューニング実行部２０ｄで取得したコードサイズと同じではなく、コードサイズよりも所定量だけ大きいので、部分画像中でコードの一部が欠けるのを抑制できる。尚、コードサイズよりも所定量だけ大きくしていることで、ニューラルネットワークへの入力サイズに上限を持たせることができ、よって、演算負荷が重くならないようにすることができる。「所定量」とは、例えばニューラルネットワークへ入力される部分画像の横（または縦）の長さが、チューニング実行部２０ｄで取得したコードの横（または縦）の長さの１．５倍以上、または２．０倍以上、または３．０倍以上であってもよい。
【0113】
推論処理部２０ｊがニューラルネットワークへ入力する部分画像の入力サイズを決定する際、チューニング実行部２０ｄで取得したコードを構成する１つのモジュールのピクセル数と当該コードの縦または横方向に並ぶモジュール数とに基づいて決定することができる。
【0114】
また、チューニング実行部２０ｄでは上述したようにコード条件を設定することができる。推論処理部２０ｊは、チューニング実行部２０ｄで設定されたコード条件に基づいて、ニューラルネットワークに入力する読取画像のサイズを設定することもできる。例えば、チューニング実行部２０ｄで設定されたコード条件のうち、コードサイズを推論処理部２０ｊが取得すると、取得したコードサイズよりも所定量だけ大きなサイズの部分画像をニューラルネットワークに入力する。コードサイズが大きければニューラルネットワークに入力する部分画像のサイズが大きくなる一方、コードサイズが小さければニューラルネットワークに入力する部分画像のサイズが小さくなる。つまり、ニューラルネットワークに入力する部分画像のサイズをコード条件に応じて変えることができる。
【0115】
（縮小・拡大機能）
ここで、図９に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した理想画像にするためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
ここで、図９に示すような畳み込みニューラルネットワークにおいてコードの特徴を十分に捉え、デコードに適した理想画像にするためには、一定量のモジュール数をカバーする範囲で特徴量を抽出する必要がある。例えば、ニューラルネットワークから得られる１つの特徴値が６×６モジュールの範囲から抽出される値であるとし、１つのモジュールが２０ピクセルで撮影された画像の場合、１２０×１２０ピクセルの範囲から集約された特徴値を算出するようにニューラルネットワークを設計しなければならない。つまり、カバーしたいピクセル範囲が広ければ広い程、ニューラルネットワークの階層を深くしなければならず、例えば上述した１２０×１２０ピクセルの範囲から特徴値を集約しようとすると、６回の畳み込み層が必要となる。
【0116】
しかし、コードは白色のモジュールと黒色のモジュールとがランダムに配列されることによって構成されているため、広範囲でのピクセル値の関係は希薄であり、カバーするピクセル範囲を一定以上に広げても推論処理効果は殆ど向上しない。このような特徴を、本明細書では狭範囲特徴と呼ぶ。
【0117】
また、コードに含まれるファインダパターンなど決まったモジュールパターンの配置やコード全体として四角形状であることは広範囲特徴になり得るが、モジュールと背景とを大まかに分離するだけであれば、広範囲特徴を用いることなく、狭範囲特徴のみを用いても十分に推論処理可能である。尚、広範囲特徴とは、広範囲に渡って決まった形状を持つ特徴と定義することができる。
【0118】
そこで、図７に示すニューラルネットワークの学習の際、コードのＰＰＣが特定範囲にある画像を用いることができる。これにより、コードを含む画像に対する推論処理に特化したニューラルネットワーク構造として処理速度を向上させることができる反面、ＰＰＣが特定範囲外にある読取画像に対する推論処理効果は低下する懸念がある。尚、ニューラルネットワークの学習の際、コードのＰＰＣが特定範囲外にある画像を用いてもよい。
【0119】
本実施形態の光学的情報読取装置１、１Ａでは、読取画像のＰＰＣが特定範囲に入るようにするために、読取画像の縮小・拡大機能を備えている。図５に示すように、プロセッサ２０には、縮小部２０ｈ及び拡大部２０ｉが構成されている。縮小部２０ｈは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように縮小した読取画像を生成する部分であり、また、拡大部２０ｉは、カメラ５により生成された読取画像の中のコードを構成するモジュールのピクセル分解能が上述した特定範囲内となるように拡大した読取画像を生成する部分である。
【0120】
縮小部２０ｈ及び拡大部２０ｉは、例えばカメラ５により生成された読取画像におけるコードのＰＰＣが特定範囲（４ＰＰＣ以上６ＰＰＣ以下）外にあるか否かを判定し、特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行する。縮小または拡大を実行することで、推論処理部２０ｊがニューラルネットワークへ入力する部分画像におけるコードのＰＰＣが特定範囲内に入る。
【0121】
推論処理部２０ｊは、特定範囲内となるように拡大または縮小した読取画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像に対する推論処理を実行する。そして、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。
【0122】
抽出部２０ｇは、拡大部２０ｉにより拡大した読取画像または縮小部２０ｈにより縮小した読取画像に対してコードを探索し、探索されたコードを含む領域をコードが存在する可能性が高いコード候補領域として抽出するように構成してもよい。この場合、推論処理部２０ｊは、抽出部２０ｇが抽出したコード候補領域に対応する部分画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、その構造及びパラメータに従って読取画像に対する推論処理を実行する。
【0123】
光学的情報読取装置１、１Ａの設定時には、チューニング実行部２０ｄが、拡大率を変えた複数の読取画像（拡大画像）を生成すること、及び縮小率を変えた複数の読取画像（縮小画像）を生成することができる。チューニング実行部２０ｄは、生成した複数の読取画像（拡大画像または縮小画像）をニューラルネットワークに入力して各読取画像の推論処理を実行し、生成された各理想画像に対してデコード処理を実行し、コードの読み取りのしやすさを示す読取余裕度を求める。チューニング実行部２０ｄは、求めた読取余裕度が所定よりも高い読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定する。チューニング実行部２０ｄが拡大率または縮小率を特定した場合、光学的情報読取装置１、１Ａの運用時には、縮小部２０ｈ及び拡大部２０ｉは、チューニング実行部２０ｄが特定した拡大率または縮小率で読取画像を拡大または縮小する。
【0124】
すなわち、例えば特定範囲にある程度の広さがある場合、その特定範囲内であっても拡大率や縮小率を変えると、読取余裕度が変化することが考えられる。チューニング実行部２０ｄが求めた読取余裕度が所定よりも高くなるように、運用時における読取画像の拡大率または縮小率を特定することができるので、処理速度及び読み取り精度が向上する。
【0125】
チューニング実行部２０ｄは、各読取画像の読取余裕度を求めた後、求めた複数の読取余裕度のうち、最も高い読取余裕度の読取画像の拡大率または縮小率を、運用時に使用する拡大率または縮小率として特定することができる。これにより、処理速度及び読み取り精度を更に向上させることができる。
【0126】
また、縮小部２０ｈ及び拡大部２０ｉで読取画像を縮小及び拡大できることを利用して、パラメータセットの種類を増やすこともできる。縮小部２０ｈによる縮小率が異なる複数のパラメータセットと、拡大部２０ｉによる拡大率が異なる複数のパラメータセットを生成し、これらパラメータセットをＲＯＭ４０のパラメータセット記憶部４０ｃに記憶させることができる。例えば、縮小部２０ｈによる縮小率が１／２、１／４、１／８のように複数設定可能な場合、縮小率が１／２のパラメータセット、縮小率が１／４のパラメータセット、縮小率が１／８のパラメータセットをパラメータセット記憶部４０ｃに記憶させることができる。また、拡大部２０ｉによる拡大率が２倍、４倍、８倍のように複数設定可能な場合、拡大率が２倍のパラメータセット、拡大率が４倍のパラメータセット、拡大率が８倍のパラメータセットをパラメータセット記憶部４０ｃに記憶させることができる。そして、パラメータセット記憶部４０ｃに記憶された複数のパラメータセットの中から任意の一のパラメータセットを適用することができる。
【0127】
（推論処理フィルタ）
推論処理部２０ｊは、ニューラルネットワークを利用して推論処理を実行する推論処理フィルタを実行する部分であってもよい。推論処理フィルタは、読取画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータに従って推論処理を実行するフィルタであり、上述した推論処理機能と同じ機能を発揮する。
推論処理部２０ｊは、ニューラルネットワークを利用して推論処理を実行する推論処理フィルタを実行する部分であってもよい。推論処理フィルタは、読取画像を、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータで構成されたニューラルネットワークに入力することにより、ニューラルネットワーク記憶部４０ｄに記憶された構造及びパラメータに従って推論処理を実行するフィルタであり、上述した推論処理機能と同じ機能を発揮する。
【0128】
推論処理フィルタを実行可能にする場合、推論処理フィルタを設定するための設定部２０ｅ（図５に示す）を設けることができる。設定部２０ｅは、ユーザによる推論処理フィルタの設定を受付可能に構成されている。設定部２０ｅは、例えば光学的情報読取装置１、１Ａの設定時に、「推論処理フィルタの適用」と「推論処理フィルタの非適用」との一方をユーザが選択可能なユーザインターフェースを生成して表示部６に表示させ、ユーザによる選択を受け付けるように構成することができる。したがって、推論処理部２０ｊは、設定部２０ｅにより設定された推論処理フィルタを読取画像に適用することで、当該読取画像に対して推論処理を実行する。
【0129】
設定部２０ｅは、チューニング実行部２０ｄに含まれていてもよいし、チューニング実行部２０ｄとは別に構成されていてもよい。設定部２０ｅがチューニング実行部２０ｄに含まれている場合、チューニング時に推論処理フィルタに関するパラメータを設定することが可能になる。推論処理フィルタに関するパラメータとしては、「推論処理フィルタの適用」と「推論処理フィルタの非適用」とを含むことができる。「推論処理フィルタの適用」とは、推論処理フィルタを実行可能に設定することであり、「推論処理フィルタの非適用」とは、推論処理フィルタを設定しないことである。
【0130】
推論処理フィルタに関するパラメータは、推論処理フィルタに関する情報でもあり、この場合、推論処理フィルタの設定に関する情報を含むパラメータセットをパラメータセット記憶部４０ｃに記憶することができる。推論処理フィルタに関するパラメータは、「推論処理フィルタの適用」と「推論処理フィルタの非適用」とがあるので、パラメータセット記憶部４０ｃに記憶されるパラメータセットには、推論処理フィルタを実行可能に設定する第１のパラメータセットと、推論処理フィルタを設定しない第２のパラメータセットと含まれる。光学的情報読取装置１、１Ａの運用時には、第１のパラメータセットと、第２のパラメータセットとの中から選択された一方のパラメータセットが適用される。第１のパラメータセットが適用された場合には、推論処理フィルタによって推論処理が実行された理想画像に対してデコード処理部２０ｆによるデコード処理が実行される一方、第２のパラメータセットが適用された場合には、推論処理が実行されない読取画像に対してデコード処理部２０ｆによるデコード処理が実行される。
【0131】
パラメータセット記憶部４０ｃに記憶されるパラメータセットには、カメラ５により生成された読取画像に含まれるコード条件を設定する項目も含まれる。コード条件を設定する項目では、チューニング実行部２０ｄが取得したＰＰＣ、コード種、コードサイズ等が設定される。例えば、１つのパラメータセットには、コード条件を設定する項目としてのＰＰＣ、コード種、コードサイズと、撮像条件としてのカメラ５のゲイン、照明部４の光量、露光時間と、フィルタ処理部２０ｃが適用する画像処理フィルタの項目としての画像処理フィルタ種類、当該画像処理フィルタのパラメータと、推論処理フィルタの適用項目とを含むことができる。これら各項目は、チューニング実行部２０ｄが設定した値等をそのまま用いてもよいし、ユーザが任意に変更することもできる。
【0132】
（チューニング工程の手順の一例）
光学的情報読取装置１、１Ａの設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１０に示すフローチャートに基づいて具体的に説明する。図１０に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる推論処理を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード処理部２０ｆにデコード処理を実行させる。
光学的情報読取装置１、１Ａの設定時にチューニング実行部２０ｄによって行われるチューニング工程の手順の一例について、図１０に示すフローチャートに基づいて具体的に説明する。図１０に示すフローチャートのスタート後のステップＳＢ１では、チューニング実行部２０ｄが照明部４及びカメラ５を制御してカメラ５に読取画像を生成させ、チューニング実行部２０ｄが読取画像を取得する。このとき、デコード処理前に実行される画像処理フィルタの有無や種類、ニューラルネットワークによる推論処理を適用するためのデコード処理パラメータは任意のパラメータに設定されている。次いでステップＳＢ２に進み、取得した読取画像に対してチューニング実行部２０ｄがデコード処理部２０ｆにデコード処理を実行させる。
【0133】
デコード処理後、ステップＳＢ３に進み、ステップＳＢ２のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＢ３でＮＯと判定されてステップＳＢ２のデコード処理が失敗した場合、即ちコードの読み取りができなかった場合には、ステップＳＢ４に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ２で再度デコード処理を実行する。全てのデコード処理パラメータでデコード処理を失敗した場合にはこのフローを終了してユーザに報知する。
【0134】
一方、ステップＳＢ３でＹＥＳと判定されてステップＳＢ２のデコード処理が成功した場合には、ステップＳＢ５に進み、チューニング実行部２０ｄがコードパラメータ（ＰＰＣ、コード種、コードサイズ等）を決定する。チューニング実行部２０ｄがコードパラメータを決定すると、コードパラメータと関連付けられてニューラルネットワーク記憶部４０ｄに記憶されているニューラルネットワークの構造及びパラメータも決定される（ステップＳＢ６）。ステップＳＢ６では、ニューラルネットワーク記憶部４０ｄから読み出した構造及びパラメータでニューラルネットワークを構成する。
【0135】
ステップＳＢ７では、推論処理部２０ｊが、ステップＳＢ６で構成されたニューラルネットワークに読取画像を入力することにより、推論処理を実行し、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。その後、ステップＳＢ８に進み、チューニング実行部２０ｄがステップＳＢ７のデコード処理結果に基づいて読取余裕度を評価し、一旦記憶しておく。
【0136】
ステップＳＢ９では、全てのデコード処理パラメータでデコード処理の実行が完了したか否かを判定する。ステップＳＢ９でＮＯと判定されて、全てのデコード処理パラメータでデコード処理の実行が完了していない場合にはステップＳＢ１０に進み、デコード処理パラメータを別のパラメータに変更した後、ステップＳＢ７に進む。
【0137】
一方、ステップＳＢ９でＹＥＳと判定されて全てのデコード処理パラメータでデコード処理の実行が完了するとステップＳＢ１１に進む。ステップＳＢ１１では、チューニング実行部２０ｄが、全てのデコード処理パラメータの中から読取余裕度が最も高いデコード処理パラメータを選択し、その選択したデコード処理パラメータを運用時に適用するパラメータとして決定する。尚、チューニング工程では、撮像条件等も適切な条件に設定される。
【0138】
（縮小率及び拡大率決定前のデコード処理手順）
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１１に示すフローチャートに基づいて具体的に説明する。図１１に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ２で実行することができる。
次に、縮小率及び拡大率決定前のデコード処理手順の一例について、図１１に示すフローチャートに基づいて具体的に説明する。図１１に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ２で実行することができる。
【0139】
図１１に示すフローチャートのスタート後のステップＳＣ１では、チューニング実行部２０ｄが、複数の画像処理フィルタの中から任意の画像処理フィルタを選択する。この画像処理フィルタは、フィルタ処理部２０ｃで実行されるフィルタである。その後、ステップＳＣ２では、ステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。
【0140】
次いで、ステップＳＣ３に進み、画像ピラミッドを作成する。画像ピラミッドは、元の読取画像、元の読取画像を１／２に縮小した画像、元の読取画像を１／４に縮小した画像、元の読取画像を１／８に縮小した画像、…で構成されている。読取画像の縮小は、縮小部２０ｈで実行される。また、画像ピラミッドは、元の読取画像、元の読取画像を２倍に拡大した画像、元の読取画像を４倍に拡大した画像、元の読取画像を８倍に拡大した画像、…で構成することもできる。読取画像の拡大は、拡大部２０ｉで実行される。尚、縮小した画像と、拡大した画像とのうち、一方を省略してもよい。
【0141】
画像ピラミッドを作成した後、ステップＳＣ４に進み、画像ピラミッドを構成する複数の読取画像の中から任意の読取画像を選択する。この選択された画像の中には、縮小及び拡大されていない元の読取画像が含まれる場合もある。ステップＳＣ５では、抽出部２０ｇが、ステップＳＣ４で選択した読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。その後、ステップＳＣ６に進み、推論処理部２０ｊが、ステップＳＣ５で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して推論処理を実行する。ニューラルネットワークに入力する部分画像のサイズは、上述したコード条件によって決定する。
【0142】
推論処理を実行して理想画像を生成した後、ステップＳＣ７に進み、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行する。位置決め処理後、ステップＳＣ８に進み、コードを構成している各モジュールが白であるか、黒であるかを判別する。白黒の判別後、ステップＳＣ９に進み、生成された理想画像に対してデコード処理部２０ｆがデコード処理を実行する。デコード処理では、例えばモジュールの０－１マトリックスから文字列を復元する手法を採用することができる。
【0143】
その後、ステップＳＣ１０に進み、ステップＳＣ９のデコード処理が成功したか否かをチューニング実行部２０ｄが判定する。ステップＳＣ１０でＮＯと判定されてステップＳＣ９のデコード処理が失敗した場合には、ステップＳＣ１１に進み、画像ピラミッドを構成している全ての読取画像が選択されたか否かを判定する。ステップＳＣ１１でＮＯと判定されて画像ピラミッドを構成している全ての読取画像が選択されていない場合にはステップＳＣ４に進み、画像ピラミッドを構成している別の縮小された読取画像または別の拡大された読取画像を選択し、ステップＳＣ５に進む。
【0144】
一方、ステップＳＣ１１でＹＥＳと判定されて画像ピラミッドを構成している全ての読取画像が選択された場合にはこのフローを終了し、デコードが成功した条件を記憶しておく。
【0145】
（縮小率及び拡大率決定後のデコード処理手順）
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１２に示すフローチャートに基づいて具体的に説明する。図１２に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ７及び光学的情報読取装置１、１Ａの運用時に実行することができる。
次に、縮小率及び拡大率決定後のデコード処理手順の一例について、図１２に示すフローチャートに基づいて具体的に説明する。図１２に示すフローチャートで特定される処理は、図１０に示すフローチャートのステップＳＢ７及び光学的情報読取装置１、１Ａの運用時に実行することができる。
【0146】
図１２に示すフローチャートのスタート後のステップＳＤ１では、図１１に示すフローチャートのステップＳＣ１で選択した画像処理フィルタを読取画像に対してフィルタ処理部２０ｃが実行する。このとき、図１３の上側に示すような読取画像に対してフィルタ処理部２０ｃが平均化フィルタを実行した場合には、図１３の下側に示すような画像処理フィルタ実行後の画像が得られる。
【0147】
その後、ステップＳＤ２に進み、必要に応じて読取画像の縮小・拡大処理を実行する。具体的には、画像処理フィルタ実行後の読取画像におけるコードのＰＰＣが特定範囲内である場合には、縮小または拡大を非実行にする一方、特定範囲外である場合には、縮小または拡大を実行し、ＰＰＣが特定範囲内に入るようにする。図１４の上側に、縮小処理後の読取画像の例を示している。
【0148】
次いで、ステップＳＤ３では、抽出部２０ｇが、ステップＳＤ２で縮小または拡大された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する。図１４の下側に、コード候補領域抽出画像の例を示している。尚、ステップＳＤ２で縮小または拡大されていない場合には、ステップＳＤ３で元の読取画像に対して抽出処理が実行されることになる。
【0149】
その後、ステップＳＤ４に進み、推論処理部２０ｊが、ステップＳＤ３で抽出されたコード候補領域に対応する部分画像をニューラルネットワークに入力して推論処理を実行する。図１５に推論処理実行前の読取画像と推論処理実行後の理想画像の例を示している。理想画像の生成後、ステップＳＤ５～ＳＤ７を経てこのフローが終了する。ステップＳＤ５～ＳＤ７は、図１１に示すフローチャートのステップＳＣ７～ＳＣ９と同じである。
【0150】
（２種類のデコード処理）
上述したように本実施形態では、カメラ５により生成された読取画像に推論処理部２０ｊが推論処理を実行することなく、当該読取画像に対してデコード処理部２０ｆがデコード処理する場合と、カメラ５により生成された読取画像に推論処理部２０ｊが推論処理を実行して理想画像を生成し、生成した理想画像に対してデコード処理部２０ｆがデコード処理する場合とがある。前者の場合、即ち、読取画像に対してデコード処理する場合を第１デコード処理といい、後者の場合、即ち、推論処理で生成された理想画像に対してデコード処理する場合を第２デコード処理という。
上述したように本実施形態では、カメラ５により生成された読取画像に推論処理部２０ｊが推論処理を実行することなく、当該読取画像に対してデコード処理部２０ｆがデコード処理する場合と、カメラ５により生成された読取画像に推論処理部２０ｊが推論処理を実行して理想画像を生成し、生成した理想画像に対してデコード処理部２０ｆがデコード処理する場合とがある。前者の場合、即ち、読取画像に対してデコード処理する場合を第１デコード処理といい、後者の場合、即ち、推論処理で生成された理想画像に対してデコード処理する場合を第２デコード処理という。
【0151】
第１デコード処理及び第２デコード処理は、共にデコード処理部２０ｆで実行されるが、異なるデコード処理部で実行するようにしてもよい。すなわち、プロセッサ２０は、専用コア２５と第１～第４汎用コア２１～２４とを有しているので、専用コア２５で構成される推論処理部２０ｊによる推論処理と、第１～第４汎用コア２１～２４の少なくとも１つで構成されるデコード処理部２０ｆによる第１デコード処理とを並列的にかつ高速で実行することができる。さらに、プロセッサ２０は、推論処理部２０ｊによる推論処理の完了後に、デコード処理部２０ｆによる第２デコード処理を実行することができる。以下、具体的について説明する。
【0152】
（第１の例）
図１６は、第１デコード処理と推論処理とを並列的に実行する場合の第１の例を示すフローチャートである。このフローチャートのスタート後のステップＳＥ１では、プロセッサ２０が読取画像を取得する。その後、ステップＳＥ２で第１デコード処理、即ち、読取画像に対してデコード処理部２０ｆがデコード処理を実行する。第１デコード処理後にステップＳＥ３に進み、読み取りが成功したか否かを判定する。読み取りが成功しなければ、ステップＳＥ２に戻り、第１デコード処理を再度実行する。所定回数（時間）経過しても読み取りが成功しなければタイムアウトとなり、デコード処理を終了する。一方、ステップＳＥ３で読み取りが成功したと判定された場合には、デコード処理を終了する。
図１６は、第１デコード処理と推論処理とを並列的に実行する場合の第１の例を示すフローチャートである。このフローチャートのスタート後のステップＳＥ１では、プロセッサ２０が読取画像を取得する。その後、ステップＳＥ２で第１デコード処理、即ち、読取画像に対してデコード処理部２０ｆがデコード処理を実行する。第１デコード処理後にステップＳＥ３に進み、読み取りが成功したか否かを判定する。読み取りが成功しなければ、ステップＳＥ２に戻り、第１デコード処理を再度実行する。所定回数（時間）経過しても読み取りが成功しなければタイムアウトとなり、デコード処理を終了する。一方、ステップＳＥ３で読み取りが成功したと判定された場合には、デコード処理を終了する。
【0153】
また、ステップＳＥ１からステップＳＥ２に進むのと並行してステップＳＥ４に進む。ステップＳＥ４では、カメラ５により生成された読取画像に推論処理部２０ｊが推論処理を実行して理想画像を生成する。この理想画像の生成と、ステップＳＥ２の第１デコード処理とは並行して実行され、別の読取画像である。ステップＳＥ４で理想画像を生成した後、ステップＳＥ５に進み、第２デコード処理、即ち、ステップＳＥ４で生成した理想画像に対してデコード処理部２０ｆがデコード処理を実行する。第２デコード処理後にステップＳＥ６に進み、読み取りが成功したか否かを判定する。読み取りが成功しなければ、ステップＳＥ５に戻り、第２デコード処理を再度実行する。所定回数（時間）経過しても読み取りが成功しなければタイムアウトとなり、デコード処理を終了する。一方、ステップＳＥ６で読み取りが成功したと判定された場合には、デコード処理を終了する。
【0154】
ステップＳＥ４～ＳＥ６をキャンセルする機能を光学的情報読取装置１に設けてもよい。ステップＳＥ４～ＳＥ６は、推論処理及び第２デコード処理を実行するステップであるが、特に推論処理には時間を要するため、ステップＳＥ４～ＳＥ６をキャンセルすることで、処理を高速化できる。ステップＳＥ４～ＳＥ６をキャンセルする方法としては、例えばユーザの操作による方法がある。例えば、パラメータセット記憶部４０ｃに記憶されるパラメータの一つとして、推論処理を実行するか否かの選択パラメータを含んでいてもよい。この選択パラメータをユーザが変更することで、推論処理を実行するモードと、実行しないモードとの一方に切り替えることができる。選択パラメータとしては、例えば「速度優先モード」の選択パラメータであってもよい。「速度優先モード」がユーザにより選択された場合には、推論処理を実行しないモードで動作させ、一方、「速度優先モード」が選択されない場合には、推論処理を実行するモードで動作させる。尚、チューニングによって得られた情報に基づいて、推論処理が不要な状況であると判定される場合には推論処理を自動的にキャンセルするようにしてもよい。
【0155】
図１７Ａは、上記第１の例のシーケンス例１を示すシーケンス図である。この図に示すように、第１～第４汎用コア２１～２４のうちの少なくとも１つの汎用コアが、第１デコード処理を実行している間に専用コア２５が推論処理を実行する。汎用コアは、第１デコード処理が終了し、かつ、推論処理が終了すると、第２デコード処理を実行する。
【0156】
図１７Ｂは、上記第１の例のシーケンス例２を示すシーケンス図である。この例では、第１汎用コア２１が第１デコード処理と第２デコード処理とを別スレッドで並列的に実行する。具体的には、第１汎用コア２１が第１デコード処理を実行する間に専用コア２５が推論処理を実行する。第１汎用コア２１は、推論処理が終了すると、第１デコード処理の終了を待つことなく、第１デコード処理とは別スレッドで第２デコード処理を実行する。
【0157】
図１７Ｃは、上記第１の例のシーケンス例３を示すシーケンス図である。この例では、第１汎用コア２１が第１デコード処理を実行し、第２汎用コア２２が第２デコード処理を実行する。具体的には、第１汎用コア２１が第１デコード処理を実行する間に専用コア２５が推論処理を実行する。第２汎用コア２２は、推論処理が終了すると、第１デコード処理の終了を待つことなく、第２デコード処理を実行する。これにより、第１デコード処理と第２デコード処理とをそれぞれ別の汎用コアで実行できるので、処理がより一層高速になる。
【0158】
（第２の例）
図１８は、第１デコード処理と推論処理とを並列的に実行する場合の第２の例を示すフローチャートであり、この第２の例では、コード候補領域が複数抽出された場合を示す。このフローチャートのスタート後のステップＳＦ１では、抽出部２０ｇがカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する抽出処理を実行する。これにより、複数のコード候補領域からなる候補領域群が抽出される。複数のコード候補領域は、１枚の読取画像の中から抽出されており、実際にはコードが含まれていない領域が混在していることもある。
図１８は、第１デコード処理と推論処理とを並列的に実行する場合の第２の例を示すフローチャートであり、この第２の例では、コード候補領域が複数抽出された場合を示す。このフローチャートのスタート後のステップＳＦ１では、抽出部２０ｇがカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する抽出処理を実行する。これにより、複数のコード候補領域からなる候補領域群が抽出される。複数のコード候補領域は、１枚の読取画像の中から抽出されており、実際にはコードが含まれていない領域が混在していることもある。
【0159】
ステップＳＦ１を経た後、第１デコードシーケンス処理部による処理と、第２デコードシーケンス処理部による処理とに分かれる。第１デコードシーケンス処理部では、ステップＳＦ２において、コード候補領域群の中から１つのコード候補領域を選択する。このとき、コードが存在する可能性が高い領域から低い領域に順番を付けておき、コードが存在する可能性が高い領域を優先して選択する。ステップＳＦ３では、ステップＳＦ２で選択したコード候補領域に対してデコード処理部２０ｆが第１デコード処理を実行する。第１デコード処理後にステップＳＦ４に進み、読み取りが成功したか否かを判定する。ステップＳＦ４で読み取りが成功したと判定された場合には、デコード処理を終了する。
【0160】
一方、読み取りが成功しなければ、ステップＳＦ２に戻り、コード候補領域群の中から第１デコード処理を実行していないコード候補領域を上記順番に従って１つだけ選択する。その後、ステップＳＦ３に進んでステップＳＦ２で選択したコード候補領域に対してデコード処理部２０ｆが第１デコード処理を実行する。再び読み取りが成功しなければ、ステップＳＦ２に戻る。読み取りが成功しなければ、これを繰り返して全てのコード候補領域に対してデコード処理部２０ｆが第１デコード処理を実行する。読み取りが１つも成功しない場合であってもタイムアウトとなり、デコード処理を終了する。
【0161】
一方、第２デコードシーケンス処理部では、ステップＳＦ５において、ステップＳＦ２と同様に、コード候補領域群の中から１つのコード候補領域を選択する。ステップＳＦ６では、ステップＳＦ５で選択したコード候補領域に対して推論処理部２０ｊが推論処理を実行して理想画像を生成する。この理想画像の生成と、ステップＳＦ３の第１デコード処理とは並行して実行される。ステップＳＦ６で理想画像を生成した後、ステップＳＦ７に進み、第２デコード処理、即ち、ステップＳＦ６で生成した理想画像に対してデコード処理部２０ｆがデコード処理を実行する。第２デコード処理後にステップＳＦ８に進み、読み取りが成功したか否かを判定する。ステップＳＦ８で読み取りが成功したと判定された場合には、デコード処理を終了する。
【0162】
一方、読み取りが成功しなければ、ステップＳＦ５に戻り、コード候補領域群の中から推論処理を実行していないコード候補領域を上記順番に従って１つだけ選択する。その後、ステップＳＦ６に進んで理想画像を生成した後、ステップＳＦ７に進む。ステップＳＦ７では第２デコード処理を実行する。再び読み取りが成功しなければ、ステップＳＦ５に戻る。読み取りが成功しなければ、これを繰り返して全てのコード候補領域に対して理想画像の生成及び第２デコード処理を実行する。読み取りが１つも成功しない場合もデコード処理を終了する。
【0163】
図１９は、第２の例のシーケンス例を示すシーケンス図である。この例では、第１汎用コア２１及び第２汎用コア２２が共に抽出処理を実行する。これにより、コード候補領域が複数存在していても、高速に抽出処理が完了する。この例では、コード候補領域１～８が抽出された場合について説明する。
【0164】
抽出処理後、第１汎用コア２１がコード候補領域１に対する第１デコード処理を実行する（第１デコード処理１）。また、第２汎用コア２２がコード候補領域２に対する第１デコード処理を実行する（第１デコード処理２）。第１デコード処理１及び第１デコード処理２は並列的に実行される。また、専用コア２５は、第１デコード処理１及び第１デコード処理２が実行されている間に、コード候補領域５に対して推論処理を実行する（推論処理１）。
【0165】
第１汎用コア２１は、第１デコード処理１が終了すると、コード候補領域３に対する第１デコード処理を実行する（第１デコード処理３）。また、第２汎用コア２２は、第１デコード処理２が終了すると、コード候補領域４に対する第１デコード処理を実行する（第１デコード処理４）。第１デコード処理３及び第１デコード処理４の実行中に専用コア２５が推論処理１を終了すると、専用コア２５はコード候補領域７に対して推論処理を実行する（推論処理２）。
【0166】
第１汎用コア２１は、第１デコード処理３が終了すると、推論処理１が既に終了しているので、推論処理１によって生成された理想画像（コード候補領域５に対応する画像）に対して第２デコード処理を実行する（第２デコード処理５）。一方、第２汎用コア２２は、第１デコード処理４が終了すると、推論処理２が終了していないので、コード候補領域６に対する第１デコード処理を実行する（第１デコード処理６）。
【0167】
第２デコード処理５及び第１デコード処理６の実行中に専用コア２５が推論処理２を終了する。第１汎用コア２１は、第１デコード処理５が終了すると、推論処理２が既に終了しているので、推論処理２によって生成された理想画像（コード候補領域７に対応する画像）に対して第２デコード処理を実行する（第２デコード処理７）。一方、第２汎用コア２２は、第１デコード処理６が終了すると、コード候補領域８に対する第１デコード処理を実行する（第１デコード処理８）。このように、第１汎用コア２１及び第２汎用コア２２は、専用コア２５による推論処理で理想画像が生成された場合、現在実行している第１デコード処理が完了すると、次の第１デコード処理を実行することなく、当該次の第１デコード処理に優先して第２デコード処理を実行するように構成されている。
【0168】
複数ある汎用コア２１～２４のうち、例えば第１汎用コア２１が抽出処理を実行し、第２汎用コア２２が第１デコード処理を実行し、第３汎用コア２３が第２デコード処理を実行してもよい。また、第４コア２４が、カメラ５の撮像制御や照明部４の制御を実行してもよい。このように複数種の処理を各汎用コア２１～２４に分担することで、処理をより一層高速化できる。
【0169】
（第３の例）
図２０は、第１デコード処理と推論処理とを並列的に実行する場合の第３の例を示すフローチャートである。この第３の例では、コード候補領域が複数抽出された場合に、デコードが済んでいるコード候補領域であるか否かの判定ステップを経た後、デコードが済んでいないと判定されると第１デコード処理を行うようにしている。
図２０は、第１デコード処理と推論処理とを並列的に実行する場合の第３の例を示すフローチャートである。この第３の例では、コード候補領域が複数抽出された場合に、デコードが済んでいるコード候補領域であるか否かの判定ステップを経た後、デコードが済んでいないと判定されると第１デコード処理を行うようにしている。
【0170】
このフローチャートでは、スタート後、第１デコードシーケンス処理部による処理と、第２デコードシーケンス処理部による処理とに分かれる。第１デコードシーケンス処理部のステップＳＧ１では、抽出部２０ｇがカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する第１抽出処理を実行する。一方、第２デコードシーケンス処理部のステップＳＧ７では、抽出部２０ｇがカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出する第２抽出処理を実行する。
【0171】
ステップＳＧ１の第１抽出処理と、ステップＳＧ７の第２抽出処理とは、抽出の条件が異なっており、後述するように、第１抽出処理で抽出されたコード候補領域に対しては第１デコード処理を実行し（ステップＳＧ４）、第２抽出処理で抽出されたコード候補領域に対しては推論処理を実行する（ステップＳＧ１４）。このように第１抽出処理と第２抽出処理とで抽出の条件を変えている理由は、第１デコードシーケンス処理部では読み取りが簡単な画像を高速に捉えて高速に読み取ることが狙いである一方、第２デコードシーケンス処理部では、第１デコードシーケンス処理部で失敗する可能性が高く、読み取りが難しい画像を精度良く捉えて正確に読み取ることが狙いとなっているからである。
【0172】
例えば、第１抽出処理は、コード候補領域を高速に抽出可能にする第１の所定条件で抽出する一方、第２抽出処理は、コード候補領域を前記第１の所定条件よりも精度の高い抽出を可能にする第２の所定条件で抽出する。言い換えると、第１の所定条件は第２の所定条件よりも抽出の精度が低い分、高速な抽出処理が可能になるので、第１の所定条件は、第２の所定条件よりも高速な抽出を可能にする条件である。
【0173】
具体的な条件設定としては、第１の所定条件の抽出閾値を第２の所定条件の抽出閾値よりも低くすること、第１の所定条件を構成する抽出条件の数を第２の所定条件を構成する抽出条件の数よりも少なくする等である。また、第１の所定条件を構成する抽出条件に別の抽出条件を組み合わせて第２の所定条件を構成してもよい。
【0174】
ステップＳＧ１で高速な抽出処理を実行した後、ステップＳＧ２に進み、コード候補領域群の中から１つのコード候補領域を選択する。その後、ステップＳＧ３に進み、ステップＳＧ２で選択したコード候補領域が既にデコード処理されたコード候補領域であるか否かを判定する。ステップＳＧ３でＹＥＳと判定されて既にデコード処理されたコード候補領域である場合には、ステップＳＧ２に戻ってコード候補領域群の中から別のコード候補領域を選択してステップＳＧ３に進む。
【0175】
ステップＳＧ３でＹＥＳと判定された場合には、ステップＳＧ２で選択したコード候補領域が未だデコード処理されていないということであるので、ステップＳＧ４に進み、ステップＳＧ２で選択したコード候補領域に対してデコード処理部２０ｆが第１デコード処理を実行する。第１デコード処理後にステップＳＧ５に進み、読み取りが成功したか否かを判定する。ステップＳＧ５で読み取りが成功したと判定された場合には、ステップＳＧ６に進み、読み取りが終了したか否かを判定する。ステップＳＧ５による第１デコード処理で読み取りが終了した場合には、このフローを終了するが、読み取りが終了していない場合には、ステップＳＧ２に戻ってコード候補領域群の中から別のコード候補領域を選択してステップＳＧ３に進む。また、ステップＳＧ５で読み取りが成功しなければ、ステップＳＧ２に戻る。
【0176】
一方、第２デコードシーケンス処理部のステップＳＧ７を経てステップＳＧ８に進むと、コード候補領域群の中から１つのコード候補領域を選択する。ステップＳＧ９～ＳＧ１２は、上記ステップＳＧ３～ＳＧ６と同様なステップである。
【0177】
また、ステップＳＧ７を経てステップＳＧ１３に進むと、コード候補領域群の中から１つのコード候補領域を選択する。ステップＳＧ１４では、ステップＳＧ１３で選択したコード候補領域に対して推論処理部２０ｊが推論処理を実行して理想画像を生成する。この理想画像の生成と、ステップＳＧ４及び／またはステップＳＧ１０の第１デコード処理とは並行して実行される。ステップＳＧ１４で理想画像を生成した後、ステップＳＧ１５に進み、第２デコード処理を実行する。第２デコード処理後にステップＳＧ１６に進み、読み取りが成功したか否かを判定する。ステップＳＧ１６で読み取りが成功したと判定された場合には、ステップＳＧ１７で読み取りが終了したか否かを判定する。ステップＳＧ４、ＳＧ１０による第１デコード処理やステップＳＧ１５による第２デコード処理で読み取りが終了した場合には、このフローを終了するが、読み取りが終了していない場合には、ステップＳＧ１３に戻ってコード候補領域群の中から別のコード候補領域を選択してステップＳＧ１４に進む。また、ステップＳＧ１６で読み取りが成功しなければ、ステップＳＧ１３に戻る。
【0178】
図２１は、第３の例のシーケンス例を示すシーケンス図である。この例では、第１汎用コア２１が比較的高速な第１抽出処理を実行し、第２汎用コア２２が比較的高精度な第２抽出処理を実行するので、第２抽出処理の時間が第１抽出処理の時間よりも長くなっている。また、この例では、第１抽出処理及び第２抽出処理により、コード候補領域１～９が抽出された場合について説明する。
【0179】
第１抽出処理後、第１汎用コア２１は、コード候補領域１に対する第１デコード処理を実行する（第１デコード処理１）。第１汎用コア２１は、第１デコード処理１が終了すると、コード候補領域２に対する第１デコード処理を実行する（第１デコード処理２）。また、第２抽出処理後、第２汎用コア２２は、コード候補領域３に対する第１デコード処理を実行する（第１デコード処理３）。第１デコード処理２及び第１デコード処理３は並列的に実行される。また、第２抽出処理後、専用コア２５は、第１デコード処理２及び第１デコード処理３が実行されている間に、コード候補領域６（第２抽出処理で抽出されたコード候補領域）に対して推論処理を実行する（推論処理１）。
【0180】
また、第１汎用コア２１は、第１デコード処理２が終了すると、コード候補領域４に対する第１デコード処理を実行する（第１デコード処理４）。第２汎用コア２２は、第１デコード処理３が終了すると、コード候補領域５に対する第１デコード処理を実行する（第１デコード処理５）。第１デコード処理４及び第１デコード処理５の実行中に専用コア２５が推論処理１を終了すると、専用コア２５はコード候補領域８に対して推論処理を実行する（推論処理２）。
【0181】
第１汎用コア２１は、第１デコード処理４が終了すると、推論処理１が既に終了しているので、推論処理１によって生成された理想画像（コード候補領域６に対応する画像）に対して第２デコード処理を実行する（第２デコード処理６）。一方、第２汎用コア２２は、第１デコード処理５が終了すると、推論処理２が終了していないので、コード候補領域７に対する第１デコード処理を実行する（第１デコード処理７）。
【0182】
第２デコード処理６及び第１デコード処理７の実行中に専用コア２５が推論処理２を終了する。第１汎用コア２１は、第２デコード処理６が終了すると、推論処理２が既に終了しているので、推論処理２によって生成された理想画像（コード候補領域８に対応する画像）に対して第２デコード処理を実行する（第２デコード処理８）。一方、第２汎用コア２２は、第１デコード処理７が終了すると、コード候補領域９に対する第１デコード処理を実行する（第１デコード処理９）。
【0183】
（タスクシーケンスの説明）
図２２は、第１デコード処理で読み取りが成功した場合のタスクシーケンス図である。この図では、制御タスク、第１デコード処理タスク、第２デコード処理タスク及び推論処理タスクを示しており、制御タスクが第１デコード処理タスクに読み取り実行命令１を出すと、第１デコード処理を開始する。第１デコード処理で読み取りが成功した段階で読み取り成功通知２を制御タスクに出す。制御タスクは、読み取り成功通知２を受けると、処理終了命令３を第１デコード処理タスクに出し、第１デコード処理タスクは処理終了通知４を制御タスクに出す。
図２２は、第１デコード処理で読み取りが成功した場合のタスクシーケンス図である。この図では、制御タスク、第１デコード処理タスク、第２デコード処理タスク及び推論処理タスクを示しており、制御タスクが第１デコード処理タスクに読み取り実行命令１を出すと、第１デコード処理を開始する。第１デコード処理で読み取りが成功した段階で読み取り成功通知２を制御タスクに出す。制御タスクは、読み取り成功通知２を受けると、処理終了命令３を第１デコード処理タスクに出し、第１デコード処理タスクは処理終了通知４を制御タスクに出す。
【0184】
また、制御タスクは、第２デコード処理タスクに読み取り実行命令５を出すと、第２デコード処理タスクは、推論処理タスクに推論開始命令６を出す。推論処理タスクは推論処理が完了すると推論完了通知７を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、推論処理タスクに次の推論開始命令８を出す。その後、処理終了通知４が制御タスクに出されたので、制御タスクは、処理終了命令９を第２デコード処理タスクに出す。第２デコード処理タスクは、推論処理タスクに推論終了命令１０を出し、推論処理タスクは推論終了通知１１を第２デコード処理タスクに出す。次いで、第２デコード処理タスクは、処理終了通知１２を制御タスクに出して読み取りを終了する。つまり、プロセッサ２０は、第１デコード処理でデコードに成功した場合は、推論処理部２０ｊによる推論処理が完了していなくても、推論処理を途中で終了させるように構成されている。これにより、次の推論処理を早期に開始できる。
【0185】
図２３は、第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。制御タスクが第１デコード処理タスクに読み取り実行命令１を出し、第２デコード処理タスクに読み取り実行命令２を出す。第２デコード処理タスクは、推論処理タスクに推論開始命令３を出す。推論処理タスクは推論処理が完了すると推論完了通知４を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、推論処理タスクに次の推論開始命令５を出す。
【0186】
第２デコード処理タスクは、推論完了通知４を受けて第２デコード処理を開始する。第２デコード処理で読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知６を出すと、制御タスクは第２デコード処理タスクに処理終了命令７を出す。このとき、制御タスクは第１デコード処理タスクにも処理終了命令８を出す。
【0187】
第２デコード処理タスクが処理終了命令７を受けると、推論処理タスクに推論終了命令９を出し、推論処理タスクは第２デコード処理タスクに推論終了通知１０を出す。また、第１デコード処理タスクは制御タスクに処理終了通知１１を出す。また、第２デコード処理タスクは制御タスクに処理終了通知１２を出す。この例では、第２デコード処理でデコードに成功した場合に、推論処理部２０ｊによる推論処理を終了させることができる。
【0188】
図２４は、第１デコード処理と第２デコード処理で読み取りが成功した場合のタスクシーケンス図である。制御タスクが第１デコード処理タスクに読み取り実行命令１を出し、第２デコード処理タスクに読み取り実行命令２を出す。第２デコード処理タスクは、推論処理タスクに推論開始命令３を出す。第１デコード処理タスクは、第１デコード処理を開始する。第１デコード処理で読み取りが成功し、第１デコード処理タスクが制御タスクに読み取り成功通知４を出すと、制御タスクは第２デコード処理タスクに処理終了命令５を出す。第２デコード処理タスクは制御タスクに処理終了通知６を出す。
【0189】
一方、推論処理タスクは推論処理が完了すると推論完了通知７を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、推論処理タスクに次の推論開始命令８を出す。第２デコード処理タスクは、推論完了通知７を受けて第２デコード処理を開始する。第２デコード処理で読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知９を出すと、制御タスクは第２デコード処理タスクに処理終了命令１０を出す。
【0190】
第２デコード処理タスクが処理終了命令１０を受けると、推論処理タスクに推論終了命令１１を出し、推論処理タスクは第２デコード処理タスクに推論終了通知１２を出す。第２デコード処理タスクは推論終了通知１２を受け取った後、制御タスクに処理終了通知１３を出す。この例では、第１デコード処理及び第２デコード処理の両方でデコードに成功した場合に、推論処理部２０ｊによる推論処理を終了させることができる。
【0191】
図２５は、第２デコード処理で２回読み取りが成功した場合のタスクシーケンス図である。制御タスクが第１デコード処理タスクに読み取り実行命令１を出し、第２デコード処理タスクに読み取り実行命令２を出す。第２デコード処理タスクは、推論処理タスクに推論開始命令３を出す。推論処理タスクは推論処理が完了すると推論完了通知４を第２デコード処理タスクに出す。その後、第２デコード処理タスクは、推論処理タスクに次の推論開始命令５を出す。第２デコード処理タスクは、推論完了通知４を受けて第２デコード処理を開始する。第２デコード処理で読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知６を出す。
【0192】
その後、推論処理タスクでは２回目の推論処理が完了して２回目の推論完了通知７を第２デコード処理タスクに出す。第２デコード処理タスクは、２回目の推論完了通知７を受けて２回目の第２デコード処理を開始する。２回目の第２デコード処理でも読み取りが成功し、第２デコード処理タスクが制御タスクに読み取り成功通知８を出す。この間、第１デコード処理タスクでは読み取りが成功していないので、第１デコード処理タスクから読み取り成功通知は出されない。
【0193】
制御タスクは第２デコード処理タスクに処理終了命令９を出す。第２デコード処理タスクが処理終了命令９を受けると、推論処理タスクに推論終了命令１０を出し、推論処理タスクは第２デコード処理タスクに推論終了通知１１を出す。第２デコード処理タスクは推論終了通知１１を受け取った後、制御タスクに処理終了通知１２を出す。また、制御タスクは第１デコード処理タスクに処理終了命令１３を出すと、第１デコード処理タスクは制御タスクに処理終了通知１４を出す。この例では、１回目の第２デコード処理及び２回目の第２デコード処理の両方でデコードに成功した場合に、推論処理部２０ｊによる推論処理を終了させることができる。
【0194】
（カメラによる連続撮影）
図１に示すように、複数のワークＷが連続して流れてくる現場で光学的情報読取装置１を使用した場合、ある時間間隔でコードがカメラ５の前を順に通過することになる。このため、カメラ５が所定の短い間隔で連続撮影して読取画像を順に取得し、光学的情報読取装置１は、決められた時間内で読み取りを終了させる必要がある。
図１に示すように、複数のワークＷが連続して流れてくる現場で光学的情報読取装置１を使用した場合、ある時間間隔でコードがカメラ５の前を順に通過することになる。このため、カメラ５が所定の短い間隔で連続撮影して読取画像を順に取得し、光学的情報読取装置１は、決められた時間内で読み取りを終了させる必要がある。
【0195】
図２６は、読取開始トリガ信号を受信してから一定時間は撮影とデコード処理を繰り返す場合の読み取りシーケンス図である。１回のデコード処理時間は予め設定されており、これをデコードタイムアウト時間とする。また、トータルの読み取り制限時間はデコードタイムアウト時間とは別に予め設定されており、これをタクトタイムアウト時間とする。また、デコード処理を強制的に終了したいタイミングとしては、デコード処理が成功したタイミング（タイミング１）、読み取りを開始してからデコードタイムアウト時間が経過した時点（タイミング２）読み取りを開始してからタクトタイムアウト時間が経過した時点（タイミング３）の３つがある。例えば、読み取り処理の強制終了命令に対する応答速度を１０ｍｓｅｃ程度とした場合、デコード処理も同程度の時間内に終了応答可能にするのがよい場合がある。
【0196】
一方、推論処理は専用コア２５での実行で、数十ｍｓｅｃ～数百ｍｓｅｃ程度の処理時間を要することがあるため、推論処理を途中で終了する機能、または、推論処理の途中で新たな推論処理を開始する機能のどちらか一方または両方の機能を備えているのが好ましい場合がある。
【0197】
図２７は、連続撮影時のデコード処理シーケンス図である。このデコード処理シーケンス図は、図１９に示すシーケンス図と同様であるが、推論処理の途中で、上記タイミング１～３のいずれかが到来して推論処理を中断した例を示している。
【0198】
（実施形態の作用効果）
以上説明したように、この実施形態によれば、光学的情報読取装置１、１Ａの運用時に、カメラ５により生成された読取画像をニューラルネットワークに入力すると、推論処理によって理想画像が生成される。この推論処理後の理想画像に対してデコード処理が実行されるので、読み取り精度が高まる。
以上説明したように、この実施形態によれば、光学的情報読取装置１、１Ａの運用時に、カメラ５により生成された読取画像をニューラルネットワークに入力すると、推論処理によって理想画像が生成される。この推論処理後の理想画像に対してデコード処理が実行されるので、読み取り精度が高まる。
【0199】
また、読取画像がコードの読取に適している場合には、カメラ５により生成された読取画像を推論処理することなく、デコード処理する。上記推論処理と、推論処理をせずにデコードするデコード処理とが並列的に実行されるので、推論処理が必要な読取画像に対する推論処理の実行中に、推論処理が不要な別の読取画像に対するデコード処理を実行すること、または、推論処理が不要な読取画像に対するデコード処理の実行中に、推論処理が必要な別の読取画像に対する推論処理を実行することができる。これにより、処理時間が短縮される。
【0200】
（その他の実施形態）
図２８は、その他の実施形態に係る光学的情報読取装置１の運用時における処理の手順の一例を説明する図である。この実施形態では、プロセッサ２０により、前記推論処理部（画像修復部）２０ｊの他に、前処理部２００と、後処理部２０１と、第１デコード処理部２０２と、第２デコード処理部２０３とが構成されている。前処理部２００は、上記フィルタ処理部２０ｃと同様に、カメラ５により生成された読取画像に対してノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタ等を実行する部分である。
図２８は、その他の実施形態に係る光学的情報読取装置１の運用時における処理の手順の一例を説明する図である。この実施形態では、プロセッサ２０により、前記推論処理部（画像修復部）２０ｊの他に、前処理部２００と、後処理部２０１と、第１デコード処理部２０２と、第２デコード処理部２０３とが構成されている。前処理部２００は、上記フィルタ処理部２０ｃと同様に、カメラ５により生成された読取画像に対してノイズ除去フィルタ、コントラスト補正フィルタ、平均化フィルタ等を実行する部分である。
【0201】
第１デコード処理部２０２は、カメラ５により生成された読取画像に対するデコード処理を実行する部分であり、この第１デコード処理部２０２によるデコード処理を第１デコード処理ともいう。プロセッサ２０が複数のコア（Ｎ個のコア）を有している場合、そのうちのコア０～コアｉによって第１デコード処理部２０２が構成される。１つのコアで第１デコード処理部２０２が構成されていてもよい。
【0202】
また、第２デコード処理部２０３は、推論処理部２０ｊが生成した修復画像に対するデコード処理を実行する部分であり、この第２デコード処理部２０３によるデコード処理を第２デコード処理ともいう。プロセッサ２０がＮ個のコアを有している場合、そのうちのコアｉ＋１～コアＮ－１によって第２デコード処理部２０３が構成される。１つのコアで第２デコード処理部２０３が構成されていてもよい。
【0203】
図２９にも示すように、コア０～コアｉによって第１デコード処理部２０２が構成されている場合、コア０～コアｉの各々がカメラ５により生成された読取画像の中からコードが存在する可能性が高いコード候補領域を抽出した後、コードの輪郭やコードを構成しているモジュールの位置決め処理を実行し、その後、コードを構成している各モジュールが白であるか、黒であるかを判別し、デコード処理を実行する。処理結果は後処理部２０１に出力される。
【0204】
一方、図２９に示すように、コアｉ＋１～コアＮ－１によって第２デコード処理部２０３が構成されている場合、コアｉ＋１～コアＮ－１の各々が、読取画像からコードが存在する可能性が高いコード候補領域を修復用コード領域として抽出するとともに、推論処理部２０ｊに対し、推論処理を実行するようトリガ信号を送出する。この図２９では、２つのコアによって１つのタスクを実行するように記載しているが、任意の１つ以上のコアによって１つのタスクを実行すればよい。
【0205】
具体的には、第２デコード処理部２０３を構成しているコアＮ－２及びコアＮ－１が修復用コード候補領域を抽出すると、トリガ信号（トリガ１）を推論処理部２０ｊに出力し、推論処理部２０ｊに対して推論処理を実行させる。推論処理部２０ｊは、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ１）を受信すると、コアＮ－２及びコアＮ－１が抽出した修復用コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する（画像修復１）。画像修復１で生成した修復画像は、コアＮ－２及びコアＮ－１へ送られる。コアＮ－２及びコアＮ－１は、画像修復１で生成した修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する。
【0206】
一方、第２デコード処理部２０３を構成しているコアｉ＋１及びコアｉ＋２が修復用コード候補領域を抽出すると、トリガ信号（トリガ２）を推論処理部２０ｊに出力し、推論処理部２０ｊに対して推論処理を実行させる。推論処理部２０ｊは、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ２）を受信すると、コアｉ＋１及びコアｉ＋２が抽出した修復用コード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する（画像修復２）。画像修復２で生成した修復画像は、コアｉ＋１及びコアｉ＋２へ送られる。コアｉ＋１及びコアｉ＋２は、画像修復２で生成した修復画像に基づいてコードの各セル位置を示すグリッド位置を決定し、決定したグリッド位置に基づいて当該修復画像のデコード処理を実行する。
【0207】
以下、同様にして、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ３）により画像修復３が実行され、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ４）により画像修復４が実行され、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ５）により画像修復５が実行され、コアｉ＋１及びコアｉ＋２から送出されたトリガ信号（トリガ６）により画像修復６が実行され、コアＮ－２及びコアＮ－１から送出されたトリガ信号（トリガ７）により画像修復７が実行される。
【0208】
このタイムチャートに示すように、推論処理部２０ｊによる推論処理と第１デコード処理部２０２による第１デコード処理とは並列的に実行される。例えば、第１デコード処理部２０２がコード領域抽出、グリッド位置決め、デコード処理を継続して行う間、推論処理部２０ｊによる推論処理が１回または複数回実行される。また、第１デコード処理部２０２がコード領域抽出、グリッド位置決め、デコード処理を継続して行う間、第２デコード処理部２０３による修復用コード領域の抽出、トリガ信号の出力、グリッド位置決め、第２デコード処理が実行される。このように、推論処理部２０ｊは、修復用コード候補領域に対応する部分画像の修復に特化すればよいので、推論処理速度を高速化できる。
【0209】
第２デコード処理部が第２デコード処理を実行している期間の少なくとも一部は、推論処理部２０ｊによる推論処理が実行されない休止期間を有している。すなわち、図２９に示すように、推論処理部２０ｊの画像修復１の終了後、第２デコード処理部２０３が第２デコード処理を開始するのであるが、推論処理部２０ｊが次の画像修復２を開始するまでの間に、所定の期間が設けられており、この所定の期間は、推論処理部２０ｊが画像修復を行わない休止期間とされている。この休止期間は推論処理部２０ｊが推論処理を行わない期間であり、休止期間を設けることにより、推論処理部２０ｊの負荷を低減して、ＡＩチップ２３の発熱を抑制できる。なお、グリッド位置決めの処理時間は、処理対象の修復画像によって長い場合や短い場合が存在する。図２９では各コアの処理が交互に実行される例を記載しているが、グリッド位置決めの処理時間によっては、各コアの処理は必ずしも交互に実行されない。すなわち、処理が空いているコアから順にトリガ発出や、グリッド位置決めを実行してもよい。
【0210】
上述したように、設定部２０ｅは、「画像修復フィルタの適用」と「画像修復フィルタの非適用」との一方をユーザが選択可能に構成されている。画像修復フィルタを適用するということは、画像修復を行うということであり、また、画像修復フィルタを非適用にするということは、画像修復を行わないということなので、設定部２０ｅは、第２デコード処理部２０３が第２デコード処理を実行するか否かを設定する部分にも相当する。この設定はユーザによって実行されるので、設定部２０ｅはユーザによる操作を受け付けることができるように構成されている。画像修復フィルタの適用、非適用という設定形態に限定されるものではなく、例えば推論処理（修復処理）の適用、非適用、ＡＩによる処理の適用、非適用といった設定形態であってもよい。ユーザによる操作は、例えばユーザインターフェース画面に表示したボタン等の操作を挙げることができる。
【0211】
光学的情報読取装置１では、露光時間やゲインなどの撮像条件、画像処理フィルタなどの設定をあらかじめ決定するチューニング処理行ってから運用される。例えばワークＷがラベルのような場合では、コードが鮮明に印字されているので、チューニング処理により適切な条件設定がなされれば、高い読み取り率を実現できる。しかし、金属や樹脂などのワークＷにおいては、チューニング処理時の最適な条件が設定されるものの、微弱な外乱光による読取画像の変化などが原因で読み取りにくい状態になったり、そもそも光学設計とアルゴリズム設計上、超低コントラストで読み取れないケースが発生してしまうことがある。
【0212】
本例の推論処理部２０ｊが実行する画像修復アルゴリズムを、画像修復しないでデコード処理する場合と並列に実施することで、従来の読み取り性能を維持しながら金属や樹脂などのワークＷに対しての読み取り性能を向上させ、読み取り安定性を高めることができる。また、従来の光学設計とアルゴリズムでは読めないワークＷに対しても、画像修復アルゴリズムを適用することにより読み取りが可能になる。
【0213】
具体例を示すと、ある工場で箱に付されたシール上に印字されたコードを読み取る工程で、光学的情報読取装置１の設置条件に制約がなく、最適な設置が可能な場合においては、従来の読み取り性能でも安定した運用が可能であることから、画像修復フィルタを非適用にしてタクトを優先することができる。
【0214】
また、ある工場において、金属にはっきりと印字されたコードを読み取る工程があり、読み取り設定時のチューニング処理においては最適な条件が決定されるものの、実際に運用してみると、金属表面の傷、読み取り位置・角度のばらつき、周囲環境の明るさ変化などで読み取りが不安定になるケースがある。このようなケースでは、画像修復フィルタを適用して、画質改善することで、上記のような条件のばらつきに強くなり、読み取り性能が向上する。
【0215】
また、一部のワークでは、従来のアルゴリズムでの読み取りが不可能であるが、そのようなケースでは画像修復フィルタを適用することで、読み取りができるようになるケースがある。例えば、コードの損傷が著しかったり、コントラストが明確でない場合でも、画像修復フィルタを適用することによって、コントラストや傷を修復し、読み取りが可能になる。
【0216】
画像修復フィルタを適用した場合に実行される第２デコード処理は、修復画像に対してデコード処理を実行するため、通常の読取画像のデコード処理を実行する第１デコード処理に比べて処理にかかる時間が長い場合が多い。したがって、第１デコード処理部２０２は、第２デコード処理部２０３による第２デコード処理にかかる時間よりも短い時間で第１デコード処理を実行可能である。本例では、このことを前提とし、デコード処理の制限時間である、デコードタイムアウト時間を設定部２０ｅが変更可能になっている。
【0217】
具体的には、設定部２０ｅは、第２デコード処理を実行すると設定されている場合は、第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定可能に構成されるとともに、第２デコード処理を実行しないと設定されている場合は、第２デコード処理の実行に必要な時間よりも短いデコードタイムアウト時間を設定可能に構成されている。これにより、運用時には、第２デコード処理を実行する場合、一般的な第２デコード処理の実行に必要な時間よりも長いデコードタイムアウト時間を設定することができるので、修復画像に対するデコード処理を確実に実行できる。一方、第２デコード処理を実行しないと設定されている場合は、一般に第２デコード処理よりも短い時間でデコード処理が可能な第１デコード処理のみを実行することになるので、第１デコード処理に対応した短いデコードタイムアウト時間を設定できる。このようにデコードタイムアウト時間を変更することで、第１デコード処理及び第２デコード処理のそれぞれに対応したデコードタイムアウト時間にすることができる。
【0218】
また、図２９では、第１デコード処理部２０２と第２デコード処理部２０３とを別にしているが、図３０に示すように、第１デコード処理部２０２と第２デコード処理部２０３とをまとめてデコード処理部２１０としてもよい。デコード処理部２１０は、カメラ５により生成された読取画像に対する第１デコード処理と並列に、修復画像に対する第２デコード処理を実行する。このようにデコード処理を実行する部分は、ハードウエア上で任意に分けることもできるし、統合することもできる。以下、デコード処理を実行する部分を１つに統合した例で説明するが、これに限らず、複数に分けた場合にも同様に適用できる。
【0219】
デコード処理部２１０は、設定部２０ｅにより第２デコード処理を実行しないと設定されている場合には、第２デコード処理に使われる処理のリソースを第１デコード処理に振り分け、第２デコード処理を実行すると設定されている場合に比べ、第１デコード処理を高速化するように構成されている。処理のリソースとは、例えばメモリの使用領域や、マルチコアＣＰＵを構成しているコア等である。具体的には、第２デコード処理を実行しないと設定されている場合には、第２デコード処理を実行すると設定されている場合に比べて、第１デコード処理を受け持つコアの数を多くする。また、第２デコード処理を実行しないと設定されている場合には、第２デコード処理を実行すると設定されている場合に比べて、第１デコード処理で使用するメモリの領域を拡大する。コアの数を多くすることと、メモリの領域を拡大することとは、併用してもよいし、いずれか一方のみ実行してもよい。これにより、マルチコアＣＰＵの性能を最大限に引き出して第１デコード処理を高速化できる。
【0220】
デコード処理部２１０は、画像修復に先立ち、読取画像からコードが存在する可能性が高いコード候補領域を抽出する。すなわち、ニューラルネットワークを用いた画像修復時に当該ニューラルネットワークに入力する画像が大きいと演算時間が長時間化してしまうという問題がある。また、処理の高速化の観点からは、デコードの試行回数もできるだけ少なくしたい。これらのことに対し、本例では、コード候補領域を多少時間がかかっても確実に抽出可能にするために、ラインサーチベースではなく、ヒートマップベースのサーチ手法を採用している。例えば、デコード処理部２１０は、コードの特徴量を定量化し、特徴量の大きさを各画素値に割り当てたヒートマップを生成し、当該ヒートマップ上で、コードが存在する可能性が高いコード候補領域を抽出する。具体例としては、ヒートマップにおいて相対的に熱く（特徴量が大きく）示されている領域で２次元コードの特徴部分（例：ファインダパターン等）を取得する方法がある。特徴部分が複数取得された場合には、優先づけをして抽出し、ＲＡＭ４１や記憶部３０等に記憶させておくことができる。
【0221】
デコード処理部２１０がコード候補領域を抽出した後、抽出したコード候補領域に対応する部分画像を推論処理部２０ｊに出力する。推論処理部２０ｊは、デコード処理部２１０が抽出したコード候補領域に対応する部分画像をニューラルネットワークに入力し、当該部分画像を修復した修復画像を生成する推論処理を実行する。これにより、演算時間を短縮できる。
【0222】
また、デコード処理部２１０は、上述したチューニング処理により設定された読取対象のコードを包含できるサイズで、かつ読取画像の中でコードが存在する可能性が高いコード候補領域を抽出し、当該抽出された画像を、予め定められたサイズとなるように縮小又は拡大してからニューラルネットワークに入力し、当該ニューラルネットワークで修復した修復画像をデコードするように構成されていてもよい。抽出された画像を予め定められたサイズの画像に拡大・縮小してニューラルネットワークに入力することで、ニューラルネットワークに入力されるコード画像のＰＰＣを所定の範囲内に収めることができ、ニューラルネットワークによる画像修復効果を安定的に引き出すことができる。また、読取対象のコードサイズは様々であることが考えられるが、最終的にニューラルネットワークに入力されるコードのサイズを固定できるので、処理の高速性とデコードのし易さのバランスを一定以上に保つことができる。
【0223】
以下、第１デコード処理及び第２デコード処理のフローチャートについて、図３１に基づいて詳細に説明する。スタート後のステップＳＥ１では、プロセッサ２０がカメラ５に読取画像を生成させ、読取画像を取得する。ステップＳＥ１で取得された読取画像は、デコード処理部２１０に入力される。ステップＳＥ２では、ステップＳＥ１で取得された読取画像に対して画像修復を施すことなく、第１デコード処理を実行する。第１デコード処理が成功すれば、ステップＳＥ４に進んで終了処理、即ちデコード結果の出力処理を実行する。ステップＳＥ２で第１デコード処理が失敗すれば、ステップＳＥ２に戻り、第１デコード処理を再度実行する。所定のデコードタイムアウト時間が経過すると、当該読取画像に対する第１デコード処理を中止する。
【0224】
一方、ステップＳＥ１からステップＳＥ５に進むルートでは、デコード処理部２１０が読取画像から修復用コード領域を抽出する。具体的には、チューニング処理により設定された読取対象のコードを包含できるサイズで、かつ読取画像の中でコードが存在する可能性が高いコード候補領域を抽出する。このとき、修復用コード領域が複数抽出された場合には、候補領域Ｒ１、Ｒ２、…として一時的に保存しておく。抽出された修復用コード領域の一例を図３２に示す。その後、ステップＳＥ６に進み、ｋの値を１にしておく。
【0225】
ステップＳＥ７では、候補領域Ｒｋに対応する部分画像に対してリサイズ処理を実行する。リサイズ処理は、ステップＳＥ５で抽出された修復用コード領域に対応する部分画像を、予め定められたサイズとなるように縮小又は拡大する処理である。このリサイズ処理により、後述するニューラルネットワークに入力する画像の大きさを予め所定の大きさにしておくことができる。図３２に示す例では、ニューラルネットワークに入力する部分画像の大きさが２５６ピクセル×２５６ピクセルである場合について示しているが、部分画像の大きさはこれに限られるものではなく、処理速度等を勘案して任意の大きさにリサイズすることができる。
【0226】
ステップＳＥ８では、白黒反転設定が「両方」になっているか否かを判定する。すなわち、画像修復は、数学的には写像を行っているだけであり、白から黒、黒から白、黒から黒、白から白の写像を単一のニューラルネットワークで実現することは難易度が高い場合がある。そのため、白地に黒印字された画像となるようにプロパティに基づいて白黒反転処理を実行する。ニューラルネットワークの学習のさせ方によっては、黒地に白印字された画像であってもよい。白黒反転処理の一例を図３２に示す。白黒反転処理の詳細については後述する。
【0227】
ステップＳＥ８でＹＥＳと判定されて白黒反転設定が「両方」になっている場合にはステップＳＥ９に進み、リサイズ処理後の画像を推論処理部２０ｊに入力して画像修復を実行する。その後、ステップＳＥ１０に進み、デコード処理部２１０が修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１０で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１０で第２デコード処理が失敗すれば、ステップＳＥ１１に進み、リサイズ処理後の画像を白黒反転処理する。その後、ステップＳＥ１１で白黒反転処理後の画像を推論処理部２０ｊに入力して画像修復を実行する（図３２参照）。次いで、ステップＳＥ１３に進み、デコード処理部２１０が修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１３で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１３で第２デコード処理が失敗すれば、ステップＳＥ１４に進む。ステップＳＥ１４では、ステップＳＥ５で抽出した候補領域がまだあるか否かを判定し、候補領域がない場合にはステップＳＥ４に進んで終了処理を実行する。
【0228】
一方、ステップＳＥ８でＮＯと判定されて白黒反転設定が「両方」になっていない場合にはステップＳＥ１５に進み、白黒反転設定が「ＯＦＦ」になっているか否かを判定する。ステップＳＥ１５でＮＯと判定されて白黒反転設定が「ＯＦＦ」になっていない場合には、ステップＳＥ１６に進んでリサイズ処理後の画像を白黒反転する処理する。その後、ステップＳＥ１７で白黒反転処理後の画像を推論処理部２０ｊに入力して画像修復を実行する。次いで、ステップＳＥ１８に進み、デコード処理部２１０が修復後の画像に対して第２デコード処理を実行する。ステップＳＥ１８で第２デコード処理が成功すれば、ステップＳＥ４に進んで終了処理を実行する。ステップＳＥ１８で第２デコード処理が失敗すれば、ステップＳＥ１４に進む。ステップＳＥ１４で候補領域がまだあるか否かを判定し、候補領域がない場合にはステップＳＥ４に進んで終了処理を実行する。
【0229】
ステップＳＥ１４で候補領域がまだあると判定された場合には、ステップＳＥ１９に進み、ｋの値に１を加えてステップＳＥ７に進む。ステップＳＥ７では、前回のフローからｋの値が１つ増えているので、次の候補領域Ｒｋに対応する部分画像に対して同様にリサイズ処理を実行する。ステップＳＥ８以降は上述したとおりである。つまり、第１デコード処理または第２デコード処理の一方でデコードが成功すれば、成功した時点でデコード結果を出力して他の候補領域に対するデコード処理は行わず、次のワークＷを撮像した読取画像を取得し、同様な処理を実行する。
【0230】
図３２に示す後処理部２０１は、リサイズ処理後に画像修復していない部分画像と、リサイズ処理後に推論処理部２０ｊが画像修復した部分画像とを合成する処理を実行する。すなわち、ニューラルネットワークを用いた画像修復では、修復前のコードが人間の目視で確認できるのに、画像修復がうまくいかないことや、画像修復するとセルが丸くなることが起こり得る。これらのことに対して、画像修復していない部分画像と、画像修復した部分画像とを適切な割合で重ね合わせると、その後のデコード処理が容易になる場合がある。画像修復していない部分画像と、画像修復した部分画像とを重ね合わせる割合は、所定の固定値であってもよいし、固定値以外であってもよく、例えば推論処理部２０ｊによるの修復の安定度に基づいて、読み取り時に動的に、あるいは事前評価（チューニング）で最適化して決定してもよい。例えば事前評価において、その割合をユーザがスケールバー等で調整可能にし、合成後の画像をユーザに提示しながら調整が行えるようにしてもよい。
【0231】
（バンク切り替え機能）
本実施形態では、例えばカメラ５の撮像条件を構成するパラメータ及びデコード処理部２１０における処理条件等を構成するパラメータがセットになったパラメータセットを上記パラメータセット記憶部３０ｃに記憶することができるように構成されている。パラメータセットは、バンクと呼ぶことができる。バンクは複数設けられており、それぞれに異なるパラメータが記憶されている。例えば、パラメータセット記憶部３０ｃには、チューニング実行部２０ｄにより設定された第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件とがそれぞれ別のパラメータセットとして記憶されている。
本実施形態では、例えばカメラ５の撮像条件を構成するパラメータ及びデコード処理部２１０における処理条件等を構成するパラメータがセットになったパラメータセットを上記パラメータセット記憶部３０ｃに記憶することができるように構成されている。パラメータセットは、バンクと呼ぶことができる。バンクは複数設けられており、それぞれに異なるパラメータが記憶されている。例えば、パラメータセット記憶部３０ｃには、チューニング実行部２０ｄにより設定された第１の撮像条件及びコード条件と、第２の撮像条件及びコード条件とを含む複数の撮像条件及びコード条件とがそれぞれ別のパラメータセットとして記憶されている。
【0232】
この光学的情報読取装置１では、パラメータセット記憶部３５ｃに記憶されている複数のパラメータセットのうち、第１の撮像条件及びコード条件を含む一のパラメータセットから、第２の撮像条件及びコード条件を含む他のパラメータセットへ切り替えることや、その反対の切り替えができるように構成されている。パラメータセットの切替は、プロセッサ２０が行うことや、ユーザが行うこともできるし、ＰＬＣ１０１等の外部制御装置からの切替信号によって行うように構成することもできる。パラメータセットの切替をユーザが行う場合には、例えばユーザインターフェースに組み込まれているパラメータセット切替部を操作すればよい。パラメータセット切替部を「有効」にすることで、そのバンクのパラメータセットが光学的情報読取装置１の運用時に使用され、また、パラメータセット切替部を「無効」にすることで、そのバンクのパラメータセットが光学的情報読取装置１の運用時に使用されないようになる。つまり、パラメータセット切替部は、一のパラメータセットから他のパラメータセットに切り替えるためのものである。
【0233】
本例のデコード処理部２１０は、一のパラメータセットを使用して運用している時に、修復画像に対する第２デコード処理に失敗すると、他のパラメータセットに切り替えてから、別の条件で撮像された読取画像に対して画像修復、第２デコード処理を実行する。例えば、デコード処理部２１０が第２デコード処理に失敗したことを検出すると、現在しているパラメータセット以外のパラメータセットに切り替えた後、画像修復、第２デコード処理を実行し、このパラメータセットでも第２デコード処理に失敗したことを検出すると、これまで使用していない他のパラメータセットに切り替えた後、画像修復、第２デコード処理を実行する。パラメータセットを切り替えると、カメラ５の撮像条件だけなく、読取対象のコードサイズも変更される場合があり、この場合にはコードが存在する可能性が高いコード候補領域を抽出する際のサイズも変わることになる。その結果、ニューラルネットワークに入力する画像の縮小率又は拡大率も変わり、画像修復の結果も変わることになる。
【0234】
（白黒反転対応）
次に、図３３及び図３４に基づいてコードの白黒反転対応について説明する。図３３は、２つのニューラルネットワーク、即ち、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．３３Ａは、読取画像（左端の画像）を、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとにそれぞれ入力し、各ニューラルネットワークからデコード結果を出力させる方式を示しており、この方式を並行実施方式と呼ぶ。読取画像は、白地に黒印字のコードを撮像した画像なので、白地に黒印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に成功するが、黒地に白印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に失敗する。
次に、図３３及び図３４に基づいてコードの白黒反転対応について説明する。図３３は、２つのニューラルネットワーク、即ち、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．３３Ａは、読取画像（左端の画像）を、白地に黒印字のコードで学習したニューラルネットワークと、黒地に白印字のコードで学習したニューラルネットワークとにそれぞれ入力し、各ニューラルネットワークからデコード結果を出力させる方式を示しており、この方式を並行実施方式と呼ぶ。読取画像は、白地に黒印字のコードを撮像した画像なので、白地に黒印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に成功するが、黒地に白印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に失敗する。
【0235】
ＦＩＧ．３３Ｂは、読取画像（左端の画像）を、まず、黒地に白印字のコードで学習したニューラルネットワークのみに入力し、修復画像のデコード処理を試みる。デコード処理に失敗した場合のみ、読取画像を、白地に黒印字のコードで学習したニューラルネットワークに入力して修復画像を生成する。この方式は、失敗後に別ネットワークを使用する方式である。
【0236】
ＦＩＧ．３３Ｃは、ユーザによる設定に基づいて、読取画像を入力するニューラルネットワークを選択する方式である。左側に示すケースは、読取画像が白地に黒印字のコードを撮像した画像であると設定されている場合である。この場合、ネットワーク選択モジュールが白地に黒印字のコードで学習したニューラルネットワークを選択する。そして、読取画像（左端の画像）を白地に黒印字のコードで学習したニューラルネットワークに入力する。一方、右側に示すケースは、読取画像が黒地に白印字のコードを撮像した画像であると設定されている場合である。この場合、ネットワーク選択モジュールが黒地に白印字のコードで学習したニューラルネットワークを選択する。そして、読取画像（左端の画像）を黒地に白印字のコードで学習したニューラルネットワークに入力する。
【0237】
図３４は、１つのニューラルネットワークのみを用いてコードの白黒反転に対応する場合について説明する図である。ＦＩＧ．３４Ａでは、読取画像（左端の画像）を白黒反転処理することにより、白黒反転画像を生成する場合について示している。白黒反転処理しない画像と、白黒反転処理した画像とをそれぞれ白地に黒印字のコードで学習したニューラルネットワークに入力する。読取画像は、黒地に白印字のコードを撮像した画像なので、白地に黒印字のコードで学習したニューラルネットワークによる修復画像ではデコード処理に失敗するが、白黒反転処理した後の画像を使用することで、デコード処理に成功する。
【0238】
ＦＩＧ．３４Ｂの上に示す例では、読取画像（左端の画像）が黒地に白印字されたコードの画像であるため、白地に黒印字のコードで学習したニューラルネットワークに入力すると、デコード処理に失敗する。その後、白黒反転処理した画像を生成して白地に黒印字のコードで学習したニューラルネットワークに入力すると、デコード処理に成功する。
【0239】
ＦＩＧ．３４Ｂの下に示す例では、読取画像（左端の画像）が白地に黒印字されたコードの画像であるため、黒地に白印字のコードで学習したニューラルネットワークに入力すると、デコード処理に失敗する。その後、白黒反転処理した画像を生成して黒地に白印字のコードで学習したニューラルネットワークに入力すると、デコード処理に成功する。
【0240】
ＦＩＧ．３４Ｃは、ユーザによる設定に基づいて、白黒反転処理を実行するか否かを決定する方式である。上側に示すケースは、読取画像が白地に黒印字のコードを撮像した画像であると設定されている場合である。この場合、白黒反転処理モジュールが白黒反転処理を実行することなく、そのまま白地に黒印字のコードで学習したニューラルネットワークに入力する。一方、下側に示すケースは、読取画像が黒地に白印字のコードを撮像した画像であると設定されている場合である。この場合、白黒反転処理モジュールが白黒反転処理を実行する。そして、白黒反転処理した画像を白地に黒印字のコードで学習したニューラルネットワークに入力する。
【0241】
（コントラストとマッチングレベルの関係）
マッチングレベルは、例えばチューニング時のスコアとして使用したり、運用時の印字品質／読み取り性能の管理に使用される。例えば、マッチングレベルは０～１００の正の整数値で定義されており、５０以上では読み取り率テストを実施した場合に読み取り率１００％になるように設計することができる。また、マッチングレベル０は読み取れない場合、マッチングレベル１は読み取れる場合の最低値である。
マッチングレベルは、例えばチューニング時のスコアとして使用したり、運用時の印字品質／読み取り性能の管理に使用される。例えば、マッチングレベルは０～１００の正の整数値で定義されており、５０以上では読み取り率テストを実施した場合に読み取り率１００％になるように設計することができる。また、マッチングレベル０は読み取れない場合、マッチングレベル１は読み取れる場合の最低値である。
【0242】
図３５は、コントラストとマッチングレベルの関係を示すグラフであり、実線は推論処理部２０ｊにより画像修復された画像（修復画像）のコントラストとマッチングレベルの関係を示し、また、破線は推論処理部２０ｊにより画像修復していない画像（読取画像）のコントラストとマッチングレベルの関係を示している。このグラフから明らかなように、修復画像のマッチングレベルは読取画像のマッチングレベルよりも全体的に高くなっているが、ある一定以上画質が悪化すると、マッチングレベルが急激に低下してしまう。
【0243】
（マッチングレベルの算出処理）
マッチングレベルはアルゴリズムごとに設定されており、一般的には１コード種につき、１つのアルゴリズムである。しかしながら、本実施形態では、画像修復機能の搭載により、１つのコード種で２つのアルゴリズム（画像修復するアルゴリズムと、画像修復しないアルゴリズム）が実行される。この２つのアルゴリズムのうち、デコード処理が早く成功した方の結果が出力されるため、仮に、２つのアルゴリズムで交互にデコード処理に成功するケースにおいてはマッチングレベルの値が不安定になるおそれがある。また、画像修復を実行することで読み取りやすい画像になるため、従来と類似したマッチングレベルの算出方法ではマッチングレベルが既存のものと比較して高くなりやすい。これらのことに対し、本実施形態では、２つのアルゴリズムのマッチングレベルの重みづけ和をとり、マッチングレベルの値を調整するようにした。以下、具体例について、図３６に示すフローチャートに基づいて説明する。
マッチングレベルはアルゴリズムごとに設定されており、一般的には１コード種につき、１つのアルゴリズムである。しかしながら、本実施形態では、画像修復機能の搭載により、１つのコード種で２つのアルゴリズム（画像修復するアルゴリズムと、画像修復しないアルゴリズム）が実行される。この２つのアルゴリズムのうち、デコード処理が早く成功した方の結果が出力されるため、仮に、２つのアルゴリズムで交互にデコード処理に成功するケースにおいてはマッチングレベルの値が不安定になるおそれがある。また、画像修復を実行することで読み取りやすい画像になるため、従来と類似したマッチングレベルの算出方法ではマッチングレベルが既存のものと比較して高くなりやすい。これらのことに対し、本実施形態では、２つのアルゴリズムのマッチングレベルの重みづけ和をとり、マッチングレベルの値を調整するようにした。以下、具体例について、図３６に示すフローチャートに基づいて説明する。
【0244】
スタート後のステップＳＦ１では読取画像をデコード処理部２１０に入力する。ステップＳＦ２では、画像修復することなく、デコード処理部２１０が第１デコード処理を実行する。ステップＳＦ３では、第１デコード処理によるマッチングレベルＡ（ＭＬＡ）を算出する。一方、ステップＳＦ４では、読取画像を推論処理部２０ｊに入力して画像修復処理を実行する。その後、ステップＳＦ５に進み、修復画像に対してデコード処理部２１０が第２デコード処理を実行する。ステップＳＦ６では、第２デコード処理によるマッチングレベルＢ（ＭＬＢ）を算出する。尚、ステップＳＦ２でデコードに成功しなかった場合にはＭＬＡ＝０となり、またステップＳＦ５でデコードに成功しなかった場合にはＭＬＢ＝０となる。
【0245】
ステップＳＦ７では、例えば平均化関数等を用いてＭＬＡとＭＬＢの値を調整する。また、ステップＳＦ２、ＳＦ５のどちらでデコードに成功しても、ＭＬＡの値に重みを付ける処理を行う。
【0246】
（ユーザインターフェースの例）
図３７は、表示部６に表示されるユーザインターフェース３００の例を示す図である。プロセッサ２０は、ユーザインターフェース３００を生成し、表示部６に表示させる。ユーザインターフェース３００には、カメラ５で現在撮像されている画像（ライブビュー画像）が表示される第１画像表示領域３０１と、読取画像が表示される第２画像表示領域３０２と、推論処理部２０ｊにより修復された修復画像が表示される第３表示領域３０３とが設けられている。これにより、読取画像と修復画像とを比較可能な形態でユーザに提示できる。また、デコード処理が実行される画像、またはデコード処理が実行された後の画像がどのような画像であるかをユーザが把握できる。
図３７は、表示部６に表示されるユーザインターフェース３００の例を示す図である。プロセッサ２０は、ユーザインターフェース３００を生成し、表示部６に表示させる。ユーザインターフェース３００には、カメラ５で現在撮像されている画像（ライブビュー画像）が表示される第１画像表示領域３０１と、読取画像が表示される第２画像表示領域３０２と、推論処理部２０ｊにより修復された修復画像が表示される第３表示領域３０３とが設けられている。これにより、読取画像と修復画像とを比較可能な形態でユーザに提示できる。また、デコード処理が実行される画像、またはデコード処理が実行された後の画像がどのような画像であるかをユーザが把握できる。
【0247】
（ＡＩチップ付き撮像素子の例）
図３８は、ＡＩチップ付き撮像素子５ａを用いた例を示す図であり、各図に示すようにカメラ５の撮像素子５ａを構成することができる。ＦＩＧ．３８Ａは、撮像素子５ａに画像修復を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．３８Ｂは、撮像素子５ａに、修復用コード領域の抽出と、画像修復とを実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．３８Ｃは、撮像素子５ａに、修復用コード領域の抽出を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像をプロセッサ２０に出力する。
図３８は、ＡＩチップ付き撮像素子５ａを用いた例を示す図であり、各図に示すようにカメラ５の撮像素子５ａを構成することができる。ＦＩＧ．３８Ａは、撮像素子５ａに画像修復を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．３８Ｂは、撮像素子５ａに、修復用コード領域の抽出と、画像修復とを実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像を画像修復した後に、プロセッサ２０に出力する。また、ＦＩＧ．３８Ｃは、撮像素子５ａに、修復用コード領域の抽出を実行するＡＩチップを設けてパッケージ化した場合を示す図であり、読取画像の中から修復用コード領域を抽出した後、当該領域に対応する部分画像をプロセッサ２０に出力する。
【0248】
また、ＦＩＧ．３８Ａに示す例において、撮像素子５ａで取得した読取画像をプロセッサ２０に出力するとともに、ＡＩチップによって画像修復を実行し、修復画像をプロセッサ２０に出力してもよい。ＦＩＧ．３８Ｂ，ＦＩＧ．３８Ｃに示す例についても同様である。
【0249】
（偏光フィルタアタッチメント３）
本実施形態では、図２に示すように、少なくともコードを照明する照明光を発生する光源として複数の発光ダイオードからなる第１照明部４ａ及び第２照明部４ｂを備えている。偏光フィルタアタッチメント３は、第２照明部４ｂを構成する発光ダイオードで発生した光のうち、第１の偏光成分の光を通過させる第１偏光板３ａと、第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板３ｂとを備えている。第１偏光板３ａ及び第２偏光板３ｂは、図２中、斜線を引いた範囲にそれぞれ設けることができ、例えば、第１偏光板３ａは、第２照明部４ｂを覆うように配置され、また、第２偏光板３ｂは、カメラ５の光学系５ｂを光の入射側から覆うように配置されている。
本実施形態では、図２に示すように、少なくともコードを照明する照明光を発生する光源として複数の発光ダイオードからなる第１照明部４ａ及び第２照明部４ｂを備えている。偏光フィルタアタッチメント３は、第２照明部４ｂを構成する発光ダイオードで発生した光のうち、第１の偏光成分の光を通過させる第１偏光板３ａと、第１の偏光成分と略直交する第２の偏光成分の光を通過させる第２偏光板３ｂとを備えている。第１偏光板３ａ及び第２偏光板３ｂは、図２中、斜線を引いた範囲にそれぞれ設けることができ、例えば、第１偏光板３ａは、第２照明部４ｂを覆うように配置され、また、第２偏光板３ｂは、カメラ５の光学系５ｂを光の入射側から覆うように配置されている。
【0250】
したがって、カメラ５は、第１偏光板３ａを通過し、ワークＷの表面（コード）から反射した光を、第２偏光板３ｂを介して受光する。これにより、ワークＷの正反射成分が除去され、第１偏光板３ａ及び第２偏光板３ｂを介さない場合に比べて低コントラストな読取画像をカメラ５が生成する。この低コントラストな読取画像をプロセッサ２０が取得する。プロセッサ２０は、低コントラストな読取画像をニューラルネットワークに入力することにより、入力前に比べて高コントラストな修復画像に変換し、当該修復画像に対してデコード処理を実行する。
【0251】
すなわち、偏光板３ａ、３ｂを使用することで、ワークＷの正反射成分が除去されるので、正反射成分の影響が軽減された読取画像を取得できる。例えば金属ワークを撮像した場合のように正反射成分が多くなる画像に偏光板３ａ、３ｂは適しているものの、光量の低下によって読取画像が暗くなり、コントラストが低下することがある。このような場合に、ニューラルネットワークの推論処理によって高コントラストな修復画像に変換することで、読取性能が向上する。
【0252】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0253】
以上説明したように、本発明に係る光学的情報読取装置は、例えばワークに付されたコードを読み取る場合に利用することができる。
【符号の説明】
【0254】
１ 定置式の光学的情報読取装置
１Ａ 手持ち式の光学的情報読取装置
５ カメラ
２０ プロセッサ
２０ｆ デコード処理部
２０ｊ 推論処理部（画像修復部）
２１～２４ 第１～第４汎用コア
２５ 専用コア（推論処理専用コア）
４０ ＲＯＭ
４０ｄ ニューラルネットワーク記憶部
４１ ＲＡＭ
１Ａ 手持ち式の光学的情報読取装置
５ カメラ
２０ プロセッサ
２０ｆ デコード処理部
２０ｊ 推論処理部（画像修復部）
２１～２４ 第１～第４汎用コア
２５ 専用コア（推論処理専用コア）
４０ ＲＯＭ
４０ｄ ニューラルネットワーク記憶部
４１ ＲＡＭ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
