知財求人 - 知財ポータルサイト「IP Force」
特開2024-128803学習済みモデルの作成方法、画像処理方法、プログラム、及び画像処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128803
(43)【公開日】2024-09-24
(54)【発明の名称】学習済みモデルの作成方法、画像処理方法、プログラム、及び画像処理装置
(51)【国際特許分類】
G06V 10/774 20220101AFI20240913BHJP
【ＦＩ】
G06V10/774
【審査請求】未請求
【請求項の数】29
【出願形態】ＯＬ
(21)【出願番号】P 2023038023
(22)【出願日】2023-03-10
(71)【出願人】
【識別番号】305024547
【氏名又は名称】有限会社イグノス
(74)【代理人】
【識別番号】100142734
【弁理士】
【氏名又は名称】安 裕 希
(72)【発明者】
【氏名】大和田 功
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA24
5L096DA04
5L096EA14
5L096FA32
5L096FA54
5L096KA04
(57)【要約】
【課題】学習データとして使用する画像の数が少ない場合であっても、画像認識精度の低下を抑制することができる学習済みモデルの作成方法等を提供する。
【解決手段】学習済みモデルの作成方法は、学習データの候補となる複数の候補画像を取得する画像取得ステップと、複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、を含む。
【選択図】図３
【解決手段】学習済みモデルの作成方法は、学習データの候補となる複数の候補画像を取得する画像取得ステップと、複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
学習データの候補となる複数の候補画像を取得する画像取得ステップと、
前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、
前記選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、
を含む学習済みモデルの作成方法。
前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、
前記選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、
を含む学習済みモデルの作成方法。
【請求項2】
前記画像取得ステップは、１０以上３０以下の候補画像を取得する、請求項１に記載の学習済みモデルの作成方法。
【請求項3】
前記選別ステップは、
予め選定又は作成された参照画像と前記候補画像とを位置合わせする位置合わせステップと、
前記参照画像内の画素に対し、前記候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する外れ画素決定ステップと、
前記外れ画素を除外した候補画像を、学習データとして使用する画像として選別するステップと、
を含む、請求項１に記載の学習済みモデルの作成方法。
予め選定又は作成された参照画像と前記候補画像とを位置合わせする位置合わせステップと、
前記参照画像内の画素に対し、前記候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する外れ画素決定ステップと、
前記外れ画素を除外した候補画像を、学習データとして使用する画像として選別するステップと、
を含む、請求項１に記載の学習済みモデルの作成方法。
【請求項4】
前記外れ画素決定ステップは、前記参照画像と前記候補画像との間で対応する画素同士の輝度差を算出し、該輝度差が基準範囲を超える前記候補画像内の画素を外れ画素として決定する、請求項３に記載の学習済みモデルの作成方法。
【請求項5】
前記輝度差の基準範囲を、前記参照画像における当該画素の輝度値の０％以上５０％以下の範囲で設定するステップをさらに含み、
前記外れ画素決定ステップは、前記輝度差の絶対値が、設定された前記基準範囲を超える画素を、外れ画素として決定する、
請求項４に記載の学習済みモデルの作成方法。
前記外れ画素決定ステップは、前記輝度差の絶対値が、設定された前記基準範囲を超える画素を、外れ画素として決定する、
請求項４に記載の学習済みモデルの作成方法。
【請求項6】
前記複数の候補画像の間で対応する画素の輝度値の分布を求め、前記分布における０σ以上３σ以下の範囲で、前記基準範囲を設定するステップをさらに含み、
前記外れ画素決定ステップは、前記輝度差の絶対値が、設定された前記基準範囲を超える画素を、外れ画素として決定する、請求項４に記載の学習済みモデルの作成方法。
前記外れ画素決定ステップは、前記輝度差の絶対値が、設定された前記基準範囲を超える画素を、外れ画素として決定する、請求項４に記載の学習済みモデルの作成方法。
【請求項7】
前記参照画像は、前記複数の候補画像のうちから選定されたものである、請求項３に記載の学習済みモデルの作成方法。
【請求項8】
前記参照画像は、
前記複数の候補画像の間で位置合わせを行い、
前記複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、
前記平均値又は中央値を各画素の輝度値とすることにより作成されたものである、
請求項３に記載の学習済みモデルの作成方法。
前記複数の候補画像の間で位置合わせを行い、
前記複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、
前記平均値又は中央値を各画素の輝度値とすることにより作成されたものである、
請求項３に記載の学習済みモデルの作成方法。
【請求項9】
前記選別ステップは、
予め選定又は作成された参照画像と前記候補画像とを位置合わせする位置合わせステップと、
前記参照画像内の画素に対し、前記候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する外れ画素決定ステップと、
外れ画素が基準割合を超える候補画像を、学習データとして使用する画像から除外する除外ステップと、
を含み、
除外されなかった候補画像を、学習データとして使用する画像として選別する、請求項１に記載の学習済みモデルの作成方法。
予め選定又は作成された参照画像と前記候補画像とを位置合わせする位置合わせステップと、
前記参照画像内の画素に対し、前記候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する外れ画素決定ステップと、
外れ画素が基準割合を超える候補画像を、学習データとして使用する画像から除外する除外ステップと、
を含み、
除外されなかった候補画像を、学習データとして使用する画像として選別する、請求項１に記載の学習済みモデルの作成方法。
【請求項10】
前記基準割合を、０％以上５０％以下の範囲で設定するステップをさらに含み、
前記除外ステップは、外れ画素と決定された画素の数が、候補画像の全画素数に対する設定された前記基準割合を超える候補画像を除外する、請求項９に記載の学習済みモデルの作成方法。
前記除外ステップは、外れ画素と決定された画素の数が、候補画像の全画素数に対する設定された前記基準割合を超える候補画像を除外する、請求項９に記載の学習済みモデルの作成方法。
【請求項11】
前記参照画像は、前記複数の候補画像のうちから選定されたものである、請求項９に記載の学習済みモデルの作成方法。
【請求項12】
前記参照画像は、
前記複数の候補画像の間で位置合わせを行い、
前記複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、
前記平均値又は中央値を各画素の輝度値とすることにより作成されたものである、
請求項９に記載の学習済みモデルの作成方法。
前記複数の候補画像の間で位置合わせを行い、
前記複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、
前記平均値又は中央値を各画素の輝度値とすることにより作成されたものである、
請求項９に記載の学習済みモデルの作成方法。
【請求項13】
対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とするか否かを選別する第２の選別ステップと、
前記第２の選別ステップにおいて判定対象として選別された対象画像に対し、請求項１～１２のいずれか１項に記載の学習済みモデルの作成方法により作成された学習済みモデルを用いて画像認識を実行する判定ステップと、
を含み、
前記第２の選別ステップにおいて判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行しない、画像処理方法。
前記第２の選別ステップにおいて判定対象として選別された対象画像に対し、請求項１～１２のいずれか１項に記載の学習済みモデルの作成方法により作成された学習済みモデルを用いて画像認識を実行する判定ステップと、
を含み、
前記第２の選別ステップにおいて判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行しない、画像処理方法。
【請求項14】
前記第２の選別ステップは、前記対象画像に検査領域を設定し、該検査領域内の画素に基づいて選別を行う、請求項１３に記載の画像処理方法。
【請求項15】
前記第２の選別ステップは、予め選定又は作成された画像認識用参照画像に対して、前記対象画像を比較することにより選別を行う、請求項１３に記載の画像処理方法。
【請求項16】
前記第２の選別ステップは、
前記画像認識用参照画像及び前記対象画像に検査領域を設定するステップと、
前記画像認識用参照画像内の検査領域に対する前記対象画像内の検査領域の画像マッチングを実行し、検査領域の全部又は一部における一致率を算出する一致率算出ステップと、
前記一致率が基準値を下回る場合を不適合画像として決定するステップと、
を含む、請求項１５に記載の画像処理方法。
前記画像認識用参照画像及び前記対象画像に検査領域を設定するステップと、
前記画像認識用参照画像内の検査領域に対する前記対象画像内の検査領域の画像マッチングを実行し、検査領域の全部又は一部における一致率を算出する一致率算出ステップと、
前記一致率が基準値を下回る場合を不適合画像として決定するステップと、
を含む、請求項１５に記載の画像処理方法。
【請求項17】
前記一致率の基準値を０．３以上１．０の範囲で設定するステップをさらに含む、請求項１６に記載の画像処理方法。
【請求項18】
前記一致率算出ステップの前に、前記対象画像内の検査領域の輝度値が前記画像認識用参照画像内の検査領域の輝度値と同等となるように、前記対象画像内の検査領域の輝度値に正規化相関変換を施すステップをさらに含み、
前記一致率算出ステップは、前記正規化相関変換が施された前記対象画像内の検査領域について前記一致率を算出する、
請求項１６に記載の画像処理方法。
前記一致率算出ステップは、前記正規化相関変換が施された前記対象画像内の検査領域について前記一致率を算出する、
請求項１６に記載の画像処理方法。
【請求項19】
前記画像認識用参照画像は、前記学習済みモデルを作成する際に学習データとして使用された複数の画像のうちから選定されたものである、請求項１５に記載の画像処理方法。
【請求項20】
前記画像認識用参照画像は、
前記学習済みモデルを作成する際に学習データとして使用された複数の画像の間で位置合わせを行い、前記複数の画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、
前記平均値又は中央値に対し、各画像における対応する画素の輝度値が大きく外れる画素を外れ画素として決定し、
外れ画素を除外した複数の画像の間において対応する画素同士の輝度値の平均値又は中央値を各画素の輝度値とすることにより作成されたものである、請求項１５に記載の画像処理方法。
前記学習済みモデルを作成する際に学習データとして使用された複数の画像の間で位置合わせを行い、前記複数の画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、
前記平均値又は中央値に対し、各画像における対応する画素の輝度値が大きく外れる画素を外れ画素として決定し、
外れ画素を除外した複数の画像の間において対応する画素同士の輝度値の平均値又は中央値を各画素の輝度値とすることにより作成されたものである、請求項１５に記載の画像処理方法。
【請求項21】
学習データの候補となる複数の候補画像を取得する画像取得ステップと、
前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、
前記選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、
をコンピュータに実行させるプログラム。
前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、
前記選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、
をコンピュータに実行させるプログラム。
【請求項22】
前記選別ステップにおいて学習データとして使用する画像として選別されなかった候補画像について、選別から漏れた根拠となる画像内の箇所を表示する表示ステップを、前記コンピュータにさらに実行させる、請求項２１に記載のプログラム。
【請求項23】
対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とするか否かを選別する第２の選別ステップと、
前記第２の選別ステップにおいて判定対象として選別された対象画像に対し、前記学習済みモデルを用いて画像認識を実行する判定ステップと、
を前記コンピュータにさらに実行させ、
前記第２の選別ステップにおいて判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行させない、
請求項２１記載のプログラム。
前記第２の選別ステップにおいて判定対象として選別された対象画像に対し、前記学習済みモデルを用いて画像認識を実行する判定ステップと、
を前記コンピュータにさらに実行させ、
前記第２の選別ステップにおいて判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行させない、
請求項２１記載のプログラム。
【請求項24】
前記不適合画像について、不適合と認識された根拠となる画像内の箇所を表示する表示ステップを前記コンピュータにさらに実行させる、請求項２３に記載のプログラム。
【請求項25】
前記画像内の箇所の状態に応じて撮像条件をガイドするガイドステップを前記コンピュータにさらに実行させる、請求項２２又は２４に記載のプログラム。
【請求項26】
学習データの候補となる複数の候補画像を取得する画像取得部と、
前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別部と、
前記選別部により選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成部と、
を備える画像処理装置。
前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別部と、
前記選別部により選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成部と、
を備える画像処理装置。
【請求項27】
対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とするか否かを選別する第２の選別部と、
前記第２の選別部において判定対象として選別された対象画像に対し、前記学習済みモデルを用いて画像認識を実行する判定部と、
をさらに備え、
前記第２の選別部により判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行しない、
請求項２７に記載の画像処理装置。
前記第２の選別部において判定対象として選別された対象画像に対し、前記学習済みモデルを用いて画像認識を実行する判定部と、
をさらに備え、
前記第２の選別部により判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行しない、
請求項２７に記載の画像処理装置。
【請求項28】
少なくとも、前記画像取得部と、前記選別部と、前記モデル作成部と、前記第２の選別部と、前記判定部とが、エッジコンピューティングにより実現される、請求項２７に記載の画像処理装置。
【請求項29】
当該画像処理装置は、少なくともプロセッサ及びメモリを備える端末装置により構成され、
前記画像取得部は、有線又は無線により当該画像処理装置に接続された撮像装置から入力された画像データに基づいて、前記複数の候補画像及び前記対象画像を取得する、
請求項２７に記載の画像処理装置。
前記画像取得部は、有線又は無線により当該画像処理装置に接続された撮像装置から入力された画像データに基づいて、前記複数の候補画像及び前記対象画像を取得する、
請求項２７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習済みモデルの作成方法、画像処理方法、プログラム、及び画像処理装置に関する。
【背景技術】
【0002】
従来、農作物の選別、製品の外観検査、構造物の点検、自動運転、作業支援、文字や数字の読取りなど様々な分野において、人工知能（Artificial Intelligence：ＡＩ）による画像認識技術が利用されている。画像処理技術には、ユーザにより判断基準が設定されたルールベースのモデルと、ＡＩにより画像認識させる機械学習モデルとがある。
【0003】
また、ＡＩは、クラウド上において学習及び推論を行うクラウドＡＩと、端末（エッジ）上で学習したモデルを端末（エッジ）に組み込み、端末側で推論を行うエッジＡＩとに分類することもできる（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】「エッジＡＩ」、三菱ＵＦＪリサーチ＆コンサルティング株式会社のウェブサイト、［ＵＲＬ：https://www.murc.jp/library/terms/aa/edgeai/］、２０２３年３月６日検索
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年では、推論に加え、学習も端末側で行うＡＩが提案されている。しかしながら、端末でＡＩに機械学習させる場合、クラウドＡＩのように大量の画像を学習データとして用いることは困難である。一方、ＡＩに機械学習させる画像の数が少ない場合（例えば、数十個）、学習済みモデルにおけるノイズが大きくなり、画像認識精度が低下するおそれがある。
【0006】
本発明は上記に鑑みてなされたものであって、学習データとして使用する画像の数が少ない場合であっても、画像認識精度の低下を抑制することができる学習済みモデルの作成方法及び生成装置、画像処理方法、画像処理装置、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の一態様である学習済みモデルの作成方法は、学習データの候補となる複数の候補画像を取得する画像取得ステップと、前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、前記選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、を含む。
【0008】
上記学習済みモデルの作成方法において、前記画像取得ステップは、１０以上３０以下の候補画像を取得しても良い。
【0009】
上記学習済みモデルの作成方法において、前記選別ステップは、予め選定又は作成された参照画像と前記候補画像とを位置合わせする位置合わせステップと、前記参照画像内の画素に対し、前記候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する外れ画素決定ステップと、前記外れ画素を除外した候補画像を、学習データとして使用する画像として選別するステップと、を含んでも良い。
【0010】
上記学習済みモデルの作成方法において、前記外れ画素決定ステップは、前記参照画像と前記候補画像との間で対応する画素同士の輝度差を算出し、該輝度差が基準範囲を超える前記候補画像内の画素を外れ画素として決定しても良い。
【0011】
上記学習済みモデルの作成方法において、前記輝度差の基準範囲を、前記参照画像における当該画素の輝度値の０％以上５０％以下の範囲で設定するステップをさらに含み、前記外れ画素決定ステップは、前記輝度差の絶対値が、設定された前記基準範囲を超える画素を、外れ画素として決定しても良い。
【0012】
上記学習済みモデルの作成方法において、前記複数の候補画像の間で対応する画素の輝度値の分布を求め、前記分布における０σ以上３σ以下の範囲で、前記基準範囲を設定するステップをさらに含み、前記外れ画素決定ステップは、前記輝度差の絶対値が、設定された前記基準範囲を超える画素を、外れ画素として決定しても良い。
【0013】
上記学習済みモデルの作成方法において、前記参照画像は、前記複数の候補画像のうちから選定されたものであっても良い。
【0014】
上記学習済みモデルの作成方法において、前記参照画像は、前記複数の候補画像の間で位置合わせを行い、前記複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、前記平均値又は中央値を各画素の輝度値とすることにより作成されたものであっても良い。
【0015】
上記学習済みモデルの作成方法において、前記選別ステップは、予め選定又は作成された参照画像と前記候補画像とを位置合わせする位置合わせステップと、前記参照画像内の画素に対し、前記候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する外れ画素決定ステップと、外れ画素が基準割合を超える候補画像を、学習データとして使用する画像から除外する除外ステップと、を含み、除外されなかった候補画像を、学習データとして使用する画像として選別しても良い。
【0016】
上記学習済みモデルの作成方法において、前記基準割合を、０％以上５０％以下の範囲で設定するステップをさらに含み、前記除外ステップは、外れ画素と決定された画素の数が、候補画像の全画素数に対する設定された前記基準割合を超える候補画像を除外しても良い。
【0017】
上記学習済みモデルの作成方法において、前記参照画像は、前記複数の候補画像のうちから選定されたものであっても良い。
【0018】
上記学習済みモデルの作成方法において、前記参照画像は、前記複数の候補画像の間で位置合わせを行い、前記複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、前記平均値又は中央値を各画素の輝度値とすることにより作成されたものであっても良い。
【0019】
本発明の別の態様である画像処理方法は、対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とするか否かを選別する第２の選別ステップと、前記第２の選別ステップにおいて判定対象として選別された対象画像に対し、上記学習済みモデルの作成方法により作成された学習済みモデルを用いて画像認識を実行する判定ステップと、を含み、前記第２の選別ステップにおいて判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行しないというものである。
【0020】
上記画像処理方法において、前記第２の選別ステップは、前記対象画像に検査領域を設定し、該検査領域内の画素に基づいて選別を行っても良い。
【0021】
上記画像処理方法において、前記第２の選別ステップは、予め選定又は作成された画像認識用参照画像に対して、前記対象画像を比較することにより選別を行っても良い。
【0022】
上記画像処理方法において、前記第２の選別ステップは、前記画像認識用参照画像及び前記対象画像に検査領域を設定するステップと、前記画像認識用参照画像内の検査領域に対する前記対象画像内の検査領域の画像マッチングを実行し、検査領域の全部又は一部における一致率を算出する一致率算出ステップと、前記一致率が基準値を下回る場合を不適合画像として決定するステップと、を含んでも良い。
【0023】
上記画像処理方法は、前記一致率の基準値を０．３以上１．０の範囲で設定するステップをさらに含んでも良い。
【0024】
上記画像処理方法は、前記一致率算出ステップの前に、前記対象画像内の検査領域の輝度値が前記画像認識用参照画像内の検査領域の輝度値と同等となるように、前記対象画像内の検査領域の輝度値に正規化相関変換を施すステップをさらに含み、前記一致率算出ステップは、前記正規化相関変換が施された前記対象画像内の検査領域について前記一致率を算出しても良い。
【0025】
上記画像処理方法において、前記画像認識用参照画像は、前記学習済みモデルを作成する際に学習データとして使用された複数の画像のうちから選定されたものであっても良い。
【0026】
上記画像処理方法において、前記画像認識用参照画像は、前記学習済みモデルを作成する際に学習データとして使用された複数の画像の間で位置合わせを行い、前記複数の画像の間で対応する画素同士の輝度値の平均値又は中央値を算出し、前記平均値又は中央値に対し、各画像における対応する画素の輝度値が大きく外れる画素を外れ画素として決定し、外れ画素を除外した複数の画像の間において対応する画素同士の輝度値の平均値又は中央値を各画素の輝度値とすることにより作成されたものであっても良い。
【0027】
本発明の別の態様であるプログラムは、学習データの候補となる複数の候補画像を取得する画像取得ステップと、前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別ステップと、前記選別ステップにおいて選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成ステップと、をコンピュータに実行させるものである。
【0028】
上記プログラムは、前記選別ステップにおいて学習データとして使用する画像として選別されなかった候補画像について、選別から漏れた根拠となる画像内の箇所を表示する表示ステップを、前記コンピュータにさらに実行させても良い。
【0029】
上記プログラムは、対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とするか否かを選別する第２の選別ステップと、前記第２の選別ステップにおいて判定対象として選別された対象画像に対し、前記学習済みモデルを用いて画像認識を実行する判定ステップと、を前記コンピュータにさらに実行させ、前記第２の選別ステップにおいて判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行させないこととしても良い。
【0030】
上記プログラムは、前記不適合画像について、不適合と認識された根拠となる画像内の箇所を表示する表示ステップを前記コンピュータにさらに実行させても良い。
【0031】
上記プログラムは、前記画像内の箇所の状態に応じて撮像条件をガイドするガイドステップを前記コンピュータにさらに実行させても良い。
【0032】
本発明の別の態様である画像処理装置は、学習データの候補となる複数の候補画像を取得する画像取得部と、前記複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別部と、前記選別部により選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成するモデル作成部と、を備える。
【0033】
上記画像処理装置は、対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とするか否かを選別する第２の選別部と、前記第２の選別部において判定対象として選別された対象画像に対し、前記学習済みモデルを用いて画像認識を実行する判定部と、をさらに備え、前記第２の選別部により判定対象として選別されなかった対象画像を不適合画像とし、前記学習済みモデルによる画像認識を実行しないこととしても良い。
【0034】
上記画像処理装置は、少なくとも、前記画像取得部と、前記選別部と、前記モデル作成部と、前記第２の選別部と、前記判定部とが、エッジコンピューティングにより実現されることとしても良い。
【0035】
上記画像処理装置において、当該画像処理装置は、少なくともプロセッサ及びメモリを備える端末装置により構成され、前記画像取得部は、有線又は無線により当該画像処理装置に接続された撮像装置から入力された画像データに基づいて、前記複数の候補画像及び前記対象画像を取得することとしても良い。
【発明の効果】
【0036】
本発明によれば、複数の候補画像に対してルールベースの画像認識処理を施すことにより選別された候補画像を、学習データとして使用する画像として機械学習のアルゴリズムに学習させるので、学習データとして使用する画像の数が少ない場合であっても、学習済みモデルの画像認識精度の低下を抑制することが可能となる。
【図面の簡単な説明】
【0037】
【図1】本発明の実施形態における画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図2】本発明の実施形態における画像処理装置を含む画像処理システムの別の構成例を示すネットワーク図である。
【図3】本発明の実施形態における学習モデルの作成処理を示すフローチャートである。
【図4】ルールベースの画像認識により候補画像を選別する処理を示すフローチャートである。
【図5】候補画像の選別処理を説明するための模式図である。
【図6】ルールベースの画像認識により候補画像を選別する処理の変形例を示すフローチャートである。
【図7】本発明の実施形態における画像処理方法において実行される画像認識処理を示すフローチャートである。
【図8】ルールベースの画像認識により対象画像を選別する処理を示すフローチャートである。
【図9】対象画像の選別処理を説明するための模式図である。
【発明を実施するための形態】
【0038】
以下、本発明の実施形態に係る学習済みモデルの作成方法、画像処理方法、プログラム、及び画像処理装置について、図面を参照しながら説明する。なお、これらの実施形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
【0039】
本実施形態に係る学習済みモデルの作成方法及び作成された学習済みモデルを利用した画像認識は、例えば、製品の外観検査、基板検査、構造物の点検、農作物の選別、光学的文字認識（Optical Character Recognition/Reader：ＯＣＲ）など様々な分野において適用することが可能である。
【0040】
（画像処理装置の構成）
図１は、本発明の実施形態における画像処理装置を含む画像処理システムの概略構成を示すブロック図である。図１に示すように、画像処理システム１は、画像処理装置１０と、該画像処理装置１０と有線又は無線で接続された撮像部２０、表示部３０、及び操作入力部４０を含む。
図１は、本発明の実施形態における画像処理装置を含む画像処理システムの概略構成を示すブロック図である。図１に示すように、画像処理システム１は、画像処理装置１０と、該画像処理装置１０と有線又は無線で接続された撮像部２０、表示部３０、及び操作入力部４０を含む。
【0041】
画像処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置、メモリやストレージ等の記憶装置、ＵＳＢ（Universal Serial Bus）やイーサネット（Ethernet）による通信インタフェースが搭載されたパーソナルコンピュータにより構成される端末装置である。画像処理装置１０は、学習済みモデルの作成、及び、このモデルを使用した画像認識、並びに、画像認識結果を利用した様々な処理を１台で行う、所謂エッジコンピューティングを実行する。
【0042】
撮像部２０は、例えばＣＭＯＳイメージセンサ等の撮像素子を備える光学式カメラである。撮像部２０は、対象物を撮像することにより画像データを生成し、画像処理装置１０に入力する。撮像部２０としては、所謂産業用又は工業用カメラを使用しても良いし、一般的なディジタルカメラを使用しても良い。或いは、タブレット端末やスマートフォンなどの携帯通信端末を撮像部２０として使用しても良い。要は、本実施形態に係る画像認識技術の適用（例えば、検査対象、検査場所等）に応じて、撮像部２０の構成を適宜選択すれば良い。
【0043】
表示部３０は、例えば、液晶ディスプレイや有機ＥＬディスプレイであり、画像処理装置１０から出力される画像信号に基づいて、画像や文字等の情報を表示する。
【0044】
操作入力部４０は、例えばキーボード、マウス、表示部３０の表面に設けられたタッチパネル、各種調整つまみ等の入力デバイスであり、ユーザによる操作を受け付け、操作に応じた信号を後述するプロセッサ１３に入力する。
【0045】
この他、画像処理システム１に、撮像対象物を照明するための照明装置や、撮像対象物の位置を調整するための位置調整手段（可動ステージなど）を設けても良い。
【0046】
【0047】
画像処理装置１０は、図１に示すように、画像処理装置１０に接続された撮像部２０から画像データを直接取り込んでも良いし、図２に示すように、撮像端末５０から通信ネットワークＮを介して画像データを取り込んでも良い。例えば、屋外において構造物の検査を行う場合や、水道メーターの検針をＯＣＲにより行う場合には、通信機能及び撮像機能を有する撮像端末５０から通信ネットワークＮを介して画像データを送受信することが考えられる。通信ネットワークＮは、例えば、インターネット回線、電話回線、ＬＡＮ、専用線、移動体通信網、ＷｉＦｉ（Wireless Fidelity）、ブルートゥース（登録商標）等の通信回線、又はこれらの組み合わせによって構成され、有線、無線、又はこれらの組み合わせのいずれであっても良い。
【0048】
図１に示すように、画像処理装置１０は、通信インタフェース１１と、記憶部１２と、プロセッサ１３とを備える。
通信インタフェース１１は、画像処理装置１０を他の機器と直接又は通信ネットワークＮを介して接続し、他の機器との間で通信を行うインタフェースである。通信インタフェース１１は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成することができる。
通信インタフェース１１は、画像処理装置１０を他の機器と直接又は通信ネットワークＮを介して接続し、他の機器との間で通信を行うインタフェースである。通信インタフェース１１は、例えばソフトモデム、ケーブルモデム、無線モデム、ＡＤＳＬモデム等を用いて構成することができる。
【0049】
記憶部１２は、例えばＲＯＭやＲＡＭといった半導体メモリやハードディスク等のコンピュータ読取可能な記憶媒体を用いて構成され、オペレーティングシステムプログラム及びドライバプログラムや、各種機能を実行するアプリケーションプログラム、これらのプログラムの動作中に使用されるパラメータ、その他の情報を記憶する。本実施形態において、記憶部１２は、学習済みモデルの作成や学習済みモデルを用いた画像認識をプロセッサ１３に実行させるためのプログラム１２１、撮像部２０から入力された画像データ１２２、学習モデルを学習させるための学習データ１２３、画像認識処理において使用される各種パラメータ１２４、作成された学習済みモデル１２５を記憶する。
【0050】
プロセッサ１３は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いて構成され、記憶部１２に記憶されたプログラム１２１を読み込むことにより、画像処理装置１０の各部を統括的に制御すると共に、学習済みモデルの作成や学習済みモデルを用いた画像認識を行うための各種演算処理を実行する。プロセッサ１３により実現される機能部には、撮像制御部１３１と、表示制御部１３２と、設定部１３３と、画像生成部１３４と、第１ルールベース画像認識部１３５と、学習モデル作成部１３６と、第２ルールベース画像認識部１３７と、ＡＩ判定部１３８と、ガイド部１３９とが含まれる。
【0051】
撮像制御部１３１は、操作入力部４０から入力される信号に従って、撮像部２０における撮像タイミングやフレームレート等の撮像条件を制御する。なお、本システム１に撮像対象物の照明装置や位置調整手段が設けられる場合には、照明の強度や撮像対象物の位置を撮像条件として制御することとしても良い。
【0052】
表示制御部１３２は、表示部３０における画像や各種情報の表示を制御する。
設定部１３３は、第１ルールベース画像認識部１３５や第２ルールベース画像認識部１３７における画像認識において使用される各種パラメータを設定する。これらもパラメータは、操作入力部４０によりユーザが任意に設定できることとしても良い。
設定部１３３は、第１ルールベース画像認識部１３５や第２ルールベース画像認識部１３７における画像認識において使用される各種パラメータを設定する。これらもパラメータは、操作入力部４０によりユーザが任意に設定できることとしても良い。
【0053】
画像生成部１３４は、撮像部２０から入力される画像データに基づき、デモザイキング、ホワイトバランス処理、ガンマ補正等の画像処理を実行することにより画像を生成する。画像生成部１３４は、学習データの候補となる複数の候補画像を取得する画像取得部や、画像認識の対象画像を取得する画像取得部として機能する。
【0054】
第１ルールベース画像認識部１３５は、複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、学習データとして使用する画像を選別する選別部として機能する。詳細には、第１ルールベース画像認識部１３５は、予め選定又は作成された参照画像と候補画像とを位置合わせする位置合わせ部１３５ａと、参照画像内の画素に対し、候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定するなどして、学習データとして使用される候補画像を選別する選別部１３５ｂとを含む。
【0055】
学習モデル作成部１３６は、選別部１３５ｂにより選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデル１２５を作成する。この学習済みモデル１２５が記憶部１２に記憶される。
【0056】
第２ルールベース画像認識部１３７は、画像認識の対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定対象とする画像を選別する第２の選別部として機能する。詳細には、第２ルールベース画像認識部１３７は、対象画像内に検査領域を設定する検査領域設定部１３７ａと、予め選定又は作成された画像認識用参照画像に対して対象画像を比較することにより選別を行う選別部１３７ｂとを含む。
【0057】
ＡＩ判定部１３８は、学習モデル作成部１３６により作成された学習済みモデル１２５を用いて、選別部１３７ｂにより判定対象として選別された対象画像の画像認識を実行する。なお、ＡＩ判定部１３８は、判定対象として選別されなかった対象画像は、不適合画像であるとして、学習済みモデル１２５を用いた画像認識は行わない。以下、学習済みモデル１２５による画像認識をＡＩ判定とも記す。
【0058】
ガイド部１３９は、不適合画像について、不適合と認識された根拠となる画像内の箇所を表示部３０に表示させると共に、当該箇所の状況に応じて撮像条件をユーザにガイドする。撮像条件としては、例えば、撮像部２０の画素数、解像度、露光時間、レンズの絞り、明るさ、フォーカス等が挙げられる。ガイドの内容は、表示部３０に表示させても良いし、画像処理装置１０にスピーカを接続し、音声でガイドを読み上げることとしても良い。
【0059】
（学習済みモデルの作成方法）
図３は、本発明の実施形態における学習モデルの作成処理を示すフローチャートである。学習モデルの作成処理は、基本的に、次のようなステップで実行される。
図３は、本発明の実施形態における学習モデルの作成処理を示すフローチャートである。学習モデルの作成処理は、基本的に、次のようなステップで実行される。
【0060】
まず、撮像部２０から入力された画像データに基づき、学習データとして使用する画像の候補となる候補画像を取得する（ステップＳ１０）。この際に取得される候補画像は、一般的な機械学習モデルの作成で使用されるほど大量である必要はなく、十数～数十個の画像でも足りる。例えば、取得される画像の数は１０以上３０以下であっても良い。
【0061】
続いて、複数の候補画像の各々に対してルールベースの画像認識処理を施すことにより、候補画像を選別する（ステップＳ２０）。候補画像の選別処理については、後で詳述する。本出願において「選別」とは、複数の画像のうちから後の処理に使用される画像を取得する概念を含み、例えば、所定の処理を施すことにより後の処理に使用できる画像を取得することも選別に含まれる。
【0062】
そして、選別された画像を機械学習のアルゴリズムに学習させることにより、学習済みモデルを作成する（ステップＳ３０）。機械学習のアルゴリズムとしては、ニューラルネットワーク、サポートベクターマシン、或いは、畳み込みニューラルネットワークや強化学習などのディープラーニング等、種々のアルゴリズムを適用することができる。
【0063】
（候補画像の選別処理１－１）
図４は、ルールベースの画像認識により候補画像を選別する処理を示すフローチャートである。図５は、候補画像の選別処理を説明するための模式図である。候補画像の選別は、予め選定又は作成された参照画像に対して候補画像を比較することにより実行される。参照画像の選定又は作成方法は後述する。
図４は、ルールベースの画像認識により候補画像を選別する処理を示すフローチャートである。図５は、候補画像の選別処理を説明するための模式図である。候補画像の選別は、予め選定又は作成された参照画像に対して候補画像を比較することにより実行される。参照画像の選定又は作成方法は後述する。
【0064】
まず、参照画像と候補画像とを位置合わせする（ステップＳ２０１）。位置合わせは、エッジやコーナー等の特徴点を抽出し、特徴点同士を関連づける手法など、公知の手法を用いて行うことができる。
【0065】
続いて、参照画像内の画素に対し、候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する。詳細には、図５に示すように、参照画像ｒ０と候補画像ｃ１，ｃ２，…の各々との間で対応する各画素同士（画素ｇ０と画素ｇ１，画素ｇ０と画素ｇ２、…）の輝度差を算出する（ステップＳ２０２）。そして、輝度差が基準範囲を超える候補画像内の画素を外れ画素として決定する。
【0066】
基準範囲は、ユーザが操作入力部４０を用いて適宜設定することができることとしても良い。
例えば、輝度差の基準範囲を、参照画像ｒ０内の各画素ｇ０の輝度値の所定比率以内と設定しても良い。所定比率は、例えば０％以上５０％以下の範囲でユーザが任意に設定することができる。一例として、基準範囲を輝度値の３０％以内に設定した場合、参照画像ｒ０内の画素ｇ０の輝度値をｘ０、画素ｇ０に対応する候補画像ｃ１内の画素ｇ１の輝度値をｘ１とすると、輝度差｜ｘ１－ｘ０｜が０．３×ｘ０を超える場合、画素ｇ１は外れ画素として決定される。
例えば、輝度差の基準範囲を、参照画像ｒ０内の各画素ｇ０の輝度値の所定比率以内と設定しても良い。所定比率は、例えば０％以上５０％以下の範囲でユーザが任意に設定することができる。一例として、基準範囲を輝度値の３０％以内に設定した場合、参照画像ｒ０内の画素ｇ０の輝度値をｘ０、画素ｇ０に対応する候補画像ｃ１内の画素ｇ１の輝度値をｘ１とすると、輝度差｜ｘ１－ｘ０｜が０．３×ｘ０を超える場合、画素ｇ１は外れ画素として決定される。
【0067】
また、輝度差の基準範囲を、他の候補画像の輝度値も考慮して設定できることとしても良い。
詳細には、複数の候補画像ｃ１，ｃ２，…の間で対応する画素ｇ１，ｇ２，…の輝度値の分布を求め、基準範囲を、この分布における標準偏差σをもとに、０σ以上３σ以下の範囲で設定する。一例として、基準範囲を２σに設定した場合、参照画像ｒ０の画素ｇ０の輝度値をｘ０、画素ｇ０に対応する候補画像ｃ１内の画素ｇ１の輝度値ｘ１とすると、輝度差｜ｘ１－ｘ０｜が２σを超える場合、画素ｇ１は外れ画素として決定される。なお、分布を求める際には、参照画像ｒ０内の画素ｇ０の輝度値を含めても良いし、含めなくても良い。
詳細には、複数の候補画像ｃ１，ｃ２，…の間で対応する画素ｇ１，ｇ２，…の輝度値の分布を求め、基準範囲を、この分布における標準偏差σをもとに、０σ以上３σ以下の範囲で設定する。一例として、基準範囲を２σに設定した場合、参照画像ｒ０の画素ｇ０の輝度値をｘ０、画素ｇ０に対応する候補画像ｃ１内の画素ｇ１の輝度値ｘ１とすると、輝度差｜ｘ１－ｘ０｜が２σを超える場合、画素ｇ１は外れ画素として決定される。なお、分布を求める際には、参照画像ｒ０内の画素ｇ０の輝度値を含めても良いし、含めなくても良い。
【0068】
続いて、外れ画素を除外した候補画像を、学習データ用の画像として選別する（ステップＳ２０４）。例えば、図５に示す候補画像ｃ１内の画素ｇ１が外れ画素として決定された場合、画素ｇ１を除外（言い換えると、当該画素ｇ１の輝度値をｎｕｌｌに変換）した候補画像ｃ１が、学習データ用の画像として使用されることになる。
【0069】
【0070】
まず、参照画像と候補画像とを位置合わせする（ステップＳ２１１）。位置合わせの手法は、ステップＳ２０１と同様である。
【0071】
続いて、参照画像内の画素に対し、候補画像内の対応する画素の輝度値が大きく外れる画素を外れ画素として決定する。詳細には、参照画像と候補画像との間で対応する各画素の輝度差を算出する（ステップＳ２１２）。そして、輝度差が基準範囲を超える候補画像内の画素を外れ画素として決定する（ステップＳ２１３）。基準範囲の設定方法は、ステップＳ２０３と同様である。
【0072】
続いて、候補画像における外れ画素が基準割合を超えて存在するか否かを判定する（ステップＳ２１４）。そして、外れ画素が基準割合を超えない候補画像を、学習データ用の画像として選別する（ステップＳ２１４：Ｎｏ、ステップＳ２１５）。一方、外れ画素が基準割合を超えて存在する候補画像は、学習データとして使用する画像から除外される（ステップＳ２１４：Ｙｅｓ、ステップＳ２１６）。
【0073】
基準割合は、ユーザが操作入力部４０を用いて適宜設定することができることとしても良い。例えば、基準割合を、０％以上５０％以下の範囲で設定できることとしても良い。一例として、基準割合を３０％に設定した場合、候補画像内の全画素数に対し、外れ画素が３０％を超えて存在する場合、当該候補画像は、学習データ用の画像としては使用されないことになる。また、基準割合を０％に設定した場合、候補画像に１画素でも外れ画素がある場合（即ち、０％超）には、当該候補画像は除外される。また、基準割合を５０％に設定した場合、外れ画素が全画素の半数を超える候補画像は除外される。
【0074】
また、候補画像が除外された場合には、ユーザが撮像条件を改善できるようにするためのガイドを表示しても良い（ステップＳ２１７）。例えば、除外された候補画像において、不適合と認識された根拠となる画像内の箇所（例えば、外れ画素が集中しているエリア）を表示部３０に表示しても良い。或いは、当該箇所の状態に応じて撮像条件のガイドを表示しても良い。具体例として、外れ画素が集中しているエリアの輝度値が参照画像における対応する箇所の輝度値と比較して極端に小さい場合、照明の強度を上げる、露光時間を長くする、といったガイドを表示することができる。このようなガイドを表示することで、候補画像が除外されたとしても、ユーザが撮像条件を改善して撮像を行うことで、新たな候補画像を追加することができる。それにより、学習データ用として使用し得る候補画像を効率良く収集することが可能となる。
【0075】
（参照画像の選定又は作成方法）
上記選別処理１－１及び１－２において使用される参照画像としては、例えば、ステップＳ１０において取得された複数の候補画像のうちから、ユーザが任意に選択した画像を使用することができる。
上記選別処理１－１及び１－２において使用される参照画像としては、例えば、ステップＳ１０において取得された複数の候補画像のうちから、ユーザが任意に選択した画像を使用することができる。
【0076】
或いは、複数の候補画像に基づいて参照画像を作成しても良い。詳細には、まず、複数の候補画像の間で位置合わせを行う。位置合わせの手法は、エッジやコーナー等の特徴点を抽出し、特徴点同士を関連づける手法など、公知の手法を用いることができる。
【0077】
続いて、複数の候補画像の間で対応する画素同士の輝度値の平均値又は中央値を算出する。例えば、図５においては、候補画像ｃ１，ｃ２，…の間で対応する画素ｇ１，ｇ２，…の画素値の平均値又は中央値が算出される。このように算出された平均値又は中央値を各画素の輝度値とする画像を参照画像とする。
【0078】
（画像認識処理）
図７は、本発明の実施形態における画像処理方法において実行される画像認識処理を示すフローチャートである。画像認識処理は、基本的に、次のようなステップで実行される。
図７は、本発明の実施形態における画像処理方法において実行される画像認識処理を示すフローチャートである。画像認識処理は、基本的に、次のようなステップで実行される。
【0079】
まず、撮像部２０から入力された画像データに基づき、対象画像を取得する（ステップＳ４０）。ここで、対象画像とは、例えば、外観検査においては、検査対象製品等が写った画像である。また、水道の検針をＯＣＲにより行う場合には、検針対象の水道メーターが写った画像である。
【0080】
続いて、対象画像に対してルールベースの画像認識処理を施すことにより、当該対象画像を学習済みモデルによる判定（ＡＩ判定）対象とするか否かを選別する（ステップＳ５０）。
【0081】
続いて、ステップＳ５０において判定対象として選別された対象画像を、図３のステップＳ１０～Ｓ３０により作成された学習済みモデル１２５（図１参照）に入力して画像認識させる（ステップＳ６０）。そして、画像認識結果を表示部３０に表示する（ステップＳ７０）。なお、ステップＳ５０において判定対象として選別されなかった対象画像ついては、学習済みモデル１２５による画像認識は実行されない。
【0082】
（対象画像の選別処理２－１）
図８は、ルールベースの画像認識により対象画像を選別する処理を示すフローチャートである。図９は、対象画像の選別処理を説明するための模式図である。対象画像の選別は、予め選定又は作成された画像認識用参照画像に対して対象画像を比較することにより実行される。画像認識用参照画像の選定又は作成方法については後述する。
図８は、ルールベースの画像認識により対象画像を選別する処理を示すフローチャートである。図９は、対象画像の選別処理を説明するための模式図である。対象画像の選別は、予め選定又は作成された画像認識用参照画像に対して対象画像を比較することにより実行される。画像認識用参照画像の選定又は作成方法については後述する。
【0083】
まず、対象画像及び画像認識用参照画像に検査領域を設定する（ステップＳ５０１）。対象画像の選別処理は、設定された検査領域内の画素に基づいて実行される。検査領域の設定方法は特に限定されない。例えば、図９に示すように、対象画像及び画像認識用参照画像に共通のマーカーｍ１１が写っている場合には、マーカーｍ１１を基準として検査領域ｍ１２を設定しても良い。
【0084】
続いて、画像認識用参照画像内の検査領域に対する対象画像内の検査領域の画像マッチングを実行し、検査領域の全部又は一部における一致率を算出する（ステップＳ５０２）。即ち、画像認識用参照画像内の検査領域をテンプレートとするテンプレートマッチングを実行し、マッチングスコアを求める。
【0085】
ここで、画像マッチングを実行する対象領域は、検査領域の全部であっても良いし、検査領域内の一部であっても良い。例えば、図９に示すように、ＯＣＲにより数値を読み取る場合、数値の周囲の枠部分ｍ１３のみを画像マッチングの対象としても良い。対象画像ｍ１０における枠部分ｍ１３が画像認識用参照画像における同部分と高いスコアで一致していれば、枠部分ｍ１３の内部（数値部分）も、ＡＩ判定にかけやすい（高い認識精度が期待される）、良好な画質であると考えられるからである。
【0086】
続いて、一致率が基準値を下回るか否かを判定する（ステップＳ５０３）。一致率が基準値以上である場合（ステップＳ５０３：Ｎｏ）、対象画像をＡＩ判定の対象として選別する（ステップＳ５０４）。一方、一致率が基準値を下回る場合（ステップＳ５０３：Ｙｅｓ）、対象画像を不適合画像とする（ステップＳ５０５）。例えば、ＡＩ判定が困難とみられる低画質の画像や、ＡＩ判定をするまでもなく判定結果（不良）が明らかな画像は、不適合画像と判断される可能性がある。このような不適合画像は、ＡＩ判定にはかけられない。
【0087】
一致率の基準値は、ユーザが操作入力部４０を用いて適宜設定できることとしても良い。例えば、基準値を０．３以上１．０の範囲で設定することとしても良い。一例として、基準値を０．７に設定した場合、一致率が０．８である対象画像は、ＡＩ判定の対象として選別される。反対に、一致率が０．３である対象画像は、不適合画像と判断される。
【0088】
また、不適合画像と判断された場合（ステップＳ５０５）、ユーザが撮像条件を改善できるようにするためのガイドを表示しても良い（ステップＳ５０６）。例えば、不適合画像において、不適合と認識された根拠となる画像内の箇所（例えば、一致率が特に低いエリア）を表示部３０に表示しても良い。或いは、当該箇所の状態に応じて撮像条件のガイドを表示しても良い。具体例として、不適合画像において、数値の周囲の枠部分ｍ１３の一部が欠けているような場合、枠部分ｍ１３の全体が画像に写るよう、ユーザにガイドしても良い。
【0089】
（対象画像の選別処理２－２）
上記選別処理２－１において、検査領域を設定（ステップＳ５０１）した後、検査領域の全部又は一部における一致率を算出（ステップＳ５０２）する前に、対象画像内の検査領域の輝度値が、画像認識用参照画像内の検査領域の輝度値と同等になるように、対象画像内の検査領域の輝度値に正規化相関変換を施しても良い。この場合、正規化相関変換が施された対象画像内の検査領域について、画像認識用参照画像内の検査領域との一致率を算出する。この場合、対象画像の撮像環境（例えば、曇天のため暗いなど）によって対象画像が不適合画像と判定されてしまうおそれを低減することができる。なお、ステップＳ５０３以降の処理については、選別処理２－１と同様である。
上記選別処理２－１において、検査領域を設定（ステップＳ５０１）した後、検査領域の全部又は一部における一致率を算出（ステップＳ５０２）する前に、対象画像内の検査領域の輝度値が、画像認識用参照画像内の検査領域の輝度値と同等になるように、対象画像内の検査領域の輝度値に正規化相関変換を施しても良い。この場合、正規化相関変換が施された対象画像内の検査領域について、画像認識用参照画像内の検査領域との一致率を算出する。この場合、対象画像の撮像環境（例えば、曇天のため暗いなど）によって対象画像が不適合画像と判定されてしまうおそれを低減することができる。なお、ステップＳ５０３以降の処理については、選別処理２－１と同様である。
【0090】
（画像認識用参照画像の選定又は作成方法）
上記選別処理２－１及び２－２において使用される画像認識用参照画像としては、候補画像や、学習済みモデルを作成する際に学習データとして用いられた画像のうちから、ユーザが任意に選択しても良い。
上記選別処理２－１及び２－２において使用される画像認識用参照画像としては、候補画像や、学習済みモデルを作成する際に学習データとして用いられた画像のうちから、ユーザが任意に選択しても良い。
【0091】
或いは、学習データとして用いられた画像に基づいて画像認識用参照画像を作成しても良い。詳細には、まず、学習済みモデルを作成する際に学習データとして使用された複数の画像の間で位置合わせを行い、これらの複数の画像の間で対応する画素同士の輝度値の平均値又は中央値を算出する。そして、平均値又は中央値に対し、各画像における対応する画素の輝度値が大きく外れる画素を外れ画素として決定する。外れ画素は、候補画像の選別処理１－１において説明した方法と同様にして決定することができる。
【0092】
さらに、外れ画素を除外した複数の画像の間において対応する画素同士の輝度値の平均値又は中央値を各画素の輝度値とすることにより、画像認識用参照画像を作成することができる。
【0093】
以上説明したように本実施形態によれば、複数の候補画像に対してルールベースの画像認識処理を施すことにより選別された候補画像を、学習データとして使用する画像として機械学習のアルゴリズムに学習させるので、学習データとして使用する画像の数が少ない場合であっても、学習済みモデルの画像認識精度の低下を抑制することが可能となる。
【0094】
また、本実施形態によれば、対象画像に対してルールベースの画像認識処理を施し、選別された対象画像についてのみ学習済みモデルを用いたＡＩ判定を実行し、不適合画像についてはＡＩ判定を実行しないので、画像認識精度及び処理効率を向上させることが可能となる。
【0095】
本発明は、上記実施形態及び変形例に限定されるものではなく、上記実施形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上記実施形態及び変形例に示した全構成要素からいくつかの構成要素を除外して形成しても良いし、上記の実施形態及び変形例に示した構成要素を適宜組み合わせて形成しても良い。
【符号の説明】
【0096】
１，２…画像処理システム、１０…画像処理装置、１１…通信インタフェース、１２…記憶部、１３…プロセッサ、２０…撮像部、３０…表示部、４０…操作入力部、５０…撮像端末、１２１…プログラム、１２２…画像データ、１２３…学習データ、１２４…パラメータ、１２５…学習済みモデル、１３１…撮像制御部、１３２…表示制御部、１３３…設定部、１３４…画像生成部、１３５…第１ルールベース画像認識部、１３５ａ…位置合わせ部、１３５ｂ…選別部、１３６…学習モデル作成部、１３７…第２ルールベース画像認識部、１３７ａ…検査領域設定部、１３７ｂ…選別部、１３８…ＡＩ判定部、１３９…ガイド部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】