特開2019-197401(P2019-197401A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アズビル株式会社の特許一覧
<>
  • 特開2019197401-教師データ作成装置および方法 図000003
  • 特開2019197401-教師データ作成装置および方法 図000004
  • 特開2019197401-教師データ作成装置および方法 図000005
  • 特開2019197401-教師データ作成装置および方法 図000006
  • 特開2019197401-教師データ作成装置および方法 図000007
  • 特開2019197401-教師データ作成装置および方法 図000008
  • 特開2019197401-教師データ作成装置および方法 図000009
  • 特開2019197401-教師データ作成装置および方法 図000010
  • 特開2019197401-教師データ作成装置および方法 図000011
  • 特開2019197401-教師データ作成装置および方法 図000012
  • 特開2019197401-教師データ作成装置および方法 図000013
  • 特開2019197401-教師データ作成装置および方法 図000014
  • 特開2019197401-教師データ作成装置および方法 図000015
  • 特開2019197401-教師データ作成装置および方法 図000016
  • 特開2019197401-教師データ作成装置および方法 図000017
  • 特開2019197401-教師データ作成装置および方法 図000018
  • 特開2019197401-教師データ作成装置および方法 図000019
  • 特開2019197401-教師データ作成装置および方法 図000020
  • 特開2019197401-教師データ作成装置および方法 図000021
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-197401(P2019-197401A)
(43)【公開日】2019年11月14日
(54)【発明の名称】教師データ作成装置および方法
(51)【国際特許分類】
   G06T 7/00 20170101AFI20191018BHJP
【FI】
   G06T7/00 350B
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】18
(21)【出願番号】特願2018-91347(P2018-91347)
(22)【出願日】2018年5月10日
(71)【出願人】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(72)【発明者】
【氏名】森本 真弘
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096DA02
5L096EA16
5L096EA35
5L096FA59
5L096FA62
5L096FA67
5L096FA69
5L096JA03
5L096KA04
(57)【要約】
【課題】対象物において切り取り領域の場所ごとに背景が変化する場合であっても、背景情報の差異を抑えることができる教師データ作成装置および方法を提供することを目的とする。
【解決手段】
教師データ作成装置1は、対象物における複数の切り取り領域の画像を取得する切り取り領域設定部12と、複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する判定部13と、判定部13によって背景画像が上記基準を満たしていないと判定された切り取り領域が基準を満たすように切り取り領域またはその切り取り領域に含まれる画像を移動させる変換部14と、変換部14によって移動された切り取り領域の画像を、予め定められたラベルと関連付けて記憶する記憶部15とを備える。
【選択図】 図1
【特許請求の範囲】
【請求項1】
対象物の画像判定に用いられる教師データを作成する教師データ作成装置であって、
前記対象物における複数の切り取り領域の画像を取得するように構成された切り取り領域設定部と、
前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定するように構成された判定部と、
前記判定部によって前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させるように構成された変換部と、
前記変換部によって移動された切り取り領域の画像を、予め定められたラベルと関連付けて記憶するように構成された記憶部と
を備えることを特徴とする教師データ作成装置。
【請求項2】
請求項1に記載の教師データ作成装置において、
前記対象物の画像を取得するように構成された第1取得部と、
取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第1基準点設定部と、
をさらに備え、
前記切り取り領域設定部は、前記第1取得部によって取得された前記対象物の画像に対して、互いに異なる複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点に応じた1つの切り取り領域を基準切り取り領域として設定し、
前記判定部は、前記基準として、前記基準切り取り領域の画像に含まれる背景画像と前記複数の切り取り領域のうち前記基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致するか否かを判定する
ことを特徴とする教師データ作成装置。
【請求項3】
請求項1に記載の教師データ作成装置において、
前記対象物の背景における中心点に関する情報を取得するように構成された第2取得部と、
取得された前記中心点に関する情報に基づいて、前記背景の基準点を設定するように構成された第2基準点設定部と、
をさらに備え、
前記切り取り領域設定部は、前記対象物の少なくとも一部の画像に対して前記切り取り領域を設定し、
前記判定部は、前記基準として、前記切り取り領域の前記基準点に対する相対的位置が予め設定された範囲で一致しているか否かを判定する
ことを特徴とする教師データ作成装置。
【請求項4】
請求項2または請求項3に記載の教師データ作成装置において、
前記変換部は、前記基準点と前記切り取り領域の中心点とを結ぶ各直線と、前記基準点を通る基準となる任意の軸とのなす角が180°となるための回転角度を算出し、前記一致していないと判定された切り取り領域を、前記基準点を中心として前記回転角度だけそれぞれ回転させる
ことを特徴とする教師データ作成装置。
【請求項5】
請求項1に記載の教師データ作成装置において、
前記対象物の画像を取得するように構成された第1取得部と、
取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第1基準点設定部と、
前記複数の切り取り領域に含まれる背景画像の向きを検出するように構成された向き検出部と、
をさらに備え、
前記切り取り領域設定部は、前記第1取得部によって取得された前記対象物の画像に対して、前記複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点と対応付けられる1つの切り取り領域を、前記基準となる基準切り取り領域として設定し、
前記判定部は、前記基準として、検出された前記向きに基づいて、前記基準切り取り領域の画像に含まれる背景画像の向きと前記切り取り領域の画像に含まれる背景画像の向きとが予め設定された範囲で一致するか否かを判定し、
前記変換部は、前記判定部によって一致していないと判定された切り取り領域の画像に含まれる背景画像の向きが、前記基準切り取り領域の画像に含まれる背景画像の向きと揃うように、前記一致していないと判定された切り取り領域の画像に含まれる背景画像を移動させる
ことを特徴とする教師データ作成装置。
【請求項6】
請求項2から5のいずれか1項に記載の教師データ作成装置において、
前記切り取り領域設定部は、前記基準点に対する前記切り取り領域の位置およびサイズを設定することを特徴とする教師データ作成装置。
【請求項7】
対象物の画像判定に用いられる教師データを作成する教師データ作成方法であって、
前記対象物における複数の切り取り領域の画像を取得する切り取り領域設定ステップと、
前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する判定ステップと、
前記判定ステップで前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させる変換ステップと、
前記変換ステップで移動した切り取り領域の画像を、予め定められたラベルと関連付けて記憶部に記憶する記憶ステップと
を備えることを特徴とする教師データ作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、教師データ作成装置および方法に関し、特に画像判定を行う学習型判別器に用いられる教師データを作成する技術に関する。
【背景技術】
【0002】
近年、画像の分類を行う際に、ディープラーニング(Deep Learning)をはじめとした学習型判別器が利用されることが増えている。学習型判別器を構築するためには、教師画像とラベルとの組み合わせからなる教師データを複数用意する必要がある。
【0003】
例えば、学習型判別器を用いて画像による異常検出を行う場合には、対象物の正常な状態の画像、対象物にキズが含まれる画像、および対象物に汚れが含まれている画像などと、「正常」、「キズ」、および「汚れ」などの各分類クラス情報を示すラベルとの組み合わせからなる教師データが用いられる。
【0004】
例えば、特許文献1および特許文献2は、検査対象の画像情報を教師データとした学習モデルを用いて欠陥の存在を判定、または欠陥の種別を分類する欠陥検出装置を開示している。
【0005】
従来から、学習型判別器の学習や、学習型判別器を利用した検査を行う際には、分割された検査対象の画像が用いられる場合がある。その第1の理由は、画像を分割することで画像データを低次元化して計算量を削減させるためである。また、その第2の理由は、画像に占める特徴の割合を確保するためである。
【0006】
まず、第1の理由に関して、一般に画像処理を行う際には、行列の掛け算が頻発する。そのため、対象となる画像のサイズが大きい場合、計算量も指数関数的に増加してしまう場合がある。また、上記第2の理由に関して、画像に含まれる様々な要素のうち、ラベルと関係のある特徴量を優先的に認識することで、学習効率が上がり、また判別の正答率も向上することが知られている。
【0007】
従来の学習型判別器を用いた学習や判別では、格子状に分割した対象物の画像が用いられる。図18および図19は、画像を分割して切り取る従来の手法を説明する図である。図18に示すように、対象物の画像は格子状に分割されている。また、対象物の画像における背景には、同心円が描かれている。太線の四角形の枠で示す切り取り領域が教師データの教師画像として用いられる。図18に示すように、太線の四角形の枠で示す画像の切り取り領域ごとに背景のパタンが変化している。なお、図18および図19において「×」は、検査の対象物に含まれる欠陥などを示している。
【0008】
図18のように、画像における切り取り領域の場所ごとに背景が変化する場合には、従来から図19の(a)に示すような、切り取り領域の場所ごとにモデルを作る手法、あるいは、図19の(b)に示すように、切り取り領域の場所に関係なくモデルを作る手法が用いられている。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開第2004−038885号公報
【特許文献2】特開第2010−071826号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
しかしながら、画像の切り取り領域の場所ごとにモデルを作る従来の手法では、1モデル当たりのデータ数が少なくなってしまう。他方、画像における切り取り領域の場所に関係なくモデルを作る場合、背景情報の差異がノイズとなってしまう。その結果、学習型判別器による判別の正答率が下がってしまう恐れがある。
【0011】
本発明は、上述した課題を解決するためになされたものであり、対象物において切り取り領域の場所ごとに背景が変化する場合であっても、背景情報の差異を抑えることができる教師データ作成装置および方法を提供することを目的とする。
【課題を解決するための手段】
【0012】
上述した課題を解決するために、本発明に係る教師データ作成装置は、対象物の画像判定に用いられる教師データを作成する教師データ作成装置であって、前記対象物における複数の切り取り領域の画像を取得するように構成された切り取り領域設定部と、前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定するように構成された判定部と、前記判定部によって前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させるように構成された変換部と、前記変換部によって移動された切り取り領域の画像を、予め定められたラベルと関連付けて記憶するように構成された記憶部とを備えることを特徴とする。
【0013】
また、本発明に係る教師データ作成装置において、前記対象物の画像を取得するように構成された第1取得部と、取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第1基準点設定部と、をさらに備え、前記切り取り領域設定部は、前記第1取得部によって取得された前記対象物の画像に対して、互いに異なる複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点に応じた1つの切り取り領域を基準切り取り領域として設定し、前記判定部は、前記基準として、前記基準切り取り領域の画像に含まれる背景画像と前記複数の切り取り領域のうち前記基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致するか否かを判定してもよい。
【0014】
また、本発明に係る教師データ作成装置において、前記対象物の背景における中心点に関する情報を取得するように構成された第2取得部と、取得された前記中心点に関する情報に基づいて、前記背景の基準点を設定するように構成された第2基準点設定部と、をさらに備え、前記切り取り領域設定部は、前記対象物の少なくとも一部の画像に対して前記切り取り領域を設定し、前記判定部は、前記基準として、前記切り取り領域の前記基準点に対する相対的位置が予め設定された範囲で一致しているか否かを判定してもよい。
【0015】
また、本発明に係る教師データ作成装置において、前記変換部は、前記基準点と前記切り取り領域の中心点とを結ぶ各直線と、前記基準点を通る基準となる任意の軸とのなす角が180°となるための回転角度を算出し、前記一致していないと判定された切り取り領域を、前記基準点を中心として前記回転角度だけそれぞれ回転させてもよい。
【0016】
また、本発明に係る教師データ作成装置において、前記対象物の画像を取得するように構成された第1取得部と、取得された前記対象物の画像の背景画像を検出し、その背景画像の基準点を設定するように構成された第1基準点設定部と、前記複数の切り取り領域に含まれる背景画像の向きを検出するように構成された向き検出部と、をさらに備え、前記切り取り領域設定部は、前記第1取得部によって取得された前記対象物の画像に対して、前記複数の切り取り領域を設定するとともに、前記複数の切り取り領域のうちの前記基準点と対応付けられる1つの切り取り領域を、前記基準となる基準切り取り領域として設定し、前記判定部は、前記基準として、検出された前記向きに基づいて、前記基準切り取り領域の画像に含まれる背景画像の向きと前記切り取り領域の画像に含まれる背景画像の向きとが予め設定された範囲で一致するか否かを判定し、前記変換部は、前記判定部によって一致していないと判定された切り取り領域の画像に含まれる背景画像の向きが、前記基準切り取り領域の画像に含まれる背景画像の向きと揃うように、前記一致していないと判定された切り取り領域の画像に含まれる背景画像を移動させてもよい。
【0017】
また、本発明に係る教師データ作成装置において、前記切り取り領域設定部は、前記基準点に対する前記切り取り領域の位置およびサイズを設定してもよい。
【0018】
また、本発明に係る教師データ作成方法は、対象物の画像判定に用いられる教師データを作成する教師データ作成方法であって、前記対象物における複数の切り取り領域の画像を取得する切り取り領域設定ステップと、前記複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する判定ステップと、前記判定ステップで前記背景画像が前記基準を満たしていないと判定された切り取り領域が前記基準を満たすように前記切り取り領域またはその切り取り領域に含まれる画像を移動させる変換ステップと、前記変換ステップで移動した切り取り領域の画像を、予め定められたラベルと関連付けて記憶部に記憶する記憶ステップとを備えることを特徴とする。
【発明の効果】
【0019】
本発明によれば、対象物における複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たすように、切り取り領域または切り取り領域に含まれる画像を移動させるので、画像の切り取り領域の場所ごとに背景が変化している場合であっても、背景情報の差異を抑えることができる。
【図面の簡単な説明】
【0020】
図1図1は、本発明の第1の実施の形態に係る教師データ作成装置の機能構成を示すブロック図である。
図2図2は、本発明の第1の実施の形態に係る教師データ作成装置のハードウェア構成を示すブロック図である。
図3図3は、本発明の第1の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。
図4図4は、本発明の第1の実施の形態に係る教師データ作成処理を説明するフローチャートである。
図5図5は、本発明の第1の実施の形態に係る変換処理を説明する図である。
図6図6は、本発明の第1の実施の形態に係る変換処理を説明する図である。
図7図7は、本発明の第1の実施の形態に係る変換処理を説明する図である。
図8図8は、本発明の第2の実施の形態に係る教師データ作成装置の機能構成を示すブロック図である。
図9図9は、本発明の第2の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。
図10図10は、本発明の第1の実施の形態に係る変換処理を説明する図である。
図11図11は、本発明の第1の実施の形態に係る変換処理を説明する図である。
図12図12は、本発明の第3の実施の形態に係る教師データ作成装置の機能構成を示すブロック図である。
図13図13は、本発明の第3の実施の形態に係る教師データ作成装置の動作を説明するフローチャートである。
図14図14は、本発明の第3の実施の形態に係る変換処理を説明するフローチャートである。
図15図15は、本発明の第3の実施の形態に係る教師データ作成処理を説明する図である。
図16図16は、本発明の第3の実施の形態に係る変換処理を説明する図である。
図17図17は、本発明の第3の実施の形態に係る変換処理を説明する図である。
図18図18は、従来の画像の切り取り方法による教師データ作成処理を説明する図である。
図19図19は、従来の画像の切り取り方法による教師データ作成処理を説明する図である。
【発明を実施するための形態】
【0021】
以下、本発明の好適な実施の形態について、図1から図17を参照して詳細に説明する。各図について共通する構成要素には、同一の符号が付されている。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態に係る教師データ作成装置1について説明する。
本実施の形態に係る教師データ作成装置1は、学習型判別器の学習に用いられる画像とラベルとの組み合わせからなる教師データを作成する。学習型判別器としては、例えば、ディープラーニングなど多層ニューラルネットワークが用いられる。学習型判別器は、教師データを用いた学習により、製品など対象物の画像における特徴量を抽出し、例えば、対象物が正常か異常であるかを判別する。
【0022】
教師データ作成装置1は、画像データ取得部(第1取得部)10、基準点設定部(第1基準点設定部)11、切り取り領域設定部12、判定部13、変換部14、記憶部15、および出力部16を備える。
【0023】
画像データ取得部10は、製品などの対象物の画像を取得する。画像データ取得部10は、例えば、外部に設置されたカメラなどから、通信ネットワークを介して、カメラなどによって撮像された対象物の画像を取得してもよい。また、画像データ取得部10は、予め用意されている対象物の画像を、記憶部15または外部の記憶装置から取得してもよい。
【0024】
画像データ取得部10は、取得された対象物の画像データに対して、フィルタリングなどによるノイズの除去や画像の明るさの正規化などを必要に応じて行う。また、画像データ取得部10は画像データを所定のサイズに揃える。画像データ取得部10によって取得された画像は、記憶部15に記憶される。
【0025】
ここで、本実施の形態で用いられる対象物の画像は、平面的な画像であり、幾何学的に類似している模様が続く背景を有する。具体的には、本実施の形態では、対象物の背景が同心円のパタンである場合を例に挙げて説明する。
【0026】
基準点設定部11は、画像データ取得部10によって取得された画像に含まれる背景画像を検出し、その背景画像の基準点を設定する。より詳細には、基準点設定部11は、予め定められている製品のキズや汚れなど、学習型判別器が、対象物の異常と正常とを判別することに直接関係する情報以外の画像情報を背景画像として検出する。基準点設定部11は、後述する対象物情報記憶部107cに予め記憶されている対象物および背景に関する情報を参照して上記背景画像の検出を行う。
【0027】
基準点設定部11は、同心円状の背景画像における円の中心点を背景画像の基準点として設定する。この基準点は、後述する切り取り領域設定部12、判定部13、および変換部14によって用いられる。基準点設定部11によって設定された基準点に関する情報は、記憶部15に記憶される。
【0028】
切り取り領域設定部12は、対象物の画像に対して、互いに異なる複数の切り取り領域を設定する。また、切り取り領域設定部12は、複数の切り取り領域のうちの基準点に応じた1つの切り取り領域を基準切り取り領域として設定する。切り取り領域設定部12は、例えば、背景画像の基準点を通る水平軸上(基準となる任意の軸上)に基準切り取り領域を設定してもよい。なお、切り取り領域は、教師データとして用いられる画像データを抽出するために、対象物の画像の一部に設定される領域である。
【0029】
また、切り取り領域設定部12は、基準点に対する切り取り領域および基準切り取り領域の位置および領域のサイズを設定する。例えば、各切り取り領域(基準切り取り領域)は、長方形の領域としてもよい。この場合、長方形のサイズは、各切り取り領域(基準切り取り領域)で同一とする。
【0030】
また、切り取り領域設定部12は、切り取り領域および基準切り取り領域それぞれの中心点を設定する。これらの中心点に関する情報は、後述する変換部14によって用いられる。
【0031】
判定部13は、複数の切り取り領域の画像に含まれる背景画像が予め設定されている基準を満たしているか否かを判定する。より詳細には、判定部13は、基準として、基準切り取り領域の画像に含まれる背景画像と、基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致するか否かを判定する。判定部13は、例えば、基準切り取り領域と切り取り領域の濃淡コードを作成し、濃淡値を比較して、値が一致する桁(ドット)が多いほど(予め設定された範囲)、画像の類似度が高い、すなわち「背景情報が一致する」と判定する。
【0032】
判定部13は、判定結果を各切り取り領域の情報と紐づけて記憶部15に記憶する。
【0033】
変換部14は、判定部13によって切り取り領域の画像に含まれる背景画像が基準を満たしていないと判定された切り取り領域が基準を満たすように切り取り領域を移動させる。
【0034】
より具体的には、変換部14は、基準点設定部11によって設定された対象物の背景画像の中心点(基準点)と切り取り領域の中心点とを結ぶ直線と、基準点を通る水平軸とのなす角が180°となる回転角度を算出する。変換部14は、判定部13によって背景情報が一致していないと判定された切り取り領域を、算出された回転角度だけ回転させて座標変換する。
【0035】
記憶部15は、変換部14によって移動された切り取り領域を水平な切り取り領域の画像として、予め定められた教師データのラベルと関連付けて記憶する。また、記憶部15は同様に、判定部13によって背景情報が一致すると判定された切り取り領域の画像についても、予め定められた教師データのラベルと関連付けて記憶する。
【0036】
出力部16は、記憶部15に記憶されている切り取り領域の画像とラベルとが関連付けられている教師データを、図示しない学習型判別器に出力する。出力部16は、例えば、通信ネットワークを介して学習型判別器が実装されている計算機に教師データを送出してもよい。また、出力部16は、表示画面において対象物の画像や、切り取り領域とラベルとが関連付けられた情報を提示してもよい。
【0037】
[教師データ作成装置のハードウェア構成]
次に、上述した機能を有する教師データ作成装置1のハードウェア構成について図2を用いて説明する。
【0038】
教師データ作成装置1は、バス101を介して接続されるCPU103と主記憶装置104とを有する演算装置102、通信制御装置105、カメラ106、外部記憶装置107、表示装置108等を備えるコンピュータと、これらのハードウェア資源を制御するプログラムによって実現することができる。
【0039】
CPU103と主記憶装置104とは、演算装置102を構成する。主記憶装置104には、CPU103が各種制御や演算を行うためのプログラムが予め格納されている。
【0040】
通信制御装置105は、教師データ作成装置1と各種外部電子機器との間を通信ネットワークNWを介して接続するための制御装置である。通信制御装置105は、教師データ作成装置1によって作成された教師データを、通信ネットワークNWを介して外部の機器などに送信してもよい。
【0041】
カメラ106は、教師データ作成装置1に接続されており、対象物である製品の光学像を撮像する。カメラ106は、2次元CCDなどのイメージセンサを用い、受光面(図示しない)に結像された光学像を電気信号に変換する。
【0042】
外部記憶装置107は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータなどの各種情報を読み書きするための駆動装置とで構成されている。外部記憶装置107には、記憶媒体としてハードディスクやフラッシュメモリなどの半導体メモリを使用することができる。外部記憶装置107は、画像データ記憶部107a、設定情報記憶部107b、対象物情報記憶部107c、教師データ記憶部107d、プログラム格納部107e、図示しないその他の格納装置で、例えば、この外部記憶装置107内に格納されているプログラムやデータなどをバックアップするための格納装置などを有することができる。
【0043】
画像データ記憶部107a、設定情報記憶部107b、および教師データ記憶部107dは、図1で説明した記憶部15に対応する。
画像データ記憶部107aは、カメラ106などから取得された対象物の画像を記憶する。
設定情報記憶部107bは、対象物の画像における基準点に関する設定情報や切り取り領域の位置やサイズに関する情報を記憶する。
教師データ記憶部107dは、座標変換が行われ、背景画像が揃った切り取り領域の画像と、予め定められているラベルとが関連付けられた教師データを記憶する。
【0044】
対象物情報記憶部107cは、対象物である製品などの異常に関する情報、対象物の背景情報などラベルに関する情報が記憶されている。演算装置102は、対象物情報記憶部107cに記憶されている対象物に関する情報に基づいて、画像に含まれる特徴量に関係する部分と、背景画像とを区別して検出する。
【0045】
プログラム格納部107eには、本実施の形態における画像データの取得処理、基準点の設定処理、切り取り領域の設定処理、背景画像における一致または不一致の判定処理、および変換処理など教師データ作成装置1が教師データを作成する際に必要な演算処理を実行するための各種プログラムが格納されている。
【0046】
表示装置108は、図1で説明した出力部16の表示画面を構成する。表示装置108は液晶ディスプレイなどによって実現される。
【0047】
[教師データ作成装置の動作]
次に、上述した構成を有する教師データ作成装置1の動作について、図3および図4のフローチャート、並びに図4および図5の説明図を用いて説明する。
【0048】
まず、画像データ取得部10は、対象物の画像を外部に設置されたカメラなどから取得する(ステップS1)。取得された画像は記憶部15に記憶される。次に、基準点設定部11は、取得された対象物の画像に含まれる背景画像を検出し、背景画像の基準点、すなわち回転の中心軸を背景画像に設定する(ステップS2)。
【0049】
図5に示すように、対象物の画像Aは、対象物に存在する欠陥など(「×」で示す点)と、同心円のパタンからなる背景画像とで構成される。基準点設定部11は、同心円の中心点Oを基準点として設定する。また、基準点設定部11は、背景画像の同心円の中心点Oを通る水平軸hを設定する。
【0050】
次に、切り取り領域設定部12は、対象物の画像において、複数の切り取り領域を規定するための中心点を設定する(ステップS3)。具体的には、切り取り領域設定部12は、図5に示すように、画像Aにおいて、互いに異なる切り取り領域a0、a1、a2、a3、a4を規定するため、中心点o、o1、o2、o3、o4を設定する。
【0051】
次に、切り取り領域設定部12は、設定した各切り取り領域の中心点に基づいて、予め定められている幅および高さの領域を、ステップS3で設定した各中心点に対して設ける(ステップS4)。例えば、図5に示すように、中心点o、o1、o2、o3、o4を中心として、互いに同じサイズの切り取り領域a0、a1、a2、a3、a4が設定される。
【0052】
また、切り取り領域設定部12は、切り取り領域a0、a1、a2、a3、a4のうち、水平軸h上にある切り取り領域a0を、基準切り取り領域として設定する。
【0053】
その後、判定部13は、基準切り取り領域の画像に含まれる背景画像と複数の切り取り領域のうち基準切り取り領域以外の切り取り領域の画像に含まれる背景画像との類似度が予め設定された範囲で一致しないと判定した場合には(ステップS5:NO)、変換部14による変換処理が実行される(ステップS6)。例えば、図5に示すように、切り取り領域a1、a2、a3、a4の背景画像はいずれも基準切り取り領域a0の背景画像と一致していない。よって判定部13は、これらの背景画像については互いに背景情報が一致していないと判定する。
【0054】
一方、基準切り取り領域の背景情報と一致する切り取り領域については(ステップS5:YES)、その切り取り領域の画像が抽出されて記憶部15に記憶される(ステップS7)。より詳細には、記憶部15は、背景情報が一致している切り取り領域の画像と、予め定められているラベルとを関連付けて教師データとして記憶する。
【0055】
ここで、変換部14による変換処理について図4のフローチャートを用いて説明する。
まず、変換部14は、対象物の画像に含まれる同心円の中心点(基準点)とその周辺に設定されている複数の切り取り領域の中心点とを結ぶ直線と、画像に設定された水平軸との角度が180°となる回転角度を求める(ステップS50)。
【0056】
より詳細には、変換部14は、図5に示すように、同心円の中心点Oと切り取り領域a1、a2、a3、a4の中心点o1、o2、o3、o4とを結ぶ点線で示される直線と、水平軸hとの角度が180°に達するための回転角度を算出する。なお、基準切り取り領域a0の中心点oと同心円の中心点Oとを結ぶ点線で示される直線l0は、水平軸h上にある。この場合、水平軸hの代わりに直線l0を用いて上記回転角度を算出してもよい。
【0057】
変換部14は、図5に示すように、切り取り領域a1については回転角度θ1、切り取り領域a2については回転角度θ2、切り取り領域a3については回転角度θ3、および切り取り領域a4については回転角度θ4をそれぞれ算出する。算出された回転角度は記憶部15に記憶される。
【0058】
次に、変換部14は、ステップS50で求めた回転角度を用いて、中心点O(基準点)を中心として各切り取り領域を回転させる(ステップS51)。図6および図7に示すように、変換部14によってそれぞれの回転角度θ1、θ2、θ3、θ4だけ回転した切り取り領域a1、a2、a3、a4の背景画像は、基準切り取り領域a0の背景画像とおおよそ一致している。
【0059】
その後、判定部13は、切り取り領域の画像における背景情報が互いに一致しているか否かを判定し、一致していると判定した場合(ステップS5:YES)、記憶部15は、変換処理を行った切り取り領域の画像を抽出して、教師データに用いる水平な画像として記憶する(ステップS7)。
【0060】
このとき、記憶部15は、予め定められているラベルと、抽出した各切り取り領域および基準切り取り領域の画像とを関連付けて教師データとして記憶する。また、出力部16は、記憶部15に記憶されている背景情報が互いに一致する切り取り領域および基準切り取り領域の画像を含む教師データを、通信ネットワークなどを介して学習型判別器に送出してもよい。
【0061】
以上説明したように、第1の実施の形態に係る教師データ作成装置1によれば、対象物の画像に設定された切り取り領域を移動させて、切り取り領域の背景情報を互いに一致させるので、分割された画像の切り取り場所ごとに背景画像が変化する場合であっても、背景画像の情報の差異を抑えることができる。
【0062】
その結果として、背景画像の情報の差異が抑えられた切り取り領域の画像とラベルとからなる教師データを用いて学習型判別器を学習させることができ、判別の精度を向上させることができる。
【0063】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、以下の説明では、上述した第1の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【0064】
第1の実施の形態に係る教師データ作成装置1では、複数の切り取り領域の画像に含まれる背景画像の各々の類似度が、予め設定された範囲で一致しているか否かを判定する場合について説明した。これに対し、第2の実施の形態に係る教師データ作成装置1Aは、切り取り領域の画像に含まれる背景画像の向きを検出する向き検出部17を備える。そして、判定部13は、向き検出部17の検出結果に基づいて切り取り領域の背景画像の向きが互いに一致するか否かを判定する。また、第1の実施の形態では、対象物の背景画像が同心円のパタンであったのに対し、第2の実施の形態では、背景画像として、合同な三角形と逆三角形が交互に並ぶパタンが用いられる。
以下、第1の実施の形態と異なる構成を中心に説明する。
【0065】
図8は、第2の実施の形態に係る教師データ作成装置1Aの機能構成を示すブロック図である。
基準点設定部11は、対象物の画像から、三角形と逆三角形とが交互に並ぶ背景画像を検出し、背景画像における基準点を設定する。本実施の形態では、基準点設定部11は、背景画像の基準点として一つの三角形を定める。
【0066】
切り取り領域設定部12は、対象物の画像において、交互に並ぶ三角形と逆三角形が一つずつ均等に収まるような切り取り領域を設定する。また、切り取り領域設定部12は、設定された複数の切り取り領域のうち、基準点として定められた三角形が含まれる切り取り領域を基準切り取り領域として設定する。
【0067】
向き検出部17は、基準切り取り領域の画像と切り取り領域の画像とに含まれる背景画像の向きを検出する。より詳細には、向き検出部17は、基準切り取り領域の三角形の向き、および各切り取り領域の三角形の向きを検出する。
【0068】
判定部13は、向き検出部17による検出結果に基づいて、基準切り取り領域の画像に含まれる背景画像の向きと、切り取り領域に含まれる画像それぞれの背景画像の向きとが予め設定された範囲で一致しているか否かを判定する。すなわち、判定部13は、切り取り領域の三角形の向きが基準切り取り領域の三角形の向きと一致しているか否かを判定する。
【0069】
変換部14は、切り取り領域の三角形の向きが、基準切り取り領域の三角形の向きと揃うように、切り取り領域の画像に含まれる背景画像の三角形自体を各切り取り領域内で移動させる。なお、変換部14による背景画像の移動の詳細については後述する。
【0070】
次に、上述した構成を有する教師データ作成装置1Aの動作について、図9のフローチャートを用いて説明する。
まず、画像データ取得部10は、対象物の画像を取得する(ステップS20)。
【0071】
次に、基準点設定部11は、対象物の画像において、基準点となる三角形を設定する(ステップS21)。より詳細には、基準点設定部11は、対象物情報記憶部107cに記憶されている対象物に関する情報を参照して、ステップS20で取得された対象物の画像から背景画像を検出する。基準点設定部11は、三角形が交互に並ぶパタンを有する背景画像において、基準点となる一つの三角形を設定する。
【0072】
具体的には、基準点設定部11は、図10に示すように、対象物の画像A1の背景画像を構成する複数の三角形のうち、紙面で最も左上に位置する三角形を基準とする三角形Rとして設定する。
【0073】
次に、切り取り領域設定部12は、背景画像を構成する複数の三角形が一つずつ収まるような切り取り領域を設定する(ステップS21)。具体的には、図10に示すように、対象物の画像A1を格子状に分割した切り取り領域を設定してもよい。なお、基準点として設定された三角形Rが存在する切り取り領域は、基準切り取り領域として設定される。
【0074】
次に、向き検出部17は、基準切り取り領域の画像と切り取り領域の画像とに含まれる背景画像の三角形の向きを検出する(ステップS23)。より具体的には、向き検出部17は、例えば、よく知られたハフ(Hough)変換などを用いた直線検出を行い、各切り取り領域における三角形の底辺の位置を検出する。向き検出部17は、検出した底辺が切り取り領域の上半分の領域に存在する場合には、その切り取り領域の背景の三角形は下向き、下半分の領域に存在する場合には、三角形は上向きと検出する。
【0075】
また、向き検出部17による三角形の向き検出の別の例として、向き検出部17は、図10に示すように、格子状の切り取り領域に分割された画像A1の切り取り領域および基準切り取り領域に対して縦方向および横方向にそれぞれ番号を振る。図10の例では、縦と横の番号の合計が偶数であれば、向き検出部17はその切り取り領域の三角形が上向き、奇数であれば下向きと判断する。
【0076】
次に、判定部13は、基準切り取り領域の三角形と切り取り領域の三角形の向きが異なる場合には、基準切り取り領域の画像に含まれる背景画像と切り取り領域の画像に含まれる背景情報が一致しないと判定し(ステップS24:NO)、変換部14による変換処理が実行される(ステップS25)。具体的には、図10に示すように、向き検出部17によって検出された切り取り領域の三角形の向きが下向きである場合には、判定部13は、その切り取り領域の背景情報は基準切り取り領域の背景情報と一致していないと判定する。
【0077】
次に、変換部14は、基準切り取り領域の背景情報と一致しないと判定された切り取り領域の画像に含まれる背景画像の向きが、基準切り取り領域の画像に含まれる背景画像の向きと予め設定された範囲で一致するように切り取り領域の画像に含まれる背景画像を移動させる(ステップS25)。
【0078】
より詳細には、変換部14は、切り取り領域に存在する下向きの三角形が上向きとなるように三角形自体を180°回転させる。例えば、三角形が正三角形である場合には、正三角形の重心を回転の中心として用いればよい。変換部14による変換処理後の画像A1は、図11に示すように、基準切り取り領域の三角形Rと各切り取り領域の三角形の向きが上向きに揃った状態となる。
【0079】
その後、記憶部15は、切り取り領域および基準切り取り領域の画像を抽出して、教師データに用いる画像として記憶する(ステップS26)。このとき、記憶部15は、予め定められているラベルと各切り取り領域および基準切り取り領域の画像とを関連付けて教師データとして記憶する。また、出力部16は、記憶部15に記憶されている背景画像の情報が互いに一致する画像を含む教師データを、通信ネットワークなどを介して学習型判別器に送出してもよい。
【0080】
以上説明したように、第2の実施の形態によれば、教師データ作成装置1Aは、対象物の画像の背景画像が、互いに合同な図形が複数並ぶパタンであっても、各図形に対して切り取り領域を設定し、検出した図形の向きに基づいて切り取り領域の画像に含まれる背景画像を移動させるので、切り取り領域の背景画像における情報の差異を抑えることができる。
【0081】
その結果として、背景画像の情報の差異が抑えられた切り取り領域の画像とラベルとからなる教師データを用いて学習型判別器を学習させて、判別の精度を向上させることができる。
【0082】
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。なお、以下の説明では、上述した第1および第2の実施の形態と同じ構成については同一の符号を付し、その説明を省略する。
【0083】
第1および第2の実施の形態に係る教師データ作成装置1、1Aでは、画像データ取得部10が外部のカメラや記憶装置から対象物の画像を取得し、取得された対象物の画像データ上に基準点や切り取り領域が設定される場合について説明した。これに対し、第3の実施の形態では、教師データ作成装置1Bは、画像データ取得部10の代わりに背景画像の中心点に関する情報を取得する中心点情報取得部(第2取得部)10Bを備える。また、切り取り領域設定部12は、対象物における互いに異なる切り取り領域の撮像画像を撮像部18から取得する。
【0084】
また、第3の実施の形態では、背景画像が第1の実施の形態と同様に同心円のパタンで構成される場合について説明する。
以下、第1および第2の実施の形態と異なる構成を中心に説明する。
【0085】
図12は、教師データ作成装置1Bの機能構成を示すブロック図である。
中心点情報取得部10Bは、対象物の背景における中心点に関する情報を取得する。中心点情報取得部10Bは、例えば、外部のカメラで撮像された対象物の画像や、記憶装置に記憶されている対象物に関する情報から、同心円状の背景の中心点の位置を示す情報を抽出する。
【0086】
基準点設定部(第2基準点設定部)11は、中心点情報取得部10Bによって取得された中心点に関する情報に基づいて、背景の基準点を設定する。本実施の形態では、この基準点は同心円の中心点に相当する。
【0087】
撮像部18は、例えば、2台のカメラ(図示しない)で実現され、対象物における互いに異なる複数の領域の画像(以下、「領域画像」という。)を撮像する。撮像部18は、対象物を異なる箇所で撮像する。撮像部18によって撮像された領域画像およびその対象物における位置などの情報は、記憶部15に記憶される。
【0088】
切り取り領域設定部12は、対象物の少なくとも一部の画像に対して切り取り領域を設定する。より詳細には、切り取り領域設定部12は、複数の領域画像を撮像部18から取得し、各領域画像の一部の領域を切り取り領域として設定する。また、切り取り領域設定部12は、基準点に対する切り取り領域の位置および領域のサイズを設定する。さらに、切り取り領域設定部12は、各切り取り領域の中心点を設定する。中心点に関する情報は、変換処理の際に変換部14によって用いられる。
【0089】
判定部13は、切り取り領域の基準点に対する相対的位置が予め設定された範囲で一致しているか否かを判定する。
【0090】
次に、上述した構成を有する教師データ作成装置1Bの動作について図13および図14のフローチャート、並びに図15の説明図を用いて説明する。
まず、中心点情報取得部10Bは、対象物における背景の中心点に関する情報を取得する(ステップS30)。次に、撮像部18は、対象物における互いに異なる領域画像を撮像する(ステップS31)。
【0091】
より詳細には、撮像部18は、図15に示すように、2つの互いに異なる領域画像c1、c2を撮像する。これらの領域画像c1、c2は撮像部18を構成する各カメラの視野の範囲を示している。
【0092】
次に、基準点設定部11は、中心点情報取得部10Bによって取得された対象物の背景の中心点に関する情報から、回転の中心軸となる基準点を設定する(ステップS32)。具体的には、基準点設定部11は、図15に示すように、中心点情報取得部10Bによって取得された同心円状の背景の中心点を示す情報に基づいて、背景の基準点を同心円の中心点Oに設定し、中心点Oを回転の中心軸として設定する。また、基準点設定部11は、中心点Oを通る水平軸h(図15の破線)を設定する。
【0093】
次に、切り取り領域設定部12は、撮像部18によって撮像された領域画像の中心点を設定する(ステップS33)。具体的には、切り取り領域設定部12は、図15に示すように、撮像部18によって撮像された領域画像c1、c2の中心点o1、o2を設定する。
【0094】
次に、切り取り領域設定部12は、各領域画像の中心点に基づいて、切り取り領域の幅および高さを設定する(ステップS34)。例えば、図15に示すように、切り取り領域設定部12は、中心点o1、o2に基づいて、予め定められている切り取り領域の幅および高さを設定し、切り取り領域c10、c20を規定する。
【0095】
その後、判定部13は、切り取り領域の中心点に対する相対的位置が予め設定された範囲で一致していない場合には(ステップS35:NO)、変換部14による変換処理が実行される(ステップS36)。
【0096】
例えば、図15に示すように、切り取り領域c10の中心点o1と背景の中心点Oとを結ぶ直線と、切り取り領域c20の中心点o2と背景の中心点Oとを結ぶ直線とのなす角を考える。このなす角の角度が、一定の値より大きい(または小さい)ような場合には、これら切り取り領域の画像に含まれる背景画像は予め設定されている基準を満たしておらず、背景情報が一致しないと判定される。
【0097】
次に、変換部14による変換処理について図14のフローチャートを用いて説明する。
変換部14は、変換処理を実行して切り取り領域の背景画像が互いに揃うように切り取り領域を移動させる。まず、変換部14は、各切り取り領域を移動させる回転角度を求める(ステップS350)。
【0098】
より詳細には、変換部14は、図15に示すように、ステップS32で設定された同心円状の背景の中心点O(基準点)と切り取り領域c10、c20の中心点o1、o2とをそれぞれ結ぶ直線と、水平軸hとのなす角が180°となるための回転角度を求める。変換部14は、切り取り領域c10については回転角度θ10、切り取り領域c20については回転角度θ20を求める。
【0099】
次に、変換部14は、求めた回転角度分だけ、中心点O(基準点)を中心として各切り取り領域を回転させる(ステップS351)。図16は、変換部14によって回転された切り取り領域c10、c20を示している。
【0100】
その後、回転された切り取り領域の背景情報が互いに一致していると判定されると(ステップS35)、記憶部15は、切り取り領域の画像を抽出し、教師データに用いる画像として記憶する(ステップS37)。具体的には、図17に示す水平な切り取り領域c10、c20の画像が記憶部15に記憶される。
【0101】
また、このときに記憶部15は、予め定められているラベルと各切り取り領域の画像とを関連付けて教師データとして記憶する。また、出力部16は、記憶部15に記憶されている背景画像の情報が互いに一致する画像を含む教師データを、通信ネットワークなどを介して学習型判別器に送出してもよい。
【0102】
以上説明したように、第3の実施の形態に係る教師データ作成装置1Bは、対象物における背景の中心点に関する情報と、撮像部18によって撮像された互いに異なる複数の切り取り領域の画像とに基づいて、切り取り領域の背景情報が互いに一致するように切り取り領域を移動させる。そのため、切り取り領域の背景画像における情報の差異を抑えることができる。
【0103】
また、その結果として、背景画像の情報の差異が抑えられた切り取り領域の画像とラベルとからなる教師データを用いて学習型判別器を学習させて、判別の精度を向上させることができる。
【0104】
以上、本発明の教師データ作成装置および教師データ作成方法における実施の形態について説明したが、本発明は説明した実施の形態に限定されるものではなく、請求項に記載した発明の範囲において当業者が想定し得る各種の変形を行うことが可能である。
【符号の説明】
【0105】
1、1A、1B…教師データ作成装置、10…画像データ取得部、10B…中心点情報取得部、11…基準点設定部、12…切り取り領域設定部、13…判定部、14…変換部、15…記憶部、16…出力部、17…向き検出部、18…撮像部、101…バス、102…演算装置、103…CPU、104…主記憶装置、105…通信制御装置、106…カメラ、107…外部記憶装置、107a…画像データ記憶部、107b…設定情報記憶部、107c…対象物情報記憶部、107d…教師データ記憶部、107e…プログラム格納部、108…表示装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19