IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -画像生成装置、画像生成方法及びプログラム 図1
  • -画像生成装置、画像生成方法及びプログラム 図2
  • -画像生成装置、画像生成方法及びプログラム 図3
  • -画像生成装置、画像生成方法及びプログラム 図4
  • -画像生成装置、画像生成方法及びプログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-09-22
(45)【発行日】2025-10-01
(54)【発明の名称】画像生成装置、画像生成方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20250924BHJP
【FI】
G06T7/00 350B
【請求項の数】 7
(21)【出願番号】P 2020084581
(22)【出願日】2020-05-13
(65)【公開番号】P2021179790
(43)【公開日】2021-11-18
【審査請求日】2023-04-14
【審判番号】
【審判請求日】2024-06-27
(73)【特許権者】
【識別番号】000005234
【氏名又は名称】富士電機株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】野間 拓耶
【合議体】
【審判長】中木 努
【審判官】廣川 浩
【審判官】河合 弘明
(56)【参考文献】
【文献】特開2020-60398(JP,A)
【文献】国際公開第2019/022136(WO,A1)
【文献】特開2005-156334(JP,A)
【文献】特開平4-123130(JP,A)
【文献】特開平3-249699(JP,A)
【文献】国際公開第2018/159775(WO,A1)
【文献】松岡 海登、外4名, “DNNによる外観検査自動化のための実画像らしさを考慮した画像生成手法の検討”, 第24回 画像センシングシンポジウム SSII2018, 日本, 画像センシング技術研究会, 2018年06月13日, 発行日, pp.1-6
【文献】佐藤 敦, “少量データのための深層学習技術”, 画像ラボ, 日本, 日本工業出版株式会社, 2020年03月10日, 発行日, Vol.31, No.3, pp.30-35
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00-7/90
G06V 10/00-10/98
(57)【特許請求の範囲】
【請求項1】
対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置であって、
前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部と、
前記一のクラスに属し、かつ、同一サイズの学習用画像の集合から、N(ただし、Nは2以上の整数)個の学習用画像を選択する画像選択部と、
M(ただし、Mは2以上N以下の整数)個の異なる確率分布を用いて、以上1以下の値を取るN-1個の乱数を生成する乱数生成部と、
前記N-1個の乱数を合成比として、前記N個の学習用画像の同一位置にある画素値同士を合成して新たな学習用画像を生成する画像生成部と、
を有する画像生成装置。
【請求項2】
前記M個の異なる確率分布には、ベータ分布が含まれる、請求項1に記載の画像生成装置。
【請求項3】
前記N-1個の乱数の値が0.0~0.2又は0.8~1.0のいずれかの範囲内となるように前記ベータ分布のパラメータが設定されている、請求項2に記載の画像生成装置。
【請求項4】
前記画像生成部は、
前記N個の学習用画像それぞれのサイズをI×J,前記N個の学習用画像それぞれの各画素値をxnij(ただし、n=1,・・・,N,1≦i≦I,1≦j≦J),前記N-1個の乱数をr,・・・,rN-1とした場合、r1ij+(1-r)r2ij+(1-r)(1-r)r3ij+・・・+(1-r)(1-r)・・・(1-rN-1)xNijにより前記新たな学習用画像の画素値yijを計算することで、前記N個の学習用画像を合成して前記新たな学習用画像を生成する、請求項1乃至3の何れか一項に記載の画像生成装置。
【請求項5】
前記学習用画像を記憶する記憶部を有し、
前記クラス選択部は、
前記複数のクラスのうち、前記記憶部に記憶されている学習用画像の中で当該クラスに属する学習用画像の数が最も少ないクラスを前記一のクラスとして選択する、請求項1乃至4の何れか一項に記載の画像生成装置。
【請求項6】
対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成方法であって、
前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択手順と、
前記一のクラスに属し、かつ、同一サイズの学習用画像の集合から、N(ただし、Nは2以上の整数)個の学習用画像を選択する画像選択手順と、
M(ただし、Mは2以上N以下の整数)個の異なる確率分布を用いて、以上1以下の値を取るN-1個の乱数を生成する乱数生成手順と、
前記N-1個の乱数を合成比として、前記N個の学習用画像の同一位置にある画素値同士を合成して新たな学習用画像を生成する画像生成手順と、
をコンピュータが実行する画像生成方法。
【請求項7】
対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置を、
前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部、
前記一のクラスに属し、かつ、同一サイズの学習用画像の集合から、N(ただし、Nは2以上の整数)個の学習用画像を選択する画像選択部、
M(ただし、Mは2以上N以下の整数)個の異なる確率分布を用いて、以上1以下の値を取るN-1個の乱数を生成する乱数生成部、
前記N-1個の乱数を合成比として、前記N個の学習用画像の同一位置にある画素値同士を合成して新たな学習用画像を生成する画像生成部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【0002】
近年、機械学習の発達に伴って、検査対象の外観を撮影した画像を入力して、この画像が正常画像又は異常画像のいずれであるかを分類する分類器が実用化されている。このような分類器は、例えば、入力画像と、この入力画像が正常画像又は異常画像のいずれであるかを示す正解ラベルとを含む学習データを用いて、ニューラルネットワーク等を教師あり学習の手法によって学習することで実現される。
【0003】
ここで、一般に、学習データ数が多いほど分類器の精度が向上することが知られているが、十分な数の正常画像や異常画像を準備できない場合がある。
【0004】
例えば、工場の生産ライン等では一般に不良率が低いため、十分な数の異常画像が得られない。これに対しては、学習用の異常画像を生成する従来技術として、異常画像に含まれる欠陥領域を人手で抽出し、正常画像に移植することで異常画像を生成する技術が知られている(例えば、特許文献1)。これ以外にも、画像に対して何等かの変換又は処理(例えば、幾何学変換(画像の水平反転や上下反転、回転、拡大・縮小、画像中の欠陥領域の平行移動等)、ノイズ付加、フィルタ処理等)を行うことで、学習用の正常画像や異常画像を生成する技術も知られている。
【0005】
また、例えば、異常画像のみを保存するシステムである場合には十分な数の正常画像が得られない。これに対しては、正常画像も保存するシステムを導入等することが考えられる。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2018-205123号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、十分の数の異常画像が得られない場合、上記の特許文献1に記載された技術では人手で欠陥領域を抽出する必要があり、多くの異常画像を生成する際には利用者の負担が大きく、多大な時間を要する。また、画像に対して何等かの変換又は処理を行う技術では、欠陥の特徴が消失してしまうことがある。例えば、欠陥領域を平行移動させた結果、当該欠陥領域の一部が画像内に含まれなくなったり、欠陥領域の縮小させた結果、当該欠陥領域が潰れてしまったりすることがある。
【0008】
一方で、十分な数の正常画像が得られない場合、正常画像も保存するシステムを導入等することは多大なコストを要する。
【0009】
本発明の実施形態は、上記の点に鑑みてなされたもので、学習用の画像を生成することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するため、一実施形態に係る画像生成装置は、対象物の外観検査に用いられる分類器を学習するための学習用画像を生成する画像生成装置であって、前記分類器に入力された画像が分類される複数のクラスのうちの一のクラスを選択するクラス選択部と、前記一のクラスに属する学習用画像の集合から、N(ただし、Nは2以上の整数)個の学習用画像を選択する画像選択部と、所定の確率分布から、0以上1以下の値を取るN-1個の乱数を生成する乱数生成部と、前記N-1個の乱数を合成比として、前記N個の学習用画像を合成して新たな学習用画像を生成する画像生成部と、を有する。
【発明の効果】
【0011】
学習用の画像を生成することができる。
【図面の簡単な説明】
【0012】
図1】本実施形態に係る画像生成装置の全体構成の一例を示す図である。
図2】画像集合の一例を示す図である。
図3】本実施形態に係る画像生成装置のハードウェア構成の一例を示す図である。
図4】本実施形態に係る画像生成処理の流れの一例を示すフローチャートである。
図5】画像合成の一例を説明するための図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態について説明する。本実施形態では、入力画像をクラス分類する分類器を学習するための学習用画像を生成する画像生成装置10について説明する。ここで、入力画像が分類されるクラスは、入力画像が正常画像である場合に分類される正常クラスと異常画像である場合に分類される異常クラスの2クラスであってもよいし、異常の種類毎に異常クラスが異なる多クラス(3つ以上のクラス)であってもよい。多クラスの例としては、例えば、「異常種類A」及び「異常種類B」の2種類の異常が存在する場合、正常クラスと、異常種類Aの異常画像である場合に分類される第1の異常クラスと、異常種類Bの異常画像である場合に分類される第2の異常クラスとの3クラスが挙げられる。一般に、Cを1以上の整数として、C種類の異常が存在する場合はC+1クラスが同様に定義される。
【0014】
上記の分類器(以下、「目的分類器」ともいう。)は、例えば、ニューラルネットワーク等の機械学習モデルにより実現され、画像とこの画像がいずれのクラスに属するかを表す教師データとを対応付けた学習用画像を用いて任意の最適化手法により学習される。以降では、各クラスのうちの少なくとも1つのクラスに属する学習用画像数が十分でないものとして、このクラスに属する学習用画像を生成する場合について説明する。なお、学習用画像数が十分でないとは、或る程度の数の学習用画像(例えば、数枚~数十枚程度の学習用画像)が得られているものの、目的分類器を学習した際に所望の精度が得られるまでの十分な数の学習用画像数が得られていないことを意味する。
【0015】
<全体構成>
まず、本実施形態に係る画像生成装置10の全体構成について、図1を参照しながら説明する。図1は、本実施形態に係る画像生成装置10の全体構成の一例を示す図である。
【0016】
図1に示すように、本実施形態に係る画像生成装置10は、クラス選択部101と、画像選択部102と、乱数生成部103と、画像生成部104と、記憶部105とを有する。
【0017】
記憶部105は、目的分類器を学習するための学習用画像を記憶する。例えば、正常クラス、第1の異常クラス及び第2の異常クラスの3クラス分類を行う目的分類器を学習する場合、図2に示すように、正常クラスに属する学習用画像1100の画像集合と、第1の異常クラスに属する学習用画像1200の画像集合と、第2の異常クラスに属する学習用画像1300の画像集合とが記憶部105に記憶されている。学習用画像1100は正常画像、学習用画像1200は異常種類Aの異常画像、学習用画像1300は異常種類Bの異常画像である。学習用画像1200には異常種類Aの異常個所1210が含まれ、学習用画像1300には異常種類Bの異常個所1310が含まれる。ここで、正常画像とは、例えば、外観検査で正常と判別される対象(例えば、製品や半製品等)を撮影した画像のことである。一方で、異常画像とは、例えば、外観検査で異常と判別される対象を撮影した画像のことである。なお、外観検査で異常と判別される対象としては、その外観に何等かの異常(例えば、傷やへこみ、色ムラ等の欠陥)がある対象等が挙げられる。図2に示す例では、例えば、異常種類Aは或る工程Aで発生する可能性があるキズAであり、異常種類Bは別の工程Bで発生する可能性があるキズBである。ただし、これは一例であって、例えば、異常種類Aはへこみ、異常種類Bは傷であってもよい。
【0018】
クラス選択部101は、予め決められた各クラスのうち、学習用画像を生成する対象となるクラス(以下、「対象クラス」ともいう。)を選択する。
【0019】
画像選択部102は、対象クラスに属する学習用画像のうち、新たな学習用画像の生成に用いられるN個の学習用画像をランダムに選択する。すなわち、画像選択部102は、記憶部105に記憶されている学習用画像のうち、対象クラスの画像集合からN個の学習用画像をランダムに選択する。ただし、Nは2以上の整数であり、予め設定される。
【0020】
乱数生成部103は、予め決められた所定の確率分布に従って0以上1以下のN-1個の乱数を生成する。
【0021】
画像生成部104は、乱数生成部103により生成された乱数を用いて、画像選択部102により選択された学習用画像を合成することで、新たな学習用画像を生成する。なお、新たな学習用画像は、対象クラスに属する学習用画像として記憶部105に保存される。
【0022】
<ハードウェア構成>
次に、本実施形態に係る画像生成装置10のハードウェア構成について、図3を参照しながら説明する。図3は、本実施形態に係る画像生成装置10のハードウェア構成の一例を示す図である。
【0023】
図3に示すように、本実施形態に係る画像生成装置10は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置201と、表示装置202と、外部I/F203と、通信I/F204と、プロセッサ205と、メモリ装置206とを有する。これら各ハードウェアは、それぞれがバス207を介して通信可能に接続されている。
【0024】
入力装置201は、例えば、キーボードやマウス、タッチパネル等である。表示装置202は、例えば、ディスプレイ等である。なお、画像生成装置10は、入力装置201及び表示装置202のうちの少なくとも一方を有していなくてもよい。
【0025】
外部I/F203は、外部装置とのインタフェースである。外部装置には、記録媒体203a等がある。画像生成装置10は、外部I/F203を介して、記録媒体203aの読み取りや書き込み等を行うことができる。記録媒体203aには、例えば、画像生成装置10が有する各機能部(クラス選択部101、画像選択部102、乱数生成部103及び画像生成部104)を実現する1以上のプログラムが格納されていてもよい。
【0026】
なお、記録媒体203aには、例えば、CD(Compact Disc)、DVD(Digital Versatile Disc)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
【0027】
通信I/F204は、画像生成装置10を通信ネットワークに接続するためのインタフェースである。なお、画像生成装置10が有する各機能部を実現する1以上のプログラムは、通信I/F204を介して、所定のサーバ装置等から取得(ダウンロード)されてもよい。
【0028】
プロセッサ205は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の各種演算装置である。画像生成装置10が有する各機能部は、例えば、メモリ装置206等に格納されている1以上のプログラムがプロセッサ205に実行させる処理により実現される。
【0029】
メモリ装置206は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等の各種記憶装置である。画像生成装置10が有する記憶部105は、メモリ装置206を用いて実現可能である。なお、記憶部105は、例えば、画像生成装置10と通信ネットワークを介して接続される記憶装置(例えば、データベースサーバ等)を用いて実現されていてもよい。
【0030】
本実施形態に係る画像生成装置10は、図3に示すハードウェア構成を有することにより、後述する画像生成処理を実現することができる。なお、図3に示すハードウェア構成は一例であって、画像生成装置10は、他のハードウェア構成を有していてもよい。例えば、画像生成装置10は、複数のプロセッサ205を有していてもよいし、複数のメモリ装置206を有していてもよい。
【0031】
<画像生成処理>
次に、本実施形態に係る画像生成処理の流れについて、図4を参照しながら説明する。図4は、本実施形態に係る画像生成処理の流れの一例を示すフローチャートである。
【0032】
まず、クラス選択部101は、予め決められた各クラスの中から対象クラスを選択する(ステップS101)。このとき、例えば、予め決められた各クラスの中から1つのクラスをユーザが選択することで対象クラスが選択されてもよいし、学習用画像数が所定の基準値未満のクラスや学習用画像数が最も少ないクラスを対象クラスとして選択されてもよい。なお、所定の基準値としては、例えば、目的分類器を学習した際に所望の精度が得られることが経験的に確認された値等が設定される。
【0033】
ここで、上記のステップS101では、全てのクラス又は複数のクラスが対象クラスとして選択されてもよい。この場合、対象クラス毎に、以降のステップS102~ステップS104が繰り返し実行されればよい。
【0034】
次に、画像選択部102は、対象クラスの画像集合から、新たな学習用画像の生成に用いられるN個の学習用画像をランダムに選択する(ステップS102)。
【0035】
次に、乱数生成部103は、所定の確率分布に従って0以上1以下のN-1個の乱数を生成する(ステップS103)。予め決められた所定の確率部分としては、確率変数の取り得る値を0以上1以下とした任意の確率分布を用いることが可能であるが、例えば、ベータ分布を用いることが可能である。ベータ分布を用いる場合、そのパラメータには任意の値を設定することが可能であるが、例えば、乱数として0.0~0.2又は0.8~1.0の範囲内の値が多く生成されるような値をパラメータに設定することが好ましい。
【0036】
以降では、乱数生成部103により生成されたN個の乱数をr,・・・,rN-1と表す。なお、これらN個の乱数r,・・・,rN-1はその全てが同一の確率分布に従って生成されてもよいし、複数の確率分布を用いて、各確率分布に従う乱数を合計N個生成されてもよい。例えば、2つの確率分布を用いる場合、第1の確率分布に従う乱数r,・・・,rと、第2の確率分布に従う乱数rK+1,・・・,rN-1とが生成されてもよい。同様に、例えば、3つの確率分布を用いる場合、第1の確率分布に従う乱数r,・・・,rと、第2の確率分布に従う乱数rK+1,・・・,rと、第3の確率分布に従う乱数rL+1,・・・,rN-1とが生成されてもよい。4つ以上の確率分布を用いる場合も同様である。なお、K及びLは1<K<L<N-1を満たす整数である。
【0037】
次に、画像生成部104は、上記のステップS103で生成された乱数r,・・・,rN-1を用いて、上記のステップS102で選択されたN個の学習用画像を合成することで、新たな学習用画像を生成する(ステップS104)。なお、新たな学習用画像は、対象クラスに属する学習用画像として記憶部105に保存される。
【0038】
・N=2の場合
一例として、N=2、対象クラスを「第1の異常クラス」として、上記のステップS102で学習用画像1200-mと学習用画像1200-mとが選択された場合について説明する。なお、簡単のため、r=rとする。
【0039】
このとき、画像生成部104は、図5に示すように、乱数rを合成比として、学習用画像1200-mの各画素値と学習用画像1200-mの各画素値とを合成することで、新たな学習用画像1200-mを生成する。なお、学習用画像1200-m中の異常個所1210-mは学習用画像1200-m中の異常個所1210-mに対応し、異常個所1220-mは学習用画像1200-m中の異常個所1210-mに対応する。
【0040】
上記の合成に関してより具体的に説明すると、例えば、学習用画像1200の横方向の画素数(横方向のサイズ)をI、縦方向の画素数(縦方向のサイズ)をJとして、学習用画像1200-mの各画素値をx1ij、学習用画像1200-mの各画素値をx2ijとする。このとき、各i,jに対して、新たな学習用画像1200-mの各画素値yijは以下で計算される。
【0041】
ij=rx1ij+(1-r)x2ij
これにより、対象クラスに属する新たな学習用画像1200-mが生成される。
【0042】
なお、上述したように、乱数rを生成するための確率分布としてベータ分布を用いる場合、0.0~0.2又は0.8~1.0の範囲内の値が多く生成されるような値をパラメータに設定することが好ましい。これは、乱数rの値が0.0~0.2又は0.8~1.0の範囲内にある方が、目的分類器を学習した際により高い精度が得られる学習用画像を生成することが可能であることが実験により確認されたためである。
【0043】
・N≧3の場合
より一般に、N≧3の場合について説明する。この場合、乱数r,・・・,rN-1を合成比として、N個の学習用画像の各画素値を合成することで、新たな学習用画像を生成する。すなわち、上記のステップS102で選択されたN個の学習用画像それぞれの画素値をxnij(ただし、n=1,・・・,N)とすれば、各i,jに対して、新たな学習用画像の各画素値yijは以下で計算される。
【0044】
ij=r1ij+(1-r)r2ij+(1-r)(1-r)r3ij+・・・+(1-r)(1-r)・・・(1-rN-1)xNij
これにより、対象クラスに属する新たな学習用画像が生成される。
【0045】
なお、図4に示す画像生成処理では新たな学習用画像を1つ生成する場合について説明したが、新たな学習用画像を複数生成する場合には上記のステップS101~ステップS104を繰り返し実行すればよい。また、新たな学習用画像を複数生成する際に、対象クラスを固定したい場合は上記のステップS102~ステップS104のみを繰り返せばよい。同様に、合成比として用いられる乱数を固定したい場合は上記のステップS103を繰り返しから除外すればよい。また、例えば、新たな学習用画像が或る所定の数生成されるごとに上記のステップS103を再実行し、合成比として用いられる新たな乱数を生成してもよい。
【0046】
<まとめ>
以上のように、本実施形態に係る画像生成装置10は、同一クラスに属するN個の学習用画像と、所定の確率分布に従うN-1個の合成比とを用いて、これらN個の学習用画像を合成して新たな学習用画像を生成する。これにより、本実施形態に係る画像生成装置10は、当該クラスに属する学習用画像を増やすことが可能となる(言い換えれば、当該クラスのデータ拡張を行うことが可能となる。)。
【0047】
しかも、このとき、N個の学習用画像の組み合わせをランダムに選択すると共に合成比を様々な確率分布から生成することができるため、当該クラスに属する学習用画像の特徴量を多様化し、バリエーションを増やすことが可能となる。また、N個の学習用画像を合成するという単純な処理で新たな学習用画像を生成することが可能であるため、例えば、専門家の知識やデータ(画像)の種類に依存せずに、かつ、手間やコストをかけずにデータ拡張を行うことが可能となる。このため、これらの学習用画像を用いて学習を行うことで、所望の精度を満たす目的分類器の構築が期待できる。
【0048】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。例えば、新たな学習用画像に対して既知のデータ拡張(幾何学変換やノイズ付加、フィルタ処理等)を実施して新たな学習用画像を更に増やしてもよいし、記憶部105に記憶されている学習用画像に対して既知のデータ拡張を実施して学習用画像を増やした上で、新たな学習用画像を生成してもよい。
【符号の説明】
【0049】
10 画像生成装置
101 クラス選択部
102 画像選択部
103 乱数生成部
104 画像生成部
105 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス
図1
図2
図3
図4
図5