IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌ・ティ・ティ・コムウェア株式会社の特許一覧

特許7112924情報処理装置、情報処理方法、およびプログラム
<>
  • 特許-情報処理装置、情報処理方法、およびプログラム 図1
  • 特許-情報処理装置、情報処理方法、およびプログラム 図2
  • 特許-情報処理装置、情報処理方法、およびプログラム 図3
  • 特許-情報処理装置、情報処理方法、およびプログラム 図4
  • 特許-情報処理装置、情報処理方法、およびプログラム 図5
  • 特許-情報処理装置、情報処理方法、およびプログラム 図6
  • 特許-情報処理装置、情報処理方法、およびプログラム 図7
  • 特許-情報処理装置、情報処理方法、およびプログラム 図8
  • 特許-情報処理装置、情報処理方法、およびプログラム 図9
  • 特許-情報処理装置、情報処理方法、およびプログラム 図10
  • 特許-情報処理装置、情報処理方法、およびプログラム 図11
  • 特許-情報処理装置、情報処理方法、およびプログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-27
(45)【発行日】2022-08-04
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06F 16/906 20190101AFI20220728BHJP
   G06N 20/00 20190101ALI20220728BHJP
【FI】
G06F16/906
G06N20/00 130
【請求項の数】 4
(21)【出願番号】P 2018178825
(22)【出願日】2018-09-25
(65)【公開番号】P2020052519
(43)【公開日】2020-04-02
【審査請求日】2021-03-02
【新規性喪失の例外の表示】特許法第30条第2項適用 株式会社ビジネスコミュニケーション社 ビジネスコミュニケーション 8月号 第55巻 第8号 お客様のビジネス課題を解決する画像認識AIサービス「Deeptector」 第26~27頁 発行日 平成30年8月1日
(73)【特許権者】
【識別番号】397065480
【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(72)【発明者】
【氏名】池松 大志
(72)【発明者】
【氏名】箕浦 大祐
(72)【発明者】
【氏名】宮下 直也
(72)【発明者】
【氏名】下鳥 藤江
(72)【発明者】
【氏名】兒玉 松男
(72)【発明者】
【氏名】阪上 あずさ
【審査官】木村 大吾
(56)【参考文献】
【文献】特開昭56-090307(JP,A)
【文献】特開平09-113351(JP,A)
【文献】特開2018-005773(JP,A)
【文献】特開2018-005639(JP,A)
【文献】特開2001-250101(JP,A)
【文献】特開2008-282391(JP,A)
【文献】栗原 司,高次局所自己相関特徴による病理画像からの異常検出手法,情報処理学会研究報告 平成22年度▲5▼ [CD-ROM] ,日本,一般社団法人情報処理学会,2011年02月15日
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
G06N 20/00-20/20
(57)【特許請求の範囲】
【請求項1】
正常な判定対象に関する複数の特徴量を取得する取得部と、
前記取得部により取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換する変換部と、
ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けることで、前記変換部により変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定する設定部と、
判定対象に関する判定対象データに基づいて前記判定対象の特徴量を抽出する特徴量抽出部を備え、抽出した特徴量の特徴空間を、前記変換部により変換された特徴空間に変換する判定対象取得部と、
前記判定対象取得部により特徴空間が変換された特徴量が前記設定部により設定された前記範囲内である場合、前記判定対象取得部により取得された特徴量が正常であると判定し、前記判定対象取得部により取得された特徴量が前記設定部により設定された前記範囲内ではない場合、前記判定対象取得部により取得された特徴量が異常であると判定する判定部と、を備え、
前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、情報処理装置。
【請求項2】
前記正常な判定対象に関する判定対象データを、所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデルの処理パラメータを学習する学習処理部を更に備え、
前記特徴量抽出部は、前記所定の規則に従って判定対象データを分割し、分割されたデータのそれぞれを用いて前記判定対象の特徴量を抽出し、
前記判定部は、前記認識モデルに基づいて、分割されたデータのそれぞれを用いて抽出された特徴量を用いて判定する、
請求項に記載の情報処理装置。
【請求項3】
情報処理装置が、正常な判定対象に関する複数の特徴量を取得するステップと、
前記情報処理装置が、取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換するステップと、
前記情報処理装置が、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定するステップと、
判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出し、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換するステップと、
前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定するステップと、を備え、
前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である
情報処理方法。
【請求項4】
コンピュータに、
正常な判定対象に関する複数の特徴量を取得させ、
取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換させ、
ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定させ、
判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出させ、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換させ、
前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定させ、
前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
例えば画像に対して画像認識を行って画像内に含まれる対象を認識する技術がある。この画像認識技術においては、近年、ニューラルネットワークを多層化したディープラーニング技術を利用して高い精度で対象を認識することが行われている。このディープラーニング技術は、一般的にはニューラルネットワークの入力層と出力層との間の中間層において複数段階に亘って層を重ねることにより高い精度で対象を認識する。
【0003】
上述のディープラーニング技術によって対象物体をする判定パターンとしては、検出型、分類型、レベル判定型といったものが挙げられる。検出型の判定器は、対象物体の種類、大きさ、確信度を検出する。分類型の判定器は、対象物体の異常・正常を検出する。レベル判定型の判定器は、例えば画像の不適切度などの度合いを数字で表す。
【0004】
いずれの判定器も、認識処理を行うために、対象物体を撮像した正常データ、および対象物体の異常な状態を撮像した異常データを教師データとして収集し、収集した教師データを学習モデルに入力する必要がある。そして、例えば、正常データを入力した場合には正常である(正常度合いが高い)と判定し、異常データを入力した場合には異常である(異常度合いが高い)と判定するように学習モデルにおける処理パラメータを学習する必要があった。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2012-073761号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、異常な対象物体を収集することが困難な場合があり、この場合、正常データの収集数よりも異常データの収集数が少なくなり、当該正常データおよび異常データを教師データとして構築した学習モデルの判定結果は、十分な精度ではない可能性がある。
【0007】
本発明は、上記の課題に鑑みてなされたものであって、正常な状態を表すデータの特徴量を用いた判定処理の精度を向上することができる情報処理装置、情報処理方法、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
(1)本発明の一態様は、正常な判定対象に関する複数の特徴量を取得する取得部と、前記取得部により取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換する変換部と、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けることで、前記変換部により変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定する設定部と、判定対象に関する判定対象データに基づいて前記判定対象の特徴量を抽出する特徴量抽出部を備え、抽出した特徴量の特徴空間を、前記変換部により変換された特徴空間に変換する判定対象取得部と、前記判定対象取得部により特徴空間が変換された特徴量が前記設定部により設定された前記範囲内である場合、前記判定対象取得部により取得された特徴量が正常であると判定し、前記判定対象取得部により取得された特徴量が前記設定部により設定された前記範囲内ではない場合、前記判定対象取得部により取得された特徴量が異常であると判定する判定部と、を備え、前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、情報処理装置である。
【0014】
)本発明の一態様は、上記の情報処理装置であって、前記正常な判定対象に関する判定対象データを、所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデルの処理パラメータを学習する学習処理部を更に備え、前記特徴量抽出部は、前記所定の規則に従って判定対象データを分割し、分割されたデータのそれぞれを用いて前記判定対象の特徴量を抽出し、前記判定部は、前記認識モデルに基づいて、分割されたデータのそれぞれを用いて抽出された特徴量を用いて判定する。
【0015】
)本発明の一態様は、情報処理装置が、正常な判定対象に関する複数の特徴量を取得するステップと、前記情報処理装置が、取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換するステップと、前記情報処理装置が、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定するステップと、判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出し、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換するステップと、前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定するステップと、を備え、前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、情報処理方法である。
【0016】
)本発明の一態様は、コンピュータに、正常な判定対象に関する複数の特徴量を取得させ、取得された複数の特徴量から特徴量を複数選択することで、選択した前記複数の特徴量の特徴空間を変換させ、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けることで、変換された前記特徴空間において特徴量が正常であると判定するための範囲を設定させ、判定対象に関する判定対象データに基づいて前記判定対象の特徴量を特徴量抽出部で抽出させ、抽出した前記判定対象の特徴量の特徴空間を、前記特徴空間に変換させ、前記特徴空間が変換された前記判定対象の特徴量が、前記範囲内である場合、前記判定対象の特徴量が正常であると判定し、前記判定対象の特徴量が前記範囲内ではない場合、前記判定対象の特徴量が異常であると判定させ、前記特徴量抽出部は、前記正常な判定対象に関する判定対象データが入力された場合に当該判定対象が正常であると判定するように処理パラメータが学習された認識モデルのうち、当該判定対象が正常であるか否かを判定する分類器に与える特徴量を抽出する特徴量抽出器である、プログラムである。
【発明の効果】
【0017】
本発明の一態様によれば、正常な状態を表すデータの特徴量を用いた判定処理の精度を向上することができる。
【図面の簡単な説明】
【0018】
図1】本発明を適用した実施形態の画像判定装置1の機能的な構成を示すブロック図である。
図2】本発明を適用した画像判定装置1の学習処理および認識処理を示す図である。
図3】畳み込みニューラルネットワーク300の一例を示す図である。
図4】特徴空間を変換する一例を示す図であり、(a)は、次元A,B,Cにより特定される特徴空間を表す図であり、(b)は、次元D,E,Fにより特定される特徴空間を表す図であり、(c)は、次元G,Hにより特定される特徴空間を表す図であり、(d)は、次元I,J,K,Lにより特定される特徴空間を表す図ある。
図5】特徴空間を変換したことによる複数の特徴量のばらつきについて説明するための図であり、(a)は特徴空間(A,B,C)における特徴量の分布を示す図であり、(b)は特徴空間(D,E)における特徴量の分布を示す図である。
図6】特徴空間に判定領域を設定する処理を示す図である。
図7】学習処理の一例を示すフローチャートである。
図8】正常判定処理の一例を示すフローチャートである。
図9】入力画像を分割することを説明するための概略図である。
図10】畳み込みニューラルネットワーク300Aの一例を示す図である。
図11】第2の実施形態における判定処理の一例を示すフローチャートである。
図12】第2の実施形態における判定処理の他の一例を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、本発明を適用した情報処理装置、情報処理方法、およびプログラムを、図面を参照して説明する。
【0020】
本発明を適用した実施形態の情報処理装置は、例えば、図1に示すような画像判定装置1に備えられる。図1は、本発明を適用した実施形態の画像判定装置1の機能的な構成を示すブロック図である。画像判定装置1は、認識処理の処理パラメータを学習して、認識モデルを構築する。画像判定装置1は、認識モデルを用いた処理によって画像を判定するものである。画像判定装置1は、画像の判定を行うことにより、判定結果に基づいて対象物体が正常か否かを検査させることができる。なお、この実施形態の説明は、画像判定装置1が画像を認識するものについて説明するが、本発明に係る情報処理装置はこれに限定されない。情報処理装置は、例えば、対象物体の検査音や作業音などの音が正常か否かを判定するものであってもよく、後述する正常データによって認識モデルを構築し、認識モデルを用いて正常か否かを判定するものであればよい。
【0021】
画像判定装置1は、学習画像蓄積部10と、学習処理部20と、認識処理部30と、判定結果管理部40と、インターフェース部50と、学習制御部70とを有する。画像判定装置1は、ソフトウェアを実行する制御装置および記憶部を有するコンピュータである。画像判定装置1は、CPU(Central Processing Unit)などのプロセッサが記憶部(不図示)に記憶されているプログラムを実行することによって機能するソフトウェア機能部である。また、画像判定装置1は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってよい。画像判定装置1において情報を記憶する記憶部(14、32、42、72、74)は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory),ROM(Read Only Memory),またはRAM(Random Access Memory)等により実現される。また、記憶部には、ファームウェアやアプリケーションプログラム等の各種プログラム、各種機能部による処理結果、および外部から取得した情報などが記憶される。
【0022】
学習画像蓄積部10は、画像変換部12と、学習画像データベース14とを有する。画像変換部12は、学習処理に使用される正例画像の入力を受け付ける。正例画像とは、例えば、正常な状態の対象物体を撮像した画像である。なお、正例画像には、当該正例画像の属性情報(タグ、クラス)が付加されない。画像変換部12は、前処理として、例えば、正例画像を、所定のサイズの画像に分割する。画像変換部12は、前処理を施した画像を学習画像として学習画像データベース14に蓄積する。学習画像データベース14には、画像変換部12により分割された正例画像が学習画像として複数蓄積される。なお、画像判定装置1には随時正例画像が供給され、正例画像が供給されたことに応じて後述する学習処理を行ってもよい。
【0023】
学習処理部20には、学習画像蓄積部10から出力された学習画像が供給される。学習処理部20は、学習画像を用いて認識処理を行い、判定結果を得る。学習処理部20は、正常であるという判定結果となるように認識処理部30(認識モデル32A)の処理パラメータを学習し、学習結果データを生成する。認識処理部30(認識モデル32A)の処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ(重み、バイアスともいう)である。学習結果データは、認識処理部30における学習結果データ記憶部32に記憶される。
【0024】
認識処理部30は、例えば、学習結果データ記憶部32と、判定部34とを有する。学習結果データ記憶部32には、学習結果としての認識処理部30の処理パラメータが蓄積され、認識処理部30の処理パラメータは、学習処理部20によって更新される。認識処理部30は、対象物体の入力画像を取得した場合、認識処理部30の処理パラメータに基づく認識モデル32Aを用いて特徴量を抽出する。判定部34は、抽出した特徴量に基づいて、対象物体が正常であるか否かを判定する。認識処理部30は、判定部34による判定結果を判定結果管理部40に出力する。
【0025】
判定結果管理部40は、判定結果データ記憶部42を有する。判定結果データ記憶部42は、認識処理部30により出力された判定結果を蓄積する。判定結果管理部40は、判定情報をインターフェース部50に出力して、インターフェース部50により判定結果を出力させる。
【0026】
判定結果管理部40における判定結果データ記憶部42には、管理端末60が接続されていてもよい。管理端末60は、管理者が操作するユーザインターフェース部62を有するコンピュータにより実現される。ユーザインターフェース部62は、ユーザによる操作を受け付ける操作部、およびユーザに各種情報を提示する表示部を有する。管理端末60は、ユーザインターフェース部62により受け付けられた操作に基づいて、異常と判定された正例画像を特定する。管理端末60は、例えば、異常と判定された正例画像のファイル名やIDなどの情報を修正結果として学習制御部70に出力する。管理端末60から学習制御部70に出力された修正結果は、再学習データ記憶部72に蓄積される。
【0027】
認識処理部30は、任意の画像の認識を実施する場合、外部から認識対象となる画像が供給される。認識処理部30により未知の画像に対して認識処理を行った結果は、判定結果データ記憶部42に記憶され、未知の画像と共に管理端末60に読み込まれる。そして、管理端末60によって判定結果が修正された場合、未知の画像は、修正結果が付加されて学習制御部70に供給される。
【0028】
学習制御部70は、再学習データ記憶部72および繰り返し学習データ記憶部74を有する。学習制御部70には、判定結果管理部40から出力された判定結果および管理端末60から出力された修正結果が供給される。学習制御部70は、異常と判定された正例画像を、再学習データ記憶部72に記憶させる。すなわち、再学習データは、正常であると判定されるべきであるが、異常と判定された正例画像である。
【0029】
学習制御部70は、繰り返し学習データを作成する。学習制御部70は、再学習データ記憶部72に記憶された再学習データと、学習画像データベース14に記憶された学習画像とを組み合わせて、繰り返し学習データ(学習対象データ)を作成する。この繰り返し学習データは、繰り返し学習データ記憶部74に記憶される。
【0030】
インターフェース部50は、画像判定装置1の外部の装置と通信を行う通信インターフェースにより実現される。インターフェース部50は、判定結果を判定結果管理部40から入力して、当該判定結果を管理端末60に出力する。インターフェース部50は、管理端末60から修正結果が供給されたことに応じて、修正結果を学習制御部70に出力する。
【0031】
図2は、本発明を適用した画像判定装置1の学習処理および認識処理を示す図である。学習処理部20には、正例画像100が複数供給される。認識処理部30は、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)300により実現される。畳み込みニューラルネットワーク300は、中間層としての複数の特徴量抽出部(畳み込み層、フィルタ部とも呼ばれる)310と、判別部(出力層とも呼ばれる)320とを有する。
【0032】
なお、学習処理部20による学習手法は、畳み込みニューラルネットワークの処理パラメータの設定であってもよく、その他の機械学習手法でもよく、学習結果データ記憶部32には、学習手法に応じた学習結果が記憶される。認識処理部30は、学習結果データ記憶部32に記憶された学習結果に基づいて判定結果を得ることとなる。
【0033】
特徴量抽出部310には、判定対象として入力画像120が入力される。入力画像120には対象物体の異常を表す黒点が含まれているものとする。特徴量抽出部310は、それぞれ、例えば、入力されたデータにフィルタ係数に基づくフィルタリング(乗算処理)を行い、フィルタリング後の画像(特徴)にバイアス値を加算することで特徴量を抽出する。上述した認識処理部30の処理パラメータは、例えば、特徴量抽出部310におけるフィルタ係数である。特徴量抽出部310は、入力画像120に含まれる特徴量を抽出し、判定部34に供給する。
【0034】
判定部34は、特徴量抽出部310から供給された特徴量が所定の領域(正常領域500)に含まれる場合、正常であると判定し、特徴量抽出部310から供給された特徴量が所定の領域に含まれない場合、異常であると判定する。判定部34は、判定結果として、マップ200を生成する。マップ200は、対象物体の箇所に、当該箇所が正常であるか否かを表す画像をマッピングした画像データである。マップ200には、入力画像120において異常と判定された箇所を特定する部分画像200aが含まれる。
【0035】
図3は、畳み込みニューラルネットワーク300の一例を示す図である。畳み込みニューラルネットワーク300は、認識モデル32Aに相当する。畳み込みニューラルネットワーク300は、例えば、複数の特徴量抽出部310-1、310-2と、判別部320とを備える。特徴量抽出部310-1と判別部320との間には、一つの特徴量抽出部310-2があるが、これに限定されず、複数の特徴量抽出部310が存在していてもよい。
【0036】
特徴量抽出部310-1は、複数の要素310-1aを備える。各要素310-1aは、上述したように、フィルタ処理を行うことで画像の特徴量を抽出する。特徴量抽出部310-1の各要素310-1aには判定対象としての入力画像が入力される。要素310-1aに入力される画像は、入力画像を所定の第1のサイズに分割した画像122である。要素310-1aは、入力された画像の特徴量を抽出し、抽出した特徴量を上位層としての特徴量抽出部310-2における所定の要素310-2aに供給する。なお、特徴量抽出部310-1から特徴量が供給される特徴量抽出部310-2は、予め設定されている。
【0037】
特徴量抽出部310-2は、複数の要素310-2aを備える。要素310-2aは、複数の要素310-1aのそれぞれから特徴量が供給される。要素310-2aは、複数の特徴量に基づいて、上述したようにフィルタ処理を行うことで第2のサイズの画像124の特徴量を抽出する。第2のサイズの特徴量を抽出する。第2のサイズは、第1のサイズよりも大きい。要素310-2aは、抽出した特徴量を、判別部320ではなく、判定部34に供給する。
【0038】
判別部320は、特徴量抽出部310-2により抽出された特徴量に基づいて、判別処理を行う。判別部320は、正常であるか否かを判定するものであってもよく、正常である度合いを数値(レベル)で出力するものであってもよい。
【0039】
図4図5および図6は、判定部34の処理を説明するための図である。
図4は、特徴空間を変換する一例を示す図である。図4(a)は、次元A,B,Cにより特定される特徴空間を表す図であり、図4(b)は、次元D,E,Fにより特定される特徴空間を表す図であり、図4(c)は、次元G,Hにより特定される特徴空間を表す図であり、図4(d)は、次元I,J,K,Lにより特定される特徴空間を表す図ある。
【0040】
特徴量は、例えば、多次元の特徴ベクトル(a,b,c・・・・)を表すデータとして表現される。特徴ベクトル(a,b,c・・・・)において、例えば、aはA次元の値であり、bはB次元の値であり、cはC次元の値である。特徴ベクトルの次元数は、対象物体の特徴の数に相当する。例えば、対象物体が人間の顔である場合、目(A)、鼻(B)、口(C)、耳(D)という4個(4次元)の特徴があり、それぞれの特徴(A,B,C,D)に値(a,b,c,d)が存在する。
【0041】
判定部34は、特徴量を表す特徴ベクトルの次元、および次元数を選択することにより、特徴空間を変換する。判定部34は、特徴ベクトルに含まれる次元のうち、複数の特徴量が適度にまとまっている次元を選択する学習処理を行う。判定部34が図4(a)の特徴空間(A,B,C)を選択した場合、複数の特徴量は、当該特徴空間(A,B,C)において、特徴ベクトルの次元のうちA,B,Cの次元の値a,b,cに基づいて分布する。
【0042】
判定部34は、図4(a)に示す特徴空間(A,B,C)を、図4(b)に示す特徴空間(D,E,F)に変換してよい。D,E,Fという特徴は、A,B,Cという特徴とは異なる特徴である。これにより、複数の特徴量は、当該特徴空間(D,E,F)において、特徴ベクトルの次元のうちD,E,Fの次元の値d,e,fに基づいて分布する。この結果、判定部34は、特徴空間を変換することで、特徴量の分布を変更することができる。
【0043】
判定部34は、図4(a)に示す特徴空間(A,B,C)を、図4(c)に示す特徴空間(G,H)に変換してよい。すなわち、判定部34は、特徴を減らすことで特徴空間を変換してよい。G,Hという特徴は、A,B,Cという特徴とは異なる特徴である。これにより、複数の特徴量は、当該特徴空間(G,H)において、特徴ベクトルの次元のうちG,Hの次元の値g,hに基づいて分布する。この結果、判定部34は、特徴空間を変換することで、特徴量の分布を変更することができる。なお、判定部34は、特徴空間(A,B,C)を、同じ特徴の特徴空間(A,B)のように減じてよい。
【0044】
判定部34は、図4(a)に示す特徴空間(A,B,C)を、図4(d)に示す特徴空間(I,J,K,L)に変換してよい。I,J,K,Lという特徴は、A,B,Cという特徴とは異なる特徴である。すなわち、判定部34は、特徴を増やすことで特徴空間を変換してよい。これにより、複数の特徴量は、当該特徴空間(I,J,K,L)において、特徴ベクトルの次元のうちI,J,K,Lの次元の値i,j,k,lに基づいて分布する。この結果、判定部34は、特徴空間を変換することで、特徴量の分布を変更することができる。
【0045】
図5は、特徴空間を変換したことによる複数の特徴量のばらつきについて説明するための図である。図5(a)は特徴空間(A,B,C)における特徴量の分布を示す図であり、図5(b)は特徴空間(D,E)における特徴量の分布を示す図である。判定部34は、特徴量抽出部310から供給された特徴量を示す特徴ベクトルのうち値a,b,cに従って特徴量を分布させる。この場合、複数の特徴量は、図5(a)に示すように、特徴空間(A,B,C)における広範囲に分布している。そこで、判定部34は、特徴空間を、特徴空間(A,B,C)から特徴空間(D,E)に変換する。すると、複数の特徴量は、図5(b)に示すように、特徴空間(D,E)に対応する値d,eに従って分布する。これにより、判定部34は、特徴空間(D,E)が特徴空間(A,B,C)よりも狭い範囲に複数の特徴量を分布させることができると学習することができる。このように、判定部34は、特徴空間を変換して特徴量の分布を観測することで、対象物体の判定に適切な特徴空間を学習させることができる。
【0046】
図6は、特徴空間に判定領域を設定する処理を示す図である。判定部34は、特徴空間を決定した後、当該特徴空間に正常領域500を設定する。判定部34は、例えば、異常検知率および/または正常検知率を表す情報を受け付ける。判定部34は、例えば、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付ける。異常検知率および/または正常検知率を表す情報は、異常検知率および/または正常検知率を表す値(パラメータ)であってよい。
【0047】
判定部34は、異常検知率を増加させ、正常検知率を減少させる場合、図6(a)のように狭い正常領域500を設定する。これにより、判定部34は、正常領域500に含まれない特徴量が発生する確率を高くすることができる。判定部34は、異常検知率を減少させ、正常検知率を増加させる場合、図6(b)のように広い正常領域500を設定する。これにより、判定部34は、正常領域500に含まれる特徴量が発生する確率を低くすることができる。
【0048】
判定部34は、ユーザの操作に基づいて異常検知率および/または正常検知率を表す情報を受け付けるので、ユーザのタスク(課題)に応じて適切な正常領域500を設定することができる。すなわち、多数の対象物体のうち正常でない対象物体を厳密に抽出したい場合には、正常領域500を狭く設定することができる。多数の対象物体のうち正常な対象物体から大幅に逸脱している対象物体を主として抽出したい場合には、正常領域500を広く設定することができる。
【0049】
図7は、学習処理の一例を示すフローチャートである。
画像判定装置1は、まず正例画像を入力する(ステップS100)。正例画像は、学習画像データベース14に蓄積される。学習処理部20は、正例画像を用いて学習処理を行う(ステップS102)。なお、正常判定処理において入力画像を分割する場合には、ステップS102の学習処理において、入力画像を分割し、分割した複数の画像を用いて学習を行うことが望ましい。これにより、学習処理部20は、認識モデル32Aにおける処理パラメータを学習する。学習処理部20は、学習画像データベース14に蓄積された正例画像を用いた認識モデル32Aの学習が終了したか否かを判定する(ステップS104)。学習処理部20は、例えば、学習画像データベース14に蓄積された全ての正例画像を用いた場合、認識モデル32Aの学習処理が終了したと判定する(ステップS104:YES)。学習処理部20は、認識モデル32Aの学習処理が終了していない場合(ステップS104:NO)、ステップS100からの処理を繰り返す。
【0050】
次に、認識モデル32Aにおける特徴量抽出部310は、複数の特徴量を抽出する(ステップS106)。特徴量抽出部310は、例えば、学習処理に用いた一つの正例画像から複数の特徴量を抽出する。特徴量抽出部310は、学習処理に用いた複数の正例画像のそれぞれから複数の特徴量を抽出してよい。特徴量抽出部310は、学習処理に用いていない画像から複数の特徴量を抽出してよい。各特徴量は、上述したように、例えば要素310-2aから出力された特徴量であってよいが、要素310-1aから出力された特徴量であってもよい。
【0051】
次に、判定部34は、特徴空間を設定する(ステップS108)。判定部34は、例えば特徴量を表す特徴ベクトルがN(Nは自然数)次元である場合、任意の次元を複数選択することで特徴空間を設定する。判定部34は、複数の特徴量のばらつきが適切であるか否かを判定する(ステップS110)。判定部34は、複数の特徴量のばらつきが適切である場合(ステップS110:YES)、特徴空間の学習を完了してステップS112に処理を進める。判定部34は、複数の特徴量のばらつきが適切ではない場合(ステップS110:NO)、特徴空間の再設定をする(ステップS108)。
【0052】
次に、判定部34は、学習した特徴空間に正常領域500を設定する(ステップS112)。これにより、画像判定装置1は、認識モデル32Aの処理パラメータを学習し、特徴量が正常であるか否かを判定する特徴空間を学習し、特徴空間に正常領域500を設定することができる。
【0053】
図8は、正常判定処理の一例を示すフローチャートである。
まず画像判定装置1は、入力画像を取得する(ステップS200)。画像判定装置1は、取得した入力画像を分割する(ステップS202)。図9は、入力画像を分割することを説明するための概略図である。画像判定装置1は、入力画像120を、所定のサイズに分割して、複数の分割画像120Aを取得する。画像判定装置1は、分割画像120Aを、認識モデル32Aの特徴量抽出部310に入力する(ステップS204)。なお、入力画像のサイズが分割する必要が無い場合、ステップS202はスキップされる。
【0054】
次に判定部34は、特徴量抽出部310から特徴量を取得する(ステップS206)。判定部34は、取得した特徴量の特徴空間を、学習処理において学習済みの特徴空間に変換する(ステップS208)。例えば、取得した特徴量が特徴ベクトル(a,b,c,d,e,f,・・・・)により表現され、学習済みの特徴空間が特徴空間(D,E)である場合、特徴ベクトルのうち(d,e)を特徴量として取得し、特徴空間(D,E)にマッピングする。これにより、判定部34は、取得した特徴量の特徴空間を変換する。
【0055】
次に判定部34は、正常判定処理を行う(ステップS210)。正常判定処理は、取得した特徴量(d,e)が、学習済みの特徴空間(D,E)において設定した正常領域500の範囲内であるか否かを判定する。判定部34は、正常判定処理が終了したか否かを判定する(ステップS212)。判定部34は、分割画像120Aの全てについて正常判定処理を行っていない場合(ステップS212:NO)、未処理の分割画像120AについてステップS204以降の処理を行う。判定部34は、分割画像120Aの全てについて正常判定処理を行った場合(ステップS212:YES)、処理をステップS214に進める。
【0056】
判定部34は、正常判定処理の判定結果に基づいて、マップを作成する(ステップS214)。判定部34は、正常領域500内の特徴量が得られた入力画像位置よりも、正常領域500外の特徴量が得られた入力画像位置が目立つようにマップを作成する。判定部34は、作成したマップを、例えば管理端末60に出力する(ステップS216)。
【0057】
なお、本実施形態において、判定部34が取得する特徴量は、特徴量抽出部310から出力された特徴量であるものとしたが、これに限定されず、対象の特徴量を抽出することができるものであれば、認識モデル32Aの特徴量抽出部310でなくてもよい。
【0058】
以上説明した実施形態によれば、正常な判定対象に関する複数の特徴量の特徴空間におけるばらつきに基づいて複数の特徴量の特徴空間を変換し、変換された特徴空間において特徴量が正常であると判定するための範囲を設定する。すなわち、画像判定装置1によれば、正例のみの特徴量が適度なばらつきを持つように特徴空間を学習することができる。具体的に、画像判定装置1は、入力画像の特徴量が、学習済みの正常領域500内である場合、当該特徴量が正常であると判定し、特徴量が正常領域500内ではない場合、特徴量が異常であると判定することができる。これにより、画像判定装置1によれば、正例のみの特徴量を用いた判定処理の精度を向上することができる。
【0059】
また、画像判定装置1によれば、入力画像の特徴量の特徴空間を、学習した特徴空間に変換し、特徴空間が変換された入力画像の特徴量を用いて判定するので、適度なばらつきとなるように学習した特徴空間で入力画像を判定することができる。
【0060】
さらに、画像判定装置1によれば、ユーザの操作に基づいて正常領域500が包含する特徴空間における領域を変化させることができる。これにより、画像判定装置1によれば、タスクに応じて正常領域500を変更することができる。例えば、異常検知率を高くして異常を精密に調査したい合には正常領域500を狭く設定し、異常検知率を低くして明らかな異常を抽出したい場合には正常領域500を広く設定することができる。この結果、画像判定装置1は、ユーザの利便性を向上させることができる。
【0061】
さらに、画像判定装置1によれば、正例画像を所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデル32Aの処理パラメータを学習する。また、画像判定装置1によれば、入力画像を所定の規則に従って複数の画像に分割し、それぞれの画像について判定処理を行うことができる。これにより、画像判定装置1によれば、入力画像を縮小するなどの処理により対象物体の特徴がつぶれてしまい、誤判定をすることを抑制することができる。
【0062】
<第2の実施形態>
以下、第2の実施形態について説明する。第2の実施形態の画像判定装置1は、畳み込みニューラルネットワーク300Aにおける複数の特徴量抽出部310のうち、任意の階層の特徴量抽出部310から特徴量を抽出して、判定対象が正常であるか否かを判定する点で、第1の実施形態の画像判定装置1とは相違する。以下、当該相違点を中心に説明する。
【0063】
図10は、畳み込みニューラルネットワーク300Aの一例を示す図である。畳み込みニューラルネットワーク300Aは、複数の特徴量抽出部310を備える。畳み込みニューラルネットワーク300Aは、複数の畳み込みニューラルネットワーク300のうち少なくとも一つの特徴量抽出部310から複数の特徴量を判定部34に出力する。
【0064】
畳み込みニューラルネットワーク300Aにおける特徴量抽出部310-1、310-2のうち、下位層の特徴量抽出部310-1は、第1のサイズの特徴量300a-1を抽出して、当該複数の特徴量を判定部34に出力する。第1のサイズの特徴量300a-1は、上位層の特徴量抽出部310-2により抽出される第2のサイズの特徴量300a-2よりも、小さいサイズの特徴量である。
【0065】
判定部34は、特徴量抽出部310-1により抽出された特徴量300a-1と、特徴量抽出部310-2により抽出された特徴量300a-2とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する。
【0066】
図11は、第2の実施形態における判定処理の一例を示すフローチャートである。
画像判定装置1は、例えば、ユーザの操作に基づいて判定処理のタスクを受け付ける(ステップS300)。画像判定装置1は、例えば、対象物体の微小な異常を判定したいというタスク、または、対象物体の大きな異常を判定したいというタスクを受け付ける。対象物体の微小な異常は、例えば、対象物体(生産品など)の細かい傷である。対象物体の大きな異常は、例えば、室内などの所定の空間において存在する異物である。
【0067】
画像判定装置1は、特徴量抽出部310により画像を入力した後(ステップS204)ステップS300において受け付けたタスクに基づいて、特徴量抽出部310を選択する(ステップS302)。画像判定装置1は、例えば、対象物体の微小な異常を判定したいというタスクを受け付けた場合、第1のサイズの異常を抽出する特徴量抽出部310-1を選択する。画像判定装置1は、例えば、対象物体の大きな異常を判定したいというタスクを受け付けた場合、第2のサイズの異常を抽出する得特徴量抽出部310-2を選択する。次に画像判定装置1は、選択した特徴量抽出部310から特徴量を取得する(ステップS304)。そして、画像判定装置1は、取得した特徴量を用いて、特徴空間の変換(ステップS208)、および正常判定処理(ステップS210)を行う。
【0068】
図12は、第2の実施形態における判定処理の他の一例を示すフローチャートである。
画像判定装置1は、特徴量抽出部310により画像を入力した後(ステップS204)複数の特徴量抽出部310を選択する(ステップS302#)。複数の特徴量抽出部310は、例えば、それぞれ抽出する特徴量のサイズが異なる特徴量抽出部310である。次に画像判定装置1は、選択した複数の特徴量抽出部310から特徴量を取得する(ステップS304#)。
【0069】
次に画像判定装置1は、1つの特徴量抽出部310から抽出した複数の特徴量ごとに、特徴空間の変換(ステップS208#)、および正常判定処理(ステップS306#)を行う。画像判定装置1は、例えば、2つの特徴量抽出部310-1,310-2を選択した場合、特徴量抽出部310-1により抽出された複数の特徴量の特徴空間の変換および第1の正常判定処理と、特徴量抽出部310-2により抽出された複数の特徴量の特徴空間の変換および第2の正常判定処理と、を並行して実行する。
【0070】
画像判定装置1は、正常判定処理(ステップS306#)において、複数の正常判定処理の判定結果に基づいて、対象物体が正常であるか否かを判定する。画像判定装置1は、例えば、2つの特徴量抽出部310-1,310-2を選択した場合、第1の正常判定処理の判定結果と、第2の正常判定処理の判定結果とに基づいて、対象物体が正常であるか否かを判定する。画像判定装置1は、例えば、ある空間において第2のサイズの特徴量を用いた第2の正常判定処理の判定結果が“異常”であった場合、当該第2の特徴量を得るために用いた第1のサイズの特徴量を特定する。画像判定装置1は、特定した第1のサイズの特徴量を用いた第1の正常判定処理の判定結果に基づいて、第1のサイズ(微小)な異常を検出する。
【0071】
なお、画像判定装置1は、第1の正常判定処理と第2の正常判定処理とを並行して実行するのに限らず、第2の正常判定処理の判定結果に基づいて、特徴量抽出部310-1により抽出した第1のサイズの特徴量を用いた特徴空間の変換および第1の正常判定処理を実行するか否かを判定してよい。すなわち、画像判定装置1は、第2のサイズの特徴量を用いた第2の正常判定処理により異常と判定されなかった場合、第1のサイズの特徴量を用いた特徴空間の変換および第1の正常判定処理を実行せず、第2のサイズの特徴量を用いた第2の正常判定処理により異常と判定された場合、第1のサイズの特徴量を用いた特徴空間の変換および第1の正常判定処理を実行する。これにより、画像判定装置1は、まず、大まかな異常を判定し、大まかな異常がある場合に、微小な異常を判定することができる。この結果、画像判定装置1は、大まかな異常と微小な異常とに基づいて対象物体の異常を解析することができる。また、画像判定装置1は、大まかな異常がない場合、微小な異常のための処理を削減することができる。
【0072】
なお、画像判定装置1は、第1の正常判定処理と第2の正常判定処理とを並行して実行するのに限らず、第1の正常判定処理の判定結果に基づいて、特徴量抽出部310-2により抽出した第2のサイズの特徴量を用いた特徴空間の変換および第2の正常判定処理を実行するか否かを判定してよい。すなわち、画像判定装置1は、第1のサイズの特徴量を用いた第1の正常判定処理により異常と判定されなかった場合、第2のサイズの特徴量を用いた特徴空間の変換および第2の正常判定処理を実行せず、第1のサイズの特徴量を用いた第1の正常判定処理により異常と判定された場合、第2のサイズの特徴量を用いた特徴空間の変換および第2の正常判定処理を実行する。これにより、画像判定装置1は、まず、微小な異常を判定し、微小な異常がある場合に、大まか異常を判定することができる。この結果、画像判定装置1によれば、微小な異常がある場合に、当該微小な異常が大まかな異常に影響するかを解析することができる。また、画像判定装置1は、微小な異常がない場合、大まかな異常のための処理を削減することができる。
【0073】
以上説明した第2の実施形態の画像判定装置1によれば、第1のサイズの判定対象データから特徴量を抽出する第1の特徴量抽出部(310-1)と、第1のサイズとは異なる第2のサイズの判定対象データから特徴量を抽出する第2の特徴量抽出部(310-2)と、第1の特徴量抽出部により抽出された特徴量と、第2の特徴量抽出部により抽出された特徴量とのうち少なくとも一方の特徴量に基づいて判定対象が正常であるか否かを判定する判定部34と、を備える。これにより、画像判定装置1によれば、タスクによって異なる特徴量を用いて判定対象が正常であるか否かを判定することができ、ユーザの利便性を向上させることができる。
【0074】
また、第2の実施形態の画像判定装置1によれば、特徴量抽出部310および判別部320を含む畳み込みニューラルネットワーク300Aのうち、特徴量抽出部310を用いて特徴量を抽出することができる。
【0075】
さらに、第2の実施形態の画像判定装置1によれば、特徴量抽出部310-1、および特徴量抽出部310-2という二つの特徴量抽出部310を、同じ学習データを用いて生成することができる。
【0076】
さらに、第2の実施形態の画像判定装置1によれば、特徴量抽出部310-1により抽出された特徴量と特徴量抽出部310-2により抽出された特徴量との何れか一方の特徴量を用いて正常判定処理を行うので、ユーザが望むタスクに応じて二つの特徴量抽出部310を使い分けることができ、ユーザの利便性を向上させることができる。
【0077】
さらに、第2の実施形態の画像判定装置1によれば、特徴量抽出部310-1により抽出された特徴量と特徴量抽出部310-2により抽出された特徴量との双方の特徴量を用いて正常判定処理を行うので、例えば、大まかな異常が検出された箇所で、微小な異常を判定するなど、正常判定処理の判定精度を向上させることができる。
【0078】
さらに、第2の実施形態の画像判定装置1によれば、正例画像を所定の規則に従って複数の分割データに分割し、分割された分割データのそれぞれを用いて認識モデル32Aの処理パラメータを学習する。また、画像判定装置1によれば、入力画像を所定の規則に従って複数の画像に分割し、それぞれの画像について判定処理を行うことができる。これにより、画像判定装置1によれば、入力画像を縮小するなどの処理により対象物体の特徴がつぶれてしまい、誤判定をすることを抑制することができる。
【0079】
なお、各実施形態、各変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の1または複数の実施形態や他の1または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。
【0080】
なお、本実施形態における画像判定装置1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、画像判定装置1に係る上述した種々の処理を行ってもよい。
【0081】
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリなどの書き込み可能な不揮発性メモリ、CD-ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
【0082】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic
Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。
【0083】
ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0084】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【符号の説明】
【0085】
1 画像判定装置
10 学習画像蓄積部
12 画像変換部
14 記憶部
14 学習画像データベース
20 学習処理部
30 認識処理部
32 学習結果データ記憶部
32A 認識モデル
34 判定部
40 判定結果管理部
42 判定結果データ記憶部
50 インターフェース部
60 管理端末
62 ユーザインターフェース部
70 学習制御部
72 再学習データ記憶部
74 学習データ記憶部
300、300A ニューラルネットワーク
310、310-1、310-2 特徴量抽出部
320 判別部
500 正常領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12