特許 7644329 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-04

(45)【発行日】2025-03-12

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250305BHJP

   G06F 11/07 20060101ALI20250305BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610B

G06F11/07 151

【請求項の数】 7

(21)【出願番号】P 2020203259

(22)【出願日】2020-12-08

(65)【公開番号】P2022090761

(43)【公開日】2022-06-20

【審査請求日】2023-12-06

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】齋竹 良介

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１９－１１８８１４（ＪＰ，Ａ）

【文献】成田 穂、大村 大毅、立花 隆輝，画像中の位置への重み付けを活用した異常値検出手法，ＳＳＩＩ２０１８ Ｔｈｅ ２４ｔｈ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓｅｎｓｉｎｇ ｖｉａ Ｉｍａｇｅ Ｉｎｆｏｒｍａｔｉｏｎ ，日本，画像センシング技術研究会，2018年06月26日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ １１／０７

(57)【特許請求の範囲】

【請求項1】

入力画像から正常画像を再構成する再構成手段と、
前記入力画像と前記再構成手段により再構成された画像とにおいて、異常クラスと判断された根拠を示すデータを出力する第１の出力手段と、
前記入力画像と前記再構成された画像との差分と、前記第１の出力手段により出力されたデータとに基づき、前記入力画像における異常箇所を識別可能に示した画像を出力する第２の出力手段と、
を備え、
前記第１の出力手段は、前記入力画像に対しては活性化関数としてＲｅｌｕを用いて異常クラスと判断された根拠を示すデータを出力し、前記再構成された画像に対しては活性化関数として絶対値を用いて異常クラスと判断された根拠を示すデータを出力すること
を特徴とする情報処理システム。

【請求項2】

前記第２の出力手段は、前記第１の出力手段により出力された、前記入力画像に係る異常クラスと判断された根拠を示すデータと、前記再構成された画像に係る異常クラスと判断された根拠を示すデータとを足し合わせたデータと、前記入力画像と前記再構成された画像との差分とに基づき、前記入力画像における異常箇所を識別可能に示した画像を出力することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記再構成手段は、正常画像を用いて学習されたＡｕｔｏｅｎｃｏｄｅｒに前記入力画像を入力することで、当該入力画像から正常画像を再構成することを特徴とする請求項１または２に記載の情報処理システム。

【請求項4】

前記第１の出力手段は、Convolutional Neural Networkにより異常クラスと判断された根拠を示すデータを出力することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

入力画像と、前記入力画像からＡｕｔｏｅｎｃｏｄｅｒを用いて再構成された再構成画像との差分を示す第１データと、
Convolutional Neural Networkにより特定された前記入力画像における異常箇所について、活性化関数としてＲｅｌｕを用いて出力されたヒートマップと、Convolutional Neural Networkにより特定された前記再構成画像における異常箇所について、活性化関数として絶対値を用いて出力されたヒートマップと、を足し合わせた第２データと、
に基づき、前記入力画像における異常箇所を識別可能に示した画像を出力する出力手段を備えることを特徴とする情報処理システム。

【請求項6】

情報処理システムの再構成手段が、入力画像から正常画像を再構成する再構成工程と、
前記情報処理システムの出力手段が、前記入力画像と前記再構成工程により再構成された画像とにおいて、異常クラスと判断された根拠を示すデータを出力する第１の出力工程と、
前記情報処理システムの検出手段が、前記入力画像と前記再構成された画像との差分と、前記出力手段により出力されたデータとに基づき、前記入力画像における異常箇所を識別可能に示した画像を出力する第２の出力工程と、
を備え、
前記第１の出力工程は、前記入力画像に対しては活性化関数としてＲｅｌｕを用いて異常クラスと判断された根拠を示すデータを出力し、前記再構成された画像に対しては活性化関数として絶対値を用いて異常クラスと判断された根拠を示すデータを出力すること
を特徴とする情報処理方法。

【請求項7】

コンピュータを、請求項１乃至５のいずれか１項に記載の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、工業部品や食品などの製造工程における外観検査にディープラーニングが活用されている。製造工程において、起こりえるすべての異常パターンを事前に想定することは難しいため、予期せぬ未知の異常にも対応できる異常検知技術が望まれている。しかし、未知の異常に対応できるディープラーニングの異常検知手法は、既知の異常パターンの情報を活用できないという欠点を持つ。

【0003】

そこで、特許文献１には、未知の異常にも既知の異常にも対応できる異常検知技術について開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｓｐａｔｉａｌｌｙ－ｗｅｉｇｈｔｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８１０．０２６０７）

【発明の開示】

【発明が解決しようとする課題】

【0005】

特許文献１には、画像単位で異常を検知する技術が記載されている。しかし、画像のどこに異常があるか検知する異常箇所検知が必要となる場合には適さないという課題がある。また、ＡＩ（ディープラーニングの手法により学習された学習済みモデル）の出力が必ず正しいことを前提としているため、ＡＩの間違いを織り込んだ手法となっていない。

【0006】

そこで本発明は、より高い精度で異常箇所を検知できる技術の提供を目的とする。

【課題を解決するための手段】

【0007】

本発明の情報処理システムは、入力画像から正常画像を再構成する再構成手段と、前記入力画像と前記再構成手段により再構成された画像とにおける異常クラスの判断根拠を出力する出力手段と、前記入力画像と前記再構成された画像との差分と、前記出力手段により出力された異常クラスの判断根拠とに基づき、前記入力画像における異常箇所を検出する検出手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、より高い精度で異常箇所を検知できる技術の提供が可能となる。また、ＡＩによる出力結果が正しくないケーズにおいても、高い精度の異常箇所検知が可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態における、異常箇所検知のシステム構成の一例を示す図である。

【図2】本発明の実施形態における、情報処理装置１０１のハードウェア構成の一例を示すブロック図である。

【図3】本発明の実施形態における、情報処理装置１０１の機能構成の一例を示す図である。

【図4】本発明の実施形態における、入力画像に対して異常箇所検知を行う処理の一例を示すフローチャートである。

【図5】正常クラスの判断根拠と異常クラスの判断根拠を比較した図

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0011】

図１は、本発明の実施形態における異常箇所検知のシステム構成の一例を示す図である。

【0012】

異常箇所検知システムは、情報処理装置１０１と外部装置１０２とがネットワーク１１０を介して通信可能に接続されたシステムである。
情報処理装置１０１は、ユーザにより操作される装置であり、処理対象となる画像を受け付け、図４のフローチャートで示す処理の実行、処理結果（異常箇所検知結果）の表示等を行う。

【0013】

外部装置１０２は、処理対象の画像の管理などを行う。

【0014】

なお、本実施例においては、情報処理装置１０１が図４のフローチャートの処理を実行するものとして説明するが、外部装置１０２が実行する形態であってもよい。また、処理対象の画像の管理など、外部装置１０２で行うものとして説明した処理について、情報処理装置１０１で行ってもよい。
図２は、本発明の情報処理装置１０１、外部装置１０２のハードウェア構成の一例を示すブロック図である。

【0015】

図２に示すように、情報処理装置１０１、外部装置１０２は、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0016】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。
ＲＯＭ２０２あるいは外部メモリ２１３は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
入力コントローラ２０５は、キーボード２１０や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。

【0017】

また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。
なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１２上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１２上の不図示のマウスカーソル等でのユーザ指示を可能とする。
次に図３を参照して、本発明の実施形態における各種装置の機能構成の一例について説明する。
情報処理装置１０１は、画像取得部４０１、画像再構成部４０２、誤差画像生成部４０３、ヒートマップ生成部（Ａｂｓ）４０４、ヒートマップ生成部（ＲｅＬＵ）４０５、ヒートマップ統合部４０６、重みづけ部４０７、出力部４０８からなる。

【0018】

画像取得部４０１は、処理対象となる入力画像を取得し、画像再構成部４０２、誤差画像生成部４０３、ヒートマップ生成部（ＲｅＬＵ）４０５に渡す。

【0019】

画像再構成部４０２は、画像取得部４０１から画像を受け取り、その画像の正常画像を再構成する。その後、再構成した画像を誤差画像生成部４０３とヒートマップ生成部（Ａｂｓ）４０４に渡す。

【0020】

誤差画像生成部４０３は、画像取得部４０１と画像再構成部４０２から受け取った画像の差をとることで誤差画像を生成し、重みづけ部４０７に渡す。

【0021】

ヒートマップ生成部（Ａｂｓ）４０４は、画像再構成部４０２から受け取った再構成画像を入力として、分類器が異常クラスと判断した根拠をヒートマップとして出力し、ヒートマップ統合部４０６に渡す。

【0022】

ヒートマップ生成部（ＲｅＬＵ）４０５は、画像取得部４０１から受け取った画像を入力として、分類器が異常クラスであると判断した根拠をヒートマップとして出力し、ヒートマップ統合部４０６に渡す。

【0023】

ヒートマップ統合部４０６は、ヒートマップ生成部（Ａｂｓ）４０４とヒートマップ生成部（ＲｅＬＵ）４０５から受け取ったヒートマップをピクセルごとに足し合わせることで一つのヒートマップとし、値を０から１に正規化した後、重みづけ部４０７に渡す。

【0024】

重みづけ部４０７は、誤差画像生成部４０３から受け取った誤差画像にヒートマップ統合部４０６から受け取ったヒートマップで重みづけを行い、出力部４０８に渡す。

【0025】

出力部４０８は、重みづけ部４０７から受け取った誤差画像に対して閾値処理を行い、異常検知結果を出力する。

【0026】

次に図４のフローチャートを用いて、本発明の実施形態における異常箇所検知が実行する処理について説明する。

【0027】

図４のフローチャートは、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、入力画像を受け付け、当該画像に含まれる物体における異常箇所（キズや汚れ等が存在する箇所）を検知し、その結果を出力する処理を示すフローチャートである。

【0028】

ステップＳ４０１では、情報処理装置１０１のＣＰＵ２０１は、外部装置１０２に保存されている画像データを入力画像として取得する。

【0029】

ステップＳ４０２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０１で取得した入力画像から正常画像（キズや汚れ等の異常が存在しない物体の画像）を再構成する。再構成には、正常画像を用いた学習を行ったＡｕｔｏｅｎｃｏｄｅｒなどの公知の技術を用いる。Ａｕｔｏｅｎｃｏｄｅｒを用いることで、異常画像が入力された場合でも正常画像が再構成されるため、その差分を取得することで、未知の異常についても検出することが可能となる。
ステップＳ４０３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０１で取得した入力画像と、ステップＳ４０２で再構成した画像との差をとることで誤差画像を生成する。

【0030】

この処理により、異常画像（異常箇所が存在する画像）である入力画像と、正常画像である再構成画像との差を取得することが可能となるため、入力画像における異常箇所を示した画像を生成することが可能となる。

【0031】

ただし、入力画像に含まれる物体に大きな傷や汚れのある場合や、入力画像が不鮮明である場合などは、物体再構成画像が必ずしも正常画像であるとは限らない（すなわち、正常画像を用いた学習を行ったＡｕｔｏｅｎｃｏｄｅｒであっても、必ずしも完全な正常画像を生成できるとは限らない）ので、ステップＳ４０４以降の処理を行う。
ステップＳ４０４では、情報処理装置１０１のＣＰＵ２０１は、入力画像に対して分類器が異常クラスであると判断した根拠を示すデータを出力する。なお、本実施例においては、当該データをヒートマップとして出力することで、視覚で認識しやすい形態としている。例えば、図５に示すような金属プレートに存在するキズや汚れを検出したい場合、正常クラスの判断根拠を出力すると、キズ以外の部分は正常な金属プレートであることから、金属プレート全体を示してしまうことになる（図５Ａ）。そのため、異常箇所を判別することが困難となってしまう。これに対して、異常クラスの判断根拠を出力することで、金属プレートのなかの異常箇所（５０１）だけが示される（図５Ｂ）ことになるため、異常箇所をピンポイントに検知することが可能となる。

【0032】

なお、分類器には、予め、画像と当該画像が正常画像であるか異常画像であるかを示す正解データとを用いて学習させたＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋなどの公知の技術を用いる（ステップＳ４０５も同様）。また、ヒートマップの出力には、公知の技術であるＧｒａｄ－ＣＡＭを用いるが、活性化関数として「Ｒｅｌｕ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ（正規化線形ユニット））」を用いる。Ｒｅｌｕは、０より大きい値のみを出力する関数である。

【0033】

ステップＳ４０５では、情報処理装置１０１のＣＰＵ２０１は、再構成画像に対して分類器が異常クラスと判断した根拠を表すヒートマップを出力する。ヒートマップの出力にはＧｒａｄ－ＣＡＭの活性化関数をＲｅｌｕから絶対値に変更したものを用いる。絶対値にすることで、正常クラスの判断根拠も捉えることが可能となる（上述の通り、正常クラスの判断根拠を表すヒートマップは、対象物全体に反応したものとなることが多い）。これにより、再構成の失敗に対する過度な反応を抑制できる。例えば、対象物以外の場所で再構成に失敗したとき、Ｒｅｌｕの場合は対象物以外の場所に反応を示す。この反応は、正常画像を再構成した際に失敗した箇所への反応であるから、それほど強くはない反応となる。これに対して絶対値の場合は、失敗した箇所への反応だけでなく、正常であると判断した箇所（すなわち、対象物全体）に強く反応する。そして、Ｇｒａｄ－ＣＡＭの出力時には値が０から１に正規化されるため、結果として失敗部分の反応は弱められ、対象物全体に対する反応が出力されることになる。つまり、活性化関数として絶対値を用いることで、対象物以外の場所への反応を抑制し、対象物に対する反応を際立たせることが可能となるため、Ａｕｔｏｅｎｃｏｄｅｒ等による再構成の失敗に対する過度な反応を抑制することが可能となる。
ステップＳ４０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ４０４、Ｓ４０５で出力されたヒートマップをピクセルごとに足し合わせて一つに統合し、値を０から１に正規化する。

【0034】

ステップＳ４０７では、ステップＳ４０３で生成した誤差画像に対し、ステップＳ４０６で生成したヒートマップで重みづけを行う。
ステップＳ４０８では、重みづけされた誤差画像に対してしきい値処理を行い、異常箇所検知結果を出力する。

【0035】

以上の処理により、画像単位の正解ラベルを必要とするＡｕｔｏｅｎｃｏｄｅｒおよび分類器を学習させるだけでピクセル単位の出力を得ることが可能となる。このように、異常箇所をピクセル単位で指定した正解ラベルを作成することなく、画像に含まれる物体の異常箇所をピンポイントで検出することが可能となるため、学習データ生成の手間を省略することができ、効率的に精度良く異常箇所の検出が可能となる。
以上、情報処理装置１０１において処理を実行する実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

【0036】

また、本発明におけるプログラムは、図４に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図４の処理方法をコンピュータが実行可能なプログラムが記憶されている。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0037】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0038】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0039】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0040】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0041】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0042】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0043】

１０１ 情報処理装置
１０２ 外部装置
１１０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】