特開 2023-84980 情報処理装置、情報処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023084980

(43)【公開日】2023-06-20

(54)【発明の名称】情報処理装置、情報処理方法、並びにプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230613BHJP

   G06N 20/00 20190101ALI20230613BHJP

【ＦＩ】

G06T7/00 350B

G06N20/00

G06N20/00 130

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021199408

(22)【出願日】2021-12-08

(71)【出願人】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(71)【出願人】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(74)【代理人】

【識別番号】100118278

【弁理士】

【氏名又は名称】村松 聡

(72)【発明者】

【氏名】齋竹 良介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA21

5L096DA01

5L096HA09

5L096HA11

5L096KA04

5L096KA13

(57)【要約】

【課題】ユーザが効率的に画像分類ＡＩの学習結果の妥当性の確認や画像分類ＡＩの精度改善施策を行うことができる情報処理装置、情報処理方法、並びにプログラムを提供する。
【解決手段】情報処理装置１０１のＣＰＵ２０１は、画像分類ＡＩを用いて入力画像から予測ラベルを推論すると共にヒートマップを算出し、入力画像、予測ラベル、ヒートマップを入力画像に重畳した予測根拠画像、及び正解ラベルを比較可能に一つの画面として表示装置２１２の結果分析画面に表示する。その後、ユーザが、結果分析画面の学習ボタン４０５、加工ボタン４０６、削除ボタン４０７の少なくとも１つを押下した後、エクスポートボタン４０８を押下すると、ＣＰＵ２０１は、画像分類ＡＩの再学習を行うため、学習データを入力画像を用いて更新する。
【選択図】図４

【特許請求の範囲】

【請求項1】

入力画像を学習済みモデルに入力し、前記入力画像から推論される予測ラベルを前記学習済みモデルに出力させると共に、前記入力画像における、前記学習済みモデルの予測根拠となった特徴領域を取得する情報処理装置であって、
前記入力画像、前記予測ラベル、前記特徴領域を前記入力画像に重畳した予測根拠画像、及び予め定められた前記入力画像に対する前記推論の正解を示す正解ラベルを比較可能に一つの画面に表示する表示手段と、
前記入力画像を用いて、前記学習済みモデルの再学習を行うための学習データを更新する指示を受け付ける受付手段と、
前記受付手段により前記指示を受け付けると、前記学習済みモデルの再学習を行うため、前記学習データを前記入力画像を用いて更新する更新手段と、
を備えることを特徴とする情報処理装置。

【請求項2】

前記受付手段は、前記入力画像を、加工を施した後に前記学習データとして用いる旨の指示を受け付ける第１の受付手段を含むことを特徴とする請求項１記載の情報処理装置。

【請求項3】

前記更新手段は、前記入力画像を前記学習データとして取得した後に、前記第１の受付手段による指示を受け付けた場合、前記加工が施された前記入力画像で前記学習データにある前記入力画像を置換して、前記学習データを更新することを特徴とする請求項２記載の情報処理装置。

【請求項4】

前記更新手段は、前記入力画像を前記学習済みモデルの評価を行うための評価データとして取得した後に、前記第１の受付手段による指示を受け付けた場合、前記学習済みモデルの再学習及び評価を行うため、前記加工が施された前記入力画像を前記評価データから前記学習データに移動して、前記学習データ及び前記評価データを更新することを特徴とする請求項２記載の情報処理装置。

【請求項5】

前記受付手段は、前記入力画像を前記学習データとして用いない旨の指示を受け付ける第２の受付手段を含むことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。

【請求項6】

前記更新手段は、前記入力画像を前記学習データとして取得した後に、前記第２の受付手段による指示を受け付けた場合、前記入力画像を前記学習データから削除して、前記学習データを更新することを特徴とする請求項５記載の情報処理装置。

【請求項7】

前記更新手段は、前記入力画像を前記学習済みモデルの評価を行うための評価データとして取得した後に、前記第２の受付手段による指示を受け付けた場合、前記学習済みモデルの評価を行うため、前記入力画像を前記評価データから削除して、前記評価データを更新することを特徴とする請求項５記載の情報処理装置。

【請求項8】

前記受付手段は、前記入力画像を前記学習済みモデルの評価を行うための評価データとして取得した場合に、前記入力画像を前記学習データとして用いる旨の指示を受け付ける第３の受付手段を含み、
前記更新手段は、前記第３の受付手段による指示を受け付けた場合、前記学習済みモデルの再学習及び評価を行うため、前記入力画像を前記評価データから前記学習データに移動して、前記学習データ及び前記評価データを更新することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。

【請求項9】

入力画像を学習済みモデルに入力し、前記入力画像から推論される予測ラベルを前記学習済みモデルに出力させると共に、前記入力画像における、前記学習済みモデルの予測根拠となった特徴領域を取得する情報処理装置の情報処理方法であって、
前記入力画像、前記予測ラベル、前記特徴領域を前記入力画像に重畳した予測根拠画像、及び予め定められた前記入力画像に対する前記推論の正解を示す正解ラベルを比較可能に一つの画面に表示する表示ステップと、
前記入力画像を用いて、前記学習済みモデルの再学習を行うための学習データを更新する指示を受け付ける受付ステップと、
前記受付ステップにおいて受け付けた指示に応じて、前記学習済みモデルの再学習を行うため、前記学習データを前記入力画像を用いて更新する更新ステップと、
を有することを特徴とする情報処理方法。

【請求項10】

コンピュータを、請求項１乃至８のいずれか１項に記載の情報処理装置の各手段として機能させる、コンピュータにより実行可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、並びにプログラムに関し、特に、ＡＩの予測根拠を可視化する情報処理装置、情報処理方法、並びにプログラムに関する。

【背景技術】

【0002】

学習結果の妥当性の確認や、精度改善などを目的として、ＡＩの予測根拠を可視化する技術が提案されている。

【0003】

例えば非特許文献１には、画像分類ＡＩの予測根拠となった特徴領域（ヒートマップ）を入力画像に重畳して可視化する技術が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６１０．０２３９１）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１の技術を用いれば、ユーザは、画像分類ＡＩがどのような入力画像のどこを特徴領域として注目したかは判断できるが、それだけでは精度向上のため、どのような学習データを使って画像分類ＡＩを再学習すべきかは判断できない。

【0006】

そこで、本発明は、ユーザが効率的に画像分類ＡＩの学習結果の妥当性の確認や画像分類ＡＩの精度改善施策を行うことができる情報処理装置、情報処理方法、並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明に係る情報処理装置は、力画像を学習済みモデルに入力し、前記入力画像から推論される予測ラベルを前記学習済みモデルに出力させると共に、前記入力画像における、前記学習済みモデルの予測根拠となった特徴領域を取得する情報処理装置であって、前記入力画像、前記予測ラベル、前記特徴領域を前記入力画像に重畳した予測根拠画像、及び予め定められた前記入力画像に対する前記推論の正解を示す正解ラベルを比較可能に一つの画面に表示する表示手段と、前記入力画像を用いて、前記学習済みモデルの再学習を行うための学習データを更新する指示を受け付ける受付手段と、前記受付手段により前記指示を受け付けると、前記学習済みモデルの再学習を行うため、前記学習データを前記入力画像を用いて更新する更新手段と、を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、ユーザが効率的に画像分類ＡＩの学習結果の妥当性の確認や画像分類ＡＩの精度改善施策を行うことができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係る情報処理装置を含むＡＩ予測根拠表示システムのシステム構成の一例を示す図である。

【図2】情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】本発明の実施形態に係る再学習／評価処理の一例を示すフローチャートである。

【図4】図３のステップＳ３０１で表示装置において表示される、結果分析画面である。

【図5】学習データに追加するための入力画像のパスが登録される学習テーブルである。

【図6】加工を施した後に学習データに追加又は置換するための入力画像のパスが登録される加工テーブルである。

【図7】評価データ又は学習データから削除するための入力画像のパスが登録される削除テーブルである。

【図8】図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の一例を示すフローチャートである。

【図9】図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の他の例を示すフローチャートである。

【図10】入力画像、予測根拠画像、及び加工画像の例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0011】

図１は、本発明の実施形態に係る情報処理装置１０１を含むＡＩ予測根拠表示システム１のシステム構成の一例を示す図である。

【0012】

ＡＩ予測根拠表示システム１は、情報処理装置１０１と、外部装置１０２とを備え、これらがネットワーク１１０を介して通信可能に接続されたシステムである。

【0013】

情報処理装置１０１は、ユーザにより操作される装置であり、後述する再学習／評価処理（図３）の処理対象となる入力画像やこれに紐づくデータを結果分析画面（図４）に表示すると共に、ユーザによるこの画面上の各種ボタンの押下を受け付ける。

【0014】

外部装置１０２は、上記再学習／評価処理の処理対象となる入力画像やこれに紐づくデータの管理などを行う。

【0015】

尚、本発明の実施形態においては、情報処理装置１０１が図３のフローチャートで示す処理を実行するものとして説明するが、外部装置１０２が実行する形態であってもよい。また、処理対象の画像の管理など、外部装置１０２で行うものとして説明した処理について、情報処理装置１０１で行ってもよい。

【0016】

図２は、情報処理装置１０１のハードウェア構成の一例を示すブロック図である。尚、外部装置１０２は、情報処理装置１０１と同様のハードウェア構成を有する為、重複した説明は省略する。

【0017】

図２において、情報処理装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、入力制御部２０５、音声制御部２０６、ビデオ制御部２０７、メモリ制御部２０８、および通信Ｉ／Ｆ制御部２０９を備える。これらのデバイスやコントローラはシステムバス２００を介して互いに接続する。

【0018】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0019】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１３からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0020】

記憶装置２０４は、ＳＳＤやＨＤＤ等にからなり、後述する画像分類ＡＩ等を保持する。

【0021】

入力制御部２０５は、キーボード、タッチパネル、マウス等のポインティングデバイス等からなる入力装置２１０からの入力を制御する。例えば、入力装置２１０がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でのタッチ操作）をすることにより、各種の指示を行うことができる。尚、この場合のタッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0022】

音声制御部２０６は、マイクやスピーカ等の音声入出力装置２１１への音声入出力を制御する。

【0023】

ビデオ制御部２０７は、ディスプレイやプロジェクタ等からなる表示装置２１２への表示を制御する。この場合のディスプレイには、本体と一体になったノート型パソコンのディスプレイも含まれるものとする。尚、表示装置２１２が、前述のタッチ操作を受け付け可能な装置である場合、入力装置２１０としての役割も兼用する。また、ビデオ制御部２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能であり、そのビデオメモリの領域としてＲＡＭ２０３の一部を利用してもよいし、別途専用のビデオメモリを設けてもよい。

【0024】

メモリ制御部２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリ２１３としては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する記憶装置であれば特に限定されない。例えば、外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等が外部メモリ２１３として利用可能である。

【0025】

通信Ｉ／Ｆ制御部２０９は、ネットワーク１１０を介して外部機器と接続・通信するものであり、ネットワーク１１０での通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の４Ｇ回線、５Ｇ回線等を用いた通信が可能である。

【0026】

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示装置２１２上での表示を可能としている。また、ＣＰＵ２０１は、表示装置２１２上の不図示のマウスカーソル等でのユーザ指示の受付も可能とする。

【0027】

次に図３のフローチャートを用いて、本発明の実施形態に係る再学習／評価処理について説明する。

【0028】

この処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出すことにより実行される。この処理では、画像分類ＡＩの予測結果に関する情報が結果分析画面（図４）に表示される。また、結果分析画面上でユーザから受け付けた操作（学習・加工・削除ボタンの押下）に応じて学習データや評価データが更新された後、その更新後の学習データや評価データを用いて画像分類ＡＩの再学習や評価が行われる。学習データや評価データについては後述する。

【0029】

まずステップＳ３０１では、ＣＰＵ２０１は、外部装置１０２から、入力画像及びこれに紐づくデータ、具体的には、正解ラベル、予測ラベル、及びヒートマップの情報を取得し、ＲＡＭ２０３に保存する。その後、ＣＰＵ２０１は、入力画像及びこれに紐づくデータに基づき、表示装置２１２の結果分析画面（図４：表示手段）に、正解ラベル、予測ラベル、入力画像、及び予測根拠画像を表示するよう制御する。

【0030】

ここで正解ラベルとは、ユーザ等により予め定められた、入力画像に対する画像分類ＡＩによる推論の正解を示すラベルである。

【0031】

画像分類ＡＩは、外部装置１０２内の学習部（図１において不図示）で予め学習させ、記憶装置２０４にて保持するＣｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を用いた学習済みモデルである。なお、ここでは画像分類ＡＩにＣＮＮを用いているがこれに限定されず、例えば、サポートベクタマシン等の公知の他のアルゴリズムを用いてもよい。

【0032】

ＣＰＵ２０１は、入力画像（及びその正解ラベル）を外部から受信すると、記憶装置２０４から画像分類ＡＩを読み出し、受信した入力画像を読み出した画像分類ＡＩに入力することで、入力画像から推論される予測ラベルを出力する。ＣＰＵ２０１は、入力画像と、これに紐づくデータとして、正解ラベル及び予測ラベルを、本処理の前に予め外部装置１０２に送信する。

【0033】

ヒートマップは、入力画像における、画像分類ＡＩの予測根拠となった特徴領域であり、ＣＰＵ２０１が公知の技術であるＧｒａｄ－ＣＡＭを用いてヒートマップを算出する。ＣＰＵ２０１は、このヒートマップの情報を入力画像に紐づく情報として、本処理の前に予め外部装置１０２に送信する。なお、ここではヒートマップの算出にＧｒａｄ－ＣＡＭを用いているがこれに限定されず、例えば、ＲＩＳＥ、Ｓｃｏｒｅ－ＣＡＭ、ＸＲＡＩ、Ｇｒｏｕｐ－ＣＡＭ等の公知の他のアルゴリズムを用いてもよい。

【0034】

このように、ＣＰＵ２０１は、入力画像及びこれに紐づく正解ラベル、予測ラベル、及びヒートマップの情報を、本処理の前に予め、外部装置１０２に保存しておく。尚、入力画像は、学習データであるか評価データであるかを示す情報を紐づけて登録しておく等の方法により、学習データであるか評価データであるかを特定可能に管理されているものとする。また、本実施例では、ＣＰＵ２０１がヒートマップを算出したが、本処理の前に予め外部装置１０２にヒートマップの情報が保存されれば、これに限定されない。例えば、ＣＰＵ２０１は、外部で算出されたヒートマップを取得するようにしてもよい。

【0035】

予測根拠画像は、ヒートマップを入力画像に重畳し、画像分類ＡＩの予測根拠を可視化した画像である。予測根拠画像においてヒートマップには色が付される。具体的には予測根拠の程度が高い程、ヒートマップの特徴領域は暖色系の色が付され、予測根拠の程度が低い程、ヒートマップの特徴領域は寒色系の色が付される。例えば、ヒートマップの特徴領域は予測根拠の程度が高い順に、赤色、オレンジ色、黄色、黄緑色、水色が付される。

【0036】

ステップＳ３０２では、ＣＰＵ２０１は、ステップＳ３０１で受け付けた入力画像（対象）が評価データであるか否かを判定する。この判定の結果、対象が評価データである場合（ステップＳ３０２でＹＥＳ）、ステップＳ３０３に進み、そうでない場合、ステップＳ３０５に進む。

【0037】

ステップＳ３０３では、ＣＰＵ２０１は、図４の結果分析画面の学習ボタン４０５が押下されたか否かを判定する。この判定の結果、学習ボタン４０５が押下された場合（ステップＳ３０３でＹＥＳ）、ステップＳ３０４に進み、そうでない場合、ステップＳ３０５に進む。

【0038】

ステップＳ３０４では、ＣＰＵ２０１は、対象の入力画像及びその正解ラベルを用いて再学習をさせることで画像分類ＡＩの精度を向上させるために、対象の入力画像のパスを学習テーブル（図５）に登録する。例えば、対象の予測ラベルが間違っている場合、対象の入力画像及びその正解ラベルを用いて、画像分類ＡＩを再学習させることで、同じような間違いをしなくなる効果が期待できる。後述するデータ加工処理の場合と比較すると、もともとの予測根拠に関わらず画像分類ＡＩが出力する予測ラベルを正すことができるため、予測根拠は正しいが、予測ラベルが間違っている場合に適すると考えられる。

【0039】

ステップＳ３０５では、ＣＰＵ２０１は、図４の結果分析画面の加工ボタン４０６が押下されたか否かを判定する。この判定の結果、加工ボタン４０６が押下された場合（ステップＳ３０５でＹＥＳ）、ステップＳ３０６に進み、そうでない場合、ステップＳ３０７に進む。

【0040】

ステップＳ３０６では、ＣＰＵ２０１は、データ加工処理を実行するために、対象の入力画像のパスを加工テーブル（図６）に登録する。尚、データ加工処理とは、不適切な部分が予測根拠となる特徴部分となった場合、入力画像におけるその不適切な部分を単一の値に置き換えるなどの加工を施す処理を指す。

【0041】

ここで、後述する図８に例示するデータ加工処理は、エクスポートボタン４０８（図４）が押下された際、加工テーブルにパスが登録された全ての入力画像に対して行うことを想定した処理である。また後述する図９に例示するデータ加工処理は、加工自体の一貫性を予測根拠としてしまうことを防ぐために、加工する確率を設定できるようにしたものであり、画像分類ＡＩの再学習に用いる対象の入力画像を用いてに対して行うことを想定した処理である。このように、予測根拠が不適切である場合、入力画像に加工を施した後、これを用いて画像分類ＡＩの再学習を行うことで、画像分類ＡＩが正しい予測根拠を学習し、正しい予測を行うことが期待できる。前述した再学習処理の場合と比較すると、データ加工処理は、予測根拠を正すことができるため、予測根拠が間違っているため、予測ラベルも間違っている場合に適すると考えられる。

【0042】

ステップＳ３０７では、ＣＰＵ２０１は、図４の結果分析画面の削除ボタン４０７が押下されたか否かを判定する。この判定の結果、削除ボタン４０７が押下された場合（ステップＳ３０７でＹＥＳ）、ステップＳ３０８に進み、そうでない場合、ステップＳ３０９に進む。ここで、削除ボタン４０７は、ユーザが、対象の入力画像を学習データや評価データとして用いると画像分類ＡＩの再学習や評価に悪影響を及ぼすため、学習データや評価データから対象の入力画像を削除する削除処理を行いたい場合に押下されるボタンである。ここで、対象の入力画像が画像分類ＡＩの再学習や評価に悪影響を及ぼす場合とは、例えば、入力情報に含まれる入力画像が、学習や評価に関係のない画像である場合や、対象物が大きすぎる又は小さすぎる画像である場合などである。

【0043】

ステップＳ３０８では、ＣＰＵ２０１は、上記削除処理を実行するために、対象の入力画像のパスを削除テーブル（図７）に登録する。

【0044】

ステップＳ３０９では、ＣＰＵ２０１は、図４の結果分析画面のエクスポートボタン４０８が押下されたか否かを判定する。この判定の結果、エクスポートボタン４０８が押下された場合（ステップＳ３０９でＹＥＳ）、ステップＳ３１０に進み、そうでない場合、ステップＳ３０１に戻る。

【0045】

ステップＳ３１０では、ＣＰＵ２０１は、対象の入力画像が評価データであるか否かを判定する。この判定の結果、対象が評価データである場合（ステップＳ３１０でＹＥＳ）、ステップＳ３１１に進み、そうでない場合、すなわち対象が学習データである場合（ステップＳ３１０でＮＯ）、ステップＳ３１２に進む。

【0046】

ステップＳ３１１では、ＣＰＵ２０１（更新手段）は、学習テーブルに対象の入力画像のパスが登録されている場合は、対象の入力画像を評価データから学習データに変更する。すなわち、学習ボタン４０５の押下後、エクスポートボタン４０８の押下を学習結果表示部４００（第３の受付手段）が受け付けた場合、対象の入力画像の保存先を外部装置１０２の評価データ用フォルダから学習データ用フォルダに移動する。また、ＣＰＵ２０１は、加工テーブルに対象の入力画像のパスが登録されている場合は、データ加工処理により対象の入力画像を加工し、加工後の入力画像を評価データから学習データに変更する。すなわち、加工ボタン４０６の押下後、エクスポートボタン４０８の押下を学習結果表示部４００（第１の受付手段）が受け付けた場合、上記加工後、対象の入力画像の保存先を外部装置１０２の評価データ用フォルダから学習データ用フォルダに移動する。さらにＣＰＵ２０１は、削除テーブルに対象の入力画像のパスが登録されている場合は、対象の入力画像を評価データから削除する。すなわち、削除ボタン４０７の押下後、エクスポートボタン４０８の押下を学習結果表示部４００（第２の受付手段）が受け付けた場合、対象の入力画像を、現在保存されている外部装置１０２の評価データ用フォルダから削除する。その後、ステップＳ３１３に進む。

【0047】

このように、対象が評価データである場合、評価データだけでなく学習データも更新される。尚、この場合、削除ボタン４０７のみ押下された後エクスポートボタン４０８が押下されると、学習データは更新されないため、後述のステップＳ３１３において画像分類ＡＩの再学習は行わなくてもよい。

【0048】

ステップＳ３１２では、ＣＰＵ２０１（更新手段）は、加工テーブルに対象の入力画像のパスが登録されている場合は、データ加工処理によりその対象の入力画像を加工し、加工後の入力画像で学習データとしての対象の入力画像を置換する。すなわち、上記加工後の対象の入力画像で、外部装置１０２の学習データ用フォルダにある対象の入力画像を置換する。またＣＰＵ２０１は、削除テーブルに対象の入力画像のパスが登録されている場合は、対象の入力画像を学習データから削除する。すなわち、対象の入力画像を、現在保存されている外部装置１０２の学習データ用フォルダから削除する。その後、ステップＳ３１３に進む。

【0049】

このように、対象が学習データである場合、学習データのみが更新され、評価データは更新されない。このため、対象が学習データである場合、後述のステップＳ３１３において画像分類ＡＩの評価は行わなくてもよい。

【0050】

ステップＳ３１３では、ＣＰＵ２０１は、外部装置１０２の学習データ用フォルダから学習データを出力し、画像分類ＡＩの再学習を行う。また、ＣＰＵ２０１は、外部装置１０２の評価データ用フォルダから評価データを出力し、画像分類ＡＩの評価を行う。その後、本処理を終了する。

【0051】

尚、本実施形態では、画像分類ＡＩの再学習は情報処理装置１０１のＣＰＵ２０１が実行したが、更新後の学習データを用いて画像分類ＡＩの再学習が行われるのであれば、かかる実施形態に限定されない。例えば、ＣＰＵ２０１は、外部装置１０２に画像分類ＡＩの再学習の実行指示を行い、外部装置１０２から再学習後の画像分類ＡＩ（又は、その内部パラメータ）を取得するようにしてもよい。同様に、画像分類ＡＩの評価は情報処理装置１０１のＣＰＵ２０１が実行したが、更新後の評価データを用いて画像分類ＡＩの評価が行われるのであれば、かかる実施形態に限定されない。例えば、ＣＰＵ２０１は、外部装置１０２に画像分類ＡＩの評価の実行指示を行い、外部装置１０２からその評価結果を取得するようにしてもよい。

【0052】

図４は、図３のステップＳ３０１で表示装置２１２において表示される結果分析画面である。

【0053】

結果分析画面は、入力画像毎の学習結果表示部４００ａ～４００ｄ（以下、「学習結果表示部４００」と総称する）、及びエクスポートボタン４０８を有する。

【0054】

学習結果表示部４００は、正解ラベル表示部４０１、予測ラベル表示部４０２、入力画像表示部４０３、予測根拠画像表示部４０４、学習ボタン４０５、加工ボタン４０６、及び削除ボタン４０７からなる。

【0055】

正解ラベル表示部４０１は、入力画像の正解ラベルを表示する。

【0056】

予測ラベル表示部４０２は、画像分類ＡＩの予測ラベルを表示する。

【0057】

入力画像表示部４０３は、入力画像を表示する。

【0058】

予測根拠画像表示部４０４は、予測根拠画像を表示する。

【0059】

このように、図４の結果分析画面という一つの画面に、正解ラベル、予測ラベル、入力画像、予測根拠画像が比較可能に表示される。これにより、ユーザは図４の結果分析画面により簡単に学習結果の妥当性を判断することで可能となる。

【0060】

学習ボタン４０５（受付手段）は、入力画像のパスを学習テーブルに登録する指示を受け付けるボタンである。

【0061】

加工ボタン４０６（受付手段）は、入力画像のパスを加工テーブルに登録する指示を受け付けるボタンである。

【0062】

削除ボタン４０７（受付手段）は、入力画像のパスを削除テーブルに登録する指示を受け付けるボタンである。

【0063】

エクスポートボタン４０８（受付手段）は、学習テーブル、加工テーブル、削除テーブルに登録された入力画像を処理した後、学習データ及び評価データを出力する旨の指示を受け付けるボタンである。

【0064】

ユーザは、学習結果表示部４００に表示される学習結果が妥当でないと判断した場合、図４の結果分析画面の学習ボタン４０５、加工ボタン４０６、削除ボタン４０７の少なくとも１つを押下した後、エクスポートボタン４０８を押下する。かかる学習結果表示部４００（第１の受付手段、第２の受付手段、第３の受付手段）への操作のみで、ユーザは、簡単に画像分類ＡＩの精度向上施策を実施することができる。具体的な精度改善施策として、入力画像の学習データとしての追加、入力画像の学習データ及び評価データとしての加工、入力画像の学習データ及び評価データからの削除を行うことができる。

【0065】

図５は、学習データに追加するための入力画像のパスが登録される学習テーブルである。

【0066】

図６は、加工を施した後に学習データに追加又は置換するための入力画像のパスが登録される加工テーブルである。

【0067】

図７は、評価データ又は学習データから削除するための入力画像のパスが登録される削除テーブルである。

【0068】

次に図８のフローチャートを用いて、図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の一例について説明する。この処理は、エクスポートボタン４０８（図４）が押下された際、加工テーブルにパスが登録された全ての入力画像に対して実行される。すなわちこの処理では、誤った予測根拠をもとに画像分類ＡＩの学習が行われないように、加工テーブルにパスが登録された全ての入力画像が加工される。

【0069】

この処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出すことにより実行される。

【0070】

まずステップＳ８０１では、ＣＰＵ２０１は、加工テーブルにパスが登録されている入力画像の一つを、加工対象に決定する。ここで加工対象として決定された入力画像の例を図１０（Ａ）に示す。この入力画像では、左の穴の位置が設計位置からずれているため、その正解ラベルは「異常」である。よって、この入力画像から画像分類ＡＩにより推論される予測ラベルも「異常」であることが望ましい。また、その予測根拠画像のヒートマップには、左の穴の位置に近い程、暖色系の色（予測根拠の程度が高いことを示す色）が付されるが望ましい。

【0071】

ステップＳ８０２では、ＣＰＵ２０１は、ヒートマップのうち、設定値１Ａより大きな値を持つピクセルの座標を取得する。ヒートマップの各ピクセルは０～１の間の値をとる。また、設定値１Ａは、ヒートマップの各ピクセルの予測根拠となった程度が所定の基準を満たすか否かを判定するためのしきい値であって、０より大きく１より小さい値を持つ。予測根拠画像の例を図１０（Ｂ）に示す。この予測根拠画像では、右の穴の周辺を予測根拠としており、誤った予測根拠により予測ラベルが出力されたことがわかる。ステップＳ８０２ではこのような画像に対して処理を行う。

【0072】

ステップＳ８０３では、ＣＰＵ２０１は、入力画像のうち、ステップＳ８０２で取得した全ての座標のピクセルの値を設定値２Ａに置換する加工を行う。図１０（Ｃ）に、図１０（Ａ）の入力画像に対しステップＳ８０３の加工を行った画像（加工画像）を示す。この加工画像では、設定値２Ａとして黒が指定されて加工が行われている。

【0073】

ステップＳ８０４では、ＣＰＵ２０１は、加工テーブルにパスが登録されている全ての入力画像に対してステップＳ８０３の加工が終了したか否かを判定する。判定の結果、全ての入力画像に対してステップＳ８０３の加工が終了した場合（ステップＳ８０４でＹＥＳ）、本処理を終了する一方、そうでない場合（ステップＳ８０４でＮＯ）、ステップＳ８０１に戻る。

【0074】

次に図９のフローチャートを用いて、図４のステップＳ４１１，Ｓ４１２において実行されるデータ加工処理の他の例について説明する。この処理では、入力画像の加工自体の一貫性が、ヒートマップの算出に影響することを防ぐために、入力画像の加工が一定の確率で行われる。また、本処理は、エクスポートボタン４０８（図４）が押下された際、加工テーブルにパスが登録されている入力画像だけでなく外部装置１０２に保存される全ての入力画像に対して、本処理の加工が確率的に行われる。本処理は特に追加学習の際に適用することを想定している。すなわちこの処理では、誤った予測根拠をもとに画像分類ＡＩの学習が行われないように、情報処理装置１０１にある全ての入力画像の加工の適用を確率的に行う。

【0075】

この処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出すことにより実行される。

【0076】

まずステップＳ９０１では、ＣＰＵ２０１は、外部装置１０２に保存される入力画像の１つを取得する。

【0077】

ステップＳ９０２では、ＣＰＵ２０１は、ステップＳ９０１で取得した入力画像のパスが加工テーブルに登録されているか否かを判定する。判定の結果、加工テーブルに登録されている場合（ステップＳ９０２でＹＥＳ）、ステップＳ９０３に進み、そうでない場合（ステップＳ９０２でＮＯ）、ステップＳ９０６に進む。

【0078】

ステップＳ９０３では、ＣＰＵ２０１は、乱数を生成し、その生成した乱数が設定値１Ｂより大きいか否かを判定する。ここで生成される乱数及び設定値１Ｂは共に０から１の値をとる。判定の結果、乱数が設定値１Ｂより大きい場合は（ステップＳ９０３でＹＥＳ）、ステップＳ９０１で取得した入力画像の加工を行うべく、ステップＳ９０４に進み、そうでない場合は（ステップＳ９０３でＮＯ）、本処理を終了する。このように、加工の適用を確率的にすることで、加工自体の一貫性がヒートマップの算出に影響を与えることを防ぐ役割が期待される。

【0079】

ステップＳ９０４では、ＣＰＵ２０１は、ヒートマップのうち、設定値２Ｂより大きい値を持つピクセルの座標を取得し、ステップＳ９０５に進む。ヒートマップの各ピクセルは０～１の間の値をとる。また、設定値２Ｂは、ヒートマップの各ピクセルの予測根拠となった程度が所定の基準を満たすか否かを判定するためのしきい値であって、０より大きく１より小さい値を持つ。

【0080】

ステップＳ９０５では、ＣＰＵ２０１は、ステップＳ９０１で取得した入力画像における、ステップＳ９０４で取得した全ての座標のピクセルの値を設定値３Ｂに置換する加工を行った後、本処理を終了する。

【0081】

ステップＳ９０６では、ＣＰＵ２０１は、乱数を生成し、その生成した乱数が設定値１Ｂより大きいか否かを判定する。判定の結果、乱数が設定値１Ｂより大きい場合は（ステップＳ９０６でＹＥＳ）、ステップＳ９０１で取得した入力画像の加工を行うべく、ステップＳ９０７に進み、そうでない場合は（ステップＳ９０６でＮＯ）、本処理を終了する。このように、外部装置１０２に保存される入力画像のうち、加工テーブルにはパスが登録されていない入力画像にも確率的に加工を施すことで、加工自体の一貫性がヒートマップの算出に影響を与えることを防ぐ役割が期待される。

【0082】

ステップＳ９０７では、ＣＰＵ２０１は、ステップＳ９０１で取得した入力画像におけるピクセルをランダムに選択し、そのランダムに選択されたピクセルの値を設定値３Ｂで置換した後、本処理を終了する。尚、ここでランダムに選択されるピクセルの数自体も、ランダムに設定された値としてもよいし、固定値としてもよい。

【0083】

（その他の実施形態）
尚、本実施形態では、１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置のコンピュータに供給し、そのシステムまたは装置のシステム制御部がプログラムを読出し実行する処理でも実現可能である。システム制御部は、１つまたは複数のプロセッサーまたは回路を有し、実行可能命令を読み出し実行するために、分離した複数のシステム制御部または分離した複数のプロセッサーまたは回路のネットワークを含みうる。

【0084】

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【0085】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0086】

１ ＡＩ予測根拠表示システム
１０１ 情報処理装置
１０２ 外部装置
１１０ ネットワーク
２０１ ＣＰＵ
２１２ 表示装置
４０５ 学習ボタン
４０６ 加工ボタン
４０７ 削除ボタン
４０８ エクスポートボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】