特開 2024-21886 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024021886

(43)【公開日】2024-02-16

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240208BHJP

   G06T 7/00 20170101ALI20240208BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022125047

(22)【出願日】2022-08-04

(71)【出願人】

【識別番号】391021684

【氏名又は名称】菱洋エレクトロ株式会社

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際弁理士法人

(72)【発明者】

【氏名】藤井 浩

(72)【発明者】

【氏名】亀岡 瑶

(72)【発明者】

【氏名】原 泰彦

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA04

5L096CA22

5L096DA01

5L096GA51

5L096KA04

5L096KA15

(57)【要約】

【課題】学習済みモデルの大型化を抑制し、かつ推論精度を向上させることができる情報処理装置を提供する。
【解決手段】情報処理装置１０は、カメラ１１、記憶部１４ｂ、指示入力部Ｐ１、第１学習部Ｐ２及び判定部Ｐ３を有する。指示入力部Ｐ１は、撮像画像Ｉｍに対応付けられたラベル情報Ｌｂと、複数の学習済みモデルＭ１の中から選択された学習済みモデルＭ１を示すモデル選択情報Ｓｍとを使用者が指示入力可能である。第１学習部Ｐ２は、撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたラベル情報Ｌｂに基づき、対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、モデル選択情報Ｓｍに示された学習済みモデルＭ１の学習を行う。判定部Ｐ３は、モデル選択情報Ｓｍに示された学習済みモデルＭ１に撮像画像Ｉｍを入力し、対象物が正常状態又は異常状態のいずれにあるかを判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物を撮像して撮像画像を出力するカメラと、
複数の学習済みモデルを記憶可能である記憶部と、
前記撮像画像に対応付けられ、前記撮像画像に前記対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報と、複数の前記学習済みモデルの中から選択された前記学習済みモデルを示すモデル選択情報とを使用者が指示入力可能である指示入力部と、
前記撮像画像、及び前記撮像画像に対応付けられた前記ラベル情報に基づき、前記対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、前記モデル選択情報に示された前記学習済みモデルの学習を行う第１学習部と、
前記モデル選択情報に示された前記学習済みモデルに前記撮像画像を入力し、前記対象物が正常状態又は異常状態のいずれにあるかを判定する判定部と、
を有する情報処理装置。

【請求項2】

前記第１学習部は、前記モデル選択情報に示された前記学習済みモデルを追加学習可能である、請求項１に記載の情報処理装置。

【請求項3】

サーバに接続され、
前記モデル選択情報に示された前記学習済みモデルが前記記憶部に記憶されていないとき、前記学習済みモデルを前記サーバから取得する、
請求項１に記載の情報処理装置。

【請求項4】

前記カメラは、動画像である前記撮像画像を出力し、
前記指示入力部は、前記動画像をキャプチャすることによって静止画像である前記撮像画像を取得する、
請求項１に記載の情報処理装置。

【請求項5】

前記判定部は、射出成形機の金型の開閉動作において、金型が正常状態又は異常状態のいずれにあるかを判定する、請求項１に記載の情報処理装置。

【請求項6】

第２学習部、モデル推論部及び選択モデルを有し、
前記第２学習部は、前記撮像画像、及び前記撮像画像に対応付けられた前記モデル選択情報に基づいて、前記選択モデルの学習を行い、
前記モデル推論部は、前記選択モデルに前記撮像画像を入力して前記学習済みモデルと対応関係にある前記モデル選択情報を出力する、
請求項１に記載の情報処理装置。

【請求項7】

試算部を有し、
前記記憶部は、複数の試算画像を記憶し、
前記指示入力部は、前記使用者が、複数の前記試算画像の中から試算に用いる前記試算画像の識別情報を指示入力可能であり、
前記試算部は、複数の前記学習済みモデルの各々に、前記使用者が指示入力した前記試算画像の前記識別情報に対応付けられた前記試算画像を入力して試算値の各々を取得し、前記試算値が閾値以上である前記学習済みモデルと対応関係にある前記モデル選択情報を出力する、
請求項２に記載の情報処理装置。

【請求項8】

対象物を撮像して撮像画像を出力するカメラと、複数の学習済みモデルを記憶可能である記憶部とを用意し、
指示入力部により、前記撮像画像に対応付けられ、前記撮像画像に前記対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報と、複数の前記学習済みモデルの中から選択された前記学習済みモデルを示すモデル選択情報とを使用者が指示入力し、
第１学習部により、前記撮像画像、及び前記撮像画像に対応付けられた前記ラベル情報に基づき、前記対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、前記モデル選択情報に示された前記学習済みモデルを学習させ、
判定部により、前記モデル選択情報に示された前記学習済みモデルに前記撮像画像を入力し、前記対象物が正常状態又は異常状態のいずれにあるかを判定する、
情報処理方法。

【請求項9】

撮像画像に対応付けられ、前記撮像画像に対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報と、複数の学習済みモデルの中から選択された前記学習済みモデルを示すモデル選択情報とを使用者が指示入力可能である指示入力部のプログラムと、
前記撮像画像、及び前記撮像画像に対応付けられた前記ラベル情報に基づき、前記対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、前記モデル選択情報に示された前記学習済みモデルの学習を行う第１学習部のプログラムと、
前記モデル選択情報に示された前記学習済みモデルに前記撮像画像を入力し、前記対象物が正常状態又は異常状態のいずれにあるかを判定する判定部のプログラムと、
をコンピュータに実行させる情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、対象物を撮像した撮像画像を機械学習させて学習済みモデルを生成し、学習済みモデルを用いて推論値を出力する情報処理装置がある。

【0003】

機械学習の分野では、一旦学習を行った学習済みモデルに、更に追加学習を行い、学習済みモデルの推論精度を向上させる技術が知られている。

【0004】

例えば、特開２０２２－３２９６２号公報には、全国共通の学習済みモデルであるグローバルモデルと、追加学習される地域特有の学習済みモデルであるローカルモデルとを有し、グローバルモデルを用いた深層学習による商品の認識結果と、ローカルモデルを用いた深層学習による商品の認識結果とに基づき、撮像画像に写し出されている商品を特定する画像認識装置が開示される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－３２９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の情報処理装置では、多種類の対象物を推論可能にし、かつ推論精度を向上させようとすると、大量の学習データによる学習が必要になり、大量の学習データを学習できるように、学習済みモデルのサイズが大型化する。

【0007】

そこで、本発明は、学習済みモデルの大型化を抑制し、かつ推論精度を向上させることができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様の情報処理装置は、カメラ、記憶部、指示入力部、第１学習部及び判定部を有する。前記カメラは、対象物を撮像して撮像画像を出力する。前記記憶部は、複数の学習済みモデルを記憶可能である。前記指示入力部は、前記撮像画像に対応付けられ、前記撮像画像に前記対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報と、複数の前記学習済みモデルの中から選択された前記学習済みモデルを示すモデル選択情報とを使用者が指示入力可能である。前記第１学習部は、前記撮像画像、及び前記撮像画像に対応付けられた前記ラベル情報に基づき、前記対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、前記モデル選択情報に示された前記学習済みモデルの学習を行う。前記判定部は、前記モデル選択情報に示された前記学習済みモデルに前記撮像画像を入力し、前記対象物が正常状態又は異常状態のいずれにあるかを判定する。

【発明の効果】

【0009】

（請求項１、８、９）
（Ａ）情報処理装置、情報処理方法及び情報処理プログラムは、複数の学習済みモデルの中から対象物に適した学習済みモデルを選択して学習及び推論を行うことにより、学習済みモデルの大型化を抑制し、かつ推論精度を向上させることができる。

【0010】

（Ｂ）使用者は、カメラによって対象物を撮像した後、即座に、指示入力部によって対象物に対応付けられたラベル情報を指示入力可能である。これにより、情報処理装置、情報処理方法及び情報処理プログラムは、簡便に、学習済みモデルの学習を行い、推論精度を向上させることができる。

【0011】

（請求項２）
（Ｃ）情報処理装置は、追加学習によって学習済みモデルの推論精度を向上させることが可能である。

【0012】

（請求項３）
（Ｄ）情報処理装置は、指示入力部によって指示入力された学習済みモデルが記憶部に記憶されていないとき、学習済みモデルをサーバから取得することができる。これにより、情報処理装置は、学習済みモデルのすべてを記憶部に記憶しなくてもよく、記憶部を軽量化することができる。

【0013】

（請求項４）
（Ｅ）情報処理装置は、カメラによって動的な対象物を撮像し、動画像である撮像画像をキャプチャし、静止画像である撮像画像を取得することができる。

【0014】

（請求項５）
（Ｆ）情報処理装置は、射出成形機の動作状態に異常がないか、監視することができる。

【0015】

（請求項６）
（Ｇ）撮像画像、及び撮像画像に対応付けられたモデル選択情報が記憶部に蓄積された後、第２学習部が、選択モデルの学習を行うと、モデル推論部は、選択モデルを用いてモデル選択情報を推論することができる。推論されたモデル選択情報は、お勧め情報として表示部に表示される。使用者は、表示部に表示されたお勧め情報を参考にし、より確実に、対象物に適したモデル選択情報を指示入力することができる。

【0016】

（請求項７）
（Ｈ）試算部は、使用者による試算画像の識別情報の入力に応じ、複数の学習済みモデルの中から対象物に適した学習済みモデルのモデル選択情報を試算して出力することができる。これにより、学習済みモデルのバージョン等に関わらず対象物に適した学習済みモデルのモデル選択情報を出力することができ、学習済みモデルのバージョン管理等にかける手間を減少させることができる。

【0017】

本発明によれば、推論精度が向上し、かつ学習済みモデルを小型化することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１実施形態に係る情報処理システムの全体構成を示す図である。

【図2】本発明の第１実施形態に係る情報処理システムにおける情報処理装置とサーバを示すブロック図である。

【図3】本発明の第１実施形態に係る情報処理システムにおける情報処理装置の学習処理を説明するためのブロック図である。

【図4】本発明の第１実施形態に係る情報処理システムにおける情報処理装置の学習処理を説明するためのフローチャートである。

【図5】本発明の第１実施形態に係る情報処理システムにおける情報処理装置のキャプチャ画面を説明するための説明図である。

【図6】本発明の第１実施形態に係る情報処理システムにおける情報処理装置のラベル情報入力画面を説明するための説明図である。

【図7】本発明の第１実施形態に係る情報処理システムにおける情報処理装置の判定処理を説明するためのブロック図である。

【図8】本発明の第２実施形態に係る情報処理システムにおける情報処理装置の学習処理を説明するためのブロック図である。

【図9】本発明の第２実施形態に係る情報処理システムにおける情報処理装置の判定処理を説明するためのブロック図である。

【図10】本発明の第３実施形態に係る情報処理システムにおける情報処理装置の判定処理を説明するための説明図である。

【発明を実施するための形態】

【0019】

以下、図面を参照しながら、本発明の実施形態を説明する。

【0020】

（第１実施形態）
図１は、情報処理システム１の全体構成を示す図である。情報処理システム１は、対象物が正常状態又は異常状態のいずれにあるかを判定する。対象物は、例えば、射出成形機Ｊに設けられた金型であるが、これに限定されない。

【0021】

図１に示すように、情報処理システム１は、情報処理装置１０とサーバ２０を有する。情報処理装置１０は、例えばエッジであり、複数設けることができ、サーバ２０に、無線通信、有線通信及び／又は移動体通信等のネットワークを介して接続可能である。

【0022】

情報処理装置１０は、射出成形機Ｊに接続することが可能である。射出成形機Ｊは、固定側金型に可動側金型を押圧することによって型締を行い、固定側金型に設けられたキャビティと可動側金型に設けられたコアの間に形成された空間に、加熱によって溶融された樹脂を注入し、樹脂を冷却して固化させた後、可動側金型を固定側金型から引き離して型開きを行い、エジェクタピン等によってコアから固化した成形物を取り外す取外し工程を行う。正常状態であれば、取外し工程後に固定側金型と可動側金型の間に成形物は残らないものの、成形物が残って異常状態になると、次回の型締の際に、射出成形機Ｊが成形物を押し潰すトラブルが生じる。

【0023】

情報処理装置１０は、取外し工程後において、金型が正常状態又は異常状態のいずれにあるかを判定し、異常状態にあると判定したとき、射出成形機Ｊに、動作を停止させるための停止信号を送信可能である。

【0024】

図２は、情報処理装置１０とサーバ２０を示すブロック図である。図２に示すように、情報処理装置１０は、カメラ１１、操作部１２、表示部１３及び制御部１４を有する。

【0025】

カメラ１１は、情報処理装置１０の本体に有線接続されるが、無線接続されてもよいし、情報処理装置１０と一体に構成されてもよい。カメラ１１は、対象物に向けて設置され、対象物の動画像及び静止画を撮像可能であり、対象物を撮像して制御部１４に撮像画像Ｉｍを出力する。

【0026】

操作部１２は、使用者の操作によって指示入力可能であり、指示入力を制御部１４に出力する。操作部１２は、例えば、キーボードや、マウス及びタッチパネルである。

【0027】

表示部１３は、ＬＣＤやＯＬＥＤ等の表示装置を有し、制御部１４の制御の下、表示画像を表示する。

【0028】

制御部１４は、ＣＰＵ及びＧＰＵ等によって構成される処理装置１４ａと、ＳＳＤ、ＨＤＤ等によって構成される記憶部１４ｂとを有する。制御部１４の各処理部の機能は、処理装置１４ａが記憶部１４ｂから各種プログラム及びデータを読み込み、実行することによって実現される。

【0029】

記憶部１４ｂには、情報処理装置１０を制御するための各種データやプログラムの他、指示入力部Ｐ１、第１学習部Ｐ２及び判定部Ｐ３の処理部の各々のプログラムや複数の学習済みモデルＭ１も記憶される。図２及び図３において、制御部１４がプログラムを読み込んで実現する処理部の各々の機能は、一点鎖線を用いて表される。以下の図も同様である。

【0030】

指示入力部Ｐ１は、操作部１２を介し、使用者が、ラベル情報Ｌｂとモデル選択情報Ｓｍの他、各種指示を入力可能である。

【0031】

ラベル情報Ｌｂは、撮像画像Ｉｍに、対象物の正常状態又は異常状態のいずれが表れているかを示す。

【0032】

モデル選択情報Ｓｍは、学習済みモデルＭ１の識別情報を有し、複数の学習済みモデルＭ１の中から選択された学習済みモデルＭ１を示す。モデル選択情報Ｓｍは、例えば、コアの個数や配置、金型の形状、金型の色等のプロパティ情報も含む。

【0033】

図３は、学習処理を説明するためのブロック図である。図３に示すように、第１学習部Ｐ２は、記憶部１４ｂに記憶された撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたラベル情報Ｌｂに基づき、対象物の正常状態又は異常状態と相関する推論値を出力するように、モデル選択情報Ｓｍに示された学習済みモデルＭ１の学習を行う。第１学習部Ｐ２における学習には、ディープラーニングや、ニューラルネットワーク等の技術を用いることができる。第１学習部Ｐ２は、初期状態の学習済みモデルＭ１に学習を行ってもよいし、一旦学習された学習済みモデルＭ１に追加学習を行ってもよい。

【0034】

図４は、学習処理を説明するためのフローチャートである。図４に示すように、使用者は、操作部１２からモデル選択情報Ｓｍを入力する（Ｓ１）。指示入力部Ｐ１は、モデル選択情報Ｓｍのプロパティ情報を表示部１３に表示し、使用者に、複数の学習済みモデルＭ１の中からいずれの学習済みモデルＭ１を選択するかを促し、モデル選択情報Ｓｍを入力させる。例えば、指示入力部Ｐ１は、金型のコア数が、２個、４個及び８個に適した複数の学習済みモデルＭ１を表示部１３に表示し、使用者に、それらの中からいずれの学習済みモデルＭ１を選択するかを促し、モデル選択情報Ｓｍを入力させる。

【0035】

図５は、キャプチャ画面Ｇ１を説明するための説明図である。図５に示すように、指示入力部Ｐ１は、キャプチャ画面Ｇ１を表示部１３に表示し、キャプチャ処理を開始する（Ｓ２）。キャプチャ画面Ｇ１は、動画像である撮像画像Ｉｍを再生表示するための動画像表示領域Ａ１、撮像画像Ｉｍの再生表示を開始するための開始ボタンＢ１、撮像画像Ｉｍの再生表示を停止するための停止ボタンＢ２、動画像をキャプチャして静止画像である撮像画像Ｉｍを取得するためのキャプチャボタンＢ３、ラベル情報Ｌｂの入力処理に進むためのラベル入力ボタンＢ４、及び、戻るボタンＢ５を有する。

【0036】

使用者が開始ボタンＢ１を押すと、指示入力部Ｐ１は、記憶部１４ｂに記憶された動画像である撮像画像Ｉｍを読み込み、動画像表示領域Ａ１に再生表示する。指示入力部Ｐ１は、使用者の指示入力に応じ、カメラ１１によって撮像されたライブの動画像である撮像画像Ｉｍを取り込んで動画像表示領域Ａ１に再生表示してもよい（図３の破線）。使用者がキャプチャボタンＢ３を押すと、指示入力部Ｐ１は、動画像表示領域Ａ１に表示されている動画像を静止画像にキャプチャし、静止画像である撮像画像Ｉｍを記憶部１４ｂに記憶させる。

【0037】

図６は、ラベル情報入力画面Ｇ２を説明するための説明図である。使用者がラベル入力ボタンＢ４を押すと、図６に示すように、指示入力部Ｐ１は、ラベル情報入力画面Ｇ２を表示部１３に表示し、撮像画像Ｉｍのラベル情報Ｌｂの入力処理を行う（Ｓ３）。ラベル情報入力画面Ｇ２は、静止画像を表示するための静止画像表示領域Ａ２、正常状態であることを示すラベル情報Ｌｂを入力するためのＯＫボタンＣ１、異常状態であることを示すラベル情報Ｌｂを入力するためのＮＧボタンＣ２、不要な静止画像をスキップするためのスキップボタンＣ３、学習を開始するための学習ボタンＣ４、キャプチャ画面Ｇ１に戻るための戻るボタンＣ５、次の静止画像に進むための進むボタンＦｗ、及び、前の静止画像に戻るための戻るボタンＢｋを有する。

【0038】

使用者が進むボタンＦｗを押すと、指示入力部Ｐ１は、次の静止画像を記憶部１４ｂから読み込んで、静止画像表示領域Ａ２に表示させる。また、使用者が戻るボタンＢｋを押すと、指示入力部Ｐ１は、前の静止画像を記憶部１４ｂから読み込んで静止画像表示領域Ａ２に表示させる。

【0039】

使用者は、静止画像表示領域Ａ２に表示されている静止画像が対象物の正常状態を表すものであればＯＫボタンＣ１を押し、一方、静止画像が対象物の異常状態を表すものであればＮＧボタンＣ２を押し、正常状態又は異常状態を示すラベル情報Ｌｂを入力する。ラベル情報Ｌｂの入力があると、指示入力部Ｐ１は、ラベル情報Ｌｂ及びモデル選択情報Ｓｍを撮像画像Ｉｍに対応付けて記憶部１４ｂに記憶させる。

【0040】

また、使用者は、静止画像表示領域Ａ２に表示されている静止画像が学習に不要なものであればスキップボタンＣ３を押す。スキップボタンＣ３が押されると、指示入力部Ｐ１は、静止画像表示領域Ａ２に表示されている静止画像をスキップし、次の静止画像を記憶部１４ｂから読み込み、静止画像表示領域Ａ２に表示させる。

【0041】

使用者が学習ボタンＣ４を押すと、第１学習部Ｐ２は、追加学習を開始する（Ｓ４）。第１学習部Ｐ２は、Ｓ１において指示入力されたモデル選択情報Ｓｍに対応付けられた学習済みモデルＭ１とラベル情報Ｌｂが付与された撮像画像Ｉｍを記憶部１４ｂから読み込み、学習済みモデルＭ１の追加学習を行う。

【0042】

使用者が戻るボタンＣ５を押すと、指示入力部Ｐ１は、キャプチャ処理に戻り、キャプチャ画面Ｇ１を表示する。

【0043】

図７は、判定処理を説明するためのブロック図である。図７に示すように、判定部Ｐ３は、記憶部１４ｂから指示入力部Ｐ１によって指示入力されたモデル選択情報Ｓｍに示された学習済みモデルＭ１を読み込む。判定部Ｐ３は、学習済みモデルＭ１に、カメラ１１によって撮像された撮像画像Ｉｍを入力して推論値を算出し、推論値が閾値未満であるとき、対象物が正常状態であると判定し、推論値が閾値以上であるとき対象物が異常状態であると判定する。閾値は、正常状態及び異常状態が的確に判定できるように、経験的又は実験的に調整される。判定部Ｐ３は、対象物が異常状態にあると判定したとき、表示部１３に警告を表示するとともに、射出成形機Ｊに、動作の停止指示を送信する。

【0044】

（第２実施形態）
第１実施形態では、モデル選択情報Ｓｍが使用者によって指示入力されるが、第２実施形態では、使用者がモデル選択情報Ｓｍを指示入力する際に、お勧め情報Ｒｃを表示部１３に表示することができる。

【0045】

図８は、情報処理装置１０ａの学習処理を説明するためのブロック図である。図９は、情報処理装置１０ａの判定処理を説明するためのブロック図である。実施形態の説明では、他の実施形態と同じ構成については、説明を省略する。

【0046】

情報処理装置１０ａは、指示入力部Ｐ１、第１学習部Ｐ２、判定部Ｐ３及び学習済みモデルＭ１の他、図８に示すように、第２学習部Ｐ４、モデル推論部Ｐ５及び選択モデルＭ２も有する。

【0047】

第２学習部Ｐ４は、撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられた学習済みモデルＭ１を示すモデル選択情報Ｓｍに基づいて、選択モデルＭ２の学習を行う。第２学習部Ｐ４における学習には、ディープラーニングや、ニューラルネットワーク等の技術を用いることができる。第２学習部Ｐ４は、初期状態の選択モデルＭ２に学習を行ってもよいし、一旦学習された選択モデルＭ２に追加学習を行ってもよい。

【0048】

モデル選択情報Ｓｍは、ラベル情報Ｌｂの入力処理において、撮像画像Ｉｍに対応付けて記憶部１４ｂに記憶させたものを用いることができる（図４のＳ３）。

【0049】

選択モデルＭ２は、複数の学習済みモデルＭ１の各々に、一対一に対応付けられ、複数用意される。

【0050】

第２学習部Ｐ４は、モデル選択情報Ｓｍに示される学習済みモデルＭ１に対応付けられた選択モデルＭ２に、モデル選択情報Ｓｍに対応付けられた撮像画像Ｉｍを入力し、撮像画像Ｉｍに相関した推論値が出力されるように、学習を行う。

【0051】

図９に示すように、モデル推論部Ｐ５は、選択モデルＭ２の各々に撮像画像Ｉｍを入力し、学習済みモデルＭ１と対応関係にあるモデル選択情報Ｓｍを推論して出力する。より具体的に、モデル推論部Ｐ５は、撮像画像Ｉｍを選択モデルＭ２の各々に入力して推論値の各々を取得し、推論値のいずれかが閾値以上であるとき、お勧め情報Ｒｃとして、表示部１３に、閾値以上の推論値を出力した選択モデルＭ２に対応した学習済みモデルＭ１のモデル選択情報Ｓｍを表示する。閾値は、お勧め情報Ｒｃが的確に表示されるように、経験的又は実験的に調整される。使用者は、表示部１３に表示されたお勧め情報Ｒｃを参考にし、操作部１２を介し、学習済みモデルＭ１のモデル選択情報Ｓｍを指示入力する。

【0052】

判定部Ｐ３は、使用者に指示入力されたモデル選択情報Ｓｍに対応付けられた学習済みモデルＭ１を読み込み、学習済みモデルＭ１に撮像画像Ｉｍを入力し、対象物が正常状態又は異常状態のいずれにあるかを判定する。

【0053】

（第３実施形態）
第１及び第２実施形態では、指示入力部Ｐ１によってモデル選択情報Ｓｍが入力されるが、モデル選択情報Ｓｍは、試算によって取得されてもよい。

【0054】

図１０は、情報処理装置１０ｂの判定処理を説明するための説明図である。実施形態の説明では、他の実施形態と同じ構成については、説明を省略する。

【0055】

図１０に示すように、記憶部１４ｂには、複数の試算画像Ｉｅが記憶される。試算画像Ｉｅは、例えば、金型を初めて導入する際に、カメラ１１によって撮像され、試算画像の識別情報Ｉｄに対応付けられ、記憶部１４ｂに記憶される。

【0056】

指示入力部Ｐ１は、使用者が、複数の試算画像Ｉｅの中から試算に用いる試算画像の識別情報Ｉｄを指示入力可能である。

【0057】

情報処理装置１０ｂは、指示入力部Ｐ１、第１学習部Ｐ２、判定部Ｐ３及び学習済みモデルＭ１の他、試算部Ｐ６も有する。試算部Ｐ６は、記憶部１４ｂに記憶された複数の学習済みモデルＭ１の各々に、使用者が指示入力した試算画像Ｉｅの識別情報Ｉｄに対応付けられた試算画像Ｉｅを入力して試算値の各々を取得し、推論値のいずれかが閾値以上であるとき、閾値以上の推論値を出力した学習済みモデルＭ１のモデル選択情報Ｓｍを出力する。閾値は、モデル選択情報Ｓｍが的確に出力されるように、経験的又は実験的に調整される。

【0058】

例えば、使用者が射出成形機Ｊの金型を別の金型に交換し、指示入力部Ｐ１を介し、交換後の金型に対応した試算画像の識別情報Ｉｄを指示入力すると、試算部Ｐ６は、記憶された学習済みモデルＭ１のすべてと、試算画像の識別情報Ｉｄに対応付けられた試算画像Ｉｅとを記憶部１４ｂから読み込み、順次、学習済みモデルＭ１の各々に試算画像Ｉｅを入力し、推論値の各々を取得する。試算部Ｐ６は、推論値のいずれかが閾値以上であるとき、閾値以上の推論値を出力した学習済みモデルＭ１に対応付けられたモデル選択情報Ｓｍを出力する。

【0059】

判定部Ｐ３は、試算部Ｐ６から出力されたモデル選択情報Ｓｍに対応付けられた学習済みモデルＭ１を読み込み、学習済みモデルＭ１に撮像画像Ｉｍを入力し、対象物が正常状態又は異常状態のいずれにあるかを判定する。

【0060】

（作用効果）
実施形態によれば、以下の作用効果を奏する。

【0061】

（ａ）情報処理装置１０、１０ａ、１０ｂ、情報処理方法及び情報処理プログラムは、複数の学習済みモデルＭ１の中から対象物に適した学習済みモデルＭ１を選択して学習及び推論を行うことにより、学習済みモデルＭ１の大型化を抑制し、かつ推論精度を向上させることができる。

【0062】

（ｂ）使用者は、カメラ１１によって対象物を撮像した後、即座に、指示入力部Ｐ１によって対象物に対応付けられたラベル情報Ｌｂを指示入力可能である。これにより、情報処理装置１０、１０ａ、１０ｂ、情報処理方法及び情報処理プログラムは、簡便に、学習済みモデルＭ１の学習を行い、推論精度を向上させることができる。

【0063】

（ｃ）情報処理装置１０、１０ａ、１０ｂは、追加学習によって学習済みモデルＭ１の推論精度を向上させることが可能である。

【0064】

（ｄ）情報処理装置１０、１０ａ、１０ｂは、指示入力部Ｐ１によって指示入力された学習済みモデルＭ１が記憶部１４ｂに記憶されていないとき、学習済みモデルＭ１をサーバ２０から取得することができる。これにより、情報処理装置１０、１０ａ、１０ｂは、学習済みモデルＭ１のすべてを記憶部１４ｂに記憶しなくてもよく、記憶部１４ｂを軽量化することができる。

【0065】

（ｅ）情報処理装置１０、１０ａ、１０ｂは、カメラ１１によって動的な対象物を撮像し、動画像である撮像画像Ｉｍをキャプチャし、静止画像である撮像画像Ｉｍを取得することができる。

【0066】

（ｆ）情報処理装置１０、１０ａ、１０ｂは、射出成形機Ｊの動作状態に異常がないか、監視することができる。

【0067】

（ｇ）撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたモデル選択情報Ｓｍが記憶部１４ｂに蓄積された後、第２学習部Ｐ４が、選択モデルＭ２の学習を行うと、モデル推論部Ｐ５は、選択モデルＭ２を用いてモデル選択情報Ｓｍを推論することができる。推論されたモデル選択情報Ｓｍは、お勧め情報Ｒｃとして表示部１３に表示される。使用者は、表示部１３に表示されたお勧め情報Ｒｃを参考にし、より確実に、対象物に適したモデル選択情報Ｓｍを指示入力することができる。

【0068】

（ｈ）試算部Ｐ６は、使用者による試算画像の識別情報Ｉｄの入力に応じ、複数の学習済みモデルＭ１の中から対象物に適した学習済みモデルＭ１のモデル選択情報Ｓｍを試算して出力することができる。これにより、学習済みモデルＭ１のバージョン等に関わらず対象物に適した学習済みモデルＭ１のモデル選択情報Ｓｍを出力することができ、学習済みモデルＭ１のバージョン管理等にかける手間を減少させることができる。

【0069】

実施形態によれば、情報処理装置１０、１０ａ、１０ｂは、推論精度が向上し、かつ学習済みモデルＭ１を小型化することができる。

【0070】

すなわち、情報処理装置１０、１０ａ、１０ｂは、カメラ１１、記憶部１４ｂ、指示入力部Ｐ１、第１学習部Ｐ２及び判定部Ｐ３を有する。カメラ１１は、対象物を撮像して撮像画像Ｉｍを出力する。記憶部１４ｂは、複数の学習済みモデルＭ１を記憶可能である。指示入力部Ｐ１は、撮像画像Ｉｍに対応付けられ、撮像画像Ｉｍに対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報Ｌｂと、複数の学習済みモデルＭ１の中から選択された学習済みモデルＭ１を示すモデル選択情報Ｓｍとを使用者が指示入力可能である。第１学習部Ｐ２は、撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたラベル情報Ｌｂに基づき、対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、モデル選択情報Ｓｍに示された学習済みモデルＭ１の学習を行う。判定部Ｐ３は、モデル選択情報Ｓｍに示された学習済みモデルＭ１に撮像画像Ｉｍを入力し、対象物が正常状態又は異常状態のいずれにあるかを判定する。

【0071】

また、第１学習部Ｐ２は、モデル選択情報Ｓｍに示された学習済みモデルＭ１を追加学習可能である。

【0072】

また、サーバ２０に接続され、モデル選択情報Ｓｍに示された学習済みモデルＭ１が記憶部１４ｂに記憶されていないとき、学習済みモデルＭ１をサーバ２０から取得する。

【0073】

また、カメラ１１は、動画像である撮像画像Ｉｍを出力し、指示入力部Ｐ１は、動画像をキャプチャすることによって静止画像である撮像画像Ｉｍを取得する。

【0074】

また、判定部Ｐ３は、射出成形機Ｊの金型の開閉動作において、金型が正常状態又は異常状態のいずれにあるかを判定する。

【0075】

また、情報処理装置１０ａは、第２学習部Ｐ４、モデル推論部Ｐ５及び選択モデルＭ２を有し、第２学習部Ｐ４は、撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたモデル選択情報Ｓｍに基づいて、選択モデルＭ２の学習を行う。モデル推論部Ｐ５は、選択モデルＭ２に撮像画像Ｉｍを入力して学習済みモデルＭ１と対応関係にあるモデル選択情報Ｓｍを出力する。

【0076】

また、情報処理装置１０ｂは、試算部Ｐ６を有する。記憶部１４ｂは、複数の試算画像Ｉｅを記憶する。指示入力部Ｐ１は、使用者が、複数の試算画像Ｉｅの中から試算に用いる試算画像の識別情報Ｉｄを指示入力可能である。試算部Ｐ６は、複数の学習済みモデルＭ１の各々に、使用者が指示入力した試算画像の識別情報Ｉｄに対応付けられた試算画像Ｉｅを入力して試算値の各々を取得し、試算値が閾値以上である学習済みモデルＭ１と対応関係にあるモデル選択情報Ｓｍを出力する。

【0077】

また、情報処理方法は、対象物を撮像して撮像画像Ｉｍを出力するカメラ１１と、複数の学習済みモデルＭ１を記憶可能である記憶部１４ｂとを用意する。指示入力部Ｐ１により、撮像画像Ｉｍに対応付けられ、撮像画像Ｉｍに対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報Ｌｂと、複数の学習済みモデルＭ１の中から選択された学習済みモデルＭ１を示すモデル選択情報Ｓｍとを使用者が指示入力する。第１学習部Ｐ２により、撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたラベル情報Ｌｂに基づき、対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、モデル選択情報Ｓｍに示された学習済みモデルＭ１の学習を行う。判定部Ｐ３により、モデル選択情報Ｓｍに示された学習済みモデルＭ１に撮像画像Ｉｍを入力し、対象物が正常状態又は異常状態のいずれにあるかを判定する。

【0078】

また、情報処理プログラムは、指示入力部Ｐ１のプログラム、第１学習部Ｐ２のプログラム及び判定部Ｐ３のプログラムを有する。指示入力部Ｐ１のプログラムは、撮像画像Ｉｍに対応付けられ、撮像画像Ｉｍに対象物の正常状態又は異常状態のいずれが表れているかを示すラベル情報Ｌｂと、複数の学習済みモデルＭ１の中から選択された学習済みモデルＭ１を示すモデル選択情報Ｓｍとを使用者が指示入力可能である。第１学習部Ｐ２のプログラムは、撮像画像Ｉｍ、及び撮像画像Ｉｍに対応付けられたラベル情報Ｌｂに基づき、対象物が正常状態又は異常状態のいずれにあるかを推論可能になるように、モデル選択情報Ｓｍに示された学習済みモデルＭ１の学習を行う。判定部Ｐ３のプログラムは、モデル選択情報Ｓｍに示された学習済みモデルＭ１に撮像画像Ｉｍを入力し、対象物が正常状態又は異常状態のいずれにあるかを判定する。

【0079】

以上、本発明の実施例を図面により詳述したが、本発明の具体的な構成はこの実施例に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。

【0080】

例えば、実施形態では、学習済みモデルＭ１及び選択モデルＭ２が、記憶部１４ｂに記憶される例を説明したが、これに限定されない。学習済みモデルＭ１及び選択モデルＭ２のすべて又は一部が、サーバ２０に記憶されてもよいし、追加学習したモデルについては、サーバ２０に送信せず、記憶部１４ｂに記憶するようにしてもよい。また、指示入力部Ｐ１によって指示入力された学習済みモデルＭ１が記憶部１４ｂに記憶されていないとき、学習済みモデルＭ１をサーバ２０から取得するようにしてもよい。

【0081】

また、第１及び第２実施形態において、指示入力部Ｐ１によって指示入力されるモデル選択情報Ｓｍ、及び第３実施形態において、試算部Ｐ６によって出力されるモデル選択情報Ｓｍは、１つでも複数でもよい。モデル選択情報Ｓｍが複数出力されたとき、判定部Ｐ３は、複数のモデル選択情報Ｓｍの各々に対応付けられた学習済みモデルＭ１のすべてに撮像画像Ｉｍを入力し、算出された各推論値の平均値に基づいて、対象物が正常状態又は異常状態のいずれにあるかを判定することができる。

【0082】

また、第２実施形態では、モデル推論部Ｐ５が出力したモデル選択情報Ｓｍが、お勧め情報Ｒｃとして、表示部１３に表示されるが、モデル推論部Ｐ５が出力したモデル選択情報Ｓｍは、表示部１３に表示されるだけではなく、判定部Ｐ３における学習済みモデルＭ１の読み込みに用いられてもよい。

【0083】

また、制御部１４は、カメラ１１によって撮像された撮像画像Ｉｍに対し、トリミング、解像度の調整、コントラスト補正、明るさ補正、色補正、ノイズ除去、平滑化、及び輪郭強調等の各種の前処理や、水平反転、垂直反転、回転、拡大、縮小、及び明度変更等の水増しを行うことができる。

【0084】

また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。

【符号の説明】

【0085】

１・・・情報処理システム
１０、１０ａ、１０ｂ・・・情報処理装置
１１・・・カメラ
１２・・・操作部
１３・・・表示部
１４・・・制御部
１４ａ・・処理装置
１４ｂ・・記憶部
２０・・・サーバ
Ａ１・・・動画像表示領域
Ａ２・・・静止画像表示領域
Ｂ１・・・開始ボタン
Ｂ２・・・停止ボタン
Ｂ３・・・キャプチャボタン
Ｂ４・・・ラベル入力ボタン
Ｂ５・・・戻るボタン
Ｂｋ・・・戻るボタン
Ｃ１・・・ＯＫボタン
Ｃ２・・・ＮＧボタン
Ｃ３・・・スキップボタン
Ｃ４・・・学習ボタン
Ｃ５・・・戻るボタン
Ｆｗ・・・進むボタン
Ｇ１・・・キャプチャ画面
Ｇ２・・・ラベル情報入力画面
Ｊ ・・・射出成形機
Ｉｄ・・・試算画像の識別情報
Ｉｍ・・・撮像画像
Ｌｂ・・・ラベル情報
Ｍ１・・・学習済みモデル
Ｍ２・・・選択モデル
Ｐ１・・・指示入力部
Ｐ２・・・第１学習部
Ｐ３・・・判定部
Ｐ４・・・第２学習部
Ｐ５・・・モデル推論部
Ｐ６・・・試算部
Ｒｃ・・・お勧め情報
Ｓｍ・・・モデル選択情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】