特開 2023-119752 情報処理システム、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023119752

(43)【公開日】2023-08-29

(54)【発明の名称】情報処理システム、プログラム及び情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230822BHJP

   G06Q 10/20 20230101ALI20230822BHJP

   G06V 10/774 20220101ALI20230822BHJP

【ＦＩ】

G06T7/00 350B

G06Q10/00 300

G06V10/774

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022022771

(22)【出願日】2022-02-17

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＨＵＮＤＥＲＢＯＬＴ

(71)【出願人】

【識別番号】000005902

【氏名又は名称】株式会社三井Ｅ＆Ｓ

(72)【発明者】

【氏名】ロジョ ヴァロンタン

(72)【発明者】

【氏名】長内 福智

(72)【発明者】

【氏名】滝澤 一樹

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC15

5L096AA06

5L096CA04

5L096CA05

5L096GA34

5L096HA11

5L096KA04

5L096MA07

(57)【要約】      （修正有）

【課題】目的対象物が画角に含まれる画像データのみを受け付け、さらに露光状態等が不適切なデータを除外したデータのみ識別ラベリングされることにより、データ量の低減によるサーバの負荷軽減及び診断精度の向上が図れる情報処理システム、情報処理方法及び情報処理プログラムを提供する。
【解決手段】複数の画像撮像装置と、複数の画像収集装置と、サーバとが、ネットワークを通じて接続されている情報処理システムにおいて、情報処理方法は、画像撮像装置にて得られた画像データを受け付けＳ１０１、画像データに含まれる目的対象物を認識しＳ１０２、目的対象物が画角に収容された画像データのみ抽出しＳ１０３、抽出した画像のうち露光及び焦点が不適正な画像データを除外しＳ１０５、除外後の画像データを取り込みＳ１０６、識別しラベリングを行いＳ１０７、識別後のラベリング情報についてユーザに通知するＳ１０８。
【選択図】図４

【特許請求の範囲】

【請求項1】

情報処理システムであって、
次の各ステップを実行するように構成され、
受付ステップでは、画像撮像装置にて得られた画像データを受け付け、
抽出ステップでは、前記画像データに含まれる目的対象物を認識し、前記目的対象物が画角に収容された前記画像データのみを抽出し、
除外ステップでは、前記抽出された画像のうち、露光および焦点が不適正な画像データを除外し、
識別ステップでは、前記除外後の画像データについて識別し、
通知ステップでは、前記識別後のラベリング情報についてユーザに通知する、もの。

【請求項2】

請求項１に記載の情報処理システムであって、
前記抽出ステップにおいて抽出された画像データの一部をある特定方向に連結させ、前記目的対象物全体が画角に収容された、新たな前記抽出された画像とする、もの。

【請求項3】

請求項１～請求項２に記載の情報処理システムにおいて、
前記抽出ステップにおける画像データの抽出、
前記除外ステップにおける画像データの除外、
前記識別ステップにおける画像データの識別
が、予め学習させた学習済みデータに基づく、もの。

【請求項4】

請求項３に記載の情報処理システムにおいて、
前記情報処理システムは学習ステップをさらに備え、
前記学習ステップでは、前記識別後の画像データを教師データとして、前記学習済みデータを生成又は更新する、もの。

【請求項5】

請求項１～請求項４の何れか１つに記載の情報処理システムにおいて、
前記目的対象物が、舶用ディーゼルエンジンにおけるシリンダー内部のピストンリングである、もの。

【請求項6】

請求項１～請求項５の何れか１つに記載の情報処理システムにおいて、
前記識別ステップが、前記目的対象物の状態をクラス分類するよう構成される、もの。

【請求項7】

情報処理方法であって、
次の各ステップを備え、
受付ステップでは、画像撮像装置にて得られた画像データを受け付け、
抽出ステップでは、前記画像データに含まれる目的対象物を認識し、前記目的対象物が画角に収容された前記画像データのみを抽出し、
除外ステップでは、前記抽出された画像のうち、露光および焦点が不適正な画像データを除外し、
識別ステップでは、前記除外後の画像データについて識別し、
通知ステップでは、前記識別後のラベリング情報についてユーザに通知する、方法。

【請求項8】

請求項７に記載の情報処理方法であって、
前記抽出ステップにおいて抽出された画像データの一部をある特定方向に連結させ、前記目的対象物全体が画角に収容された、新たな前記抽出された画像とする、方法。

【請求項9】

請求項７～請求項８に記載の情報処理方法において、
前記抽出ステップにおける画像データの抽出、
前記除外ステップにおける画像データの除外、
前記識別ステップにおける画像データの識別
が、予め学習させた学習済みデータに基づいてなされる、方法。

【請求項10】

請求項９に記載の情報処理方法において、
前記情報処理方法は、学習ステップをさらに備え、
前記学習ステップでは、前記識別後の画像データを教師データとして、前記学習済みデータを生成又は更新するよう構成される、方法。

【請求項11】

請求項７～請求項１０の何れか１つに記載の情報処理方法において、
前記目的対象物が、舶用ディーゼルエンジンにおけるシリンダー内部のピストンリングである、方法。

【請求項12】

請求項７～請求項１１の何れか１つに記載の情報処理方法において、
前記識別ステップが、前記目的対象物の状態をクラス分類するよう構成される、方法。

【請求項13】

プログラムであって、
コンピュータに、請求項１～請求項６の何れか１つに記載の情報処理システムにおける各ステップを実行させる、もの。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

内燃機関におけるピストンリングなど、エンジン機関等の内部における各種部品の経年劣化状態は外部から視認できるものではない。そのため内部にカメラ等を挿入し、得られる画像情報等から確認するのが一般的である。またその確認においては熟練工の経験を必要とするものも多く、素人が容易に判断できるものではない。

【0003】

特許文献１には、Ｘ線カメラでの撮影によって得られた歯科パノラマＸ線画像画像データについて、機械学習により、病変箇所等を診断し、歯科医師をアシストしうる歯科分析システムが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２０８８３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示されるように、サーバ自身が全Ｘ線画像データを受け付けるとなると、サーバのデータ量および維持費用は大きくなり、負荷も大きくなる。さらにカメラの焦点等が不適切なデータも、教師データとして蓄積されることになるため、全体の診断精度に影響を与えることになる。

【0006】

本発明では上記事情を鑑み、画像撮像装置において得られたデータのうち、目的対象物が画角に含まれる画像データのみを受け付け、さらに露光状態等が不適切なデータを除外したデータのみ識別ラベリングされることにより、データ量の低減によるサーバの負荷軽減および診断精度の向上が図れる情報処理システム、プログラム及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の第１の観点は、
情報処理システムであって、
次の各ステップを実行するように構成され、
受付ステップでは、画像撮像装置にて得られた画像データを受け付け、
抽出ステップでは、前記画像データに含まれる目的対象物を認識し、前記目的対象物が画角に収容された前記画像データのみを抽出し、
除外ステップでは、前記抽出された画像のうち、露光および焦点が不適正な画像データを除外し、
識別ステップでは、前記除外後の画像データについて識別し、
通知ステップでは、前記識別後のラベリング情報についてユーザに通知する、ものである。

【0008】

本発明の第２の観点は、
情報処理方法であって、
次の各ステップを備え、
受付ステップでは、画像撮像装置にて得られた画像データを受け付け、
抽出ステップでは、前記画像データに含まれる目的対象物を認識し、前記目的対象物が画角に収容された前記画像データのみを抽出し、
除外ステップでは、前記抽出された画像のうち、露光および焦点が不適正な画像データを除外し、
識別ステップでは、前記除外後の画像データについて識別し、
通知ステップでは、前記識別後のラベリング情報についてユーザに通知する、方法である。

【0009】

これによれば、画像撮像装置において得られたデータのうち、目的対象物が画角に含まれる画像データのみを受け付け、さらに露光状態等が不適切なデータを除外したデータのみ識別ラベリングされることにより、データ量の低減によるサーバの負荷軽減および識別精度の向上が図れる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る情報処理システム全体図である。

【図2(a)】画像収集装置３のハードウェア構成を示すブロック図である。

【図2(b)】サーバ４のハードウェア構成を示すブロック図である。

【図3(a)】画像収集装置３によって実現される機能を示すブロック図である

【図3(b)】サーバ４によって実現される機能を示すブロック図である。

【図4】本実施形態のフローチャート図である。

【発明を実施するための形態】

【0011】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0012】

１．ハードウェア構成
第１節では、本実施形態のハードウェア構成について説明する。

【0013】

１．１ 情報処理システム１
図１は、本実施形態に係る情報処理システム全体図である。情報処理システム１は、画像撮像装置２（例えば、画像撮像装置２－１、２－２、・・・、２－ｎ）と、画像収集装置３（例えば、画像収集装置３－１、３－２、・・・、３－ｎ）と、サーバ４とを備え、これらがネットワークを通じて接続されている。これらの構成要素についてさらに説明する。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。

【0014】

１．２ 画像撮像装置２
画像撮像装置２は前記目的対象物について、その後の識別およびラベリングを容易にするため、所定の空間において死角が発生しないよう、複数にて設置されていることが好ましい。また画像撮像装置２は、目的対象物の内部においてユーザの立ち入りが可能な場合、ユーザ自身によるマニュアル操作されるものであってももちろん良い。さらに単数であっても良い。画像撮像装置２は、例えばデジタルカメラやデジタルビデオカメラである。なお広範囲を撮像しつつ、画像分解能を高く維持したいような場合には、４Ｋ（画素数：３８４０×２１６０）カメラが好ましい。画像収集装置３に送信されるデータ量を低減するため、画像収集装置３に送信される画像データは静止画像が好ましい。なお動画の場合は、３０ＦＰＳ（フレーム/秒）以内が好ましい。より好ましくは５ＦＰＳ以内であり、具体的には例えば、５、１０，１５，２０，２５，３０ＦＰＳであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。フレームレートを低くすることで、後述の画像収集装置３へ送信されるデータ量を抑制することができ、前記抽出ステップを実施する際の負荷を軽減しうるからである。

【0015】

画像撮像装置２は、後述の画像収集装置３における通信部３１とネットワークを介して接続される。撮像された画像データの全てを画像収集装置３に転送するよう構成される。

【0016】

また、画像撮像装置２として可視光だけではなく紫外域や赤外域といったヒトが知覚できない帯域において計測可能なものを採用してもよい。このような画像撮像装置２を採用することによって、暗視野であっても本実施形態に係る情報処理システム１を実施することができる。

【0017】

１．３ 画像収集装置３
画像収集装置３は、画像撮像装置２のそれぞれに対応して備え付けられており、画像撮像装置２に紐づけられた番号と同一の番号を有する。なお画像撮像装置２のひとつが前記目的対象物を画角に捉えた場合、前記目的対象物の識別およびラベリングを容易にするため、他の画像撮像装置２が連動しうるよう画像収集装置３のひとつは複数の画像撮像装置２と対応して備え付けられていてもよい。前記画像収集装置３のひとつと接続される前記画像撮像装置２の台数については、前記画像撮像装置２から送信されるデータ量を収容できる限りにおいては特に指定されるものではない。画像収集装置３は、エッジデバイスに代表されるような端末装置である。

【0018】

図２（a）は、画像収集装置３のハードウェア構成を示すブロック図である。画像収集装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が画像収集装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。

【0019】

通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。画像収集装置３は、通信部３１を介して、画像撮像装置２からの画像データの受信や前記目的対象物が画角に収容された画像データのみをサーバ４に送信する。詳細は後述する。

【0020】

記憶部３２は、前述の画像撮像装置２から受信した画像データを一時的に記憶する。これは、例えば、制御部３３によって実行される画像収集装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、図４のステップＳ１０３に記載の「目的対象物の画像データの抽出」が実施され、図４のステップＳ１０４に記載の「メモリ等からの消去」がなされるまで記憶される。

【0021】

制御部３３は、画像収集装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、前記目的対象物を認識し、前記目的対象物が画角に収容された画像データのみを抽出する。すなわち、記憶部３２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３３によって具体的に実現されることで、制御部３３に含まれる機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。

【0022】

１．４ サーバ4
図２（ｂ）は、サーバ４のハードウェア構成を示すブロック図である。上述の画像収集装置３のように、サーバ４は、通信部４１と、記憶部４２と、制御部４３とを有し、これらの構成要素がサーバ４の内部において通信バス４０を介して電気的に接続されている。そのため各構成要素については上述と異なる部分のみ説明する。

【0023】

サーバ４は、通信部４１を介して、画像収集装置３から、前記目的対象物が画角に収容された画像データを受信する。なお上記画像データが画像撮像装置２から画像収集装置３に送信された全画像データのうちどの部分に該当するかを判断するために、画像撮像装置２にも接続されていてもよい。詳細は後述する。

【0024】

制御部４３は、記憶部４２に記憶された所定のプログラムを読み出すことによって、図４のステップＳ１０５に記載の、露光および焦点が不適正な画像データを除外し、記憶部４２は、上記除外された画像データのみを解析対象データとして記憶する。特に、図４のステップＳ１１０に記載の「解析対象データを教師データとして保存」が実施されるまで記憶され、その後、解析対象データは教師データとして、記憶部４２の別の領域に格納されることになる。

【0025】

制御部４３は、記憶部４２に記憶された所定のプログラムを読み出すことによって、図４のステップＳ１０７に記載の、目的対象物の識別およびラベンリングを実現する。その後、識別およびラベンリングが終了したデータは記憶部４２の別領域に一旦格納される。

【0026】

上記識別およびラベリング終了後に、ユーザに終了した旨の通知がなされ、記憶部４２に一旦格納されたラベンリングデータについて、図４のステップＳ１１０に記載の「解析対象データを教師データとして保存」がなされると、教師データが更新・生成されることになる。なお当該教師データの更新・生成について、データの一部のみでも可能であり、取捨選択はユーザが選別できるものであってもよい。

【0027】

なお前記抽出ステップを第１スクリーニング、前記除外ステップを第２スクリーニングと呼ぶ場合において、上記画像収集装置３が実施する第１スクリーニングをもサーバ４が実施するものであってもよい。記憶部４２に記憶された所定のプログラムを読みだすことで、両スクリーニングを同時に実施されてもよく、画像撮像装置２の台数やサーバ４のデータ容量等に合わせて各種組み合わせ可能であるよう構成される。

【0028】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部３２、４２に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部３３、４３によって具体的に実現されることで、制御部３３、４３に含まれる機能部として実行されうる。

【0029】

図３（a）は、画像収集装置３（制御部３３）によって実現される機能を示すブロック図である。具体的には、画像収集装置３（制御部３３）は、受付部３３１と、認識部３３２と、抽出部３３３と、送信部３３４とを備える。

【0030】

受付部３３１は、各種の情報を受け付けるように構成される。例えば、受付部３３１は画像撮像装置２から発せられた全画像データを受け付ける。

【0031】

認識部３３２は、画像撮像装置２から送信される全画像データのうち、目的対象物が画角に収容されているかを自動認識するように構成される。例えば、認識部３３２は、記憶部３２に記憶された所定のプログラムを呼び出し、画像撮像装置２から送信された全画像データから特徴量を抽出（エッジ抽出）、解析を行い、目的対象物を自動認識する。
なお、前記自動認識は、サーバ４に随時保存され、画像収集装置３に送付された教師データに基づく機械学習がより好ましく、必要に応じて、前記特徴量抽出アルゴリズムを含ませてもよい。機械学習のアルゴリズムは特に限定されず、ｋ近傍法、ロジスティック回帰、サポートベクターマシン、ニューラルネットワーク、トピックモデル、混合ガウスモデル等が適宜採用されればよい。

【0032】

抽出部３３３は、前記自動認識により、目的対象物が画角に収容されている画像を特定し、当該画像のみ抽出するように構成される。目的対象物全体が画角に収容されていない場合には、当該画像をある特定方向に連結させ、新たな抽出画像とするのが好ましい。こうすることでサーバ４に送信されるデータ量を削減し、負荷を軽減できるだけでなく、情報処理システム１の精度の向上が図れるからである。

【0033】

なおこの際、抽出されなかった画像については画像収集装置３に備えつけられたメモリ等から自動的に消去される。また画像収集装置３のひとつが複数の画像撮像装置２と接続されている場合、当該画像の抽出は互いに連動して行われ、上記の画像連結および抽出が行われてもよい。

【0034】

送信部３３４は、前記抽出された画像データをサーバ４に送信するよう構成される。なお送信部３３４は、画像収集装置３のひとつが複数の画像撮像装置２と接続されている場合、画像撮像装置２の一部の画像が抜け落ちているか否かという前記連動性について確認し、上述の画像連結および抽出が行われた後、サーバ４に送信される構成でもよい。

【0035】

図３（ｂ）は、サーバ４（制御部４３）によって実現される機能を示すブロック図である。具体的には、サーバ４（制御部４３）は、受付部４３１と、除外部４３２と、識別部４３３と、送信部４３４とを備える。

【0036】

受付部４３１は、各種の情報を受け付けるように構成される。例えば、受付部４３１は、画像収集装置３から発せられた「目的対象物が画角に収容された」画像データを受け付ける。

【0037】

除外部４３２は、前記目的対象物が画角に収容されたデータのうち、焦点深度があっていない画像データや露光状態のよくない画像データを除外する。焦点深度があっていない画像データとは、前記目的対象物が画角に収容されてはいるが、当該目的対象物に付随して存在しうる別のものがエッジ抽出できないような画像データをいう。例えば、目的対象物が内燃機関におけるシリンダーのピストンリングである場合には、上記付随して存在しうるものとしては煤があげられる。また露光状態のよくない画像データとは、同様に煤等の存在が確認できないような照度で撮像された画像データをいう。

【0038】

識別部４３３は、前記除外部４３２による除外後、記憶部４２にある所定のプログラムを読み出し、前記目的対象物の状態を識別し、クラス分け、ラベンリングを行う。
その後、送信部４３４は、前記識別されラベリングされた情報について、サーバ４の記憶部４２に格納される旨をユーザに通知する。ユーザは個別または全データについて教師データとして格納するかどうかを決定してもよく、所定の時間を経過した後には全データが教師データとして格納されるものであってもよい。

【0039】

３．情報処理方法
本節では、前述した情報処理システム１の情報処理方法について説明する。この情報処理方法は、次の各ステップを備える。受付ステップでは、画像撮像装置にて得られた画像データを受け付ける。抽出ステップでは、前記画像データに含まれる目的対象物を認識し、前記目的対象物が画角に収容された前記画像データのみを抽出する。除外ステップでは、前記抽出された画像のうち、露光および焦点が不適正な画像データを除外する。識別ステップでは、前記除外後の画像データについて識別する。通知ステップでは、前記識別後のラベリング情報についてユーザに通知する。

【0040】

図４は、情報処理システム１によって実行される情報処理の流れを示すフローチャート図である。以下、このフローチャート図の各フローに沿って、特に、前記目的対象物が内燃機関におけるシリンダーのピストンリングである場合を説明する。

【0041】

ユーザが、内燃機関におけるシリンダーのピストンリングの状態を検査しようとする場合、画像撮像装置２を起動する。上述のとおり画像撮像装置２をユーザ自身がマニュアル操作にて起動および撮像してもよく、画像収集装置３は画像撮像装置２からの全画像データを受け付けるよう構成されている（ステップＳ１０１）。
画像収集装置３は画像撮像装置２から受け付けた画像データの中に、目的対象物としているピストンリングおよびリングランドが画角に含まれているかどうかを自動認識する（ステップＳ１０２）。前記自動認識は上述のとおり、特徴量を抽出するエッジ抽出法や教師ありデータを用いた機械学習などがある。さらにこれらを組み合わせたものでもよい。

【0042】

上記教師ありデータを用いた機械学習が、畳み込みニューラルネットワークを用いている場合には、直接特徴を学習できることになるため、ユーザによる特徴抽出の手間が一部省略でき、情報処理システム１の精度の向上が図れる点において特に好ましい。

【0043】

前記自動認識がなされると、画像収集装置３は、ピストンリングおよびリングランドが画角に収容された画像データのみ抽出し（ステップＳ１０３）、サーバ４に送信する。いわゆる１次スクリーニングが画像収集装置３にて行われる。なお、ピストンリングおよびリングランド全体が画角に収容されていない場合には、当該画像をある特定方向に連結させ、新たな抽出画像としてサーバ４に送信されてもよい。

【0044】

一方画角に全く収容されなかった画像データ等については画像収集装置３に備え付けられたソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスやランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリから消去される（ステップＳ１０４）。スッテプＳ１０４のデータ消去はステップＳ１０３に漏れたすべてのデータであって、画像収集装置３が画像撮像装置２からの全画像データを受け付ける関係上、ステップＳ１０３の後、なるだけ早く実行されることが好ましい。

【0045】

サーバ４に送信された、画像データのうち、露光状態や焦点深度が不適正な画像データについては除外される。いわゆる２次スクリーニングがサーバ４にて行われる（ステップＳ１０５）。特に舶用ディーゼルエンジンにおいては燃料の関係上、シリンダー内部に煤が発生する。上述のとおり露光状態や焦点深度が不適正であった場合は、ピストンリングやリングランドに付着する当該煤などのいわゆる不要物が画像から確認できない。上記自動認識による除外データの決定は、煤などの不要物についての特徴量を抽出するエッジ抽出法や教師ありデータを用いた機械学習などがある。さらにこれらを組み合わせたものでもよい。

【0046】

上記教師ありデータを用いた機械学習が、１次スクリーニングとは別の畳み込みニューラルネットワークを用いている場合には、直接特徴を学習できることになるため、ユーザによる特徴抽出の手間が一部省略でき、情報処理システム１の精度の向上が図れる点において特に好ましい。

【0047】

なお当該除外データの決定は、上述のとおりサーバ４の記憶部４２に格納されている所定のプログラムを読み出すことで実行され、後述の教師ありデータのデータ量に応じて各種パラメータ等が調整されることは言うまでもない。

【0048】

上記除外済みの画像データのみ解析対象として取り込まれる（ステップＳ１０６）。マイクロシージャ、スカフィング、破損、皮膜の摩滅度合い、アングルカットやSロック状態などの詳細判定を行い、状態を識別し、クラス分けおよびラベリングを行う（ステップＳ１０７）。当該解析による識別およびラベリングは、上述のとおりサーバ４の記憶部４２に格納されている所定のプログラムを読み出すことで実行され、ユーザの分類精度や分類目的に応じて各種パラメータ等が調整されることは言うまでもない。当該解析は、多変量解析によるクラスタリングを主としており、上記パラメータはいわゆる重み付け値等である。

【0049】

上記はピストンリングの場合であるが、リングランドであれば、トップ、ファースト、セカンド、サードのリングランドがそれぞれノーマル、ディスクロージャー、ライトカーボン、イクセッシブのどの状態であるかクラス分けされる。

【0050】

当該識別およびラベリングが、上記と同様に、教師ありデータを用いた機械学習でであって、１次スクリーニングや２次スクリーニングとは別の畳み込みニューラルネットワークを用いている場合、直接特徴を学習できることになるため、情報処理システム１の精度の向上が図れる点において特に好ましい。

【0051】

その後、上記識別およびラベリングを終了した旨をユーザに通知する（ステップＳ１０８）。ユーザは上記通知を受け、識別およびラベリングされたデータのうち、一部および全部について教師データとして保存するか否かを決定する（ステップＳ１０９）。そうしてサーバ４に教師データが保存され（ステップＳ１１０）、画像収集装置３での自動認識の精度向上に資するように画像収集装置３での教師データが更新される（ステップＳ１１１）。そうして画像収集装置３での教師データの更新がなされた旨の通知がユーザになされることで一連のフローが終了することになる（ステップＳ１１２）。

【0052】

なお上記スッテプＳ１１１にて更新された教師データを用いて１次スクリーニングの精度をあげた、いわゆるループ形式の情報処理方法でもよい。ステップＳ１０９の判断において、再度ループさせるか否かについてユーザの判断に委ねるものであってもよい。

【0053】

４．その他
本実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。前記情報処理システム１において、抽出ステップにおいて抽出された画像データの一部をある特定方向に連結させ、目的対象物全体が画角に収容された、新たな抽出画像とする、ものである。
サーバ４に送信されるデータ量を削減し、負荷を軽減できるだけでなく、情報処理システム１の精度の向上が図れるため好ましい。

【0054】

前記情報処理システム１において、抽出ステップにおける画像データの抽出、除外ステップにおける画像データの除外、識別ステップにおける画像データの識別が、予め学習させた学習済みデータに基づくものである。
機械学習を用いることで情報処理システム１が、精度の高い識別およびクラス分けできるようになるため、より好ましい。

【0055】

上述の機械学習を用いた前記情報処理システム１において、サーバ４および画像収集装置３は前記学習ステップをさらに備え、前記識別ステップ終了後の画像データを教師データとして、前記学習済みデータを生成又は更新する、ものである。
図４のステップＳ１１０、Ｓ１１１に記載のとおり、識別およびクラス分け後の実データを教師データとして更新していくため、情報処理システム１の識別およびクラス分けが高い精度でよりできるようになるため、さらに好ましい。

【0056】

前記情報処理システム１において、前記目的対象物が舶用ディーゼルエンジンにおけるシリンダー内部のピストンリングである、ものである。ピストンリングの状態については熟練工の目視による判断が必要となるものが多いが、特にそのスカフィングなどの各種パラメータは数値化が困難であるため、その判断を自動で行えるようになることは好ましい。さらにその自動判断（自動識別）が教師ありデータに基づく機械学習によりなされることで精度の向上が見込まれるため、より一層好ましい。

【0057】

前記情報処理システム１において、前記識別データがクラス分類するよう構成される、ものである。
上述のとおり、特にシリンダー内部のピストンリング等においては状態についての絶対的な数値化は難しいところ、その識別結果をクラス分けしてラベリングすることでユーザが状態をより判断できるようになる。その結果ステップＳ１０９での取捨選択が容易になり、結果として情報処理システム１の精度が向上するため、好ましい。

【0058】

なお上記の実施形態では、情報処理システム１の構成として説明したが、コンピュータに、情報処理システム１における各ステップを実行させるプログラムが提供されてもよい。
上述の画像収集装置３のデータ容量に余裕がない場合であっても、サーバ４にて複数のプログラム（ステップＳ１０３、Ｓ１０５、Ｓ１０７等）が起動し、本発明の目的を達成しうるため、好ましい。

【0059】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0060】

１ ：情報処理システム
２ ：画像撮像装置
３ ：画像収集装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：受付部
３３２ ：認識部
３３３ ：抽出部
３３４ ：送信部
４ ：サーバ
４０ ：通信バス
４１ ：通信部
４２ ：記憶部
４３ ：制御部
４３１ ：受付部
４３２ ：除外部
４３３ ：識別部
４３４ ：送信部

【図1】

【図2】

【図3】

【図4】