特開 2024-20756 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024020756

(43)【公開日】2024-02-15

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G01N 21/89 20060101AFI20240207BHJP

   G05B 19/418 20060101ALI20240207BHJP

   G06T 7/00 20170101ALI20240207BHJP

   G06T 7/60 20170101ALI20240207BHJP

   G01B 11/30 20060101ALI20240207BHJP

   G01B 11/02 20060101ALI20240207BHJP

【ＦＩ】

G01N21/89 Z

G05B19/418 Z

G06T7/00 610

G06T7/60 150Z

G01B11/30 A

G01B11/02 H

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022123180

(22)【出願日】2022-08-02

(71)【出願人】

【識別番号】592008055

【氏名又は名称】株式会社ＫＤＤＩテクノロジー

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】森 英一

【テーマコード（参考）】

2F065

2G051

3C100

5L096

【Ｆターム（参考）】

2F065AA21

2F065AA49

2F065BB15

2F065FF04

2F065JJ19

2F065JJ26

2F065MM02

2F065QQ08

2F065QQ23

2F065QQ24

2F065QQ26

2F065QQ31

2F065QQ41

2G051AA01

2G051AB02

2G051CA04

2G051DA06

2G051EA12

2G051EC01

3C100AA58

3C100AA70

3C100BB12

3C100BB15

3C100BB27

5L096BA03

5L096CA02

5L096DA02

5L096FA02

5L096FA17

5L096FA64

5L096FA69

5L096FA70

5L096GA51

5L096JA11

(57)【要約】

【課題】物品の欠陥が発生した原因を簡易な方法で判定することができるようにする。
【解決手段】搬送される物品を撮像した画像データを取得する取得部１３１と、画像データにおける物品の表面の欠陥を検出する検出部１３２と、画像データにおける物品の搬送方向における欠陥の大きさと、物品の搬送方向に直交する方向における欠陥の大きさと、の比率であるアスペクト比を特定する特定部１３３と、特定部１３３が特定したアスペクト比に基づいて、欠陥が発生した原因を判定する判定部１３４と、を有する情報処理装置１である。
【選択図】図２

【特許請求の範囲】

【請求項1】

生産ラインにおいて搬送される物品を撮像した画像データを取得する取得部と、
前記画像データにおける前記物品の表面の欠陥を検出する検出部と、
前記画像データにおける前記物品の生産ラインの搬送方向における前記欠陥の大きさと、前記物品の生産ラインの搬送方向に直交する方向における前記欠陥の大きさと、の比率であるアスペクト比を特定する特定部と、
前記特定部が特定した前記アスペクト比に基づいて、前記欠陥が発生した原因を判定する判定部と、
を有する情報処理装置。

【請求項2】

前記取得部は、複数の異なる前記画像データを取得し、
前記検出部は、複数の異なる前記画像データそれぞれにおける前記物品の表面の前記欠陥を検出し、
前記特定部は、前記検出部が検出した複数の前記欠陥それぞれの前記アスペクト比を特定し、
前記判定部は、前記特定部が特定した複数の前記アスペクト比の統計値に基づいて、前記欠陥が発生した原因を判定する、
請求項１に記載の情報処理装置。

【請求項3】

前記判定部は、前記特定部が特定した複数の前記アスペクト比の中央値に基づいて、前記欠陥が発生した原因を判定する、
請求項２に記載の情報処理装置。

【請求項4】

前記判定部は、前記アスペクト比が第１の閾値以上である場合に、第１の原因を前記欠陥が発生した原因と判定し、前記アスペクト比が第１の閾値未満であり、かつ、第２の閾値以上である場合に、第２の原因を前記欠陥が発生した原因と判定する、
請求項１に記載の情報処理装置。

【請求項5】

前記欠陥が発生する原因と、前記物品が生産される生産ラインにおける工程と、を関連付けた原因工程情報を記憶する、記憶部と、
前記判定部が判定した前記欠陥が発生した原因に前記原因工程情報において対応する前記生産ラインにおける工程を前記欠陥の発生原因の工程として判定する工程判定部と、
をさらに有する請求項１に記載の情報処理装置。

【請求項6】

コンピュータが実行する、
生産ラインにおいて搬送される物品を撮像した画像データを取得するステップと、
前記画像データにおける前記物品の表面の欠陥を検出するステップと、
前記画像データにおける前記物品の生産ラインの搬送方向における前記欠陥の大きさと、前記物品の生産ラインの搬送方向に直交する方向における前記欠陥の大きさと、の比率であるアスペクト比を特定するステップと、
前記特定するステップにおいて特定した前記アスペクト比に基づいて、前記欠陥が発生した原因を判定するステップと、
を有する情報処理方法。

【請求項7】

コンピュータに、
生産ラインにおいて搬送される物品を撮像した画像データを取得するステップと、
前記画像データにおける前記物品の表面の欠陥を検出するステップと、
前記画像データにおける前記物品の生産ラインの搬送方向における前記欠陥の大きさと、前記物品の生産ラインの搬送方向に直交する方向における前記欠陥の大きさと、の比率であるアスペクト比を特定するステップと、
前記特定するステップにおいて特定した前記アスペクト比に基づいて、前記欠陥が発生した原因を判定するステップと、
を有するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

製品画像を用いて製品を検査する装置が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１９０７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の検査方法においては、キズなどの欠陥の有無を判定することは可能であるが、欠陥が生じた原因は人手で特定しなければならず、原因を特定するために多くの時間を要するという問題が生じていた。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、物品の欠陥が発生した原因を簡易な方法で判定することができるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の情報処理装置においては、生産ラインにおいて搬送される物品を撮像した画像データを取得する取得部と、前記画像データにおける前記物品の表面の欠陥を検出する検出部と、前記画像データにおける前記物品の生産ラインの搬送方向における前記欠陥の大きさと、前記物品の生産ラインの搬送方向に直交する方向における前記欠陥の大きさと、の比率であるアスペクト比を特定する特定部と、前記特定部が特定した前記アスペクト比に基づいて、前記欠陥が発生した原因を判定する判定部と、を有する。

【0007】

前記取得部は、複数の異なる前記画像データを取得し、前記検出部は、複数の異なる前記画像データそれぞれにおける前記物品の表面の前記欠陥を検出し、前記特定部は、前記検出部が検出した複数の前記欠陥それぞれの前記アスペクト比を特定し、前記判定部は、前記特定部が特定した複数の前記アスペクト比の統計値に基づいて、前記欠陥が発生した原因を判定する。

【0008】

前記判定部は、前記特定部が特定した複数の前記アスペクト比の中央値に基づいて、前記欠陥が発生した原因を判定してもよい。

【0009】

前記判定部は、前記アスペクト比が第１の閾値以上である場合に、第１の原因を前記欠陥が発生した原因と判定し、前記アスペクト比が第１の閾値未満であり、かつ、第２の閾値以上である場合に、第２の原因を前記欠陥が発生した原因と判定してもよい。

【0010】

前記欠陥が発生する原因と、前記物品が生産される生産ラインにおける工程と、を関連付けた原因工程情報を記憶する、記憶部と、前記判定部が判定した前記欠陥が発生した原因に前記原因工程情報において対応する前記生産ラインにおける工程を前記欠陥の発生原因の工程として判定する工程判定部と、をさらに有してもよい。

【0011】

本発明の第２の態様の情報処理方法においては、コンピュータが実行する、生産ラインにおいて搬送される物品を撮像した画像データを取得するステップと、前記画像データにおける前記物品の表面の欠陥を検出するステップと、前記画像データにおける前記物品の生産ラインの搬送方向における前記欠陥の大きさと、前記物品の生産ラインの搬送方向に直交する方向における前記欠陥の大きさと、の比率であるアスペクト比を特定するステップと、前記特定するステップにおいて特定した前記アスペクト比に基づいて、前記欠陥が発生した原因を判定するステップと、を有する。

【0012】

本発明の第３の態様のプログラムにおいては、コンピュータに、生産ラインにおいて搬送される物品を撮像した画像データを取得するステップと、前記画像データにおける前記物品の表面の欠陥を検出するステップと、前記画像データにおける前記物品の生産ラインの搬送方向における前記欠陥の大きさと、前記物品の生産ラインの搬送方向に直交する方向における前記欠陥の大きさと、の比率であるアスペクト比を特定するステップと、前記特定するステップにおいて特定した前記アスペクト比に基づいて、前記欠陥が発生した原因を判定するステップと、を有する。

【発明の効果】

【0013】

本発明によれば、物品の欠陥が発生した原因を簡易な方法で判定することができるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】情報処理システムＳの処理の概要を示す図である。

【図2】情報処理装置１の構成を示すブロック図である。

【図3】特定部１３３がアスペクト比を特定する処理の一例を説明する図である。

【図4】記憶部１２が記憶する原因情報のデータ構造の一例を示す図である。

【図5】記憶部１２が記憶する原因工程情報のデータ構造の一例を示す図である。

【図6】記憶部１２が記憶する原因工程情報のデータ構造の一例を示す図である。

【図7】情報処理装置１における処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0015】

＜第１の実施形態＞
［情報処理システムＳの概要］
図１は、情報処理システムＳの処理の概要を示す図である。情報処理システムＳは、搬送される物品が撮像された画像データに基づいて、物品に欠陥が生じた原因を判定するためのシステムである。欠陥は例えば、物品の表面に生じたキズである。情報処理システムＳは、情報処理装置１及び情報端末２を有する。情報処理システムＳは、一例として工場等の生産ラインにおいて搬送される製品に欠陥が生じた原因を判定する。なお、情報処理システムＳは、物流における特定の場所（例えば物流倉庫内のコンベア）において撮像された画像データに基づいて、物品に生じたキズが発生した原因を判定するよう構成されてもよい。

【0016】

情報処理装置１は、物品が撮像された画像データに基づいて物品に欠陥が生じた原因を出力する装置である。情報処理装置１は、例えばサーバである。

【0017】

情報端末２は、情報処理装置１とネットワークを介して通信可能に接続され、情報処理装置１に画像データを送信する。また、情報端末２は、情報処理装置１が判定した結果を取得し、不図示の表示部に表示させる。情報端末２は、ユーザが使用するパーソナルコンピュータ、スマートフォン又はタブレットである。情報端末２を使用するユーザは、一例として物品の生産ラインを管理する管理者である。

【0018】

情報処理システムＳにおける処理の概要について説明する。情報処理装置１は、画像データを取得する（図１における（１））。画像データは、判定対象の物品を被写体として含む。情報処理装置１は、取得した画像データに含まれる物品の表面に生じた欠陥を検出する（図１における（２））。

【0019】

情報処理装置１は、検出した欠陥のアスペクト比を特定する（図１における（３））。アスペクト比は、検出した欠陥の搬送方向における大きさと、検出した欠陥の搬送方向に直交する方向における大きさと、の比である。

【0020】

情報処理装置１は、特定したアスペクト比に基づいて、欠陥が発生した原因を判定する（図１における（４））。情報処理装置１は、判定した原因を出力する（図１における（５））。一例として、情報処理装置１は、判定した原因を情報端末２の表示部に表示させるよう制御する。

【0021】

情報処理システムＳがこのように構成されることで、物品の欠陥が発生した原因を簡易な方法で判定することができる。

【0022】

［情報処理装置１の構成］
図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、通信部１１、記憶部１２及び制御部１３を有する。制御部１３は、取得部１３１、検出部１３２、特定部１３３、判定部１３４及び工程推定部１３５を有する。

【0023】

通信部１１は、ネットワークを介して他の装置とデータの送受信をするための通信インターフェースである。記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、ハードディスクドライブ等を含む記憶媒体である。記憶部１２は、制御部１３が実行するプログラムを予め記憶している。記憶部１２は後述する原因情報及び原因工程情報を記憶する。

【0024】

制御部１３は、例えばＣＰＵ（Central Processing Unit）等のプロセッサである。制御部１３は、記憶部１２に記憶されたプログラムを実行することにより、取得部１３１、検出部１３２、特定部１３３、判定部１３４及び工程推定部１３５として機能する。

【0025】

取得部１３１は、搬送される物品を撮像した画像データを取得する。画像データに含まれる物品は、一例として工場等の生産ラインにおいて搬送される製品や物流倉庫内を搬送される荷物である。

【0026】

検出部１３２は、画像データにおける物品の表面の欠陥を検出する。検出部１３２は、既知の画像認識技術により画像データに含まれる物品の欠陥を検出する。検出部１３２は、一例として画像データにおいて欠陥がある画素の範囲を示す情報を生成し、特定部１３３に入力する。

【0027】

特定部１３３は、画像データにおける物品の生産ラインの搬送方向における欠陥の大きさと、物品の生産ラインの搬送方向に直交する方向（単に直交方向という）における欠陥の大きさと、の比率であるアスペクト比を特定する。図３は、特定部１３３がアスペクト比を特定する処理の一例を説明する図である。図３においては、物品Ｏは、取得部１３１が取得した画像データＩに含まれる撮像対象の物品である。欠陥Ｄは、検出部１３２が検出した物品Ｏの表面に生じた欠陥である。特定部１３３は、搬送方向における欠陥Ｄの大きさＬ１と、直交方向における欠陥Ｄの大きさＬ２とを特定する。特定部１３３は、Ｌ１をＬ２で除算した値をアスペクト比として特定する。

【0028】

具体的には、特定部１３３は、検出された欠陥が含まれる画素のうち、搬送方向に対して最も始点側に位置する画素と、搬送方向に対して最も終点側に位置する画素と、の距離の搬送方向成分をＬ１とする。また、特定部１３３は、検出された欠陥が含まれる画素のうち、直交方向に対して最も始点側に位置する画素と、直交方向に対して最も終点側に位置する画素と、の距離の直交方向成分をＬ２とする。

【0029】

なお、搬送方向は予め定められていてもよいし、取得部１３１により画像データと関連付けて取得されてもよい。

【0030】

判定部１３４は、特定部１３３が特定したアスペクト比に基づいて、欠陥が発生した原因を判定する。一例として記憶部１２は、アスペクト比と欠陥の発生原因とを対応付けた原因情報を記憶している。図４は、記憶部１２が記憶する原因情報のデータ構造の一例を示す図である。図４に示す原因情報においては、「アスペクト比」と「発生原因」とが対応づけられている。「アスペクト比」は、アスペクト比の範囲を示す。「発生原因」は、アスペクト比の範囲に対応する欠陥の発生原因を示す。

【0031】

判定部１３４は、記憶部１２が記憶する原因情報を参照し、特定部１３３が特定したアスペクト比に対応する発生原因を、検出した欠陥が発生した原因として判定する。一例として、判定部１３４は、判定した原因を情報端末２に表示させるよう制御してもよい。

【0032】

一例として、欠陥の発生原因を特定するための閾値が設定されていてもよい。判定部１３４は、アスペクト比が第１の閾値以上である場合に、第１の原因を欠陥が発生した原因と判定し、アスペクト比が第１の閾値未満であり、かつ、第２の閾値以上である場合に、第２の原因を欠陥が発生した原因と判定する。第１の閾値は一例として１．３であり、第２の閾値は０．７である。第１の原因は、一例としてせん断（ズリ）である。第２の原因は、一例として引張（圧縮）である。判定部１３４は、両持ち梁曲げや自由支持３点曲げ等の欠陥の発生原因に対応する閾値をさらに設定されていてもよい。

【0033】

情報処理装置１がこのように構成されることで、物品の欠陥が発生した原因を簡易な方法で判定することができるという効果を奏する。また、アスペクト比に基づいて欠陥が発生した原因を特定することで、画像データに対する物品の搬送方向が特定できれば、撮像対象の物品と撮像装置との距離によらず欠陥が生じた原因を判定することができる。

【0034】

ところで、情報処理装置１が撮像データに基づいて生産ラインにおいて欠陥が発生した工程を推定できるように構成されると、ユーザが原因に基づいて工程を特定する手間が削減でき、ユーザの利便性が高い。

【0035】

記憶部１２は、欠陥が発生する原因と、物品が生産される生産ラインにおける工程と、を関連付けた原因工程情報を記憶する。図５は、記憶部１２が記憶する原因工程情報のデータ構造の一例を示す図である。図５に示すとおり、記憶部１２が記憶する原因工程情報においては、「発生原因」と「原因工程」とが関連付けられている。「原因工程」は、物品が生産される生産ラインにおける工程を示す情報である。

【0036】

工程推定部１３５は、判定部１３４が推定した欠陥が発生した原因に原因工程情報において対応する生産ラインにおける工程を欠陥の発生原因の工程として推定する。工程推定部１３５は、図５に示す原因工程情報を参照し、判定部１３４が推定した原因に原因工程情報対応する「原因工程」を欠陥の発生原因の工程として推定する。工程推定部１３５は、推定した欠陥の発生原因の工程を情報端末２に表示させるよう制御してもよい。

【0037】

原因工程情報においては、１つの「発生原因」に対して複数の「原因工程」を対応付けてられていてもよい。この場合、工程推定部１３５は、判定部１３４が判定した発生原因に原因工程情報において対応する複数の「原因工程」を欠陥の発生原因の工程の候補として推定してもよい。

【0038】

なお、原因工程情報においては、アスペクト比と工程とが関連付けられていてもよい。図６は、この場合において記憶部１２が記憶する原因工程情報のデータ構造の一例を示す図である。図６に示す原因工程情報においては、「アスペクト比」と「発生原因」と「原因工程」とが関連付けられている。

【0039】

工程推定部１３５は、特定部１３３が特定したアスペクト比に基づいて欠陥の発生原因の工程を特定する。具体的には、工程推定部１３５は、記憶部１２が記憶する原因工程情報を参照し、特定部１３３が特定したアスペクト比に原因工程情報において対応する「原因工程」を欠陥の発生原因の工程として推定する。

【0040】

なお、学習済みモデルを用いて欠陥が発生した原因の工程を判定するよう情報処理装置１が構成されてもよい。この場合、記憶部１２は、欠陥のアスペクト比又は欠陥の発生原因と原因に対応する工程とを教師データとして学習した学習済みモデルが記憶されている。

【0041】

工程推定部１３５は、特定部１３３が特定したアスペクト比又は判定部１３４が判定した原因を記憶部１２が記憶する学習済みモデルに入力し、出力された工程を、欠陥が生じた原因として推定する。

【0042】

［情報処理装置１における処理］
図７は、情報処理装置１における処理の流れを示すフローチャートである。図７におけるフローチャートは、欠陥が発生した原因を判定するトリガを情報処理装置１が検知した時点から開始している。取得部１３１は、画像データを取得する（Ｓ０１）。検出部１３２は、取得部１３１が取得した画像データに含まれる物品の表面の欠陥を検出する（Ｓ０２）。検出部１３２は、取得部１３１が取得した画像データに含まれる物品の表面に欠陥があるか否かを判定する（Ｓ０３）。

【0043】

取得部１３１が取得した画像データに含まれる物品の表面に欠陥がない場合（Ｓ０３におけるＮＯ）、情報処理装置１は、処理を終了する。取得部１３１が取得した画像データに含まれる物品の表面に欠陥がある場合（Ｓ０３におけるＹＥＳ）、特定部１３３は、検出部１３２が検出した欠陥のアスペクト比を特定する（Ｓ０４）。

【0044】

判定部１３４は、特定したアスペクト比が第１の閾値以上か否かを判定する（Ｓ０５）。特定したアスペクト比が第１の閾値以上である場合（Ｓ０５におけるＹＥＳ）、判定部１３４は、欠陥が発生した原因を第１の原因であると判定し（Ｓ０６）、Ｓ１０に進む。

【0045】

特定したアスペクト比が第１の閾値未満である場合（Ｓ０５におけるＮＯ）、判定部１３４は、特定したアスペクト比が第２の閾値以上であるか否かを判定する（Ｓ０７）。特定したアスペクト比が第２の閾値以上である場合（Ｓ０７におけるＹＥＳ）、判定部１３４は、欠陥が発生した原因を第２の原因であると判定し（Ｓ０８）、Ｓ１０に進む。

【0046】

特定したアスペクト比が第２の閾値未満である場合（Ｓ０７におけるＮＯ）、判定部１３４は、欠陥が発生した原因をその他の原因であると判定し（Ｓ０９）、Ｓ１０に進む。

【0047】

判定部１３４は、判定した原因を出力する（Ｓ１０）。一例として、判定部１３４は、判定した原因を情報端末２の表示部に表示させるよう制御する。そして、情報処理装置１は、処理を終了する。

【0048】

［情報処理装置１による効果］
以上説明したように、情報処理装置１においては、物品の欠陥が発生した原因を簡易な方法で判定することができるという効果を奏する。

【0049】

＜第２の実施形態＞
第１の実施形態においては、１つの画像データに含まれる物品の欠陥のアスペクト比に基づいて欠陥が発生した原因を判定したが、複数の画像データから検出した欠陥の統計値に基づいて欠陥が発生した原因を判定するよう情報処理装置１が構成されてもよい。

【0050】

取得部１３１は、複数の異なる画像データを取得する。取得部１３１は、同一の種類の物品を撮像した複数の異なる画像データを取得する。取得部１３１は、物品の製造ラインにおける同一の地点から同一の構図で同一の種類の物品を撮像した複数の異なる画像データを取得してもよい。

【0051】

検出部１３２は、複数の異なる画像データそれぞれにおける物品の表面の欠陥を検出する。特定部１３３は、検出部１３２が検出した複数の欠陥それぞれのアスペクト比を特定する。

【0052】

判定部１３４は、特定部１３３が特定した複数のアスペクト比の統計値に基づいて、欠陥が発生した原因を判定する。判定部１３４は、特定部１３３が特定したアスペクト比の統計値を算出する。統計値は例えば平均値、中央値、最頻値、分散等である。判定部１３４は、算出した統計値に基づいて欠陥が発生した原因を判定する。判定部１３４は、同一の物品ごと又は同一の撮像場所ごとにアスペクト比の統計値を算出し、算出したアスペクト比に基づいて欠陥が発生した原因を判定してもよい。

【0053】

一例として、判定部１３４は、特定部１３３が特定した複数のアスペクト比の中央値に基づいて、欠陥が発生した原因を判定してもよい。統計値として中央値を用いることで、はずれ値の影響を軽減することができ、情報処理装置１による判定の精度を向上させることができる。

【0054】

第２の実施形態にかかる情報処理装置１においては、複数の画像データから検出した欠陥の統計値に基づいて欠陥が発生した原因を判定するよう情報処理装置１が構成されることで、より高い精度で欠陥が生じた原因を判定することができる。

【0055】

なお、複数の画像データがそれぞれ異なる地点から撮像された画像データである場合、特定部１３３は、画像データそれぞれの搬送方向を特定する必要がある。この場合、一例として、画像データには、撮像された地点を示す情報が関連付けられており、記憶部１２は、撮像された地点に対応する搬送方向を記憶していてもよい。この場合、特定部１３３は、記憶部１２を参照し、画像データに関連付けられた撮像された地点に基づいて搬送方向を特定し、それぞれの画像データに含まれる欠陥のアスペクト比を特定する。また、画像データそれぞれには搬送方向を示す情報が関連付けられていてもよい。なお、画像データは、撮像地点によらず搬送方向が一意に定まるよう物品を撮像することにより生成されていてもよい。

【0056】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0057】

１ 情報処理装置
２ 情報端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 取得部
１３２ 検出部
１３３ 特定部
１３４ 判定部
１３５ 工程推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】