特開2022-2042(P2022-2042A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ジェイテクトの特許一覧
<>
  • 特開2022002042-生産システム 図000003
  • 特開2022002042-生産システム 図000004
  • 特開2022002042-生産システム 図000005
  • 特開2022002042-生産システム 図000006
  • 特開2022002042-生産システム 図000007
  • 特開2022002042-生産システム 図000008
  • 特開2022002042-生産システム 図000009
  • 特開2022002042-生産システム 図000010
  • 特開2022002042-生産システム 図000011
  • 特開2022002042-生産システム 図000012
  • 特開2022002042-生産システム 図000013
  • 特開2022002042-生産システム 図000014
  • 特開2022002042-生産システム 図000015
  • 特開2022002042-生産システム 図000016
  • 特開2022002042-生産システム 図000017
  • 特開2022002042-生産システム 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2022-2042(P2022-2042A)
(43)【公開日】2022年1月6日
(54)【発明の名称】生産システム
(51)【国際特許分類】
   G05B 19/418 20060101AFI20211210BHJP
   G05B 23/02 20060101ALI20211210BHJP
【FI】
   G05B19/418 Z
   G05B23/02 302Y
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】14
(21)【出願番号】特願2020-107129(P2020-107129)
(22)【出願日】2020年6月22日
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000648
【氏名又は名称】特許業務法人あいち国際特許事務所
(74)【代理人】
【識別番号】110000604
【氏名又は名称】特許業務法人 共立
(72)【発明者】
【氏名】山口 祐司
【テーマコード(参考)】
3C100
3C223
【Fターム(参考)】
3C100AA29
3C100AA56
3C100AA58
3C100AA62
3C100BB13
3C100BB34
3C100CC02
3C223AA11
3C223BA02
3C223BB08
3C223CC02
3C223EB02
3C223FF22
3C223FF26
3C223FF45
3C223HH02
(57)【要約】
【課題】生産設備で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える生産システムを提供すること。
【解決手段】生産システム10は、生産設備11と、生産設備11における生産映像を取得する映像取得装置12と、機械学習で生成される学習済みモデル、及び映像取得装置12で取得する生産映像に基づいて、生産設備11で発生する生産異常を解析する異常解析装置14と、を備える。異常解析装置14は、映像取得装置12で取得する新たな生産映像を検証し、学習済みモデルを参照することで、生産設備11で発生した生産異常を推定する異常推定部421と、異常推定部421で推定する少なくとも2以上の生産異常に基づいて異常発生原因を判断する異常判断部422と、異常判断部422で判断する異常発生原因についての異常対処を提案する対処提案部423とを備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
生産設備と、
前記生産設備における生産映像を取得する映像取得装置と、
前記映像取得装置で取得する前記生産映像を説明変数とし、前記生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数とする機械学習で生成される学習済みモデル、及び前記映像取得装置で取得する前記生産映像に基づいて、前記生産設備で発生する生産異常を解析する異常解析装置と、
を備え、
前記異常解析装置は、
前記映像取得装置で取得する新たな生産映像を検証し、前記学習済みモデルを参照することで、前記生産設備で発生した生産異常を推定する異常推定部と、
前記異常推定部で推定する少なくとも2以上の前記生産異常に基づいて異常発生原因を判断する異常判断部と、
前記異常判断部で判断する前記異常発生原因についての異常対処を提案する対処提案部と、
を備える、生産システム。
【請求項2】
前記映像取得装置は、前記生産設備における複数の異なる場所における生産映像をそれぞれ取得する、請求項1に記載の生産システム。
【請求項3】
前記異常解析装置は、さらに、
前記対処提案部で提案する前記異常対処に対する作業者の行動を分析する行動分析部と、
前記行動分析部で分析する前記作業者の行動により、前記異常判断部で判断する前記異常発生原因が解消した場合、前記対処提案部で提案する前記異常対処を良と評価する対処評価部と、
を備える、請求項1又は2に記載の生産システム。
【請求項4】
前記対処提案部は、複数の前記異常対処を提案し、
前記行動分析部は、前記複数の異常対処に対する前記作業者の行動を分析し、
前記対処評価部は、前記複数の作業者の行動に対する前記複数の異常対処の良否をレベル分けして評価する、請求項3に記載の生産システム。
【請求項5】
前記異常解析装置は、さらに、
前記対処評価部で評価する前記異常対処の良否に基づいて、前記異常推定部、前記異常判断部及び前記対処提案部を更新する更新部、を備える、請求項3又は4に記載の生産システム。
【請求項6】
前記生産システムは、さらに、
前記作業者の視界情報を取得する情報取得装置を備え、
前記行動分析部は、前記情報取得装置で取得する前記視界情報に基づいて前記作業者の行動を分析する、請求項3−5の何れか一項に記載の生産システム。
【請求項7】
前記情報取得装置は、拡張現実の技術を用いた眼鏡型の装置である、請求項6に記載の生産システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生産システムに関する。
【背景技術】
【0002】
生産システムにおいては、工作機械等の生産設備で部品の生産等が行われる。このような生産システムでは、生産設備に生産異常が発生すると、部品の加工不良や生産性の低下等を招くことになる。そこで、例えば、下記特許文献1には、現在の生産設備の内部情報を設備信号等で取得して予め記憶している内部情報と比較し、生産設備で発生している生産異常を検知する装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017−134786号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述の生産システムとは異なる生産システムとしては、生産設備にカメラを設けたものがある。この生産システムでは、生産設備の生産異常が発生する前後の生産映像をカメラで録画しておく。そして、作業者が、録画した生産映像を見て再現テストを行うことで、生産異常の異常発生原因を特定する。しかし、作業者による生産異常の異常発生原因を特定する作業は、タイムラグがあるとともに非常に手間が掛かるという問題がある。
【0005】
本発明は、生産設備で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える生産システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る生産システムは、生産設備と、前記生産設備における生産映像を取得する映像取得装置と、前記映像取得装置で取得する前記生産映像を説明変数とし、前記生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数とする機械学習で生成される学習済みモデル、及び前記映像取得装置で取得する前記生産映像に基づいて、前記生産設備で発生する生産異常を解析する異常解析装置と、を備え、前記異常解析装置は、前記映像取得装置で取得する新たな生産映像を検証し、前記学習済みモデルを参照することで、前記生産設備で発生した生産異常を推定する異常推定部と、前記異常推定部で推定する少なくとも2以上の前記生産異常に基づいて異常発生原因を判断する異常判断部と、前記異常判断部で判断する前記異常発生原因についての異常対処を提案する対処提案部と、を備える。
【0007】
この生産システムによれば、生産設備の生産映像を検証し、機械学習で生成される学習済みモデルを参照することで、発生した生産設備の生産異常を推定して異常発生原因を判断している。よって、生産設備で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える。そして、生産設備を長時間停止する必要がないので、稼働率を向上できる。さらに、特定する異常発生原因についての異常対処を提案するので、生産異常の復旧を的確に行える。
【図面の簡単な説明】
【0008】
図1】生産システムの構成を示す図である。
図2】生産システムの異常解析装置を示すブロック図である。
図3A】映像取得装置のロースペックカメラで取得する生産映像を示す第一の図である。
図3B】映像取得装置のロースペックカメラで取得する生産映像を示す第二の図である。
図4A】映像取得装置のハイスピードカメラで取得する生産映像を示す第一の図である。
図4B】映像取得装置のハイスピードカメラで取得する生産映像を示す第二の図である。
図5】映像取得装置のハイスピードカメラで取得する生産映像を示す第三の図である。
図6】映像取得装置の3Dカメラで取得する生産映像を示す第一の図である。
図7】映像取得装置の3Dカメラで取得する生産映像を示す第二の図である。
図8】生産異常が発生したときの映像取得装置のロースペックカメラで取得する生産映像を示す図である。
図9】生産異常が発生したときの映像取得装置のハイスピードカメラで取得する生産映像を示す第一の図である。
図10】生産異常が発生したときの映像取得装置のハイスピードカメラで取得する生産映像を示す第二の図である。
図11】生産異常が発生したときの映像取得装置の3Dカメラで取得する生産映像を示す第一の図である。
図12】生産異常が発生したときの映像取得装置の3Dカメラで取得する生産映像を示す第二の図である。
図13】異常解析装置による学習済みモデルの生成処理を説明するための図である。
図14】異常解析装置による生産異常の解析処理を説明するための図である。
【発明を実施するための形態】
【0009】
(1.生産システム10の構成)
図1に示すように、本実施形態の生産システム10は、生産設備11と、映像取得装置12と、情報取得装置13と、異常解析装置14を備える。生産設備11は、例えば、部品となる素材を搬入して部品に加工するための設備であり、一般的なコンベア111、ロボットアーム112、マシニングセンタ113等を備える設備である。なお、生産設備11としては、上記構成に限定されるものではない。
【0010】
コンベア111は、部品となる素材を外部からロボットアーム112まで搬入し、また、ロボットアーム112から受け渡される加工された部品を外部に搬出する設備である。ロボットアーム112のアームは、コンベア111で搬入されてくる素材を取り上げてマシニングセンタ113の主軸に取り付け、また、マシニングセンタ113の主軸から取り外した部品をコンベア111に受け渡す設備である。マシニングセンタ113は、ロボットアーム112のアームで取り付けられた素材に対し、加工用工具で研削加工等を行って部品に加工する設備である。
【0011】
映像取得装置12は、生産設備11における生産映像、例えば、素材の搬入状態や部品の加工状態等の動画を撮像して取得するための装置であり、一般的なCMOSセンサやCCDセンサを用いたロースペックカメラ121、ハイスピードカメラ122、3D(3Dimension)カメラ123等を備える。映像取得装置12は、タイムスタンプで画像を分類して纏める。
【0012】
本例では、ロースペックカメラ121は、コンベア111の上方に配置される。そして、搬入される素材に付着する異物を検知するための動画、搬入されるパレット上の素材の有無を検知するための動画、搬出される部品に付着する異物を検知するための動画、搬出される部品の形状を検知するための動画等を撮影するビデオカメラである。
【0013】
ハイスピードカメラ122は、マシニングセンタ113の主軸の上方に配置される。そして、ロボットアーム112のアームで主軸に素材を取り付けるときの向きや角度を検知するための動画、主軸に取り付けられる素材を加工するときの切粉の飛び方を検知するための動画等を高速度撮影するビデオカメラである。また、自動工具交換装置で工具主軸に加工用工具の取り付けるときの向きや角度を検知するための動画、加工中の加工用工具の工具刃の状態を検知するための動画等を高速度撮影するビデオカメラである。
【0014】
3Dカメラ123は、ロボットアーム112の上方に配置される。そして、作業者による工具主軸への加工用工具の取り付け作業を検知するための動画、作業者によるロボットアーム112のメンテナンス作業を検知するための動画等を3D撮影するビデオカメラである。3Dカメラ123は、作業者をドットの集合体で表し、レーザ光を作業者に照射したときの反射光でドットの3次元直交座標を認識して映像を作成する。この3Dカメラ123によれば、作業者の行動は、ドット間の距離やドットの動きを検出することで認識できる。
【0015】
情報取得装置13は、例えば、作業者の視界情報を取得する装置であり、一般的な拡張現実(AR)の技術を用いた眼鏡型の装置である。情報取得装置13は、作業者が装着することで、作業者の眼前に存在する物体認識情報、作業者の手の動きによる作業(行動)認識情報、作業者の視線の動きを追跡して分析するアイトラッキングによる視点情報等を取得する。
【0016】
異常解析装置14は、映像取得装置12で取得する生産映像や、情報取得装置13で取得する物体認識情報、作業(行動)認識情報、視点情報等に基づいて、機械学習により生産設備11で発生する生産異常を解析するための装置である。
【0017】
異常解析装置14は、第一サーバ141及び第二サーバ142を備える。第一サーバ141及び第二サーバ142は、映像取得装置12と有線(無線でもよい)により、情報取得装置13と無線(有線でもよい)により、通信可能に設けられる。第一サーバ141は、機械学習における学習フェーズとして機能する。第一サーバ141は、取得した説明変数データ及び目的変数データでなる訓練データセットを用いた機械学習により学習済みモデルを生成して記憶する。
【0018】
すなわち、第一サーバ141は、映像取得装置12からの生産映像を説明変数データとして取得し、生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数データとして取得し、これらのデータでなる訓練データセットを教師データとして記憶する。なお、第一サーバ141における機械学習は、教師あり学習の場合を例に挙げて説明するが、他の機械学習アルゴリズムを適用することも可能である。
【0019】
また、第一サーバ141は、例えば、PLC(Programmable Logic Controller)15を介してコンベア111、ロボットアーム112、マシニングセンタ113から設備信号を取得し、この設備信号から生産異常の異常箇所及び異常内容を認識するようにしてもよい。設備信号から認識する生産異常の異常箇所及び異常内容と、生産映像から認識する生産異常の異常箇所及び異常内容を比較することにより、認識精度を高めて学習済みモデルの学習精度を向上させることができ、学習済みモデルの高精度化を図ることができる。
【0020】
第二サーバ142は、機械学習における推論フェーズとして機能する。第二サーバ142は、映像取得装置12からの生産映像のデータを入力データとして取得し、第一サーバ141により生成され記憶された学習済みモデルを用いて、生産設備11で発生する生産異常を解析して出力データとして出力する。
【0021】
ここで、本例では、第一サーバ141と第二サーバ142とは、別装置として説明するが、同一装置によって構成することも可能である。また、第一サーバ141及び第二サーバ142は、複数の生産設備11、映像取得装置12及び情報取得装置13とネットワーク接続する構成としてもよい。
【0022】
また、図示を省略するが、複数の生産設備11の各々に対して、第二サーバ142を配置することもできる。即ち、複数の生産設備11の各々に対して配置された第二サーバ142は、第一サーバ141により生成された学習済みモデルを用いて、対応する生産設備11で発生する生産異常を解析するようにしても良い。
【0023】
(2.異常解析装置14の詳細構成)
次に、図2を参照しながら、異常解析装置14(第一サーバ141及び第二サーバ142)の詳細構成を説明する。図2に示すように、第一サーバ141は、説明変数データ取得部411、目的変数データ取得部412、訓練データセット記憶部413、学習済みモデル生成部414及び学習済みモデル記憶部415を備える。
【0024】
説明変数データ取得部411は、映像取得装置12からの生産映像を説明変数データとして取得する。具体的には、例えば図3A及び図3Bに示すように、説明変数データ取得部411は、ロースペックカメラ121からの生産映像LVとして、コンベア111においてパレットPL上に載置される素材mを搬入するときの様子や、パレットPL上に載置される部品pを搬出するときの様子を示す映像を説明変数データとして取得する。なお、図示矢印は、コンベア111の搬送方向を示す。
【0025】
また、例えば図4A及び図4Bに示すように、説明変数データ取得部411は、ハイスピードカメラ122からの生産映像HVとして、マシニングセンタ113の主軸113aに対し、ロボットアーム112のアーム112aで素材mを取り付けるときの様子や、部品pを取り外すときの様子を示す映像を説明変数データとして取得する。なお、図示矢印は、アーム112aの移動方向を示す。
【0026】
また、例えば図5に示すように、説明変数データ取得部411は、ハイスピードカメラ122からの生産映像HVとして、マシニングセンタ113の主軸113aに取り付けられた素材mに対し、工具主軸113bに取り付けられた加工用工具Tで加工するときの様子を示す映像を説明変数データとして取得する。なお、図示矢印は、素材mの回転方向及び加工用工具Tの送り方向を示す。
【0027】
また、例えば図6に示すように、説明変数データ取得部411は、3Dカメラ123からの生産映像DVとして、作業者Wがマシニングセンタ113の自動工具交換装置のマガジン113cに加工用工具Tをセットする作業の様子を示す映像を説明変数データとして取得する。また、例えば図7に示すように、説明変数データ取得部411は、3Dカメラ123からの生産映像DVとして、作業者Wがロボットアーム112をメンテナンスする作業の様子を示す映像を説明変数データとして取得する。
【0028】
目的変数データ取得部412は、映像取得装置12からの生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数データとして取得する。具体的には、例えば図8に示すように、ロースペックカメラ121の生産映像LVが、コンベア111で連続的に搬出される部品pを撮像したものであるとする。なお、図示矢印は、コンベア111の搬送方向を示す。この場合、目的変数データ取得部412は、当該生産映像LVから正規の部品pの部品形状とは異なる部品形状の部品ppが出現したことを認識したら、以下の2種類の目的変数データを取得する。
【0029】
すなわち、目的変数データ取得部412は、1種類目として、マシニングセンタ113を異常箇所とし、マシニングセンタ113の加工用工具Tによる上記部品形状が異なる部品ppに対応する素材mの加工工程を異常内容とする目的変数データを取得する。また、2種類目として、ロボットアーム112を異常箇所とし、ロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付け工程を異常内容とする目的変数データを取得する。
【0030】
また、例えば図9に示すように、ハイスピードカメラ122の生産映像HVが、上記部品形状が異なる部品ppに対応する素材mをマシニングセンタ113の主軸113aに取り付ける際のロボットアーム112のアーム112aを撮像したものであるとする。なお、図示矢印は、アーム112aの移動方向を示す。
【0031】
この場合、目的変数データ取得部412は、当該生産映像HVからロボットアーム112のアーム112aにおける図示実線と図示一点鎖線の周期の振動発生を認識したら、ロボットアーム112のアーム112aを異常箇所とし、ロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付け工程を異常内容とする目的変数データを取得する。
【0032】
また、例えば図10に示すように、ハイスピードカメラ122の生産映像HVが、マシニングセンタ113の主軸113aに取り付けられた上記部品形状が異なる部品ppに対応する素材mを加工する加工用工具Tを撮像したものであるとする。なお、図示矢印は、素材mの回転方向及び加工用工具Tの送り方向を示す。この場合、目的変数データ取得部412は、当該生産映像HVから切粉Cの飛び方に異常が発生していることを認識したら、マシニングセンタ113の工具主軸113bを異常箇所とし、工具主軸113bに取り付けられた加工用工具Tによる上記部品形状が異なる部品ppに対応する素材mの加工工程を異常内容とする目的変数データを取得する。
【0033】
また、例えば図11に示すように、3Dカメラ123の生産映像DVが、作業者Wがマシニングセンタ113の自動工具交換装置のマガジン113cに加工用工具Tをセットする作業を撮像したものであるとする。この場合、目的変数データ取得部412は、作業者Wの不適切な手の動きを認識したら、マシニングセンタ113の自動工具交換装置のマガジン113cを異常箇所とし、マシニングセンタ113の自動工具交換装置のマガジン113cに対する加工用工具Tのセット工程を異常内容とする目的変数データを取得する。
【0034】
また、例えば図12に示すように、3Dカメラ123の生産映像DVが、作業者Wがロボットアーム112のアーム112aをメンテナンスする作業を撮像したものであるとする。この場合、目的変数データ取得部412は、作業者Wの不適切な手の動きを認識したら、ロボットアーム112のアーム112aを異常箇所とし、ロボットアーム112のアーム112aのメンテナンス作業工程を異常内容とする目的変数データを取得する。
【0035】
また、目的変数データ取得部412は、生産設備11からPLC15を介して取得する設備信号に該当する生産異常の異常箇所及び異常内容を認識して説明変数データとして取得する。具体的には、設備信号がロボットアーム112からのアーム動作不良信号である場合、ロボットアーム112のアームを異常箇所とし、ロボットアーム112のアーム112aのメンテナンス作業工程を異常内容とする目的変数データを取得する。
【0036】
説明変数データ取得部411及び目的変数データ取得部412は、取得する説明変数データ及び目的変数データを訓練データセットとして訓練データセット記憶部413に記憶する。学習済みモデル生成部414は、訓練データセット記憶部413に記憶される訓練データセットで機械学習を行う。これにより、学習済みモデル生成部414は、生産映像と生産異常の異常箇所及び異常内容に関する学習済みモデルを生成し、学習済みモデル記憶部415に記憶する。
【0037】
第二サーバ142は、異常推定部421、異常判断部422、対処提案部423、行動分析部424、対処評価部425及び更新部426を備える。異常推定部421は、映像取得装置12で取得する新たな生産映像を検証し、学習済みモデル記憶部415に記憶された学習済みモデルを参照することで、生産設備11で発生した生産異常を推定する。なお、異常推定部421は、推定した生産異常を第二サーバ142等に備えられる表示装置(図示せず)に表示するようにしてもよい。
【0038】
具体的には、異常推定部421は、例えば図8に示すロースペックカメラ121の生産映像LVを取得した場合、コンベア111で連続的に搬出される部品pの画像を搬出順に比較検証する。そして、現部品ppの部品形状が前部品pの部品形状とは異なる形状になったことを認識したら、学習済みモデル記憶部415の学習済みモデルを参照し、異常箇所及び異常内容を推定する。
【0039】
この場合、異常推定部421は、ロースペックカメラ121の生産映像LVと学習済みモデルから、以下の2種類の推定が可能である。1種類目として、異常箇所はマシニングセンタ113であると推定するとともに、異常内容はマシニングセンタ113の加工用工具Tによる上記部品形状が異なる部品ppに対応する素材mの加工工程であると推定する。
【0040】
さらに、2種類目として、異常箇所はロボットアーム112であると推定するとともに、異常内容はロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付け工程であると推定する。
【0041】
また、異常推定部421は、例えば図9に示すハイスピードカメラ122の生産映像HVを取得した場合、ロボットアーム112のアーム112aでマシニングセンタ113の主軸113aに、上記部品形状が異なる形状の部品ppに対応する素材mを取り付ける際の画像を検証する。そして、そのときのロボットアーム112のアーム112aに振動が発生していることを認識したら、学習済みモデル記憶部415の学習済みモデルを参照し、異常箇所及び異常内容を推定する。
【0042】
この場合、異常推定部421は、異常箇所はロボットアーム112のアーム112aであると推定するとともに、異常内容はロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付け工程であると推定する。
【0043】
また、異常推定部421は、例えば図10に示すハイスピードカメラ122の生産映像HVを取得した場合、マシニングセンタ113の加工用工具Tで主軸113aに取り付けられた上記部品形状が異なる部品ppに対応する素材mを加工するときの画像を検証する。そして、そのときの切粉Cの飛び方に異常が発生していることを認識したら、学習済みモデル記憶部415の学習済みモデルを参照し、異常箇所及び異常内容を推定する。
【0044】
この場合、異常推定部421は、異常箇所はマシニングセンタ113の工具主軸113bであると推定するとともに、異常内容は工具主軸113bに取り付けられた加工用工具Tによる上記部品形状が異なる部品ppに対応する素材mの加工工程であると推定する。
【0045】
異常判断部422は、異常推定部421で推定する少なくとも2以上の異常箇所及び異常内容に基づいて、異常発生原因を判断する。なお、異常判断部422は、1つの異常箇所及び異常内容に基づいて異常発生原因を判断するようにしてもよいが、2以上の異常箇所及び異常内容に基づいて異常発生原因を判断することで、判断精度を向上できる。なお、異常判断部422は、判断した異常発生原因を第二サーバ142等に備えられる表示装置に表示するようにしてもよい。
【0046】
具体的には、異常推定部421が、例えば図8に示す生産映像LVを取得し、異常箇所がマシニングセンタ113であり、異常内容がマシニングセンタ113の加工用工具Tによる上記部品形状が異なる部品ppに対応する素材mの加工工程であると推定したとする。さらに、例えば図10に示す生産映像HVを取得し、異常箇所がマシニングセンタ113の工具主軸113bであり、異常内容が工具主軸113bに取り付けられた加工用工具Tによる上記部品形状が異なる部品ppに対応する素材mの加工工程であると推定したとする。
【0047】
この場合、異常判断部422は、異常推定部421で推定された上記2つの生産異常に基づいて、マシニングセンタ113の加工用工具Tで主軸113aに取り付けられた上記部品形状が異なる部品ppに対応する素材mを加工するときの切粉Cの飛び方に異常が発生したことが異常発生原因であり、これにより部品形状が異形の部品ppが発生したと判断する。
【0048】
また、異常推定部421が、例えば図8に示す生産映像LVを取得し、異常箇所がロボットアーム112のアーム112aであり、異常内容はロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する素材mの取り付け工程であると推定したとする。さらに、例えば図9に示す生産映像HVを取得し、異常箇所はロボットアーム112のアーム112aであり、異常内容はロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付け工程であると推定したとする。
【0049】
この場合、異常判断部422は、異常推定部421で推定された上記2つの生産異常に基づいて、ロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付けに異常が発生したことが異常発生原因であり、これにより部品形状が異形の部品ppが発生したと判断する。
【0050】
対処提案部423には、異常発生原因に対する異常対処が紐付けされたデータが予め記憶されている。そして、対処提案部423は、異常判断部422で判断される異常発生原因についての異常対処を1つもしくは複数提案する。なお、対処提案部423は、提案した異常対処を第二サーバ142等に備えられる表示装置に表示するようにしてもよい。
【0051】
具体的には、対処提案部423は、異常判断部422で判断された異常発生原因が、マシニングセンタ113の加工用工具Tで主軸113aに取り付けられた上記部品形状が異なる部品ppに対応する素材mを加工するときの切粉Cの飛び方に異常が発生したことである場合、加工用工具Tに関する異常対処を提案する。例えば、主軸113aに取り付けられた上記部品形状が異なる部品ppに対応する素材m付近に切粉が大量に溜まっているおそれがあるので切粉を取り除くことや、現在取り付けられている加工用工具Tにチッピングが発生しているので新しい加工用工具Tに交換すること等を提案する。
【0052】
また、対処提案部423は、異常判断部422で判断された異常発生原因が、ロボットアーム112のアーム112aによるマシニングセンタ113の主軸113aに対する上記部品形状が異なる部品ppに対応する素材mの取り付けに異常が発生したことである場合、アーム112aに関する異常対処を提案する。例えば、ロボットアーム112のアーム112aの振動を減衰させるため関節の軸ねじれ角速度(リンク角速度とモータ角速度の差)の測定器を設置してフィードバック制御を行うことを提案する。
【0053】
行動分析部424は、対処提案部423で提案する異常対処に対する作業者の行動を分析する。なお、行動分析部424は、対処提案部423で複数の異常対処が提案されているときは、各異常対処に対する作業者の行動を分析する。また、行動分析部424は、情報取得装置13で取得する視界情報に基づいて、異常対処に対する作業者の行動を分析する。
【0054】
具体的には、行動分析部424は、対処提案部423で提案された異常対処が、主軸113aに取り付けられた上記部品形状が異なる部品ppに対応する素材m付近に切粉が大量に溜まっているおそれがあるので切粉を取り除く提案である場合、例えば、図11に示す3Dカメラ123の生産映像HVを検証して、作業者Wが上記部品形状が異なる部品ppに対応する素材m付近から切粉Cを適切に取り除いたか否かを分析する。
【0055】
また、行動分析部424は、対処提案部423で提案された異常対処がロボットアーム112のアーム112aの振動減衰のため測定器を設置してフィードバック制御を行う提案である場合、例えば図12に示す3Dカメラ123の生産映像DVを検証して、作業者Wが振動減衰のため測定器を設置したか否かを分析する。
【0056】
対処評価部425は、行動分析部424で分析する作業者の行動により、異常判断部422で判断する異常内容が解消した場合、対処提案部423で提案する異常対処を良と評価する。なお、対処評価部425は、対処提案部423で複数の異常対処が提案され、行動分析部424で複数の作業者の行動が分析されているときは、複数の異常対処の良否をレベル分けして評価する。この良否レベルは、例えば異常内容の解消度合いでレベル分けを行う。なお、対処評価部425は、評価した異常対処の良否を第二サーバ142等に備えられる表示装置に表示するようにしてもよい。
【0057】
具体的には、主軸113aに取り付けられた素材m付近から切粉を除去するという作業者Wの行動により、加工用工具Tによる素材mの加工工程において、部品形状が異形の部品ppが発生するという異常内容が解消した場合である。この場合、対処評価部425は、主軸113aに取り付けられた素材m付近に切粉が大量に溜まっているおそれがあるので切粉を取り除くという異常対処を良と評価する。
【0058】
また、ロボットアーム112のアーム112aの振動減衰のため測定器を設置してフィードバック制御を行うという作業者Wの行動により、加工用工具Tによる素材mの加工工程において、部品形状が異形の部品ppが発生するという異常内容が解消した場合である。この場合、対処評価部425は、作業者Wがロボットアーム112のアーム112aの振動減衰のため測定器を設置するという異常対処を良と評価する。
【0059】
また、対処評価部425は、素材m付近の切粉を取り除くという異常対処による部品形状が異形の部品ppの発生度合いと、アーム112aの振動減衰のため測定器を設置するという異常対処による部品形状が異形の部品ppの発生度合いを比較し、この発生度合いが低い方を良のレベルが高いと評価する。
【0060】
また、加工用工具を交換するという作業者Wの行動により、加工用工具Tによる素材mの加工工程において、部品形状が異形の部品ppが発生するという異常内容が解消しなかった場合である。この場合、対処評価部425は、加工用工具を交換するという異常対処を否と評価する。
【0061】
そして、対処評価部425は、加工用工具を交換するという異常対処を否と評価した場合、以下の通知を第二サーバ142等に備えられる表示装置に表示し、もしくはスピーカから発声するようにしてもよい。上記通知としては、加工用工具や素材mの取り付け方を点検してくださいという通知、加工用工具の切れ味を点検してくださいという通知、加工条件の設定を点検してくださいという通知、素材mの種類を確認してくださいという通知等がある。また、このとき、各通知に対する作業ガイドも合わせて告知するようにしてもよい。
【0062】
更新部426は、対処評価部425で評価する異常対処の良否に基づいて、異常推定部421、異常判断部422及び対処提案部423を更新する。更新部426は、対処評価部425で良と評価された異常対処を他の異常対処よりも優先するように、異常推定部421、異常判断部422及び対処提案部423を更新する。
【0063】
具体的には、更新部426は、素材m付近の切粉を取り除くという異常対処が、アーム112aの振動減衰のため測定器を設置するという異常対処よりも良のレベルが高い場合、素材m付近の切粉を取り除くという異常対処に対応する異常推定、異常判断及び対処提案を、アーム112aの振動減衰のため測定器を設置するという異常対処に対応する異常推定、異常判断及び対処提案よりも優先するように、異常推定部421、異常判断部422及び対処提案部423を更新する。
【0064】
また、更新部426は、対処評価部425で否と評価される異常対処に対応する異常推定、異常判断及び対処提案を行わないように、異常推定部421、異常判断部422及び対処提案部423を更新する。そして、更新部426は、否と評価された対処提案に替えて新規の対処提案を提案するように、対処提案部423を更新する。
【0065】
具体的には、更新部426は、加工用工具を交換するという異常対処が、対処評価部425で否と評価された場合、新規対処提案として、例えば、加工中に供給する油が素材mに過剰に付着しているおそれがあるため、当該油を素材mから除去する提案を行うように対処提案部423を更新する。
【0066】
この生産システム10によれば、生産設備11の生産映像を検証し、機械学習で生成される学習済みモデルを参照することで、発生した生産設備11の生産異常を推定して異常発生原因を判断するので、生産設備11で発生する生産異常の異常発生原因の特定をリアルタイムで容易に行える。そして、特定する異常発生原因についての異常対処を提案するので、生産異常の復旧を的確に行える。そして、生産設備11を長時間停止する必要がないので、稼働率を向上できる。
【0067】
(3.異常解析装置14の処理)
次に、異常解析装置14の処理について説明する。先ず、図13を参照して学習済みモデルの生成処理について説明する。説明変数データ取得部411は、映像取得装置12からの生産映像を説明変数データとして取得する(ステップS1)。
【0068】
目的変数データ取得部412は、映像取得装置12からの生産映像に含まれる生産異常の異常箇所と異常内容とを目的変数データとして取得する(ステップS2)。そして、訓練データセット記憶部413は、説明変数データ取得部411で取得した説明変数データと目的変数データ取得部412で取得した目的変数データを訓練データセットとして記憶する(ステップS3)。
【0069】
学習済みモデル生成部414は、訓練データセット記憶部413に記憶される訓練データセットにより機械学習を行い、生産映像及び生産異常の異常箇所と異常内容に関する学習済みモデルを生成して学習済みモデル記憶部415に記憶する(ステップS4)。そして、さらに学習済みモデルを生成するか否かを判断し(ステップS5)、さらに学習済みモデルを生成する場合はステップS1に戻って上述の処理を繰り返し、さらに学習済みモデルを生成しない場合は全ての処理を終了する。
【0070】
次に、図14を参照して稼働中の生産設備11における生産異常解析処理について説明する。異常推定部421は、稼働中の生産設備11における新たな生産映像を、学習済みモデル記憶部415に記憶された学習済みモデルに基づいて解析し、発生した生産異常を推定する(ステップS11)。そして、異常判断部422は、異常推定部421で推定する少なくとも2以上の生産異常に基づいて異常内容を判断する(ステップS12)。
【0071】
対処提案部423は、異常判断部422で判断する異常内容についての異常対処を1つもしくは複数提案する(ステップS13)。行動分析部424は、対処提案部423で提案する異常対処に対する作業者の行動を分析する(ステップS14)。対処評価部425は、行動分析部424で分析する作業者の行動により、異常判断部422で判断する異常内容が解消したか否かを判断する(ステップS15)。
【0072】
対処評価部425は、異常判断部422で判断する異常内容が解消していないと判断したら、ステップS12に戻って新たな異常内容を判断し、上述の処理を繰り返す。一方、対処評価部425は、異常判断部422で判断する異常内容が解消した場合は、対処提案部423で提案する異常対処を良と評価する(ステップS16)。そして、更新部426は、対処評価部425で評価する異常対処の良否に基づいて、異常推定部421、異常判断部422及び対処提案部423を更新する(ステップS17)。
【0073】
異常推定部421は、稼働中の生産設備11における新たな生産映像の有無を確認し(ステップS18)、稼働中の生産設備11における新たな生産映像が有る場合は、ステップS11に戻って上述の処理を繰り返し、稼働中の生産設備11における新たな生産映像が無い場合は全ての処理を終了する。
【符号の説明】
【0074】
10:生産システム、 11:生産設備、 12:映像取得装置、 13:情報取得装置、 14:異常解析装置、 15:PLC、 111:コンベア、 112:ロボットアーム、 113:マシニングセンタ、 121:ロースペックカメラ、 122:ハイスピードカメラ、 123:3Dカメラ、 141:第一サーバ、 142:第二サーバ、 411:説明変数データ取得部、 412:目的変数データ取得部、 413:訓練データセット記憶部、 414:学習済みモデル生成部 415:学習済みモデル記憶部、 421:異常推定部、 422:異常判断部、 423:対処提案部、 424:行動分析部、 425:対処評価部
図1
図2
図3A
図3B
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14