特許第6805273号(P6805273)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧

特許6805273スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法
<>
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000002
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000003
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000004
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000005
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000006
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000007
  • 特許6805273-スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6805273
(24)【登録日】2020年12月7日
(45)【発行日】2020年12月23日
(54)【発明の名称】スマートな製造組立ラインのパフォーマンスのための視覚的診断/分析システム及び方法
(51)【国際特許分類】
   G05B 23/02 20060101AFI20201214BHJP
   G05B 19/418 20060101ALI20201214BHJP
【FI】
   G05B23/02 V
   G05B23/02 301X
   G05B19/418 Z
【請求項の数】6
【全頁数】10
(21)【出願番号】特願2018-567151(P2018-567151)
(86)(22)【出願日】2017年6月26日
(65)【公表番号】特表2019-525297(P2019-525297A)
(43)【公表日】2019年9月5日
(86)【国際出願番号】US2017039330
(87)【国際公開番号】WO2017223570
(87)【国際公開日】20171228
【審査請求日】2019年1月21日
(31)【優先権主張番号】62/354,239
(32)【優先日】2016年6月24日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100135633
【弁理士】
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】パンパン シュー
(72)【発明者】
【氏名】リウ レン
(72)【発明者】
【氏名】ホンフイ メイ
【審査官】 牧 初
(56)【参考文献】
【文献】 特開2002−006930(JP,A)
【文献】 国際公開第2013/051101(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G05B 23/00−23/02
G05B 19/418
(57)【特許請求の範囲】
【請求項1】
視覚的分析システムにおいて、
履歴データ分析装置及びリアルタイム追跡装置を含む視覚化アセンブリと、
データ分析アセンブリと、
データ記憶アセンブリと、
を含み、
前記リアルタイム追跡装置は、表示のために前記データ記憶アセンブリからデータ検索し、
前記リアルタイム追跡装置はさらに、正常なプロセスのセットにラベルを付け、前記ラベルを伝播させ、前記ラベル付けされた正常なプロセスからアウトライヤーを検出する、
視覚的分析システム。
【請求項2】
前記ラベル付けされた正常なプロセスからアウトライヤーを検出するように構成されたアウトライヤー検出部が設けられている、
請求項に記載の視覚的分析システム。
【請求項3】
前記システムは、時間的近接性に基づいて前記正常なプロセスを集約するように構成されたデータ集約部を含む、
請求項に記載の視覚的分析システム。
【請求項4】
前記システムは、前記検出されたアウトライヤーを表示するためのディスプレイを含む、
請求項に記載の視覚的分析システム。
【請求項5】
1つ又は複数の組立ライン及び1つ又は複数のステーションにおける複数の部品を制御及び監視するために当該視覚的分析システムに通信可能に接続されたコントローラをさらに含む、
請求項に記載の視覚的分析システム。
【請求項6】
前記コントローラは、前記部品が前記ステーションにおいて処理されているときにサイクルタイム及び障害コードを記録する、
請求項に記載の視覚的分析システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2016年6月24日に出願された米国仮特許出願第62/354239号明細書(U.S. provisional patent application Ser. No. 62/354,239)の優先権を主張するものであり、同明細書の内容は、参照により本明細書に完全に包含されるように本明細書に組み込まれる。
【0002】
技術分野
本開示は、一般的には追跡システムに関し、より詳細にはRGB−Dカメラに基づく追跡システム及びその方法に関する。
【0003】
背景
本明細書中において別段の指示がない限り、本セクションに記載する題材は、本出願の特許請求の範囲の先行技術ではなく、本セクションに含められることによって先行技術であると認められることはない。
【0004】
概要
本明細書で開示される特定の実施形態の概要を以下に示す。それらの態様は、単にそれらの特定の実施形態の簡潔な概要を読者に提供するために提示されたものに過ぎず、それらの態様が、本開示の範囲を限定することを意図したものではないことを理解すべきである。実際に、本開示は、以下で説明されない可能性がある種々の態様を包含し得る。
【0005】
視覚的分析システムに関連する本開示の実施形態は、履歴データ分析装置及びリアルタイム追跡装置を含む視覚化アセンブリを含む。本システムはさらに、データ分析アセンブリと、コンピュータ可読媒体とを含み、リアルタイム追跡装置は、表示のためにデータ記憶アセンブリからデータを直接的に検索する。リアルタイム追跡装置はさらに、正常なプロセスのセットにラベルを付け、それらのラベルを伝搬させ、ラベル付けされた正常なプロセスからアウトライヤーを検出する。ラベル付けされた正常なプロセスからアウトライヤーを検出するように構成されたアウトライヤー検出部が設けられている。本システムはさらに、時間的近接性に基づいて正常なプロセスを集約するように構成されたデータ集約部を含む。本システムは、検出されたアウトライヤーを表示するためのディスプレイを含む。1つ又は複数の組立ライン及び1つ又は複数のステーションにおける複数の部品を制御及び監視するために視覚的分析システムに通信可能に接続されたコントローラが設けられている。コントローラは、部品がステーションにおいて処理されているときにサイクルタイム及び障害コードを記録する。
【0006】
図面の簡単な説明
本開示の上記の特徴、態様及び利点、並びに、他の特徴、態様及び利点は、添付の図面を参照しながら以下の特定の例示的な実施形態の詳細な説明を読むことにより、より良好に理解されるであろう。なお、添付の図面においては、各図を通して同様の参照符号が同様のものを表している。
【図面の簡単な説明】
【0007】
図1】製造環境における組立ラインを示すブロック図である。
図2】組立ラインのパフォーマンスをリアルタイム追跡するための視覚的診断グラフを示す図である。
図3】時間対応の、アウトライヤーが残された視覚的集約を有する別の視覚的診断グラフを示す図である。
図4A】分位数ブラシによって処理された視覚的診断グラフの例を示す図である。
図4B】サンプルブラシによって処理された視覚的診断グラフの例を示す図である。
図5】視覚的診断(ViDX)グラフを示すブロック図である。
図6】視覚的診断(ViDX)システムを示すブロック図である。
【0008】
詳細な説明
以下の説明は、記載された実施形態を当業者が実現及び使用することを可能にするために提示されており、特定の用途及びその要件の文脈において提供されている。記載された実施形態に対する種々の修正は、当業者には容易に理解可能であり、本明細書で規定される一般的な原理を、記載された実施形態の精神及び範囲から逸脱することなく他の実施形態及び用途に適用することができる。従って、記載された実施形態は、示された実施形態に限定されているわけではなく、記載された実施形態には、本明細書で開示される原理及び特徴に一致する最も広い範囲が認容されるべきである。
【0009】
種々のオペレーションを、特許請求の範囲に記載された主題を理解する上で最も有用な手法で、複数の個々の行為又はオペレーションとして順々に記載することができる。しかしながら、記載された順序は、これらのオペレーションが必ずこの順序に基づいているということを示唆すると解釈されるべきではない。特に、これらのオペレーションは、提示された順序で実施されないこともある。記載されたオペレーションを、記載された実施形態とは異なる順序で実施してもよい。追加的な実施形態において、種々の追加的なオペレーションを実施することができ、及び/又は、記載されたオペレーションを省略することができる。
【0010】
図1は、製造環境100における組立ライン102を示すブロック図である。組立ライン102は、複数の作業ステーションS1〜S10を含む。部品Pは、ステーションS1から別のステーションS2〜S9に入り、処理及び組み立てが行われ、最後のステーションS10において最終製品となる。1つ又は複数のプログラマブルロジックコントローラ(PLC)104が設けられており、このプログラマブルロジックコントローラ(PLC)104は、1つ又は複数のステーションS1〜S10、1つ又は複数の組立ライン102、又は、組立ライン102における製造自動化のための任意の適当な機械を、制御及び監視するように構成されている。PLC104を、無線又は有線の通信リンクを介してステーションS1〜S10、組立ライン102、又は任意の適当な機械に、例えば中央データベース106に通信可能に接続することができる。
【0011】
見て取れるように部品Pは、組立ライン102の所定の経路に従ってステーションS1〜S10,S3’,及びS4.5を移動する。1つの実施形態においては、ステーションS1及びS7において、2つの異なる種類の部品Pがそれぞれ異なるサブプロセス102a,102bに入る。いくつかの実施形態においては、ステーションS6において、各サブプロセス102a,102bからの2つの種類の部品Pが1つに組み立てられ、その後、最終製品が完全に組み立てられる。別の実施形態においては、ステーションS3及びS3’において、各部品が各ステーションに入ると、同等の手順が並行して実施される。ステーションS2から出た後、部品Pを、組立経路A1に従ってステーションS3に運ぶことができ、又は、組立経路A2に従ってステーションS3’に運ぶことができる。いずれの組立経路A1又はA2においても、部品Pは、同等の手順を踏む。いくつかの実施形態においては、ステーションS2から出てきたそれぞれ異なる種類の部品を、部品の種類に応じてそれぞれのステーションS3又はS3’に運び、さらに処理することができ、その後、部品Pは、ステーションS4で組み立てられるために準備が整った状態となる。さらに別の実施形態においては、ステーションS4とステーションS5との間で、部品Pは、ステーションS4.5において追加的な手順を踏むことができる。
【0012】
PLC104は、部品がそれぞれのステーションに移動したときにそれぞれの部品Pのイベント、例えばタイムスタンプを記録し、次に、部品Pのステータス情報を中央データベース106に送信する。部品が組立経路A=(s,...,s)に沿って移動するにつれて、一連のタイムスタンプが作成される。部品Pが1つのステーションにおいて踏む手順が完了し、次のステーションに移動するまでの、サイクルタイムとしても知られている所要時間が、時刻をt(p,s)とした場合のdt(p,s)−t(p,s)として計算される。PLC104は、部品がステーションにおいて処理されているときにエラーが発生した場合には、障害コードのような他のイベントも記録する。タイムスタンプと障害コードとを合わせて、対応する部品のトレースデータ又はプロセスデータと呼ぶ。完成された製品を構成する全ての部品のプロセスデータを組み合わせることができる。1つ又は複数のステーションにおいて比較的長時間のサイクルタイムを伴うプロセス、又は障害を伴うプロセスを、アウトライヤー又は異常なプロセスと呼ぶ。
【0013】
図2は、組立ラインのパフォーマンスをリアルタイム追跡するための視覚的診断グラフ200を示す。視覚的診断グラフ200のグラフ(A)には、組立ライン102上に位置するそれぞれのステーションS1〜S10において任意の製品P1〜Pnが処理される際に、任意の製造プロセスMP1〜MPnにおいて、一切の異常な遅延が発生していない組立ラインのスムーズなパフォーマンスが描写されている。次に、視覚的診断グラフ200のグラフ(B)には、それぞれ異なる期間に発生した2つのひずみが描写されている。組立ラインは、D1の期間にわたり完全に停止されており、この停止は、例えば障害、予定されていたメンテナンス、休憩、又は他の予期しない要因によって引き起こされることがある。期間D2においては、例えば、処理されなかった製品に対処するために、組み立てが部分的に停止されている。効率的に処理が進んでいる場合には、2つの時間軸間に延びる線分同士が相互に平行であり、かつ、同等の大きさの変位を有する。このことは、視覚的診断グラフ200のグラフ(A)に示すように、動作の遅延又は中断が発生していない組立ラインにおける製品のリズミカルかつスムーズな処理を表している。しかしながら、視覚的診断グラフ200のグラフ(B)に示すように、同等の大きさの他の変位線分よりも線分を格段に長く引き延ばすことによって、2つの期間D1,D2に発生した異常な遅延を伴う適当でないプロセスが視覚的に描写されている。例えば、期間D1においては、それぞれのプロセスに何らかの遅延が生じており、線分の長さ及び勾配によって動作の中断又は異常な遅延が表されている。動作の中断又は異常な遅延が発生しているときには、いずれの部品も、1つのステーションから別のステーションへと移動していない。次に、期間D2において、ステーションS1及びS2は処理を停止し、その間、処理が遅延している部品の対処をS3又はS3’が完了させるのを待つ。1つの実施形態においては、表示のために、線分に関する障害の発生をカラーで符号化することができる。いくつかの実施形態においては、表示のために、線分に関する障害又はエラーのレベル又は強さを種々に符号化することができる。他の実施形態においては、表示のために、線分の太さを障害の発生に応じて変化させることができる。さらに別の実施形態においては、障害の発生を含んでいる線分を異なる長さ及び角度で表示することができる。別の実施形態においては、障害の発生を含んでいる製造プロセスデータを、人間が視覚的に読み取れる任意の適当なフォーマットとして表示することができる。任意選択の可聴警告によって、オペレータ又は管理者に対し、特定の組立ラインに即座に注意を向けるよう促してもよい。オペレータ又は管理者は、期間D1,D2において障害R1,R2の場所を迅速に特定することが可能となり、組立ラインの動作に対する障害発生の影響をリアルタイムに識別することが可能となる。視覚的診断グラフ200を、シンクライアント、PLC、中央装置、又は任意の適当な装置上に表示することができる。視覚的診断グラフ200を転送して、2つ以上の装置で共有することもできる。
【0014】
図3は、時間対応の、アウトライヤーが残された視覚的集約を有する別の視覚的診断グラフ300を示す。グラフ300は、正常なプロセス302及びアウトライヤー304を含む。正常なプロセスにおいては、複数のプロセスがその時間的近接性に基づいて集約されており、密な帯状部分として表示されている。障害又は異常な遅延を有するアウトライヤー304は、集約された正常なプロセスの上に重ねて表示されており、個別のポリラインとして表示されている。1つの実施形態においては、正常なプロセスの集約は、コンピュータモジュールに種々の機能を実行させるコンピュータ可読媒体に記憶された貪欲法のような命令のセットによって実施される。同様の機能を実行するために他の適当なアルゴリズムを使用してもよい。いくつかの実施形態においては、ローカル又はリモートに配置されたコンピュータモジュールを、スキャナ、プロセッサ、又は任意の適当なコンピュータモジュールとすることができる。1つの実施形態においては、コンピュータモジュールは、PLCによって記録されたプロセスをスキャンし、スキャンされたプロセスを現在のグループにマージするのか、又は新しいグループを作成するのかを決定する。スキャンされたプロセスが現在のグループにおける最後のプロセスに時間的に近接している場合には、このスキャンされたプロセスは、現在のグループにマージされる。そうではなく、開始時間の差が所定の閾値よりも大きい場合には、そのスキャンされたプロセスに対して新しいグループが作成される。作業ステーションにおけるサイクルタイムに基づいてアウトライヤー又は異常なプロセスをさらに識別するために、2つの対話的手法、例えば分位数ブラシ及びサンプルブラシが設けられており、コンピュータ可読媒体に記憶されている。これらの対話的手法のさらなる詳細については後述する。
【0015】
図4A及び図4Bは、それぞれ分位数ブラシ及びサンプルブラシによって処理された視覚的診断グラフ400A,400Bの例を示す。分位数ブラシ(quantiles brush)は、観測値のセットを同等の大きさのビンに分割する変数の記述統計である。n個のサンプルのセットが与えられた変数のp分位数は、値q(p)であり、この値q(p)に関して、値q(p)以下である少なくともnp個のサンプルが存在する。オペレータ又は管理者は、範囲[0,1]から値のペア(p0,p1)(p0<p1)のいずれかを選択することにより、分位数に基づいてプロセスの中からアウトライヤーを規定することができる。次いで、それぞれのステーションにおけるサイクルタイムに関する、対応する分位数(q(p0),q(p1))が、任意の適当なコンピュータモジュールによって計算される。任意のステーションにおける対応する分位数(q(p0),q(p1))の範囲外にあるサイクルタイムを有するプロセスは、アウトライヤーとして識別される。いくつかの実施形態においては、個々のステーションに関する範囲を、用途に応じて調整することができる。図4Aに示すように、分位数範囲選択器402は、それぞれのステーションにおけるサイクルタイムの分布を含む。アウトライヤープロセスは、図3に示した集約グラフ300と同様に、集約グラフ404において個別のポリラインとして表示されている。アウトライヤーの新しいセットが検出されると、それに応じて集約グラフ404及び分位数範囲選択器402が更新される。
【0016】
次に図4Bを参照すると、集約グラフ404と同様の集約グラフ406が示されている。この例においては、アウトライヤープロセスを検出するために、第2の対話的手法、例えばサンプルブラシが提供されている。正常なプロセスのセットは、コンピュータ可読媒体に記憶されたラベル伝播アルゴリズムのような適当なグラフベースの学習アルゴリズムを使用してラベルリングされる。アウトライヤーを検出するために、ラベル付き及びラベルなしデータ点の両方を含むk−近傍グラフのような近傍グラフが構築される。次いで、ラベル付き点から出発してグラフエッジに沿ってラベルを反復的に伝搬させる。データ点のラベルがもはや変化しなくなると、反復は終了する。図4Bに示すように、ステップ1において、ユークリッド距離メトリックを使用して、各ステーションにおけるサイクルタイムに基づいてプロセスのk−nnグラフが構築される。ステップ2において、非常に異なっているプロセスにラベルが伝搬するのを阻止するために、k−nnグラフにおける最大近傍距離についての閾値が設定される。次のステップ3においては、正常なラベルがk−nnグラフを伝搬し、サンプルの正常なプロセスを含むデータセットにおける密な領域を段階的にカバーしていく。残りのラベルなしプロセスは、アウトライヤーである。ステップ4において、アウトライヤーは、個別のポリラインとしてグラフに表示され、正常なプロセスは、集約される。
【0017】
図5は、視覚的診断(visual diagnostics:ViDX)グラフ500を示すブロック図を示し、この視覚的診断グラフ500は、カレンダーベースの視覚化部502と、マルチスケールの時間的探索のためのタイムライン504と、視覚的診断グラフ506とを含む。放射状グラフの形態のリアルタイム監視パネル508と、分位数範囲選択器と共にそれぞれのステーションにおけるサイクルタイムの分布を示す複数のヒストグラム510と、組立ラインのスキーマを示すステーションマップ512と、探索可能な3Dステーションモデルの可視化部514と、障害及び発生頻度のカラーコードの拡張可能なテーブル516とのようなその他の特徴を、任意の適当な装置上で表示するために、並びに、任意の装置と共有するために、設けることができる。
【0018】
図6は、視覚化診断(ViDX)システム600のブロック図を示し、この視覚化診断システム600は、1つ又は複数のバスを介して相互に通信可能に接続された、視覚化アセンブリ602と、データ分析アセンブリ604と、データ記憶アセンブリ又はコンピュータ可読媒体606とを含む。他のコンピュータアセンブリをシステム600に組み込むことができ、又は、システム600に接続することができる。視覚化アセンブリ602は、履歴データ分析装置608と、リアルタイム追跡装置610とを含む。データ分析アセンブリ604は、要約統計量装置612と、アウトライヤー検出部614と、データ集約部616とを含む。データ記憶アセンブリ606は、データベース装置618と、3Dステーションモデル620とを含む。データベース装置618は、製造プロセスデータを記憶し、次いで、所定の期間内に発生したデータの効率的な検索を支援するためにタイムスタンプによってデータにインデックスを付ける。要約統計量装置612は、応答時間を速めるために、視覚化される要約統計量を事前にデータ分析アセンブリ604において計算し、その結果をデータベース装置618にキャッシュする。アウトライヤープロセスを検出するように構成されたアウトライヤー検出部614と、データ集約部616とは、時間的近接性に基づいて正常なプロセスを集約する。視覚化アセンブリ602において、履歴データ分析装置608からのデータが表示され、その一方で、リアルタイム追跡装置610は、データ記憶アセンブリ606から直接的に取り出されたデータを表示する。図5に示した視覚的診断(ViDX)グラフ500の種々の特徴502〜516が、対話のために表示される。
【0019】
上述した実施形態は、例として示されたものであり、これらの実施形態が、種々の修正形態及び代替形態の影響を受けやすいことを理解すべきである。特許請求の範囲は、開示された特定の形態に限定されることを意図したものではなく、本開示の精神及び範囲に含まれる全ての修正形態、等価形態、及び、代替形態を網羅するものであることをさらに理解すべきである。
【0020】
本開示の範囲内の各実施形態は、コンピュータ実行可能命令又は内部に記憶されたデータ構造を担持又は保持するための、非一時的なコンピュータ可読記憶媒体又は機械可読媒体を含むこともできる。そのような非一時的なコンピュータ可読記憶媒体又は機械可読媒体は、汎用又は専用のコンピュータによってアクセス可能な任意の利用可能な媒体であってもよい。限定ではなく例として、このような非一時的なコンピュータ可読記憶媒体又は機械可読媒体は、RAM、ROM、EEPROM、CD−ROM、又は、他の光学的なディスク記憶装置、磁気的なディスク記憶装置、又は、他の磁気的な記憶装置、又は、所望のプログラムコード手段をコンピュータ実行可能命令又はデータ構造の形態で担持又は記憶するために使用することができる任意の他の媒体を含むことができる。上記の組み合わせも、非一時的なコンピュータ可読記憶媒体又は機械可読媒体の範囲内に含めるべきである。
【0021】
各実施形態は、通信ネットワークを介して(有線リンク、無線リンク、又は、それらの組み合わせのいずれかによって)リンクされたローカル及びリモートの処理装置によってタスクが実行される分散コンピューティング環境においても実施され得る。
【0022】
コンピュータ実行可能命令は、例えば、汎用のコンピュータ、専用のコンピュータ、又は、専用の処理装置に特定の機能若しくは機能群を実行させる命令及びデータを含む。コンピュータ実行可能命令は、スタンドアローン環境又はネットワーク環境においてコンピュータによって実行されるプログラムモジュールも含む。一般に、プログラムモジュールは、特定のタスクを実行し、又は、特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、及び、データ構造等を含む。コンピュータ実行可能命令、関連するデータ構造、及び、プログラムモジュールは、本明細書で開示される方法のステップを実行するためのプログラムコード手段の例を表している。そのような実行可能命令又は関連するデータ構造の特定のシーケンスは、そのようなステップで記載された機能を実現するための対応する動作の例を表している。
【0023】
本特許について種々の実施形態を参照しながら説明してきたが、これらの実施形態が例示的なものであり、本開示の範囲がこれらの実施形態に限定されていないことが理解されよう。多数の変形、修正、追加、及び改良が可能である。より一般的には、本特許に従った実施形態を、文脈又は特定の実施形態において説明してきた。各機能を、本開示の種々の実施形態において種々異なるように分離すること、又は、種々異なるようにブロックに結合すること、又は、種々異なる技術用語で記述することができる。これら及び他の変形、修正、追加、及び、改良を、以下の特許請求の範囲において規定される本開示の範囲内に含めることができる。
図1
図2
図3
図4A
図4B
図5
図6