(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】ロボット制御システム、制御プログラムおよび制御方法
(51)【国際特許分類】
B25J 19/04 20060101AFI20231129BHJP
B25J 13/08 20060101ALI20231129BHJP
【ＦＩ】
B25J19/04
B25J13/08 A
【請求項の数】
10
(21)【出願番号】P 2020109514
(22)【出願日】2020-06-25
(65)【公開番号】P2022006928
(43)【公開日】2022-01-13
【審査請求日】2023-03-02
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】大倉 嵩史
(72)【発明者】
【氏名】仲野 征彦
(72)【発明者】
【氏名】安田 圭
【審査官】松浦 陽
(56)【参考文献】
【文献】国際公開第２０２０／０１７４２６（ＷＯ，Ａ１）
【文献】米国特許第６４３０４７２（ＵＳ，Ｂ１）
【文献】特開２０１１－１１０６２８（ＪＰ，Ａ）
【文献】特開２０１０－１６２６３０（ＪＰ，Ａ）
【文献】特表２０１５－５０６８５０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ － ２１／０２
(57)【特許請求の範囲】
【請求項1】
ロボット制御システムであって、カメラおよび第１ワークを把持するためのハンドが装着されたロボットと、
前記ロボットの先端と前記カメラとの間に配置された変位発生機構と、
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与える第１制御部と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出する振動算出部と、
前記振動算出部により算出された振動を補償するように、前記変位発生機構に制御指令を与える第２制御部とを備える、ロボット制御システム。
【請求項2】
前記振動算出部は、前記ロボットの可動部の状態値に基づいて、前記カメラに生じる振動の大きさを算出する、請求項１に記載のロボット制御システム。
【請求項3】
前記振動算出部は、前記カメラにより撮像された画像に基づいて、前記カメラに生じる振動の大きさを算出する、請求項１に記載のロボット制御システム。
【請求項4】
前記振動算出部は、前記カメラにより撮像された画像に基づいて、前記第１ワークの移動速度を算出するとともに、算出された前記第１ワークの移動速度から前記第１ワークの本来の位置を算出する、請求項３に記載のロボット制御システム。
【請求項5】
前記振動算出部は、前記第１ワークの現在位置と、前記第１ワークの本来の位置とのずれである誤差ベクトルを算出する、請求項４に記載のロボット制御システム。
【請求項6】
前記ロボットは、垂直多関節ロボットであり、前記変位発生機構は、直交機構を含む、請求項１～５のいずれか１項に記載のロボット制御システム。
【請求項7】
前記第１制御部、前記振動算出部および前記第２制御部は、予め定められた周期で同期して処理を実行する、請求項１～６のいずれか１項に記載のロボット制御システム。
【請求項8】
前記第１制御部は、前記変位発生機構に与えられた制御指令の影響を除外して、前記ロボットの現在位置を取得する、請求項１～７のいずれか１項に記載のロボット制御システム。
【請求項9】
カメラおよび第１ワークを把持するためのハンドが装着されたロボットと、前記ロボットの先端と前記カメラとの間に配置された変位発生機構とを備えるロボット制御システムのコンピュータで実行される制御プログラムであって、前記コンピュータに前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与えるステップと、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出するステップと、
前記算出された振動を補償するように、前記変位発生機構に制御指令を与えるステップとを実行させる、制御プログラム。
【請求項10】
カメラおよび第１ワークを把持するためのハンドが装着されたロボットと、前記ロボットの先端と前記カメラとの間に配置された変位発生機構とを備えるロボット制御システムで実行される制御方法であって、前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与えるステップと、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出するステップと、
前記算出された振動を補償するように、前記変位発生機構に制御指令を与えるステップとを備える、制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、ロボット制御システム、制御プログラムおよび制御方法に関する。
【背景技術】
【0002】
ＦＡ（Factory Automation）分野においては、ロボットが様々なアプリケーションに用いられている。アプリケーションの一例として、視覚センサと組み合わせて、部品の組み立てや実装などに用いる例が知られている。
【0003】
例えば、特開２００１－０３６２９５号公報（特許文献１）は、実装部品と実装基板との実像を撮像ユニットにて重ね合わせた上で、この撮像画像を視認しつつ両者の相対位置を調整する部品実装装置などを開示する。
【0004】
特開平１０－２２４０９５号公報（特許文献２）は、高速動作させた電子部品実装装置で、振動の影響が大きくなっても、精度良くプリント基板に部品を実装することが可能な電子部品実装方法などを開示する。
【0005】
特開２００２－０７６６９５号公報（特許文献３）は、複数部品間の相対位置を高精度で確保することができる電子部品実装方法などを開示する。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００１－０３６２９５号公報
【文献】特開平１０－２２４０９５号公報
【文献】特開２００２－０７６６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献１～３に開示される技術は、組み立てまたは実装において生じる部品の位置誤差を予め計測して修正する方法を採用する。このような手法によれば、静的に発生する位置誤差のみを修正できるにすぎず、様々な要因で発生し得る動的な位置誤差には対応できない。
【0008】
本技術は、より精度の高い位置決め制御が可能なロボット制御システムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本技術のある実施の形態に係るロボット制御システムは、カメラおよび第１ワークを把持するためのハンドが装着されたロボットと、ロボットの先端とカメラとの間に配置された変位発生機構と、第１ワークを第２ワークへアプローチさせるように、ロボットに制御指令を与える第１制御部と、ロボットが第１ワークを第２ワークにアプローチさせるときにカメラに生じる振動の大きさを算出する振動算出部と、振動算出部により算出された振動を補償するように、変位発生機構に制御指令を与える第２制御部とを含む。
【0010】
この構成によれば、第１ワークを移動させるロボットを高速で移動させた場合などに、ロボット先端に生じるカメラの振動の大きさを算出するとともに、算出されたカメラの振動の大きさに基づいて、それを補償するように、ロボットの先端とカメラとの間に配置された変位発生機構に制御指令を与える。このように、ロボットと変位発生機構とを組み合わせることで、より精度の高い位置決め制御を実現できる。
【0011】
振動算出部は、ロボットの可動部の状態値に基づいて、カメラに生じる振動の大きさを算出するようにしてもよい。この構成によれば、ロボットの可動部の状態値に基づいて、少ない計算量で振動の大きさを算出できる。
【0012】
振動算出部は、カメラにより撮像された画像に基づいて、カメラに生じる振動の大きさを算出するようにしてもよい。この構成によれば、カメラにより撮像された画像を利用することで、動的に発生する振動の大きさを算出できる。
【0013】
振動算出部は、カメラにより撮像された画像に基づいて、第１ワークの移動速度を算出するとともに、算出された第１ワークの移動速度から第１ワークの本来の位置を算出するようにしてもよい。この構成によれば、第１ワークの移動速度を算出することで、第１ワークの本来の位置をより適切に算出できる。
【0014】
振動算出部は、第１ワークの現在位置と、第１ワークの本来の位置とのずれである誤差ベクトルを算出するようにしてもよい。この構成によれば、誤差ベクトルを用いることで、振動の大きさおよび方向を推定できる。
【0015】
ロボットは、垂直多関節ロボットであってもよい。変位発生機構は、直交機構を含んでいてもよい。この構成によれば、第１ワークを様々な方向からアプローチさせることができるとともに、第２ロボットに対する制御を簡素化できる。
【0016】
第１制御部、振動算出部および第２制御部は、予め定められた周期で同期して処理を実行するようにしてもよい。この構成によれば、この構成によれば、ロボットおよび変位発生機構に対する制御指令の算出を同期して行えるので、ロボットと変位発生機構とを連係させた場合の制御精度を高めることができる。
【0017】
第１制御部は、変位発生機構に与えられた制御指令の影響を除外して、ロボットの現在位置を取得するようにしてもよい。この構成によれば、変位発生機構が発生する変位によってカメラにより撮像される画像がオフセットされるので、このオフセットの影響を排除できる。
【0018】
本技術の別の実施の形態によれば、カメラおよび第１ワークを把持するためのハンドが装着されたロボットと、ロボットの先端とカメラとの間に配置された変位発生機構とを備えるロボット制御システムのコンピュータで実行される制御プログラムが提供される。制御プログラムは、コンピュータに、第１ワークを第２ワークへアプローチさせるように、ロボットに制御指令を与えるステップと、ロボットが第１ワークを第２ワークにアプローチさせるときにカメラに生じる振動の大きさを算出するステップと、算出された振動を補償するように、変位発生機構に制御指令を与えるステップとを実行させる。
【0019】
本技術のさらに別の実施の形態によれば、カメラおよび第１ワークを把持するためのハンドが装着されたロボットと、ロボットの先端とカメラとの間に配置された変位発生機構とを備えるロボット制御システムで実行される制御方法が提供される。制御方法は、第１ワークを第２ワークへアプローチさせるように、ロボットに制御指令を与えるステップと、ロボットが第１ワークを第２ワークにアプローチさせるときにカメラに生じる振動の大きさを算出するステップと、算出された振動を補償するように、変位発生機構に制御指令を与えるステップと、第１ワークを第２ワークへアプローチさせるように、ロボットに制御指令を与えるステップとを含む。
【発明の効果】
【0020】
本技術によれば、より精度の高い位置決め制御が可能なロボット制御システムを実現できる。
【図面の簡単な説明】
【0021】
【図1】本実施の形態に係るロボット制御システムの概略を示す模式図である。
【図2】本実施の形態に係るロボット制御システムの全体構成を概略する模式図である。
【図3】ロボットを用いた組み立てアプリケーションにおいて生じる課題を説明するための図である。
【図4】ロボットを用いた組み立てアプリケーションにおいて生じる別の課題を説明するための図である。
【図5】本実施の形態に係るロボット制御システムのシステム構成を概略する模式図である。
【図6】本実施の形態に係るロボット制御システムを構成する制御装置のハードウェア構成例を示す模式図である。
【図7】本実施の形態に係るロボット制御システムを構成するロボットコントローラのハードウェア構成例を示す模式図である。
【図8】本実施の形態に係るロボット制御システムを構成するサーボコントローラのハードウェア構成例を示す模式図である。
【図9】本実施の形態に係るロボット制御システムを構成する画像処理装置のハードウェア構成例を示す模式図である。
【図10】本実施の形態に係るロボット制御システムを用いた組み立て処理を説明するための図である。
【図11】本実施の形態に係るロボット制御システムを用いた組み立て処理を説明するための図である。
【図12】本実施の形態に係るロボット制御システムを用いた組み立て処理を説明するための図である。
【図13】本実施の形態に係るロボット制御システムにおいて定義された座標系の一例を示す図である。
【図14】本実施の形態に係るロボット制御システムにおいてやり取りされる位置情報の一例を説明するための図である。
【図15】本実施の形態に係るロボット制御システムに採用する変位発生機構の構成例を示す模式図である。
【図16】本実施の形態に係るロボット制御システムにおけるカメラに発生する振動を低減する処理を説明するための図である。
【図17】本実施の形態に係るロボット制御システムにおける組み立て処理の処理手順を示すフローチャートである。
【図18】本実施の形態に係るロボット制御システムにおけるロボット先端に生じている振動の大きさを算出する処理を説明するための図である。
【図19】本実施の形態に係るロボット制御システムにおける組み立て処理の別の処理手順を示すフローチャートである。
【図20】本実施の形態に係るロボット制御システムの構成例のバリエーションの一部を示す図である。
【発明を実施するための形態】
【0022】
本技術の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【0023】
＜Ａ．適用例＞
まず、本技術が適用される場面の一例について説明する。図１は、本実施の形態に係るロボット制御システム１の概略を示す模式図である。
まず、本技術が適用される場面の一例について説明する。図１は、本実施の形態に係るロボット制御システム１の概略を示す模式図である。
【0024】
図１を参照して、本実施の形態に係るロボット制御システム１は、カメラ４００および第１ワーク５０を把持するためのハンド２１０が装着されたロボット２００を含む。ロボット２００は、ハンド２１０により把持された第１ワーク５０を第２ワーク６０へアプローチさせる。第２ワーク６０は、ワークテーブル８０上に配置されていてもよい。
【0025】
ロボット制御システム１は、ロボット２００の先端とカメラ４００との間に配置された変位発生機構３００を含む。変位発生機構３００は、ロボット２００の先端とカメラ４００との間に変位を発生させる。
【0026】
ロボット制御システム１は、ロボット制御システム１を制御するための制御モジュール３０を有している。なお、制御モジュール３０については、どのような実装形態で実現してもよい。
【0027】
より具体的には、制御モジュール３０は、第１制御モジュール３２と、振動算出モジュール３４と、第２制御モジュール３６とを含む。
【0028】
第１制御モジュール３２は、ロボット２００の制御を担当する制御ロジックであり、第１ワーク５０を第２ワーク６０へアプローチさせるように、ロボット２００に制御指令を与える。また、第１制御モジュール３２は、ロボット２００から状態値（例えば、各関節の位置を示すエンコーダ情報など）を取得する。
【0029】
振動算出モジュール３４は、ロボット２００が第１ワーク５０を第２ワーク６０にアプローチさせるときにカメラ４００に生じる振動の大きさを算出する。
【0030】
第２制御モジュール３６は、変位発生機構３００の制御を担当する制御ロジックであり、変位発生機構３００に制御指令を与えるとともに、変位発生機構３００から状態値（例えば、各軸の位置を示すエンコーダ情報など）を取得する。特に、第２制御モジュール３６は、振動算出モジュール３４により算出された振動の大きさを補償するように、変位発生機構３００に制御指令を与える。
【0031】
振動の大きさを算出する方法としては、例えば、ロボット２００の可動部の状態値に基づく方法を採用してもよいし、カメラ４００により撮像された画像に基づく方法を採用してもよい。
【0032】
このようなロボット２００が第１ワーク５０を搬送する過程において、ロボット２００の先端に配置されているカメラ４００に生じる振動の大きさを逐次算出するとともに、算出された振動の大きさに基づいて、変位発生機構３００を制御することで、カメラ４００により撮像される画像内のぶれを補償し、ロボット２００の制御精度をより高めることができる。
【0033】
＜Ｂ．全体構成例＞
本実施の形態に係るロボット制御システム１の全体構成例について説明する。
本実施の形態に係るロボット制御システム１の全体構成例について説明する。
【0034】
【0035】
より具体的には、ロボット制御システム１は、第１ワーク５０を把持して移動させるロボット２００を含む。ロボット２００の先端には、第１ワーク５０を把持するためのハンド２１０およびカメラ４００が装着されている。カメラ４００により撮像された画像から得られる情報に基づいて、ロボット２００は、第１ワーク５０をワークテーブル８０上に配置された第２ワーク６０に組み付ける。
【0036】
第１ワーク５０は、一対のピン５４を有する電子部品５２を含む。第２ワーク６０は、基板６２と、基板６２上に配置された電子部品６４とを含む。電子部品６４には、一対のピン５４に挿入される一対のホール６６が設けられている。基板６２上には、位置決め用のマーカ６８が設けられている。位置決め用のマーカ６８はカメラ４００での撮像により光学的に認識される。
【0037】
ロボット２００は、典型的には、垂直多関節ロボットが用いられる。垂直多関節ロボットが用いられた場合には、ロボット２００は、複数のリンク２０２と、リンク２０２同士を連結する関節２０４とを含む。関節２０４は、軸と称されることもあり、サーボモータなどの駆動源によって駆動される。ロボット２００の関節２０４は、図示しない駆動源と機械的に結合されるとともに、駆動源あるいは関節２０４に取り付けられたセンサ（典型的には、エンコーダ）によって、その相対位置または絶対位置が検出可能になっている。
【0038】
ロボット２００としては、垂直多関節ロボットに限らず、水平多関節（スカラ）ロボット、パラレルリンクロボットなどの任意のロボットを用いることができる。
【0039】
ハンド２１０は、ロボット２００の先端に直接接続される一方で、カメラ４００は、変位発生機構３００を介してロボット２００の先端に接続される。変位発生機構３００は、カメラ４００に生じる振動を低減するための変位を発生させる。カメラ４００に生じる振動を低減するものであれば、どのような機構を採用してもよい。図２には、変位発生機構３００の一例として、互いに直交する複数の軸方向（例えば、Ｘ軸，Ｙ軸，Ｚ軸の３軸）にそれぞれ変位を発生させる直交機構を含む。
【0040】
より具体的には、変位発生機構３００は、互いに直交する方向に位置を変更可能な可動軸３１２，３１４，３１６を含む。可動軸３１２，３１４，３１６の各々は、対応する軸方向に移動することで、機械的に接続されているハンド２１０を任意の３軸方向（Ｘ軸，Ｙ軸，Ｚ軸）に移動させることができる。
【0041】
変位発生機構３００の可動軸３１２，３１４，３１６は、サーボモータ３３０（図５など参照）と機械的に結合されるとともに、サーボモータ３３０あるいは可動軸３１２，３１４，３１６に取り付けられたセンサ（典型的には、エンコーダ）によって、その相対位置または絶対位置が検出可能になっている。
【0042】
＜Ｃ．課題および解決手段＞
次に、ロボットを用いた組み立てアプリケーションにおいて生じるいくつかの課題について説明する。
次に、ロボットを用いた組み立てアプリケーションにおいて生じるいくつかの課題について説明する。
【0043】
図３は、ロボットを用いた組み立てアプリケーションにおいて生じる課題を説明するための図である。図３を参照して、ロボット２００を用いた組み立てアプリケーションにおいては、カメラ４００を用いた画像認識により、対象の部品の現在位置を特定し、制御の精度を高める構成が採用されている。特に、ロボット２００の先端（手先）にカメラ４００を配置することで、ロボット２００の制御精度をより高めることができる。
【0044】
例えば、電子部品５２を含む第１ワーク５０から延びる一対のピン５４を第２ワーク６０に設けられた一対のホール６６に挿入するためには、水平方向あるいは斜め方向かのアプローチが必要になる。このように、部品の組み立てには、垂直方向だけではなく、水平方向および斜め方向を含む様々な方向にロボット２００の先端を移動させる必要がある。このとき、ロボット２００の先端と機械的に接続されたカメラ４００についても、様々な方向に移動することになる。さらに、ロボット２００を高速で移動させると、ロボット２００自体にも振動が発生するとともに、カメラ４００にも振動が発生し得る。そのため、カメラ４００の視野範囲が安定せず、認識結果に誤差が生じ得るため、位置決め精度も低下する。すなわち、カメラ４００に生じる振動の影響を受けて、部品の組み立てに係るタクトタイムを大幅に短縮することが制約される。
【0045】
図４は、ロボットを用いた組み立てアプリケーションにおいて生じる別の課題を説明するための図である。図４を参照して、ロボット２００でワークを把持して移動させると、ロボット２００の自重および把持しているワークの重さなどにより、リンク２０２にたわみが発生し、先端に装着されたハンド２１０およびカメラ４００の位置も設計値からずれることになる。
【0046】
上述したような課題に対して、本実施の形態に係るロボット制御システム１においては、移動自由度が相対的に高いロボット２００を採用するとともに、ロボット２００の先端に配置されたカメラ４００に対する振動の影響を低減するための変位発生機構３００を追加的に配置する。このような構成を採用することで、ロボット２００が高速に移動した場合であっても、カメラ４００を用いた画像認識の精度を維持することができる。すなわち、例えば、垂直多関節ロボットなどのロボット２００と高速高精度に位置決めできる変位発生機構３００とを用いることで、ロボット２００の先端（手先）の振動による画像のぶれを補償し、カメラ４００の画像の乱れを抑制した高速高精度な組み立て作業を実現する。これによって、部品の組み立てに係るタクトタイムを短縮できる。
【0047】
＜Ｄ．システム構成例＞
次に、本実施の形態に係るロボット制御システム１のシステム構成例について説明する。
次に、本実施の形態に係るロボット制御システム１のシステム構成例について説明する。
【0048】
図５は、本実施の形態に係るロボット制御システム１のシステム構成を概略する模式図である。図５を参照して、ロボット制御システム１は、制御装置１００と、フィールドネットワーク１０を介して制御装置１００とネットワーク接続された、ロボットコントローラ２５０と、サーボコントローラ３５０と、画像処理装置４５０とを含む。
【0049】
制御装置１００は、フィールドネットワーク１０に接続されたデバイスとの間でデータをやり取りして、後述するような処理を実行する。制御装置１００は、典型的には、ＰＬＣ（プログラマブルロジックコントローラ）により実現されてもよい。
【0050】
ロボットコントローラ２５０は、ロボット２００の制御を担当する。より具体的には、ロボットコントローラ２５０は、ロボット２００との間のインターフェイスとして機能し、制御装置１００からの指令に従って、ロボット２００を駆動するための指令を出力するとともに、ロボット２００の状態値を取得して制御装置１００へ出力する。
【0051】
サーボコントローラ３５０は、変位発生機構３００の軸を駆動するサーボモータ３３０の制御を担当する。より具体的には、サーボコントローラ３５０は、変位発生機構３００との間のインターフェイスとして機能し、制御装置１００からの指令に従って、変位発生機構３００を構成する１つの軸を駆動するための指令を対応するサーボモータ３３０へ出力するとともに、変位発生機構３００の対応するサーボモータ３３０の状態値を取得して制御装置１００へ出力する。
【0052】
画像処理装置４５０は、カメラ４００により撮像された画像に対して各種の画像認識処理を実行する。本実施の形態に係るロボット制御システム１においては、画像処理装置４５０は、例えば、マーカ６８の探索処理などを行うことで、第２ワーク６０の位置を検出する。
【0053】
フィールドネットワーク１０には、産業用ネットワーク用のプロトコルである、ＥｔｈｅｒＣＡＴ（登録商標）やＥｔｈｅｒＮｅｔ／ＩＰなどを用いることができる。プロトコルとしてＥｔｈｅｒＣＡＴを採用した場合には、制御装置１００とフィールドネットワーク１０に接続されたデバイスとの間で、例えば、数百μ秒～数ｍ秒の定周期でデータをやり取りできる。このような定周期でのデータのやり取りによって、ロボット制御システム１に含まれるロボット２００および変位発生機構３００を高速高精度に制御できる。
【0054】
制御装置１００は、上位ネットワーク２０を介して、表示装置６００およびサーバ装置７００に接続されてもよい。上位ネットワーク２０には、産業用ネットワーク用のプロトコルであるやＥｔｈｅｒＮｅｔ／ＩＰなどを用いることができる。
【0055】
制御装置１００には、制御装置１００で実行されるユーザプログラムのインストールや各種設定を行うためのサポート装置５００が接続されてもよい。
【0056】
＜Ｅ．ハードウェア構成例＞
次に、図５に示すロボット制御システム１を構成する主要装置のハードウェア構成例について説明する。
次に、図５に示すロボット制御システム１を構成する主要装置のハードウェア構成例について説明する。
【0057】
（ｅ１：制御装置１００）
図６は、本実施の形態に係るロボット制御システム１を構成する制御装置１００のハードウェア構成例を示す模式図である。図６を参照して、制御装置１００は、プロセッサ１０２と、メインメモリ１０４と、ストレージ１１０と、メモリカードインターフェイス１１２と、上位ネットワークコントローラ１０６と、フィールドネットワークコントローラ１０８と、ローカルバスコントローラ１１６と、ＵＳＢ（Universal Serial Bus）インターフェイスを提供するＵＳＢコントローラ１２０とを含む。これらのコンポーネントは、プロセッサバス１１８を介して接続されている。
図６は、本実施の形態に係るロボット制御システム１を構成する制御装置１００のハードウェア構成例を示す模式図である。図６を参照して、制御装置１００は、プロセッサ１０２と、メインメモリ１０４と、ストレージ１１０と、メモリカードインターフェイス１１２と、上位ネットワークコントローラ１０６と、フィールドネットワークコントローラ１０８と、ローカルバスコントローラ１１６と、ＵＳＢ（Universal Serial Bus）インターフェイスを提供するＵＳＢコントローラ１２０とを含む。これらのコンポーネントは、プロセッサバス１１８を介して接続されている。
【0058】
プロセッサ１０２は、制御演算を実行する演算処理部に相当し、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成される。具体的には、プロセッサ１０２は、ストレージ１１０に格納されたプログラムを読み出して、メインメモリ１０４に展開して実行することで、制御対象に対する制御演算を実現する。
【0059】
メインメモリ１０４は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性記憶装置などで構成される。ストレージ１１０は、例えば、ＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置などで構成される。
【0060】
ストレージ１１０には、基本的な機能を実現するためのシステムプログラム１１０２、および、制御対象に応じて作成されたＩＥＣプログラム１１０４およびアプリケーションプログラム１１０６などが格納される。
【0061】
ＩＥＣプログラム１１０４は、本実施の形態に係るロボット制御システム１における組み立て処理を実現するために必要な命令群を含む。ＩＥＣプログラム１１０４は、典型的には、シーケンス命令およびモーション命令を含み得る。ＩＥＣプログラム１１０４は、国際電気標準会議（ＩＥＣ：International Electrotechnical Commission）が定めるＩＥＣ６１１３１－３で規定されるいずれかの言語で記述されてもよう。但し、ＩＥＣプログラム１１０４は、ＩＥＣ６１１３１－３で規定される言語以外のメーカ独自言語で記述されるプログラムを含んでいてもよい。
【0062】
アプリケーションプログラム１１０６は、ロボット２００および／または変位発生機構３００の動作を制御するための命令を含む。アプリケーションプログラム１１０６は、所定のプログラミング言語（例えば、Ｖ＋言語などのロボット制御用プログラミング言語やＧコードなどのＮＣ制御に係るプログラミング言語）で記述された命令を含んでいてもよい。
【0063】
図１に示される制御モジュール３０（第１制御モジュール３２、振動算出モジュール３４および第２制御モジュール３６）は、ＩＥＣプログラム１１０４および／またはアプリケーションプログラム１１０６がプロセッサ１０２により実行されることで実現されてもよい。
【0064】
メモリカードインターフェイス１１２は、着脱可能な記憶媒体の一例であるメモリカード１１４を受け付ける。メモリカードインターフェイス１１２は、メモリカード１１４に対して任意のデータの読み書きが可能になっている。
【0065】
上位ネットワークコントローラ１０６は、上位ネットワーク２０を介して、任意の情報処理装置（図５に示される表示装置６００およびサーバ装置７００など）との間でデータをやり取りする。
【0066】
フィールドネットワークコントローラ１０８は、フィールドネットワーク１０を介して、それぞれのデバイスとの間でデータをやり取りする。図５に示すシステム構成例において、フィールドネットワークコントローラ１０８は、フィールドネットワーク１０の通信マスタとして機能してもよい。
【0067】
ローカルバスコントローラ１１６は、ローカルバス１２２を介して、制御装置１００に含まれる任意の機能ユニット１３０との間でデータをやり取りする。機能ユニット１３０は、例えば、アナログ信号の入力および／または出力を担当するアナログＩ／Ｏユニット、デジタル信号の入力および／または出力を担当するデジタルＩ／Ｏユニット、エンコーダなどからのパルスを受け付けるカウンタユニットなどからなる。
【0068】
ＵＳＢコントローラ１２０は、ＵＳＢ接続を介して、任意の情報処理装置（サポート装置５００など）との間でデータをやり取りする。
【0069】
（ｅ２：ロボットコントローラ２５０）
図７は、本実施の形態に係るロボット制御システム１を構成するロボットコントローラ２５０のハードウェア構成例を示す模式図である。図７を参照して、ロボットコントローラ２５０は、
ロボットコントローラ２５０は、フィールドネットワークコントローラ２５２と、制御処理回路２６０とを含む。
図７は、本実施の形態に係るロボット制御システム１を構成するロボットコントローラ２５０のハードウェア構成例を示す模式図である。図７を参照して、ロボットコントローラ２５０は、
ロボットコントローラ２５０は、フィールドネットワークコントローラ２５２と、制御処理回路２６０とを含む。
【0070】
フィールドネットワークコントローラ２５２は、フィールドネットワーク１０を介して、主として、制御装置１００との間でデータをやり取りする。
【0071】
制御処理回路２６０は、ロボット２００を駆動するために必要な演算処理を実行する。一例として、制御処理回路２６０は、プロセッサ２６２と、メインメモリ２６４と、ストレージ２７０と、インターフェイス回路２６８とを含む。
【0072】
プロセッサ２６２は、ロボット２００を駆動するための制御演算を実行する。メインメモリ２６４は、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ２７０は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。
【0073】
ストレージ２７０には、ロボット２００を駆動するための制御を実現するためのシステムプログラム２７２が格納される。システムプログラム２７２は、ロボット２００の動作に係る制御演算を実行する命令、および、ロボット２００との間のインターフェイスに係る命令を含む。
【0074】
インターフェイス回路２６８は、ロボット２００との間でデータをやり取りする。
（ｅ３：サーボコントローラ３５０）
図８は、本実施の形態に係るロボット制御システム１を構成するサーボコントローラ３５０のハードウェア構成例を示す模式図である。図８を参照して、サーボコントローラ３５０は、フィールドネットワークコントローラ３５２と、制御処理回路３６０と、ドライブ回路３８０とを含む。
（ｅ３：サーボコントローラ３５０）
図８は、本実施の形態に係るロボット制御システム１を構成するサーボコントローラ３５０のハードウェア構成例を示す模式図である。図８を参照して、サーボコントローラ３５０は、フィールドネットワークコントローラ３５２と、制御処理回路３６０と、ドライブ回路３８０とを含む。
【0075】
フィールドネットワークコントローラ３５２は、フィールドネットワーク１０を介して、主として、制御装置１００との間でデータをやり取りする。
【0076】
制御処理回路３６０は、変位発生機構３００を駆動するサーボモータ３３０の制御に必要な演算処理を実行する。一例として、制御処理回路３６０は、プロセッサ３６２と、メインメモリ３６４と、ストレージ３７０とを含む。
【0077】
プロセッサ３６２は、変位発生機構３００を駆動するサーボモータ３３０に係る制御演算を実行する。メインメモリ３６４は、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ３７０は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。
【0078】
ストレージ３７０には、サーボモータ３３０の駆動制御を実現するためのシステムプログラム３７２が格納される。システムプログラム３７２は、変位発生機構３００の動作に係る制御演算を実行する命令、および、変位発生機構３００との間のインターフェイスに係る命令を含む。
【0079】
ドライブ回路３８０は、コンバータ回路およびインバータ回路などを含み、制御処理回路３６０により算出された指令値に従って、指定された電圧・電流・位相の電力を生成して、サーボモータ３３０へ供給する。
【0080】
サーボモータ３３０は、変位発生機構３００を構成するいずれかの軸と機械的に結合されている。サーボモータ３３０としては、変位発生機構３００に応じた特性のモータを採用できる。サーボモータとの名称に限定されず、誘導型モータ、同期型モータ、永久磁石型モータ、リラクタンスモータのいずれを採用してもよいし、回転型だけではなく、リニアモータを採用してもよい。
【0081】
（ｅ４：画像処理装置４５０）
図９は、本実施の形態に係るロボット制御システム１を構成する画像処理装置４５０のハードウェア構成例を示す模式図である。図９を参照して、画像処理装置４５０は、プロセッサ４５２と、メインメモリ４５４と、ストレージ４６０と、メモリカードインターフェイス４６２と、上位ネットワークコントローラ４５６と、フィールドネットワークコントローラ４５８と、ＵＳＢコントローラ４７０と、カメラインターフェイス４６６とを含む。これらのコンポーネントは、プロセッサバス４６８を介して接続されている。
図９は、本実施の形態に係るロボット制御システム１を構成する画像処理装置４５０のハードウェア構成例を示す模式図である。図９を参照して、画像処理装置４５０は、プロセッサ４５２と、メインメモリ４５４と、ストレージ４６０と、メモリカードインターフェイス４６２と、上位ネットワークコントローラ４５６と、フィールドネットワークコントローラ４５８と、ＵＳＢコントローラ４７０と、カメラインターフェイス４６６とを含む。これらのコンポーネントは、プロセッサバス４６８を介して接続されている。
【0082】
プロセッサ４５２は、画像処理を実行する演算処理部に相当し、ＣＰＵやＧＰＵなどで構成される。具体的には、プロセッサ４５２は、ストレージ４６０に格納されたプログラムを読み出して、メインメモリ４５４に展開して実行することで、任意の画像処理を実現する。
【0083】
メインメモリ４５４は、ＤＲＡＭやＳＲＡＭなどの揮発性記憶装置などで構成される。ストレージ４６０は、例えば、ＳＳＤやＨＤＤなどの不揮発性記憶装置などで構成される。ストレージ４６０には、基本的な機能を実現するためのシステムプログラム４６０２、および、制御対象に応じて作成された画像処理プログラム４６０４などが格納される。
【0084】
メモリカードインターフェイス４６２は、着脱可能な記憶媒体の一例であるメモリカード４６４を受け付ける。
【0085】
上位ネットワークコントローラ４５６は、上位ネットワークを介して、任意の情報処理装置との間でデータをやり取りする。フィールドネットワークコントローラ４５８は、フィールドネットワーク１０を介してそれぞれのデバイスとの間でデータをやり取りする。
【0086】
ＵＳＢコントローラ４７０は、ＵＳＢ接続を介して、任意の情報処理装置との間でデータをやり取りする。
【0087】
カメラインターフェイス４６６は、カメラ４００が撮像した画像を取得するとともに、カメラ４００に対して各種指令を与える。
【0088】
（ｅ５：サポート装置５００）
本実施の形態に係るロボット制御システム１を構成するサポート装置５００は、一例として、汎用パソコンを用いて実現されてもよい。サポート装置５００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
本実施の形態に係るロボット制御システム１を構成するサポート装置５００は、一例として、汎用パソコンを用いて実現されてもよい。サポート装置５００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
【0089】
（ｅ６：表示装置６００）
本実施の形態に係るロボット制御システム１を構成する表示装置６００は、一例として、汎用パソコンを用いて実現されてもよい。表示装置６００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
本実施の形態に係るロボット制御システム１を構成する表示装置６００は、一例として、汎用パソコンを用いて実現されてもよい。表示装置６００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
【0090】
（ｅ７：サーバ装置７００）
本実施の形態に係るロボット制御システム１を構成するサーバ装置７００は、一例として汎用パソコンを用いて実現されてもよい。サーバ装置７００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
本実施の形態に係るロボット制御システム１を構成するサーバ装置７００は、一例として汎用パソコンを用いて実現されてもよい。サーバ装置７００の基本的なハードウェア構成例は、周知であるので、ここでは詳細な説明は行わない。
【0091】
（ｅ８：その他の形態）
図６～図９には、１または複数のプロセッサがプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。
図６～図９には、１または複数のプロセッサがプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。
【0092】
＜Ｆ．処理概要＞
次に、本実施の形態に係るロボット制御システム１を用いて２つの部品を組み立て処理の概要について説明する。
次に、本実施の形態に係るロボット制御システム１を用いて２つの部品を組み立て処理の概要について説明する。
【0093】
【0094】
図１０を参照して、まず、第２ワーク６０が配置された位置を特定して、第１ワーク５０と第２ワーク６０との相対位置を決定する処理が行われる。より具体的には、カメラ４００で第２ワーク６０を撮像して、第２ワーク６０の基板６２上に設けられている位置決め用のマーカ６８を認識することで、ワークテーブル８０上に配置された第２ワーク６０の位置が決定される。
【0095】
第２ワーク６０の位置が決定されることで、第１ワーク５０を第２ワーク６０へアプローチさせるための軌道７０を算出できる。すなわち、ロボット２００で把持した第１ワーク５０を第２ワーク６０と組み合わせるための軌道７０が算出される。そして、ロボット２００および変位発生機構３００を用いた組み立て処理が開始される。
【0096】
組み立て処理においては、ロボット２００は、算出された軌道７０に沿って移動する。ロボット２００が軌道７０に沿って移動する際に生じるカメラ４００に生じる振動を変位発生機構３００が低減する。カメラ４００に生じる振動の大きさ（本来の位置からのずれの大きさ）は、後述するように、ロボット２００から取得される状態値（例えば、エンコーダ情報など）を用いて算出（あるいは推定）してもよいし、カメラ４００により撮像された画像から得られる情報を用いて算出（あるいは推定）してもよい。
【0097】
図１１を参照して、ロボット２００が第１ワーク５０を把持して移動中には、カメラ４００に生じる振動の大きさ（本来の位置からのずれの大きさ）が逐次算出されるとともに、算出された振動を補償するために、変位発生機構３００の可動軸３１２，３１４，３１６が逐次駆動される。変位発生機構３００の可動軸３１２，３１４，３１６が逐次駆動されることで、カメラ４００に生じる振動を補償される。
【0098】
また、ロボット２００を軌道７０に沿って移動させる場合には、算出されるカメラ４００に生じる振動の大きさ（本来の位置からのずれの大きさ）に対応する補正量（発生している振動とは反対方向のずれ）を反映して、演算処理が実行される。
【0099】
このように、ロボット２００を相対的に高速に移動させることで生じるカメラ４００の振動が低減されるように、変位発生機構３００が順次駆動される。これによって、ロボット２００を高精度な位置決め処理を実現できる。
【0100】
最終的には、図１２に示すように、第１ワーク５０の一対のピン５４が第２ワーク６０の一対のホール６６に挿入されて、組み立て処理が完了する。
【0101】
＜Ｇ．ロボット制御システムにおけるデータのやり取り＞
本実施の形態に係るロボット制御システム１は、複数のデバイスが連携して処理を実現する。それぞれのデバイスが管理する位置の情報は、互いに独立した座標系で規定されることも多い。そのため、共通の基準座標系を用いて位置決め制御を実現してもよい。
本実施の形態に係るロボット制御システム１は、複数のデバイスが連携して処理を実現する。それぞれのデバイスが管理する位置の情報は、互いに独立した座標系で規定されることも多い。そのため、共通の基準座標系を用いて位置決め制御を実現してもよい。
【0102】
【0103】
ロボット２００について、ロボット２００の先端位置（ハンド２１０および変位発生機構３００が機械的に接続されている位置）は、ロボット２００の設置位置を基準に定義されたロボット座標系により規定される。ロボット２００の先端に接続された変位発生機構３００の位置は、ロボット２００の先端位置を基準に定義されたハンド座標系により規定される。さらに、変位発生機構３００を介してロボット２００の先端に接続される。
【0104】
したがって、第１ワーク５０の位置は、ロボット位置（ロボット座標系）により規定される。また、算出される第２ワーク６０の位置は、ロボット位置（ロボット座標系）と、カメラ４００により撮像される画像内を基準に定義されたカメラ座標系（あるいは、画像座標系）により規定される。
【0105】
上述したようなそれぞれの座標系で規定された位置を共通の基準座標系で規定された位置に変換した上で、相対位置の算出および位置決め制御などを行うようにしてもよい。
【0106】
図１４は、本実施の形態に係るロボット制御システム１においてやり取りされる位置情報の一例を説明するための図である。図１４を参照して、ロボットコントローラ２５０は、ロボット２００から、（１）ロボット位置（ロボット座標系）を取得して、制御装置１００へ周期的に送出する。
【0107】
サーボコントローラ３５０の各々は、対応するサーボモータ３３０の状態値を取得して、制御装置１００へ周期的に送出する。変位発生機構３００を構成するそれぞれのサーボモータ３３０の状態値の集合が（２）変位発生機構の位置（ハンド座標系）となる。
【0108】
画像処理装置４５０は、カメラ４００により撮像された画像に基づく画像認識処理により、第２ワーク６０が配置された位置を特定して、（３）第２ワーク６０の位置（カメラ座標系）を制御装置１００へ周期的に送出する。
【0109】
制御装置１００は、ロボット配置の位置関係やキャリブレーションなどに基づいて予め取得された変換式を用いて、それぞれの位置を基準座標系の位置に変換した上で、位置決め制御に必要な処理を実行する。
【0110】
このように、図１４に示す構成例を採用することで、必要な位置の情報は、共通の基準座標系を用いて制御装置１００により統一的に管理および処理できる。そのため、制御性能を高めることができる。
【0111】
＜Ｈ．変位発生機構３００の構成例＞
本実施の形態に係るロボット制御システム１に採用する変位発生機構３００としては、３つの軸方向に移動可能な直交機構に限らず、１つの軸方向に移動可能な移動機構や２つの軸方向に移動可能な２軸の移動機構であってもよい。あるいは、より多くの軸方向に移動可能な直交ロボットを採用してもよい。さらに、変位発生機構３００としては、１または複数の回転軸に沿って変位を発生させることができる機構を採用してもよい。
本実施の形態に係るロボット制御システム１に採用する変位発生機構３００としては、３つの軸方向に移動可能な直交機構に限らず、１つの軸方向に移動可能な移動機構や２つの軸方向に移動可能な２軸の移動機構であってもよい。あるいは、より多くの軸方向に移動可能な直交ロボットを採用してもよい。さらに、変位発生機構３００としては、１または複数の回転軸に沿って変位を発生させることができる機構を採用してもよい。
【0112】
図１５は、本実施の形態に係るロボット制御システム１に採用する変位発生機構３００の構成例を示す模式図である。図１５を参照して、自由度を高めたい場合には、Ｘ軸に沿って移動する可動軸３１２と、Ｙ軸に沿って移動する可動軸３１４と、Ｚ軸に沿って移動する可動軸３１６とを含む構成を採用できる。さらに、可動軸３１６については、Ｚ軸のまわり回転可能に構成してもよい。
【0113】
一方、特定の軸について精度を高めたい場合には、精度を高めたい軸のみが可動できる構成を採用してもよい。
【0114】
このように、変位発生機構３００の構成は、使用用途に応じて決定すればよい。
＜Ｉ．処理手順＞
次に、本実施の形態に係るロボット制御システム１における処理手順について説明する。
＜Ｉ．処理手順＞
次に、本実施の形態に係るロボット制御システム１における処理手順について説明する。
【0115】
（ｉ１：概要）
本実施の形態に係るロボット制御システム１は、第１ワーク５０を把持したロボット２００を移動させたときに、ロボット２００の先端に配置されたカメラ４００に発生する振動を低減する。
本実施の形態に係るロボット制御システム１は、第１ワーク５０を把持したロボット２００を移動させたときに、ロボット２００の先端に配置されたカメラ４００に発生する振動を低減する。
【0116】
図１６は、本実施の形態に係るロボット制御システム１におけるカメラ４００に発生する振動を低減する処理を説明するための図である。図１６を参照して、ロボット２００が移動するときに、ロボット２００のリンクなどに生じるたわみやロボット２００自体の振動などによって、ロボット２００の先端が本来の位置からずれると、その位置ずれ（振動）の大きさに応じてカメラ４００の位置を変更（補償）する。このような位置の補償を逐次実行することで、カメラ４００に生じる振動を低減する。
【0117】
ロボット２００先端の振動の大きさは、例えば、ロボット２００から取得される状態値（例えば、エンコーダ情報など）を用いて算出（あるいは推定）してもよいし、カメラ４００により撮像された画像から得られる情報を用いて算出（あるいは推定）してもよい。
【0118】
以下、それぞれの方法を用いて、ロボット２００先端の振動の大きさを算出するとともに、算出された振動の大きさに基づいて、カメラ４００の位置を変更（補償）することで、振動を低減する方法について説明する。
【0119】
（ｉ２：状態値に基づく振動の大きさ算出および振動低減処理）
ロボット２００および変位発生機構３００から取得される状態値（例えば、エンコーダ情報など）を用いて振動低減処理を行う処理例について説明する。
ロボット２００および変位発生機構３００から取得される状態値（例えば、エンコーダ情報など）を用いて振動低減処理を行う処理例について説明する。
【0120】
以下の処理例では、ロボット２００の先端に生じている振動の大きさを算出して、それを振動の大きさと見なしてカメラ４００の位置を逐次制御する実装例を示す。すなわち、制御装置１００は、ロボット２００の可動部の状態値に基づいて、カメラ４００に生じる振動の大きさを算出する。
【0121】
図１７は、本実施の形態に係るロボット制御システム１における組み立て処理の処理手順を示すフローチャートである。図１７に示す各ステップは、典型的には、制御装置１００のプロセッサ１０２がプログラムを実行することで実現される。図１７に示される一連の処理は、予め定められた周期（制御周期）で繰り返し実行される。
【0122】
図１７を参照して、制御装置１００は、ワークテーブル８０上に配置された第２ワーク６０の位置を検出し（ステップＳ２）、第１ワーク５０を第２ワーク６０に挿入するための軌道７０を算出する（ステップＳ４）。なお、第２ワーク６０の位置は、カメラ４００により撮像された画像に対してマーカ６８の探索処理を行うことで検出されてもよい。あるいは、外部装置から制御装置１００に入力されてもよいし、予め定められた初期位置をそのまま採用してもよい。第１ワーク５０と第２ワーク６０とが接近すると、カメラ４００を用いた画像認識により、第２ワーク６０の位置が検出される。
【0123】
そして、第１ワーク５０が第２ワーク６０に挿入されるまで、以下のステップＳ１０～Ｓ２２の処理が繰り返される。
【0124】
より具体的には、制御装置１００は、ロボット２００に指令を与えて、第１ワーク５０を現周期の目標位置へ移動させる（ステップＳ１０）。すなわち、制御装置１００は、第１ワーク５０を第２ワーク６０へアプローチさせるように、ロボット２００に制御指令を与える。
【0125】
そして、制御装置１００は、ロボット２００の各関節のエンコーダ情報、および、変位発生機構３００の各軸のエンコーダ情報を取得する（ステップＳ１２）。
【0126】
制御装置１００は、カメラ４００により撮像された画像に基づいて検出された第１ワーク５０および第２ワーク６０の位置を取得し（ステップＳ１４）、第１ワーク５０と第２ワーク６０との組み付けが完了したか否かを判断する（ステップＳ１６）。第１ワーク５０と第２ワーク６０との組み付けが完了していれば（ステップＳ１６においてＹＥＳ）、処理は終了する。
【0127】
第１ワーク５０と第２ワーク６０との組み付けが完了していなければ（ステップＳ１６においてＮＯ）、制御装置１００は、ロボット２００から取得したエンコーダ情報に基づいて、ロボット２００先端の振動の大きさを算出する（ステップＳ１８）。すなわち、制御装置１００は、ロボット２００が第１ワーク５０を第２ワーク６０にアプローチさせるときにカメラ４００に生じる振動の大きさを算出する。
【0128】
先端の振動の大きさは、例えば、ロボット２００の各関節のエンコーダ情報に基づいて算出される先端の位置、および／または、ロボット２００の各リンクに生じるたわみとに基づいて算出される。ロボット２００の各リンクに生じるたわみは、エンコーダ情報の時間的変化などに基づいて算出できる。
【0129】
そして、制御装置１００は、算出されたロボット２００先端の振動の大きさに対応する補正量（発生している振動とは反対方向のずれ）を変位発生機構３００に与える（ステップＳ２０）。すなわち、制御装置１００は、算出された振動を補償するように、変位発生機構３００に制御指令を与える。
【0130】
また、制御装置１００は、カメラ４００を用いた画像認識による検出結果を変位発生機構３００に与えた補正量に応じて修正する（ステップＳ２２）。すなわち、カメラ４００とロボット２００の先端との間の相対的な位置関係は、変位発生機構３００に与えられた補正量に相当する分だけ変化することになる。この相対的な位置関係の変化によって、画像認識による検出結果も影響を受けるので、この影響を相殺する目的で、変位発生機構３００に与えた補正量とは逆の成分が修正情報として与えられる。このように、制御装置１００は、変位発生機構３００に与えられた制御指令の影響を除外して、ロボット２００の現在位置を取得する。
【0131】
そして、ステップＳ１０以下の処理が繰り返される。
（ｉ３：カメラ４００に基づく振動算出および振動低減処理）
以下の処理例では、カメラ４００により撮像された画像から得られる情報を用いて、ロボット２００先端に生じている振動の大きさを算出し、それを振動の大きさと見なしてカメラ４００の位置を逐次制御する実装例を示す。すなわち、制御装置１００は、カメラ４００により撮像された画像に基づいて、カメラ４００に生じる振動の大きさを算出する。
（ｉ３：カメラ４００に基づく振動算出および振動低減処理）
以下の処理例では、カメラ４００により撮像された画像から得られる情報を用いて、ロボット２００先端に生じている振動の大きさを算出し、それを振動の大きさと見なしてカメラ４００の位置を逐次制御する実装例を示す。すなわち、制御装置１００は、カメラ４００により撮像された画像に基づいて、カメラ４００に生じる振動の大きさを算出する。
【0132】
図１８は、本実施の形態に係るロボット制御システム１におけるロボット２００先端に生じている振動の大きさを算出する処理を説明するための図である。図１８（ａ）～（ｃ）には、カメラ４００により撮像された画像の一例を示す。
【0133】
図１８（ａ）には、時刻ｔ＝ｔ１において撮像された画像の一例を示す。撮像された画像においては、第１ワーク５０および第２ワーク６０が被写体として存在している。画像処理装置４５０は、画像認識により、第１ワーク５０および第２ワーク６０の位置を検出しているとする。また、画像処理装置４５０は、第１ワーク５０の移動速度についても検出しているとする。
【0134】
図１８（ｂ）には、カメラ４００に振動が発生していない場合に、時刻ｔ＝ｔ２において撮像された画像の一例を示す。撮像された画像において、第１ワーク５０は、図１８（ａ）において検出された移動速度に応じた距離だけ移動することになる。図１８（ｂ）に示される画像において、第１ワーク５０が存在する位置が時刻ｔ＝ｔ２における本来の位置に相当する。図１８（ｂ）に示される第１ワーク５０の位置は、時刻ｔ＝ｔ１における移動速度から算出することができる。
【0135】
図１８（ｃ）には、カメラ４００に振動が発生している場合に、時刻ｔ＝ｔ２において撮像された画像の一例を示す。撮像された画像において、第１ワーク５０は、図１８（ｂ）に示される本来の位置からずれている。第１ワーク５０の本来の位置からのずれが誤差ベクトルとして算出される。算出された誤差ベクトルに基づいて、ロボット２００先端の振動の大きさが算出（推定）される。
【0136】
図１８に示すように、制御装置１００は、カメラ４００により撮像された画像に基づいて、第１ワーク５０の移動速度を算出するとともに、算出された第１ワーク５０の移動速度から第１ワーク５０の本来の位置を算出する。そして。制御装置１００は、第１ワーク５０の現在位置と、第１ワーク５０の本来の位置とのずれである誤差ベクトルを算出する。
【0137】
このように、第１ワーク５０を把持したロボット２００を移動させたときに、ロボット２００の先端に発生する振動は、カメラ４００により撮像された画像から算出できる。そして、算出された振動は変位発生機構３００を用いて補償される。
【0138】
図１９は、本実施の形態に係るロボット制御システム１における組み立て処理の別の処理手順を示すフローチャートである。図１９に示す各ステップは、典型的には、制御装置１００のプロセッサ１０２がプログラムを実行することで実現される。図１９に示される一連の処理は、予め定められた周期（制御周期）で繰り返し実行される。
【0139】
図１９を参照して、制御装置１００は、ワークテーブル８０上に配置された第２ワーク６０の位置を検出し（ステップＳ２）、第１ワーク５０を第２ワーク６０に挿入するための軌道７０を算出する（ステップＳ４）。なお、第２ワーク６０の位置は、カメラ４００により撮像された画像に対してマーカ６８の探索処理を行うことで検出されてもよい。あるいは、外部装置から制御装置１００に入力されてもよいし、予め定められた初期位置をそのまま採用してもよい。第１ワーク５０と第２ワーク６０とが接近すると、カメラ４００を用いた画像認識により、第２ワーク６０の位置が検出される。
【0140】
そして、第１ワーク５０が第２ワーク６０に挿入されるまで、以下のステップＳ１０～Ｓ２２の処理が繰り返される。
【0141】
より具体的には、制御装置１００は、ロボット２００に指令を与えて、第１ワーク５０を現周期の目標位置へ移動させる（ステップＳ１０）。すなわち、制御装置１００は、第１ワーク５０を第２ワーク６０へアプローチさせるように、ロボット２００に制御指令を与える。
【0142】
そして、制御装置１００は、ロボット２００の各関節のエンコーダ情報、および、変位発生機構３００の各軸のエンコーダ情報を取得する（ステップＳ１２）。
【0143】
制御装置１００は、カメラ４００により撮像された画像に基づいて検出された第１ワーク５０および第２ワーク６０の位置を取得し（ステップＳ１４）、第１ワーク５０と第２ワーク６０との組み付けが完了したか否かを判断する（ステップＳ１６）。第１ワーク５０と第２ワーク６０との組み付けが完了していれば（ステップＳ１６においてＹＥＳ）、処理は終了する。
【0144】
第１ワーク５０と第２ワーク６０との組み付けが完了していなければ（ステップＳ１６においてＮＯ）、制御装置１００は、カメラ４００により撮像された画像に基づいて、第１ワーク５０の本来の位置からのずれである誤差ベクトルを算出する（ステップＳ３０）。すなわち、制御装置１００は、ロボット２００が第１ワーク５０を第２ワーク６０にアプローチさせるときにカメラ４００に生じる振動の大きさを算出する。
【0145】
より具体的には、制御装置１００は、周期毎に第１ワーク５０の移動速度を算出しており、前周期に算出された第１ワーク５０の移動速度に基づいて、第１ワーク５０の本来の位置を算出する。
【0146】
そして、制御装置１００は、算出された誤差ベクトルに対応する補正量（発生している振動とは反対方向のずれ）を変位発生機構３００に与える（ステップＳ３２）。すなわち、制御装置１００は、算出された振動を補償するように、変位発生機構３００に制御指令を与える。
【0147】
また、制御装置１００は、カメラ４００を用いた画像認識による検出結果を変位発生機構３００に与えた補正量に応じて修正する（ステップＳ２２）。すなわち、カメラ４００とロボット２００の先端との間の相対的な位置関係は、変位発生機構３００に与えられた補正量に相当する分だけ変化することになる。この相対的な位置関係の変化によって、画像認識による検出結果も影響を受けるので、この影響を相殺する目的で、変位発生機構３００に与えた補正量とは逆の成分が修正情報として与えられる。このように、制御装置１００は、変位発生機構３００に与えられた制御指令の影響を除外して、ロボット２００の現在位置を取得する。
【0148】
そして、ステップＳ１０以下の処理が繰り返される。
（ｉ４：変形例および応用例）
処理例として、状態値に基づく振動の大きさ算出の処理例（図１７）、および、カメラ４００により撮像された画像から得られる情報に基づく振動の大きさ算出の処理例（図１９）について説明したが、これらを適宜組み合わせてもよい。
（ｉ４：変形例および応用例）
処理例として、状態値に基づく振動の大きさ算出の処理例（図１７）、および、カメラ４００により撮像された画像から得られる情報に基づく振動の大きさ算出の処理例（図１９）について説明したが、これらを適宜組み合わせてもよい。
【0149】
例えば、状態値に基づく振動の大きさ算出の処理例（図１７）と、カメラ４００により撮像された画像から得られる情報に基づく振動の大きさ算出の処理例（図１９）とを組み合わせてもよい。具体的には、カメラ４００の視野範囲に第１ワーク５０が到達するまでは、状態値に基づく振動の大きさ算出の処理例（図１７）を実行し、到着後は、カメラ４００により撮像された画像から得られる情報に基づく振動の大きさ算出の処理例（図１９）を実行するようにしてもよい。
【0150】
このように、第１ワーク５０と第２ワーク６０とを組み合わせる際の条件などに応じて、任意の処理を実装することができる。
【0151】
また、算出された振動の大きさが予め定められた条件を満たした場合（例えば、予め定められたしきい値を超える）に限って、振動低減処理を有効化するようにしてもよい。
【0152】
図１７および図１９に示すように、図１の制御モジュール３０に含まれる、第１制御モジュール３２と、振動算出モジュール３４と、第２制御モジュール３６は、予め定められた周期で同期して処理を実行することになる。
【0153】
＜Ｊ．様々な構成例＞
上述のロボット制御システム１においては、制御装置１００が主として制御演算を実行する構成について例示したが、これに限らず、必要な機能を１または複数のデバイスに分散配置してもよい。
上述のロボット制御システム１においては、制御装置１００が主として制御演算を実行する構成について例示したが、これに限らず、必要な機能を１または複数のデバイスに分散配置してもよい。
【0154】
図２０は、本実施の形態に係るロボット制御システム１の構成例のバリエーションの一部を示す図である。図２０には、ロボット制御システム１が有している基本的な５つの機能を「ＬＤ」、「ＲＣ」、「ＲＡ」、「ＭＣ」、「ＳＡ」という記号を用いて示している。
【0155】
「ＬＤ」は、上述の図１７および図１９に示すような組み立て処理に係る制御演算を実行する機能を含む。上述のロボット制御システム１において、「ＬＤ」は制御装置１００が担当する。より具体的には、制御装置１００のプロセッサ１０２が実行するＩＥＣプログラム１１０４は、「ＬＤ」を実現するために必要な命令を含む。「ＬＤ」は、図１の振動算出モジュール３４に相当する機能を含む。
【0156】
「ＲＣ」は、ロボット２００の動作に係る制御演算を実行する機能を含む。具体的には、ロボット２００の動作に係る制御演算は、ロボット２００の軌道の算出、および、ロボット２００に含まれる各関節の各時間における目標角度の算出などを含む。「ＲＣ」は、制御装置１００に格納されたアプリケーションプログラム１１０６、および、ロボットコントローラ２５０に格納されたシステムプログラム２７２により実現されてもよい。
【0157】
「ＲＡ」は、ロボット２００との間のインターフェイスに係る機能を含む。具体的には、「ＲＡ」は、ＲＣ機能による算出結果を実際のロボット２００の動作に必要な値（電圧など）に変換して出力する機能、および、ロボット２００から得られたデータ（パルス値など）をＲＣ機能に出力する機能を含む。「ＲＡ」は、ロボットコントローラ２５０に格納されたシステムプログラム２７２により実現されてもよい。
【0158】
「ＲＣ」および「ＲＡ」は、図１の第１制御モジュール３２に相当する機能を含む。
「ＭＣ」は、変位発生機構３００の動作に係る制御演算を実行する機能を含む。具体的には、変位発生機構３００の動作に係る制御演算は、変位発生機構３００の軌道の算出、および、変位発生機構３００に含まれる各軸の各時間における目標角度あるいは目標速度の算出などを含む。「ＭＣ」は、制御装置１００に格納されたアプリケーションプログラム１１０６、および、サーボコントローラ３５０に格納されたシステムプログラム３７２により実現されてもよい。
「ＭＣ」は、変位発生機構３００の動作に係る制御演算を実行する機能を含む。具体的には、変位発生機構３００の動作に係る制御演算は、変位発生機構３００の軌道の算出、および、変位発生機構３００に含まれる各軸の各時間における目標角度あるいは目標速度の算出などを含む。「ＭＣ」は、制御装置１００に格納されたアプリケーションプログラム１１０６、および、サーボコントローラ３５０に格納されたシステムプログラム３７２により実現されてもよい。
【0159】
「ＳＡ」は、変位発生機構３００との間のインターフェイスに係る機能を含む。具体的には、「ＳＡ」は、ＭＣ機能による算出結果を実際の変位発生機構３００の動作に必要な値（電圧など）に変換して出力する機能、および、変位発生機構３００から得られたデータ（パルス値など）をＭＣ機能に出力する機能を含む。「ＳＡ」は、サーボコントローラ３５０に格納されたシステムプログラム３７２により実現されてもよい。
【0160】
「ＭＣ」および「ＭＡ」は、図１の第２制御モジュール３６に相当する機能を含む。
図２０には、一例として、１６種類の構成例を示す。例えば、構成例番号「１」は、上述のロボット制御システム１に相当する実装例であり、制御装置１００が位置決め制御を担当するとともに、ロボット２００の制御については、制御装置１００およびロボットコントローラ２５０が担当し、変位発生機構３００の制御については、制御装置１００およびサーボコントローラ３５０が担当する。図２０に示すように、同一の機能を複数のデバイスで分担することもある。
図２０には、一例として、１６種類の構成例を示す。例えば、構成例番号「１」は、上述のロボット制御システム１に相当する実装例であり、制御装置１００が位置決め制御を担当するとともに、ロボット２００の制御については、制御装置１００およびロボットコントローラ２５０が担当し、変位発生機構３００の制御については、制御装置１００およびサーボコントローラ３５０が担当する。図２０に示すように、同一の機能を複数のデバイスで分担することもある。
【0161】
構成例番号「２」は、制御装置１００およびロボットコントローラ２５０が一体化した構成例を意味し、例えば、ロボットコントローラ２５０が制御装置１００に取り込まれて、実装されてもよい。
【0162】
その他の構成例についても同様であり、制御装置１００、ロボットコントローラ２５０およびサーボコントローラ３５０の全部または一部を統合して構成してもよい。
【0163】
なお、図２０に示す実装例は一例であり、例えば、複数の制御装置を用いて実装してもよい。また、画像処理装置４５０についても、独立して構成してもよいし、制御装置１００と一体化してもよい。
【0164】
上述したように、本実施の形態に係るロボット制御システム１は、必要な機能が任意の方法で実現できれば、どのような実装形態を採用してもよい。
【0165】
＜Ｋ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
ロボット制御システム（１）であって、
カメラ（４００）および第１ワーク（５０）を把持するためのハンド（２１０）が装着されたロボット（２００）と、
前記ロボットの先端と前記カメラとの間に配置された変位発生機構（３００）と、
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与える第１制御部（３２；１００）と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出する振動算出部（３４；１００）と、
前記振動算出部により算出された振動を補償するように、前記変位発生機構に制御指令を与える第２制御部（３６；１００）とを備える、ロボット制御システム。
［構成２］
前記振動算出部は、前記ロボットの可動部の状態値に基づいて、前記カメラに生じる振動の大きさを算出する、構成１に記載のロボット制御システム。
［構成３］
前記振動算出部は、前記カメラにより撮像された画像に基づいて、前記カメラに生じる振動の大きさを算出する、構成１に記載のロボット制御システム。
［構成４］
前記振動算出部は、前記カメラにより撮像された画像に基づいて、前記第１ワークの移動速度を算出するとともに、算出された前記第１ワークの移動速度から前記第１ワークの本来の位置を算出する、構成３に記載のロボット制御システム。
［構成５］
前記振動算出部は、前記第１ワークの現在位置と、前記第１ワークの本来の位置とのずれである誤差ベクトルを算出する、構成４に記載のロボット制御システム。
［構成６］
前記ロボットは、垂直多関節ロボットであり、
前記変位発生機構は、直交機構を含む、構成１～５のいずれか１項に記載のロボット制御システム。
［構成７］
前記第１制御部、前記振動算出部および前記第２制御部は、予め定められた周期で同期して処理を実行する、構成１～６のいずれか１項に記載のロボット制御システム。
［構成８］
前記第１制御部は、前記変位発生機構に与えられた制御指令の影響を除外して、前記ロボットの現在位置を取得する、構成１～７のいずれか１項に記載のロボット制御システム。
［構成９］
カメラ（４００）および第１ワーク（５０）を把持するためのハンド（２１０）が装着されたロボット（２００）と、前記ロボットの先端と前記カメラとの間に配置された変位発生機構（３００）とを備えるロボット制御システム（１）のコンピュータ（１００）で実行される制御プログラム（１１０２，１１０４，１１０６）であって、前記コンピュータに
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与えるステップ（Ｓ１０）と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出するステップ（Ｓ１８；Ｓ３０）と、
前記算出された振動を補償するように、前記変位発生機構に制御指令を与えるステップ（Ｓ２２）とを実行させる、制御プログラム。
［構成１０］
カメラ（４００）および第１ワーク（５０）を把持するためのハンド（２１０）が装着されたロボット（２００）と、前記ロボットの先端と前記カメラとの間に配置された変位発生機構（３００）とを備えるロボット制御システム（１）で実行される制御方法であって、
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与えるステップ（Ｓ１０）と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出するステップ（Ｓ１８；Ｓ３０）と、
前記算出された振動を補償するように、前記変位発生機構に制御指令を与えるステップ（Ｓ２２）とを備える、制御方法。
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
ロボット制御システム（１）であって、
カメラ（４００）および第１ワーク（５０）を把持するためのハンド（２１０）が装着されたロボット（２００）と、
前記ロボットの先端と前記カメラとの間に配置された変位発生機構（３００）と、
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与える第１制御部（３２；１００）と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出する振動算出部（３４；１００）と、
前記振動算出部により算出された振動を補償するように、前記変位発生機構に制御指令を与える第２制御部（３６；１００）とを備える、ロボット制御システム。
［構成２］
前記振動算出部は、前記ロボットの可動部の状態値に基づいて、前記カメラに生じる振動の大きさを算出する、構成１に記載のロボット制御システム。
［構成３］
前記振動算出部は、前記カメラにより撮像された画像に基づいて、前記カメラに生じる振動の大きさを算出する、構成１に記載のロボット制御システム。
［構成４］
前記振動算出部は、前記カメラにより撮像された画像に基づいて、前記第１ワークの移動速度を算出するとともに、算出された前記第１ワークの移動速度から前記第１ワークの本来の位置を算出する、構成３に記載のロボット制御システム。
［構成５］
前記振動算出部は、前記第１ワークの現在位置と、前記第１ワークの本来の位置とのずれである誤差ベクトルを算出する、構成４に記載のロボット制御システム。
［構成６］
前記ロボットは、垂直多関節ロボットであり、
前記変位発生機構は、直交機構を含む、構成１～５のいずれか１項に記載のロボット制御システム。
［構成７］
前記第１制御部、前記振動算出部および前記第２制御部は、予め定められた周期で同期して処理を実行する、構成１～６のいずれか１項に記載のロボット制御システム。
［構成８］
前記第１制御部は、前記変位発生機構に与えられた制御指令の影響を除外して、前記ロボットの現在位置を取得する、構成１～７のいずれか１項に記載のロボット制御システム。
［構成９］
カメラ（４００）および第１ワーク（５０）を把持するためのハンド（２１０）が装着されたロボット（２００）と、前記ロボットの先端と前記カメラとの間に配置された変位発生機構（３００）とを備えるロボット制御システム（１）のコンピュータ（１００）で実行される制御プログラム（１１０２，１１０４，１１０６）であって、前記コンピュータに
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与えるステップ（Ｓ１０）と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出するステップ（Ｓ１８；Ｓ３０）と、
前記算出された振動を補償するように、前記変位発生機構に制御指令を与えるステップ（Ｓ２２）とを実行させる、制御プログラム。
［構成１０］
カメラ（４００）および第１ワーク（５０）を把持するためのハンド（２１０）が装着されたロボット（２００）と、前記ロボットの先端と前記カメラとの間に配置された変位発生機構（３００）とを備えるロボット制御システム（１）で実行される制御方法であって、
前記第１ワークを第２ワークへアプローチさせるように、前記ロボットに制御指令を与えるステップ（Ｓ１０）と、
前記ロボットが前記第１ワークを前記第２ワークにアプローチさせるときに前記カメラに生じる振動の大きさを算出するステップ（Ｓ１８；Ｓ３０）と、
前記算出された振動を補償するように、前記変位発生機構に制御指令を与えるステップ（Ｓ２２）とを備える、制御方法。
【0166】
＜Ｌ．利点＞
本実施の形態に係るロボット制御システム１においては、第１ワーク５０を搬送するロボット２００を高速で移動させた場合などに生じる先端の振動の大きさを逐次算出するとともに、算出される振動の大きさに基づいて、それを補償するように、ロボット２００の先端とカメラ４００との間に適切な変位を発生させるための制御指令を与える。このように、ロボット２００と変位発生機構３００とを組み合わせることで、部品を組み立てるアプリケーションにおいて、より精度の高い位置決め制御を実現できる。
本実施の形態に係るロボット制御システム１においては、第１ワーク５０を搬送するロボット２００を高速で移動させた場合などに生じる先端の振動の大きさを逐次算出するとともに、算出される振動の大きさに基づいて、それを補償するように、ロボット２００の先端とカメラ４００との間に適切な変位を発生させるための制御指令を与える。このように、ロボット２００と変位発生機構３００とを組み合わせることで、部品を組み立てるアプリケーションにおいて、より精度の高い位置決め制御を実現できる。
【0167】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0168】
１ ロボット制御システム、１０ フィールドネットワーク、２０ 上位ネットワーク、３０ 制御モジュール、３２ 第１制御モジュール、３４ 振動算出モジュール、３６ 第２制御モジュール、５０ 第１ワーク、５２，６４ 電子部品、５４ ピン、６０ 第２ワーク、６２ 基板、６６ ホール、６８ マーカ、７０ 軌道、８０ ワークテーブル、１００ 制御装置、１０２，２６２，３６２，４５２ プロセッサ、１０４，２６４，３６４，４５４ メインメモリ、１０６，４５６ 上位ネットワークコントローラ、１０８，２５２，３５２，４５８ フィールドネットワークコントローラ、１１０，２７０，３７０，４６０ ストレージ、１１２，４６２ メモリカードインターフェイス、１１４，４６４ メモリカード、１１６ ローカルバスコントローラ、１１８，４６８ プロセッサバス、１２０，４７０ ＵＳＢコントローラ、１２２ ローカルバス、１３０ 機能ユニット、２００ ロボット、２０２ リンク、２０４ 関節、２１０ ハンド、２５０ ロボットコントローラ、２６０，３６０ 制御処理回路、２６８ インターフェイス回路、２７２，３７２，１１０２，４６０２ システムプログラム、３００ 変位発生機構、３１２，３１４，３１６ 可動軸、３３０ サーボモータ、３５０ サーボコントローラ、３８０ ドライブ回路、４００ カメラ、４５０ 画像処理装置、４６６ カメラインターフェイス、５００ サポート装置、６００ 表示装置、７００ サーバ装置、１１０４ ＩＥＣプログラム、１１０６ アプリケーションプログラム、４６０４ 画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】