特開 2024-154891 制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024154891

(43)【公開日】2024-10-31

(54)【発明の名称】制御装置

(51)【国際特許分類】

   B25J 13/08 20060101AFI20241024BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023069103

(22)【出願日】2023-04-20

(71)【出願人】

【識別番号】000000262

【氏名又は名称】株式会社ダイヘン

(74)【代理人】

【識別番号】100115749

【弁理士】

【氏名又は名称】谷川 英和

(74)【代理人】

【識別番号】100121223

【弁理士】

【氏名又は名称】森本 悟道

(72)【発明者】

【氏名】久保 正樹

(72)【発明者】

【氏名】北野 豊和

(72)【発明者】

【氏名】古川 直樹

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS11

3C707BS10

3C707HS27

3C707KS06

3C707KT01

3C707KT05

3C707KT06

3C707KT11

3C707LT06

3C707LV19

(57)【要約】

【課題】移動するマーカを継続して撮影することができる制御装置を提供する。
【解決手段】マーカ５を撮影するためのカメラ２０を移動させるためのマニピュレータ１０を有するロボット１を制御する制御装置３は、カメラ部２によって撮影された撮影画像を取得する撮影画像取得部３１と、撮影画像を用いて、マーカ５の一部が遮蔽物によって遮蔽されている場合に、マーカの遮蔽領域を特定する特定部３２と、マーカ５の一部が遮蔽物によって遮蔽されている場合に、特定部３２によって特定された遮蔽領域に基づいて、マーカ５の全体が撮影されるようにするためのカメラ部２の移動方向を決定する決定部３３と、決定部３３によって決定された移動方向にカメラ部２が移動するようにロボット１を制御する制御部３４とを備える。このようにして、マーカ５を継続して撮影することができるようになる。
【選択図】図１

【特許請求の範囲】

【請求項1】

マーカを撮影するためのカメラを有するカメラ部を移動させるためのマニピュレータを有するロボットを制御する制御装置であって、
前記カメラ部によって撮影された撮影画像を取得する撮影画像取得部と、
前記撮影画像を用いて、前記マーカの一部が遮蔽物によって遮蔽されている場合に、前記マーカの遮蔽領域を特定する特定部と、
前記マーカの一部が遮蔽物によって遮蔽されている場合に、前記特定部によって特定された遮蔽領域に基づいて、前記マーカの全体が撮影されるようにするための前記カメラ部の移動方向を決定する決定部と、
前記決定部によって決定された移動方向に前記カメラ部が移動するように前記ロボットを制御する制御部と、を備えた制御装置。

【請求項2】

前記撮影画像取得部によって取得されたマーカの撮影画像を用いて、当該マーカに応じた位置を取得する位置取得部をさらに備えた、請求項１記載の制御装置。

【請求項3】

前記マーカは、複数のサブマーカを有し、
前記特定部は、前記撮影画像に少なくとも一部が含まれないサブマーカの領域を特定することによって、前記遮蔽領域を特定する、請求項１記載の制御装置。

【請求項4】

前記カメラ部の位置の履歴を蓄積する蓄積部をさらに備え、
前記決定部は、前記マーカの全体が遮蔽された場合に、前記蓄積部によって蓄積された前記カメラ部の位置の履歴によって示される最新の移動が継続されるように、前記カメラ部の移動方向を決定する、請求項１から請求項３のいずれか記載の制御装置。

【請求項5】

前記カメラ部は、深度画像を取得する深度カメラをも有しており、
前記決定部は、前記深度画像によって示される前記遮蔽物までの距離が長いほど、前記カメラ部の移動量が大きくなるように、前記カメラ部の移動量をも決定し、
前記制御部は、前記決定部によって決定された移動量に応じて前記カメラ部が移動するように前記ロボットを制御する、請求項１から請求項３のいずれか記載の制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マーカの撮影が継続されるように、マーカを撮影するカメラを移動させるためのロボットを制御する制御装置に関する。

【背景技術】

【0002】

従来、移動し得る対象物の位置を、対象物に関する撮影等のセンシングを行うことによって取得することが行われている。例えば、その対象物にマーカを付与し、そのマーカを撮影することによって、マーカの位置を取得することが行われている。このような位置の取得を行うことによって、マーカの付与された対象物が移動する場合であっても、その移動に応じたマーカの位置の変化を取得することができる。

【0003】

なお、移動し得る対象物と、その対象物の位置を撮影等のセンシングによって取得する装置との間に遮蔽物が存在する場合には、対象物の位置を取得することができなくなる。そのような問題を解決するために、対象物に関する測定を行う装置を移動させることも行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０９９６８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載されたシステムは、自走可能な第１移動体の位置を、自走可能な第２移動体によって計測するシステムにおいて、第１移動体が第２移動体によって計測できない領域に移動した際に、第２移動体が基準点間を移動して、第１移動体の位置を計測するものである。このようにして、第１移動体が第２移動体の不可視領域に進入した場合であっても、第２移動体が移動することによって、第１移動体の位置を計測することができる。

【0006】

しかしながら、特許文献１に記載されたシステムでは、あらかじめ第２移動体の移動先の位置である複数の基準点を設定しておく必要があり、そのための事前の準備が煩雑であるという問題があった。

【0007】

一般的に言えば、より簡単な手法によって、例えば、移動し得るマーカの位置の取得などのために、マーカの撮影を継続して行いたいという要望があった。

【0008】

本発明は、上記状況に応じてなされたものであり、移動するマーカを継続して撮影できるようにするための制御装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するため、本発明の一態様による制御装置は、マーカを撮影するためのカメラを有するカメラ部を移動させるためのマニピュレータを有するロボットを制御する制御装置であって、カメラ部によって撮影された撮影画像を取得する撮影画像取得部と、撮影画像を用いて、マーカの一部が遮蔽物によって遮蔽されている場合に、マーカの遮蔽領域を特定する特定部と、マーカの一部が遮蔽物によって遮蔽されている場合に、特定部によって特定された遮蔽領域に基づいて、マーカの全体が撮影されるようにするためのカメラ部の移動方向を決定する決定部と、決定部によって決定された移動方向にカメラ部が移動するようにロボットを制御する制御部と、を備えたものである。

【発明の効果】

【0010】

本発明の一態様による制御装置によれば、マーカの一部が遮蔽された場合に、マーカの全体が撮影されるように、マーカを撮影するためのカメラを有するカメラ部を移動させることによって、移動するマーカを継続して撮影することができるようにできる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態によるロボット制御システムの構成を示す模式図

【図2】同実施の形態におけるマーカの一例を示す図

【図3】同実施の形態におけるマーカの支持体の一例を示す図

【図4】同実施の形態における一部の遮蔽されたマーカの撮影画像一例を示す図

【図5】同実施の形態における移動方向の決定について説明するための図

【図6】同実施の形態による制御装置の動作を示すフローチャート

【図7】同実施の形態におけるマーカの他の一例を示す図

【発明を実施するための形態】

【0012】

以下、本発明による制御装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による制御装置は、マーカの全体が継続して撮影されるように、カメラを移動させるためのロボットを制御するものである。

【0013】

図１は、本実施の形態によるロボット制御システム１００の構成を示すブロック図である。本実施の形態によるロボット制御システム１００は、マニピュレータ１０を有するロボット１と、マーカ５を撮影するためのカメラ２０を有するカメラ部２と、ロボット１を制御する制御装置３とを備える。カメラ部２は、マニピュレータ１０によって移動される。本実施の形態では、ロボット１がマニピュレータ１０そのものであり、カメラ部２がカメラ２０そのものである場合について主に説明し、それ以外の場合については後述する。

【0014】

マニピュレータ１０は、カメラ部２を移動させるためのものであり、一例として、モータによって駆動される関節によって連結された複数のアームを有するものであってもよい。マニピュレータ１０は、例えば、垂直多関節ロボットのマニピュレータであってもよく、水平多関節ロボットのマニピュレータであってもよいが、より高い自由度を実現できるという観点からは、マニピュレータ１０は、垂直多関節ロボットのマニピュレータであることが好適である。このマニピュレータ１０の軸数は問わない。カメラ部２は、一例として、マニピュレータ１０の先端に取り付けられてもよく、または、それ以外の位置に取り付けられてもよい。マニピュレータ１０の基端側は、例えば、床面や壁、天井などに固定されていてもよい。また、マニピュレータ１０は、カメラ部２を移動させる以外の用途にも使用されてもよい。例えば、マニピュレータ１０は、溶接を行うためのマニピュレータであってもよい。この場合には、溶接用のマニピュレータ１０に、カメラ部２が装着されていると考えてもよい。

【0015】

カメラ２０は、例えば、単眼のカメラであってもよく、ステレオカメラであってもよい。本実施の形態では、カメラ２０が単眼のカメラである場合について主に説明する。また、カメラ２０によって取得される撮影画像は、例えば、グレースーケール画像であってもよく、カラー画像であってもよい。例えば、マーカ５が複数の色を有している場合には、撮影画像がカラー画像であることが好適である。また、カメラ２０は、例えば、静止画を撮影してもよく、動画を撮影してもよい。後者の場合には、動画に含まれる１フレームが、撮影画像として制御装置３で用いられてもよい。

【0016】

制御装置３は、撮影画像取得部３１と、特定部３２と、決定部３３と、制御部３４と、蓄積部３５と、位置取得部３６と、記憶部３７と、出力部３８とを備える。制御装置３は、カメラ部２によって撮影された撮影画像を取得することができ、ロボット１の動作を制御することができるように、カメラ部２やロボット１に有線または無線で接続されていることが好適である。

【0017】

撮影画像取得部３１は、カメラ部２によって撮影された撮影画像を取得する。撮影画像取得部３１は、撮影画像を繰り返して取得することが好適である。撮影画像取得部３１は、例えば、撮影画像を定期的に取得してもよい。撮影画像取得部３１は、例えば、撮影画像を取得する旨の指示をカメラ部２に送信し、それに応じてカメラ部２から送信された撮影画像を受信することによって撮影画像を取得してもよい。また、撮影画像取得部３１は、例えば、定期的にまたは不定期にカメラ部２から撮影画像を受け付けることによって撮影画像を取得してもよい。取得された撮影画像は、例えば、記憶部３７などの記録媒体で記憶されてもよい。撮影画像には、マーカ５が含まれていることが好適である。

【0018】

マーカ５は、一例として、図２（ａ）で示されるように、シート状部材に記載された複数のサブマーカ６－１～６－４を有していてもよい。なお、サブマーカ６－１～６－４を特に区別しない場合には、サブマーカ６と呼ぶこともある。後述するサブマーカ６－５等についても同様であるとする。複数のサブマーカ６は、例えば、それぞれ異なる属性を有する図形であり、撮影画像において区別できるようになっていてもよい。属性は、例えば、色、形状、大きさ、模様などであってもよい。マーカ５に属性の異なるサブマーカ６が含まれることによって、例えば、あるサブマーカ６が遮蔽物によって遮蔽されて撮影画像に含まれない場合において、そのサブマーカ６の位置を、他の属性の異なるサブマーカ６の位置に基づいて推定することができる。図２（ａ）では、それぞれ異なる形状の４個のサブマーカ６－１～６－４を有するマーカ５を示しており、図２（ｂ）では、それぞれ異なる色の４個のサブマーカ６－５～６－８を有するマーカ５を示している。なお、図２（ｂ）では、色の違いを網掛けの違いによって示している。また、マーカ５が有する複数のサブマーカ６は、それぞれ異なる模様を有していてもよい。模様は、例えば、ハッチングや網掛けなどの模様であってもよい。マーカ５が有するサブマーカ６の個数は、例えば、２個以上であってもよく、３個以上であってもよく、４個以上であってもよい。本実施の形態では、マーカ５が４個のサブマーカ６を有する場合について主に説明する。

【0019】

マーカ５は、例えば、３個以上の特徴点を有していてもよい。例えば、図２（ａ）、図２（ｂ）で示されるマーカ５のように、特徴点は、サブマーカ６ごとに配置されている点状の図形Ｐ１～Ｐ８によって示されてもよい。すなわち、一例として、１個のサブマーカ６が１個の特徴点を有していてもよい。また、マーカ５に含まれるサブマーカ６が多角形である場合に、その多角形であるサブマーカ６の頂点が特徴点となってもよい。また、平面状のマーカ５は、例えば、図２で示されるように正方形状であってもよく、矩形状であってもよく、または、その他の形状であってもよい。マーカ５は、一例として、向きを一意に特定することができるものであってもよい。例えば、マーカ５がそれぞれ異なる属性の複数のサブマーカ６を有する場合には、通常、向きを一意に特定することができると考えられる。

【0020】

平面状のマーカ５は、一例として、図３（ａ）、図３（ｂ）で示されるように、支持体７によって支持されてもよい。支持体７は、平面状のマーカ５が貼り付けられる板状部材７ａと、その板状部材７ａに接続された棒状部材７ｂとを有していてもよい。棒状部材７ｂは、例えば、板状部材７ａのマーカ５が貼り付けられる面と反対側の面の重心に、その面と垂直になるように取り付けられていてもよい。

【0021】

特定部３２は、撮影画像取得部３１によって取得された撮影画像を用いて、マーカ５の一部が遮蔽物によって遮蔽されている場合に、マーカ５の遮蔽領域を特定する。マーカ５の遮蔽領域は、例えば、マーカ５の領域のうち、遮蔽物によって遮蔽されている領域の全体であってもよく、または、遮蔽物によって遮蔽されている領域の一部であってもよい。特定部３２は、例えば、撮影画像においてマーカ５の領域を特定し、その特定した領域の画像である比較対象画像と、あらかじめ記録媒体で記憶されているマーカ５の画像である基準画像とを比較し、比較対象画像において、基準画像に対して欠けている領域を、遮蔽領域として特定してもよい。撮影画像におけるマーカ５の領域の特定は、例えば、基準画像をパターンとして用いたパターンマッチングによって行われてもよく、マーカ５が特徴的な色を有している場合に、撮影画像においてその色の領域を特定することによって行われてもよく、その他の方法によって行われてもよい。また、特定部３２は、例えば、撮影画像に少なくとも一部が含まれないサブマーカ６の領域を特定することによって、遮蔽領域を特定してもよい。例えば、マーカ５に含まれる複数のサブマーカ６の属性がそれぞれ異なっている場合に、特定部３２は、比較対象画像に特定の属性のサブマーカ６（例えば、図２（ａ）の円形状のサブマーカ６－１）の全体が含まれないときに、そのサブマーカ６の領域を遮蔽領域として特定してもよい。また、特定部３２は、例えば、比較対象画像に特定の属性のサブマーカ６の一部が含まれない場合に、そのサブマーカ６の一部の領域を遮蔽領域としてもよい。この場合には、例えば、図４で示される撮影画像のようにマーカ５の一部が遮蔽物５０によって遮蔽されている際に、サブマーカ６－１の図中の左半分の領域を遮蔽領域として特定してもよい。マーカ５に含まれる複数のサブマーカ６の属性がそれぞれ異なっている場合には、特定部３２は、例えば、撮影画像に含まれるサブマーカ６の属性と、マーカ５における複数のサブマーカ６の位置関係とを用いることによって、撮影画像に含まれないサブマーカ６の領域を特定することができる。また、特定部３２は、例えば、比較対象画像に特定のサブマーカ６の少なくとも一部が含まれない場合に、比較対象画像において輪郭抽出を行い、比較対象画像に含まれない、その特定のサブマーカ６の少なくとも一部の領域と同じ輪郭内に含まれる領域を、遮蔽領域としてもよい。

【0022】

決定部３３は、マーカ５の一部が遮蔽物によって遮蔽されている場合に、特定部３２によって特定された遮蔽領域に基づいて、マーカ５の全体が撮影されるようにするためのカメラ部２の移動方向を決定する。決定される移動方向は、例えば、移動の向きであってもよく、移動後のカメラ部２の位置であってもよい。後者の場合でも、結果として、カメラ部２の移動の向きが決定されたことになるからである。特定された遮蔽領域に基づいた移動方向の決定は、例えば、遮蔽領域から、遮蔽されていないマーカ５の領域に向かう方向である移動方向を決定することによって行われてもよい。カメラ部２が、遮蔽領域から遮蔽されていないマーカ５の領域に向かう方向に移動することによって、マーカ５のより多くの領域を撮影することができるようになると考えられるからである。移動の向きや、移動後の位置は、例えば、ロボット１の座標系によって示されてもよい。移動方向の決定は、例えば、次のようにして行われてもよい。ここでは、図４で示される撮影画像のように、サブマーカ６－１の一部、例えば、サブマーカ６の左半分が遮蔽物５０によって遮蔽されている場合に、そのサブマーカ６－１の左半分の領域を遮蔽領域とし、右半分の領域を遮蔽されていない領域として移動方向を決定する処理について説明する。

【0023】

まず、図５の左側で示されるサブマーカ６－１のように、遮蔽領域のピクセルを不可視ピクセルとし、遮蔽されていない領域のピクセルを可視ピクセルとする。図５の右側では、カメラ２０を上下左右の４方向にそれぞれ１ピクセル分だけ移動させた後の各ピクセルの状態の推定結果を示している。その移動に応じて可視ピクセルから不可視ピクセルに変更されるピクセルは、不可視変更ピクセルとなる。また、その移動に応じて不可視ピクセルから可視ピクセルに変更されるピクセルは、可視変更ピクセルとなる。また、その移動に応じて可視ピクセルか不可視ピクセルかが不明になるピクセルは、未知ピクセルとなる。

【0024】

例えば、カメラ２０を１ピクセルだけ下方向に移動させると、サブマーカ６－１の下側の各ピクセルが未知ピクセルとなる。また、カメラ２０を１ピクセルだけ左方向に移動させると、左側の各ピクセルが未知ピクセルになると共に、可視ピクセルの一部が不可視変更ピクセルとなる。また、カメラ２０を１ピクセルだけ上方向に移動させると、上側の各ピクセルが未知ピクセルとなる。また、カメラ２０を１ピクセルだけ右方向に移動させると、右側の各ピクセルが未知ピクセルになると共に、不可視ピクセルの一部が可視変更ピクセルとなる。

【0025】

そして、決定部３３は、カメラ２０を１ピクセル分だけ移動させた後のサブマーカ６－１の各ピクセルの状態において、可視変更ピクセルが最も多い方向をカメラ部２の移動方向に決定してもよい。図５の例では、可視変更ピクセルが最も多いのは、カメラ２０が右方向に移動した場合であるため、決定部３３は、カメラ部２の移動方向を右方向に決定してもよい。なお、決定部３３は、例えば、カメラ２０を上下左右だけでなく、斜め方向にも移動させる場合に、移動の前後における可視ピクセル及び不可視ピクセルの変化を特定し、可視変更ピクセルが最も多い方向をカメラ部２の移動方向に決定してもよい。

【0026】

なお、このようにして決定された移動方向は、撮影画像における移動方向、すなわちカメラ２０の座標系における移動方向である。したがって、決定部３３は、このカメラ２０の座標系における移動方向を、ロボット１の座標系における移動方向に変換してもよい。通常、カメラ２０の座標系と、ロボット１の座標系との関係（例えば、両座標系の間の変換を示す同次変換行列など）は既知であるため、決定部３３は、その両座標系の関係を用いて、カメラ２０の座標系における移動方向を、ロボット１の座標系における移動方向に変換してもよい。

【0027】

決定部３３は、別の方法によって移動方向を決定してもよい。例えば、図５の左側のサブマーカ６－１で示されるように可視ピクセルと不可視ピクセルとが特定された場合に、決定部３３は、可視ピクセルの領域の重心の位置と、不可視ピクセルの領域の重心の位置とを特定し、不可視ピクセルの領域の重心の位置から、可視ピクセルの領域の重心の位置に向かう方向を、カメラ部２の移動方向としてもよい。

【0028】

ここでは、１個のサブマーカ６－１に含まれる可視ピクセルと不可視ピクセルとを用いて移動方向を決定する場合について説明したが、決定部３３は、１個のマーカ５に含まれる可視ピクセルと、不可視ピクセルとを用いて、同様にして、移動方向を決定してもよい。決定された移動方向における移動量は、例えば、あらかじめ決まっていてもよく、または、決定部３３によって決定されてもよい。前者の場合には、例えば、あらかじめ決められた移動量に応じたカメラ部２の移動が繰り返されることによって、マーカ５の全体が撮影画像に含まれるようになってもよい。また、後者の場合には、決定部３３によって決定される移動量は、例えば、マーカ５が、遮蔽物で遮蔽されている割合に応じて決められてもよい。一例として、マーカ５における遮蔽物で遮蔽されている割合が大きいほど、決定される移動量は大きくなってもよい。

【0029】

また、決定部３３は、例えば、カメラ部２の向きも決定してもよい。カメラ部２の向きは、例えば、カメラ２０の光軸の向きであってもよい。決定部３３は、一例として、マーカ５が撮影画像の中心に位置するようにカメラ部２の向きを決定してもよい。カメラ部２の向きは、例えば、ロボット１の座標系におけるカメラ部２の姿勢を決定することによって行われてもよい。また、マーカ５の全体が撮影画像に含まれる場合であっても、決定部３３は、例えば、マーカ５の移動に応じてカメラ部２の移動方向を決定してもよい。この場合には、一例として、マーカ５とカメラ部２との相対的な位置関係が一定となるように、カメラ部２の移動方向が決定されてもよい。マーカ５とカメラ部２との相対的な位置関係は、例えば、位置取得部３６によって取得された、後述するマーカ５の座標系とカメラ部２の座標系との間の変換を示す同次変換行列を用いて特定されてもよい。

【0030】

制御部３４は、決定部３３によって決定された移動方向にカメラ部２が移動するようにロボット１を制御する。制御部３４は、例えば、あらかじめ決められた移動量、または、決定部３３によって決定された移動量に応じてカメラ部２が移動するように、ロボット１を制御してもよい。ロボット１の制御は、例えば、マニピュレータ１０の各関節の角度の制御であってもよい。例えば、ロボット１の座標系における移動方向及び移動量が決まっている場合には、制御部３４は、例えば、移動後のカメラ部２の位置に応じたマニピュレータ１０の各関節の角度を逆運動学によって算出し、各関節の角度が算出した値となるように、マニピュレータ１０の各関節のモータを制御してもよい。

【0031】

蓄積部３５は、カメラ部２の位置の履歴を記憶部３７に蓄積する。蓄積部３５によって、カメラ部２の最新の位置の蓄積が繰り返されることによって、カメラ部２の位置の履歴が記憶部３７で記憶されるようになってもよい。カメラ部２の位置は、例えば、ロボット１の座標系における位置であってもよい。蓄積部３５は、カメラ部２の位置を制御部３４から受け取ってもよい。蓄積部３５は、例えば、カメラ部２の位置が所定の距離だけ移動するごとに、カメラ部２の位置を記憶部３７に蓄積してもよく、定期的にカメラ部２の位置を記憶部３７に蓄積してもよい。蓄積部３５によって蓄積されたカメラ部２の位置の履歴は、例えば、決定部３３によって用いられてもよい。決定部３３は、マーカ５の全体が遮蔽された場合に、蓄積部３５によって蓄積されたカメラ部２の位置の履歴によって示される最新の移動が継続されるように、カメラ部２の移動方向を決定してもよい。マーカ５の全体が遮蔽された場合とは、例えば、特定部３２によって撮影画像中のマーカ５を検出できない場合であってもよい。また、カメラ部２の位置は、例えば、ロボット１の座標系におけるカメラ部２の位置であってもよい。より具体的には、決定部３３は、蓄積されたカメラ部２の位置の履歴のうち、最新の所定の時間分の履歴、または最新の所定の距離分の履歴を外挿することによって、カメラ部２の移動方向を決定してもよい。

【0032】

位置取得部３６は、撮影画像取得部３１によって取得されたマーカ５の撮影画像を用いて、マーカ５に応じた位置を取得する。また、マーカ５に応じた位置と共に、マーカ５に応じた姿勢も取得されてもよい。この位置や姿勢は、通常、実空間における位置や姿勢である。実空間における位置や姿勢は、一例として、ロボット１の座標系における位置や姿勢であってもよい。本実施の形態では、この場合について主に説明する。マーカ５に応じた位置や姿勢は、例えば、マーカ５の位置や姿勢であってもよく、マーカ５と所定の位置関係にある箇所の位置や姿勢であってもよい。前者の場合には、例えば、マーカ５の重心の位置Ｐ０や、マーカ５の法線方向の姿勢（角度）が取得されてもよい。後者の場合には、例えば、図３で示されるように支持体７で支持されているマーカ５に応じて、支持体７の棒状部材７ｂにおける先端部７ｃの位置、及び棒状部材７ｂの長手方向の姿勢が取得されてもよい。

【0033】

位置取得部３６は、例えば、撮影画像に含まれるマーカ５の３個以上の特徴点を用いて、マーカ５に応じた位置や姿勢を取得してもよい。この場合には、例えば、マーカ５の３個以上の特徴点間の距離は既知であってもよい。より具体的には、位置取得部３６は、撮影画像に含まれる３個以上の特徴点を用いることによって、カメラ２０の座標系と、マーカ５の座標系との間の変換を示す同次変換行列を取得してもよい。なお、特徴点を用いた同次変換行列の取得については公知であるため、その詳細な説明を省略する。また、上記したように、カメラ２０の座標系と、ロボット１の座標系との間の変換を示す同次変換行列は既知であるため、位置取得部３６は、マーカ５の座標系と、ロボット１の座標系との間の変換を示す同次変換行列を取得することができる。この同次変換行列を用いることによって、位置取得部３６は、例えば、マーカ５の位置や姿勢を取得したり、マーカ５と、あらかじめ決められた位置関係にある箇所（例えば、支持体７の先端部７ｃなど）の位置や姿勢を取得したりすることができる。位置取得部３６によって取得されたマーカ５に応じた位置や姿勢は、記憶部３７に蓄積されてもよい。

【0034】

記憶部３７では、例えば、カメラ部２の位置の履歴や、位置取得部３６によって取得されたマーカ５に応じた位置や姿勢が記憶されてもよい。また、撮影画像取得部３１によって取得された撮影画像や、各処理において用いられる情報、例えば、カメラ２０の座標系とロボット１の座標系との関係を示す情報などが記憶部３７で記憶されていてもよい。記憶部３７に情報が記憶される過程は問わない。例えば、蓄積部３５や位置取得部３６などによって情報が記憶部３７に蓄積されてもよく、記録媒体を介して情報が記憶部３７で記憶されるようになってもよく、通信回線等を介して送信された情報が記憶部３７で記憶されるようになってもよく、または、入力デバイスを介して入力された情報が記憶部３７で記憶されるようになってもよい。記憶部３７は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。

【0035】

出力部３８は、例えば、位置取得部３６によって取得されたマーカ５に応じた位置や姿勢を出力してもよい。また、出力部３８は、その他の情報、例えば、撮影画像取得部３１によって取得された撮影画像などを出力してもよい。出力部３８は、例えば、出力の指示が制御装置３で受け付けられた際に、指示された情報を出力してもよい。ここで、この出力は、例えば、表示デバイス（例えば、液晶ディスプレイや有機ＥＬディスプレイなど）への表示でもよく、所定の機器への通信回線を介した送信でもよく、記録媒体への蓄積でもよく、他の構成要素への引き渡しでもよい。なお、出力部３８は、出力を行うデバイス（例えば、表示デバイスや通信デバイスなど）を含んでもよく、または含まなくてもよい。また、出力部３８は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

【0036】

なお、特定部３２は、例えば、位置取得部３６によって取得されたマーカ５の座標系と、カメラ２０の座標系との関係を示す情報を用いて、マーカ５の画像である基準画像（例えば、図２（ａ）のような画像など）を変換して、撮影画像に含まれるマーカ５の画像を再現し、その再現したマーカ５の画像と、撮影画像に含まれるマーカ５とを比較することによって、遮蔽領域を特定してもよい。

【0037】

また、決定部３３は、例えば、マーカ５の座標系において、移動方向を決定してもよい。例えば、図４で示されるようにマーカ５の一部が遮蔽物５０によって隠れている場合に、決定部３３は、図４のマーカにおいて、左側から右側に向かう方向の移動方向を決定してもよい。この場合には、決定部３３は、例えば、位置取得部３６によって取得されたマーカ５の座標系と、カメラ２０の座標系との関係を示す情報、及び既知であるカメラ２０の座標系と、ロボット１の座標系との関係を示す情報を用いて、マーカ５の座標系における移動方向を、ロボット１の座標系における移動方向に変換してもよい。

【0038】

次に、ロボット制御システム１００の動作について図６のフローチャートを用いて説明する。

【0039】

（ステップＳ１０１）撮影画像取得部３１は、撮影画像を取得するかどうか判断する。そして、撮影画像を取得する場合には、ステップＳ１０２に進み、そうでない場合には、撮影画像を取得すると判断するまで、ステップＳ１０１の処理を繰り返す。なお、撮影画像取得部３１は、例えば、撮影画像を取得すると定期的に判断してもよい。

【0040】

（ステップＳ１０２）撮影画像取得部３１は、カメラ２０から撮影画像を取得する。

【0041】

（ステップＳ１０３）位置取得部３６は、取得された撮影画像に含まれるマーカ５を特定し、その特定したマーカ５の特徴点を用いて、マーカ５に応じた位置や姿勢を取得する。この取得された位置や姿勢は、例えば、記憶部３７に蓄積されてもよい。なお、撮影画像にマーカ５が含まれない場合には、この処理はスキップされてもよい。

【0042】

（ステップＳ１０４）特定部３２は、取得された撮影画像に含まれるマーカ５を特定し、そのマーカ５の遮蔽領域を特定する。なお、マーカ５の全体が撮影画像に含まれている場合には、このステップはスキップされてもよい。また、撮影画像にマーカ５が含まれない場合には、マーカ５の全体が遮蔽されているとされてもよい。

【0043】

（ステップＳ１０５）決定部３３は、ステップＳ１０４で遮蔽領域が特定されたかどうか判断する。そして、遮蔽領域が特定された場合には、ステップＳ１０６に進み、そうでない場合、すなわちマーカ５の全体が撮影画像に含まれている場合には、ステップＳ１０１に戻る。なお、マーカ５の全体が遮蔽されている場合には、遮蔽領域が特定されたとして、ステップＳ１０６に進むものとする。

【0044】

（ステップＳ１０６）決定部３３は、マーカ５の全体が遮蔽されているかどうか判断する。そして、マーカ５の全体が遮蔽されている場合、すなわち撮影画像にマーカ５が含まれない場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０７に進む。

【0045】

（ステップＳ１０７）決定部３３は、特定された遮蔽領域に基づいて、マーカ５の全体が撮影されるようにするためのカメラ部２の移動方向を決定する。

【0046】

（ステップＳ１０８）決定部３３は、蓄積部３５によって蓄積されたカメラ部２の位置の履歴によって示される最新の移動が継続されるように、カメラ部２の移動方向を決定する。

【0047】

（ステップＳ１０９）制御部３４は、決定部３３によって決定された移動方向にカメラ部２が移動するようにロボット１を制御する。それに応じて、ロボット１は、カメラ部２を移動させる。

【0048】

（ステップＳ１１０）蓄積部３５は、移動後のカメラ部２の位置を記憶部３７に蓄積する。そして、ステップＳ１０１に戻る。

【0049】

なお、図６のフローチャートでは、遮蔽領域がない場合に、ロボット１の制御が行われずに撮影画像の取得が繰り返されるとしているが、そうでなくてもよい。遮蔽領域がない場合でも、撮影画像においてマーカ５の位置が中央付近となるように、カメラ２０の位置や方向が変化するようにロボット１が制御されてもよい。また、図６のフローチャートには含まれないが、出力部３８は、例えば、記憶部３７で記憶されている位置や姿勢の出力の指示が制御装置３で受け付けられることに応じて、位置や姿勢を出力してもよい。図６のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

【0050】

次に、本実施の形態によるロボット制御システム１００の動作について、具体例を用いて説明する。この具体例では、溶接経路を図３で示される支持体７を用いて教示する場合について説明する。この場合には、教示の作業を行う作業者は、支持体７を手で持って、支持体７の先端部７ｃが溶接経路の位置となり、棒状部材７ｂの姿勢が溶接トーチの先端の姿勢となるように支持体７を移動させてもよい。なお、ロボット制御システム１００が用いられる際には、カメラ２０の向きが、マーカ５を撮影できる向きとなるように調整されていてもよい。

【0051】

カメラ２０によって撮影された撮影画像は、制御装置３の撮影画像取得部３１によって定期的に取得され、特定部３２、及び位置取得部３６に渡される（ステップＳ１０１、Ｓ１０２）。撮影画像を受け取ると、位置取得部３６は、撮影画像に含まれるマーカ５を特定し、そのマーカ５の特徴点を用いて、支持体７の先端部７ｃの位置、及び支持体７の棒状部材７ｂの姿勢の組を記憶部３７に蓄積する（ステップＳ１０３）。また、特定部３２は、撮影画像に含まれるマーカ５を特定し、そのマーカ５の遮蔽領域を特定する（ステップＳ１０４）。この場合には、マーカ５に遮蔽された領域はなかったとする。すると、ロボット１は制御されないで、撮影画像の取得と、位置や姿勢の取得の処理が繰り返されることになる（ステップＳ１０１～Ｓ１０５）。なお、この場合にも、上記したように、撮影画像においてマーカ５の位置が中央付近となるようにロボット１が制御されてもよい。

【0052】

作業者が支持体７を移動させている際に、マーカ５の一部が遮蔽物によって遮蔽されたとする。すると、撮影画像においてマーカ５の遮蔽領域が特定され（ステップＳ１０１～Ｓ１０４）、それに応じて、カメラ部２の移動方向が決定される（ステップＳ１０５～Ｓ１０７）。この移動方向の決定は、例えば、図５を用いて説明したように行われてもよい。そして、制御部３４は、決定された移動方向にカメラ部２が移動するようにロボット１と制御する（ステップＳ１０９）。また、蓄積部３５は、移動後のカメラ部２の位置を記憶部３７に蓄積する（ステップＳ１１０）。このカメラ部２の移動に応じてマーカ５の遮蔽領域がなくなれば、撮影画像の取得などの処理が繰り返されることになる（ステップＳ１０１～Ｓ１０５）。一方、移動後のカメラ部２の位置においても、マーカ５の一部が遮蔽されている場合には、カメラ部２の移動等の処理が繰り返されることになる（ステップＳ１０１～Ｓ１０７、Ｓ１０９、Ｓ１１０）。

【0053】

また、作業者が支持体７を移動させている際に、マーカ５の全体が遮蔽物によって遮蔽された場合には、決定部３３は、記憶部３７で記憶されているカメラ部２の位置の履歴を用いて、今後のカメラ部２の移動方向を推定する。そして、制御部３４は、その推定された移動方向にカメラ部２が移動するようにロボット１を制御し、その移動後の位置が蓄積される（ステップＳ１０１～Ｓ１０６、Ｓ１０８～Ｓ１１０）。例えば、遮蔽物によってマーカ５が徐々に遮蔽されていき、最終的にマーカ５の全体が遮蔽された場合には、このような処理が行われることによって、再度、マーカ５を撮影することができるようになる。

【0054】

このようにして、マーカ５の位置や姿勢を順次、記録することによって、溶接経路に関する教示データが蓄積されることになる。そして、出力部３８が、その教示データを出力することによって、外部の装置において、その教示データが用いられてもよく、または、マニピュレータ１０が溶接用のものである場合には、制御部３４が、その教示データに応じてロボット１を制御することによって、溶接作業が行われてもよい。後者の場合には、例えば、ロボット制御システム１００に溶接電源等の溶接に必要な構成が含まれていてもよい。

【0055】

以上のように、本実施の形態によるロボット制御システム１００によれば、移動するマーカ５を継続して撮影することができるようにすることができ、その結果として、マーカ５に応じた位置や姿勢を継続して記録することができるようになる。マーカ５を撮影できなくなる場合であっても、マーカ５の全体が瞬間的に撮影できなくなるのではなく、マーカ５の一部が徐々に隠れていくことになると考えられる。そのため、マーカ５の一部が隠れ始めた場合に、カメラ２０によって撮影できるマーカ５の領域を拡大するようにロボット１を制御することによって、マーカ５の撮影や、位置や姿勢の取得を継続できるようになる。さらに、マーカ５の全体が遮蔽された場合であっても、カメラ部２の位置の履歴を用いることによって、マーカ５を再度、撮影できるようにカメラ部２を移動させることもできる。また、マーカ５の継続した撮影を、上記特許文献１のように基準点を事前に準備することなく実現できるため、ユーザの利便性が向上されることになる。

【0056】

なお、本実施の形態では、カメラ部２が撮影画像を撮影するカメラ２０のみを有する場合について主に説明したが、カメラ部２は、深度画像を取得する深度カメラをさらに有していてもよい。また、カメラ２０と深度カメラとは、同じ領域について撮影画像や深度画像を取得することが好適である。すなわち、撮影画像における各位置において、深度画像によって距離（深度）を特定できることが好適である。深度カメラの種類は問わないが、例えば、ステレオカメラによって距離を測定するものであってもよく、ＴｏＦ（Time of Flight）によって距離を測定するものであってもよく、その他の方法によって距離を測定するものであってもよい。例えば、カメラ２０及び深度カメラがステレオカメラである場合には、撮影画像を取得するカメラ２０と深度カメラとは、一体に構成されていてもよい。

【0057】

カメラ部２が深度カメラを有する場合には、位置取得部３６は、例えば、撮影画像を用いたマーカ５に応じた位置や姿勢の取得と、深度カメラによって取得された深度画像を用いたマーカ５に応じた位置や姿勢の取得との両方を行ってもよい。そして、両者の位置や姿勢の代表値を最終的な位置や姿勢としてもよく、両者について、それぞれの信頼度に応じた重み付け加算を行った結果を最終的な位置や姿勢としてもよい。代表値は、例えば、平均値であってもよい。また、信頼度は、例えば、取得された位置や姿勢を用いて再現したマーカ５と、撮影画像や深度画像に含まれるマーカ５との差が大きいほど、信頼度が低くなるように取得されてもよい。

【0058】

カメラ部２が深度カメラを有する場合には、決定部３３は、深度画像によって示されるマーカ５の遮蔽物までの距離が長いほど、カメラ部２の移動量が大きくなるように、カメラ部２の移動量をも決定してもよい。遮蔽物までの距離とは、特定部３２によって特定された遮蔽領域に対応する遮蔽物までの距離であってもよい。この場合には、例えば、遮蔽物によって遮蔽されているマーカ５の領域が同じであっても、カメラ部２から遮蔽物までの距離が長いほど、カメラ部２の移動量が大きくなり、カメラ部２から遮蔽物までの距離が短いほど、カメラ部２の移動量が短くなるように移動量が決定されてもよい。カメラ部２により近い位置に存在する遮蔽物については、より短い移動量によって回避することができ、より遠い位置に存在する遮蔽物については、より長い移動量によって回避することができると考えられるからである。

【0059】

また、本実施の形態では、ロボット１がマニピュレータ１０のみを有している場合について主に説明したが、そうでなくてもよい。ロボット１は、マニピュレータ１０の基端側の端部を水平方向に移動させることができるＸＹステージや、マニピュレータ１０の基端側の端部を水平方向及び垂直方向に移動させることができるＸＹＺステージなどをさらに有していてもよい。そして、制御部３４は、このＸＹステージやＸＹＺステージなども制御してもよい。この場合には、ＸＹステージやＸＹＺステージを用いることによって、マニピュレータ１０に装着されているカメラ部２を、より広い範囲で移動させることができるようになる。

【0060】

また、本実施の形態では、平面状のマーカ５について主に説明したが、立体的なマーカ５が用いられてもよい。図７（ａ）～図７（ｃ）は、それぞれ立体的なマーカ５の一例を示す平面図、正面図、斜視図である。立体的なマーカ５は、例えば、球形状のサブマーカ６－９～６－１２と、サブマーカ６－９～６－１２を支持する支持体８とを有してもよい。支持体８は、放射状に延びており、先端側の端部でサブマーカ６をそれぞれ支持する支持部８ａと、支持部８ａの中心に接続された棒状部材８ｂとを備えてもよい。また、立体的なマーカ５が有する複数の立体的なサブマーカ６も、それぞれ異なる属性を有していてもよい。属性は、例えば、色、形状、大きさ、模様などであってもよい。図７において、例えば、各サブマーカ６の色や模様が異なっていてもよい。このような立体的なマーカ５を用いた場合でも、マーカ５の撮影画像を用いて、マーカ５に応じた位置や姿勢を取得することができる。マーカ５に応じた位置や姿勢は、例えば、棒状部材８ｂの先端部８ｃの位置や、棒状部材８ｂの長手方向の姿勢であってもよい。立体的なマーカ５を用いた場合にも、平面状のマーカ５と同様に、ロボット１の制御や、位置や姿勢の取得を行うことができる。例えば、図７で示される立体的なマーカ５が用いられる場合には、例えば、撮影画像において、球形状のサブマーカ６に対応する円形状または楕円形状の中心の位置が特徴点として用いられてもよい。この場合にも、立体的なマーカ５を用いて、３個以上の特徴点を特定できることが好適である。また、立体的なマーカ５が有するサブマーカ６の個数は４個以外の個数、例えば、２個や３個であってもよく、５個以上であってもよい。また、図７で示される立体的なマーカ５と異なる形状の立体的なマーカ５が用いられてもよい。

【0061】

また、本実施の形態では、マーカ５が複数のサブマーカ６を有する場合について主に説明したが、そうでなくてもよい。マーカ５は、複数のサブマーカを有していなくてもよい。例えば、平面状のマーカ５は、１個の図形（例えば、多角形状の図形など）を有しており、その図形の頂点などが特徴点として用いられてもよい。また、その１個の図形を用いて、図５の説明と同様にして移動方向が決定されてもよい。

【0062】

また、本実施の形態では、カメラ部２の位置の履歴が蓄積されており、マーカ５の全体が遮蔽された際に、その蓄積されたカメラ部２の位置の履歴を用いて移動方向が決定される場合について説明したが、そうでなくてもよい。例えば、マーカ５の全体が遮蔽された場合に、制御部３４は、ランダムにカメラ部２の位置を変化させることによって、マーカ５が撮影されるようにしてもよい。このように、カメラ部２の位置の履歴が用いられない場合には、制御装置３は、蓄積部３５を備えていなくてもよい。

【0063】

また、マーカ５の全体が遮蔽された場合に、決定部３３は、例えば、蓄積されたカメラ部２の位置の履歴以外を用いてカメラ部２の移動方向を決定してもよい。例えば、決定部３３は、マーカ５の移動方向を推定することによって、カメラ部２の移動方向を決定してもよい。この場合には、決定部３３は、例えば、記憶部３７で記憶されているマーカ５の位置の履歴を用いて、マーカ５の現在の位置を推定し、その推定した現在の位置から、記憶部３７で記憶されているマーカ５の最新の位置に向かう方向を、カメラ部２の移動方向に決定してもよい。記憶部３７で記憶されているマーカ５の位置は、例えば、位置取得部３６によって取得された位置であってもよい。

【0064】

また、本実施の形態では、マーカ５に応じた位置や姿勢が取得される場合について主に説明したが、そうでなくてもよい。マーカ５の応じた位置等の取得が行われない場合には、制御装置３は、位置取得部３６を備えていなくてもよい。この場合には、マーカ５を継続して撮影するために制御装置３が用いられてもよい。

【0065】

また、本実施の形態では、位置取得部３６によって取得された位置等を出力する出力部３８を制御装置３が備える場合について主に説明したが、そうでなくてもよい。情報の出力が行われない場合には、制御装置３は、出力部３８を有していなくてもよい。

【0066】

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

【0067】

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

【0068】

また、以上の実施の形態は、本発明を具体的に実施するための例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲及び均等の意味の範囲内での変更が含まれることが意図される。

【符号の説明】

【0069】

１ ロボット、２ カメラ部、３ 制御装置、５ マーカ、６ サブマーカ、１０ マニピュレータ、２０ カメラ、３１ 撮影画像取得部、３２ 特定部、３３ 決定部、３４ 制御部、３５ 蓄積部、３６ 位置取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】