特開 2023-128220 移動型撮像ロボットシステム及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023128220

(43)【公開日】2023-09-14

(54)【発明の名称】移動型撮像ロボットシステム及びその制御方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20230907BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022032423

(22)【出願日】2022-03-03

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】久保 陽

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS09

3C707CS08

3C707CY31

3C707HS27

3C707KS03

3C707KS17

3C707KS40

3C707KT01

3C707KT05

3C707LT06

3C707MT05

3C707WA14

3C707WA17

(57)【要約】

【課題】移動中においても、安定した視野を得ることができる移動型撮像ロボットシステムを提供する。
【解決手段】本発明の移動型撮像ロボットシステムは、周囲を撮影し撮像データを出力する撮像部５０と、手先に撮像部を搭載し、手先位置を調整するロボットアーム４０と、ロボットアームを搭載し移動する移動部６０と、撮像部の撮像画像における所定のターゲットの位置のトラッキング軌跡に基づいて、移動部の重心移動または接地時の衝撃によるロボットアームの手先の振動が生じないようにロボットアームを制御するロボットアーム制御部１０と、を備えるようにした。
【選択図】 図２

【特許請求の範囲】

【請求項1】

周囲を撮影し撮像データを出力する撮像部と、
手先に前記撮像部を搭載し、手先位置を調整するロボットアームと、
前記ロボットアームを搭載し移動する移動部と、
前記撮像部の撮像画像における所定のターゲットの位置のトラッキング軌跡に基づいて、前記移動部の重心移動または接地時の衝撃による前記ロボットアームの手先の振動が生じないように前記ロボットアームを制御するロボットアーム制御部と、
を備えたことを特徴とする移動型撮像ロボットシステム。

【請求項2】

請求項１に記載の移動型撮像ロボットシステムにおいて、
前記ロボットアーム制御部は、
前記撮像画像により前記移動部の移動に伴う前記ロボットアームの手先位置の変化を取得するターゲットトラッキング部と、
前記ロボットアームの手先位置の時系列データを周波数解析する周波数解析部と、
前記周波数解析部の解析結果に基づいてロボットアームの手先位置の振動に関する支配的な周波数及びその振幅を求める周波数・振幅判定部と、
前記周波数・振幅判定部で求めた前記周波数及びその振幅に基づいて、移動部の移動によるロボットアームの手先位置の振動を相殺する動作を前記ロボットアームに行わせる動作指令を作成する振動補償制御部と、
前記動作指令に基づいてロボットアーム駆動モータの回転を制御するロボットアーム動作制御部と、
を備えることを特徴とする移動型撮像ロボットシステム。

【請求項3】

請求項２に記載の移動型撮像ロボットシステムにおいて、
前記振動補償制御部は、前記周波数・振幅判定部が同一の支配的な周波数及びその振幅を所定時間求めた時に、前記動作指令を生成する
ことを特徴とする移動型撮像ロボットシステム。

【請求項4】

請求項２に記載の移動型撮像ロボットシステムにおいて、
前記周波数・振幅判定部は、
前記移動部が多脚ロボット型の場合には、歩行周期を前記支配的な周波数とし、
前記移動部が無限軌道型の場合には、ベルト部の回転周波数またはベルト部を駆動するモータの回転周波数に基づいて前記支配的な周波数を求める
ことを特徴とする移動型撮像ロボットシステム。

【請求項5】

請求項２に記載の移動型撮像ロボットシステムにおいて、
前記ロボットアーム制御部は、さらに、
前記移動部の移動範囲における前記移動部の位置情報を取得する位置情報取得部と、
前記周波数解析部の解析結果に基づいて前記移動部の接地面の凹凸若しくは段差または障害物によるロボットアームの手先位置の振動の周波数及びその振幅を求める接地面データ作成部と、を備え、
前記ロボットアームの手先の振動が生じないように前記ロボットアームを制御する
ことを特徴とする移動型撮像ロボットシステム。

【請求項6】

請求項５に記載の移動型撮像ロボットシステムにおいて、
前記接地面データ作成部は、
前記ロボットアームが移動によるロボットアームの手先位置の振動を相殺する動作を行っている際に、前記移動部の接地面の凹凸または段差によるロボットアームの手先位置の振動の周波数及びその振幅を求める
ことを特徴とする移動型撮像ロボットシステム。

【請求項7】

請求項５に記載の移動型撮像ロボットシステムにおいて、
前記接地面データ作成部は、
移動部の接地面の凹凸または段差との衝突によるロボットアームの手先位置の単発パルス的振動を検知した場合には、前記移動部の移動によるロボットアームの手先位置の振動の周波数及びその振幅の取得と並行して、前記移動部の接地面の凹凸または段差によるロボットアームの手先位置の振動の周波数及びその振幅を求める
ことを特徴とする移動型撮像ロボットシステム。

【請求項8】

周囲を撮影し撮像データを出力する撮像部と、手先に前記撮像部を搭載し、手先位置を調整するロボットアームと、前記ロボットアームを搭載し移動する移動部と、を有する移動型撮像ロボットシステムの制御方法であって、
前記撮像部の撮像画像における所定のターゲットの位置のトラッキング軌跡を取得し、
前記トラッキング軌跡に基づいて前記移動部の重心移動または接地時の衝撃による前記ロボットアームの手先の振動の周波数に関する支配的な周波数及びその振幅を求め、
前記周波数及びその振幅に基づいて前記ロボットアームの手先の振動を相殺する動作を前記ロボットアームに行わせる
ことを特徴とする移動型撮像ロボットシステムの制御方法。

【請求項9】

請求項８に記載の移動型撮像ロボットシステムの制御方法において、
前記ロボットアームが移動によるロボットアームの手先位置の振動を相殺する動作を行っている際に、前記移動部の接地面の凹凸または段差によるロボットアームの手先位置の振動の周波数及びその振幅を求め、
前記移動部の重心移動または接地時の衝撃、及び前記移動部の接地面の凹凸または段差による前記ロボットアームの手先の振動を相殺する動作を前記ロボットアームに行わせる
ことを特徴とする移動型撮像ロボットシステムの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動型撮像ロボットシステム及びその制御方法に関する。

【背景技術】

【0002】

多脚ロボットなどの移動型ロボットに、人が立ち入り辛い場所や広大な敷地内での在庫管理、外観検査、形状測定等の作業を行わせるニーズが存在する。その際、ロボットは撮像装置により取得した撮像データを用いて作業を行う。ここで言う撮像装置とは、カメラまたはLiDAR（light detection and ranging）センサなど、周囲環境の二次元または三次元のイメージを得るための装置、またはそれらをフュージョンさせた装置である。

【0003】

移動型ロボットの実際の在庫管理やロジスティクス、保守分野への適用においては、撮像対象を動かすのではなくロボットの視点自体を柔軟に動かすことで、キズや異物、商品の個数などを確認し、必要に応じてピックアンドプレイスなどエンドエフェクタによる作業を行うことも多い。その際、商品陳列棚の間やメンテナンス中の車両の床下などの狭いスペースでマニュピュレータ動かし、視点を多角的に変える場面が存在する。

【0004】

このため、移動型ロボットの撮像装置は、移動体そのものではなく、搭載したロボットアームの手先位置に取り付けられている。これにより、特に広大な敷地内での外観検査を行う場合、移動をしながら精度よく撮像ができると、俯瞰的に視点を動かしつつ、異常を認められれば移動またはカメラズームによる精査ができ、作業をスムーズに行うことができる上に、衝突回避などのロボットの行動決定にも撮像データを活かすことができる。

【0005】

例えば、特許文献１には、移動部に搭載したロボットアームにおいて、移動部が所定の場所に移動した後にワークの位置ずれやアームの位置ずれが起こった場合、カメラ画像を用いた状態監視によって、アームの軌道計画を生成してズレを補償する技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１８－１５８３９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

移動型ロボットの撮像装置の移動部が静止した状態ではなく、移動中に撮像を行う場合において、搭載されたロボットアームの手先位置は、移動部が移動する路面の溝や段差等の凹凸による振動以外に、移動に伴う移動部の重心移動や接地時の衝撃による外乱を受けて、振動する。

【0008】

このため、撮像データによる物体認識自体の精度が下がる問題がある。特に、移動型ロボットや、移動型ロボットに搭載されているロボットアームの行動決定(衝突回避、検査におけるカメラのズームイン、ズームアウトなど)への活用が期待されている小型のMEMS式LiDARセンサによる撮像は、定点観測でないと距離や角度の測定精度が下がる。

【0009】

また、人が遠隔地からロボットの操作を行う場合、画像が振動するとオペレータの疲労は増大してしまう。このように、撮像装置の振動の問題が及ぶ範囲は、測定精度の問題に限らない。

【0010】

上記の先行技術では、移動型撮像ロボットが移動中に撮像を行うことは考慮されていない。

【0011】

本発明の目的は、移動中においても、安定した視野を得ることができる移動型撮像ロボットシステムを提供することにある。

【課題を解決するための手段】

【0012】

前記課題を解決するため、本発明の移動型撮像ロボットシステムは、周囲を撮影し撮像データを出力する撮像部と、手先に前記撮像部を搭載し、手先位置を調整するロボットアームと、前記ロボットアームを搭載し移動する移動部と、前記撮像部の撮像画像における所定のターゲットの位置のトラッキング軌跡に基づいて、前記移動部の重心移動または接地時の衝撃による前記ロボットアームの手先の振動が生じないように前記ロボットアームを制御するロボットアーム制御部と、を備えるようにした。

【発明の効果】

【0013】

本発明によれば、移動型撮像ロボットの移動中の撮像の視界を安定させることができる。

【図面の簡単な説明】

【0014】

【図1】実施例１の移動型撮像ロボットシステムの構成図である。

【図2】実施例１のロボットアーム制御部の構成図である。

【図3A】ロボットアームと多脚ロボットによる移動部から構成されている形態を示す図である。

【図3B】ロボットアームと多脚ロボットによる移動部から構成されている形態を示す図である。

【図4】実施例１の移動型撮像ロボットシステムの処理のフロー図である。

【図5】周波数解析について説明する図である。

【図6】振動補償制御指令の作成について説明する図である。

【図7】振動補償制御指令の作成について説明する図である。

【図8】実施例２のロボットアーム制御部の構成図である。

【図9】実施例２の移動型撮像ロボットシステムの処理のフロー図である。

【図10A】周波数解析部の解析結果を示す図である。

【図10B】周波数解析部の解析結果を示す図である。

【図10C】接地面マップ上での位置情報を示す図である。

【図11】本実施例のロボットアーム４０の振動補償動作を説明する制御ブロック図である。

【図12】振動データと接地面データを同時に作成する場合の処理フロー図である。

【図13】周波数解析部の時間周波数解析結果を示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の移動型撮像ロボットシステムの実施形態について、図面を参照しながら詳細に説明する。

【実施例0016】

図１は、本実施例の移動型撮像ロボットシステムの構成図である。
移動型撮像ロボットシステムは、手先に周囲を撮像する撮像部５０を備えるロボットアーム４０と、ロボットアーム４０を搭載する移動部６０と、データ収集、データ表示用のコンピュータ３０と、ロボットアーム４０を制御するロボットアーム制御部１０と、を備え、ロボットアーム制御部１０とコンピュータ３０とロボットアーム４０とをネットワーク２０を介して接続して構成する。

【0017】

移動部６０は、ロボットアーム４０を搭載し、移動部駆動モータ６１により自律移動可能に構成する。

【0018】

ロボットアーム４０は、不図示の回転角度情報センサ群を有し、ロボットアーム駆動モータ４１によって手先位置を調整可能に駆動する。ロボットアーム４０は、その手先に撮像部５０を備える。そして、撮像部５０は手先の向きに応じた方向の撮像を行う。

【0019】

ロボットアーム制御部１０は、ロボットアーム４０及びコンピュータ３０との入出力データの遣り取りを行う入出力部１１と、撮像装置の機能を実行するための演算部１２と、撮像ロボットの使用者が入力するデータ及び演算部１２の抽出したデータが記憶される記憶部１３を備える。ロボットアーム制御部１０の構成は、図２により詳細に説明する。

【0020】

図２は、移動型撮像ロボットシステムのロボットアーム制御部１０の構成図である。
ロボットアーム制御部１０の演算部１２は、ターゲット選定部１２０と、ターゲットトラッキング部１２１と、周波数解析部１２２と、周波数・振幅判定部１２３と、振動補償制御部１２４と、ロボットアーム動作制御部１２５とを備える。記憶部１３は、振動データ１３０と、振動補償制御データ１３１と、を備える。以下、各構成要素を詳細に説明する。

【0021】

ターゲット選定部１２０は、移動部６０が停止している状態における撮像部５０の周囲の撮像データから、静止している所定の物体をトラッキング（追跡）するターゲットとして選定する。撮像データは、ネットワーク２０を介して入出力部１１により入力する。

【0022】

ターゲットトラッキング部１２１は、移動部６０が移動している状態において、撮像データによりターゲット選定部１２０が選定したターゲットをトラッキングし、ターゲットとロボットアーム４０（撮像部５０）との鉛直方向の相対位置の変化を取得する。
すなわち、ターゲットトラッキング部１２１は、移動部６０の移動に伴うロボットアーム４０の手先位置の変化を取得する。

【0023】

周波数解析部１２２は、撮像データのフレーム毎のターゲット位置の時系列データを、ロボットアームの手先位置の時系列データとして、周波数解析を行う。

【0024】

周波数・振幅判定部１２３は、周波数解析部１２２の出力結果を用いて、移動に関するロボットアーム４０の手先位置の振動について支配的な周波数及びその振幅を算出する。

【0025】

振動補償制御部１２４は、周波数・振幅判定部１２３によって算出された振動に基づき移動部６０の移動によるロボットアーム４０の手先位置（撮像部５０）の振動を相殺する動作をロボットアーム４０に行わせるための動作指令を生成する。

【0026】

ロボットアーム動作制御部１２５は、振動補償制御部１２４が作成した動作指令に基づき、ロボットアームの少なくとも一つの関節を駆動するロボットアーム駆動モータ４１の回転を制御する。

【0027】

振動データ１３０は、周波数・振幅判定部１２３が判定した移動部の移動が起因の揺れに関するデータであり、記憶部１３に記憶される。また、振動データ１３０は、ロボットアーム４０をキャリブレーションし直した後や、未知の地面を歩行する際や、ロボットアーム４０のハード部分あるいは制御ソフトに更新があった場合に、必要と予測される振動補償制御を作成するために参照することができる。

【0028】

振動補償制御データ１３１は、移動部６０の移動動作によるロボットアームの手先位置の振動を相殺するための、ロボットアームの振動補償制御データであり、振動データ１３０と紐づけて記憶部１３に格納する。振動補償制御データ１３１は、移動部６０の移動速度や、移動部６０のハードが変更された際は、新規の振動データ１３０と共に新たに生成される。

【0029】

具体的には、ロボットアーム制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、入出力Ｉ／Ｆ（Interface）、通信Ｉ／Ｆ及びメディアＩ／Ｆを有する情報処理装置で実現される。

【0030】

演算部１２は、ＣＰＵがＲＯＭまたはＨＤＤに記憶するプログラムを実行することで、ターゲット選定部１２０とターゲットトラッキング部１２１と周波数解析部１２２と周波数・振幅判定部１２３と振動補償制御部１２４とロボットアーム動作制御部１２５と振動データ１３０と振動補償制御データ１３１の機能を実現する。

【0031】

記憶部１３は、ＨＤＤにより実現され、振動データ１３０と振動補償制御データ１３１とを記憶する。
入出力部１１は、入出力Ｉ／Ｆまたは通信Ｉ／Ｆにより実現し、ネットワーク２０を介して、撮像部５０とロボットアーム４０と移動部６０と接続し、データを授受する。

【0032】

ここで、本実施例の移動型撮像ロボットシステムにおけるロボットアーム４０と撮像部５０と移動部６０の形態を、図３Ａと図３Ｂにより説明する。

【0033】

図３Ａは、手先に撮像部５０が取り付けられたロボットアーム４０と、多脚ロボットによる移動部６０から構成されている形態例である。
図３Ｂは、手先にエンドエフェクタと撮像部５０が取り付けられたロボットアーム４０と、無限軌道型の移動部６０から構成されている形態例である。

【0034】

つぎに、本実施例の移動型撮像ロボットシステムの処理を、図４のフロー図により説明する。

【0035】

Ｓ１０１で、ロボットアーム制御部１０は、撮像部５０による周囲の撮像データの取得を開始する（撮像の開始）。

【0036】

ステップＳ１０２で、ターゲット選定部１２０は、移動部６０が停止している状態で撮像されている範囲において、特定の物体をトラッキングするターゲットとして選定する。

【0037】

ステップＳ１０３で、ターゲット選定部１２０は、ステップＳ１０２で選定したターゲットが静止中であるか否かを判定する。静止中であれば（Ｓ１０３のＹＥＳ）、ステップＳ１０４に進み、静止中でなければ（Ｓ１０３のＮＯ）ステップＳ１０２に戻る。静止中であるか否かの判定は、例えば、数フレーム分の撮像データにおいて、ターゲットの位置が一定であるか否かによって判定する。

【0038】

ステップＳ１０４で、ターゲットトラッキング部１２１は、撮像データのターゲットのトラッキングを開始する。

【0039】

ステップＳ１０５で、ロボットアーム制御部１０は、移動部６０の移動を許可し、移動部駆動モータ６１が動作を開始することにより移動部６０の移動が開始される。

【0040】

ステップＳ１０６で、ターゲットトラッキング部１２１は、移動部６０の移動中におけるターゲットのフレーム毎の位置をトラッキング軌跡として取得する。

【0041】

ステップＳ１０７で、周波数解析部１２２は、ステップＳ１０６で取得されたトラッキング軌跡とフレームレートから、移動部６０の移動によって生じるロボットアームの手先位置の振動に関する支配的な周波数を決定するための周波数解析を行う。周波数解析部１２２が解析する周波数は、移動部６０の重心移動や接地時の衝撃による外乱の周波数である。なお、詳細は、図５により別途説明する。

【0042】

特に、支配的な周波数は、移動部６０が多脚ロボット型の場合（図３Ａ）は、歩行周期によって決まる値であり、無限軌道型の場合（図３Ｂ）はベルト部の回転周波数またはベルト部を駆動するモータの回転周波数によって決まる。つまり、移動部６０の運動学的ふるまいによって決まる周波数であり、段差または凹凸のない平地でも避けられない振動である。

【0043】

周波数解析部１２２は、周波数解析に、フーリエ変換を使ってもよいし、ウェーブレット変換等の時間周波数解析方法を用いてもよいし、ピーク検出や自己相関関数を用いて導出してもよい。また、解析する振動の方向は、移動の進行方向に対して垂直に交わる平面内のどの方向を選定してもよい。

【0044】

ステップＳ１０８で、周波数・振幅判定部１２３は、ステップＳ１０７の周波数解析で所定値の振幅強度の周波数を得られた場合に、移動部６０の移動に起因するものである仮定する。また、移動部６０への制御信号、または移動部６０を駆動する移動部駆動モータ６１のうち少なくとも一つに対する制御信号の周期性の情報と周波数比較して、一致する場合に移動部６０の移動に起因するとしてもよい。

【0045】

周波数・振幅判定部１２３は、移動部６０の移動に起因するものであると仮定した場合に、ステップＳ１０７の周波数解析の結果であるロボットアーム４０の手先位置の振動に関する支配的な周波数と振幅を振動データ１３０とする。

【0046】

なお、振動データ１３０の振幅は、位置や寸法の測量機能を持つカメラやLiDARセンサによってターゲットを直接測定して求めてもよい。
また、求めた振動と逆位相かつ特定の振幅でロボットアーム４０を振動させることによって相殺される撮像部５０の視界内でのターゲットの変位量から間接的に推定してもよい。

【0047】

ステップＳ１０９で、周波数・振幅判定部１２３は、ステップＳ１０７の周波数解析の結果が移動部６０の移動に起因するものであるとの仮定が、所定時間継続したかを判定する。継続した場合には（Ｓ１０９のＹＥＳ）、振動データ１３０が移動部６０の移動に起因するものとして確定してステップＳ１１０に進み、継続しなかった場合には（Ｓ１０９のＮＯ）、ステップＳ１０６に戻る。

【0048】

ステップＳ１１０で、振動補償制御部１２４は、振動データ１３０の周波数と逆位相、かつ振動データ１３０の振幅と同一の振幅で撮像部５０を予測的に動かすことで、撮像されるターゲットの振動が相殺されるように、ロボットアーム４０の制御情報（振動補償動作指令）を作成する。なお、詳細は、図６により別途説明する。

【0049】

ステップＳ１１１で、振動補償制御部１２４は、振動データ１３０を記憶部１３に格納する。
なお、ステップＳ１１０とステップＳ１１１はいずれが先に行われてもいいし、同時に行われてもよい。

【0050】

ステップＳ１１２で、ロボットアーム動作制御部１２５は、ステップＳ１１０で作成したロボットアーム４０の制御情報（振動補償動作指令）をロボットアーム４０に通知して、ロボットアームの振動補償制御を開始する。

【0051】

ステップＳ１１３で、ロボットアーム動作制御部１２５は、ターゲットトラッキング部１２１によりトラッキング軌跡を取得して、ロボットアームの振動補償制御によってターゲットの揺れが許容範囲内であるか否かを判定する。許容範囲内である場合には（Ｓ１１３のＹＥＳ）、ステップＳ１１４に進み、許容範囲内でない場合には（Ｓ１１３のＮＯ）、ステップＳ１０６に戻る。

【0052】

ステップＳ１１４で、ロボットアーム動作制御部１２５は、ステップＳ１１２でロボットアーム４０に通知した制御情報（振動補償動作指令）を、振動補償制御データ１３１として記憶部１３に振動データ１３０と紐づけて格納する。振動データ１３０との紐づけにより、同様の振動が撮像部５０によって検知された際に、ロボットアーム４０の振動補償に使用することができる。

【0053】

つぎに、図５により、図４のステップＳ１０７の周波数解析について説明する。
図５は、図４のステップＳ１０６で、ターゲットトラッキング部１２１が取得したトラッキング軌跡の一例を示す図である。

【0054】

周波数解析部１２２は、トラッキング軌跡として取得されたターゲットの位置の時系列データ（点線の曲線）において、ターゲットが最大ピーク位置をとる時刻t1からつぎに最大ピーク位置をとる時刻t2までの時間t2-t1を周期Ｔとし、その逆数として周波数Fを決定して、ターゲットの振動の周波数情報を抽出する。
さらに、ターゲットの最大ピーク位置と最小ピーク位置の差分を求め、振幅Ａを決定する。

【0055】

周波数解析部１２２は、周波数Ｆと振幅Ａは、それぞれ１サンプルから決定しても、複数サンプルの平均値から決定してもよい。もしくは周波数解析部１２２は、フーリエ変換のような周波数変換処理を介して算出してもよい。

【0056】

つぎに、図６と図７により、図４のステップＳ１１０の振動補償制御指令の作成について説明する。
図６は、ロボットアーム４０の手先（撮像部５０）の予測される振動（実線）と、振動補償制御指令の通知によるロボットアーム４０の手先（撮像部５０）の動作（破線）との関係を示す図である。

【0057】

振動補償制御部１２４は、振動データ１３０をロボットアーム４０の手先（撮像部５０）の予測される振動（実線）とする。そして、振動補償制御部１２４は、ロボットアーム４０の手先の動作に、振動データ１３０に対して逆位相かつ同一の振幅の動作を付加するように、ロボットアーム４０の振動補償制御指令を作成する。

【0058】

これにより、図７の振動補償制御が行われた後のターゲットのトラッキング軌跡を示す図のように、移動部６０の移動に起因するロボットアーム４０の手先（撮像部５０）の振動は補償され、撮像部５０の視界を安定させることができる。

【0059】

図７の撮像部５０のターゲットのトラッキングの結果の表示は必ずしも必要ではなく、振動データや振動補償データを記憶部１３に保持しておくか、入出力部１１を通じてコンピュータ３０に出力するのみでもよい。

【実施例0060】

実施例１では、実施形態のロボットアーム制御部１０が、移動部６０の重心移動や接地時の衝撃によるロボットアーム４０の手先の振動が収まるようにロボットアーム４０を制御して、振動補償することを説明したが、実施例２では、上記の振動に加えて、接地面の凹凸若しくは段差による振動が加わる場合について説明する。

【0061】

実施例２のロボットアーム制御部１０は、まず、移動部６０の重心移動や接地時の衝撃による振動と、接地面の凹凸若しくは段差による振動とを切り分け、つぎに、同一地点を移動する際に、双方の振動を補償するようにロボットアーム４０の制御を行い、撮像部５０の視界を安定させる。

【0062】

図８は、実施例２の移動型撮像ロボットシステムのロボットアーム制御部１０の構成図である。

【0063】

ロボットアーム制御部１０は、図２で説明した実施例１のロボットアーム制御部１０の演算部１２に、位置情報取得部１２６と接地面データ作成部１２７とを加えて構成され、記憶部１３に接地面マップ１３２と接地面データ１３３を加えたものである。このため、ここでは、追加した位置情報取得部１２６、接地面データ作成部１２７、接地面マップ１３２と接地面データ１３３について説明し、他は図２と同様のため省略する。

【0064】

位置情報取得部１２６は、移動部６０の移動範囲における移動部６０の位置情報を取得する。

【0065】

接地面データ作成部１２７は、振動補償制御部１２４により移動部６０の重心移動や接地時の衝撃による振動補償制御を行っている際に、周波数解析部１２２によりロボットアーム４０の手先（撮像部５０）の振動が検知された場合に、移動部６０の接地面の凹凸若しくは段差、または障害物による振動が生じたと判定する。そして、接地面データ作成部１２７は、周波数解析部１２２で求めた周波数と振幅とを接地面データ１３３として接地面マップ１３２に移動部６０の位置情報により紐づけて記憶部１３に格納する。既存の接地面データ１３３が記憶部１３にある場合、接地面データ１３３を更新する。

【0066】

接地面マップ１３２は、移動部６０が移動する範囲の形状や間取りに関する情報である。接地面マップ１３２は、あらかじめ既知のマップとして入出力部１１から設定していてもよいし、移動部６０がマッピング機能を持っている場合、移動部６０が作成したマップを接地面マップとしてとして記憶部１３に同期または入力してもよい。

【0067】

接地面データ１３３は、移動部６０の接地面の凹凸若しくは段差、または障害物によるロボットアーム４０の手先（撮像部５０）の振動を検出した際の、振動の周波数と振幅であり、接地面データ作成部１２７によって新規作成または更新される。この際の接地面データ１３３は、図１０Ｂで説明する。

【0068】

接地面データ１３３は、接地面マップ１３２に紐づけられて記憶部１３に格納される。新規作成または更新された接地面データ１３３は、今後、移動部６０が同一の場所を移動する際に、撮像部５０が振動しないようにロボットアーム４０の振動補償制御を行うために格納される。

【0069】

つぎに、実施例２のロボットアーム制御部１０の接地面データ１３３の作成処理を、図９のフロー図により説明する。
図９のフロー図は、図４のフロー図にステップＳ１１５－Ｓ１１９を加えたものである。ここでは、ステップＳ１１５－Ｓ１１９について説明し、他のステップは図４と同様のため、説明は省略する。

【0070】

ステップＳ１１５で、振動補償制御部１２４は、ロボットアーム４０の振動補償制御を実行している状態で、移動部６０を移動継続する。

【0071】

ステップＳ１１６で、振動補償制御部１２４は、振動補償制御を行っているにも関わらず、ロボットアーム４０の手先（撮像部５０）の振動（特に、振幅）が許容範囲を逸脱しているかどうかを判定する。振動が許容範囲を逸脱していない場合には（Ｓ１１６のＮＯ）、ステップＳ１１５に戻り、振動が許容範囲を逸脱している場合には（Ｓ１１６のＹＥＳ）、ステップＳ１１７に進む。

【0072】

ステップＳ１１７で、位置情報取得部１２６は、移動部６０の移動範囲における移動部６０の位置情報を取得する。そして、位置情報取得部１２６は、この位置情報を接地面マップ１３２に記憶する。

【0073】

ステップＳ１１８で、接地面データ作成部１２７は、ステップＳ１１６で振動が許容範囲を逸脱していると判定した位置情報に対応する接地面データ１３３があるか否かを判定する。接地面データ作成部１２７は、あると判定した場合には（Ｓ１１８のＹＥＳ）、ステップＳ１２０に進み、ないと判定した場合には（Ｓ１１８のＮＯ）、ステップＳ１１９に進む。

【0074】

ステップＳ１１９で、接地面データ作成部１２７は、周波数解析部１２２において新たに検知された接地面起因の振動の周波数と振幅とを、接地面マップ１３２におけるステップＳ１１７で得た位置情報に紐づけて接地面データ１３３として記憶部１３に格納し、処理を終了する。

【0075】

ステップＳ１２０で、接地面データ作成部１２７は、周波数解析部１２２において新たに検知された接地面起因の振動の周波数と振幅とを、ステップＳ１１７で得た位置情報に対応する既存の接地面データ１３３に追記して更新し、処理を終了する。

【0076】

このように、実施例２のロボットアーム制御部１０は、移動部６０の重心移動や接地時の衝撃による振動を補償するようにロボットアーム４０を制御して移動する状態で、トラッキング軌跡から接地面の凹凸若しくは段差または障害物による振動を検出するので、所定位置の接地面データ１３３を切り分けて取得できる。

【0077】

つぎに、本実施例における振動補償制御データ１３１と接地面データ１３３の作成方法の一例を説明する。

【0078】

図１０Ａは、周波数解析部１２２の解析結果を示す図である。
周波数・振幅判定部１２３は、移動部の重心移動や接地時の衝撃による外乱の振動を、周波数Ｆ１、振幅Ａ１の振動データとして抽出し、これを振動データ１３０する。そして、振動補償制御部１２４が、振動データ１３０に基づいて、ロボットアーム４０の手先（撮像部５０）の振動が相殺されるように、ロボットアーム４０の振動補償制御データ１３１を作成し、ロボットアーム４０を制御する。これにより、ロボットアーム４０は、移動部６０が移動している限り恒常的に発生する振動を補償するため、撮像部５０は視界に外乱を受けることなく撮像を続けることができる。

【0079】

図１０Ｂは、接地面の凹凸若しくは段差、または障害物との衝突による新たな振動が検知された場合の周波数解析部１２２の解析結果を示す図である。
接地面データ作成部１２７は、接地面の凹凸若しくは段差による振動を、周波数Ｆ２、振幅Ａ２の接地面データとして抽出し、これを、位置情報取得部１２６によって取得される振動が起こった接地面マップ１３２上での位置情報Ｘ（図１０Ｃ参照）に紐付けして接地面データ１３３とする。

【0080】

つぎに、図１１の制御ブロック図により、本実施例のロボットアーム４０の振動補償動作を説明する。

【0081】

ロボットアーム４０は、移動部６０が移動している限り、恒常的に生じる振動を相殺するために振動データ１３０を振動補償制御に加え、接地面マップ１３２上の特定の位置において一時的に発生する地形起因の振動を相殺するように、接地面データ１３３を振動補償制御に加える。これにより、既知のマップ上で撮像部５０が振動しないように振動補償制御を変更することができる。本実施例でのロボットアーム４０の振動補償制御は、振動データ１３０と接地面データ１３３の位相をそれぞれ反転し足し合わせることで作成する。

【0082】

本実施例において、振動データ１３０と接地面データ１３３は同時に作成してもよい。この場合について、図１２、図１３で説明する。

【0083】

図１２は、本実施例において振動データ１３０と接地面データ１３３を同時に作成する処理フローである。ステップＳ１０８－Ｓ１１４と、ステップＳ１２１、ステップＳ１１７-Ｓ１２０が同時並行で進む。

【0084】

ステップＳ１２１は、ステップＳ１０７の周波数解析の結果が、単発パルス的な振動を検知したか否かを判定している。これは、接地面の凹凸若しくは段差または障害物との衝突による振動は、周期的な振動になる移動部の重心移動や接地時の衝撃と異なり、単発パルス的な振動になることに基づいている。

【0085】

詳しくは、ステップＳ１０８－Ｓ１１４は、図４で説明した処理と同一である。
ステップＳ１２１で、接地面データ作成部１２７は、周波数解析部１２２の結果が、単発パルス的な振動でなければ、並行処理を終了し、単発パルス的な振動であれば、図９で説明したステップＳ１１７－Ｓ１２０の処理を行う。

【0086】

図１３は、周波数解析部１２２の時間周波数解析結果を示す図である。
周波数解析部１２２は、短時間フーリエ変換やウェーブレット変換によって、図１３のスペクトログラムを得る。そして、周波数Ｆ１の振動のように恒常的に続く振動を移動体の移動による振動データ１３０とし、周波数Ｆ２の振動のように単発のパルス波として現れる振動を接地面データ１３３とする。これにより振動データと接地面データを分離して同時に取得できる。

【0087】

本実施例によれば、移動型撮像ロボットが撮った撮像データを用いて、撮像装置付きロボットアームの制御を行うことにより、移動による揺れを予測、相殺し、視界を安定させることができるので、移動中の撮像の視界を安定させることができる。

【0088】

本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明で分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。