▶ 広東技術師範大学の特許一覧 ▶ 広東匯博机器人技術有限公司の特許一覧
特表2022-516852オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-03
(54)【発明の名称】オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法及び装置
(51)【国際特許分類】
B25J 13/08 20060101AFI20220224BHJP
G05B 19/42 20060101ALI20220224BHJP
【ＦＩ】
B25J13/08 A
G05B19/42 J
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021537213
(86)(22)【出願日】2020-07-10
(85)【翻訳文提出日】2021-06-24
(86)【国際出願番号】 CN2020101337
(87)【国際公開番号】W WO2021109575
(87)【国際公開日】2021-06-10
(31)【優先権主張番号】201911215508.2
(32)【優先日】2019-12-02
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】521278128
【氏名又は名称】広東技術師範大学
(71)【出願人】
【識別番号】521278139
【氏名又は名称】広東匯博机器人技術有限公司
(74)【代理人】
【識別番号】100088063
【弁理士】
【氏名又は名称】坪内 康治
(72)【発明者】
【氏名】鄭振興
(72)【発明者】
【氏名】▲てぃお▼世普
(72)【発明者】
【氏名】秦磊
【テーマコード（参考）】
3C269
3C707
【Ｆターム（参考）】
3C269AB33
3C269BB03
3C269CC09
3C269JJ09
3C269JJ19
3C269JJ20
3C269MN09
3C269MN14
3C269MN16
3C269MN47
3C269MN48
3C269SA14
3C707AS12
3C707BS10
3C707KS36
3C707KT01
3C707KT05
3C707LS15
3C707LW08
3C707MT02
3C707MT04
(57)【要約】
オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法は、Ｓ１０
：加工目標データ収集、Ｓ２０：全体加工案内経路、Ｓ３０：サブ目標領域分割、Ｓ４０
：最適加工経路計画、Ｓ５０：加工案内点変換、Ｓ６０：ポイントクラウドの高精度ロー
カル収集、Ｓ７０：高精度加工案内信息を含む。オーバービュー視覚およびローカル視覚
の一体化によるロボット視覚案内装置は、加工目標データ収集モジュール１０、全体加工
案内経路モジュール２０、サブ目標領域分割モジュール３０、最適加工経路計画モジュー
ル４０、加工案内点変換モジュール５０、ポイントクラウドの高精度ローカル収集モジュ
ール６０、高精度加工案内信息モジュール７０を含む。大体積加工目標の高効率加工にお
ける精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、
計算時間を減少することによりリアルタイム処理の要求を満たすことができる。加えて、
ソフトハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速
化かつ大規模の生産モードの要求に適応可能である。
：加工目標データ収集、Ｓ２０：全体加工案内経路、Ｓ３０：サブ目標領域分割、Ｓ４０
：最適加工経路計画、Ｓ５０：加工案内点変換、Ｓ６０：ポイントクラウドの高精度ロー
カル収集、Ｓ７０：高精度加工案内信息を含む。オーバービュー視覚およびローカル視覚
の一体化によるロボット視覚案内装置は、加工目標データ収集モジュール１０、全体加工
案内経路モジュール２０、サブ目標領域分割モジュール３０、最適加工経路計画モジュー
ル４０、加工案内点変換モジュール５０、ポイントクラウドの高精度ローカル収集モジュ
ール６０、高精度加工案内信息モジュール７０を含む。大体積加工目標の高効率加工にお
ける精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、
計算時間を減少することによりリアルタイム処理の要求を満たすことができる。加えて、
ソフトハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速
化かつ大規模の生産モードの要求に適応可能である。
【特許請求の範囲】
【請求項1】
オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法であって、ステップ１：
検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加工目標
の全体レジストレーションＲＧＢ二次元画面ＩＲＧＢおよび全体レジストレーションデプ
スデータＩＤを獲得し、全体レジストレーションＲＧＢ二次元画面ＩＲＧＢから要加工目
標Ｏ１０の全体領域ＳＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレーショ
ン行列によって全体領域ＳＲＧＢにしたがって全体レジストレーションデプスデータＩＤ
から要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ３Ｄを抽出するステップと
、
ステップ２：
全体的３ＤポイントクラウドデータＳ３Ｄを分析することにより要加工目標の全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲得することであって、ただし、それぞれＡＸ
ｊは要加工目標の全体的３ＤポイントクラウドデータＳ３Ｄにおける全体加工案内経路の
点、ｊは全体加工案内経路の点ＡＸｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全体加工
案内経路の点ＡＸｊの総数とするステップと、
ステップ３：
全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎに基づいて、所定の要加工サブ目標領
域の高精度検出パラメータによって、要加工目標の全体的３ＤポイントクラウドデータＳ
３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割す
ることであって、ただし、Ｓ３Ｄ－ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領
域のポイントクラウドに対応するステップと、
ステップ４：
最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ
－ｊ｝ｊ＝１－＞ｎを順序付けすることによって、最適要加工サブ目標領域のポイントク
ラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生成することであって、ただしそれぞれＳ３Ｄ
－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ の
うちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイントク
ラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々
対応関係によって全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路
の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。に変換するステップと、
ステップ５：
ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ３Ｄ－ｉに対応する全体
加工案内経路の点ＡＸｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸｉに変
換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットベ
ース座標系の全体加工案内経路の点ＣＸｉを変換することによって、全体加工案内経路の
点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ
｝ｉ＝１－＞ｎに変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝
１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに
変換するステップと、
ステップ６：
ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にした
がって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら
要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応するポイン
トクラウドＳ３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを
獲得するステップと、
ステップ７：
ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポイント
クラウドＳＳ３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ３Ｄの中
から高精度ローカルポイントクラウドＳＳ３Ｄ－ｉにレジストレーションする高精度ロー
カルポイントクラウドＲＳ３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳＳ３Ｄ
－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤ
Ｓ３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ３Ｄ－ｉを分析検索し、研磨ロボットの
高精度３Ｄ加工案内信息を獲得するステップと、
を含むことを特徴とする、オーバービュー視覚およびローカル視覚の一体化によるロボッ
ト視覚案内方法。
【請求項2】
ステップ４の最適経路計画アルゴリズムはアニーリング模擬知能最適化アルゴリズムとする、ことを特徴とする請求項１に記載のオーバービュー視覚およびローカル視覚の一体化
によるロボット視覚案内方法。
【請求項3】
ステップ７のレジストレーションアルゴリズムは正規分布変換に基づく反復最近接点アルゴリズムとする、ことを特徴とする請求項１に記載のオーバービュー視覚およびローカル
視覚の一体化によるロボット視覚案内方法。
【請求項4】
ステップ７の計算高精度ローカルポイントクラウドＳＳ３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉの方法はクイック
最近傍探索アルゴリズムとする、ことを特徴とする請求項１に記載のオーバービュー視覚
およびローカル視覚の一体化によるロボット視覚案内方法。
【請求項5】
ステップ３における所定の要加工サブ目標領域の高精度検出パラメータは、高精度検出の視野の大きさ、検出精度、および検出距離を含む、ことを特徴とする請求項１に記載のオ
ーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法。
【請求項6】
オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置１であって、
加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面ＩＲＧＢおよび全体レジストレーションデプスデータＩＤを獲得し、全体レジストレー
ションＲＧＢ二次元画面ＩＲＧＢから要加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域ＳＲＧＢにしたが
って全体レジストレーションデプスデータＩＤから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ３Ｄを抽出するように構成される加工目標データ収集モジュール１０
と、
全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲
得するように構成されており、ただし、それぞれＡＸｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸｊの総数とする全
体加工案内経路モジュール２０と、
サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１
－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割するように構成されており、ただし、Ｓ３Ｄ－
ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領域のポイントクラウドに対応するサ
ブ目標領域分割モジュール３０と、
最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生
成するように構成されており、ただしそれぞれＳ３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－
＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。
に変換する最適加工経路計画モジュール４０と、
加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉを変
換することによって、全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボット
ベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに変換するように構成される加工案内点変換モジ
ュール５０と、
ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを獲得するように構成さ
れるポイントクラウドの高精度ローカル収集モジュール６０と、
を含むことを特徴とする、オーバービュー視覚およびローカル視覚の一体化によるロボッ
ト視覚案内装置。
【請求項7】
最適経路計画モジュール４０の最適経路計画アルゴリズムはアニーリング模擬知能最適化アルゴリズムとする、ことを特徴とする、請求項６に記載のオーバービュー視覚およびロ
ーカル視覚の一体化によるロボット視覚案内装置。
【請求項8】
高精度加工案内信息モジュール７０のレジストレーションアルゴリズムは正規分布変換に基づく反復最近接点アルゴリズムとすることを特徴とする、請求項６に記載のオーバービ
ュー視覚およびローカル視覚の一体化によるロボット視覚案内装置。
【請求項9】
高精度加工案内信息モジュール７０の計算高精度ローカルポイントクラウドＳＳ３Ｄ－ｉ
と高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３
Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする、ことを特徴とする、請求項６に
記載のオーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置。
【請求項10】
サブ目標領域分割モジュール３０の所定の要加工サブ目標領域の高精度検出パラメータは、高精度検出の視野の大きさ、検出精度、検出距離を含む、ことを特徴とする、請求項６
に記載のオーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットの視覚領域に関し、特にオーバービュー視覚およびローカル視覚の一
体化によるロボット視覚案内方法及び装置に関する。
体化によるロボット視覚案内方法及び装置に関する。
【背景技術】
【0002】
強国の根幹をなす自動化装備（ロボットシステム）は、高速化、インテリジェント化の方
向に進まなければなりません。自動化装置の知能化の重要な手段は、マシンに「目」とこ
の目に合わせられる「脳」を装着することである。この「目」は単眼カメラ、両眼カメラ
、多目カメラ、三次元スキャナー、RGB-D（RGB+Depth）センサーでもいいです。自動化装
備のスマート化のコア作業内容は、この「目」で取得した画像データを分析（例えば画像
認識）し、分析結果に基づいてロボットシステムを特定の加工または組み立て操作に導く
ことを含む。加工技術が進歩するにつれて、加工が必要な部品の表面はますます複雑にな
り、加工の精度が要求されるようになりました。そのため、部品の表面処理（研ぎ捨て作
業）は不可欠な重要な過程です。加工部品に対する表面処理の自動化とインテリジェント
化を実現するためには、上記の「目」を用いて加工対象部品の画像を取得し、上記「脳」
を用いて分析処理を行い、加工部品に対する空間的な正確な位置決めを実現し、目標を精
密に検出します。さらに、ロボットの端を研ぐ道具を導いて加工部品の加工目標に対して
作業を行います。従来は検出視野の大きいロボットビジョンガイドを採用していますが、
検出精度は通常高くなく、加工精度が要求できません。高精度の空間位置決め情報を得る
ためには、ロボットビジョンガイドはより小さな検出視野を設定する必要がありますので
、大きな加工目標についてはブロック分け検出が必要ですので、計算の複雑さが高く、計
算量も多く必要です。計算時間が長く、システム全体の作業効率は高くないです。また、
上述の「脳」のソフト・ハードウェアの性能に対する要求が高く、処理のリアルタイム性
を達成することが難しく、現在の高速化の工業生産過程における必要性に合わない。この
ため、本発明は、大域的な視覚と局所的な視覚を融合させた大体積加工目標の研磨トスロ
ボットの高精度な視覚誘導方法と装置を開示し、大体積加工目標に対して高効率な加工が
可能な精度要求を満足できる。
向に進まなければなりません。自動化装置の知能化の重要な手段は、マシンに「目」とこ
の目に合わせられる「脳」を装着することである。この「目」は単眼カメラ、両眼カメラ
、多目カメラ、三次元スキャナー、RGB-D（RGB+Depth）センサーでもいいです。自動化装
備のスマート化のコア作業内容は、この「目」で取得した画像データを分析（例えば画像
認識）し、分析結果に基づいてロボットシステムを特定の加工または組み立て操作に導く
ことを含む。加工技術が進歩するにつれて、加工が必要な部品の表面はますます複雑にな
り、加工の精度が要求されるようになりました。そのため、部品の表面処理（研ぎ捨て作
業）は不可欠な重要な過程です。加工部品に対する表面処理の自動化とインテリジェント
化を実現するためには、上記の「目」を用いて加工対象部品の画像を取得し、上記「脳」
を用いて分析処理を行い、加工部品に対する空間的な正確な位置決めを実現し、目標を精
密に検出します。さらに、ロボットの端を研ぐ道具を導いて加工部品の加工目標に対して
作業を行います。従来は検出視野の大きいロボットビジョンガイドを採用していますが、
検出精度は通常高くなく、加工精度が要求できません。高精度の空間位置決め情報を得る
ためには、ロボットビジョンガイドはより小さな検出視野を設定する必要がありますので
、大きな加工目標についてはブロック分け検出が必要ですので、計算の複雑さが高く、計
算量も多く必要です。計算時間が長く、システム全体の作業効率は高くないです。また、
上述の「脳」のソフト・ハードウェアの性能に対する要求が高く、処理のリアルタイム性
を達成することが難しく、現在の高速化の工業生産過程における必要性に合わない。この
ため、本発明は、大域的な視覚と局所的な視覚を融合させた大体積加工目標の研磨トスロ
ボットの高精度な視覚誘導方法と装置を開示し、大体積加工目標に対して高効率な加工が
可能な精度要求を満足できる。
【発明の概要】
【0003】
本発明は、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法
及び装置を提供し、既存の検出視野の大きいロボット視覚案内を採用するため、検出精度
は通常高くなく、加工精度の要求を達成できないが、高精度な空間測位情報を得るために
は、ロボットビジョンの設定が必要であるため、大きな加工目標に対してはブロック分け
検出が必要であり、複雑度が高い計算となる。そして、大きな計算量が必要で、計算時間
が長く、全体のシステムの作業効率が高くなく、ソフトハードウェアの性能要求が高く、
処理のリアルタイム性を達成するのが難しく、現在の高速化された工業生産過程で必要と
されるこれらの技術問題を解決する。
及び装置を提供し、既存の検出視野の大きいロボット視覚案内を採用するため、検出精度
は通常高くなく、加工精度の要求を達成できないが、高精度な空間測位情報を得るために
は、ロボットビジョンの設定が必要であるため、大きな加工目標に対してはブロック分け
検出が必要であり、複雑度が高い計算となる。そして、大きな計算量が必要で、計算時間
が長く、全体のシステムの作業効率が高くなく、ソフトハードウェアの性能要求が高く、
処理のリアルタイム性を達成するのが難しく、現在の高速化された工業生産過程で必要と
されるこれらの技術問題を解決する。
【0004】
上記の問題を解決するために、オーバービュー視覚およびローカル視覚の一体化によるロ
ボット視覚案内方法は、
ステップ１：
検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加工目標
の全体レジストレーションＲＧＢ二次元画面ＩＲＧＢおよび全体レジストレーションデプ
スデータＩＤを獲得し、全体レジストレーションＲＧＢ二次元画面ＩＲＧＢから要加工目
標Ｏ１０の全体領域ＳＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレーショ
ン行列によって全体領域ＳＲＧＢにしたがって全体レジストレーションデプスデータＩＤ
から要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ３Ｄを抽出するステップと
、
ステップ２：
全体的３ＤポイントクラウドデータＳ３Ｄを分析することにより要加工目標の全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲得することであって、ただし、それぞれＡＸ
ｊは要加工目標の全体的３ＤポイントクラウドデータＳ３Ｄにおける全体加工案内経路の
点、ｊは全体加工案内経路の点ＡＸｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全体加工
案内経路の点ＡＸｊの総数とするステップと、
ステップ３：
全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎに基づいて、所定の要加工サブ目標領
域の高精度検出パラメータによって、要加工目標の全体的３ＤポイントクラウドデータＳ
３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割す
ることであって、ただし、Ｓ３Ｄ－ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領
域のポイントクラウドに対応するステップと、
ステップ４：
最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ
－ｊ｝ｊ＝１－＞ｎを順序付けすることによって、最適要加工サブ目標領域のポイントク
ラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生成することであって、ただしそれぞれＳ３Ｄ
－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ の
うちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイントク
ラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々
対応関係によって全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路
の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。に変換するステップと、
ステップ５：
ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ３Ｄ－ｉに対応する全体
加工案内経路の点ＡＸｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸｉに変
換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットベ
ース座標系の全体加工案内経路の点ＣＸｉを変換することによって、全体加工案内経路の
点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ
｝ｉ＝１－＞ｎに変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝
１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに
変換するステップと、
ステップ６：
ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にした
がって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら
要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応するポイン
トクラウドＳ３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを
獲得するステップと、
ステップ７：
ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポイント
クラウドＳＳ３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ３Ｄの中
から高精度ローカルポイントクラウドＳＳ３Ｄ－ｉにレジストレーションする高精度ロー
カルポイントクラウドＲＳ３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳＳ３Ｄ
－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤ
Ｓ３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ３Ｄ－ｉを分析検索し、研磨ロボットの
高精度３Ｄ加工案内信息を獲得するステップと、
を含む。
ボット視覚案内方法は、
ステップ１：
検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加工目標
の全体レジストレーションＲＧＢ二次元画面ＩＲＧＢおよび全体レジストレーションデプ
スデータＩＤを獲得し、全体レジストレーションＲＧＢ二次元画面ＩＲＧＢから要加工目
標Ｏ１０の全体領域ＳＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレーショ
ン行列によって全体領域ＳＲＧＢにしたがって全体レジストレーションデプスデータＩＤ
から要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ３Ｄを抽出するステップと
、
ステップ２：
全体的３ＤポイントクラウドデータＳ３Ｄを分析することにより要加工目標の全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲得することであって、ただし、それぞれＡＸ
ｊは要加工目標の全体的３ＤポイントクラウドデータＳ３Ｄにおける全体加工案内経路の
点、ｊは全体加工案内経路の点ＡＸｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全体加工
案内経路の点ＡＸｊの総数とするステップと、
ステップ３：
全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎに基づいて、所定の要加工サブ目標領
域の高精度検出パラメータによって、要加工目標の全体的３ＤポイントクラウドデータＳ
３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割す
ることであって、ただし、Ｓ３Ｄ－ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領
域のポイントクラウドに対応するステップと、
ステップ４：
最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ
－ｊ｝ｊ＝１－＞ｎを順序付けすることによって、最適要加工サブ目標領域のポイントク
ラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生成することであって、ただしそれぞれＳ３Ｄ
－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ の
うちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイントク
ラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々
対応関係によって全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路
の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。に変換するステップと、
ステップ５：
ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ３Ｄ－ｉに対応する全体
加工案内経路の点ＡＸｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸｉに変
換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットベ
ース座標系の全体加工案内経路の点ＣＸｉを変換することによって、全体加工案内経路の
点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ
｝ｉ＝１－＞ｎに変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝
１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに
変換するステップと、
ステップ６：
ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にした
がって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら
要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応するポイン
トクラウドＳ３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを
獲得するステップと、
ステップ７：
ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポイント
クラウドＳＳ３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ３Ｄの中
から高精度ローカルポイントクラウドＳＳ３Ｄ－ｉにレジストレーションする高精度ロー
カルポイントクラウドＲＳ３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳＳ３Ｄ
－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤ
Ｓ３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ３Ｄ－ｉを分析検索し、研磨ロボットの
高精度３Ｄ加工案内信息を獲得するステップと、
を含む。
【0005】
好ましくは、ステップ４の最適経路計画アルゴリズムはアニーリング模擬知能最適化アル
ゴリズムとする。
ゴリズムとする。
【0006】
好ましくは、ステップ７のレジストレーションアルゴリズムは正規分布変換に基づく反復
最近接点アルゴリズムとする。
最近接点アルゴリズムとする。
【0007】
好ましくは、ステップ７の計算高精度ローカルポイントクラウドＳＳ３Ｄ－ｉと高精度ロ
ーカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉの方
法はクイック最近傍探索アルゴリズムとする。
ーカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉの方
法はクイック最近傍探索アルゴリズムとする。
【0008】
好ましくは、ステップ３における所定の要加工サブ目標領域の高精度検出パラメータは、
高精度検出の視野の大きさ、検出精度、および検出距離を含む。
高精度検出の視野の大きさ、検出精度、および検出距離を含む。
【0009】
オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置１は、
加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面ＩＲＧＢおよび全体レジストレーションデプスデータＩＤを獲得し、全体レジストレー
ションＲＧＢ二次元画面ＩＲＧＢから要加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域ＳＲＧＢにしたが
って全体レジストレーションデプスデータＩＤから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ３Ｄを抽出するように構成される加工目標データ収集モジュール１０
と、
全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲
得するように構成されており、ただし、それぞれＡＸｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸｊの総数とする全
体加工案内経路モジュール２０と、
サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１
－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割するように構成されており、ただし、Ｓ３Ｄ－
ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領域のポイントクラウドに対応するサ
ブ目標領域分割モジュール３０と、
最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生
成するように構成されており、ただしそれぞれＳ３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－
＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。
に変換する最適加工経路計画モジュール４０と、
加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉを変
換することによって、全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボット
ベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに変換するように構成される加工案内点変換モジ
ュール５０と、
ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを獲得するように構成さ
れるポイントクラウドの高精度ローカル収集モジュール６０と、
を含む。
加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面ＩＲＧＢおよび全体レジストレーションデプスデータＩＤを獲得し、全体レジストレー
ションＲＧＢ二次元画面ＩＲＧＢから要加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域ＳＲＧＢにしたが
って全体レジストレーションデプスデータＩＤから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ３Ｄを抽出するように構成される加工目標データ収集モジュール１０
と、
全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲
得するように構成されており、ただし、それぞれＡＸｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸｊの総数とする全
体加工案内経路モジュール２０と、
サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１
－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割するように構成されており、ただし、Ｓ３Ｄ－
ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領域のポイントクラウドに対応するサ
ブ目標領域分割モジュール３０と、
最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生
成するように構成されており、ただしそれぞれＳ３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－
＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。
に変換する最適加工経路計画モジュール４０と、
加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉを変
換することによって、全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボット
ベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに変換するように構成される加工案内点変換モジ
ュール５０と、
ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを獲得するように構成さ
れるポイントクラウドの高精度ローカル収集モジュール６０と、
を含む。
【0010】
好ましくは、最適経路計画モジュール４０の最適経路計画アルゴリズムはアニーリング模
擬知能最適化アルゴリズムとする。
擬知能最適化アルゴリズムとする。
【0011】
好ましくは、高精度加工案内信息モジュール７０のレジストレーションアルゴリズムは正
規分布変換に基づく反復最近接点アルゴリズムとする。
規分布変換に基づく反復最近接点アルゴリズムとする。
【0012】
好ましくは、高精度加工案内信息モジュール７０の計算高精度ローカルポイントクラウド
ＳＳ３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントク
ラウドＤＳ３Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする。
ＳＳ３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントク
ラウドＤＳ３Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする。
【0013】
好ましくは、サブ目標領域分割モジュール３０の所定の要加工サブ目標領域の高精度検出
パラメータは、高精度検出の視野の大きさ、検出精度、検出距離を含む。
パラメータは、高精度検出の視野の大きさ、検出精度、検出距離を含む。
【0014】
本発明は、上述したようにオーバービュー視覚およびローカル視覚の一体化による大体積
加工目標のロボットによる高精度視覚ガイド技術方案により、大体積加工目標の高効率加
工における精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加
速し、計算時間を減少することによりリアルタイム処理の要求を満たすことができる。加
えて、ソフトハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる
。高速化かつ大規模の生産モードの要求に適応可能である。
加工目標のロボットによる高精度視覚ガイド技術方案により、大体積加工目標の高効率加
工における精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加
速し、計算時間を減少することによりリアルタイム処理の要求を満たすことができる。加
えて、ソフトハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる
。高速化かつ大規模の生産モードの要求に適応可能である。
【図面の簡単な説明】
【0015】
【図1】本発明によるオーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法の第１の実施形態のフローチャートである。
【図2】本発明による、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内装置の第１の実施形態の機能ブロック図である。
【図3】本発明を実施するＲＧＢ-Ｄ複合センサの概略図である。
【図4】本発明を実現するロボットの概略図である。
【0016】
本発明の目的の実現、機能特徴および利点は、実施形態に関連して、図面を参照してさら
に説明する。
に説明する。
【発明を実施するための形態】
【0017】
本明細書に記載された具体的な実施形態は、本発明を説明するためだけに用いられ、本発
明を限定するために用いられないことを理解されたい。
明を限定するために用いられないことを理解されたい。
【0018】
以下、本発明の様々な実施形態を実施する携帯端末について図面を参照して説明する。後
の説明では、要素を表すための「モジュール」、「構成要素」、または「ユニット」など
のサフィックスは、本発明の説明を有利にするためだけに使用され、それ自体は特定の意
味を持たない。したがって、「モジュール」と「部品」は混合して使用することができる
。
の説明では、要素を表すための「モジュール」、「構成要素」、または「ユニット」など
のサフィックスは、本発明の説明を有利にするためだけに使用され、それ自体は特定の意
味を持たない。したがって、「モジュール」と「部品」は混合して使用することができる
。
【0019】
図１は、本発明にかかるオーバービュー視覚およびローカル視覚の一体化によるロボット
視覚案内方法の第１実施例のフローチャット模式図である。図１に示すように、オーバー
ビュー視覚およびローカル視覚の一体化によるロボット視覚案内方法は、以下の工程を含
む。
視覚案内方法の第１実施例のフローチャット模式図である。図１に示すように、オーバー
ビュー視覚およびローカル視覚の一体化によるロボット視覚案内方法は、以下の工程を含
む。
【0020】
Ｓ１０：加工目標データ収集
即ち、検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加
工目標の全体レジストレーションＲＧＢ二次元画面ＩＲＧＢおよび全体レジストレーショ
ンデプスデータＩＤを獲得し、全体レジストレーションＲＧＢ二次元画面ＩＲＧＢから要
加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレ
ーション行列によって全体領域ＳＲＧＢにしたがって全体レジストレーションデプスデー
タＩＤから要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ３Ｄを抽出すること
であって、
図３に示すように、ＲＧＢ－Ｄ複合センサーＤ７０は、検出ロボットのアームＤ４０の頂
端に設置され、ＲＧＢカメラＤ２０が、ＲＧＢ－Ｄ複合視覚センサーの中間位置に設置さ
れるものとすることと、カラー画面データは、ＲＧＢデータに対する分析を行う速度を保
証するために、コンピュータに伝送される前に圧縮されるとすることと、および、ＲＧＢ
－Ｄ複合視覚センサーの左右両側におけるセンサーＤ１０およびＤ３０はそれぞれ赤外線
の発信と受信を行うとすることであって、まず左側の赤外線発信器Ｄ１０によって要加工
目標Ｏ１０に赤外線を発信し、ここで該赤外線は、高ランダム性を保有するため、空間内
における任意の２つの異なる位置で反射されて形成される光斑も異なるため、環境に対し
て立体的「コード」を形成し、次いでに右側の赤外線受信器Ｄ３０によって視野内の赤外
線画面を収集し、最後に、ＲＧＢ－Ｄ複合視覚センサーＤ７０のキャリブレーション行列
によって該赤外線画面に対して一連の複雑な計算を実行することによって、視野内のデプ
スデータを取得することと、を含むこと。
即ち、検出ロボットの端末に設置される全体ＲＧＢ－Ｄ複合センサーＤ７０によって要加
工目標の全体レジストレーションＲＧＢ二次元画面ＩＲＧＢおよび全体レジストレーショ
ンデプスデータＩＤを獲得し、全体レジストレーションＲＧＢ二次元画面ＩＲＧＢから要
加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全体ＲＧＢ－Ｄ複合センサーのキャリブレ
ーション行列によって全体領域ＳＲＧＢにしたがって全体レジストレーションデプスデー
タＩＤから要加工目標Ｏ１０の全体的３ＤポイントクラウドデータＳ３Ｄを抽出すること
であって、
図３に示すように、ＲＧＢ－Ｄ複合センサーＤ７０は、検出ロボットのアームＤ４０の頂
端に設置され、ＲＧＢカメラＤ２０が、ＲＧＢ－Ｄ複合視覚センサーの中間位置に設置さ
れるものとすることと、カラー画面データは、ＲＧＢデータに対する分析を行う速度を保
証するために、コンピュータに伝送される前に圧縮されるとすることと、および、ＲＧＢ
－Ｄ複合視覚センサーの左右両側におけるセンサーＤ１０およびＤ３０はそれぞれ赤外線
の発信と受信を行うとすることであって、まず左側の赤外線発信器Ｄ１０によって要加工
目標Ｏ１０に赤外線を発信し、ここで該赤外線は、高ランダム性を保有するため、空間内
における任意の２つの異なる位置で反射されて形成される光斑も異なるため、環境に対し
て立体的「コード」を形成し、次いでに右側の赤外線受信器Ｄ３０によって視野内の赤外
線画面を収集し、最後に、ＲＧＢ－Ｄ複合視覚センサーＤ７０のキャリブレーション行列
によって該赤外線画面に対して一連の複雑な計算を実行することによって、視野内のデプ
スデータを取得することと、を含むこと。
【0021】
Ｓ２０：全体加工案内経路
即ち、全体的３ＤポイントクラウドデータＳ３Ｄを分析することにより要加工目標の全体
加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲得することであって、ただし、それぞ
れＡＸｊは要加工目標の全体的３ＤポイントクラウドデータＳ３Ｄにおける全体加工案内
経路の点、ｊは全体加工案内経路の点ＡＸｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全
体加工案内経路の点ＡＸｊの総数とすることであって、
ＡＸｉは全体的３ＤポイントクラウドデータＳ３Ｄの座標ベクトルに対応し、全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎは全体的３ＤポイントクラウドデータＳ３Ｄの全
部ＡＸｉの集合に対応すること。
即ち、全体的３ＤポイントクラウドデータＳ３Ｄを分析することにより要加工目標の全体
加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲得することであって、ただし、それぞ
れＡＸｊは要加工目標の全体的３ＤポイントクラウドデータＳ３Ｄにおける全体加工案内
経路の点、ｊは全体加工案内経路の点ＡＸｊの番号、ｊの値の範囲は［１，ｎ］、ｎは全
体加工案内経路の点ＡＸｊの総数とすることであって、
ＡＸｉは全体的３ＤポイントクラウドデータＳ３Ｄの座標ベクトルに対応し、全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎは全体的３ＤポイントクラウドデータＳ３Ｄの全
部ＡＸｉの集合に対応すること。
【0022】
Ｓ３０：サブ目標領域分割
即ち、全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎに基づいて、所定の要加工サブ
目標領域の高精度検出パラメータによって、要加工目標の全体的３Ｄポイントクラウドデ
ータＳ３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に
分割することであって、ただし、Ｓ３Ｄ－ｊは全体加工案内経路の点ＡＸｊの要加工サブ
目標領域のポイントクラウドに対応すること。
即ち、全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎに基づいて、所定の要加工サブ
目標領域の高精度検出パラメータによって、要加工目標の全体的３Ｄポイントクラウドデ
ータＳ３Ｄを要加工サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に
分割することであって、ただし、Ｓ３Ｄ－ｊは全体加工案内経路の点ＡＸｊの要加工サブ
目標領域のポイントクラウドに対応すること。
【0023】
Ｓ４０：最適加工経路計画
即ち、最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛
Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによって、最適要加工サブ目標領域のポイ
ントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生成することであって、ただしそれぞれ
Ｓ３Ｄ－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞
ｎ のうちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイ
ントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊ
の一々対応関係によって全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案
内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。に変換することであって、
最適経路計画アルゴリズムに基づいて生成する最適要加工サブ目標領域のポイントクラウ
ド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎによって、要加工サブ目標領域のポイントクラウドサ
ブ加工領域Ｓ３Ｄ－ｊの順序を所望ロボット加工過程に合わせさせ、即ち、研磨ロボット
Ｄ５０を繰り返しなく要加工目標Ｏ２０のすべての領域を通過させることによって、研磨
ロボットＤ５０の作業総時間を最短化させること。
即ち、最適経路計画アルゴリズムによって、要加工サブ目標領域のポイントクラウド集｛
Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによって、最適要加工サブ目標領域のポイ
ントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生成することであって、ただしそれぞれ
Ｓ３Ｄ－ｉは最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞
ｎ のうちの要加工サブ目標領域のポイントクラウド、ｉは最適加工サブ目標領域のポイ
ントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊ
の一々対応関係によって全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案
内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。に変換することであって、
最適経路計画アルゴリズムに基づいて生成する最適要加工サブ目標領域のポイントクラウ
ド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎによって、要加工サブ目標領域のポイントクラウドサ
ブ加工領域Ｓ３Ｄ－ｊの順序を所望ロボット加工過程に合わせさせ、即ち、研磨ロボット
Ｄ５０を繰り返しなく要加工目標Ｏ２０のすべての領域を通過させることによって、研磨
ロボットＤ５０の作業総時間を最短化させること。
【0024】
Ｓ５０：加工案内点変換
即ち、ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ３Ｄ－ｉに対応す
る全体加工案内経路の点ＡＸｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸ
ｉに変換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸｉを研磨ロボ
ットベース座標系の全体加工案内経路の点ＣＸｉを変換することによって、全体加工案内
経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボットベース座標系の加工案内の点配列｛
ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ
｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸｉ｝ｉ＝１－
＞ｎに変換することであって、
図４に示すように、検出ロボットのアームＤ４０から獲得する要加工サブ目標Ｏ３０領域
のポイントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットＤ
４０ベース座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットＤ４０ベ
ース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットＤ５０ベース座標系の全体加工
案内経路の点ＣＸｉに変換し、さらに研磨ロボットＤ５０の端末を案内しながら研磨具Ｄ
６０に以降の作業を行わせること。
即ち、ｉは１～ｎとすると、要加工サブ目標領域のポイントクラウドＳ３Ｄ－ｉに対応す
る全体加工案内経路の点ＡＸｉを検出ロボットベース座標系の全体加工案内経路の点ＢＸ
ｉに変換し、そして検出ロボットベース座標系の全体加工案内経路の点ＢＸｉを研磨ロボ
ットベース座標系の全体加工案内経路の点ＣＸｉを変換することによって、全体加工案内
経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボットベース座標系の加工案内の点配列｛
ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース座標系の加工案内の点配列｛ＢＸｉ
｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加工案内の点配列｛ＣＸｉ｝ｉ＝１－
＞ｎに変換することであって、
図４に示すように、検出ロボットのアームＤ４０から獲得する要加工サブ目標Ｏ３０領域
のポイントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットＤ
４０ベース座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットＤ４０ベ
ース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットＤ５０ベース座標系の全体加工
案内経路の点ＣＸｉに変換し、さらに研磨ロボットＤ５０の端末を案内しながら研磨具Ｄ
６０に以降の作業を行わせること。
【0025】
Ｓ６０：ポイントクラウドの高精度ローカル収集
即ち、ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ
にしたがって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内し
ながら要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応する
ポイントクラウドＳ３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ
－ｉを獲得すること。
即ち、ｉは１～ｎとすると、研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ
にしたがって研磨ロボットの端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内し
ながら要加工目標を走査することによって、要加工目標の要加工サブ目標領域に対応する
ポイントクラウドＳ３Ｄ－ｉの対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ
－ｉを獲得すること。
【0026】
Ｓ７０：高精度加工案内信息
即ち、ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポ
イントクラウドＳＳ３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ３
Ｄの中から高精度ローカルポイントクラウドＳＳ３Ｄ－ｉにレジストレーションする高精
度ローカルポイントクラウドＲＳ３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳ
Ｓ３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラ
ウドＤＳ３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ３Ｄ－ｉを分析検索し、研磨ロボ
ットの高精度３Ｄ加工案内信息を獲得すること。
即ち、ｉは１～ｎとすると、レジストレーションアルゴリズムによって高精度ローカルポ
イントクラウドＳＳ３Ｄ－ｉをモジュールとして予定のサンプルポイントクラウドＲＳ３
Ｄの中から高精度ローカルポイントクラウドＳＳ３Ｄ－ｉにレジストレーションする高精
度ローカルポイントクラウドＲＳ３Ｄ－ｉを検索し、高精度ローカルポイントクラウドＳ
Ｓ３Ｄ－ｉと高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラ
ウドＤＳ３Ｄ－ｉを算出し、差異ポイントクラウドＤＳ３Ｄ－ｉを分析検索し、研磨ロボ
ットの高精度３Ｄ加工案内信息を獲得すること。
【0027】
したがって、上記処理工程は、大きな体積のある加工目標Ｏ２０に対して適応され、オー
バービュー視覚系統およびローカル視覚系統を一体化させるようにしている。まず検出ロ
ボットＤ４０の視覚系統Ｄ７０によって加工目標Ｏ２０の粗位置決めを行うとともに、加
工目標Ｏ２０の区域分けおよびルート計画を実現する。次いでに、研磨ロボットＤ５０上
における高精度視覚検出系統によって目標を正確的に検出する。そして、研磨ロボットＤ
５０の端末にある工具Ｄ６０を案内しながら加工目標領域Ｏ３０に対して高精度かつ高効
率の自動化研磨作業を行う。これによって、大体積加工目標の高効率加工における精度要
求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、計算時間を
減少することによりリアルタイム処理の要求を満たすことができる。加えて、ソフトハー
ドウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速化かつ大規
模の生産モードの要求に適応可能である。
バービュー視覚系統およびローカル視覚系統を一体化させるようにしている。まず検出ロ
ボットＤ４０の視覚系統Ｄ７０によって加工目標Ｏ２０の粗位置決めを行うとともに、加
工目標Ｏ２０の区域分けおよびルート計画を実現する。次いでに、研磨ロボットＤ５０上
における高精度視覚検出系統によって目標を正確的に検出する。そして、研磨ロボットＤ
５０の端末にある工具Ｄ６０を案内しながら加工目標領域Ｏ３０に対して高精度かつ高効
率の自動化研磨作業を行う。これによって、大体積加工目標の高効率加工における精度要
求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、計算時間を
減少することによりリアルタイム処理の要求を満たすことができる。加えて、ソフトハー
ドウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速化かつ大規
模の生産モードの要求に適応可能である。
【0028】
工程Ｓ４０の最適経路計画アルゴリズムはアニーリング模擬知能最適化アルゴリズム（ｓ
ｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ａｌｇｏｒｉｔｈｍ，ＳＡＡ）とする。アニー
リング模擬知能最適化アルゴリズムは確実的、かつ工程実現容易という利点がある。
ｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ａｌｇｏｒｉｔｈｍ，ＳＡＡ）とする。アニー
リング模擬知能最適化アルゴリズムは確実的、かつ工程実現容易という利点がある。
【0029】
工程Ｓ７０のレジストレーションアルゴリズムは正規分布変換に基づく反復最近接点（Ｉ
ｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ，ＩＣＰ）アルゴリズムとする。正規分
布変換に基づく反復最近接点アルゴリズムは確実的、かつ工程実現容易という利点がある
。
ｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ，ＩＣＰ）アルゴリズムとする。正規分
布変換に基づく反復最近接点アルゴリズムは確実的、かつ工程実現容易という利点がある
。
【0030】
工程Ｓ７０の計算高精度ローカルポイントクラウドＳＳ３Ｄ－ｉと高精度ローカルポイン
トクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉの方法はクイック
最近傍探索アルゴリズムとする。クイック最近傍探索アルゴリズムは確実的、かつ工程実
現容易という利点がある。
トクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉの方法はクイック
最近傍探索アルゴリズムとする。クイック最近傍探索アルゴリズムは確実的、かつ工程実
現容易という利点がある。
【0031】
工程Ｓ３０における所定の要加工サブ目標領域の高精度検出パラメータは、高精度検出の
視野の大きさ、検出精度、および検出距離を含む。パラメータは測定取得容易、かつ高確
実性という利点がある。
視野の大きさ、検出精度、および検出距離を含む。パラメータは測定取得容易、かつ高確
実性という利点がある。
【0032】
本発明は、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚案内方法
の第１実施例中におけるオーバービュー視覚およびローカル視覚の一体化によるロボット
視覚案内方法は、本発明にかかるオーバービュー視覚およびローカル視覚の一体化による
ロボット視覚案内装置の第１実施例で提案されるオーバービュー視覚およびローカル視覚
の一体化によるロボット視覚案内装置によって実現可能である。
の第１実施例中におけるオーバービュー視覚およびローカル視覚の一体化によるロボット
視覚案内方法は、本発明にかかるオーバービュー視覚およびローカル視覚の一体化による
ロボット視覚案内装置の第１実施例で提案されるオーバービュー視覚およびローカル視覚
の一体化によるロボット視覚案内装置によって実現可能である。
【0033】
図２に示すように、オーバービュー視覚およびローカル視覚の一体化によるロボット視覚
案内装置の第１実施例で提案されるオーバービュー視覚およびローカル視覚の一体化によ
るロボット視覚案内装置１は、以下のモジュールを含む。
案内装置の第１実施例で提案されるオーバービュー視覚およびローカル視覚の一体化によ
るロボット視覚案内装置１は、以下のモジュールを含む。
【0034】
加工目標データ収集モジュール１０であって、検出ロボットの端末に設置される全体ＲＧ
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面ＩＲＧＢおよび全体レジストレーションデプスデータＩＤを獲得し、全体レジストレー
ションＲＧＢ二次元画面ＩＲＧＢから要加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域ＳＲＧＢにしたが
って全体レジストレーションデプスデータＩＤから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ３Ｄを抽出するように構成されており、
図３に示すように、ＲＧＢ－Ｄ複合センサーＤ７０は、検出ロボットのアームＤ４０の頂
端に設置され、ＲＧＢカメラＤ２０が、ＲＧＢ－Ｄ複合視覚センサーの中間位置に設置さ
れており、カラー画面データは、ＲＧＢデータに対する分析を行う速度を保証するために
、コンピュータに伝送される前に圧縮されるように構成され、ＲＧＢ－Ｄ複合視覚センサ
ーの左右両側におけるセンサーＤ１０およびＤ３０はそれぞれ赤外線の発信と受信を行う
ものであって、まず左側の赤外線発信器Ｄ１０によって要加工目標Ｏ１０に赤外線を発信
し、ここで該赤外線は、高ランダム性を保有するため、空間内における任意の２つの異な
る位置で反射されて形成される光斑も異なるため、環境に対して立体的「コード」を形成
し、次いでに右側の赤外線受信器Ｄ３０によって視野内の赤外線画面を収集し、最後に、
ＲＧＢ－Ｄ複合視覚センサーＤ７０のキャリブレーション行列によって該赤外線画面に対
して一連の複雑な計算を実行することによって、視野内のデプスデータを取得するように
構成されるモジュール。
Ｂ－Ｄ複合センサーＤ７０によって要加工目標の全体レジストレーションＲＧＢ二次元画
面ＩＲＧＢおよび全体レジストレーションデプスデータＩＤを獲得し、全体レジストレー
ションＲＧＢ二次元画面ＩＲＧＢから要加工目標Ｏ１０の全体領域ＳＲＧＢを獲得し、全
体ＲＧＢ－Ｄ複合センサーのキャリブレーション行列によって全体領域ＳＲＧＢにしたが
って全体レジストレーションデプスデータＩＤから要加工目標Ｏ１０の全体的３Ｄポイン
トクラウドデータＳ３Ｄを抽出するように構成されており、
図３に示すように、ＲＧＢ－Ｄ複合センサーＤ７０は、検出ロボットのアームＤ４０の頂
端に設置され、ＲＧＢカメラＤ２０が、ＲＧＢ－Ｄ複合視覚センサーの中間位置に設置さ
れており、カラー画面データは、ＲＧＢデータに対する分析を行う速度を保証するために
、コンピュータに伝送される前に圧縮されるように構成され、ＲＧＢ－Ｄ複合視覚センサ
ーの左右両側におけるセンサーＤ１０およびＤ３０はそれぞれ赤外線の発信と受信を行う
ものであって、まず左側の赤外線発信器Ｄ１０によって要加工目標Ｏ１０に赤外線を発信
し、ここで該赤外線は、高ランダム性を保有するため、空間内における任意の２つの異な
る位置で反射されて形成される光斑も異なるため、環境に対して立体的「コード」を形成
し、次いでに右側の赤外線受信器Ｄ３０によって視野内の赤外線画面を収集し、最後に、
ＲＧＢ－Ｄ複合視覚センサーＤ７０のキャリブレーション行列によって該赤外線画面に対
して一連の複雑な計算を実行することによって、視野内のデプスデータを取得するように
構成されるモジュール。
【0035】
全体加工案内経路モジュール２０であって、全体的３ＤポイントクラウドデータＳ３Ｄを
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲
得するように構成されており、ただし、それぞれＡＸｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸｊの総数とするも
のであって、
ＡＸｉは全体的３ＤポイントクラウドデータＳ３Ｄの座標ベクトルに対応し、全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎは全体的３ＤポイントクラウドデータＳ３Ｄの全
部ＡＸｉの集合に対応するモジュール。
分析することにより要加工目標の全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを獲
得するように構成されており、ただし、それぞれＡＸｊは要加工目標の全体的３Ｄポイン
トクラウドデータＳ３Ｄにおける全体加工案内経路の点、ｊは全体加工案内経路の点ＡＸ
ｊの番号、ｊの値の範囲は［１、ｎ］、ｎは全体加工案内経路の点ＡＸｊの総数とするも
のであって、
ＡＸｉは全体的３ＤポイントクラウドデータＳ３Ｄの座標ベクトルに対応し、全体加工案
内経路の集合点｛ＡＸｊ｝ｊ＝１－＞ｎは全体的３ＤポイントクラウドデータＳ３Ｄの全
部ＡＸｉの集合に対応するモジュール。
【0036】
サブ目標領域分割モジュール３０であって、全体加工案内経路の集合点｛ＡＸｊ｝ｊ＝１
－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割するように構成されており、ただし、Ｓ３Ｄ－
ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領域のポイントクラウドに対応するモ
ジュール。
－＞ｎに基づいて、所定の要加工サブ目標領域の高精度検出パラメータによって、要加工
目標の全体的３ＤポイントクラウドデータＳ３Ｄを要加工サブ目標領域のポイントクラウ
ド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎ、に分割するように構成されており、ただし、Ｓ３Ｄ－
ｊは全体加工案内経路の点ＡＸｊの要加工サブ目標領域のポイントクラウドに対応するモ
ジュール。
【0037】
最適加工経路計画モジュール４０であって、最適経路計画アルゴリズムによって、要加工
サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生
成するように構成されており、ただしそれぞれＳ３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－
＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。
に変換するものであって、
最適経路計画アルゴリズムに基づいて生成する最適要加工サブ目標領域のポイントクラウ
ド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎによって、要加工サブ目標領域のポイントクラウドサ
ブ加工領域Ｓ３Ｄ－ｊの順序を所望ロボット加工過程に合わせさせ、即ち、研磨ロボット
Ｄ５０を繰り返しなく要加工目標Ｏ２０のすべての領域を通過させることによって、研磨
ロボットＤ５０の作業総時間を最短化させるモジュール。
サブ目標領域のポイントクラウド集｛Ｓ３Ｄ－ｊ｝ｊ＝１－＞ｎを順序付けすることによ
って、最適要加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎを生
成するように構成されており、ただしそれぞれＳ３Ｄ－ｉは最適要加工サブ目標領域のポ
イントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎ のうちの要加工サブ目標領域のポイン
トクラウド、ｉは最適加工サブ目標領域のポイントクラウド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－
＞ｎの番号とし、ｉとｊは一々対応し、ｉとｊの一々対応関係によって全体加工案内経路
の集合点｛ＡＸｊ｝ｊ＝１－＞ｎを全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎ。
に変換するものであって、
最適経路計画アルゴリズムに基づいて生成する最適要加工サブ目標領域のポイントクラウ
ド配列｛Ｓ３Ｄ－ｉ｝ｉ＝１－＞ｎによって、要加工サブ目標領域のポイントクラウドサ
ブ加工領域Ｓ３Ｄ－ｊの順序を所望ロボット加工過程に合わせさせ、即ち、研磨ロボット
Ｄ５０を繰り返しなく要加工目標Ｏ２０のすべての領域を通過させることによって、研磨
ロボットＤ５０の作業総時間を最短化させるモジュール。
【0038】
加工案内点変換モジュール５０であって、ｉは１～ｎとすると、要加工サブ目標領域のポ
イントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉを変
換することによって、全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボット
ベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに変換するように構成されるものであって、
図４に示すように、検出ロボットのアームＤ４０から獲得する要加工サブ目標Ｏ３０領域
のポイントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットＤ
４０ベース座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットＤ４０ベ
ース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットＤ５０ベース座標系の全体加工
案内経路の点ＣＸｉに変換し、さらに研磨ロボットＤ５０の端末を案内しながら研磨具Ｄ
６０に以降の作業を行わせるように構成されるモジュール。
イントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットベース
座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットベース座標系の全体
加工案内経路の点ＢＸｉを研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉを変
換することによって、全体加工案内経路の点配列｛ＡＸｉ｝ｉ＝１－＞ｎを検出ロボット
ベース座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎに変換し、検出ロボットベース
座標系の加工案内の点配列｛ＢＸｉ｝ｉ＝１－＞ｎを研磨ロボットベース座標系の全体加
工案内の点配列｛ＣＸｉ｝ｉ＝１－＞ｎに変換するように構成されるものであって、
図４に示すように、検出ロボットのアームＤ４０から獲得する要加工サブ目標Ｏ３０領域
のポイントクラウドＳ３Ｄ－ｉに対応する全体加工案内経路の点ＡＸｉを検出ロボットＤ
４０ベース座標系の全体加工案内経路の点ＢＸｉに変換し、そして検出ロボットＤ４０ベ
ース座標系の全体加工案内経路の点ＢＸｉを研磨ロボットＤ５０ベース座標系の全体加工
案内経路の点ＣＸｉに変換し、さらに研磨ロボットＤ５０の端末を案内しながら研磨具Ｄ
６０に以降の作業を行わせるように構成されるモジュール。
【0039】
ポイントクラウドの高精度ローカル収集モジュール６０であって、ｉは１～ｎとすると、
研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを獲得するように構成さ
れるモジュール。
研磨ロボットベース座標系の全体加工案内経路の点ＣＸｉ にしたがって研磨ロボットの
端末に設置されるローカルＲＧＢ－Ｄ複合センサーを案内しながら要加工目標を走査する
ことによって、要加工目標の要加工サブ目標領域に対応するポイントクラウドＳ３Ｄ－ｉ
の対応する領域の高精度ローカルポイントクラウドＳＳ３Ｄ－ｉを獲得するように構成さ
れるモジュール。
【0040】
高精度加工案内信息モジュール７０であって、ｉは１～ｎとすると、レジストレーション
アルゴリズムによって高精度ローカルポイントクラウドＳＳ３Ｄ－ｉをモジュールとして
予定のサンプルポイントクラウドＲＳ３Ｄの中から高精度ローカルポイントクラウドＳＳ
３Ｄ－ｉにレジストレーションする高精度ローカルポイントクラウドＲＳ３Ｄ－ｉを検索
し、高精度ローカルポイントクラウドＳＳ３Ｄ－ｉと高精度ローカルポイントクラウドＲ
Ｓ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉを算出し、差異ポイントクラウ
ドＤＳ３Ｄ－ｉを分析検索し、研磨ロボットの高精度３Ｄ加工案内信息を獲得するように
構成されるモジュール。
したがって、上記処理モジュールは、大きな体積のある加工目標Ｏ２０に対して適応され
、オーバービュー視覚系統およびローカル視覚系統を一体化させるようにしている。まず
検出ロボットＤ４０の視覚系統Ｄ７０によって加工目標Ｏ２０の粗位置決めを行うととも
に、加工目標Ｏ２０の区域分けおよびルート計画を実現する。次いでに、研磨ロボットＤ
５０上における高精度視覚検出系統によって目標を正確的に検出する。そして、研磨ロボ
ットＤ５０の端末にある工具Ｄ６０を案内しながら加工目標領域Ｏ３０に対して高精度か
つ高効率の自動化研磨作業を行う。これによって、大体積加工目標の高効率加工における
精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、計算
時間を減少することによりリアルタイム処理の要求を満たすことができる。加えて、ソフ
トハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速化か
つ大規模の生産モードの要求に適応可能である。
アルゴリズムによって高精度ローカルポイントクラウドＳＳ３Ｄ－ｉをモジュールとして
予定のサンプルポイントクラウドＲＳ３Ｄの中から高精度ローカルポイントクラウドＳＳ
３Ｄ－ｉにレジストレーションする高精度ローカルポイントクラウドＲＳ３Ｄ－ｉを検索
し、高精度ローカルポイントクラウドＳＳ３Ｄ－ｉと高精度ローカルポイントクラウドＲ
Ｓ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３Ｄ－ｉを算出し、差異ポイントクラウ
ドＤＳ３Ｄ－ｉを分析検索し、研磨ロボットの高精度３Ｄ加工案内信息を獲得するように
構成されるモジュール。
したがって、上記処理モジュールは、大きな体積のある加工目標Ｏ２０に対して適応され
、オーバービュー視覚系統およびローカル視覚系統を一体化させるようにしている。まず
検出ロボットＤ４０の視覚系統Ｄ７０によって加工目標Ｏ２０の粗位置決めを行うととも
に、加工目標Ｏ２０の区域分けおよびルート計画を実現する。次いでに、研磨ロボットＤ
５０上における高精度視覚検出系統によって目標を正確的に検出する。そして、研磨ロボ
ットＤ５０の端末にある工具Ｄ６０を案内しながら加工目標領域Ｏ３０に対して高精度か
つ高効率の自動化研磨作業を行う。これによって、大体積加工目標の高効率加工における
精度要求を満たすとともに、計算量および計算複雑度を減少し、処理速度を加速し、計算
時間を減少することによりリアルタイム処理の要求を満たすことができる。加えて、ソフ
トハードウェアの性能要求も低減され、コストおよび開発の難度が下げられる。高速化か
つ大規模の生産モードの要求に適応可能である。
【0041】
最適経路計画モジュール４０の最適経路計画アルゴリズムはアニーリング模擬知能最適化
アルゴリズム（ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ａｌｇｏｒｉｔｈｍ，ＳＡＡ
）とする。アニーリング模擬知能最適化アルゴリズムは確実的、かつ工程実現容易という
利点がある。
アルゴリズム（ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ａｌｇｏｒｉｔｈｍ，ＳＡＡ
）とする。アニーリング模擬知能最適化アルゴリズムは確実的、かつ工程実現容易という
利点がある。
【0042】
高精度加工案内信息モジュール７０のレジストレーションアルゴリズムは正規分布変換に
基づく反復最近接点アルゴリズム（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ，
ＩＣＰ）とする。正規分布変換に基づく反復最近接点アルゴリズムは確実的、かつ工程実
現容易という利点がある。
基づく反復最近接点アルゴリズム（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ，
ＩＣＰ）とする。正規分布変換に基づく反復最近接点アルゴリズムは確実的、かつ工程実
現容易という利点がある。
【0043】
高精度加工案内信息モジュール７０の計算高精度ローカルポイントクラウドＳＳ３Ｄ－ｉ
と高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３
Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする。クイック最近傍探索アルゴリズ
ムは確実的、かつ工程実現容易という利点がある。
と高精度ローカルポイントクラウドＲＳ３Ｄ－ｉの対応する差異ポイントクラウドＤＳ３
Ｄ－ｉの方法はクイック最近傍探索アルゴリズムとする。クイック最近傍探索アルゴリズ
ムは確実的、かつ工程実現容易という利点がある。
【0044】
サブ目標領域分割モジュール３０の所定の要加工サブ目標領域の高精度検出パラメータは
、高精度検出の視野の大きさ、検出精度、検出距離を含む。パラメータは測定取得容易、
かつ高確実性という利点がある。
、高精度検出の視野の大きさ、検出精度、検出距離を含む。パラメータは測定取得容易、
かつ高確実性という利点がある。
【0045】
説明が必要なのは、本明細書では、用語「含む」、「包含」または他の任意の変形体は、
一連の要素を含むプロセス、方法、物品または装置が、それらの要素だけでなく、明示的
に列挙されていない他の要素を含むように意図されていることであり、または、このよう
なプロセス、方法、装置、物や装置に固有の要素を含む。これ以上の制限がない場合、「
一つの…を含む」という語句によって定義される要素は、その要素を含むプロセス、方法
、物品、または装置に他の同じ要素が存在することを排除しない。
一連の要素を含むプロセス、方法、物品または装置が、それらの要素だけでなく、明示的
に列挙されていない他の要素を含むように意図されていることであり、または、このよう
なプロセス、方法、装置、物や装置に固有の要素を含む。これ以上の制限がない場合、「
一つの…を含む」という語句によって定義される要素は、その要素を含むプロセス、方法
、物品、または装置に他の同じ要素が存在することを排除しない。
【0046】
上記の本発明の実施の番号は、説明のためだけに、実施の形態の優劣を表すものではない
。
。
【0047】
上記の本発明の各モジュールユニットまたは各ステップは、任意で、計算装置が実行可能
なプログラムコードで実現できることを当業者は理解するだろう。図示または説明のステ
ップは、こことは異なる順序で実行されてもよく、またはそれぞれの集積回路モジュール
に作成されてもよく、またはそれらのうちの複数のモジュールまたはステップを単一の集
積回路モジュールに作成して実現されてもよい。このように、本発明は、任意の特定のハ
ードウェアとソフトウェアの組み合わせに限定されない。
なプログラムコードで実現できることを当業者は理解するだろう。図示または説明のステ
ップは、こことは異なる順序で実行されてもよく、またはそれぞれの集積回路モジュール
に作成されてもよく、またはそれらのうちの複数のモジュールまたはステップを単一の集
積回路モジュールに作成して実現されてもよい。このように、本発明は、任意の特定のハ
ードウェアとソフトウェアの組み合わせに限定されない。
【0048】
以上の実施形態の説明により、上述の実施形態の方法は、ソフトウェアプラスに必要な汎
用ハードウェアプラットフォームによって実現されてもよく、ハードウェアによってもも
ちろん可能であるが、多くの場合、前者はより良い実施形態であることが明らかになった
。このような理解に基づいて、本発明の技術的な態様は、本質的には、または既存の技術
に寄与する部分を、1台の端末装置（携帯電話、コンピュータ、サーバ、エアコンなど）
を可能にするためのいくつかの命令を含む、1つの記憶媒体に格納するソフトウェア製品
として具現化することができる。または、ネットワークデバイスなど）は、本発明の様々
な実施形態による方法を実行する。
用ハードウェアプラットフォームによって実現されてもよく、ハードウェアによってもも
ちろん可能であるが、多くの場合、前者はより良い実施形態であることが明らかになった
。このような理解に基づいて、本発明の技術的な態様は、本質的には、または既存の技術
に寄与する部分を、1台の端末装置（携帯電話、コンピュータ、サーバ、エアコンなど）
を可能にするためのいくつかの命令を含む、1つの記憶媒体に格納するソフトウェア製品
として具現化することができる。または、ネットワークデバイスなど）は、本発明の様々
な実施形態による方法を実行する。
【0049】
以上は本発明の好適な実施形態にすぎず、本発明の特許範囲を限定するものではなく、本
発明の明細書及び図面の内容を利用してなされた等価構造又は等価フロー変換、又は直接
または間接的に他の関連技術分野に適用されるものであり、全ては本発明の特許保護範囲
に含まれる。
発明の明細書及び図面の内容を利用してなされた等価構造又は等価フロー変換、又は直接
または間接的に他の関連技術分野に適用されるものであり、全ては本発明の特許保護範囲
に含まれる。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】