(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022172053
(43)【公開日】2022-11-15
(54)【発明の名称】MMPを用いたADAS検査システムおよびその方法
(51)【国際特許分類】
G01M 17/007 20060101AFI20221108BHJP
G01S 7/40 20060101ALI20221108BHJP
G01S 7/497 20060101ALI20221108BHJP
G05D 1/02 20200101ALI20221108BHJP
【FI】
G01M17/007 H
G01S7/40 126
G01S7/497
G05D1/02 P
【審査請求】未請求
【請求項の数】17
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022071916
(22)【出願日】2022-04-25
(31)【優先権主張番号】10-2021-0053724
(32)【優先日】2021-04-26
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】591251636
【氏名又は名称】現代自動車株式会社
【氏名又は名称原語表記】HYUNDAI MOTOR COMPANY
【住所又は居所原語表記】12, Heolleung-ro, Seocho-gu, Seoul, Republic of Korea
(71)【出願人】
【識別番号】500518050
【氏名又は名称】起亞株式会社
【住所又は居所原語表記】12, Heolleung-ro, Seocho-gu, Seoul, Republic of Korea
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】李 ミン 奎
(57)【要約】 (修正有)
【課題】車両に適用されたADASセンサの位置毎の装着状態を移動式補正ターゲットにより検査するMMPを用いたADAS検査システムおよびその方法を提供する。
【解決手段】車両工場のADAS(AdvancedDriverAssistanceSystem)検査システムは、車両のADAS検査のために装着された補正ターゲット部の位置変更が可能なマニピュレータと一体に結合されたAMR(AutonomousMobileRobot)を含むMMPと、検査工程に進入した車両を認識し、前記車両のセンタリングが完了すると、中継器を介して前記MMPにADAS検査命令を伝送するサーバと、を含み、前記MMPは、前記ADAS検査命令に応じて、前記車両の前方、後方および両側方の少なくとも一箇所に移動しながら前記補正ターゲット部を目標位置に移動させて、前記ADASセンサの装着状態を検査する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車両のADAS(Advanced Driver Assistance System)検査のために装着された補正ターゲット部の位置変更が可能なマニピュレータと一体に結合されたAMR(Autonomous Mobile Robot)を含むMMP(Mobile Manipulator)と、
検査工程に進入した車両を認識し、前記車両のセンタリングが完了すると、中継器を介して前記MMPにADAS検査命令を伝送するサーバと、を含み、
前記MMPは、前記ADAS検査命令に応じて、前記車両の前方、後方、および両側方の少なくとも一箇所に移動しながら前記補正ターゲット部を目標位置に移動させて、前記ADASセンサの装着状態を検査することを特徴とするMMPを用いたADAS検査システム。
【請求項2】
前記サーバは、
前記中継器に接続されたOBD端末を介して前記車両の進入を認識し、PLC(Programmable Logic Controller)を介して車両の検査位置センタリングの可否をチェックすることを特徴とする請求項1に記載のMMPを用いたADAS検査システム。
【請求項3】
前記サーバは、
前記OBD端末を介して車両情報(ID)を収集し、前記車両情報(ID)にマッチングされた車種および仕様に応じて適用されたADASセンサの情報を確認することを特徴とする請求項2に記載のMMPを用いたADAS検査システム。
【請求項4】
前記MMPは、
自律走行センサを介して周辺を探知しながら自ら検査目標地点に移動するAMRと、
制御信号に応じて姿勢を変換して、エンドエフェクタに装着された前記補正ターゲット部を前記目標位置に移動させる前記マニピュレータと、
前記検査目標地点に移動した前記AMRの位置偏差を確認するために、ROI(Region of Interest)マーカをスキャニングするビジョンセンサ部と、
前記中継器を介して前記OBD端末および前記サーバの少なくとも1つと無線通信を連結する通信部と、
前記補正ターゲット部を用いて前記車両に適用されたADASセンサの位置毎の装着状態を検査する制御部と、
を含むことを特徴とする請求項1~3のいずれか1項に記載のMMPを用いたADAS検査システム。
【請求項5】
前記補正ターゲット部は、
ADAS検査方式および前記ADASセンサの種類に応じて、四角のパネルの一側面に形成された補正ターゲットと、他の側面に形成された補正パターンとを含むことを特徴とする請求項4に記載のMMPを用いたADAS検査システム。
【請求項6】
前記マニピュレータは、
回転手段によって前記補正ターゲット部を回転可能に装着することを特徴とする請求項5に記載のMMPを用いたADAS検査システム。
【請求項7】
前記ビジョンセンサ部は、
少なくとも1つのビジョンセンサを含み、前記補正ターゲット部の側面部に付着することを特徴とする請求項4に記載のMMPを用いたADAS検査システム。
【請求項8】
前記制御部は、
前記車両情報(ID)にマッチングされた車種および仕様に応じたADAS検査項目と当該ADASセンサに対応する前記補正ターゲット部の移動情報を把握する検査制御モジュールと、
前記検査制御モジュールから前記補正ターゲット部の移動情報を受信すると、目標地点に前記AMRを移動させるAMR制御モジュールと、
前記AMR制御モジュールから受信された最終目標位置値で前記マニピュレータの姿勢を制御して、前記補正ターゲット部を最終目標位置に移動させるロボット制御モジュールと、
を含むことを特徴とする請求項4に記載のMMPを用いたADAS検査システム。
【請求項9】
前記AMR制御モジュールは、
前記ビジョンセンサ部を介して確認された前記位置偏差を補償した前記最終目標位置値を導出して、前記ロボット制御モジュールに伝送することを特徴とする請求項8に記載のMMPを用いたADAS検査システム。
【請求項10】
車両のADAS(Advanced Driver Assistance System)検査のために装着された補正ターゲット部の位置変更が可能なマニピュレータとAMR(Autonomous Mobile Robot)とが結合されたMMP(Mobile Manipulator)を用いたADAS検査方法において、
a)サーバから検査工程に進入してセンタリング完了した車両情報(ID)を受信する段階と、
b)前記車両情報(ID)の車種および仕様に応じたADAS検査項目を把握し、AMRを介して目標地点に移動する段階と、
c)前記目標地点に到着すると、ビジョンセンサ部を介してROI(Region of Interest)マーカをスキャニングし、認識された原点座標を基準として前記AMRの位置偏差を補償して最終目標位置値を導出する段階と、
d)前記最終目標位置値で前記マニピュレータの姿勢を制御して、前記補正ターゲット部を移動させた後、前記ADASセンサの作動による装着状態を検査する段階と、
を含むことを特徴とするMMPを用いたADAS検査方法。
【請求項11】
前記c)段階の前記AMRの位置偏差を補償する段階は、
前記ビジョンセンサ部がX、Y、Z軸毎に設けられたビジョンセンサを含む場合、
各軸のビジョンセンサを介して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことを特徴とする請求項10に記載のMMPを用いたADAS検査方法。
【請求項12】
前記c)段階の前記AMRの位置偏差を補償する段階は、
前記ビジョンセンサ部がX、Y、Z軸のうちの2軸に設けられたビジョンセンサを含む場合、
前記2軸のビジョンセンサを介して特定の位置と角度を計算した後、6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことを特徴とする請求項10に記載のMMPを用いたADAS検査方法。
【請求項13】
前記c)段階の前記AMRの位置偏差を補償する段階は、
前記ビジョンセンサ部が2Dおよび3Dビジョンを含む場合、
前記2Dおよび3Dビジョンの視野が十分でない場合、2Dビジョンを活用して3Dビジョンが認識可能な位置に移動した後、前記3Dビジョンを活用して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことを特徴とする請求項10に記載のMMPを用いたADAS検査方法。
【請求項14】
前記c)段階の前記AMRの位置偏差を補償する段階は、
前記ビジョンセンサ部が3Dビジョンセンサを含む場合、
前記3Dビジョンセンサが認識可能な位置に移動後、前記3Dビジョンを活用して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことを特徴とする請求項10に記載のMMPを用いたADAS検査方法。
【請求項15】
前記d)段階は、
当該ADAS検査方式とADASセンサの種類に応じて前記マニピュレータの回転手段を作動して、前記補正ターゲット部の補正ターゲットまたは補正パターンを選択的に位置させる段階を含むことを特徴とする請求項10に記載のMMPを用いたADAS検査方法。
【請求項16】
前記d)段階は、
車両前方に位置した状態で、前記検査項目によって、MFC(Multi-Function Camera)検査段階、SCC(Smart Cruise control)検査段階、HUD(Head Up Display)検査段階の少なくとも1つを含む前方ADAS検査を行う段階を含むことを特徴とする請求項10に記載のMMPを用いたADAS検査方法。
【請求項17】
前記前方ADAS検査を行う段階の後に、
車両の後方ADAS検査のための目標地点に移動後、前記検査項目によって、BSD(Blind Spot Detection)検査段階、FCW(Forward Collision Warning)検査段階(S8-2)、PAS(Parking Assist System)検査段階(S8-3)の少なくとも1つを含む後方ADAS検査を行う段階を含むことを特徴とする請求項16に記載のMMPを用いたADAS検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、MMPを用いたADAS検査システムおよびその方法に関し、より詳しくは、車両工場で移動式補正ターゲットにより車両のADAS作動センサを点検するMMPを用いたADAS検査システムおよびその方法に関する。
【背景技術】
【0002】
一般に、車両には、運転者の走行補助および安全性のために前後方および周辺状況を監視するADAS(Advanced Driver Assistance System)機能が適用されている。
【0003】
このため、車両工場では、ADAS機能に必要なレーダ、レーザ、カメラ、およびライダーなど多様なセンサ(以下、ADASセンサと名付ける)の誤差を補正するADAS検査工程を運用している。
【0004】
図5は、従来の車両工場のADAS検査方式を概略的に示す図である。
【0005】
図5を参照すると、従来のADASセンサは、車両に装着された状態で、固定式補正ターゲットに電磁波を送信し、反射した信号を測定して誤差を補正する固定式ターゲットを用いて検査している。
【0006】
しかし、従来のADAS検査は、車両に装着されたセンサと固定式補正ターゲットとの間の一定距離を確保しなければならず、空間を多く占めて追加の機能検査による拡張性に限界がある。例えば、従来のADAS検査工程において、補正ターゲットは、ADASセンサの種類によって複数構成され、シリンダまたはサーボモータを用いて高さが調節される固定式で運営している。しかし、車両工場で生産される車両の車種/仕様に応じてADAS検査条件が異なり、追加されるADAS機能検査などで工程の運営に柔軟な変更が必要である。しかし、従来の固定式運営方式の場合、機械的移動距離の制限および空間の制約などによりフレーム延長などの追加の工事を必要として柔軟な対応が難しいだけでなく、試運転にも相当の人員投入および時間が必要になる問題点がある。
【0007】
この背景技術の部分に記載された事項は発明の背景に対する理解を増進させるために作成されたものであって、この技術の属する分野における通常の知識を有する者にすでに知られた従来技術でない事項を含む。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、MMP(Mobile Manipulator)に装着された移動式補正ターゲットを用いて車両に適用されたADASセンサの位置毎の装着状態を検査するMMPを用いたADAS検査システムおよびその方法を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するためになされた本発明の一態様によるMMPを用いたADAS検査システムは、車両のADAS(Advanced Driver Assistance System)検査のために装着された補正ターゲット部の位置変更が可能なマニピュレータと一体に結合されたAMR(Autonomous Mobile Robot)を含むMMP(Mobile Manipulator)と、検査工程に進入した車両を認識し、前記車両のセンタリングが完了すると、中継器を介して前記MMPにADAS検査命令を伝送するサーバと、を含み、前記MMPは、前記ADAS検査命令に応じて、前記車両の前方、後方、および両側方の少なくとも一箇所に移動しながら前記補正ターゲット部を目標位置に移動させて、前記ADASセンサの装着状態を検査することを特徴とする。
【0010】
前記サーバは、前記中継器に接続されたOBD端末を介して前記車両の進入を認識し、PLC(Programmable Logic Controller)を介して車両の検査位置センタリングの可否をチェックすることができる。
前記サーバは、前記OBD端末を介して車両情報(ID)を収集し、前記車両情報(ID)にマッチングされた車種および仕様に応じて適用されたADASセンサの情報を確認することができる。
前記MMPは、自律走行センサを介して周辺を探知しながら自ら検査目標地点に移動する前記AMRと、制御信号に応じて姿勢を変換して、エンドエフェクタに装着された前記補正ターゲット部を前記検査目標位置に移動させる前記マニピュレータと、前記検査目標地点に移動した前記AMRの位置偏差を確認するために、ROI(Region of Interest)マーカをスキャニングするビジョンセンサ部と、前記中継器を介して前記OBD端末およびサーバの少なくとも1つと無線通信を連結する通信部と、前記補正ターゲット部を用いて前記車両に適用されたADASセンサの位置毎の装着状態を検査する制御部と、を含み得る。
前記補正ターゲット部は、ADAS検査方式および前記ADASセンサの種類に応じて、四角のパネルの一側面に形成された補正ターゲットと、他の側面に形成された補正パターンとを含み得る。
前記マニピュレータは、回転手段によって前記補正ターゲット部を回転可能に装着することが好ましい。
前記ビジョンセンサ部は、少なくとも1つのビジョンセンサを含み、前記補正ターゲット部の側面部に付着し得る。
前記制御部は、前記車両情報(ID)にマッチングされた車種および仕様に応じたADAS検査項目と当該ADASセンサに対応する前記補正ターゲット部の移動情報を把握する検査制御モジュールと、前記検査制御モジュールから前記補正ターゲット部の移動情報を受信すると、目標地点に前記AMRを移動させるAMR制御モジュールと、前記AMR制御モジュールから受信された最終目標位置値で前記マニピュレータの姿勢を制御して、前記補正ターゲット部を最終目標位置に移動させるロボット制御モジュールと、を含み得る。
前記AMR制御モジュールは、前記ビジョンセンサ部を介して確認された前記位置偏差を補償した前記最終目標位置値を導出して、前記ロボット制御モジュールに伝送することができる。
【0011】
上記目的を達成するためになされた本発明の一態様による、車両のADAS(Advanced Driver Assistance System)検査のために装着された補正ターゲット部の位置変更が可能なマニピュレータとAMR(Autonomous Mobile Robot)とが結合されたMMP(Mobile Manipulator)を用いたADAS検査方法は、a)サーバから検査工程に進入してセンタリング完了した車両情報(ID)を受信する段階と、b)前記車両情報(ID)の車種および仕様に応じたADAS検査項目を把握し、AMRを介して目標地点に移動する段階と、c)前記目標地点に到着すると、ビジョンセンサ部を介してROI(Region of Interest)マーカをスキャニングし、認識された原点座標を基準として前記AMRの位置偏差を補償して最終目標位置値を導出する段階と、d)前記最終目標位置値で前記マニピュレータの姿勢を制御して、前記補正ターゲット部を移動させた後、前記ADASセンサの作動による装着状態を検査する段階と、を含むことを特徴とする。
【0012】
前記c)段階の前記AMRの位置偏差を補償する段階は、前記ビジョンセンサ部がX、Y、Z軸毎に設けられたビジョンセンサを含む場合、各軸のビジョンセンサを介して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことができる。
前記c)段階の前記AMRの位置偏差を補償する段階は、前記ビジョンセンサ部がX、Y、Z軸のうちの2軸に設けられたビジョンセンサを含む場合、前記2軸のビジョンセンサを介して特定の位置と角度を計算した後、6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことができる。
前記c)段階の前記AMRの位置偏差を補償する段階は、前記ビジョンセンサ部が2Dおよび3Dビジョンを含む場合、前記2Dおよび3Dビジョンの視野が十分でない場合、2Dビジョンを活用して3Dビジョンが認識可能な位置に移動した後、前記3Dビジョンを活用して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことができる。
前記c)段階の前記AMRの位置偏差を補償する段階は、前記ビジョンセンサ部が3Dビジョンセンサを含む場合、前記3Dビジョンセンサが認識可能な位置に移動後、前記3Dビジョンを活用して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する段階を含むことができる。
前記d)段階は、当該ADAS検査方式とADASセンサの種類に応じて前記マニピュレータの回転手段を作動して、前記補正ターゲット部の補正ターゲットまたは補正パターンを選択的に位置させる段階を含むことができる。
前記d)段階は、車両前方に位置した状態で、前記検査項目によって、MFC(Multi-Function Camera)検査段階、SCC(Smart Cruise control)検査段階、HUD(Head Up Display)検査段階の少なくとも1つを含む前方ADAS検査を行う段階を含むことができる。
前記前方ADAS検査を行う段階の後に、車両の後方ADAS検査のための目標地点に移動後、前記検査項目によって、BSD(Blind Spot Detection)検査段階、FCW(Forward Collision Warning)検査段階(S8-2)、PAS(Parking Assist System)検査段階(S8-3)の少なくとも1つを含む後方ADAS検査を行う段階を含むことができる。
【発明の効果】
【0013】
本発明によれば、MMPを活用した移動式補正ターゲットによりADAS検査システムを実現することによって、位置および空間に制約なく柔軟な運営が可能であり、工事期間の短縮および費用を節減できる効果がある。
【0014】
また、複雑なフレーム設備と補正ターゲット固定構造物なしに、1つのMMPを活用して補正ターゲットと補正パターンを選択的に提供することによって、設備を簡素化し、車種/仕様毎の多様なADAS検査に柔軟に対応できるスマートファクトリー要素技術を確保できる効果がある。
【図面の簡単な説明】
【0015】
【
図1】本発明の一実施形態によるMMPを用いたADAS検査システムの構成を概略的に示す図である。
【
図2】本発明の一実施形態によるMMPの構成を概略的に示す図である。
【
図3】本発明の一実施形態によるMMPを用いたADAS検査方法を示すフローチャートである。
【
図4】本発明の一実施形態によるMMPを用いたADAS検査方法を示すフローチャートである。
【
図5】従来の車両工場のADAS検査方式を概略的に示す図である。
【発明を実施するための形態】
【0016】
以下、図面を参照しながら、本発明を実施するための具体例について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。しかし、本発明は、種々の異なる形態で実現可能であり、ここで説明する実施形態に限定されない。そして、図面において、本発明を明確に説明するために説明上不必要な部分は省略し、明細書全体にわたって類似の部分については類似の図面符号を付した。
【0017】
明細書全体において、ある部分がある構成要素を「含む」とする時、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに包含できることを意味する。また、明細書に記載された「…部」、「…器」、「モジュール」などの用語は、少なくとも1つの機能や動作を処理する単位を意味し、これはハードウェアやソフトウェアまたはハードウェアおよびソフトウェアの結合で実現される。
【0018】
明細書全体において、第1、第2、A、B、(a)、(b)などの用語は多様な構成要素を説明するのに使用されるが、構成要素はこれらの用語によって限定されない。このような用語は、その構成要素を他の構成要素と区別するためのものに過ぎず、その用語によって当該構成要素の本質や順番または順序などは限定されない。
【0019】
明細書全体において、ある構成要素が他の構成要素に「連結され」たり「接続される」と言及された時には、その他の構成要素に直接的に連結されているかまたは接続されていてもよいが、中間に他の構成要素が存在してもよい。これに対し、ある構成要素が他の構成要素に「直接連結され」るかまたは「直接接続される」と言及された時には、中間に他の構成要素が存在しない。
【0020】
明細書全体において使用した用語は単に特定の実施形態を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに異なって意味しない限り、複数の表現を含む。
【0021】
明細書全体において、「含む」、「有する」などに関連する用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性を予め排除しない。
【0022】
本明細書において異なって定義されない限り、技術的または科学的な用語を含む、本明細書で使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般に理解されるのと同一の意味を含む。一般に使用される辞書に定義されているような用語は関連技術の文脈上の意味と一致すると解釈され、本明細書において明らかに定義しない限り、理想的または過度に形式的な意味で解釈されない。
【0023】
以下、本発明の一実施形態によるMMPを用いたADAS検査システムおよびその方法について、図面を参照しながら詳細に説明する。
【0024】
図1は、本発明の一実施形態によるMMPを用いたADAS検査システムの構成を概略的に示す図である。
【0025】
図1を参照すると、本発明の一実施形態によるADAS(Advanced Driver Assistance System)検査システムは、車両に搭載されるOBD(On Board Diagnostics)端末10と、MMP(Mobile Manipulator)100と、サーバ200とを含む。
【0026】
車両は、先行工程で適用されたADASによるレーダ、レーザ、ライダー、およびカメラのうちの少なくとも1つのADASセンサ11を装着する。ADASセンサ(11a、11b)は、車両の指定された複数の箇所に装着され、車種/仕様に応じて装着位置、個数、およびスペックが異なる。
【0027】
ADASは、スマートクルーズコントロールシステム(Smart Cruise control、SCC)、多機能前方認識カメラ(Multi-Function Camera、MFC)、前方衝突警告システム(Forward Collision Warning、FCW)および後側方警報システム(Blind Spot Detection、BSD)、自動非常ブレーキシステム(Automatic Emergency Brake、AEB)、および駐車補助システム(Parking Assist System、PAS)などの機能を含む。さらに、車両は、車種に応じて、先行工程でADASよりも上位レベルの自律走行システムが適用され、そのための自律走行センサが装着される。これに対応して、本発明の一実施形態によるADAS検査システムは、車両に追加された機能およびセンサを移動式で検査する。以下、本発明において、ADAS検査は、ADAS機能の実行による関連ADASセンサの動作の可否と装着誤差を検出して補正する一連の作業を含む。
【0028】
OBD端末10は、車両工場で生産される車両に搭載され、外部機器との通信および外部指令に応じて車両のADAS動作を制御する。
【0029】
OBD端末10は、自らが搭載された車両が検査工程に進入すると、当該領域の中継器(Access Point、AP)230を介してサーバ200との診断通信を連結する。中継器230は、無線LAN(WiFi(登録商標))または無線移動通信(5G)を中継する。
【0030】
OBD端末10は、検査工程の中継器230を介して車両情報(ID)をサーバ200に伝送する。そして、サーバ200から車両情報(ID)ベースの車種および仕様に応じたADAS検査制御信号を受信する。
【0031】
また、OBD端末10は、車両内のゲートウェイ(GW)を介してADAS機能ECUと通信し、サーバ200から受信した車両走行信号に応じた車両の無人移動を制御する。このために、OBD端末10は、有線/無線通信手段および工場内での車両制御のためのプロセッサ、プログラム、およびメモリを含む。
【0032】
MMP100は、ADAS検査のための補正ターゲット部130の位置変更が可能なマニピュレータ120とその移動性を支援するAMR110とが一体に結合された協働ロボットであり、これを機能的な面で通称する時、ADAS検査のための「移動式補正ターゲット」と名付ける。
【0033】
MMP100は、車両周辺の前方、後方、および両側方のいずれか一箇所に移動しながら移動式補正ターゲット部130を検査目標位置に位置させる。これによって、MMP100は、車両を中心に多様な位置に設けられたADASセンサ(11a、11b)の装着状態を検査し、当該センサのずれた角度を補正できるようにする。この時、ADASセンサは、所定のオフセット値でずれた角度を自己較正する機能を含む。
【0034】
サーバ200は、本発明の一実施形態によるMMPを用いたADAS検査システムの運用を管理するコンピューティングシステムである。例えば、サーバ200は、当該ADAS検査工程に備えられたすべての設備を制御する検査装置であるか、または車両工場内の全般的な生産を管理するMES(Manufacturing Execution System)であってもよい。
【0035】
サーバ200は、中継器(AP)に接続されたOBD端末10を介して車両進入を認識し、PLC(Programmable Logic Controller)210を介して車両の検査位置センタリングの可否をチェックする。PLC210は、センタリング制御を担い、車両のセンタリング状態をタイヤなどに物理的な圧力を加えて固定する。
【0036】
サーバ200は、OBD端末10を介して車両情報(ID)を収集し、車両情報(ID)にマッチングされた車種/仕様に応じて適用されたADASセンサ11の情報を確認する。例えば、車両情報(ID)は、VIN(Vehicle Identification Number)であってもよい。
【0037】
サーバ200は、車両のセンタリングが完了すると、車両情報(ID)と車種/仕様に応じて適用されたADASセンサ11の情報の少なくとも1つを含むADAS検査命令をMMP100に伝送する。
【0038】
また、サーバ200は、OBD端末10からADAS検査結果を受信し、当該車両情報にマッチングさせて検査履歴を保存し、作業者端末220と共有する。
【0039】
一方、MMP(Mobile Manipulator)100は、自律移動ロボット(Autonomous Mobile Robot、AMR)110と、マニピュレータ120と、補正ターゲット部130と、ビジョンセンサ部140と、通信部150と、制御部160とを含む。
【0040】
AMR110は、スマートファクトリー(Smart Factory)が構築された車両工場で物品を移送したり多様な作業に活用されるマニピュレータ120を装着して移動する自律走行移動手段である。AMR110は、工場内での自律走行のために周辺を探知する自律走行センサを含む。
【0041】
AMR110は、自律走行センサを介して周辺を探知しながら自ら検査目標地点に移動し、移動中に障害物を回避する。
【0042】
AMR110は、事前にSLAM(Simultaneous Localization And Mapping)方式で生成された工場マップとその座標系(x、y、z)を保存し、これを活用して位置把握および自律走行する。
【0043】
マニピュレータ120は6軸多関節ロボットで、AMR110の上部に結合される。
マニピュレータ120は、制御信号に応じて姿勢を変換して、エンドエフェクタに装着された補正ターゲット部130を車両のADASセンサ検査のための目標位置に移動させる。
【0044】
ここで、補正ターゲット部130は四角のパネル形態で、ADAS検査方式とセンサの種類に応じて、一側面に形成された補正ターゲット131と、他の側面に形成された補正パターン132とを含む。
【0045】
このため、マニピュレータ120は、回転手段121によって補正ターゲット部130を回転可能に装着し、AMR110の現在位置で検査されるADAS検査方式とセンサの種類に合わせて前記補正ターゲット部130を180度回転させる。
【0046】
ビジョンセンサ部140は、検査目標地点に移動したAMR110の位置偏差を確認するために、ROI(Region of Interest)マーカをスキャニングする。ここで、ROI(位置)マーカは、ビジョンセンサ部140でイメージを処理するにあたり、オブジェクトを探知または検出する場合に必要な物理的なリソースであり、AMR110の位置偏差を計算するための相対的な原点座標である。
【0047】
ビジョンセンサ部140は、少なくとも1つのビジョンセンサを含み、例えば、マニピュレータ120に装着された補正ターゲット部130の側面部に付着される。
【0048】
通信部150は、中継器(AP)を介してOBD端末10およびサーバ200の少なくとも1つと無線通信を連結する。
【0049】
制御部160は、本発明の一実施形態によるMMP100に装着された移動式補正ターゲットを用いて車両に適用されたADASセンサの位置毎の装着状態を検査する全般的な動作を制御し、そのための少なくとも1つのプログラムおよびデータを含む。
【0050】
制御部160は、制御機能によって、検査制御モジュール161と、AMR制御モジュール162と、ロボット制御モジュール163とを含む。
【0051】
検査制御モジュール161は、検査工場に車両進入およびセンタリングが完了すると、サーバ200から当該車両情報(ID)を受信する。
【0052】
検査制御モジュール161は、車両情報(ID)にマッチングされた車種/仕様に応じたADAS機能検査項目と当該ADASセンサに対応する補正ターゲット部130の移動情報を把握する。このために、制御部160は、事前に車種/仕様に応じてマッチングされたADASセンサの装着位置、個数、およびスペックによる補正ターゲット部130の移動情報を保存する。
【0053】
また、検査制御モジュール161は、MMP100を用いたADAS検査アルゴリズムによるAMR制御モジュール162およびロボット制御モジュール163を連動させて、AMR110およびマニピュレータ120の動作を統合制御する。
【0054】
AMR制御モジュール162は、検査制御モジュール161から補正ターゲット部130の移動情報を受信すると、受信した目標地点にAMR110を移動させる。AMR110は、目標地点に表示されたROIマーカを認識可能な範囲内に移動する。この時、目標地点に移動したAMR110は、メーカーによって位置偏差が発生しうる。仮に、POC(Proof of concept)AMRの場合、100mmの位置偏差が発生しうる。
【0055】
したがって、AMR制御モジュール162は、ビジョンセンサ部140を介して確認された位置偏差を補償して最終目標位置値を導出し、ロボット制御モジュール163に伝送する。
【0056】
ロボット制御モジュール163は、AMR制御モジュール162から受信した最終目標位置値でマニピュレータ120の機構学的姿勢を制御して、補正ターゲット部130を最終目標位置に移動させる。この時、ロボット制御モジュール163は、当該ADAS検査方式とADASセンサの種類に応じて回転手段121を作動して、補正ターゲット131あるいは補正パターン132を選択的にセットする。
【0057】
ここで、本発明は、ビジョンセンサ部140の構成要素によって、位置偏差補償方式を下記のような多様な実施形態で実現することができる。
【0058】
例えば、第1実施形態によれば、ビジョンセンサ部140は、X、Y、Z軸毎に設けられたビジョンセンサを含み、これによって、AMR110の位置偏差を補償する。これは、AMRの位置偏差を補償するために各軸(X、Y、Z)毎にビジョンセンサを設けることによって、6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する方式である。
【0059】
この時、制御部160が、AMR110を特定の目標地点に移動させる段階と、ROI認識およびAMRの位置偏差を補償する段階と、補償された最終目標位置値でマニピュレータ120を制御して、補正ターゲット部130を最終目標位置に移動させる段階とを含む位置偏差補正手順を行う。
【0060】
また、第2実施形態によれば、ビジョンセンサ部140は、X、Y、Z軸のうちの2軸に設けられたビジョンセンサを含み、これによって、AMR110の位置偏差を補償する。これは、AMRの位置偏差を補償するために2軸にビジョンセンサを設けることによって、特定の位置、角度の計算後、6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する方式である。
【0061】
この時、制御部160が、AMR110を特定の目標地点に移動させる段階と、2軸のROI認識およびAMRの位置偏差を補償する段階と、補償された最終目標位置値でマニピュレータ120を制御して、補正ターゲット部130を最終目標位置に移動させる段階とを含む位置偏差補正手順を行う。
【0062】
また、第3実施形態によれば、ビジョンセンサ部140は、2Dおよび3Dビジョンセンサを含み、2Dおよび3D視野(FOV)が十分でない場合、2Dビジョンを活用して3Dビジョンが認識可能な位置に移動後、3Dビジョンを活用して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する。
【0063】
この時、制御部160が、AMR110を特定の目標地点に移動させる段階と、2DビジョンでROIを認識する段階と、3Dビジョンが認識可能な位置に移動してAMRの位置偏差を補償する段階と、補償された最終目標位置値でマニピュレータ120を制御して、補正ターゲット部130を最終目標位置に移動させる段階とを含む位置偏差補正手順を行う。
【0064】
また、第4実施形態によれば、ビジョンセンサ部140は、3Dビジョンセンサを含み、3D視野(FOV)が十分な場合、AMRの位置偏差を前記3Dビジョンセンサが認識可能な位置に移動後、3Dビジョンを活用して6軸の位置(X、Y、Z、Yaw、Pitch、Roll)を補正する。
【0065】
この時、制御部160が、AMR110を特定の目標地点に移動させる段階と、3D形状ターゲットを認識する段階と、3Dビジョンを用いてAMRの位置偏差を補償する段階と、補償された最終目標位置値でマニピュレータ120を制御して、補正ターゲット部130を最終目標位置に移動させる段階とを含む位置偏差補正手順を行う。
【0066】
このような制御部160の各モジュール(161、162、163)は、設定されたプログラムによって動作する1つ以上のプロセッサで実現可能であり、設定されたプログラムは、本発明の一実施形態によるMMPを用いたADAS検査方法の各段階を行うようにプログラミングされたものであってもよい。
【0067】
また、先に図面を参照して説明した本発明の一実施形態によるMMP100の構成要素は、統合されるか、機能により細分化できるが、当該名称にこだわらず、上述した機能を行う構成要素は、本発明の一実施形態によるMMP100の構成になり得ることを明確にする。したがって、以下、本発明の一実施形態によるMMPを用いたADAS検査方法を説明するにあたり、各段階の主体は、当該構成要素ではない、MMP100を主体として説明する。
【0068】
以下、
図3および
図4を参照して、MMPを用いたADAS検査方法を具体的に説明する。
【0069】
図3および
図4は、本発明の一実施形態によるMMPを用いたADAS検査方法を示すフローチャートである。
【0070】
図3および
図4を参照すると、MMP100は、ホームポジションで待機中にADAS検査工程への車両進入およびセンタリングを完了すると、これを認識したサーバ200から車両情報(ID)を含むADAS検査命令を受信する(S1)。
【0071】
MMP100は、車両情報(ID)の車種/仕様に応じたADAS検査項目を把握し(S2)、AMR110を介して検査目標地点に移動する(S3)。
【0072】
以下、説明の便宜上、MMP100が最初に車両前方に移動して前方ADAS検査を行った後、車両の後方に移動して後方ADAS検査を行うシナリオを仮定して説明する。
【0073】
MMP100は、車両の前方ADAS検査のための目標地点に到着すると、ビジョンセンサ部140を介してROIマーカをスキャニングする(S4)。
【0074】
MMP100は、ROIマーカにより認識された原点座標を基準としてAMRの位置偏差を補償して、マニピュレータ120の姿勢制御のための最終目標位置値を導出する(S5)。ここで、AMRの位置偏差を補償する方式は、上述したビジョンセンサ部140の構成要素による多様な実施形態(第1~第4実施形態)のいずれか1つの位置偏差補償方式が適用可能である。
【0075】
MMP100は、最終目標位置値に基づいたマニピュレータ120の姿勢制御により、補正ターゲット部130を最終目標位置に移動させる(S6)。この時、MMP100は、当該ADAS検査方式とADASセンサの種類に応じてマニピュレータ120の回転手段121を作動させて、補正ターゲット131または補正パターン132を選択的に位置させる。
【0076】
まず、MMP100は、車両前方に位置した状態で、前方ADAS検査を行う(S7)。
【0077】
例えば、前方ADAS検査は、検査項目によって、MFC検査段階S7-1、SCC検査段階S7-2、HUD検査段階S7-3などを順次に行う。
【0078】
各検査段階は、MMP100が当該検査の最終目標位置に補正ターゲット部130を位置させた状態で、サーバ200の指令に応じて、車両のOBD端末10で当該ADAS機能を制御(作動)した後、ADASセンサの誤差を補正する過程で実施される。
【0079】
また、各検査段階のうち、特定のADASセンサの検査位置がマニピュレータ120の作動範囲を外れる場合(例;センサが前方の左右対角線に位置した場合)、AMR110の移動が必要なため、S3~S6段階を行って次の目標地点に移動後、補正ターゲット部130をセットする。
【0080】
一方、MMP100は、前方ADAS検査を完了した後に、車両の後方ADAS検査が存在するので(S9;はい)、S3段階に戻って、車両の後方ADAS検査のための目標地点に移動後、S4~S6段階を行う。
【0081】
そして、MMP100は、車両の後方に位置した状態で、後方ADAS検査を行う(S8)。
【0082】
例えば、後方ADAS検査は、検査項目によって、BSD検査段階S8-1、FCW検査段階S8-2、PAS検査段階S8-3などを順次に行い、上記と同様に、車両のOBD端末10で当該ADSA機能を制御する。
【0083】
以後、MMP100は、後方ADAS検査を完了した後、車両の次の検査項目がさらに存在すれば(例;車両の両側にADASセンサがさらに存在する場合)、上記と同様に、S3段階に戻って、残りの検査をさらに行う。
【0084】
これに対し、MMP100は、次の検査が存在しなければ(S9;いいえ)、マニピュレータ120を介して補正ターゲット部130を元の位置に戻し、AMR110を介してホームポジションに復帰して、次の検査作業を待機する(S10)。
【0085】
この時、MMP100がホームポジション到着信号をサーバ200に伝送すると、車両のセンタリングが解除され、ADAS検査工程から進出する(S11)。
【0086】
以上のMMPを用いたADAS検査方法では、車両の前方ADAS検査後に、後方ADAS検査を行うことを仮定したが、その順序はこれに限定されず、工程設計/効率により変更可能であることは自明である。また、ADAS検査段階の種類も上記に限定されず、車種/仕様に応じた検査項目により追加または省略可能である。
【0087】
このように、本発明の一実施形態によれば、MMPを活用した移動式補正ターゲットによりADAS検査システムを実現することによって、位置および空間に制約なく柔軟な運営が可能であり、工事期間の短縮および費用を節減できる効果がある。
【0088】
また、複雑なフレーム設備と補正ターゲット固定構造物なしに、1つのMMPを活用して補正ターゲットと補正パターンを選択的に提供することによって、設備を簡素化し、車種/仕様毎の多様なADAS検査に柔軟に対応できるスマートファクトリー要素技術を確保できる効果がある。
【0089】
本発明の実施形態は、以上に説明した装置および/または方法によってのみ実現されるのではなく、本発明の一実施形態の構成に対応する機能を実現するためのプログラム、そのプログラムが記録された記録媒体などを介して実現されてもよいし、このような実現は上述した実施形態の記載から本発明の属する技術分野における専門家であれば容易に実現できる。
【0090】
以上、本発明の一実施形態について詳細に説明したが、本発明の技術範囲はこれに限定されるものではなく、本発明の基本概念を利用した当業者の様々な変形および改良形態も本発明の技術範囲に属する。
【符号の説明】
【0091】
10 OBD端末
11 ADASセンサ
100 MMP
110 自律移動ロボット(AMR)
120 マニピュレータ
121 回転手段
130 補正ターゲット部
131 補正ターゲット
132 補正パターン
140 ビジョンセンサ部
150 通信部
160 制御部
161 検査制御モジュール
162 AMR制御モジュール
163 ロボット制御モジュール
200 サーバ
210 PLC
220 作業者端末
230 中継器(AP)
【外国語明細書】