(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-13
(45)【発行日】2023-10-23
(54)【発明の名称】製造工場で物品を搬送するモバイルロボットの動作方法
(51)【国際特許分類】
G05D 1/02 20200101AFI20231016BHJP
【ＦＩ】
G05D1/02 R
G05D1/02 H
G05D1/02 P
【請求項の数】
20
(21)【出願番号】P 2022198033
(22)【出願日】2022-12-12
(65)【公開番号】P2023092491
(43)【公開日】2023-07-03
【審査請求日】2022-12-12
(31)【優先権主張番号】10-2021-0183510
(32)【優先日】2021-12-21
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】520236767
【氏名又は名称】サムス カンパニー リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】ハ、ソン ソク
(72)【発明者】
【氏名】チェ、イン ソン
(72)【発明者】
【氏名】リ、ソン チョン
【審査官】田中 友章
(56)【参考文献】
【文献】特開２０２０－１９７７７０（ＪＰ，Ａ）
【文献】特開２０１８－４０６５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／０２
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
製造工場で物品を搬送するモバイルロボットの動作方法であって、三次元深度画像を取得するステップと、
前記三次元深度画像から前記製造工場の床面における前記モバイルロボットの走行経路に該当する関心領域を抽出するステップと、
前記関心領域から検出されるオブジェクトを前記床面に対応する基準平面に投影することにより、投影されたポイントクラウドを生成するステップと、
前記基準平面にボクセルが充填された仮想のポイントクラウドを生成するステップと、
前記仮想のポイントクラウドと前記投影されたポイントクラウドとを比較して、前記床面に存在するホールを検出するステップと、
前記ホールを回避して走行するステップと、を含む、モバイルロボットの動作方法。
【請求項2】
前記関心領域を抽出するステップは、前記三次元深度画像における基準高さを中心に下部床感知範囲で前記モバイルロボットの走行経路に該当する領域を前記関心領域として設定するステップを含む、請求項１に記載のモバイルロボットの動作方法。
【請求項3】
前記投影されたポイントクラウドを生成するステップは、前記三次元深度画像の前記関心領域のボクセルを前記基準平面に投影するステップと、
前記投影されたボクセルに対してボクセルフィルタを適用することにより、前記投影されたポイントクラウドを生成するステップと、を含む、請求項１に記載のモバイルロボットの動作方法。
【請求項4】
前記ボクセルフィルタは、前記基準平面に位置するボクセルの個数を減少させるフィルタである、請求項３に記載のモバイルロボットの動作方法。
【請求項5】
前記ボクセルフィルタは、前記基準平面における単位領域に位置するボクセルの個数が閾値と同じかそれより大きい場合、前記単位領域に位置するボクセルを１つのボクセルに変換し、
前記基準平面における単位領域に位置するボクセルの個数が閾値よりも小さい場合、前記単位領域のボクセルを削除する、請求項４に記載のモバイルロボットの動作方法。
【請求項6】
前記仮想のポイントクラウドを生成するステップは、前記基準平面の前記ボクセルフィルタの単位領域にボクセルが充填された仮想のポイントクラウドを生成するステップを含む、請求項５に記載のモバイルロボットの動作方法。
【請求項7】
前記床面に存在するホールを検出するステップは、前記仮想のポイントクラウドから、前記投影されたポイントクラウドと重畳するボクセルを除去することにより、残余ポイントクラウドを生成するステップと、
前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域を、ホール領域として検出するステップと、を含む、請求項６に記載のモバイルロボットの動作方法。
【請求項8】
前記ホールを回避して走行するステップは、前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域に対する反転を適用することにより、前記三次元深度画面における前記ホール領域のボクセルを障害物オブジェクトに変換するステップと、
前記障害物オブジェクトを回避して目標位置へ走行するように移動経路を設定するステップと、を含む、請求項７に記載のモバイルロボットの動作方法。
【請求項9】
製造工場で物品を搬送するモバイルロボットであって、前記製造工場の内部空間を走行するロボット本体と、
前記ロボット本体に設置された深度カメラと、
前記ロボット本体の走行を制御するプロセッサと、を含み、
前記プロセッサは、
前記深度カメラから三次元深度画像を取得し、
前記三次元深度画像から前記製造工場の床面における前記モバイルロボットの走行経路に該当する関心領域を抽出し、
前記関心領域から検出されるオブジェクトを前記床面に対応する基準平面に投影することにより、投影されたポイントクラウドを生成し、
前記基準平面にボクセルが充填された仮想のポイントクラウドを生成し、
前記仮想のポイントクラウドと前記投影されたポイントクラウドとを比較して、前記床面に存在するホールを検出し、
前記ホールを回避して走行するように前記ロボット本体を制御する、モバイルロボット。
【請求項10】
前記プロセッサは、前記三次元深度画像における基準高さの下部床感知範囲で前記モバイルロボットの走行経路に該当する領域を前記関心領域として設定する、請求項９に記載のモバイルロボット。
【請求項11】
前記プロセッサは、前記三次元深度画像の前記関心領域のボクセルを前記基準平面に投影し、
前記投影されたボクセルに対してボクセルフィルタを適用することにより、前記投影されたポイントクラウドを生成する、請求項９に記載のモバイルロボット。
【請求項12】
前記ボクセルフィルタは、前記基準平面に位置するボクセルの個数を減少させるフィルタである、請求項１１に記載のモバイルロボット。
【請求項13】
前記ボクセルフィルタは、前記基準平面における単位領域に位置するボクセルの個数が閾値と同じかそれより大きい場合、前記単位領域に位置するボクセルを１つのボクセルに変換し、
前記基準平面における単位領域に位置するボクセルの個数が閾値よりも小さい場合、前記単位領域のボクセルを削除する、請求項１２に記載のモバイルロボット。
【請求項14】
前記プロセッサは、前記基準平面の前記ボクセルフィルタの単位領域にボクセルが充填された仮想のポイントクラウドを生成する、請求項１３に記載のモバイルロボット。
【請求項15】
前記プロセッサは、前記仮想のポイントクラウドから、前記投影されたポイントクラウドと重畳するボクセルを除去することにより、残余ポイントクラウドを生成し、
前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域をホール領域として検出する、請求項１４に記載のモバイルロボット。
【請求項16】
前記プロセッサは、前記基準平面における前記残余ポイントクラウドのボクセルが存在する領域に対する反転を適用することにより、前記三次元深度画像における前記ホール領域のボクセルを障害物オブジェクトに変換し、
前記障害物オブジェクトを回避して目標位置へ走行するように前記ロボット本体の移動経路を設定する、請求項１５に記載のモバイルロボット。
【請求項17】
製造工場における物品搬送システムであって、前記製造工場で物品の搬送のための命令を伝送するシステム制御器と、
前記命令に従って前記物品を搬送するモバイルロボットと、を含み、
前記モバイルロボットは、
前記製造工場の内部空間を走行するロボット本体と、
前記ロボット本体に設置され、三次元深度画像を生成する深度カメラと、
前記ロボット本体の走行を制御し、前記三次元深度画像の上部関心領域から前記モバイルロボットの走行経路に位置した障害物を検出し、前記三次元深度画像の下部関心領域から前記製造工場の床面に位置したホールを検出するプロセッサと、を含み、
前記プロセッサは、
前記下部関心領域から検出されるオブジェクトを前記床面に対応する基準平面に投影することにより、投影されたポイントクラウドを生成し、
前記基準平面にボクセルが充填された仮想のポイントクラウドを生成し、
前記仮想のポイントクラウドと前記投影されたポイントクラウドとを比較して、前記床面に存在するホールを検出し、
前記ホールを回避して走行するように前記ロボット本体を制御する、物品搬送システム。
【請求項18】
前記モバイルロボットは、前記ホールの位置情報を前記システム制御器へ送信し、前記システム制御器は、前記ホールの位置情報を保存して他のモバイルロボットへ伝送する、請求項１７に記載の物品搬送システム。
【請求項19】
前記プロセッサは、前記三次元深度画像の前記下部関心領域のボクセルを前記基準平面に投影し、
前記投影されたボクセルに対してボクセルフィルタを適用することにより、前記投影されたポイントクラウドを生成し、
前記基準平面の前記ボクセルフィルタの単位領域にボクセルが充填された仮想のポイントクラウドを生成し、
前記仮想のポイントクラウドから、前記投影されたポイントクラウドと重畳するボクセルを除去することにより、残余ポイントクラウドを生成し、
前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域をホール領域として検出し、
前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域に対する反転を適用することにより、前記三次元深度画像における、前記ホール領域のボクセルを障害物オブジェクトに変換し、
前記障害物オブジェクトを回避して目標位置へ走行するように前記ロボット本体の移動経路を設定する、請求項１７に記載の物品搬送システム。
【請求項20】
前記ボクセルフィルタは、前記基準平面における単位領域に位置するボクセルの個数が閾値と同じかそれより大きい場合、前記単位領域に位置するボクセルを１つのボクセルに変換し、
前記基準平面における単位領域に位置するボクセルの個数が閾値よりも小さい場合、前記単位領域のボクセルを削除する、請求項１９に記載の物品搬送システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、製造工場で物品を搬送するモバイルロボットの動作方法、モバイルロボット、及びモバイルロボットを含む物品搬送システムに関する。
【背景技術】
【0002】
半導体又はディスプレイ製造工程は、基板（ウェーハ又はガラス）上に数十～数百段階の処理工程を経て最終製品を製造する工程であって、各工程ごとに当該工程を行う製造設備によって行われる。特定の製造設備における工程が終了したら、次の工程を行うために物品（基板）が次の製造設備へ搬送され、一定期間の間は保管設備で保管され得る。
【0003】
物品搬送システムは、上述したように、製造工程のために物品を搬送又は保管するシステムを指し示し、物品を搬送する搬送システムと、物品を貯蔵する貯蔵システムとに大きく区分される。
【0004】
物品搬送システムにおいて、天井に設置されたレールに沿って走行するＯＨＴ（ｏｖｅｒｈｅａｄ ｈｏｉｓｔ ｔｒａｎｓｐｏｒｔ）システムだけでなく、自律走行車両のように床面に沿って走行しながら物品を搬送するモバイルロボット（Ｍｏｂｉｌｅ Ｒｏｂｏｔ）が導入されている。モバイルロボットは、製造工場の内部空間を走行しながら各種障害物と衝突する危険があるので、カメラ、レーダー（Ｒａｄａｒ）又はライダー（Ｌｉｄａｒ）を用いて障害物を回避するための様々な技術が紹介されている。
【0005】
ただし、一般な障害物検出技術は、周辺に位置した障害物オブジェクトを検出する方法に集中しているが、半導体製造工場の場合、床面に孔（ホール）が形成される場合があるため、障害物オブジェクトだけでなく、床面に形成されたホールを検出し回避するための方法が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、本発明の実施形態は、製造工場の床面に形成されたホールを検出することができるモバイルロボットの動作方法、モバイルロボット、及びモバイルロボットを含む物品搬送システムを提供する。
【0007】
本発明の解決課題は、上述したものに限定されず、上述していない他の解決課題は、以降の記載から当業者には明確に理解できるであろう。
【課題を解決するための手段】
【0008】
本発明の実施形態による製造工場で物品を搬送するモバイルロボットの動作方法は、三次元深度画像を取得するステップと、前記三次元深度画像から前記製造工場の床面における前記モバイルロボットの走行経路に該当する関心領域を抽出するステップと、前記関心領域から検出されるオブジェクトを前記床面に対応する基準平面に投影することにより、投影されたポイントクラウドを生成するステップと、前記基準平面にボクセルが充填された仮想のポイントクラウドを生成するステップと、前記仮想のポイントクラウドと前記投影されたポイントクラウドとを比較して、前記床面に存在するホールを検出するステップと、前記ホールを回避して走行するステップと、を含む。
【0009】
本発明の実施形態によれば、前記関心領域を抽出するステップは、前記三次元深度画像における基準高さを中心に下部床感知範囲で前記モバイルロボットの走行経路に該当する領域を前記関心領域として設定するステップを含むことができる。
【0010】
本発明の実施形態によれば、前記投影されたポイントクラウドを生成するステップは、前記三次元深度画像の前記関心領域のボクセルを前記基準平面に投影するステップと、前記投影されたボクセルに対してボクセルフィルタを適用することにより、前記投影されたポイントクラウドを生成するステップと、を含むことができる。
【0011】
本発明の実施形態によれば、前記ボクセルフィルタは、前記基準平面に位置するボクセルの個数を減少させるフィルタであり得る。
【0012】
本発明の実施形態によれば、前記ボクセルフィルタは、前記基準平面における単位領域に位置するボクセルの個数が閾値と同じかそれより大きい場合、前記単位領域に位置するボクセルを１つのボクセルに変換し、前記基準平面における単位領域に位置するボクセルの個数が閾値よりも小さい場合、前記単位領域のボクセルを削除することができる。
【0013】
本発明の実施形態によれば、前記仮想のポイントクラウドを生成するステップは、前記基準平面の前記ボクセルフィルタの単位領域にボクセルが充填された仮想のポイントクラウドを生成するステップを含むことができる。
【0014】
本発明の実施形態によれば、前記床面に存在するホールを検出するステップは、前記仮想のポイントクラウドから、前記投影されたポイントクラウドと重畳するボクセルを除去することにより、残余ポイントクラウドを生成するステップと、前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域をホール領域として検出するステップと、を含むことができる。
【0015】
本発明の実施形態によれば、前記ホールを回避して走行するステップは、前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域に対する反転を適用することにより、前記三次元深度画面における前記ホール領域のボクセルを障害物オブジェクトに変換するステップと、前記障害物オブジェクトを回避して目標位置へ走行するように移動経路を設定するステップと、を含むことができる。
【0016】
本発明の実施形態による製造工場で物品を搬送するモバイルロボットは、前記製造工場の内部空間を走行するロボット本体と、前記ロボット本体に設置された深度カメラと、前記ロボット本体の走行を制御するプロセッサと、を含む。前記プロセッサは、前記深度カメラから三次元深度画像を取得し、前記三次元深度画像から前記製造工場の床面における前記モバイルロボットの走行経路に該当する関心領域を抽出し、前記関心領域から検出されるオブジェクトを前記床面に対応する基準平面に投影することにより、投影されたポイントクラウドを生成し、前記基準平面にボクセルが充填された仮想のポイントクラウドを生成し、前記仮想のポイントクラウドと前記投影されたポイントクラウドとを比較して、前記床面に存在するホールを検出し、前記ホールを回避して走行するように前記ロボット本体を制御する。
【0017】
本発明の実施形態によれば、前記プロセッサは、前記三次元深度画像における基準高さの下部床感知範囲で前記モバイルロボットの走行経路に該当する領域を前記関心領域として設定することができる。
【0018】
本発明の実施形態によれば、前記プロセッサは、前記三次元深度画像の前記関心領域のボクセルを前記基準平面に投影し、前記投影されたボクセルに対してボクセルフィルタを適用することにより、前記投影されたポイントクラウドを生成することができる。
【0019】
本発明の実施形態によれば、前記ボクセルフィルタは、前記基準平面に位置するボクセルの個数を減少させるフィルタであり得る。
【0020】
本発明の実施形態によれば、前記ボクセルフィルタは、前記基準平面における単位領域に位置するボクセルの個数が閾値と同じかそれより大きい場合、前記単位領域に位置するボクセルを１つのボクセルに変換し、前記基準平面における単位領域に位置するボクセルの個数が閾値よりも小さい場合、前記単位領域のボクセルを削除することができる。
【0021】
本発明の実施形態によれば、前記プロセッサは、前記基準平面の前記ボクセルフィルタの単位領域にボクセルが充填された仮想のポイントクラウドを生成することができる。
【0022】
本発明の実施形態によれば、前記プロセッサは、前記仮想のポイントクラウドから、前記投影されたポイントクラウドと重畳するボクセルを除去することにより、残余ポイントクラウドを生成し、前記基準平面における前記残余ポイントクラウドのボクセルが存在する領域をホール領域として検出することができる。
【0023】
本発明の実施形態によれば、前記プロセッサは、前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域に対する反転を適用することにより、前記三次元深度画像における前記ホール領域のボクセルを障害物オブジェクトに変換し、前記障害物オブジェクトを回避して目標位置へ走行するように前記ロボット本体の移動経路を設定することができる。
【0024】
本発明による製造工場における物品搬送システムは、前記製造工場で物品搬送のための命令を伝送するシステム制御器と、前記命令に従って前記物品を搬送するモバイルロボットと、を含む。前記モバイルロボットは、前記製造工場の内部空間を走行するロボット本体と、前記ロボット本体に設置され、三次元深度画像を生成する深度カメラと、前記ロボット本体の走行を制御し、前記三次元深度画像の上部関心領域から前記モバイルロボットの走行経路に位置した障害物を検出し、前記三次元深度画像の下部関心領域から前記製造工場の床面に位置したホールを検出するプロセッサと、を含む。前記プロセッサは、前記下部関心領域から検出されるオブジェクトを前記床面に対応する基準平面に投影することにより、投影されたポイントクラウドを生成し、前記基準平面にボクセルが充填された仮想のポイントクラウドを生成し、前記仮想のポイントクラウドと前記投影されたポイントクラウドとを比較して、前記床面に存在するホールを検出し、前記ホールを回避して走行するように前記ロボット本体を制御する。
【0025】
本発明の実施形態によれば、前記モバイルロボットは、前記ホールの位置情報を前記システム制御器へ送信し、前記システム制御器は、前記ホールの位置情報を保存して他のモバイルロボットへ伝送することができる。
【0026】
本発明の実施形態によれば、前記プロセッサは、前記三次元深度画像の前記下部関心領域のボクセルを前記基準平面に投影し、前記投影されたボクセルに対してボクセルフィルタを適用することにより、前記投影されたポイントクラウドを生成し、前記基準平面の前記ボクセルフィルタの単位領域にボクセルが充填された仮想のポイントクラウドを生成し、前記仮想のポイントクラウドから、前記投影されたポイントクラウドと重畳するボクセルを除去することにより、残余ポイントクラウドを生成し、前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域をホール領域として検出し、前記基準平面における、前記残余ポイントクラウドのボクセルが存在する領域に対する反転を適用することにより、前記三次元深度画像における前記ホール領域のボクセルを障害物オブジェクトに変換し、前記障害物オブジェクトを回避して目標位置へ走行するように前記ロボット本体の移動経路を設定することができる。
【0027】
本発明の実施形態によれば、前記ボクセルフィルタは、前記基準平面における単位領域に位置するボクセルの個数が閾値と同じかそれより大きい場合、前記単位領域に位置するボクセルを１つのボクセルに変換し、前記基準平面における単位領域に位置するボクセルの個数が閾値よりも小さい場合、前記単位領域のボクセルを削除することができる。
【発明の効果】
【0028】
本発明によれば、三次元深度画像から投影されたポイントクラウドと仮想のポイントクラウドとを比較して、製造工場の床面に存在するホールを検出することができる。
【0029】
本発明の効果は、上述したものに限定されず、上述していない他の効果は、以降の記載から当業者に明確に理解できるであろう。
【図面の簡単な説明】
【0030】
【図1】本発明が適用できる製造工場の製造設備及び物品を搬送するモバイルロボットを概略的に示す。
【図2】本発明によるモバイルロボットの概略構成を示す。
【図3】本発明によるモバイルロボットの概略構成を示す。
【図4】本発明によるモバイルロボットの動作方法を示すフローチャートである。
【図5】本発明によるモバイルロボットの動作方法を示すフローチャートである。
【図6】本発明によるモバイルロボットの動作方法を示すフローチャートである。
【図7】本発明によるモバイルロボットの動作方法を示すフローチャートである。
【図8】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図9】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図10】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図11】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図12】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図13】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図14】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図15】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図16】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図17】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図18】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図19】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図20】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図21】本発明の実施形態における三次元深度画像から床面に存在するホールを検出する過程を説明するための例示図である。
【図22】本発明による物品搬送システムの概略構造を示す。
【図23】本発明による物品搬送システムにおいて障害物及びホールを検出するためのモバイルロボットの動作方法を示すフローチャートである。
【図24】障害物及びホールを検出するための感知範囲を示す。
【図25】障害物の位置情報を共有するための物品搬送システムの信号流れ図である。
【発明を実施するための形態】
【0031】
以下、添付図面を参照して、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。本発明は、種々の異なる形態で実現でき、ここで説明する実施形態に限定されない。
【0032】
本発明を明確に説明するために、説明と関係のない部分は省略し、明細書全体にわたり、同一又は類似の構成要素に対しては同一の参照符号を付す。
【0033】
また、幾つかの実施形態において、同一の構成を有する構成要素については同一の符号を用いて代表的な実施形態でのみ説明し、それ以外の他の実施形態では代表的な実施形態とは異なる構成についてのみ説明する。
【0034】
本明細書全体において、ある部分が他の部分と「連結（又は結合）」されているとするとき、これは、「直接的に連結（又は結合）」されている場合だけでなく、別の部材を挟んで「間接的に連結（又は結合）」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。
【0035】
他に定義されない限り、技術的又は科学的用語を含めてここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般に理解されるのと同じ意味を持っている。一般的に使用される辞書に定義されている用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願で明確に定義しない限り、理想的又は過度に形式的な意味で解釈されない。
【0036】
以下、本発明による製造工場で物品を搬送するモバイルロボットの動作方法、モバイルロボット、及びモバイルロボットを含む物品搬送システムについて説明する。
【0037】
図１は、本発明が適用できる製造工場１の製造設備２及び物品を搬送するモバイルロボット１０を概略的に示す。
【0038】
図１に示すように、製造工場１には、製造工程を行うための製造設備２が配置され、製造設備２に必要な物品を搬送するためのモバイルロボット１０が製造工場１の内部空間を走行する。製造設備２は、半導体製品を生産するために、ウェーハに各種工程処理（例えば、塗布、露光、エッチング、蒸着、洗浄）を行うことができる装備であり得る。ウェーハは、ＦＯＵＰ（Ｆｒｏｎｔ Ｏｐｅｎｉｎｇ Ｕｎｉｆｉｅｄ Ｐｏｄ）（Ｆ）に収納された状態で移送され、モバイルロボット１０は、特定の設備でＦＯＵＰ（Ｆ）を受け取り、ＦＯＵＰ（Ｆ）を保管した状態で他の設備へ走行し、他の設備にＦＯＵＰ（Ｆ）を伝達することができる。一方、モバイルロボット１０は、ＦＯＵＰ（Ｆ）だけでなく、露光のためのレチクルを保管するポッド（Ｐｏｄ）又は各種資材を運搬することができる。
【0039】
モバイルロボット１０は、製造工場の内部空間を走行する車両であって、所定の経路に沿って走行することもでき、不特定の経路に沿って走行することもできる。モバイルロボット１０は、図２２のシステム制御器５から作業命令を受信し、作業命令に従って走行することができる。作業命令は、出発地点、到着地点、物品情報を含むことができる。モバイルロボット１０は、内部に構成されたメモリ（図示せず）に製造工場１のマップ情報を保存し、マップ情報を用いて、出発地点から到着地点まで走行するための経路を生成することができる。以下、モバイルロボット１０の例示的な構成について説明する。
【0040】
図２及び図３は、本発明によるモバイルロボット１０の概略構成を示す。本発明による製造工場１で物品を搬送するモバイルロボット１０は、製造工場１の内部空間を走行するロボット本体１１０と、ロボット本体１１０に設置された深度カメラ１２０と、ロボット本体１１０の走行を制御するプロセッサ１３０と、を含む。
【0041】
ロボット本体１１０は、製造工場１において物品の搬送のために一定の経路を走行するように設定される。ロボット本体１１０は、加速、減速、操舵などの駆動のための各種駆動装置を含むことができる。また、ロボット本体１１０の外部又は内部空間には、ロボット本体１１０の走行のために必要な情報を取得するためのセンサ及びカメラが配置される。
【0042】
一方、図２に示すように、モバイルロボット１０においてロボット本体１１０の上部に物品を保管するための保管部１１５が構成される。保管部１１５において物品（例えば、ＦＯＵＰ（Ｆ））を保管するための保管領域に構成される。
【0043】
深度カメラ（Ｄｅｐｔｈ Ｃａｍｅｒａ）１２０は、ロボット本体１１０の周辺を撮影して三次元深度画像を生成し、三次元深度画像をプロセッサ１３０へ提供することができる。深度カメラ１２０は、ロボット本体１１０の外部、特に前方に設置されることにより、ロボット本体１１０の位置を決定したり、走行経路に位置した障害物を認識したりすることができる。深度カメラ１２０は、複数個で構成され、例えば、前方と後方にそれぞれ１つずつ設置されてもよく、前方に複数個が設置されてそれぞれ異なる方向（左、右）の画像を撮影することができる。三次元深度画像は、三次元空間に構成された複数のボクセルで構成され、それぞれのボクセルは、（ｘ，ｙ，ｚ）座標によって定義される。
【0044】
プロセッサ１３０は、ロボット本体１１０の走行のための演算処理を行い、ロボット本体１１０の駆動装置を制御することができる。プロセッサ１３０は、大きく、演算処理のための複数のプロセッシングユニット（ＣＰＵ、ＧＰＵ）と、駆動装置の制御のための制御器とで構成される。特に、プロセッサ１３０は、深度カメラ１２０によって撮影された三次元深度画像から、障害物だけでなく、床面に存在する孔（ホール）を検出し、障害物及びホールを回避して走行するようにロボット本体１１０を制御することができる。以下、製造工場１の床面に形成されたホールを検出することができるモバイルロボット１０の動作方法について説明する。以下に説明される動作方法は、プロセッサ１３０によって実行できる。
【0045】
【0046】
本発明によるモバイルロボット１０の動作方法は、三次元深度画像ＩＭＧ１を取得するステップ（Ｓ４１０）と、三次元深度画像ＩＭＧ１から製造工場１の床面におけるモバイルロボット１０の走行経路に該当する関心領域ＲＯＩを抽出するステップ（Ｓ４２０）と、関心領域ＲＯＩから検出される物体を床面に対応する基準平面ＲＰに投影することにより、投影されたポイントクラウドＰＣ２を生成するステップ（Ｓ４３０）と、基準平面ＲＰにボクセル（Ｖｏｘｅｌ）が充填された仮想のポイントクラウドＰＣ３を生成するステップ（Ｓ４４０）と、仮想のポイントクラウドＰＣ３と投影されたポイントクラウドＰＣ２とを比較して、床面に存在するホールｈｌを検出するステップ（Ｓ４５０）と、ホールｈｌを回避して走行するステップ（Ｓ４６０）と、を含む。
【0047】
三次元深度画像ＩＭＧ１を取得するステップ（Ｓ４１０）で、図８に示すような画像が取得され、一般な障害物ｏｂの場合は容易に検出が可能であるが、床面に形成されたホールｈｌの場合は当該部分にボクセル値が存在しないため、単に障害物として認識しにくいという問題がある。本発明の実施形態は、床面に形成されたホールｈｌの１つの障害物として認識し、ホールｈｌを回避してモバイルロボット１０が走行するようにする方法を提供する。
【0048】
本発明の実施形態によれば、関心領域ＲＯＩを抽出するステップ（Ｓ４２０）は、三次元深度画像ＩＭＧ１における基準高さを中心として下部床感知範囲でモバイルロボット１０の走行経路に該当する領域を、前記製造工場の床面に該当する関心領域ＲＯＩとして設定するステップを含むことができる。例えば、基準高さは、深度カメラ１２０が設置される高さに設定されてもよい。図９は、下部床感知範囲でモバイルロボット１０の走行経路に該当する領域を関心領域ＲＯＩとして設定した場合を示し、図１０のように関心領域ＲＯＩに対する三次元深度画像が抽出され得る。図１０において、ホールｈｌのように空いた領域にはボクセルが存在しなくなる。
【0049】
本発明の実施形態によれば、投影されたポイントクラウドＰＣ２を生成するステップ（Ｓ４４０）は、図５に示すように、三次元深度画像ＩＭＧ１の関心領域ＲＯＩのボクセルを基準平面ＲＰに投影するステップ（Ｓ４４１）と、投影されたボクセルｖｘ１に対してボクセルフィルタＸを適用することにより、投影されたポイントクラウドＰＣ２を生成するステップ（Ｓ４４２）と、を含むことができる。
【0050】
関心領域ＲＯＩのボクセルを基準平面ＲＰに投影するステップ（Ｓ４４１）で、図１０の三次元深度画像は、図１１のように２次元平面の画像のポイントクラウドＰＣ１に変換できる。このとき、ホールｈｌの領域にボクセルが存在しないので、空いた領域が存在する。
【0051】
図１１のポイントクラウドＰＣ１に対する迅速な演算処理のために、ボクセルフィルタＸが適用できる。
【0052】
本発明の実施形態によれば、ボクセルフィルタＸは、基準平面ＲＰに位置するボクセルｖｘ１の個数を減少させるフィルタである。ボクセルフィルタＸは、基準平面ＲＰにおける単位領域ｕａに位置するボクセルの個数が閾値と同じかそれより大きい場合、単位領域ｕａに位置するボクセルを１つのボクセルｖｘ２に変換し、基準平面ＲＰにおける単位領域ｕａに位置するボクセルの個数が閾値よりも小さい場合、単位領域ｕａのボクセルｖｘ１を削除する。例えば、ボクセルフィルタＸは図１２のように構成でき、ボクセルフィルタＸのサイズ（幅、高さ）は関心領域ＲＯＩのサイズと同一である。図１３に示すように、ボクセルフィルタＸをポイントクラウドＰＣ１に適用すると、それぞれの単位領域ｕａごとにボクセルの個数がカウントされる。特定の単位領域ｕａにおけるボクセルの個数が閾値以上である場合、当該単位領域ｕａのボクセルｖｘ１は、図１４に示すように１つのボクセルｖｘ２に変換される。特定の単位領域ｕａにおけるボクセルの個数が閾値未満である場合、図１４に示すように、当該単位領域ｕａのボクセルｖｘ１は削除され、該当単位領域ｕａは空になる。
【0053】
したがって、図１４に示すように、基準平面ＲＰに投影されたポイントクラウドＰＣ２が生成され、投影されたポイントクラウドＰＣ２は、簡素化されたボクセルｖｘ２を含む。
【0054】
このようにボクセルフィルタＸを適用することにより、ホールの検出に要するデータ量及びコンピューティングリソースを節減し、迅速なデータ処理が可能となる。
【0055】
本発明の実施形態によれば、仮想のポイントクラウドＰＣ３を生成するステップ（Ｓ４４０）は、基準平面ＲＰのボクセルフィルタＸの単位領域ｕａにボクセルｖｘ３が充填された仮想のポイントクラウドＰＣ３を生成するステップを含む。図１５に示すように、関心領域ＲＯＩと同じサイズを有し、ボクセルフィルタＸの単位領域ｕａ毎にボクセルｖｘ３が充填された仮想のポイントクラウドＰＣ３が生成される。仮想のポイントクラウドＰＣ３の生成は、関心領域ＲＯＩからホール領域を分離するためである。
【0056】
本発明の実施形態によれば、床面に存在するホールｈｌを検出するステップ（Ｓ４５０）は、仮想のポイントクラウドＰＣ３から投影されたポイントクラウドＰＣ２と重畳するボクセルを除去することにより、残余ポイントクラウドＰＣ４を生成するステップ（Ｓ４５１）と、基準平面ＲＰにおける、残余ポイントクラウドＰＣ４のボクセルが存在する領域をホール領域として検出するステップ（Ｓ４５２）と、を含むことができる。
【0057】
図１６に示すように、仮想のポイントクラウドＰＣ３から投影されたポイントクラウドＰＣ２と重畳するボクセルが除去された残余ポイントクラウドＰＣ４が生成され、残余ポイントクラウドＰＣ４は、仮想のポイントクラウドＰＣ３から投影されたポイントクラウドＰＣ２と重畳しない残余ボクセルｖｘ４を含む。残余ボクセルｖｘ４が存在する領域がホール領域として検出される。
【0058】
本発明の実施形態によれば、ホールを回避して走行するステップ（Ｓ４６０）は、基準平面ＲＰにおける、残余ポイントクラウドＰＣ４のボクセルｖｘ４が存在する領域に対する反転を適用することにより、三次元深度画像ＩＭＧ１におけるホール領域のボクセルを障害物オブジェクトｏｂ＿ｈｌに変換するステップ（Ｓ４６１）と、障害物オブジェクトｏｂ＿ｈｌを回避して目標の位置へ走行するように移動経路を設定するステップ（Ｓ４６２）と、を含むことができる。
【0059】
図１６の残余ポイントクラウドＰＣ４に対する反転として適用して、図１７に示すように、ホール領域にボクセルｖｘ４が充填された三次元ポイントクラウドを生成し、ホール領域のボクセルｖｘ４を障害物オブジェクトｏｂ＿ｈｌに変換することにより、図１８のような変換された三次元深度画像ＩＭＧ２を生成することができる。モバイルロボット１０は、変換された三次元深度画像ＩＭＧ２の障害物オブジェクトｏｂ＿ｈｌを回避して走行することができ、結論的に、床面にホールが形成された場合にも、当該ホールを障害物として認識して回避することができる。
【0060】
図１９は、深度カメラ１２０によって撮影された三次元深度画像の例を示し、三次元深度画像から関心領域を抽出すると、図２０のような画像が生成され、前述した、投影されたポイントクラウドと仮想のポイントクラウドとの比較処理手順によって、図２１のようにホール領域に形成されたボクセルを含むポイントクラウドが抽出され得る。当該ボクセルに対する反転処理によって、モバイルロボット１０は、床面に形成されたホールを障害物のように回避することができる。
【0061】
以下、製造工場１の床面に形成されたホールを検出することができるモバイルロボット１０の動作方法は、プロセッサ１３０によって実現できる。
【0062】
本発明によるモバイルロボット１０のプロセッサ１３０は、深度カメラ１２０から三次元深度画像ＩＭＧ１を取得し、三次元深度画像ＩＭＧ１から製造工場１の床面におけるモバイルロボット１０の走行経路に該当する関心領域ＲＯＩを抽出し、関心領域ＲＯＩから検出されるオブジェクトを床面に該当する基準平面ＲＰに投影することにより、投影されたポイントクラウドＰＣ２を生成し、基準平面ＲＰにボクセルが充填された仮想のポイントクラウドＰＣ３を生成し、仮想のポイントクラウドＰＣ３と投影されたポイントクラウドＰＣ２とを比較して、床面に存在するホールｈｌを検出し、ホールｈｌを回避して走行するようにロボット本体１１０を制御する。
【0063】
本発明の実施形態によれば、プロセッサ１３０は、三次元深度画像ＩＭＧ１における基準高さを中心に下部床感知範囲でモバイルロボット１０の走行経路に該当する領域を、製造工場１の床面に該当する関心領域ＲＯＩとして設定することができる。
【0064】
本発明の実施形態によれば、プロセッサ１３０は、三次元深度画像ＩＭＧ１の関心領域ＲＯＩのボクセルを基準平面ＲＰに投影し、投影されたボクセルｖｘ１に対してボクセルフィルタＸを適用することにより、投影されたポイントクラウドＰＣ２を生成することができる。
【0065】
本発明の実施形態によれば、ボクセルフィルタＸは、基準平面ＲＰに位置するボクセルｖｘ１の個数を減少させるフィルタである。ボクセルフィルタＸは、基準平面ＲＰにおける単位領域ｕａに位置するボクセルの個数が閾値と同じかそれより大きい場合、単位領域ｕａに位置するボクセルを１つのボクセルｖｘ２に変換し、基準平面ＲＰにおける単位領域ｕａに位置するボクセルの個数が閾値よりも小さい場合、単位領域ｕａのボクセルｖｘ１を削除する。
【0066】
本発明の実施形態によれば、プロセッサ１３０は、基準平面ＲＰのボクセルフィルタＸの単位領域ｕａにボクセルｖｘ３が充填された仮想のポイントクラウドＰＣ３を生成することができる。
【0067】
本発明の実施形態によれば、プロセッサ１３０は、仮想のポイントクラウドＰＣ３で投影されたポイントクラウドＰＣ２と重畳するボクセルを除去することにより、残余ポイントクラウドＰＣ４を生成し、基準平面ＲＰにおける残余ポイントクラウドＰＣ４のボクセルが存在する領域をホール領域として検出することができる。
【0068】
本発明の実施形態によれば、プロセッサ１３０は、基準平面ＲＰにおける残余ポイントクラウドＰＣ４のボクセルｖｘ４が存在する領域に対する反転を適用することにより、三次元深度画像ＩＭＧ１におけるホール領域のボクセルを障害物オブジェクトｏｂ＿ｈｌに変換し、障害物オブジェクトｏｂ＿ｈｌを回避して目標位置へ走行するように移動経路を設定することができる。
【0069】
図２２は、本発明による物品搬送システムの概略構造を示す。
【0070】
本発明による製造工場１における物品搬送システムは、製造工場１における物品搬送のための命令を伝送するシステム制御器５と、命令に従って物品を搬送するモバイルロボット１０と、を含む。
【0071】
システム制御器５は、製造工場１で物品の搬送が必要な場合に物品搬送のための命令を生成し、使用可能なモバイルロボット１０へ当該命令を伝送する。システム制御器５は、上位の制御システムから物品搬送に対する指令を受信することができる。システム制御器５は、モバイルロボット１０だけでなく、他の種類の搬送装置（例えば、ＯＨＴ（Ｏｖｅｒｈｅａｄ Ｈｏｉｓｔ Ｔｒａｎｓｐｏｒｔ）、ＯＨＳ（Ｏｖｅｒｈｅａｄ Ｈｏｉｓｔ Ｓｈｕｔｔｌｅ）、ＲＧＶ（Ｒａｉｌ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）に対する制御を行うこともできる。システム制御器５とモバイルロボット１０は、無線通信を介して信号を送受信することができる。図示してはいないが、モバイルロボット１０は、無線通信のための通信モジュールを含むことができ、プロセッサ１３０は、通信モジュールを介して信号を送信又は受信することができる。
【0072】
モバイルロボット１０は、システム制御器５から受信された命令に従って走行するように構成でき、モバイルロボット１０は、移動経路上に位置した障害物及びホールを回避するように構成できる。
【0073】
本発明の実施形態によれば、モバイルロボット１０は、撮影された三次元深度画像において障害物を検出するための関心領域と、ホールを検出するための関心領域をそれぞれ指定し、障害物とホールに対する検出を同時に（並列に）行うことができる。以下、本実施形態によるモバイルロボット１０について説明する。
【0074】
本発明の実施形態によれば、モバイルロボット１０は、製造工場１の内部空間を走行するロボット本体１１０と、ロボット本体１１０に設置され、三次元深度画像を生成する深度カメラ１２０と、ロボット本体１１０の走行を制御し、三次元深度画像の上部関心領域からモバイルロボットの走行経路に位置した障害物を検出し、三次元深度画像の下部関心領域から前記製造工場の床面に位置したホールを検出するプロセッサ１３０と、を含む。
【0075】
プロセッサ１３０は、下部関心領域から検出されるオブジェクトを床面に対応する基準平面ＲＰに投影することにより、投影されたポイントクラウドＰＣ２を生成し、基準平面ＲＰにボクセルが充填された仮想のポイントクラウドＰＣ３を生成し、仮想のポイントクラウドＰＣ３と投影されたポイントクラウドＰＣ２とを比較して、床面に存在するホールｈｌを検出し、ホールｈｌを回避して走行するようにロボット本体１１０を制御することができる。
【0076】
図２３は、本発明による物品搬送システムにおいて障害物及びホールを検出するためのモバイルロボット１０の動作方法を示すフローチャートである。
【0077】
モバイルロボット１０は、深度カメラ１２０によって三次元深度画像ＩＭＧ１を取得し（Ｓ２３１０）、三次元深度画像ＩＭＧ１の上部関心領域からモバイルロボット１０の走行経路に位置した障害物を検出し（Ｓ２３２０）、三次元深度画像ＩＭＧ１の下部関心領域から製造工場１の床面に位置したホールを検出することができる（Ｓ２３２５）。図２４に示すように、基準高さから上部の領域は上部障害物感知範囲として設定し、基準高さから下部の領域は下部床感知範囲として設定される。上部関心領域は、上部障害物感知範囲でモバイルロボット１０の走行経路に該当する領域として設定され、下部関心領域は、下部障害物感知範囲でモバイルロボット１０の走行経路に該当する領域として設定される。
【0078】
一方、モバイルロボット１０によって検出されたホールの位置情報は、他のモバイルロボットと共有でき、障害物情報の共有を介して障害物との衝突又はホールへの抜けを予防することができる。ここで、ホールの位置情報だけでなく、ホールの形状に関する情報（サイズ、形状）も共有できる。
【0079】
本発明の実施形態によれば、モバイルロボット１０は、ホールの位置情報を前記システム制御器５へ送信し、システム制御器５は、ホールの位置情報を保存して他のモバイルロボットへ伝送することができる。
【0080】
例えば、図２５に示すように、システム制御器５が第１モバイルロボット１０－１へ走行命令を送信し（Ｓ２４０２）、第１モバイルロボット１０－１が目標位置へ走行する過程（Ｓ２４０４）で、障害物又はホールを検出することができる（Ｓ２４０６）。第１モバイルロボット１０－１は、障害物又はホールを回避して走行した後、障害物又はホールに対する検出メッセージをシステム制御器５へ伝送することができる（Ｓ２４０８）。検出メッセージは、障害物又はホールの位置情報及び障害物又はホールのサイズ、形状に関する情報を含むことができる。システム制御器５は、障害物又はホールの情報を保存し（Ｓ２４１０）、他のモバイルロボットにも当該情報を共有することができる。特に、障害物又はホールの位置の周辺を同様の経路で走行するものと予想される第２モバイルロボット１０－２に走行命令を送信しながら（Ｓ２４１２）、当該障害物又はホールの情報を一緒に伝送することができる（Ｓ２４１４）。第２モバイルロボット１０－２は、障害物又はホールの情報（位置、形状）を考慮して目標位置へ走行することができる（Ｓ２４１６）。例えば、第２モバイルロボット１０－２は、障害物又はホールの位置の周辺にある場合、相対的に低い速度で走行することができ、障害物又はホールが検出されなければ、当該障害物又はホールが除去されたことを知らせるメッセージをシステム制御器５へ伝送することもできる。
【0081】
本実施形態及び本明細書に添付された図面は、本発明に含まれる技術的思想の一部を明確に示しているものに過ぎず、本発明の明細書及び図面に含まれている技術的思想の範囲内で当業者が容易に類推することが可能な変形例及び具体的な実施形態はいずれも、本発明の権利範囲に含まれることが自明であるといえる。
【0082】
したがって、本発明の思想は、説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等又は等価的な変形がある全てのものは、本発明の思想の範疇に属するというべきである。
【符号の説明】
【0083】
１ 製造工場
５ システム制御器
１０ モバイルロボット
１１０ ロボット本体
１２０ 深度カメラ
１３０ プロセッサ
５ システム制御器
１０ モバイルロボット
１１０ ロボット本体
１２０ 深度カメラ
１３０ プロセッサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
