知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024168758
(43)【公開日】2024-12-05
(54)【発明の名称】対象物認識装置、対象物認識方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241128BHJP
【ＦＩ】
G06T7/00 C
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023085684
(22)【出願日】2023-05-24
(71)【出願人】
【識別番号】000191009
【氏名又は名称】新東工業株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】伴 兼弘
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA09
5L096EA35
5L096FA60
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096MA07
(57)【要約】
【課題】対象物の認識に要する演算時間を短縮する。
【解決手段】対象物認識装置（１）は、撮像部（２０）と、１又は複数のプロセッサと、を備えている。１又は複数のプロセッサは、被写体の三次元点群を取得し、取得した三次元点群に基づいて、対象物（Ｗ）が配置されている床面（３１）を推定する。１又は複数のプロセッサは、底面が床面（３１）に平行な柱形の領域を、対象物（Ｗ）の検出を行う検出領域（４１）として設定する。
【選択図】図１
【解決手段】対象物認識装置（１）は、撮像部（２０）と、１又は複数のプロセッサと、を備えている。１又は複数のプロセッサは、被写体の三次元点群を取得し、取得した三次元点群に基づいて、対象物（Ｗ）が配置されている床面（３１）を推定する。１又は複数のプロセッサは、底面が床面（３１）に平行な柱形の領域を、対象物（Ｗ）の検出を行う検出領域（４１）として設定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物を認識する対象物認識装置であって、
撮像範囲内の被写体を撮像する撮像部と、
１又は複数のプロセッサと、を備え、
前記１又は複数のプロセッサは、
前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得処理と、
前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定処理と、
底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定処理と、を実行する対象物認識装置。
撮像範囲内の被写体を撮像する撮像部と、
１又は複数のプロセッサと、を備え、
前記１又は複数のプロセッサは、
前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得処理と、
前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定処理と、
底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定処理と、を実行する対象物認識装置。
【請求項2】
前記検出領域は、前記柱形の中心が原点に位置し、前記底面に平行であり、かつ、互いに直交するＸ１軸及びＹ１軸と、前記底面に直交するＺ１軸を有する第１座標系に配置されており、
前記検出領域設定処理は、前記第１座標系に配置された前記検出領域を、前記床面推定処理により推定された前記床面に平行であり、かつ、互いに直交するＸ２軸及びＹ２軸と、前記床面に直交するＺ２軸を有する第２座標系に設定する処理であり、
前記１又は複数のプロセッサは、検出領域設定処理において、
前記Ｘ１軸及び前記Ｙ１軸が前記Ｘ２軸及び前記Ｙ２軸にそれぞれ平行となるように、前記Ｚ１軸を中心に前記検出領域を回転角θだけ回転させる座標変換に用いられる変換行列Ｒθと、
前記Ｚ１軸に平行であり前記原点を基点とする単位ベクトルが、前記床面の単位法線ベクトル（ａ，ｂ，ｃ）Ｔと一致するように、前記検出領域を回転させる座標変換に用いられる変換行列Ｒｎと、
前記柱形の前記底面と、前記床面との間に隙間を設けるために、前記検出領域を平行移動させる並進ベクトルＵと、
を用いた下式（１）により、前記点ｐを、前記検出領域の第２座標系の点ｑに座標変換し、
ｑ＝ＲｎＲθｐ＋Ｕ…（１）
前記変換行列Ｒθが下式（２）で表され、
…（２）
前記変換行列Ｒｎが下式（３）で表される、請求項１に記載の対象物認識装置。
…（３）
前記検出領域設定処理は、前記第１座標系に配置された前記検出領域を、前記床面推定処理により推定された前記床面に平行であり、かつ、互いに直交するＸ２軸及びＹ２軸と、前記床面に直交するＺ２軸を有する第２座標系に設定する処理であり、
前記１又は複数のプロセッサは、検出領域設定処理において、
前記Ｘ１軸及び前記Ｙ１軸が前記Ｘ２軸及び前記Ｙ２軸にそれぞれ平行となるように、前記Ｚ１軸を中心に前記検出領域を回転角θだけ回転させる座標変換に用いられる変換行列Ｒθと、
前記Ｚ１軸に平行であり前記原点を基点とする単位ベクトルが、前記床面の単位法線ベクトル（ａ，ｂ，ｃ）Ｔと一致するように、前記検出領域を回転させる座標変換に用いられる変換行列Ｒｎと、
前記柱形の前記底面と、前記床面との間に隙間を設けるために、前記検出領域を平行移動させる並進ベクトルＵと、
を用いた下式（１）により、前記点ｐを、前記検出領域の第２座標系の点ｑに座標変換し、
ｑ＝ＲｎＲθｐ＋Ｕ…（１）
前記変換行列Ｒθが下式（２）で表され、
【数1】
…（２）
前記変換行列Ｒｎが下式（３）で表される、請求項１に記載の対象物認識装置。
【数2】
…（３）
【請求項3】
前記並進ベクトルＵは、
前記検出領域の移動距離を定めるベクトル（ｔＸ，ｔＹ，ｔＺ）Ｔと、
前記第２座標系の原点を基点とする、Ｘ２軸、Ｙ２軸及びＺ２軸に平行な単位ベクトルｎＸ２，ｎＹ２及びｎＺ２と、
前記第２座標系における、前記床面推定処理により推定された前記床面の重心の座標Ｃ０と、
前記検出領域のＺ１軸方向の高さｒとに基づいて、下式（４）で表される、請求項２に記載の対象物認識装置。
Ｕ＝Ｃ０＋ｔＸｎＸ２＋ｔＹｎＹ２＋（ｔＺ＋ｒ／２）ｎＺ２…（４）
前記検出領域の移動距離を定めるベクトル（ｔＸ，ｔＹ，ｔＺ）Ｔと、
前記第２座標系の原点を基点とする、Ｘ２軸、Ｙ２軸及びＺ２軸に平行な単位ベクトルｎＸ２，ｎＹ２及びｎＺ２と、
前記第２座標系における、前記床面推定処理により推定された前記床面の重心の座標Ｃ０と、
前記検出領域のＺ１軸方向の高さｒとに基づいて、下式（４）で表される、請求項２に記載の対象物認識装置。
Ｕ＝Ｃ０＋ｔＸｎＸ２＋ｔＹｎＹ２＋（ｔＺ＋ｒ／２）ｎＺ２…（４）
【請求項4】
前記１又は複数のプロセッサは、
前記点群取得処理により取得された前記三次元点群のうち、前記検出領域設定処理により設定された前記検出領域内の点群を、前記検出領域の前記底面に投影し、前記検出領域の前記底面に投影された点群に対してクラスタリングを行い、投影前及び投影後の点群に基づいて、前記検出領域内に位置する前記対象物の位置及び姿勢を検出する物体検出処理を更に実行する、請求項１に記載の対象物認識装置。
前記点群取得処理により取得された前記三次元点群のうち、前記検出領域設定処理により設定された前記検出領域内の点群を、前記検出領域の前記底面に投影し、前記検出領域の前記底面に投影された点群に対してクラスタリングを行い、投影前及び投影後の点群に基づいて、前記検出領域内に位置する前記対象物の位置及び姿勢を検出する物体検出処理を更に実行する、請求項１に記載の対象物認識装置。
【請求項5】
前記１又は複数のプロセッサは、
前記物体検出処理において、前記検出領域の前記底面に投影された点群について固有ベクトルを算出し、前記固有ベクトルに基づいて前記対象物の姿勢を検出し、
前記物体検出処理により検出された前記対象物の位置及び姿勢に基づいて、前記検出領域内に位置する前記対象物の各々の点群を包含し前記床面に平行な物体領域を決定する枠決定処理を更に実行する、請求項４に記載の対象物認識装置。
前記物体検出処理において、前記検出領域の前記底面に投影された点群について固有ベクトルを算出し、前記固有ベクトルに基づいて前記対象物の姿勢を検出し、
前記物体検出処理により検出された前記対象物の位置及び姿勢に基づいて、前記検出領域内に位置する前記対象物の各々の点群を包含し前記床面に平行な物体領域を決定する枠決定処理を更に実行する、請求項４に記載の対象物認識装置。
【請求項6】
前記１又は複数のプロセッサは、
前記点群取得処理において、前記被写体を撮像した撮像画像と、前記撮像部から前記被写体までの距離を画像化した距離画像とを、前記撮像部から取得し、前記撮像画像及び前記距離画像に基づいて、前記被写体の三次元点群を取得する、請求項１に記載の対象物認識装置。
前記点群取得処理において、前記被写体を撮像した撮像画像と、前記撮像部から前記被写体までの距離を画像化した距離画像とを、前記撮像部から取得し、前記撮像画像及び前記距離画像に基づいて、前記被写体の三次元点群を取得する、請求項１に記載の対象物認識装置。
【請求項7】
請求項１に記載の対象物認識装置を用いて、対象物を認識する対象物認識方法であって、
前記１又は複数のプロセッサが、前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得工程と、
前記１又は複数のプロセッサが、前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定工程と、
前記１又は複数のプロセッサが、底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定工程と、を含む、対象物認識方法。
前記１又は複数のプロセッサが、前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得工程と、
前記１又は複数のプロセッサが、前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定工程と、
前記１又は複数のプロセッサが、底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定工程と、を含む、対象物認識方法。
【請求項8】
請求項１に記載の対象物認識装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータに、前記点群取得処理と、前記床面推定処理と、前記検出領域設定処理とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、対象物認識装置、対象物認識方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、撮像部により取得した画像から対象物体を検出する情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－２８１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像部から取得した画像から三次元点群情報を取得し、その三次元点群情報の中から対象物を認識する対象物認識装置において、リアルタイム性を高めるため、対象物の認識に要する演算時間を短縮することが求められている。
【0005】
本開示の一態様は、対象物の認識に要する演算時間の短縮を目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示の一態様に係る対象物認識装置は、対象物を認識する。対象物認識装置は、撮像範囲内の被写体を撮像する撮像部と、１又は複数のプロセッサと、を備えている。１又は複数のプロセッサは、点群取得処理と、床面推定処理と、検出領域設定処理とを実行する。点群取得処理において、１又は複数のプロセッサは、撮像部を制御して、被写体の三次元点群を取得する。床面推定処理において、１又は複数のプロセッサは、三次元点群に基づいて、対象物が配置されている床面を推定する。検出領域設定処理において、１又は複数のプロセッサは、底面が床面に平行な柱形の領域を、対象物の検出を行う検出領域として設定する。
【0007】
本開示の各態様に係る対象物認識装置は、コンピュータによって実現してもよい。この場合には、コンピュータを前記対象物認識装置が備える各部（ソフトウェア要素）として動作させることにより前記対象物認識装置をコンピュータにて実現させる対象物認識装置のプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
【発明の効果】
【0008】
本開示の一態様によれば、対象物の認識に要する演算時間を短縮することができる。
【図面の簡単な説明】
【0009】
【図1】本開示の一実施形態に係る対象物認識装置の構成を示す模式図である。
【図2】本開示の一実施形態に係る対象物認識装置の構成を示すブロック図である。
【図3】本開示の一実施形態に係る対象物認識装置による対象物認識方法の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
図１は、本開示の一実施形態に係る対象物認識装置の構成を示す模式図である。図１に示すように、対象物認識装置１は、制御装置１０と、撮像部２０とを備えている。以下、説明の便宜上、図１の矢印で示されるように、対象物認識装置１の上下方向及び左右方向を定義する。
【0011】
制御装置１０は、撮像部２０に接続されている。撮像部２０は、例えば、ＴｏＦ（Time of Flight）カメラである。撮像部２０は、所定周期で撮像範囲２１の内側の被写体を撮像する。また、撮像部２０は、その被写体までの距離を測定する。例えば、撮像部２０は、赤外光を照射し、その赤外光が被写体に当たって反射して戻ってくるまでの時間を検出することにより、被写体までの距離を測定する。
【0012】
制御装置１０は、撮像部２０を制御して、撮像範囲２１の内側の被写体について、撮像画像及び距離画像を取得する。距離画像とは、撮像部２０から被写体までの距離を画像化したものであって、例えば、撮像部２０から被写体までの距離を色に変換したものである。
【0013】
図１では、撮像部２０の撮像範囲２１には、ベルトコンベア３０のベルト３１と、そのベルト３１に載せられて搬送されているワークＷが含まれている。ベルトコンベア３０は、例えば、ベルト３１を紙面垂直方向に移動させることにより、ワークＷを紙面垂直方向に搬送する。ワークＷは、対象物の一例であって、ロボットアーム（不図示）によるピッキングの対象である。ベルト３１は、床面の一例である。図１では、ベルト３１は、平坦な平面で表されているが、傾斜を有していてもよい。また、ベルト３１は、撮像部２０による距離の測定誤差以下の凹凸を有していてもよい。
【0014】
制御装置１０は、後に詳述する方法により、撮像部２０の撮像範囲２１の内側に検出領域４１を設定する。検出領域４１は、対象物を検出するための領域であって、撮像部２０から取得された撮像画像及び距離画像に基づいて設定される。図１では、検出領域４１は、撮像部２０の撮像範囲２１と比べて小さい。制御装置１０は、検出領域４１の中から、ベルトコンベア３０のベルト３１に載せられたワークＷの位置及び姿勢を検出する。制御装置１０は、ワークＷの位置及び姿勢に基づいて、ワークＷの物体領域４２を設定する。物体領域４２は、認識した対象物の位置および姿勢を示す領域である。検出領域４１および物体領域４２については、後に詳述する。ワークＷの位置及び姿勢を検出する範囲が検出領域４１の内側に限定されることにより、ワークＷの認識に要する演算時間が短縮される。なお、技術的には、検出領域４１は、撮像部２０の撮像範囲２１を内包するように設定することができる。
【0015】
図２は、本開示の一実施形態に係る対象物認識装置の構成を示すブロック図である。図２に示すように、制御装置１０は、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力インタフェース１４とを有している。
【0016】
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）で構成される。プロセッサ１１は、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせで構成してもよい。
【0017】
一次メモリ１２は、例えば、半導体ＲＡＭ（Random Access Memory）で構成される。二次メモリ１３は、記憶部の一例であり、プログラムＰ１が記憶されている。二次メモリ１３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、又は、これらの組み合わせで構成される。
【0018】
プロセッサ１１は、二次メモリ１３に格納されているプログラムＰ１を一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開されたプログラムＰ１に含まれる命令に従って、対象物認識装置１の各部を制御する。
【0019】
なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いて対象物認識装置１の各部を制御する構成を採用しているが、本開示は、これに限定されない。すなわち、複数のプロセッサを用いて対象物認識装置１の各部を制御する構成を採用してもよい。この場合、連携して対象物認識装置１の各部を制御する複数のプロセッサは、単一のコンピュータに設けられ、相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携してプログラムＰ１を実行する態様などが考えられる。
【0020】
入出力インタフェース１４には、撮像部２０が接続される。入出力インタフェース１４としては、ＵＳＢ、Ａ/Ｄコンバータ、ＥｔｈｅｒＣａｔ（Ethernet for Control Automation Technology）などのインタフェースが挙げられる。
【0021】
図３は、本開示の一実施形態に係る対象物認識装置による対象物認識方法の流れを示すフローチャートである。Ｓ１００において、制御装置１０のプロセッサ１１は、点群取得処理を実行する。プロセッサ１１は、撮像部２０から撮像画像及び距離画像を取得する。プロセッサ１１は、取得した撮像画像及び距離画像に基づいて、三次元点群を取得する。三次元点群は、撮像部２０の被写体の立体形状を示すデータである。撮像画像及び距離画像に基づいて三次元点群を取得する方法については、任意の公知技術を使用することができる。
【0022】
図４は、点群取得処理の対象となる立体形状の一例を示す図である。図４には、図１に示した、ベルトコンベア３０のベルト３１と、そのベルト３１に載せられているワークＷの立体形状が示されている。図１に示した撮像部２０から照射された赤外光は、例えば、ベルト３１、並びにワークＷの上面５１及び側面５２に反射される。三次元点群には、例えば、図４に示すベルト３１、並びにワークＷの上面５１及び側面５２上の点群について、図１に示す撮像部２０からの距離に関するデータが含まれる。
【0023】
Ｓ１０１において、プロセッサ１１は、対象物の検出を行う検出領域４１が既に設定されているか否かを判定する。Ｓ１００において三次元点群が初めて取得されたタイミングでは、検出領域４１は未だ設定されていないため（Ｓ１０１：ＮＯ）、プロセッサ１１は、Ｓ１０２の処理に進む。
【0024】
Ｓ１０２において、プロセッサ１１は、Ｓ１００において取得された三次元点群の中から、対象物が配置されている床面を推定する床面推定処理を実行する。例えば、プロセッサ１１は、Ｓ１００において取得された三次元点群に対して、ＲＡＮＳＡＣ（Random Sample Consensus）を用いた平面推定により床面を推定する。
【0025】
続くＳ１０３において、プロセッサ１１は、Ｓ１０２にて推定された床面に対して、対象物を検出する検出領域４１を設定する検出領域設定処理を実行する。検出領域設定処理によって設定される検出領域４１は、柱形の領域であって、その底面がＳ１０２において推定された床面に平行である。
【0026】
図５は、検出領域設定処理により設定される検出領域の一例を示す図である。図５に示す検出領域４１は、Ｘ１Ｙ１Ｚ１座標系に配置されている。Ｘ１Ｙ１Ｚ１座標系は、第１座標系の一例であって、仮想的な三次元領域である。検出領域４１は、その中心がＸ１Ｙ１Ｚ１座標系の原点Ｏ１に位置している。Ｘ１軸及びＹ１軸は、検出領域４１の底面４１Ａに平行であり、かつ、互いに直交する。Ｚ１軸は、検出領域４１の底面４１Ａに直交する。検出領域４１のＺ１軸方向の長さｒは、図１に示す撮像部２０と、Ｓ１０２において推定された床面との間の距離よりも短い。
【0027】
Ｓ１０３において、プロセッサ１１は、Ｘ１Ｙ１Ｚ１座標系の検出領域４１を、Ｘ２Ｙ２Ｚ２座標系に座標変換する。Ｘ２Ｙ２Ｚ２座標系は、第２座標系の一例である。Ｘ２Ｙ２Ｚ２座標系のＺ２軸は、Ｓ１０２において推定された床面の法線ベクトルに平行である。Ｘ２Ｙ２Ｚ２座標系のＸ２軸及びＹ２軸は、Ｓ１０２において推定された床面に平行である。以下、Ｓ１０２にて推定された床面の法線ベクトルの単位ベクトルを、単位法線ベクトルｎと記載する。ｎ＝（ａ，ｂ，ｃ）Ｔであり、ここでＴは転置であることを意味する。
【0028】
Ｓ１０３における座標変換処理に用いられる数式の一例を、式（１）に示す。
ｑ＝ＲｎＲθｐ＋Ｕ …（１）
式（１）において、ｐは座標変換前のＸ１Ｙ１Ｚ１座標系の座標であって、検出領域４１の内部に位置する。ｑは座標変換後のＸ２Ｙ２Ｚ２座標系の座標である。
Ｒｎは、Ｚ１軸に平行であり、Ｘ１Ｙ１Ｚ１座標系の原点Ｏ１を基点とする単位ベクトルｅＺ１が、単位法線ベクトルｎと一致するように、検出領域４１を回転させる座標変換に用いられる変換行列である。
Ｒθは、Ｚ１軸を中心に回転角θだけ検出領域４１を回転させる座標変換に用いられる変換行列である。Ｒｎ及びＲθの一例を、式（２）及び（３）に示す。
…（２）
…（３）
Ｕは、並進ベクトルであって、式（４）で表される。
Ｕ＝Ｃ０＋ｔＸｎＸ２＋ｔＹｎＹ２＋（ｔＺ＋ｒ／２）ｎＺ２ …（４）
ここで、Ｃ０は、Ｘ２Ｙ２Ｚ２座標系における、Ｓ１０２において推定された床面の重心Ｃ２の座標である。
ｔＸ，ｔＹ及びｔＺは、検出領域４１の移動距離を定めるベクトル（ｔＸ，ｔＹ，ｔＺ）ＴのそれぞれＸ２軸成分、Ｙ２軸成分、Ｚ２軸成分である。
ｎＸ２，ｎＹ２及びｎＺ２は、それぞれＸ２Ｙ２Ｚ２座標系の原点Ｏ２を基点とする、Ｘ２軸、Ｙ２軸及びＺ２軸に平行な単位ベクトルである。
ｒは、図５に示した、検出領域４１のＺ１軸方向の高さである。
ｑ＝ＲｎＲθｐ＋Ｕ …（１）
式（１）において、ｐは座標変換前のＸ１Ｙ１Ｚ１座標系の座標であって、検出領域４１の内部に位置する。ｑは座標変換後のＸ２Ｙ２Ｚ２座標系の座標である。
Ｒｎは、Ｚ１軸に平行であり、Ｘ１Ｙ１Ｚ１座標系の原点Ｏ１を基点とする単位ベクトルｅＺ１が、単位法線ベクトルｎと一致するように、検出領域４１を回転させる座標変換に用いられる変換行列である。
Ｒθは、Ｚ１軸を中心に回転角θだけ検出領域４１を回転させる座標変換に用いられる変換行列である。Ｒｎ及びＲθの一例を、式（２）及び（３）に示す。
【数1】
…（２）
【数2】
…（３）
Ｕは、並進ベクトルであって、式（４）で表される。
Ｕ＝Ｃ０＋ｔＸｎＸ２＋ｔＹｎＹ２＋（ｔＺ＋ｒ／２）ｎＺ２ …（４）
ここで、Ｃ０は、Ｘ２Ｙ２Ｚ２座標系における、Ｓ１０２において推定された床面の重心Ｃ２の座標である。
ｔＸ，ｔＹ及びｔＺは、検出領域４１の移動距離を定めるベクトル（ｔＸ，ｔＹ，ｔＺ）ＴのそれぞれＸ２軸成分、Ｙ２軸成分、Ｚ２軸成分である。
ｎＸ２，ｎＹ２及びｎＺ２は、それぞれＸ２Ｙ２Ｚ２座標系の原点Ｏ２を基点とする、Ｘ２軸、Ｙ２軸及びＺ２軸に平行な単位ベクトルである。
ｒは、図５に示した、検出領域４１のＺ１軸方向の高さである。
【0029】
ｔＺは、０より大きい値に設定される。すなわち、検出領域４１と、Ｓ１０２において推定された床面との間には、隙間が設けられる。この隙間は、Ｓ１０２において推定された床面と、床面以外のものとを識別するために設けられており、撮像部２０による距離の測定誤差が大きくなる程、大きい値に設定される。
【0030】
Ｓ１０３における座標変換後の検出領域４１の一例を図６に示す。図６に示す検出領域４１は、Ｓ１０２において床面と推定されたベルト３１に対して、Ｚ２軸方向に離れている。図６に示す検出領域４１の内側には、ベルト３１に載せられたワークＷの上面５１と、側面５２の上部が含まれている。
【0031】
図３のＳ１０４において、プロセッサ１１は、物体検出処理を実行する。プロセッサ１１は、Ｓ１００において取得された三次元点群のうち、Ｓ１０３において設定された検出領域４１の内側に位置する点群に基づいて、対象物の位置と姿勢を検出する。例えば、プロセッサ１１は、図６に示すように、ワークＷの点群のうち、検出領域４１の内側に位置するワークＷの上面５１と、側面５２の上部とを、検出領域４１の底面４１Ａに投影することで、検出領域４１の内側の三次元点群を二次元の投影点群に変換する。
【0032】
図７は、二次元の投影点群の一例を示す図である。図７に示す二次元の投影点群には、ワークＷの上面５１に位置する点群を検出領域４１の底面４１Ａに投影した投影点群６１と、検出領域４１の内側に位置する側面５２の上部に位置する点群を検出領域４１の底面４１Ａに投影した投影点群６２とが含まれている。プロセッサ１１は、投影点群に対してクラスタリングを行い、更にワークＷの位置及び姿勢を検出する。ワークＷの位置とは、例えば、二次元の投影点群６１及び６２の重心の位置である。クラスタリングとは、データ間の類似度に基づいて、データをグループ分けする手法である。例えば、点群間のユークリッド距離に基づいて、基準として定めた距離より近い点群同士を同じグループとみなして、グループ分けを行う。ワークＷの姿勢には、例えば、ベルト３１の上に配置されたワークＷの向きが含まれる。プロセッサ１１は、二次元の投影点群に対する主成分分析により、ワークＷの姿勢を検出する。例えば、プロセッサ１１は、二次元の投影点群の分散共分散行列を算出し、その分散共分散行列に対して固有ベクトル７２および７３を算出するし、固有ベクトル７２および７３に基づいてワークＷの姿勢を検出する。
【0033】
図３のＳ１０５において、プロセッサ１１は、Ｓ１０４において検出された対象物の位置及び姿勢に基づいて、物体領域４２を決定する枠決定処理を実行する。例えば、プロセッサ１１は、検出領域４１に対して、ワークＷの上面５１の三次元点群と、側面５２の上部の三次元点群とを内包する四角柱の枠を検出し、物体領域４２として決定する。物体領域４２の底面は、例えば、図７に示した二次元の投影点群６１及び６２を内包する、ワークＷの姿勢に対応した向きの長方形７１を、検出領域４１の底面に投影することで決定することができる。長方形７１の２辺の向きは、例えば、固有ベクトル７２および７３の向きに基づいて決定することができる。物体領域４２の高さは、ワークＷの上面５１の三次元点群、及び側面５２の上部の三次元点群の内、Ｚ２軸座標が最も高い点に基づいて決定することができる。
【0034】
Ｓ１０６において、プロセッサ１１は、図３に示す処理を継続するか否かを判定する。プロセッサ１１は、例えば、ベルトコンベア３０によるワークＷの搬送が行われている間、図３に示す処理を継続すると判定し（Ｓ１０６：ＹＥＳ）、Ｓ１００の処理に進む。プロセッサ１１は、ベルトコンベア３０により搬送されてきた次のワークＷについて三次元点群を取得する（Ｓ１００）。プロセッサ１１は、既に検出領域４１が設定されているため（Ｓ１０１：ＹＥＳ）、Ｓ１０２及びＳ１０３の処理を飛ばしてＳ１０４の処理に進む。一方、Ｓ１０６において、プロセッサ１１は、ベルトコンベア３０によるワークＷの搬送を終了すると、図３に示す処理を継続しないと判定し（Ｓ１０６：ＮＯ）、図３の処理を終了する。
【0035】
〔変形例〕
上記実施形態では、Ｓ１０４の物体検出処理について、プロセッサ１１が、三次元点群に含まれるワークＷの位置及び姿勢を検出する場合の説明を行った。しかし、プロセッサ１１が投影点群に対して、クラスタリングを行ったときに、位置及び姿勢を検出する対象物の数は１個だけに限定されない。プロセッサ１１は、複数の対象物の位置及び姿勢を検出することにしてもよい。プロセッサ１１は、Ｓ１０４の物体検出処理において、複数の対象物の位置及び姿勢を検出した場合、Ｓ１０５の枠決定処理において、複数の物体領域４２を決定することにしてもよい。
上記実施形態では、Ｓ１０４の物体検出処理について、プロセッサ１１が、三次元点群に含まれるワークＷの位置及び姿勢を検出する場合の説明を行った。しかし、プロセッサ１１が投影点群に対して、クラスタリングを行ったときに、位置及び姿勢を検出する対象物の数は１個だけに限定されない。プロセッサ１１は、複数の対象物の位置及び姿勢を検出することにしてもよい。プロセッサ１１は、Ｓ１０４の物体検出処理において、複数の対象物の位置及び姿勢を検出した場合、Ｓ１０５の枠決定処理において、複数の物体領域４２を決定することにしてもよい。
【0036】
上記実施形態では、検出領域４１及び物体領域４２の形状を四角柱としたが、四角柱だけに限定しない。検出領域４１及び物体領域４２の形状は、例えば、四角柱以外の多角柱、円柱等の柱形であってもよい。
【0037】
上記実施形態では、撮像部２０は、ＴｏＦカメラであるものとしたが、これに限定しない。例えば、撮像部２０は、位相差検出式の自動焦点検出機能を有するプロジェクタ方式のカメラであってもよい。
【0038】
〔条項〕
（条項１）対象物を認識する対象物認識装置であって、撮像範囲内の被写体を撮像する撮像部と、１又は複数のプロセッサと、を備え、前記１又は複数のプロセッサは、前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得処理と、前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定処理と、底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定処理と、を実行する対象物認識装置。
（条項１）対象物を認識する対象物認識装置であって、撮像範囲内の被写体を撮像する撮像部と、１又は複数のプロセッサと、を備え、前記１又は複数のプロセッサは、前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得処理と、前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定処理と、底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定処理と、を実行する対象物認識装置。
【0039】
上記構成によれば、対象物の検出を行う検出領域を、底面が床面に平行な柱形の領域として設定することにより、対象物の検出に用いる三次元点群を限定することができ、対象物の認識の演算時間を短縮することができる。
【0040】
（条項２）前記検出領域は、前記柱形の中心が原点に位置し、前記底面に平行であり、かつ、互いに直交するＸ１軸及びＹ１軸と、前記底面に直交するＺ１軸を有する第１座標系に配置されており、前記検出領域設定処理は、前記第１座標系に配置された前記検出領域を、前記床面推定処理により推定された前記床面に平行であり、かつ、互いに直交するＸ２軸及びＹ２軸と、前記床面に直交するＺ２軸を有する第２座標系に設定する処理であり、前記１又は複数のプロセッサは、検出領域設定処理において、前記Ｘ１軸及び前記Ｙ１軸が前記Ｘ２軸及び前記Ｙ２軸にそれぞれ平行となるように、前記Ｚ１軸を中心に前記検出領域を回転角θだけ回転させる座標変換に用いられる変換行列Ｒθと、前記Ｚ１軸に平行であり前記原点を基点とする単位ベクトルが、前記床面の単位法線ベクトル（ａ，ｂ，ｃ）Ｔと一致するように、前記検出領域を回転させる座標変換に用いられる変換行列Ｒｎと、前記柱形の前記底面と、前記床面との間に隙間を設けるために、前記検出領域を平行移動させる並進ベクトルＵと、を用いた上式（１）により、前記点ｐを、前記検出領域の第２座標系の点ｑに座標変換し、前記変換行列Ｒθが上式（２）で表され、前記変換行列Ｒｎが上式（３）で表される、条項１に記載の対象物認識装置。
【0041】
上記構成によれば、上式（１）により対処物の３ＤＣＡＤデータ等の外部情報を用いることなく、検出領域を設定することができる。
【0042】
（条項３）前記並進ベクトルＵは、前記検出領域の移動距離を定めるベクトル（ｔＸ，ｔＹ，ｔＺ）Ｔと、前記第２座標系の原点を基点とする、Ｘ２軸、Ｙ２軸及びＺ２軸に平行な単位ベクトルｎＸ２，ｎＹ２及びｎＺ２と、前記第２座標系における、前記床面推定処理により推定された前記床面の重心の座標Ｃ０と、前記検出領域のＺ１軸方向の高さｒとに基づいて、上式（４）で表される、条項２に記載の対象物認識装置。
【0043】
上記構成によれば、対処物の３ＤＣＡＤデータ等の外部情報を用いることなく、検出領域を床面から離れた位置に設定することができる。検出領域が床面から離れた位置に検出されることにより、床面が対象物として認識されることを防ぐことができる。
【0044】
（条項４）前記１又は複数のプロセッサは、前記点群取得処理により取得された前記三次元点群のうち、前記検出領域設定処理により設定された前記検出領域内の点群を、前記検出領域の前記底面に投影し、前記検出領域の前記底面に投影された点群に対してクラスタリングを行い、投影前及び投影後の点群に基づいて、前記検出領域内に位置する前記対象物の位置及び姿勢を検出する物体検出処理を更に実行する、条項１から条項３のいずれか１項に記載の対象物認識装置。
【0045】
上記構成によれば、検出領域内の点群を床面に投影し、三次元点群を、二次元の点群に変換することにより、対象物の位置及び姿勢の検出に要する時間を低減することができる。
【0046】
（条項５）前記１又は複数のプロセッサは、前記物体検出処理において、前記検出領域の前記底面に投影された点群について固有ベクトルを算出し、前記固有ベクトルに基づいて、前記対象物の姿勢を検出し、前記物体検出処理により検出された前記対象物の位置及び姿勢に基づいて、前記検出領域内に位置する前記対象物の各々の点群を包含し前記床面に平行な物体領域を決定する枠決定処理を更に実行する、条項４に記載の対象物認識装置。
【0047】
上記構成によれば、検出領域の底面に投影された点群について固有ベクトルを算出し、その固有ベクトルに基づいて対象物の姿勢を検出することにより、対象物が傾いた床面に配置されていたとしても、適正に物体領域を決定することができる。
【0048】
（条項６）前記１又は複数のプロセッサは、前記点群取得処理において、前記被写体を撮像した撮像画像と、前記撮像部から前記被写体までの距離を画像化した距離画像とを、前記撮像部から取得し、前記撮像画像及び前記距離画像に基づいて、前記被写体の三次元点群を取得する、条項１から５のいずれか１項に記載の対象物認識装置。
【0049】
ベルト３１の上に配置されたワークＷを撮像したとき、外部環境からの影響によりワークＷの表面に影ができることがある。撮像画像のみから三次元点群を取得しようとすると、影となった部分の三次元点群を適切に取得できないおそれがある。また、ワークＷの表面に砂等が付着して変色した場合にも、撮像画像のみから三次元点群を取得しようとすると、三次元点群を適切に取得できないおそれがある。上記構成によれば、撮像画像及び距離画像を用いて被写体の三次元点群を取得することにより、外部環境からの影響により撮像画像に影等の異常が発生した場合であっても、適正に三次元点群を取得することができる。
【0050】
（条項７）条項１から６のいずれか１項に記載の対象物認識装置を用いて、対象物を認識する対象物認識方法であって、前記１又は複数のプロセッサが、前記撮像部を制御して、前記被写体の三次元点群を取得する点群取得工程と、前記１又は複数のプロセッサが、前記三次元点群に基づいて、前記対象物が配置されている床面を推定する床面推定工程と、前記１又は複数のプロセッサが、底面が前記床面に平行な柱形の領域を、前記対象物の検出を行う検出領域として設定する検出領域設定工程と、を含む、対象物認識方法。
【0051】
上記構成によれば、対象物の検出を行う検出領域を、底面が床面に平行な柱形の領域に設定することにより、対象物の検出に用いる三次元点群を限定することができ、対象物の認識の演算時間を短縮することができる。
【0052】
（条項８）条項１から６のいずれか１項に記載の対象物認識装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータに、前記点群取得処理と、前記床面推定処理と、前記検出領域設定処理とを実行させるためのプログラム。
【0053】
上記構成によれば、対象物の検出を行う検出領域を、底面が床面に平行な柱形の領域に設定することにより、対象物の検出に用いる三次元点群を限定することができ、対象物の認識の演算時間を短縮することができる。
〔ソフトウェアによる実現例〕
対象物認識装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御装置１０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
〔ソフトウェアによる実現例〕
対象物認識装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御装置１０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。
【0054】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0055】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１又は複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0056】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本開示の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0057】
〔付記事項〕
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
【符号の説明】
【0058】
１ 対象物認識装置、１０ 制御装置、１１ プロセッサ、１２ 一次メモリ、１３ 二次メモリ、２０ 撮像部、２１ 撮像範囲、３１ ベルト（床面）、４１ 検出領域、４１Ａ 底面、４２ 物体領域、６１、６２ 投影点群、７２、７３ 固有ベクトル、Ｃ２ 重心、ｎ 単位法線ベクトル、Ｏ１、Ｏ２ 原点、Ｐ１ プログラム、Ｒｎ、Ｒθ 変換行列、Ｕ 並進ベクトル、Ｗ ワーク（対象物）、θ 回転角
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】