特許 6420404 物体認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6420404

(24)【登録日】2018年10月19日

(45)【発行日】2018年11月7日

(54)【発明の名称】物体認識装置

(51)【国際特許分類】

   G01B 21/00 20060101AFI20181029BHJP

   G01B 21/20 20060101ALI20181029BHJP

   G01B 21/22 20060101ALI20181029BHJP

   G01B 11/00 20060101ALI20181029BHJP

   G01B 11/24 20060101ALI20181029BHJP

   G01B 11/26 20060101ALI20181029BHJP

   B25J 19/04 20060101ALI20181029BHJP

【ＦＩ】

   G01B21/00 E

   G01B21/20 101

   G01B21/22

   G01B11/00 A

   G01B11/24 A

   G01B11/26 Z

   B25J19/04

【請求項の数】4

【全頁数】8

(21)【出願番号】特願2017-86870(P2017-86870)

(22)【出願日】2017年4月26日

【審査請求日】2018年6月18日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】滝澤 象太

(72)【発明者】

【氏名】吉田 順一郎

(72)【発明者】

【氏名】藁科 文和

【審査官】 梶田 真也

(56)【参考文献】

【文献】 特開２０１３−１０１０４５（ＪＰ，Ａ）

【文献】 特開２０１２−１６８７８８（ＪＰ，Ａ）

【文献】 国際公開第２０１７／０９５５７６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１８／００７５６１８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

Ｇ０１Ｂ ２１／００ − ２１／３２

Ｂ２５Ｊ １／００ − ２１／０２

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｇ０６Ｔ １１／６０ − １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ − １９／２０

(57)【特許請求の範囲】

【請求項1】

第１時刻において物体の２次元情報を取得する２次元センサと、
第２時刻において前記物体の３次元情報を取得する３次元センサと、
前記第１時刻における前記２次元センサの第１位置と前記２次元情報とを対応づけて記憶するとともに、前記第２時刻における前記３次元センサの第２位置と前記３次元情報とを対応づけて記憶する記憶部と、
該記憶部に記憶された前記第１位置と前記第２位置とに基づいて、前記第１位置における前記２次元センサの姿勢と前記第２位置における前記３次元センサの姿勢との間の姿勢変化量を算出し、算出された前記姿勢変化量に基づいて前記第２位置で取得された前記３次元情報を前記第１位置で取得された３次元情報に変換し、変換された前記３次元情報と前記２次元情報とに基づいて前記物体の状態を算出する演算部とを備える物体認識装置。

【請求項2】

前記物体が固定され、
前記２次元センサおよび前記３次元センサがロボットに取り付けられ、
前記第１位置および前記第２位置が、前記第１時刻および前記第２時刻における前記ロボットの位置情報に基づいて算出される請求項１に記載の物体認識装置。

【請求項3】

前記２次元センサおよび前記３次元センサが固定され、
前記物体が搬送機構により搬送され、
前記第１位置および前記第２位置が、前記第１時刻および前記第２時刻における前記搬送機構の搬送量情報に基づいて算出される請求項１に記載の物体認識装置。

【請求項4】

前記２次元センサによる前記２次元情報の取得と、前記３次元センサによる前記３次元情報の取得とを交互に行い、
前記演算部が、隣接する時刻に取得された前記２次元情報と前記３次元情報とに基づいて前記物体の状態を算出する請求項１から請求項３のいずれかに記載の物体認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体認識装置に関するものである。

【背景技術】

【0002】

従来、物体に対してパターンを投影して撮影することにより物体の３次元情報を取得し、パターンを投影せずに撮影することで物体の２次元情報を取得し、取得された２次元情報と３次元情報とを組み合わせて物体の位置および姿勢を求める技術が知られている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１０１０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の技術では、２次元情報と３次元情報とを同時に取得することができないため、２次元センサおよび３次元センサと物体とが、いずれか一方が他方に対して相対的に移動している場合には２次元情報と３次元情報とが異なる位置において取得されるため、物体の位置および姿勢を精度よく算出することができないという不都合がある。
本発明は上述した事情に鑑みてなされたものであって、センサに対して物体、または物体に対してセンサが相対的に移動していても物体の位置および姿勢を精度よく算出することができる物体認識装置を提供することを目的としている。

【課題を解決するための手段】

【0005】

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、第１時刻において物体の２次元情報を取得する２次元センサと、第２時刻において前記物体の３次元情報を取得する３次元センサと、前記第１時刻における前記物体または前記２次元センサの第１位置と前記２次元情報とを対応づけて記憶するとともに、前記第２時刻における前記物体または前記３次元センサの第２位置と前記３次元情報とを対応づけて記憶する記憶部と、該記憶部に記憶された前記第１位置と前記第２位置とに基づいて、前記第１位置における前記２次元センサの姿勢と前記第２位置における前記３次元センサの姿勢との間の姿勢変化量を算出し、算出された前記姿勢変化量に基づいて前記第２位置で取得された前記３次元情報を前記第１位置で取得された３次元情報に変換し、変換された前記３次元情報と前記２次元情報とに基づいて前記物体の状態を算出する演算部とを備える物体認識装置を提供する。

【0006】

本態様によれば、第１時刻において２次元センサにより取得された物体の２次元情報が、第１時刻における２次元センサの第１位置と対応づけて記憶部に記憶され、第２時刻において３次元センサにより取得された物体の３次元情報が、第２時刻における３次元センサの第２位置と対応づけて記憶部に記憶される。
演算部は、第１位置における２次元センサの姿勢と第２位置における３次元センサの姿勢との間の姿勢変化量を算出し、算出された姿勢変化量に基づいて第２位置で取得された３次元情報を第１位置で取得された３次元情報に変換し、変換された３次元情報と２次元情報とに基づいて物体の状態を算出する。

【0007】

物体と２次元センサおよび３次元センサとを、いずれか一方を他方に対して相対的に移動させながら、２次元情報と３次元情報とを異なる時刻に順次取得する場合には、取得された２次元情報と３次元情報とは物体の異なる方向から取得されることとなる。本態様によれば、２次元センサと３次元センサとの姿勢変化量を算出して、第２位置で取得された３次元情報を第１位置で取得された３次元情報に変換するので、２次元情報と３次元情報とを同一方向から物体をみた場合の情報に概略等しくすることができ、これらに基づいて、物体の形状、位置および姿勢の少なくとも１つの状態を精度よく算出することができる。

【0008】

上記態様においては、前記物体が固定され、前記２次元センサおよび前記３次元センサがロボットに取り付けられ、前記第１位置および前記第２位置が、前記第１時刻および前記第２時刻における前記ロボットの位置情報に基づいて算出されてもよい。
このようにすることで、ロボットの動作に伴って２次元センサおよび３次元センサが移動するので、第１時刻および第２時刻におけるロボットの位置情報が取得できれば、第１位置および第２位置を精度よく算出し、物体の状態を精度よく算出することができる。

【0009】

また、上記態様においては、前記２次元センサおよび前記３次元センサが固定され、前記物体が搬送機構により搬送され、前記第１位置および前記第２位置が、前記第１時刻および前記第２時刻における前記搬送機構の搬送量情報に基づいて算出されてもよい。
このようにすることで、固定された２次元センサおよび３次元センサに対して、搬送機構により物体が搬送させられることにより、第１位置と第２位置とが変化するが、搬送機構の搬送量情報が取得できれば、第１位置および第２位置を精度よく算出し、物体の状態を精度よく算出することができる。

【0010】

また、上記態様においては、前記２次元センサによる前記２次元情報の取得と、前記３次元センサによる前記３次元情報の取得とを交互に行い、前記演算部が、隣接する時刻に取得された前記２次元情報と前記３次元情報とに基づいて前記物体の状態を算出してもよい。
このようにすることで、各第１位置において取得された各２次元情報に対応づける３次元情報として、より近い第２位置において取得された３次元情報を利用することができる。これにより、２次元情報を取得する間隔を短縮することができ、物体と２次元センサおよび３次元センサとの相対移動経路に沿う物体の状態をより詳細に認識することができる。

【発明の効果】

【0011】

本発明によれば、センサに対して物体、または物体に対してセンサが相対的に移動していても物体の位置および姿勢を精度よく算出することができるという効果を奏する。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る物体認識装置を示すブロック図である。

【図2】図１の物体認識装置のセンサをロボットに取り付けて物体を認識する場合を示す斜視図である。

【図3】図１の物体認識装置による物体の認識を説明する図である。

【図4】図１の物体認識装置の第１の変形例による物体の認識を説明する図である。

【図5】図４に続く物体の認識を説明する図である。

【図6】図１の物体認識装置のセンサを固定し、ロボットに物体を取り付けて認識する場合を示す斜視図である。

【発明を実施するための形態】

【0013】

本発明の一実施形態に係る物体認識装置１について、図面を参照して以下に説明する。
本実施形態に係る物体認識装置１は、図１に示されるように、ロボット１００の手首先端に取り付けられ、ロボット１００の外部に固定された物体Ｘの２次元情報および３次元情報を取得するセンサ（２次元センサ、３次元センサ）２と、該センサ２により各時刻において取得された物体Ｘの２次元情報および３次元情報を各時刻におけるロボット１００のロボット位置情報（以下、単に位置情報という）と対応づけて記憶するメモリ（記憶部）３と、該メモリ３に記憶された２次元情報、３次元情報およびロボット１００の位置情報に基づいて、物体Ｘの形状、位置および姿勢の少なくとも１つを認識するプロセッサ（演算部）４とを備えている。図中、符号１１０は、ロボット１００を制御し、位置情報をメモリ３に送信する制御部である。

【0014】

センサ２は、２次元情報または３次元情報のいずれかを択一的に取得可能な方式のものであり、ロボット１００を動作させて移動しながら取得する場合には、物体Ｘを同一方向から取得することができず、異なる方向から２次元情報および３次元情報を取得するようになっている。センサ２は、２次元情報として２次元画像、３次元情報として距離情報を取得するようになっている。

【0015】

プロセッサ４は、メモリ３に記憶された２次元情報および３次元情報をそれぞれ取得したときのロボット１００の位置情報に基づいて、２次元情報を取得したときのセンサ２の位置（第１位置）と３次元情報を取得したときのセンサ２の位置（第２位置）とをそれぞれ算出し、算出された２つの位置に基づいて２つの位置でのセンサ２の姿勢変化量を算出するようになっている。姿勢変化量は、例えば、シフト量より３方向の回転量を含む４×４の行列として算出される。

【0016】

プロセッサ４は、算出された姿勢変化量をメモリ３に記憶されている３次元情報に乗算することにより、第２位置において取得された３次元情報を第１位置で算出された３次元情報に変換するようになっている。そして、プロセッサ４は、変換された３次元情報と２次元情報とに基づいて物体Ｘの形状、位置および姿勢の少なくとも１つからなる物体Ｘの状態を算出するようになっている。

【0017】

このように構成された本実施形態に係る物体認識装置１によれば、図２に示されるように、制御部１１０によってロボット１００を制御し、ロボット１００によりセンサ２を移動させながら、２次元情報とは異なる時刻に取得された３次元情報をセンサ２の姿勢変化量に基づいて、２次元情報の取得された第１位置において取得された３次元情報に変換するので、平面的な情報である２次元情報と、立体的な情報である３次元情報とを精度よく対応づけて、物体Ｘの状態を精度よく認識することができるという利点がある。

【0018】

例えば、図３に示されるように、第１時刻に物体Ｘを含む領域の２次元情報を斜め上方から取得し、その後、ロボット１００によりセンサ２を移動させて第２時刻に物体Ｘを含む領域の３次元情報を鉛直上方から取得した場合に、両検出位置においてセンサ２の検出方向に延びる直線（視線）がシフトおよび回転してしまう。

【0019】

図中、黒塗りのプロットはセンサ２により取得された３次元情報、白抜きのプロットは取得された３次元情報をそのまま２次元情報に重ねた場合をそれぞれ示している。
本実施形態に係る物体認識装置１によれば、姿勢変化量を用いて、白抜きのプロットを黒塗りのプロットの位置まで戻し、２次元情報の各位置に対応する３次元情報として変換することができる。

【0020】

すなわち、物体Ｘの２次元情報と３次元情報とが異なる方向から取得されても、物体Ｘの形状、位置および姿勢を精度よく認識でき、ロボット１００を高速で動作させながら物体Ｘの状態を認識することができるという利点がある。
この場合において、２次元情報と３次元情報とを組み合わせて物体Ｘを認識するので、情報量の膨大な３次元情報のみから認識する場合と比較して、使用する３次元情報を最小限に抑えてメモリ容量やプロセッサによる演算量を大幅に削減することができ、ロボット１００の高速動作中においてもリアルタイムに物体Ｘの状態を認識することができるという利点がある。

【0021】

なお、本実施形態においては、２次元情報を第１時刻に取得し、３次元情報はその後の第２時刻に取得することとしたが、取得の順序は逆でもよい。
また、本実施形態においては、２次元情報および３次元情報をそれぞれ異なる１箇所において取得した場合を例示して説明したが、これに代えて、ロボット１００の動作に伴うセンサ２の移動経路に沿って複数の位置において物体Ｘを認識する場合に適用してもよい。

【0022】

この場合には、図４および図５に示されるように、２次元情報と３次元情報とを時系列に交互に取得し、隣接する２次元情報と３次元情報とを用いて、３次元情報を２次元情報に対応づけることにしてもよい。
例えば、図４に示されるように、第１時刻において取得された２次元情報と第２時刻において取得された３次元情報とに基づいて、第２時刻に取得された２次元情報を第１時刻に取得したのと同等の３次元情報に変換して対応づける。次いで、図５に示されるように、第２時刻において取得された３次元情報と第３時刻において取得された２次元情報とに基づいて、第２時刻に取得された３次元情報を第３時刻に取得したのと同等の３次元情報に変換して対応づける。これにより、２つの２次元情報の間に取得された３次元情報を量２次元情報に対応づけて物体をより詳細に認識することができる。

【0023】

また、本実施形態においては、３次元情報を２次元情報に対応づけるように変換することとしたが、これに代えて、２次元情報を３次元情報に対応づけるように変換してもよい。これにより、２次元情報の取得位置および３次元情報の取得位置の両方において２次元情報と３次元情報とを対応づけることができ、ロボット１００によるセンサ２の移動経路に沿って、より詳細に物体Ｘを認識することができるという利点がある。

【0024】

また、本実施形態においては、ロボット１００にセンサ２を取り付けて物体Ｘに対してセンサ２を移動させる場合について説明したが、これに代えて、図６に示されるように、センサ２をロボット１００の外部に固定し、物体Ｘをロボット１００に装着してセンサ２に対して物体Ｘを移動させる場合に適用してもよい。
また、ロボット１００によってセンサ２を移動する場合について説明したが、これに代えて、センサ２を固定し、ベルトコンベア等の搬送機構によって物体Ｘを移動させる場合に適用してもよい。この場合には、搬送機構に備えられたエンコーダ等の位置センサにより検出された物体Ｘの位置情報（搬送量情報）に基づいて姿勢変化量を算出すればよい。

【0025】

また、本実施形態においては、センサ２として、２次元情報および３次元情報を択一的に切り替えて取得可能なものを例示したが、これに代えて、２次元情報を検出する２次元センサと、３次元情報を検出する３次元センサとを別々に備え、両者を所定の相対位置関係に固定して使用することにしてもよい。

【符号の説明】

【0026】

１ 物体認識装置
２ センサ（２次元センサ、３次元センサ）
３ メモリ（記憶部）
４ プロセッサ（演算部）
１００ ロボット
Ｘ 物体

【要約】

【課題】センサに対して物体、または物体に対してセンサが相対的に移動していても物体の状態を精度よく算出する。
【解決手段】第１時刻において物体の２次元情報を取得する２次元センサ２と、第２時刻において物体Ｘの３次元情報を取得する３次元センサ２と、第１時刻における２次元センサ２の第１位置と２次元情報、および、第２時刻における３次元センサ２の第２位置と３次元情報をそれぞれ対応づけて記憶する記憶部３と、記憶された第１位置と第２位置とに基づき、第１位置における２次元センサ２の姿勢と第２位置における３次元センサ２の姿勢との間の姿勢変化量を算出し、算出された姿勢変化量に基づき第２位置で取得された３次元情報を第１位置で取得された３次元情報に変換し、変換された３次元情報と２次元情報とに基づき物体Ｘの状態を算出する演算部４とを備える物体認識装置１を提供する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】