特開 2024-130559 画像処理装置、ロボット制御システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024130559

(43)【公開日】2024-09-30

(54)【発明の名称】画像処理装置、ロボット制御システム及び画像処理方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240920BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023040372

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】中塚 均

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS10

3C707BS15

3C707DS01

3C707ES01

3C707FU01

3C707KS03

3C707KS04

3C707KS36

3C707KT01

3C707KT05

3C707LV14

3C707MT04

(57)【要約】

【課題】撮像対象の計測を高精度に行うことが可能な画像処理装置、ロボット制御システム及び画像処理方法を提供すること。
【解決手段】本開示の画像処理装置は、収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を含むものであって、制御装置は、収容空間内の複数の物品の上面位置を検出する上面位置検出部と、撮像装置が複数の物品を撮像する際の、上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、撮像装置が複数の物品を撮像する際の撮像装置の位置を、上面位置と撮像装置との間の距離が最長値よりも短くなるように調整する撮像位置調整部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を備える画像処理装置であって、
前記制御装置は、
前記収容空間内の複数の物品の上面位置を検出する上面位置検出部と、
前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、
前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように調整する撮像位置調整部と、を備える、
画像処理装置。

【請求項2】

前記撮像範囲取得部は、前記撮像範囲として、前記最長値に加えて、前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最短値を取得し、
前記撮像位置調整部は、前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の上下方向の高さ位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短く且つ前記最短値よりも長くなるように調整する、
請求項１に記載の画像処理装置。

【請求項3】

前記撮像範囲を入力可能な入力部を更に備える、
請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記撮像範囲を表示可能な表示部を更に備える、
請求項３に記載の画像処理装置。

【請求項5】

前記撮像装置は、３次元情報を取得し、
前記上面位置検出部は、前記３次元情報を用いて前記複数の物品の上面位置を検出する、
請求項１又は請求項２に記載の画像処理装置。

【請求項6】

前記制御装置は、前記最長値を前記複数の物品の形状に関する情報に基づいて設定可能な第１の最長値特定部を更に備える、
請求項１又は請求項２に記載の画像処理装置。

【請求項7】

前記制御装置は、前記最長値を前記収容空間内の前記複数の物品の数に関する情報に基づいて設定可能な第２の最長値特定部を更に備える、
請求項１又は請求項２に記載の画像処理装置。

【請求項8】

収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を備える画像処理装置と、
先端部にエンドエフェクタを備え、前記撮像装置が撮像した画像を用いて動作するロボットと、を備えるロボット制御システムであって、
前記制御装置は、
前記収容空間内の複数の物品の上面位置を検出する上面位置検出部と、
前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、
前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように調整する撮像位置調整部と、を備える、
ロボット制御システム。

【請求項9】

前記撮像装置は、前記ロボットの前記エンドエフェクタに隣接する位置に取り付けられている、
請求項８に記載のロボット制御システム。

【請求項10】

前記ロボットは、前記物品を前記収容空間から取り出す動作を実行し、且つ前記取り出す動作の後に基準位置に戻る動作を実行するものであり、
前記制御装置は、前記基準位置が前記撮像位置調整部で調整した前記撮像装置の位置となるように制御する、
請求項９に記載のロボット制御システム。

【請求項11】

収容空間にバラ積みされた複数の物品の上面位置を検出する工程と、
撮像装置を用いて前記複数の物品を上方から撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する工程と、
前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように、前記撮像装置の位置を調整する工程と、
前記撮像装置を用いて前記複数の物品を撮像する工程と、を備える、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、ロボット制御システム及び画像処理方法に関する。

【背景技術】

【0002】

産業用ロボットの技術分野において、コンテナ等の収容空間内にバラ積みされた物品（以下、「ワーク」ともいう）を、ロボットを用いて自動で取り出す装置が知られている。例えば、下記特許文献１には、コンテナの上方に固定されコンテナの開口端面を含むように撮像領域が設定されたカメラを含み、このカメラで撮像した画像に基づいてロボットが取り出し可能な物品を特定して取り出し動作を実行するものが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２８４１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ロボットを用いて収容空間内の複数のワークのうちの特定のワークを取り出すに際しては、カメラの撮像領域内のワークの３次元計測を精度良く行うことが重要である。このような３次元計測に際しては、収容空間内の複数のワークのうち、特に取り出し可能な位置にあるワーク（具体的には、収容空間の上方に積まれているワーク）の計測精度を高くすることが取り出し作業を安定して実行する上で重要である。

【0005】

ここで、ワークの３次元計測の精度は、カメラの分解能に依存する。そして、カメラに要求される最適な分解能は、ワークのサイズを含む形状等によって異なるのが通常である。しかしながら、上記特許文献１のもののように、カメラがコンテナの上方に固定されていると、撮像位置を変更できないため、ワークの形状等に合わせた適切な分解能での撮像を行うことが困難である。

【0006】

本開示は、上述した課題に鑑み、撮像対象の計測を高精度に行うことが可能な画像処理装置、ロボット制御システム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本開示の第１の態様に係る画像処理装置は、収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を含む画像処理装置であって、前記制御装置は、前記収容空間内の複数の物品の上面位置を検出する上面位置検出部と、前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように調整する撮像位置調整部と、を含む。

【0008】

このような画像処理装置においては、撮像装置の位置、例えば上下方向の高さ位置が、物品の上面位置に合わせて調整されるため、物品の数や大きさに関わらず、最適な分解能で物品の撮像を行うことができ、撮像画像内の物品の計測を精度良く行うことができる。

【0009】

本開示の第２の態様に係る画像処理装置は、上記本開示の第１の態様に係る画像処理装置において、前記撮像範囲取得部は、前記撮像範囲として、前記最長値に加えて、前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最短値を取得し、前記撮像位置調整部は、前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の上下方向の高さ位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短く且つ前記最短値よりも長くなるように調整する。

【0010】

このような画像処理装置においては、撮像範囲に最短値が含まれることで、例えば撮像装置と物品との距離が近すぎることによる物品の計測精度の低下を抑制することができる。

【0011】

本開示の第３の態様に係る画像処理装置は、上記本開示の第１又は第２の態様に係る画像処理装置において、前記撮像範囲を入力可能な入力部を更に含む。

【0012】

このような画像処理装置においては、撮像範囲の設定をユーザの望む値に容易に調整できる。

【0013】

本開示の第４の態様に係る画像処理装置は、上記本開示の第３の態様に係る画像処理装置において、前記撮像範囲を表示可能な表示部を更に含む。

【0014】

このような画像処理装置においては、撮像範囲を表示部に表示させた状態でユーザによる撮像範囲の入力が実施できるため、撮像範囲の入力操作が簡単になる。

【0015】

本開示の第５の態様に係る画像処理装置は、上記本開示の第１又は第２の態様に係る画像処理装置において、前記撮像装置は、３次元情報を取得し、前記上面位置検出部は、前記３次元情報を用いて前記複数の物品の上面位置を検出する。

【0016】

このような画像処理装置においては、上面位置の３次元位置を精度良く特定することができる。

【0017】

本開示の第６の態様に係る画像処理装置は、上記本開示の第１又は第２の態様に係る画像処理装置において、前記制御装置は、前記最長値を前記複数の物品の形状に関する情報に基づいて設定可能な第１の最長値特定部を更に含む。

【0018】

このような画像処理装置においては、最長値を物品に関する情報に基づいて特定できるため、最長値の入力操作を簡素化あるいは省略することができる。

【0019】

本開示の第７の態様に係る画像処理装置は、上記本開示の第１又は第２の態様に係る画像処理装置において、前記制御装置は、前記最長値を前記収容空間内の前記複数の物品の数に関する情報に基づいて設定可能な第２の最長値特定部を更に含む。

【0020】

このような画像処理装置においては、最長値を物品に関する情報に基づいて特定できるため、最長値の入力操作を簡素化あるいは省略することができる。

【0021】

本開示の第８の態様に係るロボット制御システムは、収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を備える画像処理装置と、先端部にエンドエフェクタを備え、前記撮像装置が撮像した画像を用いて動作するロボットと、を含むロボット制御システムであって、前記制御装置は、前記収容空間内の複数の物品の上面位置を検出する上面位置検出部と、前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように調整する撮像位置調整部と、を含む。

【0022】

このようなロボット制御システムにおいては、撮像装置の位置、例えば上下方向の高さ位置が、物品の上面位置に合わせて調整されるため、物品の数や大きさに関わらず、最適な分解能で物品の撮像を行うことができ、撮像画像内の物品の計測を精度良く行うことができる。

【0023】

本開示の第９の態様に係るロボット制御システムは、上記本開示の第８の態様に係るロボット制御システムにおいて、前記撮像装置は、前記ロボットの前記エンドエフェクタに隣接する位置に取り付けられている。

【0024】

このようなロボット制御システムにおいては、撮像装置の位置の調整をロボットを動作させることで行うことができるようになり、システム全体を簡素化できる。

【0025】

本開示の第１０の態様に係るロボット制御システムは、上記本開示の第９の態様に係るロボット制御システムにおいて、前記ロボットは、前記物品を前記収容空間から取り出す動作を実行し、且つ前記取り出す動作の後に基準位置に戻る動作を実行するものであり、前記制御装置は、前記基準位置が前記撮像位置調整部で調整した前記撮像装置の位置となるように制御する。

【0026】

このようなロボット制御システムにおいては、ロボットの基準位置と撮像装置が物品を撮像する位置とが一致しているため、ロボット制御システムの制御を簡素化できる。

【0027】

本開示の第１１の態様に係る画像処理方法は、収容空間にバラ積みされた複数の物品の上面位置を検出する工程と、撮像装置を用いて前記複数の物品を上方から撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する工程と、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように、前記撮像装置の位置を調整する工程と、前記撮像装置を用いて前記複数の物品を撮像する工程と、を含む。

【0028】

このような画像処理方法においては、撮像装置の位置、例えば上下方向の高さ位置が、物品の上面位置に合わせて調整されるため、物品の数や大きさに関わらず、最適な分解能で物品の撮像を行うことができ、撮像画像内の物品の計測を精度良く行うことができる。

【発明の効果】

【0029】

上述した画像処理装置、ロボット制御システム及び画像処理方法によれば、撮像対象の計測を高精度に行うことが可能である。

【図面の簡単な説明】

【0030】

【図1】本開示の第１の実施の形態に係る画像処理装置を含むロボット制御システムの一例を示した概略構造図である。

【図2】図１に示す３Ｄカメラの撮像領域を説明するための模式図である。

【図3】図１に示すロボット制御システムを用いて相対的に大きなワークを取り出す場合の撮像位置の一例を示した説明図である。

【図4】図１に示すロボット制御システムを用いて相対的に小さなワークを取り出す場合の撮像位置の一例を示した説明図である。

【図5】収容空間内にバラ積みされたワークの一例を示した平面図である。

【図6】表示部に表示される最長値及び最短値の入力画面の一例を示した図である。

【図7】本開示の一実施の形態に係る画像処理方法の一例を示したフローチャートである。

【図8】本開示の第２の実施の形態に係る画像処理装置を含むロボット制御システムの一例を示した概略構造図である。

【発明を実施するための形態】

【0031】

以下、図面を参照して本開示を実施するための各実施の形態について説明する。なお、以下では本開示の目的を達成するための説明に必要な範囲を模式的に示し、本開示の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0032】

＜第１の実施の形態＞
図１は、本開示の第１の実施の形態に係る画像処理装置を含むロボット制御システムの一例を示した概略構造図である。本開示の第１の実施の形態に係る画像処理装置１としては、図１に示すように、所定の収容空間Ｓにバラ積みされた複数の物品の一例としてのワークＷを取り出す（ピッキングする）ためのロボット１０を含むロボット制御システム２の一部として機能するものを例示する。なお、本開示の画像処理装置１は、以下に説明するロボット制御システム２の一部としての利用に限定されず、対象物の計測が必要な種々の用途で利用可能である。

【0033】

本実施の形態に係る画像処理装置１は、ワークＷを撮像可能な撮像装置の一例としての３次元（３Ｄ）カメラ２０と、３Ｄカメラ２０を制御可能な制御装置の一例としてのカメラ制御装置３０とを含む。なお、以下においては、図１に示す矢印Ｘが示す方向を左右方向とし、以下同様に、矢印Ｙが示す方向を前後方向、矢印Ｚが示す方向を上下方向（あるいは垂直方向）として説明を行うものとする。

【0034】

３Ｄカメラ２０は、例えばコンテナ３内の空間で構成された収容空間Ｓ内にバラ積みされた複数のワークＷを、収容空間Ｓ内の上方から撮像することが可能なものであってよい。この３Ｄカメラ２０には、例えばレーザー光等を照射可能な投光部とＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等を含む受光部とで構成された三角測量センサを採用することができる。なお、３Ｄカメラ２０は対象物の３次元情報を取得可能なものであれば上述した三角測量センサに限定されない。具体的には、３Ｄカメラ２０として、ステレオカメラ、ストラクチャードライト、あるいはＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ等の深度センサ付きカメラ等を採用することもできる。これらの３Ｄカメラ２０は、一般に、撮像対象物（本実施の形態においてはワークＷ）との距離によって分解能が変化するものである。

【0035】

本実施の形態において、撮像装置の一例としての３Ｄカメラ２０は、少なくともその上下方向位置が変更可能である。そして、本実施の形態においては、３Ｄカメラ２０の上下方向位置を変更可能とするために、３Ｄカメラ２０を、後述するロボット１０のエンドエフェクタ１２に隣接する位置に取り付けたものを例示している。したがって、３Ｄカメラ２０の上下方向を含む位置は、ロボット１０の動作に追従して変更することができる。

【0036】

カメラ制御装置３０は、３Ｄカメラ２０に有線又は無線通信を介して接続されて、３Ｄカメラ２０の動作を制御するものであってよい。このカメラ制御装置３０は、例えば周知のコンピュータで構成することができる。ここで、周知のコンピュータとは、例えば、少なくとも、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなるプロセッサと、メモリの一例としてのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ストレージと、入出力インタフェースとを含んだものとすることができる。また、これらの構成要素は、内部バスを介して相互に通信可能に接続されていてよい。

【0037】

上述した画像処理装置１を含むロボット制御システム２は、図１に示すように、ロボット１０をさらに含む。ロボット１０は、その先端にエンドエフェクタ１２を有し、３Ｄカメラ２０が撮像した画像を用いて生成された指令に基づいて動作するものである。

【0038】

ロボット１０は、ロボット本体１１と、ロボット本体１１の先端部に取り付けられたエンドエフェクタ１２と、ロボット本体１１及びエンドエフェクタ１２の動作を制御可能なロボット制御装置１３とを含んでいてよい。そして、このロボット１０は、コンテナ３の近傍に配置され、コンテナ３内の複数のワークＷを１つずつ把持することが可能なものであってよい。図１では、本実施の形態に係るロボット１０が垂直多関節ロボットである場合を例示している。なお、ロボットの種類については特に限定されず、例えば水平多関節ロボット等であってもよい。

【0039】

ロボット本体１１は、主に、基端部が旋回可能なベースで構成され、その間に回転自在のジョイントを介して連結された複数本のリンクアームを備える多関節ロボットであってよい。

【0040】

エンドエフェクタ１２は、１個あるいは複数個のワークＷを把持可能なものであってよく、例えばグリッパで構成することができる。なお、エンドエフェクタ１２の具体的な構成はワークＷの形状等を考慮して適宜変更することができる。具体的には、例えば多指ハンドや吸着タイプのもの等を採用することができる。

【0041】

ロボット制御装置１３は、ロボット本体１１及びエンドエフェクタ１２を制御することが可能な装置であってよい。このロボット制御装置１３は、カメラ制御装置３０と同様に、周知のコンピュータで構成することができる。また、ロボット制御装置１３は、カメラ制御装置３０に通信可能に接続され、カメラ制御装置３０において、撮像画像を用いて生成された指令情報に基づいて、ロボット１０を動作させることが可能なものであってよい。

【0042】

また、このロボット制御装置１３は、ワークＷの取り出し動作を実行する度に、基準位置（ホームポジションと呼ばれることもある）に戻るようにロボット１０の動作を制御するものであってよい。そして、ここでいう基準位置は、本実施の形態に係るロボット制御システム２においては、３Ｄカメラ２０の撮像位置と同じ位置に設定されていてよい。

【0043】

上述した構成を含むロボット制御システム２は、３Ｄカメラ２０で撮像された撮像画像に基づいて取り出し可能なワークＷの有無を特定し、取り出し可能なワークＷがある場合には、当該ワークＷを取り出すための指令情報に基づいてロボット１０を動作させることができる。以下には、当該ロボット１０を動作させるための指令情報を生成するための画像処理装置１の構成等の一例について詳述する。

【0044】

図２は、図１に示す３Ｄカメラの撮像領域を説明するための模式図である。本実施の形態の画像処理装置１の３Ｄカメラ２０は、図２に示すように、レンズ（図示省略）から下方に放射状に形成される撮像領域２１のうち、レンズから所定距離離れた領域（以下、この領域を「３次元計測可能範囲２３」という）にある対象物の３次元情報が取得可能なものであってよい。そして、この３次元計測可能範囲２３内の、特にその中央部分（以下、この領域を「３次元計測範囲２２」という）にある対象物に対する３次元情報の取得を、安定して且つ高精度に実施できるものであってよい。したがって、本実施の形態に係る画像処理装置１においては、ロボット１０により取り出し可能な位置にある複数のワークＷが、３Ｄカメラ２０の３次元計測範囲２２に収まる位置で撮像動作を実施するとよい。

【0045】

ところで、一般的に、収容空間Ｓにバラ積みされた複数のワークＷのうちの取り出し可能なワークＷとは、収容空間Ｓの上方に積まれているワークＷを指す。したがって、３Ｄカメラ２０は収容空間Ｓ内の特に上方に位置するワークＷが３次元計測範囲２２に確実に収まるように、その位置を調整するとよい。

【0046】

図３は、図１に示すロボット制御システムを用いて相対的に大きなワークを取り出す場合の撮像位置の一例を示した説明図である。また、図４は、図１に示すロボット制御システムを用いて相対的に小さなワークを取り出す場合の撮像位置の一例を示した説明図である。さらに、図５は、収容空間内にバラ積みされたワークの一例を示した平面図であって、図５（Ａ）は収容空間内に相対的に大きなワークがバラ積みされたものを示し、図５（Ｂ）は収容空間内に相対的に小さなワークがバラ積みされたものを示す。

【0047】

３Ｄカメラ２０で複数のワークＷを撮像する場合、ワークＷとの間の最適な距離は、ワークＷの大きさによって相違する。具体的には、例えば、図５（Ａ）に示すもののように、撮像対象が、そのサイズが相対的に大きなワークＷ１である場合は、当該大きなワークＷ１と３Ｄカメラ２０の距離が近いと、撮像領域２１内に収まる大きなワークＷ１の数が少なくなり、取り出し作業の効率が低下する。そこで、このような場合は、３Ｄカメラ２０の撮像領域２１内に当該大きなワークＷ１が複数個（例えば５個以上）位置するように、３Ｄカメラ２０の上下方向の位置を、大きなワークＷ１から一定距離以上離れた位置とすると好ましい。したがって、比較的大きなワークＷ１を撮像する場合には、図３に示すように、３Ｄカメラ２０の撮像位置を高く設定し、その３次元計測範囲２２Ａが水平方向に大きくなるよう調整して撮像を実行すると好ましい。

【0048】

他方、３Ｄカメラ２０の撮像対象が、例えば、図５（Ｂ）に示すように、上述した相対的に大きなワークＷ１に対して相対的に小さいワークＷ２である場合は、３Ｄカメラ２０の撮像位置を例えば図３に示した高さと同じ高さとすると、撮像領域２１内に多くの（例えば３０個以上の）ワークＷが位置することになる。このように、撮像画像内に多くの小さなワークＷ２が存在していると、カメラ制御装置３０において取り出し可能か否かを特定する対象が多くなり、取り出し可能なワークを認識するのに多くの時間を要することになる。したがって、このような場合には、図４に示すように、３Ｄカメラ２０の上下方向の位置を相対的に低く設定し、その３次元計測範囲２２Ｂを水平方向に小さく設定することで、３次元計測範囲２２Ｂ内に位置する小さなワークＷ２の数を調整して撮像を実行すると好ましい。

【0049】

本実施の形態に係る画像処理装置１のカメラ制御装置３０は、上述の点を考慮して３Ｄカメラ２０の撮像位置の制御を実行する。具体的には、収容空間Ｓ内の複数のワークＷの、最も上方に位置する面の位置（以下、「上面位置ＴＰ」という）に合わせて３Ｄカメラ２０の上下方向の位置を調整することができる。以下、カメラ制御装置３０のソフトウェア構成について説明する。

【0050】

カメラ制御装置３０は、図１に示すように、種々のソフトウェア構成を含む。具体的には、少なくとも、収容空間Ｓ内の複数のワークＷの上面位置ＴＰを検出する上面位置検出部３１と、３Ｄカメラ２０の撮像時において、３Ｄカメラ２０と上面位置ＴＰとの間の距離として許容可能な最長値ＷＤ１を含む撮像範囲ＩＲを取得可能な撮像範囲取得部３２と、３Ｄカメラ２０の撮像時における位置を、上面位置ＴＰと３Ｄカメラ２０との間の距離が最長値ＷＤ１よりも短くなるように調整する撮像位置調整部３３と、を含む。これらの構成は、カメラ制御装置３０を構成するコンピュータのプロセッサ等によって実現することができる。

【0051】

上面位置検出部３１は、収容空間Ｓ内の複数のワークＷのうち、最も上方に位置する面、換言すると、最も３Ｄカメラ２０に近接する位置にある面を上面位置ＴＰとして検出するものである。上面位置ＴＰは、例えば、収容空間Ｓを３Ｄカメラ２０で撮像した撮像画像からワークＷの各面を計算や画像認識等を用いて特定するとよい。より具体的には、例えば、３Ｄカメラ２０で撮像した撮像画像から計算等により取得される３次元点群データ（３次元情報の一例）を用いて、最も３Ｄカメラ２０に近い点を含む水平面を最も上方に位置する面、すなわち上面位置ＴＰと特定するものであってよい。なお、上面位置ＴＰの具体的な特定方法については特に限定されない。また、本実施の形態では、上面位置ＴＰを、複数のワークＷのうち最も上方に位置する面と規定しているが、ワークＷの形状等によってはこれに限定されない。例えば、最も上方に位置する面に凹凸がある場合等はそれらの平均値を上面位置ＴＰとして検知する、あるいは、最も上方に位置する点あるいは辺を上面位置ＴＰとして検知するようにしてもよい。

【0052】

撮像範囲取得部３２は、少なくとも、３Ｄカメラ２０が複数のワークＷを撮像する際の、上面位置ＴＰと３Ｄカメラ２０との間の距離として許容可能な最長値ＷＤ１を取得するものである。最長値ＷＤ１は、図１に示すように、水平方向に延びる面で表すことができる。

【0053】

加えて、本実施の形態に係る撮像範囲取得部３２は、３Ｄカメラ２０が複数のワークＷを撮像する際の、上面位置ＴＰと３Ｄカメラ２０との間の距離として許容可能な最短値ＷＤ２を取得することもできる。最短値ＷＤ２も、最長値ＷＤ１と同様に、図１に示すように、水平方向に延びる面で表すことができる。この最短値ＷＤ２は、例えば３Ｄカメラ２０のスペック情報に基づいて特定されるものであってもよい。本実施の形態に係る撮像範囲取得部３２は、最長値ＷＤ１と最短値ＷＤ２とを取得することができ、撮像時に好適な、３Ｄカメラ２０から上面位置ＴＰまでの距離の許容可能な範囲としての撮像範囲ＩＲを取得することができる。

【0054】

撮像範囲取得部３２は、最長値ＷＤ１及び最短値ＷＤ２を含む撮像範囲ＩＲを、例えば後述する入力部３７からのユーザによる入力操作に基づいて取得することができる。なお、撮像範囲ＩＲの取得方法はこれに限定されない。

【0055】

撮像位置調整部３３は、３Ｄカメラ２０の撮像時における位置を調整するものである。具体的には、この撮像位置調整部３３は、３Ｄカメラ２０が複数のワークＷを撮像する際の３Ｄカメラ２０の上下方向の高さ位置を含む位置を、上面位置ＴＰと３Ｄカメラ２０との間の距離が最長値ＷＤ１よりも短く且つ最短値ＷＤ２よりも長くなるように調整するものであってよい。換言すると、上面位置検出部３１で検出された上面位置ＴＰが、撮像範囲取得部３２にて特定された撮像範囲ＩＲ内に位置するように、３Ｄカメラ２０の高さ位置を調整するものであってよい。

【0056】

本実施の形態における３Ｄカメラ２０は、上述した通り、ロボット１０のエンドエフェクタ１２に隣接する位置に取り付けられている。これに関連して、３Ｄカメラ２０の位置の調整は、ロボット１０を動作させることで実現できる。したがって、本実施の形態に係る画像処理装置１は、３Ｄカメラ２０の位置調整のために別途の可動装置を用いる必要がない。なお、本実施の形態では、３Ｄカメラ２０をエンドエフェクタ１２に隣接する位置に取り付けたものを例示しているが、３Ｄカメラ２０の取り付け位置はワークＷが撮像可能な位置であれば特に限定されない。例えば、３Ｄカメラ２０を、収容空間Ｓの上部に、高さ方向の位置を調整可能な可動装置を介して取り付けるようにしてもよい。

【0057】

３Ｄカメラ２０の撮像方向は、上下方向とすることができる。一方、この３Ｄカメラ２０は、図示しない回転機構により単独で、あるいはエンドエフェクタ１２を動作させることで、上下方向に対して斜めに傾けることもできる。３Ｄカメラ２０を上下方向に対して傾けることにより、ワークＷの形状を認識しやすくしたり、ロボット１０の移動を効率的にしたりすることができる。なお、３Ｄカメラ２０を傾斜させる際の角度は、収容空間Ｓ内のワークＷの形状やロボット１０の動作内容によって調整できる。

【0058】

本実施の形態に係るカメラ制御装置３０は、上述した構成に加えて、さらに、撮像画像取得部３４と、計測部３５と、指令生成部３６と、入力部３７と、表示部３８とを含むことができる。このうち、撮像画像取得部３４は、３Ｄカメラ２０に有線又は無線通信を介して接続し、３Ｄカメラ２０で撮像された撮像画像を取得することができるものであってよい。

【0059】

計測部３５は、撮像画像内の各部の３次元座標を計測するものであってよい。加えて、撮像画像内のワークＷから、取り出し可能なワークＷを特定するための各種演算を実行することが可能なものであってもよい。計測部３５にて取り出し可能なワークＷを特定する場合は、例えば、撮像画像から３次元の点群データを生成し、この点群データからエンドエフェクタ１２で取り出し（具体的には把持）可能なワークＷをサーチして、当該取り出し可能と推測できるワークＷを認識するとよい。ここで取り出し可能と推測されたワークＷは、取り出し候補として特定される。

【0060】

指令生成部３６は、ロボット制御装置１３に接続されて、ロボット１０を動作させることが可能な各種指令を生成し、ロボット制御装置１３へ送信できるものであってよい。当該指令には、撮像位置調整部３３にて特定された、３Ｄカメラ２０を所望の撮像位置へ移動させるための指令が含まれる。

【0061】

入力部３７は、撮像範囲ＩＲ、より詳細には最長値ＷＤ１及び最短値ＷＤ２の少なくとも一方を入力可能なものであってよい。この入力部３７は、キーボード、タッチパネル、ポインティングデバイスといった周知のユーザインタフェースで構成することができる。また、入力部３７は、ワークＷに関する情報（例えばワークＷのサイズを含む形状や収容空間Ｓ内のワークＷの数）を入力することが可能であってよい。

【0062】

表示部３８は、撮像範囲ＩＲ、より詳細には最長値ＷＤ１及び最短値ＷＤ２の少なくとも一方を表示可能なものであってよい。この表示部３８は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｔ Ｄｉｓｐｌａｙ、ＯＥＬＤ）といった周知のディスプレイ装置を含むユーザインタフェースで構成することができる。

【0063】

図６は、表示部に表示される最長値及び最短値の入力画面の一例を示した図である。表示部３８には、図６に示すように、ユーザが入力部３７から最長値ＷＤ１及び最短値ＷＤ２を入力する際の入力画面（「撮像範囲設定画面」ともいう）を表示することができる。ユーザは、表示部３８に表示された撮像範囲設定画面を見ながら、例えばタッチパネル等を介して最長値ＷＤ１及び最短値ＷＤ２を示した面を移動させることで、最長値ＷＤ１及び最短値ＷＤ２の調整を行うことができる。このように、表示部３８を撮像範囲ＩＲの入力を補助するために利用すれば、ユーザの入力作業を簡単にできる。

【0064】

本実施の形態に係るカメラ制御装置３０は、図示しないデータ格納部をさらに有しており、３Ｄカメラ２０のスペック情報や取り出しを行うワークＷに関する情報を格納することができるものであってよい。当該データ格納部に格納された３Ｄカメラ２０のスペック情報やワークＷに関する情報は、計測部３５や撮像範囲取得部３２、撮像位置調整部３３等で適宜参酌され得る。

【0065】

上述した構成を備える画像処理装置１及びロボット制御システム２では、３Ｄカメラ２０を用いて収容空間Ｓ内のワークＷを撮像する際、３Ｄカメラ２０の上下方向の位置を、その撮像範囲ＩＲ内にワークＷの上面位置ＴＰが含まれるように調整した状態で撮像することができる。このように、ワークＷの上面位置ＴＰに合わせて３Ｄカメラ２０の上下方向位置が調整されることで、ロボット１０を用いたワークＷの取り出し作業を行う際に利用される撮像画像の分解能が、ワークＷの数や形状等に合わせて常に適正な値に調整できる。そして、このように撮像画像の分解能が適正に調整されれば、撮像したいワークＷが３次元計測範囲２２から外れてしまったり、３次元座標を正確に計測できなかったりすることを抑制できる。これに伴って、取り出し可能なワークＷの認識精度も高くなることが期待できる。

【0066】

ところで、コンテナ３内の複数のワークＷを連続して取り出すと、ワークＷの取り出し作業の進行に伴ってコンテナ３内のワークＷが減少してワークＷの上面位置ＴＰが徐々に３Ｄカメラ２０から遠ざかるように、換言すると、垂直方向に沿って下降するように推移する。このような場合、仮に３Ｄカメラ２０が固定されていると、ワークの取り出し作業の進行に伴ってその分解能が低下する。しかし、本実施の形態に係る画像処理装置１及びロボット制御システム２においては、上面位置ＴＰの変化に合わせて３Ｄカメラ２０の撮像位置を調整するため、このような場合でも適正な分解能を維持した撮像が可能である。したがって、ワークＷの取り出し作業を連続して実施する場合であっても、一貫して高い精度でのワークの計測及び認識を実行できる。

【0067】

次に、本実施の形態に係る画像処理方法について、主に図７を用いて以下に説明する。なお、以下の説明においては、本実施の形態に係る画像処理方法を、上述した画像処理装置１を含むロボット制御システム２で実行する場合を例示的に記載する。また、以下に示す一連の画像処理方法は、画像処理装置１を構成するコンピュータを動作させるプログラムを実行することにより実施されるものであってよい。なお、当該プログラムは、カメラ制御装置３０を構成するコンピュータ内部の記録手段（例えばストレージ）に格納され、あるいはコンピュータ読取可能な記録媒体の形態で提供され得る。

【0068】

図７は、本開示の一実施の形態に係る画像処理方法の一例を示したフローチャートである。ロボット制御システム２の動作が開始し、本実施の形態に係る画像処理方法が開始されると、図７に示すように、先ず表示部３８に、図６に示したような、撮像範囲設定画面を表示する（工程Ｓ１）。ここで表示される撮像範囲設定画面は、予め格納された３Ｄカメラ２０のスペック情報、入力部３７を介して入力等されたワークに関する情報等に基づいて生成されたもの、あるいは直前の撮像時に設定された撮像範囲ＩＲを表示したものであってよい。

【0069】

撮像範囲設定画面が表示された後、ユーザの入力操作等によって最長値ＷＤ１及び最短値ＷＤ２の入力が完了すると、撮像範囲取得部３２は、当該入力結果を撮像範囲ＩＲとして取得する（工程Ｓ２）。なお、本実施の形態では、撮像範囲ＩＲが最長値ＷＤ１と最短値ＷＤ２とを含む範囲の場合を例示しているが、ここでいう撮像範囲ＩＲは、最長値ＷＤ１のみ特定されるものであってもよい。

【0070】

次に、３Ｄカメラ２０、より詳しくは３Ｄカメラ２０が取り付けられたロボット１０を所定の位置へ移動させるための指令を指令生成部３６で生成し、ロボット制御装置１３へ送信することで、３Ｄカメラ２０を所定の撮像位置へ移動させる（工程Ｓ３）。ここで、上述した工程Ｓ３がロボット制御システム２の動作が開始してから初めて実行されたものである場合等には、３Ｄカメラ２０の移動先を予め設定された初期撮像位置とするとよい。当該初期撮像位置としては、例えばコンテナ３の上部開口を上面位置ＴＰと仮に規定して調整される撮像位置、あるいは収容空間Ｓ全体を撮像可能な任意の撮像位置とすることができる。

【0071】

３Ｄカメラ２０の撮像位置への移動が完了すると、次に３Ｄカメラ２０を用いて複数のワークＷの撮像を行う。そして、この撮像により生成された撮像画像を撮像画像取得部３４にて取得すると共に、計測部３５にて撮像画像内の各部の３次元座標を計測する（工程Ｓ４）。計測部３５では、撮像画像内の各部の３次元座標を取得するために、撮像画像の３次元の点群データを生成するとよい。次に、収容空間Ｓにバラ積みされた複数のワークＷの上面位置ＴＰを検出する（工程Ｓ５）。具体的には、上面位置検出部３１において、例えば、計測部３５にて計測された３次元座標を利用して、収容空間Ｓ内の複数のワークＷの上面位置ＴＰを検出する。ここで、上面位置ＴＰを検出する際は、３次元座標を利用してワークＷを認識し、当該ワークＷの位置、姿勢を取得した上で、認識できたワークＷの上面位置のみを検出に使用することもできる。

【0072】

この工程Ｓ５において、検出された上面位置ＴＰが撮像範囲ＩＲ内である場合（工程Ｓ６でＹｅｓ）は、３Ｄカメラ２０の撮像位置は修正する必要がないと判断し、以降の取り出し可能なワークＷの有無を特定するための各工程（工程Ｓ８及びＳ９）に移行する。他方、工程Ｓ５において検出された上面位置ＴＰが撮像範囲ＩＲ外である場合（工程Ｓ６でＮｏ）は、３Ｄカメラ２０の撮像位置を修正する必要があると判断し、撮像位置の更新を実行する（工程Ｓ７）。

【0073】

工程Ｓ７における撮像位置の更新作業は、上面位置ＴＰの座標が撮像範囲ＩＲ内となるような位置、換言すると、３Ｄカメラ２０と上面位置ＴＰとの間の距離が、少なくとも最長値ＷＤ１よりも短くなる位置、より好ましくは、最長値ＷＤ１よりも短く且つ最短値ＷＤ２よりも長くなる位置を新たな撮像位置と設定することで実行できる。撮像位置が更新されると、工程Ｓ３に戻って更新された撮像位置へ３Ｄカメラ２０を移動させた後、工程Ｓ４乃至Ｓ６を再度実行すればよい。

【0074】

工程Ｓ６でワークの上面位置ＴＰが撮像範囲ＩＲ内にあると特定されると、次に計測部３５による取り出し候補となるワークの特定作業を実施する。具体的には、点群データ内を３次元サーチすることで、エンドエフェクタ１２で取り出し可能なワークＷを判断（工程Ｓ８）する。より詳細には、点群データ内を３次元サーチしてワークＷの存在の有無、位置及び姿勢を認識し、当該ワークＷがエンドエフェクタ１２で取り出し可能かどうかを判断する。そして、前述した３次元サーチの結果、取り出し可能と推測できるワークＷを認識する（工程Ｓ９）。なお、上述した３次元サーチでは、サーチの対象となるワークＷの３次元形状に関する情報を予め登録しておくことができる。

【0075】

工程Ｓ８におけるワークＷがエンドエフェクタ１２で取り出し可能かどうかの判断は、例えば３次元サーチでワークＷを認識したときの一致度が所定値よりも大きいかどうかで判断することができる。また、上述した判断手法以外にも、例えばワークＷの姿勢が予め登録されている条件に適合する場合に取り出し可能と判断するようにしてもよい。あるいは、上述した方法とは別に、あるいは上述した方法と組み合わせて、ワークＷ上に予め設定されている把持の場所が他のワークＷが障害となりエンドエフェクタ１２がワークＷに到達できない場合は取り出し不可能と判断するようにしてもよい。

【0076】

工程Ｓ９において、取り出し候補に該当するワークＷが認識された場合（工程Ｓ１０でＹｅｓ）には、指令生成部３６にて当該取り出し候補に該当するワークＷを取り出すための指令を生成すると共にロボット制御装置１３へ送信し（工程Ｓ１１）、ロボット１０による取り出し動作を実行する。なお、取り出し候補に該当するワークＷが複数個ある場合にはロボット１０による取り出し動作を複数回実施するとよい。取り出し候補に該当するワークＷの取り出し作業が完了すると、ロボット１０は、工程Ｓ３に戻ると共に基準位置に戻る動作を実行する。ここで、ロボット１０の基準位置とは、３Ｄカメラ２０の撮像位置と同じであってよい。したがってカメラ制御装置３０は、基準位置の少なくとも上下方向の高さ位置が、撮像位置調整部３３で調整した３Ｄカメラ２０の上下方向の高さ位置と同様となるように制御するとよい。ロボット１０の基準位置への戻り動作が完了すると、上述した工程Ｓ３以降の一連の動作を繰り返す。

【0077】

工程Ｓ９において取り出し候補に該当するワークＷが認識されなかった場合（工程Ｓ１０でＮｏ）は、工程Ｓ１２において収容空間ＳにワークＷがあるか否かが判断され、収容空間Ｓ内にワークＷが残っている場合（工程Ｓ１２でＹｅｓ）には、工程Ｓ３に戻ると共にロボット１０を基準位置に戻す動作を実行する。他方、収容空間Ｓ内にワークが残っていない場合（工程Ｓ１２でＮｏ）には一連の工程を終了する。

【0078】

以上説明した通り、本実施の形態に係る画像処理方法、画像処理装置１及びロボット制御システム２によれば、３Ｄカメラ２０の位置、すなわち少なくとも上下方向の高さ位置を、収容空間Ｓ内のワークＷの上面位置ＴＰに合わせて調整することができる。これにより、撮像したいワークＷを、３Ｄカメラ２０の高い分解能で撮像可能な３次元計測範囲２２内に常に位置させることができ、撮像画像内のワークＷの３次元計測を精度良く実行できる。また、収容空間Ｓ内のワークＷの取り出しが進行してワークＷの上面位置ＴＰが垂直方向に沿って低下した場合であっても、定期的に撮像位置の更新を行うことができるため、撮像画像内のワークＷの計測や認識を安定して精度良く行うことができる。

【0079】

なお、本実施の形態においては、撮像位置調整部３３が３Ｄカメラ２０の上下方向位置を調整するものを説示しているが、水平方向位置の調整を行うこともできる。特に、収容空間Ｓ内のワークＷのサイズが小さい場合には、撮像位置調整部３３は、収容空間Ｓ内のワークＷの配置を考慮して、３Ｄカメラ２０の上下方向位置に加えて水平方向位置を調整できるものとするとよい。また、上述した３Ｄカメラ２０の位置の調整に加えて、上述した３Ｄカメラ２０の撮像方向の調整も可能である。

【0080】

＜第２の実施の形態＞
本開示の画像処理装置、ロボット制御システム及び画像処理方法では、上述したように、撮像対象としての収容空間Ｓ内のワークＷの数や形状は変わり得るものである。そして、撮像対象としてのワークＷの数や形状が異なれば、最適な３Ｄカメラの位置、具体的には少なくとも上下方向の高さ位置が異なることは上述した通りである。したがって、ワークＷの数や形状と、３Ｄカメラの撮像位置との間には相関が認められる。そこで、以下には、本開示の第２の実施の形態として、撮像位置の調整に用いられる最長値ＷＤ１を、ワークＷに関する情報に基づいて取得する方法を採用した画像処理装置１Ａ、ロボット制御システム２Ａ及び画像処理方法を説明する。

【0081】

図８は、本開示の第２の実施の形態に係る画像処理装置を含むロボット制御システムの一例を示した概略構造図である。本実施の形態に係る画像処理装置１Ａ及びこれを含むロボット制御システム２Ａは、図８に示すように、カメラ制御装置３０Ａの一部の構成が異なる点を除き、上述した第１の実施の形態に係るものと同様の構成を有していてよい。そこで以下には、本実施の形態に係る画像処理装置１Ａ及びこれを含むロボット制御システム２Ａのうち、第１の実施の形態に係るものと異なる構成部分を中心に説明し、第１の実施の形態に係るものと同様の構成については同一の符号を付してその説明を省略するものとする。

【0082】

本実施の形態に係るカメラ制御装置３０Ａは、図８に示すように、上述した第１の実施の形態に係るカメラ制御装置３０の各種構成要素に加えて、第１及び第２の最長値特定部の一例としての最長値特定部３９をさらに含んでいる。また、これに関連して、撮像範囲取得部３２Ａは、最長値ＷＤ１のみを取得するものが例示されている。

【0083】

最長値特定部３９は、最長値ＷＤ１を、収容空間Ｓ内の複数のワークＷに関する情報に基づいて特定するものである。具体的には、最長値特定部３９は、ワークＷに関する情報のうち、特にワークＷの形状と、収容空間Ｓ内のワークＷの数の少なくとも一方に関する情報に基づいて、最長値ＷＤ１を特定するものであってよい。

【0084】

最長値特定部３９において、ワークＷの形状に基づいて最長値ＷＤ１を特定する際は、例えば以下の方法で特定すればよい。すなわち、先ずワークＷの形状に関する情報から、ワークＷの長辺Ｌの長さを特定する。ここでいう長辺Ｌとは、例えば図５（Ｂ）に示すようなブロック状のワークＷ２では、その対角線の長さであってよい。そして、最長値ＷＤ１を、コンテナ３内部の底面からの高さ位置Ｈ１が長辺Ｌの２倍以上の任意の位置、及び／又は最長値の水平方向の長さＷ１が長辺Ｌの３倍以上となる任意の位置と特定する。なお、上述した最長値ＷＤ１の高さ位置Ｈ１及び水平方向の長さＷ１の値は一例であって、ワークＷのサイズ等を考慮して適宜調整するとよい。

【0085】

また、最長値特定部３９において、ワークの数に基づいて最長値ＷＤ１を特定する場合は、例えば以下の方法で特定すればよい。すなわち、先ず収容空間Ｓ内のワークＷの数に関する情報から、ワークの大まかなサイズを推定し、３次元計測範囲２２のサイズが、３次元計測範囲２２内に予め設定した数のワークＷが位置するような最長値ＷＤ１を特定する。

【0086】

最長値特定部３９は、上述した２つの特定方法の少なくとも一方により、最長値ＷＤ１を特定する。なお、上述した方法で最長値ＷＤ１を特定する場合であっても、３Ｄカメラ２０の分解能がワークＷの３次元計測の精度が低くなりすぎる場合には、所望の分解能での撮像を優先した最長値ＷＤ１の設定を行うとよい。

【0087】

最長値特定部３９により特定された最長値ＷＤ１は、撮像範囲取得部３２Ａにて取得され、撮像位置の調整に利用することができる。当該最長値ＷＤ１を用いた一連の画像処理方法は、最長値ＷＤ１を特定するための工程が追加される点以外は第１の実施の形態において説明したものと同様であるので、詳細な説明は省略する。また、撮像範囲取得部３２Ａでは、最長値特定部３９にて特定された最長値ＷＤ１をそのまま採用してもよいし、撮像範囲設定画面に特定された最長値ＷＤ１を表示することで、ユーザによる調整が可能なようにしてもよい。

【0088】

以上説明した通り、本実施の形態に係る画像処理装置１Ａ、ロボット制御システム２Ａ及び画像処理方法においても、３Ｄカメラ２０の位置を、収容空間Ｓ内のワークＷの上面位置ＴＰに合わせて調整することができる。これにより、撮像したいワークＷを、３Ｄカメラ２０の高い分解能での撮像が可能な３次元計測範囲２２内に常に位置させることができ、撮像画像内のワークＷの３次元計測を精度良く実行できる。また、収容空間Ｓ内のワークＷの取り出しが進行してワークＷの上面位置ＴＰが垂直方向に沿って低下した場合であっても、定期的に撮像位置の更新を行うことができるため、撮像画像内のワークＷの計測や認識を安定して精度良く行うことができる。さらに、最長値ＷＤ１がワークＷに関する情報に基づいて特定されるため、最長値ＷＤ１の設定作業が簡略化できる。

【0089】

本開示は上述した実施の形態に限定されるものではなく、本開示の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本開示の技術思想に含まれるものである。

【0090】

（付記）
以下、本開示の態様について付記する。

【0091】

（付記１）
収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を備える画像処理装置であって、
前記制御装置は、
前記収容空間内の複数の物品の上面位置を検出する上面位置検出部と、
前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、
前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように調整する撮像位置調整部と、を備える、
画像処理装置。
（付記２）
前記撮像範囲取得部は、前記撮像範囲として、前記最長値に加えて、前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最短値を取得し、
前記撮像位置調整部は、前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の上下方向の高さ位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短く且つ前記最短値よりも長くなるように調整する、
上記付記１に記載の画像処理装置。
（付記３）
前記撮像範囲を入力可能な入力部を更に備える、
上記付記１又は付記２に記載の画像処理装置。
（付記４）
前記撮像範囲を表示可能な表示部を更に備える、
上記付記１乃至３のいずれかに記載の画像処理装置。
（付記５）
前記撮像装置は、３次元情報を取得し、
前記上面位置検出部は、前記３次元情報を用いて前記複数の物品の上面位置を検出する、
上記拭き１乃至４のいずれかに記載の画像処理装置。
（付記６）
前記制御装置は、前記最長値を前記複数の物品の形状に関する情報に基づいて設定可能な第１の最長値特定部を更に備える、
上記付記１乃至５のいずれかに記載の画像処理装置。
（付記７）
前記制御装置は、前記最長値を前記収容空間内の前記複数の物品の数に関する情報に基づいて設定可能な第２の最長値特定部を更に備える、
上記付記１乃至６のいずれかに記載の画像処理装置。
（付記８）
収容空間にバラ積みされた複数の物品を上方から撮像する撮像装置と、前記撮像装置を制御する制御装置と、を備える画像処理装置と、
先端部にエンドエフェクタを備え、前記撮像装置が撮像した画像を用いて動作するロボットと、を備えるロボット制御システムであって、
前記制御装置は、
前記収容空間内の複数の物品の上面位置を検出する上面位置検出部と、
前記撮像装置が前記複数の物品を撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する撮像範囲取得部と、
前記撮像装置が前記複数の物品を撮像する際の前記撮像装置の位置を、前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように調整する撮像位置調整部と、を備える、
ロボット制御システム。
（付記９）
前記撮像装置は、前記ロボットの前記エンドエフェクタに隣接する位置に取り付けられている、
上記付記８に記載のロボット制御システム。
（付記１０）
前記ロボットは、前記物品を前記収容空間から取り出す動作を実行し、且つ前記取り出す動作の後に基準位置に戻る動作を実行するものであり、
前記制御装置は、前記基準位置が前記撮像位置調整部で調整した前記撮像装置の位置となるように制御する、
上記付記８又は９に記載のロボット制御システム。
（付記１１）
収容空間にバラ積みされた複数の物品の上面位置を検出する工程と、
撮像装置を用いて前記複数の物品を上方から撮像する際の、前記上面位置と前記撮像装置との間の距離として許容可能な最長値を含む撮像範囲を取得する工程と、
前記上面位置と前記撮像装置との間の距離が前記最長値よりも短くなるように、前記撮像装置の位置を調整する工程と、
前記撮像装置を用いて前記複数の物品を撮像する工程と、を備える、
画像処理方法。

【符号の説明】

【0092】

１、１Ａ 画像処理装置
２、２Ａ ロボット制御システム
１０ ロボット
１１ ロボット本体
１２ エンドエフェクタ
１３ ロボット制御装置
２０ ３Ｄカメラ（撮像装置の一例）
２２、２２Ａ、２２Ｂ ３次元計測範囲
３０、３０Ａ カメラ制御装置（制御装置の一例）
３１ 上面位置検出部
３２ 撮像範囲取得部
３３ 撮像位置調整部
３９ 最長値特定部（第１及び第２の最長値特定部の一例）
Ｓ 収容空間
Ｗ、Ｗ１、Ｗ２ ワーク
ＴＰ 上面位置
ＩＲ 撮像範囲
ＷＤ１ 最長値
ＷＤ２ 最短値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】