特開 2024-127407 カメラ装置、システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127407

(43)【公開日】2024-09-20

(54)【発明の名称】カメラ装置、システム、及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240912BHJP

   H04N 23/61 20230101ALI20240912BHJP

【ＦＩ】

B25J13/08 A

H04N23/61

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023036547

(22)【出願日】2023-03-09

(71)【出願人】

【識別番号】320008672

【氏名又は名称】ｉ－ＰＲＯ株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】武藤 亮介

(72)【発明者】

【氏名】畑瀬 雄一

【テーマコード（参考）】

3C707

5C122

【Ｆターム（参考）】

3C707BS10

3C707KS03

3C707KT01

3C707KT05

3C707LW12

3C707NS02

5C122DA27

5C122EA68

5C122FH11

5C122FH14

5C122HA46

5C122HA48

5C122HB01

(57)【要約】

【課題】作業機械のスループットの低下を抑制しつつ、作業機械を目標位置に到達させるための情報を提供可能なカメラ装置を提供する。
【解決手段】カメラ装置は、作業機械の目標位置を含む撮像領域を撮像する撮像部と、撮像部に撮像させた画像に基づいて、目標位置を特定する制御部とを備える。制御部は、作業機械が移動開始位置から初期目標位置に移動する過程の複数の撮像位置それぞれにおいて、撮像部に撮像領域を撮像させる撮像処理と、撮像領域の画像から目標位置を特定する学習モデルに撮像処理で撮像した画像を入力して、目標位置を示す目標座標及び目標座標の確からしさを表す評価値を出力する出力処理とを実行する。
【選択図】図４

【特許請求の範囲】

【請求項1】

作業機械の目標位置を含む撮像領域を撮像する撮像部と、
前記撮像部に撮像させた画像に基づいて、前記目標位置を特定する制御部とを備え、
前記制御部は、前記作業機械が移動開始位置から初期目標位置に移動する過程の複数の撮像位置それぞれにおいて、
前記撮像部に前記撮像領域を撮像させる撮像処理と、
前記撮像領域の画像から前記目標位置を特定する学習モデルに前記撮像処理で撮像した画像を入力して、前記目標位置を示す目標座標及び前記目標座標の確からしさを表す評価値を出力する出力処理とを実行する、カメラ装置。

【請求項2】

前記制御部は、複数の前記撮像位置それぞれに対応付けられた前記学習モデルを用いて、前記出力処理を実行する、請求項１に記載のカメラ装置。

【請求項3】

前記制御部は、前回の前記出力処理で出力した前記評価値が閾値未満である場合に、前回の前記撮像処理の撮像条件とは異なる撮像条件で、今回の前記撮像処理を実行する、請求項１に記載のカメラ装置。

【請求項4】

前記制御部は、前記撮像処理で用いた前記撮像条件に対応付けられた前記学習モデルを用いて、前記出力処理を実行する、請求項３に記載のカメラ装置。

【請求項5】

請求項１に記載のカメラ装置と、
前記カメラ装置から取得した複数セットの前記目標座標及び前記評価値に基づいて、前記作業機械を前記目標位置に移動させる制御装置とを備える、システム。

【請求項6】

前記制御装置は、
複数の前記評価値のうちの最大の前記評価値を抽出する抽出処理と、
前記抽出処理で抽出した前記評価値が閾値以上か否かを判定する判定処理と、
前記判定処理で前記評価値が前記閾値以上だと判定した場合に、当該評価値に対応付けられた前記目標座標への移動を前記作業機械に指示する移動指示処理とを実行する、請求項５に記載のシステム。

【請求項7】

作業機械の目標位置を含む撮像領域を撮像する撮像部を備えるカメラ装置のプログラムであって、
前記作業機械が移動開始位置から初期目標位置に移動する過程の複数の撮像位置それぞれにおいて、
前記撮像部に前記撮像領域を撮像させる撮像処理と、
前記撮像領域の画像から前記目標位置を特定する学習モデルに前記撮像処理で撮像した画像を入力して、前記目標位置を示す目標座標及び前記目標座標の確からしさを表す評価値を出力する出力処理とを前記カメラ装置に実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ装置、システム、及びプログラムに関する。

【背景技術】

【0002】

従来より、工場などで稼働するロボットアームを動作させる技術として、カメラで撮像した画像に基づいて目標位置を特定し、特定した目標位置に向けてロボットアームを移動させる方法が提案されている。例えば特許文献１には、三次元位置測定によって複数の基準マークの位置を特定する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５－１４９２９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の三次元位置測定は、ロボットアームを実際に移動させる前のキャリブレーションとして実行されるので、ロボットアームが移動を開始するまでにタイムラグが発生する。また、作業員が手作業でセットした部品をロボットアームにピックアップさせるような作業において、部品が予め定められた位置からズレてセットされると、ロボットアームが部品の位置に到達できないという課題がある。

【0005】

本発明は、上記した実情に鑑みてなされたものであり、その目的は、作業機械のスループットの低下を抑制しつつ、作業機械を目標位置に到達させるための情報を提供可能なカメラ装置を提供することにある。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、本発明に係るカメラ装置は、作業機械の目標位置を含む撮像領域を撮像する撮像部と、前記撮像部に撮像させた画像に基づいて、前記目標位置を特定する制御部とを備え、前記制御部は、前記作業機械が移動開始位置から初期目標位置に移動する過程の複数の撮像位置それぞれにおいて、前記撮像部に前記撮像領域を撮像させる撮像処理と、前記撮像領域の画像から前記目標位置を特定する学習モデルに前記撮像処理で撮像した画像を入力して、前記目標位置を示す目標座標及び前記目標座標の確からしさを表す評価値を出力する出力処理とを実行する。

【発明の効果】

【0007】

本発明によれば、作業機械のスループットの低下を抑制しつつ、作業機械を目標位置に到達させるための情報を提供可能なカメラ装置を得ることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】ロボット制御システムのユースケースを示す図である。

【図2】ロボット制御システムのシステム構成例を示す図である。

【図3】ロボットアームの移動経路を示す平面図である。

【図4】第１実施形態に係る作業機械制御処理のフローチャートである。

【図5】第１実施形態に係る撮像＆算出処理のフローチャートである。

【図6】第１実施形態に係る撮像テーブルのデータ例を示す図である。

【図7】第２実施形態に係る学習モデルの一覧を示す図である。

【図8】第２実施形態に係る撮像＆算出処理のフローチャートである。

【図9】第３実施形態に係る学習モデルの一覧を示す図である。

【図10】第３実施形態に係る撮像＆算出処理のフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら発明の実施形態を説明するが、本実施形態は、汎用性の高いカメラ装置を実現することで、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ）の「９．産業と技術革新の基盤をつくろう」に貢献する。

【0010】

図１は、ロボット制御システム１のユースケースを示す図である。図２は、ロボット制御システム１のシステム構成例を示す図である。図１及び図２に示すように、ロボット制御システム１（システム）は、カメラ装置１０と、ロボットビジョンコントローラ３０（制御装置）とを少なくとも含む。また、ロボット制御システム１は、制御対象のロボット５０（作業機械）をさらに含んでもよい。カメラ装置１０とロボットビジョンコントローラ３０との間、ロボットビジョンコントローラ３０とロボット５０との間は、それぞれデータ或いは信号の入出力が互いに可能となるように接続されている。

【0011】

図１に示すユースケースにおいて、ロボット制御システム１は、例えば工場等の生産施設内に配置されている。ロボット制御システム１は、生産施設内に配備されているベルトコンベアＣＢ上を移送されるワークＷの規定位置に、トレーＴ上の部品Ｐ（例えば、ボルト）を実装するロボット５０を制御する。

【0012】

なお、本実施の形態に係るロボット制御システム１のユースケースは上述した部品搭載に限定されず、ワークへのラベル貼付、ワークへのビス打ち、部品組立、部品加工、溶接、塗装、ボンディング等に使用されてもよい。また、ロボット制御システム１は、物流ラインの作業工程（段ボール搬送、物の仕分けなど）、食品工場の作業工程（惣菜盛り付けなど）、収穫ロボットの作業工程（摘果など）、医療用や実験用ロボットの作業工程（培養、合成など）に適用することもできる。なお、本実施の形態に係るロボット５０は、人と協働して作業を実行する人協働ロボットとして用いられてもよい。図１のユースケースでは、作業員によって所定位置に設置されたトレーＴから、ロボット５０が部品Ｐをピックアップして、ワークＷに実装することを想定する。

【0013】

カメラ装置１０は、例えば、ロボット５０のロボットアームＡＲの先端部に固定されている。ロボットアームの先端部とは、例えばロボットハンド若しくはエンドエフェクタの近傍である。そして、カメラ装置１０は、ロボットアームＡＲと共に移動する。但し、カメラ装置１０は、ロボットアームＡＲに固定されることに限定されず、天井や壁に固定されていてもよいし、天井や壁に沿って移動可能に構成されていてもよい。

【0014】

カメラ装置１０として２Ｄカメラを用いる場合、ロボット制御システム１は、ベルトコンベアで流れるもの（高さ一定）のピックアップ作業などに好適である。また、カメラ装置１０として、３Ｄカメラを用いる場合、物流拠点などにおける様々な高さの物体の仕分け作業などに好適である。また、カメラ装置１０として、赤外カメラを用いる場合、医療用ロボットや実験用ロボットなど、可視光では見えない細胞などを扱う作業に好適である。

【0015】

カメラ装置１０は、ロボットアームＡＲの目標位置を含む撮像領域を撮像する。本実施形態では、トレーＴ上の部品Ｐ（対象物）の位置を、ロボットアームＡＲの目標位置として説明する。但し、ロボットアームＡＲの目標位置は、これに限定されず、部品Ｐを実装するワークＷ上の位置であってもよい。また、カメラ装置１０は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いたパターンマッチング処理により、撮像した画像に含まれる目標位置の座標（以下、「目標座標」と表記する。）、及び目標座標の確からしさを表す評価値のセットを出力する。そして、カメラ装置１０は、出力した目標座標及び評価値のセットを、ロボットビジョンコントローラ３０に送信する。

【0016】

ロボットビジョンコントローラ３０は、カメラ装置１０から取得した目標座標及び評価値のセットに基づいて、ロボットアームＡＲの目標位置を設定する。そして、ロボットビジョンコントローラ３０は、設定した目標位置にロボットアームＡＲが到達するように、ロボット５０の動きを指示する。ロボットビジョンコントローラ３０は、例えば、プログラムを記憶するメモリと、プログラムをメモリから読み出して実行するＣＰＵ（プロセッサ）とを備える。ロボット５０は、ロボットビジョンコントローラ３０からの指示に基づいて、ロボットアームＡＲを目標位置に到達させる。

【0017】

図２に示すように、カメラ装置１０は、撮像部１１と、ＳｏＣ１２とを備える。

【0018】

撮像部１１は、光学レンズ１１１と、イメージセンサ１１２とを一体化したカメラユニットである。光学レンズ１１１は、カメラ装置１０の外部の光を集光して、イメージセンサ１１２に入射させる。イメージセンサ１１２は、光学レンズ１１１が集光した光を光電変換して、画像データをメモリ１２１に出力する。イメージセンサ１１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。

【0019】

ＳｏＣ１２（制御部）は、集積回路により構成される１つのチップ上に各種の電子部品が集積された集積回路製品である。ＳｏＣ１２は、メモリ１２１と、ＣＰＵ１２２と、ＩＳＰ１２３と、ＡＩ処理部１２４と、外部インタフェース１２５とを含む。図２では、インタフェースを便宜的に「Ｉ／Ｆ」と図示している。

【0020】

メモリ１２１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを少なくとも含む。メモリ１２１は、カメラ装置１０の動作の実行に必要なプログラム及び制御用データ、更には、カメラ装置１０の各部の動作中に生成されたデータもしくは情報を一時的に保持する。ＲＡＭは、例えば、カメラ装置１０の各部の動作時に使用されるワークメモリである。ＲＯＭは、例えば、カメラ装置１０の各部を制御するためのプログラム及び制御用データを予め記憶して保持する。

【0021】

ＣＰＵ１２２は、カメラ装置１０の全体的な動作を制御するプロセッサである。ＣＰＵ１２２は、カメラ装置１０の各部の動作を統括するための制御処理、カメラ装置１０の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＣＰＵ１２２は、メモリ１２１に記憶されたプログラム及び制御用データに従って動作する。ＣＰＵ１２２は、動作時にメモリ１２１を使用し、ＣＰＵ１２２が生成又は取得したデータをメモリ１２１に転送して一時的に保存する。

【0022】

ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１２３は、カメラ装置１０内で行われる各種の画像処理を実行するプロセッサである。ＩＳＰ１２３は、メモリ１２１から画像データを読み出し、読み出した画像データを用いて各種の画像処理を行う。ＩＳＰ１２３は、動作時にメモリ１２１を使用し、ＩＳＰ１２３が生成又は取得したデータもしくは情報をメモリ１２１に転送して一時的に保存する。

【0023】

ＡＩ処理部１２４は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びメモリを用いて構成されている。なお、ＡＩ処理部１２４は、ＧＰＵに代えて、またはＧＰＵに加えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を備えていてもよい。

【0024】

外部インタフェース１２５は、ロボットビジョンコントローラ３０との間で各種データの送受信を行うためのインタフェースである。すなわち、外部インタフェース１２５は、ＣＰＵ１２２から取得したデータをロボットビジョンコントローラ３０に送信し、ロボットビジョンコントローラ３０から取得したデータをＣＰＵ１２２に送信する。

【0025】

図３は、ロボットアームＡＲの移動経路を示す平面図である。本実施形態では、移動開始位置に位置するロボットアームＡＲのエンドエフェクタに、予め定められた設置位置に設置されたトレーＴ上の部品Ｐをピックアップさせる処理を想定する。ここで、トレーＴは作業員によって設置されるので、設置位置からズレて設置されている可能性がある。そのため、ロボットビジョンコントローラ３０に、部品Ｐの厳密な位置を予め設定しておくのは難しい。一方、カメラ装置１０でトレーＴを撮像して部品Ｐの厳密な位置を特定してからロボットアームＡＲの移動を開始すると、スループットが低下する。

【0026】

そこで、図３に示すように、ロボットビジョンコントローラ３０は、部品Ｐの厳密な位置を特定する前に、ロボットアームＡＲのエンドエフェクタを、移動開始位置から初期目標位置に向けて移動を開始させる。移動開始位置は、例えば、ロボットアームＡＲの原点位置（基準位置）である。初期目標位置は、部品Ｐの位置（修正目標位置）の近傍の任意の位置であって、例えば、設置位置に設置されたトレーＴの中心位置である。本明細書では、初期目標位置及び修正目標位置を総称して、「目標位置」と表記することがある。

【0027】

次に、ロボットビジョンコントローラ３０は、複数の撮像位置それぞれにおいて、部品Ｐの位置を示す目標座標及び評価値のセットを、カメラ装置１０から取得する。そして、ロボットビジョンコントローラ３０は、カメラ装置１０から取得した複数セットの目標座標及び評価値に基づいて部品Ｐの位置（修正目標位置）を設定し、設定した修正目標位置に向けてロボットアームＡＲを移動させる。すなわち、ロボットビジョンコントローラ３０は、ロボットアームＡＲが初期目標位置に移動している過程で修正目標位置を設定し、ロボットアームＡＲの行先を修正目標位置に変更する。

【0028】

撮像位置（図３の第１位置～第４位置）とは、移動開始位置と初期目標位置との間に設定された位置である。但し、撮像位置は、移動開始位置と初期目標位置とを結んだ直線（初期経路）上の位置に限定されず、現在位置と修正目標位置とを結んだ直線（修正経路１、２）上の位置でもよい。ロボットビジョンコントローラ３０は、例えば、ロボットアームＡＲが移動を開始してからの経過時間、またはロボットアームＡＲのアクチュエータから出力されたエンコーダ値に基づいて、カメラ装置１０が撮像位置に到達したことを検知する。また、撮像位置の数は、２以上であれば具体的な数は限定されない。

【0029】

また、ロボットビジョンコントローラ３０には、例えば、移動開始位置を原点とするｘ－ｙ座標系が定義されている。一方、カメラ装置１０の撮像領域には、例えば、左上隅を原点とするｕ－ｖ座標系が定義されている。そして、カメラ装置１０から取得した目標座標は、ｕ－ｖ座標系である。そこで、ロボットビジョンコントローラ３０は、カメラ装置１０から取得した目標座標を、ｕ－ｖ座標系からｘ－ｙ座標系に変換して、修正目標位置を決定する。

【0030】

［第１実施形態に係る作業機械制御処理］
図４～図６を参照して、第１実施形態に係る作業機械制御処理を説明する。図４は、第１実施形態に係る作業機械制御処理のフローチャートである。図５は、第１実施形態に係る撮像＆算出処理のフローチャートである。図６は、第１実施形態に係る撮像テーブルのデータ例を示す図である。

【0031】

まず、ロボットビジョンコントローラ３０は、ロボットアームＡＲの初期目標位置への移動をロボット５０に指示する（Ｓ１１）。また、ロボットビジョンコントローラ３０は、変数ｎを初期化（＝１）する（Ｓ１２）。変数ｎは、撮像＆算出処理を実行する撮像位置を示す値を保持する変数である。

【0032】

ロボット５０は、ロボットビジョンコントローラ３０からの指示に従って、ロボットアームＡＲの初期目標位置への移動を開始する（Ｓ１３）。そして、ロボット５０は、ロボットアームＡＲの現在位置を示す位置情報をロボットビジョンコントローラ３０に送信する処理（Ｓ１４）を、所定の時間間隔で繰り返し実行する。

【0033】

ロボットビジョンコントローラ３０は、ロボット５０から受信した位置情報に基づいて、ロボットアームＡＲのエンドエフェクタ（換言すれば、カメラ装置１０）が第ｎ位置に到達したか否かを判定する（Ｓ１５）。そして、ロボットビジョンコントローラ３０は、カメラ装置１０が第ｎ位置に到達したと判定した場合に（Ｓ１５：Ｙｅｓ）、図５に示す撮像＆算出処理を実行する（Ｓ１６）。撮像＆算出処理は、第ｎ位置のカメラ装置１０に撮像領域を撮像させ、撮像した画像から目標座標及び評価値を出力して、撮像テーブルに撮像レコードを追加する処理である。撮像レコードの詳細については後述する。

【0034】

ロボットビジョンコントローラ３０は、撮像条件及び汎用モデルを指定した撮像指示をカメラ装置１０に送信する（Ｓ３１）。撮像条件は、カメラ装置１０が撮像領域を撮像する際の条件（例えば、照明の有無、露光時間、ゲインなど）を指す。汎用モデルとは、カメラ装置１０が撮像した画像から目標座標及び評価値を算出するための学習モデル（ＡＩモデル）であって、複数の撮像位置で共通して用いられる学習モデルである。汎用モデルは、ＡＩ処理部１２４に複数の教師データを入力することによって、予め生成されたものである。汎用モデルを生成するための教師データは、複数の撮像位置それぞれで撮像された画像及び目標座標である。

【0035】

ＣＰＵ１２２は、ロボットビジョンコントローラ３０から指定された撮像条件で撮像部１１に撮像領域を撮像させ、生成された画像データをメモリ１２１に保存する（Ｓ３２）。次に、ＡＩ処理部１２４は、ステップＳ３２でメモリ１２１に保存された画像データを、メモリ１２１に記憶された汎用モデルに入力して、目標座標及び評価値を出力する（Ｓ３３）。ステップＳ３２の処理は撮像処理の一例であり、ステップＳ３３の処理は出力処理の一例である。そして、ＣＰＵ１２２は、ＡＩ処理部１２４から出力された目標座標及び評価値のセットを、ロボットビジョンコントローラ３０に送信する（Ｓ３４）。

【0036】

目標座標は、撮像部１１に撮像させた画像内における目標位置の座標（ｕ－ｖ座標系）である。評価値は、目標座標の確からしさを示す値である。すなわち、評価値の値が大きいほど目標座標の信頼性が高く、評価値の値が小さいほど目標座標の信頼性が低いことを示す。例えば、撮像部１１に撮像させた画像に部品Ｐの少なくとも一部が映っていない、撮像部１１に撮像させた画像が暗い、または撮像部１１に撮像させた画像が白飛びしている等、画像に含まれる部品Ｐが認識しづらくなるような条件下において撮像領域が撮像された場合に、評価値が低くなる傾向がある。

【0037】

次に、ロボットビジョンコントローラ３０は、カメラ装置１０から受信した目標座標及び評価値を含む撮像レコードを、図６に示す撮像テーブルに追加する（Ｓ３５）。撮像テーブルは、複数の撮像レコードを保持するデータテーブルである。撮像テーブルには、作業機械制御処理の開始時点で撮像レコードが登録されておらず、繰り返し実行されるステップＳ１６（より詳細には、ステップＳ３５）で撮像レコードが１つずつ追加される。撮像レコードとは、ステップＳ３４でカメラ装置１０から取得した目標座標及び評価値を少なくとも含む情報である。また、撮像レコードは、図６に示すように、変数ｎと、ステップＳ３１で指定した撮像条件とを、さらに含んでもよい。

【0038】

図４に戻って、ロボットビジョンコントローラ３０は、最大の評価値を含む撮像レコードを、撮像テーブルから抽出する（Ｓ１７）。変数ｎ＝１の段階では撮像レコードは１つしか登録されていないので、変数ｎ＝１の撮像レコードが抽出される。次に、ロボットビジョンコントローラ３０は、抽出した撮像レコードに含まれる評価値（ここでは、変数ｎ＝１のときの評価値：５５）が、予め定められた閾値以上か否かを判定する（Ｓ１８）。閾値は、カメラ装置１０から出力された目標座標に向けてロボットアームＡＲの移動経路を変更する価値があると評価できる値（例えば、６０）に設定される。ステップＳ１７の処理は抽出処理の一例であり、ステップＳ１８の処理は判定処理の一例である。

【0039】

図６の例において、ロボットビジョンコントローラ３０は、撮像レコードに含まれる最大の評価値（ここでは、変数ｎ＝１のときの評価値：５５）が閾値未満だと判定した場合に（Ｓ１８：Ｎｏ）、ステップＳ１９～Ｓ２１の処理をスキップして、全ての撮像位置を通過したか否かを判定する（Ｓ２２）。そして、ロボットビジョンコントローラ３０は、全ての撮像位置を通過していないと判定した場合に（Ｓ２２：Ｎｏ）、変数ｎに１を加算して（Ｓ２３）、第２位置に対するステップＳ１４以降の処理を実行する。

【0040】

次に、ロボットビジョンコントローラ３０は、カメラ装置１０が第２位置に到達したタイミングで撮像＆算出処理を実行し（Ｓ１５：Ｙｅｓ→Ｓ１６）、変数ｎ＝２の撮像レコードを抽出する（Ｓ１７）。次に、ロボットビジョンコントローラ３０は、抽出した撮像レコードの評価値（ここでは、変数ｎ＝２のときの評価値：７５）が閾値以上だと判定して（Ｓ１８：Ｙｅｓ）、当該評価値に対応付けられた目標座標（ｕ２，ｖ２）を、新たな目標位置（以下、「修正目標位置」と表記する。）に設定する（Ｓ１９）。より詳細には、ロボットビジョンコントローラ３０は、目標座標（ｕ２，ｖ２）をｕ－ｖ座標系からｘ－ｙ座標系に変換して、変換後の座標で示される位置を修正目標位置に設定する。

【0041】

次に、ロボットビジョンコントローラ３０は、新たに設定した修正目標位置への移動をロボット５０に指示する（Ｓ２０）。ステップＳ２０の処理は移動指示処理の一例である。ロボット５０は、図３に示すように、ロボットビジョンコントローラ３０から指示された修正目標位置にエンドエフェクタが到達するように、ロボットアームＡＲの移動経路を初期経路から修正経路１に変更する（Ｓ２１）。また、ロボットビジョンコントローラ３０は、全ての撮像位置を通過していないと判定して（Ｓ２２：Ｎｏ）、変数ｎに１を加算して（Ｓ２３）、第３位置に対するステップＳ１４以降の処理を実行する。

【0042】

次に、ロボットビジョンコントローラ３０は、カメラ装置１０が第３位置に到達したタイミングで撮像＆算出処理を実行し（Ｓ１５：Ｙｅｓ→Ｓ１６）、変数ｎ＝３の撮像レコードを抽出する（Ｓ１７）。次に、ロボットビジョンコントローラ３０は、抽出した撮像レコードの評価値（ここでは、変数ｎ＝３のときの評価値：９０）が閾値以上だと判定して（Ｓ１８：Ｙｅｓ）、当該評価値に対応付けられた目標座標（ｕ３，ｖ３）を、新たな目標位置（以下、「修正目標位置」と表記する。）に設定する（Ｓ１９）。

【0043】

次に、ロボットビジョンコントローラ３０は、新たに設定した修正目標位置への移動をロボット５０に指示する（Ｓ２０）。ロボット５０は、図３に示すように、ロボットビジョンコントローラ３０から指示された修正目標位置にエンドエフェクタが到達するように、ロボットアームＡＲの移動経路を修正経路１から修正経路２に変更する（Ｓ２１）。また、ロボットビジョンコントローラ３０は、全ての撮像位置を通過していないと判定して（Ｓ２２：Ｎｏ）、変数ｎに１を加算して（Ｓ２３）、第４位置に対するステップＳ１４以降の処理を実行する。

【0044】

次に、ロボットビジョンコントローラ３０は、カメラ装置１０が第４位置に到達したタイミングで撮像＆算出処理を実行する（Ｓ１５：Ｙｅｓ→Ｓ１６）。しかしながら、図６の例では、最大の評価値を含むのは変数ｎ＝３の撮像レコードなので、目標位置は修正されない。そして、ロボットビジョンコントローラ３０は、全ての撮像位置を通過したと判定して（Ｓ２２：Ｙｅｓ）、作業機械制御処理を終了する。また、ロボット５０は、最新の修正目標位置にエンドエフェクタが到達したタイミングで、ロボットアームＡＲを停止して、エンドエフェクタに部品Ｐをピックアップさせる。

【0045】

［第１実施形態の作用効果］
第１実施形態によれば、複数の撮像位置で撮像＆出力処理（Ｓ１６）を実行する。このように、撮像位置及びタイミングをずらして撮像＆出力処理を実行することによって、評価値の高い目標座標が得られる可能性が高まる。これにより、ロボットアームＡＲを目標位置に到達させるのに有用な情報（複数の撮像レコード）を、ロボットビジョンコントローラ３０に提供することができる。その結果、ロボットビジョンコントローラ３０による精度の高いロボットアームＡＲの制御が実現する。

【0046】

また、ロボットアームＡＲが移動開始位置から目標位置に向けて移動する過程で、ステップＳ１４～Ｓ２３の処理を繰り返し実行することによって、目標位置を確定させてからロボットアームＡＲの移動を開始するのと比較して、ロボット制御システム１のスループットの低下を抑制することができる。

【0047】

さらに、第１実施形態によれば、変数ｎ＝２におけるステップＳ１９～Ｓ２１で目標位置を修正した後に、さらに変数ｎ＝３、４におけるステップＳ１４～Ｓ２３の処理を実行する。これにより、さらに信頼性の高い目標座標（ｕ３，ｖ３）が後で見つかった場合に、目標位置を再修正することができる。但し、評価値が閾値以上になって修正目標位置を設定したら（Ｓ１８：Ｙｅｓ→Ｓ１９）、他の撮像位置が残っていても作業機械制御処理を終了してもよい。一方、全ての撮像位置を通過しても修正目標位置を設定できない場合は、エンドエフェクタが部品Ｐの位置に到達できないと判断して、作業機械制御処理を異常終了してもよい。

【0048】

［第２実施形態に係る作業機械制御処理］
図７及び図８を参照して、第２実施形態に係る作業機械制御処理を説明する。図７は、第２実施形態に係る学習モデルの一覧を示す図である。図８は、第２実施形態に係る撮像＆算出処理のフローチャートである。なお、第１実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0049】

まず、図７に示すように、メモリ１２１には、複数の撮像位置それぞれに対応付けられた学習モデルが記憶されている。より詳細には、メモリ１２１は、複数の学習モデルを、撮像位置を表す変数ｎの値に対応付けて記憶している。第１モデルは、第１位置で撮像された画像及び目標座標を含む教師データを、予めＡＩ処理部１２４に入力して得られたものである。同様に、第２モデル、第３モデル、及び第４モデルは、第２位置、第３位置、及び第４位置で撮像された画像及び目標座標を含む教師データを、予めＡＩ処理部１２４に入力して得られたものである。

【0050】

また、第２実施形態に係る作業機械制御処理は、第１実施形態（図４）と共通する。一方、第２実施形態に係る撮像＆算出処理（図８）は、ステップＳ３１Ａ、Ｓ３３Ａの処理が第１実施形態（図５）と相違する。

【0051】

まず、第２実施形態に係るロボットビジョンコントローラ３０は、撮像条件及び第ｎモデルを指定した撮像指示をカメラ装置１０に送信する（Ｓ３１Ａ）。すなわち、第１位置における撮像＆算出処理では第１モデルが指定され、第２位置における撮像＆算出処理では第２モデルが指定され、第３位置における撮像＆算出処理では第３モデルが指定され、第４位置における撮像＆算出処理では第４モデルが指定される。

【0052】

また、第２実施形態に係るＡＩ処理部１２４は、ステップＳ３２でメモリ１２１に保存された画像データを、メモリ１２１に記憶された第ｎモデルに入力して、目標座標及び評価値を出力する（Ｓ３３Ａ）。すなわち、ＳｏＣ１２は、複数の撮像位置それぞれに対応付けられた学習モデルを用いて、出力処理を実行する。

【0053】

［第２実施形態の作用効果］
第２実施形態によれば、複数の撮像位置それぞれに最適化された学習モデルを用いて、目標座標及び評価値を出力することによって、目標位置をさらに高精度に特定することができる。その結果、さらに精度の高いロボットアームＡＲの制御が実現する。

【0054】

［第３実施形態に係る作業機械制御処理］
図９及び図１０を参照して、第３実施形態に係る作業機械制御処理を説明する。図９は、第３実施形態に係る学習モデルの一覧を示す図である。図１０は、第３実施形態に係る撮像＆算出処理のフローチャートである。なお、第１実施形態との共通点の詳細な説明は省略し、相違点を中心に説明する。

【0055】

まず、図９に示すように、メモリ１２１には、複数の撮像条件それぞれに対応付けられた学習モデルが記憶されている。より詳細には、メモリ１２１は、複数の学習モデルを、様々な撮像条件（例えば、照明の有無、照明の波長、露光時間、ゲイン）の組み合わせに対応付けて記憶している。すなわち、第３実施形態に係る学習モデルは、対応する撮像条件で撮像された画像及び目標座標を含む教師データを、予めＡＩ処理部１２４に入力して得られたものである。

【0056】

照明の有無とは、撮像部１１による撮像の際にフラッシュを用いるか否かを示す。照明装置は、カメラ装置１０に搭載されていてもよいし、通信ケーブルを用いてカメラ装置１０に接続されていてもよい。照明の波長とは、照射する光の波長のことであり、白色照明だけでなく、赤や緑といった単波長でもよいし、非可視光である赤外波長でもよい。露光時間とは、画像を生成するためにイメージセンサ１１２が外光を受光している時間である。ゲインとは、イメージセンサ１１２が光電変換した電気信号の増幅率である。但し、撮像条件の具体例は、前述の例に限定されない。

【0057】

また、第３実施形態に係る作業機械制御処理は、第１実施形態（図４）と共通する。一方、第３実施形態に係る撮像＆算出処理（図１０）は、ステップＳ４１－Ｓ４２が追加されると共に、ステップＳ３１Ａ、Ｓ３３Ａの処理が第１実施形態（図５）と相違する。

【0058】

まず、第３実施形態に係るロボットビジョンコントローラ３０は、前回の評価値が閾値未満か否かを判定する（Ｓ４１）。ステップＳ４１の閾値は、現在の撮像条件が目標座標を適切に特定するのに適していると評価できる値に設定される。ステップＳ４１で用いる閾値は、図４のステップＳ１８と同一でもよいし、異なっていてもよい。

【0059】

次に、ロボットビジョンコントローラ３０は、前回の評価値が閾値未満だと判定した場合に（Ｓ４１：Ｙｅｓ）、今回（ｎ回目）の撮像処理の撮像条件を、前回（ｎ－１回目）の撮像処理で用いた撮像条件から変更する（Ｓ４２）。一方、ロボットビジョンコントローラ３０は、前回の評価値が閾値以上だと判定した場合に（Ｓ４１：Ｎｏ）、今回（ｎ回目）の撮像処理の撮像条件を、前回（ｎ－１回目）の撮像処理で用いた撮像条件と同一にする。そして、ロボットビジョンコントローラ３０は、撮像条件及び撮像条件に対応する学習モデルを指定した撮像指示をカメラ装置１０に送信する（Ｓ３１Ｂ）。

【0060】

なお、ステップＳ４２では、複数の撮像条件（照明の有無、露光時間、ゲイン）のうちの１つが変更されてもよいし、複数が変更されてもよい。また、ロボットビジョンコントローラ３０は、ステップＳ４２を実行する度に、変更する撮像条件を変えてもよい。さらに、変数ｎ＝１のときは、ステップＳ４１－Ｓ４２の処理が省略されて、デフォルトの撮像条件が設定される。すなわち、ステップＳ４１－Ｓ４２の処理は、ｎ≧２のときに実行される。

【0061】

また、ＣＰＵ１２２は、ロボットビジョンコントローラ３０から指定された撮像条件で撮像部１１に撮像領域を撮像させ、生成された画像データをメモリ１２１に保存する（Ｓ３２Ｂ）。すなわち、ＳｏＣ１２は、前回の出力処理で出力した評価値が閾値未満の場合に、前回の撮像処理の撮像条件とは異なる撮像条件で、今回の撮像処理を実行する。一方、ＳｏＣ１２は、前回の出力処理で出力した評価値が閾値以上の場合に、前回の撮像処理の撮像条件と同一の撮像条件で、今回の撮像処理を実行する。

【0062】

さらに、第３実施形態に係るＡＩ処理部１２４は、ステップＳ３２でメモリ１２１に保存された画像データを、ロボットビジョンコントローラ３０から指定された学習モデルに入力して、目標座標及び評価値を出力する（Ｓ３３Ｂ）。すなわち、ＳｏＣ１２は、今回の撮像処理で用いた撮像条件に対応付けられた学習モデルを用いて、今回の出力処理を実行する。

【0063】

［第３実施形態の作用効果］
第３実施形態によれば、前回の出力処理で出力した評価値が閾値未満の場合に、撮像条件を変更して今回の撮像処理を実行する。これにより、繰り返し実行する撮像処理において、目標位置を特定するのに適した画像を撮像できる可能性が高まる。

【0064】

また、第３実施形態によれば、複数の撮像条件それぞれに最適化された学習モデルを用いて、目標座標及び評価値を出力することによって、目標位置をさらに高精度に特定することができる。その結果、さらに精度の高いロボットアームＡＲの制御が実現する。

【0065】

［その他の実施形態］
なお、第１～第３実施形態は、本発明の趣旨を逸脱しない範囲において、任意の組み合わせで組み合わせることができる。

【0066】

また、ＳｏＣ１２及びロボットビジョンコントローラ３０の役割分担は、前述の例に限定されない。すなわち、ＳｏＣ１２の処理の一部または全部は、ロボットビジョンコントローラ３０によって実行されてもよい。また、ロボットビジョンコントローラ３０の処理の一部または全部は、ＳｏＣ１２によって実行されてもよい。

【0067】

さらに、プログラムによって実現される各手段の一部または全部は、集積回路等のハードウェアで実現することもできる。さらに、プログラムは、コンピュータによって読み出し可能な非一過性の記録媒体に記録されて提供されてもよい。記録媒体とは、例えば、ハードディスク、ＳＤカード、ＤＶＤの他、インターネット上のサーバ等を指す。

【0068】

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0069】

本開示は、作業機械のスループットの低下を抑制しつつ、作業機械を目標位置に到達させるための情報を提供可能なカメラ装置として有用である。

【符号の説明】

【0070】

１ ロボット制御システム
１０ カメラ装置
１１ 撮像部
３０ ロボットビジョンコントローラ
５０ ロボット
１１１ 光学レンズ
１１２ イメージセンサ
１２１ メモリ
１２２ ＣＰＵ
１２４ ＡＩ処理部
１２５ 外部インタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】