特開 2024-175636 画像処理方法、画像処理装置およびビジョンシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024175636

(43)【公開日】2024-12-18

(54)【発明の名称】画像処理方法、画像処理装置およびビジョンシステム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241211BHJP

   G06T 7/00 20170101ALI20241211BHJP

【ＦＩ】

G06T7/70 A

G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023184293

(22)【出願日】2023-10-26

(31)【優先権主張番号】P 2023093294

(32)【優先日】2023-06-06

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100116274

【弁理士】

【氏名又は名称】富所 輝観夫

(72)【発明者】

【氏名】小柳 佳介

(72)【発明者】

【氏名】安藤 富雄

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096BA04

5L096BA05

5L096CA04

5L096FA02

5L096FA32

5L096FA69

5L096GA41

5L096GA55

5L096HA02

5L096HA09

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】対象物が振動している場合やカメラが振動している場合であっても、対象物の代表座標を高い精度で取得提供する。
【解決手段】画像処理方法は、対象物の時系列的な複数の画像を取得するステップ（Ｓ１０）と、複数の画像のそれぞれに関して、対象物の特徴を抽出した特徴抽出画像を生成するステップ（Ｓ１２）と、複数の特徴抽出画像のそれぞれに関して、予め登録された対象物の画像と比較または予め学習されたモデルに基づいて判断することにより、特徴抽出画像に写っている対象物を特定するステップ（Ｓ１４）と、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標を取得するステップ（Ｓ１６）と、取得した複数の一部の座標に基づいて、対象物の代表座標を推定するステップ（Ｓ１８）と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象物の時系列的な複数の画像を取得するステップと、
前記複数の画像のそれぞれに関して、前記対象物の特徴を抽出した特徴抽出画像を生成するステップと、
複数の前記特徴抽出画像のそれぞれに関して、予め登録された前記対象物の画像と比較または予め学習されたモデルに基づいて判断することにより、前記特徴抽出画像に写っている前記対象物を特定するステップと、
複数の前記特徴抽出画像のそれぞれに関して、特定された前記対象物の一部の座標を取得するステップと、
取得した複数の前記一部の座標に基づいて、前記対象物の代表座標を推定するステップと、
を備える画像処理方法。

【請求項2】

前記推定するステップにおいて、前記一部の座標の時間変化に基づいて前記対象物の代表座標を推定する、請求項１に記載の画像処理方法。

【請求項3】

前記一部の座標の時間変化の極大値と極小値の差に所定の係数を乗じることにより、前記対象物の代表座標を推定する、請求項２に記載の画像処理方法。

【請求項4】

対象物の時系列的な複数の画像を取得する画像取得部と、
前記複数の画像のそれぞれに関して、前記対象物の特徴を抽出した特徴抽出画像を生成する特徴抽出部と、
複数の前記特徴抽出画像のそれぞれに関して、予め登録または学習された前記対象物の画像と比較または予め学習されたモデルに基づいて判断することにより、前記特徴抽出画像に写っている前記対象物を特定する対象物特定部と、
複数の前記特徴抽出画像のそれぞれに関して、特定された前記対象物の一部の座標を取得する一部座標取得部と、
取得した複数の前記一部の座標に基づいて、前記対象物の代表座標を推定する代表座標推定部と、
を備える画像処理装置。

【請求項5】

移動体に取り付けられるカメラと、
請求項４に記載の画像処理装置と、
を備え、
前記画像処理装置の前記画像取得部は前記カメラから前記対象物の画像を取得する、ビジョンシステム。

【請求項6】

移動する対象物の時系列的な複数の画像を取得するステップと、
前記複数の画像のそれぞれに関して、前記対象物の代表座標を取得するステップと、
取得した前記代表座標から、前記対象物の静止位置を予測するステップと、
予測された前記静止位置を含むように、前記画像を取得するステップにおける撮像範囲よりも小さい画像解析範囲を設定するステップと、
前記画像解析範囲内で所定の画像解析処理を行うステップと、
を備える画像処理方法。

【請求項7】

前記予測するステップにおいて、少なくとも３点以上の前記代表座標から、前記対象物の静止位置を予測する、請求項６に記載の画像処理方法。

【請求項8】

移動する対象物の時系列的な複数の画像を取得する画像取得部と、
前記複数の画像のそれぞれに関して、前記対象物の代表座標を取得する代表座標取得部と、
取得した前記代表座標から、前記対象物の静止位置を予測する静止位置予測部と、
予測された前記静止位置を含むように、前記画像取得部における撮像範囲よりも小さい画像解析範囲を設定する画像解析範囲設定部と、
前記画像解析範囲内で所定の画像解析処理を行う画像解析部と、
を備える画像処理装置。

【請求項9】

所定の撮像範囲を撮像するカメラと、
請求項８に記載の画像処理装置と、
を備え、
前記画像処理装置の前記画像取得部は、前記カメラから前記対象物の画像を取得する、ビジョンシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物の代表座標を取得する画像処理方法および画像処理装置、並びに該画像処理装置を用いたビジョンシステムに関する。

【背景技術】

【0002】

従来、振動による画像流れ等の劣化をある程度復元する、所謂「手振れ補正」技術はさまざまに考案されている。例えば、カメラが振動変位を受けていても、カメラの像の流れを検出して画像復元する電子手振れ制御や、カメラに可動式素子（例えばプリズムや液晶光学素子）を設け、ジャイロ等から得られた加減速情報に基づいて該可動式素子を微動させて撮像する光学手振れ制御等で、手振れ補正する技術は様々に考案されている。また、センサからの加速度情報や位置情報が得られなくとも、画像の過渡現象を分析する事で推定できる、所謂ソフトジャイロ機能も考案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１１９５７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、ロボットピックや嵌合作業等の高い座標精度を要するケースでは、手振れ補正した復元座標では、座標情報が曖昧で振動変位そのもの影響を抑制する事はできない。手振れ補正の技術は、修復した画像に違和感なく見せる技術であり、絶対座標を必要としない。つまり、歪んだ画像空間における瞬時の修復画像では座標精度が期待できない。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、対象物が振動している場合やカメラが振動している状態であっても、対象物の代表座標を高い精度で取得できる技術を提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様は、予めパターンマッチング等により画像登録される、または所謂ＡＩ手法（機械学習、深層学習等）によって学習した対象物の代表座標を取得する画像処理方法であって、対象物の時系列的な複数の画像を取得するステップと、複数の画像のそれぞれに関して、座標取得できるよう、対象物の特徴を抽出した特徴抽出画像を生成するステップと、複数の特徴抽出画像のそれぞれに関して、特徴抽出画像に写っている対象物を、予め登録された対象物の画像と比較、または予め学習した画像から学習アルゴリズムによる判断の下、同定することにより特定するステップと、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標を取得するステップと、取得した複数の一部の座標に基づいて統計処理等を行うことで、対象物の代表座標を推定するステップと、を備える。

【0007】

本発明の別の態様は、画像処理装置である。この装置は、予めパターンマッチング等により画像登録される、または所謂ＡＩ手法（機械学習、深層学習等）によって学習した対象物の代表座標を取得する画像処理装置であって、対象物の時系列的な複数の画像を取得する画像取得部と、複数の画像のそれぞれに関して、座標取得できるよう、対象物の特徴を抽出した特徴抽出画像を生成する特徴抽出部と、複数の特徴抽出画像のそれぞれに関して、特徴抽出画像に写っている対象物を、予め登録された対象物の画像と比較、または予め学習した画像から学習アルゴリズムによる判断の下、同定することにより特定する対象物特定部と、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標を取得する一部座標取得部と、取得した複数の一部の座標に基づいて統計処理等を行うことで対象物の代表座標を推定する代表座標推定部と、を備える。

【0008】

本発明のさらに別の態様は、ビジョンシステムである。このビジョンシステムは、移動体に取り付けられるカメラと、上記の画像処理装置と、を備える。画像処理装置の画像取得部は、カメラから対象物の画像を取得する。移動体は、例えばロボットアーム、自律走行搬送ロボット、無人搬送車、所謂ドローンと呼ばれる飛行体などであってよい。

【0009】

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。

【発明の効果】

【0010】

本発明によれば、対象物が振動している場合や撮像部が振動している場合であっても、対象物の代表座標を高い精度で取得できる技術を提供できる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係るビジョンシステムの構成を説明するためのブロック図である。

【図2】実施の形態に係る画像処理装置における一連の処理を示すフローチャートである。

【図3】予め登録された対象物または予め学習させた対象画像の一例を示す図である。

【図4】図４（ａ）は、画像取得部が取得した対象物の時系列的な複数の画像を重ねて示した図である。図４（ｂ）は、特徴抽出画像の一例を示す図である。図４（ｃ）は、複数の一部座標を重ねて示した図である。

【図5】対象物の代表座標の推定方法を説明するための図である。

【図6】実施の形態に係るビジョンシステムをロボットアームに適用した実施例を示す図である。

【図7】実施の形態に係るビジョンシステムをロボットアームに適用した別の実施例を示す図である。

【図8】実施の形態に係るビジョンシステムを自律走行搬送ロボットに適用した実施例を示す図である。

【図9】実施の形態に係るビジョンシステムを超音波探傷装置に適用した実施例を示す図である。

【図10】別の実施形態に係るビジョンシステムを示す図である。

【図11】別の実施形態に係るビジョンシステムの構成を説明するためのブロック図である。

【図12】別の実施形態に係るビジョンシステムにおける一連の画像処理を示すフローチャートである。

【図13】図１３（ａ）～図１３（ｅ）は、別の実施形態に係るビジョンシステムにおける画像処理の一例を示す図である。

【図14】図１４（ａ）および図１４（ｂ）は、対象物の静止位置の予測の一例を示す図である。

【発明を実施するための形態】

【0012】

以下、各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。

【0013】

図１は、実施の形態に係るビジョンシステム１００の構成を説明するためのブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子（画像処理を高速化できるＧＰＵやプログラム可能なゲートアレイであるＦＰＧＡを含む）や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。また、本体とリモート接続されているクラウドサーバを別途設けて、各処理の一部、或いは全部をクラウド側で実行する事も可能である。

【0014】

図１に示すように、ビジョンシステム１００は、カメラ１０２と、画像処理装置１０とを備える。カメラ１０２は、例えばロボットアームの先端部に取り付けられ、例えばワークや釦、スイッチなどの対象物を撮像する。画像処理装置１０は、カメラ１０２により撮像された画像を取得し、該画像から対象物の代表座標を推定し、出力する。画像処理装置１０により出力された対象物の代表座標情報は、例えばロボットアームによるワークの把持や吸着ピックなどに利用される。

【0015】

カメラ１０２は、所定の撮像周期で対象物を撮像する、もしくは撮像にトリガー信号を与えて、トリガー毎に撮像する。カメラ１０２により撮像された画像は、画像処理装置１０に出力される。カメラ１０２の種類は特に限定されず、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Devices）を用いたものを利用できる。

【0016】

図１に示すように、画像処理装置１０は、画像保持部１２と、画像取得部１４と、特徴抽出部１６と、対象物特定部１８と、一部座標取得部２０と、代表座標推定部２２と、を備える。

【0017】

画像保持部１２は、予めパターンマッチング等により登録された対象物の画像、または、所謂ＡＩ手法（機械学習、深層学習等）によって学習された対象物の画像、または学習済みモデルを保持する。

【0018】

画像取得部１４は、カメラ１０２が撮像した時系列的な複数の画像を取得する。但し、高速リアルタイム処理目的で画像保持を行わずに処理することも可能である。

【0019】

特徴抽出部１６は、画像取得部１４で取得された複数の画像のそれぞれに関して、対象物の特徴を抽出した特徴抽出画像を生成する。特徴抽出は画像に対する正確な座標取得を目的とし、座標が取得できるのであれば必ずしも画像修復を目的とはしない。そして特徴抽出部１６により、画像取得部１４で取得された複数の画像に対応する複数の特徴抽出画像が生成される。特徴抽出画像は、画像取得部１４で取得した画像を画像処理フィルタに通すことで、輪郭、光学濃度差、輝度差、色度分布などの特徴抽出画像を生成することができる。画像処理フィルタとしては、２階微分（ラプラシアン）、ソーベル（Ｓｏｂｅｌ）、ヴレビット、キャニー、ウィナー等の公知の画像処理フィルタを用いることができる。

【0020】

対象物特定部１８は、特徴抽出部１６で生成された複数の特徴抽出画像のそれぞれに関して、特徴抽出画像に写っている対象物を特定する。この対象物の特定は、特徴抽出画像に写っている対象物を、予め登録された前記対象物の画像と比較または予め学習されたモデルに基づいて判断することにより行う。

【0021】

一部座標取得部２０は、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部の座標（以下「一部座標」と称する）を取得する。一部座標取得部２０では、複数の特徴抽出画像に対応する複数の一部座標が取得される。対象物のどの部分の座標を一部座標として取得するかは、対象物の形状や光学濃度分布、輝度分布、輝度スペクトル、質量分布などに応じて適宜設定することができる。一部座標取得部２０は、例えば、対象物の輪郭最外殻の中心、図心、重心、端部、特徴的パターン部などの座標を一部座標として取得することができる。また、画像処理装置１０は、濃度分布（輝度分布）の中心や端部、色度（ＬａｂまたはＬｘｙ）分布の中心や端部を一部座標として取得することもできる。

【0022】

代表座標推定部２２は、一部座標取得部２０で取得された複数の一部座標に基づいて、対象物の代表座標を推定する。対象物が振動している場合や、カメラ１０２が振動している場合、一部座標取得部２０で取得された複数の一部座標は一定とはならず、時間変化する。代表座標推定部２２は、複数の一部座標の時間変化に基づいて、対象物の代表座標を推定することができる。例えば、代表座標推定部２２は、一部の座標の時間変化の極大値と極小値の差に所定の係数を乗じることにより、対象物の代表座標を推定することができる。

【0023】

図２は、実施の形態に係る画像処理装置１０における一連の処理を示すフローチャートである。図２に示す処理フローは、所定の周期で繰り返し実行される。図２に示すフローチャートに従って、画像処理装置１０の一連の処理を説明する。ここでは、カメラ１０２が振動している場合を例として説明する。

【0024】

前提として、画像処理装置１０は、予め登録された対象物の画像、または予め学習させた対象物の画像を画像保持部１２に保持している。図３は、予め登録された対象物の画像の一例を示す。図３に示す対象物の画像３０は、対象物の静止時の画像である。

【0025】

まず、画像取得部１４は、カメラ１０２から対象物の時系列的な複数の画像を取得する（Ｓ１０）。図４（ａ）は、画像取得部１４が取得した対象物の時系列的な複数の画像３２を重ねて示した図である。通常、振動によって画像ブレ（モーションブラーやフォーカスブラー等）が生じている画像を認識し、座標取得する事ができない。従って画像認識できる状態に変換する必要がある。ここではカメラが振動しているため、図４（ａ）では、対象物の画像３２が時間変化している。また、カメラが振動しているため、各画像３２はぼやけており、対象物のエッジが不明確となっている。

【0026】

次に、特徴抽出部１６は、複数の画像３２のそれぞれに関して、対象物の特徴を抽出した特徴抽出画像を生成する（Ｓ１２）。図４（ｂ）は、特徴抽出画像の一例を示す。図４（ｂ）に示す特徴抽出画像３４は、図４（ａ）に示す画像３２と比較して、対象物のエッジが明確になっている。例えばエッジ部がエッジ抽出処理等で鮮明化できれば、画像の凡そのアウトラインが明確化できるので、そのアウトラインの図心を代表的な中心座標とみなすことができる。

【0027】

次に、対象物特定部１８は、複数の特徴抽出画像３４のそれぞれに関して、特徴抽出画像３４に写っている対象物を、画像保持部１２に保持された対象物の画像と比較または深層学習において同定することにより特定する（Ｓ１４）。

【0028】

次に、一部座標取得部２０は、複数の特徴抽出画像のそれぞれに関して、特定された対象物の一部座標を取得する（Ｓ１６）。図４（ｂ）には、特徴抽出画像３４の一部座標Ｐが図示されている。一部座標Ｐは、対象物の中心、図心、重心などであってよい。図４（ｃ）は、一部座標取得部２０によって取得された複数の一部座標Ｐを重ねて示した図である。複数の一部座標Ｐをトレースすることにより、一部座標Ｐの時間変化を把握することができる。

【0029】

最後に、代表座標推定部２２は、取得した複数の一部の座標３６に基づいて、対象物の代表座標を推定する（Ｓ１８）。

【0030】

図５は、対象物の代表座標の推定方法を説明するための図である。図５は、代表的な制御されたロボットアーム静止時の整定過渡状況を実測している。つまり自由振動系ではなく、整定し、振動振幅が収束していく振動系である。そして対象物の一部座標Ｐの一軸方向の時間変化の一例である。当然ながら、他の軸方向の時間変化を考慮することもできる。図５では、ロボットアームの先端にカメラ１０２を取り付け、ロボットアームに停止指令を出してから完全に停止するまでに１．５～２．０秒程度の時間を要する状況を実測データから想定している。図５に示すように、対象物の一部座標Ｐは、一軸方向において、減衰振動している。

【0031】

本実施形態において、代表座標推定部２２は、一部座標Ｐの時間変化を監視しており、一部座標Ｐの時間変化の極大値と極小値の差に所定の係数（ここでは０．５）を乗じることにより、対象物の代表座標Ｒを推定する。図５に示す例では、代表座標推定部２２は、ｎ回目の極大値ＬＭ_ｎとｎ回目の極小値Ｌｍ_ｎが表れたとき、極大値ＬＭ_ｎと極小値Ｌｍ_ｎの差Δ_ｎに係数０．５を乗じて、ｎ回目の代表座標Ｒ_ｎを推定している。その後、代表座標推定部２２は、ｎ＋１回目の極大値ＬＭ_ｎ＋１とｎ回目の極小値Ｌｍ_ｎ＋１が表れたとき、極大値ＬＭ_ｎ＋１と極小値Ｌｍ_ｎ＋１の差Δ_ｎ＋１に係数０．５を乗じて、ｎ＋１回目の代表座標Ｒ_ｎ＋１を推定している。このような手法により、カメラ１０２が振動している場合であっても、代表座標Ｒを連続的に高い精度で取得することができる。極大値と極小値の差に乗じる係数は、カメラ１０２を搭載するアーム等の特性に応じて、実験やシミュレーション等により０～１の範囲で適宜設定することができる。なお、極大値、極小値、代表座標等は、一部座標Ｐを取得する周期に応じて変わることを理解されたい。また、ここではカメラ１０２が振動している場合を例として説明したが、対象物が振動している場合も同様の手法により代表座標Ｒを取得することができる。但し、一般的に制御中は振幅が収まる方向にフィードバック、或いはフィードフォワードする事から、Ｒ_ｎは０．５ではなく、制御系固有の係数（例えば０．５よりも大きな数字）にすることで真の中心座標に近づける事ができる。

【0032】

一部座標に時間変化に基づく対象物の代表座量の推定は、上記の手法に限定されず、種々の手法を利用することができる。例えば、一部座標の加算平均値を演算し、これを代表座標と推定してもよい。加算平均は自由振動系（振動が継続している状態）では簡便で使いやすい。但し加算平均値を演算する際には、ピーク座標を外してもよい。ピーク座標は特異性を有する可能性があるためである。あるいは、一部座標の最頻値を代表座標と推定してもよい。あるいは、一部座標の中央値を代表座標と推定してもよい。あるいは、一部座標の二乗和平方根を代表座標と推定してもよい。また、移動平均値から振動の挙動を推定し、代表座標の精度を上げる事もできる。

【0033】

図６は、実施の形態に係るビジョンシステムをロボットアームに適用した実施例を示す。このビジョンシステムは、ロボットアーム６０の先端に取り付けられたカメラ１０２と、カメラ１０２で撮像された画像に基づいてワーク６２の代表座標を取得する画像処理装置（図示せず）を備える。ロボットアーム６０の先端にはピッキングユニット６４が設けられており、その近傍にカメラ１０２が配置されている。カメラ１０２で撮像された画像に基づいてワーク６２の代表座標を取得することにより、ロボットアーム６０の先端が揺れており、完全に停止していないような状況であっても、ワーク６２の代表座標を高精度で取得することができる。ロボットアーム６０の先端が完全に停止する前からワーク６２の代表座標を取得できることにより、ピッキングユニット６４でワーク６２を把持する作業を短時間で行うことが可能となり、生産性を向上することができる。

【0034】

また、移動しながら対象物の座標取得できる事から、金型等にインサートワークを精度良くセットする作業が高速かつ確実に行うことができる。つまり、インサート対象ワーク６２を所定座標通りセットされているかも高速判断可能である。もしも座標がズレていれば、正確にセットされていない事を意味するので、そのまま型締め等の処理をしてしまうと金型破損等大きな事故を引き起こしてしまうが、そのような事故を防ぎつつ、セット・移載等のロボット作業を併行できる。

【0035】

図７は、実施の形態に係るビジョンシステムをロボットアームに適用した別の実施例を示す。図７は、ベルトコンベア６８によりワーク６６が運搬されている様子を示す。ベルトコンベア６８により運搬されているワーク６６は振動している場合がある。カメラ１０２で撮像された画像に基づいてワーク６６の代表座標を取得することにより、ワーク６６が振動しているような状況であっても、ワーク６６の代表座標を高精度で取得することができる。ワーク６６が振動している状態でもワーク６６の代表座標を取得できることにより、ピッキングユニット６４でワーク６２を把持する作業を高速かつ確実に行うことができる。

【0036】

図８は、実施の形態に係るビジョンシステムを自律走行搬送ロボット（ＡＭＲ：Autonomous Mobile Robot）に適用した実施例を示す。このビジョンシステムは、自律走行搬送ロボット７０に搭載されたカメラ１０２と、カメラ１０２で撮像された画像に基づいて、例えばエレベータの操作ボタン７２等の代表座標を取得する画像処理装置（図示せず）を備える。自律走行搬送ロボット７０には、エレベータの操作ボタン７２等を操作するためのマニピュレータ７４が設けられている。カメラ１０２で撮像された画像に基づいて操作ボタン７２の代表座標を取得することにより、自律走行搬送ロボット７０が移動中で、床面から受ける振動や移動中の振動によりカメラ１０２が揺れているような状況であっても、操作ボタン７２の代表座標を高精度で取得することができる。カメラ１０２の揺れが完全に停止する前から操作ボタン７２の代表座標を取得できることにより、搬送時間の短縮を図ることが可能となり、作業効率を向上できる。なお、実施の形態に係るビジョンシステムを無人搬送車（ＡＧＶ：Automatic Guided Vehicle）に適用することも可能である。

【0037】

図９は、実施の形態に係るビジョンシステムを超音波探傷装置に適用した実施例を示す。図９に示すように、自律走行搬送ロボット８０にロボットアーム８２が搭載されており、該ロボットアーム８２に先端に超音波プローブ８４が設けられている。自律走行搬送ロボットは無人搬送車であってもよい。自律走行搬送ロボット８０で走行しながらロボットアーム８２を動かし、被検査体８６上で超音波プローブ８４を走査し、被検査体８６の溶接部８８を超音波検査できる。ビジョンシステムは、ロボットアーム８２に搭載されたカメラ１０２と、カメラ１０２で撮像された画像に基づいて、溶接部８８の代表座標を取得する画像処理装置（図示せず）を備える。カメラ１０２で撮像された画像に基づいて溶接部８８の代表座標を取得することにより、ロボットアーム８２に搭載されたカメラ１０２が揺れているような状況であっても、溶接部８８の代表座標を高精度で取得することができる。これにより、取得できることにより、検査時間の短縮を図ることが可能となり、検査効率を向上できる。特に橋梁や造船、ボイラー等の溶接部は長い事が多く、且つ、溶接ビードも中心部や稜線部が変動しているので、例えば溶接ビードの中心部を移動しながら確認して溶接検査をすることによって、検査時間と検査信頼性向上が実現する。

【0038】

図１０は、別の実施形態に係るビジョンシステムを示す。このビジョンシステム２００は、ターンテーブル１３０上に配置された対象物１３１の検査を行うためのものである。

【0039】

ビジョンシステム２００は、ロボットアーム１６０の先端に搭載されたカメラ１０２と、画像処理装置（図示せず）とを備える。図１０に示すように、ロボットアーム１６０の先端に照明部１２６が設けられていてもよい。検査の際には、ロボットアーム１６０を駆動してカメラ１０２および照明部１２６を移動させ、照明部１２６で対象物１３１を照明しながら、様々な角度からカメラ１０２で対象物１３１を撮像する。カメラ１０２によって撮像された画像は、画像処理装置に送られる。画像処理装置は、取得した画像情報から対象物を認識し、良品画像と比較あるいは学習する等の画像解析処理を行い、対象物１３１における欠陥の有無などの品質確認検査を行う。１つの対象物１３１の検査が終わると、ターンテーブル１３０が回転し、別の対象物１３１の検査が開始される。

【0040】

図１０に示すようなビジョンシステム２００においては、画像処理時間を短縮することが望ましい。画像処理時間を短縮することにより、検査時間の短縮を図ることが可能となり、検査効率を向上できる。そこで、本開示においては、ビジョンシステム２００において、画像処理時間を短縮できる技術を提案する。

【0041】

図１１は、実施形態に係るビジョンシステム２００の構成を説明するためのブロック図である。図１１に示すように、ビジョンシステム２００は、カメラ１０２と、画像処理装置２１０とを備える。ビジョンシステム２００は、図１１に示すようにカメラ１０２をロボットアーム１６０などの移動体に取り付け、静止する対象物１３１を撮像するものであってよい。あるいは、ビジョンシステム２００は、カメラ１０２を静止状態とし、例えばベルトコンベアなどに載せられて移動する対象物を撮像するものであってもよい。どちらの場合も、カメラ１０２の撮像範囲内を対象物が移動することになるため、画像処理の原理としては同じである。

【0042】

カメラ１０２は、所定の撮像範囲を撮像する。カメラ１０２の撮像範囲は、カメラ１０２が使用するイメージセンサの撮像解像度および１画素解像度、カメラ１０２が使用するマシンビジョンレンズの焦点距離、カメラ１０２の作動距離などによって決まる。カメラ１０２は、所定の撮像周期で撮像範囲を撮像してよい。あるいは、カメラ１０２は、撮像にトリガー信号を与えて、トリガー毎に撮像範囲を撮像してもよい。カメラ１０２により撮像された画像は、画像処理装置２１０に出力される。カメラ１０２の種類は特に限定されず、例えばＣＭＯＳやＣＣＤを用いたものを利用できる。

【0043】

図１１に示すように、画像処理装置２１０は、画像取得部２１４と、代表座標取得部２１６と、静止位置予測部２１８と、画像解析範囲設定部２２０と、画像解析部２２２とを備える。

【0044】

画像取得部２１４は、カメラ１０２が撮像した時系列的な複数の画像を取得する。カメラ１０２の撮像範囲内で対象物が移動する場合、画像取得部２１４は、撮像範囲内で対象物の位置が変化する複数の画像を取得する。

【0045】

代表座標取得部２１６は、画像取得部２１４で取得された複数の画像のそれぞれに関して、対象物の代表座標を取得する。対象物の代表座標は、例えば、対象物の図心や重心であってよい。

【0046】

静止位置予測部２１８は、画像取得部２１４で取得した代表座標から、対象物の静止位置を予測する。ここでいう「静止」とは、撮像範囲内における移動が止まることを意味する。対象物の静止位置は、少なくとも３点以上の代表座標から予測することができる。少なくとも３点以上の代表座標が分かれば、例えば最小ニ乗法を用いて対象物の静止位置を予測できる。

【0047】

画像解析範囲設定部２２０は、予測された対象物の静止位置を含むように、画像解析範囲を設定する。この画像解析範囲は、カメラ１０２の撮像範囲よりも小さい範囲に設定される。これは、カメラ１０２の撮像範囲のうち画像解析範囲以外をマスクすることを意味する。画像解析範囲は、対象物の大きさにも依るが、撮像範囲の１／２以下、好ましくは１／４以下、より好ましくは１／８以下であってよい。カメラ１０２の撮像範囲よりも小さい画像解析範囲を設定することにより、下記で述べる画像解析部２２２で処理すべき画素数が大幅に減り、画像処理時間を短縮できる。

【0048】

画像解析部２２２は、画像解析範囲設定部２２０で設定された画像解析範囲内で、所定の画像解析処理を行う。画像解析部２２２が行う画像解析処理は、対象物の欠陥を検出する処理であってよい。欠陥検出処理の手法としては公知の技術を用いることができる。例えば、パターンマッチングあるいは深層学習でのセグメンテーションを用いることにより、画像解析範囲内の対象物の欠陥を検出することができる。

【0049】

図１２は、別の実施形態に係るビジョンシステム２００における一連の画像処理を示すフローチャートである。図１３（ａ）～図１３（ｅ）は、別の実施形態に係るビジョンシステムにおける画像処理の一例を示す図である。図１３（ａ）～図１３（ｅ）の例を参照して、ビジョンシステム２００における一連の画像処理フローを説明する。

【0050】

図１３（ａ）～図１３（ｅ）は、カメラ１０２の撮像範囲２３０内に十字状の対象物２３２が入ってきて、撮像範囲２３０の略中央で静止するまでの様子を示している。固定されているカメラ１０２に対して対象物２３２が移動する場合であってもよいし、静止している対象物２３２に対してカメラ１０２が移動する場合であってもよい。この例では、カメラ１０２が使用するイメージセンサの撮像解像度を２，４８８画素×２，０４８画素、１画素解像度を６５μｍとする。また、カメラ１０２が使用するマシンビジョンレンズの焦点距離を２５ｍｍとする。また、カメラ１０２の作動距離を５００ｍｍとする。このとき、撮像範囲は２３０の大きさは、１６０ｍｍ×１３５ｍｍとなる。

【0051】

まず、画像取得部２１４は、カメラ１０２から、撮像範囲内で移動する対象物の時系列的な複数の画像を取得する（Ｓ２０）。Ｓ２０では、図１３（ａ）～図１３（ｃ）に示すような複数の画像が取得される。図１３（ａ）は、対象物２３２が撮像範囲２３０内に入り始めた様子を示す。図１３（ｂ）および図１３（ｃ）は、撮像範囲２３０内に入った撮像範囲２３０が撮像範囲２３０の略中央に向かって徐々に移動している様子を示す。

【0052】

次に、代表座標取得部２１６は、複数の画像のそれぞれに関して、対象物の代表座標を取得する（Ｓ２２）。図１３（ａ）～図１３（ｃ）には、十字状の対象物２３２の図心が代表座標２３４として示されている。

【0053】

次に、静止位置予測部２１８は、取得した対象物の代表座標から、対象物の静止位置を予測する（Ｓ２４）。上述したように、少なくとも３点以上の代表座標が分かれば、例えば最小ニ乗法を用いて対象物の静止位置を予測できる。図１３（ｄ）には、予測された対象物２３２の静止位置２３５が図示されている。

【0054】

次に、画像解析範囲設定部２２０は、予測された静止位置を含むように、撮像範囲よりも小さい画像解析範囲を設定する（Ｓ２６）。図１３（ｄ）には、予測された静止位置２３５を含む画像解析範囲２３６が図示されている。図１３（ｄ）に示す例では、画像解析範囲２３６は６４ｍｍ×５４ｍｍに設定されている。

【0055】

最後に、画像解析部２２２は、設定された画像解析範囲内で、所定の画像解析処理を行う（Ｓ２８）。この画像解析処理は、実際に画像解析範囲内に対象物が静止したときから開始される。図１３（ｅ）には、画像解析範囲２３６内に対象物２３２が静止した様子が示されている。画像解析処理としては、例えば対象物２３２の欠陥を検出する処理が挙げられる。画像解析部２２２は、パターンマッチングあるいは深層学習でのセグメンテーションを用いることにより、画像解析範囲２３６内の対象物２３２の欠陥を検出できる。

【0056】

本実施形態では、撮像範囲２３０よりも小さい画像解析範囲２３６内に限定して画像解析処理を行っているので、撮像範囲２３０内で画像解析処理を行う場合と比較して処理する画素数が大幅に減り、画像処理時間を短縮できる。例えば、１６０ｍｍ×１３５ｍｍの撮像範囲２３０から６４ｍｍ×５４ｍｍの画像解析範囲２３６に画像処理をすべき範囲を減らすことで、対象物２３２の認識（パターンマッチングあるいは深層学習でのセグメンテーション）時間を単純計算で１／６以下に短縮できる。

【0057】

本実施形態では、対象物が実際に静止する前に、対象物の静止位置を予測し、画像解析範囲を設定している。これにより、対象物が画像解析範囲内に静止してから即座に画像解析処理を開始できる。これは、画像が静止してから画像解析範囲を設定する場合と比較して、画像処理時間の短縮に有利である。

【0058】

図１０に示すようなロボットアームを用いたビジョンシステムにおいて、対象物の正面および前後左右の合計５面を検査する場合について、検査時間のシミュレーションを行った。以下の表１は、シミュレーション結果を示す。

【表1】

本実施例では、図１３（ａ）～図１３（ｅ）の例と同様に、撮像範囲を１６０ｍｍ×１３５ｍｍとし、画像解析範囲を６４ｍｍ×５４ｍｍとした。比較例とは、撮像範囲の全てを画像解析範囲として画像解析処理を行う場合である。

【0059】

表１に示すように、対象物の認識時間に関して、比較例は１．２秒を要したのに対し、本実施例は０．１９秒と非常に短時間であった。１面を検査するのに要する時間（１面検査時間）は、対象物認識時間と検査処理時間とアーム移動時間の和であり、比較例は４．７秒、本実施例は３．６９秒であった。１つの対象物を検査するのに要する時間（１対象物検査時間）は、１面検査時間×５面で計算され、比較例は２３．５秒、本実施例は１８．５秒であった。比較例と本実施例を比較すると、１対象物検査時間の改善率は２１．５％であった。すなわち、ロボットアーム移動して対象物の正面および前後左右の合計５面を対象とした検査では、ロボットアームの移動時間を平均２秒としても、トータルで２０％程度処理時間を短縮できる。

【0060】

図１４（ａ）および図１４（ｂ）は、対象物の静止位置の予測の一例を示す。図１４（ａ）は、カメラ１０２を取り付けるロボットアーム１６０が停止するまでの挙動の一例を単純減速の事例として示す。図１４（ａ）に示すグラフにおいて、横軸はロボットアーム１６０の先端の位置（スカラー）を表し、縦軸はロボットアーム１６０の先端の速度（スカラー）を表す。図１４（ａ）は、ロボットアーム１６０の先端が、位置１５００から徐々に減速し、位置５００で静止したことを表す。

【0061】

図１４（ｂ）は、ロボットアーム１６０の先端の位置の時間変化と、４点の位置から予測したロボットアーム１６０の先端の静止位置を示す。図１４（ｂ）において、横軸は時間（秒）を表し、縦軸はロボットアーム１６０の先端の位置（スカラー）を表す。なお、説明のために時間軸を「秒」単位で表しているが実際には１００ミリ秒単位が適当である。

【0062】

図１４（ｂ）には、１秒から５秒までのロボットアーム１６０の先端の位置Ｐ１～Ｐ５がプロットされている。さらに、図１４（ｂ）には、１秒から４秒までの既知の位置Ｐ１～Ｐ４から予測した５秒目のロボットアーム１６０の先端の予測静止位置Ｐ５’がプロットされている。この予測静止位置Ｐ５’は、位置Ｐ１～Ｐ４の多項式近似曲線ＡＰ（近似式ｙ＝８７．５ｘ^２－７３２．５ｘ＋２１３７．５）から求めた。図１４（ｂ）から、位置Ｐ５の近傍に予測静止位置Ｐ５’があることが分かる。ここでは、４点から予測静止位置を求めたが、少なくとも３点の位置から予測静止位置を求めることができる。

【0063】

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せに様々な変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0064】

１０、２１０ 画像処理装置、 １２ 画像保持部、 １４、２１４ 画像取得部、 １６ 特徴抽出部、 １８ 対象物特定部、 ２０ 一部座標取得部、 ２２ 代表座標推定部、 ６０、８２ ロボットアーム、 ７０、８０ 自律走行搬送ロボット、 １００、２００ ビジョンシステム、 １０２ カメラ、 ２１６ 代表座標取得部、 ２１８ 静止位置予測部、 ２２０ 画像解析範囲設定部、 ２２２ 画像解析部、 ２３０ 撮像範囲、 ２３６ 画像解析範囲。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】