特許 7513715 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-01

(45)【発行日】2024-07-09

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240702BHJP

   G06V 10/70 20220101ALI20240702BHJP

【ＦＩ】

G06T7/00 350B

G06V10/70

【請求項の数】 7

(21)【出願番号】P 2022534602

(86)(22)【出願日】2020-07-09

(86)【国際出願番号】 JP2020026911

(87)【国際公開番号】W WO2022009399

(87)【国際公開日】2022-01-13

【審査請求日】2023-05-16

(73)【特許権者】

【識別番号】000237271

【氏名又は名称】株式会社ＦＵＪＩ

(74)【代理人】

【識別番号】110000017

【氏名又は名称】弁理士法人アイテック国際特許事務所

(72)【発明者】

【氏名】東 拓実

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１８－１１６５８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／７０

(57)【特許請求の範囲】

【請求項1】

形状特徴から属性が判別できない対象物の学習用画像を入力する入力部と、
事前に設定された前記対象物の前記形状特徴と姿勢との対応関係に基づいて、前記学習用画像から前記対象物の前記形状特徴を検出して、前記学習用画像における前記対象物の位置および姿勢を認識する認識部と、
前記認識した対象物に前記属性を示すタグ情報を付与する付与部と、
前記学習用画像から認識した前記対象物の画像を含む認識結果と前記タグ情報とに基づく学習を行うことにより、判別用画像の前記対象物の属性を判別するための判別モデルを生成する学習部と、
を備える画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記学習部は、前記学習用画像から認識した前記対象物の姿勢を所定姿勢に揃えた状態の画像で学習を行い、
前記入力部は、前記対象物の前記判別用画像を入力し、
前記認識部は、前記対応関係に基づいて前記判別用画像から前記対象物の前記形状特徴を検出して、前記判別用画像における前記対象物の位置および姿勢を認識し、
前記判別用画像から認識した前記対象物の姿勢を前記所定姿勢に揃えた状態の画像と前記判別モデルとを用いて、前記判別用画像の前記対象物の属性を判別する判別部を備える
画像処理装置。

【請求項3】

請求項１または２に記載の画像処理装置であって、
前記入力部は、前記学習用画像として、画像内の前記対象物の属性が同一の属性であると判別している画像を入力し、
前記付与部は、前記認識した前記対象物に前記同一の属性を示す前記タグ情報を付与する
画像処理装置。

【請求項4】

請求項１または２に記載の画像処理装置であって、
画像を表示する表示部と、
作業者による指定操作が可能な操作部と、
を備え、
前記入力部は、前記学習用画像として、画像内の前記対象物の属性が判別していない画像を入力し、
前記付与部は、前記表示部に表示された前記学習用画像内の前記対象物に対し作業者による指定操作で指定された属性を取得し、前記認識した前記対象物に前記取得した属性を示すタグ情報を付与する
画像処理装置。

【請求項5】

請求項１ないし４のいずれか１項に記載の画像処理装置であって、
画像を表示する表示部と、
作業者による指定操作が可能な操作部と、
を備え、
前記付与部は、前記対象物の属性の判別に誤りがあったか属性の判別の信頼度が低かった画像内の前記対象物に対し、作業者による指定操作で指定された属性を取得し、該取得した属性を示す前記タグ情報を付与し直す
画像処理装置。

【請求項6】

請求項１ないし５のいずれか１項に記載の画像処理装置であって、
前記対象物は、属性に拘わらず画像に写る外形形状が略同じ形状である
画像処理装置。

【請求項7】

形状特徴から属性が判別できない対象物の学習用画像を入力する入力ステップと、
事前に設定された前記対象物の前記形状特徴と姿勢との対応関係に基づいて、前記学習用画像から前記対象物の前記形状特徴を検出して、前記学習用画像における前記対象物の位置および姿勢を認識する認識ステップと、
前記認識した対象物に前記属性を示すタグ情報を付与する付与ステップと、
前記学習用画像から認識した前記対象物の画像を含む認識結果と前記タグ情報とに基づく学習を行うことにより、判別用画像の前記対象物の属性を判別するための判別モデルを生成する学習ステップと、
を含む画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像処理装置および画像処理方法を開示する。

【背景技術】

【0002】

従来、この種の画像処理装置としては、学習用画像を取得し、機械学習を行ってモデルを生成するものが提案されている（例えば、特許文献１参照）。この画像処理装置は、学習用画像に対して検出対象を含む対象領域と、教師信号を設定すべき検出領域とを設定し、対象領域と検出領域との関連度を算出する。そして、関連度に応じた所定値以上の値を取り得る教師信号を検出領域に対して設定し、教師信号が設定されている領域を学習データとして機械学習を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】ＷＯ２０１８／１６８５１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述したような画像処理装置では、精度のよいモデルを生成するために、できるだけ多くの対象を学習することが求められる。しかしながら、学習の対象が多くなると、上述した領域の設定や関連度の算出などの処理の負担が増える。また、学習に必要な情報を作業者が付与する作業などにも手間が掛かり、作業者の負担も増えてしまう。

【0005】

本開示は、学習によりモデルを生成する際の負担を低減しながら精度のよいモデルを生成することを主目的とする。

【課題を解決するための手段】

【0006】

本開示は、上述の主目的を達成するために以下の手段を採った。

【0007】

本開示の画像処理装置は、
対象物の学習用画像を入力する入力部と、
事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて前記学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識部と、
前記認識した対象物に属性を示すタグ情報を付与する付与部と、
前記学習用画像の認識結果と前記タグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習部と、
を備えることを要旨とする。

【0008】

本開示の画像処理装置は、事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて、学習用画像から対象物およびその姿勢を認識し、対象物に属性を示すタグ情報を付与する。そして、学習用画像の認識結果とタグ情報とに基づく学習を行うことにより、判別モデルを生成する。ここで、対象物の姿勢を認識していない状態で学習を行う場合には、精度のよい判別モデルを生成するために、あらゆる姿勢を網羅した多量の学習が必要となり、処理の負担が大きくなる。これに対して本開示では、対象物の姿勢を認識した状態で学習するため、学習量を少なくしても比較的精度のよい判別モデルを生成することができる。したがって、学習によりモデルを生成する際の負担を低減しながら精度のよいモデルを生成することができる。

【図面の簡単な説明】

【0009】

【図1】画像処理装置１０の構成の概略を示す構成図。

【図2】ワークＷの一例を示す説明図。

【図3】学習処理の一例を示すフローチャート。

【図4】学習用画像ＴＩ（ＴＩ１，ＴＩ２）の一例を示す説明図。

【図5】ワークＷのデータに付与されるタグ情報の一例を示す説明図。

【図6】判別処理の一例を示すフローチャート。

【図7】変形例の学習処理を示すフローチャート。

【図8】変形例の学習用画像ＴＩを含む属性指定画面３２ａの一例を示す説明図。

【図9】属性指定画面３２ａで属性が指定される様子の説明図。

【図10】変形例においてワークデータに付与されるタグ情報を示す説明図。

【発明を実施するための形態】

【0010】

次に、本開示を実施するための形態について図面を参照しながら説明する。

【0011】

図１は画像処理装置１０の構成の概略を示す構成図である。画像処理装置１０は、例えばカメラ４０により撮像されたワークＷの画像を処理する装置として構成されている。カメラ４０は、例えばＣＣＤやＣＭＯＳ等の撮像素子と、外部から入射した光を撮像素子に導く光学系とを備え、ワークＷの画像などを撮像する。画像処理装置１０は、周知のＣＰＵやＲＯＭ、ＲＡＭ、ＨＤＤ、入出力ポート、通信ポートなどを備える。画像処理装置１０は、機能ブロックとして、画像入力部１２と、特徴抽出部１４と、ワーク認識部１６と、タグ付与部１８と、機械学習部２２と、記憶部２４と、属性判別部２６と、表示部３２と、操作部３４と、表示操作制御部３６と、を備える。

【0012】

画像入力部１２は、カメラ４０で撮像されたワークＷの画像を入力する。なお、画像入力部１２は、カメラ４０から画像を入力するものに限られず、ネットワークなどを介して画像を入力してもよい。また、入力する画像は、二次元画像であってもよいし三次元画像であってもよい。特徴抽出部１４は、画像入力部１２により入力された画像内の対象領域に対して抽出処理を行って、ワークＷの形状的な特徴である形状特徴を抽出する。例えば、特徴抽出部１４は、対象領域内の各画素の輝度値から互いに直交する二方向の輝度分布を求め、それらの変化量が、形状変化や材質変化などにより所定量以上となる点を特徴点として形状特徴を抽出する。勿論、特徴抽出部１４は、この方法に限定されることなく、他の方法により形状特徴を抽出してもよい。また、特徴抽出部１４は、ワークＷの形状特徴を抽出する際に、画像内におけるワークＷの向き（姿勢）を示す角度を認識し、所定の基準角度における形状特徴の位置を演算する。そして、特徴抽出部１４は、形状特徴の位置を基準角度に対応付けた対応関係情報２５ａを生成し、記憶部２４に記憶させる。

【0013】

ここで、図２は、ワークＷの一例を示す説明図である。図２Ａは、ワークＷの表面を示し、図２Ｂは、ワークＷの裏面を示す。なお、図２中の上下方向をワークＷの上下とする。ワークＷは、例えばコネクタ部品などの電気部品であり、表面と裏面とが略同じ形状となっている。画像処理装置１０は、ワークＷの属性として例えば表裏の判別処理を行う。ワークＷは、樹脂製のボディＢと、ボディＢの下端面から突出した複数の導電性のピンＰとを備える。ピンＰが突出する下端面は、表面側を短辺とし、裏面側を長辺とする略台形状となっている。ボディＢの下側は、そのような略台形状に形成されており、上側は、略直方体状に形成されている。作業者は、短辺の有無を視認することで表面と裏面とを見分けることができる。しかし、ワークＷを表面側から撮像した画像でも、画像に写るボディＢの下側の最大幅は台形の長辺となるから、画像に写るワークＷの外形形状は、表面と裏面とで略同じとなる。また、ボディＢの色や光の反射具合によっては表面側の短辺の縁が画像に現れにくいから、画像処理装置１０が画像内のワークＷの外形形状から表裏を判別するのは困難となる。なお、例えば多関節型ロボットなどを備えるロボットシステムで行われるピックアンドプレース作業などにおいて、このようなワークＷが作業対象となる。例えば、ロボットシステムでは、供給装置により複数供給されたワークＷの表裏の判別を行ってから、多関節型ロボットにワークＷをピッキングさせて、表面または裏面のうちいずれかの面が上を向くようにワークＷを所定箇所にプレースさせる。画像処理装置１０は、このピックアンドプレース作業中にワークＷの表裏の判別を行うものなどとする。

【0014】

また、本実施形態のワークＷは、例えばボディＢの上側中央に凸状に形成された特徴部Ｆ１や、ボディＢの上側の左右両端に凸状に形成された特徴部Ｆ２などの形状的な特徴が表面と裏面に同様に設けられている。特徴抽出部１４は、上述した抽出処理により、このような特徴部Ｆ１，Ｆ２や上部と下部の境界などの形状特徴を抽出する。また、特徴抽出部１４は、図２に示すように、ピンＰが上下方向に沿って下端面から突出する角度をワークＷの基準角度とし、例えばボディＢの略中央位置を原点とする座標系Ｒｃに基づいて、特徴部Ｆ１，Ｆ２などの形状特徴のサイズや位置を検出する。これにより、ワークＷの基準角度に対する形状特徴のサイズや位置が検出される。

【0015】

ワーク認識部１６は、画像入力部１２により入力された画像に対し、記憶部２４に記憶された対応関係情報２５ａを用いてワークＷを認識する。タグ付与部１８は、ワーク認識部１６により認識された画像内の各ワークＷに対して、ワークＷの属性を示すタグ情報を付与する。本実施形態のタグ付与部１８は、ワークＷの表裏のいずれの面であるかを示すタグ情報を付与する。なお、ワークＷの属性は、この他に、ワークＷのサイズや材質の種類、ワークＷの品質不良の有無などが挙げられる。機械学習部２２は、ワーク認識部１６により画像内のワークＷが認識された認識結果と、タグ付与部１８により付与されたタグ情報とに基づいて、例えばサポートベクターマシンなどの教師あり学習を行う。機械学習部２２は、この学習により、ワークＷの属性を判別するための判別モデル２５ｂを生成し、生成した判別モデル２５ｂを記憶部２４に記憶させる。属性判別部２６は、ワーク認識部１６により画像内のワークＷが認識された認識結果と、記憶部２４に記憶された判別モデル２５ｂとに基づいて、画像内のワークＷの属性を判別する。

【0016】

表示部３２は、例えば液晶ディスプレイ等であり、各種情報や、画像入力部１２により入力された画像などを表示する。操作部３４は、例えばキーボードやマウス等、作業者が入力操作を行うものである。作業者は、操作部３４を操作することで、表示部３２に表示された画像内からワークＷの選択やワークＷに対する属性の指定などが可能である。表示操作制御部３６は、各種情報や画像の表示部３２への表示を制御したり、操作部３４で受け付けた入力操作に基づく操作情報を生成し、必要に応じて各部への出力を制御する。例えば、表示操作制御部３６は、特徴抽出部１４が形状特徴の抽出処理を行う場合、表示中の画像に対して作業者が操作部３４の操作によりワークＷの領域を選択すると、そのワークＷの領域情報を生成して、特徴抽出部１４に出力する。特徴抽出部１４は、その領域情報に基づく領域を上述した対象領域として、形状特徴の抽出処理を行い、ワーク種に対応付けて対応関係情報２５ａを記憶部２４に記憶させる。

【0017】

次に、こうして構成された画像処理装置１０が、学習用画像を用いた機械学習により判別モデル２５ｂを生成する処理と、判別モデル２５ｂを用いてワークＷの表裏を判別する処理とを順に説明する。図３は学習処理の一例を示すフローチャートである。なお、上述した対応関係情報２５ａは、予め設定されて記憶部２４に記憶されているものとする。

【0018】

図３の学習処理では、画像処理装置１０は、まず、裏面のワークＷを含まず、表面のワークＷだけがカメラ４０で撮像された学習用画像ＴＩ１を画像入力部１２により入力する（Ｓ１００）。なお、学習用画像ＴＩ１は、カメラ４０の撮像範囲に、表面が上向き（カメラ４０側）となるように作業者により複数のワークＷを並べた状態で撮像される。図４は、学習用画像ＴＩ（ＴＩ１，ＴＩ２）の一例を示す説明図であり、図４Ａに学習用画像ＴＩ１の一例を示す。画像内の各ワークＷ（Ｗ１～Ｗ１０）は、いずれも表面が上向きであるため上述した台形状の短辺が現れており、様々な角度となっている。

【0019】

画像処理装置１０は、学習用画像ＴＩ１を入力すると、対応関係情報２５ａを用いてワーク認識部１６により学習用画像ＴＩ１内の各ワークＷの位置と角度とを認識し、ワークＷの角度を基準角度に揃える（Ｓ１１０）。例えば、ワーク認識部１６は、対応関係情報２５ａに含まれる形状特徴を有する領域を検出することによりワークＷの位置を認識し、さらに検出した形状特徴の向きと、形状特徴に対応付けられた基準角度とから、画像内のワークＷの角度（向き）を認識する。また、ワーク認識部１６は、認識した角度が基準角度に一致するように各ワークＷを回転させることで、ワークＷを基準角度に揃える。続いて、画像処理装置１０は、属性が表面であることを示すタグ情報をタグ付与部１８により各ワークＷに付与する（Ｓ１２０）。図５は、ワークＷのデータに付与されるタグ情報の一例を示す説明図である。ここでは、学習用画像ＴＩ１内の全てのワークＷの属性が表面であることが予め判別しているから、表面を示すタグ情報が各ワークＷ（Ｗ１～Ｗ１０）の入力データに一律に付与される（図５Ａ参照）。なお、Ｓ１１０でワークＷを基準角度に揃える処理は、属性の学習を開始するまでに行われればよく、タグ情報が付与された後に行われてもよい。

【0020】

次に、画像処理装置１０は、表面のワークＷを含まず、裏面のワークＷだけがカメラ４０で撮像された学習用画像ＴＩ２（図４Ｂ参照）を画像入力部１２により入力する（Ｓ１３０）。なお、学習用画像ＴＩ２は、カメラ４０の撮像範囲に、裏面が上向き（カメラ４０側）となるように作業者により複数のワークＷ（Ｗ１１～Ｗ２０）を並べた状態で撮像される。学習用画像ＴＩ２を入力すると、画像処理装置１０は、Ｓ１１０と同様に、対応関係情報２５ａを用いて学習用画像ＴＩ２内の各ワークＷの位置と角度とを認識し、基準角度となるように各ワークＷを回転させる（Ｓ１４０）。続いて、画像処理装置１０は、属性が裏面であることを示すタグ情報をタグ付与部１８により各ワークＷに付与する（Ｓ１５０）。ここでは、学習用画像ＴＩ２内の全てのワークＷの属性が裏面であることが予め判別しているから、裏面を示すタグ情報が各ワークＷ（Ｗ１１～Ｗ２０）の入力データに一律に付与される（図５Ｂ参照）。

【0021】

こうして学習用画像ＴＩ１，ＴＩ２からワークＷを認識した認識結果とタグ情報とに基づいて、画像処理装置１０は、基準向きに揃えた各ワークＷの属性を機械学習部２２により学習して判別モデル２５ｂを生成する（Ｓ１６０）。そして、画像処理装置１０は、生成した判別モデル２５ｂをワーク種に対応付けて記憶部２４に記憶させて（Ｓ１７０）、学習処理を終了する。ここで、ワークＷの角度（向き）を認識していない状態で学習を行う場合、精度のよい判別モデルを生成するために、あらゆる角度を網羅した多量の学習が必要となり、処理の負担が大きくなる。これに対して本実施形態では、ワークＷの角度を認識し基準角度に揃えた状態で学習を行うから、少ないデータ量で精度のよい判別モデル２５ｂを生成することができる。

【0022】

次に、こうして生成された判別モデル２５ｂを用いた判別処理を説明する。図６は、判別処理の一例を示すフローチャートである。この判別処理では、画像処理装置１０は、まず、ワークＷが撮像された判別用画像を画像入力部１２により入力する（Ｓ２００）。なお、判別用画像は、例えば上述したピックアンドプレース作業などの実行中に、供給されたワークＷをカメラ４０で撮像した画像であり、画像内のワークＷの表裏や向きがバラバラの状態となっている。

【0023】

続いて、画像処理装置１０は、対応関係情報２５ａを用いてワーク認識部１６により判別用画像内の各ワークＷの位置と角度とを認識し、各ワークＷの角度を基準角度に揃える（Ｓ２１０）。この処理は、学習処理のＳ１１０，Ｓ１４０と同様に行われる。そして、画像処理装置１０は、処理対象のワーク種に対応する判別モデル２５ｂを用いて各ワークＷの属性をそれぞれ判別して（Ｓ２２０）、判別処理を終了する。画像処理装置１０は、判別モデル２５ｂを生成する場合と同じ基準角度に揃えた状態でワークＷの属性を判別するから、属性を誤判定するのを防止して精度よく判定することができる。なお、判別したワークＷの属性は、認識したワークＷの位置や角度に対応付けて、ロボットシステムの制御装置などの外部に適宜出力される。

【0024】

ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像入力部１２が画像入力部に相当し、ワーク認識部１６が認識部に相当し、タグ付与部１８が付与部に相当し、機械学習部２２が学習部に相当する。属性判別部２６が判別部に相当する。表示部３２が表示部に相当し、操作部３４が操作部に相当する。なお、本実施形態では、画像処理装置１０の処理を説明することにより本開示の画像処理方法の一例も明らかにしている。

【0025】

以上説明した本実施形態の画像処理装置１０では、ワークＷの形状特徴と角度との対応関係情報２５ａに基づいて、学習用画像ＴＩからワークＷの位置と角度を認識してタグ情報を付与する。そして、認識結果とタグ情報とに基づく学習を行って判別モデル２５ｂを生成する。これにより、学習量（対象データ数）を少なくして、生成する際の負担を低減しながら比較的精度のよい判別モデル２５ｂを生成することができる。

【0026】

また、画像処理装置１０は、ワークＷの向きを基準角度（基準姿勢）に揃えて学習するから、学習量を少なくすることができる。また、判別モデル２５ｂを生成する場合と同じ基準角度に揃えてワークＷの属性を判別するから、属性を誤判定するのを防止して精度よく判定することができる。

【0027】

また、画像処理装置１０は、ワークＷの属性が同一の学習用画像ＴＩ１，ＴＩ２を入力し、各ワークＷに同一の属性を示すタグ情報を付与するから、作業者が各ワークＷの属性を指定する手間を省いて、負担をより低減することができる。

【0028】

また、ワークＷは、属性に拘わらず画像に写る外形形状が略同じである。このため、属性を精度よく判定するために、より多くの学習が必要となりやすいから、学習量を少なくするために本開示を適用する意義が高いものとなる。

【0029】

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0030】

例えば、上述した実施形態では、属性に拘わらず外形形状が略同じワークＷを例示したが、これに限られず、属性によって画像に写る外形形状が異なるワークＷを処理してもよい。また、ワークＷとしてコネクタ部品を例示したが、これに限られず、コネクタ部品以外の電気部品や機械部品などとしてもよい。即ち、外形形状や部品種、用途などに拘わらず如何なる対象物に本開示を適用してもよい。

【0031】

上述した実施形態では、ワークＷの角度を１の基準角度（基準姿勢）に揃えた状態で学習を行うものとしたが、これに限られず、複数の角度のうちいずれかの角度に揃えた状態で学習を行うものとしてもよい。例えば、ワークＷの角度として、実施形態の基準角度に相当する０°の他に、９０°と１８０°と２７０°とを選択可能とし、これらのうちいずれか近い角度を選択してその角度に揃え、揃えた角度に対応付けて学習してもよい。この場合、ワークＷの属性を判別する際には、０°と９０°と１８０°と２７０°のうちいずれかの角度にワークＷを揃え、その角度に対応付けられた判別モデルを用いて判別すればよい。なお、二次元画像に限られず、三次元画像を用いた場合も同様に、ワークＷの姿勢を１の基準姿勢または複数の基準姿勢のうちのいずれかに揃えるものであればよい。

【0032】

上述した実施形態では、学習により判別モデル２５ｂを生成する画像処理装置と、判別モデル２５ｂを用いてワークＷの属性を判別する画像処理装置とを同一の装置としたが、これに限られず、別々の装置としてもよい。また、対応関係情報２５ａを画像処理装置１０以外の装置が生成して記憶部２４に記憶させてもよい。また、対応関係情報２５ａを画像処理装置１０の記憶部２４に記憶するものに限られず、サーバなどの外部記憶装置に記憶しておき、画像処理装置１０は必要に応じてネットワークなどを経由して対応関係情報２５ａにアクセスしてもよい。このように、画像処理装置１０は、少なくとも、画像入力部１２とワーク認識部１６とタグ付与部１８と機械学習部２２とを備えればよく、特徴抽出部１４や属性判別部２６を備えなくてもよい。また、表示部３２と操作部３４と表示操作制御部３６は、対応関係情報２５ａの生成や以下の変形例を行うために必要なものであり、実施形態の学習処理と判別処理の実行には必須ではない。

【0033】

上述した実施形態では、ワークＷの属性が同一の属性であると判別している学習用画像ＴＩを入力したが、これに限られず、ワークＷの属性が判別していない学習用画像ＴＩを入力してもよい。以下、この変形例について説明する。図７は、変形例の学習処理を示すフローチャートである。なお、図７では、実施形態と同じ処理には同じステップ番号を付して説明を省略する。

【0034】

図７の変形例の学習処理では、画像処理装置１０は、表裏が不明な状態でワークＷがカメラ４０により撮像された学習用画像ＴＩを入力する（Ｓ１００ａ）。次に、画像処理装置１０は、対応関係情報２５ａを用いて学習用画像ＴＩ１内の各ワークＷの位置と角度とを認識する（Ｓ１１０ａ）。続いて、画像処理装置１０は、各ワークの属性（表裏）の指定を作業者から受け付けるために、表示部３２の属性指定画面３２ａに、属性の指定が可能に学習用画像ＴＩを表示して（Ｓ１１２）、各ワークＷの属性の指定を受け付ける（Ｓ１１４）。

【0035】

図８は、変形例の学習用画像ＴＩを含む属性指定画面３２ａの一例を示す説明図である。図９は、属性指定画面３２ａで属性が指定される様子の説明図である。図８に示すように、例えば属性指定画面３２ａには、上段に学習用画像ＴＩが表示され、下段に属性を指定するための表ボタンと裏ボタン、指定完了ボタンが表示されている。また、属性指定画面３２ａには、作業者が操作部３４を用いて指定操作が可能なカーソル（矢印で図示）も表示されている。図８，図９に示すように、作業者が操作部３４を用いて表ボタンをカーソルで指定（クリック）してから、学習用画像ＴＩ内のワークＷをカーソルで指定すると、そのワークＷの属性が表面に指定される。図９では、ワークＷ２１，Ｗ２５，Ｗ２８，Ｗ２９の属性が表面に指定された様子を示す。また、残りのワークＷは、図示は省略するが、属性が裏面に指定される。画像処理装置１０は、Ｓ１１０ａの認識処理により、既にワークＷの位置を認識している。また、画像処理装置１０は、ワークＷの位置を中心とする所定範囲を当該ワークＷの指定範囲として設定するものとする。例えば、図９では、ワークＷ２９の指定範囲として、点線で示す円形状の範囲が設定される。作業者は、この指定範囲内にカーソルを移動させてクリックするだけで、ワークＷの属性を指定することができる。このため、作業者は、画像内のワークＷをカーソルで描く矩形状の領域で囲う操作などを行うことなく、容易に属性を指定することができる。また、表示操作制御部３６は、作業者が属性の指定を行うと、ワークＷの位置と属性とを対応付けた情報をタグ付与部１８に出力する。

【0036】

画像処理装置１０は、こうして各ワークＷの属性の指定を受け付けると、ワークＷの角度を基準角度に揃えて（Ｓ１１６）、指定された属性を示すタグ情報を各ワークＷに付与する（Ｓ１５０ａ）。タグ付与部１８は、表示操作制御部３６からの情報に基づいて、各ワークＷにタグ情報を付与する。なお、図１０は、変形例においてワークデータに付与されるタグ情報を示す説明図である。図示するように、ワークＷ２１，Ｗ２５，Ｗ２８，Ｗ２９のタグ情報が表面となり、残りのワークＷのタグ情報が裏面となっている。そして、画像処理装置１０は、Ｓ１６０以降の処理を行って判別モデル２５ｂを生成して、学習処理を終了する。このように、変形例では、属性が不明な学習用画像ＴＩを用いる場合に、作業者がワークＷを囲うなどの手間なく容易に属性を指定することができるから、判別モデル２５ｂを生成する際の負担を低減することができる。

【0037】

この変形例では、ワークＷの属性が判別していない学習用画像ＴＩに対して作業者から属性の指定を受け付けてタグ情報を付与したが、属性が判別していない画像に対するものに限られない。例えば、画像処理装置１０は、ワークＷの属性の判別において、表裏の判別を間違えたなど属性の判別に誤りがあった場合や属性の判別の信頼度が低かった場合などに、判別に誤りがあったワークＷや信頼度が低かった画像などを表示部３２に表示して作業者の操作による属性の指定を受け付ける。そして、画像処理装置１０は、指定された属性を示すタグ情報を、ワークＷに付与し直すものとする。また、画像処理装置１０は、ワークＷに付与し直したタグ情報に基づいて判別モデル２５ｂを更新するものなどとすればよい。これにより、信頼度のより高い判別モデル２５ｂを生成することができる。なお、これらの処理が、実施形態で行われてもよい。

【0038】

ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の画像処理装置において、前記学習部は、前記認識した対象物の姿勢を所定姿勢に揃えた状態で学習を行い、前記入力部は、対象物の判別用画像を入力し、前記認識部は、前記対応関係に基づいて前記判別用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識し、前記認識した対象物の姿勢を前記所定姿勢に揃えた状態で前記判別モデルを用いて対象物の属性を判別する判別部を備えるものとしてもよい。こうすれば、対象物の姿勢を所定姿勢に揃えた状態で学習を行うから、学習量を少なくすることが可能となる。また、判別モデルを生成する場合と同じ所定姿勢に揃えた状態で対象物の属性を判別するから、属性を誤判定するのを防止して精度よく判定することができる。

【0039】

本開示の画像処理装置において、前記入力部は、前記学習用画像として、画像内の対象物の属性が同一の属性であると判別している画像を入力し、前記付与部は、前記認識した対象物に前記同一の属性を示すタグ情報を付与するものとしてもよい。こうすれば、作業者が、学習用画像内の対象物に属性を指定する手間を省くことができるから、モデルを生成する際の負担をより低減することができる。

【0040】

本開示の画像処理装置において、画像を表示する表示部と、作業者による指定操作が可能な操作部と、を備え、前記入力部は、前記学習用画像として、画像内の対象物の属性が判別していない画像を入力し、前記付与部は、前記表示部に表示された前記学習用画像内の対象物に対し作業者による指定操作で指定された属性を取得し、前記認識した対象物に前記取得した属性を示すタグ情報を付与するものとしてもよい。ここで、学習用画像内の対象物およびその姿勢を認識する際に、対象物の位置も認識可能であるから、作業者が対象物の周囲を囲うような操作を行わなくても、対象物を選択することが可能となる。このため、作業者が属性を指定する際に対象物の選択を容易に行って負担を低減することができる。

【0041】

本開示の画像処理装置において、画像を表示する表示部と、作業者による指定操作が可能な操作部と、を備え、前記付与部は、前記対象物の属性の判別に誤りがあったか属性の判別の信頼度が低かった画像内の対象物に対し、作業者による指定操作で指定された属性を取得し、該取得した属性を示すタグ情報を付与し直すものとしてもよい。こうすれば、信頼度のより高い判別モデルを生成することができる。

【0042】

本開示の画像処理装置において、前記対象物は、属性に拘わらず画像に写る外形形状が略同じ形状であるものとしてもよい。このような対象物は、属性を精度よく判定するために、より多くの学習が必要となりやすいから、学習の対象量を少なくするために本開示を適用する意義が高いものとなる。

【0043】

本開示の画像処理方法は、対象物の学習用画像を入力する入力ステップと、事前に設定された対象物の形状特徴と姿勢との対応関係に基づいて前記学習用画像から対象物の形状特徴を検出して対象物およびその姿勢を認識する認識ステップと、前記認識した対象物に属性を示すタグ情報を付与する付与ステップと、前記学習用画像の認識結果と前記タグ情報とに基づく学習を行うことにより、対象物の属性を判別するための判別モデルを生成する学習ステップと、を含むことを要旨とする。本開示の画像処理方法は、本開示の画像処理装置と同様に、モデルを生成する際の負担を低減しながら精度のよいモデルを生成することができる。この画像処理方法において、上述した画像処理装置の態様を採用してもよいし、上述した画像処理装置の機能を実現するステップを含んでもよい。

【産業上の利用可能性】

【0044】

本開示は、画像処理装置の製造産業などに利用可能である。

【符号の説明】

【0045】

１０ 画像処理装置、１２ 画像入力部、１４ 特徴抽出部、１６ ワーク認識部、１８ タグ付与部、２２ 機械学習部、２４ 記憶部、２５ａ 対応関係情報、２５ｂ 判別モデル、２６ 属性判別部、３２ 表示部、３２ａ 属性指定画面、３４ 操作部、３６ 表示操作制御部、４０ カメラ、Ｂ ボディ、Ｆ１，Ｆ２ 形状特徴、Ｐ ピン、Ｒｃ 座標系、ＴＩ，ＴＩ１，ＴＩ２ 学習用画像、Ｗ，Ｗ１～Ｗ３０ ワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】