特許 7186128 物品認識システムおよび物品認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-30

(45)【発行日】2022-12-08

(54)【発明の名称】物品認識システムおよび物品認識方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221201BHJP

【ＦＩ】

G06T7/00 610Z

【請求項の数】 11

(21)【出願番号】P 2019082646

(22)【出願日】2019-04-24

(65)【公開番号】P2020181290

(43)【公開日】2020-11-05

【審査請求日】2021-09-30

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】知原 信博

(72)【発明者】

【氏名】西垣戸 貴臣

(72)【発明者】

【氏名】木村 宣隆

(72)【発明者】

【氏名】矢野 泰樹

(72)【発明者】

【氏名】紅山 史子

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２００４－３２６６９３（ＪＰ，Ａ）

【文献】特開２００６－２９３６００（ＪＰ，Ａ）

【文献】特開２００１－２２９３４１（ＪＰ，Ａ）

【文献】特開２０１１－２０５２８２（ＪＰ，Ａ）

【文献】特開２０１６－０３９３９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

撮影した画像を入力する入力部と、
ユーザに情報を提示する出力部と、
認識対象の特徴を定義したマスタデータを記憶する記憶部と、
前記画像から抽出した情報と前記マスタデータに基づいて、前記画像の中の認識対象を検出する認識部と、
前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示する認識評価部と、
を備え、
前記認識部は、前記画像の中の認識対象の特徴点を抽出し、
前記認識評価部は、抽出した前記特徴点の数あるいは抽出した前記特徴点の数の前記マスタデータの特徴点の数に対する割合が第１の警告閾値を下回った場合に、前記アラートとして第１の警告情報を提示し、
前記認識評価部は、抽出した前記特徴点の数あるいは抽出した前記特徴点の数の前記マスタデータの特徴点の数に対する割合が前記第１の警告閾値より低い第１の停止閾値を下回った場合に、システムに所定の動作を指示する、
物品認識システム。

【請求項2】

撮影した画像を入力する入力部と、
ユーザに情報を提示する出力部と、
認識対象の特徴を定義したマスタデータを記憶する記憶部と、
前記画像から抽出した情報と前記マスタデータに基づいて、前記画像の中の認識対象を検出する認識部と、
前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示する認識評価部と、
を備え、
前記認識部は、前記マスタデータの特徴点の特徴量と前記画像の中の認識対象の特徴点の特徴量を照合して対応付け、
前記認識評価部は、前記マスタデータの特徴点と前記画像の中の認識対象の特徴点が対応付けられる数あるいは割合が第２の警告閾値を下回った場合に、前記アラートとして第２の警告情報を提示し、
前記認識評価部は、前記マスタデータの特徴点と前記画像の中の認識対象の特徴点が対応付けられる数あるいは割合が前記第２の警告閾値より低い第２の停止閾値を下回った場合に、システムに所定の動作を指示する、
物品認識システム。

【請求項3】

撮影した画像を入力する入力部と、
ユーザに情報を提示する出力部と、
認識対象の特徴を定義したマスタデータを記憶する記憶部と、
前記画像から抽出した情報と前記マスタデータに基づいて、前記画像の中の認識対象を検出する認識部と、
前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示する認識評価部と、
を備え、
前記認識部は、前記マスタデータの特徴点の特徴量と前記画像の中の認識対象の特徴点の特徴量を照合して対応付け、
前記認識評価部は、前記マスタデータの特徴点と前記画像の中の認識対象の特徴点が対応付けられる数あるいは割合が第２の警告閾値を下回った場合に、前記アラートとして第２の警告情報を提示し、
前記認識部は、前記画像の中の認識対象の姿勢を推定する処理を行い、対応付けられる前記マスタデータの特徴点と前記画像の中の認識対象の特徴点の位置が所定以上離れた特徴点を排除し、排除後に残った特徴点を一致点とし、
前記認識評価部は、前記一致点の数あるいは前記一致点の前記マスタデータの特徴点の数に対する割合が第３の警告閾値を下回った場合に、前記アラートとして第３の警告情報を提示し、
前記認識評価部は、前記一致点の数あるいは前記一致点の前記マスタデータの特徴点の数に対する割合が前記第３の警告閾値より低い第３の停止閾値を下回った場合に、システムに所定の動作を指示する、
物品認識システム。

【請求項4】

撮影した画像を入力する入力部と、
ユーザに情報を提示する出力部と、
認識対象の特徴を定義したマスタデータを記憶する記憶部と、
前記画像から抽出した情報と前記マスタデータに基づいて、前記画像の中の認識対象を検出する認識部と、
前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示する認識評価部と、
を備え、さらに、
パラメータ調整部を備え、
前記認識評価部は、前記認識部の認識内容を評価し、評価結果に基づいて前記出力部にアラートを提示するとともに前記パラメータ調整部にパラメータ調整を指示し、
前記パラメータ調整部は、
前記画像の撮影のための撮影パラメータ、撮影した画像を処理する画像処理パラメータ、および前記認識部の処理に用いるパラメータの少なくとも一つを変化させ、
変化させたパラメータを使用して、前記認識部に前記画像の中の認識対象の検出を行わせて、前記認識評価部に前記認識部の認識内容を評価させる試行シーケンスを行い、
前記認識評価部の認識内容の評価結果に基づいて、前記出力部に変更すべきパラメータの候補を提示する、
物品認識システム。

【請求項5】

前記認識評価部の認識内容の評価結果に基づいて、前記出力部に変更すべきパラメータの候補を提示する際に、前記認識評価部の認識内容の評価結果を提示する、
請求項４記載の物品認識システム。

【請求項6】

前記認識評価部の認識内容の評価結果に基づいて、前記出力部に変更すべきパラメータの候補を提示する際に、ユーザがパラメータの候補の提示条件あるいは提示方法を変更可能である、
請求項５記載の物品認識システム。

【請求項7】

機械系制御部を備え、
前記機械系制御部は、前記認識部が前記画像の中の認識対象を検出した後、当該認識対象を機械的に操作する機械系を制御するものであり、
前記試行シーケンスを前記機械系の制御と並行して行う、
請求項４記載の物品認識システム。

【請求項8】

前記出力部に前記試行シーケンスに必要な時間を提示し、ユーザが前記試行シーケンスで変化させるパラメータの数および内容の少なくとも一つを変更可能である、
請求項７記載の物品認識システム。

【請求項9】

認識対象の特徴およびその配置をマスタデータとして記憶しておき、画像中の認識対象を検出する物品認識方法であって、
物品を撮影した画像を入力する第１のステップと、
前記画像から特徴を抽出し、前記マスタデータと特徴およびその配置が所定以上の照合度で対応付けられる物品を画像の中から検出する第２のステップと、
前記第２のステップにおいて、前記照合度が停止閾値を下回ったかどうかを判定する第３のステップと、
前記第２のステップにおいて、前記照合度が前記停止閾値より高いアラート閾値を下回ったかを判定する第４のステップと、
前記第４のステップにおいて、アラート閾値を下回ったと判定された場合、前記第２のステップで用いるパラメータを変更して前記第２のステップを試行する第５のステップと、
前記第５のステップによる、前記第２のステップの試行結果の照合度を評価する第６のステップと、
前記第６のステップによる評価の結果をユーザに提示する第７のステップと、
を備える物品認識方法。

【請求項10】

前記第２のステップでは、
前記画像の中の特徴点を抽出し、前記マスタデータの特徴点の特徴量と前記画像の中の認識対象の特徴点の特徴量を照合して対応付け、前記画像の中の認識対象の姿勢を推定する処理を行い、対応付けられる前記マスタデータの特徴点と前記画像の中の認識対象の特徴点の位置が所定以上離れた特徴点を排除し、排除後に残った特徴点に基づいて前記照合度を計算する、
請求項９記載の物品認識方法。

【請求項11】

前記第３のステップにおいて、停止閾値を下回ったと判定されない限り、前記第１乃至第４のステップが継続して行われ、前記第１乃至第４のステップのバックグラウンドで、前記第５乃至第７のステップが行われる、
請求項９記載の物品認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像中の物品を認識する技術に係わる。

【背景技術】

【0002】

物品のピッキング作業の自動化を実現するため、撮影した画像中の対象物品を認識する技術が開発されている。このような技術は、例えば物流の現場において、物品のロボットによる仕分けを行なう際に有用であり、認識精度の向上が求められている。

【0003】

撮影した画像中の物品を認識しようとする場合、周囲の環境の変化により、運用中に明るさの条件などが変化することが想定される。周囲環境の変化としては、季節の変化、周囲の設備の配置の変更、照明の変化など種々のものが考えられる。

【0004】

周囲環境の変化により認識パラメータの最適値が変化し、その結果として認識の失敗が発生すると、不適切な作業が行なわれたり作業が停止したりする等の問題が発生する。認識パラメータの調整については、特許文献１や特許文献２が知られている。

【0005】

特許文献１が開示する構成は、早い段階で安定して認識モデルの局所最適状態に到達させるため、モデルの最適なパラメータ調整量を算出する最適パラメータ調整量算出手段と、最適パラメータ調整量算出手段によって算出された最適なパラメータ調整量によりモデルのパラメータを調整する調整手段とを有している。

【0006】

特許文献２が開示する技術では、多くの局所特徴量を安定的に生成するため、パラメータ調整部は、学習画像を変換するための第１～第ｎのパラメータ値を決定する。画像変換部は、第１～第ｎのパラメータ値を用いて学習画像を変換することによって、第１～第ｎの変換画像を生成する。局所特徴量抽出部は、第１～第ｎの各変換画像における特徴領域を特定し、特徴領域から局所特徴量を抽出する。クラスタ生成部は、局所特徴量をクラスタリングすることにより、認識用データとして利用可能なクラスタを生成する。

【先行技術文献】

【特許文献】

【0007】

【文献】特開2001－272994号公報

【文献】特開2013－238953号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１が開示する技術では、認識のパラメータは完全自動で算出している。しかし実際の現場では、周囲環境の変化として無数の要因が考えられる。よって、周囲環境の変化に追従して、完全自動で最適なパラメータを求めることは困難である。

【0009】

特許文献２が開示する技術では、学習段階で画像の変動要因をパラメータとして列挙できないと成立しない。実際には環境変動要因は無数にあり、事前に全て網羅することは困難である。

【0010】

本発明の課題は、画像中の物品を認識する際に、作業環境の変化による適切な認識パラメータの変動に対して、作業現場で対応可能な技術を提供することにある。

【課題を解決するための手段】

【0011】

本発明の好ましい一側面は、撮影した画像を入力する入力部と、ユーザに情報を提示する出力部と、認識対象の特徴を定義したマスタデータを記憶する記憶部と、画像から抽出した情報とマスタデータに基づいて、画像の中の認識対象を検出する認識部と、認識部の認識内容を評価し、評価結果に基づいて出力部にアラートを提示する認識評価部と、を備える物品認識システムである。

【0012】

認識内容の評価対象の例としては、画像の中の抽出された特徴点の数、マスタデータの特徴点と画像の中の特徴点のマッチング数、照合度等がある。照合度は、例えば画像の中の認識対象の姿勢を推定する処理を行い、対応付けられるマスタデータの特徴点と画像の中の特徴点の位置が所定以上離れた特徴点を排除し、排除後に残った特徴点である一致点の数に基づいて計算する。

【0013】

また、より具体的な例として、アラートを提示するかどうかの判断は、評価対象と予め定めた閾値との比較で行うことができる。アラートを提示するかどうかの判断に用いる閾値は、システムを停止するかどうかの判断に用いる閾値よりも高い閾値を用いる。

【0014】

また、他の具体的な例として、パラメータ調整部をさらに備え、認識評価部は、認識部の認識内容を評価し、評価結果に基づいて出力部にアラートを提示するとともにパラメータ調整部にパラメータ調整を指示する。パラメータ調整部は、画像の撮影のための撮影パラメータ、撮影した画像を処理する画像処理パラメータ、および認識部の処理に用いるパラメータの少なくとも一つを変化させ、変化させたパラメータを使用して、認識部に画像の中の認識対象の検出を行わせて、認識評価部に認識部の認識内容を評価させる試行シーケンスを行う。そして、認識評価部の認識内容の評価結果に基づいて、出力部に変更すべきパラメータの候補を提示する。

【0015】

本発明の好ましい他の一側面は、認識対象の特徴およびその配置をマスタデータとして記憶しておき、画像中の認識対象を検出する物品認識方法である。この方法では、物品を撮影した画像を入力する第１のステップと、画像から特徴を抽出し、マスタデータと特徴およびその配置が所定以上の照合度で対応付けられる物品を画像の中から検出する第２のステップと、第２のステップにおいて、照合度が停止閾値を下回ったかどうかを判定する第３のステップと、第２のステップにおいて、照合度が停止閾値より高いアラート閾値を下回ったかを判定する第４のステップと、第４のステップにおいて、アラート閾値を下回ったと判定された場合、第２のステップで用いるパラメータを変更して第２のステップを試行する第５のステップと、第５のステップによる、第２のステップの試行結果の照合度を評価する第６のステップと、第６のステップによる評価の結果をユーザに提示する第７のステップと、を備える。

【0016】

具体的な実施例では、第３のステップにおいて、停止閾値を下回ったと判定されない限り、第１乃至第４のステップが継続して行われ、第１乃至第４のステップのバックグラウンドで、第５乃至第７のステップが行われる。

【発明の効果】

【0017】

画像中の物品を認識する際に、作業環境の変化による適切な認識パラメータ変動に対して、作業現場で対応可能な技術を提供することができる。上記した以外の具体的な課題、構成、及び効果は、以下の実施形態の説明により明らかにされるであろう。

【図面の簡単な説明】

【0018】

【図1】実施例の物品認識システムの構成例を示すブロック図。

【図2】実施例の物品認識システムの認識処理を示すフローチャート。

【図3】パラメータ調整部が実行する、パラメータの調整処理を行うフローチャート。

【図4】試行シーケンスの具体例を示すフローチャート。

【図5】試行シーケンスの概念を説明する模式図。

【図6】端末の表示画面に表示される情報の例を示す模式図。

【図7】物品認識システムの初期設定における閾値設定画面の例を示す模式図。

【図8】物品認識システムの初期設定における試行シーケンス設定画面の例を示す模式図。

【発明を実施するための形態】

【0019】

実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

【0020】

以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。

【0021】

同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0022】

本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

【0023】

図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。

【0024】

本明細書で引用した刊行物、特許および特許出願は、そのまま本明細書の説明の一部を構成する。

【0025】

本明細書において単数形で表される構成要素は、特段文脈で明らかに示されない限り、複数形を含むものとする。

【0026】

発明者らの検討によると、作業環境の変化により変化する認識パラメータの最適値に対応する場合、運用現場でしか判断できない要素を含むため、運用段階での動的な変更が必要である。そのための具体的な構成としては、ユーザに警告を通知し、ユーザに運用現場でパラメータを選択する機会を与えることが望ましいと考えた。

【0027】

実施例で説明される物品認識技術の一例では、マスタと撮影画像との照合度やマッチング数を計算し、これらが閾値を下回ったときに、ユーザに対してアラートを通知し、認識パラメータの再設定を促す。上記の閾値は、認識が失敗に至らない値で設定することで、システム停止に至る前の調整を可能とする。

【実施例1】

【0028】

＜１．システム構成＞
図１は、実施例の物品認識システムの構成例を示すブロック図である。物品認識システムは、一般的なサーバ等で構成される情報処理装置１００と、物品を撮影するカメラ１５０およびユーザが操作する端末１６０を備える。

【0029】

情報処理装置１００は、メモリ１１０、処理装置（ＣＰＵ）１２０、記憶装置１３０、および入出力インタフェース１４０を備える。情報処理装置１００は、一般的なサーバが備える他の構成を備えていてもよい。メモリ１１０は一般的な半導体メモリで、記憶装置１３０は磁気ディスク装置等で構成することができる。なお、情報処理装置１００の各部分は、図示されないバスによって接続され、情報の送受信が可能である。

【0030】

本実施例では計算や制御等の機能は、メモリ１１０に格納されたソフトウェアが処理装置１２０によって実行されることで、定められた処理を他のハードウェアと協働して実現される。情報処理装置１００が実行するソフトウェア、その機能、あるいはその機能を実現する手段を、「～部」、「～モジュール」等と呼ぶ場合がある。

【0031】

メモリ１１０には、物品を認識するソフトウェアである認識部１１１、認識結果を評価するソフトウェアである認識評価部１１２、認識に関係するパラメータを調整するソフトウェアであるパラメータ調整部１１３を含む。

【0032】

認識対象となる物品（図示せず）は、ビデオカメラ等のカメラ１５０によって撮影され、撮影された画像は入出力インタフェース１４０を介して、認識部１１１に入力される。入出力インタフェース１４０は、入力部および出力部として独立に構成してもよい。

【0033】

認識部１１１では、認識のためのアルゴリズムに従って、撮影された画像中の物品を認識する。その際に、記憶装置１３０に記憶されるマスタデータ１３１が、メモリ１１０に読みだされて利用される。

【0034】

認識のためのアルゴリズムは、公知の技術が使用可能である。一般には、事前に対象物品の画像から、特徴およびその配置をマスタデータ１３１として記憶しておく。具体例としては特徴点の配置および特徴点に対応する特徴量である。撮影された画像から特徴点を抽出し、特徴点に対する特徴量を算出し、マスタデータ１３１の特徴点および特徴量とマッチングを行う。マッチングの結果に基づいて、画像中の物品を認識する。

【0035】

ここで、作業環境が変化すると撮影される画像の状態が変化し、適切な認識処理が困難になる場合がある。そのような場合、認識処理のためのパラメータを適切な値に変更する必要がある。本実施例では最適なバラメータを、作業現場で設定可能な技術を提供する。

【0036】

以上の構成は、単体のサーバで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置等の任意の部分が、ネットワークで接続された他のサーバで構成されてもよい。

【0037】

本実施例中、ソフトウェアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアでも実現できる。そのような態様も本願発明の範囲に含まれる。

【0038】

上記の認識処理で認識された物品は、例えばピッキング処理により機械的な操作を受ける。本システムでは、物品の機械的な操作のために機械系制御部１１４を備える。機械系制御部は、入出力インタフェース１４０を介して機械系１７０の動作を制御する。機械系１７０の例としては、ロボットアームや各種工作機械等がある。なお、情報処理装置１００とカメラ１５０、端末１６０、機械系１７０の間の接続は、有線接続および無線接続のいずれでも可能である。

【0039】

＜２．処理フロー＞
図２は、実施例の物品認識システムの認識処理を示すフローチャートである。本実施例では、物品の認識を行い、さらに認識した物品を機械的にピッキングする例を示している。

【0040】

まず、カメラ１５０は、対象の物品の存在が想定される領域の撮影処理Ｓ２０１を行う。撮影された画像は、認識部１１１に送られる。カメラ１５０は、例えば固定された所定の範囲を撮影するものでもよいし、ロボットアームの先端に配置されてロボットアームの移動に伴って視野が変化するものでもよい。

【0041】

認識部１１１では、撮影された画像から特徴点を抽出する検出と、特徴点に対応する領域を表現する記述を行う。これらの処理自体は公知である。特徴点の検出は例えば、微分によりエッジとなる点を抽出する方法、Harris corner Detection等の方法を用いて角を抽出する方法、同一色のエリアを抽出し、そのエリアの中心を特徴点の位置にする方法等があるが、特に限定されるものではない。

【0042】

特徴量を表現する方法についても、ＳＩＦＴ(Scale-Invariant Feature Transform)やＨｏＧ(Histograms of Oriented Gradients)等の局所画像特徴量や、ＳＨＯＴ（Signature of Histograms of Orientations）などの三次元特徴量を抽出する技術が知られている。他にも公知の特徴量があり、本実施例では上記に限定するものではない。

【0043】

例えば、ＳＩＦＴの特徴量抽出では、ＤｏＧ（Difference of Gaussian）処理により特徴点のスケールと位置を抽出し、スケール内の勾配情報からオリエンテーションを求め、オリエンテーション方向に空間を回転させて特徴量を記述する。そして、あらかじめ記憶しておいた、対象物品の特徴点および特徴量とマッチングを行って、物品の認識を行う。

【0044】

本実施例では、まず認識部１１１において特徴点を抽出する特徴点抽出処理Ｓ２０２を行い、認識評価部１１２では画像から十分な特徴点が検出されたかどうかを判定する。

【0045】

特徴点数の判定は２段階となっており、特徴点数の判定処理Ｓ２０３では、特徴点数が閾値Ｓ１を下回ったかどうかを判定する。特徴点数が閾値Ｓ１を下回った場合には、システムを停止する（Ｓ２０４）。ただし、閾値Ｓ１は直ちに認識が不可能になるレベルではなく、所定の余裕をもって定めることが望ましい。

【0046】

特徴点数が閾値Ｓ１以上の場合、特徴点数が閾値Ａ１を下回ったかどうかを判定する（Ｓ２０５）。閾値Ａ１は閾値Ｓ１より大きく設定されており、現状では適切な認識はできるが、それ以上特徴点数が少なくなると、システムを停止する必要があることを判定する。特徴点数が閾値Ａ１を下回った場合には、パラメータ調整Ｓ２０６を行う。パラメータ調整については、後に詳しく説明する。

【0047】

十分な数の特徴点が抽出された場合、認識部１１１は各特徴点について特徴量を算出する（Ｓ２０７）。その後、マスタデータ１３１の特徴量とマッチングＳ２０８を行い、マッチする特徴量同士を対応付ける。

【0048】

認識評価部１１２はマッチングの結果について、十分なマッチングがされたかどうかを判定する。マッチング点数の判定は２段階となっており、マッチング点数の判定処理Ｓ２０９では、マッチング点数が閾値Ｓ２を下回ったかどうかを判定する。マッチング点数が閾値Ｓ２を下回った場合には、システムを停止する（Ｓ２０４）。ただし、閾値Ｓ２は直ちに認識が不可能になるレベルではなく、所定の余裕をもって定めることが望ましい。

【0049】

マッチング点数が閾値Ｓ２以上の場合、マッチング点数が閾値Ａ２を下回ったかどうかを判定する（Ｓ２１０）。閾値Ａ２は閾値Ｓ２より大きく設定されており、現状では適切な認識はできるが、それ以上マッチング点数が少なくなると、システムを停止する必要があることを判定する。マッチング点数が閾値Ａ２を下回った場合には、パラメータ調整Ｓ２０６を行う。パラメータ調整については、後に詳しく説明する。

【0050】

十分な数のマッチング点が抽出された場合、認識部１１１は画像中の物品の三次元姿勢を推定する処理を行い、マスタデータ１３１の特徴点および特徴量とマッチングを行う（Ｓ２１１）。ここでは、画像中の物品とマスタの特徴量同士の位置が一致するように両者の姿勢を合わせる。そして、ＲＡＮＳＡＣ(Random Sample Consensus)アルゴリズム等を用いて、位置が所定以上離れた特徴点と特徴量は排除する。排除後に残った特徴の総数を一致点とする。なお、本明細書では一致点に基づいて算出される数値を照合度と呼ぶことがある。

【0051】

マッチングの結果について、認識評価部１１２は十分な一致点数が得られたかどうかを判定する。一致点数の判定は２段階となっており、一致点数の判定処理（Ｓ２１２）では、一致点数が閾値Ｓ３を下回ったかどうかを判定する。

【0052】

一致点数が閾値Ｓ３を下回った場合には、システムを停止する（Ｓ２０４）。ただし、閾値Ｓ３は直ちに認識が不可能になるレベルではなく、所定の余裕をもって定めることが望ましい。

【0053】

一致点数が閾値Ｓ３以上の場合、一致点数が閾値Ａ３を下回ったかどうかを判定する（Ｓ２１３）。閾値Ａ３は閾値Ｓ３より大きく設定されており、それ以上一致点数が少なくなると、システムを停止する必要があることを判定する。一致点数が閾値Ａ３を下回った場合には、パラメータ調整Ｓ２０６を行う。パラメータ調整については、後に詳しく説明する。

【0054】

認識が正常に終了すると、システムの機械系制御部１１４は、機械系例えばロボットアームに物品のピッキングを指示する（Ｓ２１４）。１回のピッキング動作が終了すると、システムは次の撮影処理Ｓ２０１以下を繰り返し、次のピッキングを行う。

【0055】

以上で説明したフローでは、認識評価部１１２がチェックする箇所を３か所設けている。（１）抽出された特徴点の数が十分かどうか（Ｓ２０３およびＳ２０５）、（２）特徴量のマッチング数が十分かどうか（Ｓ２０９およびＳ２１０）、（３）画像の物品とマスタ物品の姿勢を合わせてずれている特徴量を削除した残りの数（照合度）が十分かどうか（Ｓ２１３およびＳ２１４）である。ただし、本実施例の変形例として、上記（１）～（３）の１つあるいは２つを省略して実施してもよい。また、閾値としては、絶対数を表す閾値でもよいし、相対的な値、例えば基準となる数に対する割合を表す閾値でもよい。

【0056】

＜３．パラメータ調整＞
パラメータ調整は、パラメータ調整部１１３が実行する。
＜３－１．調整対象パラメータ＞
本実施例で調整可能なパラメータとしては、以下のものが考えられる。もっとも、これらの全てを調整する必要はない。また、これら以外のパラメータを含めることも可能である。後に図８で説明するように、オペレータが端末１６０からあらかじめ調整するパラメータを選択できるようにしてもよい。

【0057】

撮影処理Ｓ２０１におけるパラメータとしては、カメラのシャッター速度、露光時間、解像度、フレームレートなどがある。また、撮影処理Ｓ２０１後の画像処理、あるいは特徴点抽出処理Ｓ２０２の前処理としての画像処理のパラメータとして、画像圧縮率、明度補正、色補正、コントラスト補正、さらに、各種フィルタ（エッジ強調、スムージング等）のパラメータがある。

【0058】

特徴点抽出処理Ｓ２０２で用いられるパラメータとしては、特徴点抽出アルゴリズムのパラメータがある。

【0059】

特徴量抽出Ｓ２０７およびマッチングＳ２０８に関連するパラメータとして、特徴量計算のパラメータ、マッチング処理のパラメータ、複数特徴量を同時に使用する際の、各特徴量の重みパラメータがある。

【0060】

三次元姿勢推定Ｓ２１１に関連するパラメータとして、位置合わせのアルゴリズムのパラメータ、ＲＡＮＳＡＣアルゴリズムのパラメータ（たとえば、特徴がどれだけずれたら排除するかの許容誤差閾値）がある。

【0061】

＜３－２．パラメータ調整フロー＞
図３はパラメータ調整部１１３が実行する、パラメータの調整処理を行うフローを示す図である。図２の判定Ｓ２０５、Ｓ２１０、Ｓ２１３のいずれかでＹＥＳに分岐した場合、パラメータ調整Ｓ２０６が開始される。なお、この分岐を以下「アラート」ということがある。

【0062】

アラートが発生した場合には、リアルタイムで端末１６０にアラートの表示を行うとともに、オペレータ（作業員）を呼び出す処理を行う。オペレータを呼び出す方法は特に限定しないが、現場における音や画像による警報、オペレータが携帯する携帯端末への通知等の方法がある。呼び出しを受けたオペレータは、確認と処理のため端末１６０の場所へ向かう。物品認識システムはこれと同時並行して、パラメータ調整Ｓ２０６のフローを実行する。なお、アラートが発生しても、システム停止Ｓ２０４の状態になっていない限り、物品認識システムは通常の処理を継続している。

【0063】

パラメータ調整部１１３は、アラートを受けるとパラメータを所定のパターンで変更して、物品の撮影や認識を行い、認識の評価結果を記録する試行シーケンスＳ３０１を行う。

【0064】

一連の試行シーケンスが終了すると、その評価結果は端末１６０に提示され、オペレータの応答を待つ（Ｓ３０２）。

【0065】

オペレータは、端末１６０に提示された評価結果を確認し、端末１６０を操作して必要に応じてパラメータを変更する（Ｓ３０３）。カメラ１５０や認識部１１１のパラメータ変更後、当該パラメータによって、物品認識システムは処理を継続する。

【0066】

＜３－３．試行シーケンス＞
図４は、試行シーケンスＳ３０１の具体例を示すフロー図である。試行シーケンスでは、パラメータを変更して認識を行い、その結果を評価する。認識と認識評価の処理は、基本的に図２の処理と同様であり、同様の処理については同じ符号を付している。

【0067】

ただし、試行シーケンスＳ３０１では、特徴点抽出処理Ｓ２０２後に、抽出した特徴点の数を記録する処理Ｓ４０２を行う。また、マッチングＳ２０８後に、マッチングの点数を記録する処理Ｓ４０３を行う。また、三次元姿勢推定Ｓ２１１後に、一致点数記録処理Ｓ４０４を行う。記録したデータは、対応するパラメータとともにメモリ１１０か記憶装置１３０に記録され、後に端末１６０に表示される。

【0068】

試行パラメータ設定Ｓ４０１では、試行する認識処理のために、パラメータをあらかじめ定めた方法により設定する。パラメータが複数ある場合には、それぞれのパラメータを変えて複数の組み合わせを試行する。パラメータの設定方法については、あらかじめオペレータが端末１６０で設定することができる。後に図８で説明する。

【0069】

設定したパラメータを全て試行したかどうかを判定し（Ｓ４０５）、すべて実行済みであれば、試行シーケンスＳ３０１を終了する。なお、図４では処理ループは撮影処理Ｓ２０１に戻っているが、撮影処理のパラメータを変更しない場合には、現状の画像を用いて、特徴点抽出処理Ｓ２０２以降を繰り返せばよい。

【0070】

図５は、試行シーケンスＳ３０１の概念を説明する模式図である。図５は横軸に時間を示しており、図２に対応して、通常の認識処理である撮影処理Ｓ２０１、認識Ｓ２０２、Ｓ２０３、Ｓ２０５、Ｓ２０７～Ｓ２１３、およびピッキングＳ２１４が順次実行される。認識の途中で、パラメータ調整Ｓ２０６への分岐（アラート）があった場合には、試行シーケンスＳ３０１が開始される。

【0071】

図５に示すように、試行シーケンスＳ３０１は、通常の認識処理のバックグラウンドで実行することができる。撮影、認識の処理時間に比べて、機械的操作であるピッキング処理は１００～１０００倍の時間を要する。そのため、図５に示すように、ピッキング処理Ｓ２１４の時間を利用して、ｎ通りの試行を行うことが可能である。

【0072】

＜３－４．試行結果提示およびパラメータ選択＞
図３に戻り、試行シーケンスＳ３０１が終わると、試行結果提示処理Ｓ３０２およびパラメータ変更処理Ｓ３０３が行われる。

【0073】

図６は試行結果提示処理Ｓ３０２の結果、端末１６０の表示画面（モニタ画面）に表示される情報の例を示す図である。パラメータ調整部１１３は、試行シーケンスＳ３０１終了後に、特徴点数記録Ｓ４０２、マッチング点数記録Ｓ４０３、一致点数記録Ｓ４０４で記録されたデータに基づいて、端末１６０に結果を表示する。

【0074】

図６の領域６０１には、図２の３つの判定処理である、抽出された特徴点の数（Ｓ２０５）、特徴量のマッチング数（Ｓ２１０）、ずれている特徴量を削除した残りの数（Ｓ２１４）のいずれでアラートが生じたかが、物品認識アラート情報として表示される。図６の例では、インジケータ６０２の表示によって、特徴量のマッチング数（Ｓ２１０）とずれている特徴量を削除した残りの数（Ｓ２１４）で、アラートが生じていることがわかる。また同時に、現状値および基準値（閾値）も表示される。

【0075】

図４で説明した試行シーケンスによって、メモリ１１０または記憶装置１３０には、変更したパラメータの条件ごとに、得られた特徴点数、マッチング点数、一致点数のデータが対応付けられている。通常、試行したすべてのパラメータの条件の結果を表示するのは煩雑であるため、パラメータ調整部１１３は所定のアルゴリズムに従ってそれぞれの試行結果に成績を付し、成績順に表示する等の方法が望ましい。

【0076】

図６の例では、領域６０３に成績順にパラメータ変更候補が示されている。パラメータ変更候補には、パラメータの種類、現状値、および変更値が表示される。また、図には示していないが、パラメータ変更候補ごとに、特徴点抽出数、特徴点マッチング点数、姿勢推定後特徴一致数を表示できるようにしてもよい。オペレータは、表示された候補からポインティングデバイス等を用いて、例えばボックス６０４にチェックを入れるなどにより、任意の候補を選択することができる。

【0077】

領域６０１に表示される、どの判定でアラートが発生したかの情報は熟練したオペレータにパラメータ変更のヒントを与えることがある。よって、オペレータが物品認識アラート情報に基づいて、変更するパラメータを絞り込んで、領域６０３にパラメータ変更候補として表示させることもできる。図６の例では変更パラメータ指定領域６０５では、プルダウンメニューで変更するパラメータを指定できる。図６の例では、特徴点抽出パラメータを変更しているパラメータ変更候補のみを表示している。

【0078】

パラメータ変更候補を決定した後、物品認識システムのパラメータは当該候補に変更され（Ｓ３０３）、当該パラメータを用いて処理が継続される。

【0079】

＜４．初期設定例＞
図７は、物品認識システムの稼働前の初期設定において、端末１６０に示される設定画面の例を示す図である。この画面では、認識動作の評価の適用および評価のための閾値設定を行う。

【0080】

領域７０１において、図２の判定処理Ｓ２０３，Ｓ２０９，Ｓ２１２で用いるアラート閾値の設定を行う。また、いずれの分岐を適用するかどうかを、ボックス７０３で指定することができる。図７の例では、Ｓ２１２の判定を省略している。

【0081】

領域７０２において、図２の判定処理Ｓ２０５，Ｓ２１０，Ｓ２１３で用いるシステム停止閾値の設定を行う。また、いずれの分岐を適用するかどうかを、ボックス７０３で指定することができる。

【0082】

図８は、物品認識システムの稼働前の初期設定において、端末１６０に示される設定画面の例を示す図である。この画面では、試行シーケンスで試行するパラメータの設定を行う。

【0083】

試行対象となるパラメータは、領域８０１でプルダウンメニューにより選択できる。試行する範囲は、領域８０２で例えば現在値からの変更範囲を指定することで行う。領域８０３では試行するパラメータの粒度を指定する。図８の露光時間の例では、現在の露光時間からプラスマイナス１秒の範囲を、１００分割して試行する。

【0084】

複数のパラメータがある場合には、試行は各パラメータの組み合わせの回数行われる。例えば、図８の例では、１０００回試行が行われる。領域８０４には、試行時間の予測値が表示される。ユーザは、システムの用途や状況に合わせて、試行対象となるパラメータの内容を決定することができる。

【0085】

図５に示したように、本実施例では試行シーケンスは通常の認識処理のバックグラウンドで行うことができる。よって、試行シーケンスに必要な時間を、例えば１回のピッキング動作の時間より短く設定すれば、その次のピッキングの前に、変更すべきパラメータの候補をオペレータに提示することが可能である。よって、実質的にシステムを停止せずに、現場において適切なパラメータを選択することができる。

【0086】

なお、図８の画面で設定した試行対象となるパラメータをデフォルトとして、発生したアラートの組み合わせに応じて、試行対象となるパラメータを絞り込んでもよい。例えば、図２の画像の物品とマスタ物品の姿勢を合わせてずれている特徴量を削除した残りの数が十分かどうかの判定（Ｓ２１３）のみでアラートが生じている場合、撮影処理Ｓ２０１に関するパラメータの試行を省略し、現状の撮影パラメータを固定して試行シーケンスを行う。この場合、撮影処理Ｓ２０１の試行を省略し、すでに撮影した画像を用いて試行シーケンスを行えばよい。

【実施例2】

【0087】

物品認識が行われる現場では、周囲で人が動くなど、一時的な環境変化で、パラメータ変更が必要ない場合でもアラートが生じる可能性がある。このような場合、頻繁にオペレータが呼び出され、作業効率が低下する可能性がある。

【0088】

このような状況に対応するには、図２の判定処理Ｓ２０３、Ｓ２０５、Ｓ２０９、Ｓ２１０、Ｓ２１２、Ｓ２１３において、特定の時点の数値のみを評価するのではなく、所定の時間の間のデータを平均化して評価することで、瞬間的な数値の変動の影響を低下することができる。

【0089】

例えば、マスタと計測データの照合度等を撮影した画像の複数フレームに渡って認識を行い、照合度の平均が閾値を下回った時に、アラートを上げる。

【実施例3】

【0090】

照合度等が下がってアラームが上がった場合に、どのようなパラメータにすれば認識できるようになるのかが分からないため、パラメータの変更数はできるだけ多く試行することが理想的ではある。しかし、試行シーケンスのための必要時間が増加することになる。

【0091】

図５の試行シーケンスＳ３０１では、撮影と認識を一組として複数回の試行を行っている。しかし、撮影に関するパラメータを固定にすれば、１回の撮影で得た画像に対して、撮影以外の処理にかかわるパラメータを変更した複数の試行を行うことができる。

【0092】

撮影以外の処理にかかわるパラメータとしては、画像処理のパラメータ、特徴点抽出アルゴリズムのパラメータ、特徴量計算のパラメータ、マッチング処理のパラメータ、各特徴量の重みパラメータ、ＲＡＮＳＡＣアルゴリズムの許容誤差閾値等がある。

【0093】

図５の試行シーケンスＳ３０１に比べ、撮影が一回で済むため、撮影のパラメータの変更ができない代わり、試行シーケンスが高速に行える。

【実施例4】

【0094】

実施例１の図６では、複数のパラメータ変更の選択肢が提示される。しかし、全てをオペレータが確認するのが手間となる。また、現場環境の特性や、熟練作業員の経験などから、その現場では大きく変動させたくないパラメータなどがある場合でも、他のパラメータが上位に表示されることがある。

【0095】

機械学習による人工知能を応用すれば、オペレータによる選択結果を収集し、これを教師データとして機械学習を行い、ユーザの選択指向を学習することができる。学習済みの人工知能を利用し、学習結果に応じてパラメータ変更の選択肢にランク付けをして提示することも可能である。

【0096】

以上説明した実施例によれば、カメラなどの撮影部と認識部と認識評価部とを有するシステムにおいて、認識部は、認識パラメータと、マスタデータとして定義された認識対象の特徴に基づいて、撮影部によって撮影された画像から、認識対象を検出する。一方、認識評価部は、検出された認識対象の特徴と、マスタデータに定義された認識対象の特徴の、一致している割合を示す照合度等を算出し、照合度等が所定の閾値を下回った場合は、オペレータに警告する。このような構成によれば、列挙しきれない無数の環境変動要因を動的に変更ならしめるシステムを提供することができる。環境要因の事前定義は限界があるため、現場においてオペレータが対応できる機会を与え、運用で対応可能とする点に大きな効果がある。

【符号の説明】

【0097】

情報処理装置１００、メモリ１１０、処理装置１２０、記憶装置１３０、入出力インタフェース１４０、カメラ１５０、端末１６０

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】