特許 6641396 物品分類装置、物品分類システム、物品分類方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6641396

(24)【登録日】2020年1月7日

(45)【発行日】2020年2月5日

(54)【発明の名称】物品分類装置、物品分類システム、物品分類方法及びプログラム

(51)【国際特許分類】

   G06F 16/55 20190101AFI20200127BHJP

   G06F 16/583 20190101ALI20200127BHJP

   G06T 1/00 20060101ALI20200127BHJP

【ＦＩ】

   G06F16/55

   G06F16/583

   G06T1/00 300

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2018-11515(P2018-11515)

(22)【出願日】2018年1月26日

(65)【公開番号】特開2019-128881(P2019-128881A)

(43)【公開日】2019年8月1日

【審査請求日】2018年11月21日

(73)【特許権者】

【識別番号】517033230

【氏名又は名称】ＫＰＭＧコンサルティング株式会社

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ特許業務法人

(74)【代理人】

【識別番号】100167667

【弁理士】

【氏名又は名称】安高 史朗

(72)【発明者】

【氏名】林 泰弘

(72)【発明者】

【氏名】ヒョン バロ

【審査官】 甲斐 哲雄

(56)【参考文献】

【文献】 特開２０１８−１４２２６７（ＪＰ，Ａ）

【文献】 特開２０１７−１４２７８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００− ７／９０

(57)【特許請求の範囲】

【請求項1】

複数種類の物品を種類別に分類する物品分類装置であって、
分類対象となる物品の撮像画像データを取得する撮像画像取得部と、
前記物品の種類毎に各々複数の異なる視点による二次元画像データが記憶される記憶部と、
前記撮像画像データと前記二次元画像データとのそれぞれの類似度を計算する類似度計算部と、
前記類似度に基づき、前記物品の種類毎の評価値を算出し、当該評価値が高い種類が前記分類対象となる物品の種類であると分類する分類部と、
を備えることを特徴とする物品分類装置。

【請求項2】

前記記憶部に記憶された二次元画像データは、三次元画像データから変換された複数の異なる視点から投射された画像データからなる、
ことを特徴とする請求項１に記載の物品分類装置。

【請求項3】

前記分類部は、前記類似度計算部によって算出された類似度に応じてポイントを付与し、前記物品の種類毎に当該ポイントを合計することで前記評価値を算出する、
ことを特徴とする請求項１または２に記載の物品分類装置。

【請求項4】

前記分類部は、前記類似度計算部によって算出された類似度の高さに基づくランキングに応じて前記ポイントを付与する、
ことを特徴とする請求項３に記載の物品分類装置。

【請求項5】

前記撮像画像取得部は、前記分類対象となる物品毎に各々複数の異なる視点による撮像画像データを取得し、
前記類似度計算部は、前記撮像画像取得部によって取得された前記複数の異なる視点による撮像画像データと、前記二次元画像データとの類似度を計算し、
前記分類部は、前記類似度計算部によって算出された類似度に基づき、前記物品を種類別に分類する、
ことを特徴とする請求項１乃至４のいずれか一項に記載の物品分類装置。

【請求項6】

前記分類部は、前記類似度計算部によって算出された類似度に基づき、前記物品の種類毎の評価値を算出し、当該評価値が高い種類が前記分類対象となる物品の種類であると分類する、
ことを特徴とする請求項５に記載の物品分類装置。

【請求項7】

複数種類の物品を種類別に分類する物品分類装置であって、
分類対象となる物品の撮像画像データを取得する撮像画像取得部と、
前記物品の種類毎に各々複数の異なる視点による二次元画像データが記憶される記憶部と、
前記撮像画像取得部が前記撮像画像データを取得する毎に前記撮像画像データと前記二次元画像データとの類似度を計算する類似度計算部と、
前記類似度に基づいて前記物品を種類別に分類し、前記類似度計算部によって算出された前記類似度に基づき分類結果を更新する分類部と、
を備えることを特徴とする物品分類装置。

【請求項8】

複数種類の物品を種類別に分類する物品分類装置であって、
分類対象となる物品の撮像画像データを取得する撮像画像取得部と、
前記物品の種類毎に各々複数の異なる視点による二次元画像データ及び前記物品の重さデータ、長さデータ、縦横比データの少なくとも一つの情報が記憶される記憶部と、
前記撮像画像データと前記二次元画像データとの類似度を計算する類似度計算部と、
前記類似度と前記物品の重さデータ、長さデータまたは縦横比データを加味して前記物品を種類別に分類する分類部と、
を備えることを特徴とする物品分類装置。

【請求項9】

前記類似度計算部は、前記類似度の計算に際し、前記撮像画像データに対する前記二次元画像データの類似度を計算する、
ことを特徴とする請求項１乃至８のいずれか一項に記載の物品分類装置。

【請求項10】

前記類似度計算部は、前記類似度の計算に際し、前記二次元画像データに対する前記撮像画像データの類似度を計算する、
ことを特徴とする請求項１乃至８のいずれか一項に記載の物品分類装置。

【請求項11】

複数種類の物品を種類別に分類する物品分類システムであって、
分類対象となる物品の撮像画像データを撮像する撮像部と、
前記物品の種類毎に各々複数の異なる視点による二次元画像データが記憶される記憶部と、
前記撮像画像データと前記二次元画像データとのそれぞれの類似度を計算する類似度計算部と、
前記類似度に基づき、前記物品の種類毎の評価値を算出し、当該評価値が高い種類が前記分類対象となる物品の種類であると分類する分類部と、
前記分類部が分類した結果を出力する出力部と、
を備えることを特徴とする物品分類システム。

【請求項12】

複数種類の物品を種類別に分類する物品分類方法であって、
分類対象となる物品の撮像画像データを取得する撮像画像取得ステップと、
記憶部に記憶される前記物品の種類毎に各々複数の異なる視点による二次元画像データと、前記撮像画像データとのそれぞれの類似度を計算する類似度計算ステップと、
前記類似度に基づき、前記物品の種類毎の評価値を算出し、当該評価値が高い種類が前記分類対象となる物品の種類であると分類する分類ステップと、
を含むことを特徴とする物品分類方法。

【請求項13】

コンピュータを、
分類対象となる物品の撮像画像データを取得する撮像画像取得手段、
前記物品の種類毎に各々複数の異なる視点による二次元画像データが記憶される記憶手段、
前記撮像画像データと前記二次元画像データとのそれぞれの類似度を計算する類似度計算手段、
前記類似度に基づき、前記物品の種類毎の評価値を算出し、当該評価値が高い種類が前記分類対象となる物品の種類であると分類する分類手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、種類の異なる複数の物品を種別毎に分類するための物品分類装置、物品分類システム、物品分類方法及びプログラムに関する。

【背景技術】

【0002】

例えば、配管として用いるパイプ等の物品を工場等で生産する工程において、形状や仕様等の種類の異なる複数の物品が混在する場合がある。とりわけ、溶接後の後処理工程や仕上げ工程の後等では、物品毎に刻印されていた種別番号や記号等が消されてしまい、種別毎の分類が困難になる場合がある。

【0003】

この場合、例えば、Ｕ字状の物品、Ｓ字状の物品及びＬ字状の物品のように、形状が全く異なる物品の分類は、目視確認によって容易に行うことができる。ところが、例えば、それぞれほぼ同一の寸法からなる複数のＬ字状の物品において、９０°に屈曲した物品と、８８°に屈曲した物品と、８６°に屈曲した物品のように、形状の差異が微小な物品の場合、目視確認が困難となり、分類の作業が煩雑になる虞がある。そのため、前述のように混在した複数種類の物品を容易かつ正確に分類する技術の開発が望まれている。

【0004】

ところで、近年、被写体の認識を行う際に、撮影した被写体データと、予め記憶された学習データとの照合に用いる特徴量のデータとして、被写体である物体の３次元形状データとテクスチャデータから２次元展開画像に変換し、２次元展開画像の特徴量データを用いて照合を行うことで、高速に被写体を認識する技術が知られている（例えば、特許文献１参照）。また、ニューラルネットワークを用いて、少ない演算量にて３次元画像を複数のクラスに精度よく分類できる技術が知られている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−１７８１３３号公報

【特許文献2】特開２０１７−１７４０３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、前述の特許文献１，２では、所定の照合処理を行うことで高速に被写体を認識したり（特許文献１）、少ない演算量で複数のクラスに精度よく分類したり（特許文献２）するものの、撮影した被写体データと、予め記憶された学習データとの照合に、これらデータに基づく形状の類似度を用いるという概念はなかった。また、前述の特許文献１，２では、３次元画像から２次元画像に変換する情報処理が煩雑であった。

【0007】

そこで、本開示は前述した事情に鑑みてなされたもので、混在した複数種類の物品を容易かつ正確に分類可能な物品分類装置、物品分類システム、物品分類方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本開示の第１の観点に係る物品分類装置は、複数種類の物品を種類別に分類する物品分類装置であって、分類の対象となる物品の撮像画像データを取得する撮像画像取得部と、物品毎に複数の異なる視点による二次元画像データが記憶される記憶部と、撮像画像データと二次元画像データとの類似度を計算する類似度計算部と、類似度に基づいて物品の分類を行う分類部と、を備えることを特徴とする。

【0009】

また、上記目的を達成するため、本開示の第２の観点に係る物品分類システムは、複数種類の物品を種類別に分類する物品分類システムであって、分類対象となる物品の撮像画像データを撮像する撮像部と、物品の種類毎に各々複数の異なる視点による二次元画像データが記憶される記憶部と、撮像画像データと二次元画像データとの類似度を計算する類似度計算部と、類似度に基づいて物品を種類別に分類する分類部と、分類部が分類した結果を出力する出力部と、を備えることを特徴とする。

【0010】

また、上記目的を達成するため、本開示の第３の観点に係る物品分類方法は、複数種類の物品を種類別に分類する物品分類方法であって、分類対象となる物品の撮像画像データを取得する撮像画像取得ステップと、記憶部に記憶される物品の種類毎に各々複数の異なる視点による二次元画像データと、撮像画像データとの類似度を計算する類似度計算ステップと、類似度に基づいて物品を種類別に分類する分類ステップと、を含むことを特徴とする。

【0011】

また、上記目的を達成するため、本開示の第４の観点に係るプログラムは、コンピュータを、分類対象となる物品の撮像画像データを取得する撮像画像取得手段と、物品の種類毎に各々複数の異なる視点による二次元画像データが記憶される記憶手段、撮像画像データと二次元画像データとの類似度を計算する類似度計算手段、類似度に基づいて物品を種類別に分類する分類手段、として機能させる。

【発明の効果】

【0012】

本開示によれば、混在した複数種類の物品を容易かつ正確に分類することができる。

【図面の簡単な説明】

【0013】

【図1】物品分類システムの構成を概略的に示すブロック図である。

【図2】撮像画像データの前処理の説明に供する図である。

【図3】記憶部に記憶されたデータの説明に供する図である。

【図4】記憶部に記憶されたデータの一部を示す図である。

【図5】第一実施形態における類似度の計算の説明に供する図である。

【図6】分類処理の手順を示すフローチャートである。

【図7】第二実施形態における類似度の計算の説明に供する図である。

【図8】第三実施形態における物品の分類の説明に供する図である。

【発明を実施するための形態】

【0014】

以下、本開示に係る物品分類装置、物品分類システム、物品分類方法及びプログラムの一実施形態について図面を参照しながら説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、以下の実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0015】

＜第一実施形態＞
（構成）
図１に示すように、本開示に係る第一実施形態の物品分類システム１は、混在する種類の異なる複数の物品を種別毎に分類するためのものであり、撮像部１０と、物品分類装置２０と、出力部３０とを備えて構成され、それぞれＬＡＮ（Local Area Network）等のネットワークＮＷを介して接続されている。このとき、ＬＡＮは無線であってもよいし、有線であってもよい。また、撮像部１０と、物品分類装置２０と、出力部３０は一体に構成されていてもよい。

【0016】

撮像部１０は、分類対象となる物品（以下、適宜、対象物と称する。）の撮像画像データを撮像するものであり、例えば、デジタルカメラやスマートフォン等の携帯端末におけるカメラ等からなる。この撮像部１０は、撮像画像データを保存するためのメモリ（不図示）を有していることが好ましい。なお、撮像部１０によって撮像された撮像画像データは、ネットワークを介して物品分類装置２０や出力部３０に、撮像と共に送信されてもよいし、一度、メモリに記録された後、選択的にまたは全てが送信されてもよい。また、メモリは、着脱自在な各種メモリカードのような記録媒体であってもよいし、内蔵されたＨＤＤ等の記憶媒体であってもよい。また、撮像部１０による撮像画像データは、物品毎にそれぞれ所定の基準方向を中心として、当該基準方向における上下左右等の複数の異なる視点により撮像されることが好ましい。

【0017】

撮像部１０は、撮像する対象物を載置するための不図示の台を備えており、この台に複数のカメラを配設し、前述の基準方向における上下左右等の複数の異なる視点から対象物を撮像するようにしてもよい。

【0018】

物品分類装置２０は、大別すると、撮像画像取得部２１と、記憶部２２と、類似度計算部２３と、分類部２４と、を有して構成されている。

【0019】

撮像画像取得部２１は、撮像部１０によって撮像された対象物の撮像画像データを、ネットワークＮＷを介して取得する。この取得された撮像画像データは、例えば、不図示の制御部等によって、図２に示すように、まず背景を消して黒く処理する前処理を行い、その後さらに、予め設定する閾値より画素の値が上回っていれば白に変換し、下回っていれば黒に変換する二値化処理が行われる。そして、二値化処理後の撮像画像データは、類似度計算部２３に伝送され、後述する二次元画像データとの類似度の計算に用いられる。

【0020】

記憶部２２は、ＨＤＤやＳＳＤ等によって構成されており、分類対象となる物品の種類毎に、各々複数の異なる視点による二次元画像データが予め記憶されたデータベースとして機能する。具体的には、図３に示すように、それぞれ物品の種類（例えば、Ａタイプ，Ｂタイプ，Ｃタイプ・・・）毎に、三次元画像データと、三次元画像データに対応した複数の異なる視点から投射された二次元画像データと、当該物品の寸法や重量及び縦横比データ等の仕様に関する情報からなる仕様書データと、から構成されるテーブルを有している。このテーブルにおいて、三次元画像データと対応する二次元画像データや仕様書データが各々紐付けられている。なお、ここでは、物品をＡ〜Ｃのタイプ別に表記しているが、物品の型番別や製品名別などに分類してもよく、この限りではない。また、二次元画像データは、予め記憶されることに限定されることはなく、例えば、必要に応じて、適宜、三次元画像データから展開するようにしてもよい。

【0021】

この二次元画像データは、物品の種類毎に、例えば、互換性を有するｉｇｅｓ方式の３ＤＣＡＤデータからなる三次元画像データに基づくファイル（a.iges、b.iges、c.iges・・・）を変換して生成されたビットマップ方式等のデータファイル（a.001.bmp・・・、b.010.bmp・・・、c.100.bmp・・・）からなる。このとき、二次元画像データは、三次元画像データに対応して直交する二軸を基準として所定の回転角ずつ回転させ二次元平面に投射することで、複数の異なる視点による画像データとして生成される。これらの二次元画像データは、図４に示すように二値化しておくことが好ましい。なお、二次元画像データは、ビットマップ方式に限らず、ＤＸＦ方式等のベクタ形式の互換性を有するＣＡＤデータであってもよい。

【0022】

類似度計算部２３は、撮像画像取得部２１によって取得された撮像画像データと、記憶部２２に記憶された複数の異なる視点による二次元画像データのそれぞれの類似度を計算する。この類似度の計算について、詳細は後述する。

【0023】

分類部２４は、類似度計算部２３によって算出された類似度に基づき、物品の種類毎の評価値を算出し、当該評価値の高い種類が、対象物の分類されるべき種類であると分類する。この評価値の算出、及び、分類の手法について、詳細は後述する。

【0024】

出力部３０は、物品分類装置２０（より具体的には、分類部２４）が分類した結果を出力する。例えば、出力部３０は、分類部２４による分類結果を表示するモニタ等の表示装置や、タブレット端末、スマートフォン等の携帯端末によって構成されることが好ましい。これにより、作業者は、物品分類装置２０による対象物の分類結果を、適宜、目視確認できる。また、出力部３０は、表示装置に限定されず、例えば物品を物理的に仕分けするための駆動機構に接続されたインターフェースであってもよい。当該機構を備えた物品分類装置２０であれば、作業者の手を煩わすことなく、分類部２４の分類結果に基づき、自動で物品の仕分けを行うことができる。

【0025】

（分類の手法）
次に、物品分類装置２０における対象物の分類の手法について説明する。
具体的に、類似度計算部２３は、図５に示すように、撮像画像取得部２１による撮像画像データに対し、記憶部２２に記憶された全ての二次元画像データを総当たりで比較する。なお、図５において、撮像画像データとしては、撮像画像データファイルＩｍｇ１を表記している。また、二次元画像データとしては、物品の種類（ここでは、Ａタイプ、Ｂタイプ、Ｃタイプ・・・）毎にそれぞれ二次元画像データファイルa.001.bmp、a.010.bmp、a.100.bmp・・・，b.001.bmp、b.010.bmp、b.100.bmp・・・，c.001.bmp、c.010.bmp、c.100.bmp・・・、を表記している。ここで、後述の評価値をより正確に算出するために、例えば「*.010」（*はaからcのアルファベットのいずれか）のように「.」以降の識別子が同じデータファイルについて、物品の種類毎に同じ角度から投射された二次元データを含むようにすることが好ましい。

【0026】

ここで、類似度計算部２３は、撮像画像データに対する、二次元画像データのそれぞれの類似する度合いを計算する。すなわち、形状が似ているか、及び、突起部、屈曲部、凹部、開口部等の特徴となる部位が一致するか等について、それぞれ二値化された撮像画像データと二次元画像データとの形状を比較検討（所謂、シェイプマッチング）し、その結果を類似度として算出する。このとき、撮像画像データ及び二次元画像データは、二値化されていることにより、これら画像データ同士の比較が容易となっている。なお、ここでは、類似度の計算に際し、撮像画像データに対する二次元画像データの類似度を計算する（すなわち、撮像画像データを基準として、二次元画像データのそれぞれとの類似度を計算する）場合について述べるが、本開示はこれに限ることはなく、類似度の計算に際し、二次元画像データに対する撮像画像データの類似度を計算する（すなわち、二次元画像データを基準に、撮像画像データとの類似度を計算する）ようにしてもよい。

【0027】

より具体的には、類似度計算部２３は、シェイプマッチング技術を利用して、撮像画像取得部２１により取得した対象物の撮像画像データファイルＩｍｇ１と、記憶部２２に記憶された各タイプの二次元画像データファイルa.001.bmp、a.010.bmp、a.100.bmp・・・、b.001.bmp、b.010.bmp、b.100.bmp・・・、c.001.bmp、c.010.bmp、c.100.bmp・・・との特徴点をそれぞれベクトル化する。そして、これら全てのベクトル同士のコサイン距離（コサイン類似度）を計算し、算出したコサイン距離（−１〜＋１）に基づいて類似度（０〜１）を算出する。このとき、類似度は、例えば、コサイン距離に１を加算し、２で除算することにより算出する。また、類似度としては、「１」に近いほど類似度が高く（関連性が高い）、「０」に近いほど類似度が低い（関連性が低い）ものとする。

【0028】

図５においては、類似度計算部２３による算出結果は、撮像画像データファイルＩｍｇ１とＡタイプの二次元画像データファイルa.001.bmpの類似度が「０．３」となっている。同様に、二次元画像データファイルa.010.bmpとの類似度が「０．３」、二次元画像データファイルa.100.bmpとの類似度が「０．１」となっている。また、Ｂタイプの二次元画像データファイルb.001.bmpとの類似度は「０．９」、二次元画像データファイルb.010.bmpとの類似度は「０．８」、二次元画像データファイルb.100.bmpとの類似度は「０．５」となっている。さらに、Ｃタイプの二次元画像データファイルc.001.bmpとの類似度は「０．６」、二次元画像データファイルc.010.bmpとの類似度は「０．６」、二次元画像データファイルc.100.bmpとの類似度は「０．３」となっている。

【0029】

分類部２４は、類似度計算部２３によって算出された類似度に基づき、物品の種類毎の評価値を算出し、当該評価値の高い種類を、対象物の分類されるべき種類であると分類する。例えば、分類部２４は、類似度計算部２３によって算出された類似度の高さに基づくランキングに応じてポイントを付与するようにしてもよい。図５に示すような類似度の場合、Ｂタイプの二次元画像データファイルb.001.bmp（０．９）の類似度が最も高く、次いで、Ｂタイプの二次元画像データファイルb.010.bmpの類似度（０．８）、Ｃタイプの二次元画像データファイルc.001.bmp及びＣタイプの二次元画像データファイルc.010.bmpの類似度（０．６）といった順にランキングされる。そして、このランキングに応じて、例えば、高い順に「１０」、「７」、「５」・・・といったポイントを付与し、物品のタイプ毎にポイントを合計して評価値を算出するようになっている。そして、このように付与されたポイントを、タイプ（種類）毎にそれぞれ合計した値（この場合、Ａタイプは「８」、Ｂタイプは「３０」、Ｃタイプは「１８」）が評価値として算出されることとなる。

【0030】

また、上記の手法に限られず、分類部２４は、類似度計算部２３により、物品の種類毎の類似度に基づいて算出されたスコアの合計から評価値を算出するようにしてもよい。このとき、分類部２４は、類似度計算部２３によって算出された類似度に応じてポイントを付与し、物品の種類毎に当該ポイントを合計することで評価値を算出するようにしてもよい。例えば、図５に示すような類似度の場合、類似度に１０を乗じた値をポイントと定義し、Ａタイプの二次元画像データファイルa.001.bmpのポイントを「３」、二次元画像データファイルa.010.bmpのポイントを「３」、二次元画像データファイルa.100.bmpのポイントを「１」とする。また、Ｂタイプの二次元画像データファイルb.001.bmpのポイントを「９」、二次元画像データファイルb.010.bmpのポイントを「８」、二次元画像データファイルb.100.bmpのポイントを「５」とする。さらに、Ｃタイプの二次元画像データファイルc.001.bmpのポイントを「６」、二次元画像データファイルc.010.bmpのポイントを「６」、二次元画像データファイルc.100.bmpのポイントを「３」とする。そして、このように付与されたポイントを、タイプ（種類）毎にそれぞれ合計し、当該合計した値を評価値として算出するようにしてもよい。さらには、上記のように、類似度計算部２３によって算出された類似度の高さに基づくランキングにおける所定の順位以内（例えば、上位１０位以内）のものに一律に同じスコア（例えば。「１」）を付与する。そして、このように付与されたポイントを、タイプ（種類）毎にそれぞれ合計し、当該合計した値を評価値として算出するようにしてもよい。その他、例えば、類似度計算部２３によって算出された類似度の高さに基づくランキングの所定の順位以内（例えば、上位１０位以内）における、タイプ毎の類似度の平均値を評価値として算出するようにしてもよい。

【0031】

このようにして、分類部２４は、算出した評価値に基づき、当該評価値の高い種類を、対象物の分類されるべき種類であるとして分類する。よって、図５に示す場合において、分類部２４は、撮像画像データファイルＩｍｇ１の被写体である対象物の種別として、Ｂタイプが最も類似度が高く、関連性の高い種類であるとして分類する。

【0032】

（処理方法）
次に、物品分類装置２０における対象物の分類手順について、図６に示すフローチャートを用いて説明する。

【0033】

ステップＳ１０において、撮像部１０は、分類対象となる物品（対象物）を撮像する。ステップＳ１１において、物品分類装置２０の撮像画像取得部２１は、撮像部１０によって撮像された対象物の撮像画像データを取得する（撮像画像取得ステップ）。そして、この取得された撮像画像データは、物品分類装置２０の制御部等によって二値化され、類似度計算部２３へと送られる。

【0034】

ステップＳ１２において、類似度計算部２３は、記憶部２２に予め記憶された物品の種類毎に各々複数の異なる視点による二次元画像データと、撮像画像取得部２１によって取得された撮像画像データとの類似度を計算する（類似度計算ステップ）。

【0035】

ここで、類似度計算部２３は、図５に示すように、撮像画像取得部２１による撮像画像データに対し、記憶部２２に記憶された全ての二次元画像データを総当たりで比較する。このとき、撮像画像データと二次元画像データはそれぞれ二値化されており、これらをシェイプマッチングした結果を類似度として算出する。具体的に、類似度計算部２３は、撮像画像取得部２１により取得した対象物の撮像画像データと、記憶部２２に記憶された全ての二次元画像データとの特徴点をそれぞれベクトル化し、これら全てのベクトル同士のコサイン距離を計算する。そして、算出したコサイン距離（−１〜＋１）に基づいて類似度（０〜１）を算出する。類似度としては、「１」に近いほど類似度が高く（関連性が高い）、「０」に近いほど類似度が低く（関連性が低い）なる。

【0036】

ステップＳ１３において、分類部２４は、類似度計算部２３によって算出された類似度の高さに基づいて、各二次元画像データのランキング付けを行う。すなわち、類似度が「１」に近い程ランキングが上位となり、「０」に近い程ランキングが下位となる。

【0037】

ステップＳ１４において、分類部２４は、ステップＳ１３におけるランキングに応じてポイントを付与する。すなわち、ランキングの上位から順に「１０」、「７」、「５」といったポイントを付与する。

【0038】

ステップＳ１５において、分類部２４は、物品の種類毎にステップＳ１４にて付与されたポイントを合計することで評価値を算出する。そして、ステップＳ１６において、分類部２４は、ステップＳ１５にて算出した評価値に基づき、当該評価値の高い種類が、対象物の分類されるべき種類であると分類する。例えば、図５に示すような撮像画像データファイルＩｍｇ１の場合、分類部２４は、その種別として、Ｂタイプが最も類似度が高く、関連性の高い種類であると分類する。

【0039】

なお、本実施形態の分類処理方法は、これに限らず、例えば、ステップＳ１３のランキング付けは行わず、ステップＳ１４においては、類似度計算部２３によって算出された類似度に応じてポイントを付与するようにしてもよい。また、ステップＳ１４のポイント付与も行わず、ステップＳ１２から直接ステップＳ１５へと移行し、類似度計算部２３により、物品の種類毎の類似度に基づいて算出されたスコアの合計から評価値を算出するようにしてもよい。

【0040】

（効果）
以上、説明したように、本実施形態の物品分類システム１では、対象物の撮像画像データに対する、記憶部２２の全ての二次元画像データとの類似度を計算し、算出された類似度に基づき、類似度にラインキング付けする。そして、このランキングに応じて付与するポイントの合計が高いものを、対象物が分類されるべき種類であると分類する。かくして混在した複数種類の物品を容易かつ正確に分類することができる。

【0041】

なお、記憶部２２には、図３に示すように、物品の仕様書に基づく、重さデータ、長さデータ、縦横比データの少なくとも一つの情報を含む仕様書データとしての仕様書データファイルa.001.spc、b.001.spc、c.001.spc・・・が記憶されている。

【0042】

ここで、例えば、撮像部１０の備える台に計量部を設けておき、物品を載せることでその重さを量るようにしてもよい。また、この台に寸法を測るためのスケールを設けておき、物品を載置した際に寸法を把握できるようにしてもよい。この場合、分類部２４は、類似度計算部２３によって算出された類似度に加えて、記憶部２２の仕様書データに基づく、重さデータ、長さデータまたは縦横比データ等を用いて比較して分類を行うことで、対象物の種類をより正確に分類することができ、分類の正確性、信頼性を一段と向上させることができる。また、本実施形態において、類似度はコサイン距離に基づいて算出したが、他の方法を用いても良い。なお、記憶部２２に記憶される重さデータ、長さデータ、縦横比データとしては、仕様書に基づくデータを用いてもよいし、別途測定した測定結果を用いてもよい。

【0043】

＜第二実施形態＞
上述した第一実施形態においては、撮像画像データとして、撮像画像データファイルＩｍｇ１を適用し、これに対する二次元画像データの類似度を計算する場合について述べたが、本開示はこれに限ることはない。例えば、図５との対応部分に同一符号を付した図７に示すように、対象物の撮像画像データとして、撮像画像データファイルＩｍｇ１に加え、当該対象物の異なる視点から投射された撮像画像データファイルＩｍｇ２も適用し、これらに対する二次元画像データの類似度を計算するようにしてもよい。

【0044】

すなわち、撮像画像取得部２１は、対象物毎に各々複数の異なる視点による撮像画像データ（撮像画像データファイルＩｍｇ１と撮像画像データファイルＩｍｇ２）を取得し、類似度計算部２３は、二次元画像データに対する、これら複数の異なる視点による撮像画像データのそれぞれの類似度を計算する。そして、分類部２４は類似度計算部２３によって算出されたそれぞれの類似度に基づき、対象物を種類別に分類するようにしてもよい。

【0045】

この場合、類似度計算部２３は、例えば、図７に示すように、撮像画像取得部２１による２つの撮像画像データ（撮像画像データファイルＩｍｇ１及び撮像画像データファイルＩｍｇ２）に対し、それぞれ記憶部２２に記憶された全ての二次元画像データを総当たりで比較する。なお、ここでは、便宜上、１つの対象物における異なる２つの視点による撮像画像データを用いる場合について述べるが、本開示はこれに限らず、１つの対象物に対し、異なる３つ以上の視点から投射された撮像画像データを用いるようにしてもよい。

【0046】

ここで、類似度計算部２３は、２つの撮像画像データに対する、二次元画像データのそれぞれの類似する度合いを計算する。例えば、図７においては、類似度計算部２３による算出結果は、撮像画像データファイルＩｍｇ１とＡタイプの二次元画像データファイルa.001.bmpの類似度が「０．２」、撮像画像データファイルＩｍｇ２とＡタイプの二次元画像データファイルa.001.bmpの類似度が「０．３」となっている。同様に、撮像画像データファイルＩｍｇ１と二次元画像データファイルa.010.bmpとの類似度が「０．３」、撮像画像データファイルＩｍｇ２と二次元画像データファイルa.010.bmpとの類似度が「０．１」となっている。さらに、撮像画像データファイルＩｍｇ１と二次元画像データファイルa.100.bmpとの類似度が「０．１」、撮像画像データファイルＩｍｇ２と二次元画像データファイルa.100.bmpとの類似度が「０．２」となっている。

【0047】

また、撮像画像データファイルＩｍｇ１とＢタイプの二次元画像データファイルb.001.bmpとの類似度は「０．９」、撮像画像データファイルＩｍｇ２と二次元画像データファイルb.001.bmpとの類似度は「０．９」となっている。同様に、撮像画像データファイルＩｍｇ１と二次元画像データファイルb.010.bmpとの類似度は「０．８」、撮像画像データファイルＩｍｇ２と二次元画像データファイルb.010.bmpとの類似度は「０．８」となっている。さらに、撮像画像データファイルＩｍｇ１と二次元画像データファイルb.100.bmpとの類似度は「０．６」、撮像画像データファイルＩｍｇ２と二次元画像データファイルb.100.bmpとの類似度は「０．８」となっている。

【0048】

さらに、撮像画像データファイルＩｍｇ１とＣタイプの二次元画像データファイルc.001.bmpとの類似度は「０．５」、撮像画像データファイルＩｍｇ２とＣタイプの二次元画像データファイルc.001.bmpとの類似度は「０．６」となっている。同様に、撮像画像データファイルＩｍｇ１と二次元画像データファイルc.010.bmpとの類似度は「０．４」、撮像画像データファイルＩｍｇ２と二次元画像データファイルc.010.bmpとの類似度は「０．２」となっている。さらに、撮像画像データファイルＩｍｇ１と二次元画像データファイルc.100.bmpとの類似度は「０．３」、撮像画像データファイルＩｍｇ２と二次元画像データファイルc.100.bmpとの類似度は「０．３」となっている。

【0049】

そして、分類部２４は、類似度計算部２３によって算出された２つの撮像画像データ毎の類似度を合算した値に応じてポイントを付与し、物品の種類毎に当該ポイントを合計することで評価値を算出する。つまり、類似度が「１」と「１」を合算した「２」に近い程ポイントが高くなり、「０」に近い程ポイントが低くなる。なお、評価値を算出する手法についてはこれに限らず、第一実施形態にて説明した様々な手法にて算出することができる。

【0050】

例えば、図７においては、Ａタイプの二次元画像データファイルa.001.bmpのポイントが「３」、二次元画像データファイルa.010.bmpのポイントが「２」、二次元画像データファイルa.100.bmpのポイントが「１」となっている。また、Ｂタイプの二次元画像データファイルb.001.bmpのポイントが「９」、二次元画像データファイルb.010.bmpのポイントが「８」、二次元画像データファイルb.100.bmpのポイントが「７」となっている。さらに、Ｃタイプの二次元画像データファイルc.001.bmpのポイントが「５」、二次元画像データファイルc.010.bmpのポイントが「４」、二次元画像データファイルc.100.bmpのポイントが「４」となっている。そして、このように付与されたポイントを、タイプ（種類）毎にそれぞれ合計した値（この場合、Ａタイプは「７」、Ｂタイプは「３５」、Ｃタイプは「１７」）が評価値として算出されることとなる。

【0051】

このようにして、分類部２４は、算出した評価値に基づき、当該評価値の高い種類を、対象物の分類されるべき種類であるとして分類する。よって、図７に示す場合において、分類部２４は、異なる視点から投射された２つの撮像画像データファイルＩｍｇ１及びＩｍｇ２の被写体である対象物の種別として、Ｂタイプが最も類似度が高く、関連性の高い種類であるとして分類する。

【0052】

例えば、図８に示すように、三角錐状をなすＥタイプの物品と、円筒状をなすＦタイプの物品において、ある視点（例えば、底面側）から投射された撮像画像データでは、同一の形状（この場合、円形状）をしている。しかしながら、これらＥタイプの物品と、Ｆタイプの物品とにおける、前述したある視点とは異なる視点から投射された撮像画像データでは、前者が三角形状をなし、後者が矩形状をなし、全く異なった物品であることがわかる。

【0053】

このように、第二実施形態の物品分類システム１では、１つの対象物に対して、異なる複数（ここでは、２つ）の視点から投射された撮像画像データを用いて類似度を計算することで、当該撮像画像データが１つの場合と比較して、より正確な類似度を算出でき、これに基づいてポイントや評価値を計算できるため、分類の正確性や信頼性を一段と向上させることができる。

【0054】

＜第三実施形態＞
なお、上述した第一及び第二実施形態においては、撮像部１０がデジタルカメラやスマートフォン等の携帯端末におけるカメラ等からなる場合について述べたが、本開示はこれに限ることはない。

【0055】

例えば、撮像部１０のカメラとして、作業者が装着するウエアラブル装置を用いてもよい。この場合、作業者が対象物を任意の位置から視認しながら、適宜、撮像可能とすることで、撮像部１０は、撮像する対象物を複数の異なる任意の視点から順次撮像することができる。

【0056】

従って、類似度計算部２３は、撮像画像取得部２１が複数の異なる任意の視点から投射された撮像画像データを取得する毎に類似度の計算を行い、分類部２４は、当該類似度計算部２３によって類似度が計算される毎に、算出された類似度に基づき評価値を算出して分類結果を更新することができる。つまり、この場合、撮像部１０によって同一の対象物を複数の異なる任意の視点から撮像する都度、図６に示す分類処理のルーチンを繰り返すことで、分類部２４による分類結果を更新することができる。よって、対象物に対する類似度、ひいては分類の正確性、信頼性をより一層向上させることができる。

【0057】

＜第四実施形態＞
また、上述した第一乃至第三実施形態においては、類似度の計算において、シェイプマッチング手法を用いる場合について述べたが、本開示はこれに限ることはない。例えば、上述した類似度の計算におけるシェイプマッチング手法に、更に対象物の重さに関する情報を加味するようにしてもよい。具体的に、撮像部１０の台において、載置する対象物の重量を測定可能とし、当該測定した重量が、記憶部２２の仕様書データに基づく重さの情報と合致するか否かの判断を含めて類似度を計算し、対象物の分類を行うようにしてもよい。これより、外観上は同一の形状に見える物品であっても、対象物の重さの情報に基づき、内部形状や内部構造において異なった物品（例えば、中空状の物品や、肉厚の異なる物品）を正確に分類することができる。なお、記憶部２２に記憶される重さデータとしては、仕様書に基づくデータを用いてもよいし、別途測定した測定結果を用いてもよい。

【0058】

また、例えば、上述した類似度の計算におけるシェイプマッチング手法に、更に対象物の寸法に関する情報を加味するようにしてもよい。具体的に、撮像部１０の台において、載置する対象物の寸法を測定するためのスケールを設けておき、当該台に載置した対象物の絶対的な寸法を測定可能とする。そして、当該測定した寸法が、記憶部２２の仕様書データに基づく長さの情報と合致するか否かの判断を含めて類似度を計算し、対象物の分類を行うようにしてもよい。

【0059】

さらに、例えば、上述した類似度の計算におけるシェイプマッチング手法に、更に対象物の縦横比に関する情報を加味するようにしてもよい。具体的に、撮像部１０の台において、載置する対象物の寸法を測定するためのスケールを設けておき、当該台に載置した対象物の縦横比（レシオやアスペクト比等）を算出可能とする。そして、当該算出した縦横比が、記憶部２２の仕様書データに基づく縦横比の情報と合致するか否かの判断を含めて類似度を計算し、対象物の分類を行うようにしてもよい。このように、撮像部１０の台に対象物の寸法を測定するためのスケールを設けておき、仕様書データに基づく長さの情報や、縦横比の情報を用いることで、外観上は同一の形状に見える物品であっても、対象物の長さの情報に基づき、寸法の異なる物品をも正確に分類することができる。さらに加えて、仕様書データに基づく縦横比の情報を用いることで、対象物が等方的な収縮度を持つような物品（セラミックや粉末冶金等の焼結体やモールド部品等）で絶対寸法が多少変化している場合であっても正確に分類することができる。なお、記憶部２２に記憶される長さデータ、縦横比データとしては、仕様書に基づくデータを用いてもよいし、別途測定した測定結果を用いてもよい。

【0060】

＜プログラム＞
なお、本実施形態では、主に、類似度に基づき、分類対象の物品と、その種類との関連性に鑑み、対象物に対して、類似度が高い種類がどれであるかを分類する物品分類システム１の構成と動作について説明したが、これに限らず、各構成要素を備え、記憶部１１に予め記憶された物品の種類毎に各々複数の異なる視点による二次元画像データと、撮像部１０によって撮像された撮像画像データとの類似度に基づき、対象物と物品の種類との関連性に鑑み、対象物に対して類似度が高い種類がどれであるかを計算するためのプログラムとして構成されてもよい。

【0061】

また、物品分類システム１を構成する各機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

【0062】

具体的には、当該プログラムは、分類対象となる物品の撮像画像データを取得する撮像画像取得ステップと、記憶部２２に予め記憶された物品の種類毎に各々複数の異なる視点による二次元画像データと、撮像画像データとの類似度を計算する類似度計算ステップと、類似度に基づいて物品を種類別に分類する分類ステップと、をコンピュータによって実現するためのプログラムである。

【0063】

さらに、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0064】

さらに「コンピュータで読み取り可能な記録媒体」とは、有線または無線ＬＡＮやインターネット等のネットワーク、または電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短期間で動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【符号の説明】

【0065】

１…物品分類システム
１０…撮像部
２０…物品分類装置
２１…撮像画像取得部
２２…記憶部
２３…類似度計算部
２４…分類部
ＮＷ…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】